JPWO2017154119A1 - Display control apparatus, display control method, and display control program - Google Patents
Display control apparatus, display control method, and display control program Download PDFInfo
- Publication number
- JPWO2017154119A1 JPWO2017154119A1 JP2018503902A JP2018503902A JPWO2017154119A1 JP WO2017154119 A1 JPWO2017154119 A1 JP WO2017154119A1 JP 2018503902 A JP2018503902 A JP 2018503902A JP 2018503902 A JP2018503902 A JP 2018503902A JP WO2017154119 A1 JPWO2017154119 A1 JP WO2017154119A1
- Authority
- JP
- Japan
- Prior art keywords
- indicator
- display
- information
- display information
- touch panel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
情報処理端末は、プロセッサとメモリとを有する。情報処理端末のプロセッサは、表示部に表示される表示情報に対して、タッチパネルを介して指示体による移動対象の表示情報の選択を受付ける。続いて、情報処理端末のプロセッサは、タッチパネルと指示体の接触に基づいて、指示体の移動方向を予測する。その後、情報処理端末のプロセッサは、予測された指示体の移動方向に基づいて、表示情報と指示体とが重複しない領域を特定し、特定した領域に表示情報に関する代替情報を表示する。The information processing terminal has a processor and a memory. The processor of the information processing terminal accepts selection of display information to be moved by the indicator via the touch panel for display information displayed on the display unit. Subsequently, the processor of the information processing terminal predicts the moving direction of the indicator based on the contact between the touch panel and the indicator. Thereafter, the processor of the information processing terminal specifies an area where the display information and the indicator do not overlap based on the predicted movement direction of the indicator, and displays alternative information regarding the display information in the specified area.
Description
本発明は、表示制御装置、表示制御方法および表示制御プログラムに関する。 The present invention relates to a display control device, a display control method, and a display control program.
近年、タッチパネルを有するスマートフォンなどの情報処理端末が急速に普及し、ユーザ層も若者から高齢者まで幅広くなっており、その中にはタッチパネルの操作に慣れていないユーザも多く含まれる。このような情報処理端末は、アイコンへの操作を受付けて各種処理を実行する。例えば、情報処理端末は、タッチパネルに表示されるアイコンが選択されると該当アプリケーションを起動する。 In recent years, information processing terminals such as smartphones having a touch panel have been rapidly spread, and the user group has been widened from young people to elderly people. Among them, there are many users who are not used to operating the touch panel. Such an information processing terminal accepts an operation on an icon and executes various processes. For example, the information processing terminal activates the corresponding application when an icon displayed on the touch panel is selected.
タッチパネルの領域は小さく、タッチパネル上に表示されるアイコンも小さいことから、年配者等にとっては操作性が悪いので、操作性を向上させる技術が知られている。例えば、タッチパネル上で指によるジェスチャを受付けて、受け付けたジェスチャに応じた処理を実行する技術が知られている。また、タッチパネル上のアイコンを指で押し込むように選択し、選択したアイコンをタッチパネル上で任意に移動させる技術が知られている。 Since the area of the touch panel is small and the icons displayed on the touch panel are also small, the operability is poor for the elderly and the like, and techniques for improving the operability are known. For example, a technique for receiving a gesture with a finger on a touch panel and executing a process according to the received gesture is known. In addition, a technique is known in which an icon on the touch panel is selected to be pushed in with a finger, and the selected icon is arbitrarily moved on the touch panel.
しかしながら、上記技術では、アイコン操作に伴う操作性がよくない。例えば、アイコンを押し込むように選択した状態では、アイコンと指が重なっていることから、選択中にアイコンが見えづらい。特に高齢者にとっては、アイコン自体が小さいことから、正しく選択できたかを確認することが難しい。 However, in the above technique, the operability associated with the icon operation is not good. For example, in a state where the icon is selected to be pushed in, the icon and the finger overlap each other, so that the icon is difficult to see during the selection. Especially for elderly people, since the icons themselves are small, it is difficult to confirm whether they have been selected correctly.
1つの側面では、アイコン操作に伴う操作性を向上することができる表示制御装置、表示制御方法および表示制御プログラムを提供することを目的とする。 An object of one aspect is to provide a display control device, a display control method, and a display control program that can improve operability associated with icon operation.
第1の案では、表示制御装置は、プロセッサとメモリとを有する。前記プロセッサは、表示部に表示される表示情報に対して、タッチパネルを介して指示体による移動対象の表示情報の選択を受付け、前記タッチパネルと前記指示体の接触に基づいて、前記指示体の移動方向を予測する。プロセッサは、予測された前記指示体の移動方向に基づいて、前記表示情報と前記指示体とが重複しない領域を特定し、特定した領域に前記表示情報に関する代替情報を表示する。 In the first proposal, the display control device includes a processor and a memory. The processor receives selection of display information to be moved by an indicator via a touch panel for display information displayed on the display unit, and moves the indicator based on contact between the touch panel and the indicator. Predict directions. The processor specifies an area where the display information and the indicator do not overlap based on the predicted movement direction of the indicator, and displays alternative information regarding the display information in the specified area.
一実施形態によれば、アイコン操作に伴う操作性を向上することができる。 According to one embodiment, operability associated with icon operation can be improved.
以下に、本発明にかかる表示制御装置、表示制御方法および表示制御プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。 Hereinafter, embodiments of a display control device, a display control method, and a display control program according to the present invention will be described in detail with reference to the drawings. Note that the present invention is not limited to the embodiments.
[情報処理端末の説明]
図1は、実施例1にかかる情報処理端末10を説明する図である。図1に示す情報処理端末10は、例えばスマートフォン、携帯電話、タブレット端末などのタッチパネルを有する端末の一例である。情報処理端末10は、LCD(Liquid Crystal Display)画面などの表示画面に、アプリケーションのアイコンを表示する。そして、情報処理端末10は、LCD画面に重畳されるタッチパネル10aを有し、タッチパネル10a上でアイコンの選択を受付ける。なお、情報処理端末のホームボタンを下や上にした状態では、長軸方向がY軸(縦軸)となり、短軸方向がX軸(横軸)となり、情報処理端末のホームボタンを左や右にした状態では、長軸方向がX軸(横軸)となり、短軸方向がY軸(縦軸)となる。[Description of information processing terminal]
FIG. 1 is a diagram illustrating the
例えば、情報処理端末10は、タッチパネル10a上でアイコンの選択を受付けると、選択されたアイコンに対応するアプリケーションを実行する。例えば、情報処理端末10は、タッチパネル10aに接触した指を検知すると、当該指が接触した位置に表示されるアイコンを特定する。このようにすることで、情報処理端末10は、指などの指示体によるアイコン選択を検知する。また、情報処理端末10は、タッチパネル10aでアイコンに対する長押しなどを検知すると、長押しされたアイコンを選択状態にして、アイコンの移動等を受付けることができる。
For example, when the
このような情報処理端末10は、プロセッサとメモリとを有する。そして、情報処理端末10のプロセッサは、LCD画面に表示されるアイコンなどの表示情報に対して、タッチパネル10aを介して指による移動対象の表示情報の選択を受付ける。情報処理端末10のプロセッサは、タッチパネル10aと指の接触に基づいて、選択されたアイコンの移動方向を予測する。その後、情報処理端末10のプロセッサは、予測されたアイコンの移動方向に基づいて、アイコンと指が重複しない領域を特定し、特定した領域にアイコンに関する代替情報を表示する。
Such an
例えば、図1に示すように、情報処理端末10は、画面の左右に近接センサー10bと10cとを有し、LCD画面にアイコンAからアイコンTが表示される。そして、情報処理端末10は、近接センサー10cが手を検出した場合、情報処理端末10は、右手による操作と判定する。そして、情報処理端末10は、アイコンJの選択状態を検出すると、指とタッチパネル10aとの接触状態から、右方向への移動と判定する。すると、情報処理端末10は、右方向に移動する指と重ならない領域に、アイコンJから吹き出された吹き出し型のアイコンJを表示させる。
For example, as shown in FIG. 1, the
したがって、情報処理端末10は、アイコンと指が重なっていない領域に選択中のアイコンを表示させることができ、アイコン移動中に選択中のアイコンが見えづらくなることを抑制できる。この結果、情報処理端末10は、アイコン操作に伴う操作性を向上することができる。
Therefore, the
[ハードウェア構成]
図2は、実施例1にかかる情報処理端末10のハードウェア構成例を説明する図である。図2に示すように、情報処理端末10は、無線部1、近接センサー2、オーディオ入出力部3、メモリ4、タッチパネル5、LCD画面6、プロセッサ20を有する。なお、図示した以外にも加速度センサーなど他のハードウェアを有していてもよい。[Hardware configuration]
FIG. 2 is a schematic diagram illustrating an example of a hardware configuration of the
無線部1は、アンテナ1aを介して、基地局や他の情報処理端末と無線通信を実行する。近接センサー2は、図1に示した近接センサー10bと10cに対応し、タッチパネルを操作している手を検出する。例えば、近接センサー2は、右手か左手かを検出するために、タッチパネル10aに隣接して複数設置される。例を挙げると、タッチパネル10aを左手で操作した場合に、左手の手のひらが通過するまたは被さる位置と、タッチパネル10aを右手で操作した場合に、右手の手のひらが通過するまたは被さる位置とに設置される。
The
オーディオ入出力部3は、スピーカから音声を出力し、マイクで集音された音声に対して各種処理を実行する。メモリ4は、記憶装置の一例であり、例えばプログラムやデータなどを記憶する。
The audio input /
タッチパネル5は、LCD画面6に重畳される、ユーザ操作を受け付ける入力部であり、操作された位置(座標)をプロセッサ20に出力する。なお、タッチパネル5は、図1に示したタッチパネル10aに対応し、静電容量方式や電磁誘導方式など様々な方式を採用することができる。LCD画面6は、各種情報を表示する表示部の一例である。
The
プロセッサ20は、情報処理端末10全体の処理を司る処理部であり、例えばCPU(Central Processing Unit)等である。例えば、プロセッサ20は、OS(Operating System)を実行する。また、プロセッサ20は、ハードディスク等に記憶されるプログラムを読み出してメモリ4に展開して実行することで、後述する各機能部を実行する。
The
[機能ブロック]
図3は、実施例1にかかる情報処理端末10の機能構成例を示す機能ブロック図である。図3に示すように、情報処理端末10は、方向パターンDB21と検索パターンDB22とを有し、プロセッサ20は、タッチパネル制御部23、選択受付部24、推定部25、予測部26、表示制御部27を有する。[Function block]
FIG. 3 is a functional block diagram of a functional configuration example of the
なお、方向パターンDB21と検索パターンDB22は、ハードディスクやメモリなどの記憶装置に記憶される。また、タッチパネル制御部23、選択受付部24、推定部25、予測部26、表示制御部27は、プロセッサ20が有する電子回路の一例やプロセッサ20が実行するプロセスの一例である。
The
方向パターンDB21は、操作している手が右手か左手かを判定するための情報であり、指とタッチパネル5との接触パターンを記憶するデータベースである。ここで記憶される情報と、実際の指とタッチパネルとの接触位置とに基づいて、右手か左手かが判定される。図4は、方向パターンDB21に記憶される情報の例を示す図である。
The
図4に示すように、方向パターンDB21は、パターンと判断結果とを対応付けて記憶する。例えば、4つの領域のうち、左上と右下とが接触しているパターン1、左下以外が接触しているパターン2、右上以外が接触しているパターン3の場合は、右利き(右手)と判断される。また、4つの領域のうち、右上と左下とが接触しているパターン4、右下以外が接触しているパターン5、左上以外が接触しているパターン6の場合は、左利き(左手)と判断される。
As illustrated in FIG. 4, the
検索パターンDB22は、LCD画面から、吹き出し型のアイコンを表示する領域を検索する検索パターンを記憶するデータベースである。詳細については後述するが、検索パターンDB22は、右手と左手ごとに、指の移動方向に対応付けた検索パターンを記憶する。
The
タッチパネル制御部23は、タッチパネル5上の操作とLCD画面に表示される情報とを関連付けて、各種処理を実行する処理部である。具体的には、タッチパネル制御部23は、一般的なタッチパネル制御と同様の処理を実行し、タッチパネル5上でLCD画面に表示されるアイコンの選択等を受け付ける。例えば、タッチパネル制御部23は、タッチパネル5上の座標とLCD画面上の座標や画素などとを関連付けて管理し、どのアイコンが選択されたかなどを検出する。また、タッチパネル制御部23は、選択された位置情報、座標情報、アイコン情報などを、選択受付部24と推定部25と予測部26とに出力する。
The touch
選択受付部24は、タッチパネル5上でアイコンの選択を受け付けて、受け付けた情報を表示制御部27に出力する処理部である。例えば、選択受付部24は、タッチパネル5上で一定時間(例えば2秒以上)、接触された位置に該当するアイコンを選択状態として受け付ける。選択状態にあるアイコンは、指が非接触状態になるまで、指と連動して移動し、指が非接触状態になった位置に移動する。
The selection receiving unit 24 is a processing unit that receives selection of an icon on the
推定部25は、アイコンを選択した指が右手か左手かを推定し、推定結果を表示制御部27に出力する処理部である。例えば、推定部25は、近接センサー10bによって手が検知された場合は左手と推定し、近接センサー10cによって手が検知された場合は右手と推定する。また、ユーザによって利き手の情報が予め設定されている場合、推定部25は、設定情報を優先することもできる。
The
また、推定部25は、指とタッチパネル5との接触に基づいて推定することもできる。図5は、操作している手の推定を説明する図である。図5に示すように、タッチパネル5は、LCD画面の分割にあわせて、X軸方向に1から6の6つの領域に分割され、Y軸方向にaからfの6つの領域に分割され、X軸の位置とY軸の位置を特定することで、1つの領域が定まる。なお、本実施例では、X軸の3とY軸のaの領域を示す場合に「3a」などと記載する。
The
このような状態で、図5に示すように、指10dがタッチパネル5の「3c」であるP1で最初に接触した後に、Q1の接触面で接触した状態となる。このとき、推定部25は、タッチパネル制御部23を介して、タッチパネル5の静電容量値や圧力値などを取得し、タッチパネル5の「3c」と「4d」とが一定値以上の値であると特定することで、「3c」と「4d」とを接触領域と判定する。そして、推定部25は、方向パターンDB21を参照し、接触領域のパターンがパターン1に該当すると判定した結果、右利き(右手)と推定する。その後、推定部25は、推定結果を表示制御部27に出力する。
In this state, as shown in FIG. 5, the
予測部26は、アイコンを選択中の指の移動方向を予測し、予測結果を表示制御部27に出力する処理部である。具体的には、予測部26は、推定部25によって利き手が推定されてから、例えば2ms以内などの所定時間以内に接触面が移動した場合に、接触面の領域や移動量等に基づいて、移動方向を予測する。
The prediction unit 26 is a processing unit that predicts the moving direction of a finger that is selecting an icon and outputs a prediction result to the
図6は、指の移動方向の予測を説明する図である。図6に示すタッチパネル5は、図5と同様、LCD画面の分割にあわせて、X軸方向に1から6の6つの領域に分割され、Y軸方向にaからfの6つの領域に分割され、X軸の位置とY軸の位置を特定することで、1つの領域が定まる。なお、LCD画面の領域とタッチパネル5の領域とは同期が取れており、同じ領域を指している。
FIG. 6 is a diagram for explaining prediction of the finger movement direction. The
推定部25が操作している手を推定した状態では、指10dとタッチパネル5とが接触面Q2で接触している。つまり、「3c」と「4d」とが接触領域として特定されている。次の瞬間では、予測部26は、タッチパネル制御部23を介して、タッチパネル5と指との接触領域として「4c」と「5d」とを取得する。ここで、予測部26は、推定部25による推定地点の接触領域P2「3c」に着目し、次の地点では接触領域P3「4c」となっていることから、接触領域がP2からP3に移動したと判定する。つまり、予測部26は、接触領域がX軸方向に1、Y軸方向に0だけ移動したことから、タッチ位置がX軸のプラス方向すなわち右方向に移動したと判定する。この結果、予測部26は、指の移動方向を右方向と予測する。
In a state where the
例えば、予測部26は、接触領域がX軸方向に−1、Y軸方向に0だけ移動した場合は、指の移動方向を左方向と予測し、接触領域がX軸方向に1、Y軸方向に−3だけ移動した場合は、指の移動方向を下方向と予測する。また、予測部26は、X軸方向にもY軸方向にも移動している場合は、移動量がより多い方を選択する。なお、推定部25による推定地点が複数ある場合は、任意の領域に着目して、上記処理と同様の処理を行う。
For example, when the contact area moves by −1 in the X-axis direction and 0 in the Y-axis direction, the prediction unit 26 predicts the moving direction of the finger as the left direction, and the contact area is 1 in the X-axis direction and the Y-axis. When moving in the direction by −3, the moving direction of the finger is predicted as the downward direction. In addition, when the prediction unit 26 moves in both the X-axis direction and the Y-axis direction, the prediction unit 26 selects the one having the larger movement amount. When there are a plurality of estimated points by the
表示制御部27は、空き検出部28と表示出力部29を有し、他のアイコンが表示されていない領域に、選択中である移動対象のアイコンの代替アイコンを表示させる処理部である。
The
空き検出部28は、予測部26によって予測された指10dの移動方向に基づいて、選択中のアイコンと指10dとが重複しない領域を特定する処理部である。具体的には、空き検出部28は、予測部26から指10dの移動方向を取得し、取得した移動方向に対応する検索パターンを検索パターンDB22から特定する。そして、空き検出部28は、特定した検索パターンにしたがって、LCD画面から空き領域を検索する。
The
図7は、検索パターンを説明する図である。図7では右利きの例で説明する。また、図7に示すように、検索パターンは、8種類に分類される。また、図7の例では、タッチパネル5が、LCD画面の分割にあわせて、X軸方向に1から7の7つの領域に分割され、Y軸方向にaからgの7つの領域に分割される例で説明する。なお、検索パターンの分類数やLCD画面などの分割数は、これに限定されるものではなく、任意に細分化することができる。
FIG. 7 is a diagram for explaining a search pattern. In FIG. 7, a right-handed example will be described. Further, as shown in FIG. 7, the search patterns are classified into eight types. In the example of FIG. 7, the
例えば、空き検出部28は、指の移動方向が上と予測された場合、図7の(1)に示すように、指と重ならない領域として、「1aから7a、1bから6b、1cから5c、1dから3d、1eから3e、1fから2f、1g」の27個の領域を特定する。また、空き検出部28は、指の移動方向が右と予測された場合、図7の(2)に示すように、指と重ならない領域として、「1aから7a、1bから7b、1cから7c、1dから3d、1eから3e、1fから3f、1gから3g」の33個の領域を特定する。また、空き検出部28は、指の移動方向が下と予測された場合、図7の(3)に示すように、(2)と同様の33個の領域を特定する。
For example, if the finger movement direction is predicted to be upward, the
また、空き検出部28は、指の移動方向が左と予測された場合、図7の(4)に示すように、指と重ならない領域として、「1aから7a、1bから7b、1cから7c、6dから7d、7e」の24個の領域を特定する。空き検出部28は、指の移動方向が右上と予測された場合、図7の(5)に示すように、指と重ならない領域として、「1aから5a、1bから4b、1cから3c、1dから2d、1eから2e、1fから3f、1gから4g」の23個の領域を特定する。また、空き検出部28は、指の移動方向が右下と予測された場合、図7の(6)に示すように、(2)と同様の33個の領域を特定する。
In addition, when the finger movement direction is predicted to be left, the
また、空き検出部28は、指の移動方向が左下と予測された場合、図7の(7)に示すように、指と重ならない領域として、「1aから7a、1bから7b、1cから3c、5cから7c、1dから2d、6dから7d、1e、7e」の26個の領域を特定する。また、空き検出部28は、指の移動方向が左上と予測された場合、図7の(8)に示すように、指と重ならない領域として、「1aから7a、1bから7b、1cから7c、1dから3d、1eから2e、1f」の27個の領域を特定する。
Further, when it is predicted that the finger movement direction is the lower left, the
そして、空き検出部28は、検索パターンを特定すると、該当する領域にアイコンが表示されているか否かを判定し、判定結果を表示出力部29に出力する。例えば、空き検出部28は、指10dの移動方向が上方向である場合、検索パターン(1)を特定する。そして、空き検出部28は、「1aから7a、1bから6b、1cから5c、1dから3d、1eから3e、1fから2f、1g」の27個の領域を順に検索し、「4a、3b、4b、1c、2e」にアイコンが存在することを特定する。そして、空き検出部28は、アイコンが存在する領域として「4a、3b、4b、1c、2e」を表示出力部29に通知するとともに、それ以外にはアイコンが存在しないことを表示出力部29に通知する。
When the search pattern is specified, the
表示出力部29は、空き検出部28によって特定された空き領域に、選択中のアイコンの代替アイコンを表示する処理部である。上記例で説明すると、表示出力部29は、「4a、3b、4b、1c、2e」以外の領域のうち、指10dとタッチパネル5との接触面(領域)との距離が最も近い領域に、代替アイコンを表示する。この例では、表示出力部29は、「3d」の領域に、吹き出し型のアイコンを表示する。なお、距離の測定は、様々な公知の手法を採用することができ、例えば接触面(領域)との直線距離や、X軸およびY軸の移動量などを算出して、判定することができる。
The
また、表示出力部29は、最も近い空き領域の大きさに応じて、吹き出し型のアイコンの大きさを動的に変更することができる。例えば、図7の(1)において、表示出力部29は、最も近い空き領域「3d」と隣接する「2c、3c、2d」の領域も空いていることから、「2c、3c、2d、3d」の4つの領域に跨る大きさの吹き出し型のアイコンを表示する。また、表示出力部29は、最も近い空き領域「3d」と隣接する「3c」の領域も空いている場合には、「3c、3d」の2つの領域に跨るように、縦長の吹き出し型のアイコンを表示する。
In addition, the
[処理の流れ]
図8は、処理の流れを示すフローチャートである。なお、ここでは、アイコンが選択された時点で右手と推定された例で説明する。図8に示すように、選択受付部24は、OSの機能等を介して、アイコンの移動を検出すると(S101:Yes)、アイコンが移動中か否かを判定する(S102)。[Process flow]
FIG. 8 is a flowchart showing the flow of processing. Here, an example in which the right hand is estimated when the icon is selected will be described. As illustrated in FIG. 8, when the selection receiving unit 24 detects the movement of the icon via the OS function or the like (S101: Yes), the selection receiving unit 24 determines whether the icon is moving (S102).
そして、アイコンが移動中である場合(S102:Yes)、予測部26は、指10dの向き予測処理を実行する(S103)。例えば、選択受付部24は、アイコンが移動可能な状態である選択状態になると、指10dの向き予測処理を実行する。
When the icon is moving (S102: Yes), the prediction unit 26 performs the direction prediction process for the
指10dの向き予測処理が終了すると、空き検出部28は、現在のタッチ位置を取得し(S104)、指10dの移動向きを取得し(S105)、指の移動向きに応じて検出パターンを特定する(S106)。
When the direction prediction process of the
続いて、空き検出部28は、検出パターンにしたがって空き領域を検出し(S107)、表示出力部29は、タッチ位置に一番近い空き領域を特定する(S108)。その後、表示出力部29は、特定した領域に、吹き出し型のアイコンを表示する(S109)。
Subsequently, the
なお、アイコンの移動が検出されない場合(S101:No)やアイコンが移動中ではない場合(S102:No)、処理は終了する。 Note that when the movement of the icon is not detected (S101: No) or when the icon is not moving (S102: No), the process ends.
次に、ステップS103で実行される指10dの向き予測処理について説明する。図9は、指10dの向き予測処理の流れを示すフローチャートである。図9に示すように、予測部26は、タッチパネル5に指10dが接触していることを検出すると(S201:Yes)、初回の接触か否かを判定する(S202)。
Next, the finger direction prediction process executed in step S103 will be described. FIG. 9 is a flowchart showing the flow of the
そして、予測部26は、初回の接触である場合(S202:Yes)、初回の接触位置を記録する(S203)。 Then, when it is the first contact (S202: Yes), the prediction unit 26 records the first contact position (S203).
一方、予測部26は、初回の接触ではない場合(S202:No)、前回の接触から所定時間以内の接触か否かを判定する(S204)。そして、予測部26は、前回の接触から所定時間以内の接触ではない場合(S204:No)、処理を終了する。 On the other hand, when it is not the first contact (S202: No), the prediction unit 26 determines whether the contact is within a predetermined time from the previous contact (S204). And the prediction part 26 complete | finishes a process, when it is not the contact within predetermined time from the last contact (S204: No).
一方、予測部26は、前回の接触から所定時間以内の接触である場合(S204:Yes)、現地点の位置を記録し(S205)、初回の接触位置から現地点までの差分を算出して、指10dの向きを特定する(S206)。なお、タッチパネル5に指10dが接触していない場合(S201:No)やステップS203が実行されると、処理が終了する。
On the other hand, when the contact is within a predetermined time from the previous contact (S204: Yes), the prediction unit 26 records the position of the local point (S205), and calculates the difference from the initial contact position to the local point. The direction of the
[効果]
上述したように、情報処理端末10は、タッチパネル5上に指で選択されたアイコンの位置の周辺に、選択したアイコンと同じデザインの吹き出し型のアイコンを表示する。したがって、ユーザは、いつでも自分が選択したアイコンを確認できる。また、情報処理端末10は、極めて短い2地点間のタッチパネル5と指10dとの接触点から指の移動方向を予測し、指と被らない向きを判断し、かつ、選択したアイコンの周辺に他のアイコンがないところを選んで、吹き出し型のアイコンを表示する。[effect]
As described above, the
したがって、情報処理端末10は、スタイラスペンや指によるアイコンの視認性悪化を防ぐことができ、ユーザの操作にかかわるストレスの軽減と誤操作を防ぐことができる。
Therefore, the
図10は、吹き出し型のアイコンの表示例を説明する図である。図10に示すように、情報処理端末10は、アイコンJが選択されて移動中である場合、アイコンJの吹き出し型のアイコンJを空き領域に表示する。そして、情報処理端末10は、アイコンJが移動中の間は、指10dの向き予測かつ空き領域の検索を繰り返し実行し、アイコンJの移動に追従して、吹き出し型のアイコンJを表示し続ける。
FIG. 10 is a diagram illustrating a display example of a balloon-type icon. As illustrated in FIG. 10, when the icon J is selected and the user is moving, the
したがって、情報処理端末10は、アイコン操作に伴う操作性を向上することができる。また、情報処理端末10は、空き領域の大きさに応じて、吹き出し型のアイコンの大きさも動的に変更することができるので、ユーザの利便性を向上させることができる。
Therefore, the
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。 Although the embodiments of the present invention have been described so far, the present invention may be implemented in various different forms other than the embodiments described above.
[表示例]
上記実施例で説明した吹き出し型のアイコンは一例であり、これに限定されるものではない。例えば、情報処理端末10は、選択中のアイコンの特徴に応じたアイコンを表示することもできる。例を挙げると、情報処理端末10は、写真を撮るカメラのアプリケーションの場合は、カメラのアイコンを表示することもできる。また、吹き出し型のアイコンに限らず、選択されているアイコンと同じアイコンや特定の形のアイコンを表示することもできる。[Display example]
The balloon icon described in the above embodiment is an example, and the present invention is not limited to this. For example, the
また、情報処理端末10は、空いている領域が小さい場合には、吹き出し型のアイコンをその領域の大きさに合わせて、小さな大きさで表示することもできる。このとき、一目で、選択中のアイコンがわかるように、選択中のアイコンの特徴に応じたアイコンを表示することもできる。
In addition, when the vacant area is small, the
また、情報処理端末10は、透過型のアイコンを表示することもできる。図11は、透過型アイコンの表示例を説明する図である。図11に示すように、情報処理端末10は、アイコンJが選択されているが、アイコンJから一定距離以内に空き領域がない場合、透過型の吹き出し型のアイコンJを表示する。このとき、情報処理端末10は、指10dの方向と被らない位置に、透過型の吹き出し型のアイコンJを表示する。このようにすることで、代替アイコンが選択中のアイコンから離れて表示されることを抑制できる。
The
[代替アイコンの表示抑制]
例えば、情報処理端末10は、端末の画面が十分に大きい場合に、代替アイコンの表示を抑制することができる。具体的には、情報処理端末10は、OSから画面サイズを取得し、予め決めたサイズより大きい場合(例えば10インチ以上)は、代替アイコンの表示を抑制する。この手法に限らず、画面サイズの設定はユーザ設定としてもよいし、学習機能により自動設定としてもよい。[Suppression of display of substitute icon]
For example, the
また、情報処理端末10は、無線や有線を用いて、外部装置に画面を出力している場合に、代替アイコンの表示を抑制することができる。具体的には、情報処理端末10は、OSから取得できる設定状態で、Wi−Fi(Wireless Fidelity)ダイレクト、Miracast、画面のキャストなどが有効になっていれば抑制する。
In addition, the
また、情報処理端末10は、MHL(Mobile High-definition Link)機能により、microUSB(Universal Serial Bus)端子からHDMI(High-Definition Multimedia Interface)(登録商標)に変換するアダプタを使うことで、HDMI出力をする端末であるとする。この場合、情報処理端末10は、端末のアプリがMHL機器の接続をブロードキャストメッセージとして検出した場合に、代替アイコンの表示を抑制する。
Further, the
このように、情報処理端末10は、小さな画面ではなく、大画面で画面表示を行っている場合は、吹き出し型のアイコン表示などを抑制する。したがって、大画面上で、吹き出し型のアイコンが表示される状態を抑制できるので、ユーザの煩わしさを軽減できる。
In this way, the
[領域]
上記実施例では、情報処理端末10は、一番近い空き領域に、吹き出し型のアイコンを表示する例を説明したが、これに限定されるものではない。例えば、情報処理端末10は、一番広い空き領域に、吹き出し型のアイコンを表示することもできる。このとき、空き領域の大きさに合わせて、吹き出し型のアイコンの大きさを変更することもできる。このようにすることで、吹き出し型のアイコンが小さくなることを抑制できるので、一定の見易さを保証することができる。[region]
In the above embodiment, the
[表示情報]
上記実施例では、表示情報の一例としてアイコンを例示したが、これに限定されるものではない。例えば、情報処理端末10は、画像フォルダの画像編集や音声フォルダの音声データの編集においても同様の処理を適用することができる。[Display Information]
In the said Example, although the icon was illustrated as an example of display information, it is not limited to this. For example, the
[操作している手の判定]
上記実施例では、接触領域のパターンやユーザ設定によって、右手か左手かを判定する例を説明したが、これに限定されるものではない。例えば、情報処理端末10は、情報処理端末10に設置される正面カメラのカメラ画面によって手を画像認識し、その手が画面の左右どちらにうつるかで操作している手を判断することもできる。また、指示体の例として指を用いて説明したが、これに限定されず、タッチペンなどであっても同様に処理することができる。[Determination of the operating hand]
In the above-described embodiment, an example in which the right hand or the left hand is determined based on the contact area pattern or the user setting has been described. However, the present invention is not limited to this. For example, the
[システム]
また、図3等に示した各装置の各構成は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、任意の単位で分散または統合して構成することができる。例えば、推定部25と予測部26を統合することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。[system]
Further, each configuration of each apparatus shown in FIG. 3 or the like does not necessarily need to be physically configured as illustrated. That is, it can be configured to be distributed or integrated in arbitrary units. For example, the
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともできる。あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。 In addition, among the processes described in the present embodiment, all or a part of the processes described as being automatically performed can be manually performed. Alternatively, all or part of the processing described as being performed manually can be automatically performed by a known method. In addition, the processing procedure, control procedure, specific name, and information including various data and parameters shown in the above-described document and drawings can be arbitrarily changed unless otherwise specified.
また、情報処理端末10のプロセッサ20は、ハードディスク等に格納されているプログラムを読み出して実行することで、表示制御方法を実行する情報処理装置として動作する。つまり、プロセッサ20は、タッチパネル制御部23、選択受付部24、推定部25、予測部26、表示制御部27と同様の機能を実行するプログラムを実行する。この結果、プロセッサ20は、タッチパネル制御部23、選択受付部24、推定部25、予測部26、表示制御部27として動作することができる。なお、この他の実施例でいうプログラムは、情報処理端末10によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。
The
このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO(Magneto−Optical disk)、DVD(Digital Versatile Disc)などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。 This program can be distributed via a network such as the Internet. The program is recorded on a computer-readable recording medium such as a hard disk, flexible disk (FD), CD-ROM, MO (Magneto-Optical disk), DVD (Digital Versatile Disc), and the like. It can be executed by being read.
10 情報処理端末
20 プロセッサ
21 方向パターンDB
22 検索パターンDB
23 タッチパネル制御部
24 選択受付部
25 推定部
26 予測部
27 表示制御部
28 空き検出部
29 表示出力部10
22 Search pattern DB
23 Touch Panel Control Unit 24
Claims (8)
前記プロセッサは、
表示部に表示される表示情報に対して、タッチパネルを介して指示体による移動対象の表示情報の選択を受付け、
前記タッチパネルと前記指示体の接触に基づいて、前記指示体の移動方向を予測し、
予測された前記指示体の移動方向に基づいて、前記表示情報と前記指示体とが重複しない領域を特定し、特定した領域に前記表示情報に関する代替情報を表示する
処理を実行することを特徴とする表示制御装置。A processor and a memory;
The processor is
Accepting selection of display information to be moved by an indicator via a touch panel for display information displayed on the display unit,
Based on the contact between the touch panel and the indicator, predict the moving direction of the indicator,
Based on the predicted movement direction of the indicator, a region where the display information and the indicator do not overlap is specified, and a process of displaying alternative information related to the display information in the specified region is performed. Display control device.
前記表示する処理は、推定結果を用いて、前記指示体と重複しない領域を特定することを特徴とする請求項1に記載の表示制御装置。The processor further executes a process of estimating whether the indicator is a left hand or a right hand,
The display control apparatus according to claim 1, wherein the display process specifies an area that does not overlap the indicator using an estimation result.
前記表示する処理は、前記指示体によって前記表示情報が移動されるたびに、予測された前記指示体の移動方向と異なる方向の領域のうち前記指示体と重複しない領域を検索し、検索された領域に、前記表示情報に関する代替情報を表示することを特徴とする請求項1に記載の表示制御装置。The process of predicting performs prediction of the moving direction of the display information every time the display information is moved by the indicator,
Each time the display information is moved by the indicator, the display processing is performed by searching for a region that does not overlap with the indicator among regions predicted to be different from the predicted direction of movement of the indicator. The display control apparatus according to claim 1, wherein substitute information related to the display information is displayed in an area.
表示部に表示される表示情報に対して、タッチパネルを介して指示体による移動対象の表示情報の選択を受付け、
前記タッチパネルと前記指示体の接触に基づいて、前記指示体の移動方向を予測し、
予測された前記指示体の移動方向に基づいて、前記表示情報と前記指示体とが重複しない領域を特定し、特定した領域に前記表示情報に関する代替情報を表示する
処理を実行することを特徴とする表示制御方法。Computer
Accepting selection of display information to be moved by an indicator via a touch panel for display information displayed on the display unit,
Based on the contact between the touch panel and the indicator, predict the moving direction of the indicator,
Based on the predicted movement direction of the indicator, a region where the display information and the indicator do not overlap is specified, and a process of displaying alternative information related to the display information in the specified region is performed. Display control method to be performed.
表示部に表示される表示情報に対して、タッチパネルを介して指示体による移動対象の表示情報の選択を受付け、
前記タッチパネルと前記指示体の接触に基づいて、前記指示体の移動方向を予測し、
予測された前記指示体の移動方向に基づいて、前記表示情報と前記指示体とが重複しない領域を特定し、特定した領域に前記表示情報に関する代替情報を表示する
処理を実行させることを特徴とする表示制御プログラム。On the computer,
Accepting selection of display information to be moved by an indicator via a touch panel for display information displayed on the display unit,
Based on the contact between the touch panel and the indicator, predict the moving direction of the indicator,
Based on the predicted movement direction of the indicator, a region where the display information and the indicator do not overlap is specified, and a process of displaying alternative information related to the display information in the specified region is executed. Display control program to be executed.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/057240 WO2017154119A1 (en) | 2016-03-08 | 2016-03-08 | Display control device, display control method, and display control program |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2017154119A1 true JPWO2017154119A1 (en) | 2019-01-10 |
Family
ID=59790211
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018503902A Pending JPWO2017154119A1 (en) | 2016-03-08 | 2016-03-08 | Display control apparatus, display control method, and display control program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2017154119A1 (en) |
WO (1) | WO2017154119A1 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008176448A (en) * | 2007-01-17 | 2008-07-31 | Casio Comput Co Ltd | Image display device and image display method |
JP2009193423A (en) * | 2008-02-15 | 2009-08-27 | Panasonic Corp | Input device for electronic equipment |
JP2011028560A (en) * | 2009-07-27 | 2011-02-10 | Sony Corp | Information processing apparatus, display method, and display program |
JP2011081447A (en) * | 2009-10-02 | 2011-04-21 | Seiko Instruments Inc | Information processing method and information processor |
JP2015153197A (en) * | 2014-02-14 | 2015-08-24 | Clinks株式会社 | Pointing position deciding system |
JP2016024657A (en) * | 2014-07-22 | 2016-02-08 | 日本電信電話株式会社 | Mobile terminal with multi touch screen and operation method thereof |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2711818A1 (en) * | 2011-05-16 | 2014-03-26 | Panasonic Corporation | Display device, display control method and display control program, and input device, input assistance method and program |
JP5836105B2 (en) * | 2011-12-20 | 2015-12-24 | シャープ株式会社 | Information processing apparatus, information processing apparatus control method, information processing apparatus control program, and computer-readable recording medium storing the program |
-
2016
- 2016-03-08 WO PCT/JP2016/057240 patent/WO2017154119A1/en active Application Filing
- 2016-03-08 JP JP2018503902A patent/JPWO2017154119A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008176448A (en) * | 2007-01-17 | 2008-07-31 | Casio Comput Co Ltd | Image display device and image display method |
JP2009193423A (en) * | 2008-02-15 | 2009-08-27 | Panasonic Corp | Input device for electronic equipment |
JP2011028560A (en) * | 2009-07-27 | 2011-02-10 | Sony Corp | Information processing apparatus, display method, and display program |
JP2011081447A (en) * | 2009-10-02 | 2011-04-21 | Seiko Instruments Inc | Information processing method and information processor |
JP2015153197A (en) * | 2014-02-14 | 2015-08-24 | Clinks株式会社 | Pointing position deciding system |
JP2016024657A (en) * | 2014-07-22 | 2016-02-08 | 日本電信電話株式会社 | Mobile terminal with multi touch screen and operation method thereof |
Also Published As
Publication number | Publication date |
---|---|
WO2017154119A1 (en) | 2017-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10627990B2 (en) | Map information display device, map information display method, and map information display program | |
JP6151157B2 (en) | Electronic device, control program, and operation method of electronic device | |
JP5721662B2 (en) | Input receiving method, input receiving program, and input device | |
US10073493B2 (en) | Device and method for controlling a display panel | |
JP5620440B2 (en) | Display control apparatus, display control method, and program | |
EP2560086B1 (en) | Method and apparatus for navigating content on screen using pointing device | |
EP2770423A2 (en) | Method and apparatus for operating object in user device | |
KR20140124278A (en) | Method for adjusting display area and an electronic device thereof | |
CN106547429B (en) | Display method and device for electronic terminal | |
EP2613247A2 (en) | Method and apparatus for displaying keypad in terminal having touch screen | |
KR20150007048A (en) | Method for displaying in electronic device | |
JP2014211720A (en) | Display apparatus and display control program | |
US20150355819A1 (en) | Information processing apparatus, input method, and recording medium | |
US20110258555A1 (en) | Systems and methods for interface management | |
JP2015141526A (en) | Information processor, information processing method and program | |
JP2014219740A (en) | Information processing apparatus, information processing system, information processing method, and program | |
WO2014148090A1 (en) | Information processing device and information processing method | |
JP5949010B2 (en) | INPUT CONTROL DEVICE, INPUT CONTROL PROGRAM, AND INPUT CONTROL METHOD | |
JP5675486B2 (en) | Input device and electronic device | |
JP5834253B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP6411067B2 (en) | Information processing apparatus and input method | |
JP2013182463A (en) | Portable terminal device, touch operation control method, and program | |
WO2017154119A1 (en) | Display control device, display control method, and display control program | |
US9996215B2 (en) | Input device, display control method, and integrated circuit device | |
US20160085409A1 (en) | Information processing apparatus, information display program, and information display method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180918 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190702 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200107 |