JPWO2017154119A1 - Display control apparatus, display control method, and display control program - Google Patents

Display control apparatus, display control method, and display control program Download PDF

Info

Publication number
JPWO2017154119A1
JPWO2017154119A1 JP2018503902A JP2018503902A JPWO2017154119A1 JP WO2017154119 A1 JPWO2017154119 A1 JP WO2017154119A1 JP 2018503902 A JP2018503902 A JP 2018503902A JP 2018503902 A JP2018503902 A JP 2018503902A JP WO2017154119 A1 JPWO2017154119 A1 JP WO2017154119A1
Authority
JP
Japan
Prior art keywords
indicator
display
information
display information
touch panel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018503902A
Other languages
Japanese (ja)
Inventor
桃野 一世
一世 桃野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Connected Technologies Ltd
Original Assignee
Fujitsu Connected Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Connected Technologies Ltd filed Critical Fujitsu Connected Technologies Ltd
Publication of JPWO2017154119A1 publication Critical patent/JPWO2017154119A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

情報処理端末は、プロセッサとメモリとを有する。情報処理端末のプロセッサは、表示部に表示される表示情報に対して、タッチパネルを介して指示体による移動対象の表示情報の選択を受付ける。続いて、情報処理端末のプロセッサは、タッチパネルと指示体の接触に基づいて、指示体の移動方向を予測する。その後、情報処理端末のプロセッサは、予測された指示体の移動方向に基づいて、表示情報と指示体とが重複しない領域を特定し、特定した領域に表示情報に関する代替情報を表示する。The information processing terminal has a processor and a memory. The processor of the information processing terminal accepts selection of display information to be moved by the indicator via the touch panel for display information displayed on the display unit. Subsequently, the processor of the information processing terminal predicts the moving direction of the indicator based on the contact between the touch panel and the indicator. Thereafter, the processor of the information processing terminal specifies an area where the display information and the indicator do not overlap based on the predicted movement direction of the indicator, and displays alternative information regarding the display information in the specified area.

Description

本発明は、表示制御装置、表示制御方法および表示制御プログラムに関する。   The present invention relates to a display control device, a display control method, and a display control program.

近年、タッチパネルを有するスマートフォンなどの情報処理端末が急速に普及し、ユーザ層も若者から高齢者まで幅広くなっており、その中にはタッチパネルの操作に慣れていないユーザも多く含まれる。このような情報処理端末は、アイコンへの操作を受付けて各種処理を実行する。例えば、情報処理端末は、タッチパネルに表示されるアイコンが選択されると該当アプリケーションを起動する。   In recent years, information processing terminals such as smartphones having a touch panel have been rapidly spread, and the user group has been widened from young people to elderly people. Among them, there are many users who are not used to operating the touch panel. Such an information processing terminal accepts an operation on an icon and executes various processes. For example, the information processing terminal activates the corresponding application when an icon displayed on the touch panel is selected.

タッチパネルの領域は小さく、タッチパネル上に表示されるアイコンも小さいことから、年配者等にとっては操作性が悪いので、操作性を向上させる技術が知られている。例えば、タッチパネル上で指によるジェスチャを受付けて、受け付けたジェスチャに応じた処理を実行する技術が知られている。また、タッチパネル上のアイコンを指で押し込むように選択し、選択したアイコンをタッチパネル上で任意に移動させる技術が知られている。   Since the area of the touch panel is small and the icons displayed on the touch panel are also small, the operability is poor for the elderly and the like, and techniques for improving the operability are known. For example, a technique for receiving a gesture with a finger on a touch panel and executing a process according to the received gesture is known. In addition, a technique is known in which an icon on the touch panel is selected to be pushed in with a finger, and the selected icon is arbitrarily moved on the touch panel.

国際公開第2008/086302号公報International Publication No. 2008/086302 特開2010−147683号公報JP 2010-147683 A

しかしながら、上記技術では、アイコン操作に伴う操作性がよくない。例えば、アイコンを押し込むように選択した状態では、アイコンと指が重なっていることから、選択中にアイコンが見えづらい。特に高齢者にとっては、アイコン自体が小さいことから、正しく選択できたかを確認することが難しい。   However, in the above technique, the operability associated with the icon operation is not good. For example, in a state where the icon is selected to be pushed in, the icon and the finger overlap each other, so that the icon is difficult to see during the selection. Especially for elderly people, since the icons themselves are small, it is difficult to confirm whether they have been selected correctly.

1つの側面では、アイコン操作に伴う操作性を向上することができる表示制御装置、表示制御方法および表示制御プログラムを提供することを目的とする。   An object of one aspect is to provide a display control device, a display control method, and a display control program that can improve operability associated with icon operation.

第1の案では、表示制御装置は、プロセッサとメモリとを有する。前記プロセッサは、表示部に表示される表示情報に対して、タッチパネルを介して指示体による移動対象の表示情報の選択を受付け、前記タッチパネルと前記指示体の接触に基づいて、前記指示体の移動方向を予測する。プロセッサは、予測された前記指示体の移動方向に基づいて、前記表示情報と前記指示体とが重複しない領域を特定し、特定した領域に前記表示情報に関する代替情報を表示する。   In the first proposal, the display control device includes a processor and a memory. The processor receives selection of display information to be moved by an indicator via a touch panel for display information displayed on the display unit, and moves the indicator based on contact between the touch panel and the indicator. Predict directions. The processor specifies an area where the display information and the indicator do not overlap based on the predicted movement direction of the indicator, and displays alternative information regarding the display information in the specified area.

一実施形態によれば、アイコン操作に伴う操作性を向上することができる。   According to one embodiment, operability associated with icon operation can be improved.

図1は、実施例1にかかる情報処理端末を説明する図である。FIG. 1 is a schematic diagram illustrating an information processing terminal according to the first embodiment. 図2は、実施例1にかかる情報処理端末のハードウェア構成例を説明する図である。FIG. 2 is a schematic diagram illustrating an example of a hardware configuration of the information processing terminal according to the first embodiment. 図3は、実施例1にかかる情報処理端末の機能構成例を示す機能ブロック図である。FIG. 3 is a functional block diagram of a functional configuration example of the information processing terminal according to the first embodiment. 図4は、方向パターンDBに記憶される情報の例を示す図である。FIG. 4 is a diagram illustrating an example of information stored in the direction pattern DB. 図5は、操作している手の推定を説明する図である。FIG. 5 is a diagram illustrating the estimation of the operating hand. 図6は、指の移動方向の予測を説明する図である。FIG. 6 is a diagram for explaining prediction of the finger movement direction. 図7は、検索パターンを説明する図である。FIG. 7 is a diagram for explaining a search pattern. 図8は、処理の流れを示すフローチャートである。FIG. 8 is a flowchart showing the flow of processing. 図9は、指の向き予測処理の流れを示すフローチャートである。FIG. 9 is a flowchart showing the flow of the finger direction prediction process. 図10は、吹き出し型のアイコンの表示例を説明する図である。FIG. 10 is a diagram illustrating a display example of a balloon-type icon. 図11は、透過型アイコンの表示例を説明する図である。FIG. 11 is a diagram illustrating a display example of a transmissive icon.

以下に、本発明にかかる表示制御装置、表示制御方法および表示制御プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。   Hereinafter, embodiments of a display control device, a display control method, and a display control program according to the present invention will be described in detail with reference to the drawings. Note that the present invention is not limited to the embodiments.

[情報処理端末の説明]
図1は、実施例1にかかる情報処理端末10を説明する図である。図1に示す情報処理端末10は、例えばスマートフォン、携帯電話、タブレット端末などのタッチパネルを有する端末の一例である。情報処理端末10は、LCD(Liquid Crystal Display)画面などの表示画面に、アプリケーションのアイコンを表示する。そして、情報処理端末10は、LCD画面に重畳されるタッチパネル10aを有し、タッチパネル10a上でアイコンの選択を受付ける。なお、情報処理端末のホームボタンを下や上にした状態では、長軸方向がY軸(縦軸)となり、短軸方向がX軸(横軸)となり、情報処理端末のホームボタンを左や右にした状態では、長軸方向がX軸(横軸)となり、短軸方向がY軸(縦軸)となる。
[Description of information processing terminal]
FIG. 1 is a diagram illustrating the information processing terminal 10 according to the first embodiment. The information processing terminal 10 illustrated in FIG. 1 is an example of a terminal having a touch panel such as a smartphone, a mobile phone, or a tablet terminal. The information processing terminal 10 displays an application icon on a display screen such as an LCD (Liquid Crystal Display) screen. The information processing terminal 10 has a touch panel 10a superimposed on the LCD screen, and accepts an icon selection on the touch panel 10a. When the home button of the information processing terminal is down or up, the major axis direction is the Y axis (vertical axis), the minor axis direction is the X axis (horizontal axis), and the home button of the information processing terminal is moved to the left or In the right state, the long axis direction is the X axis (horizontal axis) and the short axis direction is the Y axis (vertical axis).

例えば、情報処理端末10は、タッチパネル10a上でアイコンの選択を受付けると、選択されたアイコンに対応するアプリケーションを実行する。例えば、情報処理端末10は、タッチパネル10aに接触した指を検知すると、当該指が接触した位置に表示されるアイコンを特定する。このようにすることで、情報処理端末10は、指などの指示体によるアイコン選択を検知する。また、情報処理端末10は、タッチパネル10aでアイコンに対する長押しなどを検知すると、長押しされたアイコンを選択状態にして、アイコンの移動等を受付けることができる。   For example, when the information processing terminal 10 receives selection of an icon on the touch panel 10a, the information processing terminal 10 executes an application corresponding to the selected icon. For example, when the information processing terminal 10 detects a finger touching the touch panel 10a, the information processing terminal 10 specifies an icon displayed at a position where the finger touches. In this way, the information processing terminal 10 detects icon selection by an indicator such as a finger. In addition, when the information processing terminal 10 detects a long press on an icon on the touch panel 10a, the information processing terminal 10 can select the long pressed icon to be in a selected state and accept the movement of the icon.

このような情報処理端末10は、プロセッサとメモリとを有する。そして、情報処理端末10のプロセッサは、LCD画面に表示されるアイコンなどの表示情報に対して、タッチパネル10aを介して指による移動対象の表示情報の選択を受付ける。情報処理端末10のプロセッサは、タッチパネル10aと指の接触に基づいて、選択されたアイコンの移動方向を予測する。その後、情報処理端末10のプロセッサは、予測されたアイコンの移動方向に基づいて、アイコンと指が重複しない領域を特定し、特定した領域にアイコンに関する代替情報を表示する。   Such an information processing terminal 10 includes a processor and a memory. The processor of the information processing terminal 10 accepts selection of display information to be moved by a finger via the touch panel 10a for display information such as an icon displayed on the LCD screen. The processor of the information processing terminal 10 predicts the moving direction of the selected icon based on the touch of the touch panel 10a and the finger. Thereafter, the processor of the information processing terminal 10 specifies an area where the icon and the finger do not overlap based on the predicted moving direction of the icon, and displays alternative information regarding the icon in the specified area.

例えば、図1に示すように、情報処理端末10は、画面の左右に近接センサー10bと10cとを有し、LCD画面にアイコンAからアイコンTが表示される。そして、情報処理端末10は、近接センサー10cが手を検出した場合、情報処理端末10は、右手による操作と判定する。そして、情報処理端末10は、アイコンJの選択状態を検出すると、指とタッチパネル10aとの接触状態から、右方向への移動と判定する。すると、情報処理端末10は、右方向に移動する指と重ならない領域に、アイコンJから吹き出された吹き出し型のアイコンJを表示させる。   For example, as shown in FIG. 1, the information processing terminal 10 includes proximity sensors 10b and 10c on the left and right sides of the screen, and icons T to A are displayed on the LCD screen. When the proximity sensor 10c detects a hand, the information processing terminal 10 determines that the operation is performed with the right hand. And when the information processing terminal 10 detects the selection state of the icon J, it will determine with the movement to the right direction from the contact state of a finger | toe and the touch panel 10a. Then, the information processing terminal 10 displays the balloon type icon J blown out from the icon J in a region that does not overlap with the finger moving in the right direction.

したがって、情報処理端末10は、アイコンと指が重なっていない領域に選択中のアイコンを表示させることができ、アイコン移動中に選択中のアイコンが見えづらくなることを抑制できる。この結果、情報処理端末10は、アイコン操作に伴う操作性を向上することができる。   Therefore, the information processing terminal 10 can display the selected icon in a region where the icon and the finger do not overlap, and can prevent the selected icon from becoming difficult to see while moving the icon. As a result, the information processing terminal 10 can improve the operability associated with the icon operation.

[ハードウェア構成]
図2は、実施例1にかかる情報処理端末10のハードウェア構成例を説明する図である。図2に示すように、情報処理端末10は、無線部1、近接センサー2、オーディオ入出力部3、メモリ4、タッチパネル5、LCD画面6、プロセッサ20を有する。なお、図示した以外にも加速度センサーなど他のハードウェアを有していてもよい。
[Hardware configuration]
FIG. 2 is a schematic diagram illustrating an example of a hardware configuration of the information processing terminal 10 according to the first embodiment. As illustrated in FIG. 2, the information processing terminal 10 includes a wireless unit 1, a proximity sensor 2, an audio input / output unit 3, a memory 4, a touch panel 5, an LCD screen 6, and a processor 20. In addition to those shown in the figure, other hardware such as an acceleration sensor may be included.

無線部1は、アンテナ1aを介して、基地局や他の情報処理端末と無線通信を実行する。近接センサー2は、図1に示した近接センサー10bと10cに対応し、タッチパネルを操作している手を検出する。例えば、近接センサー2は、右手か左手かを検出するために、タッチパネル10aに隣接して複数設置される。例を挙げると、タッチパネル10aを左手で操作した場合に、左手の手のひらが通過するまたは被さる位置と、タッチパネル10aを右手で操作した場合に、右手の手のひらが通過するまたは被さる位置とに設置される。   The wireless unit 1 performs wireless communication with a base station and other information processing terminals via the antenna 1a. The proximity sensor 2 corresponds to the proximity sensors 10b and 10c shown in FIG. 1, and detects a hand operating the touch panel. For example, a plurality of proximity sensors 2 are installed adjacent to the touch panel 10a in order to detect right hand or left hand. For example, when the touch panel 10a is operated with the left hand, the palm of the left hand passes or covers, and when the touch panel 10a is operated with the right hand, the palm of the right hand passes or covers. .

オーディオ入出力部3は、スピーカから音声を出力し、マイクで集音された音声に対して各種処理を実行する。メモリ4は、記憶装置の一例であり、例えばプログラムやデータなどを記憶する。   The audio input / output unit 3 outputs sound from the speaker and executes various processes on the sound collected by the microphone. The memory 4 is an example of a storage device, and stores programs, data, and the like, for example.

タッチパネル5は、LCD画面6に重畳される、ユーザ操作を受け付ける入力部であり、操作された位置(座標)をプロセッサ20に出力する。なお、タッチパネル5は、図1に示したタッチパネル10aに対応し、静電容量方式や電磁誘導方式など様々な方式を採用することができる。LCD画面6は、各種情報を表示する表示部の一例である。   The touch panel 5 is an input unit that receives a user operation superimposed on the LCD screen 6, and outputs the operated position (coordinates) to the processor 20. The touch panel 5 corresponds to the touch panel 10a shown in FIG. 1, and various methods such as a capacitance method and an electromagnetic induction method can be adopted. The LCD screen 6 is an example of a display unit that displays various types of information.

プロセッサ20は、情報処理端末10全体の処理を司る処理部であり、例えばCPU(Central Processing Unit)等である。例えば、プロセッサ20は、OS(Operating System)を実行する。また、プロセッサ20は、ハードディスク等に記憶されるプログラムを読み出してメモリ4に展開して実行することで、後述する各機能部を実行する。   The processor 20 is a processing unit that controls processing of the entire information processing terminal 10, and is, for example, a CPU (Central Processing Unit). For example, the processor 20 executes an OS (Operating System). The processor 20 reads out a program stored in the hard disk or the like, develops it in the memory 4 and executes it, thereby executing each functional unit described later.

[機能ブロック]
図3は、実施例1にかかる情報処理端末10の機能構成例を示す機能ブロック図である。図3に示すように、情報処理端末10は、方向パターンDB21と検索パターンDB22とを有し、プロセッサ20は、タッチパネル制御部23、選択受付部24、推定部25、予測部26、表示制御部27を有する。
[Function block]
FIG. 3 is a functional block diagram of a functional configuration example of the information processing terminal 10 according to the first embodiment. As illustrated in FIG. 3, the information processing terminal 10 includes a direction pattern DB 21 and a search pattern DB 22, and the processor 20 includes a touch panel control unit 23, a selection receiving unit 24, an estimation unit 25, a prediction unit 26, and a display control unit. 27.

なお、方向パターンDB21と検索パターンDB22は、ハードディスクやメモリなどの記憶装置に記憶される。また、タッチパネル制御部23、選択受付部24、推定部25、予測部26、表示制御部27は、プロセッサ20が有する電子回路の一例やプロセッサ20が実行するプロセスの一例である。   The direction pattern DB 21 and the search pattern DB 22 are stored in a storage device such as a hard disk or a memory. The touch panel control unit 23, the selection receiving unit 24, the estimation unit 25, the prediction unit 26, and the display control unit 27 are examples of electronic circuits that the processor 20 has and examples of processes that the processor 20 executes.

方向パターンDB21は、操作している手が右手か左手かを判定するための情報であり、指とタッチパネル5との接触パターンを記憶するデータベースである。ここで記憶される情報と、実際の指とタッチパネルとの接触位置とに基づいて、右手か左手かが判定される。図4は、方向パターンDB21に記憶される情報の例を示す図である。   The direction pattern DB 21 is information for determining whether the operating hand is a right hand or a left hand, and is a database that stores a contact pattern between a finger and the touch panel 5. Whether the right hand or the left hand is determined based on the information stored here and the actual contact position between the finger and the touch panel. FIG. 4 is a diagram illustrating an example of information stored in the direction pattern DB 21.

図4に示すように、方向パターンDB21は、パターンと判断結果とを対応付けて記憶する。例えば、4つの領域のうち、左上と右下とが接触しているパターン1、左下以外が接触しているパターン2、右上以外が接触しているパターン3の場合は、右利き(右手)と判断される。また、4つの領域のうち、右上と左下とが接触しているパターン4、右下以外が接触しているパターン5、左上以外が接触しているパターン6の場合は、左利き(左手)と判断される。   As illustrated in FIG. 4, the direction pattern DB 21 stores a pattern and a determination result in association with each other. For example, in the case of the pattern 1 in which the upper left and the lower right are in contact, the pattern 2 in which the other than the lower left is in contact, and the pattern 3 in which the other than the upper right are in contact with each other, the right handed (right hand) To be judged. Of the four regions, if the pattern 4 is in contact with the upper right and the lower left, the pattern 5 is in contact with other than the lower right, and the pattern 6 is in contact with other than the upper left, it is determined to be left-handed (left hand). Is done.

検索パターンDB22は、LCD画面から、吹き出し型のアイコンを表示する領域を検索する検索パターンを記憶するデータベースである。詳細については後述するが、検索パターンDB22は、右手と左手ごとに、指の移動方向に対応付けた検索パターンを記憶する。   The search pattern DB 22 is a database that stores a search pattern for searching for an area for displaying a balloon-type icon from the LCD screen. Although details will be described later, the search pattern DB 22 stores a search pattern associated with the moving direction of the finger for each of the right hand and the left hand.

タッチパネル制御部23は、タッチパネル5上の操作とLCD画面に表示される情報とを関連付けて、各種処理を実行する処理部である。具体的には、タッチパネル制御部23は、一般的なタッチパネル制御と同様の処理を実行し、タッチパネル5上でLCD画面に表示されるアイコンの選択等を受け付ける。例えば、タッチパネル制御部23は、タッチパネル5上の座標とLCD画面上の座標や画素などとを関連付けて管理し、どのアイコンが選択されたかなどを検出する。また、タッチパネル制御部23は、選択された位置情報、座標情報、アイコン情報などを、選択受付部24と推定部25と予測部26とに出力する。   The touch panel control unit 23 is a processing unit that executes various processes in association with operations on the touch panel 5 and information displayed on the LCD screen. Specifically, the touch panel control unit 23 performs processing similar to general touch panel control, and accepts selection of icons displayed on the LCD screen on the touch panel 5. For example, the touch panel control unit 23 manages the coordinates on the touch panel 5 in association with the coordinates and pixels on the LCD screen, and detects which icon has been selected. The touch panel control unit 23 outputs the selected position information, coordinate information, icon information, and the like to the selection receiving unit 24, the estimation unit 25, and the prediction unit 26.

選択受付部24は、タッチパネル5上でアイコンの選択を受け付けて、受け付けた情報を表示制御部27に出力する処理部である。例えば、選択受付部24は、タッチパネル5上で一定時間(例えば2秒以上)、接触された位置に該当するアイコンを選択状態として受け付ける。選択状態にあるアイコンは、指が非接触状態になるまで、指と連動して移動し、指が非接触状態になった位置に移動する。   The selection receiving unit 24 is a processing unit that receives selection of an icon on the touch panel 5 and outputs the received information to the display control unit 27. For example, the selection receiving unit 24 receives an icon corresponding to the touched position as a selected state on the touch panel 5 for a certain time (for example, 2 seconds or more). The icon in the selected state moves in conjunction with the finger until the finger is in a non-contact state, and moves to a position where the finger is in a non-contact state.

推定部25は、アイコンを選択した指が右手か左手かを推定し、推定結果を表示制御部27に出力する処理部である。例えば、推定部25は、近接センサー10bによって手が検知された場合は左手と推定し、近接センサー10cによって手が検知された場合は右手と推定する。また、ユーザによって利き手の情報が予め設定されている場合、推定部25は、設定情報を優先することもできる。   The estimation unit 25 is a processing unit that estimates whether the finger whose icon has been selected is the right hand or the left hand and outputs the estimation result to the display control unit 27. For example, when the hand is detected by the proximity sensor 10b, the estimation unit 25 estimates the left hand, and when the hand is detected by the proximity sensor 10c, the estimation unit 25 estimates the right hand. In addition, when the dominant hand information is set in advance by the user, the estimation unit 25 can prioritize the setting information.

また、推定部25は、指とタッチパネル5との接触に基づいて推定することもできる。図5は、操作している手の推定を説明する図である。図5に示すように、タッチパネル5は、LCD画面の分割にあわせて、X軸方向に1から6の6つの領域に分割され、Y軸方向にaからfの6つの領域に分割され、X軸の位置とY軸の位置を特定することで、1つの領域が定まる。なお、本実施例では、X軸の3とY軸のaの領域を示す場合に「3a」などと記載する。   The estimation unit 25 can also estimate based on the contact between the finger and the touch panel 5. FIG. 5 is a diagram illustrating the estimation of the operating hand. As shown in FIG. 5, the touch panel 5 is divided into six regions 1 to 6 in the X-axis direction and divided into six regions a to f in the Y-axis direction in accordance with the division of the LCD screen. By specifying the position of the axis and the position of the Y axis, one region is determined. In the present embodiment, “3a” or the like is described to indicate a region of 3 on the X axis and a on the Y axis.

このような状態で、図5に示すように、指10dがタッチパネル5の「3c」であるP1で最初に接触した後に、Q1の接触面で接触した状態となる。このとき、推定部25は、タッチパネル制御部23を介して、タッチパネル5の静電容量値や圧力値などを取得し、タッチパネル5の「3c」と「4d」とが一定値以上の値であると特定することで、「3c」と「4d」とを接触領域と判定する。そして、推定部25は、方向パターンDB21を参照し、接触領域のパターンがパターン1に該当すると判定した結果、右利き(右手)と推定する。その後、推定部25は、推定結果を表示制御部27に出力する。   In this state, as shown in FIG. 5, the finger 10 d first contacts with P <b> 1 that is “3c” of the touch panel 5, and then comes into contact with the contact surface of Q <b> 1. At this time, the estimation unit 25 acquires the capacitance value, the pressure value, and the like of the touch panel 5 via the touch panel control unit 23, and “3c” and “4d” of the touch panel 5 are values equal to or greater than a certain value. Thus, “3c” and “4d” are determined as contact areas. And the estimation part 25 estimates that it is right-handed (right hand) as a result of having determined that the pattern of a contact area corresponds to the pattern 1 with reference to direction pattern DB21. Thereafter, the estimation unit 25 outputs the estimation result to the display control unit 27.

予測部26は、アイコンを選択中の指の移動方向を予測し、予測結果を表示制御部27に出力する処理部である。具体的には、予測部26は、推定部25によって利き手が推定されてから、例えば2ms以内などの所定時間以内に接触面が移動した場合に、接触面の領域や移動量等に基づいて、移動方向を予測する。   The prediction unit 26 is a processing unit that predicts the moving direction of a finger that is selecting an icon and outputs a prediction result to the display control unit 27. Specifically, when the contact surface moves within a predetermined time, for example, within 2 ms after the handedness is estimated by the estimation unit 25, the prediction unit 26, based on the region of the contact surface, the amount of movement, and the like, Predict the direction of movement.

図6は、指の移動方向の予測を説明する図である。図6に示すタッチパネル5は、図5と同様、LCD画面の分割にあわせて、X軸方向に1から6の6つの領域に分割され、Y軸方向にaからfの6つの領域に分割され、X軸の位置とY軸の位置を特定することで、1つの領域が定まる。なお、LCD画面の領域とタッチパネル5の領域とは同期が取れており、同じ領域を指している。   FIG. 6 is a diagram for explaining prediction of the finger movement direction. The touch panel 5 shown in FIG. 6 is divided into six regions 1 to 6 in the X-axis direction and six regions a to f in the Y-axis direction in accordance with the division of the LCD screen, as in FIG. By specifying the position of the X axis and the position of the Y axis, one region is determined. Note that the area of the LCD screen and the area of the touch panel 5 are synchronized and indicate the same area.

推定部25が操作している手を推定した状態では、指10dとタッチパネル5とが接触面Q2で接触している。つまり、「3c」と「4d」とが接触領域として特定されている。次の瞬間では、予測部26は、タッチパネル制御部23を介して、タッチパネル5と指との接触領域として「4c」と「5d」とを取得する。ここで、予測部26は、推定部25による推定地点の接触領域P2「3c」に着目し、次の地点では接触領域P3「4c」となっていることから、接触領域がP2からP3に移動したと判定する。つまり、予測部26は、接触領域がX軸方向に1、Y軸方向に0だけ移動したことから、タッチ位置がX軸のプラス方向すなわち右方向に移動したと判定する。この結果、予測部26は、指の移動方向を右方向と予測する。   In a state where the estimation unit 25 estimates the hand being operated, the finger 10d and the touch panel 5 are in contact with each other on the contact surface Q2. That is, “3c” and “4d” are specified as contact areas. At the next moment, the prediction unit 26 acquires “4c” and “5d” as the contact area between the touch panel 5 and the finger via the touch panel control unit 23. Here, the prediction unit 26 pays attention to the contact area P2 “3c” of the estimation point by the estimation unit 25, and the contact area moves from P2 to P3 because the contact area P3 “4c” is set at the next point. It is determined that That is, the predicting unit 26 determines that the touch position has moved in the plus direction of the X axis, that is, in the right direction because the contact area has moved by 1 in the X axis direction and 0 in the Y axis direction. As a result, the prediction unit 26 predicts the finger moving direction as the right direction.

例えば、予測部26は、接触領域がX軸方向に−1、Y軸方向に0だけ移動した場合は、指の移動方向を左方向と予測し、接触領域がX軸方向に1、Y軸方向に−3だけ移動した場合は、指の移動方向を下方向と予測する。また、予測部26は、X軸方向にもY軸方向にも移動している場合は、移動量がより多い方を選択する。なお、推定部25による推定地点が複数ある場合は、任意の領域に着目して、上記処理と同様の処理を行う。   For example, when the contact area moves by −1 in the X-axis direction and 0 in the Y-axis direction, the prediction unit 26 predicts the moving direction of the finger as the left direction, and the contact area is 1 in the X-axis direction and the Y-axis. When moving in the direction by −3, the moving direction of the finger is predicted as the downward direction. In addition, when the prediction unit 26 moves in both the X-axis direction and the Y-axis direction, the prediction unit 26 selects the one having the larger movement amount. When there are a plurality of estimated points by the estimation unit 25, paying attention to an arbitrary region, the same processing as the above processing is performed.

表示制御部27は、空き検出部28と表示出力部29を有し、他のアイコンが表示されていない領域に、選択中である移動対象のアイコンの代替アイコンを表示させる処理部である。   The display control unit 27 includes a vacancy detection unit 28 and a display output unit 29, and is a processing unit that displays an alternative icon of the selected movement target icon in an area where no other icon is displayed.

空き検出部28は、予測部26によって予測された指10dの移動方向に基づいて、選択中のアイコンと指10dとが重複しない領域を特定する処理部である。具体的には、空き検出部28は、予測部26から指10dの移動方向を取得し、取得した移動方向に対応する検索パターンを検索パターンDB22から特定する。そして、空き検出部28は、特定した検索パターンにしたがって、LCD画面から空き領域を検索する。   The vacancy detection unit 28 is a processing unit that identifies a region where the currently selected icon and the finger 10d do not overlap based on the movement direction of the finger 10d predicted by the prediction unit 26. Specifically, the vacancy detection unit 28 acquires the movement direction of the finger 10d from the prediction unit 26, and specifies a search pattern corresponding to the acquired movement direction from the search pattern DB 22. Then, the free space detector 28 searches for free space from the LCD screen according to the specified search pattern.

図7は、検索パターンを説明する図である。図7では右利きの例で説明する。また、図7に示すように、検索パターンは、8種類に分類される。また、図7の例では、タッチパネル5が、LCD画面の分割にあわせて、X軸方向に1から7の7つの領域に分割され、Y軸方向にaからgの7つの領域に分割される例で説明する。なお、検索パターンの分類数やLCD画面などの分割数は、これに限定されるものではなく、任意に細分化することができる。   FIG. 7 is a diagram for explaining a search pattern. In FIG. 7, a right-handed example will be described. Further, as shown in FIG. 7, the search patterns are classified into eight types. In the example of FIG. 7, the touch panel 5 is divided into seven areas 1 to 7 in the X-axis direction and divided into seven areas a to g in the Y-axis direction in accordance with the division of the LCD screen. This will be explained with an example. Note that the number of search pattern classifications and the number of divisions of the LCD screen are not limited to this, and can be arbitrarily subdivided.

例えば、空き検出部28は、指の移動方向が上と予測された場合、図7の(1)に示すように、指と重ならない領域として、「1aから7a、1bから6b、1cから5c、1dから3d、1eから3e、1fから2f、1g」の27個の領域を特定する。また、空き検出部28は、指の移動方向が右と予測された場合、図7の(2)に示すように、指と重ならない領域として、「1aから7a、1bから7b、1cから7c、1dから3d、1eから3e、1fから3f、1gから3g」の33個の領域を特定する。また、空き検出部28は、指の移動方向が下と予測された場合、図7の(3)に示すように、(2)と同様の33個の領域を特定する。   For example, if the finger movement direction is predicted to be upward, the vacancy detection unit 28 may select “1a to 7a, 1b to 6b, 1c to 5c” as areas that do not overlap with the finger, as shown in FIG. 27 areas of 1d to 3d, 1e to 3e, 1f to 2f, and 1g "are specified. In addition, when the finger movement direction is predicted to be right, the vacancy detection unit 28 sets “1a to 7a, 1b to 7b, 1c to 7c” as areas that do not overlap with the finger as shown in FIG. 33 regions of 1d to 3d, 1e to 3e, 1f to 3f, 1g to 3g "are specified. In addition, when it is predicted that the finger movement direction is downward, the vacancy detection unit 28 specifies 33 areas similar to (2) as shown in (3) of FIG.

また、空き検出部28は、指の移動方向が左と予測された場合、図7の(4)に示すように、指と重ならない領域として、「1aから7a、1bから7b、1cから7c、6dから7d、7e」の24個の領域を特定する。空き検出部28は、指の移動方向が右上と予測された場合、図7の(5)に示すように、指と重ならない領域として、「1aから5a、1bから4b、1cから3c、1dから2d、1eから2e、1fから3f、1gから4g」の23個の領域を特定する。また、空き検出部28は、指の移動方向が右下と予測された場合、図7の(6)に示すように、(2)と同様の33個の領域を特定する。   In addition, when the finger movement direction is predicted to be left, the vacancy detection unit 28 determines that “1a to 7a, 1b to 7b, 1c to 7c” as areas not overlapping with the finger, as illustrated in FIG. , 6d to 7d, 7e "are specified. When the movement direction of the finger is predicted to be in the upper right, the vacancy detection unit 28 determines that “1a to 5a, 1b to 4b, 1c to 3c, 1d” as areas not overlapping with the finger, as shown in (5) of FIG. To 2d, 1e to 2e, 1f to 3f, 1g to 4g ". In addition, when the finger movement direction is predicted to be lower right, the vacancy detection unit 28 identifies 33 areas similar to (2) as shown in (6) of FIG.

また、空き検出部28は、指の移動方向が左下と予測された場合、図7の(7)に示すように、指と重ならない領域として、「1aから7a、1bから7b、1cから3c、5cから7c、1dから2d、6dから7d、1e、7e」の26個の領域を特定する。また、空き検出部28は、指の移動方向が左上と予測された場合、図7の(8)に示すように、指と重ならない領域として、「1aから7a、1bから7b、1cから7c、1dから3d、1eから2e、1f」の27個の領域を特定する。   Further, when it is predicted that the finger movement direction is the lower left, the vacancy detection unit 28 determines that “1a to 7a, 1b to 7b, 1c to 3c” as areas not overlapping with the finger, as shown in (7) of FIG. 26 areas from 5c to 7c, 1d to 2d, 6d to 7d, 1e, and 7e "are specified. In addition, when the finger movement direction is predicted to be in the upper left, the vacant detection unit 28 determines that “1a to 7a, 1b to 7b, 1c to 7c” as areas not overlapping with the finger, as illustrated in FIG. 27 areas of 1d to 3d, 1e to 2e, and 1f ”are specified.

そして、空き検出部28は、検索パターンを特定すると、該当する領域にアイコンが表示されているか否かを判定し、判定結果を表示出力部29に出力する。例えば、空き検出部28は、指10dの移動方向が上方向である場合、検索パターン(1)を特定する。そして、空き検出部28は、「1aから7a、1bから6b、1cから5c、1dから3d、1eから3e、1fから2f、1g」の27個の領域を順に検索し、「4a、3b、4b、1c、2e」にアイコンが存在することを特定する。そして、空き検出部28は、アイコンが存在する領域として「4a、3b、4b、1c、2e」を表示出力部29に通知するとともに、それ以外にはアイコンが存在しないことを表示出力部29に通知する。   When the search pattern is specified, the vacancy detection unit 28 determines whether an icon is displayed in the corresponding area, and outputs the determination result to the display output unit 29. For example, when the movement direction of the finger 10d is upward, the vacancy detection unit 28 specifies the search pattern (1). Then, the vacancy detection unit 28 sequentially searches 27 areas “1a to 7a, 1b to 6b, 1c to 5c, 1d to 3d, 1e to 3e, 1f to 2f, 1g”, and “4a, 3b, 4b, 1c, 2e "is specified. Then, the vacancy detection unit 28 notifies the display output unit 29 of “4a, 3b, 4b, 1c, 2e” as the area where the icon exists, and notifies the display output unit 29 that no other icons exist. Notice.

表示出力部29は、空き検出部28によって特定された空き領域に、選択中のアイコンの代替アイコンを表示する処理部である。上記例で説明すると、表示出力部29は、「4a、3b、4b、1c、2e」以外の領域のうち、指10dとタッチパネル5との接触面(領域)との距離が最も近い領域に、代替アイコンを表示する。この例では、表示出力部29は、「3d」の領域に、吹き出し型のアイコンを表示する。なお、距離の測定は、様々な公知の手法を採用することができ、例えば接触面(領域)との直線距離や、X軸およびY軸の移動量などを算出して、判定することができる。   The display output unit 29 is a processing unit that displays a substitute icon for the currently selected icon in the empty area specified by the empty detection unit 28. Explaining in the above example, the display output unit 29 is located in an area other than “4a, 3b, 4b, 1c, 2e” in an area where the distance between the contact surface (area) between the finger 10d and the touch panel 5 is the closest. Display alternate icons. In this example, the display output unit 29 displays a balloon-type icon in the “3d” area. Various known methods can be used for the distance measurement. For example, the distance can be determined by calculating a linear distance to the contact surface (region), the movement amount of the X axis and the Y axis, and the like. .

また、表示出力部29は、最も近い空き領域の大きさに応じて、吹き出し型のアイコンの大きさを動的に変更することができる。例えば、図7の(1)において、表示出力部29は、最も近い空き領域「3d」と隣接する「2c、3c、2d」の領域も空いていることから、「2c、3c、2d、3d」の4つの領域に跨る大きさの吹き出し型のアイコンを表示する。また、表示出力部29は、最も近い空き領域「3d」と隣接する「3c」の領域も空いている場合には、「3c、3d」の2つの領域に跨るように、縦長の吹き出し型のアイコンを表示する。   In addition, the display output unit 29 can dynamically change the size of the balloon-type icon according to the size of the nearest empty area. For example, in (1) of FIG. 7, the display output unit 29 has “2c, 3c, 2d, 3d” adjacent to the nearest empty area “3d” because the area “2c, 3c, 2d” is also empty. ”Is displayed as a balloon-type icon having a size extending over the four areas. The display output unit 29 also has a vertically long balloon type so as to straddle the two areas “3c, 3d” when the area “3c” adjacent to the nearest empty area “3d” is also empty. Display icon.

[処理の流れ]
図8は、処理の流れを示すフローチャートである。なお、ここでは、アイコンが選択された時点で右手と推定された例で説明する。図8に示すように、選択受付部24は、OSの機能等を介して、アイコンの移動を検出すると(S101:Yes)、アイコンが移動中か否かを判定する(S102)。
[Process flow]
FIG. 8 is a flowchart showing the flow of processing. Here, an example in which the right hand is estimated when the icon is selected will be described. As illustrated in FIG. 8, when the selection receiving unit 24 detects the movement of the icon via the OS function or the like (S101: Yes), the selection receiving unit 24 determines whether the icon is moving (S102).

そして、アイコンが移動中である場合(S102:Yes)、予測部26は、指10dの向き予測処理を実行する(S103)。例えば、選択受付部24は、アイコンが移動可能な状態である選択状態になると、指10dの向き予測処理を実行する。   When the icon is moving (S102: Yes), the prediction unit 26 performs the direction prediction process for the finger 10d (S103). For example, when the selection receiving unit 24 is in a selection state in which the icon is movable, the selection receiving unit 24 performs a direction prediction process for the finger 10d.

指10dの向き予測処理が終了すると、空き検出部28は、現在のタッチ位置を取得し(S104)、指10dの移動向きを取得し(S105)、指の移動向きに応じて検出パターンを特定する(S106)。   When the direction prediction process of the finger 10d is completed, the vacancy detection unit 28 acquires the current touch position (S104), acquires the moving direction of the finger 10d (S105), and specifies the detection pattern according to the moving direction of the finger. (S106).

続いて、空き検出部28は、検出パターンにしたがって空き領域を検出し(S107)、表示出力部29は、タッチ位置に一番近い空き領域を特定する(S108)。その後、表示出力部29は、特定した領域に、吹き出し型のアイコンを表示する(S109)。   Subsequently, the empty detection unit 28 detects an empty area according to the detection pattern (S107), and the display output unit 29 specifies the empty area closest to the touch position (S108). Thereafter, the display output unit 29 displays a balloon-type icon in the identified area (S109).

なお、アイコンの移動が検出されない場合(S101:No)やアイコンが移動中ではない場合(S102:No)、処理は終了する。   Note that when the movement of the icon is not detected (S101: No) or when the icon is not moving (S102: No), the process ends.

次に、ステップS103で実行される指10dの向き予測処理について説明する。図9は、指10dの向き予測処理の流れを示すフローチャートである。図9に示すように、予測部26は、タッチパネル5に指10dが接触していることを検出すると(S201:Yes)、初回の接触か否かを判定する(S202)。   Next, the finger direction prediction process executed in step S103 will be described. FIG. 9 is a flowchart showing the flow of the finger 10d direction prediction process. As illustrated in FIG. 9, when the prediction unit 26 detects that the finger 10d is in contact with the touch panel 5 (S201: Yes), the prediction unit 26 determines whether or not it is the first contact (S202).

そして、予測部26は、初回の接触である場合(S202:Yes)、初回の接触位置を記録する(S203)。   Then, when it is the first contact (S202: Yes), the prediction unit 26 records the first contact position (S203).

一方、予測部26は、初回の接触ではない場合(S202:No)、前回の接触から所定時間以内の接触か否かを判定する(S204)。そして、予測部26は、前回の接触から所定時間以内の接触ではない場合(S204:No)、処理を終了する。   On the other hand, when it is not the first contact (S202: No), the prediction unit 26 determines whether the contact is within a predetermined time from the previous contact (S204). And the prediction part 26 complete | finishes a process, when it is not the contact within predetermined time from the last contact (S204: No).

一方、予測部26は、前回の接触から所定時間以内の接触である場合(S204:Yes)、現地点の位置を記録し(S205)、初回の接触位置から現地点までの差分を算出して、指10dの向きを特定する(S206)。なお、タッチパネル5に指10dが接触していない場合(S201:No)やステップS203が実行されると、処理が終了する。   On the other hand, when the contact is within a predetermined time from the previous contact (S204: Yes), the prediction unit 26 records the position of the local point (S205), and calculates the difference from the initial contact position to the local point. The direction of the finger 10d is specified (S206). When the finger 10d is not in contact with the touch panel 5 (S201: No) or when step S203 is executed, the process ends.

[効果]
上述したように、情報処理端末10は、タッチパネル5上に指で選択されたアイコンの位置の周辺に、選択したアイコンと同じデザインの吹き出し型のアイコンを表示する。したがって、ユーザは、いつでも自分が選択したアイコンを確認できる。また、情報処理端末10は、極めて短い2地点間のタッチパネル5と指10dとの接触点から指の移動方向を予測し、指と被らない向きを判断し、かつ、選択したアイコンの周辺に他のアイコンがないところを選んで、吹き出し型のアイコンを表示する。
[effect]
As described above, the information processing terminal 10 displays a balloon-type icon having the same design as the selected icon around the position of the icon selected with the finger on the touch panel 5. Therefore, the user can confirm the icon he / she has selected at any time. The information processing terminal 10 also predicts the direction of finger movement from the contact point between the touch panel 5 and the finger 10d between two extremely short points, determines the direction in which the finger does not wear, and places it around the selected icon. Select a place where there are no other icons, and display a balloon icon.

したがって、情報処理端末10は、スタイラスペンや指によるアイコンの視認性悪化を防ぐことができ、ユーザの操作にかかわるストレスの軽減と誤操作を防ぐことができる。   Therefore, the information processing terminal 10 can prevent deterioration of the visibility of the icon by the stylus pen or the finger, and can reduce stress related to the user's operation and prevent an erroneous operation.

図10は、吹き出し型のアイコンの表示例を説明する図である。図10に示すように、情報処理端末10は、アイコンJが選択されて移動中である場合、アイコンJの吹き出し型のアイコンJを空き領域に表示する。そして、情報処理端末10は、アイコンJが移動中の間は、指10dの向き予測かつ空き領域の検索を繰り返し実行し、アイコンJの移動に追従して、吹き出し型のアイコンJを表示し続ける。   FIG. 10 is a diagram illustrating a display example of a balloon-type icon. As illustrated in FIG. 10, when the icon J is selected and the user is moving, the information processing terminal 10 displays a balloon-type icon J of the icon J in the empty area. Then, while the icon J is moving, the information processing terminal 10 repeatedly executes the prediction of the direction of the finger 10d and the search for the empty area, and continues to display the balloon-type icon J following the movement of the icon J.

したがって、情報処理端末10は、アイコン操作に伴う操作性を向上することができる。また、情報処理端末10は、空き領域の大きさに応じて、吹き出し型のアイコンの大きさも動的に変更することができるので、ユーザの利便性を向上させることができる。   Therefore, the information processing terminal 10 can improve the operability associated with the icon operation. In addition, since the information processing terminal 10 can dynamically change the size of the balloon-type icon according to the size of the free space, the convenience of the user can be improved.

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。   Although the embodiments of the present invention have been described so far, the present invention may be implemented in various different forms other than the embodiments described above.

[表示例]
上記実施例で説明した吹き出し型のアイコンは一例であり、これに限定されるものではない。例えば、情報処理端末10は、選択中のアイコンの特徴に応じたアイコンを表示することもできる。例を挙げると、情報処理端末10は、写真を撮るカメラのアプリケーションの場合は、カメラのアイコンを表示することもできる。また、吹き出し型のアイコンに限らず、選択されているアイコンと同じアイコンや特定の形のアイコンを表示することもできる。
[Display example]
The balloon icon described in the above embodiment is an example, and the present invention is not limited to this. For example, the information processing terminal 10 can display an icon corresponding to the feature of the currently selected icon. For example, in the case of a camera application that takes a picture, the information processing terminal 10 can also display a camera icon. Further, not only the balloon type icon but also the same icon as the selected icon or a specific icon can be displayed.

また、情報処理端末10は、空いている領域が小さい場合には、吹き出し型のアイコンをその領域の大きさに合わせて、小さな大きさで表示することもできる。このとき、一目で、選択中のアイコンがわかるように、選択中のアイコンの特徴に応じたアイコンを表示することもできる。   In addition, when the vacant area is small, the information processing terminal 10 can display a balloon-type icon in a small size according to the size of the area. At this time, an icon corresponding to the feature of the selected icon can be displayed so that the selected icon can be seen at a glance.

また、情報処理端末10は、透過型のアイコンを表示することもできる。図11は、透過型アイコンの表示例を説明する図である。図11に示すように、情報処理端末10は、アイコンJが選択されているが、アイコンJから一定距離以内に空き領域がない場合、透過型の吹き出し型のアイコンJを表示する。このとき、情報処理端末10は、指10dの方向と被らない位置に、透過型の吹き出し型のアイコンJを表示する。このようにすることで、代替アイコンが選択中のアイコンから離れて表示されることを抑制できる。   The information processing terminal 10 can also display a transmissive icon. FIG. 11 is a diagram illustrating a display example of a transmissive icon. As illustrated in FIG. 11, the information processing terminal 10 displays the transparent balloon-type icon J when the icon J is selected but there is no free area within a certain distance from the icon J. At this time, the information processing terminal 10 displays a transmissive balloon-type icon J at a position that does not cover the direction of the finger 10d. By doing in this way, it can suppress that an alternative icon is displayed away from the icon currently selected.

[代替アイコンの表示抑制]
例えば、情報処理端末10は、端末の画面が十分に大きい場合に、代替アイコンの表示を抑制することができる。具体的には、情報処理端末10は、OSから画面サイズを取得し、予め決めたサイズより大きい場合(例えば10インチ以上)は、代替アイコンの表示を抑制する。この手法に限らず、画面サイズの設定はユーザ設定としてもよいし、学習機能により自動設定としてもよい。
[Suppression of display of substitute icon]
For example, the information processing terminal 10 can suppress the display of the substitute icon when the terminal screen is sufficiently large. Specifically, the information processing terminal 10 acquires the screen size from the OS, and suppresses the display of the substitute icon when the screen size is larger than a predetermined size (for example, 10 inches or more). The setting of the screen size is not limited to this method, and may be a user setting or may be automatically set by a learning function.

また、情報処理端末10は、無線や有線を用いて、外部装置に画面を出力している場合に、代替アイコンの表示を抑制することができる。具体的には、情報処理端末10は、OSから取得できる設定状態で、Wi−Fi(Wireless Fidelity)ダイレクト、Miracast、画面のキャストなどが有効になっていれば抑制する。   In addition, the information processing terminal 10 can suppress the display of the substitute icon when the screen is output to an external device using wireless or wired. Specifically, the information processing terminal 10 suppresses Wi-Fi (Wireless Fidelity) direct, Miracast, screen casting, and the like in a setting state that can be acquired from the OS.

また、情報処理端末10は、MHL(Mobile High-definition Link)機能により、microUSB(Universal Serial Bus)端子からHDMI(High-Definition Multimedia Interface)(登録商標)に変換するアダプタを使うことで、HDMI出力をする端末であるとする。この場合、情報処理端末10は、端末のアプリがMHL機器の接続をブロードキャストメッセージとして検出した場合に、代替アイコンの表示を抑制する。   Further, the information processing terminal 10 uses an adapter that converts from a microUSB (Universal Serial Bus) terminal to an HDMI (High-Definition Multimedia Interface) (registered trademark) by an MHL (Mobile High-definition Link) function, thereby enabling HDMI output. Suppose that this is a terminal. In this case, the information processing terminal 10 suppresses the display of the substitute icon when the terminal application detects the connection of the MHL device as a broadcast message.

このように、情報処理端末10は、小さな画面ではなく、大画面で画面表示を行っている場合は、吹き出し型のアイコン表示などを抑制する。したがって、大画面上で、吹き出し型のアイコンが表示される状態を抑制できるので、ユーザの煩わしさを軽減できる。   In this way, the information processing terminal 10 suppresses balloon-type icon display or the like when the screen is displayed on a large screen instead of a small screen. Therefore, since it is possible to suppress the state where the balloon-type icon is displayed on the large screen, the user's troublesomeness can be reduced.

[領域]
上記実施例では、情報処理端末10は、一番近い空き領域に、吹き出し型のアイコンを表示する例を説明したが、これに限定されるものではない。例えば、情報処理端末10は、一番広い空き領域に、吹き出し型のアイコンを表示することもできる。このとき、空き領域の大きさに合わせて、吹き出し型のアイコンの大きさを変更することもできる。このようにすることで、吹き出し型のアイコンが小さくなることを抑制できるので、一定の見易さを保証することができる。
[region]
In the above embodiment, the information processing terminal 10 has described the example in which the balloon type icon is displayed in the nearest empty area. However, the present invention is not limited to this. For example, the information processing terminal 10 can display a balloon-type icon in the widest empty area. At this time, the size of the balloon-type icon can be changed in accordance with the size of the empty area. By doing so, it is possible to prevent the balloon-type icon from becoming smaller, and thus it is possible to ensure a certain level of visibility.

[表示情報]
上記実施例では、表示情報の一例としてアイコンを例示したが、これに限定されるものではない。例えば、情報処理端末10は、画像フォルダの画像編集や音声フォルダの音声データの編集においても同様の処理を適用することができる。
[Display Information]
In the said Example, although the icon was illustrated as an example of display information, it is not limited to this. For example, the information processing terminal 10 can apply the same processing to image editing of an image folder and editing of audio data of an audio folder.

[操作している手の判定]
上記実施例では、接触領域のパターンやユーザ設定によって、右手か左手かを判定する例を説明したが、これに限定されるものではない。例えば、情報処理端末10は、情報処理端末10に設置される正面カメラのカメラ画面によって手を画像認識し、その手が画面の左右どちらにうつるかで操作している手を判断することもできる。また、指示体の例として指を用いて説明したが、これに限定されず、タッチペンなどであっても同様に処理することができる。
[Determination of the operating hand]
In the above-described embodiment, an example in which the right hand or the left hand is determined based on the contact area pattern or the user setting has been described. However, the present invention is not limited to this. For example, the information processing terminal 10 can also recognize the image of a hand from the camera screen of the front camera installed in the information processing terminal 10 and determine which hand is operating depending on whether the hand moves to the left or right of the screen. . Moreover, although it demonstrated using the finger | toe as an example of a pointer, it is not limited to this, Even if it is a touch pen etc., it can process similarly.

[システム]
また、図3等に示した各装置の各構成は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、任意の単位で分散または統合して構成することができる。例えば、推定部25と予測部26を統合することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
[system]
Further, each configuration of each apparatus shown in FIG. 3 or the like does not necessarily need to be physically configured as illustrated. That is, it can be configured to be distributed or integrated in arbitrary units. For example, the estimation unit 25 and the prediction unit 26 can be integrated. Further, all or any part of each processing function performed in each device may be realized by a CPU and a program analyzed and executed by the CPU, or may be realized as hardware by wired logic.

また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともできる。あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。   In addition, among the processes described in the present embodiment, all or a part of the processes described as being automatically performed can be manually performed. Alternatively, all or part of the processing described as being performed manually can be automatically performed by a known method. In addition, the processing procedure, control procedure, specific name, and information including various data and parameters shown in the above-described document and drawings can be arbitrarily changed unless otherwise specified.

また、情報処理端末10のプロセッサ20は、ハードディスク等に格納されているプログラムを読み出して実行することで、表示制御方法を実行する情報処理装置として動作する。つまり、プロセッサ20は、タッチパネル制御部23、選択受付部24、推定部25、予測部26、表示制御部27と同様の機能を実行するプログラムを実行する。この結果、プロセッサ20は、タッチパネル制御部23、選択受付部24、推定部25、予測部26、表示制御部27として動作することができる。なお、この他の実施例でいうプログラムは、情報処理端末10によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。   The processor 20 of the information processing terminal 10 operates as an information processing apparatus that executes a display control method by reading and executing a program stored in a hard disk or the like. That is, the processor 20 executes a program that executes the same functions as the touch panel control unit 23, the selection receiving unit 24, the estimation unit 25, the prediction unit 26, and the display control unit 27. As a result, the processor 20 can operate as the touch panel control unit 23, the selection receiving unit 24, the estimation unit 25, the prediction unit 26, and the display control unit 27. The program referred to in the other embodiments is not limited to being executed by the information processing terminal 10. For example, the present invention can be similarly applied to a case where another computer or server executes the program or a case where these programs cooperate to execute the program.

このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO(Magneto−Optical disk)、DVD(Digital Versatile Disc)などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。   This program can be distributed via a network such as the Internet. The program is recorded on a computer-readable recording medium such as a hard disk, flexible disk (FD), CD-ROM, MO (Magneto-Optical disk), DVD (Digital Versatile Disc), and the like. It can be executed by being read.

10 情報処理端末
20 プロセッサ
21 方向パターンDB
22 検索パターンDB
23 タッチパネル制御部
24 選択受付部
25 推定部
26 予測部
27 表示制御部
28 空き検出部
29 表示出力部
10 Information processing terminal 20 Processor 21 Direction pattern DB
22 Search pattern DB
23 Touch Panel Control Unit 24 Selection Accepting Unit 25 Estimation Unit 26 Prediction Unit 27 Display Control Unit 28 Free Space Detection Unit 29 Display Output Unit

Claims (8)

プロセッサとメモリとを有し、
前記プロセッサは、
表示部に表示される表示情報に対して、タッチパネルを介して指示体による移動対象の表示情報の選択を受付け、
前記タッチパネルと前記指示体の接触に基づいて、前記指示体の移動方向を予測し、
予測された前記指示体の移動方向に基づいて、前記表示情報と前記指示体とが重複しない領域を特定し、特定した領域に前記表示情報に関する代替情報を表示する
処理を実行することを特徴とする表示制御装置。
A processor and a memory;
The processor is
Accepting selection of display information to be moved by an indicator via a touch panel for display information displayed on the display unit,
Based on the contact between the touch panel and the indicator, predict the moving direction of the indicator,
Based on the predicted movement direction of the indicator, a region where the display information and the indicator do not overlap is specified, and a process of displaying alternative information related to the display information in the specified region is performed. Display control device.
前記表示する処理は、前記指示体と重ならない領域から他の表示情報が表示されていない領域を特定し、特定した領域のうち前記表示情報に最も近い領域または最も広い領域に、前記表示情報に関する代替情報を表示することを特徴とする請求項1に記載の表示制御装置。   The process of displaying identifies an area where other display information is not displayed from an area that does not overlap the indicator, and relates to the display information in an area that is the closest or widest to the display information among the specified areas The display control apparatus according to claim 1, wherein the display information is displayed. 前記表示する処理は、前記表示情報と前記指示体とが重複しない領域に、前記代替情報として透過型のアイコンを表示することを特徴とする請求項1に記載の表示制御装置。   The display control apparatus according to claim 1, wherein the display processing displays a transmissive icon as the alternative information in an area where the display information and the indicator do not overlap. 前記表示する処理は、前記表示制御装置から外部機器へ画面表示が行われている場合、または、前記表示制御装置が有する前記表示部の画面サイズが所定値以上の場合、前記代替情報の表示を抑制することを特徴とする請求項1に記載の表示制御装置。   The display process includes displaying the substitute information when a screen is displayed from the display control device to an external device, or when the screen size of the display unit included in the display control device is a predetermined value or more. The display control device according to claim 1, wherein the display control device is suppressed. 前記プロセッサは、前記指示体が左手か右手かを推定する処理をさらに実行し、
前記表示する処理は、推定結果を用いて、前記指示体と重複しない領域を特定することを特徴とする請求項1に記載の表示制御装置。
The processor further executes a process of estimating whether the indicator is a left hand or a right hand,
The display control apparatus according to claim 1, wherein the display process specifies an area that does not overlap the indicator using an estimation result.
前記予測する処理は、前記指示体によって前記表示情報が移動されるたびに、前記表示情報の移動方向の予測を実行し、
前記表示する処理は、前記指示体によって前記表示情報が移動されるたびに、予測された前記指示体の移動方向と異なる方向の領域のうち前記指示体と重複しない領域を検索し、検索された領域に、前記表示情報に関する代替情報を表示することを特徴とする請求項1に記載の表示制御装置。
The process of predicting performs prediction of the moving direction of the display information every time the display information is moved by the indicator,
Each time the display information is moved by the indicator, the display processing is performed by searching for a region that does not overlap with the indicator among regions predicted to be different from the predicted direction of movement of the indicator. The display control apparatus according to claim 1, wherein substitute information related to the display information is displayed in an area.
コンピュータが、
表示部に表示される表示情報に対して、タッチパネルを介して指示体による移動対象の表示情報の選択を受付け、
前記タッチパネルと前記指示体の接触に基づいて、前記指示体の移動方向を予測し、
予測された前記指示体の移動方向に基づいて、前記表示情報と前記指示体とが重複しない領域を特定し、特定した領域に前記表示情報に関する代替情報を表示する
処理を実行することを特徴とする表示制御方法。
Computer
Accepting selection of display information to be moved by an indicator via a touch panel for display information displayed on the display unit,
Based on the contact between the touch panel and the indicator, predict the moving direction of the indicator,
Based on the predicted movement direction of the indicator, a region where the display information and the indicator do not overlap is specified, and a process of displaying alternative information related to the display information in the specified region is performed. Display control method to be performed.
コンピュータに、
表示部に表示される表示情報に対して、タッチパネルを介して指示体による移動対象の表示情報の選択を受付け、
前記タッチパネルと前記指示体の接触に基づいて、前記指示体の移動方向を予測し、
予測された前記指示体の移動方向に基づいて、前記表示情報と前記指示体とが重複しない領域を特定し、特定した領域に前記表示情報に関する代替情報を表示する
処理を実行させることを特徴とする表示制御プログラム。
On the computer,
Accepting selection of display information to be moved by an indicator via a touch panel for display information displayed on the display unit,
Based on the contact between the touch panel and the indicator, predict the moving direction of the indicator,
Based on the predicted movement direction of the indicator, a region where the display information and the indicator do not overlap is specified, and a process of displaying alternative information related to the display information in the specified region is executed. Display control program to be executed.
JP2018503902A 2016-03-08 2016-03-08 Display control apparatus, display control method, and display control program Pending JPWO2017154119A1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/057240 WO2017154119A1 (en) 2016-03-08 2016-03-08 Display control device, display control method, and display control program

Publications (1)

Publication Number Publication Date
JPWO2017154119A1 true JPWO2017154119A1 (en) 2019-01-10

Family

ID=59790211

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018503902A Pending JPWO2017154119A1 (en) 2016-03-08 2016-03-08 Display control apparatus, display control method, and display control program

Country Status (2)

Country Link
JP (1) JPWO2017154119A1 (en)
WO (1) WO2017154119A1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008176448A (en) * 2007-01-17 2008-07-31 Casio Comput Co Ltd Image display device and image display method
JP2009193423A (en) * 2008-02-15 2009-08-27 Panasonic Corp Input device for electronic equipment
JP2011028560A (en) * 2009-07-27 2011-02-10 Sony Corp Information processing apparatus, display method, and display program
JP2011081447A (en) * 2009-10-02 2011-04-21 Seiko Instruments Inc Information processing method and information processor
JP2015153197A (en) * 2014-02-14 2015-08-24 Clinks株式会社 Pointing position deciding system
JP2016024657A (en) * 2014-07-22 2016-02-08 日本電信電話株式会社 Mobile terminal with multi touch screen and operation method thereof

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2711818A1 (en) * 2011-05-16 2014-03-26 Panasonic Corporation Display device, display control method and display control program, and input device, input assistance method and program
JP5836105B2 (en) * 2011-12-20 2015-12-24 シャープ株式会社 Information processing apparatus, information processing apparatus control method, information processing apparatus control program, and computer-readable recording medium storing the program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008176448A (en) * 2007-01-17 2008-07-31 Casio Comput Co Ltd Image display device and image display method
JP2009193423A (en) * 2008-02-15 2009-08-27 Panasonic Corp Input device for electronic equipment
JP2011028560A (en) * 2009-07-27 2011-02-10 Sony Corp Information processing apparatus, display method, and display program
JP2011081447A (en) * 2009-10-02 2011-04-21 Seiko Instruments Inc Information processing method and information processor
JP2015153197A (en) * 2014-02-14 2015-08-24 Clinks株式会社 Pointing position deciding system
JP2016024657A (en) * 2014-07-22 2016-02-08 日本電信電話株式会社 Mobile terminal with multi touch screen and operation method thereof

Also Published As

Publication number Publication date
WO2017154119A1 (en) 2017-09-14

Similar Documents

Publication Publication Date Title
US10627990B2 (en) Map information display device, map information display method, and map information display program
JP6151157B2 (en) Electronic device, control program, and operation method of electronic device
JP5721662B2 (en) Input receiving method, input receiving program, and input device
US10073493B2 (en) Device and method for controlling a display panel
JP5620440B2 (en) Display control apparatus, display control method, and program
EP2560086B1 (en) Method and apparatus for navigating content on screen using pointing device
EP2770423A2 (en) Method and apparatus for operating object in user device
KR20140124278A (en) Method for adjusting display area and an electronic device thereof
CN106547429B (en) Display method and device for electronic terminal
EP2613247A2 (en) Method and apparatus for displaying keypad in terminal having touch screen
KR20150007048A (en) Method for displaying in electronic device
JP2014211720A (en) Display apparatus and display control program
US20150355819A1 (en) Information processing apparatus, input method, and recording medium
US20110258555A1 (en) Systems and methods for interface management
JP2015141526A (en) Information processor, information processing method and program
JP2014219740A (en) Information processing apparatus, information processing system, information processing method, and program
WO2014148090A1 (en) Information processing device and information processing method
JP5949010B2 (en) INPUT CONTROL DEVICE, INPUT CONTROL PROGRAM, AND INPUT CONTROL METHOD
JP5675486B2 (en) Input device and electronic device
JP5834253B2 (en) Image processing apparatus, image processing method, and image processing program
JP6411067B2 (en) Information processing apparatus and input method
JP2013182463A (en) Portable terminal device, touch operation control method, and program
WO2017154119A1 (en) Display control device, display control method, and display control program
US9996215B2 (en) Input device, display control method, and integrated circuit device
US20160085409A1 (en) Information processing apparatus, information display program, and information display method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180918

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190702

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200107