JP2010244132A - User interface device with touch panel, method and program for controlling user interface - Google Patents

User interface device with touch panel, method and program for controlling user interface Download PDF

Info

Publication number
JP2010244132A
JP2010244132A JP2009089344A JP2009089344A JP2010244132A JP 2010244132 A JP2010244132 A JP 2010244132A JP 2009089344 A JP2009089344 A JP 2009089344A JP 2009089344 A JP2009089344 A JP 2009089344A JP 2010244132 A JP2010244132 A JP 2010244132A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
palm
finger
application
touch panel
object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009089344A
Other languages
Japanese (ja)
Inventor
Yuichi Okano
Hiroyuki Washino
祐一 岡野
浩之 鷲野
Original Assignee
Mitsubishi Electric Corp
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

PROBLEM TO BE SOLVED: To improve operability of a function corresponding to an touch operation, in a user interface device having a touch panel.
SOLUTION: An object approach detection part 2 decides an approach state of an object to the touch panel 1 by use of a detection signal output from the touch panel 1. A finger/palm distinction part 3 distinguishes whether the object is a finger or a palm of a user when it is decided in the object approach detection part 2 that the object approaches, and outputs a distinction result. When it is distinguished in the finger/palm distinction part 3 that the object having approached is the finger, a coordinate detection part 4 detects approach position coordinates on the touch panel 1 of the approaching finger. An application selection part 5 selects an application to be executed based on the approach position coordinates of the coordinate detection part 4 and a distinction result of the finger/palm distinction part 3. A display part 6 performs proper screen display correspondingly to the application selected by the application selection part 5.
COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、静電タッチパネルへの指または掌の近接を判別して実行するアプリケーションを切り替えるユーザインタフェース装置、その制御方法および制御プログラムに関するものである。 The present invention includes a user interface device to switch the application to be executed to determine the finger or palm of the proximity to the electrostatic touch panel, to a control method therefor and a control program.

近年、携帯電話やデジタルカメラをはじめとする情報処理端末に搭載されるコンテンツや機能は増加の一途をたどり、コンテンツを閲覧する場合または機能を操作する場合に、ユーザの操作が複雑化してきている。 Recently, onboard content and functionality are the information processing terminal such as mobile phones and digital cameras continues to increase, when operating or if function browsing contents, user's operation has been complicated . そこで、複雑なコンテンツや機能を簡単に、また直感的に操作可能なユーザインタフェースを実現することが課題となっている。 Therefore, simply the complex content and functionality, also be realized intuitively operable user interface has become an issue.
この課題に対して、例えば特許文献1の操作入力装置は、カメラで撮影した画像に基づいてユーザの手の形状および動きの方向を認識し、認識結果に対応した操作を選択したり、操作のための各種パラメータを変更したりしていた。 To solve this problem, for example, the operation input device of Patent Document 1, on the basis of the image photographed by the camera to recognize the direction of the user's hand shape and motion, to select the operation corresponding to the recognition result of the operation for it had been or change various parameters.
また、特許文献2のデータ入力装置は、手または指の部分ごとに異なる掌紋または指紋、その組み合わせを異なるデータに対応付けて格納しておき、掌紋または指紋を読み取ることが可能な画像読み取り手段を手または指の一部に装着して他の指または手の一部を読み取って、対応付けてあるデータに変換して入力を行っていた。 The data input device of Patent Document 2, hand or partial Individually palm print or a fingerprint of the finger may be stored in association with the combination to different data, the image reading means capable of reading the palm pattern or fingerprint reading the part of the other finger or hand attached to a part of the hand or finger, has been performed input is converted into are correlated data.

特開2001−216069号公報 JP 2001-216069 JP 特開2000−242402号公報 JP 2000-242402 JP

従来のユーザインタフェース装置は以上のように構成されているので、特許文献1,2にはユーザの操作入力を認識するためにタッチパネルを用いることは開示されていなかった。 Since the conventional user interface device is configured as described above, it is not disclosed to use a touch panel to recognize the user's operation in Patent Documents 1 and 2. このため、タッチパネルにユーザの指が近接したのか掌が近接したのかを判別して操作に結び付ける技術、および個人差に大きく依存する指紋および掌紋を用いずに指と掌を判別する技術について何ら開示も示唆もされておらず、タッチパネルを用いて複雑なコンテンツや機能を簡単に、直感的に操作させるユーザインタフェースを十分に実現することはできない課題があった。 Thus, no disclosure about the technology for discriminating fingers and the palm without the use of fingerprints and palm prints depends greatly whether the user's finger has approached the palm whether proximate determined to techniques linked to the operation, and the individual differences in panel also not been well suggested, easily complex content and features using the touch panel, there is a problem that can not be fully realized the user interface for intuitive.

この発明は、上記のような課題を解決するためになされたもので、タッチパネルを有するユーザインタフェース装置において、タッチ操作に対応した機能の操作性を向上させることを目的とする。 The present invention has been made to solve the above problems, the user interface device having a touch panel, and an object thereof is to improve operability of the function corresponding to the touch operation.

この発明に係るタッチパネル付きユーザインタフェース装置は、タッチパネルの出力値を用いて、当該タッチパネルへの物体の近接状態を検知する物体近接検出部と、物体近接検出部が近接状態を検知した場合に、出力値から物体がユーザの指か掌かを判別する指/掌判別部と、指/掌判別部が物体を指と判別した場合に、当該指のタッチパネルにおける近接位置座標を検出する座標検出部と、指/掌判別部が判別した結果および座標検出部が検出した近接位置座標に従って、アプリケーションを選択するアプリケーション選択部と、アプリケーション選択部が選択したアプリケーションに対応した表示を行う表示部とを備えるようにしたものである。 The present invention user interface device with a touch panel according to the uses the output value of the touch panel, the object proximity detector for detecting the proximity of an object to the touch panel, when the object proximity detector detects the proximity, the output a finger / palm determination unit object from the value it is determined whether the palm or the finger of the user when the finger / palm determination unit has determined an object between the finger, and a coordinate detection unit that detects the proximity position coordinates on the touch panel of the finger according proximity position coordinates where a finger / result palm determination unit has determined and coordinate detection section detects, as with the application selection unit for selecting an application, and a display unit that performs display corresponding to the application the application selecting unit selects it is obtained by the.

この発明に係るタッチパネル付きユーザインタフェース装置のユーザインタフェース制御方法は、タッチパネルの出力値を用いて、当該タッチパネルへの物体の近接状態を検知する物体近接検出ステップと、物体近接検出ステップで近接状態を検知した場合に、出力値から物体がユーザの指か掌かを判別する指/掌判別ステップと、指/掌判別ステップで物体を指と判別した場合に、当該指のタッチパネルにおける近接位置座標を検出する座標検出ステップと、指/掌判別ステップで判別した結果および座標検出ステップで検出した近接位置座標に従って、アプリケーションを選択するアプリケーション選択ステップと、アプリケーション選択ステップで選択したアプリケーションに対応した表示を行う表示ステップとを備えるようにしたも User interface control method for a touch panel with a user interface device according to the present invention, by using the output value of the touch panel, detects the object proximity detection step of detecting the proximity of an object to the touch panel, the proximity state object proximity detection step when a finger / palm determination step of the object from the output value to determine whether the palm or the finger of the user, when an object with a finger / palm determination step has determined that the finger, detects a proximity position coordinates on the touch panel of the finger a coordinate detection step of, in accordance with the proximity position coordinates detected by the result determined by the finger / palm determining step and the coordinate detection step, the display of performing the application selection step of selecting an application, the display corresponding to the application selected in the application selection step It was also to include a step である。 It is.

この発明に係るタッチパネル付きユーザインタフェース装置のユーザインタフェース制御プログラムは、コンピュータを、タッチパネルの出力値を用いて、当該タッチパネルへの物体の近接状態を検知する物体近接検出手段と、物体近接検出手段が近接状態を検知した場合に、出力値から物体がユーザの指か掌かを判別する指/掌判別手段と、指/掌判別手段が物体を指と判別した場合に、当該指のタッチパネルにおける近接位置座標を検出する座標検出手段と、指/掌判別手段が判別した結果および座標検出手段が検出した近接位置座標に従って、アプリケーションを選択するアプリケーション選択手段と、アプリケーション選択手段が選択したアプリケーションに対応した表示を行う表示手段として機能させるようにしたものである。 User interface control program with a touch panel user interface device according to the invention, the computer, using the output value of the touch panel, the object proximity detector for detecting the proximity of an object to the touch panel, the object proximity detector close when detecting the state, and the finger / palm discriminating means an object from the output value to determine whether the palm or the finger of the user when the finger / palm determination means has determined an object between the finger, the proximity position in the touch panel of the finger coordinate detecting means for detecting coordinates, according to the proximity position coordinates result finger / palm determination means has determined and coordinate detection means detects the application selection means for selecting an application, display corresponding to the application the application selection means selects it is obtained so as to function as a display means for performing.

この発明によれば、タッチパネルの出力値から近接物体が指か掌かを判別してアプリケーションを選択するようにしたので、通常の指によるタッチ操作に加えて掌による操作も可能となり、タッチ操作に対応した機能の操作性を向上させることができる。 According to the present invention, the proximity object from the output value of the touch panel was made to select an application to determine whether the finger or palm, operation by the palm, in addition to a touch operation by normal finger becomes possible, on the touch operation it is possible to improve the operability of the corresponding function. また、掌による操作に特定のアプリケーションを対応付けておくことにより、表示画面からこのアプリケーション実行用ボタンを削除でき、画面を簡略化させることができる。 Further, by previously associating a specific application to an operation by the palm, can remove buttons for the application execution from the display screen, it is possible to simplify the screen.

この発明の実施の形態1に係るユーザインタフェース装置の構成を示すブロック図である。 Is a block diagram showing a configuration of a user interface device according to the first embodiment of the present invention. 実施の形態1に係るユーザインタフェース装置の動作を示すフローチャートである。 Is a flowchart showing the operation of the user interface device according to the first embodiment. 図1に示すタッチパネルの構成を示す模式図である。 It is a schematic diagram showing a configuration of a touch panel shown in FIG. 図1に示す物体近接検出部がタッチパネルと物体の距離を検出する方法を示す説明図であり、タッチパネルと物体が近接した状態を図4(A)に示し、接触した状態を図4(B)に示す。 Is an explanatory view object proximity detector shown in FIG. 1 shows a method of detecting the distance of the touch panel and the object, a state in which the touch panel and the object is close shown in FIG. 4 (A), FIG contact state 4 (B) to show. 図1に示す指/掌判別部がタッチパネルに指が近接したことを判別する方法を説明する図であり、タッチパネルと指が近接した状態を図5(A)に示し、この状態の静電容量のグラフを図5(B)に示す。 Finger / palm determination unit shown in FIG. 1 is a diagram for explaining how to determine that the finger is approaching the touch panel, a state where the touch panel and the finger is close shown in FIG. 5 (A), the electrostatic capacity of the state of the graph shown in FIG. 5 (B). 図1に示す指/掌判別部がタッチパネルに掌が近接したことを判別する方法を説明する図であり、タッチパネルと掌が近接した状態を図6(A)に示し、この状態の静電容量のグラフを図6(B)に示す。 Finger / palm determination unit shown in FIG. 1 is a diagram for explaining how to determine that the palm is close to the touch panel, a state where the touch panel and the palm proximate shown in FIG. 6 (A), the electrostatic capacity of the state of the graph shown in FIG. 6 (B). 図1に示すアプリケーション選択部が選択したアプリケーションの説明図であり、指が近接した場合のアプリケーションの例を図7(A)に示し、掌が近接した場合の例を図7(B)に示す。 Is an explanatory view of an application by the application selecting section has selected as shown in FIG. 1, an example of an application where the finger is close shown in FIG. 7 (A), shows an example in which the palm is close to Fig 7 (B) . この発明の実施の形態2に係るユーザインタフェース装置の構成を示すブロック図である。 It is a block diagram showing a configuration of a user interface device according to a second embodiment of the present invention. 実施の形態2に係るユーザインタフェース装置の動作を示すフローチャートである。 Is a flowchart showing the operation of the user interface device according to the second embodiment. 図8に示すメモリが保存しているセンサ電極の位置座標の情報の構造を示す説明図である。 Memory shown in FIG. 8 is an explanatory view showing a structure of information on the position coordinates of sensor electrodes that are stored. タッチパネルに近接した掌の掌ジェスチャに応じた、メモリに保存されるセンサ電極の状態の例を示す説明図である。 Corresponding to the palm gesture palm close to the touch panel is an explanatory diagram showing an example of a state of the sensor electrode to be stored in the memory. 図8に示すアプリケーション選択部が選択したプリケーションの説明図であり、指ジェスチャによる操作の場合のアプリケーションの例を図12(A)に示し、掌ジェスチャによる操作の場合のアプリケーションの例を図12(B)に示す。 Is an explanatory view of application to the application selecting unit selects shown in FIG. 8, an example of an application in the case of operation with the finger gesture shown in FIG. 12 (A), FIG an example of an application in the case of operation by the palm gesture 12 It is shown in (B).

実施の形態1. The first embodiment.
図1は、この発明の実施の形態1に係るユーザインタフェース装置の構成を示すブロック図である。 Figure 1 is a block diagram showing a configuration of a user interface device according to the first embodiment of the present invention. 図1に示すように、実施の形態1によるユーザインタフェース装置は、タッチパネル1、物体近接検出部2、指/掌判別部3、座標検出部4、アプリケーション選択部5、表示部6および制御部7から構成される。 As shown in FIG. 1, the user interface device according to the first embodiment, the touch panel 1, the object proximity detector 2, the finger / palm determination unit 3, the coordinate detection unit 4, the application selecting section 5, a display unit 6 and the control section 7 It consists of.

タッチパネル1は、ユーザの指または掌等、物体による入力を検知し、検知信号を物体近接検出部2へ出力する。 The touch panel 1, a finger or palm of the user or the like, detects an input by the object, and outputs a detection signal to the object proximity detector 2. 物体近接検出部2は、タッチパネル1から出力される検知信号を用いて、物体のタッチパネル1への近接状態を判定する。 Object proximity detector 2 by using the detection signal output from the touch panel 1, determines proximity to the touch panel 1 of the object. 指/掌判別部3は、物体近接検出部2において物体が近接したと判定された場合に、その物体が指であるか掌であるかを判別し、判別結果を出力する。 Finger / palm identification portion 3, when it is determined that the object in the object proximity detector 2 are close, the object is to determine a palm or a finger, and outputs the determination result. 座標検出部4は、指/掌判別部3において近接した物体が指であると判別された場合に、近接している指のタッチパネル1上の近接位置座標を検出する。 Coordinate detection unit 4, when an object in close proximity in the finger / palm identification portion 3 is determined to be a finger, it detects the proximity position coordinates on the touch panel 1 of the finger approaching. アプリケーション選択部5は、指/掌判別部3の判別結果および座標検出部4の近接位置座標に基づいて、実行するアプリケーションを選択する。 Application selection unit 5, based on the proximity position coordinates of the determination result of the finger / palm determination unit 3 and the coordinate detection unit 4, selects the application to run. 表示部6は、アプリケーション選択部5によって選択されたアプリケーションに対応して適切な画面表示を行う。 The display unit 6, performs the appropriate screen display corresponding to the application selected by the application selection unit 5. 制御部7は全体の動作を制御する。 Control unit 7 controls the entire operation.

次に、実施の形態1によるユーザインタフェース装置の動作を説明する。 Next, the operation of the user interface device according to the first embodiment. 図2は、実施の形態1に係るユーザインタフェース装置の動作を示すフローチャートである。 Figure 2 is a flowchart showing the operation of the user interface device according to the first embodiment.
先ず、物体近接検出部2が、タッチパネル1への物体の近接があったか否かを判定し(ステップST1)、物体の近接が検知されるまでステップST1の動作を行う。 First, the object proximity detector 2 determines whether there is proximity of the object to the touch panel 1 (step ST1), performs the operation of steps ST1 to proximity of an object is detected.

図3は、タッチパネル1の構成を示す模式図である。 Figure 3 is a schematic diagram showing the configuration of the touch panel 1. 本実施の形態では、タッチパネル1として、物体10とタッチパネル1との間の微弱な静電容量の変化を検出することで物体10のタッチパネル1への近接(および接触)を検出する静電容量方式の投射容量型タッチパネルを用いる。 In this embodiment, the touch panel 1, an electrostatic capacitance type for detecting the proximity to the touch panel 1 of the object 10 and the object 10 by detecting a change in the weak capacitance between the touch panel 1 (and contact) using the projection capacitance type touch panel. この他、タッチパネル1として静電容量方式の表面容量型タッチパネルを用いて、静電容量の変化量に従って物体10のタッチパネル1への近接を検出するようにしてもよい。 In addition, by using a surface capacitive type capacitive touch panel as the touch panel 1, it may be detected proximity to the touch panel 1 of the object 10 in accordance with the amount of change in the capacitance.

投射容量型のタッチパネル1は、図3に示すように、x方向の座標値を検出するためにy方向と平行に配置された複数のx方向センサ電極11と、y方向の座標値を検出するためにx方向と平行に配置された複数のy方向センサ電極12とから構成される。 The touch panel 1 of the projection capacitance type, as shown in FIG. 3, for detecting a plurality of x-direction sensor electrodes 11 arranged parallel to the y-direction in order to detect the coordinate value of the x-direction, the coordinate value of the y-direction composed of a plurality of y-direction sensor electrodes 12 that are parallel to the x direction in order. 物体近接検出部2はこれらセンサ電極11,12が出力する検知信号に基づいて、タッチパネル1へ物体10が近接または接触した場合に、x方向センサ電極11およびy方向センサ電極12のうち、x,y方向それぞれどのセンサ電極が反応しているかを検出することで、物体10のタッチパネル1上におけるx,y方向の位置(以下、それぞれx座標、y座標と呼ぶ)を検出することができる。 Object proximity detector 2 based on the detection signals of these sensor electrodes 11 and 12 outputs, when the object 10 to the touch panel 1 is close to or in contact, of the x-direction sensor electrodes 11 and the y-direction sensor electrodes 12, x, by which sensor electrodes y directions respectively detects whether a reaction can be detected x on the touch panel 1 of the object 10, the position in the y direction (hereinafter, x-coordinate, respectively, referred to as a y-coordinate).

図4は、物体近接検出部2がタッチパネル1と物体10の距離を検出する方法を示す説明図であり、タッチパネル1と物体10の間の静電容量の変化量と距離との関係を示すグラフである。 Figure 4 is an explanatory view showing a method of an object proximity detector 2 detects the distance between the touch panel 1 and the object 10, the graph showing the relationship between the change amount and the distance of the capacitance between the touch panel 1 and the object 10 it is. グラフに示すように、タッチパネル1と物体10との距離が近くなるにつれて、タッチパネル1と物体10の間の静電容量が大きくなる。 As shown in the graph, as the distance between the touch panel 1 and the object 10 becomes closer, the electrostatic capacitance between the touch panel 1 and the object 10 increases.
静電容量の変化の度合いはタッチパネル1と物体10との距離によって変化するため、物体近接検出部2は、タッチパネル1と物体10との間の静電容量の変化度合いから、物体10がタッチパネル1へ近接したか、または接触したかを判定することができる。 Since the degree of change in capacitance that varies with the distance between the touch panel 1 and the object 10, the object proximity detector 2, the change rate of the capacitance between the touch panel 1 and the object 10, the object 10 is the touch panel 1 it is possible to determine whether it has been or contact proximity to. 具体的には、静電容量の変化量が所定の閾値Th1以上の場合(領域A)に物体10がタッチパネル1へ近接したと判定し(図4(A))、閾値Th1未満の場合に近接していないと判定する。 Specifically, when the amount of change in the capacitance is not smaller than a predetermined threshold value Th1 object 10 (a region A) is determined to have approached to the touch panel 1 (FIG. 4 (A)), close to the case of less than the threshold value Th1 It determines that to do not. さらに、静電容量の変化量が閾値Th2(>Th1)以上の場合(領域B)には、物体10がタッチパネル1に接触したと判定することができる(図4(B))。 Furthermore, if the capacitance variation of the threshold Th2 (> Th1) above is (area B), it is possible to determine that the object 10 has contacted the touch panel 1 (FIG. 4 (B)).

説明を図2に戻す。 Referring back to FIG. 物体近接検出部2において物体のタッチパネル1への近接が検出された場合(ステップST1“Yes”)、指/掌判別部3が、近接した物体が指であるか掌であるかを判別する(ステップST2)。 If the object proximity detector 2 is close to the touch panel 1 of an object is detected (step ST1 "Yes"), the finger / palm determination section 3, closely spaced objects to determine whether a palm or a finger ( step ST2).

図5は指/掌判別部3がタッチパネル1に指10aが近接したことを判別する方法を説明する図であり、図6は掌10bが近接したことを判別する方法を説明する図である。 Figure 5 is a diagram for explaining how to determine that the finger / palm identification portion 3 adjacent finger 10a is the touch panel 1, FIG. 6 is a diagram for explaining how to determine that the palm 10b are close to each other. 図5(A)に示すようにタッチパネル1に近接した物体が指10aである場合、x方向センサ電極11の静電容量変化の分布は、図5(B)に示すように最も変化の大きいセンサ電極の値を山として急峻な分布21になる。 If an object in proximity to the touch panel 1 as shown in FIG. 5 (A) is a finger 10a, the distribution of capacitance change in the x-direction sensor electrodes 11 is larger sensor most changes as shown in FIG. 5 (B) It becomes steep distribution 21 the value of the electrode as a mountain. y方向センサ電極12の静電容量変化の分布も同様に急峻な分布になる。 Distribution of capacitance change in the y-direction sensor electrode 12 is also similarly steep distribution. 一方、図6(A)に示すようにタッチパネル1に近接した物体が掌10bである場合、x,y方向それぞれのセンサ電極11,12の静電容量変化の分布は、図6(B)に示すようになだらかな分布22になり、急峻な分布21のようにはならない。 On the other hand, if the object in proximity to the touch panel 1 as shown in FIG. 6 (A) is a palm 10b, x, the distribution of capacitance change in the y-direction each sensor electrodes 11 and 12, in FIG. 6 (B) It becomes gentle distribution 22 as shown, not as steep distribution 21. y方向センサ電極12の静電容量変化の分布も同様になだらかな分布になる。 Distribution of capacitance change in the y-direction sensor electrodes 12 also becomes equally smooth distribution. 従って、指/掌判別部3は、静電容量変化の分布の山の急峻さに基づいて、タッチパネル1に近接した物体が指10aか掌10bかを判別する。 Accordingly, the finger / palm identification portion 3, based on the steepness of the mountain of the distribution of the electrostatic capacitance changes, the object close to the touch panel 1 is to determine whether the finger 10a or the palm 10b.

なお、指/掌判別部3において、上述した静電容量変化の分布形状を指標に用いず簡易に判別する場合には、各センサ電極の静電容量の変化量21a,22aを指標に用いてもよい。 Note that in the finger / palm identification portion 3, when the determination easily without using the distribution shape of the electrostatic capacitance changes described above as an index, using the variation 21a of the electrostatic capacitance of each sensor electrode, and 22a to index it may be. 具体的には、指/掌判別部3が、x方向センサ電極11のうち所定の閾値Th2以上の静電容量変化量になるセンサ電極の数を数え、この本数が閾値m未満の場合に指10aがタッチパネル1に近接したと判別し、閾値m以上の場合には掌10bが近接したと判別することで、タッチパネル1に近接した物体が指10aか掌10bかを判別する。 Specifically, the finger / palm determination unit 3 counts the number of sensor electrodes consisting variation amount of capacitance equal to or larger than a predetermined threshold Th2 of the x-direction sensor electrodes 11, finger if this number is less than the threshold value m 10a is determined to have approached to the touch panel 1, in the case of more than the threshold value m is by determining the palm 10b are close object close to the touch panel 1 is to determine whether the finger 10a or the palm 10b. 指/掌判別部3は、y方向センサ電極12についても同様に判別する。 Finger / palm determination unit 3 determines Similarly for the y direction sensor electrode 12.

説明を図2に戻す。 Referring back to FIG. 指/掌判別部3により近接物体が指と判別された場合(ステップST2“指”)、続くステップST3にて座標検出部4が指が近接したタッチパネル1上のx,y座標を検出する。 If proximity object by the finger / palm identification portion 3 is judged to finger (step ST2 "fingers"), on the touch panel 1 coordinate detection unit 4 are close finger at the subsequent step ST3 of x, to detect the y-coordinate. 座標検出部4による位置座標検出方法は、上記で図3を用いて説明したように、x方向センサ電極11およびy方向センサ電極12のうち、x,y方向それぞれ最も静電容量変化量の大きいセンサ電極を検出すればよい。 Position coordinate detection method according to the coordinate detecting section 4, as described with reference to FIG. 3 above, among the x-direction sensor electrodes 11 and the y-direction sensor electrodes 12, x, large y directions most variation amount of capacitance it may be detected sensor electrode. このx,y座標が近接位置座標である。 The x, the y-coordinate is the proximity position coordinates.
続いて、アプリケーション選択部5が、座標検出部4で検出したx,y座標に基づいて実行するアプリケーションを選択する(ステップST4)。 Subsequently, the application selecting section 5 is, x detected by the coordinate detection unit 4, selects the application to run on the basis of the y-coordinate (step ST4). 表示部6は、アプリケーション選択部5が選択したアプリケーションに対応して、適切な内容の画面表示を行う(ステップST5)。 The display unit 6, in response to the application of the application selecting section 5 selects, displays a screen of appropriate content (step ST5).

他方、近接物体が掌と判別された場合(ステップST2“掌”)、続くステップST4においてアプリケーション選択部5が、近接物体が掌である場合に実行するアプリケーションを選択する。 On the other hand, if the proximity object is judged to be the palm (step ST2 "palm"), the application selecting section 5 in the subsequent step ST4, selects an application to be executed when the proximity object is palm. 表示部6は、アプリケーション選択部5が選択したアプリケーションに対応して、適切な内容の画面表示を行う(ステップST5)。 The display unit 6, in response to the application of the application selecting section 5 selects, displays a screen of appropriate content (step ST5).

ステップST4においてアプリケーション選択部5が選択するアプリケーションは、指または掌の操作から連想できるようなアプリケーションであることが望ましい。 Applications application selection unit 5 in step ST4 is selected, it is desirable that an application which can remind the finger or palm of operation. 図7(A)にタッチパネル1への近接が指10aの場合に実行するアプリケーションの一例を示し、図7(B)にタッチパネル1への近接が掌10bの場合に実行するアプリケーションの例を示す。 Proximity to the touch panel 1 in FIG. 7 (A) shows an example of an application to be executed when the finger 10a, showing an example of an application proximity to the touch panel 1 in FIG. 7 (B) is executed when the palm 10b. なお、タッチパネル1は表示部6の前面に取り付けられて一体となっているものとし、座標検出部4が検出したx,y座標を、表示部6の表示領域中の位置座標として用いる。 The touch panel 1 is assumed to become integrally attached to the front surface of the display unit 6, x the coordinate detection unit 4 detects the y-coordinate is used as the position coordinates in the display area of ​​the display unit 6. 近接した物体が指10aである場合には、アプリケーション選択部5が、図7(A)のように指10aの位置座標に対応する画面位置に表示されている意味のある表示領域の一部(例えば、1つのアイコン等)を選択するアプリケーションを選択する。 When proximate object is a finger 10a, the application selecting section 5 is, FIG. 7 (A) part of the display region of the meanings that are displayed on the screen position corresponding to the position coordinates of the finger 10a, as ( for example, to select an application for selecting such one icon). 他方、近接した物体が掌10bである場合には、アプリケーション選択部5が、図7(B)のように表示領域全体(例えば、全てのアイコン等)を選択するアプリケーションを選択する。 On the other hand, when the proximate object is a palm 10b, the application selecting section 5 selects an application that selects the entire display area as shown in FIG. 7 (B) (for example, all the icons and the like). 図7に示すように指=一部、掌=全体というメタファに則ってアプリケーション選択部5が選択するアプリケーションを指、掌の操作に関連付けておくことで、ユーザが直感的に操作可能なユーザインタフェースを実現することができる。 Finger = part 7, by leaving associate the application by the application selecting section 5 in accordance with the metaphor palm = overall selects finger, the palm of the operation, the user can intuitively operable user interface it can be realized.

アプリケーション選択部5は、上記以外にも例えば、表示部6に複数ページ有するドキュメントの閲覧画面が表示されているとき、近接した物体が指10aである場合には1ページ戻る/進むアプリケーションを選択し、近接した物体が掌10bである場合には全ページ戻る/進むアプリケーションを選択するようにしてもよい。 Application selection unit 5, for example, in addition to the above, when the viewing screen of the document having multiple pages on the display unit 6 is displayed, select 1 Back / Forward application when proximate object is a finger 10a , may be selected all pages Back / Forward application when proximate object is a palm 10b.
また、掌による操作に、ユーザインタフェース装置の電源スイッチのオン/オフ切り替えを制御するアプリケーションを対応付ければ、アプリケーション選択部5は、近接した物体が指10aである場合には通常のアプリケーションを選択し、近接した物体が掌10bである場合には電源スイッチのオン/オフ切り替えを制御するアプリケーションを選択することもできる。 Moreover, the operation by the palm, if Taiozukere the application to control the on / off switching of the power switch of the user interface device, the application selecting section 5, when proximate object is a finger 10a selects the normal application , it is also possible to select an application for controlling the on / off switching of the power switch when proximate object is a palm 10b.
このように、掌による操作に特定のボタンのアプリケーションを対応付けておけば、表示画面内のボタン数を削減することができ、表示画面を簡略化することができる。 Thus, if in association with application of a specific button on the operation by the palm, it is possible to reduce the number of buttons in the display screen, it is possible to simplify the display screen.

以上のように、実施の形態1によれば、タッチパネル1への物体の近接状態を検知する物体近接検出部2、および物体がタッチパネル1に近接したと判別された場合に物体がユーザの指であるか掌であるかを判別する指/掌判別部3に加えて、指が近接したのか掌が近接したのかによって実行するアプリケーションを選択するアプリケーション選択部5を備えるように構成した。 As described above, according to the first embodiment, the object proximity detector 2 for detecting the proximity of an object to the touch panel 1, and the object is a finger object of the user when it is determined to have approached to the touch panel 1 in addition to the finger / palm identification portion 3 for determining whether a palm there was configured with an application selecting section 5 selects an application to be executed depending on whether that or palm finger has approached close. このため、通常の指によるタッチ操作に加えて、掌による操作も可能となり、タッチパネル1に対応した機能に対する操作性を向上させることができる。 Therefore, in addition to a touch operation by normal finger operation by the palm also it becomes possible, thereby improving the operability for the function corresponding to the touch panel 1. また、掌による操作に特定のアプリケーションを対応付けておくことにより、表示画面からこのアプリケーション実行用ボタンを削除でき、画面を簡略化させることもできる。 Further, by previously associating a specific application to an operation by the palm, can remove buttons for the application execution from the display screen, it is also possible to simplify the screen.

実施の形態2. The second embodiment.
上記実施の形態1のユーザインタフェース装置では、物体がタッチパネル1へ近接したことを検知し、さらに、近接した物体がユーザの指であるか掌であるかを判別し、判別結果によって実行するアプリケーションを切り替えることで、通常のタッチ操作に加えて掌による操作を実現した。 The user interface device of the first embodiment, the object detects that it has close to the touch panel 1, further, the application proximate object to determine a palm or a user's finger, is executed by the determination result by switching, we realized an operation by the palm in addition to the normal touch operation. 本実施の形態2では、タッチパネル1に掌が近接したと判別した場合に、掌の動きの方向を認識することによってさらに操作性を向上させたユーザインタフェースを実現する。 In the second embodiment, when it is determined that the palm on the touch panel 1 is close, to realize the user interface further improves the operability by recognizing the orientation of the palm action. ここで、ユーザがタッチパネル1に近接させた掌を動かして操作することを掌ジェスチャと呼び、ユーザインタフェース装置がこの掌の動きを認識することを掌ジェスチャ認識と呼ぶ。 Here, the user is referred to as palm gestures to manipulate by moving the palm is brought close to the touch panel 1, the user interface device is referred to as a palm gesture recognition to recognize the movement of the palm. 実施の形態2では、掌ジェスチャを利用する構成のユーザインタフェース装置について述べる。 In the second embodiment describes the user interface device configuration utilizing palm gesture.

図8は、この発明の実施の形態2に係るユーザインタフェース装置の構成を示すブロック図であり、図1と同一または相当の部分については同一の符号を付す。 Figure 8 is a block diagram showing a configuration of a user interface device according to the second embodiment of the present invention are denoted by the same reference numerals same or corresponding portions as in FIG. 1. 実施の形態2のユーザインタフェース装置は、上記実施の形態1のユーザインタフェース装置の座標検出部4の後段に、掌ジェスチャを認識する掌ジェスチャ認識部8および掌ジェスチャを認識するための情報を保存しておくメモリ9を追加した点のみが異なる。 The user interface device of the second embodiment, the subsequent stage of the coordinate detecting portion 4 of the user interface device of the first embodiment, stores the information for recognizing the palm gesture recognition unit 8 and palm gesture recognizing palm gestures and keep the point you add a memory 9 only is different. 従って、実施の形態2の説明は実施の形態1と異なる内容のみにとどめ、重複する内容については省略する。 Therefore, omitted for the contents of the description of the second embodiment kept only the different content in the first embodiment, duplicate.

次に、実施の形態2によるユーザインタフェース装置の動作を説明する。 Next, the operation of the user interface device according to the second embodiment. 図9は、実施の形態2に係るユーザインタフェース装置の動作を示すフローチャートである。 Figure 9 is a flowchart showing the operation of the user interface device according to the second embodiment. 図9に示すステップST1〜ステップST3の各動作は、図2のステップST1〜ステップST3の各動作と同一であるため、説明を省略する。 Each operation step ST1~ step ST3 shown in FIG. 9 are the same as the operations of steps ST1~ step ST3 in FIG. 2, the description thereof is omitted.
なお、ステップST1において、物体近接検出部2が、タッチパネル1への物体の近接を検知しない場合は(ステップST1“No”)、ステップST6にて掌ジェスチャ認識部8がメモリ9の保存する情報を全てクリアする。 Note that, in step ST1, the object proximity detector 2, if not detected proximity of an object to the touch panel 1 information (step ST1 "No"), palm gesture recognition unit 8 at step ST6 is stored in the memory 9 all clear.

指/掌判別部3によって近接物体が掌と判別された場合(ステップST2“掌”)、指/掌判別部3が判別の際に用いた、x,y方向それぞれ所定の閾値Th2以上の静電容量の変化量だったセンサ電極のインデックスを、掌ジェスチャ認識部8がメモリ9に保存する(ステップST7)。 If the proximity object by the finger / palm determination unit 3 is determined as the palm (step ST2 "palm"), the finger / palm determination unit 3 is used during the determination, x, y directions, respectively predetermined threshold Th2 or more static the index of the sensor electrode was the amount of change in capacitance, palm gesture recognition unit 8 is stored in the memory 9 (step ST7). タッチパネル1に近接した状態で掌ジェスチャが行われれば、掌ジェスチャ中の各時刻のセンサ電極の状態がメモリ9に保存されていく。 If palm gesture performed in close proximity to the touch panel 1, the state of the sensor electrode at each time in the palm gesture it is gradually stored in the memory 9. そして、掌ジェスチャ認識部8がメモリ9の情報を利用して、タッチパネル1上に近接した掌10bがどのように動いたか、即ち掌ジェスチャを認識する(ステップST8)。 The palm gesture recognition unit 8 by using the information in the memory 9, or palm 10b close on the touch panel 1 is how moving, i.e. recognizing a palm gesture (step ST8).

図10は、メモリ9が保存しているセンサ電極の位置座標の情報の構造を示す説明図である。 Figure 10 is an explanatory diagram showing the structure of the information of the position coordinates of sensor electrodes memory 9 is stored. 図10に示すように、メモリ9には、掌がタッチパネル1に近接した状態となったt−n時刻前から最新の時刻tまでのセンサ電極の状態が、全てまたは一部保存されている。 As shown in FIG. 10, the memory 9, the palm is state of the sensor electrode from the front t-n time when a state close to the touch panel 1 to the latest time t, are stored all or in part. は、x方向センサ電極11のx座標原点側からのセンサ番号iを示し、y は、y方向センサ電極12のy座標原点側からのセンサ番号jを示す。 x i denotes the sensor number i from the x coordinate origin side in the x-direction sensor electrodes 11, y j indicates the sensor number j from the y coordinate origin side in the y-direction sensor electrodes 12. 掌ジェスチャ認識部8は、センサ電極の状態として、所定の閾値Th2以上の静電容量の変化量を示したセンサ電極に[1]を付与し、閾値Th2未満の静電容量の変化量を示したセンサ電極に[0]を付与して、メモリ9に保存する。 Palm gesture recognition unit 8, as the state of the sensor electrode, grant [1] to the sensor electrode showing the amount of change predetermined threshold Th2 or more capacitance indicates the capacitance variations of less than the threshold value Th2 was to impart [0] to the sensor electrode, it is stored in the memory 9.

図11は、タッチパネル1に近接した掌10bの掌ジェスチャに応じたセンサ電極の状態の例を示す説明図である。 Figure 11 is an explanatory diagram showing an example of a state of the sensor electrode in accordance with the palm gesture palm 10b close to the touch panel 1. 図11では、掌10bがx方向と平行に動いた場合にメモリ9に保存される2時刻前(図11(A))、1時刻前(図11(B))、および最新(図11(C))のx方向センサ電極11の各状態を示す。 In Figure 11, 2 times before palm 10b are stored in the memory 9 when moved parallel to the x-direction (FIG. 11 (A)), 1 time before (FIG. 11 (B)), and the latest (FIG. 11 ( indicating the respective states of the x-direction sensor electrodes 11 C)). 例えば図11(A)においてセンサ番号i=12およびt=2のセンサ電極の状態x (2),x (2),・・・,x 12 (2)は[1,1,1,1,1,1,1,1,0,0,0,0]であり、掌10bの移動と共に、静電容量の変化量の大きい(即ちセンサ電極の状態[1])センサ電極がx方向に移り変わって、最新t=0のセンサ電極の状態x (0),x (0),・・・,x 12 (0)は[0,0,0,0,1,1,1,1,1,1,1,1]となる。 For example Figure 11 states x 1 (2) of sensor number i = 12 and t = 2 of the sensor electrode in (A), x 2 (2 ), ···, x 12 (2) is [1,1,1, 1,1,1,1,1,0,0,0,0], and with the movement of the palm 10b, the change amount of the electrostatic capacitance larger (i.e. the state of the sensor electrode [1]) sensor electrode x-direction to be Utsurikawa' state x 1 (0) of the sensor electrode of the latest t = 0, x 2 (0 ), ···, x 12 (0) is [0,0,0,0,1,1,1, 1,1,1,1,1] become. 従って、掌ジェスチャ認識部8は、静電容量の変化量の大きいセンサ電極の状態の移り変わりを利用すれば、掌10bがx方向に移動したことを認識できる。 Therefore, palm gesture recognition unit 8, by using the transition of the state of the large sensor electrode of the amount of change in capacitance, can recognize that the palm 10b is moved in the x direction. 掌ジェスチャ認識部8は、この掌ジェスチャ認識処理をx方向センサ電極11およびy方向センサ電極12について行い、タッチパネル1上に近接した掌10bがどのように動いたか認識する。 Palm gesture recognition unit 8 performs the palm gesture recognition processing for the x-direction sensor electrodes 11 and the y-direction sensor electrodes 12, palm 10b close on the touch panel 1 recognizes how moved.

なお、ステップST6において、物体が近接していないと判別された場合にメモリ9の内容が全てクリアされているため、連続して近接している状態のみのセンサ電極の状態をメモリ9に保存しておくことができる。 Note that, in step ST6, and stored for the contents of the memory 9 when the object is determined not close is all cleared, the state of the sensor electrode only state are close in succession in the memory 9 it can be kept.

説明を図9に戻す。 Referring back to FIG. ステップST4において、アプリケーション選択部5は、指/掌判別部3の判別結果から近接物体が指の場合には座標検出部4で検出したx,y座標に基づいて、一方、近接物体が掌の場合には掌ジェスチャ認識部8の掌ジェスチャ認識の結果に基づいて、実行するアプリケーションを選択する。 In step ST4, the application selecting section 5, x is from proximity object from the determination result of the finger / palm discriminating section 3 detected by the coordinate detection unit 4 in the case of the finger, based on the y-coordinate, while the proximity object palm If based on the results of the palm gesture recognition palm gesture recognition unit 8, selects the application to run. 表示部6が、アプリケーション選択部5が選択したアプリケーションに対応して、適切な内容の画面表示を行う(ステップST5)。 Display unit 6, in response to the application of the application selecting section 5 selects, displays a screen of appropriate content (step ST5).
なお、近接物体が指の場合、指のx,y座標の時間変化を利用することで、指のジェスチャについても認識することができる。 Note that when the proximity object is a finger, by using the time variation of the finger x, y-coordinate, can also recognize the gestures of a finger. 例えば、ユーザインタフェース装置が指ジェスチャ認識部とメモリを備え、近接物体が指と判別された場合に座標検出部4が検出した各時刻のx,y座標をメモリに保存して、指ジェスチャ認識部がx,y座標の時間変化に基づいて指の移動を認識する構成にすればよい。 For example, a user interface device a finger gesture recognition unit and a memory, x at each time coordinate detection unit 4 detects when the proximity object is determined to finger, to save the y coordinate in the memory, the finger gesture recognition unit but x, may be set to recognize configure movement of the finger based on the time variation of the y-coordinate.

ステップST4においてアプリケーション選択部5が選択するアプリケーションは、指ジェスチャまたは掌ジェスチャの操作から連想できるようなアプリケーションであることが望ましい。 Applications Applications selecting unit 5 selects in step ST4, it is desirable that an application which can remind the operator's finger gesture or palm gesture. 図12(A)に指ジェスチャによる操作の場合に実行するアプリケーションの例を示し、図12(B)に掌ジェスチャによる操作の場合に実行するアプリケーションの例を示す。 Figure 12 shows an example of an application in (A) is executed when the operation with the finger gesture, an example of an application to be executed when operation by the palm gesture FIG 12 (B). なお、タッチパネル1は表示部6の前面に取り付けられて一体となっているものとし、座標検出部4が検出したx,y座標を、表示部6の表示領域中の位置座標として用いる。 The touch panel 1 is assumed to become integrally attached to the front surface of the display unit 6, x the coordinate detection unit 4 detects the y-coordinate is used as the position coordinates in the display area of ​​the display unit 6. 近接した物体が指10aであり、かつ、x方向に移動する指ジェスチャの場合には、アプリケーション選択部5が、図12(A)のように複数ページ有するドキュメントの閲覧画面のページを1ページ戻る/進むアプリケーションを選択して、指ジェスチャの移動方向に応じたページめくりを実行する。 Proximate object is a finger 10a, and when a finger gesture to move in the x direction, the application selecting section 5 is, returns a page to the page of the viewing screen of a document having multiple pages as shown in FIG. 12 (A) / Forward select the application to perform page turning corresponding to the moving direction of the finger gesture. 他方、近接した物体が掌10bであり、かつ、x方向に移動する掌ジェスチャの場合には、アプリケーション選択部5が、図12(B)のように全ページ戻る/進むアプリケーションを選択して、掌ジェスチャの移動方向に応じたページめくりを実行する。 On the other hand, proximity to the object is the palm 10b, and, in the case of palm gesture moving in the x direction, the application selecting section 5 selects all pages Back / Forward applications like FIG. 12 (B), the to perform the page turning according to the moving direction of the palm gesture. 図12に示すように指=一部、掌=全体というメタファに則ってアプリケーション選択部5が選択するアプリケーションを指ジェスチャ、掌ジェスチャに関連付けておくことで、ユーザが直感的に操作可能なユーザインタフェースを実現することができる。 Finger = part as shown in FIG. 12, by leaving associate the application by the application selecting section 5 in accordance with the metaphor palm = overall selects finger gesture, the palm gesture, the user intuitively operable user interface it can be realized.

アプリケーション選択部5は、上記以外にも例えば、指ジェスチャである場合には通常のアプリケーションを選択し、掌ジェスチャの場合にはユーザインタフェース装置の電源スイッチのオン/オフ切り替えを制御するアプリケーションを選択するようにしてもよい。 Application selection unit 5, for example, in addition to the above, when a finger gesture selects a normal application, select an application that controls the on / off switching of the power switch of the user interface device in the case of palm gesture it may be so. また、表示部6に複数の意味のある表示領域(例えばアイコン)が画面表示されているとき、アプリケーション選択部5は、指ジェスチャである場合には近接した位置座標の表示領域(1つのアイコン)を選択するアプリケーションを選択し、掌ジェスチャである場合には表示領域全体(全てのアイコン)を選択するアプリケーションを選択するようにしてもよい。 Further, the display area with multiple meanings on the display unit 6 (e.g., icon) when is displayed on the screen, the application selecting section 5, the display region coordinates close if a finger gesture (one icon) select the application to select, you may be selected an application to select an entire display area (all icons) in the case of palm gesture. さらに、掌ジェスチャ認識部8が掌の移動方向に加えて移動速度も認識するようにして(同様に指ジェスチャ認識部も指の移動速度を認識するようにして)、アプリケーション選択部5が移動の方向および速度に応じてアプリケーションを選択してもよい。 Furthermore, palm gesture recognition unit 8 moving speed in addition to the moving direction of the palm be recognized (as finger gesture recognition unit be aware of the movement speed of the finger), the application selecting section 5 of the mobile You may select an application in accordance with the direction and speed.
このように、掌ジェスチャによる操作に特定のボタンのアプリケーションを対応付けておけば、表示画面内のボタン数を削減することができ、表示画面を簡略化することができる。 Thus, if in association with application of a specific button on the operation by the palm gesture, it is possible to reduce the number of buttons in the display screen, it is possible to simplify the display screen.

以上のように、実施の形態2によれば、指/掌判別部3においてタッチパネル1への近接物体が掌であると判別された場合に、タッチパネル1の出力値を用いて掌の動きを認識する掌ジェスチャ認識部8を備えるようにした。 As described above, according to the second embodiment, when the finger / palm determination unit 3 is proximity object to the touch panel 1 is determined to be the palm, recognizing the palm action using the output value of the touch panel 1 and to include the palm gesture recognition unit 8. このため、掌の近接を利用する上記実施の形態1のユーザインタフェースだけでなく、掌の動きを利用したユーザインタフェースを実現することができる。 Therefore, not only the above-described user interface according to the first to use the palm of the proximity, it is possible to realize a user interface using the palm action.

なお、上記実施の形態1,2のユーザインタフェース装置を、タッチパネル1および表示部6を有するコンピュータで構成する場合、指/掌判別部3、座標検出部4、アプリケーション選択部5、制御部7、掌ジェスチャ認識部8の処理内容を記述しているプログラムをコンピュータの内部メモリに格納し、コンピュータのCPUが内部メモリに格納されているプログラムを実行するようにしてもよい。 Note that the user interface device in the first and second embodiments, when configuring a computer having a touch panel 1 and the display unit 6, the finger / palm determination unit 3, the coordinate detection unit 4, the application selecting section 5, the control unit 7, storing a program describing the processing contents of the palm gesture recognition unit 8 in the internal memory of a computer, it may be the CPU of the computer executes the program stored in the internal memory.

また、上記実施の形態1,2のユーザインタフェース装置によれば、ユーザがタッチパネル1に触れることなく操作可能となるため、パネルの消耗が少なく、超寿命化の一助になる。 Further, according to the user interface device in the first and second embodiments, since the user is operable without touching the touch panel 1, consumption of the panel is small, the help of the super life.

1 タッチパネル、2 物体近接検出部、3 指/掌判別部、4 座標検出部、5 アプリケーション選択部、6 表示部、7 制御部、8 掌ジェスチャ認識部、9 メモリ、10 物体、10a 指、10b 掌、11 x方向センサ電極、12 y方向センサ電極、21,22 静電容量変化の分布形状、21a,22a 静電容量の変化量。 1 touch panel, two objects approach detection unit, 3 finger / palm determination section, 4-coordinate detecting unit, 5 application selection section, 6 a display unit, 7 controller, 8 palm gesture recognition unit, 9 a memory, 10 an object, 10a fingers, 10b palm, 11 x-direction sensor electrodes, 12 y direction sensor electrodes, the distribution shape of the 21 capacitance change, 21a, variation in 22a capacitance.

Claims (14)

  1. タッチパネルの出力値を用いて、当該タッチパネルへの物体の近接状態を検知する物体近接検出部と、 Using the output value of the touch panel, the object proximity detector for detecting the proximity of an object to the touch panel,
    前記物体近接検出部が近接状態を検知した場合に、前記出力値から前記物体がユーザの指か掌かを判別する指/掌判別部と、 When the object proximity detector detects the proximity state, the finger / palm discriminator which the object from the output value to determine whether the palm or the finger of the user,
    前記指/掌判別部が前記物体を指と判別した場合に、当該指の前記タッチパネルにおける近接位置座標を検出する座標検出部と、 When the finger / palm discriminator is the object determines that the finger, and a coordinate detection unit that detects the proximity position coordinates in the touch panel of the finger,
    前記指/掌判別部が判別した結果および前記座標検出部が検出した近接位置座標に従って、アプリケーションを選択するアプリケーション選択部と、 According proximity position coordinates the finger / palm determination unit detects that the result and the coordinate detection unit determines the application selection unit for selecting an application,
    前記アプリケーション選択部が選択したアプリケーションに対応した表示を行う表示部とを備えたタッチパネル付きユーザインタフェース装置。 User interface device with a touch panel that includes a display unit that performs display corresponding to the application the application selecting section has selected.
  2. タッチパネルの出力値から、近接状態の指または掌の動きを認識するジェスチャ認識部を備え、 From the output value of the touch panel, comprising a recognizing the gesture recognition unit a finger or palm movement of proximity state,
    アプリケーション選択部は、指/掌判別部が判別した結果および座標検出部が検出した近接位置座標に加え、前記ジェスチャ認識部が認識した結果に従って、アプリケーションを選択することを特徴とする請求項1記載のタッチパネル付きユーザインタフェース装置。 Application selection section, in addition to the proximity position coordinates where a finger / Result palm determination unit has determined and coordinate detection section detects, in accordance with a result of the gesture recognition unit recognizes, according to claim 1, wherein selecting the application with a touch panel user interface device.
  3. タッチパネル付きユーザインタフェース装置のユーザインタフェース制御方法であって、 A user interface method for controlling a user interface device with a touch panel,
    タッチパネルの出力値を用いて、当該タッチパネルへの物体の近接状態を検知する物体近接検出ステップと、 Using the output value of the touch panel, the object proximity detection step of detecting the proximity of an object to the touch panel,
    前記物体近接検出ステップで近接状態を検知した場合に、前記出力値から前記物体がユーザの指か掌かを判別する指/掌判別ステップと、 When detecting proximity by the object proximity detection step, and the finger / palm determination step of the object from the output value to determine whether the palm or the finger of the user,
    前記指/掌判別ステップで前記物体を指と判別した場合に、当該指の前記タッチパネルにおける近接位置座標を検出する座標検出ステップと、 If it is determined the object the finger by the finger / palm determination step, a coordinate detection step of detecting the proximity position coordinates in the touch panel of the finger,
    前記指/掌判別ステップで判別した結果および前記座標検出ステップで検出した近接位置座標に従って、アプリケーションを選択するアプリケーション選択ステップと、 According proximity position coordinates detected by the result determined in the finger / palm determination step and the coordinate detection step, the application selection step of selecting an application,
    前記アプリケーション選択ステップで選択したアプリケーションに対応した表示を行う表示ステップとを備えたことを特徴とするユーザインタフェース制御方法。 User interface control method characterized by comprising a display step of performing display corresponding to the application selected in the application selection step.
  4. タッチパネルの出力値から、近接状態の指または掌の動きを認識するジェスチャ認識ステップを備え、 From the output value of the touch panel, it includes a gesture recognition step recognizes the finger or palm of the movement of the proximity state,
    アプリケーション選択ステップは、指/掌判別ステップで判別した結果および座標検出ステップで検出した近接位置座標に加え、前記ジェスチャ認識ステップで認識した結果に従って、アプリケーションを選択することを特徴とする請求項3記載のユーザインタフェース制御方法。 Application selection step, in addition to the proximity position coordinates detected by the result determined by the finger / palm determining step and the coordinate detection step, according to the result of recognition by the gesture recognition step, according to claim 3, wherein the selecting an application user interface control method of.
  5. アプリケーション選択ステップでは、指/掌判別ステップで掌が近接したと判別された場合に、本装置の電源スイッチのオン/オフ切り替えを制御するアプリケーションを選択することを特徴とする請求項3または請求項4記載のユーザインタフェース制御方法。 The application selection step, if the palm with the fingers / palm determination step is determined to have approached, claim 3 or claim and selects the application that controls the on / off switching of the power switch of the apparatus 4 user interface control method according.
  6. アプリケーション選択ステップでは、指/掌判別ステップで掌が近接したと判別された場合に、表示されている全情報を一括して選択するアプリケーションを選択することを特徴とする請求項3または請求項4記載のユーザインタフェース制御方法。 The application selection step, if the palm with the fingers / palm determination step is determined to have approached, claim 3 or claim and selects the application to select collectively all the information that is displayed 4 user interface control method according.
  7. アプリケーション選択ステップでは、指/掌判別ステップで指が近接したと判別された場合に、座標検出ステップで検出した近接位置座標に表示されている情報を選択するアプリケーションを選択することを特徴とする請求項3から請求項6のうちのいずれか1項記載のユーザインタフェース制御方法。 The application selection step, when the finger with a finger / palm determination step is determined to have approached, claims and selects the application to select the information displayed in the proximity position coordinates detected by the coordinate detection step user interface control method according to any one of claims 6 to claim 3.
  8. アプリケーション選択ステップでは、ドキュメント閲覧画面が表示されているとき、指/掌判別ステップで掌が近接したと判別された場合に当該ドキュメントの複数ページを一括してめくるアプリケーションを選択し、指が近接したと判別された場合に当該ドキュメントの一ページをめくるアプリケーションを選択することを特徴とする請求項3または請求項4記載のユーザインタフェース制御方法。 The application selection step, when the document browsing screen is displayed, select the application to turn collectively a plurality of pages of the document when the palm with the fingers / palm determination step is determined to have approached, the finger is close claim 3 or claim 4 user interface control method according to and selects the application to turn one page of the document when it is determined that.
  9. タッチパネル付きユーザインタフェース装置のユーザインタフェース制御プログラムであって、 A user interface control program of the user interface device with a touch panel,
    コンピュータを、タッチパネルの出力値を用いて、当該タッチパネルへの物体の近接状態を検知する物体近接検出手段と、 The computer, using the output value of the touch panel, the object proximity detector for detecting the proximity of an object to the touch panel,
    前記物体近接検出手段が近接状態を検知した場合に、前記出力値から前記物体がユーザの指か掌かを判別する指/掌判別手段と、 When the object proximity detection means detects the proximity state, the finger / palm discrimination means the object from the output value to determine whether the palm or the finger of the user,
    前記指/掌判別手段が前記物体を指と判別した場合に、当該指の前記タッチパネルにおける近接位置座標を検出する座標検出手段と、 When the finger / palm discriminating means has the object determines that the finger, and the coordinate detection means for detecting the proximity position coordinates in the touch panel of the finger,
    前記指/掌判別手段が判別した結果および前記座標検出手段が検出した近接位置座標に従って、アプリケーションを選択するアプリケーション選択手段と、 According proximity position coordinates the finger / palm discriminating means detects the result is determined and the coordinate detection means, and the application selection means for selecting an application,
    前記アプリケーション選択手段が選択したアプリケーションに対応した表示を行う表示手段として機能させるためのユーザインタフェース制御プログラム。 User interface control program for functioning as display means for performing display corresponding to the application the application selection means has selected.
  10. タッチパネルの出力値から、近接状態の指または掌の動きを認識するジェスチャ認識手段を備え、 From the output value of the touch panel, it includes a gesture recognition means for recognizing a finger or palm movement of proximity state,
    アプリケーション選択手段は、指/掌判別手段が判別した結果および座標検出手段が検出した近接位置座標に加え、前記ジェスチャ認識手段が認識した結果に従って、アプリケーションを選択することを特徴とする請求項9記載のユーザインタフェース制御プログラム。 Application selection means, in addition to the proximity position coordinates result finger / palm determination means has determined and coordinate detection means has detected, according to the result the gesture recognition means recognizes, claim 9, wherein the selecting an application user interface control program.
  11. アプリケーション選択手段は、指/掌判別手段で掌が近接したと判別された場合に、本装置の電源スイッチのオン/オフ切り替えを制御するアプリケーションを選択することを特徴とする請求項9または請求項10記載のユーザインタフェース制御プログラム。 Application selection means, when the palm with the fingers / palm discriminating means is judged to have approached, claim 9 or claim and selects the application that controls the on / off switching of the power switch of the apparatus 10 user interface control program according.
  12. アプリケーション選択手段は、指/掌判別手段で掌が近接したと判別された場合に、表示されている全情報を一括して選択するアプリケーションを選択することを特徴とする請求項9または請求項10記載のユーザインタフェース制御プログラム。 Application selection means, when the palm with the fingers / palm discriminating means is judged to have approached, claim 9 or claim and selects the application to select collectively all the information that is displayed 10 user interface control program described.
  13. アプリケーション選択手段は、指/掌判別手段で指が近接したと判別された場合に、座標検出手段で検出した近接位置座標に表示されている情報を選択するアプリケーションを選択することを特徴とする請求項9から請求項12のうちのいずれか1項記載のユーザインタフェース制御プログラム。 Application selection means, when the finger is judged to have approached by the finger / palm discriminating means, claims and selects the application to select the information displayed in the proximity position coordinates detected by the coordinate detecting means user interface control program according to any one of claims 12 to claim 10.
  14. アプリケーション選択手段は、ドキュメント閲覧画面が表示されているとき、指/掌判別手段で掌が近接したと判別された場合に当該ドキュメントの複数ページを一括してめくるアプリケーションを選択し、指が近接したと判別された場合に当該ドキュメントの一ページをめくるアプリケーションを選択することを特徴とする請求項9または請求項10記載のユーザインタフェース制御プログラム。 Application selection means, when the document browsing screen is displayed, select the application to turn collectively a plurality of pages of the document when the palm with the fingers / palm discriminating means is determined to have approached, the finger is close claim 9 or claim 10 user interface control program, wherein the selecting an application to turn one page of the document when it is determined that.
JP2009089344A 2009-04-01 2009-04-01 User interface device with touch panel, method and program for controlling user interface Pending JP2010244132A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009089344A JP2010244132A (en) 2009-04-01 2009-04-01 User interface device with touch panel, method and program for controlling user interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009089344A JP2010244132A (en) 2009-04-01 2009-04-01 User interface device with touch panel, method and program for controlling user interface

Publications (1)

Publication Number Publication Date
JP2010244132A true true JP2010244132A (en) 2010-10-28

Family

ID=43097112

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009089344A Pending JP2010244132A (en) 2009-04-01 2009-04-01 User interface device with touch panel, method and program for controlling user interface

Country Status (1)

Country Link
JP (1) JP2010244132A (en)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012098929A (en) * 2010-11-02 2012-05-24 Canon Inc Display control device and display control method
JP2012133524A (en) * 2010-12-21 2012-07-12 Sony Corp Image display controller and image display control method
CN102650912A (en) * 2011-02-23 2012-08-29 安国国际科技股份有限公司 Signal processing method and system of touch panel
JP2012234317A (en) * 2011-04-28 2012-11-29 Ntt Docomo Inc Display device, control method for display device and program
JP2013097798A (en) * 2011-10-27 2013-05-20 Samsung Electronics Co Ltd System and method for identifying type of input to mobile device with touch panel
WO2013080425A1 (en) * 2011-12-01 2013-06-06 パナソニック株式会社 Input device, information terminal, input control method and input control program
US20130257796A1 (en) * 2012-03-29 2013-10-03 Brother Kogyo Kabushiki Kaisha Touch panel control device, touch panel control method and non-transitory computer-readable medium
US20130257764A1 (en) * 2012-03-29 2013-10-03 Brother Kogyo Kabushiki Kaisha Touch panel control device and non-transitory computer-readable medium
JP2013235588A (en) * 2012-05-04 2013-11-21 Samsung Electronics Co Ltd Method for controlling terminal based on spatial interaction, and corresponding terminal
WO2013179474A1 (en) * 2012-05-30 2013-12-05 シャープ株式会社 Touch sensor system
JP2014121854A (en) * 2012-12-21 2014-07-03 Konica Minolta Inc Image formation device and program
JP2014160473A (en) * 2012-04-19 2014-09-04 Panasonic Intellectual Property Corp Of America Portable electronic devices
JP2015500545A (en) * 2011-12-14 2015-01-05 マイクロチップ テクノロジー インコーポレイテッドMicrochip Technology Incorporated Capacity proximity-based gesture input system
JP2015041264A (en) * 2013-08-22 2015-03-02 シャープ株式会社 Information processing device, information processing method, and program
JP2015064799A (en) * 2013-09-25 2015-04-09 富士通コンポーネント株式会社 Combiner and operation detection device
US9052791B2 (en) 2011-12-16 2015-06-09 Panasonic Intellectual Property Corporation Of America Touch panel and electronic device
JP2015141425A (en) * 2014-01-27 2015-08-03 アルプス電気株式会社 Touch pad input device and touch pad control program
JP2016042383A (en) * 2015-11-25 2016-03-31 カシオ計算機株式会社 User operation processing apparatus, user operation processing method, and program
JP2016045931A (en) * 2014-08-21 2016-04-04 京セラドキュメントソリューションズ株式会社 Image processing apparatus
WO2017047416A1 (en) * 2015-09-14 2017-03-23 株式会社東海理化電機製作所 Operation detection device
JP2017510879A (en) * 2014-01-28 2017-04-13 ▲華▼▲為▼終端有限公司Huawei Device Co., Ltd. Method and a terminal device for processing a terminal device
US9846519B2 (en) 2014-12-22 2017-12-19 Alps Electric Co., Ltd. Input device, and method and program for controlling the same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005031799A (en) * 2003-07-08 2005-02-03 Sony Computer Entertainment Inc Control system and method
JP2008269208A (en) * 2007-04-19 2008-11-06 Calsonic Kansei Corp Operation detection system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005031799A (en) * 2003-07-08 2005-02-03 Sony Computer Entertainment Inc Control system and method
JP2008269208A (en) * 2007-04-19 2008-11-06 Calsonic Kansei Corp Operation detection system

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012098929A (en) * 2010-11-02 2012-05-24 Canon Inc Display control device and display control method
JP2012133524A (en) * 2010-12-21 2012-07-12 Sony Corp Image display controller and image display control method
US9703403B2 (en) 2010-12-21 2017-07-11 Sony Corporation Image display control apparatus and image display control method
CN102650912A (en) * 2011-02-23 2012-08-29 安国国际科技股份有限公司 Signal processing method and system of touch panel
JP2012234317A (en) * 2011-04-28 2012-11-29 Ntt Docomo Inc Display device, control method for display device and program
JP2013097798A (en) * 2011-10-27 2013-05-20 Samsung Electronics Co Ltd System and method for identifying type of input to mobile device with touch panel
US9495095B2 (en) 2011-10-27 2016-11-15 Samsung Electronics Co., Ltd. System and method for identifying inputs input to mobile device with touch panel
WO2013080425A1 (en) * 2011-12-01 2013-06-06 パナソニック株式会社 Input device, information terminal, input control method and input control program
JP2015500545A (en) * 2011-12-14 2015-01-05 マイクロチップ テクノロジー インコーポレイテッドMicrochip Technology Incorporated Capacity proximity-based gesture input system
US9182870B2 (en) 2011-12-16 2015-11-10 Panasonic Intellectual Property Corporation Of America Touch panel and electronic device
US9182869B2 (en) 2011-12-16 2015-11-10 Panasonic Intellectual Property Corporation Of America Touch panel and electronic device
US9052791B2 (en) 2011-12-16 2015-06-09 Panasonic Intellectual Property Corporation Of America Touch panel and electronic device
US9195338B2 (en) 2012-03-29 2015-11-24 Brother Kogyo Kabushiki Kaisha Touch panel control device and non-transitory computer-readable medium
US20130257764A1 (en) * 2012-03-29 2013-10-03 Brother Kogyo Kabushiki Kaisha Touch panel control device and non-transitory computer-readable medium
US20130257796A1 (en) * 2012-03-29 2013-10-03 Brother Kogyo Kabushiki Kaisha Touch panel control device, touch panel control method and non-transitory computer-readable medium
US9164616B2 (en) 2012-03-29 2015-10-20 Brother Kogyo Kabushiki Kaisha Touch panel control device, touch panel control method and non-transitory computer-readable medium
JP2014160473A (en) * 2012-04-19 2014-09-04 Panasonic Intellectual Property Corp Of America Portable electronic devices
US9298293B2 (en) 2012-04-19 2016-03-29 Panasonic Intellectual Property Corporation Of America Portable electronic apparatus
US9002419B2 (en) 2012-04-19 2015-04-07 Panasonic Intellectual Property Corporation Of America Portable electronic apparatus
JP2013235588A (en) * 2012-05-04 2013-11-21 Samsung Electronics Co Ltd Method for controlling terminal based on spatial interaction, and corresponding terminal
US8937609B2 (en) 2012-05-30 2015-01-20 Sharp Kabushiki Kaisha Touch sensor system
JP2013250596A (en) * 2012-05-30 2013-12-12 Sharp Corp Touch sensor system
WO2013179474A1 (en) * 2012-05-30 2013-12-05 シャープ株式会社 Touch sensor system
JP2014121854A (en) * 2012-12-21 2014-07-03 Konica Minolta Inc Image formation device and program
JP2015041264A (en) * 2013-08-22 2015-03-02 シャープ株式会社 Information processing device, information processing method, and program
JP2015064799A (en) * 2013-09-25 2015-04-09 富士通コンポーネント株式会社 Combiner and operation detection device
US9939906B2 (en) 2013-09-25 2018-04-10 Fujitsu Component Limited Combiner and operation detection device
JP2015141425A (en) * 2014-01-27 2015-08-03 アルプス電気株式会社 Touch pad input device and touch pad control program
JP2017510879A (en) * 2014-01-28 2017-04-13 ▲華▼▲為▼終端有限公司Huawei Device Co., Ltd. Method and a terminal device for processing a terminal device
JP2016045931A (en) * 2014-08-21 2016-04-04 京セラドキュメントソリューションズ株式会社 Image processing apparatus
US9846519B2 (en) 2014-12-22 2017-12-19 Alps Electric Co., Ltd. Input device, and method and program for controlling the same
WO2017047416A1 (en) * 2015-09-14 2017-03-23 株式会社東海理化電機製作所 Operation detection device
JP2016042383A (en) * 2015-11-25 2016-03-31 カシオ計算機株式会社 User operation processing apparatus, user operation processing method, and program

Similar Documents

Publication Publication Date Title
US8239784B2 (en) Mode-based graphical user interfaces for touch sensitive input devices
US7777732B2 (en) Multi-event input system
US20100229090A1 (en) Systems and Methods for Interacting With Touch Displays Using Single-Touch and Multi-Touch Gestures
US20090228901A1 (en) Touch event model
US20100259493A1 (en) Apparatus and method recognizing touch gesture
US20110060986A1 (en) Method for Controlling the Display of a Touch Screen, User Interface of the Touch Screen, and an Electronic Device using The Same
US20140300569A1 (en) User interface device that zooms image in response to operation that presses screen, image zoom method, and program
US20110109552A1 (en) Multi-touch multi-dimensional mouse
US20110148786A1 (en) Method and apparatus for changing operating modes
US20090066659A1 (en) Computer system with touch screen and separate display screen
US7924271B2 (en) Detecting gestures on multi-event sensitive devices
US20080309626A1 (en) Speed/positional mode translations
US20100328351A1 (en) User interface
US20100039405A1 (en) Projective Capacitive Touch Apparatus, and Method for Identifying Distinctive Positions
US8294047B2 (en) Selective input signal rejection and modification
US20110227947A1 (en) Multi-Touch User Interface Interaction
US20080309632A1 (en) Pinch-throw and translation gestures
US7877707B2 (en) Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US20130332892A1 (en) User interface device enabling input motions by finger touch in different modes, and method and program for recognizing input motion
US20080165255A1 (en) Gestures for devices having one or more touch sensitive surfaces
US20080309630A1 (en) Techniques for reducing jitter for taps
US20100253630A1 (en) Input device and an input processing method using the same
US20130154933A1 (en) Force touch mouse
US20090273571A1 (en) Gesture Recognition
US20070176906A1 (en) Proximity sensor and method for indicating extended interface results

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121218

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130214

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130604