JP2016045553A - 情報処理装置とその指先操作識別方法並びにプログラム - Google Patents

情報処理装置とその指先操作識別方法並びにプログラム Download PDF

Info

Publication number
JP2016045553A
JP2016045553A JP2014167310A JP2014167310A JP2016045553A JP 2016045553 A JP2016045553 A JP 2016045553A JP 2014167310 A JP2014167310 A JP 2014167310A JP 2014167310 A JP2014167310 A JP 2014167310A JP 2016045553 A JP2016045553 A JP 2016045553A
Authority
JP
Japan
Prior art keywords
fingers
fingertip
finger
positions
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014167310A
Other languages
English (en)
Other versions
JP6255321B2 (ja
Inventor
和人 大下
Kazuhito Oshita
和人 大下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alps Alpine Co Ltd
Original Assignee
Alps Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alps Electric Co Ltd filed Critical Alps Electric Co Ltd
Priority to JP2014167310A priority Critical patent/JP6255321B2/ja
Priority to US14/727,515 priority patent/US9733775B2/en
Publication of JP2016045553A publication Critical patent/JP2016045553A/ja
Application granted granted Critical
Publication of JP6255321B2 publication Critical patent/JP6255321B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186Touch location disambiguation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0446Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a grid-like structure of electrodes in at least two directions, e.g. using row and column electrodes

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】3以上の指が操作面に接触若しくは近接したことを示す情報をセンサから取得した場合に、指の関節等が操作面に意図せず接触若しくは近接したことによる非指先が含まれているか否かを適切に判定できる情報処理装置を提供する。【解決手段】センサ部10において3以上の指の位置が特定された場合、当該3以上の指の相対的な位置関係に応じて、当該3以上の指に非指先が含まれるか否かが判定部82において判定される。そして、当該3以上の指に非指先が含まれると判定された場合には、当該3以上の指に含まれる1の真の指先の操作が操作識別部81において識別される。【選択図】図1

Description

本発明は、操作面上の複数の位置において物体の接触若しくは近接を検出するタッチパッドなどのセンサの出力に基づいて、操作面上に接触若しくは近接した指先の操作を識別する情報処理装置とその指先操作識別方法並びにプログラムに関するものである。
ノートブック型PCがタブレット端末、スマートフォンなどの情報機器のマンマシン・インターフェースとして、指やペンなどの物体の接触位置を検出するセンサを備えたタッチパッドやタッチパネルなどの入力装置が広く普及している。また近年、このタイプの入力装置では、複数の接触箇所を検出可能な「マルチタッチ」に対応したものが増えてきている。マルチタッチ方式の入力装置では、1本の指による操作と複数本の指による操作とを識別できるため、入力操作のバリエーションが広がり、シングルタッチに限定される場合に比べて利便性が向上する。
下記の特許文献1には、格子状に直交した導電線間のキャパシタンスの変化を検出する2次元センサマトリクスを用いて指等の接触位置を検出するマルチタッチ・デジタイザ・システムが記載されている。
特開2011−501261号公報
ところで、マルチタッチ方式の入力装置では、1本の指で操作をしている際に手の他の部分が意図せずセンサに接触若しくは近接してしまい、複数本の指の操作であると誤って認識される場合がある。
上記特許文献には、面積が大きい掌タッチ領域に近接する潜在的指先タッチ領域は真の指先タッチ領域として不適格と判定する技術が開示されている。これによれば、意図せず掌がセンサに接触した場合に、その掌タッチ領域の近くに現れやすい小面積のタッチ領域が誤って指先タッチ領域と判定されることを防止できる。
しかしながら、センサに意図せず接触するのは面積の大きい掌だけではない。例えば、中指・薬指等を軽く握りながら人差指の先でタッチ操作を行う場合、折り曲げた中指・薬指等の関節部が操作面に接触することがある。この関節部の接触面積は掌に比べて非常に小さいため、上記特許文献に開示される技術では掌タッチ領域として認識されず、真の指先タッチ領域として誤認識される可能性がある。
本発明はかかる事情に鑑みてなされたものであり、その目的は、3以上の指が操作面に接触若しくは近接したことを示す情報をセンサから取得した場合に、指の関節等が操作面に意図せず接触若しくは近接したことによる非指先が含まれているか否かを適切に判定できる情報処理装置とその指先操作識別方法並びにプログラムを提供することにある。
本発明の第1の観点は、操作面上の複数の位置において物体の接触若しくは近接を検出するセンサの当該検出結果に応じた情報に基づいて、前記操作面上に接触若しくは近接した指先の操作を識別する情報処理装置に関する。この情報処理装置は、前記センサの検出結果により3以上の指の位置が特定された場合、当該3以上の指の相対的な位置関係に応じて、当該3以上の指に非指先が含まれることを判定する判定部を有する
上記第1の観点に係る情報処理装置によれば、前記センサの検出結果により3以上の指の位置が特定された場合、当該3以上の指の相対的な位置関係に応じて、当該3以上の指に非指先が含まれることが前記判定部において判定される。これにより、前記操作面に接触若しくは近接した3以上の物体の面積が指先と変わらないものであっても、それらの相対的な位置関係に応じて、前記3以上の物体に非指先が含まれることが適切に判定される。
好適に、前記判定部は、前記センサの検出結果により位置が特定された3以上の指における隣り合う指どうしの間隔のバラツキの大きさに基づいて当該3以上の指に前記非指先が含まれると判定してよい。例えば、前記判定部は、前記特定された3以上の指の位置に基づいて、当該3以上の指の各位置と他の指の位置との距離を算出し、当該算出した一の距離と他の距離との差分の絶対値が第1しきい値を超える場合、当該3以上の指に前記非指先が含まれると判定してよい。
これにより、人差指等の指先による1本指の操作において、当該指先から離れた位置に集まっている他の指の関節等が操作面に意図せず接触・近接している状態にあることを適切に判定することが可能となる。
好適に、前記判定部は、前記3以上の指について算出した前記距離の少なくとも1つが第2しきい値を超える場合において、更に前記差分の絶対値が前記第1しきい値を超えるならば、当該3以上の指に前記非指先が含まれると判定してよい。
これにより、前記3以上の指先の位置が互いに十分近い場合には、1本指の操作時に他の指の関節等が意図せず操作面に接触・近接している状態として判定されないため、当該状態の判定が正確に行われる。
好適に、前記判定部は、前記3以上の指の配列パターンが直線に近似する度合を示す所定の評価値を算出し、当該算出した評価値が前記配列パターンの直線への近似を示す所定の範囲から外れるならば、当該3以上の指に前記非指先が含まれると判定してよい。
例えば、前記判定部は、前記3以上の指において最も離れた2つの指の各位置と他の一の指の位置とを通る2本の直線がなす角度に応じた前記評価値を算出してよい。
これにより、前記3以上の指先の配列パターンが直線に近似する場合には、1本指の操作時に他の指の関節等が意図せず操作面に接触・近接している状態として判定されないため、当該状態の判定が正確に行われる。
好適に、前記操作面には、操作者からの距離に応じた座標値を持つ座標軸が設定されてよい。前記判定部は、前記3以上の指において最も離れた2つの指の位置を通る直線と、他の一の指の位置を通り前記座標軸と平行な直線との交点が、前記他の一の指の位置に比べて前記操作者から離れているならば、当該3以上の指に前記非指先が含まれると判定してよい。
1本指の操作時に他の指の関節等が意図せず操作面に接触している場合、1本指の指先の接触位置と、この指先から最も離れた指関節等の接触位置とを結ぶ直線は、これらの接触位置の間に存在する別の指関節等の接触位置に比べて、操作者から離れた側にある。従って、上記の構成によれば、1本指の操作時に他の指の関節等が意図せず操作面に接触している状態の判定がより正確に行われる。
本発明の第2の観点は、操作面上の複数の位置において物体の接触若しくは近接を検出するセンサの当該検出結果に応じた情報を処理するコンピュータが、前記操作面上に接触若しくは近接した指先の操作を識別する方法に関する。この指先操作識別方法は、前記センサの検出結果により3以上の指の位置が特定された場合、当該3以上の指の相対的な位置関係に応じて、当該3以上の指に非指先が含まれることを判定する第1ステップを有する。
好適に、前記第1ステップでは、前記センサの検出結果により位置が特定された3以上の指における隣り合う指どうしの間隔のバラツキの大きさに基づいて当該3以上の指に前記非指先が含まれると判定してよい。例えば、前記第1ステップでは、前記特定された3以上の指の位置に基づいて、当該3以上の指の各位置と他の指の位置との距離を算出し、当該算出した一の距離と他の距離との差分の絶対値が第1しきい値を超える場合、当該3以上の指に前記非指先が含まれると判定してよい。
好適に、前記第1ステップでは、前記3以上の指について算出した前記距離の少なくとも1つが第2しきい値を超える場合において、更に前記差分の絶対値が前記第1しきい値を超えるならば、当該3以上の指に前記非指先が含まれると判定してよい。
好適に、前記第1ステップでは、前記3以上の指の配列パターンが直線に近似する度合を示す所定の評価値を算出し、当該算出した評価値が前記配列パターンの直線への近似を示す所定の範囲から外れるならば、当該3以上の指に前記非指先が含まれると判定してよい。
例えば、前記第1ステップでは、前記3以上の指において最も離れた2つの指の各位置と他の一の指の位置とを通る2本の直線がなす角度に応じた前記評価値を算出してよい。
好適に、前記操作面には、操作者からの距離に応じた座標値を持つ座標軸が設定されてよい。前記第1ステップでは、前記3以上の指において最も離れた2つの指の位置を通る直線と、他の一の指の位置を通り前記座標軸と平行な直線との交点が、前記他の一の指の位置に比べて前記操作者から離れているならば、当該3以上の指に前記非指先が含まれると判定してよい。
本発明の第3の観点は、上記指先操作識別方法をコンピュータに実行させるためのプログラムである。
本発明によれば、3以上の指が操作面に接触若しくは近接したことを示す情報をセンサから取得した場合に、当該3以上の指の相対的な位置関係に応じて、指の関節等が操作面に意図せず接触若しくは近接したことによる非指先が含まれているか否かを適切に判定できる。
本発明の実施形態に係る情報処理装置の構成の一例を示す図である。 操作面に1以上の指が接触している状態を説明するための図である。図2Aは1つの指先が接触している状態を示し、図2Bは3つの指先が接触している状態を示し、図2Cは1つの指先と2つの非指先(指の関節部)が接触している状態を示す。 図1に示す情報処理装置において指先の操作を識別する動作について説明するための第1のフローチャートである。 図1に示す情報処理装置において指先の操作を識別する動作について説明するための第2のフローチャートである。 3つの指の指間隔を説明するための図である。 3つの指の指配列パターンが直線に近似する度合を表す評価値を説明するための図である。 3つの指の指配列パターンと操作者の位置との関係から、非指先の有無を判定する方法を説明するための図である。 4つの指の指間隔を説明するための図である。 4つの指の指配列パターンが直線に近似する度合を表す評価値を説明するための図である。 4つの指の指配列パターンと操作者の位置との関係から、非指先の有無を判定する方法を説明するための図である。
図1は、本発明の実施形態に係る情報処理装置の構成の一例を示す図である。図1に示す情報処理装置は、センサ部10と、入力部20と、記録媒体インターフェース部30と、通信部40と、表示部50と、音声出力部60と、記憶部70と、制御部80を有する。この情報処理装置は、マンマシン・インターフェースを備えた電子機器であり、例えばノート型コンピュータやスマートフォン、タブレットコンピュータなどが含まれる。
[センサ部10]
センサ部10は、操作面16に分布する複数の検出位置において、指やペンなどの物体の接触若しくは近接をそれぞれ検出する入力装置(マンマシンインターフェース)である。なお、本明細書における「近接」とは、接触した状態で近くにあることと、接触しない状態で近くにあることを両方含む。
例えばセンサ部10は、物体の近接に応じて静電容量が変化するキャパシタ12(容量性センサ素子)がマトリクス状に形成されたセンサ11と、キャパシタ12の静電容量に応じた検出データを生成する検出データ生成部13と、センサ11のキャパシタ12に駆動電圧を印加する駆動部14と、検出データ生成部13において生成される検出データに基づいて、操作面16に指が接触若しくは近接した位置を特定するセンサ制御部15と、センサ記憶部16とを有する。
センサ11は、縦方向に延在した複数の駆動電極Lxと、横方向に延在した複数の検出電極Lyを備える。複数の駆動電極Lxは横方向へ平行に並び、複数の検出電極Lyは縦方向へ平行に並ぶ。複数の駆動電極Lxと複数の検出電極Lyが格子状に交差しており、互いに絶縁されている。駆動電極Lxと検出電極Lyの交差部付近に、キャパシタ12が形成される。なお、図1の例では電極(Lx,Ly)の形状が短冊状に描かれているが、他の任意の形状(ダイヤモンドパターンなど)でもよい。
駆動部14は、センサ11のキャパシタ12に駆動電圧を印加する回路である。具体的には、駆動部14は、センサ制御部15の制御に従って、複数の駆動電極Lxから順番に一の駆動電極Lxを選択し、当該選択した一の駆動電極Lxの電位を周期的に変化させる。駆動電極Lxの電位が所定の範囲で変化することにより、この駆動電極Lxと検出電極Lyとの交差点付近に形成されたキャパシタ12に印加される駆動電圧が所定の範囲で変化し、キャパシタ12において充電や放電が生じる。
検出データ生成部13は、駆動部14による駆動電圧の印加に伴ってキャパシタ12が充電又は放電される際に各検出電極Lyにおいて伝送される電荷に応じた検出データを生成する。すなわち、検出データ生成部13は、駆動部14の駆動電圧の周期的な変化と同期したタイミングで、各検出電極Lyにおいて伝送される電荷をサンプリングし、そのサンプリングの結果に応じた検出データを生成する。
例えば、検出データ生成部13は、キャパシタ12の静電容量に応じた電圧を出力する静電容量−電圧変換回路(CV変換回路)と、CV変換回路の出力信号をデジタル信号に変換し、検出データとして出力するアナログ−デジタル変換回路(AD変換回路)を有する。
CV変換回路は、駆動部14の駆動電圧が周期的に変化してキャパシタ12が充電又は放電される度に、センサ制御部15の制御に従って、検出電極Lyにおいて伝送される電荷をサンプリングする。具体的には、CV変換回路は、検出電極Lyにおいて正又は負の電荷が伝送される度に、この電荷若しくはこれに比例した電荷を参照用のキャパシタに移送し、参照用のキャパシタに発生する電圧に応じた信号を出力する。例えば、CV変換回路は、検出電極Lyにおいて周期的に伝送される電荷若しくはこれに比例した電荷の積算値や平均値に応じた信号を出力する。AD変換回路は、センサ制御部15の制御に従って、CV変換回路の出力信号を所定の周期でデジタル信号に変換し、検出データとして出力する。
センサ制御部15は、センサ部10の動作を制御する回路であり、例えば、センサ記憶部16に格納されるプログラムの命令コードに従って処理を行うコンピュータや、特定の機能を実現するロジック回路を含んで構成される。センサ制御部15は、検出データ生成部13において生成される検出データに基づいて、操作面上の各位置におけるキャパシタ12の静電容量の大きさを表す2次元データを生成し、その2次元データから、操作面17上における指の位置を特定する処理を行う。センサ制御部15は、特定した指の位置に関する情報(位置データS10)を制御部80に出力する。
センサ記憶部16は、センサ制御部15において処理に使用される定数データや変数データを記憶する。センサ制御部15がコンピュータを含む場合、センサ記憶部16は、そのコンピュータにおいて実行されるプログラムを記憶してもよい。センサ記憶部16は、例えば、DRAMやSRAMなどの揮発性メモリ、フラッシュメモリなどの不揮発性メモリなどを含んで構成される。
なお、上述の例において示したセンサ部10は、電極間(Lx,Ly)に生じる静電容量(相互容量)の変化によって物体の近接を検出するものであるが、この例に限らず、他の種々の方式によって物体の近接を検出してもよい。例えば、センサ部10は、物体の接近によって電極とグランドの間に生じる静電容量(自己容量)を検出する方式でもよい。自己容量を検出する方式の場合、検出電極に駆動電圧が印加される。また、センサ部10は、静電容量方式に限定されるものではなく、例えば抵抗膜方式や電磁誘導式などでもよい。
[入力部20]
入力部20は、操作者の指示を入力するための機器(マンマシンインターフェース)であり、例えばマウス、キーボード、押しボタンなどを含む。
[記録媒体インターフェース部30]
記録媒体インターフェース部30は、外部の記録媒体31にアクセスするためのインターフェース装置であり、例えばDVDなどのディスク型記録媒体にアクセスするディスクドライブ装置や、USBメモリにアクセスするためのUSBインターフェース回路などを含む。
[通信部40]
他の通信機器との間で所定の通信方式に基づいて通信を行うための回路であり、例えばWi−Fi(商標)による無線LAN通信の機能を有する。情報処理装置は、通信部40を通じて他の機器とデータを交換することができる。
[表示部50]
表示部50は、制御部80から供給される映像信号に応じた映像を表示する装置であり、例えば液晶ディスプレイや映像信号処理回路などを含む。
[音声出力部60]
音声出力部60は、制御部80から供給されるオーディオ信号に応じた音声を出力する装置であり、例えばスピーカやオーディオ信号処理回路などを含む。
[記憶部70]
記憶部70は、制御部80の処理に用いられる定数データや、処理過程で一時的に利用される変数データなどを記憶する。制御部80がコンピュータを含む場合、記憶部70は、そのコンピュータにおいて実行されるプログラムを記憶してもよい。記憶部70は、FRASHメモリなどの不揮発性メモリや、DRAM,SRAMなどの揮発性メモリ、リードオンリーメモリ(ROM)、ハードディスク装置などを含んで構成される。
[制御部80]
制御部80は、情報処理装置の全体的な動作を制御する回路であり、例えばプログラムの命令コードに従って処理を実行するコンピュータを含んで構成される。このプログラムは、例えば記憶部70のハードディスクや不揮発性メモリ、コンピュータ読み取り可能で非一時的な記録媒体31(記録ディスク、USBメモリ等)などに格納される。プログラムの実行時には、記憶部70のDRAM等にプログラムが適宜ロードされ、コンピュータのマイクロプロセッサによってプログラム中の命令コードが順次に読み出されて実行される。なお、制御部80の機能の少なくとも一部は、専用のロジック回路(ASIC等)によって実現することも可能である。
制御部80は、センサ部10において取得された情報(操作面17に接触若しくは近接した指の位置を示す位置データS10)に関する処理を行うブロックとして、操作識別部81と判定部82を有する。
操作識別部81は、センサ部10の検出結果により特定された指の位置と、判定部82の判定結果とに基づいて、操作面17に接触若しくは近接した指先の操作を識別する。すなち、操作識別部81は、センサ部10において特定された1以上の指の位置を示す位置データS10と、判定部82における非指先の判定結果とに基づいて、操作面17に接触若しくは近接した1以上の指先の操作を識別する。例えば操作識別部81は、操作面17に接触若しくは近接した指先の本数や、各指先の接触時間、各指先の移動方向、各指先の移動速度などを算出した結果に基づいて、操作面17上における指先の操作(タップ、ダブルタップ、ドラッグ、パン、フリック、スワイプ、ピンチイン、ピンチアウト等)を識別する。
判定部82は、センサ部10において3以上の指の位置が特定された場合、当該特定された3以上の指の相対的な位置関係に応じて、当該3以上の指に非指先(指先でないもの、例えば指の関節部など)が含まれることを判定する。
図2は、操作面17に1以上の指が接触している状態を説明するための図である。図2Aは1つの指先が接触している状態を示し、図2Bは3つの指先が接触している状態を示す。これに対し、図2Cは、1つの指先と2つの非指先(中指と薬指の関節部)が接触している状態を示す。
センサ部10は、図2B及び図2Cの状態を、何れも3つの指が操作面17に接触若しくは近接しているものとみなして、各指の位置を示す位置データS10を出力する。判定部82は、各指の相対的な位置関係に応じて、図2Cに示すように非指先を含んだ状態を判定する。
例えば、判定部82は、前記センサの検出結果により位置が特定された3以上の指どうしの間隔のバラツキの大きさに基づいて、当該3以上の指に非指先が含まれるか否かの判定を行う。具体的には、判定部82は、センサ部10において特定された3以上の指の位置(例えば後述の図5における「Pa」,「Pb」,「Pc」)に基づいて、当該3以上の指の各位置と他の指の位置との距離(以下、「指間隔D」と記す場合がある)を算出する。判定部82は、当該算出した一の指間隔Dと他の指間隔Dとの差分の絶対値が第1しきい値TH1を超える場合(1つの指が他の指に比べて顕著に離間している場合)、当該3以上の指に非指先が含まれると判定する。
また、判定部82は、センサ部10において特定された3以上の指の指間隔Dが1つでも第2しきい値TH2を超えているか(最も離れた指の間隔が「TH2」を超えているか)を更に判定してもよい。この場合、判定部82は、当該3以上の指の指間隔Dが1つでも第2しきい値TH2を超えている条件の元で、更に、上述した指間隔Dの差分の絶対値が第1しきい値TH1を超えているならば、当該3以上の指に非指先が含まれると判定する。
更に、判定部82は、センサ部10において特定された3以上の指の指間隔Dの少なくとも1つが第2しきい値TH2を超え、かつ、指間隔Dのバラツキが第1しきい値TH1を超える場合、当該3以上の指の配列パターン(以下、「指配列パターン」と記す場合がある)が直線に近似する度合を示す所定の評価値を算出してもよい。例えば判定部82は、当該3以上の指において最も離れた2つの指の各位置と他の一の指の位置とを通る2本の直線がなす角度(後述の図6における「θabc」など)に応じた評価値を算出してよい。この場合、判定部82は、指配列パターンが直線に近似していることを示す所定の範囲に対して当該評価値が外れていること(すなわち、指配列パターンが直線状でないこと)を条件として、当該3以上の指に非指先が含まれると判定する。
また、判定部82は、センサ部10において特定された3以上の指の指間隔Dの少なくとも1つが第2しきい値TH2を超え、指間隔Dの差分の絶対値が第1しきい値TH1を超え、かつ、指配列パターンの評価値が直線との近似を示す所定の範囲から外れる場合、指配列パターンと操作者の位置との関係に応じて、当該3以上の指に非指先が含まれるか否か判定してもよい。
具体的には、判定部82は、最も離れた2つの指の位置を通る直線(例えば後述の図7における「Lac」)と、他の一の指の位置(例えば図7における「Pb」)との操作者に対する位置関係を更に判定する。
この場合、操作面17には、操作者からの距離に応じた座標値を持つ座標軸(例えば図7におけるY軸)が設定される。判定部82は、最も離れた2つの指の位置を通る直線(例えば図7における「Lac」)と、他の一の指の位置(例えば図7における「Pb」)を通り上記の座標軸と平行な直線(例えば図7における「Lbx」)との交点(例えば図7における「Px」)が、他の一の指の位置(図7における「Pb」)に比べて操作者から離れていることを条件として、当該3以上の指に非指先が含まれると判定する。
なお、操作識別部81は、センサ部10において特定された3以上の指に非指先が含まれると判定部82において判定された場合、当該3以上の指に含まれる1の真の指先を対象として、その操作を識別する。例えば操作識別部81は、他の指に対する指間隔Dが最も長い指を、当該3以上の指に含まれる1の真の指先とみなす。
ここで、上述した構成を有する図1に示す情報処理装置において、センサ部10から出力される指の位置データS10に基づいて指先の操作を識別する動作を説明する。図3及び図4は、情報処理装置における指先の操作を識別する動作について説明するためのフローチャートである。
センサ部10において1つの指が特定されたことを示す位置データS10を取得した場合(ST10)、操作識別部81は、1つの指先についての操作を識別する「ポインタモード」へ移行する(ST15)。
センサ部10において2つの指が特定されたことを示す位置データS10を取得した場合(ST20)、操作識別部81は、当該2つの指が所定のパン条件(例えば、2つの指が一定の指間隔Dで一定方向に移動していることを示す条件)を満たすならば、2つの指先の操作が画面をスクロールさせる操作であると識別する「スクロールモード」に移行する(ST25,ST30)。
ステップST25において2つの指が所定のパン条件を満たしていないと判定した場合、操作識別部81は、当該2つの指によって更に何らかのジェスチャーが与えられるのを待つ「ジェスチャー待機モード」に移行する(ST35)。
センサ部10において3つの指が特定されたことを示す位置データS10を取得した場合(ST40)、判定部82は、当該3つの指の指間隔Dをそれぞれ算出し、算出した指間隔Dにおける最長の間隔が第2しきい値TH2より短いか否かを判定する(ST45)。
図5は、3つの指の指間隔Dを説明するための図である。図5における「Pa」,「Pb」,「Pc」は、センサ部10によって特定された操作面17上の指の位置をそれぞれ示す。図5において、位置PaとPbとの距離が指間隔Dab、位置PbとPcとの距離が指間隔Dbc、位置PcとPaとの距離が指間隔Dcaである。
判定部82は、ステップST45において、これらの指間隔(Dab,Dbc,Dca)と第2しきい値TH2をそれぞれ比較する。比較の結果、1つでも第2しきい値TH2を超える指間隔が存在する場合、判定部82は、センサ部10によって特定された3つの指(Pa,Pb,Pc)の中に非指先が含まれる可能性があるため、ステップST60に移行する。一方、全ての指間隔が第2しきい値TH2より短い場合(すなわち、3つの指が比較的狭い範囲に集まっている場合)、判定部82は、3つの指(Pa,Pb,Pc)の中に非指先が含まれる可能性が無いと判断して、ステップST50に移行する。
ステップST50において、操作識別部81は、3つの指が所定のフリック条件を満たしているか判定する。例えば操作識別部81は、3つの指が一定の指間隔で一方向に比較的早く移動している場合、所定のフリック条件を満たしていると判定する。3つの指が所定のフリック条件を満たしている場合、操作識別部81は、3つの指先のフリック操作によってオーディオに関する制御(音量の調節など)を行う「オーディオ制御モード」に移行する(ST55)。他方、操作識別部81は、3つの指が所定のフリック条件を満たしていない場合、当該3つの指によって更に何らかのジェスチャーが与えられるのを待つ「ジェスチャー待機モード」に移行する(ST35)。
ステップST60において、判定部82は、3つの指の指間隔(Dab,Dbc,Dca)についてバラツキの大きさを算出し、当該バラツキの大きさが第1しきい値TH1を超えるか判定する。具体的には、判定部82は、指間隔DabとDbcとの差分の絶対値(|Dab−Dbc|、指間隔DbcとDcaとの差分の絶対値(|Dbc−Dca|)、指間隔DacとDabとの差分の絶対値(|Dca−Dab|)をそれぞれ算出して、算出した差分の絶対値を第1しきい値TH1と比較する。そして、算出した差分の絶対値の中に1つでも第1しきい値TH1を超えるものがある場合(すなわち、他の指と比べて顕著に離れている指があって隣り合う指どうしの間隔のバラツキが大きい場合)、判定部82は、3つの指(Pa,Pb,Pc)の中に非指先が含まれる可能性があるため、ステップST65に移行する。一方、算出した全ての差が第1しきい値TH1より小さい場合、判定部82は、3つの指(Pa,Pb,Pc)の中に非指先が含まれる可能性が無いと判断して、ジェスチャー待機モードに移行する(ST35)。
ステップST65において、判定部82は、3つの指(Pa,Pb,Pc)の指配列パターンが直線に近似する度合を示す所定の評価値を算出し、その評価値が、直線に近い指配列パターンであることを示す所定の範囲に含まれるか否か判定する。
図6は、3つの指の指配列パターンが直線に近似する度合を示す評価値を説明するための図である。図6に示すように3つの指(Pa,Pb,Pc)が特定されている場合、判定部82は、3つの指(Pa,Pb,Pc)において最も離れた2つの指の各位置(Pa,Pc)と、他の一の指の位置(Pb)とを通る2本の直線(Lab,Lcb)がなす角度θabcに応じた評価値を算出する。角θabcは、3つの指(Pa,Pb,Pc)が一直線上に並んでいる場合に180°となる。
例えば判定部82は、角θabcと180°との差(|180−θabc|)を評価値として算出する。この場合、判定部82は、評価値が所定のしきい値(角度)より大きいならば、3つの指(Pa,Pb,Pc)の指配列パターンが直線状のパターンから逸脱していると判定する。指配列パターンが直線状のパターンから逸脱している場合、3つの指(Pa,Pb,Pc)の中に非指先が含まれる可能性があるため、判定部82はステップST70に移行する。一方、評価値がしきい値より小さい場合、判定部82は、3つの指(Pa,Pb,Pc)の中に非指先が含まれる可能性が無いと判断して、ジェスチャー待機モードに移行する(ST35)。
ステップST70において、判定部82は、3つの指(Pa,Pb,Pc)の配列パターンと、操作者の操作面17に対する位置とに応じて、当該3つの指に非指先が含まれるか否かを判定する。
1本の指(人差指)で操作をしている時に他の指(中指,薬指等)の関節等が意図せず操作面17に接触している場合(図2C)、操作を意図している指先の接触位置Paと、この指先から最も離れた指関節等の接触位置Pcとを結ぶ直線は、これらの接触位置(Pa,Pc)の間に存在する別の指関節等の接触位置Pbに比べて、操作者から離れた側にある。判定部82は、自然な手指の形状に起因する上記の性質を利用して、1本指の操作時に指関節等が意図せず操作面17に接触した状態にあるか否かを判定する。
図7は、3つの指の指配列パターンと操作者の位置とに応じて、当該3つの指に非指先が含まれるか否かを判定する方法を説明するための図である。
図7の例では、矩形の操作面17において「操作者側」と記された一辺に操作者が位置する。座標軸Yは、その座標値が操作者からの距離を示すように設定されている。直線Lacは、3つの指(Pa,Pb,Pc)の中で最も離れた2つの指の位置Pa,Pcを通る直線である。また、直線Lbxは、最も離れた2つの指に該当しない一の指の位置Pbを通り、Y軸と平行な直線である。交点Pxは、この直線Lacと直線Lbxとの交点である。判定部82は、最も離れた2つの指に該当しない一の指の位置Pbに対して、交点Pxが操作者から離れた位置にあるならば、当該3つの指に非指先が含まれると判定する。他方、指の位置Pbに対して交点Pxが操作者に近い位置にある場合、判定部82は、3つの指(Pa,Pb,Pc)の中に非指先が含まれる可能性が無いと判断して、ジェスチャー待機モードに移行する(ST35)。
ステップST70において3つの指に非指先が含まれると判定部82が判定した場合、操作識別部81は、1つの指先についての操作を識別する「拡張ポインタモード」へ移行する(ST75)。拡張ポインタモードにおいて、操作識別部81は、3つの指に含まれる1の真の指先の操作を、ステップST15のポインタモードと同様に識別する。例えば操作識別部81は、他の指に対する指間隔Dが最も長い指(図5〜図7の例では位置Paの指先)を、当該3以上の指に含まれる1の真の指先とみなす。
センサ部10において4つの指が特定されたことを示す位置データS10を取得した場合(ST80)、判定部82は、当該4つの指の指間隔Dをそれぞれ算出し、算出した指間隔Dにおける最長の間隔が第2しきい値TH2より短いか否かを判定する(ST85)。
図8は、4つの指の指間隔Dを説明するための図である。図8における「Pa」,「Pb」,「Pc」,「Pd」は、センサ部10によって特定された操作面17上の指の位置をそれぞれ示す。図8において、位置PaとPbとの距離が指間隔Dab、位置PbとPcとの距離が指間隔Dbc、位置PcとPaとの距離が指間隔Dca、位置PbとPdとの距離が指間隔Dbd、位置PcとPdとの距離が指間隔Dcd、位置PdとPaとの距離が指間隔Ddaである。
判定部82は、ステップST45において、これらの指間隔(Dab,Dbc,Dca,Dbd,Dcd,Dda)と第2しきい値TH2をそれぞれ比較する。比較の結果、1つでも第2しきい値TH2を超える指間隔が存在する場合、判定部82は、センサ部10によって特定された4つの指(Pa,Pb,Pc,Pd)の中に非指先が含まれる可能性があるため、ステップST90に移行する。一方、全ての指間隔が第2しきい値TH2より短い場合(すなわち、4つの指が比較的狭い範囲に集まっている場合)、判定部82は、4つの指(Pa,Pb,Pc)の中に非指先が含まれる可能性が無いと判断して、ジェスチャー待機モードに移行する(ST35)。
ステップST90において、判定部82は、4つの指の指間隔(Dab,Dbc,Dca,Dbd,Dcd,Dda)についてバラツキの大きさを算出し、当該バラツキの大きさが第1しきい値TH1を超えるか判定する。具体的には、判定部82は、6通りの指間隔における全ての指間隔の差(15通り)を算出し、算出した差を第1しきい値TH1とそれぞれ比較する。そして、算出した差の中に1つでも第1しきい値TH1を超えるものがある場合(すなわち、他の指と比べて顕著に離れている指がある場合)、判定部82は、4つの指(Pa,Pb,Pc,Pd)の中に非指先が含まれる可能性があるため、ステップST95に移行する。一方、算出した全ての差が第1しきい値TH1より小さい場合、判定部82は、4つの指(Pa,Pb,Pc,Pd)の中に非指先が含まれる可能性が無いと判断して、ジェスチャー待機モードに移行する(ST35)。
ステップST95において、判定部82は、4つの指(Pa,Pb,Pc,Pd)の指配列パターンが直線に近似する度合を示す所定の評価値を算出し、その評価値が、直線に近い指配列パターンであることを示す所定の範囲に含まれるか否か判定する。
図9は、4つの指の指配列パターンが直線に近似する度合を示す評価値を説明するための図である。図9に示すように4つの指(Pa,Pb,Pc,Pd)が特定されている場合、判定部82は、4つの指(Pa,Pb,Pc,Pd)において最も離れた2つの指の各位置(Pa,Pd)と、他の一の指の位置(Pb)とを通る2本の直線(Lab,Ldb)がなす角度θabdに応じた評価値(|180−θabd|)を算出する。また、判定部82は、最も離れた2つの指の各位置(Pa,Pd)と、更に他の一の指の位置(Pc)とを通る2本の直線(Lac,Ldc)がなす角度θacdに応じた評価値(|180−θacd|)も算出する。
判定部82は、算出した2つの評価値のうち何れか1つでも所定のしきい値(角度)より大きい場合、4つの指(Pa,Pb,Pc,Pd)の指配列パターンが直線状のパターンから逸脱していると判定する。指配列パターンが直線状のパターンから逸脱している場合、4つの指(Pa,Pb,Pc,Pd)の中に非指先が含まれる可能性があるため、判定部82はステップST100に移行する。一方、算出した2つの評価値が何れも所定のしきい値より小さい場合、判定部82は、4つの指(Pa,Pb,Pc,Pd)の中に非指先が含まれる可能性が無いと判断して、ジェスチャー待機モードに移行する(ST35)。
ステップST100において、判定部82は、4つの指(Pa,Pb,Pc,Pd)の配列パターンと、操作者の操作面17に対する位置とに応じて、当該4つの指に非指先が含まれるか否かを判定する。
図10は、4つの指の指配列パターンと操作者の位置とに応じて、当該4つの指に非指先が含まれるか否かを判定する方法を説明するための図である。
図10の例においても、図7と同様に、操作面17の「操作者側」と記された一辺に操作者が位置する。また座標軸Yは、その座標値が操作者からの距離を示すように設定されている。直線Ladは、4つの指(Pa,Pb,Pc,Pd)の中で最も離れた2つの指の位置Pa,Pdを通る直線である。また、直線Lbxは、最も離れた2つの指に該当しない一の指の位置Pbを通り、Y軸と平行な直線である。直線Lcxは、最も離れた2つの指に該当しない他の一の指の位置Pcを通り、Y軸と平行な直線である。交点Px1は、直線Ladと直線Lbxとの交点である。交点Px2は、直線Ladと直線Lcxとの交点である。
判定部82は、指の位置Pbに対して交点Px1が操作者から離れた位置にあり、かつ、指の位置Pcに対して交点Px2が操作者から離れた位置にあるならば、当該4つの指に非指先が含まれると判定する。他方、指の位置Pbに対して交点Px1が操作者に近い位置にあるか、又は、指の位置Pcに対して交点Px2が操作者に近い位置にある場合、判定部82は、4つの指(Pa,Pb,Pc,Pd)の中に非指先が含まれる可能性が無いと判断して、ジェスチャー待機モードに移行する(ST35)。
ステップST100において4つの指に非指先が含まれると判定部82が判定した場合、操作識別部81は拡張ポインタモードへ移行する(ST75)。
センサ部10において5つ以上の指が特定されたことを示す位置データS10を取得した場合(ST80)、判定部82は、操作の識別が可能な指先の数を超えていることを示す所定のエラーフラグを設定する(ST105)。
以上説明したように、本実施形態に係る情報処理装置によれば、センサ部10において3以上の指の位置が特定された場合、当該3以上の指の相対的な位置関係に応じて、当該3以上の指に非指先が含まれるか否かが判定部82において判定される。そして、当該3以上の指に非指先が含まれると判定された場合には、当該3以上の指に含まれる1の真の指先の操作が操作識別部81において識別される。
これにより、操作面17に接触若しくは近接した3以上の物体の面積が指先と変わらないものであっても、それらの相対的な位置関係に応じて、3以上の物体に非指先が含まれることを適切に判定できる。また、操作者が意図しない非指先が含まれると判定された場合でも、操作者が意図する1の指先の操作が操作識別部81において識別されるため、非指先(指関節部など)の意図しない接触による誤動作に煩わされることなく、1本指の操作を続行することができる。
また、本実施形態に係る情報処理装置によれば、センサ部10において特定された3以上の指の位置に基づいて、当該3以上の指の各位置と他の指の位置との距離(指間隔D)が算出され、当該算出された一の指間隔Dと他の一の指間隔Dとの差分の絶対値(指間隔Dのバラツキの大きさ)が第1しきい値TH1を超える場合、当該3以上の指に非指先が含まれると判定される。
これにより、人差指等の指先による1本指の操作において、その指先から離れた位置に集まっている他の指の関節等が操作面17に意図せず接触・近接している状態にあることを適切に判定できる。
また、本実施形態に係る情報処理装置によれば、センサ部10において特定された3以上の指について算出した指間隔Dの少なくとも1つが第2しきい値TH2を超える場合において、更に指間隔Dのバラツキが第1しきい値TH1を超えるならば、当該3以上の指に非指先が含まれると判定される。
これにより、3以上の指の位置が互いに十分近い場合には、1本指の操作時に他の指の関節等が意図せず操作面17に接触・近接している状態として判定されなくなるため、当該状態の判定を精度良く行うことができる。
また、本実施形態に係る情報処理装置によれば、センサ部10において特定された3以上の指の配列パターンが直線に近似する度合を示す所定の評価値が算出され、直線に近似した指配列パターンであることを示す所定の範囲から当該評価値が外れるならば、当該3以上の指に非指先が含まれると判定される。
これにより、3以上の指の配列パターンが直線に近似する場合には、1本指の操作時に他の指の関節等が意図せず操作面17に接触・近接している状態として判定されなくなるため、当該状態の判定を更に精度よく行うことができる。
また、本実施形態に係る情報処理装置によれば、センサ部10において特定された3以上の指のうち最も離れた2つの指の位置を通る直線と、他の一の指の位置との操作者に対する位置関係に応じて、当該3以上の指に非指先が含まれるか否かが判定される。
そのため、1本指の操作時に他の指の関節等が意図せず操作面17に接触・近接している状態を、操作面17に対する操作者の位置に応じてより正確に判定できる。
なお、本発明は上述した実施形態にのみ限定されるものではなく、種々のバリエーションを含んでいる。
上述した実施形態では、センサ部10により特定された3以上の指に非指先が含まれていることを判定するため、4つの条件を満たしていることが判定される。すなわち、センサ部10において3つの指が特定されている場合には、ステップST45,ST60,ST65,ST70の4条件を満たしていることが判定され、センサ部10において4つの指が特定されている場合は、ステップST85,ST90,ST95,ST100の4条件を満たしていることが判定される。しかしながら、本発明の他の実施形態では、任意の応用形態と適合するように、これらの4条件のうち任意の条件を省略してよい。また、これらの4条件の判定順序を任意に変更してもよい。
上述した実施形態では、制御部80に操作識別部81と判定部82が含まれる例を挙げているが、本発明の他の実施形態では、このブロックの少なくとも一方をセンサ部10のセンサ制御部15に搭載してもよい。また、本発明の更に他の実施形態では、センサ部10のセンサ制御部15における機能の少なくとも一部(例えば、検出データに基づいて操作面17に接触若しくは近接した指の位置を特定する機能)を制御部80に設けてもよい。
上述した実施形態では、判定部82は、指間隔DabとDbcとの差、指間隔DbcとDcaとの差、指間隔DacとDabとの差をそれぞれ算出して、算出した差を第1しきい値TH1と比較して、隣り合う指どうしの間隔のバラツキの大きさを間接的に判定しているが、本発明はこれに限定されない。本発明の他の実施形態において、判定部82は、隣の指、すなわち最も近い指を探索して最も近い指との指間隔を算出し、算出した2つの指間隔の差を閾値と比較することにより、隣り合う指どうしの間隔のバラツキの大きさを直接的に判定するようにしてもよい。
10…センサ部、11…センサ、12…キャパシタ、13…検出データ生成部、14…駆動部、15…センサ制御部、16…センサ記憶部、17…操作面、20…入力部、30…記録媒体インターフェース部、31…記録媒体、40…通信部、50…表示部、60…音声出力部、70…記憶部、80…制御部、81…操作識別部、82…判定部。

Claims (15)

  1. 操作面上の複数の位置において物体の接触若しくは近接を検出するセンサの当該検出結果に応じた情報に基づいて、前記操作面上に接触若しくは近接した指先の操作を識別する情報処理装置であって、
    前記センサの検出結果により3以上の指の位置が特定された場合、当該3以上の指の相対的な位置関係に応じて、当該3以上の指に非指先が含まれることを判定する判定部を有する
    ことを特徴とする情報処理装置。
  2. 前記判定部は、前記センサの検出結果により位置が特定された3以上の指における隣り合う指どうしの間隔のバラツキの大きさに基づいて当該3以上の指に前記非指先が含まれると判定する
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記判定部は、前記特定された3以上の指の位置に基づいて、当該3以上の指の各位置と他の指の位置との距離を算出し、当該算出した一の距離と他の距離との差分の絶対値が第1しきい値を超える場合、当該3以上の指に前記非指先が含まれると判定する
    ことを特徴とする請求項2に記載の情報処理装置。
  4. 前記判定部は、前記3以上の指について算出した前記距離の少なくとも1つが第2しきい値を超える場合において、更に前記差分の絶対値が前記第1しきい値を超えるならば、当該3以上の指に前記非指先が含まれると判定する
    ことを特徴とする請求項3に記載の情報処理装置。
  5. 前記判定部は、前記3以上の指の配列パターンが直線に近似する度合を示す所定の評価値を算出し、当該算出した評価値が前記配列パターンの直線への近似を示す所定の範囲から外れるならば、当該3以上の指に前記非指先が含まれると判定する
    ことを特徴とする請求項1乃至4の何れか一項に記載の情報処理装置。
  6. 前記判定部は、前記3以上の指において最も離れた2つの指の各位置と他の一の指の位置とを通る2本の直線がなす角度に応じた前記評価値を算出する
    ことを特徴とする請求項5に記載の情報処理装置。
  7. 前記操作面には、操作者からの距離に応じた座標値を持つ座標軸が設定されており、
    前記判定部は、前記3以上の指において最も離れた2つの指の位置を通る直線と、他の一の指の位置を通り前記座標軸と平行な直線との交点が、前記他の一の指の位置に比べて前記操作者から離れているならば、当該3以上の指に前記非指先が含まれると判定する
    ことを特徴とする請求項1乃至6の何れか一項に記載の情報処理装置。
  8. 操作面上の複数の位置において物体の接触若しくは近接を検出するセンサの当該検出結果に応じた情報を処理するコンピュータが、前記操作面上に接触若しくは近接した指先の操作を識別する方法であって、
    前記センサの検出結果により3以上の指の位置が特定された場合、当該3以上の指の相対的な位置関係に応じて、当該3以上の指に非指先が含まれることを判定する第1ステップを有する
    ことを特徴とする指先操作識別方法。
  9. 前記第1ステップでは、前記センサの検出結果により位置が特定された3以上の指における隣り合う指どうしの間隔のバラツキの大きさに基づいて当該3以上の指に前記非指先が含まれると判定する
    ことを特徴とする請求項8に記載の指先操作識別方法。
  10. 前記第1ステップでは、前記特定された3以上の指の位置に基づいて、当該3以上の指の各位置と他の指の位置との距離を算出し、当該算出した一の距離と他の距離との差分の絶対値が第1しきい値を超える場合、当該3以上の指に前記非指先が含まれると判定する
    ことを特徴とする請求項9に記載の指先操作識別方法。
  11. 前記第1ステップでは、前記3以上の指について算出した前記距離の少なくとも1つが第2しきい値を超える場合において、更に前記差分の絶対値が前記第1しきい値を超えるならば、当該3以上の指に前記非指先が含まれると判定する
    ことを特徴とする請求項10に記載の指先操作識別方法。
  12. 前記第1ステップでは、前記3以上の指の配列パターンが直線に近似する度合を示す所定の評価値を算出し、当該算出した評価値が前記配列パターンの直線への近似を示す所定の範囲から外れるならば、当該3以上の指に前記非指先が含まれると判定する
    ことを特徴とする請求項8乃至11の何れか一項に記載の指先操作識別方法。
  13. 前記第1ステップでは、前記3以上の指において最も離れた2つの指の各位置と他の一の指の位置とを通る2本の直線がなす角度に応じた前記評価値を算出する
    ことを特徴とする請求項12に記載の指先操作識別方法。
  14. 前記操作面には、操作者からの距離に応じた座標値を持つ座標軸が設定されており、
    前記第1ステップでは、前記3以上の指において最も離れた2つの指の位置を通る直線と、他の一の指の位置を通り前記座標軸と平行な直線との交点が、前記他の一の指の位置に比べて前記操作者から離れているならば、当該3以上の指に前記非指先が含まれると判定する
    ことを特徴とする請求項8乃至13の何れか一項に記載の指先操作識別方法。
  15. 請求項8乃至14の何れか一項に記載された指先操作識別方法をコンピュータに実行させるためのプログラム。
JP2014167310A 2014-08-20 2014-08-20 情報処理装置とその指先操作識別方法並びにプログラム Active JP6255321B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014167310A JP6255321B2 (ja) 2014-08-20 2014-08-20 情報処理装置とその指先操作識別方法並びにプログラム
US14/727,515 US9733775B2 (en) 2014-08-20 2015-06-01 Information processing device, method of identifying operation of fingertip, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014167310A JP6255321B2 (ja) 2014-08-20 2014-08-20 情報処理装置とその指先操作識別方法並びにプログラム

Publications (2)

Publication Number Publication Date
JP2016045553A true JP2016045553A (ja) 2016-04-04
JP6255321B2 JP6255321B2 (ja) 2017-12-27

Family

ID=55348305

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014167310A Active JP6255321B2 (ja) 2014-08-20 2014-08-20 情報処理装置とその指先操作識別方法並びにプログラム

Country Status (2)

Country Link
US (1) US9733775B2 (ja)
JP (1) JP6255321B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL2011182C2 (en) * 2013-07-17 2015-01-21 Aesthetic Interactions B V Luminaire system.
US20190362128A1 (en) * 2018-05-23 2019-11-28 Wen-Kuei Liu Knuckle-print identification system
JP7354735B2 (ja) * 2019-09-30 2023-10-03 セイコーエプソン株式会社 駆動回路、表示モジュール、及び移動体

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011145752A (ja) * 2010-01-12 2011-07-28 Digital Electronics Corp 入力装置及び入力方法
WO2011101940A1 (ja) * 2010-02-19 2011-08-25 日本電気株式会社 携帯端末及びその制御方法
JP2012073662A (ja) * 2010-09-27 2012-04-12 Sony Computer Entertainment Inc 情報処理装置、その制御方法、及びプログラム
US20120154313A1 (en) * 2010-12-17 2012-06-21 The Hong Kong University Of Science And Technology Multi-touch finger registration and its applications
JP2013134709A (ja) * 2011-12-27 2013-07-08 Kyocera Corp 装置、方法、及びプログラム
JP2013178804A (ja) * 2013-04-26 2013-09-09 Denso Corp 車両用操作装置
JP2013229029A (ja) * 2012-04-26 2013-11-07 Acer Inc モバイル機器およびジェスチャ判断法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5372000B2 (ja) 2007-10-11 2013-12-18 エヌ−トリグ リミテッド デジタイザのためのジェスチャ検出
US10082950B2 (en) * 2011-11-09 2018-09-25 Joseph T. LAPP Finger-mapped character entry systems
JP5978660B2 (ja) * 2012-03-06 2016-08-24 ソニー株式会社 情報処理装置及び情報処理方法
JP6004716B2 (ja) * 2012-04-13 2016-10-12 キヤノン株式会社 情報処理装置およびその制御方法、コンピュータプログラム
US9483146B2 (en) * 2012-10-17 2016-11-01 Perceptive Pixel, Inc. Input classification for multi-touch systems
WO2014083437A2 (en) * 2012-11-30 2014-06-05 Julien Piot Optical touch tomography
US9778789B2 (en) * 2014-05-21 2017-10-03 Apple Inc. Touch rejection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011145752A (ja) * 2010-01-12 2011-07-28 Digital Electronics Corp 入力装置及び入力方法
WO2011101940A1 (ja) * 2010-02-19 2011-08-25 日本電気株式会社 携帯端末及びその制御方法
JP2012073662A (ja) * 2010-09-27 2012-04-12 Sony Computer Entertainment Inc 情報処理装置、その制御方法、及びプログラム
US20120154313A1 (en) * 2010-12-17 2012-06-21 The Hong Kong University Of Science And Technology Multi-touch finger registration and its applications
JP2013134709A (ja) * 2011-12-27 2013-07-08 Kyocera Corp 装置、方法、及びプログラム
JP2013229029A (ja) * 2012-04-26 2013-11-07 Acer Inc モバイル機器およびジェスチャ判断法
JP2013178804A (ja) * 2013-04-26 2013-09-09 Denso Corp 車両用操作装置

Also Published As

Publication number Publication date
JP6255321B2 (ja) 2017-12-27
US20160054830A1 (en) 2016-02-25
US9733775B2 (en) 2017-08-15

Similar Documents

Publication Publication Date Title
JP6723226B2 (ja) 中間遮蔽電極層を採用した力及び近接感知のためのデバイス及び方法
JP4795343B2 (ja) 二重モードデジタイザの自動切り替え
JP6335313B2 (ja) 静電容量ボタンへの異なる大きさの導電性対象物のタッチの検出及び識別
CN101965549B (zh) 触摸传感器装置及其指向坐标确定方法
TWI599922B (zh) 包含具有兩種以上自由度之使用者介面之電子設備,該使用者介面包含一觸碰敏感表面及非接觸式偵測構件
JP5324440B2 (ja) デジタイザのためのホバリングおよびタッチ検出
US20090289902A1 (en) Proximity sensor device and method with subregion based swipethrough data entry
CN107741824B (zh) 对可重定位触摸表面上的姿态朝向的检测
US20100194701A1 (en) Method of recognizing a multi-touch area rotation gesture
US8743061B2 (en) Touch sensing method and electronic device
US20120161791A1 (en) Methods and apparatus for determining input objects associated with proximity events
CN107817925B (zh) 电容式触摸板基线值调整方法
TW201510804A (zh) 觸控面板控制方法
US20120249599A1 (en) Method of identifying a multi-touch scaling gesture and device using the same
KR20130014420A (ko) 터치 패널
CN103616972A (zh) 触控屏控制方法及终端设备
TW201608485A (zh) 電容式觸控裝置及其物件辨識方法
JP2014006766A (ja) 操作装置
JP6255321B2 (ja) 情報処理装置とその指先操作識別方法並びにプログラム
CN109642835B (zh) 手指热补偿的全桥应变仪阵列
JP2015230693A (ja) 情報処理装置、入力方法、コンピュータプログラム、及び記録媒体
CN107111387B (zh) 确定方位角或姿态的方法、触控输入装置、触控屏及系统
JP2014109883A (ja) 電子機器及びその制御方法
CN103257724A (zh) 一种非接触式鼠标及其操作方法
CN104679312A (zh) 电子装置及其触控系统、触控方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171204

R150 Certificate of patent or registration of utility model

Ref document number: 6255321

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350