JP2009252241A - 光ポインティング装置および光ポインティング装置を用いたクリック認識方法 - Google Patents

光ポインティング装置および光ポインティング装置を用いたクリック認識方法 Download PDF

Info

Publication number
JP2009252241A
JP2009252241A JP2009067275A JP2009067275A JP2009252241A JP 2009252241 A JP2009252241 A JP 2009252241A JP 2009067275 A JP2009067275 A JP 2009067275A JP 2009067275 A JP2009067275 A JP 2009067275A JP 2009252241 A JP2009252241 A JP 2009252241A
Authority
JP
Japan
Prior art keywords
finger
image
click
change
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009067275A
Other languages
English (en)
Other versions
JP5344960B2 (ja
Inventor
Keon Joon Ahn
アン,ケオンジョン
Hwan Soo Bae
バエ,ホワンシュー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Crucialtec Co Ltd
Original Assignee
Crucialtec Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Crucialtec Co Ltd filed Critical Crucialtec Co Ltd
Publication of JP2009252241A publication Critical patent/JP2009252241A/ja
Application granted granted Critical
Publication of JP5344960B2 publication Critical patent/JP5344960B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033Indexing scheme relating to G06F3/033
    • G06F2203/0338Fingerprint track pad, i.e. fingerprint sensor used as pointing device tracking the fingertip image

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】光ポインティング装置および光ポインティング装置を用いたクリック認識方法を提供する。
【解決手段】光ポインティング装置の感知領域上でクリックに対応する指の動きを感知するためのクリック認識方法は、感知領域を介して指のイメージを受け取るステップと、指のイメージの変化を感知するステップと、イメージの変化から指の水平移動を分析するステップと、指の水平移動が所定の範囲内である場合にクリック信号を生成するステップとを含む。
【選択図】図8

Description

本発明は、光ポインティング装置を含む端末機に関し、より詳細には、別のボタンを用いずに光ポインティング装置を用いてクリックイベントを感知することができるクリック認識方法に関する。
一般的に、携帯電話やPDA(Personal Digital Assistants)のような個人携帯端末機は、キーパッドを用いたユーザインターフェースを採用しており、数字や文字を入力するための複数のボタンと方向ボタンとで構成されたキーパッドを備えている。
近来、WIBRO(Wireless Broadband)サービスなどのような無線インターネットサービスの常用化に伴い、個人携帯端末機にもマイクロソフトのウィンドウ(TM)のようにGUI(Graphical User Interface)を支援する運営体制が採用されている。
また、技術の発達に伴い、個人携帯端末機でも個人コンピュータ用マウスのようなポインティング装置が用いられているが、このような技術については米国特許出願10/579,702および11/189,656において既に開示されている。
従来の個人携帯端末機に用いられる光ポインティング装置は、一般的に、ポインタおよびカーソルの移動のみが可能である。したがって、ユーザは、光ポインティング装置を用いてポインタまたはカーソルを所望する位置に移動させた後に、光ポインティング装置の周辺または下部に提供される別のボタンを押す、いわゆる「クリック」または「ダブルクリック」を実行することができる。ここで、ボタンは、機械的ボタンまたは電気的ボタンのように多様なボタンの使用が可能である。
しかしながら、別のボタンをクリックしなくても、光ポインティング装置上における指の垂直運動(Z軸上の運動)でクリックと類似した結果を得るための技術が米国特許7,313,255(2007年12月25日登録)で開示されている。
前記の米国特許を見れば、「SYSTEM AND METHOD FOR OPTICALLY DETECTING A CLICK EVENT」に関する技術が開示されている。この米国特許において、光ポインティング装置は、感知領域(sensing area)上での指の動きから指の動きを認知するようになる。このような装置は、感知領域から指の一部のイメージを受け、このイメージから複数のイメージ信号(image signals)を生成し、複数のイメージ信号から指のクリックの動きを感知することができる。特に、イメージ信号から得られるトラッククオリティ(tracking quality)が減少すれば指の上げ(lift up)と判断するし、トラッククオリティが増加すれば指の下げ(put down)と判断する。
前記の米国特許では、指の上げが感知された後に指の下げが感知されれば、指の上げと指の下げとの時間間隔が所定の時間範囲内(例えば、0.1〜0.3秒)であるかを判断する。もし、指の上げと指の下げとの間の時間が該当する時間範囲内であれば、クリックと見なすことができる。
しかしながら、指が垂直運動(Z軸上の運動)と同時に水平運動(X−Y平面上の運動)をする場合がある。このような運動をするユーザの意図は、クリック動作をしようとするのではなく、カーソル移動の動作中に指がイメージ感知領域(イメージ入力ウィンドウ:2.2mm×2.2mm)から外れるようになって、指をイメージウィンドウ上に再配置させると同時にカーソル移動をさせようとするものである。例えば、スクローリング(scrolling)動作中には、このような動作が繰り返し起こるようになる。前記の米国特許では、クリック動作を指の垂直運動(Z軸上の運動)のみを考慮してクリックの可否を判断するため、垂直運動(Z軸上の運動)と同時に水平運動(X−Y平面上の運動)が伴う場合には、ユーザが意図しないクリックイベントが起きるという問題点がある。すなわち、前記の米国特許で定義されたプロセスによれば、スクローリングのための指の動きとクリックのための指の動きが混同する恐れがある。
本発明は、前記のような問題点を解決するために案出されたものであって、別のボタンを用いずに光ポインティング装置上における指の動きだけでクリックを感知すると共に、ポインタの移動のための指の動きとクリックのための指の動きとを区分することができるクリック認識方法を提供することを目的とする。
また、本発明は、ポインタの移動のための指の動きとクリックのための指の動きとを区分することができる多様なクリック認識方法を提供することを他の目的とする。
前記の目的を達成するために、本発明の一実施形態によれば、光ポインティング装置は感知領域上で指の動きを感知し、光ポインティング装置でクリックを認識する方法は、感知領域を介して指のイメージを受け取るステップと、指のイメージの変化を感知するステップと、イメージの変化から指の水平移動を分析するステップと、指の水平移動(horizontal movement)が所定の範囲内である場合にクリック信号を生成するステップとを含む。
光ポインティング装置は、イメージの変化、例えば、光量またはイメージ品質の変化から指の垂直運動(Z軸上の運動)を感知することができ、指の垂直運動がクリックのためのものであるか、あるいはカーソル移動のための指の水平運動(X−Y平面上の運動)中に指を指感知領域上に再配置させるためのものであるかを区分するために、指の水平移動が所定の範囲内であるか否かを判断することができる。もし、指の垂直運動(Z軸上の運動)に対応するイメージの変化が感知されても指の水平運動(X−Y平面上の運動)が所定の範囲内でない場合、すなわち、指が左右または上下に動いていると判断されるときには、光ポインティング装置はクリックイベントではないと判断することができる。
したがって、ユーザがポインタやカーソルを動かすために指を水平に動かしながら繰り返し感知領域をタッチしても、これをクリックと区分することができ、意図しないクリックまたはダブルクリックによって、光ポインティング装置を含む装置で意図しない動作が起きることを防ぐことができる。
また、クリックを指の下げから開始して指の上げで終了する動作で定義することで、実際のコンピュータマウスにおけるクリックと同じ概念と一致させることができ、ユーザは混乱することなく光ポインティング装置を容易に用いることができる。
指の下げおよび指の上げは、光量またはイメージクオリティによって認知されるようになる。例えば、光量に対応するシャッタ値の増減に応じて指の下げまたは指の上げを感知することもできるし、イメージセンサ部を介して感知される表面鮮明度(surface quality)の増減を用いて指の下げおよび指の上げを感知することもできる。また、場合によっては、シャッタ値および表面鮮明度などと関連した数値を共に比較したりこれらを組み合わせたりすることで、指の下げおよび指の上げを総合的に判断することもできる。
光ポインティング装置において、イメージセンサ部は、1秒間に何度もイメージを取得し、現在得られた指のイメージと以前の指のイメージとを比較することができる。このとき、現在の指のイメージと直前または数回前の指のイメージとを比較することもできるし、毎回イメージの移動変位(Δx,Δy)を算出することもできる。このとき、移動変位を算術的に加えたり別の基準で加工したりして指の移動量を計算することができる。
このとき、指の移動量を計算する時間的基準は、指の下げから指の上げまでまたは指の上げから指の下げまでの時間、またはその間の一部として決定されるようになり、移動変位を計算する方法も算術的に加えたり絶対値を加えたりするなど多様な方法を用いることができる。
本発明の一実施形態によれば、光ポインティング装置は、指の動きを感知するための感知部と、感知部上の指に向かって光を供給する光源部と、指によって感知部を介して反射した光を受光して指に対応するイメージを生成するイメージセンサ部と、指のイメージの変化から指の水平の動きまたはクリックの動きを区分する制御部とを備える。
前記制御部は、指のイメージの変化を感知し、イメージの変化から指の水平移動を分析し、指の水平移動が所定の範囲内である場合にクリック信号を生成することができる。
本発明の光ポインティング装置は、別のボタンを押さなくてもクリックを感知することができ、ポインタやカーソルを動かすために光ポインティング装置の感知領域を繰り返しタッチすることと、クリックのための指の垂直移動とをより効率的に区分することができる。
また、単純なシングルクリックの他にダブルクリックにも適用することができ、数回のクリックに対してもクリックと移動との選別を容易に行うことができる。
本発明の一実施形態に係る光ポインティング装置が装着された端末機の斜視図である。 本発明の一実施形態に係る光ポインティング装置を説明するための断面図である。 本発明の一実施形態に係る指の下げおよび指の上げに対応して変化するシャッタ値を説明するためのグラフである。 本発明の一実施形態に係る光ポインティング装置でクリックに対応して表れることがあるシャッタ値の変化を説明するためのグラフである。 本発明の一実施形態に係るポインタの移動のための指の動きを示す図である。 本発明の一実施形態に係るクリックのための指の動きを示す図である。 本発明の一実施形態に係るクリック認識方法を説明するためのフローチャートである。 本発明の他の実施形態に係るクリック認識方法を説明するためのフローチャートである。 本発明の一実施形態に係る指の認識を算出するための過程を説明するための図である。
以下、添付の図面を参照しながら、本発明の好ましい実施形態について詳細に説明するが、本発明が実施形態によって制限されたり限定されたりすることはない。
図1は、本発明の一実施形態に係る光ポインティング装置100が装着された端末機10の斜視図であり、図2は、本発明の一実施形態に係る光ポインティング装置100を説明するための断面図である。
図1および図2を参照すれば、光ポインティング装置100は、端末機10のキーパッドの周辺に装着されており、ナビゲーションキーの代わりにディスプレイウィンドウに表示されたポインタやカーソルを移動させるための用途として用いられるようになる。
端末機10は、本体20と、本体20の上部にヒンジ結合されたフォルダ30とを含んでおり、本体20の上部に光ポインティング装置100のカバーガラス上に感知領域124が露出される。ユーザは、指を感知領域124上に置いて上下または左右に指先を移動させることができる。このような指の水平移動によってポインタまたはカーソルを動かしたり、メニューの選択を所望する方向に移動させながら変更したりすることができる。
本実施形態では、携帯電話に対応する端末機を例示して説明しているが、本発明の他の実施形態によれば、光ポインティング装置100は、マルチメディアプレーヤ、ナビゲーション装置、ノート型パソコン、コンピュータ周辺器機、またはその他の装置など広範囲に用いることができる。
図2を参照すれば、光ポインティング装置100は、光源部110と、感知部120と、イメージセンサ部140と、制御部150とを備える。感知部120は感知領域124を提供し、ユーザは指をカバーガラス122、すなわち感知領域124上に置いて、所望する方向に指やその他の身体部位を移動させることができる。参考までに、本明細書において、「指」は、一般的な指の他にも身体の他の部位として理解することができるし、身体でなくても感知領域124上で動きを把握することができる他の代替可能な物体であっても良い。
光源部110は、発光ダイオード(LED)のような光源112および光源ガイド114を含む。光源ガイド114は導波路であって、光源112から発光された光をカバーガラス122に伝達することができる。光源ガイド114は、透光性材質で形成され全反射を用いるが、場合によっては一般的な鏡または反射体を用いることができる。また、光源部110は光源ガイド114を含まない場合もあり、屈折せずに光がそのままカバーガラス122に向かうようにもできる。
感知部120はカバーガラス122を含んでおり、カバーガラス122を用いて指の動きを感知するための感知領域124を提供する。感知領域124は、平板型のカバーガラス122上に提供されるようになるが、場合によってはレンズ形状のカバーガラス122上に提供されるようにもなる。また、カバーガラス122がなくても、後述する導波管130の一部を直接露出させて感知領域124を提供することができる。
本実施形態において、光源部110からカバーガラス122に光を供給すれば指によって光が反射し、反射した光は導波管130を介してイメージセンサ部140に伝達される。導波管130は、指から反射された光をイメージセンサ部140まで伝達する機能を行うことができ、光を集光してイメージ撮像を補助することができ、中間のノイズ光を除去してイメージセンサ部140上に結ばれる映像の鮮明度を増加させることができる。
イメージセンサ部140は、製造会社の設計に応じて、イメージ情報の他にも多様な参考値を提供することができる。例えば、シャッタ値、シャッタスピード、表面鮮明度、方向度などがこれに該当する。
アバゴ・テクノロジー(Avago Technologies)が提供するADNS−3040(モデル名)のイメージセンサの場合に、シャッタ値とは、イメージセンサに伝達される光量に応じて調節される値であって、光量が増加すれば減少してイメージが極めて明るく出力されることを補正することができ、光量が減少すれば増加してイメージが極めて暗く出力されることを補正することができる。このとき、シャッタ値は、イメージセンサのチップで共に提供され、室内の一般的な使用環境において、制御部150は、シャッタ値の増加に対応して指の上げを期待することができ、シャッタ値が減少することに対応して指の下げを期待することができる。
しかしながら、野外の太陽光の下で、シャッタ値の傾向は反対になる場合がある。例えば、イメージセンサに伝達される光量は、光ポインティング装置自体の光源よりは太陽光の影響を大きく受け、指がイメージウィンドウを遮る場合にはシャッタ値が大きく増加するようになる反面、指がイメージウィンドウから除去される場合にはシャッタ値が大きく減少するようになる。したがって、このときには、シャッタ値が過度に増加することに対応して指の下げを期待することができ、シャッタ値が過度に減少することに対応して指の上げを期待することができる。
また、表面鮮明度とは、イメージセンサによって感知されるイメージの鮮明度と関係がある値であって、イメージのコントラスト(contrast)などを比較して鮮明度が決定されるようになる。指の下げに対応して指の指紋(ridges)が鮮明に取得されれば表面鮮明度が増加することができ、指の上げに対応してアウトフォーカシング(out focusing)によって指の指紋が不明確に取得されれば表面鮮明度が減少するようになる。したがって、数値化した表面鮮明度がイメージセンサ部から出力されるようになり、この値を介して指の下げまたは指の上げを間接的に期待することができる。また、このような表面鮮明度は、シャッタ値に比べて周囲の光量の影響を相対的に少なく受け、太陽光の下でも室内の一般的な使用環境と同様に、指がイメージ感知領域に接触する状態において指がない場合よりも大きい値が出力される(ただし、指がイメージウィンドウにある場合とない場合との差は、室内の一般的な使用環境よりは減少する)。参考までに、アバゴ・テクノロジーが提供するADNS−3040(モデル名)のイメージセンサの場合に、表面鮮明度(SQUAL)は最小値0〜最大値167を有し、室内の一般的な使用環境では大体に指がイメージ感知領域にある場合には30以上、指がイメージ感知領域から除去された場合には15以下の値が出力される。
方向度(unidirectionality)とは、指の指紋の移動による方向認知可能性に関するものであって、これも方向度の増減による指の下げおよび指の上げを間接的に期待することができる。
参考までに、シャッタ値、表面鮮明度、または方向度の増加および減少を多様に測定することができる。例えば、シャッタ値の増加を絶対的または相対的に比べることができるが、室内使用環境の場合には、一般的に現在のシャッタ値SVcrrと以前のシャッタ値SVpstとを比較し、この割合SV=SVcrr/SVpstが所定の第1上限基準(例えば、約2倍)以上であれば指の上げとして感知することができるし、この割合SVが所定の第1下限基準(例えば、約0.5倍)以下であれば指の下げとして感知することができる。このように相対的に比較することは、表面鮮明度および方向度などにも適用することができる。
また、上述のように、室外使用環境の場合には、シャッタ値が大きく増減するようになり、シャッタ値が過度に増減する場合に備えて外部太陽光があると仮定し、このときには指の上げと指の下げとを異なるように判断することができる。例えば、室外の太陽光の下で、シャッタ値が少なくても指の上げでシャッタ値が1/5倍に減少したり、指の下げでシャッタ値が5倍に増加することを仮定することができる。もちろん、このときに、室外/室内を区分するシャッタ値の割合の基準は、設計者の選択によって多様に選択することができる。例えば、前記のような基準によれば、現在のシャッタ値SVcrrと以前のシャッタ値SVpstとを比較し、この割合SV=SVcrr/SVpstが所定の第2上限基準よりも大きければ(例えば、SV>5)、この値が第1上限基準である2より大きくても指の下げとして感知することができるし、この割合SVが所定の第2下限基準よりも小さければ(例えば、SV<1/5)、この値が第1下限基準である1/2より小さくても指の上げとして感知することができる。
本明細書では、シャッタ値を基準として説明しているが、本発明はシャッタ値の処理に限定されず、シャッタ値、表面鮮明度、および方向度の他にも多様な値を用いて指の下げおよび指の上げを感知することができる。
図3は、室内の一般的な使用環境における指の下げおよび指の上げに対応して変化するシャッタ値を説明するためのグラフであり、図4は、室内の一般的な使用環境における光ポインティング装置でクリックに対応して表れるシャッタ値の変化を説明するためのグラフである。
図3を参照すれば、室内条件であることを仮定するときに、感知領域124上で指が周期的に垂直方向運動、すなわちZ軸方向運動をすれば、光ポインティング装置は、シャッタ値の変化を感知して指の下げおよび指の上げを感知することができる。例えば、指の上げから指の下げ位置に移動すれば、シャッタ値は減少するようになり、指がカバーガラスに密着した状態でほぼ最小値を有するようになる。これとは反対に、指の下げから指の上げ位置に移動すれば、シャッタ値は増加するようになり、指がカバーガラスから一定の距離離隔すればシャッタ値はほぼ最大値を有するようになる。
ただし、上述したように、太陽の下の室外では、むしろ、指の下げの場合にシャッタ値が増加する場合があるし、指の上げの場合にシャッタ値が減少する場合がある。したがって、シャッタ値のみで指の上げおよび指の下げを判断するときに、シャッタ値の増加あるいは減少のみを考慮してはいけない。これについては後述で詳しく説明する。
図4を参照すれば、上述のように、シャッタ値の割合SVcrr/SVpstの急激な減少(例えば、SV<1/2)によって指の下げを認識することができ、指の下げに対応する時間Tを確認する。また、継続的にシャッタ値の割合SVcrr/SVpstの急激な増加(例えば、SV>2)が感知されれば、指の上げを認識することができ、指の上げに対応する時間Tを確認することができる。
このとき、指の上げの時間Tと指の下げの時間Tとの差ΔTを算出することができ、この時間差ΔTが所定の範囲であるか否かを確認することができる。例えば、この時間差ΔTが所定の時間範囲(例えば、約0.1秒〜0.3秒)であれば正常なクリックであることを1次的に確認することができ、所定の時間範囲を外れれば(約>0.3秒)クリックではなく停止であると感知することができる。
また、図4において点線で表示するように、ダブルクリックを感知することもできる。例えば、次の指の下げTと指の上げTとを追加で感知することができ、このときに次の指の下げTと以前の指の上げTとのクリック間の時間差ΔT、および次の指の下げTと次の指の上げTとのクリック持続時間ΔTを算出することができる。
このとき、クリック間の時間差ΔTを介してクリック間の時間間隔を求めることができるし、クリック持続時間ΔTを介して前記のように正常なクリックであるか否かを確認することができる。
図5は、ポインタの移動のための指の動きを示す図であり、図6は、クリックのための指の動きを示す図である。
図5および図6を参照すれば、ポインタの移動およびクリックの両者に対しても、図4のグラフのようなシャッタ値変化が発生し得ることが分かる。すなわち、図5のように、指がポインタの移動のために感知領域124を通過しても、シャッタ値の急激な増加および減少が表れる場合があるし、図6のように、指がクリックのために感知領域124上で移動しても、シャッタの急激な増加および減少が表れる場合がある。すなわち、シャッタ値の変化だけでは、ポインタの移動であるかクリックであるかを確実に区別できない場合が発生する恐れがある。
これを解決するために、次のような方法を用いることができる。
図7は、本発明の一実施形態に係るクリック認識方法を説明するためのフローチャートであり、図8は、本発明の他の実施形態に係るクリック認識方法を説明するためのフローチャートである。
図7を参照すれば、光ポインティング装置におけるクリック認識方法は、感知領域を介して指のイメージを取得するステップ201と、指のイメージの変化を感知するステップ202と、イメージの変化から指の水平移動を分析するステップ203と、指の水平移動が所定の範囲内であるか否かを判断し(ステップ204)、この場合にクリック信号を生成するステップ205とを含む。
指のイメージを取得するステップ201は、図2およびこれと関連するメカニズムで上述した通りであり、指のイメージの変化を感知するステップ202は、図4およびこれと関連する説明によって理解することができる。
すなわち、シャッタ値の急増および急減によってそれぞれ指の下げおよび指の上げが感知されても、指の移動量によって水平移動(horizontal movement)を測定し、これを所定の比較値と比較することができる。
より具体的には、図9に示すように、指の下げ時間Tおよび指の上げ時間Tの間は数え切れないほど多くの時間単位間隔で区分されるようになり、イメージセンサおよび制御部は、各時間単位間隔で現在のイメージと以前のイメージとを比較してイメージの変化値を算出することができる。例えば、指の指紋を比較して指紋の移動変位を各時間単位間隔で算出することができるが、これは指の各変位量(Δx,Δy)で代表することができる。

(数式1)
水平移動(D)=Σ|Δx|+Σ|Δy
(数式2)
水平移動(D)=Σ(|Δx+|Δy1/2
(数式3)
水平移動(D)=Σ(Δx)+Σ(Δy
前記の数式1〜3は指の変位量(Δx,Δy)であって、指の下げ時間Tおよび指の上げ時間T間のクリック持続時間ΔTの間の指の移動量を算出するための方法のうち、何種類かの例を記載したものである。指移動量は、前記のような方法を介して算出することができるが、この他の多様な論理を介して算出することもできる。
算出された指の水平移動Dが定められた範囲D≦D≦Dであるか否かを確認することができ(ステップ204)、この結果、定められた範囲内であれば、移動量が小さいものとして把握し、ポインタの移動ではなくクリックであると判断してクリック信号を生成することができる(ステップ205)。一般的に、水平移動の境界のうちの下限であるDは、0(zero)になると言える。
また、点線で示すように、クリック信号を生成した後に、次のクリックイベントを感知するための過程を繰り返すことができ、上述したダブルクリックやその他のマルチクリックを感知することができる。
図8を参照すれば、光ポインティング装置におけるクリック認識方法は、感知領域を介して指のイメージを取得するステップ301と、指の下げを認識するステップ302と、指の下げ時間Tを確認するステップ303と、指の上げが発生したか否かを判断し(ステップ304)、この後に指の上げが認識されれば、指の上げ時間Tを確認するステップ305とを含む。
上述のように、シャッタ値などの比較によって指の上げおよび指の下げを感知することができ、室内および室外条件に応じてシャッタ値による指の下げと指の上げの条件を相違することができる。
もし、クリック持続時間ΔTが所定の時間範囲T≦ΔT≦Tであるか否かを確認した後(ステップ306)、クリック持続時間ΔTが所定の時間範囲内であれば水平移動Dを分析する(ステップ307)が、所定の時間範囲外であれば水平移動Dを分析せずに次のクリックが発生するまで待つことができる。
クリック持続時間ΔTが所定の時間範囲内であれば、水平移動Dを分析するようになるが、上述した方式で算出された水平移動Dが定められた範囲(D≦D≦D)であるか否かを確認することができ(ステップ308)、この結果、定められた範囲内であれば移動量が小さいものと把握し、ポインタの移動ではなくクリックと判断してクリック信号を生成することができる(ステップ309)。しかしながら、算出された水平移動Dが定められた範囲D≦D≦D外であれば移動量が大きいものとして把握し(図5参照)、クリックではなくポインタの移動と判断してクリック信号を生成しない場合もある。
上述したように、本発明の好ましい実施形態を参照して説明したが、該当する技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。
10:端末機
20:本体
30:フォルダ
100:光ポインティング装置
110:光源部
120:感知部
130:導波管
140:イメージセンサ部
150:制御部

Claims (13)

  1. 光ポインティング装置の感知領域上でクリックに対応する指の動きを感知するためのクリック認識方法であって、
    感知領域を介して指のイメージを受け取るステップと、
    前記指のイメージの変化を感知するステップと、
    前記イメージの変化から前記指の水平移動を分析するステップと、
    前記指の水平移動が所定の範囲内である場合にクリック信号を生成するステップと、
    を含むことを特徴とするクリック認識方法。
  2. 前記指のイメージの変化を感知するステップにおいて、前記指の下げおよび指の上げに対応する垂直移動を判断することを特徴とする請求項1に記載のクリック認識方法。
  3. 前記指のイメージの変化を感知するステップにおいて、
    所定の時間単位間隔で現在のシャッタ値SVcrrおよび以前のシャッタ値SVpstを比較し、前記以前のシャッタ値に対する現在のシャッタ値の割合SV=SVcrr/SVpstが1よりも小さい第1下限基準よりも小さければ指の下げと判断し、前記の割合SVが1よりも大きい第1上限基準よりも大きければ指の上げと判断することを特徴とする請求項2に記載のクリック認識方法。
  4. 前記指のイメージの変化を感知するステップにおいて、
    前記第1下限基準よりも小さい第2下限基準および前記第1上限基準よりも大きい第2上限基準を定義し、
    前記以前のシャッタ値に対する現在のシャッタ値の割合SV=SVcrr/SVpstが第2下限基準よりも小さければ指の上げと判断し、前記の割合SVが第2上限基準よりも大きければ指の下げと判断することを特徴とする請求項3に記載のクリック認識方法。
  5. 前記指のイメージの変化から前記指の下げを感知し、前記指の下げの後に前記指の上げを感知する場合にのみ対応して前記クリック信号を生成することを特徴とする請求項2に記載のクリック認識方法。
  6. 前記指の下げおよび指の上げの間の時間間隔を算出するステップと、
    前記算出された時間間隔が所定の時間範囲内であるか否かを判断するステップと、
    をさらに含み、
    前記算出された時間間隔が所定の時間範囲内である場合に前記クリック信号を生成することを特徴とする請求項2に記載のクリック認識方法。
  7. 前記指の下げおよび指の上げの間の時間間隔を算出するステップ、
    をさらに含み、
    前記算出された時間間隔すべてまたは一部に対して前記指の水平移動を分析することを特徴とする請求項2に記載のクリック認識方法。
  8. 前記指のイメージの変化を感知するステップにおいて、所定の時間単位間隔で指のイメージを以前の指のイメージと比較し、前記比較によって指の水平移動変位を算出し、
    前記イメージの変化から前記指の水平移動を分析するステップにおいては、前記移動変位の絶対値を用いて前記指の水平移動を分析することを特徴とする請求項1〜請求項7のいずれか一項に記載のクリック認識方法。
  9. 前記指のイメージの変化を感知するステップにおいて、
    所定の時間単位間隔で指のイメージと以前の指のイメージとを比較するが、前記イメージの変化は光量またはイメージ品質に応じて決定されるシャッタ値、シャッタスピード、表面鮮明度、方向度のうちの少なくとも1つを考慮して決定されることを特徴とする請求項1〜請求項7のいずれか一項に記載のクリック認識方法。
  10. 指の動きを感知するための感知領域を提供する感知部と、
    前記感知部上の指に向かって光を供給する光源部と、
    前記指によって前記感知部を介して反射した光を受光して前記指に対応するイメージを生成するイメージセンサ部と、
    前記指のイメージの変化から前記指の水平動きまたはクリック動きを区分する制御部と、
    を備えており、
    前記制御部は、前記指のイメージの変化を感知し、前記イメージの変化から前記指の移動を分析し、前記指の水平移動が所定の範囲内である場合にクリック信号を生成することを特徴とする光ポインティング装置。
  11. 前記制御部は、前記指のイメージの変化から前記指の下げを感知し、前記指の下げの後に前記指の上げを感知する場合にのみ前記クリック信号を生成することを特徴とする請求項10に記載の光ポインティング装置。
  12. 前記制御部は、所定の時間単位間隔で得られる指のイメージと以前の指のイメージとを比較し、前記比較によって指の水平移動変位を算出し、前記移動変位の絶対値を用いて前記指の水平移動を分析することを特徴とする請求項10に記載の光ポインティング装置。
  13. 前記制御部は、所定の時間単位間隔で得られる指のイメージと以前の指のイメージとを比較するが、前記イメージの変化は光量またはイメージ品質に応じて決定されるシャッタ値、表面鮮明度、方向度のうちの少なくとも1つを考慮して決定されることを特徴とする請求項10に記載の光ポインティング装置。
JP2009067275A 2008-04-01 2009-03-19 光ポインティング装置および光ポインティング装置を用いたクリック認識方法 Expired - Fee Related JP5344960B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080030438A KR20090105154A (ko) 2008-04-01 2008-04-01 광 포인팅 장치 및 광 포인팅 장치를 이용한 클릭 인식방법
KR10-2008-0030438 2008-04-01

Publications (2)

Publication Number Publication Date
JP2009252241A true JP2009252241A (ja) 2009-10-29
JP5344960B2 JP5344960B2 (ja) 2013-11-20

Family

ID=40858744

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009067275A Expired - Fee Related JP5344960B2 (ja) 2008-04-01 2009-03-19 光ポインティング装置および光ポインティング装置を用いたクリック認識方法

Country Status (5)

Country Link
US (1) US8270677B2 (ja)
EP (1) EP2107445A1 (ja)
JP (1) JP5344960B2 (ja)
KR (1) KR20090105154A (ja)
CN (1) CN101551716A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011118857A (ja) * 2009-12-02 2011-06-16 Hyundai Motor Co Ltd 車両のマルチメディアシステム操作用ユーザーインターフェース装置
JP2011138503A (ja) * 2009-12-18 2011-07-14 Avago Technologies Ecbu Ip (Singapore) Pte Ltd 物体検出装置
JP2012027897A (ja) * 2010-07-19 2012-02-09 Samsung Electronics Co Ltd ディスプレイ装置及びその制御方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI522843B (zh) 2010-07-12 2016-02-21 原相科技股份有限公司 光學系統及其點擊偵測方法
CN102339145B (zh) * 2010-07-21 2014-10-15 原相科技股份有限公司 光学系统及其点击侦测方法
GB201014053D0 (en) 2010-08-23 2010-10-06 St Microelectronics Res & Dev Optical navigation device
US8692785B2 (en) * 2010-09-29 2014-04-08 Byd Company Limited Method and system for detecting one or more objects
GB2485994A (en) * 2010-11-30 2012-06-06 St Microelectronics Res & Dev Navigation device using a Single Photon Avalanche Diode (SPAD) detector
GB2486165A (en) 2010-11-30 2012-06-13 St Microelectronics Res & Dev Oven using a Single Photon Avalanche Diode (SPAD) array
CN102591528A (zh) * 2011-01-07 2012-07-18 鸿富锦精密工业(深圳)有限公司 光学指示装置及其点击操作实现方法
KR101816721B1 (ko) * 2011-01-18 2018-01-10 삼성전자주식회사 센싱 모듈, gui 제어 장치 및 방법
GB201103346D0 (en) * 2011-02-28 2011-04-13 Dev Ltd Improvements in or relating to optical navigation devices
US20130027351A1 (en) * 2011-07-26 2013-01-31 Research In Motion Limited Optical navigation modules for mobile communication devices
GB2494663A (en) 2011-09-14 2013-03-20 St Microelectronics Res & Dev A system and corresponding method for monitoring vibration isolators
CN103207686B (zh) * 2012-01-11 2016-10-05 联想(北京)有限公司 一种指点杆、指点杆信息转换方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06149462A (ja) * 1992-11-09 1994-05-27 Hitachi Ltd 情報処理装置および入力制御装置
JP2004341892A (ja) * 2003-05-16 2004-12-02 Fuji Xerox Co Ltd 指示入力装置、指示入力方法、及びプログラム
JP2004348739A (ja) * 2003-05-19 2004-12-09 Agilent Technol Inc 光学的にクリックを検出する方法およびシステム
JP2006146936A (ja) * 2004-11-23 2006-06-08 Microsoft Corp 偶発的なタッチセンシティブ装置の活動化の低減のための入力方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0900364A1 (en) 1996-05-14 1999-03-10 Michel Sayag Method and apparatus for generating a control signal
JP3588201B2 (ja) 1996-08-30 2004-11-10 アルプス電気株式会社 座標入力装置およびその制御方法
US6501846B1 (en) * 1997-11-25 2002-12-31 Ethentica, Inc. Method and system for computer access and cursor control using a relief object image generator
US20070018970A1 (en) * 2000-12-22 2007-01-25 Logitech Europe S.A. Optical slider for input devices
US6728072B1 (en) * 2001-03-06 2004-04-27 Hutchinson Technology, Inc. Intergral base plate with boss tower
TWI313835B (en) 2002-06-04 2009-08-21 Koninkl Philips Electronics Nv Method of measuring the movement of an object relative to a user's input device and related input device,mobile phone apparatus, cordless phone apparatus, laptor computer, mouse and remote control
WO2004059613A1 (en) * 2002-12-20 2004-07-15 Itac Systems, Inc. Cursor control device
US20070063130A1 (en) * 2004-07-29 2007-03-22 Ahn Keon J Optical pointing apparatus and personal portable device having the optical pointing apparatus
JP4243306B2 (ja) * 2004-08-20 2009-03-25 クルシアルテック シーオー.,エルティーディー 超薄型の光学式ジョイスティックおよび超薄型の光学式ジョイスティックを含んだ個人用携帯端末機
US8026897B2 (en) * 2004-11-22 2011-09-27 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Cursor motion control of a pointing device
KR100766554B1 (ko) * 2005-07-14 2007-10-17 크루셜텍 (주) 초슬림 광 포인팅 장치 및 이를 구비한 개인휴대단말기
US20080218769A1 (en) * 2007-03-08 2008-09-11 Crucialtec Co., Ltd. Optical Pointing Device for Mobile Terminals
CN100524187C (zh) * 2007-11-29 2009-08-05 倚天资讯股份有限公司 利用动态感测以变动图标位置的方法及其电子装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06149462A (ja) * 1992-11-09 1994-05-27 Hitachi Ltd 情報処理装置および入力制御装置
JP2004341892A (ja) * 2003-05-16 2004-12-02 Fuji Xerox Co Ltd 指示入力装置、指示入力方法、及びプログラム
JP2004348739A (ja) * 2003-05-19 2004-12-09 Agilent Technol Inc 光学的にクリックを検出する方法およびシステム
JP2006146936A (ja) * 2004-11-23 2006-06-08 Microsoft Corp 偶発的なタッチセンシティブ装置の活動化の低減のための入力方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011118857A (ja) * 2009-12-02 2011-06-16 Hyundai Motor Co Ltd 車両のマルチメディアシステム操作用ユーザーインターフェース装置
JP2011138503A (ja) * 2009-12-18 2011-07-14 Avago Technologies Ecbu Ip (Singapore) Pte Ltd 物体検出装置
JP2012027897A (ja) * 2010-07-19 2012-02-09 Samsung Electronics Co Ltd ディスプレイ装置及びその制御方法
JP2016076232A (ja) * 2010-07-19 2016-05-12 三星電子株式会社Samsung Electronics Co.,Ltd. ディスプレイ装置及びその制御方法

Also Published As

Publication number Publication date
US20090245574A1 (en) 2009-10-01
CN101551716A (zh) 2009-10-07
JP5344960B2 (ja) 2013-11-20
KR20090105154A (ko) 2009-10-07
US8270677B2 (en) 2012-09-18
EP2107445A1 (en) 2009-10-07

Similar Documents

Publication Publication Date Title
JP5344960B2 (ja) 光ポインティング装置および光ポインティング装置を用いたクリック認識方法
JP6814723B2 (ja) 選択的入力信号拒否及び修正
KR101304096B1 (ko) 감지 어셈블리를 갖는 전자 장치 및 오프셋 제스처를 해석하는 방법
Kratz et al. HoverFlow: expanding the design space of around-device interaction
KR101617645B1 (ko) 디스플레이 제어 방법 및 이를 이용한 장치
US20160299604A1 (en) Method and apparatus for controlling a mobile device based on touch operations
US7737959B2 (en) Position detection system using laser speckle
US5900863A (en) Method and apparatus for controlling computer without touching input device
US8619029B2 (en) Electronic device with sensing assembly and method for interpreting consecutive gestures
US8816964B2 (en) Sensor-augmented, gesture-enabled keyboard and associated apparatus and computer-readable storage medium
US20140078318A1 (en) Electronic Device with Sensing Assembly and Method for Interpreting Consecutive Gestures
US20100123665A1 (en) Displays for Mobile Devices that Detect User Inputs Using Touch and Tracking of User Input Objects
JP2002351608A (ja) マウス類似の機能を備えた携帯型電子装置
KR20110084313A (ko) 표면상에 놓인 손에 맞는 제스쳐를 생성하는 방법
JP2008525906A (ja) 携帯式電子装置の情報入力装置及び制御方法
WO2006036069A1 (en) Information processing system and method
JP2010211399A (ja) 情報処理装置、閾値設定方法及びそのプログラム
KR20100030388A (ko) 터치 스크린
US9001041B2 (en) Detection system and method for detecting movements of a movable object
US20120105375A1 (en) Electronic device
US20070257887A1 (en) Apparatus and method for cursor control
JP2007518182A (ja) バーサタイル光学マウス
KR200477008Y1 (ko) 마우스 겸용 스마트폰
TW201337649A (zh) 光學式輸入裝置及其輸入偵測方法
KR101068049B1 (ko) 복수 개의 표면 선명도를 이용하는 광 포인팅 장치 및 광 포인팅 장치의 클릭인식 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120305

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130325

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130813

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees