JP2008234594A - 操作入力装置 - Google Patents
操作入力装置 Download PDFInfo
- Publication number
- JP2008234594A JP2008234594A JP2007077330A JP2007077330A JP2008234594A JP 2008234594 A JP2008234594 A JP 2008234594A JP 2007077330 A JP2007077330 A JP 2007077330A JP 2007077330 A JP2007077330 A JP 2007077330A JP 2008234594 A JP2008234594 A JP 2008234594A
- Authority
- JP
- Japan
- Prior art keywords
- image
- fingertip
- finger
- touch panel
- fingertip position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
- G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Input From Keyboards Or The Like (AREA)
Abstract
【解決手段】ステップ100にて、メニュー画像を取得する。ステップ110では、カメラ画像から手指領域を抽出する。ステップ120では、手指領域を用い、差分画像を利用する手法により、指先領域を抽出する。ステップ130では、重心及びそのオフセットを利用する手法により、指先領域から指先位置を検出する。ステップ140では、指先位置をメニュー画像に表示する。それとともに、半透明の指先画像をメニュー画像に重ねて表示する。ステップ150では、各指先位置に対応する(一致する)操作ボタン21を検索する。ステップ160では、指先位置に対応する操作ボタン21を強調表示する。
【選択図】図8
Description
また、タッチ入力されるまで、どこが入力されようとしているが分かり難く、その点からも、入力ミスが生じるという問題があった。
また、この様にして画像上で指先位置を特定できれば、例えば指先位置を表示したり、その指先位置に対応する操作ボタンを強調表示することができるので、操作者がタッチパネルにおける指の接触点を把握し難くても、画面を見ればどの位置で操作ボタン等を操作をするかが分かるため、入力ミス(押し間違い)を防止できるという効果がある。
しかも、例えばカーナビ操作の50音検索のように、操作ボタンが多く、かつ、操作ボタンが小さくなった場合でも、画像上で指先位置が分かれば、指先と操作ボタンとの位置が合わせが容易であり、この点からも、入力ミスを防止する効果が高いという利点がある。
上述した様に差分の画像を取った場合でも、例えば指が傾いていた様な場合には、図11に例示するように、指先以外の領域も抽出される可能性がある。その様な場合には、例えば全方向又は水平方向などの画素を削除する収縮演算によって、画像を収縮する。これによって、指先領域以外の例えば指の側方などの幅の狭い画像領域は削除されるので、指先のみを好適に抽出することができる。
前記請求項2と同様に、例えば指が傾いていた様な場合には、指先以外の領域も抽出される可能性があるので、その様な場合には、平滑化処理を行うと、指先部分とそれ以外の部分の画像信号(例えばピクセル値)に差を付けることができる。よって、所定のピクセル値以上の部分のみを取り出すことにより、指先のみを好適に抽出することができる。
指先領域の重心は、ほぼ指先領域の中央(即ち前記移動方向に沿って存在すると推定される指先位置に対応した位置)と考えることができる。よって、この重心を基準として指先位置を設定することが可能である。
上述した様に、指先領域の重心の前記移動方向(指の付け根方向)に、指先位置があると考えられるので、本発明では、そのように指先位置を設定している。
これによって、操作者は、タッチパネルのどの位置に指があるということを意識しなくとも、メニュー画像上にて(指先位置によって)強調表示された操作ボタンにより、指先がどの操作ボタンを操作できる状態にあるかを明確に認識することができる。これにより、入力ミスを防ぐことができる。
本発明では、メニュー画像上に指先位置を表示し、指先位置に最も近いメニュー画像の操作ボタンを対応させて強調表示する。これにより、表示画面にて強調表示された操作ボタンが指先位置と対応していることが分かるので、操作ボタンを瞬時にして把握することができる。
入力を受け付けている操作ボタンのみを強調表示することにより、どの操作ボタンが操作可能かを操作者に知らせることができる。
これにより、操作者は指先位置が分かるので、指をどの方向に動かせば良いかを容易に把握することができる。
(12)請求項12の発明は、指による入力位置を検出するタッチパネルからの信号と、前記タッチパネル上の手指を撮影する撮影装置からの信号と、を入力し、前記タッチパネルからの信号に基づいて、表示装置に表示するメニューの操作を行う操作入力装置において、前記撮影装置によって撮影された画像から、手指領域を画像として抽出する手指領域抽出部と、前記手指領域画像に基づいて、指先位置を検出する指先位置検出部と、前記手指領域画像と前記表示装置に表示するメニュー画像とを、両画像が視認可能なように重ね合わせて合成する画像合成部と、前記タッチパネルの入力に基づき、前記メニュー画像を操作する操作制御部と、を備え、前記メニュー画像上に前記指先位置を表示し、前記タッチパネルの入力が検出された場合には、当該検出した入力座標を、その入力座標に近接する前記表示装置における指先位置の座標に補正する処理を行うことを特徴とする。
これにより、タッチパネルでの入力位置にかかわらず、表示画面における指先(特に指先位置)や例えば強調表示された操作ボタンを認識していれば、どの操作ボタンを操作するのか或いは操作したかが分かるので、非常に便利である。
これにより、タッチパネルの入力座標と指先位置の座標が多少離れていても、その対応関係がある場合には、指先位置に対応する操作ボタンによる入力を行うことができる。
本発明では、操作ボタンの強調表示も行うので、操作が容易になる。
これにより、タッチパネルの入力位置にかかわらず、操作ボタンを操作したとして処理できるので、操作者は、表示画面のみを注目していればよく、操作が非常に容易になる。
本発明は、利用できる指先位置検出部を例示したものである。
本発明は、システム構成を例示したものである。
[第1実施形態]
a)まず、本実施形態の操作入力装置の概略構成を説明する。
(1)指先位置の検出方法
ここでは、指先位置検出部13にて行われる処理の手順について説明するが、これは、カメラ5で撮影した画像から複数の指先(特に指先位置)を検出するものである。
次に、この手指領域画像Aを指の根元方向(ここでは画面の下方向)に移動し、移動画像(手指領域画像B)を作成する。
次に、各指先の指先領域の重心D(同図の×印で示す基準点)を求める。
・図5の(a)に示す様に、メニュー画像と半透過性の手指画像(手指領域画像Aを半透過性とした画像)とを重ね合わせただけでは、指でどの操作ボタン21を押すのかが区別し難い。
また、指先位置と操作ボタン21とが一致した場合には、その操作ボタン21を強調表示する。ここでは、タッチ入力されていない場合でも、指先位置と操作ボタン21の画像が一致すれば強調表示する。なお、図5の(b)では、左下の「っ」は、入力を受け付けていないので、強調表示はしていない。
図6の左端の(a)に示す様に、指先位置が操作ボタン21からずれている場合には、操作ボタン21の強調表示をしない。
図6の(c)の様に、指先位置が操作ボタン21の「゛」と一致する場合には、「゛」は入力不可であるので、「゛」の操作ボタン21を強調表示しない。
更に、実際に、「む」を押したと見なされた場合には、図6の(e)の様に、「む」を更に強く強調表示する。
ペン入力では、ペン先による点での入力となり、高い精度でタッチパネル3に入力できるが、指先入力では、指の腹などにより面での入力となるため、タッチパネル3の検出座標にバラツキが生じる。
そこで、図7(b)に示す様に、タッチパネル3で検出した入力座標がx印であったとしても、+印の指先位置の座標を入力座標として処理する(合わせ込む)のである。
(1)表示装置7に表示するための処理
図8に示す様に、ステップ(S)100にて、例えばROM等から、メニュー画像を取得する。なお、この段階で、メニュー画像を表示装置7に表示してもよく、ステップ100及び表示装置7への表示は、ステップ140及びステップ160より前に実行されていればよいため、ステップ110前に限定するものではない。
続くステップ120では、手指領域を用い、上述した差分画像を利用する手法により、指先領域を抽出する。
続くステップ140では、指先位置をメニュー画像に表示する。それとともに、半透明の指先画像をメニュー画像に重ねて表示する。なお、このステップ140は、ステップ150又はステップ160の後に実行してもよい。
その後、一旦本処理を終了する。
なお、ステップ120はステップ110の後、ステップ130はステップ120の後、ステップ140はステップ130の後、ステップ150はステップ130より後、ステップ160はステップ150より後、という条件が成り立つ範囲であれば、順序が入れ替わっても、並列実行されても構わない。
・図9に示す様に、ステップ200では、タッチ入力されたか否か、即ち、タッチパネル3に指による入力がなされたか否かを判定する。
続くステップ220では、タッチ座標に対応する指先を選択する。例えばタッチ座標に最も近い指の指先位置を有する指先を、タッチ入力した指先として選択する。
続くステップ240では、タッチ入力されたと見なされた指先位置に、対応する操作ボタン21があるか否かを判定する。ここで肯定判断されるとステップ250に進み、一方否定判断されるとステップ260に進む。
図10に示す様に、メニュー画像に指先(イ)〜(ニ)が表示され、操作ボタン21として(A)〜(E)があったときに、タッチがあった場合には、タッチの座標と最も近い指先(ロ)を選択する。そして、指先(ロ)と操作ボタン(B)が一致している場合には、指先(ロ)にて操作ボタン(B)が押されたと判断する。
d)この様に、本実施形態では、カメラ画像から抽出した指先画像をメニュー画像に半透過画像として重ねて表示するので、乗員にとっては、指がどの操作ボタン21を操作しようとしているかが容易に分かる。
次に、第2実施形態の操作入力装置について説明するが、前記第1実施形態と同様な内容の説明は省略する。
図11に示す様に、まず、カメラ画像から2値化画像である手指領域画像Aを抽出する。
次に、手指領域画像Aと手指領域画像Bとの差分(A−B)をとって、差分画像(指先領域画像C)を作成する。なお、指が傾いている場合には、差分を取るとマイナスになる領域が発生することがあるが、その場合は、マイナスは0として処理する。
本実施形態は、差分画像を収縮させるので、指先以外の差分領域を削除することができ、特に指が傾いている場合には、指先領域を好適に抽出できるので好ましい。
或いは、差分画像に対して平滑化処理を行い、この平滑化画像に対して所定のピクセル値以上の範囲を抽出して指先領域としてもよい。
以上、本発明の実施形態について説明したが、本発明は、本実施形態に限定されるものではなく、種々の態様を採ることができる。
(3)更に、本発明は、車載のナビゲーション装置など以外に、車載以外の各種の操作入力装置に適用できる。
Claims (18)
- 指による入力位置を検出するタッチパネルからの信号と、前記タッチパネル上の手指を撮影する撮影装置からの信号と、を入力し、
前記タッチパネルからの信号に基づいて、表示装置に表示するメニューの操作を行う操作入力装置において、
前記撮影装置によって撮影された画像から、手指領域を画像として抽出する手指領域抽出部と、
前記手指領域画像に基づいて、指先位置を検出する指先位置検出部と、
前記手指領域画像と前記表示装置に表示するメニュー画像とを、両画像が視認可能なように重ね合わせて合成する画像合成部と、
前記タッチパネルの入力に基づき、前記メニュー画像を操作する操作制御部と、
を備え、
前記指先位置検出部は、前記手指領域画像と該手指領域画像を指の付け根方向にずらした移動画像との差分の画像を、指先領域として求め、該指先領域を基準として指先位置を抽出することを特徴とする操作入力装置。 - 前記指先位置検出部は、前記指先領域画像に対して収縮演算を行って、指先以外の領域を削除することを特徴とする請求項1に記載の操作入力装置。
- 前記指先位置検出部は、前記指先領域画像に対して平滑化処理を行って、指先以外の領域を削除することを特徴とする請求項1に記載の操作入力装置。
- 前記指先位置検出部は、前記指先領域の重心を、指先位置を抽出するための基準とすることを特徴とする請求項1〜3のいずれかに記載の操作入力装置。
- 前記指先位置検出部は、前記指先領域の重心から、所定距離だけ指の付け根方向にオフセットした位置を指先位置とすることを特徴とする請求項1〜4のいずれかに記載の操作入力装置。
- 前記タッチパネルの裏側からの撮影によって手指領域を抽出する場合には、
前記指先位置検出部は、前記指先領域と一致する指の実画像の領域において、最も明るい画素の座標を指先位置の基準点とすることを特徴とする請求項1〜5のいずれかに記載の操作入力装置。 - 指による入力位置を検出するタッチパネルからの信号と、前記タッチパネル上の手指を撮影する撮影装置からの信号と、を入力し、
前記タッチパネルからの信号に基づいて、表示装置に表示するメニューの操作を行う操作入力装置において、
前記撮影装置によって撮影された画像から、手指領域を画像として抽出する手指領域抽出部と、
前記手指領域画像に基づいて、指先位置を検出する指先位置検出部と、
前記手指領域画像と前記表示装置に表示するメニュー画像とを、両画像が視認可能なように重ね合わせて合成する画像合成部と、
前記タッチパネルの入力に基づき、前記メニュー画像を操作する操作制御部と、
を備え、
前記指先位置と前記メニュー画像の操作ボタンとの対応を判定し、所定の対応関係がある場合には、指先に対応する操作ボタンを強調表示することを特徴とする操作入力装置。 - 前記メニュー画像上に前記指先位置を表示し、前記指先位置に最も近い前記メニュー画像の操作ボタンを対応させて強調表示することを特徴とする請求項7に記載の操作入力装置。
- 入力を受け付けている操作ボタンのみを強調表示することを特徴とする請求項7又は8に記載の操作入力装置。
- 前記指先位置も前記手指領域画像に重畳表示することを特徴とする請求項7〜9のいずれかに記載の操作入力装置。
- 前記強調表示とは、前記操作ボタンの色の変更、前記操作ボタンの文字表示の書式の変更、前記操作ボタンの枠の太さの変更、前記操作ボタンの立体的な表示状態の変更、前記操作ボタンの一部又は全体の大きさの変更、前記操作ボタンの明滅表示への変更、前記操作ボタンと指先との距離に対応した操作ボタンの明るさの変更のうち、少なくとも1種であることを特徴とする請求項7〜10のいずれかに記載の操作入力装置。
- 指による入力位置を検出するタッチパネルからの信号と、前記タッチパネル上の手指を撮影する撮影装置からの信号と、を入力し、
前記タッチパネルからの信号に基づいて、表示装置に表示するメニューの操作を行う操作入力装置において、
前記撮影装置によって撮影された画像から、手指領域を画像として抽出する手指領域抽出部と、
前記手指領域画像に基づいて、指先位置を検出する指先位置検出部と、
前記手指領域画像と前記表示装置に表示するメニュー画像とを、両画像が視認可能なように重ね合わせて合成する画像合成部と、
前記タッチパネルの入力に基づき、前記メニュー画像を操作する操作制御部と、
を備え、
前記メニュー画像上に前記指先位置を表示し、前記タッチパネルの入力が検出された場合には、当該検出した入力座標を、その入力座標に近接する前記表示装置における指先位置の座標に補正する処理を行うことを特徴とする操作入力装置。 - 前記タッチパネルの入力座標が前記指先位置の座標から所定の範囲内にある場合に、前記補正の処理を行うことを特徴とする請求項12に記載の操作入力装置。
- 前記請求項7〜11のいずれかに記載の処理により、前記操作ボタンを強調表示することを特徴とする請求項13に記載の操作入力装置。
- 前記タッチパネルの入力が検出された場合には、前記強調表示された操作ボタンが操作されたとして処理することを特徴とする請求項14に記載の操作入力装置。
- 指による入力位置を検出するタッチパネルからの信号と、前記タッチパネル上の手指を撮影する撮影装置からの信号と、を入力し、
前記タッチパネルからの信号に基づいて、表示装置に表示するメニューの操作を行う操作入力装置において、
前記撮影装置によって撮影された画像から、手指領域を画像として抽出する手指領域抽出部と、
前記手指領域画像に基づいて、指先位置を検出する指先位置検出部と、
前記手指領域画像と表示装置に表示するメニュー画像とを、両画像が視認可能なように重ね合わせて合成する画像合成部と、
前記タッチパネルの入力に基づき、前記メニュー画像を操作する操作制御部と、
を備え、
前記メニュー画像上に前記指先位置を表示し、前記メニュー画像の操作ボタンと前記指先位置との距離が所定範囲内のときに、前記タッチパネルの入力が検出された場合には、前記操作ボタンが操作されたとして処理することを特徴とする操作入力装置。 - 前記指先位置検出部が、前記請求項1〜6のいずれかに記載の指先位置検出部であることを特徴とする請求項7〜16のいずれかに記載の操作入力装置。
- 更に、前記タッチパネルと撮影装置と表示装置とのうち、少なくとも1種を備えたことを特徴とする請求項1〜17のいずれかに記載の操作入力装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007077330A JP4605170B2 (ja) | 2007-03-23 | 2007-03-23 | 操作入力装置 |
US12/076,757 US8363010B2 (en) | 2007-03-23 | 2008-03-21 | Operating input device for reducing input error |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007077330A JP4605170B2 (ja) | 2007-03-23 | 2007-03-23 | 操作入力装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010185233A Division JP5158152B2 (ja) | 2010-08-20 | 2010-08-20 | 操作入力装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008234594A true JP2008234594A (ja) | 2008-10-02 |
JP4605170B2 JP4605170B2 (ja) | 2011-01-05 |
Family
ID=39774212
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007077330A Expired - Fee Related JP4605170B2 (ja) | 2007-03-23 | 2007-03-23 | 操作入力装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8363010B2 (ja) |
JP (1) | JP4605170B2 (ja) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010055510A (ja) * | 2008-08-29 | 2010-03-11 | Sony Corp | 情報処理装置及び情報処理方法 |
JP2010134587A (ja) * | 2008-12-03 | 2010-06-17 | Sony Corp | 情報処理装置および撮像装置 |
JP2010176565A (ja) * | 2009-01-30 | 2010-08-12 | Denso Corp | 操作装置 |
JP2010173584A (ja) * | 2009-01-30 | 2010-08-12 | Denso Corp | 操作装置 |
JP2010262400A (ja) * | 2009-04-30 | 2010-11-18 | Denso Corp | 車載用電子機器操作装置 |
JP2011222031A (ja) * | 2011-05-23 | 2011-11-04 | Denso Corp | 車載用電子機器操作装置 |
US20120098852A1 (en) * | 2010-10-07 | 2012-04-26 | Nikon Corporation | Image display device |
WO2012056864A1 (ja) * | 2010-10-28 | 2012-05-03 | Wada Yoshihiro | 入力装置、当該入力装置を備えた情報機器、コンピュータを入力装置として機能させるためのプログラム、および入力装置を用いて文字を入力するための方法 |
WO2012060598A2 (ko) * | 2010-11-04 | 2012-05-10 | 주식회사 매크론 | 가상마우스 구동방법 |
JP2013511763A (ja) * | 2009-11-24 | 2013-04-04 | サムスン エレクトロニクス カンパニー リミテッド | ユーザ操作の開始位置をガイドするgui提供方法及びそれを適用したデジタル機器 |
JP2013178804A (ja) * | 2013-04-26 | 2013-09-09 | Denso Corp | 車両用操作装置 |
WO2014065203A1 (ja) * | 2012-10-26 | 2014-05-01 | シャープ株式会社 | 座標入力装置、及びそれを備えた表示装置 |
CN104024023A (zh) * | 2011-09-03 | 2014-09-03 | 大众汽车有限公司 | 用于尤其在机动车中提供用户界面的方法和设备 |
JP2014206930A (ja) * | 2013-04-15 | 2014-10-30 | オムロン株式会社 | ジェスチャ認識装置、ジェスチャ認識方法、電子機器、制御プログラムおよび記録媒体 |
JP2015133109A (ja) * | 2013-12-20 | 2015-07-23 | イマージョン コーポレーションImmersion Corporation | 車両の中で触覚フィードバックを用いるジェスチャー・ベースの入力システム |
US10180756B2 (en) | 2015-07-21 | 2019-01-15 | Toyota Jidosha Kabushiki Kaisha | Input apparatus |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8270669B2 (en) * | 2008-02-06 | 2012-09-18 | Denso Corporation | Apparatus for extracting operating object and apparatus for projecting operating hand |
US8279184B2 (en) * | 2009-01-27 | 2012-10-02 | Research In Motion Limited | Electronic device including a touchscreen and method |
EP2428880A1 (en) * | 2009-01-27 | 2012-03-14 | Research In Motion Limited | A handheld electronic device having a touchscreen and a method of using a touchscreen of a handheld electronic device |
JP5269648B2 (ja) * | 2009-03-02 | 2013-08-21 | パナソニック株式会社 | 携帯端末装置及び入力装置 |
JP5141984B2 (ja) * | 2009-05-11 | 2013-02-13 | ソニー株式会社 | 情報処理装置および方法 |
JP5423297B2 (ja) * | 2009-09-30 | 2014-02-19 | 富士通株式会社 | 入力装置、入力処理プログラム、および入力制御方法 |
JP5005758B2 (ja) * | 2009-12-25 | 2012-08-22 | 株式会社ホンダアクセス | 自動車における車載機器の操作装置 |
KR101184460B1 (ko) * | 2010-02-05 | 2012-09-19 | 연세대학교 산학협력단 | 마우스 포인터 제어 장치 및 방법 |
US8878821B2 (en) * | 2010-04-29 | 2014-11-04 | Hewlett-Packard Development Company, L.P. | System and method for providing object location information and physical contact information |
US8947374B2 (en) * | 2011-02-07 | 2015-02-03 | Healthfusion, Inc. | Electronic medical system touch phrase technology |
US8928589B2 (en) * | 2011-04-20 | 2015-01-06 | Qualcomm Incorporated | Virtual keyboards and methods of providing the same |
US9152288B2 (en) * | 2011-05-19 | 2015-10-06 | Microsoft Technology Licensing, Llc | Remote multi-touch |
US9116598B1 (en) | 2012-01-10 | 2015-08-25 | Koji Yoden | User interface for use in computing device with sensitive display |
US10691219B2 (en) | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US9070019B2 (en) | 2012-01-17 | 2015-06-30 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
US9679215B2 (en) | 2012-01-17 | 2017-06-13 | Leap Motion, Inc. | Systems and methods for machine control |
US9501152B2 (en) | 2013-01-15 | 2016-11-22 | Leap Motion, Inc. | Free-space user interface and control using virtual constructs |
US8693731B2 (en) | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US8638989B2 (en) | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
JP5477400B2 (ja) * | 2012-01-31 | 2014-04-23 | 株式会社デンソー | 入力装置 |
KR101981141B1 (ko) * | 2012-04-04 | 2019-08-28 | 삼성전자주식회사 | 펜 방식에 기반한 디스플레이의 좌표 검출 방법 및 장치 |
US9747306B2 (en) * | 2012-05-25 | 2017-08-29 | Atheer, Inc. | Method and apparatus for identifying input features for later recognition |
US9223423B2 (en) * | 2012-07-30 | 2015-12-29 | Facebook, Inc. | Touch gesture offset |
US9459697B2 (en) | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
WO2014200589A2 (en) | 2013-03-15 | 2014-12-18 | Leap Motion, Inc. | Determining positional information for an object in space |
US9916009B2 (en) | 2013-04-26 | 2018-03-13 | Leap Motion, Inc. | Non-tactile interface systems and methods |
US10281987B1 (en) | 2013-08-09 | 2019-05-07 | Leap Motion, Inc. | Systems and methods of free-space gestural interaction |
US9721383B1 (en) | 2013-08-29 | 2017-08-01 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
US9632572B2 (en) | 2013-10-03 | 2017-04-25 | Leap Motion, Inc. | Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation |
US9996638B1 (en) | 2013-10-31 | 2018-06-12 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
DE202014103729U1 (de) | 2014-08-08 | 2014-09-09 | Leap Motion, Inc. | Augmented-Reality mit Bewegungserfassung |
TW201614325A (en) * | 2014-10-15 | 2016-04-16 | Hon Hai Prec Ind Co Ltd | System and method for electronic device applied on vehicle |
US20160179323A1 (en) * | 2014-12-18 | 2016-06-23 | Avaya Inc. | In-place web communications related to content of a webpage |
US11232530B2 (en) * | 2017-02-28 | 2022-01-25 | Nec Corporation | Inspection assistance device, inspection assistance method, and recording medium |
CN107870723B (zh) | 2017-10-16 | 2020-09-04 | 华为技术有限公司 | 一种悬浮按钮显示方法及终端设备 |
CN112817445A (zh) * | 2021-01-25 | 2021-05-18 | 暗物智能科技(广州)有限公司 | 一种信息采集方法、装置、电子设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63197211A (ja) * | 1987-02-12 | 1988-08-16 | Fujitsu Ltd | タツチパネル付き表示装置 |
JPH04372013A (ja) * | 1991-06-21 | 1992-12-25 | Hitachi Ltd | 自動処理装置 |
JPH08278848A (ja) * | 1995-04-06 | 1996-10-22 | Kenwood Corp | タッチパネル |
JPH10269012A (ja) * | 1997-03-28 | 1998-10-09 | Yazaki Corp | タッチパネルコントローラ及びこれを用いた情報表示装置 |
WO2006013783A1 (ja) * | 2004-08-04 | 2006-02-09 | Matsushita Electric Industrial Co., Ltd. | 入力装置 |
WO2006104132A1 (ja) * | 2005-03-28 | 2006-10-05 | Matsushita Electric Industrial Co., Ltd. | ユーザインタフェイスシステム |
JP2007069676A (ja) * | 2005-09-05 | 2007-03-22 | Toyota Motor Corp | 車両用操作装置 |
JP2007072637A (ja) * | 2005-09-06 | 2007-03-22 | Hitachi Ltd | 弾力性素材を用いた入力装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6008800A (en) * | 1992-09-18 | 1999-12-28 | Pryor; Timothy R. | Man machine interfaces for entering data into a computer |
US6144366A (en) | 1996-10-18 | 2000-11-07 | Kabushiki Kaisha Toshiba | Method and apparatus for generating information input using reflected light image of target object |
JP2000006687A (ja) | 1998-06-25 | 2000-01-11 | Yazaki Corp | 車載機器スイッチ安全操作システム |
JP2001350576A (ja) | 2000-06-08 | 2001-12-21 | Clarion Co Ltd | ビジュアルインターフェイス |
JP4351599B2 (ja) * | 2004-09-03 | 2009-10-28 | パナソニック株式会社 | 入力装置 |
JP4797752B2 (ja) | 2006-03-31 | 2011-10-19 | 株式会社デンソー | 移動体用操作物体抽出装置 |
JP4635957B2 (ja) | 2006-05-12 | 2011-02-23 | 株式会社デンソー | 車載操作システム |
-
2007
- 2007-03-23 JP JP2007077330A patent/JP4605170B2/ja not_active Expired - Fee Related
-
2008
- 2008-03-21 US US12/076,757 patent/US8363010B2/en not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63197211A (ja) * | 1987-02-12 | 1988-08-16 | Fujitsu Ltd | タツチパネル付き表示装置 |
JPH04372013A (ja) * | 1991-06-21 | 1992-12-25 | Hitachi Ltd | 自動処理装置 |
JPH08278848A (ja) * | 1995-04-06 | 1996-10-22 | Kenwood Corp | タッチパネル |
JPH10269012A (ja) * | 1997-03-28 | 1998-10-09 | Yazaki Corp | タッチパネルコントローラ及びこれを用いた情報表示装置 |
WO2006013783A1 (ja) * | 2004-08-04 | 2006-02-09 | Matsushita Electric Industrial Co., Ltd. | 入力装置 |
WO2006104132A1 (ja) * | 2005-03-28 | 2006-10-05 | Matsushita Electric Industrial Co., Ltd. | ユーザインタフェイスシステム |
JP2007069676A (ja) * | 2005-09-05 | 2007-03-22 | Toyota Motor Corp | 車両用操作装置 |
JP2007072637A (ja) * | 2005-09-06 | 2007-03-22 | Hitachi Ltd | 弾力性素材を用いた入力装置 |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4609557B2 (ja) * | 2008-08-29 | 2011-01-12 | ソニー株式会社 | 情報処理装置及び情報処理方法 |
US8237678B2 (en) | 2008-08-29 | 2012-08-07 | Sony Corporation | Apparatus and method for detecting contact on or proximity to a touch screen |
JP2010055510A (ja) * | 2008-08-29 | 2010-03-11 | Sony Corp | 情報処理装置及び情報処理方法 |
JP2010134587A (ja) * | 2008-12-03 | 2010-06-17 | Sony Corp | 情報処理装置および撮像装置 |
JP4626860B2 (ja) * | 2009-01-30 | 2011-02-09 | 株式会社デンソー | 操作装置 |
US8395600B2 (en) | 2009-01-30 | 2013-03-12 | Denso Corporation | User interface device |
JP2010173584A (ja) * | 2009-01-30 | 2010-08-12 | Denso Corp | 操作装置 |
JP2010176565A (ja) * | 2009-01-30 | 2010-08-12 | Denso Corp | 操作装置 |
US8593417B2 (en) | 2009-04-30 | 2013-11-26 | Denso Corporation | Operation apparatus for in-vehicle electronic device and method for controlling the same |
JP2010262400A (ja) * | 2009-04-30 | 2010-11-18 | Denso Corp | 車載用電子機器操作装置 |
JP2013511763A (ja) * | 2009-11-24 | 2013-04-04 | サムスン エレクトロニクス カンパニー リミテッド | ユーザ操作の開始位置をガイドするgui提供方法及びそれを適用したデジタル機器 |
US20120098852A1 (en) * | 2010-10-07 | 2012-04-26 | Nikon Corporation | Image display device |
WO2012056864A1 (ja) * | 2010-10-28 | 2012-05-03 | Wada Yoshihiro | 入力装置、当該入力装置を備えた情報機器、コンピュータを入力装置として機能させるためのプログラム、および入力装置を用いて文字を入力するための方法 |
WO2012060598A2 (ko) * | 2010-11-04 | 2012-05-10 | 주식회사 매크론 | 가상마우스 구동방법 |
WO2012060598A3 (ko) * | 2010-11-04 | 2012-09-13 | 주식회사 매크론 | 가상마우스 구동방법 |
KR101169583B1 (ko) * | 2010-11-04 | 2012-07-31 | 주식회사 매크론 | 가상마우스 구동방법 |
JP2011222031A (ja) * | 2011-05-23 | 2011-11-04 | Denso Corp | 車載用電子機器操作装置 |
CN104024023A (zh) * | 2011-09-03 | 2014-09-03 | 大众汽车有限公司 | 用于尤其在机动车中提供用户界面的方法和设备 |
US10261653B2 (en) | 2011-09-03 | 2019-04-16 | Volkswagen Ag | Method and device for making available a user interface, in particular in a vehicle |
WO2014065203A1 (ja) * | 2012-10-26 | 2014-05-01 | シャープ株式会社 | 座標入力装置、及びそれを備えた表示装置 |
JP2014206930A (ja) * | 2013-04-15 | 2014-10-30 | オムロン株式会社 | ジェスチャ認識装置、ジェスチャ認識方法、電子機器、制御プログラムおよび記録媒体 |
JP2013178804A (ja) * | 2013-04-26 | 2013-09-09 | Denso Corp | 車両用操作装置 |
JP2015133109A (ja) * | 2013-12-20 | 2015-07-23 | イマージョン コーポレーションImmersion Corporation | 車両の中で触覚フィードバックを用いるジェスチャー・ベースの入力システム |
US10449972B2 (en) | 2013-12-20 | 2019-10-22 | Immersion Corporation | Gesture based input system in a vehicle with haptic feedback |
US10180756B2 (en) | 2015-07-21 | 2019-01-15 | Toyota Jidosha Kabushiki Kaisha | Input apparatus |
Also Published As
Publication number | Publication date |
---|---|
US8363010B2 (en) | 2013-01-29 |
JP4605170B2 (ja) | 2011-01-05 |
US20080231608A1 (en) | 2008-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4605170B2 (ja) | 操作入力装置 | |
US11036301B2 (en) | Input device for motion operating graphical user interface | |
US9329691B2 (en) | Operation input apparatus and method using distinct determination and control areas | |
US8284168B2 (en) | User interface device | |
JPWO2007088939A1 (ja) | 情報処理装置 | |
KR101227610B1 (ko) | 화상인식장치 및 조작판정방법과 이를 위한 프로그램을 기록한 컴퓨터 판독가능한 기록매체 | |
JP5921835B2 (ja) | 入力装置 | |
JP6393341B2 (ja) | 投射型映像表示装置 | |
JP5392900B2 (ja) | 車載機器の操作装置 | |
JP5086560B2 (ja) | 入力装置 | |
EP1983402A1 (en) | Input device and its method | |
US20100079413A1 (en) | Control device | |
JP5029470B2 (ja) | プロンプター式操作装置 | |
JP2009042796A (ja) | ジェスチャー入力装置および方法 | |
CN106020436A (zh) | 图像分析装置及图像分析方法 | |
JP2010184600A (ja) | 車載用ジェスチャースイッチ装置 | |
JP2010262400A (ja) | 車載用電子機器操作装置 | |
JP5158152B2 (ja) | 操作入力装置 | |
JP4626860B2 (ja) | 操作装置 | |
JP2009181423A (ja) | 操作入力装置 | |
KR100939831B1 (ko) | 입력 에러를 감소시키기 위한 조작 입력 장치 및 정보 기기조작 장치 | |
JP5062898B2 (ja) | ユーザインタフェイス装置 | |
JP2013207608A (ja) | 文字入力装置及び文字入力プログラム | |
JP4645665B2 (ja) | 操作手投影システムおよび操作手投影システム用のプログラム | |
JP5118663B2 (ja) | 情報端末装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080805 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090203 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090406 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100622 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100820 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100907 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100920 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4605170 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131015 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |