JP2014157515A - タッチ判定装置、タッチ判定方法、およびタッチ判定プログラム - Google Patents
タッチ判定装置、タッチ判定方法、およびタッチ判定プログラム Download PDFInfo
- Publication number
- JP2014157515A JP2014157515A JP2013028443A JP2013028443A JP2014157515A JP 2014157515 A JP2014157515 A JP 2014157515A JP 2013028443 A JP2013028443 A JP 2013028443A JP 2013028443 A JP2013028443 A JP 2013028443A JP 2014157515 A JP2014157515 A JP 2014157515A
- Authority
- JP
- Japan
- Prior art keywords
- touch
- touch determination
- finger
- determination
- virtual button
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 135
- 238000001514 detection method Methods 0.000 claims abstract description 53
- 230000008569 process Effects 0.000 description 92
- 230000006870 function Effects 0.000 description 30
- 238000012545 processing Methods 0.000 description 20
- 230000006399 behavior Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 13
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 9
- 210000005252 bulbus oculi Anatomy 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000010453 quartz Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【解決手段】タッチ判定装置20は、指の挙動を検出する検出部32と、仮想的なボタンを、物体の表面に割り当てる割当部34と、検出部によって検出された指の挙動に基づき、その指が物体の表面に接触したときに受ける物理的な影響を判断して、仮想的なボタンへのタッチを判定する判定部35と、を有する。
【選択図】図3
Description
図1は、第1実施形態に係るタッチ判定システム1の概略構成の例を示す図である。また、図2は、タッチ判定システム1に含まれるタッチ判定装置20のハードウェア構成の例を示すブロック図である。図3は、タッチ判定装置20の機能構成の例を示すブロック図である。
ヘッドマウントディスプレイ(HMD)10は、ユーザーの頭部に装着する表示装置である。たとえば、ヘッドマウントディスプレイ10は、外界の光を集めてユーザーの眼球へ届ける。これにより、ユーザーは、ヘッドマウントディスプレイ10を装着した状態で外界を見ることができる。
タッチ判定装置20は、仮想的な操作パネル5にタッチしようとするユーザーの動作を判定する装置である。たとえば、タッチ判定装置20は、仮想的な操作パネル5の画像(上述した重畳画像)を生成して、外界に存在する物体(たとえば、テーブル)の表面に割り当てる。このとき、タッチ判定装置20は、ユーザーの指の挙動を検出し、その指が物体の表面に接触したときに受ける物理的な影響を判断して、仮想的な操作パネル5へのタッチを判定する。ここで、ユーザーの指が受ける物理的な影響には、たとえば、物体の表面から抗力を受けてユーザーの指の姿勢や挙動が変わることが含まれる。たとえば、物体の表面から抗力を受けて、指先が静止した状態となること、指先が反った状態となること、指が曲がった状態となること、などが含まれる。
図4は、仮想的な操作パネル5を用いてユーザーによる入力を受け付けるための処理(以下では「入力受付処理」とよぶ)の手順を示すフローチャートである。入力受付処理は、上記のタッチ判定装置20において実行される。また、図5は、ヘッドマウントディスプレイ10、ユーザーの指先、仮想的な操作パネル5の位置関係を説明するための図である。
次に、上記の入力受付処理のサブルーチンとして行われるタッチ判定処理(S106)について説明する。
次に、上記のタッチ判定処理のサブルーチンとして行われるタッチ検出処理(S207)について説明する。
次に、本発明の第2実施形態について説明する。第2実施形態にかかるタッチ判定システム1は、第1実施形態にかかるタッチ判定システム1と基本的に同様の構成を備えるため、相違する点を中心に以下説明する。
次に、本発明の第3実施形態について説明する。第3実施形態にかかるタッチ判定システム1は、第1実施形態および第2実施形態にかかるタッチ判定システム1と基本的に同様の構成を備えるため、相違する点を中心に以下説明する。
<変形例>
また、上記の各実施形態は、本発明の要旨を例示することを意図し、本発明を限定するものではない。多くの代替物、修正、変形例は当業者にとって明らかである。
5 操作パネル、
10 ヘッドマウントディスプレイ、
11 画像表示装置、
12a、b プリズム、
13 センサー、
20 タッチ判定装置、
21 CPU、
22 メモリー
23 ストレージ、
24 外部I/F、
31 外部環境取得部、
32 指挙動検出部、
33 オブジェクト生成部、
34 重畳画像生成部、
35 タッチ判定部、
50 割り当て対象、
150 指先位置データ、
160 指先速度データ、
170 速度履歴データ、
180 タッチ位置履歴データ。
Claims (15)
- 指の挙動を検出する検出部と、
仮想的なボタンを、物体の表面に割り当てる割当部と、
前記検出部によって検出された前記指の挙動に基づき、前記指が前記物体の表面に接触したときに受ける物理的な影響を判断して、前記仮想的なボタンへのタッチを判定する判定部と、
を有するタッチ判定装置。 - 前記判定部は、前記指が前記物体の表面に接触して静止したことを判断して、前記仮想的なボタンへのタッチを判定する請求項1に記載のタッチ判定装置。
- 前記判定部は、前記指が前記物体の表面に接触して静止し、かつ、前記指の移動速度が静止前において所定値以上となることを判断して、前記仮想的なボタンへのタッチを判定する請求項2に記載のタッチ判定装置。
- 前記判定部により判定されたタッチ位置を記録するタッチ位置記録部と、
前記タッチ位置記録部により記録された前記タッチ位置が含まれる平面を形成する平面形成部と、をさらに有する請求項1〜3のいずれか1項に記載のタッチ判定装置。 - 前記仮想的なボタンの画像を前記物体の表面上に投影して表示する表示部を、さらに有する請求項1〜4のいずれか1項に記載のタッチ判定装置。
- 指の挙動を検出する検出ステップと、
仮想的なボタンを、物体の表面に割り当てる割当ステップと、
前記検出ステップにおいて検出された前記指の挙動に基づき、前記指が前記物体の表面に接触したときに受ける物理的な影響を判断して、前記仮想的なボタンへのタッチを判定する判定ステップと、
を行うタッチ判定方法。 - 前記判定ステップは、前記指が前記物体の表面に接触して静止したことを判断して、前記仮想的なボタンへのタッチを判定する請求項6に記載のタッチ判定方法。
- 前記判定ステップは、前記指が前記物体の表面に接触して静止し、かつ、前記指の移動速度が静止前において所定値以上となることを判断して、前記仮想的なボタンへのタッチを判定する請求項7に記載のタッチ判定方法。
- 前記判定ステップにおいて判定されたタッチ位置を記録するタッチ位置記録ステップと、
前記タッチ位置記録ステップにおいて記録された前記タッチ位置が含まれる平面を形成する平面形成ステップと、をさらに行う請求項6〜8のいずれか1項に記載のタッチ判定方法。 - 前記仮想的なボタンの画像を前記物体の表面上に投影して表示する表示ステップを、さらに行う請求項6〜9のいずれか1項に記載のタッチ判定方法。
- 指の挙動を検出する検出ステップと、
仮想的なボタンを、物体の表面に割り当てる割当ステップと、
前記検出ステップにおいて検出された前記指の挙動に基づき、前記指が前記物体の表面に接触したときに受ける物理的な影響を判断して、前記仮想的なボタンへのタッチを判定する判定ステップと、
をコンピューターに実行させるタッチ判定プログラム。 - 前記判定ステップは、前記指が前記物体の表面に接触して静止したことを判断して、前記仮想的なボタンへのタッチを判定する請求項11に記載のタッチ判定プログラム。
- 前記判定ステップは、前記指が前記物体の表面に接触して静止し、かつ、前記指の移動速度が静止前において所定値以上となることを判断して、前記仮想的なボタンへのタッチを判定する請求項12に記載のタッチ判定プログラム。
- 前記判定ステップにおいて判定されたタッチ位置を記録するタッチ位置記録ステップと、
前記タッチ位置記録ステップにおいて記録された前記タッチ位置が含まれる平面を形成する平面形成ステップと、を前記コンピューターにさらに実行させる請求項11〜13のいずれか1項に記載のタッチ判定プログラム。 - 前記仮想的なボタンの画像を前記物体の表面上に投影して表示する表示ステップを、前記コンピューターにさらに実行させる請求項11〜14のいずれか1項に記載のタッチ判定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013028443A JP6127564B2 (ja) | 2013-02-15 | 2013-02-15 | タッチ判定装置、タッチ判定方法、およびタッチ判定プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013028443A JP6127564B2 (ja) | 2013-02-15 | 2013-02-15 | タッチ判定装置、タッチ判定方法、およびタッチ判定プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014157515A true JP2014157515A (ja) | 2014-08-28 |
JP6127564B2 JP6127564B2 (ja) | 2017-05-17 |
Family
ID=51578344
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013028443A Active JP6127564B2 (ja) | 2013-02-15 | 2013-02-15 | タッチ判定装置、タッチ判定方法、およびタッチ判定プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6127564B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016184362A (ja) * | 2015-03-26 | 2016-10-20 | 富士通株式会社 | 入力装置、入力操作検出方法及び入力操作検出用コンピュータプログラム |
JP2016206749A (ja) * | 2015-04-16 | 2016-12-08 | シャープ株式会社 | タッチ入力装置、前記タッチ入力装置を備えた画像形成装置およびタッチ入力方法 |
JP2018528551A (ja) * | 2015-06-10 | 2018-09-27 | ブイタッチ・コーポレーション・リミテッド | ユーザー基準空間座標系上におけるジェスチャー検出方法および装置 |
JP2019204539A (ja) * | 2019-07-31 | 2019-11-28 | 富士通株式会社 | 入力装置、入力操作検出方法及び入力操作検出用コンピュータプログラム |
JP2020528597A (ja) * | 2017-07-26 | 2020-09-24 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | ユーザインターフェースデバイスの表現を用いたニューラルネットワークの訓練 |
JP2021525137A (ja) * | 2018-05-23 | 2021-09-24 | アルコン インコーポレイティド | グラフィカルユーザインタフェースを有する手術用器具を利用するためのシステム及び方法 |
WO2023090192A1 (ja) * | 2021-11-18 | 2023-05-25 | 京セラ株式会社 | 電子機器、電子機器の制御方法、及びプログラム |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0683512A (ja) * | 1992-02-07 | 1994-03-25 | Internatl Business Mach Corp <Ibm> | コマンド及びデータ入力方法及び入力装置 |
JPH07334299A (ja) * | 1994-04-13 | 1995-12-22 | Toshiba Corp | 情報入力装置 |
JPH1195895A (ja) * | 1997-09-18 | 1999-04-09 | Sony Corp | 情報入力装置 |
JP2003535405A (ja) * | 2000-05-29 | 2003-11-25 | ブイケービー インコーポレイティド | 文字・数字及び他のデータを入力する仮想データ入力装置及び方法 |
JP2004500657A (ja) * | 2000-02-11 | 2004-01-08 | カネスタ インコーポレイテッド | 仮想入力装置を用いたデータ入力方法および装置 |
JP2004298977A (ja) * | 2003-03-28 | 2004-10-28 | Sony Corp | 行動制御装置、行動制御方法及び行動制御プログラム、並びに移動型ロボット装置 |
US20070201863A1 (en) * | 2006-02-28 | 2007-08-30 | Microsoft Corporation | Compact interactive tabletop with projection-vision |
JP2009104429A (ja) * | 2007-10-24 | 2009-05-14 | Nikon Corp | ヘッドマウントディスプレイ装置及び携帯装置 |
JP2011022945A (ja) * | 2009-07-17 | 2011-02-03 | Dainippon Printing Co Ltd | 指先操作型情報提供システム、プログラム、記録媒体 |
JP2013505508A (ja) * | 2009-09-22 | 2013-02-14 | ペブルステック リミテッド | コンピュータ装置の遠隔制御 |
-
2013
- 2013-02-15 JP JP2013028443A patent/JP6127564B2/ja active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0683512A (ja) * | 1992-02-07 | 1994-03-25 | Internatl Business Mach Corp <Ibm> | コマンド及びデータ入力方法及び入力装置 |
JPH07334299A (ja) * | 1994-04-13 | 1995-12-22 | Toshiba Corp | 情報入力装置 |
JPH1195895A (ja) * | 1997-09-18 | 1999-04-09 | Sony Corp | 情報入力装置 |
JP2004500657A (ja) * | 2000-02-11 | 2004-01-08 | カネスタ インコーポレイテッド | 仮想入力装置を用いたデータ入力方法および装置 |
JP2003535405A (ja) * | 2000-05-29 | 2003-11-25 | ブイケービー インコーポレイティド | 文字・数字及び他のデータを入力する仮想データ入力装置及び方法 |
JP2004298977A (ja) * | 2003-03-28 | 2004-10-28 | Sony Corp | 行動制御装置、行動制御方法及び行動制御プログラム、並びに移動型ロボット装置 |
US20070201863A1 (en) * | 2006-02-28 | 2007-08-30 | Microsoft Corporation | Compact interactive tabletop with projection-vision |
JP2009104429A (ja) * | 2007-10-24 | 2009-05-14 | Nikon Corp | ヘッドマウントディスプレイ装置及び携帯装置 |
JP2011022945A (ja) * | 2009-07-17 | 2011-02-03 | Dainippon Printing Co Ltd | 指先操作型情報提供システム、プログラム、記録媒体 |
JP2013505508A (ja) * | 2009-09-22 | 2013-02-14 | ペブルステック リミテッド | コンピュータ装置の遠隔制御 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016184362A (ja) * | 2015-03-26 | 2016-10-20 | 富士通株式会社 | 入力装置、入力操作検出方法及び入力操作検出用コンピュータプログラム |
JP2016206749A (ja) * | 2015-04-16 | 2016-12-08 | シャープ株式会社 | タッチ入力装置、前記タッチ入力装置を備えた画像形成装置およびタッチ入力方法 |
JP2018528551A (ja) * | 2015-06-10 | 2018-09-27 | ブイタッチ・コーポレーション・リミテッド | ユーザー基準空間座標系上におけるジェスチャー検出方法および装置 |
JP2020528597A (ja) * | 2017-07-26 | 2020-09-24 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | ユーザインターフェースデバイスの表現を用いたニューラルネットワークの訓練 |
JP7149300B2 (ja) | 2017-07-26 | 2022-10-06 | マジック リープ, インコーポレイテッド | ユーザインターフェースデバイスの表現を用いたニューラルネットワークの訓練 |
JP2022177046A (ja) * | 2017-07-26 | 2022-11-30 | マジック リープ, インコーポレイテッド | ユーザインターフェースデバイスの表現を用いたニューラルネットワークの訓練 |
JP7198383B2 (ja) | 2017-07-26 | 2022-12-28 | マジック リープ, インコーポレイテッド | ユーザインターフェースデバイスの表現を用いたニューラルネットワークの訓練 |
US11630314B2 (en) | 2017-07-26 | 2023-04-18 | Magic Leap, Inc. | Training a neural network with representations of user interface devices |
JP2021525137A (ja) * | 2018-05-23 | 2021-09-24 | アルコン インコーポレイティド | グラフィカルユーザインタフェースを有する手術用器具を利用するためのシステム及び方法 |
JP7297796B2 (ja) | 2018-05-23 | 2023-06-26 | アルコン インコーポレイティド | グラフィカルユーザインタフェースを有する手術用器具を利用するためのシステム及び方法 |
JP2019204539A (ja) * | 2019-07-31 | 2019-11-28 | 富士通株式会社 | 入力装置、入力操作検出方法及び入力操作検出用コンピュータプログラム |
WO2023090192A1 (ja) * | 2021-11-18 | 2023-05-25 | 京セラ株式会社 | 電子機器、電子機器の制御方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6127564B2 (ja) | 2017-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6127564B2 (ja) | タッチ判定装置、タッチ判定方法、およびタッチ判定プログラム | |
US20210181857A1 (en) | Systems and Methods of Creating a Realistic Displacement of a Virtual Object in Virtual Reality/Augmented Reality Environments | |
US20210081036A1 (en) | Interaction Engine for Creating a Realistic Experience in Virtual Reality/Augmented Reality Environments | |
US20200320793A1 (en) | Systems and methods of rerendering image hands to create a realistic grab experience in virtual reality/augmented reality environments | |
KR102283747B1 (ko) | 시선 추적을 갖는 타겟 위치결정 | |
US9600078B2 (en) | Method and system enabling natural user interface gestures with an electronic system | |
US8933912B2 (en) | Touch sensitive user interface with three dimensional input sensor | |
JP5991041B2 (ja) | 仮想タッチスクリーンシステム及び双方向モード自動切換方法 | |
EP2590057B1 (en) | 3D optical input system and operating method | |
KR20160071404A (ko) | 사용자 인터페이스 프로그래밍적 스케일링 | |
KR102665643B1 (ko) | 아바타 표시를 제어하기 위한 방법 및 그 전자 장치 | |
KR20120068253A (ko) | 사용자 인터페이스의 반응 제공 방법 및 장치 | |
US9262012B2 (en) | Hover angle | |
US10607069B2 (en) | Determining a pointing vector for gestures performed before a depth camera | |
JP2016091457A (ja) | 入力装置、指先位置検出方法及び指先位置検出用コンピュータプログラム | |
US11073898B2 (en) | IMU for touch detection | |
JP2016162162A (ja) | 接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム及び接触検出方法 | |
JP2017219942A (ja) | 接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム、接触検出方法、プログラム及び記憶媒体。 | |
CN114923418A (zh) | 基于点选择的测量 | |
US11054941B2 (en) | Information processing system, information processing method, and program for correcting operation direction and operation amount | |
JP2016139396A (ja) | ユーザーインターフェイス装置、方法およびプログラム | |
US12014008B2 (en) | Information processing apparatus, information processing method, and program | |
JP2018181169A (ja) | 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体 | |
US20240118751A1 (en) | Information processing device and information processing method | |
Chu et al. | A study of motion recognition system using a smart phone |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151021 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170314 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170327 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6127564 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |