JP2014211858A - ジェスチャに基づくユーザ・インターフェイスを提供するシステム、方法及びプログラム - Google Patents
ジェスチャに基づくユーザ・インターフェイスを提供するシステム、方法及びプログラム Download PDFInfo
- Publication number
- JP2014211858A JP2014211858A JP2013241312A JP2013241312A JP2014211858A JP 2014211858 A JP2014211858 A JP 2014211858A JP 2013241312 A JP2013241312 A JP 2013241312A JP 2013241312 A JP2013241312 A JP 2013241312A JP 2014211858 A JP2014211858 A JP 2014211858A
- Authority
- JP
- Japan
- Prior art keywords
- user
- gesture
- widget
- hot spot
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
ジェスチャによる入力は、さまざまなコンピュータ・システムとのやり取りにおいていまや一般的な方法となっている。ジェスチャベースのユーザ・インターフェイスとしては、例えば、電話やタブレット端末のタッチスクリーンのみならず、ゲームシステムのための空中で非接触に操作するコントローラなどがある。研究段階のシステムとしては、例えばIBM社のEverywhere Displays systemなどの、プロジェクタ型ディスプレイのためのジェスチャ入力などがある。詳しくは、上述の非特許文献1または2を参照されたい。
上述の問題やそれに関連する問題に対応するために、ここでは、1つまたは複数の実施例として、グラフィック・ユーザ・インターフェイスのウィジェットに基づいたジェスチャのやり取りに関するアプローチについて述べる。特に、コンピュータとのやり取りにおいてよく使われるユーザ・インターフェイスである、グラフィック・ユーザ・インターフェイスのウィジェットに、ジェスチャ機能を追加することは有用である。1または複数の実施例において、ユーザのジェスチャを検出するために、ホットスポットを伴うウィジェットが提供される。ホットスポットは、カメラを用いて監視され、予め定められたパターンの遮蔽が発生したかどうかが検出される。ホットスポットは、ユーザがその近傍や周辺でジェスチャ動作を行うことでウィジェットとやり取りするための領域である。ユーザの指や手がカメラとウィジェットを表示する面との間のある地点に移動する時に、遮蔽が生じる。ある実施例において、ユーザのジェスチャを、ウィジェットを表示する面には物理的に接触することなく検出することができる。
1.オペレーティング・システム(OS)1813。オペレーティング・システム1813は、コンピュータ・システム1800の基本的なシステムサービスおよび様々なハードウェア・コンポーネントを管理する。オペレーティング・システム1813の具体例は当業者には明らかであり、そして、如何なる既知の、あるいは、今後開発されるモバイル用のオペレーティング・システムを含んでよい。
2.アプリケーション1814。アプリケーション1814は、例えば、ディスプレイ装置201上のディスプレイ・ユーザ・インターフェイス、あるいは、カメラ103を用いてユーザのジェスチャを検出するディスプレイ・ユーザ・インターフェイスなどの、予め定められた特定の機能をコンピュータ・システム1800に実行させるための、コンピュータ・システム1800のプロセッサ1801によって実行可能なソフトウェア・アプリケーションの組み合わせである。ある実施例において、アプリケーション1814は、以下に詳細に述べるユーザ・アプリケーションのみならず、本発明にかかるジェスチャ・ユーザ・インターフェイス・アプリケーション1815を含んでよい。
101 プロジェクタ
102 表示面
103 カメラ
1901 遮蔽特定モジュール
1902 ジェスチャ検出モジュール
Claims (12)
- グラフィック・ユーザ・インターフェイスのウィジェットに対するユーザのジェスチャを、プロセッサ、メモリ、及びカメラを用いて検出するシステムであって、
前記ウィジェットの近傍に設けられ、予め定められた領域であるホットスポットの画像を、前記カメラを用いて複数取得する画像取得モジュールと、
取得された複数の前記画像において、ユーザが前記ホットスポットの少なくとも一部を遮蔽したことを、前記プロセッサを用いて特定する特定モジュールと、
複数の前記画像のうちの少なくとも2つにおいて前記ホットスポットの少なくとも一部を遮蔽したことが特定されたことに基づいて、前記ユーザによるジェスチャを、前記プロセッサを用いて検出する検出モジュールと、
を備えるシステム。 - 前記特定モジュールは、前記カメラを用いて取得された、前記ホットスポットに対応する複数のピクセルであるセンサ・ピクセルの値に基づいて、前記ユーザが前記ホットスポットの少なくとも一部を遮蔽したことを特定する、請求項1に記載のシステム。
- 前記特定モジュールは、複数の前記センサ・ピクセルの値の履歴を前記メモリに格納し、
前記検出モジュールは、複数の前記センサ・ピクセルの値の履歴を、予め定められたパターンと比較し、マッチした場合に、前記ユーザによるジェスチャが検出されたと判断する、請求項2に記載のシステム。 - 前記検出モジュールは、前記ユーザが一部を遮蔽した前記ホットスポットの他の部分を遮蔽しなかったことを更に条件として、前記ユーザによるジェスチャが検出されたと判断する、請求項3に記載のシステム。
- 前記検出モジュールは、遮蔽しなかった前記部分が不連続になることを更に条件として、前記ユーザによるジェスチャが検出されたと判断する、請求項4に記載のシステム。
- 前記検出モジュールは、複数の前記センサ・ピクセルの値を順次有限状態機械に入力して状態遷移させ、予め定められた状態に遷移したことを条件に、前記ユーザによるジェスチャが検出されたと判断する、請求項4に記載のシステム。
- 前記画像取得モジュールは、前記検出モジュールによって前記ユーザによるジェスチャが検出されなかったことを条件に、前記ホットスポットの複数の画像を再度取得する、請求項4〜6のいずれか1項に記載のシステム。
- 前記ウィジェットはストライプを含み、前記検出モジュールは、ユーザが前記ストライプ上をスワイプまたはピンチするジェスチャを検出する、請求項4〜7のいずれか1項に記載のシステム。
- 前記ウィジェットは空白域を含むストライプを有し、前記検出モジュールは、ユーザが前記空白域を覆うユーザのジェスチャを検出する、請求項4〜7のいずれか1項に記載のシステム。
- 前記検出モジュールは、ユーザによるジェスチャを検出した場合に、更に、検出したジェスチャの速度及び方向の少なくとも1つに応じて、アプリケーション・プログラムに対してコマンドを出力する、請求項4〜9のいずれか1項に記載のシステム。
- コンピュータを、グラフィック・ユーザ・インターフェイスのウィジェットに対するユーザのジェスチャを、プロセッサ、メモリ、及びカメラを用いて検出するシステムとして機能させるプログラムであって、
前記コンピュータを、
前記ウィジェットの近傍に設けられ、予め定められた領域であるホットスポットの画像を、前記カメラを用いて複数取得するモジュールと、
取得された複数の前記画像において、ユーザが前記ホットスポットの少なくとも一部を遮蔽したことを特定する特定モジュールと、
複数の前記画像のうちの少なくとも2つにおいて前記ホットスポットの少なくとも一部を遮蔽したことが特定されたことに基づいて、前記ユーザによるジェスチャを検出する検出モジュールと、
として機能させるプログラム。 - グラフィック・ユーザ・インターフェイスのウィジェットに対するユーザのジェスチャを、プロセッサ、メモリ、及びカメラを用いて検出する方法であって、
前記プロセッサが、
前記ウィジェットの近傍に設けられ、予め定められた領域であるホットスポットの画像を、前記カメラを用いて複数取得し、
取得された複数の前記画像において、ユーザが前記ホットスポットの少なくとも一部を遮蔽したことを特定し、
複数の前記画像のうちの少なくとも2つにおいて前記ホットスポットの少なくとも一部を遮蔽したことが特定されたことに基づいて、前記ユーザによるジェスチャを検出する、
方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/865,990 | 2013-04-18 | ||
US13/865,990 US9317171B2 (en) | 2013-04-18 | 2013-04-18 | Systems and methods for implementing and using gesture based user interface widgets with camera input |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014211858A true JP2014211858A (ja) | 2014-11-13 |
Family
ID=51728717
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013241312A Pending JP2014211858A (ja) | 2013-04-18 | 2013-11-21 | ジェスチャに基づくユーザ・インターフェイスを提供するシステム、方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9317171B2 (ja) |
JP (1) | JP2014211858A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016167250A (ja) * | 2015-03-09 | 2016-09-15 | 富士ゼロックス株式会社 | 操作イベントを検出する方法、システム及びプログラム |
JP2017034580A (ja) * | 2015-08-05 | 2017-02-09 | ミネベア株式会社 | リモコン装置および可変機器システム |
JP2018181294A (ja) * | 2017-04-20 | 2018-11-15 | 富士ゼロックス株式会社 | カメラベースのグラフィカルユーザインタフェースを提供するための方法およびシステム、コンピュータシステム、プログラム |
JP2018181140A (ja) * | 2017-04-19 | 2018-11-15 | 東芝情報システム株式会社 | コマンド入力システム及びコマンド入力システム用プログラム |
US10354428B2 (en) | 2016-09-12 | 2019-07-16 | Seiko Epson Corporation | Display device and method of controlling display device |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9785240B2 (en) * | 2013-03-18 | 2017-10-10 | Fuji Xerox Co., Ltd. | Systems and methods for content-aware selection |
US11790154B2 (en) * | 2013-10-09 | 2023-10-17 | Interactive Solutions Corp. | Mobile terminal device, slide information managing system, and a control method of mobile terminal |
US10917767B2 (en) | 2016-03-31 | 2021-02-09 | Intel Corporation | IOT device selection |
US10097948B2 (en) | 2016-03-31 | 2018-10-09 | Intel Corporation | Point-and-connect bluetooth pairing |
CN106095276A (zh) * | 2016-06-20 | 2016-11-09 | 联想(北京)有限公司 | 一种电子设备及其控制方法 |
US11226704B2 (en) * | 2016-09-29 | 2022-01-18 | Sony Group Corporation | Projection-based user interface |
US10636063B1 (en) * | 2016-11-08 | 2020-04-28 | Wells Fargo Bank, N.A. | Method for an augmented reality value advisor |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000132306A (ja) * | 1998-10-21 | 2000-05-12 | Sony Corp | 情報入力装置、情報入力方法及びゲーム装置 |
JP2005141151A (ja) * | 2003-11-10 | 2005-06-02 | Seiko Epson Corp | プロジェクタおよびプロジェクタの機能設定方法 |
JP2009043157A (ja) * | 2007-08-10 | 2009-02-26 | Panasonic Electric Works Co Ltd | 画像表示装置 |
JP2009245392A (ja) * | 2008-03-31 | 2009-10-22 | Brother Ind Ltd | ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム |
JP2011129068A (ja) * | 2009-12-21 | 2011-06-30 | Panasonic Electric Works Co Ltd | 表示制御システムおよび表示制御方法 |
WO2011142051A1 (ja) * | 2010-05-10 | 2011-11-17 | 日本システムウエア株式会社 | マーカー検出システム、検出方法、プログラム及び該プログラムを格納したコンピュータ可読媒体 |
US20130022274A1 (en) * | 2011-07-22 | 2013-01-24 | Qualcomm Incorporated | Specifying values by occluding a pattern on a target |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5936615A (en) * | 1996-09-12 | 1999-08-10 | Digital Equipment Corporation | Image-based touchscreen |
US6252598B1 (en) * | 1997-07-03 | 2001-06-26 | Lucent Technologies Inc. | Video hand image computer interface |
US20050025347A1 (en) * | 2001-12-28 | 2005-02-03 | Sherif Makram-Ebeid | Medical viewing system having means for image adjustment |
US20090115915A1 (en) * | 2006-08-09 | 2009-05-07 | Fotonation Vision Limited | Camera Based Feedback Loop Calibration of a Projection Device |
US20080158686A1 (en) * | 2006-12-31 | 2008-07-03 | Michael Chechelniker | Surface reflective portable eyewear display system and methods |
US7958447B2 (en) * | 2008-05-23 | 2011-06-07 | International Business Machines Corporation | Method and system for page navigating user interfaces for electronic devices |
US8502789B2 (en) * | 2010-01-11 | 2013-08-06 | Smart Technologies Ulc | Method for handling user input in an interactive input system, and interactive input system executing the method |
US9965165B2 (en) * | 2010-02-19 | 2018-05-08 | Microsoft Technology Licensing, Llc | Multi-finger gestures |
US20110246875A1 (en) * | 2010-04-02 | 2011-10-06 | Symantec Corporation | Digital whiteboard implementation |
US8990732B2 (en) * | 2010-05-14 | 2015-03-24 | Sap Se | Value interval selection on multi-touch devices |
US9489040B2 (en) * | 2010-07-19 | 2016-11-08 | Smart Technologies Ulc | Interactive input system having a 3D input space |
US9250798B2 (en) * | 2011-01-24 | 2016-02-02 | Apple Inc. | Device, method, and graphical user interface with a dynamic gesture disambiguation threshold |
US9030425B2 (en) * | 2011-04-19 | 2015-05-12 | Sony Computer Entertainment Inc. | Detection of interaction with virtual object from finger color change |
-
2013
- 2013-04-18 US US13/865,990 patent/US9317171B2/en not_active Expired - Fee Related
- 2013-11-21 JP JP2013241312A patent/JP2014211858A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000132306A (ja) * | 1998-10-21 | 2000-05-12 | Sony Corp | 情報入力装置、情報入力方法及びゲーム装置 |
JP2005141151A (ja) * | 2003-11-10 | 2005-06-02 | Seiko Epson Corp | プロジェクタおよびプロジェクタの機能設定方法 |
JP2009043157A (ja) * | 2007-08-10 | 2009-02-26 | Panasonic Electric Works Co Ltd | 画像表示装置 |
JP2009245392A (ja) * | 2008-03-31 | 2009-10-22 | Brother Ind Ltd | ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム |
JP2011129068A (ja) * | 2009-12-21 | 2011-06-30 | Panasonic Electric Works Co Ltd | 表示制御システムおよび表示制御方法 |
WO2011142051A1 (ja) * | 2010-05-10 | 2011-11-17 | 日本システムウエア株式会社 | マーカー検出システム、検出方法、プログラム及び該プログラムを格納したコンピュータ可読媒体 |
US20130022274A1 (en) * | 2011-07-22 | 2013-01-24 | Qualcomm Incorporated | Specifying values by occluding a pattern on a target |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016167250A (ja) * | 2015-03-09 | 2016-09-15 | 富士ゼロックス株式会社 | 操作イベントを検出する方法、システム及びプログラム |
JP2017034580A (ja) * | 2015-08-05 | 2017-02-09 | ミネベア株式会社 | リモコン装置および可変機器システム |
US10083601B2 (en) | 2015-08-05 | 2018-09-25 | Minebea Co., Ltd. | Remote control device and apparatus controlling system |
US10354428B2 (en) | 2016-09-12 | 2019-07-16 | Seiko Epson Corporation | Display device and method of controlling display device |
JP2018181140A (ja) * | 2017-04-19 | 2018-11-15 | 東芝情報システム株式会社 | コマンド入力システム及びコマンド入力システム用プログラム |
JP2018181294A (ja) * | 2017-04-20 | 2018-11-15 | 富士ゼロックス株式会社 | カメラベースのグラフィカルユーザインタフェースを提供するための方法およびシステム、コンピュータシステム、プログラム |
Also Published As
Publication number | Publication date |
---|---|
US9317171B2 (en) | 2016-04-19 |
US20140313363A1 (en) | 2014-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2014211858A (ja) | ジェスチャに基づくユーザ・インターフェイスを提供するシステム、方法及びプログラム | |
US8291348B2 (en) | Computing device and method for selecting display regions responsive to non-discrete directional input actions and intelligent content analysis | |
JP6370893B2 (ja) | 検出されたジェスチャーに基づいてデバイス動作を実行するためのシステムおよび方法 | |
US10437360B2 (en) | Method and apparatus for moving contents in terminal | |
Shen et al. | Vision-based hand interaction in augmented reality environment | |
US20120092381A1 (en) | Snapping User Interface Elements Based On Touch Input | |
US20140118268A1 (en) | Touch screen operation using additional inputs | |
US20140282269A1 (en) | Non-occluded display for hover interactions | |
KR101608423B1 (ko) | 모바일 디바이스상의 풀 3d 상호작용 | |
US10268368B2 (en) | Method and systems for touch input | |
US10521101B2 (en) | Scroll mode for touch/pointing control | |
CA2847177A1 (en) | Semantic zoom gestures | |
US20140009395A1 (en) | Method and system for controlling eye tracking | |
US20130271369A1 (en) | Electronic system | |
US20140267049A1 (en) | Layered and split keyboard for full 3d interaction on mobile devices | |
US20220221970A1 (en) | User interface modification | |
US10394442B2 (en) | Adjustment of user interface elements based on user accuracy and content consumption | |
Liang et al. | Turn any display into a touch screen using infrared optical technique | |
US10222866B2 (en) | Information processing method and electronic device | |
US9235338B1 (en) | Pan and zoom gesture detection in a multiple touch display | |
Ballagas et al. | Mobile Phones as Pointing Devices. | |
US20200042167A1 (en) | Electronic device and method for providing virtual input tool | |
US20150062038A1 (en) | Electronic device, control method, and computer program product | |
JP6699406B2 (ja) | 情報処理装置、プログラム、位置情報作成方法、情報処理システム | |
CN113485590A (zh) | 触控操作方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160722 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170720 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170721 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20171121 |