JP2015203889A - 情報処理端末、情報処理方法及びコンピュータプログラム - Google Patents
情報処理端末、情報処理方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2015203889A JP2015203889A JP2014081476A JP2014081476A JP2015203889A JP 2015203889 A JP2015203889 A JP 2015203889A JP 2014081476 A JP2014081476 A JP 2014081476A JP 2014081476 A JP2014081476 A JP 2014081476A JP 2015203889 A JP2015203889 A JP 2015203889A
- Authority
- JP
- Japan
- Prior art keywords
- touch
- user
- real
- character string
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 28
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000004590 computer program Methods 0.000 title claims description 3
- 238000003384 imaging method Methods 0.000 claims abstract description 32
- 238000012937 correction Methods 0.000 claims description 21
- 238000000034 method Methods 0.000 description 26
- 210000003128 head Anatomy 0.000 description 19
- 230000008569 process Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 13
- 230000003190 augmentative effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 239000011521 glass Substances 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 7
- 239000004973 liquid crystal related substance Substances 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 3
- 210000001061 forehead Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 229910005580 NiCd Inorganic materials 0.000 description 1
- 229910005813 NiMH Inorganic materials 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
- G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
- G06F3/0233—Character input methods
- G06F3/0237—Character input methods using prediction or retrieval techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Input From Keyboards Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
実施形態1では、本発明を情報処理端末の一例としてのHMDに適用した例について説明する。
HMDには、透明または半透明のハーフミラーにグラフィックスを投影する、いわゆるグラス・シースルー方式と、撮像装置が撮像している現実世界の光景にグラフィックスを電気的に重畳する、いわゆるビデオ・シースルー方式がある。両者のハードウェア構成における相違については後述する。
このHMD100は、当該HMD100を使用者の頭部に装着する頭部装着部101と、使用者の頭部前方の映像を撮像する撮像部102と、グラフィックスを表示する表示部104とを備えている。
HMD100は、さらに、頭部装着部101を含む本体内部に埋め込まれ、前述の図1中には外観としては図示されない表示制御部130、撮像制御部140、CPU150、メモリ160、電源部170、通信部180、タッチ認識部190とを備えている。
タッチ認識部190は、実在オブジェクトに対する使用者のタッチ操作を認識する。タッチ認識部190は、たとえばCPU150がメモリ160に記憶されたタッチ認識プログラムに基づき撮像部102の撮像映像を演算処理することにより、ソフトウェア的に実現される。あるいは、後述する静電容量の変化を計測する方法による場合には、静電容量測定計等により構成される。
実在オブジェクトを触れたこと(以下、「タッチダウン」と称する)。実在オブジェクトを触れている状態であること(以下、「タッチオン」と称する)。実在オブジェクトを触れたまま移動していること(以下、「ムーブ」と称する)。実在オブジェクトを2本の指で触れて、その間隔を狭めるように動かすこと(以下、「ピンチイン」と称する)。実在オブジェクトを2本の指で触れて、その間隔を広げるように動かすこと(以下、「ピンチアウト」と称する)。実在オブジェクトへ触れていた指を離したこと(以下、「タッチアップ」と称する)。実在オブジェクトに触れていない状態(以下、「タッチオフ」と称する)。
実施形態2では、本発明の情報処理端末の一例としてのHMDが、現実世界の実在オブジェクトに重畳して使用者によるタッチを促す表示をする。そして、当該実在オブジェクトに対する使用者のタッチを認識したとき、その認識したタッチされた位置(タッチ位置)に基づきグラフィカル・ユーザー・インターフェースの表示位置を決定する。なお、本実施形態のHMDは、前述の図1及び図2に示す実施形態1のHMD100と同様に構成されている。
使用者により電源が投入されると、本実施形態に係るHMDは、撮像部102により現実空間の撮像を開始する(S401)。そして、CPU150は、所定の要件により、使用者の実在オブジェクトに対するタッチ操作を本実施形態のHMDへの指示・操作として受け付ける処理を開始するかどうかを判定する(S402)。所定の要件とは、たとえば、位置・角度センサー等により本実施形態のHMDを装着した使用者が自ら移動していない(歩行状態でない)ことを検知した場合、等である。当該処理を開始すると判定したときは、CPU150は、まず、スクリーン(ハーフミラー)110L,110R上の所定の位置座標に、使用者の実在オブジェクト上へのタッチを促すグラフィックスの表示を行わせる(S403)。
502は、使用者Uから見た拡張現実表示の様態である。実在オブジェクトであるテーブル5023に、使用者のタッチを促すグラフィックス5022を重畳して表示している。
503は、同じく使用者Uから見た拡張現実表示の様態であり、使用者Uが手指による実在オブジェクトへのタッチにより、あたかもグラフィックス5032をタッチしようとしている様子を表している。
504は、501と同様の視点から503の状況を見た様態を表している。
実施形態3では、本発明の情報処理端末の一例としてのHMDが、仮想オブジェクトの画像である複数のキーを配置したキーボードを表示(キーボード表示)し、表示したキーボードに対する使用者のタッチを認識する。そして、当該タッチの位置(タッチ位置)に対応するキーのキーコードより文字列を生成(文字列生成)し、その生成された文字列が、意味を有する有意味文字列か、意味を有しない無意味文字列かを判定(意味判定)する。無意味文字列と判定した場合には、文字列に含まれる各文字を、それぞれ前記キーボード上で所定のシフト量だけずらして得られる1以上の修正候補文字列を生成(修正候補生成)する。さらに、生成された修正候補文字列が有意味文字列となるときのシフト量に応じて、前記キーボードの、各キーに対応するタッチ位置の割り当てを変更(タッチ位置割り当て)する。なお、本実施形態のHMDは、前述の図1及び図2に示す実施形態1のHMD100と同様に構成されている。
すなわち、本実施形態のHMDでは、ユーザのタッチ操作によって得られたキーコードに対応する文字列が無意味文字列である場合には、文字列に含まれる各文字を、前記キーボード上で所定のシフト量だけずらして得られる1以上の修正候補文字列を生成する。さらに、意味のある文字列か否かに応じて、生成された修正候補文字列が有意味文字列となるときのシフト量に応じて、前記キーボードの、各キーに対応するタッチ位置の割り当てを変更する。
602は、使用者Uが表示部104を介して見た拡張現実表示の様態を表している。この態様では、実在オブジェクトであるテーブル6023に、表示部104によってキーボードのグラフィックス6022を重畳して表示した例について表している。
ステップS701において、使用者のタッチ操作を検出すると、CPU150は、ステップS702において、所定の条件による文字列判定タイミングかを判断する。文字列判定タイミングでない場合は、CPU150は、入力されたキーコードをメモリ160の一時蓄積領域に格納する(S703)。
CPU150は、修正候補テーブル内の修正候補文字列について、前述の辞書データに登録されている語(有意味文字列)とのマッチングをとる。同図中に示す場合では、「シフト量」が「1文字右」の文字列“konnnitiha”についてマッチング量が最大となるので、CPU150は、修正文字列“konnnitiha” を取得し、そのときの「シフト量」として「1文字右」を取得する。そこで、CPU150は、撮像された映像中のタッチ位置に対応して発生させるキーコードを当該「シフト量」分ずらして再度割り当てる。これにより、撮像された映像中のタッチ位置に対応するキーのポジションと、使用者から見たときのキーボードの表示ポジションの「ずれ」を解消することができる。
本発明の目的は、以下の処理を実行することによっても達成される。すなわち、上述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置が備えるコンピュータ(またはCPUやMPU等)が記憶媒体等から読み出して実行する処理である。この場合、記憶媒体等から読み出されたプログラム自体が上述した実施形態の機能を実現することになり、そのプログラムも本発明を構成することになる。
110L,110R スクリーン
112L,112R 入射窓
114L,114R カラー液晶ディスプレイ
115L,115R 光学プリズム
116L,116R 撮像センサー
117L,117R 光学プリズム
Claims (5)
- 使用者の頭部前方の映像を撮像する撮像手段と、
現実世界の光景に仮想オブジェクトの画像を重畳して表示する表示手段と、
現実世界の実在のオブジェクトに対する使用者のタッチを認識するタッチ認識手段と、
前記表示手段により現実世界の実在オブジェクトに重畳してタッチ操作のためのグラフィカル・ユーザー・インターフェースを表示させる制御手段と、
前記タッチ認識手段により前記実在オブジェクトに対する使用者のタッチを認識したとき、前記実在オブジェクトに重畳表示している前記グラフィカル・ユーザー・インターフェースへのタッチ操作があったものと判定する判定手段と、
を有することを特徴とする情報処理端末。 - 前記制御手段は、
前記表示手段により現実世界の実在オブジェクトに重畳して使用者によるタッチを促す表示をさせ、
前記タッチ認識手段により前記実在オブジェクトに対する使用者のタッチを認識したとき、その認識したタッチ位置に基づきグラフィカル・ユーザー・インターフェースの表示位置を決定する
ことを特徴とする請求項1に記載の情報処理端末。 - 前記表示手段は、
複数のキーを配置したキーボードを表示するキーボード表示手段を備え、
前記タッチ認識手段は、
前記表示したキーボードに対する使用者のタッチを認識し、当該タッチ位置に対応するキーのキーコードより文字列を生成する文字列生成手段を備え、
前記判定手段は、
前記生成された文字列が、意味を有する有意味文字列か、意味を有しない無意味文字列かを判定する意味判定手段と、
無意味文字列と判定された文字列に含まれる各文字を、それぞれ前記キーボード上で所定のシフト量だけずらして得られる1以上の修正候補文字列を生成する修正候補生成手段と、
前記生成された修正候補文字列が有意味文字列となるときのシフト量に応じて、前記キーボードの、各キーに対応するタッチ位置の割り当てを変更するタッチ位置割り当て変更手段と
を有することを特徴とする、請求項2に記載の情報処理端末。 - 使用者の頭部前方の映像を撮像する撮像手段と、実世界の光景に仮想オブジェクトの画像を重畳して表示する表示手段と、現実世界の実在のオブジェクトに対する使用者のタッチを認識するタッチ認識手段とを有する情報処理端末における情報処理方法であって、
前記表示手段により現実世界の実在オブジェクトに重畳してタッチ操作のためのグラフィカル・ユーザー・インターフェースを表示させる制御工程と、
前記タッチ認識手段により前記実在オブジェクトに対する使用者のタッチを認識したとき、前記実在オブジェクトに重畳表示している前記グラフィカル・ユーザー・インターフェースへのタッチ操作があったものと判定する判定工程と、
を有することを特徴とする情報処理方法。 - コンピュータを、請求項1乃至3の何れか1項に記載の情報処理端末が有する各手段として機能させるためのコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014081476A JP6362391B2 (ja) | 2014-04-10 | 2014-04-10 | 情報処理端末、情報処理方法及びコンピュータプログラム |
US14/680,916 US9696855B2 (en) | 2014-04-10 | 2015-04-07 | Information processing terminal, information processing method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014081476A JP6362391B2 (ja) | 2014-04-10 | 2014-04-10 | 情報処理端末、情報処理方法及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015203889A true JP2015203889A (ja) | 2015-11-16 |
JP6362391B2 JP6362391B2 (ja) | 2018-07-25 |
Family
ID=54265083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014081476A Active JP6362391B2 (ja) | 2014-04-10 | 2014-04-10 | 情報処理端末、情報処理方法及びコンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9696855B2 (ja) |
JP (1) | JP6362391B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2013069447A1 (ja) * | 2011-11-08 | 2015-04-02 | ソニー株式会社 | センサ装置、解析装置および記憶媒体 |
JPWO2019176009A1 (ja) * | 2018-03-14 | 2021-02-18 | マクセル株式会社 | 携帯情報端末 |
JPWO2020039568A1 (ja) * | 2018-08-23 | 2021-08-12 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
JP2022115022A (ja) * | 2021-01-27 | 2022-08-08 | 藤沼 伊代子 | エア入力システム |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150212647A1 (en) * | 2012-10-10 | 2015-07-30 | Samsung Electronics Co., Ltd. | Head mounted display apparatus and method for displaying a content |
US10591580B2 (en) * | 2014-09-23 | 2020-03-17 | Hewlett-Packard Development Company, L.P. | Determining location using time difference of arrival |
US10409485B2 (en) * | 2014-10-09 | 2019-09-10 | Touchplus Information Corp. | Adaptive user input device |
US9857863B2 (en) * | 2014-10-20 | 2018-01-02 | Seiko Epson Corporation | Display apparatus, control method for display apparatus, and program that can switch an operation mode of a display apparatus from a normal operation mode to a battery replacement mode |
CN107683497B (zh) | 2015-06-15 | 2022-04-08 | 索尼公司 | 信息处理设备、信息处理方法及程序 |
US10324293B2 (en) * | 2016-02-23 | 2019-06-18 | Compedia Software and Hardware Development Ltd. | Vision-assisted input within a virtual world |
CN105955453A (zh) * | 2016-04-15 | 2016-09-21 | 北京小鸟看看科技有限公司 | 一种3d沉浸式环境下的信息输入方法 |
JP6162299B1 (ja) * | 2016-07-28 | 2017-07-12 | レノボ・シンガポール・プライベート・リミテッド | 情報処理装置、入力切替方法、及びプログラム |
US10650621B1 (en) | 2016-09-13 | 2020-05-12 | Iocurrents, Inc. | Interfacing with a vehicular controller area network |
CN108121438B (zh) * | 2016-11-30 | 2021-06-01 | 成都理想境界科技有限公司 | 基于头戴式显示设备的虚拟键盘输入方法及装置 |
KR101767569B1 (ko) * | 2017-02-20 | 2017-08-11 | 주식회사 유조이월드 | 디스플레이되는 영상컨텐츠와 관련된 증강현실 인터랙티브 시스템 및 상기 시스템의 운영방법 |
US10254846B1 (en) * | 2017-03-15 | 2019-04-09 | Meta Company | Systems and methods to facilitate interactions with virtual content in an augmented reality environment |
US20180284914A1 (en) * | 2017-03-30 | 2018-10-04 | Intel Corporation | Physical-surface touch control in virtual environment |
CN109643182B (zh) * | 2017-12-29 | 2022-01-07 | 达闼机器人有限公司 | 信息处理方法、装置、云处理设备及计算机程序产品 |
US11614793B2 (en) * | 2018-02-28 | 2023-03-28 | Logitech Europe S.A. | Precision tracking of user interaction with a virtual input device |
JP7109540B2 (ja) * | 2018-05-30 | 2022-07-29 | 株式会社ソニー・インタラクティブエンタテインメント | 画像表示システム |
CN109508093B (zh) * | 2018-11-13 | 2022-08-09 | 江苏视睿迪光电有限公司 | 一种虚拟现实交互方法及装置 |
US11749018B1 (en) | 2019-05-28 | 2023-09-05 | Apple Inc. | Eye enrollment for head-mounted enclosure |
CN110413111B (zh) * | 2019-07-09 | 2021-06-01 | 南京大学 | 一种目标键盘追踪系统及方法 |
US11144115B2 (en) * | 2019-11-01 | 2021-10-12 | Facebook Technologies, Llc | Porting physical object into virtual reality |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006086934A (ja) * | 2004-09-17 | 2006-03-30 | Canon Inc | キー入力装置、その制御方法およびキー入力制御プログラム |
WO2012046295A1 (ja) * | 2010-10-05 | 2012-04-12 | 富士通株式会社 | 情報処理装置及び入力装置の表示方法 |
JP2012174208A (ja) * | 2011-02-24 | 2012-09-10 | Sony Corp | 情報処理装置、情報処理方法、プログラム及び端末装置 |
JP2013084144A (ja) * | 2011-10-11 | 2013-05-09 | Yahoo Japan Corp | 情報入力装置、方法及びプログラム |
JP2013114375A (ja) * | 2011-11-28 | 2013-06-10 | Seiko Epson Corp | 表示システム、及び操作入力方法 |
US8482527B1 (en) * | 2012-09-14 | 2013-07-09 | Lg Electronics Inc. | Apparatus and method of providing user interface on head mounted display and head mounted display thereof |
JP2013225225A (ja) * | 2012-04-23 | 2013-10-31 | Kyocera Corp | タッチ入力装置,プログラムおよび方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060007056A1 (en) * | 2004-07-09 | 2006-01-12 | Shu-Fong Ou | Head mounted display system having virtual keyboard and capable of adjusting focus of display screen and device installed the same |
US20150121287A1 (en) * | 2006-07-03 | 2015-04-30 | Yoram Ben-Meir | System for generating and controlling a variably displayable mobile device keypad/virtual keyboard |
US20100177035A1 (en) * | 2008-10-10 | 2010-07-15 | Schowengerdt Brian T | Mobile Computing Device With A Virtual Keyboard |
JP5330934B2 (ja) * | 2009-08-27 | 2013-10-30 | 京セラ株式会社 | 携帯電子機器及び携帯電子機器の表示方法 |
US20120120103A1 (en) * | 2010-02-28 | 2012-05-17 | Osterhout Group, Inc. | Alignment control in an augmented reality headpiece |
EP2545426A4 (en) * | 2010-03-12 | 2017-05-17 | Nuance Communications, Inc. | Multimodal text input system, such as for use with touch screens on mobile phones |
CN102812415A (zh) * | 2010-03-26 | 2012-12-05 | 日本电气株式会社 | 具有触摸面板功能的移动终端及其输入方法 |
US9256363B2 (en) * | 2010-03-29 | 2016-02-09 | Kyocera Corporation | Information processing device and character input method |
CN102062946A (zh) * | 2010-11-05 | 2011-05-18 | 鸿富锦精密工业(深圳)有限公司 | 具有通信功能的眼镜式显示装置 |
US8228315B1 (en) * | 2011-07-12 | 2012-07-24 | Google Inc. | Methods and systems for a virtual input device |
US9069164B2 (en) * | 2011-07-12 | 2015-06-30 | Google Inc. | Methods and systems for a virtual input device |
JP2013172432A (ja) | 2012-02-23 | 2013-09-02 | Panasonic Corp | 機器制御装置、機器制御方法、機器制御プログラム、及び集積回路 |
US20140059472A1 (en) * | 2012-08-24 | 2014-02-27 | Recon Instruments Inc. | Methods and systems for controlling electronic devices |
WO2015052588A2 (en) * | 2013-10-10 | 2015-04-16 | Itay Katz | Systems, devices, and methods for touch-free typing |
-
2014
- 2014-04-10 JP JP2014081476A patent/JP6362391B2/ja active Active
-
2015
- 2015-04-07 US US14/680,916 patent/US9696855B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006086934A (ja) * | 2004-09-17 | 2006-03-30 | Canon Inc | キー入力装置、その制御方法およびキー入力制御プログラム |
WO2012046295A1 (ja) * | 2010-10-05 | 2012-04-12 | 富士通株式会社 | 情報処理装置及び入力装置の表示方法 |
JP2012174208A (ja) * | 2011-02-24 | 2012-09-10 | Sony Corp | 情報処理装置、情報処理方法、プログラム及び端末装置 |
JP2013084144A (ja) * | 2011-10-11 | 2013-05-09 | Yahoo Japan Corp | 情報入力装置、方法及びプログラム |
JP2013114375A (ja) * | 2011-11-28 | 2013-06-10 | Seiko Epson Corp | 表示システム、及び操作入力方法 |
JP2013225225A (ja) * | 2012-04-23 | 2013-10-31 | Kyocera Corp | タッチ入力装置,プログラムおよび方法 |
US8482527B1 (en) * | 2012-09-14 | 2013-07-09 | Lg Electronics Inc. | Apparatus and method of providing user interface on head mounted display and head mounted display thereof |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2013069447A1 (ja) * | 2011-11-08 | 2015-04-02 | ソニー株式会社 | センサ装置、解析装置および記憶媒体 |
JPWO2019176009A1 (ja) * | 2018-03-14 | 2021-02-18 | マクセル株式会社 | 携帯情報端末 |
JP7155242B2 (ja) | 2018-03-14 | 2022-10-18 | マクセル株式会社 | 携帯情報端末 |
JPWO2020039568A1 (ja) * | 2018-08-23 | 2021-08-12 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
JP7317024B2 (ja) | 2018-08-23 | 2023-07-28 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
JP2022115022A (ja) * | 2021-01-27 | 2022-08-08 | 藤沼 伊代子 | エア入力システム |
Also Published As
Publication number | Publication date |
---|---|
JP6362391B2 (ja) | 2018-07-25 |
US9696855B2 (en) | 2017-07-04 |
US20150293644A1 (en) | 2015-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6362391B2 (ja) | 情報処理端末、情報処理方法及びコンピュータプログラム | |
US10585288B2 (en) | Computer display device mounted on eyeglasses | |
US10133407B2 (en) | Display apparatus, display system, method for controlling display apparatus, and program | |
CN109739361B (zh) | 基于眼睛跟踪的可见度提高方法和电子装置 | |
CN106066537B (zh) | 头戴式显示器和头戴式显示器的控制方法 | |
CN101379455B (zh) | 输入装置及其方法 | |
JP6341755B2 (ja) | 情報処理装置、方法及びプログラム並びに記録媒体 | |
JP2016031761A5 (ja) | ||
JP2015192436A (ja) | 送信端末、受信端末、送受信システム、およびそのプログラム | |
JP2012108723A (ja) | 指示受付装置 | |
KR101709611B1 (ko) | 디스플레이와 카메라가 장착된 스마트 안경과 이를 이용한 공간 터치 입력 및 보정 방법 | |
JP6303274B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
JP2009104429A (ja) | ヘッドマウントディスプレイ装置及び携帯装置 | |
KR102159767B1 (ko) | 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치 | |
US20220113813A1 (en) | Glasses-Type Terminal | |
JP2009129021A (ja) | 情報入力システムおよび情報入力方法 | |
JP2016126687A (ja) | ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム | |
KR102312601B1 (ko) | 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치 | |
JP6394108B2 (ja) | 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム | |
JP7031112B1 (ja) | 眼鏡型端末 | |
JP7080448B1 (ja) | 端末装置 | |
JP7478902B2 (ja) | ウェアラブル端末装置、プログラムおよび表示方法 | |
JP6669183B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
KR20210125465A (ko) | 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치 | |
JP6065960B2 (ja) | 頭部装着型表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170404 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180529 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180626 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6362391 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D03 |