JP2014531662A - 拡張現実システムのためのタッチフリーインターフェース - Google Patents
拡張現実システムのためのタッチフリーインターフェース Download PDFInfo
- Publication number
- JP2014531662A JP2014531662A JP2014531374A JP2014531374A JP2014531662A JP 2014531662 A JP2014531662 A JP 2014531662A JP 2014531374 A JP2014531374 A JP 2014531374A JP 2014531374 A JP2014531374 A JP 2014531374A JP 2014531662 A JP2014531662 A JP 2014531662A
- Authority
- JP
- Japan
- Prior art keywords
- predefined
- gesture
- icon
- external device
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 103
- 238000004590 computer program Methods 0.000 claims abstract description 12
- 238000010295 mobile communication Methods 0.000 claims description 40
- 230000000007 visual effect Effects 0.000 claims description 37
- 238000004891 communication Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 19
- 230000009471 action Effects 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 9
- 230000003213 activating effect Effects 0.000 claims description 6
- 238000010079 rubber tapping Methods 0.000 claims description 6
- 230000001276 controlling effect Effects 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 5
- 230000002596 correlated effect Effects 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 4
- 230000007480 spreading Effects 0.000 claims description 4
- 230000000977 initiatory effect Effects 0.000 claims 1
- 210000003811 finger Anatomy 0.000 description 32
- 210000004247 hand Anatomy 0.000 description 9
- 238000001994 activation Methods 0.000 description 8
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 241000699666 Mus <mouse, genus> Species 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
拡張現実のための主要なハードウェア構成要素は、プロセッサ、ディスプレイ、センサ、および入力デバイスである。これらの要素、具体的には、CPU、ディスプレイ、カメラ、および加速度計、GPS、または固体コンパス等のMEMSセンサは、それらが拡張現実プラットフォームとして機能することを可能にする、スマートフォン等の携帯デバイスの中に存在する。
没入型拡張現実エクスペリエンスは、一般的にゴーグルまたはヘルメットの形態の、ヘッドマウントディスプレイを使用して提供される。ヘッドマウントディスプレイによって、仮想ビジュアルオブジェクトが、現実のシーンのユーザの視界の上に重ね合わされる。ヘッドマウントディスプレイは、システムが仮想情報を物理界と合わせることを可能にするセンサによって追跡される。追跡は、例えば、デジタルカメラもしくは他の光学センサ、加速度計、GPS、ジャイロスコープ、固体コンパス、RFID、および無線センサ等の技術のうちの任意の1つ以上を使用して行われ得る。ヘッドマウントディスプレイは、光学シースルーまたはビデオシースルーのいずれかである。光学シースルーは、画像にレンズを通過させ、情報がユーザの眼の中へ反射されるようにオーバーレイするように、半透鏡等の解決策、およびデジタル情報および画像を直接的または間接的にユーザの網膜に表示する透明なLCDプロジェクターを利用する。
(a)1つ以上の画像センサから現実のシーンの画像を取得することと、
(b)1つ以上の状態センサから、画像センサの配向および場所データのうちの一方または双方を取得することと、
(c)1つまたは複数の画像センサによって取得される現実のシーンの画像の中で、予め定義されたポインティングオブジェクトが予め定義されたジェスチャーを行っている現実のオブジェクトを識別することとであって、ジェスチャー検出モジュールが、1つ以上の状態センサによって提供されるデータを利用する、識別することと、
(d)識別されたオブジェクトと関連付けられるデータを視聴デバイスのディスプレイ上に提示することと、を含む。
拡張現実デバイスと関連付けられる画像センサから、環境と関連付けられる画像情報を受け取ることと、
環境に関連する拡張情報を、デバイスと関連付けられるディスプレイ上に表示することと、
画像情報の中で、デバイスのユーザによる手のジェスチャーを認識することと、
手のジェスチャーを拡張情報と相関させることと、
相関させることに基づいて、表示された拡張情報を変更することと、を含む。
本発明を理解し、それが実際にどのように実行され得るのかを確認するために、ここで、添付図面を参照して、実施形態を単に限定的でない実施例として説明する。
Claims (56)
- 拡張現実のための方法であって、
(a)1つ以上の画像センサから現実のシーンの画像を取得することと、
(b)1つ以上の状態センサから、前記画像センサの配向および場所データのうちの一方または双方を取得することと、
(c)1つまたは複数の前記画像センサによって取得される前記現実のシーンの前記画像の中で、予め定義されたポインティングオブジェクトが予め定義されたジェスチャーを行っている現実のオブジェクトを識別することとであって、ジェスチャー検出モジュールが、前記1つ以上の状態センサによって提供されるデータを利用する、識別することと、
(d)前記識別されたオブジェクトと関連付けられるデータを視聴デバイスのディスプレイ上に提示することと、
を含む、方法。 - 前記状態センサの1つ以上は、光学センサ、加速度計、GPS、ジャイロスコープ、コンパス、磁気センサ、地球磁場に対する前記デバイスの方向を示すセンサ、重力センサ、およびRFID検出器から選択される、請求項1に記載の方法。
- 前記識別されたオブジェクトと関連付けられる前記データは、前記現実のオブジェクトと関連付けられるデータについてメモリを検索することによって取得される、請求項1または2に記載の方法。
- 前記予め定義されたオブジェクトは、手、手の一部、両手、両手の一部、指、指の一部、または指の先端である、請求項1〜3のいずれか1項に記載の方法。
- 前記視聴デバイスは、ユーザによって装着されるように構成される、請求項1〜4のいずれか1項に記載の方法。
- 前記視聴デバイスは、眼鏡またはゴーグルである、請求項5に記載の方法。
- 前記視聴デバイスは、モバイル通信デバイスに組み込まれる、請求項1〜6のいずれか1項に記載の方法。
- 1つまたは複数の前記画像センサによって取得される前記現実のシーンの前記画像の中で識別する前記ステップは、前記画像センサによって取得される画像の中の前記予め定義されたオブジェクトの場所(X,Y)を決定し、前記センサによって提供される前記表示デバイスの場所および配向のうちの一方または双方を決定することを含む、請求項1〜7のいずれか1項に記載の方法。
- 外部のデバイスまたはウェブサイトと通信することをさらに含む、請求項1〜8のいずれか1項に記載の方法。
- 前記画像センサは、カメラ、光センサ、赤外線センサ、超音波センサ、近接センサ、CMOS画像センサ、短波長赤外線(SWIR)画像センサ、または反射センサ、赤外線センサ、超音波センサ、近接センサ、および反射センサから選択される、請求項1〜9のいずれか1項に記載の方法。
- メッセージを、前記外部デバイス上で動作するアプリケーション、前記外部デバイス上で動作するサービス、前記外部デバイス上で動作するオペレーティングシステム、前記外部デバイス上で動作するプロセス、前記外部デバイスのプロセッサ上で動作する1つ以上のアプリケーション、前記外部デバイスのバックグラウンドで動作するソフトウェアプログラム、または前記外部デバイス上で動作する1つ以上のサービスに送ることをさらに含む、請求項9に記載の方法。
- メッセージを、前記モバイル通信デバイス上で動作するアプリケーション、前記モバイル通信デバイス上で動作するサービス、前記モバイル通信デバイス上で動作するオペレーティングシステム、前記モバイル通信デバイス上で動作するプロセス、前記モバイル通信デバイスのプロセッサ上で動作する1つ以上のアプリケーション、前記モバイル通信デバイスのバックグラウンドで動作するソフトウェアプログラム、または前記モバイル通信デバイス上で動作する1つ以上のサービスに送ることをさらに含む、請求項7に記載の方法。
- 画像の中で識別される現実のオブジェクトに関連するデータを要求するメッセージを、前記外部デバイス上で動作するアプリケーション、前記外部デバイス上で動作するサービス、前記外部デバイス上で動作するオペレーティングシステム、前記外部デバイス上で動作するプロセス、前記外部デバイスのプロセッサ上で動作する1つ以上のアプリケーション、前記外部デバイスのバックグラウンド上で動作するソフトウェアプログラムから送ること、または前記外部デバイス上で動作する1つ以上のサービスに送ることをさらに含む、請求項9に記載の方法。
- 画像の中で識別される現実のオブジェクトに関連するデータを要求するメッセージを、前記モバイル通信デバイス上で動作するアプリケーション、前記モバイル通信デバイス上で動作するサービス、前記モバイル通信デバイス上で動作するオペレーティングシステム、前記モバイル通信デバイス上で動作するプロセス、前記モバイル通信デバイスのプロセッサ上で動作する1つ以上のアプリケーション、前記モバイル通信デバイスのバックグラウンドで動作するソフトウェアプログラムから送ること、または前記モバイル通信デバイス上で動作する1つ以上のサービスに送ることをさらに含む、請求項7に記載の方法。
- 前記外部デバイスまたはウェブサイトに対するメッセージは、コマンドである、請求項11に記載の方法。
- 前記コマンドは、前記外部デバイスまたはウェブサイト上でアプリケーションを動作させるためのコマンド、前記外部デバイスまたはウェブサイト上で動作するアプリケーションを停止するためのコマンド、前記外部デバイスまたはウェブサイト上で動作するサービスを起動させるためのコマンド、前記外部デバイスまたはウェブサイト上で動作するサービスを停止するためのコマンド、または画像の中で識別される現実のオブジェクトに関連するデータを送るためのコマンドから選択される、請求項15に記載の方法。
- 前記モバイル通信デバイスに対するメッセージは、コマンドである、請求項12に記載の方法。
- 前記コマンドは、アプリケーションを前記モバイル通信デバイス上で動作させるためのコマンド、前記モバイル通信デバイスまたはウェブサイト上で動作するアプリケーションを停止するためのコマンド、前記モバイル通信デバイス上で動作するサービスを起動させるためのコマンド、前記モバイル通信デバイス上で動作するサービスを停止するためのコマンド、または画像の中で識別される現実のオブジェクトに関連するデータを送るためのコマンドから選択される、請求項17に記載の方法。
- 前記外部デバイスまたはウェブサイトから、画像の中で識別される現実のオブジェクトに関連するデータを受け取り、前記受け取ったデータをユーザに提示することをさらに含む、請求項13に記載の方法。
- 前記外部デバイスまたはウェブサイトとの通信は、通信ネットワークを通じたものである、請求項9、11、または13のいずれか1項に記載の方法。
- 前記メッセージは、前記外部デバイスの表示デバイス上に表示される仮想キーを押し下げること、選択カルーセルを回転させること、デスクトップ間で切り替えること、前記外部デバイス上で予め定義されたソフトウェアアプリケーションを動作させること、前記外部デバイス上のアプリケーションをオフにすること、スピーカーをオンまたはオフにすること、音量を上げるまたは下げること、前記外部デバイスをロックすること、前記外部デバイスをロック解除すること、メディアプレーヤーで別のトラックに、またはIPTVチャンネル間でスキップすること、ナビゲーションアプリケーションを制御すること、通話を開始すること、通話を終了すること、通知を提示すること、通知を表示すること、写真または音楽アルバムギャラリーの中をナビゲートすること、ウェブページをスクロールすること、電子メールを提示すること、1つ以上の文書または地図を提示すること、ゲームのアクションを制御すること、地図を指し示すこと、地図または画像を拡大/縮小すること、画像に色を塗ること、起動可能なアイコンを掴み、起動可能なアイコンを前記表示デバイスから引き出すこと、起動可能なアイコンを回転させること、前記外部デバイス上でタッチコマンドをエミュレートすること、1つ以上のマルチタッチコマンド、タッチジェスチャーコマンド、タイピングを行うこと、一時停止または再生するために、表示映像をクリックすること、フレームにタグ付けすること、または前記映像からフレームを取り込むこと、着信メッセージを提示すること、着信に応答すること、着信を消音または拒否すること、着信リマインダを開くこと、ネットワークコミュニティサービスから受け取った通知を提示すること、前記外部デバイスによって生成された通知を提示すること、予め定義されたアプリケーションを開くこと、前記外部デバイスをロックモードから切り替え、最近の通話アプリケーションを開くこと、前記外部デバイスをロックモードから切り替え、オンラインサービスアプリケーションまたはブラウザを開くこと、前記外部デバイスをロックモードから切り替え、電子メールアプリケーションを開くこと、前記外部デバイスをロックモードから切り替え、オンラインサービスアプリケーションまたはブラウザを開くこと、前記デバイスをロックモードから切り替え、カレンダアプリケーションを開くこと、前記デバイスをロックモードから切り替え、リマインダアプリケーションを開くこと、前記デバイスをロックモードから切り替え、ユーザによって設定される、前記外部デバイスの製造業者によって設定される、もしくはサービスオペレータによって設定される、予め定義されたアプリケーションを開くこと、起動可能なアイコンを起動させること、メニューアイテムを選択すること、ディスプレイ上のポインタを移動させること、タッチフリーマウス、ディスプレイ上の起動可能なアイコンを操作すること、ディスプレイ上の情報を変更すること、から選択される、前記外部デバイスに対するコマンドである、請求項11に記載の方法。
- 前記予め定義されたジェスチャーは、スワイプ動作、2本の指の摘み動作、左から右に指し示すジェスチャー、右から左に指し示すジェスチャー、上方を指し示すジェスチャー、下方を指し示すジェスチャー、押すジェスチャー、握った拳を開くこと、握った拳を開き、前記画像センサに向かって移動させること、タップするジェスチャー、手を振るジェスチャー、拍手するジェスチャー、逆の拍手するジェスチャー、手を拳に閉じること、摘むジェスチャー、逆の摘むジェスチャー、手の指を広げるジェスチャー、逆の手の指を広げるジェスチャー、起動可能なアイコンを指し示すこと、予め定義された時間にわたって起動オブジェクトを保持すること、起動可能なアイコンをクリックすること、起動可能なアイコンをダブルクリックすること、起動可能なアイコンを右側からクリックすること、起動可能なアイコンを左側からクリックすること、起動可能なアイコンを底部からクリックすること、起動可能なアイコンを頂部からクリックすること、起動可能なアイコン、オブジェクトを掴むこと、右から起動可能なアイコン、オブジェクトに向かってジェスチャーをすること、左から起動可能なアイコンに向かってジェスチャーをすること、左から起動可能なアイコンを通過すること、前記オブジェクトを押すこと、拍手すること、起動可能なアイコンの上で手を振ること、吹き飛ばすジェスチャーを行うこと、タップするジェスチャーを行うこと、起動可能なアイコンの上で時計回りまたは反時計回りのジェスチャーを行うこと、アイコンをスライドさせること、2本の指で起動可能なアイコンを掴むこと、およびクリック−ドラッグ−リリース動作を行うこと、から選択される、請求項1〜21のいずれか1項に記載の方法。
- 前記識別されたオブジェクトと関連付けられる前記データは、視覚データ、音声データ、またはテキストデータのうちのいずれか1つ以上である、請求項1〜22のいずれか1項に記載の方法。
- 前記識別されたオブジェクトと関連付けられる前記データは、起動可能なアイコンである、請求項1〜23のいずれか1項に記載の方法。
- 前記起動可能なアイコンは、2Dまたは3Dの起動可能なアイコンである、請求項24に記載の方法。
- 前記起動可能なアイコンは、前記ユーザの前方の3D空間の中で前記ユーザによって認識される、請求項24または25に記載の方法。
- 2つ以上の動作モードを有する、請求項1〜26のいずれか1項に記載の方法。
- 予め定義されたジェスチャーの識別に応じて、前記システムの前記動作モードを切り替えることをさらに含む、請求項27に記載の方法。
- 動作モードは、識別されるジェスチャー、前記ジェスチャー検出モジュール上で起動されるアルゴリズム、前記画像センサによって取り込まれる画像の解像度および前記画像センサによって取り込まれる画像の取り込み率、提示される前記データの詳細レベル、前記ユーザに提示される前記起動可能なアイコン、提示される前記データのソース、提示される前記データの詳細レベル、前記表示デバイス上に表示される起動可能なアイコン、アクティブオンラインサービス、のうちの任意の1つ以上によって指定される、請求項27または28に記載の方法。
- 前記動作モードは、予め定義されたジェスチャーの識別に応じて、前記画像センサによって画像を映像録画するモード、予め定義されたジェスチャーの識別に応じて、マイクロホンによって音声を記録し、別の予め定義されたジェスチャーの識別に応じて、記録を停止するモード、映像または音声を継続的に監視し、予め定義されたジェスチャーの検出を受けて、前記ジェスチャーを識別する予め定義された時間前から前記映像または音声の記録を開始し、別の予め定義されたジェスチャーの識別後に前記記録を停止するモード、予め定義されたジェスチャーの識別に応じて、取り込まれた、およびリアルタイムで記録された映像にタグを加えるモード、前記カメラによって取り込まれるときに前記視界の中の領域を選択し、前記領域を前記視界の中の別の場所にコピーし、それをサイズ変更するモード、画像の中の選択された領域上でトラッカーを利用し、前記表示デバイス上の前記サイズ変更され、再配置された領域の中に、前記選択された領域をリアルタイムで提示するモード、予め定義されたジェスチャーの識別に応じて、画像を取り込むモード、から選択されるモードである、請求項27〜29のいずれか1項に記載の方法。
- 前記識別された現実のオブジェクトを追跡し、前記表示される関連付けられた視覚データを、前記識別された現実のオブジェクトに対して固定位置に維持する、追跡アルゴリズムを動作させることをさらに含む、請求項1〜30のいずれか1項に記載の方法。
- 前記表示デバイスが所定の閾値未満の動作レベルを有するときにだけ前記予め定義されたオブジェクトを検出するために、オブジェクト認識モジュールが利用される、請求項1〜31のいずれか1項に記載の方法。
- 予め定義されたジェスチャーが識別されたときに、フィードバックを提供することをさらに含む、請求項1〜32のいずれか1項に記載の方法。
- 前記フィードバックは、視覚フィードバック、音声フィードバック、触覚フィードバック、指向性振動、空気触覚フィードバック、または超音波フィードバックである、請求項33に記載の方法。
- 前記フィードバックは、前記表示デバイス上に表示される起動可能なアイコン、前記表示デバイス上に表示される起動可能なアイコンの変化、前記表示デバイス上に表示される起動可能なアイコンの色の変化、前記表示デバイス上に表示される起動可能なアイコンのサイズの変化、前記表示デバイス上に表示される起動可能なアイコンのアニメーション、指示光、表示デバイス上を移動するインジケータ、前記表示デバイス上に現れる全ての他の画像または映像の頂部に現れる、前記表示デバイス上を移動するインジケータ、前記予め定義されたオブジェクトの周囲が輝く外観、から選択される形態の視覚指示である、請求項33または34に記載の方法。
- 前記フィードバックは、振動、指向性振動指示、空気触覚指示である、請求項33に記載の方法。
- 前記表示デバイス上に表示される起動可能なアイコンの一部は、前記予め定義されたオブジェクトが位置する所に提示されず、よって、前記予め定義されたオブジェクトが、前記起動可能なアイコンの頂部上にあるように見える、請求項1〜36のいずれか1項に記載の方法。
- 起動可能なアイコンは、前記表示デバイスが予め定義された閾値を超える起動レベルを有するときに、前記表示デバイスから除去される、請求項1〜37のいずれか1項に記載の方法。
- 前記表示デバイスが前記予め定義された閾値未満の動作レベルを有するときに、前記表示デバイス上の前記除去されたアイコンを表示することをさらに含む、請求項38に記載の方法。
- 前記方法は、予め定義されたアクションが行われるときに、前記起動モードに入り、前記予め定義されたアクションは、前記予め定義されたオブジェクトを下側から前記視界の中へ持ち込むこと、ユーザが、前記予め定義されたオブジェクトをある場所に配置する、または前記カメラの視界の右下隅部を指し示す、もしくは前記カメラの視界の中でユーザが手を開く等のポーズをとるとき、前記手を前記視界を横断して右から左に移動させる等の予め定義されたジェスチャーを行うこと、起動可能なアイコンが表示され、前記ユーザが、前記起動可能なアイコンを指し示す等の、前記起動可能なアイコンに相関する予め定義されたジェスチャーを行う、もしくは前記起動可能なアイコンが提示される場所で手を振るジェスチャーを行うとき、または前記デバイスに触れることによって、前記起動可能なアイコンが位置すると認識される前記3D空間の中でジェスチャーを行うことによって、前記浮動的な起動可能なアイコンを一方からもう一方の場所へスライドさせること、または前記デバイスに加速度計が提供される場合に、前記デバイスをタップすること、から選択され、さらに別の例として、前記システムは、前記デバイスに近接センサまたは超音波センサが提供される場合に、前記ユーザが前記デバイスの近くに手を通過させるときに、前記起動モードに入り得、前記システムはまた、音声コマンドによっても、または前記ユーザが前記予め定義されたオブジェクトを前記視界の中の特定の場所の中に配置するときにも起動され得、さらに別の例として、前記システムは、前記ユーザの前記視界の中の前記現実と関連付けられる関連データがあるときにだけ前記起動モードに入り得、前記システムは、提示される関連データがあるときに、または対話の準備が整っているときに、前記ユーザに示し得る、請求項27〜30のいずれか1項に記載の方法。
- 前記現実のオブジェクトと相関するデータがメモリに存在することを示す視覚指示を、前記現実のオブジェクトに添付することをさらに含む、請求項1〜40のいずれか1項に記載の方法。
- 前記視覚指示は、前記現実のオブジェクトの画像上にオーバーレイされる、請求項41に記載の方法。
- 前記視覚は、起動可能なアイコン、写真、封筒の画像から選択される、請求項42に記載の方法。
- 前記予め定義されたオブジェクトの1つ以上の物理的パラメータを記録するための較正プロセスをさらに含む、請求項1〜43のいずれか1項に記載の方法。
- 前記較正プロセスは、3D空間の異なる場所の中で、起動可能なアイコンを前記ディスプレイ上に提示するステップ、前記予め定義されたオブジェクトの物理的特徴を抽出するステップ、および前記予め定義されたオブジェクトの寸法と前記カメラからのその距離との相関関係を決定するステップ、から選択される任意の1つ以上のステップを含む、請求項44に記載の方法。
- 前記較正プロセスは、前記画像センサの1つおよび前記予め定義されたオブジェクトの先端部に頂点を有し、ユーザの見通し線によって形成される側部を有する三角形を構築するステップを含む、請求項44または45に記載の方法。
- 前記較正において抽出される情報に基づいて、前記カメラからの前記現実のオブジェクトの距離を推定することをさらに含む、請求項46に記載の方法。
- テキストタイピングを可能にするキーボードを表示することをさらに含む、請求項1〜47のいずれか1項に記載の方法。
- 前記キーボードは、予め定義されたジェスチャーの検出に応じて表示される、請求項48に記載の方法。
- 前記予め定義されたジェスチャーは、画像センサの視界の予め定義された領域の中での、右から左へのジェスチャー、開いた手を提示すること、2つの開いた手を提示すること、から選択される、請求項49に記載の方法。
- 前記キーボードは、3Dタイピング領域の中で、または予め定義された起動可能なアイコンが位置すると認識する所で、クリックジェスチャーを行うことに応じて表示される、請求項48に記載の方法。
- 起動可能なアイコンの一部は、前記予め定義されたオブジェクトが位置する所では、前記視聴デバイス上に提示されない、請求項1〜51のいずれか1項に記載の方法。
- 映像または音声のうちの一方または双方は、予め定義されたジェスチャーを識別する所定の時間前から記録が開始される、請求項1〜52のいずれか1項に記載の方法。
- 請求項1〜53のいずれか1項に記載の方法を実行するように構成されるデバイスを備える、システム。
- コンピュータプログラムがコンピュータ上で動作するときに、請求項1〜53に記載の全てのステップを行うためのコンピュータプログラムコード手段を備える、コンピュータプログラム。
- コンピュータが読み出し可能な媒体上に具現化される、請求項55に記載のコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161536144P | 2011-09-19 | 2011-09-19 | |
US61/536,144 | 2011-09-19 | ||
PCT/IL2012/050376 WO2013093906A1 (en) | 2011-09-19 | 2012-09-19 | Touch free interface for augmented reality systems |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017192930A Division JP2018028922A (ja) | 2011-09-19 | 2017-10-02 | 拡張現実システムのためのタッチフリーインターフェース |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014531662A true JP2014531662A (ja) | 2014-11-27 |
Family
ID=47189999
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014531374A Pending JP2014531662A (ja) | 2011-09-19 | 2012-09-19 | 拡張現実システムのためのタッチフリーインターフェース |
JP2017192930A Pending JP2018028922A (ja) | 2011-09-19 | 2017-10-02 | 拡張現実システムのためのタッチフリーインターフェース |
JP2020157123A Active JP7297216B2 (ja) | 2011-09-19 | 2020-09-18 | 拡張現実システムのためのタッチフリーインターフェース |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017192930A Pending JP2018028922A (ja) | 2011-09-19 | 2017-10-02 | 拡張現実システムのためのタッチフリーインターフェース |
JP2020157123A Active JP7297216B2 (ja) | 2011-09-19 | 2020-09-18 | 拡張現実システムのためのタッチフリーインターフェース |
Country Status (5)
Country | Link |
---|---|
US (8) | US20140361988A1 (ja) |
JP (3) | JP2014531662A (ja) |
KR (3) | KR20140069124A (ja) |
CN (2) | CN103858073B (ja) |
WO (1) | WO2013093906A1 (ja) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015060579A (ja) * | 2013-09-20 | 2015-03-30 | ヤフー株式会社 | 情報処理システム、情報処理方法および情報処理プログラム |
JP2016051276A (ja) * | 2014-08-29 | 2016-04-11 | 京セラドキュメントソリューションズ株式会社 | 電子機器及び情報表示プログラム |
WO2016098519A1 (ja) * | 2014-12-17 | 2016-06-23 | コニカミノルタ株式会社 | 電子機器、電子機器の制御方法及びその制御プログラム |
JP2016119092A (ja) * | 2014-12-19 | 2016-06-30 | イマージョン コーポレーションImmersion Corporation | オブジェクトとの触覚対応相互作用のためのシステム及び方法 |
JP2016122445A (ja) * | 2014-12-19 | 2016-07-07 | イマージョン コーポレーションImmersion Corporation | 触覚フィードバックを伴うオブジェクト操作のためのシステム及び方法 |
JP2016133541A (ja) * | 2015-01-16 | 2016-07-25 | 株式会社ブリリアントサービス | 電子眼鏡および電子眼鏡の制御方法 |
JP2016161734A (ja) * | 2015-03-02 | 2016-09-05 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、および、プログラム |
JP2017129406A (ja) * | 2016-01-19 | 2017-07-27 | 日本電気通信システム株式会社 | 情報処理装置、スマートグラスおよびその制御方法、並びにコンピュータ・プログラム |
JP2018082363A (ja) * | 2016-11-18 | 2018-05-24 | セイコーエプソン株式会社 | 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム |
JP2018534649A (ja) * | 2015-08-27 | 2018-11-22 | シェンジェン ピーアールテック カンパニー リミテッド | 対象物を自動的に取り込むための方法及び装置、並びに記憶媒体 |
WO2019021446A1 (ja) * | 2017-07-28 | 2019-01-31 | 株式会社オプティム | ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム |
WO2019021447A1 (ja) * | 2017-07-28 | 2019-01-31 | 株式会社オプティム | ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム |
KR20190064623A (ko) * | 2016-10-09 | 2019-06-10 | 알리바바 그룹 홀딩 리미티드 | 가상 현실 환경에서의 정보 입력을 위한 3차원 그래피컬 사용자 인터페이스 |
WO2019123762A1 (ja) * | 2017-12-22 | 2019-06-27 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2019192242A (ja) * | 2018-04-20 | 2019-10-31 | イマージョン コーポレーションImmersion Corporation | 没入型現実インターフェースモードを提供するシステム、デバイス及び方法 |
WO2020152828A1 (ja) * | 2019-01-24 | 2020-07-30 | マクセル株式会社 | 表示端末、アプリケーション制御システムおよびアプリケーション制御方法 |
JP2021004893A (ja) * | 2015-08-25 | 2021-01-14 | 株式会社日立ハイテク | 自動分析装置、検体検査自動化システム、および検体情報提供方法 |
WO2021261068A1 (ja) * | 2020-06-26 | 2021-12-30 | 沖電気工業株式会社 | 表示操作部および装置 |
Families Citing this family (222)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9865125B2 (en) | 2010-11-15 | 2018-01-09 | Bally Gaming, Inc. | System and method for augmented reality gaming |
KR20140069124A (ko) | 2011-09-19 | 2014-06-09 | 아이사이트 모빌 테크놀로지 엘티디 | 증강 현실 시스템용 터치프리 인터페이스 |
CN104125805B (zh) * | 2011-12-23 | 2016-10-05 | 皇家飞利浦有限公司 | 用于三维超声图像的交互显示的方法与装置 |
US11068049B2 (en) | 2012-03-23 | 2021-07-20 | Microsoft Technology Licensing, Llc | Light guide display and field of view |
US9558590B2 (en) | 2012-03-28 | 2017-01-31 | Microsoft Technology Licensing, Llc | Augmented reality light guide display |
US10191515B2 (en) | 2012-03-28 | 2019-01-29 | Microsoft Technology Licensing, Llc | Mobile device light guide display |
US9717981B2 (en) | 2012-04-05 | 2017-08-01 | Microsoft Technology Licensing, Llc | Augmented reality and physical games |
US10502876B2 (en) | 2012-05-22 | 2019-12-10 | Microsoft Technology Licensing, Llc | Waveguide optics focus elements |
TWI475474B (zh) * | 2012-07-30 | 2015-03-01 | Mitac Int Corp | Gesture combined with the implementation of the icon control method |
KR102001218B1 (ko) * | 2012-11-02 | 2019-07-17 | 삼성전자주식회사 | 객체와 관련된 정보 제공 방법 및 이를 위한 디바이스 |
US10192358B2 (en) | 2012-12-20 | 2019-01-29 | Microsoft Technology Licensing, Llc | Auto-stereoscopic augmented reality display |
US10010286B1 (en) | 2013-01-19 | 2018-07-03 | Bertec Corporation | Force measurement system |
US9770203B1 (en) | 2013-01-19 | 2017-09-26 | Bertec Corporation | Force measurement system and a method of testing a subject |
US11052288B1 (en) | 2013-01-19 | 2021-07-06 | Bertec Corporation | Force measurement system |
US11540744B1 (en) | 2013-01-19 | 2023-01-03 | Bertec Corporation | Force measurement system |
US11311209B1 (en) | 2013-01-19 | 2022-04-26 | Bertec Corporation | Force measurement system and a motion base used therein |
US10231662B1 (en) | 2013-01-19 | 2019-03-19 | Bertec Corporation | Force measurement system |
US10856796B1 (en) | 2013-01-19 | 2020-12-08 | Bertec Corporation | Force measurement system |
US11857331B1 (en) | 2013-01-19 | 2024-01-02 | Bertec Corporation | Force measurement system |
US10646153B1 (en) | 2013-01-19 | 2020-05-12 | Bertec Corporation | Force measurement system |
US9526443B1 (en) * | 2013-01-19 | 2016-12-27 | Bertec Corporation | Force and/or motion measurement system and a method of testing a subject |
US10413230B1 (en) | 2013-01-19 | 2019-09-17 | Bertec Corporation | Force measurement system |
US10133342B2 (en) * | 2013-02-14 | 2018-11-20 | Qualcomm Incorporated | Human-body-gesture-based region and volume selection for HMD |
JP5991423B2 (ja) * | 2013-02-21 | 2016-09-14 | 富士通株式会社 | 表示装置、表示方法、表示プログラムおよび位置設定システム |
US20140240226A1 (en) * | 2013-02-27 | 2014-08-28 | Robert Bosch Gmbh | User Interface Apparatus |
US9122916B2 (en) * | 2013-03-14 | 2015-09-01 | Honda Motor Co., Ltd. | Three dimensional fingertip tracking |
US20140285520A1 (en) * | 2013-03-22 | 2014-09-25 | Industry-University Cooperation Foundation Hanyang University | Wearable display device using augmented reality |
US9507426B2 (en) * | 2013-03-27 | 2016-11-29 | Google Inc. | Using the Z-axis in user interfaces for head mountable displays |
US9213403B1 (en) | 2013-03-27 | 2015-12-15 | Google Inc. | Methods to pan, zoom, crop, and proportionally move on a head mountable display |
JP6108926B2 (ja) * | 2013-04-15 | 2017-04-05 | オリンパス株式会社 | ウェアラブル装置、プログラム及びウェアラブル装置の表示制御方法 |
US9294365B2 (en) | 2013-05-08 | 2016-03-22 | Vringo, Inc. | Cognitive radio system and cognitive radio carrier device |
US9672627B1 (en) * | 2013-05-09 | 2017-06-06 | Amazon Technologies, Inc. | Multiple camera based motion tracking |
EP2818948B1 (en) * | 2013-06-27 | 2016-11-16 | ABB Schweiz AG | Method and data presenting device for assisting a remote user to provide instructions |
US10533850B2 (en) | 2013-07-12 | 2020-01-14 | Magic Leap, Inc. | Method and system for inserting recognized object data into a virtual world |
US20150124566A1 (en) | 2013-10-04 | 2015-05-07 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices employing contact sensors |
US10042422B2 (en) | 2013-11-12 | 2018-08-07 | Thalmic Labs Inc. | Systems, articles, and methods for capacitive electromyography sensors |
US10188309B2 (en) | 2013-11-27 | 2019-01-29 | North Inc. | Systems, articles, and methods for electromyography sensors |
US11921471B2 (en) | 2013-08-16 | 2024-03-05 | Meta Platforms Technologies, Llc | Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source |
KR102157313B1 (ko) * | 2013-09-03 | 2020-10-23 | 삼성전자주식회사 | 촬영된 영상을 이용하여 객체를 인식하는 방법 및 컴퓨터 판독 가능한 기록 매체 |
KR102165818B1 (ko) * | 2013-09-10 | 2020-10-14 | 삼성전자주식회사 | 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체 |
KR102119659B1 (ko) | 2013-09-23 | 2020-06-08 | 엘지전자 주식회사 | 영상표시장치 및 그것의 제어 방법 |
CN103501473B (zh) * | 2013-09-30 | 2016-03-09 | 陈创举 | 基于mems传感器的多功能耳机及其控制方法 |
KR101499044B1 (ko) * | 2013-10-07 | 2015-03-11 | 홍익대학교 산학협력단 | 사용자의 손동작 및 음성에 기초하여 사용자가 의도한 텍스트를 취득하는 웨어러블 컴퓨터 및 사용자가 의도한 텍스트를 취득하는 방법 |
US9740935B2 (en) * | 2013-11-26 | 2017-08-22 | Honeywell International Inc. | Maintenance assistant system |
US9671826B2 (en) * | 2013-11-27 | 2017-06-06 | Immersion Corporation | Method and apparatus of body-mediated digital content transfer and haptic feedback |
US10586395B2 (en) | 2013-12-30 | 2020-03-10 | Daqri, Llc | Remote object detection and local tracking using visual odometry |
US9264479B2 (en) | 2013-12-30 | 2016-02-16 | Daqri, Llc | Offloading augmented reality processing |
EP2899609B1 (en) * | 2014-01-24 | 2019-04-17 | Sony Corporation | System and method for name recollection |
DE102014201578A1 (de) * | 2014-01-29 | 2015-07-30 | Volkswagen Ag | Vorrichtung und Verfahren zur Signalisierung eines Eingabebereiches zur Gestenerkennung einer Mensch-Maschine-Schnittstelle |
US20150227231A1 (en) * | 2014-02-12 | 2015-08-13 | Microsoft Corporation | Virtual Transparent Display |
KR20150110032A (ko) * | 2014-03-24 | 2015-10-02 | 삼성전자주식회사 | 영상데이터 처리 전자장치 및 방법 |
WO2015161062A1 (en) * | 2014-04-18 | 2015-10-22 | Bally Gaming, Inc. | System and method for augmented reality gaming |
US9501871B2 (en) | 2014-04-30 | 2016-11-22 | At&T Mobility Ii Llc | Explorable augmented reality displays |
TWI518603B (zh) | 2014-05-22 | 2016-01-21 | 宏達國際電子股份有限公司 | 影像編輯方法與電子裝置 |
US9332285B1 (en) | 2014-05-28 | 2016-05-03 | Lucasfilm Entertainment Company Ltd. | Switching modes of a media content item |
KR102303115B1 (ko) * | 2014-06-05 | 2021-09-16 | 삼성전자 주식회사 | 웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법 |
KR101595957B1 (ko) * | 2014-06-12 | 2016-02-18 | 엘지전자 주식회사 | 이동 단말기 및 제어 시스템 |
EP3180676A4 (en) * | 2014-06-17 | 2018-01-10 | Osterhout Group, Inc. | External user interface for head worn computing |
JP6500355B2 (ja) * | 2014-06-20 | 2019-04-17 | 富士通株式会社 | 表示装置、表示プログラム、および表示方法 |
US20150379770A1 (en) * | 2014-06-27 | 2015-12-31 | David C. Haley, JR. | Digital action in response to object interaction |
US9959591B2 (en) * | 2014-07-31 | 2018-05-01 | Seiko Epson Corporation | Display apparatus, method for controlling display apparatus, and program |
CN104133593A (zh) * | 2014-08-06 | 2014-11-05 | 北京行云时空科技有限公司 | 一种基于体感的文字输入系统及方法 |
CN104156082A (zh) * | 2014-08-06 | 2014-11-19 | 北京行云时空科技有限公司 | 面向时空场景的用户界面及应用的控制系统及智能终端 |
US9696551B2 (en) * | 2014-08-13 | 2017-07-04 | Beijing Lenovo Software Ltd. | Information processing method and electronic device |
US9690375B2 (en) | 2014-08-18 | 2017-06-27 | Universal City Studios Llc | Systems and methods for generating augmented and virtual reality images |
CN104197950B (zh) * | 2014-08-19 | 2018-02-16 | 奇瑞汽车股份有限公司 | 地理信息显示的方法及系统 |
US9910504B2 (en) * | 2014-08-21 | 2018-03-06 | Samsung Electronics Co., Ltd. | Sensor based UI in HMD incorporating light turning element |
DE102014217843A1 (de) * | 2014-09-05 | 2016-03-10 | Martin Cudzilo | Vorrichtung zum Vereinfachen der Reinigung von Oberflächen und Verfahren zum Erfassen geleisteter Reinigungsarbeiten |
GB2530036A (en) * | 2014-09-09 | 2016-03-16 | Ultrahaptics Ltd | Method and apparatus for modulating haptic feedback |
US20160109701A1 (en) * | 2014-10-15 | 2016-04-21 | GM Global Technology Operations LLC | Systems and methods for adjusting features within a head-up display |
TWI613615B (zh) * | 2014-10-15 | 2018-02-01 | 在地實驗文化事業有限公司 | 導覽系統及方法 |
US10108256B2 (en) * | 2014-10-30 | 2018-10-23 | Mediatek Inc. | Systems and methods for processing incoming events while performing a virtual reality session |
US10241738B2 (en) | 2014-11-06 | 2019-03-26 | Koninklijke Philips N.V. | Method and system of communication for use in hospitals |
KR102038965B1 (ko) * | 2014-11-26 | 2019-10-31 | 삼성전자주식회사 | 초음파 센서 및 초음파 센서의 대상체 인식 방법 |
CN104537401B (zh) * | 2014-12-19 | 2017-05-17 | 南京大学 | 基于射频识别和景深感知技术的现实增强系统及工作方法 |
US9685005B2 (en) * | 2015-01-02 | 2017-06-20 | Eon Reality, Inc. | Virtual lasers for interacting with augmented reality environments |
US20160196693A1 (en) * | 2015-01-06 | 2016-07-07 | Seiko Epson Corporation | Display system, control method for display device, and computer program |
US10317215B2 (en) | 2015-01-09 | 2019-06-11 | Boe Technology Group Co., Ltd. | Interactive glasses and navigation system |
CN104570354A (zh) * | 2015-01-09 | 2015-04-29 | 京东方科技集团股份有限公司 | 交互式眼镜和导览系统 |
TWI619041B (zh) * | 2015-01-09 | 2018-03-21 | Chunghwa Telecom Co Ltd | Augmented reality unlocking system and method |
US10018844B2 (en) | 2015-02-09 | 2018-07-10 | Microsoft Technology Licensing, Llc | Wearable image display system |
US10317677B2 (en) | 2015-02-09 | 2019-06-11 | Microsoft Technology Licensing, Llc | Display system |
US20170061700A1 (en) * | 2015-02-13 | 2017-03-02 | Julian Michael Urbach | Intercommunication between a head mounted display and a real world object |
EP3259654B1 (en) | 2015-02-20 | 2021-12-29 | Ultrahaptics Ip Ltd | Algorithm improvements in a haptic system |
US9886633B2 (en) * | 2015-02-23 | 2018-02-06 | Vivint, Inc. | Techniques for identifying and indexing distinguishing features in a video feed |
WO2016139850A1 (ja) * | 2015-03-05 | 2016-09-09 | ソニー株式会社 | 情報処理装置、制御方法、およびプログラム |
JP6596883B2 (ja) | 2015-03-31 | 2019-10-30 | ソニー株式会社 | ヘッドマウントディスプレイ及びヘッドマウントディスプレイの制御方法、並びにコンピューター・プログラム |
US20160292920A1 (en) * | 2015-04-01 | 2016-10-06 | Caterpillar Inc. | Time-Shift Controlled Visualization of Worksite Operations |
US10156908B2 (en) * | 2015-04-15 | 2018-12-18 | Sony Interactive Entertainment Inc. | Pinch and hold gesture navigation on a head-mounted display |
JP6534292B2 (ja) * | 2015-04-24 | 2019-06-26 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | ヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイの制御方法 |
US10055888B2 (en) | 2015-04-28 | 2018-08-21 | Microsoft Technology Licensing, Llc | Producing and consuming metadata within multi-dimensional data |
DE102015211515A1 (de) * | 2015-06-23 | 2016-12-29 | Siemens Aktiengesellschaft | Interaktionssystem |
US10409443B2 (en) * | 2015-06-24 | 2019-09-10 | Microsoft Technology Licensing, Llc | Contextual cursor display based on hand tracking |
US10156726B2 (en) * | 2015-06-29 | 2018-12-18 | Microsoft Technology Licensing, Llc | Graphene in optical systems |
CN105138763A (zh) * | 2015-08-19 | 2015-12-09 | 中山大学 | 一种增强现实中实景与现实信息叠加的方法 |
KR102456597B1 (ko) * | 2015-09-01 | 2022-10-20 | 삼성전자주식회사 | 전자 장치 및 그의 동작 방법 |
KR101708455B1 (ko) * | 2015-09-08 | 2017-02-21 | 엠더블유엔테크 주식회사 | 핸드 플로트 입체 메뉴 시스템 |
CN105183173B (zh) * | 2015-10-12 | 2018-08-28 | 重庆中电大宇卫星应用技术研究所 | 一种将战术和摩尔斯码手势输入并转换为语音的装置 |
DE102015221860A1 (de) * | 2015-11-06 | 2017-05-11 | BSH Hausgeräte GmbH | System und Verfahren zur Erleichterung einer Bedienung eines Haushaltsgeräts |
CN105872815A (zh) * | 2015-11-25 | 2016-08-17 | 乐视网信息技术(北京)股份有限公司 | 视频播放的方法及装置 |
EP3182328A1 (en) * | 2015-12-17 | 2017-06-21 | Nokia Technologies Oy | A method, apparatus or computer program for controlling image processing of a captured image of a scene to adapt the captured image |
US9697648B1 (en) | 2015-12-23 | 2017-07-04 | Intel Corporation | Text functions in augmented reality |
CN105843390B (zh) * | 2016-02-24 | 2019-03-19 | 上海理湃光晶技术有限公司 | 一种图像缩放的方法与基于该方法的ar眼镜 |
US10168768B1 (en) | 2016-03-02 | 2019-01-01 | Meta Company | Systems and methods to facilitate interactions in an interactive space |
US10133345B2 (en) | 2016-03-22 | 2018-11-20 | Microsoft Technology Licensing, Llc | Virtual-reality navigation |
US9933855B2 (en) * | 2016-03-31 | 2018-04-03 | Intel Corporation | Augmented reality in a field of view including a reflection |
SE541141C2 (en) * | 2016-04-18 | 2019-04-16 | Moonlightning Ind Ab | Focus pulling with a stereo vision camera system |
US9990779B2 (en) | 2016-05-13 | 2018-06-05 | Meta Company | System and method for modifying virtual objects in a virtual environment in response to user interactions |
US10186088B2 (en) | 2016-05-13 | 2019-01-22 | Meta Company | System and method for managing interactive virtual frames for virtual objects in a virtual environment |
ES2643863B1 (es) * | 2016-05-24 | 2018-10-26 | Sonovisión Ingenieros España, S.A.U. | Método para proporcionar mediante realidad aumentada guiado, inspección y soporte en instalación o mantenimiento de procesos para ensamblajes complejos compatible con s1000d y dispositivo que hace uso del mismo |
CN105915715A (zh) * | 2016-05-25 | 2016-08-31 | 努比亚技术有限公司 | 来电提醒方法及其装置、佩戴式音频设备和移动终端 |
WO2017217752A1 (ko) * | 2016-06-17 | 2017-12-21 | 이철윤 | 상품과 포장상자의 3차원 합성영상 생성 시스템 및 방법 |
CN106125932A (zh) * | 2016-06-28 | 2016-11-16 | 广东欧珀移动通信有限公司 | 一种增强现实中目标对象的识别方法、装置及移动终端 |
CN106157363A (zh) * | 2016-06-28 | 2016-11-23 | 广东欧珀移动通信有限公司 | 一种基于增强现实的拍照方法、装置和移动终端 |
CN106155315A (zh) * | 2016-06-28 | 2016-11-23 | 广东欧珀移动通信有限公司 | 一种拍摄中增强现实效果的添加方法、装置及移动终端 |
CN106066701B (zh) * | 2016-07-05 | 2019-07-26 | 上海智旭商务咨询有限公司 | 一种ar和vr数据处理设备与方法 |
KR20180009170A (ko) * | 2016-07-18 | 2018-01-26 | 엘지전자 주식회사 | 이동 단말기 및 그의 동작 방법 |
CN110337269B (zh) | 2016-07-25 | 2021-09-21 | 脸谱科技有限责任公司 | 基于神经肌肉信号推断用户意图的方法和装置 |
EP3487395A4 (en) | 2016-07-25 | 2020-03-04 | CTRL-Labs Corporation | METHODS AND APPARATUS FOR PREDICTING MUSCULOSKELETAL POSITION INFORMATION USING PORTABLE SELF-CONTAINED SENSORS |
US11337652B2 (en) | 2016-07-25 | 2022-05-24 | Facebook Technologies, Llc | System and method for measuring the movements of articulated rigid bodies |
US10687759B2 (en) | 2018-05-29 | 2020-06-23 | Facebook Technologies, Llc | Shielding techniques for noise reduction in surface electromyography signal measurement and related systems and methods |
US11216069B2 (en) | 2018-05-08 | 2022-01-04 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
US10268275B2 (en) | 2016-08-03 | 2019-04-23 | Ultrahaptics Ip Ltd | Three-dimensional perceptions in haptic systems |
CN106354257A (zh) * | 2016-08-30 | 2017-01-25 | 湖北睛彩视讯科技有限公司 | 一种基于增强现实技术的移动场景融合系统及方法 |
DE112016007223T5 (de) * | 2016-10-13 | 2019-07-04 | Ford Motor Company | Dualmodus-Schnittstellen für erweiterte Realität für mobile Vorrichtungen |
US10257558B2 (en) * | 2016-10-26 | 2019-04-09 | Orcam Technologies Ltd. | Systems and methods for constructing and indexing a database of joint profiles for persons viewed by multiple wearable apparatuses |
WO2018100575A1 (en) | 2016-11-29 | 2018-06-07 | Real View Imaging Ltd. | Tactile feedback in a display system |
CN108885533B (zh) * | 2016-12-21 | 2021-05-07 | 杰创科科技有限公司 | 组合虚拟现实和增强现实 |
US11099716B2 (en) | 2016-12-23 | 2021-08-24 | Realwear, Inc. | Context based content navigation for wearable display |
US10620910B2 (en) | 2016-12-23 | 2020-04-14 | Realwear, Inc. | Hands-free navigation of touch-based operating systems |
US11507216B2 (en) | 2016-12-23 | 2022-11-22 | Realwear, Inc. | Customizing user interfaces of binary applications |
CN106682468A (zh) * | 2016-12-30 | 2017-05-17 | 百度在线网络技术(北京)有限公司 | 解锁电子设备的方法以及电子设备 |
USD864959S1 (en) | 2017-01-04 | 2019-10-29 | Mentor Acquisition One, Llc | Computer glasses |
US11572653B2 (en) * | 2017-03-10 | 2023-02-07 | Zyetric Augmented Reality Limited | Interactive augmented reality |
EP3602245B1 (en) * | 2017-03-21 | 2023-09-27 | InterDigital VC Holdings, Inc. | Method and system for the detection and augmentation of tactile interactions in augmented reality |
US10489651B2 (en) * | 2017-04-14 | 2019-11-26 | Microsoft Technology Licensing, Llc | Identifying a position of a marker in an environment |
US10620779B2 (en) * | 2017-04-24 | 2020-04-14 | Microsoft Technology Licensing, Llc | Navigating a holographic image |
US10481755B1 (en) * | 2017-04-28 | 2019-11-19 | Meta View, Inc. | Systems and methods to present virtual content in an interactive space |
US11054894B2 (en) | 2017-05-05 | 2021-07-06 | Microsoft Technology Licensing, Llc | Integrated mixed-input system |
US11023109B2 (en) | 2017-06-30 | 2021-06-01 | Microsoft Techniogy Licensing, LLC | Annotation using a multi-device mixed interactivity system |
US10895966B2 (en) | 2017-06-30 | 2021-01-19 | Microsoft Technology Licensing, Llc | Selection using a multi-device mixed interactivity system |
CN107340871A (zh) * | 2017-07-25 | 2017-11-10 | 深识全球创新科技(北京)有限公司 | 集成手势识别与超声波触觉反馈的装置及其方法和用途 |
CN107635057A (zh) * | 2017-07-31 | 2018-01-26 | 努比亚技术有限公司 | 一种虚拟现实终端控制方法、终端和计算机可读存储介质 |
US10591730B2 (en) * | 2017-08-25 | 2020-03-17 | II Jonathan M. Rodriguez | Wristwatch based interface for augmented reality eyewear |
US10068403B1 (en) | 2017-09-21 | 2018-09-04 | Universal City Studios Llc | Locker management techniques |
US10506217B2 (en) * | 2017-10-09 | 2019-12-10 | Facebook Technologies, Llc | Head-mounted display tracking system |
WO2019079757A1 (en) | 2017-10-19 | 2019-04-25 | Ctrl-Labs Corporation | SYSTEMS AND METHODS FOR IDENTIFYING BIOLOGICAL STRUCTURES ASSOCIATED WITH NEUROMUSCULAR SOURCE SIGNALS |
US20190129607A1 (en) * | 2017-11-02 | 2019-05-02 | Samsung Electronics Co., Ltd. | Method and device for performing remote control |
JP2019086916A (ja) * | 2017-11-02 | 2019-06-06 | オリンパス株式会社 | 作業支援装置、作業支援方法、作業支援プログラム |
US11531395B2 (en) | 2017-11-26 | 2022-12-20 | Ultrahaptics Ip Ltd | Haptic effects from focused acoustic fields |
US10739861B2 (en) * | 2018-01-10 | 2020-08-11 | Facebook Technologies, Llc | Long distance interaction with artificial reality objects using a near eye display interface |
US11907423B2 (en) * | 2019-11-25 | 2024-02-20 | Meta Platforms Technologies, Llc | Systems and methods for contextualized interactions with an environment |
US10937414B2 (en) | 2018-05-08 | 2021-03-02 | Facebook Technologies, Llc | Systems and methods for text input using neuromuscular information |
US11493993B2 (en) | 2019-09-04 | 2022-11-08 | Meta Platforms Technologies, Llc | Systems, methods, and interfaces for performing inputs based on neuromuscular control |
US11961494B1 (en) | 2019-03-29 | 2024-04-16 | Meta Platforms Technologies, Llc | Electromagnetic interference reduction in extended reality environments |
US11481030B2 (en) | 2019-03-29 | 2022-10-25 | Meta Platforms Technologies, Llc | Methods and apparatus for gesture detection and classification |
WO2019147956A1 (en) | 2018-01-25 | 2019-08-01 | Ctrl-Labs Corporation | Visualization of reconstructed handstate information |
US11150730B1 (en) | 2019-04-30 | 2021-10-19 | Facebook Technologies, Llc | Devices, systems, and methods for controlling computing devices via neuromuscular signals of users |
US10706628B2 (en) * | 2018-02-28 | 2020-07-07 | Lenovo (Singapore) Pte. Ltd. | Content transfer |
KR20210002703A (ko) | 2018-05-02 | 2021-01-08 | 울트라햅틱스 아이피 엘티디 | 개선된 음향 전송 효율을 위한 차단 플레이트 구조체 |
US20190339837A1 (en) * | 2018-05-04 | 2019-11-07 | Oculus Vr, Llc | Copy and Paste in a Virtual Reality Environment |
US10592001B2 (en) | 2018-05-08 | 2020-03-17 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
US10768426B2 (en) | 2018-05-21 | 2020-09-08 | Microsoft Technology Licensing, Llc | Head mounted display system receiving three-dimensional push notification |
WO2019241701A1 (en) | 2018-06-14 | 2019-12-19 | Ctrl-Labs Corporation | User identification and authentication with neuromuscular signatures |
JP7056423B2 (ja) * | 2018-07-10 | 2022-04-19 | オムロン株式会社 | 入力装置 |
US11360558B2 (en) * | 2018-07-17 | 2022-06-14 | Apple Inc. | Computer systems with finger devices |
US11045137B2 (en) | 2018-07-19 | 2021-06-29 | Facebook Technologies, Llc | Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device |
EP3836836B1 (en) | 2018-08-13 | 2024-03-20 | Meta Platforms Technologies, LLC | Real-time spike detection and identification |
US10890653B2 (en) | 2018-08-22 | 2021-01-12 | Google Llc | Radar-based gesture enhancement for voice interfaces |
US10770035B2 (en) | 2018-08-22 | 2020-09-08 | Google Llc | Smartphone-based radar system for facilitating awareness of user presence and orientation |
US10698603B2 (en) | 2018-08-24 | 2020-06-30 | Google Llc | Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface |
US10909762B2 (en) | 2018-08-24 | 2021-02-02 | Microsoft Technology Licensing, Llc | Gestures for facilitating interaction with pages in a mixed reality environment |
JP2021535465A (ja) | 2018-08-31 | 2021-12-16 | フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc | 神経筋信号のカメラ誘導による解釈 |
CN109348003A (zh) * | 2018-09-17 | 2019-02-15 | 深圳市泰衡诺科技有限公司 | 应用控制方法及装置 |
CN112789577B (zh) * | 2018-09-20 | 2024-04-05 | 元平台技术有限公司 | 增强现实系统中的神经肌肉文本输入、书写和绘图 |
CN110942518B (zh) * | 2018-09-24 | 2024-03-29 | 苹果公司 | 上下文计算机生成现实(cgr)数字助理 |
US10921764B2 (en) | 2018-09-26 | 2021-02-16 | Facebook Technologies, Llc | Neuromuscular control of physical objects in an environment |
WO2020072915A1 (en) | 2018-10-05 | 2020-04-09 | Ctrl-Labs Corporation | Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment |
KR102620702B1 (ko) * | 2018-10-12 | 2024-01-04 | 삼성전자주식회사 | 모바일 장치 및 모바일 장치의 제어 방법 |
US10788880B2 (en) | 2018-10-22 | 2020-09-29 | Google Llc | Smartphone-based radar system for determining user intention in a lower-power mode |
US10929099B2 (en) * | 2018-11-02 | 2021-02-23 | Bose Corporation | Spatialized virtual personal assistant |
EP3886693A4 (en) | 2018-11-27 | 2022-06-08 | Facebook Technologies, LLC. | METHOD AND DEVICE FOR AUTOCALIBRATION OF A PORTABLE ELECTRODE SENSING SYSTEM |
CN111273766B (zh) * | 2018-12-04 | 2022-05-13 | 苹果公司 | 用于生成链接到物品模拟现实表示的示能表示的方法、设备和系统 |
US10789952B2 (en) * | 2018-12-20 | 2020-09-29 | Microsoft Technology Licensing, Llc | Voice command execution from auxiliary input |
CN109782639A (zh) * | 2018-12-29 | 2019-05-21 | 深圳市中孚能电气设备有限公司 | 一种电子设备工作模式的控制方法及控制装置 |
US10885322B2 (en) * | 2019-01-31 | 2021-01-05 | Huawei Technologies Co., Ltd. | Hand-over-face input sensing for interaction with a device having a built-in camera |
JP6720385B1 (ja) * | 2019-02-07 | 2020-07-08 | 株式会社メルカリ | プログラム、情報処理方法、及び情報処理端末 |
US10905383B2 (en) | 2019-02-28 | 2021-02-02 | Facebook Technologies, Llc | Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces |
US11842517B2 (en) | 2019-04-12 | 2023-12-12 | Ultrahaptics Ip Ltd | Using iterative 3D-model fitting for domain adaptation of a hand-pose-estimation neural network |
CN110109547A (zh) * | 2019-05-05 | 2019-08-09 | 芋头科技(杭州)有限公司 | 基于手势识别的命令激活方法和系统 |
JP7331462B2 (ja) * | 2019-05-24 | 2023-08-23 | 京セラドキュメントソリューションズ株式会社 | ロボットシステム、ロボット制御方法及び電子装置 |
US10747371B1 (en) * | 2019-06-28 | 2020-08-18 | Konica Minolta Business Solutions U.S.A., Inc. | Detection of finger press from live video stream |
USD1009884S1 (en) * | 2019-07-26 | 2024-01-02 | Sony Corporation | Mixed reality eyeglasses or portion thereof with an animated graphical user interface |
JP2021026260A (ja) | 2019-07-31 | 2021-02-22 | セイコーエプソン株式会社 | 表示装置、表示方法、および、コンピュータープログラム |
US10909767B1 (en) * | 2019-08-01 | 2021-02-02 | International Business Machines Corporation | Focal and interaction driven content replacement into augmented reality |
US11275453B1 (en) | 2019-09-30 | 2022-03-15 | Snap Inc. | Smart ring for manipulating virtual objects displayed by a wearable device |
US20210116249A1 (en) * | 2019-10-16 | 2021-04-22 | The Board Of Trustees Of The California State University | Augmented reality marine navigation |
CN113012214A (zh) * | 2019-12-20 | 2021-06-22 | 北京外号信息技术有限公司 | 用于设置虚拟对象的空间位置的方法和电子设备 |
US11715453B2 (en) | 2019-12-25 | 2023-08-01 | Ultraleap Limited | Acoustic transducer structures |
US11798429B1 (en) | 2020-05-04 | 2023-10-24 | Snap Inc. | Virtual tutorials for musical instruments with finger tracking in augmented reality |
US11520399B2 (en) | 2020-05-26 | 2022-12-06 | Snap Inc. | Interactive augmented reality experiences using positional tracking |
US11816267B2 (en) | 2020-06-23 | 2023-11-14 | Ultraleap Limited | Features of airborne ultrasonic fields |
US11886639B2 (en) | 2020-09-17 | 2024-01-30 | Ultraleap Limited | Ultrahapticons |
US11925863B2 (en) | 2020-09-18 | 2024-03-12 | Snap Inc. | Tracking hand gestures for interactive game control in augmented reality |
US11546505B2 (en) * | 2020-09-28 | 2023-01-03 | Snap Inc. | Touchless photo capture in response to detected hand gestures |
US11644902B2 (en) * | 2020-11-30 | 2023-05-09 | Google Llc | Gesture-based content transfer |
US11740313B2 (en) | 2020-12-30 | 2023-08-29 | Snap Inc. | Augmented reality precision tracking and display |
US11531402B1 (en) | 2021-02-25 | 2022-12-20 | Snap Inc. | Bimanual gestures for controlling virtual and graphical elements |
US12013985B1 (en) | 2021-02-25 | 2024-06-18 | Snap Inc. | Single-handed gestures for reviewing virtual content |
CN113190110A (zh) * | 2021-03-30 | 2021-07-30 | 青岛小鸟看看科技有限公司 | 头戴式显示设备的界面元素控制方法及装置 |
CN117120962A (zh) * | 2021-04-08 | 2023-11-24 | 斯纳普公司 | 用于控制虚拟和图形元素的映射手部区域之间的双手交互 |
US11868531B1 (en) | 2021-04-08 | 2024-01-09 | Meta Platforms Technologies, Llc | Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof |
KR20230170086A (ko) | 2021-04-19 | 2023-12-18 | 스냅 인코포레이티드 | 가상 및 그래픽 엘리먼트들을 애니메이팅하고 제어하기 위한 손 제스처 |
CN113141529B (zh) * | 2021-04-25 | 2022-02-25 | 聚好看科技股份有限公司 | 显示设备及媒资播放方法 |
US11435857B1 (en) * | 2021-04-29 | 2022-09-06 | Google Llc | Content access and navigation using a head-mounted device |
US11995899B2 (en) * | 2021-04-29 | 2024-05-28 | Google Llc | Pointer-based content recognition using a head-mounted device |
KR102629771B1 (ko) * | 2021-09-30 | 2024-01-29 | 박두고 | 손 또는 손가락 추적을 이용한 객체 인식용 웨어러블 장치 |
US11967147B2 (en) * | 2021-10-01 | 2024-04-23 | At&T Intellectual Proerty I, L.P. | Augmented reality visualization of enclosed spaces |
CN114089879B (zh) * | 2021-11-15 | 2022-08-05 | 北京灵犀微光科技有限公司 | 一种增强现实显示设备的光标控制方法 |
US20230221799A1 (en) * | 2022-01-10 | 2023-07-13 | Apple Inc. | Devices and methods for controlling electronic devices or systems with physical objects |
US20230315208A1 (en) * | 2022-04-04 | 2023-10-05 | Snap Inc. | Gesture-based application invocation |
CN115309271B (zh) * | 2022-09-29 | 2023-03-21 | 南方科技大学 | 基于混合现实的信息展示方法、装置、设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007115167A (ja) * | 2005-10-24 | 2007-05-10 | Sanyo Electric Co Ltd | 情報処理システム、および携帯情報端末 |
US20110221669A1 (en) * | 2010-02-28 | 2011-09-15 | Osterhout Group, Inc. | Gesture control in an augmented reality eyepiece |
Family Cites Families (57)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0981309A (ja) * | 1995-09-13 | 1997-03-28 | Toshiba Corp | 入力装置 |
JP3365246B2 (ja) | 1997-03-14 | 2003-01-08 | ミノルタ株式会社 | 電子スチルカメラ |
JP3225882B2 (ja) * | 1997-03-27 | 2001-11-05 | 日本電信電話株式会社 | 景観ラベリングシステム |
DE19917660A1 (de) * | 1999-04-19 | 2000-11-02 | Deutsch Zentr Luft & Raumfahrt | Verfahren und Eingabeeinrichtung zum Steuern der Lage eines in einer virtuellen Realität graphisch darzustellenden Objekts |
AU7651100A (en) | 1999-09-15 | 2001-04-17 | Roche Consumer Health Ag | Pharmaceutical and/or cosmetical compositions |
US6771294B1 (en) * | 1999-12-29 | 2004-08-03 | Petri Pulli | User interface |
SE0000850D0 (sv) * | 2000-03-13 | 2000-03-13 | Pink Solution Ab | Recognition arrangement |
CA2410427A1 (en) * | 2000-05-29 | 2001-12-06 | Vkb Inc. | Virtual data entry device and method for input of alphanumeric and other data |
JP2002157606A (ja) * | 2000-11-17 | 2002-05-31 | Canon Inc | 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体 |
US7215322B2 (en) | 2001-05-31 | 2007-05-08 | Siemens Corporate Research, Inc. | Input devices for augmented reality applications |
US7126558B1 (en) | 2001-10-19 | 2006-10-24 | Accenture Global Services Gmbh | Industrial augmented reality |
US7340077B2 (en) * | 2002-02-15 | 2008-03-04 | Canesta, Inc. | Gesture recognition system using depth perceptive sensors |
US6943754B2 (en) * | 2002-09-27 | 2005-09-13 | The Boeing Company | Gaze tracking system, eye-tracking assembly and an associated method of calibration |
EP1521213A3 (en) * | 2003-09-30 | 2006-08-30 | Canon Kabushiki Kaisha | Index identification method and apparatus |
IL161002A0 (en) | 2004-03-22 | 2004-08-31 | Itay Katz | Virtual video keyboard system |
CN101375599A (zh) * | 2004-06-01 | 2009-02-25 | L-3通信公司 | 用于执行视频监视的方法和系统 |
US20060200662A1 (en) * | 2005-02-01 | 2006-09-07 | Microsoft Corporation | Referencing objects in a virtual environment |
WO2007011306A2 (en) * | 2005-07-20 | 2007-01-25 | Bracco Imaging S.P.A. | A method of and apparatus for mapping a virtual model of an object to the object |
KR100687737B1 (ko) * | 2005-03-19 | 2007-02-27 | 한국전자통신연구원 | 양손 제스쳐에 기반한 가상 마우스 장치 및 방법 |
US7735018B2 (en) * | 2005-09-13 | 2010-06-08 | Spacetime3D, Inc. | System and method for providing three-dimensional graphical user interface |
US7509588B2 (en) * | 2005-12-30 | 2009-03-24 | Apple Inc. | Portable electronic device with interface reconfiguration mode |
US7725547B2 (en) * | 2006-09-06 | 2010-05-25 | International Business Machines Corporation | Informing a user of gestures made by others out of the user's line of sight |
JP4961914B2 (ja) * | 2006-09-08 | 2012-06-27 | ソニー株式会社 | 撮像表示装置、撮像表示方法 |
JP5228307B2 (ja) * | 2006-10-16 | 2013-07-03 | ソニー株式会社 | 表示装置、表示方法 |
EP2089876A1 (en) * | 2006-12-07 | 2009-08-19 | Adapx, Inc. | Systems and methods for data annotation, recordation, and communication |
KR101285360B1 (ko) * | 2007-01-25 | 2013-07-11 | 삼성전자주식회사 | 증강현실을 이용한 관심 지점 표시 장치 및 방법 |
US8942764B2 (en) * | 2007-10-01 | 2015-01-27 | Apple Inc. | Personal media device controlled via user initiated movements utilizing movement based interfaces |
JP4933406B2 (ja) * | 2007-11-15 | 2012-05-16 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
US8165345B2 (en) * | 2007-12-07 | 2012-04-24 | Tom Chau | Method, system, and computer program for detecting and characterizing motion |
CN101977796B (zh) * | 2008-03-19 | 2013-05-08 | 株式会社电装 | 车辆操作输入设备 |
JP5250834B2 (ja) * | 2008-04-03 | 2013-07-31 | コニカミノルタ株式会社 | 頭部装着式映像表示装置 |
WO2009128064A2 (en) * | 2008-04-14 | 2009-10-22 | Pointgrab Ltd. | Vision based pointing device emulation |
US8971565B2 (en) * | 2008-05-29 | 2015-03-03 | Hie-D Technologies, Llc | Human interface electronic device |
US20100177035A1 (en) * | 2008-10-10 | 2010-07-15 | Schowengerdt Brian T | Mobile Computing Device With A Virtual Keyboard |
US8397181B2 (en) | 2008-11-17 | 2013-03-12 | Honeywell International Inc. | Method and apparatus for marking a position of a real world object in a see-through display |
US9041660B2 (en) * | 2008-12-09 | 2015-05-26 | Microsoft Technology Licensing, Llc | Soft keyboard control |
EP2391972B1 (en) | 2009-02-02 | 2015-05-27 | Eyesight Mobile Technologies Ltd. | System and method for object recognition and tracking in a video stream |
CN102326133B (zh) * | 2009-02-20 | 2015-08-26 | 皇家飞利浦电子股份有限公司 | 用于使得设备进入活动模式的系统、方法和装置 |
US8009022B2 (en) | 2009-05-29 | 2011-08-30 | Microsoft Corporation | Systems and methods for immersive interaction with virtual objects |
KR101622196B1 (ko) * | 2009-09-07 | 2016-05-18 | 삼성전자주식회사 | 휴대용 단말기에서 피오아이 정보 제공 방법 및 장치 |
US20110107216A1 (en) * | 2009-11-03 | 2011-05-05 | Qualcomm Incorporated | Gesture-based user interface |
JP4679661B1 (ja) * | 2009-12-15 | 2011-04-27 | 株式会社東芝 | 情報提示装置、情報提示方法及びプログラム |
KR20110075250A (ko) | 2009-12-28 | 2011-07-06 | 엘지전자 주식회사 | 객체 추적 모드를 활용한 객체 추적 방법 및 장치 |
US9128281B2 (en) * | 2010-09-14 | 2015-09-08 | Microsoft Technology Licensing, Llc | Eyepiece with uniformly illuminated reflective display |
US20110214082A1 (en) * | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Projection triggering through an external marker in an augmented reality eyepiece |
US20110213664A1 (en) * | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
US8788197B2 (en) | 2010-04-30 | 2014-07-22 | Ryan Fink | Visual training devices, systems, and methods |
US8593375B2 (en) | 2010-07-23 | 2013-11-26 | Gregory A Maltz | Eye gaze user interface and method |
JP5499985B2 (ja) * | 2010-08-09 | 2014-05-21 | ソニー株式会社 | 表示装置組立体 |
US20120062602A1 (en) * | 2010-09-13 | 2012-03-15 | Nokia Corporation | Method and apparatus for rendering a content display |
US8941559B2 (en) | 2010-09-21 | 2015-01-27 | Microsoft Corporation | Opacity filter for display device |
US8768006B2 (en) * | 2010-10-19 | 2014-07-01 | Hewlett-Packard Development Company, L.P. | Hand gesture recognition |
CN102147926A (zh) * | 2011-01-17 | 2011-08-10 | 中兴通讯股份有限公司 | 3d图标的处理方法、装置及移动终端 |
US9336240B2 (en) * | 2011-07-15 | 2016-05-10 | Apple Inc. | Geo-tagging digital images |
US20130050069A1 (en) * | 2011-08-23 | 2013-02-28 | Sony Corporation, A Japanese Corporation | Method and system for use in providing three dimensional user interface |
KR20140069124A (ko) | 2011-09-19 | 2014-06-09 | 아이사이트 모빌 테크놀로지 엘티디 | 증강 현실 시스템용 터치프리 인터페이스 |
CN108469899B (zh) | 2012-03-13 | 2021-08-10 | 视力移动技术有限公司 | 识别可穿戴显示装置的观察空间中的瞄准点或区域的方法 |
-
2012
- 2012-09-19 KR KR1020147009451A patent/KR20140069124A/ko active Application Filing
- 2012-09-19 KR KR1020227001961A patent/KR20220032059A/ko not_active Application Discontinuation
- 2012-09-19 KR KR1020197034815A patent/KR20190133080A/ko not_active Application Discontinuation
- 2012-09-19 WO PCT/IL2012/050376 patent/WO2013093906A1/en active Application Filing
- 2012-09-19 CN CN201280048836.8A patent/CN103858073B/zh active Active
- 2012-09-19 US US14/345,592 patent/US20140361988A1/en not_active Abandoned
- 2012-09-19 CN CN202210808606.2A patent/CN115167675A/zh active Pending
- 2012-09-19 JP JP2014531374A patent/JP2014531662A/ja active Pending
-
2016
- 2016-03-03 US US15/060,533 patent/US20160259423A1/en not_active Abandoned
- 2016-04-04 US US15/090,527 patent/US20160291699A1/en not_active Abandoned
- 2016-04-12 US US15/096,674 patent/US20160306433A1/en not_active Abandoned
- 2016-05-02 US US15/144,209 patent/US10401967B2/en not_active Expired - Fee Related
- 2016-09-02 US US15/256,481 patent/US20170052599A1/en not_active Abandoned
-
2017
- 2017-10-02 JP JP2017192930A patent/JP2018028922A/ja active Pending
-
2019
- 2019-08-30 US US16/557,183 patent/US11093045B2/en active Active
-
2020
- 2020-09-18 JP JP2020157123A patent/JP7297216B2/ja active Active
-
2021
- 2021-08-13 US US17/401,427 patent/US11494000B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007115167A (ja) * | 2005-10-24 | 2007-05-10 | Sanyo Electric Co Ltd | 情報処理システム、および携帯情報端末 |
US20110221669A1 (en) * | 2010-02-28 | 2011-09-15 | Osterhout Group, Inc. | Gesture control in an augmented reality eyepiece |
JP2013521576A (ja) * | 2010-02-28 | 2013-06-10 | オスターハウト グループ インコーポレイテッド | 対話式ヘッド取付け型アイピース上での地域広告コンテンツ |
Non-Patent Citations (1)
Title |
---|
坂本 陽 AKIRA SAKAMOTO: "拡張現実感技術を用いた家電機器連携システムの構築 Development of Cooperation System for Home Applian", マルチメディア,分散,協調とモバイル(DICOMO2010)シンポジウム論文集 情報処理学会シンポジ, vol. 第2010巻, JPN6017019875, 7 July 2010 (2010-07-07), JP, pages 374頁, ISSN: 0003569369 * |
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015060579A (ja) * | 2013-09-20 | 2015-03-30 | ヤフー株式会社 | 情報処理システム、情報処理方法および情報処理プログラム |
JP2016051276A (ja) * | 2014-08-29 | 2016-04-11 | 京セラドキュメントソリューションズ株式会社 | 電子機器及び情報表示プログラム |
US10310624B2 (en) | 2014-12-17 | 2019-06-04 | Konica Minolta, Inc. | Electronic apparatus, method for controlling electronic apparatus, and control program for the same |
WO2016098519A1 (ja) * | 2014-12-17 | 2016-06-23 | コニカミノルタ株式会社 | 電子機器、電子機器の制御方法及びその制御プログラム |
JPWO2016098519A1 (ja) * | 2014-12-17 | 2017-09-28 | コニカミノルタ株式会社 | 電子機器、電子機器の制御方法及びその制御プログラム |
JP2016119092A (ja) * | 2014-12-19 | 2016-06-30 | イマージョン コーポレーションImmersion Corporation | オブジェクトとの触覚対応相互作用のためのシステム及び方法 |
JP2016122445A (ja) * | 2014-12-19 | 2016-07-07 | イマージョン コーポレーションImmersion Corporation | 触覚フィードバックを伴うオブジェクト操作のためのシステム及び方法 |
US10606359B2 (en) | 2014-12-19 | 2020-03-31 | Immersion Corporation | Systems and methods for haptically-enabled interactions with objects |
JP2016133541A (ja) * | 2015-01-16 | 2016-07-25 | 株式会社ブリリアントサービス | 電子眼鏡および電子眼鏡の制御方法 |
JP2016161734A (ja) * | 2015-03-02 | 2016-09-05 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、および、プログラム |
JP2021004893A (ja) * | 2015-08-25 | 2021-01-14 | 株式会社日立ハイテク | 自動分析装置、検体検査自動化システム、および検体情報提供方法 |
JP2018534649A (ja) * | 2015-08-27 | 2018-11-22 | シェンジェン ピーアールテック カンパニー リミテッド | 対象物を自動的に取り込むための方法及び装置、並びに記憶媒体 |
JP2017129406A (ja) * | 2016-01-19 | 2017-07-27 | 日本電気通信システム株式会社 | 情報処理装置、スマートグラスおよびその制御方法、並びにコンピュータ・プログラム |
US11054912B2 (en) | 2016-10-09 | 2021-07-06 | Advanced New Technologies Co., Ltd. | Three-dimensional graphical user interface for informational input in virtual reality environment |
KR20190064623A (ko) * | 2016-10-09 | 2019-06-10 | 알리바바 그룹 홀딩 리미티드 | 가상 현실 환경에서의 정보 입력을 위한 3차원 그래피컬 사용자 인터페이스 |
JP6999662B2 (ja) | 2016-10-09 | 2022-01-18 | アドバンスド ニュー テクノロジーズ カンパニー リミテッド | 仮想現実環境における情報入力のための3次元グラフィカルユーザインターフェース |
KR102297818B1 (ko) * | 2016-10-09 | 2021-09-07 | 어드밴스드 뉴 테크놀로지스 씨오., 엘티디. | 가상 현실 환경에서의 정보 입력을 위한 3차원 그래피컬 사용자 인터페이스 |
JP2020502614A (ja) * | 2016-10-09 | 2020-01-23 | アリババ グループ ホウルディング リミテッド | 仮想現実環境における情報入力のための3次元グラフィカルユーザインターフェース |
JP2018082363A (ja) * | 2016-11-18 | 2018-05-24 | セイコーエプソン株式会社 | 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム |
WO2019021447A1 (ja) * | 2017-07-28 | 2019-01-31 | 株式会社オプティム | ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム |
WO2019021446A1 (ja) * | 2017-07-28 | 2019-01-31 | 株式会社オプティム | ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム |
JPWO2019123762A1 (ja) * | 2017-12-22 | 2021-01-07 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2019123762A1 (ja) * | 2017-12-22 | 2019-06-27 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US11321880B2 (en) | 2017-12-22 | 2022-05-03 | Sony Corporation | Information processor, information processing method, and program for specifying an important region of an operation target in a moving image |
JP7192792B2 (ja) | 2017-12-22 | 2022-12-20 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
US12008682B2 (en) | 2017-12-22 | 2024-06-11 | Sony Group Corporation | Information processor, information processing method, and program image to determine a region of an operation target in a moving image |
JP2019192242A (ja) * | 2018-04-20 | 2019-10-31 | イマージョン コーポレーションImmersion Corporation | 没入型現実インターフェースモードを提供するシステム、デバイス及び方法 |
WO2020152828A1 (ja) * | 2019-01-24 | 2020-07-30 | マクセル株式会社 | 表示端末、アプリケーション制御システムおよびアプリケーション制御方法 |
JPWO2020152828A1 (ja) * | 2019-01-24 | 2021-11-18 | マクセル株式会社 | 表示端末、アプリケーション制御システムおよびアプリケーション制御方法 |
JP7223776B2 (ja) | 2019-01-24 | 2023-02-16 | マクセル株式会社 | 表示端末、アプリケーション制御システムおよびアプリケーション制御方法 |
WO2021261068A1 (ja) * | 2020-06-26 | 2021-12-30 | 沖電気工業株式会社 | 表示操作部および装置 |
Also Published As
Publication number | Publication date |
---|---|
US20140361988A1 (en) | 2014-12-11 |
US20160259423A1 (en) | 2016-09-08 |
JP2018028922A (ja) | 2018-02-22 |
US20170052599A1 (en) | 2017-02-23 |
CN103858073A (zh) | 2014-06-11 |
US20220107687A1 (en) | 2022-04-07 |
US11093045B2 (en) | 2021-08-17 |
US20160320855A1 (en) | 2016-11-03 |
KR20190133080A (ko) | 2019-11-29 |
US20200097093A1 (en) | 2020-03-26 |
US11494000B2 (en) | 2022-11-08 |
CN103858073B (zh) | 2022-07-29 |
KR20220032059A (ko) | 2022-03-15 |
JP2021007022A (ja) | 2021-01-21 |
US10401967B2 (en) | 2019-09-03 |
JP7297216B2 (ja) | 2023-06-26 |
US20160291699A1 (en) | 2016-10-06 |
KR20140069124A (ko) | 2014-06-09 |
WO2013093906A1 (en) | 2013-06-27 |
CN115167675A (zh) | 2022-10-11 |
US20160306433A1 (en) | 2016-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7297216B2 (ja) | 拡張現実システムのためのタッチフリーインターフェース | |
US11750767B2 (en) | Selective identification and order of image modifiers | |
US11262835B2 (en) | Human-body-gesture-based region and volume selection for HMD | |
US11941764B2 (en) | Systems, methods, and graphical user interfaces for adding effects in augmented reality environments | |
US9880640B2 (en) | Multi-dimensional interface | |
CN111475059A (zh) | 基于近距离传感器和图像传感器的手势检测 | |
KR102413074B1 (ko) | 사용자 단말, 전자 장치 및 이들의 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150914 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160715 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20161017 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20161214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170116 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170601 |