JP2016126687A - Head-mounted display, operation reception method, and operation reception program - Google Patents

Head-mounted display, operation reception method, and operation reception program Download PDF

Info

Publication number
JP2016126687A
JP2016126687A JP2015002088A JP2015002088A JP2016126687A JP 2016126687 A JP2016126687 A JP 2016126687A JP 2015002088 A JP2015002088 A JP 2015002088A JP 2015002088 A JP2015002088 A JP 2015002088A JP 2016126687 A JP2016126687 A JP 2016126687A
Authority
JP
Japan
Prior art keywords
image
user
virtual
display
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015002088A
Other languages
Japanese (ja)
Inventor
将 井上
Susumu Inoue
将 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2015002088A priority Critical patent/JP2016126687A/en
Publication of JP2016126687A publication Critical patent/JP2016126687A/en
Granted legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a technique capable of easily inputting an operation with respect to virtual UI by a gesture.SOLUTION: A head-mounted display includes a display part which transmits light inputted from the visual field of a user and can display an image, an object detection part which detects an object arranged in the visual field, an image display part which allows the display part to display the virtual UI visually recognized by the user in the state of being overlapped with the image of the object visually recognized by the user through the display part, a gesture detection part which detects the gesture with respect to the object of the user, and an operation reception part which receives the operation of the user with respect to the virtual UI on the basis of the detected gesture.SELECTED DRAWING: Figure 2

Description

本発明は、ヘッドマウントディスプレイ、操作受付方法および操作受付プログラムに関する。   The present invention relates to a head mounted display, an operation reception method, and an operation reception program.

従来、ヘッドマウントディスプレイを利用する利用者の操作を受け付ける各種の技術が開発されている。例えば、特許文献1においては、オペレーターの手に固定されたRFIDタグや接触センサーを利用してオペレーターによる入力を受け付ける入力装置が開示されている。   Conventionally, various techniques for receiving a user's operation using a head mounted display have been developed. For example, Patent Document 1 discloses an input device that receives an input from an operator using an RFID tag or a contact sensor fixed to the operator's hand.

特開2014−2756号公報JP 2014-2756 A

従来の技術においては、オペレーターが空中で指による操作を行うことで表示部に表示されたマウスポインタに対する操作を行う構成である。しかし、一般的な利用者が空中で指等によるジェスチャーを行う際には指等の位置のブレが発生しやすい。また、実体のないマウスポインタを空中の指等で操作する行為は、選択操作としての実感がわきにくい。従って、従来の技術においては、仮想的なUIに対する操作をジェスチャーによって入力することが困難であった。
本発明のある態様は、仮想的なUIに対する操作をジェスチャーによって容易に入力可能にする技術を提供することを目的とする。また、本発明の他の態様は、他者に違和感を与えることが少ないジェスチャー入力を可能とする技術を提供することを目的とする。
In the conventional technology, the operator operates the mouse pointer displayed on the display unit by performing an operation with a finger in the air. However, when a general user performs a gesture with a finger or the like in the air, the position of the finger or the like is likely to be blurred. In addition, the act of operating an innocent mouse pointer with an aerial finger or the like is difficult to realize as a selection operation. Therefore, in the conventional technology, it is difficult to input an operation for a virtual UI by a gesture.
An object of some aspects of the present invention is to provide a technique that enables an operation on a virtual UI to be easily input by a gesture. Another object of the present invention is to provide a technique that enables gesture input that does not give a strange feeling to others.

上記目的を達成するためのヘッドマウントディスプレイは、利用者の視野から入力する光を透過するとともに画像を表示可能な表示部と、視野内に配置されたオブジェクトを検出するオブジェクト検出部と、表示部を介して利用者に視認されるオブジェクトの像に対して重畳された状態で利用者に視認される仮想UIを表示部に表示させる画像表示部と、利用者のオブジェクトに対するジェスチャーを検出するジェスチャー検出部と、検出されたジェスチャーに基づいて、仮想UIに対する利用者の操作を受け付ける操作受付部と、を備える。   A head-mounted display for achieving the above object includes a display unit that transmits light input from a user's visual field and can display an image, an object detection unit that detects an object disposed in the visual field, and a display unit An image display unit for displaying a virtual UI visually recognized by the user in a state superimposed on an image of the object visually recognized by the user via the display, and gesture detection for detecting a gesture of the user object And an operation reception unit that receives a user operation on the virtual UI based on the detected gesture.

すなわち、利用者の視野内にオブジェクトが存在する状態において、当該オブジェクトの像には仮想UIが重畳される。このように、オブジェクトの像と重畳された仮想UIが視認可能な状態において、利用者がオブジェクトに対してジェスチャーを行うと仮想UIに対する操作が受け付けられる。従って、利用者は、視野内にオブジェクトを保持した状態で、実体のあるオブジェクトという物体に対するジェスチャーで仮想UIに対する操作を行うことができる。   That is, in a state where an object exists in the user's field of view, a virtual UI is superimposed on the image of the object. Thus, when the user performs a gesture on the object in a state where the virtual UI superimposed on the image of the object is visible, an operation on the virtual UI is accepted. Therefore, the user can perform operations on the virtual UI with a gesture for an object called a substantial object while holding the object in the field of view.

このため、利用者は、実体を伴わない空中の像に対して操作を行う場合よりもブレが少ない状態でジェスチャーを行うことができ、仮想的なUIに対する操作をジェスチャーによって容易に入力することができる。また、実体のあるオブジェクトに対するジェスチャーという実感を伴うジェスチャーによって仮想UIに対する操作を行うことができる。従って、利用者は、違和感を覚えることなく入力を行うことができる。さらに、ジェスチャーを行う利用者以外の他者が当該利用者を観察可能な状況を想定すると、オブジェクトに対するジェスチャーは、空中に対するジェスチャーと比較して他者に違和感を与えることが少ない。このため、衆人環境下におけるヘッドマウントディスプレイの利用を促進することが可能である。   For this reason, the user can perform a gesture with less blur than when performing an operation on an aerial image without an entity, and can easily input an operation on a virtual UI using the gesture. it can. In addition, an operation on the virtual UI can be performed by a gesture accompanied by an actual feeling of a gesture for a substantial object. Therefore, the user can input without feeling uncomfortable. Furthermore, assuming a situation in which a person other than the user who performs the gesture can observe the user, the gesture for the object is less likely to give the other person a sense of discomfort than the gesture for the air. For this reason, it is possible to promote the use of the head mounted display in a crowded environment.

ここで、表示部は、利用者の視野から入力する光を透過するとともに画像を表示可能であればよい。すなわち、表示部は、利用者の視野から入力する光(視線の先にある物体からの出力光や反射光等)を透過するシースルーの表示部であり、当該光の透過とともに任意の画像の表示が可能である。このような構成により、利用者が、視野内の実体のあるオブジェクトと表示部上に表示された画像とを同時に視認できるように構成されていれば良い。なお、このような表示部としては、例えば、特定の方向からの光を透過するとともに、他の方向からの反射するスクリーンが眼前に配置され、当該スクリーンに任意の画像を投影可能である構成等を想定可能である。   Here, the display unit only needs to transmit light input from the user's field of view and display an image. That is, the display unit is a see-through display unit that transmits light input from the user's field of view (such as output light or reflected light from an object ahead of the line of sight), and displays an arbitrary image along with the transmission of the light. Is possible. With such a configuration, it is only necessary that the user can view the substantial object in the field of view and the image displayed on the display unit at the same time. In addition, as such a display unit, for example, a screen that transmits light from a specific direction and reflects from other directions is disposed in front of the eyes, and an arbitrary image can be projected on the screen. Can be assumed.

オブジェクト検出部は、視野内に配置されたオブジェクトを検出することができればよい。すなわち、オブジェクト検出部は、仮想UIの表示対象となるオブジェクトを検出することができればよい。ここで、オブジェクトは、少なくともオブジェクトの像と仮想UIの像とが重畳された状態で仮想UIを表示できるように検出されればよい。従って、表示部を透過するオブジェクトの像が特定または推定できるようにオブジェクトが検出されることが好ましく、例えば、視野内に存在するオブジェクトの位置や形状が検出される構成等を想定することができる。   The object detection part should just be able to detect the object arrange | positioned in the visual field. That is, the object detection unit only needs to be able to detect an object that is a display target of the virtual UI. Here, the object may be detected so that the virtual UI can be displayed in a state where at least the image of the object and the image of the virtual UI are superimposed. Therefore, it is preferable that the object is detected so that an image of the object passing through the display unit can be specified or estimated. For example, it is possible to assume a configuration in which the position or shape of the object existing in the field of view is detected. .

オブジェクトは、実体のある物体であり、仮想UIが重畳される対象となる物体であればよく、予め決められた物体であればよい。例えば、人体の一部(例えば、掌)や、人に着用された衣服の一部(例えば、腕を覆う袖の一部)、平面を有する物体、色が均一な面を含む物体、直線で囲まれた物体(例えば、矩形のカードなど)などであってよい。いずれにしても、既定の物体が予め検出対象のオブジェクトとして定義されていればよい。さらに、オブジェクトは、種々の原理で検出されてよい。例えば、オブジェクト検出部としての画像撮影部で撮影された画像からオブジェクトの特徴量(色や大きさ、形、形状等)が検出された場合にオブジェクトが検出されたと見なす構成でもよいし、他のセンサーが利用される構成であってもよい。   The object is a tangible object, and may be an object on which a virtual UI is superimposed, or may be a predetermined object. For example, a part of a human body (for example, a palm), a part of clothes worn by a person (for example, a part of a sleeve covering an arm), an object having a plane, an object including a surface with a uniform color, a straight line It may be an enclosed object (for example, a rectangular card). In any case, a predetermined object may be defined in advance as an object to be detected. Furthermore, objects may be detected on various principles. For example, it may be configured that an object is detected when a feature amount (color, size, shape, shape, etc.) of an object is detected from an image captured by an image capturing unit serving as an object detection unit. A configuration in which a sensor is used may be used.

後者としては、例えば、オブジェクトとの距離を検出する距離センサーやオブジェクトの位置を検出する位置センサー等であってもよい。むろん、オブジェクトが検出される範囲は限定的であってもよい。例えば、視野の正面や所定の位置など、予め検出範囲が設定されてもよいし、オブジェクトが所定の距離以内の範囲にオブジェクトが存在する場合に当該オブジェクトが検出される構成であってもよい。   The latter may be, for example, a distance sensor that detects the distance to the object, a position sensor that detects the position of the object, or the like. Of course, the range in which the object is detected may be limited. For example, a detection range such as the front of the field of view or a predetermined position may be set in advance, or the object may be detected when the object exists within a predetermined distance.

画像表示部は、表示部を介して利用者に視認されるオブジェクトの像に対して重畳された状態で利用者に視認される仮想UIを表示部に表示させることができればよい。すなわち、画像表示部は、視野内の任意の物体が表示部を介して視認される状態において、当該表示部に任意の画像を表示可能であり、当該任意の画像としての仮想UIを表示部に表示すればよい。   The image display unit only needs to display a virtual UI visually recognized by the user on the display unit in a state of being superimposed on the image of the object visually recognized by the user via the display unit. That is, the image display unit can display an arbitrary image on the display unit in a state where an arbitrary object in the visual field is visually recognized via the display unit, and the virtual UI as the arbitrary image is displayed on the display unit. Show it.

仮想UIは、表示部を介して利用者に視認されるオブジェクトの像に対して重畳された状態で利用者に視認されるUIであればよく、UIで実現される機能の目的やUI上に含まれるアイコン等の形状等は任意である。また、仮想UIは、オブジェクトの像に対して重畳されて利用されればよく、当該仮想UIをオブジェクトに重畳する主体は、画像表示部であってもよいし、利用者であってもよい。   The virtual UI may be a UI that is visible to the user in a state of being superimposed on an image of an object that is visually recognized by the user via the display unit. The shape or the like of the included icon is arbitrary. The virtual UI only needs to be used while being superimposed on the image of the object, and the subject that superimposes the virtual UI on the object may be an image display unit or a user.

前者としては、例えば、オブジェクト検出部によって検出されたオブジェクトの位置や形状等に基づいて、画像処理部が、オブジェクト上の表示位置を特定し、当該表示位置に仮想UIを重ねるために表示部上に仮想UIを表示すべき位置を特定し、当該位置に仮想UIを表示辞する構成を採用可能である。後者としては、画像処理部が表示部の任意の位置や表示部上のオブジェクトの像の付近に仮想UIを表示し、利用者が、当該仮想UIと透過したオブジェクトの像とを視認しながらオブジェクトを移動させることで、利用者が仮想UIをオブジェクトの像に重畳させる構成が挙げられる。   As the former, for example, based on the position and shape of the object detected by the object detection unit, the image processing unit specifies the display position on the object, and on the display unit in order to overlay the virtual UI on the display position. It is possible to adopt a configuration in which a position where a virtual UI is to be displayed is specified and the virtual UI is displayed at that position. In the latter case, the image processing unit displays a virtual UI at an arbitrary position on the display unit or in the vicinity of the image of the object on the display unit, and the user recognizes the virtual UI and the image of the transmitted object while viewing the object. The configuration in which the user superimposes the virtual UI on the image of the object by moving the can be mentioned.

ジェスチャー検出部は、利用者のオブジェクトに対するジェスチャーを検出することができればよい。すなわち、利用者はオブジェクトの像と当該オブジェクトの像に対して重畳された仮想UIとを同時に視認しているため、利用者がオブジェクトに対してジェスチャーを行うと、利用者は、オブジェクト上の仮想UIに対してジェスチャーが行われているようにジェスチャーを視認することができる。そこで、ジェスチャー検出部は、当該オブジェクトに対する利用者のジェスチャーを検出することができればよい。   The gesture detection unit only needs to be able to detect a gesture on the user's object. That is, since the user is simultaneously viewing the image of the object and the virtual UI superimposed on the image of the object, when the user performs a gesture on the object, the user The gesture can be visually recognized as if the gesture is performed on the UI. Therefore, the gesture detection unit only needs to be able to detect the user's gesture for the object.

オブジェクトに対するジェスチャーは、オブジェクトを利用した利用者の体の一部(指等)の動作であればよく、例えば、オブジェクトの表面に対する指等のタッチ、タップ、指等によるスワイプ、ピンチイン、ピンチアウト、手書きによる文字の筆記または図形の描画、等が挙げられる。当該ジェスチャーの検出は、種々のセンサーによって実施可能であり、例えば、ジェスチャー検出部としての画像撮影部で撮影された画像から指等の特徴量を検出し、当該指等の特徴量に基づいてオブジェクト上で指等によって所定の動作が行われたことを検出することでジェスチャーを検出する構成等が挙げられる。なお、ジェスチャーは、オブジェクトに触れた状態で行われてもよいし、オブジェクトに触れた状態で行われなくてもよい。例えば、後者としては、オブジェクトの付近で手を振るジェスチャー等が挙げられる。なお、後者のジェスチャーであっても、実体のある物体を基準にしている点で、基準のない空中でジェスチャーが行われるよりも好ましいが、前者のように、オブジェクトに触れた状態でジェスチャーが行われると、実体のある物体に触れた状態のジェスチャーによって仮想UIを操作することができて好ましい。   The gesture for the object may be an operation of a part of the user's body (such as a finger) using the object. For example, touching the surface of the object with a finger, tapping, swiping with a finger, pinching in, pinching out, Examples include handwritten character writing or graphic drawing. The gesture can be detected by various sensors. For example, a feature amount such as a finger is detected from an image captured by an image capturing unit serving as a gesture detection unit, and an object is detected based on the feature amount of the finger or the like. The structure etc. which detect a gesture by detecting that predetermined | prescribed operation | movement was performed with the finger | toe etc. above are mentioned. The gesture may be performed while touching the object, or may not be performed while touching the object. For example, the latter includes a gesture of waving near the object. Note that the latter gesture is preferable to performing gestures in the air without reference in that it is based on a real object, but the gesture is performed while touching the object as in the former. It is preferable that the virtual UI can be operated by a gesture of touching a substantial object.

操作受付部は、検出されたジェスチャーに基づいて、仮想UIに対する利用者の操作を受け付けることができればよい。すなわち、操作受付部は、既定のジェスチャーと仮想UIとの関係から既定のジェスチャーが示す操作を受け付けることができればよい。例えば、画像表示部が、複数のアイコンまたは仮想キーを含む仮想UIを表示部に表示させ、ジェスチャー検出部が、利用者がアイコンまたは仮想キーを選択するジェスチャー(タップ等)を検出する構成を採用し、操作受付部が当該ジェスチャーによって指示された操作を受け付ける構成等を採用可能である。むろん、操作はアイコンの選択以外にも種々の操作が想定され、例えば、ピンチイン、ピンチアウトによって縮小、拡大指示が行われたこと、手書きによる文字の筆記または図形の描画がされたこと、を受け付ける構成を採用することができる。   The operation reception unit only needs to be able to receive a user operation on the virtual UI based on the detected gesture. That is, the operation reception unit only needs to be able to receive an operation indicated by the default gesture from the relationship between the default gesture and the virtual UI. For example, the image display unit displays a virtual UI including a plurality of icons or virtual keys on the display unit, and the gesture detection unit detects a gesture (such as a tap) by which the user selects an icon or virtual key. In addition, it is possible to adopt a configuration in which the operation receiving unit receives an operation instructed by the gesture. Of course, various operations other than icon selection are assumed, and for example, it is accepted that a reduction or enlargement instruction has been given by pinch-in or pinch-out, or that handwritten text writing or figure drawing has been performed. A configuration can be employed.

さらに、オブジェクト検出部によってオブジェクトが視野外から視野内に移動したことが検出された場合に、画像表示部が仮想UIの表示を開始する構成を採用してもよい。この構成によれば、利用者は、単にオブジェクトを視野外から視野内に移動させるのみで仮想UIによる操作入力を開始することができる。   Furthermore, a configuration may be adopted in which the image display unit starts displaying the virtual UI when the object detection unit detects that the object has moved from outside the field of view to within the field of view. According to this configuration, the user can start an operation input using the virtual UI simply by moving the object from outside the field of view to within the field of view.

さらに、ヘッドマウントディスプレイが、アプリケーションプログラムを実行可能な制御部を備え、画像表示部が、アプリケーションプログラムの実行過程において、オブジェクト検出部によってオブジェクトが視野外から視野内に移動したことが検出された場合に、アプリケーションプログラムによる処理の少なくとも一部を一時停止して仮想UIの表示を開始し、オブジェクトが視野内から視野外に移動したことが検出された場合に、仮想UIの表示を停止し、アプリケーションプログラムによる処理を再開する構成であってもよい。この構成によれば、利用者は、単にオブジェクトを視野外から視野内に移動させるのみで、実行中の処理を中断させて仮想UIによる操作入力を開始することができ、さらに、単にオブジェクトを視野内から視野外に移動させるのみで、仮想UIによる操作入力を終了させ、中断していた処理を再開させることができる。   Furthermore, when the head mounted display includes a control unit that can execute the application program, and the image display unit detects that the object has moved from outside the field of view to within the field of view in the process of executing the application program. In addition, at least a part of the processing by the application program is temporarily stopped to display the virtual UI, and when it is detected that the object has moved from the inside of the field of view to the outside of the field of view, the display of the virtual UI is stopped, It may be configured to resume the processing by the program. According to this configuration, the user can simply start the operation input using the virtual UI by interrupting the process being executed simply by moving the object from outside the field of view to within the field of view. Only by moving from the inside to the outside of the field of view, the operation input by the virtual UI can be ended, and the suspended processing can be resumed.

さらに、本発明のように、オブジェクトの像に仮想UIが重畳表示された状態でオブジェクトに対してジェスチャーを行うことで操作入力を行う手法は、プログラムや方法としても適用可能である。また、以上のような装置、プログラム、方法は、単独の装置として実現される場合もあれば、複合的な機能を有する装置において共有の部品を利用して実現される場合もあり、各種の態様を含むものである。   Furthermore, as in the present invention, a method of performing an operation input by performing a gesture on an object with a virtual UI superimposed on the image of the object can be applied as a program or a method. In addition, the apparatus, program, and method as described above may be realized as a single apparatus, or may be realized using a shared component in an apparatus having multiple functions. Is included.

本発明の実施形態にかかるヘッドマウントディスプレイの使用状態を示す図である。It is a figure which shows the use condition of the head mounted display concerning embodiment of this invention. 本発明の実施形態にかかるヘッドマウントディスプレイのブロック図である。It is a block diagram of the head mounted display concerning the embodiment of the present invention. 操作受付処理のフローチャートである。It is a flowchart of an operation reception process. (4A)は、オブジェクトに重畳される仮想UIを示す図であり、(4B)はオブジェクトと表示部と利用者の目との位置関係を示す図である。(4A) is a diagram showing a virtual UI superimposed on the object, and (4B) is a diagram showing a positional relationship among the object, the display unit, and the user's eyes.

ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)ヘッドマウントディスプレイの構成:
(2)操作受付処理:
(3)他の実施形態:
Here, embodiments of the present invention will be described in the following order.
(1) Configuration of head mounted display:
(2) Operation acceptance process:
(3) Other embodiments:

(1)ヘッドマウントディスプレイの構成:
図1は、本発明の実施形態にかかるヘッドマウントディスプレイの使用状態を示す図であり、図2は、本発明の実施形態にかかるヘッドマウントディスプレイのブロック図である。本実施形態において、ヘッドマウントディスプレイは、制御装置10と表示装置50とによって構成される。表示装置50は、眼鏡型の装置であり、利用者の鼻と耳を支点にして利用者の眼前に配置されて利用される。表示装置50は、利用者が装着した状態において左目ELの眼前に位置する導光部51と右目ERの眼前に位置する導光部52とを備えている。本実施形態において、導光部51,52は可視光を透過する樹脂で形成されており、利用者は、視野から導光部51,52を介して入力する可視光によって視野内の風景を視認することができる。
(1) Configuration of head mounted display:
FIG. 1 is a diagram showing a usage state of a head mounted display according to an embodiment of the present invention, and FIG. 2 is a block diagram of the head mounted display according to an embodiment of the present invention. In the present embodiment, the head mounted display includes the control device 10 and the display device 50. The display device 50 is a glasses-type device, and is used by being placed in front of the user's eyes with the user's nose and ears as fulcrums. The display device 50 includes a light guide unit 51 positioned in front of the left eye EL and a light guide unit 52 positioned in front of the right eye ER when the user is wearing the display device 50. In the present embodiment, the light guides 51 and 52 are formed of a resin that transmits visible light, and the user visually recognizes the scenery in the field of view through the visible light that is input through the light guides 51 and 52 from the field of view. can do.

本実施形態においては、さらに、導光部51,52の内部に、一部の光を透過し、一部の光を反射する表示部81,82が備えられている。表示部81,82は、利用者の左目EL、右目ERにおいて正面を見た場合の視線方向に対して傾斜するように配置されているハーフミラーである。この結果、図2において破線の矢印で示すように、視野からの可視光が表示部81,82を透過して左目EL、右目ERに到達する。また、図2において一点鎖線の矢印で示すように、左目画像投影部61、右目画像投影部62(詳細は後述)が出力する可視光が表示部81,82で反射されて左目EL、右目ERに到達する。従って、表示部81,82は、利用者の視野から入力する光を透過するとともに画像を表示可能なスクリーンであり、当該表示部81,82により、利用者は、表示装置50の外部(視野)からの可視光と、左目画像投影部61、右目画像投影部62が出力する可視光とが重畳された状態で、双方の光が形成する像を同時に視認することができる。   In the present embodiment, the light guides 51 and 52 are further provided with display units 81 and 82 that transmit part of light and reflect part of light. The display units 81 and 82 are half mirrors arranged so as to be inclined with respect to the line-of-sight direction when the front is viewed with the user's left eye EL and right eye ER. As a result, as shown by the dashed arrows in FIG. 2, visible light from the visual field passes through the display portions 81 and 82 and reaches the left eye EL and the right eye ER. In addition, as shown by the dashed-dotted arrows in FIG. 2, the visible light output from the left eye image projection unit 61 and the right eye image projection unit 62 (details will be described later) is reflected by the display units 81 and 82 and left eye EL and right eye ER. To reach. Therefore, the display units 81 and 82 are screens that can transmit light input from the user's field of view and can display an image. The display units 81 and 82 allow the user to outside the display device 50 (field of view). In the state where the visible light from the light and the visible light output from the left-eye image projection unit 61 and the right-eye image projection unit 62 are superimposed, the images formed by the two lights can be simultaneously viewed.

表示装置50は、左目画像投影部61、右目画像投影部62以外に、インターフェイス60a,60b、撮像部70、距離センサー71を備えている。左目画像投影部61および右目画像投影部62は、図示しない光源、光変調装置、光学系等を備えており、光源から出力される可視光の透過量を光変調装置によって画素毎に制御し、光学系を介して表示部81,82に出力することができる。   The display device 50 includes interfaces 60 a and 60 b, an imaging unit 70, and a distance sensor 71 in addition to the left eye image projection unit 61 and the right eye image projection unit 62. The left-eye image projection unit 61 and the right-eye image projection unit 62 include a light source, a light modulation device, an optical system, and the like (not shown), control the transmission amount of visible light output from the light source for each pixel by the light modulation device, The data can be output to the display units 81 and 82 through the optical system.

また、左目画像投影部61、右目画像投影部62のそれぞれには、インターフェイス60a,60bが接続されている。インターフェイス60a,60bには制御装置10のインターフェイス40から延びる配線が接続され、制御装置10および表示装置50は、当該配線を介して通信を行うことができる。本実施形態において、左目画像投影部61、右目画像投影部62は、インターフェイス60a,60bが出力する画像情報に基づいて画像を表示する。すなわち、左目画像投影部61、右目画像投影部62は、インターフェイス60a,60bが出力する画像情報に基づいて各画素の透過量を制御することにより、表示部81,82に画像を投影する。   Interfaces 60a and 60b are connected to the left eye image projection unit 61 and the right eye image projection unit 62, respectively. A wiring extending from the interface 40 of the control device 10 is connected to the interfaces 60a and 60b, and the control device 10 and the display device 50 can communicate via the wiring. In the present embodiment, the left eye image projection unit 61 and the right eye image projection unit 62 display images based on the image information output from the interfaces 60a and 60b. That is, the left eye image projection unit 61 and the right eye image projection unit 62 project images on the display units 81 and 82 by controlling the transmission amount of each pixel based on the image information output from the interfaces 60a and 60b.

撮像部70は、導光部51,52の間の部位(眼鏡におけるブリッジに相当する部位)に取り付けられたカメラであり、左目EL、右目ERの視野方向が撮影方向になるように取り付けられている。撮像部70には、インターフェイス60aから延びる配線が接続されており、撮像部70は当該配線を介して送信される制御信号によって制御される。また、撮像部70で撮影された画像は当該配線を介してインターフェイス60aに送信される。   The imaging unit 70 is a camera attached to a part between the light guide parts 51 and 52 (part corresponding to a bridge in the spectacles), and is attached so that the viewing direction of the left eye EL and the right eye ER is the photographing direction. Yes. A wiring extending from the interface 60a is connected to the imaging unit 70, and the imaging unit 70 is controlled by a control signal transmitted via the wiring. In addition, an image captured by the imaging unit 70 is transmitted to the interface 60a via the wiring.

距離センサー71は、導光部51,52の間の部位に取り付けられたセンサーである。距離センサー71は、種々の構成によって実現可能であり、例えば、非可視光(例えば、赤外線等)の出力部と検出部とを備え、出力部から出力された非視光が検出対象のオブジェクトで反射した反射光を取得し、出力から検出までのタイムラグに基づいてオブジェクトと距離センサー71との距離を検出するセンサー等によって構成可能である。   The distance sensor 71 is a sensor attached to a portion between the light guide portions 51 and 52. The distance sensor 71 can be realized by various configurations. For example, the distance sensor 71 includes an output unit for non-visible light (for example, infrared rays) and a detection unit, and the non-visible light output from the output unit is an object to be detected. It can be configured by a sensor or the like that acquires the reflected light reflected and detects the distance between the object and the distance sensor 71 based on the time lag from output to detection.

距離センサー71には、インターフェイス60aから延びる配線が接続されており、距離センサー71は当該配線を介して送信される制御信号によって制御される。また、距離センサー71で検出された距離を示す情報は当該配線を介してインターフェイス60aに送信される。なお、図2においては、インターフェイス60aと撮像部70,距離センサー71を結ぶ配線を、簡単のために表示装置50の外部を通る矢印で表現しているが、本実施形態において当該配線は表示装置50の内部を通っている。   A wiring extending from the interface 60a is connected to the distance sensor 71, and the distance sensor 71 is controlled by a control signal transmitted through the wiring. Information indicating the distance detected by the distance sensor 71 is transmitted to the interface 60a via the wiring. In FIG. 2, the wiring connecting the interface 60a, the imaging unit 70, and the distance sensor 71 is represented by an arrow passing outside the display device 50 for the sake of simplicity. However, in the present embodiment, the wiring is a display device. It passes through the inside of 50.

制御装置10は、CPU、RAM、ROM等を備える制御部20とインターフェイス40とボタン41とディスプレイ42とを備えており、制御部20は、ROM等に記録されたプログラムを実行することができる。   The control device 10 includes a control unit 20 including a CPU, RAM, ROM, and the like, an interface 40, a button 41, and a display 42, and the control unit 20 can execute a program recorded in the ROM or the like.

ボタン41は、直方体の制御装置10の表面に押し込み可能に設けられ、制御部20は当該ボタン41に対する押し込み操作が行われたことを検出することができる。利用者は当該ボタン41に対して押し込み操作を行うことで、各種の指示や選択等の操作を行うことができる。なお、図1においては、制御装置10の表面に設けられた複数のボタンの中の1個に引き出し線を付して示している。   The button 41 is provided so as to be able to be pushed into the surface of the rectangular parallelepiped control device 10, and the control unit 20 can detect that the pushing operation on the button 41 has been performed. The user can perform various instructions and operations such as selection by performing a push operation on the button 41. In FIG. 1, one of a plurality of buttons provided on the surface of the control device 10 is shown with a lead line.

ディスプレイ42は、任意の画像を表示するディスプレイと、当該ディスプレイ上における任意の複数の位置に対するタッチを検出するタッチセンサーとを備えた装置である。制御部20は、当該ディスプレイ42に対して制御信号を出力することでディスプレイ42に任意の画像を表示させることができる。また、制御部20は、ディスプレイ42からの出力信号に基づいて、利用者がディスプレイ42に触れることによる指示等を取得することができる。インターフェイス40には表示装置50のインターフェイス60a,60bから延びる配線が接続される。   The display 42 is a device that includes a display that displays an arbitrary image and a touch sensor that detects touches on a plurality of positions on the display. The control unit 20 can display an arbitrary image on the display 42 by outputting a control signal to the display 42. Further, the control unit 20 can acquire an instruction or the like when the user touches the display 42 based on an output signal from the display 42. Wires extending from the interfaces 60 a and 60 b of the display device 50 are connected to the interface 40.

本実施形態において制御部20は、ROM等に記録された図示しない各種のプログラムを実行することが可能である。本実施形態においては、これらのプログラムとして動画の再生プログラム等の各種アプリケーションプログラムや、表示装置50を装着する利用者の操作を検出する操作受付プログラム21が含まれている。制御部20は、これらのアプリケーションプログラムの処理により、各種の機能を実行することができる。例えば、動画の再生プログラムにより、制御部20は、フレーム毎の左目用の画像と右目用の画像を生成し、生成された画像を順次インターフェイス40,60a,60bを介して左目画像投影部61、右目画像投影部62に出力する。この結果、表示装置50の表示部81,82においてはフレーム毎の画像が表示され、利用者は、視野内のオブジェクトとともに再生された動画を視認することができる。   In the present embodiment, the control unit 20 can execute various programs (not shown) recorded in a ROM or the like. In the present embodiment, these programs include various application programs such as a moving image reproduction program, and an operation reception program 21 that detects an operation of a user wearing the display device 50. The control unit 20 can execute various functions by the processing of these application programs. For example, the control unit 20 generates a left-eye image and a right-eye image for each frame according to a moving image reproduction program, and sequentially outputs the generated images to the left-eye image projecting unit 61, via the interfaces 40, 60a, and 60b. The image is output to the right eye image projection unit 62. As a result, an image for each frame is displayed on the display units 81 and 82 of the display device 50, and the user can visually recognize the moving image reproduced together with the object in the field of view.

本実施形態においては、ボタン41によって各種のアプリケーションプログラムの実行指示を行うことが可能であるとともに、視野内のオブジェクトを利用して各種のアプリケーションプログラムの実行指示を行うことも可能である。このような実行指示の検出は、操作受付プログラム21によって行われる。当該検出を行うため、操作受付プログラム21は、オブジェクト検出部21aと画像表示部21bとジェスチャー検出部21cと操作受付部21dとを備えている。   In the present embodiment, execution of various application programs can be instructed by the button 41, and execution instructions of various application programs can be instructed using objects in the field of view. Such an execution instruction is detected by the operation reception program 21. In order to perform the detection, the operation reception program 21 includes an object detection unit 21a, an image display unit 21b, a gesture detection unit 21c, and an operation reception unit 21d.

オブジェクト検出部21aは、視野内に配置されたオブジェクトを検出する機能を制御部20に実現させるプログラムモジュールである。すなわち、制御部20は、オブジェクト検出部21aの処理により、インターフェイス40,60aを介して撮像部70を制御し、撮像部70が順次出力する画像情報を取得する。また、制御部20は、オブジェクト検出部21aの処理に基づいて、画像情報が示す画像に所定のオブジェクトが含まれるか否かを判定する。   The object detection unit 21a is a program module that causes the control unit 20 to realize a function of detecting an object arranged in the field of view. That is, the control unit 20 controls the imaging unit 70 through the interfaces 40 and 60a by the processing of the object detection unit 21a, and acquires image information sequentially output by the imaging unit 70. Further, the control unit 20 determines whether or not a predetermined object is included in the image indicated by the image information based on the processing of the object detection unit 21a.

そして、制御部20は、画像情報が示す画像の少なくとも一領域を視野と見なし、視野外から視野内に所定の形状および大きさのオブジェクトが移動してきたと判定される場合、視野内にオブジェクトが配置されていると検出する。オブジェクトは、実体のある物体であり、仮想UIが重畳される対象となる物体であればよく、予め決められた物体であればよい。なお、ここでは、矩形の平面を持つ物体(例えば、名刺のような物体)を検出対象のオブジェクトとしている例を想定する。図2においては、オブジェクト100が視野内に配置された状態を例示している。上記少なくとも一領域とは、撮像部70が撮像した画像のうち、例えば、利用者が表示部81、82を介して視認する外景に対応付けられた部分であり、後述するキャリブレーションにより対応付けられている。なお、撮像部70のカメラパラメーターによっては、撮像した画像の全領域が、上記視認される外景に対応付けられることもある。   Then, the control unit 20 regards at least one region of the image indicated by the image information as a field of view, and if it is determined that an object having a predetermined shape and size has moved from outside the field of view to the field of view, the object is arranged in the field of view. It is detected that The object is a tangible object, and may be an object on which a virtual UI is superimposed, or may be a predetermined object. Here, an example is assumed in which an object having a rectangular plane (for example, an object such as a business card) is set as an object to be detected. FIG. 2 illustrates a state where the object 100 is arranged in the field of view. The at least one region is, for example, a portion of the image captured by the imaging unit 70 that is associated with an outside scene that the user visually recognizes via the display units 81 and 82, and is associated by calibration described later. ing. Depending on the camera parameters of the imaging unit 70, the entire area of the captured image may be associated with the visually recognized outside scene.

画像表示部21bは、表示部81,82を介して利用者に視認されるオブジェクト100の像に対して重畳された状態で利用者に視認される仮想UIを表示部に表示させる機能を制御部20に実現させるプログラムモジュールである。本実施形態において、仮想UIは、制御部20で実行可能なアプリケーションプログラムの実行指示を受け付けるためのUIであり、各アプリケーションプログラムを示すアイコンが列記されたUIである。図4Aは、当該仮想UIの例を示す図であり、同図4Aにおいては、破線の領域Ru内に列記された正方形でアプリケーションプログラム毎のアイコンIcを模式的に示している。   The image display unit 21b has a function of causing the display unit to display a virtual UI visually recognized by the user in a state of being superimposed on the image of the object 100 visually recognized by the user via the display units 81 and 82. 20 is a program module to be realized by the program 20. In the present embodiment, the virtual UI is a UI for receiving an instruction to execute an application program that can be executed by the control unit 20, and is a UI in which icons indicating the application programs are listed. FIG. 4A is a diagram showing an example of the virtual UI. In FIG. 4A, the icons Ic for each application program are schematically shown as squares listed in the broken line Ru.

本実施形態において、制御部20は、画像表示部21bの処理により、オブジェクト100の像に仮想UIを重畳するために必要な仮想UIの表示位置および大きさを取得する。すなわち、制御部20は、画像表示部21bの処理により、撮像部70で撮影された画像情報に基づいて、オブジェクト100の位置を特定し、当該オブジェクト100の像の所定位置に仮想UIを表示するために、各アイコンを表示すべき表示部81,82上の表示位置を取得する。   In the present embodiment, the control unit 20 acquires the display position and size of the virtual UI necessary for superimposing the virtual UI on the image of the object 100 by the processing of the image display unit 21b. That is, the control unit 20 specifies the position of the object 100 based on the image information captured by the imaging unit 70 by the processing of the image display unit 21b, and displays the virtual UI at a predetermined position of the image of the object 100. Therefore, the display position on the display unit 81 or 82 where each icon is to be displayed is acquired.

さらに、制御部20は、画像表示部21bの処理により、予めROMに記録されたアイコンの画像情報に基づいて、表示部81,82上の各表示位置に表示すべきアイコンを示す画像情報を生成する。当該処理は、右目と左目とのそれぞれに対して実行される。左目用の画像と右目用の画像とが生成されると、制御部20は、画像表示部21bの処理により、左目画像投影部61を制御して表示部81に左目用の画像を表示させ、画像表示部21bの処理により、右目画像投影部62を制御して表示部82に右目用の画像を表示させる。この結果、利用者は、左目EL、右目ERのそれぞれにて、オブジェクト100の像に対して重畳された仮想UIを視認することができる。   Further, the control unit 20 generates image information indicating icons to be displayed at the respective display positions on the display units 81 and 82 based on the icon image information recorded in advance in the ROM by the processing of the image display unit 21b. To do. This process is executed for each of the right eye and the left eye. When the left-eye image and the right-eye image are generated, the control unit 20 controls the left-eye image projection unit 61 to display the left-eye image on the display unit 81 by the processing of the image display unit 21b. By the processing of the image display unit 21b, the right-eye image projection unit 62 is controlled to display the right-eye image on the display unit 82. As a result, the user can visually recognize the virtual UI superimposed on the image of the object 100 with each of the left eye EL and the right eye ER.

ジェスチャー検出部21cは、利用者のオブジェクト100に対するジェスチャーを検出する機能を制御部20に実現させるプログラムモジュールである。すなわち、オブジェクト100の像に仮想UIが重畳された状態において、利用者はオブジェクト100の像と当該オブジェクト100の像に対して重畳された仮想UIとを同時に視認することになる。従って、利用者がオブジェクト100に対してジェスチャーを行うと、利用者は、オブジェクト100上の仮想UIに対してジェスチャーが行われているようにジェスチャーを視認することができる。   The gesture detection unit 21 c is a program module that causes the control unit 20 to realize a function of detecting a gesture for the user object 100. That is, in a state where the virtual UI is superimposed on the image of the object 100, the user visually recognizes the image of the object 100 and the virtual UI superimposed on the image of the object 100 at the same time. Therefore, when the user performs a gesture on the object 100, the user can visually recognize the gesture as if the gesture is performed on the virtual UI on the object 100.

そこで、本実施形態においては、オブジェクト100に対するジェスチャーにより、オブジェクト100に重畳された仮想UIを利用した入力を行うように予め決められている。具体的には、仮想UIの各アイコンが重畳される部位に相当するオブジェクト100上の位置を指でタップするジェスチャーが行われた場合、制御部20は、各アイコンが指示されたと見なし、各アイコンに対応するアプリケーションプログラムを起動する。   Therefore, in this embodiment, it is determined in advance that an input using a virtual UI superimposed on the object 100 is performed by a gesture on the object 100. Specifically, when a gesture is performed in which a finger taps a position on the object 100 corresponding to a portion where each icon of the virtual UI is superimposed, the control unit 20 considers that each icon has been instructed, and each icon Start the application program corresponding to.

このようなUIを実現するため、制御部20は、ジェスチャー検出部21cの処理により、インターフェイス40,60aを介して撮像部70を制御し、撮像部70が順次出力する画像情報を取得する。また、制御部20は、ジェスチャー検出部21cの処理に基づいて、画像情報が示す画像に利用者の指が含まれるか否かを判定する。利用者の指が含まれる場合、制御部20は、ジェスチャー検出部21cの処理により、時系列的に連続する画像情報に基づいて指がタップに相当する動作をしたか否かを判定する。タップに相当する動作が検出された場合、制御部20は、ジェスチャー検出部21cの処理により、利用者がオブジェクト100に対するジェスチャーを行ったと判定する。   In order to realize such a UI, the control unit 20 controls the imaging unit 70 via the interfaces 40 and 60a by the processing of the gesture detection unit 21c, and acquires image information sequentially output by the imaging unit 70. Moreover, the control part 20 determines whether a user's finger | toe is contained in the image which image information shows based on the process of the gesture detection part 21c. When the user's finger is included, the control unit 20 determines whether or not the finger has performed an operation corresponding to a tap based on the time-series continuous image information by the processing of the gesture detection unit 21c. When an operation corresponding to a tap is detected, the control unit 20 determines that the user has made a gesture on the object 100 by the process of the gesture detection unit 21c.

操作受付部21dは、検出されたジェスチャーに基づいて、仮想UIに対する利用者の操作を受け付ける機能を制御部20に実現させるプログラムモジュールである。すなわち、タップに相当するジェスチャーが検出された場合、制御部20は、当該ジェスチャーと仮想UIとの関係からタップ位置に重畳されたアイコンが示すアプリケーションプログラムの起動指示を受け付ける。具体的には、制御部20は、撮像部70が撮影した画像情報に基づいて、利用者がタップしたオブジェクト100上の位置を取得する。さらに、制御部20は、当該利用者がタップしたオブジェクト100上の位置に重畳するように、画像表示部21bによって表示されていた仮想UIとしてのアイコンを特定する。そして、制御部20は、当該アイコンが示すアプリケーションプログラムを実行する。   The operation reception unit 21d is a program module that causes the control unit 20 to realize a function of receiving a user operation on the virtual UI based on the detected gesture. That is, when a gesture corresponding to a tap is detected, the control unit 20 receives an application program activation instruction indicated by an icon superimposed on the tap position from the relationship between the gesture and the virtual UI. Specifically, the control unit 20 acquires the position on the object 100 tapped by the user based on the image information captured by the imaging unit 70. Furthermore, the control unit 20 specifies the icon as the virtual UI displayed by the image display unit 21b so as to be superimposed on the position on the object 100 tapped by the user. Then, the control unit 20 executes the application program indicated by the icon.

以上の構成においては、利用者は、視野内にオブジェクト100を保持した状態で、実体のあるオブジェクト100という物体に対するジェスチャーで仮想UIに対する操作を行うことができる。このため、利用者は、実体を伴わない空中の像に対して操作を行う場合よりもブレが少ない状態でジェスチャーを行うことができ、仮想的なUIに対する操作をジェスチャーによって容易に入力することができる。また、実体のあるオブジェクト100に対するジェスチャーという実感を伴うジェスチャーによって仮想UIに対する操作を行うことができる。従って、利用者は、違和感を覚えることなく入力を行うことができる。   In the above configuration, the user can perform an operation on the virtual UI with a gesture for an object called the substantial object 100 while holding the object 100 within the field of view. For this reason, the user can perform a gesture with less blur than when performing an operation on an aerial image without an entity, and can easily input an operation on a virtual UI using the gesture. it can. In addition, an operation on the virtual UI can be performed by a gesture accompanied by a real sense of a gesture for the actual object 100. Therefore, the user can input without feeling uncomfortable.

さらに、ジェスチャーを行う利用者以外の他者が当該利用者を観察可能な状況を想定すると、オブジェクト100に対するジェスチャーは、空中に対するジェスチャーと比較して他者に違和感を与えることが少ない。このため、衆人環境下におけるヘッドマウントディスプレイの利用を促進することが可能である。さらに、本実施形態においては、オブジェクト100検出部によってオブジェクト100が視野外から視野内に移動したことが検出された場合に、画像表示部が仮想UIの表示を開始するため、利用者は、単にオブジェクト100を視野外から視野内に移動させるのみで仮想UIによる操作入力を開始することができる。   Furthermore, assuming a situation in which a person other than the user who performs the gesture can observe the user, the gesture for the object 100 is less likely to give the other person a sense of discomfort than the gesture for the air. For this reason, it is possible to promote the use of the head mounted display in a crowded environment. Further, in the present embodiment, when the object 100 detection unit detects that the object 100 has moved from outside the field of view to the field of view, the image display unit starts displaying the virtual UI. The operation input by the virtual UI can be started only by moving the object 100 from outside the field of view to within the field of view.

(2)操作受付処理:
次に、制御部20が実行する操作受付処理を図3に示すフローチャートに沿って詳細に説明する。本実施形態において、制御部20は、任意のアプリケーションプログラムが起動された場合に、操作受付プログラム21を実行して図3に示す操作受付処理を開始する。制御部20は、当該任意のアプリケーションプログラムと並行して操作受付処理を実行する。
(2) Operation acceptance process:
Next, the operation reception process executed by the control unit 20 will be described in detail with reference to the flowchart shown in FIG. In this embodiment, when an arbitrary application program is activated, the control unit 20 executes the operation reception program 21 and starts the operation reception process shown in FIG. The control unit 20 executes an operation reception process in parallel with the arbitrary application program.

操作受付処理が開始されると、制御部20は、オブジェクト検出部21aの処理により、視野外から視野内にオブジェクト100が移動したか否かを判定する(ステップS100)。すなわち、制御部20は、オブジェクト検出部21aの処理により、撮像部70が順次出力する画像情報に基づいて、各画像にオブジェクト100が含まれるか否かを判定する。当該判定は、例えば、オブジェクト100の形状および大きさの特徴量(直線を辺とする矩形が形成されており、矩形の面積が所定面積以上等)に基づいて画像を評価するなどして実行可能である。そして、制御部20は、時系列的に連続する画像において、画像内にオブジェクト100が存在しない状態からオブジェクト100が存在する状態になったか否かを判定し、画像内にオブジェクト100が存在しない状態からオブジェクト100が存在する状態になった場合に、視野外から視野内にオブジェクト100が移動したと判定する。   When the operation reception process is started, the control unit 20 determines whether or not the object 100 has moved from outside the field of view to within the field of view by the process of the object detection unit 21a (step S100). That is, the control unit 20 determines whether or not the object 100 is included in each image based on the image information sequentially output by the imaging unit 70 by the processing of the object detection unit 21a. The determination can be performed, for example, by evaluating an image based on a feature amount of the shape and size of the object 100 (a rectangle having a straight line as a side is formed, and the area of the rectangle is equal to or larger than a predetermined area). It is. Then, the control unit 20 determines whether or not the object 100 exists from the state where the object 100 does not exist in the image in the time series image, and the state where the object 100 does not exist in the image When the object 100 is present, the object 100 is determined to have moved from outside the field of view to within the field of view.

ステップS100において、視野外から視野内にオブジェクト100が移動したと判定されない場合、制御部20は、ステップS100の判定を所定期間毎に繰り返す。一方、ステップS100において、視野外から視野内にオブジェクト100が移動したと判定された場合、制御部20は、オブジェクト検出部21aの処理により、表示装置50からオブジェクト100までの距離を取得する(ステップS105)。すなわち、制御部20は、距離センサー71を制御し、ステップS100で取得された画像が示す位置に存在するオブジェクト100に赤外線を照射し、反射光を取得させる。そして、制御部20は、赤外線の出力から反射光の取得までのタイムラグに基づいて表示装置50からオブジェクト100までの距離を取得する。   If it is not determined in step S100 that the object 100 has moved from outside the field of view to within the field of view, the control unit 20 repeats the determination of step S100 every predetermined period. On the other hand, if it is determined in step S100 that the object 100 has moved from outside the field of view to within the field of view, the control unit 20 acquires the distance from the display device 50 to the object 100 by the processing of the object detection unit 21a (step S100). S105). That is, the control unit 20 controls the distance sensor 71 to irradiate the object 100 existing at the position indicated by the image acquired in step S100 with infrared rays to acquire reflected light. And the control part 20 acquires the distance from the display apparatus 50 to the object 100 based on the time lag from the output of infrared rays to acquisition of reflected light.

次に、制御部20は、オブジェクト検出部21aの処理により、表示装置50からオブジェクト100までの距離が所定範囲内であるか否かを判定する(ステップS110)。すなわち、制御部20は、表示装置50からオブジェクト100までの距離が第1閾値以上、第2閾値以下である場合に、当該距離が所定範囲内であると判定する。なお、第1閾値および第2閾値は予め決められていればよく、例えば、複数の利用者がオブジェクト100を手に持って視野内に配置する際にオブジェクト100が存在し得る範囲を統計等によって特定することによって決定する構成等を採用可能である。   Next, the control unit 20 determines whether or not the distance from the display device 50 to the object 100 is within a predetermined range by the processing of the object detection unit 21a (step S110). That is, when the distance from the display device 50 to the object 100 is not less than the first threshold and not more than the second threshold, the control unit 20 determines that the distance is within the predetermined range. The first threshold value and the second threshold value may be determined in advance. For example, a range in which the object 100 can exist when a plurality of users hold the object 100 in the field of view and place the object 100 in the field of view is determined by statistics or the like. A configuration or the like determined by specifying can be adopted.

ステップS110において、オブジェクト100までの距離が所定範囲内であると判定されない場合、制御部20は、仮想UIを表示すべき状態ではないと見なしてステップS100以降の処理を繰り返す。一方、ステップS110において、オブジェクト100までの距離が所定範囲内であると判定された場合、制御部20は、オブジェクト検出部21aの処理により、オブジェクト100の形状および大きさを取得する(ステップS115)。すなわち、制御部20は、撮像部70にて撮影された画像情報から特徴量を抽出し、オブジェクト100の視野内での形状および大きさ(2次元の画像座標系での形状および大きさ)を特定する。具体的には、制御部20は、オブジェクト100の境界と面積を特定する。なお、境界の一部は連続していない状態でもよい(例えば、辺の一部が指で隠れている等)。   If it is not determined in step S110 that the distance to the object 100 is within the predetermined range, the control unit 20 regards that the virtual UI is not to be displayed, and repeats the processing after step S100. On the other hand, when it is determined in step S110 that the distance to the object 100 is within the predetermined range, the control unit 20 acquires the shape and size of the object 100 by the processing of the object detection unit 21a (step S115). . That is, the control unit 20 extracts a feature amount from the image information captured by the imaging unit 70, and determines the shape and size within the field of view of the object 100 (shape and size in a two-dimensional image coordinate system). Identify. Specifically, the control unit 20 specifies the boundary and area of the object 100. Note that a part of the boundary may not be continuous (for example, a part of the side is hidden by a finger).

次に、制御部20は、オブジェクト検出部21aの処理により、オブジェクト100の形状および大きさが所定範囲であるか否かを判定する(ステップS120)。すなわち、制御部20は、ステップS115で取得されたオブジェクト100の形状および大きさが、仮想UIを重畳可能な形状および大きさとして予め決められた範囲であるか否かを判定する。ここで、仮想UIを重畳可能な形状としては、仮想UIを列記するように重畳可能な形状であればよく、例えば、長方形からの変形度が所定の度合い以下である矩形であれば(過度に歪んだ平行四辺形ではないなど)、仮想UIを重畳可能な範囲の形状と見なす構成等を採用可能である。むろん、形状は矩形に限定されず、円形や他の多角形であってもよい。また、仮想UIを重畳可能な大きさとしては、仮想UIとしての複数のアイコンを重畳可能な大きさであればよく、例えば、面積が所定の閾値以上である場合に仮想UIを重畳可能な範囲の大きさと見なす構成等を採用可能である。   Next, the control unit 20 determines whether or not the shape and size of the object 100 are within a predetermined range by the processing of the object detection unit 21a (step S120). In other words, the control unit 20 determines whether or not the shape and size of the object 100 acquired in step S115 are within a predetermined range as a shape and size that can be superimposed with the virtual UI. Here, the shape that can superimpose the virtual UI may be any shape that can be superimposed so as to list the virtual UI. For example, if it is a rectangle whose degree of deformation from a rectangle is a predetermined degree or less (excessively It is possible to adopt a configuration in which the virtual UI is regarded as a shape in a range that can be superposed, such as a distorted parallelogram. Of course, the shape is not limited to a rectangle, and may be a circle or another polygon. In addition, the size capable of superimposing the virtual UI may be any size as long as a plurality of icons as the virtual UI can be superimposed, for example, a range in which the virtual UI can be superimposed when the area is equal to or larger than a predetermined threshold. It is possible to adopt a configuration that is considered to be the size of.

ステップS120において、オブジェクトの形状および大きさが所定範囲であると判定されない場合、制御部20は、仮想UIを表示すべき状態ではないと見なしてステップS100以降の処理を繰り返す。一方、ステップS120において、オブジェクトの形状および大きさが所定範囲であると判定された場合、制御部20は、画像表示部21bの処理により、オブジェクト100の像に仮想UIを重畳するための表示位置を取得する(ステップS125)。   If it is not determined in step S120 that the shape and size of the object are within the predetermined range, the control unit 20 regards that the virtual UI is not to be displayed and repeats the processing after step S100. On the other hand, when it is determined in step S120 that the shape and size of the object are within the predetermined range, the control unit 20 displays the display position for superimposing the virtual UI on the image of the object 100 by the processing of the image display unit 21b. Is acquired (step S125).

具体的には制御部20は、画像表示部21bの処理により、撮像部70で撮影された画像情報に基づいて、画像面に平行な方向のオブジェクト100の位置を特定する。さらに、制御部20は、ステップS105において取得された表示装置50からオブジェクト100までの距離に基づいて画像面に垂直な方向のオブジェクト100の位置を特定する。すなわち、制御部20は、画像内でのオブジェクト100の位置および表示装置50からオブジェクト100までの距離の位置に、オブジェクト100の矩形の平面が存在すると仮定し、3次元空間内でのオブジェクト100の矩形の平面の位置を特定する。   Specifically, the control unit 20 specifies the position of the object 100 in the direction parallel to the image plane based on the image information captured by the imaging unit 70 by the processing of the image display unit 21b. Further, the control unit 20 specifies the position of the object 100 in the direction perpendicular to the image plane based on the distance from the display device 50 to the object 100 acquired in step S105. That is, the control unit 20 assumes that a rectangular plane of the object 100 exists at the position of the object 100 in the image and the distance from the display device 50 to the object 100, and the object 100 in the three-dimensional space. Locate the rectangular plane.

図4Bは、左目EL、右目ER、表示部81,82、導光部51,52、オブジェクト100の関係を模式的に示す図であり、同図4Bにおいては、利用者の頭部側から水平面に垂直な方向を見た場合の位置関係を模式的に示している。なお、同図4Bにおいて、表示装置50からオブジェクト100までの距離はLoである。この例において、表示装置50からオブジェクト100に向けた方向をz軸、z軸に垂直な鉛直方向にy軸、z軸およびy軸に垂直な方向にx軸を設定すると、図4Bに示すような座標系が設定され、制御部20は、このような座標系内でオブジェクト100の矩形面(x−y平面に平行)の位置をx、y座標で特定し、z座標を表示装置50からオブジェクト100に向けた距離Loに基づいて特定する。   FIG. 4B is a diagram schematically showing the relationship between the left eye EL, the right eye ER, the display units 81 and 82, the light guide units 51 and 52, and the object 100. In FIG. 4B, the horizontal plane from the user's head side is shown. The positional relationship when viewed in a direction perpendicular to is schematically shown. In FIG. 4B, the distance from the display device 50 to the object 100 is Lo. In this example, when the direction from the display device 50 toward the object 100 is the z axis, the y axis is set in the vertical direction perpendicular to the z axis, and the x axis is set in the direction perpendicular to the z axis and the y axis, as shown in FIG. A coordinate system is set, and the control unit 20 specifies the position of the rectangular surface (parallel to the xy plane) of the object 100 in such a coordinate system by the x and y coordinates, and the z coordinate is displayed from the display device 50. The identification is based on the distance Lo toward the object 100.

オブジェクト100の矩形の平面の位置が特定されると、制御部20は、事前のキャリブレーションにより求めた変換マトリクスを利用し、利用者の網膜上でオブジェクト100の矩形の平面に重なる仮想UIを表示すべき表示部81,82上の表示位置を取得する。制御部20が当該表示位置に仮想UIを表示することにより、利用者は、オブジェクト100と、表示部81、82に表示された仮想UIと、が重畳された状態で視認することができる。なお、取得した表示位置は、オブジェクト100上の重畳位置(実空間上の位置)から、利用者の目の網膜上の位置(実空間上の位置)までの仮想光路と表示部81,82との交点である。例えば、左目ELの網膜上の位置PLで仮想UIを視認させる場合、オブジェクト100上の重畳位置Poから左目ELの網膜上の位置PLまでの仮想光路LLと表示部81との交点が仮想UIの表示位置である。また、右目ERの網膜上の位置PRで仮想UIを視認させる場合、オブジェクト100上の重畳位置Poから右目ERの網膜上の位置PRまでの仮想光路LRと表示部82との交点が仮想UIの表示位置である。   When the position of the rectangular plane of the object 100 is specified, the control unit 20 displays a virtual UI that overlaps the rectangular plane of the object 100 on the user's retina using the conversion matrix obtained by prior calibration. The display position on the display units 81 and 82 to be acquired is acquired. When the control unit 20 displays the virtual UI at the display position, the user can visually recognize the object 100 and the virtual UI displayed on the display units 81 and 82 in a superimposed state. The acquired display position includes the virtual optical path from the superimposed position (position in the real space) on the object 100 to the position on the retina of the user's eye (position in the real space), and the display units 81 and 82. Is the intersection of For example, when the virtual UI is visually recognized at the position PL on the retina of the left eye EL, the intersection of the virtual light path LL from the superimposed position Po on the object 100 to the position PL on the retina of the left eye EL and the display unit 81 is the virtual UI. Display position. When the virtual UI is viewed at the position PR on the retina of the right eye ER, the intersection of the virtual light path LR from the superimposed position Po on the object 100 to the position PR on the retina of the right eye ER and the display unit 82 is the virtual UI. Display position.

事前のキャリブレーションでは、制御部20が、表示部81、82にキャリブレーション用画像を表示させる。当該表示と併せて、制御部20は、所定距離に置かれかつキャリブレーション用画像に対応した参照実物体を、撮像部70を介して認識し、追跡する。このとき、利用者にとってのキャリブレーションの容易さを考慮して、キャリブレーション用画像が参照用物体を追従するように、制御部20がキャリブレーション用画像の位置を動的に変更してもよい。この状態で、利用者が、ユーザーインターフェイス(例えばディスプレイ42におけるタッチセンサー)を介してキャリブレーション用画像の位置を、表示部81、82上で移動させる。そして、利用者が、キャリブレーション用画像と参照実物体とが重なる(位置、大きさ、向きの少なくとも一つがほぼ一致する)ように視認したタイミングにて、ユーザーインターフェイスを介して制御部20に通知する。制御部20は、その通知に応じて、当該タイミングでの参照実物体の検出結果(例えば、撮像部70による画像上の位置など)に対応したパラメーターを取得し、当該パラメーターに基づき、キャリブレーションのための情報(変換マトリクス、視野と見なされる領域等)を決定し得る。なお、撮像部70のカメラパラメーター、および撮像部70と表示部81、82との位置関係を表すパラメーターは、工場出荷時に制御部20(ROM)にセットされている。   In the prior calibration, the control unit 20 causes the display units 81 and 82 to display a calibration image. In conjunction with the display, the control unit 20 recognizes and tracks a reference real object placed at a predetermined distance and corresponding to the calibration image via the imaging unit 70. At this time, in consideration of ease of calibration for the user, the control unit 20 may dynamically change the position of the calibration image so that the calibration image follows the reference object. . In this state, the user moves the position of the calibration image on the display units 81 and 82 via a user interface (for example, a touch sensor on the display 42). Then, at the timing when the user visually recognizes that the calibration image and the reference real object overlap (at least one of the position, the size, and the direction substantially coincides), the notification is sent to the control unit 20 via the user interface. To do. In response to the notification, the control unit 20 acquires a parameter corresponding to the detection result of the reference real object at the timing (for example, the position on the image by the imaging unit 70), and performs calibration based on the parameter. Information (conversion matrix, area considered as field of view, etc.) can be determined. Note that the camera parameters of the imaging unit 70 and the parameters representing the positional relationship between the imaging unit 70 and the display units 81 and 82 are set in the control unit 20 (ROM) at the time of factory shipment.

次に、制御部20は、実行中の処理を中断する(ステップS130)。すなわち、制御部20は、図3に示す操作受付処理と並行して実行していたアプリケーションプログラムによる処理を中断する。この結果、本実施形態においては、オブジェクト100が視野外から視野内に移動したことが検出され、仮想UIの表示を開始することになった場合に、アプリケーションプログラムによる処理を中断することになる。当該アプリケーションプログラムによる処理の中断は、当該当該アプリケーションプログラムによる処理の少なくとも一部を対象として実行されればよく、例えば、表示部81,82において動画を再生するアプリケーションプログラムによって動画を再生している場合において、オブジェクト100が視野外から視野内に移動したことが検出された場合に、制御部20が、動画の再生を一時停止する構成等を採用可能である。   Next, the control unit 20 interrupts the process being executed (step S130). That is, the control unit 20 interrupts the process by the application program that has been executed in parallel with the operation reception process shown in FIG. As a result, in the present embodiment, when it is detected that the object 100 has moved from outside the field of view to within the field of view, and the display of the virtual UI is to be started, the processing by the application program is interrupted. The interruption of the process by the application program only needs to be executed for at least a part of the process by the application program. For example, when the moving image is reproduced by the application program for reproducing the moving image on the display units 81 and 82 2, it is possible to employ a configuration in which the control unit 20 pauses the reproduction of a moving image when it is detected that the object 100 has moved from outside the field of view to within the field of view.

次に、制御部20は、仮想UIを表示する(ステップS135)。すなわち、制御部20は、ステップS125において取得された各アイコンの表示位置に基づいて、左目用の画像と右目用の画像を生成する。すなわち、制御部20は、画像表示部21bの処理により、予めROMに記録されたアイコンの画像情報に基づいて、表示部81上で特定された各表示位置に各アイコンを表示するための情報を左目用の画像として生成する。また、制御部20は、画像表示部21bの処理により、予めROMに記録されたアイコンの画像情報に基づいて、表示部82上で特定された各表示位置に各アイコンを表示するための情報を右目用の画像として生成する。左目用の画像と右目用の画像とが生成されると、制御部20は、画像表示部21bの処理により、左目画像投影部61を制御して表示部81に左目用の画像を表示させ、画像表示部21bの処理により、右目画像投影部62を制御して表示部82に右目用の画像を表示させる。この結果、利用者は、左目EL、右目ERのそれぞれにて、オブジェクト100の像に対して重畳された仮想UIを視認することができる。   Next, the control unit 20 displays a virtual UI (step S135). That is, the control unit 20 generates a left-eye image and a right-eye image based on the display position of each icon acquired in step S125. That is, the control unit 20 displays information for displaying each icon at each display position specified on the display unit 81 based on the image information of the icon previously recorded in the ROM by the processing of the image display unit 21b. Generated as an image for the left eye. The control unit 20 also displays information for displaying each icon at each display position specified on the display unit 82 based on the image information of the icon recorded in advance in the ROM by the processing of the image display unit 21b. Generated as an image for the right eye. When the left-eye image and the right-eye image are generated, the control unit 20 controls the left-eye image projection unit 61 to display the left-eye image on the display unit 81 by the processing of the image display unit 21b. By the processing of the image display unit 21b, the right-eye image projection unit 62 is controlled to display the right-eye image on the display unit 82. As a result, the user can visually recognize the virtual UI superimposed on the image of the object 100 with each of the left eye EL and the right eye ER.

次に、制御部20は、ジェスチャー検出部21cおよび操作受付部21dにより、ジェスチャー検出処理を実行する(ステップS140)。すなわち、制御部20は、ジェスチャー検出部21cの処理により、インターフェイス40,60aを介して撮像部70を制御し、撮像部70が順次出力する画像情報を取得する。また、制御部20は、ジェスチャー検出部21cの処理により、時系列的に連続する画像情報に基づいて指がタップに相当する動作をしたか否かを判定する。タップに相当する動作が検出された場合、制御部20は、ジェスチャー検出部21cの処理により、利用者がオブジェクト100に対するジェスチャーを行ったと判定する。   Next, the control part 20 performs a gesture detection process by the gesture detection part 21c and the operation reception part 21d (step S140). That is, the control unit 20 controls the imaging unit 70 via the interfaces 40 and 60a by the processing of the gesture detection unit 21c, and acquires image information that the imaging unit 70 sequentially outputs. Further, the control unit 20 determines whether or not the finger has performed an operation corresponding to a tap based on image information that is continuous in time series by the processing of the gesture detection unit 21c. When an operation corresponding to a tap is detected, the control unit 20 determines that the user has made a gesture on the object 100 by the process of the gesture detection unit 21c.

利用者がオブジェクト100に対するジェスチャーを行ったと判定された場合、制御部20は、撮像部70が撮影した画像情報に基づいて、利用者がタップしたオブジェクト100上の位置を取得する。さらに、制御部20は、当該利用者がタップしたオブジェクト100上の位置に重畳するように、画像表示部21bによって表示されていた仮想UIとしてのアイコンを特定する。そして、制御部20は、当該アイコンが示すアプリケーションプログラムを実行する。   When it is determined that the user has made a gesture on the object 100, the control unit 20 acquires the position on the object 100 tapped by the user based on the image information captured by the imaging unit 70. Furthermore, the control unit 20 specifies the icon as the virtual UI displayed by the image display unit 21b so as to be superimposed on the position on the object 100 tapped by the user. Then, the control unit 20 executes the application program indicated by the icon.

このようなジェスチャー検出処理の実行過程において、利用者がオブジェクト100に対するジェスチャーを行ったと判定されない場合や、所定の待機期間が経過した場合、制御部20は、視野内から視野外にオブジェクト100が移動したか否かを判定する(ステップS145)。すなわち、制御部20は、オブジェクト検出部21aの処理により、撮像部70が順次出力する画像情報に基づいて、画像内にオブジェクト100が存在する状態からオブジェクト100が存在しない状態になったか否かを判定し、画像内にオブジェクト100が存在する状態からオブジェクト100が存在しない状態になった場合に、視野内から視野外にオブジェクト100が移動したと判定する。   In the execution process of such gesture detection processing, when it is not determined that the user has made a gesture with respect to the object 100 or when a predetermined waiting period has elapsed, the control unit 20 moves the object 100 from within the field of view to outside the field of view. It is determined whether or not (step S145). That is, the control unit 20 determines whether or not the object 100 is changed from the state in which the object 100 is present in the image based on the image information sequentially output by the imaging unit 70 by the processing of the object detection unit 21a. When it is determined that the object 100 does not exist from the state in which the object 100 exists in the image, it is determined that the object 100 has moved from the field of view to the outside of the field of view.

ステップS145において、視野内から視野外にオブジェクト100が移動したと判定されない場合、制御部20は、ステップS140のジェスチャー検出処理を所定期間毎に繰り返す。一方、ステップS145において、視野内から視野外にオブジェクト100が移動したと判定された場合、制御部20は、中断中の処理を再開する(ステップS150)。すなわち、制御部20は、ステップS130で中断されていたアプリケーションプログラムによる処理を再開する。例えば、動画を再生するアプリケーションプログラムによって動画の再生が一時停止されていた場合、当該動画の再生を再開する。この構成によれば、利用者は、オブジェクトを視野外から視野内に移動させるのみで、実行中の処理を中断させて仮想UIによる操作入力を開始することができ、さらに、オブジェクトを視野内から視野外に移動させるのみで、仮想UIによる操作入力を終了させ、中断していた処理を再開させることができる。   If it is not determined in step S145 that the object 100 has moved from the inside of the field of view to the outside of the field of view, the control unit 20 repeats the gesture detection process of step S140 every predetermined period. On the other hand, when it is determined in step S145 that the object 100 has moved from the inside of the field of view to the outside of the field of view, the control unit 20 resumes the suspended process (step S150). That is, the control unit 20 resumes the processing by the application program that has been interrupted in step S130. For example, when the reproduction of a moving image is paused by an application program that reproduces the moving image, the reproduction of the moving image is resumed. According to this configuration, the user can start the operation input by the virtual UI by interrupting the process being executed only by moving the object from the outside of the field of view to the field of view. By simply moving it out of the field of view, the operation input by the virtual UI can be ended, and the suspended processing can be resumed.

なお、以上の処理において制御部20は、ステップS105,S110により、表示装置50からオブジェクト100までの距離が所定範囲である場合に、仮想UIを表示する構成となっている。従って、仮想UIは、表示装置50からの距離が所定範囲以内の位置に存在するオブジェクト100の像に重畳されるため、オブジェクト100の位置に変位が生じた場合であっても、仮想UIがオブジェクト100の像の境界外となってしまう状況が発生することを抑制することが可能である。また、利用者が仮想UIを重畳するオブジェクトとして想定していない像(例えば、遠くにある矩形の物体)を仮想UIの重畳対象として誤検出することを防止することが可能である。   In the above processing, the control unit 20 is configured to display a virtual UI when the distance from the display device 50 to the object 100 is within a predetermined range in steps S105 and S110. Therefore, since the virtual UI is superimposed on the image of the object 100 existing at a position within the predetermined range from the display device 50, the virtual UI is displayed even if the position of the object 100 is displaced. It is possible to suppress the occurrence of a situation that is outside the boundary of 100 images. Further, it is possible to prevent the user from erroneously detecting an image (for example, a distant rectangular object) that is not assumed as an object on which the virtual UI is superimposed as a virtual UI superimposition target.

(3)他の実施形態:
以上の実施形態はオブジェクトの像に仮想UIが重畳表示された状態でオブジェクトに対してジェスチャーを行うことで操作入力を行う限りにおいて、他にも種々の実施形態を採用可能である。例えば、仮想UIはアプリケーションプログラムの実行指示を行うためのUIに限定されない。例えば、スワイプやピンチイン、ピンチアウト等によって画像の大きさや音量の大きさなど、対象の大きさ等を変化させるためのUIや、OSによって提供される各種のUI等、種々のUIを想定することができる。むろん、アプリケーションプログラムの中断を伴わない状態で仮想UIによる操作が実行できるように構成されていても良い。例えば、アプリケーションプログラムによって動画等を再生している状態で、動画の再生を中断することなく仮想UIで音量や輝度等を調整可能に構成されていても良い。また、操作入力は、仮想キーによる文字の入力、または手書きによる文字の筆記もしくは図形の描画を含む。
(3) Other embodiments:
In the above embodiment, various other embodiments can be adopted as long as an operation input is performed by performing a gesture on the object in a state where the virtual UI is superimposed on the image of the object. For example, the virtual UI is not limited to a UI for instructing execution of an application program. For example, various UIs are assumed, such as a UI for changing the size of an object such as the size of an image or volume by swiping, pinching in, pinching out, or various UIs provided by the OS. Can do. Of course, the configuration may be such that an operation using the virtual UI can be executed without interrupting the application program. For example, in a state in which a moving image or the like is being reproduced by an application program, the volume, brightness, or the like may be adjusted using a virtual UI without interrupting the reproduction of the moving image. The operation input includes input of characters by virtual keys, handwriting of characters or drawing of characters.

さらに、オブジェクト100に対するジェスチャーを行ったか否かを判定するための手法としては、種々の手法を採用可能であり、例えば、制御部20が、撮像部70や距離センサー71を利用して利用者の指までの距離を検出し、当該指までの距離が、オブジェクト100までの距離Loとほぼ一致した場合に、オブジェクト100に対するジェスチャーを行った、または行っていると判定する構成等を採用してもよい。さらに、制御装置10と表示装置50とは一体であってもよいし、より多数の装置に分かれていてもよい。また、制御部20の一部が表示装置50に備えられていてもよいし、表示装置50の一部が制御装置10に備えられていてもよい。さらに、上述の実施形態においては、ステップS105,S110により、表示装置50からオブジェクト100までの距離が所定範囲である場合に、仮想UIを表示する構成となっているが、当該処理は省略されてもよい。   Furthermore, as a method for determining whether or not a gesture has been performed on the object 100, various methods can be employed. For example, the control unit 20 uses the imaging unit 70 and the distance sensor 71 to change the user's A configuration in which a distance to a finger is detected and a gesture for the object 100 is determined or determined to be performed when the distance to the finger substantially matches the distance Lo to the object 100 may be adopted. Good. Furthermore, the control device 10 and the display device 50 may be integrated, or may be divided into a larger number of devices. Further, a part of the control unit 20 may be provided in the display device 50, or a part of the display device 50 may be provided in the control device 10. Furthermore, in the above-described embodiment, the virtual UI is displayed when the distance from the display device 50 to the object 100 is within a predetermined range in steps S105 and S110, but this process is omitted. Also good.

10…制御装置、20…制御部、21…操作受付プログラム、21a…オブジェクト検出部、21b…画像表示部、21c…ジェスチャー検出部、21d…操作受付部、40,60a,60b…インターフェイス、41…ボタン、42…ディスプレイ、50…表示装置、51,52…導光部、60a,60b…インターフェイス、61…左目画像投影部、62…右目画像投影部、70…撮像部、71…距離センサー、81,82…表示部、100…オブジェクト   DESCRIPTION OF SYMBOLS 10 ... Control apparatus, 20 ... Control part, 21 ... Operation reception program, 21a ... Object detection part, 21b ... Image display part, 21c ... Gesture detection part, 21d ... Operation reception part, 40, 60a, 60b ... Interface, 41 ... Button, 42 ... Display, 50 ... Display device, 51, 52 ... Light guide unit, 60a, 60b ... Interface, 61 ... Left eye image projection unit, 62 ... Right eye image projection unit, 70 ... Imaging unit, 71 ... Distance sensor, 81 , 82 ... display unit, 100 ... object

Claims (6)

利用者の視野から入力する光を透過するとともに画像を表示可能な表示部と、
前記視野内に配置されたオブジェクトを検出するオブジェクト検出部と、
前記表示部を介して利用者に視認される前記オブジェクトの像に対して重畳された状態で前記利用者に視認される仮想UIを前記表示部に表示させる画像表示部と、
前記利用者の前記オブジェクトに対するジェスチャーを検出するジェスチャー検出部と、
検出されたジェスチャーに基づいて、前記仮想UIに対する前記利用者の操作を受け付ける操作受付部と、
を備えるヘッドマウントディスプレイ。
A display unit capable of transmitting light input from the user's field of view and displaying an image;
An object detection unit for detecting an object arranged in the field of view;
An image display unit for displaying a virtual UI visually recognized by the user on the display unit in a state of being superimposed on an image of the object visually recognized by the user via the display unit;
A gesture detector for detecting a gesture of the user with respect to the object;
An operation accepting unit that accepts an operation of the user on the virtual UI based on the detected gesture;
Head mounted display with
前記画像表示部は、
前記オブジェクト検出部によって、前記オブジェクトが視野外から前記視野内に移動したことが検出された場合に、前記仮想UIの表示を開始する、
請求項1に記載のヘッドマウントディスプレイ。
The image display unit
When the object detection unit detects that the object has moved from outside the field of view into the field of view, the display of the virtual UI is started.
The head mounted display according to claim 1.
アプリケーションプログラムを実行可能な制御部をさらに備え、
前記画像表示部は、
前記アプリケーションプログラムの実行過程において、前記オブジェクト検出部によって前記オブジェクトが視野外から前記視野内に移動したことが検出された場合に、前記アプリケーションプログラムによる処理の少なくとも一部を一時停止して前記仮想UIの表示を開始し、
前記オブジェクトが前記視野内から前記視野外に移動したことが検出された場合に、前記仮想UIの表示を停止し、前記アプリケーションプログラムによる処理を再開する、
請求項1または請求項2のいずれかに記載のヘッドマウントディスプレイ。
A control unit that can execute the application program is further provided.
The image display unit
In the process of executing the application program, when the object detection unit detects that the object has moved from the outside of the field of view to the field of view, at least a part of the processing by the application program is suspended and the virtual UI is stopped. Starts displaying,
When it is detected that the object has moved from within the field of view to outside the field of view, the display of the virtual UI is stopped and the processing by the application program is resumed.
The head mounted display according to claim 1.
前記画像表示部は、
複数のアイコンを含む前記仮想UIを前記表示部に表示させ、
前記ジェスチャー検出部は、
前記利用者が前記アイコンを選択する前記ジェスチャーを検出する、
請求項1〜請求項3のいずれかに記載のヘッドマウントディスプレイ。
The image display unit
Displaying the virtual UI including a plurality of icons on the display unit;
The gesture detection unit
Detecting the gesture by which the user selects the icon;
The head mounted display in any one of Claims 1-3.
利用者の視野内に配置されたオブジェクトを検出するオブジェクト検出工程と、
前記視野から入力する光を透過するとともに画像を表示可能な表示部を介して利用者に視認される前記オブジェクトの像に対して重畳された状態で前記利用者に視認される仮想UIを前記表示部に表示させる画像表示工程と、
前記利用者の前記オブジェクトに対するジェスチャーを検出するジェスチャー検出工程と、
検出されたジェスチャーに基づいて、前記仮想UIに対する前記利用者の操作を受け付ける操作受付工程と、
を含む操作受付方法。
An object detection process for detecting an object placed in the user's field of view;
The virtual UI visually recognized by the user in a state of being superimposed on the image of the object that is visually recognized by the user via a display unit that transmits light input from the visual field and can display an image. An image display process to be displayed on the screen,
A gesture detection step of detecting a gesture of the user with respect to the object;
An operation accepting step for accepting an operation of the user on the virtual UI based on the detected gesture;
Operation reception method including
利用者の視野内に配置されたオブジェクトを検出するオブジェクト検出機能と、
前記視野から入力する光を透過するとともに画像を表示可能な表示部を介して利用者に視認される前記オブジェクトの像に対して重畳された状態で前記利用者に視認される仮想UIを前記表示部に表示させる画像表示機能と、
前記利用者の前記オブジェクトに対するジェスチャーを検出するジェスチャー検出機能と、
検出されたジェスチャーに基づいて、前記仮想UIに対する前記利用者の操作を受け付ける操作受付機能と、
をコンピューターに実現させる操作受付プログラム。
An object detection function for detecting an object placed in the user's field of view;
The virtual UI visually recognized by the user in a state of being superimposed on the image of the object that is visually recognized by the user via a display unit that transmits light input from the visual field and can display an image. Image display function to be displayed on the screen,
A gesture detection function for detecting a gesture for the object of the user;
An operation accepting function for accepting an operation of the user on the virtual UI based on the detected gesture;
An operation reception program that makes a computer realize.
JP2015002088A 2015-01-08 2015-01-08 Head-mounted display, operation reception method, and operation reception program Granted JP2016126687A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015002088A JP2016126687A (en) 2015-01-08 2015-01-08 Head-mounted display, operation reception method, and operation reception program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015002088A JP2016126687A (en) 2015-01-08 2015-01-08 Head-mounted display, operation reception method, and operation reception program

Publications (1)

Publication Number Publication Date
JP2016126687A true JP2016126687A (en) 2016-07-11

Family

ID=56358008

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015002088A Granted JP2016126687A (en) 2015-01-08 2015-01-08 Head-mounted display, operation reception method, and operation reception program

Country Status (1)

Country Link
JP (1) JP2016126687A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6189496B1 (en) * 2016-07-20 2017-08-30 株式会社コロプラ Method for providing virtual space, method for providing virtual experience, program, and recording medium
US10198855B2 (en) 2016-07-20 2019-02-05 Colopl, Inc. Method of providing virtual space, method of providing virtual experience, system and medium for implementing the methods
CN112105326A (en) * 2019-01-07 2020-12-18 株式会社mediVR Rehabilitation support device, rehabilitation support system, rehabilitation support method, and rehabilitation support program
WO2021181604A1 (en) * 2020-03-12 2021-09-16 マクセル株式会社 Information terminal device, and application operation mode control method of same

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6189496B1 (en) * 2016-07-20 2017-08-30 株式会社コロプラ Method for providing virtual space, method for providing virtual experience, program, and recording medium
JP2018013937A (en) * 2016-07-20 2018-01-25 株式会社コロプラ Method for providing virtual space, method for providing virtual experience, program and recording medium
US10198855B2 (en) 2016-07-20 2019-02-05 Colopl, Inc. Method of providing virtual space, method of providing virtual experience, system and medium for implementing the methods
US10776991B2 (en) 2016-07-20 2020-09-15 Colopl, Inc. Method of providing virtual space, method of providing virtual experience, system and medium for implementing the methods
CN112105326A (en) * 2019-01-07 2020-12-18 株式会社mediVR Rehabilitation support device, rehabilitation support system, rehabilitation support method, and rehabilitation support program
WO2021181604A1 (en) * 2020-03-12 2021-09-16 マクセル株式会社 Information terminal device, and application operation mode control method of same

Similar Documents

Publication Publication Date Title
KR102417968B1 (en) Gaze-based user interaction
US10591729B2 (en) Wearable device
JP6480434B2 (en) System and method for direct pointing detection for interaction with digital devices
US10133407B2 (en) Display apparatus, display system, method for controlling display apparatus, and program
US20120056989A1 (en) Image recognition apparatus, operation determining method and program
US20140240225A1 (en) Method for touchless control of a device
CN110647237A (en) Gesture-based content sharing in an artificial reality environment
US10234955B2 (en) Input recognition apparatus, input recognition method using maker location, and non-transitory computer-readable storage program
CA2810307A1 (en) Image recognition apparatus, operation determining method and computer readable medium
JP2009267729A (en) Image processing apparatus, image processing method, program, and recording medium
KR102147430B1 (en) virtual multi-touch interaction apparatus and method
JP6350772B2 (en) Information processing system, information processing apparatus, control method, and program
JP6344530B2 (en) Input device, input method, and program
JP2016126687A (en) Head-mounted display, operation reception method, and operation reception program
KR20170087292A (en) Head mounted display and control method thereof
US10642348B2 (en) Display device and image display method
JP2012238293A (en) Input device
US20160026244A1 (en) Gui device
KR20170133754A (en) Smart glass based on gesture recognition
US20220012922A1 (en) Information processing apparatus, information processing method, and computer readable medium
US20220244788A1 (en) Head-mounted display
KR101708455B1 (en) Hand Float Menu System
JP2019197478A (en) Program and information processing apparatus
WO2021220407A1 (en) Head-mounted display device and display control method
US20220229524A1 (en) Methods for interacting with objects in an environment