JP2012173772A - User interaction apparatus, user interaction method, user interaction program and integrated circuit - Google Patents
User interaction apparatus, user interaction method, user interaction program and integrated circuit Download PDFInfo
- Publication number
- JP2012173772A JP2012173772A JP2011032079A JP2011032079A JP2012173772A JP 2012173772 A JP2012173772 A JP 2012173772A JP 2011032079 A JP2011032079 A JP 2011032079A JP 2011032079 A JP2011032079 A JP 2011032079A JP 2012173772 A JP2012173772 A JP 2012173772A
- Authority
- JP
- Japan
- Prior art keywords
- user
- real object
- real
- display effect
- hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、ユーザが操作対象となる実物体を非接触で選択する技術に関するものである。 The present invention relates to a technique in which a user selects a real object to be operated without contact.
近年、現実空間の映像データの物体に対してバーチャルな電子情報を合成表示し、物体についての付加情報を提示する拡張現実(Augmented Reality、以降“AR”と記述する)を実現する装置が提供されている。例えば、セカイカメラ(登録商標)などのARソフトウェアがあり、これらのソフトウェアは、例えばiPhone(登録商標)やAndroid(登録商標)などのスマートフォン上で動作する。 In recent years, there has been provided an apparatus for realizing augmented reality (hereinafter referred to as “AR”) in which virtual electronic information is synthesized and displayed on an object of video data in real space and additional information about the object is presented. ing. For example, there is AR software such as Sekai Camera (registered trademark), and these software operate on a smartphone such as iPhone (registered trademark) or Android (registered trademark).
今後、ARを利用した情報の提示は、現実空間の物体(以下、実物体と記述する。)の情報を単にユーザに提示するだけではなく、ユーザからある実物体を操作対象として選択する操作要求を受け付けて、当該実物体に関する情報をユーザに提示することも求められている。この場合、ARでは、ユーザに実物体を非接触で選択させる。そのため、ARでは、ユーザの位置から接触不可能な実物体が操作対象として選択されることもある。 In the future, the presentation of information using AR will not only present the information of an object in the real space (hereinafter referred to as a real object) to the user, but also an operation request for selecting a real object from the user as an operation target. And presenting information on the real object to the user. In this case, in AR, the user is allowed to select a real object without contact. Therefore, in AR, a real object that cannot be touched from the position of the user may be selected as an operation target.
なお、特許文献1には、現実空間においてユーザにより所持される操作デバイスに対応する3次元オブジェクトを表示画面に表示し、操作デバイスの現実空間での姿勢及び位置を検出し、検出した姿勢及び位置に基づいて3次元オブジェクトの姿勢及び位置を変更させる技術が開示されている。
In
しかしながら、ARに関する従来の技術では、ユーザがある実物体を操作対象として選択しようとする場合、ユーザは現在行っている操作が選択しようとしている実物体に近づいているか否かを認識することができないという課題があった。以下、図13を用いてこの課題が生じる一例を説明する。 However, in the conventional technology related to AR, when a user tries to select a certain real object as an operation target, the user cannot recognize whether or not the operation being performed is approaching the real object to be selected. There was a problem. Hereinafter, an example in which this problem occurs will be described with reference to FIG.
図13(a)はユーザがある実物体を操作対象として選択するための選択操作を開始したときの状態を示し、図13(b)は選択操作が完了したときの状態を示している。図13(a)において、ユーザは自身の手301を用いて、実物体304を選択しようとしている。実物体303は現在選択中の実物体である。そのため、実物体303の輪郭が高輝度で発光されている。現在選択中の実物体は例えばユーザの手301に最も近い実物体が選ばれる。
FIG. 13A shows a state when the user starts a selection operation for selecting a certain real object as an operation target, and FIG. 13B shows a state when the selection operation is completed. In FIG. 13A, the user is trying to select a
矢印302は、実物体304を選択するために、ユーザが手301を動かすべき方向を表す。従来の技術では矢印302のようにユーザの操作をユーザに確認させる情報を画面上に表示することは行われていなかった。そのため、ユーザは手301を動かす際に輪郭が発光された実物体を認識し、この認識結果を頼りに矢印302の方向を推測して手301を移動させる必要があった。
An
そして、矢印302の方向をうまく推測してその方向に手301を動かすことができた場合、図13(b)に示すように、ユーザは実物体304を選択することができる。この場合、実物体304の輪郭が高輝度で発光され、ユーザは意図する実物体を選択できたと認識する。
If the direction of the
このように、従来の技術では、ユーザは選択操作中に、手301の方向が矢印302と一致しているかの認識ができず、選択操作が困難であるという課題があった。
As described above, the conventional technique has a problem that the user cannot recognize whether the direction of the
特に、選択対象となる実物体に他の実物体が密集している場合、手301のわずかな方向の違いにより、選択される実物体が変わるため選択操作は更に困難となる。一方、画面上に矢印302を表示させ、ユーザに手301の移動方向を報知すると、画面上に表示される実物体の表示の邪魔になる。また、矢印の記号は、視界上で実物体に手を重ねて掴む動作により実物体を選択するという操作にもそぐわない。
In particular, when other real objects are concentrated in the real object to be selected, the selected real object is changed due to a slight difference in the direction of the
また、特許文献1の手法では、複数の実物体の中から1つの実物体を選択する操作を行う際の操作性の向上を図る措置が何らとられていない。
In the method of
本発明の目的は、ユーザが操作対象となる実物体を選択する操作を行う際の操作性の向上を図ることである。 An object of the present invention is to improve operability when a user performs an operation of selecting an actual object to be operated.
(1)本発明によるユーザインタラクション装置は、ユーザが実物体を非接触で選択するユーザインタラクション装置であって、前記ユーザの視界の映像データを取得するユーザ視界取得部と、前記ユーザの手の状態と手の状態に対応する操作種別とを定義したユーザ操作定義情報を保持するユーザ操作定義保持部と、前記ユーザ視界取得部により取得された映像データから、前記ユーザの現実空間における手の位置座標と前記ユーザの手の状態とを監視し、前記ユーザの現在の手の状態に対応する操作種別を、前記ユーザ操作定義情報を参照して特定するユーザ動作監視部と、前記ユーザが操作可能な現実空間の実物体に関する情報を示す実物体情報を予め保持する実物体情報保持部と、前記実物体情報に基づいて、前記映像データに含まれる実物体の中から操作可能な実物体を識別する実物体識別部と、前記実物体識別部により識別された各実物体の前記現実空間での位置座標と、前記ユーザ動作監視部より監視された前記ユーザの現在の手の位置座標とに基づいて、前記実物体識別部により識別された各実物体の優先度を算出する優先度算出部と、前記ユーザ動作監視部により特定された操作種別が、前記ユーザが操作対象となる実物体を選択する前の選択中の操作種別を示す場合、前記優先度に応じて予め定められた表示効果の度合いを各実物体に設定する表示効果設定部と、前記表示効果設定部により設定された表示効果の度合い応じた表示効果を各実物体に付与する実物体効果付与部と、前記実物体効果付与部により各実物体に付与された表示効果を前記映像データに重畳表示する重畳表示出力部とを備える。 (1) A user interaction device according to the present invention is a user interaction device in which a user selects a real object in a non-contact manner, a user view acquisition unit that acquires video data of the user's view, and a state of the user's hand And a user operation definition holding unit that holds user operation definition information that defines the operation type corresponding to the hand state, and the position coordinates of the hand in the real space of the user from the video data acquired by the user view acquisition unit The user's hand state, and a user action monitoring unit that identifies an operation type corresponding to the user's current hand state with reference to the user operation definition information; Included in the video data based on the real object information, a real object information holding unit that holds real object information indicating information about real objects in the real space in advance A real object identifying unit for identifying a real object that can be operated from among the real objects, a position coordinate of each real object identified by the real object identifying unit in the real space, and the user action monitoring unit. A priority calculation unit that calculates the priority of each real object identified by the real object identification unit based on the current hand position coordinates of the user, and the operation type specified by the user action monitoring unit Is a display effect setting unit that sets the degree of display effect that is predetermined according to the priority to each real object when the user indicates the type of operation being selected before the user selects a real object to be operated A real object effect applying unit that applies a display effect according to the degree of display effect set by the display effect setting unit to each real object, and a display effect that is applied to each real object by the real object effect applying unit. In the video data And a superimposed display output section for tatami displayed.
本発明によるユーザインタラクション方法は、ユーザが実物体を非接触で選択するユーザインタラクション方法であって、ユーザインタラクション装置が、前記ユーザの視界の映像データを取得するユーザ視界取得ステップと、ユーザインタラクション装置が、前記ユーザ視界取得ステップにより取得された映像データから、前記ユーザの現実空間における手の位置座標と前記ユーザの手の状態とを監視し、前記ユーザの現在の手の状態に対応する操作種別を、前記ユーザの手の状態と手の状態に対応する操作種別とを定義したユーザ操作定義情報を参照して特定するユーザ動作監視ステップと、ユーザインタラクション装置が、前記ユーザが操作可能な現実空間の実物体に関する情報を示す実物体情報に基づいて、前記映像データに含まれる実物体の中から操作可能な実物体を識別する実物体識別ステップと、ユーザインタラクション装置が、前記実物体識別ステップにより識別された各実物体の前記現実空間での位置座標と、前記ユーザ動作監視ステップより監視された前記ユーザの現在の手の位置座標とに基づいて、前記実物体識別ステップにより識別された各実物体の優先度を算出する優先度算出ステップと、ユーザインタラクション装置が、前記ユーザ動作監視ステップにより特定された操作種別が、前記ユーザが操作対象となる実物体を選択する前の選択中の操作種別を示す場合、前記優先度に応じて予め定められた表示効果の度合いを各実物体に設定する表示効果設定ステップと、ユーザインタラクション装置が、前記表示効果設定ステップにより設定された表示効果の度合い応じた表示効果を各実物体に付与する実物体効果付与ステップと、ユーザインタラクション装置が、前記実物体効果付与ステップにより各実物体に付与された表示効果を前記映像データに重畳表示する重畳表示出力ステップとを備える。 A user interaction method according to the present invention is a user interaction method in which a user selects a real object in a non-contact manner, wherein a user interaction device acquires a user field of view image data of the user's field of view, and a user interaction device includes: , Monitoring the position coordinates of the user's hand in the real space and the state of the user's hand from the video data acquired by the user field of view acquisition step, and selecting an operation type corresponding to the current state of the user's hand A user operation monitoring step that identifies the user's hand state and an operation type corresponding to the hand state with reference to user operation definition information, and the user interaction device Included in the video data based on real object information indicating information about the real object. A real object identification step for identifying a real object that can be operated from among the real objects; and a user interaction device that detects the position coordinates of each real object identified in the real object identification step in the real space, and the user motion monitoring. A priority calculation step of calculating a priority of each real object identified in the real object identification step based on the position coordinates of the current hand of the user monitored in the step, and a user interaction device comprising: When the operation type specified by the action monitoring step indicates the operation type being selected before the user selects an actual object to be operated, the degree of display effect determined in advance according to the priority A display effect setting step for setting an actual object and a user interaction device that has the display effect set by the display effect setting step. A real object effect imparting step for imparting a display effect according to the degree to each real object, and a user interaction device for superimposing and displaying the display effect imparted to each real object by the real object effect imparting step on the video data A display output step.
本発明によるユーザインタラクションプログラムは、ユーザが実物体を非接触で選択するユーザインタラクション装置としてコンピュータを機能させるユーザインタラクションプログラムであって、前記ユーザの手の状態と手の状態に対応する操作種別とを定義したユーザ操作定義情報を保持するユーザ操作定義保持部と、前記ユーザの視界を示す映像データから、前記ユーザの現実空間における手の位置座標と前記ユーザの手の状態とを監視し、前記ユーザの現在の手の状態に対応する操作種別を、前記ユーザ操作定義情報を参照して特定するユーザ動作監視部と、前記ユーザが操作可能な現実空間の実物体に関する情報を示す実物体情報を予め保持する実物体情報保持部と、前記実物体情報に基づいて、前記映像データに含まれる実物体の中から操作可能な実物体を識別する実物体識別部と、前記実物体識別部により識別された各実物体の前記現実空間での位置座標と、前記ユーザ動作監視部より監視された前記ユーザの現在の手の位置座標とに基づいて、前記実物体識別部により識別された各実物体の優先度を算出する優先度算出部と、前記ユーザ動作監視部により特定された操作種別が、前記ユーザが操作対象となる実物体を選択する前の選択中の操作種別を示す場合、前記優先度に応じて予め定められた表示効果の度合いを各実物体に設定する表示効果設定部と、前記表示効果設定部により設定された表示効果の度合い応じた表示効果を各実物体に付与し、各実物体に付与した表示効果を前記映像データに重畳表示させる表示効果付与部としてコンピュータを機能させる。 A user interaction program according to the present invention is a user interaction program that causes a computer to function as a user interaction device that allows a user to select a real object in a non-contact manner, and includes the user's hand state and an operation type corresponding to the hand state. A user operation definition holding unit that holds the defined user operation definition information, and from the video data indicating the user's field of view, the position coordinates of the user's hand in the real space and the state of the user's hand are monitored, and the user A user action monitoring unit that specifies an operation type corresponding to the current hand state with reference to the user operation definition information, and real object information indicating information about a real object in the real space that can be operated by the user in advance. A real object information holding unit for holding the real object included in the video data based on the real object information; A real object identifying unit for identifying a real object that can be operated from the inside, a position coordinate of each real object identified by the real object identifying unit in the real space, and the user monitored by the user motion monitoring unit Based on the current hand position coordinates, a priority calculating unit that calculates the priority of each real object identified by the real object identifying unit, and an operation type specified by the user action monitoring unit is the user Indicates an operation type being selected before selecting a real object to be operated, a display effect setting unit that sets a degree of display effect predetermined according to the priority to each real object, and the display A display effect according to the degree of display effect set by the effect setting unit is given to each real object, and the computer is caused to function as a display effect giving unit that superimposes the display effect given to each real object on the video data.
本発明による集積回路は、ユーザが実物体を非接触で選択するユーザインタラクション装置の集積回路であって、ユーザの視界の映像データを取得するユーザ視界取得部と、前記ユーザの手の状態と手の状態に対応する操作種別とを定義したユーザ操作定義情報を保持するユーザ操作定義保持部と、前記ユーザ視界取得部により取得された映像データから、前記ユーザの現実空間における手の位置座標と前記ユーザの手の状態とを監視し、前記ユーザの現在の手の状態に対応する操作種別を、前記ユーザ操作定義情報を参照して特定するユーザ動作監視部と、前記ユーザが操作可能な現実空間の実物体に関する情報を示す実物体情報を予め保持する実物体情報保持部と、前記実物体情報に基づいて、前記映像データに含まれる実物体の中から操作可能な実物体を識別する実物体識別部と、前記実物体識別部により識別された各実物体の前記現実空間での位置座標と、前記ユーザ動作監視部より監視された前記ユーザの現在の手の位置座標とに基づいて、前記実物体識別部により識別された各実物体の優先度を算出する優先度算出部と、前記ユーザ動作監視部により特定された操作種別が、前記ユーザが操作対象となる実物体を選択する前の選択中の操作種別を示す場合、前記優先度に応じて予め定められた表示効果の度合いを各実物体に設定する表示効果設定部と、前記表示効果設定部により設定された表示効果の度合い応じた表示効果を各実物体に付与する実物体効果付与部と、前記実物体効果付与部により各実物体に付与された表示効果を前記映像データに重畳表示する重畳表示出力部とを備える。 An integrated circuit according to the present invention is an integrated circuit of a user interaction device that allows a user to select a real object in a non-contact manner, a user view acquisition unit that acquires image data of the user's view, and the state and hand of the user's hand. A user operation definition holding unit that holds user operation definition information that defines an operation type corresponding to the state of the user, and from the video data acquired by the user field of view acquisition unit, the position coordinates of the hand in the real space of the user and the A user motion monitoring unit that monitors a user's hand state and identifies an operation type corresponding to the user's current hand state with reference to the user operation definition information; and a real space operable by the user A real object information holding unit that holds real object information indicating information on the real object in advance, and from among the real objects included in the video data based on the real object information A real object identification unit for identifying a real object that can be created, a position coordinate of each real object identified by the real object identification unit in the real space, and a current state of the user monitored by the user action monitoring unit Based on the position coordinates of the hand, the priority calculating unit that calculates the priority of each real object identified by the real object identifying unit, and the operation type specified by the user action monitoring unit are operated by the user. In the case of indicating the type of operation being selected before selecting a target real object, a display effect setting unit that sets a degree of display effect predetermined according to the priority to each real object, and the display effect setting A real object effect applying unit that applies a display effect according to the degree of display effect set by the unit to each real object, and a display effect that is applied to each real object by the real object effect applying unit is superimposed on the video data. Overlay table And an output unit.
これらの構成によれば、ユーザの手の位置座標とユーザの視界にある実物体の位置座標との距離に基づいて、各実物体に優先度が算出される。そして、ユーザがある実物体を操作対象として選択する操作を行っている場合、優先度に応じた表示効果の度合いが各実物体に設定されて各実物体が表示される。 According to these configurations, the priority is calculated for each real object based on the distance between the position coordinate of the user's hand and the position coordinate of the real object in the user's field of view. When the user performs an operation of selecting a certain real object as an operation target, the degree of display effect corresponding to the priority is set for each real object, and each real object is displayed.
そのため、ユーザは自身の手の位置座標と実物体の位置座標との関係を表示効果の度合いから把握することができる。その結果、ユーザは、選択しようとする実物体に付与された表示効果の度合いから、現在の操作を修正しながら目標とする実物体を選択する操作を行うことができ、操作性の向上を図ることができる。 Therefore, the user can grasp the relationship between the position coordinates of his / her hand and the position coordinates of the real object from the degree of display effect. As a result, the user can perform an operation of selecting a target real object while correcting the current operation from the degree of display effect given to the real object to be selected, thereby improving operability. be able to.
(2)前記ユーザ視界取得部は、前記ユーザにより装着されるヘッドマウントディスプレイが備えるカメラであることが好ましい。 (2) It is preferable that the said user visual field acquisition part is a camera with which the head mounted display with which the said user wears is equipped.
この構成によれば、ユーザの視界の映像データを容易に取得することができる。 According to this configuration, video data of the user's field of view can be easily acquired.
(3)前記ユーザ視界取得部は、複数の定点カメラと、前記定点カメラにより撮影された映像データからユーザの視線を認識し、認識した視線を基に、前記ユーザの視界の映像データを取得する映像データ取得部とを備えることが好ましい。 (3) The user view acquisition unit recognizes the user's line of sight from a plurality of fixed point cameras and video data captured by the fixed point camera, and acquires the video data of the user's view based on the recognized line of sight. It is preferable to include a video data acquisition unit.
この構成によれば、ユーザにカメラを装着させなくても、ユーザの視界の映像データを取得することができる。 According to this configuration, it is possible to acquire video data of the user's field of view without attaching the camera to the user.
(4)前記ユーザ動作監視部は、前記ユーザ視界取得部より取得された映像データに含まれる前記ユーザの手の画像から前記ユーザの手の状態を監視することが好ましい。 (4) It is preferable that the user operation monitoring unit monitors a state of the user's hand from an image of the user's hand included in the video data acquired from the user view acquisition unit.
この構成によれば、ユーザ視界取得部により取得された映像データに含まれる手の画像から状態が監視されているため、手の状態を監視するためのセンサを設ける必要がなくなり、装置構成を簡略化することができる。 According to this configuration, since the state is monitored from the hand image included in the video data acquired by the user view acquisition unit, there is no need to provide a sensor for monitoring the hand state, and the device configuration is simplified. Can be
(5)前記ユーザ動作監視部は、前記ユーザの手に装着されたセンサから取得した情報を用いて前記ユーザの手の状態を監視することが好ましい。 (5) It is preferable that the user operation monitoring unit monitors the state of the user's hand using information acquired from a sensor attached to the user's hand.
この構成によれば、センサを用いてユーザの手の状態を監視しているため、ユーザの手の状態を正確に監視することができる。 According to this configuration, since the state of the user's hand is monitored using the sensor, the state of the user's hand can be accurately monitored.
(6)前記実物体識別部は、操作可能な実物体の種別を更に識別し、前記表示効果設定部は、操作可能な実物体の種別毎に予め定められた表示効果を各実物体に設定することが好ましい。 (6) The real object identifying unit further identifies the type of the real object that can be operated, and the display effect setting unit sets a display effect predetermined for each type of the real object that can be operated to each real object. It is preferable to do.
この構成によれば、ユーザは映像データから実物体の種別を認識することができる。 According to this configuration, the user can recognize the type of the real object from the video data.
(7)前記表示効果設定部は、前記ユーザ動作監視部により特定された操作種別が、前記操作中を示す場合、前記優先度が高い順に所定個数の実物体を抽出し、抽出した実物体に対して表示効果の度合いを設定することが好ましい。 (7) When the operation type specified by the user action monitoring unit indicates that the operation is being performed, the display effect setting unit extracts a predetermined number of real objects in descending order of priority, and extracts the extracted real objects. On the other hand, it is preferable to set the degree of display effect.
この構成によれば、優先度が高い実物体のみ表示効果の度合いが設定されるため、ユーザが選択する可能性が高い実物体に対してのみユーザの手との位置関係を報知することができる。その結果、ユーザに重要な情報のみを報知することができ、不要な情報を排除して操作性を更に高めることができる。 According to this configuration, since the degree of display effect is set only for real objects with high priority, it is possible to notify the positional relationship with the user's hand only for real objects that are highly likely to be selected by the user. . As a result, only important information can be notified to the user, and unnecessary information can be eliminated to further improve operability.
(8)前記表示効果設定部は、前記ユーザ動作監視部により特定された操作種別が、前記操作中を示す場合、前記優先度が高い実物体ほど輪郭の輝度を高く発光させる表示効果の度合いを設定することが好ましい。 (8) When the operation type specified by the user action monitoring unit indicates that the operation is being performed, the display effect setting unit sets a degree of display effect that causes the brightness of the contour to be increased as the real object with higher priority is emitted. It is preferable to set.
この構成によれば、選択を希望する実物体の輪郭が高い輝度で発光されている場合、ユーザは現在の操作が正しいと認識することができる。また、選択を希望する実物体の輪郭が低い輝度で発光されている場合は、当該実物体に向けて手を動かせば当該実物体を選択することができることを認識することができる。その結果、手と選択を希望する実物体との位置関係を直感的にユーザに報知することができる。 According to this configuration, the user can recognize that the current operation is correct when the contour of the real object desired to be selected emits light with high luminance. Further, when the contour of the real object desired to be selected emits light with low luminance, it can be recognized that the real object can be selected by moving the hand toward the real object. As a result, it is possible to intuitively notify the user of the positional relationship between the hand and the actual object desired to be selected.
(9)前記表示効果設定部は、前記ユーザ動作監視部により特定された操作種別が、前記ユーザが操作対象となる実物体を決定した操作種別を示す場合、当該実物体のみに表示効果の度合いを設定することが好ましい。 (9) When the operation type specified by the user action monitoring unit indicates the operation type in which the user has determined the real object to be operated, the display effect setting unit has a display effect level only for the real object. Is preferably set.
この構成によれば、ユーザが実物体を決定した場合、当該実物体のみに表示効果の度合いが設定されるため、ユーザはユーザインタラクション装置がどの実物体を操作対象として認識したかを速やかに認識することができる。 According to this configuration, when the user determines a real object, the degree of display effect is set only for the real object, so the user can quickly recognize which real object the user interaction device has recognized as an operation target. can do.
本発明によれば、ユーザは、実物体に付与された表示効果の度合いから、現在の操作を修正しながら目標とする実物体を選択する操作を行うことができ、操作性の向上を図ることができる。 According to the present invention, the user can perform an operation of selecting a target real object while correcting the current operation from the degree of the display effect given to the real object, thereby improving operability. Can do.
以下、本発明の実施の形態によるユーザインタラクション装置について、図面を参照しながら説明する。本ユーザインタラクション装置は、ユーザの視界内にあり、かつ、ユーザの手が届かない場所にある複数の実物体の中から、1つの実物体を掴む動作を行うことによりユーザに非接触で選択させる装置である。 Hereinafter, a user interaction device according to an embodiment of the present invention will be described with reference to the drawings. This user interaction device allows a user to select non-contact by performing an operation of grasping one real object from a plurality of real objects that are within the user's field of view and are not reachable by the user. Device.
図1は、本発明の実施の形態によるユーザインタラクション装置の構成を示すブロック図である。図1に示すユーザインタラクション装置は、制御部101と入出力部110とを備えている。制御部101は、ユーザ動作監視部102、優先度算出部103、実物体効果付与部104、表示効果設定部105、ユーザ操作定義保持部106、実物体識別部107、実物体情報保持部108、及び表示効果情報保持部109を備えている。ここで、制御部101は、例えばCPU、ROM、及びRAM等を備えるマイクロコンピュータにより構成され、CPUがユーザインタラクションプログラムを実行することで、各ブロックの機能を実現する。
FIG. 1 is a block diagram showing a configuration of a user interaction device according to an embodiment of the present invention. The user interaction device shown in FIG. 1 includes a
入出力部110は、例えばHMDにより構成され、ユーザ視界取得部111、及び重畳表示出力部112を備える。なお、入出力部110及び制御部101を1チップ化して集積回路により構成してもよいし、制御部101及び入出力部110をそれぞれ1チップ化し、個別の集積回路により構成してもよい。
The input /
HMDは、カメラ機能を搭載しておりユーザの視界に映る現実環境の映像を取得することができる。こおで、HMDとしては、現実空間におけるユーザの視界の映像にバーチャルな映像を重畳表示するシースルー型HMDを採用する。 The HMD is equipped with a camera function and can acquire an image of a real environment reflected in the user's field of view. Here, as the HMD, a see-through HMD that superimposes and displays a virtual image on the image of the user's field of view in the real space is adopted.
また、図1に示す構成のうち、制御部101を、HMDとネットワークを介して接続されたコンピュータ、又はHMDに内蔵されたコンピュータとして実現してもよい。このとき、これらの機能ブロックは、ユーザ視界取得部111から取得した映像データを入力とし、重畳表示出力部112に対して現実空間の映像データにバーチャルな画像データを重畳して出力する。
Moreover, you may implement | achieve the
ユーザ視界取得部111は、例えば、HMDに取り付けられた深度センサ又はステレオカメラ等の画像センサと、画像センサにより取得された映像データを処理する処理回路とを備え、ユーザの視界の映像データを所定のフレームレートで取得する。なお、ユーザ視界取得部111として、HMDに取り付けられた画像センサに代えて、複数の定点カメラにより構成してもよい。ここで、定点カメラは、現実空間の所定の場所に固定されたカメラである。
The user
この場合、ユーザ視界取得部111は、定点カメラにより取得された映像データからユーザの視線を認識し、認識した視線からユーザの視界を示す映像データを生成してもよい。具体的には、ユーザ視界取得部111は、定点カメラにより取得された各映像データからユーザのシルエットを抽出する。そして、抽出したユーザのシルエットから現実空間におけるユーザの視線の方向を認識する。
In this case, the user
そして、認識した視線の方向を基準としたときの各定点カメラの光軸の向きを特定する。そして、視線を中心としてユーザの視界と同一サイズを持つ仮想スクリーンを設定し、各定点カメラにより取得された映像データを、視線に対する光軸の向きを基準として仮想スクリーンに配置することでユーザの視界の映像データを生成すればよい。 Then, the direction of the optical axis of each fixed-point camera when the recognized line-of-sight direction is used as a reference is specified. Then, a virtual screen having the same size as the user's field of view is set around the line of sight, and the video data acquired by each fixed-point camera is arranged on the virtual screen with reference to the direction of the optical axis with respect to the line of sight. Video data may be generated.
ユーザ動作監視部102は、ユーザ視界取得部111により取得された映像データからユーザの現実空間における手の位置座標を監視する。ここで、ユーザ動作監視部102は、ユーザ視界取得部111から所定のフレームレートで映像データが供給され、各映像データに含まれる手の特徴点を抽出する処理を行う。
The user
具体的には、まず、ユーザ動作監視部102は、映像データに含まれる実物体の特徴点を抽出する処理を行う。特徴点としては、例えば、実物体の輪郭上の点であって、頂点や曲率の大きな点等の実物体の形状を特徴付ける点が該当する。そして、ユーザ動作監視部102は、映像データから抽出した特徴点をクラスタリングして複数の特徴点群に分け、各特定点群における特徴点の配置パターンから手の特徴点を抽出する。この場合、ユーザ動作監視部102は、手について基準となる特徴点の配置パターンである手の基準配置パターンを予め保持しておき、この手の基準配置パターンと映像データから抽出した特徴点の配置パターンとを比較することで、手の特徴点を抽出すればよい。
Specifically, first, the user
そして、ユーザ動作監視部102は、抽出した手の特徴点から手の代表点を特定する。ここで、代表点としては、例えば手の重心を採用することができる。そして、ユーザ動作監視部102は、手の代表点の現実空間での位置座標を手の位置座標として求める。
Then, the user
ここで、ユーザ視界取得部111として深度センサが採用されている場合、ユーザ動作監視部102は、深度センサが取得した距離画像データにおいて、手の代表点の水平座標及び垂直座標と、手の代表点の奥行座標とから代表点の3次元位置を求めればよい。
Here, when a depth sensor is employed as the user
また、ユーザ視界取得部111としてステレオカメラが採用されている場合、ユーザ動作監視部102は、一方のカメラから取得された映像データから手の特徴点を抽出し、抽出した特徴点から代表点を抽出し、抽出した代表点と同じ箇所を示す対応点を他方のカメラの映像データから抽出する。そして、ユーザ動作監視部102は、手の代表点と対応点との視差を用いて手の代表点の奥行座標を求める。そして、ユーザ動作監視部102は、求めた代表点の奥行座標と、映像データにおける代表点の垂直座標及び水平座標とから代表点の現実空間における位置座標を算出すればよい。
When a stereo camera is employed as the user
また、ユーザ動作監視部102は、ユーザ視界取得部111により取得された映像データからユーザの現実空間における手の状態を監視する。
In addition, the user
本実施の形態では、手の状態として、“解放”、“掌握”、“なし”が存在する。したがって、ユーザ動作監視部102は、映像データから抽出した手の特徴点の配置パターンがいずれの上記3状態のいずれを示すかを判定することで手の状態を監視する。ここで、“解放”は例えば、ユーザの手が自然に開いた状態を示す。この場合、ユーザの手の親指の先端と人差し指の先端との距離が一定距離以上離れるため、ユーザ動作監視部102は、人差し指の先端を示す特徴点と親指の先端を示す特徴点との映像データ上での距離又は現実空間での距離を求め、人差し指の先端と親指の先端とが一定距離以上離れていた場合、手の状態が“解放”であると判定すればよい。
In the present embodiment, there are “release”, “grasping”, and “none” as the hand state. Therefore, the user
なお、ユーザ動作監視部102は、ユーザの手の指にマーカ(センサの一例)を装着させて、マーカの位置を検出することで、ユーザの手の状態を検出してもよい。この場合、例えば、ユーザの親指と人差し指とにそれぞれマーカを装着させる。そして、ユーザ動作監視部102は、映像データからマーカの位置を検出し、そのマーカの映像データにおける距離からユーザの手の状態を検出してもよい。ここで、マーカとしては、例えばLED等の発光体や、白色板等を採用すればよい。
The user
また、“掌握”はユーザの手が何かを掴んだ状態を示す。この場合、ユーザの手の親指の先端と人差し指の先端とが一定距離以内に近づくため、ユーザ動作監視部102は、人差し指の先端と親指の先端との距離が、一定距離以内の場合、手の状態が“掌握”であると判定すればよい。
Further, “grip” indicates a state where the user's hand has grasped something. In this case, since the tip of the thumb of the user's hand and the tip of the index finger come within a certain distance, the user
また、“なし”は手の状態が“解放”及び“掌握”のいずれにも該当しない状態を示す。具体的には、ユーザの手の映像データに含まれておらず、ユーザ動作監視部102が手の特徴点が抽出することができなかった場合が該当する。
“None” indicates a state in which the state of the hand does not correspond to either “release” or “grip”. Specifically, this is a case where the user's
そして、ユーザ動作監視部102は、手の状態の監視結果から、ユーザの現在の手の状態に対応する操作種別を、ユーザ操作定義保持部106に保持されているユーザ操作定義情報を参照して特定する。
Then, the user
図4は、ユーザ操作定義情報の一例を示した図である。図4に示すように、ユーザ操作定義情報は、“操作種別”、“手の状態変化”、及び“手の位置座標差分の絶対値”の欄を備えている。“操作種別”の欄には本ユーザインタラクション装置が識別可能な操作種別が格納されている。ここで、操作種別とは、ユーザが実物体に対して行う操作の種類である。 FIG. 4 is a diagram illustrating an example of user operation definition information. As shown in FIG. 4, the user operation definition information includes columns of “operation type”, “hand state change”, and “absolute value of hand position coordinate difference”. The “operation type” column stores an operation type that can be identified by the user interaction apparatus. Here, the operation type is the type of operation that the user performs on the real object.
図4の例では、操作種別として、“選択中”、“決定”、“範囲指定”、“解除”の4つが存在する。“選択中”は、ユーザが自身の視界に存在する実物体のうち、いずれかの実物体を操作対象として選択する前の操作、つまり、操作対象となる実物体を選択しようとしている操作である。“決定”は、ユーザが操作対象となる実物体を選択した操作、つまり、操作対象となる実物体が確定した操作である。“範囲指定”は、ユーザが“選択中”の操作を開始することを示す操作である。具体的には、“範囲指定”としては、ユーザが自身の手をユーザ視界取得部111の画角外から画角内に侵入させる操作が該当する。
In the example of FIG. 4, there are four operation types, “selected”, “decided”, “range designation”, and “cancel”. “Selecting” is an operation before the user selects one of the real objects existing in his / her field of view as an operation target, that is, an operation for selecting the real object to be operated. . “Determine” is an operation in which the user selects an actual object to be operated, that is, an operation in which the actual object to be operated is confirmed. “Range designation” is an operation indicating that the user starts the “selected” operation. Specifically, the “range designation” corresponds to an operation in which the user enters his / her hand from outside the angle of view of the user
“解除”は、ユーザが“決定”の操作を行って操作対象として決定した実物体を操作対象から解除する操作である。 “Release” is an operation for releasing a real object determined as an operation target by the user performing “decision” operation from the operation target.
“手の状態変化”の欄には手の状態が直前から現在にかけてどのように変化したかを示す情報が格納されている。ここで、ユーザ動作監視部102は、一定の周期(例えば、映像データの取得するフレーム周期)でユーザの手の状態を判定する。そのため、“現在”とはユーザ動作監視部102が判定した手の状態の最新の判定結果を示す。また、“直前”はユーザ動作監視部102が“現在”の判定結果の一つ前に手の状態を判定したときの判定結果を示す。よって、“解放→解放”は、直前の手の状態が解放で、現在の手の状態が解放であることを示す。また、“解放→掌握”は、直前の手の状態が解放で、現在の手の状態が掌握であることを示す。また、“なし→解放”は、直前の手の状態がなしで、現在の手の状態が解放であることを示す。また、“掌握→解放”は、直前の手の状態が掌握で現在の手の状態が解放であることを示す。
The “hand state change” column stores information indicating how the hand state has changed from immediately before to the present. Here, the user
“手の位置座標差分の絶対値”の欄には、直前から現在までの手の位置座標の差分についての条件が格納されている。選択中に対しては“X,Y,Z軸方向のいずれかにおいて5cmより大きい”の条件が格納されている。ここで、X,Y,Z軸は現実空間の各位置を規定するための座標軸であり、それぞれ、直交している。具体的には、X軸は矩形状の映像データの水平方向(横方向)と平行な座標軸である。Y軸は映像データの垂直方向(縦方向)と平行な座標軸である。Z軸はユーザ視界取得部111が備える画像センサのセンサ面と直交する方向、つまり、ユーザの視界の奥行座標を規定する座標軸である。ここで、X、Y、Z軸の原点としては例えば映像データの中央の位置が採用されている。
The “absolute value of hand position coordinate difference” column stores a condition regarding a difference in hand position coordinate from immediately before to the present. A condition “greater than 5 cm in any of the X, Y, and Z axis directions” is stored for the selected item. Here, the X, Y, and Z axes are coordinate axes for defining each position in the real space, and are orthogonal to each other. Specifically, the X axis is a coordinate axis parallel to the horizontal direction (lateral direction) of the rectangular video data. The Y axis is a coordinate axis parallel to the vertical direction (vertical direction) of the video data. The Z-axis is a coordinate axis that defines a direction orthogonal to the sensor surface of the image sensor included in the user
ユーザが“選択中”の操作を行う場合、ユーザは手を自然に開いた状態にして、目標とする実物体に手を移動させる動作を行う。したがって、ユーザ動作監視部102は、手の状態変化が“解放→解放”であり、手の位置座標のX,Y,Z軸の位置座標の差分の絶対値のうち少なくとも1つの座標軸の位置座標の差分の絶対値が5cmより大きい場合、操作種別が選択中であると判定する。
When the user performs the “selecting” operation, the user performs an operation of moving the hand to the target real object with the hand naturally opened. Therefore, the user
また、ユーザが“決定”の操作を行う場合、視界中の実物体に手を重ね、その位置で指を曲げてその実物体を掴むような動作を行う。そのため、ユーザ動作監視部102は、手の状態変化が“解放→掌握”であり、手の位置座標のX,Y,Z軸の位置座標の差分の絶対値の位置座標の差分の絶対値が全て0cm以上、5cm以下の場合、操作種別が決定であると判定する。
When the user performs a “decision” operation, an operation is performed in which a hand is placed on the real object in the field of view and the finger is bent at that position to grasp the real object. Therefore, the user
ここで、5cmを条件として規定したのは、ユーザの手のぶれを想定したものである。すなわち、ユーザは本ユーザインタラクション装置を装着して、街中を歩きながら、実物体を選択する操作を行う。この場合、ユーザは手を停止させていても、歩く動作の振動により手が5cm程度ぶれる。そこで、本実施の形態では、5cmを条件として採用したのである。但し、歩いた際の手のぶれはユーザの身体的特徴に応じて異なることも想定される。また、本ユーザインタラクション装置を操作するときは歩くのをやめ、止まった状態でのみ操作するユーザも想定される。また、本ユーザインタラクション装置を室内でのみ操作するユーザも想定される。したがって、5cmは一例であって、ユーザインタラクション装置に対するユーザの身体的特徴や使用態様に応じて、適宜好ましい値をユーザが設定できるようにしてもよい。 Here, the condition of 5 cm is assumed to be a shake of the user's hand. That is, the user wears this user interaction device and performs an operation of selecting a real object while walking in the city. In this case, even if the user stops the hand, the hand is shaken by about 5 cm due to the vibration of the walking motion. Therefore, in this embodiment, 5 cm is adopted as a condition. However, it is assumed that the hand shake when walking is different depending on the physical characteristics of the user. In addition, a user who stops walking when operating the user interaction apparatus and operates only in a stopped state is also assumed. A user who operates the user interaction apparatus only indoors is also assumed. Therefore, 5 cm is an example, and the user may be able to appropriately set a preferable value according to the user's physical characteristics and usage with respect to the user interaction device.
また、ユーザが“範囲指定”の操作を行う場合、ユーザ視界取得部111の画角外から画角内に手を侵入させる操作を行う。したがって、ユーザ動作監視部102は、手の状態変化が“なし→解放”であり、手の位置座標のX,Y,Z軸の位置座標の差分の絶対値が算出されていない場合、操作種別が範囲指定であると判定する。ここで、“範囲指定”の場合、“手の位置座標差分の絶対値”を“なし”としているのは、直前の手の位置座標が算出されていないため、手の位置座標の差分の絶対値を求めることができないからである。
When the user performs the “range specification” operation, the user performs an operation of intruding a hand from outside the angle of view of the user
また、ユーザが“解除”の操作を行う場合、ユーザは実物体を掴もうとして指を閉じた状態から指を開く操作を行う。したがって、ユーザ動作監視部102は、手の状態変化が“掌握→解放”であり、手の位置座標のX,Y,Z軸の位置座標の差分の絶対値が全て0cm以上5cm以下の場合、操作種別が解除であると判定する。
When the user performs a “release” operation, the user performs an operation of opening the finger from a state in which the finger is closed in order to grab a real object. Therefore, the user
このように、ユーザ動作監視部102はユーザの手の状態を終始監視しながらユーザ操作種別の判定とユーザの手の位置座標の更新とを行う。
As described above, the user
図1に戻り、実物体識別部107は、実物体情報保持部108に保持されている実物体情報に基づいて、映像データに含まれる実物体の中からユーザが操作可能な現実空間の実物体を識別する。
Returning to FIG. 1, the real
具体的には、実物体識別部107は、ユーザ視界取得部111から所定のフレームレートで映像データが供給され、各映像データに含まれる実物体の特徴点を抽出し、抽出した特徴点をクラスタリングして複数の特徴点群に分け、各特徴点群における特徴点の配置パターンを求める。そして、実物体識別部107は、操作可能な実物体の基準となる特徴点の配置パターンである基準配置パターンを実物体情報保持部108から読み出し、この基準配置パターンと映像データから抽出した配置パターンとを比較することで、操作可能な実物体を識別する。
Specifically, the real
実物体情報保持部108は、操作可能な実物体に関する情報を示す実物体情報を予め保持する。本実施の形態では、例えば実物体情報としては、予め定められた操作可能な実物体の基準配置パターン及び種別が含まれる。種別としては、例えば、ビル、車、看板等の実物体の種別を示す情報が採用される。
The real object
優先度算出部103は、実物体識別部107により識別された実物体の現実空間での位置座標と、ユーザ動作監視部102より監視されたユーザの現在の手の位置座標とに基づいて、実物体識別部107により識別された実物体の優先度を算出する。
The
ここで、優先度算出部103は、実物体識別部107により抽出された各実物体の特徴点の配置パターンから各実物体の重心を求め、この重心の現実空間での3次元の位置座標を各実物体の位置座標として算出する。この場合、優先度算出部103は、ユーザ動作監視部102がユーザの手の代表点の位置座標を算出した手法と同一の手法を用いて各実物体の重心の位置座標を求めればよい。
Here, the
そして、優先度算出部103は、X軸とY軸とで規定されるX−Y座標系と、Z軸で規定されるZ座標系とのそれぞれにおいて、ユーザの手の位置座標と、実物体識別部107により識別された各実物体との距離を求め、距離が短い順に優先度を算出する。そして、優先度算出部103は、X−Y座標系の優先度とZ座標系の優先度との合計値を求め、各実物体の総合的な優先度を求める。
And the
また、優先度算出部103は、実物体識別部107により識別された実物体のうち、ユーザの手の位置から所定距離内にある実物体に対してのみ優先度を算出してもよい。こうすることで、優先度の算出対象となる実物体の個数が制限され、処理の高速化を図ることができる。
Further, the
表示効果設定部105は、ユーザ動作監視部102により特定された操作種別が、“選択中”の操作種別を示す場合、優先度に応じて予め定められた表示効果の度合いを実物体識別部107により識別された各実物体に設定する。
When the operation type specified by the user
具体的には、表示効果設定部105は、ユーザ動作監視部102により特定された操作種別に対応する表示効果の種別を、表示効果情報保持部109に保持された表示効果情報から特定する。
Specifically, the display
図11は、表示効果情報の一例を示した図である。表示効果情報は、“操作種別”、“表示効果の種別”、及び“表示効果の度合い”の欄を備えている。“操作種別”の欄には、ユーザ動作監視部102により特定される、4つの操作種別が格納されている。これら4つの操作種別は上述したため説明を省く。
FIG. 11 is a diagram illustrating an example of display effect information. The display effect information includes columns of “operation type”, “display effect type”, and “degree of display effect”. In the “operation type” column, four operation types specified by the user
表示効果の種別の欄には、各操作種別に対応する表示効果の種別が格納されている。図11の例では、“選択中”、“決定”、“範囲指定”のそれぞれに対して“実物体の輪郭の発光”が表示効果の種別として規定されている。したがって、これら3つの操作種別に示す操作がユーザにより行われた場合、表示効果設定部105は、該当する実物体の輪郭を発光する表示効果を設定する。
In the display effect type column, the display effect type corresponding to each operation type is stored. In the example of FIG. 11, “light emission of the contour of the real object” is defined as the type of display effect for each of “selected”, “decision”, and “range designation”. Therefore, when an operation shown in these three operation types is performed by the user, the display
また、“解除”に対して“実物体を揺らす”が表示効果の種別として規定されている。したがって、ユーザにより“解除”の操作が行われると、表示効果設定部105は、該当する実物体を一定時間振動する表示効果を設定する。
In addition, “swing a real object” with respect to “release” is defined as the type of display effect. Therefore, when the “release” operation is performed by the user, the display
また、図11の例では、“選択中”に対応する“表示効果の度合い”として、“優先度が高い方から3つの実物体に対して、度合いを強、中、弱で発光”が格納されている。よって、“選択中”の操作が行われた場合、表示効果設定部105は、優先度算出部103により算出された優先度が高い順に3つの実物体を抽出し、これら3つの実物体に対して、輪郭を強、中、弱の輝度で発光させる表示効果の度合いを設定する。
In the example of FIG. 11, “light emission with strong, medium, and weak degrees” is stored as the “degree of display effect” corresponding to “selected” for the three real objects with the highest priority. Has been. Therefore, when the “selected” operation is performed, the display
これにより、重畳表示出力部112に表示される映像において、ユーザの手の位置座標から近い順に3つの実物体の輪郭が強、中、弱の輝度で発光され、ユーザは自身の手の位置と実物体の位置との関係を映像データから把握することができる。そのため、選択しようとする実物体の輪郭が強の輝度で発光されている場合は、手を止めて掴む操作を行えば、この実物体を選択することができる。また、選択しようとする実物体の輪郭が中、又は弱の輝度で発光されている場合は、当該実物体に向けて手を動かせば、当該実物体を選択することができる。
As a result, in the video displayed on the superimposed
更に、選択しようとする実物体の輪郭が発光されていない場合、ユーザは、輪郭が発光されている実物体のうち、選択しようとする実物体に最も近い実物体を見つけ、その実物体に向けて手を動かすことで、選択しようとする実物体に手を近づけることができる。 Further, when the contour of the real object to be selected is not illuminated, the user finds the real object closest to the real object to be selected among the real objects whose contours are illuminated, and toward the real object. By moving the hand, the hand can be brought close to the real object to be selected.
このように、優先度に応じた輝度で実物体の輪郭を発光させることで、ユーザは自身の操作を確認しながら、実物体を選択することができ、操作性を向上させることができる。 As described above, by emitting the contour of the real object with the luminance according to the priority, the user can select the real object while confirming his / her operation, and the operability can be improved.
ここで、実物体の輪郭を発光させる表示態様としては、例えば、実物体の輪郭を所定の色でなぞったグラフィックスを実物体に重畳表示させる表示態様を採用すればよい。そして、輪郭を強、中、弱の輝度で発光させる場合は、この輪郭をなぞったグラフィックスの輝度を、強、中、弱のそれぞれに対して予め定められた輝度で発光させればよい。 Here, as a display mode for emitting the contour of the real object, for example, a display mode in which graphics obtained by tracing the contour of the real object with a predetermined color are superimposed on the real object may be employed. When light is emitted with high, medium, and weak luminance, the luminance of graphics that traces the contour may be emitted with predetermined luminance for each of strong, medium, and weak.
なお、図11の例では、3個の実物体の輪郭を強、中、弱の輝度で表示するようにしたが、これは一例であり、3個の実物体を異なる色(例えば、赤、青、黄色)で表示して、ユーザに手の位置と実物体の位置との関係を報知するようにしてもよい。例えば、実物体を赤で表示する場合は、実物体の映像に対して、各画素を赤の成分を強調表示する画像処理を施せばよい。また、実物体の映像の全体に赤マークのグラフィックスを、αブレンディングを用いて所定の透明度で重畳表示させればよい。 In the example of FIG. 11, the contours of three real objects are displayed with strong, medium, and weak luminances. However, this is an example, and three real objects are displayed in different colors (for example, red, The relationship between the position of the hand and the position of the real object may be notified to the user. For example, when displaying a real object in red, image processing for highlighting the red component of each pixel may be performed on the image of the real object. Further, the red mark graphics may be superimposed and displayed with a predetermined transparency using α blending on the entire real object image.
また、3個の実物体を揺らす表示効果を採用してもよい。この場合、優先度が高い順に、振動数及び振幅の少なくとも一方を大、中、小に設定して3個の実物体を振動させればよい。 Moreover, you may employ | adopt the display effect which shakes three real objects. In this case, three real objects may be vibrated by setting at least one of the vibration frequency and amplitude to large, medium, and small in descending order of priority.
また、図11の例では、操作種別が“選択中”の場合、3つの実物体の輪郭を発光させたが、これに限定されず、2個、4個、5個というように3個以外の複数の実物体の輪郭を発光させてもよい。 Further, in the example of FIG. 11, when the operation type is “selected”, the contours of three real objects are emitted. However, the present invention is not limited to this, but other than three such as two, four, and five. The contours of a plurality of real objects may be emitted.
また、図11の例では、“決定”の操作種別に対応する“表示効果の度合い”として、“決定した実物体に対して度合いを強で発光”が格納されている。 In the example of FIG. 11, “light emission with a strong degree with respect to the determined real object” is stored as the “degree of display effect” corresponding to the operation type “decision”.
したがって、表示効果設定部105は、ユーザ動作監視部102により特定された操作種別が、“決定”である場合、ユーザが選択した実物体のみに対して輪郭を強の輝度で発光させる表示効果の度合いを設定する。ここで、強の輝度としては、操作種別が選択中の場合の強の輝度と同じ輝度であってもよいし、それよりも強い輝度であってもよい。いずれにせよ、操作種別が“決定”の場合、ユーザが選択した1つの実物体の輪郭のみが発光されるため、ユーザは“決定”の操作を行ったことを認識することができる。
Therefore, when the operation type specified by the user
また、図11の例では、“範囲指定”の操作種別に対応する“表示効果の度合い”として、“実物体すべてに対して度合いを弱で発光”が格納されている。したがって、表示効果設定部105は、実物体識別部107が識別した全ての実物体に対し、輪郭を弱の輝度で発光させる表示効果の度合いを設定する。この場合、ユーザは、映像データに含まれている実物体のうちどの実物体が操作可能な実物体であるかを認識することができる。なお、表示効果設定部105は、操作種別が“範囲指定”の場合、ユーザの手の位置に最も近い操作可能な実物体に対して所定距離内に位置する実物体に対して、輪郭を弱の強度で発光させる表示効果の度合いを設定してもよい。
In the example of FIG. 11, “light emission with a weak degree for all real objects” is stored as the “degree of display effect” corresponding to the operation type of “range specification”. Therefore, the display
こうすることで、ユーザの視界において複数の実物体が込み入って存在している場合に、ユーザが選択を希望する可能性の高い実物体のみの輪郭が弱の輝度で発光され、操作性を向上させることができる。 In this way, when there are multiple real objects in the user's field of view, only the contours of the real objects that the user is likely to select are emitted with low brightness, improving operability. Can be made.
また、図11の例では、“解除”の操作種別に対応する“表示効果の度合い”として“選択解除した実物体に対して、度合い弱で揺らす”が格納されている。したがって、表示効果設定部105は、選択が解除された実物体に対して、弱の輝度で発光させて、かつ、揺らす表示効果の度合いを設定する。ここで、弱の輝度で発光させるとは、重畳表示出力部112で表示させる映像データにおいて、選択が解除された実物体の輝度を全体的に下げて表示する、又は、選択が解除された実物体に重畳される輪郭のグラフィックスを弱の輝度で表示することが該当する。
Further, in the example of FIG. 11, “shake with a slight degree against the real object that has been deselected” is stored as the “degree of display effect” corresponding to the operation type “cancel”. Therefore, the display
図1に戻り、表示効果情報保持部109は、図11に示す表示効果情報を保持する。実物体効果付与部104は、表示効果設定部105により設定された表示効果の度合い応じた表示効果を、優先度算出部103により優先度が算出された各実物体に付与する。具体的には、実物体効果付与部104は、ある実物体の輪郭を発光させる場合、当該実物体の輪郭を所定の輝度で発光させるためのグラフィックスを生成し、生成したグラフィックスを映像データにおける当該実物体の輪郭に重畳させる描画指令を重畳表示出力部112に出力することで、当該実物体に表示効果を付与する。また、実物体効果付与部104は、ある実物体を揺らす場合、映像データから当該実物体の画像データを抽出し、抽出した画像データを揺らして表示させるための描画指令を重畳表示出力部112に出力することで、当該実物体に表示効果を付与する。
Returning to FIG. 1, the display effect
重畳表示出力部112は、例えば、表示パネル、描画RAM、及び描画RAMに映像データを書き込み表示パネルに表示させる処理回路等から構成され、実物体効果付与部104により各実物体に付与された表示効果を映像データに重畳表示する。具体的には、重畳表示出力部112は、所定のフレームレートで映像データを描画RAMに書き込み、実物体効果付与部104から出力される描画指令に従って、実物体効果付与部104で生成されたグラフィックスを描画RAMの該当する位置に書き込むことで、映像データにグラフィックスを重畳させる。
The superimposed
図2は、ユーザが選択中の操作を行った際の本発明の実施の形態におけるユーザインタラクション装置の処理を示すフローチャートである。 FIG. 2 is a flowchart showing processing of the user interaction device in the embodiment of the present invention when the user performs an operation being selected.
図2において、ステップS(以下、“S”と略す)201〜S206は、ユーザ動作監視部102にて実施される処理である。
In FIG. 2, steps S (hereinafter abbreviated as “S”) 201 to S206 are processes performed by the user
まず、ユーザ動作監視部102は、ユーザ視界取得部111により取得されたユーザの視界の映像データから、ユーザの手を認識し、現実空間における手の位置座標を取得する(S201)。
First, the user
次に、ユーザ動作監視部102は、映像データから抽出した手の特徴点の配置パターンからユーザの手の状態を取得する(S202)。手の状態としては、上述したように“解放”、“掌握”、“なし”が存在する。
Next, the user
次に、ユーザ動作監視部102は、手の状態変化を特定する(S203)。ここで、ユーザ動作監視部102は、直前と現在との手の状態を手の状態変化として特定する。この例では、ユーザは“選択中”の操作を行っているため、手の状態変化として“解放→解放”が特定される。次に、ユーザ動作監視部102は、直前と現在とにおける手の位置座標の差分の絶対値を算出する(S204)。
Next, the user
次に、ユーザ動作監視部102は、S203で特定した手の状態変化と、S204で算出した手の位置座標の差分の絶対値とから、図4に示すユーザ操作定義情報を参照し、ユーザの現在の操作種別を判定する(S205)。
Next, the user
図3は、直前、及び現在のそれぞれにおいて、ユーザの手の状態と位置座標との一例を示した図である。図3において、手401は直前におけるユーザの手を示し、手403は現在のユーザの手を示している。
FIG. 3 is a diagram illustrating an example of a user's hand state and position coordinates immediately before and at present. In FIG. 3, a
ここで、手401の位置座標402が(X、Y、Z)=(5cm、10cm、30cm)であり、手403の位置座標404が(X、Y、Z)=(8cm、20cm、32cm)であったとする。また、手401の状態が“解放”、手403の状態が“解放”であったとする。
Here, the position coordinate 402 of the
この場合、ユーザ動作監視部102は、手の状態変化が“解放→解放”であり、手の位置座標402,404の差分の絶対値(405)(=|位置座標402−位置座標404|)が、(X、Y、Z)=(3cm、10cm、2cm)である。そのため、ユーザ動作監視部102は、図4に示すユーザ操作定義情報を参照して、現在のユーザの操作種別が“選択中”であると判定する。
In this case, the user
なお、ユーザ動作監視部102は、特定した“手の状態変化”と算出した“手の位置座標差分の絶対値”とのいずれか一方が図4に定義されていないパターンに該当する場合、ユーザは操作をしていない、つまり、無操作であると判定すればよい。
Note that the user
S206において、ユーザ動作監視部102は、ユーザが操作を行っているか否かの判定を行う。ここでは、ユーザ動作監視部102は、S205においてユーザが無操作であると判定した場合を除いて、ユーザの操作があると判定し(S206でYES)、S207の処理を実施する。一方、ユーザ動作監視部102は、S205において、ユーザが無操作であると判定した場合、ユーザの操作がないと判定し(S206でNO)、処理をS201に戻す。
In S206, the user
S207〜S210は、実物体識別部107にて実施される処理である。S207において、実物体識別部107は、ユーザの視線や体の移動により、ユーザの視界が変更されたか否かを判定する。
S207 to S210 are processes performed by the real
この判定は、ユーザ視界取得部111により取得された現在の映像データと直前の映像データと比較することで行われる。具体的には、ユーザ視界取得部111は、現在の映像データと直前の映像データとの差分画像データを求め、その差分画像データにおいて、輝度が一定値以上の画素の個数が所定個数以上存在した場合、ユーザの視界が変更されたとみなして(S207でYES)、S208の処理を実施する。一方、ユーザの視界に変更がない場合は(S207でNO)、S208、S209が飛ばされて、S210の処理が実施される。
This determination is performed by comparing the current video data acquired by the user
S208において、実物体識別部107は、ユーザ視界取得部111により取得された映像データに含まれる実物体を識別する。ここで、実物体識別部107は、映像データから特徴点を抽出し、抽出した特徴点をクラスタリングすることで、実物体を識別する。なお、実物体識別部107は、S208の処理を例えば、識別できた実物体が所定個数になるまで、或いは、所定のタイムアウト時間が経過するまで可能な限り反復する。
In step S <b> 208, the real
S209において、実物体識別部107は、実物体情報保持部108に保持されている各実物体の基準配置パターンと、映像データから抽出した特徴点の配置パターンとを照合することで操作可能な実物体を識別する。
In step S209, the real
S210は、優先度算出部103にて実施される処理である。S210において、優先度算出部103は、S209で識別された実物体のそれぞれの現実空間での位置座標を求め、この位置座標とS201で算出された手の位置座標とを用いて、各実物体の優先度を算出する。
S <b> 210 is processing performed by the
図5、図6を用いてS210で実施される処理を示す。図5は、X−Y座標系における優先度の算出方法を示した模式図であり、図6は、Z座標系における優先度の算出手法を示した模式図である。優先度算出部103は、図5と図6での判定方法を組合せて各実物体の優先度を算出する。
The processing performed in S210 will be described with reference to FIGS. FIG. 5 is a schematic diagram showing a priority calculation method in the XY coordinate system, and FIG. 6 is a schematic diagram showing a priority calculation method in the Z coordinate system. The
図5に示す領域501は、ユーザ視界取得部111により取得された1枚の映像データを示す。領域501において、水平方向の座標軸がX軸とされ、垂直方向の座標軸がY軸とされ、奥行座標の座標軸がZ軸とされている。
An
位置座標P502〜P505は、実物体識別部107により識別された実物体502〜505の位置座標を示している。本実施の形態では、位置座標P502〜P505として例えば、実物体502〜505の重心が採用されている。位置座標P506は、ユーザ動作監視部102にて取得されたユーザの手506の位置座標を示している。
Position coordinates P502 to P505 indicate the position coordinates of the
X−Y座標系における優先度は、手506の位置座標P506と、実物体502〜505の位置座標P502〜P505とのX−Y座標系における距離が短い順に付与される。
The priority in the XY coordinate system is given in ascending order of the distance in the XY coordinate system between the position coordinate P506 of the
図7は、図5、図6に示す実物体502〜505の位置座標P502〜P505をまとめた表である。図8は、図5、図6に示す手506の位置座標P506をまとめた表である。
FIG. 7 is a table summarizing the position coordinates P502 to P505 of the
図7において、実物体の列に記載されたID502〜ID505は、図5、図6に示す実物体502〜505に付与された識別情報である。図8において手506の列に記載されたID506は、図5、図6で示す手506に付与された識別情報である。以降、図9、図10、図12においても、ID502〜ID505は図5、図6で示す実物体502〜505の識別情報を表し、ID506は図5、図6で示す手506の識別情報を表す。
7,
図5、図6の例では、実物体502〜505の位置座標P502〜P505は、それぞれ、図7に示すX、Y、Z座標の値を持つものとする。また、図5、図6の例では、手506の位置座標P506は、図8に示すX、Y、Z座標の値を持つものとする。
5 and 6, the position coordinates P502 to P505 of the
図9(a)は、図5、図6に示す実物体502〜505に対して算出された、X−Y座標系の優先度を示す。図9(a)に示すように、実物体502〜505は、実物体503,505,504,502の順でユーザの手506からの距離短くなっている。
FIG. 9A shows the priority of the XY coordinate system calculated for the
そこで、優先度算出部103は、距離が短いほど、ユーザが操作対象として選択しようとしている可能性の高い実物体であると判定し、距離が短い順に高い優先度を設定する。
Therefore, the
図9(a)の例では、実物体502は、ユーザの手506との距離が18cmであるため、最も高い優先度である4が設定されている。また、実物体503はユーザの手506との距離が35cmであるため、最も低い優先度である1が設定されている。
In the example of FIG. 9A, since the distance between the
なお、図9(a)の例では、実物体識別部107が識別した操作可能な実物体の個数が4個であるため、4個の実物体に対して優先度が設定されているが、実物体識別部107により識別された操作可能な実物体の個数に応じて優先度の値も変動する。例えば、操作可能な実物体の個数がn(nは正の整数)個の場合、各実物体に対し距離が短い順でnから1の優先度が設定される。
In the example of FIG. 9A, since the number of manipulable real objects identified by the real
ここで、優先度算出部103は、実物体識別部107が識別した操作可能な実物体のうち、ユーザに対して距離が一定範囲内に存在する物体に対してのみ優先度を算出してもよい。また、優先度算出部103、処理の簡略化の観点から、例えば、ユーザに対してZ座標系又はX−Y座標系の位置座標が一定範囲内に存在する実物体に対してのみ優先度を算出するようにしてもよい。
Here, the
優先度算出部103は、Z座標系については図6(a)に示す判定方法を用いて実物体502〜505の優先度を算出する。具体的には、優先度算出部103は、まず、実物体識別部107により識別された実物体の中からユーザに対して一番遠くにある実物体503と、一番近くにある実物体505とのZ座標における距離601を算出する。次に、優先度算出部103は、距離601をユーザの手506の可動範囲602と対応させる。
The
ここで、可動範囲602は、ユーザ毎に予め定められた距離が採用され、手506の位置座標P506から+Z軸方向(奥行側)に距離Z1離れた位置P701と、−Z軸方向(手前側)に距離Z2離れた位置P702とで規定される距離が可動範囲602として予め定められている。この距離Z1はユーザが手506を奥行方向に延ばすと想定される距離に基づいてユーザ毎に予め定められた値が採用され、距離Z2はユーザが手506を手前方向に延ばすと想定される距離に基づいてユーザ毎に予め定められた値が採用されている。
Here, the
そして、優先度算出部103は、距離601を距離Z1と距離Z2との比で内分した位置603をユーザの手506の位置として距離601内に設定する。そして、優先度算出部103は、実物体502〜505のそれぞれについて位置603からのZ軸における距離を求める。そして、優先度算出部103は、求めた距離が短い実物体ほど高い優先度を設定する。
The
本実施の形態では、ユーザは手506の可動範囲外に位置する実物体も非接触で選択することができる。この場合、ユーザの手506の可動範囲602を全く無視して、Z座標系の優先度を算出すると、ユーザに操作に対する違和感を与えてしまう。そこで、本実施の形態では、可動範囲602に距離601に対応付けてZ座標系の優先度を算出することで、ユーザの操作に対する違和感を抑制している。
In the present embodiment, the user can select a real object located outside the movable range of the
図9(b)は、図5、図6に示す実物体502〜505に対して算出されたZ座標系における優先度をまとめた表である。図9(b)において、ユーザの手からの距離は図6に示す位置603を基準としたときの実物体502〜505の距離を示している。
FIG. 9B is a table summarizing the priorities in the Z coordinate system calculated for the
図9(b)の例では、実物体503、505、504、502の順でユーザの手506からの距離が短くなっている。そのため、実物体503、505、504、502に対して、1、2、3、4の優先度が設定されている。
In the example of FIG. 9B, the distance from the user's
次に、優先度算出部103は、X−Y座標系で求めた実物体502〜505の優先度とZ座標系で求めた実物体502〜505の優先度とを合計し、実物体502〜505の総合的な優先度を算出する。
Next, the
図10は、図5、図6に示す実物体502〜505に対して算出された総合的な優先度をまとめた表である。図10に示すように、実物体502はX−Y座標系の優先度が4であり、Z座標系の優先度が4であるため、トータルの優先度が8と算出されている。他の実物体503〜505も同様にして優先度が算出され、それぞれ、優先度が2、6、4と算出されている。よって、実物体502、504、503、505の総合的な優先度は、4、3、2、1と算出されている。
FIG. 10 is a table summarizing the overall priorities calculated for the
図2に戻ってS211からS213の処理について説明する。S211は、表示効果設定部105、及び表示効果情報保持部109にて実施される処理である。
Returning to FIG. 2, the processing from S211 to S213 will be described. S211 is processing performed by the display
S208において、表示効果設定部105は、ユーザ動作監視部102にて特定されたユーザの現在の操作種別に対応する表示効果の種別と表示効果の度合いとを、図11に示す表示効果情報を参照して決定する。
In S208, the display
ここでは、操作種別が“選択中”であるため、表示効果設定部105は、表示効果の種別として“実物体の輪郭の発光”を設定し、表示効果度合いとして“優先度が高い順に3つの実物体に対して、発光度合い強、中、弱”を設定する。
Here, since the operation type is “selected”, the display
図12は、表示効果設定部105が実物体502〜505に対して設定した表示効果及び表示効果の度合いをまとめた表である。この例では、実物体502〜505に対する優先度は4、2、3、1である。そのため、実物体502、504、503は表示効果及び表示効果の度合いとして、それぞれ、“輪郭発光・強”、“輪郭発光・中”、“輪郭発光・弱”が設定され、実物体505は表示効果及び表示効果の度合いとしてなしが設定されている。
FIG. 12 is a table that summarizes the display effects set by the display
このように、操作種別が選択中である場合、実物体502〜505のうち、優先度が高い順に3つの実物体502、504、503が抽出され、それぞれの実物体502、504、503に対して輪郭を強、中、弱で発光させる表示効果及び表示効果の度合いが設定される。
As described above, when the operation type is selected, three
図2に戻り、S212において、実物体効果付与部104は、S210で実物体502、504、503に対して設定された表示効果及び表示効果の度合いを、実物体502、504、503に付与する。ここでは、実物体502、504、503に対して、それぞれ輪郭を強、中、弱の強度で発光させる表示効果及び表示効果の度合いが設定されている。そのため、実物体効果付与部104は、実物体502、504、503の輪郭を示すグラフィックスを生成する。そして、実物体効果付与部104は、実物体502の輪郭を示すグラフィックスには強の輝度を設定し、実物体504の輪郭を示すグラフィックスには中の輝度を設定し、実物体503の輪郭を示すグラフィックスには弱の輝度を設定する。
Returning to FIG. 2, in S <b> 212, the real object
そして、実物体効果付与部104は、実物体502、504、503の輪郭を示すグラフィックスを、映像データ内の実物体502、504、503に重畳表示させる描画指令を重畳表示出力部112に出力する。
Then, the real object
S213において、重畳表示出力部112は、描画指令にしたがって、映像データ内の実物体502、504、503の輪郭に対応するグラフィックスを重畳表示させる。以上により、本ユーザインタラクション装置の動作が終了する。
In S213, the superimposed
なお、上記実施の形態では、実物体に対して表示効果及び表示効果の度合いを設定したが、本発明は実物体に限らず、ディスプレイ等に表示された仮想物体に対しても適用できる。この場合、仮想物体を上記の実物体として取り扱い、上記の処理を適用すれば、仮想物体に対しても、表示効果及び表示効果の度合いを設定することができる。 In the above embodiment, the display effect and the degree of display effect are set for the real object. However, the present invention is not limited to the real object, and can be applied to a virtual object displayed on a display or the like. In this case, if the virtual object is handled as the real object and the above process is applied, the display effect and the degree of the display effect can be set for the virtual object.
また、上記実施の形態では、ユーザは1つの実物体を操作対象として選択する操作を例に挙げて説明したが、本発明はこれに限らず、複数の実物体を選択する操作に対して適用してもよい。また、選択可能な1又は複数の実物体をユーザに報知する場合において、本発明を適用してもよい。この場合、選択可能な1又は複数の実物体に対して、上記の選択中における表示効果及び表示効果の度合い、すなわち、優先度の高い順に所定個数の実物体の輪郭を強い輝度で発光させる表示効果及び表示効果の度合いを付与すればよい。 In the above-described embodiment, the user has described an operation of selecting one real object as an operation target. However, the present invention is not limited to this, and is applied to an operation of selecting a plurality of real objects. May be. Further, the present invention may be applied when notifying the user of one or more real objects that can be selected. In this case, the display effect and the degree of the display effect during the selection, that is, the display for emitting the outlines of a predetermined number of real objects with strong luminance in descending order of priority with respect to one or more real objects that can be selected. What is necessary is just to give the degree of an effect and a display effect.
また、本発明は、複数の動作を組み合わせることで1つの操作が完了する場合において、各動作が終了する毎に表示効果と表示効果の効果度合いを設定する場合にも適用できる。 The present invention can also be applied to a case where a display effect and an effect degree of the display effect are set every time each operation is completed when one operation is completed by combining a plurality of operations.
なお、上記実施の形態では、選択中の操作がユーザにより行われている場合、優先度が高い実物体の輪郭を発光させる表示態様を採用したが、これに併せて、物体の種別をユーザに報知する表示態様を採用してもよい。この場合、実物体識別部107は、実物体の識別時に、実物体情報に含まれている実物体の種別から、識別した実物体の種別を特定し、表示効果設定部105に通知する。そして、表示効果設定部105は、物体の種別毎に予め定められた色を物体の輪郭を表示する表示効果を設定すればよい。
In the above-described embodiment, when the selected operation is performed by the user, the display mode in which the outline of the real object having a high priority is emitted is adopted. You may employ | adopt the display mode to alert | report. In this case, the real
また、上記実施の形態は一例であって、本発明は上記実施の形態に限定されるのではない。上記実施の形態に対して当業者が思いつく変形を施して得られる形態、及び実施の形態における構成要素を任意に組み合わせて実現される別の形態も、本発明に含まれる。 Moreover, the said embodiment is an example and this invention is not limited to the said embodiment. Forms obtained by subjecting the above embodiments to modifications conceivable by those skilled in the art and other forms realized by arbitrarily combining the components in the embodiments are also included in the present invention.
なお、図1に示されたユーザインタラクション装置の各機能ブロックは典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されても良いし、一部又は全てを含むように1チップ化されても良い。 Note that each functional block of the user interaction device shown in FIG. 1 is typically realized as an LSI which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。 The name used here is LSI, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。 Further, the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible. An FPGA (Field Programmable Gate Array) that can be programmed after manufacturing the LSI or a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
また、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術を用いて図1に示す各ブロックを実現してもよい。また、上記ユーザインタラクション装置の各ブロックのうち、データを格納する手段だけ1チップ化せずに別構成としてもよい。 Further, if integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. For example, you may implement | achieve each block shown in FIG. 1 using biotechnology. Of the blocks of the user interaction device, only the means for storing data may be configured separately instead of being integrated into one chip.
また、本発明は、ユーザインタラクション装置として実現できるだけでなく、ユーザインタラクション装置を構成する処理部をステップとする方法として実現できる。そして、本発明は、その方法に含まれるステップをコンピュータに実行させるプログラムとして実現できる。さらに、本発明は、そのプログラムを記憶したCD−ROM等のコンピュータ読み取り可能な記憶媒体として実現できる。 In addition, the present invention can be realized not only as a user interaction device, but also as a method using a processing unit constituting the user interaction device as a step. The present invention can be realized as a program that causes a computer to execute the steps included in the method. Furthermore, the present invention can be realized as a computer-readable storage medium such as a CD-ROM storing the program.
本発明にかかるユーザインタラクション装置は、非接触で実物体を選択する等、ユーザが触覚を認識できない状況において実物体を選択する技術を実現するうえで有用である。 The user interaction device according to the present invention is useful for realizing a technique for selecting an actual object in a situation where the user cannot recognize a tactile sense, such as selecting an actual object without contact.
101 制御部
102 ユーザ動作監視部
103 優先度算出部
104 実物体効果付与部
105 表示効果設定部
106 ユーザ操作定義保持部
107 実物体識別部
108 実物体情報保持部
109 表示効果情報保持部
110 入出力部
111 ユーザ視界取得部
112 重畳表示出力部
DESCRIPTION OF
Claims (12)
前記ユーザの視界の映像データを取得するユーザ視界取得部と、
前記ユーザの手の状態と手の状態に対応する操作種別とを定義したユーザ操作定義情報を保持するユーザ操作定義保持部と、
前記ユーザ視界取得部により取得された映像データから、前記ユーザの現実空間における手の位置座標と前記ユーザの手の状態とを監視し、前記ユーザの現在の手の状態に対応する操作種別を、前記ユーザ操作定義情報を参照して特定するユーザ動作監視部と、
前記ユーザが操作可能な現実空間の実物体に関する情報を示す実物体情報を予め保持する実物体情報保持部と、
前記実物体情報に基づいて、前記映像データに含まれる実物体の中から操作可能な実物体を識別する実物体識別部と、
前記実物体識別部により識別された各実物体の前記現実空間での位置座標と、前記ユーザ動作監視部より監視された前記ユーザの現在の手の位置座標とに基づいて、前記実物体識別部により識別された各実物体の優先度を算出する優先度算出部と、
前記ユーザ動作監視部により特定された操作種別が、前記ユーザが操作対象となる実物体を選択する前の選択中の操作種別を示す場合、前記優先度に応じて予め定められた表示効果の度合いを各実物体に設定する表示効果設定部と、
前記表示効果設定部により設定された表示効果の度合い応じた表示効果を各実物体に付与する実物体効果付与部と、
前記実物体効果付与部により各実物体に付与された表示効果を前記映像データに重畳表示する重畳表示出力部とを備えるユーザインタラクション装置。 A user interaction device in which a user selects a real object without contact,
A user view acquisition unit for acquiring video data of the user's view;
A user operation definition holding unit for holding user operation definition information defining the user's hand state and the operation type corresponding to the hand state;
From the video data acquired by the user view acquisition unit, the position coordinates of the user's hand in the real space and the state of the user's hand are monitored, and the operation type corresponding to the current hand state of the user is determined. A user operation monitoring unit that identifies the user operation definition information with reference to the user operation definition information;
A real object information holding unit that holds in advance real object information indicating information on real objects in the real space that can be operated by the user;
Based on the real object information, a real object identification unit for identifying a real object that can be operated from the real objects included in the video data;
Based on the position coordinates in the real space of each real object identified by the real object identification section and the current hand position coordinates of the user monitored by the user action monitoring section, the real object identification section A priority calculating unit that calculates the priority of each real object identified by
When the operation type specified by the user action monitoring unit indicates an operation type being selected before the user selects an actual object to be operated, the degree of display effect determined in advance according to the priority Display effect setting unit for setting each real object,
A real object effect applying unit that applies a display effect according to the degree of the display effect set by the display effect setting unit to each real object;
A user interaction device comprising: a superimposed display output unit configured to superimpose and display a display effect imparted to each real object by the real object effect imparting unit.
複数の定点カメラと、
前記定点カメラにより撮影された映像データから前記ユーザの視線を認識し、認識した視線を基に、前記ユーザの視界の映像データを取得する映像データ取得部とを備える請求項1記載のユーザインタラクション装置。 The user view acquisition unit
Multiple fixed-point cameras,
The user interaction device according to claim 1, further comprising: a video data acquisition unit that recognizes the user's line of sight from video data captured by the fixed point camera and acquires video data of the user's field of view based on the recognized line of sight. .
前記表示効果設定部は、操作可能な実物体の種別毎に予め定められた表示効果を各実物体に設定する請求項1〜5のいずれかに記載のユーザインタラクション装置。 The real object identification unit further identifies the type of real object that can be operated,
The user interaction device according to claim 1, wherein the display effect setting unit sets a display effect predetermined for each type of real object that can be operated on each real object.
ユーザインタラクション装置が、前記ユーザの視界の映像データを取得するユーザ視界取得ステップと、
ユーザインタラクション装置が、前記ユーザ視界取得ステップにより取得された映像データから、前記ユーザの現実空間における手の位置座標と前記ユーザの手の状態とを監視し、前記ユーザの現在の手の状態に対応する操作種別を、前記ユーザの手の状態と手の状態に対応する操作種別とを定義したユーザ操作定義情報を参照して特定するユーザ動作監視ステップと、
ユーザインタラクション装置が、前記ユーザが操作可能な現実空間の実物体に関する情報を示す実物体情報に基づいて、前記映像データに含まれる実物体の中から操作可能な実物体を識別する実物体識別ステップと、
ユーザインタラクション装置が、前記実物体識別ステップにより識別された各実物体の前記現実空間での位置座標と、前記ユーザ動作監視ステップより監視された前記ユーザの現在の手の位置座標とに基づいて、前記実物体識別ステップにより識別された各実物体の優先度を算出する優先度算出ステップと、
ユーザインタラクション装置が、前記ユーザ動作監視ステップにより特定された操作種別が、前記ユーザが操作対象となる実物体を選択する前の選択中の操作種別を示す場合、前記優先度に応じて予め定められた表示効果の度合いを各実物体に設定する表示効果設定ステップと、
ユーザインタラクション装置が、前記表示効果設定ステップにより設定された表示効果の度合い応じた表示効果を各実物体に付与する実物体効果付与ステップと、
ユーザインタラクション装置が、前記実物体効果付与ステップにより各実物体に付与された表示効果を前記映像データに重畳表示する重畳表示出力ステップとを備えるユーザインタラクション方法。 A user interaction method in which a user selects a real object without contact,
A user interaction device, a user view acquisition step of acquiring video data of the user's view;
The user interaction device monitors the position coordinates of the user's hand in the real space and the state of the user's hand from the video data acquired by the user view acquisition step, and corresponds to the current hand state of the user A user operation monitoring step for specifying an operation type to be referred to by referring to user operation definition information that defines the user's hand state and the operation type corresponding to the hand state;
A real object identification step in which a user interaction device identifies a real object that can be operated from real objects included in the video data based on real object information indicating information on real objects in the real space that can be operated by the user. When,
The user interaction device is based on the position coordinates of each real object identified in the real object identification step in the real space and the position coordinates of the current hand of the user monitored in the user action monitoring step. A priority calculating step of calculating the priority of each real object identified by the real object identifying step;
When the user interaction device indicates an operation type being selected before the user selects an actual object to be operated, the operation type specified in the user action monitoring step is determined in advance according to the priority. Display effect setting step for setting the degree of display effect for each real object;
A real object effect applying step in which the user interaction device applies a display effect corresponding to the degree of the display effect set in the display effect setting step to each real object;
A user interaction method comprising: a superimposed display output step in which a user interaction device superimposes and displays the display effect imparted to each real object in the real object effect imparting step on the video data.
前記ユーザの手の状態と手の状態に対応する操作種別とを定義したユーザ操作定義情報を保持するユーザ操作定義保持部と、
前記ユーザの視界を示す映像データから、前記ユーザの現実空間における手の位置座標と前記ユーザの手の状態とを監視し、前記ユーザの現在の手の状態に対応する操作種別を、前記ユーザ操作定義情報を参照して特定するユーザ動作監視部と、
前記ユーザが操作可能な現実空間の実物体に関する情報を示す実物体情報を予め保持する実物体情報保持部と、
前記実物体情報に基づいて、前記映像データに含まれる実物体の中から操作可能な実物体を識別する実物体識別部と、
前記実物体識別部により識別された各実物体の前記現実空間での位置座標と、前記ユーザ動作監視部より監視された前記ユーザの現在の手の位置座標とに基づいて、前記実物体識別部により識別された各実物体の優先度を算出する優先度算出部と、
前記ユーザ動作監視部により特定された操作種別が、前記ユーザが操作対象となる実物体を選択する前の選択中の操作種別を示す場合、前記優先度に応じて予め定められた表示効果の度合いを各実物体に設定する表示効果設定部と、
前記表示効果設定部により設定された表示効果の度合い応じた表示効果を各実物体に付与し、各実物体に付与した表示効果を前記映像データに重畳表示させる表示効果付与部としてコンピュータを機能させるユーザインタラクションプログラム。 A user interaction program that causes a computer to function as a user interaction device that allows a user to select a real object without contact,
A user operation definition holding unit for holding user operation definition information defining the user's hand state and the operation type corresponding to the hand state;
From the video data indicating the user's field of view, the position coordinates of the user's hand in the real space and the state of the user's hand are monitored, and the operation type corresponding to the current hand state of the user is determined by the user operation. A user action monitoring unit to identify and refer to the definition information;
A real object information holding unit that holds in advance real object information indicating information on real objects in the real space that can be operated by the user;
Based on the real object information, a real object identification unit for identifying a real object that can be operated from the real objects included in the video data;
Based on the position coordinates in the real space of each real object identified by the real object identification section and the current hand position coordinates of the user monitored by the user action monitoring section, the real object identification section A priority calculating unit that calculates the priority of each real object identified by
When the operation type specified by the user action monitoring unit indicates an operation type being selected before the user selects an actual object to be operated, the degree of display effect determined in advance according to the priority Display effect setting unit for setting each real object,
The computer is caused to function as a display effect applying unit that applies a display effect corresponding to the degree of the display effect set by the display effect setting unit to each real object and superimposes the display effect applied to each real object on the video data. User interaction program.
前記ユーザの視界の映像データを取得するユーザ視界取得部と、
前記ユーザの手の状態と手の状態に対応する操作種別とを定義したユーザ操作定義情報を保持するユーザ操作定義保持部と、
前記ユーザ視界取得部により取得された映像データから、前記ユーザの現実空間における手の位置座標と前記ユーザの手の状態とを監視し、前記ユーザの現在の手の状態に対応する操作種別を、前記ユーザ操作定義情報を参照して特定するユーザ動作監視部と、
前記ユーザが操作可能な現実空間の実物体に関する情報を示す実物体情報を予め保持する実物体情報保持部と、
前記実物体情報に基づいて、前記映像データに含まれる実物体の中から操作可能な実物体を識別する実物体識別部と、
前記実物体識別部により識別された各実物体の前記現実空間での位置座標と、前記ユーザ動作監視部より監視された前記ユーザの現在の手の位置座標とに基づいて、前記実物体識別部により識別された各実物体の優先度を算出する優先度算出部と、
前記ユーザ動作監視部により特定された操作種別が、前記ユーザが操作対象となる実物体を選択する前の選択中の操作種別を示す場合、前記優先度に応じて予め定められた表示効果の度合いを各実物体に設定する表示効果設定部と、
前記表示効果設定部により設定された表示効果の度合い応じた表示効果を各実物体に付与する実物体効果付与部と、
前記実物体効果付与部により各実物体に付与された表示効果を前記映像データに重畳表示する重畳表示出力部とを備える集積回路。 An integrated circuit of a user interaction device in which a user selects a real object without contact,
A user view acquisition unit for acquiring video data of the user's view;
A user operation definition holding unit for holding user operation definition information defining the user's hand state and the operation type corresponding to the hand state;
From the video data acquired by the user view acquisition unit, the position coordinates of the user's hand in the real space and the state of the user's hand are monitored, and the operation type corresponding to the current hand state of the user is determined. A user operation monitoring unit that identifies the user operation definition information with reference to the user operation definition information;
A real object information holding unit that holds in advance real object information indicating information on real objects in the real space that can be operated by the user;
Based on the real object information, a real object identification unit for identifying a real object that can be operated from the real objects included in the video data;
Based on the position coordinates in the real space of each real object identified by the real object identification section and the current hand position coordinates of the user monitored by the user action monitoring section, the real object identification section A priority calculating unit that calculates the priority of each real object identified by
When the operation type specified by the user action monitoring unit indicates an operation type being selected before the user selects an actual object to be operated, the degree of display effect determined in advance according to the priority Display effect setting unit for setting each real object,
A real object effect applying unit that applies a display effect according to the degree of the display effect set by the display effect setting unit to each real object;
An integrated circuit comprising: a superimposed display output unit that superimposes and displays the display effect imparted to each real object by the real object effect imparting unit on the video data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011032079A JP2012173772A (en) | 2011-02-17 | 2011-02-17 | User interaction apparatus, user interaction method, user interaction program and integrated circuit |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011032079A JP2012173772A (en) | 2011-02-17 | 2011-02-17 | User interaction apparatus, user interaction method, user interaction program and integrated circuit |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012173772A true JP2012173772A (en) | 2012-09-10 |
Family
ID=46976659
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011032079A Withdrawn JP2012173772A (en) | 2011-02-17 | 2011-02-17 | User interaction apparatus, user interaction method, user interaction program and integrated circuit |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012173772A (en) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014164356A (en) * | 2013-02-21 | 2014-09-08 | Fujitsu Ltd | Image processing device, image processing method, and image processing program |
WO2014147858A1 (en) * | 2013-03-19 | 2014-09-25 | Necソリューションイノベータ株式会社 | Three-dimensional unlocking device, three-dimensional unlocking method and program |
JP2015059965A (en) * | 2013-09-17 | 2015-03-30 | ソニー株式会社 | Information processor, information processing method and computer program |
JP2015213212A (en) * | 2014-05-01 | 2015-11-26 | セイコーエプソン株式会社 | Head-mounted display apparatus, control system, and control method of head-mounted display apparatus |
JP2016015077A (en) * | 2014-07-03 | 2016-01-28 | Necパーソナルコンピュータ株式会社 | Gesture recognition device, gesture recognition method, and program |
JP2016541035A (en) * | 2013-09-30 | 2016-12-28 | 株式会社ソニー・インタラクティブエンタテインメント | Camera-based safety mechanism for head-mounted display users |
JP2017067876A (en) * | 2015-09-29 | 2017-04-06 | セイコーエプソン株式会社 | Head-mounted display, method for controlling head-mounted display, and computer program |
US9741171B2 (en) | 2014-08-15 | 2017-08-22 | Fujitsu Limited | Image processing device and image processing method |
JP2017152010A (en) * | 2013-06-09 | 2017-08-31 | 株式会社ソニー・インタラクティブエンタテインメント | Head-mounted display |
KR101775648B1 (en) | 2016-08-31 | 2017-09-06 | 권해원 | Method for charging credit card using position of figure |
WO2018051436A1 (en) * | 2016-09-14 | 2018-03-22 | 株式会社朝日ネット | Processing execution system, information processing device, and program |
US9965048B2 (en) | 2014-05-01 | 2018-05-08 | Seiko Epson Corporation | Head-mount type display device, control system, method of controlling head-mount type display device, and computer program |
US10122985B2 (en) | 2013-09-30 | 2018-11-06 | Sony Interactive Entertainment Inc. | Camera based safety mechanisms for users of head mounted displays |
CN110275619A (en) * | 2015-08-31 | 2019-09-24 | 北京三星通信技术研究有限公司 | The method and its head-mounted display of real-world object are shown in head-mounted display |
JP2020537257A (en) * | 2017-10-12 | 2020-12-17 | アウディ アクチェンゲゼルシャフトAudi Ag | How to operate a head-worn electronic display device and a display system that displays virtual content |
-
2011
- 2011-02-17 JP JP2011032079A patent/JP2012173772A/en not_active Withdrawn
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014164356A (en) * | 2013-02-21 | 2014-09-08 | Fujitsu Ltd | Image processing device, image processing method, and image processing program |
WO2014147858A1 (en) * | 2013-03-19 | 2014-09-25 | Necソリューションイノベータ株式会社 | Three-dimensional unlocking device, three-dimensional unlocking method and program |
JPWO2014147858A1 (en) * | 2013-03-19 | 2017-02-16 | Necソリューションイノベータ株式会社 | 3D unlock device, 3D unlock method and program |
JP2017152010A (en) * | 2013-06-09 | 2017-08-31 | 株式会社ソニー・インタラクティブエンタテインメント | Head-mounted display |
JP2015059965A (en) * | 2013-09-17 | 2015-03-30 | ソニー株式会社 | Information processor, information processing method and computer program |
US9908049B2 (en) | 2013-09-30 | 2018-03-06 | Sony Interactive Entertainment Inc. | Camera based safety mechanisms for users of head mounted displays |
JP2016541035A (en) * | 2013-09-30 | 2016-12-28 | 株式会社ソニー・インタラクティブエンタテインメント | Camera-based safety mechanism for head-mounted display users |
US10122985B2 (en) | 2013-09-30 | 2018-11-06 | Sony Interactive Entertainment Inc. | Camera based safety mechanisms for users of head mounted displays |
JP2015213212A (en) * | 2014-05-01 | 2015-11-26 | セイコーエプソン株式会社 | Head-mounted display apparatus, control system, and control method of head-mounted display apparatus |
US9965048B2 (en) | 2014-05-01 | 2018-05-08 | Seiko Epson Corporation | Head-mount type display device, control system, method of controlling head-mount type display device, and computer program |
JP2016015077A (en) * | 2014-07-03 | 2016-01-28 | Necパーソナルコンピュータ株式会社 | Gesture recognition device, gesture recognition method, and program |
US9741171B2 (en) | 2014-08-15 | 2017-08-22 | Fujitsu Limited | Image processing device and image processing method |
CN110275619A (en) * | 2015-08-31 | 2019-09-24 | 北京三星通信技术研究有限公司 | The method and its head-mounted display of real-world object are shown in head-mounted display |
JP2017067876A (en) * | 2015-09-29 | 2017-04-06 | セイコーエプソン株式会社 | Head-mounted display, method for controlling head-mounted display, and computer program |
KR101775648B1 (en) | 2016-08-31 | 2017-09-06 | 권해원 | Method for charging credit card using position of figure |
WO2018051436A1 (en) * | 2016-09-14 | 2018-03-22 | 株式会社朝日ネット | Processing execution system, information processing device, and program |
JP2020537257A (en) * | 2017-10-12 | 2020-12-17 | アウディ アクチェンゲゼルシャフトAudi Ag | How to operate a head-worn electronic display device and a display system that displays virtual content |
US11364441B2 (en) | 2017-10-12 | 2022-06-21 | Audi Ag | Method for operating an electronic display device wearable on the head and display system for displaying virtual content |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2012173772A (en) | User interaction apparatus, user interaction method, user interaction program and integrated circuit | |
US10636212B2 (en) | Method for generating image to be displayed on head tracking type virtual reality head mounted display and image generation device | |
CN107004279B (en) | Natural user interface camera calibration | |
CN112783328B (en) | Method for providing virtual space, method for providing virtual experience, program, and recording medium | |
US10241582B2 (en) | Information processing device, information processing method, and program for graphical user interface | |
ES2835598T3 (en) | Gesture interface | |
US8881059B2 (en) | Object control device, object control method, computer-readable recording medium, and integrated circuit | |
EP2779113B1 (en) | Information processing device, display control method, and program | |
JP5845830B2 (en) | Information processing apparatus, display control method, and program | |
US20170083104A1 (en) | Information processing apparatus information processing method and storage medium | |
US10453235B2 (en) | Image processing apparatus displaying image of virtual object and method of displaying the same | |
US8705868B2 (en) | Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method | |
JP2019083033A (en) | Method, system and device for navigating in virtual reality environment | |
JP6350772B2 (en) | Information processing system, information processing apparatus, control method, and program | |
JP2022535315A (en) | Artificial reality system with self-tactile virtual keyboard | |
JP6499384B2 (en) | Image display apparatus, image display method, and image display program | |
US10438411B2 (en) | Display control method for displaying a virtual reality menu and system for executing the display control method | |
JP2022534639A (en) | Artificial Reality System with Finger Mapping Self-Tactile Input Method | |
TW202105129A (en) | Artificial reality systems with personal assistant element for gating user interface elements | |
JP2017156887A (en) | Information processing apparatus, information processing method, and program | |
JPWO2017122270A1 (en) | Image display device | |
KR101638550B1 (en) | Virtual Reality System using of Mixed reality, and thereof implementation method | |
WO2021033575A1 (en) | Information processing device, information processing method, and program | |
US11049306B2 (en) | Display apparatus and method for generating and rendering composite images | |
CN113574591A (en) | Boundary setting device, boundary setting method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140513 |