WO2019054037A1 - Information processing device, information processing method and program - Google Patents

Information processing device, information processing method and program Download PDF

Info

Publication number
WO2019054037A1
WO2019054037A1 PCT/JP2018/026799 JP2018026799W WO2019054037A1 WO 2019054037 A1 WO2019054037 A1 WO 2019054037A1 JP 2018026799 W JP2018026799 W JP 2018026799W WO 2019054037 A1 WO2019054037 A1 WO 2019054037A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
gesture
information processing
recognition unit
processing apparatus
Prior art date
Application number
PCT/JP2018/026799
Other languages
French (fr)
Japanese (ja)
Inventor
賢次 杉原
真里 斎藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2019054037A1 publication Critical patent/WO2019054037A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Abstract

[Problem] To achieve gesture recognition with higher accuracy. [Solution] Provided is an information processing device which includes: a gesture recognition unit which recognizes a gesture on the basis of an operation of a user; and an operation control unit which generates a control signal for an operation control of an object to be operated by the gesture on the basis of the recognized gesture, wherein the gesture recognition unit determines coordinate axes of spatial coordinates with respect to the recognition of the gesture on the basis of a direction of the user. In addition, provided is an information processing method including, by a processor: recognizing a gesture on the basis of an operation of a user; and generating a control signal for an operation control of an object to be controlled by the gesture on the basis of the recognized gesture, wherein the recognizing further includes determining coordinate axes of spatial coordinates with respect to the recognition of the gesture on the basis of a direction of the user.

Description

情報処理装置、情報処理方法、およびプログラムINFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。 The present disclosure relates to an information processing device, an information processing method, and a program.
　近年、ユーザによるジェスチャを認識し、当該ジェスチャに基づいて対象物の動作を制御する装置が普及している。また、上記のような装置において、ジェスチャ認識に係る精度を向上させるための技術が多く開発されている。例えば、特許文献１には、撮像装置に対するユーザの姿勢に基づいてジェスチャ認識を行う技術が開示されている。 BACKGROUND In recent years, devices that recognize gestures by users and control operations of objects based on the gestures are in widespread use. In addition, in the above-described devices, many techniques have been developed for improving the accuracy of gesture recognition. For example, Patent Document 1 discloses a technique for performing gesture recognition based on the posture of a user with respect to an imaging device.
特開２０１５－１７６２５３号公報JP, 2015-176253, A
　しかし、特許文献１に記載の技術は、撮像装置に対するユーザの相対的な姿勢に基づいて、対象部位の動きを補正するものである。このため、特許文献１に記載の技術では、撮像装置に対するユーザの姿勢が変化しない場合などにあっては、ジェスチャ認識の精度を高めることが困難である。 However, the technology described in Patent Document 1 corrects the movement of the target site based on the relative posture of the user with respect to the imaging device. For this reason, with the technique described in Patent Document 1, it is difficult to improve the accuracy of gesture recognition when the posture of the user with respect to the imaging device does not change.
　そこで、本開示では、より精度の高いジェスチャ認識を実現することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。 Therefore, the present disclosure proposes a new and improved information processing apparatus, an information processing method, and a program capable of realizing more accurate gesture recognition.
　本開示によれば、ユーザの動作に基づいてジェスチャを認識するジェスチャ認識部と、前記認識されたジェスチャに基づいて、前記ジェスチャによる操作対象物の動作制御に係る制御信号を生成する動作制御部と、を備え、前記ジェスチャ認識部は、前記ユーザの向きに基づいて、前記ジェスチャの認識に係る空間座標の座標軸を決定する、情報処理装置が提供される。 According to the present disclosure, a gesture recognition unit that recognizes a gesture based on a user's operation, and an operation control unit that generates a control signal related to operation control of an operation target object by the gesture based on the recognized gesture An information processing apparatus is provided, wherein the gesture recognition unit determines a coordinate axis of space coordinates related to recognition of the gesture based on an orientation of the user.
　また、本開示によれば、プロセッサが、ユーザの動作に基づいてジェスチャを認識することと、前記認識されたジェスチャに基づいて、前記ジェスチャによる操作対象物の動作制御に係る制御信号を生成することと、を含み、前記認識することは、前記ユーザの向きに基づいて、前記ジェスチャの認識に係る空間座標の座標軸を決定すること、をさらに含む、情報処理方法が提供される。 Further, according to the present disclosure, a processor recognizes a gesture based on a user's operation, and generates a control signal related to operation control of an operation target by the gesture based on the recognized gesture. And C., wherein the recognizing further includes determining a coordinate axis of space coordinates related to recognition of the gesture based on an orientation of the user.
　また、本開示によれば、コンピュータを、ユーザの動作に基づいてジェスチャを認識するジェスチャ認識部と、前記認識されたジェスチャに基づいて、前記ジェスチャによる操作対象物の動作制御に係る制御信号を生成する動作制御部と、を備え、前記ジェスチャ認識部は、前記ユーザの向きに基づいて、前記ジェスチャの認識に係る空間座標の座標軸を決定する、情報処理装置、として機能させるためのプログラムが提供される。 Further, according to the present disclosure, a computer, a gesture recognition unit that recognizes a gesture based on a user's operation, and a control signal related to operation control of an operation target based on the gesture are generated based on the recognized gesture. A program for causing the gesture recognition unit to function as an information processing apparatus that determines a coordinate axis of a space coordinate related to recognition of the gesture based on the direction of the user. Ru.
　以上説明したように本開示によれば、より精度の高いジェスチャ認識を実現することが可能となる。 As described above, according to the present disclosure, it is possible to realize gesture recognition with higher accuracy.
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。 Note that the above-mentioned effects are not necessarily limited, and, along with or in place of the above-mentioned effects, any of the effects shown in the present specification, or other effects that can be grasped from the present specification May be played.
ジェスチャ認識に係る既定の座標軸と実際のジェスチャ方向とのずれについて説明するための図である。It is a figure for demonstrating the shift | offset | difference of the predetermined coordinate axis which concerns on gesture recognition, and an actual gesture direction. ジェスチャ認識に係る既定の座標軸と実際のジェスチャ方向とのずれについて説明するための図である。It is a figure for demonstrating the shift | offset | difference of the predetermined coordinate axis which concerns on gesture recognition, and an actual gesture direction. ユーザの傾きに伴うジェスチャ方向の変化について説明するための図である。It is a figure for demonstrating the change of the gesture direction accompanying the inclination of a user. 本開示の一実施形態に係るシステム構成例および情報処理装置の機能構成例を示すブロック図である。FIG. 1 is a block diagram illustrating an exemplary system configuration and an exemplary functional configuration of an information processing apparatus according to an embodiment of the present disclosure. 同実施形態に係るユーザの傾きが閾値未満である場合におけるジェスチャ認識に係る空間座標の座標軸を決定について説明するための図である。It is a figure for demonstrating determination of the coordinate axis of the space coordinate which concerns on gesture recognition in, when the inclination of the user based on the embodiment is less than a threshold value. 同実施形態に係るユーザの傾きが閾値未満である場合におけるジェスチャ認識に係る空間座標の座標軸を決定について説明するための図である。It is a figure for demonstrating determination of the coordinate axis of the space coordinate which concerns on gesture recognition in, when the inclination of the user based on the embodiment is less than a threshold value. 同実施形態に係るユーザの傾きが閾値未満である場合におけるジェスチャ認識に係る空間座標の座標軸を決定について説明するための図である。It is a figure for demonstrating determination of the coordinate axis of the space coordinate which concerns on gesture recognition in, when the inclination of the user based on the embodiment is less than a threshold value. 同実施形態に係るユーザの傾きが閾値以上である場合におけるジェスチャ認識に係る空間座標の座標軸を決定について説明するための図である。It is a figure for demonstrating determination of the coordinate axis of the space coordinate which concerns on gesture recognition in, when the inclination of the user based on the embodiment is more than a threshold value. 同実施形態に係るユーザの傾きが閾値以上である場合におけるジェスチャ認識に係る空間座標の座標軸を決定について説明するための図である。It is a figure for demonstrating determination of the coordinate axis of the space coordinate which concerns on gesture recognition in, when the inclination of the user based on the embodiment is more than a threshold value. 同実施形態に係る情報処理装置の動作の流れを示すフローチャートである。It is a flowchart which shows the flow of operation | movement of the information processing apparatus which concerns on the embodiment. 本開示の一実施形態に係る情報処理装置１０のハードウェア構成例を示す図である。It is a figure showing the example of hardware constitutions of information processor 10 concerning one embodiment of this indication.
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Hereinafter, preferred embodiments of the present disclosure will be described in detail with reference to the accompanying drawings. In the present specification and the drawings, components having substantially the same functional configuration will be assigned the same reference numerals and redundant description will be omitted.
　なお、説明は以下の順序で行うものとする。
　１．実施形態
　　１．１．実施形態の概要
　　１．２．システム構成例
　　１．３．情報処理装置１０の機能構成例
　　１．４．ジェスチャ認識の詳細
　　１．５．動作の流れ
　２．ハードウェア構成例
　３．まとめ The description will be made in the following order.
1. Embodiment 1.1. Outline of embodiment 1.2. System configuration example 1.3. Functional configuration example of information processing apparatus 10 1.4. Details of gesture recognition 1.5. Flow of operation 2. Hardware configuration example 3. Summary
　＜１．実施形態＞
　＜＜１．１．実施形態の概要＞＞
　近年、ユーザによるジェスチャを認識し、当該ジェスチャに基づいて対象物（以下、操作対象物という場合がある）の動作を制御する技術が開発されている。当該技術によれば、例えば、ＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔ　Ｄｉｓｐｌａｙ：ＨＭＤ）などの端末により、ユーザの手や指の動作をジェスチャとして認識し、認識したジェスチャに応じて対象物に種々の動作を実行させることができる。 <1. Embodiment>
<< 1.1. Outline of embodiment >>
2. Description of the Related Art In recent years, a technology has been developed which recognizes a gesture by a user and controls the operation of an object (hereinafter sometimes referred to as an operation object) based on the gesture. According to the technology, for example, a terminal such as an HMD (Head Mount Display: HMD) recognizes an action of a user's hand or finger as a gesture, and causes an object to execute various actions according to the recognized gesture. Can.
　上記の技術によれば、ユーザは、例えば、実空間に存在する装置や、ＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ））やＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）技術を用いて表示される仮想オブジェクトなどの種々の対象物を直観的に操作、指示することが可能となる。 According to the above technology, the user can intuitively use various objects such as a device existing in real space or a virtual object displayed using VR (Virtual Reality) or AR (Augmented Reality) technology. It is possible to operate and give instructions.
　このように、ＨＭＤなどの端末によりユーザのジェスチャを認識する場合、端末に備えられるジェスチャ認識ユニットが有する既定の座標軸（基準軸）を用いて、当該ジェスチャを認識することが一般的である。以下、傾きを判定するために用いられる既定の座標軸を、基準軸という場合がある。 Thus, when recognizing a user's gesture by a terminal such as an HMD, it is general to recognize the gesture using a predetermined coordinate axis (reference axis) of the gesture recognition unit provided in the terminal. Hereinafter, a predetermined coordinate axis used to determine the inclination may be referred to as a reference axis.
　しかし、上記のような既定の座標軸と、ユーザが意図するジェスチャの方向とにずれが生じている場合、ユーザのジェスチャを正しく認識することが困難な場合がある。 However, in the case where there is a deviation between the predetermined coordinate axes as described above and the direction of the gesture intended by the user, it may be difficult to correctly recognize the user's gesture.
　図１Ａおよび図１Ｂは、ジェスチャ認識に係る既定の座標軸と実際のジェスチャ方向とのずれについて説明するための図である。図１Ａおよび図１Ｂの上部には、対象物２０に対しジェスチャにより動作指示を行うユーザＵの視界ＦＶが示され、下部には、対象物２０とユーザＵの位置関係およびジェスチャの方向が示されている。 FIGS. 1A and 1B are diagrams for explaining a deviation between a predetermined coordinate axis involved in gesture recognition and an actual gesture direction. In the upper part of FIGS. 1A and 1B, the visual field FV of the user U who gives an operation instruction to the object 20 by a gesture is shown, and in the lower part, the positional relationship between the object 20 and the user U and the direction of the gesture are shown. ing.
　図１Ａに示す一例の場合、ユーザＵは、実空間に存在する、ジェスチャにより操作可能な照明装置である対象物２０に対し、手ＵＨを奥に突き出すジェスチャを行っている。当該ジェスチャは、例えば、対象物２０のオン／オフに関する切り替え指示に該当するジェスチャであってもよい。 In the example shown in FIG. 1A, the user U is making a gesture of projecting the hand UH to the back with respect to the object 20 which is an illumination device operable by a gesture, which is present in the real space. The gesture may be, for example, a gesture corresponding to a switching instruction related to turning on / off the object 20.
　この際、ユーザＵは、ユーザの視線方向ＳＤなどのユーザの向きを基準として、手ＵＨを用いたジェスチャを行うのが一般的である。図１Ａには、ユーザＵが意図する真のジェスチャ方向ＭＤが視線方向ＳＤに沿って示されている。 Under the present circumstances, it is common for the user U to perform the gesture using hand UH on the basis of user's direction, such as a user's gaze direction SD. In FIG. 1A, the true gesture direction MD intended by the user U is shown along the viewing direction SD.
　しかし、一般的な情報処理端末９０では、予め設定された既定の座標軸に基づいて、手ＵＨによるジェスチャ方向を認識することが多い。図１Ａに示す一例の場合、一般的な情報処理端末９０は、水平方向における情報処理端末９０の向きＤＤを基準とした既定の座標軸によりジェスチャの認識を行っている。このため、一般的な情報処理端末９０が検出するジェスチャ方向ＦＭＤと、ユーザＵが意図する真のジェスチャ方向ＭＤとにずれが生じることとなる。例えば、前述のようなユーザＵの目線よりも上方に設けられた照明装置の場合、後述の通りユーザＵは視線を上方に向けて照明器具を視認することとなり、ジェスチャ方向ＦＭＤと、ジェスチャ方向ＭＤとにずれが生じうる。 However, in the general information processing terminal 90, the gesture direction by the hand UH is often recognized on the basis of a preset default coordinate axis. In the example shown in FIG. 1A, the general information processing terminal 90 recognizes a gesture with a predetermined coordinate axis based on the direction DD of the information processing terminal 90 in the horizontal direction. For this reason, a shift occurs between the gesture direction FMD detected by the general information processing terminal 90 and the true gesture direction MD intended by the user U. For example, in the case of the illumination device provided above the line of sight of the user U as described above, as described later, the user U turns the line of sight upward to view the illumination fixture, and the gesture direction FMD and the gesture direction MD There may be a gap between them.
　また、図１Ｂに示す一例の場合、ユーザＵは、ユーザＵは、実空間に存在する照明装置である対象物２０に対し、手ＵＨを下方向に動かすジェスチャを行っている。当該ジェスチャは、例えば、対象物２０に対し照度の低減を指示するジェスチャであってもよい。 Further, in the example shown in FIG. 1B, the user U makes a gesture of moving the hand UH in the downward direction with respect to the object 20 which is the illumination device existing in the real space. The gesture may be, for example, a gesture that instructs the object 20 to reduce the illuminance.
　この際、図１Ａの場合と同様に、ユーザＵは、視線方向ＳＤなどのユーザの向きを基準として、上記のジェスチャを行う。しかし、一般的な情報処理端末９０では、既定の座標軸に基づくジェスチャ認識を行うため、情報処理端末９０が検出するジェスチャ方向ＦＭＤと、ユーザＵが意図する真のジェスチャ方向ＭＤとにはずれが生じることとなる。 At this time, as in the case of FIG. 1A, the user U makes the above gesture based on the direction of the user such as the gaze direction SD. However, in the general information processing terminal 90, in order to perform gesture recognition based on a predetermined coordinate axis, a shift occurs between the gesture direction FMD detected by the information processing terminal 90 and the true gesture direction MD intended by the user U. It becomes.
　このように、一般的な情報処理端末９０では、ユーザＵの向きを考慮せず予め設定された既定の座標軸を用いてジェスチャ認識を行うため、ユーザＵが意図する真のジェスチャ方向ＦＤを正確に認識することが困難な場合がある。このため、一般的な情報処理端末９０では、ユーザＵが意図するジェスチャを正しく認識できない状況や、ユーザＵが意図する動作指示とは異なるジェスチャを誤認識してしまう状況が生じ得る。 As described above, in the general information processing terminal 90, since the gesture recognition is performed using the predetermined coordinate axes set in advance without considering the direction of the user U, the true gesture direction FD intended by the user U is accurately determined. It may be difficult to recognize. Therefore, in the general information processing terminal 90, there may occur a situation in which the gesture intended by the user U can not be correctly recognized or a situation in which a gesture different from the operation instruction intended by the user U is erroneously recognized.
　また、ユーザＵによるジェスチャの方向は、ユーザＵや対象物２０の傾きにも影響を受けることが想定される。図２は、ユーザＵの傾きに伴うジェスチャ方向の変化について説明するための図である。 In addition, it is assumed that the direction of the gesture by the user U is influenced by the tilt of the user U and the object 20. FIG. 2 is a diagram for explaining a change in the gesture direction accompanying the inclination of the user U.
　図２には、天井に配置される対象物２０に対し、一般的な情報処理端末９０を装着したユーザＵがジェスチャによる動作指示を行う場合の一例が示されている。なお、図２には、ユーザＵが床などに寝転んだ状態で対象物２０に対しジェスチャを行う場合の例が示されている。 FIG. 2 shows an example of the case where the user U wearing the general information processing terminal 90 gives an operation instruction by a gesture to the target 20 disposed on the ceiling. Note that FIG. 2 shows an example in which the user U makes a gesture on the object 20 in a state of lying on a floor or the like.
　この際、ユーザＵは、普段の立位状態や対象物２０の姿勢を基準として、図１Ｂに示したような重力方向へ手ＵＨを動かすジェスチャを行う場合も想定される。しかし、上述したように、一般的な情報処理端末９０は、既定の座標軸に基づいてジェスチャを認識するため、ユーザＵが意図する真のジェスチャ方向ＭＤを正しく認識することが困難である。また、一般的な情報処理端末９０では、誤ったジェスチャ方向を認識し、対象物２０にユーザＵの意図しない動作を実行させてしまう可能性がある。 At this time, it is also assumed that the user U makes a gesture of moving the hand UH in the direction of gravity as shown in FIG. 1B based on the normal standing state and the posture of the object 20. However, as described above, since the general information processing terminal 90 recognizes a gesture based on a predetermined coordinate axis, it is difficult to correctly recognize the true gesture direction MD intended by the user U. Moreover, in the general information processing terminal 90, there is a possibility that the wrong gesture direction is recognized, and the object 20 is caused to execute an unintended operation of the user U.
　本開示の一実施形態に係る情報処理装置、情報処理方法、およびプログラムは、上記の点に着目して発想されたものであり、ユーザの向きが変動する場合であっても、より精度の高いジェスチャ認識を実現することを可能とする。このために、本開示の一実施形態に係る情報処理装置、情報処理方法、およびプログラムは、検出されたユーザの向きに基づいて、ジェスチャの認識に係る空間座標の座標軸を動的に決定することを特徴の一つとする。以下、本開示の一実施形態に係る情報処理装置、情報処理方法、およびプログラムが有する上記の特徴を実現する構成および機能について詳細に説明する。 An information processing apparatus, an information processing method, and a program according to an embodiment of the present disclosure are conceived based on the above points, and are more accurate even when the user's orientation changes. It is possible to realize gesture recognition. To this end, an information processing apparatus, an information processing method, and a program according to an embodiment of the present disclosure dynamically determine coordinate axes of space coordinates related to recognition of a gesture based on detected user orientations. Is one of the features. Hereinafter, an information processing apparatus, an information processing method, and a configuration and a function for realizing the above-described feature of a program according to an embodiment of the present disclosure will be described in detail.
　＜＜１．２．システム構成例＞＞
　次に、本開示の一実施形態に係る情報処理システムのシステム構成例について説明する。図３は、本実施形態のシステム構成例および情報処理装置１０の機能構成例を示すブロック図である。図３を参照すると、本実施形態に係る情報処理システムは、情報処理装置１０、対象物２０、およびセンサ装置３０を備え得る。また、情報処理装置１０と対象物２０、情報処理装置１０とセンサ装置３０とは、互いに通信が行えるようにネットワーク４０を介して接続される。 << 1.2. System configuration example >>
Next, a system configuration example of an information processing system according to an embodiment of the present disclosure will be described. FIG. 3 is a block diagram showing an example of the system configuration of this embodiment and an example of the functional configuration of the information processing apparatus 10. As shown in FIG. Referring to FIG. 3, the information processing system according to the present embodiment may include an information processing device 10, an object 20, and a sensor device 30. Further, the information processing apparatus 10 and the object 20, and the information processing apparatus 10 and the sensor apparatus 30 are connected via the network 40 so as to be able to communicate with each other.
　（情報処理装置１０）
　本実施形態に係る情報処理装置１０は、ユーザによるジェスチャを認識し、当該ジェスチャに基づいて対象物２０の動作を制御する機能を有する。この際、本実施形態に係る情報処理装置１０は、検出したユーザの向きに基づいて、ジェスチャの認識に係る空間座標の座標軸を動的に決定する機能を有する。 (Information processing apparatus 10)
The information processing apparatus 10 according to the present embodiment has a function of recognizing a gesture by the user and controlling the operation of the target 20 based on the gesture. Under the present circumstances, the information processing apparatus 10 which concerns on this embodiment has a function which determines the coordinate axis of the space coordinate which concerns on recognition of a gesture dynamically based on the detected direction of the user.
　ここで、本実施形態に係るユーザの向きは、例えば、ユーザの頭部の向きであってもよい。より具体的には、本実施形態に係るユーザの向きは、ユーザの視線方向を含む。本実施形態に係る情報処理装置１０は、例えば、ユーザの眼球運動や情報処理装置１０の向きに基づいてユーザの視線方向を検出することが可能である。 Here, the orientation of the user according to the present embodiment may be, for example, the orientation of the head of the user. More specifically, the orientation of the user according to the present embodiment includes the gaze direction of the user. The information processing apparatus 10 according to the present embodiment can detect the gaze direction of the user based on, for example, the eye movement of the user and the direction of the information processing apparatus 10.
　本実施形態に係る情報処理装置１０は、例えば、ＨＭＤや眼鏡型のウェアラブルデバイスなど、ユーザが頭部に装着する装着端末であってもよい。また、本実施形態に係る情報処理装置１０は、上記の装着端末などが収集したセンサ情報に基づいてジェスチャ認識を行う種々の装置であってもよい。 The information processing apparatus 10 according to the present embodiment may be, for example, a wearing terminal such as an HMD or a glasses-type wearable device worn by the user on the head. In addition, the information processing apparatus 10 according to the present embodiment may be various apparatuses that perform gesture recognition based on sensor information collected by the attached terminal or the like.
　（対象物２０）
　本実施形態に係る対象物２０は、情報処理装置１０による制御に基づいて種々の動作を行う。情報処理装置１０は、認識したユーザのジェスチャに基づいて、当該ジェスチャに該当する動作を対象物２０に実行させることができる。 (Object 20)
The target 20 according to the present embodiment performs various operations based on control by the information processing apparatus 10. The information processing apparatus 10 can cause the target 20 to execute the operation corresponding to the gesture based on the recognized gesture of the user.
　本実施形態に係る対象物２０は、実空間における種々の装置であり得る。対象物２０は、例えば、家電機器、ゲーム機器、汎用コンピュータ、自律移動型のロボットなどであってもよい。また、本実施形態に係る対象物２０は、ＶＲやＡＲ技術を用いて表示される仮想オブジェクトであってもよい。 The target 20 according to the present embodiment may be various devices in real space. The object 20 may be, for example, a home appliance, a game machine, a general-purpose computer, an autonomous mobile robot, or the like. In addition, the object 20 according to the present embodiment may be a virtual object displayed using VR or AR technology.
　（センサ装置３０）
　本実施形態に係るセンサ装置３０は、ユーザの向きに係るセンサ情報を収集する装置である。センサ装置３０は、取集したセンサ情報をネットワーク４０を介して情報処理装置１０に送信する。 (Sensor device 30)
The sensor device 30 according to the present embodiment is a device that collects sensor information related to the direction of the user. The sensor device 30 transmits the collected sensor information to the information processing device 10 via the network 40.
　本実施形態に係るセンサ装置３０は、撮像機能を有する装置であってもよい。この場合、情報処理装置１０は、センサ装置３０が撮像したユーザの画像に基づいて、視線方向などのユーザの向きを推定することが可能である。 The sensor device 30 according to the present embodiment may be a device having an imaging function. In this case, the information processing apparatus 10 can estimate the direction of the user such as the gaze direction based on the image of the user captured by the sensor device 30.
　また、本実施形態に係るセンサ装置３０は、ユーザの装着する赤外線マーカが照射または反射する赤外線を検出する赤外線センサを備えてもよい。この場合、情報処理装置１０は、センサ装置３０が検出した赤外線マーカの位置変化に基づいてユーザの向きを取得することが可能である。 Moreover, the sensor apparatus 30 which concerns on this embodiment may be equipped with the infrared sensor which detects the infrared rays which an infrared marker which a user mounts | wears or reflects. In this case, the information processing apparatus 10 can acquire the direction of the user based on the change in position of the infrared marker detected by the sensor device 30.
　また、本実施形態に係るセンサ装置３０は、加速度センサ、ジャイロセンサ、地磁気センサなどを備え、ユーザが装着する装置であってもよい。この場合、情報処理装置１０は、センサ装置３０が収集した加速度、角速度、方向などの情報に基づいてユーザの向きを推定することが可能である。なお、この場合、情報処理装置１０とセンサ装置３０とは、予め基準となる座標軸を共有するようにキャリブレーションが実施される。 The sensor device 30 according to the present embodiment may be a device equipped with an acceleration sensor, a gyro sensor, a geomagnetic sensor, and the like and worn by the user. In this case, the information processing apparatus 10 can estimate the direction of the user based on the information such as the acceleration, the angular velocity, and the direction collected by the sensor device 30. In this case, calibration is performed so that the information processing device 10 and the sensor device 30 share in advance a coordinate axis serving as a reference.
　（ネットワーク４０）
　ネットワーク４０は、情報処理装置１０と対象物２０、情報処理装置１０とセンサ装置３０とを接続する機能を有する。ネットワーク４０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク４０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。また、ネットワーク４０は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）など無線通信網を含んでもよい。 (Network 40)
The network 40 has a function of connecting the information processing device 10 to the target 20 and the information processing device 10 to the sensor device 30. The network 40 may include the Internet, a public line network such as a telephone network, a satellite communication network, various LANs (Local Area Networks) including Ethernet (registered trademark), a WAN (Wide Area Network), and the like. Also, the network 40 may include a dedicated line network such as an Internet Protocol-Virtual Private Network (IP-VPN). The network 40 may also include a wireless communication network such as Wi-Fi (registered trademark) or Bluetooth (registered trademark).
　以上、本実施形態に係る情報処理システムの構成例について説明した。なお、図３を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、情報処理装置１０がユーザの向きに係るセンサ情報を収集する機能を備える場合、本実施形態に係る情報処理システムは、必ずしもセンサ装置３０を備えなくてもよい。本実施形態に係る情報処理システムの構成は、仕様や運用に応じて柔軟に変形可能である。 The configuration example of the information processing system according to the present embodiment has been described above. The configuration described above with reference to FIG. 3 is merely an example, and the configuration of the information processing system according to the present embodiment is not limited to such an example. For example, when the information processing apparatus 10 has a function of collecting sensor information related to the orientation of the user, the information processing system according to the present embodiment may not necessarily include the sensor apparatus 30. The configuration of the information processing system according to the present embodiment can be flexibly deformed according to the specification and the operation.
　＜＜１．３．情報処理装置１０の機能構成例＞＞
　引き続き、図３を参照し、本実施形態に係る情報処理装置１０の機能構成例について説明する。図３を参照すると、本実施形態に係る情報処理装置１０は、センサ部１１０、ユーザ認識部１２０、対象認識部１３０、ジェスチャ認識部、動作制御部１５０、および通信部１６０を備える。 << 1.3. Functional configuration example of the information processing apparatus 10 >>
Continuing on, with reference to FIG. 3, a functional configuration example of the information processing apparatus 10 according to the present embodiment will be described. Referring to FIG. 3, the information processing apparatus 10 according to the present embodiment includes a sensor unit 110, a user recognition unit 120, an object recognition unit 130, a gesture recognition unit, an operation control unit 150, and a communication unit 160.
　（センサ部１１０）
　センサ部１１０は、ユーザの向きに係るセンサ情報を収集する機能を有する。上述したように、本実施形態に係るユーザの向きは、ユーザの視線方向を含む。例えば、ユーザ認識部１２０がユーザが装着する情報処理装置１０の向きに基づいて視線方向を検出する場合、本実施形態に係るセンサ部１１０は、加速度センサ、ジャイロセンサ、地磁気センサなどを備えてよい。 (Sensor unit 110)
The sensor unit 110 has a function of collecting sensor information related to the direction of the user. As described above, the orientation of the user according to the present embodiment includes the gaze direction of the user. For example, when the user recognition unit 120 detects the gaze direction based on the direction of the information processing apparatus 10 worn by the user, the sensor unit 110 according to the present embodiment may include an acceleration sensor, a gyro sensor, a geomagnetic sensor, etc. .
　また、ユーザ認識部１２０が角膜反射法によるユーザの眼球運動に基づく視線方向の検出を行う場合、本実施形態に係るセンサ部１１０は、ユーザの眼球に光を照射する光源や角膜表面からの反射光を検出する撮像センサを備えてもよい。 In addition, when the user recognition unit 120 detects the gaze direction based on the eye movement of the user by the corneal reflection method, the sensor unit 110 according to the present embodiment is a light source that emits light to the user's eye and reflection from the corneal surface. You may provide the imaging sensor which detects light.
　本実施形態に係るセンサ部１１０は、収集した種々のセンサ情報をユーザ認識部１２０に入力する。 The sensor unit 110 according to the present embodiment inputs the collected various sensor information to the user recognition unit 120.
　（ユーザ認識部１２０）
　本実施形態に係るユーザ認識部１２０は、ユーザに係る認識を行う機能を有する。具体的には、本実施形態に係るユーザ認識部１２０は、センサ部１１０やセンサ装置３０が収集したセンサ情報に基づいて、ユーザの向きを検出する方向検出部として機能する。 (User recognition unit 120)
The user recognition unit 120 according to the present embodiment has a function of performing recognition related to the user. Specifically, the user recognition unit 120 according to the present embodiment functions as a direction detection unit that detects the direction of the user based on the sensor information collected by the sensor unit 110 or the sensor device 30.
　この際、ユーザ認識部１２０は、例えば、センサ部１１０により撮像された画像を用いて、ユーザの眼球運動に基づく視線方向の検出を行ってもよい。また、ユーザ認識部１２０は、センサ部１１０が取集した加速度情報、角速度情報、地磁気情報などに基づいて、ユーザが頭部に装着する情報処理装置１０の向きを算出し、ユーザの視線方向として検出してもよい。 At this time, the user recognition unit 120 may detect the gaze direction based on the eye movement of the user using, for example, the image captured by the sensor unit 110. In addition, the user recognition unit 120 calculates the direction of the information processing apparatus 10 worn on the head by the user based on the acceleration information, the angular velocity information, the geomagnetic information, etc. collected by the sensor unit 110 as the user's gaze direction. It may be detected.
　また、ユーザ認識部１２０は、対象物２０とユーザとの相対位置に基づいてユーザの向きを検出してもよい。ユーザ認識部１２０は、例えば、ユーザの位置を基準として対象物２０が存在する方向をユーザの向きとして検出することも可能である。このように、本実施形態に係るユーザ認識部１２０によれば、情報処理システムや情報処理装置１０の機能構成に応じた手法により、ユーザの向きを柔軟かつ精度高く検出することが可能となる。 Also, the user recognition unit 120 may detect the direction of the user based on the relative position of the object 20 and the user. The user recognition unit 120 can also detect, for example, the direction in which the target 20 is present based on the position of the user as the direction of the user. As described above, according to the user recognition unit 120 according to the present embodiment, it is possible to flexibly and accurately detect the direction of the user by the method according to the information processing system and the functional configuration of the information processing apparatus 10.
　また、本実施形態に係るユーザ認識部１２０は、ユーザの動作を認識する機能を有する。ユーザ認識部１２０は、例えば、センサ部１１０が撮像した画像からユーザの手の動作などを検出してよい。この際、ユーザ認識部１２０は、ユーザの動作に係る３次元方向や動作の大きさなどを認識することができる。なお、ユーザの手を撮像するセンサ部１１０がユーザの頭部に装着されるウェアラブルデバイスに設けられる場合、ユーザが同一のジェスチャを意図している場合であっても、ユーザの向きに応じて画像内における例えばユーザの手の形状が異なり得る。したがって、ユーザの手を撮像するセンサ部１１０がユーザの頭部に装着されるウェアラブルデバイスに設けられる場合、ユーザの向きに応じて、ジェスチャを認識するためのユーザの手の形状等のテンプレートを異ならせても良い。あるいは、ユーザの向きに応じて、ジェスチャを認識するためのユーザの手の形状等のテンプレートが機械学習されても良い。 In addition, the user recognition unit 120 according to the present embodiment has a function of recognizing the user's operation. The user recognition unit 120 may detect, for example, the motion of the user's hand or the like from the image captured by the sensor unit 110. At this time, the user recognition unit 120 can recognize the three-dimensional direction, the size of the motion, and the like related to the motion of the user. Note that, when the sensor unit 110 that captures the user's hand is provided in a wearable device mounted on the user's head, an image may be generated according to the user's orientation even if the user intends the same gesture. For example, the shape of the user's hand inside may be different. Therefore, when the sensor unit 110 for capturing the hand of the user is provided in a wearable device mounted on the head of the user, if templates such as the shape of the user's hand for recognizing a gesture differ according to the orientation of the user. You may Alternatively, depending on the orientation of the user, a template such as the shape of the user's hand for recognizing a gesture may be machine-learned.
　本実施形態に係るユーザ認識部１２０は、検出したユーザの向きと動作に関する情報をジェスチャ認識部１４０に入力する。 The user recognition unit 120 according to the present embodiment inputs, to the gesture recognition unit 140, information related to the detected orientation and operation of the user.
　（対象認識部１３０）
　本実施形態に係る対象認識部１３０は、対象物２０に係る認識を行う機能を有する。具体的には、対象認識部１３０は、制御対象となる対象物２０を特定する機能を有する。本実施形態に係る対象認識部１３０は、例えば、ユーザ認識部１２０が検出したユーザの向きに基づいて、制御対象となる対象物２０を特定してもよい。具体的には、対象認識部１３０は、ユーザの視線方向や注視点に対象する装置や仮想オブジェクトを対象物２０として特定することができる。また、対象認識部１３０は、センサ部１１０が撮像した画像に基づく画像認識を行うことで、対象物２０を特定してもよい。 (Object recognition unit 130)
The target recognition unit 130 according to the present embodiment has a function of performing recognition related to the target 20. Specifically, the object recognition unit 130 has a function of specifying the object 20 to be controlled. The target recognition unit 130 according to the present embodiment may specify the target 20 to be controlled based on the direction of the user detected by the user recognition unit 120, for example. Specifically, the object recognition unit 130 can specify, as the object 20, a device or a virtual object targeted for the user's gaze direction or gaze point. In addition, the object recognition unit 130 may specify the object 20 by performing image recognition based on the image captured by the sensor unit 110.
　また、対象認識部１３０は、ユーザの発話を含む入力行為に基づいて、対象物２０を特定してもよい。対象認識部１３０は、例えば、ユーザの発話に係る音声認識を実行し、ユーザが意図する対象物２０を特定することも可能である。 In addition, the target recognition unit 130 may specify the target 20 based on an input act including the user's utterance. The target recognition unit 130 can also execute, for example, voice recognition related to the user's speech, and specify the target 20 intended by the user.
　また、対象認識部１３０は、対象物２０から送信される識別情報などに基づいて、対象物２０を特定することもできる。また、対象認識部１３０は、予め設定された装置や仮想オブジェクトなどを対象物２０として認識してもよい。 In addition, the object recognition unit 130 can also specify the object 20 based on identification information and the like transmitted from the object 20. In addition, the object recognition unit 130 may recognize a preset device, a virtual object, or the like as the object 20.
　また、対象認識部１３０は、対象物２０の傾きを検出する機能を有する。対象認識部１３０は、例えば、既定の座標軸における上下軸と、対象物２０の状態に基づき決定される上下軸との差に基づいて、対象物２０の傾きを検出する。例えば、対象物２０がロボットなどの実物体や、生き物を模した仮想オブジェクトなどである場合、対象認識部１３０は、対象物２０の頭頂方向を対象物２０の上下軸として検出してもよい。なお、対象認識部１３０は、上記の例に依らず、対象物２０ごとに定められた上下軸の変化に基づいて、対象物２０の傾きを検出することが可能である。また、本実施形態に係る対象物２０の傾きに関する情報は、対象物２０から送信されるものであってもよい。すなわち、対象物２０は、検出した自身の傾きに関する情報を識別情報と共に情報処理装置１０に送信することも可能である。この場合、対象認識部１３０は、受信した上記の情報に基づいて対象物２０および当該対象物２０の傾きを特定することができる。 Further, the object recognition unit 130 has a function of detecting the tilt of the object 20. The object recognition unit 130 detects the tilt of the object 20 based on, for example, the difference between the upper and lower axes of the predetermined coordinate axes and the upper and lower axes determined based on the state of the object 20. For example, when the object 20 is a real object such as a robot or a virtual object imitating a living thing, the object recognition unit 130 may detect the head top direction of the object 20 as the vertical axis of the object 20. The object recognition unit 130 can detect the tilt of the object 20 based on the change in the vertical axis determined for each object 20 regardless of the above example. Further, the information on the tilt of the object 20 according to the present embodiment may be transmitted from the object 20. That is, the object 20 can also transmit information on the detected inclination of itself to the information processing apparatus 10 together with the identification information. In this case, the target recognition unit 130 can specify the target 20 and the tilt of the target 20 based on the received information.
　本実施形態に対象認識部１３０は、特定した対象物２０と、対象物２０の傾きに関する情報をジェスチャ認識部１４０に入力する。 In the present embodiment, the target recognition unit 130 inputs, to the gesture recognition unit 140, the specified target 20 and information on the tilt of the target 20.
　（ジェスチャ認識部１４０）
　本実施形態に係るジェスチャ認識部は、ユーザ認識部１２０が検出したユーザの動作に基づいてジェスチャを認識する機能を有する。この際、本実施形態に係るジェスチャ認識部１４０は、ユーザ認識部１２０が検出したユーザの向きに基づいて、ジェスチャの認識に係る空間座標の座標軸を決定することを特徴の一つとする。 (Gesture recognition unit 140)
The gesture recognition unit according to the present embodiment has a function of recognizing a gesture based on the user's operation detected by the user recognition unit 120. Under the present circumstances, the gesture recognition part 140 which concerns on this embodiment makes one of the characteristics the coordinate axis of the space coordinate which concerns on recognition of a gesture based on the direction of the user which the user recognition part 120 detected.
　より具体的には、本実施形態に係るジェスチャ認識部１４０は、ユーザ認識部１２０が検出したユーザの向きに基づいて上記の座標軸における前後軸、左右軸、および上下軸を決定してよい。また、ジェスチャ認識部１４０は、上記のように決定した座標軸におけるユーザの動作に基づいて、ジェスチャの認識を実行する。 More specifically, the gesture recognition unit 140 according to the present embodiment may determine the longitudinal axis, the horizontal axis, and the vertical axis in the above coordinate axes based on the direction of the user detected by the user recognition unit 120. Also, the gesture recognition unit 140 executes gesture recognition based on the user's action on the coordinate axes determined as described above.
　上述したように、本実施形態に係るユーザの向きは、ユーザの視線方向を含んでよい。すなわち、本実施形態に係るジェスチャ認識部１４０は、ユーザ認識部１２０が検出したユーザの視線方向に基づいて、ジェスチャの認識に係る空間座標の座標軸を決定することができる。本実施形態に係るジェスチャ認識部１４０が有する上記の機能によれば、視線方向などのユーザの向きが都度変化する場合であっても、ユーザの向きに応じた座標軸を動的に決定することで、常時精度の高いジェスチャ認識を実現することが可能となる。 As described above, the orientation of the user according to the present embodiment may include the gaze direction of the user. That is, the gesture recognition unit 140 according to the present embodiment can determine the coordinate axes of the space coordinates related to the recognition of the gesture based on the gaze direction of the user detected by the user recognition unit 120. According to the above-described function of the gesture recognition unit 140 according to the present embodiment, the coordinate axis according to the user's direction is dynamically determined even when the user's direction such as the gaze direction changes each time. It is possible to always realize highly accurate gesture recognition.
　また、本実施形態に係るジェスチャ認識部１４０は、ユーザや対象物２０の傾きに基づいて、ジェスチャの認識に係る空間座標の座標軸を決定してもよい。本実施形態に係るジェスチャ認識部１４０が有する上記の機能については、別途詳細に説明する。 In addition, the gesture recognition unit 140 according to the present embodiment may determine the coordinate axes of the space coordinates related to the recognition of the gesture based on the inclination of the user or the target 20. The above-described functions of the gesture recognition unit 140 according to the present embodiment will be separately described in detail.
　本実施形態に係るジェスチャ認識部１４０は、上記のように認識したジェスチャに係る情報を動作制御部１５０に入力する。 The gesture recognition unit 140 according to the present embodiment inputs, to the operation control unit 150, information on the gesture recognized as described above.
　（動作制御部１５０）
　本実施形態に係る動作制御部１５０は、ジェスチャ認識部１４０が認識したジェスチャに基づいて、対象物２０の動作制御に係る制御信号を生成する。本実施形態に係る動作制御部１５０は、例えば、ジェスチャ認識部１４０が認識したジェスチャに基づいて、実空間に存在する装置である対象物２０に種々の動作を実行させることができる。 (Operation control unit 150)
The operation control unit 150 according to the present embodiment generates a control signal related to the operation control of the object 20 based on the gesture recognized by the gesture recognition unit 140. The operation control unit 150 according to the present embodiment can cause the object 20, which is a device existing in the real space, to execute various operations based on the gesture recognized by the gesture recognition unit 140, for example.
　また、本実施形態に係る動作制御部１５０は、ジェスチャ認識部１４０が認識したジェスチャに基づいて、仮想オブジェクトである対象物２０の挙動に係る表示制御などを行ってもよい。この場合、動作制御部１５０は、視覚情報を表示する各種のディスプレイ装置を含んで構成されてもよい。 In addition, the operation control unit 150 according to the present embodiment may perform display control or the like related to the behavior of the target 20 which is a virtual object, based on the gesture recognized by the gesture recognition unit 140. In this case, the operation control unit 150 may be configured to include various display devices that display visual information.
　また、動作制御部１５０は、必ずしも対象物２０に係る動作制御のみを行わなくてもよい。本実施形態に係る動作制御部１５０は、例えば、ジェスチャ認識部１４０が認識したジェスチャに基づいて、当該ジェスチャに対応する視覚情報や音情報の出力を制御することも可能である。 In addition, the operation control unit 150 may not necessarily perform only the operation control related to the object 20. The operation control unit 150 according to the present embodiment can also control the output of visual information and sound information corresponding to the gesture based on the gesture recognized by the gesture recognition unit 140, for example.
　（通信部１６０）
　本実施形態に係る通信部１６０は、ネットワーク４０を介して、対象物２０やセンサ装置３０との情報通信を行う機能を有する。具体的には、通信部１６０は、センサ装置３０が収集した種々のセンサ情報を受信する。また、通信部１６０は、動作制御部１５０が生成した制御信号を対象物２０に送信する。また、通信部１６０は、対象物２０から識別情報や対象物２０の傾きに関する情報などを受信してもよい。 (Communication unit 160)
The communication unit 160 according to the present embodiment has a function of performing information communication with the target 20 and the sensor device 30 via the network 40. Specifically, the communication unit 160 receives various sensor information collected by the sensor device 30. The communication unit 160 also transmits the control signal generated by the operation control unit 150 to the object 20. In addition, the communication unit 160 may receive, from the object 20, identification information, information on the tilt of the object 20, and the like.
　以上、本実施形態に係る情報処理装置１０の機能構成について説明した。なお、図３を用いて説明した上記の機能構成はあくまで一例であり、本実施形態に係る情報処理装置１０の機能構成は係る例に限定されない。例えば、本実施形態に係る情報処理装置１０は、ＨＭＤとは分離して備えられるサーバなどであってもよい。この場合、情報処理装置１０は、ネットワーク４０を介してユーザが装着するＨＭＤが取集したセンサ情報を受信することで、ユーザの向きや、当該ユーザの向きに基づくジェスチャ認識を行うことも可能である。本実施形態に係る情報処理装置１０の機能構成は、仕様や運用に応じて柔軟に変更可能である。 The functional configuration of the information processing apparatus 10 according to the present embodiment has been described above. The above-described functional configuration described using FIG. 3 is merely an example, and the functional configuration of the information processing apparatus 10 according to the present embodiment is not limited to such an example. For example, the information processing apparatus 10 according to the present embodiment may be a server provided separately from the HMD. In this case, the information processing apparatus 10 can also perform gesture recognition based on the direction of the user or the direction of the user by receiving sensor information collected by the HMD worn by the user via the network 40. is there. The functional configuration of the information processing apparatus 10 according to the present embodiment can be flexibly changed according to the specification and the operation.
　＜＜１．４．ジェスチャ認識の詳細＞＞
　次に、本実施形態に係るジェスチャ認識部１４０によるジェスチャ認識について詳細に説明する。上述したように、本実施形態に係るジェスチャ認識部１４０は、ユーザ認識部１２０が認識したユーザの向きに基づいてジェスチャ認識に係る空間座標の座標軸を決定することができる。本実施形態に係るジェスチャ認識部１４０が有する上記の機能によれば、視線方向などのユーザの向きが都度変化する場合であっても、ユーザの向きに応じた座標軸を動的に決定することで、常時精度の高いジェスチャ認識を実現することが可能となる。 << 1.4. Gesture recognition details >>
Next, gesture recognition by the gesture recognition unit 140 according to the present embodiment will be described in detail. As described above, the gesture recognition unit 140 according to the present embodiment can determine coordinate axes of space coordinates related to gesture recognition based on the direction of the user recognized by the user recognition unit 120. According to the above-described function of the gesture recognition unit 140 according to the present embodiment, the coordinate axis according to the user's direction is dynamically determined even when the user's direction such as the gaze direction changes each time. It is possible to always realize highly accurate gesture recognition.
　一方、ユーザによるジェスチャは、常にユーザの向きを基準として行われるとは限らない。例えば、図２を用いて説明したように、ユーザが寝そべっている場合などにあっては、立位状態などの通常時における座標軸や対象物２０を基準とした座標軸（すなわち、対象物２０の視点により定義される座標軸）を考慮したジェスチャが行われる場合も想定される。この際、視線方向などのユーザの向きにのみ基づいて、ジェスチャ認識に係る空間座標の座標軸を決定した場合、ユーザが意図するジェスチャを正しく認識できない状況も生じ得る。 On the other hand, the gesture by the user is not always performed based on the orientation of the user. For example, as described with reference to FIG. 2, when the user is lying down, coordinate axes in a normal state such as standing position or coordinate axes based on the object 20 (that is, the viewpoint of the object 20) It is also assumed that a gesture taking into account the coordinate axes defined by. Under the present circumstances, when the coordinate axis of the space coordinate which concerns on gesture recognition is determined based only on a user's direction, such as a gaze direction, the condition where a user does not recognize a gesture which a user intended correctly may arise.
　このため、本実施形態に係るジェスチャ認識部１４０は、ユーザの傾きや対象物２０の傾きに基づいてジェスチャ認識に係る空間座標の座標軸を決定してよい。本実施形態に係るジェスチャ認識部１４０が有する上記の機能によれば、ユーザや対象物２０の状態に応じて動的に上記の座標軸を決定することができ、より精度の高いジェスチャ認識を実現することが可能となる。 Therefore, the gesture recognition unit 140 according to the present embodiment may determine the coordinate axes of the space coordinates related to the gesture recognition based on the tilt of the user or the tilt of the target 20. According to the above-described function of the gesture recognition unit 140 according to the present embodiment, the above-mentioned coordinate axes can be determined dynamically according to the user or the state of the target 20, and gesture recognition with higher accuracy is realized. It becomes possible.
　図４～図６は、ユーザの傾きが閾値未満である場合におけるジェスチャ認識に係る空間座標の座標軸を決定について説明するための図である。本実施形態に係るジェスチャ認識部１４０は、ユーザが立位状態や座位状態である場合など、ユーザの傾きが閾値未満である場合においては、ユーザが予め設定された既定の上下軸と近似する上下軸により空間を認識していると判定し、ユーザの向きに基づく座標軸の決定を行う。なお、立位状態や座位状態は、ユーザの傾きを判定するための基準状態（基準姿勢）として見做されてよい。この場合、既定の座標軸は、重力方向（実空間における垂直方向）に実質的に平行な軸と、当該軸に垂直な方向（水平方向）に実質的に平行な軸のうち、少なくとも一方を含み得る。 FIGS. 4 to 6 are diagrams for explaining determination of coordinate axes of space coordinates related to gesture recognition when the inclination of the user is less than the threshold. When the inclination of the user is less than a threshold, such as when the user is standing or sitting, the gesture recognition unit 140 according to the present embodiment is an upper and lower axis that approximates a predetermined upper and lower axis set in advance by the user. It is determined that the space is recognized by the axis, and the coordinate axis is determined based on the direction of the user. The standing position and the sitting position may be regarded as a reference state (reference posture) for determining the inclination of the user. In this case, the predetermined coordinate axis includes at least one of an axis substantially parallel to the gravity direction (vertical direction in real space) and an axis substantially parallel to the direction perpendicular to the axis (horizontal direction). obtain.
　この際、本実施形態に係るジェスチャ認識部１４０は、ユーザ認識部１２０が検出したユーザの向きに基づいて決定した上下軸と、既定の座標軸における上下軸との差に基づいてユーザの傾きを算出してもよい。例えば、ジェスチャ認識部１４０は、ユーザの向きに基づいて決定した上下軸と、実空間における垂直方向との差に基づいて、ユーザの傾きを算出し得る。このように、上記既定の座標軸における上下軸は、実空間における垂直方向に実質的に平行な軸であってよい。なお、ユーザの向きや傾きは、対象物２０やセンサ装置３０により取得された情報であってもよい。この場合、ジェスチャ認識部１４０は、対象物２０やセンサ装置３０から受信した上記の情報に基づいて、ジェスチャ認識に係る空間座標の座標軸を決定することができる。 At this time, the gesture recognition unit 140 according to the present embodiment calculates the inclination of the user based on the difference between the vertical axis determined based on the orientation of the user detected by the user recognition unit 120 and the vertical axis in the default coordinate axis. You may For example, the gesture recognition unit 140 can calculate the inclination of the user based on the difference between the vertical axis determined based on the direction of the user and the vertical direction in the real space. Thus, the upper and lower axes in the predetermined coordinate axes may be axes substantially parallel to the vertical direction in real space. The direction or inclination of the user may be information acquired by the object 20 or the sensor device 30. In this case, the gesture recognition unit 140 can determine the coordinate axes of the space coordinates related to the gesture recognition based on the above information received from the object 20 or the sensor device 30.
　図４には、ロボットである対象物２０とユーザＵとが直立した状態において、ユーザＵが対象物２０に対してジェスチャを行う場合の例が示されている。この際、ジェスチャ認識部１４０は、まず、ユーザＵの視線方向ＳＤに基づいてユーザの上下軸ＵＳを決定する。ジェスチャ認識部１４０は、例えば、視線方向ＳＤから検出されるユーザＵの視野において上下方向に垂直に延長する法線ベクトルに基づいて上下軸ＵＳを決定してもよい。 FIG. 4 shows an example in which the user U makes a gesture on the object 20 in a state where the object 20 which is a robot and the user U stand upright. At this time, the gesture recognition unit 140 first determines the vertical axis US of the user based on the gaze direction SD of the user U. The gesture recognition unit 140 may determine the upper and lower axes US based on, for example, a normal vector extending perpendicularly to the vertical direction in the field of view of the user U detected from the gaze direction SD.
　続いて、ジェスチャ認識部１４０は、実空間における垂直方向など、既定の座標軸における上下軸と決定したユーザＵの上下軸ＵＳとの差を算出する。ここで、算出した上記の差が閾値未満である場合、ジェスチャ認識部１４０は、ユーザの視線方向ＳＤに基づいて決定した上下軸ＵＳ、左右軸、および前後軸を有する座標軸を用いて、ジェスチャ方向ＭＤを認識してよい。なお、上記の閾値は例えば、４５°としてもよい。ユーザＵの傾きが４５°未満である場合、ユーザＵは、既定の座標軸と類似する座標軸で空間を認識していることが想定される。 Subsequently, the gesture recognition unit 140 calculates the difference between the vertical axis in a predetermined coordinate axis, such as the vertical direction in real space, and the vertical axis US of the determined user U. Here, when the calculated difference is less than the threshold value, the gesture recognition unit 140 uses the coordinate axis having the vertical axis US, the horizontal axis, and the longitudinal axis determined based on the user's gaze direction SD, and makes the gesture direction. You may recognize MD. The above threshold may be, for example, 45 °. If the inclination of the user U is less than 45 °, it is assumed that the user U recognizes space with coordinate axes similar to the predefined coordinate axes.
　また、図５に示す一例では、対象物２０がユーザＵよりも上方に位置する場合の例が示されている。この際、ユーザＵの視線方向ＳＤは、図示するように、実空間における水平方向よりも上方を向くこととなる。しかし、視線方向ＳＤに基づいて決定されるユーザの上下軸ＵＳと既定の座標軸における上下軸との差は、図４の場合と同様に、閾値（例えば、４５°）未満であることがわかる。このため、ジェスチャ認識部１４０は、視線方向ＳＤに基づいてジェスチャ認識に係る空間座標の座標軸を決定することで、当該座標軸に基づいてユーザのジェスチャ方向ＭＤを正しく認識することができる。 Moreover, in the example shown in FIG. 5, the example in case the target object 20 is located above the user U is shown. At this time, the line of sight SD of the user U is directed upward as compared to the horizontal direction in the real space, as illustrated. However, it is understood that the difference between the user's vertical axis US determined based on the gaze direction SD and the vertical axis in the predetermined coordinate axis is less than a threshold (for example, 45 °) as in the case of FIG. For this reason, the gesture recognition unit 140 can correctly recognize the user's gesture direction MD based on the coordinate axis by determining the coordinate axis of the space coordinate related to the gesture recognition based on the gaze direction SD.
　このように、ユーザの上下軸ＵＳと既定の上下軸との差が閾値未満であり、また、対象物２０の頭頂方向などから定義される対象物２０の上下軸ＴＳから対象物２０の傾きが閾値未満であると判定された場合、ジェスチャ認識部１４０は、ユーザＵと対象物２０が類似する上下軸を共有していると判定し、ユーザＵの向きに基づく座標軸を用いてジェスチャの認識を実行する。 Thus, the difference between the user's vertical axis US and the predetermined vertical axis is less than the threshold, and the tilt of the target 20 from the vertical axis TS of the target 20 defined from the top of the head of the target 20 etc. If it is determined that it is less than the threshold, the gesture recognition unit 140 determines that the user U and the object 20 share similar upper and lower axes, and recognizes a gesture using a coordinate axis based on the direction of the user U. Run.
　本実施形態に係るジェスチャ認識部１４０が有する上記の機能によれば、視線方向ＳＤなどのユーザＵの向きに基づいて、ジェスチャの認識に係る座標軸を動的に決定することができ、より精度の高いジェスチャ認識を実現することが可能となる。 According to the above-described function of the gesture recognition unit 140 according to the present embodiment, the coordinate axis related to the recognition of the gesture can be dynamically determined based on the direction of the user U such as the line of sight direction SD. It is possible to realize high gesture recognition.
　また、図６には、ユーザＵが立位状態であり、かつ対象物２０が寝そべっている状態において、ユーザＵが対象物２０に対しジェスチャを行う場合の例が示されている。 Further, FIG. 6 shows an example in which the user U makes a gesture on the object 20 while the user U is in the standing position and the object 20 is lying down.
　この際、ユーザＵの視線方向ＳＤは、図示するように、実空間における水平方向よりも下方を向くこととなる。しかし、視線方向ＳＤに基づいて決定されるユーザの上下軸ＵＳと既定の座標軸における上下軸との差は、図４や図５の場合と同様に、閾値（例えば、４５°）未満であることがわかる。この際、ジェスチャ認識部は、視線方向ＳＤに基づいてジェスチャ認識に係る空間座標の座標軸を決定し、当該座標軸に基づいてユーザのジェスチャ方向ＭＤを認識してよい。 At this time, the viewing direction SD of the user U is directed downward as compared to the horizontal direction in the real space, as illustrated. However, the difference between the user's vertical axis US determined based on the gaze direction SD and the vertical axis in the predetermined coordinate axis is less than a threshold (for example, 45 °) as in the case of FIG. 4 and FIG. I understand. At this time, the gesture recognition unit may determine coordinate axes of space coordinates related to gesture recognition based on the gaze direction SD, and may recognize the gesture direction MD of the user based on the coordinate axes.
　このように、対象物２０の傾きのみが閾値を超える場合、ユーザＵは、自身の向きを基準としてジェスチャを行うことが想定される。このため、ユーザＵの傾きが閾値未満である場合においては、ユーザの向きに基づいて決定した座標軸を用いて認識を行うことで、ユーザＵが意図するジェスチャを精度高く認識する効果が期待される。 Thus, when only the tilt of the object 20 exceeds the threshold, it is assumed that the user U makes a gesture based on his / her direction. Therefore, when the inclination of the user U is less than the threshold, by performing recognition using a coordinate axis determined based on the direction of the user, an effect of accurately recognizing a gesture intended by the user U is expected. .
　続いて、ユーザＵの傾きが閾値以上である場合を考察する。図７および図８は、ユーザの傾きが閾値以上である場合におけるジェスチャ認識に係る空間座標の座標軸を決定について説明するための図である。図７には、ユーザＵが寝そべっている状態であり、かつ対象物２０が立位状態である場合において、ユーザＵが対象物２０に対しジェスチャを行う場合の例が示されている。 Subsequently, a case where the inclination of the user U is equal to or more than a threshold will be considered. FIGS. 7 and 8 are diagrams for explaining determination of coordinate axes of space coordinates related to gesture recognition when the inclination of the user is equal to or greater than a threshold. FIG. 7 shows an example where the user U makes a gesture on the object 20 when the user U is lying down and the object 20 is in the standing position.
　この際、ユーザＵの上下軸ＵＳと既定の上下軸との差は、図示するように、閾値以上となる。このような場合、ユーザＵは、立位状態などの通常時における上下軸や対象物２０の上下軸ＴＳを考慮したジェスチャを行われる場合も想定される。このため、本実施形態に係るジェスチャ認識部１４０は、ユーザＵの傾きが閾値以上である場合、対象物２０の傾きに基づいてジェスチャ認識に係る空間座標の座標軸を決定してもよい。図７に示す一例の場合、対象物２０の上下軸ＴＳと既定の座標軸との差が閾値未満であることから、ジェスチャ認識部１４０は、既定の上下軸を基準とした座標軸を決定し、当該座標軸に基づいて、ジェスチャ方向ＭＤを認識することができる。また、この際、ジェスチャ認識部１４０は、対象物２０の上下軸ＴＳを基準とした座標軸に基づいてジェスチャ方向ＭＤを認識してもよい。 At this time, the difference between the vertical axis US of the user U and the predetermined vertical axis is equal to or more than the threshold as illustrated. In such a case, it is also assumed that the user U performs a gesture in consideration of the vertical axis in the normal state such as the standing state or the vertical axis TS of the object 20. For this reason, the gesture recognition unit 140 according to the present embodiment may determine the coordinate axes of the space coordinates related to the gesture recognition based on the tilt of the object 20 when the tilt of the user U is equal to or greater than the threshold. In the example shown in FIG. 7, since the difference between the vertical axis TS of the object 20 and the predetermined coordinate axis is less than the threshold, the gesture recognition unit 140 determines the coordinate axis based on the predetermined vertical axis, The gesture direction MD can be recognized based on the coordinate axes. At this time, the gesture recognition unit 140 may recognize the gesture direction MD based on a coordinate axis based on the vertical axis TS of the object 20.
　本実施形態に係るジェスチャ認識部１４０が有する上記の機能によれば、ユーザＵの傾きに応じて変化するジェスチャ方向の変化を正しく認識することが可能となり、ユーザの状態に応じた精度の高いジェスチャ認識を実現することができる。 According to the above-described function of the gesture recognition unit 140 according to the present embodiment, it becomes possible to correctly recognize a change in the gesture direction that changes according to the inclination of the user U, and a gesture with high accuracy according to the user's state Recognition can be realized.
　一方、図８には、ユーザＵと対象物２０とが共に寝そべっている状態において、ユーザＵが対象物２０に対しジェスチャを行う場合の例が示されている。この際、ユーザＵは、対象物２０の上下軸ＴＳと近似の上下軸ＵＳを有することから、自身の上下軸ＵＳを基準としたジェスチャを行うことが想定される。 On the other hand, FIG. 8 shows an example of the case where the user U makes a gesture on the object 20 while both the user U and the object 20 are lying down. At this time, since the user U has the upper and lower axes US similar to the upper and lower axes TS of the object 20, it is assumed that the user U performs a gesture based on the upper and lower axes US.
　このため、図示するように、ユーザＵの傾きが閾値以上であり、かつ対象物２０の傾きが閾値以上である場合、ジェスチャ認識部１４０は、ユーザＵの視線方向ＳＤに基づいてジェスチャ認識に係る空間座標の座標軸を決定してよい。 Therefore, as illustrated, when the tilt of the user U is equal to or greater than the threshold and the tilt of the target 20 is equal to or greater than the threshold, the gesture recognition unit 140 relates to gesture recognition based on the gaze direction SD of the user U. Coordinate axes of space coordinates may be determined.
　本実施形態に係るジェスチャ認識部１４０が有する上記の機能によれば、ユーザＵが傾いている状態であっても、対象物２０がユーザＵと近似の上下軸ＴＳを有する場合にあっては、ユーザＵが自身の上下軸ＵＳを基準とするジェスチャを行うことを想定し、当該ジェスチャを精度高く認識することが可能となる。 According to the above-described function of the gesture recognition unit 140 according to the present embodiment, even when the user U is inclined, in the case where the target 20 has the vertical axis TS similar to the user U, Assuming that the user U performs a gesture based on the vertical axis US of itself, it is possible to recognize the gesture with high accuracy.
　＜＜１．５．動作の流れ＞＞
　次に、本実施形態に係る情報処理装置１０の動作の流れについて詳細に説明する。図９は、本実施形態に係る情報処理装置１０の動作の流れを示すフローチャートである。 << 1.5. Flow of operation >>
Next, the flow of the operation of the information processing apparatus 10 according to the present embodiment will be described in detail. FIG. 9 is a flowchart showing the flow of the operation of the information processing apparatus 10 according to the present embodiment.
　図９を参照すると、ジェスチャ認識部１４０により、ジェスチャ認識に係るプログラムの終了判定が行われる（Ｓ１１０１）。この際、ジェスチャ認識部１４０は、例えば、ユーザによるプログラムの終了指示が入力されたことに基づいて、上記の判定を行ってもよい。 Referring to FIG. 9, the gesture recognition unit 140 determines whether the program related to gesture recognition has ended (S1101). At this time, the gesture recognition unit 140 may perform the above determination, for example, based on the user's input of the program end instruction.
　ここで、ジェスチャ認識部１４０がプログラムの終了を判定した場合（Ｓ１１０１：ＹＥＳ）、情報処理装置１０は、ジェスチャ認識に係る処理を終了する。 Here, when the gesture recognition unit 140 determines the end of the program (S1101: YES), the information processing apparatus 10 ends the process relating to the gesture recognition.
　一方、ジェスチャ認識部１４０がプログラムの続行を判定した場合（Ｓ１１０１：ＮＯ）、ユーザ認識部１２０は、ユーザの向きを検出する（Ｓ１１０２）。この際、ユーザ認識部１２０は、センサ部１１０やセンサ装置３０が収集したセンサ情報に基づいてユーザの向きを検出することができる。なお、上述したように、本実施形態に係るユーザの向きは、ユーザの視線方向を含む。 On the other hand, when the gesture recognition unit 140 determines to continue the program (S1101: NO), the user recognition unit 120 detects the direction of the user (S1102). At this time, the user recognition unit 120 can detect the direction of the user based on the sensor information collected by the sensor unit 110 or the sensor device 30. As described above, the direction of the user according to the present embodiment includes the direction of the user's line of sight.
　次に、ジェスチャ認識部１４０は、ステップＳ１１０２においてユーザ認識部１２０が検出したユーザの向きに基づいて、ユーザの傾きθ１を算出する（Ｓ１１０３）。この際、ジェスチャ認識部１４０は、例えば、ユーザの向きに基づいて決定した上下軸と既定の上下軸との差からユーザの傾きθ１を算出してもよい。 Next, the gesture recognition unit 140 calculates the inclination θ1 of the user based on the direction of the user detected by the user recognition unit 120 in step S1102 (S1103). At this time, the gesture recognition unit 140 may calculate, for example, the inclination θ1 of the user from the difference between the vertical axis determined based on the direction of the user and the predetermined vertical axis.
　続いて、ジェスチャ認識部１４０は、ステップＳ１１０３において算出したユーザの傾きθ１が閾値（例えば、４５°）以上であるか否かを判定する（Ｓ１１０４）。 Subsequently, the gesture recognition unit 140 determines whether the inclination θ1 of the user calculated in step S1103 is equal to or greater than a threshold (for example, 45 °) (S1104).
　ここで、ユーザの傾きθ１が閾値以上である場合（Ｓ１１０４：ＹＥＳ）、対象認識部１３０が対象物２０の傾きθ２を算出する（Ｓ１１０５）。この際、対象認識部１３０は、例えば、対象物２０ごとに定められた基準の上下軸と、対象物２０の状態に応じて検出した上下軸との差に基づいて、対象物２０の傾きθ２を算出してもよい。また、対象物２０の傾きθ２は、ジェスチャ認識部１４０により算出されてもよい。 Here, when the inclination θ1 of the user is equal to or more than the threshold (S1104: YES), the object recognition unit 130 calculates the inclination θ2 of the object 20 (S1105). At this time, the object recognition unit 130 determines, for example, the inclination θ2 of the object 20 based on the difference between the reference upper and lower axes determined for each object 20 and the upper and lower axes detected according to the state of the object 20. May be calculated. In addition, the inclination θ2 of the object 20 may be calculated by the gesture recognition unit 140.
　次に、ジェスチャ認識部１４０は、ステップＳ１１０５において対象認識部１３０が算出した対象物２０の傾きθ２が閾値（例えば、４５°）以上であるか否かを判定する（Ｓ１１０６）。 Next, the gesture recognition unit 140 determines whether the inclination θ2 of the object 20 calculated by the object recognition unit 130 in step S1105 is equal to or greater than a threshold (for example, 45 °) (S1106).
　ここで、対象物２０の傾きθ２が閾値未満である場合（Ｓ１１０６：ＮＯ）、ジェスチャ認識部１４０は、予め設定された既定の座標軸を維持する。 Here, when the inclination θ2 of the object 20 is less than the threshold (S1106: NO), the gesture recognition unit 140 maintains a predetermined coordinate axis set in advance.
　一方、ユーザの傾きθ１が閾値未満である場合（Ｓ１１０４：ＮＯ）や、ユーザの傾きθ１が閾値以上であり、かつ対象物２０の傾きθ２が閾値以上である場合（Ｓ１１０６：ＹＥＳ）、ジェスチャ認識部１４０は、ステップＳ１１０２においてユーザ認識部１２０が検出したユーザの向きに基づいて、ジェスチャ認識に係る空間座標の座標軸を決定する（Ｓ１１０７）。 On the other hand, when the inclination θ1 of the user is less than the threshold (S1104: NO) or when the inclination θ1 of the user is equal to or more than the threshold and the inclination θ2 of the object 20 is equal to or more than the threshold (S1106: YES), gesture recognition The unit 140 determines the coordinate axes of the space coordinates related to gesture recognition based on the direction of the user detected by the user recognition unit 120 in step S1102 (S1107).
　続いて、ジェスチャ認識部１４０は、既定の座標軸またはステップＳ１１０７において新たに決定した座標軸に基づいてジェスチャ認識を実行する（Ｓ１１０８）。 Subsequently, the gesture recognition unit 140 executes gesture recognition based on the predetermined coordinate axis or the coordinate axis newly determined in step S1107 (S1108).
　次に、動作制御部１５０が、ステップＳ１１０８においてジェスチャ認識部１４０が認識したジェスチャに基づいて対象物２０などの動作制御に係る制御信号を生成し、当該ジェスチャに基づく動作制御が実行させる（Ｓ１１０９）。 Next, the operation control unit 150 generates a control signal related to the operation control of the object 20 or the like based on the gesture recognized by the gesture recognition unit 140 in step S1108, and causes the operation control based on the gesture to be executed (S1109) .
　＜２．ハードウェア構成例＞
　次に、本開示の一実施形態に係る情報処理装置１０のハードウェア構成例について説明する。図１０は、本開示の一実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。図１０を参照すると、情報処理装置１０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。 <2. Hardware configuration example>
Next, a hardware configuration example of the information processing apparatus 10 according to an embodiment of the present disclosure will be described. FIG. 10 is a block diagram showing an example of the hardware configuration of the information processing apparatus 10 according to an embodiment of the present disclosure. Referring to FIG. 10, the information processing apparatus 10 includes, for example, a CPU 871, a ROM 872, a RAM 873, a host bus 874, a bridge 875, an external bus 876, an interface 877, an input device 878, and an output device 879. , Storage 880, drive 881, connection port 882, and communication device 883. Note that the hardware configuration shown here is an example, and some of the components may be omitted. In addition, components other than the components shown here may be further included.
　（ＣＰＵ８７１）
　ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。 (CPU 871)
The CPU 871 functions as, for example, an arithmetic processing unit or a control unit, and controls the overall operation or a part of each component based on various programs recorded in the ROM 872, the RAM 873, the storage 880, or the removable recording medium 901.
　（ＲＯＭ８７２、ＲＡＭ８７３）
　ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。 (ROM 872, RAM 873)
The ROM 872 is a means for storing a program read by the CPU 871, data used for an operation, and the like. The RAM 873 temporarily or permanently stores, for example, a program read by the CPU 871 and various parameters appropriately changed when the program is executed.
　（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
　ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。 (Host bus 874, bridge 875, external bus 876, interface 877)
The CPU 871, the ROM 872, and the RAM 873 are mutually connected via, for example, a host bus 874 capable of high-speed data transmission. On the other hand, host bus 874 is connected to external bus 876, which has a relatively low data transmission speed, via bridge 875, for example. Also, the external bus 876 is connected to various components via an interface 877.
　（入力装置８７８）
　入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。 (Input device 878)
For the input device 878, for example, a mouse, a keyboard, a touch panel, a button, a switch, a lever, and the like are used. Furthermore, as the input device 878, a remote controller (hereinafter, remote control) capable of transmitting a control signal using infrared rays or other radio waves may be used. The input device 878 also includes a voice input device such as a microphone.
　（出力装置８７９）
　出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置８７９は、触覚刺激を出力することが可能な種々の振動デバイスを含む。 (Output device 879)
The output device 879 is a display device such as a CRT (Cathode Ray Tube), an LCD, or an organic EL, a speaker, an audio output device such as a headphone, a printer, a mobile phone, or a facsimile. It is a device that can be notified visually or aurally. Also, the output device 879 according to the present disclosure includes various vibration devices capable of outputting haptic stimulation.
　（ストレージ８８０）
　ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。 (Storage 880)
The storage 880 is a device for storing various data. As the storage 880, for example, a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like is used.
　（ドライブ８８１）
　ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。 (Drive 881)
The drive 881 is a device that reads information recorded on a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, or writes information on the removable recording medium 901, for example.
　（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ　ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。 (Removable recording medium 901)
The removable recording medium 901 is, for example, DVD media, Blu-ray (registered trademark) media, HD DVD media, various semiconductor storage media, and the like. Of course, the removable recording medium 901 may be, for example, an IC card equipped with a non-contact IC chip, an electronic device, or the like.
　（接続ポート８８２）
　接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。 (Connection port 882)
The connection port 882 is, for example, a port for connecting an externally connected device 902 such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
　（外部接続機器９０２）
　外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。 (Externally connected device 902)
The external connection device 902 is, for example, a printer, a portable music player, a digital camera, a digital video camera, an IC recorder, or the like.
　（通信装置８８３）
　通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。 (Communication device 883)
The communication device 883 is a communication device for connecting to a network. For example, a communication card for wired or wireless LAN, Bluetooth (registered trademark) or WUSB (Wireless USB), a router for optical communication, ADSL (Asymmetric Digital) (Subscriber Line) router, or modem for various communications.
　＜３．まとめ＞
　以上説明したように、本開示の一実施形態に係る情報処理方法を実現する情報処理装置１０は、検出されたユーザの動作に基づいてジェスチャを認識する機能を有する。この際、情報処理装置１０は、検出したユーザの向きに基づいて、ジェスチャの認識に係る空間座標の座標軸を決定することを特徴の一つとする。また、情報処理装置１０は、認識したジェスチャに基づいてジェスチャの対象物２０の動作制御に係る制御信号を生成する機能を有する。係る構成によれば、より精度の高いジェスチャ認識を実現することが可能となる。 <3. Summary>
As described above, the information processing apparatus 10 that implements the information processing method according to an embodiment of the present disclosure has a function of recognizing a gesture based on a detected user's operation. At this time, the information processing apparatus 10 has a feature of determining the coordinate axes of the space coordinates related to the recognition of the gesture based on the detected orientation of the user. In addition, the information processing apparatus 10 has a function of generating a control signal related to the operation control of the object 20 of the gesture based on the recognized gesture. According to such a configuration, it is possible to realize more accurate gesture recognition.
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。 The preferred embodiments of the present disclosure have been described in detail with reference to the accompanying drawings, but the technical scope of the present disclosure is not limited to such examples. It will be apparent to those skilled in the art of the present disclosure that various modifications and alterations can be conceived within the scope of the technical idea described in the claims. It is naturally understood that the technical scope of the present disclosure is also included.
　例えば、上記実施形態では、情報処理装置１０がユーザの向きに基づいて、３次元空間における座標軸を決定する場合を中心に述べた。しかし、本技術は係る例に限定されない。本開示の一実施形態に係る情報処理装置１０は、２次元空間における座標軸を決定し、当該座標軸に基づくジェスチャ認識を行ってもよい。 For example, in the above embodiment, the case where the information processing apparatus 10 determines the coordinate axes in the three-dimensional space based on the direction of the user has been mainly described. However, the present technology is not limited to such an example. The information processing apparatus 10 according to an embodiment of the present disclosure may determine coordinate axes in a two-dimensional space, and perform gesture recognition based on the coordinate axes.
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。 In addition, the effects described in the present specification are merely illustrative or exemplary, and not limiting. That is, the technology according to the present disclosure can exhibit other effects apparent to those skilled in the art from the description of the present specification, in addition to or instead of the effects described above.
　また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、情報処理装置１０が有する構成と同等の機能を発揮させるためのプログラムも作成可能であり、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。 In addition, it is possible to create a program for causing hardware such as CPU, ROM and RAM built in the computer to exhibit the same function as the configuration of the information processing apparatus 10, and reading the program in which the program is recorded Possible recording media may also be provided.
　また、本明細書の情報処理装置１０の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、情報処理装置１０の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。 Further, each step related to the process of the information processing apparatus 10 in the present specification does not necessarily have to be processed in time series in the order described in the flowchart. For example, each step relating to the processing of the information processing apparatus 10 may be processed in an order different from the order described in the flowchart or may be processed in parallel.
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ユーザの動作に基づいてジェスチャを認識するジェスチャ認識部と、
　前記認識されたジェスチャに基づいて、前記ジェスチャによる操作対象物の動作制御に係る制御信号を生成する動作制御部と、
　を備え、
　前記ジェスチャ認識部は、前記ユーザの向きに基づいて、前記ジェスチャの認識に係る空間座標の座標軸を決定する、
情報処理装置。
（２）
　前記ジェスチャ認識部は、前記ユーザの向きに基づいて前記座標軸における前後軸、左右軸、および上下軸を決定し、前記座標軸における前記ユーザの動作に基づいて、前記ジェスチャを認識する、
前記（１）に記載の情報処理装置。
（３）
　前記ユーザの向きは、前記ユーザの視線方向を含み、
　前記ジェスチャ認識部は、前記ユーザの視線方向に基づいて前記座標軸を決定する、
前記（１）または（２）に記載の情報処理装置。
（４）
　前記ユーザの視線方向は、前記ユーザの眼球運動に基づいて検出される、
前記（３）に記載の情報処理装置。
（５）
　前記ユーザの視線方向は、前記ユーザが頭部に装着する装着端末の向きに基づいて検出される、
前記（３）または（４）に記載の情報処理装置。
（６）
　前記ユーザの向きは、前記ユーザと前記操作対象物との相対位置に基づいて検出される、
前記（１）～（５）のいずれかに記載の情報処理装置。
（７）
　前記ジェスチャ認識部は、基準軸に対する前記ユーザの傾きに基づいて前記座標軸を決定する、
前記（１）～（６）のいずれかに記載の情報処理装置。
（８）
　前記ジェスチャ認識部は、前記ユーザの傾きが閾値未満である場合、前記ユーザの向きに基づいて前記座標軸を決定する、
前記（７）に記載の情報処理装置。
（９）
　前記ジェスチャ認識部は、前記ユーザの傾きが閾値以上である場合、前記基準軸に対する前記操作対象物の傾きに基づいて前記座標軸を決定する、
前記（７）または（８）に記載の情報処理装置。
（１０）
　前記ジェスチャ認識部は、前記基準軸に対する前記操作対象物の傾きに基づいて前記座標軸を決定する、
前記（７）～（９）のいずれかに記載の情報処理装置。
（１１）
　前記ジェスチャ認識部は、前記ユーザの傾きが閾値以上であり、かつ前記基準軸に対する前記操作対象物の傾きが閾値以上である場合、前記ユーザの向きに基づいて前記座標軸を決定する、
前記（７）～（１０）のいずれかに記載の情報処理装置。
（１２）
　前記ジェスチャ認識部は、前記ユーザの傾きが閾値以上であり、かつ前記基準軸に対する前記操作対象物の傾きが閾値未満である場合、前記基準軸を、前記ジェスチャの認識に係る空間座標の座標軸として決定することで前記ジェスチャを認識する、
前記（７）～（１１）のいずれかに記載の情報処理装置。
（１３）
　前記ジェスチャ認識部は、前記ユーザの向きに基づいて決定した上下軸と前記基準軸との差に基づいて前記ユーザの傾きを算出する、
前記（７）～（１２）のいずれかに記載の情報処理装置。
（１４）
　前記基準軸は、実空間における垂直方向に実質的に平行な軸である、
前記（１３）に記載の情報処理装置。
（１５）
　前記ユーザの向きを検出する方向検出部、
　をさらに含む、
前記（１）～（１４）のいずれかに記載の情報処理装置。
（１６）
　前記ユーザが頭部に装着する装着端末である、
前記（１）～（１５）のいずれかに記載の情報処理装置。
（１７）
　プロセッサが、ユーザの動作に基づいてジェスチャを認識することと、
　前記認識されたジェスチャに基づいて、前記ジェスチャによる操作対象物の動作制御に係る制御信号を生成することと、
　を含み、
　前記認識することは、前記ユーザの向きに基づいて、前記ジェスチャの認識に係る空間座標の座標軸を決定すること、
　をさらに含む、
情報処理方法。
（１８）
　コンピュータを、
　ユーザの動作に基づいてジェスチャを認識するジェスチャ認識部と、
　前記認識されたジェスチャに基づいて、前記ジェスチャによる操作対象物の動作制御に係る制御信号を生成する動作制御部と、
　を備え、
　前記ジェスチャ認識部は、前記ユーザの向きに基づいて、前記ジェスチャの認識に係る空間座標の座標軸を決定する、
　情報処理装置、
として機能させるためのプログラム。 The following configurations are also within the technical scope of the present disclosure.
(1)
A gesture recognition unit that recognizes a gesture based on a user's operation;
A motion control unit that generates a control signal related to motion control of the operation target based on the gesture based on the recognized gesture;
Equipped with
The gesture recognition unit determines a coordinate axis of space coordinates related to recognition of the gesture based on an orientation of the user.
Information processing device.
(2)
The gesture recognition unit determines a longitudinal axis, a horizontal axis, and a vertical axis in the coordinate axes based on the direction of the user, and recognizes the gesture based on the user's motion in the coordinate axes.
The information processing apparatus according to (1).
(3)
The orientation of the user includes the viewing direction of the user,
The gesture recognition unit determines the coordinate axis based on a gaze direction of the user.
The information processing apparatus according to (1) or (2).
(4)
The gaze direction of the user is detected based on eye movement of the user,
The information processing apparatus according to (3).
(5)
The gaze direction of the user is detected based on the orientation of the wearing terminal worn by the user on the head,
The information processing apparatus according to (3) or (4).
(6)
The orientation of the user is detected based on the relative position of the user and the operation object.
The information processing apparatus according to any one of the above (1) to (5).
(7)
The gesture recognition unit determines the coordinate axis based on an inclination of the user with respect to a reference axis.
The information processing apparatus according to any one of the above (1) to (6).
(8)
The gesture recognition unit determines the coordinate axis based on the orientation of the user when the inclination of the user is less than a threshold.
The information processing apparatus according to (7).
(9)
The gesture recognition unit determines the coordinate axis based on the inclination of the operation target with respect to the reference axis when the inclination of the user is equal to or greater than a threshold.
The information processing apparatus according to (7) or (8).
(10)
The gesture recognition unit determines the coordinate axis based on the inclination of the operation object with respect to the reference axis.
The information processing apparatus according to any one of the above (7) to (9).
(11)
The gesture recognition unit determines the coordinate axis based on the direction of the user when the inclination of the user is equal to or greater than a threshold and the inclination of the operation target with respect to the reference axis is equal to or greater than a threshold.
The information processing apparatus according to any one of the above (7) to (10).
(12)
When the inclination of the user is equal to or greater than a threshold and the inclination of the operation target with respect to the reference axis is less than the threshold, the gesture recognition unit uses the reference axis as a coordinate axis of space coordinates related to recognition of the gesture. Recognize the gesture by making a decision
The information processing apparatus according to any one of the above (7) to (11).
(13)
The gesture recognition unit calculates the inclination of the user based on the difference between the vertical axis determined based on the direction of the user and the reference axis.
The information processing apparatus according to any one of the above (7) to (12).
(14)
The reference axis is an axis substantially parallel to the vertical direction in real space,
The information processing apparatus according to (13).
(15)
A direction detection unit that detects the direction of the user;
Further include,
The information processing apparatus according to any one of the above (1) to (14).
(16)
A mounting terminal that the user wears on the head,
The information processing apparatus according to any one of the above (1) to (15).
(17)
The processor recognizes a gesture based on the user's action;
Generating a control signal related to motion control of the operation target by the gesture based on the recognized gesture;
Including
The recognition may include determining coordinate axes of space coordinates related to recognition of the gesture based on an orientation of the user.
Further include,
Information processing method.
(18)
Computer,
A gesture recognition unit that recognizes a gesture based on a user's operation;
A motion control unit that generates a control signal related to motion control of the operation target based on the gesture based on the recognized gesture;
Equipped with
The gesture recognition unit determines a coordinate axis of space coordinates related to recognition of the gesture based on an orientation of the user.
Information processing device,
Program to function as.
　１０　　　情報処理装置
　１１０　　センサ部
　１２０　　ユーザ認識部
　１３０　　対象認識部
　１４０　　ジェスチャ認識部
　１５０　　動作制御部
　１６０　　通信部
　２０　　　対象物
　３０　　　センサ装置 REFERENCE SIGNS LIST 10 information processing apparatus 110 sensor unit 120 user recognition unit 130 object recognition unit 140 gesture recognition unit 150 operation control unit 160 communication unit 20 object 30 sensor device

Claims (18)

  1. 　ユーザの動作に基づいてジェスチャを認識するジェスチャ認識部と、
    　前記認識されたジェスチャに基づいて、前記ジェスチャによる操作対象物の動作制御に係る制御信号を生成する動作制御部と、
    　を備え、
    　前記ジェスチャ認識部は、前記ユーザの向きに基づいて、前記ジェスチャの認識に係る空間座標の座標軸を決定する、
    情報処理装置。     A gesture recognition unit that recognizes a gesture based on a user's operation;
    A motion control unit that generates a control signal related to motion control of the operation target based on the gesture based on the recognized gesture;
    Equipped with
    The gesture recognition unit determines a coordinate axis of space coordinates related to recognition of the gesture based on an orientation of the user.
    Information processing device.
  2. 　前記ジェスチャ認識部は、前記ユーザの向きに基づいて前記座標軸における前後軸、左右軸、および上下軸を決定し、前記座標軸における前記ユーザの動作に基づいて、前記ジェスチャを認識する、
    請求項１に記載の情報処理装置。     The gesture recognition unit determines a longitudinal axis, a horizontal axis, and a vertical axis in the coordinate axes based on the direction of the user, and recognizes the gesture based on the user's motion in the coordinate axes.
    An information processing apparatus according to claim 1.
  3. 　前記ユーザの向きは、前記ユーザの視線方向を含み、
    　前記ジェスチャ認識部は、前記ユーザの視線方向に基づいて前記座標軸を決定する、
    請求項１に記載の情報処理装置。     The orientation of the user includes the viewing direction of the user,
    The gesture recognition unit determines the coordinate axis based on a gaze direction of the user.
    An information processing apparatus according to claim 1.
  4. 　前記ユーザの視線方向は、前記ユーザの眼球運動に基づいて検出される、
    請求項３に記載の情報処理装置。     The gaze direction of the user is detected based on eye movement of the user,
    The information processing apparatus according to claim 3.
  5. 　前記ユーザの視線方向は、前記ユーザが頭部に装着する装着端末の向きに基づいて検出される、
    請求項３に記載の情報処理装置。     The gaze direction of the user is detected based on the orientation of the wearing terminal worn by the user on the head,
    The information processing apparatus according to claim 3.
  6. 　前記ユーザの向きは、前記ユーザと前記操作対象物との相対位置に基づいて検出される、
    請求項１に記載の情報処理装置。     The orientation of the user is detected based on the relative position of the user and the operation object.
    An information processing apparatus according to claim 1.
  7. 　前記ジェスチャ認識部は、基準軸に対する前記ユーザの傾きに基づいて前記座標軸を決定する、
    請求項１に記載の情報処理装置。     The gesture recognition unit determines the coordinate axis based on an inclination of the user with respect to a reference axis.
    An information processing apparatus according to claim 1.
  8. 　前記ジェスチャ認識部は、前記ユーザの傾きが閾値未満である場合、前記ユーザの向きに基づいて前記座標軸を決定する、
    請求項７に記載の情報処理装置。     The gesture recognition unit determines the coordinate axis based on the orientation of the user when the inclination of the user is less than a threshold.
    The information processing apparatus according to claim 7.
  9. 　前記ジェスチャ認識部は、前記ユーザの傾きが閾値以上である場合、前記基準軸に対する前記操作対象物の傾きに基づいて前記座標軸を決定する、
    請求項７に記載の情報処理装置。     The gesture recognition unit determines the coordinate axis based on the inclination of the operation target with respect to the reference axis when the inclination of the user is equal to or greater than a threshold.
    The information processing apparatus according to claim 7.
  10. 　前記ジェスチャ認識部は、前記基準軸に対する前記操作対象物の傾きに基づいて前記座標軸を決定する、
    請求項７に記載の情報処理装置。     The gesture recognition unit determines the coordinate axis based on the inclination of the operation object with respect to the reference axis.
    The information processing apparatus according to claim 7.
  11. 　前記ジェスチャ認識部は、前記ユーザの傾きが閾値以上であり、かつ前記基準軸に対する前記操作対象物の傾きが閾値以上である場合、前記ユーザの向きに基づいて前記座標軸を決定する、
    請求項７に記載の情報処理装置。     The gesture recognition unit determines the coordinate axis based on the direction of the user when the inclination of the user is equal to or greater than a threshold and the inclination of the operation target with respect to the reference axis is equal to or greater than a threshold.
    The information processing apparatus according to claim 7.
  12. 　前記ジェスチャ認識部は、前記ユーザの傾きが閾値以上であり、かつ前記基準軸に対する前記操作対象物の傾きが閾値未満である場合、前記基準軸を、前記ジェスチャの認識に係る空間座標の座標軸として決定することで前記ジェスチャを認識する、
    請求項７に記載の情報処理装置。     When the inclination of the user is equal to or greater than a threshold and the inclination of the operation target with respect to the reference axis is less than the threshold, the gesture recognition unit uses the reference axis as a coordinate axis of space coordinates related to recognition of the gesture. Recognize the gesture by making a decision
    The information processing apparatus according to claim 7.
  13. 　前記ジェスチャ認識部は、前記ユーザの向きに基づいて決定した上下軸と前記基準軸との差に基づいて前記ユーザの傾きを算出する、
    請求項７に記載の情報処理装置。     The gesture recognition unit calculates the inclination of the user based on the difference between the vertical axis determined based on the direction of the user and the reference axis.
    The information processing apparatus according to claim 7.
  14. 　前記基準軸は、実空間における垂直方向に実質的に平行な軸である、
    請求項１３に記載の情報処理装置。     The reference axis is an axis substantially parallel to the vertical direction in real space,
    The information processing apparatus according to claim 13.
  15. 　前記ユーザの向きを検出する方向検出部、
    　をさらに含む、
    請求項１に記載の情報処理装置。     A direction detection unit that detects the direction of the user;
    Further include,
    An information processing apparatus according to claim 1.
  16. 　前記ユーザが頭部に装着する装着端末である、
    請求項１に記載の情報処理装置。     A mounting terminal that the user wears on the head,
    An information processing apparatus according to claim 1.
  17. 　プロセッサが、ユーザの動作に基づいてジェスチャを認識することと、
    　前記認識されたジェスチャに基づいて、前記ジェスチャによる操作対象物の動作制御に係る制御信号を生成することと、
    　を含み、
    　前記認識することは、前記ユーザの向きに基づいて、前記ジェスチャの認識に係る空間座標の座標軸を決定すること、
    　をさらに含む、
    情報処理方法。     The processor recognizes a gesture based on the user's action;
    Generating a control signal related to motion control of the operation target by the gesture based on the recognized gesture;
    Including
    The recognition may include determining coordinate axes of space coordinates related to recognition of the gesture based on an orientation of the user.
    Further include,
    Information processing method.
  18. 　コンピュータを、
    　ユーザの動作に基づいてジェスチャを認識するジェスチャ認識部と、
    　前記認識されたジェスチャに基づいて、前記ジェスチャによる操作対象物の動作制御に係る制御信号を生成する動作制御部と、
    　を備え、
    　前記ジェスチャ認識部は、前記ユーザの向きに基づいて、前記ジェスチャの認識に係る空間座標の座標軸を決定する、
    　情報処理装置、
    として機能させるためのプログラム。     Computer,
    A gesture recognition unit that recognizes a gesture based on a user's operation;
    A motion control unit that generates a control signal related to motion control of the operation target based on the gesture based on the recognized gesture;
    Equipped with
    The gesture recognition unit determines a coordinate axis of space coordinates related to recognition of the gesture based on an orientation of the user.
    Information processing device,
    Program to function as.
PCT/JP2018/026799 2017-09-12 2018-07-18 Information processing device, information processing method and program WO2019054037A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017174878 2017-09-12
JP2017-174878 2017-09-12

Publications (1)

Publication Number Publication Date
WO2019054037A1 true WO2019054037A1 (en) 2019-03-21

Family

ID=65722716

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/026799 WO2019054037A1 (en) 2017-09-12 2018-07-18 Information processing device, information processing method and program

Country Status (1)

Country Link
WO (1) WO2019054037A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111880652A (en) * 2020-07-16 2020-11-03 北京悉见科技有限公司 Method, apparatus and storage medium for moving position of AR object
CN116214522A (en) * 2023-05-05 2023-06-06 中建科技集团有限公司 Mechanical arm control method, system and related equipment based on intention recognition

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011054118A (en) * 2009-09-04 2011-03-17 Sony Corp Apparatus, method, and program for controlling display
JP2011175617A (en) * 2010-01-29 2011-09-08 Shimane Prefecture Image recognition apparatus, operation determination method, and program
WO2014080829A1 (en) * 2012-11-22 2014-05-30 シャープ株式会社 Data input device
JP2015149051A (en) * 2014-01-08 2015-08-20 富士通株式会社 Input device, input method, and input program
JP2015176253A (en) * 2014-03-13 2015-10-05 オムロン株式会社 Gesture recognition device and control method thereof
JP2016118868A (en) * 2014-12-19 2016-06-30 任天堂株式会社 Information processing apparatus, information processing program, information processing system, and information processing method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011054118A (en) * 2009-09-04 2011-03-17 Sony Corp Apparatus, method, and program for controlling display
JP2011175617A (en) * 2010-01-29 2011-09-08 Shimane Prefecture Image recognition apparatus, operation determination method, and program
WO2014080829A1 (en) * 2012-11-22 2014-05-30 シャープ株式会社 Data input device
JP2015149051A (en) * 2014-01-08 2015-08-20 富士通株式会社 Input device, input method, and input program
JP2015176253A (en) * 2014-03-13 2015-10-05 オムロン株式会社 Gesture recognition device and control method thereof
JP2016118868A (en) * 2014-12-19 2016-06-30 任天堂株式会社 Information processing apparatus, information processing program, information processing system, and information processing method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111880652A (en) * 2020-07-16 2020-11-03 北京悉见科技有限公司 Method, apparatus and storage medium for moving position of AR object
CN116214522A (en) * 2023-05-05 2023-06-06 中建科技集团有限公司 Mechanical arm control method, system and related equipment based on intention recognition
CN116214522B (en) * 2023-05-05 2023-08-29 中建科技集团有限公司 Mechanical arm control method, system and related equipment based on intention recognition

Similar Documents

Publication Publication Date Title
JP7095602B2 (en) Information processing equipment, information processing method and recording medium
JP7092028B2 (en) Information processing equipment, information processing methods, and programs
US11373650B2 (en) Information processing device and information processing method
JP2015095802A (en) Display control apparatus, display control method and program
US20220057922A1 (en) Systems and interfaces for location-based device control
US9829708B1 (en) Method and apparatus of wearable eye pointing system
US11151804B2 (en) Information processing device, information processing method, and program
JPWO2015198688A1 (en) Information processing apparatus, information processing method, and program
CN108369451B (en) Information processing apparatus, information processing method, and computer-readable storage medium
JP7059934B2 (en) Information processing equipment, information processing methods, and programs
JP6627775B2 (en) Information processing apparatus, information processing method and program
US11886643B2 (en) Information processing apparatus and information processing method
WO2018146922A1 (en) Information processing device, information processing method, and program
WO2019054037A1 (en) Information processing device, information processing method and program
JP6575518B2 (en) Display control apparatus, display control method, and program
JP2016194763A (en) Image processing apparatus, image processing program, and image processing method
WO2019102680A1 (en) Information processing device, information processing method, and program
KR101695695B1 (en) Mobile terminal and method for controlling the same
US20230226460A1 (en) Information processing device, information processing method, and recording medium
JP2010086367A (en) Positional information inputting device, positional information inputting method, program, information processing system, and electronic equipment
WO2019176218A1 (en) Information processing device, information processing method, and storage medium
WO2019130729A1 (en) Information processing device, information processing method and information processing system
JP2021140195A (en) Information processing apparatus, information processing method, and program
US20230162450A1 (en) Connecting Spatially Distinct Settings
JP2016170584A (en) Information processing device, information processing method and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18855219

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18855219

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP