JP2021162969A - Information processing apparatus, information processing system, information processing method and program - Google Patents

Information processing apparatus, information processing system, information processing method and program Download PDF

Info

Publication number
JP2021162969A
JP2021162969A JP2020061732A JP2020061732A JP2021162969A JP 2021162969 A JP2021162969 A JP 2021162969A JP 2020061732 A JP2020061732 A JP 2020061732A JP 2020061732 A JP2020061732 A JP 2020061732A JP 2021162969 A JP2021162969 A JP 2021162969A
Authority
JP
Japan
Prior art keywords
posture
state
expected
user
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020061732A
Other languages
Japanese (ja)
Inventor
伸治 中川
Shinji Nakagawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2020061732A priority Critical patent/JP2021162969A/en
Priority to PCT/JP2021/004973 priority patent/WO2021199697A1/en
Publication of JP2021162969A publication Critical patent/JP2021162969A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Abstract

To improve convenience in a system that has a non-contact user interface.SOLUTION: An information processing apparatus comprises an attitude detector and a control section. In the information processing apparatus, the attitude detector detects an attitude of a user as an input attitude after an expected attitude being an attitude expected for the user is displayed on a display device. In the information processing apparatus, when the input attitude nearly equals to the expected attitude, the control section performs control to cause the display device to display a predetermined gesture expected for the user on the display device.SELECTED DRAWING: Figure 2

Description

本技術は、情報処理装置に関する。詳しくは、ユーザインターフェースを有する情報処理装置、情報処理システム、および、これらにおける情報処理方法、並びに、当該方法をコンピュータに実行さるためのプログラムに関する。 The present technology relates to an information processing device. More specifically, the present invention relates to an information processing apparatus having a user interface, an information processing system, an information processing method in these, and a program for executing the method on a computer.

従来より、ジェスチャインターフェースなど、操作の際に機器への物理的な接触を要しない非接触型のＵＩ（User Interface）が様々な分野で用いられている。この非接触型のＵＩは衛生的であるが、物理的なフィードバックがないため、接触型のＵＩと比較して誤操作が生じやすい傾向にある。そこで、複数のランプを配列し、利用者の手の動きに追従して、それらの点灯状態を変化させることにより手の動きの補足状態を利用者に把握させる非接触型のＵＩが提案されている（例えば、特許文献１参照。）。 Conventionally, a non-contact type UI (User Interface) that does not require physical contact with a device during operation, such as a gesture interface, has been used in various fields. Although this non-contact UI is hygienic, it is more prone to erroneous operation than contact UI because there is no physical feedback. Therefore, a non-contact UI has been proposed in which a plurality of lamps are arranged, the user's hand movement is followed, and the lighting state of the lamps is changed so that the user can grasp the supplementary state of the hand movement. (See, for example, Patent Document 1).

特表２０１４−５２７２４５号公報Special Table 2014-527245

上述の従来技術では、手の動きの補足状態を利用者に把握させることにより、ジェスチャ入力を行う際の誤操作の防止を図っている。しかしながら、上述のＵＩでは、利用者が操作に習熟していない場合に、次にどのようなジェスチャを行えばよいかがわからなくなることがあり、利便性が低下してしまうという問題がある。 In the above-mentioned conventional technique, the user is made to grasp the supplementary state of the hand movement to prevent erroneous operation when performing gesture input. However, the above-mentioned UI has a problem that if the user is not proficient in the operation, he / she may not know what kind of gesture should be performed next, which reduces convenience.

本技術はこのような状況に鑑みて生み出されたものであり、非接触のユーザインターフェースを有するシステムにおいて、利便性を向上させることを目的とする。 This technology was created in view of this situation, and aims to improve convenience in a system having a non-contact user interface.

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、利用者に期待する姿勢である期待姿勢が表示装置に表示された後に前記利用者の姿勢を入力姿勢として検出する姿勢検出器と、前記入力姿勢が前記期待姿勢に略一致する場合には前記利用者に期待する所定のジェスチャを前記表示装置に表示させる制御を行う制御部とを具備する情報処理装置、および、当該情報処理装置における情報処理方法、並びに、当該方法をコンピュータに実行させるためのプログラムである。これにより、次のジェスチャを利用者に把握させるという作用をもたらす。 The present technology has been made to solve the above-mentioned problems, and the first aspect thereof is to change the posture of the user after the expected posture, which is the posture expected of the user, is displayed on the display device. Information including a posture detector that detects as an input posture and a control unit that controls the display device to display a predetermined gesture expected of the user when the input posture substantially matches the expected posture. It is a processing device, an information processing method in the information processing device, and a program for causing a computer to execute the method. This has the effect of making the user understand the next gesture.

また、この第１の側面において、前記ジェスチャを表示させる制御は、所定のオブジェクトを前記表示装置にアニメーション表示させる制御であってもよい。これにより、入力姿勢が期待姿勢に略一致する際に、オブジェクトがアニメーション表示されるという作用をもたらす。 Further, in the first aspect, the control for displaying the gesture may be a control for displaying a predetermined object in animation on the display device. As a result, when the input posture substantially matches the expected posture, the object is displayed as an animation.

また、この第１の側面において、前記制御部は、前記利用者の習熟度が所定の閾値より高いか否かを判定して前記習熟度が前記閾値より高い場合には前記オブジェクトをアニメーション表示させてもよい。これにより、習熟度が低い場合にアニメーション表示が省略されるという作用をもたらす。 Further, in the first aspect, the control unit determines whether or not the proficiency level of the user is higher than a predetermined threshold value, and if the proficiency level is higher than the threshold value, animates the object. You may. This has the effect of omitting the animation display when the proficiency level is low.

また、この第１の側面において、前記制御部は、時間の経過に伴う前記利用者の関節の変化を示す時系列データを解析して当該解析結果に基づいて前記習熟度が前記閾値より高いか否かを判定してもよい。これにより、時系列データの解析により習熟度が閾値より高いか否かが判定されるという作用をもたらす。 Further, in the first aspect, the control unit analyzes time-series data indicating changes in the joints of the user with the passage of time, and based on the analysis result, is the proficiency level higher than the threshold value? It may be determined whether or not. This has the effect of determining whether or not the proficiency level is higher than the threshold value by analyzing the time series data.

また、この第１の側面において、複数の状態のいずれかに移行するステートマシンをさらに具備することもできる。これにより、状態に応じた表示が行われるという作用をもたらす。 Further, in this first aspect, a state machine that shifts to any of a plurality of states can be further provided. This has the effect of displaying according to the state.

また、この第１の側面において、前記複数の状態は、未検出状態および検出状態を含み、前記姿勢検出器は、撮像された画像データ内に前記利用者の所定の部位が存在するか否かをさらに判定し、前記ステートマシンは、前記画像データ内に前記部位が存在しない場合には前記未検出状態に移行し、前記画像データ内に前記部位が存在する場合には前記検出状態に移行し、前記制御部は、前記ステートマシンが前記未検出状態に移行した場合には前記期待姿勢を示す所定のオブジェクトを前記表示装置に表示させてもよい。これにより、画像データ内に所定の部位が存在する際に検出状態に移行するという作用をもたらす。 Further, in the first aspect, the plurality of states include an undetected state and a detected state, and the posture detector determines whether or not a predetermined portion of the user exists in the captured image data. Further, the state machine shifts to the undetected state when the part does not exist in the image data, and shifts to the detected state when the part exists in the image data. When the state machine shifts to the undetected state, the control unit may display a predetermined object indicating the expected posture on the display device. This has the effect of shifting to the detection state when a predetermined portion is present in the image data.

また、この第１の側面において、前記複数の状態は、操作状態をさらに含み、前記ステートマシンは、前記入力姿勢が前記期待姿勢に略一致する場合には前記操作状態に移行し、前記制御部は、前記ステートマシンが前記操作状態に移行した場合には前記オブジェクトを前記入力姿勢に追従して移動させてもよい。これにより、入力姿勢が期待姿勢に略一致する際に操作状態に移行するという作用をもたらす。 Further, in the first aspect, the plurality of states further include an operating state, and the state machine shifts to the operating state when the input posture substantially matches the expected posture, and the control unit May move the object following the input posture when the state machine shifts to the operating state. This has the effect of shifting to the operating state when the input posture substantially matches the expected posture.

また、この第１の側面において、前記複数の状態は、動作指示状態をさらに含み、前記ステートマシンは、前記オブジェクトが所定の位置に移動した場合には前記動作指示状態に移行し、前記制御部は、前記ステートマシンが前記動作指示状態に移行した場合には前記ジェスチャを前記表示装置に表示させてもよい。これにより、オブジェクトが所定の位置に移動した際に動作指示状態に移行するという作用をもたらす。 Further, in the first aspect, the plurality of states further include an operation instruction state, and the state machine shifts to the operation instruction state when the object moves to a predetermined position, and the control unit May display the gesture on the display device when the state machine shifts to the operation instruction state. This has the effect of shifting to the operation instruction state when the object moves to a predetermined position.

また、本技術の第２の側面は、撮像画像を生成する撮像装置と、表示装置と、利用者に期待する姿勢である期待姿勢が前記表示装置に表示された後に前記撮像画像を解析して前記利用者の姿勢を入力姿勢として検出する姿勢検出器と、前記入力姿勢が前記期待姿勢に略一致する場合には前記利用者に期待する所定のジェスチャを前記表示装置に表示させる制御を行う制御部とを具備する情報処理システムである。これにより、表示装置への表示により、次のジェスチャを利用者に把握させるという作用をもたらす。 Further, the second aspect of the present technology is to analyze the captured image after the imaging device for generating the captured image, the display device, and the expected posture, which is the posture expected of the user, are displayed on the display device. A posture detector that detects the posture of the user as an input posture, and a control that controls the display device to display a predetermined gesture expected of the user when the input posture substantially matches the expected posture. It is an information processing system equipped with a unit. As a result, the display on the display device has the effect of causing the user to grasp the next gesture.

本技術の第１の実施の形態における情報処理システムの一構成例を示す全体図である。It is an overall view which shows one configuration example of the information processing system in the 1st Embodiment of this technique. 本技術の第１の実施の形態における情報処理装置の一構成例を示すブロック図である。It is a block diagram which shows one configuration example of the information processing apparatus in the 1st Embodiment of this technique. 本技術の第１の実施の形態における未検出状態のときの画像データおよびＵＩ画面の一例を示す図である。It is a figure which shows an example of the image data and the UI screen in the undetected state in the 1st Embodiment of this technique. 本技術の第１の実施の形態における検出状態のときの画像データおよびＵＩ画面の一例を示す図である。It is a figure which shows an example of the image data and the UI screen in the detection state in the 1st Embodiment of this technique. 本技術の第１の実施の形態における操作状態で手の移動前の画像データおよびＵＩ画面の一例を示す図である。It is a figure which shows an example of the image data and UI screen before the movement of a hand in the operation state in the 1st Embodiment of this technique. 本技術の第１の実施の形態における操作状態で手の移動後の画像データおよびＵＩ画面の一例を示す図である。It is a figure which shows an example of the image data and UI screen after the movement of a hand in the operation state in the 1st Embodiment of this technique. 本技術の第１の実施の形態における動作指示状態のときの画像データおよびＵＩ画面の一例を示す図である。It is a figure which shows an example of the image data and the UI screen in the operation instruction state in the 1st Embodiment of this technique. 本技術の第１の実施の形態における選択状態のときの画像データおよびＵＩ画面の一例を示す図である。It is a figure which shows an example of the image data and the UI screen in the selected state in the 1st Embodiment of this technique. 本技術の第１の実施の形態における検出状態に戻ったときの画像データおよびＵＩ画面の一例を示す図である。It is a figure which shows an example of the image data and the UI screen at the time of returning to the detection state in the 1st Embodiment of this technique. 本技術の第１の実施の形態におけるステートマシンの状態遷移図の一例である。This is an example of the state transition diagram of the state machine according to the first embodiment of the present technology. 本技術の第１の実施の形態における情報処理システムの動作の一例を示すフローチャートである。It is a flowchart which shows an example of the operation of the information processing system in the 1st Embodiment of this technique. 本技術の第２の実施の形態における情報処理システムの動作の一例を示すフローチャートである。It is a flowchart which shows an example of the operation of the information processing system in the 2nd Embodiment of this technique. 本技術の第２の実施の形態におけるアニメーション表示判定処理の一例を示すフローチャートである。It is a flowchart which shows an example of the animation display determination processing in the 2nd Embodiment of this technique.

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（入力姿勢が期待姿勢の際にアニメーション表示させる例）
２．第２の実施の形態（入力姿勢が期待姿勢の際に、習熟度に応じてアニメーション表示させる例） Hereinafter, embodiments for carrying out the present technology (hereinafter referred to as embodiments) will be described. The explanation will be given in the following order.
1. 1. First embodiment (example of displaying animation when the input posture is the expected posture)
2. Second embodiment (an example of displaying an animation according to the proficiency level when the input posture is the expected posture)

＜１．第１の実施の形態＞
［情報処理システムの構成例］
図１は、本技術の第１の実施の形態における情報処理システム１００の一構成例を示す全体図である。この情報処理システム１００は、非接触型のＵＩを提供するシステムであり、撮像装置１１０、情報処理装置１２０および表示装置１３０を備える。情報処理システム１００内の装置のそれぞれは、例えば、ドライブスルー型の店舗に設置される自動精算機内に配置される。あるいは、情報処理システム１００内の装置は、例えば、券売機や自動販売機の内部に配置される。 <1. First Embodiment>
[Information processing system configuration example]
FIG. 1 is an overall view showing a configuration example of the information processing system 100 according to the first embodiment of the present technology. The information processing system 100 is a system that provides a non-contact UI, and includes an image pickup device 110, an information processing device 120, and a display device 130. Each of the devices in the information processing system 100 is arranged in, for example, an automatic checkout machine installed in a drive-through type store. Alternatively, the device in the information processing system 100 is arranged inside, for example, a ticket vending machine or a vending machine.

撮像装置１１０は、画像を撮像して画像データを生成するものである。撮像装置１１０として、ＣＭＯＳ（Complementary MOS）イメージセンサやＴｏＦ（Time of Flight）センサが用いられる。あるいは、ミリ波センサや、ＬＩＤＡＲ（Light Detection and Ranging Laser Imaging Detection and Ranging）が撮像装置１１０として用いられる。情報処理システム１００の利用者２００が撮像装置１１０の前に立っている場合には、その利用者２００の身体の少なくとも一部（手など）が撮像される。撮像装置１１０は、撮像した画像データを信号線１１９を介して情報処理装置１２０に供給する。 The image pickup apparatus 110 captures an image and generates image data. As the image pickup apparatus 110, a CMOS (Complementary MOS) image sensor or a ToF (Time of Flight) sensor is used. Alternatively, a millimeter wave sensor or LIDAR (Light Detection and Ranging Laser Imaging Detection and Ranging) is used as the imaging device 110. When the user 200 of the information processing system 100 stands in front of the image pickup device 110, at least a part (hand or the like) of the body of the user 200 is imaged. The image pickup device 110 supplies the captured image data to the information processing device 120 via the signal line 119.

表示装置１３０は、情報処理装置１２０の制御に従って、ＵＩ画面を表示するものである。 The display device 130 displays the UI screen under the control of the information processing device 120.

情報処理装置１２０は、画像データに基づいてＵＩ画面の表示内容を制御するものである。この情報処理装置１２０は、ＵＩ画面の表示内容を制御するための表示制御信号を生成し、信号線１２９を介して表示装置１３０に供給する。このように画像データに基づいて情報処理装置１２０がＵＩ画面の表示内容を制御することにより、利用者は非接触で情報処理システム１００を操作することができ、非接触型のＵＩが実現される。 The information processing device 120 controls the display contents of the UI screen based on the image data. The information processing device 120 generates a display control signal for controlling the display content of the UI screen and supplies the display control signal to the display device 130 via the signal line 129. By controlling the display contents of the UI screen by the information processing device 120 based on the image data in this way, the user can operate the information processing system 100 in a non-contact manner, and a non-contact type UI is realized. ..

なお、情報処理システム１００内の装置のそれぞれは、同一の機器（自動精算機など）内に配置することもできるし、複数の機器に分散して配置することもできる。複数の機器に分散して配置する場合、例えば、撮像装置１１０および表示装置１３０が自動精算機などに配置され、情報処理装置１２０は、ネットワークを介して自動精算機等に接続されたサーバなどに配置される。 Each of the devices in the information processing system 100 can be arranged in the same device (automatic settlement machine or the like), or can be distributed and arranged in a plurality of devices. When distributed to a plurality of devices, for example, the image pickup device 110 and the display device 130 are arranged in an automatic checkout machine or the like, and the information processing device 120 is placed in a server or the like connected to the automatic checkout machine or the like via a network. Be placed.

［情報処理装置の構成例］
図２は、本技術の第１の実施の形態における情報処理装置１２０の一構成例を示すブロック図である。この情報処理装置１２０は、ステートマシン１２１、３次元姿勢検出器１２２、状態差分検出器１２３、操作ガイドオブジェクト生成器１２４およびフィードバック制御部１２５を備える。 [Configuration example of information processing device]
FIG. 2 is a block diagram showing a configuration example of the information processing apparatus 120 according to the first embodiment of the present technology. The information processing device 120 includes a state machine 121, a three-dimensional attitude detector 122, a state difference detector 123, an operation guide object generator 124, and a feedback control unit 125.

ステートマシン１２１は、３次元姿勢検出器１２２や状態差分検出器１２３の検出結果に基づいて複数の状態のいずれかに移行するものである。ここで、ステートマシン１２１の状態は、例えば、未検出状態、検出状態、操作状態、動作指示状態および選択状態を含む。 The state machine 121 shifts to any of a plurality of states based on the detection results of the three-dimensional attitude detector 122 and the state difference detector 123. Here, the state of the state machine 121 includes, for example, an undetected state, a detected state, an operating state, an operation instruction state, and a selected state.

未検出状態は、３次元姿勢検出器１２２により利用者の所定の部位（手など）が検出されていない状態に該当する。一方、検出状態は、３次元姿勢検出器１２２により利用者の所定の部位（手など）が検出された状態に該当する。また、操作状態は、撮像された利用者の姿勢と、その利用者に期待される期待姿勢とが略一致する状態に該当する。ここで、「略一致」は、姿勢の差分が所定の許容値以内であることを示す。動作指示状態は、利用者に期待されるジェスチャを表示装置１３０に表示させる状態に該当する。選択状態は、動作指示状態で表示されたジェスチャが実行された状態に該当する。それぞれの状態への移行条件については後述する。 The undetected state corresponds to a state in which a predetermined part (hand, etc.) of the user is not detected by the three-dimensional posture detector 122. On the other hand, the detection state corresponds to a state in which a predetermined part (hand or the like) of the user is detected by the three-dimensional posture detector 122. In addition, the operating state corresponds to a state in which the posture of the captured user and the expected posture expected of the user substantially match. Here, "substantially matching" indicates that the difference in posture is within a predetermined allowable value. The operation instruction state corresponds to a state in which the gesture expected by the user is displayed on the display device 130. The selected state corresponds to the state in which the gesture displayed in the operation instruction state is executed. The conditions for transitioning to each state will be described later.

また、ステートマシン１２１は、利用者に期待する姿勢である期待姿勢を示す情報を生成して状態差分検出器１２３に供給するとともに、現在の状態を示す状態情報を操作ガイドオブジェクト生成器１２４に供給する。ここで、期待姿勢を示す情報は、例えば、３次元の座標系における人体の関節のそれぞれの座標を含む。 Further, the state machine 121 generates information indicating the expected posture, which is the posture expected from the user, and supplies the information indicating the expected posture to the state difference detector 123, and supplies the state information indicating the current state to the operation guide object generator 124. do. Here, the information indicating the expected posture includes, for example, the coordinates of the joints of the human body in the three-dimensional coordinate system.

３次元姿勢検出器１２２は、撮像装置１１０からの画像データを用いて、利用者の３次元的な姿勢を入力姿勢として検出するものである。まず、３次元姿勢検出器１２２は、画像データに対して画像認識処理を行い、画像データ内に利用者の所定の部位（手など）が存在するか否かを検出する。そして、３次元姿勢検出器１２２は、手などの有無を示す検出結果をステートマシン１２１に供給する。 The three-dimensional posture detector 122 detects the three-dimensional posture of the user as an input posture by using the image data from the image pickup device 110. First, the three-dimensional posture detector 122 performs image recognition processing on the image data and detects whether or not a predetermined portion (hand or the like) of the user exists in the image data. Then, the three-dimensional posture detector 122 supplies the state machine 121 with a detection result indicating the presence or absence of a hand or the like.

画像認識により手などを検出した場合、３次元姿勢検出器１２２は、次に利用者の３次元的な姿勢を入力姿勢として検出し、その入力姿勢を示す情報をステートマシン１２１、状態差分検出器１２３およびフィードバック制御部１２５に供給する。入力姿勢を示す情報は、例えば、３次元の座標系における人体の関節のそれぞれの座標を含む。なお、３次元姿勢検出器１２２は、特許請求の範囲に記載の姿勢検出器の一例である。 When a hand or the like is detected by image recognition, the three-dimensional posture detector 122 then detects the user's three-dimensional posture as an input posture, and the state machine 121 and the state difference detector provide information indicating the input posture. It is supplied to 123 and the feedback control unit 125. The information indicating the input posture includes, for example, the coordinates of the joints of the human body in the three-dimensional coordinate system. The three-dimensional attitude detector 122 is an example of the attitude detector described in the claims.

状態差分検出器１２３は、ステートマシン１２１からの期待姿勢と、３次元姿勢検出器１２２からの入力姿勢との差分を検出するものである。この状態差分検出器１２３は、差分を示す検出信号をステートマシン１２１に供給する。 The state difference detector 123 detects the difference between the expected attitude from the state machine 121 and the input attitude from the three-dimensional attitude detector 122. The state difference detector 123 supplies a detection signal indicating the difference to the state machine 121.

操作ガイドオブジェクト生成器１２４は、ステートマシン１２１の状態に対応するガイドオブジェクトを生成するものである。この操作ガイドオブジェクト生成器１２４は、生成したガイドオブジェクトを示すオブジェクト情報をフィードバック制御部１２５に供給する。状態毎のガイドオブジェクトの例については、後述する。 The operation guide object generator 124 generates a guide object corresponding to the state of the state machine 121. The operation guide object generator 124 supplies the object information indicating the generated guide object to the feedback control unit 125. An example of a guide object for each state will be described later.

フィードバック制御部１２５は、操作ガイドオブジェクト生成器１２４からのガイドオブジェクトを表示させるための表示制御信号を生成し、表示装置１３０に供給するものである。なお、フィードバック制御部１２５は、特許請求の範囲に記載の制御部の一例である。 The feedback control unit 125 generates a display control signal for displaying the guide object from the operation guide object generator 124 and supplies it to the display device 130. The feedback control unit 125 is an example of the control unit described in the claims.

上述の情報処理装置１１０において、フィードバック制御部１２５は、まず、期待姿勢を示すガイドオブジェクトを表示装置１３０に表示させる。その後に、３次元姿勢検出器１２２は、入力姿勢を検出する。そして、入力姿勢が期待姿勢と略一致する際にフィードバック制御部１２５は、利用者に期待する所定のジェスチャを表示装置１３０に表示させる。 In the above-mentioned information processing device 110, the feedback control unit 125 first causes the display device 130 to display a guide object indicating the expected posture. After that, the three-dimensional attitude detector 122 detects the input attitude. Then, when the input posture substantially matches the expected posture, the feedback control unit 125 causes the display device 130 to display a predetermined gesture expected from the user.

［情報処理システムの動作例］
図３は、本技術の第１の実施の形態における未検出状態のときの画像データおよびＵＩ画面の一例を示す図である。同図におけるａは、未検出状態のときの画像データ５００の一例を示す図であり、同図におけるｂは、未検出状態のときのＵＩ画面６００の一例を示す図である。ＵＩ画面６００には、例えば、メニューボタン６１０を含む複数のメニューボタンが配列される。メニューボタンのそれぞれには、所定の注文が割り当てられ、その注文の内容が記載される。 [Example of operation of information processing system]
FIG. 3 is a diagram showing an example of image data and a UI screen in the undetected state in the first embodiment of the present technology. In the figure, a is a diagram showing an example of the image data 500 in the undetected state, and b in the figure is a diagram showing an example of the UI screen 600 in the undetected state. On the UI screen 600, for example, a plurality of menu buttons including the menu button 610 are arranged. A predetermined order is assigned to each of the menu buttons, and the content of the order is described.

同図におけるａに例示するように、撮像された画像データ５００内に、利用者の所定の部位（手など）が写っていないものとする。この場合に、３次元姿勢検出器１２２は、手の検出失敗をステートマシン１２１に通知し、ステートマシン１２１は、未検出状態に移行する。 As illustrated in a in the figure, it is assumed that a predetermined part (hand, etc.) of the user is not shown in the captured image data 500. In this case, the three-dimensional posture detector 122 notifies the state machine 121 of the hand detection failure, and the state machine 121 shifts to the undetected state.

また、同図におけるｂに例示するように、操作ガイドオブジェクト生成器１２４は、未検出状態において期待姿勢を示す半透明の３次元のオブジェクトをガイドオブジェクト６２０として生成する。このガイドオブジェクト６２０は、例えば、ＵＩ画面６００内のメニューボタン６１０の無い箇所（右下など）に合成される。また、例えば、期待姿勢として、手の人差し指を立て、それ以外の指を曲げた姿勢が用いられる。また、このときのガイドオブジェクト６２０の表示色をＣ１とする。 Further, as illustrated in b in the figure, the operation guide object generator 124 generates a semi-transparent three-dimensional object showing the expected posture in the undetected state as the guide object 620. This guide object 620 is synthesized, for example, in a place (lower right, etc.) where there is no menu button 610 in the UI screen 600. Further, for example, as the expected posture, a posture in which the index finger of the hand is raised and the other fingers are bent is used. Further, the display color of the guide object 620 at this time is C1.

図４は、本技術の第１の実施の形態における検出状態のときの画像データおよびＵＩ画面の一例を示す図である。同図におけるａは、検出状態のときの画像データ５０１の一例を示す図であり、同図におけるｂは、検出状態のときのＵＩ画面６０１の一例を示す図である。 FIG. 4 is a diagram showing an example of image data and a UI screen in the detection state according to the first embodiment of the present technology. In the figure, a is a diagram showing an example of image data 501 in the detection state, and b in the figure is a diagram showing an example of the UI screen 601 in the detection state.

同図におけるａに例示するように、撮像された画像データ５０１内に、利用者の所定の部位（手５１０など）が写ったものとする。ただし、手５１０の姿勢（すなわち、入力姿勢）は、全ての指を伸ばしたものであり、ガイドオブジェクト６２０の示す期待姿勢に略一致しないものとする。この場合に、３次元姿勢検出器１２２は、手の検出成功をステートマシン１２１に通知し、ステートマシン１２１は、未検出状態から検出状態に移行する。 As illustrated in a in the figure, it is assumed that a predetermined part (hand 510, etc.) of the user is captured in the captured image data 501. However, the posture of the hand 510 (that is, the input posture) is the one in which all the fingers are extended, and does not substantially match the expected posture indicated by the guide object 620. In this case, the three-dimensional posture detector 122 notifies the state machine 121 of the success of hand detection, and the state machine 121 shifts from the undetected state to the detected state.

また、同図におけるｂに例示するように、フィードバック制御部１２５は、検出状態に移行した際にガイドオブジェクト６２０の表示色をＣ１からＣ２に変更する。この制御により、ステートマシン１２１が検出状態に移行したことが利用者にフィードバックされる。 Further, as illustrated in b in the figure, the feedback control unit 125 changes the display color of the guide object 620 from C1 to C2 when the detection state is entered. By this control, the user is fed back that the state machine 121 has shifted to the detection state.

図５は、本技術の第１の実施の形態における操作状態で手の移動前の画像データおよびＵＩ画面の一例を示す図である。同図におけるａは、操作状態で手の移動前の画像データ５０２の一例を示す図であり、同図におけるｂは、操作状態で手の移動前のＵＩ画面６０２の一例を示す図である。 FIG. 5 is a diagram showing an example of image data and a UI screen before the movement of the hand in the operating state according to the first embodiment of the present technology. In the figure, a is a diagram showing an example of image data 502 before the movement of the hand in the operating state, and b in the figure is a diagram showing an example of the UI screen 602 before the movement of the hand in the operating state.

同図におけるａに例示するように、撮像された画像データ５０２内に利用者の所定の部位（手５１０など）が写り、その姿勢が、ガイドオブジェクト６２０の示す期待姿勢に略一致したものとする。この場合に、状態差分検出器１２３は、許容値以内の差分をステートマシン１２１に通知し、ステートマシン１２１は、検出状態から操作状態に移行する。 As illustrated in a in the figure, it is assumed that a predetermined part (hand 510, etc.) of the user is shown in the captured image data 502, and the posture substantially matches the expected posture indicated by the guide object 620. .. In this case, the state difference detector 123 notifies the state machine 121 of the difference within the permissible value, and the state machine 121 shifts from the detection state to the operation state.

また、同図におけるｂに例示するように、フィードバック制御部１２５は、操作状態に移行した際にガイドオブジェクト６２０の表示色をＣ２からＣ３に変更する。この制御により、ステートマシン１２１が操作状態に移行したことが利用者にフィードバックされる。 Further, as illustrated in b in the figure, the feedback control unit 125 changes the display color of the guide object 620 from C2 to C3 when the operation state is entered. By this control, the user is fed back that the state machine 121 has shifted to the operating state.

図４および図５に例示したように、状態の遷移の際にフィードバック制御部１２５が表示色を変更することにより、利用者は、現在の状態を正確に把握することができる。これにより、誤操作を防止することができる。 As illustrated in FIGS. 4 and 5, the feedback control unit 125 changes the display color at the time of the state transition, so that the user can accurately grasp the current state. As a result, erroneous operation can be prevented.

図６は、本技術の第１の実施の形態における操作状態で手の移動後の画像データおよびＵＩ画面の一例を示す図である。同図におけるａは、操作状態で手の移動後の画像データ５０３の一例を示す図であり、同図におけるｂは、操作状態で手の移動後のＵＩ画面６０３の一例を示す図である。 FIG. 6 is a diagram showing an example of image data and a UI screen after the movement of the hand in the operating state according to the first embodiment of the present technology. In the figure, a is a diagram showing an example of image data 503 after the movement of the hand in the operating state, and b in the figure is a diagram showing an example of the UI screen 603 after the movement of the hand in the operating state.

同図におけるａに例示するように、操作状態において新たに撮像された画像データ５０３内の手５１０の位置が、その前の画像データ５０２内の位置と異なるものとする。同図におけるａの点線は、移動前の手５１０を示し、矢印は、移動方向および移動距離を示す。 As illustrated in a in the figure, it is assumed that the position of the hand 510 in the newly captured image data 503 in the operating state is different from the position in the previous image data 502. In the figure, the dotted line of a indicates the hand 510 before the movement, and the arrow indicates the movement direction and the movement distance.

この場合に、３次元姿勢検出器１２２は、手５１０の移動後の位置をフィードバック制御部１２５に供給し、フィードバック制御部１２５は、同図におけるｂに例示するように手５１０の移動に追従してガイドオブジェクト６２０を移動させる。同図におけるｂの点線は、移動前のガイドオブジェクト６２０を示し、矢印は、移動方向および移動距離を示す。 In this case, the three-dimensional posture detector 122 supplies the position of the hand 510 after the movement to the feedback control unit 125, and the feedback control unit 125 follows the movement of the hand 510 as illustrated in b in the figure. To move the guide object 620. In the figure, the dotted line b indicates the guide object 620 before the movement, and the arrow indicates the movement direction and the movement distance.

図７は、本技術の第１の実施の形態における動作指示状態のときの画像データおよびＵＩ画面の一例を示す図である。同図におけるａは、動作指示状態のときの画像データ５０４の一例を示す図であり、同図におけるｂは、動作指示状態のときのＵＩ画面６０４の一例を示す図である。 FIG. 7 is a diagram showing an example of image data and a UI screen in the operation instruction state in the first embodiment of the present technology. In the figure, a is a diagram showing an example of image data 504 in the operation instructed state, and b in the figure is a diagram showing an example of the UI screen 604 in the operation instructed state.

同図におけるａに例示するように利用者が手５１０を期待姿勢にし、メニューボタン６１０に対応する位置まで移動させたものとする。 As illustrated in a in the figure, it is assumed that the user puts the hand 510 in the expected posture and moves it to the position corresponding to the menu button 610.

その場合、同図におけるｂに例示するようにフィードバック制御部１２５は、手５１０の移動に追従してガイドオブジェクト６２０をメニューボタン６１０まで移動させる。このとき、移動後のガイドオブジェクト６２０の人差し指の少なくとも一部が、一定時間以上に亘ってメニューボタン６１０と重なったものとする。その際に、３次元姿勢検出器１２２は、人差し指の座標を含む入力姿勢の情報をステートマシン１２１に供給し、ステートマシン１２１は、操作状態から動作指示状態に移行する。 In that case, as illustrated in b in the figure, the feedback control unit 125 moves the guide object 620 to the menu button 610 following the movement of the hand 510. At this time, it is assumed that at least a part of the index finger of the guide object 620 after movement overlaps with the menu button 610 for a certain period of time or longer. At that time, the three-dimensional posture detector 122 supplies the input posture information including the coordinates of the index finger to the state machine 121, and the state machine 121 shifts from the operation state to the operation instruction state.

動作指示状態において、フィードバック制御部１２５は、ガイドオブジェクト６２０のアニメーション表示により、利用者に期待する所定のジェスチャをＵＩ画面６０４に表示させる。ここで、「アニメーション表示」は、時間の経過に伴ってガイドオブジェクト６２０の形状が変化することを意味する。フィードバック制御部１２５は、例えば、人差し指以外の指を曲げたまま、その人差し指を上下させる内容のジェスチャを表示させる。このジェスチャは、ガイドオブジェクト６２０の人差し指が一定の周期で繰り返し上下する動作のアニメーションにより指示される。また、このジェスチャ（すなわち、アニメーション表示）は、メニューボタンを利用者が選択するための選択動作を示す。この制御により、次にどのようなジェスチャ（選択動作）を行えばよいかが利用者にフィードバックされる。 In the operation instruction state, the feedback control unit 125 causes the UI screen 604 to display a predetermined gesture expected by the user by displaying the animation of the guide object 620. Here, "animation display" means that the shape of the guide object 620 changes with the passage of time. The feedback control unit 125 displays, for example, a gesture of moving the index finger up and down while bending a finger other than the index finger. This gesture is instructed by an animation of the movement of the index finger of the guide object 620 repeatedly moving up and down at regular intervals. In addition, this gesture (that is, animation display) indicates a selection operation for the user to select a menu button. By this control, the user is fed back what kind of gesture (selection operation) should be performed next.

このフィードバックにより、利用者に正しい動作を促し、誤操作を防止することができる。誤操作の防止により、操作のやり直しが少なくなり、情報処理システム１００の利便性が向上する。 This feedback can encourage the user to perform correct operations and prevent erroneous operations. By preventing erroneous operations, the number of redoing operations is reduced, and the convenience of the information processing system 100 is improved.

また、動作指示状態において、ステートマシン１２１は、選択動作を構成する複数の期待姿勢（例えば、人差し指を上げた姿勢と、人差し指を下げた姿勢）を状態差分検出器１２３に供給する。状態差分検出器１２３は、それらの期待姿勢と、入力姿勢との差分を検出してステートマシン１２１に返す。ステートマシン１２１は、それらの差分により、選択動作が行われたか否かを判断することができる。 Further, in the operation instruction state, the state machine 121 supplies a plurality of expected postures (for example, a posture in which the index finger is raised and a posture in which the index finger is lowered) constituting the selection operation to the state difference detector 123. The state difference detector 123 detects the difference between the expected posture and the input posture and returns it to the state machine 121. The state machine 121 can determine whether or not the selection operation has been performed based on the difference between them.

なお、フィードバック制御部１２５は、ガイドオブジェクト６２０の人差し指が一定の周期で繰り返し上下する動作（言い換えれば、何かを押す動作）をアニメーション表示させているが、これ以外の動作をアニメーション表示させることもできる。例えば、フィードバック制御部１２５は、払う動作、握る動作や摘まむ動作などをアニメーション表示させることもできる。 The feedback control unit 125 animates the movement of the index finger of the guide object 620 repeatedly moving up and down at a fixed cycle (in other words, the movement of pressing something), but it may also display other movements in animation. can. For example, the feedback control unit 125 can animate the paying motion, the grasping motion, the picking motion, and the like.

また、フィードバック制御部１２５は、ガイドオブジェクトの表示色の変更と、アニメーション表示とによりフィードバックを行っているが、この構成に限定されない。フィードバック制御部１２５は、表示色の変更の代わりに、現在の状態を示すテキストを表示させることもできる。また、スピーカをさらに設け、フィードバック制御部１２５が、表示色の変更の代わりに、現在の状態を音声出力させることもできる。また、フィードバック制御部１２５は、アニメーション表示の代わりに、次のジェスチャを説明するテキストを表示させることもできる。また、スピーカをさらに設け、フィードバック制御部１２５が、アニメーション表示の代わりに、次のジェスチャの説明を音声出力させることもできる。さらに、表示色の変更やアニメーション表示と、テキスト表示や音声出力とを組み合わせることもできる。 Further, the feedback control unit 125 provides feedback by changing the display color of the guide object and displaying the animation, but the present invention is not limited to this configuration. The feedback control unit 125 can also display a text indicating the current state instead of changing the display color. Further, a speaker may be further provided, and the feedback control unit 125 may output the current state by voice instead of changing the display color. The feedback control unit 125 can also display text explaining the next gesture instead of displaying the animation. Further, a speaker may be further provided, and the feedback control unit 125 may output the explanation of the next gesture by voice instead of displaying the animation. Furthermore, it is possible to combine the display color change and animation display with the text display and voice output.

図８は、本技術の第１の実施の形態における選択状態のときの画像データおよびＵＩ画面の一例を示す図である。同図におけるａは、選択状態のときの画像データ５０５の一例を示す図であり、同図におけるｂは、選択状態のときのＵＩ画面６０５の一例を示す図である。 FIG. 8 is a diagram showing an example of image data and a UI screen in the selected state in the first embodiment of the present technology. In the figure, a is a diagram showing an example of image data 505 in the selected state, and b in the figure is a diagram showing an example of the UI screen 605 in the selected state.

同図におけるａに例示するように利用者が選択動作を行ったものとする。この選択動作に応じて、ステートマシン１２１は、選択状態に移行する。そして、同図におけるｂに例示するように、選択状態に移行した際にフィードバック制御部１２５は、選択されたメニューボタン６１０の色を変更し、そのメニューボタン６１０に対応する注文を受け付けた旨のメッセージ６３０を表示させる。そして、情報処理システム１００は、注文に係る料金の精算処理を行う。 It is assumed that the user performs the selection operation as illustrated in a in the figure. In response to this selection operation, the state machine 121 shifts to the selected state. Then, as illustrated in b in the figure, when the state shifts to the selected state, the feedback control unit 125 changes the color of the selected menu button 610 and accepts the order corresponding to the menu button 610. Display message 630. Then, the information processing system 100 performs the settlement processing of the charge related to the order.

図９は、本技術の第１の実施の形態における検出状態に戻ったときの画像データおよびＵＩ画面の一例を示す図である。同図におけるａは、検出状態に戻ったときの画像データ５０６の一例を示す図であり、同図におけるｂは、検出状態に戻ったときのＵＩ画面６０６の一例を示す図である。 FIG. 9 is a diagram showing an example of image data and a UI screen when the detection state is returned to in the first embodiment of the present technology. In the figure, a is a diagram showing an example of image data 506 when the detection state is returned, and b in the figure is a diagram showing an example of the UI screen 606 when the detection state is returned.

選択状態において、同図におけるａに例示するように、手５１０の姿勢がガイドオブジェクト６２０と不一致になったものとする。この場合に、ステートマシン１２１は、選択状態から検出状態に移行する。 In the selected state, as illustrated in a in the figure, it is assumed that the posture of the hand 510 does not match the guide object 620. In this case, the state machine 121 shifts from the selected state to the detected state.

また、同図におけるｂに例示するように、フィードバック制御部１２５は、検出状態に移行した際に、ガイドオブジェクト６２０の表示色をＣ３からＣ２に戻す。なお、選択状態において、３次元姿勢検出器１２２が手の検出に失敗した場合、ステートマシン１２１は、選択状態から未検出状態に移行する。 Further, as illustrated in b in the figure, the feedback control unit 125 returns the display color of the guide object 620 from C3 to C2 when the detection state is entered. If the three-dimensional posture detector 122 fails to detect the hand in the selected state, the state machine 121 shifts from the selected state to the undetected state.

図１０は、本技術の第１の実施の形態におけるステートマシン１２１の状態遷移図の一例である。ステートマシン１２１の状態は、未検出状態３１０、検出状態３２０、操作状態３３０、動作指示状態３４０および選択状態３５０を含む。初期状態は、例えば、未検出状態３１０に設定される。 FIG. 10 is an example of a state transition diagram of the state machine 121 according to the first embodiment of the present technology. The state of the state machine 121 includes an undetected state 310, a detected state 320, an operating state 330, an operation instruction state 340, and a selected state 350. The initial state is set to, for example, the undetected state 310.

未検出状態３１０において、３次元姿勢検出器１２２が手の検出に失敗した場合、ステートマシン１２１は、未検出状態３１０のままである。一方、３次元姿勢検出器１２２が手の検出に成功した場合、ステートマシン１２１は、検出状態３２０に移行する。 If the three-dimensional posture detector 122 fails to detect the hand in the undetected state 310, the state machine 121 remains in the undetected state 310. On the other hand, when the three-dimensional posture detector 122 succeeds in detecting the hand, the state machine 121 shifts to the detection state 320.

検出状態３２０において、入力姿勢が期待姿勢と不一致である場合、ステートマシン１２１は、検出状態３２０のままである。一方、入力姿勢が期待姿勢と略一致する場合、ステートマシン１２１は、操作状態３３０に移行する。 In the detection state 320, if the input attitude does not match the expected attitude, the state machine 121 remains in the detection state 320. On the other hand, when the input posture substantially matches the expected posture, the state machine 121 shifts to the operating state 330.

操作状態３３０において、ガイドオブジェクトが所定位置（メニューボタン６１０の位置など）に無い場合、ステートマシン１２１は、操作状態３３０のままである。一方、ガイドオブジェクトが一定時間以上に亘って所定位置に存在する場合、ステートマシン１２１は、動作指示状態３４０に移行する。 In the operating state 330, if the guide object is not at a predetermined position (such as the position of the menu button 610), the state machine 121 remains in the operating state 330. On the other hand, when the guide object exists at a predetermined position for a certain period of time or longer, the state machine 121 shifts to the operation instruction state 340.

動作指示状態３４０において選択動作が行われると、ステートマシン１２１は、選択状態３５０に移行する。選択状態３５０において３次元姿勢検出器１２２が手の検出に失敗した場合、ステートマシン１２１は、未検出状態３１０に移行する。また、検出状態３２０、操作状態３３０および動作指示状態３４０において、３次元姿勢検出器１２２が手の検出に失敗した場合にも、ステートマシン１２１は、未検出状態３１０に移行する。なお、同図において、検出状態３２０、操作状態３３０および動作指示状態３４０から未検出状態３１０への移行を示す矢印と移行条件とは、記載の便宜上、省略されている。 When the selection operation is performed in the operation instruction state 340, the state machine 121 shifts to the selection state 350. If the three-dimensional posture detector 122 fails to detect the hand in the selected state 350, the state machine 121 shifts to the undetected state 310. Further, even when the three-dimensional posture detector 122 fails to detect the hand in the detection state 320, the operation state 330, and the operation instruction state 340, the state machine 121 shifts to the undetected state 310. In the figure, the arrow indicating the transition from the detection state 320, the operation state 330, and the operation instruction state 340 to the undetected state 310 and the transition condition are omitted for convenience of description.

また、操作状態３３０、動作指示状態３４０および選択状態３５０において、入力姿勢が期待姿勢と不一致である場合、ステートマシン１２１は、検出状態３２０に移行する。なお、同図において、操作状態３３０、動作指示状態３４０および選択状態３５０から検出状態３２０への移行を示す矢印と移行条件とは、記載の便宜上、省略されている。 Further, when the input posture does not match the expected posture in the operation state 330, the operation instruction state 340, and the selection state 350, the state machine 121 shifts to the detection state 320. In the figure, the arrow indicating the transition from the operation state 330, the operation instruction state 340, and the selection state 350 to the detection state 320 and the transition condition are omitted for convenience of description.

図１１は、本技術の第１の実施の形態における情報処理システム１００の動作の一例を示すフローチャートである。この動作は、例えば、ジェスチャ入力を行うための所定のアプリケーションが実行されたときに開始される。 FIG. 11 is a flowchart showing an example of the operation of the information processing system 100 according to the first embodiment of the present technology. This operation is started, for example, when a predetermined application for performing gesture input is executed.

撮像装置１１０は、画像データを撮影する（ステップＳ９１１）。また、情報処理装置１２０は、画像データに対する画像認識により入力姿勢を取得し（ステップＳ９１２）、その入力姿勢と期待姿勢との差分を検出する（ステップＳ９１３）。情報処理装置１２０は、検出結果に基づいて、現在の状態を判別する（ステップＳ９１４）。 The image pickup apparatus 110 captures image data (step S911). Further, the information processing apparatus 120 acquires an input posture by image recognition for the image data (step S912), and detects the difference between the input posture and the expected posture (step S913). The information processing device 120 determines the current state based on the detection result (step S914).

そして、情報処理装置１２０は、未検出状態に移行したか否かを判断する（ステップＳ９１５）。未検出状態に移行した場合（ステップＳ９１５：Ｙｅｓ）、情報処理装置１２０は、未検出状態を通知するための表示色Ｃ１のガイドオブジェクトを生成する（ステップＳ９１６）。 Then, the information processing apparatus 120 determines whether or not the state has shifted to the undetected state (step S915). When the state shifts to the undetected state (step S915: Yes), the information processing apparatus 120 generates a guide object of the display color C1 for notifying the undetected state (step S916).

未検出状態に移行していない場合（ステップＳ９１５：Ｎｏ）、情報処理装置１２０は、検出状態に移行したか否かを判断する（ステップＳ９１７）。検出状態に移行した場合（ステップＳ９１７：Ｙｅｓ）、情報処理装置１２０は、検出状態を通知するための表示色Ｃ２のガイドオブジェクトを生成する（ステップＳ９１８）。 When the state has not shifted to the undetected state (step S915: No), the information processing apparatus 120 determines whether or not the state has shifted to the detected state (step S917). When the state shifts to the detection state (step S917: Yes), the information processing apparatus 120 generates a guide object of the display color C2 for notifying the detection state (step S918).

検出状態に移行していない場合（ステップＳ９１７：Ｎｏ）、情報処理装置１２０は、操作状態に移行したか否かを判断する（ステップＳ９１９）。操作状態に移行した場合（ステップＳ９１９：Ｙｅｓ）、情報処理装置１２０は、操作状態を通知するための表示色Ｃ３のガイドオブジェクトを生成する（ステップＳ９２０）。 When the state has not shifted to the detection state (step S917: No), the information processing apparatus 120 determines whether or not the state has shifted to the operation state (step S919). When the operation state is entered (step S919: Yes), the information processing apparatus 120 generates a guide object of the display color C3 for notifying the operation state (step S920).

なお、検出状態や操作状態への移行時に情報処理装置１２０は、ガイドオブジェクトの表示色を変更しているが、この構成に限定されない。検出状態や操作状態への移行時に情報処理装置１２０は、ガイドオブジェクトの透過率を変更することもできる。あるいは、検出状態や操作状態への移行時に情報処理装置１２０は、ガイドオブジェクトの形状を、人、ロボットやキャラクターのものなどに変更することもできる。 The information processing apparatus 120 changes the display color of the guide object at the time of transition to the detection state or the operation state, but the present invention is not limited to this configuration. The information processing apparatus 120 can also change the transmittance of the guide object at the time of transition to the detection state or the operation state. Alternatively, the information processing device 120 can change the shape of the guide object to that of a person, a robot, a character, or the like at the time of transition to the detection state or the operation state.

操作状態に移行していない場合（ステップＳ９１９：Ｎｏ）、情報処理装置１２０は、動作指示状態に移行したか否かを判断する（ステップＳ９２１）。動作指示状態に移行した場合（ステップＳ９２１：Ｙｅｓ）、情報処理装置１２０は、ガイドオブジェクトをアニメーション表示させるための表示制御信号を生成する（ステップＳ９２２）。動作指示状態に移行していない場合（ステップＳ９２１：Ｎｏ）、情報処理装置１２０は、選択動作に応じて表示装置１３０を制御し、状態を利用者にフィードバックする（ステップＳ９２３）。 When the state has not shifted to the operation state (step S919: No), the information processing apparatus 120 determines whether or not the state has shifted to the operation instruction state (step S921). When the state shifts to the operation instruction state (step S921: Yes), the information processing apparatus 120 generates a display control signal for displaying the guide object in animation (step S922). When the state has not shifted to the operation instruction state (step S921: No), the information processing device 120 controls the display device 130 according to the selection operation and feeds back the state to the user (step S923).

また、ステップＳ９１６、Ｓ９１８、Ｓ９２０またはＳ９２２の後に情報処理装置１２０は、表示装置１３０を制御して状態を利用者にフィードバックする（ステップＳ９２３）。ステップＳ９２３の後に情報処理装置１２０は、ステップＳ９１１以降を繰り返し実行する。 Further, after steps S916, S918, S920 or S922, the information processing device 120 controls the display device 130 to feed back the state to the user (step S923). After step S923, the information processing apparatus 120 repeatedly executes step S911 and subsequent steps.

このように、本技術の第１の実施の形態によれば、入力姿勢が期待姿勢に略一致する際に、利用者に期待するジェスチャを情報処理装置１２０が表示装置１３０に表示させるため、次に行うべき動作を利用者に把握させることができる。これにより、誤操作を抑制し、情報処理システム１００の利便性を向上させることができる。 As described above, according to the first embodiment of the present technology, when the input posture substantially matches the expected posture, the information processing device 120 causes the display device 130 to display the gesture expected by the user. It is possible to let the user understand the operation to be performed. As a result, erroneous operation can be suppressed and the convenience of the information processing system 100 can be improved.

＜２．第２の実施の形態＞
上述の第１の実施の形態では、入力姿勢が前記期待姿勢に略一致する際に情報処理装置１２０は、表示装置１３０にガイドオブジェクトをアニメーション表示させていたが、アニメーション表示しない場合と比較して、表示処理に要する遅延時間が長くなるおそれがある。この第２の実施の形態の情報処理装置１２０は、利用者の習熟度に基づいて、必要な場合にアニメーション表示させる点において第１の実施の形態と異なる。 <2. Second Embodiment>
In the first embodiment described above, when the input posture substantially matches the expected posture, the information processing device 120 causes the display device 130 to animate the guide object, but compared with the case where the animation is not displayed. , The delay time required for display processing may increase. The information processing device 120 of the second embodiment is different from the first embodiment in that it displays an animation when necessary based on the proficiency level of the user.

図１２は、本技術の第２の実施の形態における情報処理システム１００の動作の一例を示すフローチャートである。この第２の実施の形態の情報処理システム１００の動作は、ステップＳ９２２の代わりにステップＳ９３０が実行される点において第１の実施の形態と異なる。 FIG. 12 is a flowchart showing an example of the operation of the information processing system 100 according to the second embodiment of the present technology. The operation of the information processing system 100 of the second embodiment is different from that of the first embodiment in that step S930 is executed instead of step S922.

動作指示状態に移行した場合（ステップＳ９２１：Ｙｅｓ）、情報処理装置１２０は、アニメーション表示させるか否かを判定するためのアニメーション表示判定処理を実行する（ステップＳ９３０）。ステップＳ９３０の後に情報処理装置１２０は、ステップＳ９２３を実行する。 When the state shifts to the operation instruction state (step S921: Yes), the information processing apparatus 120 executes an animation display determination process for determining whether or not to display the animation (step S930). After step S930, the information processing apparatus 120 executes step S923.

図１３は、本技術の第１の実施の形態におけるアニメーション表示判定処理の一例を示すフローチャートである。情報処理装置１２０内のフィードバック制御部１２５は、入力姿勢における利用者の関節座標の時系列上の変化を示す時系列データを生成する（ステップＳ９３１）。そして、フィードバック制御部１２５は、時系列データを周波数解析して、周波数が所定値以上の高周波数成分を抽出する（ステップＳ９３２）。 FIG. 13 is a flowchart showing an example of the animation display determination process according to the first embodiment of the present technology. The feedback control unit 125 in the information processing device 120 generates time-series data indicating changes in the joint coordinates of the user in the input posture on the time-series (step S931). Then, the feedback control unit 125 analyzes the time series data by frequency and extracts a high frequency component having a frequency equal to or higher than a predetermined value (step S932).

フィードバック制御部１２５は、高周波数成分に基づいて、利用者の習熟度が所定の閾値より高いか否かを判定する（ステップＳ９３３）。例えば、高周波数成分のレベルが所定レベルより高い場合には、習熟度が閾値以下と判定され、高周波数成分のレベルが所定レべル以下の場合には、習熟度が閾値より高いと判定される。 The feedback control unit 125 determines whether or not the user's proficiency level is higher than a predetermined threshold value based on the high frequency component (step S933). For example, when the level of the high frequency component is higher than the predetermined level, the proficiency level is determined to be below the threshold value, and when the level of the high frequency component is below the predetermined level, the proficiency level is determined to be higher than the threshold value. NS.

習熟度が閾値以下の場合（ステップＳ９３３：Ｎｏ）、フィードバック制御部１２５は、アニメーション表示フラグをオンにする（ステップＳ９３４）。一方、習熟度が閾値より高い場合（ステップＳ９３３：Ｙｅｓ）、フィードバック制御部１２５は、アニメーション表示フラグをオフにする（ステップＳ９３５）。アニメーション表示フラグは、後段のステップＳ９２３でアニメーション表示させるか否かを示すフラグである。アニメーション表示フラグがオンの場合に、ステップＳ９２３において、ガイドオブジェクトがアニメーション表示される。 When the proficiency level is equal to or less than the threshold value (step S933: No), the feedback control unit 125 turns on the animation display flag (step S934). On the other hand, when the proficiency level is higher than the threshold value (step S933: Yes), the feedback control unit 125 turns off the animation display flag (step S935). The animation display flag is a flag indicating whether or not to display the animation in the subsequent step S923. When the animation display flag is on, the guide object is displayed in animation in step S923.

ステップＳ９３４またはＳ９３５の後に、フィードバック制御部１２５は、アニメーション表示判定処理を終了する。 After step S934 or S935, the feedback control unit 125 ends the animation display determination process.

このように、本技術の第２の実施の形態によれば、利用者の習熟度が高い場合に情報処理装置１２０がガイドオブジェクトをアニメーション表示させないため、不要な処理を削減して遅延時間を短くすることができる。 As described above, according to the second embodiment of the present technology, the information processing device 120 does not animate the guide object when the user's proficiency level is high, so that unnecessary processing is reduced and the delay time is shortened. can do.

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。 It should be noted that the above-described embodiment shows an example for embodying the present technology, and the matters in the embodiment and the matters specifying the invention in the claims have a corresponding relationship with each other. Similarly, the matters specifying the invention within the scope of claims and the matters in the embodiment of the present technology having the same name have a corresponding relationship with each other. However, the present technology is not limited to the embodiment, and can be embodied by applying various modifications to the embodiment without departing from the gist thereof.

また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。 Further, the processing procedure described in the above-described embodiment may be regarded as a method having these series of procedures, or as a program for causing a computer to execute these series of procedures or as a recording medium for storing the program. You may catch it. As this recording medium, for example, a CD (Compact Disc), MD (MiniDisc), DVD (Digital Versatile Disc), memory card, Blu-ray disc (Blu-ray (registered trademark) Disc) and the like can be used.

なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。 It should be noted that the effects described in the present specification are merely examples and are not limited, and other effects may be obtained.

なお、本技術は以下のような構成もとることができる。
（１）利用者に期待する姿勢である期待姿勢が表示装置に表示された後に前記利用者の姿勢を入力姿勢として検出する姿勢検出器と、
前記入力姿勢が前記期待姿勢に略一致する場合には前記利用者に期待する所定のジェスチャを前記表示装置に表示させる制御を行う制御部と
を具備する情報処理装置。
（２）前記ジェスチャを表示させる制御は、所定のオブジェクトを前記表示装置にアニメーション表示させる制御である
前記（１）記載の情報処理装置。
（３）前記制御部は、前記利用者の習熟度が所定の閾値より高いか否かを判定して前記習熟度が前記閾値より高い場合には前記オブジェクトをアニメーション表示させる
前記（２）記載の情報処理装置。
（４）前記制御部は、時間の経過に伴う前記利用者の関節の変化を示す時系列データを解析して当該解析結果に基づいて前記習熟度が前記閾値より高いか否かを判定する
前記（３）記載の情報処理装置。
（５）複数の状態のいずれかに移行するステートマシンをさらに具備する
前記（１）から（４）のいずれかに記載の情報処理装置。
（６）前記複数の状態は、未検出状態および検出状態を含み、
前記姿勢検出器は、撮像された画像データ内に前記利用者の所定の部位が存在するか否かをさらに判定し、
前記ステートマシンは、前記画像データ内に前記部位が存在しない場合には前記未検出状態に移行し、前記画像データ内に前記部位が存在する場合には前記検出状態に移行し、
前記制御部は、前記ステートマシンが前記未検出状態に移行した場合には前記期待姿勢を示す所定のオブジェクトを前記表示装置に表示させる
前記（５）記載の情報処理装置。
（７）前記複数の状態は、操作状態をさらに含み、
前記ステートマシンは、前記入力姿勢が前記期待姿勢に略一致する場合には前記操作状態に移行し、
前記制御部は、前記ステートマシンが前記操作状態に移行した場合には前記オブジェクトを前記入力姿勢に追従して移動させる
前記（６）記載の情報処理装置。
（８）前記複数の状態は、動作指示状態をさらに含み、
前記ステートマシンは、前記オブジェクトが所定の位置に移動した場合には前記動作指示状態に移行し、
前記制御部は、前記ステートマシンが前記動作指示状態に移行した場合には前記ジェスチャを前記表示装置に表示させる
前記（７）記載の情報処理装置。
（９）撮像画像を生成する撮像装置と、
表示装置と、
利用者に期待する姿勢である期待姿勢が前記表示装置に表示された後に前記撮像画像を解析して前記利用者の姿勢を入力姿勢として検出する姿勢検出器と、
前記入力姿勢が前記期待姿勢に略一致する場合には前記利用者に期待する所定のジェスチャを前記表示装置に表示させる制御を行う制御部と
を具備する情報処理システム。
（１０）利用者に期待する姿勢である期待姿勢が表示装置に表示された後に前記利用者の姿勢を入力姿勢として検出する姿勢検出手順と、
前記入力姿勢が前記期待姿勢に略一致する場合には前記利用者に期待する所定のジェスチャを前記表示装置に表示させる制御を行う制御手順と
を具備する情報処理方法。
（１１）利用者に期待する姿勢である期待姿勢が表示装置に表示された後に前記利用者の姿勢を入力姿勢として検出する姿勢検出手順と、
前記入力姿勢が前記期待姿勢に略一致する場合には前記利用者に期待する所定のジェスチャを前記表示装置に表示させる制御を行う制御手順と
をコンピュータに実行させるためのプログラム。 The present technology can have the following configurations.
(1) A posture detector that detects the user's posture as an input posture after the expected posture, which is the posture expected of the user, is displayed on the display device.
An information processing device including a control unit that controls the display device to display a predetermined gesture expected of the user when the input posture substantially matches the expected posture.
(2) The information processing device according to (1) above, wherein the control for displaying the gesture is a control for displaying a predetermined object in animation on the display device.
(3) The control unit determines whether or not the proficiency level of the user is higher than a predetermined threshold value, and if the proficiency level is higher than the threshold value, animates the object. Information processing device.
(4) The control unit analyzes time-series data indicating changes in the joints of the user with the passage of time, and determines whether or not the proficiency level is higher than the threshold value based on the analysis result. (3) The information processing apparatus described.
(5) The information processing apparatus according to any one of (1) to (4) above, further comprising a state machine that shifts to any of a plurality of states.
(6) The plurality of states include an undetected state and a detected state.
The posture detector further determines whether or not a predetermined portion of the user is present in the captured image data, and further determines.
The state machine shifts to the undetected state when the part does not exist in the image data, and shifts to the detected state when the part exists in the image data.
The information processing device according to (5) above, wherein the control unit displays a predetermined object indicating the expected posture on the display device when the state machine shifts to the undetected state.
(7) The plurality of states further include an operating state.
When the input posture substantially matches the expected posture, the state machine shifts to the operating state.
The information processing device according to (6), wherein the control unit moves the object according to the input posture when the state machine shifts to the operating state.
(8) The plurality of states further include an operation instruction state.
When the object moves to a predetermined position, the state machine shifts to the operation instruction state, and the state machine shifts to the operation instruction state.
The information processing device according to (7) above, wherein the control unit displays the gesture on the display device when the state machine shifts to the operation instruction state.
(9) An imaging device that generates an captured image and
Display device and
A posture detector that analyzes the captured image and detects the user's posture as an input posture after the expected posture, which is the posture expected of the user, is displayed on the display device.
An information processing system including a control unit that controls the display device to display a predetermined gesture expected of the user when the input posture substantially matches the expected posture.
(10) A posture detection procedure for detecting the user's posture as an input posture after the expected posture, which is the posture expected of the user, is displayed on the display device.
An information processing method including a control procedure for controlling the display device to display a predetermined gesture expected of the user when the input posture substantially matches the expected posture.
(11) A posture detection procedure for detecting the user's posture as an input posture after the expected posture, which is the posture expected of the user, is displayed on the display device.
A program for causing a computer to execute a control procedure for controlling the display device to display a predetermined gesture expected from the user when the input posture substantially matches the expected posture.

１１０ 撮像装置
１２０ 情報処理装置
１２１ ステートマシン
１２２ ３次元姿勢検出器
１２３ 状態差分検出器
１２４ 操作ガイドオブジェクト生成器
１２５ フィードバック制御部
１３０ 表示装置 110 Imaging device 120 Information processing device 121 State machine 122 Three-dimensional attitude detector 123 State difference detector 124 Operation guide Object generator 125 Feedback control unit 130 Display device

Claims (11)

利用者に期待する姿勢である期待姿勢が表示装置に表示された後に前記利用者の姿勢を入力姿勢として検出する姿勢検出器と、
前記入力姿勢が前記期待姿勢に略一致する場合には前記利用者に期待する所定のジェスチャを前記表示装置に表示させる制御を行う制御部と
を具備する情報処理装置。 A posture detector that detects the user's posture as an input posture after the expected posture, which is the posture expected of the user, is displayed on the display device.
An information processing device including a control unit that controls the display device to display a predetermined gesture expected of the user when the input posture substantially matches the expected posture. 前記ジェスチャを表示させる制御は、所定のオブジェクトを前記表示装置にアニメーション表示させる制御である
請求項１記載の情報処理装置。 The information processing device according to claim 1, wherein the control for displaying the gesture is a control for displaying a predetermined object as an animation on the display device. 前記制御部は、前記利用者の習熟度が所定の閾値より高いか否かを判定して前記習熟度が前記閾値より高い場合には前記オブジェクトをアニメーション表示させる
請求項２記載の情報処理装置。 The information processing device according to claim 2, wherein the control unit determines whether or not the proficiency level of the user is higher than a predetermined threshold value, and if the proficiency level is higher than the threshold value, animates the object. 前記制御部は、時間の経過に伴う前記利用者の関節の変化を示す時系列データを解析して当該解析結果に基づいて前記習熟度が前記閾値より高いか否かを判定する
請求項３記載の情報処理装置。 The third aspect of claim 3, wherein the control unit analyzes time-series data indicating changes in the joints of the user with the passage of time, and determines whether or not the proficiency level is higher than the threshold value based on the analysis result. Information processing device. 複数の状態のいずれかに移行するステートマシンをさらに具備する
請求項１記載の情報処理装置。 The information processing apparatus according to claim 1, further comprising a state machine that shifts to any of a plurality of states. 前記複数の状態は、未検出状態および検出状態を含み、
前記姿勢検出器は、撮像された画像データ内に前記利用者の所定の部位が存在するか否かをさらに判定し、
前記ステートマシンは、前記画像データ内に前記部位が存在しない場合には前記未検出状態に移行し、前記画像データ内に前記部位が存在する場合には前記検出状態に移行し、
前記制御部は、前記ステートマシンが前記未検出状態に移行した場合には前記期待姿勢を示す所定のオブジェクトを前記表示装置に表示させる
請求項５記載の情報処理装置。 The plurality of states include an undetected state and a detected state.
The posture detector further determines whether or not a predetermined portion of the user is present in the captured image data, and further determines.
The state machine shifts to the undetected state when the part does not exist in the image data, and shifts to the detected state when the part exists in the image data.
The information processing device according to claim 5, wherein the control unit displays a predetermined object indicating the expected posture on the display device when the state machine shifts to the undetected state. 前記複数の状態は、操作状態をさらに含み、
前記ステートマシンは、前記入力姿勢が前記期待姿勢に略一致する場合には前記操作状態に移行し、
前記制御部は、前記ステートマシンが前記操作状態に移行した場合には前記オブジェクトを前記入力姿勢に追従して移動させる
請求項６記載の情報処理装置。 The plurality of states further include an operating state.
When the input posture substantially matches the expected posture, the state machine shifts to the operating state.
The information processing device according to claim 6, wherein the control unit moves the object according to the input posture when the state machine shifts to the operating state. 前記複数の状態は、動作指示状態をさらに含み、
前記ステートマシンは、前記オブジェクトが所定の位置に移動した場合には前記動作指示状態に移行し、
前記制御部は、前記ステートマシンが前記動作指示状態に移行した場合には前記ジェスチャを前記表示装置に表示させる
請求項７記載の情報処理装置。 The plurality of states further include an operation instruction state.
When the object moves to a predetermined position, the state machine shifts to the operation instruction state, and the state machine shifts to the operation instruction state.
The information processing device according to claim 7, wherein the control unit displays the gesture on the display device when the state machine shifts to the operation instruction state. 撮像画像を生成する撮像装置と、
表示装置と、
利用者に期待する姿勢である期待姿勢が前記表示装置に表示された後に前記撮像画像を解析して前記利用者の姿勢を入力姿勢として検出する姿勢検出器と、
前記入力姿勢が前記期待姿勢に略一致する場合には前記利用者に期待する所定のジェスチャを前記表示装置に表示させる制御を行う制御部と
を具備する情報処理システム。 An imaging device that generates captured images and
Display device and
A posture detector that analyzes the captured image and detects the user's posture as an input posture after the expected posture, which is the posture expected of the user, is displayed on the display device.
An information processing system including a control unit that controls the display device to display a predetermined gesture expected of the user when the input posture substantially matches the expected posture. 利用者に期待する姿勢である期待姿勢が表示装置に表示された後に前記利用者の姿勢を入力姿勢として検出する姿勢検出手順と、
前記入力姿勢が前記期待姿勢に略一致する場合には前記利用者に期待する所定のジェスチャを前記表示装置に表示させる制御を行う制御手順と
を具備する情報処理方法。 A posture detection procedure for detecting the user's posture as an input posture after the expected posture, which is the posture expected of the user, is displayed on the display device, and
An information processing method including a control procedure for controlling the display device to display a predetermined gesture expected of the user when the input posture substantially matches the expected posture. 利用者に期待する姿勢である期待姿勢が表示装置に表示された後に前記利用者の姿勢を入力姿勢として検出する姿勢検出手順と、
前記入力姿勢が前記期待姿勢に略一致する場合には前記利用者に期待する所定のジェスチャを前記表示装置に表示させる制御を行う制御手順と
をコンピュータに実行させるためのプログラム。 A posture detection procedure for detecting the user's posture as an input posture after the expected posture, which is the posture expected of the user, is displayed on the display device, and
A program for causing a computer to execute a control procedure for controlling the display device to display a predetermined gesture expected from the user when the input posture substantially matches the expected posture.
JP2020061732A 2020-03-31 2020-03-31 Information processing apparatus, information processing system, information processing method and program Pending JP2021162969A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020061732A JP2021162969A (en) 2020-03-31 2020-03-31 Information processing apparatus, information processing system, information processing method and program
PCT/JP2021/004973 WO2021199697A1 (en) 2020-03-31 2021-02-10 Information processing device, information processing system, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020061732A JP2021162969A (en) 2020-03-31 2020-03-31 Information processing apparatus, information processing system, information processing method and program

Publications (1)

Publication Number Publication Date
JP2021162969A true JP2021162969A (en) 2021-10-11

Family

ID=77928073

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020061732A Pending JP2021162969A (en) 2020-03-31 2020-03-31 Information processing apparatus, information processing system, information processing method and program

Country Status (2)

Country Link
JP (1) JP2021162969A (en)
WO (1) WO2021199697A1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3588527B2 (en) * 1997-01-22 2004-11-10 株式会社東芝 User interface device and instruction input method
JP2001216069A (en) * 2000-02-01 2001-08-10 Toshiba Corp Operation inputting device and direction detecting method
US20130033644A1 (en) * 2011-08-05 2013-02-07 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling thereof
JP2015041317A (en) * 2013-08-23 2015-03-02 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ Method for building model for estimating level of skill of user for operating electronic devices, method for estimating level of skill of user, method for supporting the user according to the level of skill of the user, and computers and computer programs therefor

Also Published As

Publication number Publication date
WO2021199697A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
US11385720B2 (en) Picture selection method of projection touch
US11853108B2 (en) Electronic apparatus for searching related image and control method therefor
EP2908220A1 (en) Gesture recognition device and method of controlling gesture recognition device
US9330304B2 (en) Information processing apparatus and method for controlling the same
US9619104B2 (en) Interactive input system having a 3D input space
JP7279750B2 (en) Image processing device, image processing method, and program
JP6131540B2 (en) Tablet terminal, operation reception method and operation reception program
US10719121B2 (en) Information processing apparatus and information processing method
US20160004373A1 (en) Method for providing auxiliary information and touch control display apparatus using the same
US9916043B2 (en) Information processing apparatus for recognizing user operation based on an image
US10572772B2 (en) Object detection device, object detection method, and recording medium, and recording medium
WO2010049785A1 (en) Interaction using touch and non-touch gestures
JP6349800B2 (en) Gesture recognition device and method for controlling gesture recognition device
US10402080B2 (en) Information processing apparatus recognizing instruction by touch input, control method thereof, and storage medium
US11709593B2 (en) Electronic apparatus for providing a virtual keyboard and controlling method thereof
JP2007034525A (en) Information processor, information processing method and computer program
CN115129412A (en) Method and device for providing prototype of graphical user interface
WO2021199697A1 (en) Information processing device, information processing system, information processing method, and program
US20160306528A1 (en) Display apparatus capable of accepting operation for partially selecting display content, and display method
CN104238915A (en) Touch method, touch device and touch terminal
JP2017157046A (en) Information processor, information processing program and information processing method
KR20240003467A (en) Video content providing system based on motion recognition
JP2018041309A (en) Information processing apparatus, information processing method, and program
JP2022134370A (en) Display device, display method, and program
CN103777885A (en) Distinguishing between impulses and continuous drag operations on a touch-sensitive surface