WO2019176273A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2019176273A1
WO2019176273A1 PCT/JP2019/001191 JP2019001191W WO2019176273A1 WO 2019176273 A1 WO2019176273 A1 WO 2019176273A1 JP 2019001191 W JP2019001191 W JP 2019001191W WO 2019176273 A1 WO2019176273 A1 WO 2019176273A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information processing
processing apparatus
information
unit
Prior art date
Application number
PCT/JP2019/001191
Other languages
English (en)
French (fr)
Inventor
洋平 川元
脇田　能宏
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201980017235.2A priority Critical patent/CN111837094A/zh
Priority to EP19768565.4A priority patent/EP3767433A4/en
Priority to US16/977,873 priority patent/US11573648B2/en
Publication of WO2019176273A1 publication Critical patent/WO2019176273A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Definitions

  • the present technology relates to an information processing device, an information processing method, and a program that can be applied to a wearable device or the like.
  • Patent Document 1 discloses a projection system including a wristband type terminal and a smartphone.
  • this projection system an image is transmitted from a smartphone to a wristband type terminal.
  • the transmitted image is projected on the palm of the user by a projector mounted on the wristband type terminal.
  • various GUIs projected on the palm can be operated like operating a smartphone.
  • the usability of the mobile terminal is improved (paragraphs [0013] to [0025] in FIG. 1 of Patent Document 1).
  • an object of the present technology is to provide an information processing apparatus, an information processing method, and a program capable of realizing high usability.
  • an information processing apparatus includes a light source unit, a detection unit, and a determination unit.
  • the light source unit irradiates light on a body part of a user.
  • the detection unit includes a plurality of light detection units, and outputs a plurality of detection signals based on the reflected light reflected by the body part.
  • the determination unit determines the movement of the user based on information about speckles generated by irradiation of the light to the body part, which is included in the plurality of detection signals.
  • this information processing apparatus light is irradiated to a part of the user's body, and a plurality of detection signals are output based on the reflected light. And a user's motion is determined based on the information regarding the speckle contained in a some detection signal. Thereby, high usability can be realized.
  • the light source unit may irradiate the body part with laser light.
  • the plurality of light detection units may be a plurality of photodiodes.
  • the determination unit may determine the movement of the user based on a speckle pattern included in information on the speckle.
  • the determination unit may determine the movement of the user based on a time series change of the speckle pattern.
  • the determination unit may determine the movement of the user based on the periodicity of the time series change of the speckle pattern.
  • the body part may be a wrist.
  • the determination unit may determine the movement of the user's hand.
  • the determination unit may determine at least one of a bent finger type, a bent finger bending amount, an interaction between fingers, and an interaction between the finger and another object.
  • the information processing apparatus may further include an execution unit that executes processing according to the determined movement.
  • the execution unit may identify an operation input by the user based on the determined movement, and execute a process according to the identified operation.
  • the information processing apparatus may further include a history information storage unit that stores history information related to operations input by the user in the past.
  • the execution unit may identify an operation input by the user based on the stored history information.
  • the information processing apparatus may further include a display unit capable of displaying a predetermined GUI (Graphical User Interface).
  • the execution unit may identify an operation input to the displayed predetermined GUI based on the determined movement.
  • the execution unit may select a plurality of selection candidates that can be selected by the user based on the determined movement.
  • the display unit may display a selected image including the plurality of selected selection candidates.
  • the determination unit may determine the movement of the user according to a predetermined learning algorithm.
  • the information processing apparatus may further include an instruction unit and a determination information storage unit.
  • the instruction unit instructs the user to perform a predetermined movement.
  • the determination information storage unit stores determination information including information on the speckles included in the plurality of detection signals when the user performs the instructed predetermined movement. In this case, the determination unit may determine the movement of the user based on the stored determination information.
  • the information processing apparatus may further include a reception unit that receives correct / incorrect information regarding whether the determination result by the determination unit is correct.
  • the determination unit may determine the movement of the user based on the received correct / incorrect information.
  • the detection unit may include an image sensor.
  • the plurality of light detection units may be a plurality of pixels of the image sensor.
  • An information processing apparatus includes a reception unit and a determination unit.
  • the receiving unit receives a plurality of detection signals output based on reflected light reflected by the body part of the user in response to light irradiation on the body part of the user.
  • the determination unit determines the movement of the user based on information on speckles generated by irradiation of the light to the body part, which is included in the received plurality of detection signals.
  • An information processing method is an information processing method executed by a computer system, and is reflected by a part of the user's body in response to light irradiation on the part of the user's body Receiving a plurality of detection signals output based on the light. The movement of the user is determined based on information on speckles generated by irradiation of the light to the body part, which is included in the received plurality of detection signals.
  • a program causes a computer system to execute the following steps. Receiving a plurality of detection signals output based on the reflected light reflected by the body part of the user in response to light irradiation on the body part of the user; Determining the movement of the user based on information about speckles generated by irradiation of the light on the body part, which is included in the plurality of received detection signals.
  • FIG. 1 is a schematic diagram illustrating an appearance of a wearable device according to an embodiment of the present technology.
  • the wearable device 100 is a wristband type wearable device, and is used by being worn on the wrist 2 of the user.
  • the wearable device 100 corresponds to an embodiment of a recognition device and an information processing device according to the present technology.
  • the wearable device 100 includes a main body 10 and a mounting belt 11.
  • the body 10 is fixed by winding the attachment belt 11 around the wrist 2 and fastening it.
  • the wearable device 100 is mounted so that the main body 10 is positioned on the inner side of the user's wrist 2 (the palm side portion).
  • FIG. 2 is a schematic view of the wearable device 100 that is not worn by the user as viewed from the side.
  • FIG. 3 is a block diagram illustrating a functional configuration example of the wearable device 100.
  • the wearable device 100 includes a controller 12, a speaker 13, a projector 14, a touch panel 15, operation buttons 16, a communication unit 17, a sensor unit 18, and a storage unit 19. These blocks are mounted on the main body 10 of the wearable device 100.
  • the speaker 13 can output sound.
  • a voice guidance or an alarm sound is output from the speaker 13.
  • the projector 14 can project various images and GUI (Graphical User Interface).
  • GUI Graphic User Interface
  • an image or a GUI is projected on a surface such as a desk or a wall on which the user's hand is placed.
  • the touch panel 15 Various images and GUIs are displayed on the touch panel 15.
  • the user can input a predetermined instruction or the like by touching the touch panel 15.
  • the operation button 16 is provided to perform an operation different from the operation via the touch panel 15, for example, an operation of turning on / off the power.
  • the projector 14 and the touch panel 15 function as a display unit.
  • a gesture operation it is possible to easily input an instruction by a gesture using a hand (including a finger, a joint of a hand, a back of a hand, etc.). That is, it is possible to perform an input operation (gesture operation) using a gesture.
  • the gesture is a concept included in “movement”. The input of the gesture operation will be described in detail later.
  • the communication unit 17 is a module for executing network communication, short-range wireless communication, infrared communication, and the like with other devices.
  • a wireless LAN module such as WiFi or a communication module such as Bluetooth (registered trademark) is provided.
  • An arbitrary infrared communication module may be used.
  • the sensor unit 18 includes a light source unit 21, a PD (Photodiode) array sensor 22, a camera 23, and a 9-axis sensor 24.
  • the camera 23 can photograph the periphery of the wearable device 100. For example, the user's hand or face can be photographed by the camera 23.
  • the 9-axis sensor 24 includes a 3-axis acceleration sensor, a 3-axis gyro sensor, and a 3-axis compass sensor.
  • the nine-axis sensor 24 can detect, for example, the acceleration, angular velocity, and direction of the wearable device 100 in three axes.
  • the light source unit 21 and the PD array sensor 22 are arranged side by side on the back surface 10a of the main body unit 10 (the surface facing the surface of the user's wrist 2).
  • the light source unit 21 includes a laser light source, and irradiates the user's wrist 2 with the laser light L (see FIG. 4).
  • the type of the laser light source is not limited, and various laser light sources such as a semiconductor laser, a gas laser, a solid laser, and a liquid laser may be used.
  • the light source unit 21 may be provided with a lens system or the like that can adjust the luminous flux of the laser light emitted from the laser light source.
  • the PD array sensor 22 is composed of a plurality of photodiodes (PD) 26 (see FIG. 5) arranged two-dimensionally.
  • the PD 26 functions as a photodetector and can output a detection signal corresponding to the amount of incident light.
  • the PD 26 can detect light with a time resolution of several tens of kHz, and can detect a change in the amount of light for a minute time. In the present embodiment, 100 PDs 26 are used, but the number of PDs 26 is not limited and may be set arbitrarily. The specific configuration of the PD 26 is not limited and may be arbitrarily designed.
  • the light source unit 21 corresponds to a light source unit that irradiates light on a body part of a user.
  • the wrist 2 is selected as the body part.
  • the PD array sensor 22 includes a plurality of light detection units, and corresponds to a detection unit that outputs a plurality of detection signals based on the reflected light L1 (see FIG. 4) reflected by the body part (wrist 2).
  • the plurality of light detection units are the plurality of PDs 26, and the detection signals output from the plurality of PDs 26 correspond to the plurality of detection signals.
  • the storage unit 19 is a non-volatile storage device, and for example, an HDD (Hard Disk Drive) or the like is used.
  • the storage unit 19 stores a control program for controlling the overall operation of the wearable device 100.
  • the storage unit 19 stores learning data, history information, and the like, which will be described later.
  • a method for installing the control program or the like in the wearable device 100 is not limited.
  • the controller 12 controls the operation of each block that the wearable device 100 has.
  • the controller 12 has a hardware configuration necessary for a computer such as a CPU and a memory (RAM, ROM). Various processes are executed when the CPU loads a control program or the like stored in the storage unit 19 to the RAM and executes it.
  • a PLD Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • FIG. 4 is a schematic diagram for explaining operations of the light source unit 21 and the PD array sensor 22 arranged on the back surface 10 a of the main body unit 10.
  • FIG. 5 is a diagram schematically showing the PD array sensor 22.
  • FIG. 5A illustrates an arrangement example of a plurality of PDs 26, and
  • FIG. 5B schematically illustrates intensity distributions of detection signals output from the plurality of PDs 26.
  • the wearable device 100 is mounted on the bare skin. Therefore, the light source unit 21 and the PD array sensor 22 disposed on the back surface 10 a of the main body unit 10 are disposed to face the skin 4 covering the blood vessel 3. A minute gap is provided between the light source unit 21 and the PD array sensor 22 and the surface 4 a of the skin 4.
  • the light source unit 21 irradiates the laser beam L toward the surface 4 a of the skin 4.
  • coherent light such as the laser beam L
  • the laser beam L is diffused (scattered) by the fine unevenness on the surface 4a of the skin 4.
  • speckles spots
  • a detection signal corresponding to the speckle pattern is output from each PD 26 of the PD array sensor 22.
  • the intensity of the detection signal of the white PD 26 shown in FIG. 5B is the maximum, and the intensity of the detection signal of the black PD 26 is the minimum.
  • the intensity of the detection signal is an intermediate value.
  • FIG. 5B only two kinds of gray colors are schematically displayed, but of course, the present invention is not limited to this, and intensities included in the range from the minimum value to the maximum value depending on the amount of incident light.
  • a detection signal is output.
  • the intensity distribution of the plurality of detection signals output from the plurality of PDs 26 is an intensity distribution according to the speckle pattern generated. That is, the intensity distribution of the plurality of detection signals corresponds to the planar intensity pattern of the generated speckle.
  • the speckle pattern is a pattern according to the shape of the surface 4a of the skin 4, and when the shape of the surface 4a changes, the speckle pattern also changes. For example, when a finger is moved, muscles and tendons connected from the hand to the arm move, and the shape of the surface 4a of the skin 4 changes. That is, when the finger is moved, the speckle pattern generated by irradiating the laser beam L changes.
  • the inventor has focused on this point and newly found out that the movement of the hand around the finger is determined by capturing the movement of the muscle / tendon based on the speckle pattern. That is, the present inventors have newly found that the movement of the hand is determined based on the current speckle pattern, the time series change of the speckle pattern, and the like.
  • the intensity distribution of the plurality of detection signals output from the PD array sensor 22 corresponds to the speckle pattern. Therefore, by analyzing the intensity distribution of the plurality of detection signals output from the PD array sensor 22, it is possible to capture the movement of the muscle / tendon and determine the movement of the hand.
  • FIG. 6 is a schematic diagram showing an example of changes in hand motion and intensity distribution of detection signals.
  • the left index finger is bent inward.
  • 6B the muscle / tendon that moves the finger is deformed, and the surface 4a of the skin 4 covering the muscle / tendon is deformed near the wrist 2.
  • the speckle pattern at the time of laser irradiation changes. Therefore, as shown in FIG. 6C, the intensity distribution of the plurality of detection signals output from the PD array sensor 22 changes.
  • the intensity distribution of the detection signal is further schematically illustrated.
  • the deformation position and deformation method of the muscle / tendon differ, so the speckle pattern changes in different ways. come. Therefore, by analyzing the intensity distribution of the plurality of detection signals output from the PD array sensor 22, it is possible to determine the type of the bent finger and the way the finger is bent (the amount of bending of the finger, the bending speed, etc.). It is.
  • FIG. 7 is a schematic diagram for explaining the determination of the interaction between fingers and the interaction between the finger and another object.
  • the interaction between fingers includes arbitrary interactions such as hitting fingers (making two fingers collide with each other) and rubbing fingers (rubbing fingers together).
  • the interaction between the finger and another object includes any interaction such as hitting the object with the finger or rubbing the finger against the object.
  • the muscles and tendons inside the hand vibrate.
  • the shape of the surface 4a of the skin 4 changes and the speckle pattern also changes according to the frequency of vibration (vibration period).
  • vibration period For example, when a finger hitting sound is generated, it is considered that muscles / tendons vibrate at a frequency equivalent to the frequency of the sound and the speckle pattern changes.
  • the periodicity of the time series change of the speckle pattern by analyzing the periodicity of the time series change of the speckle pattern, it becomes possible to determine the interaction between the finger and the finger or the finger and the object. That is, it is possible to determine the interaction between the finger and the finger or the finger and the object by analyzing the time series change of the signal intensity schematically illustrated in FIG.
  • the analysis of the periodicity of the time series change includes analysis of arbitrary parameters related to the periodicity of the time series change such as the shape of the frequency distribution of the time series change and the peak frequency of the period.
  • frequency analysis is performed for a time-series change in signal intensity when the finger is stationary and a time-series change in signal intensity when the finger or the like is hit.
  • a peak occurs at a specific frequency when a desk or the like is hit with a finger. This is because the muscles and tendons vibrate when the finger is struck, thereby causing the surface 4a of the skin 4 to vibrate, and the influence appears as vibration of vibration intensity.
  • the positional relationship and structure of muscles and tendons differ. Therefore, the vibration frequency of muscles and tendons is different, and the frequency of time-series change of the speckle pattern (signal intensity), the peak frequency, the shape of the frequency distribution, and the like are also different.
  • the intensity distribution of the detection signal output from the PD array sensor 22, the time series change, the periodicity of the time series change (the frequency of the time series change, the peak frequency of the time series change period, etc.) Included in the information relating to speckles generated by irradiating the body part with light included in the detection signal.
  • the information regarding speckle includes arbitrary information regarding generated speckle, and includes, for example, a spatial speckle pattern feature and a time series feature that can be detected from a detection signal. Since the intensity of the detection signal itself is determined corresponding to the speckle, it is included in the information on the speckle.
  • the determination of the user's movement based on the intensity distribution of the plurality of detection signals is included in the determination of the user's movement based on the speckle pattern.
  • the determination of the user's movement based on the time series change of the plurality of detection signals is included in the determination of the user's movement based on the time series change of the speckle pattern.
  • the determination of the user's movement based on the periodicity of the time series change of the plurality of detection signals is included in the determination of the user's movement based on the periodicity of the time series change of the speckle pattern.
  • the determination may be executed based on the time series change of some of the detection signals. That is, the determination based on the time-series change of the speckle pattern (the peak frequency of the time-series change) is determined based on the time-series change (the peak frequency of the time-series change) of some of the detection signals. including. There may be a case where determination of the user's movement is executed by paying attention to the detection signal of one PD 26.
  • FIG. 8 is a block diagram illustrating a software configuration example of the wearable device 100.
  • FIG. 9 is a flowchart illustrating an operation example of the wearable device 100.
  • the detection signal output from the PD array sensor 22 may be referred to as a speckle signal.
  • the CPU of the controller 12 executes a program according to the present technology, so that the speckle signal receiving unit 30, the speckle signal analyzing unit 31, the motion determining unit 32, the operation identifying unit 33, and the process executing unit 34 are performed. Is realized. And the information processing method which concerns on this technique is performed by these blocks. Note that dedicated hardware may be appropriately used to implement each block.
  • the storage unit 19 is schematically illustrated in the controller 12 in order to easily understand that the learning data and the history information are appropriately read from the storage unit 19.
  • the speckle signal receiving unit 30 receives a plurality of detection signals (speckle signals) output from the PD array sensor 22 (step 101).
  • the speckle signal receiving unit 30 functions as a receiving unit.
  • the speckle signal analysis unit 31 analyzes the speckle signal (step 102).
  • the speckle pattern analysis unit 35 analyzes the speckle pattern.
  • the time-series speckle signal analysis unit 36 analyzes the time-series change of the speckle pattern over a plurality of times. As described above, these analysis results are included in the information on speckle.
  • the movement determination unit 32 determines the movement of the user's hand based on the analysis result of the speckle signal analysis unit 31. That is, the gesture made by the user is determined (step 103).
  • the motion determination unit 32 corresponds to a determination unit that determines a user's motion based on information about speckles included in a plurality of detection signals.
  • a user's movement is determined according to a predetermined machine learning algorithm.
  • a machine learning algorithm using a neural network such as RNN (Recurrent Neural Network), CNN (ConvolutionalMNeural Network), MLP (Multilayer Perceptron) or the like is used.
  • RNN Recurrent Neural Network
  • CNN ConvolutionalMNeural Network
  • MLP Multilayer Perceptron
  • any machine learning algorithm that executes a supervised learning method, an unsupervised learning method, a semi-supervised learning method, a reinforcement learning method, or the like may be used.
  • the storage unit 19 stores learning data including a correct answer label (user's gesture) and a speckle signal analysis result corresponding to the correct answer label.
  • the motion determination unit 32 performs learning according to a predetermined machine learning algorithm using the stored learning data. Thereby, it is possible to improve the accuracy of the user's gesture determination.
  • FIG. 10 and 11 are tables showing examples of gesture patterns that can be determined. As shown in FIG. 10, a gesture of shaking a finger in the air can be determined as a single finger operation. It is possible to determine both the shaking motion with one finger and the shaking motion with a plurality of fingers.
  • spatial direction information that is, a two-dimensional speckle pattern
  • the analysis target PD 26 and its detection signal may be appropriately selected.
  • the sensor area corresponding to the movement of each finger can be set based on, for example, the movement of the finger and the change in the speckle pattern in advance.
  • a sensor area corresponding to the movement of each finger may be set by machine learning.
  • the time direction information that is, the time-series change of the detection signal output from each PD 26, an intensity change occurs in a cycle corresponding to the shaking operation.
  • the time change of the detection signal of the PD 26 in the sensor area corresponding to the movement of the index finger is analyzed.
  • the shaking motion is determined based on the periodicity.
  • the features of the spatial direction information and the time direction information for the shaking motion shown in FIG. 10 are examples found by the inventor, and are not limited to cases where such features are seen. For example, even when other characteristics are seen, it is possible to determine the motion to shake based on the characteristics. As a matter of course, the motion of shaking may be determined by inputting the signal strength and the time series change of the strength as they are by machine learning.
  • the sensor area with the largest change is calculated based on the change in the intensity distribution of the detection signal.
  • the finger moved based on the calculated sensor area is determined, and the movement of the finger is determined based on the detection signal of the PD 26 included in the sensor area. Such a determination method is also possible.
  • the gesture of bending the finger can be determined as a single finger operation. It is possible to determine both the bending operation with one finger and the bending operation with a plurality of fingers.
  • the time change of the detection signal of the PD 26 in the sensor area corresponding to the movement of the index finger is analyzed. Since the amount of deformation of the surface 4a of the skin 4 increases due to finger bending, the intensity fluctuation of the detection signal (intensity fluctuation of the scattered light) increases. Based on such characteristics, the bending operation can be determined.
  • the present invention is not limited to such a case.
  • a gesture of rubbing fingers and a gesture of hitting fingers as movements between fingers.
  • a sensor area related to rubbing between the index finger and the thumb and a sensor area related to hitting the index finger and the thumb are set as analysis targets.
  • the sensor area related to each operation can be set based on, for example, each movement and a change in speckle pattern in advance. Of course, it may be set by machine learning.
  • gesture determination is executed by paying attention to the fact that the peak frequency due to finger rubbing and the peak frequency due to finger hitting each have a unique value. That is, based on the peak frequency of the time series change of the detection signal of each PD 26, a gesture for rubbing fingers and a gesture for tapping fingers are determined.
  • the present invention is not limited to such a case.
  • the moving average (average for each predetermined section) of the intensity of the detection signal of the PD 26 is acquired as “time direction information” of “single finger movement”. By calculating the average for each predetermined section, it is possible to smooth the fine time fluctuation and see the signal trend macroscopically.
  • the intensity change of the detection signal of the PD 26 is acquired as it is as “time direction information”. As described above, various methods may be adopted as a method of acquiring “time direction information” from the detection signal.
  • a gesture of rubbing a finger against an object can be determined as an operation between the finger and the object. Either a rubbing operation with one finger or a rubbing operation with a plurality of fingers can be determined. It is also possible to determine each of the rubbing operations with different rubbing directions.
  • one PD 26 in the sensor area corresponding to the movement of the index finger is selected as an analysis target. Based on the peak frequency of the time series change of the detection signal of the PD 26, a gesture of rubbing a finger against the object is determined.
  • the present invention is not limited to such a case.
  • a gesture of hitting an object with a finger can be determined as an operation between the finger and the object. It is possible to determine both a tapping action with one finger and a tapping action with a plurality of fingers.
  • one PD 26 in the sensor area corresponding to the movement of the index finger is selected as an analysis target. Based on the peak frequency of the time-series change of the detection signal of the PD 26, a gesture of hitting an object with a finger is determined.
  • the present invention is not limited to such a case.
  • the frequency of the time-series change of the detection signal and the peak frequency vary depending on how the finger is bent (such as the amount of bending of the finger and the bending speed). . Therefore, by analyzing the time-series change of the detection signal, it is possible to determine how to bend the finger (such as the amount of bending of the finger and the bending speed) when the object is hit with a finger.
  • the operation identifying unit 33 identifies the operation input by the user based on the determined gesture (step 104). That is, the content of the input operation (gesture operation) using the gesture is identified.
  • the process execution unit 34 executes a process according to the gesture determined by the movement determination unit 32. Specifically, the process according to the operation input by the user identified by the operation identifying unit 33 is executed (step 105). In the present embodiment, an execution unit is realized by the operation identification unit 33 and the process execution unit.
  • FIG. 12 is a schematic diagram for explaining an example of a virtual remote controller using the present technology. For example, as illustrated in FIG. 12A, it is assumed that a user is sitting in a room and the wearable device 100 according to the present technology is mounted on the left hand of the user.
  • remote controller remote control
  • a gesture is associated with a device operation. Selection of gesture ⁇ control target device to shake one finger up and down as shown in FIG. 12B Selection of tap ⁇ operation item between fingers as shown in FIG. 12C Control over gesture ⁇ operation item as shown in FIG. 12D
  • the gesture that shakes one finger up and down is determined by the movement determination unit 32.
  • the operation identifying unit 33 identifies that an operation for selecting a device to be controlled is input by the gesture. Here, it is assumed that the television is selected as the device to be controlled.
  • the tap between fingers is determined by the motion determination unit 32.
  • the operation identifying unit 33 identifies that an operation for selecting an operation item is input by the gesture. Here, it is assumed that volume adjustment is selected.
  • the movement determination unit 32 determines a gesture for rubbing fingers.
  • the operation identifying unit 33 identifies that control for the operation item is input by the gesture. For example, it is assumed that a fast rubbing ⁇ volume up, a slow rubbing ⁇ volume down, etc. are assigned.
  • the operation identifying unit 33 identifies whether the input operation is volume up or volume down.
  • the process execution unit 34 executes a process according to the identified input operation. That is, when the volume is increased, a control signal for increasing the volume is transmitted to the television. When the volume is down, a control signal for decreasing the volume is transmitted to the television.
  • a virtual remote controller can be realized, and high usability can be realized. Assignment of a remote control operation or the like to a gesture, a device to be controlled, a control method, and the like can be arbitrarily set.
  • FIG. 13 is a diagram for explaining an example of a virtual dialog box using the present technology.
  • the wearable device 100 according to the present technology is worn on the right hand.
  • the projector 14 of the wearable device 100 displays a spinning wheel UI 37 as a dialog box on the surface of a desk or wall.
  • the displayed spinning wheel UI 37 can be operated by a gesture using the finger of the right hand.
  • a wheel to be rotated is selected according to the kind of finger, and the selected wheel is rotated by a gesture of rubbing the finger.
  • a gesture of rubbing the thumb against the surface an operation to rotate the left end wheel is recognized, and the left end wheel is rotated.
  • an operation to rotate the center wheel is recognized, and the center wheel is rotated.
  • an operation to rotate the rightmost wheel is recognized, and the rightmost wheel is rotated.
  • the input operation of the selected numerical value is identified by rotating the wheel, and the input of the selected numerical value is executed. For example, such processing is executed.
  • a display 38 that functions as a display unit is provided at a position outside the wrist (on the back of the hand).
  • the spinning wheel UI 37 ′ displayed on the display 38 can be operated by a gesture using the finger of the right hand.
  • the present technology is applicable not only to the spinning wheel UI 37 but also to various input UIs as shown in FIGS. 14A and 14B.
  • a column is selected according to the type of finger, and a row is selected according to how the finger is moved, and the character or numerical value to be input is determined.
  • Other gestures may be used as appropriate.
  • this technology is applied to any GUI such as a UI for selecting a desired selection tab from a plurality of selection tabs or a UI for displaying a menu including a plurality of options when a pull-down button is selected. It is possible to apply.
  • FIG. 15 is a diagram for explaining an example of a virtual keyboard using the present technology.
  • wearable device 100 is attached to the left hand of the user.
  • keyboard input becomes possible. For example, a tap with a predetermined finger is determined, and the key input operation is recognized based on the type of the finger, how to spread the hand, how the finger is bent, and the like. Then, the corresponding key is input.
  • the wearable device 100 by wearing the wearable device 100 according to the present technology on the wrists of both hands, it is possible to determine a gesture using ten fingers and to realize a virtual keyboard. This makes it possible to achieve high usability.
  • the camera 23 provided in the wearable device 100 captures a hand that is not attached to the wearable device 100. It is also possible to determine the movement of the hand based on the captured image and identify the key input. Such a method may be used to implement a virtual keyboard.
  • the wearable device 100 is mounted so that the main body 10 is located outside the wrist (on the back side of the hand).
  • the position at which the main body portion 10 is fixed is not limited, and may be arbitrarily set as long as it is disposed to face the skin.
  • FIG. 17 is a diagram for explaining an example of virtual flick input using the present technology.
  • Flick input can be performed by a gesture using a finger. For example, when it is determined that the finger touches for a predetermined time or longer, a process of displaying the UI 39 for flick input around is executed. After that, when a gesture for rubbing a finger and a gesture for separating a finger are determined, it is identified which character has been selected based on how the finger is rubbed (rubbing direction, etc.), and input of the selected character is executed. Is done.
  • the user selects a character by tapping on the UI for flick input. Also in this case, it is possible to identify which character has been selected by detecting vibration or the like corresponding to the tap. This makes it possible to achieve high usability.
  • the identification processing by the operation identification unit 33 may be executed using history information stored in the storage unit 19.
  • the history information is information related to operations input by the user in the past, and is not limited to operations input using gestures, but may include information related to operations input by other methods.
  • the storage unit 19 that stores history information corresponds to a history information storage unit.
  • the input data history input in the past is referred to as history information.
  • the input data is accumulated, and the next input is predicted from the pattern of the input data. It is possible to improve the identification accuracy by comprehensively identifying the input operation after combining the identification based on the gesture and the prediction result.
  • N-gram As a prediction from the input data pattern, there is a method using N-gram.
  • the frequency of N consecutive input data strings is stored, the frequency distribution is used to obtain the probability of the input next to the N ⁇ 1 input strings, and the higher one is used as the estimation result. For example, assume that “son” is input. In this case, it is assumed that the frequency distribution of the next input is (sony: 7, song: 10, sona: 2, son: 1). Therefore, the estimation result is “g” (probability 1/2).
  • the reliability of the gesture determination, the reliability of the operation identified based on the gesture determination, and the like may be calculated, and the parameters may be used when performing comprehensive determination.
  • history information Even when an application other than a virtual keyboard is being executed, operation identification using history information can be performed.
  • the specific type of the history information is not limited, and arbitrary information may be used as the history information. Moreover, it is not limited to the system using N-gram, and an arbitrary system may be used.
  • FIG. 18 is a schematic diagram showing an example of the selected image.
  • the selected image is an image including a plurality of selection candidates that can be selected by the user, and corresponds to a candidate selection GUI.
  • the operation identifying unit 33 may identify a plurality of operations as a plurality of candidates based on the gesture determination. For example, when key input using a virtual keyboard is being executed, it is assumed that two operations of “H” input operation and “J” input operation are identified as candidates based on gesture determination. In such a case, a selection image 40 having “H” and “I” as selection candidates as shown in FIG. 18 is displayed. The selection image 40 can also be said to be an image that informs the user that two of “H” and “I” have been identified as operation candidates.
  • the selected image 40 includes “other” in which it can be input that it is not a selection candidate.
  • the user operates the selection image 40 to select any one of “H”, “I”, and “other”.
  • the operation can also be input using a gesture.
  • By displaying the selection image 40 it is possible to easily input an operation even when there are a plurality of candidates. Even if the operation is identified incorrectly, only one step of selecting “other” is required without causing the user to go through the two steps of “erase” ⁇ “reselect”. This makes it possible to achieve high usability.
  • an input indicating that it is not a selection candidate can be assigned to a special operation. For example, when two taps are input at the same time, it is input that they are not selection candidates in the selection image 40.
  • the selected image 40 can be displayed even when an application other than the virtual keyboard is being executed.
  • a selection image including a plurality of selection candidates corresponding to each application may be displayed as appropriate.
  • a selection image is displayed when the reliability is below a predetermined threshold value. Such processing is also possible.
  • an instruction processing execution unit 45 and a learning data generation unit 46 are configured in the controller 12.
  • the instruction process execution unit 45 instructs the user to execute a predetermined movement (predetermined gesture).
  • the learning data generation unit 46 generates learning data including an analysis result (information on speckle) of a speckle signal output from the PD array sensor 22 when a predetermined gesture instructed by the user is executed. That is, the gesture instructed to the user is set as a correct answer label, and the analysis result when the user executes the gesture is associated with each other and generated as learning data.
  • the learning data corresponds to determination information
  • the storage unit 19 that stores the learning data corresponds to a determination information storage unit.
  • the projector 14 of the wearable device 100 displays the input UI shown in FIG. 14B on a display surface such as a desk.
  • the following instruction is executed by displaying a text image or outputting sound from the speaker 13.
  • (1) Tap the index finger on the display surface with the sensation of hitting “4”
  • (2) Move the index finger to the upper side and tap it with the sensation of hitting “7” above
  • (2) Down one Move the index finger downward and tap it with the sensation of hitting “1”
  • the instruction processing execution unit 45 outputs gesture information corresponding to the instructions (1) to (4), that is, information serving as a correct answer label, to the learning data generation unit 46.
  • the learning data generation unit 46 generates learning data by associating the received correct answer label with the analysis result when the gesture is executed.
  • the projector 14, the speaker 13, and the instruction processing execution unit 45 realize an instruction unit.
  • gestures are executed by the user is not limited and may be arbitrarily set.
  • the method of executing the gesture is not limited, and any method may be adopted.
  • correct / incorrect information regarding whether or not the determination result of the gesture determination is correct is input via the user input unit 47.
  • any configuration capable of inputting correct / incorrect information may be employed.
  • correct / incorrect information may be input by an operation on the UI displayed by the projector 14 shown in FIG. 3, an operation on the touch panel 15, or an operation on the operation button 16.
  • selection of the delete key “Del” displayed by the projector 14 or the touch panel 15, selection of a predetermined delete button included in the operation button 16, or the like may be performed.
  • a microphone etc. may be mounted and correct / error information may be input by a user's voice input.
  • correct / incorrect information may be input by a special gesture operation.
  • the correct / incorrect information regarding whether or not the determination result of the gesture determination is correct is typically information indicating whether or not the process executed by the process execution unit is correct.
  • information indicating that is input as correct / incorrect information For example, when “J” is input even though “H” is input using the virtual keyboard, correct / incorrect information indicating that the determination result of the gesture determination is incorrect is input. Other information may be used as correct / incorrect information.
  • the present invention is not limited to inputting information indicating that the determination result is incorrect, and information indicating that the determination result is correct may be input.
  • information indicating that the determination result is correct may be input.
  • the process is re-executed, and correct correct / incorrect information is input in order to input that the process is correct.
  • it is not limited to such a case.
  • the correct / incorrect information input by the user is received by the feedback receiving unit 48 configured in the controller 12.
  • the feedback receiving unit 48 outputs the correct / incorrect information to the learning data generating unit 46.
  • the feedback receiving unit 46 functions as a receiving unit.
  • the learning data generation unit 46 generates learning data based on the determination result by the motion determination unit 32 and the analysis result output from the speckle signal analysis unit 31 and stores the learning data in the storage unit 19.
  • the correct / incorrect information output from the feedback receiver 48 is referred to. For example, when correct / incorrect information indicating an incorrect answer is received, the learning data generated when the process of accepting the incorrect answer feedback is updated.
  • the process is then redone and the correct feedback is received.
  • the learning data can be updated by updating the correct answer label to a gesture related to the redo process. If the learning data cannot be updated, the learning data may be discarded.
  • the wearable 100 As described above, in the wearable 100 according to the present embodiment, light is irradiated onto the body part of the user, and a plurality of detection signals are output based on the reflected light.
  • the user's gesture is determined based on information on speckles included in the plurality of detection signals, that is, the analysis result of the speckle signals.
  • the wearable device 100 increases the gesture based on information on speckles generated by irradiating the body part with light, that is, speckle patterns, time-series changes / peak frequencies of speckle patterns, and the like. It is possible to determine the accuracy and identify the input operation with high accuracy.
  • the PD array sensor 22 is used as the detection unit. Therefore, it is possible to detect a change in the amount of light for a minute time compared to an image sensor such as a CCD (Charge-Coupled Device) sensor or a CMOS (Complementary Metal-Oxide-Semiconductor) sensor. As a result, it is possible to determine the user's gesture with high accuracy.
  • an image sensor such as a CCD (Charge-Coupled Device) sensor or a CMOS (Complementary Metal-Oxide-Semiconductor) sensor.
  • the PD array sensor 22 can be operated with lower power consumption than an image sensor, and can be driven for a long time.
  • the sensitivity is high, the power of the laser beam emitted to the body part can be reduced, which is advantageous in reducing power consumption. Further, it is possible to reduce the size of the condenser lens and the like, and it is possible to reduce the cost.
  • the wearable device 100 it is possible to sufficiently suppress the influence of the brightness of the environment where the wearable device 100 is used. For example, when an image sensor is used and a hand movement is photographed, the identification accuracy decreases if the surroundings are dark.
  • the light source unit 21 and the PD array sensor 22 are arranged at a position very close to the body part, and the intensity of the reflected light is detected. Therefore, it is possible to analyze a speckle pattern or the like with high accuracy without being affected by surrounding brightness.
  • the image sensor functions as a detection unit, and a plurality of pixels of the image sensor function as a plurality of light detection units.
  • a plurality of pixel signals output from a plurality of pixels correspond to a plurality of detection signals.
  • a determination information storage unit and a history information storage unit are realized by the storage unit 19, and a motion determination process using learning data and an operation identification process using history information are executed.
  • the present invention is not limited to this, and a configuration that does not include one or both of the determination information storage unit and the history information storage unit is also included in an embodiment of the information processing apparatus according to the present technology. That is, the motion determination process may be executed without using determination information such as learning data, or the operation identification process may be executed without using history information.
  • a configuration that does not include the history information storage unit may be employed as an embodiment of the information processing device according to the present technology.
  • the determination information storage unit and the history information storage unit are realized by the storage unit 19, but the determination information storage unit and the history information storage unit may be configured separately by different storages or the like.
  • the user's movement was determined by machine learning based on the analysis result of the speckle signal. Based on the determination result, the operation input by the user is identified.
  • the present invention is not limited to this, and the operation input by the user may be identified by machine learning based on the analysis result of the speckle signal. In other words, it may be estimated what the input operation is without determining how the user has moved.
  • the motion determination unit 32 and the operation identification unit 33 shown in FIG. 8 and the like are integrated to form an input estimation unit.
  • the input operation may be identified by machine learning based on the analysis result of the speckle signal.
  • Such a configuration also corresponds to an embodiment of a recognition device and an information processing device according to the present technology. Also with such a configuration, it is possible to similarly execute processing using history information and learning data.
  • gesture determination and operation identification were performed based on the analysis result of the speckle signal. Instead, gesture determination and operation identification may be executed by machine learning or the like from the detection signal output from the PD array sensor. That is, the analysis step may be omitted.
  • gesture determination and operation identification may be executed on a rule basis using table information or the like. Even when machine learning is not used, data corresponding to the learning data shown in FIG. 8 and the like can be appropriately used as determination information. Of course, any learning algorithm other than machine learning can be employed.
  • the case where a laser light source is used for the light source unit is taken as an example. Note that the present technology can be applied even when another coherent light source capable of emitting coherent light is used.
  • a PD array sensor in which a plurality of PDs are arranged two-dimensionally was used.
  • the present invention is not limited to this, and a PD array sensor in which a plurality of PDs are arranged one-dimensionally may be used.
  • FIG. 21 is a schematic diagram showing another example of a position where the main body is fixed.
  • the wearable device 100 may be mounted so that the main body 10 is located outside the wrist (on the back of the hand).
  • the main-body parts 10a and 10b may be fixed to the inner side and the outer side of a wrist, respectively. That is, analysis of speckle patterns or the like may be executed at two locations, the inner portion and the outer portion of the wrist.
  • the position and number of the light source unit and the detection unit are not limited and may be set arbitrarily.
  • the wearing state of the wearable device may be determined based on the analysis result of the speckle signal. For example, it is possible to detect the position shift of the main body (light source and detection unit) and to prompt the user to confirm the wearing state. It is also possible to execute gesture determination and operation identification with reference to the position information of the main body (light source and detection unit).
  • a wristband type wearable device is taken as an example, but the present invention is not limited to this.
  • a bracelet for the upper arm, a headband for the head (head mount), a neckband for the neck, a torso for the chest, a belt for the waist, an anklet for the ankle The present technology can be applied to various wearable devices such as a watch type, a ring type, a necklace type, an earring type, and a pierced type.
  • the part irradiated with light is not limited, and may be arbitrarily selected.
  • the user movement that can be determined by using the present technology is not limited to the movement of the user's hand.
  • the part where the wearable device is worn that is, the part irradiated with light, the foot (thigh, knee, calf, ankle, toe), neck, waist, buttocks, arms, head, face, chest It is possible to determine the movement of any part such as.
  • Sign language translation Captures the movement of fingers and arms, and verbalizes the sign language expression (for example, displayed on a smartphone)
  • Action recognition Captures the movement of holding and grasping objects and recognizes user actions (spoon and chopstick movement, PC operation, car driving, hanging leather gripping, etc.)
  • Pen input recording When a notebook is filled with a pen, the pen movement is simultaneously recorded on an electronic medium.
  • the movement of the user may be determined by combining a PD array sensor and an acceleration sensor.
  • the movements determined based on the results of the sensors may be integrated, or the user's movements may be determined by machine learning or the like using the results of the sensors as inputs.
  • the information processing method and program according to the present technology can be executed not only in a computer system configured by a single computer but also in a computer system in which a plurality of computers operate in conjunction with each other.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems.
  • all or some of the functions of the blocks included in the controller 12 may be executed by the cloud server.
  • the information processing method according to the present technology may be executed by interlocking a plurality of computers that can communicate with each other.
  • the execution of each process by a predetermined computer includes causing another computer to execute a part or all of the process and acquiring the result.
  • the information processing method and program according to the present technology can also be applied to a configuration of cloud computing in which one function is shared by a plurality of devices via a network and is jointly processed.
  • this technique can also take the following structures.
  • a light source unit that irradiates light on a body part of a user;
  • a detection unit having a plurality of light detection units and outputting a plurality of detection signals based on the reflected light reflected by the body part;
  • An information processing apparatus comprising: a determination unit that determines the movement of the user based on information about speckles generated by irradiation of the light to the body part included in the plurality of detection signals.
  • the information processing apparatus according to (1) The light source unit irradiates a laser beam to a part of the body.
  • the plurality of light detection units are a plurality of photodiodes.
  • the information processing apparatus determines the user's movement based on a speckle pattern included in information on the speckle.
  • the information processing apparatus according to (4) determines the user's movement based on a time-series change of the speckle pattern.
  • the information processing apparatus according to (5) determines the user's movement based on the periodicity of the time-series change of the speckle pattern.
  • the information processing apparatus determines the movement of the user's hand.
  • the information processing apparatus determines at least one of a bent finger type, a bent finger bending amount, an interaction between fingers, and an interaction between a finger and another object.
  • An information processing apparatus comprising: an execution unit that executes processing according to the determined movement.
  • the information processing apparatus identifies an operation input by the user based on the determined movement, and executes a process according to the identified operation.
  • (11) The information processing apparatus according to (10), wherein A history information storage unit for storing history information related to operations input by the user in the past, The execution unit identifies an operation input by the user based on the stored history information.
  • the information processing apparatus according to (10) or (11), A display unit capable of displaying a predetermined GUI (Graphical User Interface); The execution unit identifies an operation input to the displayed predetermined GUI based on the determined movement. (13) The information processing apparatus according to (12), The execution unit selects a plurality of selection candidates that the user can select based on the determined movement, The information processing apparatus, wherein the display unit displays a selected image including the plurality of selected selection candidates. (14) The information processing apparatus according to any one of (1) to (13), The information processing apparatus determines the user's movement according to a predetermined learning algorithm.
  • the information processing apparatus according to any one of (1) to (14), An instruction unit for instructing the user to perform a predetermined movement; A determination information storage unit that stores determination information including information about the speckles included in the plurality of detection signals when the user performs the instructed predetermined movement; and The determination unit determines the user's movement based on the stored determination information.
  • the information processing apparatus according to any one of (1) to (15), Comprising a receiving unit for receiving correct / incorrect information regarding whether or not the determination result by the determination unit is correct; The determination unit determines the user's movement based on the received correct / incorrect information.
  • the detection unit includes an image sensor, The plurality of light detection units are a plurality of pixels of the image sensor.
  • a receiving unit that receives a plurality of detection signals output based on reflected light reflected by the body part of the user in response to light irradiation on the body part of the user;
  • An information processing apparatus comprising: a determination unit configured to determine the user's movement based on information on speckles generated by irradiation of the light to the body part included in the plurality of received detection signals.
  • a program for causing a computer system to execute a step of determining the movement of the user based on information on speckles generated by irradiation of the light to the body part, which is included in the plurality of received detection signals.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術の一形態に係る情報処理装置は、光源部と、検出部と、判定部とを具備する。前記光源部は、ユーザの体の部位に光を照射する。前記検出部は、複数の光検出部を有し、前記体の部位により反射された反射光に基づいて、複数の検出信号を出力する。前記判定部は、前記複数の検出信号に含まれる、前記体の部位への前記光の照射により発生するスペックルに関する情報に基づいて、前記ユーザの動きを判定する。

Description

情報処理装置、情報処理方法、及びプログラム
　本技術は、ウェアラブル装置等に適用可能な情報処理装置、情報処理方法、及びプログラムに関する。
　特許文献１には、リストバンド型端末及びスマートフォンからなる投影システムについて開示されている。この投影システムでは、スマートフォンからリストバンド型端末に、画像が送信される。送信された画像は、リストバンド型端末に搭載されたプロジェクタにより、ユーザの手の平に投影される。これにより画像の視認性が向上される。またスマートフォンを操作するように、手の平に投影された種々のＧＵＩを操作することが可能となる。この結果、モバイル端末のユーザビリティが向上されている（特許文献１の明細書段落［００１３］～［００２５］図１等）。
特開２０１５－４１０５２号公報
　今後も、ウェアラブル装置等を用いた様々なシステムが普及していくと考えられ、高いユーザビリティを実現可能な技術が求められている。
　以上のような事情に鑑み、本技術の目的は、高いユーザビリティを実現することが可能となる情報処理装置、情報処理方法、及びプログラムを提供することにある。
　上記目的を達成するため、本技術の一形態に係る情報処理装置は、光源部と、検出部と、判定部とを具備する。
　前記光源部は、ユーザの体の部位に光を照射する。
　前記検出部は、複数の光検出部を有し、前記体の部位により反射された反射光に基づいて、複数の検出信号を出力する。
　前記判定部は、前記複数の検出信号に含まれる、前記体の部位への前記光の照射により発生するスペックルに関する情報に基づいて、前記ユーザの動きを判定する。
　この情報処理装置では、ユーザの体の部位へ光が照射され、その反射光に基づいて複数の検出信号が出力される。そして複数の検出信号に含まれるスペックルに関する情報に基づいて、ユーザの動きが判定される。これにより、高いユーザビリティを実現することが可能となる。
　前記光源部は、前記体の部位に、レーザ光を照射してもよい。
　前記複数の光検出部は、複数のフォトダイオードであってもよい。
　前記判定部は、前記スペックルに関する情報に含まれるスペックルパターンに基づいて、前記ユーザの動きを判定してもよい。
　前記判定部は、前記スペックルパターンの時系列変化に基づいて、前記ユーザの動きを判定してもよい。
　前記判定部は、前記スペックルパターンの時系列変化の周期性に基づいて、前記ユーザの動きを判定してもよい。
　前記体の部位は、手首であってもよい。この場合、前記判定部は、前記ユーザの手の動きを判定してもよい。
　前記判定部は、曲げられた指の種類、曲げられた指の曲がり量、指同士の相互作用、及び指と他の物体との相互作用の少なくとも１つを判定してもよい。
　前記情報処理装置は、さらに、前記判定された動きに応じた処理を実行する実行部を具備してもよい。
　前記実行部は、前記判定された動きに基づいて、前記ユーザにより入力された操作を識別し、前記識別された操作に応じた処理を実行してもよい。
　前記情報処理装置は、さらに、過去にユーザが入力した操作に関する履歴情報を記憶する履歴情報記憶部を具備してもよい。この場合、前記実行部は、前記記憶された履歴情報に基づいて、前記ユーザにより入力された操作を識別してもよい。
　前記情報処理装置は、さらに、所定のＧＵＩ（Graphical User Interface）を表示可能な表示部を具備してもよい。この場合、前記実行部は、前記判定された動きに基づいて、前記表示された所定のＧＵＩに対して入力された操作を識別してもよい。
　前記実行部は、前記判定された動きに基づいて、前記ユーザが選択可能な複数の選択候補を選択してもよい。この場合、前記表示部は、前記選択された複数の選択候補を含む選択画像を表示してもよい。
　前記判定部は、所定の学習アルゴリズムに従って、前記ユーザの動きを判定してもよい。
　前記情報処理装置は、さらに、指示部と、判定用情報記憶部とを具備してもよい。
　前記指示部は、前記ユーザに所定の動きの実行を指示する。
　前記判定用情報記憶部は、前記ユーザが前記指示された所定の動きを実行した際の、前記複数の検出信号に含まれる前記スペックルに関する情報を含む判定用情報を記憶する。
　この場合、前記判定部は、前記記憶された判定用情報に基づいて、前記ユーザの動きを判定してもよい。
　前記情報処理装置は、さらに、前記判定部による判定結果が正しいか否かに関する正誤情報を受付ける受付部を具備してもよい。この場合、前記判定部は、前記受付けた前記正誤情報に基づいて、前記ユーザの動きを判定してもよい。
　前記検出部は、イメージセンサを含んでもよい。この場合、前記複数の光検出部は、前記イメージセンサの複数の画素であってもよい。
　本技術の他の形態に係る情報処理装置は、受信部と、判定部とを具備する。
　前記受信部は、ユーザの体の部位への光の照射に応じて、前記ユーザの体の部位により反射された反射光に基づいて出力される複数の検出信号を受信する。
　前記判定部は、前記受信された複数の検出信号に含まれる、前記体の部位への前記光の照射により発生するスペックルに関する情報に基づいて、前記ユーザの動きを判定する。
　本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、ユーザの体の部位への光の照射に応じて、前記ユーザの体の部位により反射された反射光に基づいて出力される複数の検出信号を受信することを含む。
　前記受信された複数の検出信号に含まれる、前記体の部位への前記光の照射により発生するスペックルに関する情報に基づいて、前記ユーザの動きが判定される。
　本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
　ユーザの体の部位への光の照射に応じて、前記ユーザの体の部位により反射された反射光に基づいて出力される複数の検出信号を受信するステップ。
　前記受信された複数の検出信号に含まれる、前記体の部位への前記光の照射により発生するスペックルに関する情報に基づいて、前記ユーザの動きを判定するステップ。
　以上のように、本技術によれば、高いユーザビリティを実現することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係るウェアラブル装置の外観を示す概略図である。 ユーザに装着されていない状態のウェアラブル装置を示す模式図である。 ウェアラブル装置の機能的な構成例を示すブロック図である。 光源部及びＰＤアレイセンサの動作を説明するための模式図である。 ＰＤアレイセンサを模式的に示す図である。 手の動きと検出信号の強度分布の変化の一例を示す模式図である。 指同士の相互作用、及び指と他の物体との相互作用に関する判定について説明するための模式図である。 ウェアラブル装置のソフトウェア構成例を示すブロック図である。 ウェアラブル装置の動作例を示すフローチャートである。 判定可能なジェスチャーパターンの一例を示す表である。 判定可能なジェスチャーパターンの一例を示す表である。 本技術を用いたバーチャルリモコンの一例を説明するための模式図である。 本技術を用いたバーチャルダイアログボックスの一例を説明するための図である。 入力ＵＩの一例を示す模式図である。 本技術を用いたバーチャルキーボードの一例を説明するための図である。 バーチャルキーボードを実現する方法の一例を示す模式図である。 本技術を用いたバーチャルフリック入力の一例を説明するための図である。 選択画像の一例を示す模式図である。 学習データの生成に関する構成例を示す模式図である。 学習データの生成に関する構成例を示す模式図である。 本体部が固定される位置の他の例を示す模式図である。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
　図１は、本技術の一実施形態に係るウェアラブル装置の外観を示す概略図である。ウェアラブル装置１００は、リストバンド型のウェアラブルデバイスであり、ユーザの手首２に装着されて使用される。本実施形態において、ウェアラブル装置１００は、本技術に係る認識装置、及び情報処理装置の一実施形態に相当する。
　図１Ａ及びＢに示すようにウェアラブル装置１００は、本体部１０と、装着ベルト１１とを有する。装着ベルト１１を手首２の周りに巻きつけて留めることで、本体部１０が固定される。本実施形態では、ユーザの手首２の内側の部分（手の平側の部分）に、本体部１０が位置するように、ウェアラブル装置１００が装着される。
　図２は、ユーザに装着されていない状態のウェアラブル装置１００を側方から見た模式図である。図３は、ウェアラブル装置１００の機能的な構成例を示すブロック図である。
　ウェアラブル装置１００は、コントローラ１２、スピーカ１３、プロジェクタ１４、タッチパネル１５、操作ボタン１６、通信部１７、センサ部１８、及び記憶部１９を有する。これらのブロックは、ウェアラブル装置１００の本体部１０に搭載される。
　スピーカ１３は、音声を出力可能である。スピーカ１３により、例えば音声ガイダンスやアラーム音等が出力される。プロジェクタ１４は、種々の画像やＧＵＩ（Graphical User Interface）を投影可能である。例えばユーザの手が置かれる机や壁等の表面に画像やＧＵＩが投影される。あるいはユーザの膝の上や、ユーザの手の平等に画像等を投影することも可能である。
　タッチパネル１５には、種々の画像やＧＵＩが表示される。ユーザは、タッチパネル１５をタッチ操作することで、所定の指示等を入力することができる。操作ボタン１６は、例えば電源のＯＮ／ＯＦＦの操作のように、タッチパネル１５を介した操作とは異なる操作を行うために設けられる。本実施形態において、プロジェクタ１４及びタッチパネル１５は、表示部として機能する。
　なお本実施形態では、手（指、手の関節、手の甲等を含む）を使ったジェスチャーにより、簡単に指示入力等を行うことが可能である。すなわちジェスチャーを用いた入力操作（ジェスチャー操作）を行うことが可能である。もちろんジェスチャーは、「動き」に含まれる概念である。ジェスチャー操作の入力については、後に詳しく説明する。
　通信部１７は、他のデバイスとの間で、ネットワーク通信、近距離無線通信、赤外線通信等を実行するためのモジュールである。例えばＷｉＦｉ等の無線ＬＡＮモジュールや、Bluetooth（登録商標）等の通信モジュールが設けられる。また任意の赤外線通信モジュールが用いられてよい。
　センサ部１８は、光源部２１、ＰＤ（Photodiode）アレイセンサ２２、カメラ２３、及び９軸センサ２４を有する。カメラ２３は、ウェアラブル装置１００の周辺を撮影することが可能である。カメラ２３により、例えばユーザの手や顔を撮影することが可能である。
　９軸センサ２４は、３軸加速度センサ、３軸ジャイロセンサ、及び３軸コンパスセンサを含む。９軸センサ２４により、例えばウェアラブル装置１００の、３軸における加速度、角速度、及び方位を検出することが可能である。
　図２に示すように、光源部２１及びＰＤアレイセンサ２２は、本体部１０の裏面（ユーザの手首２の表面と対向する側の面）１０ａに、並んで配置される。
　光源部２１は、レーザ光源からなり、ユーザの手首２に向けてレーザ光Ｌ（図４参照）を照射する。レーザ光源の種類は限定されず、例えば半導体レーザ、気体レーザ、固体レーザ、及び液体レーザ等の種々のレーザ光源が用いられてよい。また光源部２１として、レーザ光源から出射されたレーザ光の光束等を調整可能なレンズ系等が設けられてもよい。
　ＰＤアレイセンサ２２は、２次元状に並べられた複数のフォトダイオード（ＰＤ）２６（図５参照）により構成される。ＰＤ２６は、光検出器として機能し、入射する光の光量に応じた検出信号を出力する可能である。
　ＰＤ２６は、数１０ｋＨｚの時間分解能にて光を検出することが可能であり、微小時間の光量変化を検出することが可能である。本実施形態では、１００個のＰＤ２６が用いられるが、ＰＤ２６の数は限定されず任意に設定されてよい。またＰＤ２６の具体的な構成は限定されず、任意に設計されてよい。
　本実施形態において、光源部２１は、ユーザの体の部位に光を照射する光源部に相当する。また体の部位としては、手首２が選択されている。ＰＤアレイセンサ２２は、複数の光検出部を有し、体の部位（手首２）により反射された反射光Ｌ１（図４参照）に基づいて、複数の検出信号を出力する検出部に相当する。本実施形態では、複数の光検出部は複数のＰＤ２６であり、複数のＰＤ２６から出力される検出信号が、複数の検出信号に相当する。
　記憶部１９は、不揮発性の記憶デバイスであり、例えばＨＤＤ（Hard Disk Drive）等が用いられる。記憶部１９には、ウェアラブル装置１００の全体の動作を制御するための制御プログラムが記憶される。また記憶部１９には、後に説明する学習データや履歴情報等が記憶される。制御プログラム等を、ウェアラブル装置１００にインストールする方法は限定されない。
　コントローラ１２は、ウェアラブル装置１００が有する各ブロックの動作を制御する。コントローラ１２は、例えばＣＰＵやメモリ（ＲＡＭ、ＲＯＭ）等のコンピュータに必要なハードウェア構成を有する。ＣＰＵが記憶部１９に記憶されている制御プログラム等をＲＡＭにロードして実行することにより、種々の処理が実行される。
　コントローラ１２として、例えばＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、その他ＡＳＩＣ（Application Specific IntegratedCircuit）等のデバイスが用いられてもよい。
　図４～図７を参照して、本技術に係るジェスチャー操作の識別方法の概要を説明する。図４は、本体部１０の裏面１０ａに配置された光源部２１及びＰＤアレイセンサ２２の動作を説明するための模式図である。図５は、ＰＤアレイセンサ２２を模式的に示す図である。
図５Ａでは、複数のＰＤ２６の配置例が図示されており、図５Ｂでは、複数のＰＤ２６から出力される検出信号の強度分布が模式的に表現されている。
　本実施形態では、ウェアラブル装置１００は、素肌の上から装着される。従って、本体部１０の裏面１０ａに配置された光源部２１及びＰＤアレイセンサ２２は、血管３を覆う皮膚４に対向して配置される。光源部２１及びＰＤアレイセンサ２２と、皮膚４の表面４ａとの間には、微小な間隔が設けられる。
　光源部２１は、皮膚４の表面４ａに向かって、レーザ光Ｌを照射する。レーザ光Ｌのようなコヒーレントな光が照射されると、皮膚４の表面４ａにある微細な凹凸により、レーザ光Ｌが拡散（散乱）される。拡散されたレーザ光Ｌが干渉することで、スペックル（斑点）が発生し、複数のスペックルにより構成されるスペックルパターンが発生する。この結果、ＰＤアレイセンサ２２の各ＰＤ２６からは、スペックルパターンに応じた検出信号が出力される。
　例えば図５Ｂに示す白色のＰＤ２６の検出信号の強度は最大であり、黒色のＰＤ２６の検出信号の強度は最小であるとする。またグレーのＰＤ２６は、検出信号の強度が中間の値であるとする。図５Ｂでは、２種類のグレーの色のみが模式的に表示されているが、もちろんこれに限定されず、入射する光の光量に応じて、最小値から最大値までの範囲に含まれる強度の検出信号が出力される。
　複数のＰＤ２６から出力される複数の検出信号の強度分布は、発生するスペックルパターンに応じた強度分布となる。すなわち複数の検出信号の強度分布は、発生したスペックルの面状強度パターンに相当する。
　スペックルパターンは、皮膚４の表面４ａの形状に応じたパターンとなり、表面４ａの形状が変化すると、スペックルパターンも変化する。例えば指を動かすと、手から腕に繋がる筋肉・腱が動き、皮膚４の表面４ａの形状が変化する。すなわち指を動かすと、レーザ光Ｌを照射することで発生するスペックルパターンが変化する。
　発明者は、この点に着目し、スペックルパターンに基づいて筋肉・腱の動きを捉え、指を中心とした手の動きを判定することを新たに見出した。すなわち現状のスペックルパターンや、スペックルパターンの時系列変化等に基づいて、手の動きを判定することを新たに見出した。
　上記したように、ＰＤアレイセンサ２２から出力される複数の検出信号の強度分布は、スペックルパターンに対応する。従って、ＰＤアレイセンサ２２から出力される複数の検出信号の強度分布を解析することで、筋肉・腱の動きを捉え、手の動きを判定することが可能である。
　図６は、手の動きと検出信号の強度分布の変化の一例を示す模式図である。図６Ａに示すように、左手の人差指を内側に曲げる。そうすると図６Ｂに示すように、その指を動かす筋肉・腱が変形し、手首２付近において、筋肉・腱を覆う皮膚４の表面４ａが変形する。皮膚４の表面４ａが変形すると、レーザ照射時のスペックルパターンが変化する。従って図６Ｃに示すように、ＰＤアレイセンサ２２から出力される複数の検出信号の強度分布が変化する。なお図６Ｃでは、検出信号の強度分布がさらに模式的に図示されている。
　曲げられた指の種類、指の曲げ方（指の曲がり量や曲げた速度等）に応じて、筋肉・腱の変形位置や変形の仕方が異なるので、スペックルパターンの変化の仕方も異なってくる。従ってＰＤアレイセンサ２２から出力される複数の検出信号の強度分布を解析することで、曲げられた指の種類、指の曲げ方（指の曲がり量や曲げた速度等）を判定することが可能である。
　図７は、指同士の相互作用、及び指と他の物体との相互作用に関する判定について説明するための模式図である。指同士の相互作用とは、指を叩く（２つの指を互いに衝突させる）、指を擦る（指同士で擦り合わせる）等、任意の相互作用を含む。また指と他の物体（例えば机や壁等）との相互作用とは、指で物体を叩く、指を物体に擦る等、任意の相互作用を含む。
　指と指、あるいは指と物体の相互作用が発生すると、手の内部の筋肉・腱が振動する。その振動の周波数（振動の周期）に応じて、皮膚４の表面４ａの形状も変化し、スペックルパターンも変化する。例えば、指同士を叩き音が発生する場合、その音の周波数と同等の周波数にて、筋肉・腱が振動し、スペックルパターンが変化すると考えられる。もちろんこれに限定されるわけではない。
　例えばスペックルパターンの時系列変化の周期性を解析することで、指と指、あるいは指と物体の相互作用を判定することが可能となる。すなわち図７に模式的に図示されている信号強度の時系列変化を解析することで、指と指、あるいは指と物体の相互作用を判定することが可能となる。なお時系列変化の周期性の解析は、時系列変化の周波数分布の形状、周期のピーク周波数等の、時系列変化の周期性に関する任意のパラメータの解析を含む。
　例えば図７に示すように、指が静止状態である場合の信号強度の時系列変化と、指で机等を叩いているときの信号強度の時系列変化とをそれぞれ周波数解析する。そしてパワースペクトルを比較すると、指で机等を叩いた場合では、特定の周波数でピークが立つ。これは指を叩くことで筋肉・腱が振動し、それにより皮膚４の表面４ａも振動するための、その影響が振動強度の振動として現れたためである。
　相互作用させた指同士の各々の種類、相互作用させたときの曲がり具合（曲がり量等）、相互作用の速度、物体に対して作用させた指の種類、そのときの曲がり具合、速度等に応じて、筋肉・腱の位置関係や構造が異なる。従って筋肉・腱の振動の周波数が異なるものとなり、スペックルパターン（信号強度）の時系列変化の周波数、ピーク周波数、周波数分布の形状等も異なってくる。
　従って、信号強度の時系列変化の周期性を解析することで、相互作用させた指同士の各々の種類、相互作用させたときの曲がり具合（曲がり量等）、相互作用の速度、物体に対して作用させた指の種類、そのときの曲がり具合、速度等を判定することが可能となる。
　このように本実施形態では、ユーザがどのように手を動かして、どんなジェスチャーを行ったかを判定することが可能となる。そしてそのジェスチャーによりどんな操作が入力されたかを識別することが可能となる。すなわちユーザが行ったジェスチャー操作を高精度に識別することが可能となる。なお操作を識別することを、操作を推定することと言うことも可能である。
　本実施形態において、ＰＤアレイセンサ２２から出力される検出信号の強度分布、時系列変化、時系列変化の周期性（時系列変化の周波数、時系列変化の周期のピーク周波数等）は、「複数の検出信号に含まれる、体の部位へ光を照射することにより発生するスペックルに関する情報」に含まれる。スペックルに関する情報とは、発生するスペックルに関する任意の情報を含み、例えば検出信号から検出可能な空間的なスペックルパターン特徴や時系列特徴を含む。検出信号の強度自体も、スペックルに対応して定まるものであるので、スペックル関する情報に含まれる。
　本実施形態において、複数の検出信号の強度分布に基づくユーザの動きの判定は、スペックルパターンに基づくユーザの動きの判定に含まれる。複数の検出信号の時系列変化に基づくユーザの動きの判定は、スペックルパターンの時系列変化に基づくユーザの動きの判定に含まれる。また複数の検出信号の時系列変化の周期性に基づくユーザの動きの判定は、スペックルパターンの時系列変化の周期性に基づくユーザの動きの判定に含まれる。
　なお、時系列変化に基づいた判定について、複数の検出信号のうちの一部の検出信号の時系列変化に基づいて判定が実行されてもよい。すなわちスペックルパターンの時系列変化（時系列変化のピーク周波数）に基づいた判定は、複数の検出信号のうちの一部の検出信号の時系列変化（時系列変化のピーク周波数）に基づいた判定を含む。１つのＰＤ２６の検出信号に着目して、ユーザの動きの判定が実行される場合もあり得る。
　図８は、ウェアラブル装置１００のソフトウェア構成例を示すブロック図である。図９は、ウェアラブル装置１００の動作例を示すフローチャートである。以下、ＰＤアレイセンサ２２から出力される検出信号を、スペックル信号と記載する場合がある。
　本実施形態では、コントローラ１２のＣＰＵが本技術に係るプログラムを実行することで、スペックル信号受信部３０、スペックル信号解析部３１、動き判定部３２、操作識別部３３、及び処理実行部３４が実現される。そしてこれらのブロックにより、本技術に係る情報処理方法が実行される。なお各ブロックを実現するために専用のハードウェアが適宜用いられてもよい。
　また図８には、記憶部１９から学習データ及び履歴情報を適宜読み出す旨を分かりやすく表現するために、コントローラ１２内に記憶部１９が模式的に図示されている。
　スペックル信号受信部３０により、ＰＤアレイセンサ２２により出力される複数の検出信号（スペックル信号）が受信される（ステップ１０１）。本実施形態において、スペックル信号受信部３０は、受信部として機能する。
　スペックル信号解析部３１により、スペックル信号が解析される（ステップ１０２）。本実施形態では、スペックル信号パターン解析部３５により、スペックルパターンが解析される。また時系列スペックル信号解析部３６により、複数時刻にわたるスペックルパターンの時系列変化が解析される。上記したように、これらの解析結果は、スペックルに関する情報に含まれる。
　動き判定部３２により、スペックル信号解析部３１の解析結果に基づいて、ユーザの手の動きが判定される。すなわちユーザが行ったジェスチャーが判定される（ステップ１０３）。本実施形態において、動き判定部３２は、複数の検出信号に含まれるスペックルに関する情報に基づいて、ユーザの動きを判定する判定部に相当する。
　本実施形態では、所定の機械学習アルゴリズムに従って、ユーザの動き（ユーザのジェスチャー）が判定される。例えばＲＮＮ（Recurrent Neural Network：再帰型ニューラルネットワーク）、ＣＮＮ（Convolutional Neural Network:畳み込みニューラルネットワーク）、ＭＬＰ（Multilayer Perceptron：多層パーセプトロン）等のニューラルネットワークを用いた機械学習アルゴリズムが用いられる。その他、教師あり学習法、教師なし学習法、半教師あり学習法、強化学習法等を実行する任意の機械学習アルゴリズムが用いられてよい。
　本実施形態では、記憶部１９に、正解ラベル（ユーザのジェスチャー）と、正解ラベルに対応するスペックル信号の解析結果とを含む学習データが記憶される。動き判定部３２は、記憶された学習データを用いて、所定の機械学習アルゴリズムに従って学習を実行する。これによりユーザのジェスチャー判定の精度を向上させることが可能である。
　図１０及び図１１は、判定可能なジェスチャーパターンの一例を示す表である。図１０に示すように、指単体動作として、指を空中で振るというジェスチャーを判定可能である。１本の指での振る動作、及び複数の指での振る動作のいずれも判定することが可能である。
　例えば空間方向情報、すなわち２次元でのスペックルパターンに関して、各指の動きに対応するセンサ領域というのを定めることも可能である。すなわち複数のＰＤ２６のうち、解析対象となるＰＤ２６及びその検出信号が適宜選択されてもよい。各指の動きに対応するセンサ領域は、例えば事前に指の動きとスペックルパターンの変化に基づいて、設定することが可能である。もちろん機械学習により、各指の動きに対応するセンサ領域が設定されてもよい。
　時間方向情報、すなわち各ＰＤ２６により出力される検出信号の時系列変化に関して、振る動作に応じた周期での強度変化が発生する。図１０に示す例では、人差指の動きに対応するセンサ領域のＰＤ２６の検出信号の時間変化が解析されている。そしてその周期性により、振る動作が判定されている。
　図１０に示す振る動作に対する空間方向情報と時間方向情報の特徴は、発明者が見出した一例であり、このような特徴が見られる場合に限定されるという訳ではない。例えば他の特徴が見られる場合にも、その特徴に基づいて、振る動作を判定することが可能である。当然のことながら機械学習により、信号強度及び強度の時系列変化をそのまま入力することで、振る動作が判定される場合もあり得る。
　また、検出信号の強度分布の変化に基づいて、最も変化が大きいセンサ領域を算出する。算出されたセンサ領域に基づいて動かされた指が判定され、センサ領域に含まれるＰＤ２６の検出信号に基づいてその指の動きが判定される。このような判定方法も可能である。
　また指単体動作として、指を曲げるというジェスチャーを判定可能である。１本の指での曲げる動作、及び複数の指での曲げる動作のいずれも判定することが可能である。図１０に示す例では、人差し指の動きに対応するセンサ領域のＰＤ２６の検出信号の時間変化が解析されている。指曲げにより皮膚４の表面４ａの変形量は大きくなるので、検出信号の強度変動（散乱光の強度変動）は大きくなる。このような特徴に基づいて、曲げる動作が判定可能である。もちろんこのような特徴が見られる場合に限定される訳ではない。
　図１０に示すように、指同士の動作として、指同士を擦るジェスチャー、及び指同士を叩くジェスチャーを判定することが可能である。図１０に示す例では、人差指と親指の擦りに関係するセンサ領域、及び人差指と親指の叩きに関係するセンサ領域が、解析対象として設定されている。各動作に関係するセンサ領域は、例えば事前に各動きとスペックルパターンの変化に基づいて設定することが可能である。もちろん機械学習により設定されてもよい。
　各動作に関係するセンサ領域に含まれる、人差指に関係するＰＤ２６と、親指に関係するＰＤ２６とで、同様の現象が見られる。本実施形態では、指擦りによるピーク周波数と、指叩きによるピーク周波数とが、それぞれ特有の値となる点に着目してジェスチャー判定が実行される。すなわち各ＰＤ２６の検出信号の時系列変化のピーク周波数に基づいて、指同士を擦るジェスチャー、及び指同士を叩くジェスチャーが判定される。もちろんこのような特徴が見られる場合に限定される訳ではない。
　なお、図１０に示す例では、「指単体動作」の「時間方向情報」として、ＰＤ２６の検出信号の強度の移動平均（所定の区間毎での平均）が取得される。所定の区間毎の平均を算出することで、細かい時間変動を平滑化して、巨視的に信号のトレンドをみることが可能となる。一方、「指同士動作」では「時間方向情報」として、ＰＤ２６の検出信号の強度変化がそのまま取得される。このように検出信号から「時間方向情報」を取得する方法として、種々の方法が採用されてよい。
　図１１に示すように、指と物体間の動作として、物体に対して指を擦るというジェスチャーを判定可能である。１本の指での擦る動作、及び複数の指での擦る動作のいずれも判定することが可能である。また擦る方向が異なる擦る動作を、それぞれ判定することも可能である。
　図１１に示す例では、人差指の動きに対応するセンサ領域のうちの１つのＰＤ２６が解析対象として選択される。そしてそのＰＤ２６の検出信号の時系列変化のピーク周波数に基づいて、物体に対し指を擦るジェスチャーが判定されている。もちろんこのような特徴が見られる場合に限定される訳ではない。
　また図１１に示すように、指と物体間の動作として、物体を指で叩くというジェスチャーを判定可能である。１本の指での叩く動作、及び複数の指での叩く動作のいずれも判定することが可能である。
　図１１に示す例では、人差指の動きに対応するセンサ領域のうちの１つのＰＤ２６が解析対象として選択される。そしてそのＰＤ２６の検出信号の時系列変化のピーク周波数に基づいて、物体を指で叩くジェスチャーが判定されている。もちろんこのような特徴が見られる場合に限定される訳ではない。
　なお図１１に示すように、物体を指で叩く際の指の曲げ方（指の曲がり量や曲げた速度等）に応じて、検出信号の時系列変化の周波数や、ピーク周波数は異なってくる。従って検出信号の時系列変化を解析することで、物体を指で叩く際の指の曲げ方（指の曲がり量や曲げた速度等）を判定することが可能である。
　図６に戻り、操作識別部３３により、判定されたジェスチャーに基づいて、ユーザにより入力された操作が識別される（ステップ１０４）。すなわちジェスチャーを用いた入力操作（ジェスチャー操作）の内容が識別される。
　例えば現在の選択されている動作モードや、実行されているアプリケーション等の情報に基づいて、ユーザのジェスチャーがどのような操作の入力に該当するかが判定される。
　処理実行部３４は、動き判定部３２により判定されたジェスチャーに応じた処理を実行する。具体的には、操作識別部３３により識別された、ユーザにより入力された操作に応じた処理を実行する（ステップ１０５）。本実施形態では、操作識別部３３及び処理実行部により、実行部が実現される。
　以下、ジェスチャー操作の識別、及びジェスチャー操作に応じた処理の実行について、具体例を挙げる。
　図１２は、本技術を用いたバーチャルリモコンの一例を説明するための模式図である。例えば図１２Ａに示すように、部屋内にユーザが座っており、ユーザの左手には本技術に係るウェアラブル装置１００が装着されているとする。
　例えば左手の指を使ったジェスチャーにリモートコントローラ（リモコン）の操作を割り当てる。これにより左手の指を使ったジェスチャーにより、部屋内にあるテレビ、スピーカ、照明、空調等を制御することが可能となる。
　例えば以下のように、ジェスチャーと、機器操作とを関連付ける。
　図１２Ｂに示す１本の指を上下に振るジェスチャー⇔制御対象となる機器の選択
　図１２Ｃに示す指間のタップ⇔操作項目の選択
　図１２Ｄに示す指同士擦るジェスチャー⇔操作項目に対する制御
　動き判定部３２により１本の指を上下に振るジェスチャーが判定される。操作識別部３３により、そのジェスチャーにより制御対象となる機器を選択する操作が入力されたことが識別される。ここでは制御対象となる機器としてテレビが選択されたとする。
　動き判定部３２により指間のタップが判定される。操作識別部３３により、そのジェスチャーにより操作項目を選択する操作が入力されたことが識別される。ここでは音量調整が選択されたとする。
　動き判定部３２により指同士擦るジェスチャーが判定される。操作識別部３３により、そのジェスチャーにより操作項目に対する制御が入力されたことが識別される。例えば早く擦る→音量アップ、遅く擦る→音量ダウン等が割り当てられるとする。操作識別部３３は、入力された操作が、音量アップなのか音量ダウンなのか等を識別する。
　処理実行部３４は、識別された入力操作に応じた処理を実行する。すなわち音量アップの場合には、音量を増加させるための制御信号をテレビに送信する。音量ダウンの場合には、音量を減少させるための制御信号をテレビに送信する。
　このよう本技術を用いることで、バーチャルリモコンを実現することが可能であり、高いユーザビリティを実現することが可能となる。ジェスチャーへのリモコン操作等の割り当てや、制御対象となる機器、制御方法等は、任意に設定可能である。
　図１３は、本技術を用いたバーチャルダイアログボックスの一例を説明するための図である。なお図１３に示す例では、本技術に係るウェアラブル装置１００が、右手に装着されている。
　図１３Ａに示すように、ウェアラブル装置１００のプロジェクタ１４により、机や壁等の表面に、ダイアログボックスとしてスピニングホイールＵＩ３７が表示される。例えば右手の指を使ったジェスチャーにより、表示されたスピニングホイールＵＩ３７を操作することが可能となる。
　例えば、指の種類で回転させるホイールが選択され、指を擦るジェスチャーにより、選択されたホイールが回転される。具体例として、親指を表面に擦るジェスチャーが判定されると、左端のホイールを回転させる操作が認識され、左端のホイールの回転が実行される。人差指を表面に擦るジェスチャーが判定されると、中央のホイールを回転させる操作が認識され、中央のホイールの回転が実行される。中指を表面に擦るジェスチャーが判定されると、右端のホイールを回転させる操作が認識され、右端のホイールの回転が実行される。
　いずれかの指が表面を叩いた動作が判定されると、ホイールを回転することで選択された数値の入力操作が識別され、選択された数値の入力が実行される。例えばこのような処理が実行される。
　図１３Ｂに示すウェアラブル装置１００'では、手首の外側（手の甲側に）の位置に、表示部として機能するディスプレイ３８が設けられている。例えば右手の指を使ったジェスチャーにより、ディスプレイ３８に表示されたスピニングホイールＵＩ３７'を操作することが可能となる。
　このように、ジェスチャーを用いて、プロジェクタ１４やディスプレイ３８に表示されたＧＵＩに対する操作を入力することが可能となる。例えば表示部を搭載しないウェラブル装置、表示部が小さいウェアラブル装置、あるいは入力部がないウェラブル装置に対して、本技術を適用することで、高いユーザビリティを実現することが可能となる。
　本技術は、スピニングホイールＵＩ３７のみならず、図１４Ａ及びＢに示すような様々な入力用ＵＩに対して適用可能である。例えば指の種類で列、指の動かし方で行を選択し、入力対象となる文字や数値が決定される。その他のジェスチャーが適宜用いられてもよい。その他、入力用ＵＩとして、複数の選択タブから所望の選択タブを選択させるＵＩや、プルダウンボタンを選択すると複数の選択肢を含むメニューが表示されるＵＩ等、任意のＧＵＩに対して、本技術を適用することが可能である。
　図１５は、本技術を用いたバーチャルキーボードの一例を説明するための図である。図１５に示す例では、ユーザの左手に、ウェアラブル装置１００が装着されている。
　１０本の指を使って、実際のキーボードを操作するように、机等をタップする。これにより、キーボード入力が可能となる。例えば所定の指によるタップが判定され、その指の種類、手の広がり方、指の曲げ具合等により、どのキーの入力操作であるかが認識される。そして該当するキーの入力が実行される。
　例えば両手の手首に本技術に係るウェアラブル装置１００を装着することで、１０本の指を用いたジェスチャーを判定することが可能となり、バーチャルキーボードを実現することが可能となる。これにより高いユーザビリティを実現することが可能となる。
　あるいは、図１６に示すように、ウェアラブル装置１００が備えるカメラ２３により、ウェアラブル装置１００が装着されていない手が撮影される。その撮影画像に基づいて手の動きを判定し、キー入力を識別することも可能である。バーチャルキーボードを実現するために、このような方法が用いられてもよい。
　なお図１６に示す例では、本体部１０が手首の外側（手の甲側に）に位置するように、ウェアラブル装置１００が装着されている。後にも説明するが、本体部１０が固定される位置は限定されず、皮膚に対向して配置されるのであれば、任意に設定されてよい。
　図１７は、本技術を用いたバーチャルフリック入力の一例を説明するための図である。指を使ったジェスチャーにより、フリック入力を行うことが可能である。例えば所定の時間以上の指の接触が判定されると、フリック入力用のＵＩ３９を周囲に表示する処理が実行される。その後、指を擦るジェスチャー及び指を離すジェスチャーが判定されると、指の擦り具合（擦る方向等）に基づいてどの文字が選択されたか否かが識別され、当該選択された文字の入力が実行される。
　ユーザにより、フリック入力用のＵＩに対して、タップによる文字の選択が行われるとする。この場合も、タップに応じた振動等を検出することで、どの文字を選択したかを識別することが可能である。これにより高いユーザビリティを実現することが可能となる。
　図８に示すように、操作識別部３３による識別処理は、記憶部１９に記憶された履歴情報を用いて実行されてもよい。履歴情報は、過去にユーザが入力した操作に関する情報であり、ジェスチャーを用いて入力した操作に限定されず、他の方法により入力された操作に関する情報が含まれてもよい。本実施形態において、履歴情報を記憶する記憶部１９は、履歴情報記憶部に相当する。
　例えば図１５に示すようなバーチャルキーボードによるキー入力が実行されている場合、過去に入力された入力データ履歴が、履歴情報として参照される。例えば入力データを蓄積し、入力データのパターンから、次の入力を予測する。ジェスチャーに基づいて識別と、この予測結果とを組み合わせた上で、総合的に入力操作を識別することで、識別精度を向上させることが可能となる。
　入力データパターンからの予測としては、N-gramを使う方式が挙げられる。N-gramでは，Ｎ個の連続した入力データ列の頻度を記憶し、頻度分布を使い、Ｎ－１個の入力列の次に来る入力の確率を求め、高いものを推定結果とする。例えば「ｓｏｎ」と入力されたとする。この場合、次に来る入力の頻度分布は、（ｓｏｎｙ：７、ｓｏｎｇ：１０、ｓｏｎａ：２、ｓｏｎｅ：１）であったとする。従って推定結果は、「ｇ」（確率１／２）となる。
　ジェスチャー判定と、N-gramの推定結果、あるいは次に来る入力の頻度分布等を総合的に判断して、次に入力された文字を高精度に識別することが可能である。なおジェスチャー判定の信頼度や、ジェスチャー判定に基づいて識別された操作の信頼度等が算出され、そのパラメータが総合的な判断を実行する際に、利用されてもよい。
　バーチャルキーボード以外のアプリケーション等が実行されている場合にも、履歴情報を用いた操作の識別は実行可能である。履歴情報の具体的な種類も限定されず、任意の情報が履歴情報として用いられてよい。またN-gram使う方式に限定されず、任意の方式が用いられてよい。
　図１８は、選択画像の一例を示す模式図である。選択画像はユーザが選択可能な複数の選択候補を含む画像であり、候補選択用のＧＵＩに相当する。
　操作識別部３３により、ジェスチャー判定に基づいて、複数の操作が複数の候補として識別されてもよい。例えばバーチャルキーボードによるキー入力が実行されている場合、ジェスチャー判定に基づいて、「Ｈ」の入力操作及び「Ｊ」の入力操作の２つの操作が候補として識別されたとする。このような場合に図１８に示すような、「Ｈ」及び「Ｉ」を選択候補とする選択画像４０を表示する。選択画像４０は、「Ｈ」及び「Ｉ」の２つが操作の候補として識別された旨をユーザに伝える画像ともいえる。
　なお選択画像４０には、選択候補ではない旨を入力可能な「other」も含まれている。ユーザは、選択画像４０を操作することで、「Ｈ」「Ｉ」「other」のいずれかを選択する。もちろんその操作もジェスチャーを用いて入力することが可能である。選択画像４０を表示することで、候補が複数存在するような場合でも、簡単に操作を入力することが可能となる。また操作の識別が間違っていた場合にでも、ユーザに「消去」→「再選択」という２ステップを踏ませることなく、「other」を選択するという１ステップで済む。これにより高いユーザビリティを実現することが可能となる。
　なお「other」の選択に変えて、選択候補ではない旨の入力を、特殊な操作に割り当てることも可能である。例えば２本同時にタップが入力された場合には、選択画像４０内の選択候補ではない旨が入力される。
　バーチャルキーボード以外のアプリケーション等が実行されている場合にも、選択画像４０を表示することは可能である。各アプリケーションに応じた複数の選択候補を含む選択画像が適宜表示されればよい。
　なおジェスチャー判定の信頼度や、ジェスチャー判定に基づいて識別された操作の信頼度等が算出される場合には、その信頼度が所定の閾値以下の場合に、選択画像を表示する。このような処理も可能である。
　図１９及び図２０を参照して、学習データの生成例を説明する。図１９に示すように、コントローラ１２内に指示処理実行部４５及び学習データ生成部４６が構成される。指示処理実行部４５は、ユーザに所定の動き（所定のジェスチャー）の実行を指示する。
　学習データ生成部４６は、ユーザが指示された所定のジェスチャーを実行した際の、ＰＤアレイセンサ２２から出力されるスペックル信号の解析結果（スペックルに関する情報）を含む学習データを生成する。すなわちユーザに指示したジェスチャーを正解ラベルとし、ユーザがそのジェスチャーを実行した際の解析結果とを関連付けて、学習データとして生成する。本実施形態において、学習データは判定用情報に相当し、学習データを記憶する記憶部１９は、判定用情報記憶部に相当する。
　例えばウェアラブル装置１００のプロジェクタ１４により、図１４Ｂに示す入力用ＵＩを、机等の表示面に表示する。そして例えば以下のような指示を、テキスト画像の表示、あるいはスピーカ１３からの音声出力により実行する。
（１）「４」を打つ感覚で、人差指を表示面にタップさせる
（２）１つ上の「７」を打つ感覚で、人差指を上方側へ移動させてタップさせる
（３）１つ下の「１」を打つ感覚で、人差指を下方側へ移動させてタップさせる
（４）さらに１つ下の「０」を打つ感覚で、人差指をさらに下方側へ移動させてタップさせる
　指示処理実行部４５は（１）～（４）の指示に応じたジェスチャーの情報、すなわち正解ラベルとなる情報を、学習データ生成部４６に出力する。学習データ生成部４６は、受信した正解ラベルと、当該ジェスチャーが実行されている際の解析結果とを関連付けて学習データを生成する。この例では、プロジェクタ１４、スピーカ１３、及び指示処理実行部４５により、指示部が実現される。
　なおどのようなジェスチャーをユーザに実行させるかは限定されず、任意に設定されてよい。またどのようにしてそのジェスチャーを実行させるかという点も限定されず、任意の方法が採用されてよい。
　例えば初期キャブレーションとして、ウェアラブル装置１００を使い始めるときや、所定のＵＩを使い始めるときに、そのＵＩに対する操作（ジェスチャー）の実行を指示する。そして学習用データを生成して、動き判定部３２を学習させる。これにより、手のサイズや指の長さ等の個人差の影響を抑えることが可能となり、その人に合ったジェスチャー判定及び操作識別を実現することが可能となる。
　図２０に示す例では、ユーザ入力部４７を介して、ジェスチャー判定の判定結果が正しいか否かに関する正誤情報が入力される。ユーザ入力部４７を実現するために、正誤情報を入力可能な任意の構成が採用されてよい。
　例えば図３に示すプロジェクタ１４により表示されるＵＩへの操作、タッチパネル１５への操作、あるいは操作ボタン１６への操作により、正誤情報が入力可能であってもよい。例えばプロジェクタ１４やタッチパネル１５により表示される消去キー「Del」」の選択や、操作ボタン１６に含まれる所定の消去ボタンの選択等が実行されてもよい。またはマイク等が搭載され、ユーザの音声入力により、正誤情報が入力可能であってもよい。あるいは特殊なジェスチャー操作により、正誤情報が入力可能であってもよい。
　ジェスチャー判定の判定結果が正しいか否かに関する正誤情報は、典型的には、処理実行部により実行された処理が、正しいか否かを示す情報である。ジェスチャー操作を行ったユーザにとって、意図しない処理が実行された場合は、その旨を示す情報が正誤情報として入力される。例えばバーチャルキーボードで「Ｈ」を入力したのに「Ｊ」が入力された場合は、ジェスチャー判定の判定結果が間違っている旨の正誤情報が入力される。その他の情報が、正誤情報として用いられてもよい。
　もちろん判定結果が不正解である旨の情報の入力に限定されず、判定結果が正解である旨の情報が入力されてもよい。例えば不正解の正誤情報が入力された後に処理のやり直しが行われて、その処理が正解である旨を入力するために正解の正誤情報が入力される。もちろんこのような場合に限定される訳ではない。
　ユーザにより入力された正誤情報は、コントローラ１２内に構成されるフィードバック受信部４８により受信される。フィードバック受信部４８は、正誤情報を学習データ生成部４６に出力する。本実施形態において、フィードバック受信部４６は、受付部として機能する。
　例えば学習データ生成部４６は、動き判定部３２により判定結果と、スペックル信号解析部３１から出力される解析結果とに基づいて、学習データを生成し記憶部１９に記憶させる。その際に、フィードバック受信部４８から出力される正誤情報が参照される。例えば不正解の旨の正誤情報を受信した場合には、不正解のフィードバックを受付けた処理を実行した際に生成した学習データを更新する。
　具体的には、その後処理のやり直しが行われて、正解のフィードバックを受付ける。その場合に、正解ラベルを、やり直した処理に関するジェスチャーに更新することで、学習データを更新することが可能である。学習データの更新が出来ない場合には、学習データが破棄される場合もあり得る。
　このようにユーザからの正誤情報を受付けることで、学習データを更新することが可能となり、動き判定部３２を精度よく学習させることが可能となる。またユーザの個人差の影響を抑えることが可能となり、その人に合ったジェスチャー判定及び操作識別を実現することが可能となる。
　以上、本実施形態に係るウェアラブル１００では、ユーザの体の部位へ光が照射され、その反射光に基づいて複数の検出信号が出力される。そして複数の検出信号に含まれるスペックルに関する情報、すなわちスペックル信号の解析結果に基づいて、ユーザのジェスチャーが判定される。これにより、上記で例示した種々のアプリケーションが実現可能となり、高いユーザビリティを実現することが可能となる。
　例えば時計型のウェアラブル装置からレーザビームを走査し、その照射エリアに入った指先の動きを反射光の変化等に基づいて検出する方法が挙げられる。しかしながらこの方法では、ウェアラブル装置を装着した側の手の動きを検出することが非常に難しい。従って反対の手を用いてジェスチャー操作を行う必要があり、ユーザの利便性が低い。
　また加速度センサ等を用いてジェスチャーを判定する方法では、腕を大きく動かさないと正しい判定が難しく、ユーザにとって負担が大きい。また指の細かいジェスチャーの判定ができない。
　また指にキャップ側のセンサを装着し、ジェスチャーを判定する方法が挙げられる。しかしながらキャップ側のセンサは付け心地が悪く、ユーザに負担がかかる。またセンシングしたい指の本数に応じて、指キャップを装着する必要があり、デバイスの導入コストが高くなる。
　またマイク等を用いて、指同士の擦り音を検出する方法が挙げられる。しかしながらこの方法では、マイク等のセンサが必要となり、デバイスの導入コストが高くなる。
　本実施形態に係るウェアラブル装置１００では、体の部位に光を照射することで発生するスペックルに関する情報、すなわちスペックルパターン、スペックルパターンの時系列変化／ピーク周波数等に基づいて、ジェスチャーを高精度に判定し、入力された操作を高精度に識別することが可能である。
　従って、ウェアラブル装置１００を装着した方の手のみでのジェスチャー操作の入力が可能であり、また細かい指の動き等を捉えることが可能であるので、非常に高いユーザビリティが発揮される。またマイクやキャップ型のセンサ等のデバイスを用いることなく、手を叩くジェスチャーや擦るジェスチャーを判定することが可能であるので、デバイスの導入コストを抑えることが可能である。
　また本実施形態では、検出部として、ＰＤアレイセンサ２２が用いられる。従ってＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等のイメージセンサと比べて、微小時間の光量変化を検出することが可能である。この結果、ユーザのジェスチャーを高精度に判定することが可能である。
　またＰＤアレイセンサ２２は、イメージセンサと比べて、低消費電力で動作させることが可能であり、長時間の駆動が可能となる。また感度も高いことから、体の部位に出射するレーザ光のパワーを小さくすることが出来、低消費電力化に有利である。また集光レンズ等の小型化を図ることが可能となり、コストを削減することが可能となる。
　またウェアラブル装置１００を使用する環境の明るさの影響を十分に抑えることが可能である。例えばイメージセンサが用いられて手の動きが撮影される場合には、周りが暗いと識別精度が低下してしまう。本実施形態では、体の部位に非常に近い位置に光源部２１及びＰＤアレイセンサ２２が配置され、反射光の強度が検出される。従って周りの明るさの影響を受けることなく、高精度にスペックルパターン等を解析することが可能となる。
　なおイメージセンサを用いて本技術を実現することも可能である。すなわちイメージセンサにより撮影されたスペックルパターンに基づいて、ユーザのジェスチャーを判定し入力操作を識別することも可能である。この場合、イメージセンサは検出部として機能し、イメージセンサの複数の画素が、複数の光検出部として機能する。また複数の画素から出力される複数の画素信号が、複数の検出信号に相当する。イメージセンサを用いることで、空間分解能を向上させることが可能となる。
　＜その他の実施形態＞
　本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
　図８に示す構成例では、記憶部１９により、判定用情報記憶部及び履歴情報記憶部が実現され、学習データを用いた動き判定処理や、履歴情報を用いた操作識別処理が実行された。これに限定されず、判定用情報記憶部及び履歴情報記憶部のいずれか一方、あるいは両方を備えない構成も、本技術に係る情報処理装置の一実施形態に含まれる。すなわち学習データ等の判定用情報を用いることなく動き判定処理が実行されてもよいし、履歴情報を用いることなく操作の識別処理が実行されてもよい。同様に、図１９及び図２０の構成例において、履歴情報記憶部を備えない構成が、本技術に係る情報処理装置の一実施形態にとして採用されてもよい。
　上記では、記憶部１９により、判定用情報記憶部及び履歴情報記憶部が実現されたが、異なるストレージ等により、判定用情報記憶部及び履歴情報記憶部が別個に構成されてもよい。
　上記ではスペックル信号の解析結果に基づいて、機械学習により、ユーザの動き（ユーザのジェスチャー）が判定された。そしてその判定結果に基づいて、ユーザが入力した操作が識別された。これに限定されず、スペックル信号の解析結果に基づいて、機械学習により、ユーザが入力した操作が識別されてもよい。すなわちユーザがどのような動きをしたかの判定を行うことなく、入力された操作がなんであるかが推定されてもよい。
　この場合、例えば図８等に示す、動き判定部３２と操作識別部３３とが統合されて、入力推定部が構成される。入力推定部により、スペックル信号の解析結果に基づいて、機械学習により、入力された操作が識別されてもよい。このような構成も、本技術に係る認識装置、及び情報処理装置の一実施形態に相当する。またこのような構成でも、履歴情報や学習データを用いた処理を、同様に実行することが可能である。
　上記では、スペックル信号の解析結果に基づいて、ジェスチャー判定や操作識別が実行された。これに代えて、ＰＤアレイセンサから出力される検出信号から、機械学習等により、ジェスチャー判定や操作識別が実行されてもよい。すなわち解析ステップが省略されてもよい。
　また機械学習を用いることなく、ジェスチャー判定や操作識別を実行することも可能である。すなわちテーブル情報等を用いて、ルールベースでジェスチャー判定や操作識別が実行されてもよい。機械学習が用いられない場合でも、図８等に示す学習データに相当するデータを、判定用情報として適宜利用することが可能である。もちろん機械学習以外の任意の学習アルゴリズムを採用することも可能である。
　上記では、光源部にレーザ光源が用いられる場合を例に挙げた。なおコヒーレント光を出射可能な他のコヒーレント光源が用いられる場合でも、本技術は適用可能である。
　上記では複数のＰＤが２次元状に並べられたＰＤアレイセンサが用いられた。これに限定されず、複数のＰＤが１次元状に並べられたＰＤアレイセンサが用いられてもよい。
　図２１は、本体部が固定される位置の他の例を示す模式図である。図２１Ａに示すように、本体部１０が手首の外側（手の甲側に）に位置するように、ウェアラブル装置１００が装着されてもよい。また図２１Ａに示すように、手首の内側と外側にそれぞれ本体部１０ａ及び１０ｂが固定されてもよい。すなわち手首の内側部分と外側部分の２箇所で、スペックルパターン等の解析が実行されてもよい。光源部及び検出部が配置される位置や数は限定されず、任意に設定されてよい。
　スペックル信号の解析結果に基づいて、ウェアラブル装置の装着状態が判定されてもよい。例えば本体部（光源部及び検出部）の位置ずれを検出し、ユーザに装着状態の確認を促す、といった処理も可能である。また本体部（光源部及び検出部）の位置の情報を参照して、ジェスチャー判定や操作識別を実行することも可能である。
　上記ではリストバンド型のウェアラブル装置を例に挙げたが、これに限定される訳ではない。上腕に装着する腕輪型、頭に装着するヘッドバンド型（ヘッドマウント型）、首に装着するネックバンド型、胸に装着する胴体用の型、腰に装着するベルト型、足首に装着するアンクレット型、時計型、指輪型、ネックレス型、イヤリング型、ピアス型等の、種々のウェアラブル装置に対して、本技術は適用可能である。当然のことながら、光が照射される部位も限定されず、任意に選択されてよい。
　本技術を用いることで判定可能なユーザの動きは、ユーザの手の動きに限定されない。ウェアラブル装置が装着される部位、すなわち光が照射される部位を適宜設定することで、足（太もも、膝、ふくらはぎ、足首、足の指）、首、腰、臀部、腕、頭、顔、胸等の、任意の部位の動きを判定することが可能である。
　本技術を用いることで、以下のような処理を実行することも可能である。
　手話翻訳：手腕指の動きを捉え、手話表現を言語化（例えばスマートフォンに表示）
　行動認識：物を持つ、掴むという動きを捉え、ユーザの行動を認識（スプーンや箸の動き、ＰＣ操作、車運転、吊革掴む等）
　ペン入力記録：ノート等にペンで記入時に、同時にペンの動きを電子媒体に記録
　ＰＤアレイセンサと、加速度センサ等とを組み合わせることで、ユーザの動きが判定されてもよい。例えば各センサの結果に基づいてそれぞれ判定された動きが統合されてもよいし、各センサの結果を入力として、機械学習等により、ユーザの動きが判定されてもよい。
　本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。
　例えばコントローラ１２が有する各ブロックの機能の全部又は一部が、クラウドサーバにより実行されてもよい。また互いに通信可能な複数のコンピュータが連動することで、本技術に係る情報処理方法が実行されてもよい。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
　本技術に係る情報処理方法及びプログラムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
　各図面を参照して説明したウェアラブル装置の各構成や制御フロー等はあくまで一実施形態であり、本技術の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本技術を実施するための他の任意の構成やアルゴリズム等が採用されてよい。
　以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
　なお、本技術は以下のような構成も採ることができる。
（１）ユーザの体の部位に光を照射する光源部と、
　複数の光検出部を有し、前記体の部位により反射された反射光に基づいて、複数の検出信号を出力する検出部と、
　前記複数の検出信号に含まれる、前記体の部位への前記光の照射により発生するスペックルに関する情報に基づいて、前記ユーザの動きを判定する判定部と
　を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、
　前記光源部は、前記体の部位に、レーザ光を照射する
　情報処理装置。
（３）（１）又は（２）に記載の情報処理装置であって、
　前記複数の光検出部は、複数のフォトダイオードである
　情報処理装置。
（４）（１）から（３）のうちいずれか１つに記載の情報処理装置であって、
　前記判定部は、前記スペックルに関する情報に含まれるスペックルパターンに基づいて、前記ユーザの動きを判定する
　情報処理装置。
（５）（４）に記載の情報処理装置であって、
　前記判定部は、前記スペックルパターンの時系列変化に基づいて、前記ユーザの動きを判定する
　情報処理装置。
（６）（５）に記載の情報処理装置であって、
　前記判定部は、前記スペックルパターンの時系列変化の周期性に基づいて、前記ユーザの動きを判定する
　情報処理装置。
（７）（１）から（６）のうちいずれか１つに記載の情報処理装置であって、
　前記体の部位は、手首であり、
　前記判定部は、前記ユーザの手の動きを判定する
　情報処理装置。
（８）（７）に記載の情報処理装置であって、
　前記判定部は、曲げられた指の種類、曲げられた指の曲がり量、指同士の相互作用、及び指と他の物体との相互作用の少なくとも１つを判定する
　情報処理装置。
（９）（１）から（８）のうちいずれか１つに記載の情報処理装置であって、さらに、
　前記判定された動きに応じた処理を実行する実行部を具備する
　情報処理装置。
（１０）（９）に記載の情報処理装置であって、
　前記実行部は、前記判定された動きに基づいて、前記ユーザにより入力された操作を識別し、前記識別された操作に応じた処理を実行する
　情報処理装置。
（１１）（１０）に記載の情報処理装置であって、さらに、
　過去にユーザが入力した操作に関する履歴情報を記憶する履歴情報記憶部を具備し、
　前記実行部は、前記記憶された履歴情報に基づいて、前記ユーザにより入力された操作を識別する
　情報処理装置。
（１２）（１０）又は（１１）に記載の情報処理装置であって、さらに、
　所定のＧＵＩ（Graphical User Interface）を表示可能な表示部を具備し、
　前記実行部は、前記判定された動きに基づいて、前記表示された所定のＧＵＩに対して入力された操作を識別する
　情報処理装置。
（１３）（１２）に記載の情報処理装置であって、
　前記実行部は、前記判定された動きに基づいて、前記ユーザが選択可能な複数の選択候補を選択し、
　前記表示部は、前記選択された複数の選択候補を含む選択画像を表示する
　情報処理装置。
（１４）（１）から（１３）のうちいずれか１つに記載の情報処理装置であって、
　前記判定部は、所定の学習アルゴリズムに従って、前記ユーザの動きを判定する
　情報処理装置。
（１５）（１）から（１４）のうちいずれか１つに記載の情報処理装置であって、さらに、
　前記ユーザに所定の動きの実行を指示する指示部と、
　前記ユーザが前記指示された所定の動きを実行した際の、前記複数の検出信号に含まれる前記スペックルに関する情報を含む判定用情報を記憶する判定用情報記憶部と
　を具備し、
　前記判定部は、前記記憶された判定用情報に基づいて、前記ユーザの動きを判定する
　情報処理装置。
（１６）（１）から（１５）のうちいずれか１つに記載の情報処理装置であって、さらに、
　前記判定部による判定結果が正しいか否かに関する正誤情報を受付ける受付部を具備し、
　前記判定部は、前記受付けた前記正誤情報に基づいて、前記ユーザの動きを判定する
　情報処理装置。
（１７）（１）に記載の情報処理装置であって、
　前記検出部は、イメージセンサを含み、
　前記複数の光検出部は、前記イメージセンサの複数の画素である
　情報処理装置。
（１８）ユーザの体の部位への光の照射に応じて、前記ユーザの体の部位により反射された反射光に基づいて出力される複数の検出信号を受信する受信部と、
　前記受信された複数の検出信号に含まれる、前記体の部位への前記光の照射により発生するスペックルに関する情報に基づいて、前記ユーザの動きを判定する判定部と
　を具備する情報処理装置。
（１９）ユーザの体の部位への光の照射に応じて、前記ユーザの体の部位により反射された反射光に基づいて出力される複数の検出信号を受信し、
　前記受信された複数の検出信号に含まれる、前記体の部位への前記光の照射により発生するスペックルに関する情報に基づいて、前記ユーザの動きを判定する
　ことをコンピュータシステムが実行する情報処理方法。
（２０）ユーザの体の部位への光の照射に応じて、前記ユーザの体の部位により反射された反射光に基づいて出力される複数の検出信号を受信するステップと、
　前記受信された複数の検出信号に含まれる、前記体の部位への前記光の照射により発生するスペックルに関する情報に基づいて、前記ユーザの動きを判定するステップと
　をコンピュータシステムに実行させるプログラム。
　Ｌ…レーザ光
　Ｌ１…反射光
　２…手首
　１０…本体部
　１１…装着ベルト
　１２…コントローラ
　１９…記憶部
　２１…光源部
　２２…ＰＤアレイセンサ
　２６…ＰＤ
　３０…スペックル信号受信部
　３１…スペックル信号解析部
　３２…動き判定部
　３３…操作識別部
　３４…処理実行部
　３５…スペックル信号パターン解析部
　３６…時系列スペックル信号解析部
　４０…選択画像
　４５…指示処理実行部
　４６…学習データ生成部
　１００、１００'…ウェアラブル装置

Claims (20)

  1. 　ユーザの体の部位に光を照射する光源部と、
    　複数の光検出部を有し、前記体の部位により反射された反射光に基づいて、複数の検出信号を出力する検出部と、
    　前記複数の検出信号に含まれる、前記体の部位への前記光の照射により発生するスペックルに関する情報に基づいて、前記ユーザの動きを判定する判定部と
    　を具備する情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記光源部は、前記体の部位に、レーザ光を照射する
    　情報処理装置。
  3. 　請求項１に記載の情報処理装置であって、
    　前記複数の光検出部は、複数のフォトダイオードである
    　情報処理装置。
  4. 　請求項１に記載の情報処理装置であって、
    　前記判定部は、前記スペックルに関する情報に含まれるスペックルパターンに基づいて、前記ユーザの動きを判定する
    　情報処理装置。
  5. 　請求項４に記載の情報処理装置であって、
    　前記判定部は、前記スペックルパターンの時系列変化に基づいて、前記ユーザの動きを判定する
    　情報処理装置。
  6. 　請求項５に記載の情報処理装置であって、
    　前記判定部は、前記スペックルパターンの時系列変化の周期性に基づいて、前記ユーザの動きを判定する
    　情報処理装置。
  7. 　請求項１に記載の情報処理装置であって、
    　前記体の部位は、手首であり、
    　前記判定部は、前記ユーザの手の動きを判定する
    　情報処理装置。
  8. 　請求項７に記載の情報処理装置であって、
    　前記判定部は、曲げられた指の種類、曲げられた指の曲がり量、指同士の相互作用、及び指と他の物体との相互作用の少なくとも１つを判定する
    　情報処理装置。
  9. 　請求項１に記載の情報処理装置であって、さらに、
    　前記判定された動きに応じた処理を実行する実行部を具備する
    　情報処理装置。
  10. 　請求項９に記載の情報処理装置であって、
    　前記実行部は、前記判定された動きに基づいて、前記ユーザにより入力された操作を識別し、前記識別された操作に応じた処理を実行する
    　情報処理装置。
  11. 　請求項１０に記載の情報処理装置であって、さらに、
    　過去にユーザが入力した操作に関する履歴情報を記憶する履歴情報記憶部を具備し、
    　前記実行部は、前記記憶された履歴情報に基づいて、前記ユーザにより入力された操作を識別する
    　情報処理装置。
  12. 　請求項１０に記載の情報処理装置であって、さらに、
    　所定のＧＵＩ（Graphical User Interface）を表示可能な表示部を具備し、
    　前記実行部は、前記判定された動きに基づいて、前記表示された所定のＧＵＩに対して入力された操作を識別する
    　情報処理装置。
  13. 　請求項１２に記載の情報処理装置であって、
    　前記実行部は、前記判定された動きに基づいて、前記ユーザが選択可能な複数の選択候補を選択し、
    　前記表示部は、前記選択された複数の選択候補を含む選択画像を表示する
    　情報処理装置。
  14. 　請求項１に記載の情報処理装置であって、
    　前記判定部は、所定の学習アルゴリズムに従って、前記ユーザの動きを判定する
    　情報処理装置。
  15. 　請求項１に記載の情報処理装置であって、さらに、
    　前記ユーザに所定の動きの実行を指示する指示部と、
    　前記ユーザが前記指示された所定の動きを実行した際の、前記複数の検出信号に含まれる前記スペックルに関する情報を含む判定用情報を記憶する判定用情報記憶部と
    　を具備し、
    　前記判定部は、前記記憶された判定用情報に基づいて、前記ユーザの動きを判定する
    　情報処理装置。
  16. 　請求項１に記載の情報処理装置であって、さらに、
    　前記判定部による判定結果が正しいか否かに関する正誤情報を受付ける受付部を具備し、
    　前記判定部は、前記受付けた前記正誤情報に基づいて、前記ユーザの動きを判定する
    　情報処理装置。
  17. 　請求項１に記載の情報処理装置であって、
    　前記検出部は、イメージセンサを含み、
    　前記複数の光検出部は、前記イメージセンサの複数の画素である
    　情報処理装置。
  18. 　ユーザの体の部位への光の照射に応じて、前記ユーザの体の部位により反射された反射光に基づいて出力される複数の検出信号を受信する受信部と、
    　前記受信された複数の検出信号に含まれる、前記体の部位への前記光の照射により発生するスペックルに関する情報に基づいて、前記ユーザの動きを判定する判定部と
    　を具備する情報処理装置。
  19. 　ユーザの体の部位への光の照射に応じて、前記ユーザの体の部位により反射された反射光に基づいて出力される複数の検出信号を受信し、
    　前記受信された複数の検出信号に含まれる、前記体の部位への前記光の照射により発生するスペックルに関する情報に基づいて、前記ユーザの動きを判定する
    　ことをコンピュータシステムが実行する情報処理方法。
  20. 　ユーザの体の部位への光の照射に応じて、前記ユーザの体の部位により反射された反射光に基づいて出力される複数の検出信号を受信するステップと、
    　前記受信された複数の検出信号に含まれる、前記体の部位への前記光の照射により発生するスペックルに関する情報に基づいて、前記ユーザの動きを判定するステップと
    　をコンピュータシステムに実行させるプログラム。
PCT/JP2019/001191 2018-03-12 2019-01-17 情報処理装置、情報処理方法、及びプログラム WO2019176273A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980017235.2A CN111837094A (zh) 2018-03-12 2019-01-17 信息处理装置、信息处理方法和程序
EP19768565.4A EP3767433A4 (en) 2018-03-12 2019-01-17 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS, AND PROGRAM
US16/977,873 US11573648B2 (en) 2018-03-12 2019-01-17 Information processing apparatus and information processing method to identify gesture operation of a user

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018043790 2018-03-12
JP2018-043790 2018-03-12

Publications (1)

Publication Number Publication Date
WO2019176273A1 true WO2019176273A1 (ja) 2019-09-19

Family

ID=67908354

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/001191 WO2019176273A1 (ja) 2018-03-12 2019-01-17 情報処理装置、情報処理方法、及びプログラム

Country Status (4)

Country Link
US (1) US11573648B2 (ja)
EP (1) EP3767433A4 (ja)
CN (1) CN111837094A (ja)
WO (1) WO2019176273A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110942040A (zh) * 2019-11-29 2020-03-31 四川大学 一种基于环境光的手势识别系统和方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11635823B1 (en) * 2022-03-15 2023-04-25 Port 6 Oy Detecting user input from multi-modal hand bio-metrics
CN114722968A (zh) * 2022-04-29 2022-07-08 中国科学院深圳先进技术研究院 一种识别肢体运动意图的方法及电子设备
WO2023206450A1 (zh) * 2022-04-29 2023-11-02 中国科学院深圳先进技术研究院 一种识别肢体运动意图的方法和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011186693A (ja) * 2010-03-08 2011-09-22 Brother Industries Ltd 情報入力装置
JP2015041052A (ja) 2013-08-23 2015-03-02 ソニー株式会社 リストバンド型情報処理装置および記憶媒体
JP2016150081A (ja) * 2015-02-17 2016-08-22 ソニー株式会社 光学ユニット、測定システムおよび測定方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014020611A1 (en) * 2012-08-01 2014-02-06 Bar Ilan University Method and system for non-invasively monitoring biological or biochemical parameters of individual
US10209881B2 (en) * 2012-03-15 2019-02-19 Ibrahim Farid Cherradi El Fadili Extending the free fingers typing technology and introducing the finger taps language technology
JP6155448B2 (ja) 2012-11-01 2017-07-05 アイカム エルエルシー ３ｄ撮像し、マッピングし、ネットワーク化しおよびインタフェースするための無線手首コンピューティングおよびコントロールするデバイスおよび方法
JP6075122B2 (ja) * 2013-03-05 2017-02-08 株式会社リコー システム、画像投影装置、情報処理装置、情報処理方法およびプログラム
US9208566B2 (en) 2013-08-09 2015-12-08 Microsoft Technology Licensing, Llc Speckle sensing for motion tracking
US9743860B2 (en) * 2013-11-08 2017-08-29 Applied Invention, Llc Use of light transmission through tissue to sense joint flexure
WO2015128226A1 (en) * 2014-02-26 2015-09-03 Koninklijke Philips N.V. Device for measuring a cycling cadence
US20160209929A1 (en) * 2015-01-20 2016-07-21 Jahja I. Trisnadi Method and system for three-dimensional motion-tracking
CN106020448B (zh) * 2016-05-06 2019-03-29 深圳市国华识别科技开发有限公司 基于智能终端的人机交互方法和系统
US10152798B2 (en) * 2017-04-10 2018-12-11 Wisconsin Alumni Research Foundation Systems, methods and, media for determining object motion in three dimensions using speckle images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011186693A (ja) * 2010-03-08 2011-09-22 Brother Industries Ltd 情報入力装置
JP2015041052A (ja) 2013-08-23 2015-03-02 ソニー株式会社 リストバンド型情報処理装置および記憶媒体
JP2016150081A (ja) * 2015-02-17 2016-08-22 ソニー株式会社 光学ユニット、測定システムおよび測定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FUKUI, RUI ET AL.: "Hand shape classification with a wrist contour sensor: :Development of a Prototype Device", PROCEEDINGS OF THE 29TH ANNUAL CONF. OF THE ROBOTICS SOCIETY OF JAPAN, 7 September 2011 (2011-09-07), pages 311 - 314, XP055428887 *
See also references of EP3767433A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110942040A (zh) * 2019-11-29 2020-03-31 四川大学 一种基于环境光的手势识别系统和方法

Also Published As

Publication number Publication date
CN111837094A (zh) 2020-10-27
US11573648B2 (en) 2023-02-07
EP3767433A4 (en) 2021-07-28
US20210311564A1 (en) 2021-10-07
EP3767433A1 (en) 2021-01-20

Similar Documents

Publication Publication Date Title
WO2019176273A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20200356238A1 (en) Virtual Interactions for Machine Control
US10802598B2 (en) User interface control of responsive devices
US9395821B2 (en) Systems and techniques for user interface control
US9952676B2 (en) Wearable device with gesture recognition mechanism
US7843425B2 (en) Motion recognition system and method for controlling electronic devices
KR102310776B1 (ko) 광학 센서를 사용해 검출된 모션 제스처 입력
JP2020091904A (ja) システムおよびコントローラ
US10015402B2 (en) Electronic apparatus
US20160062118A1 (en) External user interface for head worn computing
US20160025977A1 (en) External user interface for head worn computing
US20150177836A1 (en) Wearable information input device, information input system, and information input method
KR20170120523A (ko) 표시 장치와 이를 이용한 입력 처리 방법 및 시스템
US11294475B1 (en) Artificial reality multi-modal input switching model
KR20150110257A (ko) 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스
US20170277428A1 (en) Information processing device, information processing method, and non-transitory computer readable memory medium
US20170357336A1 (en) Remote computer mouse by camera and laser pointer
JP6519074B2 (ja) 電子機器
US11995235B2 (en) Human interface system
JP2016115310A (ja) 電子機器
TW201243333A (en) Operation controlling system
US20190339864A1 (en) Information processing system, information processing method, and program
JPH11345073A (ja) 携帯情報端末操作システム
RU2777910C1 (ru) Способ жестового управления и устройство для его реализации
US20240036698A1 (en) Xr manipulation feature with smart watch

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19768565

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019768565

Country of ref document: EP

Effective date: 20201012

NENP Non-entry into the national phase

Ref country code: JP