JP2015001978A - Method of recognizing motion using gripped object, and device and system therefor - Google Patents
Method of recognizing motion using gripped object, and device and system therefor Download PDFInfo
- Publication number
- JP2015001978A JP2015001978A JP2014023149A JP2014023149A JP2015001978A JP 2015001978 A JP2015001978 A JP 2015001978A JP 2014023149 A JP2014023149 A JP 2014023149A JP 2014023149 A JP2014023149 A JP 2014023149A JP 2015001978 A JP2015001978 A JP 2015001978A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- state
- user
- wrist
- motion recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
- A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/681—Wristwatch-type devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6824—Arm or wrist
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
- G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Abstract
Description
ユーザのモーションを認識する装置及び方法に関し、把持された物体を用いたモーション認識方法及びその装置並びにシステムに関する。 The present invention relates to a device and method for recognizing a user's motion, and relates to a motion recognition method using a gripped object, and a device and system thereof.
近年、スマートフォン、タブレットＰＣ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）のような様々な携帯用電子機器の使用が増加しつつある。
ユーザ身体のモーションを解釈する一般的な技術として、機器に動作検知用の加速度センサなどを取付けてモーションを解読する方法がある。この技術は、ユーザの精密な動作より簡単な動作を解釈するとき適する。
In recent years, the use of various portable electronic devices such as smartphones, tablet PCs, and PDAs (Personal Digital Assistants) is increasing.
As a general technique for interpreting the motion of the user's body, there is a method of decoding the motion by attaching an acceleration sensor for detecting motion to the device. This technique is suitable when interpreting simpler operations than the precise operations of the user.
他の技術として、機器に動作検知用カメラを取付けてカメラによって取得した画像情報を解読する方法がある。
この場合、ユーザが機器の前に存在することが前提でなければならないため、ユーザは身体と分離した機器を別に管理しなければならない。
また、画像においてユーザの身体が重なっている状態ではモーションを容易に解釈することができないという問題があった。
As another technique, there is a method of decoding image information acquired by a camera with an operation detection camera attached thereto.
In this case, since it must be assumed that the user exists in front of the device, the user must manage the device separated from the body separately.
In addition, there is a problem that motion cannot be easily interpreted when the user's body overlaps in the image.
本発明は上記従来のモーション認識方法における問題点に鑑みてなされたものであって、本発明の目的は、ノート筆記及び描画のようなユーザ動作を精密に認識することのできるユーザインターフェースを有する把持された物体を用いたモーション認識方法及びその装置並びにシステムを提供することにある。 The present invention has been made in view of the problems in the above-described conventional motion recognition method, and an object of the present invention is to provide a grip having a user interface capable of accurately recognizing user actions such as note writing and drawing. Another object of the present invention is to provide a motion recognition method, apparatus, and system using a formed object.
上記目的を達成するためになされた本発明による把持された物体を用いたモーション認識方法は、把持された物体を用いた筆記動作によるユーザの手首状態を推定するステップと、前記筆記動作により、前記手首と関連する前記ユーザの人体部位の関節動作を推定するステップと、把持された前記物体の状態を前記手首状態及び前記関節動作により推定するステップとを有することを特徴とする。 In order to achieve the above object, a motion recognition method using a grasped object according to the present invention includes a step of estimating a wrist state of a user by a writing operation using the grasped object, and the writing operation, The method includes estimating a joint motion of a human body part of the user related to a wrist, and estimating a state of the grasped object based on the wrist state and the joint motion.
前記物体の状態を連続的に追跡して外部機器を制御するための制御信号を生成するステップをさらに有することが好ましい。
前記把持された物体を用いた前記ユーザの前記筆記動作の開始を検出するステップをさらに有することが好ましい。
前記把持された物体を用いた前記ユーザの前記筆記動作の開始を検出するステップは、前記筆記動作により発生するサウンド又は前記筆記動作による前記物体に対する把持行為の少なくとも１つを検出した場合、前記筆記動作が開始されたと判断するステップを含むことが好ましい。
前記把持された前記物体の状態を前記手首状態及び前記関節動作により推定するステップは、前記物体の筆記面と接触する部分の位置を前記手首状態及び前記関節動作により推定するステップを含むことが好ましい。
前記筆記動作によるユーザの手首状態を推定するステップは、前記把持された物体を用いた前記筆記動作による加速度を検出するステップと、前記加速度により前記手首状態を推定するステップとを含むことが好ましい。
Preferably, the method further includes generating a control signal for continuously tracking the state of the object and controlling an external device.
It is preferable that the method further includes a step of detecting the start of the writing operation of the user using the gripped object.
The step of detecting the start of the writing operation of the user using the gripped object is detected when at least one of a sound generated by the writing operation or a gripping action on the object by the writing operation is detected. Preferably, the method includes the step of determining that the operation has started.
Preferably, the step of estimating the state of the gripped object by the wrist state and the joint motion includes a step of estimating a position of a portion of the object that contacts the writing surface by the wrist state and the joint motion. .
The step of estimating the wrist state of the user by the writing operation preferably includes a step of detecting an acceleration by the writing operation using the grasped object and a step of estimating the wrist state by the acceleration.
前記筆記動作により、前記手首と関連する人体部位の関節動作を推定するステップは、前記筆記動作による前記手首と関連する人体部位の筋電図情報を検出するステップと、前記筋電図情報により前記関節動作を推定するステップとを含むことが好ましい。
前記ユーザに対応する生体信号を検出するステップと、前記生体信号による動きアーチファクト（ｍｏｔｉｏｎ ａｒｔｉｆａｃｔ）を用いて、推定された前記物体の状態の誤差を補正するステップとをさらに有することが好ましい。
前記物体の状態を連続的に追跡して生成された形態（ｆｉｇｕｒｅ）を格納するステップをさらに有することが好ましい。
前記筆記動作により、前記手首と関連する人体部位の関節動作を推定するステップは、前記物体を把持するために前記ユーザによって加えられた力の強度を推定するステップを含み、前記物体の状態を連続的に追跡し、前記力の強度に対応する太さで形態を生成するステップをさらに含むことが好ましい。
前記把持された物体の種類を識別するステップと、前記物体の状態を連続的に追跡し、前記物体の種類による動作を行うステップとをさらに有することが好ましい。
The step of estimating the joint motion of the human body part related to the wrist by the writing operation includes the step of detecting electromyogram information of the human body part related to the wrist by the writing operation, and the electromyogram information based on the electromyogram information. Preferably estimating the joint motion.
Preferably, the method further includes a step of detecting a biological signal corresponding to the user and a step of correcting an error in the estimated state of the object using a motion artifact by the biological signal.
Preferably, the method further comprises storing a figure generated by continuously tracking the state of the object.
The step of estimating the joint motion of the human body part associated with the wrist by the writing operation includes the step of estimating the strength of the force applied by the user to hold the object, and continuously detecting the state of the object. Preferably further comprising the step of tracking and generating a shape with a thickness corresponding to the strength of the force.
Preferably, the method further includes the step of identifying the type of the gripped object, and the step of continuously tracking the state of the object and performing an operation according to the type of the object.
上記目的を達成するためになされた本発明による把持された物体を用いたモーション認識装置は、把持された物体を用いた筆記動作によるユーザの手首状態を推定する手首状態推定部と、前記筆記動作により、前記手首と関連する前記ユーザの人体部位の関節動作を推定する関節動作推定部と、把持された前記物体の状態を前記手首状態及び前記関節動作により推定する物体状態推定部とを備えることを特徴とする。 A motion recognition apparatus using a grasped object according to the present invention made to achieve the above object includes a wrist state estimation unit for estimating a wrist state of a user by a writing operation using the grasped object, and the writing operation. A joint motion estimator that estimates joint motion of the human body part of the user related to the wrist, and an object state estimator that estimates the state of the gripped object based on the wrist state and the joint motion. It is characterized by.
前記物体の状態を連続的に追跡して外部機器を制御するための制御信号を生成する信号生成部をさらに備えることが好ましい。
前記把持された物体を用いた前記筆記動作の開始を検出する動作開始検出部をさらに備えることが好ましい。
前記動作開始検出部は、前記筆記動作により発生するサウンドを検出する音声検出部と、前記筆記動作により発生する前記サウンド又は前記筆記動作による前記物体に対する把持行為の少なくとも１つを検出した場合、前記筆記動作が開始されたと判断する動作開始判断部とを含むことが好ましい。
前記物体状態推定部は、前記物体の筆記面と接触する部分の位置を前記手首状態及び前記関節動作により推定する筆記面接触推定部を含むことが好ましい。
前記手首状態推定部は、前記把持された物体を用いた筆記動作による６軸に対する加速度を検出する加速度検出部を含み、前記加速度により前記手首の位置変化又は前記手首の回転の少なくとも１つを含む前記手首状態を推定することが好ましい。
It is preferable to further include a signal generation unit that generates a control signal for continuously tracking the state of the object and controlling an external device.
It is preferable to further include an operation start detection unit that detects the start of the writing operation using the gripped object.
When the motion start detection unit detects at least one of a sound detection unit that detects a sound generated by the writing operation, and a grip action on the object by the sound generated by the writing operation or the writing operation, It is preferable to include an operation start determination unit that determines that the writing operation has started.
The object state estimation unit preferably includes a writing surface contact estimation unit that estimates a position of a portion of the object that contacts the writing surface based on the wrist state and the joint motion.
The wrist state estimation unit includes an acceleration detection unit that detects acceleration with respect to six axes by a writing operation using the grasped object, and includes at least one of a change in position of the wrist or rotation of the wrist due to the acceleration. It is preferable to estimate the wrist state.
前記関節動作推定部は、前記筆記動作により前記手首と関連する人体部位で発生する筋電図情報を検出する筋電図検出部を含み、前記筋電図情報により前記関節動作を推定することが好ましい。
前記ユーザに対応する生体信号を検出する生体信号検出部と、前記生体信号による動きアーチファクト（ｍｏｔｉｏｎ ａｒｔｉｆａｃｔ）を用いて、前記推定された物体の状態の誤差を補正する物体状態補正部をさらに備えることが好ましい。
前記物体の状態を連続的に追跡して形態（ｆｉｇｕｒｅ）を生成する筆記生成部をさらに備えることが好ましい。
前記関節動作推定部は、前記ユーザが前記物体を把持するために前記ユーザによって加えられた力の強度を推定する把持強度推定部を含み、前記筆記生成部は、前記物体の状態を連続的に追跡し、前記力の強度に対応する太さで形態を生成することが好ましい。
前記筆記生成部は、前記物体を把持した姿勢、筆記動作によるサウンド、及びユーザ音声の内の少なくとも１つを用いて前記物体の種類を識別する物体識別部を含み、前記物体の種類による動作を行って前記形態を生成することが好ましい。
The joint motion estimation unit includes an electromyogram detection unit that detects electromyogram information generated in a human body part related to the wrist by the writing operation, and estimates the joint motion from the electromyogram information. preferable.
The apparatus further includes a biological signal detection unit that detects a biological signal corresponding to the user, and an object state correction unit that corrects an error in the estimated state of the object using a motion artifact caused by the biological signal. Is preferred.
It is preferable to further include a writing generation unit that continuously tracks the state of the object and generates a figure.
The joint motion estimation unit includes a grip strength estimation unit that estimates a strength of a force applied by the user for the user to grip the object, and the writing generation unit continuously determines the state of the object. It is preferable to trace and generate a shape with a thickness corresponding to the strength of the force.
The writing generation unit includes an object identification unit that identifies the type of the object using at least one of a posture in which the object is gripped, a sound by a writing operation, and a user voice, and performs an operation according to the type of the object. It is preferable to go to generate the form.
上記目的を達成するためになされた本発明による把持された物体を用いたモーション認識システムは、ユーザの手首状態及び前記手首と関連する人体部位の関節動作により把持された物体の状態を推定し、前記物体の状態を連続的に追跡して生成した外部機器を制御するための制御信号を送信するモーション認識装置と、前記制御信号を受信した場合、前記制御信号に対応する予め決められた動作を行う外部機器とを備えることを特徴とする。 The motion recognition system using the grasped object according to the present invention made to achieve the above object estimates the user's wrist state and the state of the grasped object by the joint motion of the human body part related to the wrist, A motion recognition device that transmits a control signal for controlling an external device generated by continuously tracking the state of the object, and a predetermined operation corresponding to the control signal when the control signal is received. And an external device to perform.
前記モーション認識装置は、前記物体の状態を連続的に追跡した形態（ｆｉｇｕｒｅ）に対応する外部機器を選択し、前記選択された外部機器を制御するための信号を前記制御信号で生成することが好ましい。
前記制御信号は、前記モーション認識装置が前記形態で前記外部機器の予め決められた部分を活性化するユーザ動作を検出した場合、前記外部機器が前記予め決められた部分に対応する動作を行うようにする制御命令を備えることが好ましい。
The motion recognition apparatus may select an external device corresponding to a figure in which the state of the object is continuously tracked, and generate a signal for controlling the selected external device using the control signal. preferable.
The control signal causes the external device to perform an operation corresponding to the predetermined portion when the motion recognition apparatus detects a user operation that activates the predetermined portion of the external device in the form. It is preferable to provide a control command to
また、上記目的を達成するためになされた本発明による把持された物体を用いたモーション認識方法は、把持された物体を用いたモーション認識方法において、ユーザの手首状態及び前記手首と関連する人体部位の関節動作により前記把持された物体の状態を推定するステップと、前記把持された物体の状態を連続的に追跡することによって生成される形態（ｆｉｇｕｒｅ）を格納するステップと、前記形態に対応する外部機器を識別するために前記形態を認識し、前記外部機器によって行われる動作を決定するステップと、前記外部機器が前記決定された動作を行うように指示する制御信号を前記外部機器に送信するステップとを有することを特徴とする。 Also, a motion recognition method using a grasped object according to the present invention made to achieve the above object is a motion recognition method using a grasped object, in which a user's wrist state and a human body part related to the wrist A step of estimating the state of the grasped object by the joint movement of the object, a step of storing a figure generated by continuously tracking the state of the grasped object, and corresponding to the form Recognizing the form to identify an external device, determining an operation performed by the external device, and transmitting a control signal instructing the external device to perform the determined operation to the external device And a step.
前記形態は、文字を含み、前記形態を認識し、前記外部機器によって行われる動作を決定するステップは、前記文字を認識するステップを含むことが好ましい。
前記外部機器は、前記認識された文字に基づいて識別されることが好ましい。
前記外部機器によって行われる動作は、前記認識された文字に基づいて決定されることが好ましい。
前記外部機器は、前記外部機器を示す前記形態の認識に基づいて識別されることが好ましい。
前記形態の領域は、前記決定された動作を行う前記外部機器の一部分の図形であり、前記ユーザが前記一部分を選択した場合、前記決定された動作を前記外部機器が行うように指示する前記制御信号を送信するステップをさらに有することが好ましい。
Preferably, the form includes a character, and the step of recognizing the form and determining an operation performed by the external device includes a step of recognizing the character.
Preferably, the external device is identified based on the recognized character.
The operation performed by the external device is preferably determined based on the recognized character.
The external device is preferably identified based on recognition of the form indicating the external device.
The area of the form is a figure of a part of the external device that performs the determined operation, and the control that instructs the external device to perform the determined operation when the user selects the part. Preferably, the method further includes the step of transmitting a signal.
本発明に係る把持された物体を用いたモーション認識方法及びその装置並びにシステムによれば、モーション認識装置は、ノート筆記及び描写するようなユーザ動作を精密に認識することのできるユーザインターフェース（ＵＩ、Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を提供することができ、このようなユーザインターフェースは、別途の入出力装置が不要な新しい形態の直観的かつ自然なユーザインターフェースである。 According to the motion recognition method and apparatus and system using a gripped object according to the present invention, the motion recognition apparatus can accurately recognize user operations such as note writing and drawing. The user interface is a new type of intuitive and natural user interface that does not require a separate input / output device.
また、モーション認識装置は、生体信号検出部、加速度検出部などを用いて手の動きを精密に推定し、これに基づいてノート筆記型の直観的なユーザインターフェースを提供することができる。
また、加速度検出部を用いてユーザの手を含む腕の大きい動きを把握し、筋電図センサを用いて個別の指を握ったり開いたりするユーザ動作、手首の動きなどを推定することができる。
また、予め決められた入出力装置や格納装置に当該ユーザ動作と関連する情報を送信してユーザにフィードバックを与えることができる。例えば、ユーザが筆記中である字、文章ないし絵を入出力装置で表示することができる。
In addition, the motion recognition device can accurately estimate the hand movement using a biological signal detection unit, an acceleration detection unit, and the like, and can provide a notebook writing-type intuitive user interface based on the estimation.
In addition, it is possible to grasp a large movement of the arm including the user's hand using the acceleration detection unit, and to estimate a user's action of grasping or opening an individual finger or a wrist movement using an electromyogram sensor. .
Further, it is possible to give information to the user by transmitting information related to the user operation to a predetermined input / output device or storage device. For example, a character, a sentence, or a picture that the user is writing can be displayed on the input / output device.
また、本発明に係るモーション認識装置は、直観的かつ自然な筆記型ユーザインターフェースを提供することができる。
例えば、モーション認識装置は、制御しようとする外部機器を制御するためのディスプレイが必要でなくてもよい。他の例として、データを入力するためのモーション認識装置以外の別途装備が必要でなくてもよい。ユーザはこのようなモーション認識装置を介して直観的に外部機器を制御することができる。
また、ノート筆記されたデータ入力を無線でクラウドサーバなどに便利に送信することができる。また、外部機器を制御するためのアイコンを紙に、そして、筆記道具などでポインティン（Ｐｏｉｎｔｉｎｇ）して外部機器を制御することができる。
Moreover, the motion recognition apparatus according to the present invention can provide an intuitive and natural writing type user interface.
For example, the motion recognition apparatus may not require a display for controlling an external device to be controlled. As another example, a separate device other than the motion recognition device for inputting data may not be required. The user can intuitively control the external device through such a motion recognition device.
Moreover, the data input written in the notebook can be conveniently transmitted to a cloud server or the like wirelessly. Further, the external device can be controlled by pointing an icon for controlling the external device on paper and pointing with a writing tool or the like.
次に、本発明に係る物体を用いたモーション認識方法及びその装置並びにシステムを実施するための形態の具体例を図面を参照しながら説明する。 Next, a specific example of a mode for carrying out a motion recognition method, apparatus, and system using an object according to the present invention will be described with reference to the drawings.
タッチ検出に基づいた入力装置を含むモバイル装置のユーザインターフェース（Ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）は、ユーザのタッチを検出してキーボードを認識する。
ユーザは、タッチ検出に基づいたキーボードを用いるために別途の使用法を習得しなければならず、使用法は直観的でないこともある。
また、ウェアラブル装置（Ｗｅａｒａｂｌｅ Ｄｅｖｉｃｅ）などのように小型化したモバイル装置が増加しつつ、タッチベースの入力装置を用いて装置を制御することがユーザにとって不便さを感じることもある。
A user interface of a mobile device including an input device based on touch detection detects a user touch and recognizes a keyboard.
The user must learn a separate usage to use a keyboard based on touch detection, and the usage may not be intuitive.
In addition, as mobile devices such as wearable devices increase in size, it may be inconvenient for a user to control devices using a touch-based input device.
図１は、本発明の一実施形態による把持された物体１８０を用いたモーション認識装置１１０の形状を示す図である。
ここで、モーション認識装置１１０は、ユーザ１９０によって把持された物体１８０の状態を推定する。
例えば、モーション認識装置１１０は、把持された物体１８０の状態を連続的に追跡することで、物体１８０を用いてユーザ１９０が筆記した内容を認識する。以下の本明細書で「筆記」とは、ユーザが物体を用いて特定内容を作成するユーザ動作として、字、文章及び図形（絵）などを作成するユーザ動作を含み得る。
FIG. 1 is a diagram illustrating a shape of a
Here, the
For example, the
本実施形態によると、例えば、モーション認識装置１１０は、ユーザ１９０によって、ユーザ１９０の手首に取り付けられる。
モーション認識装置１１０は、モーション信号、生体信号又はその他の形態の信号のうち少なくとも１つ以上を検出する少なくとも１つ以上のセンサを含み得る。
モーション認識装置１１０は、検出された様々な種類の生体信号、モーション信号などを組み合わせて、筆記する人体（例えば、手、手首、腕など）の各部位の動きを精密に推定する。ユーザ１９０は、本実施形態に係るモーション認識装置１１０を着用することによって、ノートなどに自在かつ直観的に筆記した内容を直接にコンピュータ読み出し可能なデータ形態で格納したり、筆記した内容に基づいて特定の外部機器とのインタラクション（ｉｎｔｅｒａｃｔｉｏｎ）を行う。
According to the present embodiment, for example, the
The
The
また、筆記した内容は、モーション認識装置１１０と通信して外部データ格納領域として機能する外部機器に格納されてもよい。
例えば、モーション認識装置１１０は、ユーザ１９０からのモーションを認識して推定するとき、モーション認識装置１１０は有線又は無線で外部機器へモーションを示すデータを送信し、外部機器は後で用いるためにデータを格納してもよい。
The written content may be stored in an external device that communicates with the
For example, when the
ここで、物体１８０は、ユーザが特定内容を筆記するために用いる道具として、ペン、鉛筆、スタイラスペン、筆、及びユーザが任意に把持できる形体の物体などを含んでもよい。
把持できる形体の物体は、手で握ることができる長い形体の物体（例えば、箸など）を含んでもよい。把持された物体１８０は、把持された物体１８０の尖っている終端の動きが記録されるように、ユーザ１８０によって操作される尖っている終端を有し、記録された動きは筆記された内容として生成する。
Here, the
Shaped objects that can be gripped may include long shaped objects that can be grasped by hand (eg, chopsticks, etc.). The gripped
図２は、本発明の一実施形態による把持された物体を用いたモーション認識システムの概略的な構成を示すブロック図である。
ここで、モーション認識システムは、モーション認識装置２１０、格納装置２２０、入出力装置２３０、及び外部機器２４０を備える。
本実施形態では外部機器２４０を示しているが、この装置はシステム内部に実現されてもよい。さらに、図２において、格納装置２２０、入出力装置２３０、及び外部機器２４０がモーション認識装置２１０の外部に示しているが、格納装置２２０、入出力装置２３０、及び外部機器２４０の全て又は少なくとも１つはモーション認識装置の内部又は一部として実現してもよい。
FIG. 2 is a block diagram showing a schematic configuration of a motion recognition system using a grasped object according to an embodiment of the present invention.
Here, the motion recognition system includes a
Although the
本実施形態に係るモーション認識装置２１０を着用したユーザがノートを筆記すると、モーション認識装置２１０はノート筆記２０１を認識する。
モーション認識装置２１０は、認識された筆記内容を格納装置２２０に格納したり、入出力装置２３０に伝達したり、筆記した内容に基づいて外部機器２４０を制御したりする。
モーション認識装置２１０がユーザの筆記２０１を認識する具体的な方法及び活用は下記の図３〜図１２を参照して詳細に説明する。
When a user who wears the
The
A specific method and utilization by which the
図３は、本発明の一実施形態による把持された物体を用いたモーション認識方法を説明するためのフローチャートである。
下記のステップは、モーション認識装置に含まれた検出部及び処理部によって行う。
FIG. 3 is a flowchart for explaining a motion recognition method using a grasped object according to an embodiment of the present invention.
The following steps are performed by a detection unit and a processing unit included in the motion recognition apparatus.
ステップＳ３１０において、モーション認識装置は、筆記動作（ｗｒｉｔｉｎｇ ａｃｔｉｏｎ）の開始を検出する。
本実施形態によれば、筆記動作により発生するサウンド又は物体に対する把持行為の少なくとも１つを検出すると、筆記動作が開始されたと判断する。
例えば、筆記動作により発生するサウンドは、物体と接触面（例えば、紙面など）との間の摩擦音を含む。
本明細書において、「接触面」は、把持された物体が表面上に筆記するために接触を形成することのできる表面（筆記面）を示す一般的な用語として使用する。
例えば、筆記は紙面上に行われるが、他の適切な平面も他の実施形態として適用され得る。
ステップＳ３１０は、筆記動作が開始したことを示す摩擦音を解釈する。
又は、ユーザが取った特定の手の形状（例えば、ペンを握る姿勢）を検出すると、筆記動作が開始されたと判断する。ここで、筆記動作はユーザが把持した物体を用いて筆記するモーションを含む。
In step S310, the motion recognition device detects the start of a writing action.
According to the present embodiment, it is determined that the writing operation has been started when at least one of the gripping action on the sound or the object generated by the writing operation is detected.
For example, a sound generated by a writing operation includes a friction sound between an object and a contact surface (for example, a paper surface).
In this specification, “contact surface” is used as a general term indicating a surface (writing surface) on which a grasped object can make contact in order to write on the surface.
For example, writing is done on paper, but other suitable planes may be applied as other embodiments.
Step S310 interprets a friction sound indicating that the writing operation has started.
Or if the shape of the specific hand which the user took (for example, posture which grasps a pen) is detected, it will be judged that writing operation was started. Here, the writing operation includes a motion of writing using an object held by the user.
次に、ステップＳ３２０において、モーション認識装置は、筆記動作による手首状態を推定する。
ここで、手首状態は、手首の位置、手首の位置変化、回転角度、回転方向などを含む。
ユーザ１９０は筆記動作が発生するとき手首を動かすため、手首がどのように動くかに関する情報は筆記動作の推論のために役に立つため、モーション認識装置は把持された物体１８０がどのように操作されたかに関する情報を提供する。
例えば、モーション認識装置は、加速度センサを介して筆記動作による加速度を検出して手首の相対的な位置変化を推定する。加速度センサが６軸に対する加速度を検出する場合、手首の回転角度、回転方向を推定する。
Next, in step S320, the motion recognition apparatus estimates the wrist state due to the writing operation.
Here, the wrist state includes a wrist position, a wrist position change, a rotation angle, a rotation direction, and the like.
Since the
For example, the motion recognition device detects an acceleration due to a writing operation via an acceleration sensor and estimates a relative position change of the wrist. When the acceleration sensor detects acceleration with respect to six axes, the wrist rotation angle and direction are estimated.
続いて、ステップＳ３３０において、モーション認識装置は、筆記動作による関節動作（ｊｏｉｎｔ ｍｏｔｉｏｎ）を推定する。
ここで、関節動作は、手首と関連する人体部位における関節の動き（例えば、指及び腕を曲げる動作）を含んでもよい。
具体的には、モーション認識装置は、筆記動作による手首と関連する人体部位の筋電図（ＥＭＧデータ）を検出し、検出された筋電図に基づいて筋肉の収縮と弛緩による関節動作を推定する。例えば、手首と関連する人体部位は、指の関節、手首の関節、腕の関節、肩の関節などを含んでもよい。手首と関連する人体部位はこれに限定されることなく、ＥＭＧデータは他の人体部位から導き出されてもよい。
Subsequently, in step S330, the motion recognition apparatus estimates a joint motion due to a writing motion.
Here, the joint motion may include a joint motion (for example, a motion of bending a finger and an arm) in a human body part related to the wrist.
Specifically, the motion recognition device detects an electromyogram (EMG data) of a human body part related to the wrist by a writing operation, and estimates joint motion due to muscle contraction and relaxation based on the detected electromyogram. To do. For example, a human body part associated with a wrist may include a finger joint, a wrist joint, an arm joint, a shoulder joint, and the like. The human body part associated with the wrist is not limited to this, and the EMG data may be derived from other human body parts.
次に、ステップＳ３４０において、モーション認識装置は、把持された物体の状態を手首状態及び関節動作により推定する。
ここで、把持された物体の状態は、ユーザが物体を把持した姿勢及び動きによる物体の位置、物体が筆記面と接触する位置、物体の傾き、物体が押さえられた程度などを含む。
例えば、モーション認識装置は、物体が筆記面と接触する部分の位置を手首状態及び関節動作により推定する。
Next, in step S340, the motion recognition apparatus estimates the state of the grasped object from the wrist state and the joint motion.
Here, the state of the gripped object includes the posture of the user gripping the object and the position of the object due to movement, the position where the object contacts the writing surface, the tilt of the object, the degree to which the object is pressed, and the like.
For example, the motion recognition apparatus estimates the position of the part where the object contacts the writing surface from the wrist state and the joint motion.
本実施形態によれば、モーション認識装置は、把持された物体の推定された状態における不正確性を補正するためにユーザの生体信号を検出し、生体信号による動きアーチファクト（ｍｏｔｉｏｎ ａｒｔｉｆａｃｔ）を用いて推定された物体の状態で誤差を補正する。動きアーチファクト（ｍｏｔｉｏｎ ａｒｔｉｆａｃｔ）を用いた補正は、後述の図１１を参照して詳細に説明する。 According to the present embodiment, the motion recognition apparatus detects a user's biological signal to correct inaccuracy in the estimated state of the grasped object, and uses a motion artifact due to the biological signal. The error is corrected based on the estimated state of the object. Correction using motion artifact will be described in detail with reference to FIG. 11 described later.
続いて、ステップＳ３５０において、モーション認識装置は、物体の状態を連続的に追跡する。
モーション認識装置は、物体の状態を連続的に追跡して外部機器を制御するための制御信号を生成するか、又は物体を連続的に追跡して生成された形態（ｆｉｇｕｒｅ）を格納する。
例えば、物体を連続的に追跡して生成された形態は、コンピュータで読み出し可能なデータで格納するか、又は活用する。把持された物体の状態を追跡することでモーション認識装置は、ユーザが把持された物体を用いて筆記動作による筆記内容を示す情報を提供する。
Subsequently, in step S350, the motion recognition apparatus continuously tracks the state of the object.
The motion recognition apparatus continuously generates a control signal for controlling the external device by tracking the state of the object, or stores a figure generated by continuously tracking the object.
For example, a form generated by continuously tracking an object is stored or utilized as computer-readable data. By tracking the state of the gripped object, the motion recognition apparatus provides information indicating the writing content by the writing operation using the object gripped by the user.
ここで、物体を連続的に追跡して生成された“形態”は、ユーザが物体を用いて筆記した内容がモーション認識装置によって認識されたものであり、上述したようにユーザが作成した字、文章及び図形（絵）などが認識された結果として含まれ得る。 Here, the “form” generated by continuously tracking the object is the one that the content written by the user using the object is recognized by the motion recognition device, and the character created by the user as described above, Sentences and figures (pictures) may be included as a result of recognition.
図４は、本発明の一実施形態による把持された物体を用いたモーションを認識して物体の状態を連続的に追跡する方法を説明するためのフローチャートである。 FIG. 4 is a flowchart illustrating a method for recognizing motion using a grasped object and continuously tracking the state of the object according to an embodiment of the present invention.
ステップＳ４１０において、モーション認識装置はユーザが物体を用いて筆記中であるか否かを判断する。
ユーザが物体を用いて筆記中であるか否かは、上述した図３に示すように、筆記動作が開始されたか否かに基づいて判断する。
例えば、筆記動作により発生するサウンド又は物体に対する把持行為の少なくとも１つを検出すると、筆記動作が開始されたと判断する。
ここで、ユーザが筆記中ではないと判断されると、モーション認識装置は筆記動作が開始するまで待機する。
In step S410, the motion recognition apparatus determines whether the user is writing using an object.
Whether or not the user is writing using an object is determined based on whether or not the writing operation is started, as shown in FIG. 3 described above.
For example, when at least one of a gripping action for a sound or an object generated by a writing operation is detected, it is determined that the writing operation has started.
Here, if it is determined that the user is not writing, the motion recognition apparatus waits until the writing operation starts.
次に、ステップＳ４５１において、モーション認識装置は、ユーザが物体を把持した力の強度を測定する。
モーション認識装置は、手首と関連する人体部位の関節動作からユーザが物体を把持した力の強度を推定する。
ステップＳ４５１において、測定された力は、ユーザ１９０が物体１８０を把持するために、ユーザの手の一部によって加えられる力である。例えば、ユーザが物体を握るために指を曲げるとき発生する筋肉の筋電図信号を検出し、筋電図信号の強度からユーザが物体を把持した力の強度を推定する。
Next, in step S451, the motion recognition apparatus measures the strength of the force with which the user grips the object.
The motion recognition apparatus estimates the strength of the force with which the user grips the object from the joint motion of the human body part related to the wrist.
In step S451, the measured force is a force applied by a part of the user's hand in order for the
続いて、ステップＳ４５２において、モーション認識装置は筆記の太さを設定する。
太さは、把持された物体１８０と筆記面間との接触が占める軌跡（ｆｏｏｔｐｒｉｎｔ）の太さを示す。
ここで、太さは、ユーザが筆記した内容の字の太さ、線の太さ、消しゴムで消す範囲、及び筆記修正道具が及ぼす効果の範囲を含んでもよい。
具体的には、モーション認識装置は、ステップＳ４５１で測定（推定）された力の強度に対応する太さを設定して上述した字や線の範囲などに適用する。例えば、力の強度が大きく推定されるほど、太さは力の強度に比例して大きく設定する。筆記修正道具は、筆記した内容を消す消しゴム、ブラシ効果を与えるブラシなどを含む。
Subsequently, in step S452, the motion recognition apparatus sets a writing thickness.
The thickness indicates the thickness of the locus (footprint) occupied by the contact between the grasped
Here, the thickness may include the thickness of the character written by the user, the thickness of the line, the range erased by the eraser, and the range of the effect exerted by the writing correction tool.
Specifically, the motion recognition apparatus sets a thickness corresponding to the strength of the force measured (estimated) in step S451 and applies it to the above-described character or line range. For example, as the strength of the force is estimated to be larger, the thickness is set to be larger in proportion to the strength of the force. The writing correction tool includes an eraser that erases the written content, a brush that gives a brush effect, and the like.
一方、ステップＳ４５１と並行して、ステップＳ４５３において、モーション認識装置はユーザによって把持された物体の種類を識別する。
ここで、モーション認識装置は、ユーザが物体を把持した姿勢又は筆記動作によるサウンドの少なくとも１つを用いて物体の種類を識別する。
把持された物体の種類は、全体的な形態及び使用目的に対応する。
物体の種類を識別する具体的な方法は下記で詳細に説明する。
On the other hand, in parallel with step S451, in step S453, the motion recognition apparatus identifies the type of the object held by the user.
Here, the motion recognition device identifies the type of the object using at least one of the posture by which the user grips the object or the sound by the writing operation.
The type of object gripped corresponds to the overall form and intended use.
A specific method for identifying the type of object will be described in detail below.
本実施形態によれば、モーション認識装置は、ユーザが物体を把持した姿勢を用いて物体の種類を識別する。
例えば、ユーザが物体を把持した姿勢がペンのように長い形の物体を把持した姿勢であれば、モーション認識装置はユーザによって把持された物体を筆記のための道具として識別する。
また、消しゴムのように太い形の物体を把持した姿勢であれば、モーション認識装置はユーザによって把持された物体を筆記を消す道具と識別する。
ただし、これに限定されることなく、モーション認識装置はユーザによって把持された物体の種類を各物体の固有な形に応じてユーザが取る姿勢に対応する道具として識別する。例えば、異なる方法で握られたり、特定のデザインされた（ｃｏｎｔｏｕｒｅｄ）把持された物体は、把持された物体の特定種類に属するものと認識されてもよい。
According to the present embodiment, the motion recognition apparatus identifies the type of object using the posture in which the user grips the object.
For example, if the posture in which the user grips the object is a posture in which a long object such as a pen is gripped, the motion recognition apparatus identifies the object gripped by the user as a writing tool.
Further, if the posture grasps a thick object such as an eraser, the motion recognition apparatus identifies the object grasped by the user as a tool for erasing writing.
However, the present invention is not limited to this, and the motion recognition apparatus identifies the type of the object gripped by the user as a tool corresponding to the posture that the user takes according to the unique shape of each object. For example, an object that is gripped in a different way or that is specifically designed and gripped may be recognized as belonging to a specific type of gripped object.
他の実施形態によれば、モーション認識装置は、筆記動作によるサウンドを用いてユーザによって把持された物体の種類を識別してもよい。
ここで、筆記動作によるサウンドは、物体と筆記面の接触面（例えば、紙面など）との間の摩擦音を含む。サウンドは把持された物体の適切な種類を識別するために分析される。
例えば、モーション認識装置は、物体と接触面との間の摩擦音が頻繁にす早く発生すると、把持された物体を消す道具として識別し、摩擦音が頻繁に発生せずゆっくり発生すると、把持された物体が筆記道具として識別してもよい。
このような方法は、所定の時間周期の間にどれほど多いサウンドが発生するかを追跡したり、又は、摩擦音の速度及び周期を追跡することによって実現され得る。例えば、把持された物体が筆記道具又は消しゴムであるかを判断するために閾値又は測量が存在し得る。
According to another embodiment, the motion recognition device may identify the type of the object held by the user using a sound by a writing operation.
Here, the sound caused by the writing operation includes a friction sound between the object and the contact surface (for example, a paper surface) of the writing surface. The sound is analyzed to identify the appropriate type of gripped object.
For example, when the friction sound between the object and the contact surface frequently occurs quickly, the motion recognition device identifies the gripped object as a tool to erase, and when the friction sound does not occur frequently and slowly occurs, the gripped object May be identified as a writing tool.
Such a method can be realized by tracking how much sound is generated during a given time period, or by tracking the speed and period of the frictional sound. For example, there may be a threshold or surveying to determine if the grasped object is a writing tool or an eraser.
他の例として、モーション認識装置は、物体と接触面との間の摩擦音のサウンド波形を測定し、サウンド波形に対応する道具がユーザによって把持されたと識別してもよい。
このような波形が測定された場合、信号分析に基づいて識別されるよう摩擦音を特性化（ｃｈａｒａｃｔｅｒｉｚｅ）してもよい。
例えば、モーション認識装置は、筆記道具と紙面との間の摩擦音に対するサウンド波形及び消しゴムと紙面との間の摩擦音に対するサウンド波形を予め格納してもよい。モーション認識装置は、物体と紙面との間の摩擦音を予め格納されたサウンド波形と比較して把持された物体の種類を識別してもよい。このような比較に基づいて、モーション認識装置は、把持された物体を筆記道具又は消しゴムに分類する。例えば、分類はすでに存在する波形が把持された物体を用いて生成された波形と最も類似するかに基づく。
As another example, the motion recognition device may measure the sound waveform of the frictional sound between the object and the contact surface, and identify that the tool corresponding to the sound waveform is gripped by the user.
If such a waveform is measured, the frictional sound may be characterized to be identified based on signal analysis.
For example, the motion recognition apparatus may store in advance a sound waveform for a friction sound between the writing tool and the paper surface and a sound waveform for a friction sound between the eraser and the paper surface. The motion recognition apparatus may identify the type of the gripped object by comparing the frictional sound between the object and the paper surface with a previously stored sound waveform. Based on such comparison, the motion recognition device classifies the grasped object as a writing tool or an eraser. For example, the classification is based on whether an already existing waveform is most similar to a waveform generated using a grasped object.
更なる例として、モーション認識装置は、ユーザの音声を認識して把持された物体の種類を識別してもよい。
例えば、ユーザが「レッド（ｒｅｄ）」と言った場合、モーション認識装置はユーザの音声を認識し、把持された物を「レッドペン」のように識別することができる。ただし、把持された物体が必ず音声認識された結果と同一でない場合もあり、音声認識命令は他の入力形態を指示してもよい。
例えば、ユーザはブラックペンで筆記しながらも、上述したように色を音声で認識させることによって、色などを自由に変更しながら筆記することができる。したがって、ユーザがブラックペンに筆記するとき、ユーザが「ブルー」と言った場合、ペンの色変換を示す。ただし、ユーザが消しゴム使用時、ユーザが「ブルー」と言った場合、ペンに対して色変換をしたように、消しゴムからペン種類に物体の種類を変えてもよい。
As a further example, the motion recognition device may recognize the user's voice and identify the type of the grasped object.
For example, when the user says “red”, the motion recognition device can recognize the user's voice and identify the grasped object like a “red pen”. However, the gripped object may not always be the same as the result of voice recognition, and the voice recognition command may indicate another input form.
For example, while writing with a black pen, the user can write while changing the color and the like freely by recognizing the color by voice as described above. Therefore, when the user writes on the black pen, if the user says "blue", it indicates pen color conversion. However, when the user uses the eraser, if the user says “blue”, the type of the object may be changed from the eraser to the pen type as if the color conversion was performed on the pen.
続いて、ステップＳ４５３にてモーション認識装置は、ユーザによって把持された物体を鉛筆のような筆記道具として判断した場合、ステップＳ４５４において、筆記内容に対応するデータを生成する。
モーション認識装置は、上述した図３に示したものと近似して、把持された物体の状態を連続的に追跡して筆記内容に対応するデータを生成する。ここで、モーション認識装置はステップＳ４５２で設定された太さで筆記を生成してもよい。
Subsequently, when the motion recognition device determines in step S453 that the object held by the user is a writing tool such as a pencil, in step S454, the motion recognition apparatus generates data corresponding to the writing content.
The motion recognition device approximates the one shown in FIG. 3 described above, and continuously tracks the state of the grasped object to generate data corresponding to the written content. Here, the motion recognition apparatus may generate a writing with the thickness set in step S452.
そして、ステップＳ４５３にてモーション認識装置は、ユーザによって把持された物体を消しゴムのような筆記修正道具として判断した場合、ステップＳ４５５において、筆記を修正する。
モーション認識装置は、上述した図３に示したものと近似して、把持された物体の状態を連続的に追跡して筆記を修正する。ここで、モーション認識装置は、ステップＳ４５２において、設定された太さで筆記を修正する効果を適用し得る。
When the motion recognition apparatus determines in step S453 that the object held by the user is a writing correction tool such as an eraser, in step S455, the motion recognition apparatus corrects the writing.
The motion recognition device approximates the one shown in FIG. 3 described above, and continuously tracks the state of the grasped object to correct the writing. Here, the motion recognition apparatus can apply the effect of correcting the writing with the set thickness in step S452.
続いてステップＳ４５６において、モーション認識装置は識別された物体の種類による動作を行ってユーザが筆記した内容に対応する形態（ｆｉｇｕｒｅ）を生成する。
具体的には、上述したステップＳ４５２、ステップＳ４５４及びステップＳ４５５により生成及び修正された筆記内容に対応するデータに基づいて形態を生成する。
例えば、物体を把持した強度に応じて筆記の軌跡の太さを異ならせながら、音声により認識した色で筆記した内容に対応する形態を生成してもよい。
Subsequently, in step S456, the motion recognition apparatus performs an operation according to the identified object type, and generates a form corresponding to the content written by the user.
Specifically, the form is generated based on the data corresponding to the written content generated and corrected by the above-described steps S452, S454, and S455.
For example, a form corresponding to the content written in the color recognized by voice may be generated while varying the thickness of the writing trajectory according to the strength of gripping the object.
次に、ステップＳ４５７において、モーション認識装置は、ユーザが筆記動作を終了したか否かを判断する。
例えば、ユーザが物体をこれ以上把持しない場合、物体を把持した姿勢が筆記するための姿勢ではない場合、一定時間以上、物体と接触面との間の摩擦音が検出されない場合、などにおいて筆記動作が終了したと判断する。
ただし、ユーザが筆記を終了したと判断される他のイベントがあってもよく、これらは単なる例示に過ぎない。本実施形態によれば、筆記動作が終了したと判断された場合には、モーション認識を終了し、筆記動作が終了していないと判断された場合には上述したステップＳ４１０に戻る。
Next, in step S457, the motion recognition apparatus determines whether the user has finished the writing operation.
For example, when the user does not hold the object any more, the posture holding the object is not the posture for writing, the frictional sound between the object and the contact surface is not detected for a certain time or more, etc. Judge that it is finished.
However, there may be other events for which it is determined that the user has finished writing, and these are merely examples. According to the present embodiment, when it is determined that the writing operation has been completed, the motion recognition is terminated, and when it is determined that the writing operation has not been completed, the process returns to step S410 described above.
図５は、本発明の一実施形態により把持された物体を用いたモーション認識装置が認識結果を格納する工程を概略的に示す図である。
図５に示すように、ユーザ５９０が特定内容を筆記すると、モーション認識装置５１０は物体５８０の状態を連続的に追跡して生成した形態を格納する。
本実施形態によれば、モーション認識装置５１０は、生成された形態を通信網、クラウドサービスなどを用いて格納装置５２０に格納する。ここで、格納装置５２０はサーバを含んでもよい。
FIG. 5 is a diagram schematically illustrating a process in which a motion recognition apparatus using an object gripped according to an embodiment of the present invention stores a recognition result.
As shown in FIG. 5, when the
According to the present embodiment, the
図６は、本発明の一実施形態による把持された物体を用いたモーション認識装置が外部機器を制御する工程を概略的に示す図である。
モーション認識装置６１０は、物体６８０の状態を連続的に追跡して生成した、外部機器６４０を制御するための制御信号を送信する。
制御信号を受信すると、外部機器６４０は、予め決められた（予め設定された）動作を実行する。
FIG. 6 is a diagram schematically illustrating a process of controlling an external device by a motion recognition apparatus using a grasped object according to an embodiment of the present invention.
The
When receiving the control signal, the
例えば、モーション認識装置６１０を着用したユーザ６９０が把持した物体６８０を用いて、図に示すように、電話番号（例えば、１２３−４５６−７８９０）及び「ｃａｌｌ」という内容を筆記する。把持された物体６８０の動きを追跡することによって、モーション認識装置６１０は、ユーザが筆記した内容がハイフン（−）、命令（例えば、「ｃａｌｌ」）を含む数字の羅列であるかどうかを認識する。このような認識に基づいて、モーション認識装置６１０は記載した電話番号に「電話」しようとするユーザ意図を推定することができる。
For example, the telephone number (for example, 123-456-7890) and the content of “call” are written using the object 680 held by the user 690 wearing the
したがって、モーション認識装置６１０は、筆記された電話番号に電話せよとの命令を含む制御信号を、予め接続された外部機器６４０（例えば、スマートフォン）に対して無線送信する。
外部機器６４０は、上述した制御信号を受信すると、対応する電話番号に電話する。
このような例示は、ユーザが潜在的に作成しようとする筆記内容が意味を有するものを示す。様々な例示において、筆記内容は入力を提供するものとして認識してもよく、外部機器６４０で行われる命令を提供するものとして認識されてもよい。
他の例として、モーション認識装置６１０は、物体６８０の状態を連続的に追跡して生成した形態を入出力装置に無線又は有線で単に伝達してもよい。入出力装置は、伝えられた形態を表示してもよい。
Therefore, the
When the
Such an example shows what the written content that the user intends to create has meaning. In various examples, the written content may be recognized as providing input or may be recognized as providing instructions to be performed by the
As another example, the
図７は、本発明の他の実施形態による把持された物体を用いたモーション認識装置が外部機器を制御する工程を概略的に示す図である。
モーション認識装置７１０は、物体７８０の状態を連続的に追跡した形態に対応する外部機器７４０を選択し、選択された外部機器７４０を制御するための信号を制御信号に生成する。
ここで、物体７８０の状態を連続的に追跡した形態は、外部機器７４０の名称、形状などを含んでもよい。把持された物体７８０の状態を連続的に追跡することによって、生成された形態が外部機器７４０とマッチングする単語又は図形（絵）を含んでいると、形態は制御される外部機器７４０としていずれかの外部機器７４０であるかを識別、判断するために使用される。
FIG. 7 is a diagram schematically illustrating a process in which a motion recognition apparatus using a grasped object according to another embodiment of the present invention controls an external device.
The
Here, the form in which the state of the
例えば、モーション認識装置７１０を着用したユーザ７９０が把持した物体７８０を用いて図に示すように、外部機器７４０の名称（例えば、「エアコン」）を筆記し、リモコンボタンを描写する。
モーション認識装置７１０は、筆記された名称に対応する外部機器７４０を選択し、選択された外部機器７４０を制御する。ここで、モーション認識装置７１０は、図７に示すように「エアコン」のリモコンが筆記されたことを認識し、エアコンの冷房温度を調節する。本実施形態によれば、ユーザ７９０がリモコンのボタンに対応する部分（図で、筆記された△、▽）をタップ（ｔａｐ）すると、モーション認識装置７１０がタップするユーザ動作を検出して外部機器７４０の「エアコン」の冷房温度を調節せよとの制御信号を生成する。
For example, the name (for example, “air conditioner”) of the
The
図８Ａ及び図８Ｂは、本発明のさらに他の実施形態による把持された物体を用いたモーション認識装置が外部機器を制御する工程を概略的に示す図である。
モーション認識装置８１０は、物体の状態を連続的に追跡した形態に対応する外部機器８４０を制御するための制御信号を生成する。
8A and 8B are diagrams schematically illustrating a process of controlling an external device by a motion recognition apparatus using a grasped object according to still another embodiment of the present invention.
The
本実施形態によると、制御信号は、連続的に追跡された形態による予め決められた部分８０１に対し活性化するユーザ動作を検出した場合における、外部機器８４０が予め決められた部分８０１に対応する動作を行わせる制御命令を含む。
ここで、予め決められた部分８０１は、生成された形態で特定座標に対応する地点を含んでもよい。
モーション認識装置８１０は、自然形状及び予め決められた部分８０１と残り形態との間の関係に基づいて、予め決められた部分８０１が本質的に特定機能を含むかどうかを認識する。
According to the present embodiment, the control signal corresponds to the
Here, the
The
例えば、モーション認識装置８１０を着用したユーザ８９０が把持した物体を用いて図８Ａ及び図８Ｂに示すように外部機器８４０に対応する形態を筆記する。
モーション認識装置８１０は、筆記された形態で予め決められた部分（例えば、シャッター）８０１に対し活性化するユーザ動作（例えば、タップするユーザ動作）を検出すると、対応する動作（例えば、撮影）を行わせる制御命令を含む制御信号を生成する。
例えば、ユーザ動作は、図８Ａに示すように、ユーザが指で予め決められた部分８０１をタップする動作、図８Ｂに示すようにユーザが把持した物体８８０を用いて予め決められた部分８０１をタップする動作を含んでもよい。
外部機器８４０（例えば、カメラ）は、制御信号を受信すると、予め決められた動作（例えば、撮影）を行う。
For example, a form corresponding to the
When the
For example, as shown in FIG. 8A, the user action is an operation in which the user taps a
When receiving the control signal, the external device 840 (for example, a camera) performs a predetermined operation (for example, photographing).
図９Ａ及び図９Ｂは、本発明の一実施形態による把持された物体を用いたモーション認識装置が検出できる空間的な動きの例を示す図である。
ここで、ユーザ９９０が着用したモーション認識装置９１０は、加速度検出部を介して検出した加速度信号を用いて手首の空間的な動きを含む手首状態を推定する。
モーション認識装置９１０は、ユーザ９９０のいずれの手首でも位置してもよいが、本実施形態によれば、モーション認識装置９１０は、ユーザ９９０が頻繁に使用する手の手首上に位置してもよい。
また、他の実施形態によれば、モーション認識装置は、ユーザの両手首に位置してもよい。また、さらに他の実施形態によれば、複数のモーション認識装置９１０をユーザ９９０の同じ手首上に用いて、分析のための情報を共に収集してもよい。
例えば、モーション認識装置９１０は、図９Ａに示すようなヒジ関節の動作による手首の位置変化、図９Ｂに示すような肩関節の動作による手首の位置変化などを推定する。
9A and 9B are diagrams illustrating examples of spatial motion that can be detected by a motion recognition apparatus using a grasped object according to an embodiment of the present invention.
Here, the
Although the
According to another embodiment, the motion recognition device may be located on both wrists of the user. In addition, according to another embodiment, a plurality of
For example, the
このような検出（測定）は、モーション認識装置９１０がモーション特性を推論する（例えば、手首の状態及び位置変化等の推定）を推定ために用いられる出力を有するモーション認識装置９１０に含まれた適切なセンサを用いて行われる。
本発明の実施形態によるモーション認識装置９１０が６軸に対する加速度検出部を含む場合、モーション認識装置９１０は、６軸に対する加速度信号から手首の回転角度及び回転方向などを推定できる。
Such detection (measurement) may be performed by an appropriate
When the
図１０Ａ〜図１０Ｆは、本発明の一実施形態による把持された物体を用いたモーション認識装置が検出できる関節動作の例を示す図である。
ここで、モーション認識装置１０１０は筋電図検出部を介して検出した筋電図信号を用いて手首と関連する部位の関節運動を推定する。上述したようにＥＭＧ信号は、人体部位がどのように動くかに関する情報を提供するために用いられる筋骨格を介して伝えられる特定電気信号を示す。
10A to 10F are diagrams illustrating examples of joint motions that can be detected by the motion recognition apparatus using a grasped object according to an embodiment of the present invention.
Here, the
例えば、モーション認識装置１０１０は、図１０Ａに示すような上下方向に対する手首の折れ程度、図１０Ｂに示すような左右方向に対する手首の折れ程度、及び折れ方向などを推定する。
また、モーション認識装置１０１０は、図１０Ｃに示すような手首の回転方向、回転角度、回転強度などを推定する。
上述したようにモーション認識装置１０１０は、ＥＭＧ信号を受信してもよく、図１０Ａ〜図１０Ｃに示すような手首動きの多様な形態を特定するためにＥＭＧ信号を解釈し得る。
For example, the
Also, the
As described above, the
他の例として、モーション認識装置１０１０は、図１０Ｄ及び図１０Ｅに示すような指の折れ程度及び折れ方向などを推定する。
また、図１０Ｆに示すようにユーザが指を折ることなく力を集中するユーザ動作（例えば、タップ）をとった場合も推定できる。
図１０Ａ〜図１０Ｃに対して、図１０Ｄ〜図１０ＦはＥＭＧ信号から測定される潜在的な筋肉活動の多様な形態を示す。
ただし、全体の手の動きを示す代わりに、図１０Ａ〜図１０Ｃ、図１０Ｄ〜図１０Ｅは優れた指の動きを示し、図１０Ｆは指が圧力を加える能力を示す。
As another example, the
Moreover, as shown to FIG. 10F, it can also estimate when the user takes user operation (for example, tap) which concentrates force, without folding a finger.
In contrast to FIGS. 10A-10C, FIGS. 10D-10F show various forms of potential muscle activity measured from EMG signals.
However, instead of showing the overall hand movement, FIGS. 10A-10C and 10D-10E show excellent finger movement, and FIG. 10F shows the ability of the finger to apply pressure.
図１０Ｇは、本発明の一実施形態による把持された物体を用いたモーション認識装置がユーザが物体を把持した姿勢を推定し、物体が把持された姿勢及び手首の位置から物体の状態を推定することを示す図である。
本実施形態によれば、モーション認識装置１０１０は、図９及び図１０Ａ〜Ｆに示すような手首と関連する部位の関節動作（例えば、指の曲げ、手首の折れなど）に基づいて、図１０Ｇに示すようにユーザが物体を把持した姿勢を推定し、物体が把持された姿勢及び手首の位置から物体の状態を推定する。
FIG. 10G illustrates a motion recognition apparatus using a gripped object according to an embodiment of the present invention that estimates a posture in which the user grips the object and estimates a state of the object from the posture at which the object is gripped and the wrist position. FIG.
According to the present embodiment, the
図１１は、本発明の一実施形態による把持された物体を用いたモーション認識装置の細部構成を示すブロック図である。
ここで、モーション認識装置１１００は、動作開始検出部１１１０、手首状態推定部１１２０、関節動作推定部１１３０、物体状態推定部１１４０、及び信号生成部１１５０を備える。
FIG. 11 is a block diagram illustrating a detailed configuration of a motion recognition apparatus using a grasped object according to an embodiment of the present invention.
Here, the
動作開始検出部１１１０は、把持された物体を用いた筆記動作の開始を検出する。
動作開始検出部１１１０は、筆記動作により発生するサウンドを検出するサウンド検出部と、サウンド又は物体に対する把持行為の少なくとも１つを検出すると、筆記動作が開始されたと判断する動作開始判断部を備える。
ここで、筆記動作により発生するサウンドは、物体と接触面との間の摩擦音を含んでもよい。
The operation
The operation
Here, the sound generated by the writing operation may include a friction sound between the object and the contact surface.
手首状態推定部１１２０は、把持された物体を用いた筆記動作によるユーザの手首状態を推定する。
手首状態推定部１１２０は、把持された物体を用いた筆記動作により６軸に対する加速度を検出する加速度検出部を含み、加速度により手首の位置変化又は手首の回転の少なくとも１つを含む手首状態を推定する。
The wrist
The wrist
関節動作推定部１１３０は、筆記動作により手首と関連する人体部位の関節動作を推定する。
関節動作推定部１１３０は、筆記動作により手首と関連する人体部位で発生する筋電図を検出する筋電図検出部を含み、検出された筋電図により関節動作を推定する。
関節動作推定部１１３０は、ユーザが物体を把持した力の強度を推定する把持強度推定部を備え、推定された力の強度は筆記生成部で用いられてもよい。
The joint
The joint
The joint
物体状態推定部１１４０は、把持された物体の状態を手首状態及び関節動作により推定する。
物体状態推定部１１４０は、物体が筆記面と接触する部分の位置を手首状態及び関節動作により推定する筆記面接触推定部を含んでもよい。
さらに、実施形態として、内容を認識するためにテキスト又は図形（絵）の筆記を処理してもよい。
例えば、テキスト命令（ｔｅｘｔｕａｌ ｃｏｍｍａｎｄ）は「ｅ−ｍａｉｌ」送信の命令を含んでもよく、パラメータはＥメールアドレスであってもよい。又は、図８に示したように、ユーザの意図を理解するために図形を解釈してもよい。
The object
The object
Furthermore, as an embodiment, writing of text or graphics (pictures) may be processed to recognize the contents.
For example, a text command may include an “e-mail” send command and the parameter may be an email address. Alternatively, as shown in FIG. 8, the figure may be interpreted in order to understand the user's intention.
信号生成部１１５０は、物体の状態を連続的に追跡して外部機器を制御するための制御信号を生成する。
信号生成部１１５０は、物体の状態を連続的に追跡して形態（ｆｉｇｕｒｅ）を生成する筆記生成部を含んでもよい。
筆記生成部は、物体の状態を連続的に追跡し、力の強度に対応する太さにて形態を生成してもよい。筆記生成部は、物体を把持した姿勢、筆記動作によるサウンド、及びユーザの音声の内の少なくとも１つを用いて物体の種類を識別する物体識別部を含み、物体の種類による動作を行って形態を生成してもよい。
例えば、物体の種類による動作は、文字及び文章を生成する動作及び図形（絵）を生成したり修正する動作を含んでもよい。
ここで、信号生成部１１５０は、生成された制御信号を通信部を介して外部機器、入出力装置、及び格納装置の内の少なくとも１つに送信してもよい。例えば、通信部は、有線又は無線（例えば、ブルートゥース（登録商標）、Ｗｉ−Ｆｉ、ジグビー（登録商標）など）で他の装置と通信できる。
The
The
The writing generation unit may continuously track the state of the object and generate a form with a thickness corresponding to the strength of the force. The writing generation unit includes an object identification unit that identifies an object type by using at least one of a posture in which an object is gripped, a sound by a writing operation, and a user's voice, and performs an operation according to the type of the object. May be generated.
For example, the operation depending on the type of object may include an operation of generating characters and sentences and an operation of generating or correcting a figure (picture).
Here, the
本実施形態によれば、モーション認識装置１１００は、ユーザの生体信号を検出する生体信号検出部及び推定された物体の状態を検出された生体信号による動きアーチファクト（ｍｏｔｉｏｎ ａｒｔｉｆａｃｔ）を用いて補正する物体状態補正部を含んでもよい。
ここで、モーション認識装置は、生体信号検出部を取付けたユーザの動きにより発生する動きアーチファクト（ｍｏｔｉｏｎ ａｒｔｉｆａｃｔ）を生体信号から抽出し、動きアーチファクトからユーザの動きを逆追跡する。
物体状態補正部は、逆追跡したユーザ動きに基づいて物体状態推定部で推定した物体の状態を補正する。
According to the present embodiment, the
Here, the motion recognition apparatus extracts a motion artifact generated by the movement of the user to which the biological signal detection unit is attached from the biological signal, and reversely traces the movement of the user from the movement artifact.
The object state correction unit corrects the state of the object estimated by the object state estimation unit based on the back-tracked user motion.
例えば、生体信号は、心電図（ＥＣＧ、ｅｌｅｃｔｒｏｃａｒｄｉｏｇｒａｍ）、眼電図（ＥＯＧ、ｅｌｅｃｔｒｏｏｃｕｌｏｇｒａｍ）、筋電図（ＥＭＧ、ｅｌｅｃｔｒｏｍｙｏｇｒａｍ）、脳電図（ＥＥＧ、ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ）などを含んでもよい。
ここで、モーション認識装置１１００は、生体信号から抽出した動きアーチファクト（ｍｏｔｉｏｎ ａｒｔｉｆａｃｔ）に基づいてユーザ動作を推定する。
For example, the biological signal may include an electrocardiogram (ECG), an electrooculogram (EOG), an electromyogram (EMG), an electroencephalogram (EEG), and the like.
Here, the
図１２は、本発明の他の実施形態による把持された物体を用いたモーション認識装置の細部構成を示すブロック図である。
モーション認識装置１２００は、検出部１２１０、処理部１２２０、格納部１２３０、及び通信部１２４０を備える。
FIG. 12 is a block diagram illustrating a detailed configuration of a motion recognition apparatus using a grasped object according to another embodiment of the present invention.
The
検出部１２１０は、生体信号、サウンド信号、加速度信号などを検出する。
例えば、検出部１２１０は、筋電図センサ、サウンドセンサ、心電図センサ、フォトプレチスモグラフィ（ＰＰＧ、Ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈｙ）、インピーダンスセンサを含んでもよい。
ここで、生体信号は、心電図、眼電図、筋電図及び脳電図を含んでもよい。
サウンド信号は、モーション認識装置１２００周辺のサウンド及びユーザの音声などを含んでもよい。
加速度信号は、直線運動に対する３軸の加速度信号及び各軸を基準とする回転運動に対する３軸の加速度信号を含んでもよい。
The
For example, the
Here, the biological signal may include an electrocardiogram, an electrooculogram, an electromyogram, and an electroencephalogram.
The sound signal may include sound around the
The acceleration signal may include a triaxial acceleration signal for a linear motion and a triaxial acceleration signal for a rotational motion based on each axis.
処理部１２２０は、本発明の一実施形態による把持された物体を用いたモーション認識方法を行う。
検出部１２１０で検出された生体信号、加速度信号、及びサウンド信号を用いてユーザによって把持された物体の状態を推定し、物体の状態を連続的に追跡して外部機器を制御するための制御信号を生成する。
例えば、筋電図信号から手首と関連する人体部位の関節動作を推定し、加速度信号から手首状態を推定し、推定された手首状態及び関節動作から物体の状態を推定する。
具体的には、上述した図３及び図４にて示した方法と近似して物体の状態を推定する。
The
A control signal for estimating the state of an object held by the user using the biological signal, acceleration signal, and sound signal detected by the
For example, the joint motion of the human body part related to the wrist is estimated from the electromyogram signal, the wrist state is estimated from the acceleration signal, and the state of the object is estimated from the estimated wrist state and joint motion.
Specifically, the state of the object is estimated by approximating the method shown in FIGS. 3 and 4 described above.
格納部１２３０は、上述した図３及び図４に示した方法を行わせる命令語を含む１つ以上のプログラムを格納する。
本実施形態によれば、格納部１２３０は、物体の状態を連続的に追跡して生成された形態（ｆｉｇｕｒｅ）を格納してもよい。
The
According to the present embodiment, the
通信部１２４０は、処理部１２２０で生成した制御信号を外部機器に伝達する。
ここで、通信部１２４０は、有線又は無線で外部機器、格納装置、及び入出力装置と通信してもよい。
例えば、通信部１２４０は、無線でモーション認識装置１２００が使用可能な外部機器、格納装置、及び入出力装置を検索してもよい。
The
Here, the
For example, the
本発明に係るモーション認識装置は、ノート筆記及び描画するようなユーザ動作を精密に認識することのできるユーザインターフェース（ＵＩ、Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を提供する。
このようなユーザインターフェースは、別途の入出力装置が不要な新しい形態の直観的かつ自然なユーザインターフェースである。
The motion recognition apparatus according to the present invention provides a user interface (UI, User Interface) capable of accurately recognizing user actions such as note writing and drawing.
Such a user interface is a new form of intuitive and natural user interface that does not require a separate input / output device.
本発明に係るモーション認識装置は、生体信号検出部、加速度検出部などを用いて手の動きを精密に推定し、これに基づいてノート筆記型の直観的なユーザインターフェースを提供することができる。
本発明に係るモーション認識装置は、加速度検出部を用いてユーザの手を含む腕の大きい動きを把握し、筋電図センサを用いて個別の指を握ったり開いたりするユーザ動作、手首の動きなどを推定するすることができる。
The motion recognition apparatus according to the present invention can accurately estimate a hand movement using a biological signal detection unit, an acceleration detection unit, and the like, and can provide a notebook writing-type intuitive user interface based on the estimation.
The motion recognition apparatus according to the present invention grasps a large movement of an arm including a user's hand using an acceleration detection unit, and grasps and opens an individual finger using an electromyogram sensor. Etc. can be estimated.
本発明の一実施形態によれば、手首型ウェアラブル装置を着用したユーザが任意の筆記道具で任意の紙に筆記したり図形（絵）を描けば、モーション認識装置が当該ユーザ動作を認識することができる。
このような実施形態がモーション認識装置を手首装着モーション認識装置に特定する一方、他の実施形態としてモーション認識装置に対する代替形態を提供してもよい。
According to an embodiment of the present invention, when a user wearing a wrist wearable device writes on a piece of paper or draws a figure (picture) with any writing tool, the motion recognition device recognizes the user action. Can do.
While such an embodiment identifies a motion recognition device as a wrist-mounted motion recognition device, other embodiments may provide an alternative to the motion recognition device.
モーション認識装置は、予め決められた入出力装置や格納装置に当該ユーザ動作と関連する情報を送信してユーザにフィードバックを与えることができる。
例えば、ユーザが筆記中である文字、文章、及び図形（絵）などを入出力装置で表示してもよい。
The motion recognition device can provide feedback to the user by transmitting information related to the user action to a predetermined input / output device or storage device.
For example, characters, sentences, figures (pictures), etc. that the user is writing may be displayed on the input / output device.
本発明に係るモーション認識装置は、直観的かつ自然な筆記型ユーザインターフェースを提供することができる。
例えば、モーション認識装置は、制御しようとする外部機器を制御するためのディスプレイが必要でなくてもよい。
他の例として、データを入力するためのモーション認識装置以外の別途装置を必要とすることはない。ユーザはこのようなモーション認識装置を介して直観的に外部機器を制御することができる。
The motion recognition apparatus according to the present invention can provide an intuitive and natural writing type user interface.
For example, the motion recognition apparatus may not require a display for controlling an external device to be controlled.
As another example, a separate device other than the motion recognition device for inputting data is not required. The user can intuitively control the external device through such a motion recognition device.
本発明の一実施形態に係るモーション認識装置は、ノート筆記されたデータ入力を無線でクラウドサーバなどに便利に送信することができる。
また、外部機器を制御するためのアイコンを紙に、そして、筆記道具などでポインティン（Ｐｏｉｎｔｉｎｇ）して外部機器を制御することができる。
The motion recognition apparatus according to an embodiment of the present invention can conveniently transmit data written in a notebook to a cloud server or the like wirelessly.
Further, the external device can be controlled by pointing an icon for controlling the external device on paper and pointing with a writing tool or the like.
以上で説明した装置は、ハードウェア構成要素、ソフトウェア構成要素、及び／又はハードウェア構成要素及びソフトウェア構成要素の組み合わせで実現してもよい。
例えば、実施形態で説明した装置及び構成要素は、例えば、プロセッサ、パイプラインプロセッサ（ｐｉｐｅｌｉｎｅ ｐｒｏｃｅｓｓｏｒ）、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は、命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答できる異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて実現してもよい。
The apparatus described above may be realized by a hardware component, a software component, and / or a combination of a hardware component and a software component.
For example, the apparatus and components described in the embodiments include, for example, a processor, a pipeline processor, a controller, an ALU (arithmetic logic unit), a digital signal processor (digital signal processor), a microcomputer, and an FPA (field programmable). array, a programmable logic unit (PLU), a microprocessor, or different devices capable of executing and responding to instructions may be implemented using one or more general purpose or special purpose computers.
処理装置は、オペレーションシステム（ＯＳ）及びオペレーションシステム上で行われる１つ以上のソフトウェアアプリケーションを実行できる。また、処理装置はソフトウェアの実行に応答して、データをアクセス、格納、操作、処理及び生成する。理解の便宜のために、処理装置は１つが使用されるものと説明する場合もあるが、当該の技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含んでいることが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含んでもよい。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。 The processing device can execute an operating system (OS) and one or more software applications running on the operating system. The processing device also accesses, stores, manipulates, processes and generates data in response to execution of the software. For ease of understanding, one processing device may be described as being used, but those having ordinary knowledge in the art may recognize that the processing device has a plurality of processing elements and / or Or it turns out that the processing element of multiple types is included. For example, the processing device may include multiple processors or a processor and a controller. Other processing configurations are also possible, such as a parallel processor.
ソフトウェアは、コンピュータプログラム、コード、命令、又は、このうちの１つ以上の組み合わせを含んでもよく、所望のとおりに動作するよう処理装置を構成したり独立的又は結合的に処理装置を命令してもよい。
ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するため、どのような類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に、永久的、又は、一時的に具体化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散し、分散された方法で格納されたり実行されてもよい。
ソフトウェア及びデータは、１つ以上のコンピュータ読み出し可能な記録媒体に格納されてもよい。
The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing device to operate as desired, or instructing the processing device independently or in combination. Also good.
Software and / or data may be transmitted by any type of machine, component, physical device, virtual device, computer storage medium or device, or transmitted to be interpreted by the processing device or to provide instructions or data to the processing device. The signal wave is embodied permanently or temporarily. The software may be distributed over computer systems connected to a network and stored or executed in a distributed manner.
Software and data may be stored on one or more computer-readable recording media.
実施形態に係る方法は、様々なコンピュータ手段によって実行することができるプログラム命令形態で実現され、コンピュータで読み取り可能な記録媒体に記録することができる。
コンピュータで読み取り可能な記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合わせて含むことができる。
記録媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものであってもよく、コンピュータソフトウェア当業者に公示された使用可能なものであってもよい。
The method according to the embodiment is realized in the form of program instructions that can be executed by various computer means, and can be recorded on a computer-readable recording medium.
The computer-readable recording medium can include program instructions, data files, data structures, etc. alone or in combination.
The program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be usable as advertised by those skilled in the computer software art.
尚、本発明は、上述の実施形態に限られるものではない。本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。 The present invention is not limited to the embodiment described above. Various modifications can be made without departing from the technical scope of the present invention.
１１０、１１００、１２００ モーション認識装置
１８０ 物体
１９０ ユーザ
２０１ ノート筆記
２１０ モーション認識装置
２２０ 格納装置
２３０ 入出力装置
２４０ 外部機器
１１１０ 動作開始検出部
１１２０ 手首状態推定部
１１３０ 関節動作推定部
１１４０ 物体状態推定部
１１５０ 信号生成部
１２１０ 検出部
１２２０ 処理部
１２３０ 格納部
１２４０ 通信部
110, 1100, 1200
Claims (31)
前記筆記動作により、前記手首と関連する前記ユーザの人体部位の関節動作を推定するステップと、
把持された前記物体の状態を前記手首状態及び前記関節動作により推定するステップとを有することを特徴とする把持された物体を用いたモーション認識方法。 Estimating a user's wrist state by a writing operation using a grasped object;
Estimating the joint motion of the user's body part associated with the wrist by the writing motion;
And a step of estimating the state of the gripped object by the wrist state and the joint motion. A motion recognition method using the gripped object.
前記加速度により前記手首状態を推定するステップとを含むことを特徴とする請求項１に記載の把持された物体を用いたモーション認識方法。 The step of estimating the wrist state of the user by the writing operation includes the step of detecting an acceleration by the writing operation using the grasped object,
The method according to claim 1, further comprising: estimating the wrist state based on the acceleration.
前記筋電図情報により前記関節動作を推定するステップとを含むことを特徴とする請求項１に記載の把持された物体を用いたモーション認識方法。 The step of estimating the joint movement of the human body part related to the wrist by the writing operation detects the electromyogram information of the human body part related to the wrist by the writing operation;
The method according to claim 1, further comprising: estimating the joint motion based on the electromyogram information.
前記生体信号による動きアーチファクト（ｍｏｔｉｏｎ ａｒｔｉｆａｃｔ）を用いて、推定された前記物体の状態の誤差を補正するステップとをさらに有することを特徴とする請求項１に記載の把持された物体を用いたモーション認識方法。 Detecting a biological signal corresponding to the user;
The motion using the grasped object according to claim 1, further comprising a step of correcting an error in the estimated state of the object using a motion artifact due to the biological signal. Recognition method.
前記物体の状態を連続的に追跡し、前記力の強度に対応する太さで形態を生成するステップをさらに含むことを特徴とする請求項１に記載の把持された物体を用いたモーション認識方法。 Estimating the joint motion of a human body part associated with the wrist by the writing motion comprises estimating the strength of a force applied by the user to grip the object;
The method of claim 1, further comprising: continuously tracking the state of the object and generating a shape with a thickness corresponding to the strength of the force. .
前記物体の状態を連続的に追跡し、前記物体の種類による動作を行うステップとをさらに有することを特徴とする請求項１に記載の把持された物体を用いたモーション認識方法。 Identifying the type of the gripped object;
The method according to claim 1, further comprising: continuously tracking the state of the object and performing an operation according to the type of the object.
前記筆記動作により、前記手首と関連する前記ユーザの人体部位の関節動作を推定する関節動作推定部と、
把持された前記物体の状態を前記手首状態及び前記関節動作により推定する物体状態推定部とを備えることを特徴とする把持された物体を用いたモーション認識装置。 A wrist state estimation unit for estimating a wrist state of the user by a writing operation using the grasped object;
A joint motion estimator for estimating joint motion of the user's body part related to the wrist by the writing motion;
A motion recognition apparatus using a grasped object, comprising: an object state estimation unit configured to estimate a state of the grasped object based on the wrist state and the joint motion.
前記筆記動作により発生する前記サウンド又は前記筆記動作による前記物体に対する把持行為の少なくとも１つを検出した場合、前記筆記動作が開始されたと判断する動作開始判断部とを含むことを特徴とする請求項１４に記載の把持された物体を用いたモーション認識装置。 The operation start detection unit is a voice detection unit that detects a sound generated by the writing operation;
An operation start determining unit that determines that the writing operation is started when detecting at least one of the sound generated by the writing operation or the gripping action on the object by the writing operation. 14. A motion recognition apparatus using the grasped object according to 14.
前記加速度により前記手首の位置変化又は前記手首の回転の少なくとも１つを含む前記手首状態を推定することを特徴とする請求項１２に記載の把持された物体を用いたモーション認識装置。 The wrist state estimation unit includes an acceleration detection unit that detects acceleration with respect to six axes by a writing operation using the grasped object,
The motion recognition apparatus using a grasped object according to claim 12, wherein the wrist state including at least one of a change in position of the wrist or a rotation of the wrist is estimated based on the acceleration.
前記筋電図情報により前記関節動作を推定することを特徴とする請求項１２に記載の把持された物体を用いたモーション認識装置。 The joint motion estimation unit includes an electromyogram detection unit that detects electromyogram information generated in a human body part related to the wrist by the writing operation,
The motion recognition apparatus using a grasped object according to claim 12, wherein the joint motion is estimated from the electromyogram information.
前記生体信号による動きアーチファクト（ｍｏｔｉｏｎ ａｒｔｉｆａｃｔ）を用いて、前記推定された物体の状態の誤差を補正する物体状態補正部をさらに備えることを特徴とする請求項１２に記載の把持された物体を用いたモーション認識装置。 A biological signal detector for detecting a biological signal corresponding to the user;
The grasped object according to claim 12, further comprising an object state correction unit that corrects an error in the estimated state of the object using a motion artifact due to the biological signal. Motion recognition device.
前記筆記生成部は、前記物体の状態を連続的に追跡し、前記力の強度に対応する太さで形態を生成することを特徴とする請求項２０に記載の把持された物体を用いたモーション認識装置。 The joint motion estimation unit includes a grip strength estimation unit that estimates a strength of a force applied by the user to grip the object by the user,
The motion using the grasped object according to claim 20, wherein the writing generation unit continuously tracks the state of the object and generates a shape with a thickness corresponding to the strength of the force. Recognition device.
前記物体の種類による動作を行って前記形態を生成することを特徴とする請求項２０に記載の把持された物体を用いたモーション認識装置。 The writing generation unit includes an object identification unit that identifies the type of the object using at least one of a posture in which the object is gripped, a sound by a writing operation, and a user voice,
21. The motion recognition apparatus using a grasped object according to claim 20, wherein the form is generated by performing an operation according to the type of the object.
前記制御信号を受信した場合、前記制御信号に対応する予め決められた動作を行う外部機器とを備えることを特徴とする把持された物体を用いたモーション認識システム。 Estimate the wrist state of the user and the state of the object grasped by the joint movement of the human body part related to the wrist, and transmit a control signal for controlling the external device generated by continuously tracking the state of the object A motion recognition device,
A motion recognition system using a grasped object, comprising: an external device that performs a predetermined operation corresponding to the control signal when the control signal is received.
ユーザの手首状態及び前記手首と関連する人体部位の関節動作により前記把持された物体の状態を推定するステップと、
前記把持された物体の状態を連続的に追跡することによって生成される形態（ｆｉｇｕｒｅ）を格納するステップと、
前記形態に対応する外部機器を識別するために前記形態を認識し、前記外部機器によって行われる動作を決定するステップと、
前記外部機器が前記決定された動作を行うように指示する制御信号を前記外部機器に送信するステップとを有することを特徴とする把持された物体を用いたモーション認識方法。 In a motion recognition method using a grasped object,
Estimating a state of the grasped object by a wrist state of a user and a joint operation of a human body part related to the wrist;
Storing a figure generated by continuously tracking the state of the grasped object;
Recognizing the form to identify an external device corresponding to the form and determining an action performed by the external device;
And a step of transmitting a control signal instructing the external device to perform the determined operation to the external device. A motion recognition method using a grasped object.
前記形態を認識し、前記外部機器によって行われる動作を決定するステップは、前記文字を認識するステップを含むことを特徴とする請求項２６に記載の把持された物体を用いたモーション認識方法。 The form includes letters,
27. The motion recognition method using a grasped object according to claim 26, wherein the step of recognizing the form and determining the operation performed by the external device includes the step of recognizing the character.
前記ユーザが前記一部分を選択した場合、前記決定された動作を前記外部機器が行うように指示する前記制御信号を送信するステップをさらに有することを特徴とする請求項３０に記載の把持された物体を用いたモーション認識方法。
The area of the form is a figure of a part of the external device that performs the determined operation,
The grasped object according to claim 30, further comprising the step of transmitting the control signal instructing the external device to perform the determined action when the user selects the portion. Motion recognition method using
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130068870A KR102170321B1 (en) | 2013-06-17 | 2013-06-17 | System, method and device to recognize motion using gripped object |
| KR10-2013-0068870 | 2013-06-17 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019006957A Division JP2019075169A (en) | 2013-06-17 | 2019-01-18 | Device, method, and system for recognizing motions using gripped object |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015001978A true JP2015001978A (en) | 2015-01-05 |
| JP6527307B2 JP6527307B2 (en) | 2019-06-05 |
Family
ID=50473019
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014023149A Active JP6527307B2 (en) | 2013-06-17 | 2014-02-10 | Motion recognition method using grasped object, device and system therefor |
| JP2019006957A Pending JP2019075169A (en) | 2013-06-17 | 2019-01-18 | Device, method, and system for recognizing motions using gripped object |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019006957A Pending JP2019075169A (en) | 2013-06-17 | 2019-01-18 | Device, method, and system for recognizing motions using gripped object |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US10019078B2 (en) |
| EP (1) | EP2815699A1 (en) |
| JP (2) | JP6527307B2 (en) |
| KR (1) | KR102170321B1 (en) |
| CN (1) | CN104238736B (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101775080B1 (en) * | 2016-06-07 | 2017-09-05 | 동국대학교 산학협력단 | Drawing image processing apparatus and method based on natural user interface and natural user experience |
| JP2019046304A (en) * | 2017-09-05 | 2019-03-22 | 株式会社国際電気通信基礎技術研究所 | Event series extraction apparatus, event series extraction method, and event extraction program |
| WO2021100502A1 (en) * | 2019-11-18 | 2021-05-27 | ポジティブワン株式会社 | Allocation control device, allocation control system, and allocation control method |
| JP2021083070A (en) * | 2020-04-07 | 2021-05-27 | ポジティブワン株式会社 | Allocation control device, allocation control system, and allocation control method |
Families Citing this family (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150124566A1 (en) | 2013-10-04 | 2015-05-07 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices employing contact sensors |
| US11921471B2 (en) | 2013-08-16 | 2024-03-05 | Meta Platforms Technologies, Llc | Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source |
| US10188309B2 (en) | 2013-11-27 | 2019-01-29 | North Inc. | Systems, articles, and methods for electromyography sensors |
| US20150253859A1 (en) * | 2014-03-05 | 2015-09-10 | Google Inc. | System and method for physical manipulation of object and type of object as input |
| CN104571517A (en) * | 2014-12-31 | 2015-04-29 | 杨皓 | Body movement based input and control method for electronic device |
| CN104615248B (en) * | 2015-02-10 | 2018-07-31 | 北京智谷睿拓技术服务有限公司 | The method and apparatus for determining input information |
| CN104656896B (en) * | 2015-02-10 | 2018-09-18 | 北京智谷睿拓技术服务有限公司 | The method and apparatus for determining input information |
| US10285627B2 (en) * | 2015-04-15 | 2019-05-14 | Pixart Imaging Inc. | Action recognition system and method thereof |
| CN106200887A (en) * | 2015-05-04 | 2016-12-07 | 原相科技股份有限公司 | Action recognizing system and method thereof |
| CN106293048B (en) * | 2015-07-31 | 2019-05-07 | 北京智谷睿拓技术服务有限公司 | Input information determines method and apparatus |
| CN106371564B (en) * | 2015-08-28 | 2020-06-23 | 北京智谷睿拓技术服务有限公司 | Input information determination method and device |
| CN106249853B (en) * | 2015-09-15 | 2019-03-19 | 北京智谷睿拓技术服务有限公司 | Exchange method and equipment |
| KR102343616B1 (en) | 2015-11-16 | 2021-12-28 | 삼성전자주식회사 | Electronic device and controlling method thereof |
| KR102570068B1 (en) | 2015-11-20 | 2023-08-23 | 삼성전자주식회사 | Gesture recognition method, gesture recognition apparatus, wearable device |
| KR102466995B1 (en) * | 2015-12-21 | 2022-11-14 | 삼성전자주식회사 | Method and device for authenticating user |
| CN107153470A (en) * | 2016-03-02 | 2017-09-12 | 中国科学院软件研究所 | A kind of multichannel health mouse system and health monitoring method |
| US20190121306A1 (en) | 2017-10-19 | 2019-04-25 | Ctrl-Labs Corporation | Systems and methods for identifying biological structures associated with neuromuscular source signals |
| KR102619443B1 (en) | 2016-09-30 | 2023-12-28 | 삼성전자주식회사 | Wrist temperature rhythm acquisition apparatus and method, core temperature rhythm acquisition apparatus and method, wearable device |
| KR102655584B1 (en) | 2017-01-02 | 2024-04-08 | 삼성전자주식회사 | Display apparatus and controlling method thereof |
| KR102329761B1 (en) * | 2017-05-26 | 2021-11-22 | 삼성전자주식회사 | Electronic device for selecting external device and controlling the same and operating method thereof |
| EP3435202A1 (en) | 2017-07-25 | 2019-01-30 | Siemens Healthcare GmbH | Allocation of a tool to a gesture |
| CA3082411A1 (en) * | 2017-11-14 | 2019-05-23 | Biointeractive Technologies, Inc. | Apparatus and methods for detecting, quantifying, and providing feedback on user gestures |
| EP3550408A4 (en) * | 2018-01-05 | 2019-11-27 | Shenzhen Goodix Technology Co., Ltd. | Pressure measurement method and apparatus for active pen, and active pen |
| US11493993B2 (en) | 2019-09-04 | 2022-11-08 | Meta Platforms Technologies, Llc | Systems, methods, and interfaces for performing inputs based on neuromuscular control |
| US11961494B1 (en) | 2019-03-29 | 2024-04-16 | Meta Platforms Technologies, Llc | Electromagnetic interference reduction in extended reality environments |
| US11907423B2 (en) | 2019-11-25 | 2024-02-20 | Meta Platforms Technologies, Llc | Systems and methods for contextualized interactions with an environment |
| US11481030B2 (en) | 2019-03-29 | 2022-10-25 | Meta Platforms Technologies, Llc | Methods and apparatus for gesture detection and classification |
| US11567573B2 (en) * | 2018-09-20 | 2023-01-31 | Meta Platforms Technologies, Llc | Neuromuscular text entry, writing and drawing in augmented reality systems |
| US11150730B1 (en) | 2019-04-30 | 2021-10-19 | Facebook Technologies, Llc | Devices, systems, and methods for controlling computing devices via neuromuscular signals of users |
| CN109291696A (en) * | 2018-09-29 | 2019-02-01 | 上海掌门科技有限公司 | A kind of method and apparatus acquiring electrocardiosignal by writing device |
| CN113423341A (en) | 2018-11-27 | 2021-09-21 | 脸谱科技有限责任公司 | Method and apparatus for automatic calibration of wearable electrode sensor system |
| CN109960404B (en) * | 2019-02-15 | 2020-12-18 | 联想(北京)有限公司 | Data processing method and device |
| DE102019204714A1 (en) * | 2019-04-03 | 2020-10-08 | Technische Hochschule Lübeck | Procedure and pen for personal identification and handwriting recognition |
| CN110658889A (en) * | 2019-09-23 | 2020-01-07 | 上海闻泰信息技术有限公司 | Wearable device control method, wearable device control device, wearable device control equipment and storage medium |
| CN110664404B (en) * | 2019-09-30 | 2021-10-26 | 华南理工大学 | Trunk compensation detection and elimination system based on surface electromyogram signals |
| CN110827987B (en) * | 2019-11-06 | 2021-03-23 | 西安交通大学 | Myoelectricity continuous prediction method and system for wrist joint torque in multi-grabbing mode |
| CN111288986B (en) * | 2019-12-31 | 2022-04-12 | 中科彭州智慧产业创新中心有限公司 | Motion recognition method and motion recognition device |
| JP2022042362A (en) * | 2020-09-02 | 2022-03-14 | 富士フイルムビジネスイノベーション株式会社 | Information processing device and program |
| CN112687085B (en) * | 2020-12-23 | 2021-10-26 | 邢台职业技术学院 | Intelligent auxiliary tool for three-posture cultivation of students in small-rise stage |
| US11868531B1 (en) | 2021-04-08 | 2024-01-09 | Meta Platforms Technologies, Llc | Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6133144U (en) * | 1984-07-31 | 1986-02-28 | カシオ計算機株式会社 | Pen type handwriting input device |
| JPH0639754A (en) * | 1992-07-27 | 1994-02-15 | Nippon Telegr & Teleph Corp <Ntt> | Robot hand control device |
| JPH0728593A (en) * | 1993-07-12 | 1995-01-31 | Hitachi Ltd | Handwritten data input device and handwritten data recognization system using the same |
| JPH10301702A (en) * | 1997-04-30 | 1998-11-13 | Ricoh Co Ltd | Pen type inputting device and pattern recognition method for the same |
| JPH11338597A (en) * | 1998-05-26 | 1999-12-10 | Nippon Telegr & Teleph Corp <Ntt> | Wrist mount type input device |
| JP2005352739A (en) * | 2004-06-10 | 2005-12-22 | Nec Corp | Portable terminal device, input system and information input method |
| JP2008305199A (en) * | 2007-06-07 | 2008-12-18 | Fujitsu Component Ltd | Input system and program |
| JP2009522631A (en) * | 2005-12-30 | 2009-06-11 | インターナショナル・ビジネス・マシーンズ・コーポレーション | Video-based handwriting input method and apparatus |
| JP2009217733A (en) * | 2008-03-12 | 2009-09-24 | Yahoo Japan Corp | Handwritten character recognition device |
| JP2011048818A (en) * | 2009-08-27 | 2011-03-10 | Korea Electronics Telecommun | Finger motion detecting apparatus and method |
| JP2012073830A (en) * | 2010-09-29 | 2012-04-12 | Pioneer Electronic Corp | Interface device |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2698320B2 (en) | 1993-08-31 | 1998-01-19 | 日本電信電話株式会社 | Permanent input system, Permanent intention communication system, Permanent music keyboard system, Permanent Braille input / output system |
| US6831632B2 (en) | 2001-04-09 | 2004-12-14 | I. C. + Technologies Ltd. | Apparatus and methods for hand motion tracking and handwriting recognition |
| JP2002358149A (en) | 2001-06-01 | 2002-12-13 | Sony Corp | User inputting device |
| KR100650041B1 (en) * | 2004-10-12 | 2006-11-28 | 학교법인연세대학교 | Oscillometric blood pressure measurement system with a motion artifact eliminator using accelerometer |
| KR100680023B1 (en) | 2004-12-06 | 2007-02-07 | 한국전자통신연구원 | Cellular phone input device using electromyography and control method thereof |
| US9155487B2 (en) * | 2005-12-21 | 2015-10-13 | Michael Linderman | Method and apparatus for biometric analysis using EEG and EMG signals |
| KR100793079B1 (en) | 2006-12-08 | 2008-01-10 | 한국전자통신연구원 | Wrist-wear user input apparatus and methods |
| CN101969848B (en) * | 2008-03-14 | 2012-11-28 | 皇家飞利浦电子股份有限公司 | An activity monitoring system insensitive to accelerations induced by external motion factors |
| JP2009266097A (en) * | 2008-04-28 | 2009-11-12 | Toshiba Corp | Input device |
| WO2009137119A1 (en) * | 2008-05-09 | 2009-11-12 | Medtronic, Inc. | Peripheral nerve field stimulation control |
| US8764850B2 (en) * | 2008-07-31 | 2014-07-01 | Northwestern University | Bi-modal ankle-foot device |
| US8776264B2 (en) * | 2009-04-03 | 2014-07-15 | Ware Llc | Garments for providing access for sensors to contact skin |
| KR101234111B1 (en) * | 2009-10-13 | 2013-02-19 | 한국전자통신연구원 | Apparatus for contact-free input interfacing and contact-free input interfacing method using the same |
| US20140194726A1 (en) * | 2013-01-04 | 2014-07-10 | Neurotrek, Inc. | Ultrasound Neuromodulation for Cognitive Enhancement |
| TWI393579B (en) * | 2009-11-13 | 2013-04-21 | Inst Information Industry | The state of the muscle movement state analysis system, methods and computer program products |
| US8830212B2 (en) * | 2010-06-01 | 2014-09-09 | Vladimir Vaganov | System and method for digital recording of handpainted, handdrawn and handwritten information |
| KR20110137587A (en) | 2010-06-17 | 2011-12-23 | 한국전자통신연구원 | Apparatus and method of contact-free space input/output interfacing |
| JP5621464B2 (en) * | 2010-09-24 | 2014-11-12 | 富士ゼロックス株式会社 | Motion detection device, recording system, and program |
| US20130045774A1 (en) * | 2010-12-07 | 2013-02-21 | Sigza Authentication Systems | Smart Phone Writing Method and Apparatus |
| KR101159475B1 (en) | 2010-12-10 | 2012-06-25 | 숭실대학교산학협력단 | Apparatus for robot navigation control using emg and acceleration sensor and method thereof |
| KR101800182B1 (en) | 2011-03-16 | 2017-11-23 | 삼성전자주식회사 | Apparatus and Method for Controlling Virtual Object |
| EP2709522B1 (en) * | 2011-05-20 | 2016-09-14 | Nanyang Technological University | System for synergistic neuro-physiological rehabilitation and/or functional development |
| KR20120133351A (en) | 2011-05-31 | 2012-12-10 | 주식회사 네오펙트 | Glove Type Data Input Device interlocking with Mobile |
| US9218058B2 (en) | 2011-06-16 | 2015-12-22 | Daniel Bress | Wearable digital input device for multipoint free space data collection and analysis |
| US20140267024A1 (en) * | 2013-03-15 | 2014-09-18 | Eric Jeffrey Keller | Computing interface system |
-
2013
- 2013-06-17 KR KR1020130068870A patent/KR102170321B1/en active IP Right Grant
-
2014
- 2014-02-04 US US14/172,481 patent/US10019078B2/en active Active
- 2014-02-10 JP JP2014023149A patent/JP6527307B2/en active Active
- 2014-03-20 EP EP14160869.5A patent/EP2815699A1/en not_active Ceased
- 2014-04-09 CN CN201410141577.4A patent/CN104238736B/en active Active
-
2018
- 2018-06-06 US US16/001,114 patent/US10649549B2/en active Active
-
2019
- 2019-01-18 JP JP2019006957A patent/JP2019075169A/en active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6133144U (en) * | 1984-07-31 | 1986-02-28 | カシオ計算機株式会社 | Pen type handwriting input device |
| JPH0639754A (en) * | 1992-07-27 | 1994-02-15 | Nippon Telegr & Teleph Corp <Ntt> | Robot hand control device |
| JPH0728593A (en) * | 1993-07-12 | 1995-01-31 | Hitachi Ltd | Handwritten data input device and handwritten data recognization system using the same |
| JPH10301702A (en) * | 1997-04-30 | 1998-11-13 | Ricoh Co Ltd | Pen type inputting device and pattern recognition method for the same |
| JPH11338597A (en) * | 1998-05-26 | 1999-12-10 | Nippon Telegr & Teleph Corp <Ntt> | Wrist mount type input device |
| JP2005352739A (en) * | 2004-06-10 | 2005-12-22 | Nec Corp | Portable terminal device, input system and information input method |
| JP2009522631A (en) * | 2005-12-30 | 2009-06-11 | インターナショナル・ビジネス・マシーンズ・コーポレーション | Video-based handwriting input method and apparatus |
| JP2008305199A (en) * | 2007-06-07 | 2008-12-18 | Fujitsu Component Ltd | Input system and program |
| JP2009217733A (en) * | 2008-03-12 | 2009-09-24 | Yahoo Japan Corp | Handwritten character recognition device |
| JP2011048818A (en) * | 2009-08-27 | 2011-03-10 | Korea Electronics Telecommun | Finger motion detecting apparatus and method |
| JP2012073830A (en) * | 2010-09-29 | 2012-04-12 | Pioneer Electronic Corp | Interface device |
Non-Patent Citations (1)
| Title |
|---|
| 鈴木 優 YU SUZUKI: "ペンを握る力と筆圧を組み合わせたインタラクション手法", 第７２回（平成２２年）全国大会講演論文集（４） インタフェース コンピュータと人間社会, JPN6018036716, JP, ISSN: 0004020193 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101775080B1 (en) * | 2016-06-07 | 2017-09-05 | 동국대학교 산학협력단 | Drawing image processing apparatus and method based on natural user interface and natural user experience |
| WO2017213307A1 (en) * | 2016-06-07 | 2017-12-14 | 동국대학교 산학협력단 | Apparatus and method for processing digital image on basis of nui/nux |
| JP2019046304A (en) * | 2017-09-05 | 2019-03-22 | 株式会社国際電気通信基礎技術研究所 | Event series extraction apparatus, event series extraction method, and event extraction program |
| JP7071717B2 (en) | 2017-09-05 | 2022-05-19 | 株式会社国際電気通信基礎技術研究所 | Event sequence extraction device, event sequence extraction method and event extraction program |
| WO2021100502A1 (en) * | 2019-11-18 | 2021-05-27 | ポジティブワン株式会社 | Allocation control device, allocation control system, and allocation control method |
| US11842557B2 (en) | 2019-11-18 | 2023-12-12 | Positive One Corporation | Assignment control apparatus, assignment control system, and assignment control method |
| JP2021083070A (en) * | 2020-04-07 | 2021-05-27 | ポジティブワン株式会社 | Allocation control device, allocation control system, and allocation control method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6527307B2 (en) | 2019-06-05 |
| EP2815699A1 (en) | 2014-12-24 |
| KR102170321B1 (en) | 2020-10-26 |
| JP2019075169A (en) | 2019-05-16 |
| KR20140146346A (en) | 2014-12-26 |
| US10019078B2 (en) | 2018-07-10 |
| US20140368474A1 (en) | 2014-12-18 |
| CN104238736B (en) | 2019-02-15 |
| US20180284912A1 (en) | 2018-10-04 |
| CN104238736A (en) | 2014-12-24 |
| US10649549B2 (en) | 2020-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6527307B2 (en) | Motion recognition method using grasped object, device and system therefor | |
| US10534431B2 (en) | Tracking finger movements to generate inputs for computer systems | |
| US11567573B2 (en) | Neuromuscular text entry, writing and drawing in augmented reality systems | |
| US9367139B2 (en) | Systems, articles, and methods for gesture identification in wearable electromyography devices | |
| JP6542262B2 (en) | Multi-device multi-user sensor correlation for pen and computing device interaction | |
| US10179407B2 (en) | Dynamic multi-sensor and multi-robot interface system | |
| CN112822992A (en) | Providing enhanced interaction with physical objects using neuromuscular signals in augmented reality environments | |
| JP6660309B2 (en) | Sensor correlation for pen and touch-sensitive computing device interaction | |
| AU2013347935B2 (en) | Computing interface system | |
| JP2022500729A (en) | Neuromuscular control of augmented reality system | |
| US20110148755A1 (en) | User interface apparatus and user interfacing method based on wearable computing environment | |
| JP2010108500A (en) | User interface device for wearable computing environmental base, and method therefor | |
| US20150185852A1 (en) | Ring mobile device and operation method of the same | |
| US11237632B2 (en) | Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions | |
| US20180260044A1 (en) | Information processing apparatus, information processing method, and program | |
| KR20160008890A (en) | Apparatus and method for providing touch inputs by using human body | |
| Devi et al. | Low cost tangible glove for translating sign gestures to speech and text in Hindi language | |
| JP2010086367A (en) | Positional information inputting device, positional information inputting method, program, information processing system, and electronic equipment | |
| US20210318759A1 (en) | Input device to control a computing device with a touch pad having a curved surface configured to sense touch input | |
| Kim et al. | Mo-Bi: Contextual mobile interfaces through bimanual posture sensing with Wrist-Worn devices | |
| KR101337429B1 (en) | Input apparatus | |
| WO2023126678A2 (en) | Systems and methods for interacting with an electronic display device | |
| JP2019003366A (en) | Information input device, information input method and information input system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171003 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180413 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180925 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190118 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20190124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190326 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190409 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190423 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190510 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6527307 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |