JP2020174787A - Finger movement estimation system - Google Patents

Finger movement estimation system Download PDF

Info

Publication number
JP2020174787A
JP2020174787A JP2019077840A JP2019077840A JP2020174787A JP 2020174787 A JP2020174787 A JP 2020174787A JP 2019077840 A JP2019077840 A JP 2019077840A JP 2019077840 A JP2019077840 A JP 2019077840A JP 2020174787 A JP2020174787 A JP 2020174787A
Authority
JP
Japan
Prior art keywords
finger
estimation system
movement estimation
ring
type device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019077840A
Other languages
Japanese (ja)
Inventor
近藤 敏之
Toshiyuki Kondo
敏之 近藤
崇斗 松本
Takato Matsumoto
崇斗 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo University of Agriculture and Technology NUC
Original Assignee
Tokyo University of Agriculture and Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo University of Agriculture and Technology NUC filed Critical Tokyo University of Agriculture and Technology NUC
Priority to JP2019077840A priority Critical patent/JP2020174787A/en
Publication of JP2020174787A publication Critical patent/JP2020174787A/en
Pending legal-status Critical Current

Links

Images

Abstract

To accurately estimate an amount of use of a finger.SOLUTION: A finger movement estimation system 1 comprises a ring type device 10 that is mounted on a finger and a microcomputer 60. The ring type device 10 includes an infrared distance sensor 11 that outputs infrared light and detects reflection of the infrared light at the finger to output a signal depending on a distance to the finger. The microcomputer 60 identifies a bent angle Θ at the time of extension, as a reference state of the finger, on the basis of the signal output from the infrared distance sensor 11 and, on the basis of the bent angle Θ, estimates an amount of use of the finger.SELECTED DRAWING: Figure 1

Description

本発明は、手指運動推定システムに関する。 The present invention relates to a finger movement estimation system.

特許文献1には、指の使用量を推定するデバイスとして、磁石により構成された指輪型のデバイスであって指を動かした際の磁力の変化に応じて指の使用量を推定するデバイスが記載されている。 Patent Document 1 describes as a device for estimating the amount of finger used, which is a ring-shaped device composed of magnets and which estimates the amount of finger used according to a change in magnetic force when the finger is moved. Has been done.

米国特許出願公開第2014/0257143号明細書U.S. Patent Application Publication No. 2014/0257143

ここで、指の動きに対する磁力の変化は微小であり、上述した特許文献1のデバイスによって指の使用量を高精度に推定することは困難である。 Here, the change in magnetic force with respect to the movement of the finger is minute, and it is difficult to estimate the amount of finger used with high accuracy by the device of Patent Document 1 described above.

本発明は上記実情に鑑みてなされたものであり、手指の使用量を高精度に推定することができる、手指運動推定システムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a finger movement estimation system capable of estimating the amount of finger usage with high accuracy.

本発明の一態様に係る手指運動推定システムは、手指に装着される指輪型デバイスと制御部とを備える手指運動推定システムであって、指輪型デバイスは、光を出力すると共に該光の手指における跳ね返りを検出し、該手指までの距離に応じた信号を出力する光センサを有し、制御部は、光センサから出力される信号に基づき、手指の基準状態に対する屈曲角度を特定し、該屈曲角度に基づき手指の使用量を推定する。 The finger movement estimation system according to one aspect of the present invention is a finger movement estimation system including a ring-type device attached to a finger and a control unit, and the ring-type device outputs light and the light on the finger. It has an optical sensor that detects bounce and outputs a signal according to the distance to the finger, and the control unit identifies the bending angle of the finger with respect to the reference state based on the signal output from the optical sensor, and the bending Estimate finger usage based on angle.

本発明の一態様に係る手指運動推定システムでは、指輪型デバイスの光センサが手指までの距離に応じた信号を出力している。そして、手指までの距離は手指の屈曲角度に応じて変化することから、制御部が、手指までの距離に基づいて手指の屈曲角度を特定している。このような手指の屈曲角度は手指の使用状態を適切に表すものであるので、制御部が、屈曲角度に基づき手指の使用量を推定することによって、手指の使用量を高精度に推定することができる。そして、本発明の一態様に係る手指運動推定システムでは、光の検出結果に基づき手指の使用量を推定しているので、例えば指の動きに対して変化が微小である磁力の変化に応じて手指の使用量を推定するような場合と比較して、手指の使用量を高精度に推定することができる。 In the finger movement estimation system according to one aspect of the present invention, the optical sensor of the ring-type device outputs a signal according to the distance to the finger. Since the distance to the fingers changes according to the bending angle of the fingers, the control unit specifies the bending angle of the fingers based on the distance to the fingers. Since such a flexion angle of the fingers appropriately represents the usage state of the fingers, the control unit estimates the usage of the fingers with high accuracy by estimating the usage of the fingers based on the flexion angle. Can be done. Then, in the finger movement estimation system according to one aspect of the present invention, since the amount of fingers used is estimated based on the light detection result, for example, the change is small with respect to the finger movement, in response to a change in magnetic force. Compared with the case of estimating the amount of fingers used, the amount of fingers used can be estimated with high accuracy.

制御部は、指輪型デバイスと一体的に設けられていてもよい。このような構成によれば、手指の使用量が推定される対象のユーザにとっては指輪型デバイスのみを装着すればよいこととなり、該ユーザの負担を低減することができる。 The control unit may be provided integrally with the ring type device. According to such a configuration, for the target user whose finger usage is estimated, only the ring type device needs to be worn, and the burden on the user can be reduced.

制御部は、指輪型デバイスと別体で設けられていてもよい。このような構成によれば、指輪型デバイス自体を簡素な構成とすることができる。 The control unit may be provided separately from the ring type device. According to such a configuration, the ring type device itself can be made a simple configuration.

制御部は、以下の(1)式で示される関数モデルに基づき、屈曲角度を特定してもよい。Θは手指の基準状態である伸展時に対する関節の屈曲角度、xは光センサから手指の測定位置までの距離、rは関節から手指の測定位置までの距離である。
Θ=arccos(x/r)・・・(1)
このような関数モデルを用いることにより、屈曲角度Θを高精度且つ容易に導出することができる。
The control unit may specify the bending angle based on the function model represented by the following equation (1). Θ is the flexion angle of the joint with respect to the extension, which is the reference state of the finger, x is the distance from the optical sensor to the measurement position of the finger, and r is the distance from the joint to the measurement position of the finger.
Θ = arccos (x / r) ... (1)
By using such a function model, the bending angle Θ can be easily derived with high accuracy.

制御部は、指輪型デバイスを利用するユーザ毎に、予め、手指の伸展時において光センサから出力される信号である伸展時信号と、手指が完全に屈曲した状態において光センサから出力される信号である屈曲時信号とを取得し、伸展時信号及び屈曲時信号を考慮して、光センサから手指の測定位置までの距離xを導出してもよい。距離xと光センサから出力される信号(電圧)とは対応関係がある。しかし、光センサから出力される信号の値がどの距離に対応しているかは、ユーザによって異なる。この点、ユーザ毎に、伸展時信号及び屈曲時信号が取得されることにより、距離xが最も長くなる場合の電圧(最小の電圧)と距離xが最も短くなる場合の電圧(最大の電圧)とが特定されるため、光センサから出力される電圧に応じて、距離xを正確に導出することができる。 For each user who uses the ring-type device, the control unit previously outputs a signal at the time of extension, which is a signal output from the optical sensor when the finger is extended, and a signal output from the optical sensor when the finger is completely bent. The bending signal is obtained, and the distance x from the optical sensor to the measurement position of the finger may be derived in consideration of the extension signal and the bending signal. There is a correspondence between the distance x and the signal (voltage) output from the optical sensor. However, which distance the value of the signal output from the optical sensor corresponds to depends on the user. In this regard, by acquiring the extension signal and the flexion signal for each user, the voltage when the distance x is the longest (minimum voltage) and the voltage when the distance x is the shortest (maximum voltage). Therefore, the distance x can be accurately derived according to the voltage output from the optical sensor.

制御部は、特定した手指の屈曲角度と、予め取得しているジェスチャーパターンとを比較することにより、手指のジェスチャーを推定してもよい。これにより、手指の使用量に加えて、手指のジェスチャーを推定することができ、手指運動をより具体的に推定することができる。 The control unit may estimate the gesture of the finger by comparing the bending angle of the specified finger with the gesture pattern acquired in advance. As a result, in addition to the amount of fingers used, the gestures of the fingers can be estimated, and the finger movements can be estimated more specifically.

指輪型デバイスは、光センサとして、手指の先端側に光を出力すると共に該光の手指における跳ね返りを検出する第1センサと、手指の基端側に光を出力すると共に該光の手指における跳ね返りを検出する第2センサと、を有していてもよい。これにより、第1センサによって第2関節の屈曲角度を特定すると共に、第2センサによって第3関節の屈曲角度を特定することが可能になり、より高精度に手指の使用量を推定することができる。 As an optical sensor, the ring-type device outputs light to the tip side of the finger and detects the bounce of the light on the finger, and outputs light to the base end side of the finger and bounces the light on the finger. It may have a second sensor that detects the light. As a result, the flexion angle of the second joint can be specified by the first sensor, and the flexion angle of the third joint can be specified by the second sensor, so that the amount of fingers used can be estimated with higher accuracy. it can.

上述した手指運動推定システムは、指輪型デバイスとして、ユーザの第1の手指に装着される第1デバイスと、同一のユーザの第1の手指とは異なる第2の手指に装着される第2デバイスと、を備えていてもよい。これにより、複数の手指の動作を同時に推定することができる。 The finger movement estimation system described above is a ring-type device in which a first device attached to a user's first finger and a second device attached to a second finger different from the same user's first finger are used. And may be provided. As a result, the movements of a plurality of fingers can be estimated at the same time.

第1デバイスは、ユーザの一方の手の第1の手指に装着され、第2デバイスは、同一のユーザの一方の手の第2の手指に装着されてもよい。これにより、同一の手の複数の指がどのように使用されているかを推定することができる。 The first device may be attached to the first finger of one hand of the user, and the second device may be attached to the second finger of one hand of the same user. This makes it possible to estimate how multiple fingers of the same hand are used.

第1デバイスは、ユーザの一方の手の第1の手指に装着され、第2デバイスは、同一のユーザの他方の手の第2の手指に装着されてもよい。これにより、異なる手の複数の指がどのように使用されているかを推定することができる。このことで、例えば体の片側で麻痺が生じているユーザ等の両方の手の指に指輪型デバイスを装着し、麻痺が生じている側の手の指の使用状態と麻痺が生じていない側の手の指の使用状態との差分から、リハビリの効果を評価する等が可能になる。 The first device may be attached to the first finger of one hand of the user and the second device may be attached to the second finger of the other hand of the same user. This makes it possible to estimate how multiple fingers of different hands are used. As a result, the ring-shaped device is attached to the fingers of both hands, for example, a user who is paralyzed on one side of the body, and the usage state and the non-paralyzed side of the fingers of the paralyzed hand are attached. It is possible to evaluate the effect of rehabilitation from the difference from the usage state of the fingers of the hand.

本発明によれば、手指の使用量を高精度に推定することができる、手指運動推定システムを提供することができる。 According to the present invention, it is possible to provide a finger movement estimation system capable of estimating the amount of finger usage with high accuracy.

本実施形態に係る手指運動推定システムの構成を模式的に示す図である。It is a figure which shows typically the structure of the finger movement estimation system which concerns on this embodiment. 図1に示される指輪側デバイスを模式的に示す図である。It is a figure which shows typically the ring side device shown in FIG. 図1に示される指輪側デバイスを模式的に示す図である。It is a figure which shows typically the ring side device shown in FIG. 屈曲角度の特定手法を説明する図である。It is a figure explaining the method of specifying a bending angle. 関数モデルを用いた屈曲角度の特定イメージを説明する図である。It is a figure explaining the specific image of a bending angle using a function model. キャリブレーション処理を説明する図である。It is a figure explaining the calibration process. 屈曲角度の特定結果を示す図である。It is a figure which shows the specific result of a bending angle. 比較例に係る構成によって導出した手指使用量の推定結果である。This is the estimation result of the amount of fingers used derived from the configuration according to the comparative example. 比較例に係る構成によって導出した手指使用量の推定結果である。This is the estimation result of the amount of fingers used derived from the configuration according to the comparative example. 本実施形態に係る構成によって導出した手指使用量の推定結果である。This is an estimation result of the amount of fingers used derived by the configuration according to the present embodiment. 本実施形態に係る構成によって導出した手指使用量の推定結果である。This is an estimation result of the amount of fingers used derived by the configuration according to the present embodiment. 比較例に係る指輪型デバイスを模式的に示す図である。It is a figure which shows typically the ring type device which concerns on a comparative example. 比較例に係る指輪型デバイスを模式的に示す図である。It is a figure which shows typically the ring type device which concerns on a comparative example.

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。図面の説明において、同一又は同等の要素には同一符号を用い、重複する説明を省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the description of the drawings, the same reference numerals are used for the same or equivalent elements, and duplicate description is omitted.

図1は、本実施形態に係る手指運動推定システム1の構成を模式的に示す図である。手指運動推定システム1は、手指の使用量を推定するシステムである。手指運動推定システム1は、例えば、脳血管疾患(脳卒中等)羅患後の回復期・慢性期のリハビリテーションにおいて、患者(ユーザ)の麻痺肢使用量が増えているか否かを定量的に測定する用途で用いられる。麻痺肢使用は、麻痺肢機能改善に効果的である。手指運動推定システム1は、リハビリテーションの効果(手指の使用量)を日常生活環境下で定量評価するものであり、少なくとも一部がウェアラブルデバイス(ユーザが身体に装着して使用するデバイス)で構成されている。 FIG. 1 is a diagram schematically showing a configuration of a finger movement estimation system 1 according to the present embodiment. The finger movement estimation system 1 is a system for estimating the amount of fingers used. The finger movement estimation system 1 quantitatively measures whether or not the amount of paralyzed limbs used by a patient (user) is increasing in rehabilitation in the convalescent / chronic phase after suffering from a cerebrovascular disease (stroke, etc.). Used in applications. The use of paralyzed limbs is effective in improving paralyzed limb function. The finger movement estimation system 1 quantitatively evaluates the effect of rehabilitation (the amount of fingers used) in a daily living environment, and at least a part thereof is composed of a wearable device (a device worn by the user on the body). ing.

図1に示されるように、手指運動推定システム1は、指輪型デバイス10と、配線30と、処理装置50とを含んで構成されている。 As shown in FIG. 1, the finger movement estimation system 1 includes a ring-type device 10, a wiring 30, and a processing device 50.

指輪型デバイス10は、手指に装着される指輪型のウェアラブルデバイスである。図1に示される例では、指輪型デバイス10は右手の人差し指に装着されている。指輪型デバイス10は、例えば手指の第2関節と第3関節との間に装着される。 The ring-type device 10 is a ring-type wearable device worn on a finger. In the example shown in FIG. 1, the ring-type device 10 is attached to the index finger of the right hand. The ring-type device 10 is mounted, for example, between the second and third joints of the fingers.

指輪型デバイス10の詳細について、図2及び図3も参照しながら説明する。図2及び図3は、図1に示される指輪型デバイス10を模式的に示す図である。図2及び図3に示されるように、指輪型デバイス10は、赤外距離センサ11(光センサ)を有している。赤外距離センサ11は、指輪型デバイス10の一部に埋め込まれるように設けられている。赤外距離センサ11は、赤外線(光)を出力すると共に該赤外線の手指における跳ね返りを検出し、該手指までの距離に応じた信号を出力する。 The details of the ring type device 10 will be described with reference to FIGS. 2 and 3. 2 and 3 are diagrams schematically showing the ring-shaped device 10 shown in FIG. As shown in FIGS. 2 and 3, the ring type device 10 has an infrared distance sensor 11 (optical sensor). The infrared distance sensor 11 is provided so as to be embedded in a part of the ring type device 10. The infrared distance sensor 11 outputs infrared rays (light), detects the bounce of the infrared rays on the finger, and outputs a signal corresponding to the distance to the finger.

赤外距離センサ11は、発光素子としてのLED(light emittingdiode)111と、受光素子としてのフォトトランジスタ112とを有している。LED111は、手指の先端側に向かって赤外線を出射可能な位置に設けられている。フォトトランジスタ112は、手指の先端側における赤外線の跳ね返りを検出可能な位置に設けられている。フォトトランジスタ112は、赤外線が反射した手指の先端側までの距離に応じた信号(電圧)を出力する距離センサである。フォトトランジスタ112は、手指の先端が近いほど電圧が大きな信号を出力する。 The infrared distance sensor 11 has an LED (light emittingdiode) 111 as a light emitting element and a phototransistor 112 as a light receiving element. The LED 111 is provided at a position where infrared rays can be emitted toward the tip side of the finger. The phototransistor 112 is provided at a position where the bounce of infrared rays can be detected on the tip side of the finger. The phototransistor 112 is a distance sensor that outputs a signal (voltage) according to the distance to the tip side of the finger to which infrared rays are reflected. The phototransistor 112 outputs a signal having a larger voltage as the tip of the finger is closer.

なお、フォトトランジスタ112と手指の先端との離間距離が最も小さくなる状態は第2関節が完全に屈曲した状態(第2関節の角度が90°の状態)であり、該離間距離が最も大きくなる状態は第2関節が伸展した状態(図2に示される、第2関節の角度が0°の状態)である。すなわち、フォトトランジスタ112は、第2関節が完全に屈曲した状態において最も電圧が大きな信号を出力し、第2関節が伸展した状態において最も電圧が小さな信号を出力する。本実施形態では、指輪型デバイス10を利用するユーザ毎に、予め、手指の伸展時においてフォトトランジスタ112から出力される信号である伸展時信号と、手指が完全に屈曲した状態においてフォトトランジスタ112から出力される信号である屈曲時信号とが取得される。当該伸展時信号及び屈曲時信号の電圧の値は、例えば後述するデータストレージ70(図1参照)に記憶される。 The state where the distance between the phototransistor 112 and the tip of the finger is the smallest is the state where the second joint is completely bent (the angle of the second joint is 90 °), and the distance is the largest. The state is a state in which the second joint is extended (a state in which the angle of the second joint is 0 ° as shown in FIG. 2). That is, the phototransistor 112 outputs the signal having the highest voltage when the second joint is completely bent, and outputs the signal having the lowest voltage when the second joint is extended. In the present embodiment, for each user who uses the ring-type device 10, the extension signal, which is a signal output from the phototransistor 112 when the finger is extended, and the extension signal when the finger is completely bent are transmitted from the phototransistor 112 in advance. The bending signal, which is the output signal, is acquired. The voltage values of the extension signal and the bending signal are stored in, for example, a data storage 70 (see FIG. 1) described later.

図1に戻り、配線30は、指輪型デバイス10のLED111及びフォトトランジスタ112と処理装置50とを電気的に接続する配線である。 Returning to FIG. 1, the wiring 30 is a wiring that electrically connects the LED 111 and the phototransistor 112 of the ring type device 10 and the processing device 50.

処理装置50は、例えば、マイコン60(制御部)と、データストレージ70と、バッテリー80とを含んで構成されている。処理装置50は、例えばユーザの手首(指輪型デバイス10が装着された側の手の手首)に装着されている。具体的には、処理装置50は、例えばバンド90等によりユーザの手首に固定されている。このように、本実施形態では、指輪型デバイス10だけでなく、処理装置50も持ち運びやすいウェアラブルデバイスとされている。なお、処理装置50の各構成は、必ずしもウェアラブルデバイスでなくてもよく、その一部又は全ての構成が、ユーザからは離れて設けられていてもよい。また、マイコン60は、本実施形態のように指輪型デバイス10と別体で設けられていてもよいし、指輪型デバイス10と一体的に設けられていてもよい。 The processing device 50 includes, for example, a microcomputer 60 (control unit), a data storage 70, and a battery 80. The processing device 50 is attached to, for example, the user's wrist (the wrist of the hand on which the ring-type device 10 is attached). Specifically, the processing device 50 is fixed to the user's wrist by, for example, a band 90 or the like. As described above, in the present embodiment, not only the ring type device 10 but also the processing device 50 is a wearable device that is easy to carry. It should be noted that each configuration of the processing device 50 does not necessarily have to be a wearable device, and a part or all of the configurations may be provided apart from the user. Further, the microcomputer 60 may be provided separately from the ring-type device 10 as in the present embodiment, or may be provided integrally with the ring-type device 10.

データストレージ70は、赤外距離センサ11における測定結果及びマイコン60における推定結果等を記憶している。なお、上述したように、データストレージ70は、予め測定される、ユーザ毎の伸展時信号及び屈曲時信号の電圧の値を記憶している。 The data storage 70 stores the measurement result of the infrared distance sensor 11 and the estimation result of the microcomputer 60. As described above, the data storage 70 stores the voltage values of the extension signal and the flexion signal for each user, which are measured in advance.

マイコン60は、赤外距離センサ11から出力される信号に基づき、手指の基準状態に対する屈曲角度Θを特定し、該屈曲角度Θに基づき手指の使用量を推定する。マイコン60の具体的な処理について、図4〜図6も参照しながら説明する。図4は、屈曲角度Θの特定方法を説明する図である。図5は、関数モデルを用いた屈曲角度Θの特定イメージを説明する図である。図6は、キャリブレーション処理を説明する図である。 The microcomputer 60 specifies the bending angle Θ with respect to the reference state of the finger based on the signal output from the infrared distance sensor 11, and estimates the amount of the finger used based on the bending angle Θ. Specific processing of the microcomputer 60 will be described with reference to FIGS. 4 to 6. FIG. 4 is a diagram illustrating a method of specifying the bending angle Θ. FIG. 5 is a diagram for explaining a specific image of the bending angle Θ using a function model. FIG. 6 is a diagram illustrating a calibration process.

図4に示されるように、手指の基準状態に対する屈曲角度Θは、赤外距離センサ11から手指の測定位置までの距離xと、第2関節から手指の測定位置までの距離rに基づき特定することができる。すなわち、図4に示されるように、手指の基準状態である伸展時に対する第2関節の屈曲角度をΘとし、例えば、赤外距離センサ11から手指の測定位置である手指の先端(指先)までの距離をx、第2関節から手指の測定位置である手指の先端(指先)までの距離をrとすると、以下の(0)式が成り立つ。そして、(0)式から以下の(1)式が導かれる。
cosΘ=x/r・・・(0)
Θ=arccos(x/r)・・・(1)
As shown in FIG. 4, the bending angle Θ with respect to the reference state of the finger is specified based on the distance x from the infrared distance sensor 11 to the measurement position of the finger and the distance r from the second joint to the measurement position of the finger. be able to. That is, as shown in FIG. 4, the flexion angle of the second joint with respect to the extension time, which is the reference state of the finger, is set to Θ, and for example, from the infrared distance sensor 11 to the tip (fingertip) of the finger, which is the measurement position of the finger. If the distance of is x and the distance from the second joint to the tip (fingertip) of the finger, which is the measurement position of the finger, is r, the following equation (0) holds. Then, the following equation (1) is derived from the equation (0).
cos Θ = x / r ... (0)
Θ = arccos (x / r) ... (1)

マイコン60は、上記(1)式で示される関数モデルに基づき、屈曲角度Θを特定する。上述したように、Θは手指の基準状態である伸展時に対する関節(ここでは第2関節)の屈曲角度、xは赤外距離センサ11から手指の測定位置(ここでは指先)までの距離、rは関節(ここでは第2関節)から手指の測定位置(ここでは指先)までの距離である。距離xは、後述するようにマイコン60において特定される。距離rは、個人パラメータとして予め取得されている。なお、屈曲角度Θは手指の伸展時からの変化角度と言い換えることができ、距離xは手指の屈曲時(完全屈曲時)からの変化距離と言い換えることができる。マイコン60は、まず距離xを導出し、図5に示されるように、該距離xを関数モデルに入力し、該関数モデルからの出力として屈曲角度Θを得る。 The microcomputer 60 specifies the bending angle Θ based on the function model represented by the above equation (1). As described above, Θ is the flexion angle of the joint (here, the second joint) with respect to the extension, which is the reference state of the finger, and x is the distance from the infrared distance sensor 11 to the measurement position of the finger (here, the fingertip), r. Is the distance from the joint (here, the second joint) to the measurement position of the finger (here, the fingertip). The distance x is specified in the microcomputer 60 as described later. The distance r has been acquired in advance as an individual parameter. The bending angle Θ can be rephrased as the angle of change from the time when the fingers are extended, and the distance x can be rephrased as the distance of change from the time when the fingers are bent (when the fingers are completely bent). First, the microcomputer 60 derives the distance x, inputs the distance x into the function model as shown in FIG. 5, and obtains the bending angle Θ as the output from the function model.

図6に示されるように、赤外距離センサ11から出力される電圧の値と距離xとの対応関係は一次関数で近似することができる。ここで、ユーザ毎に個体差があることから、単に電圧の値から距離xを高精度に特定することは困難である。この点、本実施形態では、マイコン60が、距離xを導出する際に、測定対象のユーザのセンサデータである伸展時信号及び屈曲時信号を利用してユーザ単位でのキャリブレーションを行っている。具体的には、マイコン60は、指輪型デバイス10を利用するユーザ毎に、予め、手指の伸展時において赤外距離センサ11から出力される信号である伸展時信号と、手指が完全に屈曲した状態において赤外距離センサ11から出力される信号である屈曲時信号とを取得し、伸展時信号及び屈曲時信号を考慮して、赤外距離センサ11から手指の測定位置である手指の先端(指先)までの距離xを導出する。 As shown in FIG. 6, the correspondence between the voltage value output from the infrared distance sensor 11 and the distance x can be approximated by a linear function. Here, since there are individual differences for each user, it is difficult to specify the distance x with high accuracy simply from the voltage value. In this regard, in the present embodiment, when the microcomputer 60 derives the distance x, the microcomputer 60 performs calibration on a user-by-user basis by using the extension signal and the flexion signal, which are sensor data of the user to be measured. .. Specifically, in the microcomputer 60, for each user who uses the ring-type device 10, the extension time signal, which is a signal output from the infrared distance sensor 11 when the finger is extended, and the finger are completely bent. In the state, the bending signal, which is a signal output from the infrared distance sensor 11, is acquired, and the extension signal and the bending signal are taken into consideration, and the tip of the finger, which is the measurement position of the finger, is taken from the infrared distance sensor 11. The distance x to the fingertip) is derived.

マイコン60は、測定対象のユーザについて、データストレージ70に記憶されている伸展時信号及び屈曲時信号の電圧の値を取得する。図6に示されるように、伸展時信号の電圧(伸展時の電圧)は当該ユーザの測定において最も小さい電圧であり、屈曲時信号の電圧(完全屈曲時の電圧)は当該ユーザの測定において最も大きな電圧である。そして、図6に示されるように、赤外距離センサ11(具体的にはフォトトランジスタ112)から出力される信号の電圧の範囲は、必ず、屈曲時信号の電圧〜伸展時信号の電圧の範囲となるので、屈曲時信号の電圧における距離x=0、伸展時信号の電圧における距離x=rとして、電圧の値に応じて距離x(0≦x≦r)が特定される。このように、ユーザ毎の伸展時信号及び屈曲時信号を利用してキャリブレーションを行うことによって、個体差を考慮して、赤外距離センサ11から出力される信号に応じて適切に距離xを導出することができる。 The microcomputer 60 acquires the voltage values of the extension signal and the bending signal stored in the data storage 70 for the user to be measured. As shown in FIG. 6, the voltage at the extension signal (voltage at the time of extension) is the smallest voltage in the measurement of the user, and the voltage of the signal at the time of bending (voltage at the time of complete bending) is the lowest in the measurement of the user. It is a large voltage. Then, as shown in FIG. 6, the voltage range of the signal output from the infrared distance sensor 11 (specifically, the phototransistor 112) is always the voltage range of the bending signal voltage to the extending signal voltage. Therefore, the distance x (0 ≦ x ≦ r) is specified according to the value of the voltage, where the distance x = 0 in the voltage of the bending signal and the distance x = r in the voltage of the extending signal. In this way, by performing calibration using the extension signal and the flexion signal for each user, the distance x can be appropriately set according to the signal output from the infrared distance sensor 11 in consideration of individual differences. Can be derived.

マイコン60は、例えば、単位時間あたりの屈曲角度Θの変化量を時間積分することによって、手指の使用量を推定する。マイコン60は、さらに、特定した手指の屈曲角度Θと、予め取得しているジェスチャーパターンとを比較することにより、手指のジェスチャーパターンを推定してもよい。ジェスチャーパターンは、例えばデータストレージ70に予め記憶されており、時間的変化の無いジェスチャー(例えば、グー、チョキ、パー等)、又は、時間的に変化する一連のジェスチャー(例えば、リハビリにおいて用いられるベグの抜き差しの動作等)である。マイコン60は、時間的変化の無いジェスチャーについては、例えばある時点の屈曲角度Θと各ジェスチャーパターンにおける屈曲角度とを比較することにより、手指のジェスチャーパターンを推定する。また、マイコン60は、時間的に変化する一連のジェスチャーについては、屈曲角度Θの時間的分布(変化)と時間的に変化する一連のジェスチャーパターンにおける屈曲角度の時間的分布(変化)とを比較することにより、手指のジェスチャーパターンを推定する。 The microcomputer 60 estimates the amount of fingers used, for example, by integrating the amount of change in the bending angle Θ per unit time over time. Further, the microcomputer 60 may estimate the gesture pattern of the finger by comparing the bending angle Θ of the specified finger with the gesture pattern acquired in advance. The gesture pattern is stored in the data storage 70 in advance, for example, a gesture that does not change with time (for example, goo, choki, par, etc.), or a series of gestures that change with time (for example, a beg used in rehabilitation). Operation of insertion and removal, etc.). For gestures that do not change with time, the microcomputer 60 estimates the gesture pattern of the fingers, for example, by comparing the bending angle Θ at a certain point in time with the bending angle in each gesture pattern. Further, the microcomputer 60 compares the temporal distribution (change) of the bending angle Θ with the temporal distribution (change) of the bending angle in the series of gesture patterns changing with time for a series of gestures that change with time. By doing so, the gesture pattern of the fingers is estimated.

次に、本実施形態の作用効果について説明する。 Next, the action and effect of this embodiment will be described.

まず、本実施形態に係る手指運動推定システム1の研究背景について説明する。例えば脳卒中麻痺リハビリテーションにおいては、食事、更衣、入浴等の日常生活動作ができるように患者の麻痺肢機能を改善することが重要である。麻痺肢機能の改善を確認する観点から、リハビリ介入後の日常生活において患者の麻痺肢使用量が増えているか否かを定量的に測定する手法が求められている。改善効果を確認するためだけでなく、患者の麻痺肢使用を促す観点からも、麻痺肢使用量を測定する手法が求められている。 First, the research background of the finger movement estimation system 1 according to the present embodiment will be described. For example, in stroke paralysis rehabilitation, it is important to improve the paralyzed limb function of the patient so that he / she can perform activities of daily living such as eating, changing clothes, and bathing. From the viewpoint of confirming the improvement of paralyzed limb function, there is a need for a method for quantitatively measuring whether or not the amount of paralyzed limb used by patients increases in daily life after rehabilitation intervention. A method for measuring the amount of paralyzed limbs used is required not only for confirming the improvement effect but also for promoting the use of paralyzed limbs by patients.

従来、病院及びリハビリ施設で行われる上肢機能を測定する手法として、19項目のタスクの達成度合いにより上肢機能の評価を行うAction Research Arm Testや、9本のペグの抜き差しする時間を計測し計測時間によって上肢機能の評価を行うNine Hole Peg Testが知られている。これらの手法は、テストにおける患者の上肢機能を評価することができるものの、日常生活における麻痺肢使用量を測定することはできない。 Conventionally, as a method of measuring upper limb function performed in hospitals and rehabilitation facilities, Action Research Arm Test, which evaluates upper limb function according to the degree of achievement of 19 tasks, and measurement time by measuring the time for inserting and removing 9 pegs. The Nine Hole Peg Test, which evaluates upper limb function, is known. Although these methods can evaluate the patient's upper limb function in the test, they cannot measure the amount of paralyzed limb used in daily life.

また、日常生活における麻痺肢使用量を把握する方法として、質問形式でユーザから回答を得るセルフレポート手法が知られている。セルフレポート手法としては、例えばMotor Activity LogやStroke Impact Scaleが知られている。このようなセルフレポート手法は、測定結果が患者の主観や記憶に左右されるため、日常生活における麻痺肢使用量を正確に評価することができない。 In addition, as a method of grasping the amount of paralyzed limbs used in daily life, a self-report method is known in which an answer is obtained from a user in the form of a question. As a self-reporting method, for example, Motor Activity Log and Stroke Impact Scale are known. In such a self-reporting method, the amount of paralyzed limb used in daily life cannot be accurately evaluated because the measurement result depends on the subjectivity and memory of the patient.

日常生活における麻痺肢使用量を測定する他の手法として、加速度センサが埋め込まれた腕時計型の装置を用いて麻痺肢使用量を測定する手法が知られている。しかしながら、このような装置はあくまでも手全体の動きを計測するものであり手指使用量を測定するものではなく、また、加速度計に混入するノイズによって精度を確保することが難しい。麻痺肢使用量を測定する観点からは、手指使用量を測定することが好ましいため、このような装置は、麻痺肢使用量の正確な測定には向いていない。 As another method for measuring the amount of paralyzed limbs used in daily life, a method of measuring the amount of paralyzed limbs used using a wristwatch-type device in which an acceleration sensor is embedded is known. However, such a device only measures the movement of the entire hand, not the amount of fingers used, and it is difficult to ensure accuracy due to noise mixed in the accelerometer. From the viewpoint of measuring the paralyzed limb usage, it is preferable to measure the finger usage, so such a device is not suitable for accurate measurement of the paralyzed limb usage.

手指使用量を測定する手法として、手袋型のウェアラブルデバイスを取り付けて手指使用量を測定する手法や、モーションカメラ及びマーカーを使用して手指使用量を測定する手法が知られている。しかしながら、手袋型のウェアラブルデバイスは取り付けが煩わしく、また、装着者の動き(指の動き)が阻害されて手指使用量を正確に測定することができないおそれがある。また、モーションカメラ及びマーカーを使用するシステムは測定場所に空間的に制限があるため常時計測に向かない。 As a method for measuring the amount of finger usage, a method of attaching a glove-type wearable device to measure the amount of finger usage and a method of measuring the amount of finger usage using a motion camera and a marker are known. However, the glove-type wearable device is cumbersome to attach, and the wearer's movement (finger movement) may be hindered, making it impossible to accurately measure the amount of fingers used. In addition, a system using a motion camera and a marker is not suitable for constant measurement because the measurement location is spatially limited.

さらに、手指使用量を測定する手法として、磁石及び磁力計により腕及び手指使用量を測定する手法が知られている。しかしながら、手指の動きに対する磁力の変化は微小であるため、磁石及び磁力計を備えるデバイスによって手指使用量を高精度に推定することは困難である。また、例えば、光をセンシングすることによって得られる手甲の皮膚の皺パターンに基づいて、手のジェスチャーを識別する手法が知られているものの、このような手法は手指使用量(動作量)を測定することができない。以上のように、従来、定量的に日常生活上の手指使用量を測定する手法が確立されていない。 Further, as a method for measuring the amount of fingers used, a method of measuring the amount of arms and fingers used with a magnet and a magnetometer is known. However, since the change in magnetic force with respect to the movement of the fingers is minute, it is difficult to estimate the amount of finger usage with high accuracy by a device equipped with a magnet and a magnetometer. Further, for example, a method of identifying a hand gesture based on a wrinkle pattern of the skin on the back of the hand obtained by sensing light is known, but such a method measures the amount of finger usage (movement amount). Can not do it. As described above, conventionally, a method for quantitatively measuring the amount of fingers used in daily life has not been established.

この点、本実施形態に係る手指運動推定システム1は、手指に装着される指輪型デバイス10とマイコン60とを備えており、指輪型デバイス10は、赤外線を出力すると共に該赤外線の手指における跳ね返りを検出し、該手指までの距離に応じた信号を出力する赤外距離センサ11を有し、マイコン60は、赤外距離センサ11から出力される信号に基づき、手指の基準状態である伸展時に対する屈曲角度Θを特定し、該屈曲角度Θに基づき手指の使用量を推定する。 In this regard, the finger movement estimation system 1 according to the present embodiment includes a ring-type device 10 attached to the finger and a microcomputer 60, and the ring-type device 10 outputs infrared rays and bounces off the infrared rays on the fingers. The microcomputer 60 has an infrared distance sensor 11 that detects a signal and outputs a signal according to the distance to the finger, and the microcomputer 60 is based on the signal output from the infrared distance sensor 11 and is in the reference state of the finger when extended. The bending angle Θ with respect to the above is specified, and the amount of fingers used is estimated based on the bending angle Θ.

このような手指運動推定システム1では、指輪型デバイス10の赤外距離センサ11が手指までの距離に応じた信号を出力している。そして、手指までの距離は手指の屈曲角度Θに応じて変化することから、マイコン60が、手指までの距離に基づいて手指の屈曲角度Θを特定している。このような手指の屈曲角度Θは手指の使用状態を適切に表すものであるので、マイコン60が、屈曲角度Θに基づき手指の使用量を推定することによって、手指の使用量を高精度に推定することができる。そして、このような手指運動推定システム1では、赤外線(光)の検出結果に基づき手指の使用量を推定しているので、例えば指の動きに対して変化が微小である磁力の変化に応じて手指の使用量を推定するような場合と比較して、手指の使用量を高精度に推定することができる。そして、指輪型デバイス10等は着脱が簡単であり持ち運びやすいため、常時計測に好適であると言える。以上のように、本実施形態にかかわる手指運動推定システム1は、定量的に日常生活上の手指使用量を高精度に測定することができる。 In such a finger movement estimation system 1, the infrared distance sensor 11 of the ring type device 10 outputs a signal according to the distance to the finger. Since the distance to the fingers changes according to the bending angle Θ of the fingers, the microcomputer 60 specifies the bending angle Θ of the fingers based on the distance to the fingers. Since such a bending angle Θ of the finger appropriately represents the usage state of the finger, the microcomputer 60 estimates the usage amount of the finger with high accuracy by estimating the usage amount of the finger based on the bending angle Θ. can do. Then, in such a finger movement estimation system 1, since the amount of fingers used is estimated based on the detection result of infrared rays (light), for example, the change is small with respect to the movement of the finger according to the change of the magnetic force. Compared with the case of estimating the amount of fingers used, the amount of fingers used can be estimated with high accuracy. Since the ring type device 10 and the like are easy to put on and take off and are easy to carry, it can be said that they are suitable for constant measurement. As described above, the finger movement estimation system 1 according to the present embodiment can quantitatively measure the amount of finger used in daily life with high accuracy.

手指運動推定システム1による屈曲角度Θの特定精度について、図7を参照して説明する。図7は、屈曲角度Θの特定結果を示す図である。本発明者らは、手指運動推定システム1による屈曲角度Θの特定精度を評価すべく、手指の第2関節の角度を0°、15°、30°、45°、60°、75°、90°に固定する器具を作成し、各器具で手指の角度を固定した状態で赤外距離センサ11から出力される電圧(センサデータ)を計測し、屈曲角度Θを導出した。センサデータの計測は例えば3秒程度行った。また、各角度につき10回計測を行った。また、被験者を10人とし、センサのサンプルレートを100Hzとした。 The accuracy of specifying the bending angle Θ by the finger movement estimation system 1 will be described with reference to FIG. 7. FIG. 7 is a diagram showing a specific result of the bending angle Θ. The present inventors set the angles of the second joints of the fingers to 0 °, 15 °, 30 °, 45 °, 60 °, 75 °, 90 in order to evaluate the specific accuracy of the flexion angle Θ by the finger movement estimation system 1. An instrument fixed at ° was created, the voltage (sensor data) output from the infrared distance sensor 11 was measured with each instrument fixing the angle of the fingers, and the bending angle Θ was derived. The measurement of the sensor data was performed for about 3 seconds, for example. In addition, measurement was performed 10 times for each angle. The number of subjects was 10, and the sample rate of the sensor was 100 Hz.

図7において、横軸は実際の角度、縦軸は手指運動推定システム1が推定した角度を示している。図7中に示されたドットは、各角度における推定結果(推定角度)を示している。図7における破線は、推定結果と実際の角度とに差異がない場合の直線を示している。図7における実線は、被験者10人の平均推定結果の直線を示している。実際の角度と、推定結果の角度との相関係数の10人平均は、0.99となった。また、推定結果の角度と実際の角度との差分である誤差を計測点数で平均化した平均絶対誤差の10人平均は、3.20°となった。例えば、上述した、磁石及び磁力計を備えるデバイスによって手指使用量を測定する装置においては、平均絶対誤差が4.7°となった。このことから、従来の手法に比べて、手指運動推定システム1では屈曲角度Θを高精度に特定できることがわかった。 In FIG. 7, the horizontal axis represents the actual angle, and the vertical axis represents the angle estimated by the finger movement estimation system 1. The dots shown in FIG. 7 indicate the estimation results (estimated angles) at each angle. The broken line in FIG. 7 shows a straight line when there is no difference between the estimation result and the actual angle. The solid line in FIG. 7 shows a straight line of the average estimation result of 10 subjects. The 10-person average of the correlation coefficient between the actual angle and the estimated angle was 0.99. In addition, the 10-person average of the average absolute error obtained by averaging the error, which is the difference between the angle of the estimation result and the actual angle, by the number of measurement points was 3.20 °. For example, in the above-mentioned device for measuring the amount of fingers used by a device equipped with a magnet and a magnetometer, the average absolute error was 4.7 °. From this, it was found that the bending angle Θ can be specified with higher accuracy in the finger movement estimation system 1 than in the conventional method.

手指運動推定システム1によれば、従来の手法と比べて、様々なタスクにおける手指の使用量の違いを明確に示すことが可能になる。このことについて、図8〜図11を参照して説明する。本発明者らは、様々なタスクにおける手指の使用量を推定すべく、指輪型デバイス10を装着した8人の被験者に「ワイプ」、「フォールド」、「ペグ」の3種類のタスクを実行させ、各タスクにおける手指の使用量を推定した。ここで、「ワイプ」とは布巾でテーブルを拭くタスクであり、「フォールド」とは布巾を畳むタスクであり、「ペグ」とはペグを抜き差しするタスクである。また、当該実験においては、被験者に装着された処理装置50に三軸加速度センサを搭載し、各タスクにおける加速度の変化についても測定した。そして、当該加速度の値に基づき、手指の使用量を推定した。すなわち、当該実験においては、本実施形態の態様である、赤外距離センサ11のセンシング結果に基づく手指の使用量の推定と、加速度センサのセンシング結果に基づく手の使用量の推定(比較例の推定)とを同時に行った。なお、手指の使用量は、例えば、単位時間あたりの屈曲角度の変化量を時間積分することによって推定される。また、手の使用量は、例えば単位時間あたりの加速度センサの変化量を時間積分することによって推定される。 According to the finger movement estimation system 1, it is possible to clearly show the difference in the amount of fingers used in various tasks as compared with the conventional method. This will be described with reference to FIGS. 8 to 11. In order to estimate the amount of fingers used in various tasks, the present inventors have eight subjects wearing the ring-type device 10 perform three types of tasks, "wipe", "fold", and "peg". , Estimated the amount of fingers used in each task. Here, "wipe" is a task of wiping the table with a cloth, "fold" is a task of folding the cloth, and "peg" is a task of inserting and removing the peg. Further, in the experiment, a triaxial acceleration sensor was mounted on the processing device 50 mounted on the subject, and the change in acceleration in each task was also measured. Then, the amount of fingers used was estimated based on the value of the acceleration. That is, in the experiment, the estimation of the amount of hand used based on the sensing result of the infrared distance sensor 11 and the estimation of the amount of hand used based on the sensing result of the acceleration sensor, which are aspects of the present embodiment (comparative example). Estimated) and at the same time. The amount of fingers used is estimated, for example, by time-integrating the amount of change in the bending angle per unit time. Further, the amount of hand usage is estimated by, for example, time-integrating the amount of change of the acceleration sensor per unit time.

図8及び図9は、比較例に係る構成によって導出した手の使用量の推定結果である。図8においては、各ドットが被験者1名の推定結果(手の使用量)を示している。図9においては、ひげ(直線)で示した範囲が最大値の被験者から最小値の被験者までの範囲である。ただし、外れ値については除いている。また、図9においては、箱の上面が上位25%の値、箱の下面が下位25%の値の位置を示している。図9に示されるように、比較例(加速度センサのセンシング結果を利用)の測定結果においては、「ワイプ」と「フォールド」、「ワイプ」と「ペグ」の各タスクのひげの範囲が互いに重複している。このため、比較例に係る構成では、「ワイプ」と「フォールド」、「ワイプ」と「ペグ」の各タスクの手指の使用量の違いを示すことができない(各タスクを区別できない)と言える。 8 and 9 are estimation results of the amount of hand used derived by the configuration according to the comparative example. In FIG. 8, each dot shows the estimation result (hand usage) of one subject. In FIG. 9, the range indicated by the whiskers (straight line) is the range from the subject having the maximum value to the subject having the minimum value. However, outliers are excluded. Further, in FIG. 9, the upper surface of the box shows the position of the upper 25% value, and the lower surface of the box shows the position of the lower 25% value. As shown in FIG. 9, in the measurement results of the comparative example (using the sensing results of the accelerometer), the whiskers ranges of the “wipe” and “fold”, “wipe” and “peg” tasks overlap each other. doing. Therefore, in the configuration according to the comparative example, it can be said that it is not possible to show the difference in the amount of fingers used for each task of "wipe" and "fold", and "wipe" and "peg" (each task cannot be distinguished).

図10及び図11は、本実施形態に係る構成によって導出した手指使用量の推定結果である。図10においては、各ドットが被験者1名の推定結果(手指の使用量)を示している。図11においては、ひげ(直線)で示した範囲が最大値の被験者から最小値の被験者までの範囲である。ただし、外れ値については除いている。また、図11においては、箱の上面が上位25%の値、箱の下面が下位25%の値の位置を示している。図11に示されるように、本実施形態(赤外距離センサ11のセンシング結果を利用)の測定結果においては、「ワイプ」と「フォールド」、「ワイプ」と「ペグ」の各タスクのひげの範囲が互いに重複していない。このため、本実施形態に係る構成では、「ワイプ」と「フォールド」、「ワイプ」と「ペグ」の各タスクの手指の使用量の違いを示すことができる(各タスクを区別できる)と言える。 10 and 11 are the estimation results of the amount of fingers used derived by the configuration according to the present embodiment. In FIG. 10, each dot shows the estimation result (the amount of fingers used) of one subject. In FIG. 11, the range indicated by the whiskers (straight line) is the range from the subject having the maximum value to the subject having the minimum value. However, outliers are excluded. Further, in FIG. 11, the upper surface of the box shows the position of the upper 25% value, and the lower surface of the box shows the position of the lower 25% value. As shown in FIG. 11, in the measurement result of the present embodiment (using the sensing result of the infrared distance sensor 11), the whiskers of the tasks of "wipe" and "fold", and "wipe" and "peg" are used. The ranges do not overlap each other. Therefore, in the configuration according to the present embodiment, it can be said that the difference in the amount of fingers used for each task of "wipe" and "fold", and "wipe" and "peg" can be shown (each task can be distinguished). ..

マイコン60は、指輪型デバイス10と一体的に設けられていてもよい。このような構成によれば、手指の使用量が推定される対象のユーザにとっては指輪型デバイス10のみを装着すればよいこととなり、該ユーザの負担を低減することができる。 The microcomputer 60 may be provided integrally with the ring-type device 10. According to such a configuration, only the ring type device 10 needs to be worn by the target user whose finger usage is estimated, and the burden on the user can be reduced.

マイコン60は、指輪型デバイス10と別体で設けられていてもよい。このような構成によれば、指輪型デバイス10自体を簡素な構成とすることができる。 The microcomputer 60 may be provided separately from the ring-type device 10. According to such a configuration, the ring type device 10 itself can be made a simple configuration.

マイコン60は、以下の(1)式で示される関数モデルに基づき、屈曲角度Θを特定する。Θは手指の基準状態である伸展時に対する第2関節の屈曲角度、xは赤外距離センサ11から手指の測定位置までの距離、rは第2関節から手指の測定位置までの距離である。
Θ=arccos(x/r)・・・(1)
このような関数モデルを用いることにより、屈曲角度Θを高精度且つ容易に導出することができる。
The microcomputer 60 specifies the bending angle Θ based on the function model represented by the following equation (1). Θ is the flexion angle of the second joint with respect to the extension, which is the reference state of the finger, x is the distance from the infrared distance sensor 11 to the measurement position of the finger, and r is the distance from the second joint to the measurement position of the finger.
Θ = arccos (x / r) ... (1)
By using such a function model, the bending angle Θ can be easily derived with high accuracy.

マイコン60は、指輪型デバイス10を利用するユーザ毎に、予め、手指の伸展時において赤外距離センサ11から出力される信号である伸展時信号と、手指が完全に屈曲した状態において赤外距離センサ11から出力される信号である屈曲時信号とを取得し、伸展時信号及び屈曲時信号を考慮して、赤外距離センサ11から手指の測定位置までの距離xを導出する。距離xと赤外距離センサ11から出力される信号(電圧)とは対応関係がある。しかし、赤外距離センサ11から出力される信号の値がどの距離に対応しているかは、ユーザによって異なる。この点、ユーザ毎に、伸展時信号及び屈曲時信号が取得されることにより、距離xが最も長くなる場合の電圧(最小の電圧)と距離xが最も短くなる場合の電圧(最大の電圧)とが特定されるため、赤外距離センサ11から出力される電圧に応じて、距離xを正確に導出することができる。 The microcomputer 60 is provided with a extension signal, which is a signal output from the infrared distance sensor 11 when the finger is extended, and an infrared distance when the finger is completely bent, for each user who uses the ring-type device 10. The bending signal, which is a signal output from the sensor 11, is acquired, and the distance x from the infrared distance sensor 11 to the measurement position of the finger is derived in consideration of the extension signal and the bending signal. There is a correspondence between the distance x and the signal (voltage) output from the infrared distance sensor 11. However, which distance the value of the signal output from the infrared distance sensor 11 corresponds to depends on the user. In this regard, by acquiring the extension signal and the flexion signal for each user, the voltage when the distance x is the longest (minimum voltage) and the voltage when the distance x is the shortest (maximum voltage). Therefore, the distance x can be accurately derived according to the voltage output from the infrared distance sensor 11.

マイコン60は、特定した手指の屈曲角度Θと、予め取得しているジェスチャーパターンとを比較することにより、手指のジェスチャーを推定する。これにより、手指の使用量に加えて、手指のジェスチャーを推定することができ、手指運動をより具体的に推定することができる。なお、発明者らは、本実施形態に係る構成を用いて、手指を閉じた状態、人差し指と親指で輪を作った状態、手指を開いた状態の三つのジェスチャーについて、ジェスチャーパターンとの比較によりジェスチャーの推定が可能か実験を行ったところ、平均正解率は98.9%となった。 The microcomputer 60 estimates the gesture of the finger by comparing the bending angle Θ of the specified finger with the gesture pattern acquired in advance. As a result, in addition to the amount of fingers used, the gestures of the fingers can be estimated, and the finger movements can be estimated more specifically. In addition, the inventors used the configuration according to the present embodiment to compare the three gestures of the state where the fingers are closed, the state where the index finger and the thumb form a ring, and the state where the fingers are open by comparing with the gesture pattern. An experiment was conducted to see if the gesture could be estimated, and the average correct answer rate was 98.9%.

以上、本実施形態について詳細に説明したが、本発明は上記実施形態に限定されない。 Although the present embodiment has been described in detail above, the present invention is not limited to the above embodiment.

例えば、図12に示されるように、指輪型デバイス10Aが、赤外距離センサ(光センサ)として、手指の先端側に光を出力すると共に該光の手指における跳ね返りを検出する第1センサ11Xと、手指の基端側に光を出力すると共に該光の手指における跳ね返りを検出する第2センサ11Yと、を有していてもよい。この場合、指輪型デバイス10Aが第2関節と第3関節との間に装着され、第1センサ11Xによって第2関節の屈曲角度を特定すると共に、第2センサ11Yによって第3関節の屈曲角度を特定することが可能になる。このことで、第2関節のみの屈曲角度を特定する場合と比較して、より高精度に手指の使用量を推定することができる。 For example, as shown in FIG. 12, the ring-type device 10A, as an infrared distance sensor (optical sensor), outputs light to the tip side of the finger and detects the bounce of the light in the finger with the first sensor 11X. , A second sensor 11Y that outputs light to the base end side of the finger and detects the bounce of the light on the finger may be provided. In this case, the ring-shaped device 10A is mounted between the second joint and the third joint, the flexion angle of the second joint is specified by the first sensor 11X, and the flexion angle of the third joint is determined by the second sensor 11Y. It becomes possible to identify. This makes it possible to estimate the amount of fingers used with higher accuracy than in the case of specifying the flexion angle of only the second joint.

また、図13(a)に示される手指運動推定システム1Aのように、指輪型デバイスとして、ユーザの人差し指(第1の手指)に装着される指輪型デバイス10(第1デバイス)と、同一のユーザの人差し指とは異なる中指(第2の手指)に装着される指輪型デバイス10Bとを備えていてもよい。これにより、複数の手指の使用量・動作を同時に推定することができる。図13(a)に示される手指運動推定システム1Aのように、指輪型デバイス10,10Bがユーザの同一の手の異なる指に装着されることによって、同一の手の複数の指がどのように使用されているかを推定することが可能になる。 Further, as in the finger movement estimation system 1A shown in FIG. 13A, the ring-type device is the same as the ring-type device 10 (first device) attached to the index finger (first finger) of the user. It may include a ring-type device 10B worn on the middle finger (second finger) different from the index finger of the user. As a result, the usage amount and movement of a plurality of fingers can be estimated at the same time. As in the finger movement estimation system 1A shown in FIG. 13A, the ring-shaped devices 10 and 10B are attached to different fingers of the same hand of the user, so that a plurality of fingers of the same hand can be attached. It becomes possible to estimate whether it is used.

また、図13(b)に示される手指運動推定システム1Bのように、指輪型デバイス10がユーザの右手(一方の手)の人差し指(第1の手指)に装着され(図1参照)、指輪型デバイス10Cが同一のユーザの左手(他方の手)の人差し指(第2の手指)に装着されてもよい。これにより、異なる手の複数の指がどのように使用されているかを推定することができる。このことで、例えば体の片側で麻痺が生じているユーザ等の両方の手の指に指輪型デバイスを装着し、麻痺が生じている側の手の指の使用状態と麻痺が生じていない側の手の指の使用状態との差分から、リハビリ方法を決定する等が可能になる。 Further, as in the finger movement estimation system 1B shown in FIG. 13B, the ring type device 10 is attached to the index finger (first finger) of the user's right hand (one hand) (see FIG. 1), and the ring. The mold device 10C may be attached to the index finger (second finger) of the left hand (the other hand) of the same user. This makes it possible to estimate how multiple fingers of different hands are used. As a result, the ring-shaped device is attached to the fingers of both hands, for example, a user who is paralyzed on one side of the body, and the usage state and the non-paralyzed side of the fingers of the paralyzed hand are attached. It is possible to determine the rehabilitation method from the difference from the usage state of the fingers of the hand.

1,1A,1B…手指運動推定システム、10,10A,10B,10C…指輪型デバイス、11 赤外距離センサ(光センサ)、60 マイコン(制御部)。 1,1A, 1B ... Finger movement estimation system, 10,10A, 10B, 10C ... Ring type device, 11 infrared distance sensor (optical sensor), 60 microcomputer (control unit).

Claims (10)

手指に装着される指輪型デバイスと制御部とを備える手指運動推定システムであって、
前記指輪型デバイスは、光を出力すると共に該光の手指における跳ね返りを検出し、該手指までの距離に応じた信号を出力する光センサを有し、
前記制御部は、前記光センサから出力される信号に基づき、手指の基準状態に対する屈曲角度を特定し、該屈曲角度に基づき手指の使用量を推定する、手指運動推定システム。
A finger movement estimation system including a ring-type device attached to a finger and a control unit.
The ring-type device has an optical sensor that outputs light, detects the bounce of the light on a finger, and outputs a signal according to the distance to the finger.
The control unit is a finger movement estimation system that identifies a bending angle of a finger with respect to a reference state based on a signal output from the optical sensor, and estimates the amount of the finger used based on the bending angle.
前記制御部は、前記指輪型デバイスと一体的に設けられている、請求項1記載の手指運動推定システム。 The finger movement estimation system according to claim 1, wherein the control unit is provided integrally with the ring type device. 前記制御部は、前記指輪型デバイスと別体で設けられている、請求項1記載の手指運動推定システム。 The finger movement estimation system according to claim 1, wherein the control unit is provided separately from the ring type device. 前記制御部は、以下の(1)式で示される関数モデルに基づき、前記屈曲角度を特定する。Θは手指の前記基準状態である伸展時に対する関節の前記屈曲角度、xは前記光センサから手指の測定位置までの距離、rは関節から手指の測定位置までの距離である、
Θ=arccos(x/r)・・・(1)
請求項1〜3のいずれか一項記載の手指運動推定システム。
The control unit specifies the bending angle based on the function model represented by the following equation (1). Θ is the flexion angle of the joint with respect to the reference state of the finger during extension, x is the distance from the optical sensor to the measurement position of the finger, and r is the distance from the joint to the measurement position of the finger.
Θ = arccos (x / r) ... (1)
The finger movement estimation system according to any one of claims 1 to 3.
前記制御部は、
前記指輪型デバイスを利用するユーザ毎に、予め、手指の伸展時において前記光センサから出力される信号である伸展時信号と、手指が完全に屈曲した状態において前記光センサから出力される信号である屈曲時信号とを取得し、
前記伸展時信号及び前記屈曲時信号を考慮して、前記光センサから手指の測定位置までの距離xを導出する、請求項4記載の手指運動推定システム。
The control unit
For each user who uses the ring-type device, the extension signal, which is a signal output from the optical sensor when the finger is extended, and the signal output from the optical sensor when the finger is completely bent, are used in advance. Get a certain bending signal and
The finger movement estimation system according to claim 4, wherein the distance x from the optical sensor to the measurement position of the finger is derived in consideration of the extension signal and the flexion signal.
前記制御部は、特定した手指の前記屈曲角度と、予め取得しているジェスチャーパターンとを比較することにより、手指のジェスチャーを推定する、請求項1〜5のいずれか一項記載の手指運動推定システム。 The finger movement estimation according to any one of claims 1 to 5, wherein the control unit estimates the gesture of the finger by comparing the bending angle of the specified finger with the gesture pattern acquired in advance. system. 前記指輪型デバイスは、前記光センサとして、手指の先端側に光を出力すると共に該光の手指における跳ね返りを検出する第1センサと、手指の基端側に光を出力すると共に該光の手指における跳ね返りを検出する第2センサと、を有する、請求項1〜6のいずれか一項記載の手指運動推定システム。 As the optical sensor, the ring-type device outputs light to the tip side of the finger and detects the bounce of the light on the finger, and outputs light to the base end side of the finger and the finger of the light. The finger movement estimation system according to any one of claims 1 to 6, further comprising a second sensor for detecting the bounce in the above. 前記指輪型デバイスとして、ユーザの第1の手指に装着される第1デバイスと、同一のユーザの前記第1の手指とは異なる第2の手指に装着される第2デバイスと、を備える、請求項1〜7のいずれか一項記載の手指運動推定システム。 The claim includes, as the ring-type device, a first device attached to the first finger of the user and a second device attached to a second finger different from the first finger of the same user. Item 4. The finger movement estimation system according to any one of Items 1 to 7. 前記第1デバイスは、ユーザの一方の手の前記第1の手指に装着され、
前記第2デバイスは、同一のユーザの前記一方の手の前記第2の手指に装着される、請求項8記載の手指運動推定システム。
The first device is attached to the first finger of one of the user's hands.
The finger movement estimation system according to claim 8, wherein the second device is attached to the second finger of the one hand of the same user.
前記第1デバイスは、ユーザの一方の手の前記第1の手指に装着され、
前記第2デバイスは、同一のユーザの他方の手の前記第2の手指に装着される、請求項8記載の手指運動推定システム。
The first device is attached to the first finger of one of the user's hands.
The finger movement estimation system according to claim 8, wherein the second device is attached to the second finger of the other hand of the same user.
JP2019077840A 2019-04-16 2019-04-16 Finger movement estimation system Pending JP2020174787A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019077840A JP2020174787A (en) 2019-04-16 2019-04-16 Finger movement estimation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019077840A JP2020174787A (en) 2019-04-16 2019-04-16 Finger movement estimation system

Publications (1)

Publication Number Publication Date
JP2020174787A true JP2020174787A (en) 2020-10-29

Family

ID=72936332

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019077840A Pending JP2020174787A (en) 2019-04-16 2019-04-16 Finger movement estimation system

Country Status (1)

Country Link
JP (1) JP2020174787A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113694342A (en) * 2021-08-05 2021-11-26 长沙医学院 Wearable medical equipment based on gesture recognition
JP2022065946A (en) * 2020-10-16 2022-04-28 株式会社ユニバーサルエンターテインメント Game machine
WO2023286316A1 (en) * 2021-07-14 2023-01-19 ソニーグループ株式会社 Input device, system, and control method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6244827A (en) * 1985-08-20 1987-02-26 ブィ・ピィ・エル・リサーチ・インコーポレイテッド Apparatus and method for generating control signal accordingto action and position of hand
JPH0412201A (en) * 1990-05-01 1992-01-16 Komatsu Ltd Detecting sensor for bending angle of articulation
US20170024008A1 (en) * 2014-09-17 2017-01-26 Microsoft Technology Licensing, Llc Smart ring
JP2019000652A (en) * 2015-01-23 2019-01-10 ネオフェクト シーオー., エルティーディー.NEOFECT Co., LTD. System and method for hand rehabilitation exercise

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6244827A (en) * 1985-08-20 1987-02-26 ブィ・ピィ・エル・リサーチ・インコーポレイテッド Apparatus and method for generating control signal accordingto action and position of hand
JPH0412201A (en) * 1990-05-01 1992-01-16 Komatsu Ltd Detecting sensor for bending angle of articulation
US20170024008A1 (en) * 2014-09-17 2017-01-26 Microsoft Technology Licensing, Llc Smart ring
JP2019000652A (en) * 2015-01-23 2019-01-10 ネオフェクト シーオー., エルティーディー.NEOFECT Co., LTD. System and method for hand rehabilitation exercise

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022065946A (en) * 2020-10-16 2022-04-28 株式会社ユニバーサルエンターテインメント Game machine
WO2023286316A1 (en) * 2021-07-14 2023-01-19 ソニーグループ株式会社 Input device, system, and control method
CN113694342A (en) * 2021-08-05 2021-11-26 长沙医学院 Wearable medical equipment based on gesture recognition

Similar Documents

Publication Publication Date Title
US10842407B2 (en) Camera-guided interpretation of neuromuscular signals
US10817795B2 (en) Handstate reconstruction based on multiple inputs
Smeragliuolo et al. Validation of the Leap Motion Controller using markered motion capture technology
MEng Development of finger-motion capturing device based on optical linear encoder
Esfahani et al. A “smart” undershirt for tracking upper body motions: Task classification and angle estimation
Dunne et al. Wearable monitoring of seated spinal posture
JP2020174787A (en) Finger movement estimation system
WO2016146817A1 (en) Method and device for anatomical angle measurement
Tognetti et al. Body segment position reconstruction and posture classification by smart textiles
JP2015058258A (en) Physical information acquisition device, physical information acquisition method, and physical information acquisition program
Rowe et al. The Manumeter: a non-obtrusive wearable device for monitoring spontaneous use of the wrist and fingers
US11237632B2 (en) Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions
Moreira et al. Real-time hand tracking for rehabilitation and character animation
Garimella et al. Capturing joint angles of the off-site human body
Forsman et al. Mind the gap–development of conversion models between accelerometer-and IMU-based measurements of arm and trunk postures and movements in warehouse work
Bianchi et al. Exploiting hand kinematic synergies and wearable under-sensing for hand functional grasp recognition
Saggio et al. Evaluation of an integrated sensory glove at decreasing joint flexion degree
Rovini et al. Vision optical-based evaluation of SensHand accuracy for Parkinson’s disease motor assessment
Luo et al. A virtual reality system for arm and hand rehabilitation
Rovini et al. SensRing, a novel wearable ring-shaped device for objective analysis of reachto-grasp movements
Kim et al. Thumb joint angle estimation for soft wearable hand robotic devices
Cappello et al. Application of stereophotogrammetry to total body three-dimensional analysis of human tremor
US20210318759A1 (en) Input device to control a computing device with a touch pad having a curved surface configured to sense touch input
JP2017148570A (en) Electronic apparatus, sensor control method, and program
Michael et al. Gait reconstruction from motion artefact corrupted fabric-embedded sensors

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221018

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230425