JP2020174787A - Finger movement estimation system - Google Patents
Finger movement estimation system Download PDFInfo
- Publication number
- JP2020174787A JP2020174787A JP2019077840A JP2019077840A JP2020174787A JP 2020174787 A JP2020174787 A JP 2020174787A JP 2019077840 A JP2019077840 A JP 2019077840A JP 2019077840 A JP2019077840 A JP 2019077840A JP 2020174787 A JP2020174787 A JP 2020174787A
- Authority
- JP
- Japan
- Prior art keywords
- finger
- estimation system
- movement estimation
- ring
- type device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、手指運動推定システムに関する。 The present invention relates to a finger movement estimation system.
特許文献1には、指の使用量を推定するデバイスとして、磁石により構成された指輪型のデバイスであって指を動かした際の磁力の変化に応じて指の使用量を推定するデバイスが記載されている。 Patent Document 1 describes as a device for estimating the amount of finger used, which is a ring-shaped device composed of magnets and which estimates the amount of finger used according to a change in magnetic force when the finger is moved. Has been done.
ここで、指の動きに対する磁力の変化は微小であり、上述した特許文献1のデバイスによって指の使用量を高精度に推定することは困難である。 Here, the change in magnetic force with respect to the movement of the finger is minute, and it is difficult to estimate the amount of finger used with high accuracy by the device of Patent Document 1 described above.
本発明は上記実情に鑑みてなされたものであり、手指の使用量を高精度に推定することができる、手指運動推定システムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a finger movement estimation system capable of estimating the amount of finger usage with high accuracy.
本発明の一態様に係る手指運動推定システムは、手指に装着される指輪型デバイスと制御部とを備える手指運動推定システムであって、指輪型デバイスは、光を出力すると共に該光の手指における跳ね返りを検出し、該手指までの距離に応じた信号を出力する光センサを有し、制御部は、光センサから出力される信号に基づき、手指の基準状態に対する屈曲角度を特定し、該屈曲角度に基づき手指の使用量を推定する。 The finger movement estimation system according to one aspect of the present invention is a finger movement estimation system including a ring-type device attached to a finger and a control unit, and the ring-type device outputs light and the light on the finger. It has an optical sensor that detects bounce and outputs a signal according to the distance to the finger, and the control unit identifies the bending angle of the finger with respect to the reference state based on the signal output from the optical sensor, and the bending Estimate finger usage based on angle.
本発明の一態様に係る手指運動推定システムでは、指輪型デバイスの光センサが手指までの距離に応じた信号を出力している。そして、手指までの距離は手指の屈曲角度に応じて変化することから、制御部が、手指までの距離に基づいて手指の屈曲角度を特定している。このような手指の屈曲角度は手指の使用状態を適切に表すものであるので、制御部が、屈曲角度に基づき手指の使用量を推定することによって、手指の使用量を高精度に推定することができる。そして、本発明の一態様に係る手指運動推定システムでは、光の検出結果に基づき手指の使用量を推定しているので、例えば指の動きに対して変化が微小である磁力の変化に応じて手指の使用量を推定するような場合と比較して、手指の使用量を高精度に推定することができる。 In the finger movement estimation system according to one aspect of the present invention, the optical sensor of the ring-type device outputs a signal according to the distance to the finger. Since the distance to the fingers changes according to the bending angle of the fingers, the control unit specifies the bending angle of the fingers based on the distance to the fingers. Since such a flexion angle of the fingers appropriately represents the usage state of the fingers, the control unit estimates the usage of the fingers with high accuracy by estimating the usage of the fingers based on the flexion angle. Can be done. Then, in the finger movement estimation system according to one aspect of the present invention, since the amount of fingers used is estimated based on the light detection result, for example, the change is small with respect to the finger movement, in response to a change in magnetic force. Compared with the case of estimating the amount of fingers used, the amount of fingers used can be estimated with high accuracy.
制御部は、指輪型デバイスと一体的に設けられていてもよい。このような構成によれば、手指の使用量が推定される対象のユーザにとっては指輪型デバイスのみを装着すればよいこととなり、該ユーザの負担を低減することができる。 The control unit may be provided integrally with the ring type device. According to such a configuration, for the target user whose finger usage is estimated, only the ring type device needs to be worn, and the burden on the user can be reduced.
制御部は、指輪型デバイスと別体で設けられていてもよい。このような構成によれば、指輪型デバイス自体を簡素な構成とすることができる。 The control unit may be provided separately from the ring type device. According to such a configuration, the ring type device itself can be made a simple configuration.
制御部は、以下の(1)式で示される関数モデルに基づき、屈曲角度を特定してもよい。Θは手指の基準状態である伸展時に対する関節の屈曲角度、xは光センサから手指の測定位置までの距離、rは関節から手指の測定位置までの距離である。
Θ=arccos(x/r)・・・(1)
このような関数モデルを用いることにより、屈曲角度Θを高精度且つ容易に導出することができる。
The control unit may specify the bending angle based on the function model represented by the following equation (1). Θ is the flexion angle of the joint with respect to the extension, which is the reference state of the finger, x is the distance from the optical sensor to the measurement position of the finger, and r is the distance from the joint to the measurement position of the finger.
Θ = arccos (x / r) ... (1)
By using such a function model, the bending angle Θ can be easily derived with high accuracy.
制御部は、指輪型デバイスを利用するユーザ毎に、予め、手指の伸展時において光センサから出力される信号である伸展時信号と、手指が完全に屈曲した状態において光センサから出力される信号である屈曲時信号とを取得し、伸展時信号及び屈曲時信号を考慮して、光センサから手指の測定位置までの距離xを導出してもよい。距離xと光センサから出力される信号(電圧)とは対応関係がある。しかし、光センサから出力される信号の値がどの距離に対応しているかは、ユーザによって異なる。この点、ユーザ毎に、伸展時信号及び屈曲時信号が取得されることにより、距離xが最も長くなる場合の電圧(最小の電圧)と距離xが最も短くなる場合の電圧(最大の電圧)とが特定されるため、光センサから出力される電圧に応じて、距離xを正確に導出することができる。 For each user who uses the ring-type device, the control unit previously outputs a signal at the time of extension, which is a signal output from the optical sensor when the finger is extended, and a signal output from the optical sensor when the finger is completely bent. The bending signal is obtained, and the distance x from the optical sensor to the measurement position of the finger may be derived in consideration of the extension signal and the bending signal. There is a correspondence between the distance x and the signal (voltage) output from the optical sensor. However, which distance the value of the signal output from the optical sensor corresponds to depends on the user. In this regard, by acquiring the extension signal and the flexion signal for each user, the voltage when the distance x is the longest (minimum voltage) and the voltage when the distance x is the shortest (maximum voltage). Therefore, the distance x can be accurately derived according to the voltage output from the optical sensor.
制御部は、特定した手指の屈曲角度と、予め取得しているジェスチャーパターンとを比較することにより、手指のジェスチャーを推定してもよい。これにより、手指の使用量に加えて、手指のジェスチャーを推定することができ、手指運動をより具体的に推定することができる。 The control unit may estimate the gesture of the finger by comparing the bending angle of the specified finger with the gesture pattern acquired in advance. As a result, in addition to the amount of fingers used, the gestures of the fingers can be estimated, and the finger movements can be estimated more specifically.
指輪型デバイスは、光センサとして、手指の先端側に光を出力すると共に該光の手指における跳ね返りを検出する第1センサと、手指の基端側に光を出力すると共に該光の手指における跳ね返りを検出する第2センサと、を有していてもよい。これにより、第1センサによって第2関節の屈曲角度を特定すると共に、第2センサによって第3関節の屈曲角度を特定することが可能になり、より高精度に手指の使用量を推定することができる。 As an optical sensor, the ring-type device outputs light to the tip side of the finger and detects the bounce of the light on the finger, and outputs light to the base end side of the finger and bounces the light on the finger. It may have a second sensor that detects the light. As a result, the flexion angle of the second joint can be specified by the first sensor, and the flexion angle of the third joint can be specified by the second sensor, so that the amount of fingers used can be estimated with higher accuracy. it can.
上述した手指運動推定システムは、指輪型デバイスとして、ユーザの第1の手指に装着される第1デバイスと、同一のユーザの第1の手指とは異なる第2の手指に装着される第2デバイスと、を備えていてもよい。これにより、複数の手指の動作を同時に推定することができる。 The finger movement estimation system described above is a ring-type device in which a first device attached to a user's first finger and a second device attached to a second finger different from the same user's first finger are used. And may be provided. As a result, the movements of a plurality of fingers can be estimated at the same time.
第1デバイスは、ユーザの一方の手の第1の手指に装着され、第2デバイスは、同一のユーザの一方の手の第2の手指に装着されてもよい。これにより、同一の手の複数の指がどのように使用されているかを推定することができる。 The first device may be attached to the first finger of one hand of the user, and the second device may be attached to the second finger of one hand of the same user. This makes it possible to estimate how multiple fingers of the same hand are used.
第1デバイスは、ユーザの一方の手の第1の手指に装着され、第2デバイスは、同一のユーザの他方の手の第2の手指に装着されてもよい。これにより、異なる手の複数の指がどのように使用されているかを推定することができる。このことで、例えば体の片側で麻痺が生じているユーザ等の両方の手の指に指輪型デバイスを装着し、麻痺が生じている側の手の指の使用状態と麻痺が生じていない側の手の指の使用状態との差分から、リハビリの効果を評価する等が可能になる。 The first device may be attached to the first finger of one hand of the user and the second device may be attached to the second finger of the other hand of the same user. This makes it possible to estimate how multiple fingers of different hands are used. As a result, the ring-shaped device is attached to the fingers of both hands, for example, a user who is paralyzed on one side of the body, and the usage state and the non-paralyzed side of the fingers of the paralyzed hand are attached. It is possible to evaluate the effect of rehabilitation from the difference from the usage state of the fingers of the hand.
本発明によれば、手指の使用量を高精度に推定することができる、手指運動推定システムを提供することができる。 According to the present invention, it is possible to provide a finger movement estimation system capable of estimating the amount of finger usage with high accuracy.
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。図面の説明において、同一又は同等の要素には同一符号を用い、重複する説明を省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the description of the drawings, the same reference numerals are used for the same or equivalent elements, and duplicate description is omitted.
図1は、本実施形態に係る手指運動推定システム1の構成を模式的に示す図である。手指運動推定システム1は、手指の使用量を推定するシステムである。手指運動推定システム1は、例えば、脳血管疾患(脳卒中等)羅患後の回復期・慢性期のリハビリテーションにおいて、患者(ユーザ)の麻痺肢使用量が増えているか否かを定量的に測定する用途で用いられる。麻痺肢使用は、麻痺肢機能改善に効果的である。手指運動推定システム1は、リハビリテーションの効果(手指の使用量)を日常生活環境下で定量評価するものであり、少なくとも一部がウェアラブルデバイス(ユーザが身体に装着して使用するデバイス)で構成されている。 FIG. 1 is a diagram schematically showing a configuration of a finger movement estimation system 1 according to the present embodiment. The finger movement estimation system 1 is a system for estimating the amount of fingers used. The finger movement estimation system 1 quantitatively measures whether or not the amount of paralyzed limbs used by a patient (user) is increasing in rehabilitation in the convalescent / chronic phase after suffering from a cerebrovascular disease (stroke, etc.). Used in applications. The use of paralyzed limbs is effective in improving paralyzed limb function. The finger movement estimation system 1 quantitatively evaluates the effect of rehabilitation (the amount of fingers used) in a daily living environment, and at least a part thereof is composed of a wearable device (a device worn by the user on the body). ing.
図1に示されるように、手指運動推定システム1は、指輪型デバイス10と、配線30と、処理装置50とを含んで構成されている。
As shown in FIG. 1, the finger movement estimation system 1 includes a ring-
指輪型デバイス10は、手指に装着される指輪型のウェアラブルデバイスである。図1に示される例では、指輪型デバイス10は右手の人差し指に装着されている。指輪型デバイス10は、例えば手指の第2関節と第3関節との間に装着される。
The ring-
指輪型デバイス10の詳細について、図2及び図3も参照しながら説明する。図2及び図3は、図1に示される指輪型デバイス10を模式的に示す図である。図2及び図3に示されるように、指輪型デバイス10は、赤外距離センサ11(光センサ)を有している。赤外距離センサ11は、指輪型デバイス10の一部に埋め込まれるように設けられている。赤外距離センサ11は、赤外線(光)を出力すると共に該赤外線の手指における跳ね返りを検出し、該手指までの距離に応じた信号を出力する。
The details of the
赤外距離センサ11は、発光素子としてのLED(light emittingdiode)111と、受光素子としてのフォトトランジスタ112とを有している。LED111は、手指の先端側に向かって赤外線を出射可能な位置に設けられている。フォトトランジスタ112は、手指の先端側における赤外線の跳ね返りを検出可能な位置に設けられている。フォトトランジスタ112は、赤外線が反射した手指の先端側までの距離に応じた信号(電圧)を出力する距離センサである。フォトトランジスタ112は、手指の先端が近いほど電圧が大きな信号を出力する。
The
なお、フォトトランジスタ112と手指の先端との離間距離が最も小さくなる状態は第2関節が完全に屈曲した状態(第2関節の角度が90°の状態)であり、該離間距離が最も大きくなる状態は第2関節が伸展した状態(図2に示される、第2関節の角度が0°の状態)である。すなわち、フォトトランジスタ112は、第2関節が完全に屈曲した状態において最も電圧が大きな信号を出力し、第2関節が伸展した状態において最も電圧が小さな信号を出力する。本実施形態では、指輪型デバイス10を利用するユーザ毎に、予め、手指の伸展時においてフォトトランジスタ112から出力される信号である伸展時信号と、手指が完全に屈曲した状態においてフォトトランジスタ112から出力される信号である屈曲時信号とが取得される。当該伸展時信号及び屈曲時信号の電圧の値は、例えば後述するデータストレージ70(図1参照)に記憶される。
The state where the distance between the
図1に戻り、配線30は、指輪型デバイス10のLED111及びフォトトランジスタ112と処理装置50とを電気的に接続する配線である。
Returning to FIG. 1, the
処理装置50は、例えば、マイコン60(制御部)と、データストレージ70と、バッテリー80とを含んで構成されている。処理装置50は、例えばユーザの手首(指輪型デバイス10が装着された側の手の手首)に装着されている。具体的には、処理装置50は、例えばバンド90等によりユーザの手首に固定されている。このように、本実施形態では、指輪型デバイス10だけでなく、処理装置50も持ち運びやすいウェアラブルデバイスとされている。なお、処理装置50の各構成は、必ずしもウェアラブルデバイスでなくてもよく、その一部又は全ての構成が、ユーザからは離れて設けられていてもよい。また、マイコン60は、本実施形態のように指輪型デバイス10と別体で設けられていてもよいし、指輪型デバイス10と一体的に設けられていてもよい。
The
データストレージ70は、赤外距離センサ11における測定結果及びマイコン60における推定結果等を記憶している。なお、上述したように、データストレージ70は、予め測定される、ユーザ毎の伸展時信号及び屈曲時信号の電圧の値を記憶している。
The
マイコン60は、赤外距離センサ11から出力される信号に基づき、手指の基準状態に対する屈曲角度Θを特定し、該屈曲角度Θに基づき手指の使用量を推定する。マイコン60の具体的な処理について、図4〜図6も参照しながら説明する。図4は、屈曲角度Θの特定方法を説明する図である。図5は、関数モデルを用いた屈曲角度Θの特定イメージを説明する図である。図6は、キャリブレーション処理を説明する図である。
The
図4に示されるように、手指の基準状態に対する屈曲角度Θは、赤外距離センサ11から手指の測定位置までの距離xと、第2関節から手指の測定位置までの距離rに基づき特定することができる。すなわち、図4に示されるように、手指の基準状態である伸展時に対する第2関節の屈曲角度をΘとし、例えば、赤外距離センサ11から手指の測定位置である手指の先端(指先)までの距離をx、第2関節から手指の測定位置である手指の先端(指先)までの距離をrとすると、以下の(0)式が成り立つ。そして、(0)式から以下の(1)式が導かれる。
cosΘ=x/r・・・(0)
Θ=arccos(x/r)・・・(1)
As shown in FIG. 4, the bending angle Θ with respect to the reference state of the finger is specified based on the distance x from the
cos Θ = x / r ... (0)
Θ = arccos (x / r) ... (1)
マイコン60は、上記(1)式で示される関数モデルに基づき、屈曲角度Θを特定する。上述したように、Θは手指の基準状態である伸展時に対する関節(ここでは第2関節)の屈曲角度、xは赤外距離センサ11から手指の測定位置(ここでは指先)までの距離、rは関節(ここでは第2関節)から手指の測定位置(ここでは指先)までの距離である。距離xは、後述するようにマイコン60において特定される。距離rは、個人パラメータとして予め取得されている。なお、屈曲角度Θは手指の伸展時からの変化角度と言い換えることができ、距離xは手指の屈曲時(完全屈曲時)からの変化距離と言い換えることができる。マイコン60は、まず距離xを導出し、図5に示されるように、該距離xを関数モデルに入力し、該関数モデルからの出力として屈曲角度Θを得る。
The
図6に示されるように、赤外距離センサ11から出力される電圧の値と距離xとの対応関係は一次関数で近似することができる。ここで、ユーザ毎に個体差があることから、単に電圧の値から距離xを高精度に特定することは困難である。この点、本実施形態では、マイコン60が、距離xを導出する際に、測定対象のユーザのセンサデータである伸展時信号及び屈曲時信号を利用してユーザ単位でのキャリブレーションを行っている。具体的には、マイコン60は、指輪型デバイス10を利用するユーザ毎に、予め、手指の伸展時において赤外距離センサ11から出力される信号である伸展時信号と、手指が完全に屈曲した状態において赤外距離センサ11から出力される信号である屈曲時信号とを取得し、伸展時信号及び屈曲時信号を考慮して、赤外距離センサ11から手指の測定位置である手指の先端(指先)までの距離xを導出する。
As shown in FIG. 6, the correspondence between the voltage value output from the
マイコン60は、測定対象のユーザについて、データストレージ70に記憶されている伸展時信号及び屈曲時信号の電圧の値を取得する。図6に示されるように、伸展時信号の電圧(伸展時の電圧)は当該ユーザの測定において最も小さい電圧であり、屈曲時信号の電圧(完全屈曲時の電圧)は当該ユーザの測定において最も大きな電圧である。そして、図6に示されるように、赤外距離センサ11(具体的にはフォトトランジスタ112)から出力される信号の電圧の範囲は、必ず、屈曲時信号の電圧〜伸展時信号の電圧の範囲となるので、屈曲時信号の電圧における距離x=0、伸展時信号の電圧における距離x=rとして、電圧の値に応じて距離x(0≦x≦r)が特定される。このように、ユーザ毎の伸展時信号及び屈曲時信号を利用してキャリブレーションを行うことによって、個体差を考慮して、赤外距離センサ11から出力される信号に応じて適切に距離xを導出することができる。
The
マイコン60は、例えば、単位時間あたりの屈曲角度Θの変化量を時間積分することによって、手指の使用量を推定する。マイコン60は、さらに、特定した手指の屈曲角度Θと、予め取得しているジェスチャーパターンとを比較することにより、手指のジェスチャーパターンを推定してもよい。ジェスチャーパターンは、例えばデータストレージ70に予め記憶されており、時間的変化の無いジェスチャー(例えば、グー、チョキ、パー等)、又は、時間的に変化する一連のジェスチャー(例えば、リハビリにおいて用いられるベグの抜き差しの動作等)である。マイコン60は、時間的変化の無いジェスチャーについては、例えばある時点の屈曲角度Θと各ジェスチャーパターンにおける屈曲角度とを比較することにより、手指のジェスチャーパターンを推定する。また、マイコン60は、時間的に変化する一連のジェスチャーについては、屈曲角度Θの時間的分布(変化)と時間的に変化する一連のジェスチャーパターンにおける屈曲角度の時間的分布(変化)とを比較することにより、手指のジェスチャーパターンを推定する。
The
次に、本実施形態の作用効果について説明する。 Next, the action and effect of this embodiment will be described.
まず、本実施形態に係る手指運動推定システム1の研究背景について説明する。例えば脳卒中麻痺リハビリテーションにおいては、食事、更衣、入浴等の日常生活動作ができるように患者の麻痺肢機能を改善することが重要である。麻痺肢機能の改善を確認する観点から、リハビリ介入後の日常生活において患者の麻痺肢使用量が増えているか否かを定量的に測定する手法が求められている。改善効果を確認するためだけでなく、患者の麻痺肢使用を促す観点からも、麻痺肢使用量を測定する手法が求められている。 First, the research background of the finger movement estimation system 1 according to the present embodiment will be described. For example, in stroke paralysis rehabilitation, it is important to improve the paralyzed limb function of the patient so that he / she can perform activities of daily living such as eating, changing clothes, and bathing. From the viewpoint of confirming the improvement of paralyzed limb function, there is a need for a method for quantitatively measuring whether or not the amount of paralyzed limb used by patients increases in daily life after rehabilitation intervention. A method for measuring the amount of paralyzed limbs used is required not only for confirming the improvement effect but also for promoting the use of paralyzed limbs by patients.
従来、病院及びリハビリ施設で行われる上肢機能を測定する手法として、19項目のタスクの達成度合いにより上肢機能の評価を行うAction Research Arm Testや、9本のペグの抜き差しする時間を計測し計測時間によって上肢機能の評価を行うNine Hole Peg Testが知られている。これらの手法は、テストにおける患者の上肢機能を評価することができるものの、日常生活における麻痺肢使用量を測定することはできない。 Conventionally, as a method of measuring upper limb function performed in hospitals and rehabilitation facilities, Action Research Arm Test, which evaluates upper limb function according to the degree of achievement of 19 tasks, and measurement time by measuring the time for inserting and removing 9 pegs. The Nine Hole Peg Test, which evaluates upper limb function, is known. Although these methods can evaluate the patient's upper limb function in the test, they cannot measure the amount of paralyzed limb used in daily life.
また、日常生活における麻痺肢使用量を把握する方法として、質問形式でユーザから回答を得るセルフレポート手法が知られている。セルフレポート手法としては、例えばMotor Activity LogやStroke Impact Scaleが知られている。このようなセルフレポート手法は、測定結果が患者の主観や記憶に左右されるため、日常生活における麻痺肢使用量を正確に評価することができない。 In addition, as a method of grasping the amount of paralyzed limbs used in daily life, a self-report method is known in which an answer is obtained from a user in the form of a question. As a self-reporting method, for example, Motor Activity Log and Stroke Impact Scale are known. In such a self-reporting method, the amount of paralyzed limb used in daily life cannot be accurately evaluated because the measurement result depends on the subjectivity and memory of the patient.
日常生活における麻痺肢使用量を測定する他の手法として、加速度センサが埋め込まれた腕時計型の装置を用いて麻痺肢使用量を測定する手法が知られている。しかしながら、このような装置はあくまでも手全体の動きを計測するものであり手指使用量を測定するものではなく、また、加速度計に混入するノイズによって精度を確保することが難しい。麻痺肢使用量を測定する観点からは、手指使用量を測定することが好ましいため、このような装置は、麻痺肢使用量の正確な測定には向いていない。 As another method for measuring the amount of paralyzed limbs used in daily life, a method of measuring the amount of paralyzed limbs used using a wristwatch-type device in which an acceleration sensor is embedded is known. However, such a device only measures the movement of the entire hand, not the amount of fingers used, and it is difficult to ensure accuracy due to noise mixed in the accelerometer. From the viewpoint of measuring the paralyzed limb usage, it is preferable to measure the finger usage, so such a device is not suitable for accurate measurement of the paralyzed limb usage.
手指使用量を測定する手法として、手袋型のウェアラブルデバイスを取り付けて手指使用量を測定する手法や、モーションカメラ及びマーカーを使用して手指使用量を測定する手法が知られている。しかしながら、手袋型のウェアラブルデバイスは取り付けが煩わしく、また、装着者の動き(指の動き)が阻害されて手指使用量を正確に測定することができないおそれがある。また、モーションカメラ及びマーカーを使用するシステムは測定場所に空間的に制限があるため常時計測に向かない。 As a method for measuring the amount of finger usage, a method of attaching a glove-type wearable device to measure the amount of finger usage and a method of measuring the amount of finger usage using a motion camera and a marker are known. However, the glove-type wearable device is cumbersome to attach, and the wearer's movement (finger movement) may be hindered, making it impossible to accurately measure the amount of fingers used. In addition, a system using a motion camera and a marker is not suitable for constant measurement because the measurement location is spatially limited.
さらに、手指使用量を測定する手法として、磁石及び磁力計により腕及び手指使用量を測定する手法が知られている。しかしながら、手指の動きに対する磁力の変化は微小であるため、磁石及び磁力計を備えるデバイスによって手指使用量を高精度に推定することは困難である。また、例えば、光をセンシングすることによって得られる手甲の皮膚の皺パターンに基づいて、手のジェスチャーを識別する手法が知られているものの、このような手法は手指使用量(動作量)を測定することができない。以上のように、従来、定量的に日常生活上の手指使用量を測定する手法が確立されていない。 Further, as a method for measuring the amount of fingers used, a method of measuring the amount of arms and fingers used with a magnet and a magnetometer is known. However, since the change in magnetic force with respect to the movement of the fingers is minute, it is difficult to estimate the amount of finger usage with high accuracy by a device equipped with a magnet and a magnetometer. Further, for example, a method of identifying a hand gesture based on a wrinkle pattern of the skin on the back of the hand obtained by sensing light is known, but such a method measures the amount of finger usage (movement amount). Can not do it. As described above, conventionally, a method for quantitatively measuring the amount of fingers used in daily life has not been established.
この点、本実施形態に係る手指運動推定システム1は、手指に装着される指輪型デバイス10とマイコン60とを備えており、指輪型デバイス10は、赤外線を出力すると共に該赤外線の手指における跳ね返りを検出し、該手指までの距離に応じた信号を出力する赤外距離センサ11を有し、マイコン60は、赤外距離センサ11から出力される信号に基づき、手指の基準状態である伸展時に対する屈曲角度Θを特定し、該屈曲角度Θに基づき手指の使用量を推定する。
In this regard, the finger movement estimation system 1 according to the present embodiment includes a ring-
このような手指運動推定システム1では、指輪型デバイス10の赤外距離センサ11が手指までの距離に応じた信号を出力している。そして、手指までの距離は手指の屈曲角度Θに応じて変化することから、マイコン60が、手指までの距離に基づいて手指の屈曲角度Θを特定している。このような手指の屈曲角度Θは手指の使用状態を適切に表すものであるので、マイコン60が、屈曲角度Θに基づき手指の使用量を推定することによって、手指の使用量を高精度に推定することができる。そして、このような手指運動推定システム1では、赤外線(光)の検出結果に基づき手指の使用量を推定しているので、例えば指の動きに対して変化が微小である磁力の変化に応じて手指の使用量を推定するような場合と比較して、手指の使用量を高精度に推定することができる。そして、指輪型デバイス10等は着脱が簡単であり持ち運びやすいため、常時計測に好適であると言える。以上のように、本実施形態にかかわる手指運動推定システム1は、定量的に日常生活上の手指使用量を高精度に測定することができる。
In such a finger movement estimation system 1, the
手指運動推定システム1による屈曲角度Θの特定精度について、図7を参照して説明する。図7は、屈曲角度Θの特定結果を示す図である。本発明者らは、手指運動推定システム1による屈曲角度Θの特定精度を評価すべく、手指の第2関節の角度を0°、15°、30°、45°、60°、75°、90°に固定する器具を作成し、各器具で手指の角度を固定した状態で赤外距離センサ11から出力される電圧(センサデータ)を計測し、屈曲角度Θを導出した。センサデータの計測は例えば3秒程度行った。また、各角度につき10回計測を行った。また、被験者を10人とし、センサのサンプルレートを100Hzとした。
The accuracy of specifying the bending angle Θ by the finger movement estimation system 1 will be described with reference to FIG. 7. FIG. 7 is a diagram showing a specific result of the bending angle Θ. The present inventors set the angles of the second joints of the fingers to 0 °, 15 °, 30 °, 45 °, 60 °, 75 °, 90 in order to evaluate the specific accuracy of the flexion angle Θ by the finger movement estimation system 1. An instrument fixed at ° was created, the voltage (sensor data) output from the
図7において、横軸は実際の角度、縦軸は手指運動推定システム1が推定した角度を示している。図7中に示されたドットは、各角度における推定結果(推定角度)を示している。図7における破線は、推定結果と実際の角度とに差異がない場合の直線を示している。図7における実線は、被験者10人の平均推定結果の直線を示している。実際の角度と、推定結果の角度との相関係数の10人平均は、0.99となった。また、推定結果の角度と実際の角度との差分である誤差を計測点数で平均化した平均絶対誤差の10人平均は、3.20°となった。例えば、上述した、磁石及び磁力計を備えるデバイスによって手指使用量を測定する装置においては、平均絶対誤差が4.7°となった。このことから、従来の手法に比べて、手指運動推定システム1では屈曲角度Θを高精度に特定できることがわかった。 In FIG. 7, the horizontal axis represents the actual angle, and the vertical axis represents the angle estimated by the finger movement estimation system 1. The dots shown in FIG. 7 indicate the estimation results (estimated angles) at each angle. The broken line in FIG. 7 shows a straight line when there is no difference between the estimation result and the actual angle. The solid line in FIG. 7 shows a straight line of the average estimation result of 10 subjects. The 10-person average of the correlation coefficient between the actual angle and the estimated angle was 0.99. In addition, the 10-person average of the average absolute error obtained by averaging the error, which is the difference between the angle of the estimation result and the actual angle, by the number of measurement points was 3.20 °. For example, in the above-mentioned device for measuring the amount of fingers used by a device equipped with a magnet and a magnetometer, the average absolute error was 4.7 °. From this, it was found that the bending angle Θ can be specified with higher accuracy in the finger movement estimation system 1 than in the conventional method.
手指運動推定システム1によれば、従来の手法と比べて、様々なタスクにおける手指の使用量の違いを明確に示すことが可能になる。このことについて、図8〜図11を参照して説明する。本発明者らは、様々なタスクにおける手指の使用量を推定すべく、指輪型デバイス10を装着した8人の被験者に「ワイプ」、「フォールド」、「ペグ」の3種類のタスクを実行させ、各タスクにおける手指の使用量を推定した。ここで、「ワイプ」とは布巾でテーブルを拭くタスクであり、「フォールド」とは布巾を畳むタスクであり、「ペグ」とはペグを抜き差しするタスクである。また、当該実験においては、被験者に装着された処理装置50に三軸加速度センサを搭載し、各タスクにおける加速度の変化についても測定した。そして、当該加速度の値に基づき、手指の使用量を推定した。すなわち、当該実験においては、本実施形態の態様である、赤外距離センサ11のセンシング結果に基づく手指の使用量の推定と、加速度センサのセンシング結果に基づく手の使用量の推定(比較例の推定)とを同時に行った。なお、手指の使用量は、例えば、単位時間あたりの屈曲角度の変化量を時間積分することによって推定される。また、手の使用量は、例えば単位時間あたりの加速度センサの変化量を時間積分することによって推定される。
According to the finger movement estimation system 1, it is possible to clearly show the difference in the amount of fingers used in various tasks as compared with the conventional method. This will be described with reference to FIGS. 8 to 11. In order to estimate the amount of fingers used in various tasks, the present inventors have eight subjects wearing the ring-
図8及び図9は、比較例に係る構成によって導出した手の使用量の推定結果である。図8においては、各ドットが被験者1名の推定結果(手の使用量)を示している。図9においては、ひげ(直線)で示した範囲が最大値の被験者から最小値の被験者までの範囲である。ただし、外れ値については除いている。また、図9においては、箱の上面が上位25%の値、箱の下面が下位25%の値の位置を示している。図9に示されるように、比較例(加速度センサのセンシング結果を利用)の測定結果においては、「ワイプ」と「フォールド」、「ワイプ」と「ペグ」の各タスクのひげの範囲が互いに重複している。このため、比較例に係る構成では、「ワイプ」と「フォールド」、「ワイプ」と「ペグ」の各タスクの手指の使用量の違いを示すことができない(各タスクを区別できない)と言える。 8 and 9 are estimation results of the amount of hand used derived by the configuration according to the comparative example. In FIG. 8, each dot shows the estimation result (hand usage) of one subject. In FIG. 9, the range indicated by the whiskers (straight line) is the range from the subject having the maximum value to the subject having the minimum value. However, outliers are excluded. Further, in FIG. 9, the upper surface of the box shows the position of the upper 25% value, and the lower surface of the box shows the position of the lower 25% value. As shown in FIG. 9, in the measurement results of the comparative example (using the sensing results of the accelerometer), the whiskers ranges of the “wipe” and “fold”, “wipe” and “peg” tasks overlap each other. doing. Therefore, in the configuration according to the comparative example, it can be said that it is not possible to show the difference in the amount of fingers used for each task of "wipe" and "fold", and "wipe" and "peg" (each task cannot be distinguished).
図10及び図11は、本実施形態に係る構成によって導出した手指使用量の推定結果である。図10においては、各ドットが被験者1名の推定結果(手指の使用量)を示している。図11においては、ひげ(直線)で示した範囲が最大値の被験者から最小値の被験者までの範囲である。ただし、外れ値については除いている。また、図11においては、箱の上面が上位25%の値、箱の下面が下位25%の値の位置を示している。図11に示されるように、本実施形態(赤外距離センサ11のセンシング結果を利用)の測定結果においては、「ワイプ」と「フォールド」、「ワイプ」と「ペグ」の各タスクのひげの範囲が互いに重複していない。このため、本実施形態に係る構成では、「ワイプ」と「フォールド」、「ワイプ」と「ペグ」の各タスクの手指の使用量の違いを示すことができる(各タスクを区別できる)と言える。 10 and 11 are the estimation results of the amount of fingers used derived by the configuration according to the present embodiment. In FIG. 10, each dot shows the estimation result (the amount of fingers used) of one subject. In FIG. 11, the range indicated by the whiskers (straight line) is the range from the subject having the maximum value to the subject having the minimum value. However, outliers are excluded. Further, in FIG. 11, the upper surface of the box shows the position of the upper 25% value, and the lower surface of the box shows the position of the lower 25% value. As shown in FIG. 11, in the measurement result of the present embodiment (using the sensing result of the infrared distance sensor 11), the whiskers of the tasks of "wipe" and "fold", and "wipe" and "peg" are used. The ranges do not overlap each other. Therefore, in the configuration according to the present embodiment, it can be said that the difference in the amount of fingers used for each task of "wipe" and "fold", and "wipe" and "peg" can be shown (each task can be distinguished). ..
マイコン60は、指輪型デバイス10と一体的に設けられていてもよい。このような構成によれば、手指の使用量が推定される対象のユーザにとっては指輪型デバイス10のみを装着すればよいこととなり、該ユーザの負担を低減することができる。
The
マイコン60は、指輪型デバイス10と別体で設けられていてもよい。このような構成によれば、指輪型デバイス10自体を簡素な構成とすることができる。
The
マイコン60は、以下の(1)式で示される関数モデルに基づき、屈曲角度Θを特定する。Θは手指の基準状態である伸展時に対する第2関節の屈曲角度、xは赤外距離センサ11から手指の測定位置までの距離、rは第2関節から手指の測定位置までの距離である。
Θ=arccos(x/r)・・・(1)
このような関数モデルを用いることにより、屈曲角度Θを高精度且つ容易に導出することができる。
The
Θ = arccos (x / r) ... (1)
By using such a function model, the bending angle Θ can be easily derived with high accuracy.
マイコン60は、指輪型デバイス10を利用するユーザ毎に、予め、手指の伸展時において赤外距離センサ11から出力される信号である伸展時信号と、手指が完全に屈曲した状態において赤外距離センサ11から出力される信号である屈曲時信号とを取得し、伸展時信号及び屈曲時信号を考慮して、赤外距離センサ11から手指の測定位置までの距離xを導出する。距離xと赤外距離センサ11から出力される信号(電圧)とは対応関係がある。しかし、赤外距離センサ11から出力される信号の値がどの距離に対応しているかは、ユーザによって異なる。この点、ユーザ毎に、伸展時信号及び屈曲時信号が取得されることにより、距離xが最も長くなる場合の電圧(最小の電圧)と距離xが最も短くなる場合の電圧(最大の電圧)とが特定されるため、赤外距離センサ11から出力される電圧に応じて、距離xを正確に導出することができる。
The
マイコン60は、特定した手指の屈曲角度Θと、予め取得しているジェスチャーパターンとを比較することにより、手指のジェスチャーを推定する。これにより、手指の使用量に加えて、手指のジェスチャーを推定することができ、手指運動をより具体的に推定することができる。なお、発明者らは、本実施形態に係る構成を用いて、手指を閉じた状態、人差し指と親指で輪を作った状態、手指を開いた状態の三つのジェスチャーについて、ジェスチャーパターンとの比較によりジェスチャーの推定が可能か実験を行ったところ、平均正解率は98.9%となった。
The
以上、本実施形態について詳細に説明したが、本発明は上記実施形態に限定されない。 Although the present embodiment has been described in detail above, the present invention is not limited to the above embodiment.
例えば、図12に示されるように、指輪型デバイス10Aが、赤外距離センサ(光センサ)として、手指の先端側に光を出力すると共に該光の手指における跳ね返りを検出する第1センサ11Xと、手指の基端側に光を出力すると共に該光の手指における跳ね返りを検出する第2センサ11Yと、を有していてもよい。この場合、指輪型デバイス10Aが第2関節と第3関節との間に装着され、第1センサ11Xによって第2関節の屈曲角度を特定すると共に、第2センサ11Yによって第3関節の屈曲角度を特定することが可能になる。このことで、第2関節のみの屈曲角度を特定する場合と比較して、より高精度に手指の使用量を推定することができる。
For example, as shown in FIG. 12, the ring-
また、図13(a)に示される手指運動推定システム1Aのように、指輪型デバイスとして、ユーザの人差し指(第1の手指)に装着される指輪型デバイス10(第1デバイス)と、同一のユーザの人差し指とは異なる中指(第2の手指)に装着される指輪型デバイス10Bとを備えていてもよい。これにより、複数の手指の使用量・動作を同時に推定することができる。図13(a)に示される手指運動推定システム1Aのように、指輪型デバイス10,10Bがユーザの同一の手の異なる指に装着されることによって、同一の手の複数の指がどのように使用されているかを推定することが可能になる。
Further, as in the finger
また、図13(b)に示される手指運動推定システム1Bのように、指輪型デバイス10がユーザの右手(一方の手)の人差し指(第1の手指)に装着され(図1参照)、指輪型デバイス10Cが同一のユーザの左手(他方の手)の人差し指(第2の手指)に装着されてもよい。これにより、異なる手の複数の指がどのように使用されているかを推定することができる。このことで、例えば体の片側で麻痺が生じているユーザ等の両方の手の指に指輪型デバイスを装着し、麻痺が生じている側の手の指の使用状態と麻痺が生じていない側の手の指の使用状態との差分から、リハビリ方法を決定する等が可能になる。
Further, as in the finger
1,1A,1B…手指運動推定システム、10,10A,10B,10C…指輪型デバイス、11 赤外距離センサ(光センサ)、60 マイコン(制御部)。 1,1A, 1B ... Finger movement estimation system, 10,10A, 10B, 10C ... Ring type device, 11 infrared distance sensor (optical sensor), 60 microcomputer (control unit).
Claims (10)
前記指輪型デバイスは、光を出力すると共に該光の手指における跳ね返りを検出し、該手指までの距離に応じた信号を出力する光センサを有し、
前記制御部は、前記光センサから出力される信号に基づき、手指の基準状態に対する屈曲角度を特定し、該屈曲角度に基づき手指の使用量を推定する、手指運動推定システム。 A finger movement estimation system including a ring-type device attached to a finger and a control unit.
The ring-type device has an optical sensor that outputs light, detects the bounce of the light on a finger, and outputs a signal according to the distance to the finger.
The control unit is a finger movement estimation system that identifies a bending angle of a finger with respect to a reference state based on a signal output from the optical sensor, and estimates the amount of the finger used based on the bending angle.
Θ=arccos(x/r)・・・(1)
請求項1〜3のいずれか一項記載の手指運動推定システム。 The control unit specifies the bending angle based on the function model represented by the following equation (1). Θ is the flexion angle of the joint with respect to the reference state of the finger during extension, x is the distance from the optical sensor to the measurement position of the finger, and r is the distance from the joint to the measurement position of the finger.
Θ = arccos (x / r) ... (1)
The finger movement estimation system according to any one of claims 1 to 3.
前記指輪型デバイスを利用するユーザ毎に、予め、手指の伸展時において前記光センサから出力される信号である伸展時信号と、手指が完全に屈曲した状態において前記光センサから出力される信号である屈曲時信号とを取得し、
前記伸展時信号及び前記屈曲時信号を考慮して、前記光センサから手指の測定位置までの距離xを導出する、請求項4記載の手指運動推定システム。 The control unit
For each user who uses the ring-type device, the extension signal, which is a signal output from the optical sensor when the finger is extended, and the signal output from the optical sensor when the finger is completely bent, are used in advance. Get a certain bending signal and
The finger movement estimation system according to claim 4, wherein the distance x from the optical sensor to the measurement position of the finger is derived in consideration of the extension signal and the flexion signal.
前記第2デバイスは、同一のユーザの前記一方の手の前記第2の手指に装着される、請求項8記載の手指運動推定システム。 The first device is attached to the first finger of one of the user's hands.
The finger movement estimation system according to claim 8, wherein the second device is attached to the second finger of the one hand of the same user.
前記第2デバイスは、同一のユーザの他方の手の前記第2の手指に装着される、請求項8記載の手指運動推定システム。 The first device is attached to the first finger of one of the user's hands.
The finger movement estimation system according to claim 8, wherein the second device is attached to the second finger of the other hand of the same user.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019077840A JP2020174787A (en) | 2019-04-16 | 2019-04-16 | Finger movement estimation system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019077840A JP2020174787A (en) | 2019-04-16 | 2019-04-16 | Finger movement estimation system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020174787A true JP2020174787A (en) | 2020-10-29 |
Family
ID=72936332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019077840A Pending JP2020174787A (en) | 2019-04-16 | 2019-04-16 | Finger movement estimation system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020174787A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113694342A (en) * | 2021-08-05 | 2021-11-26 | 长沙医学院 | Wearable medical equipment based on gesture recognition |
JP2022065946A (en) * | 2020-10-16 | 2022-04-28 | 株式会社ユニバーサルエンターテインメント | Game machine |
WO2023286316A1 (en) * | 2021-07-14 | 2023-01-19 | ソニーグループ株式会社 | Input device, system, and control method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6244827A (en) * | 1985-08-20 | 1987-02-26 | ブィ・ピィ・エル・リサーチ・インコーポレイテッド | Apparatus and method for generating control signal accordingto action and position of hand |
JPH0412201A (en) * | 1990-05-01 | 1992-01-16 | Komatsu Ltd | Detecting sensor for bending angle of articulation |
US20170024008A1 (en) * | 2014-09-17 | 2017-01-26 | Microsoft Technology Licensing, Llc | Smart ring |
JP2019000652A (en) * | 2015-01-23 | 2019-01-10 | ネオフェクト シーオー., エルティーディー.NEOFECT Co., LTD. | System and method for hand rehabilitation exercise |
-
2019
- 2019-04-16 JP JP2019077840A patent/JP2020174787A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6244827A (en) * | 1985-08-20 | 1987-02-26 | ブィ・ピィ・エル・リサーチ・インコーポレイテッド | Apparatus and method for generating control signal accordingto action and position of hand |
JPH0412201A (en) * | 1990-05-01 | 1992-01-16 | Komatsu Ltd | Detecting sensor for bending angle of articulation |
US20170024008A1 (en) * | 2014-09-17 | 2017-01-26 | Microsoft Technology Licensing, Llc | Smart ring |
JP2019000652A (en) * | 2015-01-23 | 2019-01-10 | ネオフェクト シーオー., エルティーディー.NEOFECT Co., LTD. | System and method for hand rehabilitation exercise |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022065946A (en) * | 2020-10-16 | 2022-04-28 | 株式会社ユニバーサルエンターテインメント | Game machine |
WO2023286316A1 (en) * | 2021-07-14 | 2023-01-19 | ソニーグループ株式会社 | Input device, system, and control method |
CN113694342A (en) * | 2021-08-05 | 2021-11-26 | 长沙医学院 | Wearable medical equipment based on gesture recognition |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10842407B2 (en) | Camera-guided interpretation of neuromuscular signals | |
US10817795B2 (en) | Handstate reconstruction based on multiple inputs | |
Smeragliuolo et al. | Validation of the Leap Motion Controller using markered motion capture technology | |
MEng | Development of finger-motion capturing device based on optical linear encoder | |
Esfahani et al. | A “smart” undershirt for tracking upper body motions: Task classification and angle estimation | |
Dunne et al. | Wearable monitoring of seated spinal posture | |
JP2020174787A (en) | Finger movement estimation system | |
WO2016146817A1 (en) | Method and device for anatomical angle measurement | |
Tognetti et al. | Body segment position reconstruction and posture classification by smart textiles | |
JP2015058258A (en) | Physical information acquisition device, physical information acquisition method, and physical information acquisition program | |
Rowe et al. | The Manumeter: a non-obtrusive wearable device for monitoring spontaneous use of the wrist and fingers | |
US11237632B2 (en) | Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions | |
Moreira et al. | Real-time hand tracking for rehabilitation and character animation | |
Garimella et al. | Capturing joint angles of the off-site human body | |
Forsman et al. | Mind the gap–development of conversion models between accelerometer-and IMU-based measurements of arm and trunk postures and movements in warehouse work | |
Bianchi et al. | Exploiting hand kinematic synergies and wearable under-sensing for hand functional grasp recognition | |
Saggio et al. | Evaluation of an integrated sensory glove at decreasing joint flexion degree | |
Rovini et al. | Vision optical-based evaluation of SensHand accuracy for Parkinson’s disease motor assessment | |
Luo et al. | A virtual reality system for arm and hand rehabilitation | |
Rovini et al. | SensRing, a novel wearable ring-shaped device for objective analysis of reachto-grasp movements | |
Kim et al. | Thumb joint angle estimation for soft wearable hand robotic devices | |
Cappello et al. | Application of stereophotogrammetry to total body three-dimensional analysis of human tremor | |
US20210318759A1 (en) | Input device to control a computing device with a touch pad having a curved surface configured to sense touch input | |
JP2017148570A (en) | Electronic apparatus, sensor control method, and program | |
Michael et al. | Gait reconstruction from motion artefact corrupted fabric-embedded sensors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220404 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221018 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230425 |