JP2012101284A - 人の動作における意図推定装置 - Google Patents

人の動作における意図推定装置 Download PDF

Info

Publication number
JP2012101284A
JP2012101284A JP2010248913A JP2010248913A JP2012101284A JP 2012101284 A JP2012101284 A JP 2012101284A JP 2010248913 A JP2010248913 A JP 2010248913A JP 2010248913 A JP2010248913 A JP 2010248913A JP 2012101284 A JP2012101284 A JP 2012101284A
Authority
JP
Japan
Prior art keywords
movement
person
information
action
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010248913A
Other languages
English (en)
Inventor
Goro Ohigata
五郎 大日方
Riki Nagai
力 長井
Daisuke Kinoshita
大輔 木下
Keisuke Kurita
圭祐 栗田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nagoya University NUC
Original Assignee
Nagoya University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nagoya University NUC filed Critical Nagoya University NUC
Priority to JP2010248913A priority Critical patent/JP2012101284A/ja
Publication of JP2012101284A publication Critical patent/JP2012101284A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

【課題】人の動作において、表面筋電位等の生体信号に頼らずにそれが意図したものであるか否かを識別する。
【解決手段】人の動作している位置、および角度の計測方法を用いて動作情報を取得し(S700)人の動作を人が実現可能な範囲に制限し(S701)、その動作中における人の関節角度と動作している部位の先端位置の位置情報を抽出し(S702〜S703)多変量解析手法を用い(S704〜S709)、さらに人の動作が意図するものであるか否かを識別する閾値を用いて、人の動作がその人が意図するものであるか否かを識別する(S710)ことで、表面筋電位等の生体信号に頼らずに、動作が意図したものであるか否かを識別することを可能にした。
【選択図】図7

Description

本発明は、人の動作が意図するものか否かを識別する意図識別装置、および意図識別装置を利用した意図識別方法に関するものである。
従来、人の身体動作や生体信号を計測し、人と機械間のインターフェースとして利用する研究が盛んに行われている。
近年の研究では、身体や身体に装着する機器にセンサを取り付け、関節角度や加速度、外部から受ける荷重等を計測することで、使用者の意図や身体動作を識別するというものが報告されている。また、人の皮膚表面から検出される表面筋電位(Surface electromyogram:sEMG)といった神経信号や、脳波から人の動作や意図の検知を試みている研究も報告されている(例えば、非特許文献1、非特許文献2参照)。
このような人の意図を推定する手法を用いた機器の一つとして、身体装着型パワーアシスト装置が挙げられる。(例えば、特許文献1、特許文献2参照)このような身体装着型パワーアシスト装置は、操作者の意図した動作に対して協調的に動作しながら操作者の動作の補助をする特徴を有さなければならないため、操作者との円滑な協調動作が必要となる。
特に、操作者の上肢と装置の接触部分に力覚センサを取り付け、力覚センサ出力を基に装置の運動を求めるパワーアシスト装置の場合、操作者の手先に不意に外力が加わった際に、センサ出力は操作者が発揮した力と外力の合力となり、操作者が意図しない動作をアシストしてしまう危険性がある。
特許公開平11−253504号公報 特許公開2005−230099号公報 吉川、三河、田中「筋電位を利用したサポートベクターマシンによる手のリアルタイム動作識別」、電子情報通信学会論文紙、2009年1月、J92巻、1号、p.93−103 辻、市延、伊藤、長町「エントロピーを用いた誤差逆転伝播型ニューラルネットによるEMGからの前腕動作の識別」、計測自動制御学会論文集、1993年、29巻、10号、p.1213−1220
ところが、身体装着型パワーアシスト装置においては身体動作や生体信号を計測することで直観的な操作を可能とするが、人の意図を完全に識別できるインターフェースは未だになく、その開発が求められている。
また、sEMGを用いることで操作者の動作の識別を試みる研究は多くなされているが、操作者の個人差や電極貼付け位置の違い、発汗の影響による出力の変動、使用者の不快感など、実用化には多くの問題がある。
本発明は、こうした問題に鑑みなされたもので、操作者の個人差や電極貼付け位置の違い、発汗の影響による出力の変動、使用者の不快感などのない意図識別技術を提供することを目的とする。
この欄においては、発明に対する理解を容易にするため、必要に応じて「発明を実施するための形態」欄において用いた符号を付すが、この符号によって請求の範囲を限定することを意味するものではない。
上記「発明が解決しようとする課題」において述べた問題を解決するためになされた請求項1に記載の発明は、
人の動作を表す物理量を取得する動作取得手段(104,S700)と、
前記動作取得手段(104,S700)で取得した前記人の動作を表す物理量に基づいて動作の範囲を所定の動作範囲に制限する範囲制限手段(108,S701)と、
前記動作範囲制限手段で制限された動作範囲において人の動作している位置、および角度の計測方法を用いて動作情報を抽出する動作情報抽出手段(102,103,S702,S703)と、
前記動作抽出手段で抽出された前記人の動作情報に基づいて人の運動を解析する挙動解析手段(202,S704〜S709)と、
前記挙動解析手段により解析した人の運動に基づいて人の動作がその人が意図するものであるか否かを識別する識別手段(202,S710)と、
を備えたことを特徴とする意図識別装置をその要旨とする。
ここで、人の動作を表す物理量とは、例えば、人の手先の動きの速度や周波数、肘の動きの角速度や角加速度など人の各部位の動きを表現するための物理量を意味している。
したがって、請求項1に記載の発明によると、人の動作情報のみを用いて人の動作が意図するものであるか否かを区別が可能である。よって、人の動作が意図するものであるか否かを区別する際に皮膚表面から検出されるsEMGといった神経信号や、脳波を用いる必要がない。
このため、個人差やsEMGを検出するための電極の貼付け位置の違い、また発汗の影響による出力の変動の影響を受けずに人の動作が意図するものであるか否かを区別することが可能である。また、電極を貼り付けることによる使用者の不快感も取り除くことが可能となる。
また、請求項2に記載の発明は、前記動作情報抽出手段(102,103,S702,S703)は、
人の動作時における人の各部位の位置情報と、角度情報を抽出することを特徴とする請求項1に記載の意図識別装置であることをその要旨とする。
したがって、請求項2に記載の発明によると、人の動作における人の各部位の位置と、関節角度の情報を抽出することが可能となる。
また、請求項3に記載の発明は、前記挙動解析手段(202,S704〜S709)は、
前記動作情報抽出手段(102,103,S702,S703)によって抽出された情報から、人の動作時における前記位置情報と角度情報の速度と、加速度と、躍度の微分量を算出するステップと、
前記動作情報に対して多変量解析手法を用い複数の新たなデータを算出するステップと、
前記新たなデータの中で意図しない動作が生じた際に最も特徴的な挙動を示すデータとそのデータの構成する要素を抽出するステップと、
前記最も特徴的な挙動を示すデータに対して閾値を算出するステップと、
を含むことを特徴とする請求項1又は請求項2に記載の意図識別装置であることをその要旨とする。
したがって、請求項3に記載の発明によると、前記動作情報抽出手段によって抽出された情報から、人の動作における意図しない動作が生じた際に大きな挙動を示すデータとそのデータを構成する要素を抽出することが可能となる。
また、そのデータに対して閾値を設定することが可能となる。従って、構成する要素を記録することで、他の動作情報に対して、改めて多変量解析手段を行わなくとも、意図しない動作が生じた際に大きな挙動を示すデータを生成することが可能となる。
なお、角度情報の速度とは、角度情報の1階時間微分を、加速度は2階時間微分を、躍度は3階時間微分を意味している。
また、請求項4に記載の発明は、前記識別手段(202,S710)は、
前記挙動解析手段(202,S704〜S709)によって抽出された前記最も特徴的な挙動を示すデータが、前記閾値を超えた場合、その動作を人が意図しない動作であると識別するステップ
を含むことを特徴とする請求項1〜請求項3のいずれか1項に記載の意図識別装置であることをその要旨とする。
したがって、請求項4に記載の発明によると、前記挙動解析手段によって抽出されたデータと閾値を利用することによって人の動作における意図しない動作を識別することで、その動作が人の意図しない動作であったと識別することが可能となる。また、閾値を超える方向に着目することで、意図しない動作の原因となった外力の方向を推定することが可能となる。
また、請求項5に記載の発明は、前記範囲制限手段(108,S701)が、人の動作において人が追従可能な速度範囲における動作に制限することを特徴とする請求項1〜請求項4のいずれか1項に記載の意図識別装置であることをその要旨とする。
したがって、請求項5に記載の発明によると、請求項1に記載の意図識別装置を利用して人の動作が意図するものであるか否かを識別する際に、人の動作を人が追従可能な動作範囲に制限することが可能となり、人の動作が意図するものであるか否かの識別を精度よく行うことを可能とする。
また、請求項6に記載の発明は、人の動作を表す物理量を取得する動作取得手段により人の動作を表す物理量を取得する操作取得工程(S700)と、
前記操作取得工程(S700)で取得した前記人の動作を表す物理量の範囲を所定の動作範囲に制限する範囲制限工程(S701)と、
前記動作範囲制限工程で制限された動作範囲において人の動作している位置、および角度の計測方法を用いて動作情報を抽出する動作情報抽出工程(S702,S703)と、
前記動作抽出工程で抽出された前記人の動作情報に基づいて人の運動を解析する挙動解析工程(S704〜S709)と、
前記挙動解析工程により解析した人の運動に基づいて人の動作がその人が意図するものであるか否かを識別する識別工程(S710)と、
により人の動きがその人の意図するものであるか否かを識別する意図識別方法であることをその要旨とする。
したがって、請求項6に記載の発明によると、人の動作情報のみを用いて人の動作が意図するものであるか否かを区別することが可能である。よって、人の動作が意図するものであるか否かを区別する際に皮膚表面から検出されるsEMGといった神経信号や、脳波を用いる必要がない。
このため、個人差やsEMGを検出するための電極の貼付け位置の違い、また発汗の影響による出力の変動の影響を受けずに人の動作が意図するものであるか否かを区別することが可能である。また、電極を貼り付けることによる使用者の不快感も取り除くことが可能となる。
また、請求項7に記載の発明は、前記動作情報抽出工程(S702,S703)は、
人の動作時における人の各部位の位置情報と、角度情報を抽出することを特徴とする請求項6に記載の意図識別方法であることをその要旨とする。
したがって、請求項7に記載の発明によると、人の動作における人の各部位の位置と、関節角度の情報を抽出することが可能となる。
また、請求項8に記載の発明は、前記挙動解析工程(S704〜S709)は、
前記動作情報抽出工程(S702,S703)によって抽出された情報から、人の動作時における前記位置情報と角度情報の速度と、加速度と、躍度の微分量を算出するステップと、
前記動作情報に対して多変量解析手法を用い複数の新たなデータを算出するステップと、
前記新たなデータの中で意図しない動作が生じた際に最も特徴的な挙動を示すデータとそのデータの構成する要素を抽出するステップと、
前記最も特徴的な挙動を示すデータに対して閾値を算出するステップと、
を含むことを特徴とする請求項6又は請求項7に記載の意図識別方法であることをその要旨とする。
したがって、請求項8に記載の発明によると、前記動作情報抽出手段によって抽出された情報から、人の動作における意図しない動作が生じた際に大きな挙動を示すデータとそのデータを構成する要素を抽出することが可能となる。
また、そのデータに対して閾値を設定することが可能となる。従って、構成する要素を記録することで、他の動作情報に対して、改めて多変量解析手段を行わなくとも、意図しない動作が生じた際に大きな挙動を示すデータを生成することが可能となる。
また、請求項9に記載の発明は、前記識別工程(S710)は、
前記挙動解析工程によって抽出された前記最も特徴的な挙動を示すデータが、前記閾値を超えた場合、その動作を人が意図しない動作であると識別するステップ
を含むことを特徴とする請求項6〜請求項8のいずれか1項に記載の意図識別方法であることをその要旨とする。
したがって、請求項9に記載の発明によると、前記挙動解析手段によって抽出されたデータと閾値を利用することによって人の動作における意図しない動作を識別することで、その動作が人の意図しない動作であったと識別することが可能となる。また、閾値を超える方向に着目することで、意図しない動作の原因となった外力の方向を推定することが可能となる。
また、請求項10に記載の発明は、前記範囲制限工程(S701)は、
人の動作において人が追従可能な速度範囲における動作に制限することを特徴とする請求項6〜請求項9のいずれか1項に記載の意図識別方法であることをその要旨とする。
したがって、請求項10に記載の発明によると、請求項1に記載の意図識別装置を利用して人の動作が意図するものであるか否かを識別する際に、人の動作を人が追従可能な周波数範囲に制限することが可能となり、人の動作が意図するものであるか否かの識別を精度よく行うことを可能とする。
本発明における意図識別装置の構成を示すブロック図。 識別器の構造を示すブロック図。 実施形態における実験方法を示す模式図。 関節角度を計測するための赤外線反射マーカの貼付け位置を示す図。 実験に用いるターゲットと質量を示すグラフ。 手先に外力が働いた際の上肢のsEMG、手先位置、加速度、質量を示すグラフ。 第1の実施形態における処理の概略を示すフローチャート。 手先位置、第1の実施形態において抽出された独立成分と閾値、質量を示すグラフ。 第2の実施形態における処理の概略を示すフローチャート。 手先位置、第2の実施形態において抽出された独立成分と閾値、質量を示すグラフ。
以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
[第1の実施形態]
以下、本発明を人の上肢における動作が意図したものか否かを識別するシステムとして具体化した第1の実施形態を図1〜8に基づき詳細に説明する。本実施形態において、人の上肢の動作における識別を行ったが、他の部位(例えば下肢の動作)に対して行ってもよい。
人の上肢の動作が意図するものであるか否かを識別するための本実施形態で用いた意図識別装置は以下の通りである。
図1に示されるように、識別器101、モーションキャプチャカメラ制御器102、マニピュレータ制御器103、ロボットマニピュレータ104、6軸力覚センサ105、モーションキャプチャカメラ106、被験者107、スクリーン108を設けた。
ロボットマニピュレータ104の先端には操作端が配置され、操作端とロボットマニピュレータ104との間には6軸力覚センサ105が配置されている。従って、操作端に働く力・トルクを一定時間ごと(本実験形態では1/100秒ごと)に6軸力覚センサ105によって計測するようになっている。
また、マニピュレータ制御器103はロボットマニピュレータ104とスクリーン108に接続されている。マニピュレータ制御器103にはロボットマニピュレータ104によって一定時間ごと(本実験形態では1/100秒ごと)に計測されたマニピュレータの関節角度情報と6軸力覚センサ105によって計測された力・トルクの情報が出力される。
マニピュレータ制御器103は入力されたロボットマニピュレータ104の関節角度情報と力・トルクの情報に応じた速度指令値をロボットマニピュレータ104に出力し制御する。
具体的には、慣性係数・粘性係数・剛性係数を設定することで、インピーダンス制御によって、被験者107の手先に仮想的なばね・粘性抵抗・質量を与えるように速度指令を出力する。
本実施形態においては、慣性係数は時間によって変化させ、粘性係数は50Ns/m、剛性係数は0N/mとしたが、粘性係数については他の値(例えば、人が操作端を把持して動作した際に、抵抗を感じずに動作できる範囲の粘性抵抗を与える粘性係数の値)を用いてもよい。
さらに、本実施形態においては、マニピュレータ制御器103はロボットマニピュレータ104の操作端は鉛直方向に平行な1軸上のみを動くように制御した。
また、マニピュレータ制御器103は、ロボットマニピュレータ104の関節角度情報よりロボットマニピュレータ104の操作端の位置情報を計算する。
スクリーン108にはマニピュレータ104の関節角度情報から計算された操作端の被験者107の手先位置情報を図3に示されるマーカ307のように表示するために、ロボットマニピュレータ104の操作端の位置情報を出力する。ただし、被験者107の手先位置情報とはロボットマニピュレータ104の操作端の位置情報のことをいう。
従って、ロボットマニピュレータは動作取得手段としての機能を有している。ただし、本実施形態では、動作情報取得手段として、ロボットマニピュレータを用いたが、他の装置(例えば、磁気による空間位置センサや、エンコーダを用いた角度センサなど)を用いてもよい。
モーションキャプチャカメラ106は被験者107を撮影できるように配置し、図4に示すように被験者107の身体に配置された赤外線反射マーカA〜Gを一定時間ごと(本実験形態では1/100秒ごと)に撮影する。
図4に示されるように、被験者107に身体には赤外線反射マーカA〜Gが配置されており、本実施形態においては、それぞれ赤外線反射マーカAは大骨盤、赤外線反射マーカBは肩峰、赤外線反射マーカCは上腕骨外骨端、赤外線反射マーカDは橈骨茎状突起、赤外線反射マーカEは中指中節骨、赤外線反射マーカFは尺骨頭、赤外線反射マーカGは上腕骨内骨端に配置した。
また、モーションキャプチャカメラ106はモーションキャプチャカメラ制御器102に接続されており、撮影された赤外線反射マーカA〜Gの空間座標情報を出力する。
モーションキャプチャカメラ制御器102はモーションキャプチャカメラ106の制御を行う。また、モーションキャプチャカメラ制御器102は赤外線反射マーカA〜Gの空間座標情報より被験者107の肘関節の屈折角度∠BCDと肩関節の内外転角度∠ABCの関節角度情報を計算する。
本実施形態において、赤外線反射マーカの貼付け位置は前記の通りだが関節の角度を算出できる配置であれば他の貼付け方(例えば、肩峰、上腕骨外骨端、橈骨茎状突起上にマーカを1つずつ配置する貼付け方など)でもよく、また、被験者107の上肢の関節角度∠BCDおよび∠ABCはモーションキャプチャカメラを用いて計測したが、関節の角度を正確に計測できれば他の手段(例えば、エンコーダを用いた関節角度センサなど)を用いて計測を行ってもよい。
以上のマニピュレータ制御器103とモーションキャプチャカメラ制御器102の動作内容より、マニピュレータ制御器103とモーションキャプチャカメラ制御器102は、人の動作情報を抽出する動作情報抽出手段としての機能を有している。
識別器101はモーションキャプチャカメラ制御器102とマニピュレータ制御器103に接続されている。モーションキャプチャカメラ制御器102からは、被験者107の肘関節の屈折角度∠BCDと肩関節の内外転角度∠ABCの関節角度情報が出力され、マニピュレータ制御器103からは、被験者107の手先位置情報が出力される。
被験者107はスクリーン108の正面に配置され、右手でロボットマニピュレータ104の操作端を把持する。従って、被験者107の手先にはマニピュレータ制御器103で設定した慣性係数・粘性係数・剛性係数に応じたばね・粘性抵抗・質量を感じながら、鉛直方向に平行な1軸上でのみ動作することが可能となる。
スクリーン108には、被験者107の手先位置情報に応じて動くマーカ307(図3参照)を表示した。従って、被験者107がロボットマニピュレータ104の操作端を動かすと、マーカが操作端の動きと同様に動くことになる。
また、動作を計測する際の実験内容は以下の通りである。
図3に示されるように、実験においてはスクリーン108に実験に応じたターゲット305を表示する。具体的には、図3に示されるように追従軌道となるターゲット305をスクリーン108の左端から右端に向けて動かす映像を表示する。本実施形態においては、1回の試行を120秒として行ったが、これとは異なる時間で行ってもよい。
従って、実験において被験者107はターゲット305を追従するようにロボットマニピュレータ104の操作端を動かすことになる。
図5に示されるように、実験においてターゲット305はグラフ501のように変化させる。本実施形態においては、グラフ501のように4秒ごとに1.7秒の周期の正弦波を与えたものをターゲット305としたが、人が追従可能である動作範囲内の波形であれば他の波形(例えば、人間が行う動作における手先の軌道を模擬した波形や、肘関節の屈伸における角速度が人間の実現可能な範囲内に収めることが可能な波形)をターゲットとしてもよい。
また、実験においてグラフ502のように被験者107の手先に働かせる質量を突発的に変化させる。本実施形態において、グラフ502のように4秒ごとに質量を±2kgの幅でステップ的に変化させたが、質量の変化が突発的、かつ±0.5kg以上の大きさで生じれば、別の変化パターンで質量を変化させてもよい。
図3に示されるように、実験においては、被験者107の追従動作は模式図301〜304のように行われる。具体的には、実験において、模式図301では、被験者107はターゲット305の追従を行い、ターゲット305の変化がないため、マーカ307は基線306上に静止させる。従って、手先に働く外力と被験者107が発揮する発揮力が釣り合った状態となる。
模式図302では、被験者107はターゲット305の追従動作を行い、ターゲット305の変化を追従するために、マーカ307をターゲット305上に動かす。従って、手先に働く外力よりも大きな力を発揮し、操作端を被験者107が意図する動作をしている状態となる。
模式図303では、ターゲット305の追従動作を行うが、グラフ502のように被験者107の手先に働く質量が変化したことによってマーカ307がターゲット305上から外れている。また、図6に示されるように、手先に働く質量がグラフ604のように変化した際の上肢のsEMG(グラフ601)は手先の加速度(グラフ603)の増加を始めた後に遅れて増加を開始する。従って、質量が変化すると被験者107が発揮する力よりも手先に働く外力が大きくなり、被験者107が意図しない動作をしている状態となる。
模式図304では、ターゲット305の追従動作を行うため、模式図303においてマーカ307がターゲット305から外れてしまった状態からターゲット305にマーカ307を戻している、従って、手先に働く外力よりも被験者107が発揮する力を発揮し、被験者107が意図する動作をしている状態となる。
以上の方法により、被験者107の意図する動作を一定の動作範囲内に制限することが可能となる。即ち、スクリーン108は範囲制限手段の機能を有している。
また、被験者107の上肢の動作が意図するものか否かを識別するための識別器101、および処理内容は以下の通りである。
図2に示されるように、識別器101は、CPU202を備えており、CPU202には、ROM203、RAM204および入出力ポート(I/Oポート)201が接続されている。CPU202は、人の動作が意図するものであるか否かの識別を行うための各種処理を実行する。ROM203には、人の動作の解析や、人の動作が意図するものであるか否かを識別するためのプログラムなどが記憶されている。
また、RAM204には、意図の動作が意図するものであるか否かを識別するために必要な各種の情報が一時的に記憶されるようになっている。さらに、入出力ポート201には、前記モーションキャプチャカメラ制御器102とマニピュレータ制御器103が接続されている。CPU202には、被験者107の手先位置情報と関節角度情報が、入出力ポート201を介して入力されるようになっている。
図3に示されるCPU202は、入出力ポート201を介して入力された被験者107の手先位置情報と関節角度情報を基に、識別処理を行うようになっている。これにより、被験者107の動作が意図するものであるか否かの区別を行う。
即ち、CPU202は、挙動解析手段、および人の動作が意図するものであるか否かを識別する識別手段としての機能を有している。取得された手先位置情報と関節角度情報は1回の試行ごとにRAM204の記憶領域に記憶されるようになっている。
次に、人の動作が意図するものであるか否かを識別する識別装置による識別方法を説明する。
図7に示されるように、被験者107の動作情報を人の動作を表す物理量を計測する計測方法を用いて取得し(S700)、前記動作情報と前記の模式図301〜304で表現される方法を用いて制限する(S701)。さらに動作情報の計測を行う(S702)。
ただし、人の動作を表す物理量とは、例えば、人の手先の動きの速度や周波数、肘の動きの角速度や角加速度など人の各部位の動きを表現するための物理量を意味しており、動作情報とは被験者107の動作時の手先位置情報と関節角度情報のことである。
計測された動作情報はCPU202によって取り込まれる(S703)。次に、CPU202は得られたそれぞれの動作情報に対してカットオフ周波数5Hzのローパスフィルタにより平滑化した後、1〜3階の時間微分を行い(S704)、得られた位置(および角度)、速度(および角速度)、加速度(および角加速度)、躍度(および角躍度)情報について、それぞれのデータが平均0、分散1になるように正規化を行う(S705)。
正規化されたデータに対して、本実施形態では独立成分分析を応用し、複数の独立成分を算出した(S706)。さらに、評価関数を用いて、それぞれの独立成分に対し評価関数の値を計算する(S707)。
具体的には、以下の評価関数JA、JCを計算する。
上記評価関数は、Aの独立成分の最大値の平均と、複数回生じた意図する動作における独立成分の各ピーク値のうち最大値の平均値の比を表しており、上記評価関数においてA〜Dは、被験者が上方向の意図しない動作を行っている区間A、下方向の意図する動作を行っている区間B、下方向の意図しない動作を行っている区間C、下方向の意図する動作を行っている区間Dとし、a〜dは、A〜Dそれぞれの1回の試行あたりの回数である。また、PAiは1回の試行におけるi回目のAの独立成分のピーク値を表わしている。
なお、本実施形態では上記の評価関数を用いたが、意図しない動作が起こった際のみに顕著に挙動を示す信号を抽出できれば、他の評価関数(例えば、A(またはC)の独立成分のピーク値のうち最小の値と、B(またはD)の独立成分のピーク値のうち最大の値の差を表す評価関数など)を用いてもよい。
次にS706において算出された複数の独立成分の中でJA、JCを共に最大にする独立成分と、その独立成分を構成する結合係数を抽出する(S708)。さらに、抽出された独立成分に対し、閾値を設ける(S709)。
具体的には、以下の式を用いて閾値を算出する。
上記閾値の式は区間Aにおける最小のピーク値と区間Bにおける最大のピーク値の中間の値を表わすものであり、上記閾値の式において、σupは上方向の意図する動作を意図しない動作を識別するための閾値であり、σdownは上方向の意図する動作を意図しない動作を識別するための閾値である。
また、PA_minは区間Aにおける最小のピーク値であり、PB_maxは区間Bにおける最大のピーク値を表わす。なお、本実施形態では上記の式によって閾値を算出したが、他の式(例えば、区間Aにおける最小のピーク値と区間Bにおける最大のピーク値の3分の1の値を表わす閾値など)を用いて算出してもよい。
さらに、S708において抽出された独立成分、およびS709において算出された閾値を用いて動作が意図するものであるか否かを識別する(S710)。
具体的には、抽出した独立成分がσupを超えた場合は、その時刻に行った動作が上方向の意図しない動作であるとし、σdownを超えた場合は、その時刻に行った動作が下方向の意図しない動作であると識別する。なお、本実施形態において閾値を線形なものとして識別を行ったが、非線形であっても良い。
以上の処理内容から、S 700の処理は動作情報取得手段としての機能を有している。S701の処理は動作の範囲制限手段としての機能を有している。S702およびS703の処理は動作情報抽出手段の機能を有している。S703〜S708の処理は挙動解析手段としての機能を有している。S709の処理は人の動作が意図するものであるか否かを識別する識別手段としての機能を有している。
[効果]
従って、本実施形態によれば以下の効果を得ることができる。
(1)図8に示すグラフは、本実施形態における結果であり、グラフ801は手先位置、グラフ803は手先に負荷した質量、グラフ802は動作情報抽出手段、および挙動解析手段によって抽出された独立成分と閾値である。
グラフ802に示されるように、独立成分がσupを超えている動作は質量が負荷された際の動作である。同様に、独立成分がσdownを超えている動作は質量が負荷された際の動作である。
つまり、閾値を超えた際の動作はいずれも人が意図しない動作である。従って、本実施形態により、人の動作情報のみを計測することで、動作が意図するものであるか否かを識別することが可能となる。
また、範囲制限手段により動作を制限することで、抽出される独立成分の挙動は意図しない動作においてより顕著になる。従って、閾値による識別をより正確に行うことができる。
(2)本実施形態による識別では、図8のグラフ802に示されるように、独立成分がσupを超えている動作は正の質量が負荷された際の動作である。同様に、独立成分がσdownを超えている動作は負の質量が負荷された際の動作である。従って、本実施形態により、人の動作情報のみを計測することで、意図しない動作が起こった際に負荷された外力の方向を推定することができる。
[第2の実施形態]
以下、本発明を人の上肢における動作が意図したものか否かを識別するシステムとして具体化した第2の実施形態を図9、10に基づき詳細に説明する。本実施形態において、人の上肢の動作における識別を行ったが、他の部位(例えば下肢の動作)に対して行ってもよい。
第2の実施形態は、前記第1の実施形態における意図識別装置は同様のものを用いるが、図9に示すように処理内容を変えて動作の識別を行った。
具体的には、図9に示されるように、人の動作を表す物理量を計測する計測方法を用いて動作情報を取得し(S900)、前記動作情報と前記の模式図301〜304で表現される方法を用いて制限する(S901)。さらに動作情報Aの計測を行う(S902)。計測された動作情報AはCPU202によって取り込まれる(S903)。
計測された動作情報Aに対してCPU202は得られたそれぞれの動作情報に対してカットオフ周波数5Hzのローパスフィルタにより平滑化した後、1〜3階の時間微分を行い(S904)、得られた位置(および角度)、速度(および角速度)、加速度(および角加速度)、躍度(および角躍度)情報について、それぞれのデータが平均0、分散1になるように正規化を行う(S905)。
正規化されたデータに対して、独立成分分析を応用し、複数の独立成分を算出する(S906)。さらに、評価関数を用いて、それぞれの独立成分に対し評価関数の値を計算する(S907)。
次にS906において算出された複数の独立成分の中で評価関数の値を最大にする独立成分と、その独立成分を構成する結合係数Aを抽出し記録する(S908)。さらに、抽出された独立成分に対し、閾値Aを計算し記録する(S909)。
そして、S902で計測した動作とは異なる動作の計測、またはS902で計測した被験者とは異なる被験者の動作を改めて動作情報を取得し(S910)、動作の範囲を制限する(S911)。さらに,動作情報Bの計測を行う(S912)。S903〜S905と同様の処理を動作情報Bに対し施す(S913〜S915)。
次に正規化された動作情報Bに対して、S908、S909で記録された結合係数A、および閾値Aを適用し、動作が意図したものであるか否かを識別する。つまり、動作情報Bに対しては独立成分分析を施さずに、識別を行うということになる。
また、以上の処理内容から、S900およびS910は動作情報取得手段の機能を有しており、S901およびS911は動作の範囲制限手段の機能を有しており、S902〜S903、およびS912〜S913は動作情報抽出手段としての機能を有している。S904〜S909、およびS914〜S915の処理は挙動解析手段としての機能を有している。また、S916の処理は人の動作が意図するものであるか否かを識別する識別手段としての機能を有している。
[効果]
従って、本実施形態によれば以下の効果を得ることができる。
(3)図10に示すグラフは、本実施形態における結果であり、グラフ1001は手先位置、グラフ1003は手先に負荷した質量、グラフ1002は動作情報Bに対して結合係数Aを作用させて生成したデータと閾値Aである。グラフ1002に示されるように、独立成分がσupを超えている動作は質量が負荷された際の動作である。
同様に、独立成分がσdownを超えている動作は質量が負荷された際の動作である。従って、本実施形態により、動作情報に対して独立成分分析等の解析法を応用せずとも、以前に算出された結合係数、および閾値を応用することのみで、動作が意図するものであるか否かを識別することが可能となる。
[実施形態の変更可能箇所]
なお、本発明の実施形態は以下のように変更してもよい。
・上記各実施形態では、人の動作として上肢の動作を計測し、その動作が意図したものであるか否かを識別したが、他の部位(例えば下肢の動作)の動作であってもよい。
・上記各実施形態では、多変量解析手段として独立成分分析を用いたが、他の解析手法(例えば、主成分分析など)を用いてもよい。
・上記各実施形態では、動作を鉛直方向に平行な1軸上の動作に限定して識別を行ったが、2次元、および3次元の動作であってもよい。
・上記各実施形態では、動作情報取得手段として、ロボットマニピュレータを用いたが、他の装置(例えば、磁気による空間位置センサや、エンコーダを用いた角度センサなど)を用いてもよい。
・上記各実施形態では、動作情報抽出手段として、モーションキャプチャカメラ、およびロボットマニピュレータを用いたが、他の装置(例えば、磁気による空間位置センサや、エンコーダを用いた角度センサなど)を用いてもよい。
・上記各実施形態では、範囲制限手段として、スクリーン108にターゲットを表示し、人に追従させる方法を用いたが、他の方法(例えば、取得した動作を表現する物理量を、動作を行っている人の視覚、または聴覚、または触覚、または体性感覚にフィードバックする方法を用いて目標とする動作との誤差を動作を行っている人に認識させることで動作を制限する方法など)によって制限してもよい。
[産業上の利用可能性]
例えば本発明の意図識別装置及びそれを利用した意図識別手段によれば、人とロボットとの間での協調動作が容易になる可能性がある。
例えば、装着型パワーアシスト装置において表面筋電位等の生体信号を計測せずとも、作業中に突発的な外力が加わり、装着者が意図しない動作をしてしまった場合でも、それが意図しない動作であると識別することが可能となり、その意図しない動作をアシストすることがなくなる可能性がある。
また、重力補償器においても、作業中に突発的に外力が加わり、それに伴って人が意図しない動作をしてしまった場合でも、それが意図しない動作であると識別できるため、安全に作業を実現させる可能性がある。
101 …識別器
102 …モーションキャプチャカメラ制御器
103 …マニピュレータ制御器
104 …ロボットマニピュレータ
105 …6軸力覚センサ
106 …モーションキャプチャカメラ
107 …被験者
108 …スクリーン
201 …入出力ポート(I/Oポート)
202 …CPU
203 …ROM
204 …RAM
301〜304 …模式図
305 …ターゲット
306 …基線
307 …マーカ

Claims (10)

  1. 人の動作を表す物理量を取得する動作取得手段と、
    前記動作取得手段で取得した前記人の動作を表す物理量の範囲を所定の動作範囲に制限する範囲制限手段と、
    前記動作範囲制限手段で制限された動作範囲において人の動作している位置、および角度の計測方法を用いて動作情報を抽出する動作情報抽出手段と、
    前記動作抽出手段で抽出された前記人の動作情報に基づいて人の運動を解析する挙動解析手段と、
    前記挙動解析手段により解析した人の運動に基づいて人の動作がその人が意図するものであるか否かを識別する識別手段と、
    を備えたことを特徴とする意図識別装置。
  2. 前記動作情報抽出手段は、
    人の動作時における人の各部位の位置情報と、角度情報を抽出することを特徴とする請求項1に記載の意図識別装置。
  3. 前記挙動解析手段は、
    前記動作情報抽出手段によって抽出された情報から、人の動作時における前記位置情報と角度情報の速度と、加速度と、躍度の微分量を算出するステップと、
    前記動作情報に対して多変量解析手法を用い複数の新たなデータを算出するステップと、
    前記新たなデータの中で意図しない動作が生じた際に最も特徴的な挙動を示すデータとそのデータの構成する要素を抽出するステップと、
    前記最も特徴的な挙動を示すデータに対して閾値を算出するステップと、
    を含むことを特徴とする請求項1又は請求項2に記載の意図識別装置。
  4. 前記識別手段は、
    前記挙動解析手段によって抽出された前記最も特徴的な挙動を示すデータが、前記閾値を超えた場合、その動作を人が意図しない動作であると識別するステップ
    を含むことを特徴とする請求項1〜請求項3のいずれか1項に記載の意図識別装置。
  5. 前記範囲制限手段は、
    人の動作において人が追従可能な速度範囲における動作に制限することを特徴とする請求項1〜請求項4のいずれか1項に記載の意図識別装置。
  6. 人の動作を表す物理量を取得する動作取得手段により人の動作を表す物理量を取得する操作取得工程と、
    前記操作取得工程で取得した前記人の動作を表す物理量の範囲を所定の動作範囲に制限する範囲制限工程と、
    前記動作範囲制限工程で制限された動作範囲において人の動作している位置、および角度の計測方法を用いて動作情報を抽出する動作情報抽出工程と、
    前記動作抽出工程で抽出された前記人の動作情報に基づいて人の運動を解析する挙動解析工程と、
    前記挙動解析工程により解析した人の運動に基づいて人の動作がその人が意図するものであるか否かを識別する識別工程と、
    により人の動きがその人の意図するものであるか否かを識別する意図識別方法。
  7. 前記動作情報抽出工程は、
    人の動作時における人の各部位の位置情報と、角度情報を抽出することを特徴とする請求項6に記載の意図識別方法。
  8. 前記挙動解析工程は、
    前記動作情報抽出工程によって抽出された情報から、人の動作時における前記位置情報と角度情報の速度と、加速度と、躍度の微分量を算出するステップと、
    前記動作情報に対して多変量解析手法を用い複数の新たなデータを算出するステップと、
    前記新たなデータの中で意図しない動作が生じた際に最も特徴的な挙動を示すデータとそのデータの構成する要素を抽出するステップと、
    前記最も特徴的な挙動を示すデータに対して閾値を算出するステップと、
    を含むことを特徴とする請求項6又は請求項7に記載の意図識別方法。
  9. 前記識別工程は、
    前記挙動解析工程によって抽出された前記最も特徴的な挙動を示すデータが、前記閾値を超えた場合、その動作を人が意図しない動作であると識別するステップ
    を含むことを特徴とする請求項6〜請求項8のいずれか1項に記載の意図識別方法。
  10. 前記範囲制限工程は、
    人の動作において人が追従可能な速度範囲における動作に制限することを特徴とする請求項6〜請求項9のいずれか1項に記載の意図識別方法。
JP2010248913A 2010-11-05 2010-11-05 人の動作における意図推定装置 Pending JP2012101284A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010248913A JP2012101284A (ja) 2010-11-05 2010-11-05 人の動作における意図推定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010248913A JP2012101284A (ja) 2010-11-05 2010-11-05 人の動作における意図推定装置

Publications (1)

Publication Number Publication Date
JP2012101284A true JP2012101284A (ja) 2012-05-31

Family

ID=46392329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010248913A Pending JP2012101284A (ja) 2010-11-05 2010-11-05 人の動作における意図推定装置

Country Status (1)

Country Link
JP (1) JP2012101284A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105615890A (zh) * 2015-12-24 2016-06-01 西安交通大学 人体下肢行走关节角度肌电连续解码方法
WO2017141579A1 (ja) * 2016-02-15 2017-08-24 オムロン株式会社 判定装置、制御装置、制御システム、判定方法およびプログラム
KR101826268B1 (ko) 2017-04-28 2018-02-06 동국대학교 산학협력단 동작 예측 방법 및 시스템
WO2018100760A1 (ja) * 2016-12-02 2018-06-07 Cyberdyne株式会社 上肢動作支援装置及び上肢動作支援システム
CN110414619A (zh) * 2019-08-05 2019-11-05 重庆工商职业学院 一种基于emg信号识别方法
EP3965007A1 (en) 2020-09-04 2022-03-09 Hitachi, Ltd. Action recognition apparatus, learning apparatus, and action recognition method

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105615890A (zh) * 2015-12-24 2016-06-01 西安交通大学 人体下肢行走关节角度肌电连续解码方法
CN105615890B (zh) * 2015-12-24 2018-08-10 西安交通大学 人体下肢行走关节角度肌电连续解码方法
WO2017141579A1 (ja) * 2016-02-15 2017-08-24 オムロン株式会社 判定装置、制御装置、制御システム、判定方法およびプログラム
WO2018100760A1 (ja) * 2016-12-02 2018-06-07 Cyberdyne株式会社 上肢動作支援装置及び上肢動作支援システム
JPWO2018100760A1 (ja) * 2016-12-02 2019-10-17 Cyberdyne株式会社 上肢動作支援装置及び上肢動作支援システム
KR101826268B1 (ko) 2017-04-28 2018-02-06 동국대학교 산학협력단 동작 예측 방법 및 시스템
CN110414619A (zh) * 2019-08-05 2019-11-05 重庆工商职业学院 一种基于emg信号识别方法
CN110414619B (zh) * 2019-08-05 2023-04-07 重庆工商职业学院 一种基于emg信号识别方法
EP3965007A1 (en) 2020-09-04 2022-03-09 Hitachi, Ltd. Action recognition apparatus, learning apparatus, and action recognition method

Similar Documents

Publication Publication Date Title
US10970936B2 (en) Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
JP2021072136A (ja) ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置
CN104238736B (zh) 利用抓握对象识别运动的装置、方法和系统
Huang et al. Tracing the motion of finger joints for gesture recognition via sewing RGO-coated fibers onto a textile glove
JP2020529067A (ja) 電気インピーダンス測定値を使用して手の動きを追跡するためのアームバンド
CN104834907A (zh) 手势识别方法、装置、设备以及基于手势识别的操作方法
JP2012101284A (ja) 人の動作における意図推定装置
ITMI20120494A1 (it) Apparato e metodo per l'acquisizione ed analisi di una attivita' muscolare
Tognetti et al. Body segment position reconstruction and posture classification by smart textiles
JP6144743B2 (ja) ウェアラブル装置
Lu et al. A 3-D finger motion measurement system via soft strain sensors for hand rehabilitation
Oyekan et al. Applying a fusion of wearable sensors and a cognitive inspired architecture to real-time ergonomics analysis of manual assembly tasks
Sadarangani et al. A preliminary investigation on the utility of temporal features of Force Myography in the two-class problem of grasp vs. no-grasp in the presence of upper-extremity movements
JP2022544793A (ja) 身体活動のコンテキストにおいて対象者に関する生体力学的活動及び生体力学的リスク因子への曝露を解析するための方法及びシステム
Kainz et al. Approach to hand tracking and gesture recognition based on depth-sensing cameras and EMG monitoring
Chophuk et al. Hand postures for evaluating trigger finger using leap motion controller
CN104679229A (zh) 一种手势识别方法和装置
CN108444436A (zh) 一种基于柔性大变形传感器的手部姿态测量系统和方法
CN113341564A (zh) 一种计算机输入装置
Liu et al. A new IMMU-based data glove for hand motion capture with optimized sensor layout
Jin et al. Progress on flexible tactile sensors in robotic applications on objects properties recognition, manipulation and human-machine interactions
KR101930942B1 (ko) 수화 인식 시스템 및 방법
Ángel-López et al. Kinematic hand analysis using motion capture technology
WO2021148880A1 (en) Systems for dynamic assessment of upper extremity impairments in virtual/augmented reality
JPWO2020039507A1 (ja) コントローラ装置