JP2002333826A

JP2002333826A - 技能向上支援装置

Info

Publication number: JP2002333826A
Application number: JP2001139583A
Authority: JP
Inventors: Tomoharu Yamaguchi; 智治山口
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2001-05-10
Filing date: 2001-05-10
Publication date: 2002-11-22
Anticipated expiration: 2021-05-10
Also published as: JP3747800B2

Abstract

(57)【要約】【課題】従来方法では、同一性と差異の境界が不鮮明
で、行動の要約や比較が困難である。また、同じ動作で
も、速度が異なるものについての比較は困難である。ま
た、基準フォームとの差の表示も抽象的で、利用者にと
って矯正すべき点がわかりにくい。【解決手段】記号化手段１１０は、動作計測装置２０
０により、主に人間の身体の動作を計測して得られた数
値データを入力として受け、数値データの数学的な特徴
を検出し、各特徴に対応付けられた記号からなる記号列
を出力する。動作比較手段１２０は、動作データベース
手段１４０に記憶されている記号列のうちで教師例とな
る理想的な動作を記録した記号列と、記号化手段１１０
から出力される支援対象となる動作の記号列とを比較し
て差異を検出する。情報提示手段１３０は、動作比較手
段１２０が検出した差異を表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技能分野】本発明は技能向上支援装置に
係り、特にコンピュータやセンサを用いて計測された人
間の身体の動作を記録し、支援すべき動作と理想的な動
作の比較のために記録されたデータを再利用する技能向
上支援装置に関する。

【０００２】

【従来の技能】スポーツや特定の作業などで必要とされ
る人間の身体の動作、すなわち運動技能を習得・向上さ
せるために、従来は、ＶＴＲを用いて理想的な動作を磁
気テープに録画し、その磁気テープの再生動画像を教示
例として技能向上支援に用いることが多い。最近では、
モーションキャプチャなどの方法で人間の身体の動作を
数値データとして計測し、コンピュータで処理すること
が一般的に行われている。

【０００３】また、人間の身体の動作を解析し、理想的
な動作と比較して、その誤差を修正させるように指示す
る技能向上支援方法も従来より提案されている。例え
ば、特開平９−６８４４４号公報（発明の名称：運動測
定装置この装置を利用した仮想空間再現装置、フォーム
矯正装置）には、加速度センサと角速度センサとを組み
合わせて姿勢検出手段を構成し、この姿勢検出手段によ
って人間の各部位の姿勢変化を検出する構成とすること
により、どこの場所でも人間の各部位の姿勢変化を計測
できる方法が開示されている。すなわち、この従来方法
では、予め記憶された基準フォームのデータと人体に装
着したセンサからの信号入力とを直接比較してズレ量を
算出し、色つきのランプなどでズレの存在を表示するこ
とでスポーツなどのフォーム矯正を行う。

【０００４】また、特許第２５５８９４３号公報（発明
の名称：ニューラルネットワークを用いた人間の動作自
動認識装置）には、人間の形態データを収集する動作測
定部と、この動作測定部からのデータにより、人間の姿
勢なるポスチャーの内容と人間の動作なるジェスチャー
の開始点を識別判断するポスチャーニューラルネットワ
ーク部と、ポスチャーニューラルネットワーク部でジェ
スチャーの開始点が識別された場合に、動作測定部から
の形態データを得てジェスチャーの内容を認識判断する
ジェスチャーニューラルネットワークと、上記のポスチ
ャーニューラルネットワーク部でジェスチャーの開始点
が識別された場合に、ジェスチャーニューラルネットワ
ーク部への形態データの導入を制御すると共に、ポスチ
ャーニューラルネットワーク部とジェスチャーニューラ
ルネットワーク部の出力結果を比較して最終的な認識結
果を選択決定する動作判断部を設けた構成の動作自動認
識装置が開示されている。この動作自動認識装置では、
人間の姿勢と動作をニューラルネットワーク部で判定し
て、その動作の意味を自動認識することができる。

【０００５】また、特開２０００−１４９０５６公報
（発明の名称：多関節物体の表示方法及び表示装置）に
は、人体のような多関節物体の動作を関節角を対象デー
タとして単位時間の倍数と単位角度の倍数との組み合わ
せからなる座標点で近似する基本動作の記述方法が開示
されている。この従来方法によれば、基本動作による動
作表現によれば、単位時間以下の時間ズレや単位角度以
下の揺らぎを吸収して、動作の合成や比較が可能であ
る。

【０００６】

【発明が解決しようとする課題】しかしながら、再生動
画像を教示例として技能向上支援に用いる従来方法で
は、モーションキャプチャなどの方法で人間の身体の動
作を計測して得た計測データを数値データのまま取り扱
っているために、データ量が膨大になるのみならず、デ
ータに対する意味付けが容易でなく、同一性と差異の境
界が不鮮明で、行動の要約や比較が困難である。

【０００７】また、特開平９−６８４４４号公報記載の
従来方法では、センサ信号データで基準フォームと矯正
対象の比較を行っているために、同じ動作でも、速度が
異なるものについての比較は困難である。また、基準フ
ォームとの差の表示も抽象的で、利用者にとって矯正す
べき点がわかりにくい。

【０００８】また、特許第２５５８９４３号公報記載の
従来方法では、ポスチャーやジェスチャーにおいて特定
の動作に類似する動作の認識は可能であるが、類似する
動作同士での差異の検出は行えない。更に、特開２００
０−１４９０５６号公報記載の従来方法では、単位時間
や単位角度による量子化のため、量子化境界をまたぐ場
合に微少な差でも吸収できない。また、固定された量子
化間隔のため、動作の前半と後半で速さの比が異なるデ
ータを正しく比較できないなどの問題がある。

【０００９】本発明は以上の点に鑑みなされたもので、
同じ動作で速度が異なるものを同じ動作と判定でき、ま
た、動作の前半と後半が異なる速度であるようなデータ
の比較が可能で、更に、計測時間に対するゆらぎに強い
動作比較が可能な技能向上支援装置を提供することを目
的とする。

【００１０】また、本発明の他の目的は、ゆらぎに強い
動作比較に基づいて、熟練動作と利用者の動作との効率
的な差異検出を行い得る技能向上支援装置を提供するこ
とにある。

【００１１】更に、本発明の他の目的は、差異がある動
作に関して注意すべき具体的なアドバイスを提供するこ
とで効果的な支援を可能にする技能向上支援装置を提供
することにある。

【００１２】

【課題を解決するための手段】本発明は上記の目的を達
成するため、動作計測装置により、主に人間の身体の動
作を計測して得られた数値データを入力として受け、数
値データの数学的な特徴を検出し、各特徴に対応付けら
れた記号からなる記号列を出力する記号化手段と、記号
化手段からの記号列を記憶する動作データベース手段
と、動作データベース手段に記憶されている記号列のう
ちで教師例となる理想的な動作を記録した記号列と、記
号化手段から出力される支援対象となる動作の記号列と
を比較して差異を検出する動作比較手段と、動作比較手
段が検出した差異を表示する情報提示手段とを有する構
成としたものである。

【００１３】本発明では、動作を計測して得られた数値
データを記号化して動作比較手段で理想的な動作の記号
列と比較するようにしたため、計測時間に対するゆらぎ
に強い動作比較ができ、また、動作計測データの記号化
によって、動作データベース手段の記憶容量が削減でき
る。

【００１４】また、本発明は上記の目的を達成するた
め、上記の情報提示手段を、動作比較手段が検出する差
異に対応した支援情報を保持している支援情報手段と、
動作比較手段が検出した差異を入力として受け、入力さ
れた差異をキーとして支援情報手段を参照して入力され
た差異に対応する支援情報を出力する支援情報出力手段
とよりなることを特徴とする。

【００１５】ここで、上記の支援情報手段は、差異に対
応して注意すべき動作について具体的なアドバイスを提
供する情報を、対応する差異と関連付けて支援情報とし
て保持していることを特徴とする。また、上記の支援情
報出力手段は、入力された差異に対応する支援情報と共
に、動作比較手段により比較される、理想的な動作の記
号列のグラフと、支援対象となる動作の記号列のグラフ
とを各記号の対応をとったうえで重ね合わせて差異部分
を強調表示することを特徴とする。この発明では、動作
の差異に基づく支援情報の提示により注意すべき動作に
ついて具体的なアドバイスを提供することで効果的な技
能向上支援装置の提供ができる。

【００１６】

【発明の実施の形態】次に、本発明の一実施の形態につ
いて図面と共に説明する。図１は本発明になる技能向上
支援装置の一実施の形態のブロック図を示す。この実施
の形態における技能向上支援装置１００は、モーション
キャプチャ装置など、人間の動きを計測して数値化する
動作計測装置２００が出力する定量的な数値である計測
データを入力として受け、その計測データに対応する定
性的な記号列を出力する記号化手段１１０と、記号化手
段によって出力された記号列を蓄積する動作データベー
ス手段１４０と、動作データベース手段１４０に蓄積さ
れた記号列のうちで教師例となる理想的な動作を記録し
た記号列と、支援対象となる動作の記号化手段１１０の
出力の記号列とを比較し、その差異を検出する動作比較
手段１２０と、動作比較手段１２０によって検出される
差異を表示する情報提示手段１３０とを含んで構成され
る。

【００１７】図２は図１中の記号化手段１１０の一実施
の形態を詳細に示すブロック図である。図２において、
図１と同一構成部分には同一符号を付し、その説明を省
略する。図２において、技能向上支援装置１００の記号
化手段１１０は、特徴検出手段１１１、記号変換手段１
１２及び記号情報手段１１３より構成され、入力される
数値データに対応する記号を出力する。特徴検出手段１
１１は、入力となる数値データについて極大値や極小値
などの数学的な特徴を検出する。記号変換手段１１２
は、記号情報手段１１３を参照して、特徴検出手段１１
１によって検出された特徴に対応する記号を出力する。

【００１８】図３は図１中の情報提示手段１３０の一実
施の形態を詳細に示すブロック図である。図３におい
て、図１と同一構成部分には同一符号を付し、その説明
を省略する。図３において、技能向上支援装置１００の
情報提示手段１３０は、動作比較手段１２０が検出する
差異に対応した支援情報を保持する支援情報手段１３１
と、動作比較手段１２０が検出した差異に基づいて支援
情報手段１３１を参照して支援情報を出力する支援情報
出力手段１３２とを含んで構成される。

【００１９】次に、本発明の実施の形態の動作について
詳細に説明する。人間の身体の動作を計測して数値化す
る動作計測装置２００には、例えば、人体の各関節にマ
ーカーを貼付して複数台のカメラにより撮影し、各マー
カーの三次元位置を同定するという方法で、各関節の三
次元座標位置を計測データとして出力する装置、あるい
は各関節に曲げセンサを装置して各関節角を計測データ
として出力する装置などが利用可能である。

【００２０】図４は動作計測装置２００が出力する計測
データの一例であり、一定時間間隔でサンプリングされ
た人間の身体の各部の関節の高さ座標がデジタルな数値
データとして各行に記述されている。以下、データの各
行の一番左にある右手首関節の高さに着目して説明す
る。

【００２１】図５は同じデータをグラフで表示したもの
である。計測開始（時刻ｔ＝０）に高さ２０の位置にあ
り、ｔ＝２で高さ３０まで上がった後に、ｔ＝７で高さ
−２０まで下がる。そこからｔ＝１４で高さ５０まで上
がって、ｔ＝２０まで維持して、その後再度下がりはじ
めるという動きの様子がみてとれる。

【００２２】記号化手段１１０は、このようにして得ら
れる計測データについて数学的な特徴を検出し、各特徴
に対応付けられた記号により計測データを記号化する。
例えば、特徴検出手段１１１は、データが極大値をとる
極大点、極小値をとる極小点、ゼロとなるゼロ点、以降
に同じ値が連続する停止始点、同じ値の連続が終了する
停止終点などの特徴を検出する。

【００２３】記号情報手段１１３は、特徴検出手段１１
１が検出する特徴と対応する記号を、例えば図７のよう
に表形式で保持する。記号変換手段１１２は記号情報手
段１１３を参照して、特徴検出手段１１１が検出する各
特徴を記号に変換して出力する。このように、動作計測
データを記号化することで計測時間に対するゆらぎに強
い動作比較ができ、熟練動作と利用者の動作との効率的
な差異検出ができる。

【００２４】図５に例示されたデータを入力として図７
に記された特徴を検出する場合、検出される特徴と記号
の対応を図５のグラフに重ね合わせて表示すると図６の
ようになる。時刻ｔ１で極大点、ｔ２でゼロ点、ｔ３で
極小点、ｔ４でゼロ点、ｔ５で停止始点、ｔ６で停止終
点が特徴検出手段１１１によって検出され、記号変換手
段１１２はそれぞれの特徴について記号情報手段１１３
を参照して時刻順にＸ、Ｚ、Ｎ、Ｚ、Ｓ、Ｅという記号
に変換し、記号化手段１１０は、入力データに対応する
記号列として「Ｘ−Ｚ−Ｎ−Ｚ−Ｓ−Ｅ」を出力する。

【００２５】動作データベース手段１４０には、記号化
手段１１０が出力する記号列のうち、特に手本となるよ
うなデータを蓄積しておく。例えば、図５に示したデー
タが、手本とすべき熟練者の動作を計測したものである
とすると、そのデータを入力として記号化手段１１０が
出力した記号列「Ｘ−Ｚ−Ｎ−Ｚ−Ｓ−Ｅ」を動作デー
タベース手段１４０に蓄積しておく。ここで、動作計測
データの記号化によって、データを蓄積するためのデー
タベース手段１４０の記憶容量が削減でき、より多くの
種類の基準データを蓄積可能である。

【００２６】これとは別に、図８にグラフで示す計測デ
ータが記号化手段１１０に入力されたとする。記号化手
段１１０は図８にグラフで示す計測データに対応する記
号列として「Ｘ−Ｎ−Ｓ−Ｅ」を出力する。動作比較手
段１２０は、動作データベース手段１４０に蓄積されて
いる記号列「Ｘ−Ｚ−Ｎ−Ｚ−Ｓ−Ｅ」と、図８にグラ
フで示す計測データに対応する記号列として記号化手段
１１０が出力した記号列「Ｘ−Ｎ−Ｓ−Ｅ」とを比較
し、図８にグラフで示す計測データに対応する記号化手
段１１０の出力である記号列には「Ｎ」の前後の「Ｚ」
が欠けていることを検出し、その差異を情報提示手段１
３０内の支援情報出力手段１３２に出力する。

【００２７】支援情報出力手段１３２は動作比較手段１
２０から入力された「Ｎ」の前後の「Ｚ」が欠けている
場合に関する知識を、支援情報手段１３１を参照して取
得する。支援情報手段１３１には、例えば図９に示すよ
うな、表形式の情報が格納されている。支援情報出力手
段１３２は、ここでは「Ｎ」の前後の「Ｚ」が欠けてい
る場合に関する知識を取得するために、基準データ欄が
「Ｚ−Ｎ−Ｚ」で、対象データ欄「Ｎ」である行の支援
情報欄にある支援情報「高さの下げ量が不十分なので、
しっかりと下げるように心がける」を取得する。

【００２８】情報提示手段１３０内の支援情報出力手段
１３２は、このようにして支援情報手段１３１から取得
した支援情報を利用者に提示する。動作の差異に基づく
支援情報の利用者への提示により、注意すべき動作につ
いて具体的なアドバイスを提供することで効果的な技能
向上の支援ができる。図１０は、情報提示手段１３０に
よるコンピュータ画面表示の一例である。このように情
報提示手段１３０は支援情報により技能向上の支援がで
き、更にこれに加えて、計測データIと基準データIIとを
重ね合わせて差異部分をIIIで示すように強調表示する
とより一層効果的である。

【００２９】図１１は別の計測データの例を示す。図６
の計測データと比べると、開始の高さが若干高く、続く
下げがやや早い。そのために後半部分が図６のデータよ
りも早い時刻になっているが、基本的には同じ動作であ
る。これらの動きは同じでも速さが異なる計測データを
従来一般的な方法のように時刻を基準として比較する
と、図１２に図１１のデータと図６のデータを重ねて、
差異部分に網掛け表示を施して示すように、ほぼ全体で
差異が現れてしまい、類似の動作とはみなされない。

【００３０】これに対し、本実施の形態では、記号化手
段１１０による出力は図１１に示す計測データの記号列
「Ｘ−Ｚ−Ｎ−Ｚ−Ｓ−Ｅ」であり、これは動作データ
ベース手段１４０から出力される、手本とすべき熟練者
の動作を計測した図６に示した計測データの記号列「Ｘ
−Ｚ−Ｎ−Ｚ−Ｓ−Ｅ」と同じであるから、動作比較手
段１２０はこれらが同じ動作であると正しく判定でき
る。

【００３１】

【発明の効果】以上説明したように、本発明によれば、
動作を計測して得られた数値データを記号化して動作比
較手段で理想的な動作の記号列と比較することにより、
計測時間に対するゆらぎに強い動作比較ができ、熟練動
作と利用者の動作との効率的な差異検出ができる。ま
た、本発明によれば、動作計測データの記号化によっ
て、動作データベース手段の記憶容量が削減できるた
め、より多くの種類の理想的な動作の記号列の数値デー
タを蓄積でき、よって、豊富な動作種類をカバーする技
能向上支援装置が実現できる。

【００３２】また、本発明によれば、動作の差異に基づ
く支援情報の提示により注意すべき動作について具体的
なアドバイスを提供するようにしたため、効果的な技能
向上支援ができる。

【図面の簡単な説明】

【図１】本発明装置の一実施の形態のブロック図であ
る。

【図２】図１中の記号化手段の一実施の形態のブロック
図である。

【図３】図１中の情報提示手段の一実施の形態のブロッ
ク図である。

【図４】動作計測装置の出力である数値計測データの一
例である。

【図５】手首の高さに着目した数値データの例をグラフ
表示した図である。

【図６】図５のグラフに特徴検出手段の出力する特徴お
よび対応する記号を重ねて表示した図である。

【図７】図２中の記号情報手段に保持される情報の一例
である。

【図８】熟練者の行動データと比較される対象データの
例をグラフ表示した図である。

【図９】支援情報手段に保持される情報の一例である。

【図１０】情報提示手段によるコンピュータ画面表示の
例である。

【図１１】図６のデータと同じ行動であると判定される
べき行動データの例をグラフ表示した図である。

【図１２】図６のデータと図１１のデータを重ね合わせ
て差分を表示した図である。

【符号の説明】

１００技能向上支援装置１１０記号化手段１１１特徴検出手段１１２記号変換手段１１３記号情報手段１２０動作比較手段１３０情報提示手段１３１支援情報手段１３２支援情報出力手段１４０動作データベース手段２００動作計測装置

Claims

【特許請求の範囲】

【請求項１】動作計測装置により、主に人間の身体の
動作を計測して得られた数値データを入力として受け、
該数値データの数学的な特徴を検出し、各特徴に対応付
けられた記号からなる記号列を出力する記号化手段と、前記記号化手段からの記号列を記憶する動作データベー
ス手段と、前記動作データベース手段に記憶されている記号列のう
ちで教師例となる理想的な動作を記録した記号列と、前
記記号化手段から出力される支援対象となる動作の記号
列とを比較して差異を検出する動作比較手段と、該動作比較手段が検出した差異を表示する情報提示手段
とを有し、前記数値データを記号化することで、定量的
な動作計測データの蓄積および比較を定性的に処理可能
にすることを特徴とする技能向上支援装置。
【請求項２】前記記号化手段は、前記動作計測装置か
らの前記数値データの数学的な特徴を検出する特徴検出
手段と、該特徴検出手段が検出する特徴と対応する記号
を保持している記号情報手段と、該記号情報手段を参照
して前記特徴検出手段が出力する特徴に対応する記号を
出力する記号変換手段とからなることを特徴とする請求
項１記載の技能向上支援装置。
【請求項３】前記特徴検出手段は、前記特徴として、
極大点、極小点、ゼロ点、停止始点及び停止終点を含む
複数の特徴を検出し、前記記号情報手段は、複数の前記
特徴のそれぞれについて対応する記号と特徴とを表形式
で予め記憶保持していることを特徴とする請求項２記載
の技能向上支援装置。
【請求項４】前記情報提示手段は、前記動作比較手段
が検出する差異に対応した支援情報を保持している支援
情報手段と、前記動作比較手段が検出した差異を入力と
して受け、入力された該差異をキーとして該支援情報手
段を参照して入力された該差異に対応する支援情報を出
力する支援情報出力手段とよりなることを特徴とする請
求項１乃至３のうちいずれか一項記載の技能向上支援装
置。
【請求項５】前記支援情報手段は、前記差異に対応し
て注意すべき動作について具体的なアドバイスを提供す
る情報を、対応する差異と関連付けて前記支援情報とし
て保持していることを特徴とする請求項４記載の技能向
上支援装置。
【請求項６】前記支援情報出力手段は、入力された前
記差異に対応する支援情報と共に、前記動作比較手段に
より比較される、理想的な動作の記号列のグラフと、前
記支援対象となる動作の記号列のグラフとを各記号の対
応をとったうえで重ね合わせて差異部分を強調表示する
ことを特徴とする請求項４記載の技能向上支援装置。