JP2006146435A - 動作伝達システムおよび動作伝達方法 - Google Patents

Abstract

【課題】 従動体に意味のある動作（安全な動作等）をさせるように原動体の動作を従動体へ伝達することができる動作伝達システムおよび動作伝達方法を提供すること。
【解決手段】 動作データ取得手段２２０Ａにより原動体１Ａの動作データを取得し、この動作データに基づき、予め作成された学習モデルを用いて認識処理を行うことで、原動体１Ａの動作を学習済みの複数種類の運動パターンのいずれかに分類し、分類して得られた運動パターンについての運動パターン識別情報（ＬＡＵ（Left Arm Up）等の言語レベルの情報）を、変換テーブルを用いて制御信号識別情報に変換し、従動体２Ａ等に送信する。一方、従動体２Ａ等の側には、その従動体の形状や構造等の特性に合わせた可能動作群を用意しておくことで、従動体２Ａ等をリアルタイムで原動体１Ａの動作に追従させる。
【選択図】 図６

Description

本発明は、原動体の動作を従動体へ伝達する動作伝達システムおよび動作伝達方法に係り、例えば、人間の動作を人間型ロボットへ伝達する場合等のように、生体の動作を、その生体と同形または略同形のロボットへ伝達する場合、あるいは人間の動作を３本足ロボットや犬型ロボットへ伝達する場合や身体障害者の動作をロボットへ伝達する場合等のように、生体の動作を、その生体とは異形のロボットへ伝達する場合等に利用できる。

従来より、人間（ヒューマン）と、人間型ロボット（ヒューマノイドロボット）と、これらのアニメーションキャラクタ（映像中の人物的キャラクタ、すなわち人間あるいは人間型ロボットの代理となるソフトウェアキャラクタ）との３形態の間での動作に対する同一化（単一化、ユニフィケーション、unification）の要請があり、それらの一部は実現されている。

そして、近未来における高度ネットワーク社会では、人間、実機ロボット、アニメーションキャラクタは、いずれもコンピュータネットワークにおける１つのノードを代表するものとなり、より一層高度な情報化社会を実現するための要素となることから、これらの３形態について動作の同一化を実現することの重要性は、一層高まってきている。

このような３形態の間での動作の同一化については、モーションキャプチャによる人体運動計測を行い、それをアニメーション化する技術、すなわち人間の動作をアニメーションキャラクタへ伝達する技術が実用化され、既に市販品も存在している（非特許文献１参照）。

また、モーションキャプチャによる人体運動計測を行い、それを教示データとして実機の脚式移動ロボットの運動パターンを生成する技術、すなわち人間の動作を実機ロボットへ伝達する技術が実用化されている（特許文献１参照）。

なお、本発明の周辺技術については、認識（特に、音声認識）のために一般的に用いられる隠れマルコフモデルのツールとして、ケンブリッジ大学の隠れマルコフモデル・ツールキット（ＨＴＫ：Hidden Markov Model Toolkit）と称される、ほぼ世界標準となった無償のツールがある（非特許文献２参照）。

特開２００２−３０１６７４号公報（段落［００１１］、［００６５］、［０１１９］〜［０１３１］、請求項１，２、図１３〜図１８、要約） メタ・モーション社（META Motion）、"モーション・キャプタ（商標）・サンプル（Motion CaptorTM Samples）"、［online］、メタ・モーション社ホームページ、［平成１６年１１月５日検索］、インターネット＜ＵＲＬ：http://www.metamotion.com/captor/motion-captor-samples.htm＞ ケンブリッジ大学技術部（ＣＵＥＤ：Cambridge University Engineering Department）、"What is HTK？"、［online］、ケンブリッジ大学技術部（ＣＵＥＤ）のＨＴＫ３ウェブサイト、［平成１６年１１月５日検索］、インターネット＜ＵＲＬ：http://htk.eng.cam.ac.uk/＞

ところで、前述したように、人間の動作をアニメーションキャラクタへ伝達する技術が実用化され、既に市販品も存在しているが（非特許文献１参照）、このように人間の動作をアニメーションキャラクタへ伝達することは、それ程、困難性を伴うものではない。なぜなら、アニメーションキャラクタの動作は自在に設定可能であることが多く、柔軟な動作を実現できるので、アニメーションキャラクタの動作を人間の柔軟な動作に追従させることは容易だからである。同様な理由で、実機ロボットの動作をアニメーションキャラクタへ伝達することも容易である。

一方、人間の動作やアニメーションキャラクタの動作を実機ロボットへ伝達することには、困難性が伴うため、良い方式が見当たらないのが現状である。なぜなら、人間やアニメーションキャラクタが柔軟な動作を実現できるのに対し、実機ロボットは、それよりも柔軟性が低く、動作に様々な機構上の制約が生じることが多いからである。例えば、人間が歩行動作を行っているときに、手をやや大きく振る動作等を行った場合には、そのモーションをそのまま位置や角度のデータとして実機のヒューマノイドロボットに命令すると、ヒューマノイドロボットは、自分の手を自分の体にぶつけてしまい、力が強いので破壊に至ってしまう。従って、このような破壊等の不都合を生じることなく、人間から実機ロボットへの動作伝達を安全に実現することができ、かつ、実機ロボットに、静的安定性や、ＺＭＰ（Zero Moment Point）安定度判別規範等の動的安定性を満足するような動作を確実に実行させることができる動作伝達方式が望まれる。

なお、前述した特許文献１に記載された脚式移動ロボットでは、モーションキャプチャによる人体運動計測を行い、それを教示データとして実機ロボットの運動パターンを生成するにあたり、先ず、制御対象となる実機ロボットが実行可能な複数の運動パターンを階層型リカレント・ニューラル・ネットワーク中のそれぞれ異なるエキスパート・リカレント・ニューラル・ネットワークに学習させておき、次に、学習後の各エキスパート・リカレント・ニューラル・ネットワークを下位のモジュールに持つ階層型リカレント・ニューラル・ネットワークにより、モーションキャプチャを用いた人間の教示作業により与えられた運動パターンを自動的に時系列分節し、下位モジュールとしての各エキスパート・リカレント・ニューラル・ネットワークがそれぞれ生成する運動パターンを重み付けて組み合わせることにより、実機ロボットの運動パターンを生成する。換言すれば、制御対象となる実機ロボットについての局所的な各関節自由度に関する実行可能な運動パターンを予め記憶しておき、モーションキャプチャにより取得した人間の運動パターンと、予め記憶しておいた実行可能な運動パターンとの一致の判定を複数の判定部で行い、それらの各判定結果のゲート出力を合成し、実機ロボットの大局的な運動パターンを生成する。従って、モーションキャプチャにより取得した人間の運動パターンをそのまま実機ロボットに適用するのではなく、実機ロボットの構造特性や運動特性に適した動作として伝達することができるという点で、上述したような人間から実機ロボットへの動作伝達の際に生じる不都合を、ある側面で解消している。

しかしながら、各エキスパート・リカレント・ニューラル・ネットワークに学習させておくのは、制御対象となる実機ロボットが実行可能な複数の運動パターンであり、人間の運動パターンではない。従って、後述する本発明における学習モデルに記憶させておくものが、原動体（例えば、人間）の運動パターンであることと相違している。つまり、特許文献１に記載された脚式移動ロボットの運動パターンは、各エキスパート・リカレント・ニューラル・ネットワークがそれぞれ生成する運動パターンを組み合わせて生成されるので、いわば自己の実行可能な複数の運動パターンの組合せということになる。従って、人間の教示動作により最終的に生成される実機ロボットの運動パターンは、結局は、その実機ロボットについて用意された実行可能な複数の運動パターンに基づき生成されるので、その実機ロボットに依存したものとなり、特定のマシンに依存した運動・動作を実現するにすぎないことから、この場合における人間から実機ロボットへの動作伝達は、いわゆる機械依存型の動作伝達となる。これに対し、後述するように、本発明では、学習モデルに記憶させておくものが、原動体（例えば、人間）の運動パターンであり、モーションキャプチャにより取得した原動体の動作が、原動体の運動パターンのいずれに該当するのかを認識する処理を行うことになるので、特許文献１の場合のように従動体（例えば、実機ロボット）の運動パターンとの一致を判定する処理を行うわけではない。従って、本発明の場合には、従動体に依存せずに、原動体の動作をいずれかの運動パターンに分類し、従動体の意味ある動作（安全で、かつ、安定した動作）に繋げることができるので、すなわち従動体に依存せずに、原動体の動作を記述する膨大な情報量を、従動体の動作に繋がるような形で情報圧縮することができるので、いわゆる機械非依存型の動作伝達を実現することができる。この点で、特許文献１の場合と異なっている。

また、特許文献１の場合には、実行可能な運動パターンとの一致の判定を複数の判定部で行っているものの、この処理だけで実機ロボットの運動パターンを生成できるわけではなく、最終的には、各判定結果に基づき、時系列的なデータとして与えられる運動パターン（各エキスパート・リカレント・ニューラル・ネットワークがそれぞれ生成する運動パターン）を組み合わせて実機ロボットの運動パターンを生成しているので、後述する本発明の場合に比べ、実機ロボットを動作させる過程での情報圧縮の程度が低い。

さらに、特許文献１に記載された技術は、実機ロボットの運動パターンを生成する際の運動教示方法についての技術であるから、後述する本発明の場合に照らしてみると、原動体から従動体への動作伝達の局面というよりは、従動体自身について予め用意されるべき運動パターン（従動体を安全かつ安定した状態で円滑に動作させることができるように予め設定された従動体の動作制御用の制御信号）を生成する局面で用いられる技術であり、そもそも適用の局面が異なっている。

そして、以上のように、人間の動作を実機ロボットへ伝達する場合に限らず、一般に、原動体の動作を従動体へ伝達する場合には、原動体の動作を、従動体にとって意味のある動作に繋げる必要がある。ここで、従動体にとって意味のある動作とは、例えば、従動体が実機のロボット、機械、機器等の場合には、安全な動作、安定した動作、円滑な動作等であり、従動体がアニメーションキャラクタの場合には、そのキャラクタに要求される動作、仮想的に加えられた制限（例えば、ギブスをはめたキャラクタが受ける制限等）内で許容される動作、画像表示上の制限を満たす動作等である。

本発明の目的は、従動体に意味のある動作をさせるように原動体の動作を従動体へ伝達することができる動作伝達システムおよび動作伝達方法を提供するところにある。

本発明は、原動体の動作を従動体へ伝達する動作伝達システムであって、原動体の動作データを取得する動作データ取得手段と、原動体の連続した動作からなる複数種類の運動パターンのそれぞれについて動作データ取得手段により取得した学習用の動作データに基づき複数種類の運動パターンを学習して作成された学習モデルを記憶する学習モデル記憶手段と、動作データ取得手段により取得した原動体の認識用の動作データに基づき、学習モデル記憶手段に記憶された学習モデルを用いて、原動体の動作が複数種類の運動パターンのうちのいずれに該当する動作であるかを認識する処理を行う認識処理手段と、複数種類の運動パターンの種別を識別するための運動パターン識別情報とこれらに対応する従動体の動作制御用の制御信号の種別を識別するための制御信号識別情報との対応関係を定める変換テーブルを記憶する変換テーブル記憶手段と、この変換テーブル記憶手段に記憶された変換テーブルを用いて、認識処理手段による認識結果として得られた運動パターン識別情報に対応する制御信号識別情報を把握して従動体に送信する処理を行う制御信号識別情報送信処理手段とを備えたことを特徴とするものである。

ここで、「原動体」には、生体のみならず、例えば、ロボット、機械、機器等も含まれる。生体には、人間のみならず、例えば、犬や猫等の陸上動物、昆虫、鳥、魚等が含まれる。人間には、大人のみならず、例えば、子供や乳幼児等も含まれ、また、健常者の他、手や足の不自由な人等の身体障害者も含まれる。以下の発明においても同様である。

また、「従動体」には、ロボットのみならず、例えば、機械、機器、ディスプレイ画面上に表示されるアニメーションキャラクタ（例えば、人間、ロボット、機械、機器等を模写したキャラクタ）等も含まれる。そして、「従動体」の用途も任意であり、例えば、原子炉内や宇宙空間等のような特殊空間、すなわち生体にとって危険が及ぶ可能性のある空間や、特殊な設備なしには居ることができない空間等で各種の作業、動作を行うロボット、機械、機器等、あるいは身体障害者の動作を補助、支援するためのロボット、機械、機器等である。以下の発明においても同様である。

さらに、「動作データ取得手段」には、例えば、モーションキャプチャ、データグローブ等が含まれる。モーションキャプチャには、磁気系（原動体の各部に磁気センサを装着し、これらを磁界中に配置するもの）、光学系（原動体の各部にシールや発光体等の目印を装着し、これらを多方向からカメラで撮影して画像解析を行うもの）、機械系（原動体に人型のスーツ等のデータ取得用の被服を装着し、この被服の関節の曲がり方等をそのままデータとして取得するもの）のいずれのタイプのものも含まれる。以下の発明においても同様である。

そして、「学習モデル」には、例えば、隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）、サポートベクターマシン（ＳＶＭ）、ベイジアンネットワーク、ニューラルネットワークにより構築されたモデル等が含まれる。以下の発明においても同様である。

また、「変換テーブル記憶手段」に記憶させる「変換テーブル」の内容（対応関係）は、固定的なものとしてもよく、あるいは自在な設定および設定変更が可能なものとしてもよく、複数の対応関係を用意して切換可能としてもよい。従動体が複数種類存在する場合には、各従動体毎に原動体の複数種類の運動パターンについての運動パターン識別情報のそれぞれに対応する制御信号識別情報を用意しておけばよい。以下の発明においても同様である。

さらに、「制御信号識別情報送信処理手段」による従動体への制御信号識別情報の送信処理には、制御信号識別情報送信処理手段として機能するコンピュータから、従動体を構成する従動体制御手段として機能するコンピュータへ、ネットワークや専用線を介して送信する処理や、これらのコンピュータ同士をケーブルや近距離無線等で直接に接続して送信する処理のみならず、後述する図１０に示す如く、制御信号識別情報送信処理手段と従動体制御手段とが同じコンピュータにより実現される場合には、そのコンピュータ内での信号伝達処理が含まれる。そして、「制御信号識別情報送信処理手段」は、従動体が複数存在する場合（複数種類の従動体が存在する場合、および同一種類の従動体が複数存在する場合のいずれも含む。）には、送信先となる従動体に対応した制御信号識別情報を取得し、その制御信号識別情報を送信先の従動体へ送信する処理を行えばよく、この際、送信先となる従動体は、任意であり、例えば、ユーザにより選択された従動体でもよく、原動体の種類や性質に応じて定まる従動体（例えば、原動体が人間やサル等の２足歩行動物であれば、従動体は人間型ロボット、原動体が犬や猫等の４足歩行動物であれば、従動体は犬型ロボットという具合に定めらた従動体）でもよく、原動体（ユーザ自身でもよい。）の所属や管轄に応じて定まる従動体（例えば、原動体がＡ社の人間であれば、従動体はＢ社のロボット、原動体がＣ研究所の飼育するサルであれば、従動体はＤ社のロボット）でもよい。以下の発明においても同様である。

そして、「運動パターン識別情報」は、原動体の複数種類の運動パターンの種別を識別するための情報であり、時系列で捉えることができる各運動パターン（例えば、右手を上げるという連続動作からなる運動パターン、左手を上げるという連続動作からなる運動パターン等）を、情報圧縮して抽象化し、例えば、「右手を上げる」、「左手を上げる」等のテキスト情報、あるいはこれらに対応する「ＲＡＵ」（Right Arm Up）、「ＬＡＵ」（Left Arm Up）等の記号情報、さらには、これらに対応付けられているがそれ自体ではその情報の持つ意味内容をイメージ（直感）することができない「１」、「２」等の番号情報や数値情報（バイナリ情報を含む。）等のように、いわば言語レベルで表現された情報である。以下の発明においても同様である。

また、「制御信号識別情報」は、従動体の動作制御用の制御信号の種別を識別するための情報であり、例えば、従動体本体（機体の部分）に対する制御信号を作成するために従動体制御手段（コンピュータの部分）に用意されている動作ファイルのファイル名としてもよく、上述した運動パターン識別情報としての「ＲＡＵ」（Right Arm Up）、「ＬＡＵ」（Left Arm Up）等の記号情報に対応させて、「Ｒ−ＲＡＵ」（Robot-Right Arm Up）、「Ｒ−ＬＡＵ」（Robot-Left Arm Up）等の記号情報としてもよく、あるいは「１」、「２」等の番号情報や数値情報（バイナリ情報を含む。）等としてもよい。以下の発明においても同様である。

このような本発明の動作伝達システムにおいては、動作データ取得手段により原動体の動作データを取得し、この動作データに基づき学習モデルを用いて、原動体の動作を、学習済みの複数種類の運動パターンのいずれかに分類し、分類して得られた運動パターンについての運動パターン識別情報を、変換テーブルを用いて制御信号識別情報に変換し、従動体に送信する。この際、従動体の側に、従動体の形状や構造等の特性に合わせた可能動作群を用意しておき、それらの可能動作群のうちの１つの動作に対応する制御信号識別情報を従動体に送信すれば、従動体は、その従動体にとって意味のある動作、つまり自己の可能動作のうちの１つを実行するようになる。

従って、原動体の動作をそのまま従動体へ伝達するのではなく、原動体の動作データとして得られる膨大な情報量を、いわば言語レベルの情報である運動パターン識別情報に一旦情報圧縮し、この圧縮された情報である運動パターン識別情報に対応する動作であって、しかもその従動体にとって意味のある動作を、従動体に実行させることが可能となる。このため、原動体の動作をそのまま従動体へ伝達する場合に生じる可能性のある不都合を未然に防止することが可能となり、例えば、従動体の破壊を引き起こすような動作、従動体を不安定な状態にする動作、従動体に許容されていない動作等を従動体に伝達し、実行させてしまうという事態を回避することが可能となり、これらにより前記目的が達成される。

また、前述した動作伝達システムにおいて、原動体の骨格モデルの構造を示す骨格情報を記憶する骨格情報記憶手段と、この骨格情報記憶手段に記憶された骨格情報と動作データ取得手段により取得した認識用の動作データとを用いて骨格運動データを生成する処理を行う骨格運動データ生成処理手段と、この骨格運動データ生成処理手段により生成した骨格運動データから特徴量を抽出する処理を行う特徴量抽出処理手段とを備え、認識処理手段は、特徴量抽出処理手段により抽出した特徴量を用いて認識処理を行う構成とされ、学習モデル記憶手段には、骨格情報記憶手段に記憶された骨格情報と動作データ取得手段により取得した学習用の動作データとを用いて生成された骨格運動データから抽出された特徴量を用いて作成された学習モデルが記憶されていることが望ましい。

このように骨格情報と動作データとを用いて骨格運動データを生成し、さらに特徴量を抽出し、この特徴量を用いて認識処理を行う構成とした場合には、原動体の動作を、より少ない情報量で、より的確に捉えることが可能となり、認識処理の性能の向上が図られる。

さらに、前述したように、本発明に適用できる学習モデルには、例えば、隠れマルコフモデル（ＨＭＭ）、サポートベクターマシン（ＳＶＭ）、ベイジアンネットワーク、ニューラルネットワークにより構築されたモデル等があるが、特に、隠れマルコフモデルを用いることにより、原動体の動作の情報圧縮を、より適切な形で精度よく行うことが可能となる。

そして、学習モデルとして隠れマルコフモデルを用いる場合には、原動体の複数種類の運動パターン毎に隠れマルコフモデルを用意することが望ましい。

また、以下のように学習モデルとしてベイジアンネットワークにより構築されたモデルを用いた構成としてもよい。すなわち、前述した動作伝達システムにおいて、学習モデルは、ベイジアンネットワークにより構築されたモデルであり、特徴量抽出処理手段は、骨格運動データ生成処理手段により生成した骨格運動データに基づき原動体の複数の局部の現在および／または過去の状態がそれぞれ所定の状態になっているか否かおよび／または所定の状態になっていたか否かの２者択一の判定情報を特徴量として抽出する処理を行う構成とされ、認識処理手段は、ベイジアンネットワークにより構築されたモデルを用いて、複数の局部の現在および／または過去の状態についての各判定情報を組み合せた統合状態が複数種類の運動パターンのうちのいずれに該当する状態であるかを認識する処理を行う構成とされていてもよい。

このように学習モデルとしてベイジアンネットワークにより構築されたモデルを用いた構成とした場合であっても、原動体の動作を適切な形で情報圧縮することが可能となる。

さらに、学習モデルとして隠れマルコフモデルを用いる場合には、以下のように原動体の各構成部分の運動パターンを捉えてから、原動体の全体的な運動パターンを捉えるという多段階の処理を行う構成としてもよい。すなわち、本発明は、原動体の動作を従動体へ伝達する動作伝達システムであって、原動体は、動作の認識単位となる複数の構成部分に分割され、原動体の動作データを取得する動作データ取得手段と、各構成部分毎の連続した動作からなる複数種類の部分的な運動パターンのそれぞれについて動作データ取得手段により取得した学習用の動作データに基づき各構成部分毎に複数種類の部分的な運動パターンを学習して作成された各構成部分毎の学習モデルを記憶する学習モデル記憶手段と、各構成部分の現在および／または過去の複数種類の部分的な運動パターンとこれらの部分的な運動パターンを統合して得られる原動体の複数種類の全体的な運動パターンとの対応関係を記憶する運動パターン対応関係記憶手段と、動作データ取得手段により取得した各構成部分毎の認識用の動作データに基づき、学習モデル記憶手段に記憶された各構成部分毎の学習モデルを用いて、各構成部分の動作がそれぞれ複数種類の部分的な運動パターンのうちのいずれに該当する動作であるかを各構成部分毎に認識し、さらに運動パターン対応関係記憶手段に記憶された対応関係を用いて、各構成部分毎の現在および／または過去の部分的な認識結果を統合することにより、原動体の全体的な動作が複数種類の全体的な運動パターンのうちのいずれに該当する動作であるかを認識する処理を行う認識処理手段と、複数種類の全体的な運動パターンの種別を識別するための運動パターン識別情報とこれらに対応する従動体の動作制御用の制御信号の種別を識別するための制御信号識別情報との対応関係を定める変換テーブルを記憶する変換テーブル記憶手段と、この変換テーブル記憶手段に記憶された変換テーブルを用いて、認識処理手段による統合認識結果として得られた運動パターン識別情報に対応する制御信号識別情報を把握して従動体に送信する処理を行う制御信号識別情報送信処理手段とを備えたことを特徴とするものである。

ここで、「部分的な運動パターン」とは、原動体の各構成部分についての運動パターンという意味であり、時間的にみて部分的という意味ではない。「部分的な認識結果」も同様であり、各構成部分についての認識結果という意味であり、時間的にみて部分的という意味ではない。

また、「全体的な運動パターン」とは、原動体全体（原動体を全体的に見た場合）についての運動パターンという意味であり、時間的にみて全体的という意味ではない。「原動体の全体的な動作」も同様であり、時間的にみて全体的という意味ではない。

このような本発明の動作伝達システムにおいては、動作データ取得手段により原動体の動作データを取得し、この動作データに基づき原動体の各構成部分毎に用意された学習モデルを用いて、原動体の各構成部分のそれぞれの動作を各構成部分毎に学習済みの複数種類の部分的な運動パターンのいずれかに分類し、さらに分類して得られた情報を統合して全体的な運動パターンのいずれかに分類し、分類して得られた全体的な運動パターンについての運動パターン識別情報を、変換テーブルを用いて制御信号識別情報に変換し、従動体に送信する。この際、従動体の側に、従動体の形状や構造等の特性に合わせた可能動作群を用意しておき、それらの可能動作群のうちの１つの動作に対応する制御信号識別情報を従動体に送信すれば、従動体は、その従動体にとって意味のある動作、つまり自己の可能動作のうちの１つを実行するようになる。

従って、原動体の動作をそのまま従動体へ伝達するのではなく、原動体の動作データとして得られる膨大な情報量を、いわば言語レベルの情報である運動パターン識別情報に一旦情報圧縮し、この圧縮された情報である運動パターン識別情報に対応する動作であって、しかもその従動体にとって意味のある動作を、従動体に実行させることが可能となる。このため、原動体の動作をそのまま従動体へ伝達する場合に生じる可能性のある不都合を未然に防止することが可能となり、例えば、従動体の破壊を引き起こすような動作、従動体を不安定な状態にする動作、従動体に許容されていない動作等を従動体に伝達し、実行させてしまうという事態を回避することが可能となる。

以上のことは、部分的な運動パターンと全体的な運動パターンとを段階的に捉える処理を行わずに、全体的な運動パターンだけを捉える処理を行う発明の場合と同様に言えることであるが、特に、上述したように段階的な処理を行うと、原動体の分割方法や部分的な認識結果の統合方法等を工夫することで、用意すべき学習モデルの数を減らすことが可能となり、学習時の労力の軽減が図られ、これらにより前記目的が達成される。

そして、部分的な運動パターンと全体的な運動パターンとを段階的に捉える処理を行う発明においても、全体的な運動パターンだけを捉える処理を行う発明の場合と同様に、次のような構成とすることが望ましい。すなわち、前述した動作伝達システムにおいて、原動体の骨格モデルの構造を示す骨格情報を記憶する骨格情報記憶手段と、この骨格情報記憶手段に記憶された骨格情報と動作データ取得手段により取得した認識用の動作データとを用いて骨格運動データを生成する処理を行う骨格運動データ生成処理手段と、この骨格運動データ生成処理手段により生成した骨格運動データから特徴量を抽出する処理を行う特徴量抽出処理手段とを備え、認識処理手段は、特徴量抽出処理手段により抽出した特徴量を用いて認識処理を行う構成とされ、学習モデル記憶手段には、骨格情報記憶手段に記憶された骨格情報と動作データ取得手段により取得した学習用の動作データとを用いて生成された骨格運動データから抽出された特徴量を用いて作成された学習モデルが記憶されていることが望ましい。

また、部分的な運動パターンと全体的な運動パターンとを段階的に捉える処理を行う発明においても、全体的な運動パターンだけを捉える処理を行う発明の場合と同様に、適用できる学習モデルには、例えば、隠れマルコフモデル（ＨＭＭ）、サポートベクターマシン（ＳＶＭ）、ベイジアンネットワーク、ニューラルネットワークにより構築されたモデル等があるが、特に、隠れマルコフモデルを用いることにより、原動体の動作の情報圧縮を、より適切な形で精度よく行うことが可能となる。

そして、部分的な運動パターンと全体的な運動パターンとを段階的に捉える処理を行う発明において、学習モデルとして隠れマルコフモデルを用いる場合には、原動体の各構成部分毎で、かつ、複数種類の部分的な運動パターン毎に隠れマルコフモデルを用意することが望ましい。

また、以上に述べた動作伝達システムにおいて、動作データ取得手段は、モーションキャプチャであることが望ましい。

このようにモーションキャプチャにより原動体の動作データを取得する構成とした場合には、原動体の動作を捉えるのに必要な情報を容易に取得することが可能となるうえ、市販品も存在し、動作の取得技術として技術的に確立されているので、これを利用することで、信頼性の高いデータを取得することが可能となる。

さらに、以上に述べた動作伝達システムにおいて、入力手段を用いて行われるユーザによる変換テーブルの対応関係を変更するための設定入力を受け付け、設定変更後の変換テーブルを変換テーブル記憶手段に記憶させる処理を行うユーザ設定入力受付処理手段を備えていることが望ましい。

このようにユーザ設定入力受付処理手段を備えた構成とした場合には、原動体の動作に関する運動パターン識別情報と、従動体の動作に関する制御信号識別情報との対応関係を、ユーザが自在に設定することが可能となるので、ユーザにとってのシステムの使い勝手が向上し、システム性能の向上が図られる。

そして、上述したようにユーザ設定入力受付処理手段を備えた構成とした場合において、動作伝達対象として選択し得る従動体が複数種類用意され、ユーザによる従動体の選択情報を記憶するユーザ設定記憶手段を備え、ユーザ設定入力受付処理手段は、入力手段を用いて行われるユーザによる従動体の選択入力を受け付け、この選択情報をユーザ設定記憶手段に記憶させる処理も行う構成とされ、制御信号識別情報送信処理手段は、ユーザ設定記憶手段に記憶された従動体の選択情報に従って、変換テーブル記憶手段に記憶された変換テーブルから、選択された従動体に対応する制御信号識別情報を取得して従動体に送信する処理を行う構成とされていることが望ましい。

このようにユーザ設定入力受付処理手段でユーザによる従動体の選択入力を受け付ける構成とした場合には、動作伝達対象として選択し得る従動体が複数種類存在するときには、ユーザが動作伝達対象とする従動体を自在に設定することが可能となるので、ユーザにとってのシステムの使い勝手がより一層向上し、システム性能の向上がより一層図られる。

また、前述したようにユーザ設定入力受付処理手段を備えた構成とした場合において、動作データ取得対象として選択し得る原動体が複数種類用意され、ユーザによる原動体の選択情報を記憶するユーザ設定記憶手段を備え、ユーザ設定入力受付処理手段は、入力手段を用いて行われるユーザによる原動体の選択入力を受け付け、この選択情報をユーザ設定記憶手段に記憶させる処理も行う構成とされ、認識処理手段は、ユーザ設定記憶手段に記憶された原動体の選択情報に従って、学習モデル記憶手段に記憶された学習モデルのうち、選択された原動体に対応する学習モデルを用いて認識処理を行う構成とされていることが望ましい。

このようにユーザ設定入力受付処理手段でユーザによる原動体の選択入力を受け付ける構成とした場合には、動作データ取得対象として選択し得る原動体が複数種類存在するときには、ユーザが動作データ取得対象とする原動体を自在に設定することが可能となるので、ユーザにとってのシステムの使い勝手がより一層向上し、システム性能の向上がより一層図られる。

さらに、前述したようにユーザ設定入力受付処理手段を備えた構成とした場合において、原動体および動作データ取得手段の所在地に設置されたユーザ端末装置と、動作伝達に関する処理を行う動作伝達サーバとがネットワークで接続され、動作伝達サーバには、少なくともユーザ設定入力受付処理手段、認識処理手段、制御信号識別情報送信処理手段、学習モデル記憶手段、および変換テーブル記憶手段が設けられ、ユーザ設定入力受付処理手段は、入力手段を用いてユーザにより入力されてユーザ端末装置からネットワークを介して送信されてくる情報を受け付ける処理を行う構成とされ、認識処理手段および制御信号識別情報送信処理手段は、ユーザ端末装置からネットワークを介して送信されてくるデータまたはこのデータから得られるデータを用いて各処理を行う構成とされていることが望ましい。

ここで、「入力手段を用いてユーザにより入力されてユーザ端末装置からネットワークを介して送信されてくる情報」には、変換テーブルの対応関係の設定変更情報、従動体の選択情報、原動体の選択情報のうちの少なくとも１つの情報が含まれる。

このようにユーザ端末装置と動作伝達サーバとをネットワークで接続し、動作伝達サーバで認識処理および制御信号識別情報送信処理を行う構成とした場合（例えば、後述する図６の場合等）には、原動体から従動体への動作伝達のための情報が、ユーザ端末装置からネットワークを介して動作伝達サーバへ送信され、さらに動作伝達サーバから従動体へ送られるので、動作伝達に必要な処理やその処理に必要となる情報の管理を動作伝達サーバで一括して行うことが可能となる。このため、原動体と従動体とが１対１である場合のみならず、１対多、多対１、多対多である場合にも、動作伝達サーバを介して原動体から従動体への円滑な動作伝達が可能となる。

そして、前述したようにユーザ設定入力受付処理手段を備えた構成とした場合において、原動体および動作データ取得手段の所在地に設置されたユーザ端末装置と、動作伝達に関する処理を行う動作伝達サーバとがネットワークで接続され、ユーザ端末装置には、少なくとも認識処理手段および学習モデル記憶手段が設けられ、動作伝達サーバには、少なくともユーザ設定入力受付処理手段、制御信号識別情報送信処理手段、および変換テーブル記憶手段が設けられ、ユーザ設定入力受付処理手段は、入力手段を用いてユーザにより入力されてユーザ端末装置からネットワークを介して送信されてくる情報を受け付ける処理を行う構成とされ、制御信号識別情報送信処理手段は、ユーザ端末装置からネットワークを介して送信されてくる運動パターン識別情報を用いて処理を行う構成とされていることが望ましい。

ここで、「入力手段を用いてユーザにより入力されてユーザ端末装置からネットワークを介して送信されてくる情報」には、変換テーブルの対応関係の設定変更情報と、従動体の選択情報とのうちの少なくとも一方の情報が含まれる。

このようにユーザ端末装置と動作伝達サーバとをネットワークで接続し、ユーザ端末装置で認識処理を行い、動作伝達サーバで制御信号識別情報送信処理を行う構成とした場合には、制御信号識別情報送信処理やその処理に必要となる変換テーブルの管理を動作伝達サーバで一括して行うことが可能となるため、原動体と従動体とが１対１である場合のみならず、１対多、多対１、多対多である場合にも、動作伝達サーバを介して原動体から従動体への円滑な動作伝達が可能となる。また、ユーザ端末装置から動作伝達サーバへネットワークを介して送信される情報は、運動パターン識別情報であり、いわば言語レベルに圧縮された情報であるから、ネットワークを介して送信する情報量を減らし、通信コストの削減を図ることが可能となる。

また、以上に述べた本発明の動作伝達システムにより実現される動作伝達方法として、以下のような本発明の動作伝達方法が挙げられる。

すなわち、本発明は、原動体の動作を従動体へ伝達する動作伝達方法であって、原動体の連続した動作からなる複数種類の運動パターンのそれぞれについて動作データ取得手段により学習用の動作データを取得し、これらの学習用の動作データに基づき複数種類の運動パターンを学習して学習モデルを作成し、この学習モデルを学習モデル記憶手段に記憶させておくとともに、複数種類の運動パターンの種別を識別するための運動パターン識別情報とこれらに対応する従動体の動作制御用の制御信号の種別を識別するための制御信号識別情報との対応関係を定める変換テーブルを変換テーブル記憶手段に記憶させておき、認識時には、認識処理手段が、動作データ取得手段により取得した原動体の認識用の動作データに基づき、学習モデル記憶手段に記憶された学習モデルを用いて、原動体の動作が複数種類の運動パターンのうちのいずれに該当する動作であるかを認識する処理を行い、その後、制御信号識別情報送信処理手段が、変換テーブル記憶手段に記憶された変換テーブルを用いて、認識処理手段による認識結果として得られた運動パターン識別情報に対応する制御信号識別情報を把握して従動体に送信する処理を行うことを特徴とするものである。

このような本発明の動作伝達方法においては、前述した本発明の動作伝達システム（部分的な運動パターンと全体的な運動パターンとを段階的に捉える処理を行わずに、全体的な運動パターンだけを捉える処理を行う発明）で得られる作用・効果がそのまま得られ、これにより前記目的が達成される。

また、本発明は、原動体の動作を従動体へ伝達する動作伝達方法であって、原動体を、動作の認識単位となる複数の構成部分に分割し、各構成部分毎の連続した動作からなる複数種類の部分的な運動パターンのそれぞれについて動作データ取得手段により学習用の動作データを取得し、これらの学習用の動作データに基づき各構成部分毎に複数種類の部分的な運動パターンを学習して各構成部分毎の学習モデルを作成し、これらの各構成部分毎の学習モデルを学習モデル記憶手段に記憶させておくとともに、各構成部分の現在および／または過去の複数種類の部分的な運動パターンとこれらの部分的な運動パターンを統合して得られる原動体の複数種類の全体的な運動パターンとの対応関係を運動パターン対応関係記憶手段に記憶させておき、さらに、複数種類の全体的な運動パターンの種別を識別するための運動パターン識別情報とこれらに対応する従動体の動作制御用の制御信号の種別を識別するための制御信号識別情報との対応関係を定める変換テーブルを変換テーブル記憶手段に記憶させておき、認識時には、認識処理手段が、動作データ取得手段により取得した各構成部分毎の認識用の動作データに基づき、学習モデル記憶手段に記憶された各構成部分毎の学習モデルを用いて、各構成部分の動作がそれぞれ複数種類の部分的な運動パターンのうちのいずれに該当する動作であるかを各構成部分毎に認識し、さらに運動パターン対応関係記憶手段に記憶された対応関係を用いて、各構成部分毎の現在および／または過去の部分的な認識結果を統合することにより、原動体の全体的な動作が複数種類の全体的な運動パターンのうちのいずれに該当する動作であるかを認識する処理を行い、その後、制御信号識別情報送信処理手段が、変換テーブル記憶手段に記憶された変換テーブルを用いて、認識処理手段による統合認識結果として得られた運動パターン識別情報に対応する制御信号識別情報を把握して従動体に送信する処理を行うことを特徴とするものである。

このような本発明の動作伝達方法においては、前述した本発明の動作伝達システム（部分的な運動パターンと全体的な運動パターンとを段階的に捉える処理を行う発明）で得られる作用・効果がそのまま得られ、これにより前記目的が達成される。

以上に述べたように本発明によれば、原動体の動作データを情報圧縮して運動パターン識別情報とし、この運動パターン識別情報に対応する制御信号識別情報を従動体へ送信して従動体の動作制御を行うので、従動体に意味のある動作をさせるように原動体の動作を従動体へ伝達することができるという効果がある。

以下に本発明の各実施形態について図面を参照して説明する。

［第１実施形態］
図１には、本発明の第１実施形態の動作伝達システム１０を含む制御系の全体構成が示されている。図２は、骨格モデルの説明図であり、図３は、骨格情報の説明図である。図４は、認識処理の説明図であり、図５は、制御信号識別情報送信処理の説明図である。

図１において、動作伝達システム１０は、原動体１（本実施形態では、一例として、人間とする。）の動作を従動体２（本実施形態では、一例として、人間型ロボットとする。）へ伝達するシステムであり、原動体１の動作データを取得する動作データ取得手段であるモーションキャプチャ２０と、このモーションキャプチャ２０により取得した動作データを取り込んで動作伝達のための各種処理を行うとともに従動体２に対してネットワーク３を介してリアルタイムで原動体１の動作に追従させるための情報を送信する処理を行う動作伝達処理用コンピュータ３０とを備えている。

ネットワーク３は、例えば、インターネット、イントラネット、エクストラネット、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、あるいはこれらの組合せ等であり、有線であるか無線であるかは問わない。なお、ネットワーク３の代わりに、専用線を用いてもよく、あるいは原動体１と従動体２とが比較的近傍に配置されている場合には、動作伝達処理用コンピュータ３０と従動体２（従動体２のうち、従動体制御手段であるロボット制御手段６０として機能するコンピュータ）とをケーブルや近距離無線等で直接に接続してもよい。

モーションキャプチャ２０は、本実施形態では、原動体１である人間の各部に磁気センサ２１を装着し、これらの磁気センサ２１を磁界中に配置することにより、各磁気センサ２１の位置情報および傾き情報を計測する磁気モーションキャプチャであるが、本発明における動作データ取得手段は、これに限定されるものではない。具体的には、例えば、アセンション・テクノロジー（Ascension Technology）社製の磁気モーションキャプチャデバイスであるモーションスター（Motion Star）（商標）等を用いることができる。本実施形態では、一例として、１１個の磁気センサ２１を原動体１に装着するので、後述する骨格モデル（図２参照）を構成する１７個のエレメントのうち、磁気センサ２１を取り付けた部位に相当する１１個のエレメントがセンサエレメントとなり、磁気センサ２１の取り付けられていない部位に相当する残りの６個のエレメントは、１１個の磁気センサ２１によるセンサデータを用いた補完処理でデータが求められる補完エレメントとなる。

動作伝達処理用コンピュータ３０は、例えばＷＩＮＤＯＷＳ（商標）等のオペレーティング・システムを搭載したコンピュータであり、整形処理手段３１、骨格運動データ生成処理手段３２、特徴量抽出処理手段３３、認識処理手段３４、制御信号識別情報送信処理手段３５、骨格情報記憶手段４１、学習モデル記憶手段４２、および変換テーブル記憶手段４３として機能するものである。

整形処理手段３１は、原動体１の動作データとして各磁気センサ２１（本実施形態では、１１個の磁気センサ２１）から得られたセンサデータを、それ以降の処理で用いることができるように整形する処理を行うものである。この整形処理には、例えば、取得に失敗したことを示すデータ（例えば、位置データの値が０近傍の場合等）については、そのまま取得データとして採用してしまうと、それまでのデータの連続性が失われてしまうので、このような場合に、最後に取得に成功したデータのバッファの値をコピーすることにより、これを取得に失敗したデータの代用とし、極端にデータの連続性が失われることを回避する処理がある。また、位置データの変化が連続であることを前提として、１つ前のフレームと比較して位置データの符号が反転しているか否かを判定し、これを修正する処理等もある。なお、整形処理手段３１は、学習時にも同様な処理を行う。

骨格運動データ生成処理手段３２は、骨格情報記憶手段４１に記憶された骨格情報（図３参照）と、モーションキャプチャ２０により認識用の動作データとして取得したセンサデータ（整形処理手段３１による整形後のセンサデータ）とを用いて、骨格運動データを生成する処理を行うものである。この骨格運動データの生成処理には、１１個の磁気センサ２１によるセンサデータ（整形処理手段３１による整形後のセンサデータ）を用いて補完エレメントのデータを求める処理が含まれる。なお、骨格運動データ生成処理手段３２は、学習時にも同様な処理を行う。

特徴量抽出処理手段３３は、骨格運動データ生成処理手段３２により生成した骨格運動データから特徴量を抽出する処理を行うものである。なお、特徴量抽出処理手段３３は、学習時にも同様な処理を行う。

認識処理手段３４は、特徴量抽出処理手段３３により抽出した特徴量に基づき、学習モデル記憶手段４２に記憶された学習モデル（本実施形態では、一例として、隠れマルコフモデルとする。）を用いて、原動体１の動作が複数種類の運動パターンのうちのいずれに該当する動作であるかを認識する処理を行うものである（図４参照）。なお、この認識処理手段３４は、前述した非特許文献２に記載されたケンブリッジ大学の隠れマルコフモデル・ツールキット（ＨＴＫ：Hidden Markov Model Toolkit）を用いて実現してもよく、あるいは新規に作成してもよい。

制御信号識別情報送信処理手段３５は、変換テーブル記憶手段４３に記憶された変換テーブル４３Ａを用いて、認識処理手段３４による認識結果として得られた運動パターン識別情報に対応する制御信号識別情報を把握し、把握した制御信号識別情報をネットワーク３を介して従動体２へ送信する処理を行うものである（図５参照）。

骨格情報記憶手段４１は、原動体１の骨格モデルの構造を示す骨格情報（図３参照）を記憶するものである。本実施形態では、原動体１は人間であるから、骨格モデルの構造は、例えば、図２に示すような構造となっている。

図２において、骨格モデルは、複数のエレメントの木構造で表現される。各エレメントは、骨に相当し、関節点を繋ぐ最小単位であり、それ自体の形状は変化しないものである。各エレメントは、任意の数の子エレメントと、１つの親エレメントを持ち、親エレメントの始点からの相対位置情報および相対回転情報を保持する。このうち相対位置情報は、時間軸に対して不変であり、相対回転情報のみが骨格運動データとなる。各エレメントの相対位置情報は、図３に示すような値であり、例えば、Breast（胸上部）を親エレメントに持つLeftShoulder（左肩）は、Breast（胸上部）に対し、Ｘ軸方向に１７ｃｍ、Ｙ軸方向に１９ｃｍ、Ｚ軸方向に３ｃｍという相対位置情報を持つ。そして、例外的に、唯一のルートエレメントであるHip（腰）は、親エレメントを持たず、また、子エレメントを持たないエレメントであるLeftAnkle（左足首）、RightAnkle（右足首）、Head（頭）、LeftWrist（左手首）、RightWrist（右手首）については、その大体の形状を示すための端点位置情報（時間軸に対して固定）が付加されている（図３参照）。さらに、ルートエレメントであるHip（腰）の位置情報（絶対座標）が、骨格モデル全体の移動情報を示すものとして、各エレメントの相対回転情報とは別途に骨格運動データに加えられる。なお、ルートエレメントは、任意に選ぶことができるが、本実施形態では、通常の状態で重心のあるHip（腰）エレメントとしている。

従って、骨格運動データの１フレームは、ルートエレメントであるHip（腰）の位置情報（絶対座標）としてのＸ，Ｙ，Ｚの各軸に関する３つの座標値と、全エレメントであるHip（腰）、LeftHip（左腰）、LeftKnee（左ひざ）、LeftAnkle（左足首）、RightHip（右腰）、RightKnee（右ひざ）、RightAnkle（右足首）、Chest（胸下部）、Breast（胸上部）、Neck（首）、Head（頭）、LeftShoulder（左肩）、LeftElbow（左ひじ）、LeftWrist（左手首）、RightShoulder（右肩）、RightElbow（右ひじ）、RightWrist（右手首）の１７個のエレメントのそれぞれの相対回転情報としてのＸ，Ｙ，Ｚの各軸回りの３つの角度値とにより構成されるので、３＋１７×３＝５４個の数値からなる。そして、これらの５４個の数値が複数フレームについて得られるので、結局、骨格運動データは、行数がフレーム数で、列数が５４列の行列データとなる。

学習モデル記憶手段４２は、原動体１の連続した動作からなる複数種類の運動パターンのそれぞれについてモーションキャプチャ２０により学習用の動作データとして取得したセンサデータに基づき、これらの複数種類の運動パターンを学習して作成された学習モデルを記憶するものである。この学習モデル記憶手段４２に記憶される学習モデルは、複数種類の運動パターン毎に用意され、例えば、後述するように、ＬＡＵ（Left Arm Up）、ＬＡＤ（Left Arm Down）等の８種類の運動パターンの学習を行った場合には、図４に示すように、ＬＡＵ用、ＬＡＤ用等の８個の隠れマルコフモデル４２Ａ〜４２Ｈが用意される。なお、これらの学習モデルは、各磁気センサ２１により取得したセンサデータについて、整形処理手段３１、骨格運動データ生成処理手段３２、および特徴量抽出処理手段３３による各処理を経て得られた特徴量を用いて作成されたものである。

変換テーブル記憶手段４３は、原動体１の複数種類の運動パターンの種別を識別するための運動パターン識別情報と、これらに対応する従動体２の動作制御用の制御信号の種別を識別するための制御信号識別情報との対応関係を定める変換テーブル４３Ａ（図５参照）を記憶するものである。

ここで、運動パターン識別情報は、図５に示すように、例えば、左手を上げる運動パターンを示すＬＡＵ（Left Arm Up）、左手を下げる運動パターンを示すＬＡＤ（Left Arm Down）、左足を上げる運動パターンを示すＬＬＵ（Left Leg Up）、左足を下げる運動パターンを示すＬＬＤ（Left Leg Down）、右手を上げる運動パターンを示すＲＡＵ（Right Arm Up）、右手を下げる運動パターンを示すＲＡＤ（Right Arm Down）、右足を上げる運動パターンを示すＲＬＵ（Right Leg Up）、右足を下げる運動パターンを示すＲＬＤ（Right Leg Down）という８種類の記号情報である。

一方、制御信号識別情報は、図５に示すように、運動パターン識別情報であるＬＡＵ（Left Arm Up）等に対応させ、例えば、従動体２である人間型ロボットに左手を上げさせる制御信号を作成するための動作ファイルのファイル名であるＲ−ＬＡＵ．ｃｓｖ（Robot-Left Arm Upの意味）等の記号情報である。他の運動パターン識別情報に対応する制御信号識別情報の場合も同様である。

図１において、従動体２である人間型ロボットは、従動体本体であるロボット本体５０と、従動体制御手段であるロボット制御手段６０とにより構成されている。ロボット本体５０は、いわゆるロボットの機体部分であり、ロボット制御手段６０は、ロボット本体５０に制御信号を送ってロボット本体５０を制御する処理を行う部分である。

ロボット制御手段６０は、例えばＬＩＮＵＸ（商標）等のオペレーティング・システムを搭載したコンピュータにより構成され、制御信号識別情報受信処理手段６１と、命令作成処理手段６２と、命令実行処理手段６３と、動作ファイル記憶手段６４とを含んで構成されている。

制御信号識別情報受信処理手段６１は、制御信号識別情報送信処理手段３５により動作伝達処理用コンピュータ３０からネットワーク３を介して送信されてくる制御信号識別情報を受信する処理を行うものである。

命令作成処理手段６２は、動作ファイル記憶手段６４に記憶された複数の動作ファイルの中から、制御信号識別情報受信処理手段６１により受信した制御信号識別情報に対応する動作ファイルを読み込み、ロボット本体５０に動作を開始させるための動作コマンドと、動作ファイルに格納された情報とからなる命令を作成する処理を行うものである。なお、本実施形態では、制御信号識別情報が動作ファイルのファイル名とされているため、制御信号識別情報から、読み込むべき動作ファイルを容易に把握することができるが、制御信号識別情報を動作ファイルのファイル名としない場合には、制御信号識別情報と動作ファイルのファイル名との対応関係を定めるテーブルを用意しておけばよい。

命令実行処理手段６３は、命令作成処理手段６２により作成された命令を実行し、動作ファイルに格納された情報を制御信号として、すなわちロボット本体５０用の動作データとしてロボット本体５０へ有線または無線で送信する処理を行うものである。

動作ファイル記憶手段６４は、ロボット本体５０にとって意味のある動作、つまりロボット本体５０に可能な動作（ロボット本体５０の構造上の特性や動力学的な特性等に適合した動作であり、ロボット本体５０にとって安全で、かつ安定した状態の動作）を実行させる制御信号を作成するための情報を格納した動作ファイルを記憶するものである。この動作ファイル記憶手段６４には、ロボット本体５０の可能動作群のうちの各々の動作についての動作ファイルが用意されている。なお、動作ファイル記憶手段６４には、変換テーブル記憶手段４３に記憶された変換テーブル４３Ａ（図５参照）上の全ての制御信号識別情報（本実施形態では、動作ファイルのファイル名）に対応する動作ファイルが用意されていることが必要であるが、そ以外の動作ファイルが含まれていてもよい。

以上において、整形処理手段３１、骨格運動データ生成処理手段３２、特徴量抽出処理手段３３、認識処理手段３４、および制御信号識別情報送信処理手段３５は、動作伝達処理用コンピュータ３０の内部に設けられた中央演算処理装置（ＣＰＵ）、およびこのＣＰＵの動作手順を規定する１つまたは複数のプログラムにより実現される。また、制御信号識別情報受信処理手段６１、命令作成処理手段６２、および命令実行処理手段６３は、ロボット制御手段６０を構成するコンピュータの内部に設けられたＣＰＵ、およびこのＣＰＵの動作手順を規定する１つまたは複数のプログラムにより実現される。

さらに、骨格情報記憶手段４１、学習モデル記憶手段４２、変換テーブル記憶手段４３、および動作ファイル記憶手段６４としては、例えばハードディスク等を採用することができるが、記憶容量やアクセス速度等に問題が生じない範囲であれば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリ、ＲＡＭ、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＦＤ、磁気テープ、あるいはこれらの組合せ等を採用してもよい。

このような第１実施形態においては、以下のようにして動作伝達システム１０により原動体１の動作が従動体２へ伝達される。

先ず、学習段階では、原動体１の複数種類の運動パターンを予め学習し、学習モデルとして、それらの運動パターンの種類の数と同数の隠れマルコフモデルを作成しておく。すなわち、モーションキャプチャ２０により原動体１の学習用の動作データとして各磁気センサ２１によるセンサデータを取得し、整形処理手段３１によりセンサデータの整形処理を行った後、骨格運動データ生成処理手段３２により、骨格情報記憶手段４１に記憶された骨格情報（図３参照）と整形後のセンサデータとを用いて骨格運動データを生成し、さらに特徴量抽出処理手段３３により骨格運動データから特徴量を抽出し、得られた特徴量を用いて学習器により学習を行って隠れマルコフモデルを作成する。そして、このような学習を複数種類の運動パターンのそれぞれについて行い、作成された複数の隠れマルコフモデルを学習モデル記憶手段４２（図４参照）に記憶させておく。この際、隠れマルコフモデルの状態数は、例えば６等とすることが好適である。なお、学習器としては、前述した非特許文献２に記載されたケンブリッジ大学の隠れマルコフモデル・ツールキット（ＨＴＫ：Hidden Markov Model Toolkit）を用いてもよく、あるいは新規に作成したものを用いてもよい。

次に、認識時には、モーションキャプチャ２０により原動体１の認識用の動作データとして各磁気センサ２１によるセンサデータを取得し、整形処理手段３１によりセンサデータの整形処理を行った後、骨格運動データ生成処理手段３２により、骨格情報記憶手段４１に記憶された骨格情報（図３参照）と整形後のセンサデータとを用いて骨格運動データを生成し、さらに特徴量抽出処理手段３３により骨格運動データから特徴量を抽出する。

この際、骨格運動データに含まれる相対回転情報は、絶対位置情報と比較すれば十分に相対化された値であるが、膝や肘を曲げる角度は同じ運動であっても人によって異なるので、さらにこれを相対化するために、特徴量として、例えば、５４列の骨格運動データに含まれる１７個の各エレメントの相対回転情報（１７×３＝５１列）についての現在値と１フレーム前の値との差分（変化量）を採用する。また、これだけでは運動の方向はわかっても現在の状況を知ることはできないので、骨格運動を最もよく特徴付けると考えられる四肢の末端、すなわち子エレメントを持たない木の先端のエレメント（図２、図３参照）の位置座標（但し、絶対座標ではなく、ルートエレメントからの相対位置座標の単位ベクトル）を特徴量として採用する。図２および図３に示すように、本実施形態の骨格モデルには、末端エレメントが５つあるので、それらの末端エレメントの位置座標は、５×３＝１５列となる。従って、本実施形態では、特徴量は、全エレメントの相対回転情報の変化量の５１列と、５つの末端エレメントの位置座標の１５列と、唯一のルートエレメントの絶対位置座標の３列とを合わせ、５１＋１５＋３＝６９列の行列データとなる。なお、特徴量の抽出方法は、これに限定されるものではない。

続いて、図４に示すように、認識処理手段３４により、特徴量抽出処理手段３３により抽出した特徴量に基づき、学習モデル記憶手段４２に記憶された複数（図示の例では、８個）の隠れマルコフモデル４２Ａ〜４２Ｈを用いて、各隠れマルコフモデル４２Ａ〜４２Ｈに対する尤度を算出し、最も大きな尤度となった隠れマルコフモデルに対応する運動パターンを把握し、その運動パターンを示す運動パターン識別情報を認識結果として出力する。例えば、ＬＡＵ用の隠れマルコフモデル４２Ａに対する尤度が最も大きいと判断された場合には、ＬＡＵという運動パターン識別情報が認識結果として出力される。

それから、図５に示すように、制御信号識別情報送信処理手段３５により、変換テーブル記憶手段４３に記憶された変換テーブル４３Ａを用いて、認識処理手段３４による認識結果として得られた運動パターン識別情報に対応する制御信号識別情報を把握し、把握した制御信号識別情報をネットワーク３を介して従動体２（ロボット制御手段６０として機能するコンピュータ）へ送信する。例えば、運動パターン識別情報がＬＡＵである場合には、Ｒ−ＬＡＵ．ｃｓｖという制御信号識別情報が従動体２へ送信される。

その後、従動体２では、制御信号識別情報受信処理手段６１により、動作伝達処理用コンピュータ３０からネットワーク３を介して送信されてくる制御信号識別情報を受信すると、命令作成処理手段６２により、動作ファイル記憶手段６４に記憶された複数の動作ファイルの中から、受信した制御信号識別情報（例えば、Ｒ−ＬＡＵ．ｃｓｖ）に対応する動作ファイル（例えば、Ｒ−ＬＡＵ．ｃｓｖというファイル名の動作ファイル）を読み込んで命令を作成した後、命令実行処理手段６３により、この命令を実行し、制御信号をロボット本体５０へ送信する。すると、ロボット本体５０は、制御信号識別情報に対応する動作を行い、原動体１の動作にリアルタイムで追従する。

このような第１実施形態によれば、次のような効果がある。すなわち、動作伝達システム１０は、認識処理手段３４および学習モデル記憶手段４２を備えているので、モーションキャプチャ２０により原動体１の動作データを取得し、この動作データに基づき、学習モデルとして用意された隠れマルコフモデル４２Ａ〜４２Ｈを用いて、原動体１の動作を、学習済みの複数種類の運動パターンのいずれかに分類し、認識結果として運動パターン識別情報を出力することができる（図４参照）。従って、原動体１から従動体２への動作伝達を行うにあたり、原動体１の動作データとして得られる膨大な情報量を、いわば言語レベルの情報である運動パターン識別情報に一旦情報圧縮することができる。

そして、動作伝達システム１０は、制御信号識別情報送信処理手段３５および変換テーブル記憶手段４３を備えているので、認識処理手段３４による認識処理の結果として得られた運動パターン識別情報を、変換テーブル４３Ａを用いて制御信号識別情報に変換し、従動体２に送信することができる（図５参照）。一方、従動体２の側では、従動体２の形状や構造等の特性に合わせた可能動作群が、ロボット制御手段６０の動作ファイル記憶手段６４にそれぞれ動作ファイルとして用意されているので、制御信号識別情報を受信し、これに対応する動作ファイルを用いて命令を作成し、ロボット本体５０へ制御信号を送信することができる。従って、従動体２は、原動体１の動作にリアルタイムで追従し、その従動体２にとって意味のある動作、つまり自己の可能動作のうちの１つを実行することができる。

このため、原動体１の動作をそのまま従動体２へ伝達する場合に生じる可能性のある不都合を未然に防止することができ、例えば、従動体２の破壊を引き起こすような動作、従動体２を不安定な状態にする動作、従動体２に許容されていない動作等を従動体２に伝達し、実行させてしまうという事態を回避することができる。

そして、本実施形態では、一例として、原動体１が人間とされ、従動体２がそれを模倣した人間型ロボット（いわゆるヒューマノイドロボット）とされているが、上記のように、原動体１から従動体２への動作伝達にあたり、いわば言語レベルの情報である運動パターン識別情報への情報圧縮が行われるので、後述する別の実施形態で示す如く、原動体１とまったく似つかない形状や構造を有する従動体２への動作伝達も行うことができ、例えば、人間から犬型ロボットへの動作伝達を行うことができ、あるいは上半身のみしか自由に動かせない身体障害者から、上半身および下半身を持った人間型ロボットへの動作伝達を行うに際し、身体障害者が上半身のみを動かすと、人間型ロボットの上半身および下半身の両方が動くような動作伝達を行うことができる。

また、動作伝達システム１０は、骨格運動データ生成処理手段３２および骨格情報記憶手段４１、並びに特徴量抽出処理手段３３を備えているので、骨格情報と動作データとを用いて骨格運動データを生成し、さらに特徴量を抽出し、この特徴量を用いて認識処理を行うことができる。このため、原動体１の動作を、より少ない情報量で、より的確に捉えることができ、認識処理の性能の向上を図ることができる。

＜効果確認実験＞
なお、本発明の効果を確かめるために、次のような比較実験を行った。特に、認識処理手段３４による認識処理性能の確認と併せ、特徴量抽出処理手段３３による特徴量の抽出方法についての検証を行った。

特徴量抽出処理手段３３により抽出する特徴量の有効性を確認するために、次の４つの抽出方法（Ａ）〜（Ｄ）で特徴量を抽出し、認識処理を行った。

抽出方法（Ａ）：５１列（１７×３＝５１）の相対回転情報をそのまま特徴量にする方法である。

抽出方法（Ｂ）：５１列の相対回転情報の変化量（１フレーム前の値との差分）と、ルートエレメントの絶対位置座標の３列とを合わせた５４列のデータを特徴量とする方法である。

抽出方法（Ｃ）：抽出方法（Ａ）の５１列と、抽出方法（Ｂ）の５４列とを合わせた１０５列のデータを特徴量とする方法である。

抽出方法（Ｄ）：第１実施形態の特徴量抽出処理手段３３による抽出方法として既に詳述した方法であり、１７個の全エレメントの相対回転情報の変化量の５１列と、５つの末端エレメントの位置座標の１５列と、唯一のルートエレメントの絶対位置座標の３列とを合わせた６９列のデータを特徴量とする方法である。

学習時には、図５に示すように、ＬＡＵ（Left Arm Up）、ＬＡＤ（Left Arm Down）等の８種類の運動パターンのそれぞれについて、モーショキャプチャ２０により１０個ずつの動作データを取得し、これらを用いて学習器で学習を行い、学習モデルとして８個の隠れマルコフモデル４２Ａ〜４２Ｈを作成した。この際、隠れマルコフモデルの状態数は６とし、１フレームあたりの時間（サンプリングの時間間隔）は５０ｍｓとし、１つのデータは、３０〜６０フレーム程度（１．５〜３秒間に相当）とした。また、学習用の動作データを取得する際には、１人の被験者（１）が同じ環境で、原動体１として８種類の運動パターンに相当する各動作を行った。

認識時には、学習時と同一の１人の被験者（１）が、学習時とは別の環境で行った４８パターンの運動と、学習時とは異なる１人の被験者（２）が行った４６パターンの運動との合計９４パターンの運動について、認識用の動作データを取得し、上記の４つの抽出方法で特徴量を抽出し、８個の隠れマルコフモデル４２Ａ〜４２Ｈを用いて認識処理を行った。

表１には、被験者（１）の４８パターンの運動および被験者（２）の４６パターンの運動に対する正答数および正答率（かっこ内の数値が正答率、すなわち認識率）が示されている。この結果、抽出方法（Ａ）と（Ｂ）を比較すると、相対回転情報をそのまま特徴量として与えるよりも、相対回転情報の変化量を与える方が、認識率が上がることがわかる。抽出方法（Ｂ）による被験者（１）に対する認識率は１００％であり、相対回転情報の変化量が骨格運動の特徴量として優れていることがわかる。しかし、被験者（２）に対しては、やや認識率が落ちる結果となった。また、相対回転情報の変化量のみを特徴量とすると、腕を上げる運動と腕を回転させる運動との区別がつかない場合が考えられる。これに対し、抽出方法（Ｄ）は、被験者（２）に対しても、被験者（１）と同様に高い認識率を保っている。また、抽出方法（Ｄ）によれば、前述したような腕を上げる運動と腕を回転させる運動との区別がつかない場合があるという弱点も回避できる。従って、抽出方法（Ｄ）が骨格運動の特徴量の抽出方法として有効であることがわかり、これにより本発明の効果が顕著に示された。

［第２実施形態］
図６には、本発明の第２実施形態の動作伝達システム２００を含む制御系の全体構成が示されている。図７は、ユーザ設定入力受付処理および制御信号識別情報送信処理の説明図であり、図８は、ユーザ設定入力で用いられる画面例を示す図であり、図９は、認識処理の説明図である。

図６に示すように、本第２実施形態の動作伝達システム２００では、原動体と従動体とが多対多の関係となっている点が、前記第１実施形態の動作伝達システム１０の場合と異なるだけであり、原動体から従動体への動作伝達に関する基本的な処理の流れは、前記第１実施形態の場合と同様であるため、同一部分については詳しい説明は省略し、以下には異なる部分を中心とした説明を行う。

図６において、動作伝達システム２００は、複数種類の原動体１Ａ，１Ｂ，１Ｃから複数種類の従動体２Ａ，２Ｂ，２Ｃへの動作伝達を行うことができるシステムであり、原動体１Ａ，１Ｂ，１Ｃの動作データを取得する動作データ取得手段であるモーションキャプチャ２２０Ａ，２２０Ｂ，２２０Ｃと、これらのモーションキャプチャ２２０Ａ，２２０Ｂ，２２０Ｃにより取得した動作データ（各磁気センサ２２１Ａ，２２１Ｂ，２２１Ｃから得られたセンサデータ）を取り込むユーザ端末装置２３０Ａ，２３０Ｂ，２３０Ｃと、これらのユーザ端末装置２３０Ａ，２３０Ｂ，２３０Ｃとネットワーク２０３で接続されて動作伝達に関する各種処理を行うとともに従動体２Ａ，２Ｂ，２Ｃのいずれかに対してネットワーク２０３を介してリアルタイムで原動体１Ａ，１Ｂ，１Ｃのいずれかの動作に追従させるための情報を送信する処理を行う動作伝達サーバ２４０とを備えている。

本実施形態では、一例として、原動体１Ａは、人間の大人であり、原動体１Ｂは、人間の子供であり、原動体１Ｃは、犬であり、一方、従動体２Ａは、人間型ロボットであり、従動体２Ｂは、３本足ロボットであり、従動体２Ｃは、犬型ロボットであるものとするが、これに限定されるものではなく、また、原動体および従動体の種類の数も３種類ずつに限定されるものではなく、要するに、本実施形態は、原動体と従動体とが多対多、１対多、多対１の場合の処理の流れを例示するためのものである。

ユーザ端末装置２３０Ａ，２３０Ｂ，２３０Ｃは、コンピュータにより構成され、モーションキャプチャ２２０Ａ，２２０Ｂ，２２０Ｃから取り込んだ動作データを、ネットワーク２０３を介して動作伝達サーバ２４０へ送信する処理を行う動作データ送信処理手段２３１Ａ，２３１Ｂ，２３１Ｃを含んで構成されている。また、ユーザ端末装置２３０Ａ，２３０Ｂ，２３０Ｃは、例えばキーボードやマウス等の入力手段と、例えば液晶ディスプレイやＣＲＴディスプレイ等の表示手段とを備えている。

動作伝達サーバ２４０は、１台または複数台のコンピュータにより構成され、動作データ受信処理手段２４１と、整形処理手段２４２と、骨格運動データ生成処理手段２４３と、特徴量抽出処理手段２４４と、認識処理手段２４５と、制御信号識別情報送信処理手段２４６と、ユーザ設定入力受付処理手段２４７と、骨格情報記憶手段２５１と、学習モデル記憶手段２５２と、変換テーブル記憶手段２５３と、ユーザ設定記憶手段２５４とを含んで構成されている。

動作データ受信処理手段２４１は、ネットワーク２０３を介してユーザ端末装置２３０Ａ，２３０Ｂ，２３０Ｃから送信されてくる動作データを受信するとともに、その動作データの送信元のユーザによる設定情報（そのユーザにより事前に設定された情報）をユーザ設定記憶手段２５４から取得する処理を行うものである。

整形処理手段２４２は、前記第１実施形態の整形処理手段３１と同様の構成および機能を有するものである。

骨格運動データ生成処理手段２４３は、前記第１実施形態の骨格運動データ生成処理手段３２と同様の構成および機能を有し、ユーザによる原動体の選択情報に基づき、処理に用いる骨格情報を切り換える点が前記第１実施形態の場合と異なるだけである。

特徴量抽出処理手段２４４は、前記第１実施形態の特徴量抽出処理手段３３と同様の構成および機能を有し、ユーザによる原動体の選択情報に基づき、特徴量の抽出方法を切り換えることができる点が前記第１実施形態の場合と異なるだけである。

認識処理手段２４５は、前記第１実施形態の認識処理手段３４と同様の構成および機能を有し、ユーザによる原動体の選択情報に基づき、処理に用いる学習モデル（本実施形態では、隠れマルコフモデル）を切り換える点が前記第１実施形態の場合と異なるだけである。

制御信号識別情報送信処理手段２４６は、前記第１実施形態の制御信号識別情報送信処理手段３５と同様の構成および機能を有し、ユーザによる従動体の選択情報に基づき、参照（検索）する変換テーブルを切り換えるか、または変換テーブル内の参照箇所（検索箇所）を切り換える点が前記第１実施形態の場合と異なるだけである。

ユーザ設定入力受付処理手段２４７は、ユーザの要求に応じてユーザ設定画面２８０（図８参照）をネットワーク２０３を介してユーザ端末装置２３０Ａ，２３０Ｂ，２３０Ｃへ送信するとともに、このユーザ設定画面２８０を用いてユーザにより入力された設定情報をネットワーク２０３を介して受信して受け付け、受け付けた設定情報をユーザ設定記憶手段２５４や変換テーブル記憶手段２５３に記憶させる処理を行うものである。ユーザ設定記憶手段２５４に記憶させる設定情報には、例えば、原動体の選択情報や従動体の選択情報等があり、変換テーブル記憶手段２５３に記憶させる設定情報は、変換テーブルの内容（対応関係）をユーザの都合で変更した場合の設定変更後の変換テーブル２５３Ｃ（図７参照）である。

骨格情報記憶手段２５１は、各原動体１Ａ，１Ｂ，１Ｃに応じた骨格情報を記憶するものである。

学習モデル記憶手段２５２は、複数種類の運動パターンのそれぞれについての隠れマルコフモデルを各原動体１Ａ，１Ｂ，１Ｃ毎に記憶するものである。すなわち、隠れマルコフモデルは、各原動体１Ａ，１Ｂ，１Ｃ毎で、かつ、各運動パターン毎に用意される（図９参照）。

変換テーブル記憶手段２５３は、各原動体１Ａ，１Ｂ，１Ｃの運動パターン識別情報と各従動体２Ａ，２Ｂ，２Ｃの制御信号識別情報との対応関係を定める１つまたは複数の変換テーブルを記憶するものである。原動体の種類が異なっても、運動パターン識別情報が同じになる場合には、運動パターン識別情報と制御信号識別情報との対応関係も同じになるので、あえて別の変換テーブルを用意しなくてもよい。例えば、原動体１Ａと原動体１Ｂとは、大きさは異なるが同じ人間であるため、用意する運動パターンの種類を同じとしてもよく、この場合には、認識処理手段２４５による原動体１Ａの動作および原動体１Ｂの動作のそれぞれに対する認識処理の結果として出力される運動パターン識別情報として、同じものを用意しておけばよい。このため、例えば、図７に示すように、原動体１Ａ，１Ｂの運動パターン識別情報をまとめた変換テーブル２５３Ａを用意してもよい。また、原動体１Ｃは、人間ではなく犬であるため、その運動パターンも原動体１Ａ，１Ｂの場合とは異なるので、原動体１Ｃの運動パターン識別情報については、原動体１Ａ，１Ｂの場合とは異なるものを用意しておく必要がある。このため、例えば、図７に示すように、原動体１Ａ，１Ｂ用の変換テーブル２５３Ａとは別途に、原動体１Ｃ用の変換テーブル２５３Ｂが用意されている。さらに、変換テーブル記憶手段２５３には、前述したようにユーザの都合で標準設定の変換テーブル２５３Ａ，２５３Ｂを設定変更して得られたユーザ設定の変換テーブル２５３Ｃも記憶されている。

ユーザ設定記憶手段２５４は、原動体の選択情報や従動体の選択情報等（図８参照）を各ユーザ毎に記憶するものである。

従動体２Ａ，２Ｂ，２Ｃは、本体（機体部分）である人間型ロボット本体２６０Ａ、３本足ロボット本体２６０Ｂ、犬型ロボット本体２６０Ｃと、従動体制御手段であるロボット制御手段２７０Ａ，２７０Ｂ，２７０Ｃとにより構成されている。

ロボット制御手段２７０Ａ，２７０Ｂ，２７０Ｃは、コンピュータにより構成され、前記第１実施形態の場合と同様に、制御信号識別情報受信処理手段２７１Ａ，２７１Ｂ，２７１Ｃと、命令作成処理手段２７２Ａ，２７２Ｂ，２７２Ｃと、命令実行処理手段２７３Ａ，２７３Ｂ，２７３Ｃと、動作ファイル記憶手段２７４Ａ，２７４Ｂ，２７４Ｃとを含んで構成されている。

そして、ユーザ端末装置２３０Ａ，２３０Ｂ，２３０Ｃの動作データ送信処理手段２３１Ａ，２３１Ｂ，２３１Ｃ、動作伝達サーバ２４０の各処理手段２４１〜２４７、ロボット制御手段２７０Ａ，２７０Ｂ，２７０Ｃの各処理手段２７１Ａ〜２７３Ａ，２７１Ｂ〜２７３Ｂ，２７１Ｃ〜２７３Ｃは、ユーザ端末装置２３０Ａ，２３０Ｂ，２３０Ｃ、動作伝達サーバ２４０、ロボット制御手段２７０Ａ，２７０Ｂ，２７０Ｃを構成する各コンピュータ本体の内部に設けられたＣＰＵ、およびこのＣＰＵの動作手順を規定する１つまたは複数のプログラムにより実現される。

また、動作伝達サーバ２４０の各記憶手段２５１〜２５４、ロボット制御手段２７０Ａ，２７０Ｂ，２７０Ｃの動作ファイル記憶手段２７４Ａ，２７４Ｂ，２７４Ｃとしては、例えばハードディスク等を採用することができるが、記憶容量やアクセス速度等に問題が生じない範囲であれば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリ、ＲＡＭ、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＦＤ、磁気テープ、あるいはこれらの組合せ等を採用してもよい。

このような第２実施形態においては、以下のようにして動作伝達システム２００により原動体１Ａ，１Ｂ，１Ｃの動作が従動体２Ａ，２Ｂ，２Ｃへ伝達される。

先ず、学習段階では、原動体１Ａ，１Ｂ，１Ｃのそれぞれについての複数種類の運動パターンを予め学習し、学習モデルとして、それらの運動パターンの種類の数と同数の隠れマルコフモデルを各原動体１Ａ，１Ｂ，１Ｃ毎に作成しておく（図９参照）。すなわち、モーションキャプチャ２２０Ａ，２２０Ｂ，２２０Ｃ（但し、認識時に用いるモーションキャプチャそのものではなく同種のものであればよい。）により原動体１Ａ，１Ｂ，１Ｃの学習用の動作データとして各磁気センサ２２１Ａ，２２１Ｂ，２２１Ｃによるセンサデータを取得し、整形処理手段２４２によりセンサデータの整形処理を行った後、骨格運動データ生成処理手段２４３により、骨格情報記憶手段２５１に記憶された骨格情報と整形後のセンサデータとを用いて原動体１Ａ，１Ｂ，１Ｃに応じて骨格運動データを生成し、さらに特徴量抽出処理手段２４４により骨格運動データから原動体１Ａ，１Ｂ，１Ｃに応じて特徴量を抽出し、得られた特徴量を用いて学習器により学習を行って隠れマルコフモデルを作成する。そして、原動体１Ａ，１Ｂ，１Ｃのそれぞれについて、このような学習を複数種類の運動パターンのそれぞれについて行い、作成された複数の隠れマルコフモデルを学習モデル記憶手段２５２に記憶させておく。

次に、認識時には、ユーザは、ユーザ端末装置２３０Ａ，２３０Ｂ，２３０Ｃを操作して動作伝達サーバ２４０にアクセスし、図８に示すようなユーザ設定画面２８０を自己の端末装置の画面上に表示させる。

図８において、ユーザ設定画面２８０には、原動体の選択部２８１と、従動体の選択部２８２と、変換テーブルの設定変更部２９０とが設けられている。

原動体の選択部２８１には、例えば、原動体として人間を選択する場合、犬を選択する場合等における各設定入力部が設けられている。人間を選択する場合における設定入力部には、例えば、性別選択部、年齢入力部、身長入力部、体重入力部、身体障害の有無選択部等が設けられている。犬を選択する場合における設定入力部には、例えば、犬種選択部、大きさ入力部、体重入力部等が設けられている。

ここで、人間の身長は、例えば５ｃｍ単位等で区切られ、各範囲毎に隠れマルコフモデルが用意されていることが好ましい。従って、図８の例では、身長入力部は、数値を入力するようになっているが、身長の範囲（例えば、１６５ｃｍ以上、１７０ｃｍ未満の範囲、１７０ｃｍ以上、１７５ｃｍ未満の範囲等）を選択するようにしてもよい。また、身長の数値を入力した場合でも、ユーザ設定入力受付処理手段２４７によりその数値が属する範囲が自動的に判断され、結果的に、身長の範囲を選択したのと同じになるようにしてもよい。なお、図６を含め、本実施形態の説明では、原動体１Ａを人間の大人とし、原動体１Ｂを人間の子供とし、身長の範囲を２分しているが、これは説明の便宜上の分割であり、実際には、より多くの範囲に分割し、より多くの隠れマルコフモデルを用意することが好ましい。

従動体の選択部２８２には、人間型ロボット、３本足ロボット、犬型ロボット等の従動体として使用するロボットの種類の選択部と、選択した従動体のＩＰアドレス（すなわち、制御信号識別情報の送信先のアドレス）の入力部と、選択した従動体のＩＤの入力部とが設けられている。なお、従動体のパスワードの入力部を設けてもよい。

変換テーブルの設定変更部２９０には、原動体の選択部２８１で選択した原動体についての運動パターン識別情報である記号の表示部２９１と、その記号で示される原動体の運動パターンの動作内容の表示部２９２とが設けられている。また、従動体の選択部２８２で選択した従動体についての制御信号識別情報である記号の入力部２９３と、その記号で示される制御信号による従動体の動作内容の表示部２９４とが設けられている。各表示部２９２，２９４に表示されるテキスト情報は、変換テーブル記憶手段２５３に記憶された変換テーブルに持たせてもよく、あるいは記号と動作内容とを対応させて記憶する記号内容テーブルを別途に設け、そこから取得してもよい。

従動体の制御信号識別情報についての入力部２９３および表示部２９４には、標準設定の変換テーブル２５３Ａ，２５３Ｂの内容（対応関係）がデフォルト表示される（図７参照）。ユーザが、入力部２９３でキーボードによる入力を行い、デフォルト表示されている記号の設定変更を行うと、表示部２９４の表示内容も入力部２９３の変更に追従して変更される。図８の例では、各表示部２９１，２９２には、原動体１Ａ，１Ｂの運動パターン識別情報がデフォルト表示され、入力部２９３および表示部２９４には、従動体２Ｂの制御信号識別情報がデフォルト表示されている（図７参照）。なお、設定変更は、マウスによるドラッグ操作等により行うようにしてもよい。

そして、ユーザが、図８のユーザ設定画面２８０を用いて必要な設定を行うと、その設定情報がネットワーク２０３を介して動作伝達サーバ２４０へ送信され、ユーザ設定受付処理手段２４７によりユーザ設定記憶手段２５４に書き込まれる。また、変換テーブルの設定変更があった場合には、ユーザ設定受付処理手段２４７により、設定変更された変換テーブルがユーザ設定の変換テーブル２５３Ｃとして変換テーブル記憶手段２５３に書き込まれる。

その後、モーションキャプチャ２２０Ａ，２２０Ｂ，２２０Ｃにより原動体１Ａ，１Ｂ，１Ｃの認識用の動作データとして各磁気センサ２２１Ａ，２２１Ｂ，２２１Ｃによるセンサデータを取得し、動作データ送信処理手段２３１Ａ，２３１Ｂ，２３１Ｃにより、認識用の動作データをネットワーク２０３を介して動作伝達サーバ２４０へ送信する。この際、動作データ送信処理手段２３１Ａ，２３１Ｂ，２３１Ｃは、通常の通信プロトコルによるヘッダ（送信元のＩＰアドレスを含む。）を付して認識用の動作データを送信してもよく、あるいは通常の通信プロトコルによるヘッダに加え、ユーザＩＤ等を付して認識用の動作データを送信してもよい。これにより、動作伝達サーバ２４０は、いずれのユーザ端末装置（原動体）からの送信データであるかを判断することができる。

動作伝達サーバ２４０では、動作データ受信処理手段２４１により、ユーザ端末装置２３０Ａ，２３０Ｂ，２３０Ｃから送信されてきた認識用の動作データを受信すると、ユーザ設定記憶手段２５４を参照して認識用の動作データを送信してきたユーザの設定情報（原動体の選択情報および従動体の選択情報）を把握する。なお、ユーザの設定情報が、認識用の動作データとともに送信されてくるようにしてもよい。

それから、整形処理手段２４２により、センサデータの整形処理を行った後、骨格運動データ生成処理手段２４３により、骨格情報記憶手段２５１に記憶された骨格情報（選択された原動体に応じた骨格情報）と整形後のセンサデータとを用いて骨格運動データを生成し、さらに特徴量抽出処理手段２４４により骨格運動データから特徴量（選択された原動体に応じた特徴量）を抽出する。

続いて、図９に示すように、認識処理手段２４５により、特徴量抽出処理手段２４４により抽出した特徴量に基づき、学習モデル記憶手段２５２に記憶された複数の隠れマルコフモデル２５２Ａ〜２５２Ｍのうち、選択された原動体（例えば原動体１Ａとする。）に対応する複数の隠れマルコフモデル２５２Ａ，２５２Ｂ，２５２Ｃ，２５２Ｄ等を用いて、各隠れマルコフモデル２５２Ａ，２５２Ｂ，２５２Ｃ，２５２Ｄ等に対する尤度を算出し、最も大きな尤度となった隠れマルコフモデルに対応する運動パターンを把握し、その運動パターンを示す運動パターン識別情報を認識結果として出力する。例えば、原動体１Ａ・ＬＡＵ用の隠れマルコフモデル２５２Ａに対する尤度が最も大きいと判断された場合には、ＬＡＵという運動パターン識別情報が認識結果として出力される。

それから、図７に示すように、制御信号識別情報送信処理手段２４６により、変換テーブル記憶手段２５３に記憶された標準設定の変換テーブル２５３Ａ，２５３Ｂのうち、選択された従動体に対応する変換テーブルを用いて、またはユーザにより変換テーブルの設定変更が行われている場合には、ユーザ設定の変換テーブル２５３Ｃを用いて、認識処理手段２４５による認識結果として得られた運動パターン識別情報に対応する制御信号識別情報を把握し、把握した制御信号識別情報をネットワーク２０３を介して、選択された従動体（ロボット制御手段２７０Ａ，２７０Ｂ，２７０Ｃとして機能するコンピュータのいずれか）へ送信する。例えば、原動体１Ａおよび従動体２Ｂが選択され、認識結果として得られた運動パターン識別情報がＬＡＵであり、変換テーブルの設定変更が行われていない場合には、変換テーブル２５３Ａを用いて、２Ｂ−１．ｃｓｖという制御信号識別情報が把握され、従動体２Ｂへ送信される。

その後、従動体２Ａ，２Ｂ，２Ｃでは、制御信号識別情報受信処理手段２７１Ａ，２７１Ｂ，２７１Ｃにより、動作伝達サーバ２４０からネットワーク２０３を介して送信されてくる制御信号識別情報を受信すると、命令作成処理手段２７２Ａ，２７２Ｂ，２７２Ｃにより、動作ファイル記憶手段２７４Ａ，２７４Ｂ，２７４Ｃに記憶された複数の動作ファイルの中から、受信した制御信号識別情報（例えば、２Ｂ−１．ｃｓｖ）に対応する動作ファイル（例えば、２Ｂ−１．ｃｓｖというファイル名の動作ファイル）を読み込んで命令を作成した後、命令実行処理手段２７３Ａ，２７３Ｂ，２７３Ｃにより、この命令を実行し、制御信号を人間型ロボット本体２６０Ａ、３本足ロボット本体２６０Ｂ、犬型ロボット本体２６０Ｃへ送信する。すると、人間型ロボット本体２６０Ａ、３本足ロボット本体２６０Ｂ、犬型ロボット本体２６０Ｃは、制御信号識別情報に対応するそれぞれの動作を行い、選択された原動体の動作にリアルタイムで追従する。

このような第２実施形態によれば、前記第１実施形態の場合と同様に、原動体１Ａ，１Ｂ，１Ｃから従動体２Ａ，２Ｂ，２Ｃへのリアルタイムでの動作伝達を行うにあたり、原動体１Ａ，１Ｂ，１Ｃの動作データとして得られる膨大な情報量を、いわば言語レベルの情報である運動パターン識別情報に一旦情報圧縮し、その圧縮された情報を従動体２Ａ，２Ｂ，２Ｃの可能動作群のうちの１つの動作に繋げることができるので、原動体１Ａ，１Ｂ，１Ｃの動作をそのまま従動体２Ａ，２Ｂ，２Ｃへ伝達する場合に生じる可能性のある不都合を未然に防止することができ、例えば、従動体２Ａ，２Ｂ，２Ｃの破壊を引き起こすような動作、従動体２Ａ，２Ｂ，２Ｃを不安定な状態にする動作、従動体２Ａ，２Ｂ，２Ｃに許容されていない動作等を従動体２Ａ，２Ｂ，２Ｃに伝達し、実行させてしまうという事態を回避することができる。

また、第２実施形態によれば、上記のような前記第１実施形態の場合と同様に得られる効果に加え、次のような効果を得ることができる。

すなわち、動作伝達システム２００は、ユーザ設定入力受付処理手段２４７を備えているので、原動体１Ａ，１Ｂ，１Ｃの動作に関する運動パターン識別情報と、従動体２Ａ，２Ｂ，２Ｃの動作に関する制御信号識別情報との対応関係を、ユーザが自在に設定することができる（図８参照）。このため、ユーザにとってのシステムの使い勝手を向上させることができ、システム性能の向上を図ることができる。

また、動作伝達システム２００は、ユーザ設定入力受付処理手段２４７を備えているので、ユーザによる従動体の選択入力を受け付けることができ、動作伝達対象として選択し得る従動体が複数種類存在するときには、ユーザが動作伝達対象とする従動体を自在に設定することができる（図８参照）。このため、ユーザにとってのシステムの使い勝手を、より一層向上させることができ、システム性能を、より一層向上させることができる。

さらに、動作伝達システム２００は、ユーザ設定入力受付処理手段２４７を備えているので、ユーザによる原動体の選択入力を受け付けることができ、動作データ取得対象として選択し得る原動体が複数種類存在するときには、ユーザが動作データ取得対象とする原動体を自在に設定することができる（図８参照）。このため、ユーザにとってのシステムの使い勝手を、より一層向上させることができ、システム性能を、より一層向上させることができる。

そして、動作伝達システム２００は、ユーザ端末装置２３０Ａ，２３０Ｂ，２３０Ｃと動作伝達サーバ２４０とをネットワーク２０３で接続し、動作伝達サーバ２４０で認識処理および制御信号識別情報送信処理を行う構成とされているので（図６参照）、原動体１Ａ，１Ｂ，１Ｃから従動体２Ａ，２Ｂ，２Ｃへの動作伝達のための情報が、ユーザ端末装置２３０Ａ，２３０Ｂ，２３０Ｃからネットワーク２０３を介して動作伝達サーバ２４０へ送信され、さらに動作伝達サーバ２４０から従動体２Ａ，２Ｂ，２Ｃへ送られるため、動作伝達に必要な処理やその処理に必要となる情報の管理を動作伝達サーバ２４０で一括して行うことができる。このため、原動体と従動体とが１対１である場合のみならず、１対多、多対１、多対多である場合にも、動作伝達サーバ２４０を介して原動体から従動体への円滑な動作伝達を行うことができる。

［第３実施形態］
図１０には、本発明の第３実施形態の動作伝達システム３００を含む制御系の全体構成が示されている。

本第３実施形態の動作伝達システム３００は、制御信号識別情報送信処理手段および変換テーブル記憶手段が原動体の側ではなく従動体の側に設けられていることを除き、前記第１実施形態の動作伝達システム１０と同様な構成を有しているので、同一部分の詳しい説明は省略し、以下には異なる部分を中心として説明を行う。

図１０において、動作伝達システム３００は、原動体１Ｄ（本実施形態では、一例として、人間とする。）の動作を従動体２Ｄ（本実施形態では、一例として、人間型ロボットとする。）へ伝達するシステムであり、原動体１Ｄの動作データを取得する動作データ取得手段であるモーションキャプチャ３２０と、このモーションキャプチャ３２０により取得した動作データを取り込んで動作伝達のための各種処理を行う動作データ処理用コンピュータ３３０と、この動作データ処理用コンピュータ３３０とネットワーク３０３で接続された従動体制御用コンピュータ３５０とを備えている。

動作データ処理用コンピュータ３３０は、前記第１実施形態の動作伝達処理用コンピュータ３０の場合（図１参照）と同様に、整形処理手段３３１、骨格運動データ生成処理手段３３２、特徴量抽出処理手段３３３、認識処理手段３３４、骨格情報記憶手段３４１、および学習モデル記憶手段３４２として機能するものである。但し、前記第１実施形態の動作伝達処理用コンピュータ３０の場合とは異なり、制御信号識別情報送信処理手段および変換テーブル記憶手段としては機能しないが、その代わりに、運動パターン識別情報送信処理手段３３５として機能する。

運動パターン識別情報送信処理手段３３５は、認識処理手段３３４による認識処理の結果として得られた運動パターン識別情報を、ネットワーク３０３を介して従動体制御用コンピュータ３５０へ送信する処理を行うものである。

従動体制御用コンピュータ３５０は、運動パターン識別情報受信処理手段３５１、制御信号識別情報送信処理手段３５２、および変換テーブル記憶手段３５３として機能することに加え、従動体制御手段であるロボット制御手段３６０としても機能する。

運動パターン識別情報受信処理手段３５１は、動作データ処理用コンピュータ３３０からネットワーク３０３を介して送信されてくる原動体１Ｄの運動パターン識別情報を受信する処理を行うものである。

制御信号識別情報送信処理手段３５２は、変換テーブル記憶手段３５３に記憶された変換テーブルを用いて、運動パターン識別情報受信処理手段３５１により受信した運動パターン識別情報に対応する制御信号識別情報を把握し、ロボット制御手段３６０へ伝達する処理を行うものである。このため、制御信号識別情報送信処理手段３５２による制御信号識別情報の送信は、同一コンピュータの内部でのデータの引き渡しとなる。また、変換テーブル記憶手段３５３は、前記第１実施形態の変換テーブル記憶手段４３と同様な変換テーブルを記憶するものである。従って、前記第１実施形態では、ネットワーク３を介して従動体２側へ送信される情報は、制御信号識別情報であったが、本第３実施形態では、ネットワーク３０３を介して従動体２Ｄ側へ送信される情報は、制御信号識別情報ではなく運動パターン識別情報である点が異なる。

ロボット制御手段３６０は、前記第１実施形態のロボット制御手段６０の場合と同様に、命令作成処理手段３６１、命令実行処理手段３６２、および動作ファイル記憶手段３６３を含んで構成されている。

そして、従動体制御用コンピュータ３５０により実現されるロボット制御手段３６０と、従動体本体であるロボット本体３７０とにより、従動体２Ｄが構成されている。

このような第３実施形態によれば、前記第１実施形態の場合と同様に、原動体１Ｄから従動体２Ｄへの動作伝達を行うにあたり、一旦情報圧縮を行うので、従動体２Ｄの破壊を引き起こすような動作、従動体２Ｄを不安定な状態にする動作、従動体２Ｄに許容されていない動作等を従動体２Ｄに伝達し、実行させてしまうという事態を回避することができるという効果がある。

［第４実施形態］
図１１および図１２には、本発明の第４実施形態の動作伝達システム４００による処理で用いられる情報（統合状態テーブル）および処理方法（学習モデルの作成方法）が示されている。動作伝達システム４００は、学習モデルとして、隠れマルコフモデルではなく、ベイジアンネットワークにより構築されたモデルを用いる点が前記第１〜第３実施形態の場合と異なっており、また、これに伴って特徴量の抽出方法も異なっているが、その他の構成および機能については、前記第１〜第３実施形態の場合と同様であるため、詳しい説明は省略する。

動作伝達システム４００の特徴量抽出処理手段は、骨格運動データ生成処理手段により生成した骨格運動データに基づき、原動体の複数の局部の現在および／または過去の状態がそれぞれ所定の状態になっているか否かおよび／または所定の状態になっていたか否かの２者択一の判定情報（本実施形態では、各状態について１または０として出力される。）を特徴量として抽出する処理を行うものである。

原動体の複数の局部とは、図１１および図１２に示すように、例えば、原動体（人間）の下半身については、右足、右ひざ、左足、左ひざ等である。ここでは、説明の便宜上、これらの４箇所を、特徴量抽出処理に用いる複数の局部として設定するものとする。また、これらの４つの局部のうち、過去の状態としては、右足の３０フレーム前の状態および左足の３０フレーム前の状態を採用するものとする。但し、３０フレーム前に限定されるものではない。

より具体的には、右足については、骨格運動データのうち、RightHip（右腰）の回転情報（角度）と、RightKnee（右ひざ）の回転情報（角度）と、RightAnkle（右足首）の回転情報（角度）と、これらの各エレメントについての骨格情報（図３参照）のオフセット情報（親エレメントからの相対位置）とを用いて、右足の足先の座標、すなわちRightAnkle（右足首）の端点位置（図３参照）を求める。左足の場合も同様である。

そして、右足および左足の各足先の座標の高さ方向の成分を参照することにより、足先が接地しているか否かを判定し、接地している場合には、判定情報として０を出力し、接地していない（離れている）場合には、判定情報として１を出力する。また、このような足先の接地情報は、右足および左足の両者について、３０フレーム前の判定情報（１または０）もメモリに保存しておく。

さらに、RightKnee（右ひざ）の回転情報（角度）を参照し、右ひざが曲がっているか否かを判定する。RightKnee（右ひざ）の回転情報（角度）が閾値を超えている場合には、曲がっていると判定して判定情報として１を出力し、閾値以下である場合には、曲がっていない（伸びている）と判定して判定情報として０を出力する。左足の場合も同様である。

図１１には、以上のような特徴量抽出処理で得られた４つの局部の現在の状態およびそのうちの２つの局部の過去（３０フレーム前）の状態と、これらの６つの状態の統合状態を示すための統合状態番号との関係が示されている。統合状態は、２⁶＝６４通りあるので、統合状態番号は、１〜６４となっている。図１１の関係は、統合状態テーブルとして記憶しておく。

学習時には、学習させる複数種類の運動パターンとして、例えば、直立しているパターン（運動パターン識別情報をＭ１とする。）と、歩いているパターン（運動パターン識別情報をＭ２とする。）と、しゃがんでいるパターン（運動パターン識別情報をＭ３とする。）と、左足を上げているパターン（運動パターン識別情報をＭ４とする。）と、右足を上げているパターン（運動パターン識別情報をＭ５とする。）とを用意し、これらに相当する各動作を、原動体（被験者である人間）に行わせる。

図１２に示すように、原動体の学習用の動作データに基づき特徴量を抽出し、４つの局部についての現在の４状態および過去の２状態から、各時刻（各フレーム）における状態を示す統合状態番号を統合状態テーブル（図１１の関係）を用いて把握する。一方、原動体が行っている動作は、目視により、いずれの運動パターンに該当する動作であるのかを判断し、各時刻（各フレーム）の状態に運動パターン識別情報Ｍ１〜Ｍ５を対応付けてラベル付けを行う。これにより、各時刻（各フレーム）において、統合状態番号１〜６４と運動パターン識別情報Ｍ１〜Ｍ５とが対応付けられる。なお、図１２は、左側から右側に向かって時間が進行する。

ベイジアンネットワークによる学習モデル４１０の構築にあたっては、図１２に示すように、統合状態番号毎、つまり６つの状態を統合した統合状態毎に、運動パターン識別情報Ｍ１〜Ｍ５に対する確度を示す数値を作成する。例えば、学習時に、あるフレームの統合状態番号が１であり、そのフレームに運動パターン識別情報Ｍ１が対応付けられた場合には、統合状態番号１についての運動パターン識別情報Ｍ１に対する確度を示す数値Ｐ（１，１）に、１が加算される。同様に、あるフレームの統合状態番号が４９であり、そのフレームに運動パターン識別情報Ｍ５が対応付けられた場合には、統合状態番号４９についての運動パターン識別情報Ｍ５に対する確度を示す数値Ｐ（４９，５）に、１が加算される。このようにして各フレームの統合状態に基づき、加算処理を繰り返していくと、各統合状態番号に対応する統合状態となったときに、その統合状態がいずれの運動パターンに該当する動作を行っている状態かを判断することができる。例えば、加算処理の結果、統合状態番号１について、Ｐ（１，１）＝２５５、Ｐ（１，２）＝０、Ｐ（１，３）＝３、Ｐ（１，４）＝５、Ｐ（１，５）＝１となった場合には、運動パターン識別情報Ｍ１に対するＰ（１，１）が、最も大きい数値となっているので、統合状態番号１に対応する統合状態になったときには、運動パターン識別情報Ｍ１に対応する運動パターンに該当する動作を行っている確率が高いことを示している。

認識時には、特徴量抽出処理手段により、原動体の認識用の動作データに基づき生成された骨格運動データを用いて特徴量を抽出し、認識処理手段により、４つの局部についての現在の４状態および過去の２状態から、各時刻（各フレーム）における統合状態を示す統合状態番号を統合状態テーブル（図１１の関係）を用いて把握し、ベイジアンネットワークによる学習モデル４１０（図１２参照）を用いて、把握した統合状態番号について最も大きい数値となっている運動パターン識別情報を、認識結果として出力する。

このような第４実施形態によれば、前記第１〜第３実施形態の場合と同様に、原動体から従動体への動作伝達を行うにあたり、一旦情報圧縮を行うので、従動体の破壊を引き起こすような動作、従動体を不安定な状態にする動作、従動体に許容されていない動作等を従動体に伝達し、実行させてしまうという事態を回避することができるという効果がある。

［第５実施形態］
図１３は、本発明の第５実施形態の動作伝達システム５００による認識処理の説明図である。

動作伝達システム５００は、原動体を動作の認識単位となる複数の構成部分に分割し、各構成部分毎の部分的な運動パターンを捉え、それを統合することにより原動体の全体的な運動パターンを捉えるという多段階の認識処理を行う点が前記第１〜第３実施形態の場合と異なっており、また、これに伴って学習モデルとして用意する隠れマルコフモデルの作成方法も異なっているが、その他の構成および機能については、前記第１〜第３実施形態の場合と同様であるため、詳しい説明は省略する。

動作伝達システム５００の学習モデル記憶手段５１０には、原動体を分割した各構成部分Ｋ１，Ｋ２，Ｋ３，…のそれぞれについての連続した動作からなる複数種類の部分的な運動パターンのそれぞれについて動作データ取得手段により取得した学習用の動作データに基づき、各構成部分毎に複数種類の部分的な運動パターンを学習して作成された複数の学習モデルが記憶されている。つまり、学習モデルは、各構成部分毎で、かつ、各運動パターン毎に用意されている。例えば、構成部分Ｋ１が右手（右腕）であり、構成部分Ｋ２が左手（左腕）であるとすると、構成部分Ｋ１については、構成部分Ｋ１である右手を上げる運動パターン（運動パターン識別情報をＭ１−１とする。）、右手を下げる運動パターン（運動パターン識別情報をＭ１−２とする。）、右手を曲げる運動パターン（運動パターン識別情報をＭ１−３とする。）、右手を振る運動パターン（運動パターン識別情報をＭ１−４とする。）等の各運動パターン毎に、隠れマルコフモデル５１０Ａ，５１０Ｂ，５１０Ｃ，５１０Ｄ等が用意され、構成部分Ｋ２については、構成部分Ｋ２である左手を上げる運動パターン（運動パターン識別情報をＭ２−１とする。）、左手を下げる運動パターン（運動パターン識別情報をＭ２−２とする。）、左手を曲げる運動パターン（運動パターン識別情報をＭ２−３とする。）、左手を振る運動パターン（運動パターン識別情報をＭ２−４とする。）等の各運動パターン毎に、隠れマルコフモデル５１０Ｅ，５１０Ｆ，５１０Ｇ，５１０Ｈ等が用意されている。

また、動作伝達システム５００は、各構成部分の現在および／または過去の複数種類の部分的な運動パターンとこれらの部分的な運動パターンを統合して得られる原動体の複数種類の全体的な運動パターンとの対応関係を記憶する運動パターン対応関係記憶手段５２０を備えている。例えば、構成部分Ｋ１である右手を上げるという部分的な運動パターン（現在）と、構成部分Ｋ２である左手を上げるという部分的な運動パターン（現在）とに対し、これらを統合した万歳（両手を上げる）という全体的な運動パターンが対応した形で記憶されている。また、過去の部分的な運動パターンについても記載しているのは、前記第４実施形態のように各局部の過去の状態を考慮する場合と同様に、統合対象として過去の状態を含めてもよい趣旨である。

動作伝達システム５００の認識処理手段５３０は、先ず、動作データ取得手段により取得した各構成部分毎の認識用の動作データに基づき生成された骨格運動データから抽出された特徴量と、学習モデル記憶手段５１０に記憶された各構成部分毎の隠れマルコフモデル５１０Ａ〜５１０Ｍ等とを用いて、各構成部分の動作がそれぞれ複数種類の部分的な運動パターンのうちのいずれに該当する動作であるかを各構成部分毎に認識する。例えば、構成部分Ｋ１については、構成部分Ｋ１用で、かつ、構成部分Ｋ１の各部分的な運動パターン（運動パターン識別情報Ｍ１−１〜Ｍ１−４等に対応する部分的な運動パターン）用の隠れマルコフモデル５１０Ａ〜５１０Ｄ等を用いて、それぞれ尤度を算出し、これらの尤度のうち、最大の値となる尤度に対応する運動パターンについての運動パターン識別情報（Ｍ１−１〜Ｍ１−４等のうちのいずれか）を、部分的な認識結果として出力する。他の構成部分についても同様である。

次に、認識処理手段５３０は、運動パターン対応関係記憶手段５２０に記憶された対応関係を用いて、各構成部分毎の現在および／または過去の部分的な認識結果を統合することにより、原動体の全体的な動作が複数種類の全体的な運動パターンのうちのいずれに該当する動作であるかを認識し、その全体的な運動パターンに対応する運動パターン識別情報を、認識結果として出力する。

このような第５実施形態によれば、前記第１〜第４実施形態の場合と同様に、原動体から従動体への動作伝達を行うにあたり、一旦情報圧縮を行うので、従動体の破壊を引き起こすような動作、従動体を不安定な状態にする動作、従動体に許容されていない動作等を従動体に伝達し、実行させてしまうという事態を回避することができるという効果がある。

また、第５実施形態によれば、上記のような効果に加え、認識処理手段５３０により段階的な認識処理を行うので、原動体の分割方法や部分的な認識結果の統合方法（運動パターン対応関係記憶手段５２０に記憶させる対応関係）等を工夫することで、用意すべき隠れマルコフモデルの数を減らすことができ、学習時の労力の軽減を図ることができるという効果が得られる。例えば、万歳（両手を上げる）という運動パターンを認識する場合には、前記第１〜第３実施形態では、万歳という運動パターンに対応する隠れマルコフモデルを用意しておかなければならないが、本第５実施形態では、右手を上げるという部分的な運動パターンと、左手を上げるという部分的な運動パターンとを統合することにより、万歳という運動パターンを認識することができる。

［変形の形態］
なお、本発明は前記各実施形態に限定されるものではなく、本発明の目的を達成できる範囲内での変形等は本発明に含まれるものである。

例えば、前記第２実施形態では、図６に示すように、動作伝達サーバ２４０には、動作データ受信処理手段２４１と、整形処理手段２４２と、骨格運動データ生成処理手段２４３と、特徴量抽出処理手段２４４と、認識処理手段２４５と、制御信号識別情報送信処理手段２４６と、ユーザ設定入力受付処理手段２４７と、骨格情報記憶手段２５１と、学習モデル記憶手段２５２と、変換テーブル記憶手段２５３と、ユーザ設定記憶手段２５４とが設けられ、動作伝達サーバ２４０で、認識処理および制御信号識別情報送信処理を行うようになっていたが、整形処理手段、骨格運動データ生成処理手段、特徴量抽出処理手段、認識処理手段、骨格情報記憶手段、および学習モデル記憶手段をユーザ端末装置側に設け、ユーザ端末装置で、認識処理およびその前処理を行い、動作伝達サーバで、制御信号識別情報送信処理を行うようにしてもよい。

このようにユーザ端末装置と動作伝達サーバとをネットワークで接続し、ユーザ端末装置で、認識処理およびその前処理を行い、動作伝達サーバで、制御信号識別情報送信処理を行えば、前記第２実施形態の場合（図６参照）と同様に、制御信号識別情報送信処理やその処理に必要となる変換テーブルの管理を動作伝達サーバで一括して行うことができるため、原動体と従動体とが１対１である場合のみならず、１対多、多対１、多対多である場合にも、動作伝達サーバを介して原動体から従動体への円滑な動作伝達を行うことができる。また、ユーザ端末装置から動作伝達サーバへネットワークを介して送信する情報は、認識処理で得られた運動パターン識別情報となり、いわば言語レベルに圧縮された情報となるので、ネットワークを介して送信する情報量を減らし、通信コストの削減を図ることができる。

また、前記各実施形態では、従動体は、ロボットとされていたが、これに限定されるものではなく、例えば、機械、機器、ディスプレイ画面上に表示されるアニメーションキャラクタ等であってよく、要するに、命令を与えて動かすことができるものであればよい。

以上のように、本発明の動作伝達システムおよび動作伝達方法は、例えば、人間の動作を人間型ロボットへ伝達する場合等のように、生体の動作を、その生体と同形または略同形のロボットへ伝達する場合、あるいは人間の動作を３本足ロボットや犬型ロボットへ伝達する場合や身体障害者の動作をロボットへ伝達する場合等のように、生体の動作を、その生体とは異形のロボットへ伝達する場合等に用いるのに適している。

本発明の第１実施形態の動作伝達システムを含む制御系の全体構成図。 第１実施形態の骨格モデルの説明図。 第１実施形態の骨格情報の説明図。 第１実施形態の認識処理の説明図。 第１実施形態の制御信号識別情報送信処理の説明図。 本発明の第２実施形態の動作伝達システムを含む制御系の全体構成図。 第２実施形態のユーザ設定入力受付処理および制御信号識別情報送信処理の説明図。 第２実施形態のユーザ設定入力で用いられる画面例を示す図。 第２実施形態の認識処理の説明図。 本発明の第３実施形態の動作伝達システムを含む制御系の全体構成図。 本発明の第４実施形態の動作伝達システムによる処理で用いられる情報（統合状態テーブル）の説明図。 第４実施形態の動作伝達システムによる学習モデルの作成方法の説明図。 本発明の第５実施形態の動作伝達システムによる認識処理の説明図。

符号の説明

１，１Ａ，１Ｂ，１Ｃ，１Ｄ 原動体
２，２Ａ，２Ｂ，２Ｃ，２Ｄ 従動体
１０，２００，３００，４００，５００ 動作伝達システム
２０，２２０Ａ，２２０Ｂ，２２０Ｃ，３２０ 動作データ取得手段であるモーションキャプチャ
３２，２４３，３３２ 骨格運動データ生成処理手段
３３，２４４，３３３ 特徴量抽出処理手段
３４，２４５，３３４，５３０ 認識処理手段
３５，２４６，３５２ 制御信号識別情報送信処理手段
４１，２５１，３４１ 骨格情報記憶手段
４２，２５２，３４２，５１０ 学習モデル記憶手段
４２Ａ〜４２Ｈ，２５２Ａ〜２５２Ｍ，５１０Ａ〜５１０Ｍ 学習モデルである隠れマルコフモデル
４３，２５３，３５３ 変換テーブル記憶手段
４３Ａ，２５３Ａ，２５３Ｂ，２５３Ｃ 変換テーブル
２０３ ネットワーク
２３０Ａ，２３０Ｂ，２３０Ｃ ユーザ端末装置
２４０ 動作伝達サーバ
２４７ ユーザ設定入力受付処理手段
２５４ ユーザ設定記憶手段
４１０ ベイジアンネットワークによる学習モデル
５２０ 運動パターン対応関係記憶手段

Claims (17)

1. 原動体の動作を従動体へ伝達する動作伝達システムであって、
   前記原動体の動作データを取得する動作データ取得手段と、
   前記原動体の連続した動作からなる複数種類の運動パターンのそれぞれについて前記動作データ取得手段により取得した学習用の動作データに基づき前記複数種類の運動パターンを学習して作成された学習モデルを記憶する学習モデル記憶手段と、
   前記動作データ取得手段により取得した前記原動体の認識用の動作データに基づき、前記学習モデル記憶手段に記憶された前記学習モデルを用いて、前記原動体の動作が前記複数種類の運動パターンのうちのいずれに該当する動作であるかを認識する処理を行う認識処理手段と、
   前記複数種類の運動パターンの種別を識別するための運動パターン識別情報とこれらに対応する前記従動体の動作制御用の制御信号の種別を識別するための制御信号識別情報との対応関係を定める変換テーブルを記憶する変換テーブル記憶手段と、
   この変換テーブル記憶手段に記憶された前記変換テーブルを用いて、前記認識処理手段による認識結果として得られた前記運動パターン識別情報に対応する前記制御信号識別情報を把握して前記従動体に送信する処理を行う制御信号識別情報送信処理手段と
   を備えたことを特徴とする動作伝達システム。
2. 請求項１に記載の動作伝達システムにおいて、
   前記原動体の骨格モデルの構造を示す骨格情報を記憶する骨格情報記憶手段と、
   この骨格情報記憶手段に記憶された前記骨格情報と前記動作データ取得手段により取得した前記認識用の動作データとを用いて骨格運動データを生成する処理を行う骨格運動データ生成処理手段と、
   この骨格運動データ生成処理手段により生成した前記骨格運動データから特徴量を抽出する処理を行う特徴量抽出処理手段とを備え、
   前記認識処理手段は、前記特徴量抽出処理手段により抽出した前記特徴量を用いて認識処理を行う構成とされ、
   前記学習モデル記憶手段には、前記骨格情報記憶手段に記憶された前記骨格情報と前記動作データ取得手段により取得した前記学習用の動作データとを用いて生成された骨格運動データから抽出された特徴量を用いて作成された学習モデルが記憶されている
   ことを特徴とする動作伝達システム。
3. 請求項１または２に記載の動作伝達システムにおいて、
   前記学習モデルは、隠れマルコフモデルであることを特徴とする動作伝達システム。
4. 請求項３に記載の動作伝達システムにおいて、
   前記隠れマルコフモデルは、前記複数種類の運動パターン毎に用意されていることを特徴とする動作伝達システム。
5. 請求項２に記載の動作伝達システムにおいて、
   前記学習モデルは、ベイジアンネットワークにより構築されたモデルであり、
   前記特徴量抽出処理手段は、前記骨格運動データ生成処理手段により生成した前記骨格運動データに基づき前記原動体の複数の局部の現在および／または過去の状態がそれぞれ所定の状態になっているか否かおよび／または所定の状態になっていたか否かの２者択一の判定情報を前記特徴量として抽出する処理を行う構成とされ、
   前記認識処理手段は、前記ベイジアンネットワークにより構築されたモデルを用いて、前記複数の局部の現在および／または過去の状態についての各判定情報を組み合せた統合状態が前記複数種類の運動パターンのうちのいずれに該当する状態であるかを認識する処理を行う構成とされている
   ことを特徴とする動作伝達システム。
6. 原動体の動作を従動体へ伝達する動作伝達システムであって、
   前記原動体は、動作の認識単位となる複数の構成部分に分割され、
   前記原動体の動作データを取得する動作データ取得手段と、
   前記各構成部分毎の連続した動作からなる複数種類の部分的な運動パターンのそれぞれについて前記動作データ取得手段により取得した学習用の動作データに基づき前記各構成部分毎に前記複数種類の部分的な運動パターンを学習して作成された前記各構成部分毎の学習モデルを記憶する学習モデル記憶手段と、
   前記各構成部分の現在および／または過去の複数種類の部分的な運動パターンとこれらの部分的な運動パターンを統合して得られる前記原動体の複数種類の全体的な運動パターンとの対応関係を記憶する運動パターン対応関係記憶手段と、
   前記動作データ取得手段により取得した前記各構成部分毎の認識用の動作データに基づき、前記学習モデル記憶手段に記憶された前記各構成部分毎の学習モデルを用いて、前記各構成部分の動作がそれぞれ前記複数種類の部分的な運動パターンのうちのいずれに該当する動作であるかを前記各構成部分毎に認識し、さらに前記運動パターン対応関係記憶手段に記憶された前記対応関係を用いて、前記各構成部分毎の現在および／または過去の部分的な認識結果を統合することにより、前記原動体の全体的な動作が前記複数種類の全体的な運動パターンのうちのいずれに該当する動作であるかを認識する処理を行う認識処理手段と、
   前記複数種類の全体的な運動パターンの種別を識別するための運動パターン識別情報とこれらに対応する前記従動体の動作制御用の制御信号の種別を識別するための制御信号識別情報との対応関係を定める変換テーブルを記憶する変換テーブル記憶手段と、
   この変換テーブル記憶手段に記憶された前記変換テーブルを用いて、前記認識処理手段による統合認識結果として得られた前記運動パターン識別情報に対応する前記制御信号識別情報を把握して前記従動体に送信する処理を行う制御信号識別情報送信処理手段と
   を備えたことを特徴とする動作伝達システム。
7. 請求項６に記載の動作伝達システムにおいて、
   前記原動体の骨格モデルの構造を示す骨格情報を記憶する骨格情報記憶手段と、
   この骨格情報記憶手段に記憶された前記骨格情報と前記動作データ取得手段により取得した前記認識用の動作データとを用いて骨格運動データを生成する処理を行う骨格運動データ生成処理手段と、
   この骨格運動データ生成処理手段により生成した前記骨格運動データから特徴量を抽出する処理を行う特徴量抽出処理手段とを備え、
   前記認識処理手段は、前記特徴量抽出処理手段により抽出した前記特徴量を用いて認識処理を行う構成とされ、
   前記学習モデル記憶手段には、前記骨格情報記憶手段に記憶された前記骨格情報と前記動作データ取得手段により取得した前記学習用の動作データとを用いて生成された骨格運動データから抽出された特徴量を用いて作成された学習モデルが記憶されている
   ことを特徴とする動作伝達システム。
8. 請求項６または７に記載の動作伝達システムにおいて、
   前記学習モデルは、隠れマルコフモデルであることを特徴とする動作伝達システム。
9. 請求項８に記載の動作伝達システムにおいて、
   前記隠れマルコフモデルは、前記各構成部分毎の複数種類の部分的な運動パターン毎に用意されていることを特徴とする動作伝達システム。
10. 請求項１〜９のいずれかに記載の動作伝達システムにおいて、
    前記動作データ取得手段は、モーションキャプチャであることを特徴とする動作伝達システム。
11. 請求項１〜１０のいずれかに記載の動作伝達システムにおいて、
    入力手段を用いて行われるユーザによる前記変換テーブルの前記対応関係を変更するための設定入力を受け付け、設定変更後の前記変換テーブルを前記変換テーブル記憶手段に記憶させる処理を行うユーザ設定入力受付処理手段を備えていることを特徴とする動作伝達システム。
12. 請求項１１に記載の動作伝達システムにおいて、
    動作伝達対象として選択し得る前記従動体が複数種類用意され、
    ユーザによる前記従動体の選択情報を記憶するユーザ設定記憶手段を備え、
    前記ユーザ設定入力受付処理手段は、前記入力手段を用いて行われるユーザによる前記従動体の選択入力を受け付け、この選択情報を前記ユーザ設定記憶手段に記憶させる処理も行う構成とされ、
    前記制御信号識別情報送信処理手段は、前記ユーザ設定記憶手段に記憶された前記従動体の選択情報に従って、前記変換テーブル記憶手段に記憶された前記変換テーブルから、選択された前記従動体に対応する前記制御信号識別情報を取得して前記従動体に送信する処理を行う構成とされている
    ことを特徴とする動作伝達システム。
13. 請求項１１または１２に記載の動作伝達システムにおいて、
    動作データ取得対象として選択し得る前記原動体が複数種類用意され、
    ユーザによる前記原動体の選択情報を記憶するユーザ設定記憶手段を備え、
    前記ユーザ設定入力受付処理手段は、前記入力手段を用いて行われるユーザによる前記原動体の選択入力を受け付け、この選択情報を前記ユーザ設定記憶手段に記憶させる処理も行う構成とされ、
    前記認識処理手段は、前記ユーザ設定記憶手段に記憶された前記原動体の選択情報に従って、前記学習モデル記憶手段に記憶された前記学習モデルのうち、選択された前記原動体に対応する前記学習モデルを用いて認識処理を行う構成とされている
    ことを特徴とする動作伝達システム。
14. 請求項１１〜１３のいずれかに記載の動作伝達システムにおいて、
    前記原動体および前記動作データ取得手段の所在地に設置されたユーザ端末装置と、動作伝達に関する処理を行う動作伝達サーバとがネットワークで接続され、
    前記動作伝達サーバには、少なくとも前記ユーザ設定入力受付処理手段、前記認識処理手段、前記制御信号識別情報送信処理手段、前記学習モデル記憶手段、および前記変換テーブル記憶手段が設けられ、
    前記ユーザ設定入力受付処理手段は、前記入力手段を用いてユーザにより入力されて前記ユーザ端末装置から前記ネットワークを介して送信されてくる情報を受け付ける処理を行う構成とされ、
    前記認識処理手段および前記制御信号識別情報送信処理手段は、前記ユーザ端末装置から前記ネットワークを介して送信されてくるデータまたはこのデータから得られるデータを用いて各処理を行う構成とされている
    ことを特徴とする動作伝達システム。
15. 請求項１１または１２のいずれかに記載の動作伝達システムにおいて、
    前記原動体および前記動作データ取得手段の所在地に設置されたユーザ端末装置と、動作伝達に関する処理を行う動作伝達サーバとがネットワークで接続され、
    前記ユーザ端末装置には、少なくとも前記認識処理手段および前記学習モデル記憶手段が設けられ、
    前記動作伝達サーバには、少なくとも前記ユーザ設定入力受付処理手段、前記制御信号識別情報送信処理手段、および前記変換テーブル記憶手段が設けられ、
    前記ユーザ設定入力受付処理手段は、前記入力手段を用いてユーザにより入力されて前記ユーザ端末装置から前記ネットワークを介して送信されてくる情報を受け付ける処理を行う構成とされ、
    前記制御信号識別情報送信処理手段は、前記ユーザ端末装置から前記ネットワークを介して送信されてくる前記運動パターン識別情報を用いて処理を行う構成とされている
    ことを特徴とする動作伝達システム。
16. 原動体の動作を従動体へ伝達する動作伝達方法であって、
    前記原動体の連続した動作からなる複数種類の運動パターンのそれぞれについて動作データ取得手段により学習用の動作データを取得し、これらの学習用の動作データに基づき前記複数種類の運動パターンを学習して学習モデルを作成し、この学習モデルを学習モデル記憶手段に記憶させておくとともに、
    前記複数種類の運動パターンの種別を識別するための運動パターン識別情報とこれらに対応する前記従動体の動作制御用の制御信号の種別を識別するための制御信号識別情報との対応関係を定める変換テーブルを変換テーブル記憶手段に記憶させておき、
    認識時には、認識処理手段が、前記動作データ取得手段により取得した前記原動体の認識用の動作データに基づき、前記学習モデル記憶手段に記憶された前記学習モデルを用いて、前記原動体の動作が前記複数種類の運動パターンのうちのいずれに該当する動作であるかを認識する処理を行い、
    その後、制御信号識別情報送信処理手段が、前記変換テーブル記憶手段に記憶された前記変換テーブルを用いて、前記認識処理手段による認識結果として得られた前記運動パターン識別情報に対応する前記制御信号識別情報を把握して前記従動体に送信する処理を行うことを特徴とする動作伝達方法。
17. 原動体の動作を従動体へ伝達する動作伝達方法であって、
    前記原動体を、動作の認識単位となる複数の構成部分に分割し、
    前記各構成部分毎の連続した動作からなる複数種類の部分的な運動パターンのそれぞれについて動作データ取得手段により学習用の動作データを取得し、これらの学習用の動作データに基づき前記各構成部分毎に前記複数種類の部分的な運動パターンを学習して前記各構成部分毎の学習モデルを作成し、これらの各構成部分毎の学習モデルを学習モデル記憶手段に記憶させておくとともに、
    前記各構成部分の現在および／または過去の複数種類の部分的な運動パターンとこれらの部分的な運動パターンを統合して得られる前記原動体の複数種類の全体的な運動パターンとの対応関係を運動パターン対応関係記憶手段に記憶させておき、
    さらに、前記複数種類の全体的な運動パターンの種別を識別するための運動パターン識別情報とこれらに対応する前記従動体の動作制御用の制御信号の種別を識別するための制御信号識別情報との対応関係を定める変換テーブルを変換テーブル記憶手段に記憶させておき、
    認識時には、認識処理手段が、前記動作データ取得手段により取得した前記各構成部分毎の認識用の動作データに基づき、前記学習モデル記憶手段に記憶された前記各構成部分毎の学習モデルを用いて、前記各構成部分の動作がそれぞれ前記複数種類の部分的な運動パターンのうちのいずれに該当する動作であるかを前記各構成部分毎に認識し、さらに前記運動パターン対応関係記憶手段に記憶された前記対応関係を用いて、前記各構成部分毎の現在および／または過去の部分的な認識結果を統合することにより、前記原動体の全体的な動作が前記複数種類の全体的な運動パターンのうちのいずれに該当する動作であるかを認識する処理を行い、
    その後、制御信号識別情報送信処理手段が、前記変換テーブル記憶手段に記憶された前記変換テーブルを用いて、前記認識処理手段による統合認識結果として得られた前記運動パターン識別情報に対応する前記制御信号識別情報を把握して前記従動体に送信する処理を行うことを特徴とする動作伝達方法。

Images