JP2005231012A - ロボット装置及びその制御方法 - Google Patents
ロボット装置及びその制御方法 Download PDFInfo
- Publication number
- JP2005231012A JP2005231012A JP2004046867A JP2004046867A JP2005231012A JP 2005231012 A JP2005231012 A JP 2005231012A JP 2004046867 A JP2004046867 A JP 2004046867A JP 2004046867 A JP2004046867 A JP 2004046867A JP 2005231012 A JP2005231012 A JP 2005231012A
- Authority
- JP
- Japan
- Prior art keywords
- music
- robot
- rhythm
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Toys (AREA)
- Manipulator (AREA)
Abstract
【課題】
本発明は、エンターテインメント性を格段と向上させ得るロボット装置及びその制御方法を実現しようとするものである。
【解決手段】
胴体部に多段階の関節機構を有する複数の腕部がそれぞれ連結されたロボット装置及びその制御方法において、各腕部が動作する際に描く軌道を当該各腕部の平均移動速度と共に動作パターンとして記憶する動作記憶手段と、供給される音楽データに基づく音楽からリズムを抽出するリズム抽出手段と、リズムに基づいて各腕部の平均移動速度の範囲を決定する速度範囲決定手段と、決定された範囲に合う動作パターンを動作記憶手段から選択的に読み出す動作選択手段とを設けるようにした。
【選択図】 図6
本発明は、エンターテインメント性を格段と向上させ得るロボット装置及びその制御方法を実現しようとするものである。
【解決手段】
胴体部に多段階の関節機構を有する複数の腕部がそれぞれ連結されたロボット装置及びその制御方法において、各腕部が動作する際に描く軌道を当該各腕部の平均移動速度と共に動作パターンとして記憶する動作記憶手段と、供給される音楽データに基づく音楽からリズムを抽出するリズム抽出手段と、リズムに基づいて各腕部の平均移動速度の範囲を決定する速度範囲決定手段と、決定された範囲に合う動作パターンを動作記憶手段から選択的に読み出す動作選択手段とを設けるようにした。
【選択図】 図6
Description
本発明はロボット装置及びその制御方法に関し、例えばエンターテインメントロボットに適用して好適なものである。
近年、多くの企業や大学等の研究機関においてヒューマノイド型ロボットの開発が進められている。かかるヒューマノイド型ロボットは、CCD(Charge Coupled Device)カメラ、マイクロホン及びタッチセンサ等の外部センサと、バッテリセンサ及び加速度センサ等の内部センサとが搭載され、これら外部センサ及び内部センサの出力に基づいて外部及び内部の状態を認識し、認識結果に基づいて自律的に行動し得るようになされたものである(例えば非特許文献1参照)。
また近年では、ユーザが行う姿勢や行動をほぼ同様に真似て再現する機能(以下、これを物真似機能と呼ぶ)や、音楽に合わせてダンスを踊る機能(以下、これをダンス機能と呼ぶ)を搭載したエンターテインメントロボットも提案されている(例えば特許文献2及び3参照。)
特開2003−270835公報
特開平8−187364号公報
特開2002−86378公報
ところで、かかる物真似機能が搭載された従来のロボットでは、予め設定入力された動作パターンのみならず、ユーザの各種動作を真似ることによって獲得した複数種類の動作パターンを、如何にして面白くかつバリエーション豊富に発現するかという課題があった。
この課題を解決する1つの方法として、この物真似機能に上述のようなダンス機能を組み合わせる方法が考えられる。すなわちダンス機能により音楽に合わせてダンスを踊る際に、物真似機能によって獲得した複数種類の動作パターンを当該音楽にマッチするように選択的に発現させることができれば、より一層エンターテインメント性が高いロボットを実現できると考えられる。
ところが、従来のロボットに搭載されたダンス機能を実行するにあたって、ユーザは所望の動作パターンからなる踊りをロボットに発現させるためには、ロボットの手足等を直接手にとりながら当該動作パターンに応じた一連の動きを実際に行わせるようにして教示する方法(いわゆるダイレクトティーチング法)を事前に行わなければならないといった煩雑さがあった。
さらにロボットの踊りを面白くかつバリエーション豊富に発現させるためには、音楽の選曲に応じて所望の踊りを構成する種々の動作パターンの全てについて、ユーザが事前にロボットに教示させておかなければならず、ユーザにとって非常に負担となるという問題があった。
本発明は以上の点を考慮してなされたもので、エンターテインメント性を格段と向上させ得るロボット装置及びその制御方法を提案しようとするものである。
かかる課題を解決するため本発明においては、胴体部に多段階の関節機構を有する複数の腕部がそれぞれ連結されたロボット装置において、各腕部が動作する際に描く軌道を当該各腕部の平均移動速度と共に動作パターンとして記憶する動作記憶手段と、供給される音楽データに基づく音楽からリズムを抽出するリズム抽出手段と、リズムに基づいて各腕部の平均移動速度の範囲を決定する速度範囲決定手段と、決定された範囲に合う動作パターンを動作記憶手段から選択的に読み出す動作選択手段とを設けるようにした。
この結果ロボット装置では、ユーザが選曲した音楽のリズムに合う最適な動作パターンに応じたダンスを踊ることができ、かくして従来のようにユーザが事前にロボット装置に音楽ごとにその音楽に応じた動作パターンを教示させておくといった手間や煩雑さを回避することができる。
また本発明においては、撮像手段による撮像結果として得られるフレーム画像内に含まれる顔画像及び手画像を認識する画像認識手段と、画像認識手段により認識された顔画像に対する手画像の相対位置関係に基づいて、フレーム画像内を移動する手画像の軌道を検出する軌道検出手段と、軌道検出手段により検出された手画像の軌道をロボット用のサイズに変換して動作パターンを得るサイズ変換手段とを設け、動作記憶手段は、サイズ変換手段から得られる動作パターンを記憶するようにした。
この結果ロボット装置では、ユーザが所望する動作パターンをユーザ自身の動きを画像認識しながらロボット自身の動きとして学習することができ、かくして従来のようにユーザがロボット装置の手足を直接手にとりながら教示する方法を事前に行うといった手間や煩雑さを回避することができる。
さらに本発明においては、胴体部に多段階の関節機構を有する複数の腕部がそれぞれ連結されたロボット装置の制御方法において、供給される音楽データに基づく音楽からリズムを抽出する第1のステップと、リズムに基づいて各腕部の平均移動速度の範囲を決定する第2のステップと、各腕部が動作する際に描く軌道を当該各腕部の平均移動速度と共に動作パターンとして予め記憶しておき、複数の動作パターンの中から決定された範囲に合う動作パターンを選択的に読み出す第3のステップとを設けるようにした。
この結果ロボット装置では、ユーザが選曲した音楽のリズムに合う最適な動作パターンに応じたダンスを踊ることができ、かくして従来のようにユーザが事前にロボット装置に音楽ごとにその音楽に応じた動作パターンを教示させておくといった手間や煩雑さを回避することができる。
さらに本発明においては、撮像結果として得られるフレーム画像内に含まれる顔画像及び手画像を認識した後、当該顔画像に対する手画像の相対位置関係に基づいて、フレーム画像内を移動する手画像の軌道を検出し、当該検出された手画像の軌道をロボット用のサイズに変換して得られた動作パターンを記憶しておくようにした。
この結果ロボット装置では、ユーザが所望する動作パターンをユーザ自身の動きを画像認識しながらロボット自身の動きとして学習することができ、かくして従来のようにユーザがロボット装置の手足を直接手にとりながら教示する方法を事前に行うといった手間や煩雑さを回避することができる。
上述のように本発明によれば、胴体部に多段階の関節機構を有する複数の腕部がそれぞれ連結されたロボット装置において、各腕部が動作する際に描く軌道を当該各腕部の平均移動速度と共に動作パターンとして記憶する動作記憶手段と、供給される音楽データに基づく音楽からリズムを抽出するリズム抽出手段と、リズムに基づいて各腕部の平均移動速度の範囲を決定する速度範囲決定手段と、決定された範囲に合う動作パターンを動作記憶手段から選択的に読み出す動作選択手段とを設けるようにしたことにより、ユーザが選曲した音楽のリズムに合う最適な動作パターンに応じたダンスを踊ることができ、かくしてエンターテインメント性を格段と向上させ得るロボット装置を実現できる。
また本発明によれば、胴体部に多段階の関節機構を有する複数の腕部がそれぞれ連結されたロボット装置の制御方法において、供給される音楽データに基づく音楽からリズムを抽出する第1のステップと、リズムに基づいて各腕部の平均移動速度の範囲を決定する第2のステップと、各腕部が動作する際に描く軌道を当該各腕部の平均移動速度と共に動作パターンとして予め記憶しておき、複数の動作パターンの中から決定された範囲に合う動作パターンを選択的に読み出す第3のステップとを設けるようにしたことにより、ユーザが選曲した音楽のリズムに合う最適な動作パターンに応じたダンスを踊ることができ、かくしてエンターテインメント性を格段と向上させ得るロボット装置の制御方法を実現できる。
以下図面について、本発明の一実施の形態を詳述する。
(1)本実施の形態によるロボット1の全体構成
図1において、1は全体として本実施の形態によるロボットを示し、胴体部ユニット2の上部に首部3を介して頭部ユニット4が連結されると共に、当該胴体部ユニット2の上部左右両側面にそれぞれ腕部ユニット5A、5Bが連結され、かつ当該胴体部ユニット2の下部に一対の脚部ユニット6A、6Bが連結されることにより構成されている。
図1において、1は全体として本実施の形態によるロボットを示し、胴体部ユニット2の上部に首部3を介して頭部ユニット4が連結されると共に、当該胴体部ユニット2の上部左右両側面にそれぞれ腕部ユニット5A、5Bが連結され、かつ当該胴体部ユニット2の下部に一対の脚部ユニット6A、6Bが連結されることにより構成されている。
この場合、首部3は、図2に示すように、首関節ピッチ軸10回り、首関節ヨー軸11回り及び首関節ピッチ軸12回りの自由度を有する首関節機構部13により保持されている。また頭部ユニット4は、この首部3の先端部に図2のように首部ロール軸14回りの自由度をもって取り付けられている。これによりこのロボット1においては、頭部ユニット4を前後、左右及び斜めの所望方向に向かせることができるようになされている。
また各腕部ユニット5Aは、図1において明らかなように、上腕部ブロック15、前腕部ブロック16及び手先部ブロック17の3つのブロックから構成され、上腕部ブロック15の上端部が図2のように肩ピッチ軸18回り及び肩ロール軸19回りの自由度を有する肩関節機構部20を介して胴体部ユニット2に連結されている。
このとき前腕部ブロック16は、図2のように上腕部ブロック15に上腕ヨー軸21回りの自由度をもって連結されている。また手先部ブロック17は、図2のように前腕部ブロック16に手首ヨー軸22回りの自由度をもって連結されている。さらに前腕部ブロック16には、肘ピッチ軸23回りの自由度を有する肘関節機構部24が設けられている。
これによりロボット1においては、これら腕部ユニット5A、5Bを全体としてほぼ人間の腕部と同様の自由度をもって動かすことができ、かくして片手を上げた挨拶や腕部ユニット5A、5Bを振り回すダンスなどの当該腕部ユニット5A、5Bを用いた各種行動を行い得るようになされている。
さらに手先部ブロック17の先端部には、5本の指部25がそれぞれ屈曲及び伸長自在に取り付けられており、これによりこれら指部を使って物を摘んだり、把持することができるようになされている。
他方、各脚部ユニット6A、6Bは、図1において明らかなように、大腿部ブロック30、脛部ブロック31及び足平部ブロック32の3つのブロックから構成され、大腿部ブロック30の上端部が図2のように股関節ヨー軸33回り、股関節ロール軸34回り及び股関節ピッチ軸35回りの自由度を有する股関節機構部36を介して胴体部ユニット2に連結されている。
このとき大腿部ブロック30及び脛部ブロック31は、図2のように脛ピッチ軸37回りの自由度を有する膝関節機構部38を介して連結されると共に、脛ブロック31及び足平ブロック32は、図2のように足首ピッチ軸39回り及び足首ロール軸40回りの自由度を有する足首関節機構部41を介して連結されている。
これによりロボット1においては、これら脚部ユニット6A、6Bを人間の脚部とほぼ同様の自由度をもって動かすことができ、かくして歩行やボールを蹴るなどの脚部ユニット6A、6Bを用いた各種行動を行い得るようになされている。
なおこのロボット1の場合、各股関節機構部36は、図2のように体幹ロール軸42回り及び体幹ピッチ軸43回りの自由度を有する腰関節機構部44により支持されており、これにより胴体部ユニット2を前後、左右方向に自在に傾かせることもできるようになされている。
ここでロボット1においては、上述のように頭部ユニット4、各腕部ユニット5A、5B、各脚部ユニット6A、6B及び胴体部ユニット2を動かすための動力源として、図3に示すように、首関節機構部13及び肩関節機構部20等の各関節機構部を含む各自由度を有する部位に、それぞれその自由度数分のモータA1〜A17が配設されている。
また胴体部ユニット2には、当該ロボット1全体の動作制御を司る制御ユニット50と、電源回路及び通信回路などの周辺回路51となどが収納されると共に、各構成ユニット(胴体部ユニット2、頭部ユニット4、各腕部ユニット5A、5B及び各脚部ユニット6A、6B)内には、それぞれ制御ユニット50と電気的に接続された中継用のサブ制御ユニット52A〜52Dが収納されている。
かかるロボット1の機能構成を図4のように模式的に示す。この図4に示すように、ロボット1は、胴体部ユニット2内に設けられた全体の動作の統括的制御やその他のデータ処理を行う制御ユニット50と、各構成ユニット(胴体部ユニット2、頭部ユニット4、各腕部ユニット5A、5B及び各脚部ユニット6A、6B)内の内部に設けられた入出力部55と、図3において上述した各モータA1〜A17を含む動力源からなる駆動部56と、電源部57とで構成される。
入出力部55は、入力部としてロボット1の目に相当する一対のCCD(Charge Coupled Device)カメラ60や、耳に相当する一対のマイクロホン61、頭部や手及び足裏などの部位に配設されてユーザからの物理的な働きかけや、手と外部物体との接触、足裏面の接地等を感知するタッチセンサ62、あるいは五感に相当するその他の各種のセンサを含む。
また入出力部55は、出力部としてロボット1の口に相当するスピーカ63、あるいは点滅の組み合わせや点灯のタイミングにより顔の表情を形成するLED(目ランプ)64などを装備している。これら出力部は、音声やランプの点滅など、脚などによる機械運動パターン以外の形式でもロボット1からのユーザ・フィードバックを表現することができる。
駆動部56は、制御ユニット50が指令する所定の運動パターンに従ってロボット1の機体動作を実現する機能ブロックであり、行動制御による制御対象物である。駆動部56は、ロボット1の各関節における自由度を実現するための機能モジュールであり、それぞれの関節におけるロール、ピッチ、ヨーなど各軸毎に設けられた複数の駆動ユニット651〜6517で構成される。各駆動ユニット651〜6517は、所定軸回りの回転動作を行うモータA1〜A17と、モータA1〜A17の回転位置を検出するエンコーダP1〜P17と、エンコーダP1〜P17の出力に基づいてモータA1〜A17の回転位置や回転速度を適応的に制御するドライバ661〜6617の組み合わせで構成される。
電源部57は、その字句通り、ロボット1内に各電気回路などに対して給電を行う機能モジュールである。本実施の形態に係るロボット1は、バッテリを用いた自律駆動式であり、電源部57は、充電バッテリ67と、充電バッテリ67の充放電状態を管理する充放電制御部68とで構成される。
充電バッテリ67は、例えば、複数本のリチウムイオン2次電池セルをカートリッジ式にパッケージ化した「バッテリ・パック」の形態で構成される。
また、充放電制御部68は、充電バッテリ67の端子電圧や充電/放電電流量、充電バッテリ67の周囲温度などを測定することで充電バッテリ67の残存容量を把握し、充電の開始時期や終了時期などを決定する。充放電制御部68が決定する充電の開始及び終了時期は制御ユニット50に通知され、ロボット1が充電オペレーションを開始及び終了するためのトリガとなる。
制御ユニット50は、ロボット1の「頭脳」に相当し、例えば頭部ユニット4又は胴体部ユニット2内に搭載されている。この制御ユニット50は、図5に示すように、メイン・コントローラとしてのCPU(Central Processing Unit)70が、メモリやその他の各回路コンポーネントや周辺機器とバス接続された構成となっている。バス71は、データ・バス、アドレス・バス、コントロール・バスなどを含む共通信号伝送路である。バス71上の各装置にはそれぞれに固有のアドレス(メモリ・アドレス又はI/Oアドレス)が割り当てられている。CPU70は、アドレスを指定することによってバス71上の特定の装置と通信することができる。
RAM(Read Access Memory)72は、DRAM(Dynamic RAM)などの揮発性メモリで構成された書き込み可能メモリであり、CPU70が実行するプログラム・コードをロードしたり、実行プログラムによる作業データの一時的な保存のために使用される。
ROM(Read Only Memory)73は、プログラムやデータを恒久的に格納する読み出し専用メモリである。ROM73に格納されるプログラム・コードには、ロボット1の電源投入時に実行する自己診断テスト・プログラムや、ロボット1の動作を規定する制御プログラムなどが挙げられる。
ロボット1の制御プログラムには、CCDカメラ60やマイクロホン61などの各種センサからの入力を処理してシンボルとして認識する「センサ入力・認識処理プログラム」、短期記憶などの記憶動作を司りながらセンサ入力と所定の行動制御モデルとに基づいてロボット1の行動を制御する「行動制御プログラム」、行動制御モデルに従って各関節モータの駆動やスピーカ63の音声出力などを制御する「駆動制御プログラム」などが含まれる。
不揮発性メモリ74は、例えばEEPROM(Electrically Erasable and Programmable ROM)のように電気的に消去再書き込みが可能なメモリ素子で構成され、逐次更新すべきデータを不揮発的に保持するために使用される。逐次更新すべきデータには、暗記鍵やその他のセキュリティ情報、出荷後にインストールすべき装置制御プログラムなどが挙げられる。
インターフェース75は、制御ユニット50外の機器と相互接続し、データ交換を可能にするための装置である。インターフェース75は、例えば、入出力部55内のCCDカメラ60やマイクロホン61及びスピーカ63との間でデータ入出力を行う。また、インターフェース75は、駆動部56内の各ドライバ661〜6617との間でデータやコマンドの入出力を行う。
また、インターフェース75は、RS(Recommended Standard)−232Cなどのシリアル・インターフェース、IEEE(Institute of Electrical and Electronics Engineers )1284などのパラレル・インターフェース、USB(Universal Serial Bus)インターフェース、i−Link(IEEE1394)インターフェース、SCSI(Small Computer System Interface )インターフェース、PCカードやメモリ・スティックを受容するメモリ・カードインターフェース(カードスロット)などのような、コンピュータの周辺機器接続用の汎用インターフェースを備え、ローカル接続された外部機器との間でプログラムやデータの移動を行い得るようにしてもよい。また、インターフェース75の他の例として、赤外線通信(IrDA)インターフェースを備え、外部機器と無線通信を行うようにしてもよい。
さらに、制御ユニット50は、無線通信インターフェース76やネットワーク・インターフェース・カード(NIC)77などを含み、Bluetoothのような近接無線データ通信や、IEEE802.11bのような無線ネットワーク、あるいはインターネットなどの高域ネットワークを経由して、外部のさまざまなホスト・コンピュータとデータ通信を行うことができる。
このようなロボット1とホスト・コンピュータ間におけるデータ通信により、遠隔のコンピュータ資源を用いて、ロボット1の複雑な動作制御を演算したり、リモート・コントロールすることができる。
(2)ロボット1のソフトウェア構成
図6は、ROM73(図5)に格納された制御プログラム群により構成されるロボット1の行動制御システム80の機能構成を模式的に示したものである。
図6は、ROM73(図5)に格納された制御プログラム群により構成されるロボット1の行動制御システム80の機能構成を模式的に示したものである。
この行動制御システム80は、オブジェクト指向プログラミングを採り入れて実装されている。この場合、各ソフトウェアは、データとそのデータに対する処理手続きとを一体化させた「オブジェクト」というモジュール単位で扱われる。また各オブジェクトは、メッセージ通信と共有メモリを使ったオブジェクト間通信方法によりデータの受け渡しとInvokeを行うことができる。
ここで行動制御システム80は、CCDカメラ60(図4)、マイクロホン61(図4)及びタッチセンサ62(図4)などの各種センサからのセンサ出力に基づいて外部環境を認識するための画像認識部81、音声認識部82及び接触認識部83を有している。
画像認識部81は、CCDカメラ60から与えられる画像信号S1に基づいて顔認識や色認識などの画像認識処理や特徴抽出を実行する。そして画像認識部81は、かかる顔認識結果であるその人物に固有の顔ID(識別子)、顔画像領域の位置及び大きさといった顔認識情報や、色認識結果である色領域の位置や大きさ及び特徴量といった色認識情報などの各種画像認識結果と、画像信号S1とを短期記憶部84に送出する。また画像認識部81は、CCDカメラ60からの画像信号S1に基づいて、いわゆるステレオビジョン法によって撮像対象までの距離を検出し、検出結果を短期記憶部84に送出する。
この音声認識部82は、マイクロホン61から与えられる音声信号S2を受け取ると、当該音声信号S2に基づいて音声認識や話者認識、音源方向認識などの各種音に関する認識処理を実行する。そして音声認識部82は、かかる音声認識結果である認識した単語の文字列情報と、音響的特徴等に基づく話者認識処理結果であるその話者に固有の話者ID情報と、音源方向認識結果である音源方向情報となどの各種音声認識結果を短期記憶部84に送出する。また音声認識部82は、これら各種音声認識結果と併せて、これら音声信号S2を短期記憶部84に送出する。
さらに接触認識部83は、頭部ユニット4(図1)の上部や腕部ユニット5A、5B(図1)の先端部である手、脚部ユニット7A、7B(図1)の底部である足底等に配設されたタッチセンサ62からそれぞれ与えられる圧力検出信号S3に基づいて「撫でられた」、「叩かれた」、「物を把持した」、「足裏面が接地した」という外部との物理的な接触を認識し、得られたこれら接触認識結果を短期記憶部84に送出する。また接触認識部83は、これら接触認識結果と併せて、各タッチセンサ62からの圧力検出信号S3を短期記憶部84に送出する。
短期記憶部84は、ロボット1の外部環境に関する情報を比較的短い時間だけ保持するオブジェクトであり、画像認識部81から与えられる各種画像認識結果及び画像信号S1と、音声認識部82から与えられる各種音声認識結果、音源位置情報及び音声信号S2と、接触認識部83から与えられる各種接触認識結果及び圧力検出信号S3とを受け取り、これらを短期間だけ記憶する。
また短期記憶部84は、これら受け取った画像認識結果、音声認識結果及び接触認識結果と、画像信号S1、音声信号S2、音源位置情報、自己位置情報及び各圧力検出信号S3とを統合的に用いて顔画像領域、人物ID、話者ID及び文字列情報等の対応付けを行うことにより、現在どこにどの人物がいて、発した言葉がどの人物のものであり、その人物とはこれまでにどのような対話を行ったかというターゲット情報及びイベント情報を生成し、これを行動選択制御部85に送出する。
行動選択制御部85は、短期記憶部84から与えられるターゲット情報及びイベント情報と、短期記憶部84の記憶内容とに基づいて、予め複数用意されている行動の中からロボット1が現在置かれている状況及び以前の行動に依存して選択した行動(状況依存行動)や、外部刺激に応じた反射的な行動(反射行動)、又は与えられた状況若しくはユーザからの命令に応じた比較的長期に渡る行動計画に基づく行動(熟考行動)などを次のロボット1の行動として決定する。そして行動選択制御部85は、このようにして決定した行動を出力管理部86に通知する。
出力管理部86は、行動選択制御部85からの通知に応じて、状況依存行動及び反射行動などの複数の行動が競合した場合の調停処理や、動作、音声及びLED64の点滅の同期をとる処理を行いながら、対応する駆動ユニット661〜6617のモータA1〜A17を駆動したり、LED64を所定パターンで点滅駆動させる。
また行動選択制御部85は、次の行動としてユーザとの対話を決定した場合には、この後音声認識部82により短期記憶部84に順次格納されるユーザの発話の音声認識結果を常時監視し、この音声認識結果に基づいて、ロボット1に発話させるべき内容を順次決定する。
そして行動選択制御部85は、この決定結果に基づいて必要な発話内容を予めROM73(図5)に格納されたデータベース(図示せず)から読み出し、これを出力管理部86に送出する。
このようにしてこのロボット1においては、CCDカメラ60、マイクロホン61及びタッチセンサ62などの各種センサのセンサ出力に基づき認識される外部状況等に基づいて自律的に行動し得るようになされている。
(3)動作記憶制御機能及びダンス選択制御機能に関する行動制御システム80の処理
次にこのロボット1に搭載されている動作記憶制御機能及びダンス選択制御機能について説明する。このロボット1には、ユーザの手の軌道(動作する際に描く一定の経路)に基づく動作パターンを予め動作データベース87(図6)に記憶しておく動作記憶制御機能と、BGM(background music)データベース88(図6)から選択的に再生される音楽の特徴に合わせて動作データベース87から最適な動作パターンを読み出して当該動作パターンに応じたダンスを踊らせるダンス選択制御機能とが搭載されている。そしてこれら動作記憶制御機能及びダンス選択制御機能は、主として図6について上述した行動制御システム80における各種処理により実現されている。
次にこのロボット1に搭載されている動作記憶制御機能及びダンス選択制御機能について説明する。このロボット1には、ユーザの手の軌道(動作する際に描く一定の経路)に基づく動作パターンを予め動作データベース87(図6)に記憶しておく動作記憶制御機能と、BGM(background music)データベース88(図6)から選択的に再生される音楽の特徴に合わせて動作データベース87から最適な動作パターンを読み出して当該動作パターンに応じたダンスを踊らせるダンス選択制御機能とが搭載されている。そしてこれら動作記憶制御機能及びダンス選択制御機能は、主として図6について上述した行動制御システム80における各種処理により実現されている。
(3−1)動作記憶制御機能
このうち動作記憶制御機能に関する行動制御システム80の処理内容としては、図7に示すフローチャートRT1において、ユーザの顔に対する左右の手の相対位置関係に基づき、当該左右の手の軌道を検出する手軌道検出処理(ステップSP1)と、当該検出したユーザの各手の軌道をロボット1の各手の軌道に合うようにサイズ変換する軌道サイズ変換処理(ステップSP2)とに分類される。
このうち動作記憶制御機能に関する行動制御システム80の処理内容としては、図7に示すフローチャートRT1において、ユーザの顔に対する左右の手の相対位置関係に基づき、当該左右の手の軌道を検出する手軌道検出処理(ステップSP1)と、当該検出したユーザの各手の軌道をロボット1の各手の軌道に合うようにサイズ変換する軌道サイズ変換処理(ステップSP2)とに分類される。
まず手軌道検出処理における行動制御システム80では、画像認識部81は、CCDカメラ60から与えられる画像信号S1に基づいて、被写体である人物の顔に相当する画像領域(以下、これを顔画像領域と呼ぶ)の位置及び大きさ等の顔認識処理を行うと共に、当該人物の左右の手に相当する画像領域(以下、これを手画像領域と呼ぶ)の位置及び大きさ等の手認識処理を時系列的に行いながら、当該手画像領域の軌道を検出する。
具体的に本実施の形態においては、被写体人物の顔認識処理を行う方法として、固定顔、ニューラルネットワーク及びサポートベクタマシン(SVM:Support Vector Machine)などのパターン認識の手法を利用して、予め顔パターンを学習させて識別器を生成する方法を採用している。
すなわちパターン認識を用いて撮像画像の中から人物の顔画像領域を検出するプロセスの場合、撮像画像から背景差分及び肌色領域の抽出を行うことにより顔探索範囲を絞り込んだ後、テンプレートマッチングを行って顔候補を抽出し、得られた顔画像領域から主成分分析した結果を特徴量として識別カテゴリ毎に作成したガウス混合モデルを用いて尤度計算を行うことにより、当該尤度の比較及び統合に基づいて顔又は非顔の判定を行う。
また被写体人物の左右の手画像領域の軌道を検出する方法として、本実施の形態においては、撮像画像の中から左右の手画像領域を色情報に基づいて切り出した後、当該左右の手画像領域を検出及び追跡を行いながらこれらの軌道を検出する。
まず画像認識部81は、画像信号に基づくフレーム画像の2次元色ヒストグラムを正規混合分布で近似して手画像領域及び背景画像領域の色モデルを動的に生成する。その際、かかる正規混合分布は、第1の正規分布が手画像領域の色の分布と近似するように、制限付きEMアルゴリズムによって推定される。
すなわち制限付きEMアルゴリズムで正規混合分布を推定する際に、検出対象となる手画像領域の色の推定平均値を求めた後、当該手画像領域を形成する画素群をベイズ決定則に基づいて分類する。このときフレーム画像内における手画像領域の位置は一定ではなく、固定的な分布では不十分であることから、平均値シフトアルゴリズムに基づいて適正な位置にこの分布を平行移動する。
このようにして画像認識部81は、比較的簡易な演算処理を行いつつ動的に手画像領域及び背景画像領域の色モデルを更新しながら当該手画像領域を切り出して追跡することができる。
なおここで、色による手画像領域の切り出しのために用いられるベイズ決定則について述べる。2次元色ヒストグラムPは、照明の影響を最小限に抑えるべく、HSV(又はHSI)表色系のHS色空間を用いて算出される。この2次元色ヒストグラムPは、K個の正規分布N1、…、NKの重み付きの和である正規混合分布により近似される。
その正規混合分布は、HS色空間の色をc、正規分布Nの重みをξi、各分布Nの平均値及び標準偏差をμi、σiとしたとき、次式、
のように定義される。
この正規混合分布は、その第1の正規分布N1が手の色の分布を近似するように制限付きEMアルゴリズムによって推定される。第1の正規分布N1で手画像領域の色をモデル化するためには、平均値μi及び標準偏差σiは、それぞれ次式、
のように表される。ここで、ξlow、ξhighはそれぞれ学習用データでの標準偏差ξ1の上限及び下限であり、E(Chand)は、手画像領域の色の分布の推定平均である。この結果、平均値μ1は固定され、標準偏差ξ1は制限される。
かかるE(Chand)は、手画像領域の空間確率密度分布P(hand|x,y)に従って、フレーム画像を形成する各画素の色情報を重み付き平均することにより求められる。
このようにして最終的にベイズ決定則に基づいて、次式、
のような関係式が成り立つ画素群を手画像領域の色をもつ画素群として、当該色をもたない画素群から分類することができる。
次に画像認識部81は、画像信号S1に基づくフレーム画像の中から切り出した手画像領域を、検出過程及び追跡過程の2種類の処理過程を経るようにして軌道を検出する。
まず画像認識部81は、手画像領域の検出過程において、フレーム画像内に所定の位置及びサイズでなるガイドサークルを初期値として設定しておき、当該ガイドサークル内をユーザの人指し指の指先をタッチすることで開始状態となると仮定する。本実施の形態の場合、かかるガイドサークルの直径をCCDカメラの垂直画角の25〔%〕に設定するようになされている。
この手画像領域の空間確率密度分布P(hand|x,y)は、想定された初期位置のための空間確率密度分布であり、ユーザの手は当該空間確率分布を用いてその位置周辺でしか検出されないことから、フレーム画像から外れるまで手画像領域を追跡すべく、次の手画像領域の追跡過程を行う。
続いて画像認識部81は、手画像領域の追跡過程において、手画像領域の空間確率密度分布P(hand|x,y)を、近傍の支配的なモードを探索する単純な反復法である平均値シフトアルゴリズムにより導き出される位置に平行移動することにより追跡を可能とする。
具体的には画像認識部81は、手画像領域の空間確率密度分布P(hand|x,y)が現在の手画像領域の位置に徐々に移動するように、平均値シフトアルゴリズムの各反復過程に上述した式(4)を用いた手画像領域を形成する画素群の分類処理を組み込む。
すなわちまず画像認識部81は、手画像領域の空間確率密度分布P(hand|x,y)の重心を前フレームで計算された手画像領域の画素群の平均位置に平行移動する。続いて画像認識部81は、その移動した手画像領域の空間確率密度分布P(hand|x,y)と現フレーム画像からその推定平均E(Chand)を求め、制限付きEMアルゴリズムを用いて計算される正規混合分布により、手画像領域及び背景画像領域の色モデルを生成する。
さらに画像認識部81は、手画像領域の空間確率密度分布P(hand|x,y)と手画像領域及び背景画像領域の色モデルとを用いて、上述した式(4)により手画像領域及び背景画像領域の画素群を分類した後、このうち手画像領域の画素群の平均位置を求め、当該平均位置に手画像領域の空間確率密度分布P(hand|x,y)の重心を移動する。
そして画像認識部81は、かかる手画像領域の空間確率密度分布P(hand|x,y)の重心を当該平均位置に移動する処理を、当該処理結果が収束するか、又は繰り返し回数が所定回数以上になるまで繰り返す。
このようにして画像認識部81は、各フレーム画像において、手画像領域の色の分布の推定平均E(Chand)が、前フレーム画像で計算された手画像領域の画素群の平均位置に移動した手画像領域の空間確率密度分布P(hand|x,y)を用いて得られ、さらに、正規混合分布がその推定平均E(Chand)と手画像領域の空間確率密度分布P(hand|x,y)を用いて得られることを利用して、動的に手画像領域及び背景画像領域の色モデルを更新しながら手画像領域を追跡することができる。
続いて軌道サイズ変換処理における行動制御システム80では、画像認識部81は、手軌道検出処理において検出したユーザの左右の手画像領域の軌道を、実際にロボットが動かす左右の手の軌道に合うようにサイズ変換する。
具体的には画像認識部81は、フレーム画像内の手画像領域及び顔画像領域の位置をそれぞれ画面上の座標として検出した後、手画像領域の位置座標から顔画像領域の位置座標を減算することにより、手画像領域の顔画像領域に対する相対座標を算出することができる。例えば0.1秒ごとに検出すると、1秒間に10組の左右の手画像領域の顔画像領域に対する相対座標を得ることができる。
さらに画像認識部81は、得られた相対座標の時間変化に基づいて、各時刻における手画像領域の移動速度を算出することができると共に、当該手画像領域の移動速度の変化量に基づいて、各時刻における左右の手画像領域の加速度を算出することができる。
従って、画像認識部81は、所定時間ごと(例えば0.1秒ごと)に算出した左右の手画像領域の相対位置、移動速度及び加速度に基づいて、ロボット1の左右の手の軌道を表すデータ(以下、これを軌道データと呼ぶ)を算出することができる。さらに画像認識部81は、左右の手画像領域の移動速度及び加速度について例えば5サンプル程度の平均値を計算するようにして、一層ばらつきの少ないスムーズな値を得ることができる(以下、これらの平均値を表すデータを平均移動データと呼ぶ)。
このようにして行動制御システム80では、ユーザが左右の手を所望方向に移動させながら所望の動作パターンを行ったときに、画像認識部81がその動作パターンに応じたロボット1の左右の手の軌道を検出した後、当該検出結果でなる軌道データ及びこれに対応する平均移動データ(以下、これらを合わせて動作パターンデータと呼ぶ)S10を短期記憶部84を介して動作データベース87に記憶する。
その際、短期記憶部84は、動作データベース87に対する記憶の開始及び終了をユーザからの発話内容に基づいて行うようになされている。すなわち短期記憶部84は、ユーザが発した開始の合図(例えば「ジェスチャ学習開始」)を音声認識部82からの音声認識結果として受け取ると、画像認識部81における上述したロボット1の左右の手の軌道の検出結果である動作パターンデータS10を動作データベース87に記憶する一方、ユーザが発した終了の合図(例えば「ジェスチャ学習停止」)を音声認識部82からの音声認識結果として受け取ると、動作パターンデータS10の動作データベース87への記録を停止する。
このように行動制御システム80では、上述のような動作記憶制御機能を実行することにより、ユーザの左右の手の軌道に基づく動作パターンをロボット用の動作パターンに変換して得られる動作パターンデータ(軌道データ及びこれに対応する平均移動データ)S10として動作データベース87に記憶することができる。
(3−2)ダンス選択制御機能
またダンス選択制御機能に関する行動制御システム80の処理内容としては、図8に示すフローチャートRT2において、ユーザによって選曲された音楽のリズム(又はビート)を抽出するリズム抽出処理(ステップSP11)と、当該抽出した音楽のリズムに基づいてロボット1の左右の手の平均移動速度の範囲を決定した後、その範囲に合う動作パターンを選択して出力する動作選択処理(ステップSP12)とに分類される。
またダンス選択制御機能に関する行動制御システム80の処理内容としては、図8に示すフローチャートRT2において、ユーザによって選曲された音楽のリズム(又はビート)を抽出するリズム抽出処理(ステップSP11)と、当該抽出した音楽のリズムに基づいてロボット1の左右の手の平均移動速度の範囲を決定した後、その範囲に合う動作パターンを選択して出力する動作選択処理(ステップSP12)とに分類される。
まずリズム抽出処理における行動制御システム80では、BGM選択部89がユーザが指定した音楽を表す音楽データS11をBGMデータベース88から読み出して行動選択制御部85及び出力管理部86にそれぞれ送出する。
行動選択制御部85は、BGM選択部89によって選択された音楽データS11がBGMデータベース88から与えられると、当該音楽データS11に基づく音楽の基本要素のうちリズムを抽出する。
基本的に音楽は、メロディ(旋律)、ハーモニ(和音)及びリズム(拍子)の3種類の要素から構成される。このうちリズムは、連続する一定の拍子を意味し、当該拍子の速度(テンポ)を1分間に4分音符がいくつ入るかを単位として表すようになされている。
具体的に行動選択制御部85は、BGMデータベース88から読み出した音楽データS11をローパスフィルタ(図示せず)を介して低周波数成分(数〔Hz〕〜数十〔Hz〕)を検出した後、所定レベルに設定した閾値を基準として、当該音楽データS11における信号レベルのピークの立ち上がりを順次検出する。
続いて行動選択制御部85は、得られた信号レベルの各ピークの立ち上がり時点から所定期間だけデータを無視する期間(ピーク幅)を設定し、そのピーク幅を除いた信号波形を解析するようにして、各ピーク同士の間隔(ピーク間隔)を計算する。
このようにして行動選択制御部85は、音楽データS11における信号レベルのピーク間隔の平均値を求めた後、当該ピーク間隔の平均値を表す周波数をリズム(拍子)として得ることができる。
続いて動作選択処理における行動制御システム80では、行動選択制御部85は、リズム抽出処理において抽出した音楽データS11に基づく音楽のリズムを、その周波数の値に従い複数のクラスに分類する。本実施の形態の場合、音楽のリズムの周波数が0〔Hz〕以上5〔Hz〕未満の範囲を第1のクラスと、5〔Hz〕以上10〔Hz〕未満の範囲を第2のクラスと、10〔Hz〕以上30〔Hz〕未満の範囲を第3のクラスと、30〔Hz〕以上の範囲を第4のクラスと分類する。
そして音楽のリズムに対してロボット1の手の移動速度がどの程度が適当であるかをユーザが主観的に決定する必要があるため、行動選択制御部85は、音楽のリズムを周波数レベルで分類した4つのクラスについて、当該各クラスごとにロボット1の左右の手の平均移動速度の範囲を割り当てる。すなわち本実施の形態の場合、ロボット1の左右の手の平均移動速度を、第1のクラスには0〔cm/sec〕以上2〔cm/sec〕未満の範囲を、第2のクラスには2〔cm/sec〕以上4〔cm/sec〕未満の範囲を、第3のクラスには4〔cm/sec〕以上8〔cm/sec〕未満の範囲を、第4のクラスには8〔cm/sec〕以上の範囲をそれぞれ割り当てるようになされている。
このように音楽のリズムとロボット1の左右の手の平均移動速度とは図9に示すような対応表として表わされる。この対応表によると、例えば現在の音楽のリズムが8〔Hz〕と検出された場合、ロボット1の左右の手の平均移動速度が、第2のクラスすなわち2〔cm/sec〕以上4〔cm/sec〕未満の範囲にある動作パターンを選択すれば良いことがわかる。
やがて行動選択制御部85は、動作データベース87に記憶されている複数の動作パターンデータS10のうち、現在の音楽のリズムに対応するロボット1の左右の手の平均移動速度の範囲を決定した後、当該範囲内にある平均移動データを含む動作パターンデータS10を乱数を用いてランダムに選択して読み出す。
かくして出力管理部86は、BGM選択部89によって選択された音楽データS11がBGMデータベース88から与えられると共に、行動選択制御部85から動作パターンデータS10が与えられると、この音楽データS11に基づく音楽を再生すると同時に当該音楽のリズムに合う最適な動作パターンを再現させることができる。
このように行動制御システム80では、上述のようなダンス選択制御機能を実行することにより、ユーザが指定した音楽のリズムに合わせて最適な動作パターンを選択して、当該動作パターンに応じたダンスを踊らせることができる。
(4)本実施の形態による動作及び効果
以上の構成において、ロボット1では、ユーザの指示によりユーザ自身が左右の手を用いて所望の動作を行うと、当該左右の手の軌道をユーザの顔に対する相対位置関係に基づいて検出した後、当該検出したユーザの左右の手の軌道をその平均移動速度と共にロボット用のサイズに変換して動作パターンとして記憶しておく。
以上の構成において、ロボット1では、ユーザの指示によりユーザ自身が左右の手を用いて所望の動作を行うと、当該左右の手の軌道をユーザの顔に対する相対位置関係に基づいて検出した後、当該検出したユーザの左右の手の軌道をその平均移動速度と共にロボット用のサイズに変換して動作パターンとして記憶しておく。
このようにロボット1では、ユーザが所望する動作パターンをユーザ自身の動きを画像認識しながらロボット自身の動きとして学習することができ、この結果、従来のようにユーザがロボット1の手足を直接手にとりながら教示する方法を事前に行うといった手間や煩雑さを回避することができる。
続いてロボット1は、ユーザの操作に応じて所望の音楽が選曲されると、当該選曲された音楽のリズムを抽出してそのリズムに基づいてロボット1の左右の手の平均移動速度の範囲を決定した後、その範囲に合う動作パターンを予め記憶された動作パターンの中から選択することにより、ユーザが選曲した音楽のリズムに合う最適な動作パターンに応じたダンスを踊ることができる。
例えばリズムの速い曲であればロボット1の手先の平均移動速度が比較的速い動作パターンを選択する一方、リズムの遅い曲であればロボット1の手先の平均移動速度が比較的遅い動作パターンを選択することが可能となる。
このようにロボット1では、ユーザが選曲した音楽のリズムに合う最適な動作パターンに応じたダンスを踊ることができ、この結果、従来のようにユーザが事前にロボット1に音楽ごとにその音楽に応じた動作パターンを教示させておくといった手間や煩雑さを回避することができる。
以上の構成によれば、このロボット1において、ユーザ自身が行った動作を画像認識しながら当該動作に応じた左右の手の軌道をその平均移動速度と共にロボット用のサイズに変換して動作パターンとして記憶しておき、選曲された音楽から抽出したリズムに基づいてロボット1の左右の手の平均移動速度の範囲を決定して当該範囲に合う動作パターンを選択するようにしたことにより、選曲した音楽のリズムに合う最適な動作パターンに応じたダンスを踊ることができ、この結果、ロボット1の踊りを面白くかつバリエーション豊富に発現させることができ、かくしてエンターテインメント性を格段と向上させ得るロボットを実現できる。
(5)他の実施の形態
なお上述のように本実施の形態においては、本発明を図1〜図3のように、胴体部ユニット(胴体部)2に多段階の関節機構を有する複数の腕部ユニット5A、5Bがそれぞれ連結されたロボット1に適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のロボット装置に広く適用することができる。
なお上述のように本実施の形態においては、本発明を図1〜図3のように、胴体部ユニット(胴体部)2に多段階の関節機構を有する複数の腕部ユニット5A、5Bがそれぞれ連結されたロボット1に適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のロボット装置に広く適用することができる。
また上述のように本実施の形態においては、各腕部ユニット(腕部)5A、5Bが動作する際に描く軌道を当該各腕部ユニット(腕部)5A、5Bの平均移動速度と共に動作パターンとして記憶する動作記憶手段を、図6に示す行動制御システム80における動作データベース87から構成するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成からなる動作記憶手段に広く適用するようにしても良い。
また動作記憶手段としての動作データベース87に記憶する動作パターンを、CCDカメラ(撮像手段)60による撮像結果として得られるフレーム画像内に含まれる顔画像及び手画像を画像認識部(画像認識手段)81において認識した後、当該顔画像に対する手画像の相対位置関係に基づいて、フレーム画像内を移動する手画像の軌道を画像認識部(軌道検出手段)81において検出し、当該検出された手画像の軌道を画像認識部(サイズ変換手段)81においてロボット用のサイズに変換して得るようにした場合について述べたが、本発明はこれに限らず、ユーザの負担を低減し得る手法であれば、種々の方法を用いて生成した動作パターンを記憶させるようにしても良い。
さらに画像認識部81は、撮像結果として得られるフレーム画像内に含まれる顔画像及び手画像を認識した後、当該顔画像に対する手画像の相対位置関係に基づいて、フレーム画像内を移動する手画像の軌道を検出するようにした場合について述べたが、本発明はこれに限らず、ユーザが体に色付きのバンドを装着しておき、当該各バンドの色検出を行うようにしても良く、この場合、ユーザの体の多くの部分の動きを検出することができる利点がある。さらに体の部分とバンドの色との関係を予め決定しておけば、画像認識部81における画像認識処理に要する負担が低減されるため処理速度を早くし得るという利点がある。
さらに上述のように本実施の形態においては、供給される音楽データS11に基づく音楽からリズムを抽出するリズム抽出手段と、リズムに基づいて各腕部ユニット(腕部)5A、5Bの平均移動速度の範囲を決定する速度範囲決定手段と、決定された範囲に合う動作パターンを動作データベース(動作記憶手段)87から選択的に読み出す動作選択手段とを、図6に示す行動制御システム80における行動選択制御部85から構成するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成のものを適用するようにしても良く、さらにはリズム抽出手段、速度範囲決定手段及び動作選択手段を一体構成のもの以外にも別々に構成するようにしても良い。
また行動選択制御部(リズム抽出手段)85は、ピーク検出によりリズム抽出を行うようにした場合について述べたが、本発明はこれに限らず、自己相関、すなわち時間に関する不規則変動量とその隔たり時間との2つの変動積の平均値を用いてリズム抽出を行うようにしても良い。
また行動選択制御部(動作選択手段)85は、単に動作パターンを選択する以外にも、選択した動作パターンを逐次的に繋ぎ合わせるようにしても良い。例えば、ロボット1が音楽を再生しながら10秒ごとに当該音楽のリズムの抽出と動作パターンの選択とを行うようにすれば、より一層選曲された音楽の状態に合わせた細かい動作パターンの選択をすることができる。
さらに上述のように本実施の形態においては、複数種類の音楽データS11を予め記憶しておく音楽記憶手段を、図6に示す行動制御システム80におけるBGMデータベース88から構成し、外部から指定された音楽に対応する音楽データS11をリズム抽出対象とするようにした場合について述べたが、本発明はこれに限らず、この他種々の構成のものを広く適用するようにしても良い。
またBGMデータベース(音楽記憶手段)88には、予め音楽データS11を記憶させておく以外にも、例えばインターネット等のネットワークを介して種々の音楽サーバ(図示せず)から必要に応じて複数種類の音楽データS11をダウンロードするように設定しておくようにしても良い。この結果、ロボット1では、記憶しておく音楽の種類をより豊富にすることができて非常に便利である。
さらに上述のように本実施の形態においては、BGMデータベース(音楽記憶手段)88に予め音楽データS11を記憶させておくようにした場合について述べたが、本発明はこれに限らず、ロボット1の背景に流れる音楽をマイクロホン(音楽収音手段)61を用いて収音した後、当該収音した音楽について行動選択制御部(リズム抽出手段)85がリアルタイムでリズムを抽出するようにしても良い。この結果、ロボット自体に音楽の再生機能を設ける必要がなくて済み、環境にかかわらずバリエーション豊富なダンスを踊らせることができる。
本発明は、エンターテインメントロボットの他、対話機能を有する他の用途のロボット装置やロボット装置以外の他の機器に広く適用することができる。
1……ロボット、2……胴体部ユニット、4……頭部ユニット、5A、5B……腕部ユニット、50……制御ユニット、55……入出力部、56……駆動部、57……電源部、60……マイクロホン、61……CCDカメラ、62……タッチセンサ、63……スピーカ、70……CPU、80……行動制御システム、81……画像認識部、82……音声認識部、83……接触認識部、84……短期記憶部、85……行動選択制御部、86……出力管理部、87……動作データベース、88……BGMデータベース、89……BGM選択部、S1……画像信号、S2……音声信号、S10……動作パターンデータ、S11……音楽データ、RT1……動作記憶制御機能、RT2……ダンス選択制御機能。
Claims (12)
- 胴体部に多段階の関節機構を有する複数の腕部がそれぞれ連結されたロボット装置において、
各上記腕部が動作する際に描く軌道を当該各腕部の平均移動速度と共に動作パターンとして記憶する動作記憶手段と、
供給される音楽データに基づく音楽からリズムを抽出するリズム抽出手段と、
上記リズムに基づいて各上記腕部の平均移動速度の範囲を決定する速度範囲決定手段と、
上記決定された範囲に合う動作パターンを上記動作記憶手段から選択的に読み出す動作選択手段と
を具えることを特徴とするロボット装置。 - 撮像手段による撮像結果として得られるフレーム画像内に含まれる顔画像及び手画像を認識する画像認識手段と、
上記画像認識手段により認識された上記顔画像に対する上記手画像の相対位置関係に基づいて、上記フレーム画像内を移動する上記手画像の軌道を検出する軌道検出手段と、
上記軌道検出手段により検出された上記手画像の軌道をロボット用のサイズに変換して上記動作パターンを得るサイズ変換手段と
を具え、
上記動作記憶手段は、上記サイズ変換手段から得られる上記動作パターンを記憶する
ことを特徴とする請求項1に記載のロボット装置。 - 複数種類の上記音楽データを予め記憶しておく音楽記憶手段
を具え、
上記音楽記憶手段は、外部から指定された音楽に対応する上記音楽データを上記リズム抽出手段に供給する
ことを特徴とする請求項1に記載のロボット装置。 - 上記音楽記憶手段は、
必要に応じてネットワークを介して複数種類の上記音楽データをダウンロードする
ことを特徴とする請求項3に記載のロボット装置。 - ロボットの背景に流れる音楽を収音する音楽収音手段
を具え、
上記リズム抽出手段は、上記音楽収音手段により収音された上記音楽からリアルタイムでリズムを抽出する
ことを特徴とする請求項1に記載のロボット装置。 - 上記動作選択手段は、
上記選択した動作パターンを逐次的に繋ぎ合わせる
ことを特徴とする請求項1に記載のロボット装置。 - 胴体部に多段階の関節機構を有する複数の腕部がそれぞれ連結されたロボット装置の制御方法において、
供給される音楽データに基づく音楽からリズムを抽出する第1のステップと、
上記リズムに基づいて各上記腕部の平均移動速度の範囲を決定する第2のステップと、
各上記腕部が動作する際に描く軌道を当該各腕部の平均移動速度と共に動作パターンとして予め記憶しておき、複数の上記動作パターンの中から上記決定された範囲に合う動作パターンを選択的に読み出す第3のステップと
を具えることを特徴とするロボット装置の制御方法。 - 上記第3のステップでは、
撮像結果として得られるフレーム画像内に含まれる顔画像及び手画像を認識した後、当該顔画像に対する上記手画像の相対位置関係に基づいて、上記フレーム画像内を移動する上記手画像の軌道を検出し、当該検出された上記手画像の軌道をロボット用のサイズに変換して得られた上記動作パターンを記憶しておく
ことを特徴とする請求項7に記載のロボット装置の制御方法。 - 上記第1のステップでは、
予め記憶しておいた複数種類の上記音楽データのうち、外部から指定された音楽に対応する上記音楽データをリズム抽出対象とする
ことを特徴とする請求項7に記載のロボット装置の制御方法。 - 上記第1のステップでは、
上記リズム抽出対象となる音楽データを選択する前に、必要に応じてネットワークを介して複数種類の上記音楽データをダウンロードする
ことを特徴とする請求項9に記載のロボット装置の制御方法。 - 上記第1のステップでは、
ロボットの背景に流れる音楽を収音しながら、当該音楽からリアルタイムでリズムを抽出する
ことを特徴とする請求項7に記載のロボット装置の制御方法。 - 上記第3のステップでは、
上記選択した動作パターンを逐次的に繋ぎ合わせる
ことを特徴とする請求項7に記載のロボット装置の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004046867A JP2005231012A (ja) | 2004-02-23 | 2004-02-23 | ロボット装置及びその制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004046867A JP2005231012A (ja) | 2004-02-23 | 2004-02-23 | ロボット装置及びその制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005231012A true JP2005231012A (ja) | 2005-09-02 |
Family
ID=35014474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004046867A Pending JP2005231012A (ja) | 2004-02-23 | 2004-02-23 | ロボット装置及びその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005231012A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008090898A1 (ja) * | 2007-01-22 | 2008-07-31 | Zmp Inc. | 音響再生ロボット及び駆動機構制御装置 |
WO2008093841A1 (ja) * | 2007-02-02 | 2008-08-07 | Zmp Inc. | 再生ログ解析プログラム、端末装置および自律移動型ロボット |
US7528313B2 (en) | 2006-10-02 | 2009-05-05 | Sony Corporation | Motion data generation device, motion data generation method, and recording medium for recording a motion data generation program |
KR20150138151A (ko) * | 2012-12-12 | 2015-12-09 | 아람 아코피안 | 운동 실연장치 및 시스템 |
KR101695749B1 (ko) * | 2015-09-11 | 2017-01-13 | 주식회사 포스코 | 이동유닛 조종장치 |
JP2017042896A (ja) * | 2015-08-28 | 2017-03-02 | 株式会社電通 | データ変換装置、ロボット、プログラム及び情報処理方法 |
CN106547250A (zh) * | 2016-10-14 | 2017-03-29 | 广州励丰文化科技股份有限公司 | 一种基于多轨道和全时模式的机械臂控制台及方法 |
CN111104964A (zh) * | 2019-11-22 | 2020-05-05 | 北京永航科技有限公司 | 音乐与动作的匹配方法、设备及计算机存储介质 |
KR20200065499A (ko) * | 2018-11-30 | 2020-06-09 | 주식회사지능디자인 | 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇 |
-
2004
- 2004-02-23 JP JP2004046867A patent/JP2005231012A/ja active Pending
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7528313B2 (en) | 2006-10-02 | 2009-05-05 | Sony Corporation | Motion data generation device, motion data generation method, and recording medium for recording a motion data generation program |
GB2442558B (en) * | 2006-10-02 | 2009-07-22 | Sony Corp | Motion Data Generation Device, Method and Recording Medium for Recording a Motion Data Generation Program |
US7667122B2 (en) * | 2006-10-02 | 2010-02-23 | Sony Corporation | Motion data generation device, motion data generation method, and recording medium for recording a motion data generation program |
WO2008090898A1 (ja) * | 2007-01-22 | 2008-07-31 | Zmp Inc. | 音響再生ロボット及び駆動機構制御装置 |
WO2008093841A1 (ja) * | 2007-02-02 | 2008-08-07 | Zmp Inc. | 再生ログ解析プログラム、端末装置および自律移動型ロボット |
KR20150138151A (ko) * | 2012-12-12 | 2015-12-09 | 아람 아코피안 | 운동 실연장치 및 시스템 |
JP2016506305A (ja) * | 2012-12-12 | 2016-03-03 | アラム・アコピアンAram Akopian | 運動実演の装置並びにシステム |
JP2017042896A (ja) * | 2015-08-28 | 2017-03-02 | 株式会社電通 | データ変換装置、ロボット、プログラム及び情報処理方法 |
WO2017037690A1 (ja) * | 2015-08-28 | 2017-03-09 | 株式会社電通 | データ変換装置、ロボット、プログラム及び情報処理方法 |
KR101695749B1 (ko) * | 2015-09-11 | 2017-01-13 | 주식회사 포스코 | 이동유닛 조종장치 |
CN106547250A (zh) * | 2016-10-14 | 2017-03-29 | 广州励丰文化科技股份有限公司 | 一种基于多轨道和全时模式的机械臂控制台及方法 |
CN106547250B (zh) * | 2016-10-14 | 2018-09-25 | 广州励丰文化科技股份有限公司 | 一种基于多轨道和全时模式的机械臂控制台及方法 |
KR20200065499A (ko) * | 2018-11-30 | 2020-06-09 | 주식회사지능디자인 | 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇 |
KR102171428B1 (ko) * | 2018-11-30 | 2020-10-29 | 주식회사 지능디자인 | 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇 |
CN111104964A (zh) * | 2019-11-22 | 2020-05-05 | 北京永航科技有限公司 | 音乐与动作的匹配方法、设备及计算机存储介质 |
CN111104964B (zh) * | 2019-11-22 | 2023-10-17 | 北京永航科技有限公司 | 音乐与动作的匹配方法、设备及计算机存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7519537B2 (en) | Method and apparatus for a verbo-manual gesture interface | |
EP1494210B1 (en) | Speech communication system and method, and robot apparatus | |
CA2882968C (en) | Facilitating generation of autonomous control information | |
JP2020047237A (ja) | データ融合を用いた顔表情生成の方法 | |
CN109108961A (zh) | 机器人、机器人的控制方法以及存储介质 | |
JP7205148B2 (ja) | ロボット、制御方法、及び、プログラム | |
Aucouturier et al. | Cheek to chip: Dancing robots and AI's future | |
CN102473320A (zh) | 通过学习到的来自用户的输入使视觉表示生动化 | |
US20200269421A1 (en) | Information processing device, information processing method, and program | |
JP2006082150A (ja) | ロボット装置及びその行動制御方法 | |
CN113056315B (zh) | 信息处理装置、信息处理方法和程序 | |
KR20060079832A (ko) | 임베디드 시스템기반의 감정표현 휴먼노이드 로봇 | |
JP2002049385A (ja) | 音声合成装置、疑似感情表現装置及び音声合成方法 | |
JP2005231012A (ja) | ロボット装置及びその制御方法 | |
JP2021135995A (ja) | アバター表情生成システム及びアバター表情生成方法 | |
KR102171428B1 (ko) | 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇 | |
JP2006088276A (ja) | 動作生成システム | |
WO2021005878A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
Wilson | Sensor-and recognition-based input for interaction | |
JP2005202076A (ja) | 発話制御装置及び方並びにロボット装置 | |
CN106503127A (zh) | 基于脸部动作识别的音乐数据处理方法及系统 | |
JP2005059185A (ja) | ロボット装置及びその制御方法 | |
KR20230054522A (ko) | 손동작 인식 향상 기술이 적용된 증강현실 재활 훈련시스템 | |
JP2001051970A (ja) | ユーザ認識度成長システム | |
JP2001105363A (ja) | ロボットにおける自律的行動表現システム |