JP2006187825A

JP2006187825A - ロボット装置およびその制御方法

Info

Publication number: JP2006187825A
Application number: JP2005000704A
Authority: JP
Inventors: Seiichiro Okada; 誠一郎岡田
Original assignee: Yaskawa Electric Corp
Current assignee: Yaskawa Electric Corp
Priority date: 2005-01-05
Filing date: 2005-01-05
Publication date: 2006-07-20

Abstract

【課題】ロボット装置と操作者間の距離が離れている場合に、肢体と移動手段を利用することにより音声の誤認識を回避し、音声認識の機能を向上できるロボット装置および制御方法を提供する。
【解決手段】移動手段を有した基部１０１と、基部１０１の上部に設けられた胴部１０３と、胴部１０３の側面上部に設けられたアーム１０４と、表示機能を有した顔部１０７と、操作者の音声指令を検知する聴覚センサ１０５と、操作者の体や顔を検知する視覚センサ１０６とを備えるロボット装置において、聴覚センサ１０５をアーム端に備える。
【選択図】図１

Description

本発明はロボット装置およびその制御方法に関し、さらに詳しくは、人間と共存しコミュニケーションを図ることができるロボット装置およびその制御方法に関する。

人間とコミュニケーションを図るために音声認識機能を備えた従来のロボット装置の例として、図６に示すように複数のマイクロホンをロボット装置の肢体に配置したものがあった。これは、音声認識時に両腕を広げ、マイクロホンアレイの音響焦点を重ね合わせ、音声認識の精度を向上させるものである（特許文献１参照）。
また、従来の音声認識ロボット装置の制御方法として、図７に示すように予め設定した音源のデータを参照してノイズと認識した場合にはロボット装置の移動手段によりノイズから遠ざかることにより誤認識を回避するものがあった（特許文献２参照）。

特開２００３−６６９８６号公報（図１）特開２００２−１４００９２号公報（図１）

しかしながら、特許文献１の発明では、ロボット装置と操作者との距離が離れている場合には周囲ノイズによる誤認識を回避することができなかった。
また、特許文献２の発明では、移動手段をノイズの回避行動に用いているのみであり、結果的に対象とする音源を選択できても移動手段によりロボット装置を音源に近づけさせる手段を示すものではなかった。
そこで本発明では、肢体と移動手段を利用することにより音声認識の機能を向上できるロボット装置および制御方法を提供することを目的とする。

上記問題を解決するため、本発明は、次のようにしたのである。
請求項１に記載の発明は、移動手段を有した基部と、前記基部の上部に設けられた胴部と、前記胴部の側面上部に設けられたアームと、表示機能を有した顔部と、操作者の音声指令を検知する聴覚センサと、前記操作者の体や顔を検知する視覚センサとを備えたロボット装置であって、前記聴覚センサを前記アーム端に備えるものである。
請求項２に記載の発明は、移動手段を有した基部と、前記基部の上部に設けられた胴部と、前記胴部の側面上部に設けられたアームと、表示機能を有した顔部と、操作者の音声指令を検知する聴覚センサと、前記操作者の体や顔を検知する視覚センサとを備え、前記聴覚センサを前記アーム端に備えたロボット装置の制御方法であって、前記視覚センサの情報に基づき前記操作者の体や顔の抽出を行う画像処理ステップと、前記アーム端と前記操作者の顔との距離と第１の所定値とを比較する第１の比較ステップと、前記第１の比較ステップにて前記距離が前記第１の所定値より大きい場合に前記アームあるいは前記移動手段により前記アーム端を前記操作者に近づけ、再度前記画像処理ステップに戻る接近処理ステップと、前記第１の比較ステップにて前記距離が前記第１の所定値以下の場合に前記移動手段と前記アームの動作を停止する停止処理ステップと、前記停止処理ステップ後に前記操作者に音声指令を行うよう促し、音声認識を開始する音声認識処理ステップ
とからなるものである。
請求項３に記載の発明は、前記接近処理ステップは、前記移動手段による移動時間Ｔ₁と前記アーム端の移動時間Ｔ₂を推定する移動時間推定ステップと、前記Ｔ₁ と前記Ｔ₂の比較を行う第２の比較ステップと、前記第２の比較ステップにてＴ₁＞Ｔ₂の場合、前記操作者と前記ロボット装置の前面との距離が第２の所定値かつ前記ロボット装置が前記操作者に向いているかを判定する第１の判定ステップと、前記第１の判定ステップの条件を満たしていなければ前記移動手段によって前記ロボット装置を移動させ、前記移動時間推定ステップへ戻る移動手段動作ステップと、前記第２の比較ステップにてＴ₁≦Ｔ₂の場合、前記アーム端が前記ロボット装置正面と操作者とを結ぶ直線上にあり、かつアーム端と操作者の顔との距離が前記第１の所定値であるかを判定する第２の判定ステップと、前記第２の判定ステップの条件を満たしていなければ前記アーム端を移動させ、前記第１の判定ステップへ進むアーム端移動ステップとからなるものである。
請求項４に記載の発明は、前記音声認識ステップにより前記操作者による指令を認識できなかった場合には、前記第１の所定値を小さくしてから再度前記接近処理ステップを行うものである。

請求項１に記載の発明によると、移動手段とアームにより聴覚センサを操作者に近づけられるため、音声認識の精度を向上することができる。
請求項２に記載の発明によると、音声認識の精度を向上させつつ、アーム端と操作者との距離が所定値以下にならないため、アーム端と操作者との衝突を回避し安全性を向上することができる。
請求項３に記載の発明によると、ロボット装置正面が操作者に向くように保たれるため、操作者と自然なコミュニケーションを図ることができる。
請求項４に記載の発明によると、一度音声認識に失敗しても、移動手段によりさらに操作者に近づいて音声認識を再開するため、よりいっそう音声認識の精度を向上することができる。

以下、本発明の実施の形態について図を参照して説明する。

図１は、本発明のロボット装置の一例を示す図である。
図１において、１０１は本発明のロボット装置の基部であり、１０２は移動手段、１０３は胴部、１０４はアーム、１０５は聴覚センサ、１０６は視覚センサ、１０７は顔部である。
基部１０１には、車輪などの移動手段１０２が備えられている。移動手段１０２としては車輪に限定されず、いわゆる脚体でもよく、また脚数についても限定されるものではない。移動手段１０２が車輪の場合、図１に示すようないわゆる２輪差動型の他に全方向移動が可能な方式でもよい。全方向移動が可能な方式としては、主車輪の周にフリーローラを備えたものや、キャスタ型のものが公知である。

基部１０１の上部には胴部１０３が備えられている。本実施例では胴部１０３は略円筒形となっているが、方形でもよい。ただし、人間に対する親和性、安全性を考慮すれば胴部１０３はエッジのない丸みのある形状が望ましい。胴部１０３の側面上部にはアーム１０４が備えられている。アーム１０４は１本あれば十分であるが、人間に対する親和性や機能性を考慮すれば双腕である方が望ましい。さらにアーム１０４は可動範囲が十分に得られるよう、自由度数７程度の多自由度アームであることが望ましい。

アーム１０４には、操作者の音声指令を検知する聴覚センサ１０５が備えられている。聴覚センサ１０５はいわゆるマイクロホンなどでよい。聴覚センサ１０５は、アーム１０４の可動域を有効に利用できるよう、その先端部に備えられていることが望ましい。ただし、聴覚センサ１０５がアーム１０４の手首よりも先端に取り付けられると配線により手首の可動域が制限されるため、前腕部の先端近傍に取り付けるのが適切である。
また、配線に関する問題を回避するために聴覚センサ１０５をワイヤレスマイクとしてもよい。胴部１０３内に搭載されるロボット装置の図示しない制御装置とアーム１０４端の聴覚センサとは１ｍ程度しか離れていないため、両者は低出力の微弱無線によって十分に通信することができる。
本発明は、上記のような構成としたため、聴覚センサ１０５の位置を移動手段１０２とアーム１０４により様々に変化させることができる。この結果、聴覚センサ１０５を操作者に十分に近づけることができ、音声認識の精度が向上する。

さらに胴部１０３には、操作者の体や顔を検知する視覚センサ１０６が備えられている。視覚センサ１０６は、いわゆるＣＣＤカメラなどが適当である。視覚センサ１０６により撮影された画像は、ロボット装置の図示しない制御装置にて処理される。
ここで、ロボット装置に対し数ｍ離れた位置から操作者が手招きをする仕草を認識する技術については公知であり、ロボット装置の図示しない制御装置にて操作者のジェスチャーを画像処理により認識し、操作者から一定の距離までロボット装置を移動させることはそうした公知の技術により実現できる。

また、胴部１０３には、人間の顔に相当する部分（顔部）１０７が備えられており、ロボット装置の図示しない制御装置により、ロボット装置の内部情報などに基づいて表示を変化させる。

図２は、本発明のロボット装置の制御方法を示すフローチャートである。
図２において、２０１は開始ステップ、２０２は画像処理ステップ、２０３はアーム端と操作者の顔との距離 l の比較ステップ、２０４は移動手段１０２あるいはアーム１０４を制御し、アーム端を操作者の顔に接近させる接近処理ステップ、２０５は移動手段１０２とアーム１０４の動作を停止する停止処理ステップ、２０６は音声認識処理ステップ、２０７は終了ステップである。

開始ステップ２０１の後、画像処理ステップ２０２にて、公知の画像処理技術により操作者の顔や体を認識し、アーム１０４を伸ばした場合のアーム端と操作者の顔との距離lを計測する。アーム１０４を伸ばす方法の詳細については、図３に基づいて後述する。次に、アーム端と操作者の顔との距離 l の比較ステップ２０３にて、距離ｌの値に応じ分岐処理を行う。すなわち、距離ｌが所定の値ｌ_１（０以上の実数）よりも大きい場合は、接近処理ステップ２０４に進み、再度画像処理ステップ２０２およびアーム端と操作者の顔との距離 l の判定ステップ２０３を繰り返す。ｌ_１の具体的な値は聴覚センサの性能によって左右されるが、１０ｃｍ程度が好適である。

なお、本発明の変形例として、接近処理ステップ２０４の後に画像処理ステップ２０２の後段すなわち判定ステップ２０３に戻ってもよく、その場合は図示しないエンコーダなどの角度センサを用いて、いわゆるデッドレコニングによりロボット装置を移動させる。ただし、ロボット装置が移動している間に操作者が体の向きを変えること等が考えられるため、画像認識などの処理時間が十分に短いならば逐次的に画像処理を行う方が望ましい。

距離 lがｌ_１以下になった場合は、停止処理ステップ２０５に進み、移動手段１０２とアーム１０４の動作を停止させた後、音声認識処理ステップ２０５に進む。公知の音声認識処理の後は終了ステップ２０６に進み、さらに図示しない後段の処理に進む。
後段の処理では、音声認識で得た操作者の指令に基づいて種々の動作を行う。接近処理ステップ２０４の詳細については、図３に基づいて後述する。なお、公知の技術により、ロボット装置の動作中に音声認識を行いつつロボット装置の動作音をノイズパターンとして取り除くことも考えられるが、周囲ノイズの影響を回避するため、本発明のように操作者と聴覚センサ１０５とが十分接近した後に音声認識処理を開始する方が望ましい。

操作者に音声指令のタイミングを知らせるには、次のような方法が考えられる。
すなわち、接近処理ステップ２０４において移動手段１０２によりロボット装置が操作者に近づいた後、顔部１０７の色を赤色にしておき、図示しないスピーカにより「画面が緑色になったら話し掛けてください」と発声する。次に、アーム端を操作者に近づけ、アーム端と操作者の顔との距離ｌがｌ_１に到達したら、顔部１０７の色を赤から緑に変化させ、停止処理ステップ２０５の後、音声認識処理ステップ２０６を開始する。
本発明は、移動手段１０２とアーム１０４により聴覚センサ１０５の位置を調整できるため、聴覚センサ１０５を操作者に適切な距離に近づけることができ、音声認識の精度を向上することができる。さらにアーム端と操作者の顔との距離がl₁以下にならないため、アーム端と操作者の衝突を回避することができ、安全性を向上することができる。

図３は、本発明のロボット装置の制御方法のフローチャートのうち、図２における接近処理ステップ２０４の詳細を示すフローチャートである。図３において、３０１は開始ステップ、３０２は移動時間推定ステップ、３０３は移動手段１０２による移動時間Ｔ_１とアーム端の移動時間Ｔ_２とを比較するステップ、３０４は操作者とロボット装置との距離が所定の値ｌ_２（０以上の実数）で、なおかつロボット装置が操作者に向いているか否かを判定するステップ、３０５は移動手段による移動ステップ、３０６はアーム端がロボット装置正面と操作者とを結ぶ直線上にあり、なおかつアーム端と操作者の顔との距離がｌ_１であるかを判定するステップ、３０７はアーム端の移動ステップを示す。
ここでｌ_２はロボット装置が操作者に対峙してアーム１０４を伸ばし、アーム端の聴覚センサ１０５を操作者の顔に向けて差し出すのに好適な距離であり、具体的には７０〜８０ｃｍ程度の値である。
図４は、図３の処理を終了した時点でのロボット装置と操作者の位置関係を示す上面図である。

ここで本発明のロボット装置の制御方法のねらいを以下に述べる。
移動手段とアームを有するロボット装置において、移動手段によりある程度操作者に近づいた後で移動手段を停止し、アーム端を操作者の顔周辺に近づける方法も考えられるが、本発明では、スムーズな動作により操作者との自然なコミュニケーションを図るため、移動手段とアームを同時に動かし、操作者の顔近傍にアーム端を差し出す。また、ロボット装置正面と操作者とを、一定の距離をもって対峙させる姿勢を目標姿勢とする。
他の目的で、ロボット装置正面と操作者を対峙させる必要がなく、アーム端の聴覚センサを操作者に近づけることのみを考えた場合、アーム基部が操作者に最も近くなる姿勢を目標姿勢としてもよい。

以降で説明する処理の流れは、ロボット装置が操作者から十分に離れており、移動手段１０２による移動時間Ｔ_１が、アーム端の移動時間Ｔ_２よりも大きい場合を想定しているが、逆の場合、すなわち既に移動手段１０２によりロボット装置が操作者に十分近づいており、アーム端の移動の方が時間がかかる場合でも対応できるものである。
接近処理ステップ２０４において、開始ステップ３０１の後、移動時間推定ステップ３０２にて移動手段１０２による移動時間Ｔ_１とアーム端の移動時間Ｔ_２を推定する。移動手段１０２による移動時間Ｔ_１は、移動距離を仮設定した各物理座標軸の速度で除し、最大時間を選択して求める。
この場合、移動手段１０２の移動距離とは、アーム端の目標位置（ロボット装置の正面と操作者とを結ぶ直線上で、なおかつ操作者から距離ｌ_１以上離れた位置）から現在位置までの差である。移動手段１０２の目標位置はアーム１０４の届く範囲で任意に設定される。
一方、アーム端の移動時間Ｔ_２は、画像認識により得た操作者の顔近傍の高さで、操作者からｌ_１だけ離れた位置からアーム１０４の初期姿勢までの距離を、移動手段１０２と同様に、仮設定した各物理座標軸の速度で移動距離を除し、最大時間を選択して求める。

次に移動手段１０２による移動時間Ｔ_１とアーム端の移動時間Ｔ_２を比較するステップ３０３に進む。比較ステップ３０３では画像認識により逐次判定してもよいし、いわゆるデッドレコニングでもよいが、ロボット装置の移動中に操作者の向きが変わることが予想されるため、画像認識により判定した方が望ましい。
移動手段１０２による移動時間Ｔ_１がアーム端の移動時間Ｔ_２よりも大きい場合、操作者とロボット装置との距離がｌ_２で、なおかつロボット装置が操作者に向いているかを判定するステップ３０４に進み、判定ステップ３０４で条件を満たしていなければ移動手段１０２による移動ステップ３０５に進む。

移動ステップ３０５では、公知の逆運動学計算により移動量からアクチュエータの軸偏位を求め、ロボット装置の図示しない制御装置にてアクチュエータを駆動する。
その後、移動時間推定ステップ３０２に戻る。移動時間推定ステップ３０２では前制御周期におけるＴ_１から制御周期分の時間を差し引いて新しいＴ_１を求める。

移動手段１０２によってロボット装置が操作者に十分近づき、比較ステップ３０３にて時間Ｔ_１≦Ｔ_２となった場合、アーム端がロボット装置正面と操作者間を結ぶ直線上にあり、なおかつアーム端と操作者の顔との距離がｌ_１であるかを判定するステップ３０６に進む。条件を満たしていなければ、アーム端の移動ステップ３０７に進む。アーム端の駆動方法は上述の移動手段１０２のものと基本的には変わらないため、説明を省略する。
アーム端の移動後、判定ステップ３０４に進み、その結果移動ステップ３０５、移動時間推定ステップ３０２を経て再び比較ステップ３０３に戻ったら、Ｔ_２から制御周期分の時間を差し引き、新しいＴ_２とする。以上の処理により、ロボット装置とアーム端を同時に目標位置に到達させることができる。

図５は、本発明のロボット装置の別の制御方法を示すフローチャートであり、図２に示した制御方法を拡張したものである。図５において、図２と異なるのは音声認識処理ステップ２０６の後段に音声認識ができたかどうかを判定するステップ５０１と、アーム端と操作者の顔との距離ｌの比較対象とする値ｌ_１に所定の値ｌ_３（０以上の実数）を代入するステップ５０２を加えたことである。ここで、ｌ_１＞ｌ_３であり、具体的にはｌ_３の値は５ｃｍ程度が好適である。
例えば、音声認識処理ステップ２０６にて、操作者からの音声指令に対し予めロボット装置が格納しているコマンドテーブルに該当するものがなく音声認識処理が失敗した場合、内蔵した図示しないスピーカなどにより操作者に再度指示を促すこともできるが、ロボット装置がさらにアーム端を伸ばした方が操作者の負担が少ない。よってアーム端と操作者の顔との距離ｌの比較対象を当初のｌ_１より小さな値とすることにより、アーム端をさらに伸ばして聴覚センサ１０５をさらに操作者に近づける。

以上述べたように、本発明は、聴覚センサの位置を移動手段とアームにより設定できるため、聴覚センサを操作者に近づけることができ、音声認識の精度を向上することができ、さらにアーム端と操作者との距離が所定値以下にならないため、アーム端と操作者の衝突を回避することができ、安全性を向上することができる。また、ロボット装置正面が操作者に向くように保たれるため、操作者と自然なコミュニケーションを図ることができる。
また、一度音声認識に失敗しても、アームを伸ばしてさらに操作者に近づいて再度音声認識を行うため、よりいっそう音声認識の精度を向上することができる。

本発明のロボット装置および制御方法は、人間と共存し、コミュニケーションを図ることができるロボットに適用できる。

本発明のロボット装置を示す図本発明のロボット装置の制御方法を示すフローチャート図２における接近処理ステップ２０４の詳細を示すフローチャート図３の処理を終了した時点でのロボット装置と操作者の位置関係を示す上面図本発明のロボット装置の別の制御方法を示すフローチャート従来の音声認識機能を備えたロボット装置を示す図従来の音声認識ロボット装置の制御方法を示す図

符号の説明

１０１基部
１０２移動手段（車輪）
１０３胴部
１０４アーム
１０５聴覚センサ
１０６視覚センサ
１０７顔部

Claims

移動手段を有した基部と、前記基部の上部に設けられた胴部と、前記胴部の側面上部に設けられたアームと、表示機能を有した顔部と、操作者の音声指令を検知する聴覚センサと、前記操作者の体や顔を検知する視覚センサとを備えたロボット装置であって、
前記聴覚センサを前記アーム端に備えたことを特徴とするロボット装置。
移動手段を有した基部と、前記基部の上部に設けられた胴部と、前記胴部の側面上部に設けられたアームと、表示機能を有した顔部と、操作者の音声指令を検知する聴覚センサと、前記操作者の体や顔を検知する視覚センサとを備え、前記聴覚センサを前記アーム端に備えたロボット装置の制御方法であって、
前記視覚センサの情報に基づき前記操作者の体や顔の抽出を行う画像処理ステップと、
前記アーム端と前記操作者の顔との距離と第１の所定値とを比較する第１の比較ステップと、
前記第１の比較ステップにて前記距離が前記第１の所定値より大きい場合に前記アームあるいは前記移動手段により前記アーム端を前記操作者に近づけ、再度前記画像処理ステップに戻る接近処理ステップと、
前記第１の比較ステップにて前記距離が前記第１の所定値以下の場合に前記移動手段と前記アームの動作を停止する停止処理ステップと、
前記停止処理ステップ後に前記操作者に音声指令を行うよう促し、音声認識を開始する音声認識処理ステップ
とからなることを特徴とするロボット装置の制御方法。
前記接近処理ステップは、
前記移動手段による移動時間Ｔ₁と前記アーム端の移動時間Ｔ₂を推定する移動時間推定ステップと、
前記Ｔ₁ と前記Ｔ₂の比較を行う第２の比較ステップと、
前記第２の比較ステップにてＴ₁＞Ｔ₂の場合、前記操作者と前記ロボット装置の前面との距離が第２の所定値かつ前記ロボット装置が前記操作者に向いているかを判定する第１の判定ステップと、
前記第１の判定ステップの条件を満たしていなければ前記移動手段によって前記ロボット装置を移動させ、前記移動時間推定ステップへ戻る移動手段動作ステップと、
前記第２の比較ステップにてＴ₁≦Ｔ₂の場合、前記アーム端が前記ロボット装置正面と操作者とを結ぶ直線上にあり、かつアーム端と操作者の顔との距離が前記第１の所定値であるかを判定する第２の判定ステップと、
前記第２の判定ステップの条件を満たしていなければ前記アーム端を移動させ、前記第１の判定ステップへ進むアーム端移動ステップ
とからなることを特徴とする請求項２記載のロボット装置の制御方法。
前記音声認識ステップにより前記操作者による指令を認識できなかった場合には、前記第１の所定値を小さくしてから再度前記接近処理ステップを行うことを特徴とする請求項２記載のロボット装置の制御方法。