JP2011200970A - 自律移動装置および作業決定方法 - Google Patents

Abstract

【課題】ユーザから提示された物体を認識し、当該物体を用いて実行する作業内容を決定することが可能な自律移動装置を提供する。
【解決手段】本発明の自律移動装置は、所定の作業を行うために動作する動作部と、ユーザからの指示に基づいて、実行する作業を決定する作業決定部と、作業決定部により決定された作業内容に基づいて、動作部の動きを制御する制御部と、を備える。作業決定部は、ユーザから提示された物体を識別するための物体情報を取得する情報取得部と、情報取得部により取得された物体情報に基づいて、物体を識別する物体識別部と、物体と、当該物体を使用して行う作業内容とを関連付けて記憶する作業記憶部と、物体識別部により識別された物体に基づいて、作業記憶部から識別された物体を用いて行う作業内容を決定する決定部と、を備える。
【選択図】図３

Description

本発明は、自律移動装置および作業決定方法に関し、より詳細には、様々な作業を実行可能な自律移動装置および当該自律移動装置によって実行する作業を決定する作業決定方法に関する。

近年、自律的に移動し、様々な作業を行うロボットが実現されつつある。このようなロボットに対して、ユーザの所望する作業を理解させ、かつ実行させるため、従来から、ユーザの音声による作業内容の指示や入力装置を用いた作業内容の指示が行われている。しかし、音声を利用する場合においては、音声認識技術の技術的困難さから、音声のみで複雑な作業内容を指示することは現状では難しい。

一方、キーボード等の入力装置を利用する場合は、作業内容に対応付けられた作業ＩＤ等を入力することで容易に作業内容を指示することが可能である。しかし、このような作業内容の指示方法は、あまり直感的ではなく、ユーザとロボットとのインタラクションに不自然さが残るため、ユーザにとっては入力負荷が大きい。近年では、タッチパネル等のように優れたユーザインタフェースを有する入力装置もあり、ユーザの入力負荷が軽減されてきたものの、ロボットとのさらに自然なインタラクションが望まれている。

ところで、ユーザの指示に応じて作業するロボットの動作決定方法についても様々な提案がなされている。例えば、特許文献１には、無線タグ等を用いて対象物体を検知し、それに対応した物体特性データベースからのパラメータを用いてロボットアームを制御する制御装置が開示されている。また、特許文献２には、物体の把持する位置が記録された無線タグを対象物体に張り付けて、その無線タグの情報を読み取ることにより物体の把持や操作を行うマニピュレータが開示されている。

さらに、特許文献３には、対象物体の形状を記憶する形状データベースを備え、物体の把持・運搬後、設置時の姿勢などを形状データベースに記憶されている情報を基に決定する物体管理・移動運搬ロボットが開示されている。また、特許文献４には、カメラにより撮像された画像に基づいて、対象物体およびこれに対する作業内容をユーザに選択させた後、指定された物体モデルおよび作業モデルから、実空間で作業するための制御情報を生成する作業教示システムが開示されている。

特許第４０５６０８０号公報 特開２００４−９００９９号公報 特許第３７３８３５４号公報 特開２００８−６８３４８号公報

しかし、上記特許文献１は、人間とロボットとが接触している場合に、人間に対してダメージを与えることなく、把持する物体を確実に搬送するという、人間との接触時の安全性の確保を目的とするものである。また、特許文献２は、無線タグに記録された情報は物体の操作点の定量的情報であって、かかる情報は物体操作を容易に行うことができるようにするために用いられるものである。これらの発明では、物体を安定して保持するための指示を行うことはできるが、その物体を用いた作業を指示することはできなかった。

また、特許文献３は、物品を指定された位置に適切な状態で設置させる運搬タスクを実行するロボットの発明であり、ユーザから提示された物体を用いて作業を行うものではなかった。そして、特許文献４では、物体に対する作業を指示することができるものの、対象物体の推定およびこれを用いた作業内容の推定の技術的困難さから、これをユーザに委ねている。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザから提示された物体を認識し、当該物体を用いて実行する作業内容を決定することが可能な、新規かつ改良された自律移動装置および作業決定方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、所定の作業を行うために動作する動作部と、ユーザからの指示に基づいて、実行する作業を決定する作業決定部と、作業決定部により決定された作業内容に基づいて、動作部の動きを制御する制御部と、を備え、作業決定部は、ユーザから提示された物体を識別するための物体情報を取得する情報取得部と、情報取得部により取得された物体情報に基づいて、物体を識別する物体識別部と、物体と、当該物体を使用して行う作業内容とを関連付けて記憶する作業記憶部と、物体識別部により識別された物体に基づいて、作業記憶部から識別された物体を用いて行う作業内容を決定する決定部と、を備える、自律移動装置が提供される。

情報取得部は、画像を取得する撮像手段であるとき、自律移動装置は、撮像手段により撮像された物体の画像から画像特徴量を抽出する画像特徴量抽出部と、予め物体の画像から抽出した画像特徴量を記憶する画像特徴量記憶部と、をさらに備えてもよい。このとき、物体識別部は、画像特徴量抽出部により抽出された画像特徴量と、画像特徴量記憶部に記憶された画像特徴量とを比較して、ユーザから提示された物体を識別するようにしてもよい。

自律移動装置は、撮像手段により撮像された画像に基づいて、ユーザの動作または当該ユーザにより提示された物体の動きのうち少なくともいずれか一方を認識結果として認識する動作認識部をさらに備えることもできる。このとき、決定部は、物体識別部により識別された物体と、動作認識部による認識結果とに基づいて、識別された物体に対応する作業内容を決定する。

作業記憶部に、物体識別部により識別された物体を用いて行う作業内容が複数記憶されているとき、決定部は、動作認識部による認識結果に基づいて、識別された物体を用いて行う作業内容を決定してもよい。

また、作業記憶部に、物体識別部により識別された物体を用いて行う作業内容が１つ記憶されており、かつ、動作認識部によりユーザの動作または物体の動きのうち少なくともいずれか一方が認識結果として認識されているとき、決定部は、物体識別部により識別された物体を用いて行う作業内容を、動作認識部による認識結果に応じて実行することを決定してもよい。

情報取得部は、ユーザから提示された物体に設けられている無線タグから、当該無線タグに記憶された無線タグ情報を読み出す読出手段であるとき、自律移動装置は、無線タグが設けられている物体と、当該無線タグに記憶されている無線タグ情報とを関連付けて記憶する無線タグ情報記憶部をさらに備えてもよい。このとき、物体識別部は、読出手段により読み出された無線タグ情報と、無線タグ情報記憶部に記憶された無線タグ情報とを比較して、ユーザから提示された物体を識別する。

また、自律移動装置は、ユーザの音声を取得する音声取得部と、音声取得部により取得された音声から、ユーザの発話内容を認識する音声認識部と、をさらに備えてもよい。このとき、決定部は、物体識別部により識別された物体と、音声認識部により認識されたユーザの発話内容とに基づいて、識別された物体を用いて行われる作業内容を決定する。

また、上記課題を解決するために、本発明の別の観点によれば、ユーザから提示された物体を識別するための物体情報を、所定の作業を行うために動作する動作部を備える自律移動装置の情報取得部により取得するステップと、情報取得部により取得された物体情報に基づいて、自律移動装置の物体識別部により物体を識別するステップと、物体識別部により識別された物体に基づいて、物体と当該物体を使用して行う作業内容とを関連付けて記憶する作業記憶部から、識別された物体を用いて自律移動装置が行う作業内容を、自律移動装置の決定部により決定するステップと、決定された作業内容に基づいて、自律移動装置の動作部の動きを制御部により制御するステップと、を含む、作業決定方法が提供される。

以上説明したように本発明によれば、ユーザから提示された物体を認識し、当該物体を用いて実行する作業内容を決定することが可能な自律移動装置および作業決定方法を提供することができる。

ユーザが本発明の実施形態に係る自律移動型ロボットに対して作業内容を指示する際の一指示例を示す説明図である。 同実施形態に係る自律移動型ロボットのシステム構成の一例を示す説明図である。 同実施形態に係る作業決定装置の機能構成を示すブロック図である。 カメラにより取得される画像の一例と、当該画像から画像特徴量抽出部により抽出された輪郭抽出画像の一例を示す説明図である。 無線タグが付設されたお盆を示す説明図である。 無線タグが付設された箒を示す説明図である。 動作・作業データベースの一構成例を示す説明図である。 動作決定装置によるロボットの動作決定方法を示すフローチャートである。 同実施形態に係る作業決定装置のハードウェアの一構成例を示すブロック図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．自律移動型ロボットの概要
２．作業決定装置の構成
３．動作決定装置によるロボットの動作決定方法
４．ハードウェア構成例

＜１．自律移動型ロボットの概要＞
まず、図１および図２を参照して、本発明の実施形態に係る自律移動装置である自律移動型ロボット（以下、単に「ロボット」とも称する。）１の概要とユーザがロボット１に対して行う作業指示方法の概略について説明する。なお、図１は、ユーザ２が本実施形態に係る自律移動型ロボット１に対して作業内容を指示する際の一指示例を示す説明図である。図２は、本実施形態に係る自律移動型ロボット１のシステム構成の一例を示す説明図である。

［自律移動型ロボットの概略構成］
本実施形態に係る自律移動型ロボット１は、様々な作業を実行可能に構成された自律移動装置である。本実施形態に係るロボット１は、図１に示すように、胴体部１２、腕部１３、１４、頭部１５、および脚体１６、１７を有する人間型ロボットであり、例えば図２に示すようなシステム構成で構築されている。ロボット１の各関節部には、関節部を駆動するアクチュエータと、アクチュエータの動きを検出するためのトルクセンサとがそれぞれ設けられている。すなわち、胴体部１２、腕部１３、１４、頭部１５、および脚体１６、１７の動作部は、アクチュエータからなる駆動機構によって駆動されることにより、ユーザ２の指示に応じた作業を行うために動くことができる。

例えば、胴体部１２には、３軸の腰関節アクチュエータａ１、ａ２、ａ３からなる腰関節部２０、および３軸の首関節アクチュエータａ１６、ａ１７、ａ１８からなる首関節部５０が設けられている。これらはホストコンピュータ１０に対してシリアル接続されている。また、各アクチュエータａ１〜ａ３、ａ１６〜ａ１８には、当該アクチュエータの動きを検出するトルクセンサｔｑ１〜ｔｑ３、ｔｑ１６〜ｔｑ１８がそれぞれ設けられている。

また、ロボット１は、左腕部１３に、３軸の肩関節アクチュエータａ４、ａ５、ａ６からなる肩関節部３２、１軸の肘関節アクチュエータａ７からなる肘関節部３４、および２軸の手首関節アクチュエータａ８、ａ９からなる手首関節部３６を備える。各アクチュエータの出力軸には、それぞれトルクセンサｔｑ４〜ｔｑ６、ｔｑ７、ｔｑ８およびｔｑ９が設けられている。同様に、ロボット１は、右腕部１４に、３軸の肩関節アクチュエータａ１０、ａ１１、ａ１２からなる肩関節部４２、１軸の肘関節アクチュエータａ１３からなる肘関節部４４、および２軸の手首関節アクチュエータａ１４、ａ１５からなる手首関節部４６を備える。各アクチュエータの出力軸には、それぞれトルクセンサｔｑ１０〜ｔｑ１２、ｔｑ１３、ｔｑ１４およびｔｑ１５が設けられている。

そしてロボット１は、左脚部１６に、３軸の股関節アクチュエータａ１９、ａ２０、ａ２１からなる股関節部６２、１軸の膝関節アクチュエータａ２２からなる膝関節部６４、および２軸の足首関節アクチュエータａ２３、ａ２４からなる足首関節部６６を備える。各アクチュエータの出力軸には、それぞれトルクセンサｔｑ１９〜ｔｑ２１、ｔｑ２２、ｔｑ２３およびｔｑ２４が設けられている。同様に、ロボット１は、右脚部１７に、３軸の股関節アクチュエータａ２５、ａ２６、ａ２７からなる股関節部７２、１軸の膝関節アクチュエータａ２８からなる膝関節部７４、および２軸の足首関節アクチュエータａ２９、ａ３０からなる足首関節部７６を備える。各アクチュエータの出力軸には、それぞれトルクセンサｔｑ２５〜ｔｑ２７、ｔｑ２８、ｔｑ２９およびｔｑ３０が設けられている。

これらのアクチュエータおよびトルクセンサも、ロボット１全体の動作を統括的にコントロールするホストコンピュータ１０とシリアル接続されている。ホストコンピュータ１０は、ロボット１のダイナミクス演算を実行し、各関節アクチュエータのトルク目標値を生成する。トルク目標値は、アクチュエータに併設された制御用マイコンに送信され、制御用マイコン上で実行されるアクチュエータの力制御方式による制御に用いられる。制御用マイコンにより算出された各関節アクチュエータの位置制御目標値は、シリアルケーブルを通じて、各関節アクチュエータに送信される。各関節アクチュエータは、受信した位置制御目標値に基づいて駆動するとともに、現在の出力トルクや関節角度、関節各速度をホストコンピュータ１０に送信する。

［自律移動型ロボットに対する作業指示方法の概要］
このような駆動機構を有する自律移動型ロボット１は、ユーザから物体が提示されると、提示された物体を認識し、当該物体を用いて作業を実行することができる。このため、本実施形態に係るロボット１は、物体を識別するための識別手段と、認識手段により認識した物体を用いて行う作業内容を決定する決定手段とを備えている。

例えば、図１に示すように、ロボット１に箒６を提示したとする。箒６には、箒６を用いて行う作業内容を特定するための情報を記憶する無線タグ６ａが設けられている。一方、ロボット１の把持部には、無線タグ６ａに記録された情報を読み取る無線タグ読出部である無線タグリーダが設けられている。ロボット１は、ユーザ２から渡された箒６を把持部で把持すると、無線タグリーダを用いて箒６の無線タグ６ａに記録されている情報（無線タグ情報）を読み出す。そして、ロボット１は、無線タグ６ａから読み出した情報に基づいて、箒６を用いて行う作業内容を特定し、実行する。

すなわち、ロボット１は、無線タグ６ａに記録されている情報より、ユーザ２から渡された物体が箒であることを識別し、当該箒に関連付けられた動作を実行する。例えば「床の上で箒を左右に動かしながら移動する」という動作が箒という物体に関連付けられていれば、ロボット１は箒６を用いて床の掃除を開始する。このように、ユーザ２は、ロボット１に箒６を手渡すだけで、ロボット１に箒６で掃除することを指示できる。

また、ロボット１は、ユーザ２の行うジェスチャや音声等を認識するための認識手段をさらに備えることもできる。このとき決定手段は、無線タグ６ａから読み出した情報と合わせて実行する作業を決定するようにしてもよい。例えば、図１に示すように、ユーザ２が箒６を渡すとともに、所定の位置を指し示したとする。ロボット１は、箒６を把持することで箒６を用いて行う作業を決定するとともに、ユーザ２の指す方向から当該作業を行う場所を認識する。このように、ユーザ２は、直感的に認識し易く、かつ容易な指示方法により、ロボット１に対して作業を行わせることができる。

なお、ロボット１に対するこのような作業指示方法は一例であって、ユーザ２は、指示する作業に用いる物体を提示し、場合によってはさらにジェスチャや発話することによって、ロボット１に実行させる作業内容を指示することができる。この際、ロボット１は、ユーザから提示された物体を識別する識別手段や、ユーザ２の行うジェスチャや音声を認識する認識手段による識別・認識された情報から、指示された作業内容を理解し、実行する作業内容を決定する。以下、本実施形態に係るロボット１における作業決定処理を行う、識別手段、決定手段、さらに認識手段を備える作業決定装置１００の構成と、これによる作業決定処理について、詳細に説明していく。

＜２．作業決定装置の構成＞
まず、図３〜図７に基づいて、本実施形態に係る作業決定装置１００の機能構成について説明する。図３は、本実施形態に係る作業決定装置１００の機能構成を示すブロック図である。図４は、カメラ１１０により取得される画像の一例と、当該画像から画像特徴量抽出部１１２により抽出された輪郭抽出画像の一例を示す説明図である。図５は、無線タグ５ａが付設されたお盆５を示す説明図である。図６は、無線タグ６ａが付設された箒６を示す説明図である。図７は、動作・作業データベース１６０の一構成例を示す説明図である。

本実施形態に係る作業決定装置１００は、自律移動型ロボット１に設けられており、ユーザ２の指示に応じて当該ロボット１が実行する作業内容を決定する装置である。まず、本実施形態に係る作業決定装置１００は、画像により物体を識別する識別手段として、カメラ１１０と、画像特徴量抽出部１１２と、画像特徴量データベース１１４と、画像比較部１１６とを備える。また、作業決定装置１００は、無線タグに記憶された情報に基づいて物体を識別する識別手段として、無線タグ読出部１２０と、無線タグデータベース１２２と、無線タグ情報比較部１２４とを備える。

カメラ１１０は、画像を取得する撮像装置である。カメラ１１０は、例えばロボット１の頭部１５に設けられており、ユーザ２から提示された物体を認識するために、物体を撮像して物体の画像を取得する。また、カメラ１１０は、物体を提示したユーザ２を撮像することもできる。ユーザ２の画像は、ユーザ２の動作を認識するために用いられる。カメラ１１０によって取得された画像は、画像特徴量抽出部１１２またはジェスチャ認識部１４０へ出力される。

画像特徴量抽出部１１２は、カメラ１１０により取得された画像から、画像の特徴部分を表す特徴量を抽出する。画像特徴量抽出部１１２は、画像の特徴部分として、例えば物体の輪郭やエッジ、コーナー等を既存の画像処理手法により抽出し、抽出した特徴部分を特徴量として表す。例えば、物体の輪郭を特徴量として抽出する場合、図４の上図に示すような画像がカメラ１１０により取得されたとすると、画像特徴量抽出部１１２は、図４の下図に示すような輪郭抽出画像を抽出結果として出力する。また、画像特徴量抽出部１１２は、隣接する画素間の輝度値の変化や色を、画像の特徴量として用いてもよい。特徴量抽出部１１２は、抽出した画像特徴量を画像比較部１１６へ出力する。

画像特徴量データベース１１４は、物体に関する画像特徴量を記憶する記憶部である。画像特徴量データベース１１４には、予め物体の画像から抽出した画像特徴量が記憶されており、ユーザ２から提示された物体を特定する画像比較部１１６により参照される。

画像比較部１１６は、画像特徴量抽出部１１２により抽出された物体の画像特徴量と、画像特徴量データベース１１４に記憶された画像特徴量とを比較することにより、画像に基づきユーザ２から提示された物体を特定する。画像比較部１１６は、２つの画像特徴量を比較して、画像特徴量抽出部１１２により抽出された画像特徴量に最も類似する画像特徴量を有する物体を、画像特徴量データベース１１４を参照して特定する。画像比較部１１６は、比較結果および特定した物体を物体認識部１３０へ出力する。

無線タグ読出部１２０は、物体に付設された無線タグに記録された無線タグ情報を読み出す。無線タグは、無線ＩＣとアンテナとを組み合わせなるモジュールであり、無線ＩＣのメモリには無線タグが付される物体に関する情報（例えば、物体に固有の物体ＩＤ等）が無線タグ情報として記憶されている。無線タグ読出部１２０は、無線タグに記憶された無線タグ情報を読み出すための電波を発信し、それに応じて無線タグから発信された電波を受信して、無線タグ情報を取得する。

本実施形態に係るロボット１において、無線タグ読出部１２２は、物体を把持する把持部に設けられている。これにより、ロボット１は、物体を把持すると同時に、無線タグから無線タグ情報を読み出すことができる。もちろん、無線タグ読出部１２０は、ロボット１の把持部以外に設けることもできる。また、無線タグは、ロボット１の無線タグ読出部１２２により読み取り易い位置に設けるのがよい。例えば、図５に示すように、お盆５の載置面に無線タグ５ａを付設したり、図６に示すように、箒６の柄に無線タグ６ａを付設したりすればよい。

無線タグデータベース１２２は、無線タグに記憶されている無線タグ情報を記憶する記憶部である。例えば、無線タグデータベース１２２には、物体の名称と当該物体に固有に付される物体ＩＤとが関連付けて記憶されている。

無線タグ情報比較部１２４は、無線タグ読出部１２０により読み出した無線タグ情報と、無線タグデータベース１２２に記憶された情報とを比較することにより、無線タグに基づきユーザ２から提示された物体を特定する。無線タグ情報比較部１２４は、物体に付設された無線タグに無線タグ情報として記憶されている物体ＩＤと一致する情報を無線タグデータベース１２２より特定することにより、ユーザから提示された物体を特定する。無線タグ情報比較部１２４は、比較結果および特定した物体を物体認識部１３０へ出力する。

このように、作業決定装置１００は、物体を特定するための基になる情報を取得する手段として、カメラ１１０と無線タグ読出部１２０との２つを備えているが、本発明はかかる例に限定されず、少なくともいずれか一方を備えていればよい。また、上記以外にも、例えば、バーコード等の人工的に生成された幾何学パターンを用いることにより、ユーザ２から提示された物体を特定することも可能である。このような幾何学パターンは、例えば上記カメラ１１０により画像情報として取得してもよく、赤外線を照射してバーコードの情報を読み取ってもよい。

本実施形態のように情報を取得するための手段（カメラ１１０および無線タグ読出部１２０）を複数備える場合、各情報から特定された物体から、１つの物体を特定するための物体識別部１３０を備えてもよい。作業決定装置１００は、当該装置によって識別された物体に基づいて、この物体を用いて行う作業内容を決定するものである。このため、例えばカメラ１１０および無線タグ読出部１２０によって特定された物体が異なる場合、ロボット１が実行する作業の特定が困難になる。そこで、物体識別部１３０は、ユーザ２によって提示された物体を最終的に１つ特定する。

例えば、物体識別部１３０は、カメラ１１０および無線タグ読出部１２０によって特定された物体が同一である場合には、これらによって特定された物体を、作業決定装置１００が識別した物体とする。一方、カメラ１１０および無線タグ読出部１２０によって特定された物体が異なる場合には、物体識別部１３０は、予め設定された優先度に基づいて、特定された物体のいずれかを選択するようにしてもよい。優先度は、例えば、より高精度に物体認識できる手法によって特定された物体を選択するように設定することができる。

また、画像比較部１１６および無線タグ情報比較部１２４によってそれぞれ物体を特定する際に、どれぐらいの確からしさで特定したのかを確率で表現し、物体識別部１３０は、その確率に基づいて、特定された物体のいずれかを選択するようにしてもよい。例えば、提示されたある物体を特定する際に、画像による特定の確からしさが６０％、無線タグによる特定の確からしさが８０％の結果が得られた場合には、より確からしい無線タグによる特定結果を選択するように設定することができる。物体識別部１３０により識別された物体の情報は、作業決定部１７０へ出力される。

また、作業決定装置１００は、カメラ１１０により撮像した画像に基づいてユーザ２が行ったジェスチャを認識するジェスチャ認識部１４０と、マイク１５０により取得した音声情報に基づいてユーザ２が発話した音声内容を認識する音声認識部１５２とを備える。ジェスチャ認識部１４０および音声認識部１５２は、後述する作業決定部１７０によりロボット１が実行する作業内容を決定する際に、補助的に用いられる情報を取得する認識手段として機能する。

ジェスチャ認識部１４０は、カメラ１１０が撮像した画像から、ユーザ２の手の位置や手の動き、ユーザ２が提示した物体を移動させているときの物体の動き等を認識し、ユーザ２が行っている動作（ジェスチャ）を特定する。ジェスチャの特定は、既存の技術を用いて行うことができる。ジェスチャ認識部１４０により認識される動作としては、例えばユーザ２が所定の方向を指差ししている動作や、ユーザ２が持っている物体を移動させる動作（例えば、左右に大きく振ったり、上方向に上げたりする動作）等がある。ジェスチャ認識部１４０により認識されたジェスチャの内容は、作業決定部１７０へ出力され、後述する作業決定部１７０が物体識別部１３０により特定された物体を用いて行う作業を決定する際に補助情報として用いられる。

音声認識部１５２は、マイク１５０により取得された音声情報を既存の手法を用いて解析し、ユーザ２が発話した音声内容を認識する。音声認識部１５２により認識された音声内容は、作業決定部１７０へ出力される。音声認識部１５２により認識された音声内容は、後述する作業決定部１７０が物体識別部１３０により特定された物体を用いて行う作業を決定する際に補助情報として用いられる。

また、作業決定装置１００は、ロボット１が認識した物体を用いて行う作業を決定する決定手段として、動作・作業データベース１６０と、作業決定部１７０とを備える。

動作・作業データベース１６０は、物体と、ロボット１が当該物体を用いて行う作業内容とを関連付けて記憶する記憶部である。動作・作業データベース１６０は、例えば図７に示すように、道具の名称１６１と、道具を用いて行われる作業内容１６２と、ジェスチャに基づく動作内容１６３と、音声に基づく動作内容１６４とを記憶する。道具の名称１６１には、ロボット１が作業する際に用いる物体の名称が格納されている。作業内容１６２は、作業内容の分類と、ロボット１が行う動作とが格納されている。ジェスチャに基づく動作内容１６３には、作業内容に応じてユーザにより行われるジェスチャの内容が格納されている。そして、音声に基づく動作内容１６４には、作業内容に応じてユーザにより行われる音声による指示内容が格納されている。

作業決定部１７０は、動作・作業データベース１６０を参照して、物体識別部１３０により識別された物体を用いてロボット１が行う作業を決定する。例えば、物体識別部１３０により識別された物体が箒である場合には、作業決定部１７０は、図４に示す動作・作業データベース１６０を参照して、ロボット１に箒を床の上で左右に動かしながら移動する動作を行わせることを決定する。また、例えば、物体識別部１３０により識別された物体がマグカップの場合等のように、ロボット１に実行させる作業内容が複数設定されている場合もある。この場合、作業決定部１７０は、ジェスチャ認識部１４０により認識されたジェスチャや、音声認識部１５２により認識された音声内容に基づいて、ロボット１に実行させる作業内容を決定する。

作業決定部１７０は、決定した作業内容をロボット１に行わせるため、ロボット１のアクチュエータを駆動制御する駆動制御部（図示せず。）へ出力する。なお、駆動制御部は、上述したホストコンピュータ１０に併設される制御用マイコンにより実現される機能である。

＜３．動作決定装置によるロボットの動作決定方法＞
このような動作決定装置１００を備える自律移動型ロボット１は、ユーザ２から提示された物体を識別し、当該物体を用いて行う作業を決定して実行することができる。以下、図８に基づいて、動作決定装置１００によるロボット１の動作決定方法について説明する。なお、図８は、動作決定装置１００によるロボット１の動作決定方法を示すフローチャートである。

まず、ロボット１の動作決定装置１００は、図８に示すように、画像特徴量抽出部１１２により、カメラ１１０により撮像された画像から画像特徴量を抽出する（ステップＳ１００）。画像特徴量抽出部１１２では、上述したように、例えば物体の輪郭やエッジ、コーナー、輝度値の変化、色等の特徴量や、バーコード等の人工的な幾何学パターン等を抽出する。画像特徴量抽出部１１２により画像特徴量が抽出されると、画像比較部１１６は、画像特徴量データベース１１４を探索し、抽出された画像特徴量と合致する物体を特定する（ステップＳ１１０）。

一方、ロボット１の動作決定装置１００は、画像特徴量の抽出処理（ステップＳ１００、Ｓ１１０）と並行して、無線タグ読出部１２０により、ユーザ２が提示した物体に付設された無線タグを検出する（ステップＳ１２０）。無線タグ読出部１２０は、無線タグから無線タグ情報を読み出すための電波を発し、当該電波に応じて出力された無線タグからの無線タグ情報を取得する。無線タグ情報を取得すると、無線タグ情報比較部１２４は、無線タグデータベース１２２を探索し、読み出した無線タグ情報と合致する物体を特定する（ステップＳ１３０）。

ステップＳ１１０およびＳ１３０においてそれぞれ物体が特定されると、物体識別部１３０により、物体が識別できたか否かを確認する（ステップＳ１４０）。物体識別部１３０は、画像比較部１１６または無線タグ情報比較部１２４のうち少なくともいずれか一方により物体が特定されている場合には、その物体を識別したと判定する。このとき、ステップＳ１１０およびＳ１３０において特定された物体が異なる場合には、物体識別部１３０は、予め設定された優先度に基づき、いずれかの処理により決定された物体を優先して決定する。また、ステップＳ１１０およびＳ１３０において物体を特定する際に、どれぐらいの確からしさで特定したのかを確率で表現し、物体識別部１３０は、その確率に基づいて、いずれかの処理により決定された物体を優先するか決定してもよい。一方、画像比較部１１６および無線タグ情報比較部１２４のいずれによっても物体が特定されていない場合は、物体識別部１３０は、物体識別ができていないと判定し、ステップＳ１００〜Ｓ１３０の処理を繰り返す。

物体識別部１３０により物体が識別されると、作業決定部１７０は、識別された物体に対応する作業を動作・作業データベース１６０を探索して決定する（ステップＳ１５０）。作業決定部１７０は、動作・作業データベース１６０を探索し、物体識別部１３０により識別された物体と合致する道具を検出し、当該道具に関連付けられた作業内容を特定する。

ここで、作業決定部１７０は、特定された作業内容が複数存在するか否かを判定する（ステップＳ１６０）。例えば、物体識別部１３０により識別された物体がマグカップやお盆であるとき、これらの物体には、図７に示すように２つの作業内容が関連付けられている。この場合、作業決定部１７０は、ユーザ２から提示された物体を識別するのみではいずれの作業を実行すればよいか決定することができない。そこで、作業決定部１７０は、特定された作業内容が複数存在する場合には、ユーザ２のジェスチャまたは音声内容を認識し、実行する作業内容をさらに絞り込む（ステップＳ１７０）。

例えば、図７に示すように、ユーザ２から提示された物体がマグカップと識別した場合、マグカップには２つの片付け作業が関連付けられている。このとき、ユーザがマグカップを横に大きく振りながら差し出している動作がジェスチャ認識部１４０により認識されている場合には、作業決定部１７０は、マグカップを台所流し台に持っていく作業の実行を決定する。一方、ジェスチャ認識部１４０によりユーザがジェスチャを行っていないと認識されている場合には、作業決定部１７０は、マグカップを食器棚にしまう作業の実行を決定する。

あるいは、例えば、図７に示すように、ユーザ２から提示された物体がお盆と識別した場合、お盆には配膳と片付けという２つの作業が関連付けられている。このとき、ユーザ２がお盆をロボット１に提示して「片付け」と発言し、マイク１５０から取得した音声情報から音声認識部１５２が「片付け」という音声内容を認識すると、作業決定部１７０は、お盆を用いて茶碗・皿などをまとめて台所流し台に持っていく作業を実行する。また、ユーザ２がお盆をロボット１に提示して「配膳」と発言し、マイク１５０から取得した音声情報から音声認識部１５２が「配膳」という音声内容を認識すると、作業決定部１７０は、お盆を用いて茶碗・皿などをまとめてテーブルの上に並べる作業を実行する。

なお、図７には、１つの物体に対して１または２の作業内容が関連付けられている場合が示されているが、本発明はかかる例に限定されず、１つの物体に対して３以上の作業内容を関連付けておくこともできる。この場合、当該物体を用いて行う作業内容を一意に決定するため、ユーザ２によるジェスチャや物体の動き、音声内容を作業内容に対してさらに関連付ける。また、作業内容を、ユーザ２によるジェスチャや物体の動き、音声内容の複数の情報から決定してもよい。

このように、特定された作業内容が複数存在する場合には、作業決定部１７０は、ジェスチャ認識部１４０や音声認識部１５２による認識結果を識別した物体の情報と組み合わせて用いることにより、実行する作業内容を決定する。一方、ステップＳ１６０において、複数の作業が特定されなかった場合には、ステップＳ１７０の処理を実行せず、ステップＳ１８０の処理に進む。

そして、作業決定部１７０は、ユーザ２により提示された物体を用いて実行する作業内容が一意に決定されたか否かを確認する（ステップＳ１８０）。実行する作業内容が決定したと判断した場合には、当該作業の実行を開始し、動作決定処理を終了する。ここで、ステップＳ１５０にて、識別された物体に対して１つの作業が決定されている場合には、当該作業の実行が開始される。例えば、ユーザ２から提示された物体が箒であれば、箒を床の上で左右に動かしながら移動する動作が行われ、ユーザ２から提示された物体がモップであれば、モップを床に押し付けながら移動する動作が行われる。また、例えばユーザ２から提示された物体がちりとりである場合には、箒とともに使用してごみを集める動作が行われる。

なお、ステップＳ１５０の処理により、識別された物体に対して複数の作業が設定されていた場合には、ステップＳ１７０の処理によって決定された作業内容の実行が開始される。

一方、ステップＳ１８０において、実行する作業内容が決定されていないと判断した場合には、ユーザ２に対して作業不能メッセージを通知して、作業を開始することができないことを伝える（ステップＳ１９０）。ここで、実行する作業内容が決定されていない場合には、ステップＳ１４０において物体は識別されたが、識別された物体に対応する作業内容が動作・作業データベース１６０に記憶されていない場合も含まれる。作業不能メッセージは、例えば、ロボット１に設けられた表示部やスピーカ等の出力手段（ともに図示せず。）を用いてユーザ２に通知することができる。作業不能メッセージには、作業を特定することができない旨や、特定できない理由等を含めることができる。

なお、図８では、ステップＳ１８０において実行する作業内容が決定されていないと判断した場合には作業不能としたが、本発明はかかる例に限定されない。例えば、動作・作業データベース１６０に、ある物体と関連付けた作業内容が複数設定されている場合には、その作業内容の実行優先度も予め設定しておく。そして、ステップＳ１８０において、実行する作業内容が決定されていないと判断した場合には、作業決定部１７０は、その予め設定された優先度に基づき、作業を決定し、開始させるようにしてもよい。

以上、本実施形態に係る作業決定装置１００による作業決定方法について説明した。本実施形態によれば、ユーザ２により提示された物体を識別し、ロボット１が識別された物体を道具として用いて行う作業内容を決定する。このように、ユーザ２がロボット１に対して道具を提示するだけで、ロボット１に対してその道具を用いた所望の作業を行わせることができる。また、画像処理や無線タグ情報認識により認識された物体の情報とともに、画像によるジェスチャ認識や音声認識等を組み合わせることにより、従来と比較してより自然なインタラクションによりロボット１に作業指示することが可能となる。

なお、上記説明では、識別された物体に複数の作業内容が関連付けられている場合に、ジェスチャ認識部１４０や音声認識部１５２による認識結果を用いて実行する作業内容を決定したが、本発明はかかる例に限定されない。例えば、ユーザ２が箒をロボット１に提示するとともに、掃除したい場所を指差しすると、ジェスチャ認識部１４０は指差しされた場所を認識することができる。この場合、作業決定部１７０は、物体から特定された作業内容を、ジェスチャ認識部１４０により認識された場所で行うことを決定することで、ユーザ２は詳細な作業指示を容易に行うことができるようになる。また、このような作業場所の指示は、ユーザ２が発話することにより指示することも可能である。

また、認識された物体を用いて行う作業内容を、ユーザ毎に設定するようにしてもよい。例えば、ジェスチャ認識部１４０により、カメラ１１０により撮像したユーザ２の画像から、作業指示を行っているユーザ２を特定する。ユーザ２の特定は、既存の顔認識処理等の技術を用いて行うことができる。また、動作・作業データベース１６０には、作業指示者を示すユーザ情報が作業内容と関連付けて記憶されているとする。そして、作業決定部１７０は、識別された物体の情報と、物体を提示していると特定したユーザ２とに基づいて、実行する作業内容を決定する。これにより、作業指示者であるユーザ毎に、物体を用いて実行する作業内容を設定することができ、ユーザが詳細に指示しなくとも各ユーザがそれぞれ所望する作業を実行させることができる。

＜４．ハードウェア構成例＞
本実施形態にかかる作業決定装置１００による一部の処理は、ハードウェアにより実行させることもでき、ソフトウェアによって実行させることもできる。この場合、作業決定装置１００は、図９に示すようなコンピュータとして構成することもできる。以下、図９に基づいて、本実施形態に係る作業決定装置１００の一ハードウェア構成例について説明する。

本実施形態にかかる入力ユニットを構成する作業決定装置１００は、上述したように、コンピュータ等の情報処理装置により実現することができ、図２に示すホストコンピュータ１０として自律分散型ロボット１に設けることができる。作業決定装置１００は、図９に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、ホストバス１０４ａとを備える。また、作業決定装置１００は、ブリッジ１０４と、外部バス１０４ｂと、インタフェース１０５と、入力装置１０６と、出力装置１０７と、ストレージ装置（ＨＤＤ）１０８と、ドライブ１０９と、接続ポート１１１と、通信装置１１３とを備える。

ＣＰＵ１０１は、演算処理装置および制御装置として機能し、各種プログラムに従って作業決定装置１００内の動作全般を制御する。また、ＣＰＵ１０１は、マイクロプロセッサであってもよい。ＲＯＭ１０２は、ＣＰＵ１０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ１０３は、ＣＰＵ１０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス１０４ａにより相互に接続されている。

ホストバス１０４ａは、ブリッジ１０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１０４ｂに接続されている。なお、必ずしもホストバス１０４ａ、ブリッジ１０４および外部バス１０４ｂを分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。

入力装置１０６は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１０１に出力する入力制御回路などから構成されている。ユーザは、該入力装置１０６を操作することにより、ロボット１の作業決定装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置１０７は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置や、スピーカなどの音声出力装置を含む。出力装置１０７は、例えば、ユーザに対して作業不能メッセージを通知する際に用いられる。

ストレージ装置１０８は、作業決定装置１００の記憶部の一例であり、データ格納用の装置である。ストレージ装置１０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置１０８は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置１０８は、ハードディスクを駆動し、ＣＰＵ１０１が実行するプログラムや各種データを格納する。

ドライブ１０９は、記憶媒体用リーダライタであり、作業決定装置１００に内蔵、あるいは外付けされる。ドライブ１０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ１０３に出力する。

接続ポート１１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。また、通信装置１１３は、例えば、通信網１５に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置１１２は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、動作・作業データベース１６０には、予め所定の物体を用いて行う作業内容が当該物体と関連付けられて記憶されていたが、本発明はかかる例に限定されない。例えば、ロボット１に作業を行わせる際に、ユーザが物体を提示して作業内容を教示し、当該作業内容を動作・作業データベース１６０に記録するようにしてもよい。作業内容の教示は、例えば、カメラ１１０により撮像した画像からユーザが使用している物体とユーザの動作とを認識させることにより行うことができる。

１ 自律移動型ロボット
１００ 動作決定装置
１１０ カメラ
１１２ 画像特徴量抽出部
１１４ 画像特徴量データベース
１１６ 画像比較部
１２０ 無線タグ読出部
１２２ 無線タグデータベース
１２４ 無線タグ情報比較部
１３０ 物体識別部
１４０ ジェスチャ認識部
１５０ マイク
１５２ 音声認識部
１６０ 動作・作業データベース
１７０ 作業決定部

Claims (8)

1. 所定の作業を行うために動作する動作部と、
   ユーザからの指示に基づいて、実行する作業を決定する作業決定部と、
   作業決定部により決定された作業内容に基づいて、前記動作部の動きを制御する制御部と、
   を備え、
   前記作業決定部は、
   ユーザから提示された物体を識別するための物体情報を取得する情報取得部と、
   前記情報取得部により取得された物体情報に基づいて、前記物体を識別する物体識別部と、
   物体と、当該物体を使用して行う作業内容とを関連付けて記憶する作業記憶部と、
   前記物体識別部により識別された物体に基づいて、前記作業記憶部から前記識別された物体を用いて行う作業内容を決定する決定部と、
   を備える、自律移動装置。
2. 前記情報取得部は、画像を取得する撮像手段であり、
   前記自律移動装置は、
   前記撮像手段により撮像された物体の画像から画像特徴量を抽出する画像特徴量抽出部と、
   予め物体の画像から抽出した画像特徴量を記憶する画像特徴量記憶部と、
   をさらに備え、
   前記物体識別部は、前記画像特徴量抽出部により抽出された画像特徴量と、前記画像特徴量記憶部に記憶された画像特徴量とを比較して、ユーザから提示された物体を識別する、請求項１に記載の自律移動装置。
3. 前記自律移動装置は、前記撮像手段により撮像された画像に基づいて、ユーザの動作または当該ユーザにより提示された物体の動きのうち少なくともいずれか一方を認識結果として認識する動作認識部をさらに備え、
   前記決定部は、前記物体識別部により識別された物体と、前記動作認識部による認識結果とに基づいて、前記識別された物体に対応する作業内容を決定する、請求項２に記載の自律移動装置。
4. 前記作業記憶部に、前記物体識別部により識別された物体を用いて行う作業内容が複数記憶されているとき、
   前記決定部は、前記動作認識部による認識結果に基づいて、前記識別された物体を用いて行う作業内容を決定する、請求項３に記載の自律移動装置。
5. 前記作業記憶部に、前記物体識別部により識別された物体を用いて行う作業内容が１つ記憶されており、かつ、前記動作認識部によりユーザの動作または物体の動きのうち少なくともいずれか一方が認識結果として認識されているとき、
   前記決定部は、前記物体識別部により識別された物体を用いて行う作業内容を、前記動作認識部による認識結果に応じて実行することを決定する、請求項３に記載の自律移動装置。
6. 前記情報取得部は、ユーザから提示された物体に設けられている無線タグから、当該無線タグに記憶された無線タグ情報を読み出す読出手段であり、
   前記自律移動装置は、無線タグが設けられている物体と、当該無線タグに記憶されている無線タグ情報とを関連付けて記憶する無線タグ情報記憶部をさらに備え、
   前記物体識別部は、前記読出手段により読み出された無線タグ情報と、前記無線タグ情報記憶部に記憶された無線タグ情報とを比較して、ユーザから提示された物体を識別する、請求項１に記載の自律移動装置。
7. ユーザの音声を取得する音声取得部と、
   前記音声取得部により取得された音声から、ユーザの発話内容を認識する音声認識部と、
   をさらに備え、
   前記決定部は、前記物体識別部により識別された物体と、前記音声認識部により認識されたユーザの発話内容とに基づいて、前記識別された物体を用いて行われる作業内容を決定する、請求項１に記載の自律移動装置。
8. ユーザから提示された物体を識別するための物体情報を、所定の作業を行うために動作する動作部を備える自律移動装置の情報取得部により取得するステップと、
   前記情報取得部により取得された物体情報に基づいて、前記自律移動装置の物体識別部により前記物体を識別するステップと、
   前記物体識別部により識別された物体に基づいて、物体と当該物体を使用して行う作業内容とを関連付けて記憶する作業記憶部から、前記識別された物体を用いて自律移動装置が行う作業内容を、前記自律移動装置の決定部により決定するステップと、
   前記決定された作業内容に基づいて、前記自律移動装置の動作部の動きを制御部により制御するステップと、
   を含む、作業決定方法。
   

Images