JP2016146188A - 情報処理装置、情報処理方法およびコンピュータプログラム - Google Patents

Abstract

【課題】物体を複数の視点から撮影してその物体について学習させる際に、各視点における特徴点同士の対応関係を用いることで物体の学習状況を視覚的に提示することが可能な情報処理装置を提供する。【解決手段】所定の物体について複数の視点から撮影された画像を取得する画像取得部と、前記画像取得部で取得された画像に対してそれぞれ特徴点を抽出する特徴点抽出部と、隣接視点間の画像で前記特徴点の対応関係を取得する対応関係取得部と、前記対応関係取得部で取得された前記対応関係についての情報を量的に提示する情報提示部と、を備える、情報処理装置が提供される。【選択図】図１

Description

本開示は、情報処理装置、情報処理方法およびコンピュータプログラムに関する。

ロボットに物体を把持させて、ロボットにその物体の外観的な特徴を学習させた上で、その物体について認識させる技術がある。ロボットに物体の外観的な特徴を学習させる際には、ロボットに搭載する撮像装置で物体を撮像さて、その撮像装置から出力される画像データに基づいて物体の外観的な特徴を学習させる方法が広く用いられている。

例えば特許文献１には、認識対象の物体を、所定の撮像手段に対して予め定められた所定の空間位置に移動させて、当該空間位置において所定状態に保持し、撮像手段に出力に基づいて物体を認識し、認識出来なかったときには当該物体を学習する物体認識装置について開示されている。

特開２００３−３４６１５２号公報

しかし、特許文献１に記載された発明では、ロボットが対象物体の各視点の画像を取得し、各視点について特徴点を検出し、特徴を抽出して識別器を作成するが、各視点の識別器は独立しており、各々に存在する特徴点の関係を考慮していない。そのため、各視点における識別器では、物体と背景からの特徴点とを区別すること無く学習するので、周辺環境の変化に伴って識別性能が低下するおそれがあるという問題があった。

また特許文献１に記載された発明では、各視点で学習できた物体に属する特徴点の数量や位置を知ることができないので、各視点の学習状況を把握することができず、また、視点間の特徴点の対応関係を持たないので、仮想的な視点を生成してユーザに提示したり、ユーザとの間でインタラクティブな処理を行ったりすることができないという問題があった。

そこで、本開示は、上記問題に鑑みてなされたものであり、本開示の目的とするところは、物体を複数の視点から撮影してその物体について学習させる際に、各視点における特徴点同士の対応関係を用いることで物体の学習状況を視覚的に提示することが可能な、新規かつ改良された情報処理装置、情報処理方法およびコンピュータプログラムを提供することにある。

本開示によれば、所定の物体について複数の視点から撮影された画像を取得する画像取得部と、前記画像取得部で取得された画像に対してそれぞれ特徴点を抽出する特徴点抽出部と、隣接視点間の画像で前記特徴点の対応関係を取得する対応関係取得部と、前記対応関係取得部で取得された前記対応関係についての情報を登録する物体モデル登録部と、を備える、情報処理装置が提供される。

かかる構成によれば、画像取得部は、所定の物体について複数の視点から撮影された画像を取得し、特徴点抽出部は、画像取得部で取得された画像に対してそれぞれ特徴点を抽出する。そして、対応関係取得部は隣接視点間の画像で前記特徴点の対応関係を取得し、物体モデル登録部は、対応関係取得部で取得された対応関係についての情報を登録する。その結果、かかる情報処理装置は、物体を複数の視点から撮影して、その物体について学習させる際に、各視点における特徴点同士の対応関係を用いることで物体の学習状況を視覚的に提示することが可能となる。

また本開示によれば、所定の物体について複数の視点から撮影された画像を取得する画像取得ステップと、前記画像取得ステップで取得された画像に対してそれぞれ特徴点を抽出する特徴点抽出ステップと、隣接視点間の画像で前記特徴点の対応関係を取得する対応関係取得ステップと、前記対応関係取得ステップで取得された対応関係についての情報を登録する物体モデル登録ステップと、を含む、情報処理方法が提供される。

また本開示によれば、コンピュータに、所定の物体について複数の視点から撮影された画像を取得する画像取得ステップと、前記画像取得ステップで取得された画像に対してそれぞれ特徴点を抽出する特徴点抽出ステップと、隣接視点間の画像で前記特徴点の対応関係を取得する対応関係取得ステップと、前記対応関係取得ステップで取得された対応関係についての情報を登録する物体モデル登録ステップと、を実行させる、コンピュータプログラムが提供される。

以上説明したように本開示によれば、物体を複数の視点から撮影してその物体について学習させる際に、各視点における特徴点同士の対応関係を用いることで物体の学習状況を視覚的に提示することが可能な、新規かつ改良された情報処理装置、情報処理方法およびコンピュータプログラムを提供することができる。

本開示の一実施形態にかかるロボットの外観例を示す説明図である。 本開示の一実施形態にかかるロボット１００のハードウェア構成例を示す説明図である。 本開示の一実施形態にかかるロボット１００の機能構成例を示す説明図である。 本開示の一実施形態にかかるロボット１００の動作を示す流れ図である。 本開示の一実施形態にかかるロボット１００の動作を示す流れ図である。 本開示の一実施形態にかかるロボット１００の動作を示す流れ図である。 隣接視点のＩｎｌｉｅｒ特徴点及びマッチ点間のリンク情報の概念を示す説明図である。 ユーザがロボット１００の物体モデルの学習状態を確認するためのＧＵＩの例を示す説明図である。 ロボット１００が学習した物体モデルについての物体名やカテゴリ名の登録処理の一例を示す流れ図である。 ユーザがロボット１００の物体モデルの学習状態を確認するためのＧＵＩの例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
＜１．本開示の一実施形態＞
［ロボットの外観例］
［ロボットの機能構成例］
［ロボットの動作例］
＜２．まとめ＞

＜１．本開示の一実施形態＞
［ロボットの外観例］
まず、本開示の一実施形態にかかるロボットの外観例について説明する。図１は、本開示の一実施形態にかかるロボットの外観例を示す説明図である。以下、図１を参照して、本開示の一実施形態にかかるロボットの外観例について説明する。

図１に示すように、本開示の一実施形態にかかるロボット１００は、体幹部ユニット１０２の所定の位置に、頭部ユニット１０１が連結されるとともに、左右で対をなす腕部ユニット１０３Ｌ、１０３Ｒと、左右で対をなす脚部ユニット１０４Ｌ、１０４Ｒが連結されて構成される。腕部ユニット１０３Ｌ、１０３Ｒの先には、それぞれ手部１０５Ｌ、１０５Ｒが連結されている。また頭部ユニット１０１には、画像データを得るための画像入力装置１２１が備えられている。

本開示の一実施形態にかかるロボット１００は、手部１０５Ｌ、１０５Ｒに把持した物体を画像入力装置１２１で撮影することで認識し、その物体が認識できない場合は、手部１０５Ｌ、１０５Ｒに把持した物体を複数の方向から画像入力装置１２１で撮影することでその物体について学習することができるよう構成されている。

そして図１には、ロボット１００と併せて、ロボット１００に対する制御を実行する情報処理装置２００を図示している。情報処理装置２００は、ロボット１００に対して物体の学習を指示したり、ロボット１００が学習した内容について表示したりできるよう構成されている。

以上、図１を参照して、本開示の一実施形態にかかるロボットの外観例について説明した。次に、本開示の一実施形態にかかるロボットのハードウェア構成例について説明する。

［ロボットのハードウェア構成例］
図２は、本開示の一実施形態にかかるロボット１００のハードウェア構成例を示す説明図である。以下、図２を用いて本開示の一実施形態にかかるロボット１００のハードウェア構成例について説明する。

図２に示すように、本開示の一実施形態にかかるロボット１００は、例えば体幹部ユニット１０２に制御システムを有している。制御システムは、ユーザ入力等に動的に反応して情緒判断や感情表現を司る思考制御モジュール１１０と、アクチュエータ１４０の駆動等、ロボット１００の全身協調運動を制御する運動制御モジュール１３０により構成される。

思考制御モジュール１１０は、情緒判断や感情表現に関する演算処理を実行するＣＰＵ１１１や、ＲＡＭ１１２、ＲＯＭ１１３および外部記憶装置１１４等により構成される。思考制御モジュール１１０は、画像入力装置１２１から入力される画像データや音声入力装置１２２から入力される音声データ、通信ＩＦ１２４から入力される指令コマンド等、外界からの刺激に応じてロボット１００の現在の感情や意思を決定する。思考制御モジュール１１０は、意思決定に基づいた動作や行動を実行するように、運動制御モジュール１３０に指令を伝達する。

運動制御モジュール１３０は、ロボット１００の全身協調運動を制御するＣＰＵ１３１や、ＲＡＭ１３２、ＲＯＭ１３３および外部記憶装置１３４等により構成される。外部記憶装置１３４には、例えば、オフラインで算出された歩行パターンや目標とするＺＭＰ（ゼロモーメントポイント）軌道、その他の動作パターンが蓄積される。

運動制御モジュール１３０には、アクチュエータ１４０、距離計測センサ（不図示）、姿勢センサ１４１、接地確認センサ１４２Ｌ，１４２Ｒ、荷重センサ（不図示）、電源制御装置１４３等の各種の装置がバスインターフェイス（ＩＦ）３１０を介して接続されている。ここで、アクチュエータ１４０はロボット１００の各関節部の動きを実現し、姿勢センサ１４１は体幹部ユニット１０２の姿勢や傾斜を計測するために用いられる。接地確認センサ１４２Ｌ，１４２Ｒは左右の足底の離床または着床を検出し、荷重センサは左右の足底に作用する荷重を検出し、電源制御装置１４３はバッテリ等の電源を管理するために用いられる。

思考制御モジュール１１０と運動制御モジュール１３０は、共通のプラットフォーム上に構築され、両者は、バスインターフェイス（ＩＦ）１１５，１３５を介して相互接続されている。

運動制御モジュール１３０は、思考制御モジュール１１０から指示された行動を実行するように、各アクチュエータ１４０による全身協調運動を制御する。つまり、ＣＰＵ１３１は、思考制御モジュール１１０から指示された行動に応じた動作パターンを外部記憶装置１３４から読出し、または内部的に動作パターンを生成する。そして、ＣＰＵ１３１は、指定された動作パターンに従って、足部運動、ＺＭＰ軌道、体幹運動、上肢運動、腰部水平位置・高さ等を設定し、設定内容に従った動作を指示する指令を各アクチュエータ１４０に伝達する。

また、ＣＰＵ１３１は、姿勢センサ１４１の出力信号によりロボット１００の体幹部ユニット１０２の姿勢や傾きを検出するとともに、各接地確認センサ１４２Ｌ、１４２Ｒの出力信号により各脚部ユニット１０４Ｌ、１０４Ｒが遊脚または立脚のいずれの状態であるかを検出することで、ロボット１００の全身協調運動を適応的に制御する。さらに、ＣＰＵ１３１は、ＺＭＰ位置が常にＺＭＰ安定領域の中心に向かうように、ロボット１００の姿勢や動作を制御する。

また、運動制御モジュール１３０は、思考制御モジュール１１０により決定された意思通りの行動がどの程度実現されたか、つまり処理の状況を思考制御モジュール１１０にフィードバックする。このように、ロボット１００は、制御プログラムに基づいて自己および周囲の状況を判断し、自律的に行動することができる。

以上、図２を用いて本開示の一実施形態にかかるロボット１００のハードウェア構成例について説明した。次に、本開示の一実施形態にかかるロボット１００の機能構成例について説明する。

［ロボットの機能構成例］
図３は、本開示の一実施形態にかかるロボット１００の機能構成例を示す説明図である。図３に示したロボット１００の機能構成は、画像入力装置１２１で撮影した物体について学習する際の構成を示したものである。以下、図３を用いて本開示の一実施形態にかかるロボット１００の機能構成例について説明する。

図３に示したように、本開示の一実施形態にかかるロボット１００は、画像認識部１５１と、特徴点検出部１５２と、特徴量抽出部１５３と、画像マッチング部１５４と、画像変換部１５５と、学習状態提示部１５６と、物体モデル登録部１５７と、を含んで構成される。

画像認識部１５１は、画像入力装置１２１で撮影された画像から、学習対象となる物体の認識を行うものである。画像認識部１５１は、画像入力装置１２１で撮影された画像から、学習対象となる物体を認識すると、画像入力装置１２１で撮影された画像を特徴点検出部１５２へ送る。

特徴点検出部１５２は、画像入力装置１２１で撮影された画像から特徴点を検出する。特徴点は、例えば、画像入力装置１２１で撮影された物体のコーナー部等、特徴的な部位に相当する画素パターンを探索することで検出される。特徴点検出部１５２は、画像入力装置１２１で撮影された画像から特徴点を検出すると、画像とともに特徴点の情報を特徴量抽出部１５３へ送る。

特徴量抽出部１５３は、特徴点検出部１５２から送られてくる、画像入力装置１２１で撮影された画像と、当該画像に含まれる特徴点の情報とから、特徴点の特徴量を抽出する。特徴量の抽出手法については様々な手法があり特定の手法に限定されるものではないが、一例を挙げれば、例えば特徴量抽出部１５３は、特徴点に対応する位置の画素の情報を特徴量（局所特徴量）として抽出する。特徴量抽出部１５３は、特徴点の特徴量を抽出すると、特徴量の情報を、特徴点の情報と合わせて画像マッチング部１５４に送る。

画像マッチング部１５４は、ロボット１００がある視点で画像入力装置１２１によって撮影した画像と、その視点の周辺の視点で画像入力装置１２１によって撮影した画像との間で、特徴量の情報を用いて特徴点のマッチングを行って、特徴点がマッチすると思われる候補を求める。画像マッチング部１５４は、特徴点がマッチすると思われる候補の情報を画像変換部１５５に送る。

画像変換部１５５は、画像マッチング部１５４から送られてくる、特徴点がマッチすると思われる候補の情報を用いて画像変換処理を行う。具体的には、画像変換部１５５は、特徴点がマッチすると思われる候補の情報を用いて、マッチする特徴点のペア間の平面変換を求める。画像変換部１５５は、画像マッチング部１５４から送られてくる、特徴点がマッチすると思われる候補の情報に対して、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）を適用し、Ｏｕｔｌｉｅｒペアを除去してから平面変換を求めても良い。画像変換部１５５は、マッチする特徴点のペア間の平面変換を求めると、求めた平面変換を、マッチする特徴点および特徴点のペアの情報とともに、学習状態提示部１５６および物体モデル登録部１５７へ送る。

学習状態提示部１５６は、ロボット１００による、学習対象の物体の学習状態を提示する。学習対象の物体の学習状態は、マッチする特徴点のペア間の平面変換、マッチする特徴点および特徴点のペアの情報を用いて提示される。学習対象の物体の学習状態は、例えばロボット１００とネットワークで接続されるパーソナルコンピュータ、タブレット、スマートフォンその他の情報処理装置に表示される。

物体モデル登録部１５７は、マッチする特徴点のペア間の平面変換、マッチする特徴点および特徴点のペアの情報を、それぞれの視点の情報、および視点間の情報を、それぞれの視点における物体モデルとして登録する。物体モデル登録部１５７が、それぞれの視点における物体モデルを構築することで、ロボット１００は、複数の物体モデルの共通部分を認識し、統合して、対象物体のモデルとして学習する。

以上、図３を用いて本開示の一実施形態にかかるロボット１００の機能構成例について説明した。次に、本開示の一実施形態にかかるロボット１００の動作について説明する。

［ロボットの動作例］
図４は、本開示の一実施形態にかかるロボット１００の動作を示す流れ図である。図４に示した流れ図は、ユーザの指示によりロボット１００が物体を学習する場合について示したものである。以下、図４を用いて本開示の一実施形態にかかるロボット１００の動作について説明する。

ロボット１００は、ユーザから物体を手渡され、その物体の学習指示を受けると（ステップＳ１０１）、まずその物体が手部１０５Ｒ、１０５Ｌで把持可能かどうかを判断する（ステップＳ１０２）。

上記ステップ１０２の判断の結果、ユーザから手渡された物体が手部１０５Ｒ、１０５Ｌで把持可能であれば、ロボット１００は、その物体を手部１０５Ｒ、１０５Ｌで把持し、把持した物体を回転させつつ、複数の視点からの画像を画像入力装置１２１で撮影する（ステップＳ１０３）。ロボット１００は、画像入力装置１２１による画像の撮影を、例えば水平角方向に５度単位、天頂角方向に５度単位等の所定の間隔で行う。ロボット１００は、画像入力装置１２１によって撮影する間隔を、物体の形状に応じて変化させても良い。例えばロボット１００は、その物体中の尖っている箇所は、間隔を狭めて画像入力装置１２１で撮影するようにしてもよい。

ロボット１００は、上記ステップＳ１０３で、把持した物体の複数の視点からの画像を画像入力装置１２１で撮影すると、続いて、各視点からの画像に基づき、把持した物体のモデルを学習する（ステップＳ１０４）。ロボット１００が、把持した物体のモデルをどのように学習するかについては後に詳述する。

上記ステップＳ１０４で、ロボット１００が、各視点からの画像に基づき、把持した物体のモデルを学習すると、続いて、ロボット１００は、把持した物体の、手部１０５Ｒ、１０５Ｌで隠れている部分が見えるように、把持した物体を持ち直す（ステップＳ１０５）。この物体の持ち直しは、ロボット１００が自ら判断して実行してもよく、ユーザからの指示に応じて実行しても良い。

上記ステップＳ１０５で、ロボット１００が物体を持ち直すと、上記ステップＳ１０３と同様に、その物体を手部１０５Ｒ、１０５Ｌで把持し、把持した物体を回転させつつ、複数の視点からの画像を画像入力装置１２１で撮影する（ステップＳ１０６）。ロボット１００は、上記ステップＳ１０６で、把持した物体の複数の視点からの画像を画像入力装置１２１で撮影すると、続いて、各視点からの画像に基づき、把持した物体のモデルを学習する（ステップＳ１０７）。

ロボット１００は、全ての視点から把持した物体を撮影し終えると、ロボット１００は、各視点での物体モデルの共通部分を認識し、各視点での物体モデルを統合して、対象物体のモデルとして学習する（ステップＳ１０８）。

一方、上記ステップＳ１０２の判断の結果、ユーザから手渡された物体が手部１０５Ｒ、１０５Ｌで把持可能で無い場合には、ロボット１００は、物体が把持できない旨のエラーメッセージを所定の手段で提示する（ステップＳ１０９）。エラーメッセージの提示方法は特定の例に限定されるものではないが、一例を挙げれば、ロボット１００に備えられている表示装置にエラーメッセージを表示するようにしてもよく、ロボット１００から情報処理装置へ把持できない旨を通信し、情報処理装置にエラーメッセージを表示させるようにしてもよい。

ロボット１００は、このように一連の動作を実行することで、ユーザの指示により、手部１０５Ｒ、１０５Ｌで把持した未知の物体を学習することができる。

以上、図４を用いて本開示の一実施形態にかかるロボット１００の動作について説明した。次に、ロボット１００による未知の物体の学習方法の別の例について説明する。

図５は、本開示の一実施形態にかかるロボット１００の動作を示す流れ図である。図５に示した流れ図は、ロボット１００が未知の物体を自ら発見し、その未知の物体について学習する場合について示したものである。以下、図５を用いて本開示の一実施形態にかかるロボット１００の動作について説明する。

ロボット１００は、レーザーレンジファインダー（ＬＲＦ）その他のセンサ等を用いて物体を発見すると（ステップＳ１１１）、まず、その発見した物体が手部１０５Ｒ、１０５Ｌで把持可能かどうかを判断する（ステップＳ１１２）。

上記ステップ１１２の判断の結果、ユーザから手渡された物体が手部１０５Ｒ、１０５Ｌで把持可能であれば、ロボット１００は、その物体を手部１０５Ｒ、１０５Ｌで把持し、把持した物体を回転させつつ、複数の視点からの画像を画像入力装置１２１で撮影する（ステップＳ１１３）。ロボット１００は、画像入力装置１２１による画像の撮影を、例えば水平角方向に５度単位、天頂角方向に５度単位等の所定の間隔で行う。もちろんロボット１００による物体の画像の撮影間隔はかかる例に限定されるものではない。

ロボット１００は、上記ステップＳ１１３で、把持した物体の複数の視点からの画像を画像入力装置１２１で撮影すると、続いて、各視点からの画像に基づき、把持した物体のモデルを学習する（ステップＳ１１４）。ロボット１００が、把持した物体のモデルをどのように学習するかについては後に詳述する。

上記ステップＳ１１４で、ロボット１００が、各視点からの画像に基づき、把持した物体のモデルを学習すると、続いて、ロボット１００は、把持した物体の、手部１０５Ｒ、１０５Ｌで隠れている部分が見えるように、把持した物体を持ち直す（ステップＳ１０５）。この物体の持ち直しは、ロボット１００が自ら判断して実行してもよく、ユーザからの指示に応じて実行しても良い。

上記ステップＳ１１５で、ロボット１００が物体を持ち直すと、上記ステップＳ１１３と同様に、その物体を手部１０５Ｒ、１０５Ｌで把持し、把持した物体を回転させつつ、複数の視点からの画像を画像入力装置１２１で撮影する（ステップＳ１１６）。ロボット１００は、上記ステップＳ１１６で、把持した物体の複数の視点からの画像を画像入力装置１２１で撮影すると、続いて、各視点からの画像に基づき、把持した物体のモデルを学習する（ステップＳ１１７）。

ロボット１００は、全ての視点から把持した物体を撮影し終えると、ロボット１００は、各視点での物体モデルの共通部分を認識し、各視点での物体モデルを統合して、対象物体のモデルとして学習する（ステップＳ１１８）。

一方、上記ステップＳ１１２の判断の結果、ユーザから手渡された物体が手部１０５Ｒ、１０５Ｌで把持可能で無い場合には、ロボット１００は、物体が把持できない旨のエラーメッセージを所定の手段で提示する（ステップＳ１１９）。エラーメッセージの提示方法は特定の例に限定されるものではないが、一例を挙げれば、ロボット１００に備えられている表示装置にエラーメッセージを表示するようにしてもよく、ロボット１００から情報処理装置へ把持できない旨を通信し、情報処理装置にエラーメッセージを表示させるようにしてもよい。

以上、図５を用いて本開示の一実施形態にかかるロボット１００の動作として、ロボット１００による未知の物体の学習方法の別の例について説明した。次に、ロボット１００による学習の対象物体の、視点構造を持ったモデル構築の方法について説明する。

図６は、本開示の一実施形態にかかるロボット１００の動作を示す流れ図である。図６に示した流れ図は、ロボット１００による学習の対象物体の、視点構造を持ったモデル構築の方法について示したものである。以下、図６を用いて本開示の一実施形態にかかるロボット１００の動作について説明する。

ロボット１００は、複数の視点からの画像を画像入力装置１２１で撮影すると、撮影して得られるこれらの複数の画像に対して、画像認識部１５１で学習対象の物体が含まれていることを認識した後、それぞれの画像について特徴点検出を行う（ステップＳ１２１）。特徴点検出は特徴点検出部１５２が実行する。

上記ステップＳ１２１で、各画像において特徴点を検出すると、続いてロボット１００は、ステップＳ１２１で得られた特徴点について特徴量抽出を行う（ステップＳ１２２）。特徴量の抽出は、特徴量抽出部１５３が実行する。

上記ステップＳ１２２で、各画像に含まれる特徴点について特徴量を抽出すると、続いてロボット１００は、各々の視点で得られた特徴点の、周辺視点の画像の特徴点のマッチングを行う（ステップＳ１２３）。この特徴点のマッチングは、画像マッチング部１５４が実行する。

上記ステップＳ１２３で、各視点における特徴点と、周辺視点の画像の特徴点とのマッチングを行うと、続いてロボット１００は、マッチングにより求められるマッチ点ペアの候補に対して、例えばＲＡＮＳＡＣを適用し，Ｏｕｔｌｉｅｒペアの除去とともにマッチ点ペア間の平面変換（Ｈｏｍｏｇｒａｐｈｙ）を求める（ステップＳ１２４）。マッチ点ペア間の平面変換は、画像変換部１５５が求める。

図７は、隣接視点のＩｎｌｉｅｒ特徴点及びマッチ点間のリンク情報の概念を示す説明図である。図７では、視点Ｖ１、Ｖ２におけるＩｎｌｉｅｒ特徴点及びマッチ点間のリンク情報を示している。このようなＩｎｌｉｅｒ特徴点及びマッチ点間のリンク情報が、全ての視点において隣接する視点との間で生成される。

上記ステップ１２４で、マッチ点ペア間の平面変換を行うと、続いてロボット１００は、視点間でマッチした双方のマッチ点、マッチ点間のリンク情報、およびマッチ点ペア間の平面変換を、各々の視点及び視点間情報として物体モデルに登録する（ステップＳ１２５）。物体モデルへの登録は物体モデル登録部１５７が実行する。ロボット１００は、この一連の動作を全ての視点について実行する。

ロボット１００は、この図６に示したような動作を実行することで、画像入力装置１２１で撮影した複数の視点からの画像に基づいて、未知の物体についての物体モデルを登録することができる。そして、ロボット１００は、画像入力装置１２１で撮影した複数の視点からの画像に基づいて得られる物体モデルの学習状況を、例えば情報処理装置２００へ提示することができる。

以上、ロボット１００による学習の対象物体の、視点構造を持ったモデル構築の方法について説明した。次に、ロボット１００の物体モデルの学習状態を確認するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の例について説明する。

図８は、ユーザがロボット１００の物体モデルの学習状態を確認するためのＧＵＩの例を示す説明図である。ロボット１００の物体モデルの学習状態を確認するためのＧＵＩは、例えば学習状態提示部１５６が生成して、情報処理装置２００へ送信してもよく、情報処理装置２００がロボット１００から学習状態に関する情報を得て、情報処理装置２００で生成してもよい。以下、図８を用いて、ユーザがロボット１００の物体モデルの学習状態を確認するためのＧＵＩの例について説明する。

図８に示したＧＵＩでは、現在ユーザに提示している視点において，学習済みの特徴点の局所画像を、その物体モデルに対応する位置に表示している。現在表示中の視点が、物体モデルに存在する実視点（学習画像として取得した視点）の場合は、該当視点の情報に基づいて提示する。

一方、現在表示中の視点が物体モデルに存在しない場合は、近傍の隣接する実視点における特徴点及びその局所画像、視点間に存在する特徴点のリンク情報、及び平面変換（Ｈｏｍｏｇｒａｐｈｙ）に基づいて、所定の画像処理（例えばモーフィング処理等）によって仮想視点を生成して、仮想視点画像を提示する。

ユーザは、学習状態提示部１５６が生成した、この局所画像によって描かれた物体を、例えばタッチパネルなどを介して回転させることができる。ユーザによる回転が行われると，物体モデルの回転後の視点における特徴点の位置および局所画像が呼び出され，仮想視点の場合は適切な画像処理（例えばモーフィング処理等）が行われ、ユーザに提示される。

ロボット１００の学習状態が、図８に示したようなＧＵＩによって提示されることで、ユーザは、どの視点からの学習状態は充分で、どの視点からの学習状態は不充分であるかを判断できる。そしてユーザは、学習が不充分である視点を指定して、ロボット１００に再学習を指示することができる。指示を受けたロボット１００は、当該視点およびその周辺視点における物体の画像を撮影して、再度学習を実行することで、学習を十分なレベルに達しさせることができる。

例えば図８に示した例では、視点Ａと視点Ｂとの間の合成視点ＡＢについては、物体の仮想視点画像が充分に作成できているので、表示が密であるが、視点Ｂと視点Ｃとの間の合成視点ＢＣについては、物体の仮想視点画像が充分に作成できていないので、表示が疎らである様子を示している。このように仮想視点画像が表示される場合は、視点Ｃにおける学習が不充分であるので、ユーザはロボット１００に対して視点Ｃからの再学習を指示することが出来る。ロボット１００は、ユーザから視点Ｃからの再学習が指示されると、物体を視点Ｃおよび視点Ｃの周辺視点から撮影し、再度学習を実行する。

以上、図８を用いて、ユーザがロボット１００の物体モデルの学習状態を確認するためのＧＵＩの例について説明した。次に、ロボット１００が学習した物体モデルについての物体名やカテゴリ名の登録処理の一例を説明する。

図９は、ロボット１００が学習した物体モデルについての物体名やカテゴリ名の登録処理の一例を示す流れ図である。以下、図９を用いて、ロボット１００が学習した物体モデルについての物体名やカテゴリ名の登録処理の一例について説明する。

例えば、図８で示したＧＵＩを利用して提示された物体モデルに対して、ユーザがその物体モデルについて物体名やカテゴリ名を命名する。まず、ロボット１００が、未知の物体を学習して得られた物体モデルを、例えば、図８で示したようなＧＵＩで提示する（ステップＳ１３１）。

ユーザは、上記ステップＳ１３１で提示された物体モデルについて、物体名や、その物体が属するカテゴリ名を入力する（ステップＳ１３２）。

上記ステップＳ１３２で、ユーザが物体名やカテゴリ名を入力すると、ロボット１００は、その物体名、カテゴリ名を、上記ステップＳ１３１で提示した物体モデル、およびその物体と同一の未知物体として学習したモデルに付与する（ステップＳ１３３）。

ロボット１００が学習した物体モデルについての物体名やカテゴリ名が、このような流れで登録されることにより、ロボット１００が、物体名やカテゴリ名を登録済みの物体と形状が近い未知物体を学習した際に、ロボット１００は、その未知物体の物体名やカテゴリ名を、形状が近い物体に登録された物体名やカテゴリ名から取得して、ユーザに提示することができる。

以上、図９を用いて、ロボット１００が学習した物体モデルについての物体名やカテゴリ名の登録処理の一例について説明した。次に、ロボット１００の物体モデルの学習状態を確認するためのＧＵＩの別の例について説明する。

図１０は、ロボット１００の物体モデルの学習状態を確認するためのＧＵＩの別の例について示す説明図である。以下、図１０を用いて、ロボット１００の物体モデルの学習状態を確認するためのＧＵＩの別の例について説明する。

図１０に示したＧＵＩは、球面を投影した図形上に学習状態を表示する例を示したものであり、物体に対する視点について、水平角・天頂角のメジャーを持ち、物体から等距離の球面として表したものである。各視点は、その対応する水平角・天頂角により球面の区切られたグリッドとして表されている。

図１０に示したＧＵＩは、各視点で学習したモデルの、周辺視点の特徴点とリンクが張れている特徴点の数に応じて、当該視点に対応するグリッドの色を変化させるものである。ユーザはタッチパネル等を介して任意に球面を回転することができる。これにより、ユーザは特徴点の少ない視点を確認でき，タッチパネル等を介してロボット１００に追加学習を指示できる。なお、図１０では周辺視点の特徴点とリンクが張れている特徴点の数に応じて、当該視点に対応するグリッドの色を変化させていたが、その他にも、特徴点の数に応じて、当該視点に対応するグリッドの色の濃淡や明暗を変化させるようにしてもよい。

ロボット１００の物体モデルの学習状態を確認するためのＧＵＩは、かかる例に限定されないことは言うまでもない。図１０のように球面で表示した際に、図７で示したような特徴点のリンク情報を重畳させるようにしても良い。また例えば、ロボット１００の物体モデルの学習状態を図１０のように球面で示す際に、図８に示したような物体の実際の画像および仮想視点からの画像を併せて示しても良い。ロボット１００の物体モデルの学習状態をそのように示した場合は、ユーザによる物体の回転操作に連動して球面を回転させてもよく、ユーザによる球面の回転操作に連動して物体を回転させるようにしても良い。このように、ロボット１００の物体モデルの学習状態を提示することで、ユーザは、物体のどの視点からの学習が充分で、どの視点からの学習が不充分であるかを視覚的に確認でき、学習が不充分な視点での再学習をロボット１００に対して指示しやすくなる。

また例えば、ロボット１００の物体モデルの学習状態を確認するためのＧＵＩとして、各視点における、リンクが張られていない特徴点を提示するようにしても良い。ロボット１００が、リンクが張れていない特徴点であると判断した場合でも、実際には、その特徴点は、周辺視点の画像の特徴点と同一の特徴点である場合も考えられる。そのような場合に、リンクが張られていないと提示された特徴点を、リンクが張れている特徴点である旨を、ユーザがＧＵＩに対して入力できるようにしても良い。

逆に、ロボット１００が、リンクが張れている特徴点であると判断した場合でも、実際には、その特徴点は、周辺視点の画像の特徴点と同一の特徴点ではない場合も考えられる。そのような場合に、リンクが張られていると提示された特徴点を、リンクが張れていない特徴点である旨を、ユーザがＧＵＩに対して入力できるようにしても良い。

＜２．まとめ＞
以上説明したように本開示の一実施形態によれば、ロボット１００が学習した物体モデルの学習状況を視覚的に提示できる。ロボット１００が学習した物体モデルの学習状況を視覚的に提示することで、ロボット１００に物体の再学習が必要であるかどうかをユーザに判断させることが出来る。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、ロボット１００に物体を把持させて、把持させた物体を学習の対象としたが、本開示はかかる例に限定されない。例えば、ロボット１００は、学習対象の物体の周囲を周回運動しながら、物体を撮影するようにしてもよい。また例えば、上記実施形態では、ロボット１００は、ユーザから手渡された物体が、大きすぎたり、形状が歪であったりするなどして、手部１０５Ｒ、１０５Ｌで把持可能で無い場合には、物体が把持できない旨のエラーメッセージを所定の手段で提示するようにしたが、本開示はかかる例に限定されるものではない。ロボット１００は、ユーザから手渡された物体が、大きすぎたり、形状が歪であったりするなどして手部１０５Ｒ、１０５Ｌで把持可能で無いと判断した場合には、床面に置かれたその物体の周囲を自ら移動して、複数の視点からの物体の画像を取得し、取得した画像に基づいて物体の学習を行うようにしても良い。

また例えば、上記実施形態では、物体の学習をロボット１００に行わせていたが、本開示はかかる例に限定されない。例えば、ロボット１００の画像入力装置１２１が撮影した物体の画像を、ロボット１００とネットワークで接続されるサーバ装置に随時送信し、ロボット１００が撮影した物体についての学習を当該サーバ装置で実行するようにしてもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
所定の物体について複数の視点から撮影された画像を取得する画像取得部と、
前記画像取得部で取得された画像に対してそれぞれ特徴点を抽出する特徴点抽出部と、
隣接視点間の画像で前記特徴点の対応関係を取得する対応関係取得部と、
前記対応関係取得部で取得された前記対応関係についての情報を量的に提示する情報提示部と、
を備える、情報処理装置。
（２）
前記情報提示部は、所定の視点と、該視点に隣接する視点との間における、前記対応関係についての情報を量的に提示する、前記（１）に記載の情報処理装置。
（３）
前記情報提示部は、前記対応関係についての情報として、前記特徴点間を結ぶ線を提示する、前記（２）に記載の情報処理装置。
（４）
前記情報提示部は、前記対応関係についての情報として、所定の視点と、該視点に隣接する視点との間の視点からの画像を仮想的に生成して提示する、前記（２）または（３）に記載の情報処理装置。
（５）
前記情報提示部は、前記対応関係についての情報として、所定の視点に隣接する視点との間において取得できた前記対応関係の数の大小に応じて、前記所定の視点における前記対応関係についての情報の表示を変化させて提示する、前記（２）から（４）のいずれかに記載の情報処理装置。
（６）
前記情報提示部は、前記所定の視点における前記対応関係についての情報を色の変化で提示する、前記（５）に記載の情報処理装置。
（７）
前記情報提示部は、前記所定の視点における前記対応関係についての情報を濃淡の変化で提示する、前記（５）に記載の情報処理装置。
（８）
前記情報提示部は、所定の視点と、該視点に隣接する視点との間における、前記対応関係についての情報を、球面を投影した図形上に提示する、前記（２）から（７）のいずれかに記載の情報処理装置。
（９）
前記対応関係取得部は、隣接視点間の画像で前記特徴点の対応関係を取得する際に、当該特徴点の特徴量の情報を用いる、前記（１）から（８）に記載の情報処理装置。
（１０）
前記画像取得部は、前記情報提示部が提示した前記対応関係についての情報において選択された視点からの、前記所定の物体についての画像を取得する、前記（１）から（９）のいずれかに記載の情報処理装置。
（１１）
所定の物体について複数の視点から撮影された画像を取得する画像取得ステップと、
前記画像取得ステップで取得された画像に対してそれぞれ特徴点を抽出する特徴点抽出ステップと、
隣接視点間の画像で前記特徴点の対応関係を取得する対応関係取得ステップと、
前記対応関係取得ステップで取得された対応関係についての情報を量的に提示する情報提示ステップと、
を備える、情報処理方法。
（１２）
コンピュータに、
所定の物体について複数の視点から撮影された画像を取得する画像取得ステップと、
前記画像取得ステップで取得された画像に対してそれぞれ特徴点を抽出する特徴点抽出ステップと、
隣接視点間の画像で前記特徴点の対応関係を取得する対応関係取得ステップと、
前記対応関係取得ステップで取得された対応関係についての情報を量的に提示する情報提示ステップと、
を実行させる、コンピュータプログラム。

１００ ：ロボット
１０１ ：頭部ユニット
１０２ ：体幹部ユニット
１０３Ｌ，１０３Ｒ ：腕部ユニット
１０４Ｌ，１０４Ｒ ：脚部ユニット
１０５Ｌ，１０５Ｒ ：手部
１１０ ：思考制御モジュール
１１４ ：外部記憶装置
１２１ ：画像入力装置
１２２ ：音声入力装置
１３０ ：運動制御モジュール
１３４ ：外部記憶装置
１４０ ：アクチュエータ
１４１ ：姿勢センサ
１４２Ｌ，１４２Ｒ ：接地確認センサ
１４３ ：電源制御装置
１５１ ：画像認識部
１５２ ：特徴点検出部
１５３ ：特徴量抽出部
１５４ ：画像マッチング部
１５５ ：画像変換部
１５６ ：学習状態提示部
１５７ ：物体モデル登録部
２００ ：情報処理装置

Claims (15)

1. 所定の物体について複数の視点から撮影された画像を取得する画像取得部と、
   前記画像取得部で取得された画像に対してそれぞれ特徴点を抽出する特徴点抽出部と、
   隣接視点間の画像で前記特徴点の対応関係を取得する対応関係取得部と、
   前記対応関係取得部で取得された前記対応関係についての情報を登録する物体モデル登録部と、
   を備える、情報処理装置。
2. 所定の視点と、該視点に隣接する視点との間における、前記対応関係についての情報を量的に提示する情報提示部を更に備える、請求項１に記載の情報処理装置。
3. 前記情報提示部は、前記対応関係についての情報として、前記特徴点間を結ぶ線を提示する、請求項２に記載の情報処理装置。
4. 前記情報提示部は、前記対応関係についての情報として、所定の視点と、該視点に隣接する視点との間の視点からの画像を仮想的に生成して提示する、請求項２または３に記載の情報処理装置。
5. 前記情報提示部は、前記対応関係についての情報として、所定の視点に隣接する視点との間において取得できた前記対応関係の数の大小に応じて、前記所定の視点における前記対応関係についての情報の表示を変化させて提示する、請求項２〜４のいずれかに記載の情報処理装置。
6. 前記情報提示部は、前記所定の視点における前記対応関係についての情報を色の変化で提示する、請求項５に記載の情報処理装置。
7. 前記情報提示部は、前記所定の視点における前記対応関係についての情報を濃淡の変化で提示する、請求項５に記載の情報処理装置。
8. 前記情報提示部は、所定の視点と、該視点に隣接する視点との間における、前記対応関係についての情報を、球面を投影した図形上に提示する、請求項２〜７のいずれかに記載の情報処理装置。
9. 前記対応関係取得部は、隣接視点間の画像で前記特徴点の対応関係を取得する際に、当該特徴点の特徴量の情報を用いる、請求項１〜８のいずれかに記載の情報処理装置。
10. 前記画像取得部は、前記物体モデル登録部が登録した前記対応関係についての情報において選択された視点からの、前記所定の物体についての画像を取得する、請求項１〜９のいずれかに記載の情報処理装置。
11. 前記物体モデル登録部は、所定の視点における物体モデルとして登録する、請求項１に記載の情報処理装置。
12. 前記画像取得部は、前記物体の形状に応じて、撮影間隔を制御する、請求項１に記載の情報処理装置。
13. 前記物体モデル登録部は、各視点における物体モデルを統合して、前記物体のモデルとして学習する、請求項１に記載の情報処理装置。
14. 所定の物体について複数の視点から撮影された画像を取得する画像取得ステップと、
    前記画像取得ステップで取得された画像に対してそれぞれ特徴点を抽出する特徴点抽出ステップと、
    隣接視点間の画像で前記特徴点の対応関係を取得する対応関係取得ステップと、
    前記対応関係取得ステップで取得された対応関係についての情報を登録する物体モデル登録ステップと、
    を含む、情報処理方法。
15. コンピュータに、
    所定の物体について複数の視点から撮影された画像を取得する画像取得ステップと、
    前記画像取得ステップで取得された画像に対してそれぞれ特徴点を抽出する特徴点抽出ステップと、
    隣接視点間の画像で前記特徴点の対応関係を取得する対応関係取得ステップと、
    前記対応関係取得ステップで取得された対応関係についての情報を登録する物体モデル登録ステップと、
    を実行させる、コンピュータプログラム。
    

Images