JP2019095345A - 物体識別システム - Google Patents

Abstract

【課題】第１の撮像装置と第２の撮像装置とで同一の対象物体を同時に撮影し、第１の撮像装置で生成した第１の画像データと第２の撮像装置で生成した第２の画像データとを用いて対象物体の位置情報と姿勢情報とを特定する物体識別システムを提供する。【解決手段】対象物体の表面には、平面として扱える平面領域があり、姿勢情報は、平面領域の面方向の情報であり、位置情報は、平面領域を一点で代表した代表点の位置情報であるとする。物体識別システムでは、第１の画像データにおける平面領域である第１の平面領域データを特定する手段と、第１の平面領域データに対して所定の演算を実行することで第２の平面領域データに相当する変換平面領域データを生成する手段と、変換平面領域データが、第２の画像データにおける当該平面領域のデータと最も高い一致度となる場合の平面領域の位置情報と姿勢情報を特定する手段とを有する。【選択図】図１

Description

本発明は、物体識別システムに関し、特に対象物体の位置情報及び姿勢情報を特定可能とした物体識別システムに関する。

従来、工場等で使用される工業用ロボットでは、ハンドリングする対象物体の形状や位置及び姿勢が特定された状態となっていることで、ロボット自体は対象物体の有無以外の認識を行うことなく、所定の作業を実行可能としている。

本発明者は、水中を自立航行するロボットの研究開発を行っているが、このようなロボットの場合では、工業用ロボットとは異なり、予測不能な状況下での動作が要求されるため、一般的にはロボットに装着したカメラの画像をオペレータが確認し、オペレータがコントローラによる遠隔操作を行うことで、目的の動作を実行させているのが現状である。

このような状況下で、本発明者は、水中ロボットのバッテリへの給電作業を容易とするために、水中に給電用ユニットを設けておき、水中ロボットが自立航行しながら給電用ユニットと接続することで給電作業が行えることを目指した水中航走体制御システムを開発した（例えば、特許文献１参照。）。

この水中航走体制御システムでは、給電用ユニットに立体的なマーカーを設けておき、このマーカーの形状を認識することで、給電用ユニットに対する水中ロボットの位置及び姿勢を検出可能として、給電用ユニットへの水中ロボットの接続動作を自立的に行えるようにしている。

特開２０１６−０９０４８８号公報

上記の水中ロボットでは、あらかじめ形状が明らかである立体的なマーカーを利用することで、水中ロボットの位置及び姿勢を検出可能としているが、水中ロボットに自律的に所定の作業を実行させるためには、マーカー等が設けられていない物体も認識できる必要があった。

本発明者は、研究開発を行う中で、複眼カメラを用いて立体的なマーカーを認識している水中ロボットにおいて、複眼カメラで得られた画像データを利用することで、マーカーを利用しなくても対象物体までの距離及び対象物体の姿勢を識別可能な方法を見出し、本発明を成すに至ったものである。

本発明の物体識別システムでは、第１の撮像装置と第２の撮像装置とで同一の対象物体を同時に撮影し、第１の撮像装置で生成した第１の画像データと、第２の撮像装置で生成した第２の画像データとを用いて対象物体の位置情報と姿勢情報とを特定するものである。

特に、本発明の物体識別システムでは、以下の１）〜４）のステップを有するものである。
１）第１のデータ中の対象物体の画像データを逆射影演算して対象物体の推定位置情報と推定姿勢情報とを生成するステップ。
２）推定位置情報と推定姿勢情報で特定される対象物体に対して第２の画像データへの順射影演算を行って変換画像データを生成するステップ。
３）変換画像データと第２の画像データとの一致度を演算するステップ。
４）一致度が最大となる推定位置情報と推定姿勢情報とを対象物体の位置情報と姿勢情報とするステップ。

また、本発明の物体識別システムでは、対象物体の表面には、平面として扱える平面領域があるものとし、姿勢情報は、平面領域の面方向の情報であり、位置情報は、平面領域を一点で代表した代表点の位置情報であり、以下のａ）〜ｄ）の手段を設けているものである。
ａ）第１の画像データにおける平面領域である第１の平面領域データを特定する手段。
ｂ）第１の平面領域データに対して逆射影演算を実行することで平面領域の推定姿勢情報と推定位置情報とを算出する手段。
ｃ）推定姿勢情報と前記推定位置情報の平面領域に対して第２の画像データへの順射影演算を実行することで変換平面領域データを生成する手段。
ｄ）変換平面領域データが、第２の画像データと最も高い一致度となる場合の推定位置情報と推定姿勢情報を、位置情報と姿勢情報として特定する手段。

さらに、本発明の物体識別システムでは、第１の平面領域データを特定する手段において、第１の画像データの中央近傍で同一色調の領域を平面領域として第１の平面領域データを特定していることにも特徴を有する。

本発明によれば、目的の対象物体を少なくとも２台の撮像装置で同時に撮影して得られた画像データを用いることで、同対象物体の表面の位置情報と姿勢情報とを特定することができる。したがって、自立的に動作させたいロボットにおいて、空間認識機能を容易に搭載することができる。

本発明に係る物体識別システムのシステム構成説明図である。 本発明に係る物体識別システムのフローチャートである。

本発明の物体識別システムでは、第１の撮像装置と第２の撮像装置とで同一の対象物体を同時に撮影し、第１の撮像装置で生成した第１の画像データと、第２の撮像装置で生成した第２の画像データとを用いて対象物体の位置情報と姿勢情報とを特定するものである。

なお、対象物体の表面には、平面として扱える平面領域があるものとし、姿勢情報は、平面領域の面方向の情報であり、位置情報は、平面領域を一点で代表した代表点の位置情報である。ここで、平面とは、完全な平面だけではなく、接平面であってもよく、本発明の平面には、接平面も含まれるものとする。

物体識別システムは、図１に示すように、第１の撮像装置11と、第２の撮像装置12と、この第１の撮像装置11と第２の撮像装置12から出力された画像データを解析する解析装置13とで構成している。

第１の撮像装置11と第２の撮像装置12は、それぞれいわゆるデジタルスチルカメラであって、解析装置13から入力された同期信号に基づいて同時に撮影を行って画像データをそれぞれ作成し、解析装置13に入力している。第１の撮像装置11及び第２の撮像装置12は、デジタルスチルカメラに限定するものではなく、デジタルビデオカメラ等であってもよく、画像データを生成可能であれば何を用いてもよい。

第１の撮像装置11と第２の撮像装置12は、図１に示すように第１の撮像装置11と第２の撮像装置12とを結ぶ線分L1を垂直二等分する垂直二等分線L2上の一点Ｐに向けており、この点Ｐの近傍に存在する対象物体を撮影することが望ましいが、対象物体は、必ずしも点Ｐ近傍に位置していなくてもよい。

解析装置13は、本実施形態ではパーソナルコンピュータであって、中央演算装置13aと、ハードディスクドライブあるいはソリッドステートドライブで構成した主記憶装置13bと、揮発性メモリで構成したメモリ13cとを備え、外部入力端子13dから入力された画像データをメモリ13cに記憶して、後述する処理を実行可能としている。図１中、符号13eはデータバスであり、符号13fは画像出力端子であり、符号13gはディスプレイである。

解析装置13は、主記憶装置13bに記憶しているプログラムをメモリ13cに展開して、図２に示すフローチャートに基づいて物体識別システムを実行している。解析装置13では、物体識別システムの実行にともなって、解析装置13を、後述するように、逐次、以下の手段として機能させている。
１）第１の画像データにおける平面領域である第１の平面領域データを特定する手段。
２）第１の平面領域データに対して逆射影演算を実行することで平面領域の３次元空間内の推定姿勢情報と推定位置情報とを算出する手段。
３）推定姿勢情報と推定位置情報を持つ３次元空間内の平面領域に対して第２の画像データへの順射影演算を実行することで変換平面領域データを生成する手段。
４）変換平面領域データが、第２の画像データにおける当該平面領域のデータと最も高い一致度となる場合の推定位置情報と推定姿勢情報を、位置情報と姿勢情報として特定する手段。

物体識別システムでは、まず、第１の撮像装置11と第２の撮像装置12で対象物体を同時に撮影して、第１の画像データと第２の画像データをそれぞれ生成している（ステップＳ１）。

次いで、物体識別システムでは、解析装置13を、第１の画像データにおける平面領域である第１の平面領域データを特定する手段として機能させて、第１の画像データから第１の平面領域データを特定している（ステップＳ２）。

特に、物体識別システムでは、第１の画像データの中央近傍で似た画像情報を持つ領域、例えば同一色調の領域を平面領域として第１の平面領域データを特定している。

特に、本実施形態では、色相、彩度、明度や色の３原色である赤、青、緑や明るさなど値から特定される評価値を用いており、第１の画像データの中央近傍において、画素の評価値が類似している範囲を特定し、その範囲にある数点を抽出して、第１の平面領域データとしている。すなわち、画素の評価値が同一または近い値である画素は、対象物体の表面上に存在している平面領域に対応していると推定しているものである。

第１の平面領域データの特定において、この第１の平面領域は、できるだけ大きな面積として抽出することが望ましく、第１の平面領域データを構成している画素の抽出間隔は、最初は大きい間隔として抽出を行うことが望ましい。ただし、抽出されるデータ数が少ない場合、例えば100点以下となってしまう場合には、抽出間隔を逐次縮小して、少なくとも100点以上の画素を抽出して、これらの画素で構成される第１の平面領域データを特定することとしている。なお、対象物体の正確な位置及び姿勢を推定するには、できるだけ多くの画素をサンプル点として抽出することが望ましく、可能であれば数千点以上とすることが望ましい。

本実施形態では数千点以上の画素を抽出し、各画素の位置座標の平均値を代表点として第１の平面領域の位置情報としている。

次いで、物体識別システムでは、解析装置13を、第１の平面領域データに対して推定した位置情報及び姿勢情報に基づいて逆射影演算を実行することで、対象物体の表面上に存在している平面領域の推定姿勢情報と推定位置情報とを算出する手段として機能させて、平面領域の推定姿勢情報と推定位置情報を持つ３次元空間内の想定平面モデル算出している。

ここで、第１の撮像装置11から対象物体までの距離、及び、対象物体の表面上に存在している平面領域の面方向はパラメータであって、まずそれぞれの仮定したパラメータを設定し（ステップＳ３）、逆射影演算を実行して、平面領域の推定姿勢情報と推定位置情報とを算出している（ステップＳ４）。

次いで、物体識別システムでは、解析装置13を、推定姿勢情報と推定位置情報を持つ３次元空間内の平面領域に対して第２の画像データへの順射影演算を実行することで変換平面領域データを生成する手段として機能させて、変換平面領域データを生成している（ステップＳ５）。ここで、第２の撮像装置12の位置はあらかじめ設定されており、特定された推定姿勢情報と推定位置情報から、射影演算から第２の画像データに相当する画像データを生成することができ、生成された画像データを変換平面領域データとしている。

次いで、物体識別システムでは、変換平面領域データと第２の画像データにおける当該平面領域のデータとの一致度を演算している（ステップＳ６）。すなわち、変換平面領域データを構成している各画素の評価値と、当該画素の位置に対応した第２の画像データの画素の評価値との差を利用した評価式を用いて一致度を評価しており、各評価値の差が小さくなった場合に一致度が高いと判定することしている。

次いで、物体識別システムでは、第１の撮像装置11から対象物体までの距離のパラメータ、及び、対象物体の表面上に存在している平面領域の面方向のパラメータの全てのパラメータの組み合わせについて一致度を演算しているかを確認し（ステップＳ７）、全パラメータでの一致度の演算が終了していない場合には、ステップＳ３に戻ってパラメータを再設定することとしている。なお、パラメータの設定と評価は、遺伝アルゴリズムなどの既存の方法を利用することができる。

ステップＳ７において、全てのパラメータの組み合わせについて一致度を演算していた場合には、物体識別システムでは、変換平面領域データが、第２の画像データにおける当該平面領域のデータと最も高い一致度となる場合の推定位置情報と推定姿勢情報を、位置情報と姿勢情報として特定する手段として機能させて、位置情報と姿勢情報を特定している。すなわち、対象物体の位置情報と姿勢情報と得ることができる。

上述した実施形態では、対象物体上の一つの平面領域について説明しているが、対象物体上の複数の平面領域のそれぞれについて同様の処理を実行することで、不定形の対象物体の認識を可能とすることもできる。

11 第１の撮像装置
12 第２の撮像装置
13 解析装置
13a 中央演算装置
13b 主記憶装置
13c メモリ
13d 外部入力端子
13e データバス
13f 画像出力端子
13g ディスプレイ

Claims (3)

1. 第１の撮像装置と第２の撮像装置とで同一の対象物体を同時に撮影し、前記第１の撮像装置で生成した第１の画像データと前記第２の撮像装置で生成した第２の画像データとを用いて前記対象物体の位置情報と姿勢情報とを特定する物体識別システムにおいて、
   前記第１のデータ中の前記対象物体の画像データを逆射影演算して前記対象物体の推定位置情報と推定姿勢情報とを生成するステップと、
   この推定位置情報と推定姿勢情報で特定される前記対象物体に対して前記第２の画像データへの順射影演算を行って変換画像データを生成するステップと
   この変換画像データと前記第２の画像データとの一致度を演算するステップと、
   前記一致度が最大となる前記推定位置情報と前記推定姿勢情報とを前記対象物体の位置情報と姿勢情報とするステップと
   を有する物体識別システム。
2. 第１の撮像装置と第２の撮像装置とで同一の対象物体を同時に撮影し、前記第１の撮像装置で生成した第１の画像データと前記第２の撮像装置で生成した第２の画像データとを用いて前記対象物体の位置情報と姿勢情報とを特定する物体識別システムにおいて、
   前記対象物体の表面には、平面として扱える平面領域があり、
   前記姿勢情報は、前記平面領域の面方向の情報であり、
   前記位置情報は、前記平面領域を一点で代表した代表点の位置情報であり、
   前記第１の画像データにおける前記平面領域である第１の平面領域データを特定する手段と、
   前記第１の平面領域データに対して逆射影演算を実行することで前記平面領域の推定姿勢情報と推定位置情報とを算出する手段と、
   前記推定姿勢情報と前記推定位置情報の平面領域に対して前記第２の画像データへの順射影演算を実行することで変換平面領域データを生成する手段と
   前記変換平面領域データが、前記第２の画像データにおける当該平面領域のデータと最も高い一致度となる場合の前記推定位置情報と前記推定姿勢情報を、前記位置情報と前記姿勢情報として特定する手段と
   を有する物体識別システム。
3. 前記第１の平面領域データを特定する手段は、前記第１の画像データの中央近傍で同一色調の領域を前記平面領域として前記第１の平面領域データを特定する請求項２に記載の物体識別システム。

Images