JP2016061622A - 情報処理システム、及び情報処理方法 - Google Patents

Abstract

【課題】情報認識精度の低下を防止する、情報処理システム、情報処理方法を提供する。
【解決手段】ピッキングシステム１０のステレオカメラ２０において、所定のパターンが表面処理により形成された、又は前記パターンを表示する機能を有するパターン部５０と、被写体１１を撮像する撮像部２１，２２と、撮像部２１，２２から得られたパターンと被写体１１とが含まれた画像を用いて、距離情報を算出する算出部とを有する。
【選択図】図１

Description

本願は、情報処理システム、及び情報処理方法に関する。

従来から、例えば工場での部品ピッキング用として、テクスチャの少ない部品の画像を複数撮影して視差を算出し、この視差を利用して部品に対する物体認識処理を施すピッキングシステム１００が知られている（図２０参照）。なお、「テクスチャ」とは、例えば画像上の各画素の明暗で現れ得る模様、柄、色、ドット等をいう。

例えば、図２０のピッキングシステム１００に示すように、ステレオカメラ１２０において撮像部１２１〜１２２により画像データを取得し、画像マッチング部１２３において両画像データの各画素を探索してマッチングをとり、視差画像生成部１２４において画素ごとに視差を算出するシステムが知られている。また、認識処理部１３０は、輝度画像と視差画像に基づいて部品を認識する。アーム制御部１４０は、部品の認識結果に基づいて認識された部品をピッキングするためアームの駆動を制御する。

ここで、撮像部１２１により撮像された画像を基準画像とし、撮像部１２２により撮像された画像を比較画像として、基準画像における所定画素に対して周辺画素のテクスチャが少ない比較画像を探索してマッチングをとると、類似する画素が連なってしまう。そのため、対応画素をうまくマッチングさせることが困難となり、所望の視差（以下「正解視差」という。）が得られにくい。

そこで、図２０に示すパターン投光部１５０によって各種パターンを物体に向けて投光し、各種パターンが投影された画像に対してマッチングをとることにより、視差算出精度を向上させる技術が開示されている。これに関連する技術が、例えば特許文献１に開示されている。

しかしながら、図２０で示すパターン投光部１５０の設置位置が適切でない場合に、投光された光の照り返しが撮像され（図２１参照）、情報認識精度に影響が生じてしまう（図２２参照）。

１つの側面では、本発明は、情報認識精度の低下防止を目的とする。

一態様の情報処理システムにおいて、所定のパターンが表面処理により形成された、又は前記パターンを表示する機能を有するパターン部と、被写体を撮像する撮像部と、前記撮像部から得られた前記パターンと前記被写体とが含まれた画像を用いて、距離情報を算出する算出部とを有する。

情報認識精度の低下防止が可能となる。

本実施形態の情報処理装置を適用したピッキングシステムの概略構成図である。 部品がパターン部に直接載置された例を示す図である。 パターン部が部品を支持していない例を示す図である。 本実施形態におけるステレオカメラのハードウェア構成図である。 本実施形態におけるステレオカメラの処理構成図である。 画像マッチング部及び視差画像生成部の処理構成図である。 小数視差算出部による小数視差の算出について説明する模式図である。 前処理部を設けたステレオカメラの処理構成図である。 本実施形態において適用される測距の原理について説明する模式図である。 本実施形態におけるシフト量の算出について説明する概念図である。 シフト量ごとのコスト値を示すグラフである。 本実施形態における合成コスト値の算出について説明する模式図である。 ８方向からの経路コスト値Ｌｒを集約する例を示す図である。 本実施形態における視差値ごとの合成コスト値を示すグラフである。 本実施形態のパターンの有無による合成コスト値を比較するグラフである。 本実施形態における被写体視差と背景視差について説明する模式図である。 パターン部に形成されたパターンの位置について説明する図である。 本実施形態のピッキングシステムの撮像対象とする基準画像の一例である。 本実施形態のパターンを形成して得られた視差画像の一例である。 従来のパターン投光部を用いたピッキングシステムの概略構成図である。 図２０の従来システムにより撮像した基準画像の一例である。 図２１の基準画像についてパターン投光により得られた視差画像の一例である。

以下、本実施形態に関し、図面を用いて説明するが、本発明の趣旨を越えない限り、本実施形態に限定されるものではない。各図において、同一又は相当する部分には同一の符号を付し、その重複説明は適宜に簡略化して省略する。

本実施形態では、例えば、被写体領域の外側に各種パターンを形成し、例えばステレオカメラで撮像した被写体及びパターンを含む２画像に対してマッチング処理を施し、ＳＧＭ（Ｓｅｍｉ Ｇｌｏｂａｌ Ｍａｔｃｈｉｎｇ）アルゴリズムを採用する構成をとる。上述した図２０に示すパターン投光部により部品に所定パターンを投光する代わりに、被写体及びパターンを含む２画像に対して、例えばＳＧＭアルゴリズムを用いて視差画像を得る。

本実施形態の情報処理システムについて、例えば情報処理機能を備えたステレオカメラを含むピッキングシステムを例に、図１を参照して説明する。なお、本実施形態の情報処理システムは、ピッキングシステムにのみ適用されるものではなく、例えばステレオカメラを採用する技術分野において理想的な視差画像を得るために適用することが可能である。

また、本実施形態において、例えばステレオカメラが情報処理機能を備えた構成について説明するが、これに限定されるものではない。例えば、ステレオカメラとして撮像画像を得るために撮像部等の最低限の構成をとり、例えば情報処理機能については、ステレオカメラと物理的に分離したパーソナルコンピュータ等の情報処理装置が担う構成としても良い。

＜ピッキングシステムの概略構成＞
本実施形態におけるピッキングシステム１０の概略について、図１を参照して説明する。図１は、本実施形態の情報処理装置を適用したピッキングシステムの概略構成図である。図１に示すピッキングシステム１０は、ステレオカメラ２０と、認識処理部３０と、アーム制御部４０と、パターン部５０とを有している。

被写体の一例としての部品が入った箱（以下、「部品」という）１１を撮像するステレオカメラ２０は、撮像部２１〜２２と、画像マッチング部２３と、視差画像生成部２４を有している。なお、撮像部の台数は、２台に限定されず、３台以上であっても良い。ここで、ステレオカメラ２０は、対象物としての物体（例えば、図１に示す部品１１）を異なる方向から同時に撮影することにより、その奥行方向の情報も記録することが可能である。

画像マッチング部２３は、例えば撮像部２１〜２２により撮像された画像（撮像画像）における画素ごとの輝度値の非類似度であるコスト値を算出する。コスト値の算出の詳細については後述する。

視差画像生成部２４は、例えば２つの撮像画像に基づいて、少なくとも被写体である部品１１の画像領域の全画素に対応した視差画像を生成する。視差画像の生成の詳細については後述する。

認識処理部３０は、例えば撮像部２１〜２２から得られた輝度画像と、視差画像生成部２４により生成された視差画像の比較に基づいて部品１１を認識する。

アーム制御部４０は、認識処理部３０による認識結果に基づき、部品１１をピッキングするためのアームの駆動を制御する。

パターン部５０は、所定のパターンが表面処理により形成されている。パターン部５０は、所定のパターンを表示する機能を有していても良い。パターン部５０は、例えば部品１１を載置（配置）するためのパネルや台等である。図２は、部品がパターン部に直接載置された例を示す図である。図２に示すように、部品１１は、パターン部５０に対して直接載置されても良いが、これに限定されるものではない。図３は、パターン部が部品を支持していない例を示す図である。図３に示すように、部品１１は、パターン部５０との間に所定の空間を有し、パターン部５０を背景とした位置に配置されても良い。このように、パターン部５０は、部品１１を支持していなくても良い。

パターン部５０は、例えば部品１１が配置される領域（物体領域）の外側の領域（例えば、背景領域）に各種パターンが形成されると良い。各種パターンは、表面処理として、例えばパターン部５０に対して白黒等の複数の明度を有するパターンとして印刷（印字）されても良く、パターン部５０に加工することで設けられる表面の凹凸によりパターンが形成されても良い。なお、パターン部５０には、部品１１から離れた場所にパターンとして印刷（印字）等されたシートやパネルを置いても良い。また、パターンが表面処理により形成されたパターン部５０上に、透明部材等を置いても良い。

また、パターン部５０は、各種パターンに対応する画像を表示する機能を有し、例えば液晶ディスプレイ（パネル）等の表示部を有していても良い。

上述した図２や図３に示す撮像部２１〜２２で撮影される画像において、例えば被写体としての部品１１は、例えばパターン部５０のパターンと重なっていない。

本実施形態では、ステレオカメラ２０を用いた構成を示すが、ステレオカメラ２０ではなく、単眼カメラを用いても良い。この場合に、単眼カメラを移動させて被写体としての部品１１を複数回撮像し、撮像した画像を用いることで測距しても良い。以下の実施例では、ステレオカメラ２０を用いて説明するが、上述した通り、単眼カメラを用いることも可能である。

＜ステレオカメラ２０のハードウェア構成＞
次に、本実施形態におけるステレオカメラ２０のハードウェア構成の一例について、図４を参照して説明する。図４は、本実施形態におけるステレオカメラのハードウェア構成図である。

図４に示すステレオカメラ２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６０と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６１と、ＲＯＭ Ｉ／Ｆ６２と、画像処理部６３とを有する。また、ステレオカメラ２０は、２つの撮像部６４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６５と、ＲＡＭ Ｉ／Ｆ６６と、撮像部制御用Ｉ／Ｆ６７とを有する。

ＣＰＵ６０は、本実施形態における情報処理全体を制御するための制御機能を担う。ＲＯＭ６１は、例えば本実施形態における情報処理プログラムを記憶する。ＲＯＭ Ｉ／Ｆ６２は、ＲＯＭ６１とＣＰＵ６０を含むその他の機能部とを接続するインタフェースである。画像処理部６３は、本実施形態における視差画像の生成処理等を行う。

２つの撮像部６４は、例えば図１に示す撮像部２１〜２２に相当する。２つの撮像部６４は、例えば所定の距離離間した位置で固定治具等に固定され、それぞれ対象物（物体）を撮像する。なお、２つの撮像部６４は、撮像部２１〜２２が一体に形成された１つの撮像部であっても良い。２つの撮像部６４は、光学像をアナログ信号に変換し、更にデジタル信号に変換して画像データを出力する。画像データとしては、例えば８ビット／画素を有し、例えば０〜２５５階調（輝度値）が得られると良い。

ＲＡＭ６５は、例えば２つの撮像部６４から、撮像部制御用Ｉ／Ｆ６７等を介して入力された撮像画像を格納するバッファやキャッシュメモリとして機能する。

＜ステレオカメラ２０の処理構成＞
次に、本実施形態における情報処理装置の機能ブロックについて、図５を参照して説明する。図５は、本実施形態におけるステレオカメラの処理構成図である。なお、図１を参照して既に説明した構成については説明を省略する。

本機能ブロックにおける概略処理手順について説明する。図５に示すように、撮像部２１〜２２は、被写体としての部品１１を撮像する。画像マッチング部２３は、撮像部２１〜２２で撮像された画像のマッチングを行い、画素ごとの輝度値の非類似度であるコスト値Ｃ（ｐ、ｄ）を算出する。

視差画像生成部２４は、画像マッチング部２３により得られるマッチングコスト値Ｃに対し、例えばＳＧＭアルゴリズムによりコスト値Ｃを集約する。また、視差画像生成部２４は、視差ごとの各方向からの経路コスト値Ｌｒ（ｐ、ｄ）の和である合成コスト値Ｌｓ（ｐ、ｄ）を計算して、整数視差、小数視差を算出し、算出結果から視差画像を生成して出力する。

＜画像マッチング部２３及び視差画像生成部２４の処理構成＞
次に、画像マッチング部２３及び視差画像生成部２４の詳細について、図６を参照して説明する。図６は、画像マッチング部及び視差画像生成部の処理構成図である。図６に示すように、画像マッチング部２３は、高域強調フィルタ部７１〜７２と、コスト算出部７３とを有する。視差画像生成部２４は、合成コスト算出部８１と、整数視差算出部８２と、小数視差算出部８３とを有する。

画像マッチング部２３で算出されるコスト値Ｃの算出方法は、例えばＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）等の算出方法を選択しても良い。合成コスト算出部８１、整数視差算出部８２による各処理内容の詳細は後述する。

小数視差算出部８３は、算出視差を小数まで追求する場合にサブピクセル推定手法を使って、図７に示すような小数視差δを算出する。図７は、小数視差算出部による小数視差の算出について説明する模式図である。例えば等角直線法では、図７に示すような視差「△−１」、「△」、「△＋１」に対応する３つの合成コスト値Ｌｓを使って小数視差δを算出しても良い。

また、パラボラフィット法や、多項式による近似手法でも、上記３つの合成コスト値Ｌｓを使って小数視差δを算出しても良い。更に、上述した手法において、視差「△−２」、「△−１」、「△」、「△＋１」、「△＋２」に対応する５つの合成コスト値Ｌｓを使って小数視差δを算出しても良い。また、等角直線法、パラボラフィット法、多項式による近似手法によらず、所望のサブピクセル推定手法を用いて小数視差δを算出しても良い。

＜前処理部を設けたステレオカメラの処理構成＞
また、図８に示すように、撮像部２１〜２２から取得した画像に対して処理を行う前処理部を設けても良い。図８は、前処理部を設けたステレオカメラの処理構成図である。図８に示す前処理部９１〜９２は、歪み補正やガンマ補正等の処理を施す。例えば、基準画像と比較画像の歪み状態が、視差を算出する際に画像マッチング部２３で算出するコスト値Ｃの結果に大きな影響を与え、その影響が視差画像生成部２４にも影響を与える。したがって、上述した影響は、画像マッチング部２３に入る前に極力取り除いておくことが望ましい。

例えばレンズとセンサの光軸ずれや、レンズの光学的歪み状態が基準画像と比較画像とで異なる場合は、前処理部９１〜９２に歪みを補正するための補正パラメータを保持し、キャリブレーション結果を補正パラメータに反映させる手段を有しても良い。

上述した各ブロックにおける処理は、上述した図４のハードウェア構成により実現することが可能である。例えば、画像マッチング部２３や視差画像生成部２４、前処理部９１〜９２は、ＲＡＭ６５と画像処理部６３とにより各処理機能を実現することが可能である。

＜測距の原理＞
本実施形態において適用される測距の原理について、図９を参照して説明する。図９は、本実施形態において適用される測距の原理について説明する模式図である。ここでは、例えば、ステレオカメラから物体に対する視差を導き出し、この視差を示す視差値によって、ステレオカメラから物体までの距離を測定する原理について説明する。以下、説明を簡略化するため、所定領域ではなく１画素単位により説明する。

＜視差値算出＞
まず、撮像装置６４−１ａ及び撮像装置６４−１ｂによって撮像された各画像を、それぞれ基準画像Ｉａ及び比較画像Ｉｂとする。なお、図９の例では、撮像装置６４−１ａ及び撮像装置６４−１ｂが平行等位に設置されているものとする。図９の例では、３次元空間内の物体Ｅ上のＳ点は、撮像装置６４−１ａ及び撮像装置６４−１ｂの同一水平線上の位置に写像される。

すなわち、各画像中のＳ点は、基準画像Ｉａの点Ｓａ（ｘ、ｙ）及び比較画像Ｉｂの点Ｓｂ（Ｘ、ｙ）において撮像される。このとき、視差値△は、撮像装置６４−１ａ上の座標におけるＳａ（ｘ、ｙ）と撮像装置６４−１ｂ上の座標におけるＳｂ（Ｘ、ｙ）とを用いて、次式のように表される。

△＝Ｘ−ｘ 〔式１〕
図９に示すように、基準画像Ｉａの点Ｓａ（ｘ、ｙ）と撮像レンズ６４−２ａから撮像面上におろした垂線の交点との距離を△ａにし、比較画像Ｉｂの点Ｓｂ（Ｘ、ｙ）と撮像レンズ６４−２ｂから撮像面上におろした垂線の交点との距離を△ｂにすると、視差値△＝△ａ＋△ｂとなる。

＜距離算出＞
また、視差値△を用いることで、撮像装置６４−１ａ〜６４−１ｂと物体Ｅとの間の距離Ｚを導き出せる。具体的には、距離Ｚは、撮像レンズ６４−２ａの焦点位置と撮像レンズ６４−２ｂの焦点位置とを含む面から物体Ｅ上の特定点Ｓまでの距離である。

図９に示すように、撮像レンズ６４−２ａ及び撮像レンズ６４−２ｂの焦点距離ｆ、撮像レンズ６４−２ａと撮像レンズ６４−２ｂとの間の長さである基線長Ｂ、及び視差値△を用いて、次式により、距離Ｚを算出することが可能である。

Ｚ＝（Ｂ×ｆ）／△ 〔式２〕
上記の式２に示すように、視差値△が大きいほど距離Ｚは小さく、視差値△が小さいほど距離Ｚは大きくなる。

＜ＳＧＭ法＞
次に、本実施形態において採用するＳＧＭ法を用いた測距方法について、図１０〜図１５を参照して説明する。ＳＧＭ法は、テクスチャが弱い物体に対しても適切に上記視差値を導き出すために採用する方法であり、テクスチャが弱い物体等の詳細な情報を表すことにより、詳細な測距を行うことが可能である。

また、このＳＧＭ法は、非類似度であるコスト値を算出した後、直ちに視差値を算出せず、コスト値を算出後、合成非類似度である合成コスト値を算出することで視差値を導出し、最終的に全ての画素における視差値を示す視差画像を導き出す。なお、本実施形態ではＳＧＭ法を採用しているが、これには限定されず、例えば周辺画素のコスト値計算結果に基づいて最終的に全ての画素における視差値を導出する手法であれば良い。

＜コスト値の算出＞
まず、図１０及び図１１を用いて、コスト値Ｃ（ｐ、ｄ）の算出方法について説明する。図１０は、本実施形態におけるシフト量の算出について説明する概念図である。なお、図１０（ａ）は、基準画像における基準画素を示す概念図である。図１０（ｂ）は、図１０（ａ）の基準画素に対して比較画像における対応画素の候補を順次シフトしながら、シフト量すなわちズレ量を算出する際の概念図である。図１１は、シフト量ごとのコスト値を示すグラフである。ここで、対応画素とは、基準画像内の基準画素に最も類似する比較画像内の画素のことをいう。

図１０（ａ）に示すように、基準画像内の所定の基準画素ｐ（ｘ、ｙ）と、基準画素ｐ（ｘ、ｙ）に対する比較画像内におけるエピポーラ線（Ｅｐｉｐｏｌａｒ Ｌｉｎｅ）上の複数の対応画素の候補ｑ（ｘ＋ｄ、ｙ）との各輝度値に基づいて、基準画素ｐ（ｘ、ｙ）に対する各対応画素の候補ｑ（ｘ＋ｄ、ｙ）のコスト値Ｃ（ｐ、ｄ）が算出される。ｄは、基準画素ｐと対応画素の候補ｑのシフト量、すなわちズレ量であり、本実施形態では、画素単位のシフト量が表される。

図１０の例では、対応画素の候補ｑ（ｘ＋ｄ、ｙ）を予め指定された範囲（例えば、０＜ｄ＜２５）において順次１画素分シフトしながら、対応画素の候補ｑ（ｘ＋ｄ、ｙ）と基準画素ｐ（ｘ、ｙ）との輝度値の非類似度であるコスト値Ｃ（ｐ、ｄ）が算出される。

上述のように算出されたコスト値Ｃ（ｐ、ｄ）は、図１１に示すように、シフト量ｄごとに示されるグラフによって表せる。なお、図１１の例では、コスト値Ｃは、シフト量ｄ＝５、１２、１９の場合の値が「０」となるため、最小値を求めることができない。このようにテクスチャが弱い物体の場合には、コスト値Ｃの最小値を求めることが困難になる。

＜合成コスト値の算出＞
次に、図１２〜図１４を用いて、合成コスト値Ｌｓ（ｐ、ｄ）の算出方法について説明する。図１２は、本実施形態における合成コスト値の算出について説明する模式図である。本実施形態における合成コスト値の算出は、例えばＳＧＭ法により行うがこれに限定されるものではない。本実施形態では、コスト値Ｃ（ｐ、ｄ）の算出だけでなく、所定の基準画素ｐ（ｘ、ｙ）の周辺の画素を基準画素とした場合のコスト値を、基準画素ｐ（ｘ、ｙ）におけるコスト値Ｃ（ｐ、ｄ）に集約させて、合成コスト値Ｌｓ（ｐ、ｄ）を算出する。

合成コスト値の算出方法について、より詳細に説明する。合成コスト値Ｌｓ（ｐ、ｄ）を算出するためには、まず経路コスト値Ｌｒ（ｐ、ｄ）を算出する必要がある。次式は、経路コスト値Ｌｒ（ｐ、ｄ）を算出するための式である。

Ｌｒ（ｐ、ｄ）＝Ｃ（ｐ、ｄ）＋ｍｉｎ｛Ｌｒ（ｐ−ｒ、ｄ）、Ｌｒ（ｐ−ｒ、ｄ−１）＋Ｐ１、Ｌｒ（ｐ−ｒ、ｄ＋１）＋Ｐ１、ｍｉｎ_ｄ（Ｌｒ（ｐ−ｒ、ｄ））＋ｐ２｝ 〔式３〕
ここで、ｒは、集約方向の方向ベクトルであり、ｘ方向及びｙ方向の２成分を有する。ｍｉｎ｛｝は、最小値を求める関数である。Ｌｒは、式３に示されているように再帰的に適用される。ｍｉｎ_ｄ（Ｌｒ（ｐ−ｒ、ｄ））は、ｐをｒ方向に１画素シフトした座標において、シフト量ｄを変化させた際のＬｒ（ｐ−ｒ、ｄ）の最小値である。また、Ｐ１及びＰ２は、予め実験等により定められた固定パラメータであり、経路上で隣接する基準画素の視差値△が連続になりやすいパラメータになっている。

また、式３に示すように、Ｌｒ（ｐ、ｄ）は、基準画素ｐ（ｘ、ｙ）におけるコスト値Ｃに、図１２に示すｒ方向の各画素における各画素の経路コスト値Ｌｒの最小値を加算することで求められる。このように、ｒ方向の各画素におけるＬｒを求めるため、基準画像ｐ（ｘ、ｙ）のｒ方向の一番端の画素からＬｒを求め、ｒ方向に沿ってＬｒを求める。

例えば、図１２に示す８方向のＬｒ_０、Ｌｒ_４５、Ｌｒ_９０、Ｌｒ_１３５、Ｌｒ_１８０、Ｌｒ_２２５、Ｌｒ_２７０、Ｌｒ_３１５が求められ、最終的に次式に基づいて合成コスト値Ｌｓが求められる。

Ｌｓ（ｐ、ｄ）＝Σ_ｒ｛Ｌｒ（ｐ、ｄ）｝ 〔式４〕
ここで、図１３は、８方向からの経路コスト値Ｌｒを集約する例である。図１３（ａ）に示すように、参照画素に対して左に隣接している画素からの集約を、０°方向からの集約としたとき、０°方向からの経路コストＬ０は、下記の算出式により算出される。

Ｌ０（ｐ、ｄ）＝Ｃ（ｐ、ｄ）＋ｍｉｎ｛Ｌ０（左の画素、ｄ）、Ｌ０（左の画素、ｄ−１）＋Ｐ１、Ｌ０（左の画素、ｄ＋１）＋Ｐ１、ｍｉｎ_ｄ（Ｌ０（左の画素、ｄ））＋ｐ２｝ 〔式５〕
同様にして、図１３（ｂ）に示すように、参照画素に対して左上に隣接している画素からの集約を、４５°方向からの集約としたとき、４５°方向からの経路コストＬ４５は、下記の算出式により算出される。

Ｌ４５（ｐ、ｄ）＝Ｃ（ｐ、ｄ）＋ｍｉｎ｛Ｌ４５（左上の画素、ｄ）、Ｌ４５（左上の画素、ｄ−１）＋Ｐ１、Ｌ４５（左上の画素、ｄ＋１）＋Ｐ１、ｍｉｎ_ｄ（Ｌ４５（左上の画素、ｄ））＋ｐ２｝ 〔式６〕
同様にして、図１３（ｃ）に示すように、参照画素に対して上に隣接している画素からの集約を、９０°方向からの集約としたとき、９０°方向からの経路コストＬ９０は、下記の算出式により算出される。

Ｌ９０（ｐ、ｄ）＝Ｃ（ｐ、ｄ）＋ｍｉｎ｛Ｌ９０（上の画素、ｄ）、Ｌ９０（上の画素、ｄ−１）＋Ｐ１、Ｌ９０（上の画素、ｄ＋１）＋Ｐ１、ｍｉｎ_ｄ（Ｌ９０（上の画素、ｄ））＋ｐ２｝ 〔式７〕
同様にして、図１３（ｄ）に示すように、参照画素に対して右上に隣接している画素からの集約を、１３５°方向からの集約としたとき、１３５°方向からの経路コストＬ１３５は、下記の算出式により算出される。

Ｌ１３５（ｐ、ｄ）＝Ｃ（ｐ、ｄ）＋ｍｉｎ｛Ｌ１３５（右上の画素、ｄ）、Ｌ１３５（右上の画素、ｄ−１）＋Ｐ１、Ｌ１３５（右上の画素、ｄ＋１）＋Ｐ１、ｍｉｎ_ｄ（Ｌ１３５（右上の画素、ｄ））＋ｐ２｝ 〔式８〕
同様にして、図１３（ｅ）に示すように、参照画素に対して右に隣接している画素からの集約を、１８０°方向からの集約としたとき、１８０°方向からの経路コストＬ１８０は、下記の算出式により算出される。

Ｌ１８０（ｐ、ｄ）＝Ｃ（ｐ、ｄ）＋ｍｉｎ｛Ｌ１８０（右の画素、ｄ）、Ｌ１８０（右の画素、ｄ−１）＋Ｐ１、Ｌ１８０（右の画素、ｄ＋１）＋Ｐ１、ｍｉｎ_ｄ（Ｌ１８０（右の画素、ｄ））＋ｐ２｝ 〔式９〕
同様にして、図１３（ｆ）に示すように、参照画素に対して右下に隣接している画素からの集約を、２２５°方向からの集約としたとき、２２５°方向からの経路コストＬ２２５は、下記の算出式により算出される。

Ｌ２２５（ｐ、ｄ）＝Ｃ（ｐ、ｄ）＋ｍｉｎ｛Ｌ２２５（右下の画素、ｄ）、Ｌ２２５（右下の画素、ｄ−１）＋Ｐ１、Ｌ２２５（右下の画素、ｄ＋１）＋Ｐ１、ｍｉｎ_ｄ（Ｌ２２５（右下の画素、ｄ））＋ｐ２｝ 〔式１０〕
同様にして、図１３（ｇ）に示すように、参照画素に対して下に隣接している画素からの集約を、２７０°方向からの集約としたとき、２７０°方向からの経路コストＬ２７０は、下記の算出式により算出される。

Ｌ２７０（ｐ、ｄ）＝Ｃ（ｐ、ｄ）＋ｍｉｎ｛Ｌ２７０（下の画素、ｄ）、Ｌ２７０（下の画素、ｄ−１）＋Ｐ１、Ｌ２７０（下の画素、ｄ＋１）＋Ｐ１、ｍｉｎ_ｄ（Ｌ２７０（下の画素、ｄ））＋ｐ２｝ 〔式１１〕
同様にして、図１３（ｈ）に示すように、参照画素に対して左下に隣接している画素からの集約を、３１５°方向からの集約としたとき、３１５°方向からの経路コストＬ３１５は、下記の算出式により算出される。

Ｌ３１５（ｐ、ｄ）＝Ｃ（ｐ、ｄ）＋ｍｉｎ｛Ｌ３１５（左下の画素、ｄ）、Ｌ３１５（左下の画素、ｄ−１）＋Ｐ１、Ｌ３１５（左下の画素、ｄ＋１）＋Ｐ１、ｍｉｎ_ｄ（Ｌ３１５（左下の画素、ｄ））＋ｐ２｝ 〔式１２〕
上述した８方向の経路コスト値を用いて、参照画素の合成コスト値Ｌｓ（ｐ，ｄ）を算出する。

Ｌｓ＝Ｌ０（ｐ、ｄ）＋Ｌ４５（ｐ、ｄ）＋Ｌ９０（ｐ、ｄ）＋Ｌ１３５（ｐ、ｄ）＋Ｌ１８０（ｐ、ｄ）＋Ｌ２２５（ｐ、ｄ）＋Ｌ２７０（ｐ、ｄ）＋Ｌ３１５（ｐ、ｄ） 〔式１３〕
上述した合成コスト値Ｌｓ（ｐ、ｄ）は、図１４に示すように、シフト量ｄごとに示されるグラフによって表せる。図１４は、本実施形態における視差値ごとの合成コスト値を示す図である。図１４の例では、合成コスト値Ｌｓは、シフト量ｄ＝３の場合が最小値となるため、視差値△＝３として算出される。なお、上述の説明ではｒの経路数を８として説明しているがこれには限定されない。例えば６方向や１６方向等にしても良い。

ＳＧＭ法は、視差ごとに値が極力変化しているマッチングコスト値Ｃ（ｐ、ｄ）を経路ごとに集約して、合成コスト値Ｌｓ（ｐ、ｄ）を得る手法であり、それによって精度の高い視差を取得する。そのため、所定のパターンが形成されている方向からコスト値を集約すると効果的である。

ここで、図１５は、本実施形態のパターンの有無による合成コスト値を比較するグラフである。例えば背景領域のように、物体領域（物体の撮像領域）が重複しない領域（例えば、物体の外側の領域）にパターンを形成する場合と、背景領域にパターンを形成しない場合とで比較すると、背景領域にパターンを形成する方が合成コスト値Ｌｓ（ｐ、ｄ）のコントラストが大きくなる。そのため、注目画素の視差値△を精度良く決定しやすい。

パターンを形成せずにテクスチャが少ない状態でマッチングした場合、ＳＧＭアルゴリズムの演算過程で得られる合成コスト値Ｌｓ（ｐ、ｄ）は大きなコントラストが得られない。すなわち、視差△'において最小値が得られているとしても、その視差△'は、信頼度に乏しく正解視差からかけ離れた結果となる。したがって、視差画像生成結果は、図１５に示すように、背景全体の視差でさえも一定とならず、精度が良くない視差画像結果となり好ましくない。

したがって、背景領域にパターンを形成することにより、画像の部品部分の画素の視差データを精度良く算出させることが可能となる。また、本実施形態におけるＳＧＭ法により、画像の部品部分の画素の視差データ抜けを抑制することが可能となる。視差データ抜けが改善されることにより、物体認識処理での部品情報認識精度を向上させる効果が生じる。

ここで、図１６は、本実施形態における被写体視差と背景視差について説明する模式図である。図１６に示すように、工場のピッキングシステムでは、ステレオカメラから背景部までの背景視差ｄ１は、予め分かっている情報である。すなわち、ステレオカメラから背景部までの距離Ｚは、予め分かっているため、背景視差ｄ１＝〔基線長〕×〔レンズとセンサ面の距離〕／〔距離Ｚ〕は、予め計算することが可能である。

したがって、予め探索視差ｄの範囲を有限範囲として設定しておき、探索視差範囲内でコスト値Ｃの算出とＳＧＭ法を実行させることも可能である。予め有限範囲で探索視差範囲を設定しておくことで、かけ離れた視差△'の誤検出を低減し、精度の良い物体視差を算出することが可能となる。

上述したように、パターン部５０における部品１１の背景領域となる位置に形成されるパターンは、複数の明度を持つパターンが好ましい。図１７は、パターン部に形成されたパターンの位置について説明する図である。図１７（ａ）は、基準画像の一例を示し、図１７（ｂ）は、比較画像の一例を示している。パターン部５０に形成されるパターンは、例えば所定の画素数、所定のピッチ、乱数等を用いてパターンを形成すれば良い。なお、例えば繰り返し周期を持つパターンは、コスト値Ｃの値が繰り返す場合があるため、好ましくない。

例えば、パターン部５０に形成されるパターンは、図１７に示すパターンＢのように、所定の物体Ａに対して、その外側の左右のサイドにのみ形成されても良く、上下左右の４つのサイドに形成されても良く、物体Ａの領域（物体領域）と背景領域の境界まで形成しても良い。物体Ａが、例えばドーナツ型等のように中央に空洞等を有する場合には、その物体Ａを配置する位置を固定とし、その中央（内側）の空洞部に対応する位置にパターンが形成されても良い。パターン部５０のパターンと物体Ａとが撮像される画像において、物体Ａとパターン部５０のパターンとが重なっていない。

なお、ＳＧＭ法は、繰り返し周期を持たないパターンに対して効果的であり、かつパターンが画像の背景領域の全領域に及んでいるほど効果がある。そのため、パターンとしては、繰り返し周期を持たない、例えば種々の周波数成分を持っている乱数を、物体領域と背景領域の境界まで配置するのが望ましい。

また、被写体の外側にパターンを形成することとＳＧＭ法をセットで用いることで、視差の画素抜けを生じさせること無く、物体及び背景の視差を算出することが可能となる。そのため、認識処理部は、物体領域と背景領域の境界を受信した視差画像に基づいて判断することが可能となる。これにより、アーム制御部４０によるアームの誤制御を防止することが可能となる。

［部品の設置］
本実施形態を適用した具体例について図１８及び図１９を参照して説明する。図１８は、本実施形態のピッキングシステムの撮像対象とする基準画像の一例である。上述した図１に示すピッキングシステム１０において、金属製の黒い太ネジ部品がバラ積みされている箱１１の外側の領域に乱数パターンが形成された場合に、ステレオカメラ２０の撮像部２１から得られた撮像画像を基準画像とする（図１８参照）。なお、図１８の例では、画像サイズが横１２８０ピクセル×縦９６０ピクセルとなっているが、これに限定されるものではない。

撮像部２１から見て、例えば座標（ｘ、ｙ）＝（６３０、４５０）の位置に黒い太ネジ部品バラ積み状態の部品のうちの１つが最も手前に来るように設置している。予め測定した距離として、撮像部２１から背景までの距離＝０．９７３ｍ、撮像部２１から箱１１の縁までの距離＝０．９０８ｍ、撮像部２１から一番手前の黒い太ネジ部品までの距離＝０．９２８ｍとなるように設置している。ステレオカメラ２０で得られる正解視差は、例えば背景視差＝６３ピクセル、箱の縁＝８２ピクセル、一番手前の黒い太ネジ部品＝７６ピクセルである。

［ステレオカメラ動作］
次に、ステレオカメラ２０を動作させ、例えばＳＧＭアルゴリズムにより箱中の金属製の黒い太ネジ部品の視差を算出する。図１９は、本実施形態のパターンを形成して得られた視差画像の一例である。ここで、探索視差範囲ｄは、例えば６０〜９０ピクセルとする。この結果、背景視差＝６３ピクセル、箱の縁の視差＝８２ピクセル、一番手前の黒い太ネジ部品＝７６ピクセルとする正解視差が得られた（図１９参照）。また、箱１１の内部の部品視差は、部品画像領域内の各画素において視差データが抜けることなく安定した結果が得られた。

［ピッキングシステム動作］
次に、アーム制御部４０でアームの駆動を制御することで、座標（ｘ、ｙ）＝（６３０、４５０）にある一番手前の黒い太ネジ部品位置において、アームの爪部分により一番手前の黒い太ネジ部品を取得することが可能となった。

本実施形態によれば、従来のような物体（上述した部品等）へのパターン投光ではなく、予め物体の背景にパターンを形成した撮像画像に基づいて視差画像を得るため、所望の視差を得て、ピッキング部品等の物体についての情報認識精度（例えば、距離測定精度）の低下を防止することが可能となる。これにより、アーム制御部４０はアームによる物体のピッキングを正確に制御することが可能となる。また、本実施形態によれば、従来のパターン投光部のような外部装置を備える必要がないため、システムの肥大化を防止し、システムの製造工数や製造コストを削減することが可能となる。

なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、上述した本実施形態の情報処理装置における各処理を、ハードウェア、又は、ソフトウェア、あるいは、両者の複合構成を用いて実行することも可能である。

ソフトウェアを用いて処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させることが可能である。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

１０，１００ ピッキングシステム
１１ 部品が入った箱（被写体の一例）
２０，１２０ ステレオカメラ
２１，２２，１２１，１２２ 撮像部
２３，１２３ 画像マッチング部
２４，１２４ 視差画像生成部（算出部の一例）
３０，１３０ 認識処理部
４０，１４０ アーム制御部
５０ パターン部
６０ ＣＰＵ
６１ ＲＯＭ
６２ ＲＯＭ Ｉ／Ｆ
６３ 画像処理部
６４ ２つの撮像部
６４−１ 撮像装置
６４−２ 撮像レンズ
６５ ＲＡＭ
６６ ＲＡＭ Ｉ／Ｆ
６７ 撮像部制御用 Ｉ／Ｆ
７１，７２ 高域強調フィルタ部
７３ コスト算出部
８１ 合成コスト算出部
８２ 整数視差算出部
８３ 小数視差算出部
９１，９２ 前処理部
１５０ パターン投光部

特開２０１３−１９０３９４号公報

Claims (14)

1. 所定のパターンが表面処理により形成された、又は前記パターンを表示する機能を有するパターン部と、
   被写体を撮像する撮像部と、
   前記撮像部から得られた前記パターンと前記被写体とが含まれた画像を用いて、距離情報を算出する算出部とを有することを特徴とする情報処理システム。
2. 前記パターンと前記被写体とが含まれた画像において、前記被写体に前記パターンが重なっていないことを特徴とする請求項１に記載の情報処理システム。
3. 前記パターン部は、
   前記パターンが印字されているか、又は、表面の凹凸により前記パターンが形成されていることを特徴とする請求項１又は２に記載の情報処理システム。
4. 前記パターン部は、
   液晶ディスプレイ上に、前記パターンに対応する画像を表示することを特徴とする請求項１乃至３のいずれか一項に記載の情報処理システム。
5. 前記撮像部は、
   ステレオカメラであることを特徴とする請求項１乃至４のいずれか一項に記載の情報処理システム。
6. 前記算出部は、
   前記パターンと前記被写体とが含まれた画像の画素ごとの輝度値の非類似度を算出し、算出結果から少なくとも前記被写体の画像領域の全画素に対応した視差を算出することを特徴とする請求項１乃至５のいずれか一項に記載の情報処理システム。
7. 前記算出部は、
   各方向の経路ごとに集約された合成非類似度を算出することで、前記被写体の画像領域の全画素に対応した視差を算出することを特徴とする請求項６に記載の情報処理システム。
8. 前記算出部は、
   予め設定された探索視差範囲内で前記非類似度の算出を行うことを特徴とする請求項６又は７に記載の情報処理システム。
9. 所定のパターンが表面処理により形成された、又は前記パターンを表示する機能を有するパターン部上の被写体を撮像部により撮像する撮像手順と、
   前記撮像手順で得られた前記パターンと前記被写体とが含まれた画像を用いて、距離情報を算出する算出手順とを有することを特徴とする情報処理方法。
10. 前記パターンと前記被写体とが含まれた画像において、前記被写体に前記パターンが重なっていないことを特徴とする請求項９に記載の情報処理方法。
11. 前記撮像手順は、
    前記撮像部としてステレオカメラを用いることを特徴とする請求項９又は１０に記載の情報処理方法。
12. 前記算出手順は、
    前記パターンと前記被写体とが含まれた画像の画素ごとの輝度値の非類似度を算出し、算出結果から少なくとも前記被写体の画像領域の全画素に対応した視差を算出することを特徴とする請求項９乃至１１のいずれか一項に記載の情報処理方法。
13. 前記算出手順は、
    各方向の経路ごとに集約された合成非類似度を算出することで、前記被写体の画像領域の全画素に対応した視差を算出することを特徴とする請求項１２に記載の情報処理方法。
14. 前記算出手順は、
    予め設定された探索視差範囲内で前記非類似度の算出を行うことを特徴とする請求項１２又は１３に記載の情報処理方法。