JP2016156750A - 視差画像生成システム、ピッキングシステム、視差画像生成方法およびプログラム - Google Patents

Abstract

【課題】精度のよい視差画像を短時間で生成する。
【解決手段】物体の特性を反映した物体情報を取得する物体情報取得部４１０と、予め定められた複数のパターンのうち、物体情報取得部４１０により取得された物体情報に対応するパターンを選択するパターン選択部４２０と、パターン選択部４２０により選択されたパターンを物体に照射するパターン投光器３と、パターンが照射された物体を撮像する基準画像撮像部２１０および比較画像撮像部２２０と、基準画像撮像部２１０および比較画像撮像部２２０により撮像された撮像画像から視差画像を生成する視差画像生成部２３０と、を備える。
【選択図】図７

Description

本発明は、視差画像生成システム、ピッキングシステム、視差画像生成方法およびプログラムに関する。

ステレオカメラを用いたステレオマッチング処理により、画素ごとの視差値を求めて視差画像（距離画像）を生成する技術が知られている。ステレオマッチング処理とは、撮影位置が異なる２つのカメラのうちの一方で撮像された画像（基準画像）と、他方で撮像された画像（比較画像）との間で対応する画素を探索することにより、画素ごとの視差値を求める処理である。

しかし、ステレオマッチング処理の多くは局所的な輝度変化を手がかりとして基準画像と比較画像との間の画素の対応付けを行うため、被写体となる物体のテクスチャが弱いと視差値を求められない画素が多く発生し、精度のよい視差画像を生成することが難しい。そこで、被写体となる物体に対してパターンを照射することで人工的にテクスチャを付与し、基準画像と比較画像との間の画素の対応付けを行い易くする技術が種々提案されている。例えば特許文献１には、被写体に対して複数のパターンを切り替えて照射し、あるパターンを照射して生成した視差画像におけるミスマッチング領域（視差値が得られない領域）を、別のパターンを照射して生成した視差画像の視差値により置換する技術が記載されている。

しかし、被写体となる物体に照射されるパターンがその物体の特性に合っていない場合、信頼性の高い視差値（以下、「有効視差」と呼ぶ。）が得られる画素の数（以下、「有効視差点数」と呼ぶ。）が少なくなり、精度のよい視差画像が得られない。また、特許文献１に記載の技術のように、複数のパターンを切り替えて照射する構成では、最終的に視差画像を得るまでの所要時間が長くなる。

上述した課題を解決するために、本発明は、物体の特性を反映した物体情報を取得する取得手段と、予め定められた複数のパターンのうち、前記取得手段により取得された前記物体情報に対応するパターンを選択する選択手段と、前記選択手段により選択されたパターンを前記物体に照射するパターン照射手段と、パターンが照射された前記物体を撮像する２以上の撮像手段と、前記２以上の撮像手段により撮像された２以上の撮像画像から視差画像を生成する生成手段と、を備える。

本発明によれば、精度のよい視差画像を短時間で生成することができるという効果を奏する。

図１は、ステレオカメラを用いて物体までの距離を算出する原理を説明する図である。 図２は、ステレオマッチング処理の概要を説明する図である。 図３は、候補画素のコスト値とシフト量との関係を示す図である。 図４は、物体の光透過率とパターンの粒度との関係を説明する図である。 図５は、実施形態のピッキングシステムの概略構成図である。 図６は、実施形態のピッキングシステムのハードウェア構成例を示すブロック図である。 図７は、ステレオカメラおよび情報処理装置の機能的な構成例を示すブロック図である。 図８は、視差画像生成部の詳細な構成例を示すブロック図である。 図９は、整数視差および小数視差の算出方法を説明する図である。 図１０は、光透過率が高めの物体に最適なパターンと光透過率が低めの物体に最適なパターンのそれぞれの明度分布を表す図である。 図１１は、光透過率が高めの物体に最適なパターンの一例を示す図である。 図１２は、光透過率が低めの物体に最適なパターンの一例を示す図である。 図１３は、ピッキングシステムによる動作の流れを説明するフローチャートである。 図１４は、第１変形例の構成を説明するブロック図である。 図１５は、第２変形例の構成を説明するブロック図である。 図１６は、第３変形例の構成を説明するブロック図である。 図１７は、パターン記憶部に格納されるテーブルの一例を示す図である。

以下に添付図面を参照しながら、本発明に係る視差画像生成システム、ピッキングシステム、視差画像生成方法およびプログラムの実施形態について詳しく説明する。

本実施形態の視差画像生成システムは、被写体となる物体の特性を反映した物体情報を取得し、予め定められた複数のパターンの中から、取得した物体情報に対応するパターンを選択して物体に照射する。そして、このパターンが照射された物体を撮像した２以上の撮像画像から視差画像を生成する。このように、物体の特性を反映した物体情報に基づいて選択したパターンを物体に照射して視差画像を生成することで、精度のよい視差画像を短時間で生成することができる。

［測距の原理］
まず、本実施形態において適用される測距の原理について、図１を参照して説明する。図１は、ステレオカメラを用いて物体までの距離を算出する原理を説明する図である。ここでは、ステレオマッチング処理によりステレオカメラにおける物体に対する視差値を求め、この視差値によって、ステレオカメラから物体までの距離を測定する。なお、以下では、説明を簡略化するため、複数の画素からなる所定領域のマッチングではなく、画素単位のマッチングを行うものとして説明する。

図１に示すステレオカメラは、平行等位に配置された２つの撮像部１０ａ，１０ｂを有する。撮像部１０ａ，１０ｂは、それぞれ、被写体となる物体Ｅの像をイメージセンサに結像させるレンズ１１ａ，１１ｂを有する。ここで、撮像部１０ａにより撮像された撮像画像（輝度画像）を基準画像Ｉａとし、撮像部１０ｂにより撮像された撮像画像（輝度画像）を比較画像Ｉｂとする。

図１において、３次元空間内の物体Ｅ上の点Ｓは、基準画像Ｉａおよび比較画像Ｉｂそれぞれにおいて、レンズ１１ａとレンズ１１ｂとを結ぶ直線と平行な直線上の位置に写像される。基準画像Ｉａにおいて物体Ｅ上の点Ｓが写像される位置を点Ｓａ（ｘ，ｙ）とし、比較画像Ｉｂにおいて物体Ｅ上の点Ｓが写像される位置を点Ｓｂ（Ｘ，ｙ）とする。このとき、視差値ｄｐは、基準画像Ｉａにおける点Ｓａ（ｘ，ｙ）の座標値と、比較画像Ｉｂにおける点Ｓｂ（Ｘ，ｙ）の座標値とを用いて、下記式（１）のように表される。
ｄｐ＝Ｘ−ｘ ・・・（１）

また、図１において、基準画像Ｉａにおける点Ｓａ（ｘ，ｙ）と撮像レンズ１１ａから撮像面上に下した垂線の交点との距離をΔａとし、比較画像Ｉｂにおける点Ｓｂ（Ｘ，ｙ）と撮像レンズ１１ｂから撮像面上に下した垂線の交点との距離をΔｂとすると、視差値ｄｐは、ｄｐ＝Δａ＋Δｂと表すこともできる。

視差値ｄｐを用いることにより、ステレオカメラと物体Ｅとの間の距離Ｚを算出することができる。距離Ｚは、レンズ１１ａの焦点位置とレンズ１１ｂの焦点位置とを結ぶ直線から物体Ｅ上の点Ｓまでの距離である。図１に示すように、撮像レンズ１１ａ，１１ｂの焦点距離ｆ、撮像レンズ１１ａと撮像レンズ１１ｂとの間の長さである基線長Ｂ、および視差値ｄｐを用いて、下記式（２）により、距離Ｚを算出することができる。
Ｚ＝（Ｂ×ｆ）／ｄｐ ・・・（２）
この式（２）から分かるように、視差値ｄｐが大きいほど距離Ｚは小さく、視差値ｄｐが小さいほど距離Ｚは大きくなる。

［ステレオマッチング処理］
次に、基準画像Ｉａに対して比較画像Ｉｂにおける対応画素を求めるステレオマッチング処理の概要について説明する。ここで、対応画素とは、基準画像Ｉａにおける画素（以下、「基準画素」と呼ぶ。）に最も類似する比較画像Ｉｂ内の画素のことをいう。ステレオマッチング処理では、比較画像Ｉｂにおける対応画素の候補について、それぞれ基準画素に対する非類似度を表すコスト値Ｃを算出し、コスト値Ｃが最小値となる候補を対応画素として求める。基準画素に対応する対応画素が一意に求まれば、例えば上記式（１）により、その画素について信頼性の高い視差値ｄｐを算出することができる。視差画像は、基準画素を視差値ｄｐで表した画像である。したがって、信頼性の高い視差値ｄｐ（有効視差）を算出できた基準画素の数（有効視差点数）が多いほど、精度のよい視差画像となる。なお、有効視差を算出できない基準画素については、例えば視差値ｄｐを「０」として視差画像が構成される。

図２は、ステレオマッチング処理の概要を説明する図である。図２（ａ）は、基準画像Ｉａにおける基準画素ｐの一例ｐ（ｘ，ｙ）を示す概念図であり、図２（ｂ）は、図２（ａ）に示す基準画素ｐ（ｘ，ｙ）に対応する比較画像Ｉｂにおける対応画素の候補（以下、「候補画素」と呼ぶ。）の一例ｑ（ｘ＋ｄ，ｙ）を示す概念図である。図２に示すように、基準画素ｐ（ｘ，ｙ）に対応する比較画像Ｉｂ内のエピポーラ線ＥＬ上の各候補画素ｑ（ｘ＋ｄ，ｙ）の輝度値を求めて基準画素ｐ（ｘ，ｙ）の輝度値と比較することにより、各候補画素ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）が算出される。ｄは、基準画素ｐに対する候補画素ｑのシフト量（ずれ量）であり、ここでは画素単位のシフト量を表している。すなわち、図２では、候補画素ｑ（ｘ＋ｄ，ｙ）を予め指定された範囲（例えば、０＜ｄ＜２５）において順次１画素ずつシフトさせながら、候補画素ｑ（ｘ＋ｄ，ｙ）と基準画素ｐ（ｘ，ｙ）との輝度値の非類似度を表すコスト値Ｃ（ｐ，ｄ）が算出される。

なお、上述のように、撮像部１０ａ，１０ｂは平行等位に配置されるため、基準画像Ｉａにおける基準画素ｐに対応する比較画像Ｉｂにおける対応画素は、図２に示すエピポーラ線ＥＬ上に存在することになる。したがって、比較画像Ｉｂにおける対応画素を求めるためには、比較画像Ｉｂ内のエピポーラ線ＥＬ上の画素を探索すればよい。

このようにして算出されたコスト値Ｃは、シフト量ｄとの関係で、図３に示すようなグラフによって表すことができる。図３の例では、コスト値Ｃは、シフト量ｄ＝５，１２，１９の場合が「０」となるため、最小値を求めることができない。例えば、テクスチャが弱い物体を被写体とする場合には、基準画素ｐと同じ輝度値を持つ候補画素ｑが多く存在するため、このようにコスト値Ｃの最小値を求めることが困難となる。その結果、基準画素ｐに対応する対応画素を一意に特定することができず（ミスマッチが生じ）、信頼性の高い視差値ｄｐを算出することができない。

このような問題は、被写体となる物体にパターンを照射して人工的にテクスチャを付与することにより改善される。ここでの「テクスチャ」とは、例えば画像上の各画素の明暗として現れ得る模様、柄、パターン、色、ドットなどをいう。物体に照射するパターンは、複数の明度を有するパターンや二次元の乱数パターンであることが好ましい。ただし、繰返し周期を持つパターンはコスト値Ｃの値が繰り返す場合があるため、好ましくない。

また、物体に照射するパターンは、物体の特性に応じて最適なパターンが異なることが分かってきた。例えば、光透過率が高い物体に対して粒度が細かすぎるパターンを照射した場合、物体の表面で拡散反射した光と物体を透過して別の面で拡散反射した光とが干渉することの影響などによりテクスチャが消滅することがある。その結果、類似した輝度値がステレオマッチング処理における探索方向に並んでしまうことが多くなり、有効視差点数が減少して視差画像の精度が低下する。また、例えば、光透過率が低い物体に対してコントラストが高すぎるパターンを照射した場合、物体表面の反射光量が大きいために明度が高いテクスチャに対応する画素の輝度値が飽和してしまう場合がある。その結果、正しい輝度値が得られない画素が多くなり、有効視差点数が減少して視差画像の精度が低下する。

図４は、物体の光透過率とパターンの粒度との関係を説明する図である。図４では、光透過率が低い物体である不透明体と、光透過率が高い物体である半透明体とに対して、粒度が細かいパターンを照射したときに得られる輝度画像（基準画像または比較画像）および視差画像と、粒度が粗いパターンを照射したときに得られる輝度画像および視差画像とをそれぞれ示している。図４に示す視差画像は、便宜上、有効視差が得られた画素をグレーで示し、有効視差が得られなかった画素を黒で示している。

図４に示すように、被写体となる物体が不透明体の場合、粒度が粗いパターンを照射した場合よりも粒度が細かいパターンを照射した場合の方が、視差画像における有効視差点数が多くなり、精度のよい視差画像を得ることができる。一方、被写体となる物体が半透明体の場合には、粒度が細かいパターンを照射すると輝度画像がぼやけてテクスチャが消滅し、視差画像における有効視差点数が大幅に減少するが、粒度の粗いパターンを照射するとテクスチャが塊として残るため、有効視差点数が多くなり、精度のよい視差画像を得ることができる。

以上の例で示すように、精度のよい視差画像を得るために最適なパターンは、被写体となる物体の透過率などの特性に応じて異なっている。被写体となる物体の特性に合った最適なパターンを照射する方法としては、複数のパターンを切り替えながら視差画像を評価して最適なパターンを探す方法もあるが、この方法では最終的に精度のよい視差画像を得るまでの所要時間が長くなる。そこで、本実施形態では、被写体となる物体の特性を反映した物体情報を取得し、予め定められた複数のパターンの中から、取得した物体情報に対応するパターンを選択して物体に照射することで、精度のよい視差画像を短時間で生成できるようにしている。

［ピッキングシステム］
次に、本発明に係る視差画像生成システムを適用した具体的なシステムの一例として、製品の組み立て工場などにおいて、前工程から搬送された部品や半完成品、完成品などの物体を自動認識し、ロボットアームを用いて物体のピッキングを行うピッキングシステムについて説明する。このピッキングシステムでは、例えば、搬送用トレイ内に平置き、あるいはバラ積みされた状態で、ベルトコンベアなどにより前工程から搬送された物体を被写体としてステレオカメラによる撮像を行って視差画像を生成し、この視差画像をもとに物体の三次元の位置を認識してピッキング（物体を掴む（拾う）動作）を行う。このピッキングシステムは、ピッキング対象となる物体の特性に合った最適なパターンを物体に照射してステレオカメラによる撮像を行うことで、精度のよい視差画像を短時間で生成することができ、ピッキング動作のタクトタイムを短縮することができる。

（全体構成）
図５は、本実施形態のピッキングシステム１の概略構成図である。このピッキングシステム１は、図５に示すように、ステレオカメラ２と、パターン投光器３（パターン照射手段の一例）と、情報処理装置４と、アーム制御装置５（ピッキング手段の一例）とを備える。

ステレオカメラ２は、２つの撮像部により被写体である物体を撮像し、上述した基準画像および比較画像となる２つの撮像画像（輝度画像）から視差画像を生成して出力する。ステレオカメラ２の機能の詳細については後述する。なお、ステレオカメラ２は３つ以上の撮像部により物体を撮像して視差画像を生成する構成であってもよいが、本実施形態では２つの撮像部を有する構成であるものとする。

パターン投光器３は、被写体となる物体に対してパターンを照射して、物体にテクスチャを付与する。本実施形態では、このパターン投光器３が物体に照射するパターンが、物体の特性を反映した物体情報に基づいて選択されたパターンとなる。物体情報に基づいて選択されたパターンを物体に照射し、この物体をステレオカメラ２により撮像することにより、精度のよい視差画像が生成される。また、パターン投光器３は、物体情報を取得できるようにするための物体情報取得用の光を物体に照射する機能も有する。

情報処理装置４は、ステレオカメラ２により生成された視差画像と輝度画像を用いて物体の認識処理を行う。また、情報処理装置４は、物体情報を取得して、パターン投光器３から物体に照射する最適なパターンを選択する機能も有する。情報処理装置４の機能の詳細については後述する。

アーム制御装置５は、情報処理装置４による物体に対する認識結果に基づいて、多関節ロボットであるロボットアーム６の動作を制御し、搬送用トレイ７内の物体のピッキングを行う。

（ハードウェア構成）
図６は、本実施形態のピッキングシステム１のハードウェア構成例を示すブロック図である。図６に示すように、ステレオカメラ２は、２つの撮像部１０ａ，１０ｂと、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）１１とを備える。ＦＰＧＡ１１には、２つの撮像部１０ａ，１０ｂによる撮像画像から視差画像を生成するためのプログラムが実装されている。

情報処理装置４は、図６に示すように、ＣＰＵ１２、ＲＯＭ１３、ＲＡＭ１４、ＲＯＭＩ／Ｆ１５、ＲＡＭＩ／Ｆ１６、およびＩ／Ｆ１７〜１９などを備えた汎用のコンピュータ装置として構成される。ＣＰＵ１２は、情報処理装置４の各機能を実現させるための演算を実行する演算装置である。ＲＯＭ１３は、プログラムやデータを記憶する不揮発性メモリである。ＲＡＭ１４は、ＣＰＵ１２がプログラムを実行するためのワークエリアとして利用されるメインメモリである。また、ＲＡＭ１４は、ステレオカメラ２から情報処理装置４に送られた撮像画像（輝度画像）や視差画像を一時的に格納する画像メモリとしても用いられる。

ＲＯＭＩ／Ｆ１５は、ＣＰＵ１２がＲＯＭ１３にアクセスするためのインターフェースであり、ＲＡＭＩ／Ｆ１６は、ＣＰＵ１２がＲＡＭ１４にアクセスするためのインターフェースである。Ｉ／Ｆ１７〜１９は、情報処理装置４とステレオカメラ２、パターン投光器３およびアーム制御装置５とを接続するためのインターフェースである。なお、情報処理装置４には、例えばハードディスク装置などの大容量記憶装置が内蔵または外付けで設けられていてもよい。

情報処理装置４の主要な機能は、例えば、ＣＰＵ１２がＲＡＭ１４をワークエリアとして利用して、ＲＯＭ１３やハードディスク装置に格納されたプログラムを実行することにより実現される。例えば、後述の物体情報取得部４１０およびパターン選択部４２０（図７参照）の機能は、以下のように実現される。すなわち、ＣＰＵ１２が、ＲＯＭ１３やハードディスク装置から読み出したプログラムの制御フローの命令に従って、物体情報取得用の光をパターン投光器３から物体に照射させたときに撮像された物体の輝度画像をステレオカメラ２から取得する。そして、取得した輝度画像を評価して評価値を算出し、ＲＯＭ１３やハードディスク装置により実現されるパターン記憶部４３０（図７参照）に格納された複数のパターンのうち、輝度画像の評価値に応じたパターンを選択する。

（ステレオカメラおよび情報処理装置の機能構成）
図７は、ステレオカメラ２および情報処理装置４の機能的な構成例を示すブロック図である。図７に示すように、ステレオカメラ２は、上述した２つの撮像部１０ａ，１０ｂにより実現される基準画像撮像部２１０（第１の撮像手段）および比較画像撮像部２２０（第２の撮像手段）と、上述したＦＰＧＡ１１により実現される視差画像生成部２３０（生成手段）とを備える。また、情報処理装置４は、例えば上述したＣＰＵ１２がプログラムを実行することにより実現される機能的な構成要素として、物体情報取得部４１０（取得手段）と、パターン選択部４２０（選択手段）と、認識処理部４４０（認識手段）とを備える。また、情報処理装置４は、ＲＯＭ１３やハードディスク装置により実現されるパターン記憶部４３０を備える。

基準画像撮像部２１０は、被写体となる物体を撮像し、上述した基準画像Ｉａとなる輝度画像を撮像画像として出力する。また、比較画像撮像部２２０は、基準画像撮像部２１０とは異なる位置から被写体となる物体を撮像し、上述した比較画像Ｉｂとなる輝度画像を撮像画像として出力する。これら基準画像撮像部２１０および比較画像撮像部２２０からの輝度画像は、視差画像生成部２３０に入力される。また、基準画像撮像部２１０からの輝度画像（基準画像Ｉａ）は、情報処理装置４の認識処理部４４０にも入力される。さらに、物体情報取得用の光が照射された物体を基準画像撮像部２１０が撮像することで得られる輝度画像は、情報処理装置４の物体情報取得部４１０に入力される。

視差画像生成部２３０は、基準画像撮像部２１０からの輝度画像（基準画像Ｉａ）と、比較画像撮像部２２０からの輝度画像（比較画像Ｉｂ）とを用いて、視差画像を生成する。図８は、視差画像生成部２３０の詳細な構成例を示すブロック図である。図８に示すように、視差画像生成部２３０は、フィルタ部２３１，２３２と、コスト算出部２３３と、整数視差算出部２３４と、少数視差算出部２３５とを備える。

フィルタ部２３１，２３２は、それぞれ、基準画像撮像部２１０からの輝度画像（基準画像Ｉａ）と、比較画像撮像部２２０からの輝度画像（比較画像Ｉｂ）に対し、ノイズの除去や高域を強調するためのフィルタリング処理を行う。

コスト算出部２３３は、上述したように、基準画像Ｉａにおける基準画素ｐの輝度値と、比較画像Ｉｂにおける各候補画素ｑの輝度値とに基づき、各候補画素ｑのコスト値Ｃを算出する。コスト算出部２３３によるコスト値Ｃの算出方法としては、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、またはＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）などの公知の方法を用いることができる。

整数視差算出部２３４および小数視差算出部２３５は、コスト算出部２３３により算出された各候補画素ｑのコスト値Ｃに基づき、１画素よりも小さいサブピクセル単位で視差値ｄｐを算出する。以下では、１画素単位で算出される視差値ｄｐを整数視差Δと呼び、サブピクセル単位で算出される視差値ｄｐを小数視差δと呼ぶ。図９は、整数視差Δおよび小数視差δの算出方法を説明する図である。

整数視差算出部２３４では、図９に示すように、各候補画素ｑごと（つまり基準画素ｐからのシフト量ｄごと）に算出されるコスト値Ｃが最小となるシフト量ｄが探索される。そして、コスト値Ｃが最小となるシフト量ｄの値が整数視差Δとして算出される。小数視差算出部２３５では、視差値ｄｐを小数まで追求するために、サブピクセル推定手法を使って図９に示す小数視差δが算出される。例えば等角直線法では、整数視差算出部２３４により算出された整数視差Δを中心として、ｄの値がひとつ小さいΔ−１とｄの値がひとつ大きいΔ＋１の合計３つの候補画素に対応する３つのコスト値Ｃを使って、小数視差δが算出される。また、パラボラフィット法や多項式による近似手法では、上記の３つのコスト値Ｃを使って小数視差δを算出してもよいし、図９のΔ−２、Δ−１、Δ、Δ＋１、Δ＋２に対応する５つのコスト値Ｃを使って小数視差δを算出してもよい。これらに限らず、所望のサブピクセル推定手法を用いて小数視差δを算出してもよい。

視差画像生成部２３０では、基準画像Ｉａ内の基準画素ｐのそれぞれについて、コスト算出部２３３で候補画素ｑのコスト値Ｃを算出し、整数視差算出部２３４および小数視差算出部２３５で少数視差δを算出する。これにより、物体の三次元情報を表す視差画像が生成される。なお、視差画像生成部２３０は、基準画像撮像部２１０から入力した基準画像Ｉａや比較画像撮像部２２０から入力した比較画像Ｉｂに対して、歪み補正処理などの処理を施す前処理部を備えていてもよい。基準画像Ｉａと比較画像Ｉｂの歪み状態はコスト算出部２３３で算出するコスト値Ｃの結果に大きな影響を与える場合があるため、コスト値Ｃの算出前に歪み補正処理を行うことが有効である。また、基準画像撮像部２１０や比較画像撮像部２２０におけるレンズとセンサの光軸ずれや、レンズの光学的歪み状態が基準画像Ｉａと比較画像Ｉｂとで異なる場合は、その歪みを補正するための歪み補正パラメータを前処理部において保持し、キャリブレーション結果を歪み補正パラメータに反映させるといった対策を講じることも有効である。

図７に戻り、物体情報取得部４１０は、ピッキングの対象となる物体、つまりステレオカメラ２の被写体となる物体の特性を反映した物体情報を取得する。本実施形態では、物体の特性として、物体の光透過率（もしくは反射率などの光透過率を代替する特性値）を反映した物体情報を取得することを想定する。物体情報としては、例えば、明度分布を持たない所定の明るさの一様の光を物体情報取得用の光としてパターン投光器３から物体に照射した状態で、ステレオカメラ２の基準画像撮像部２１０（あるいは比較画像撮像部２２０）により撮像された物体の輝度画像を用いることができる。

物体情報取得用の光が照射された物体の輝度画像は、物体が映っている領域の画素値が物体の光透過率を反映した値となる。つまり、物体の光透過率が低いほど物体表面の反射光が強くなるため、輝度画像の画素値は大きくなり、物体の光透過率が高いほど物体表面の反射光が弱くなるため、輝度画像の画素値は小さくなる。なお、物体情報としてこのような物体の輝度画像を用いる場合は、物体の背景となる部分（図５に示したように物体が搬送用トレイ７内に置かれている場合は搬送用トレイ７の底面部）に、光を吸収する材質のもの（例えば黒い幕など）を設置しておくことが望ましい。これにより、物体の背景となる部分での反射が抑制されるため、輝度画像から物体が映っている領域を特定しやすくなるとともに、物体を透過した光は背景となる部分で吸収されるため、物体の光透過率を忠実に反映した撮像画像を取得することができる。

物体情報取得部４１０は、例えば、ピッキングシステム１による物体のピッキング動作が開始される前、あるいはピッキング対象の物体が切り替わった際に、パターン投光器３に対して物体情報取得用の光の照射を指示する制御命令を出力するとともに、ステレオカメラ２に対して輝度画像の撮像を指示する制御命令を出力する。そして、パターン投光器３から物体情報取得用の光が照射された物体の輝度画像がステレオカメラ２の基準画像撮像部２１０から出力されると、物体情報取得部４１０は、この基準画像撮像部２１０から出力された輝度画像を物体情報として取得する。物体情報取得部４１０により物体情報として取得された輝度画像は、パターン選択部４２０に渡される。

パターン選択部４２０は、物体情報取得部４１０により物体情報として取得された輝度画像から物体が映っている領域を特定し、この領域の画素値をもとに輝度画像の評価値を算出する。例えばパターン選択部４２０は、輝度画像の物体が映っている領域の画素値の平均値を求め、その平均値の逆数を輝度画像の評価値として算出することができる。そして、パターン選択部４２０は、パターン記憶部４３０に予め格納されている複数のパターンのうち、算出した評価値に対応するパターンを選択する。上述の輝度画像から算出した評価値は、物体の光透過率を反映した値である。したがって、パターン選択部４２０は、パターン記憶部４３０に予め格納されている複数のパターンのうち、評価値に対応する光透過率を持つ物体に照射するパターンとして最適なパターンを選択することになる。

パターン記憶部４３０は、物体の光透過率に応じて粒度やコントラストが最適化された複数のパターンを記憶している。物体の光透過率に応じたパターンの最適な粒度やコントラストは、予め実験などによって求められている。以下では、説明を簡略化するため、光透過率が高めの物体に対して最適なパターンと、光透過率が低めの物体に対して最適なパターンとの２つのパターンについて説明する。ただし、パターン記憶部４３０には、ピッキング対象となり得る物体の光透過率に応じた複数のパターンが格納されていればよく、３つ以上のパターンが格納されていてもよい。

図１０は、光透過率が高めの物体に最適なパターンＰ１と光透過率が低めの物体に最適なパターンＰ２のそれぞれの明度分布を表す図である。また、図１１は、光透過率が高めの物体に最適なパターンＰ１の一例を示す図であり、図１２は、光透過率が低めの物体に最適なパターンＰ２の一例を示す図である。

図１０乃至図１２に示すように、光透過率が高めの物体に最適なパターンＰ１は、光透過率が低めの物体に最適なパターンＰ２よりも、粒度が粗く、且つ、コントラストが高いパターンとなっている。光透過率が高めの物体に対して粒度が細かいパターンを照射すると、上述したようにテクスチャが消滅して視差画像における有効視差点数が減少する。また、光透過率が高めの物体に対してコントラストが低いパターンを照射すると、輝度画像におけるコントラストがさらに低下するためテクスチャが消滅し、視差画像における有効視差点数が減少する。このため、光透過率が高めの物体に最適なパターンＰ１は、光透過率が低めの物体に最適なパターンＰ２と比較して、粒度が粗く、且つ、コントラストが高いパターンとしている。一方、光透過率が高めの物体に対しては、粒度が細かいパターンを照射した方が視差画像における有効視差点数が増加する。また、光透過率が低めの物体に対してコントラストが高いパターンを照射すると、上述したように輝度画像において画素値（輝度値）が飽和する画素が多くなり、視差画像における有効視差点数が減少する。このため、光透過率が低めの物体に対して最適なパターンＰ２は、光透過率が高めの物体に最適なパターンＰ１と比較して、粒度が細かく、且つ、コントラストが低いパターンとしている。

パターン選択部４２０は、例えば、物体情報取得部４１０により物体情報として取得された輝度画像から算出した評価値（物体の光透過率を反映した値）が所定の閾値よりも高いときは、パターン記憶部４３０に格納された複数のパターンのうち、例えば図１１に例示したパターンＰ１を選択し、算出した評価値が閾値以下のときは、例えば図１２に例示したパターンＰ２を選択する。パターン記憶部４３０に３つ以上のパターンが格納されている場合は、２つ以上の閾値を設定して各パターンの選択基準とすればよい。

パターン選択部４２０によりパターンが選択されると、その選択されたパターンの映像が情報処理装置４からパターン投光器３に転送される。これにより、パターン投光器３から物体に対して、精度のよい視差画像を生成するために最適なパターンが照射される。そして、最適なパターンが照射された物体に対し、ステレオカメラ２による撮像および視差画像の生成が行われ、生成された視差画像が基準画像Ｉａとともに認識処理部４４０に送られる。なお、パターンの粒度やコントラストといったパラメータをパターン選択部４２０に格納しておき、選択されたパターンのパラメータを映像が情報処理装置４からパターン投光器３に転送して、パターン投光器３において、転送されたパラメータに基づくパターンの映像を生成して照射する構成であってもよい。

物体の光透過率に応じたパターンの最適な粒度やコントラストを実験的に求める方法としては、例えば、光透過率が異なる物体に対し、粒度やコントラストを変化させながらパターンを照射して、視差画像の有効視差点数が最も多くなるパターンの粒度やコントラストを物体ごとに求める方法を用いることができる。ピッキング対象となり得る物体のそれぞれに対して、このような方法でパターンの最適な粒度やコントラストを求めておくことで、ピッキング対象となり得る物体ごとに、事前に最適なパターンを決定してパターン記憶部４３０に記憶させておくことができる。このとき、各物体に対応する最適なパターンを、例えば上述のように物体情報取得用の光を照射したときの物体の輝度画像の評価値をもとに設定した閾値と関連付けてパターン記憶部４３０に記憶させておくことにより、物体の特性に合った最適なパターンを選択することができる。

図７に戻り、認識処理部４４０は、ステレオカメラ２が出力する基準画像Ｉａおよび視差画像に基づいて、ステレオカメラ２により撮像された物体の形状、位置および距離などを認識する。認識処理部４４０の認識結果はアーム制御装置５に送られる。これにより、アーム制御装置５によりロボットアーム６の動作が制御され、物体のピッキングが行われる。

（ピッキングシステムの動作）
次に、本実施形態のピッキングシステム１の動作について、図１３を参照して説明する。図１３は、ピッキングシステム１による動作の流れを説明するフローチャートである。

ピッキングシステム１の動作が開始されると、まず、ピッキング対象の物体に対して、パターン投光器３から物体情報取得用の光が照射される（ステップＳ１０１）。そして、物体情報取得用の光が照射された物体を被写体としてステレオカメラ２による撮像が行われ（ステップＳ１０２）、情報処理装置４の物体情報取得部４１０により、ステップＳ１０２で撮像された物体の輝度画像が物体情報として取得される（ステップＳ１０３）。

次に、情報処理装置４のパターン選択部４２０により、ステップＳ１０３で取得された輝度画像の評価値が算出され（ステップＳ１０４）、パターン記憶部４３０が記憶する複数のパターンのうち、ステップＳ１０４で算出された評価値に対応するパターンが選択される（ステップＳ１０５）。

次に、ピッキング対象の物体に対して、パターン投光器３からステップＳ１０５で選択されたパターンが照射され（ステップＳ１０６）、パターンが照射された物体を被写体としてステレオカメラ２による撮像が行われる（ステップＳ１０７）。そして、ステレオカメラ２の視差画像生成部２３０により、ステップＳ１０７で撮像された２つの撮像画像（基準画像および比較画像）をもとに、視差画像が生成される（ステップＳ１０８）。

次に、情報処理装置４の認識処理部４４０により、ステップＳ１０７で撮像された撮像画像とステップＳ１０８で生成された視差画像とに基づいて物体の認識処理が行われ（ステップＳ１０９）、その認識結果に基づいて、アーム制御装置５によりロボットアーム６の動作が制御されることで、物体のピッキングが行われる（ステップＳ１１０）。

その後、ピッキング対象の物体が変わったか否かが判定され（ステップＳ１１１）、ピッキング対象の物体が変わった場合は（ステップＳ１１１：Ｙｅｓ）、ステップＳ１０１に戻って以降の処理が繰り返される。また、ピッキング対象の物体が変わっていなければ（ステップＳ１１１：Ｎｏ）、すべての物体のピッキングが終了したか否かが判定され（ステップＳ１１２）、ピッキングが終了していない物体があれば（ステップＳ１１２：Ｎｏ）、ステップＳ１０６に戻って以降の処理が繰り返される。そして、すべての物体のピッキングが終了すると（ステップＳ１１２：Ｙｅｓ）、ピッキングシステム１の動作が終了する。

以上、具体的な例を挙げながら詳細に説明したように、本実施形態のピッキングシステム１は、ピッキング対象となる物体の特性を反映した物体情報を取得し、予め定められた複数のパターンのうち、取得した物体情報に対応するパターンを選択して物体に照射し、このパターンが照射された物体を撮像した２以上の撮像画像から視差画像を生成する。したがって、本実施形態のピッキングシステム１によれば、ピッキング対象となる物体の特性に合った最適なパターンを照射して精度のよい視差画像を短時間で生成できるため、物体のピッキング動作に要するタクトタイムを短縮して、作業効率を高めることができる。特に、従来技術のように、精度のよい視差画像を生成するために複数のパターンを切り替えながら照射して複数の視差画像を合成する構成では、物体のピッキング動作中にパターンの切り替えや複数の視差画像の生成、合成などの処理を行うため、精度のよい視差画像を得るための所要時間が長くなり、ピッキング動作のタクトタイムが長時間化する。これに対し、本実施形態のピッキングシステム１では、物体のピッキング動作が開始される前にパターンの最適化が行われ、ピッキング動作が開始された後は精度のよい視差画像を短時間で生成できるため、ピッキング動作のタクトタイムを短くすることができる。

（第１変形例）
次に、本実施形態の第１変形例を説明する。本変形例は、物体情報取得用の光が照射された物体の反射光または透過光を受光する光検出器を別途設け、この光検出器が受光した光量を物体情報として取得する例である。その他の構成は上述した実施形態と同様であるため、以下では上述した実施形態との差分のみを説明する。

図１４は、第１変形例の構成を説明するブロック図である。図１４に示すように、本変形例では、上述した実施形態のピッキングシステム１の構成（図７参照）に対し、光検出器２０（受光手段）が追加されている。

光検出器２０は、物体情報取得用の光が照射された物体の反射光または透過光を受光して受光量に応じた電気信号を出力する。この光検出器２０により物体の反射光を検出する場合は、パターン投光器３から物体に照射された物体情報取得用の光の正反射光を受光する位置に光検出器２０が配置される。また、光検出器２０により物体の透過光を検出する場合は、物体の背景となる部分（図５に示したように物体が搬送用トレイ７内に置かれている場合は搬送用トレイ７の底面部）に光検出器２０が配置される。光検出器２０が出力する電気信号、すなわち物体の反射光または透過光の光量を示す信号は、情報処理装置４に入力される。

本変形例では、情報処理装置４の物体情報取得部４１０が、光検出器２０により受光された物体の反射光または透過光の光量を、物体情報として取得する。すなわち、物体情報取得部４１０は、例えば、ピッキングシステム１による物体のピッキング動作が開始される前、あるいはピッキング対象の物体が切り替わった際に、パターン投光器３に対して物体情報取得用の光の照射を指示する制御命令を出力するとともに、光検出器２０を動作させる。そして、パターン投光器３から物体情報取得用の光が物体に照射されたときに光検出器２０から出力される信号を読み込んで、この信号によって示される物体の反射光または透過光の光量を、物体情報として取得する。

物体情報取得用の光が照射されたときの物体の反射光または透過光の光量は、物体の光透過率を反映したものとなっている。つまり、物体の光透過率が低いほど物体の反射光が強くなるため、反射光の光量が大きくなり、透過光の光量は小さくなる。逆に、物体の光透過率が高いほど物体表面の反射光が弱くなるため、反射光の光量は小さくなり、透過光の光量は大きくなる。したがって、光検出器２０により受光された物体の反射光または透過光の光量を物体情報として取得することにより、上述した実施形態と同様に、物体の光透過率に応じて最適なパターンを選択することができる。

（第２変形例）
次に、本実施形態の第２変形例を説明する。本変形例は、ピッキング対象となる物体に検査用のレーザ光を照射するレーザ光源と、物体で反射または物体を透過したレーザ光を受光するレーザ光検出器を別途設け、レーザ光検出器が受光したレーザ光の光量を物体情報として取得する例である。その他の構成は上述した実施形態と同様であるため、以下では上述した実施形態との差分のみを説明する。

図１５は、第２変形例の構成を説明するブロック図である。図１５に示すように、本変形例では、上述した実施形態のピッキングシステム１の構成（図７参照）に対し、レーザ光源２１（レーザ照射手段）と、レーザ光検出器２２（レーザ受光手段）とが追加されている。

レーザ光源２１は、例えば、情報処理装置４の物体情報取得部４１０から出力される発光指令に従ってレーザ光を発光し、ピッキング対象の物体に照射する。レーザ光源２１からのレーザ光を物体に照射する際、その物体をステレオカメラ２で撮像する位置とは異なる位置に置くようにしてもよい。つまり、レーザ光源２１は、ステレオカメラ２で撮像する位置とは異なる位置に置かれた物体に対し、レーザ光を照射する構成であってもよい。

レーザ光検出器２２は、物体で反射または物体を透過したレーザ光を受光して受光量に応じた電気信号を出力する。レーザ光検出器２２により物体で反射したレーザ光を検出する場合は、レーザ光源２１から物体に照射されたレーザ光の正反射光を受光する位置にレーザ光検出器２２が配置される。また、レーザ光検出器２２により物体を透過したレーザ光を検出する場合は、物体を挟んでレーザ光源２１と対向する位置にレーザ光検出器２２が配置される。レーザ光検出器２２が出力する電気信号、すなわち物体で反射したレーザ光の光量または物体を透過したレーザ光の光量を示す信号は、情報処理装置４に入力される。

本変形例では、情報処理装置４の物体情報取得部４１０が、レーザ光検出器２２により受光されたレーザ光の光量を、物体情報として取得する。すなわち、物体情報取得部４１０は、例えば、ピッキングシステム１による物体のピッキング動作が開始される前、あるいはピッキング対象の物体が切り替わった際に、レーザ光源２１に対し発光指令を出力するとともに、レーザ光検出器２２を動作させる。そして、レーザ光源２１から物体にレーザ光が照射されたときにレーザ光検出器２２から出力される信号を読み込んで、この信号によって示されるレーザ光の光量（レーザ光検出器２２による受光量）を、物体情報として取得する。

物体で反射するレーザ光の光量または物体を透過するレーザ光の光量は、物体の光透過率を反映したものとなっている。つまり、物体の光透過率が低いほど物体で反射するレーザ光の光量が大きくなり、物体を透過するレーザ光の光量は小さくなる。逆に、物体の光透過率が高いほど物体で反射するレーザ光の光量は小さくなり、物体を透過するレーザ光の光量は大きくなる。したがって、レーザ光検出器２２により受光されたレーザ光の光量を物体情報として取得することにより、上述した実施形態と同様に、物体の光透過率に応じて最適なパターンを選択することができる。

（第３変形例）
次に、本実施形態の第３変形例を説明する。本変形例は、物体の特性としてサイズ、形状、色のうち少なくともいずれかを反映した物体情報を取得する例である。このような物体情報としては、例えば上述した実施形態と同様に、パターン投光器３から物体情報取得用の光を物体に照射した状態でステレオカメラ２により撮像された物体の輝度画像を用いることができる。物体の輝度画像に対して公知の画像処理技術によりエッジ画像を生成することで、物体のサイズや形状を判定することができる。また、例えばＲＧＢの３チャンネルの輝度画像をもとに、物体の色を判定することができる。

本変形例では、ピッキング対象となり得るすべての物体に対し、最適なパターンのパラメータとなる粒度やコントラストの情報が、各物体のサイズ、形状、色などの特性と対応付けてパターン記憶部４３０に格納されているものとする。そして、パターン選択部４２０は、物体の輝度画像などの物体情報から判定される物体のサイズ、形状、色などに対応付けられた粒度やコントラストを持つパターンを、物体に照射するパターンとして選択する。その他の構成は上述した実施形態と同様であるため、以下では上述した実施形態との差分のみを説明する。

図１６は、第３変形例の構成を説明するブロック図である。図１６に示すように、本変形例では、上述した実施形態のピッキングシステムの構成（図７参照）に対し、情報処理装置４で実現される機能的な構成要素として、物体判定部４５０が追加されている。

物体判定部４５０は、物体情報取得部４１０がステレオカメラ２から物体情報として取得した物体の輝度画像をもとに、例えば上述の方法により、ピッキング対象となる物体のサイズ、形状、色の少なくともいずれかの特性を判定する。物体判定部４５０による判定の結果は、パターン選択部４２０に渡される。

本変形例では、情報処理装置４のパターン選択部４２０が、物体判定部４５０による判定の結果を用いて、パターン記憶部４３０が記憶する複数のパターンのうち、ピッキング対象の物体に最適なパターンを選択する。パターン記憶部４３０には、例えば図１７に示すように、ピッキング対象となり得る物体として事前に登録されたすべての物体について、物体を識別するための物体ＩＤ、その物体のサイズの情報、形状の情報、色の情報、その物体に最適なパターンの粒度およびコントラストの情報を対応付けたテーブルＴｂが格納されている。パターン選択部４２０は、パターン記憶部４３０に格納されたテーブルＴｂを参照して物体判定部４５０により判定された特性を持つ物体を特定し、その物体に対応する粒度やコントラストを持つパターンを、ピッキング対象の物体に最適なパターンとして選択する。

なお、ここでは物体情報としてステレオカメラ２により撮像された物体の輝度画像を例示したが、物体情報取得部４１０が取得する物体情報は、物体のサイズ、形状、色のうち少なくともいずれかを反映した情報であれよく、物体の輝度画像に限らない。オペレータがピッキング対象の物体の情報を入力できるユーザインターフェースを持つ構成の場合、このオペレータによって入力された情報を物体情報として取得するようにしてもよい。例えば、ピッキング対象となり得る物体として事前に登録された物体の一覧をディスプレイの画面に表示して、その一覧の中から任意の物体を指定するオペレータの操作を受け付け、図１７に例示したようなテーブルＴｂを参照して、オペレータにより指定された物体に対応する粒度やコントラストを持つパターンを、ピッキング対象の物体に最適なパターンとして選択するようにしてもよい。

（補足説明）
上述した実施形態および各変形例において説明した情報処理装置４の機能的な構成要素（物体情報取得部４１０、パターン選択部４２０、認識処理部４４０、物体判定部４５０など）は、例えば、図６のＣＰＵ１２がＲＡＭ１４をワークエリアとして利用して、ＲＯＭ１３やハードディスク装置に格納されたプログラムを実行することにより実現することができる。この場合、上記プログラムは、情報処理装置４にインストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録して提供される。また、上記プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由で情報処理装置４にダウンロードさせることにより提供するように構成してもよい。さらに、上記プログラムを、インターネットなどのネットワーク経由で提供または配布するように構成してもよい。また、上記プログラムを、例えば情報処理装置４内のＲＯＭ１３などに予め組み込んで提供するようにしてもよい。

また、上述した実施形態および各変形例において説明した情報処理装置４の機能的な構成要素は、その一部または全部を、例えばＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡなどの専用のハードウェアを用いて実現することもできる。また、上述した実施形態および各変形例において説明した情報処理装置４の機能的な構成要素は、その一部または全部を、例えばステレオカメラ２やパターン投光器３など、情報処理装置４とは別の装置に設けるようにしてもよい。

以上、本発明の具体的な実施形態について説明したが、上述した実施形態は本発明の一適用例を示したものである。本発明は、上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で様々な変形や変更を加えて具体化することができる。例えば、上述した実施形態では、ステレオカメラ２内の２つの撮像部１０ａ，１０ｂにより基準画像撮像部２１０および比較画像撮像部２２０を実現する構成を例示したが、視差画像生成部２３０を有するステレオカメラ２とは別体のカメラをステレオカメラ２に接続し、この別体のカメラにより基準画像撮像部２１０と比較画像撮像部２２０の少なくとも一方を実現する構成としてもよい。また、ステレオカメラ２の有する視差画像生成部２３０の機能は、情報処理装置４やパターン投光器３など、ステレオカメラ２とは別の装置に設けるようにしてもよい。すなわち、視差画像生成部２３０の機能を有する情報処理装置４に、基準画像撮像部２１０と比較画像撮像部２２０が接続される構成としてもよい。

１ ピッキングシステム
２ ステレオカメラ
３ パターン投光器
４ 情報処理装置
５ アーム制御装置
２０ 光検出器
２１ レーザ光源
２２ レーザ光検出器
２１０ 基準画像撮像部
２２０ 比較画像撮像部
２３０ 視差画像生成部
４１０ 物体情報取得部
４２０ パターン選択部
４３０ パターン記憶部
４４０ 認識処理部
４５０ 物体判定部

特開２００１−９１２３２号公報

Claims (13)

1. 物体の特性を反映した物体情報を取得する取得手段と、
   予め定められた複数のパターンのうち、前記取得手段により取得された前記物体情報に対応するパターンを選択する選択手段と、
   前記選択手段により選択されたパターンを前記物体に照射するパターン照射手段と、
   パターンが照射された前記物体を撮像する２以上の撮像手段と、
   前記２以上の撮像手段により撮像された２以上の撮像画像から視差画像を生成する生成手段と、を備える視差画像生成システム。
2. 前記取得手段は、前記物体の特性として光透過率を反映した前記物体情報を取得する、請求項１に記載の視差画像生成システム。
3. 前記選択手段は、光透過率を反映した前記物体情報の評価値が閾値よりも高いときは、前記閾値以下のときと比べて粒度が粗いパターンを選択する、請求項２に記載の視差画像生成システム。
4. 前記選択手段は、光透過率を反映した前記物体情報の評価値が閾値よりも高いときは、前記閾値以下のときと比べてコントラストが高いパターンを選択する、請求項２または３に記載の視差画像生成システム。
5. 前記パターン照射手段は、前記選択手段により選択されたパターンを前記物体に照射する前に、物体情報取得用の光を前記物体に照射し、
   前記取得手段は、前記撮像手段により撮像された、前記物体情報取得用の光が照射された前記物体の撮像画像を前記物体情報として取得する、請求項１乃至４のいずれか一項に記載の視差画像生成システム。
6. 前記パターン照射手段は、前記選択手段により選択されたパターンを前記物体に照射する前に、物体情報取得用の光を前記物体に照射し、
   前記物体情報取得用の光が照射された前記物体の反射光または透過光を受光する受光手段をさらに備え、
   前記取得手段は、前記受光手段により受光された前記物体の反射光または透過光の光量を前記物体情報として取得する、請求項１乃至４のいずれか一項に記載の視差画像生成システム。
7. 前記物体にレーザ光を照射するレーザ照射手段と、
   前記物体で反射または前記物体を透過した前記レーザ光を受光するレーザ受光手段と、をさらに備え、
   前記取得手段は、前記レーザ受光手段により受光された前記レーザ光の光量を、前記物体情報として取得する、請求項１乃至４のいずれか一項に記載の視差画像生成システム。
8. 前記取得手段は、前記物体の特性としてサイズ、形状、色のうち少なくともいずれかを反映した前記物体情報を取得する、請求項１に記載の視差画像生成システム。
9. 前記パターン照射手段は、前記選択手段により選択されたパターンを前記物体に照射する前に、物体情報取得用の光を前記物体に照射し、
   前記取得手段は、前記撮像手段により撮像された、前記物体情報取得用の光が照射された前記物体の撮像画像を、前記物体のサイズ、形状、色のうち少なくともいずれかを反映した前記物体情報として取得する、請求項８に記載の視差画像生成システム。
10. 請求項１乃至９のいずれか一項に記載の視差画像生成システムと、
    前記視差画像生成システムにより生成された視差画像に基づいて前記物体を認識する認識手段と、
    前記認識手段の出力に基づいて前記物体のピッキングを行うピッキング手段と、を備えるピッキングシステム。
11. 物体の特性を反映した物体情報を取得する工程と、
    予め定められた複数のパターンのうち、取得した前記物体情報に対応するパターンを選択する工程と、
    選択したパターンを前記物体に照射する工程と、
    パターンが照射された前記物体を２以上の撮像手段により撮像する工程と、
    前記２以上の撮像手段により撮像された２以上の撮像画像から視差画像を生成する工程と、を含む視差画像生成方法。
12. 物体にパターンを照射し、パターンが照射された前記物体を２以上の撮像手段により撮像して、２以上の撮像画像から視差画像を生成する視差画像生成システムが備える情報処理装置に、
    前記物体の特性を反映した物体情報を取得する機能と、
    予め定められた複数のパターンのうち、取得した前記物体情報に対応するパターンを、前記物体に照射するパターンとして選択する機能と、を実現させるためのプログラム。
13. 物体の特性を反映した物体情報を取得する取得手段と、
    予め定められた複数のパターンのうち、前記取得手段により取得された前記物体情報に対応するパターンを選択する選択手段と、
    前記選択手段により選択されたパターンが照射された前記物体を撮像する２以上の撮像手段と、
    前記２以上の撮像手段により撮像された２以上の撮像画像から視差画像を生成する生成手段と、を備える視差画像生成システム。