JP2017138176A - 三次元情報取得システム、三次元情報取得方法及びピッキングシステム - Google Patents

Abstract

【課題】三次元情報を精度良く取得する三次元情報取得システムの提供。【解決手段】光Ｌを対象物Ｐへ投射する照明部１０と、照明部１０からの光の反射光Ｌ’を検知する検知部２０と、対象物Ｐと照明部１０からの投射領域との位置関係を変更させる位置変化部４０と、位置変化部４０による位置関係の変更前において検知部２０により撮影される第１の画像Ｒ１と、位置変化部による位置関係の変更後において検知部２０により撮影される第２の画像Ｒ２と、を用いて三次元情報を算出する三次元情報取得システム。【選択図】図１

Description

本発明は、三次元情報取得システム、三次元情報取得方法及びピッキングシステムに関する。

近年、対象物を撮影した画像から三次元データを生成する三次元情報取得システムの開発が進められている。
かかる三次元情報取得システムにおいて、対象物の位置や形状、材質などの諸条件によっては、撮影時に反射による白飛びなどの情報欠落が生じてしまう問題がある。
このような問題の対策として、カメラの位置を変化させて情報欠落のない画像を撮影する方法が知られている（例えば特許文献１等参照）。

しかしながら、カメラの位置を変化させての撮影を含むため、精度確保が困難であるという問題があった。

本発明は、以上のような問題点に鑑みてなされたものであり、三次元情報を精度良く取得する三次元情報取得システムの提供を目的とする。

上述した課題を解決するため、本発明の三次元情報取得システムは、光を対象物へ投射する照明部と、前記照明部からの光の反射光を検知する検知部と、前記対象物と前記照明部からの投射領域との位置関係を変更させる位置変化部と、前記位置変化部による前記位置関係の変更前において前記検知部により撮影される第１の画像と、前記位置変化部による前記位置関係の変更後において前記検知部により撮影される第２の画像と、を用いて三次元情報を算出する三次元情報取得システム。

本発明の三次元情報取得システムによれば、三次元情報を精度良く取得する。

本発明の実施形態にかかるピッキングシステムの全体構成の一例を示す図である。 図１に示したピッキングシステムの一部の構成の一例を示す図である。 図１に示した照明部の構成の一例を示す断面図である。 図３に示した画像形成素子の表示するモザイクパターンの一例を示す図である。 図１に示した三次元情報取得システムの機能構成の一例を示すブロック図である。 三次元情報取得システムによって撮影される画像の一例を示した模式図である。 物体認識の動作の一例を示すフローチャートである。 第２の実施形態にかかるピッキングシステムの全体構成の一例を示す図である。 第２の実施形態において撮影される画像の一例を示した模式図である。

以下、本発明の実施形態の一例を図面を用いて説明する。
図１には、本発明の第１の実施形態にかかる三次元情報生成装置１００を有し、物体認識機能を備えたピッキングシステムたるピッキング装置３００が示されている。
図１では、鉛直方向をＺ方向として、Ｚ方向に垂直で紙面に垂直な方向をＹ方向、Ｚ方向とＹ方向とに垂直な方向をＸ方向とする。

ピッキング装置３００は、三次元情報取得システムを構成する三次元情報生成装置１００と、三次元情報生成装置１００の測定対象たるワークＰが載置される台３０１と、ワークＰを掴んで取り出す多関節ロボットたるロボット３０２と、を有している。
ピッキング装置３００はまた、三次元情報生成装置１００からの三次元データを基にワークPを認識するとともにロボット３０２を制御するためのコンピュータ３０３を有している。

台３０１は、後述するデータ生成領域Ｗの領域内にワークＰが配置されるように置かれた台である。なお、図１では、台３０１のみデータ生成領域Ｗの表示のために斜視図として表示している。

ロボット３０２は、コンピュータ３０３からの指示に基づいて、ワークＰを掴んで取り出すことができるように開閉可能に設けられた爪部３０２１と、爪部３０２１を自由に移動可能な態様で支持する多関節アーム３０２２と、を有している。
なお、ロボット３０２は、かかる構成に限定されるものではなく、ワークＰを取り出せる機構であれば良く、例えば電磁石やエアーによって吸着して取り出すロボットハンドであっても良い。また、ワークＰの開口部を検知して爪部３０２１を差し込んで把持する機構や、ワークＰの頂点を検知して吸着する機構であっても良い。

コンピュータ３０３は、三次元情報生成装置１００からの三次元データを基にロボット３０２とワークＰとの間の相対的な距離を認識する認識部３０３１と、ロボット３０２を動かすコントローラ３０３２と、を有している。
認識部３０３１は、三次元情報生成装置１００を用いて取得された三次元データなどを用いてロボット３０２がワークＰを把持する位置を算出する。例えばあらかじめ登録されている三次元データと取得された三次元データとを比較してマッチング処理をかけることでワークＰの位置、姿勢を認識する認識手段がある。なお、マッチング処理方法は三次元データのみで実施するCADマッチングやサーフェスマッチングであっても良いし、三次元データと併せて輝度情報などの二次元情報を用いてエッジ抽出処理などを複合的に実施する手法でも良い。

三次元情報生成装置１００は、図１に示すように、台３０１上の所定の範囲であるデータ生成領域Ｗに光Ｌを投射する照明部１０と、データ生成領域Ｗの範囲内にある光Ｌの反射光Ｌ’を検知する検知部たるセンサ部としてのカメラ２０と、を有している。
三次元情報生成装置１００は、カメラ２０によって検知された反射光Ｌ’の輝度が所定値以上となる高輝度領域Ｑを判別する、図２に示す判別部３０と、判別部３０の判断に基づいて高輝度領域Ｑの位置を変化させる位置変化部たるミラー駆動部４０と、を有している。

カメラ２０は、後述するように、撮影された複数の画像を用いて、ワークＰまでの距離等の情報を含む三次元情報の取得を行う。
なお、本実施形態では、カメラ２０が三次元情報を取得するとしたが、コンピュータ３０３を用いて行っても良いし、外部のコンピュータを用いても良い。

照明部１０は、図３に示すように、可視の単色レーザ光を発射する光源たるレーザダイオード１１と、レーザダイオード１１から射出された光Ｌを平行光束に偏向するカップリングレンズ１２と、集光レンズ１３と、を有している。
照明部１０は、集光レンズ１３の焦点近傍に配置された透過拡散板１４と、透過拡散板１４を透過した光Ｌを内部で反射することで輝度分布が均一になるように出射するライトトンネル１５と、を有している。
照明部１０は、光Ｌにモザイクパターンを付与するためにライトトンネル１５の出射側に配置された画像形成素子１６と、光Ｌを投射範囲Ｗへ向けて投射する投射光学系１７と、ミラー１８とを有している。
ミラー１８は、光Ｌの進行方向であり、X方向と平行なＡ方向において投射光学系１７よりも下流側に配置され、ミラー駆動部４０によってＡ方向に沿って移動可能となっている。

レーザダイオード１１は、波長が４４０ｎｍ〜５００ｎｍの青色レーザ光を射出する発光ダイオードである。なお、本実施形態では青色レーザ光としたが、かかる構成に限定されるものではなく、異なる波長のレーザ光を用いても良いし、レーザ光以外の光を用いても良い。ただし、データ生成領域Ｗにおける輝度の一様性を確保し、また投射光学系１７における収差を抑えることを考えると、単色光がより望ましい。

集光レンズ１３は、カップリングレンズ１２によって平行光束として偏向された光Ｌを集光する。

透過拡散板１４は、拡散角が半値全幅で５〜１０°程度に設定された拡散板であり、集光レンズ１３によって焦点に集光された光Ｌを、モアレや照度分布を生じない程度に拡散する。

ライトトンネル１５は、内部が中空の筒状の部材であり、内壁面には反射面１５ａが形成されて光Ｌを繰り返し反射させることで、光Ｌの輝度分布を均一にしつつ、光Ｌを出射側たる＋Ａ方向に移送する伝送手段である。
なお、ここではライトトンネル１５を中空の筒状であるとしたが、反射面１５ａによって反射を繰り返しながら透過可能であれば、ガラス柱などの透過性部材を芯とする中実の部材であっても良い。

一般に、ライトトンネル１５内における反射回数すなわち光Ｌが反射面１５ａによって反射される回数が多いほど光Ｌの輝度分布は均一化される一方で、光Ｌの強度は反射による減衰の影響で低下する。かかる反射回数は、ライトトンネル１５の長さと、光Ｌの入射角によって変化する。
したがって、ライトトンネル１５の長さは、伝送効率を保ちつつ輝度分布を均一化できる程度に必要最小限の長さにすることが望ましい。
また、ライトトンネル１５を透過した光Ｌは、画像形成素子１６に投射されて画像情報を付与されるので、画像形成素子１６以上の大きさを持つことが望ましい。すなわち、ライトトンネル１５の出射側開口及び入射側開口の大きさは、画像形成素子１６の大きさ以上であることが望ましい。さらに、ライトトンネル１５の出射側開口が大きい場合には、光Ｌのうち、画像形成素子１６に当たらない部分については無駄が生じてしまう。したがって、光Ｌの利用効率向上のためには、出射側開口は、組み付け精度を含めて画像形成素子１６に光Ｌが当たる必要十分な大きさであることが望ましい。

画像形成素子１６は、図４に示すようなモザイク状のマスクパターン（モザイクパターン）をアルミやクロムなどの反射部材によって描画することで、入射した光Ｌにモザイクパターンを付与する。
画像形成素子１６は、光Ｌの一部を透過、一部を遮光（あるいは減光）することによって、所望のモザイクパターンを形成する。
なお、本実施形態においては、反射によってモザイクパターンを形成する画像形成素子１６を用いたが、液晶素子などのように、任意のセルの透過率を制御することでモザイクパターンを形成する透過型の画像形成素子を用いても良い。

画像形成素子１６によってモザイクパタ−ンを付与された光Ｌは、投射光学系１７によって拡大投影される。

投射光学系１７の＋Ａ方向側には、ミラー１８が配置されており、ミラー１８は光Ｌを台３０１へ向けて反射する。

ミラー１８は、ミラー駆動部４０によって±Ａ方向へと駆動可能に支持された反射部である。ミラー１８は、±Ａ方向へ移動することで、投射光学系１７によって拡大投射された光Ｌの照明部１０における出射位置を変化させる出射位置調整手段である。
ミラー１８は、＋Ａ方向に移動距離ａだけ移動することで光Ｌの照明部１０からの出射位置を調整することにより、後述するようにデータ生成領域Ｗの範囲を変えることなく、データ生成領域Ｗの範囲内における高輝度領域Ｑの位置を変化させる。
言い換えるとミラー駆動部４０は、ミラー１８を移動させることによって照明部１０からの光の投射領域の位置を変化させる。ミラー駆動部４０は、このように、ワークＰと照明部１０からの光の投射領域との位置関係を変更する位置変化部としての機能を有している。

なお、当該高輝度領域Ｑはカメラ２０のサチュレーションによって三次元データの取得が難しい部位であるが、逆に低輝度のために三次元データの取得が難しい低輝度領域についても、ミラー１８を移動させることによって照明部１０からの光の投射領域の位置を変化させ、ワークＰと照明部１０からの光の投射領域との関係を変更しても良い。
かかる構成によれば、照明部１０の影になる部分であっても、三次元データの取得が行えるようになる効果がある。

カメラ２０は、ステレオカメラであり、図５にブロック図として示すように、第１カメラ２０ａと、第２カメラ２０ｂと、を有している。
カメラ２０は、第１カメラ２０ａと第２カメラ２０ｂとが撮影した画像を元に視差情報を計算する視差計算部２１と、光量や輝度などによる補正を行う補正パラメータ記録部２２と、低下したＭＴＦ特性を復元するための画像処理部２３と、を有している。

第１カメラ２０ａと第２カメラ２０ｂとは、何れも反射光Ｌ’を検知することでデータ生成領域Ｗの範囲内の画像を撮影する撮像手段である。
本実施形態では、カメラ２０はステレオカメラであり、以降の説明では特に区別する必要があるときには第１カメラ２０ａによって撮影される輝度画像をＲ_１ａと表記し、第２カメラ２０ｂによって撮影される輝度画像をＲ_１ｂとする。なお、第１カメラ２０ａと第２カメラ２０ｂとが左右に配置されたタイプのステレオカメラとして説明するが、２つのカメラの配置される方向は限定されるものではない。また、特に区別する必要のないときには画像Ｒ_１との表記を用いる。後述する位置変化後に撮影される画像Ｒ_２についても同様である。
なお、反射光Ｌ’は、ここではワークＰに当たることによって反射された反射光の他、台３０１上で反射された光なども含んで良い。
補正パラメータ記録部２２は、第１カメラ２０ａによって撮影される輝度画像たる画像Ｒ_１ａと、第２カメラ２０ｂによって撮影される輝度画像たる画像Ｒ_１ｂについて、各補正パラメータにしたがって画像補正を行う。
視差計算部２１は、第１カメラ２０ａと、第２カメラ２０ｂとがそれぞれ撮影した画像を元にして、具体的には、擬似的に基線方向と水平方向とが一致した２枚の画像を比較することで、画像の水平方向の視差から、視差画像すなわち三次元データを取得する。
また、カメラ２０は、画像処理部２３を用いてＭＴＦ特性を復元させ、解像度が向上した輝度画像を出力する。

なお、本実施形態においては、かかる視差計算部２１と、補正パラメータ記録部２２と、画像処理部２３と、は何れもカメラ２０が有するとしたが、コンピュータ３０３などの外部機器に組み込まれた機能であっても良い。

カメラ２０は、視差計算部２１によって計算された視差画像に基づいて、ワ―クＰまでの距離ｄを算出する。言い換えると、画像形成素子１６によって付与されたモザイクパターンの投影された画像データからの視差ワ―クＰまでの距離ｄを算出する。

ところで、このような三次元情報生成装置１００において、ワークＰとカメラ２０との間の距離ｄを精度良く測定しようとするときには、カメラ２０によって撮影される画像データには、モザイクパターンの情報の欠落が無いことが望ましい。
しかしながら、ワークＰとして金属等の光沢物をピックアップするときのように、ワークＰの反射率が高いような場合には、特に、一例として、光Ｌの入射角と反射光Ｌ’の出射角とが一致する点でしばしば画像の輝度が所定値以上となってしまうような高輝度領域Ｑが生じる。
言い換えると高輝度領域Ｑは、光Ｌの入射角と反射光Ｌ’の出射角とが一致する正反射が生じる箇所であるといえる。

かかる高輝度領域Ｑでは、しばしばカメラ２０の感度の上限値を超えて飽和してしまうために、高輝度領域Ｑ内の輝度情報が欠落してしまうことと同様の影響を与えてしまう。
具体的には、高輝度領域Ｑ内では、データ生成領域Ｗに投影したモザイクパターンがつぶれてしまい、輝度の強弱を認識できない状態になってしまう。
すなわち画像Ｒ_１ａまたは画像Ｒ_１ｂに高輝度領域Ｑが生じると、画像Ｒ_１ａと画像Ｒ_１ｂとを用いて視差計算部２１によって計算された視差画像も、かかる高輝度領域Ｑに示される範囲において、視差情報の精度が低下する。
そのため、高輝度領域Ｑの範囲内では、十分な視差情報が得られず、三次元データの精度が低下するという問題が生じるおそれがある。

従来の撮像装置などでは、このような所謂サチュレーションが生じてしまうような場合には、サチュレーションが生じないような位置にカメラの位置を変えることで、三次元データの精度の低下を防ぐ技術が知られている。
しかしながら、本実施形態における三次元情報生成装置１００のように、ランダムに配置されたワークＰを取り扱うような場合には、全くサチュレーションを生じないようなカメラ２０の位置を選択することがそもそも困難であった。
また、モザイクパターンを認識可能な程度に高精度なテクスチャ情報の取得が必要であるために、単に光量を落してサチュレーションを生じないようにするということも難しかった。

そこで、本実施形態においては、カメラ２０は、図６（ａ）〜（ｃ）に示すように、撮影された第１の画像たる画像Ｒ_１ａ、Ｒ_１ｂのデータ生成領域Ｗ内において、入射した光の輝度が所定値以上となる高輝度領域Ｑを検知したことを条件として、第２の画像たる画像Ｒ_２ａ、Ｒ_２ｂを撮影する。
画像Ｒ_１ａ、Ｒ_１ｂが撮影されたとき、ランダムに配置されたワークＰに対して、斜線で塗りつぶされた高輝度領域Ｑの範囲にある情報は、反射光Ｌ’によってカメラ２０が飽和してしまい、視差情報を得ることが難しい。
画像Ｒ_２ａ、Ｒ_２ｂは、図６（ｂ）に模式的に示すように、画像Ｒ_１ａ、Ｒ_１ｂを撮影したときのデータ生成領域Ｗとデータ生成領域Ｗ’が略同一であり、かつ高輝度領域Ｑ’の位置関係が異なる画像である。ここで略同一とは、画像Ｒ_１ａ、Ｒ_１ｂと画像Ｒ_２ａ、Ｒ_２ｂとを用いて構成される三次元データの範囲内においてデータ生成領域Ｗとデータ生成領域Ｗ’とが重複していることを示し、多少の形状や大きさの変化については許容してよい。

すなわち、第１の画像Ｒ_１（画像Ｒ_１ａ、Ｒ_１ｂ）はミラー駆動部４０による位置関係の変更前においてカメラ２０により撮影される画像である。同様に、ミラー駆動部４０による位置関係の変更後においてカメラ２０により撮影される画像が第２の画像Ｒ_２（画像Ｒ_２ａ、Ｒ_２ｂ）である。
認識部３０３１は、画像Ｒ_１（画像Ｒ_１ａ、Ｒ_１ｂ）を用いて作成した視差情報と、画像Ｒ_２（画像Ｒ_１ａ、Ｒ_１ｂ）を用いて作成した視差情報と、を重畳させることで欠落のない三次元データを作成する（図６（ｃ）に模式的に図示）。
このとき、図６（ｃ）に模式的に示すように、高輝度領域Ｑの範囲内の視差情報が互いに補完されるので、三次元情報が精度良く取得される。

このような画像Ｒ_１（画像Ｒ_１ａ、Ｒ_１ｂ）と画像Ｒ_２（画像Ｒ_２ａ、Ｒ_２ｂ）と、を用いてワークＰを正しく認識する物体認識方法について図７のフローチャートを用いて説明する。
まず、照明部１０は、光ＬをワークＰへ向けて照射する（ステップＳ１００）。このときの光Ｌが当たる領域が投射領域であり、例えばワークＰに正反射して所定値以上の輝度となる高輝度領域Ｑを含んでいる。かかるステップＳ１００は、照明部１０により光ＬをワークＰへ投射する第１のステップたる投射ステップである。
カメラ２０は、台３０１上のデータ生成領域Ｗ内の画像Ｒ_１（画像Ｒ_１ａ、Ｒ_１ｂ）を撮影する（ステップＳ１０１）。かかるステップＳ１０１は、反射光Ｌ’を用いて第１の画像Ｒ_１（画像Ｒ_１ａ、Ｒ_１ｂ）を撮影する第１撮影ステップたる第２のステップである。
判別部３０は、ステップＳ１０１において撮影された画像Ｒ_１ａと画像Ｒ_１ｂとを精査し、画像Ｒ_１ａまたは画像Ｒ_１ｂに高輝度領域Ｑが形成されているか否かを検知する（ステップＳ１０２）。例えば、画像Ｒ_１ａと画像Ｒ_１ｂとをいくつかの矩形のセルに分割し、それぞれのセル内の輝度情報を取得して所定の輝度よりも大きい領域がないかどうかを判別する。あるいは、画像Ｒ_１ａと画像Ｒ_１ｂとにおけるすべての画素について輝度が所定値よりも大きいか否かについて判別しても良い。
かかるステップＳ１０２は、言い換えると反射光Ｌ’の輝度が所定値以上の高輝度領域Ｑを判別するための判別ステップである。
なお、本実施形態では判別ステップは高輝度領域を判別するとしたが、輝度情報が所定値よりも低い低輝度領域を判別するものであっても良い。

ステップＳ１０２において、判別部３０が画像Ｒ_１ａまたは画像Ｒ_１ｂに高輝度領域Ｑを検知したときには、ミラー駆動部４０は、ミラー１８を＋Ａ方向に移動距離ａだけ移動させて、光Ｌの出射位置を変更させる（ステップＳ１０３）。
このとき、かかるミラー１８の移動距離ａは、図６において既に示したように、画像Ｒ_１ａ、Ｒ_１ｂの高輝度領域Ｑと画像Ｒ_２ａ、Ｒ_２ｂの高輝度領域Ｑ’とが互いに重複しない程度にずらされれば十分である。すなわち、照明部１０からワークＰまでの距離ｄに比べて、ミラー１８の移動距離ａは十分小さい。例えば、距離ｄが１ｍ程度のときに、移動距離ａは数十ｍｍ程度の移動量でよい。
なお、判断部３０が高輝度領域Ｑを検知したことを条件として、自動でミラー駆動部４０がミラー１８を移動させるとしても良い。
このようにミラー１８を移動させることで、光Ｌが正反射する箇所が変わるので、画像Ｒ_２（画像Ｒ_２ａ、Ｒ_２ｂ）のデータ生成領域Ｗを変えることなく、高輝度領域Ｑの位置が図６に破線で示すように高輝度領域Ｑ’の位置へと変化する。
言い換えると、ミラー駆動部４０は、ミラー１８を移動させてワークＰと照明部１０からの投射領域との位置関係を変更させる。

かかるステップＳ１０３は、カメラ２０、ワークＰ、光Ｌを投射する照明部１０の少なくとも何れか１つを動かすことで、高輝度領域Ｑの位置を変化させる第３のステップたる位置変化ステップである。なお本実施形態ではミラー１８を動かす場合についてのみ述べたが、台３０１を移動させることでワークＰを動かしても良いし、カメラ２０を動かすとしても良い。

ピッキング装置３００は、カメラ２０によってワークＰとの距離ｄを視差情報として含んだ三次元データを取得し、認識部３０３１でワークＰとロボット３０２との相対的な位置関係を認識し、コントローラー３０３２を用いてロボット３０２を制御する。したがって、ロボット３０２とカメラ２０との位置関係は変化しないことが望ましい。そこで本実施形態においては、ミラー１８を移動させることで、照明部１０からの光Ｌの出射位置を変化させて、ロボット３０２やカメラ２０との位置関係を変化させることなく、高輝度領域Ｑ’のみの位置が異なった画像Ｒ_２（画像Ｒ_２ａ、Ｒ_２ｂ）を撮影している。
かりに、カメラ２０や台３０１を移動させて第２の画像Ｒ_２（画像Ｒ_２ａ、Ｒ_２ｂ）を撮影する場合には、かかる移動量と、移動方向とをコンピュータ３０３などに記憶しておき、かかる移動量に基づいてロボット３０２の動作量を補正することが望ましい。

また、本実施形態では、高輝度領域が全く重複しない位置まで動かして第２の画像を撮影する場合について述べたが、ワークの位置情報を取得する上で必要ない部分であれば重複していても構わない。
ここで、高輝度領域Ｑに含まれる情報がワークＰの位置情報を取得する上で必要か不要かを判別するには、例えば、後述する三次元情報取得ステップにおいて、三次元情報の点群の数が所定の数値を超えるかどうかを判定すれば良い。

カメラ２０は、判別部３０が高輝度領域Ｑを検知したことを条件として、データ生成領域Ｗ’が画像Ｒ_１のデータ生成領域Ｗと同一で、高輝度領域Ｑ’の位置が画像Ｒ_１（画像Ｒ_１ａ、Ｒ_１ｂ）の高輝度領域Ｑとは異なる第２の画像Ｒ_２（画像Ｒ_２ａ、Ｒ_２ｂ）を撮影する（ステップＳ１０４）。
このときステップＳ１０４は、第１の画像Ｒ_１とデータ生成領域Ｗが同一で、高輝度領域Ｑの位置が異なる第２の画像Ｒ_２を撮影する第２撮影ステップである。

視差計算部２１は、第１の画像Ｒ_１（画像Ｒ_１ａ、Ｒ_１ｂ）におけるモザイクパターンのテクスチャ情報と、第２の画像Ｒ_２（画像Ｒ_２ａ、Ｒ_２ｂ）におけるモザイクパターンのテクスチャ情報と、を用いて三次元情報を取得する（ステップＳ１０５）。
かかるステップＳ１０５は、第１の画像Ｒ_１（画像Ｒ_１ａ、Ｒ_１ｂ）と第２の画像Ｒ_２（画像Ｒ_２ａ、Ｒ_２ｂ）とを用いて三次元情報を取得する第４のステップたる三次元情報取得ステップである。
カメラ２０はステレオカメラであるから、当然、第１の画像Ｒ_１（画像Ｒ_１ａ、Ｒ_１ｂ）と第２の画像Ｒ_２（画像Ｒ_２ａ、Ｒ_２ｂ）とは、それぞれが一対の第１カメラ２０ａと第２カメラ２０ｂとを用いて撮影された画像から生成されている
すなわち、視差計算部２１は、第１の画像Ｒ_１と第２の画像Ｒ_２とを含む合計すると４枚の画像から、ワークＰまでの距離情報を含んだ三次元情報を取得する。

ここではステレオカメラを用いた三次元情報取得方法についてのみ述べたが、カメラ２０は、単眼カメラを用い、単眼カメラと照明部を用いた他の三次元情報取得技術、例えば位相シフト法を利用しても良い。
また、第１の画像Ｒ_１と第２の画像Ｒ_２とを用いる場合について述べたが、ステップＳ１０３とステップＳ１０４とを繰り返し、さらに多くの高輝度領域Ｑが重複しない画像を用いて三次元情報を取得しても良い。かかる構成により、得られる三次元情報の精度が向上する。
また、視差計算部２１は、画像Ｒ_１（画像Ｒ_１ａ、Ｒ_１ｂ）と画像Ｒ_２（画像Ｒ_２ａ、Ｒ_２ｂ）とを用いて、重複させた左右の画像から視差を算出することで、三次元情報を取得するとしても良い。

また、第１カメラ２０ａと、第２カメラ２０ｂとで画像Ｒ_１ａと画像Ｒ_１ｂとを撮影し、ステップＳ１０２の判別を行った後に、本実施形態で説明した処理に代えて次のような処理を行っても良い。
すなわち、画像Ｒ_１ａまたは画像Ｒ_１ｂに高輝度領域Ｑがある場合にはミラー１８を移動させて、移動後に第１カメラ２０ａによって撮影された画像Ｒ_２ａと、移動後に第２カメラ２０ｂによって撮影された画像Ｒ_２ｂとをそれぞれ撮影する。
移動前に撮影された画像Ｒ_１ａと画像Ｒ_１ｂと、移動後に撮影された画像Ｒ_２ａと画像Ｒ_２ｂとを用いて、高輝度領域Ｑの部分が互いに補完されるように合成された左右それぞれの輝度画像を作成する。
当該輝度画像は、高輝度領域Ｑの部分の輝度情報の欠落が無い左右の画像であるから、かかる画像を用いて視差計算部２１は三次元情報を取得しうる。
このような処理によっても精度の良い三次元情報を得られる。

なお、判別ステップにおいて、高輝度領域Ｑが無いと判断された場合には、情報の欠落がないため、ステップＳ１０５へと移行する。

コンピュータ３０３は、ステップＳ１０５において形成された三次元画像の情報に基づいて、ワークＰを認識し、ロボット３０２を動作させてワークＰを取り出す（ステップＳ１０６）。
かかる工程は、認識部３０３１が三次元情報生成装置１００の情報に基づいてワークＰを認識するための認識ステップである。ピッキング装置３００は、かかる方法により、ワークＰを物体として認識する。

ピッキング装置３００は、ロボット３０２がワークＰを取り出すと、新しいワークＰについてステップＳ１０１〜ステップＳ１０６までの工程を、全てのワークＰを処理するまで繰り返し行う。

本実施形態では、ミラー駆動部４０は、照明部１０からの光Ｌの出射位置を変更することで高輝度領域Ｑの位置関係を変更する。
かかる構成により、情報欠落の生じた画像を用いたときにも三次元情報が正しく取得されるとともに、ロボット３０２とワークＰとの相対位置を変化させずに済むので、制御が単純化される。

本実施形態では、照明部１０は、光Ｌを拡大投射する投射光学系１７と、投射光学系１７の物体側に配置されてデータ生成領域Ｗに向けて光Ｌを反射するミラー１８と、を有している。
かかる構成により、ミラー１８の移動によって投射光学系１７を透過した光Ｌの収差や結像位置などの光学的な条件に与える影響を抑制し、ミラー１８が移動しても精度良くカメラ２０が画像を撮影する。
また、本実施形態では、ミラー駆動部４０は、ミラー１８の位置を＋Ａ方向に変化させてワークＰと高輝度領域Ｑとの位置関係を変更する。
かかる構成により、ミラー１８が光軸方向に沿って移動するから、ミラー１８の大きさを最小化しつつミラー１８の移動による光学的な条件に与える影響を抑制し、ミラー１８が移動しても精度良くカメラ２０が画像を撮影する。

本実施形態では、照明部１０により光ＬをワークＰへ投射する第１のステップＳ１００と、照明部１０からの光Ｌの反射光Ｌ’をカメラ２０により検知する第２のステップＳ１０１と、を有している。
また、ワークＰと照明部１０からの投射領域との位置関係をミラー駆動部４０により変更させる第３のステップＳ１０３と、ミラー駆動部４０による前記位置関係の変更前においてカメラ２０により撮影される第１の画像Ｒ_１と、ミラー駆動部４０による前記位置関係の変更後においてカメラ２０により撮影される第２の画像Ｒ_２と、を用いて三次元情報を取得する第４のステップＳ１０５と、を有している。
かかる構成により、三次元情報が精度良く取得される。
本実施形態では、反射光Ｌ’の輝度が所定値以上の高輝度領域Ｑを判別する判別ステップＳ１０２を有している。
また、判別ステップＳ１０２において、高輝度領域Ｑを検知したことを条件として、ステップＳ１０３においてミラー駆動部４０がワークＰと照明部１０からの投射領域との位置関係を変更させる。
かかる構成により、三次元情報の取得が難しい場合であっても、自動で投射領域との位置関係が変更されて三次元情報が精度良く取得される。

本発明の第２の実施形態として、図８に示すピッキング装置４００について説明する。なお、第１の実施形態と同様の構成については、同一の符号を付して説明を省略する。

ピッキング装置４００は、ワークＰが載置されてＸＹ方向について移動可能な支持台４０１と、支持台４０１を駆動するための支持台駆動部５０と、を有している。
支持台駆動部５０は、アクチュエータであり、第１の実施形態において述べたような判別部３０の判断に基づいて、支持台４０１をワークＰを載置した状態でＸＹ方向に移動させる。ここで支持台４０１が移動すると、当然、照明部１０から投射される光Ｌと、ワークＰとの位置関係が変化するから、カメラ２０が支持台４０１の位置を変化させる前後で撮影を行うと、高輝度領域Ｑの位置が変化する。こうすることにより、ワークＰと照明部１０からの光の投射領域との位置関係が異なる画像が撮影される。
すなわち、支持台駆動部５０は、本実施形態において位置変化部としての機能を有している。

図９（ａ）、（ｂ）に、支持台４０１をＸ方向に平行に所定距離ｘ’だけ移動させる場合について説明する。なお、図９（ａ）、（ｂ）において支持台４０１の移動前において撮影される画像Ｒ_１（画像Ｒ_１ａ、Ｒ_１ｂ）を、支持台４０１に投影する一点鎖線で模式的に示す。
同様に、図９（ｂ）に、支持台４０１の移動後に撮影された画像Ｒ_２（画像Ｒ_２ａ、Ｒ_２ｂ）を、支持台４０１に投影する二点鎖線で模式的に示す。
かかる移動前後においては、照明部１０からの光Ｌの入射角と、反射光Ｌ’の出射角とは、カメラ２０と照明部１０との位置関係が変化しないため、高輝度領域Ｑの絶対位置は変化しない。
したがって、図９（ｂ）から明らかなように、ワークＰの位置などを基準として、あるいは画像Ｒ_２（画像Ｒ_２ａ、Ｒ_２ｂ）における撮影範囲を、画像Ｒ_１（画像Ｒ_１ａ、Ｒ_１ｂ）に比べて支持台４０１の移動距離ｘ’分だけＸ方向に縮めるように設定することにより、重複部分が取得される。
かかる重複部分においては、高輝度領域Ｑの位置が異なるために、２つの画像を用いて互いの三次元情報の補完が可能である。

かかる重複部分にワークＰが含まれるように、かつ移動前における高輝度領域Ｑと移動後における高輝度領域Ｑ’の位置が重複しないように移動距離ｘ’を定めれば、より精度の高い三次元情報を取得することができる。
つまり位置変更の前後で撮影された画像Ｒ_１（画像Ｒ_１ａ、Ｒ_１ｂ）と画像Ｒ_２（画像Ｒ_２ａ、Ｒ_２ｂ）とを用いて情報欠落の無い三次元情報が取得される。
なお、画像を合成する場合の詳しいフローチャートについては、位置変化ステップが移動させる対象が異なるのみで、図７において既に説明しているため、省略する。

また、第１の実施形態におけるミラー駆動部４０と、第２の実施形態における支持台駆動部５０と、を併せて用いても良い。

以上述べたように、第１、第２の実施形態では、反射光Ｌ’を用いて第１の画像Ｒ_１を撮影するカメラ２０を有している。
第１、第２の実施形態にかかる三次元情報取得システムは、位置変化部による位置関係の変更前においてカメラ２０により撮影される第１の画像Ｒ_１と、位置変化部による位置関係の変更後においてカメラ２０により撮影される第２の画像Ｒ_２と、を用いて三次元情報を取得する。
かかる構成により、三次元情報が精度良く取得される。

第１、第２の実施形態では、データ生成領域Ｗに光Ｌを投射する照明部１０を有している。
かかる構成により、三次元情報が精度良く取得される。

以上本発明の好ましい実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、上述の説明で特に限定していない限り、特許請求の範囲に記載された本発明の趣旨の範囲内において、種々の変形・変更が可能である。

例えば、上記実施形態において、取得された輝度情報において飽和した箇所が多い場合や、ロボットによる掴み損ないが生じたとき、あるいはワークが認識できなかったときなど、投射領域を変更して再度設定の上で撮影しても良い。
また、位置変化部は、特定の１方向にのみ移動させる場合について説明したが、かかる移動方向は限定されるものではなく、また、２方向に独立して動かしても良い。
また、判別部を用いず、使用者が判断することでマニュアル操作によって位置変化部による位置変更を行っても良い。

本発明の実施の形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施の形態に記載されたものに限定されるものではない。

１０ 照明部
２０ 検知部（カメラ）
２１ 視差計算部
２３ 画像処理部
４０ 位置変化部（ミラー駆動部）
５０ 位置変化部（支持台駆動部）
１００ 三次元情報取得装置
３００ ピッキングシステム（物体認識システム）（ピッキング装置）
４００ ピッキングシステム（物体認識システム）（ピッキング装置）
４０１ 支持台
Ａ 光軸方向
Ｌ 光
Ｌ’ 反射光
Ｐ 測定対象（ワーク）
Ｑ、Ｑ’ 高輝度領域
Ｒ_１ａ、Ｒ_１ｂ 第１の画像
Ｒ_２ａ、Ｒ_２ｂ 第２の画像
Ｗ、Ｗ’ データ生成領域
Ｚ 鉛直方向
Ｓ１００ 第１のステップ（投射ステップ）
Ｓ１０１ 第２のステップ（第１撮影ステップ）
Ｓ１０２ 判別ステップ
Ｓ１０３ 第３のステップ（位置変化ステップ）
Ｓ１０４ 第２撮影ステップ
Ｓ１０５ 第４のステップ（三次元情報取得ステップ）
Ｓ１０６ 認識ステップ

特開２０１３−１３０４２６号公報

Claims (14)

1. 光を対象物へ投射する照明部と、
   前記照明部からの光の反射光を検知する検知部と、
   前記対象物と前記照明部からの投射領域との位置関係を変更させる位置変化部と、
   前記位置変化部による前記位置関係の変更前において前記検知部により撮影される第１の画像と、前記位置変化部による前記位置関係の変更後において前記検知部により撮影される第２の画像と、を用いて三次元情報を算出する三次元情報取得システム。
2. 請求項１に記載の三次元情報取得システムであって、
   前記照明部は光源と前記光源からの光を反射するミラーと、を有し、
   前記位置変化部により前記ミラーの位置を変えることを特徴とする三次元情報取得システム。
3. 請求項２に記載の三次元情報取得システムであって、
   前記光源の光を前記ミラーに導く投射光学系を備え、
   前記位置変化部は、前記ミラーを前記投射光学系の光軸に沿った方向へ移動させることを特徴とする三次元情報取得システム。
4. 請求項１乃至３の何れか１つに記載の三次元情報取得システムであって、
   前記対象物が載置される支持台を有し、
   前記位置変化部は、前記支持台を駆動させることを特徴とする三次元情報取得システム。
5. 請求項１乃至４の何れか１つに記載の三次元情報取得システムであって、
   前記検知部に入射する前記光の輝度を判別する判別部を備え、
   前記判別部により所定の輝度の範囲を超えたことを条件として、前記位置変化部により前記対象物と前記照明部からの投射領域との位置関係を変更させることを特徴とする三次元情報取得システム。
6. 請求項１乃至５の何れか１つに記載の三次元情報取得システムであって、
   前記位置変化部による前記位置関係の変更により、前記第１の画像と前記第２の画像との間で高輝度領域の位置を変えることを特徴とする三次元情報取得システム。
7. 照明部により光を対象物へ投射する第１のステップと、
   前記照明部からの光の反射光を検知部により検知する第２のステップと、
   前記対象物と前記照明部からの投射領域との位置関係を位置変化部により変更させる第３のステップと、
   前記位置変化部による前記位置関係の変更前において前記検知部により撮影される第１の画像と、前記位置変化部による前記位置関係の変更後において前記検知部により撮影される第２の画像と、を用いて三次元情報を算出する第４のステップと、
   を有する三次元情報取得方法。
8. 請求項７に記載の三次元情報取得方法であって、
   前記照明部は光源と前記光源からの光を反射するミラーを有し、
   前記第３のステップにおいて前記位置変化部は前記ミラーの位置を変えることを特徴とする三次元情報取得方法。
9. 請求項７または８に記載の三次元情報取得方法であって、
   前記第３のステップにおいて前記位置変化部は、前記対象物が載置される支持台を駆動させることを特徴とする三次元情報取得方法。
10. 請求項７乃至９の何れか１つに記載の三次元情報取得方法であって、
    前記検知部に入射する前記光の輝度を判別する判別ステップを有し、
    前記判別ステップにおいて、前記光の輝度が所定の輝度の範囲を超えた高輝度領域を検知したことを条件として、前記第３のステップにおいて前記位置変化部が前記対象物と前記照明部からの投射領域との位置関係を変更させることを特徴とする三次元情報取得方法。
11. 請求項１０に記載の三次元情報取得方法であって、
    前記第３のステップは、前記検知部、前記測定対象、前記照明部の少なくとも何れか１つを動かすことで、前記投射領域の位置を変化させることを特徴とする三次元情報取得方法。
12. 光を対象物へ投射する照明部と、
    前記照明部からの光の反射光を検知する検知部と、を有し、
    前記照明部は光源と前記光源からの光を反射するミラーとを有し、
    前記ミラーの位置を移動させる位置変化部と、
    前記位置変化部による前記位置関係の変更前において前記検知部により撮影される第１の画像と、前記位置変化部による前記位置関係の変更後において前記検知部により撮影される第２の画像と、を用いて三次元情報を取得する三次元情報取得システム。
13. 光を対象物へ投射する照明部と、
    前記照明部からの光の反射光を検知する検知部と、
    前記対象物が載置される支持台と、を有し、
    前記支持台の位置を移動させる位置変化部と、
    前記位置変化部による前記位置関係の変更前において前記検知部により撮影される第１の画像と、前記位置変化部による前記位置関係の変更後において前記検知部により撮影される第２の画像と、を用いて三次元情報を取得する三次元情報取得システム。
14. 請求項１乃至１３の何れか１つに記載の三次元情報取得システムと、対象物を移動させるロボットと、を備え、
    前記三次元情報取得システムによって得られた三次元情報に基づき前記ロボットを稼働させるピッキングシステム。

Images