JP2012247226A

JP2012247226A - 距離画像カメラおよび距離画像合成方法

Info

Publication number: JP2012247226A
Application number: JP2011117284A
Authority: JP
Inventors: Hiroaki Tanabe; 裕彰田邉; Takuji Kawakubo; 拓二川久保
Original assignee: Optex Co Ltd
Current assignee: Optex Co Ltd
Priority date: 2011-05-25
Filing date: 2011-05-25
Publication date: 2012-12-13

Abstract

【課題】単一の撮像部の画角よりも広い画角を有するとともに距離精度の高い距離画像を得ることが可能な距離画像カメラおよび距離画像合成方法を提供する。
【解決手段】同一方向に向けて配置される複数のカメラユニット１０Ａ〜１０Ｄと、これらの制御および取得される複数の距離画像に対する演算処理を行う演算制御ユニット１５とを備える。各カメラユニット１０は、対象物へ向けて光を照射する発光部１１と、照射された光の反射光が戻ってくるまでの時間の測定値から算出される距離情報と前記反射光の強度を示す輝度情報とを画素毎に有する距離画像を取得する撮像部１２とを有する。演算制御ユニット１５は、第１距離区間探索部、最近接距離区間選択部、第２距離区間探索部、距離情報置換部、２次元位置補正部および距離画像合成部とを有しており、複数の距離画像を合成した際の距離データのばらつきなどを補正する。
【選択図】図３

Description

本発明は、距離画像カメラおよび距離画像合成方法に関し、特に、広い画角の距離画像を得ることが可能な距離画像カメラおよび距離画像合成方法に関する。

従来、画素毎に距離情報を有する距離画像を取得することが可能な装置が提案されている（例えば、特許文献１参照）。

この特許文献１に記載のレンジファインダ装置は、被写体に投射した光の反射光を受けて、前記被写体の３次元位置情報を測定するレンジファインダ装置であって、前記光を投射する光源部と、前記光源部からの投射光の前記被写体での反射光を、受けるカメラ部と、前記被写体の距離情報に基づいて、前記光源部の光出力および前記カメラ部の露出条件のうちの少なくともいずれか一方を、制御する制御部とを備えたことを特徴とするものである。

特開２０００−２４１１３１号公報

距離画像カメラの原理は、赤外光源などから照射された光の反射光が戻ってくるまでの時間の測定値から画素毎に距離を算出するというものである。通常のカメラで低輝度時の撮影に使用するフラッシュ光などとは異なり、距離画像カメラの赤外光源などから照射する光の均一性はそれほど厳しくは要求されないものの、距離測定の精度にも多少の影響を与えることから、撮像画角を広角化することはなかなか難しい。また、現時点で実用化されている距離画像カメラの画素数は、例えば、１６０×１２０ピクセル程度というようにかなり低い解像度に過ぎず、高解像度化が急速に進んでいる一般的なＣＭＯＳイメージセンサやＣＣＤなどの撮像素子と比較すると画素数が極めて少ない。

そのため、例えば、同一のパレット上などに隣接するように載置された複数の箱などをまとめて上方から撮像したい場合など、光源部からの光が十分に届く比較的短い距離からでは、距離画像カメラの画角が狭くてすべての箱が画角内に収まらないことがある。

かといって、遠い距離から撮像しようとすると、光源部からの光が十分に届かないだけでなく、距離画像カメラの解像度が低いことから、それぞれの箱の細部の形状を認識できなかったり複数の箱を分離して認識できないことにもなり得る。

そこで、例えば、複数台の距離画像カメラを同一方向に向けて配置するとともに、隣接する別々の範囲を撮像するとともにそれぞれの距離画像を１つに合成することが考えられる。ところが、各距離画像カメラにおける距離データ（Ｚ値）の違いなどによって合成された距離画像における箱上面部などの距離データにバラツキが生じてしまうことがある。

従来技術のこのような課題に鑑み、本発明の目的は、単一の撮像部の画角よりも広い画角を有するとともに距離精度の高い距離画像を得ることが可能な距離画像カメラおよび距離画像合成方法を提供することである。

上記目的を達成するため、本発明の距離画像カメラは、同一方向に向けて配置される複数のカメラユニットと、これらのカメラユニットの制御および取得される複数の距離画像に対する演算処理を行う演算制御ユニットとを備え、前記カメラユニットはそれぞれ、対象物へ向けて光を照射する発光部と、この発光部から照射された光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を２次元配置された画素毎に有するとともに、前記画素毎に前記反射光の強度を示す輝度情報も有する距離画像を取得する撮像部とを有し、前記演算制御ユニットは、前記複数のカメラユニットで取得した各距離画像について、前記撮像位置からの距離を複数の距離区間に分割するとともに、前記撮像位置に近い前記距離区間から順にその距離画像の各画素の前記距離情報が含まれる画素数を集計し、その集計画素数が第１所定数以上で且つ最初に極大となった前記距離区間を１つ選択する第１距離区間探索部と、この第１距離区間探索部で前記各距離画像についてそれぞれ選択された前記距離区間のうちからそれぞれの前記撮像位置に最も近接している前記距離区間を１つ選択する最近接距離区間選択部と、この最近接距離区間選択部で選択された前記距離区間の近距離側境界までの距離とそれに所定距離を加えた距離との間の距離範囲を複数の小距離区間に分割し、前記各距離画像について、前記撮像位置に近い前記小距離区間から順にその距離画像の各画素の前記距離情報が含まれる画素数を集計し、その集計画素数が第２所定数以上で且つ最初に極大となった前記小距離区間を１つ選択する第２距離区間探索部と、この第２距離区間探索部で前記各距離画像についてそれぞれ選択された前記小距離区間のうちから前記集計画素数が最大である前記小距離区間に前記距離情報が含まれる各画素の前記距離情報の平均である平均距離情報を求め、前記各距離画像についてそれぞれ選択された前記小距離区間に前記距離情報が含まれる各画素の前記距離情報を前記平均距離情報で置換する距離情報置換部と、この距離情報置換部で求められた前記平均距離情報と前記各距離画像の各画素の２次元画素位置とに基づいて各画素の２次元位置情報を補正する２次元位置補正部と、この２次元位置補正部で補正された各画素の前記２次元位置情報と前記距離情報とを共通の３次元座標系に変換することによって前記各距離画像を合成した合成距離画像を求める距離画像合成部とを有することを特徴とする。

このような構成の距離画像カメラによれば、単一の撮像部の画角よりも広い画角を有するとともに距離精度の高い距離画像を得ることが可能となる。

また、本発明の距離画像カメラにおいて、前記第１距離区間探索部および前記第２距離区間探索部における画素数の集計では、輝度情報が所定範囲外である画素を除外するようにしてもよい。

このような構成の距離画像カメラによれば、信頼性に乏しいと考えられる距離データは使用しないので、合成距離画像の距離精度をより高めることができる。

また、本発明の距離画像カメラにおいて、前記第２距離区間探索部では、前記集計画素数が前記第２所定数以上で且つ最初に極大となった前記小距離区間が見つからなかった場合は、当該距離画像の各画素の前記２次元位置情報および前記距離情報を初期化するようにしてもよい。

このような構成の距離画像カメラによれば、前記第２距離区間探索部における誤った前記小距離区間の選択を防止して、それ以降の前記距離情報置換部、前記２次元位置補正部および前記距離画像合成部などで誤った演算処理などが行われることを回避できる。

また、本発明の距離画像カメラにおいて、前記距離画像合成部では、予め記録された撮像対象物の形状情報に基づいて前記合成距離画像の補正を行うようにしてもよい。

このような構成の距離画像カメラによれば、前記合成距離画像中の撮像対象物の形状の誤差や歪みなどを補正してより的確な認識を行うことができる。

あるいは、上記目的を達成するため、本発明の距離画像合成方法は、照射した光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を２次元配置された画素毎に有するとともに、前記画素毎に前記反射光の強度を示す輝度情報も有する距離画像の取得を複数の撮像位置から同一方向を向いてそれぞれ行う距離画像取得工程と、この距離画像取得工程で取得した各距離画像について、前記撮像位置からの距離を複数の距離区間に分割するとともに、前記撮像位置に近い前記距離区間から順にその距離画像の各画素の前記距離情報が含まれる画素数を集計し、その集計画素数が第１所定数以上で且つ最初に極大となった前記距離区間を１つ選択する第１距離区間探索工程と、この第１距離区間探索工程で前記各距離画像についてそれぞれ選択された前記距離区間のうちからそれぞれの前記撮像位置に最も近接している前記距離区間を１つ選択する最近接距離区間選択工程と、この最近接距離区間選択工程で選択された前記距離区間の近距離側境界までの距離とそれに所定距離を加えた距離との間の距離範囲を複数の小距離区間に分割し、前記各距離画像について、前記撮像位置に近い前記小距離区間から順にその距離画像の各画素の前記距離情報が含まれる画素数を集計し、その集計画素数が第２所定数以上で且つ最初に極大となった前記小距離区間を１つ選択する第２距離区間探索工程と、この第２距離区間探索工程で前記各距離画像についてそれぞれ選択された前記小距離区間のうちから前記集計画素数が最大である前記小距離区間に前記距離情報が含まれる各画素の前記距離情報の平均である平均距離情報を求め、前記各距離画像についてそれぞれ選択された前記小距離区間に前記距離情報が含まれる各画素の前記距離情報を前記平均距離情報で置換する距離情報置換工程と、この距離情報置換工程で求められた前記平均距離情報と前記各距離画像の各画素の２次元画素位置とに基づいて各画素の２次元位置情報を補正する２次元位置補正工程と、この２次元位置補正工程で補正された各画素の前記２次元位置情報と前記距離情報とを共通の３次元座標系に変換することによって前記各距離画像を合成した合成距離画像を求める距離画像合成工程とを含むことを特徴とする。

このような構成の距離画像合成方法によれば、単一の撮像部の画角よりも広い画角を有するとともに距離精度の高い距離画像を得ることが可能となる。

また、本発明の距離画像合成方法において、前記第１距離区間探索工程および前記第２距離区間探索工程における画素数の集計では、輝度情報が所定範囲外である画素を除外するようにしてもよい。

このような構成の距離画像合成方法によれば、信頼性に乏しいと考えられる距離データは使用しないので、合成距離画像の距離精度をより高めることができる。

また、本発明の距離画像合成方法において、前記第２距離区間探索工程では、前記集計画素数が前記第２所定数以上で且つ最初に極大となった前記小距離区間が見つからなかった場合は、当該距離画像の各画素の前記２次元位置情報および前記距離情報を初期化するようにしてもよい。

このような構成の距離画像合成方法によれば、前記第２距離区間探索工程における誤った前記小距離区間の選択を防止して、それ以降の前記距離情報置換工程、前記２次元位置補正工程および前記距離画像合成工程などで誤った演算処理などが行われることを回避できる。

また、本発明の距離画像合成方法において、前記距離画像合成工程では、予め記録された撮像対象物の形状情報に基づいて前記合成距離画像の補正を行うようにしてもよい。

このような構成の距離画像合成方法によれば、前記合成距離画像中の撮像対象物の形状の誤差や歪みなどを補正してより的確な認識を行うことができる。

本発明の距離画像カメラおよび距離画像合成方法によれば、単一の撮像部の画角よりも広い画角を有するとともに距離精度の高い距離画像を得ることが可能となる。

本発明の一実施形態に係る距離画像カメラ１０の概略構成を示すブロック図である。距離画像カメラ１００が備える４台のカメラユニット１０Ａ〜１０Ｄに共通の概略構成を示すブロック図である。パレット２１上に隣接するように載置された高さの異なる箱２０Ａ、２０Ｂを距離画像カメラ１００のカメラユニット１０Ａ〜１０Ｄによって上方から撮像する場合の位置関係などを示す概略図である。カメラユニット１０Ａ〜１０Ｄによって取得された距離画像の例を示す概略図である。カメラユニット１０Ａ〜１０Ｄによって取得された距離画像の距離データの例を示すグラフである。カメラユニット１０Ｃからの撮像方向に沿った距離Ｚを複数に分割した距離区間の例などを示す概略説明図である。距離区間毎の画素数の集計例を示すグラフである。

以下、本発明の実施形態を、図面を参照して説明する。

＜距離画像カメラ１００の概略構成など＞
図１は、本発明の一実施形態に係る距離画像カメラ１００の概略構成を示すブロック図である。図２は、距離画像カメラ１００が備える４台のカメラユニット１０Ａ〜１０Ｄに共通の概略構成を示すブロック図である。

図１に示すように、距離画像カメラ１００は、同一方向に向けて配置される４台のカメラユニット１０Ａ〜１０Ｄ（以下で区別が不要な場合には単に「カメラユニット１０」と記す）と、これらの制御および演算処理（詳細は後述）などを行う演算制御ユニット１５とを備えている。ただし、カメラユニット１０の台数は４に限るわけではなく、２台以上であればよい。

また、図２に示すように、各カメラユニット１０はいずれも、撮像対象物へ向けて赤外光を照射する赤外発光部１１と、この赤外発光部１１から照射された赤外光が反射されて戻ってくるまでの時間の測定値に基づいて算出される距離データ（Ｚ値）を２次元格子状に配置された画素毎に有する距離画像を取得することが可能なイメージセンサ１２と、赤外発光部１１による赤外光の照射（照射強度、照射時間やタイミングなど）やイメージセンサ１２による距離画像の取得などの制御を行う制御部１３と、この制御部１３と外部とのインターフェイス１４とを備えている。なお、イメージセンサ１２によって取得された距離画像の各画素は、反射光の強度を示す輝度データ（ＡｃｔｉｖｅＢｒｉｇｈｔｎｅｓｓ、Ａ値）もそれぞれ有している。

赤外発光部１１としては、例えば、赤外光を発する発光ダイオードや半導体レーザなどが挙げられるが、これらに限られない。

イメージセンサ１２としては、例えば、いわゆるＴＯＦ（ＴｉｍｅｏｆＦｌｉｇｈｔ）センサなどが挙げられるが、これに限られない。

制御部１３および演算制御ユニット１５としては、例えば、ＣＰＵが挙げられるが、これに限られない。ここで、制御部１３は、赤外発光部１１による赤外光の照射を高速で制御したり、照射された赤外光が反射されて戻ってくるまでの時間を精密に測定したりする必要があり、一方、演算制御ユニット１５は後述するような複雑な演算処理を行う必要がある。このようなことを考慮して、適切な種類のＣＰＵなどを選択すればよい。

インターフェイス１４としては、例えば、ＵＳＢ、ＩＥＥＥ１３９４などが挙げられるが、これらに限られない。

なお、各カメラユニット１０の制御部１３やインターフェイス１４は必ずしも不可欠なものではない。例えば、演算制御ユニット１５側に各カメラユニット１０とのインターフェイスを備えるとともに、演算制御ユニット１５が各カメラユニット１０の赤外発光部１１やイメージセンサ１２を直接制御するような構成としてもよい。

＜距離画像カメラ１００による距離画像の取得および合成＞
図３は、パレット２１上に隣接するように載置された高さの異なる箱２０Ａ、２０Ｂを距離画像カメラ１００のカメラユニット１０Ａ〜１０Ｄによって上方から撮像する場合の位置関係などを示す概略図である。図４（ａ）〜図４（ｄ）は、カメラユニット１０Ａ〜１０Ｄによって取得された距離画像の例を示す概略図である。図５（ａ）〜図５（ｄ）は、カメラユニット１０Ａ〜１０Ｄによって取得された距離画像の距離データの例を示すグラフである。図６は、カメラユニット１０Ｃからの撮像方向に沿った距離Ｚを複数に分割した距離区間の例などを示す概略説明図である。図７は、距離区間毎の画素数の集計例を示すグラフである。

図３に示すように、カメラユニット１０Ａ〜１０Ｄは、箱２０Ａ、２０Ｂの上方の正方形の各頂点に相当する位置において、各撮像方向がいずれも同一となるように真下に向けて配置される。ただし、各カメラユニット１０の配置はこれに限らない。

ここで、箱２０Ａ、２０Ｂの各上面の高さにおいて、各カメラユニット１０によって取得される距離画像の周辺の少なくとも一部が、他のカメラユニット１０によって取得される距離画像とオーバーラップするように、各カメラユニット１０の配置間隔を定める必要がある。例えば、箱２０Ａの上面の高さにおいて、カメラユニット１０Ｃによって取得される距離画像に相当する範囲Ｒ１０Ｃの周辺部が、カメラユニット１０Ａによって取得される距離画像に相当する範囲Ｒ１０Ａやカメラユニット１０Ｄによって取得される距離画像に相当する範囲Ｒ１０Ｄそれぞれの周辺部と一定幅で相互にオーバーラップするように、カメラユニット１０Ａ〜１０Ｄ相互の配置間隔を定めればよい。

以下では、距離画像カメラ１００による距離画像の取得および合成の各ステップを詳細に説明する。

（１）カメラユニット１０Ａ〜１０Ｄによる箱２０Ａ、２０Ｂの撮像
まず、カメラユニット１０Ａ〜１０Ｄによって箱２０Ａ、２０Ｂを含む撮像空間の距離画像をそれぞれ取得する。カメラユニット１０Ａ〜１０Ｄによって取得された距離画像の例を図４（ａ）〜図４（ｄ）に示しておく。また、この時点では、図５（ａ）〜図５（ｄ）に示すように、本来は箱２０Ａまたは箱２０Ｂの同一正面を撮像しているにも関わらず、距離データがばらついている可能性がある。

なお、距離画像の各画素は２次元格子状に配置されており、各画素がＸＹ平面上の位置データｘ、ｙおよび撮像方向（Ｚ方向）の距離データ（Ｚ値）を有している（図６参照）。さらに、各画素は輝度データ（Ａ値）も有しているので、換言すると、各画素はＡ，Ｘ，Ｙ、Ｚの４次元座標のデータを有している。

（２）各距離画像内での箱２０Ａ、２０Ｂの上面の探索
各カメラユニット１０について、その撮像方向に沿った距離を予め所定区間幅Ｒ（図６参照）の複数の距離区間に分割しておき、箱２０Ａまたは箱２０Ｂの上面が含まれると推定される距離区間を探索する。なお、複数の距離区間への分割はこのような等間隔に限るわけではない。

具体的には、各カメラユニット１０の距離画像について、カメラユニット１０に近い方の距離区間から順に、距離画像の各画素の距離データがその距離区間に含まれている画素数を集計するとともにその直前の距離区間で集計した画素数と比較し、集計画素数が最初にピークとなった距離区間を選択して探索を終了する。例えば、カメラユニット１０Ｃの距離画像について距離区間毎の集計画素数がピークとなるのは、図６に示した例では、近距離側境界値がＺｃ１で遠距離側境界値がＺｃ２である距離区間であろうと考えられる。

なお、距離区間毎の集計画素数は、例えば、図７に示すように変化するが、箱２０Ａまたは箱２０Ｂの上面の探索では、集計画素数がその距離区間の距離に応じた所定値Ｐｔｈ以上であることを条件とし、その所定値Ｐｔｈ未満であればその距離区間を選択せずに、それ以降の距離区間で探索を続けるようにする。ここで、所定値Ｐｔｈは距離値によって決定され、その場合の距離値は、探索距離区間の遠距離側境界値に従うものとする。これは、距離区間毎の集計画素数のピーク検出を単純な大小比較のみで行っているため、該当する集計画素数自体は極めて少ないものの隣接する距離区間との間で集計画素数に僅かな減少があっただけでそこが誤ってピークと判定されることを防止するためである。なお、図７では、簡単化のために所定値Ｐｔｈを距離に依存しない一定値としているが、これに限られない。

また、距離区間毎の画素数の集計の際、輝度データが異常値であるような画素の距離データは信頼性に乏しいと考えられるため、集計対象から除外するようにしてもよい。

以上のように、集計画素数がピークとなる距離区間の探索をカメラユニット１０Ａ〜１０Ｄの各距離画像に対して行う。

ここで、カメラユニット１０Ａ〜１０Ｄについて、集計画素数がピークとして選択された距離区間（近距離側境界値および遠距離側境界値）、各画素が有するデータおよび集計画素数を次のような不等式および記号で表すこととしておく。

［カメラユニット１０Ａ］
距離区間：Ｚａ１≦Ｚａ＜Ｚａ２
画素データ：（Ａａ、Ｘａ、Ｙａ，Ｚａ）
画素数：Ｐａ
［カメラユニット１０Ｂ］
距離区間：Ｚｂ１≦Ｚｂ＜Ｚｂ２
画素データ：（Ａｂ、Ｘｂ、Ｙｂ，Ｚｂ）
画素数：Ｐｂ
［カメラユニット１０Ｃ］
距離区間：Ｚｃ１≦Ｚｃ＜Ｚｃ２
画素データ：（Ａｃ、Ｘｃ、Ｙｃ，Ｚｃ）
画素数：Ｐｃ
［カメラユニット１０Ｄ］
距離区間：Ｚｄ１≦Ｚｄ＜Ｚｄ２
画素データ：（Ａｄ、Ｘｄ、Ｙｄ，Ｚｄ）
画素数：Ｐｄ
（３）各距離画像内で探索された箱２０Ａ、２０Ｂの上面の相互比較
上記ステップ（２）で探索した各カメラユニット１０の距離画像内における箱２０Ａまたは箱２０Ｂの上面の高さ同士を、選択された距離区間の近距離側境界値によって相互比較し、最も上にある（各カメラユニット１０に最も近接している）ものを選び出す。

具体的には、カメラユニット１０Ａ〜１０Ｄのそれぞれの距離画像に基づいて選択された距離区間の近距離側境界値Ｚａ１、Ｚｂ１、Ｚｃ１、Ｚｄ１のうちから最小のもの（各カメラユニット１０に最も近接している距離区間の近距離側境界値）を選び、それをＺｍとする。

例えば、カメラユニット１０Ａに対応する近距離側境界値Ｚａ１が他の近距離側境界値Ｚｂ１、Ｚｃ１、Ｚｄ１のいずれよりも小さければ、
最小値Ｚｍ＝Ｚａ１
とする。あるいは、例えば、近距離側境界値Ｚａ１が近距離側境界値Ｚｂ１と等しく、且つ、他の近距離側境界値Ｚｃ１、Ｚｄ１のいずれよりも小さければ、
最小値Ｚｍ＝Ｚａ１＝Ｚｂ１
となる。

（４）最近設距離区間近傍での箱２０Ａ、２０Ｂの上面の再探索
上記ステップ（３）で求めた最小値Ｚｍを基準とし、箱２０Ａまたは箱２０Ｂの上面を含む距離区間の近距離境界値がこの最小値Ｚｍより大きかったカメラユニット１０については、再び箱２０Ａまたは箱２０Ｂの上面探索を行う。ただし、高さが微小に異なる箱と区別するために分離定数αを設定して、近距離側境界値がＺｍで遠距離側境界値がＺｍ＋αである距離範囲内のみで探索する。

この距離範囲を複数に分割した距離区間の幅は、上記ステップ（２）における距離区間の幅よりずっと狭くなるので、これらの距離区間を以下では「小距離区間」と呼ぶことにする。上記ステップ（２）と同様に、近距離側境界値Ｚｍに近い方の小距離区間から順に、距離画像の各画素の距離データが含まれている画素数を集計するとともにその直前の小距離区間で集計した画素数と比較し、集計画素数が最初にピークとなった小距離区間を選択して探索を終了する。

ただし、やはり集計画素数が一定数以上であることを条件とし、その一定数未満であればその小距離区間を選択せずに、それ以降の小距離区間で探索を続ける。遠距離側境界値がＺｍ＋αである小距離区間まで探索しても箱２０Ａまたは箱２０Ｂの上面が見つからなかった場合には、上記ステップ（３）で選択された最小値Ｚｍに対応する箱２０Ａまたは箱２０Ｂの上面と同一面は、この探索対象の距離画像を取得したカメラユニット１０では撮像されていないと判断できるので、画素データを初期化する。すなわち、
画素データ（Ｘ，Ｙ，Ｚ）＝０
とする。

このような再探索によって箱２０Ａ、２０Ｂの上面が見つかった場合、その距離区間（近距離側境界値および遠距離側境界値）、各画素が有するデータおよび集計画素数を次のような不等式および記号で表すこととしておく。

［カメラユニット１０Ａ］
距離区間：Ｚ’ａ１≦Ｚ’ａ＜Ｚ’ａ２
画素データ：（Ａ’ａ、Ｘ’ａ、Ｙ’ａ，Ｚ’ａ）
画素数：Ｐ’ａ
［カメラユニット１０Ｂ］
距離区間：Ｚ’ｂ１≦Ｚ’ｂ＜Ｚ’ｂ２
画素データ：（Ａ’ｂ、Ｘ’ｂ、Ｙ’ｂ，Ｚ’ｂ）
画素数：Ｐ’ｂ
［カメラユニット１０Ｃ］
距離区間：Ｚ’ｃ１≦Ｚ’ｃ＜Ｚ’ｃ２
画素データ：（Ａ’ｃ、Ｘ’ｃ、Ｙ’ｃ，Ｚ’ｃ）
画素数：Ｐ’ｃ
［カメラユニット１０Ｄ］
距離区間：Ｚ’ｄ１≦Ｚ’ｄ＜Ｚ’ｄ２
画素データ：（Ａ’ｄ、Ｘ’ｄ、Ｙ’ｄ，Ｚ’ｄ）
画素数：Ｐ’ｄ
なお、箱２０Ａ、２０Ｂの上面が見つからなかった距離画像を取得したカメラユニット１０については、上記ステップ（２）の通りである。

（５）箱２０Ａまたは箱２０Ｂの上面に対応する距離データの平均化処理
上記ステップ（４）で探索された箱２０Ａまたは箱２０Ｂの上面を含む小距離区間に距離データが含まれる画素数の集計、それらの画素の距離データおよび輝度データのそれぞれの平均を各カメラユニット１０について求める。

ここで、カメラユニット１０Ａ〜１０Ｄについて、箱２０Ａまたは箱２０Ｂの上面を含む距離区間、距離データ平均値、および輝度データ平均値をそれぞれ次のような不等式または記号で表すこととする。

［カメラユニット１０Ａ］
距離区間：Ｚａ１≦Ｚａ＜Ｚａ２またはＺ’ａ１≦Ｚ’ａ＜Ｚ’ａ２
距離データ平均値：Ｚａ_-mean
輝度データ平均値：Ａａ_-mean
［カメラユニット１０Ｂ］
距離区間：Ｚｂ１≦Ｚｂ＜Ｚｂ２またはＺ’ｂ１≦Ｚ’ｂ＜Ｚ’ｂ２
距離データ平均値：Ｚｂ_-mean
輝度データ平均値：Ａｂ_-mean
［カメラユニット１０Ｃ］
距離区間：Ｚｃ１≦Ｚｃ＜Ｚｃ２またはＺ’ｃ１≦Ｚ’ｃ＜Ｚ’ｃ２
距離データ平均値：Ｚｃ_-mean
輝度データ平均値：Ａｃ_-mean
［カメラユニット１０Ｄ］
距離区間：Ｚｄ１≦Ｚｄ＜Ｚｄ２またはＺ’ｄ１≦Ｚ’ｄ＜Ｚ’ｄ２
距離データ平均値：Ｚｄ_-mean
輝度データ平均値：Ａｄ_-mean
（６）各カメラユニット１０の集計画素数の相互比較
上記ステップ（５）で求められた各カメラユニット１０の集計画素数を相互比較し、それが最大であるカメラユニット１０の距離データ平均値を選んでＺ_meanとする。

ただし、そのカメラユニット１０の輝度データ平均値が所定範囲内になければそのカメラユニット１０は除外し、他のカメラユニット１０の中から次に集計画素数が大きいカメラユニット１０の距離データ平均値を選ぶようにする。

（７）距離データ平均値の割り当ておよび２次元位置データの補正
上記ステップ（６）で選んだ距離データ平均値Ｚ_meanを、上記ステップ（４）で探索された箱２０Ａまたは箱２０Ｂの上面を含む距離区間に距離データが含まれる画素の距離データとして割り当てる。つまり、これらの画素の距離データについては、すべて同一の距離データ平均値Ｚ_meanに置き換える。

また、画素位置（Ｘ方向およびＹ方向）と距離データ平均値Ｚ_meanに基づいて、各画素の２次元位置データ、すなわち、Ｘ値およびＹ値を補正する。

（８）各距離画像の座標変換および合成
各カメラユニット１０の設置時のキャリブレーションによって得られたカメラパラメータ（内部および外部）にしたがって、各距離画像の各画素のＸ値、Ｙ値、Ｚ値をカメラ座標系または世界座標系にそれぞれ座標変換することで各距離画像を合成する。

各カメラユニット１０から遠距離側では、複数のカメラユニット１０に撮像されている重複部分が存在している。この場合、各距離画像の合成時には、上記ステップ（７）で得られた距離データ平均値Ｚ_meanから一定距離の間にある画素の平均を取る。あるいは、一方のデータを除去するようにしてもよい。

必要な場合には、合成された距離画像のデータ上でテンプレートマッチングなどの手法を用いて箱２０Ａや箱２０Ｂの形状を補正するようにしてもよい。

なお、本発明は、その主旨または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述の実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は特許請求の範囲によって示すものであって、明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。

１００距離画像カメラ
１０（１０Ａ〜１０Ｄ）
カメラユニット
１１赤外発光部
１２イメージセンサ
１３制御部
１４インターフェイス
１５演算制御ユニット
２０Ａ箱
２０Ｂ箱
２１パレット

Claims

同一方向に向けて配置される複数のカメラユニットと、
これらのカメラユニットの制御および取得される複数の距離画像に対する演算処理を行う演算制御ユニットとを備え、
前記カメラユニットはそれぞれ、
対象物へ向けて光を照射する発光部と、
この発光部から照射された光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を２次元配置された画素毎に有するとともに、前記画素毎に前記反射光の強度を示す輝度情報も有する距離画像を取得する撮像部とを有し、
前記演算制御ユニットは、
前記複数のカメラユニットで取得した各距離画像について、前記撮像位置からの距離を複数の距離区間に分割するとともに、前記撮像位置に近い前記距離区間から順にその距離画像の各画素の前記距離情報が含まれる画素数を集計し、その集計画素数が第１所定数以上で且つ最初に極大となった前記距離区間を１つ選択する第１距離区間探索部と、
この第１距離区間探索部で前記各距離画像についてそれぞれ選択された前記距離区間のうちからそれぞれの前記撮像位置に最も近接している前記距離区間を１つ選択する最近接距離区間選択部と、
この最近接距離区間選択部で選択された前記距離区間の近距離側境界までの距離とそれに所定距離を加えた距離との間の距離範囲を複数の小距離区間に分割し、前記各距離画像について、前記撮像位置に近い前記小距離区間から順にその距離画像の各画素の前記距離情報が含まれる画素数を集計し、その集計画素数が第２所定数以上で且つ最初に極大となった前記小距離区間を１つ選択する第２距離区間探索部と、
この第２距離区間探索部で前記各距離画像についてそれぞれ選択された前記小距離区間のうちから前記集計画素数が最大である前記小距離区間に前記距離情報が含まれる各画素の前記距離情報の平均である平均距離情報を求め、前記各距離画像についてそれぞれ選択された前記小距離区間に前記距離情報が含まれる各画素の前記距離情報を前記平均距離情報で置換する距離情報置換部と、
この距離情報置換部で求められた前記平均距離情報と前記各距離画像の各画素の２次元画素位置とに基づいて各画素の２次元位置情報を補正する２次元位置補正部と、
この２次元位置補正部で補正された各画素の前記２次元位置情報と前記距離情報とを共通の３次元座標系に変換することによって前記各距離画像を合成した合成距離画像を求める距離画像合成部とを
有することを特徴とする距離画像カメラ。
請求項１に記載の距離画像カメラにおいて、
前記第１距離区間探索部および前記第２距離区間探索部における画素数の集計では、輝度情報が所定範囲外である画素を除外することを特徴とする距離画像カメラ。
請求項１または２に記載の距離画像カメラにおいて、
前記第２距離区間探索部では、前記集計画素数が前記第２所定数以上で且つ最初に極大となった前記小距離区間が見つからなかった場合は、当該距離画像の各画素の前記２次元位置情報および前記距離情報を初期化することを特徴とする距離画像カメラ。
請求項１〜３のいずれか１項に記載の距離画像カメラにおいて、
前記距離画像合成部では、予め記録された撮像対象物の形状情報に基づいて前記合成距離画像の補正を行うことを特徴とする距離画像カメラ。
照射した光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を２次元配置された画素毎に有するとともに、前記画素毎に前記反射光の強度を示す輝度情報も有する距離画像の取得を複数の撮像位置から同一方向を向いてそれぞれ行う距離画像取得工程と、
この距離画像取得工程で取得した各距離画像について、前記撮像位置からの距離を複数の距離区間に分割するとともに、前記撮像位置に近い前記距離区間から順にその距離画像の各画素の前記距離情報が含まれる画素数を集計し、その集計画素数が第１所定数以上で且つ最初に極大となった前記距離区間を１つ選択する第１距離区間探索工程と、
この第１距離区間探索工程で前記各距離画像についてそれぞれ選択された前記距離区間のうちからそれぞれの前記撮像位置に最も近接している前記距離区間を１つ選択する最近接距離区間選択工程と、
この最近接距離区間選択工程で選択された前記距離区間の近距離側境界までの距離とそれに所定距離を加えた距離との間の距離範囲を複数の小距離区間に分割し、前記各距離画像について、前記撮像位置に近い前記小距離区間から順にその距離画像の各画素の前記距離情報が含まれる画素数を集計し、その集計画素数が第２所定数以上で且つ最初に極大となった前記小距離区間を１つ選択する第２距離区間探索工程と、
この第２距離区間探索工程で前記各距離画像についてそれぞれ選択された前記小距離区間のうちから前記集計画素数が最大である前記小距離区間に前記距離情報が含まれる各画素の前記距離情報の平均である平均距離情報を求め、前記各距離画像についてそれぞれ選択された前記小距離区間に前記距離情報が含まれる各画素の前記距離情報を前記平均距離情報で置換する距離情報置換工程と、
この距離情報置換工程で求められた前記平均距離情報と前記各距離画像の各画素の２次元画素位置とに基づいて各画素の２次元位置情報を補正する２次元位置補正工程と、
この２次元位置補正工程で補正された各画素の前記２次元位置情報と前記距離情報とを共通の３次元座標系に変換することによって前記各距離画像を合成した合成距離画像を求める距離画像合成工程と
を含むことを特徴とする距離画像合成方法。
請求項５に記載の距離画像合成方法において、
前記第１距離区間探索工程および前記第２距離区間探索工程における画素数の集計では、輝度情報が所定範囲外である画素を除外することを特徴とする距離画像合成方法。
請求項５または６に記載の距離画像合成方法において、
前記第２距離区間探索工程では、前記集計画素数が前記第２所定数以上で且つ最初に極大となった前記小距離区間が見つからなかった場合は、当該距離画像の各画素の前記２次元位置情報および前記距離情報を初期化することを特徴とする距離画像合成方法。
請求項５〜７のいずれか１項に記載の距離画像合成方法において、
前記距離画像合成工程では、予め記録された撮像対象物の形状情報に基づいて前記合成距離画像の補正を行うことを特徴とする距離画像合成方法。