JP2012220366A

JP2012220366A - 距離画像カメラおよびこれを用いた対象物の面形状認識方法

Info

Publication number: JP2012220366A
Application number: JP2011087325A
Authority: JP
Inventors: Takuji Kawakubo; 拓二川久保; Hiroaki Tanabe; 裕彰田邉
Original assignee: Optex Co Ltd
Current assignee: Optex Co Ltd
Priority date: 2011-04-11
Filing date: 2011-04-11
Publication date: 2012-11-12
Anticipated expiration: 2031-04-11
Also published as: JP5760220B2

Abstract

【課題】様々な形状の箱などが混載されている場合であっても、それらを正確に分離して認識可能な距離画像カメラおよびこれを用いた対象物の面形状認識方法を提供する。
【解決手段】対象物へ向けて光を照射する発光部１１と、反射光が戻ってくるまでの時間の測定値から算出される距離情報を画素毎に有する距離画像を取得する撮像部１２と、取得した前記距離画像の各画素の前記距離情報が前記距離画像カメラからの距離を複数に分割した距離区間のいずれに対応するかを判定し、前記距離区間毎に前記距離情報が対応する画素数をそれぞれ集計した集計結果が最大であった前記距離区間いずれかを選択するとともに、そうして選択された前記距離区間のみに前記距離情報が対応する画素の２次元配置位置に基づいて前記対象物が前記距離画像カメラに対向している面の形状を認識する画像処理を行う演算制御部１３とを備える。
【選択図】図３

Description

本発明は、距離画像カメラおよびこれを用いた対象物の面形状認識方法に関し、特に、様々な形状の箱などが混載されている場合にそれらを分離して認識可能な距離画像カメラおよびこれを用いた対象物の面形状認識方法に関する。

従来、距離画像に基づいて面を検出する技術の一例として、正確に床検出を行うことが可能な障害物検出システム及び移動ロボットが提案されている（例えば、特許文献１参照）。

この特許文献１に記載されているものは、障害物を検出する障害物検出システムであって、距離画像データを生成する距離画像センサと、前記距離画像データに基づいて障害物を検出するデータ処理部とを備え、前記データ処理部は、前記距離画像センサにより生成された距離画像データより得られる反射光強度と、前記距離画像センサによって生成された距離画像データによる距離に基づいて障害物を検出することを特徴とするものである。

特開２００９−１６８７５１号公報

しかしながら、様々な形状の複数の箱（例えば、上側が開口しているコンテナ）などが積み上げられたり並べられたりするなど混載されている場合には、それぞれの箱などの上面形状だけを通常の画像処理における輪郭抽出などで検出することは困難であるため、それぞれの箱を分離して認識することもやはり困難であった。

従来技術のこのような課題に鑑み、本発明の目的は、様々な形状の箱などが混載されている場合であっても、それらを正確に分離して認識可能な距離画像カメラおよびこれを用いた対象物の面形状認識方法を提供することである。

上記目的を達成するため、本発明の距離画像カメラは、対象物へ向けて光を照射する発光部と、この発光部から照射された光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を２次元配置された画素毎に有する距離画像を取得する撮像部と、前記撮像部によって取得した前記距離画像の各画素の前記距離情報が前記距離画像カメラからの距離を複数に分割した距離区間のいずれに対応するかを判定し、前記距離区間毎に前記距離情報が対応する画素数をそれぞれ集計した集計結果が最大であった前記距離区間のいずれかを選択するとともに、そうして選択された前記距離区間のみに前記距離情報が対応する画素の２次元配置位置に基づいて前記対象物が前記距離画像カメラに対向している面の形状を認識する画像処理を行う演算制御部とを備えることを特徴とする。

ここで、前記距離区間の区間幅は一定であってもよい。または、前記距離区間の区間幅を前記距離画像カメラからの距離に応じて変化させてもよい。

このような構成の距離画像カメラによれば、様々な形状の箱などが混載されている場合であっても、前記距離画像カメラに対向している面の形状だけを的確に認識できるので、それらを正確に分離して個別に認識することが可能となる。

また、本発明の距離画像カメラにおいて、前記演算制御部における前記距離区間のいずれかの選択を、前記距離画像カメラからの距離の複数の距離区間への分割のしかたを変えながら２段階以上で行うようにしてもよい。

このような構成の距離画像カメラによれば、距離区間の高精度な絞り込みを迅速に行うことができる。

あるいは、上記目的を達成するため、本発明の距離画像カメラを用いた対象物の面形状認識方法は、距離画像カメラを用いた対象物の面形状認識方法であって、前記対象物へ向けて照射した光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を２次元配置された画素毎に有する距離画像を取得する距離画像取得工程と、前記距離画像カメラからの距離を複数の距離区間に分割するとともに、前記距離画像取得工程で取得した前記距離画像の各画素の前記距離情報が前記距離区間のいずれに対応するかを判定し、前記距離区間毎に前記距離情報が対応する画素数をそれぞれ集計する画素数集計工程と、前記複数の距離区間のうちから、前記画素数集計工程で集計した画素数が最大であった前記距離区間を選択する距離区間選択工程と、この距離区間選択工程で選択された前記距離区間のみに前記距離情報が対応する画素の２次元配置位置に基づいて、前記対象物が前記距離画像カメラに対向している面の形状を認識する形状認識工程とを含むことを特徴とする。

このような構成の距離画像カメラを用いた対象物の面形状認識方法によれば、様々な形状の箱などが混載されている場合であっても、前記距離画像カメラに対向している面の形状だけを的確に認識できるので、それらを正確に分離して個別に認識することが可能となる。

また、本発明の距離画像カメラを用いた対象物の面形状認識方法において、前記画素数集計工程における前記距離区間のいずれかの選択を、前記距離画像カメラからの距離の複数の距離区間への分割のしかたを変えながら２段階以上で行うようにしてもよい。

このような構成の距離画像カメラを用いた対象物の面形状認識方法によれば、距離区間の高精度な絞り込みを迅速に行うことができる。

本発明の距離画像カメラおよびこれを用いた対象物の面形状認識方法によれば、様々な形状の箱などが混載されている場合であっても、前記距離画像カメラに対向している面の形状だけを的確に認識できるので、それらを正確に分離して個別に認識することが可能となる。

本発明の一実施形態に係る距離画像カメラ１０の概略構成を示すブロック図である。距離画像カメラ１０の撮像対象物の一例として、上側が開口しているやや横長の直方体状のコンテナ２０が２つ隣接して載置されている場合を示す説明図である。距離画像カメラ１０による演算処理の概略を示すフローチャートである。コンテナ２０などの撮像対象物に対する距離画像カメラ１０の配置例およびこの距離画像カメラ１０からの撮像方向に沿った距離Ｚを分割した距離区間Ｚ₀、Ｚ₁、・・・、Ｚ_i-1、Ｚ_i、・・・の例などを示す概略説明図である。距離区間毎の画素数の集計例を示すグラフである。図３のフローチャートのステップＳ８で得られる２値化画像の一例である。

以下、本発明の実施形態を、図面を参照して説明する。

＜距離画像カメラ１０の概略構成など＞
図１は、本発明の一実施形態に係る距離画像カメラ１０の概略構成を示すブロック図である。図２は、距離画像カメラ１０の撮像対象物の一例として、上側が開口しているやや横長の直方体状のコンテナ２０が２つ隣接して載置されている場合を示す説明図である。

図１に示すように、距離画像カメラ１０は、コンテナ２０などの撮像対象物へ向けて赤外光を照射する赤外発光ユニット１１と、この赤外発光ユニット１１から照射された赤外光が反射されて戻ってくるまでの時間の測定値に基づいて算出される距離データを格子状に２次元配置された画素毎に有する距離画像を取得することが可能なイメージセンサ１２と、赤外発光ユニット１１による赤外光の照射（照射強度、照射時間やタイミングなど）、イメージセンサ１２による距離画像の取得などの制御を行うとともに、イメージセンサ１２によって取得された距離画像を読み出して演算処理（詳細は後述）などを行う演算制御ユニット１３（例えば、ＣＰＵ）とを備えている。

赤外発光ユニット１１としては、例えば、赤外光を発する発光ダイオードや半導体レーザなどが挙げられるが、これらに限られない。

イメージセンサ１２としては、例えば、いわゆるＴＯＦ（ＴｉｍｅｏｆＦｌｉｇｈｔ）センサなどが挙げられるが、これに限られない。

図３は、距離画像カメラ１０による演算処理の概略を示すフローチャートである。図４は、コンテナ２０などの撮像対象物に対する距離画像カメラ１０の配置例およびこの距離画像カメラ１０からの撮像方向に沿った距離Ｚを分割した距離区間Ｚ₀、Ｚ₁、・・・、Ｚ_i-1、Ｚ_i、・・・の例などを示す概略説明図である。図５は、距離区間毎の画素数の集計例を示すグラフである。図６は、図３のフローチャートのステップＳ８で得られる２値化画像の一例である。

なお、図３に示す演算処理の前に予めイメージセンサ１２によって距離画像が取得されており、その距離画像の画素は格子状に２次元配置されていて、各画素がＸＹ平面上の位置データｘ、ｙおよび距離Ｚ方向の距離データｚを有するものとしておく（図４参照）。換言すると、各画素はＸ，Ｙ、Ｚの３次元座標系のデータを有している。

図３に示すように、まず、演算対象の距離区間Ｚ_iの近距離側境界を定める近距離側境界値Ｚｍｉｎに０を代入して初期化する（ステップＳ１）。つまり、最初の距離区間Ｚ₀の近距離側境界は距離画像カメラ１０に接しているということになる。

演算対象の距離区間Ｚ_iの遠距離側境界値Ｚｍａｘの値は、近距離側境界値Ｚｍｉｎと区間幅Ｒ（図４参照）の和として求める（ステップＳ２）。ここでは、区間幅Ｒを一定値としているがこれに限らない。例えば、距離画像カメラ１０からの距離Ｚに応じて区間幅Ｒも変化させてもよい。さらに、複数の距離区間への分割のしかたを変えながら、ステップＳ１〜ステップＳ７による距離区間の選択を２段階またはそれ以上の多段階で行うようにしてもよい。例えば、最初の段階では区間幅Ｒを大きめ（距離区間の分割数としては少なくなる）に設定しておいて複数の距離区間の中からいずれかを選択し、次にその距離区間内だけで距離Ｚをさらに細かく分割すれば（そのときの区間幅Ｒは小さくなる）、結果として距離区間の高精度な絞り込みを迅速に行うことができる。

そして、予め取得された距離画像の各画素の距離データｚを順に調べ、距離画像遠距離側境界値Ｚｍａｘおよび近距離側境界値Ｚｍｉｎで両側境界が定まる距離区間Ｚ_i内に該当する距離データｚを有する画素を抽出し、そうして抽出した画素数を集計する（ステップＳ３）。

ここで、抽出した画素数が所定の閾値α（図５を参照して後述）以上であるか否かを判定し（ステップＳ４）、閾値α以上であれば（Ｙｅｓ）次のステップＳ５へ進み、そうでなければ（Ｎｏ）ステップＳ６へ進む。このようにするのは、次のステップＳ５での条件分岐によるピーク検出が単純な大小比較のみで行われるため、該当する画素数自体は極めて少ないものの隣接する距離区間Ｚ_i-1との間で抽出した画素数に僅かな減少があるだけでそこが誤ってピークと判定されることを防止するためである。

ステップＳ４で抽出した画素数が閾値α以上だったときは、その画素数が直前の距離区間Ｚ_i-1（ステップＳ２〜ステップＳ６からなるループ処理で１回前に対象としていた距離区間であって、より近距離側に位置するもの）で抽出されていた画素数より増加しているか否かを判定し（ステップＳ５）、増加していれば（Ｙｅｓ）抽出画素数がまだピークを越えていないと考えられるので次のステップＳ６へ進み、そうでなければ（Ｎｏ）ステップＳ７へ進む。

ステップＳ４の判定でＮｏだったか、または、ステップＳ５の判定でＹｅｓだったときは、次のループで演算対象とする距離区間Ｚ_iを遠距離側に移動させるため、近距離側境界値Ｚｍｉｎの値に一定値Ｓを加える（ステップＳ６）。なお、この一定値ＳはステップＳ２で用いる区間幅Ｒと同一値としてもよい。

ステップＳ４の判定でＹｅｓであり、かつ、ステップＳ５の判定でＮｏだったときは、抽出画素数がちょうどピークを越えたばかりと考えられるので、抽出画素数がピークであった直前の距離区間Ｚ_i-1を選択する（ステップＳ７）。

以上のようなステップＳ１〜ステップＳ７によって選択される距離区間を「距離区間Ｚｓ」と呼ぶことにすると、この距離区間Ｚｓでは抽出画素数がピークであったのであり、つまり、通常は全距離区間の中で抽出画素数が最大値となっているはずである。例えば、距離区間毎の抽出画素数が図５に示すような場合であれば、距離区間Ｚ₁₄（距離区間番号：１４）で抽出画素数が最大となっている。次の距離区間Ｚ₁₅での抽出画素数はそれより少ないからステップＳ５における判定がＮｏとなって、ステップＳ７において直前の距離区間Ｚ₁₄が選択されることになる。ここで、図５における水平線αがステップＳ４で用いられる閾値αに対応している。

そして、選択された距離区間Ｚｓ内に該当する距離データｚを有する画素を抽出し、それらの画素が有するＸＹ平面上の位置データｘ、ｙに応じてそれぞれ平面上にプロットすることで、各画素の距離データｚが距離区間Ｚｓ内か否かを示す２値化画像を得ることができる（ステップＳ８）。例えば、抽出された画素の２次元配置位置（画像データの座標）に対応する画像データをすべて０（黒色）にするとともに、それ以外の画像データをすべて１（白色）としてもよい。ただし、２値化画像を得る手法はこれに限るわけではない。

こうして得られた２値化画像では、例えば、図６に示すように、コンテナ２０などにおける距離画像カメラ１０に対向している上面の形状Ｆ１がほぼ的確に抽出されているものの、それ以外の無関係な部分が誤抽出されて孤立点Ｆ２などとして含まれていることもあり得る。そこで、一般的な画像処理手法、例えば、ラベリング処理やメディアンフィルタなどによって孤立点などを除去する（ステップＳ９）。

フィルタ処理や孤立点などの除去が行われた後の２値化画像を改めて平面上にプロットすれば、これに基づいてコンテナ２０などの上面形状を的確に認識することができる（ステップＳ１０）。

なお、本発明は、その主旨または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述の実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は特許請求の範囲によって示すものであって、明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。

１０距離画像カメラ
１１赤外発光ユニット
１２イメージセンサ
１３演算制御ユニット
２０コンテナ

Claims

対象物へ向けて光を照射する発光部と、
この発光部から照射された光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を２次元配置された画素毎に有する距離画像を取得する撮像部と、
前記撮像部によって取得した前記距離画像の各画素の前記距離情報が前記距離画像カメラからの距離を複数に分割した距離区間のいずれに対応するかを判定し、前記距離区間毎に前記距離情報が対応する画素数をそれぞれ集計した集計結果が最大であった前記距離区間のいずれかを選択するとともに、そうして選択された前記距離区間のみに前記距離情報が対応する画素の２次元配置位置に基づいて前記対象物が前記距離画像カメラに対向している面の形状を認識する画像処理を行う演算制御部と
を備えることを特徴とする距離画像カメラ。
請求項１に記載の距離画像カメラにおいて、
前記距離区間の区間幅は一定であることを特徴とする距離画像カメラ。
請求項１に記載の距離画像カメラにおいて、
前記距離区間の区間幅を前記距離画像カメラからの距離に応じて変化させることを特徴とする距離画像カメラ。
請求項１〜３のいずれか１項に記載の距離画像カメラにおいて、
前記演算制御部における前記距離区間のいずれかの選択を、前記距離画像カメラからの距離の複数の距離区間への分割のしかたを変えながら２段階以上で行うことを特徴とする距離画像カメラ。
距離画像カメラを用いた対象物の面形状認識方法であって、
前記対象物へ向けて照射した光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を２次元配置された画素毎に有する距離画像を取得する距離画像取得工程と、
前記距離画像カメラからの距離を複数の距離区間に分割するとともに、前記距離画像取得工程で取得した前記距離画像の各画素の前記距離情報が前記距離区間のいずれに対応するかを判定し、前記距離区間毎に前記距離情報が対応する画素数をそれぞれ集計する画素数集計工程と、
前記複数の距離区間のうちから、前記画素数集計工程で集計した画素数が最大であった前記距離区間を選択する距離区間選択工程と、
この距離区間選択工程で選択された前記距離区間のみに前記距離情報が対応する画素の２次元配置位置に基づいて、前記対象物が前記距離画像カメラに対向している面の形状を認識する形状認識工程と
を含むことを特徴とする、距離画像カメラを用いた対象物の面形状認識方法。
請求項５に記載の距離画像カメラを用いた対象物の面形状認識方法において、
前記距離区間の区間幅は一定であることを特徴とする、距離画像カメラを用いた対象物の面形状認識方法。
請求項５に記載の距離画像カメラを用いた対象物の面形状認識方法において、
前記距離区間の区間幅を前記距離画像カメラからの距離に応じて変化させることを特徴とする、距離画像カメラを用いた対象物の面形状認識方法。
請求項５〜７のいずれか１項に記載の距離画像カメラを用いた対象物の面形状認識方法において、
前記画素数集計工程における前記距離区間のいずれかの選択を、前記距離画像カメラからの距離の複数の距離区間への分割のしかたを変えながら２段階以上で行うことを特徴とする、距離画像カメラを用いた対象物の面形状認識方法。