JP2014052307A - 情報取得装置および物体検出装置 - Google Patents
情報取得装置および物体検出装置 Download PDFInfo
- Publication number
- JP2014052307A JP2014052307A JP2012197511A JP2012197511A JP2014052307A JP 2014052307 A JP2014052307 A JP 2014052307A JP 2012197511 A JP2012197511 A JP 2012197511A JP 2012197511 A JP2012197511 A JP 2012197511A JP 2014052307 A JP2014052307 A JP 2014052307A
- Authority
- JP
- Japan
- Prior art keywords
- information acquisition
- dots
- area
- segment
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】参照領域の移動位置の探索時に生じるドット間の不所望なマッチングを抑制することにより距離情報を精度良く取得可能な情報取得装置および物体検出装置を提供する。
【解決手段】情報取得装置は、ドットパターンを持つレーザ光を基準面に照射したときにCMOSイメージセンサ240により撮像された基準画像と、実測時にCMOSイメージセンサ240により撮像された実測画像とに基づいて、距離情報を取得する。ここで、ドットパターンは、基準画像上において、投射光学系100と受光光学系200の並び方向における所定の範囲内に、ドットの分布位置が互いに完全に一致しない領域を少なくとも一組含めるための規則に従って構成されている。
【選択図】図4
【解決手段】情報取得装置は、ドットパターンを持つレーザ光を基準面に照射したときにCMOSイメージセンサ240により撮像された基準画像と、実測時にCMOSイメージセンサ240により撮像された実測画像とに基づいて、距離情報を取得する。ここで、ドットパターンは、基準画像上において、投射光学系100と受光光学系200の並び方向における所定の範囲内に、ドットの分布位置が互いに完全に一致しない領域を少なくとも一組含めるための規則に従って構成されている。
【選択図】図4
Description
本発明は、目標領域に光を投射したときの反射光の状態に基づいて目標領域内の物体を検出する物体検出装置および当該物体検出装置に用いて好適な情報取得装置に関する。
従来、光を用いた物体検出装置が種々の分野で開発されている。いわゆる距離画像センサを用いた物体検出装置では、2次元平面上の平面的な画像のみならず、検出対象物体の奥行き方向の形状や動きを検出することができる。かかる物体検出装置では、レーザ光源やLED(Light Emitting Diode)から、予め決められた波長帯域の光が目標領域に投射され、その反射光がCMOSイメージセンサ等の受光素子により受光される。
かかる距離画像センサとして、所定のドットパターンを持つレーザ光を目標領域に照射するタイプの距離画像センサが知られている(非特許文献1)。かかる距離画像センサでは、基準面にレーザ光を照射したときのドットパターンが撮像素子により撮像され、撮像されたドットパターンが基準ドットパターンとして保持される。そして、基準ドットパターンと、実測時に撮像された実測ドットパターンとが比較され、距離情報が取得される。具体的には、基準ドットパターン上に設定された参照領域の実測ドットパターン上における位置に基づいて、三角測量法により、当該参照領域に対する距離情報が取得される。
この場合、参照領域に含まれるドットが、実測ドットパターン上において探索され、参照領域に含まれるドットに最もマッチングするドットを含む領域が、参照領域の移動位置として取得される。かかる探索のため、参照領域に含まれるドットは、他の参照領域に含まれるドットから区別可能なユニークなパターンで配置される必要がある。このため、目標領域に照射されるレーザ光のドットパターンは、通常、不規則かつランダムなドットパターンとなっている。
第19回日本ロボット学会学術講演会(2001年9月18−20日)予稿集、P1279−1280
上記物体検出装置では、基準ドットパターン上に設定された参照領域の実測ドットパターン上における位置を探索する際に、参照領域の移動位置以外の位置において、参照領域内のドットが実測ドットパターン上のドットに、なるべく重なり合わないことが望ましい。参照領域の移動位置以外の位置でドットが重なり合うと、その位置におけるマッチング度合いが高まり、参照領域に対する探索精度が低下し、結果、距離情報の精度が低下する惧れがある。
本発明は、この点に鑑みてなされたものであり、参照領域の移動位置の探索時に生じるドット間の不所望なマッチングを抑制することにより距離情報を精度良く取得可能な情報取得装置および物体検出装置を提供することを目的とする。
本発明の第1の態様は、情報取得装置に関する。この態様に係る情報取得装置は、レーザ光源から出射されたレーザ光を所定のドットパターンで目標領域に投射する投射光学系
と、前記投射光学系に対して第1の方向に並ぶように配置され、前記目標領域をイメージセンサにより撮像する受光光学系と、基準面に前記レーザ光を照射したときに前記受光光学系により撮像された基準画像と、実測時に前記イメージセンサにより撮像された実測画像とに基づいて、前記目標領域に含まれる物体までの距離に関する距離情報を取得する距離取得部と、を備える。前記ドットパターンは、前記基準画像上において、前記第1の方向における所定の範囲内に、ドットの分布位置が互いに完全に一致しない領域を少なくとも一組含めるための規則に従って構成されている。
と、前記投射光学系に対して第1の方向に並ぶように配置され、前記目標領域をイメージセンサにより撮像する受光光学系と、基準面に前記レーザ光を照射したときに前記受光光学系により撮像された基準画像と、実測時に前記イメージセンサにより撮像された実測画像とに基づいて、前記目標領域に含まれる物体までの距離に関する距離情報を取得する距離取得部と、を備える。前記ドットパターンは、前記基準画像上において、前記第1の方向における所定の範囲内に、ドットの分布位置が互いに完全に一致しない領域を少なくとも一組含めるための規則に従って構成されている。
本発明の第2の態様は、物体検出装置に関する。この態様に係る物体検出装置は、上記第1の態様に係る情報取得装置と、前記距離情報に基づいて、所定の対象物体を検出する物体検出部と、を備える。
本発明によれば、参照領域の移動位置の探索時に生じるドット間の不所望なマッチングを抑制することにより距離情報を精度良く取得可能な情報取得装置および物体検出装置を提供することができる。
本発明の効果ないし意義は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下に示す実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態により何ら制限されるものではない。
以下、本発明の実施の形態につき図面を参照して説明する。
以下に示す実施の形態において、CMOSイメージセンサ240は、請求項に記載の「
イメージセンサ」に相当する。X軸方向とY軸方向は、それぞれ、請求項に記載の「第1の方向」と「第2の方向」に相当する。小グループセルB11、B12は、請求項に記載の「第1セル領域」と「第2セル領域」に相当し、小グループセルB21、B22は、請求項に記載の「第1セル領域」と「第2セル領域」に相当する。グループセルG1、G2、G31、G32、G4は、請求項に記載の「グループ領域」に相当する。グループセルG51、G52は、請求項8に記載の「領域」に相当する。DOE140は、請求項に記載の「回折光学素子」に相当する。ただし、上記請求項と本実施の形態との対応の記載はあくまで一例であって、請求項に係る発明を本実施の形態に限定するものではない。
イメージセンサ」に相当する。X軸方向とY軸方向は、それぞれ、請求項に記載の「第1の方向」と「第2の方向」に相当する。小グループセルB11、B12は、請求項に記載の「第1セル領域」と「第2セル領域」に相当し、小グループセルB21、B22は、請求項に記載の「第1セル領域」と「第2セル領域」に相当する。グループセルG1、G2、G31、G32、G4は、請求項に記載の「グループ領域」に相当する。グループセルG51、G52は、請求項8に記載の「領域」に相当する。DOE140は、請求項に記載の「回折光学素子」に相当する。ただし、上記請求項と本実施の形態との対応の記載はあくまで一例であって、請求項に係る発明を本実施の形態に限定するものではない。
まず、図1に本実施の形態に係る物体検出装置1の概略構成を示す。図1に示すように、物体検出装置1は、情報取得装置2と、情報処理装置3とを備えている。テレビ4は、情報処理装置3からの信号によって制御される。
情報取得装置2は、目標領域全体に赤外光を投射し、その反射光をCMOSイメージセンサにて受光することにより、目標領域に存在する物体各部までの距離(以下、「3次元距離情報」という)を取得する。取得された3次元距離情報は、ケーブル5を介して情報処理装置3に送られる。
情報処理装置3は、たとえば、テレビ制御用のコントローラやゲーム機、パーソナルコンピュータ等である。情報処理装置3は、情報取得装置2から受信した3次元距離情報に基づき、目標領域における物体を検出し、検出結果に基づきテレビ4を制御する。
たとえば、情報処理装置3は、受信した3次元距離情報に基づき人を検出するとともに、3次元距離情報の変化から、その人の動きを検出する。たとえば、情報処理装置3がテレビ制御用のコントローラである場合、情報処理装置3には、受信した3次元距離情報からその人のジェスチャを検出するとともに、ジェスチャに応じてテレビ4に制御信号を出力するアプリケーションプログラムがインストールされている。
また、たとえば、情報処理装置3がゲーム機である場合、情報処理装置3には、受信した3次元距離情報からその人の動きを検出するとともに、検出した動きに応じてテレビ画面上のキャラクタを動作させ、ゲームの対戦状況を変化させるアプリケーションプログラムがインストールされている。
図2は、情報取得装置2と情報処理装置3の構成を示す図である。
情報取得装置2は、光学部の構成として、投射光学系100と受光光学系200とを備えている。投射光学系100と受光光学系200は、X軸方向に並ぶように、情報取得装置2に配置される。
投射光学系100は、レーザ光源110と、コリメータレンズ120と、ミラー130と、回折光学素子(DOE:Diffractive Optical Element)140を備えている。また
、受光光学系200は、アパーチャ210と、撮像レンズ220と、フィルタ230と、CMOSイメージセンサ240とを備えている。この他、情報取得装置2は、回路部の構成として、CPU(Central Processing Unit)21と、レーザ駆動回路22と、撮像信
号処理回路23と、入出力回路24と、メモリ25を備えている。
、受光光学系200は、アパーチャ210と、撮像レンズ220と、フィルタ230と、CMOSイメージセンサ240とを備えている。この他、情報取得装置2は、回路部の構成として、CPU(Central Processing Unit)21と、レーザ駆動回路22と、撮像信
号処理回路23と、入出力回路24と、メモリ25を備えている。
レーザ光源110は、受光光学系200から離れる方向(X軸負方向)に波長830nm程度の狭波長帯域のレーザ光を出力する。コリメータレンズ120は、レーザ光源110から出射されたレーザ光を略平行光に変換する。
ミラー130は、コリメータレンズ120側から入射されたレーザ光をDOE140に向かう方向(Z軸方向)に反射する。
DOE140は、入射面に回折パターンを有する。この回折パターンによる回折作用により、DOE140に入射したレーザ光は、所定のドットパターンのレーザ光に変換されて、目標領域に照射される。
DOE140の回折パターンは、たとえば、ステップ型の回折格子が所定のパターンで形成された構造とされる。回折格子は、コリメータレンズ120により略平行光とされたレーザ光をドットパターンのレーザ光に変換するよう、パターンとピッチが調整されている。DOE140は、ミラー130から入射されたレーザ光を、放射状に広がるドットパターンのレーザ光として、目標領域に照射する。
目標領域から反射されたレーザ光は、アパーチャ210を介して撮像レンズ220に入射する。
アパーチャ210は、撮像レンズ220のFナンバーに合うように、外部からの光に絞りを掛ける。撮像レンズ220は、アパーチャ210を介して入射された光をCMOSイメージセンサ240上に集光する。フィルタ230は、レーザ光源110の出射波長(830nm程度)を含む赤外の波長帯域の光を透過し、可視光の波長帯域をカットするバンドパスフィルタである。
CMOSイメージセンサ240は、撮像レンズ220にて集光された光を受光して、画素毎に、受光量に応じた信号(電荷)を撮像信号処理回路23に出力する。ここで、CMOSイメージセンサ240は、各画素における受光から高レスポンスでその画素の信号(電荷)を撮像信号処理回路23に出力できるよう、信号の出力速度が高速化されている。
本実施の形態において、CMOSイメージセンサ240の撮像有効領域(センサとして信号を出力する領域)は、VGA(横640画素×縦480画素)のサイズである。CMOSイメージセンサ240の撮像有効領域は、XGA(横1024画素×縦768画素)のサイズや、SXGA(横1280画素×縦1024画素)のサイズ等、他のサイズであっても良い。
CPU21は、メモリ25に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、CPU21には、レーザ光源110を制御するためのレーザ制御部21aと、3次元距離情報を生成するための距離取得部21bの機能が付与される。
レーザ駆動回路22は、CPU21からの制御信号に応じてレーザ光源110を駆動する。
撮像信号処理回路23は、CMOSイメージセンサ240を制御して、所定の撮像間隔で、CMOSイメージセンサ240により生成された各画素の信号(電荷)をライン毎に順次取り込む。そして、取り込んだ信号を順次CPU21に出力する。CPU21は、撮像信号処理回路23から供給される信号(撮像信号)をもとに、情報取得装置2から検出対象物体の各部までの距離を、距離取得部21bによる処理によって算出する。入出力回路24は、情報処理装置3とのデータ通信を制御する。
情報処理装置3は、CPU31と、入出力回路32と、メモリ33を備えている。なお、情報処理装置3には、図2に示す構成の他、テレビ4との通信を行うための構成や、C
D−ROM等の外部メモリに格納された情報を読み取ってメモリ33にインストールするためのドライブ装置等が配されるが、便宜上、これら周辺回路の構成は図示省略されている。
D−ROM等の外部メモリに格納された情報を読み取ってメモリ33にインストールするためのドライブ装置等が配されるが、便宜上、これら周辺回路の構成は図示省略されている。
CPU31は、メモリ33に格納された制御プログラム(アプリケーションプログラム)に従って各部を制御する。かかる制御プログラムによって、CPU31には、画像中の物体を検出するための物体検出部31aと、物体の動きに応じて、テレビ4の機能を制御するための機能制御部31bの機能が付与される。かかる制御プログラムは、たとえば、図示しないドライブ装置によってCD−ROMから読み取られ、メモリ33にインストールされる。
物体検出部31aは、情報取得装置2から供給される3次元距離情報から画像中の物体の形状を抽出し、抽出した物体形状の動きを検出する。機能制御部31bは、物体検出部31aによる検出結果に基づき、上記のように、テレビ4の機能を制御する。
入出力回路32は、情報取得装置2とのデータ通信を制御する。
投射光学系100と受光光学系200は、投射光学系100の投射中心と受光光学系200の撮像中心がX軸に平行な直線上に並ぶように、X軸方向に所定の距離をもって並んで設置される。投射光学系100と受光光学系200の設置間隔は、情報取得装置2と目標領域の基準面との距離に応じて、設定される。
次に、情報取得装置2による3次元距離情報の取得方法について説明する。
図3(a)は、目標領域に対するレーザ光の照射状態を模式的に示す図、図3(b)は、CMOSイメージセンサ240におけるレーザ光の受光状態を模式的に示す図である。なお、図3(b)には、便宜上、目標領域に平坦な面(スクリーン)とスクリーンの前に人物が存在するときの受光状態が示されている。
図3(a)に示すように、投射光学系100からは、ドットパターンを持ったレーザ光(以下、このパターンを持つレーザ光の全体を「DP光」という)が、目標領域に照射される。図3(a)には、DP光の光束領域が実線の枠によって示されている。DP光の光束中には、DOE140による回折作用により生成されるドット領域(以下、単に「ドット」という)が、DOE140による回折作用によるドットパターンに従って点在している。ドットは、レーザ光源110からのレーザ光がDOE140によって分岐されることにより生成される。
目標領域に平坦な面(スクリーン)と人物が存在すると、DP光は、図3(b)のように、CMOSイメージセンサ240上に分布する。図3(a)に示す目標領域上におけるDt0の光は、CMOSイメージセンサ240上では、図3(b)に示すDt0’の位置に入射する。スクリーンの前の人物の像は、CMOSイメージセンサ240上では、上下左右が反転して撮像される。
ここで、図4、図5を参照して、上記距離検出の方法を説明する。
図4(a)〜(c)は、上記距離検出手法に用いられる参照パターンの設定方法を説明する図である。
図4(a)に示すように、投射光学系100から所定の距離Lsの位置に、Z軸方向に垂直な平坦な反射平面RSが配置される。出射されたDP光は、反射平面RSによって反
射され、受光光学系200のCMOSイメージセンサ240に入射する。これにより、CMOSイメージセンサ240から、撮像有効領域内の画素毎の電気信号が出力される。出力された画素毎の電気信号の値(画素値)は、図2のメモリ25上に展開される。
射され、受光光学系200のCMOSイメージセンサ240に入射する。これにより、CMOSイメージセンサ240から、撮像有効領域内の画素毎の電気信号が出力される。出力された画素毎の電気信号の値(画素値)は、図2のメモリ25上に展開される。
以下、反射平面RSからの反射によって得られた全画素値からなる画像を「基準画像」、反射平面RSを「基準面」と称する。そして、図4(b)に示すように、基準画像上に、「参照パターン領域」が設定される。なお、図4(b)には、CMOSイメージセンサ240の背面側から受光面をZ軸正方向に透視した状態が図示されている。図5(a)以降の図においても同様である。
こうして設定された参照パターン領域に対して、所定の大きさを有する複数のセグメント領域が設定される。セグメント領域の大きさは、得られる距離情報による物体の輪郭抽出精度、CPU21に対する距離検出の演算量の負荷および後述する距離検出手法によるエラー発生率を考慮して決定される。
本実施の形態では、セグメント領域の大きさは、横15画素×縦15画素に設定される。
図4(c)を参照して、参照パターン領域に設定されるセグメント領域について説明する。なお、図4(c)には、便宜上、各セグメント領域の大きさが横9画素×縦9画素で示され、各セグメント領域の中央の画素が×印で示されている。
セグメント領域は、図4(c)に示すように、隣り合うセグメント領域が参照パターン領域に対してX軸方向およびY軸方向に1画素間隔で並ぶように設定される。すなわち、あるセグメント領域は、このセグメント領域のX軸方向およびY軸方向に隣り合うセグメント領域に対して1画素ずれた位置に設定される。このとき、各セグメント領域には、固有のパターンでドットが点在する。よって、セグメント領域内の画素値のパターンは、セグメント領域毎に異なっている。
こうして、CMOSイメージセンサ240上における参照パターン領域の位置に関する情報と、参照パターン領域に含まれる全画素の画素値(参照パターン)と、参照パターン領域に対して設定されるセグメント領域の情報が、図2のメモリ25に記憶される。メモリ25に記憶されるこれらの情報を、以下、「参照テンプレート」と称する。
図2のCPU21は、投射光学系100から検出対象物体の各部までの距離を算出する際に、参照テンプレートを参照する。CPU21は、距離を算出する際に、参照テンプレートから得られる各セグメント領域内のドットパターンのずれ量に基づいて、物体の各部までの距離を算出する。
たとえば、図4(a)に示すように距離Lsよりも近い位置に物体がある場合、参照パターン上の所定のセグメント領域Snに対応するDP光(DPn)は、物体によって反射され、セグメント領域Snとは異なる領域Sn’に入射する。投射光学系100と受光光学系200はX軸方向に隣り合っているため、セグメント領域Snに対する領域Sn’の変位方向はX軸に平行となる。図4(a)の場合、物体が距離Lsよりも近い位置にあるため、領域Sn’は、セグメント領域Snに対してX軸正方向に変位する。物体が距離Lsよりも遠い位置にあれば、領域Sn’は、セグメント領域Snに対してX軸負方向に変位する。
セグメント領域Snに対する領域Sn’の変位方向と変位量(図4(a)に示す画素ずれ量D)をもとに、投射光学系100からDP光(DPn)が照射された物体の部分まで
の距離Lrが、距離Lsを用いて、三角測量法に基づき算出される。同様にして、他のセグメント領域に対応する物体の部分について、投射光学系100からの距離が算出される。かかる算出手法の詳細は、たとえば、上記非特許文献1(第19回日本ロボット学会学術講演会(2001年9月18−20日)予稿集、P1279−1280)に示されている。
の距離Lrが、距離Lsを用いて、三角測量法に基づき算出される。同様にして、他のセグメント領域に対応する物体の部分について、投射光学系100からの距離が算出される。かかる算出手法の詳細は、たとえば、上記非特許文献1(第19回日本ロボット学会学術講演会(2001年9月18−20日)予稿集、P1279−1280)に示されている。
かかる距離算出では、参照テンプレートのセグメント領域Snが、実測時においてどの位置に変位したかが検出される。この検出は、実測時にCMOSイメージセンサ240上に照射されたDP光から得られたドットパターンと、セグメント領域Snに含まれるドットパターンとを照合することによって行われる。以下、実測時にCMOSイメージセンサ240上の撮像有効領域に照射されたDP光から得られた全画素値からなる画像を、「実測画像」と称する。実測時のCMOSイメージセンサ240の撮像有効領域は、基準画像取得時と同様に、たとえば、VGA(横640画素×縦480画素)のサイズである。
図5(a)〜(c)は、かかる距離検出の手法を説明する図である。図5(a)は、CMOSイメージセンサ240上における基準画像に設定された参照パターン領域を示す図であり、図5(b)は、実測時のCMOSイメージセンサ240上の実測画像を示す図であり、図5(c)は、実測画像に含まれるDP光のドットパターンと、参照テンプレートのセグメント領域に含まれるドットパターンとの照合方法を説明する図である。なお、便宜上、図5(a)、(b)には、一部のセグメント領域のみが示されており、図5(c)には、各セグメント領域の大きさが、横9画素×縦9画素で示されている。
図5(a)のセグメント領域Siの実測時における変位位置を探索する場合、図5(b)に示すように、実測画像上において、セグメント領域Siと同じ位置にある領域Si0を中心にX軸方向に+α画素および−α画素の範囲が探索範囲L0に設定される。探索時には、セグメント領域Siが探索範囲L0において1画素ずつX軸方向に送られ、各送り位置において、セグメント領域Siのドットパターンと実測画像上のドットパターンとが比較される。以下、実測画像上の各送り位置に対応する領域を、「比較領域」と称する。探索範囲L0には、セグメント領域Siと同じサイズの比較領域が1画素おきに設定される。探索範囲L0は、取得しようとする距離の範囲に応じて設定される。取得しようとする距離の範囲が広い程、探索範囲L0は広くなる。
こうして設定されて探索範囲L0において、セグメント領域SiをX軸方向に1画素ずつ送りながら、各送り位置において、セグメント領域Siのドットパターンと、各送り位置の比較領域のドットパターンとのマッチング度合いが求められる。このようにセグメント領域Siを探索範囲L0内においてX軸方向にのみ送るのは、上記のように、通常、セグメント領域のドットパターンは、実測時において、X軸方向でのみ変位するためである。
上記マッチング度合いの検出時には、セグメント領域Siの各画素の画素値と、比較領域の対応する画素の画素値との差分が求められる。そして、求めた差分を比較領域の全ての画素について加算した値Rsadが、類似度を示す値として取得される。
たとえば、図5(c)のように、一つのセグメント領域中に、n列×m行の画素が含まれている場合、セグメント領域のi列、j行の画素の画素値T(i,j)と、比較領域のi列、j行の画素の画素値I(i,j)との差分が求められる。そして、セグメント領域の全ての画素について差分が求められ、その差分の総和により、図5(c)に示す式の値Rsadが求められる。値Rsadが小さい程、セグメント領域と比較領域との間の類似度が高い。
こうして、図5(d)に示すように、セグメント領域Siについて、探索範囲L0内の全ての比較領域に対して値Rsadが求められる。そして、求めた値Rsadが最小の比較領域が、セグメント領域Siの移動領域として検出される。なお、このとき、たとえば、値Rsadの最小値と2番目に小さい値との差分が所定の閾値を超えない場合、値Rsadが最小の比較領域がセグメント領域Siの移動領域である確からしさが低いとして、セグメント領域Siの探索がエラーとされる。なお、かかる確からしさの判定方法には、他の基準を用いても良い。
図5(b)の例では、セグメント領域Siに含まれるドットは、実測画像上において、比較領域Cjの位置に移動している。したがって、この場合、比較領域Cjに対する値Rsadが最小となり、比較領域Cjがセグメント領域Siの移動領域として検出される。そして、比較領域Cjと、セグメント領域Siと同じ位置にある領域Si0との間の、X軸方向における画素ずれ量が取得される。この画素ずれ量は、図4(a)に示す画素ずれ量Dに相当する。その後、この画素ずれ量Dをもとに、上記のように三角測量法に基づいて、セグメント領域Siに対する距離情報が取得される。
ところで、このように基準画像上に設定されたセグメント領域の実測画像上における位置を探索する際には、セグメント領域の移動位置以外の位置において、セグメント領域内のドットが実測画像上のドットに、なるべく重なり合わないことが望ましい。セグメント領域の移動位置以外の位置でドットが重なり合うと、その位置における値Rsadが小さくなり、セグメント領域に対する探索がエラーとなり易く、結果、距離情報の精度が低下する惧れがある。
たとえば、図5(b)の例において、探索範囲L0内の比較領域Ckに含まれるドットの一部が、セグメント領域Siに含まれるドットの一部と重なると、比較領域Ckに対する値Rsadが小さくなり、この値Rsadと、比較領域Cjに対する値Rsadとの差分が小さくなって、探索がエラーになる場合がある。このようなエラー処理は、避けなければならない。
そこで、本実施の形態では、探索範囲L0内において、セグメント領域内のドットが、当該セグメント領域の移動位置以外の比較領域に含まれるドットとなるべく重ならないように、投射光学系100から照射されるDP光のドットパターンが、所定の規則に従って構成されている。
図6(a)、(b)は、DP光のドットパターンを構成する際の基本的概念を説明する図である。図6(a)は、基準画像上の一部の領域を示す図であり、図6(b)は、実測画像上の一部の領域を示す図である。図6(a)、(b)に示された領域は、それぞれ、探索範囲L0に相当する幅を持っている。また、図6(a)、(b)に示された基準画像と実測画像は、撮像有効領域上において同じ位置にある。なお、図6(b)に示す領域のドットパターンは、図6(a)に示す領域のドットパターンに比べて、右方向(X軸正方向)にややずれている。したがって、図6(a)の基準画像上に設定されたセグメント領域S1のドットは、図6(b)に示す実測画像上において、比較領域C1の位置に移動している。
図6(a)を参照して、DP光のドットパターンは、基準画像上において、探索範囲L0に相当する範囲に互いにドットが全く重なり合わない領域を備えるよう構成される。図6(a)の例では、領域P1と領域P1’は同じサイズであり、これら領域P1、P1’に含まれるドットは、領域P1、P1’を互いに正確に重ねたときに、各領域に含まれるドットが全く重なり合わない。同様に、領域P2と領域P2’は同じサイズであり、これら領域P2、P2’に含まれるドットは、領域P2、P2’を互いに正確に重ねたときに
、各領域に含まれるドットが全く重なり合わない。
、各領域に含まれるドットが全く重なり合わない。
このようにDP光のドットパターンを構成すると、たとえば、図6(a)に示す領域P1を含むセグメント領域S1を図6(b)の実測画像上において探索する場合、探索範囲L0内に含まれる比較領域C1’において、ドットのマッチング度合いが低下し、値Rsadが顕著に大きくなる。比較領域C1’は、領域P1とドットが全く重なり合わない領域P1’を、セグメント領域S1における領域P1と同じ位置に含んでいる。このため、探索位置が比較領域C1’の位置にあるとき、セグメント領域S1と比較領域C1’との間のマッチング度合いが顕著に低下し、値Rsadがかなり大きくなる。
このように、基準画像上において、探索範囲L0に相当する範囲に互いにドットが全く重なり合わない領域を設けることにより、実測画像上の探索範囲L0中に、マッチング度合いが顕著に小さい比較領域を設けることができ、少なくとも、この比較領域において不所望に値Rsadが小さくなることが抑制され得る。これにより、セグメント領域に対する探索がエラーとなりにくくなり、結果、距離情報の精度が高められ得る。
なお、図6(a)は、互いにドットが重なり合わない領域の配置例を模式的に示すものであって、これら領域の基準画像上における配置方法は、図6(a)の例に限定されるものではない。互いにドットが重なり合わない領域は、探索範囲L0内に少なくとも1組以上配置されれば良い。
次に、上記概念に基づくDP光のドットパターンの具体的構成例について説明する。本実施の形態では、互いにドットが重なり合わない2つのドットパターンを持つ領域(以下、「小グループセル」という)を、基準画像上において、所定の規則で並べることにより、DP光のドットパターンが構成されている。
<小グループセルの構成>
図6(c)は、ドットパターンを構成する小グループセルB11、B12の構成を示す図である。この小グループセルB11、B12は、上記領域P1、P1’の一例である。
図6(c)は、ドットパターンを構成する小グループセルB11、B12の構成を示す図である。この小グループセルB11、B12は、上記領域P1、P1’の一例である。
本実施の形態において、小グループセルB11、B12は、基準画像上において、縦7画素×横7画素の領域で区画された領域となっている。便宜上、図6(c)では、ドットが画素の形状に合わせて正方形で示されている。図6(c)において、黒のハッチングが付された正方形がドットを示している。
図6(c)に示すように、小グループセルB11、B12に含まれるドットは、それぞれ、小グループセルB11、B12をX軸方向に2分割すると共にY軸方向に平行な中心軸に対して、X軸方向に非対称となるよう位置付けられている。また、図6(c)に示すように、小グループセルB11と小グループセルB12の中間にY軸に平行な対称軸Mを設定すると、小グループセルB11と小グループセルB12に含まれるドットは、対称軸Mに対して、対称となるよう位置付けられている。また、ここでは、小グループセルB11、B12は、小グループセルB11、B12に含まれるドットが、互いに2.5画素以上離れるように構成されている。また、後述のように小グループセルが基準画像上に配置された場合に、隣り合う小グループセル間でドットが隣り合わないよう、小グループセルB11、B12の外周縁には、ドットが配置されていない。
図6(d)は、小グループセルB11、B12の各行間の相関係数を示す図である。
行1〜7には、それぞれ、小グループセルB11、B12の7つの行(X軸方向のドット群)についての相関係数が示されている。たとえば、図6(d)の行2には、小グルー
プセルB11の2行目と小グループセルB12の2行目との相関係数が示されている。なお、ドットを含まない1、4、7行目では相関係数は求まらない。図6(d)に示すように、小グループセルB11、B12は、ドットを含む4つの行すべてにおいて負の相関性を有する。
プセルB11の2行目と小グループセルB12の2行目との相関係数が示されている。なお、ドットを含まない1、4、7行目では相関係数は求まらない。図6(d)に示すように、小グループセルB11、B12は、ドットを含む4つの行すべてにおいて負の相関性を有する。
なお、図6(c)には、縦7画素×横7画素の小グループセルB11、B12に、それぞれ、4個のドットが配置される場合の例が示されたが、小グループセルB11、B12に含まれるドットの数は、図6(c)の例に限られるものではない。また、小グループセルB11、B12におけるドットの配置位置も、図6(c)の例に限定されるものではない。
ただし、小グループセルB11、B12に含まれるドットの数が増加すると、ドット間の間隔が狭くなるため、実測画像上において、一つの画素に2つのドットが同時に掛かり易くなり、ドットの検出精度の低下が懸念される。よって、この問題を回避するためには、図6(c)の例のように、小グループセルB11、B12に含まれるドットの数を4つ程度とし、ドット間の間隔を2.5画素以上に設定するのが望ましい。
図7(a)、(b)は、小グループセルB11、B12におけるドットの配置規則を説明する図である。
小グループセルB11、B12は、図7(a)に示す単位セルA1を組み合わせることにより構成される。単位セルA1は、3行4列の大きさを有し、2行3列目にドットが位置付けられている。
小グループセルB11は、図7(b)に示すように、単位セルA1と、単位セルA1を時計方向に90度回転したものと、単位セルA1を時計方向に180度回転したものと、単位セルA1を時計方向に270度回転したものとを、それぞれ、小グループセルB11の左上、右上、右下、左下に配置することにより構成される。小グループセルB12は、上記のように、小グループセルB11に対し、対称軸Mについて対称となるよう構成される。このため、小グループセルB12には、単位セルA1と、単位セルA1を時計方向に90度回転したものと、単位セルA1を時計方向に180度回転したものと、単位セルA1を時計方向に270度回転したものが、それぞれ、左下、左上、右上、右下に配置される。
このように単位セルA1が配置されることにより、小グループセルB11、B12におけるドットの分布が、図6(c)の場合と同様になる。すなわち、小グループセルB11、B12に含まれるドットは、それぞれ、小グループセルB11、B12をX軸方向に2分割すると共にY軸方向に平行な中心軸に対して、X軸方向に非対称となるよう位置付けられる。また、小グループセルB11と小グループセルB12に含まれるドットは、Y軸に平行な対称軸Mに対して、対称となるよう位置付けられることとなる。
このように小グループセルB11、B12を構成すると、図7(b)の下段に示すように、小グループセルB11、B12を重ねても、小グループセルB11、B12に含まれるドットは、重なり合わない。よって、小グループセルB11、B12は、図6(a)に示す領域P1、P1’と同様の機能を発揮する。
また、このように構成された小グループセルB11、B12のドット分布は、以下に説明するように、ドットパターンとCMOSイメージセンサ240との間の相対的な回転ずれに強いとの効果が期待できる。なお、このような回転ずれは、CMOSイメージセンサ240が受光面に平行な方向に回転した場合の他、DOE140が光軸周りに回転した場
合にも起こり得る。
合にも起こり得る。
図7(c)は、基準画像上における小グループセルB11、B12の配置を示す図である。上記のように、小グループセルB11、B12は対称軸Mに対して対称であることから、小グループセルB11、B12内に含まれるドットは、図7(c)に示すように、X軸に対して互いに異なる方向にθ1だけ傾いている。具体的には、小グループセルB11に含まれるドットは、X軸に対して時計方向にθ1だけ傾いており、小グループセルB12に含まれるドットは、X軸に対して時計方向に−θ1だけ傾いている。
図7(d)は、図7(c)に示す状態から、実測時に、ドットパターンが時計方向にθ2だけ回転した場合の小グループセルB12に含まれるドットの状態を示す図である。この場合、小グループセルB12に含まれるドットは、X軸方向に対して(−θ1+θ2)だけ傾くこととなる。しかし、この傾きは、図7(c)に示す基準画像上の小グループセルB11の傾きと一致しないため、このようにドットパターンが回転した実測画像上において、小グループセルB11を含むセグメント領域に対する探索が行われたとしても、小グループセルB11に含まれるドットが、実測画像上の小グループセルB12に含まれるドットに重なることはない。
図7(e)は、図7(d)に示す状態から、ドットパターンが時計方向にさらに回転している場合の小グループセルB12に含まれるドットの状態を示す図である。この場合、小グループセルB12に含まれるドットの傾きが、図7(c)の基準画像上の小グループセルB11に含まれるドットの傾きと同じとなっているため、セグメント領域の探索の際に、基準画像上の小グループセルB11に含まれるドットが、実測画像上の小グループセルB12に含まれるドットに重なる惧れがある。言い換えれば、小グループセルB11、B12に含まれるドットの傾き角θ1が、実測時に起こり得るドットパターンの回転角度に比べて大きければ、基準画像上の小グループセルB11に含まれるドットと、実測画像上の小グループセルB12に含まれるドットが、探索時に、互いに重なり合うことが抑制される。
このように、本実施の形態では、図7(b)に示す小グループセルB11、B12内のドットが、所定の角度(図7(c)の角度θ1)だけ、互いに異なる方向に傾いているため、実測時にドットパターンが回転しても、小グループセルB11、B12のドットは、探索の際に、互いに重なり合いにくく、不要なマッチングが抑制され得る。よって、図7(b)のように構成された小グループセルB11、B12におけるドットの分布は、実測時に起こり得るドットパターンの回転ずれに対して強いと言える。
<グループセルの構成>
次に、上記小グループセルを組み合わせて構成されるグループセルについて説明する。
次に、上記小グループセルを組み合わせて構成されるグループセルについて説明する。
図8(a)は、上記小グループセルB11、B12により構成されるグループセルG1の構成を示す図である。グループセルG1は、左上と右下に小グループセルB11が配置され、左下と右上に小グループセルB12が配置されることにより構成される。グループセルG1内のドットは、図8(b)に示すように配置される。
このようにグループセルG1内のドットが設定されると、グループセルG1を左右方向に2分割する分割線によって、グループセルG1内のドットが左右対称に位置付けられ、グループセルG1を上下方向に2分割する分割線によって、グループセルG1内のドットが上下対称に位置付けられる。
<ドットパターンの構成>
DP光のドットパターンは、基準画像上において、グループセルG1が以下のように配置されるよう構成される。
DP光のドットパターンは、基準画像上において、グループセルG1が以下のように配置されるよう構成される。
すなわち、DP光のドットパターンは、基準画像上において、複数のグループセルG1が、X軸方向とY軸方向に互いに隣接して配置されるよう構成される。このとき、X軸方向に隣り合うグループセルG1は、図8(c)に示すように、Y軸方向に2画素だけ互いにずれている。すなわち、各グループセルG1は、それぞれ、左側のグループセルG1よりも2画素幅だけ上にずれている。また、グループセルG1がY軸方向に直線状に繰り返し並ぶよう、グループセルG1がY軸方向に配置される。
こうして、図8(d)に示すように、全体のドットパターンが設定される。なお、図8(d)では、全体のドットパターンの一部が示されており、グループセルG1に相当する領域が、太線で示されている。
なお、CMOSイメージセンサ240に対するDP光の照射領域は、基準画像が撮像される撮像有効領域よりも広くなっている(図4(b)参照)。本実施の形態では、撮像有効領域がVGA(横640画素×縦480画素)のサイズであるため、CMOSイメージセンサ240の受光面に照射されるDP光のサイズは、VGAのサイズよりも広く設定される。たとえば、CMOSイメージセンサ240の受光面に照射されるDP光のサイズは、横700画素×縦560画素のサイズとされる。この場合、CMOSイメージセンサ240の受光面上において、グループセルG1は、X軸方向に50個(700/14=50)並び、Y軸方向に40個(560/14=40)並ぶ。ただし、図8(d)に示すように、隣り合うグループセルG1は、Y軸方向に2画素ずれているため、列によっては最上段と最下段のグループセルG1は、Y軸方向の途中までの部分が含まれることとなる。
投射光学系100は、図4(a)の反射平面RS(基準面)にDP光を照射したときに、CMOSイメージセンサ240の受光面上に、以上のような規則に従ってDP光が照射されるよう、構成される。具体的には、このようなドットパターンにてDP光が目標領域に照射されるよう、DOE140の回折パターンが設定される。
<ドットパターンによる作用>
以下、上記のように構成されたドットパターンによる作用について説明する。
以下、上記のように構成されたドットパターンによる作用について説明する。
図9〜図11は、ドットパターンとセグメント領域との関係を示す図である。
まず、図9(a)を参照して、図9(a)の太線で囲まれた領域は、縦15画素×横15画素のセグメント領域Sa、Sbを示している。セグメント領域Sbは、セグメント領域Saから7画素だけ右方向にずれている。また、セグメント領域Saには、縦14画素×横14画素のグループセルG1が含まれている。
図9(b)、(c)は、それぞれ、セグメント領域Sa、Sbの左側7画素部分のドットパターンを示す図である。図9(b)に示すように、セグメント領域Saの左側7画素部分には、小グループセルB11、B12が配置されている。また、図9(c)に示すように、セグメント領域Sbの左側7画素部分には、小グループセルB12、B11が配置されている。
図9(e)に示すように、小グループセルB11、B12のドットは、互いに、対称軸Mについて対称に配置されているため、図9(d)のように、セグメント領域Sa、Sbを互いに重ねても、左側7画素部分のドットは互いに重ならない。したがって、実測画像上においてセグメント領域Saの移動位置を探索する場合、セグメント領域Saの左側7
画素部分のドットは、セグメント領域Sbに対応する比較領域の左側7画素部分のドットと重ならない。
画素部分のドットは、セグメント領域Sbに対応する比較領域の左側7画素部分のドットと重ならない。
これにより、セグメント領域Saとセグメント領域Sbに対応する比較領域との間の値Rsadが大きくなり、この比較領域が、誤って、セグメント領域Saに対応する領域として検出される可能性が低減される。また、このようにセグメント領域Saとこの比較領域との間の値Rsadが大きくなるため、この値Rsadと、セグメント領域Saの探索位置において取得される値Rsad(最小値)との差がクリアとなる。これにより、この比較領域に対する値Rsadの影響によりセグメント領域Saに対する探索がエラーとなることが抑制される。
次に、図10(a)を参照して、図10(a)には、図9(a)のセグメント領域Sbに代えてセグメント領域Scが示されている。セグメント領域Scは、セグメント領域Saから4画素だけ右方向にずれている。
図10(b)、(c)は、それぞれ、セグメント領域Sa、Scの左側3画素部分のドットパターンを示す図である。図10(b)に示すように、セグメント領域Saの左側3画素部分には、小グループセルB11、B12の左側3画素が配置されている。また、図10(c)に示すように、セグメント領域Scの左側3画素部分には、小グループセルB11、B12の右側3画素が配置されている。
図10(e)に示すように、小グループセルB11、B12のドットは、それぞれ、小グループセルB11、B12を左右に2分する中心軸について非対称に配置されているため、この中心軸で2分された左右の領域を重ねても、各領域のドットは重なり合わない。このため、図10(d)のように、セグメント領域Sa、Scを互いに重ねても、左側3画素部分のドットは互いに重ならない。したがって、実測画像上においてセグメント領域Saの移動位置を探索する場合、セグメント領域Saの左側3画素部分のドットは、セグメント領域Scに対応する比較領域の左側3画素部分のドットと重ならない。
これにより、セグメント領域Saとセグメント領域Scに対応する比較領域との間の値Rsadが大きくなり、この比較領域が、誤って、セグメント領域Saに対応する領域として検出される可能性が低減される。また、このようにセグメント領域Saとこの比較領域との間の値Rsadが大きくなるため、この値Rsadと、セグメント領域Saの探索位置において取得される値Rsad(最小値)との差がクリアとなる。これにより、この比較領域に対する値Rsadの影響によりセグメント領域Saに対する探索がエラーとなることが抑制される。
次に、図11(a)を参照して、図11(a)には、図9(a)のセグメント領域Sbに代えてセグメント領域Sdが示されている。セグメント領域Sdは、セグメント領域Saから14画素だけ右方向にずれている。
図11(b)、(c)は、それぞれ、セグメント領域Sa、Sdのドットパターンを示す図である。図11(c)に示すように、セグメント領域Sdに含まれるグループセルG1は、図11(b)に示すグループセルG1から上方向に2画素ずれている。このため、図11(d)のように、セグメント領域Sa、Sdを互いに重ねても、縦14×横14画素の部分のドットは互いに重ならない。したがって、実測画像上においてセグメント領域Saの移動位置を探索する場合、セグメント領域Saの縦14×横14画素の部分のドットは、セグメント領域Sdに対応する比較領域の縦14×横14画素の部分のドットと重ならない。
これにより、セグメント領域Saとセグメント領域Sdに対応する比較領域との間の値Rsadが大きくなり、この比較領域が、誤って、セグメント領域Saに対応する領域として検出される可能性が低減される。また、このようにセグメント領域Saとこの比較領域との間の値Rsadが大きくなるため、この値Rsadと、セグメント領域Saの探索位置において取得される値Rsad(最小値)との差がクリアとなる。これにより、この比較領域に対する値Rsadの影響によりセグメント領域Saに対する探索がエラーとなることが抑制される。
図9ないし図11に示されたセグメント領域Sb〜Sdは、横方向においてセグメント領域Saの近傍にあるため、実測画像上において、セグメント領域Sb〜Sdに対応する比較領域は、通常、セグメント領域Saに対する探索範囲に含まれる。したがって、上記のように、セグメント領域Sb〜Sdに対応する比較領域について、セグメント領域Saとのマッチング度合いが低下する(値Rsadが大きくなる)と、これらの比較領域によってセグメント領域Saに対する探索がエラーとなることが抑制される。よって、セグメント領域Saに対する距離値の検出精度を高めることができる。
なお、図9〜図11では、セグメント領域Saの左上の角に、グループセルG1の領域の左上の角が整合するように、セグメント領域Saが設定されたが、図12(a)〜(d)のようにセグメント領域Saが設定された場合も、上記と同様の効果が奏され得る。たとえば、図12(a)〜(d)の場合、セグメント領域Saの左側部分に含まれる小グループセルB11、B12の部分と、セグメント領域Sbの左側部分に含まれる小グループセルB11、B12の部分は、ドットが重なり合わない。よって、セグメント領域Sbに対応する比較領域によって、セグメント領域Saに対する探索がエラーとなることが抑制され得る。
なお、本実施の形態では、グループセルG1のサイズが、14×14画素に設定されているため、図13に示すとおり、あるグループセルG1に対して上下方向に同じ位置となるグループセルG1は、基準画像上において、X軸方向に14/2=7個間隔で並ぶことになり、画素換算すると、7×14=98画素間隔で並ぶことになる。
よって、図8(d)に示すようにドットパターンが設定されると、あるセグメント領域内のドットと、このセグメント領域に対してX軸方向に離れた他のセグメント領域内のドットとが、全く同じになる場合、この2つのセグメント領域の間隔は98画素となる。よって、図5(d)に示す実測時の探索範囲L0が98画素以内に設定されることにより、探索範囲内L0に同じドットパターンを持つ比較領域が含まれることを回避することができる。よって、このように探索範囲L0を設定することにより、同じドットパターンの2つの比較領域とセグメント領域がマッチングすることにより、値Rsadに2つのピークが生じることを防止でき、これによる探索エラーを回避することができる。
なお、本実施の形態では、図8(a)に示すように、小グループセルB11、B12の下側に、それぞれ、小グループセルB12、B11を配置することにより、グループセルG1が構成されたが、これに代えて、小グループセルB11、B12の下側に、それぞれ、小グループセルB11、B12を配置する構成とすることもできる。しかし、こうすると、同じパターンのグループセルG1が、7画素間隔で、上下方向に並ぶことになるため、あるグループセルG1に対して上下方向に同じ位置となるグループセルG1は、X軸方向に7/2=3.5個間隔で並ぶことになり、画素換算すると、3.5×14=49画素間隔で並ぶことになる。このため、この場合、実測時の探索範囲として設定できる上限は、図8(a)のようにグループセルG1が設定される場合に比べて、小さくなってしまう。
よって、探索範囲を広げるためには、図8(a)のように、小グループセルB11、B12の下側に、それぞれ、小グループセルB12、B11を配置することにより、グループセルG1が構成されるのが望ましい。
また、温度条件等によりレーザ光源110から出射されるレーザ光の波長が変化すると、実測時にドットが左右方向(X軸方向)だけでなく上下方向(Y軸方向)にも僅かにずれることが起こり得る。この場合、たとえば、波長変化によるドットの上下方向のずれ量が、実測画像上において、図8(c)に示すグループセルG1の上下方向のずれ幅と同じく2画素であると、このように2画素ずらすことにより探索領域Ri(図5(b)、(c)参照)から外れていたグループセルのドットが、波長変化により、探索範囲内に含まれるようになる。その結果、波長変化により探索範囲に誤って含まれたグループセルG1のドットが、探索対象のセグメント領域に含まれるグループセルのドットと一致することとなってしまい、誤った比較領域に対して、マッチングが検出されることが起こり得る。
このような問題は、図8(c)に示すグループセルG1のY軸方向のずれ幅を、レーザ光の波長変動により想定され得るドットの上下方向の最大変位量よりも大きくすることにより回避できる。しかし、その一方で、グループセルG1の上下方向のずれ幅を大きく設定すると、上下方向に同じ位置となるグループセルG1がX軸方向に現れる間隔が短くなるため、これに応じて、セグメント領域の探索範囲を狭める必要がある。このようなことから、グループセルG1の上下方向のずれ幅は、波長変化によるドットの上下方向のずれ量と探索範囲の広さとを考慮して、適宜、適正値に設定される必要がある。
<実施の形態の効果>
以上、本実施の形態によれば、以下の効果が奏され得る。
以上、本実施の形態によれば、以下の効果が奏され得る。
図9(a)〜(e)、図10(a)〜(e)、図11(a)〜(d)を参照して説明したように、セグメント領域Saのドットが、セグメント領域Sb〜Seに対応する比較領域のドットと一致し難くなるため、セグメント領域Sb〜Seに対応する比較領域が、誤って、セグメント領域Saに対応する領域であると検出されることが抑制され得る。
また、セグメント領域Saとセグメント領域Sb〜Seに対応する比較領域との間の値Rsadの差が大きくなるため、これら比較領域に対する値Rsadの影響によりセグメント領域Saに対する探索がエラーとなることが抑制される。よって、セグメント領域Saに対する距離値の検出精度を高めることができる。
以上、本発明の実施の形態について説明したが、本発明は、上記実施の形態に何ら制限されるものではなく、また、本発明の実施の形態も上記の他に種々の変更が可能である。
たとえば、上記実施の形態では、図7(b)に示す小グループセルB11、B12を、図8(a)、(b)に示すように組み合わせてグループセルG1を構成し、グループセルG1を、図8(c)、(d)に示すように組み合わせてDP光のドットパターンを構成したが、これに限らず、以下の変更例1〜4に示すようにドットパターンが構成されても良い。
<変更例1>
図14(a)〜(d)は、変更例1におけるドットパターンの構成を示す図である。
図14(a)〜(d)は、変更例1におけるドットパターンの構成を示す図である。
図14(a)に示すように、変更例1のグループセルG2の左上と右上には、上記実施の形態と同様、それぞれ、小グループセルB11、B12が配置されている。また、グループセルG2の下側は、上記実施の形態の下側の小グループセルB11、B12を左に3
画素だけずらした構成となっている。グループセルG2内のドットは、図14(b)に示すように配置される。そして、複数のグループセルG2を、上記実施の形態と同様、図14(c)に示すように配置することにより、図14(d)に示すように、全体のドットパターンが設定される。
画素だけずらした構成となっている。グループセルG2内のドットは、図14(b)に示すように配置される。そして、複数のグループセルG2を、上記実施の形態と同様、図14(c)に示すように配置することにより、図14(d)に示すように、全体のドットパターンが設定される。
この場合も、図15(a)に示すセグメント領域Sa、Sbを、図15(b)のように重ねても、図9(d)の場合と同様、セグメント領域Sa、Sbの左側7画素の部分のドットは互いに重ならない。
また、図15(c)に示すセグメント領域Sa、Scを、図15(d)のように重ねても、図10(d)の場合と同様、セグメント領域Sa、Sbの左側3画素の部分のドットは互いに重ならない。
さらに、図示はしないが、本変更例のドットパターンに対して、図11(a)の場合と同様に、隣り合うグループセルG2を含む2つのセグメント領域を設定した場合、これら2つのグループセルG2は、互いに、上下方向に2画素ずれているため、これらセグメント領域を重ねても、各セグメント領域に含まれるドットが重なり合うことはない。
このように、本変更例1においても、上記実施の形態と同様、探索対象のセグメント領域のドットが、不所望な比較領域のドットと一致し難くなるため、当該セグメント領域に対する探索が不所望にエラーとなることが抑制され得る。
また、本変更例では、上記実施の形態のドットパターンに比べて、ドットが万遍なく分布するため、CMOSイメージセンサ240の受光面上でドット間の距離が大きくなる。これにより、各ドットに基づく検出信号をより正確に取得することができる。
<変更例2>
図16(a)〜(d)は、変更例2におけるドットパターンの構成を示す図である。
図16(a)〜(d)は、変更例2におけるドットパターンの構成を示す図である。
図16(a)は、変更例2のグループセルG31、G32の構成を示す図である。グループセルG31は、上下にそれぞれ小グループセルB11、B12が配置され、グループセルG32は、上下にそれぞれ小グループセルB12、B11が配置される。小グループセルB11、B12は図6(c)に示したものと同じである。グループセルG31、G32内のドットは、図16(b)に示すように配置される。
本変更例では、4つのグループセルG31が、X軸方向とY軸方向に互いに隣接するように配置される。このとき、X軸方向に隣り合う各グループセルG31は、図11(c)に示すように、それぞれ左側のグループセルG31よりも2画素幅だけ上にずれている。同様に、4つのグループセルG32が、X軸方向とY軸方向に互いに隣接するように配置される。このとき、X軸方向に隣り合う各グループセルG32は、図11(c)に示すように、それぞれ左側のグループセルG32よりも2画素幅だけ下にずれている。
次に、X軸方向に隣接する4つのグループセルG31の最も右側のグループセルG31と、X軸方向に隣接する4つのグループセルG32の最も左側のグループセルG32が、互いに隣接するように、4つのグループセルG31と4つのグループセルG32が配置される。こうして、X軸方向に8つのグループセルが配置されたグループセルG33が構成される。そして、グループセルG33が、X軸方向に互いに隣接するように配置される。このとき、X軸方向に隣り合う各グループセルG33は、それぞれ左側のグループセルG33よりも8画素幅だけ上にずれている。こうして、図16(d)に示すように、全体のドットパターンが設定される。
この場合も、図17(a)に示すセグメント領域Sa、Sbを、図17(b)のように重ねても、図9(d)の場合と同様、セグメント領域Sa、Sbの左側7画素の部分のドットは互いに重ならない。
また、図17(c)に示すセグメント領域Sa、Scを、図17(d)のように重ねても、図10(d)の場合と同様、セグメント領域Sa、Sbの左側3画素の部分のドットは互いに重ならない。
このように、本変更例1においても、上記実施の形態と同様、探索対象のセグメント領域のドットが、不所望な比較領域のドットと一致し難くなるため、当該セグメント領域に対する探索が不所望にエラーとなることが抑制され得る。
<変更例3>
図18(a)〜(e)は、変更例3におけるドットパターンの構成を示す図である。
図18(a)〜(e)は、変更例3におけるドットパターンの構成を示す図である。
本変更例では、図18(a)に示す単位セルA2を組み合わせることにより、小グループセルB21、B22が構成される。単位セルA2は、4行4列の大きさを有し、3行2列目にドットが位置付けられている。小グループセルB21、B22は、上記実施の形態と同様、単位セルA2を時計方向に90度回転したものと、単位セルA2を時計方向に180度回転したものと、単位セルA2を時計方向に270度回転したものとを配置することにより構成される。
このように構成された小グループセルB21、B22に含まれるドットは、上記実施の形態と同様、それぞれ、小グループセルB21、B22をX軸方向に2分割する中心軸に対して、X軸方向に非対称となるよう位置付けられ、Y軸に平行な対称軸Mに対して、対称となるよう位置付けられる。
このように構成された小グループセルB21、B22が、上記実施例と同様、図18(c)に示すように配置されることにより、グループセルG4が構成される。グループセルG4内のドットは、図18(d)に示すように配置される。そして、グループセルG4が、上記実施の形態と同様、図8(c)に示すように配置されることにより、図18(e)に示すように、全体のドットパターンが設定される。
この場合も、上記実施の形態と同様の効果が奏される。また、本変更例のドットの間隔は、上記実施の形態に比べて大きいため、各ドットに基づく検出信号をより正確に取得することができる。
なお、本変更例では、グループセルG4のサイズが、16×16画素として設定されているため、あるグループセルG4に対して上下方向に同じ位置となるグループセルG4は、基準画像上において、X軸方向に16/2=8個間隔で並ぶことになり、画素換算すると、8×16=128画素間隔で並ぶことになる。よって、本変更例では、実測時の探索範囲L0が128画素以内に設定される。このように、本変更例によれば、上記実施の形態に比べて、探索範囲L0の幅を大きくすることができる。
<変更例4>
図19(a)は、変更例4におけるグループセルG51を示す図である。
図19(a)は、変更例4におけるグループセルG51を示す図である。
本変更例では、グループセルG51のサイズは、縦15画素×横59画素に設定されている。また、グループセルG51内の左側領域と右側領域のドットは、それぞれ、y=−
axとy=axで表される直線上に位置するように配置されている。また、グループセルG51内のドットは、X軸方向にグループセルG51を2分割すると共にY軸方向に平行な中心軸に対して、対称となるよう位置付けられている。
axとy=axで表される直線上に位置するように配置されている。また、グループセルG51内のドットは、X軸方向にグループセルG51を2分割すると共にY軸方向に平行な中心軸に対して、対称となるよう位置付けられている。
本変更例のドットパターンは、このように構成されたグループセルG51が、図19(b)に示すようにX軸方向とY軸方向に並べられることで構成される。なお、この場合、X軸方向の探索範囲L0の幅は、グループセルG51の横方向の画素数59よりも小さく設定される。
図20は、グループセルG51に設定されるセグメント領域と、セグメント領域内に含まれるドットとの関係を模式的に示す図である。図20に示された正方形は、それぞれセグメント領域を示し、点線は、ドットが並ぶラインを示している。
図20の最上段左端のセグメント領域は、図19(a)に示すグループセルG51に左端に設定されるセグメント領域に対応する。図20の最上段に付された矢印は、図19(a)の右方向(X軸正方向)に対応しており、図20の最上段の左から2番目のセグメント領域は、図19(a)のグループセルG51の左端のセグメント領域から数画素右方向にずれた位置のセグメント領域である。同様に、図20の最上段において隣り合うセグメント領域は、図19(a)のグループセルG51において左右方向に数画素ずれた位置にある。図20の2段目に示されたセグメント領域は、最上段のセグメント領域に続き、3段目に示されたセグメント領域は、2段目のセグメント領域に続き、最下段に示されたセグメント領域は、3段目のセグメント領域に続いている。最下段の右端のセグメント領域は、右隣のグループセルG51に左端に設定されたセグメント領域である。
図20に示すように、各セグメント領域内のドットのラインは、他のセグメント領域内のドットのラインに対して上下方向にずれている。このため、図20の最上段において、一つのセグメント領域のドットは、他のセグメント領域のドットと重ならない。同様に、図20の3段目においても、一つのセグメント領域のドットは、他のセグメント領域のドットと重ならない。ただし、図20の最上段に示された一つのセグメント領域は、3段目の何れか一つのセグメント領域と、ドットのラインが交差するため、この交差位置にドットが有る場合、両セグメント領域間で、ドットが重なりあう。しかし、この場合も、互いに重なり合うドットは、一つのみである。図20の他の段のセグメント領域についても同様、ドットのラインが交差する他のセグメント領域とドットが重なる場合がある。この場合も、互いに重なり合うドットは、一つのみである。
このように、本変更例においても、上記実施の形態と同様、探索範囲内に、互いに重ならないセグメント領域を設定することができる。本変更例によるドットパターンでは、ドットが全く重なり合うことのないセグメント領域を多く設定することが可能となり、さらに、セグメント領域間でドットが重なってとしても、重なる数を一つのみに留めることができる。
なお、図19(a)に示すドットパターンは、図19(c)に示すように設定されても良い。この場合、グループセルG52のサイズは、縦15×横29画素に設定される。グループセルG52内のドットは、y=−axとy=axの2つの直線が重ねられた直線上に位置するように配置される。この場合のドットパターンは、グループセルG52が、図19(d)に示すようにX軸方向とY軸方向に並べられることで構成される。なお、この場合、X軸方向の探索範囲L0の幅は、グループセルG52の横方向の画素数29よりも小さく設定される。
この場合も、図19(a)の場合と同様、ドットが互いに重なり合わないセグメント領
域を多く設定することができる。
域を多く設定することができる。
以上のように、図19(a)〜(d)に示すようにドットパターンが構成される場合も、セグメント領域間でドットが重なりにくくすることができる。よって、上記実施の形態と同様、セグメント領域に対する探索が不所望にエラーとなることを効果に回避することができる。
なお、図19(a)〜(d)の例では、グループセルG51、G52上において、ドットが直線状に並ぶよう配置されたが、ドットは、必ずしも直線状に並ばなくともよく、X軸正方向に進むに従ってY軸正方向またはY軸負方向に位置が変化する曲線状にドットが並んでいても良い。すなわち、グループセルG51、G52上において、ドットが、X軸方向の位置が一方向に変化することに従ってY軸方向の位置が一方向に変化するよう並ぶように配置されれば良い。これにより、上記と同様の効果が奏され得る。
<他の変更例>
上記の他、本発明の実施形態は、以下のように変更され得る。
上記の他、本発明の実施形態は、以下のように変更され得る。
たとえば、上記実施の形態および変更例では、繰り返し配置されるグループセルG1、G2、G31、G32、G4、G51、G52が、所定の大きさに設定されたが、これに限らず、他の大きさに設定されても良い。また、上記実施の形態および変更例では、Y軸方向のグループセルのずれ幅が、所定の大きさ設定されたが、これに限らず、他の大きさに設定されても良い。
また、上記実施の形態では、三角測量法を用いて距離情報が求められたが、三角測量法による演算なしに、画素ずれ量Dijを距離情報として取得しても良く、他の手法で距離情報を取得しても良い。
また、上記実施の形態では、基準画像に設定されたセグメント領域を、実測画像上において探索するようにしたが、実測画像上に設定された領域のドットパターンに対応するセグメント領域を、基準画像上で探索するようにしても良い。
また、上記実施の形態では、目標領域に照射されるレーザ光の波長帯以外の波長帯の光を除去するためにフィルタ230を配したが、たとえば、目標領域に照射されるレーザ光以外の光の信号成分を、CMOSイメージセンサ240から出力される信号から除去する回路構成が配されるような場合には、フィルタ230が省略され得る。 また、上記実施の形態では、受光素子として、CMOSイメージセンサ240を用いたが、これに替えて、CCDイメージセンサを用いることもできる。さらに、投射光学系100および受光光学系200の構成も、適宜変更可能である。
この他、本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
1 … 物体検出装置
2 … 情報取得装置
3 … 情報処理装置
21b … 距離取得部
100 … 投射光学系
110 … レーザ光源
120 … コリメータレンズ
140 … DOE(回折光学素子)
200 … 受光光学系
240 … CMOSイメージセンサ(イメージセンサ)
B11、B12 … 小グループセル(第1セル領域、第2セル領域)
B21、B22 … 小グループセル(第1セル領域、第2セル領域)
G1、G2、G31、G32、G4 … グループセル(グループ領域)
G51、G52 … グループセル(領域)
RS … 反射平面(基準面)
2 … 情報取得装置
3 … 情報処理装置
21b … 距離取得部
100 … 投射光学系
110 … レーザ光源
120 … コリメータレンズ
140 … DOE(回折光学素子)
200 … 受光光学系
240 … CMOSイメージセンサ(イメージセンサ)
B11、B12 … 小グループセル(第1セル領域、第2セル領域)
B21、B22 … 小グループセル(第1セル領域、第2セル領域)
G1、G2、G31、G32、G4 … グループセル(グループ領域)
G51、G52 … グループセル(領域)
RS … 反射平面(基準面)
本変更例では、4つのグループセルG31が、X軸方向とY軸方向に互いに隣接するように配置される。このとき、X軸方向に隣り合う各グループセルG31は、図16(c)に示すように、それぞれ左側のグループセルG31よりも2画素幅だけ上にずれている。同様に、4つのグループセルG32が、X軸方向とY軸方向に互いに隣接するように配置される。このとき、X軸方向に隣り合う各グループセルG32は、図16(c)に示すように、それぞれ左側のグループセルG32よりも2画素幅だけ下にずれている。
Claims (10)
- レーザ光源から出射されたレーザ光を所定のドットパターンで目標領域に投射する投射光学系と、
前記投射光学系に対して第1の方向に並ぶように配置され、前記目標領域をイメージセンサにより撮像する受光光学系と、
基準面に前記レーザ光を照射したときに前記受光光学系により撮像された基準画像と、実測時に前記イメージセンサにより撮像された実測画像とに基づいて、前記目標領域に含まれる物体までの距離に関する距離情報を取得する距離取得部と、を備え、
前記ドットパターンは、前記基準画像上において、前記第1の方向における所定の範囲内に、ドットの分布位置が互いに完全に一致しない領域を少なくとも一組含めるための規則に従って構成されている、
ことを特徴とする情報取得装置。 - 請求項1に記載の情報取得装置において、
前記ドットパターンは、ドットの配置が互いに負の相関性を持つ第1セル領域と第2セル領域が、前記基準画像の全体に配置されるよう構成される、
ことを特徴とする情報取得装置。 - 請求項2に記載の情報取得装置において、
前記第1セル領域と前記第2セル領域は、前記基準画像上において、前記第1の方向に互いに隣り合うように配置される、
ことを特徴とする情報取得装置。 - 請求項3に記載の情報取得装置において、
前記第1セル領域と前記第2セル領域を同じ数だけ含むようグループ領域が構成され、前記第1の方向に隣り合う前記グループ領域が、前記基準画像上において、前記第1の方向に垂直な第2の方向に所定の距離だけ互いにずれるよう配置される、
ことを特徴とする情報取得装置。 - 請求項4に記載の情報取得装置において、
前記グループ領域には、前記第2の方向に前記第1セル領域と前記第2セル領域が隣り合うよう、前記第1セル領域と前記第2セル領域が配置される、
ことを特徴とする情報取得装置。 - 請求項2ないし5の何れか一項に記載の情報取得装置において、
前記第1セル領域には、前記ドットが前記第1の方向に非対称に配置され、
前記第2セル領域には、前記第1セル領域と前記第2セル領域とを前記第1の方向に並べたときに、前記第1セル領域の前記ドットと前記第2セル領域の前記ドットが前記第1の方向に対称となるように、前記ドットが配置される、
ことを特徴とする情報取得装置。 - 請求項1ないし6の何れか一項に記載の情報取得装置において、
前記距離取得部は、前記基準画像に設定されたセグメント領域の移動位置を前記実測画像上において前記第1の方向に探索し、
前記ドットの分布位置が互いに完全に一致しない前記領域が、前記セグメント領域の探索範囲以下の幅の範囲内に、少なくとも一組含まれる、
ことを特徴とする情報取得装置。 - 請求項1に記載の情報取得装置において、
前記ドットパターンは、前記第1の方向と当該第1の方向に垂直な第2の方向にそれぞれ所定の幅を有する領域上において、ドットが、前記第1の方向の位置が一方向に変化することに従って前記第2の方向の位置が一方向に変化するよう並ぶように、構成されている、
ことを特徴とする情報取得装置。 - 請求項1ないし8の何れか一項に記載の情報取得装置において、
前記投射光学系は、前記レーザ光源と、前記レーザ光源から出射されたレーザ光が入射するコリメータレンズと、前記コリメータレンズを透過したレーザ光を前記ドットパターンのレーザ光に変換する回折光学素子とを含む、
ことを特徴とする情報取得装置。 - 請求項1ないし9の何れか一項に記載の情報取得装置と、
前記距離情報に基づいて、所定の対象物体を検出する物体検出部と、を備える、
ことを特徴とする物体検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012197511A JP2014052307A (ja) | 2012-09-07 | 2012-09-07 | 情報取得装置および物体検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012197511A JP2014052307A (ja) | 2012-09-07 | 2012-09-07 | 情報取得装置および物体検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014052307A true JP2014052307A (ja) | 2014-03-20 |
Family
ID=50610895
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012197511A Pending JP2014052307A (ja) | 2012-09-07 | 2012-09-07 | 情報取得装置および物体検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014052307A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106199750A (zh) * | 2015-05-04 | 2016-12-07 | 中国科学院上海高等研究院 | 机场飞行区活动异物检测系统及其检测方法 |
CN106405671A (zh) * | 2016-10-13 | 2017-02-15 | 中国科学院上海技术物理研究所 | 一种红外融合视觉探测方法 |
CN114762019A (zh) * | 2019-12-17 | 2022-07-15 | 日立安斯泰莫株式会社 | 摄像机系统 |
WO2022254854A1 (ja) * | 2021-05-31 | 2022-12-08 | 興和株式会社 | 3次元計測装置 |
-
2012
- 2012-09-07 JP JP2012197511A patent/JP2014052307A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106199750A (zh) * | 2015-05-04 | 2016-12-07 | 中国科学院上海高等研究院 | 机场飞行区活动异物检测系统及其检测方法 |
CN106405671A (zh) * | 2016-10-13 | 2017-02-15 | 中国科学院上海技术物理研究所 | 一种红外融合视觉探测方法 |
CN114762019A (zh) * | 2019-12-17 | 2022-07-15 | 日立安斯泰莫株式会社 | 摄像机系统 |
WO2022254854A1 (ja) * | 2021-05-31 | 2022-12-08 | 興和株式会社 | 3次元計測装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2012137674A1 (ja) | 情報取得装置、投射装置および物体検出装置 | |
JP6484072B2 (ja) | 物体検出装置 | |
JP5138116B2 (ja) | 情報取得装置および物体検出装置 | |
JP5187364B2 (ja) | 回折光学素子、並びに測距装置及び測距方法 | |
JP2012047500A (ja) | 距離画像センサ及び距離画像生成装置並びに距離画像データ取得方法及び距離画像生成方法 | |
JP5143312B2 (ja) | 情報取得装置、投射装置および物体検出装置 | |
JP2012237604A (ja) | 情報取得装置、投射装置および物体検出装置 | |
WO2013046927A1 (ja) | 情報取得装置および物体検出装置 | |
JP2014052307A (ja) | 情報取得装置および物体検出装置 | |
JP2014044113A (ja) | 情報取得装置および物体検出装置 | |
JP5138115B2 (ja) | 情報取得装置及びその情報取得装置を有する物体検出装置 | |
JP5143314B2 (ja) | 情報取得装置および物体検出装置 | |
WO2012144340A1 (ja) | 情報取得装置および物体検出装置 | |
JPWO2013015145A1 (ja) | 情報取得装置および物体検出装置 | |
JP2014085257A (ja) | 情報取得装置および物体検出装置 | |
WO2013015146A1 (ja) | 物体検出装置および情報取得装置 | |
JP2013246009A (ja) | 物体検出装置 | |
JP2014035304A (ja) | 情報取得装置および物体検出装置 | |
WO2013046928A1 (ja) | 情報取得装置および物体検出装置 | |
JP2013234956A (ja) | 情報取得装置および物体検出装置 | |
JP2014106000A (ja) | 情報取得装置および物体検出装置 | |
JP2014085282A (ja) | 情報取得装置および物体検出装置 | |
JP5138120B2 (ja) | 物体検出装置および情報取得装置 | |
WO2013031447A1 (ja) | 物体検出装置および情報取得装置 | |
JP2014021017A (ja) | 情報取得装置および物体検出装置 |