JP2014044113A - 情報取得装置および物体検出装置 - Google Patents

情報取得装置および物体検出装置 Download PDF

Info

Publication number
JP2014044113A
JP2014044113A JP2012186654A JP2012186654A JP2014044113A JP 2014044113 A JP2014044113 A JP 2014044113A JP 2012186654 A JP2012186654 A JP 2012186654A JP 2012186654 A JP2012186654 A JP 2012186654A JP 2014044113 A JP2014044113 A JP 2014044113A
Authority
JP
Japan
Prior art keywords
dot pattern
distance
segment
area
axis direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012186654A
Other languages
English (en)
Inventor
Hiroyuki Muto
裕之 武藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2012186654A priority Critical patent/JP2014044113A/ja
Publication of JP2014044113A publication Critical patent/JP2014044113A/ja
Pending legal-status Critical Current

Links

Abstract

【課題】レーザ光の波長変動により、実測時にドットパターンが変化する場合にも、正確な距離情報を取得可能な情報取得装置および物体検出装置を提供する。
【解決手段】情報取得装置は、基準画像上に設定したセグメント領域の、実測画像上における変位位置を探索し、探索された変位位置に基づいて、当該セグメント領域に対する距離値Diを取得する工程S105、セグメント領域の縦画素ずれ量Hiに基づいて、横画素ずれ量Wiを取得する工程S106、横画素ずれ量Wiに応じた横ずれ補正値wiに基づいて、距離値Diを補正する工程S107、S108を含む。
【選択図】図12

Description

本発明は、目標領域に光を投射したときの反射光の状態に基づいて目標領域内の物体を検出する物体検出装置および当該物体検出装置に用いて好適な情報取得装置に関する。
従来、光を用いた物体検出装置が種々の分野で開発されている。いわゆる距離画像センサを用いた物体検出装置では、2次元平面上の平面的な画像のみならず、検出対象物体の奥行き方向の形状や動きを検出することができる。かかる物体検出装置では、レーザ光源やLED(Light Emitting Diode)から、予め決められた波長帯域の光が目標領域に投射され、その反射光がCMOSイメージセンサ等の受光素子により受光される。距離画像センサとして、種々のタイプのものが知られている。
所定のドットパターンを持つレーザ光を目標領域に照射するタイプの距離画像センサでは、ドットパターンを持つレーザ光の目標領域からの反射光が受光素子によって受光される。そして、受光素子上におけるドットの受光位置に基づいて、三角測量法を用いて、検出対象物体の各部(検出対象物体上の各ドットの照射位置)までの距離が検出される(たとえば、特許文献1、非特許文献1)。
特開2012−32379号公報
第19回日本ロボット学会学術講演会(2001年9月18−20日)予稿集、P1279−1280
上記物体検出装置では、投射光学系と受光光学系が横に並ぶように配置される。この場合、通常、イメージセンサ上のドットの受光位置は、投射光学系と受光光学系の並び方向にのみ変位する。上記物体検出装置では、投射光学系と受光光学系の並び方向のドットの移動量をもとに、距離が検出される。
また、上記物体検出装置では、ドットパターンのレーザ光を生成するために回折光学素子が用いられる。回折光学素子の光学的特性は、レーザ光の波長に依存する。他方、レーザ光の波長は、光源の温度変化等に応じて変化し易い。この場合、レーザ光の波長の変動に応じて、レーザ光のドットパターンは、投射光学系と受光光学系の並び方向にも変化し得る。
このような場合、投射光学系と受光光学系の並び方向にドットの移動を探索すると、不正確な位置でドットのマッチングが検出され、取得された距離の精度が低下する惧れがある。
本発明は、この点に鑑みてなされたものであり、レーザ光の波長変動等により、実測時にドットパターンが変化する場合にも、正確な距離情報を取得可能な情報取得装置および物体検出装置を提供する。
本発明の第1の態様は、情報取得装置に関する。本態様に係る情報取得装置は、レーザ光源から出射されたレーザ光を所定のドットパターンで目標領域に投射する投射光学系と、前記投射光学系に対して所定の距離だけ第1の方向に離れて並ぶように配置され、前記目標領域をイメージセンサにより撮像する受光光学系と、基準面に前記レーザ光を照射したときに前記受光光学系により撮像された基準ドットパターンと、実測時に前記イメージセンサにより撮像された実測ドットパターンとに基づいて、前記目標領域に含まれる物体までの距離に関する距離情報を取得する距離取得部と、を備える。前記基準ドットパターンと前記実測ドットパターンの何れか一方を第1のドットパターンとし、他方を第2のドットパターンとしたとき、前記距離取得部は、前記第1のドットパターン上に設定したセグメント領域の前記第2のドットパターン上における変位位置を探索し、前記第1のドットパターンに対する前記第2のドットパターンの、前記第1の方向に直交する第2の方向における第1の変位量に基づいて、前記距離情報を補正するための補正値を取得し、前記補正値と前記変位位置とに基づいて、前記距離情報を取得する。
本発明の第2の態様は、物体検出装置に関する。本態様に係る物体検出装置は、上記第1の態様に係る情報取得装置と、前記距離情報に基づいて、所定の対象物体を検出する物体検出部と、を備える。
本発明によれば、レーザ光の波長変動により、実測時にドットパターンが変化する場合にも、正確な距離情報を取得可能な情報取得装置および物体検出装置を提供することができる。
本発明の効果ないし意義は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下に示す実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態により何ら制限されるものではない。
実施の形態に係る物体検出装置の構成を示す図である。 実施の形態に係る情報取得装置と情報処理装置の構成を示す図である。 実施の形態に係る目標領域に対するレーザ光の照射状態とイメージセンサ上のレーザ光の受光状態を示す図である。 実施の形態に係る参照パターンの生成方法を説明する図である。 実施の形態に係る距離検出手法を説明する図である。 実施の形態に係るドットパターンの変化と距離取得結果を示す図である。 実施の形態および比較例に係る検証例のレーザ光源の出射波長を示す図である。 実施の形態に係るドットパターンの縦方向と横方向の変位量の関係を示すグラフである。 実施の形態に係るイメージセンサの画素位置におけるX軸方向の変位量の求め方を説明する図である。 実施の形態に係る光学設計において縦ずれ/横ずれ変換係数を求める方法を説明する図である。 実施の形態に係るドットパターンの縦方向のずれを補正する方法を説明する図である。 実施の形態に係る距離取得の処理を示すフローチャートである。 実施の形態に係るドットパターンの横方向のずれによる距離情報の誤差を補正する例を説明する図である。 実施の形態に係る距離取得の検証例を示すグラフである。 実施の形態に係る距離取得の検証例を示すグラフである。 変更例に係るドットパターンの横方向のずれによる距離情報の誤差を補正する例および距離取得の処理を示すフローチャートである。 変更例に係る距離検出手法を説明する図である。
以下、本発明の実施の形態につき図面を参照して説明する。本実施の形態は、所定のドットパターンを持つレーザ光を目標領域に照射するタイプの情報取得装置に本発明を適用したものである。
まず、図1に本実施の形態に係る物体検出装置1の概略構成を示す。図示の如く、物体検出装置1は、情報取得装置2と、情報処理装置3とを備えている。テレビ4は、情報処理装置3からの信号によって制御される。
情報取得装置2は、目標領域全体に赤外光を投射し、その反射光をCMOSイメージセンサにて受光することにより、目標領域にある物体各部の距離(以下、「3次元距離情報」という)を取得する。取得された3次元距離情報は、ケーブル5を介して情報処理装置3に送られる。
情報処理装置3は、たとえば、テレビ制御用のコントローラやゲーム機、パーソナルコンピュータ等である。情報処理装置3は、情報取得装置2から受信した3次元距離情報に基づき、目標領域における物体を検出し、検出結果に基づきテレビ4を制御する。
たとえば、情報処理装置3は、受信した3次元距離情報に基づき人を検出するとともに、3次元距離情報の変化から、その人の動きを検出する。たとえば、情報処理装置3がテレビ制御用のコントローラである場合、情報処理装置3には、受信した3次元距離情報からその人のジェスチャを検出するとともに、ジェスチャに応じてテレビ4に制御信号を出力するアプリケーションプログラムがインストールされている。
また、たとえば、情報処理装置3がゲーム機である場合、情報処理装置3には、受信した3次元距離情報からその人の動きを検出するとともに、検出した動きに応じてテレビ画面上のキャラクタを動作させ、ゲームの対戦状況を変化させるアプリケーションプログラムがインストールされている。
図2は、情報取得装置2と情報処理装置3の構成を示す図である。
情報取得装置2は、光学部の構成として、投射光学系100と受光光学系200とを備えている。投射光学系100と受光光学系200は、X軸方向に並ぶように、情報取得装置2に配置される。
投射光学系100は、レーザ光源110と、コリメータレンズ120と、ミラー130と、回折光学素子(DOE:Diffractive Optical Element)140を備えている。また、受光光学系200は、アパーチャ210と、撮像レンズ220と、フィルタ230と、CMOSイメージセンサ240とを備えている。この他、情報取得装置2は、回路部の構成として、CPU(Central Processing Unit)21と、レーザ駆動回路22と、撮像信号処理回路23と、入出力回路24と、メモリ25を備えている。
レーザ光源110は、受光光学系200から離れる方向(X軸負方向)に波長830nm程度の狭波長帯域のレーザ光を出力する。コリメータレンズ120は、レーザ光源110から出射されたレーザ光を略平行光に変換する。
ミラー130は、コリメータレンズ120側から入射されたレーザ光をDOE140に向かう方向(Z軸方向)に反射する。
DOE140は、入射面に回折パターンを有する。この回折パターンによる回折作用により、DOE140に入射したレーザ光は、所定のドットパターンのレーザ光に変換されて、目標領域に照射される。なお、レーザ光の0次回折光は、DOE140により回折されることなく、DOE140を透過する。
DOE140の回折パターンは、たとえば、ステップ型の回折ホログラムが所定のパターンで形成された構造とされる。回折ホログラムは、コリメータレンズ120により略平行光とされたレーザ光をドットパターンのレーザ光に変換するよう、パターンとピッチが調整されている。DOE140は、ミラー130から入射されたレーザ光を、放射状に広がるドットパターンのレーザ光として、目標領域に照射する。
目標領域から反射されたレーザ光は、アパーチャ210を介して撮像レンズ220に入射する。
アパーチャ210は、撮像レンズ220のFナンバーに合うように、外部からの光に絞りを掛ける。撮像レンズ220は、アパーチャ210を介して入射された光をCMOSイメージセンサ240上に集光する。フィルタ230は、レーザ光源110の出射波長(830nm程度)を含む赤外の波長帯域の光を透過し、可視光の波長帯域をカットするバンドパスフィルタである。
CMOSイメージセンサ240は、撮像レンズ220にて集光された光を受光して、画素毎に、受光量に応じた信号(電荷)を撮像信号処理回路23に出力する。ここで、CMOSイメージセンサ240は、各画素における受光から高レスポンスでその画素の信号(電荷)を撮像信号処理回路23に出力できるよう、信号の出力速度が高速化されている。
CPU21は、メモリ25に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、CPU21には、レーザ光源110を制御するためのレーザ制御部21aと、3次元距離情報を生成するための距離取得部21bと、撮像したドットパターンの縦方向(Y軸方向)のずれ量を検出するための縦ずれ検出部21cの機能が付与される。
レーザ駆動回路22は、CPU21からの制御信号に応じてレーザ光源110を駆動する。
撮像信号処理回路23は、CMOSイメージセンサ240を制御して、所定の撮像間隔で、CMOSイメージセンサ240により生成された各画素の信号(電荷)をライン毎に順次取り込む。そして、取り込んだ信号を順次CPU21に出力する。CPU21は、撮像信号処理回路23から供給される信号(撮像信号)をもとに、情報取得装置2から検出対象物の各部までの距離を、距離取得部21bによる処理によって算出する。また、CPU21は、撮像信号をもとに、撮像したドットパターンの縦方向のずれ量を縦ずれ検出部21cによる処理によって算出し、メモリ25に縦ずれ補正テーブルTrを生成する。そして、CPU21は、縦ずれ補正テーブルTrと、あらかじめ、メモリ25に保持された縦ずれ/横ずれ変換係数Nに基づいて、撮像したドットパターンの縦ずれ/横ずれに関する補正を行って距離取得を行う。入出力回路24は、情報処理装置3とのデータ通信を制御する。なお、縦ずれ/横ずれに関する補正処理は、追って、図11ないし図13を参照して、後述する。
情報処理装置3は、CPU31と、入出力回路32と、メモリ33を備えている。なお、情報処理装置3には、同図に示す構成の他、テレビ4との通信を行うための構成や、CD−ROM等の外部メモリに格納された情報を読み取ってメモリ33にインストールするためのドライブ装置等が配されるが、便宜上、これら周辺回路の構成は図示省略されている。
CPU31は、メモリ33に格納された制御プログラム(アプリケーションプログラム)に従って各部を制御する。かかる制御プログラムによって、CPU31には、画像中の物体を検出するための物体検出部31aと、物体の動きに応じて、テレビ4の機能を制御するための機能制御部31bの機能が付与される。かかる制御プログラムは、たとえば、図示しないドライブ装置によってCD−ROMから読み取られ、メモリ33にインストールされる。
物体検出部31aは、情報取得装置2から供給される3次元距離情報から画像中の物体の形状を抽出し、抽出した物体形状の動きを検出する。機能制御部31bは、物体検出部31aによる検出結果に応じて所定の処理を実行する。たとえば、制御プログラムがゲームプログラムである場合、機能制御部31bは、物体検出部31aによって検出された人の動き(ジェスチャ)に応じてテレビ画面上のキャラクタを動作させるための処理を実行する。また、制御プログラムがテレビ4の機能を制御するためのプログラムである場合、機能制御部31bは、物体検出部31aから人の動き(ジェスチャ)に応じた信号に基づき、テレビ4の機能(チャンネル切り替えやボリューム調整、等)を制御するための処理を実行する。
入出力回路32は、情報取得装置2とのデータ通信を制御する。
投射光学系100と受光光学系200は、投射光学系100の投射中心と受光光学系200の撮像中心がX軸に平行な直線上に並ぶように、X軸方向に所定の距離をもって並んで設置される。投射光学系100と受光光学系200の設置間隔は、情報取得装置2と目標領域の基準面との距離に応じて、設定される。
次に、情報取得装置2による3次元距離情報の取得方法について説明する。
図3(a)は、目標領域に対するレーザ光の照射状態を模式的に示す図、図3(b)は、CMOSイメージセンサ240におけるレーザ光の受光状態を模式的に示す図である。なお、図3(b)には、便宜上、目標領域に平坦な面(スクリーン)とスクリーンの前に人物が存在するときの受光状態が示されている。
図3(a)に示すように、投射光学系100からは、ドットパターンを持ったレーザ光(以下、このパターンを持つレーザ光の全体を「DP光」という)が、目標領域に照射される。図3(a)には、DP光の光束領域が実線の枠によって示されている。DP光の光束中には、DOE140による回折作用により生成されるドット領域(以下、単に「ドット」という)が、DOE140による回折作用によるドットパターンに従って点在している。
目標領域に平坦な面(スクリーン)が存在すると、これにより反射されたDP光は、図3(b)のように、CMOSイメージセンサ240上に分布する。
図3(b)には、CMOSイメージセンサ240上のDP光の全受光領域が破線の枠によって示され、CMOSイメージセンサ240の撮像有効領域に入射するDP光の受光領
域が実線の枠によって示されている。CMOSイメージセンサ240の撮像有効領域は、CMOSイメージセンサ240がDP光を受光した領域のうち、センサとして信号を出力する領域であり、たとえば、VGA(横640画素×縦480画素)のサイズである。また、同図(a)に示す目標領域上におけるDt0の光は、CMOSイメージセンサ240上では、同図(b)に示すDt0’の位置に入射する。スクリーンの前の人物の像は、CMOSイメージセンサ240上では、上下左右が反転して撮像される。
ここで、図4、図5を参照して、上記距離検出の方法を説明する。
図4は、上記距離検出手法に用いられる参照パターンの設定方法を説明する図である。
図4(a)に示すように、投射光学系100から所定の距離Lsの位置に、Z軸方向に垂直な平坦な反射平面RSが配置される。出射されたDP光は、反射平面RSによって反射され、受光光学系200のCMOSイメージセンサ240に入射する。これにより、CMOSイメージセンサ240から、撮像有効領域内の画素毎の電気信号が出力される。出力された画素毎の電気信号の値(画素値)は、図2のメモリ25上に展開される。
以下、反射面RSからの反射によって得られた全画素値からなる画像を、「基準画像」、反射面RSを「基準面」と称する。そして、図4(b)に示すように、基準画像上に、「参照パターン領域」が設定される。なお、図4(b)には、CMOSイメージセンサ240の背面側から受光面をZ軸正方向に透視した状態が図示されている。図5以降の図においても同様である。
なお、本実施の形態では、DOE140を透過し基準面によって反射されたレーザ光の0次回折光が、CMOSイメージセンサ240の撮像有効領域の中心に入射するよう光学系が調整されている。
こうして設定された参照パターン領域に対して、所定の大きさを有する複数のセグメント領域が設定される。セグメント領域の大きさは、得られる距離情報による物体の輪郭抽出精度、CPU21に対する距離検出の演算量の負荷および後述する距離検出手法によるエラー発生率を考慮して決定される。
図4(c)を参照して、参照パターン領域に設定されるセグメント領域について説明する。なお、図4(c)には、便宜上、各セグメント領域の大きさが横9画素×縦9画素で示され、各セグメント領域の中央の画素が×印で示されている。
セグメント領域は、図4(c)に示すように、隣り合うセグメント領域が参照パターン領域に対してX軸方向およびY軸方向に1画素間隔で並ぶように設定される。すなわち、あるセグメント領域は、このセグメント領域のX軸方向およびY軸方向に隣り合うセグメント領域に対して1画素ずれた位置に設定される。このとき、各セグメント領域には、固有のパターンでドットが点在する。よって、セグメント領域内の画素値のパターンは、セグメント領域毎に異なっている。
こうして、CMOSイメージセンサ240上における参照パターン領域の位置に関する情報と、参照パターン領域に含まれる全画素の画素値(参照パターン)と、参照パターン領域に対して設定されるセグメント領域の情報が、図2のメモリ25に記憶される。メモリ25に記憶されるこれらの情報を、以下、「参照テンプレート」と称する。
図2のCPU21は、投射光学系100から検出対象物体の各部までの距離を算出する際に、参照テンプレートを参照する。CPU21は、距離を算出する際に、参照テンプレ
ートから得られる各セグメント領域内のドットパターンのずれ量に基づいて、物体の各部までの距離を算出する。
たとえば、図4(a)に示すように距離Lsよりも近い位置に物体がある場合、参照パターン上の所定のセグメント領域Snに対応するDP光(DPn)は、物体によって反射され、セグメント領域Snとは異なる領域Sn’に入射する。投射光学系100と受光光学系200はX軸方向に隣り合っているため、セグメント領域Snに対する領域Sn’の変位方向はX軸に平行となる。図4(a)の場合、物体が距離Lsよりも近い位置にあるため、領域Sn’は、セグメント領域Snに対してX軸正方向に変位する。物体が距離Lsよりも遠い位置にあれば、領域Sn’は、セグメント領域Snに対してX軸負方向に変位する。
セグメント領域Snに対する領域Sn’の変位方向と変位量をもとに、投射光学系100からDP光(DPn)が照射された物体の部分までの距離Lrが、距離Lsを用いて、三角測量法に基づき算出される。同様にして、他のセグメント領域に対応する物体の部分について、投射光学系100からの距離が算出される。かかる算出手法の詳細は、たとえば、上記非特許文献1(第19回日本ロボット学会学術講演会(2001年9月18−20日)予稿集、P1279−1280)に示されている。
かかる距離算出では、参照テンプレートのセグメント領域Snが、実測時においてどの位置に変位したかが検出される。この検出は、実測時にCMOSイメージセンサ240上に照射されたDP光から得られたドットパターンと、セグメント領域Snに含まれるドットパターンとを照合することによって行われる。以下、実測時にCMOSイメージセンサ240上の撮像有効領域に照射されたDP光から得られた全画素値からなる画像を、「実測画像」と称する。実測時のCMOSイメージセンサ240の撮像有効領域は、基準画像取得時と同様に、たとえば、VGA(横640画素×縦480画素)のサイズである。
図5(a)〜(e)は、かかる距離検出の手法を説明する図である。図5(a)は、CMOSイメージセンサ240上における基準画像に設定された参照パターン領域を示す図であり、図5(b)は、実測時のCMOSイメージセンサ240上の実測画像を示す図であり、図5(c)〜(e)は、実測画像に含まれるDP光のドットパターンと、参照テンプレートのセグメント領域に含まれるドットパターンとの照合方法を説明する図である。なお、便宜上、図5(a)、(b)には、一部のセグメント領域のみが示されており、図5(c)〜(e)には、各セグメント領域の大きさが、横9画素×縦9画素で示されている。また、図5(b)の実測画像には、便宜上、図4(b)のように、検出対象物体として基準面より前に人物が存在しており、人物の像が写り込んでいることが示されている。
図5(a)のセグメント領域Siの実測時における変位位置を探索する場合、図5(b)に示すように、実測画像上に、セグメント領域Siに対して探索領域Riが設定される。探索領域Riは、X軸方向に所定の幅を持っている。セグメント領域Siが探索領域Riにおいて1画素ずつX軸方向に送られ、各送り位置において、セグメント領域Siのドットパターンと実測画像上のドットパターンとが比較される。以下、実測画像上の各送り位置に対応する領域を、「比較領域」と称する。探索領域Riには、セグメント領域Siと同じサイズの比較領域が複数設定され、X軸方向に隣り合う比較領域は互いに1画素ずれている。
図5(d)では、基準画像上のセグメント領域Siの画素位置に対応する実測画像上の画素位置(中心画素位置)から、X軸負方向にx画素ずれた位置からX軸正方向にx画素ずれた範囲(以下、「探索範囲L0」という)においてセグメント領域Siが送られるように探索領域Riが設定されている。
距離検出時には、探索領域Riにおいてセグメント領域SiをX軸方向に1画素ずつ送りながら、各送り位置において、参照テンプレートに記憶されているセグメント領域Siのドットパターンと、実測画像のDP光のドットパターンのマッチング度合いが求められる。このようにセグメント領域Siを探索領域Ri内においてX軸方向にのみ送るのは、上記のように、通常、参照テンプレートにより設定されたセグメント領域のドットパターンは、実測時において、X軸方向の所定の範囲内でのみ変位するためである。
上記マッチング度合いの検出時には、まず、参照パターン領域の各画素の画素値と実測画像の各セグメント領域の各画素の画素値の階調数が減少される。たとえば、基準画像および実測画像の画素値が8ビットの階調の場合、0〜255の画素値が、0〜14の画素値に変換される。そして、変換された画素値がメモリ25に保持される。その後、比較領域とセグメント領域Siとの間の類似度が求められる。すなわち、セグメント領域Siの各画素の画素値と、比較領域の対応する画素の画素値との差分が求められる。そして、求めた差分を比較領域の全ての画素について加算した値Rsadが、類似度を示す値として取得される。
たとえば、図5(c)のように、一つのセグメント領域中に、n列×m行の画素が含まれている場合、セグメント領域のi列、j行の画素の画素値T(i,j)と、比較領域のi列、j行の画素の画素値I(i,j)との差分が求められる。そして、セグメント領域の全ての画素について差分が求められ、その差分の総和により、図5(c)に示す式の値Rsadが求められる。値Rsadが小さい程、セグメント領域と比較領域との間の類似度が高い。
こうして、図5(d)に示すように、セグメント領域Siについて、探索領域Riの全ての比較領域に対して値Rsadが求められる。
図5(e)は、探索領域Riの各送り位置における値Rsadが模式的に示されたグラフである。セグメント領域Siについて、探索領域Riの全ての比較領域に対して値Rsadが求められると、まず、求めた値Rsadの中から、最小値B1が参照される。次に、求めた値Rsadの2番目に小さい値B2が参照される。2番目に小さい値B2と最小値B1の比の大きさが所定の閾値以下であれば、セグメント領域Siの探索はエラーとされる。他方、2番目に小さい値B2と最小値B1の比の大きさが閾値を超える場合、最小値B1に対応する比較領域Ciがセグメント領域Siの移動領域と判定される。
たとえば、図5(d)のように、セグメント領域Siに対応する比較領域Ciは、基準画像上のセグメント領域Siの画素位置と同位置の実測画像上の画素位置Si0よりもX軸正方向にα画素ずれた位置で検出される。これは、基準面よりも近い位置に存在する検出対象物体(人物)によって、実測画像上のDP光のドットパターンが基準画像上のセグメント領域Si0よりもX軸正方向に変位したためである。
こうして、実測時に取得されたDP光のドットパターンから、各セグメント領域の変位位置が探索されると、上記のように、その変位位置に基づいて、三角測量法により、各セグメント領域に対応する検出対象物体の部位までの距離が求められる。
このようにして、セグメント領域S1〜セグメント領域Snまで全てのセグメント領域について、上記同様のセグメント領域の探索が行われる。
情報取得装置2は、上記のようにして取得された各セグメント領域に対応する検出対象物体までの距離を値に割り当て、情報処理装置3に出力する。以下、各セグメント領域に
対応する距離を画素値で表現した画像を「距離画像」と称する。上記のように、本実施の形態では、セグメント領域は、基準画像の参照パターン領域に対して、1画素間隔で設定されるため、距離画像は、基準画像と略同様のVGAサイズの解像度(略640×略480)を有する。
なお、上記のマッチング度合いの検出方法は一例であり、これに限られるものではない。たとえば、上記では、セグメント領域Siのエラー検出の方法として、値Rsadの2番目に小さい値B2と最小値B1の比の大きさが用いられたが、全ての比較領域について求めた値Rsadの平均値Baと最小値B1との比(B1/Ba)が所定の閾値以下のときにエラーと判定する手法が用いられても良く、または、最小値B1の大きさが所定の閾値以下のときにエラーと判定する手法が用いられても良い。
図6(a)は、レーザ光源110の出射波長変動によるドットパターンの変位を示す模式図である。図6(b)は、ドットパターンが変位した場合におけるセグメント領域の探索範囲を縦方向にずらす例を示す図である。図6(c)は、セグメント領域の探索範囲を縦方向にずらさない場合における距離画像、図6(d)は、セグメント領域の探索範囲を縦方向にずらす場合における距離画像を示す図である。
図6(c)、図6(d)は、目標領域に平坦なスクリーンのみを設置した状態で得られた距離画像である。したがって、適正に距離が取得された場合は、すべての領域において、同一のグレーの階調が得られる。なお、図6(c)、図6(d)において、黒の階調が得られている領域は、上述のセグメント領域の探索がエラーとなった領域である。
上述のように、通常、実測時において、ドットは、CMOSイメージセンサ240の受光面においてX軸方向のみにずれる。しかし、図6(a)に示すように、レーザ光源110の出射波長が変動すると、ドットパターン中のドットは、DOE140に構成される回折パターンのピッチとDOE140の光学的収差等の関係から、ドットパターン領域の中心から放射上にシフトする。さらに、レーザ光の波長は、温度によって変化し易い。このように、ドットパターン中のドットは、X軸方向のみならず、Y軸方向にもずれ得る。
ドットの変位量は、ドットパターンの中心から離れれば離れるほど大きくなる。図6(a)の例では、実測画像の外周に近いドットのX軸方向の変位量Δx1、Y軸方向の変位量Δy1は、ドットパターンの中心に近いドットのX軸方向の変位量Δx2、Y軸方向の変位量Δy2よりも大きい。このように、ドットがY軸方向にずれると、実測時のドットパターンと参照テンプレートに保持されたドットパターンとの照合が適正に行われなくなる。
この場合、図6(b)に示すように、ドットパターンのY軸方向の変位量Δy1に応じて、セグメント領域Siの探索範囲Riを、縦方向にΔyだけずらすことによって、ドットパターンの照合が適正に行われ得る。
図6(c)の距離画像では、実測時のドットパターンがY軸方向に変位することにより、ドットパターンの中心から離れた上部および下部の領域において、セグメント領域に対するマッチングを検出できず、エラーが多発している。他方、図6(d)の距離画像では、ドットパターンのY軸方向の変位量に応じて、セグメント領域の探索領域を縦方向にずらすことにより、上部と下部の領域においても、適正に距離が取得できている。
このように、レーザ光源110の出射波長が変動し、ドットパターンが変化した場合にも、セグメント領域の探索範囲を縦方向にずらすことによって、エラーの発生を抑制することができる。
しかし、上述のように、ドットパターンは、レーザ光の波長変動により、X軸方向にも変位する。このため、セグメント領域の探索範囲を縦方向にずらしたことによって得られた距離情報には、波長変動によるドットパターンのX軸方向の変位に応じて、誤差が含まれている。たとえば、図6(b)では、セグメント領域Siは、本来検出されるべき適正な位置からX軸方向にΔxだけずれた位置で検出される。
ドットパターンのY軸方向の変位量は、たとえば、上端近辺のセグメント領域をY軸方向にも探索することによって得ることができる。これに対し、波長変動によるドットパターンのX軸方向の変位量をセグメント領域の探索によって検出するのは困難である。すなわち、ドットパターンは、目標領域にある物体からの反射によってもX軸方向に変位し得るため、物体からの反射によるドットパターンのX軸方向の変位と、波長変動によるドットパターンのX軸方向の変位とを区別することは困難である。
そこで、本実施の形態では、レーザ光源110の波長変動に基づく、ドットパターンのY軸方向の変位量とX軸方向の変位量との関係を予め保持しておき、この関係から、波長変動によるドットパターンのX軸方向の変位量(誤差)を取得し、誤差を含んだ距離情報を正確な値に補正する。
上述のように、ドットパターン中のドットは、レーザ光源110の波長変動に伴って、ドットパターン領域の中心(0次光の照射位置)から放射状に変位する。このとき、ドットの変位量は、ドットパターンの中心から離れるに従って、大きくなる。すなわち、縦方向(Y軸方向)のドットの変位量は、ドットパターンの中心からY軸方向に離れるに従って大きくなり、また、横方向(X軸方向)のドットの変位量は、ドットパターンの中心からX軸方向に離れるに従って大きくなる。横方向(X軸方向)に並ぶドットの縦方向(Y軸方向)の変位量は、互いに略同じであり、縦方向(Y軸方向)に並ぶドットの横方向(X軸方向)の変位量は、互いに略同じである。ドットパターンの中心位置のドットは、レーザ光源110の波長が変動しても変位しない。また、ドットパターンの中心位置から横方向(X軸方向)に並ぶドットは、レーザ光源110の波長が変動しても縦方向(Y軸方向)には変位せず、ドットパターンの中心位置から縦方向(Y軸方向)に並ぶドットは、レーザ光源110の波長が変動しても横方向(X軸方向)には変位しない。
このように、レーザ光源110の波長変動に伴うドットの縦方向(Y軸方向)および横方向(X軸方向)の変位には、互いに、所定の相関関係がある。よって、この相関関係を示すパラメータ値に基づいて、縦方向(Y軸方向)のドットの変位量から当該ドットの横方向(X軸方向)の変位量を取得することができる。
本件出願の発明者は、以下の検証を行って、レーザ光源110の波長変動に伴うドットの縦方向(Y軸方向)の変位量と横方向(X軸方向)の変位量との関係を求めた。以下、この検証について、説明する。
図7(a)は、検証方法を説明する図である。本検証では、参照パターン領域の上端近傍においてX軸方向に並ぶセグメント領域のうち、P0、P1、P2、P3、−P1、−P2、−P3の位置にあるセグメント領域について、波長変動に伴う変位を測定した。ここで、位置P0は、参照パターン領域のX軸方向の中央ラインX0上にあり、位置P1、−P1は、それぞれ、参照パターン領域の右端近傍および左端近傍のラインX1、−X1上にある。また、位置P2は、ラインX0とラインX1との間の間隔の2/3の位置のラインX2上にあり、位置−P2は、ラインX0とライン−X1との間の間隔の2/3の位置のライン−X2上にある。さらに、位置P3は、ラインX0とラインX1との間の間隔の1/3の位置のラインX3上にあり、位置−P3は、ラインX0とライン−X1との間
の間隔の1/3の位置のライン−X3上にある。
P0、P1、P2、P3、−P1、−P2、−P3の位置にある各セグメント領域の、適正位置からのX軸方向およびY軸方向の変位量を、レーザ光源110の波長を変動させながら測定した。目標領域には、基準画像を取得したときの距離位置に、平坦なスクリーンを配置した。基準画像は、レーザ光源110の出射波長が820nm近傍であるときに取得した。本検証において、レーザ光源110の出射波長は、レーザ光源110の駆動電流を変化させることによって、変動させた。
図7(b)は、検証例におけるレーザ光源110の駆動制御を示すグラフである。図7(b)は、レーザ光源110の駆動電流とレーザ光源110の出射波長との関係を示すグラフである。図7(a)のグラフの横軸は、時間(秒)、縦軸は、レーザ光源110の駆動電流である。図7(b)のグラフの横軸は、レーザ光源110の駆動電流、縦軸は、レーザ光源110の出射波長である。
図7(a)に示すように、レーザ光源110の駆動電流を変化させると、これに伴い、レーザ光源110の出射波長は、図7(b)のように変化する。図7(a)では、レーザ光源110の駆動電流が、300mAから100mAまで、20数秒間、徐々に減少し、その後、300mAになるまで、20数秒間、徐々に増加している。これに伴い、図7(b)に示すように、レーザ光源110の出射波長は、略820nmから828nmの範囲で変動する。レーザ光源110は、シングルモードのレーザ光源であるため、モードホップが発生するまでは、略一定の波長に保たれる。
図8は、検証結果を示す図である。図8において、横軸は、セグメント領域のY軸方向の変位量を示し、縦軸は、セグメント領域のX軸方向の変位量を示す。図8には、上記のようにレーザ光源110の出射波長を変動させたときの、各測定タイミングにおけるセグメント領域のX軸方向の変位量とY軸方向の変位量とに対応する位置に、プロットが付されている。なお、図8には、便宜上、プロットが簡略化されて示されているが、実際には、一つのセグメント領域について、レーザ光源110の出射波長を図7(b)のように40秒程度変化させる間に、一定の時間間隔で、1200回程度の測定が行われ、X軸方向の変位量とY軸方向の変位量が取得されている。
図8における各プロットは、図8の右側に示すように、形状によって区分されている。ここで、図8右側の“右端”、“右2/3”、“右1/3”、“中央”、“左1/3”、“左2/3”、“左端”は、それぞれ、図7(a)の位置P1、P2、P3、P0、−P3、−P2、−P1の位置のセグメント領域に対応する。したがって、図8における各プロットは、図7(a)の位置P0、P1、P2、P3、−P1、−P2、−P3の何れかのセグメント領域の測定結果を示している。
図8には、各セグメント領域の変位量を線形的に近似した直線があわせて示されている。図8の近似直線を参照すると、位置P0、P1、P2、P3、−P1、−P2、−P3のセグメント領域のX軸方向の変位量は、Y軸方向の変位量の変化に伴って、略線形的に変化することが分かる。また、セグメント領域のX軸方向の位置に応じて、近似直線の傾きが変化している。したがって、参照パターン領域の右端、または左端の位置(P1または−P1)における、セグメント領域のY軸方向の変位量とX軸方向の変位量との比を係数としてメモリ25に保持しておけば、その他の位置におけるドットパターンのX軸方向の変位量を計算によって求めることができる。本実施の形態では、この係数を「縦ずれ/横ずれ変換係数N」と称する。
図9(a)、(b)は、各画素位置におけるX軸方向の変位量の求め方を説明する図で
ある。
図9(a)において、領域Sr’は、図7(a)の位置P1のセグメント領域Srにマッチングする領域である。ここでは、セグメント領域Srについて、縦ずれ/横ずれ変換係数Nが設定されている。破線で示す領域Sr’はセグメント領域Srに対応する領域であり、実線で示す領域Sr’は、セグメント領域Srにマッチングする実測画像上の領域である。
図9(a)に示すように、実測画像上において、領域Sr’が適正位置(セグメント領域Srに対応する位置)から縦方向(Y軸方向)にΔYだけ変位している場合、波長変動による領域Sr’の横方向(X軸方向)の変位量ΔXは、次式で求められる。
ΔX=N×ΔY …(1)
この変位量ΔXは、基準画像上においてラインX1上に並ぶ全てのセグメント領域に適用される。すなわち、ラインX1上の各セグメント領域は、レーザ光源110の出射波長の変動により、実測画像上において、一様に、変位量ΔXだけX軸正方向に変位する。Y軸方向に並ぶ他のセグメント領域の実測画像上における波長変動による変位量も、互いに同じである。すなわち、波長変動によるセグメント領域のX軸方向の変位量は、X軸方向の画素位置が異なると変わり、Y軸方向の画素位置が異なっても変わらない。
本実施の形態では、ドットパターンの中心(レーザ光の0次回折光の入射位置)が参照パターン領域の中心Oに一致しているため、中心Oを通るラインX0上のセグメント領域の波長変動による変位量は0となる。したがって、X軸方向の各画素位置における変位量は、図9(b)に示す補正直線により求められ得る。
実測時には、まず、セグメント領域Srについて変位量ΔYが求められる。このとき、セグメント領域Srの探索範囲は、セグメント領域Srに対応する位置からX軸方向のみならずY軸方向にも広がりを持つように設定される。次に、求めた変位量ΔYをもとに、上記式(1)から、波長変動によるX軸方向の変位量ΔXが求められる。そして、各画素位置におけるX軸方向の変位量が、変位量ΔXにより規定される補正直線に基づいて、演算により求められる。
変位量ΔYが小さいほど、変位量ΔXは小さくなり、補正直線の傾きが小さくなる。逆に、変位量ΔYが大きいほど、変位量ΔXは大きくなり、補正直線の傾きが大きくなる。
なお、上記では、所定位置のセグメント領域の変位量を実測することによって、縦ずれ/横ずれ変換係数Nを求めたが、縦ずれ/横ずれ変換係数Nは、光学設計から算出することもできる。
図10(a)は、本実施の形態に係る光学設計において縦ずれ/横ずれ変換係数Nを求める方法を説明する図である。図10(a)の上段は、基準面に対するDP光の投射状態を示し、図10(a)の下段は、正面側から基準面を見たときのDP光の投射状態を示す図である。なお、図10(a)の下段には、便宜上、CMOSイメージセンサ240の撮像有効領域とセグメント領域Srに対応する領域が示されている。
図10(a)の構成において、レーザ光源110の出射波長が変動すると、上記のように、ドットパターンは、0次光の照射位置を中心に放射状に変位する。ここで、セグメント領域Srに含まれるドットは、0次光の一部が回折されたものであるため、その回折方向は、0次光の照射位置からセグメント領域Srに向かう方向である。この回折作用を、図示のように、ベクトルVrで表すと、レーザ光源110の出射波長が変動する場合には
、このベクトルVrの大きさ(回折作用)が変化すると考えれば良い。したがって、波長変動における縦方向(Y軸方向)の変位量と横方向(X軸方向)の変位量の比は、ベクトルVrのY方向成分とX方向成分の比となる。撮像有効領域の中心が0次光の照射位置に一致する場合、ベクトルVrのY方向成分とX方向成分の比は、撮像有効領域の縦横比に等しい。つまり、縦ずれ/横ずれ変換係数Nは、撮像有効領域の縦横比(480画素:640画素≒1:1.3)と略等価である。したがって、この場合、縦ずれ/横ずれ変換係数Nは、N=1.3と求めることができる。
次に、図10(b)のように、0次光の照射位置がドットパターンの中心および撮像有効領域の中心からずれている場合について考える。この場合、ベクトルVrの方向は、図10(a)の場合と異なるが、図10(a)の場合と同様、0次光の照射位置からセグメント領域Srに向かう方向である。したがって、この場合は、ベクトルVrのY方向成分とX方向成分の比を、縦ずれ/横ずれ変換係数Nとして用いることができる。ただし、この場合は、0次光の照射位置が撮像有効領域の中心からずれているため、図9(b)の補正直線の横軸との交点は、0次光の照射位置に対応するX軸方向の画素位置に変更される。
このように、光学設計に応じて縦ずれ/横ずれ変換係数Nが求められ、メモリ25に保持されていても良い。
図11(a)〜図11(c)は、ドットパターンのY軸方向のずれに対する補正を行うための縦ずれ補正テーブルTrの生成方法を説明する図である。
本実施の形態では、図11(a)に示す如く、基準画像の最上部からやや下側のセグメント領域が、参照セグメント領域Sr1〜Srnとして設定されている。これら参照セグメント領域Sr1〜Srnが、図11(b)に示す探索領域MA内のどの位置にあるかが探索される。探索領域MAは、CMOSイメージセンサ240の受光領域のうち、上段を大きく囲う領域をカバーする。また、探索は、参照セグメント領域Sr1〜Srnのそれぞれについて、探索領域MAの全てを照合することにより行われる。すなわち、探索領域MAの最上段に対して探索が行われた後、最上段よりも1画素だけ下にある次の段について探索が行われ、以下同様に、下の段へと探索が行われる。探索は、図5(a)〜図5(e)を参照して説明したと同様の方法で行われる。
この探索により、参照セグメント領域Sr1〜Srnの実測画像上における画素位置Pr1’〜Prn'が取得される。こうして取得された画素位置Pr1’〜Prn'と、参照セグメント領域Sr1〜Srnの基準画像上における画素位置Pr1〜Prnとが比較され、両画素位置のY軸方向における差分ΔYd1〜ΔYdnが求められる。ここで、差分ΔYd1〜ΔYdnの符号は、実測画像上の画素位置の方が基準画像上の画素位置よりもY軸負側にある場合に正となる。こうして得られた差分ΔYd1〜ΔYdnを平均したものが、参照パターン領域の最上段のセグメント領域に対する縦画素ずれ量H0とされる。
この縦画素ずれ量H0は、参照パターン領域の最上段の全てのセグメント領域に適用される。この縦画素ずれ量H0は、図11(c)に示す縦ずれ補正テーブルTrの上から1行目に格納される。補正テーブルTrの上から1行目は、参照パターン領域の最上段の画素位置Y0に対応付けられている。
なお、図11(c)に示す縦ずれ補正テーブルTrにおいて、Y軸方向の画素位置Yiの値は、セグメント領域のY軸方向の画素位置を示し、縦画素ずれ量Hiの欄の各値は、セグメント領域のY軸方向の画素位置Yiに対応付けられた縦画素ずれ量を示している。したがって、Y軸方向の画素位置が同じであるセグメント領域には、同じ縦画素ずれ量が
適用される。
上述したように、ドットパターンは、ドットパターンの中心から放射状に変位するため、通常、X軸方向の画素位置が変化しても、縦画素ずれ量は変化せず、Y軸方向の画素位置が変化すると、縦画素ずれ量が変化する。したがって、このように、Y軸方向の画素位置Yiごとに縦画素ずれ量Hiを保持しておき、画素位置Yiが同じセグメント領域には同じ縦画素ずれ量Hiを適用しても、各セグメント領域には適正な縦画素ずれ量が適用され得る。こうすることで、全ての画素位置のセグメント領域にについて縦画素ずれ量を保持する場合よりも、メモリ25の容量を抑えることができる。
上記のように縦画素ずれ量H0を縦ずれ補正テーブルTrに設定した後、最下段の各セグメント領域の画素位置Yeに対する縦画素ずれ量Heに、縦画素ずれ量H0と同じ値が設定される。また、Y軸方向において中央の各セグメント領域の画素位置Ycに対する縦画素ずれ量Hcとして値0が縦ずれ補正テーブルTrに設定される。
こうして、縦画素ずれ量H0、Hc、Heが設定されると、これらの間のセグメント領域に対する縦画素ずれ量が、最上段から中央または最下段から中央に向かって値が線形的に変位するように補間される。たとえば、最上段の縦画素ずれ量H0が4の場合、最上段と中央の間のセグメント領域に対する縦画素ずれ量が3、2、1の値をもって補間される。
こうして、全てのY軸方向の画素位置について縦画素ずれ量が設定された縦ずれ補正テーブルTrがメモリ25に保持される。
なお、ここでは、Y軸方向において1画素ごとに縦画素ずれ量Hiが設定されたが、通常、縦画素ずれ量は、急に変化しないため、Y軸方向において数十画素(たとえば、16画素)ごとに縦画素ずれ量Hiが設定されても良い。こうすると、縦ずれ補正テーブルTrの保持に必要なメモリ25の容量をさらに抑えることができる。
また、ここでは、参照セグメント領域Sr1〜Srnに対して取得した差分ΔYd1〜ΔYdnを平均することにより縦画素ずれ量H0を取得したが、参照セグメント領域Sr1〜Srnのうち何れか一つについて差分値を取得し、この差分値を縦画素ずれ量H0として用いても良い。この場合、たとえば、参照セグメント領域Sr1〜Srnのうち、X軸方向において参照パターン領域の中央にある参照セグメント領域について、差分値が取得される。
また、通常、波長変動によるドットパターンの変位量は、短時間では大きく変化しないため、縦ずれ補正テーブルTrの更新処理は、1フレームの距離取得ごとに行う必要はなく、数フレームごとに行われれば良い。
次に、図12を参照して、縦ずれ/横ずれ変換係数Nと縦ずれ補正テーブルTrを用いた距離取得の処理について説明する。この処理は、図2のCPU21の距離取得部21bにおける機能によって行われる。
なお、図12に記載の処理フローのS102は、請求項2に記載の構成の一例である。また、S106は、請求項6に記載の構成の一例である。S108は、請求項3に記載の構成の一例である。
図12を参照して、CPU21は、縦ずれ補正テーブルTrから距離を取得するセグメント領域Siの中心画素位置に対応する縦画素ずれ量Hiを取得する(S101)。たと
えば、最上端のセグメント領域の場合、図11(c)の縦ずれ補正テーブルTrから縦画素ずれ量H0が取得され、その1画素下のセグメント領域の場合、図11(c)の縦ずれ補正テーブルTrから縦画素ずれ量H1が取得される。そして、CPU21は、取得した縦画素ずれ量Hiだけ縦方向に探索範囲をずらした補正探索範囲Ri’でセグメント領域Siを探索する(S102)。そして、CPU21は、セグメント領域Siの探索結果がエラーであるか否かを判定する(S103)。
探索結果がエラーの場合(S103:YES)、CPU21は、エラー値として、0を情報処理装置3に出力する(S104)。探索結果がエラーでない場合(S103:NO)、CPU21は、セグメント領域Siがマッチングした位置に応じた距離値Diを取得する(S105)。
これにより、レーザ光源110の出射波長変動により、ドットパターンのY軸方向に変位していたとしても、適正にセグメント領域Siの探索を行うことができる。しかし、ここで取得した距離値Diは、ドットパターンのX軸方向の変位に伴って誤差が含んでいる可能性がある。
CPU21は、メモリ25にセットされた縦ずれ補正テーブルTrの上端の縦画素ずれ量H0と縦ずれ/横ずれ変換係数Nを参照し、以下の演算を行い、横画素ずれ量Wiを取得する(S106)。
Wi=N×H0×(Xi/Sx)
なお、Xiは、セグメント領域SiのX軸方向の画素位置であり、Sxは、右端のセグメント領域のX軸方向の画素位置である。Siは、縦ずれ/横ずれ変換係数Nを取得した際のX軸方向の画素位置に相当する。また、上端の縦画素ずれ量H0は、縦ずれ/横ずれ変換係数Nを取得した際の画素位置(右上隅)に相当する位置の縦画素ずれ量に相当する。
ここで、縦ずれ/横ずれ変換係数Nに右上隅の位置に相当する縦画素ずれ量H0を乗算して、さらにその乗算した値を、画素位置Sxで除算した値が、図9(b)に示した補正直線の傾きに相当する。この補正直線の傾きに対して、距離取得対象のセグメント領域SiのX軸方向の画素位置Xiを乗算することにより、セグメント領域Siの位置における横画素ずれ量Wiが取得される。
たとえば、縦ずれ/横ずれ変換係数Nが1.3であり、右上隅の縦画素ずれ量H0が4、右上隅のX軸方向の画素位置が240である場合、補正直線の傾きは、略0.0216となる。
このように補正直線の傾きが0.0216の場合、セグメント領域Siが右端の位置であれば、セグメント領域SiのX軸方向の画素位置Xiに240が代入され、横画素ずれ量Wiは、5.2に設定される。また、セグメント領域Siが中央から右方向に1/3進んだ位置であれば、Xiに80が代入され、横画素ずれ量Wiは、略1.73に設定される。セグメント領域Siが中央の位置であれば、Xiに0が代入され、横画素ずれ量Wiは、0に設定される。セグメント領域Siが中央の位置から左方向に1/3進んだ位置であれば、Xiに−80が代入され、横画素ずれ量Wiは、略−1.73に設定される。セグメント領域Siが左端の位置であれば、Xiに−240が代入され、横画素ずれ量Wiは、−5.2に設定される。
そして、CPU21は、横画素ずれ量Wiに応じた横ずれ補正値wiを取得する(S107)。そして、CPU21は、距離値Diから横ずれ補正値wiを減算した値を情報処
理装置3に出力する(S108)。これにより、レーザ光源110の出射波長変動により、ドットパターンのX軸方向の誤差を補正することができ、正確な距離値を取得することができる。
そして、CPU21は、次のセグメント領域があるか否かを判定する(S109)。次のセグメント領域がある場合(S109:YES)、CPU21は、変数iに1を加算し(S110)、処理をS101に戻す。これにより、全てのセグメント領域S1〜Snについて、距離取得の処理が行われる。
図13(a)、図13(b)は、セグメント領域Siの探索範囲の縦ずれ補正と、取得結果の横ずれ補正の一例を示す図である。
たとえば、図13(a)に示すように、セグメント領域Siに対応する比較領域CiがCi’の位置に変位した場合、探索範囲Riで探索しても適正にマッチングすることはできない。
本実施の形態では、図13(b)に示すように、縦ずれ補正テーブルTrの縦画素ずれ量Hiに応じて、探索範囲Riの位置からY軸方向に2画素ずれた補正探索範囲Ri’が設定されるため、セグメント領域Siに対するマッチングが適正に行われ得る。これにより、マッチングした位置に応じた距離値Diが取得される。そして、取得した距離値Diから横画素ずれ量(2画素)に相当する横ずれ補正値wiが減算され、ドットパターンのX軸方向のずれによる距離値の誤差が補正される。
図14、図15は、本実施の形態の効果を検証するために、図7の条件でセグメント領域の縦ずれ補正、横ずれ補正を行った場合のエラー率と深さ値(距離値)の測定結果を示す図である。図14(a)〜(c)および図15(a)〜(d)に示す各グラフにおいて、横軸は、深さ値(距離値)の取得処理の累積回数である。なお、図14、図15には、比較対象として、ドットパターンのX軸方向、Y軸方のずれを補正しなかった場合の比較例の値が併せて示されている。
本検証例では、セグメント領域が実測画像上の対応する位置から探索方向にn画素ずれた位置でマッチングした場合、基準画像取得時の深さ値(128)から4nだけ上昇する設定とした。また、本検証例、比較例では、実測画像取得時に設置したスクリーンは、右に行けば行くほど遠くなるように若干傾いている。具体的には、右端の位置において、略135、中央の位置から右方向に1/3進んだ位置において略125、中央の位置において略120、中央の位置から左方向に1/3進んだ位置において略115、左端の位置において略110の深さ値(距離)の位置が得られるようにスクリーンが傾いている。
図14(a)は、セグメント領域の探索範囲の縦方向の調整値を示すグラフである。本検証例では、図14(a)に示すように、図7(b)に示すレーザ光源110の出射波長が略2nm変動するごとに、セグメント領域の探索範囲が縦方向に、−4画素〜0画素の範囲で調整されている。
図14(b)は、距離取得のエラー率を示すグラフである。図14(b)を参照して、比較例では、レーザ光源110の出射波長が基準画像を取得したときの出射波長から大きくずれない区間(距離情報の取得処理の累積回数が500〜700回程度の区間)を除き、エラー率が高くなっている。これに対し、本検証例では、レーザ光源110の出射波長が変動しても、エラー率が略0に抑えられていることがわかる。
図14(c)は、ドットパターンが変動しない中央の位置に設定されたセグメント領域
に対する深さ値(距離値)の取得結果を示すグラフである。図14(c)を参照して、ドットパターンの中央の位置では、レーザ光源110の出射波長が変動したとしても、ドットパターンがずれることがないため、本検証例、比較例ともに、全ての距離取得タイミングにおいて、略均一の深さ値が得られている。
図15(a)は、ドットパターンの右端の位置に設定されたセグメント領域に対する深さ値(距離値)の取得結果を示すグラフである。図15(b)は、ドットパターンの中央から右方向に1/3進んだ位置に設定されたセグメント領域に対する深さ値(距離値)の取得結果を示すグラフである。なお、図15(a)、図15(b)において、深さ値を取得したセグメント領域は、検証例、比較例とも、ドットパターンのY軸方向の中央に設定されている。
図15(a)の場合、本検証例、比較例ともに、レーザ光源110の出射波長が略820nmとなる、500〜700回目の距離取得時において、略135(適正値)の深さ値が得られている。比較例では、レーザ光源110の出射波長が820nmから離れるに従って、得られた深さ値が正規の深さ値から離れており、得られた深さ値と正規の深さ値との差は、0〜100回目、1100〜1200回目の距離取得時において、略16程度となっている。これに対し、本検証例では、得られた深さ値と正規の深さ値との差は、0〜100回目、1100〜1200回目の距離取得時においても、略4程度に抑制されている。
図15(b)の場合、本検証例、比較例ともに、レーザ光源110の出射波長が略820nmとなる、500〜700回目の距離取得時において、略125(適正値)の深さ値が得られている。比較例では、レーザ光源110の出射波長が820nmから離れるに従って、得られた深さ値が正規の深さ値から離れており、得られた深さ値と正規の深さ値との差は、0〜100回目、1100〜1200回目の距離取得時において、略4程度となっている。これに対し、本検証例では、得られた深さ値と正規の深さ値との差は、0〜100回目、1100〜1200回目の距離取得時において、略2程度に抑制されている。
図15(c)は、ドットパターンの左端の位置に設定されたセグメント領域に対する深さ値(距離値)の取得結果を示すグラフである。図17(d)は、ドットパターンの中央から左方向に1/3進んだ位置に設定されたセグメント領域に対する深さ値(距離値)の取得結果を示すグラフである。なお、図15(c)、図15(d)において、深さ値を取得したセグメント領域は、検証例、比較例とも、ドットパターンのY軸方向の中央に設定されている。
図15(c)の場合、本検証例、比較例ともに、レーザ光源110の出射波長が略820nmとなる、500〜700回目の距離取得時において、略110(適正値)の深さ値が得られている。比較例では、レーザ光源110の出射波長が820nmから離れるに従って、得られた深さ値が正規の深さ値から離れており、得られた深さ値と正規の深さ値との差は、0〜100回目、1100〜1200回目の距離取得時において、略16程度となっている。これに対し、本検証例では、得られた深さ値と正規の深さ値との差は、0〜100回目、1100〜1200回目の距離取得時において、略8程度に抑制されている。
図15(d)の場合、本検証例、比較例ともに、レーザ光源110の出射波長が略820nmとなる、500〜700回目の距離取得時において、略115の深さ値(適正値)が得られている。比較例では、レーザ光源110の出射波長が820nmから離れるに従って、得られた深さ値が正規の深さ値から離れており、得られた深さ値と正規の深さ値との差は、0〜100回目、1100〜1200回目の距離取得時において、略4程度とな
っている。これに対し、本検証例では、得られた深さ値と正規の深さ値との差は、0〜100回目、1100〜1200回目の距離取得時において、略2程度に抑制されている。
以上のように、本検証例では、何れの位置においても、波長変動による深さ値(距離値)の誤差が、比較例の場合に比べ、略半分以下に抑えられていることがわかる。
<実施の形態の効果>
以上、本実施の形態によれば、レーザ光源110の出射波長変動によって、ドットパターンが変化した場合にも、正確な距離情報を取得することができる。
また、本実施の形態によれば、ドットパターンの端の位置に基づいた縦ずれ/横ずれ変換係数Nにより、ドットパターンのその他の位置のX軸方向の変位量が演算によって取得されるため、メモリ25の容量を低く抑えることができる。
また、本実施の形態によれば、縦ずれ/横ずれ変換係数Nは、あらかじめ実測した距離値に基づいて、設定されるため、より適正にドットパターンのX軸方向のずれを補正することができる。
以上、本発明の実施の形態について説明したが、本発明は、上記実施の形態に何ら制限されるものではなく、また、本発明の実施の形態も上記の他に種々の変更が可能である。
たとえば、上記実施の形態では、図12のS106において、補正直線の傾きの演算と横画素ずれ量Wiの取得処理が行われたが、縦ずれ補正テーブルTrの更新時に、補正直線の傾きを取得してメモリ25に保持しても良い。縦ずれ補正テーブルTrの更新処理は、毎フレームの距離取得ごとではなく、数フレームごとに行われるため、CPU21に対する演算負荷を多少抑えることができる。なお、補正直線の傾きの演算処理にかかる負荷は軽微であるため、上述のように、距離取得時に直接演算を行った方が、メモリ25の容量が削減できるため、望ましい。この他、全てのX軸方向の画素位置について、予め、横画素ずれ量を算出しておき、テーブルに保持するようにしても良い。
また、上記実施の形態では、メモリ25の縦ずれ補正テーブルTrに、Y軸方向の画素位置ごとの縦画素ずれ量が保持されたが、ドットパターンの上端または下端の位置の縦画素ずれ量のみを保持しておき、横画素ずれ量の演算と同様に、セグメント領域SiのY軸方向の画素位置に応じて計算によって縦画素ずれ量が算出されても良い。この場合、縦画素ずれ量の取得にかかる演算量は増大するが、メモリ25の容量をさらに低く抑えることができる。
また、上記実施の形態では、図12のS105において、距離値Diを取得した後、横画素ずれ量Wi’に応じた横ずれ補正値wiを距離値Diから減算することにより、ドットパターンのX軸方向のずれに対する補正を行ったが、距離値Diを取得する前に、セグメント領域Siがマッチングした画素位置から横画素ずれ量Wiだけずらした位置をマッチング位置として距離値を取得するようにしても良い。
また、上記実施の形態では、図13に示すように、探索範囲RiをY軸方向に2画素ずらした補正探索範囲Ri’でセグメント領域Siの探索が行われたが、図16(a)、図16(b)に示すように、探索範囲RiをY軸方向に2画素ずらし、さらにX軸方向にも2画素ずらした補正探索範囲Ri’’でセグメント領域Siの探索が行われても良い。
図16(c)は、この場合の距離取得の処理を示すフローチャートである。この処理は、図2のCPU21の距離取得部21bにおける機能によって行われる。なお、図16(
c)は、図12のフローチャートを一部変更するものであり、変更のない処理については、同一の番号が付与されている。図12の処理フローのS102が、S201、S202に、S106〜S108が、S203に置き換えられている。
図16(c)を参照して、CPU21は、縦ずれ補正テーブルTrから距離取得するセグメント領域Siの中心画素位置に対応する縦画素ずれ量Hiを取得する(S101)。そして、CPU21は、S106と同様の演算処理を行い、横画素ずれ量Wiを取得する(S201)。
CPU21は、取得したセグメント領域Siの縦画素ずれ量Hiだけ縦方向に、横画素ずれ量Wiだけ横方向にずらした補正探索範囲Ri’’でセグメント領域Siを探索する(S202)。そして、CPU21は、セグメント領域Siの探索結果がエラーであるか否かを判定する(S103)。
これにより、図16(b)に示すように、ドットパターンのX軸方向、Y軸方向のずれに応じた探索範囲Ri’’でセグメント領域Siの探索が行われ、探索範囲をより適正なものとすることができる。
また、上記実施の形態では、ドットパターンのY軸方向の変位量は、図11(a)、図11(b)に示すように、上端付近の1ライン分の参照セグメント領域Sr1〜Srnの探索によって求められたが、下端付近の1ライン等、その他の位置の参照セグメント領域がさらに探索されることによって求められても良い。この場合、より精度よく縦ずれ補正テーブルTrを生成することができる。
さらには、レーザ光源110の近傍に温度検出素子が配され、温度変化によるレーザ光源110の出射波長の変動を検知して、縦ずれ補正テーブルTrが生成されても良い。
また、上記実施の形態では、図5(a)、図5(b)に示すように、基準画像上に設定されたセグメント領域Siに対応する比較領域を、実測画像上の探索範囲Riにおいて探索することにより、距離マッチングが行われたが、図17(a)、図17(b)に示すように、実測画像上に逆セグメント領域Uiを設定し、逆セグメント領域Uiに対応する比較領域Ziを、基準画像上の探索範囲Viにおいて探索することにより、距離マッチングが行われても良い。この場合も、上記実施の形態と同様、たとえば、参照パターン領域(実測画像)の右上端近傍に設定された逆セグメント領域Urについて縦ずれ/横ずれ変換係数Nを求めておき、当該逆セグメント領域の実測時における縦ずれ量と縦ずれ/横ずれ変換係数Nとに基づいて、各逆セグメント領域Uiに対する距離値または画素位置の補正値が算出される。
また、上記実施の形態では、基準ドットパターンの右上端近傍に設定されたセグメント領域Srについて、縦ずれ/横ずれ変換係数Nを求めるようにしたが、縦ずれ/横ずれ変換係数Nを求めるセグメント領域は、これに限られず、たとえば、中央から右方向に2/3の位置の上端近傍のセグメント領域や、中央から左方向に1/2の位置の上端近傍のセグメント領域について縦ずれ/横ずれ変換係数Nを求めても良い。さらに、複数のセグメント領域について縦ずれ/横ずれ変換係数Nを求め、図9に示す補正直線をより最適化するようにしても良い。
また、上記実施の形態では、基準ドットパターンに設定されたセグメント領域について縦ずれ/横ずれ変換係数Nを求めたが、セグメント領域とは異なるサイズまたは形状の参照領域を基準ドットパターン上に設定し、この参照領域について縦ずれ/横ずれ変換係数Nを求めるようにしても良い。この場合、実測時に、当該参照領域の縦ずれ量に基づいて
、図9に示す補正直線が規定される。同様に、図11(a)に示す参照セグメント領域Sr1〜Srnも、セグメント領域とは異なるサイズまたは形状の領域であっても良い。
また、上記実施の形態では、ドットパターンのマッチング度合いを算出するために、図5(c)に示す差分値の絶対値の総和の値SAD(Sum of Absolute Difference)を用いたが、差分値の2乗の総和の値SSD(Sum of Squared Difference)を用いても良い。
また、上記実施の形態では、隣り合うセグメント領域が互いに重なるように、セグメント領域が設定されたが、左右に隣り合うセグメント領域が、互いに重ならなくても良く、また、上下に隣り合うセグメント領域が、互いに重ならなくても良い。また、上下左右に隣り合うセグメント領域のずれ量は、1画素に限られるものではなく、ずれ量が他の画素数に設定されても良い。さらに、上記実施の形態では、セグメント領域は、正方形状に設定されたが、長方形であっても良い。
また、上記実施の形態では、セグメント領域と比較領域のマッチング率を算出する前に、セグメント領域と比較領域に含まれる画素の画素値を0〜14の階調に減少したが、さらに階調を減少して2値化しても良いし、CMOSイメージセンサ240によって得られた画素値をそのまま用いて、マッチングしても良い。また、基準画像と実測画像に対して、ドットのエッジを強調させる所定の微分フィルタが適用されても良い。
また、上記実施の形態では、三角測量法を用いて距離情報が求められ、メモリ25に記憶されたが、三角測量法による演算なしに、セグメント領域の変位量(画素ずれ量)を距離情報として取得しても良く、他の手法で距離情報を取得しても良い。
また、上記実施の形態では、目標領域に照射されるレーザ光の波長帯以外の波長帯の光を除去するためにフィルタ230を配したが、たとえば、目標領域に照射されるレーザ光以外の光の信号成分を、CMOSイメージセンサ240から出力される信号から除去する回路構成が配されるような場合には、フィルタ230が省略され得る。 また、上記実施の形態では、受光素子として、CMOSイメージセンサ240を用いたが、これに替えて、CCDイメージセンサを用いることもできる。さらに、投射光学系100および受光光学系200の構成も、適宜変更可能である。
本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
1 … 物体検出装置
2 … 情報取得装置
21b … 距離取得部
23 … 撮像信号処理回路(距離取得部)
3 … 情報処理装置
31a … 物体検出部
100 … 投射光学系
110 … レーザ光源
200 … 受光光学系
240 … CMOSイメージセンサ(イメージセンサ)

Claims (7)

  1. レーザ光源から出射されたレーザ光を所定のドットパターンで目標領域に投射する投射光学系と、
    前記投射光学系に対して所定の距離だけ第1の方向に離れて並ぶように配置され、前記目標領域をイメージセンサにより撮像する受光光学系と、
    基準面に前記レーザ光を照射したときに前記受光光学系により撮像された基準ドットパターンと、実測時に前記イメージセンサにより撮像された実測ドットパターンとに基づいて、前記目標領域に含まれる物体までの距離に関する距離情報を取得する距離取得部と、を備え、
    前記基準ドットパターンと前記実測ドットパターンの何れか一方を第1のドットパターンとし、他方を第2のドットパターンとしたとき、前記距離取得部は、
    前記第1のドットパターン上に設定したセグメント領域の前記第2のドットパターン上における変位位置を探索し、
    前記第1のドットパターンに対する前記第2のドットパターンの、前記第1の方向に直交する第2の方向における第1の変位量に基づいて、前記距離情報を補正するための補正値を取得し、
    前記補正値と前記変位位置とに基づいて、前記距離情報を取得する、
    ことを特徴とする情報取得装置。
  2. 請求項1に記載の情報取得装置において、
    前記距離取得部は、前記セグメント領域の前記変位位置を前記第2のドットパターン上において前記第1の方向に探索し、前記第1の変位量に基づいて、前記変位位置の探索範囲を、前記第2の方向に補正する、
    ことを特徴とする情報取得装置。
  3. 請求項2に記載の情報取得装置において、
    前記距離取得部は、前記第1の変位量に基づいて、前記第1のドットパターンに対する前記第2のドットパターンの、前記第1の方向における第2の変位量を取得し、前記セグメント領域の探索によって得られた前記距離情報の値から、前記第2変位量に応じた前記補正値を減算することによって、前記距離情報を補正する、
    ことを特徴とする情報取得装置。
  4. 請求項3に記載の情報取得装置において、
    前記第1の変位量から前記第2の変位量を求めるためのパラメータ値を保持する記憶部を備え、
    前記距離取得部は、前記パラメータ値に基づいて、前記第1の変位量から前記第2の変位量を取得する、
    ことを特徴とする情報取得装置。
  5. 請求項4に記載の情報取得装置において、
    前記記憶部は、前記第1のドットパターン上の所定の位置に設定された参照領域に含まれるドットが、前記第2のドットパターン上において正規の位置から前記第2の方向に変位するときの、前記ドットの前記第2の方向における変位量と、前記ドットの前記第1の方向における変位量との比に関する値を、前記パラメータ値として保持する、
    ことを特徴とする情報取得装置。
  6. 請求項5に記載の情報取得装置において、
    前記距離取得部は、前記比を用いた近似演算により、前記第1のドットパターン上の各位置に設定された前記各セグメント領域に対する前記補正値を算出する、
    ことを特徴とする情報取得装置。
  7. 請求項1ないし6の何れか一項に記載の情報取得装置と、
    前記距離情報に基づいて、所定の対象物体を検出する物体検出部と、を備える、
    ことを特徴とする物体検出装置。
JP2012186654A 2012-08-27 2012-08-27 情報取得装置および物体検出装置 Pending JP2014044113A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012186654A JP2014044113A (ja) 2012-08-27 2012-08-27 情報取得装置および物体検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012186654A JP2014044113A (ja) 2012-08-27 2012-08-27 情報取得装置および物体検出装置

Publications (1)

Publication Number Publication Date
JP2014044113A true JP2014044113A (ja) 2014-03-13

Family

ID=50395478

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012186654A Pending JP2014044113A (ja) 2012-08-27 2012-08-27 情報取得装置および物体検出装置

Country Status (1)

Country Link
JP (1) JP2014044113A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102571A (zh) * 2018-07-16 2018-12-28 深圳超多维科技有限公司 一种虚拟影像的控制方法、装置、设备及其存储介质
JP2020501155A (ja) * 2016-12-07 2020-01-16 マジック アイ インコーポレイテッド 焦点調整可能な画像センサを含む距離センサ
US11320537B2 (en) 2019-12-01 2022-05-03 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11474245B2 (en) 2018-06-06 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11483503B2 (en) 2019-01-20 2022-10-25 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020501155A (ja) * 2016-12-07 2020-01-16 マジック アイ インコーポレイテッド 焦点調整可能な画像センサを含む距離センサ
JP7133554B2 (ja) 2016-12-07 2022-09-08 マジック アイ インコーポレイテッド 焦点調整可能な画像センサを含む距離センサ
US11474245B2 (en) 2018-06-06 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
CN109102571A (zh) * 2018-07-16 2018-12-28 深圳超多维科技有限公司 一种虚拟影像的控制方法、装置、设备及其存储介质
CN109102571B (zh) * 2018-07-16 2023-05-12 深圳超多维科技有限公司 一种虚拟影像的控制方法、装置、设备及其存储介质
US11483503B2 (en) 2019-01-20 2022-10-25 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11320537B2 (en) 2019-12-01 2022-05-03 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information

Similar Documents

Publication Publication Date Title
JP5138119B2 (ja) 物体検出装置および情報取得装置
JP2014044113A (ja) 情報取得装置および物体検出装置
WO2012137674A1 (ja) 情報取得装置、投射装置および物体検出装置
JP5138116B2 (ja) 情報取得装置および物体検出装置
JP5214062B1 (ja) 情報取得装置および物体検出装置
JP5143312B2 (ja) 情報取得装置、投射装置および物体検出装置
WO2013046927A1 (ja) 情報取得装置および物体検出装置
JP2012237604A (ja) 情報取得装置、投射装置および物体検出装置
JP2014137762A (ja) 物体検出装置
JP5138115B2 (ja) 情報取得装置及びその情報取得装置を有する物体検出装置
JP5143314B2 (ja) 情報取得装置および物体検出装置
WO2012144340A1 (ja) 情報取得装置および物体検出装置
JP2014085257A (ja) 情報取得装置および物体検出装置
JP2013246009A (ja) 物体検出装置
JP2013234956A (ja) 情報取得装置および物体検出装置
JP2014035294A (ja) 情報取得装置および物体検出装置
WO2013046928A1 (ja) 情報取得装置および物体検出装置
JP2014021017A (ja) 情報取得装置および物体検出装置
JP2014085282A (ja) 情報取得装置および物体検出装置
WO2013031447A1 (ja) 物体検出装置および情報取得装置
JP2013246010A (ja) 情報取得装置および物体検出装置
JP2014062796A (ja) 情報取得装置および物体検出装置
JP2013234957A (ja) 情報取得装置および物体検出装置
JP2020027054A (ja) 光学式変位計
JP2004191221A (ja) 角度検出装置及びそれを備えたプロジェクタ