JP2014238259A - 情報取得装置および物体検出装置 - Google Patents
情報取得装置および物体検出装置 Download PDFInfo
- Publication number
- JP2014238259A JP2014238259A JP2011212000A JP2011212000A JP2014238259A JP 2014238259 A JP2014238259 A JP 2014238259A JP 2011212000 A JP2011212000 A JP 2011212000A JP 2011212000 A JP2011212000 A JP 2011212000A JP 2014238259 A JP2014238259 A JP 2014238259A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- feature pattern
- area
- region
- information acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/46—Indirect determination of position data
- G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V8/00—Prospecting or detecting by optical means
- G01V8/10—Detecting, e.g. by using light barriers
- G01V8/20—Detecting, e.g. by using light barriers using multiple transmitters or receivers
- G01V8/22—Detecting, e.g. by using light barriers using multiple transmitters or receivers using reflectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Abstract
【課題】イメージセンサ上において、投射光学系と受光光学系の並び方向に対して垂直な方向にドットの受光位置がずれた場合にも、演算量を抑えつつ、適正に距離情報を取得可能な情報取得装置および物体検出装置を提供する。
【解決手段】情報取得装置は、ドットパターンでレーザ光を投射する投射光学系と、目標領域を撮像する受光光学系と、基準画像上のセグメント領域の、実測画像上の位置をX軸方向において探索し、距離情報を取得する距離取得部と、を備える。ドットパターンは、X軸方向に延びた特徴パターンF1〜F4を有し、距離取得部は、Y軸方向における特徴パターンF1〜F4の位置を検出し、距離情報を取得するための探索を実行する領域を設定する。これにより、Y軸方向にドットがずれた場合にも、演算量を抑えつつ、適正に距離情報を取得できる。
【選択図】図7
【解決手段】情報取得装置は、ドットパターンでレーザ光を投射する投射光学系と、目標領域を撮像する受光光学系と、基準画像上のセグメント領域の、実測画像上の位置をX軸方向において探索し、距離情報を取得する距離取得部と、を備える。ドットパターンは、X軸方向に延びた特徴パターンF1〜F4を有し、距離取得部は、Y軸方向における特徴パターンF1〜F4の位置を検出し、距離情報を取得するための探索を実行する領域を設定する。これにより、Y軸方向にドットがずれた場合にも、演算量を抑えつつ、適正に距離情報を取得できる。
【選択図】図7
Description
本発明は、目標領域に光を投射したときの反射光の状態に基づいて目標領域内の物体を検出する物体検出装置および当該物体検出装置に用いて好適な情報取得装置に関する。
従来、光を用いた物体検出装置が種々の分野で開発されている。いわゆる距離画像センサを用いた物体検出装置では、2次元平面上の平面的な画像のみならず、検出対象物体の奥行き方向の形状や動きを検出することができる。かかる物体検出装置では、レーザ光源やLED(Light Emitting Diode)から、予め決められた波長帯域の光が目標領域に投射され、その反射光がCMOSイメージセンサ等の受光素子により受光される。距離画像センサとして、種々のタイプのものが知られている。
所定のドットパターンを持つレーザ光を目標領域に照射するタイプの距離画像センサでは、ドットパターンを持つレーザ光の目標領域からの反射光が受光素子によって受光される。そして、ドットの受光素子上の受光位置に基づいて、三角測量法を用いて、検出対象物体の各部(検出対象物体上の各ドットの照射位置)までの距離が検出される(たとえば、特許文献1、非特許文献1)。
第19回日本ロボット学会学術講演会(2001年9月18−20日)予稿集、P1279−1280
上記物体検出装置では、投射光学系と受光光学系が横に並ぶように配置される。この場合、通常、イメージセンサ上のドットの受光位置は、投射光学系と受光光学系の並び方向にのみ変位する。上記物体検出装置では、投射光学系と受光光学系の並び方向のドットの移動量をもとに、距離が検出される。
しかし、イメージセンサの経時変化による取り付け位置のずれ、および光学素子の光学的な収差等の影響によって、イメージセンサ上のドットの受光位置は、投射光学系と受光光学系の並び方向に対して垂直な方向にずれが発生し得る。
この場合、投射光学系と受光光学系の垂直な方向にもドットの移動量を無作為に探索すると、距離検出にかかる演算量が増大し、検出対象物体の距離検出に影響を及ぼす惧れがある。
本発明は、この点に鑑みてなされたものであり、イメージセンサ上において、投射光学系と受光光学系の並び方向に対して垂直な方向にドットの受光位置がずれた場合にも、演算量を抑えつつ、適正に距離情報を取得可能な情報取得装置および物体検出装置を提供することを目的とする。
本発明の第1の態様は、光を用いて目標領域の情報を取得する情報取得装置に関する。本態様に係る情報取得装置は、目標領域に所定のドットパターンでレーザ光を投射する投射光学系と、前記投射光学系に対して所定の距離だけ第1の方向に離れて並ぶように配置され、前記目標領域をイメージセンサにより撮像する受光光学系と、基準面に前記レーザ光を照射したときに前記受光光学系により撮像された基準ドットパターンと、実測時に前記イメージセンサにより撮像された実測ドットパターンとを比較し、前記基準ドットパターン上の参照領域の、前記実測ドットパターン上の位置を前記第1の方向において探索し、探索された位置に基づいて、当該参照領域に対する距離情報を取得する距離取得部と、を備える。ここで、前記目標領域に投射された前記ドットパターンは、前記第1の方向に延びた特徴パターンを有する。さらに、前記距離取得部は、前記実測ドットパターンにおいて、前記第1の方向に垂直な第2の方向における前記特徴パターンの位置を検出し、検出した位置と、前記基準パターン上における前記特徴パターンの前記第2の方向における位置との間のずれに基づいて、前記探索を実行する領域を設定する。
本発明の第2の態様は、物体検出装置に関する。本態様に係る物体検出装置は、上記第1の態様に係る情報取得装置を有する。
本発明によれば、イメージセンサ上において、投射光学系と受光光学系の並び方向に対して垂直な方向にドットの受光位置がずれた場合にも、演算量を抑えつつ、適正に距離情報を取得可能な情報取得装置および物体検出装置を提供することができる。
本発明の効果ないし意義は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下に示す実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態により何ら制限されるものではない。
以下、本発明の実施の形態につき図面を参照して説明する。本実施の形態には、所定のドットパターンを持つレーザ光を目標領域に照射するタイプの情報取得装置が例示されている。
まず、図1に本実施の形態に係る物体検出装置の概略構成を示す。図示の如く、物体検出装置は、情報取得装置1と、情報処理装置2とを備えている。テレビ3は、情報処理装置2からの信号によって制御される。
情報取得装置1は、目標領域全体に赤外光を投射し、その反射光をCMOSイメージセンサにて受光することにより、目標領域にある物体各部の距離(以下、「3次元距離情報」という)を取得する。取得された3次元距離情報は、ケーブル4を介して情報処理装置2に送られる。
情報処理装置2は、たとえば、テレビ制御用のコントローラやゲーム機、パーソナルコンピュータ等である。情報処理装置2は、情報取得装置1から受信した3次元距離情報に基づき、目標領域における物体を検出し、検出結果に基づきテレビ3を制御する。
たとえば、情報処理装置2は、受信した3次元距離情報に基づき人を検出するとともに、3次元距離情報の変化から、その人の動きを検出する。たとえば、情報処理装置2がテレビ制御用のコントローラである場合、情報処理装置2には、受信した3次元距離情報からその人のジェスチャを検出するとともに、ジェスチャに応じてテレビ3に制御信号を出力するアプリケーションプログラムがインストールされている。この場合、ユーザは、テレビ3を見ながら所定のジェスチャをすることにより、チャンネル切り替えやボリュームのUp/Down等、所定の機能をテレビ3に実行させることができる。
また、たとえば、情報処理装置2がゲーム機である場合、情報処理装置2には、受信した3次元距離情報からその人の動きを検出するとともに、検出した動きに応じてテレビ画面上のキャラクタを動作させ、ゲームの対戦状況を変化させるアプリケーションプログラムがインストールされている。この場合、ユーザは、テレビ3を見ながら所定の動きをすることにより、自身がテレビ画面上のキャラクタとしてゲームの対戦を行う臨場感を味わうことができる。
図2は、情報取得装置1と情報処理装置2の構成を示す図である。
情報取得装置1は、光学部の構成として、投射光学系100と受光光学系200とを備えている。投射光学系100と受光光学系200は、X軸方向に並ぶように、情報取得装置1に配置される。
投射光学系100は、レーザ光源110と、コリメータレンズ120と、リーケージミラー130と、回折光学素子(DOE:Diffractive Optical Element)140と、FMD(FrontMonitor Diode)150とを備えている。また、受光光学系200は、アパーチャ210と、撮像レンズ220と、フィルタ230と、CMOSイメージセンサ240とを備えている。この他、情報取得装置1は、回路部の構成として、CPU(Central Processing Unit)21と、レーザ駆動回路22と、PD信号処理回路23と、撮像信号処理回路24と、入出力回路25と、メモリ26を備えている。
レーザ光源110は、受光光学系200から離れる方向(X軸負方向)に波長830nm程度の狭波長帯域のレーザ光を出力する。コリメータレンズ120は、レーザ光源11
0から出射されたレーザ光を平行光から僅かに広がった光(以下、単に「平行光」という)に変換する。
0から出射されたレーザ光を平行光から僅かに広がった光(以下、単に「平行光」という)に変換する。
リーケージミラー130は、誘電体薄膜の多層膜からなり、反射率が100%よりも若干低く、透過率が反射率よりも数段小さくなるように膜の層数や膜厚が設計されている。リーケージミラー130は、コリメータレンズ120側から入射されたレーザ光の大部分をDOE140に向かう方向(Z軸方向)に反射し、残りの一部分をFMD150に向かう方向(X軸負方向)に透過する。
DOE140は、入射面に回折パターンを有する。この回折パターンによる回折作用により、DOE140に入射したレーザ光は、所定のドットパターンのレーザ光に変換されて、目標領域に照射される。後述のように、かかるドットパターンは、ランダムなドットパターンの他に、X軸方向に直線状にドットが並ぶ、規則性をもった特徴的なドットパターンを含んでいる。
DOE140の回折パターンは、たとえば、ステップ型の回折ホログラムが所定のパターンで形成された構造とされる。回折ホログラムは、コリメータレンズ120により平行光とされたレーザ光をドットパターンのレーザ光に変換するよう、パターンとピッチが調整されている。
DOE140は、リーケージミラー130から入射されたレーザ光を、放射状に広がるドットパターンのレーザ光として、目標領域に照射する。ドットパターンの各ドットの大きさは、DOE140に入射する際のレーザ光のビームサイズに応じたものとなる。
FMD150は、リーケージミラー130を透過したレーザ光を受光し、受光量に応じた電気信号を出力する。
目標領域から反射されたレーザ光は、アパーチャ210を介して撮像レンズ220に入射する。
アパーチャ210は、撮像レンズ220のFナンバーに合うように、外部からの光に絞りを掛ける。撮像レンズ220は、アパーチャ210を介して入射された光をCMOSイメージセンサ240上に集光する。フィルタ230は、レーザ光源110の出射波長(830nm程度)を含む赤外の波長帯域の光を透過し、可視光の波長帯域をカットするIRフィルタ(Infrared Filter)である。
CMOSイメージセンサ240は、撮像レンズ220にて集光された光を受光して、画素毎に、受光量に応じた信号(電荷)を撮像信号処理回路24に出力する。ここで、CMOSイメージセンサ240は、各画素における受光から高レスポンスでその画素の信号(電荷)を撮像信号処理回路24に出力できるよう、信号の出力速度が高速化されている。
CPU21は、メモリ26に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、CPU21には、レーザ光源110を制御するためのレーザ制御部21aと、3次元距離情報を生成するための距離取得部21bの機能が付与される。
レーザ駆動回路22は、CPU21からの制御信号に応じてレーザ光源110を駆動する。PD信号処理回路23は、FMD150から出力された受光量に応じた電圧信号を増幅およびデジタル化してCPU21に出力する。CPU21は、PD信号処理回路23から供給される信号をもとに、レーザ制御部21aによる処理によって、レーザ光源110
の光量を増幅もしくは減少させる判断を行う。レーザ光源110の光量を変化させる必要があると判断された場合、レーザ制御部21aは、レーザ光源110の発光量を変化させる制御信号をレーザ駆動回路22に送信する。これにより、レーザ光源110から出射されるレーザ光のパワーが略一定に制御される。
の光量を増幅もしくは減少させる判断を行う。レーザ光源110の光量を変化させる必要があると判断された場合、レーザ制御部21aは、レーザ光源110の発光量を変化させる制御信号をレーザ駆動回路22に送信する。これにより、レーザ光源110から出射されるレーザ光のパワーが略一定に制御される。
撮像信号処理回路24は、CMOSイメージセンサ240を制御して、CMOSイメージセンサ240で生成された各画素の信号(電荷)をライン毎に順次取り込む。そして、取り込んだ信号を順次CPU21に出力する。CPU21は、撮像信号処理回路24から供給される信号(撮像信号)をもとに、情報取得装置1から検出対象物の各部までの距離を、距離取得部21bによる処理によって算出する。入出力回路25は、情報処理装置2とのデータ通信を制御する。
情報処理装置2は、CPU31と、入出力回路32と、メモリ33を備えている。なお、情報処理装置2には、同図に示す構成の他、テレビ3との通信を行うための構成や、CD−ROM等の外部メモリに格納された情報を読み取ってメモリ33にインストールするためのドライブ装置等が配されるが、便宜上、これら周辺回路の構成は図示省略されている。
CPU31は、メモリ33に格納された制御プログラム(アプリケーションプログラム)に従って各部を制御する。かかる制御プログラムによって、CPU31には、画像中の物体を検出するための物体検出部31aの機能が付与される。かかる制御プログラムは、たとえば、図示しないドライブ装置によってCD−ROMから読み取られ、メモリ33にインストールされる。
たとえば、制御プログラムがゲームプログラムである場合、物体検出部31aは、情報取得装置1から供給される3次元距離情報から画像中の人およびその動きを検出する。そして、検出された動きに応じてテレビ画面上のキャラクタを動作させるための処理が制御プログラムにより実行される。
また、制御プログラムがテレビ3の機能を制御するためのプログラムである場合、物体検出部31aは、情報取得装置1から供給される3次元距離情報から画像中の人およびその動き(ジェスチャ)を検出する。そして、検出された動き(ジェスチャ)に応じて、テレビ3の機能(チャンネル切り替えやボリューム調整、等)を制御するための処理が制御プログラムにより実行される。
入出力回路32は、情報取得装置1とのデータ通信を制御する。
図3は、投射光学系100と受光光学系200の設置状態を示す斜視図である。
投射光学系100と受光光学系200は、ベースプレート300に配置される。投射光学系100を構成する光学部材は、ハウジング100aに設置され、このハウジング100aがベースプレート300上に設置される。これにより、投射光学系100がベースプレート300上に配置される。150a、240aは、それぞれ、FMD150、CMOSイメージセンサ240からの信号を回路基板(図示せず)に供給するためのFPC(フレキシブルプリント基板)である。
受光光学系200を構成する光学部材は、ホルダ200aに設置され、このホルダ200aが、ベースプレート300の背面からベースプレート300に取りつけられる。これにより、受光光学系200がベースプレート300に配置される。なお、受光光学系200は、Z軸方向に光学部材が並ぶため、投射光学系100と比べ、Z軸方向の高さが高く
なっている。ベースプレート300は、Z軸方向の高さを抑えるために、受光光学系200の配置位置周辺がZ軸方向に一段高くなっている。
なっている。ベースプレート300は、Z軸方向の高さを抑えるために、受光光学系200の配置位置周辺がZ軸方向に一段高くなっている。
図3に示す設置状態において、投射光学系100の射出瞳と受光光学系200の入射瞳の位置は、Z軸方向において、略一致する。また、投射光学系100と受光光学系200は、投射光学系100の投射中心と受光光学系200の撮像中心がX軸に平行な直線上に並ぶように、X軸方向に所定の距離をもって並んで設置される。
投射光学系100と受光光学系200の設置間隔は、情報取得装置1と目標領域の基準面との距離に応じて、設定される。どの程度離れた目標物を検出対象とするかによって、基準面と情報取得装置1との間の距離が変わる。検出対象の目標物までの距離が近くなるほど、投射光学系100と受光光学系200の設置間隔は狭くなる。逆に、検出対象の目標物までの距離が遠くなるほど、投射光学系100と受光光学系200の設置間隔は広くなる。
図4(a)は、目標領域に対するレーザ光の照射状態を模式的に示す図、図4(b)は、CMOSイメージセンサ240におけるレーザ光の受光状態を模式的に示す図である。なお、同図(b)には、便宜上、目標領域に平坦な面(スクリーン)とスクリーンの前に人物が存在するときの受光状態が示されている。
図4(a)に示すように、投射光学系100からは、ドットパターンを持ったレーザ光(以下、このパターンを持つレーザ光の全体を「DP光」という)が、目標領域に照射される。図4(a)には、DP光の光束領域が実線の枠によって示されている。DP光の光束中には、DOE140による回折作用によってレーザ光の強度が高められたドット領域(以下、単に「ドット」という)が、DOE140による回折作用によって、ランダムな配置で分布するドットパターン(以下、単に「ドットパターン」という)と、ドットがX軸方向に直線状に並ぶ特徴的なドットパターン(以下、「特徴パターン」という)が含まれている。特徴パターンは、DP光の光束領域の4隅近傍に位置付けられている。
目標領域に平坦な面(スクリーン)が存在すると、これにより反射されたDP光は、図4(b)のように、CMOSイメージセンサ240上に分布する。
図4(b)には、CMOSイメージセンサ240上のDP光の全受光領域が破線の枠によって示され、CMOSイメージセンサ240の撮像有効領域に入射するDP光の受光領域が実線の枠によって示されている。CMOSイメージセンサ240の撮像有効領域は、CMOSイメージセンサ240がDP光を受光した領域のうち、センサとして信号を出力する領域であり、たとえば、VGA(横640画素×縦480画素)のサイズである。
図4(a)に示す目標領域上におけるDt0の光は、CMOSイメージセンサ240上では、図4(b)に示すDt0’の位置に入射する。4隅の特徴パターンは、撮像有効領域内に収まるように位置付けられている。また、スクリーンの前の人物の像は、CMOSイメージセンサ240上では、上下左右が反転して撮像される。
ここで、図5、図6を参照して、上記距離検出の方法を説明する。
図5は、上記距離検出手法に用いられる参照パターンの設定方法を説明する図である。
図5(a)に示すように、投射光学系100から所定の距離Lsの位置に、Z軸方向に垂直な平坦な反射平面RSが配置される。出射されたDP光は、反射平面RSによって反射され、受光光学系200のCMOSイメージセンサ240に入射する。これにより、C
MOSイメージセンサ240から、撮像有効領域内の画素毎の電気信号が出力される。出力された画素毎の電気信号の値(画素値)は、図2のメモリ26上に展開される。
MOSイメージセンサ240から、撮像有効領域内の画素毎の電気信号が出力される。出力された画素毎の電気信号の値(画素値)は、図2のメモリ26上に展開される。
以下、反射面RSからの反射によって得られた全画素値からなる画像を、「基準画像」、反射面RSを「基準面」と称する。そして、図5(b)に示すように、基準画像上に、「参照パターン領域」が設定される。なお、図5(b)には、CMOSイメージセンサ240の背面側から受光面をZ軸正方向に透視した状態が図示されている。図6以降の図においても同様である。
こうして設定された参照パターン領域に対して、所定の大きさを有する複数のセグメント領域が設定される。セグメント領域の大きさは、得られる距離情報による物体の輪郭抽出精度、CPU21に対する距離検出の演算量の負荷および後述する距離検出手法によるエラー発生率を考慮して決定される。本実施の形態では、セグメント領域の大きさは、横15画素×縦15画素に設定される。
図5(c)を参照して、参照パターン領域に設定されるセグメント領域について説明する。なお、図5(c)には、便宜上、各セグメント領域の大きさが横7画素×縦7画素で示され、各セグメント領域の中央の画素が×印で示されている。
セグメント領域は、図5(c)に示すように、隣り合うセグメント領域が参照パターン領域に対してX軸方向およびY軸方向に1画素間隔で並ぶように設定される。すなわち、あるセグメント領域は、このセグメント領域のX軸方向およびY軸方向に隣り合うセグメント領域に対して1画素ずれた位置に設定される。このとき、各セグメント領域には、固有のパターンでドットが点在する。よって、セグメント領域内の画素値のパターンは、セグメント領域毎に異なっている。隣り合うセグメント領域の間隔が狭いほど、参照パターン領域内に含まれるセグメント領域の数が多くなり、目標領域の面内方向(X−Y平面方向)における距離検出の分解能が高められる。
こうして、CMOSイメージセンサ240上における参照パターン領域の位置に関する情報と、参照パターン領域に含まれる全画素の画素値(参照パターン)と、参照パターン領域に対して設定されるセグメント領域の情報が、図2のメモリ26に記憶される。メモリ26に記憶されるこれらの情報を、以下、「参照テンプレート」と称する。
図2のCPU21は、投射光学系100から検出対象物体の各部までの距離を算出する際に、参照テンプレートを参照する。CPU21は、距離を算出する際に、参照テンプレートから得られる各セグメント領域内のドットパターンのずれ量に基づいて、物体の各部までの距離を算出する。
たとえば、図5(a)に示すように距離Lsよりも近い位置に物体がある場合、参照パターン上の所定のセグメント領域Snに対応するDP光(DPn)は、物体によって反射され、セグメント領域Snとは異なる領域Sn’に入射する。投射光学系100と受光光学系200はX軸方向に隣り合っているため、セグメント領域Snに対する領域Sn’の変位方向はX軸に平行となる。図5(a)の場合、物体が距離Lsよりも近い位置にあるため、領域Sn’は、セグメント領域Snに対してX軸正方向に変位する。物体が距離Lsよりも遠い位置にあれば、領域Sn’は、セグメント領域Snに対してX軸負方向に変位する。
セグメント領域Snに対する領域Sn’の変位方向と変位量をもとに、投射光学系100からDP光(DPn)が照射された物体の部分までの距離Lrが、距離Lsを用いて、三角測量法に基づき算出される。同様にして、他のセグメント領域に対応する物体の部分
について、投射光学系100からの距離が算出される。かかる算出手法の詳細は、たとえば、上記非特許文献1(第19回日本ロボット学会学術講演会(2001年9月18−20日)予稿集、P1279−1280)に示されている。
について、投射光学系100からの距離が算出される。かかる算出手法の詳細は、たとえば、上記非特許文献1(第19回日本ロボット学会学術講演会(2001年9月18−20日)予稿集、P1279−1280)に示されている。
かかる距離算出では、参照テンプレートのセグメント領域Snが、実測時においてどの位置に変位したかを検出する。この検出は、実測時にCMOSイメージセンサ240上に照射されたDP光から得られたドットパターンと、セグメント領域Snに含まれるドットパターンとを照合することによって行われる。以下、実測時にCMOSイメージセンサ240上の撮像有効領域に照射されたDP光から得られた全画素値からなる画像を、「実測画像」と称する。実測時のCMOSイメージセンサ240の撮像有効領域は、基準画像取得時と同様に、たとえば、VGA(横640画素×縦480画素)のサイズである。
図6(a)〜(e)は、かかる距離検出の手法を説明する図である。図6(a)は、CMOSイメージセンサ240上における基準画像に設定された参照パターン領域を示す図であり、図6(b)は、実測時のCMOSイメージセンサ240上の実測画像を示す図であり、図6(c)〜(e)は、実測画像に含まれるDP光のドットパターンと、参照テンプレートのセグメント領域に含まれるドットパターンとの照合方法を説明する図である。なお、便宜上、図6(a)、(b)には、一部のセグメント領域のみが示されており、図6(c)〜(e)には、各セグメント領域の大きさが、横9画素×縦9画素で示されている。また、図6(b)の実測画像には、便宜上、図4(b)のように、検出対象物体として基準面より前に人物が存在しており、人物の像が写り込んでいることが示されている。
図6(a)のセグメント領域Siの実測時における変位位置を探索する場合、図6(b)に示すように、実測画像上に、セグメント領域Siに対して探索領域Riが設定される。探索領域Riは、X軸方向に所定の幅を持っている。セグメント領域Siが探索領域Riにおいて1画素ずつX軸方向に送られ、各送り位置において、セグメント領域Siのドットパターンと実測画像上のドットパターンとが比較される。以下、実測画像上の各送り位置に対応する領域を、「比較領域」と称する。探索領域Riには、セグメント領域Siと同じサイズの比較領域が複数設定され、X軸方向に隣り合う比較領域は互いに1画素ずれている。
探索領域Riは、検出対象物体が基準面よりも情報取得装置1に離れる方向、および近づく方向にどの程度の距離を検出可能な範囲とするかによって決定される。図6中では、基準画像上のセグメント領域Siの画素位置に対応する実測画像上の画素位置から、X軸負方向にx画素ずれた位置からX軸正方向にx画素ずれた範囲(以下、「探索範囲Li」という)においてセグメント領域Siが送られるように探索領域Riが設定されている。本実施の形態では、−30画素ずれた位置から30画素ずれた位置までの範囲が探索範囲Liに設定される。
比較領域においてセグメント領域SiをX軸方向に1画素ずつ送りながら、各送り位置において、参照テンプレートに記憶されているセグメント領域Siのドットパターンと、実測画像のDP光のドットパターンのマッチング度合いが求められる。このようにセグメント領域Siを探索領域Ri内においてX軸方向にのみ送るのは、上記のように、通常、参照テンプレートにより設定されたセグメント領域のドットパターンは、実測時において、X軸方向の所定の範囲内でのみ変位するためである。
なお、実測時には、検出対象物体の位置によっては、セグメント領域に対応するドットパターンが実測画像からX軸方向にはみ出すことが起こり得る。たとえば、参照パターン領域のX軸負側のセグメント領域S1に対応するドットパターンが、基準面よりも遠距離の物体に反射された場合、セグメント領域S1に対応するドットパターンは、実測画像よ
りもX軸負方向に位置づけられる。この場合、セグメント領域に対応するドットパターンは、CMOSイメージセンサ240の撮像有効領域内にないため、この領域については、適正にマッチングすることができない。しかし、このような端の領域以外については、適正にマッチングすることができるため、物体の距離検出への影響は少ない。
りもX軸負方向に位置づけられる。この場合、セグメント領域に対応するドットパターンは、CMOSイメージセンサ240の撮像有効領域内にないため、この領域については、適正にマッチングすることができない。しかし、このような端の領域以外については、適正にマッチングすることができるため、物体の距離検出への影響は少ない。
なお、端の領域についても、適正にマッチングする場合には、実測時のCMOSイメージセンサ240の撮像有効領域を、基準画像取得時のCMOSイメージセンサ240の撮像有効領域よりも、大きくすることができるものを用いれば良い。たとえば、基準画像取得時において、VGA(横640画素×縦480画素)のサイズで撮像有効領域が設定された場合、実測時においては、それよりもX軸正方向およびX軸負方向に30画素分大きいサイズで撮像有効領域を設定する。これにより、実測画像が基準画像よりも大きくなるが、端の領域についても、適正にマッチングすることができる。
上記マッチング度合いの検出時には、まず、参照パターン領域の各画素の画素値と実測画像の各セグメント領域の各画素の画素値が2値化されて、メモリ26に保持される。たとえば、基準画像および実測画像の画素値が8ビットの階調の場合、0〜255の画素値のうち、所定の閾値以上の画素が、画素値1に、所定の閾値未満の画素が、画素値0に変換されて、メモリ26に保持される。その後、比較領域とセグメント領域Siとの間の類似度が求められる。すなわち、セグメント領域Siの各画素の画素値と、比較領域に対応する画素の画素値との差分が求められる。そして、求めた差分を比較領域の全ての画素について加算した値Rsadが、類似度を示す値として取得される。
たとえば、図6(c)のように、一つのセグメント領域中に、m列×n行の画素が含まれている場合、セグメント領域のi列、j行の画素の画素値T(i,j)と、比較領域のi列、j行の画素の画素値I(i,j)との差分が求められる。そして、セグメント領域の全ての画素について差分が求められ、その差分の総和により、図6(c)に示す式の値Rsadが求められる。値Rsadが小さい程、セグメント領域と比較領域との間の類似度が高い。
こうして、図6(d)に示すように、セグメント領域Siについて、探索領域Riの全ての比較領域に対して値Rsadが求められる。図6(e)は、探索領域Riの各送り位置における値Rsadの大小が模式的に示されたグラフである。セグメント領域Siについて、探索領域Riの全ての比較領域に対して値Rsadが求められると、まず、求めた値Rsadの中から、最小値Bt1が参照される。次に、求めた値Rsadの中から、2番目に小さい値Bt2が参照される。最小値Bt1と2番目に小さい値Bt2の位置が2画素以上離れた位置であり、且つ、その差分値Esが閾値未満であれば、セグメント領域Siの探索はエラーとされる。他方、差分値Esが閾値以上であれば、最小値Bt1に対応する比較領域Ciが、セグメント領域Siの移動領域と判定される。たとえば、図6(d)のように、比較領域Ciは、基準画像上のセグメント領域Siの画素位置と同位置の実測画像上の画素位置Si0よりもX軸正方向にα画素ずれた位置で検出される。これは、基準面よりも近い位置に存在する検出対象物体(人物)によって、実測画像上のDP光のドットパターンが基準画像上のセグメント領域SiよりもX軸正方向に変位したためである。なお、セグメント領域Siの大きさが大きいほど、セグメント領域Siに含まれるドットパターンのユニーク性が増し、上記エラーの発生率が減少する。本実施の形態では、セグメント領域Siの大きさは、横15画素×縦15画素に設定されるため、通常、距離検出がエラーとなることは少なく、適正にマッチングすることができる。
こうして、実測時に取得されたDP光のドットパターンから、各セグメント領域の変位位置が探索されると、上記のように、その変位位置に基づいて、三角測量法により、各セグメント領域に対応する検出対象物体の部位までの距離が求められる。
このようにして、セグメント領域S1〜セグメント領域Snまで全てのセグメント領域について、上記同様のセグメント領域の探索が行われる。
ところで、上述のように、通常、実測時において反射されたドットパターンは、X軸方向のみにずれる。しかし、CMOSイメージセンサ240の経時変化による取り付け位置のずれ、およびDOE140の光学的な収差等の影響によって、ドットパターンの受光位置がY軸方向にずれることが起こり得る。この場合、X軸方向のみならず、Y軸方向に対しても、ドットパターンのずれ量を検出する必要がある。
そこで、本実施の形態では、DOE140によって生成された4隅の特徴パターンのY軸方向のずれ量を検出し、このずれ量に応じて、X軸方向のドットパターンの探索領域RiをY軸方向にオフセットさせて、マッチング処理を実行する。
図7、図8は、本実施の形態における特徴パターンのY軸方向のずれ量の探索処理を説明する図である。
図7(a)を参照して、参照パターン領域の4隅には、X軸方向に連続的にドットが並ぶ特徴パターンF1〜F4が位置付けられている。また、上記セグメント領域とは別に、特徴パターンF1〜F4の一部を含む所定の大きさの特徴パターン領域P1〜P4が設定されている。本実施の形態では、特徴パターン領域P1〜P4の大きさは、セグメント領域と同様、横15画素×縦15画素に設定されている。これらの特徴パターン領域P1〜P4の実測時におけるY軸方向の変位量を、Y軸方向に探索領域を設定して、上記距離検出手法と同様にして、検出する。
図7(b)に示すように、まず、実測画像上に、特徴パターン領域P1〜P4に対して特徴パターン探索領域Rp1〜Rp4が設定される。特徴パターン探索領域Rp1〜Rp4は、実測画像上の、特徴パターン領域P1〜P4に対応する領域を中心に、Y軸方向に所定の幅を持っている。特徴パターン探索領域Rp1〜Rp4の幅は、実測時にドットパターンにどの程度ずれが起こり得るかを想定して設定される。なお、以下では、実測画像上における、特徴パターンF1〜F4に対応する部分を、特徴パターンF1’〜F4’と表記する。
特徴パターン領域P1〜P4が特徴パターン探索領域Rp1〜Rp4において1画素ずつY軸方向に送られ、上記距離検出手法と同様にして、特徴パターン領域P1〜P4のドットパターンと実測画像上のドットパターンとのマッチング処理が行われる。以下、特徴パターン探索領域Rp1〜Rp4の各送り位置に対応する領域を、「特徴パターン比較領域」と称する。
特徴パターンF1〜F4の長さは、それぞれ、特徴パターン領域P1〜P4のX軸方向の長さよりも数段長く設定されている。このため、実測時において、ドットパターンが、ある程度、X軸方向にずれていたとしても、特徴パターン領域F1〜F4が特徴パターン探索領域Rp1〜Rp4に掛かるようになり、後述のように、特徴パターン領域P1〜P4をY軸方向にのみ送ることで、適正にマッチングがなされ得る。
図7(c)は、図7(a)の特徴パターン領域P1周辺の一部拡大図、図7(d)は、図7(b)の特徴パターンP1周辺の一部拡大図である。なお、特徴パターンF2〜F4および特徴パターン領域P2〜P4は、特徴パターンF1および特徴パターン領域P1と、参照パターン領域との上下左右の関係が変わるのみであり、その他は、同様に設定されるため、以下、特徴パターンF1、特徴パターン領域P1についてのみ、説明する。
図7(c)に示すように、特徴パターンF1は、参照パターン領域の最左端から右方向にドットが一列に並ぶよう構成されている。X軸方向における特徴パターンF1の長さは、75画素分に相当する長さになっている。特徴パターン領域P1は、Y軸方向の中央に特徴パターンF1が位置づけられるように設定される。また、特徴パターン領域P1の左右にそれぞれ30画素分の特徴パターンF1がはみ出すよう、特徴パターンF1の中央に特徴パターン領域P1が設定される。したがって、特徴パターン領域P1は、その左端が参照パターン領域の最左端から30画素の位置となるように設定される。
また、特徴パターン領域P1は、その上端が参照パターン領域の最上端から所定の画素数Δmだけ離れるように設定される。かかる画素数Δmは、特徴パターン探索領域Rp1に応じて設定される。特徴パターン探索領域Rp1は、たとえば、CMOSイメージセンサ240の取り付け位置の経時変化によるずれや、DOE140の光学的な収差等が生じた場合に、通常、想定され得るドットパターンのY軸方向のずれ量に応じて設定される。
たとえば、図7(d)に示すように、想定されるY軸正および負方向のドットパターンのずれ量がそれぞれ5画素であれば、特徴パターン探索領域Rp1は、実測画像上の特徴パターン領域P1に対応する領域を中心に、Y軸正および負の方向にそれぞれ、5画素の探索範囲Lp1に設定される。この場合、上記画素数Δmは、図7(c)に示すように5画素またはそれ以上に設定される。これにより、図7(d)に示すように、特徴パターン探索領域Rp1を、CMOSイメージセンサ240の撮像有効領域内に収めることができる。この場合、特徴パターンF1は、図7(c)に示すように、参照パターン領域の最上端から13画素の位置に位置づけられる。
なお、特徴パターン領域P1から左右にそれぞれはみ出す特徴パターンFの画素数Δnは、距離測定時に設定されるX軸方向の探索範囲Liに応じて設定される。上記のように探索範囲Liは、検出対象物体が基準面よりも情報取得装置1に離れる方向、および近づく方向にどの程度の距離を検出可能な範囲とするかによって決定される。本実施の形態では、−30画素ずれた位置から30画素ずれた位置の範囲が探索範囲Liに設定されている。したがって、図7(c)に示すように上記画素数Δnは、それぞれ、30画素に設定される。
このように画素数Δnを設定することにより、検出対象物体が、距離検出可能な範囲のどの位置にあっても、特徴パターンF1を特徴パターン探索領域Rp1内に収めることができる。すなわち、実測時にドットパターンがX軸方向にずれたとしても、特徴パターン探索領域Rp1内に特徴パターンF1が掛かるようになる。
図8(a)は、平坦な面(検出対象物)が、距離検出が可能な範囲において、最も遠い位置にあるときの、実測画像上の特徴パターンF1’の状態を示す図である。この場合、ドットパターンはX軸正方向に30画素だけ移動し、これに応じて、特徴パターンF1’が、図7(c)の特徴パターンF1の位置からX軸正方向に30画素だけ移動する。しかしながら、上記のように画素数Δnが30画素に設定されているため、図8(a)に示すように、平坦な面(検出対象物)が、距離検出が可能な範囲において、最も遠い位置にあるときも、特徴パターンF1’を特徴パターン探索領域Rp1に収めることができる。
図8(b)は、平坦な面(検出対象物)が、距離検出が可能な範囲において、最も近い位置にあるときの、実測画像上の特徴パターンF1’の状態を示す図である。この場合、ドットパターンはX軸負方向に30画素だけ移動し、これに応じて、特徴パターンF1’が、図7(c)の特徴パターンF1の位置からX軸負方向に30画素だけ移動する。しかしながら、この場合も、上記のように画素数Δnが30画素に設定されているため、特徴
パターンF1’を特徴パターン探索領域Rp1に収めることができる。
パターンF1’を特徴パターン探索領域Rp1に収めることができる。
なお、図8(c)に示すように、特徴パターン領域P1の左端が参照パターン領域の最左端に一致するように特徴パターン領域P1を設定することもできる。この場合、特徴パターン領域P1の左からはみ出す特徴パターンF1の部分は、参照パターン領域から、はみ出す。このため、平坦な面(検出対象物)が基準面にあるとき、実測画像上においても、特徴パターンF1’の左側30画素に相当する部分が、撮像有効領域からはみ出す。しかしながら、このはみ出し部分は、平坦な面(検出対象物)が基準面から遠ざかるにつれて、参照パターン領域内に進入する。そして、平坦な面(検出対象物)が、距離検出が可能な範囲において、最も遠い位置にあるとき、図8(d)に示すように、特徴パターンF1’の左側30画素の部分が特徴パターン探索領域Rp1内に収まる。よって、図8(c)のように特徴パターン領域P1を設定した場合も、特徴パターン探索領域Rp1内に特徴パターンF1’を収めることができる。
なお、上記効果を実現するためには、特徴パターン領域P1の左右からはみ出す特徴パターンF1の長さは、30画素に相当する長さを越えても良い。
以上のように、本実施の形態では、実測時において、ドットパターンがX軸、Y軸方向のどちらにずれたとしても、特徴パターンF1が特徴パターン探索領域Rp1内に位置付けられることとなる。よって、適正に特徴パターンF1のY軸方向のずれ量を検出することができる。
また、経時変化やDOE140の光学的な収差等によるドットパターンのY軸方向のずれは、通常、中央から離れるほど、大きくなる。したがって、上記のように参照パターン領域の最も左端、且つ、最も上端付近に特徴パターンF1を位置付けることにより、ドットパターンのY軸方向のずれを好適に検出することができる。
なお、このように、X軸方向に延びた特徴パターンF1を設定すると、特徴パターンF1は、X軸方向に隣り合う複数のセグメント領域に掛かることになる。このため、特徴パターンF1を含むセグメント領域は、特徴パターンF1が掛かる15画素分のドットパターンにおいてのユニーク性が失われ、これに起因して、上記の最小の差分値Rsadと2番目に小さい差分値Rsadとの差が、小さくなりやすい。しかし、上述のように、セグメント領域は、横15画素×縦15画素の大きさを有しているため、特徴パターンF1が掛かる以外の部分において、セグメント領域のユニーク性が確保される。このため、このようにセグメント領域に特徴パターンF1が位置づけられても、当該セグメント領域に対するマッチング処理は適正に行われ得る。さらに、通常、検出対象物体は、参照パターン領域の中央付近に位置付けられ、他方、特徴パターンF1は、上述のように、参照パターン領域の最も左端、且つ、最も上端付近に位置付けられている。このため、検出対象物体に対する距離検出への特徴パターンF1の影響はさらに軽微である。
なお、特徴パターン領域P1の探索時には、特徴パターンF1が効果を発揮する。たとえば、検出対象物体が基準位置よりも近いか遠い場合、実測時のドットパターンはX軸方向にずれる。この場合、実測画像上の特徴パターン領域P1に対応する領域も、特徴パターン探索領域Rp1に対して、X軸方向にずれる。このため、特徴パターン領域P1に対応する領域は、特徴パターン探索領域Rp1内には含まれない。しかしながら、特徴パターン探索領域Rp1内には、Y軸方向の中央位置に特徴パターンF1’が掛かる特徴パターン比較領域が存在する。この特徴パターン比較領域と特徴パターン領域P1は、何れも、Y軸方向の中央位置に特徴パターンF1’、F1に対応するドットが存在する。このドットは15画素分存在する。よって、これらドットのマッチングにより、この特徴パターン比較領域との特徴パターン領域P1との間の差分値Rsadが最小になり易く、また、
この差分値Rsadと2番目に小さい差分値Rsadとの差が、大きくなり易い。よって、この特徴パターン比較領域に対して特徴パターン領域P1がマッチングすると判定され、この特徴パターン比較領域の位置が特徴パターン領域P1の移動位置として検出される。そして、この特徴パターン比較領域の位置と特徴パターン領域P1の位置との差が、特徴パターンのずれとして検出される。
この差分値Rsadと2番目に小さい差分値Rsadとの差が、大きくなり易い。よって、この特徴パターン比較領域に対して特徴パターン領域P1がマッチングすると判定され、この特徴パターン比較領域の位置が特徴パターン領域P1の移動位置として検出される。そして、この特徴パターン比較領域の位置と特徴パターン領域P1の位置との差が、特徴パターンのずれとして検出される。
以上のようにして、参照パターン領域に対して特徴パターン領域P1〜P4が設定され、特徴パターン領域P1〜P4に関する情報が、参照テンプレートとともに、図2のメモリ26に記憶される。
図9は、本実施の形態における距離検出処理の流れを示す図である。
図9(a)は、参照テンプレート生成処理の流れを示す図である。これらの処理は、情報取得装置1のセットアップ時に、設定者によって設定装置を用いて行われる。
参照テンプレート生成処理時には、まず、基準面のみが配置された状態で反射されたDP光を撮像し、基準画像を取得する(S11)。このとき、基準画像には、図7(a)に示すように、特徴パターンF1〜F4が、4隅に撮像されている。
そして、設定装置は、CMOSイメージセンサ240から得られた基準画像の2値化処理を行う(S12)。これにより、基準画像は、ドットの有無が0と1で表現された画像となる。そして、設定装置は、上述の如く、2値化された基準画像上に、セグメント領域を設定し、参照テンプレートを生成する(S13)。さらに、設定装置は、図7に示したように、特徴パターンF1〜F4上に特徴パターン領域P1〜P4を設定する(S14)。生成された参照テンプレート、特徴パターン領域P1〜P4に関する情報は、図2のメモリ26に消去不可能な状態で記憶される。こうして、メモリ26に記憶された参照テンプレート、特徴パターン領域P1〜P4に関する情報は、距離検出する際にCPU21により参照される。
図9(b)は、距離検出時の処理の流れを示す図である。これらの処理は、距離検出時に、情報取得装置1のCPU21の距離取得部21bによって行われる。
距離検出時には、まず、目標領域から反射されたDP光を撮像し、実測画像を取得する(S21)。このとき、実測画像には、図7(b)に示すように、特徴パターンF1〜F4が、4隅に撮像されている。そして、CPU21は、基準画像と同様に、実測画像の2値化処理を行う(S22)。これにより、実測画像は、基準画像同様、ドットの有無が0と1で表現された画像となる。そして、CPU21は、メモリ26に記憶された特徴パターン領域に関する情報を用いて、特徴パターンの縦画素ずれ量を検出するマッチング処理を行う(S23)。なお、特徴パターンマッチング処理については、図10〜図12を参照して、後述する。
特徴パターンマッチング処理にて、各特徴パターン領域P1〜P4の縦画素ずれ量が検出されると、CPU21は、各縦画素ずれ量に応じて、セグメント領域の探索領域を縦方向に補正するためのオフセットパターン設定処理を行う(S24)。なお、オフセットパターン設定処理については、図13、図14を参照して、後述する。
そして、CPU21は、設定されたオフセットパターンに応じて、セグメント領域の探索領域をY軸方向にオフセットさせて、上記距離検出手法の距離マッチング処理を行い(S25)、距離検出の処理が完了する。
図10、図11は、図9(b)のS23における特徴パターンのマッチング処理の流れを示す図である。
まず、CPU21は、メモリ26に記憶された参照テンプレートより、基準画像の画素情報(参照パターン)とCMOSイメージセンサ240上における参照パターン領域の位置に関する情報を読み込む(S201)。次に、CPU21は、変数iに1をセットし(S202)、特徴パターン領域PiのCMOSイメージセンサ240上における位置情報をメモリ26から読み込み、読み込んだ特徴パターン領域Piの位置情報とS201で読み込んだ基準画像の画素情報をもとに、基準画像上の特徴パターン領域Piの画素情報を設定する(S203)。そして、読み出した特徴パターン領域Piの位置情報をもとに、基準画像上の特徴パターン領域Piの位置と同位置の実測画像上の位置を設定する(S204)。
次に、CPU21は、変数jに−xをセットし(S205)、S204で設定された実測画像上の位置からY軸方向にj画素離れた位置の特徴パターン比較領域の画素情報を読み込む(S206)。そして、S206で読み込んだ特徴パターン比較領域の画素情報と、S203で読み込んだ特徴パターン領域Piの画素情報を比較し、図6(e)で示した式により値Rsadが算出される(S207)。算出された値Rsadは、特徴パターン領域PiのY軸方向の画素ずれ量j(変数jの値)と関連付けられてメモリ26に記憶される。
その後、CPU21は、変数jがxに等しいかを判定する(S208)。変数jがxに等しくない場合(S208:NO)、CPU21は、変数jに1を加算し(S209)、処理をS206に戻す。xには、想定され得る縦画素ずれ量として5が設定され、Y軸正方向に5画素ずれた位置からY軸負方向に5画素ずれた位置まで、処理S206〜S207の処理が繰り返される。
変数jがxに等しくなると(S208:YES)、特徴パターン探索領域Rpiでの特徴パターン領域Piの探索が完了し、特徴パターン領域Piの画素ずれ量に関連付けられた値Rsadをもとに、特徴パターン領域Piの縦(Y軸方向)画素ずれ量の取得処理が行われる(S210)。
図11を参照して、CPU21は、まず、特徴パターン領域Piについて、Y軸方向の画素ずれ量jと関連付けられてメモリ26に記憶された値Rsadから、最小値Bt1と、2番目に小さい値Bt2を読み込み、それらの差分値Esを算出する(S221)。そして、CPU21は、算出した差分値Esが閾値以上であるかを判定する(S222)。
差分値Esが閾値以上である場合(S222:YES)、CPU21は、最小値Bt1の画素ずれ量に対応する特徴パターン比較領域が特徴パターン領域Piにマッチングしたとみなし、最小値Bt1の画素ずれ量を図11(b)に示す縦画素ずれ量テーブルTに記憶する(S223)。
差分値Esが閾値未満である場合(S222:NO)、CPU21は、特徴パターン領域Piのドットパターンにマッチングする領域がなかったとして、エラーの情報を縦画素ずれ量テーブルTに設定する(S224)。エラー情報は、通常の縦画素ずれ量と区別可能な値が記憶される。
こうして、特徴パターン領域Piの比較結果をもとに縦画素ずれ量取得処理が終了する。
図10に戻り、特徴パターン領域Piについて、縦画素ずれ量取得処理が完了すると、CPU21は、変数iがnに等しいかを判定する(S211)。変数iがnに等しくない場合(S211:NO)、変数iに1を加算し(S212)、処理をS203に戻す。nには、参照パターン領域に設定された特徴パターン領域の数として4が設定され、参照パターン領域に設定された全ての特徴パターン領域P1〜P4について、処理S203〜S210の処理が繰り返される。
変数iがnに等しい場合(S211:YES)、CPU21は、縦画素ずれ量テーブルTに設定されたエラー情報の補正を行う(S213)。具体的には、縦画素ずれ量テーブルTにエラー情報が設定されている場合、正常に取得できた他の縦画素ずれ量に基づいて、縦画素ずれ量を補間する。この場合、縦方向の画素ずれは、上下方向に対称に生じる傾向があるため、この点を考慮して、補間を行えば良い。
たとえば、特徴パターン領域P1についてのみ、縦画素ずれ量がとれていないような場合、同じ行に設定された特徴パターン領域P3の縦画素ずれ量の2を、特徴パターン領域P1の縦画素ずれ量として設定する。また、特徴パターン領域P2、P4について縦画素ずれ量がとれていないような場合、同じ列に設定された特徴パターン領域P1、P3の縦画素ずれ量に負の符号を付した値を、それぞれ、特徴パターン領域P2、P3の縦画素ずれ量として設定する。さらに、特徴パターン領域P2〜P4について縦画素ずれ量がとれていないような場合、特徴パターン領域P1の縦画素ずれ量を、特徴パターン領域P3の縦画素ずれ量として設定し、特徴パターン領域P1の縦画素ずれ量に負の符号を付した値を、それぞれ、特徴パターン領域P2、P4の縦画素ずれ量として設定する。
こうすることで、一部の特徴パターン領域の縦画素ずれ量の取得がエラーとなった場合にも、適正な縦画素ずれ量を用いることができる。なお、全ての縦画素ずれ量がエラーとなった場合は、CPU21は、縦画素ずれ量を0に設定する。
こうして、全ての特徴パターン領域P1〜P4について、縦画素ずれ量の検出が完了し、処理が終了する。
図12は、本実施の形態におけるY軸負方向、X軸正方向にドットパターンが3画素ずれた場合の特徴パターンP1のマッチング状況の例を模式的に示す図である。
図12(a)に示すように、特徴パターン領域P1に対応する特徴パターンは、0画素ずれの特徴パターン比較領域Cp0からY軸負方向に3画素、X軸正方向に3画素ずれたCP0’の位置に変位している。
この場合、図12(b)に示すように、特徴パターン領域P1を特徴パターン探索領域Rp1において、Y軸方向に1画素ずつ送り、ドットパターンを比較すると、Y軸負方向に3画素ずれた位置で、特徴パターンF1が実測画像上の特徴パターンF1’とマッチングする。このとき、特徴パターンF1以外のドットは、実測画像上においてX軸正方向にずれているため、ほぼマッチングされない。しかしながら、特徴パターンF1が実測画像上の特徴パターンF1’とマッチングすることにより、この位置の特徴パターン比較領域Cp1との差分値Rsadが小さくなる。その結果、特徴パターン比較領域Cp1の位置に特徴パターン領域P1が移動したと判定され、適正に、縦画素ずれ量が3画素であることが検出される。
なお、たとえば、図12(c)の比較例に示すように、X軸方向に延びる特徴パターンが設けられていない場合、Y軸方向の画素ずれを検出するために設定されたドットパターン領域P1’を、Y軸方向だけではなく、X軸方向にもずらして、マッチングを行う必要
があり、演算量が増大する。この場合、本実施の形態と同様に、X軸方向に−30画素〜30画素の範囲を検出範囲とすると、X軸方向に60画素分ずらし、且つ、Y軸方向に10画素分ずらして、ドットパターン領域P1’の縦画素ずれ量を探索する必要があり、演算量は、本実施の形態の略60倍となる。
があり、演算量が増大する。この場合、本実施の形態と同様に、X軸方向に−30画素〜30画素の範囲を検出範囲とすると、X軸方向に60画素分ずらし、且つ、Y軸方向に10画素分ずらして、ドットパターン領域P1’の縦画素ずれ量を探索する必要があり、演算量は、本実施の形態の略60倍となる。
他方、本実施の形態では、X軸方向に延びた特徴パターンを有しているため、特徴パターン領域P1をY軸方向のみにずらすことにより、ドットパターンの縦画素ずれ量を検出することができる。したがって、比較例に比べて、演算量を極めて小さいものとすることができる。
図13(a)は、図9(b)のS24におけるオフセットパターン設定処理の流れを示す図である。図13(b)は、各セグメント領域とそのセグメント領域の探索領域のオフセット量が模式的に示された図である。なお、図13(b)には、便宜上、横16個×縦12個のセグメント領域が互いに重ならないように簡略化して示されている。また、便宜上、特徴パターン領域P1〜P4とその縦画素ずれ量が併せて示されている。
図13(a)を参照して、まず、CPU21は、図11(b)に示した縦画素ずれ量テーブルTに記憶された特徴パターン領域P1〜P4の縦画素ずれ量を読み込む(S231)。そして、CPU21は、図13(b)に示すように、読み込んだ特徴パターン領域P1〜P4の縦画素ずれ量に応じて、4隅のセグメント領域S1〜S4に対する探索領域R1〜R4のオフセット量を設定する(S232)。
図13(b)を参照して、左上隅近傍に設定された特徴パターン領域P1は、縦画素ずれ量が3と検出されている。この縦画素ずれ量に応じ、最も左上隅のセグメント領域S1のオフセット量が3に設定される。また、同様にして、特徴パターン領域P2〜P4の縦画素ずれ量に応じて、セグメント領域S2のオフセット量が−2、セグメント領域S3のオフセット量が2、セグメント領域S4のオフセット量が−1に設定される。
図13(a)に戻り、次に、CPU21は、最左端に設定されたセグメント領域S1とセグメント領域S2のオフセット量に基づき、最左端の全てのセグメント領域について、各セグメント領域の上下方向の画素位置に応じて、比例的に各オフセット量を設定する(S233)。このとき、各セグメント領域のオフセット量は、それぞれ整数になるように調整される。したがって、Y軸方向に隣り合うセグメントのオフセット量が互いに等しい場合もある。
図13(a)に戻り、CPU21は、同様にして、最右端に設定されたセグメント領域S3とセグメント領域S4のオフセット量に基づき、最右端の全てのセグメント領域について、各セグメント領域の上下方向の画素位置に応じて、比例的に各オフセット量を設定する(S234)。
こうして、最左端および最右端のセグメント領域について、オフセット量が設定されると、CPU21は、最左端と最右端のセグメント領域のオフセット量に基づき、その間にある各行のセグメント領域について、左右方向の画素位置に応じて比例的にオフセット量を設定する。
こうして、CPU21は、上記のようにして設定された各セグメント領域に対するオフセットパターンをメモリ26に記憶して、処理を完了する。なお、説明の便宜上、横16個×縦12個分のセグメント領域に対してオフセット量が設定されたオフセットパターンを説明したが、実際には、上述の如く、セグメント領域は1画素間隔で設定されるため、基準画像の画素数に応じて、横640画素×縦480画素分のオフセット量が設定された
オフセットパターンが記憶される。
オフセットパターンが記憶される。
このように、本実施の形態では、4つの特徴パターン領域P1〜P4の縦画素ずれ量に基づいて、全てのセグメント領域の探索領域のオフセット量を演算することができるため、演算量を抑えつつ、精度よく縦画素ずれ量を検出することができる。
図14は、図13のオフセットパターンを用いてセグメント領域の実測画像上の探索領域をオフセットさせる状況を模式的に示す図である。
左上のセグメント領域S1については、図13に示すとおりオフセット量が3画素であるため、基準の探索領域R1から上方向に3画素だけオフセットした探索領域R1’が設定される。そして、この探索領域R1’において、セグメント領域S1に対するマッチング処理が行われる。同様に、右上のセグメント領域S3については、基準の探索領域R3から上方向に2画素だけオフセットした探索領域R3’が設定され、セグメント領域S2、S4については、それぞれ、基準の探索領域R2、R4から下方向に2画素、1画素だけオフセットした探索領域R2’、R4’が設定される。そして、これら探索領域R2’〜R4’において、セグメント領域S2〜S4に対するマッチング処理が行われる。
なお、図13の例では、最左端中央のセグメント領域S4のオフセット量は、0であり、最右端中央のセグメント領域S5のオフセット量も、0であるため、この行のセグメント領域の探索領域については、オフセットされず、基準の探索領域を用いて各セグメント領域のマッチング処理が行われる。
このように、本実施の形態では、特徴パターン領域P1〜P4で検出した縦画素ずれ量に応じて、各セグメント領域の探索領域をオフセットさせることで、実測時において、ドットパターンが縦方向(Y軸方向)にずれたとしても、適正にマッチングすることができる。
以上、本実施の形態によれば、4隅に設定された特徴パターンの縦画素ずれ量に応じたオフセットパターンを用いて、セグメント領域の探索領域がオフセットされてマッチングされるため、実測時において、ドットの受光位置がY軸正方向またはY軸負方向にずれても、適正に距離を検出することができる。
また、本実施の形態によれば、DOE140により、X軸方向にドットが並ぶ特徴パターンが設定されることにより、特徴パターンの縦画素ずれ量をY軸方向の探索のみによって、検出できるため、各セグメント領域のオフセット量の演算量を抑えることができる。
また、本実施の形態によれば、4隅の特徴パターン領域の縦画素ずれ量に応じて、全てのセグメント領域のオフセット量を算出して設定できるため、演算量をさらに抑えつつ、精度よく縦画素ずれ量を検出することができる。
また、本実施の形態によれば、特徴パターンは、検出対象物体が位置付けられにくい参照パターン領域の上下左右の端部に位置付けられるため、ドットパターンの縦画素ずれを好適に検出することができる。
以上、本発明の実施の形態について説明したが、本発明は、上記実施の形態に何ら制限されるものではなく、また、本発明の実施の形態も上記の他に種々の変更が可能である。
たとえば、上記実施の形態では、4つの特徴パターンF1〜F4が、それぞれが参照パターン領域の隅に位置付けられるように設定されたが、特徴パターンの数は、他の数であ
っても良い。たとえば、図15(a)に示すように、少なくとも、2つの特徴パターンF1、F2が、それぞれ、最上端、および最下端に位置付けられても良い。この場合、最上端の全てのセグメント領域には、特徴パターンF1に基づいて検出された縦ずれ量に応じたオフセット量が設定され、最下端の全てのセグメント領域には、特徴パターンF2に基づいて検出された縦ずれ量に応じたオフセット量が設定される。また、最上端と最下端の間にあるセグメント領域には、各セグメント領域の上下方向の画素位置に応じて、比例的に、オフセット量が設定される。これにより、上記実施の形態と略同様の効果が奏される。
っても良い。たとえば、図15(a)に示すように、少なくとも、2つの特徴パターンF1、F2が、それぞれ、最上端、および最下端に位置付けられても良い。この場合、最上端の全てのセグメント領域には、特徴パターンF1に基づいて検出された縦ずれ量に応じたオフセット量が設定され、最下端の全てのセグメント領域には、特徴パターンF2に基づいて検出された縦ずれ量に応じたオフセット量が設定される。また、最上端と最下端の間にあるセグメント領域には、各セグメント領域の上下方向の画素位置に応じて、比例的に、オフセット量が設定される。これにより、上記実施の形態と略同様の効果が奏される。
また、2つの特徴パターンF1、F2は、縦方向に並ぶ必要はなく、たとえば、図15(b)に示すように、対角の位置にあっても良いし、左右の端ではなく、その他の位置にあっても良い。また、図15(c)に示すように、6つの特徴パターンF1〜F6が位置付けられても良い。これらの場合も、上記実施の形態と同様、各セグメント領域に対して、比例的に、オフセット量が設定される。
さらには、図15(d)に示すように、1つの特徴パターンF1が、参照パターン領域に位置付けられていても良い。この場合、上記実施の形態において特徴パターン領域P2〜P4に対するマッチングがエラーであった場合と同様、特徴パターン領域P1に基づいて取得された参照パターン領域の左上の隅のオフセット量が、参照パターン領域の右上の隅のセグメント領域に設定され、特徴パターン領域P1に基づいて取得されたオフセット量に負の符号を付加したオフセット量が、左下と右下のセグメント領域にそれぞれ設定される。そして、図13の場合と同様、これら4つの隅のセグメント領域のオフセット量をもとに、他のセグメント領域のオフセット量が、比例的に設定される。この場合、上記実施の形態に比べ、オフセット量の設定精度が低下するが、一つの特徴パターン領域P1についてのみ縦画素ずれ量を検出すれば良いため、縦画素ずれ量の検出のための演算量を抑えることができる。
また、特徴パターンが、参照パターン領域の中央付近に設定されても良い。この場合、特徴パターンの位置に検出対象物体が位置付けられやすく、距離検出に影響を及ぼしやすいが、中央付近の縦画素ずれ量をも考慮して、各セグメント領域のオフセット量をより細かく設定できる。
なお、上記実施の形態、および図15(a)〜図15(c)に示したように、少なくとも、2つの特徴パターンが、それぞれ、最上端、および最下端に位置付けられた方が、それぞれの端部において、縦画素ずれ量を好適に検出することができ、且つ、検出対象物体の距離検出への影響も少なく、より望ましい。
また、上記実施の形態では、所定の領域において、ドットがX軸方向に直線状に並ぶように分布することにより、他のランダムなドットパターンと区別可能な特徴パターンが設定されたが、DOE140によって生成されるDP光のドット数がかなり多いような場合には、所定の領域において、ドットがX軸方向に直線状に1つも並ばないように分布することにより、他のランダムなドットパターンと区別可能な特徴パターンが生成されても良い。この場合も、上記実施の形態と同様に、ドットが並ばないことによって特徴づけられたパターンの縦画素ずれ量をY軸方向の探索のみによって、検出できるため、演算量を抑えつつ、適正に距離を検出することができる。
また、上記実施の形態では、特徴パターンは、ドットがX軸方向に直線上に並ぶことによって、設定されたが、X軸方向に直線状に延び、且つ、所定の規則性を持つよう構成されていれば、他のパターンで構成されても良い。たとえば、図16(a)のように、ドットが10画素分連続し、ドットが途切れる隙間が1画素程度と非常に短いようなパターン
で特徴パターンが構成されても良い。この場合、ドットパターンがX軸方向にずれることにより、隙間の部分のマッチングがとれなくなるが、隙間よりも線部が数段長く設定されているため、上記実施の形態同様、縦画素ずれ量をY軸方向の探索のみによって、適正に検出することができる。
で特徴パターンが構成されても良い。この場合、ドットパターンがX軸方向にずれることにより、隙間の部分のマッチングがとれなくなるが、隙間よりも線部が数段長く設定されているため、上記実施の形態同様、縦画素ずれ量をY軸方向の探索のみによって、適正に検出することができる。
また、上記実施の形態では、特徴パターンは、4隅にそれぞれY軸方向に1画素の太さで1本ずつ直線状にドットが並ぶように設定されたが、1本ではなく、2本以上で直線状にドットが並ぶように設定されても良いし(図15(b)参照)、Y軸方向に2画素以上の太さで直線状にドットが並ぶように設定されても良い(図15(c)参照)。こうすると、より多い画素数の特徴パターンで、精度よく特徴パターン領域の縦画素ずれ量を演算することができる。しかし、他方、特徴パターンが掛かるセグメント領域では、内部に含まれるランダムドットパターンの割合が減少し、ユニーク性が失われることになる。このため、セグメント領域に対するマッチング処理の観点からは、上記実施の形態のように、特徴パターンは、Y軸方向に1画素の太さで1本ないし2本程度、直線状に並ぶように設定されるのが望ましい。
また、上記実施の形態では、特徴パターンは、特徴パターン領域の中央に位置するように位置付けられたが、図17(a)に示すように、特徴パターン領域P1の上端に特徴パターンF1が位置付けられても良い。この場合、特徴パターンF1が、上方向にずれると、CMOSイメージセンサ240の撮像有効領域から外れやすくなるが、図17(a)のように、特徴パターン領域P1を、参照パターン領域の最上端から想定され得るY軸方向のずれ量の5画素数分以上、離れた位置に設定すると、特徴パターンF1がCMOSイメージセンサ240の撮像有効領域から外れることはなく、上記実施の形態同様、縦画素ずれ量をY軸方向の探索のみによって、適正にマッチングすることができる。また、本変更例では、特徴パターンF1が、上記実施の形態よりも、参照パターン領域の最上端に近い位置に位置付けられるため、一層、特徴パターンが検出対象物体に掛かりにくくなり、より好適に特徴パターンF1の縦画素ずれ量を検出することができる。
また、上記実施の形態では、特徴パターン領域P1は、特徴パターン探索領域Rp1が撮像有効領域内に収まるように、参照パターン領域の最上端から5画素離れた位置に設定されたが、図17(b)に示すように、特徴パターン領域P1は、参照パターン領域の最上端の位置に設定されても良い。この場合、特徴パターン探索領域Rp1は、上側の領域が、参照パターン領域から外れるため、その領域において、差分値Rsadが大きくなる。しかし、少なくとも、実測画像上において特徴パターンF1’が撮像有効領域内に位置付けられていれば、実測画像上の特徴パターンF1’と特徴パターン領域P1上の特徴パターンF1とが整合する位置の特徴パターン比較領域において、差分値Rsadが小さくなり、適正にマッチングがなされ得る。
図17(b)の例では、特徴パターンF1は、上記実施の形態同様、特徴パターン領域P1の中央に位置付けられているため、実測画像上においてドットパターンが上半分の7画素分、上方向にずれたとしても、特徴パターンF1’は、撮像有効領域内に位置付けられる。上述のように、通常、想定され得る縦画素ずれ量は、5画素程度であるため、図17(b)の例では、実測時において、特徴パターンF1’は、撮像有効領域内に位置付けられることとなる。このため、適正に縦画素ずれ量を検出することができる。
また、上記実施の形態では、特徴パターン領域の大きさは、セグメント領域の大きさと同様に、横15画素×縦15画素のサイズが設定されたが、セグメント領域と異なるサイズが設定されても良い。セグメント領域の場合、上述のように、サイズを小さくすると、ドットパターンのユニーク性が減少し、マッチングのエラー率が上昇する。他方、特徴パターン領域の場合、X軸方向にドットが直線状に並ぶ特徴パターンを有するため、ランダ
ムなドットパターンのみを持つセグメント領域よりも、ある程度、ドットパターンのユニーク性が失われにくい。したがって、図17(c)に示すように、特徴パターン領域P1は、セグメント領域よりも小さい横9画素×縦9画素のサイズとしても良い。この場合、特徴パターン領域P1を小さくすることができるため、縦画素ずれ量を探索するためのマッチングにかかる演算量をさらに減少させることができる。また、特徴パターン領域P1のX軸方向に含まれる画素の数も小さくなるため、特徴パターンF1のX軸方向の長さも上記実施の形態の75画素から69画素に抑えることができる。
ムなドットパターンのみを持つセグメント領域よりも、ある程度、ドットパターンのユニーク性が失われにくい。したがって、図17(c)に示すように、特徴パターン領域P1は、セグメント領域よりも小さい横9画素×縦9画素のサイズとしても良い。この場合、特徴パターン領域P1を小さくすることができるため、縦画素ずれ量を探索するためのマッチングにかかる演算量をさらに減少させることができる。また、特徴パターン領域P1のX軸方向に含まれる画素の数も小さくなるため、特徴パターンF1のX軸方向の長さも上記実施の形態の75画素から69画素に抑えることができる。
また、上記実施の形態では、特徴パターンは、深さ方向の距離検出精度、および特徴パターン領域の大きさに応じて、X軸方向に75画素分のドットが並んだが、それよりも少ない数、または多い数の画素数のドットが並んでも良い。たとえば、通常の用途では、セグメント領域が20〜30画素ずれる位置に検出対象物体が位置付けられるようなことがないようであれば、特徴パターンの長さは、セグメント領域のずらし量(探索範囲)よりも少し少ない画素数分の長さであっても良い。
また、上記実施の形態では、図13(b)に示すように、各セグメント領域のオフセット量は、各セグメント領域の参照パターン領域上の位置に応じて、比例的に変化させたが、比例的ではなく、参照パターン領域の位置に応じて、所定の重みづけをして変化させても良い。たとえば、レーザ光の出射波長が変動すると、DOE140の光学特性によって、0次光を中心にドットパターンが放射状に広がる傾向がある。このような場合、ドットパターンの中心からY軸正方向またはY軸負方向に離れた位置のセグメント領域では、オフセット量を大きくし、中心付近のセグメント領域では、オフセット量を小さくすれば良い。こうすると、レーザ光の出射波長変動の傾向に応じて、適正にマッチングすることができる。
また、上記実施の形態では、特徴パターン領域の縦画素ずれ量の検出がエラーとなった場合、他の縦画素ずれ量の値を補間したが、補間せず、縦画素ずれ量に0を設定しても良い。さらに、上記実施の形態では、特徴パターン領域の縦画素ずれ量の演算において、最小の差分値Rsadと2番目に小さい差分値Rsadの差に基づいてエラーを判定したが、最小の差分値Rsadが所定の閾値よりも、大きい場合にエラーとするように判定しても良い。この場合の閾値は、たとえば、特徴パターン領域に含まれる総画素数から特徴パターン領域に含まれる特徴パターンの画素数を引いた数(たとえば、特徴パターン領域の大きさが横15画素×15画素の場合、210)が用いられても良い。
また、上記実施の形態では、セグメント領域をX軸方向に−30画素〜30画素の探索範囲でずらして、距離検出を行ったが、検出対象物体の深さ方向の距離検出精度に応じて、その他の画素数であっても良い。また、上記実施の形態では、特徴パターン領域をY軸方向に−5画素〜5画素の探索範囲でずらして、縦画素ずれ量を検出したが、想定され得る縦画素ずれ量に応じて、その他の画素数であっても良い。
また、上記実施の形態では、隣り合うセグメント領域が互いに重なるように、セグメント領域が設定されたが、左右に隣り合うセグメント領域が、互いに重ならないように、セグメント領域が設定されてもよく、また、上下に隣り合うセグメント領域が、互いに重ならないように、セグメント領域が設定されても良い。また、上下左右に隣り合うセグメント領域のずれ量は、1画素に限られるものではなく、ずれ量が他の画素数に設定されても良い。また、上記実施の形態では、セグメント領域の大きさが15画素×15画素が設定されたが、検出精度に応じて、任意に設定可能である。さらに、上記実施の形態では、セグメント領域および特徴パターン領域は、正方形状に設定されたが、長方形であっても良い。
また、上記実施の形態では、基準画像上にセグメント領域を設定し、実測画像上の対応するドットパターンの位置を探索することにより、距離マッチングを行ったが、実測画像上にセグメント領域を設定し、基準画像上の対応するドットパターンの位置を探索することにより、距離マッチングを行っても良い。
また、上記実施の形態では、距離検出のエラー判定として、最も照合率の高いRsadと、その次に照合率が高いRsadとの差分が閾値を超えているかに基づいて、エラーが判定されたが、最も照合率の高いRsadが所定の閾値を超えているかに基づいて、エラーが判定されても良い。
また、上記実施の形態では、セグメント領域と比較領域のマッチング率を算出する前に、セグメント領域と比較領域に含まれる画素の画素値を2値化したが、CMOSイメージセンサ240によって得られた画素値をそのまま用いて、マッチングしても良い。また、上記実施の形態では、CMOSイメージセンサ240によって得られた画素値をそのまま2値化したが、画素値について、所定の画素の重みづけ処理、および背景光の除去処理、等の補正処理を行った後に、2値化、もしくは多値化しても良い。
また、上記実施の形態では、三角測量法を用いて距離情報が求められ、メモリ26に記憶されたが、物体の輪郭抽出を主目的とするような場合は、三角測量法を用いた距離を演算せずに、セグメント領域の変位量(画素ずれ量)が距離情報として取得されても良い。
また、上記実施の形態では、1つのレーザ光源110と1つのDOE140により、特徴パターンとランダムなドットパターンが生成されたが、たとえば、特徴パターンとランダムなドットパターンが、それぞれ、別々のレーザ光源とDOE、または、1つのレーザ光源と複数のDOEによって生成されても良い。
また、上記実施の形態では、目標領域に照射されるレーザ光の波長帯以外の波長帯の光を除去するためにフィルタ230を配したが、たとえば、目標領域に照射されるレーザ光以外の光の信号成分を、CMOSイメージセンサ240から出力される信号から除去する回路構成が配されるような場合には、フィルタ230を省略することができる。また、アパーチャ210の配置位置は、何れか2つの撮像レンズの間であっても良い。
また、上記実施の形態では、受光素子として、CMOSイメージセンサ240を用いたが、これに替えて、CCDイメージセンサを用いることもできる。さらに、投射光学系100および受光光学系200の構成も、適宜変更可能である。また、情報取得装置1と情報処理装置2は一体化されても良いし、情報取得装置1と情報処理装置2がテレビやゲーム機、パーソナルコンピュータと一体化されても良い。
本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
1 … 情報取得装置
21 … CPU(距離取得部)
21b … 距離取得部(距離取得部)
24 … 撮像信号処理回路(距離取得部)
100 … 投射光学系
110 … レーザ光源
120 … コリメータレンズ
140 … DOE(回折光学素子)
200 … 受光光学系
240 … CMOSイメージセンサ(イメージセンサ)
S1〜Sn … セグメント領域(参照領域)
F1〜F6 … 特徴パターン
P1〜P6 … 特徴パターン領域
21 … CPU(距離取得部)
21b … 距離取得部(距離取得部)
24 … 撮像信号処理回路(距離取得部)
100 … 投射光学系
110 … レーザ光源
120 … コリメータレンズ
140 … DOE(回折光学素子)
200 … 受光光学系
240 … CMOSイメージセンサ(イメージセンサ)
S1〜Sn … セグメント領域(参照領域)
F1〜F6 … 特徴パターン
P1〜P6 … 特徴パターン領域
Claims (7)
- 光を用いて目標領域の情報を取得する情報取得装置において、
目標領域に所定のドットパターンでレーザ光を投射する投射光学系と、
前記投射光学系に対して所定の距離だけ第1の方向に離れて並ぶように配置され、前記目標領域をイメージセンサにより撮像する受光光学系と、
基準面に前記レーザ光を照射したときに前記受光光学系により撮像された基準ドットパターンと、実測時に前記イメージセンサにより撮像された実測ドットパターンとを比較し、前記基準ドットパターン上の参照領域の、前記実測ドットパターン上の位置を前記第1の方向において探索し、探索された位置に基づいて、当該参照領域に対する距離情報を取得する距離取得部と、を備え、
前記目標領域に投射された前記ドットパターンは、前記第1の方向に延びた特徴パターンを有し、
前記距離取得部は、前記実測ドットパターンにおいて、前記第1の方向に垂直な第2の方向における前記特徴パターンの位置を検出し、検出した位置と、前記基準パターン上における前記特徴パターンの前記第2の方向における位置との間のずれに基づいて、前記探索を実行する領域を設定する、
ことを特徴とする情報取得装置。 - 請求項1に記載の情報取得装置において、
前記距離取得部は、
前記特徴パターンを含む特徴パターン領域を前記基準ドットパターン上に設定し、前記第2の方向に沿って、前記実測ドットパターンに対する前記特徴パターン領域の探索を実行することにより、前記実測ドットパターン上における前記特徴パターンの位置を検出する、
ことを特徴とする情報取得装置。 - 請求項1または2に記載の情報取得装置において、
前記特徴パターンは、前記ドットパターンのドットが、前記第1の方向に直線状に並ぶよう構成されている、
ことを特徴とする情報取得装置。 - 請求項1ないし3の何れか一項に記載の情報取得装置において、
前記イメージセンサの撮像領域は、前記第1の方向と前記第2の方向に平行な辺を有する方形形状を有し、
前記特徴パターンは、前記基準ドットパターンを前記イメージセンサにより撮像したとき、前記特徴パターンが前記撮像領域の所定の角部分に位置付けられるよう、前記基準ドットパターンに配置される、
ことを特徴とする情報取得装置。 - 請求項4に記載の情報取得装置において、
前記特徴パターンは、前記撮像領域の4つの角部分のうち、少なくとも前記第2の方向に離れる2つの角部分に配置されている、
ことを特徴とする情報取得装置。 - 請求項1ないし5の何れか一項に記載の情報取得装置において、
前記投射光学系は、レーザ光源と、前記レーザ光源から出射されたレーザ光が入射するコリメータレンズと、前記コリメータレンズを透過した前記レーザ光を回折によりドットパターンの光に変換する回折光学素子と、を備える、
ことを特徴とする情報取得装置。 - 請求項1ないし6の何れか一項に記載の情報取得装置を有する物体検出装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011212000A JP2014238259A (ja) | 2011-09-28 | 2011-09-28 | 情報取得装置および物体検出装置 |
PCT/JP2012/069940 WO2013046927A1 (ja) | 2011-09-28 | 2012-08-06 | 情報取得装置および物体検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011212000A JP2014238259A (ja) | 2011-09-28 | 2011-09-28 | 情報取得装置および物体検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014238259A true JP2014238259A (ja) | 2014-12-18 |
Family
ID=47994979
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011212000A Pending JP2014238259A (ja) | 2011-09-28 | 2011-09-28 | 情報取得装置および物体検出装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2014238259A (ja) |
WO (1) | WO2013046927A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020501155A (ja) * | 2016-12-07 | 2020-01-16 | マジック アイ インコーポレイテッド | 焦点調整可能な画像センサを含む距離センサ |
KR102205290B1 (ko) * | 2019-12-30 | 2021-01-21 | 한국건설기술연구원 | 보조광원을 활용한 영상-기반 구조물 계측 시스템 |
US11320537B2 (en) | 2019-12-01 | 2022-05-03 | Magik Eye Inc. | Enhancing triangulation-based three-dimensional distance measurements with time of flight information |
US11474245B2 (en) | 2018-06-06 | 2022-10-18 | Magik Eye Inc. | Distance measurement using high density projection patterns |
US11474209B2 (en) | 2019-03-25 | 2022-10-18 | Magik Eye Inc. | Distance measurement using high density projection patterns |
US11483503B2 (en) | 2019-01-20 | 2022-10-25 | Magik Eye Inc. | Three-dimensional sensor including bandpass filter having multiple passbands |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113391320A (zh) * | 2021-06-11 | 2021-09-14 | 深圳鳍源科技有限公司 | 水下物体距离和面积的测量方法、装置、设备及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3689720B2 (ja) * | 2000-10-16 | 2005-08-31 | 住友大阪セメント株式会社 | 三次元形状測定装置 |
JP3704706B2 (ja) * | 2002-03-13 | 2005-10-12 | オムロン株式会社 | 三次元監視装置 |
JP4043931B2 (ja) * | 2002-12-09 | 2008-02-06 | 株式会社リコー | 3次元情報取得システム |
JP5251419B2 (ja) * | 2008-10-22 | 2013-07-31 | 日産自動車株式会社 | 距離計測装置および距離計測方法 |
JP2011169701A (ja) * | 2010-02-17 | 2011-09-01 | Sanyo Electric Co Ltd | 物体検出装置および情報取得装置 |
-
2011
- 2011-09-28 JP JP2011212000A patent/JP2014238259A/ja active Pending
-
2012
- 2012-08-06 WO PCT/JP2012/069940 patent/WO2013046927A1/ja active Application Filing
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020501155A (ja) * | 2016-12-07 | 2020-01-16 | マジック アイ インコーポレイテッド | 焦点調整可能な画像センサを含む距離センサ |
JP7133554B2 (ja) | 2016-12-07 | 2022-09-08 | マジック アイ インコーポレイテッド | 焦点調整可能な画像センサを含む距離センサ |
US11474245B2 (en) | 2018-06-06 | 2022-10-18 | Magik Eye Inc. | Distance measurement using high density projection patterns |
US11483503B2 (en) | 2019-01-20 | 2022-10-25 | Magik Eye Inc. | Three-dimensional sensor including bandpass filter having multiple passbands |
US11474209B2 (en) | 2019-03-25 | 2022-10-18 | Magik Eye Inc. | Distance measurement using high density projection patterns |
US11320537B2 (en) | 2019-12-01 | 2022-05-03 | Magik Eye Inc. | Enhancing triangulation-based three-dimensional distance measurements with time of flight information |
KR102205290B1 (ko) * | 2019-12-30 | 2021-01-21 | 한국건설기술연구원 | 보조광원을 활용한 영상-기반 구조물 계측 시스템 |
Also Published As
Publication number | Publication date |
---|---|
WO2013046927A1 (ja) | 2013-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2013046927A1 (ja) | 情報取得装置および物体検出装置 | |
JP5138116B2 (ja) | 情報取得装置および物体検出装置 | |
WO2012137674A1 (ja) | 情報取得装置、投射装置および物体検出装置 | |
JP5214062B1 (ja) | 情報取得装置および物体検出装置 | |
US20130050710A1 (en) | Object detecting device and information acquiring device | |
JP5143312B2 (ja) | 情報取得装置、投射装置および物体検出装置 | |
JP2012237604A (ja) | 情報取得装置、投射装置および物体検出装置 | |
JP2014044113A (ja) | 情報取得装置および物体検出装置 | |
WO2012144340A1 (ja) | 情報取得装置および物体検出装置 | |
JP5143314B2 (ja) | 情報取得装置および物体検出装置 | |
JPWO2013015145A1 (ja) | 情報取得装置および物体検出装置 | |
WO2013015146A1 (ja) | 物体検出装置および情報取得装置 | |
WO2012120729A1 (ja) | 情報取得装置および情報取得装置を搭載する物体検出装置 | |
JP2014085257A (ja) | 情報取得装置および物体検出装置 | |
WO2013046928A1 (ja) | 情報取得装置および物体検出装置 | |
WO2013031447A1 (ja) | 物体検出装置および情報取得装置 | |
JP2013246009A (ja) | 物体検出装置 | |
JP2013234956A (ja) | 情報取得装置および物体検出装置 | |
WO2013031448A1 (ja) | 物体検出装置および情報取得装置 | |
JP2014035304A (ja) | 情報取得装置および物体検出装置 | |
JP2014085282A (ja) | 情報取得装置および物体検出装置 | |
JP2014106000A (ja) | 情報取得装置および物体検出装置 | |
JP2013234957A (ja) | 情報取得装置および物体検出装置 | |
WO2012042976A1 (ja) | 物体検出装置および情報取得装置 | |
JP6681258B2 (ja) | 計測装置、システム、物品の製造方法、算出方法及びプログラム |