JP2014238262A - 情報取得装置および物体検出装置 - Google Patents

情報取得装置および物体検出装置 Download PDF

Info

Publication number
JP2014238262A
JP2014238262A JP2011215506A JP2011215506A JP2014238262A JP 2014238262 A JP2014238262 A JP 2014238262A JP 2011215506 A JP2011215506 A JP 2011215506A JP 2011215506 A JP2011215506 A JP 2011215506A JP 2014238262 A JP2014238262 A JP 2014238262A
Authority
JP
Japan
Prior art keywords
distance
information
dot pattern
laser light
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011215506A
Other languages
English (en)
Inventor
武藤 裕之
Hiroyuki Muto
裕之 武藤
楳田 勝美
Katsumi Umeda
勝美 楳田
山口 淳
Atsushi Yamaguchi
山口  淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2011215506A priority Critical patent/JP2014238262A/ja
Priority to PCT/JP2012/069942 priority patent/WO2013046928A1/ja
Publication of JP2014238262A publication Critical patent/JP2014238262A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813Housing arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • G01S17/48Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/10Detecting, e.g. by using light barriers
    • G01V8/20Detecting, e.g. by using light barriers using multiple transmitters or receivers
    • G01V8/22Detecting, e.g. by using light barriers using multiple transmitters or receivers using reflectors

Abstract

【課題】実測時にドットパターンが変化する場合においても、検出対象物体までの距離を適正に検出し得る情報取得装置および物体検出装置を提供する。【解決手段】情報取得装置1は、投射光学系100と、受光光学系200と、基準画像に基づく参照テンプレートを保持するメモリ27と、実測画像と参照テンプレートとを参照し、基準画像上のセグメント領域と、セグメント領域に対応する実測画像上の比較領域との位置関係に基づいて、距離情報を取得する距離取得部21bと、を備える。メモリ27は、ドットパターンの広がり具合に応じた複数種類の参照テンプレートを保持し、距離取得部21bは、複数種類の参照テンプレートの中から、実測時に用いる参照テンプレートを選択し、距離情報の取得を実行する。これにより、ドットパターンが変化する場合においても、距離を適正に検出できる。【選択図】図2

Description

本発明は、目標領域に光を投射したときの反射光の状態に基づいて目標領域内の物体を検出する物体検出装置および当該物体検出装置に用いて好適な情報取得装置に関する。
従来、光を用いた物体検出装置が種々の分野で開発されている。いわゆる距離画像センサを用いた物体検出装置では、2次元平面上の平面的な画像のみならず、検出対象物体の奥行き方向の形状や動きを検出することができる。かかる物体検出装置では、レーザ光源やLED(Light Emitting Diode)から、予め決められた波長帯域の光が目標領域に投射され、その反射光がCMOSイメージセンサ等の受光素子により受光される。距離画像センサとして、種々のタイプのものが知られている。
所定のドットパターンを持つレーザ光を目標領域に照射するタイプの距離画像センサでは、ドットパターンを持つレーザ光の目標領域からの反射光が受光素子によって受光される。そして、ドットの受光素子上の受光位置に基づいて、三角測量法を用いて、検出対象物体の各部(検出対象物体上の各ドットの照射位置)までの距離が検出される(たとえば、特許文献1、非特許文献1)。
特開2011−169701号公報
第19回日本ロボット学会学術講演会(2001年9月18−20日)予稿集、P1279−1280
上記物体検出装置では、投射光学系と受光光学系が横に並ぶように配置される。この場合、通常、イメージセンサ上のドットの受光位置は、投射光学系と受光光学系の並び方向にのみ変位する。上記物体検出装置では、投射光学系と受光光学系の並び方向のドットの移動量をもとに、距離が検出される。
また、上記物体検出装置では、ドットパターンのレーザ光を生成するために回折光学素子が用いられる。回折光学素子の光学的特性は、レーザ光の波長に依存する。他方、レーザ光の波長は、光源の温度変化等に応じて変化し易い。このため、温度変化等によってレーザ光の波長が変化すると、これに応じて、レーザ光のドットパターンは、投射光学系と受光光学系の並び方向に対して垂直な方向にも変化し得る。なお、かかるドットパターンの変化は、レーザ光の波長変動の他に、回折光学素子の経時変化等によっても起こり得る。
このような場合、投射光学系と受光光学系の並び方向にのみドットの移動を探索すると、ドットの移動量の検出が適正に行えず、検出対象物体の各部までの距離の検出精度が劣化するとの問題が生じる。
本発明は、この点に鑑みてなされたものであり、実測時にドットパターンが変化する場合においても、検出対象物体までの距離を適正に検出し得る情報取得装置およびこれを搭
載する物体検出装置を提供することを目的とする。
本発明の第1の態様は、光を用いて目標領域の情報を取得する情報取得装置に関する。本態様に係る情報取得装置は、レーザ光源から出射されたレーザ光を所定のドットパターンで目標領域に投射する投射光学系と、前記投射光学系に対して所定の距離だけ横に離れて並ぶように配置され、前記目標領域をイメージセンサにより撮像する受光光学系と、基準面に前記レーザ光を照射したときに前記受光光学系により撮像された基準ドットパターンに基づく参照情報を保持する記憶部と、実測時に前記イメージセンサにより撮像された実測ドットパターンに基づく実測情報と前記参照情報とを参照し、前記基準ドットパターン上の参照領域と、当該参照領域に対応する前記実測ドットパターン上の領域との位置関係に基づいて、当該参照領域に対する距離情報を取得する距離取得部と、を備える。ここで、前記記憶部は、前記ドットパターンの広がり具合に応じた複数種類の前記参照情報を保持する。前記距離取得部は、前記記憶部に記憶された複数種類の前記参照情報の中から、実測時に用いる前記参照情報を選択し、選択した参照情報を用いて、前記距離情報の取得を実行する。
本発明の第2の態様は、物体検出装置に関する。本態様に係る物体検出装置は、上記第1の態様に係る情報取得装置を有する。
本発明によれば、実測時にドットパターンが変化する場合においても、検出対象物体までの距離を適正に検出し得る情報取得装置および物体検出装置を提供することができる。
本発明の効果ないし意義は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下に示す実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態により何ら制限されるものではない。
実施の形態に係る物体検出装置の構成を示す図である。 実施の形態に係る情報取得装置と情報処理装置の構成を示す図である。 実施の形態に係る投射光学系と受光光学系の外観を示す斜視図である。 実施の形態に係る目標領域に対するレーザ光の照射状態とイメージセンサ上のレーザ光の受光状態を示す図である。 実施の形態に係る参照パターンの生成方法を説明する図である。 実施の形態に係る距離検出手法を説明する図である。 実施の形態に係る温度変化に応じて参照テンプレートを保持する方法を説明する図である。 実施の形態に係る参照テンプレートの初期設定時の流れを示す図である。 実施の形態に係る参照テンプレートの初期設定時の流れを示す図である。 実施の形態に係る参照テンプレートの再設定時の流れを示す図である。 実施の形態に係る参照テンプレートの再設定時の流れを示す図である。 実施の形態に係る温度が変化したときの距離マッチングの例を示す図である。 変更例1に係る温度変化に応じて参照テンプレートを保持する方法を説明する図である。 変更例2に係るドットパターンの広がり具合を検出する方法を説明する図である。
以下、本発明の実施の形態につき図面を参照して説明する。本実施の形態には、所定のドットパターンを持つレーザ光を目標領域に照射するタイプの情報取得装置が例示されている。
まず、図1に本実施の形態に係る物体検出装置の概略構成を示す。図示の如く、物体検出装置は、情報取得装置1と、情報処理装置2とを備えている。テレビ3は、情報処理装置2からの信号によって制御される。
情報取得装置1は、目標領域全体に赤外光を投射し、その反射光をCMOSイメージセンサにて受光することにより、目標領域にある物体各部の距離(以下、「3次元距離情報」という)を取得する。取得された3次元距離情報は、ケーブル4を介して情報処理装置2に送られる。
情報処理装置2は、たとえば、テレビ制御用のコントローラやゲーム機、パーソナルコンピュータ等である。情報処理装置2は、情報取得装置1から受信した3次元距離情報に基づき、目標領域における物体を検出し、検出結果に基づきテレビ3を制御する。
たとえば、情報処理装置2は、受信した3次元距離情報に基づき人を検出するとともに、3次元距離情報の変化から、その人の動きを検出する。たとえば、情報処理装置2がテレビ制御用のコントローラである場合、情報処理装置2には、受信した3次元距離情報からその人のジェスチャを検出するとともに、ジェスチャに応じてテレビ3に制御信号を出力するアプリケーションプログラムがインストールされている。この場合、ユーザは、テレビ3を見ながら所定のジェスチャをすることにより、チャンネル切り替えやボリュームのUp/Down等、所定の機能をテレビ3に実行させることができる。
また、たとえば、情報処理装置2がゲーム機である場合、情報処理装置2には、受信した3次元距離情報からその人の動きを検出するとともに、検出した動きに応じてテレビ画面上のキャラクタを動作させ、ゲームの対戦状況を変化させるアプリケーションプログラムがインストールされている。この場合、ユーザは、テレビ3を見ながら所定の動きをすることにより、自身がテレビ画面上のキャラクタとしてゲームの対戦を行う臨場感を味わうことができる。
図2は、情報取得装置1と情報処理装置2の構成を示す図である。
情報取得装置1は、光学部の構成として、投射光学系100と受光光学系200とを備えている。投射光学系100と受光光学系200は、X軸方向に並ぶように、情報取得装置1に配置される。
投射光学系100は、レーザ光源110と、コリメータレンズ120と、リーケージミラー130と、回折光学素子(DOE:Diffractive Optical Element)140と、FMD(FrontMonitor Diode)150と、温度センサ160とを備えている。また、受光光学系200は、アパーチャ210と、撮像レンズ220と、フィルタ230と、CMOSイメージセンサ240とを備えている。この他、情報取得装置1は、回路部の構成として、CPU(Central Processing Unit)21と、レーザ駆動回路22と、PD信号処理回路23と、温度検出回路24と、撮像信号処理回路25と、入出力回路26と、メモリ27を備えている。
レーザ光源110は、単一の縦モードで発振することで、一定の波長帯域で安定してレーザ光を出力するシングルモードの半導体レーザである。レーザ光源110は、受光光学系200から離れる方向(X軸負方向)に波長830nm程度の狭波長帯域のレーザ光を
出力する。コリメータレンズ120は、レーザ光源110から出射されたレーザ光を平行光から僅かに広がった光(以下、単に「平行光」という)に変換する。
リーケージミラー130は、誘電体薄膜の多層膜からなり、反射率が100%よりも若干低く、透過率が反射率よりも数段小さくなるように膜の層数や膜厚が設計されている。リーケージミラー130は、コリメータレンズ120側から入射されたレーザ光の大部分をDOE140に向かう方向(Z軸方向)に反射し、残りの一部分をFMD150に向かう方向(X軸負方向)に透過する。
DOE140は、入射面に回折パターンを有する。この回折パターンによる回折作用により、DOE140に入射したレーザ光は、所定のドットパターンのレーザ光に変換されて、目標領域に照射される。
DOE140の回折パターンは、たとえば、ステップ型の回折ホログラムが所定のパターンで形成された構造とされる。回折ホログラムは、コリメータレンズ120により平行光とされたレーザ光をドットパターンのレーザ光に変換するよう、パターンとピッチが調整されている。
DOE140は、リーケージミラー130から入射されたレーザ光を、放射状に広がるドットパターンのレーザ光として、目標領域に照射する。ドットパターンの各ドットの大きさは、DOE140に入射する際のレーザ光のビームサイズに応じたものとなる。
FMD150は、リーケージミラー130を透過したレーザ光を受光し、受光量に応じた電気信号を出力する。
温度センサ160は、レーザ光源110の周囲の温度を検出し、温度に応じた信号を温度検出回路24に出力する。
目標領域から反射されたレーザ光は、アパーチャ210を介して撮像レンズ220に入射する。
アパーチャ210は、撮像レンズ220のFナンバーに合うように、外部からの光に絞りを掛ける。撮像レンズ220は、アパーチャ210を介して入射された光をCMOSイメージセンサ240上に集光する。フィルタ230は、レーザ光源110の出射波長(830nm程度)を含む赤外の波長帯域の光を透過し、可視光の波長帯域をカットするIRフィルタ(Infrared Filter)である。
CMOSイメージセンサ240は、撮像レンズ220にて集光された光を受光して、画素毎に、受光量に応じた信号(電荷)を撮像信号処理回路25に出力する。ここで、CMOSイメージセンサ240は、各画素における受光から高レスポンスでその画素の信号(電荷)を撮像信号処理回路25に出力できるよう、信号の出力速度が高速化されている。
CPU21は、メモリ27に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、CPU21には、レーザ光源110を制御するためのレーザ制御部21aと、3次元距離情報を生成するための距離取得部21bの機能が付与される。
レーザ駆動回路22は、CPU21からの制御信号に応じてレーザ光源110を駆動する。PD信号処理回路23は、FMD150から出力された受光量に応じた電圧信号を増幅およびデジタル化してCPU21に出力する。CPU21は、PD信号処理回路23か
ら供給される信号をもとに、レーザ制御部21aによる処理によって、レーザ光源110の光量を増幅もしくは減少させる判断を行う。レーザ光源110の光量を変化させる必要があると判断された場合、レーザ制御部21aは、レーザ光源110の発光量を変化させる制御信号をレーザ駆動回路22に送信する。これにより、レーザ光源110から出射されるレーザ光のパワーが略一定に制御される。
温度検出回路24は、温度センサ160から出力された温度に応じた信号をデジタル化してCPU21に出力する。本実施の形態において、温度検出回路24は、0.2℃単位で検出温度を出力する。CPU21は、温度検出回路24から供給される信号をもとに、レーザ光源110の出射波長変動を検知し、後述のように、距離検出のための参照テンプレートの入れ替えを行う。なお、温度変化に応じた参照テンプレートの入れ替え処理については、図7〜図11を参照して後述する。
撮像信号処理回路25は、CMOSイメージセンサ240を制御して、CMOSイメージセンサ240で生成された各画素の信号(電荷)をライン毎に順次取り込む。そして、取り込んだ信号を順次CPU21に出力する。CPU21は、撮像信号処理回路25から供給される信号(撮像信号)をもとに、情報取得装置1から検出対象物の各部までの距離を、距離取得部21bによる処理によって算出する。入出力回路26は、情報処理装置2とのデータ通信を制御する。
情報処理装置2は、CPU31と、入出力回路32と、メモリ33を備えている。なお、情報処理装置2には、同図に示す構成の他、テレビ3との通信を行うための構成や、CD−ROM等の外部メモリに格納された情報を読み取ってメモリ33にインストールするためのドライブ装置等が配されるが、便宜上、これら周辺回路の構成は図示省略されている。
CPU31は、メモリ33に格納された制御プログラム(アプリケーションプログラム)に従って各部を制御する。かかる制御プログラムによって、CPU31には、画像中の物体を検出するための物体検出部31aの機能が付与される。かかる制御プログラムは、たとえば、図示しないドライブ装置によってCD−ROMから読み取られ、メモリ33にインストールされる。
たとえば、制御プログラムがゲームプログラムである場合、物体検出部31aは、情報取得装置1から供給される3次元距離情報から画像中の人およびその動きを検出する。そして、検出された動きに応じてテレビ画面上のキャラクタを動作させるための処理が制御プログラムにより実行される。
また、制御プログラムがテレビ3の機能を制御するためのプログラムである場合、物体検出部31aは、情報取得装置1から供給される3次元距離情報から画像中の人およびその動き(ジェスチャ)を検出する。そして、検出された動き(ジェスチャ)に応じて、テレビ3の機能(チャンネル切り替えやボリューム調整、等)を制御するための処理が制御プログラムにより実行される。
入出力回路32は、情報取得装置1とのデータ通信を制御する。
図3は、投射光学系100と受光光学系200の設置状態を示す斜視図である。
投射光学系100と受光光学系200は、ベースプレート300に配置される。投射光学系100を構成する光学部材は、ハウジング100aに設置され、このハウジング100aがベースプレート300上に設置される。これにより、投射光学系100がベースプ
レート300上に配置される。150a、240aは、それぞれ、FMD150、温度センサ160およびCMOSイメージセンサ240からの信号を回路基板(図示せず)に供給するためのFPC(フレキシブルプリント基板)である。
受光光学系200を構成する光学部材は、ホルダ200aに設置され、このホルダ200aが、ベースプレート300の背面からベースプレート300に取りつけられる。これにより、受光光学系200がベースプレート300に配置される。なお、受光光学系200は、Z軸方向に光学部材が並ぶため、投射光学系100と比べ、Z軸方向の高さが高くなっている。ベースプレート300は、Z軸方向の高さを抑えるために、受光光学系200の配置位置周辺がZ軸方向に一段高くなっている。
図3に示す設置状態において、投射光学系100の射出瞳と受光光学系200の入射瞳の位置は、Z軸方向において、略一致する。また、投射光学系100と受光光学系200は、投射光学系100の投射中心と受光光学系200の撮像中心がX軸に平行な直線上に並ぶように、X軸方向に所定の距離をもって並んで設置される。
投射光学系100と受光光学系200の設置間隔は、情報取得装置1と目標領域の基準面との距離に応じて、設定される。どの程度離れた目標物を検出対象とするかによって、基準面と情報取得装置1との間の距離が変わる。検出対象の目標物までの距離が近くなるほど、投射光学系100と受光光学系200の設置間隔は狭くなる。逆に、検出対象の目標物までの距離が遠くなるほど、投射光学系100と受光光学系200の設置間隔は広くなる。
図4(a)は、目標領域に対するレーザ光の照射状態を模式的に示す図、図4(b)は、CMOSイメージセンサ240におけるレーザ光の受光状態を模式的に示す図である。なお、同図(b)には、便宜上、目標領域に平坦な面(スクリーン)とスクリーンの前に人物が存在するときの受光状態が示されている。
図4(a)に示すように、投射光学系100からは、ドットパターンを持ったレーザ光(以下、このパターンを持つレーザ光の全体を「DP光」という)が、目標領域に照射される。図4(a)には、DP光の光束領域が実線の枠によって示されている。DP光の光束中には、DOE140による回折作用によってレーザ光の強度が高められたドット領域(以下、単に「ドット」という)が、DOE140による回折作用によるドットパターンに従って点在している。
目標領域に平坦な面(スクリーン)が存在すると、これにより反射されたDP光は、図4(b)のように、CMOSイメージセンサ240上に分布する。
図4(b)には、CMOSイメージセンサ240上のDP光の全受光領域が破線の枠によって示され、CMOSイメージセンサ240の撮像有効領域に入射するDP光の受光領域が実線の枠によって示されている。CMOSイメージセンサ240の撮像有効領域は、CMOSイメージセンサ240がDP光を受光した領域のうち、センサとして信号を出力する領域であり、たとえば、VGA(横640画素×縦480画素)のサイズである。また、同図(a)に示す目標領域上におけるDt0の光は、CMOSイメージセンサ240上では、同図(b)に示すDt’0の位置に入射する。スクリーンの前の人物の像は、CMOSイメージセンサ240上では、上下左右が反転して撮像される。
ここで、図5、図6を参照して、上記距離検出の方法を説明する。
図5は、上記距離検出手法に用いられる参照パターンの設定方法を説明する図である。
図5(a)に示すように、投射光学系100から所定の距離Lsの位置に、Z軸方向に垂直な平坦な反射平面RSが配置される。出射されたDP光は、反射平面RSによって反射され、受光光学系200のCMOSイメージセンサ240に入射する。これにより、CMOSイメージセンサ240から、撮像有効領域内の画素毎の電気信号が出力される。出力された画素毎の電気信号の値(画素値)は、図2のメモリ27上に展開される。
以下、反射面RSからの反射によって得られた全画素値からなる画像を、「基準画像」、反射面RSを「基準面」と称する。そして、図5(b)に示すように、基準画像上に、「参照パターン領域」が設定される。なお、図5(b)には、CMOSイメージセンサ240の背面側から受光面をZ軸正方向に透視した状態が図示されている。図6以降の図においても同様である。
こうして設定された参照パターン領域に対して、所定の大きさを有する複数のセグメント領域が設定される。セグメント領域の大きさは、得られる距離情報による物体の輪郭抽出精度、CPU21に対する距離検出の演算量の負荷および後述する距離検出手法によるエラー発生率を考慮して決定される。本実施の形態では、セグメント領域の大きさは、横15画素×縦15画素に設定される。
図5(c)を参照して、参照パターン領域に設定されるセグメント領域について説明する。なお、図5(c)には、便宜上、各セグメント領域の大きさが横7画素×縦7画素で示され、各セグメント領域の中央の画素が×印で示されている。
セグメント領域は、図5(c)に示すように、隣り合うセグメント領域が参照パターン領域に対してX軸方向およびY軸方向に1画素間隔で並ぶように設定される。すなわち、あるセグメント領域は、このセグメント領域のX軸方向およびY軸方向に隣り合うセグメント領域に対して1画素ずれた位置に設定される。このとき、各セグメント領域には、固有のパターンでドットが点在する。よって、セグメント領域内の画素値のパターンは、セグメント領域毎に異なっている。隣り合うセグメント領域の間隔が狭いほど、参照パターン領域内に含まれるセグメント領域の数が多くなり、目標領域の面内方向(X−Y平面方向)における距離検出の分解能が高められる。
こうして、CMOSイメージセンサ240上における参照パターン領域の位置に関する情報と、参照パターン領域に含まれる全画素の画素値(参照パターン)と、参照パターン領域に対して設定されるセグメント領域の情報が、図2のメモリ27に記憶される。メモリ27に記憶されるこれらの情報を、以下、「参照テンプレート」と称する。
図2のCPU21は、投射光学系100から検出対象物体の各部までの距離を算出する際に、参照テンプレートを参照する。CPU21は、距離を算出する際に、参照テンプレートから得られる各セグメント領域内のドットパターンのずれ量に基づいて、物体の各部までの距離を算出する。
たとえば、図5(a)に示すように距離Lsよりも近い位置に物体がある場合、参照パターン上の所定のセグメント領域Snに対応するDP光(DPn)は、物体によって反射され、セグメント領域Snとは異なる領域Sn’に入射する。投射光学系100と受光光学系200はX軸方向に隣り合っているため、セグメント領域Snに対する領域Sn’の変位方向はX軸に平行となる。図5(a)の場合、物体が距離Lsよりも近い位置にあるため、領域Sn’は、セグメント領域Snに対してX軸正方向に変位する。物体が距離Lsよりも遠い位置にあれば、領域Sn’は、セグメント領域Snに対してX軸負方向に変位する。
セグメント領域Snに対する領域Sn’の変位方向と変位量をもとに、投射光学系100からDP光(DPn)が照射された物体の部分までの距離Lrが、距離Lsを用いて、三角測量法に基づき算出される。同様にして、他のセグメント領域に対応する物体の部分について、投射光学系100からの距離が算出される。かかる算出手法の詳細は、たとえば、上記非特許文献1(第19回日本ロボット学会学術講演会(2001年9月18−20日)予稿集、P1279−1280)に示されている。
かかる距離算出では、参照テンプレートのセグメント領域Snが、実測時においてどの位置に変位したかを検出する。この検出は、実測時にCMOSイメージセンサ240上に照射されたDP光から得られたドットパターンと、セグメント領域Snに含まれるドットパターンとを照合することによって行われる。以下、実測時にCMOSイメージセンサ240上の撮像有効領域に照射されたDP光から得られた全画素値からなる画像を、「実測画像」と称する。実測時のCMOSイメージセンサ240の撮像有効領域は、基準画像取得時と同様に、たとえば、VGA(横640画素×縦480画素)のサイズである。
図6(a)〜(e)は、かかる距離検出の手法を説明する図である。図6(a)は、CMOSイメージセンサ240上における基準画像に設定された参照パターン領域を示す図であり、図6(b)は、実測時のCMOSイメージセンサ240上の実測画像を示す図であり、図6(c)〜(e)は、実測画像に含まれるDP光のドットパターンと、参照テンプレートのセグメント領域に含まれるドットパターンとの照合方法を説明する図である。なお、便宜上、図6(a)、(b)には、一部のセグメント領域のみが示されており、図6(c)〜(e)には、各セグメント領域の大きさが、横9画素×縦9画素で示されている。また、図6(b)の実測画像には、便宜上、図4(b)のように、検出対象物体として基準面より前に人物が存在しており、人物の像が写り込んでいることが示されている。
図6(a)のセグメント領域Siの実測時における変位位置を探索する場合、図6(b)に示すように、実測画像上に、セグメント領域Siに対して探索領域Riが設定される。探索領域Riは、X軸方向に所定の幅を持っている。セグメント領域Siが探索領域Riにおいて1画素ずつX軸方向に送られ、各送り位置において、セグメント領域Siのドットパターンと実測画像上のドットパターンとが比較される。以下、実測画像上の各送り位置に対応する領域を、「比較領域」と称する。探索領域Riには、セグメント領域Siと同じサイズの比較領域が複数設定され、X軸方向に隣り合う比較領域は互いに1画素ずれている。
探索領域Riは、検出対象物体が基準面よりも情報取得装置1に離れる方向、および近づく方向にどの程度の距離を検出可能な範囲とするかによって決定される。図6中では、基準画像上のセグメント領域Siの画素位置に対応する実測画像上の画素位置(中心画素位置)から、X軸負方向にx画素ずれた位置からX軸正方向にx画素ずれた範囲(以下、「探索範囲Li」という)においてセグメント領域Siが送られるように探索領域Riが設定されている。本実施の形態では、中心画素位置から−30画素ずれた位置から30画素ずれた位置までの範囲が探索範囲Liに設定される。
比較領域においてセグメント領域SiをX軸方向に1画素ずつ送りながら、各送り位置において、参照テンプレートに記憶されているセグメント領域Siのドットパターンと、実測画像のDP光のドットパターンのマッチング度合いが求められる。このようにセグメント領域Siを探索領域Ri内においてX軸方向にのみ送るのは、上記のように、通常、参照テンプレートにより設定されたセグメント領域のドットパターンは、実測時において、X軸方向の所定の範囲内でのみ変位するためである。
なお、実測時には、検出対象物体の位置によっては、セグメント領域に対応するドットパターンが実測画像からX軸方向にはみ出すことが起こり得る。たとえば、参照パターン領域のX軸負側のセグメント領域S1に対応するドットパターンが、基準面よりも遠距離の物体に反射された場合、セグメント領域S1に対応するドットパターンは、実測画像よりもX軸負方向に位置づけられる。この場合、セグメント領域に対応するドットパターンは、CMOSイメージセンサ240の撮像有効領域内にないため、このセグメント領域については、適正にマッチングを行うことができない。しかし、このような端のセグメント領域以外については、適正にマッチングを行うことができるため、物体の距離検出への影響は少ない。
なお、端の領域についても、適正にマッチングを行う場合には、実測時のCMOSイメージセンサ240の撮像有効領域を、基準画像取得時のCMOSイメージセンサ240の撮像有効領域よりも、大きくすることができるものを用いれば良い。たとえば、基準画像取得時において、VGA(横640画素×縦480画素)のサイズで撮像有効領域が設定された場合、実測時においては、それよりもX軸正方向およびX軸負方向に30画素分大きいサイズで撮像有効領域を設定する。これにより、実測画像が基準画像よりも大きくなるが、端のセグメント領域についても、適正にマッチングを行うことができる。
上記マッチング度合いの検出時には、まず、参照パターン領域の各画素の画素値と実測画像の各セグメント領域の各画素の画素値が2値化されて、メモリ27に保持される。たとえば、基準画像および実測画像の画素値が8ビットの階調の場合、0〜255の画素値のうち、所定の閾値以上の画素が、画素値1に、所定の閾値未満の画素が、画素値0に変換されて、メモリ27に保持される。その後、比較領域とセグメント領域Siとの間の類似度が求められる。すなわち、セグメント領域Siの各画素の画素値と、比較領域の対応する画素の画素値との差分が求められる。そして、求めた差分を比較領域の全ての画素について加算した値Rsadが、類似度を示す値として取得される。
たとえば、図6(c)のように、一つのセグメント領域中に、m列×n行の画素が含まれている場合、セグメント領域のi列、j行の画素の画素値T(i,j)と、比較領域のi列、j行の画素の画素値I(i,j)との差分が求められる。そして、セグメント領域の全ての画素について差分が求められ、その差分の総和により、図6(c)に示す式の値Rsadが求められる。値Rsadが小さい程、セグメント領域と比較領域との間の類似度が高い。
こうして、図6(d)に示すように、セグメント領域Siについて、探索領域Riの全ての比較領域に対して値Rsadが求められる。図6(e)は、探索領域Riの各送り位置における値Rsadが模式的に示されたグラフである。セグメント領域Siについて、探索領域Riの全ての比較領域に対して値Rsadが求められると、まず、求めた値Rsadの中から、最小値Bt1が参照される。次に、求めた値Rsadの中から、2番目に小さい値Bt2が参照される。最小値Bt1と2番目に小さい値Bt2の位置が2画素以上離れた位置であり、且つ、その差分値Esが閾値未満であれば、セグメント領域Siの探索はエラーとされる。他方、差分値Esが閾値以上であれば、最小値Bt1に対応する比較領域Ciが、セグメント領域Siの移動領域と判定される。たとえば、図6(d)のように、セグメント領域Siに対応する比較領域Ciは、基準画像上のセグメント領域Siの画素位置と同位置の実測画像上の画素位置Si0よりもX軸正方向にα画素ずれた位置で検出される。これは、基準面よりも近い位置に存在する検出対象物体(人物)によって、実測画像上のDP光のドットパターンが基準画像上のセグメント領域Si0よりもX軸正方向に変位したためである。なお、セグメント領域Siの大きさが大きいほど、セグメント領域Siに含まれるドットパターンのユニーク性が増し、上記エラーの発生率が減少する。本実施の形態では、セグメント領域Siの大きさは、横15画素×縦15画素に
設定されるため、通常、距離検出がエラーとなることは少なく、適正にマッチングを行うことができる。
こうして、実測時に取得されたDP光のドットパターンから、各セグメント領域の変位位置が探索されると、上記のように、その変位位置に基づいて、三角測量法により、各セグメント領域に対応する検出対象物体の部位までの距離が求められる。
このようにして、セグメント領域S1〜セグメント領域Snまで全てのセグメント領域について、上記同様のセグメント領域の探索が行われる。
ところで、上述のように、通常、実測時において、ドットパターンは、CMOSイメージセンサ240の受光面においてX軸方向のみにずれる。しかし、レーザ光源110の出射波長が変動すると、ドットパターンは、DOE140に構成されるパターンピッチとDOE140の光学的収差等の関係から、ドットパターン領域の中心から放射上にシフトする。さらに、レーザ光の波長は、温度によって変化し易い。このように、ドットパターンは、X軸方向のみならず、Y軸方向にもずれ得る。ドットパターンがY軸方向にずれると、実測時のドットパターンと参照テンプレートに保持されたドットパターンとの照合が適正に行われなくなる。
そこで、本実施の形態では、あらかじめ、各温度に対応するレーザ光の波長でドットパターンを撮像して複数の基準画像を取得し、各基準画像に対応する参照テンプレートをメモリ27に保持しておく。そして、実測時におけるレーザ光源110の温度変化に応じて、適正と想定される参照テンプレートを用いて、マッチング処理を実行する。
図7は、本実施の形態における温度変化に応じて参照テンプレートを保持する方法を説明する図である。
図7(a)は、温度変化に応じたレーザ光源110の出射波長変動を示したグラフである。横軸は、レーザ光源110の周辺環境温度Tcであり、縦軸は、レーザ光源110の出射波長を示している。なお、横軸は、温度検出回路24における検出温度の細かさと同じく、0.2℃刻みでスケールされている。
図7(a)を参照して、周辺環境温度Tcが20℃〜21.4℃の場合、レーザ光の出射波長は、略834nmで安定している。周辺環境温度Tcが21.6℃になると、レーザ光の出射波長は、略835nmに変動している。これは、レーザ光源110の周辺環境温度Tcが変動することにより、レーザ光源110の素子温度が変化し、共振器長の変化および利得スペクトルの変化によって、発振モードが隣の縦モードに飛び移る、いわゆるモードホッピング現象が生じたためである。モードホップが生じた後、レーザ光の出射波長は、略835nmで安定している。
次に、周辺環境温度Tcが24.8℃になると、同様にモードホップが発生し、レーザ光の出射波長は、略836nmに変動している。その後、レーザ光の出射波長は、略836nmで安定している。さらに、周辺環境温度Tcが29.8℃になると、モードホップが発生し、レーザ光の出射波長は、略837nmに変動し、その後、略837nmで安定している。
このように、シングルモードの半導体レーザでは、レーザ光の波長は、温度変化に応じて、連続的に変動するのではなく、モードホップが発生するタイミングで波長が略1nm変動する。したがって、モードホップが発生するタイミングにおいて、ドットパターンがずれることとなる。
図7(b)は、参照テンプレートテーブルRT1を示す図である。参照テンプレートテーブルRT1は、あらかじめ、メモリ27に格納されている。なお、図7(b)の参照テンプレートテーブルRT1には、便宜上、一部の温度帯における参照テンプレートのみが示されている。
参照テンプレートテーブルRT1には、温度帯に対応付けて、温度帯に応じた波長で取得した参照テンプレートが保持される。各温度に対応する参照テンプレートの参照パターン領域は、互いに、同じ大きさで同じ位置に設定される。温度帯には、図7(a)に示した、モードホップが2回発生する間隔の温度が設定されている。したがって、互いに隣り合う温度帯では、レーザ光の波長が略2nmずれている。
たとえば、温度帯が20℃〜24.6℃の場合、レーザ光の波長が略834nm(たとえば温度21℃)である状態でドットパターンが照射され、基準画像が取得される。そして、取得された基準画像に基づいて参照テンプレートRbが生成され、生成された参照テンプレートRbが当該20℃〜24.6℃の温度帯の参照テンプレートとして設定される。また、温度帯が24.8℃〜31℃の場合、レーザ光の波長が略836nm(たとえば温度27℃)である状態でドットパターンが照射され、基準画像が取得される。そして、取得された基準画像に基づいて参照テンプレートRcが生成され、生成された参照テンプレートRcが当該24.8℃〜31℃の温度帯の参照テンプレートとして設定される。他の温度帯についても、同様に、レーザ光の波長が各温度帯の波長となる状態でドットパターンが照射されて、参照テンプレート(Ra、Rd、…)が生成され、生成された参照テンプレートが、対応する温度帯の参照テンプレートとして設定される。
なお、このようにモードホップが2回発生する間隔で温度帯が設定されるのは、レーザ光の波長が略2nmずれることにより、ドットパターンのドットが、CMOSイメージセンサ240の受光面上において、1画素分ずれることが想定されているためである。
図7(c)は、各温度におけるDP光と、参照テンプレートの参照パターン領域の関係が模式的に示された図である。図7(c)には、上から順に、参照テンプレートRa〜Rdの参照パターン領域と、参照パターン領域の図中右下隅の領域(横6画素×縦6画素)が一部拡大して示されている。
参照テンプレートRbの場合、参照パターン領域の右下隅の領域には、所定のドットパターンのDP光が撮像されており、4つのドットが含まれている。以下、便宜上、温度変化に応じたドットパターンの変化を参照テンプレートRbからの相対的な関係で説明する。
参照テンプレートRaの場合、参照パターン領域の右下隅の領域では、参照テンプレートRbの場合よりも、レーザ光の波長が2nm分短波長側にシフトすることにより、DP光が、Y軸正方向に−1画素およびX軸正方向に−1画素ずれた状態で撮像されている。この場合、参照テンプレートRbのときに参照パターン領域外にあった2つのドットが、参照パターン領域内に進入してくる。
参照テンプレートRcの場合、参照パターン領域の右下隅の領域には、参照テンプレートRbの場合よりも、波長が2nm分長波長側にシフトすることにより、DP光が、Y軸正方向に1画素およびX軸正方向に1画素ずれた状態で撮像されている。この場合、参照テンプレートRbのときに参照パターン領域内の端にあった2つのドットが参照パターン領域外に外れる。
さらに、参照テンプレートRdの場合、参照パターン領域の右下隅の領域には、参照テンプレートRbの場合よりも、波長が4nm分長波長側にシフトすることにより、DP光がY軸正方向に2画素およびX軸正方向に2画素ずれた状態で撮像されている。この場合、参照テンプレートRbのときに参照パターン領域内の端にあった3つのドットが参照パターン領域外に外れる。
なお、図7(c)の最下段および下から2段目の参照パターン領域では、DP光がY軸正方向およびX軸正方向にずれることにより、右下隅の領域に、左上から新たにドットが進入するが、便宜上、進入するドットは図示省略されている。
このように、ドットパターンがずれることにより、参照パターン領域内に含まれるドットパターンが変化し、セグメント領域内に含まれるドットパターンも変化することとなる。
このように、2回のモードホップの間隔に相当する温度変化に応じて、参照テンプレートを複数用意することで、少なくとも、ドットパターンが1画素以上ずれるごとに参照テンプレートを用意できる。上述のように、基準画像および実測画像は、2値化された状態でマッチングされるため、Y軸方向に1画素以内でずれた場合では、正常にマッチングがなされ得る。したがって、本実施の形態では、1画素ずれ以上となる温度間隔で、複数の参照テンプレートが参照テンプレートテーブルRT1に設定されるため、モードホップが起こる毎に参照テンプレートが設定される場合に比べ、メモリ27の容量を抑えることができる。
図8は、参照テンプレートの初期設定時の処理の流れを示す図である。図8の処理は、図2のCPU21の距離取得部21bによって行われる。
図8(a)を参照して、距離の取得動作が開始すると、CPU21は、温度センサ160から出力された信号をもとに現在温度を取得する(S101)。次に、CPU21は、取得した現在温度に対応する温度帯Wtの参照テンプレートRtを参照テンプレートテーブルRT1から取得し、この参照テンプレートRtを用いて、距離の測定を行う(S102)。さらに、CPU21は、この距離測定の際のセグメント領域の探索において、探索がエラーとなったセグメント領域の全セグメント領域に対する割合(マッチングエラー率)Ertを取得する(S103)。
しかる後、CPU21は、参照テンプレートテーブルRT1において、温度帯Wtの前後m個の温度帯にそれぞれ対応づけられた参照テンプレートを用いて距離測定を行い(S104)、各測定におけるマッチングエラー率を取得する(S105)。そして、CPU21は、S103で取得したマッチングエラー率Ertと、S105で取得したマッチングエラー率のうち、最小のマッチングエラー率に対応する参照テンプレートを距離測定用の参照テンプレートに設定する(S106)。その後、CPU21は、S106で設定した参照テンプレートを用いて、距離の実測を行う。
なお、図8(a)では、実測に最適な参照テンプレートが、現在温度に対応する温度帯の参照テンプレートと、その前後m個の参照テンプレートの中から選択されたが、図8(b)のように、実測に最適な参照テンプレートが、参照テンプレートテーブルRT1に保持された全ての参照テンプレートの中から選択されても良い。図8(b)において、CPU21は、参照テンプレートテーブルRT1中の各参照テンプレートを用いて距離測定を行い(S111)、各測定におけるマッチングエラー率を取得する(S112)。そして、CPU21は、取得したマッチングエラー率のうち、最小のマッチングエラー率に対応する参照テンプレートを距離測定用の参照テンプレートに設定する(S113)。
図8(b)の処理では、実測に最適な参照テンプレートが、参照テンプレートテーブルRT1に保持された全ての参照テンプレートの中から選択されるため、図8(a)の場合に比べて、より最適な参照テンプレートが実測用の参照テンプレートに設定される確率が高まる。しかしながら、全ての参照テンプレートについて距離の測定とマッチングエラー率の取得が必要となるため、初期設定時の処理に要する時間が長くなる。これに対し、図8(a)の処理によれば、最適となり得る参照テンプレートの範囲を絞って参照テンプレートの選択が行われるため、初期設定時の処理の長期化を抑制しつつ、最適な参照テンプレートを効率的に、測定に用いる参照テンプレートに設定することができる。
図9(a)は、他の初期設定処理を示す図である。距離の測定動作が開始すると、CPU21は、現在温度を取得する(S121)。そしてCPU21は、参照テンプレートテーブルRT1に保持された参照テンプレートのうち、現在温度に対応する温度帯の参照テンプレートを距離の測定に用いる参照テンプレートに設定する(S122)。この処理では、初期設定処理時に、距離の測定とマッチングエラー率の取得が行われないため、参照テンプレートの初期設定を迅速に行うことができる。しかしながら、レーザ光源110の温度以外の要因によりドットパターンにシフトが生じた場合には、最適の参照テンプレートを距離測定用に設定できないとの問題が残る。
図9(b)は、図9(a)の問題を解消する他の初期設定処理を示す図である。この処理において、CPU21は、現在温度を取得し(S131)、取得した現在温度に対応する温度帯Wtの参照テンプレートRtを用いて距離の測定を行い(S132)、さらに、この測定においてマッチングエラー率Ertを取得する(S133)。次に、CPU21は、取得したマッチングエラー率Ertが閾値ESを越えるかを判定し(S134)、Ert≦Es(S134:YES)であれば、参照テンプレートRtを距離測定用に設定する(S135)。他方、Ert≦Esでなければ(S134:NO)、温度帯Wtの前後m個の温度帯にそれぞれ対応づけられた参照テンプレートを用いて距離測定を行い(S136)、各測定におけるマッチングエラー率を取得する(S137)。そして、CPU21は、S137で取得したマッチングエラー率のうち、最小のマッチングエラー率に対応する参照テンプレートを距離測定用の参照テンプレートに設定する(S138)。
図9(b)の処理によれば、現在温度に対応する参照テンプレートRtが適正であるかがマッチングエラー率Ertに基づいて判定され、適正であれば、参照テンプレートRtが距離測定用に設定される。この場合、1回の距離測定とエラー率の取得により、迅速に、適正な参照テンプレートの初期設定が行われる。現在温度に対応する参照テンプレートRtが適正でなければ、適宜、他の参照テンプレートの中から、適正な参照テンプレートが、距離測定用に選択される。よって、レーザ光源110の温度以外の要因によりドットパターンにシフトが生じた場合にも、適正な参照テンプレートを距離測定用に設定できる。
なお、図9(b)のS137で取得したマッチングエラー率の何れも、閾値Esを越える場合には、さらに残りの参照テンプレートを用いて距離測定とマッチングエラー率の取得を実行し、マッチングエラー率が最小の参照テンプレートを選択するようにしても良い。
図10は、実測動作中に参照テンプレートを再設定するための処理を示す図である。
図10(a)を参照して、CPU21は、実測動作中に、温度センサ160から出力された信号をもとに現在温度を取得する(S201)。そして、CPU21は
取得した現在温度と、現在、距離測定用に設定されている参照テンプレートに対応する温
度帯Wuとを比較し、現在温度が温度帯Wuから外れたかを判定する(S202)。現在温度が温度帯Wuから外れていなければ(S202:NO)、CPU21は、S201に戻って、処理を繰り返す。現在温度が温度帯Wuから外れていれば(S202:YES)、CPU21は、参照テンプレートの再設定処理を行う(S203)。
なお、参照テンプレートの再設定の要否は、図10(b)の処理により行われても良い。CPU21は、実測動作中に、距離測定の結果に基づいて、マッチングエラー率Erを取得し(S211)、取得したマッチングエラー率Erが閾値Esを越えているかを判定する(S212)。マッチングエラー率Erが閾値Esを越えていなければ(S212:NO)、CPU21は、S211に戻って、処理を繰り返す。マッチングエラー率Erが閾値Esを越えていれば(S212:YES)、CPU21は、参照テンプレートの再設定処理を行う(S213)。
図10(a)、(b)の処理は、何れか一方のみが行われても良く、あるいは、両方が並行して行われても良い。また、図10(a)のS202の判定がYESとなっても直ちにS203の処理を行わずに、さらに、S211とS212に対応する処理を行い、マッチングエラー率Erが閾値Esを越えている場合に、参照テンプレートの再設定処理を行っても良い。
図10(a)、(b)のS203、S213では、図8(a)、(b)または図9(a)、(b)で示した初期設定処理と同様の処理により、距離測定に用いる参照テンプレートが再設定される。あるいは、これらの処理に代えて、図11(a)、(b)に示す処理により、参照テンプレートの再設定が行われても良い。
図11(a)は、図10(a)のS203に対して適用される他の再設定処理を示す図である。
図11(a)を参照して、CPU21は、実測動作中に、現在使用中の参照テンプレートRuを用いて行った直前の距離測定の結果に基づいて、マッチングエラー率Eruを取得する(S301)。次に、CPU21は、参照テンプレートテーブルRT1において、参照テンプレートRuの温度帯Wuの前後n個の温度帯にそれぞれ対応づけられた参照テンプレートを用いて距離測定を行い(S302)、各測定におけるマッチングエラー率を取得する(S303)。そして、CPU21は、S301で取得したマッチングエラー率Eruと、S303で取得したマッチングエラー率のうち、最小のマッチングエラー率に対応する参照テンプレートを距離測定用の参照テンプレートに再設定する(S304)。しかる後、CPU21は、再設定された参照テンプレートを用いて距離の測定を行う。
図11(b)は、図10(b)のS213に対して適用される他の再設定処理を示す図である。
図11(a)を参照して、CPU21は、参照テンプレートテーブルRT1において、現在距離測定に使用中の参照テンプレートRuの温度帯Wuの前後n個の温度帯にそれぞれ対応づけられた参照テンプレートを用いて距離測定を行い(S311)、各測定におけるマッチングエラー率を取得する(S312)。そして、CPU21は、S312で取得したマッチングエラー率のうち、最小のマッチングエラー率に対応する参照テンプレートを距離測定用の参照テンプレートに再設定する(S313)。しかる後、CPU21は、再設定された参照テンプレートを用いて距離の測定を行う。
なお、S312で取得したマッチングエラー率の何れも、閾値Esを越える場合には、さらに残りの参照テンプレートを用いて距離測定とマッチングエラー率の取得を実行し、
マッチングエラー率が最小の参照テンプレートを選択するようにしても良い。
図12は、レーザ光源110の温度が変化し、レーザ光の出射波長が変動したときの距離マッチングの例を模式的に示す図である。
図12(a)、図12(b)は、レーザ光源110の温度が変化し、レーザ光の出射波長が変動しても、参照テンプレートを入れ替えず、基準の参照テンプレートRbで距離マッチングを行う場合の比較例を示す図である。
図12(a)を参照して、参照テンプレートRbの所定のセグメント領域RbSに対応する比較領域Ct0に含まれるドットパターンは、温度変化によるレーザ光の波長変動により、Ct0’の位置からX軸負方向に1画素、Y軸負方向に1画素ずれている。この状態で、探索領域Rtにおいて、セグメント領域RbSに対応するドットパターンをX軸方向のみに探索すると、図12(b)に示すように、比較領域Ct0’に対応する領域Ctにセグメント領域RbSが位置づけられても、領域Ctのドットとセグメント領域RbSのドットとはマッチングしない。よって、距離マッチングは失敗し、エラーとなる。
他方、図12(c)に示すように、本実施の形態の場合では、レーザ光源110の温度変化に応じて、距離測定用の参照テンプレートが適正な参照テンプレートRcに入れ替えられる。そして、マッチング処理では、入れ替えられた参照テンプレートRcのセグメント領域RcSに対応するドットパターンが、探索領域Rtにおいて、X軸方向に探索される。こうすると、図12(d)に示すように、温度変化によって波長が変動し、ドットパターンがY軸方向にもずれた場合にも、適正に距離マッチングを行うことができる。
以上、本実施の形態によれば、温度変化に応じて、距離取得に用いる参照テンプレートが適正な参照テンプレートに入れ替えられるため、ドットパターンが、Y軸方向にずれても、適正に距離を検出することができる。
また、本実施の形態によれば、波長が変動するモードホップが発生するタイミングで、参照テンプレートが入れ替えられることにより、適正に参照テンプレートの入れ替えを行うことができる。
また、本実施の形態によれば、画素ずれ量が1画素以上に相当する温度間隔で参照テンプレートが保持されるため、メモリ27の容量およびCPU21に対する演算量を抑えつつ、適正に参照テンプレートの入れ替えを行うことができる。
さらに、本実施の形態では、ベルチェ素子等の温度制御素子により、波長を一定に制御せずとも、適宜、波長変動に応じて参照テンプレートを入れ替えることにより、検出物体までの距離を精度良く測定することができる。よって、物体検出装置のコストダウンと小型化を図ることができる。
以上、本発明の実施の形態について説明したが、本発明は、上記実施の形態に何ら制限されるものではなく、また、本発明の実施の形態も上記の他に種々の変更が可能である。
たとえば、上記実施の形態では、モードホップが2回発生する温度間隔で参照テンプレートが保持されたが、モードホップが3回以上発生する温度間隔で参照テンプレートが保持されても良く、また、図13の変更例1に示すように、モードホップが1回発生する温度間隔で参照テンプレートが保持されても良い。この場合、図13(a)、図13(b)に示すように、本実施の形態の場合よりも、狭い温度帯で、参照テンプレートQa〜Qfが設定される。このとき、図13(c)に示すように、各参照テンプレートは、ドットパ
ターンの画素ずれ量が0.5画素間隔で設定される。
こうすると、本実施の形態よりも、メモリ27に保持される参照テンプレートが多くなり、多少、メモリ27の容量が逼迫しやすく、また、狭い温度間隔で参照テンプレートが入れ替わるため、CPU21に対する演算量が増加するが、マッチングのエラー率が低下するため、より精度良く距離検出を行うことができる。
また、上記実施の形態では、レーザ光の波長(ドットパターンの広がり具合)を特定するためのパラメータとして、レーザ光源110近傍の温度を用いたが、他のパラメータを用いてレーザ光の波長(ドットパターンの広がり具合)を特定するようにしても良い。たとえば、図14の変更例2に示すように、CMOSイメージセンサ240に対するDP光の入射領域よりも撮像有効領域の方が広い場合、DP光の入射領域の左上隅のY軸方向における画素位置Spnを、レーザ光の波長(ドットパターンの広がり具合)を特定するためのパラメータとして用いても良い。
この場合、画素位置Spnに対応づけて参照テンプレートRnがメモリ27に保持される。そして、実測時にDP光の入射領域の左上隅のY軸方向における画素位置が検出され、検出された画素位置に対応する参照テンプレートがメモリ27から読み出されて、距離取得用に用いられる。この場合、DP光の入射領域の左上隅に探索用のセグメント領域が設定され、このセグメント領域の変位位置が、上記実施の形態と同様にして探索される。このときの探索領域は、X軸方向とY軸方向に所定の幅をもった領域とされる。なお、この場合も、図8の場合と同様、マッチングエラー率が閾値Tsを超えたときに、距離取得に用いられる参照テンプレートが切り替えられるようにすると良い。
また、上記実施の形態では、レーザ光源110は、単一の縦モードで発振するシングルモードの半導体レーザが用いられ、モードホップのタイミングに相当する温度の間隔で参照テンプレートを入れ替えたが、その他のタイミングで参照テンプレートを入れ替えても良い。たとえば、モードホップのタイミングに関係なく、一定の温度間隔で規定された複数の参照温度に対応付けて参照テンプレートを準備し、これら参照テンプレートの中から最も適正な参照テンプレートを選択して、距離取得のために用いても良い。この場合、レーザ光源110は、シングルモードの半導体レーザ以外のものが用いられても良い。
また、上記実施の形態では、隣り合うセグメント領域が互いに重なるように、セグメント領域が設定されたが、左右に隣り合うセグメント領域が、互いに重ならないように、セグメント領域が設定されても良く、また、上下に隣り合うセグメント領域が、互いに重ならないように、セグメント領域が設定されても良い。また、上下左右に隣り合うセグメント領域のずれ量は、1画素に限られるものではなく、ずれ量が他の画素数に設定されても良い。また、上記実施の形態では、セグメント領域の大きさが横15画素×縦15画素に設定されたが、検出精度に応じて、任意に設定可能である。さらに、上記実施の形態では、セグメント領域は、正方形状に設定されたが、長方形であっても良い。
また、上記実施の形態では、基準画像上にセグメント領域を設定し、実測画像上の対応するドットパターンの位置を探索することにより、距離マッチングを行ったが、実測画像上にセグメント領域を設定し、基準画像上の対応するドットパターンの位置を探索することにより、距離マッチングを行っても良い。この場合、レーザ光の波長を特定可能なパラメータの値(たとえば、上記実施の形態のように温度帯)ごとに基準画像を保持しておき、これら基準画像の中から最も適正な基準画像を選択して、距離取得のために用いるようにすれば良い。
また、上記実施の形態では、距離検出のエラー判定として、最も照合率の高いRsad
と、その次に照合率が高いRsadとの差分が閾値を超えているかに基づいて、エラーが判定されたが、最も照合率の高いRsadが所定の閾値を超えているかに基づいて、エラーが判定されても良い。
また、上記実施の形態では、セグメント領域と比較領域のマッチング率を算出する前に、セグメント領域と比較領域に含まれる画素の画素値を2値化したが、CMOSイメージセンサ240によって得られた画素値をそのまま用いて、マッチングしても良い。また、上記実施の形態では、CMOSイメージセンサ240によって得られた画素値をそのまま2値化したが、画素値について、所定の画素の重みづけ処理、および背景光の除去処理、等の補正処理を行った後に、2値化、もしくは多値化しても良い。
また、上記実施の形態では、三角測量法を用いて距離情報が求められ、メモリ27に記憶されたが、物体の輪郭抽出を主目的とするような場合は、三角測量法を用いた距離を演算せずに、セグメント領域の変位量(画素ずれ量)が距離情報として取得されても良い。
また、上記実施の形態では、目標領域に照射されるレーザ光の波長帯以外の波長帯の光を除去するためにフィルタ230を配したが、たとえば、目標領域に照射されるレーザ光以外の光の信号成分を、CMOSイメージセンサ240から出力される信号から除去する回路構成が配されるような場合には、フィルタ230を省略することができる。また、アパーチャ210の配置位置は、何れか2つの撮像レンズの間であっても良い。
また、上記実施の形態では、受光素子として、CMOSイメージセンサ240を用いたが、これに替えて、CCDイメージセンサを用いることもできる。さらに、投射光学系100および受光光学系200の構成も、適宜変更可能である。また、情報取得装置1と情報処理装置2は一体化されても良いし、情報取得装置1と情報処理装置2がテレビやゲーム機、パーソナルコンピュータと一体化されても良い。
本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
1 … 情報取得装置
21 … CPU(距離取得部、検出部)
21b … 距離取得部(距離取得部)
24 … 温度検出回路(検出部)
25 … 撮像信号処理回路(距離取得部)
27 … メモリ(記憶部)
100 … 投射光学系
110 … レーザ光源(半導体レーザ)
120 … コリメータレンズ
140 … DOE(回折光学素子)
160 … 温度センサ(検出部)
200 … 受光光学系
240 … CMOSイメージセンサ(イメージセンサ)
S1〜Sn … セグメント領域(参照領域)
Ra〜Ru … 参照テンプレート(参照情報)
Tc … 周辺環境温度(パラメータ)

Claims (8)

  1. 光を用いて目標領域の情報を取得する情報取得装置において、
    レーザ光源から出射されたレーザ光を所定のドットパターンで目標領域に投射する投射光学系と、
    前記投射光学系に対して所定の距離だけ横に離れて並ぶように配置され、前記目標領域をイメージセンサにより撮像する受光光学系と、
    基準面に前記レーザ光を照射したときに前記受光光学系により撮像された基準ドットパターンに基づく参照情報を保持する記憶部と、
    実測時に前記イメージセンサにより撮像された実測ドットパターンに基づく実測情報と前記参照情報とを参照し、前記基準ドットパターン上の参照領域と、当該参照領域に対応する前記実測ドットパターン上の領域との位置関係に基づいて、当該参照領域に対する距離情報を取得する距離取得部と、を備え、
    前記記憶部は、前記ドットパターンの広がり具合に応じた複数種類の前記参照情報を保持し、
    前記距離取得部は、前記記憶部に記憶された複数種類の前記参照情報の中から、実測時に用いる前記参照情報を選択し、選択した参照情報を用いて、前記距離情報の取得を実行する、
    ことを特徴とする情報取得装置。
  2. 請求項1に記載の情報取得装置において、
    前記レーザ光源は、所定の縦モードでレーザ光を発振するシングルモードの半導体レーザであり、
    前記記憶部は、ステップ状に変化する前記レーザ光源の発振波長に対応するように、前記複数の参照情報を保持する、
    ことを特徴とする情報取得装置。
  3. 請求項2に記載の情報取得装置において、
    前記記憶部は、前記レーザ光源の発振波長が所定ステップ変化する毎に前記参照情報が切り替わるように、前記参照情報を保持する、
    ことを特徴とする情報取得装置。
  4. 請求項1ないし3の何れか一項に記載の情報取得装置において、
    前記距離取得部は、前記記憶部に記憶された互いに異なる前記参照情報を用いて距離の取得動作を試行し、当該試行において最も適正に距離の取得動作が実行された前記参照情報を、距離の取得に用いる前記参照情報に設定する、
    ことを特徴とする情報取得装置。
  5. 請求項1ないし3の何れか一項に記載の情報取得装置において、
    前記ドットパターンの広がり具合を規定するパラメータの値を検出する検出部をさらに備え、
    前記記憶部は、前記パラメータの値に対応付けて前記参照情報を保持し、
    前記距離取得部は、実測時に前記検出部により検出された前記パラメータの値に対応する前記参照情報を前記記憶部から取得し、取得した前記参照情報を、距離の取得に用いる前記参照情報に設定する、
    ことを特徴とする情報取得装置。
  6. 請求項5に記載の情報取得装置において、
    前記パラメータの値は、前記レーザ光源の温度である、
    ことを特徴とする情報取得装置。
  7. 請求項1ないし6の何れか一項に記載の情報取得装置において、
    前記投射光学系は、前記レーザ光源から出射されたレーザ光が入射するコリメータレンズと、前記コリメータレンズを透過した前記レーザ光を回折によりドットパターンの光に変換する回折光学素子と、を備える、
    ことを特徴とする情報取得装置。
  8. 請求項1ないし7の何れか一項に記載の情報取得装置を有する物体検出装置。
JP2011215506A 2011-09-29 2011-09-29 情報取得装置および物体検出装置 Pending JP2014238262A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011215506A JP2014238262A (ja) 2011-09-29 2011-09-29 情報取得装置および物体検出装置
PCT/JP2012/069942 WO2013046928A1 (ja) 2011-09-29 2012-08-06 情報取得装置および物体検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011215506A JP2014238262A (ja) 2011-09-29 2011-09-29 情報取得装置および物体検出装置

Publications (1)

Publication Number Publication Date
JP2014238262A true JP2014238262A (ja) 2014-12-18

Family

ID=47994980

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011215506A Pending JP2014238262A (ja) 2011-09-29 2011-09-29 情報取得装置および物体検出装置

Country Status (2)

Country Link
JP (1) JP2014238262A (ja)
WO (1) WO2013046928A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019078748A (ja) * 2017-10-20 2019-05-23 ソニーセミコンダクタソリューションズ株式会社 デプス画像取得装置、制御方法、およびデプス画像取得システム
JP7352408B2 (ja) 2019-08-19 2023-09-28 株式会社Zozo 物体上の距離を測定するための方法、システム、およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3689720B2 (ja) * 2000-10-16 2005-08-31 住友大阪セメント株式会社 三次元形状測定装置
JP3704706B2 (ja) * 2002-03-13 2005-10-12 オムロン株式会社 三次元監視装置
JP4043931B2 (ja) * 2002-12-09 2008-02-06 株式会社リコー 3次元情報取得システム
JP5251419B2 (ja) * 2008-10-22 2013-07-31 日産自動車株式会社 距離計測装置および距離計測方法
JP2011169701A (ja) * 2010-02-17 2011-09-01 Sanyo Electric Co Ltd 物体検出装置および情報取得装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019078748A (ja) * 2017-10-20 2019-05-23 ソニーセミコンダクタソリューションズ株式会社 デプス画像取得装置、制御方法、およびデプス画像取得システム
JP7271119B2 (ja) 2017-10-20 2023-05-11 ソニーセミコンダクタソリューションズ株式会社 デプス画像取得装置、制御方法、およびデプス画像取得システム
JP7352408B2 (ja) 2019-08-19 2023-09-28 株式会社Zozo 物体上の距離を測定するための方法、システム、およびプログラム

Also Published As

Publication number Publication date
WO2013046928A1 (ja) 2013-04-04

Similar Documents

Publication Publication Date Title
JP5138116B2 (ja) 情報取得装置および物体検出装置
WO2012137674A1 (ja) 情報取得装置、投射装置および物体検出装置
JP5214062B1 (ja) 情報取得装置および物体検出装置
JP5143312B2 (ja) 情報取得装置、投射装置および物体検出装置
WO2013046927A1 (ja) 情報取得装置および物体検出装置
JP2014137762A (ja) 物体検出装置
JP2014044113A (ja) 情報取得装置および物体検出装置
JP5138115B2 (ja) 情報取得装置及びその情報取得装置を有する物体検出装置
US20120327310A1 (en) Object detecting device and information acquiring device
WO2013046928A1 (ja) 情報取得装置および物体検出装置
WO2012144340A1 (ja) 情報取得装置および物体検出装置
JPWO2013015145A1 (ja) 情報取得装置および物体検出装置
WO2013015146A1 (ja) 物体検出装置および情報取得装置
JP2013205331A (ja) 情報取得装置および物体検出装置
JP2014085257A (ja) 情報取得装置および物体検出装置
JP2013246009A (ja) 物体検出装置
WO2013031447A1 (ja) 物体検出装置および情報取得装置
JP2013234956A (ja) 情報取得装置および物体検出装置
JP2014062796A (ja) 情報取得装置および物体検出装置
JP2014085282A (ja) 情報取得装置および物体検出装置
WO2013031448A1 (ja) 物体検出装置および情報取得装置
JP2013234957A (ja) 情報取得装置および物体検出装置
JP2013246010A (ja) 情報取得装置および物体検出装置
JP2014106000A (ja) 情報取得装置および物体検出装置
JP5138120B2 (ja) 物体検出装置および情報取得装置