JP2004028874A - Range finder device, and device and method for detecting object - Google Patents

Range finder device, and device and method for detecting object Download PDF

Info

Publication number
JP2004028874A
JP2004028874A JP2002187760A JP2002187760A JP2004028874A JP 2004028874 A JP2004028874 A JP 2004028874A JP 2002187760 A JP2002187760 A JP 2002187760A JP 2002187760 A JP2002187760 A JP 2002187760A JP 2004028874 A JP2004028874 A JP 2004028874A
Authority
JP
Japan
Prior art keywords
light
light source
distance
image
source array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002187760A
Other languages
Japanese (ja)
Inventor
Kenji Kondo
近藤 堅司
Takeo Azuma
吾妻 健夫
Kenya Uomori
魚森 謙也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2002187760A priority Critical patent/JP2004028874A/en
Publication of JP2004028874A publication Critical patent/JP2004028874A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To surely suppress the measurement error of a range finder device using a light source array section even to an oject having a projecting shape like the nose of a human being. <P>SOLUTION: Two kinds of light patterns are projected upon a person PP respectively from illuminators 101a and 101b positioned above and below a camera 102. Part of the light pattern from the illuminator 101a is not projected upon the area under the nose NS of the person PP, but the light pattern from the other illuminator 101b is surely projected upon the area. The original distance images regarding each light source array sections 101a and 101b are respectively obtained from luminance images photographed by means of the camera 102 and a distance image is generated finally by synthesizing the original distance images. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は、被写体の3次元情報を取得可能なレンジファインダ装置に関する技術、およびその3次元情報から物体の位置を検出する技術に属する。
【0002】
【従来の技術】
一般的なレンジファインダ装置は、光源部から2種類の光パタンを被写体に投射し、その反射光を撮影した輝度画像から、画素毎に輝度比を算出する。そして予め算出しておいた、輝度比から距離への変換式によって、距離を測定する。
【0003】
長時間安定して計測可能なレンジファインダ装置を実現するために、その光源部に、LEDなどの光源を配列した光源アレイを採用する方式が提案されている(特願2001−286646号参照)。LEDはキセノンフラッシュランプ等と比べて、寿命が長く、発光強度も安定している。ただし、1個当たりの発光量が小さいため、アレイ状に複数個配置して用いている。
【0004】
【発明が解決しようとする課題】
上述のレンジファインダ装置の構成では、LEDなどの光源がアレイ状に配置された光源アレイを用いているので、光源部自体が、点光源とはみなせない程度の表面積を有している。このため、例えば図17に示すように、光源部の比較的近くにある人物PPの鼻NSを計測しようとすると、次のような問題が生じる。すなわち、鼻NSの下側の領域にある計測点Aでは、カメラの上に設置された光源アレイのうち、光源Bが発した光は当たるものの、光源Aが発した光は当たらない。言い換えると、鼻NSの下に陰ができてしまう。このため、計測点Aでは、距離測定のために意図した光パタンが照射されないことになり、したがって、測定した距離の誤差は大きくなる。
【0005】
また、レンジファインダ装置によって生成した距離画像から物体の位置を検出する場合、このような測定誤差に起因して、検出精度が低下する可能性がある。
【0006】
前記の問題に鑑み、本発明は、光源アレイ部を用いたレンジファインダ装置において、被写体が凸形状を有する場合であっても、測定誤差を確実に抑制可能にすることを課題とする。
【0007】
また、本発明は、光源アレイ部を利用した物体の位置検出において、検出精度の低下を抑制することを課題とする。
【0008】
【発明を解決するための手段】
前記の課題を解決するために、請求項1の発明が講じた解決手段は、被写体に光を投射し、その反射光を受けて前記被写体の3次元位置を測定するレンジファインダ装置として、それぞれ複数の光源が配列された複数の光源アレイ部と、前記複数の光源アレイ部から、それぞれ当該光源アレイ部の各光源の発光様態を制御することによって、少なくとも2種類の光パタンを投射させる光源制御部と、前記各光源アレイ部から投射された各光パタンに対する前記被写体からの反射光を輝度画像として撮影するカメラ部と、前記各光源アレイ部についてそれぞれ、前記カメラ部によって撮影された当該光源アレイ部に対応する輝度画像から原距離画像を得て、これらの原距離画像を用いて距離画像を生成する画像処理部とを備えたものである。
【0009】
請求項1の発明によると、複数の光源アレイ部から、それぞれ少なくとも2種類の光パタンが被写体に投射される。そして、画像処理部は、各光源アレイ部について撮影された輝度画像から、原距離画像をそれぞれ得て、これらの原距離画像から距離画像を生成する。このため、被写体が凸形状を有していた場合であっても、陰になって光パタンが適切に投射されずに距離を精度よく測定できない領域を、大幅に減少させることができる。したがって、測定誤差を確実に抑制することができる。
【0010】
そして、請求項2の発明では、前記請求項1における画像処理部は、生成する距離画像の各座標における距離値を、前記原距離画像それぞれの当該座標における距離値の中から、選択するものとする。
【0011】
請求項2の発明によると、全体として誤差の少ない距離画像を、簡易に、合成することができる。
【0012】
そして、請求項3の発明では、前記請求項2における画像処理部は、前記原距離画像それぞれの当該座標における距離値のうち、当該原距離画像の基になる輝度画像の当該座標における輝度値の平均値が最も大きいものを、選択するものとする。
【0013】
また、請求項4の発明では、前記請求項2における画像処理部は、前記原距離画像それぞれの当該座標における距離値のうち、当該原距離画像の基になる輝度画像の当該座標における輝度値の最大値が最も大きいものを、選択するものとする。
【0014】
請求項3および4の発明によると、すでに求められている輝度画像における輝度値を参照して、距離値を選択できるので、誤差の少ない距離画像を、きわめて簡易に合成することができる。
【0015】
また、請求項5の発明では、前記請求項1における複数の光源アレイ部は、光パタンを照射する領域が互いに空間的に分離された複数の組に分かれて構成されているものとする。
【0016】
請求項5の発明によると、被写体の凸形状が複数あるような場合であっても、誤差の少ない距離計測を行うことができる。
【0017】
また、請求項6の発明が講じた解決手段は、被写体に光を投射し、その反射光を受けて前記被写体の3次元位置を測定し、この3次元情報を利用して物体の位置を検出する物体検出装置として、複数の光源が配列された光源アレイ部と、前記光源アレイ部の各光源の発光様態を制御することによって、前記光源アレイ部から少なくとも2種類の光パタンを投射させる光源制御部と、前記光源アレイ部から投射された各光パタンに対する前記被写体からの反射光を輝度画像として撮影するカメラ部と、前記カメラ部によって撮像された輝度画像から距離画像を得て、この距離画像と前記物体の距離値から構成された距離テンプレートとのマッチングを行うことによって、前記物体の位置を探索する画像処理部とを備え、前記距離テンプレートは、前記物体と前記光源アレイ部およびカメラ部との位置関係から距離測定誤差が大きいと推定される領域がマスクされているものとする。
【0018】
また、請求項7の発明が講じた解決手段は、物体の位置を検出する方法として、被写体に、複数の光源が配列された光源アレイ部から少なくとも2種類の光パタンを投射し、投射した各光パタンに対する前記被写体からの反射光をカメラ部によって輝度画像として撮影し、前記カメラ部によって撮像された輝度画像から距離画像を得て、この距離画像と前記物体の距離値から構成された距離テンプレートとのマッチングを行うことによって、前記物体の位置を探索するものであり、前記距離テンプレートは、前記物体と前記光源アレイ部およびカメラ部との位置関係から距離測定誤差が大きいと推定される領域がマスクされているものとする。
【0019】
請求項6または7の発明によると、距離テンプレートでは、物体と光源アレイ部およびカメラ部との位置関係から光パタンが適切に当たらないと推定された領域について、マスクされている。このため、その領域についてはマッチングの対象から外れるので、距離画像がその領域について誤差を含んでいても、精度良く、物体の位置を検出することができる。
【0020】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【0021】
(第1の実施形態)
図1は本発明の第1の実施形態に係るレンジファインダ装置を内蔵した虹彩認証装置の正面図、図2は図1の虹彩認証装置10によって、その前面に位置する被写体としての人物PPの虹彩認証を行う様子を示す図である。本実施形態では、レンジファインダ装置によって得た人物PPの顔の距離画像から、鼻NSの位置を探索し、この鼻NSの位置を参照して眼EYの3次元位置を求めて、虹彩認証を行うものとする。
【0022】
図1および図2に示すように、虹彩認証装置10は、広角カメラ用照明101a,101b、広角カメラ102および虹彩撮影ユニット105を備えている。虹彩撮影ユニット105は可動であり、内部に、望遠カメラ用照明103および望遠カメラ104が固定されている。虹彩撮影ユニット105は、望遠カメラ用照明103と望遠カメラ104の相対位置関係を変えることなく、照明(撮影)する方向を変化させることができる。
【0023】
本実施形態では、広角カメラ用照明101a,101bと広角カメラ102、およびこれらの制御に係る部分が、被写体の3次元位置を測定するレンジファインダ装置として機能する。図3は本実施形態に係るレンジファインダ装置の構成を機能的に示すブロック図である。
【0024】
広角カメラ用照明101a,101bはそれぞれ、光源としてのLED11が複数個配列された光源アレイ部によって構成されている。図1において、各LED11は○印で表されており、広角カメラ用照明101a,101bはそれぞれ11×11個のLED11によって構成されている。また、広角カメラ102はVGA画素数(横480画素×縦640画素)を有しており、縦長の視野が得られるように設置される。この広角カメラ102によって、図4に示すような人物PPの顔を含む上半身画像が撮影される。
【0025】
光源制御部106は、広角カメラ用照明101a,101bに対して、LED毎に(例えばアレイの列または行毎に)、PWM(Pulse Width Modulation)によって発光時間を制御することができる。広角カメラ102の露出時間内において、発光時間が長いほどのべ光量が大きくなるので、発光時間の制御によって、任意の光パタンの生成が可能となる。
【0026】
ここでは、行(水平方向)毎に発光時間を制御するものとする。この場合には、光パタンにおいて、図2における垂直方向に変調がかかることになる。また光源制御部106は、カメラの露出タイミング(露出時間)に合わせて、2種類の光パタンを切り替える。図5は発光時間の制御によって生成した2種類の光パタンを示す図である。同図中、(a)はLEDの発光時間を行番号に従って単調に増加させる光パタンAであり、(b)はLEDの発光時間を行番号に従って単調に減少させる光パタンBである。光源制御部106は、照明101a,101bからそれぞれ、図5のような2種類のパタンをそれぞれ異なるタイミングで照射させる。
【0027】
ここで、まず、図1および図2に示す虹彩認証装置10の動作の概略について、図6および図7のフローチャートに従って、説明する。
【0028】
まずステップS10において、広角カメラ用照明101aは図5に示すような2種類の光パタンを照射し、広角カメラ102はこの2種類の光パタンに対する反射光画像を輝度画像としてそれぞれ撮影する。同様に、広角カメラ用照明101bが図5の2種類の光パタンを照射し、広角カメラ102がこの2種類の光パタンに対する反射光画像を輝度画像としてそれぞれ撮影する。これら4枚の輝度画像から、人物PPについての横480画素×縦640画素の距離画像を得る。ここでの処理の詳細については、後述する。
【0029】
次にステップS20において、目の3次元位置を計算する。図7はステップS20の詳細を示す。まずステップS21において、人物の奥行き値を推定する。すなわち、ステップS10で得られた距離画像から全画素の距離値ヒストグラムを計算し、人物をカメラの光軸と垂直な平面と見做した場合の、広角カメラ102からの距離を推定する。
【0030】
次にステップS22において、人物の顔領域を推定する。顔領域の推定は、ステップS10で得られた距離画像を所定の閾値で二値化して得た奥行き二値化画像を生成し、このニ値化画像における画素成分の分布を参照して行う。ここで、顔領域は、少なくとも両目と鼻を含む領域と定義する。また、顔の大きさは人物によらず一定であると仮定し、カメラ102の画角が既知であれば、画像内における顔の大きさは、人物の奥行き値から推定可能である。
【0031】
図8は顔領域が推定された奥行きニ値化画像の一例である。図8では、二値化において‘1’の領域を白、‘0’の領域を黒で表している。なお、頭髪、黒色の眼鏡フレーム、目、眉などの反射率の小さい領域や、首、衣服のしわ部など影が生じる領域では、距離がうまく測定できないために、二値化の際に背景領域すなわち‘0’に決定されている。
【0032】
次にステップS23において、ステップS22で推定した顔領域内から目の3次元位置を推定する。ここでは、顔領域の距離画像から鼻位置を探索し、この鼻位置を参照して眼領域を絞り込み、眼領域の輝度画像から目の位置を検出するものとする。
【0033】
ここでは、鼻位置の探索のために、鼻形状のテンプレートを利用する。図9は鼻形状のテンプレートの一例である。図9の鼻テンプレートは、正面から測定したN(N=20)人の顔の3次元データから鼻領域を手動で切り出し、縦横サイズの正規化および位置合わせを行った後に平均化したものである。図9では距離値がグレーの濃淡によって表現されており、グレーが濃く輝度が低いほど、カメラに近いことを、グレーがうすく輝度が高いほど、カメラから遠いことを表している。図9のテンプレートは底辺Tx,高さTyの台形の形状であり、その外接矩形における左上および右上部分の領域は、距離画像が眼鏡等の影響を受けるおそれがあるので、テンプレートとしては採用していない。
【0034】
そして、顔領域の距離画像と、図9の鼻テンプレートとをマッチングさせることによって、鼻の位置を検出する。
【0035】
次に、顔領域の輝度画像から、目位置を探索する。このとき、検出した鼻の位置を参照して探索領域を限定する。輝度画像からの目位置の探索は、任意の方法でよく、例えば特開2002−56394号公報に記載された方法を用ればよい。輝度画像から眼の位置を検出した後、3次元の目位置を決定する。
【0036】
次にステップS30において、望遠カメラ104を目の3次元位置に向けて、虹彩画像を撮影する。そして、ステップS40において、撮影した目の画像から虹彩認証を行う。虹彩認証は、例えば特表平8−504979号公報記載の方法によって行えばよい。
【0037】
ここで、ステップS10での処理、すなわち、本実施形態に係る距離画像の求め方について、説明する。
【0038】
距離計測は、基本的には、1個の光源アレイ(光パタン2種類)と1個のカメラによって、実行可能である。光源アレイを用いたレンジファインダの距離計測の原理については、特願2001−286646に示されており、ここでは説明を省略する。
【0039】
これに対して、本実施形態に係る虹彩認証装置では、図1または図2に示すように、2個の広角カメラ用照明101a,101bが広角カメラ102を挟んで反対の位置に設置されている。そして上述したように、撮影時には、照明101a,101bのそれぞれから、図5に示すような光パタンを、それぞれ異なるタイミングで人物PPに対して投射させる。
【0040】
図10は広角カメラ102の露出タイミングと広角カメラ用照明101a,101bから投射される光パタンとの関係を示す図である。そして、照明101aから光パタンA,Bがそれぞれ投射されたときの2枚の反射光画像、および照明101bから光パタンA,Bがそれぞれ投射されたときの2枚の反射光画像の計4枚の輝度画像が得られる。画像処理部107は、この4枚の輝度画像から、距離画像を生成する。
【0041】
図11は本実施形態による作用効果を説明するための図である。本実施形態に係るレンジファインダは、LED光源がアレイ状に配置された光源アレイによって照明101a,101bが構成されており、照明101a,101b自体、ある程度の表面積を持っている。このとき、図11のように、カメラ102の正面にいる人物PPの鼻NSのような凸形状を含む物体を計測しようとすると、鼻NSの下の計測点Aでは、照明101aを構成する各光源のうち、光源Bからの光は当たるものの、光源Aからの光は当たらないことになる。このような場合、計測点Aには、意図した光パタンが照射されないことになり、したがって、測定した距離の誤差が大きくなってしまうという問題が生じる。
【0042】
このような問題に対して、本実施形態では、カメラ102を挟んで対称の位置に他の照明101bが配置される。そして、計測点Aには、照明101bを構成する全ての光源からの光が、遮られることなく、到達する。したがって、計測点Aについては、照明101bによって計測された距離画像の距離値を採用することによって、誤差の発生を抑制することができる。
【0043】
このように、例えば被写体の凸形状の両側から照明を行うことによって、被写体の形状に起因する計測誤差の増大を抑えることができる。すなわち、複数の光源アレイ部を設けることによって、陰になって光パタンが適切に投射されずに距離を精度よく測定できない領域を、大幅に減少させることができる。
【0044】
画像処理部107は、以下のような処理によって、4枚の輝度画像から距離画像を生成する。
【0045】
まず、照明101aから照射された光パタンA,Bに対応する2枚の輝度画像から、距離画像を原距離画像として得る。同様に、照明101bから照射された光パタンA,Bに対応する2枚の輝度画像から、距離画像を原距離画像として得る。これらの原距離画像の取得方法は、特願2001−286646に示されたとおりである。
【0046】
そして、得られた2枚の原距離画像を合成して、1枚の距離画像を生成する。
【0047】
いま、2枚の原距離画像が得られているので、生成しようとする距離画像の各座標については、それぞれ、2個の距離値が与えられていることになる。そこで、距離画像の各座標における距離値を、原距離画像それぞれの当該座標における距離値の中から選択することによって、簡易な方法によって、距離画像を生成することができる。
【0048】
ここで、原距離画像はそれぞれ2枚の輝度画像から得られており、原距離画像の各座標における距離値は、2個の輝度値から算出されている。すなわち、原距離画像の各座標の距離値は、1組の輝度値ペアにそれぞれ対応している。
【0049】
そして図11において、計測点Aでは、照明101bからの投射光による輝度値の方が、照明101aからの投射光による輝度値よりも、鼻NSによって遮られない分、大きくなると考えられる。そこで、生成しようとする距離画像の各座標について、各原距離画像の当該座標における距離値のうち、当該原距離画像の基になる輝度画像の当該座標における輝度値の平均値が大きい方の距離値を、採用する。そして、輝度値の平均値が大きい方の距離値を集めて、1個の距離画像を合成する。
【0050】
これにより、測定誤差の少ない距離画像を、きわめて簡易な方法によって、生成することができる。なお、輝度値の平均値の代わりに、例えば、輝度値の最大値が大きい方の距離値を採用するようにしてもかまわない。また、距離画像の生成は、各座標の距離値を、各原距離画像の当該座標の距離値から選択する以外の方法によって、行ってもかまわない。例えば、原距離画像の距離値について、各座標ごとに、平均値を求め、これを距離画像の距離値として用いたり、原距離画像の距離値を、各座標ごとに、それぞれ重み付けして加算したりしてもよい。
【0051】
以上のように本実施形態によると、点光源とみなすことができない、ある程度の表面積を持った照明を用いた場合であっても、誤差の少ない距離測定が可能になる。したがって、例えば、距離画像からの鼻位置検出などを良好に行うことができる。
【0052】
なお、本実施形態では、光源アレイ部を上下に配置したが、これ以外の配置位置でもよく、例えばカメラの左右に配置してもよい。また、光源アレイ部の個数は、2個よりも大きい数であってもよい。例えば、カメラの上下左右に4個の光源アレイ部を配置してもよい。
【0053】
また、各光源アレイ部とカメラとの距離が互いに異なる場合は、被写体の凸形状による遮蔽がないときでも、各光源アレイ部からの投射光の反射光量が、異なる可能性がある。このような場合には、反射光量の補正のために、遠い方の光源アレイ部の発光時間を相対的に長め(光量を大きめ)に設定すればよい。
【0054】
また図12のように、光源アレイ部の各組が担当する領域を、空間的に分離してもよい。すなわち、光源アレイ部110a,110bの組によって、領域Aに光パタンを照射し、同様に、光源アレイ部110c,110dの組によって領域Bを、光源アレイ部110e,110fの組によって領域Cを担当する。このような構成を採ることによって、凸形状が複数個あるような被写体に対しても、誤差の少ない距離計測を行うことができる。
【0055】
(第2の実施形態)
図13は本発明の第2の実施形態に係るレンジファインダ装置を内蔵した虹彩認証装置の正面図、図14は図13の虹彩認証装置20によって、その前面に位置する被写体としての人物PPの虹彩認証を行う様子を示す図である。本実施形態における虹彩認証装置の動作は、基本的には、第1の実施形態と同様である。
【0056】
ここで、第1の実施形態と異なるのは、虹彩認証装置20では、1個の広角カメラ用照明101のみが設けられている点である。本実施形態では、広角カメラ用照明101と広角カメラ102、およびこれらの制御に係る部分がレンジファインダ装置として機能し、その機能的な構成は、照明が1個である点以外は図3と同様である。また、光源アレイ部としての広角カメラ用照明101、カメラ部としての広角カメラ102、光源制御部106および画像処理部107によって、物体としての人物PPの鼻NSの位置を検出する物体検出装置が構成されている。
【0057】
図13および図14に示す虹彩認証装置20の動作について、図6および図7のフローチャートに従って、説明する。
【0058】
まずステップS10において、広角カメラ用照明101は、図5に示すような2種類の光パタンを照射し、広角カメラ102はこの2種類の光パタンに対する反射光画像を輝度画像としてそれぞれ撮影する。図15は広角カメラ102の露出タイミングと広角カメラ用照明101から投射される光パタンとの関係を示す図である。画像処理部107は、照明101から光パタンA,Bがそれぞれ投射されたときの2枚の輝度画像から、距離画像を生成する。
【0059】
次にステップS20において、目の3次元位置を計算する。ここで、人物の奥行き値の推定(S21)および人物の顔領域の推定(S22)は、第1の実施形態と同様である。また、目の3次元位置の推定(S23)もほぼ同様の処理だが、距離画像から鼻NSの位置を探索する処理が異なっている。この点について、説明する。
【0060】
本実施形態では、光源アレイ部からなる広角カメラ用照明101は1個しか設けられていないので、第1の実施形態とは異なり、人物PPの鼻NSにおいて、照明101と反対側の領域、すなわち鼻NSの下側部分については、一部の光源からの投射光がとどかない。このため、その部分の距離測定誤差が大きくなる、という問題が残されている。
【0061】
そこで、図16に示すように、距離テンプレートとしての鼻テンプレートにおいて、鼻NSと照明101およびカメラ102との位置関係から光パタンが適切に当たらないと推定される領域、言い換えると、距離測定誤差が大きいと推定される下側の領域を、マスクして、距離画像とのマッチングに用いないようにする。これにより、たとえ距離画像が測定誤差を含んでいても、高精度な鼻位置の推定が可能となる。
【0062】
なお、図16の例では、鼻テンプレートの下側の領域をマスクしているが、これは、広角カメラ102の上に広角カメラ用照明101が配置されているためであり、マスクする領域は、位置を検出する物体(ここでは鼻)と、光源アレイ部およびカメラ部との位置関係から、距離測定誤差が大きいと推定された領域に設定すればよい。
【0063】
例えば、人物PPがカメラの正面に位置する場合において、本実施形態のように、光源アレイ部がカメラの上に配置されているときは、物体の形状の最凸部(鼻先)から下側の領域をマスクすればよい。同様に、光源アレイ部がカメラの下にあるときは、鼻の上側の領域を、光源アレイ部が装置に向かって右側にあるときは、鼻の左側の領域を、光源アレイ部が装置に向かって左側にあるときは、鼻の右側の領域をマスクすればよい。
【0064】
なお、上述の各実施形態では、本発明に係るレンジファインダ装置および物体検出装置を、虹彩認証装置に利用した構成について説明したが、他の用途にも利用できることはいうまでもない。また、人物を被写体とし、その鼻の位置を検出する場合について説明したが、他の物体を検出する場合にも本発明は適用可能である。例えば本発明を、ドアの取っ手(ノブ)やスイッチのレバーなどの検出に用いることによって、ロボットがドアの開閉を行ったり、スイッチをオンオフしたりする動作を、実現可能にすることができる。
【0065】
【発明の効果】
以上のように本発明によると、複数の光源アレイ部を用いることによって、凸形状を有する被写体に対しても、陰になって光パタンが適切に投射されずに距離を精度よく測定できない領域を大幅に減少でき、測定誤差を確実に抑制することができる。
【0066】
また、マッチングのための距離テンプレートにおいて、光パタンが適切に当たらないと推定された領域について、マッチングの対象から外れるので、距離画像がその領域について誤差を含んでいても、精度良く、物体の位置を検出することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る虹彩認証装置を正面から見た図である。
【図2】図1の虹彩認証装置を側方から見た図である。
【図3】本発明の第1の実施形態に係るレンジファインダ装置の構成を機能的に示すブロック図である。
【図4】図1の虹彩認証装置によって撮影された人物画像の模式図である。
【図5】レンジファインダ装置が投射する光パタンの例である。
【図6】図1の虹彩認証装置の動作を示すフローチャートである。
【図7】図6におけるステップS20の詳細を示すフローチャートである。
【図8】顔領域が推定された奥行きニ値化画像の一例である。
【図9】鼻形状のテンプレートの一例である。
【図10】本発明の第1の実施形態において、4種類の光パタンの切り替えタイミングを示す図である。
【図11】本発明の作用効果を説明するための図であり、計測点Aに光パタンが当たる様子を示す図である。
【図12】複数の光源アレイが照射する領域を空間的に分離したことを示す図である。
【図13】本発明の第2の実施形態に係る虹彩認証装置を正面から見た図である。
【図14】本発明の第2の実施形態に係る虹彩認証装置を側方から見た図である。
【図15】本発明の第2の実施形態において、2種類の光パタンの切り替えタイミングを示す図である。
【図16】マスクされた領域を有する鼻テンプレートを示す図である。
【図17】本発明の課題を説明するための図であり、被写体の形状によって距離測定が困難な場合を示す図である。
【符号の説明】
PP 人物(被写体)
NS 鼻(物体)
11 LED(光源)
101,101a,101b 広角カメラ用照明(光源アレイ部)
102 広角カメラ(カメラ部)
106 光源制御部
107 画像処理部
110a〜110f 光源アレイ部
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention belongs to a technique relating to a range finder device capable of acquiring three-dimensional information of a subject, and a technique of detecting a position of an object from the three-dimensional information.
[0002]
[Prior art]
A general range finder device projects two types of light patterns onto a subject from a light source unit, and calculates a luminance ratio for each pixel from a luminance image obtained by capturing the reflected light. The distance is measured by a previously calculated conversion formula from the luminance ratio to the distance.
[0003]
In order to realize a range finder device capable of performing stable measurement for a long period of time, a method has been proposed in which a light source array in which light sources such as LEDs are arranged is adopted as a light source unit (see Japanese Patent Application No. 2001-286646). The LED has a longer life and a more stable light emission intensity than a xenon flash lamp or the like. However, since the amount of light emission per unit is small, a plurality of units are arranged and used.
[0004]
[Problems to be solved by the invention]
In the configuration of the range finder device described above, since the light source array in which the light sources such as the LEDs are arranged in an array is used, the light source unit itself has a surface area that cannot be regarded as a point light source. Therefore, for example, as shown in FIG. 17, when trying to measure the nose NS of the person PP relatively close to the light source unit, the following problem occurs. That is, at the measurement point A in the lower area of the nose NS, the light emitted from the light source B in the light source array installed on the camera hits, but the light emitted from the light source A does not hit. In other words, a shadow is formed under the nose NS. For this reason, at the measurement point A, the optical pattern intended for the distance measurement is not irradiated, and the error of the measured distance increases.
[0005]
Further, when detecting the position of the object from the distance image generated by the range finder device, there is a possibility that the detection accuracy is reduced due to such a measurement error.
[0006]
In view of the above problems, it is an object of the present invention to provide a range finder device using a light source array unit that can reliably suppress measurement errors even when a subject has a convex shape.
[0007]
Another object of the present invention is to suppress a decrease in detection accuracy in detecting the position of an object using a light source array unit.
[0008]
[Means for Solving the Invention]
In order to solve the above-mentioned problems, a solution taken by the invention of claim 1 is a range finder device that projects light on a subject and receives reflected light to measure a three-dimensional position of the subject. A plurality of light source array units in which the light sources are arranged, and a light source control unit for projecting at least two types of light patterns from the plurality of light source array units by controlling the light emission state of each light source of the light source array unit. A camera unit that captures, as a luminance image, reflected light from the subject with respect to each light pattern projected from each of the light source array units, and the light source array unit captured by the camera unit for each of the light source array units And an image processing unit that obtains an original distance image from the luminance image corresponding to the original image and generates a distance image using the original distance image.
[0009]
According to the first aspect of the invention, at least two types of light patterns are respectively projected onto the subject from the plurality of light source array units. Then, the image processing unit obtains original distance images from the luminance images photographed for each light source array unit, and generates a distance image from these original distance images. For this reason, even if the subject has a convex shape, it is possible to greatly reduce the area where the distance is not accurately measured because the optical pattern is not properly projected due to the shadow. Therefore, measurement errors can be reliably suppressed.
[0010]
In the invention according to claim 2, the image processing unit according to claim 1 selects a distance value at each coordinate of the generated distance image from the distance values at the coordinates of each of the original distance images. I do.
[0011]
According to the second aspect of the present invention, a range image having a small error as a whole can be easily synthesized.
[0012]
According to a third aspect of the present invention, the image processing unit according to the second aspect is configured such that, of the distance values at the coordinates of each of the original distance images, the luminance values at the coordinates of the luminance image based on the original distance image are calculated. The one with the largest average value is selected.
[0013]
Further, in the invention according to claim 4, the image processing unit according to claim 2 includes, among the distance values at the coordinates of each of the original distance images, a luminance value at the coordinates of the luminance image based on the original distance image. The one with the largest maximum value is selected.
[0014]
According to the third and fourth aspects of the present invention, since the distance value can be selected with reference to the luminance value in the luminance image that has already been obtained, the distance image with few errors can be synthesized very easily.
[0015]
According to a fifth aspect of the present invention, the plurality of light source array units in the first aspect are configured such that regions for irradiating an optical pattern are divided into a plurality of sets spatially separated from each other.
[0016]
According to the fifth aspect of the present invention, even when there are a plurality of convex shapes of the subject, distance measurement with few errors can be performed.
[0017]
Further, a solution means adopted in the invention of claim 6 is to project light on a subject, measure the three-dimensional position of the subject by receiving the reflected light, and detect the position of the object using the three-dimensional information. A light source array unit in which a plurality of light sources are arranged, and a light source control for projecting at least two types of light patterns from the light source array unit by controlling a light emitting state of each light source of the light source array unit. Unit, a camera unit that captures, as a luminance image, reflected light from the subject with respect to each light pattern projected from the light source array unit, and obtains a distance image from the luminance image captured by the camera unit. And an image processing unit that searches for the position of the object by performing matching between the distance template and the distance template configured from the distance values of the object. Shall region distance measurement error is estimated to be greater from the positional relationship between the and the object light source array and camera portion is masked.
[0018]
According to a seventh aspect of the present invention, as a method of detecting a position of an object, at least two types of light patterns are projected onto a subject from a light source array unit in which a plurality of light sources are arranged, and A reflected light from the subject with respect to the light pattern is captured as a luminance image by a camera unit, a distance image is obtained from the luminance image captured by the camera unit, and a distance template including the distance image and the distance value of the object is obtained. By performing matching with the above, the position of the object is searched for, and the distance template includes an area where a distance measurement error is estimated to be large from a positional relationship between the object, the light source array unit, and the camera unit. It is assumed that masking has been performed.
[0019]
According to the sixth or seventh aspect of the present invention, the distance template masks an area where it is estimated that the light pattern does not appropriately hit from the positional relationship between the object, the light source array unit, and the camera unit. For this reason, the area is excluded from the target of the matching, and therefore, even if the range image includes an error in the area, the position of the object can be detected with high accuracy.
[0020]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0021]
(1st Embodiment)
FIG. 1 is a front view of an iris authentication device incorporating a range finder device according to a first embodiment of the present invention. FIG. 2 is an iris of a person PP as a subject located in front of the iris authentication device 10 of FIG. It is a figure showing signs that authentication is performed. In the present embodiment, the position of the nose NS is searched from the distance image of the face of the person PP obtained by the range finder device, and the three-dimensional position of the eye EY is obtained with reference to the position of the nose NS to perform iris authentication. Assumed to be performed.
[0022]
As shown in FIGS. 1 and 2, the iris authentication device 10 includes wide-angle camera illuminations 101 a and 101 b, a wide-angle camera 102, and an iris imaging unit 105. The iris imaging unit 105 is movable, and the telephoto camera illumination 103 and the telephoto camera 104 are fixed inside. The iris imaging unit 105 can change the direction of illumination (photographing) without changing the relative positional relationship between the telephoto camera illumination 103 and the telephoto camera 104.
[0023]
In the present embodiment, the illuminations 101a and 101b for the wide-angle cameras, the wide-angle camera 102, and a portion related to these controls function as a range finder device that measures the three-dimensional position of the subject. FIG. 3 is a block diagram functionally showing the configuration of the range finder device according to the present embodiment.
[0024]
Each of the wide-angle camera illuminations 101a and 101b is configured by a light source array unit in which a plurality of LEDs 11 as light sources are arranged. In FIG. 1, each LED 11 is represented by a circle, and each of the wide-angle camera illuminations 101a and 101b is composed of 11 × 11 LEDs 11. The wide-angle camera 102 has VGA pixels (480 horizontal pixels × 640 vertical pixels), and is installed so as to obtain a vertically long field of view. The wide-angle camera 102 captures an upper body image including the face of the person PP as shown in FIG.
[0025]
The light source control unit 106 can control the light emission time of the wide-angle camera illuminations 101a and 101b by PWM (Pulse Width Modulation) for each LED (for example, for each column or row of the array). Within the exposure time of the wide-angle camera 102, the longer the light emission time is, the larger the total light amount becomes. Therefore, by controlling the light emission time, an arbitrary light pattern can be generated.
[0026]
Here, the light emission time is controlled for each row (horizontal direction). In this case, the light pattern is modulated in the vertical direction in FIG. Further, the light source control unit 106 switches between two types of light patterns in accordance with the exposure timing (exposure time) of the camera. FIG. 5 is a diagram showing two types of light patterns generated by controlling the light emission time. In the figure, (a) is an optical pattern A for monotonically increasing the LED emission time according to the row number, and (b) is an optical pattern B for monotonically decreasing the LED emission time according to the row number. The light source control unit 106 irradiates two types of patterns as shown in FIG. 5 at different timings from the illuminations 101a and 101b.
[0027]
Here, first, the outline of the operation of the iris authentication device 10 shown in FIGS. 1 and 2 will be described with reference to the flowcharts of FIGS.
[0028]
First, in step S10, the wide-angle camera illumination 101a emits two types of light patterns as shown in FIG. 5, and the wide-angle camera 102 captures reflected light images for the two types of light patterns as luminance images. Similarly, the wide-angle camera illumination 101b irradiates the two types of light patterns shown in FIG. 5, and the wide-angle camera 102 captures reflected light images corresponding to the two types of light patterns as luminance images. From these four luminance images, a distance image of 480 horizontal pixels × 640 vertical pixels for the person PP is obtained. Details of the processing here will be described later.
[0029]
Next, in step S20, the three-dimensional position of the eye is calculated. FIG. 7 shows details of step S20. First, in step S21, a depth value of a person is estimated. That is, the distance value histogram of all pixels is calculated from the distance image obtained in step S10, and the distance from the wide-angle camera 102 when the person is regarded as a plane perpendicular to the optical axis of the camera is estimated.
[0030]
Next, in step S22, the face area of the person is estimated. The estimation of the face area is performed by generating a depth binarized image obtained by binarizing the distance image obtained in step S10 with a predetermined threshold value and referring to the distribution of pixel components in the binarized image. Here, the face area is defined as an area including at least both eyes and a nose. Also, assuming that the size of the face is constant regardless of the person, and if the angle of view of the camera 102 is known, the size of the face in the image can be estimated from the depth value of the person.
[0031]
FIG. 8 is an example of a depth binarized image in which a face area is estimated. In FIG. 8, in the binarization, the area of “1” is represented by white, and the area of “0” is represented by black. In areas where the reflectance is low, such as head hair, black eyeglass frames, eyes, eyebrows, or in areas where shadows occur, such as wrinkles in the neck or clothing, the distance cannot be measured properly. That is, it is determined to be '0'.
[0032]
Next, in step S23, the three-dimensional position of the eye is estimated from within the face area estimated in step S22. Here, it is assumed that the nose position is searched from the distance image of the face region, the eye region is narrowed down with reference to the nose position, and the eye position is detected from the luminance image of the eye region.
[0033]
Here, a nose-shaped template is used for searching for the nose position. FIG. 9 is an example of a nose-shaped template. The nose template in FIG. 9 is obtained by manually cutting out the nose region from the three-dimensional data of N (N = 20) faces measured from the front, normalizing the vertical and horizontal sizes, and performing positioning, and then averaging. . In FIG. 9, the distance value is represented by the shade of gray. The darker the gray, the lower the luminance, the closer to the camera, and the lighter the gray, the higher the luminance, the farther from the camera. The template in FIG. 9 has a trapezoidal shape having a base Tx and a height Ty, and the upper left and upper right portions of the circumscribed rectangle are employed as templates because the distance image may be affected by glasses or the like. Absent.
[0034]
Then, the position of the nose is detected by matching the distance image of the face area with the nose template of FIG.
[0035]
Next, an eye position is searched from the luminance image of the face area. At this time, the search area is limited by referring to the position of the detected nose. The search for the eye position from the luminance image may be performed by an arbitrary method, for example, by using the method described in JP-A-2002-56394. After detecting the position of the eye from the luminance image, the three-dimensional eye position is determined.
[0036]
Next, in step S30, the iris image is photographed by pointing the telephoto camera 104 at the three-dimensional position of the eye. Then, in step S40, iris authentication is performed from the captured eye image. The iris authentication may be performed, for example, by the method described in Japanese Patent Publication No. Hei 8-504979.
[0037]
Here, the process in step S10, that is, a method of obtaining a distance image according to the present embodiment will be described.
[0038]
Basically, the distance measurement can be executed by one light source array (two types of light patterns) and one camera. The principle of distance measurement of a range finder using a light source array is disclosed in Japanese Patent Application No. 2001-286646, and description thereof is omitted here.
[0039]
On the other hand, in the iris authentication device according to the present embodiment, as shown in FIG. 1 or 2, two wide-angle camera lights 101 a and 101 b are installed at opposite positions with the wide-angle camera 102 interposed therebetween. . Then, as described above, at the time of photographing, light patterns as shown in FIG. 5 are projected onto the person PP at different timings from each of the illuminations 101a and 101b.
[0040]
FIG. 10 is a diagram showing the relationship between the exposure timing of the wide-angle camera 102 and the light patterns projected from the wide-angle camera illuminations 101a and 101b. Then, a total of four reflected light images when two light patterns A and B are projected from the illumination 101a and two reflected light images when light patterns A and B are respectively projected from the illumination 101b. Is obtained. The image processing unit 107 generates a distance image from the four luminance images.
[0041]
FIG. 11 is a diagram for explaining the operation and effect of the present embodiment. In the range finder according to the present embodiment, the illuminations 101a and 101b are configured by a light source array in which LED light sources are arranged in an array, and the illuminations 101a and 101b themselves have a certain surface area. At this time, as shown in FIG. 11, when an object including a convex shape such as the nose NS of the person PP in front of the camera 102 is to be measured, at a measurement point A below the nose NS, each of the illumination points 101a Among the light sources, light from the light source B hits, but light from the light source A does not hit. In such a case, the measurement point A is not irradiated with the intended light pattern, and therefore, there is a problem that an error in the measured distance increases.
[0042]
With respect to such a problem, in the present embodiment, another illumination 101b is arranged at a position symmetrical with respect to the camera 102. Then, the light from all the light sources constituting the illumination 101b reaches the measurement point A without being interrupted. Therefore, for the measurement point A, an error can be suppressed by adopting the distance value of the distance image measured by the illumination 101b.
[0043]
Thus, for example, by illuminating from both sides of the convex shape of the subject, it is possible to suppress an increase in measurement error due to the shape of the subject. In other words, by providing a plurality of light source array units, it is possible to greatly reduce the area in which the distance is not accurately measured because the optical pattern is not properly projected due to shadows.
[0044]
The image processing unit 107 generates a distance image from the four luminance images by the following processing.
[0045]
First, a distance image is obtained as an original distance image from two luminance images corresponding to the light patterns A and B emitted from the illumination 101a. Similarly, a distance image is obtained as an original distance image from two luminance images corresponding to the light patterns A and B emitted from the illumination 101b. The method of acquiring these original distance images is as described in Japanese Patent Application No. 2001-286646.
[0046]
Then, the obtained two original distance images are combined to generate one distance image.
[0047]
Now, since two original distance images have been obtained, two distance values are given for each coordinate of the distance image to be generated. Therefore, by selecting a distance value at each coordinate of the distance image from the distance values at the coordinates of each of the original distance images, the distance image can be generated by a simple method.
[0048]
Here, each of the original distance images is obtained from two luminance images, and the distance value at each coordinate of the original distance image is calculated from the two luminance values. That is, the distance value of each coordinate of the original distance image corresponds to one luminance value pair.
[0049]
In FIG. 11, at the measurement point A, it is considered that the luminance value due to the projection light from the illumination 101b is larger than the luminance value due to the projection light from the illumination 101a because it is not blocked by the nose NS. Therefore, for each coordinate of the distance image to be generated, of the distance values at the coordinates of each original distance image, the distance of the greater average value of the luminance values at the coordinates of the luminance image on which the original distance image is based Adopt the value. Then, the distance values having the larger average of the luminance values are collected, and one distance image is synthesized.
[0050]
Thus, a distance image with a small measurement error can be generated by an extremely simple method. Note that, instead of the average luminance value, for example, a distance value having a larger maximum luminance value may be adopted. Further, the generation of the distance image may be performed by a method other than selecting the distance value of each coordinate from the distance value of the coordinate of each original distance image. For example, for the distance value of the original distance image, an average value is obtained for each coordinate, and this is used as the distance value of the distance image, or the distance value of the original distance image is weighted and added for each coordinate. Or you may.
[0051]
As described above, according to the present embodiment, even when illumination having a certain surface area that cannot be regarded as a point light source is used, distance measurement with a small error can be performed. Therefore, for example, the nose position can be detected from the distance image satisfactorily.
[0052]
In the present embodiment, the light source array units are arranged vertically, but may be arranged at other positions, for example, on the left and right sides of the camera. Further, the number of light source array units may be larger than two. For example, four light source array units may be arranged on the top, bottom, left and right of the camera.
[0053]
Also, when the distance between each light source array unit and the camera is different from each other, the amount of reflected light of the projection light from each light source array unit may be different even when there is no occlusion due to the convex shape of the subject. In such a case, in order to correct the amount of reflected light, the light emission time of the farther light source array unit may be set relatively long (the amount of light is increased).
[0054]
In addition, as shown in FIG. 12, the area assigned to each set of the light source array units may be spatially separated. That is, the area A is irradiated with the light pattern by the set of the light source array units 110a and 110b, and similarly, the area B is handled by the set of the light source array units 110c and 110d, and the area C is handled by the set of the light source array units 110e and 110f. I do. By adopting such a configuration, distance measurement with a small error can be performed even for a subject having a plurality of convex shapes.
[0055]
(Second embodiment)
FIG. 13 is a front view of an iris authentication device incorporating a range finder device according to the second embodiment of the present invention. FIG. 14 is an iris of a person PP as a subject located in front of the iris authentication device 20 of FIG. It is a figure showing signs that authentication is performed. The operation of the iris authentication device in the present embodiment is basically the same as in the first embodiment.
[0056]
Here, the difference from the first embodiment is that only one wide-angle camera illumination 101 is provided in the iris authentication device 20. In this embodiment, the illumination 101 for the wide-angle camera, the wide-angle camera 102, and a portion related to the control thereof function as a range finder device, and the functional configuration thereof is the same as that of FIG. 3 except that only one illumination is provided. It is. Also, an object detection device configured to detect the position of the nose NS of the person PP as an object is configured by the wide-angle camera illumination 101 as the light source array unit, the wide-angle camera 102 as the camera unit, the light source control unit 106, and the image processing unit 107. Have been.
[0057]
The operation of the iris authentication device 20 shown in FIGS. 13 and 14 will be described with reference to the flowcharts of FIGS.
[0058]
First, in step S10, the wide-angle camera illumination 101 irradiates two types of light patterns as shown in FIG. 5, and the wide-angle camera 102 captures reflected light images corresponding to the two types of light patterns as luminance images. FIG. 15 is a diagram showing the relationship between the exposure timing of the wide-angle camera 102 and the light pattern projected from the wide-angle camera illumination 101. The image processing unit 107 generates a distance image from two luminance images when the light patterns A and B are projected from the illumination 101, respectively.
[0059]
Next, in step S20, the three-dimensional position of the eye is calculated. Here, the estimation of the depth value of the person (S21) and the estimation of the face area of the person (S22) are the same as in the first embodiment. The estimation of the three-dimensional position of the eyes (S23) is substantially the same as that of the first embodiment, except that the process of searching for the position of the nose NS from the distance image is different. This will be described.
[0060]
In the present embodiment, only one illumination 101 for the wide-angle camera including the light source array unit is provided. Therefore, unlike the first embodiment, in the nose NS of the person PP, a region on the opposite side of the illumination 101, that is, In the lower part of the nose NS, the projection light from some light sources does not reach. For this reason, there remains a problem that a distance measurement error at that portion increases.
[0061]
Therefore, as shown in FIG. 16, in the nose template as the distance template, an area where it is estimated that the light pattern does not properly hit from the positional relationship between the nose NS and the illumination 101 and the camera 102, in other words, the distance measurement error The lower region estimated to be large is masked so as not to be used for matching with the range image. Thereby, even if the distance image includes a measurement error, it is possible to estimate the nose position with high accuracy.
[0062]
In the example of FIG. 16, the lower region of the nose template is masked. This is because the wide-angle camera illumination 101 is arranged on the wide-angle camera 102. From the positional relationship between the object whose position is to be detected (here, the nose), the light source array unit, and the camera unit, it may be set to an area where the distance measurement error is estimated to be large.
[0063]
For example, in the case where the person PP is located in front of the camera and the light source array unit is disposed on the camera as in the present embodiment, the person PP is located below the most convex portion (nose) of the shape of the object. The region may be masked. Similarly, when the light source array section is below the camera, the area above the nose is located. When the light source array section is on the right side of the apparatus, the light source array section is located on the left side of the nose. When it is on the left side, the area on the right side of the nose may be masked.
[0064]
In each of the above embodiments, the configuration in which the range finder device and the object detection device according to the present invention are used for the iris authentication device has been described, but it goes without saying that the configuration can be used for other purposes. Also, a case has been described where a person is a subject and the position of the nose is detected, but the present invention is also applicable to the case where another object is detected. For example, by using the present invention to detect a door handle (knob), a switch lever, and the like, it is possible to realize an operation in which a robot opens and closes a door and turns a switch on and off.
[0065]
【The invention's effect】
As described above, according to the present invention, by using a plurality of light source array units, even for a subject having a convex shape, an area in which a distance cannot be accurately measured because the light pattern is not properly projected and is not properly projected. It can be greatly reduced, and the measurement error can be reliably suppressed.
[0066]
In addition, in the distance template for matching, the region where the light pattern is estimated not to hit properly is excluded from the matching target. Therefore, even if the distance image includes an error in the region, the position of the object can be accurately determined. Can be detected.
[Brief description of the drawings]
FIG. 1 is a front view of an iris authentication device according to a first embodiment of the present invention.
FIG. 2 is a side view of the iris authentication device of FIG. 1;
FIG. 3 is a block diagram functionally showing a configuration of a range finder device according to the first embodiment of the present invention.
FIG. 4 is a schematic diagram of a person image captured by the iris authentication device of FIG. 1;
FIG. 5 is an example of an optical pattern projected by a range finder device.
FIG. 6 is a flowchart illustrating an operation of the iris authentication device of FIG. 1;
FIG. 7 is a flowchart showing details of step S20 in FIG. 6;
FIG. 8 is an example of a depth binarized image in which a face area is estimated.
FIG. 9 is an example of a nose-shaped template.
FIG. 10 is a diagram showing switching timings of four types of optical patterns in the first embodiment of the present invention.
FIG. 11 is a diagram for explaining the operation and effect of the present invention, and is a diagram showing a state where an optical pattern hits a measurement point A;
FIG. 12 is a diagram showing that regions irradiated by a plurality of light source arrays are spatially separated.
FIG. 13 is a front view of an iris authentication device according to a second embodiment of the present invention.
FIG. 14 is a side view of an iris authentication device according to a second embodiment of the present invention.
FIG. 15 is a diagram showing switching timings of two types of optical patterns in the second embodiment of the present invention.
FIG. 16 shows a nose template with a masked area.
FIG. 17 is a diagram for explaining the problem of the present invention, showing a case where distance measurement is difficult due to the shape of a subject.
[Explanation of symbols]
PP person (subject)
NS nose (object)
11 LED (light source)
101, 101a, 101b Lighting for wide-angle camera (light source array)
102 Wide-angle camera (camera part)
106 light source control unit
107 Image processing unit
110a to 110f Light source array unit

Claims (7)

被写体に光を投射し、その反射光を受けて前記被写体の3次元位置を測定するレンジファインダ装置であって、
それぞれ、複数の光源が配列された、複数の光源アレイ部と、
前記複数の光源アレイ部から、それぞれ、当該光源アレイ部の各光源の発光様態を制御することによって、少なくとも2種類の光パタンを投射させる光源制御部と、
前記各光源アレイ部から投射された各光パタンに対する前記被写体からの反射光を、輝度画像として撮影するカメラ部と、
前記各光源アレイ部について、それぞれ、前記カメラ部によって撮影された当該光源アレイ部に対応する輝度画像から、原距離画像を得て、これらの原距離画像を用いて、距離画像を生成する画像処理部と
を備えたことを特徴とするレンジファインダ装置。
A range finder device for projecting light onto a subject and receiving the reflected light to measure a three-dimensional position of the subject,
A plurality of light source array units, in each of which a plurality of light sources are arranged,
A light source control unit configured to control at least two types of light patterns by controlling a light emission state of each light source of the light source array unit from the plurality of light source array units;
A camera unit that captures, as a luminance image, reflected light from the subject with respect to each light pattern projected from each of the light source array units,
For each of the light source array units, an image processing for obtaining an original distance image from a luminance image corresponding to the light source array unit photographed by the camera unit and generating a distance image using these original distance images And a range finder.
請求項1において、
前記画像処理部は、
生成する距離画像の各座標における距離値を、前記原距離画像それぞれの当該座標における距離値の中から、選択するものである
ことを特徴とするレンジファインダ装置。
In claim 1,
The image processing unit,
A range finder device for selecting a distance value at each coordinate of a generated distance image from distance values at the coordinates of each of the original distance images.
請求項2において、
前記画像処理部は、
前記原距離画像それぞれの当該座標における距離値のうち、当該原距離画像の基になる輝度画像の当該座標における輝度値の平均値が最も大きいものを、選択する
ことを特徴とするレンジファインダ装置。
In claim 2,
The image processing unit,
A range finder device which selects, from the distance values at the coordinates of each of the original distance images, the one having the largest average value of the luminance values at the coordinates of the luminance image that is the basis of the original distance image.
請求項2において、
前記画像処理部は、
前記原距離画像それぞれの当該座標における距離値のうち、当該原距離画像の基になる輝度画像の当該座標における輝度値の最大値が最も大きいものを、選択する
ことを特徴とするレンジファインダ装置。
In claim 2,
The image processing unit,
A range finder device which selects, from the distance values at the coordinates of each of the original distance images, the one having the largest luminance value at the coordinates of the luminance image that is the basis of the original distance image.
請求項1において、
前記複数の光源アレイ部は、光パタンを照射する領域が互いに空間的に分離された複数の組に、分かれて構成されている
ことを特徴とするレンジファインダ装置。
In claim 1,
The range finder device, wherein the plurality of light source array units are configured so as to be divided into a plurality of sets in which regions for irradiating an optical pattern are spatially separated from each other.
被写体に光を投射し、その反射光を受けて前記被写体の3次元位置を測定し、この3次元情報を利用して物体の位置を検出する物体検出装置であって、
複数の光源が配列された光源アレイ部と、
前記光源アレイ部の各光源の発光様態を制御することによって、前記光源アレイ部から、少なくとも2種類の光パタンを投射させる光源制御部と、
前記光源アレイ部から投射された各光パタンに対する前記被写体からの反射光を、輝度画像として撮影するカメラ部と、
前記カメラ部によって撮像された輝度画像から距離画像を得て、この距離画像と、前記物体の距離値から構成された距離テンプレートとのマッチングを行うことによって、前記物体の位置を探索する画像処理部とを備え、
前記距離テンプレートは、前記物体と前記光源アレイ部およびカメラ部との位置関係から、前記各光パタンが適切に当たらないと推定される領域が、マスクされている
ことを特徴とする物体検出装置。
An object detection device that projects light on a subject, receives reflected light thereof, measures a three-dimensional position of the subject, and detects a position of the object using the three-dimensional information,
A light source array unit in which a plurality of light sources are arranged,
A light source control unit that projects at least two types of light patterns from the light source array unit by controlling a light emission mode of each light source of the light source array unit;
A camera unit that captures, as a luminance image, reflected light from the subject for each light pattern projected from the light source array unit,
An image processing unit that obtains a distance image from a luminance image captured by the camera unit, and performs matching between the distance image and a distance template configured from distance values of the object, thereby searching for the position of the object. With
The object detection apparatus according to claim 1, wherein the distance template masks an area in which each of the light patterns is presumed not to appropriately hit based on a positional relationship between the object, the light source array unit, and the camera unit.
物体の位置を検出する方法であって、
被写体に、複数の光源が配列された光源アレイ部から、少なくとも2種類の光パタンを投射し、
投射した各光パタンに対する前記被写体からの反射光を、カメラ部によって、輝度画像として撮影し、
前記カメラ部によって撮像された輝度画像から、距離画像を得て、
この距離画像と、前記物体の距離値から構成された距離テンプレートとのマッチングを行うことによって、前記物体の位置を探索するものであり、
前記距離テンプレートは、前記物体と前記光源アレイ部およびカメラ部との位置関係から、前記各光パタンが適切に当たらないと推定される領域が、マスクされている
ことを特徴とする物体検出方法。
A method for detecting a position of an object, comprising:
At least two types of light patterns are projected onto the subject from a light source array in which a plurality of light sources are arranged,
The reflected light from the subject with respect to each projected light pattern is photographed by the camera unit as a luminance image,
From a luminance image captured by the camera unit, a distance image is obtained,
This distance image is searched for the position of the object by performing matching between a distance template formed from the distance values of the object,
The object detection method according to claim 1, wherein the distance template masks an area where the respective light patterns are estimated not to appropriately strike from the positional relationship between the object, the light source array unit, and the camera unit.
JP2002187760A 2002-06-27 2002-06-27 Range finder device, and device and method for detecting object Pending JP2004028874A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002187760A JP2004028874A (en) 2002-06-27 2002-06-27 Range finder device, and device and method for detecting object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002187760A JP2004028874A (en) 2002-06-27 2002-06-27 Range finder device, and device and method for detecting object

Publications (1)

Publication Number Publication Date
JP2004028874A true JP2004028874A (en) 2004-01-29

Family

ID=31182692

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002187760A Pending JP2004028874A (en) 2002-06-27 2002-06-27 Range finder device, and device and method for detecting object

Country Status (1)

Country Link
JP (1) JP2004028874A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006046960A (en) * 2004-07-30 2006-02-16 Matsushita Electric Works Ltd Image processing device
JP2008152380A (en) * 2006-12-14 2008-07-03 Toyohashi Univ Of Technology Conveyance method of overhead crane using laser pointer and overhead crane system
US7826792B2 (en) 2004-02-05 2010-11-02 Sony Corporation Composite apparatus and method of changing assignment of function of operation button of remote controller of decoding device
KR20100132189A (en) * 2009-06-09 2010-12-17 삼성전자주식회사 Image processing apparatus and method
CN103673925A (en) * 2012-09-19 2014-03-26 佳能株式会社 Information processing apparatus and method for measuring target object
JP2019066185A (en) * 2017-09-28 2019-04-25 株式会社東芝 Imaging apparatus and method for calculating distance of imaging apparatus
WO2022218081A1 (en) * 2021-04-14 2022-10-20 东莞埃科思科技有限公司 Binocular camera and robot
WO2024048346A1 (en) * 2022-08-30 2024-03-07 ソニーセミコンダクタソリューションズ株式会社 Object recognition system, object recognition device, and object recognition method

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7826792B2 (en) 2004-02-05 2010-11-02 Sony Corporation Composite apparatus and method of changing assignment of function of operation button of remote controller of decoding device
JP2006046960A (en) * 2004-07-30 2006-02-16 Matsushita Electric Works Ltd Image processing device
JP2008152380A (en) * 2006-12-14 2008-07-03 Toyohashi Univ Of Technology Conveyance method of overhead crane using laser pointer and overhead crane system
JP4574609B2 (en) * 2006-12-14 2010-11-04 国立大学法人豊橋技術科学大学 Transport method by overhead crane using laser pointer and overhead crane system
KR101590767B1 (en) * 2009-06-09 2016-02-03 삼성전자주식회사 Image processing apparatus and method
KR20100132189A (en) * 2009-06-09 2010-12-17 삼성전자주식회사 Image processing apparatus and method
JP2010286488A (en) * 2009-06-09 2010-12-24 Samsung Electronics Co Ltd Image processor and method
US8810602B2 (en) 2009-06-09 2014-08-19 Samsung Electronics Co., Ltd. Image processing apparatus, medium, and method
CN103673925A (en) * 2012-09-19 2014-03-26 佳能株式会社 Information processing apparatus and method for measuring target object
US9857166B2 (en) 2012-09-19 2018-01-02 Canon Kabushiki Kaisha Information processing apparatus and method for measuring a target object
JP2019066185A (en) * 2017-09-28 2019-04-25 株式会社東芝 Imaging apparatus and method for calculating distance of imaging apparatus
JP7042582B2 (en) 2017-09-28 2022-03-28 株式会社東芝 Image pickup device and distance calculation method for image pickup device
WO2022218081A1 (en) * 2021-04-14 2022-10-20 东莞埃科思科技有限公司 Binocular camera and robot
WO2024048346A1 (en) * 2022-08-30 2024-03-07 ソニーセミコンダクタソリューションズ株式会社 Object recognition system, object recognition device, and object recognition method

Similar Documents

Publication Publication Date Title
JP3779308B2 (en) Camera calibration system and three-dimensional measurement system
JP6110862B2 (en) Object distance determination from images
US8638988B2 (en) Movement analysis and/or tracking system
KR101413413B1 (en) Foreign object determination device, foreign object determination method and foreign object determination program
JP2013521710A (en) System and method for spatially adjusted scene lighting
TW201112168A (en) Information processing apparatus and information processing method
WO2008053521A1 (en) Light source control device, light source control method, and light source control program
JP5626039B2 (en) Gaze detection apparatus and gaze detection method
CN113132613A (en) Camera light supplementing device, electronic equipment and light supplementing method
JP5601179B2 (en) Gaze detection apparatus and gaze detection method
JP2004028874A (en) Range finder device, and device and method for detecting object
JP2016050972A (en) Control device, control method, and program
CN113490316A (en) Light filling system and light filling lamp
US20120007976A1 (en) Biometric data acquiring device and biometric authentication device
WO2018164104A1 (en) Eye image processing device
US8996097B2 (en) Ophthalmic measuring method and apparatus
JP5429885B2 (en) Feature point tracking method and feature point tracking device
JP2004038531A (en) Method and device for detecting position of object
US20190206082A1 (en) Corneal reflex position detection device, eye-gaze tracking device, and corneal reflex position detection method
JP7013730B2 (en) Image generation control device, image generation control method, and image generation control program
JP7228885B2 (en) Pupil detector
JP2014181949A (en) Information acquisition device and object detection device
JP2010026858A (en) Authentication imaging apparatus
JP2006252363A (en) Detector for object around vehicle, and method of detecting object around vehicle
JP2005296383A (en) Visual line detector