JP2005117136A - 車両用物体検出装置 - Google Patents

Abstract

【課題】 各視点での視差画像の撮像タイミングの同期の必要が無く、且つ各視点での視差画像間の輝度のばらつきを揃える必要が無く、且つ撮像素子及び周辺回路の数を低らして装置を廉価に構成できる車両用物体検出装置を提供する。
【解決手段】 この車両用物体検出装置１では、車載カメラ５は、単一の撮像素子５ａと、同一撮像範囲からの光１３Ｌ，１３Ｒを複数の視点で集光してそれら各視点での集光光１３Ｌ，１３Ｒをそれぞれ撮像素子５ａの撮像面の異なる領域に導光して同時に結像させることにより、前記複数の視点から見た前記同一撮像範囲の視差画像を１つの画像に統合して撮像素子５ａにより撮像させる光学系５ｂ〜５ｆとを備え、物体検出手段は、車載カメラ５の撮像画像の同一フレーム内に統合された前記複数の視点から見た前記視差画像を用いてステレオ画像処理を行う。
【選択図】 図３

Description

本発明は、車載カメラにより自車両周辺をステレオ撮像し、その撮像画像にステレオ画像処理を行ってその撮像画像に映る歩行者等の物体を検出する車両用物体検出装置に関する。

この種の車両用物体検出装置の中には、２つの車載カメラ（例えば遠赤外線カメラ）を用いて２眼視のステレオ撮像を行い、それら２視点での撮像画像（視差画像）にステレオ画像処理を行って物体を検出するものがある（例えばホンダ（登録商標）ＡＳＶ２）。

上記のステレオ画像処理では、輝度を用いて各視点での視差画像間の対応点を決定する必要上、それら各視点での視差画像（即ち上記２つの遠赤外線カメラの撮像画像）の輝度を正確に揃える必要があるが、一般に遠赤外線カメラの出力信号（輝度信号）にはばらつきがある為、それら各視点での視差画像の輝度を正確に揃える事が技術的に困難であるという欠点がある。

又、上記の２眼視のステレオ撮像では、上記２つの車載カメラの撮像タイミングを同期させる必要がある為、その為の同期回路により装置構成が複雑になるという欠点がある。

又、遠赤外線カメラを複数用いる場合、遠赤外線カメラはその遠赤外撮像素子及びその周辺回路が高価である為、装置が非常に高価になるという欠点がある。

そこで、この発明の課題は、複眼視のステレオ撮像を行って物体を検出する車両用物体検出装置に於いて、各視点での視差画像の撮像タイミングの同期の必要が無く、且つ各視点での視差画像間の輝度のばらつきを揃える必要が無く、且つ撮像素子及び周辺回路の数を減らして装置を廉価に構成できる車両用物体検出装置を提供することにある。

上記課題を解決する為には、請求項１に記載の発明は、自車両に設置されて前記自車両周辺をステレオ撮像する車載カメラと、前記車載カメラの撮像画像にステレオ画像処理を行って前記撮像画像に映る物体の検出を行う物体検出手段とを備えた車両用物体検出装置であって、前記車載カメラは、単一の撮像素子と、同一撮像範囲からの光を複数の視点で集光してそれら各視点での集光光をそれぞれ前記撮像素子の撮像面の異なる領域に導光して同時に結像させることにより、前記複数の視点から見た前記同一撮像範囲の視差画像を１つの画像に統合して前記撮像素子により撮像させる光学系とを備え、前記物体検出手段は、前記車載カメラの撮像画像の同一フレーム内に統合された前記複数の視点から見た前記視差画像を用いてステレオ画像処理を行うものである。

請求項２に記載の発明は、前記撮像素子には遠赤外撮像素子が用いられ、前記光学系に含まれるレンズ及び／又はプリズムは遠赤外線透過材料により形成されるものである。

請求項３に記載の発明は、前記遠赤外線透過材料としてＺｎＳが用いられるものである。

請求項４に記載の発明は、更に、前記車載カメラの撮像画像を所定の表示装置に表示させる表示画像生成手段と、前記物体検出手段により物体が検出された場合に、前記表示装置に表示された前記撮像画像に映る当該物体を強調表示する強調表示付与手段とを備えるものである。

請求項１に記載の発明によれば、光学系により同一撮像範囲からの光が複数の視点で集光されてそれら各視点での集光光がそれぞれ単一の撮像素子の撮像面の異なる領域に導光されて同時に結像されることにより、複数の視点から見た同一撮像範囲の視差画像が１つの画像に統合されて前記撮像素子により撮像される為、各視点での視差画像の撮像タイミングが自然に同期されて撮像できると共に各視点での視差画像間の輝度が自然に揃った状態で撮像でき、これにより各視点での視差画像の撮像タイミングの同期の必要を無くせると共に各視点での視差画像間の輝度のばらつきを揃える必要を無くせる。又、１組の撮像素子及び周辺回路で複数視点から見た視差画像が撮像される為、撮像素子及び周辺回路の数を減らせて装置を廉価に構成できる。

請求項２に記載の発明によれば、撮像素子には遠赤外撮像素子が用いられ、光学系に含まれるレンズ及び／又はプリズムは遠赤外線透過材料により形成される為、遠赤外線を利用してステレオ撮像でき、これにより昼夜を問わず物体（特に歩行者）を検出できる。

請求項３に記載の発明によれば、遠赤外線透過材料としてＺｎＳが用いられる為、従来の遠赤外線透過材料（例えばＳｉやＧｅ）が用いられた場合と比べて、光学系を廉価に構成できる。

請求項４に記載の発明によれば、車載カメラの撮像画像が表示装置に表示されると共に、物体検出手段により物体が検出された場合に表示装置に表示された撮像画像に映る当該物体が強調表示される為、表示装置によって乗員に視覚的に物体が存在する事を警告できる。

＜実施の形態＞
この実施の形態の車両用物体検出装置１は、図１及び図２の様に、自車両３の例えばフロントグリル３ａの後側に設置されて自車両周辺（例えば自車両前方）をステレオ撮像する車載カメラ５と、車載カメラ５の撮像画像（より詳細には後述の表示用画像）が表示されるＨＵＤ等の表示装置７と、車載カメラ５の撮像画像から表示用画像を生成して表示装置７に表示させると共に車載カメラ５の撮像画像にステレオ画像処理を行って該撮像画像に映る歩行者等の物体の検出を行い、物体を検出した場合に表示装置７に表示された表示用画像に映る当該物体を強調表示する画像処理回路９とを備える。

車載カメラ５は、図１及び図３の様に、単一の撮像素子５ａと、自車両前方の同一撮像範囲からの光を複数（ここでは２つ）の視点で集光してそれら各視点での集光光をそれぞれ撮像素子５ａの撮像面の異なる領域に導光して同時に結像させる光学系５ｂ〜５ｆと、撮像素子５ａの撮像画像をデジタルデータに変換する信号処理回路５ｈと、信号処理回路５ｈでデジタルデータに変換された撮像画像をＮＴＳＣ等のアナログ信号（又はＬＶＤＳ等のデジタル信号）として画像処理回路９に伝送する映像Ｉ／Ｆ回路５ｉとを備える。

光学系５ｂ〜５ｆは、図３の様に、撮像素子５ａの前側に配置された結像レンズ５ｂと、結像レンズ５ｂの前側に配置されたプリズム５ｃと、プリズム５ｃの左右両側にそれぞれ配置された２つの反射部材（反射ミラー又はプリズム）５ｄ，５ｅと、各反射部材５ｄ，５ｅの前側にそれぞれ配置された２つの対物レンズ５ｆ，５ｇとを備える。プリズム５ｃは、三角柱形に形成され、例えばその頂角が結像レンズ５ｂに向けられると共にその左右のプリズム側面５Ｌ，５Ｒがそれぞれ左右の反射部材５ｄ，５ｅに向けられて配置される。各対物レンズ５ｆ，５ｇはそれぞれ、そのレンズ光軸（図示省略）が自車両前方に向けられて配置される。

尚、ここでは、光学系５ｂ〜５ｆは、ホルダ５ｊ内に収納配設される。ホルダ５ｊは、Ｔ字管の横管部の両端部分が縦管部の筒軸方向前方に直角に屈曲された形に形成される。そして、各対物レンズ５ｆ，５ｇはそれぞれ、ホルダ５ｊの左右の各先端開口部内に収納配置される。各反射部材５ｄ，５ｅはそれぞれ、ホルダ５ｊの左右の各屈曲部内に収納配置される。プリズム５ｃは、ホルダ５ｊの交差部内に収納配置される。結像レンズ５ｂは、ホルダ５ｊの基端開口部内に収納配置される。

尚、ここでは、車載カメラ５は、遠赤外線カメラとして構成される。即ち、撮像素子５ａには、ＢＳＴ素子，アモルファスシリコン素子又はサーモパイル素子等の遠赤外撮像素子が用いられる。レンズ５ｂ，５ｆ，５ｇ及びプリズム５ｃは、ＺｎＳ等の遠赤外線透過材料により例えばモールド成形されて形成される。これにより、昼夜を問わず物体として歩行者（恒温物）が撮像される。

この構成により、この車載カメラ５では、図３の様に、自車両前方の同一撮像範囲からの光１３Ｌ，１３Ｒは、左右の各視点に配置された各対物レンズ５ｆ，５ｇにより集光される。そして、左（右）視点の対物レンズ５ｆ（５ｇ）による集光光１３Ｌ（１３Ｒ）は、左（右）側の反射部材５ｄ（５ｅ）で反射されてプリズム５ｃの左（右）のプリズム側面側に導光され、その左（右）のプリズム側面で反射されて結像レンズ５ｂ側に導光され、結像レンズ５ｂで集光されて撮像素子５ａの撮像面の右半領域（左半領域）に結像される。

これにより、図４の様に、複数（ここでは左右２つ）の視点から見た自車両前方の同一撮像範囲の左右視点の視差画像ＧＬ，ＧＲが１つの画像Ｇに統合されて撮像素子５ａにより同時に撮像される。ここでは、左（右）視点の視差画像ＧＬ（ＧＲ）は撮像画像Ｇの右半領域Ｇｒ（左半領域Ｇｌ）に統合される。そして、撮像素子５ａの撮像画像Ｇは、信号処理回路５ｈでデジタルデータに変換されて映像Ｉ／Ｆ回路５ｉにより画像処理回路９に伝送される。

尚、ここでは、左右２視点が採用されるが、光学系５ｂ〜５ｆの配置を結像レンズ５ｂの光軸周りに９０°回転させて上下２視点を採用してもよい。この場合は、上視点（下視点）の視差画像は撮像画像Ｇの下半領域（上半領域）に統合される。

画像処理回路９は、車載カメラ５からの撮像画像Ｇを受信する映像Ｉ／Ｆ回路９ａと、映像Ｉ／Ｆ回路９ａを介して得る車載カメラ５からの撮像画像Ｇに所定の画像処理（撮像画像Ｇから表示用画像の生成処理、ステレオ法による立体画像認識処理及び表示用画像上の物体の強調表示処理）を行う画像処理ＬＳＩ９ｂと、画像処理ＬＳＩ９ｂの画像処理で用いられるフレームメモリ９ｃと、画像処理ＬＳＩ９ｂで生成された表示用画像を表示装置７に伝送する映像Ｉ／Ｆ回路９ｄと、画像処理ＬＳＩ９ｂの立体画像認識の認識結果に基づいて車載カメラ５の撮像画像Ｇに映る物体を検出する他に、車輪速センサ１１から得る自車両３の車速及び操作スイッチ１２の操作に応じて当該車両用物体検出装置１の作動停止等を制御するマイコン９ｊとを備える。

画像処理ＬＳＩ９ｂは、表示画像生成部（表示画像生成手段）９ｇと立体画像認識部９ｈと強調表示付与部（強調表示付与手段）９ｉとを備える。

表示画像生成部９ｇは、表示用画像Ｈとして例えば車載カメラ５の撮像画像Ｇをそのまま表示装置７に表示させる。尚、表示用画像Ｈとして、車載カメラ５の撮像画像Ｇ中から一の視点の視差画像（例えば左視点の視差画像Ｇｌ）だけを切り出して必要に応じて拡大して表示装置７に表示させてもよい。

立体画像認識部９ｈは、車載カメラ５からの撮像画像Ｇの同一フレーム内に統合された左右視点の視差画像Ｇｌ，Ｇｒにステレオ法を適用して当該撮像画像Ｇを立体画像認識する。

強調表示付与部９ｉは、立体画像認識部９ｈの認識結果に基づいてマイコン９ｊにより物体が検出された場合に、図４の様に表示用画像Ｈに映る当該物体１５の輪郭１７上に強調効果を有する輪郭画像（例えば太線輪郭画像又は強調色輪郭画像）１７を重畳合成することにより表示用画像Ｈに映る当該物体１５を強調表示する。

マイコン９ｊは、物体検出部９ｋを備える。物体検出部９ｋは、画像処理ＬＳＩ９ｂの立体画像認識部９ｈで立体画像認識された撮像画像Ｇに基づいて歩行者等の物体を検出する。

尚、ここでは、立体画像認識部９ｈ及び物体検出部９ｋにより物体検出手段が構成される。

この構成により、画像処理回路９では、車載カメラ５からの撮像画像Ｇに対して、表示画像生成部９ｇにより該撮像画像Ｇから表示用画像Ｈが生成されて該表示用画像Ｈ（ここでは例えば撮像画像Ｇ）が表示装置７に表示されると共に、物体検出手段９ｈ，９ｋにより該撮像画像Ｇの同一フレーム内の左右の視点の視差画像Ｇｌ，Ｇｒにステレオ画像処理が行われて該撮像画像Ｇに映る物体の検出が行われる。そして、物体検出手段９ｈ，９ｋにより物体１５が検出されると、強調表示付与部９ｉにより表示装置７に表示された表示用画像Ｈ上の当該物体１５が強調表示され、この強調表示により乗員に自車両前方に物体１５が存在する事が警報される。

以上の様に構成された車両用物体検出装置１によれば、光学系５ｂ〜５ｆにより同一撮像範囲からの光１５Ｌ，１５Ｒが複数の視点（ここでは左右２視点）で集光されてそれら各視点での集光光１５Ｌ，１５Ｒがそれぞれ単一の撮像素子５ａの撮像面の異なる領域に導光されて同時に結像されることにより、複数の視点から見た同一撮像範囲の視差画像Ｇｌ，Ｇｒが１つの画像Ｇに統合されて撮像素子５ａにより撮像される為、各視点での視差画像Ｇｌ，Ｇｒの撮像タイミングが自然に同期されて撮像できると共に各視点での視差画像Ｇｌ，Ｇｒ間の輝度が自然に揃った状態で撮像でき、これにより各視点での視差画像Ｇｌ，Ｇｒの撮像タイミングの同期の必要を無くせると共に各視点での視差画像Ｇｌ，Ｇｒ間の輝度のばらつきを揃える必要を無くせる。又、１組の撮像素子５ａ及び周辺回路で複数視点から見た視差画像Ｇｌ，Ｇｒが撮像される為、撮像素子及び周辺回路の数を減らせて装置１を廉価に構成できる。

又、撮像素子５ａには遠赤外撮像素子５ａが用いられ、レンズ５ｂ，５ｆ，５ｇ及びプリズム５ｃは遠赤外線透過材料により形成される為、遠赤外線を利用してステレオ撮像でき、これにより昼夜を問わず物体（特に歩行者）を検出できる。

又、遠赤外線透過材料としてＺｎＳが用いられる為、従来の遠赤外線透過材料（例えばＳｉやＧｅ）が用いられた場合と比べて、光学系５ｂ，５ｆ，５ｇを廉価に構成できる。

又、車載カメラ５の撮像画像が（ここでは例えば車載カメラ５の撮像画像Ｇがそのまま）表示装置７に表示されると共に、物体検出手段９ｈ，９ｋにより物体１５が検出された場合に表示装置７に表示された撮像画像Ｇに映る当該物体１５が強調表示される為、表示装置７によって乗員に視覚的に物体１５が存在する事を警告できる。

＜変形例＞
上記の実施の形態に於いて、単一のプリズム５ｃの代わりに例えば図５及び図６の様に上下一対の反射部材５ｍ，５ｎを用いても構わない。この上下一対の反射部材５ｍ，５ｎは、例えば２つの三角柱形のプリズムにより構成され、結像レンズ５ｂの前方に於ける左右の反射部材５ｄ，５ｅの中間に配置される。一方（例えば上側）の反射部材５ｍは、その反射面５ｐが左後方に向けられて配置され、他方（例えば下側）の反射部材５ｎは、その反射面５ｑが右後方に向けられて配置される。

この構成により、図５の様に、自車両前方の同一撮像範囲からの光１３Ｌ，１３Ｒは、左右の各視点に配置された各対物レンズ５ｆ，５ｇにより集光される。そして、左（右）視点の対物レンズ５ｆ（５ｇ）による集光光１３Ｌ（１３Ｒ）は、左（右）側の反射部材５ｄ（５ｅ）で反射されて上側（下側）の反射部材５ｍ（５ｎ）の反射面５ｐ（５ｑ）で反射されて結像レンズ５ｂ側に導光され、結像レンズ５ｂで集光されて撮像素子５ａの撮像面の下半領域（上半領域）に結像される。

これにより、図７の様に、左右２つの視点から見た自車両前方の同一撮像範囲の左右視点の視差画像ＧＬ，ＧＲは、１つの画像Ｇに統合されて撮像素子５ａにより同時に撮像される。ここでは、左（右）視点の視差画像ＧＬ（ＧＲ）は撮像画像Ｇの下半領域Ｇｄ（上半領域Ｇｕ）に統合される（即ち撮像画像Ｇ上に上下に並べられて１つに統合される）。そして、撮像素子５ａの撮像画像Ｇは、信号処理回路５ｈでデジタルデータに変換されて映像Ｉ／Ｆ回路５ｉにより画像処理回路９に伝送されて、上記の実施の形態と同様の処理がなされる。

この変形例によれば、左右の視差画像ＧＬ，ＧＲが撮像画像Ｇ上に上下に並べられて１つに統合される為（即ち、左右の視差画像ＧＬ，ＧＲが共に縦横比が横長の画像として撮像される為）、水平方向のエッジ等に基づいて左右の視差画像ＧＬ，ＧＲ間の視差が計算されるステレオ視の画像処理に於いて、上記の実施の形態の様に左右の視差画像ＧＬ，ＧＲが撮像画像Ｇ上に左右に並べられて１つに統合される場合よりも分解能を向上できる。

尚、この変形例では、一対の反射部材５ｍ，５ｎをプリズムで構成した場合で説明したが、プリズムの代わりに反射ミラーで構成しても構わない。

本発明の実施の形態に係る車両用物体検出装置の構成概略図である。 図１の車両用物体検出装置の自車両への設置場所を説明する図である。 図１の車載カメラの光学系の構成概略図の一例図である。 図１の車載カメラの撮像画像の一例図、且つ表示装置に表示される表示用画像の一例図である。 変形例に於ける光学系の構成概略図の一例図である。 図５の反射部材５ｍ，５ｎの拡大斜視図である。 変形例に於ける車載カメラの撮像画像の一例図、且つ表示装置に表示される表示用画の一例図である。

符号の説明

１ 車両用物体検出装置
３ 自車両
５ 車載カメラ
５ａ 撮像素子
５ｂ 結像レンズ
５ｃ プリズム
５ｄ，５ｅ 反射部材
５ｆ，５ｇ 対物レンズ
５ｍ，５ｎ 反射部材
７ 表示装置
９ｇ 表示画像生成部
９ｈ 立体画像認識部
９ｉ 強調表示付与部
９ｋ 物体検出部
１３Ｌ，１３Ｒ 光
１５ 物体
１７ 輪郭画像
Ｇ 撮像画像

Claims (4)

1. 自車両に設置されて前記自車両周辺をステレオ撮像する車載カメラと、前記車載カメラの撮像画像にステレオ画像処理を行って前記撮像画像に映る物体の検出を行う物体検出手段とを備えた車両用物体検出装置であって、
   前記車載カメラは、単一の撮像素子と、同一撮像範囲からの光を複数の視点で集光してそれら各視点での集光光をそれぞれ前記撮像素子の撮像面の異なる領域に導光して同時に結像させることにより、前記複数の視点から見た前記同一撮像範囲の視差画像を１つの画像に統合して前記撮像素子により撮像させる光学系とを備え、
   前記物体検出手段は、前記車載カメラの撮像画像の同一フレーム内に統合された前記複数の視点から見た前記視差画像を用いてステレオ画像処理を行うことを特徴とする車両用物体検出装置。
2. 前記撮像素子には遠赤外撮像素子が用いられ、前記光学系に含まれるレンズ及び／又はプリズムは遠赤外線透過材料により形成されることを特徴とする請求項１に記載の車両用物体検出装置。
3. 前記遠赤外線透過材料としてＺｎＳが用いられることを特徴とする請求項２に記載の車両用物体検出装置。
4. 更に、前記車載カメラの撮像画像を所定の表示装置に表示させる表示画像生成手段と、前記物体検出手段により物体が検出された場合に、前記表示装置に表示された前記撮像画像に映る当該物体を強調表示する強調表示付与手段とを備えることを特徴とする請求項１〜請求項３の何れかに記載の車両用物体検出装置。
   

Images