JP2009017157A - 画像処理装置および方法、並びに、プログラム - Google Patents

Abstract

【課題】画像を用いて複数の対象を検出する処理の負荷を軽減する。
【解決手段】領域設定部１３１は、レーダ装置１１２により検出された自車の前方の物体の位置に基づいて、処理画像において前方車両の存在が想定される障害物領域および車線の存在が想定される路面領域の２つの分割領域を設定する。画像生成部１３２は、車両の前方の明るさに基づいて、カメラ１１１により撮像された前方画像のダイナミックレンジおよび解像度を分割領域ごとに調整することにより処理画像を生成する。車線検出部１４１は、処理画像の路面領域内の画像に基づいて車線の検出を行い、車両検出部１４２は、処理画像の障害物領域内の画像に基づいて前方車両の検出を行う。本発明は、車載用の画像処理装置に適用できる。
【選択図】図３

Description

本発明は、画像処理装置および方法、並びに、プログラムに関し、特に、画像を用いて複数の対象を検出する処理の負荷を軽減することができるようにした画像処理装置および方法、並びに、プログラムに関する。

近年、車両の前方を撮像した画像を用いて、走行中の車線、自車の前方を走行している車両（以下、前方車両とも称する）、通行者、道路標識、前方落下物など複数の種類の対象の検出を行い、検出結果に基づいて、例えば、自動運転、運転補助、ドライバに対する警報などを行うことにより運転を支援する運転支援装置が普及してきている。

ところで、複数の種類の対象の検出を行う場合、各対象の検出に適した手法やアルゴリズムなどが異なるため、各対象ごとに、それぞれ異なるハードウエアまたはソフトウエアのモジュールを設けて、個別に検出処理を行うことが一般的である。

例えば、図１は、車線および前方車両の検出処理を行う画像処理装置の機能的構成の一例を示すブロック図である。この画像処理装置は、カメラ１、車両検出部２、および、車線検出部３により構成される。カメラ１は、車両の前方を撮像し、撮像した画像（以下、前方画像と称する）を車両検出部２および車線検出部３に供給する。車両検出部２および車線検出部３は、それぞれ異なるハードウエアまたはソフトウエアのモジュールにより構成され、前方画像に基づいて、車線および前方車両の検出処理を行う。

例えば、車両２１および区画線２２Ｌ，２２Ｒが写っている前方画像１１がカメラ１により撮像された場合、車両検出部２は、パターン認識などの手法を用いて、自車の前方を走行する車両２１を検出し、車両２１を囲む矩形３１の大きさおよび位置を示す情報を検出結果として後段の装置に供給する。また、車線検出部３は、例えば、エッジ抽出処理、道路モデルフィッティング処理などの手法を用いて、自車が走行している車線の両端に引かれている区画線２２Ｌ，２２Ｒの内側のライン４１Ｌ，４１Ｒを検出し、ライン４１Ｌ，４１Ｒの位置を示す情報を検出結果として後段の装置に供給する。すなわち、ライン４１Ｌとライン４１Ｒにより挟まれた領域が、走行中の車線として検出される。

ところで、上述したように、運転支援装置においては、一般的に各対象について個別に検出処理が行われるため、検出する対象の種類の増加にほぼ比例して、検出処理の負荷が増加し、処理時間や装置の規模などが増大してしまう。

そこで、レーダ装置システムにより検出された物体までの距離を基に、白線および車両を検出する画像内の領域をそれぞれ限定し、限定した領域内で、白線または車両を検出することが提案されている（例えば、特許文献１参照）。

特開平９−２６４９５４号公報

しかしながら、特許文献１に記載の発明では、画像の面積あたりの検出処理の負荷は特に変化していないため、改善の余地が残されている。

本発明は、このような状況に鑑みてなされたものであり、画像を用いて複数の対象を検出する処理の負荷を軽減することができることができるようにするものである。

本発明の一側面の画像処理装置は、複数の対象の検出に用いる画像である処理画像を生成する画像処理装置において、対象を検出する方向において検出された物体の位置に基づいて、処理画像において対象の存在が想定される領域を設定する設定手段と、想定される対象の種類に基づいて、領域ごとに画質を調整した処理画像を生成する生成手段とを備える。

本発明の一側面の画像処理装置においては、対象を検出する方向において検出された物体の位置に基づいて、処理画像において対象の存在が想定される領域が設定され、想定される対象の種類に基づいて、領域ごとに画質を調整した処理画像が生成される。

従って、領域ごとに各対象の検出に適した画質に調整された処理画像を生成することができ、処理画像を用いて複数の対象を検出する処理の負荷を軽減することができる。

この設定手段、画像生成手段は、例えば、CPU（Central Processing Unit）、専用のハードウエア回路により構成される。

この生成手段には、さらに、対象を検出する方向の明るさに基づいて、領域ごとに画質を調整した処理画像を生成させることができる。

これにより、対象を検出する方向の明るさに応じて、領域ごとに各対象の検出に適した画質に調整された処理画像を生成することができ、処理画像を用いて複数の対象を検出する処理の負荷をさらに軽減することができる。

この生成手段には、領域ごとに、輝度分解能、ダイナミックレンジ、色数、または、解像度を調整した処理画像を生成させることができる。

これにより、領域ごとに各対象の検出に適した輝度分解能、ダイナミックレンジ、色数、または、解像度に調整された処理画像を生成することができる。

この対象は、車両の前方の障害物および車線を含み、この設定手段には、障害物の存在が想定される障害物領域、および、車線の存在が想定される車線領域を設定させ、この生成手段には、設定した領域ごとに、輝度分解能およびダイナミックレンジを調整した処理画像を生成させることができる。

これにより、車両の前方の障害物および車線を含む対象を検出する処理の負荷を軽減することができる。

この生成手段には、設定した領域ごとに、処理画像を生成する元となる画像の輝度値を表すビット列のうち所定の範囲のビットを抽出することにより、輝度分解能およびダイナミックレンジを調整させることができる。

これにより、車両の前方の障害物および車線の検出精度の低下を抑制しつつ、処理画像の情報量を削減することができる。

この生成手段には、物体を含む領域以外の領域の解像度を、物体を含む領域の解像度より下げた処理画像を生成させることができる。

これにより、所定の対象の検出精度の低下を抑制しつつ、処理画像の情報量を削減することができる。

この対象は、道路標識を含み、この設定手段には、道路標識の存在が想定される道路標識領域を設定させ、この生成手段には、道路標識領域をカラーとし、道路標識領域以外の領域をモノクロとした処理画像を生成させることができる。

これにより、道路標識を含む複数の対象を検出する処理の負荷を軽減することができる。

この生成手段には、画質の異なる複数の画像を組み合わせることにより、処理画像を生成させることができる。

これにより、各領域ごとに画質が異なる処理画像を簡単に生成することができる。

この生成手段には、撮影時のシャッタ時間が異なる複数の画像を組み合わせることにより、処理画像を生成させることができる。

これにより、各領域ごとに明るさが異なる処理画像を簡単に生成することができる。

本発明の一側面の画像処理方法、または、プログラムは、複数の対象の検出に用いる画像である処理画像を生成する画像処理方法、または、複数の対象の検出に用いる画像である処理画像を生成する画像処理をコンピュータに実行させるプログラムであって、対象を検出する方向において検出された物体の位置に基づいて、処理画像において対象の存在が想定される領域を設定する設定ステップと、想定される対象の種類に基づいて、領域ごとに画質を調整した処理画像を生成する生成ステップとを含む。

本発明の一側面の画像処理方法、または、プログラムにおいては、対象を検出する方向において検出された物体の位置に基づいて、処理画像において対象の存在が想定される領域が設定され、想定される対象の種類に基づいて、領域ごとに画質を調整した処理画像が生成される。

従って、領域ごとに各対象の検出に適した画質に調整された処理画像を生成することができ、処理画像を用いて複数の対象を検出する処理の負荷を軽減することができる。

この設定ステップは、例えば、対象を検出する方向において検出された物体の位置に基づいて、処理画像において対象の存在が想定される領域をCPUにより設定する設定ステップにより構成され、この生成ステップは、例えば、想定される対象の種類に基づいて、領域ごとに画質を調整した処理画像をCPUにより生成する生成ステップにより構成される。

以上のように、本発明の一側面によれば、複数の対象の検出に用いる処理画像を生成することができる。特に、本発明の一側面によれば、画像を用いて複数の対象を検出する処理の負荷を軽減することができる。

以下、図を参照して、本発明の実施の形態について説明する。

まず、図２を参照して、本発明の実施の形態の概要を説明する。なお、図２は、車両の前方を撮像した前方画像の例を示している。

前方画像を用いて所定の対象を検出する場合、前方画像の各領域において、存在が想定される対象の種類は異なる。例えば、車両の前方において検出された物体（例えば、前方の車両、歩行者など）を含む領域Ｄ１においては、前方の車両、通行者、落下物などの存在が想定され、車両が通行する路面を含む領域Ｄ２においては、車線、道路標示などの存在が想定され、車両が通行する範囲より左側の領域Ｄ３Ｌおよび右側の領域Ｄ３Ｒにおいては、植樹帯、植樹帯、歩道、分離帯などの存在が想定され、車両の前方に存在する物体より上の領域Ｄ４においては、線路、道路、橋などの高架、道路標識などの存在が想定される。

また、検出精度および処理時間の観点から、各対象の検出に適した画質は、それぞれ異なる。

従って、存在が想定される対象に基づいて、各領域ごとに画質を調整することにより、検出精度を保ちつつ、検出処理に要する時間の短縮を実現することができる。

本発明の実施の形態においては、以下に述べるように、レーダ装置などのセンサを用いて、車両の進行方向に存在する物体に関する情報、例えば、物体の有無、位置、数、大きさ、形状、物体の表面の連続性（以下、面連続性と称する）が検出され、検出結果に基づいて、検出処理に用いる画像（以下、処理画像と称する）において、所定の対象の存在が想定される領域（以下、分割領域と称する）が設定される。そして、存在が想定される対象の種類に基づいて、各領域ごとに画質を調整した処理画像が生成され、処理画像に基づいて、所定の対象の検出処理が行われる。

なお、ここでいう画質とは、画像の鮮鋭さ、色合い、明るさ、鮮やかさなど定性的なもの、および、画像の情報量、階調数、ダイナミックレンジ、輝度分解能、色数、波長帯、ノイズ量など定量的なものを含む。

次に、本発明の実施の形態の詳細について説明する。

図３は、本発明を適用した画像処理システムの第１の実施の形態を示すブロック図である。画像処理システム１０１は、車両に設置され、設置された車両（以下、自車とも称する）が走行している車線、および、自車の前方を走行している前方車両の検出処理を行う。画像処理システム１０１は、カメラ１１１、レーダ装置１１２、および、画像処理装置１１３を含むように構成される。また、画像処理装置１１３は、前処理部１２１および検出部１２２を含むように構成される。さらに、前処理部１２１は、領域設定部１３１および画像生成部１３２を含むように構成される。また、検出部１２２は、車線検出部１４１および車両検出部１４２を含むように構成される。

カメラ１１１は、例えば、CCD撮像素子、CMOS撮像素子、または、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor）（登録商標））などの対数変換型撮像素子などを用いたカメラにより構成される。

カメラ１１１は、例えば、図４に示されるように、車内の図示せぬルームミラー付近に、自車の前方を撮像するように設置され、撮像した画像である前方画像を、画像処理装置１１３の領域設定部１３１に供給する。

レーダ装置１１２は、例えば、図４に示されるように、車両のボディの前端の中央下部付近に設置され、ミリ波、マイクロ波などの電波、または、レーザ光などの光を用いて、自車の前方に存在する車両、動物、通行人、障害物などの物体の有無、位置、物体の数、大きさ、形状、面連続性などを検出する。レーダ装置１１２は、検出結果を示す情報（以下、前方物体情報と称する）を画像処理装置１１３の領域設定部１３１に供給する。

画像処理装置１１３は、前方画像、前方物体情報、および、例えば、ECU(Electoronic Control Unit)などにより構成される車両制御装置１０２から供給される自車の状態および自車の周囲の状態などを示す情報（以下、自車情報とも称する）に基づいて、車線および前方車両の検出処理を行う。

前処理部１２１は、前方画像、前方物体情報、および、自車情報に基づいて、車線および前方車両の検出処理に用いる処理画像を生成する。

領域設定部１３１は、カメラ１１１から前方画像を取得し、レーダ装置１１２から前方物体情報を取得する。領域設定部１３１は、図５を参照して後述するように、前方物体情報に基づいて、処理画像において道路の区画線の存在が想定される路面領域、および、前方車両の存在が想定される障害物領域の２種類の分割領域を設定する。領域設定部１３１は、前方画像、および、各分割領域を示す情報を画像生成部１３２に供給する。

画像生成部１３２は、自車情報を車両制御装置１０２から取得する。画像生成部１３２は、図５を参照して後述するように、存在が想定される対象の種類（いまの場合、車線または前方車両）、および、自車の前方の明るさに基づいて、分割領域ごとに輝度分解能およびダイナミックレンジを調整した処理画像を生成する。画像生成部１３２は、処理画像、および、各分割領域を示す情報を車線検出部１４１および車両検出部１４２に供給する。

検出部１２２は、処理画像に基づいて、車線および前方車両の検出処理を行う。

車線検出部１４１は、所定の手法を用いて、処理画像の路面領域内の画像に基づいて、車線の検出処理を行う。車線検出部１４１は、検出結果を示す情報、例えば、走行中の道路の各車線の位置などを示す情報を車両制御装置１０２に供給する。

車両検出部１４２は、所定の手法を用いて、処理画像の障害物領域内の画像に基づいて、前方車両の検出処理を行う。車両検出部１４２は、検出結果を示す情報、例えば、前方車両の有無、位置、大きさ、形状、速度などを示す情報を車両制御装置１０２に供給する。

車両制御装置１０２は、車線および前方車両の検出結果に基づいて、所定の処理を行う。例えば、車両制御装置１０２は、前方車両との間の車間距離に応じて、車速またはブレーキを制御したり、ドライバへの警報を行うように車両の各部を制御する。また、例えば、車両制御装置１０２は、自車が走行中の車線をはみ出した場合、ドライバへの警告を行うように、車両の各部を制御する。

次に、図５のフローチャートを参照して、画像処理システム１０１により実行される画像処理を説明する。なお、この処理は、例えば、画像処理システム１０１の図示せぬ操作部を介して、ユーザにより画像処理の開始の指令が入力されたとき開始される。

ステップＳ１において、カメラ１１１は、撮像を開始する。カメラ１１１は、撮像した前方画像の領域設定部１３１への供給を開始する。

ステップＳ２において、レーダ装置１１２は、前方の物体の検出処理を開始する。具体的には、レーダ装置１１２は、車両の前方の所定の範囲内に所定の電波または光波を照射し、その範囲内に存在する物体により反射された反射波または反射光を受信する。レーダ装置１１２は、受信した反射波または反射光に基づいて、車両の前方の物体の有無、位置、数、大きさ、形状、面連続性などの検出を開始する。レーダ装置１１２は、検出結果を示す前方物体情報の領域設定部１３１への供給を開始する。

ステップＳ３において、領域設定部１３１は、分割領域を設定する。例えば、領域設定部１３１は、カメラ１１１により図６に示される前方画像が撮像された場合、自車の前方の車両２５１の下端を通る境界線Ｌ１、換言すれば、車両２５１と路面との境界を通る境界線Ｌ１より上の車両２５１を含む領域である障害物領域Ｄｏ１、および、境界線Ｌ１より下の前方車両２５１により視界が遮られない領域である路面領域Ｄｒ１を設定する。領域設定部１３１は、前方画像、および、各分割領域を示す情報を画像生成部１３２に供給する。

ここで、境界線Ｌ１の設定方法の一例を説明する。

カメラ１１１の座標系（以下、カメラ座標系と称する）を表す座標をP_c=(Xc,Yc,Zc)、レーダ装置１１２の座標系（以下、レーダ座標系と称する）を表す座標をP_r＝(Xr,Yr,Zr)、カメラ１１１の光軸とレーダ装置１１２の光軸との並進をT、回転をRとした場合、座標Pcと座標Prの関係は、以下の式（１）により表される。

Pc＝R×Pr＋T ・・・（１）

なお、並進Ｔおよび回転Ｒは、事前にキャリブレーションを行うことにより既知の値とすることができる。また、前方画像の座標系（以下、画像座標系と称する）を表す座標をPi=(x,y,1)とすると、座標Pcと座標Piの関係は、以下の式（２）により表される。

s×Pi＝A×Pc ・・・（２）
ただし、sは定数、Aはカメラ１１１の内部パラメータ行列を表す。

計算を簡単にするため、前方画像の各画素が正方格子状に配置され、図７に示されるように、前方画像の中心Ciが、カメラ座標系の光軸（Zc軸）を通るものとし、カメラ１１１の焦点距離をfとした場合、内部パラメータ行列Aは、式（３）により表される。

式（２）および式（３）より、s=Zcとなり、式（２）および式（３）から以下の式（４）が導出される。

すなわち、式（１）および式（４）に基づいて、レーダ装置１１２により検出された物体のレーダ座標系における位置（座標）から、その物体の画像座標系における位置（座標）を求めることができる。

例えば、車両２５１の路面からの高さがレーダ座標系において0mであると仮定し、レーダ装置１１２により検出された車両２５１のレーダ座標系における位置がPr₁=(Xr₁,0,Zr₁)である場合、式（１）および式（４）に基づいて、画像座標系における車両２５１の下端部のy座標を算出することができる。

領域設定部１３１は、例えば、車両２５１の下端部のy座標を通るほぼ水平な線を境界線Ｌ１に設定する。なお、車両２５１が確実に障害物領域Ｄｏ１に含まれるように、車両２５１の下端部のｙ座標より所定の長さだけ下を通る線に境界線Ｌ１を設定するようにしてもよい。

なお、以上では、レーダ装置１１２により前方車両が検出された場合を例に挙げたが、車両以外の物体が検出された場合においても、同様の方法により、検出された物体と路面との境界に境界線Ｌ１が設定される。

また、レーダ装置１１２により自車の前方に物体が検出されなかった場合、領域設定部１３１は、例えば、障害物領域を設定せずに、前方画像の全ての領域を路面領域に設定する。

ステップＳ４において、画像生成部１３２は、前方が暗い状態であるかを判定する。領域設定部１３１は、例えば、車両制御装置１０２に設けられている、自車のヘッドライトの点灯および消灯を制御する照度センサから出力される信号に基づいて、前方が暗い状態であるかを判定する。車両制御装置１０２からヘッドライトの点灯を指示する信号が出力されていない場合、領域設定部１３１は、前方が暗い状態でないと判定し、処理はステップＳ５に進む。

ステップＳ５において、画像生成部１３２は、昼用の処理画像を生成する。画像生成部１３２は、生成した処理画像、および、各分割領域を示す情報を車線検出部１４１および車両検出部１４２に供給する。その後、処理はステップＳ７に進む。なお、処理画像の生成方法については後述する。

ステップＳ４において、車両制御装置１０２からヘッドライトの点灯を指示する信号が出力されている場合、領域設定部１３１は、前方が暗い状態であると判定し、処理はステップＳ６に進む。

ステップＳ６において、画像生成部１３２は、夜用の処理画像を生成する。画像生成部１３２は、生成した処理画像、および、各分割領域を示す情報を車線検出部１４１および車両検出部１４２に供給する。

ここで、図８乃至図１４を参照して、処理画像の生成方法について説明する。

画像生成部１３２は、以下に述べる２つの方法のいずれかを用いて、各分割領域に対応する画像を生成する。

第１の方法においては、各画素の輝度値を表す１０ビットのビット列のうち、下位の２ビットを切り捨て、上位の８ビットを抽出することにより、輝度値が８ビットのデータに変換される。すなわち、第１の方法において輝度値が変換された画素からなる画像では、元の画像と比較して、表示可能な輝度範囲は変更されずに、表示可能な階調数が減るため、１階調に割り当てられる輝度の範囲が大きくなる。すなわち、変換後の画像は、元の画像と比較して、ダイナミックレンジは変更されずに、輝度分解能が低下した画像となる。

第２の方法においては、各画素の輝度値を表す１０ビットのビット列のうち、上位の２ビットを切り捨て、下位の８ビットを抽出することにより、輝度値が８ビットのデータに変換される。具体的には、１０ビットのデータで表される輝度値の範囲を２５６階調ごとに分割し、そのうち１つの範囲内、例えば、２進数で0100000000から0111111111の範囲内において、輝度値を表す１０ビットのビット列のうち、上位の２ビットを切り捨て、下位の８ビットを抽出することにより、輝度値が00000000から11111111までの８ビットのデータに変換され、その範囲内より小さい輝度値は00000000に変換され、その範囲内より大きい輝度値は11111111に変換される。すなわち、第２の方法において輝度値が変換された画素からなる画像では、元の画像と比較して、１階調に割り当てられる輝度の範囲は変更されずに、表示可能な輝度範囲が狭められた画像となる。すなわち、変換後の画像は、元の画像と比較して、輝度分解能は変更されずに、ダイナミックレンジが狭められた画像となる。

ところで、昼間の明るい状態において撮像された前方画像を用いて、車線または前方車両を検出する場合、各被写体のエッジ部分のコントラストが明確であるほど、検出精度は向上する。また、昼間の明るい状態において撮像された画像においては、異なる被写体間の輝度の差が大きくなる傾向、すなわち、被写体の違いによる明暗の差が大きくなる傾向にある。従って、第１の方法を用いて前方画像の輝度分解能を下げたとしても、各被写体のエッジ部分のコントラストは、ほとんど低下しない。

図８および図９は、昼間の明るい状態において撮像された前方画像内の一部の領域を、第１の方法を用いて変換した画像の例を示している。第１の方法を用いて画像の情報量を削減しても、図８の区画線のエッジ部分、および、図９の車両のエッジ部分のコントラストは、十分に確保されている。従って、第１の方法を用いて前方画像の輝度分解能を下げたとしても、車線および前方車両の検出精度はほとんど低下しない。

また、昼間の明るい状態において撮像された画像においては、例えば、直射日光が照射されている領域とトンネル内などの日陰の領域では、輝度値の範囲が大きく異なる。従って、第２の方法を用いて画像のダイナミックレンジを狭めた場合、いわゆる、黒潰れまたは白飛びが発生し、被写体のエッジ部分のコントラストが低下し、車線および前方車両の検出精度が大きく低下する可能性がある。

従って、ステップＳ５において、画像生成部１３２は、前方画像の全ての領域、すなわち、路面領域と障害物領域の両方の分割領域内の画素について、第１の方法を用いて輝度値を変換することにより、昼用の処理画像を生成する。すなわち、昼用の処理画像においては、元の前方画像の輝度分解能を下げることにより、画像の情報量が削減される。

一方、夜間の暗い状態において撮像された前方画像を用いて、車線または前方車両を検出する場合については、昼間の明るい状態において撮像された画像を用いる場合とは事情が異なる。

例えば、図１０は、夜間の暗い状態において撮像された前方画像内の路面の区画線が写っている領域を、第１の方法を用いて変換した画像を示し、図１１は、第２の方法を用いて変換した画像を示している。夜間の暗い路面においては、区画線と区画線以外の領域との輝度の差が小さくなるため、第１の方法を用いて画像を変換した場合、すなわち、輝度分解能を下げた場合、図１０に示されるように、区画線のエッジ部分のコントラストが低下し、車線の検出精度の低下を招く恐れがある。

一方、夜間の路面においては、輝度が狭い範囲に集中するため、第２の方法を用いて画像を変換しても、すなわち、ダイナミックレンジを狭くしても、抽出する輝度範囲を適切に設定することにより、例えば、図１１に示されるように、路面の区画線のエッジ部分のコントラストが確保される。従って、第２の方法により画像の情報量を削減しても、車線の検出精度の低下はほとんど生じない。

また、図１２は、夜間の暗い状態において撮像された前方画像内の前方車両が写っている領域を、第１の方法を用いて変換した画像を示し、図１３は、第２の方法を用いて変換した画像を示している。夜間における車両の検出処理においては、車両前方のヘッドライトや車両後方のテールランプを検出することにより、車両を検出する手法がよく用いられる。ヘッドライトやテールランプは周囲と比較して非常に明るく、かつ、ごく狭い範囲に輝度が集中する。また、ヘッドライトおよびテールランプ以外の領域の輝度は、自車のヘッドライトから照射される光により、ヘッドライトやテールランプの輝度より暗い範囲内で、大きく変化する。従って、例えば、図１２と図１３を比較して明らかなように、画像輝度分解能を下げることにより、前方車両のテールランプとその他の領域との輝度の差が強調され、車両の検出精度が向上する場合がある。

従って、ステップＳ６において、画像生成部１３２は、図１４に模式図が示されるように、境界線Ｌ１より下の路面領域内の各画素について、第２の方法を用いて輝度値を変換し、境界線Ｌ１より上の障害物領域内の各画素について、第１の方法を用いて輝度値を変換することにより、夜用の処理画像を生成する。すなわち、夜用の処理画像においては、路面領域内では、ダイナミックレンジを狭め、障害物領域内では、輝度分解能を下げることにより、画像の情報量が削減される。

ステップＳ７において、検出部１２２は、検出処理を行う。具体的には、車線検出部１４１は、所定の手法を用いて、処理画像の路面領域内の画像に基づいて、車線の検出処理を行う。また、車両検出部１４２は、所定の手法を用いて、処理画像の障害物領域内の画像に基づいて、前方車両の検出処理を行う。

このように、対象ごとに検出処理を行う領域を限定することにより、検出処理の負荷が軽減される。また、路面領域および障害物領域内の画像は、輝度値が１０ビットから８ビットのデータに変換されることにより情報量が削減されているため、前方画像をそのまま用いて検出処理を行う場合と比較して、検出処理の負荷が軽減される。さらに、上述したように、画像の情報量を削減することによる検出精度の低下はほとんど生じない。

車線検出部１４１および車両検出部１４２は、検出結果を示す情報を車両制御装置１０２に供給する。

なお、自車の前方において物体が検出されておらず、障害物領域が設定されていない場合、例えば、車両検出部１４２は、検出処理を行わない。

車両制御装置１０２は、車線検出部１４１および車両検出部１４２による検出結果に基づいて、所定の処理を行う。

ステップＳ８において、画像処理システム１０１は、画像処理の停止が指令されたかを判定する。画像処理の停止が指令されていないと判定された場合、処理はステップＳ３に戻り、ステップＳ８において、画像処理の停止が指令されたと判定されるまで、ステップＳ３乃至Ｓ８の処理が繰り返し実行される。

ステップＳ８において、例えば、画像処理システム１０１の図示せぬ操作部を介して、ユーザにより画像処理の停止の指令が入力された場合、画像処理システム１０１は、画像処理の停止が指令されたと判定し、画像処理は終了する。

このようにして、車線および前方車両の検出精度をほとんど低下させずに、検出処理の負荷を軽減することができる。従って、検出処理に用いるプロセッサなどを安価に抑えることができる。

なお、上述した前方画像の輝度値を表すビット数および変換後のビット数は、一例であり、上述した例に限定されるものではない。

また、より検出精度を高めるために、車線検出部１４１および車両検出部１４２が、処理画像の全ての領域について検出処理を行うようにしてもよい。この場合についても、処理画像は、元の前方画像から情報量が削減されているため、前方画像をそのまま用いた場合と比較して、検出処理の負荷が軽減される。

次に、図１５乃至図１９を参照して、本発明の第２の実施の形態について説明する。

図１５は、本発明を適用した画像処理システムの第２の実施の形態を示すブロック図である。画像処理システム３０１は、カメラ３１１、レーダ装置１１２、および、画像処理装置３１２を含むように構成される。また、画像処理装置３１２は、前処理部３２１および検出部１２２を含むように構成される。さらに、前処理部３２１は、領域設定部３３１、および、画像生成部３３２を含むように構成される。また、検出部１２２は、車線検出部１４１および車両検出部１４２を含むように構成される。なお、図中、図３と対応する部分については同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。

カメラ３１１は、例えば、CCD撮像素子、CMOS撮像素子、または、対数変換型撮像素子などを用いたカメラにより構成される。カメラ３１１は、例えば、上述した図４に示されるカメラ１１１とほぼ同じ位置に設置され、前方画像を撮像する。また、カメラ３１１は、１フレーム毎にシャッタ時間を変更して撮像を行うことが可能である。すなわち、カメラ３１１は、自車の前方のほぼ同じ光景に対して、明るさが異なる複数の前方画像を撮像することが可能である。カメラ３１１は、撮像した前方画像を画像処理装置３１２の領域設定部３３１に供給する。

なお、以下の説明では、カメラ３１１は、２段階のシャッタ時間を交互に切換えながら、前方画像を撮像するものとする。すなわち、ほぼ同じ光景に対して、シャッタ時間を長くして撮像した明るい画像（以下、明画像と称する）と、シャッタ時間を短くして撮像した暗い画像（以下、暗画像と称する）の２種類の前方画像が撮像される。

画像処理装置３１２は、前方画像、前方物体情報、および、自車情報に基づいて、車線および前方車両の検出処理を行う。

前処理部３２１は、前方画像、前方物体情報、および、自車情報に基づいて、処理画像を生成する。

領域設定部３３１は、カメラ３１１から前方画像を取得し、レーダ装置１１２から前方物体情報を取得する。領域設定部３３１は、図１６を参照して後述するように、前方物体情報に基づいて、路面領域と障害物領域の２種類の分割領域を設定する。領域設定部３３１は、明画像および暗画像の２種類の前方画像、および、各分割領域を示す情報を画像生成部３３２に供給する。

画像生成部３３２、自車情報を車両制御装置１０２から取得する。画像生成部３３２は、図１６を参照して後述するように、存在が想定される物体の種類、および、自車の前方の明るさに基づいて、各分割領域に用いる前方画像を選択し、処理画像を生成する。画像生成部３３２は、処理画像、および、分割領域を示す情報を車線検出部１４１および車両検出部１４２に供給する。

車両制御装置１０２は、車線および前方車両の検出結果に基づいて、所定の処理を行う。例えば、車両制御装置１０２は、前方車両との間の車間距離に応じて、車速またはブレーキを制御したり、ドライバへの警報を行うように車両の各部を制御する。また、例えば、車両制御装置１０２は、自車が走行中の車線をはみ出した場合、ドライバへの警告を行うように、車両の各部を制御する。

次に、図１６のフローチャートを参照して、画像処理システム３０１により実行される画像処理について説明する。なお、この処理は、例えば、画像処理システム３０１の図示せぬ操作部を介して、ユーザにより画像処理の開始の指令が入力されたとき開始される。

ステップＳ１０１において、カメラ３１１は、撮像を開始する。具体的には、カメラ３１１は、２段階のシャッタ時間を１フレーム毎に交互に切換えながら、明画像と暗画像の撮像し、撮像した明画像および暗画像の領域設定部３３１への供給を開始する。

ステップＳ１０２において、上述した図５のステップＳ２の処理と同様に、前方の物体の検出処理が開始される。レーダ装置１１２は、検出結果を示す前方物体情報の領域設定部３３１への供給を開始する。

ステップ１０３において、領域設定部３３１は、上述した図５のステップＳ３の処理と同様に、分割領域を設定する。領域設定部３３１は、フレームが互いに隣接する明画像および暗画像、並びに、各分割領域を示す情報を画像生成部３３２に供給する。

ステップＳ１０４において、画像生成部３３２は、上述した図５のステップＳ４の処理と同様に、前方が暗い状態であるかを判定する。前方が暗い状態でないと判定された場合、処理はステップＳ１０５に進む。

ステップＳ１０５において、画像生成部３３２は、処理画像を選択する。例えば、画像生成部３３２は、照度センサなどを用いて検出した自車の前方の明るさが所定の照度以上の場合には、暗画像を処理画像として選択し、所定の照度未満の場合には、明画像を処理画像として選択する。画像生成部３３２は、選択した処理画像、および、各分割領域を示す情報を車線検出部１４１および車両検出部１４２に供給する。

ステップＳ１０４において、前方が暗い状態であると判定された場合、処理はステップＳ１０６に進む。

ステップＳ１０６において、画像生成部３３２は、処理画像を生成する。ここで、処理画像の生成方法について説明する。

図１７および図１８は、夜間にカメラ３１１により、シャッタ速度を切換えながら連続して撮像された前方画像の例を模式的に表す図である。図１７はシャッタ時間を長くして撮像された明画像、図１８はシャッタ時間を短くして撮像された暗画像を示している。

上述したように、夜間において、車両のヘッドライトまたはテールランプは周囲と比較して非常に明るいため、例えば、図１７と図１８を比較して明らかなように、シャッタ時間を短くして撮像した暗画像の方が、前方車両のテールランプと周囲の領域との輝度の差が大きくなる。従って、暗画像を用いた方が、前方車両の検出精度が向上する。

一方、夜間の路面は暗いため、例えば、図１７と図１８を比較して明らかなように、シャッタ時間をなるべく長くして撮像し、画像を明るくした方が、路面の区画線のエッジ部分のコントラストが明確になる。従って、明画像を用いた方が、区画線の検出精度が向上し、その結果、車線の検出精度が向上する。

従って、画像生成部３３２は、図１９に示されるように、境界線Ｌ１より上の障害物領域については、暗画像を用い、境界線Ｌ１より下の路面領域については、明画像を用いた処理画像を生成する。画像生成部３３２は、生成した処理画像、および、各分割領域を示す情報を車線検出部１４１および車両検出部１４２に供給する。

ステップＳ１０７およびＳ１０８の処理は、図５のステップＳ７およびＳ８の処理と同様であり、その説明は繰り返しになるので省略する。

このようにして、各分割領域において検出される対象、すなわち、車線または前方車両に応じて、明画像または暗画像を選択した処理画像を生成することにより、車線および車両の検出精度が向上する。

次に、図２０乃至図２２を参照して、本発明の第３の実施の形態について説明する。

図２０は、本発明を適用した画像処理システムの第３の実施の形態を示すブロック図である。画像処理システム４０１は、カメラ４１１、レーダ装置１１２、および、画像処理装置４１２を含むように構成される。また、画像処理装置４１２は、前処理部４２１および検出部４２２を含むように構成される。さらに、前処理部４２１は、領域設定部４３１、および、画像生成部４３２を含むように構成される。また、検出部４２２は、車線検出部１４１、車両検出部１４２、および、標識検出部４４１を含むように構成される。なお、図中、図３と対応する部分については同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。

カメラ４１１は、例えば、CCD撮像素子、CMOS撮像素子、または、対数変換型撮像素子などを用いたカメラにより構成される。カメラ４１１は、例えば、上述した図４に示されるカメラ１１１とほぼ同じ位置に設置され、カラーの前方画像を撮像する。カメラ４１１は、撮像した前方画像を画像処理装置４１２の領域設定部４３１に供給する。

画像処理装置４１２は、前方画像および前方物体情報に基づいて、車線、前方車両、および、道路標識の検出処理を行う。

前処理部４２１は、前方画像および前方物体情報に基づいて、処理画像を生成する。

領域設定部４３１は、カメラ４１１から前方画像を取得し、レーダ装置１１２から前方物体情報を取得する。領域設定部４３１は、図２１を参照して後述するように、前方物体情報に基づいて、処理画像において道路標識の存在が想定される空中領域、並びに、前方車両および道路の区画線の存在が想定される障害物領域の２種類の分割領域を設定する。領域設定部４３１は、前方画像、および、各分割領域を示す情報を画像生成部４３２に供給する。

画像生成部４３２は、図２１を参照して後述するように、各分割領域において検出されることが想定されている対象の種類（いまの場合、車線、前方車両、または、道路標識）に基づいて、分割領域内の画像の色数を調整した処理画像を生成する。画像生成部４３２は、処理画像、および、各分割領域を示す情報を車線検出部１４１、車両検出部１４２、および、標識検出部４４１に供給する。

検出部４２２は、処理画像に基づいて、車線、前方車両、および、道路標識の検出処理を行う。

車線検出部１４１は、所定の手法を用いて、処理画像の障害物領域内の画像に基づいて、車線の検出処理を行う。車線検出部１４１は、検出結果を示す情報を車両制御装置１０２に供給する。

車両検出部１４２は、所定の手法を用いて、処理画像の障害物領域内の画像に基づいて、前方車両の検出処理を行う。車両検出部１４２は、検出結果を示す情報を車両制御装置１０２に供給する。

標識検出部４４１は、所定の手法を用いて、処理画像の空中領域内の画像に基づいて、道路標識の検出処理を行う。標識検出部４４１は、検出結果を示す情報、例えば、道路標識の有無、検出した道路標識の種類などを示す情報を車両制御装置１０２に供給する。

車両制御装置１０２は、前方車両および道路標識の検出結果に基づいて、所定の処理を行う。例えば、車両制御装置１０２は、前方車両との間の車間距離に応じて、車速またはブレーキを制御したり、ドライバへの警報を行うように車両の各部を制御する。また、例えば、車両制御装置１０２は、検出された道路標識をドライバに通知したり、制御速度の超過の警告を行うように、車両の各部を制御する。

次に、図２１のフローチャートを参照して、画像処理システム４０１により実行される画像処理について説明する。なお、この処理は、例えば、画像処理システム４０１の図示せぬ操作部を介して、ユーザにより画像処理の開始の指令が入力されたとき開始される。

ステップＳ２０１において、カメラ４１１は、撮像を開始する。カメラ４１１は、撮像した前方画像の領域設定部４３１への供給を開始する。

ステップＳ２０２において、上述した図５のステップＳ２の処理と同様に、前方の物体の検出処理が開始される。レーダ装置１１２は、検出結果を示す前方物体情報の領域設定部４３１への供給を開始する。

ステップＳ２０３において、領域設定部４３１は、分割領域を設定する。例えば、領域設定部４３１は、カメラ４１１により図２２に示される前方画像が撮像された場合、自車の前方の車両４６１と路面との境界を通る境界線Ｌ１１から所定の高さだけ上にある境界線Ｌ１２より下の車両４６１を含む領域である障害物領域Ｄｏ１１、および、境界線Ｌ１２より上の道路標識４６２を含む領域である空中領域Ｄａ１１を設定する。領域設定部４３１は、前方画像、および、各分割領域を示す情報を画像生成部４３２に供給する。

なお、領域設定部４３１は、例えば、図６の境界線Ｌ１を設定する場合と同様の方法により、境界線Ｌ１１を設定する。また、領域設定部４３１は、車両４６１の車高を、実際の車高に関わらず、想定される車両の高さの最大値（以下、想定最大車高値と称する）であると仮定して、車両４６１の位置において、境界線Ｌ１１から想定最大車高値だけ高い位置の画像座標系におけるy座標を算出する。領域設定部４３１は、算出したy座標を通るほぼ水平な線を境界線Ｌ１２に設定する。

また、自車の前方において物体が検出されなかった場合、カメラ４１１の路面に対する取り付け角度に基づいて予め求められている、前方画像において路面が消失する位置のｙ座標を通るほぼ水平な線が境界線Ｌ１２に設定される。

ステップＳ２０４において、画像生成部４３２は、処理画像を生成する。道路標識の検出処理においては、画像の色情報を用いることにより検出精度を向上させることができるが、車線および車両の検出処理においては、車両または区画線の色を検出する場合を除いて、画像の色情報を用いても、検出精度はあまり向上しない。そこで、画像生成部４３２は、障害物領域内の画像をモノクロの画像に変換することにより、処理画像を生成する。すなわち、処理画像は、空中領域がカラー、障害物領域がモノクロの画像となる。画像生成部４３２は、生成した処理画像、および、各分割領域を示す情報を車線検出部１４１、車両検出部１４２、および、標識検出部４４１に供給する。

ステップＳ２０５において、検出部４２２は、検出処理を行う。具体的には、車線検出部１４１は、所定の手法を用いて、処理画像の障害物領域内の画像に基づいて、車線の検出処理を行う。車両検出部１４２は、所定の手法を用いて、処理画像の障害物領域内の画像に基づいて、前方車両の検出処理を行う。標識検出部４４１は、所定の手法を用いて、処理画像の空中領域内の画像に基づいて、道路標識の検出処理を行う。

このように、対象ごとに検出処理を行う領域を限定することにより、検出処理の負荷が軽減される。また、上述したように、障害物領域内の画像は、モノクロの画像に変換されることにより情報量が削減されているため、前方画像をそのまま用いて検出処理を行う場合と比較して、検出処理の負荷が軽減される。さらに、上述したように、画像の情報量を削減することによる検出精度の低下もほとんど生じない。

車線検出部１４１、車両検出部１４２および標識検出部４４１は、検出結果を示す情報を車両制御装置１０２に供給する。

車両制御装置１０２は、車線検出部１４１、車両検出部１４２、および、標識検出部４４１による検出結果に基づいて、所定の動作を行う。

ステップＳ２０６において、上述した図５のステップＳ８の処理と同様に、画像処理の停止が指令されたか否かが判定される。画像処理の停止が指令されていないと判定された場合、処理はステップＳ２０３に戻り、ステップＳ２０６において画像処理の停止が指令されたと判定されるまで、ステップＳ２０３乃至Ｓ２０６の処理が繰り返し実行される。一方、ステップＳ２０６において、画像処理の停止が指令されたと判定された場合、画像処理は終了する。

このようにして、車線、前方車両および道路標識の検出精度をほとんど低下させずに、検出処理の負荷を軽減することができる。従って、検出処理に用いるプロセッサなどを安価に抑えることができる。

なお、以上の説明では、障害物領域の画像をカラーからモノクロに変換する例を示したが、障害物領域の色数を削減することにより、情報量を削減するようにしてもよい。

次に、図２３乃至図２６を参照して、本発明の第４の実施の形態について説明する。

図２３は、本発明を適用した画像処理システムの第４の実施の形態を示すブロック図である。画像処理システム５０１は、カメラ５１１、レーダ装置１１２、および、画像処理装置５１２を含むように構成される。また、画像処理装置５１２は、前処理部５２１および検出部５２２を含むように構成される。さらに、前処理部５２１は、領域設定部５３１、および、画像生成部５３２を含むように構成される。また、検出部５２２は、車線検出部１４１、車両検出部１４２、および、通行者検出部５４１を含むように構成される。なお、図中、図３と対応する部分については同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。

カメラ５１１は、例えば、CCD撮像素子、CMOS撮像素子、または、対数変換型撮像素子などを用いたカメラにより構成される。カメラ５１１は、例えば、上述した図４に示されるカメラ１１１とほぼ同じ位置に設置され、前方画像を撮像する。カメラ５１１は、撮像した前方画像を画像処理装置５１２の領域設定部５３１に供給する。

画像処理装置５１２は、前方画像および前方物体情報に基づいて、車線、前方車両、および、通行者の検出処理を行う。

前処理部５２１は、前方画像および前方物体情報に基づいて、処理画像を生成する。

領域設定部５３１は、カメラ５１１から前方画像を取得し、レーダ装置１１２から前方物体情報を取得する。領域設定部５３１は、図２４を参照して後述するように、前方物体情報に基づいて、処理画像において道路の区画線の存在が想定される路面領域、前方車両の存在が想定される障害物領域、および、通行者の存在が想定される路側領域の３種類の分割領域を設定する。領域設定部５３１は、前方画像、および、各分割領域を示す情報を画像生成部５３２に供給する。

画像生成部５３２は、図２４を参照して後述するように、存在が想定される対象の種類（いまの場合、車線、前方車両、または、通行者）、および、分割領域の位置に基づいて、分割領域ごとに解像度を調整した処理画像を生成する。画像生成部５３２は、生成した処理画像、および、分割領域を示す情報を車線検出部１４１、車両検出部１４２、および、通行者検出部５４１に供給する。

検出部５２２は、処理画像に基づいて、車線、前方車両、および、通行者の検出処理を行う。

車線検出部１４１は、所定の手法を用いて、処理画像の路面領域内の画像に基づいて、車線の検出処理を行う。車線検出部１４１は、検出結果を示す情報を車両制御装置１０２に供給する。

車両検出部１４２は、所定の手法を用いて、処理画像の障害物領域内の画像に基づいて、前方車両の検出処理を行う。車両検出部１４２は、検出結果を示す情報を車両制御装置１０２に供給する。

通行者検出部５４１は、所定の手法を用いて、処理画像の障害物領域および路側領域内の画像に基づいて、車両の前方に存在する歩行者、自転車などの通行者の検出処理を行う。通行者検出部５４１は、検出結果を示す情報、例えば、通行者の人数、位置、進行方向、速度などを示す情報を車両制御装置１０２に供給する。

車両制御装置１０２は、車線、前方車両および通行者の検出結果に応じて、所定の処理を行う。例えば、車両制御装置１０２は、前方車両または通行者との間の車間距離に応じて、車速またはブレーキを制御したり、ドライバへの警報を行うように車両の各部を制御する。また、例えば、車両制御装置１０２は、自車が走行中の車線をはみ出した場合、ドライバへの警告を行うように、車両の各部を制御する。

次に、図２４のフローチャートを参照して、画像処理システム５０１により実行される画像処理を説明する。なお、この処理は、例えば、画像処理システム５０１の図示せぬ操作部を介して、ユーザにより画像処理の開始の指令が入力されたとき開始される。

ステップＳ３０１において、カメラ５１１は、撮像を開始する。カメラ５１１は、撮像した前方画像の領域設定部５３１への供給を開始する。

ステップＳ３０２において、上述した図５のステップＳ２の処理と同様に、前方の物体の検出処理が開始される。レーダ装置１１２は、検出結果を示す前方物体情報の領域設定部５３１への供給を開始する。

ステップＳ３０３において、領域設定部５３１は、分割領域を設定する。例えば、領域設定部５３１は、カメラ５１１により図２５に示される前方画像が撮像された場合、境界線Ｌ２１、境界線Ｌ２２、および、前方画像の端により囲まれた路面領域Ｄｒ２１、境界線Ｌ２２、境界線Ｌ２３、および、前方画像の端により囲まれた路側領域Ｄ_SL２１、境界線Ｌ２４、境界線Ｌ２５、および、前方画像の端により囲まれた路側領域Ｄ_SR２１、並びに、境界線Ｌ２１乃至境界線Ｌ２５、および、前方画像の端により囲まれた障害物領域Ｄｏ２１の４種類の分割領域を設定する。領域設定部５３１は、前方画像、および、各分割領域を示す情報を画像生成部５３２に供給する。

ここで、境界線Ｌ２１乃至Ｌ２５の設定方法の一例を説明する。

領域設定部５３１は、図６の境界線Ｌ１を設定する場合と同様の方法により、レーダ装置１１２により検出された、自車の進行方向の所定の範囲内において自車から最も近い位置に存在する物体（図２５の例の場合、人５６１）と路面の境界を通る境界線Ｌ２１を設定する。

また、領域設定部５３１は、自車の進行方向の所定の範囲内において存在する物体（図２５の例の場合、人５６１および車両５６２）が前方画像において存在するx軸方向の範囲を求め、求めた範囲より所定の長さだけ広い範囲を通る垂直方向の直線を境界線Ｌ２３およびＬ２５に設定する。

また、領域設定部５３１は、例えば、ガードレール、歩道と車道との間の段差部分など、走行中の車道の外側において、ほぼ車道に沿うように連続して存在する物体（以下、路側連続体と称する）がレーダ装置１１２により検出された場合、検出された路側連続体のエッジ部分を境界線Ｌ２２およびＬ２４に設定する。

図２６は、レーダ装置１１２が所定の範囲内を走査することにより検出された、自車の前方の物体までの距離の分布の例を示すグラフである。なお、図２６の横軸は、レーダ座標系のXr軸方向を示し、縦軸はZr軸方向を示している。

例えば、走行中の車道の両端にガードレールが設置されている場合、図２６に示されるように、Xr軸方向において、自車の位置より左または右方向にずれた位置に、Zr軸方向に対してほぼ平行に連続して値が分布する領域Ａ１および領域Ａ２が現れる。レーダ装置１１２は、領域Ａ１または領域Ａ２に示されるような分布を検出した場合、路側連続体が存在すると判断し、路側連続体の存在を示す情報を領域設定部５３１に供給する。領域設定部５３１は、例えば、図７を参照して上述した方法に基づいて、路側連続体のレーダ座標系における座標を、画像座標系における座標に変換し、変換した座標を結ぶ直線を境界線Ｌ２２およびＬ２４に設定する。

なお、レーダ装置１１２により自車の進行方向の所定の範囲内において物体が検出されなかった場合、前方画像において路面が消失する位置のｙ座標を通るほぼ水平な線が境界線Ｌ２１に設定され、境界線Ｌ２３およびＬ２５は設定されず、障害物領域と路側領域の２種類の分割領域が設定される。また、レーダ装置１１２により路側連続体が検出されなかった場合、境界線Ｌ２２およびＬ２４は設定されず、路面領域と障害物領域の２種類の分割領域が設定される。

ステップＳ３０４において、画像生成部５３２は、処理画像を生成する。障害物領域に存在する前方車両および通行者は、自車が衝突する可能性があり、高い検出精度が要求される。一方、路側領域に存在する通行者は、自車が衝突する可能性が低く、障害物領域に存在する車両および通行者ほど高い検出精度は要求されない。また、路面の区画線は単純な形状のものが多いため、画像の解像度を少々落としても、車線の検出精度はほとんど変化しない。

従って、画像生成部５３２は、前方画像の障害物領域以外の領域内の画像の解像度を落とすことにより、処理画像を生成する。画像生成部５３２は、処理画像、および、各分割領域を示す情報を車線検出部１４１、車両検出部１４２、および、通行者検出部５４１に供給する。

ステップＳ３０５において、検出部５２２は、検出処理を行う。具体的には、車線検出部１４１は、所定の手法を用いて、処理画像の路面領域内の画像に基づいて、車線の検出処理を行う。車両検出部１４２は、所定の手法を用いて、処理画像の障害物領域内の画像に基づいて、前方車両の検出処理を行う。通行者検出部５４１は、所定の手法を用いて、処理画像の障害物領域および路側領域内の画像に基づいて、通行者の検出処理を行う。

このように、対象ごとに検出処理を行う領域を限定することにより、検出処理の負荷が軽減される。また、路面領域および路側領域内の画像は、解像度を落とすことにより情報量が削減されているため、前方画像をそのまま用いて検出処理を行う場合と比較して、検出処理の負荷が軽減される。さらに、上述したように、情報量を削減しても、必要な検出精度が確保される。

車線検出部１４１、車両検出部１４２、および、通行者検出部５４１は、検出結果を示す情報を車両制御装置１０２に供給する。

車両制御装置１０２は、車線検出部１４１、車両検出部１４２、および、通行者検出部５４１による検出結果に基づいて、所定の動作を行う。

ステップＳ３０６において、上述した図５のステップＳ８の処理と同様に、画像処理の停止が指令されたか否かが判定される。画像処理の停止が指令されていないと判定された場合、処理はステップＳ３０３に戻り、ステップＳ３０６において画像処理の停止が指令されたと判定されるまで、ステップＳ３０３乃至Ｓ３０６の処理が繰り返し実行される。一方、ステップＳ３０６において、画像処理の停止が指令されたと判定された場合、画像処理は終了する。

このようにして、車線、前方車両および通行者の検出精度を必要なレベルに保ったまま、検出処理の負荷を軽減することができる。従って、検出処理に用いるプロセッサなどを安価に抑えることができる。

次に、図２７乃至図２９を参照して、本発明の第５の実施の形態について説明する。

図２７は、本発明を適用した画像処理システムの第５の実施の形態を示すブロック図である。画像処理システム６０１は、カメラ５１１、レーダ装置１１２、カーナビゲーションシステム６１１、および、画像処理装置６１２を含むように構成される。また、画像処理装置６１２は、前処理部６２１および検出部５２２を含むように構成される。さらに、前処理部６２１は、領域設定部６３１、および、画像生成部５３２を含むように構成される。また、検出部５２２は、車線検出部１４１、車両検出部１４２、および、通行者検出部５４１を含むように構成される。なお、図中、図２３と対応する部分については同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。

カーナビゲーションシステム６１１は、図示せぬGPS（Grobal Positionning System）受信装置により測地衛星からの電波を受信し、現在位置を測定するとともに、HDD（ハードディスク）、DVD（Digital Versatile Disc）などの記録媒体などに記録されている地図情報から、例えば、周辺の道路、施設、地名、道路標識、信号の位置など自車の現在位置の周辺の情報（以下、周辺情報と称する）を取得する。カーナビゲーションシステム６１１は、自車の現在位置を示す情報（以下、現在位置情報と称する）、および、取得した周辺情報のうち自車の周辺の道路および車線などに関する情報（以下、道路情報と称する）を領域設定部６３１に供給する。

画像処理装置６１２は、前方画像、前方物体情報、現在位置情報、および、道路情報に基づいて、車線、前方車両、および、通行者の検出処理を行う。

前処理部６２１は、前方画像、前方物体情報、現在位置情報、および、道路情報に基づいて、処理画像を生成する。

領域設定部６３１は、カメラ５１１から前方画像を取得し、レーダ装置１１２から前方物体情報を取得し、カーナビゲーションシステム６１１から現在位置情報および道路情報を取得する。領域設定部６３１は、図２８を参照して後述するように、前方物体情報、現在位置情報および道路情報に基づいて、障害物領域、路面領域、および、路側領域の３種類の分割領域を設定する。領域設定部６３１は、前方画像、および、各分割領域を示す情報を画像生成部５３２に供給する。

次に、図２８のフローチャートを参照して、画像処理システム６０１により実行される画像処理を説明する。なお、この処理は、例えば、画像処理システム６０１の図示せぬ操作部を介して、ユーザにより画像処理の開始の指令が入力されたとき開始される。

ステップＳ４０１において、上述した図２４のステップＳ３０１の処理と同様に、撮像が開始される。カメラ５１１は、撮像した前方画像の領域設定部６３１への供給を開始する。

ステップＳ４０２において、上述した図５のステップＳ２の処理と同様に、前方の物体の検出処理が開始される。レーダ装置１１２は、検出結果を示す前方物体情報の領域設定部６３１への供給を開始する。

ステップＳ４０３において、カーナビゲーションシステム６１１は、周辺情報の収集を開始する。具体的には、カーナビゲーションシステム６１１は、図示せぬGPS受信装置により測地衛星からの電波を受信し、現在位置の測定を開始するとともに、記録媒体などに記録されている地図情報からの周辺情報の取得を開始する。カーナビゲーションシステム６１１は、現在位置情報、および、周辺情報のうち道路情報の領域設定部６３１への供給を開始する。

ステップＳ４０４において、領域設定部６３１は、分割領域を設定する。例えば、領域設定部６３１は、カメラ５１１により図２５と同様の前方画像が撮像された場合、図２９に示されるように、境界線Ｌ３１、境界線Ｌ３２、および、前方画像の端により囲まれた路面領域Ｄｒ３１、境界線Ｌ３２、境界線Ｌ３３、および、前方画像の端により囲まれた路側領域Ｄ_SL３１、境界線Ｌ３４、境界線Ｌ３５、および、前方画像の端により囲まれた路側領域Ｄ_SR３１、並びに、境界線Ｌ３１、境界線Ｌ３３、境界線Ｌ３４、境界線Ｌ３５、および、前方画像の端により囲まれた障害物領域Ｄｏ３１の４種類の分割領域を設定する。領域設定部６３１は、前方画像、および、各分割領域を示す情報を画像生成部５３２に供給する。

なお、領域設定部６３１は、現在位置情報および道路情報に基づいて、自車の現在位置に対する走行中の道路の車線と歩道とを区画する区画線の３次元の座標系における位置を検出する。領域検出部６３１は、検出した区画線の３次元の座標系における位置を画像座標系の位置に変換する。そして、領域検出部６３１は、走行中の道路の車線と歩道とを区画する区画線のうち、左側の区画線の車線側のラインを通る線を境界線Ｌ３２に設定し、右側の区画線の車線側のラインを通る線を境界線Ｌ３４に設定する。このように、現在位置情報および道路情報を用いることにより、より正確に、路面領域または障害物領域と路側領域との境界線を設定することができる。

なお、境界線Ｌ３１、境界線Ｌ３３および境界線Ｌ３５の設定方法は、上述した領域設定部５３１による設定方法と同様である。

ステップＳ４０５乃至Ｓ４０７の処理は、図２４のステップＳ３０４乃至Ｓ３０６の処理と同様であり、その説明は繰り返しになるので省略する。

次に、図３０乃至図３２を参照して、本発明の第６の実施の形態について説明する。

図３０は、本発明を適用した画像処理システムの第６の実施の形態を示すブロック図である。画像処理システム７０１は、カメラ５１１、レーダ装置１１２、および、画像処理装置７１１を含むように構成される。また、画像処理装置７１１は、前処理部７２１および検出部５２２を含むように構成される。さらに、前処理部７２１は、領域設定部７３１、および、画像生成部５３２を含むように構成される。また、検出部５２２は、車線検出部１４１、車両検出部１４２、および、通行者検出部５４１を含むように構成される。なお、図中、図２３と対応する部分については同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。

カメラ５１１は、撮像した前方画像を、領域設定部７３１および車線検出部１４１に供給する。

画像処理装置７１１は、前方画像および前方物体情報に基づいて、車線、前方車両、および、通行者の検出処理を行う。

前処理部７２１は、前方画像、前方物体情報、および、車線検出部１４１による車線の検出結果に基づいて、処理画像を生成する。

領域設定部７３１は、カメラ５１１から前方画像を取得し、レーダ装置１１２から前方物体情報を取得し、車線検出部１４１から車線の検出結果を示す情報を取得する。領域設定部７３１は、図３１を参照して後述するように、前方物体情報、および、車線の検出結果に基づいて、障害物領域、路面領域、および、路側領域の３種類の分割領域を設定する。領域設定部７３１は、前方画像、および、各分割領域を示す情報を画像生成部５３２に供給する。

車線検出部１４１は、所定の手法を用いて、前方画像に基づいて、車線の検出処理を行い、検出結果を示す情報を車両制御装置１０２に供給する。また、車線検出部１４１は、車線の検出処理において検出された、走行中の道路の車線と歩道とを区画する区画線の車線側のラインの位置を示す情報を領域設定部７３１に供給する。

次に、図３１のフローチャートを参照して、画像処理システム７０１により実行される画像処理を説明する。なお、この処理は、例えば、画像処理システム７０１の図示せぬ操作部を介して、ユーザにより画像処理の開始の指令が入力されたとき開始される。

ステップＳ５０１において、上述した図２４のステップＳ３０１の処理と同様に、撮像が開始される。カメラ５１１は、撮像した前方画像の車線検出部１４１および領域設定部７３１への供給を開始する。

ステップＳ５０２において、上述した図５のステップＳ２の処理と同様に、前方の物体の検出処理が開始される。レーダ装置１１２は、検出結果を示す前方物体情報の領域設定部７３１への供給を開始する。

ステップＳ５０３において、車線検出部１４１は、車線の検出処理を行う。具体的には、車線検出部１４１は、所定の手法を用いて、前方画像に基づいて、車線の検出処理を行う。車線検出部１４１は、検出結果を示す情報を車両制御装置１０２に供給する。また、車線検出部１４１は、走行中の道路の車線と歩道とを区画する区画線の車線側のラインの位置を示す情報を領域設定部７３１に供給する。

図３２は、片側一車線の道路を撮像した前方画像の例を模式的に示した図である。例えば、車線検出部１４１は、車線の検出処理において、車道を区分する区画線７５１Ｍ、車道と歩道を区分する区画線７５１Ｌおよび７５１Ｒを検出し、区画線７５１Ｌの車道側のライン７５２Ｌおよび区画線７５１Ｒの車道側のライン７５２Ｒの前方画像上の位置を示す情報を領域設定部７３１に供給する。

ステップＳ５０４において、領域設定部７３１は、上述した図２８のステップＳ４０４の処理と同様に、分割領域を設定する。ただし、領域設定部７３１は、路面領域または障害物領域と路側領域とを区分する境界線を、車線検出部１４１により検出された、走行中の道路の車線と歩道とを区画する区画線の車線側のラインの位置に基づいて設定する。このように、車線の検出結果を用いることにより、より正確に、路面領域または障害物領域と路側領域との境界線を設定することができる。領域設定部７３１は、前方画像、および、各分割領域を示す情報を画像生成部５３２に供給する。

ステップＳ５０５において、上述した図２４のステップＳ３０４の処理と同様に、処理画像が生成される。画像生成部５３２は、生成した処理画像、および、各分割領域を示す情報を車両検出部１４２、および、通行者検出部５４１に供給する。

ステップＳ５０６において、検出部５２２は、車両および通行者の検出処理を行う。具体的には、車両検出部１４２は、所定の手法を用いて、処理画像の障害物領域内の画像に基づいて、前方車両の検出処理を行う。通行者検出部５４１は、所定の手法を用いて、処理画像の障害物領域および路側領域内の画像に基づいて、通行者の検出処理を行う。車両検出部１４２および通行者検出部５４１は、検出結果を示す情報を車両制御装置１０２に供給する。

車両制御装置１０２は、車線検出部１４１、車両検出部１４２、および、通行者検出部５４１による検出結果に基づいて、所定の動作を行う。

ステップＳ５０７において、上述した図５のステップＳ８の処理と同様に、画像処理の停止が指令されたか否かが判定される。画像処理の停止が指令されていないと判定された場合、処理はステップＳ５０３に戻り、ステップＳ５０７において画像処理の停止が指令されたと判定されるまで、ステップＳ５０３乃至Ｓ５０７の処理が繰り返し実行される。一方、ステップＳ５０７において、画像処理の停止が指令されたと判定された場合、画像処理は終了する。

次に、図３３および図３４を参照して、本発明の第７の実施の形態について説明する。

図３３は、本発明を適用した画像処理システムの第７の実施の形態を示すブロック図である。画像処理システム８０１は、カメラ８１１、レーダ装置１１２、および、画像処理装置８１２を含むように構成される。また、画像処理装置８１２は、前処理部８２１および検出部５２２を含むように構成される。さらに、前処理部８２１は、領域設定部８３１、および、画像選択部８３２を含むように構成される。また、検出部５２２は、車線検出部１４１、車両検出部１４２、および、通行者検出部５４１を含むように構成される。なお、図中、図２３と対応する部分については同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。

カメラ８１１は、例えば、CCD撮像素子、CMOS撮像素子、または、対数変換型撮像素子などを用いたカメラにより構成される。カメラ８１１は、例えば、上述した図４に示されるカメラ１１１とほぼ同じ位置に設置され、前方画像を撮像する。

また、カメラ８１１は、少なくとも可視光領域から近赤外光領域までの光に対して十分な感度を有しており、被写体に近赤外光を照射しながら撮像を行う。また、カメラ８１１は、可視光以外の波長帯域の光をカットするフィルタ、および、可視光の波長帯域の光をカットするフィルタの２種類のフィルタを有しており、２種類のフィルタを１フレーム毎に交互に切換えながら撮像を行う。すなわち、車両の前方のほぼ同じ光景に対して、可視光領域を撮像した前方画像（以下、可視光画像と称する）、および、近赤外光領域を撮像した前方画像（以下、近赤外光画像と称する）の２種類の前方画像が撮像される。カメラ８１１は、撮像した前方画像を領域設定部８３１に供給する。

画像処理装置８１２は、前方画像、および、前方物体情報に基づいて、車線、前方車両、および、通行者の検出処理を行う。

前処理部８２１は、前方画像、前方物体情報、および、自車情報に基づいて、処理画像を生成する。

領域設定部８３１は、カメラ８１１から前方画像を取得し、レーダ装置１１２から前方物体情報を取得する。領域設定部８３１は、前方物体情報に基づいて、路面領域、路側領域、および、障害物領域の３種類の分割領域を設定する。領域設定部８３１は、前方画像、および、各分割領域を示す情報を画像選択部８３２に供給する。

画像選択部８３２は、自車情報を車両制御装置１０２から取得する。画像選択部８３２は、図３４を参照して後述するように、自車の前方の明るさに基づいて、可視光画像および近赤外光画像の中から処理画像を選択する。画像選択部８３２は、選択した処理画像、および、各分割領域を示す情報を車線検出部１４１、車両検出部１４２、および、通行者検出部５４１に供給する。

次に、図３４のフローチャートを参照して、画像処理システム８０１により実行される画像処理について説明する。なお、この処理は、例えば、画像処理システム８０１の図示せぬ操作部を介して、ユーザにより画像処理の開始の指令が入力されたとき開始される。

ステップＳ６０１において、カメラ８１１は、撮像を開始する。具体的には、カメラ８１１は、２種類のフィルタを１フレーム毎に交互に切換えながら、可視光画像および近赤外光画像の撮像を開始し、撮像した可視光画像および近赤外光画像の領域設定部８３１への供給を開始する。

ステップＳ６０２において、上述した図５のステップＳ２の処理と同様に、前方の物体の検出処理が開始される。レーダ装置１１２は、検出結果を示す前方物体情報の領域設定部８３１への供給を開始する。

ステップＳ６０３において、領域設定部８３１は、分割領域を設定する。具体的には、領域設定部８３１は、上述した図２４のステップＳ３０３の領域設定部５３１による処理と同様に、路面領域、路側領域、および、障害物領域を設定する。領域設定部８３１は、フレームが互いに隣接する可視光画像および近赤外光画像、並びに、各分割領域を示す情報を画像選択部８３２に供給する。

ステップＳ６０４において、画像選択部８３２は、上述した図５のステップＳ４の画像生成部１３１の処理と同様に、前方が暗い状態であるかを判定する。前方が暗い状態でないと判定された場合、処理はステップＳ６０５に進む。

ステップＳ６０５において、画像選択部８３２は、可視光画像を処理画像に選択する。画像選択部８３２は、可視光画像、および、各分割領域を示す情報を車線検出部１４１、車両検出部１４２、および、通行者検出部５４１に供給する。

ステップＳ６０６において、検出部５２２は、可視光画像に基づいて、検出処理を行う。具体的には、車線検出部１４１は、所定の手法を用いて、可視光画像の路面領域内の画像に基づいて、車線の検出処理を行う。車両検出部１４２は、所定の手法を用いて、可視光画像の障害物領域内の画像に基づいて、前方車両の検出処理を行う。通行者検出部５４１は、所定の手法を用いて、可視光画像の障害物領域および路側領域内の画像に基づいて、通行者の検出処理を行う。

車線検出部１４１、車両検出部１４２、および、通行者検出部５４１は、検出結果を示す情報を車両制御装置１０２に供給する。

車両制御装置１０２は、車線検出部１４１、車両検出部１４２、および、通行者検出部５４１による検出結果に基づいて、所定の動作を行う。

その後、処理はステップＳ６０８に進む。

ステップＳ６０４において、前方が暗い状態であると判定された場合、処理はステップＳ６０７に進む。

ステップＳ６０７において、画像選択部８３２は、可視光画像および近赤外光画像を処理画像に選択する。画像選択部８３２は、可視光画像、および、分割領域を示す情報を車線検出部１４１に供給する。また、画像選択部８３２は、可視光画像、近赤外光画像、および、各分割領域を示す情報を、車両検出部１４２および通行者検出部５４１に供給する。

ステップＳ６０８において、上述したステップＳ６０６の処理と同様に、可視光画像に基づいて、検出処理が行われる。

ステップＳ６０９において、検出部５２２は、近赤外光画像に基づいて、検出処理を行う。具体的には、車両検出部１４２は、所定の手法を用いて、近赤外光画像の障害物領域内の画像に基づいて、前方車両の検出処理を行う。通行者検出部５４１は、所定の手法を用いて、近赤外光画像の障害物領域内の画像に基づいて、通行者の検出処理を行う。車線検出部１４１、車両検出部１４２および通行者検出部５４１は、ステップＳ６０８およびＳ６０９の検出結果を示す情報を車両制御装置１０２に供給する。

車両制御装置１０２は、車線検出部１４１、車両検出部１４２、および、通行者検出部５４１による検出結果に基づいて、所定の動作を行う。

ステップＳ６１０において、上述した図５のステップＳ８の処理と同様に、画像処理の停止が指令されたか否かが判定される。画像処理の停止が指令されていないと判定された場合、処理はステップＳ６０３に戻り、ステップＳ６１０において画像処理の停止が指令されたと判定されるまで、ステップＳ６０３乃至Ｓ６１０の処理が繰り返し実行される。一方、ステップＳ６１０において、画像処理の停止が指令されたと判定された場合、画像処理は終了する。

このようにして、自車の前方が暗い状態において、近赤外光画像を用いることにより、前方車両および通行者の検出精度を向上させることができる。また、近赤外光画像に基づいて検出処理を行う場合、検出処理を行う領域を限定することにより、処理の負荷が軽減される。従って、検出処理に用いるプロセッサなどを安価に抑えることができる。

なお、以上の説明では、車両の前方に存在する物体を検出する例を示したが、本発明は、例えば、車両の後方など、前方以外の他の方向の物体を検出するようにする場合にも適用することが可能である。

また、各実施の形態において、各対象の検出処理を、１つのプロセッサを用いてシリアルに実行するようにしてもよいし、複数のプロセッサを用いてパラレルに実行するようにしてもよい。

さらに、本発明は、上述した車載用に限らず、画像を用いて複数の対象の検出を行う検出処理用の処理画像を生成する画像処理装置に適用できる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図３５は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ９００の構成の例を示すブロック図である。CPU（Central Processing Unit）９０１は、ROM（Read Only Memory）９０２、または記録部９０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）９０３には、CPU９０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU９０１、ROM９０２、およびRAM９０３は、バス９０４により相互に接続されている。

CPU９０１にはまた、バス９０４を介して入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホンなどよりなる入力部９０６、ディスプレイ、スピーカなどよりなる出力部９０７が接続されている。CPU９０１は、入力部９０６から入力される指令に対応して各種の処理を実行する。そして、CPU９０１は、処理の結果を出力部９０７に出力する。

入出力インタフェース９０５に接続されている記録部９０８は、例えばハードディスクからなり、CPU９０１が実行するプログラムや各種のデータを記憶する。通信部９０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部９０９を介してプログラムを取得し、記録部９０８に記憶してもよい。

入出力インタフェース９０５に接続されているドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部９０８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図３５に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア９１１、または、プログラムが一時的もしくは永続的に格納されるROM９０２や、記録部９０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部９０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

車線および前方車両の検出処理を行う従来の画像処理装置の機能的構成の一例を示すブロック図である。 本発明の実施の形態の概要を説明するための図である。 本発明を適用した画像処理システムの第１の実施の形態を示すブロック図である。 カメラおよびレーダ装置の設置位置の例を図である。 図３の画像処理システムにより実行される画像処理を説明するためのフローチャートである。 画像の分割例を示す図である。 カメラおよび前方画像の座標系を示す図である。 昼間に路面の区画線を撮像した画像の輝度値の下位２ビットを切り捨てた画像の例を示す図である。 昼間に車両の後方を撮像した画像の輝度値の下位２ビットを切り捨てた画像の例を示す図である。 夜間に路面の区画線を撮像した画像の輝度値の下位２ビットを切り捨てた画像の例を示す図である。 夜間に路面の区画線を撮像した画像の輝度値の上位２ビットを切り捨てた画像の例を示す図である。 夜間に車両の後方を撮像した画像の輝度値の下位２ビットを切り捨てた画像の例を示す図である。 夜間に車両の後方を撮像した画像の輝度値の上位２ビットを切り捨てた画像の例を示す図である。 処理画像の例を示す図である。 本発明を適用した画像処理システムの第２の実施の形態を示すブロック図である。 図１５の画像処理システムにより実行される画像処理を説明するためのフローチャートである。 シャッタ速度を長くして撮像した画像の例を示す図である。 シャッタ速度を短くして撮像した画像の例を示す図である。 処理画像の例を示す図である。 本発明を適用した画像処理システムの第３の実施の形態を示すブロック図である。 図２０の画像処理システムにより実行される画像処理を説明するためのフローチャートである。 画像の分割例を示す図である。 本発明を適用した画像処理システムの第４の実施の形態を示すブロック図である。 図２３の画像処理システムにより実行される画像処理を説明するためのフローチャートである。 画像の分割例を示す図である。 レーダ装置の測定値の分布の例を示す図である。 本発明を適用した画像処理システムの第５の実施の形態を示すブロック図である。 図２７の画像処理システムにより実行される画像処理を説明するためのフローチャートである。 画像の分割例を示す図である。 本発明を適用した画像処理システムの第６の実施の形態を示すブロック図である。 図３０の画像処理システムにより実行される画像処理を説明するためのフローチャートである。 境界線の設定方法を説明するための図である。 本発明を適用した画像処理システムの第７の実施の形態を示すブロック図である。 図３３の画像処理システムにより実行される画像処理を説明するためのフローチャートである。 パーソナルコンピュータの構成の例を示すブロック図である。

符号の説明

１０１ 画像処理システム
１０２ 車両制御装置
１１１ カメラ
１１２ レーダ装置
１１３ 画像処理装置
１２１ 前処理部
１２２ 検出部
１３１ 領域設定部
１３２ 画像生成部
１４１ 車線検出部
１４２ 車両検出部
３０１ 画像処理システム
３１１ カメラ
３１３ 画像処理装置
３２１ 前処理部
３３１ 領域設定部
３３２ 画像生成部
４０１ 画像処理システム
４１１ カメラ
４１２ 画像処理装置
４２１ 前処理部
４２２ 検出部
４３１ 領域設定部
４３２ 画像生成部
４４１ 標識検出部
５０１ 画像処理システム
５１１ カメラ
５１２ 画像処理装置
５２１ 前処理部
５２２ 検出部
５３１ 領域設定部
５３２ 画像生成部
５４１ 通行者検出部
６０１ 画像処理システム
６１１ カーナビゲーションシステム
６１２ 画像処理装置
６２１ 前処理部
６３１ 領域設定部
７０１ 画像処理システム
７１１ 画像処理装置
７２１ 前処理部
７３１ 領域設定部
８０１ 画像処理システム
８１１ カメラ
８１２ 画像処理装置
８２１ 前処理部
８３１ 領域設定部
８３２ 画像選択部

Claims (11)

1. 複数の対象の検出に用いる画像である処理画像を生成する画像処理装置において、
   前記対象を検出する方向において検出された物体の位置に基づいて、前記処理画像において前記対象の存在が想定される領域を設定する設定手段と、
   想定される前記対象の種類に基づいて、前記領域ごとに画質を調整した処理画像を生成する生成手段と
   を含む画像処理装置。
2. 前記生成手段は、さらに、前記対象を検出する方向の明るさに基づいて、前記領域ごとに画質を調整した前記処理画像を生成する
   請求項１に記載の画像処理装置。
3. 前記生成手段は、前記領域ごとに、輝度分解能、ダイナミックレンジ、色数、または、解像度を調整した前記処理画像を生成する
   請求項１に記載の画像処理装置。
4. 前記対象は、車両の前方の障害物および車線を含み、
   前記設定手段は、障害物の存在が想定される障害物領域、および、車線の存在が想定される車線領域を設定し、
   前記生成手段は、設定した領域ごとに、輝度分解能およびダイナミックレンジを調整した前記処理画像を生成する
   請求項１に記載の画像処理装置。
5. 前記生成手段は、設定した領域ごとに、前記処理画像を生成する元となる画像の輝度値を表すビット列のうち所定の範囲のビットを抽出することにより、輝度分解能およびダイナミックレンジを調整する
   請求項４に記載の画像処理装置。
6. 前記生成手段は、前記物体を含む領域以外の領域の解像度を、前記物体を含む領域の解像度より下げた前記処理画像を生成する
   請求項１に記載の画像処理装置。
7. 前記対象は、道路標識を含み、
   前記設定手段は、道路標識の存在が想定される道路標識領域を設定し、
   前記生成手段は、前記道路標識領域をカラーとし、前記道路標識領域以外の領域をモノクロとした前記処理画像を生成する
   請求項１に記載の画像処理装置。
8. 前記生成手段は、画質の異なる複数の画像を組み合わせることにより、前記処理画像を生成する
   請求項１に記載の画像処理装置。
9. 前記生成手段は、撮影時のシャッタ時間が異なる複数の画像を組み合わせることにより、前記処理画像を生成する
   請求項８に記載の画像処理装置。
10. 複数の対象の検出に用いる画像である処理画像を生成する画像処理方法において、
    前記対象を検出する方向において検出された物体の位置に基づいて、前記処理画像において前記対象の存在が想定される領域を設定する設定ステップと、
    想定される前記対象の種類に基づいて、前記領域ごとに画質を調整した処理画像を生成する生成ステップと
    を含む画像処理方法。
11. 複数の対象の検出に用いる画像である処理画像を生成する画像処理をコンピュータに実行させるプログラムにおいて、
    前記対象を検出する方向において検出された物体の位置に基づいて、前記処理画像において前記対象の存在が想定される領域を設定する設定ステップと、
    想定される前記対象の種類に基づいて、前記領域ごとに画質を調整した処理画像を生成する生成ステップと
    を含むプログラム。

Images