JP2012240530A - 画像処理装置 - Google Patents

Abstract

【課題】自車両の前方に存在する物体を精度良く判別することが可能な技術を提供する。
【解決手段】画像処理装置は、車両前方を複数の露光条件で撮像した複数の撮像画像の画像情報を取得し、該複数の撮像画像の画像情報に基づいて発光体又は光反射体として車両前方に存在する物体の属性を判別する属性判別部を備える。車両前方を撮像する撮像部を更に備えてもよい。撮像部は、所定の期間において露光量が異なる複数の露光条件で車両前方を撮像し、撮像した複数の撮像画像の画像情報を属性判別部へ出力してもよい。
【選択図】図６

Description

本発明は、自動車の配光制御に好適な画像処理装置に関する。

近年、車両に搭載されたカメラやセンサなどにより取得された車両前方の情報に基づいて適切な配光制御を実現すべく種々の考案が試みられている。例えば、前方車にグレアを与えるおそれを低減しつつ、運転者の視認性をより向上させる技術として、自車両から前方車両までの距離と、自車両の進行方向と前方車両の進行方向とのなす角度とに応じて付加配光パターンの照度を増減させる車両用前照灯装置が開示されている（特許文献１参照）。

特開２０１０−１６３１４１号公報

前述のような適切な配光制御を実現するためには、車両前方の状況を正確に検出することが重要である。

本発明はこうした状況に鑑みてなされたものであり、その目的は、自車両の前方に存在する物体を精度良く判別することが可能な技術を提供することにある。

上記課題を解決するために、本発明のある態様の画像処理装置は、車両前方を複数の露光条件で撮像した複数の撮像画像の画像情報を取得し、該複数の撮像画像の画像情報に基づいて発光体又は光反射体として車両前方に存在する物体の属性を判別する属性判別部を備える。

ある露光条件で車両前方を撮像した場合、物体の明るさや色によって撮像画像中での物体の写り方が異なる。また、異なる露光条件で車両前方を撮像すると、同じ物体であっても撮像画像中での写り方が異なることが普通である。この態様によると、複数の露光条件で撮像した複数の撮像画像の画像情報に基づいて物体の属性を判別するため、物体の属性を精度良く判別できる。

車両前方を撮像する撮像部を更に備えてもよい。撮像部は、所定の期間において露光量が異なる複数の露光条件で車両前方を撮像し、撮像した複数の撮像画像の画像情報を属性判別部へ出力する。ここで、露光量は、物体が発光体又は光反射体として車両前方に存在する場合に想定される輝度に基づいて物体の属性ごとに設定されていてもよい。これにより、物体の属性の判別精度がより向上する。

物体が自車両に向けて発する光のグレア照度を、画像情報と露光条件とに基づいて算出する照度算出部を更に備えてもよい。これにより、グレア照度をより正確に算出できる。

異なるタイミングで撮像された複数の撮像画像の画像情報に基づいて、物体のオプティカルフローを算出するオプティカルフロー算出部を更に備えてもよい。属性判別部は、オプティカルフローに基づいて物体の属性を判別してもよい。これにより、物体が移動体か固定物か、移動体であれば先行車であるか対向車であるかなど、より広範囲な物体の属性の判別精度が向上する。

撮像部は、第１の撮像画像をＲ信号の画像情報として出力し、第１の撮像画像と異なるタイミングで撮像した第２の撮像画像をＢ信号の画像情報として出力し、属性判別部は、Ｒ信号の画像情報とＢ信号の画像情報とに基づいて物体が先行車であるか判別してもよい。これにより、例えば、テールランプとその他の光輝物体との判別がより精度良く可能となる。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、自車両の前方に存在する物体を精度良く判別することができる。

被写体の輝度（対数）とカメラの映像出力である画像濃度Ｄとの関係を示すグラフの一例を示す図である。 高速道路の直線路における消失点とオプティカルフローの関係を模式的に示した図である。 本実施の形態に係る車両用前照灯装置を適用した車両の外観を示す概略図である。 本実施の形態に係る車両用前照灯装置の概略構成を示すブロック図である。 本実施の形態に係る物体属性判別処理を含む配光制御方法を示すフローチャートである。 物体属性判別処理に用いる複数の撮像画像の露光条件を説明するための模式図である。

車両などの前照灯ユニット（ヘッドライト）の配光を、その車両が走行する環境や路面状況、周囲の車両等に応じて制御することは種々考案されている。しかしながら、車両前方に存在する物体は様々であり、対向車や先行車のようにグレアを考慮した配光制御が必要な物体や、道路照明やデリニエータ（視線誘導標）のようにグレアを考慮せずに自車両にとって最適な配光制御を行えばよい物体もある。そこで、本発明者は、車両前方に存在する物体の属性に応じて予想される適切な配光制御を簡易な構成で実現すべく本願発明に想到した

このような前照灯ユニットの配光制御を実現するためには、自車両の前方を走行する前方車（対向車や先行車）のような発光体や道路照明、デリニエータのような光反射体を検知するセンサを用いることが好ましい。加えて、物体として検知した発光体や光反射体の属性を特定する機能があることがより好ましい。ここで、属性とは、例えば、前方の発光体や光反射体が前方車であるか道路附属施設等であるかを区別するものである。より詳細には、発光体が車両であれば先行車であるか対向車であるか、発光体又は光反射体が道路附属施設等であれば道路照明であるか、デリニエータであるか、その他の発光施設（例えば、道路照明、店舗照明、広告等）であるか、交通信号であるかを区別するものである。

そして、以下で述べる実施の形態では、上述した物体の属性の判別をより簡易な構成の装置、具体的には単眼カメラの画像センサにより実現している。また、このような簡易な装置構成に加えて、以下の手法（詳細は後述）を採用することで物体の属性の判別精度を向上している。具体的には、（ａ）車両前方を複数の露光条件で撮像した複数の撮像画像の画像情報による発光体又は光反射体の属性判別、（ｂ）プティカルフローの活用による移動物体の属性判別の属性判別精度の向上、（ｃ）道路区域設定および光点列の活用による路上物体（固定物）の属性判別、（ｄ）道路の消失点の活用による路上物体の属性判別精度の向上、である。

また、発光体や光反射体（以下、適宜「発光体等」と称する）の属性の他に、自車両から発光体等までのおおよその距離と、その発光体等の輝度（明るさ）の情報を算出し利用することで更に物体の属性の判別精度を向上することもできる。この場合、自車両と発光体等との距離の測定には、レーザレーダやミリ波レーダを用いてもよい。また、輝度の測定に照度計を用いてもよい。

（複数の露光条件で撮像した複数の撮像画像の画像情報の活用）
被写体の輝度分布が適正露光範囲内にあれば明瞭な明るさ分布の画像となる。一方，被写体の輝度分布が適正露光範囲外（明るすぎる，暗すぎる）であれば画像は不鮮明となる。図１は、被写体の輝度（対数）とカメラの映像出力である画像濃度Ｄとの関係を示すグラフの一例を示す図である。

画面内の所定位置の被写体輝度は、その露光条件（絞りの面積Ａと露光時間Ｔ）における受光素子の濃度−輝度特性（図１に示すグラフのガンマ特性）により求まる。一方、露光条件Ａ×Ｔ＝一定の場合、同一輝度の被写体は同一画像濃度となる。したがって、比例定数をＫとすれば、式（1）が成立する。
Ｄ＝≒Ｋ／（Ａ・Ｔ）・・・式（１）

そして、所定の露光条件（Ａ・Ｔ）における輝度Ｂと濃度Ｄの関係（ガンマ特性）が既知であれば、異なる露光条件下における濃度Ｄ^＊における被写体輝度Ｂ^＊は、まずガンマ特性から被写体輝度を補正し、更に式（1）により露光条件による輝度倍率を求めることにより算出することができる。したがって、輝度測定対象となる被写体の露光条件はガンマ特性の中央に位置させるようにすることが望ましい。

詳細は、後述するが、発光体等として車両前方に存在する物体の輝度は、その物体の属性によっておおよそ推定できる。そこで、物体の属性ごとに推定される輝度を考慮して、その輝度に応じた複数の露光条件で撮像することで、各露光条件に適した発光体等をそれ以外の発光体等などと判別しやすくなる。例えば、発光体がハイビームで走行中の対向車の場合、露光条件として露光量を小さくすることで、撮像画像においてハイビームを照射するヘッドランプは写るものの、路面やテールランプなどの比較的輝度が低い発光体や光反射体は写りにくくなる。そのため、露光量が小さい露光条件で撮像した撮像画像の画像情報を解析することで、物体の属性としてハイビームを照射するヘッドランプの識別が容易となる。同様に異なる露光条件で撮像した撮像画像の画像情報を解析することで、種々の物体の属性を判別することが可能となる。

（オプティカルフローの活用）
画像センサ（カメラ）と路上物体の相対位置関係が変化する場合、連続した撮像画像において物体の像は流れる。このような現象をオプティカルフロー（以下、適宜「ＯＦ」と称する）という。ＯＦは、自車両と物体との相対距離が近いほど、また、相対速度差が大きいほど、大きくなる。例えば、自車両が停車中の場合、移動物体に応じたＯＦが発生する。また、自車両が走行中の場合、道路照明やデリニエータ等の路上固定物に応じたＯＦが発生するとともに、自車両と速度の異なる前方車に応じたＯＦが発生する。そこで、ＯＦの大きさに基づいて自車両前方の物体の属性が道路に対する移動物体か固定物かを判別することができる。

（道路消失点の活用）
図２は、高速道路の直線路における消失点とオプティカルフローの関係を模式的に示した図である。図２に示すように、直線路においては消失点が存在する。ここで、消失点とは、絵画の遠近法における収束点として定義することができる。消失点は、レーンマーク、路側帯、中央分離帯、規則的な配置で設置された道路附属施設（道路照明、デリニエータ）等の無限遠点となる。なお、道路形状（例えばカーブ）や前方車の存在などで無限遠点が求められない場合、それらの物体の近景における配置を無限遠まで延長し、それらの交点を画面上で推測することにより仮の消失点とすることも可能である。なお、消失点は
曲路（左右カーブだけではなく、道路のアップダウン）では算出することが困難であるが、左右方向の屈折路では算出可能である。また、自車両が車線変更などで道路の幅方向に移動する場合、それに伴って消失点も移動する。

（道路区域の設定と交点列の活用）
車両前方のレーンマーク、路側帯、中央分離帯などの画像データを解析することで、自車線や対向車線等の道路区域を決定できる。道路照明やデリニエータ等の道路附属施設は道路上に規則的に設置されているため、道路区域が決定されることで、夜間において発光体等がどのような物体かがより精度良く判別できる。具体的には、夜間において発光体等の光輝点や光点列が道路区域に対してどの位置（例えば、自車線か対向車線か路肩か）に存在するか、および前述のＯＦがどうなっているか、を考慮することで発光体等の属性が道路照明か、デリニエータか、先行車か、対向車かが判別可能となる。

以下、図面を参照しながら、本発明を実施するための最良の形態について詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を適宜省略する。

図３は、本実施の形態に係る車両用前照灯装置を適用した車両の外観を示す概略図である。図３に示すように、本実施の形態に係る車両１０は、前照灯装置１２と、前照灯装置１２による光の照射を制御する前照灯制御装置としての制御システム１４と、車両１０の走行状況を示す情報を検出してその検出信号を制御システム１４へ出力する各種センサと、車両前方を監視する前方監視カメラ１６と、ＧＰＳ衛星からの軌道信号や車車間通信の信号などを受信して制御システム１４へ出力するアンテナ１８と、を備える。

各種センサとしては、例えば、ステアリングホイール２０の操舵角を検出するステアリングセンサ２２と、車両１０の車速を検出する車速センサ２４と、自車両の周囲の照度を検出する照度センサ２６とが設けられており、これらのセンサ２２，２４，２６が前述の制御システム１４に接続されている。

本発明に適用できる前照灯装置としては、照射する光の配光を前方に存在する物体の属性に応じて変化させることができる構成であれば特に限定されない。例えば、ハロゲンランプやガスディスチャージヘッドランプ、ＬＥＤを用いたヘッドランプを採用することができる。本実施の形態では、ハイビーム領域の配光を変化させることができる多灯式の方式（複数のＬＥＤなどで構成）を例として説明するが、ランプをスイブルできる方式を採用することも可能である。

前照灯装置１２は、左右一対の前照灯ユニット１２Ｒ，１２Ｌを有する。前照灯ユニット１２Ｒ，１２Ｌは、内部構造が左右対称であるほかは互いに同じ構成であり、右側のランプハウジング内にロービーム用灯具ユニット２８Ｒおよびハイビーム用灯具ユニット３０Ｒが、左側のランプハウジング内にロービーム用灯具ユニット２８Ｌおよびハイビーム用灯具ユニット３０Ｌがそれぞれ配置されている。

制御システム１４は、入力された各種センサの各出力に基づいて車両の前部の左右にそれぞれ装備された、ハイビーム領域の配光を変化させることができる前照灯ユニット１２Ｒ，１２Ｌ、すなわち複数のＬＥＤの点消灯をそれぞれ制御してその配光特性を変化することが可能な前照灯装置１２を制御する。この種のＡＤＢ（Adaptive Driving Beam）によれば、車両前方に存在する物体の属性（先行車、対向車、道路照明など）に応じて、前方車にグレアを与えることなく、前方の視認性を向上することができ、走行安全性を高める上で有効である。

（車両用前照灯装置）
次に、本実施の形態に係る車両用前照灯装置について説明する。図４は、本実施の形態に係る車両用前照灯装置１１０の概略構成を示すブロック図である。車両用前照灯装置１１０は、前照灯ユニット１２Ｒ，１２Ｌと、前照灯ユニット１２Ｒ，１２Ｌによる光の照射を制御する制御システム１４とを備える。そして、車両用前照灯装置１１０は、制御システム１４において車両前方に存在する物体の属性を判別し、その物体の属性に基づいて配光制御条件を決定し、決定された配光制御条件に基づいて前照灯ユニット１２Ｒ，１２Ｌによる光の照射を制御する。

そこで、本実施の形態に係る制御システム１４には、ドライバの視対象を含む車両前方の撮像画像を取得するための前方監視カメラ１６が接続されている。また、車両の走行状態を判断する際に参照される、操舵情報や車速を検出するためのステアリングセンサ２２や車速センサ２４、照度センサ２６が接続されている。照度センサ２６としては、例えば、対向車や人工光源（道路照明や店舗照明）から受けた光の鉛直面照度（人工光源によるグレア量）を計測できるように受光面を鉛直に設置したものや、走行環境や車両上方から受けた光の水平面照度を計測できるように受光面を水平に設置したものが用いられる。

（制御システム）
図４に示すように、制御システム１４は、画像処理ＥＣＵ３２と、配光制御ＥＣＵ３４と、ＧＰＳナビゲーションＥＣＵ３６と、車車間通信ＥＣＵ３７と、車内ＬＡＮ制御ＥＣＵ３８とを備える。各種ＥＣＵおよび各種車載センサは、車内ＬＡＮバス４０により接続されデータの送受信が可能になっている。画像処理装置としての画像処理ＥＣＵ３２は、前方監視カメラ１６により取得された、車両前方を複数の露光条件で撮像した複数の撮像画像の画像情報（画像データ）や、各種車載センサに基づいて前方に存在する物体の属性を判別する。なお、画像処理ＥＣＵ３２内部は各部が高速バス４２で接続されている。配光制御ＥＣＵ３４は、画像処理ＥＣＵ３２および各種車載センサの情報に基づいて、車両が置かれている走行環境に適した配光制御条件を決定し、その制御信号を前照灯ユニット１２Ｒ，１２Ｌに出力する。

前照灯ユニット１２Ｒ，１２Ｌは、配光制御ＥＣＵ３４から出力された制御信号が光学部品の駆動装置や光源の点灯制御回路に入力されることで、配光が制御される。前方監視カメラ１６は、ＣＣＤやＣＭＯＳなどの画像センサを備えた単眼カメラであり、その画像データから運転に必要な道路線形情報、道路附属施設、対向車・先行車の存在状況や位置の情報などを、必要であれば他のレーダセンサなどと協調して取得する。

図５は、本実施の形態に係る物体属性判別処理を含む配光制御方法を示すフローチャートである。物体属性の判別は、主に図４に示す画像処理ＥＣＵ３２で実行され、配光制御は、主に配光制御ＥＣＵ３４で実行される。

所定のタイミングで処理が開始されると、各種車載センサ（ステアリングセンサ２２、車速センサ２４、照度センサ２６）、ＧＰＳナビゲーションＥＣＵ３６、車車間通信ＥＣＵ３７などから出力されたデータが車内ＬＡＮバス４０を介して外部データ入力手段４４で取得される（Ｓ１０）。また、前方監視カメラ１６によって複数の露光条件で撮像した複数の撮像画像の画像データが画像データ取得手段４６で取得される（Ｓ１２）。なお、前方監視カメラ１６から出力される画像データは、モノクロ画像に対応していてもよいしカラー画像に対応していてもよい。

取得された各画像データは、画像データ蓄積手段４８においてＲＡＭなどの記憶手段に一時的に記憶される（Ｓ１４）。画像解析手段５０は、画像データに含まれている濃度データに対して差分や微分、さらにはＳＯＢＥＬ演算を施すことにより周辺と濃度の異なる物体（例えば、ヘッドライト、テールランプ、道路照明などの発光体や、路面、レーンマーク、デリニエータなどの光反射体）の輪郭を抽出する、エッジ処理を行う（Ｓ１８）。なお、エッジ処理の方法はこれらに限られず、公知の方法を適宜変形させて用いてもよい。

次に、濃度輝度変換手段５２において画像の濃度データが輝度（明るさ）データに変換される（Ｓ２０）。画像データの輝度への変換は、露光条件（撮像条件）下における画像濃度と車両前方の範囲の輝度との関係を求めておけば、露光条件を勘案して求めることができる（図１参照）。

次に、異なる露光条件で撮像された撮像画像の画像データごとに、光輝物体、例えば発光体や光反射体の位置を検出する。具体的には、光輝物体検出手段５４は、Ｓ２０の処理における濃度輝度変換で所定の輝度（例えば、路面やレーンマークに対応する輝度）以上、または、所定の範囲の輝度、の物体を光輝物体として抽出し、その位置を検出する（Ｓ２８）。

次に、動画のように時系列で連続的に取得される画像データの解析により光輝物体のＯＦを判定する。はじめに、前回の画像解析処理において内部メモリ５６に記憶された光輝物体の位置や物体の候補などの画像特性のデータと、現在の画像特性のデータとがＯＦ算出手段５８により取得される（Ｓ３０）。

ＯＦ算出手段５８は、異なる時間に取得した複数の撮像画像の画像特性データに基づいて、各光輝物体にＯＦが発生しているか否かを検出する（Ｓ３２）。具体的には、ＯＦ算出手段５８は、取得した車両前方の撮像画像の輝度データに基づいて、発光体又は光反射体として車両前方に存在する光輝物体のＯＦを算出する。そして、物体属性判別手段６０は、複数の露光条件で撮像された撮像画像の各画像データや、ＯＦ算出手段５８により算出されたＯＦに基づいて、発光体又は光反射体として車両前方に存在する物体の属性を判別する（Ｓ３４）。なお、ステップＳ３４における物体属性判別方法については後述する。

物体の属性が判別されると、現在の画像特性データが内部メモリ５６に記憶される（Ｓ３６）。具体的には、ＯＦ検出のために必要な光輝物体の位置、属性、ＯＦのベクトルなどである。このデータは次回の画像処理におけるＯＦの算出に用いられる。

物体属性判別手段６０により判別された各物体の属性データや道路形状などのデータが内部データ出力手段６２から出力される（Ｓ３８）。出力されたデータは車内ＬＡＮバス４０を介して配光制御ＥＣＵ３４に入力され、そのデータに含まれる物体の属性や自車両の走行状態、天候条件などに基づいて配光制御条件が決定される（Ｓ４０）。そして、配光制御ＥＣＵ３４は、決定された配光制御条件に基づいて前照灯ユニット１２Ｒ，１２Ｌ内に設けられている光源や駆動源へ制御信号を出力し配光を制御する（Ｓ４２）。

（物体属性判別方法）
次に、物体属性判別処理を行うステップＳ３４について詳述する。道路上を走行中の車両の前方には様々な物体が存在する。そのような状況下において夜間を走行中の車両の前方監視カメラ１６が光輝物体として識別する物体としては、以下のものがある。

はじめに、夜間において走行中の対向車のＨＬ（ヘッドライト）、先行車のＴＬ（テールライト）が挙げられる。このようなライトは通常左右一対のペアライトとして存在するとともに、水平線より下方に位置する。また、ＯＦの大きさは物体が先行車の場合に小さくなり、対向車の場合に大きくなる。

次に、道路照明やデリニエータが挙げられる。これらの固定物は、通常設置基準が規定されており、例えば道路照明は路面より５ｍ以上、つまり水平線より上方に存在する。一方、デリニエータは、ガードレール上端部に設置されており、水平線より下方に存在する。また、ＯＦの大きさは物体が固定物であれば自車両の車速および物体と自車両との距離に応じた値となる。

上述の物体以外にも、店舗照明、広告ネオンサイン、カーブサインなどが光輝物体として検出されうる。店舗照明や広告ネオンサインは、ランダムに存在する固定物体であり、道路照明やデリニエータのように配置されている位置に規則性がないため、この点を考慮した画像解析をすることで道路照明等の固定物と判別することができる。また、カーブサインは、その設置位置がデリニエータとほぼ同じ高さであるためデリニエータとの弁別は困難であるが、カーブサインをデリニエータと誤認しても配光制御に与える影響はないため、画像解析において特段の考慮は必要とされない。

本実施の形態に係る物体判別方法は、以上のような物体の存在を前提に行われる。図６は、物体属性判別処理に用いる複数の撮像画像の露光条件を説明するための模式図である。横軸は経過時間Ｔであり，縦軸は絞りの面積Ａである。なお、図６に示す、各撮像画像に対応する長方形のブロックの横軸や縦軸の比率は、必ずしも実際の条件を正確に表しているとは限らず、定性的な説明を可能とする程度に設定されている。

ある露光条件で車両前方を撮像した場合、物体の明るさや色によって撮像画像中での物体の写り方が異なる。また、異なる露光条件で車両前方を撮像すると、同じ物体であっても撮像画像中での写り方が異なることが普通である。

本実施の形態では、前方監視カメラ１６としてカラーカメラを使用している。前方監視カメラ１６は、所定の期間において露光量が異なる複数の露光条件で車両前方を撮像し、撮像した複数の撮像画像の画像情報を物体属性判別手段６０へ出力する。ここで、露光量は、物体が発光体又は光反射体として車両前方に存在する場合に想定される輝度に基づいて物体の属性ごとに設定されていている。これにより、物体の属性の判別精度がより向上する。

以下では、所定の１サイクル内に露光量が異なる５つの露光条件で６個の前方視野画像を取得した例について説明する。これにより、５つの視対象の輝度測定を達成しようとしている。それら５個の測定視対象の平均的な輝度は下記の通りである。例えば、路面≒１ｃｄ／ｍ^２、テールランプ≒２００ｃｄ／ｍ^２、道路照明≒２０００ｃｄ／ｍ^２、Ｌｏビーム≒７００００ｃｄ／ｍ^２、Ｈｉビーム≒７００００００ｃｄ／ｍ^２である。

そこで、１サイクル内の各露光条件（絞りの面積Ａ、露光時間Ｔ）は下記の式（２）を満たすように設定されている。
測定対象輝度×（Ａ×Ｔ）≒一定・・・式（２）

つまり、各視対象の推定輝度と、露光量（≒Ａ×Ｔ：図６に示す各ブロックの面積に相当）との積が一定となるように、露光条件が設定されている。このように、撮像画像において、適正な露光範囲にある視対象（物体）は明瞭な光点として検出される。そこで、物体属性判別手段６０は、露光量の異なる複数の露光条件で撮像した複数の撮像画像の画像テータに基づいて物体の属性を判別する。

例えば、路面の輝度に応じた露光量で撮影した画像Ｐ１においては、路面は明瞭に写るものの、テールランプ、道路照明、ヘッドランプなどの発光体は露光がオーバーなため明瞭には写らない。また、テールランプの輝度に応じた露光量で撮影した画像Ｐ２、Ｐ３においては、テールランプは明瞭に写るものの、路面は露光がアンダーなため写らず、道路照明やヘッドランプは露光がオーバーなため明瞭には写らない。また、道路照明の輝度に応じた露光量で撮影した画像Ｐ４においては、道路照明は明瞭に写るものの、路面やテールランプは露光がアンダーなため写らず、ヘッドランプは露光がオーバーなため明瞭には写らない。また、ロービーム状態のヘッドランプの輝度に応じた露光量で撮影した画像Ｐ５においては、ロービーム状態のヘッドランプは明瞭に写るものの、路面、テールランプ、道路照明は露光がアンダーなため写らず、ハイビーム状態のヘッドランプは露光がオーバーなため明瞭には写らない。また、ハイビーム状態のヘッドランプの輝度に応じた露光量で撮影した画像Ｐ６においては、ハイビーム状態のヘッドランプは明瞭に写るものの、路面、テールランプ、道路照明、ロービーム状態のヘッドランプは露光がアンダーなため写らない。このように、画像処理ＥＣＵ３２は、複数の露光条件で撮像された撮像画像の画像データを処理することで、物体の属性を精度良く判別できる。

なお、本実施の形態に係る画像処理ＥＣＵ３２は、異なるタイミングで撮像された複数の撮像画像の画像情報に基づいて、物体のオプティカルフローを算出するＯＦ算出手段５８を更に備えている。ＯＦ算出手段５８は、オプティカルフローに基づいて物体の属性を判別している。そこで、オプティカルフローに基づいた物体の属性判別結果を、前述の物体の属性判別に加味することで、物体が移動体か固定物か、移動体であれば先行車であるか対向車であるかなど、より広範囲な物体の属性の判別精度が向上する。

また、画像処理ＥＣＵ３２は、物体が自車両に向けて発する光のグレア照度を、画像情報と露光条件とに基づいて算出する照度算出部を更に備えてもよい。これにより、グレア照度をより正確に算出できる。グレア照度は、光輝物体の輝度を画像データにおける画像濃度と露光条件から逆算するとともに、その輝度と光輝物体の推定面積から算出される。算出されたグレア照度が許容グレア照度を上回った場合、画像処理ＥＣＵ３２は、対象となる光輝物体周辺を通常より明るく照らすように前照灯装置１２を制御すべく、配光制御ＥＣＵ３４に制御信号を送信する。これにより、ドライバが光輝物体から受けるグレアが緩和される。なお、照度算出部は、車車間通信ＥＣＵ３７によって取得した対向車のヘッドランプ情報に基づいてグレア照度を算出してもよい。これにより、ドライバが光輝物体である対向車から受けるグレアがより確実に緩和される。

なお、上述の物体判別処理において、ＧＰＳナビゲーションＥＣＵ３６から取得した現在走行している道路の特性情報（高速道路などの道路種別、車線数、市街地か郊外か、など）や、車車間通信ＥＣＵ３７から取得した前方車の情報（例えば、ハイビームまたはロービームのいずれの状態か、灯具の種類、ランプ面積、車種など）を加味することで、前方車、店舗照明、広告ネオンサイン、カーブサインなどの判別精度が向上する。

また、光輝物体の色の判別が可能なカラーカメラである前方監視カメラ１６は、センサの光輝物体の位置に対応するＲ（赤）素子とＢ（青）素子の出力比を算出することで、ノイズ光の多い市街地における先行車、対向車、交通信号、道路照明、店舗照明などの判別がしやすくなる。

また、画像データのうち、テールライトＴＬ（先行車、赤色）の位置に対応するセンサのＲ素子とＢ素子の出力比Ｒ／Ｂ（ＴＬ）と、ヘッドライトＨＬ（対向車、白色）の位置に対応するセンサＲ素子とＢ素子の出力比Ｒ／Ｂ（ＨＬ）とを比較すると、Ｒ／Ｂ（ＴＬ）＞＞Ｒ／Ｂ（ＨＬ）の関係がある。そこで、各色の光に対するＲ／Ｂを実験やシミュレーションで事前に求めておくことで、先行車と対向車との判別精度の向上が可能となる。特に、先行車と対向車の位置が交錯しやすい曲路においての判別精度の向上に寄与する。

具体的には、前方監視カメラ１６は、第１の撮像画像（図６に示す画像Ｐ２）をＲ信号の画像情報として出力し、第１の撮像画像と異なるタイミングで撮像した第２の撮像画像（図６に示す画像Ｐ３）をＢ信号の画像情報として出力する。物体属性判別手段６０は、Ｒ信号の画像情報とＢ信号の画像情報とに基づいて物体が先行車であるか判別する。これにより、例えば、テールランプとその他の光輝物体との判別がより精度良く可能となる。また、前方監視カメラ１６は、第１の撮像画像（画像Ｐ２）と第２の撮像画像（画像Ｐ３）とを連続して撮像している。これにより、第１の撮像画像および第２の撮像画像において、同一の先行車のテールランプの位置のずれが抑制され、画像処理ＥＣＵ３２における正確な出力比の判定が可能となる。

上述したように、本実施の形態に係る制御システム１４は、取得した撮像画像に基づいて物体を判別することができるため、夜間走行においてドライバに特段の操作負担をかけることなく物体の属性に応じた適切な配光制御が可能となる。配光制御ＥＣＵ３４は、画像処理ＥＣＵ３２から取得したデータに基づいて、例えば、車両前方に光輝物体が存在していないと判断する場合には、自動的に前照灯ユニットの配光をハイビームにする配光制御が可能である。また、画像処理ＥＣＵ３２は、光輝物体として対向車や先行車が存在していると判断する場合には、自動的に前照灯ユニットの配光を対向車や先行車にグレアを与えない配光（対向車や先行車が存在する領域を照らすＬＥＤを消灯または暗くした配光）へと変化させる制御が可能となる。

また、配光制御ＥＣＵ３４は、従来では対向車や先行車と判別できなかった道路照明やデリニエータしか存在しないと判断した場合には、前照灯ユニットの配光をハイビームの状態に維持することで、前照灯ユニットの照明能力をより有効に活用することができる。

また、物体属性判別手段６０は、物体のＯＦから推定される自車両と物体との相対速度Ｖ１と、自車両速度Ｖ２とを比較することでその物体の属性を判別することができるため、物体の属性を更に詳細に判別することができるため、より適切な配光制御が可能となる。

具体的には、相対速度Ｖ１と自車両速度Ｖ２とを比較することで、物体の属性が道路に対する固定物であるか移動体であるかが判別される。これにより、物体属性判別手段６０は、例えば、物体との相対速度Ｖ１がほぼ自車両速度Ｖ２とほぼ等しい場合には、その物体が道路照明やデリニエータなどの固定物であると判別し、物体との相対速度Ｖ１が自車両速度Ｖ２と異なる場合には、その物体が対向車や先行車などの移動体であると判別することができる。

また、物体属性判別手段６０は、物体の位置やＯＦが撮像画像の上下方向のどこに存在するかによって、その物体の属性が道路照明であるかデリニエータであるかを判別することができる。

本実施の形態に係る前照灯制御装置としての制御システム１４およびそれを備えた車両用前照灯装置１１０によれば、特に夜間の交通視環境（照明状況、対向車状況）に応じて詳細な配光制御が可能となり、交通事故防止に貢献できる。また、本実施の形態に係る制御システム１４は、複数のカメラを用いたり複雑な機構のカメラを用いたりせずに、単眼カメラを用いることで光輝物体の属性を判別することができるため、システム全体のコストの低減が可能となる。

また、前方監視カメラ１６は、昼間においては、所定時間内においてほぼ同一の露光条件で画像を取得する。夜間のように、発光体や光反射体の輝度の違いによる写りやすさの違いがないため、画像処理や制御の容易さを考慮したためである。

以上、本発明を上述の実施の形態を参照して説明したが、本発明は上述の実施の形態に限定されるものではなく、実施の形態の構成を適宜組み合わせたものや置換したものについても本発明に含まれるものである。また、当業者の知識に基づいて実施の形態における組合せや処理の順番を適宜組み替えることや各種の設計変更等の変形を実施の形態に対して加えることも可能であり、そのような変形が加えられた実施の形態も本発明の範囲に含まれうる。

１２ 前照灯装置、 １４ 制御システム、 １６ 前方監視カメラ、 ２６ 照度センサ、 ３０Ｌ，３０Ｒ ハイビーム用灯具ユニット、 ３２ 画像処理ＥＣＵ、 ３４ 配光制御ＥＣＵ、 ３７ 車車間通信ＥＣＵ、 ４４ 外部データ入力手段、 ５０ 画像解析手段、 ５２ 濃度輝度変換手段、 ５４ 光輝物体検出手段、 ５８ ＯＦ算出手段、 ６０ 物体属性判別手段、 １１０ 車両用前照灯装置。

Claims (5)

1. 車両前方を複数の露光条件で撮像した複数の撮像画像の画像情報を取得し、該複数の撮像画像の画像情報に基づいて発光体又は光反射体として車両前方に存在する物体の属性を判別する属性判別部を備えることを特徴とする画像処理装置。
2. 車両前方を撮像する撮像部を更に備え、
   前記撮像部は、所定の期間において露光量が異なる複数の露光条件で車両前方を撮像し、撮像した複数の撮像画像の画像情報を前記属性判別部へ出力し、
   前記露光量は、物体が発光体又は光反射体として車両前方に存在する場合に想定される輝度に基づいて物体の属性ごとに設定されていることを特徴とする請求項１に記載の画像処理装置。
3. 前記物体が自車両に向けて発する光のグレア照度を、前記画像情報と前記露光条件とに基づいて算出する照度算出部を更に備えることを特徴とする請求項１または２に記載の画像処理装置。
4. 異なるタイミングで撮像された複数の撮像画像の画像情報に基づいて、前記物体のオプティカルフローを算出するオプティカルフロー算出部を更に備え、
   前記属性判別部は、前記オプティカルフローに基づいて前記物体の属性を判別することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記撮像部は、第１の撮像画像をＲ信号の画像情報として出力し、前記第１の撮像画像と異なるタイミングで撮像した第２の撮像画像をＢ信号の画像情報として出力し、
   前記属性判別部は、前記Ｒ信号の画像情報と前記Ｂ信号の画像情報とに基づいて前記物体が先行車であるか判別することを特徴とする請求項２に記載の画像処理装置。

Images