JP2013163518A - 車両用前照灯装置 - Google Patents

Abstract

【課題】自車両前方の広い範囲にわたって路面状況や存在する物体を精度良く判別する技術を提供する。
【解決手段】車両用前照灯装置１１０において、前方監視カメラ１６は、ズームレンズを有する。画像処理ＥＣＵ３２は、前方監視カメラ１６によって撮影された車両前方の画像情報を取得し、その画像情報に基づいて車両前方に存在する物体の属性を判別する。カメラ制御手段６３は、取得した自車両の車速情報に基づいてズームレンズの光学倍率を制御する。前照灯ユニット１２Ｒ，１２Ｌは、車両前方を照明する。配光制御ＥＣＵ３４は、物体の属性に応じて前照灯ユニット１２Ｒ，１２Ｌの配光を制御する。
【選択図】図６

Description

本発明は、自動車などに用いられる車両用前照灯装置に関する。

近年、車両に搭載されたカメラやセンサにより取得された周囲の情報に基づいて周囲の環境や物体を判別し、その環境や物体に応じた車両制御を行うことが種々試みられている。そのようなセンサとして、例えば、特許文献１には、受光素子により受光した光の方向や色に基づいて対向車や先行車、信号灯などを判別するセンサが開示されている。また、特許文献２には、より遠方の光源を識別するためのズーム式レンズ系を備えた自動車用眩光センサが開示されている。

実開平５−９３９８１号公報 特開平６−３２１００７号公報

ところで、上述のようなセンサを始め車載カメラに近年求められる要求は多岐にわたる。例えば、事故回避や予防安全の観点からはより遠方にある物体の識別が求められている。また、識別された物体に応じた適切な前照灯ユニットによる配光制御も求められている。しかしながら、遠方における物体は、見かけ上サイズが非常に小さくなり識別が困難である。特に、画像センサの画素数が少ない場合に識別がより困難となる。そのため、車両前方の広い範囲にわたって精度良く物体を識別する技術が求められている。

本発明はこうした状況に鑑みてなされたものであり、その目的は、自車両前方の広い範囲にわたって路面状況や存在する物体を精度良く判別する技術を提供することにある。

上記課題を解決するために、本発明のある態様の車両用前照灯装置は、ズームレンズを有するビデオカメラと、ビデオカメラによって撮影された車両前方の画像情報を取得し、その画像情報に基づいて車両前方に存在する物体の属性を判別する画像処理手段と、取得した自車両の車速情報に基づいてズームレンズの光学倍率を制御する倍率制御手段と、車両前方を照明する前照灯ユニットと、物体の属性に応じて前照灯ユニットの配光を制御する配光制御手段と、を備える。

この態様によると、自車両前方の広い範囲にわたって路面状況や存在する物体を精度良く判別することができる。例えば、自車両前方の遠方に存在する物体に対しても、ビデオカメラの光学倍率を制御することで、物体の属性の判別精度を向上することができる。

配光制御手段は、ズームレンズの光学倍率の増加に応じて、ビデオカメラの撮影範囲を明るくするように前照灯ユニットの配光を制御してもよい。これにより、光学倍率の増加に伴う撮影範囲の光量不足が補われ、遠方における物体の属性の判別精度が低下することが抑制される。

倍率制御手段は、車速が所定の第１の車速より低い場合にはズームレンズを低倍率に制御し、車速が所定の第１の車速以上であって所定の第１の車速より速い所定の第２の車速より低い場合には車速に応じてズームレンズの倍率を変化させ、車速が所定の第２の車速以上の場合にはズームレンズを高倍率に制御してもよい。これにより、車速に応じた適切な光学倍率の選択を簡易な制御で実現することができる。

倍率制御手段は、画像処理手段により判別された物体に前走車が含まれていない場合には、第２の車速より低速な第３の車速以上のときにズームレンズを高倍率に制御してもよい。これにより、判別された物体に前走車が含まれておらず自車両の近距離の物体の識別が重要でない状況では、車速がより低い段階からズームレンズを高倍率にすることで、自車両から遠方に存在する物体の属性の判別精度を高めることができる。

倍率制御手段は、車両前方の明るさが所定値以上の場合、車速にかかわらずズームレンズを低倍率に制御してもよい。これにより、例えば、車両前方の明るさが所定値以上である市街地を走行しているような場合、自車両に近い範囲に存在する物体の識別が重要となるため、車速にかかわらずズームレンズを低倍率にすることで、ビデオカメラの撮影範囲を広範囲にすることができる。

画像処理手段は、ビデオカメラが備える撮像素子の出力のうちＧ出力に基づいて車両前方の明るさを算出してもよい。これにより、簡単な演算処理により車両前方の明るさを算出することができる。

倍率制御手段は、車速に応じた所定の予見時間後に車両が到達する範囲に、視野範囲が合うようにズームレンズの倍率を制御してもよい。これにより、予見時間後に車両が到達する範囲に存在する物体の属性の判別精度が向上し、事故回避や予防安全等の観点から運転者の操作の補助が可能となる。

配光制御手段は、車両近傍の路面から所定の予見時間後に車両が到達する路面までの範囲を照射するように前照灯ユニットの配光を制御してもよい。これにより、予見時間後に車両が到達する範囲までに存在する物体の識別が容易となる。

画像処理手段は、取得した車両前方の撮像画像の輝度情報に基づいて、発光体又は光反射体として車両前方に存在する物体のオプティカルフローを算出するオプティカルフロー算出手段と、オプティカルフローに基づいて物体の属性を判別する属性判別手段と、を有してもよい。これにより、取得した撮像画像に基づいて物体を判別することができるため、ドライバに特段の操作負担をかけることなく物体の属性に応じた適切な配光制御が可能となる。

属性判別手段は、オプティカルフローに基づいて物体の属性が移動体であると判別した場合、ビデオカメラが備える撮像素子のうち撮像画像中の移動体に対応する撮像素子のＲ出力およびＢ出力に基づいて対向車であるか先行車であるか判別してもよい。これにより、移動体である物体の属性の判別精度を更に向上することができる。

本発明によれば、自車両前方の広い範囲にわたって路面状況や存在する物体を精度良く判別することができる。また、車両前方に存在する物体の属性に応じた適切な配光制御が可能となる。

直線路（一車線幅３．５ｍ）における路上配置の模式図である。 曲線半径１５０ｍの曲路（車速６０ｋｍ／ｈにおける道路設計上の旋回半径）における路上配置図である。 画像センサから見た夜間直線路における発光物体の位置を示した図である。 高速道路の直線路における消失点とオプティカルフローの関係を模式的に示した図である。 本実施の形態に係る車両用前照灯装置を適用した車両の外観を示す概略図である。 本実施の形態に係る車両用前照灯装置の概略構成を示すブロック図である。 本実施の形態に係る物体属性判別処理を含む配光制御方法を示すフローチャートである。 輝度と画像濃度Ｄとの関係を示すグラフの一例を示す図である。 路肩および路面の模様を模式的に示すとともに、両者の画像をテクスチャ解析した結果を示す図である。 図１０（ａ）は、直線路（実線）に対して左右にカーブしている曲路（点線）を示す図であり、図１０（ｂ）は、直線路（実線）に対して上り下りしている曲路（点線）を示す図であり、図１０（ｃ）は、図１０（ｂ）の曲路を車両が走行中の様子を側方から見た模式図である。 本実施の形態に係る物体判別方法を示すフローチャートである。

車載画像センサは、車線維持、事故回避、予防安全などの機能要求から設計される。加えて、このセンサを、前照灯ユニット（ヘッドライト）の配光制御として用いるためには、前述の機能のほかに夜間において車両前方の物体の識別が可能なことも要求される。しかしながら、車両前方に存在する物体は様々であり、対向車や先行車のようにグレアを考慮した配光制御が必要な物体や、道路照明やデリニエータ（視線誘導標）のようにグレアを考慮せずに自車両にとって最適な配光制御を行えばよい物体もある。

このような前照灯ユニットの配光制御を実現するためには、自車両の前方を走行する前走車（対向車や先行車）や道路照明のような発光体や、デリニエータのような光反射体を検知するセンサを用いることが好ましい。加えて、物体として検知した発光体や光反射体の属性を特定する機能があることがより好ましい。ここで、属性とは、例えば、前方の発光体や光反射体が前走車であるか道路附属施設等であるかを区別するものである。より詳細には、発光体等が車両であれば先行車であるか対向車であるか、発光体等が道路附属施設等であれば道路照明であるか、デリニエータであるか、その他の発光施設（例えば、店舗照明、広告等）であるか、交通信号であるかを区別するものである。

そこで、はじめに上述のような機能を実現するために必要なセンサ（カメラ）の性能について、視野範囲と分解能の観点から乗用車の車載カメラ（設置高；１．２ｍ）を具体例として説明する。

（１）車線維持；走行する車両において自動で車線維持を行うためには、レーンマークを検出することが行われる。このようなレーンマークの検出は、夜間雨天時のように認識しづらい場合もあるので、近距離での認識が必要である。そのため、カメラには斜め側方をカバーする広い視野が望まれる。図１は、直線路（一車線幅３．５ｍ）における路上配置の模式図である。車載カメラ（地上高１．２ｍ）では、ヘッドランプの前方５ｍ（カメラから約７ｍ）の自車線両側のレーンマークＬ１を検出する必要がある。カメラの光軸からの角度は、Ｈ（Horizontal）＝Ａｔａｎ（１．７５／７）≒１４°、Ｖ（Vertical）＝Ａｔａｎ（１．２／７）≒１０°、となり、カメラには１４°以上の視野範囲が要求される。なお、センサの分解能については、近距離のため特段の問題は生じない。

（２）事故回避；ハンドリングによる衝突回避を条件として、比較的近距離の車両、歩行者や障害物が対象となる。そのためには、カメラ（センサ）としてそれらをカバーする視野範囲が望まれる。そこで、前方車両や障害物は自車線＋両側１車線の範囲でそれらが存在するものとして考える（図１）。これは側方範囲で±５．２５ｍとなる。これらの衝突防止（ハンドリングによる回避）のために必要な検出距離はドライバの認知反応時間以上とする必要がある。一般的に認知反応時間は１．０秒と記述されている。車両の走行速度を６０ｋｍ／ｈとすれば、１秒間に１６．７ｍの距離となる。この範囲の検出に必要な水平角度範囲をＨとすると、Ｈ＝Ａｔａｎ（５．２５／（１６．７+２））≒１６°となる。

（３）予防安全；前方車両や障害物の検出距離を車両の停止距離以上とする。こうすることにより安全走行が確実になる。また、停止距離より遠方の道路形状などを検出できれば、快適走行の支援ともなる。快適走行の観点からは、Preview Distance（ＰＤ：予見時間）、すなわち何秒先の視覚情報が得られるかが重要である。

表１に車速、道路の設計上の曲線半径、停止距離、予見時間（ＰＤ）の関係を示す。図２は、曲線半径１５０ｍの曲路（車速６０ｋｍ／ｈにおける道路設計上の旋回半径）における路上配置図である。

なお、表１内の３．５ｓの視野範囲は、曲路上３．５ｓ先の隣車線（５．２５ｍ側方）におけるレーンマーク位置の角度（Ｗ＝Ａｔａｎ（Curve_５．２５/PD_３．５））を求めたものである。予見時間３．５ｓ先の情報をドライバに与えれば、警告後、ドライバは確実に停車および回避ができ、予防安全に役立つ。また、快適走行を保証するためには、予見時間は極力大きい方がよいが、３．５ｓはほぼ満足できるレベルである。したがって、車速６０ｋｍ／ｈ以上で予防安全と快適性を考慮する場合における画像センサの視野範囲は１６°以上確保されているとよい。

（４）遠方物体の弁別
図３は、画像センサから見た夜間直線路における発光物体の位置を示した図である。なお図中の対向車ヘッドライトＨＬおよび先行車テールライトＴＬは、自車両から６０ｍ前方の位置で示している。このような遠近透視図において、道路照明７０はＨ線（Horizontal）より上方に位置し、デリニエータ７２はＨ線のやや下に位置する。これらの固定物体は、走行中には図中の軌跡Ｌ２，Ｌ３に沿って画面内を移動する。所定時間経過後の画像を比較すると、この線上に沿ってオプティカルフロー｛ＯＦ（Optical Flow）；視覚表現（通常、時間的に連続するデジタル画像）の中で物体の動きをベクトルで表したもの｝が発生する。

このオプティカルフロー量（ベクトル量）は画像センサより近距離の物体の方が大きくなる。また相対速度差が大きいものほど大きくなる。すなわち、走行中の車両は、対向車ＯＦ量＞固定物ＯＦ量＞先行車のＯＦ量となる。このＯＦ量と路上での物体位置から物体の属性（先行車、対向車、道路照明、デリニエータ、ほか）が判定できる。また、道路照明やデリニエータは高速道路などでは光点列で存在するので、この点を加味することで更に物体の判別精度を向上することが可能となる。またリアライトやヘッドライトはペアライトであり、ペアライトのＯＦ量は同一であるため、この点を加味することで更に物体の判別精度を向上することができる。

そして、以下で述べる実施の形態では、上述した物体の属性の判別をより簡易な構成の装置、具体的には単眼カメラの画像センサにより実現している。また、このような簡易な装置構成に加えて、以下の手法（詳細は後述）を採用することで物体の属性の判別精度を向上している。具体的には、（ａ）オプティカルフローの活用による移動物体の属性判別、（ｂ）（ａ）に加えて道路区域設定および光点列の活用による路上物体（固定物）の属性判別、（ｃ）道路の消失点の活用による路上物体の属性判別精度の向上、である。

また、発光体や光反射体（以下、適宜「発光体等」と称する）の属性のほかに、自車両から発光体等までのおおよその距離と、その発光体等の輝度（明るさ）の情報を算出し利用することで更に物体の属性の判別精度を向上することもできる。この場合、自車両と発光体等との距離の測定には、レーザレーダやミリ波レーダを用いてもよい。また、輝度の測定に照度計を用いてもよい。

（オプティカルフローの活用）
画像センサ（カメラ）と路上物体の相対位置関係が変化する場合、連続した撮像画像において物体の像は流れる。このような現象をオプティカルフロー（以下、適宜「ＯＦ」と称する）という。ＯＦは、自車両と物体との相対距離が近いほど、また、相対速度差が大きいほど、大きくなる。例えば、自車両が停車中の場合、移動物体に応じたＯＦが発生する。また、自車両が走行中の場合、道路照明やデリニエータ等の路上固定物に応じたＯＦが発生するとともに、自車両と速度の異なる前走車に応じたＯＦが発生する。そこで、ＯＦの大きさに基づいて自車両前方の物体の属性が道路に対する移動物体か固定物かを判別することができる。

（道路消失点の活用）
図４は、高速道路の直線路における消失点とオプティカルフローの関係を模式的に示した図である。図４に示すように、直線路においては消失点が存在する。ここで、消失点とは、絵画の遠近法における収束点として定義することができる。消失点は、レーンマーク、路側帯、中央分離帯、規則的な配置で設置された道路附属施設（道路照明、デリニエータ）等の無限遠点となる。なお、道路形状（例えばカーブ）や前走車の存在などで無限遠点が求められない場合、それらの物体の近景における配置を無限遠まで延長し、それらの交点を画面上で推測することにより仮の消失点とすることも可能である。なお、消失点は曲路（左右カーブだけではなく、道路のアップダウン）では算出することが困難であるが、左右方向の屈折路では算出可能である。また、自車両が車線変更などで道路の幅方向に移動する場合、それに伴って消失点も移動する。

（道路区域の設定と交点列の活用）
車両前方のレーンマーク、路側帯、中央分離帯などの画像データを解析することで、自車線や対向車線等の道路区域を決定できる。道路照明やデリニエータ等の道路附属施設は道路上に規則的に設置されているため、道路区域が決定されることで、夜間において発光体等がどのような物体かがより精度良く判別できる。具体的には、夜間において発光体等の光輝点や光点列が道路区域に対してどの位置（例えば、自車線か対向車線か路肩か）に存在するか、および前述のＯＦがどうなっているか、を考慮することで発光体等の属性が道路照明か、デリニエータか、先行車か、対向車かが判別可能となる。

本発明者は上述したオプティカルフローを用いることで物体の属性を判別できることに想到したが、更に検討を進めたところ、以下の課題が生じ得る点にも想到した。つまり、直線道路上に存在する物体は、より遠方に存在するほど視覚サイズは小さくなり、無限遠では図３に示すＨ線とＶ線の交点（ＨＶ点）、すなわち消失点に収束する。そのため、遠方に存在する物体の判別が問題となる。以下、明るさと分解能の観点からセンサを含むカメラに求められる性能を検討する。

ヘッドライトの検出距離；現状のすれ違いビームのグレアの照度規格は１灯あたり１［ｌｘ］である。これ以上の照度を受けるとドライバは眩しさを感じる。したがって、ハイビームで走行している車両は、前走車に届く前照灯の照度が１［ｌｘ］程度の距離においてその前走車を検出できることが必要である。現状のハイビームの１灯あたりのＭＡＸ光度は１１２５００［ｃｄ］である。照度は距離の二乗に反比例するため、１［ｌｘ］の照度となる自車両前方の物体までの距離は３３５．４ｍに相当する。

以下では計算を簡便化するため、ハイビームで走行している場合に要求される前方物体の検出距離を５００ｍとし、そのときの画像センサに必要な分解能について検討する。左右のペアライトの取付け間隔は通常１．２〜１．５ｍであり、仮に１．２ｍとすればペアライトの視覚サイズは0.1375°（8.25′）となる。一対のペアライトとして識別するには、走行時における車両振動による画像の補整も考慮すると、この５倍程度の分解能、すなわち0.0275°（1.65′）の分解能を有するカメラが好ましい。

また、５００ｍの車間距離、相対速度２００ｋｍ／ｈですれ違う際には１秒間に約５５ｍ接近する。画像処理装置の処理を１０回／秒（カメラのフレームレートを３０枚／秒）とすれば約５．５ｍ接近する。この場合における側方方向へのＯＦ量はＡｔａｎ（3.5/494.5）−Ａｔａｎ（3.5/500）＝0.00446°となる。これについても前述と同じ理由で５倍程度の分解能、すなわち0.0009°（0.054′）の分解能を有するカメラが好ましい。

サイズが１／３（４．８ｍｍ（Ｗ）×３．６ｍｍ（Ｈ））インチ、２１０万画素（1920W×1080H）の撮像素子の場合、この素子で左右±１６°の視野をカバーしているとすれば、１画素あたりの視野角は32/1920＝0.017°（1′）となり、上述の分解能の要求を満たせない。そのため、５００ｍ前方のヘッドライトの識別に必要な0.0009°の分解能を確保するには２１０万画素では２０倍程度の光学ズームレンズを備えたカメラが好ましい。これにより画素数の多い撮像素子を用いることなく、所望の分解能を得ることができるとともに、処理能力の高い画像処理装置を用いずにすむため、装置全体のコスト低減が期待できる。

このような検討に基づいて、本発明者は、自車両前方の広い範囲にわたって路面状況や存在する物体を精度良く判別する技術を簡易な構成で実現すべく本願発明に想到した。

以下、図面を参照しながら、本発明を実施するための最良の形態について詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を適宜省略する。

図５は、本実施の形態に係る車両用前照灯装置を適用した車両の外観を示す概略図である。図５に示すように、本実施の形態に係る車両１０は、前照灯装置１２と、前照灯装置１２による光の照射を制御する前照灯制御装置としての制御システム１４と、車両１０の走行状況を示す情報を検出してその検出信号を制御システム１４へ出力する各種センサと、車両前方を監視する前方監視カメラ１６と、ＧＰＳ衛星からの軌道信号を受信して制御システム１４へ出力するアンテナ１８と、を備える。

各種センサとしては、例えば、ステアリングホイール２０の操舵角を検出するステアリングセンサ２２と、車両１０の車速を検出する車速センサ２４と、自車両の周囲の照度を検出する照度センサ２６とが設けられており、これらのセンサ２２、２４、２６が前述の制御システム１４に接続されている。

本発明に適用できる前照灯装置としては、照射する光の配光を前方に存在する物体の属性に応じて変化させることができる構成であれば特に限定されない。例えば、ハロゲンランプやガスディスチャージヘッドランプ、ＬＥＤを用いたヘッドランプを採用することができる。本実施の形態では、ランプをスイブルできる方式を例として説明する。

前照灯装置１２は、左右一対の前照灯ユニット１２Ｒ、１２Ｌを有する。前照灯ユニット１２Ｒ、１２Ｌは、内部構造が左右対称であるほかは互いに同じ構成であり、右側のランプハウジング内にロービーム用灯具ユニット２８Ｒおよびハイビーム用灯具ユニット３０Ｒが、左側のランプハウジング内にロービーム用灯具ユニット２８Ｌおよびハイビーム用灯具ユニット３０Ｌがそれぞれ配置されている。

制御システム１４は、入力された各種センサの各出力に基づいて車両の前部の左右にそれぞれ装備されたスイブル可能な前照灯ユニット１２Ｒ、１２Ｌ、すなわち照射方向を左右上下方向に偏向制御してその配光特性を変化することが可能な前照灯装置１２を制御する。このようなスイブル可能な前照灯ユニット１２Ｒ、１２Ｌとしては、例えば前照灯ユニット内に設けられているリフレクタやプロジェクタランプを水平方向に回動可能な構成として駆動モータ等の駆動力源によって回転駆動する回転駆動手段を備えたものがある。この種のＡＦＳ（Adaptive Front-Lighting System）によれば、自動車がカーブした道路を走行する際には、自動車の走行速度に対応してカーブ先の道路を照明することが可能になり、走行安全性を高める上で有効である。

（車両用前照灯装置）
次に、本実施の形態に係る車両用前照灯装置について説明する。図６は、本実施の形態に係る車両用前照灯装置１１０の概略構成を示すブロック図である。車両用前照灯装置１１０は、前照灯ユニット１２Ｒ、１２Ｌと、前照灯ユニット１２Ｒ、１２Ｌによる光の照射を制御する制御システム１４とを備える。そして、車両用前照灯装置１１０は、制御システム１４において車両前方に存在する物体の属性を判別し、その物体の属性に基づいて配光制御条件を決定し、決定された配光制御条件に基づいて前照灯ユニット１２Ｒ、１２Ｌによる光の照射を制御する。

そこで、本実施の形態に係る制御システム１４には、ドライバの視対象を含む車両前方の撮像画像を取得するための前方監視カメラ１６が接続されている。また、車両の走行状態を判断する際に参照される、操舵情報や車速を検出するためのステアリングセンサ２２や車速センサ２４、照度センサ２６が接続されている。照度センサ２６としては、例えば、対向車や人工光源（道路照明や店舗照明）から受けた光の鉛直面照度（人工光源によるグレア量）を計測できるように受光面を鉛直に設置したものや、走行環境や車両上方から受けた光の水平面照度を計測できるように受光面を水平に設置したものが用いられる。

（前方監視カメラ）
本実施の形態に係る前方監視カメラ１６は、ズームレンズを有するビデオカメラであり、遠方に存在する物体の属性の判別精度を向上することができる。ここで、ズームレンズとは、レンズ群の所定の一群を移動させることにより、焦点距離を変化させることができるものである。その際、通常は焦点面の位置が変化するため、その補正を行うために主に下記の三つの方式があり、所望の性能に応じて適宜選択・組み合わせればよい。
（１）機械補正式（Mechanical compensation）；焦点面移動をカムによるレンズ群の非直線移動で補正
（２）光学補正式（Optical compensation）；屈折力のバランスを計算してズーミングしても焦点面を一定に保つように設計段階から考慮
（３）電子補正式（Electronic compensation）；焦点面移動の補正をカメラ側の自動焦点機能に依存

（制御システム）
制御システム１４は、画像処理ＥＣＵ３２と、配光制御ＥＣＵ３４と、ＧＰＳナビゲーションＥＣＵ３６と、車内ＬＡＮ制御ＥＣＵ３８とを備える。各種ＥＣＵおよび各種車載センサは、車内ＬＡＮバス４０により接続されデータの送受信が可能になっている。画像処理ＥＣＵ３２は、前方監視カメラ１６により取得された撮像画像のデータや各種車載センサに基づいて前方に存在する物体の属性を判別する。なお、画像処理ＥＣＵ３２内部は各部が高速バス４２で接続されている。配光制御ＥＣＵ３４は、画像処理ＥＣＵ３２および各種車載センサの情報に基づいて、車両が置かれている走行環境に適した配光制御条件を決定し、その制御信号を前照灯ユニット１２Ｒ，１２Ｌに出力する。

前照灯ユニット１２Ｒ，１２Ｌは、配光制御ＥＣＵ３４から出力された制御信号が光学部品の駆動装置や光源の点灯制御回路に入力されることで、配光が制御される。前方監視カメラ１６は、ＣＣＤやＣＭＯＳなどの画像センサを備えた単眼ズームカメラであり、その画像データから運転に必要な道路線形情報、道路附属施設、対向車・先行車の存在状況や位置の情報などを、必要であれば他のレーダセンサなどと協調して取得する。

図７は、本実施の形態に係る物体属性判別処理を含む配光制御方法を示すフローチャートである。物体属性の判別は、主に図６に示す画像処理ＥＣＵ３２で実行され、配光制御は、主に配光制御ＥＣＵ３４で実行される。

所定のタイミングで処理が開始されると、各種車載センサ（ステアリングセンサ２２、車速センサ２４、照度センサ２６）から出力されたデータが車内ＬＡＮバス４０を介して外部データ入力手段４４で取得される（Ｓ１０）。また、前方監視カメラ１６で撮像した撮像画像の画像データが画像データ取得手段４６で取得される（Ｓ１２）。なお、前方監視カメラ１６から出力される画像データは、モノクロ画像に対応していてもよいしカラー画像に対応していてもよい。

取得された画像データは、画像データ蓄積手段４８においてＲＡＭなどの記憶手段に一時的に記憶される（Ｓ１４）。画像解析手段５０は、画像データに含まれている濃度データに対して差分や微分、さらにはＳＯＢＥＬ演算を施すことにより周辺と濃度の異なる物体（例えば、ヘッドライトや道路照明などの発光体や、レーンマークやデリニエータなどの光反射体）の輪郭を抽出する、エッジ処理を行う（Ｓ１８）。なお、エッジ処理の方法はこれらに限られず、公知の方法を適宜変形させて用いてもよい。

次に、濃度輝度変換手段５２において画像の濃度データが輝度（明るさ）データに変換される（Ｓ２０）。画像データの輝度への変換は、露光条件（撮像条件）下における画像濃度と車両前方の範囲の輝度との関係を求めておけば、露光条件を勘案して求めることができる。図８は、輝度と画像濃度Ｄとの関係を示すグラフの一例を示す図である。

画像解析手段５０は、エッジ処理により輪郭が抽出された物体にレーンマーク（区画線）が存在しているか判定する（Ｓ２２）。区画線がない場合、そのままでは路肩位置が求められない。そこで、区画線がないと判定された場合（Ｓ２２のＮｏ）、画像データに基づいてテクスチャ解析が行われる（Ｓ２４）。テクスチャ解析とは、例えば規則的な濃淡変化を表す模様を数値化することであり、通常、路面と路肩の画像データを周波数（ＦＦＴ）解析すると異なる周波数特性が得られる。

図９は、路肩および路面の模様を模式的に示すとともに、両者の画像をテクスチャ解析した結果を示す図である。図に示すように、路面の画像は肌理が細かいため周波数の高い成分が多いが、草木や道路構築物の存在する路肩の画像は周波数成分が幅広く存在する。そこで、画像データの所定の領域の解析結果を、例えば、あらかじめ記憶されている路面の画像の周波数成分の分布と比較することで、区画線が存在しない場合であっても路肩位置が検出可能となる。つまり、路面に対応する周波数特性から異なる周波数特性に変化する位置が路肩位置として推定される。

画像解析手段５０は、上述の区画線の検出あるいはテクスチャ解析を含む画像解析結果から、道路の車線幅、路肩位置、道路の形状、消失点の位置など道路の形状と相関のある情報を算出し、道路形状を推定する（Ｓ２６）。図１０（ａ）は、直線路（実線）に対して左右にカーブしている曲路（点線）を示す図であり、図１０（ｂ）は、直線路（実線）に対して上り下りしている曲路（点線）を示す図であり、図１０（ｃ）は、図１０（ｂ）の曲路を車両が走行中の様子を側方から見た模式図である。なお、雨天のように区画線が検出不能な場合や、道路の形状が曲路（左右カーブや上り下り）の場合には、図１０に示すように、消失点を算出することができない。そこで、このような場合には、舵角データやＧＰＳからのデータに基づいて、仮想の消失点を算出してもよい。なお、本実施の形態では、画像解析手段５０が道路形状推定手段として機能する。

道路形状が推定された後、光輝物体、例えば発光体や光反射体の位置を検出する。具体的には、光輝物体検出手段５４は、Ｓ２０の処理における濃度輝度変換で所定の輝度（例えば、レーンマークに対応する輝度）以上の物体を光輝物体として抽出し、その位置を検出する（Ｓ２８）。

次に、動画のように時系列で連続的に取得される画像データの解析により光輝物体の属性を判定する。はじめに、前回の画像解析処理において内部メモリ５６に記憶された光輝物体の位置や物体の候補などの画像特性のデータと、現在の画像特性のデータとがＯＦ算出手段５８により取得される（Ｓ３０）。

ＯＦ算出手段５８は、異なる時間に取得した複数の撮像画像の画像特性データに基づいて、各光輝物体にＯＦが発生しているか否かを検出する（Ｓ３２）。具体的には、ＯＦ算出手段５８は、取得した車両前方の撮像画像の輝度データに基づいて、発光体又は光反射体として車両前方に存在する光輝物体のＯＦを算出する。そして、物体属性判別手段６０は、ＯＦ算出手段５８により算出されたＯＦに基づいて物体の属性を判別する（Ｓ３４）。なお、Ｓ３４における物体属性判別方法については後述する。

物体の属性が判別されると、現在の画像特性データが内部メモリ５６に記憶される（Ｓ３６）。具体的には、ＯＦ検出のために必要な光輝物体の位置、属性、ＯＦのベクトルなどである。このデータは次回の画像処理におけるＯＦの算出に用いられる。

物体属性判別手段６０により判別された各物体の属性データや道路形状などのデータが内部データ出力手段６２から出力される（Ｓ３８）。また、倍率制御手段として機能するカメラ制御手段６３は、各物体の属性や道路形状などのデータ、車速センサ２４から取得した車速情報に基づいて、前方監視カメラ１６のズームレンズの焦点距離の調整を行い、光学倍率を制御する（Ｓ３９）。出力されたデータは車内ＬＡＮバス４０を介して配光制御ＥＣＵ３４に入力され、そのデータに含まれる物体の属性や自車両の走行状態、天候条件などに基づいて配光制御条件が決定される（Ｓ４０）。そして、配光制御ＥＣＵ３４は、決定された配光制御条件に基づいて前照灯ユニット１２Ｒ，１２Ｌ内に設けられている光源や駆動源へ制御信号を出力し配光を制御する（Ｓ４２）。

したがって、本実施の形態に係る車両用前照灯装置１１０は、自車両前方の広い範囲にわたって路面状況や存在する物体を精度良く判別することができる。例えば、自車両前方の遠方に存在する物体に対しても、前方監視カメラ１６のズームレンズの光学倍率を制御することで、物体の属性の判別精度を向上することができる。また、車速によって事故回避や予防安全の観点から運転者が注視する前方距離や予見時間は異なる。そこで、車両用前照灯装置１１０は、車速に応じてズームレンズの光学倍率が制御されるので、運転者に特段の操作負担をかけることなく、運転者が注視する視野範囲に存在する物体の属性の判別精度を向上することができる。

また、配光制御ＥＣＵ３４は、ズームレンズの光学倍率の増加に応じて、前方監視カメラ１６の撮影範囲を明るくするように前照灯ユニット１２Ｒ，１２Ｌの配光を制御する。これにより、光学倍率の増加に伴う撮影範囲の光量不足が補われ、遠方における物体の属性の判別精度が低下することが抑制される。

ここで、カメラ制御手段６３は、車速が６０ｋｍ／ｈより低い場合にはズームレンズを低倍率（等倍）に制御し、車速が６０ｋｍ／ｈ以上であって１２０ｋｍ／ｈより低い場合には車速に応じてズームレンズの倍率を変化させ、車速が１２０ｋｍ／ｈ以上の場合にはズームレンズを高倍率（１０倍程度）に制御する。これにより、車速に応じた適切な光学倍率の選択を簡易な制御で実現することができる。また、高速走行時のように事故回避や予防安全の観点から遠方の物体や状況を検出する必要がある場合には、このような制御により、自車両より５００ｍ遠方に存在する前走車を検出することができる。

また、カメラ制御手段６３は、車速に応じた所定の予見時間後に車両が到達する範囲に、視野範囲（焦点）が合うようにズームレンズの倍率を制御してもよい。具体的には、時速６０ｋｍ／ｈにおける予見時間ＰＤ１を１秒（１６．６ｍ）とし、時速１２０ｋｍ／ｈにおける予見時間ＰＤ２を５秒（１６６ｍ）とする。その間の車速はこの予見時間ＰＤに応じた距離と車速の線形関数から決定するとよい。つまり、自車両が６０ｋｍ／ｈで走行している場合には、カメラ制御手段６３は、自車両の前方１６．６ｍ近傍に視野範囲（焦点）があうようにズームレンズの光学倍率を制御する。これにより、予見時間後に車両が到達する範囲に存在する物体の属性の判別精度が向上し、事故回避や予防安全等の観点から運転者の操作の補助が可能となる。

また、車線維持制御においては、近距離の位置におけるレーンマークの検出が最も重要である。これを確実にするためには、視野画面内下側（近距離）のレーンマークを明るく照明する必要がある。そこで、配光制御ＥＣＵ３４は、車両近傍の路面から所定の予見時間後に車両が到達する路面までの範囲を照射するように前照灯ユニット１２Ｒ，１２Ｌの配光を制御してもよい。これにより、前方監視カメラ１６による撮像画像の画面視野の下側位置を含む範囲を明るく照らすことができ、予見時間後に車両が到達する範囲までに存在する物体、特にレーンマークの識別が容易となる。

（物体属性判別方法）
次に、物体属性判別処理を行うステップＳ３４について図３を参照して詳述する。図３に示すように、道路上を走行中の車両の前方には様々な物体が存在する。そのような状況下において夜間を走行中の車両の前方監視カメラ１６が光輝物体として識別する物体としては、以下のものがある。

はじめに、夜間において走行中の対向車のＨＬ（ヘッドライト）、先行車のＴＬ（テールライト）が挙げられる。このようなライトは通常左右一対のペアライトとして存在するとともに、図３に示す水平線Ｈより下方に位置する。また、ＯＦの大きさは物体が先行車の場合に小さくなり、対向車の場合に大きくなる。

次に、道路照明７０やデリニエータ７２が挙げられる。これらの固定物は、通常設置基準が規定されており、例えば道路照明は路面より１０ｍ以上、つまり水平線Ｈより上方に存在する（図３参照）。一方、デリニエータ７２は、ガードレール上端部に設置されており、水平線Ｈより下方に存在する。また、ＯＦの大きさは物体が固定物であれば自車両の車速および物体と自車両との距離に応じた値となる。

上述の物体以外にも、店舗照明、広告ネオンサイン、カーブサインなどが光輝物体として検出されうる。店舗照明や広告ネオンサインは、ランダムに存在する固定物体であり、道路照明やデリニエータのように配置されている位置に規則性がないため、この点を考慮した画像解析をすることで道路照明等の固定物と判別することができる。また、カーブサインは、その設置位置がデリニエータとほぼ同じ高さであるためデリニエータとの弁別は困難であるが、カーブサインをデリニエータと誤認しても配光制御に与える影響はないため、画像解析において特段の考慮は必要とされない。

本実施の形態に係る物体判別方法は、以上のような物体の存在を前提に行われる。図１１は、本実施の形態に係る物体判別方法を示すフローチャートである。まず、物体属性判別手段６０は、検出されたＯＦに基づいて光輝物体の位置やＯＦのベクトルを算出する（Ｓ１００）。次に、物体属性判別手段６０は、ＯＦベクトルや前述の消失点の情報に基づいて物体の相対速度Ｖ１を算出する（Ｓ１０２）とともに、車速センサからその時の自車両速度Ｖ２を検出する（Ｓ１０４）。

相対速度Ｖ１と自車両速度Ｖ２とが画像解析における算出誤差やセンサの検出誤差を考慮しても実質的に等しい場合（Ｓ１０６のＹｅｓ）、物体は固定物と判別される（Ｓ１０８）。物体属性判別手段６０は、更に物体が存在する位置が水平線より上方か否かを判定（Ｓ１１０）し、物体の位置が水平線より上方の場合（Ｓ１１０のＹｅｓ）はその物体は道路照明であると判別し（Ｓ１１２）、物体の位置が水平線より下方の場合（Ｓ１１０のＮｏ）はその物体はデリニエータであると判別する（Ｓ１１４）。

物体に対する相対速度Ｖ１と自車両速度Ｖ２とが異なる場合（Ｓ１０６のＮｏ）、物体は固定物ではなく移動体であると推測される。そこで、物体が自車両に近付く場合の相対速度Ｖ１を正として、相対速度Ｖ１が自車両速度Ｖ２より大きいか否かが判定される（Ｓ１１６）。物体属性判別手段６０は、相対速度Ｖ１が自車両速度Ｖ２より大きい場合（Ｓ１１６のＹｅｓ）はその物体は対向車であると判別し（Ｓ１１８）、相対速度Ｖ１が自車両速度Ｖ２より小さい場合（Ｓ１１８のＮｏ）はその物体は先行車であると判別する（Ｓ１２０）。

その後、判別された物体の属性は物体ごとに記憶され（Ｓ１２２）、画像データにおけるすべての物体の判別が終了しているかが判定される（Ｓ１２４）。全（すべ）ての物体が判別されていない場合（Ｓ１２４のＮｏ）、Ｓ１００の処理に戻る。全（すべ）ての物体が判別されている場合（Ｓ１２４のＹｅｓ）、一連の処理を一度終了する。

なお、ＯＦベクトルや物体の位置の情報に基づく上述の物体判別処理において、ステップＳ２６で算出された道路形状の情報や、ＧＰＳナビゲーションＥＣＵ３６から取得した現在走行している道路の特性情報（高速道路などの道路種別、車線数、市街地か郊外か、など）を加味することで、店舗照明、広告ネオンサイン、カーブサインなどの判別精度が向上する。

また、前方監視カメラ１６は、光輝物体の色の判別が可能なカラーカメラであるとよい。このようなカラーカメラであれば、センサの光輝物体の位置に対応するＲ（赤）素子とＢ（青）素子の出力比を算出することで、ノイズ光の多い市街地における先行車、対向車、交通信号、道路照明、店舗照明などの判別がしやすくなる。

また、画像データのうち、テールライトＴＬ（先行車、赤色）の位置に対応するセンサのＲ素子とＢ素子の出力比Ｒ／Ｂ（ＴＬ）と、ヘッドライトＨＬ（対向車、白色）の位置に対応するセンサＲ素子とＢ素子の出力比Ｒ／Ｂ（ＨＬ）とを比較すると、Ｒ／Ｂ（ＴＬ）＞＞Ｒ／Ｂ（ＨＬ）の関係がある。そこで、各色の光に対するＲ／Ｂを実験やシミュレーションで事前に求めておくことで、先行車と対向車との判別精度の向上が可能となる。特に、先行車と対向車の位置が交錯しやすい曲路においての判別精度の向上に寄与する。

上述したように、本実施の形態に係る制御システム１４は、取得した撮像画像に基づいて物体を判別することができるため、ドライバに特段の操作負担をかけることなく物体の属性に応じた適切な配光制御が可能となる。配光制御ＥＣＵ３４は、画像処理ＥＣＵ３２から取得したデータに基づいて、例えば、車両前方に光輝物体が存在していないと判断する場合には自動的に前照灯ユニットの配光をハイビームにするとともに、光輝物体として対向車や先行車が存在していると判断する場合には自動的に前照灯ユニットの配光をロービームにするというような配光制御が可能となる。

また、配光制御ＥＣＵ３４は、従来では対向車や先行車と判別できなかった道路照明やデリニエータしか存在しないと判断した場合には、前照灯ユニットの配光をハイビームの状態に維持することで、前照灯ユニットの照明能力をより有効に活用することができる。

また、画像処理ＥＣＵ３２は、車両前方の道路形状を推定する画像解析手段５０を備えているため、物体のＯＦおよび道路形状に基づいて、物体の属性を判別することが可能となり、道路形状が曲線路や屈曲路であっても物体の属性を精度良く判別することができる。

また、物体属性判別手段６０は、物体のＯＦから推定される自車両と物体との相対速度Ｖ１と、自車両速度Ｖ２とを比較することでその物体の属性を判別することができるため、物体の属性を更に詳細に判別することができるため、より適切な配光制御が可能となる。

具体的には、相対速度Ｖ１と自車両速度Ｖ２とを比較することで、物体の属性が道路に対する固定物であるか移動体であるかが判別される。これにより、物体属性判別手段６０は、例えば、物体との相対速度Ｖ１がほぼ自車両速度Ｖ２とほぼ等しい場合には、その物体が道路照明やデリニエータなどの固定物であると判別し、物体との相対速度Ｖ１が自車両速度Ｖ２と異なる場合には、その物体が対向車や先行車などの移動体であると判別することができる。

また、物体属性判別手段６０は、物体の位置やＯＦが撮像画像の上下方向のどこに存在するかによって、その物体の属性が道路照明であるかデリニエータであるかを判別することができる。

また、画像解析手段５０は、車両前方の撮像画像に対する高速フーリエ変換によるテクスチャ解析によって道路の路肩位置を推定することができるため、例えば、レーンマークがない路面であっても、路面と路肩部との判別が可能となり、このような路面を走行中の車両が備える制御システム１４であっても物体の属性を精度良く判別することができる。

本実施の形態に係る前照灯制御装置としての制御システム１４およびそれを備えた車両用前照灯装置１１０によれば、特に夜間の交通視環境（照明状況、対向車状況）に応じて詳細な配光制御が可能となり、交通事故防止に貢献できる。また、本実施の形態に係る制御システム１４は、複数のカメラを用いたり複雑な機構のカメラを用いたりせずに、単眼カメラを用いることで光輝物体の属性を判別することができるため、システム全体のコストの低減が可能となる。

本実施の形態に係る車両用前照灯装置１１０は、上述の手法により判別された物体の属性に基づいて以下の制御を行うことができる。例えば、カメラ制御手段６３は、画像処理ＥＣＵ３２により判別された物体に前走車が含まれていない場合には、車速が１２０ｋｍ／ｈ（通常は光学倍率が高倍率に設定される第１の車速）より低速な所定の車速以上のときにズームレンズを高倍率に制御する。これにより、判別された物体に前走車が含まれておらず自車両の近距離の物体の識別が重要でない状況では、車速がより低い段階からズームレンズを高倍率にすることで、自車両から遠方に存在する物体の属性の判別精度を高めることができる。

一方、車両前方の明るさが所定値以上の場合、カメラ制御手段６３は、車速にかかわらずズームレンズを低倍率に制御してもよい。これにより、例えば、車両前方の明るさが所定値以上である市街地を走行しているような場合、自車両に近い範囲に存在する物体の識別が重要となるため、車速にかかわらずズームレンズを低倍率にすることで、前方監視カメラ１６の撮影範囲を広範囲にすることができる。この際、画像処理ＥＣＵ３２は、前方監視カメラ１６が備える撮像素子の出力のうちＧ素子の出力に基づいて車両前方の明るさを算出してもよい。これにより、簡単な演算処理により車両前方の明るさを算出することができる。

以上、本発明を上述の実施の形態を参照して説明したが、本発明は上述の実施の形態に限定されるものではなく、実施の形態の構成を適宜組み合わせたものや置換したものについても本発明に含まれるものである。また、当業者の知識に基づいて実施の形態における組合せや処理の順番を適宜組み替えることや各種の設計変更等の変形を実施の形態に対して加えることも可能であり、そのような変形が加えられた実施の形態も本発明の範囲に含まれうる。

１０ 車両、 １２ 前照灯装置、 １２Ｒ 前照灯ユニット、 １４ 制御システム、 １６ 前方監視カメラ、 １８ アンテナ、 ２０ ステアリングホイール、 ２２ ステアリングセンサ、 ２４ 車速センサ、 ２６ 照度センサ、 ３２ 画像処理ＥＣＵ、 ３４ 配光制御ＥＣＵ、 ３６ ＧＰＳナビゲーションＥＣＵ、 ３８ 車内ＬＡＮ制御ＥＣＵ、 ４０ 車内ＬＡＮバス、 ４２ 高速バス、 ４４ 外部データ入力手段、 ４６ 画像データ取得手段、 ４８ 画像データ蓄積手段、 ５０ 画像解析手段、 ５２ 濃度輝度変換手段、 ５４ 光輝物体検出手段、 ５６ 内部メモリ、 ５８ ＯＦ算出手段、 ６０ 物体属性判別手段、 ６２ 内部データ出力手段、 ６３ カメラ制御手段、 ７０ 道路照明、 ７２ デリニエータ、 １１０ 車両用前照灯装置。

Claims (8)

1. ズームレンズを有するビデオカメラと、
   前記ビデオカメラによって撮影された車両前方の画像情報を取得し、取得した画像情報から消失点を算出し、前記画像情報に基づいて車両前方に存在する物体の属性を判別する画像処理手段と、
   前記消失点に基づいて前記ズームレンズの光学倍率を制御する倍率制御手段と、
   車両前方を照明する前照灯ユニットと、
   前記物体の属性に応じて前記前照灯ユニットの配光を制御する配光制御手段と、
   を備えることを特徴とする車両用前照灯装置。
2. 前記消失点の位置から道路形状を推定し、前記道路形状に基づいて前記ズームレンズの倍率を制御することを特徴とする請求項１に記載の車両用前照灯装置。
3. 前記倍率制御手段は、取得した自車両の車速情報に基づいて前記ズームレンズの光学倍率を制御することを特徴とする請求項１または２に記載の車両用前照灯装置。
4. 前記画像処理手段は、
   取得した車両前方の撮像画像の輝度情報に基づいて、発光体又は光反射体として車両前方に存在する物体のオプティカルフローを算出するオプティカルフロー算出手段と、
   前記オプティカルフローに基づいて前記物体の属性を判別する属性判別手段と、
   を有することを特徴とする請求項１乃至３のいずれか１項に記載の車両用前照灯装置。
5. 前記属性判別手段は、前記オプティカルフローに基づいて前記物体の属性が移動体であると判別した場合、前記ビデオカメラが備える撮像素子のうち撮像画像中の移動体に対応する撮像素子のＲ出力およびＢ出力に基づいて対向車であるか先行車であるか判別することを特徴とする請求項４に記載の車両用前照灯装置。
6. 前記倍率制御手段は、
   車速が所定の第１の車速より低い場合には前記ズームレンズを低倍率に制御し、
   車速が所定の第１の車速以上であって所定の第１の車速より速い所定の第２の車速より低い場合には車速に応じて前記ズームレンズの倍率を変化させ、
   車速が所定の第２の車速以上の場合には前記ズームレンズを高倍率に制御する、
   ことを特徴とする請求項１乃至５のいずれかに記載の車両用前照灯装置。
7. 前記倍率制御手段は、前記画像処理手段により判別された物体に前走車が含まれていない場合には、前記第２の車速より低速な第３の車速以上のときに前記ズームレンズを高倍率に制御することを特徴とする請求項６に記載の車両用前照灯装置。
8. 前記倍率制御手段は、車速に応じた所定の予見時間後に車両が到達する範囲に、視野範囲が合うように前記ズームレンズの倍率を制御することを特徴とする請求項１乃至７のいずれか１項に記載の車両用前照灯装置。

Images