JP2010073009A - 画像処理装置 - Google Patents

Abstract

【課題】夜間等に高輝度目標があっても１台のカメラによりハレーションを起こさずに当該目標を撮像可能な画像処理装置を提供する。
【解決手段】車両に搭載され、車両周辺の画像を取得するカメラと制御部を備え、制御部において、カメラで取得した画像から車両を抽出し、カメラにより取得した車両周辺の画像中の明るさに基づき、抽出した車両及び車両近傍において、明るさを補正する領域を算出する。そして、算出した明るさを補正する領域においてハレーションを起こす明るさである部分、例えば、ヘッドライト部分、ヘッドライトの路面反射部分及びヘッドライトのフレア部分を算出し、算出したハレーションを起こす部分を、所定の低減率を乗ずることによりハレーションを起こさない明るさに補正し、補正したハレーション領域をカメラで取得した画像に重ね合わせて出力する。
【選択図】図４

Description

本発明は、夜間など車両周辺の照度が少ない場合にハレーションを起こすことなく撮像を可能とする画像処理装置に関する。

従来、道路上の白線を認識する白線認識や夜間における車両前方の視界を確保するナイトビュー等を行うために、単一の撮像装置に赤外光の波長帯と可視光の波長帯の両方に感度を持たせて、その撮像装置で取得した画像を画像処理することにより白線認識やナイトビューを行う撮像装置があった。

このように単一の撮像装置に複数の波長帯の感度を持たせることにより、夜間に比較的輝度の高い白線や輝度の低い背景を撮像するために、異なる特性を有する複数の撮像装置を用いる必要がないので、車両における撮像装置の取り付けスペースを小さくすることができる等の利点がある（例えば特許文献１参照）。
特開平２００６−３２５１３５号公報

ところが、上記特許文献１に記載の方式では、背景等の輝度の低い画像を撮像するセンサと白線等輝度の高い画像を撮像するセンサとの統合化の際に、必要とする波長特性の違いが問題となる。例えば、輝度の低い画像を撮像するセンサを基準としてセンサを統合すると、ハレーション対策用の可視カットにより可視光成分の入射がなくなり、感度性能が低下するため、結果センサ性能を著しく低下させる。逆に、輝度の高い画像を撮像するセンサを基準として統合すると、可視カットフィルタが無いため、ヘッドライトの可視光成分の路面反射によるハレーションが発生し、画質性能を著しく低下させる。

本発明は、こうした問題に鑑みなされたもので、夜間等に高輝度目標があっても１台のカメラによりハレーションを起こさずに当該目標を撮像可能な画像処理装置を提供することを目的とする。

かかる問題を解決するためになされた請求項１に記載の画像処理装置（１：この欄においては、発明に対する理解を容易にするため、必要に応じて「発明を実施するための最良の形態」欄において用いた符号を付すが、この符号によって請求の範囲を限定することを意味するものではない。）は、撮像手段（１０）、車両抽出手段（２０）、補正領域算出手段（２０）、ハレーション領域算出手段（２０）、補正手段（２０）及び画像出力手段（２０）を備えている。

撮像手段（１０）は、車両に搭載され、車両周辺の画像を取得し、車両抽出手段（２０）は、撮像手段（１０）で取得した画像から車両を抽出する。また、補正領域算出手段（２０）は、撮像手段（１０）取得した前記車両周辺の画像中の明るさに基づき、車両抽出手段（２０）で抽出した車両及びその車両近傍において、明るさを補正する領域を算出する。

ハレーション領域算出手段（２０）は、補正領域算出手段（２０）で算出した明るさを補正する領域においてハレーションを起こす明るさである部分を算出し、補正手段（２０）は、ハレーション領域算出手段（２０）でハレーションを起こす部分を、ハレーションを起こさない明るさに補正する。

また、画像出力手段（２０）は、補正手段（２０）により補正したハレーション領域を撮像手段（１０）で取得した画像に重ね合わせて出力する。
このような画像処理装置（１）では、撮像手段（１０）で取得された車両周辺の画像から、車両を抽出し、その車両及び車両近傍において、明るさを補正する領域を算出する。そして、算出して領域においてハレーションを起こす部分を補正してハレーションを起こさないようにしてから、撮像手段（１０）で取得した画像に重ね合わせて出力する。

ここで、「車両及び車両近傍」とは、車両抽出手段（２０）で抽出した車両が画像中に占める領域及びその領域内にある光源により影響を受ける範囲を意味し、具体的には、車両のヘッドライトの路面反射、あるいは撮像手段（１０）の特性（収差等）により発生するボケによる光の広がる領域などである。

また、「ハレーションを起こす明るさ」とは、被写体の輝度の大きさにより撮像手段（１０）で取得する画像がボケを起こす明るさであり、サチュレーション特性など、用いられる撮像手段（１０）個々の特性によって変化する値である。

つまり、撮像手段（１０）で取得した画像中の車両及びその近傍に、例えば、ヘッドライトのように輝度が大きく、ハレーションを起こす部分があった場合、その部分がハレーションを起こさないように補正される。したがって、車両及びその近傍に対してのみハレーションを抑制することができる。

そして、車両及びその近傍のハレーションを抑制することができるので、ハレーションに隠れた物体、例えば、歩行者等の検出精度を向上させることができるようになる。
以上のように、請求項１に係る画像処理装置（１）によれば、夜間等に高輝度目標があっても１台の撮像手段（１０）によりハレーションを起こさずに当該目標を撮像可能とすることができる。

ところで、補正領域算出手段（２０）で算出する領域には種々のものが考えられるが、請求項２に記載のように、車両抽出手段（２０）で抽出した車両位置に対して、ヘッドライト部分、ヘッドライトの路面反射部分及びヘッドライトのフレア部分を含む領域を算出するようにするとよい。

このようにすると、車両において最も輝度が高いヘッドライト部分とヘッドライトの光が反射する路面反射部分及びヘッドライトの輝度が高いために撮像手段（１０）の特性、例えば、撮像手段（１０）を構成するレンズの収差によって生ずるフレアなど、他の部分に対して輝度が高い領域を補正領域として算出することができる。

また、請求項３に記載のように、ハレーション領域算出手段（２０）は、補正領域算出手段（２０）で算出した画像中の明るさを補正する領域のうち所定の明るさの範囲をハレーション領域として算出するようにするとよい。

このようにすると、補正領域算出手段（２０）で算出した輝度の高い領域のみを対象としてハレーションが起こる領域を算出することができるので、算出のための負荷を減少させることができる。

さらに、請求項４に記載のように、補正手段（２０）は、ハレーション領域算出手段（２０）で算出したハレーション領域の明るさを所定の低減率で低減させることにより補正を行うようにすると、簡易な方法でハレーションを低減させることができる。

以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。

図１は、本発明が適用された画像処理装置１の概略の構成を示すブロック図である。画像処理装置１は、図１に示すように、カメラ１０と制御部２０とから構成され、制御部２０から出力される画像出力信号が表示装置３０に出力されて表示される。

カメラ１０は、車両に搭載され、車両周辺の画像を取得するものであり、本実施形態では、車室内の前部上方のルームミラーの裏側に車両前方を撮像できるように取り付けられている。

また、カメラ１０は、夜間における画像の取得が可能な暗視カメラであり、赤外線カメラ若しくは通常の可視光カメラにおいて赤外領域をカットするフィルタを削除して、カメラの波長特性を赤外線領域にまで広げた高感度カメラである。

制御部２０は、図示しないＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏを備えており、ＲＯＭに格納された画像補整処理プログラムにより車両抽出処理、補正領域算出処理、ハレーション領域算出処理、補正処理及び画像出力処理を行う。

車両抽出処理は、カメラ１０で取得した画像から車両を抽出し、領域算出処理は、カメラ１０で取得した画像中の、車両で抽出した車両及びその車両近傍において、画像中の明るさに基づき、明るさを補正する領域を算出する。

ハレーション領域算出処理は、補正領域算出処理で算出した明るさを補正する領域においてハレーションを起こす明るさである部分を算出し、補正処理は、ハレーション領域算出処理でハレーションを起こす部分を、ハレーションを起こさない明るさに補正する。

画像出力処理は、補正処理により補正したハレーション領域をカメラ１０で取得した画像に重ね合わせて出力する
（画像補正処理）
次に、図２〜図４に基づき、制御部２０で実効される画像補正処理について説明する。図２は、画像補正処理の流れを示すフローチャートであり、図３は、補正領域算出処理の内容の一例を示す図である。また、図４は、ハレーション領域算出処理及び補正処理の内容の一例を示す図である。

画像補正処理は、図２に示すようにＳ１００において、カメラ１０から画像が取得される。カメラ１０から取得される画像の例を図３に示す。
続くＳ１０５では、Ｓ１００において取得された画像から画像処理にて車両が抽出される。画像から車両を抽出する画像処理は、周知の処理であり、例えば、ＲＯＭに予め格納した各車種の基準画像データと比較し、その結果、基準画像データと一致或いは基準画像データとの差が所定の範囲内の場合に基準画像データに相当する車両が存在する（特開２００７−２９０５７０号公報）として抽出するなどの処理が用いられる。車両の抽出結果の例を図３に示す。

続くＳ１１０では、明るさを補正する領域（以下、補正領域とも呼ぶ。）が算出される。明るさを補正する領域の算出は、Ｓ１０５において抽出した車両におけるヘッドライト部分、車両近傍に存在する、ヘッドライトの路面反射部分及びヘッドライトのフレア部分を含む領域を算出する。

ヘッドライト部分を算出するには、Ｓ１０５において抽出した車両の占める領域を分割し（例えば、ピクセルに分割し）、分割した領域ごと（例えば、ピクセルごと）に照度を算出し、さらに、算出した照度が、予め定めておく照度の閾値よりも高い照度の領域の集合部分をヘッドライト部分とする。

また、ヘッドライトの路面反射部分は、Ｓ１０５において抽出した車両の位置の下方にあり、ヘッドライトの照度よりも小さく、所定の閾値より高い照度の領域をヘッドライトの路面反射部分とする。

また、ヘッドライトのフレア部分は、カメラ１０のレンズの収差や撮像素子のサチレーションなどによる、いわゆる画像のボケの部分であり、ヘッドライト部分の周辺に車両の占める領域を超えて広がる照度の高い（ヘッドライト部分より低い）部分である。

したがって、ヘッドライト部分の周辺で、車両の占める領域以外の所定の閾値より高い照度の部分をフレア部分とする。このようにして算出した明るさを補正する領域を図３に示す。

続くＳ１１５では、ハレーションを起こす領域が算出される。ハレーションを起こす領域は、Ｓ１１０において算出された補正領域において、所定の明るさの範囲として定義される。

具体的には、図４により説明する。図４（ａ）に示すグラフにおいて、横軸は明るさを示し、縦軸は頻度を示している。図４（ａ）は、図４（ｂ）の画像において、補正領域（図３参照）中の各ピクセルの明るさとその頻度を示している。

図４（ａ）に示すように、図４（ｂ）に示す画像においては、頻度の高い（ピークを有する部分）が２箇所できる。このうち明るさが低い範囲にピークを有する部分は、車両や歩行者或いは背景などの分布を示しており、明るさが広い範囲にわたって分布している。それに対し、明るさが高い範囲にピークを有する部分は、ヘッドライト部分やヘッドライトの路面反射領域或いはフレアの領域を示しており、明るさが狭い範囲で高いピーク値となるように分布している。

これは、車両や歩行者或いは背景などは、ヘッドライト部分等の領域に比べその明るさが低く、画像中に占める面積が大ききことを示しており、ヘッドライト等の領域は、車両等に比べ、明るさが高く、画像中に占める面積が小さいことを示している。

そして、この明るさが高い範囲でピークを示す部分（図４（ａ）中四角で囲まれた部分）がハレーションを起こす領域（ハレーション領域）として算出される。
続くＳ１２０では、Ｓ１１５において算出されたハレーション領域の明るさを所定の低減率で低減させる補正処理が実行される。

補正処理では、図４（ａ）に示すように、ハレーション領域全体の明るさに所定の低減率（例えば、５０％）を乗じて、ハレーション領域全体の明るさを低い方へシフトさせるという補正が行われる。

続くＳ１２５では、Ｓ１２０においてハレーション領域の補正を行った画像をＳ１００においてカメラ１０から取得された画像に重ね合わせる。これにより、ハレーション領域であるヘッドライト部分やヘッドライトの路面反射領域或いはフレアの領域の明るさが低減され、画像上でハレーションを起こさなくなる。

画像を重ね合わせた後、その画像を表示装置３０へ出力し、処理がＳ１００へ戻されて処理が繰り返される。
（画像処理装置１の特徴）
以上に説明した画像処理装置１では、カメラ１０で取得された車両周辺の画像から、車両を抽出し、その車両及び車両近傍において、明るさを補正する領域が算出される。そして、算出して領域においてハレーションを起こす部分を補正してハレーションを起こさないようにしてから、カメラ１０で取得した画像に重ね合わせて出力される。

ここで、「車両及び車両近傍」とは、車両抽出処理で抽出した車両が画像中に占める領域及びその領域内にある光源により影響を受ける範囲を意味し、具体的には、車両のヘッドライトの路面反射、あるいはカメラ１０の特性（収差等）により発生するボケによる光の広がる領域などである。

また、「ハレーションを起こす明るさ」とは、被写体の輝度の大きさによりカメラ１０で取得する画像がボケを起こす明るさであり、サチュレーション特性など、用いられるカメラ１０個々の特性によって変化する値である。

つまり、カメラ１０で取得した画像中の車両及びその近傍に、例えば、ヘッドライトのように輝度が大きく、ハレーションを起こす部分があった場合、その部分がハレーションを起こさないように補正される。したがって、車両及びその近傍に対してのみハレーションを抑制することができる。

そして、車両及びその近傍のハレーションを抑制することができるので、ハレーションに隠れた物体、例えば、歩行者等の検出精度を向上させることができるようになる。
このように、画像処理装置１によれば、夜間等に高輝度目標があっても１台のカメラ１０によりハレーションを起こさずに当該目標を撮像可能とすることができる。

また、補正領域算出処理で、車両抽出処理で抽出した車両位置に対して、ヘッドライト部分、ヘッドライトの路面反射部分及びヘッドライトのフレア部分を含む領域を算出している。

したがって、車両において最も輝度が高いヘッドライト部分とヘッドライトの光が反射する路面反射部分及びヘッドライトの輝度が高いためにカメラ１０の特性、例えば、カメラ１０を構成するレンズの収差によって生ずるフレアなど、他の部分に対して輝度が高い領域を補正領域として算出することができる。

さらに、ハレーション領域算出処理において、補正領域算出処理で算出した画像中の明るさを補正する領域のうち所定の明るさの範囲をハレーション領域として算出している。したがって、補正領域算出処理で算出した輝度の高い領域のみを対象としてハレーションが起こる領域を算出することができるので、算出のための負荷を減少させることができる。

また、補正処理において、ハレーション領域算出処理で算出したハレーション領域の明るさを所定の低減率で低減させることにより補正を行っているので、簡易な方法でハレーションを低減させることができる。

以上、本発明の実施形態について説明したが、本発明は、本実施形態に限定されるものではなく、種々の態様を採ることができる。
例えば、上記実施形態では、制御部２０にＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏを備えたが、ＣＰＵの代わりに、ＤＳＰを用いてもよい。また、車両抽出処理、補正領域算出処理、ハレーション領域算出処理、補正処理及び画像出力処理を各々別のＤＳＰで実行するようにしてもよいし、それらの処理を組み合わせて実行するようにしてもよい。

画像処理装置１の概略の構成を示すブロック図である。 画像補正処理の流れを示すフローチャートである。 補正領域算出処理の内容の一例を示す図である。 ハレーション領域算出処理及び補正処理の内容の一例を示す図である。

符号の説明

１…画像処理装置、１０…カメラ、２０…制御部、３０…表示装置。

Claims (4)

1. 車両に搭載され、車両周辺の画像を取得する撮像手段と、
   前記撮像手段で取得した画像から車両を抽出する車両抽出手段と、
   前記撮像手段により取得した前記車両周辺の画像中の明るさに基づき、前記車両抽出手段で抽出した車両及び該車両近傍において、明るさを補正する領域を算出する補正領域算出手段と、
   前記補正領域算出手段で算出した明るさを補正する領域においてハレーションを起こす明るさである部分を算出するハレーション領域算出手段と、
   前記ハレーション領域算出手段でハレーションを起こす部分を、ハレーションを起こさない明るさに補正する補正手段と、
   前記補正手段により補正したハレーション領域を前記撮像手段で取得した前記画像に重ね合わせて出力する画像出力手段と、
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記補正領域算出手段は、
   前記車両抽出手段で抽出した車両に対して、ヘッドライト部分、ヘッドライトの路面反射部分及びヘッドライトのフレア部分を含む領域を算出することを特徴とする画像処理装置。
3. 請求項１又は請求項２に記載の画像処理装置において、
   前記ハレーション領域算出手段は、
   前記補正領域算出手段で算出した画像中の明るさを補正する領域のうち所定の明るさの範囲をハレーション領域として算出することを特徴とする画像処理装置。
4. 請求項１〜請求項３の何れかに記載の画像処理装置において、
   前記補正手段は、
   前記ハレーション領域算出手段で算出したハレーション領域の明るさを所定の低減率で低減させることにより補正を行うことを特徴とする画像処理装置。