JP2007249568A - 画像処理装置および方法、記録媒体、並びに、プログラム - Google Patents

Abstract

【課題】画像内の光源、または、光源からの光の正反射光が写っている領域を簡単かつ正確に検出する。
【解決手段】輝度変化検出部１３１は、撮像装置１１１により撮像された入力画像において、水平方向の行および垂直方向の列ごとに、隣接する画素間の輝度の変化が所定の大きさ以上となる位置を検出する。領域検出部１３２は、輝度変化検出部１３１により検出された位置および入力画像の端部により区分される領域のうち、隣接する領域と比較して輝度が高い領域に含まれる画素により構成される領域を、光源、または、光源からの光の正反射光が入力画像に写っている領域として検出する。本発明は、画像の階調を変換する画像変換装置に適用できる。
【選択図】図１

Description

本発明は、画像処理装置および方法、記録媒体、並びに、プログラムに関し、画像内の光源が写っている領域を簡単かつ正確に検出することができるようにした画像処理装置および方法、記録媒体、並びに、プログラムに関する。

近年、車両の前方を撮像した画像を用いて、前方に存在する車両、人、障害物などを検出し、検出結果に基づいて、車両の走行を制御することにより運転の安全性を向上させる技術の開発が盛んである。

ところで、夜間に走行中の車両の前方においては、照明に照らされていない領域から、ヘッドライトや街灯などの光源まで、存在する被写体の輝度の範囲が非常に広い。従って、従来のCCD（Charge Coupled Device）撮像素子、CMOS（Complementary Metal Oxide Semiconductor）撮像素子などダイナミックレンジが狭い撮像素子を用いた撮像装置により、夜間に車両の前方を撮像した場合、撮像した画像において、いわゆる白飛びや黒潰れといった現象が発生する。例えば、対向車や前方の車両のボディにおいて適正な露出となるように設定して撮像した場合、対向車のヘッドライトや街灯などの光源の輝度は、車両のボディと比較して非常に明るいため、画像内の光源が写っている領域の輝度値が、撮像可能な輝度値の最大値にクリッピングされ、白飛びが発生してしまうときがある。逆に、対向車のヘッドライトや街灯などの光源において適正な露出となるように設定して撮像した場合、画像内の照明に照らされていない領域の輝度値が、撮像可能な輝度値の最小値にクリッピングされ、黒潰れが発生してしまうときがある。

特に、夜間に車両の前方を撮像する場合、画角内において占める割合が大きい暗い領域において適正な露出となるように設定することが多く、周囲と比較して突出して明るく、画角内において占める割合の小さい光源が写っている領域が白飛びしてしまう場合が多い。そうした場合、例えば、撮像した画像を表示装置に表示させたとき、光源およびその周辺の領域において、画像が不鮮明になってしまうことがある。また、撮像した画像を用いて画像認識を行う装置において、例えば、対向車のヘッドライトの形状や模様など正確に認識できなかったり、光源の種類、例えば、遠方に写っている光がヘッドライトの光なのか街灯の光なのかを正確に認識できないといった現象が発生してしまうことがある。

そこで、複数の異なる露光量で画像を撮像し、異なる露光量で撮像された画像を解析することが提案されている（例えば、特許文献１および特許文献２参照）。

また、被写体照度に拘らず、カメラの絞りやシャッタースピードを周期的に変化させて撮像し、後で適正な露出で撮像された画像を抽出することが提案されている（例えば、特許文献３参照）。

しかしながら、特許文献１乃至３に記載の発明では、露光量を変更する間に、被写体が動いてしまうため、異なる露出で全く同じ画像を撮像することは困難である。従って、必ずしも適正な露出で必要な画像を撮像できるとは限らない。また、異なる露出で撮像した画像において、動きのある被写体の位置関係を求めることは非常に困難である。

そこで、対数変換型の撮像素子を用いた、非常に広いダイナミックレンジで撮像することができる撮像装置を利用することが考えられる。広ダイナミックレンジの撮像装置を用いることにより、絞りやシャッタースピードなどを調整しなくても、輝度の範囲が広い被写体を、輝度クリッピングを発生させることなく撮像することができる。

特開２００５−９２８５７号公報 特開２００５−９２８６１号公報 特開２００５−９４８１４号公報

ところで、広ダイナミックレンジの撮像装置により撮像した画像を表示する場合、表示装置が表示できる階調数が撮像した画像の階調数より少ないとき、画像の階調数を減らす必要がある。しかしながら、一般的に、夜間に車両の前方を撮像した画像において、光源が写っている領域の輝度値の範囲は狭く、また、その面積も小さい。従って、表示装置が対応できる階調数に画像の階調数を変換する際に、光源が写っている領域に割り当てられる階調数が少なくなり、その結果、光源が写っている領域における画像の鮮明さが失われてしまう。

これに対して、光源が写っている領域の画像を鮮明に表示させるようにするためには、まず、撮像した画像に写っている光源の領域を検出する必要がある。

本発明は、このような状況に鑑みてなされたものであり、画像内の光源、または、光源からの光の正反射光が写っている領域を簡単かつ正確に検出することができるようするものである。

本発明の一側面の画像処理装置は、入力画像において、輝度が大きく変化する位置である変化位置を検出する位置検出手段と、変化位置および入力画像の端部により区分される領域のうち、隣接する領域と比較して輝度が高い領域に含まれる画素により構成される領域を、光源、または、光源からの光の正反射光が入力画像に写っている領域である光源領域として検出する領域検出手段とを備える。

本発明の一側面の画像処理装置においては、入力画像において、輝度が大きく変化する位置である変化位置が検出され、変化位置および入力画像の端部により区分される領域のうち、隣接する領域と比較して輝度が高い領域に含まれる画素により構成される領域が、光源、または、光源からの光の正反射光が入力画像に写っている領域である光源領域として検出される。

従って、画像内の光源、または、光源からの光の正反射光が写っている領域を簡単かつ正確に検出することができる。

この位置検出手段、領域検出手段は、例えば、CPU（Central Processing Unit）により構成される。

この位置検出手段には、入力画像の水平方向の行および垂直方向の列ごとに、隣接する画素間の輝度の変化が所定の大きさ以上となる位置を変化位置として検出させるようにすることができる。

これにより、１画素を最小単位として光源領域を検出することができる。

この画像処理装置は、入力画像の階調数より少ない階調数の出力画像に入力画像を変換する場合、出力画像の１つの階調に割り当てる入力画像の輝度の幅が、光源領域に含まれる画素の輝度値を含む範囲において最も狭くなるように、入力画像を出力画像に変換する変換手段をさらに備えることができる。

これにより、出力画像において、入力画像の光源領域に対応する部分をよりよく認識できるようになる。

この変換手段は、例えば、CPUにより構成される。

この入力画像は、入射光量の対数にほぼ比例した輝度値を出力する撮像素子により撮像された画像であるようにすることができる。

これにより、出力画像において、ダイナミックレンジの広い入力画像の光源領域に対応する部分をよりよく認識できるようになる。

本発明の一側面の画像処理装置、プログラム、および、記録媒体に記録されているプログラムは、入力画像において、輝度が大きく変化する位置である変化位置を検出する位置検出ステップと、変化位置および入力画像の端部により区分される領域のうち、隣接する領域と比較して輝度が高い領域に含まれる画素により構成される領域を、光源、または、光源からの光の正反射光が入力画像に写っている領域である光源領域として検出する領域検出ステップとを含む。

本発明の一側面の画像処理装置、プログラム、および、記録媒体に記録されているプログラムにおいては、入力画像において、輝度が大きく変化する位置である変化位置が検出され、変化位置および入力画像の端部により区分される領域のうち、隣接する領域と比較して輝度が高い領域に含まれる画素により構成される領域が、光源、または、光源からの光の正反射光が入力画像に写っている領域である光源領域として検出される。

従って、画像内の光源、または、光源からの光の正反射光が写っている領域を簡単かつ正確に検出することができる。

この検出ステップは、例えば、入力画像において、輝度が大きく変化する位置である変化位置をCPUにより検出する位置検出ステップにより構成され、この領域検出ステップは、例えば、変化位置および入力画像の端部により区分される領域のうち、隣接する領域と比較して輝度が高い領域に含まれる画素により構成される領域を、CPUにより、光源、または、光源からの光の正反射光が入力画像に写っている領域である光源領域として検出する領域検出ステップにより構成される。

以上のように、本発明の一側面によれば、画像内の光源が写っている領域を検出することができる。特に、本発明の一側面によれば、画像内の光源が写っている領域を簡単かつ正確に検出することができる。

以下、図を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用した画像処理システム１０１の一実施の形態を示すブロック図である。画像処理システム１０１は、撮像装置１１１、画像変換装置１１２、および、ディスプレイ１１３を含むように構成される。また、画像変換装置１１２は、光源検出部１２１、光源輝度範囲検出部１２２、主要輝度範囲検出部１２３、および、階調変換部１２４を含むように構成される。さらに、光源検出部１２１は、輝度変化検出部１３１および領域検出部１３２を含むように構成される。

撮像装置１１１は、例えば、図２を参照して後述するように、対数変換型の撮像素子を用いて非常に広いダイナミックレンジ（例えば、約170dB）で被写体を撮像する撮像装置により構成される。撮像装置１１１により撮像される画像は、例えば、14bitの符号なし２進数のデジタルのデータであり、最も暗い０から最も明るい２¹⁴−１の範囲の１６３８４階調の輝度値が割り当てられる。撮像装置１１１は、撮像した画像（以下、入力画像と称する）を、輝度変化検出部１３１、光源輝度範囲検出部１２２、主要輝度範囲検出部１２３、および、階調変換部１２４に供給する。

画像変換装置１１２は、入力画像の階調数（以下、入力階調数とも称する）を、入力階調数より少ない、ディスプレイ１１３が表示することができる階調数（以下、出力階調数とも称する）に変換した出力画像を生成する。

光源検出部１２１は、図４を参照して後述するように、入力画像の各画素の位置の変化に対する輝度値の変化に基づいて、光源が写っている入力画像の領域（以下、光源領域とも称する）を検出する。なお、光源領域には、自ら光を発する一次光源が写っている領域、および、一次光源からの光の正反射光、すなわち、一次光源からの光が反射面により入射角とほぼ同じ角度で反射された光が写っている領域が含まれる。例えば、車両の前方を撮像した画像に写っている正反射光には、後続車のヘッドライトが車内のルームミラーにより鏡面反射された光、太陽光が窓ガラス、水面、路面または反射版などにより鏡面反射された光、対向車のヘッドライトが濡れた路面により鏡面反射された光などがある。

輝度変化検出部１３１は、撮像装置１１１から入力画像を取得する。輝度変化検出部１３１は、図４を参照して後述するように、入力画像の各画素の位置の変化に対する輝度値の変化を検出し、検出結果を示す情報を領域検出部１３２に供給する。

領域検出部１３２は、図４などを参照して後述するように、輝度変化検出部１３１からの検出結果に基づいて、光源領域を検出する。領域検出部１３２は、検出した光源領域の位置を示す情報を光源輝度範囲検出部１２２および主要輝度範囲検出部１２３に供給する。

光源輝度範囲検出部１２２は、図４などを参照して後述するように、光源領域の輝度値の範囲（以下、光源輝度範囲と称する）を検出する。光源輝度範囲検出部１２２は、検出した光源輝度範囲を示す情報を階調変換部１２４に供給する。

主要輝度範囲検出部１２３は、図４を参照して後述するように、光源領域以外の入力画像の領域において、輝度値が集中する範囲（以下、主要輝度範囲と称する）を検出する。主要輝度範囲検出部１２３は、検出した主要輝度範囲を示す情報を階調変換部１２４に供給する。

階調変換部１２４は、図４などを参照して後述するように、入力画像の階調数を、ディスプレイ１１３が表示することができる階調数に変換した出力画像を生成する。階調変換部１２４は、生成した出力画像をディスプレイ１１３に供給する。

ディスプレイ１１３は、例えば、CRT(Cathode-Ray Tube)やLCD(Liquid Crystal Display)等で構成され、出力画像に基づく画像を表示する。

図２は、図１の撮像装置１１１の機能的構成を示すブロック図である。撮像装置１１１は、レンズ２０１、および対数変換型撮像素子２０２を含むように構成される。対数変換型撮像素子２０２は、例えば、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor）（登録商標））などの対数変換型の撮像素子とされ、光検出部２１１、対数変換部２１２、A/D変換部２１３、および撮像タイミング制御部２１４を含むように構成される。

撮像装置１１１により撮像される被写体から発せられた光（あるいは、被写体により反射された光）は、レンズ２０１に入射し、対数変換型撮像素子２０２の光検出部２１１の図示せぬ光検出面に結像する。

光検出部２１１は、例えば、複数のフォトダイオードからなる受光素子などにより構成される。光検出部２１１は、レンズ２０１により結像された被写体の光を、入射された光の明るさ（照度）に応じた電荷に変換し、変換した電荷を蓄積する。光検出部２１１は、撮像タイミング制御部２１４から供給される制御信号に同期して、蓄積した電荷を対数変換部２１２に供給する。

対数変換部２１２は、例えば、複数のMOSFET（Metal Oxide Semiconductor Field Effect Transistor）などにより構成される。対数変換部２１２は、MOSFETのサブスレッショルド特性を利用して、光検出部２１１から供給される電荷を、各画素ごとに、電荷の数（電流の強さ）の対数、すなわち、被写体の光の光量の対数にほぼ比例した電圧値に変換したアナログの電気信号を生成する。対数変換部２１２は、生成したアナログの電気信号をA/D変換部２１３に供給する。

A/D変換部２１３は、撮像タイミング制御部２１４から供給される制御信号に同期して、アナログの電気信号をデジタルの画像データ（以下、単に画像とも称する）にA/D変換する。例えば、14bitの符号なし２進数のデジタルの画像データに変換される場合、画像データの輝度値（あるいは画素値）は、最も暗い０から最も明るい２¹⁴−１の範囲の値をとる。A/D変換部２１３は、変換したデジタルの画像データを画像変換装置１１２に供給する。

このように、撮像装置１１１は、光検出部２１１に入射した被写体の光の明るさ、すなわち、入射光量の対数に比例した輝度値（あるいは画素値）からなるデジタルの画像データを出力する。なお、対数変換型の撮像素子については、例えば、特表平７−５０６９３２公報などにその詳細が開示されている。

なお、対数変換型撮像素子２０２の光検出部２１１においては、変換した電荷を蓄積せずに、そのまま対数変換部２１２に供給させるようにすることも可能である。

図３は、対数変換型撮像素子２０２、CCD撮像素子、銀塩フィルム、および、人の目の感度特性を示すグラフである。図３の横軸は、入射光の照度（単位は、ルクス（lux））の対数値を示し、縦軸は入射光の照度に対する感度を示している。線２３１は対数変換型撮像素子２０２の感度特性を示し、線２３２はCCD撮像素子の感度特性を示し、線２３３は銀塩フィルムの感度特性を示し、線２３４は人の目の感度特性を示している。

対数変換型撮像素子２０２は、上述したように、入射光量の対数にほぼ比例した輝度値（あるいは画素値）からなる画像データを出力するので、入射光量が大きくなった場合でも、対数変換型撮像素子２０２を構成するフォトダイオードやMOSFETなどの素子の容量が飽和したり、各素子に流れる電流や印加される電圧が各素子の入力に応じた出力を行うことができる範囲を超えることがない。従って、撮像可能な輝度の範囲内において、ほぼ正確に入射光量の変動に応じた輝度値（あるいは画素値）を得ることができる。すなわち、CCD撮像素子、銀塩フィルム、および、人の目より広い、例えば、約１ミリルクスから太陽光の輝度より高い約５００キロルクスまでの約１７０dBのダイナミックレンジで、被写体からの入射光量の強さをほぼ正確に反映した輝度値（あるいは画素値）からなる画像を撮像することができる。なお、撮像装置１１１に用いる対数変換型撮像素子２０２のダイナミックレンジは、上述した１７０dBに限定されるものではなく、利用目的に応じて、約１００ｄＢあるいは２００ｄＢなど、必要なダイナミックレンジに対応したものを用いるようにすればよい。

従って、対数変換型撮像素子２０２を用いた撮像装置１１１は、人が視認できる輝度範囲において、輝度クリッピングが発生しないため、絞りやシャッタースピードなどを調整して入射光量を調整する必要がない。すなわち、撮像装置１１１は、入射光量を調整しなくても、被写体の詳細な輝度の分布を忠実に撮像することができる。

例えば、昼間に車内から車の前方を撮像する場合、画角内に太陽が入っていても、撮像装置１１１は、入射光量を調整せずに、太陽と前方の道路の輝度の分布を忠実に再現した画像を撮像することができる。また、夜間に車内から車の前方を撮像する場合、対向車のヘッドライトが前方から照らされていても、撮像装置１１１は、入射光量を調整せずに、対向車のヘッドライトの光から自車のヘッドライトに照らされていない領域までの輝度の分布を忠実に再現した画像を撮像することができる。

また、CCD撮像素子および銀塩フィルムでは、線２３２および線２３３に示されるように、ガンマ特性などの要因により感度特性が入射光の照度の対数に比例しないのに比べて、対数変換型撮像素子２０２では、感度特性が入射光の照度の対数にほぼ比例する。

このように、対数変換型撮像素子２０２を用いた撮像装置１１１は、輝度クリッピングの発生、入射光量の調整、ガンマ特性の影響を受けない。従って、撮像装置１１１により撮像された画像データの輝度値（あるいは画素値）は、被写体の輝度の変動および被写体の動きをほぼ忠実に反映するように変動する。すなわち、フレーム間の画像データの差分をとった差分データの各画素の差分値は、被写体の輝度の変動および被写体の動きがほぼ忠実に反映された値となる。

次に、図４のフローチャートを参照して、画像処理システム１０１により実行される画像処理の詳細を説明する。なお、この処理は、例えば、画像変換装置１１２の図示せぬ操作部を介して、ユーザにより画像処理の開始の指令が入力されたとき開始される。

ステップＳ１において、撮像装置１１１は、被写体を撮像し、撮像した入力画像を、輝度変化検出部１３１、光源輝度範囲検出部１２２、主要輝度範囲検出部１２３、および、階調変換部１２４に供給する。

ステップＳ２において、輝度変化検出部１３１は、入力画像の水平方向において、輝度値が大きく変換する位置を検出する。例えば、輝度変化検出部１３１は、入力画像の水平方向の各行の輝度値を、左方向から右方向に見ていき、隣接する画素間の輝度値の差が所定の大きさ以上となる位置、すなわち、隣接する画素間の輝度値の変化が所定の大きさ以上となる位置を検出する。輝度変化検出部１３１は、検出した位置を示す情報を領域検出部１３２に供給する。

図５の画像３０１は、夜間に郊外を走行する車両のボディの前端の中央下部に設置された撮像装置１１１により撮像した入力画像の例を模式的に示し、図５のグラフは、画像３０１の２つの矢印Ａで挟まれた水平方向の行の輝度値の変化を示している。なお、グラフの横軸は、画素の位置を示しており、縦軸は、その位置の画素の輝度値を示している。

図５のグラフに示されるように、入力画像３０１においては、自ら発光する光源である対向車のヘッドライト３１１−１，３１１−２の領域の輝度値が、周囲の輝度値と比較して、突出して高くなっている。従って、入力画像３０１の２つの矢印Ａで挟まれた行においては、ステップＳ２において、ヘッドライト３１１−１の左端付近の位置Ｐ１および右端付近の位置Ｐ２、並びに、ヘッドライト３１１−２の左端付近の位置Ｐ３および右端付近の位置Ｐ４が、隣接する画素間の輝度値の変化が所定の大きさ以上である位置として検出される。また、ヘッドライト３１１−１，３１１−２の左右の端部付近以外の位置では、輝度値が大きく変化しないため、隣接する画素間の輝度値の変化が所定の大きさ以上である位置は検出されない。

同様に、一般的に、夜間に撮像した入力画像においては、光源または光源からの光の正反射光の端部付近の位置が、隣接する画素間の輝度値の変化が所定の大きさ以上である位置として検出される。また、光源または光源からの光の正反射光の端部付近の位置以外では、隣接する画素間の輝度値の変化が所定の大きさ以上である位置はほとんど検出されない。

ステップＳ３において、ステップＳ２の処理と同様に、輝度変化検出部１３１は、入力画像の垂直方向において、輝度値が大きく変化する位置を検出する。輝度変化検出部１３１は、検出した位置を示す情報を領域検出部１３２に供給する。

なお、輝度値が大きく変化する位置を検出する方法は、上述した方法に限定されるものではなく、例えば、水平または垂直方向の線形一次微分フィルタを用いて入力画像にフィルタ処理を施した画像を用いて検出するようにしてもよい。

ステップＳ４において、領域検出部１３２は、光源が写っている領域を検出する。具体的には、領域検出部１３２は、入力画像の水平方向の各行ごとに、ステップＳ２において検出された位置、および、入力画像の左右の端部で区分される領域のうち、隣接する領域と比較して、輝度値が高い領域に含まれる画素を抽出する。例えば、図５の画像３０１の２つの矢印Ａで挟まれた行においては、画像３０１の左端と位置Ｐ１の間の領域、位置Ｐ１と位置Ｐ２の間の領域、位置Ｐ２と位置Ｐ３の間の領域、位置Ｐ３と位置Ｐ４の間の領域、および、位置Ｐ４と画像３０１の右端の間の領域のうち、隣接する領域と比較して輝度値が高い領域である、位置Ｐ１と位置Ｐ２の間の領域、および、位置Ｐ３と位置Ｐ４の間の領域に含まれる画素が抽出される。

また、領域検出部１３２は、入力画像の垂直方向の各列ごとに、ステップＳ３において検出された位置、および、入力画像の上下の端部で区分される領域のうち、隣接する領域と比較して、輝度値が高い領域に含まれる画素を抽出する。

領域検出部１３２は、抽出した画素により構成される領域を、入力画像内において光源が写っている領域、すなわち、光源領域として検出する。領域検出部１３２は、検出した光源領域の位置を示す情報を光源輝度範囲検出部１２２および主要輝度範囲検出部１２３に供給する。

ところで、従来のCCD撮像素子などのダイナミックレンジが広くない撮像素子を用いた撮像装置により撮像した画像においては、上述したように白飛びや黒潰れが発生し、光源と光源以外の領域の輝度値の差が、実際の輝度の差に対応する値より小さくなる場合がある。一方、撮像装置１１１により撮像した画像においては、上述したように白飛びや黒潰れが発生せず、被写体の詳細な輝度の分布がほぼ忠実に反映されるので、光源と光源以外の領域の輝度値の差が、実際の輝度の差に対応する値とほぼ等しくなる。従って、撮像装置１１１により撮像した画像を用いることにより、光源および光源以外の領域の輝度の変化に関わらず、より正確に光源領域を検出することができる。

ステップＳ５において、光源輝度範囲検出部１２２は、光源領域における輝度値の分布を検出する。具体的には、光源輝度範囲検出部１２２は、入力画像のうち光源領域内の各画素の輝度値を検出し、検出した輝度値の分布を示すヒストグラム（以下、光源ヒストグラムと称する）を生成する。

ステップＳ６において、光源輝度範囲検出部１２２は、光源輝度範囲を検出する。具体的には、光源輝度範囲検出部１２２は、光源ヒストグラムにおいて、所定の輝度値の幅（以下、最小幅と称する）を最小単位とする、光源領域に含まれる画素の輝度値を含む範囲を光源輝度範囲として検出する。例えば、光源ヒストグラムに表れる山の幅、すなわち、輝度値の幅が最小幅以上である場合、その山の幅に対応する輝度値の範囲が、光源輝度範囲として検出される。また、例えば、光源ヒストグラムに表れる山の幅、すなわち、輝度値の幅が最小幅未満である場合、その山の幅に対応する輝度値の範囲を含む最小幅の輝度値の範囲が、光源輝度範囲として検出される。なお、光源ヒストグラムにおいて、複数の山が表れる場合、複数の光源輝度範囲が検出される。また、入力画像において光源領域が検出されなかった場合、光源輝度範囲は検出されない。光源輝度範囲検出部１２２は、検出した光源輝度範囲を示す情報を階調変換部１２４に供給する。

なお、ここでヒストグラムの山とは、画素の数が連続して１以上となる輝度値の範囲における画素の数（度数）のグラフにより表される領域のことであり、幅、高さ、および、形状は問わない。従って、画素の数が連続して１以上となる輝度値の範囲が１の場合、その範囲に対応するヒストグラムの山の幅は１となる。

ステップＳ７において、主要輝度範囲検出部１２３は、光源領域以外の領域における輝度値の分布を検出する。具体的には、主要輝度範囲検出部１２３は、光源領域以外の入力画像の領域内の各画素の輝度値を検出し、検出した輝度値の分布を示すヒストグラム（以下、主要ヒストグラムと称する）を生成する。

ステップＳ８において、主要輝度範囲検出部１２３は、主要輝度範囲を検出する。具体的には、主要輝度範囲検出部１２３は、主要ヒストグラムにおいて、画素の数が連続して所定の閾値（以下、最小閾値と称する）以上となる範囲のうち、その範囲における画素の数の最大値、すなわち、ピーク値が所定の閾値（以下、ピーク閾値と称する）を超えるか、または、その範囲の幅が所定の広さ（以下、最小幅と称する）を超える範囲を主要輝度範囲として検出する。すなわち、主要ヒストグラムにおいて、ピーク値がピーク閾値を超える山に含まれる輝度値の範囲、または、連続して最小閾値以上となる輝度値の範囲が最小幅より広い山に含まれる輝度値の範囲が、主要輝度範囲として検出される。

ここで、図６を参照して、光源輝度範囲と主要輝度範囲について説明する。図６のヒストグラム３２１は、図５の画像３０１の輝度値の分布を示すヒストグラムであり、横軸は輝度値を示し、縦軸は画素の数を示す。また、横軸方向において、左にいくほど輝度値が低くなり、右にいくほど輝度値が高くなる。

画像３２１においては、ほとんどの被写体の輝度が暗い範囲に集中する。従って、ほとんどの画素の輝度値が低く、かつ、狭い範囲に集中するため、ヒストグラム３２１の輝度値が暗い範囲において、ピーク値が大きい山３３１−１が表れる。また、自車のヘッドライトに照らされた路面の画像は、画角内に占める割合がある程度大きく、かつ、周囲と比べて明るいため、山３３１−１の右側の離れた位置に、ピーク値が２番目に大きい山３３１−２が表れる。さらに、対向車のヘッドライト３１１−１，３３１−２は、画角内に占める割合が非常に小さく、かつ、周囲に比べて非常に明るく、かつ、輝度が狭い範囲に集中するため、山３３１−２からさらに右側に離れた位置に、ピーク値が非常に小さく、かつ、幅が非常に狭い山３３１−３が表れる。

従って、この例では、光源ヒストグラムにおいて、山３３１−３が表れ、山３３１−３の幅と同じ広さの範囲３３２−３が、光源輝度範囲として検出される。また、主要ヒストグラムにおいて、山３３１−１，３３１−２が表れ、山３３１−１の幅とほぼ同じ広さの範囲３３２−１、および、山３３１−２の幅とほぼ同じ広さの範囲３３２−２が、主要輝度範囲として検出される。なお、光源輝度範囲に含まれない輝度値のうち、ピーク値がピーク閾値以下であり、かつ、連続して最小閾値以上となる輝度値の範囲が最小幅以下である山に含まれる輝度値、および、画素の数が最小閾値未満の輝度値は、主要輝度範囲に含まれない。

なお、山３３１−３は、ピーク値が小さく、かつ、幅が狭いため、範囲３３２−３は、主要輝度範囲としては、検出されない可能性があるが、光源輝度領域に含まれる画素の輝度値が全て含まれるように１つ以上の光源輝度範囲が設定されることにより、光源輝度範囲として確実に検出される。

ステップＳ９において、階調変換部１２４は、出力画像の各階調に割り当てる入力画像の輝度値を設定する。例えば、階調変換部１２４は、輝度値が主要輝度範囲および光源輝度範囲内の画素に、出力画像の全ての階調を割り当てるとともに、出力画像の１つの階調に割り当てる入力画像の輝度値の幅を、光源輝度範囲において最も狭くなるように、出力画像の各階調に割り当てる入力画像の輝度値を設定する。すなわち、同じ広さの輝度範囲に割り当てられる階調数は、光源輝度範囲の方が主要輝度範囲より多くなる。

図７Ａは、このようにして、入力画像である図５の画像３０１の輝度値を出力画像の階調値に割り当てた場合の、入力画像の輝度値と出力画像の階調値との関係を示すグラフである。なお、図７Ａの横軸は、入力画像の輝度値を示し、縦軸は、出力画像の階調値を示している。

図７Ａに示されるように、範囲３３２−１より低い輝度値の画素には、輝度値に関わらず、出力画像の階調値の最小値が割り当てられる。また、主要輝度範囲である範囲３３２−１内の輝度値の画素には、輝度値に応じた階調値が割り当てられる。さらに、範囲３３２−１と範囲３３２−２の間の輝度値の画素には、輝度値に関わらず、範囲３３２−１内の輝度値の画素に割り当てられた階調値の最大値が割り当てられる。さらに、主要輝度範囲である範囲３３２−２内の輝度値の画素には、範囲３３２−１内の輝度値の画素と同様に、輝度値に応じた階調値が割り当てられる。また、範囲３３２−２と範囲３３２−３の間の輝度値の画素には、輝度値に関わらず、範囲３３２−２内の輝度値の画素に割り当てられた階調値の最大値が割り当てられる。また、光源輝度範囲である範囲３３２−３内の輝度値の画素には、範囲３３２−１内および範囲３３２−２内の輝度値の画素より、１つの階調に割り当てられる入力画像の輝度値の幅が狭くなるように、輝度値に応じた階調値が割り当てられる。また、範囲３３２−３より高い輝度値の画素には、輝度値に関わらず、出力画像の階調値の最大値が割り当てられる。

また、例えば、出力画像の１つの階調に割り当てる入力画像の輝度値の幅を、光源輝度範囲において最も狭くし、主要輝度範囲において、光源輝度範囲より広くし、光源輝度範囲および主要輝度範囲に含まれる輝度値の最小値と最大値との間の範囲であって、主要輝度範囲および光源輝度範囲に含まれない輝度範囲（以下、中間輝度範囲と称する）において最も広くなるように、出力画像の各階調に割り当てる入力画像の輝度値を設定するようにしてもよい。すなわち、出力画像の１つの階調に割り当てられる入力画像の輝度値の幅は、光源輝度範囲＜主要輝度範囲＜中間輝度範囲の順で広くなり、同じ広さの輝度範囲に割り当てられる階調数は、中間輝度範囲＜主要輝度範囲＜光源輝度範囲の順で多くなる。

図７Ｂは、このようにして、入力画像である図５の画像３０１の輝度値を出力画像の階調値に割り当てた場合の、入力画像の輝度値と出力画像の階調値との関係を示すグラフである。なお、図７Ｂの横軸は、入力画像の輝度値を示し、縦軸は、出力画像の階調値を示している。

図７Ｂに示されるように、範囲３３２−１より低い輝度値の画素には、輝度値に関わらず、出力画像の階調値の最小値が割り当てられる。また、主要輝度範囲である範囲３３２−１内の輝度値の画素には、輝度値に応じた階調値が割り当てられる。さらに、範囲３３２−１と範囲３３２−２の間の中間輝度範囲内の輝度値の画素には、範囲３３２−１乃至３３２−３内の輝度値の画素より、１つの階調に割り当てられる入力画像の輝度値の幅が広くなるように、輝度値に応じた階調値が割り当てられる。さらに、主要輝度範囲である範囲３３２−２内の輝度値の画素には、範囲３３２−１内の輝度値の画素と同様に、輝度値に応じた階調値が割り当てられる。また、範囲３３２−２と範囲３３２−３の間の中間輝度範囲内の輝度値の画素には、範囲３３２−１と範囲３３２−２の間の中間輝度範囲内の輝度値の画素と同様に、輝度値に応じた階調値が割り当てられる。また、光源輝度範囲である範囲３３２−３内の輝度値の画素には、範囲３３２−１内および範囲３３２−２内の輝度値の画素より、１つの階調に割り当てられる入力画像の輝度値の幅が狭くなるように、輝度値に応じた階調値が割り当てられる。また、範囲３３２−３より高い輝度値の画素には、輝度値に関わらず、出力画像の階調値の最大値が割り当てられる。

さらに、例えば、図７または図８を参照して上述した２つの方法に変更を加えて、出力画像の１つの階調に割り当てる入力画像の輝度値の幅を、主要輝度範囲または光源輝度範囲と中間輝度範囲との境界付近の範囲（以下、境界輝度範囲と称する）において、主要輝度範囲または光源輝度範囲より広く、中間輝度範囲より狭くなるように、出力画像の各階調に割り当てる入力画像の輝度値を設定するようにしてもよい。すなわち、出力画像の１つの階調に割り当てられる入力画像の輝度値の幅は、光源輝度範囲＜主要輝度範囲＜境界輝度範囲＜中間輝度範囲の順で広くなり、同じ広さの輝度範囲に割り当てられる階調数は、中間輝度範囲＜境界輝度範囲＜主要輝度範囲＜光源輝度範囲の順で多くなる。

図７Ｃは、このようにして、入力画像である図５の画像３０１の輝度値を出力画像の階調値に割り当てた場合の、入力画像の輝度値と出力画像の階調値との関係を示すグラフである。なお、図７Ｃの横軸は、入力画像の輝度値を示し、縦軸は、出力画像の階調値を示している。

図７Ｃに示されるように、範囲３３２−１より低い輝度値の画素には、輝度値に関わらず、出力画像の階調値の最小値が割り当てられる。また、主要輝度範囲である範囲３３２−１内の範囲Ｒ１内の輝度値の画素には、輝度値に応じた階調値が割り当てられる。さらに、範囲３３２−１の輝度値が高い側の境界付近の範囲Ｒ２内の輝度値の画素には、範囲Ｒ１、Ｒ５およびＲ９内の輝度値の画素より、１つの階調に割り当てられる入力画像の輝度値の幅が広くなるように、輝度値に応じた階調値が割り当てられる。また、範囲Ｒ２と範囲Ｒ４の間の範囲Ｒ３内の輝度値の画素には、輝度値に関わらず、範囲Ｒ２内の輝度値の画素に割り当てられた階調値の最大値が割り当てられる。さらに、範囲３３２−２の輝度値が低い側の境界付近の範囲Ｒ４内の輝度値の画素には、範囲Ｒ２内の輝度値の画素と同様に、輝度値に応じた階調値が割り当てられる。また、主要輝度範囲である範囲３３２−２内の範囲Ｒ５内の輝度値の画素には、範囲Ｒ１内の輝度値の画素と同様に、輝度値に応じた階調値が割り当てられる。

さらに、範囲３３２−２の輝度値が高い側の境界付近の範囲Ｒ６内の輝度値の画素には、範囲Ｒ２，Ｒ４内の輝度値の画素と同様に、輝度値に応じた階調値が割り当てられる。また、範囲Ｒ６と範囲Ｒ８の間の範囲Ｒ７内の輝度値の画素には、輝度値に関わらず、範囲Ｒ６内の輝度値の画素に割り当てられた階調値の最大値が割り当てられる。さらに、範囲３３２−３の輝度値が低い側の境界付近の範囲Ｒ８内の輝度値の画素には、範囲Ｒ２、Ｒ４およびＲ６内の輝度値の画素と同様に、輝度値に応じた階調値が割り当てられる。また、光源輝度範囲である範囲３３２−３内の範囲Ｒ９内の輝度値の画素には、範囲Ｒ１内および範囲Ｒ５内の輝度値の画素より、１つの階調に割り当てられる入力画像の輝度値の幅が狭くなるように、輝度値に応じた階調値が割り当てられる。また、範囲３３２−３より高い輝度値の画素には、輝度値に関わらず、出力画像の階調値の最大値が割り当てられる。

なお、範囲Ｒ３，Ｒ７内の輝度値の画素に対して、範囲Ｒ２，Ｒ４，Ｒ６およびＲ８内の輝度値の画素より、１つの階調に割り当てられる入力画像の輝度値の幅が広くなるように、輝度値に応じた階調値を割り当てるようにしてもよい。

ステップＳ１０において、階調変換部１２４は、画像を変換する。具体的には、階調変換部１２４は、入力画像の各画素の輝度値を、ステップＳ９において割り当てられた階調値に変換することにより、出力画像を生成する。階調変換部１２４は、生成した出力画像をディスプレイ１１３に出力する。

ステップＳ１１において、ディスプレイ１１３は、出力画像に基づく画像を表示し、画像処理は終了する。

以上のようにして、ユーザは、出力画像において、入力画像の光源輝度範囲および主要輝度範囲に対応する部分をよりよく認識できるようになる。特に、ユーザは、光源輝度範囲に対応する部分、すなわち、光源または光源からの光の正反射光が写っている部分をよりよく認識することができるようになる。

また、入力画像における光源領域を、複雑な処理を行うことなく、簡単かつ正確に検出することができる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図８は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ５００の構成の例を示すブロック図である。CPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２、または記録部５０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）５０３には、CPU５０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU５０１、ROM５０２、およびRAM５０３は、バス５０４により相互に接続されている。

CPU５０１にはまた、バス５０４を介して入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７が接続されている。CPU５０１は、入力部５０６から入力される指令に対応して各種の処理を実行する。そして、CPU５０１は、処理の結果を出力部５０７に出力する。

入出力インタフェース５０５に接続されている記録部５０８は、例えばハードディスクからなり、CPU５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部５０９を介してプログラムを取得し、記録部５０８に記憶してもよい。

入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部５０８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図８に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１１、または、プログラムが一時的もしくは永続的に格納されるROM５０２や、記録部５０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部５０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した画像処理システムの一実施の形態を示すブロック図である。 図１の撮像装置の機能的構成を示すブロック図である。 対数変換型撮像素子などの感度特性を示すグラフである。 図１の画像処理システムにより実行される画像処理を説明するためのフローチャートである。 夜間に撮影した入力画像の輝度値の分布の例を示す図である。 図５の入力画像の輝度値の分布の例を示すヒストグラムである。 入力画像に輝度値と出力画像の階調値との関係を示す図である。 パーソナルコンピュータの構成の例を示すブロック図である。

符号の説明

１０１ 画像処理システム
１１１ 撮像装置
１１２ 画像変換装置
１１３ ディスプレイ
１２１ 光源検出部
１２２ 光源輝度範囲検出部
１２３ 主要輝度範囲検出部
１２４ 階調変換部
１３１ 輝度変化検出部
１３２ 領域検出部
２０２ 対数変換型撮像素子

Claims (7)

1. 入力画像において、輝度が大きく変化する位置である変化位置を検出する位置検出手段と、
   前記変化位置および前記入力画像の端部により区分される領域のうち、隣接する領域と比較して輝度が高い領域に含まれる画素により構成される領域を、光源、または、光源からの光の正反射光が前記入力画像に写っている領域である光源領域として検出する領域検出手段と
   含む画像処理装置。
2. 前記位置検出手段は、前記入力画像の水平方向の行および垂直方向の列ごとに、隣接する画素間の輝度の変化が所定の大きさ以上となる位置を前記変化位置として検出する
   請求項１に記載の画像処理装置。
3. 前記入力画像の階調数より少ない階調数の出力画像に前記入力画像を変換する場合、前記出力画像の１つの階調に割り当てる前記入力画像の輝度の幅が、前記光源領域に含まれる画素の輝度値を含む範囲において最も狭くなるように、前記入力画像を前記出力画像に変換する変換手段を
   さらに含む請求項１に記載の画像処理装置。
4. 前記入力画像は、入射光量の対数にほぼ比例した輝度値を出力する撮像素子により撮像された画像である
   請求項３に記載の画像処理装置。
5. 入力画像において、輝度が大きく変化する位置である変化位置を検出する位置検出ステップと、
   前記変化位置および前記入力画像の端部により区分される領域のうち、隣接する領域と比較して輝度が高い領域に含まれる画素により構成される領域を、光源、または、光源からの光の正反射光が前記入力画像に写っている領域である光源領域として検出する領域検出ステップと
   を含む画像処理方法。
6. 入力画像において、輝度が大きく変化する位置である変化位置を検出する位置検出ステップと、
   前記変化位置および前記入力画像の端部により区分される領域のうち、隣接する領域と比較して輝度が高い領域に含まれる画素により構成される領域を、光源、または、光源からの光の正反射光が前記入力画像に写っている領域である光源領域として検出する領域検出ステップと
   を含む処理をコンピュータに実行させるプログラム。
7. 請求項６に記載のプログラムを記録した記録媒体。

Images