JP2019139471A - 画像処理装置、方法及びプログラム - Google Patents

Abstract

【課題】撮影画像のコントラストの改善処理の時間を短縮すること。【解決手段】画像処理装置２３は、車両の周囲を撮影した画像を複数種類の領域に分割するための定義である複数の領域分割パターン２５１〜２５ｎの中から、車両の現在位置に基づいて該当する領域分割パターンを特定する特定部２３２と、現在位置において車両から撮影された撮影画像について、特定された領域分割パターンに定義された複数種類の領域に分割する分割部２３３と、分割された各領域の種類ごとに予め設定された調整値２６２を用いて、撮影画像の輝度を調整する輝度調整部２３４と、を備える。【選択図】図１

Description

本発明は、画像処理装置、方法及びプログラムに関する。

車両に搭載されたカメラにより車両周辺を撮影し、撮影画像から歩行者等の衝突の可能性のある物体を検出し、運転者に警告するシステムが実用化されている。しかし、このようなシステムにおいては、天候や時間帯などが原因で撮影画像の明るさ等が適切でない場合に、検出漏れや誤検出が発生し得る。そこで、撮影画像のコントラストを改善する処理が必要となる。

特許文献１には、照明による移動体の周辺環境の明るさを判定する照明環境判定装置に関する技術が開示されている。特許文献１にかかる照明環境判定装置は、撮影画像を解析して、空領域、路面領域及び路側領域に分割し、領域ごとに平均輝度等の特徴量を算出する。そして、照明環境判定装置は、特徴量に対して、領域ごとに対応する重み係数を乗算して、照明指数を算出する。

特開２０１０−１６９５８３号公報

上述した特許文献１では、撮影画像を道路や空の領域に分割するために撮影画像全体の解析処理が必要となる。そして、その解析処理の負荷が大きいため、コントラストの改善処理に適用した場合に、処理時間が長くなってしまうという問題点がある。

本発明は、このような課題を解決するためになされたものであり、撮影画像のコントラストの改善処理の時間を短縮するための画像処理装置、方法及びプログラムを提供することを目的とする。

本発明の一態様に係る画像処理装置は、車両の周囲を撮影した画像を複数種類の領域に分割するための定義である複数の領域分割パターンの中から、車両の現在位置に基づいて該当する領域分割パターンを特定する特定部と、前記現在位置において前記車両から撮影された撮影画像について、前記特定された領域分割パターンに定義された前記複数種類の領域に分割する分割部と、前記分割された各領域の種類ごとに予め設定された調整値を用いて、前記撮影画像の輝度を調整する輝度調整部と、を備えるものである。

本発明の一態様に係る画像処理方法は、車両の周囲が撮影された撮影画像を取得するステップと、前記撮影画像を複数種類の領域に分割するための定義である複数の領域分割パターンの中から、前記車両の現在位置に基づいて該当する領域分割パターンを特定するステップと、前記撮影画像について、前記特定された領域分割パターンに定義された前記複数種類の領域に分割するステップと、前記分割された各領域の種類ごとに予め設定された調整値を用いて、前記撮影画像の輝度を調整するステップと、を有するものである。

本発明の一態様に係る画像処理プログラムは、車両の周囲が撮影された撮影画像を取得するステップと、前記撮影画像を複数種類の領域に分割するための定義である複数の領域分割パターンの中から、前記車両の現在位置に基づいて該当する領域分割パターンを特定するステップと、前記撮影画像について、前記特定された領域分割パターンに定義された前記複数種類の領域に分割するステップと、前記分割された各領域の種類ごとに予め設定された調整値を用いて、前記撮影画像の輝度を調整するステップと、をコンピュータに実行させるものである。

本発明によれば、撮影画像のコントラストの改善処理の時間を短縮するための画像処理装置、方法及びプログラムを提供することができる。

本実施の形態１にかかる画像処理装置を含む警告システムの全体構成を示すブロック図である。 本実施の形態１にかかる市街地における領域分割パターンＡの例を示す図である。 本実施の形態１にかかる高速道路（直線）における領域分割パターンＢの例を示す図である。 本実施の形態１にかかる高速道路（左カーブ）における領域分割パターンＣの例を示す図である。 本実施の形態１にかかる高速道路（右カーブ）における領域分割パターンＤの例を示す図である。 本実施の形態１にかかる画像処理の流れを示すフローチャートである。 本実施の形態１にかかる輝度調整処理の流れを示すフローチャートである。 本実施の形態２にかかる画像処理装置を含む表示制御システムの全体構成を示すブロック図である。 本実施の形態３にかかる画像処理装置を含む記録制御システムの全体構成を示すブロック図である。

以下では、本発明の具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。

＜実施の形態１＞
図１は、本実施の形態１にかかる画像処理装置２３を含む警告システム１０００の全体構成を示すブロック図である。警告システム１０００は、車両等の移動体に搭載されたカメラにより撮影された撮影画像の中から車両と衝突する可能性のある歩行者等の検出対象物を検出し、その旨を運転者に警告するための情報システムである。警告システム１０００は、例えば、カーナビゲーションシステム等により実現してもよい。つまり、本実施の形態にかかる警告システム１０００は、一般的なカーナビゲーションシステムの機能に加え、カメラにより撮影された撮影画像と車両の現在位置情報とから、検出対象物の検出を行い、検出された場合に、表示部２７及びスピーカ２８への警告出力を行う。

具体的には、警告システム１０００は、画像センサ２１と、位置情報取得部２２と、画像処理装置２３と、地図情報ＤＢ（DataBase）２４と、パターンＤＢ２５と、調整定義情報２６と、表示部２７と、スピーカ２８とを備える。尚、画像センサ２１、位置情報取得部２２、画像処理装置２３、地図情報ＤＢ２４、パターンＤＢ２５、調整定義情報２６、表示部２７及びスピーカ２８は、所定のケーブル等を用いて直接接続されてもよく、車内ネットワークであるCAN（Controller Area Network）や、無線通信を介して接続されてもよい。

画像センサ２１は、車両外の周囲を撮影した映像データを、時系列に沿った複数の画像データとして画像処理装置２３へ出力する。画像センサ２１は、カメラに内蔵されたものであるか、カメラから映像信号を受信して画像データへ変換してもよい。また、カメラは、車両外の前方のみを撮影する１台のカメラであってもよく、車両外の前方及び後方を撮影する２台のカメラであってもよい。さらに、カメラは、車両外及び車両内を撮影する２台のカメラであってもよい。また、車両外および車両内を撮影するカメラは、周囲３６０度を撮影可能な全周カメラであってもよい。尚、画像センサ２１は、可視光センサに限定されず、赤外線センサや遠赤外線センサであってもよい。

位置情報取得部２２は、車両の現在位置を示す位置情報を定期的に取得し、画像処理装置２３へ出力する。例えば、位置情報取得部２２は、位置情報としてGPS（Global Positioning System）情報を取得する。位置情報取得部２２は、例えば、GPS衛星からの電波受信情報の取得機能を備えた装置であり、警告システム１０００を搭載した車両の現在位置情報を取得できる。尚、位置情報取得部２２は、例えば、車両に設けられたカーナビゲーションシステムに内蔵された構成を用いてもよい。

地図情報ＤＢ２４は、車両が走行可能な道路の情報を含む地図情報を管理するデータベースである。地図情報ＤＢ２４には、位置情報２４１と道路情報２４２とが対応付けられている。そして、道路情報２４２は、種別２４２１と属性２４２２とを含む。種別２４２１は、道路の種別を示す情報であり、例えば、高速道路、一般道、国道などを識別する情報である。属性２４２２は、道路の属性を示す情報であり、例えば、右又は左のカーブ、登り坂、下り坂、トンネル、山道、海岸沿い等を識別する情報である。尚、道路情報２４２は、少なくとも種別２４２１又は属性２４２２のいずれかを含むものであればよい。

パターンＤＢ２５は、道路の種別等に応じた複数の領域分割パターン２５１〜２５ｎを管理するデータベースである。ここで、領域分割パターンとは、道路を含む画像を、道路の種別に応じた複数種類の領域に分割するための定義である。つまり、領域分割パターン２５１〜２５ｎのそれぞれは、画像を複数種類の領域に分割する際の各領域の範囲を、道路の種別もしくは属性、又は、車両の進行方向の組合せごとに異なるように定義した情報である。そして、領域は、画像内の輝度調整を行う際の重要度の違いを示すものである。つまり、各領域のそれぞれには、後述するように、種類ごとに異なる調整値を対応付けられる。また、領域分割パターンは、輝度調整を行うための複数の調整値の適用範囲を示すモデルといえる。よって、複数の領域分割パターンの間では、各領域の境界が異なる。尚、複数の領域分割パターンの間では、領域の種類の組合せが必ずしも共通していなくてもよい。つまり、複数の領域分割パターンの間で領域の種類の組合せが異なっていても構わない。

ここで、領域分割パターン２５１には、領域定義２５１１と道路情報２５１２と進行方向２５１３とが対応付けられている。尚、領域分割パターン２５１は、進行方向２５１３が含まれなくてもよい。領域定義２５１１は、所定サイズの画像について複数の種類の領域に分割する場合の各領域の種類、境界や範囲を定義した情報である。また、領域定義２５１１は、各領域について、例えば、領域に属する画素の座標の集合や、領域間の境界線の座標の集合等であってもよい。また、領域の種類は、例えば、空、路面、路面近距離、路側、河川、湖沼、海等を識別する情報である。尚、一つの領域分割パターンには、同一の種類の領域が複数個所に定義されていてもよい。道路情報２５１２は、上述した道路情報２４２と同様の情報であり、種別や属性を含むものである。進行方向２５１３は、道路における車両の進行方向を示す情報である。これは、車両の現在位置が地図上で同一であっても、進行方向の違いにより景色や地形が異なるため、領域分割パターンを区別する必要性が高いためである。例えば、ある道路において進行方向の右側が斜面で、左側が歩道である場合、それぞれ領域の種類が異なり、それに応じた領域分割パターンとなる。そのため、同じ道路で進行方向が逆であれば、右側が歩道で左側が斜面となり、それぞれの領域の種類が逆となる。それ故、進行方向に応じて領域分割パターンを変えることが望ましい。

ここで、図２から図５に領域分割パターンの４つの例を示す。図２は、本実施の形態１にかかる市街地における領域分割パターンＡの例を示す図である。領域分割パターンＡは、路側領域Ａ１、空領域Ａ２、路側領域Ａ３、路面領域Ａ４及び路面近距離領域Ａ５に分割されていることを示す。尚、路側領域Ａ１及びＡ３の種類は同じであり、以降も同様とする。ここで、領域分割パターンＡは、車両が市街地の一般道を走行している際にカメラにより進行方向が撮影された場合の典型的な風景を想定している。つまり、平地である市街地の一般道を走行中の車両から見た平均的な風景に基づく放射状の境界線により、路側領域Ａ１、空領域Ａ２、路側領域Ａ３、路面領域Ａ４に分割されている。また、路面領域Ａ４の中でより車両に近い路面近距離領域Ａ５を別の領域としている。路面近距離領域Ａ５は、何フレームか前の画像においては路面領域Ａ４に属しており、その段階で検出対象物の検出は行われているため、路面領域Ａ４と比べて輝度調整の重要性は低いため、領域を分けている。また、路面近距離領域Ａ５は、夜間等で車両のライトが照射されている場合には、他の領域と比べて輝度が高過ぎるため、輝度調整により輝度を抑制する必要があるため、領域を分けている。

図３は、本実施の形態１にかかる高速道路（直線）における領域分割パターンＢの例を示す図である。領域分割パターンＢは、路側領域Ｂ１、空領域Ｂ２、路側領域Ｂ３、路面領域Ｂ４及び路面近距離領域Ｂ５に分割されていることを示す。ここで、領域分割パターンＢは、車両が高速道路の直線を走行している際にカメラにより進行方向が撮影された場合の典型的な風景を想定している。つまり、平地である高速道路を走行中の車両から見た平均的な風景に基づく放射状の境界線により、路側領域Ｂ１、空領域Ｂ２、路側領域Ｂ３、路面領域Ｂ４及び路面近距離領域Ｂ５に分割されている。

そして、領域分割パターンＡとＢとでは、領域の種類は共通するが、各領域の広さ、範囲、比率が異なること示す。例えば、空領域Ｂ２は、空領域Ａ２よりも横方向に広い。つまり、高速道路では市街地よりも路側の建造物などが少なく開けた場所であることが多いためである。また、路面領域Ｂ４は、路面領域Ａ４よりも走行方向に狭い。つまり、高速道路では市街地よりも高速で走行するため、直前の画像データで路面領域Ｂ４であった領域の多くが、現在の画像データでは路面近距離領域Ｂ５に属しているためである。そのため、路面領域Ｂ４と路面近距離領域Ｂ５の比率は、路面領域Ａ４と路面近距離領域Ａ５の比率と異なる。

図４は、本実施の形態１にかかる高速道路（左カーブ）における領域分割パターンＣの例を示す図である。領域分割パターンＣは、路側領域Ｃ１、空領域Ｃ２、路側領域Ｃ３、路面領域Ｃ４及び路面近距離領域Ｃ５に分割されていることを示す。ここで、領域分割パターンＣは、車両が高速道路の左カーブを走行している際にカメラにより進行方向が撮影された場合の典型的な風景を想定している。

図５は、本実施の形態１にかかる高速道路（右カーブ）における領域分割パターンＤの例を示す図である。領域分割パターンＤは、路側領域Ｄ１、空領域Ｄ２、路側領域Ｄ３、路面領域Ｄ４及び路面近距離領域Ｄ５に分割されていることを示す。ここで、領域分割パターンＤは、車両が高速道路の右カーブを走行している際にカメラにより進行方向が撮影された場合の典型的な風景を想定している。そのため、領域分割パターンＣとＤとでは、各領域の形状が左右対称となっている。

尚、図４及び図５における路側領域と路面領域との境界は、直線に限らず曲線であってもよい。例えば、カーブの半径に対応した形状としてもよい。また、図２から図５における路面の消失点の位置は、道路の傾斜によって上下する。また、一般道であっても郊外の開けた場所であれば、図２における空領域Ａ２が横方向に広い領域分割パターンとし、高速道路であっても側壁の高い道路であれば、図３における空領域Ｂ２が横方向に狭い領域分割パターンとするなど、様々な領域分割パターンが適用可能である。

尚、各領域分割パターンにおける複数種類の領域の配分は、車両の実際の走行時の動画データを画像解析することにより決定したものであるとよい。また、各領域分割パターンにおける複数種類の領域の配分は、経験則等により決定したものであってもよい。

図１に戻り説明を続ける。調整定義情報２６は、領域の種類ごとに輝度調整処理に用いる調整値を予め定義した情報である。調整定義情報２６には、領域情報２６１と調整値２６２とが対応付けられている。領域情報２６１は、上述した領域の種類を識別する情報である。調整値２６２は、撮影画像の輝度を調整する輝度調整処理に用いられる値である。例えば、路側領域の調整値を１とした場合、空領域の調整値を０．１、路面近距離領域の調整値を０．３、路面領域の調整値を０．５とする。この場合、領域分割パターンによらず、同一の種類の領域には、同一の調整値が対応付けられていることとなる。但し、調整定義情報２６はこれに限定されない。例えば、調整定義情報２６は、領域の種類と領域分割パターンの組合せごとに調整値が対応付けられていてもよい。または、調整定義情報２６は、領域の種類と時間帯、季節又は天候の少なくともいずれかとの組合せごとに調整値が対応付けられていてもよい。周囲の明るさによって輝度調整における各領域の重要度が変わるためである。また、各領域の調整値は、車両の実際の走行時の動画データを画像解析することにより算出された検出対象物の存在確率により決定してもよい。

尚、上述した地図情報ＤＢ２４、パターンＤＢ２５及び調整定義情報２６は、図示しない１以上の記憶装置内に保存されているものとする。また、通信回線を介して接続される外部の記憶装置内に保存されていてもよい。

画像処理装置２３は、位置情報取得部２２からの現在位置情報と地図情報ＤＢ２４及びパターンＤＢ２５に基づいて、領域分割パターンを特定し、画像センサ２１からの撮影画像を特定された領域分割パターンに基づき複数種類の領域に分割し、調整定義情報２６を参照して撮影画像内の各画素が属する領域に対応する調整値を用いて撮影画像の輝度調整を行い、調整後の画像の中から画像認識処理により検出対象物の検出を行う。尚、画像認識処理は必須ではなく、他の構成により実現してもよい。画像処理装置２３は、メモリに格納されたプログラムをプロセッサが実行することによって動作するコンピュータ装置など、様々な形態の装置として実現可能である。また、画像処理装置２３は、スマートフォンやタブレット端末等の電子情報端末であってもよい。プロセッサは、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、もしくはCPU（Central Processing Unit）である。メモリは、揮発性メモリ又は不揮発性メモリであって、揮発性メモリ及び不揮発性メモリの組み合わせによって構成されてもよい。プロセッサは、以降の図面を用いて説明される処理をコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。

画像処理装置２３は、画像データ取得部２３１と、特定部２３２と、分割部２３３と、輝度調整部２３４と、認識制御部２３５とを備える。画像データ取得部２３１は、画像センサ２１から画像データである撮影画像を取得し、その旨を特定部２３２へ通知する。また、画像データ取得部２３１は、取得した撮影画像を分割部２３３へ出力する。

特定部２３２は、パターンＤＢ２５内の複数の領域分割パターンの中から車両の現在位置に基づいて該当する領域分割パターンを特定する。具体的には、特定部２３２は、位置情報取得部２２から車両の現在位置情報を取得し、地図情報ＤＢ２４を参照して、車両が現在走行中の道路に関する道路情報２４２を特定する。すなわち、特定部２３２は、地図情報ＤＢ２４の中から現在位置情報に対応付けられた道路情報２４２を特定する。例えば、特定部２３２は、現在位置情報に対応付けられた道路の種別２４２１を特定する。または、特定部２３２は、現在位置情報に対応付けられた道路の属性２４２２を特定する。または、特定部２３２は、現在位置情報と過去の位置情報等と比較して車両の現在の進行方向を特定する。または、特定部２３２は、現在位置情報に基づき道路の種別及び属性並びに進行方向の一部又は全部を特定する。

そして、特定部２３２は、パターンＤＢ２５の中から、特定した道路の種別に対応付けられた領域分割パターンを特定する。または、特定部２３２は、パターンＤＢ２５の中から、特定した道路の属性に対応付けられた領域分割パターンを特定する。または、特定部２３２は、パターンＤＢ２５の中から、特定した進行方向に対応付けられた領域分割パターンを特定する。または、特定部２３２は、パターンＤＢ２５の中から、特定した道路の種別及び属性並びに進行方向の一部又は全部に対応付けられた領域分割パターンを特定する。その後、特定部２３２は、特定した領域分割パターンを分割部２３３へ通知する。このとき、特定部２３２は、パターンＤＢ２５から読み出した領域分割パターンの情報自体を分割部２３３へ通知しても良い。または、特定部２３２は、特定した領域分割パターンの識別情報を分割部２３３へ通知しても良い。

分割部２３３は、画像データ取得部２３１から出力された撮影画像について、特定部２３２により特定された領域分割パターンの領域定義２５１１に従った複数種類の領域に分割する。つまり、分割部２３３は、撮影画像内の各画素について、どの領域に属するかを判定する。そして、分割部２３３は、撮影画像と、分割された領域ごとに属する画素の情報とを輝度調整部２３４へ出力する。

輝度調整部２３４は、分割された各領域の種類ごとに予め設定された調整値を用いて、撮影画像の輝度を調整する。つまり、輝度調整部２３４は、撮影画像についてコントラスト改善処理を行う。そして、輝度調整部２３４は、調整後の撮影画像を認識制御部２３５へ出力する。ここで、輝度調整部２３４は、撮影画像内の各画素の輝度の出現頻度を、各画素が属する領域の種類に設定された調整値に応じて算出し、出現頻度に基づいて撮影画像の輝度を調整する。例えば、輝度調整部２３４は、分割部２３３から出力された領域ごとに属する画素の情報から、調整定義情報２６を参照し、各画素が属する領域に対応付けられた調整値２６２を取得する。そして、輝度調整部２３４は、調整値を用いて撮影画像における各画素の輝度のヒストグラムを算出する。このとき、輝度調整部２３４は、各画素を輝度ごとに出現頻度に加算する際に、画素が属する領域に対応する調整値をその画素の出現頻度とする。尚、輝度調整部２３４による処理の詳細は後述する。

認識制御部２３５は、調整後の撮影画像に対して、予め作成した認識辞書等を用いてオブジェクトの検出や認識を行う。そして、認識制御部２３５は、認識結果が検出対象物が検出されたことを示す場合、認識結果を表示部２７及びスピーカ２８へ出力する。つまり、認識制御部２３５は、警告出力を行う。

表示部２７は、認識制御部２３５による認識結果を表示するディスプレイ等の表示装置である。スピーカ２８は、認識制御部２３５による認識結果として警告音を出力する。尚、スピーカ２８は、図示しない音声増幅部や音声処理部を含むものとする。

図６は、本実施の形態１にかかる画像処理の流れを示すフローチャートである。まず、画像データ取得部２３１は、画像センサ２１から画像データ、つまり撮影画像を取得する（Ｓ１１）。そして、画像データ取得部２３１は、撮影画像を取得した旨を特定部２３２へ通知し、撮影画像を分割部２３３へ出力する。

これと並行して、特定部２３２は、位置情報取得部２２から車両の現在位置を示す位置情報を取得する（Ｓ１２）。そして、特定部２３２は、現在の位置情報に基づき、道路情報及び進行方向を特定する（Ｓ１３）。

ステップＳ１１及びＳ１３の後、特定部２３２は、特定した道路情報及び進行方向に基づき、パターンＤＢ２５の中から領域分割パターンを特定する（Ｓ１４）。そして、特定部２３２は、特定した領域分割パターンを分割部２３３へ通知する。

分割部２３３は、通知された領域分割パターンに基づき、撮影画像を複数種類の領域に分割する（Ｓ１５）。つまり、分割部２３３は、撮影画像内の各画素について、複数種類の領域のうちいずれの領域に属するかを判定する。そして、分割部２３３は、撮影画像と、分割された領域ごとに属する画素の情報とを輝度調整部２３４へ出力する。

続いて、輝度調整部２３４は、分割された各領域の種類ごとに予め設定された調整値を用いて、撮影画像の輝度調整処理を行う（Ｓ１６）。ここで、本実施の形態にかかる輝度調整処理は、輝度のヒストグラム平坦化によるコントラスト改善処理である。すなわち、輝度調整処理は、撮影画像全体の輝度のヒストグラムに基づき、画像データの各輝度範囲において画素の出現頻度の高いものほど広い輝度範囲を割り当て、輝度の低いものほど狭い輝度範囲を割り当てることにより輝度変換処理を行うものである。これにより、結果として出現頻度の低い輝度の部分のコントラストを抑制し、出現頻度の高い輝度の部分のコントラストを強調し、画像全体のコントラストを改善するものである。

図７は、本実施の形態１にかかる輝度調整処理の流れを示すフローチャートである。まず、輝度調整部２３４は、分割部２３３から撮影画像と、分割された領域ごとに属する画素の情報とを受け付ける。そして、輝度調整部２３４は、調整定義情報２６を参照し、分割された各領域の種類に対応する調整値２６２を取得する（Ｓ１６１）。

次に、輝度調整部２３４は、撮影画像内の各画素の輝度の出現頻度を、画素が属する領域の種類に対応する調整値を用いて算出し、併せて、その総和を算出する（Ｓ１６２）。具体的には、輝度調整部２３４は、撮影画像内の画素を順番に処理対象画素として選択し、処理対象画素の輝度を判定する。併せて、輝度調整部２３４は、処理対象画素が属する領域の種類に対応する調整値を特定する。輝度調整部２３４は、例えば、処理対象画素が空領域に属する場合には調整値を０．１として特定する。また、輝度調整部２３４は、処理対象画素が路面近距離領域の場合には調整値を０．３として特定する。また、輝度調整部２３４は、処理対象画素が路面領域の場合には調整値を０．５として特定する。また、輝度調整部２３４は、処理対象画素が路側領域の場合には調整値を１として特定する。

続いて、輝度調整部２３４は、判定された輝度の出現頻度の値に、特定された調整値を加算する。そして、輝度調整部２３４は、撮影画像内の全画素についてこれを繰り返す。これにより、輝度調整部２３４は、撮影画像全体における輝度のヒストグラムを算出する。また、輝度調整部２３４は、輝度のヒストグラムの算出と併せて、それらを積分した総和を求める。

その後、輝度調整部２３４は、画素ごとの輝度変換係数を算出する（Ｓ１６３）。例えば、画素ｎにおける輝度変換係数ｆ（ｎ）は、ヒストグラムの総和をＡ、画素０〜ｎまでのヒストグラムの積分をＳ（ｎ）、輝度値の範囲を０から２５５とすると、以下の式（１）で求められる。
ｆ（ｎ）＝（２５５／Ａ）×Ｓ（ｎ） ・・・（１）

そして、輝度調整部２３４は、撮影画像内の各画素の輝度に、対応する輝度変換係数を乗算する（Ｓ１６４）。輝度調整部２３４は、乗算後の輝度値を有する撮影画像、つまり輝度調整処理後の画像を認識制御部２３５へ出力する。

図６に戻り説明を続ける。認識制御部２３５は、輝度調整処理後の画像に対して、物体認識処理を行い、検出対象物の検出を行う（Ｓ１７）。ここで、物体認識処理については、任意の公知の技術を用いることができる。例えば、ＨＯＧ（Histograms of Oriented Gradients）等の局所特徴量を用いた機械学習を適用することも可能である。

そして、ステップＳ１７により物体が検出された場合、認識制御部２３５は、表示部２７及びスピーカ２８へ警告出力を指示する（Ｓ１９）。一方、ステップＳ１７により物体が検出されなかった場合、ステップＳ１１及びＳ１２へ戻る。

このように、本実施の形態では、例えば、ある輝度についての画素数が１０であっても、それらが全て空領域に属する場合には、その輝度における出現頻度は１となる。また、別の輝度についての画素数が１０で、画素が属する領域の種類の内訳が路面領域が５かつ路側領域が５の場合、その輝度における出現頻度は７．５となる。これにより、空領域の輝度の出現頻度は実際の１／１０、路面領域の輝度の出現頻度は実際の１／２となる。

ここで、空領域には車両と衝突する危険性の高いものは少ない一方、昼間などでは輝度が相対的に高い。そのため、空領域は、衝突危険物の物体認識処理においては重要度が低いにもかかわらず、コントラストが過剰に強調されてしまう。また、夜間などには、路面近距離領域はヘッドライトの照明により輝度が相対的に高くなっており、やはり、コントラストが過剰に強調されてしまう。よって、これらの領域は、他の領域の物体認識を妨げるため、路面近距離領域の輝度を抑制する必要性が高い。そこで、本実施の形態により領域の種類等に応じて異なる調整値を用いて、輝度のヒストグラムを調整した上で輝度変換処理を行うことで、例えば、空領域のコントラストを抑制し、人等の衝突可能性のある物体が存在する路側領域のコントラストを相対的に強調することができる。つまり、予め物体認識処理において重要度の高い領域における輝度の重要度を相対的に高くすることができ、重要度の高い領域ほど最適な輝度となるように調整する。よって、調整値を用いずに輝度のヒストグラムを算出する場合と比べて、輝度変換処理後の画像に対する物体認識処理における衝突の可能性のある物体の検出精度を向上させることができる。

また、本実施の形態では、撮影画像内の各画素の輝度の出現頻度を調整するために、撮影画像を領域分割パターンに基づき、複数種類の領域に分割する。そして、各領域の種類に様々な調整値を対応付けておくことで、撮影画像内の各画素を、異なる調整値が対応付けられた複数種類の領域に分類することができ、上述した通り撮影画像内の各画素の輝度の出現頻度を調整することができる。このとき、撮影画像を画像認識により境界線等を検出するのではなく、予め複数の領域分割パターンを定めておき、撮影時の車両の現在位置に応じて領域分割パターンを選択している。これにより、画像の領域分割のための画像認識処理を省略することができ、処理負荷を軽減し、結果として、撮影画像のコントラストの改善処理の時間を短縮することができる。

尚、上記では輝度調整処理としてヒストグラム平坦化を行う例を示したが、これに限定されない。例えば、輝度調整処理には、適応ヒストグラム平坦化等、輝度の頻度を使用する他の処理を適用しても構わない。

＜実施の形態２＞
本実施の形態２は、実施の形態１の変形例である。図８は、本実施の形態２にかかる画像処理装置２３ａを含む表示制御システム１０００ａの全体構成を示すブロック図である。表示制御システム１０００ａは、車両に搭載されたカメラにより撮影された画像に対して、上述した画像処理を行った上で、電子ミラー２７ａに表示させるシステムである。ここで、表示制御システム１０００ａが備える画像処理装置２３ａは、上述した画像処理装置２３と同等の機能であるか、一部変更したものである。例えば、画像処理装置２３ａの輝度調整部２３４ａは、輝度調整処理後の画像を電子ミラー２７ａへ出力してもよい。または、認識制御部２３５が輝度調整処理後の画像に対して物体認識処理を行い、物体が検出された場合に電子ミラー２７ａへ警告出力してもよい。

このように、本実施の形態２においても上述した実施の形態１と同様の効果を奏することができる。その上、運転者自身が電子ミラー２７ａの表示画像を目視することで、衝突可能性のある物体を検出することもできる。

＜実施の形態３＞
本実施の形態３は、実施の形態１の変形例である。図９は、本実施の形態３にかかる画像処理装置２３ｂを含む記録制御システム１０００ｂの全体構成を示すブロック図である。記録制御システム１０００ｂは、車両に搭載されたカメラにより撮影された画像に対して、上述した画像処理を行った上で、映像記録装置２９に記録するものである。ここで、表示制御システム１０００ｂが備える画像処理装置２３ｂは、上述した画像処理装置２３と同等の機能であるか、一部変更したものである。例えば、画像処理装置２３ｂの輝度調整部２３４ｂは、輝度調整処理後の画像を映像記録装置２９へ出力してもよい。または、認識制御部２３５が輝度調整処理後の画像に対して物体認識処理を行い、物体が検出された場合に映像記録装置２９へ警告出力してもよい。

映像記録装置２９は、画像処理装置２３ｂから出力される輝度調整処理後の画像を時系列に沿った映像データとして記録する。映像データには、音声データが含まれていてもよい。映像記録装置２９は、例えば、ハードディスク、ソリッドステートドライブ、カード型メモリ等のハードウェアによって構成されている。

このように、本実施の形態３においても上述した実施の形態１と同様の効果を奏することができる。また、映像記録装置２９に記録された映像データを解析する際に、コントラストが改善された画像を用いることができ、解析精度を高めることができる。

＜他の実施の形態＞
以上、本発明を上記実施の形態に即して説明したが、本発明は上記実施の形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。

また、上述の誘導装置の任意の処理は、CPUにコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、CD-ROM（Read Only Memory）、CD-R、CD-R/W、半導体メモリ（例えば、マスクROM、PROM（Programmable ROM）、EPROM（Erasable PROM）、フラッシュROM、RAM（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

また、コンピュータが上述の実施の形態の機能を実現するプログラムを実行することにより、上述の実施の形態の機能が実現される場合だけでなく、このプログラムが、コンピュータ上で稼動しているOS（Operating System）もしくはアプリケーションソフトウェアと共同して、上述の実施の形態の機能を実現する場合も、本発明の実施の形態に含まれる。さらに、このプログラムの処理の全てもしくは一部がコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによって行われて、上述の実施の形態の機能が実現される場合も、本発明の実施の形態に含まれる。

１０００ 警告システム
１０００ａ 表示制御システム
１０００ｂ 記録制御システム
２１ 画像センサ
２２ 位置情報取得部
２３ 画像処理装置
２３１ 画像データ取得部
２３２ 特定部
２３３ 分割部
２３４ 輝度調整部
２３５ 認識制御部
２４ 地図情報ＤＢ
２５ パターンＤＢ
２６ 調整定義情報
２７ 表示部
２７ａ 電子ミラー
２８ スピーカ
２９ 映像記録装置

Claims (9)

1. 車両の周囲を撮影した画像を複数種類の領域に分割するための定義である複数の領域分割パターンの中から、前記車両の現在位置に基づいて該当する領域分割パターンを特定する特定部と、
   前記現在位置において前記車両から撮影された撮影画像について、前記特定された領域分割パターンに定義された前記複数種類の領域に分割する分割部と、
   前記分割された各領域の種類ごとに予め設定された調整値を用いて、前記撮影画像の輝度を調整する輝度調整部と、
   を備える画像処理装置。
2. 前記複数の領域分割パターンのそれぞれは、道路の種別が予め対応付けられており、
   前記特定部は、
   地図情報の中から前記現在位置に対応する前記道路の種別を特定し、
   前記複数の領域分割パターンの中から、前記特定した道路の種別に対応する領域分割パターンを特定する
   請求項１に記載の画像処理装置。
3. 前記複数の領域分割パターンのそれぞれは、前記車両の進行方向が予め対応付けられており、
   前記特定部は、
   前記現在位置に基づき前記車両の現在の進行方向をさらに特定し、
   前記複数の領域分割パターンの中から、前記特定した進行方向に対応付けられた領域分割パターンを特定する
   請求項１又は２に記載の画像処理装置。
4. 前記複数の領域分割パターンのそれぞれは、前記道路の属性が予め対応付けられており、
   前記特定部は、
   地図情報の中から前記現在位置に対応する前記道路の属性を特定し、
   前記複数の領域分割パターンの中から、前記特定した属性に対応付けられた領域分割パターンを特定する
   請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記調整値は、前記領域の種類と前記領域分割パターンとの組合せに応じて予め設定されている
   請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記調整値は、前記領域の種類と、時間帯、季節又は天候の少なくともいずれかとの組合せに応じて予め設定されている
   請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記輝度調整部は、
   前記撮影画像内の各画素の輝度の出現頻度を、各画素が属する領域の種類に設定された調整値に応じて算出し、前記出現頻度に基づいて前記撮影画像の輝度を調整する
   請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 車両の周囲が撮影された撮影画像を取得するステップと、
   前記撮影画像を複数種類の領域に分割するための定義である複数の領域分割パターンの中から、前記車両の現在位置に基づいて該当する領域分割パターンを特定するステップと、
   前記撮影画像について、前記特定された領域分割パターンに定義された前記複数種類の領域に分割するステップと、
   前記分割された各領域の種類ごとに予め設定された調整値を用いて、前記撮影画像の輝度を調整するステップと、
   を有する画像処理方法。
9. 車両の周囲が撮影された撮影画像を取得するステップと、
   前記撮影画像を複数種類の領域に分割するための定義である複数の領域分割パターンの中から、前記車両の現在位置に基づいて該当する領域分割パターンを特定するステップと、
   前記撮影画像について、前記特定された領域分割パターンに定義された前記複数種類の領域に分割するステップと、
   前記分割された各領域の種類ごとに予め設定された調整値を用いて、前記撮影画像の輝度を調整するステップと、
   をコンピュータに実行させる画像処理プログラム。

Images