JP2012039440A - 暗領域ノイズ補正装置 - Google Patents

Abstract

【課題】撮影画像に発生した暗領域ノイズを補正した画像が、そのノイズ補正後の撮影画像がユーザに違和感を与えることない画像または画像認識等に適した画像となる暗領域ノイズ補正装置を提供する
【解決手段】撮影画像における暗領域を判定する暗領域判定部と、判定された暗領域に設定された補正処理領域におけるノイズ量を算定するノイズ量算定部と、輝度に関する輝度評価値を算定する輝度評価値算定部と、暗領域ノイズの画素値を強制的に黒色に置き換える強制黒色化補正モードを実行する強制黒色化補正部と、暗領域ノイズの画素値を暗領域ノイズの周辺画素値を用いた補間値で置き換える補間補正モードを実行する補間補正部と、ノイズ量と輝度評価値とに基づいて補正モードを選択する補正モード決定部とが備えられている。
【選択図】図１

Description

本発明は、カメラ撮影によって得られた撮影画像における暗領域ノイズの補正を行う暗領域ノイズ補正装置に関する。例えば、車両に搭載されたカメラによって写された夜間走行時等の撮影画像には暗領域が含まれることになるが、そのような暗領域に含まれる白色（ハイライト）ノイズを除去するために、この暗領域ノイズ補正装置を適用することができる。

上記のようなノイズを検出する装置として、特許文献１には、撮像手段で撮像された画像に所定の画像処理を施して、当該画像に含まれる画像領域ごとにノイズ度合いを判定し、ノイズ度合いが所定のしきい値以上である画像領域を検出し、当該画像領域におけるノイズ検出回数を加算し、ノイズ検出回数が所定値以上である画像領域を当該画像内位置において信頼性が低いと判定する画像処理装置が記載されている。この画像処理装置は、上記の判定処理を時間的に連続して撮像された複数の画像のそれぞれについて行い、複数の画像にわたって計数されたノイズ検出回数が所定値を超えた画像領域であるノイズの画像内位置を検出する。さらにこのノイズを除去する処理として、ノイズとして判定された画素を、当該画素の周囲の画素との平均値に置き換えることを記載している。つまり、この特許文献１による画像処理装置におけるノイズ除去は、つぎの点を特徴としている；
・時間的に連続して撮像された複数の画像についてそれぞれ画像領域ごとにノイズ度合いを判定し、閾値以上であるかどうかを判定する。
・閾値以上であると判定された画像領域のノイズ検出回数を加算する。
・ノイズ検出回数が所定値を超えた画像領域を、周辺の画像領域の輝度の平均値に設定することでノイズを除去する。

しかしながら、カメラに装備されている撮像素子の取得可能な明るさを下回る様な撮影環境において撮影を行うと、撮影画像中に、特にその暗領域には多くのノイズが生じることが知られている。その様な場合においてノイズを含む画像領域の周辺の輝度の平均値に設定すると、その領域の画像がノイズの色の影響を受け、本来期待している画像と表示される画像との見た目が異なってしまう。そのため、ユーザがモニタを通してその撮影画像を見た場合、ノイズの影響を受けた領域を何らかの物体が移っている領域であると誤った判断をしてしまう可能性がある。

特開２００６−３１４０６０号公報（段落番号〔０００７―００４５〕、図２）

本発明の目的は、撮影画像に発生した暗領域ノイズを補正した画像が、そのノイズ補正後の撮影画像がユーザに違和感を与えることない画像または画像認識等に適した画像となる暗領域ノイズ補正装置を提供することである。

カメラ撮影によって得られた撮影画像における暗領域ノイズの補正を行う暗領域ノイズ補正装置において、上記目的を達成するための本発明の特徴は、前記撮影画像における暗領域を判定する暗領域判定部と、判定された前記暗領域の少なくとも一部である補正処理領域におけるノイズ量を算定するノイズ量算定部と、前記補正処理領域における輝度に関する輝度評価値を算定する輝度評価値算定部と、前記暗領域ノイズの画素値を強制的に黒色に置き換える強制黒色化補正モードを実行する強制黒色化補正部と、前記暗領域ノイズの画素値を前記暗領域ノイズの周辺画素値を用いた補間値で置き換える補間補正モードを実行する補間補正部と、算定された前記ノイズ量と前記輝度評価値とに基づいて前記強制黒色化補正モードまたは前記補間補正モードを前記暗領域ノイズの補正のために選択する補正モード決定部とを備えている点にある。

この構成によると、周辺環境光が一定値以下の輝度しかない夜間などの撮影によって得られた撮影画像に含まれている暗領域に発生する高い輝度を有するノイズは、２つの異なる補正モードで補正（ノイズ除去）される。一方の補正モードは、検出されたノイズ領域の画素値を強制的に黒い色に置き換える強制黒色化補正である。検出されたノイズが発生した暗領域が実質的に輝度がゼロの真っ暗闇状態の場合には、このノイズ補正は適切な補正となる。他方の補正モードは、検出されたノイズ領域の画素値を、このノイズ領域の画素値とノイズ領域外の周辺画素との間で平均化するといった補間演算を用いて得られた画素値で置き換える補間補正である。あるいは、ノイズ領域の画素値をノイズ領域外の周辺画素だけの補間演算によって得られた画素値で置き換える。このノイズ補正は、このノイズがその周辺領域に影響を受けているような場合には、適切な補正となる。つまり、周囲の色と融合した色によってノイズ画素を埋めていくことになるので、ノイズ領域がその周辺領域に溶け込むような印象を与えることにある。この２種の補正モードの選択が補正対象となっている暗領域におけるノイズ量とノイズ領域を含めた暗領域の輝度値を評価した輝度評価値に基づいて行われる。このため、真っ暗闇状態でのノイズは輝度評価値に基づいて強制黒色化補正モードが選択されるようなルールの作成が可能である。また、局所的な照明光の反射などによって発生する暗領域ないのほの明るく比較的大きなノイズ領域は周囲の影響も受けていることから補間補モードが選択されるようなルールの作成が可能である。

本発明の好適な実施形態の１つでは、前記暗領域を複数のブロックに区分けするブロック化部と、前記ブロック単位で前記補正処理領域を設定する補正処理領域設定部とが設けられている。この構成によれば、暗領域をブロック分けして各ブロックに対して異なる補正モードを選択することができるので、より正確な、実情に則したノイズ補正が可能となる。

上述した補正モードの選択は、補正後の使用目的が重要な条件となることがある。例えば、ノイズ補正後の撮影画像がユーザの周囲確認のためのモニタ表示画面に使用される場合には、見た目のイメージをできるだけ損なわないような補正が適している。逆に、障害物検知や標識検知などの機械的な認識のために使用される場合には、ノイズが認識対象とならないような補正が適している。従って、本発明の好適な実施形態の１つでは、前記補正モード決定部は、前記ノイズ量と前記輝度評価値とを入力パラメータとして前記補正モードを導出する関係式を有し、当該関係式は暗領域ノイズ補正された撮影画像の利用目的に応じて作成されている。

本発明による暗領域ノイズ補正装置の基本原理を説明する模式図である。 本発明による暗領域ノイズ補正装置の実施形態における機能ブロック図である。 本発明による暗領域ノイズ補正装置におけるノイズ補正の流れの一例を示すフローチャート図である。

まず、図１の模式図を用いて、本発明による暗領域ノイズ補正装置の基本原理を説明する。
この例では、夜間における駐車時の状況下で撮影された撮影画像が取り扱われており、撮影画像の上半分領域の暗闇領域に点状の高輝度のノイズが発生している（＃０１）。まず、撮影画像から輝度データが作成される（＃０２）。例えば、撮影画像がＲＧＢカラーデータであれば、ＲＧＢの各色成分値を合計し、その合計値を３で割ることで簡易の輝度値が得られ、これを全画素に対して演算することで、輝度データが得られる。作成された輝度データに対して、明暗判定フィルタ処理を施し、撮影画像領域を暗領域と明領域とに区分けする（＃０３）。明暗判定フィルタは、所定フィルタ領域の平均輝度値としきい値とを比較して明領域と暗領域とを区分けするような単純なものが好ましいが、本発明では特別な形式に限定していない。

暗領域が確定すると、その暗領域に対してブロック化、つまり区分け処理を施す（＃０４）。連続した暗領域が大きい場合、その領域でのノイズ検出はその後のノイズ補正が偏ってしまう可能性があるため、暗領域を経験的実験的な調査から得られたサイズ例えば、１００×１００画素程度のブロックに区分けする。さらにこの例では、設定されたブロックサイズをさらに四分割して得られた区画を補正処理領域としている（＃０５）。この補正処理領域に対して、ノイズ検出処理が行われる（＃０６）。このノイズ検出処理自体は公知であるので、精しい説明は省略するが、しきい値による比較判定処理や、参照パターンを用いた比較判定処理が適している。このようなノイズ検出処理は、上述した特許文献１に詳しく説明されている。このノイズ検出処理においてノイズが検出された場合、その検出ノイズの面積または個数あるいはその両方の情報を示すノイズ量：Ｎと、検出ノイズの輝度値または検出ノイズ周辺（または全域）の輝度値あるいはその両方の情報を示す輝度値：Ｄを算定して、記録しておく（＃０７）。なお、ここでは処理を簡単にするため、輝度値そのものが輝度評価値として扱っているが、算定された輝度値をそのまま用いるのではなく、平均輝度値で正規化した正規化輝度値や平均輝度値からの偏差値を用いることも好都合である。本発明では、このような加工された輝度値及び算定されたままの輝度値を含めて輝度評価値と称している。

ノイズ検出処理でノイズが検出されると、そのノイズに対する補正方法を選択する判定を行う（＃０８）。本発明では、ノイズ補正方法として、暗領域ノイズの画素値を強制的に黒色に置き換える強制黒色化補正モードを実行する強制黒色化補正（図１では処理Ａ）と、暗領域ノイズの周辺画素値を用いた補間値で置き換える補間補正（図１では処理Ｂ）が採用されている。補正の選択は、上記ノイズ量：Ｎと輝度評価値：Ｄとに基づいて行われるので、基本的には、ＮとＤの値によって処理Ａまたは処理Ｂを導出する補正選択関数：Ｆで決定することができる。
つまり、
Ｆ（Ｎ,Ｄ）＝＞(処理Ａ)or(処理Ｂ)である。図１では、ノイズ量：Ｎと輝度評価値：Ｄの組み合わせで決定される領域を処理Ａと処理Ｂに割り当てておけばよく、これは実験的、統計的の作業を通じて予め作成しておくことができる。

処理Ａが選択されると（＃０９ａ）、その補正処理領域には強制黒色化補正モードが割り当てられ、オンタイム処理またはバッチ処理の形で強制黒色化補正モードでのノイズ補正が実行される（＃１０ａ）。この強制黒色補正では、ノイズ画素は黒色に置き換えられる。処理Ｂが選択されると（＃０９ｂ）、その補正処理領域には補間正モードが割り当てられ、オンタイム処理またはバッチ処理の形で補間補正モードでのノイズ補正が実行される（＃１０ｂ）。この補間補正では、ノイズ画素が周辺画素値を用いた補間値で置き換えるということであり、置き換える画素値がノイズ画素値または周辺画素値あるいはその両方の影響をうけているということだけが重要であり、特定の補間方法に限定されているわけではない。

ノイズ画素は、いずれかのノイズ補正で補正され、補正済み撮影画像が生成され、次の処理に送り出される。

次に、上述したノイズ補正原理を採用した、本発明による暗領域ノイズ補正装置の実施形態の一例を説明する。図２には、この暗領域ノイズ補正装置の機能ブロック図が示されており、その中核となる機能部は暗領域ノイズ補正モジュール４である。暗領域ノイズ補正モジュール４に含まれる種々の機能は、実質的にはコンピュータシステムに搭載されたプログラムを起動することにより、作り出され、コンピュータシステムのハードウエアと協調して動作する。この実施形態では、暗領域ノイズ補正装置は、車両に搭載されている、駐車支援システムや周辺風景監視システムに組み込まれている。車載カメラ１１によって取得された撮影画像は、画像信号出力部１２で画像信号として暗領域ノイズ補正モジュール４に出力され、暗領域ノイズ補正モジュール４でノイズ補正された後の補正済み撮影画像が、後段の画像処理部としての撮影画像表示モジュール５や画像認識モジュール６に転送される。撮影画像表示モジュール５は、補正済み撮影画像をそのままあるいは必要な周辺情報や車両情報などをスーパーインポーズして車載モニタに表示する。画像認識モジュール６は、補正済み撮影画像からそこに含まれている道路標識や駐車区画線などを画像認識技術を用いて検知する。

暗領域ノイズ補正モジュール４は、画像信号入力部４１と、輝度値算定部４２と、ブロック化部４４と、補正処理領域設定部４５と、ノイズ量算定部４６と、輝度評価部４７と、補正モード決定部４８と、画像補正部４９とを備えている。画像信号入力部４１は、車載カメラ１１の画像信号出力部１２から送られてきた画像信号に基づいて１枚単位の撮影画像を生成して、ワーキングメモリに展開する。輝度値算定部４２は、ワーキングメモリに展開された撮影画像からその輝度値を算定し、輝度値を画素値とする輝度値画像を生成する。その際、撮影画像の画素と輝度値画像の画素は必ずしも１対１に対応させる必要はなく、複数画素分の輝度値の平均値を輝度値画像の画素とするような解像度の低減処理を行ってもよい。明暗領域判定部４３は、輝度値画像を利用して、撮影画像を明領域と暗領域とに区分けする。判定条件としては、前設定されたしきい値を用いてもよいが、処理対象となっている輝度値画像自体の画像特性値、例えばその最高輝度値や最小輝度値、輝度ヒストグラムなどに基づいてリアルタイムで演算したしきい値を用いる構成としてもよい。

本発明では、明暗領域判定部４３によって判定された暗領域に発生しているノイズ、つまり暗領域ノイズを取り扱っているので、以後は暗領域が処理対象となる。暗領域と判定された領域においても明暗差は生じている場合があることから、ノイズ補正の精度を高めるためには、暗領域を細分化したほうがよい。この目的のために、ブロック化部４４は、暗領域をブロック化する。一般には、数十個レベルのブロックに区画される。ブロック化されたブロック単位でノイズ補正処理を行うことになるが、この実施形態ではさらに補正処理領域設定部４５が１ブロックをさらに分割したサブブロックを補正処理領域として設定する機能を有する。もちろん、１ブロックを補正処理領域とすることも可能であるが、補正処理領域設定部４５は、各ブロックの画像特性、輝度値の面分布などから、１ブロックをさらにサブブロックにした方が正確な補正ができると判定した場合に、１ブロックを数サブブロックに区分けして、補正処理領域とする。

ノイズ量算定部４６は、設定された補正処理領域に対してノイズ検出を行い、検出されたノイズの個数及び各ノイズのサイズ（画素数）を求め、個数とサイズからノイズ量を算定する。この実施形態ではノイズ個数をノイズ量としている。もちろん、ノイズ量はノイズの積算サイズでもよいし、所定サイズ以下のノイズが所定個数以下しかない場合、その補正処理領域のノイズ補正を省略するといったルールを設けてもよい。ノイズ検出の方法として、所定の輝度値（高輝度）以上を有する孤立した領域をノイズと判定する方法が採用されているが、公知の種々のノイズ検出方法のいずれかを採用してもよい。輝度評価値算定部４７は、検出されたノイズの輝度値としてノイズ領域の平均輝度値を算定するが、最高輝度値や最低輝度値あるいはそれらの中間値を算定して輝度評価値としてもよい。さらには、ノイズの輝度値を、その補正処理領域の平均輝度値で正規化したものを輝度評価値として採用してもよい。

補正モード決定部４８は、前述した２つの補正モード、強制黒色化補正モードと補間補正モードのどちらの補正モードを用いてノイズ補正を行うかどうかを、ノイズ量と輝度評価値とに基づいて判定する。この判定条件を関数：Ｆで表すと、上述したように、
Ｆ(Ｎ,Ｄ)−＞（強制黒色化補正モード）または（補間補正モード）
となる。この関数：Ｆ、つまり判定条件は、予め設定されているが、撮影画像の画像特性に応じて異なる判定条件が選択されるようにしてもよい。例えば、比較的明るい撮影画像に対しては補間補正モードが選択されやすいようにし、比較的暗い撮影画像に対しては強制黒色化補正モードが選択されやすいようにすることも、補正後の撮影画像の視覚的に違和感を持ちにくいという利点をもたらす。

画像補正部４９は、暗領域ノイズが検出された補正処理領域に対して、補正モード決定部４８で決定された補正モードでノイズ補正を実行する。従って、画像補正部４９は、強制黒色化補正部４９ａと補間補正部４９ｂを備えている。強制黒色化補正部４９ａと補間補正部４９ｂとは、それぞれ、図１を用いた基本原理の説明で述べたような強制黒色化補正と補間補正とを行うように構成されている。

上述したように構成された暗領域ノイズ補正モジュール４における処理の流れを図３のフローチャートに基づいて説明する。
まず、車載カメラ１１で取得された撮影画像が入力される（＃２１）。入力された撮影画像の輝度値が算定され、輝度値を画素値とする輝度値画像がワーキングメモリに展開される（＃２２）。展開された輝度値画像に対してしきい値を用いた明暗判定を実行し、輝度値画像、結果的には撮影画像を暗領域と明領域に区分けする（＃２３）。暗領域のみを処理対象領域として、暗領域をブロック化する（＃２４）。

ブロック化された輝度値画像ないしは撮影画像から一単位のブロックを注目ブロックとして指定する（＃２５）。さらに、注目ブロックが複数の小領域に区分けされ、補正処理領域として順次設定される（＃２６）。設定された補正処理領域に対してノイズ検出が実施される（＃２７）。検出されたノイズ領域に基づいて、ノイズ量：Ｎと輝度評価値：Ｄが算定される（＃２８、＃２９）。次に、強制黒色化補正モード“Ａ”と補間補正モード“Ｂ”のどちらの補正モードを用いてノイズ補正を行うかを、判定関数：Ｆ(Ｎ,Ｄ)を用いて判定する（＃３０）。判定結果が“Ａ”の場合、この補正処理領域に強制黒色化補正モードでのノイズ補正が実行される（＃３１）。判定結果が“Ｂ”の場合、この補正処理領域に補間補正モードでのノイズ補正が実行される（＃３２）。続いて、まだ未処理の補正処理領域が存在するかどうかがチェックされ（＃３３）、まだ存在する場合（＃３３No分岐）、ステップ＃２６にジャンプして次の補正処理領域に対するノイズ検出に移行する。なお、図示されていないが、ステップ＃２７のノイズ検出処理において、ノイズが検出されなかった場合は、ステップ＃３３にジャンプして、次の補正処理領域に対するノイズ検出に移行する。

未処理の補正処理領域が存在しない場合（＃３３No分岐）、さらに、まだ未処理のブロックが存在するかどうかがチェックされる（＃３４）。まだ未処理のブロックが存在する場合（＃３４No分岐）、ステップ＃２５にジャンプして次の未処理ブロックを指定する。もはや未処理のブロックが存在しない場合（＃３４Yes分岐）、入力された撮影画像に対する暗領域ノイズ補正が終了したことになるので、最終的に得られたノイズ補正済み撮影画像を、撮影画像表示モジュール５または画像認識モジュール６あるいはその両方に転送する（＃３５）。

〔別実施の形態〕
上記実施の形態では、車載カメラからの撮影画像に対する暗領域ノイズ補正が取り上げられていたが、その他の分野、例えば、工場内や街路などの固定式カメラからの撮影画像に対する暗領域ノイズ補正に適用されてもよい。

１１:カメラ
４：暗領域ノイズ補正モジュール
４１：画像信号入力部
４２：輝度値算定部
４４：ブロック化部
４５：補正処理領域設定部
４６：ノイズ量算定部
４７：輝度評価部
４８：補正モード決定部
４９：画像補正部
４９ａ：強制黒色化補正部
４９ｂ：補間補正部

Claims (3)

1. カメラ撮影によって得られた撮影画像における暗領域ノイズの補正を行う暗領域ノイズ補正装置において、
   前記撮影画像における暗領域を判定する暗領域判定部と、判定された前記暗領域の少なくとも一部である補正処理領域におけるノイズ量を算定するノイズ量算定部と、前記補正処理領域における輝度に関する輝度評価値を算定する輝度評価値算定部と、前記暗領域ノイズの画素値を強制的に黒色に置き換える強制黒色化補正モードを実行する強制黒色化補正部と、前記暗領域ノイズの画素値を前記暗領域ノイズの周辺画素値を用いた補間値で置き換える補間補正モードを実行する補間補正部と、算定された前記ノイズ量と前記輝度評価値とに基づいて前記強制黒色化補正モードまたは前記補間補正モードを前記暗領域ノイズの補正のために選択する補正モード決定部とを備えた暗領域ノイズ補正装置。
2. 前記暗領域を複数のブロックに区分けするブロック化部と、前記ブロック単位で前記補正処理領域を設定する補正処理領域設定部とが設けられている請求項１に記載の暗領域ノイズ補正装置。
3. 前記補正モード決定部は、前記ノイズ量と前記輝度評価値とを入力パラメータとして前記補正モードを導出する関係式を有し、当該関係式は暗領域ノイズ補正された撮影画像の利用目的に応じて作成されている請求項２に記載の暗領域ノイズ補正装置。