JP2018106316A - 画像補正処理方法、および、画像補正処理装置 - Google Patents

Abstract

【課題】補正処理により、霧を除いた画像データを得るにあたって、従来、各画素を中心とする局所領域の最小強度値が最大となる画素を探索する。全ての画素の入力を終えるまで最大値は決定できない。一方で、一連の複数の画像からなる動画像データに対しては、低遅延での画像処理が望ましい。【解決手段】複数の入力画像を逐次処理し、高輝度部から画素を選択して、環境光画素値を得る環境光推定手段と、環境光画素値を後に参照するために保持する環境光画素値保持手段と、第１の画像による環境光画素値と、第１の画像以降に処理する第２の画像画素値とに基づいて透過率マップを得る透過率マップ推定手段と、各入力画像を、対応する前記透過率マップと同期させる遅延手段と、第２の画像各画素について、第１の画像による環境光画素値と、第２の画像による透過率マップとに基づいて補正する補正処理手段とを備える。【選択図】 図１

Description

本発明は、画像補正処理方法、および、画像補正処理装置に関するものである。

霧のかかった画像データに対する補正処理により、霧を除いて鮮明な画像を得る方法が発表されている（非特許文献１）。その概要は以下とおりである。処理対象画像の各画素について、色成分（Ｒ＝赤、Ｇ＝緑、Ｂ＝青）の最小値からなる画像（ダークチャネル画像）を生成する。

次に、ダークチャネル画像の面内の最大画素値を求め、最大値画素値に近い所定閾値を超える画素の中で、入力画像における当該画素の各色成分値から換算した輝度値が最大となる画素を選択し、その入力画素値を環境光画素値とする。さらに、各画素について、色成分毎に、霧の影響度を示す透過率マップを求める。まず、色成分毎に対象画素の近傍局所領域内から最小値を選択し、選択したそれぞれの色成分毎の最小値の当該色成分環境光値に対する割合求める。さらに、上記割合が最小となる色成分を選択し、当該割合に１以下の正の係数（たとえば、0.95）を乗じた値を１から減算して得られた値を当該画素の透過率推定値とする。

この透過率推定値に対して、既知のマット合成処理と同様の方法を適用することで、より高精度な透過率マップに修正することができる。霧除去処理は、入力画像を構成する各画素について、色成分毎に、当該画素値と環境光画素値との差分を、当該画素に対応する透過率マップの値で除し、環境光画素値を加算する。以上の手順で霧を除いた画像が得られる。

また、上記方法をもとに、たとえば、演算量の多い透過率推定値から高精度な透過率マップへの修正処理について簡易な演算で代替する工夫により、短時間での処理を可能とする技術が提案されている（特許文献１）。

特開２０１３−５８２０２号公報

Ｋａｉｍｉｎｇ Ｈｅ ｅｔ ａｌ．, "Ｓｉｎｇｌｅ ｉｍａｇｅ ｈａｚｅ ｒｅｍｏｖａｌ ｕｓｉｎｇ ｄａｒｋ ｃｈａｎｎｅｌ ｐｒｉｏｒ ", ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２００９． pｐ．１９５６−１９６３

霧のかかった画像データに対する補正処理により、霧を除いた画像データを得るにあたって、従来、各画素を中心とする局所領域の最小強度値が最も明るい領域の画素値（環境光画素値、特許文献１における大気光の値と同義）を求めている。まず、画像全面から近傍内最小画素値（ダークチャネル画素値）が最大となる画素を探索して、環境光画素値を求め、その後に、環境光画素値と入力画像とに依存した透過率マップを求めて補正することになる。このため、透過率マップを求める処理は、環境光画素値が決定するまで開始できない。

一方で、時間的に連続して撮像した複数の画像からなる動画像データに対しては、直接観察したものに対して、補正処理後の画像を表示したものの遅延が大きいと不自然に感じるため、画像処理による遅延時間の低減が望ましい。

本発明の画像処理装置は、一連の複数の画像によって構成される入力画像データそれぞれの画像を逐次処理し、各画像を構成する各画素近傍所定領域内の最小輝度値が最大である高輝度画素を選択し、選択した画素値に基づいて環境光画素値を算出するための環境光推定手段と、前記環境光画素値を以降に処理する別の画像に対する処理時に参照するために保持する環境光画素値保持手段と、前記環境光画素値保持手段から得られる第１の入力画像に対する環境光画素値と、第１の入力画像以降に処理する第２の入力画像画素値とに基づいて前記第２の画像に対する透過率マップを推定する透過率マップ推定部と、それぞれの入力画像に対して、対応する前記透過率マップと同期させるために、前記透過率マップ推定手段による遅延に相当する遅延を与えるための遅延バッファ手段と、前記第２の画像各画素について、前記第１の入力画像による環境光画素値、および、前記第２の画像による透過率マップとに基づいて補正処理する補正処理手段とを備える。

事前に求めた環境光値を使用することで、環境光推定処理の終了を待たずに、透過画像推定処理、および、補正処理が可能となり、画像データの入力開始から、補正処理済データの出力完了までの遅延時間低減が可能となる。

本発明による霧除去処理回路の構成例 縮小処理（２対１）の例 縮小処理（５対３）の例 拡大処理の例

［実施例１］
図1は本発明による霧除去処理部１１０の構成例を示すものである。以下、図１により概略の構成を説明する。画像入力部１０１は、連続的に撮像した複数枚の入力画像によって構成された一連の入力画像データを受け入れるためのものである。たとえば、いずれも不図示の記憶手段に格納された画像データを読み出す、あるいは、外部ビデオ入力インタフェースから得るなど、デジタル信号化した各画素に対応する信号値を、所定の画素順で縮小処理部１０２、および、遅延バッファ１０７に伝達する。

縮小処理部１０２は、後続の環境光推定部１０３、ないし、透過率マップ推定部１０５の演算量削減のために入力画像を縮小した縮小画像を得るためのものである。環境光推定部１０３は、画像縮小部１０２による縮小画像を元に、後続の透過率マップ推定部１０５、および、補正処理部１０８で参照する環境光画素値を得るためのものである。環境光画素値保持部１０４は、一連の複数枚の画像のうち、現在処理中の画像に先行して処理した画像から得た環境光画素値を記憶しておくためのものである。透過率マップ推定部１０５と補正処理部１０８は、それぞれ、環境光画素値保持部１０４に記憶している環境光画素値を参照して動作する。

透過率マップ推定部１０５は、縮小処理部１０２によって得られた縮小画像、および、環境光画素値保持部１０４が記憶している従前の処理対象画像から得られた環境光画素値から縮小透過率マップを推定する。環境光画素値は一般的に空の色（霧の場合はほとんど白色）であり急激には変化しない。また、画像の一部に動体があってもほとんど影響を受けない。よって、環境光画素値を取得した画像と、縮小透過率マップ推定に用いる画像が厳密に一致している必要は無い。その一方で、透過率マップは、画像内に動体がある場合に影響を受ける。

このため、補正対象と同一の画像より取得するのが望ましい。拡大処理部１０６は、縮小処理部１０２と逆に、透過率マップ推定部１０５の出力である縮小透過率マップを、入力画像と等しい解像度の透過率マップに変換するために、拡大するものである。遅延バッファ１０７は、後続の補正処理部１０８に対して、入力画像の各画素値と、拡大処理部１０６からの透過率マップの対応する位置の値とを同期して入力させるためのものである。つまり、入力画像の各画素について、画像縮小部１０２、透過率マップ推定部１０５、および、拡大処理部１０６の各処理による遅延の合計に相当する遅延を適用するものである。

補正処理部１０８は、遅延バッファ１０７経由の入力画像の各画素値と、各画素位置に対応した拡大処理部１０６経由の透過率マップの値、および、環境光画素値保持部１０４からの環境光画素値に応じて、補正画像画素値を算出するためのものである。画像出力部１０９は、補正画像を出力するためのものであり、必要に応じて、不図示の記憶手段に格納したり、あるいは、外部ビデオ出力インタフェース経由で出力するものである。

以下、各部詳細を説明する。入力画像は、図２（ａ）のように、それぞれを所定の階調数（本実施例では各色成分０以上２５５以下の２５６階調）でデジタル化した画素を行列状に配列したものとする。画像入力部１０１は、図２（ａ）の例のような入力画像の各画素の画素値を、所定の順で縮小処理部１０２、および、遅延バッファ１０７に伝達する。各画素について、縮小処理部１０２、および、遅延バッファ１０７の双方に対して、同一の画素値を複製したものを入力する。

縮小処理部１０２は、環境光推定部１０３、および、透過率マップ推定部１０５における演算量削減のため、入力画像を所定の縮小比により縮小した縮小画像を得るためのものである。また、縮小の結果画素が間引かれるため、後述の環境光推定部１０３の処理についてハードウェア回路として構成した際、スループットを下げても処理が間に合うようになる。特に、ヒストグラム取得処理における、画素値に対応する記憶領域の読み出し、値の更新（１を加算）、記憶領域への書き戻しの一連の処理の回路構成が簡略化可能である。ただし、縮小比を１対１に限定すれば、縮小処理部１０２は省略することも可能である。

図２は、縮小処理部１０２における長さで各方向１／２の縮小処理における入力画像（ａ）、これに対する２種類の縮小画像（ｂ）、および、（ｃ）の例である。図には１色成分のみ示しているが、カラー画像であれば、一般に３色成分で構成されているため、以下に示す１色成分に対する処理を各色成分に対してそれぞれ適用すれば良い。

縮小画像（ｂ）は、図２（ａ）点線で囲んだ４画素の組に対して、それぞれ算術平均をとり、四捨五入により整数化したものである。また、縮小画像（ｃ）は、同じ４画素の組に対して、それぞれ最小値をとったものである。これら２種類の縮小画像は、それぞれ、環境光推定部１０３向けに算術平均による縮小画像（ｂ）、透過率マップ推定部１０５向けには最小画素値からなる縮小画像（ｃ）を使用する。最小値からなる縮小画像（ｃ）は、透過率マップ推定部１０５の処理において、対象画素の近傍局所領域内から最小値を選択する際に、入力画像の同一領域に対して、縮小後の画像から求めた最小値と、縮小前の画像から求めた最小値とが同一の値となるようにするためのものである。

図３は、縮小処理部１０２において縮小率を３／５とした例である。図３（ａ）は、縮小後の画素と入力画像との対応関係を示す図で、縮小率の逆数の間隔の格子（点線）で入力画像を区切ったものである。図３（ｂ）は、図３（ａ）左上部分で、縮小後の各画素それぞれに対応する入力画像の領域に占める入力の各画素の割合（面積）を示したものであり、当該縮小後の画素における平均値算出の際に、入力画素に乗ずる係数である。図３（ｃ）は、平均値による縮小画像であり、縮小後の各画素について、図３（ｂ）による係数と、図３（ａ）の対応する画素値との積の和を求め、四捨五入により整数化したものである。

たとえば、図３（ｃ）左上の画素値（１３６）は、
186 x 9/25 + 152 x 6/25 + 75 x 6/25 + 92 x 4/25 = 136.16
により計算している。

図３（ｄ）は、図３（ａ）において、入力画像の各画素の中心と、縮小後の各画素に対応する入力画像の領域との関係で、同一の領域内に画素の中心があるもの同士をグループ化たものである。最小値による縮小は、図３（ｄ）の各グループ内の最小値で求めている。このように、図３（ｄ）の各グループ内の最小値を並べたものが、図３（ｅ）である。

以上のように、縮小処理部１０２は、環境光推定部１０３、および、透過率マップ推定部１０５それぞれに対する縮小画像を求めるものである。ここでは、縮小画像作成の際の画素値算出方法として最小値と平均値の例を示したが他の演算で代替しても良い。また、このほか必要に応じて、他の方法で求めた値を追加の情報としても良い。たとえば、環境光推定向けには、各縮小画素に対応する入力画像の領域内における輝度最大値、および、当該最大値に対応する各色成分画素値の情報が有効である。

環境光推定部１０３は、以下の手順で環境光画素値を求める。以下の説明ではダークチャネルの値それぞれ別に、度数（ヒストグラム）と最大輝度値を集計する例を示すが、簡略化のために、ダークチャネル値を所定幅で区切った階級別に集計することで代替しても良い。初期化処理では、各ダークチャネル値別の度数、および、ダークチャネル値別の最大輝度値、ダークチャネル値別の最大輝度値となったときの画素値をそれぞれ０に初期化する。

縮小処理部１０２で得られた平均による縮小画像を構成する各画素について、それぞれ以下の処理を繰り返す。まず、対象画素近傍の局所領域内の各画素について、色成分毎の最小値を選択し、その局所領域内最小値をダークチャネル値として求める。次に、ダークチャネル値別度数を求めるために、当該画素に対応する度数を更新する。さらに、当該画素の色成分別画素値を輝度値に換算し、ダークチャネル値別のこれまでの最大輝度値を超えていれば、当該最大値、および、最大輝度値となった色成分別の画素値を更新する。このとき、縮小処理部１０２において、輝度最大値の情報を求めていれば、その値を使用しても良い。

色成分別画素値から輝度値への変換は一般的な方法、各色成分を要素とする画素値ベクトルと、所定の係数ベクトルとの内積で求めることが可能である。入力画像１面分の各画素について上記処理を終えた後、以下の集計処理により、環境光画素値を決定する。まず、ダークチャネル値別の度数について、各入力画像の総画素数に対する所定割合から求めた閾値（たとえば９９．９パーセンタイル値）を、環境光画素値のダークチャネル値下限と設定する。

次に、ダークチャネル値下限以上となる各ダークチャネル値において出現した輝度の最大値が、最大となるようなダークチャネル値を選択し、記憶してある輝度最大値となった際の色成分画素値を環境光画素値として求める。環境光画素値保持部１０４は、環境光推定部１０３によって得られた環境光画素値を、過去所定数遡及して参照可能にするための記憶領域を持つものである。参照すべき環境こう画素値がない、最初に処理する入力画像については、所定の初期値（たとえば最大輝度の白色に相当する値）を使用するものとする。

透過率マップ推定部１０５と、補正処理部１０８とは、それぞれ、複数枚の入力画像のうち同一の入力画像に対する処理においては、同一の環境光画素値を参照することが好ましい。特に、環境光推定部１０３より、透過率マップ推定部１０５に至るまでパイプライン処理で同時並行に動作する場合は注意が必要である。２以上のアドレス指定可能な記憶領域を用意し、入力画像毎に異なる記憶領域、あるいは、２以上の所定画像数で巡回して使用する記憶領域に対して、使用する環境光画素値を格納すると良い。

また、環境光画素値の変動による弊害、たとえば、動画像として表示した際のちらつき。を防止するために、透過率マップ推定部１０５、および、補正処理部１０８が使用する環境光画素値は、複数の画像から所定の演算で求めても良い。たとえば、移動平均法、指数平滑法で平滑化する、あるいは、中央値を求めるといった方法が好適である。透過率マップ推定部１０５は、以下の手順で、縮小処理部１０２で得られた最小値による縮小画像を構成する各画素について、以下の処理により、当該画素位置に対応する推定透過率を繰り返して求め、推定透過率を所定の画素順に配列した縮小透過率マップを得る。

まず、対象画素近傍の局所領域内の各画素について、各色成分別に、対象画素の局所近傍領域内から、最小値を探索して選択する。このとき、色成分別に異なる画素から最小値を選択しても良い。次に、上記で選択した領域内の色製分別最小値について、色成分毎に、環境光画素値の当該色成分に対する割合を求める。さらに、各色成分に対する局所領域内の色製分別最小値の当該色成分に対する割合のうちの最小値を求め、１から当該最小値を減じたものが、当該画素位置に対応する推定透過率である。また、晴天時の空気中の透過率を想定して、１から所定係数（たとえば0.95）と当該最小値の積を減じた値を補正に使用する推定透過率としても良い。

また、各画素について上記手順で得られた推定透過率を所定の画素順に配列したものを粗マップとして、粗マップの各画素を中心とする所定領域内の画素値に応じたフィルタ処理により補正し、詳細マップを算出する方法も知られている。好適な補正の例としては、上記中心画素から、上記領域内各画素までの距離に応じた重み付け、および、中心画素の粗マップ画素値と、上記領域内各画素の粗マップ画素値との差に応じた重み付けによるバイラテラル（bilateral）フィルタがある。あるいはまた、このようなフィルタ演算による補正は、拡大処理部１０６における補間処理に含めることも可能である。

拡大処理部１０６は縮小透過率マップから、入力画像と等しい解像度の透過率マップを求める。ただし、縮小比を１対１に限定すれば、縮小処理部１０２と同様、拡大処理部１０６を省略することも可能である。

図４（ａ）は、図２（ａ）上の対応する位置に、図２（ｃ）に示す縮小画像の各画素（円で囲んだ値）を示したものである。縮小画像の各画素は、原画像の４画素を代表する値であるため、対応する原画像４画素の中心に配置している。図４（ｂ）は、図４（ａ）と逆に、拡大処理部１０６における入出力の位置関係を示している。縮小透過率マップにおいて図のように互いに隣接する位置の画素値Ａ，Ｂ，Ｃ，Ｄによって、それらに囲まれる画素ｐ、ｑ、ｒ、ｓをそれぞれ求める。ここでは。既知の補間演算、たとえば、Ａ，Ｂ，Ｃ，Ｄそれぞれの点と、拡大処理後の透過率マップにおける対象画素位置（ｐ、ｑ、ｒ、ｓいずれか）との座標値の差に応じた重み係数に応じて補完する双一次補間が利用可能である。

また、図４（ｂ）におけるｔ，ｕのように、隅、もしくは、辺に位置する画素については、補間演算において参照すべき画素値が縮小透過率マップに存在しない。この場合、図の鎖線で示す軸を中心に、対象の位置にある縮小透過率マップの値を参照する。あるいは、別の構成例としては、必要な位置の最近傍に位置する値を参照するものとしても良い。

拡大処理部１０６は上記例に示した双一次補間のほか、より大きな所定範囲の縮小透過率マップを参照して平滑化するような構成も可能である。たとえば、拡大処理後の透過率マップにおける対象画素位置と参照する縮小画像の画素位置との距離の所定の標準偏差に対する比を求め、ガウス分布確率密度関数に応じて係数を決める方法も知られている。あるいはまた、演算量としては増大するが、画素位置だけでなく、その値による重み付けを加味するバイラテラル（bilateral）フィルタによる構成も好適である。

遅延バッファ１０７は、たとえば、先入先出し（ＦＩＦＯ）による構成として、取り出す際に、拡大処理部１０６からの画素出力信号を参照して同期すれば良い。補正処理部１０８は、入力画像を構成する各画素、および、各色成分について、以下の処理を繰り返すことにより、当該画素に対する補正画像画素値の各色成分値をそれぞれ算出する。

入力の画素における各色成分の値から、環境光画素値の対応する色成分の値を減じ（多くの場合負値となる）、その結果を当該画素位置に対応する透過率マップの推定透過率値で除す。推定透過率の値は０に近くなる場合があり、０による除算を回避するため所定の下限値（たとえば０．１）を設けて、推定透過率値が下限値未満の場合、下限値に置換してから演算すると良い。上記除算の結果を、環境光画素値の対応する色成分の値に加算することで、補正画像画素値の色成分値が得られる。

画像出力部１０９は、補正画像を出力するためのものであり、必要に応じて、不図示の記憶手段に格納したり、あるいは、外部ビデオ出力インタフェース経由で出力するものである。

以上のように構成することで、時間的に連続して撮像した複数の画像からなる動画像データに対する環境光画素値は急激には変化しないという前提のもとで、環境光画素値を求めるのを待たずに、透過率マップを求める処理が可能となる。よって、撮像（画像入力部１０１からの入力）から補正処理後の画像の表示（画像出力部１０９からの出力）までの遅延時間低減が可能である。

本発明は撮像装置によって得た一連の複数の入力画像に対する画像処理に適用可能である。

１０１ 画像入力部
１０２ 縮小処理部
１０３ 環境光推定部
１０４ 環境光画素値保持部
１０５ 透過率マップ推定部
１０６ 拡大処理部
１０７ 遅延バッファ
１０８ 補正処理部
１０９ 画像出力部
１１０ 霧除去処理部

Claims (3)

1. 一連の複数の入力画像を逐次処理する画像処理装置で、
   前記それぞれの入力画像から高輝度画素を選択し、選択した画素値に基づいて環境光画素値を算出するための環境光推定手段と、
   前記環境光画素値を後に参照するために保持する環境光画素値保持手段と、
   前記環境光画素値保持手段から得られる前記複数の画像のうち第１の画像に対する環境光画素値、および、
   前記複数の画像のうち第１の画像以降に処理する第２の画像に対する前記縮小画像に基づいて前記第２の画像に対する透過率マップを推定する透過率マップ推定部と、
   入力画像に対して、前記縮小処理手段、前記透過率マップ推定手段、および、前記拡大処理手段による遅延を与えるための遅延手段と、
   前記第１の画像に対する環境光画素値、前記第２の画像に対する透過率マップ、および、前記遅延手段で遅延した前記第２画像の画素値に基づいて補正処理する補正処理手段を備えることを特徴とする画像処理装置。
2. 一連の複数の入力画像を逐次処理する画像処理装置で、入力の各画像と同じか、または、より低解像度の縮小画像を得るための縮小処理手段と、
   前記縮小画像から高輝度画素を選択し、選択した画素値に基づいて環境光画素値を算出するための環境光推定手段と、
   前記環境光画素値を後に参照するために保持する環境光画素値保持手段と、
   前記環境光画素値保持手段から得られる前記複数の画像のうち第１の画像に対する環境光画素値、および、
   前記複数の画像のうち第１の画像以降に処理する第２の画像に対する前記縮小画像に基づいて前記第２の画像に対する縮小透過率マップを推定する透過率マップ推定部と、
   前記縮小透過率マップを前記入力画像と同じ解像度に戻した透過率マップを得るための拡大処理手段と、
   入力画像に対して、前記縮小処理手段、前記透過率マップ推定手段、および、前記拡大処理手段による遅延を与えるための遅延手段と、
   前記第１の画像に対する環境光画素値、前記第２の画像に対する透過率マップ、および、前記遅延手段で遅延した前記第２画像の画素値に基づいて補正処理する補正処理手段を備えることを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置で、
   前記環境光画素値保持手段から得られる前記第１の画像を含む複数の画像に対する環境光画素値から、所定の演算で補正に使用する環境光画素値を算出し、前記第１の画像以降に処理する第２の画像について、前記透過率マップ推定手段、および、前記補正処理手段は、前記演算による環境光画素値に基づいて補正処理することを特徴とする画像処理装置。