JP2018025878A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】微小粒子成分の影響により視認性が低下した撮像画像の視認性を改善するための画像処理のリアルタイム性を確保しつつ、処理負荷の抑制を図る。
【解決手段】画像処理装置であって、大気中の微粒子による影響を含む撮像画像から大気光成分を抽出する抽出手段と、抽出された前記大気光成分に基づいて、前記撮像画像から前記微小粒子による影響を除去した画像を生成する除去処理手段と、を備え、前記抽出手段は、前記撮像画像のデータと当該撮像画像を撮影した際の露出値とのデータに基づき、前記抽出を行うことを特徴とする。
【選択図】図５

Description

本発明は、大気中の微粒子による影響を低減して撮像画像の視認性を改善する画像処理に関する。

監視カメラなどの分野において、カメラから被写体までの間に存在する微小粒子（例えば、霧）によって視認性が低下し、撮像画像の画質が劣化することが問題となっている。この原因として、光が大気中を通過する際に散乱することが挙げられる。そして、この大気中の微粒子による光の散乱には２種類あることが知られている。１つは、ミー散乱であり、塵、埃、水蒸気の粒など光の波長と比較して粒子径が大きい場合に発生する。ミー散乱の場合、光の波長に依存せず白く散乱し、その結果、遠い被写体ほど白くなってコントラストが低下する。もう１つは、レイリー散乱であり、空気分子のような光の波長と比較して粒子径が小さい場合に発生する。レイリー散乱の場合、波長が短い光ほどよく散乱する。その結果、遠い被写体ほど青色成分が散乱することで画像は青みがかった色調になる。上記２種類の光の散乱が発生して視認性が低下した画像から散乱成分を取り除く技術（ヘイズ除去技術）が提案されている。特許文献１では、着目画素毎に周囲の所定範囲におけるＲＧＢチャンネル内での最小画素値を算出し、最小画素値の画素で構成される画像（最小値画像）を用いて、コントラストを補正することで視認性の改善を行う技術が開示されている。さらに、特許文献２では、非階層型クラスタリング手法の一つであるK-mean法を用いて、光が大気を通過する際に散乱する光を撮像画像から推定する手法が提案されている。

ＵＳ８３４０４６１ ＵＳ２０１４／０７２２１６ K. He, J. Sun, and X. Tang. Guided image filtering. In ECCV '10: European Conference on Computer Vision, pages 1-14, 2010.

上記特許文献１や特許文献２に記載の技術では、監視カメラやデジタルカメラの撮像画像をもとに、大気による散乱光成分である大気光成分を推定する画像処理がなされる。そして、この画像処理においては、撮影画像に対してヒストグラム処理や複数の閾値処理などが必要になる。これらの処理は、画像全体に亘って行う必要があり、カメラの内部で行うには処理負荷が大きい。このため、特許文献１や２に記載の技術を利用して撮影画像に対してリアルタイムに大気の微粒子成分の影響を除去する処理を行おうとすると、撮像装置内部に上記演算のための専用回路等を増設しなければならなかった。

本発明では、微粒子成分の影響により視認性が低下した撮像画像の視認性を改善するための画像処理のリアルタイム性を確保しつつ、処理負荷の抑制を図ることを目的とする。

本発明に係る画像処理装置は、大気中の微粒子による影響を含む撮像画像から大気光成分を抽出する抽出手段と、抽出された前記大気光成分に基づいて、前記撮像画像から前記微小粒子による影響を除去した画像を生成する除去処理手段と、を備え、前記抽出手段は、前記撮像画像のデータと当該撮像画像を撮影した際の露出値とのデータに基づき、前記抽出を行うことを特徴とする。

本発明によれば、微粒子成分の影響により視認性が低下した撮像画像の視認性を改善するための画像処理のリアルタイム性を確保しつつ、処理負荷を抑制することができる。

画像処理装置の構成の一例を示すブロック図である。 画像処理装置の機能ブロック図である。 ヘイズ除去処理部の内部構成を示した図である。 ヘイズ除去処理部における処理の流れを示すフローチャートである。 大気光成分の抽出処理の詳細を示すフローチャートである。 （ａ）は露出値と所定の閾値とを対応付けたテーブルであり、（ｂ）は当該テーブルに相当する関係式の特性を示すグラフである。 霧が発生しているシーンを撮影した入力画像の一例を示す図である。 散乱成分強調画像の生成過程を説明する図である。 ＲＧＢ全体の散乱成分強調画像に基づき、入力画像からすべての散乱成分を除去する補正処理の詳細を示すフローチャートである。 プレーン毎の散乱成分強調画像に基づく、入力画像からすべて散乱成分を除去する補正処理の詳細を示すフローチャートである。 入力画像から抽出されたミー散乱に相当する成分を示した画像の一例である。 入力画像から抽出されたレイリー散乱に相当する成分を示した画像の一例である。 ヘイズ除去処理後の画像（出力画像）の一例を示す図である。

以下、添付図面を参照して、本発明を好適な実施例に従って詳細に説明する。なお、以下の実施例において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。

［概要］
本実施例では、まず、霧などが発生しているシーンを撮影した入力画像中のミー散乱成分とレイリー散乱成分を求める。そして、求めたミー散乱成分とレイリー散乱成分を個別に抑制し再合成することで、微粒子の影響を低減した画像を得る。より具体的には以下のとおりである。

まず、入力画像であるＲＧＢ色空間の撮像画像から、大気による光の散乱成分（大気光成分）を推定する。この推定を行うときに、入力画像に対してカメラの露光値であるＥｖ値を利用する。次に、入力画像における散乱光の成分が強調された画像（散乱成分強調画像）を、ＲＧＢのプレーン毎及び全体について求める。次に、求めたプレーン毎の散乱成分強調画像とＲＧＢ全プレーンでの散乱成分強調画像をそれぞれ用いて、入力画像に対し散乱成分を除去する補正処理を行う。そして、補正結果を用いて、上述した２種類の散乱成分を抽出する。最後に、抽出したミー散乱成分とレイリー散乱成分をそれぞれ任意の割合で再合成して、視認性を改善した画像を得る。

なお、本明細書中の上記抽出や再合成の処理において演算によって求められるミー散乱成分及びレイリー散乱成分は、物理的な意味でのミー散乱とレイリー散乱を厳密・正確に表すものではないことに留意が必要である。本明細書中では、ミー散乱とは主に散乱による輝度変化成分に対応し、レイリー散乱とは主に散乱による色変化成分に対応する。

図１は、本発明に係る画像処理装置の構成の一例を示すブロック図である。画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤＩ／Ｆ１０４、ＨＤＤ１０５、入力Ｉ／Ｆ１０６、出力Ｉ／Ｆ１０７、システムバス１０８から構成され、外部メモリ１０９、表示装置１１０、撮像装置１１１が接続されている。

ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３に格納されたプログラムを実行し、システムバス１０８を介して後述する各部を統括的に制御する。これにより、後述する様々な処理が実行される。

ＨＤＤＩ／Ｆ１０４は、例えばシリアルＡＴＡ(ＳＡＴＡ)等のインタフェイスであり、二次記憶装置としてのＨＤＤ１０５と接続されている。このＨＤＤＩ／Ｆ１０４を介して、ＨＤＤ１０５からのデータの読み出しやＨＤＤ１０５へのデータの書き込みがなされる。なお、二次記憶装置はＨＤＤの他、光ディスクドライブ等の記憶デバイスでもよい。

入力Ｉ／Ｆ１０６は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスである。この入力Ｉ／Ｆ１０６を介して、撮像装置１１１や外部メモリ１０９（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）などからデータを取得する。

出力Ｉ／Ｆ１０７は、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力インタフェイスである。この出力Ｉ／Ｆ１０７を介して、表示装置１１０（液晶ディスプレイなどの各種出力デバイス）に、撮像装置１１１で撮像された画像などを表示する。

撮像装置１１１は、被写体の光情報をセンサで受光し、Ａ/Ｄ変換を施すことによって撮像画像のデジタルデータを取得する。本実施例では、撮像装置１１１で散乱光によりコントラストが低下した撮像画像データを取得し、画像処理装置１００ではその撮像画像データに画像処理を施すことで、微粒子の影響が低減された画像を生成する。なお、画像処理装置１００の構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。

また、本実施例では、画像処理装置１００と撮像装置１１１及び表示装置１１０とを別個の装置として構成しているが、本発明はこのような構成に限られない。例えば、撮像装置１１１に、画像処理装置１００や表示装置１１０の全部又は一部の機能を組み込んだ構成でもよい。

図２は、本実施例に係る画像処理装置１００の機能ブロック図であり、入力画像データ取得部２０１、露出値取得部２０２、ヘイズ除去処理部２０３、ヘイズ除去画像データ出力部２０４、データ記憶部２０５から構成される。画像処理装置１００は、ＲＯＭ１０３内に格納された制御プログラムをＣＰＵ１０１にロードし実行することで、上記各部の機能を実現する。各部の概要は以下のとおりである。

入力画像取得部２０１は、撮像装置１１１で撮像されたＲＧＢ色空間の画像を入力画像として取得する。露出値取得部２０２は、入力画像における露出値（Ev値）の情報を取得する。このEv値は、例えば、撮像装置１１１に内蔵された測光計（露出計）等を用いた測定によって求める。測光計等を用いる場合には、例えば撮像画像のシーン全体における測定結果の平均値を求めてもよいし、シーンの中心付近の測定結果の重みを強くした平均値を求めてもよい。また、Ev値を、入力画像データの画素値から求めてもよい。ヘイズ除去処理部２０３は、入力画像から大気中の微粒子による光の散乱成分を除去して視認性を改善した画像（以下、「ヘイズ除去画像」と呼ぶ。）を生成する。ヘイズ除去画像データ出力部２０４は、生成されたヘイズ除去画像のデータを、表示装置１１０など外部に出力する処理を行う。データ記憶部２０５は、上述の各種画像データを格納する他、ヘイズ除去画像の生成過程で生じる処理結果等の各種データを格納する。

続いて、本発明の特徴である、ヘイズ除去処理部２０３について詳しく説明する。図３は、ヘイズ除去処理部２０３の内部構成を示した図である。ヘイズ除去処理部２０３は、大気光成分抽出部３０１、散乱成分強調画像生成部３０２、第１補正処理部３０３、第２補正処理部３０４、ミー散乱成分抽出部３０５、レイリー散乱成分抽出部３０６、及び合成処理部３０７を備える。

ヘイズ除去処理部２０３を構成する上記各部は、ＲＯＭ１０３やＨＤＤ１０５に保持されたプログラムがＲＡＭ１０２に展開されてＣＰＵ１０１で実行されることにより実現される。図４は、ヘイズ除去処理部２０３における処理の流れを示すフローチャートである。以下、図４のフローチャートに沿って、ヘイズ除去処理部２０３の動作について説明する。

ステップ４０１において、大気光成分抽出部３０１は、入力画像から大気光成分を抽出する処理を行う。大気光成分は、撮像シーンにおける物体からの反射光以外の成分を意味し、上述のミー散乱成分とレイリー散乱成分が含まれる。そして、大気光成分を抽出する際に、入力画像における露出値が用いられる。大気光成分抽出処理の詳細は後述する。抽出した大気光成分のデータは、後続のステップでの処理に備え、データ記憶部２０５にて保存される。

ステップ４０２において、散乱成分強調画像生成部３０２は、入力画像から上述の散乱成分強調画像を生成する。散乱成分強調画像を構成する画素の値は、所定ブロック内の最小画素値を除く複数の下位の画素値に基づいて、例えば加重平均を取るなどして決定される。そして、散乱成分強調画像は、各プレーン単位とＲＧＢ全プレーンについての２種類が生成される。生成の際に所定ブロック内の最小画素値を用いないことで、センサノイズの影響を大きく受けた画素が生じないようにしている。散乱成分強調画像生成処理の詳細は後述する。生成した２種類の散乱成分強調画像のデータは、後続のステップでの処理に備え、データ記憶部２０５にて保存される。

ステップ４０３において、第１補正処理部３０３は、ＲＧＢ全体の散乱成分強調画像を用いて、入力画像からすべての散乱光成分に相当する大気光成分を除去する補正処理（第１補正処理）を行う。第１補正処理の詳細については後述する。第１補正処理によって生成された補正画像（第１補正画像）のデータは、後続のステップでの処理に備え、データ記憶部２０５にて保存される。

ステップ４０４において、第２補正処理部３０４は、プレーン毎の散乱成分強調画像を用いて、入力画像からすべての散乱光成分に相当する大気光成分を除去する補正処理（第２補正処理）を行う。第２補正処理の詳細については後述する。第２補正処理によって生成された補正画像（第２補正画像）のデータは、後続のステップでの処理に備え、データ記憶部２０５にて保存される。

ステップ４０５において、ミー散乱成分抽出部３０５は、入力画像及びＲＧＢ全体の散乱成分強調画像を用いて、ミー散乱成分を抽出する。ミー散乱成分抽出処理の詳細は後述する。抽出したミー散乱成分のデータは、後続のステップでの処理に備え、データ記憶部２０５にて保存される。

ステップ４０６において、レイリー散乱成分抽出部３０６は、入力画像及びプレーン毎の散乱成分強調画像を用いて、レイリー散乱成分を抽出する。レイリー散乱成分抽出処理の詳細は後述する。抽出したレイリー散乱成分のデータは、後続のステップでの処理に備え、データ記憶部２０５にて保存される。

ステップ４０７において、合成処理部３０７は、抽出されたミー散乱成分及びレイリー散乱成分を任意の割合で、上述の第２補正画像に合成する合成処理を行う。合成処理はプレーン単位でなされる（その詳細は後述する）。合成処理によって生成されたプレーン毎の合成画像は１つのプレーンにまとめられてデータ記憶部２０５にて保存された後、必要に応じてヘイズ除去画像として外部に出力される。

以上が、ヘイズ除去処理部２０３における処理の流れである。続いて、ヘイズ除去処理部２０３を構成する各部における処理の詳細について説明する。

［大気光成分の抽出］
大気光成分抽出部３０１における大気光成分の抽出処理（ステップ４０１）について説明する。本実施例の大気光成分の抽出（推定）では、入力画像の露出値に基づき輝度の閾値をまず求める。そして、入力画像（ＲＧＢ画像）から輝度画像（Ｙ画像）へ変換し、上記求めた輝度の閾値以上の画素値を持つ画素の中から、大気光を推定するための画素をロバスト推定処理によって決定する。そして、決定された画素の画素値をもとに大気光を推定する。以下、図５のフローチャートを参照して詳しく説明する。

ステップ５０１では、データ記憶部２０５から入力画像であるＲＧＢ色空間の画像データと、当該入力画像における露出値（Ｅｖ値）が読み込まれる。続くステップ５０２では、読み込んだＲＧＢ画像を、輝度値を表すＹ画像に変換する処理がなされる。この変換には、一般的なＲＧＢ−Ｙ色変換式を適用すればよい。

ステップ５０３では、大気光成分の推定時に参照する画素位置の候補（以下、参照画素位置候補）を決定する際の基準として用いる、輝度の閾値（Ｙ_th）を決定する。具体的には、異なる露出値（Ｅｖ値）にそれぞれ対応する閾値（Ｙ_th）を関連付けたテーブルを参照して、ステップ５０１で読み込んだＥｖ値に対応する閾値Ｙ_thを求める。図６（ａ）に、露出値と閾値とを関連付けたテーブル（ＬＵＴ）の一例を示す。このようなテーブルを予め作成・保持しておき、入力画像のＥｖ値に応じた閾値Ｙ_thを決定すればよい。また、このようなテーブルを用いて決定するのに代えて、例えば以下の式（１）のような輝度の閾値Ｙ_thと露出値との関係を規定する数式を用いて決定してもよい。
Ｙ_th＝ｋ×Ｅｖ+220 ・・・（１）
図６（ｂ）は、上記式（１）の特性をグラフで示したものである。上記式（１）において、Ｙ_th≦Ｙ_MAXであり、Ｙ_MAXは輝度の最大値（この例では255）を表す。また、kは定数であり、この例では20である。なお、輝度の閾値Ｙ_thの決定に際して数式を用いる場合は上記式（１）に限定されるものではなく、他の数式を用いてもよい。このように、撮像画像から大気光成分を抽出するに当たり、撮像時の露出値を参考にして、大気光として採択するかどうかを決定する際の基準となる閾値が決定される。これまで、例えば撮像画像の全画素値のうち値の大きい上位１％が大気光として採択される画素の候補となるような値を閾値として設定していたが、それには撮影画像に対してヒストグラム処理や複数の閾値処理などが必要になり、処理負荷が大きかった。上述のような露出値から求める手法であれば、大幅に処理負荷を低減することができる。また、露出値の情報は、撮像画像の画素値や撮像装置１１１が内蔵する測光計などから容易に取得できるため、処理のリアルタイム性も確保することができる。

ステップ５０４では、ステップ５０２で得られたＹ画像及びステップ５０３で決定した閾値Ｙ_thとに基づき、大気光成分の推定時に参照する画素位置の候補（以下、参照画素位置候補）が決定される。具体的には、Ｙ画像の全画素値のうち閾値Ｙ_th以上の値を持つ画素の位置が、参照画素位置候補として決定される。

ステップ５０５では、大気光成分の推定時に参照する画素位置が、参照画素位置候補に基づいて決定される。具体的には、ステップ５０４で決定した参照画素位置候補を対象に、RANSAC法などのロバスト推定を用いて実際の参照画素位置を決定する。大気光成分として選択されるべき画素は空の部分を表している画素が望ましい。本ステップの意義は、ステップ５０４で決定した参照画素位置候補の中に含まれる、空以外の部分の高輝度の画素を除外することにある。この点、空以外の高輝度部分が入力画像上に占める割合は少なく、かつ、空の色とは輝度が異なる傾向にある。そのため、参照画素位置候補の画素のうち輝度が異なる画素を参照画素に含まないように外れ値として扱い、参照画素を適切に絞り込むことが可能なロバスト推定を行う。この時、参照画素として決定する画素の数を制限してもよい。これは、入力画像上で例えば空の色がグラデーションになっている場合など同じ空でも色（画素値）が異なることがあり、あまり多くの画素を参照するとこのような色の変化を含む空が推定対象となってしまうので、これを避けるためである。

ステップ５０６では、ステップ５０５で決定された参照画素位置に従って、大気光成分推定の処理対象とする画素（注目参照画素）を１つ決定し、当該注目参照画素の画素値を、ＲＧＢそれぞれの色毎に加算する処理がなされる。注目参照画素は、例えば参照画素として決定された画素のうち入力画像内の画素位置が最も左上の画素を最初の注目参照画素とし、以降は順次右隣の画素に移行（右隣の画素がなければ１行下に移行）するなどして決定すればよい。ＲＧＢそれぞれの色毎に加算された画素値は、ＲＡＭ１０２等で保持される。

ステップ５０７では、ステップ５０５で決定された全ての参照画素位置について加算処理が完了した否かが判定される。加算処理が済んでいない参照画素位置があればステップ５０６に戻り、次の参照画素位置にある画素を注目参照画素として加算処理を続行する。一方、全ての参照画素位置について加算処理が完了していれば、ステップ５０８に進む。

ステップ５０８では、ＲＡＭ１０２などに保持された累積加算画素値を平均化し、入力画像内の大気光成分を抽出する処理がなされる。具体的には、以下の式（２）及び式（３）を用いて、ＲＧＢ画像の大気光成分A_RGBとＹ画像の大気光成分A_Yとをそれぞれ求める。
A_RGB＝(ΣA_R／n，ΣA_G／n，ΣA_B／n) ・・・式（２）
A_Y＝（3×ΣA_R／ｎ＋6×ΣAG／ｎ＋ΣA_B／ｎ）／10 ・・・式（３）
上記式（２）及び式（３）において、A_R、A_G、A_BはそれぞれＲプレーン、Ｇプレーン、Ｂプレーンの大気光成分を表す値、A_YはＹ画像の大気光成分を表す値、nは参照画素の総数を表す。なお、大気光成分を求める式は上記式（２）や式（３）に限定されるわけではない。例えば、Ｙ画像の大気光成分を、ΣA_R／n，ΣA_G／n，ΣA_B／nの中で最も小さい値を求めることによって得てもよい。

以上のようにして、大気光成分抽出部３０１において入力画像内の２種類の大気光成分A_RGBとA_Yが抽出される。図７は、霧が発生しているシーンを撮影した入力画像の一例であり、このような入力画像（ＲＧＢ画像）から求められる大気光成分 A_RGBは(176,177,179)といった値となる。

［散乱成分強調画像の生成］
散乱成分強調画像生成部３０２における２種類の散乱成分強調画像の生成処理（ステップ４０２）について、図８を参照して説明する。前述の通り散乱成分強調画像には、ＲＧＢの各プレーンについて生成される散乱成分強調画像と、ＲＧＢ全体での散乱成分強調画像の２種類がある。

まず、プレーン毎の散乱成分強調画像の生成について説明する。図８（ａ）は、プレーン毎の散乱成分強調画像の生成過程を説明する図である。図８（ａ）は、ＲＧＢ画像の任意のプレーンの一部であり、太枠の矩形８００は前述の所定ブロックに対応する参照領域を示している。この例では、その中心画素８０１を注目画素とし、その周囲8画素を含む計9画素の領域（３×３画素の領域）を参照領域として、当該注目画素８０１に対応する下位画素値T_planeが導出される。ここで、注目画素８０１における下位画素値T_planeは、例えば、参照領域８００内の最小画素値を除いた下位３つの画素値の加重平均を取ることで求めることができる。この場合において、下から２番目の画素値をV_2、下から３番目の画素値をV_3、下から４番目の画素値をV_4とし、それぞれに対応する重み係数を2：4：2とすると、下位画素値T_planeは、以下の式（４）で表される。
T_plane＝(2×V_2＋4×V_3＋2×V_4)／8 ・・・式（４）
図８（ａ）の例では、参照領域８００内の最小画素値“103”を除いた下位３つの画素値（注目画素８０１の右隣：104、同直上：105、同左上：105）の加重平均を求めると、下位画素値T_plane＝104.75となる。このような処理を対象プレーンの全画素について行うことで、プレーン毎の散乱成分強調画像が得られる。このように、最小画素値を除く下位の複数の画素値の加重平均を取ることで、プレーン毎の散乱成分強調画像がセンサノイズの影響を強く受けたものにならないようにしている。そして、当該散乱成分強調画像の画素値の導出に使用する画素は、各色のプレーンからのみ採用されているため、光の散乱の波長による影響を考慮したものとなる。なお、上記式（４）は注目画素に対応する下位画素値T_planeを求める際の計算式の一例であり、これに限定されない。例えば、最小値を除く下位４つまたはそれ以上の画素値の加重平均を求めてもよい。他にも、ＲＧＢ値を輝度値に変換した上で、変換後の輝度値における下位画素値を求めてもよい。また、所定ブロックに対応する参照領域を例えば注目画素を中心とした５×５画素の領域とするなど、さらに広い領域を参照して下位画素値を求めてもよい。参照領域のサイズを決定する際には、例えばＲＧＢ値を輝度値に変換し、輝度値が大きいほど参照範囲が広くなるようにすることが考えられる。ただし、被写体までの距離が近い部分と遠い部分とは区別する必要があり、参照範囲が広いと近くにある白い壁を空と誤判定してしまう可能性があるため、このような点も加味しつつ参照範囲は決定する必要がある。

次に、ＲＧＢ全体の散乱成分強調画像の生成処理について説明する。図８（ｂ）は、ＲＧＢ全体の散乱成分強調画像の生成過程を説明する図である。図８（ｂ）には、ＲＧＢ各プレーンの一部（同一座標）が示されており、各太枠の矩形８１０、８２０、８３０は所定ブロックに対応する参照領域を示している。ＲＧＢ全体の散乱成分強調画像の生成では、３つの参照領域における同一座標の中心画素８１１、８２１、８３１を注目画素とし、各注目画素の周囲8画素を含む計27画素からなる領域のすべてを参照領域とする。すなわち、ＲＧＢ全体の散乱成分強調画像は、プレーン毎の散乱成分強調画像とは異なり、３つの同一座標の注目画素の周辺にある全プレーンにおける画素を参照領域として処理が行われる。このため、採用される画素は、ＲＧＢいずれのプレーンの画素からも選択される可能性がある。こうして、同一座標の注目画素８１１、８２１、８３１に対応する下位画素値T_RGBを導出する。このときの下位画素値T_RGBも、上述の下位画素値T_planeと同様、上記式（２）によって求めることができる。図８（ｂ）の例では、最小画素値“89”を除いた下位３つの画素値（注目画素８１１の直上：93、注目画素８２１の右上：96、注目画素８１１の左隣：97）の加重平均を求めると、下位画素値T_RGB＝95.5となる。このようにして、ＲＧＢ全体の散乱成分強調画像を得ることができる。

［ＲＧＢ全体の散乱成分強調画像に基づく補正画像の生成］
第１補正処理部３０３における、ＲＧＢ全体の散乱成分強調画像に基づく、入力画像からすべての散乱成分を除去する補正処理（第１補正処理：ステップ４０３）について、図９のフローチャートを参照して説明する。

ステップ９０１では、ＲＧＢ全体の散乱成分強調画像、Ｙ画像の大気光成分、及び入力画像の各データが、データ記憶部２０５から読み込まれる。

ステップ９０２では、Ｙ画像の大気光成分A_Yを用いて、ＲＧＢ全体の散乱成分強調画像が修正される。具体的には、以下の式（５）を用いて、修正されたＲＧＢ全体の散乱成分強調画像RGB＿A_Yが求められる。
RGB_A_Y(x,y)＝T_{in_RGB}(x,y)／A_Y ・・・式（５）
上記式（５）においてTin_{_RGB}は修正前のＲＧＢ全体の散乱成分強調画像を示し、(x,y)は画素位置を示す座標である。

ステップ９０３では、大気光成分A_Yによる修正後のＲＧＢ全体の散乱成分強調画像RGB_A_Yを基に、透過率分布ｔ_RGB(x,y)が導出されるを生成。具体的には、RGB_A_Yに対して以下の式（６）を適用して、ｔ_RGB(x,y)が求められる。
ｔ_RGB(x,y)＝1.0−ω(RGB_A_Y(x,y)) ・・・式（６）
上記式（６）において、ωは対象画素の透過光が霧などの微粒子による散乱光のみで構成されていた場合は透過率が“0”となり、散乱成分除去後の画素値が“0”になるのを避けるために設ける調整のための係数であって、例えば0.9といった値である。

ステップ９０４では、導出した透過率分布ｔ_RGB(x,y)が、入力画像に合わせて整形される。これは、ステップ９０３で導出された透過率分布ｔ_RGB(x,y)を、入力画像のシーンに含まれる構造物等の被写体形状に合わせるための処理である。具体的には、例えば非特許文献１に記載のエッジキープ型フィルタを用いるなどして、被写体形状を分離する。

ステップ９０５では、Ｙ画像の大気光成分A_Yと整形後の透過率分布ｔ_RGB(x,y)とを用いてから、入力画像Iに対し、すべての散乱成分を除去する処理を行なう。具体的には、以下の式（７）を用いて、散乱成分が除去された画像（以下、第１補正画像）J_RGBが求められる。

上記式（７）において、J_RGB(x,y)は第１補正画像の画素位置(x,y)における画素値、I(x,y)は入力画像Iの画素位置(x,y)における画素値を示している。また、ｔ0は整形後の透過率分布ｔ_RGB(x,y)が限りなく小さい値であった場合、J_RGB(x,y)の値が、I(x,y)のわずかな差（撮像時のショットノイズ等）によって大きく変動してしまうのを防ぐために設けられた調整のための係数である。具体的ｔ0としては、例えば0.1といった値である。

このようにして、ＲＧＢ全体の散乱成分強調画像に基づき、入力画像から散乱成分が除去された補正画像が生成される。

［プレーン毎の散乱成分除去画像に基づく補正画像の生成］
第２補正処理部３０５における、プレーン毎の散乱成分強調画像に基づく、入力画像からすべて散乱成分を除去する補正処理（第２補正処理：ステップ４０５）について、図１０のフローチャートを参照して説明する。

ステップ１００１では、プレーン毎の散乱成分強調画像、ＲＧＢ画像の大気光成分、及び入力画像の各データが、データ記憶部２０５から読み込まれる。

ステップ１００２では、ＲＧＢ画像の大気光成分A_RGBを用いて、プレーン毎の散乱成分強調画像が修正される。具体的には、以下の式（８）を用いて、修正されたプレーン毎の散乱成分強調画像Plane_A_RGBが求められる。
Plane_A(x,y,c)＝T_{in_plane}(x,y,c)／A_RGB ・・・式（８）
上記式（８）において、T_{in_plane}は修正前のプレーン毎の散乱成分強調画像を示し、(x,y,c)はカラープレーンｃにおける画素位置を示す座標である。この場合において、ｃ＝1のときはＲ画像、ｃ＝2のときはＧ画像、ｃ＝3のときはＢ画像といった具合に、ｃの値と各プレーンとが対応付けられている。

ステップ１００３では、大気光成分A_RGBによる修正後のプレーン毎の散乱成分強調画像Plane_A_RGBを基に、透過率分布ｔ_plane(x,y,c)が導出される。具体的には、Plane_A_RGBに対して以下の式（９）を適用して、ｔ_plane(x,y,c)が求められる。
ｔ_plane(x,y,c)＝1.0−ω(Plane_A_RGB(x,y,c)) ・・・式（９）
上記式（９）におけるωは、前述の式（６）と同様、散乱成分除去後の画素値が“0”になるのを避けるために設ける調整のための係数であって、例えば0.9といった値である。

ステップ１００４では、導出した透過率分布ｔ_plane(x,y,c)を、入力画像に合わせて整形する。具体的な手順は前述のステップ９０４と同じである。プレーン毎の散乱成分強調画像の場合は各プレーンに対して、すなわち、透過率分布ｔ_plane(x,y,c)におけるｃを変えて、被写体形状を分離する整形が行なわれる。

ステップ１００５では、ＲＧＢ画像の大気光成分A_RGBと整形後の透過率分布ｔ_plane(x,y,c)とを用いて、入力画像Iに対し、すべての散乱成分を除去する処理を行なう。具体的には、以下の式（１０）を用いて、散乱成分が除去された画像（以下、第２補正画像）J_planeが求められる。

上記式（１０）において、J_plane(x,y,c)は第２補正画像の画素位置(x,y,c)における画素値、I(x,y,c)は入力画像Iの画素位置(x,y,c)における画素値を示している。また、ｔ0は上記式（７）と同様の調整係数であって、例えば0.1といった値である。

このようにして、プレーン毎の散乱成分強調画像に基づき、入力画像から散乱成分が除去された補正画像がプレーン毎に生成される。

［ミー散乱成分の抽出］
ミー散乱成分抽出部３０５における、ミー散乱成分の抽出処理（ステップ４０５）について説明する。ミー散乱成分は、散乱光による輝度変化成分であり、入力画像Iから上述の第１補正画像J_RGBを取り除いたものに相当する。具体的には、入力画像Iの画素毎に、まず式（１１）を用いてRGB各プレーン単位で画素値の減算を行い、その後に式（１２）を用いて各プレーンでの最大値を求めて１プレーンに集約することにより、ミー散乱成分Mを求めることができる。
I(x,y,c)−J_RGB(x,y)＞＝0のとき：M(x,y,c)＝I(x,y,c)−J_RGB(x,y)
I(x,y,c)−J_RGB(x,y)＜0のとき ：M(x,y,c)＝0
・・・式（１１）
M(x,y)=max(M,(x,y,c))
・・・式（１２）
上記式（１１）及び式（１２）における(x,y,c)及び(x,y)の意味は、前述の式（７）及び式（８）におけるそれと同じである。図１１は、図７の入力画像から得られたミー散乱に相当する成分Mを示した画像である。このようにして、入力画像からミー散乱成分が抽出される。

なお、上述の式（１１）に代えて、以下の式（１１）’を用いてもよい。
I(x,y,c)−J_plane(x,y,c)＞＝0のとき：M(x,y,c)＝I(x,y,c)−J_plane(x,y,c)
I(x,y,c)−J_plane(x,y,c)＜0のとき ：M(x,y,c)＝0
・・・式（１１）’

［レイリー散乱成分の抽出］
レイリー散乱成分抽出部３０６における、レイリー散乱成分の抽出処理（ステップ４０６）について説明する。レイリー散乱成分は、散乱光による色変化成分であり、入力画像Iから上述の第２補正画像J_planeとミー散乱成分Mを取り除いたものに相当する。従って、入力画像Iの画素毎に、以下の式（１３）を用いて画素値の減算を行うことにより、レイリー散乱成分Rを求めることができる。
I(x,y,c)−J_plane(x,y,c)−M(x,y)＞＝0のとき：R(x,y,c)＝I(x,y,c)−J_plane(x,y,c)−M(x,y)
I(x,y,c)−J_plane(x,y,c)−M(x,y)＜0のとき：R(x,y,c)＝0
・・・式（１３）
上記式（１３）における(x,y,c)及び(x,y)の意味は、前述の式（７）及び式（８）におけるそれと同じである。図１２は、図７の入力画像から得られたレイリー散乱に相当する成分を示した画像である。このようにして、入力画像からレイリー散乱成分が抽出される。

［合成処理］
最後に、合成処理部３０７における、プレーン毎に生成された第２補正画像に、抽出されたミー散乱成分とレイリー散乱成分を任意の割合で再合成する処理について説明する。具体的には、第２補正画像J_planeの画素毎に、以下の式（１４）を用いて画素値の加算を行うことにより合成画像J_combをプレーン毎に求める。
J_comb(x,y,c)＝J_plane(x,y,c)＋m・M(x,y)＋r・R(x,y,c) ・・・式（１４）
上記式（１４）において、mはミー散乱成分に乗算する強度係数、rはレイリー散乱成分に乗算する強度係数であり、例えば、r＝0.5、m＝0.1といった具合に、それぞれ0〜1の間の値を取ることが望ましい。また、m＝0、r＝0とすることで、コントラストの向上のみに特化し、色付きを考慮しない画像を得ることが可能である。さらに、rを1に近づけると処理後の色付きが弱まる傾向にあり、mを1に近づけると霧の除去強さが弱まり、コントラストが低下する傾向にある。このように、mとrの値を任意に変えて画像合成を行なうことにより、光の散乱による影響の割合を制御することができる。

そして、求めたプレーン毎の合成画像J_combを１つにまとめて、最終的な出力画像（ヘイズ除去画像）が得られる。図１３は、図７の入力画像に対して上記合成処理を行なって得られた出力画像を示している。図１３から把握することはやや困難ではあるが、大気中の微粒子による散乱成分が除去されたより自然な画像となっている。

以上説明したように、本発明によれば、微粒子成分の影響により視認性が低下した撮像画像の視認性を改善するための画像処理のリアルタイム性を確保しつつ、処理負荷を抑制することができる。そして、より自然な形で大気中の微粒子の影響で低下したコントラストを向上させ、視認性を改善させた高画質な画像を得ることが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１ 入力画像データ取得部
２０２ 露出値取得部
２０３ ヘイズ除去処理部
３０１ 大気光成分抽出部
３０２ 下位画素画像生成部
３０３ 第１補正処理部
３０４ 第２補正処理部
３０５ ミー散乱成分抽出部
３０６ レイリー散乱成分抽出部
３０７ 合成処理部

Claims (8)

1. 大気中の微粒子による影響を含む撮像画像から大気光成分を抽出する抽出手段と、
   抽出された前記大気光成分に基づいて、前記撮像画像から前記微小粒子による影響を除去した画像を生成する除去処理手段と、
   を備え、
   前記抽出手段は、前記撮像画像のデータと当該撮像画像を撮影した際の露出値とのデータに基づき、前記抽出を行う
   ことを特徴とする画像処理装置。
2. 前記撮像画像はＲＧＢの色空間で表される画像であり、
   前記抽出手段は、
   前記露出値に基づき、輝度値に関する所定の閾値を決定する手段と、
   前記撮像画像におけるＲＧＢ値を輝度値へ変換し、前記所定の閾値以上の輝度値を持つ画素の中から、大気光を推定するための画素をロバスト推定処理によって決定する手段と、
   前記決定された画素の画素値をもとに大気光を推定する、
   ことにより前記抽出を行う
   を特徴とする請求項１に記載の画像処理装置。
3. 前記露出値を、前記撮像画像の画素値から又は測光計を用いた測定によって求めることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記抽出手段は、異なる露出値にそれぞれ対応する閾値を関連付けたテーブルを参照して、前記所定の閾値を決定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記抽出手段は、前記露出値と前記所定の閾値との関係を規定する数式を用いて、前記所定の閾値を決定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 請求項１乃至５のいずれか１項に記載の画像処理装置を備えた、前記撮像画像を撮像する撮像装置。
7. 大気中の微粒子による影響を含む撮像画像から大気光成分を抽出する抽出ステップと、
   抽出された前記大気光成分に基づいて、前記撮像画像から前記微小粒子による影響を除去した画像を生成する除去処理ステップと、
   を含み、
   前記抽出ステップでは、前記撮像画像のデータと当該撮像画像を撮影した際の露出値とのデータに基づき、前記抽出を行う
   ことを特徴とする画像処理方法。
8. コンピュータを請求項１乃至５のいずれか１項に記載の画像処理装置として機能させるためのプログラム。