JP2023019052A - 画像処理装置及びプログラム - Google Patents

Abstract

【課題】ダークチャネル法を用いて画像の霧又は靄を除去する構成を採用した場合に比較して、霧又は靄を除去した結果の安定性を向上する。【解決手段】プロセッサを備え、プロセッサは、入力画像から、入力画像の色を反転させた反転画像を生成し、反転画像から、反転画像に対して逆光補正処理を行った逆光補正画像を生成し、逆光補正画像の色を反転させることにより、入力画像から霧又は靄を除去する霧靄除去処理を行うことを特徴とする画像処理装置。【選択図】図２

Description

本発明は、画像処理装置及びプログラムに関する。

特許文献１には、霧のある所定画像から霧を除去する方法であって、所定画像の、ピクセルに基づくダークチャネル画像を生成し、所定画像の、局所領域に基づくダークチャネル画像を生成し、所定画像の最終的なダークチャネル画像を取得し、所定画像の大気光の値のR、G、B成分を取得し、最終的なダークチャネル画像、大気光の値のR、G、B成分のうちの最大値、及び霧除去パラメータを用いて、所定画像の透過画像を取得し、透過画像、大気光の値、及び所定画像中の各ピクセルのR、G、Bチャネルの強度値を用いて、霧除去画像中の各ピクセルのR、G、Bチャネルの強度値を取得する方法が記載されている。

特許文献２には、画像データを取得する取得部と、画像データの領域毎のダークチャネル値を取得して透過率を推定し、階調を補正する第１の階調補正部と、トーンカーブを用いて画像データの階調を補正する第２の階調補正部と、どの階調補正部を用いて階調補正を行うかを制御する制御部と、を備える画像処理装置が記載されている。

特許文献３には、霧含有画像から反射率成分と照明光成分とを分離する分離手段、分離した反射率成分について、別途決定された霧濃度に基づいて霧を除去する反射率成分霧除去手段、分離した照明光成分について、霧濃度に基づいて霧を除去する照明光成分霧除去手段、霧除去後の反射率成分および霧除去後の照明光成分を合成する合成手段、を備え、反射率成分霧除去手段における霧除去と照明光成分霧除去手段における霧除去では、霧除去度が異なる、霧除去装置が記載されている。

特許５９５４０６３号公報 特開２０２０－１９５１２７号公報 特許６２２８６７０号公報

ダークチャネル法を用いて画像の霧又は靄を除去する構成を採用した場合は、画像によって霧又は靄を除去した結果の良し悪しが異なる。つまり、霧又は靄を除去した結果の安定性が低い。

本発明の目的は、ダークチャネル法を用いて画像の霧又は靄を除去する構成を採用した場合に比較して、霧又は靄を除去した結果の安定性を向上することにある。

請求項１に記載の発明は、プロセッサを備え、前記プロセッサは、入力画像から、当該入力画像の色を反転させた反転画像を生成し、前記反転画像から、当該反転画像に対して逆光補正処理を行った逆光補正画像を生成し、前記逆光補正画像の色を反転させることにより、前記入力画像から霧又は靄を除去する霧靄除去処理を行うことを特徴とする画像処理装置である。
請求項２に記載の発明は、前記プロセッサは、前記入力画像に対して前記霧靄除去処理を行うことにより、当該入力画像の視認性を制御するための第１の制御画像を生成し、前記入力画像と、前記第１の制御画像と、当該入力画像に対して当該第１の制御画像が与える影響の度合いを示す第１の度合い情報とに基づいて、出力画像を生成することを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記プロセッサは、前記第１の度合い情報を第１の値に設定するユーザ指示を受け付けることを特徴とする請求項２に記載の画像処理装置である。
請求項４に記載の発明は、前記プロセッサは、スライドバー上で前記第１の値に対応する位置を指定するユーザ操作が行われた場合に、前記ユーザ指示を受け付けることを特徴とする請求項３に記載の画像処理装置である。
請求項５に記載の発明は、前記プロセッサは、ユーザが第１の指示を行った場合に、前記入力画像に対して前記霧靄除去処理を行うことにより、前記第１の制御画像を生成し、前記入力画像と、前記第１の制御画像と、前記第１の度合い情報とに基づいて、前記出力画像を生成し、ユーザが前記第１の指示と異なる第２の指示を行った場合に、前記入力画像に対して逆光補正処理を行うことにより、当該入力画像の視認性を制御するための第２の制御画像を生成し、前記入力画像と、前記第２の制御画像と、当該入力画像に対して当該第２の制御画像が与える影響の度合いを示す第２の度合い情報とに基づいて、前記出力画像を生成することを特徴とする請求項２に記載の画像処理装置である。
請求項６に記載の発明は、前記プロセッサは、１つの度合い情報を特定の値に設定するユーザ指示を受け付け、ユーザが前記第１の指示を行った場合とは、前記特定の値が第１の範囲内にある場合であり、ユーザが前記第２の指示を行った場合とは、前記特定の値が前記第１の範囲とは重複しない第２の範囲内にある場合であることを特徴とする請求項５に記載の画像処理装置である。
請求項７に記載の発明は、前記プロセッサは、スライドバー上で前記特定の値に対応する位置を指定するユーザ操作が行われた場合に、前記ユーザ指示を受け付けることを特徴とする請求項６に記載の画像処理装置である。
請求項８に記載の発明は、前記プロセッサは、前記スライドバーの前記第１の範囲に関連付けて、前記霧靄除去処理が行われる旨の情報を表示し、当該スライドバーの前記第２の範囲に関連付けて、前記逆光補正処理が行われる旨の情報を表示するように制御することを特徴とする請求項７に記載の画像処理装置である。
請求項９に記載の発明は、前記プロセッサは、ユーザが前記第１の指示を行った場合に、前記第１の度合い情報を、前記特定の値に基づく第１の値に決定し、ユーザが前記第２の指示を行った場合に、前記第２の度合い情報を、前記特定の値に基づく第２の値に決定することを特徴とする請求項６に記載の画像処理装置である。
請求項１０に記載の発明は、前記プロセッサは、前記入力画像に対して逆光補正処理を行うことにより、当該入力画像の視認性を制御するための第２の制御画像を生成し、前記第２の制御画像と、前記入力画像に対して当該第２の制御画像が与える影響の度合いを示す第２の度合い情報とに更に基づいて、前記出力画像を生成することを特徴とする請求項２に記載の画像処理装置である。
請求項１１に記載の発明は、前記プロセッサは、前記第１の度合い情報を第１の値に設定し、前記第２の度合い情報を第２の値に設定するユーザ指示を受け付けることを特徴とする請求項１０に記載の画像処理装置である。
請求項１２に記載の発明は、前記プロセッサは、領域上で前記第１の値及び前記第２の値に対応する位置を指定するユーザ操作が行われた場合に、前記ユーザ指示を受け付けることを特徴とする請求項１１に記載の画像処理装置である。
請求項１３に記載の発明は、コンピュータに、入力画像から、当該入力画像の色を反転させた反転画像を生成し、前記反転画像から、当該反転画像に対して逆光補正処理を行った逆光補正画像を生成し、前記逆光補正画像の色を反転させることにより、前記入力画像から霧又は靄を除去する霧靄除去処理を行う機能を実現させるためのプログラムである。

請求項１の発明によれば、ダークチャネル法を用いて画像の霧又は靄を除去する構成を採用した場合に比較して、霧又は靄を除去した結果の安定性を向上することができる。
請求項２の発明によれば、入力画像に対する霧又は靄の除去の効果を操作することができる。
請求項３の発明によれば、入力画像に対する霧又は靄の除去の効果をユーザが指示することが可能となる。
請求項４の発明によれば、入力画像に対する霧又は靄の除去の効果をユーザが指示する操作が簡単になる。
請求項５の発明によれば、入力画像に対して霧又は靄の除去及び逆光補正のうちユーザが指示した方を実行することができる。
請求項６の発明によれば、霧又は靄の除去及び逆光補正の一方をユーザが１つの度合い情報を用いて指示することが可能となる。
請求項７の発明によれば、霧又は靄の除去及び逆光補正の一方をユーザが１つの度合い情報を用いて指示する操作が簡単になる。
請求項８の発明によれば、霧又は靄の除去及び逆光補正の何れを実行することになるかをユーザに知らせることができる。
請求項９の発明によれば、入力画像に対する霧又は靄の除去の効果及び逆光補正の効果の一方をユーザが指示することが可能となる。
請求項１０の発明によれば、入力画像に対して霧又は靄の除去及び逆光補正の両方を実行することができる。
請求項１１の発明によれば、入力画像に対する霧又は靄の除去の効果及び逆光補正の効果の両方をユーザが指示することが可能となる。
請求項１２の発明によれば、入力画像に対する霧又は靄の除去の効果及び逆光補正の効果の両方をユーザが指示する操作が簡単になる。
請求項１３の発明によれば、ダークチャネル法を用いて画像の霧又は靄を除去する構成を採用した場合に比較して、霧又は靄を除去した結果の安定性を向上することができる。

本発明の実施の形態における画像処理装置のハードウェア構成例を示した図である。 本発明の第１の実施の形態における画像処理装置の機能構成例を表すブロック図である。 本発明の実施の形態における逆光補正処理部の機能構成例を示したブロック図である。 原画像がＲＧＢ画像である場合の多層画像生成部による多層画像の生成の様子を示した図である。 （ａ）～（ｃ）は、σの値によって多層画像の各層の画像の周波数が異なることを示した図である。 原画像が輝度色度画像である場合の多層画像生成部による多層画像の生成の様子を示した図である。 本発明の第１の実施の形態における画像処理装置の動作例を表すフローチャートである。 本発明の第２の実施の形態における画像処理装置の機能構成例を表すブロック図である。 制御パラメータαを設定するためのユーザインターフェースの一例を示した図である。 本発明の第２の実施の形態における画像処理装置の動作例を表すフローチャートである。 本発明の第３の実施の形態における画像処理装置の機能構成例を表すブロック図である。 指示パラメータｔを設定するためのユーザインターフェースの一例を示した図である。 本発明の第３の実施の形態における画像処理装置の動作例を表すフローチャートである。 本発明の第４の実施の形態における画像処理装置の機能構成例を表すブロック図である。 制御パラメータα，βを設定するためのユーザインターフェースの一例を示した図である。 本発明の第４の実施の形態における画像処理装置の動作例を表すフローチャートである。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

［本実施の形態の概要］
本実施の形態は、入力画像から、入力画像の色を反転させた反転画像を生成し、反転画像から、反転画像に対して逆光補正処理を行った逆光補正画像を生成し、逆光補正画像の色を反転させることにより、入力画像から霧又は靄を除去する霧靄除去処理を行う画像処理装置を提供する。

ここで、霧又は靄とは、水蒸気、粉塵等の空気中に浮遊する微粒子がシーンの環境光を拡散することで、コントラストの低下や画像全体の輝度の上昇を起こし、画像の視認性を低下させる要因となるものである。このような霧又は靄のかかった画像から霧又は靄を除去する霧靄除去処理は、撮影場面において広く用いられている。尚、ここでいう霧靄除去は、霧除去、霞除去、Ｄｅｈａｚｅ（ディヘイズ）、Ｄｅｆｏｇｇｉｎｇ（デフォッギング）等と呼ばれることもある。但し、以下では、「霧靄除去」を、簡略化のため、「霧除去」として説明する。

［画像処理装置のハードウェア構成］
図１は、本実施の形態における画像処理装置１０のハードウェア構成例を示した図である。図示するように、画像処理装置１０は、プロセッサ１１と、ＲＡＭ（Random Access Memory）１２と、ＨＤＤ（Hard Disk Drive）１３と、通信インターフェース（以下、「通信Ｉ／Ｆ」と表記する）１４と、表示デバイス１５と、入力デバイス１６とを備える。

プロセッサ１１は、ＯＳ（Operating System）やアプリケーション等の各種ソフトウェアを実行し、後述する各機能を実現する。

ＲＡＭ１２は、プロセッサ１１の作業用メモリ等として用いられるメモリである。ＨＤＤ１３は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する例えば磁気ディスク装置である。

通信Ｉ／Ｆ１４は、通信回線を介して他の装置との間で各種情報の送受信を行う。

表示デバイス１５は、各種情報を表示する例えばディスプレイである。入力デバイス１６は、ユーザが情報を入力するために用いる例えばキーボードやマウスである。

［第１の実施の形態］
図２は、第１の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。図示するように、第１の実施の形態における画像処理装置１０は、第１反転処理部２１と、逆光補正処理部２２と、第２反転処理部２３とを備える。

第１反転処理部２１は、原画像に対して色を反転させる反転処理を行うことにより、反転画像を生成する。本実施の形態では、入力画像の一例として、原画像を用いている。そして、本実施の形態では、入力画像から、入力画像の色を反転させた反転画像を生成することの一例として、第１反転処理部２１の処理を行っている。

逆光補正処理部２２は、第１反転処理部２１が生成した反転画像に対して逆光補正処理を行うことにより、逆光補正画像を生成する。本実施の形態では、反転画像から、反転画像に対して逆光補正処理を行った逆光補正画像を生成することの一例として、逆光補正処理部２２の処理を行っている。

第２反転処理部２３は、逆光補正処理部２２が生成した逆光補正画像に対して色を反転させる反転処理を再度行う。本実施の形態では、逆光補正画像の色を反転させることの一例として、第２反転処理部２３の処理を行っている。

第１の実施の形態では、第１反転処理部２１、逆光補正処理部２２、及び第２反転処理部２３のこのような処理により、原画像から霧を除去する霧除去処理を行っている。従って、図２では、第２反転処理部２３の出力を、霧除去画像としている。ここで、霧除去処理は、入力画像から霧又は靄を除去する霧靄除去処理の一例である。

これは、逆光補正処理と霧除去処理との間の関係性を用いたものである。逆光補正処理は、逆光によって暗くなった領域を、本来の色味を復元するように明るくする処理である。これに対して、霧除去処理は、霧によって明るくなった領域を、本来の色味を復元するように暗くする処理である。両者は、画像を本来の色味に近付けるように画素値を操作するという観点において同一の問題で、その中でダイナミックレンジを広げる方向が逆になっていると考えられる。

この関係性を用いると、上述の通り、霧がかかった画像の色を反転させ、逆光補正処理を行い、画像の色を再度反転させる処理が、霧除去処理に相当する。色を反転させた空間では、霧がかかった領域は暗部となるので、逆光補正処理によりその領域を明るくし、再度色を反転させると、霧がかかった領域は本来の色味を復元するように暗くできたことになる。ここで用いる逆光補正処理のアルゴリズムは限定しないが、Ｒｅｔｉｎｅｘ理論に基づく方法が幅広い画像に対して高精度かつ高速である。

そこで、以下、逆光補正処理のアルゴリズムとしてＲｅｔｉｎｅｘ理論に基づく方法を用いた場合の逆光補正処理部２２の構成について説明する。

図３は、逆光補正処理部２２の機能構成例を表すブロック図である。図示するように、逆光補正処理部２２は、多層画像生成部３１と、照明推定部３２と、反射率推定部３３とを備える。

多層画像生成部３１は、主に、原画像を平滑化して平滑化画像を生成する処理を行う。これは、後段の反射率の推定のために行われる。平滑化は、例えば、移動平均法又は以下のガウス関数で表されるコンボリューションを行うことにより実施される。

ここで、ｘ，ｙはある画素の位置を表し、ｋは画像処理のフィルタサイズの画素分で積分した場合に結果が１になるように正規化する係数を表し、σは平滑化度合い（スケール）を表す。尚、上記の関数は一例であり、結果として画像が平滑化されるフィルタであれば如何なるものを用いてもよい。例えば、数式１を変形した関数によるフィルタで、エッジ保存を行う平滑化フィルタとして知られるバイラテラルフィルタがあるが、これを用いてもよいものとする。

多層画像生成部３１による多層画像の生成の様子を図４に示す。図４には、原画像がＲＧＢの３プレーンから構成される場合において、多層画像として、スケール１からスケールＮまでのＮ層の画像が生成される例を示している。ここで、スケール１、スケール２、・・・、スケールＮの層は、数式１のσを変化させることにより得られる層であるため、平滑化度合いが異なることになる。図５（ａ）～（ｃ）に示すように、σを変化させると画像の周波数が変化する。具体的には、（ａ）に示すようにσが小さいと高周波になり、（ｃ）に示すようにσが大きいと低周波になり、（ｂ）に示すようにσが中程度だと周波数も中程度になる。

以上のように、多層画像はＲＧＢの３プレーンのＮ層でもよいが、図６のようなものでもよい。図６は、ＲＧＢ画像を予めＹＣｂＣｒ画像のような輝度色度画像に変換しておく例を示したものであり、この例では、輝度を表すＹの１プレーンのみを多層画像に変換している。これは、輝度のみで照明成分の推定を行う場合があるためである。尚、ここでは、輝度色度で表される色空間としてＹＣｂＣｒ色空間を用いたが、Ｌ＊ａ＊ｂ＊色空間、ＨＳＶ色空間（但し、ＨＳは色度座標へ変換する）等を用いてもよい。Ｌ＊ａ＊ｂ＊色空間を用いた場合はＬ＊を、ＨＳＶ色空間を用いた場合はＶを、それぞれ輝度画像として用いればよい。

照明推定部３２は、多層画像生成部３１が生成した多層画像と、各スケールの重みとに基づいて、原画像の照明成分を推定する（以下、この推定された照明成分の画像を「照明推定画像」という）。例えば、複数の異なるスケールを用いた場合、照明成分の推定は数式２で表される。

ここで、Ｌ（ｘ，ｙ）は照明推定画像の画素値を表し、Ｇ_ｎ（ｘ，ｙ）はスケールｎに対する数式１を表し、Ｉ（ｘ，ｙ）は原画像の画素値を表し、「×」を「○」で囲んだ記号は畳み込みを表す。また、Ｗ_ｎは、スケールｎの重みを表す。但し、Ｗ_ｎは、以下の条件を満たすものとする。

反射率推定部３３は、原画像の画素値の照明推定画像の画素値に対する比を求めることにより原画像の反射率を推定する。具体的には、以下のように反射率を表す画像（以下、「反射率推定画像」という）を求める。

ここで、Ｒ（ｘ，ｙ）は反射率推定画像の画素値を表し、Ｉ（ｘ，ｙ）は原画像の画素値を表し、Ｌ（ｘ，ｙ）は照明推定画像の画素値を表す。尚、ＲＧＢの３プレーンのそれぞれで照明推定画像を算出した場合は、数式４も、Ｒ（ｘ，ｙ）がＲＧＢの３プレーン分できるものとして解釈される。また、輝度成分（ＹＣｂＣｒのＹ、Ｌ＊ａ＊ｂ＊のＬ、ＨＳＶのＶ）のみを用いる場合は、１プレーンについて数式４を用いればよい。

尚、図３では、逆光補正処理部２２の一般的な構成を示すため、入力される画像を「原画像」とし、出力される画像を「反射率推定画像」とした。しかしながら、これを図２の構成に適用する場合、入力される画像は「反転画像」とし、出力される画像は「逆光補正画像」とする。

図７は、第１の実施の形態における画像処理装置１０の動作例を表すフローチャートである。

図示するように、画像処理装置１０では、まず、第１反転処理部２１が、原画像の色を反転させることにより、反転画像を生成する（ステップ２０１）。

次に、逆光補正処理部２２が、ステップ２０１で生成された反転画像に対して逆光補正処理を行うことにより、逆光補正画像を生成する（ステップ２０２）。

その後、第２反転処理部２３が、ステップ２０２で生成された逆光補正画像の色を反転させることにより、霧除去画像を生成する（ステップ２０３）。

［第２の実施の形態］
図８は、第２の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。図示するように、第２の実施の形態における画像処理装置１０は、第１反転処理部２１と、逆光補正処理部２２と、第２反転処理部２３と、画像再現部２４と、ユーザ指示受付部２８とを備える。

第１反転処理部２１、逆光補正処理部２２、及び第２反転処理部２３は、第１の実施の形態と基本的には同じなので、ここでの説明は省略する。但し、第１の実施の形態では、第２反転処理部２３の出力を霧除去画像としたが、第２の実施の形態では、第２反転処理部２３の出力を制御画像とする。制御画像は、霧除去処理により原画像の視認性を制御するための画像である。本実施の形態では、入力画像の視認性を制御するための第１の制御画像の一例として、制御画像を用いている。そして、本実施の形態では、入力画像に対して霧靄除去処理を行うことにより第１の制御画像を生成することの一例として、第１反転処理部２１、逆光補正処理部２２、及び第２反転処理部２３の処理を行っている。

画像再現部２４は、原画像と、第２反転処理部２３が出力した制御画像とに基づいて、霧除去の効果を操作する処理を行う。例えば、画像再現部２４は、以下のような再現式により、霧除去の効果を操作した再現画像を生成する。

ここで、Ｉ_Ｄ（ｘ，ｙ）は制御画像の画素値を表し、Ｉ_Ｄ＾（ｘ，ｙ）は再現画像の画素値を表す。また、αは原画像に対して制御画像が与える影響を制御するための制御パラメータである。Ｉ_Ｄ＾（ｘ，ｙ）は、α＝１の場合、制御画像の画素値となり、α＝０の場合、原画像の画素値となる。本実施の形態において、αは０から１までの如何なる値でもよいものとする。尚、本明細書では、ハット記号を、数式中では文字の真上に付すが、文中では文字の後ろに付すものとする。

本実施の形態では、入力画像に対して第１の制御画像が与える影響の度合いを示す第１の度合い情報の一例として、制御パラメータαを用いており、出力画像の一例として、再現画像を用いている。そして、本実施の形態では、入力画像と、第１の制御画像と、第１の度合い情報とに基づいて、出力画像を生成することの一例として、画像再現部２４の処理を行っている。

ユーザ指示受付部２８は、制御パラメータαを特定の値に設定するユーザ指示を受け付ける。本実施の形態では、第１の値の一例として、特定の値を用いている。そして、本実施の形態では、第１の度合い情報を第１の値に設定するユーザ指示を受け付けることの一例として、ユーザ指示受付部２８の処理を行っている。

ここで、制御パラメータαを設定する方法としては、如何なる方法を用いてもよい。図９は、制御パラメータαを設定するためのユーザインターフェースの一例を示した図である。図９には、表示デバイス１５が表示するスライドバー４１を示している。スライドバー４１では、つまみ４１６を左方向、つまりαを０に近付ける方向に動かすことで、再現画像は、画像４１２から、霧除去効果が小さい画像４１１へと変化する。また、スライドバー４１では、つまみ４１６を右方向、つまりαを１に近付ける方向に動かすことで、再現画像は、画像４１２から、霧除去効果が大きい画像４１３へと変化する。この場合、スライドバー４１のつまみ４１６を移動させるユーザ操作は、スライドバー上で第１の値に対応する位置を指定するユーザ操作の一例である。

図１０は、第２の実施の形態における画像処理装置１０の動作例を表すフローチャートである。

図示するように、画像処理装置１０では、まず、ユーザ指示受付部２８が、制御パラメータαを取得する（ステップ２２１）。具体的には、ユーザ指示受付部２８は、制御パラメータαを含むユーザ指示を受け付け、そのユーザ指示から制御パラメータαを取得する。

次に、第１反転処理部２１が、原画像の色を反転させることにより、反転画像を生成する（ステップ２２２）。

次に、逆光補正処理部２２が、ステップ２２２で生成された反転画像に対して逆光補正処理を行うことにより、逆光補正画像を生成する（ステップ２２３）。

次に、第２反転処理部２３が、ステップ２２３で生成された逆光補正画像の色を反転させることにより、制御画像を生成する（ステップ２２４）。

その後、画像再現部２４が、原画像と、ステップ２２４で生成された制御画像と、ステップ２２１で取得された制御パラメータαとに基づいて、再現画像を生成する（ステップ２２５）。

［第３の実施の形態］
本実施の形態における霧除去処理を用いれば、逆光補正処理と霧除去処理とを同一の処理系にまとめられる。霧が濃い画像等に対しては、霧除去処理によって暗くするのよりも逆光補正処理によって明るくした方が視認性が高まる場合がある。そこで、第３の実施の形態では、ユーザ指示によって霧除去処理及び逆光補正処理の一方を選択する。ユーザは霧除去処理及び逆光補正処理の何れかをアルゴリズムとして明示的に選択することなく、視認性の向上した画像を得ることになる。

図１１は、第３の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。図示するように、第３の実施の形態における画像処理装置１０は、第１反転処理部２１と、逆光補正処理部２２と、第２反転処理部２３と、画像再現部２４と、逆光補正処理部２５と、画像再現部２６と、ユーザ指示受付部２８とを備える。

第１反転処理部２１、逆光補正処理部２２、第２反転処理部２３、及び画像再現部２４は、第２の実施の形態と基本的には同じなので、ここでの説明は省略する。但し、第２の実施の形態では、第２反転処理部２３の出力を制御画像としたが、第３の実施の形態では、第２反転処理部２３の出力を第１制御画像とする。第３の実施の形態における第１制御画像は、第２の実施の形態における制御画像と同じものである。本実施の形態では、入力画像に対して霧靄除去処理を行うことにより、第１の制御画像を生成することの一例として、第１反転処理部２１、逆光補正処理部２２、及び第２反転処理部２３の処理を行っている。また、本実施の形態では、入力画像と、第１の制御画像と、第１の度合い情報とに基づいて、出力画像を生成することの一例として、画像再現部２４の処理を行っている。

逆光補正処理部２５は、原画像に対して逆光補正処理を行うことにより、逆光補正処理により原画像の視認性を制御するための第２制御画像を生成する。ここで用いる逆光補正処理のアルゴリズムも限定しないが、Ｒｅｔｉｎｅｘ理論に基づく方法が幅広い画像に対して高精度かつ高速である。逆光補正処理のアルゴリズムとしてＲｅｔｉｎｅｘ理論に基づく方法を用いた場合の逆光補正処理部２５の構成については、図３～図６を参照して説明したものと同じなので、ここでの詳細な説明は省略する。本実施の形態では、入力画像の視認性を制御するための第２の制御画像の一例として、第２制御画像を用いている。そして、本実施の形態では、入力画像に対して逆光補正処理を行うことにより第２の制御画像を生成することの一例として、逆光補正処理部２５の処理を行っている。

画像再現部２６は、原画像と、逆光補正処理部２５が出力した第２制御画像とに基づいて、逆光補正の効果を操作する処理を行う。例えば、画像再現部２６は、以下のような再現式により、逆光補正の効果を操作した再現画像を生成する。

ここで、Ｉ_Ｒ（ｘ，ｙ）は第２制御画像の画素値を表し、Ｉ_Ｒ＾（ｘ，ｙ）は再現画像の画素値を表す。また、αは原画像に対して第２制御画像が与える影響を制御するための制御パラメータである。Ｉ_Ｒ＾（ｘ，ｙ）は、α＝１の場合、第２制御画像の画素値となり、α＝０の場合、原画像の画素値となる。本実施の形態において、αは０から１までの如何なる値でもよいものとする。

本実施の形態では、入力画像に対して第２の制御画像が与える影響の度合いを示す第２の度合い情報の一例として、画像再現部２６に入力される制御パラメータαを用いており、出力画像の一例として、再現画像を用いている。そして、本実施の形態では、入力画像と、第２の制御画像と、第２の度合い情報とに基づいて、出力画像を生成することの一例として、画像再現部２６の処理を行っている。

ユーザ指示受付部２８は、ユーザの指示を受け付ける。ユーザの指示は、異なる２つの指示、つまり、第１の指示、及び、第１の指示とは異なる第２の指示であってよい。ユーザ指示受付部２８は、第１の指示を受け付けた場合に、第１反転処理部２１、逆光補正処理部２２、第２反転処理部２３、及び画像再現部２４を動作させ、霧除去の効果を操作した再現画像を生成するようにしてよい。ユーザ指示受付部２８は、第２の指示を受け付けた場合に、逆光補正処理部２５及び画像再現部２６を動作させ、逆光補正の効果を操作した再現画像を生成するようにしてよい。

また、ユーザ指示受付部２８は、指示パラメータｔを特定の値に設定するユーザ指示を受け付けてもよい。この場合、指示パラメータｔは、１つの度合い情報の一例である。ユーザ指示受付部２８は、第１の指示として、指示パラメータｔを第１の範囲内の特定の値に設定する指示を受け付け、第２の指示として、指示パラメータｔを第１の範囲とは重複しない第２の範囲内の特定の値に設定する指示を受け付けてよい。ここで、第１の範囲は例えば－１から０までの範囲であってよく、第２の範囲は例えば０から１までの範囲であってよい。つまり、ユーザ指示受付部２８は、典型的には、指示パラメータｔが－１≦ｔ＜０を満たす場合に霧除去処理を行い、指示パラメータｔが０≦ｔ≦１を満たす場合に逆光補正処理を行ってよい。

更に、ユーザ指示受付部２８は、制御パラメータαを、指示パラメータｔに基づく値に決定してよい。ここで、指示パラメータｔに基づく値とは、指示パラメータｔが－１≦ｔ＜０を満たす場合は－ｔであってよく、指示パラメータｔが０≦ｔ≦１を満たす場合はｔであってよい。つまり、ユーザ指示受付部２８は、典型的には、霧除去処理では制御パラメータαとして－ｔを画像再現部２４に与えることで霧除去の強度を操作し、逆光補正処理では制御パラメータαとしてｔを画像再現部２６に与えることで逆光補正の強度を操作する。

ここで、指示パラメータｔを設定する方法としては、如何なる方法を用いてもよい。図１２は、指示パラメータｔを設定するためのユーザインターフェースの一例を示した図である。図１２には、表示デバイス１５が表示するスライドバー４２を示している。スライドバー４２では、つまみ４２６を左方向、つまりｔを－１に近付ける方向に動かすことで、再現画像は、原画像４２３から、霧除去効果が小さい画像４２２、霧除去効果が大きい画像４２１へと変化する。また、スライドバー４２では、つまみ４２６を右方向、つまりｔを１に近付ける方向に動かすことで、再現画像は、原画像４２３から、逆光補正効果が小さい画像４２４、逆光補正効果が大きい画像４２５へと変化する。この場合、スライドバー４２のつまみ４２６を移動させるユーザ操作は、スライドバー上で特定の値に対応する位置を指定するユーザ操作の一例である。

また、図１２に示すように、スライドバー４２では、－１≦ｔ＜０の範囲に対して「霧除去モード」の文言４２７を表示し、０≦ｔ≦１の範囲に対して「逆光補正モード」の文言４２８を表示するようにしてもよい。この場合、文言４２７を表示することは、スライドバーの第１の範囲に関連付けて、霧靄除去処理が行われる旨の情報を表示することの一例であり、文言４２８を表示することは、スライドバーの第２の範囲に関連付けて、逆光補正処理が行われる旨の情報を表示することの一例である。

図１３は、第３の実施の形態における画像処理装置１０の動作例を表すフローチャートである。

図示するように、画像処理装置１０では、まず、ユーザ指示受付部２８が、指示パラメータｔを取得する（ステップ２４１）。具体的には、ユーザ指示受付部２８は、指示パラメータｔを含むユーザ指示を受け付け、そのユーザ指示から指示パラメータｔを取得する。

これにより、ユーザ指示受付部２８は、指示パラメータｔの値を判定する（ステップ２４２）。

その結果、指示パラメータｔの値が－１≦ｔ＜０を満たすと判定すれば、ユーザ指示受付部２８は、制御パラメータαを－ｔに設定する（ステップ２４３）。そして、ユーザ指示受付部２８は、処理をステップ２４４へ進める。

即ち、第１反転処理部２１が、原画像の色を反転させることにより、反転画像を生成する（ステップ２４４）。

次に、逆光補正処理部２２が、ステップ２４４で生成された反転画像に対して逆光補正処理を行うことにより、逆光補正画像を生成する（ステップ２４５）。

次に、第２反転処理部２３が、ステップ２４５で生成された逆光補正画像の色を反転させることにより、第１制御画像を生成する（ステップ２４６）。

その後、画像再現部２４が、原画像と、ステップ２４６で生成された第１制御画像と、ステップ２４３で設定された制御パラメータαとに基づいて、再現画像を生成する（ステップ２４７）。

一方、指示パラメータｔの値が０≦ｔ≦１を満たすと判定すれば、ユーザ指示受付部２８は、制御パラメータαをｔに設定する（ステップ２４８）。そして、ユーザ指示受付部２８は、処理をステップ２４９へ進める。

即ち、逆光補正処理部２５が、原画像に対して逆光補正処理を行うことにより、第２制御画像を生成する（ステップ２４９）。

その後、画像再現部２６が、原画像と、ステップ２４９で生成された第２制御画像と、ステップ２４８で設定された制御パラメータαとに基づいて、再現画像を生成する（ステップ２５０）。

［第４の実施の形態］
１枚の画像内に霧除去処理を行うべき領域と逆光補正処理を行うべき領域とが存在する場合は自然画像を中心に多い。そこで、第４の実施の形態では、そのような画像について、霧除去処理を行うべき領域に対しては霧除去処理を、逆光補正処理を行うべき領域に対しては逆光補正処理を実施する。

図１４は、第４の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。図示するように、第４の実施の形態における画像処理装置１０は、第１反転処理部２１と、逆光補正処理部２２と、第２反転処理部２３と、逆光補正処理部２５と、画像合成部２７と、ユーザ指示受付部２８とを備える。

第１反転処理部２１、逆光補正処理部２２、及び第２反転処理部２３は、第３の実施の形態と同じなので、ここでの説明は省略する。本実施の形態では、入力画像に対して霧靄除去処理を行うことにより、第１の制御画像を生成することの一例として、第１反転処理部２１、逆光補正処理部２２、及び第２反転処理部２３の処理を行っている。

逆光補正処理部２５も、第３の実施の形態と同じなので、ここでの説明は省略する。本実施の形態では、入力画像に対して逆光補正処理を行うことにより、第２の制御画像を生成することの一例として、逆光補正処理部２５の処理を行っている。

画像合成部２７は、原画像と、第２反転処理部２３が出力した第１制御画像と、逆光補正処理部２５が出力した第２制御画像とに基づいて、霧除去の効果及び逆光補正の効果を操作する処理を行う。例えば、画像合成部２７は、以下のような合成式により、霧除去の効果及び逆光補正の効果を操作した合成画像を生成する。

ここで、Ｉ_Ｄ（ｘ，ｙ）は第１制御画像の画素値を表し、Ｉ_Ｒ（ｘ，ｙ）は第２制御画像の画素値を表し、Ｉ_ＲＤ（ｘ，ｙ）は合成画像の画素値を表す。また、αは原画像に対して第１制御画像が与える影響、つまり、霧除去の効果を制御するための制御パラメータである（０≦α≦１）。βは原画像に対して第２制御画像が与える影響、つまり、逆光補正の効果を制御するための制御パラメータである（０≦β≦１）。

本実施の形態における霧除去処理は、逆光補正処理に対して反転関係にあるため、霧除去処理が効く領域と逆光補正処理が効く領域とが独立する。つまり、霧除去処理が効く領域は逆光補正処理では変化がなく、逆光補正処理が効く領域は霧除去処理では変化がない。この性質を用いると、霧除去処理と逆光補正処理とを同時に実施できる。

最も単純な例として、数式７においてα＝β＝１、つまり霧除去処理と逆光補正処理とを共に最大に効かせる場合を考える。この場合、Ｉ_ＲＤ＝Ｉ_Ｄ＋Ｉ_Ｒ－Ｉとなる。上記の独立関係により、Ｉ_ＤのうちＩから変化していない領域と、Ｉ_ＲのうちＩから変化していない領域とを合わせると、Ｉと一致する。よって、Ｉ_Ｄ＋Ｉ_ＲからＩを減算すると、それぞれ独立した領域である、Ｉ_ＤのうちＩから変化した領域（霧除去された領域）と、Ｉ_ＲのうちＩから変化した領域（逆光補正された領域）とを合成した合成画像が得られる。

本実施の形態では、出力画像の一例として、合成画像を用いている。そして、本実施の形態では、入力画像と、第１の制御画像と、第１の度合い情報と、第２の制御画像と、第２の度合い情報とに基づいて、出力画像を生成することの一例として、画像合成部２７の処理を行っている。

ユーザ指示受付部２８は、制御パラメータα，βを特定の値に設定するユーザ指示を受け付ける。本実施の形態では、第１の値の一例として、制御パラメータαが設定される特定の値を用いており、第２の値の一例として、制御パラメータβが設定される特定の値を用いている。そして、本実施の形態では、第１の度合い情報を第１の値に設定し、第２の度合い情報を第２の値に設定するユーザ指示を受け付けることの一例として、ユーザ指示受付部２８の処理を行っている。

ここで、制御パラメータα，βを設定する方法としては、如何なる方法を用いてもよい。図１５は、制御パラメータα，βを設定するためのユーザインターフェースの一例を示した図である。図１５には、表示デバイス１５が表示する領域４３を示している。領域４３では、横軸上の座標α、縦軸上の座標βに対応する点Ｐを指定することで、制御パラメータα，βが指定される。この場合、領域４３の点Ｐを指定するユーザ操作は、領域上で第１の値及び第２の値に対応する位置を指定するユーザ操作の一例である。

図１６は、第４の実施の形態における画像処理装置１０の動作例を表すフローチャートである。

図示するように、画像処理装置１０では、まず、ユーザ指示受付部２８が、制御パラメータα，βを取得する（ステップ２６１）。具体的には、ユーザ指示受付部２８は、制御パラメータα，βを含むユーザ指示を受け付け、そのユーザ指示から制御パラメータα，βを取得する。

次に、第１反転処理部２１が、原画像の色を反転させることにより、反転画像を生成する（ステップ２６２）。

次に、逆光補正処理部２２が、ステップ２６２で生成された反転画像に対して逆光補正処理を行うことにより、逆光補正画像を生成する（ステップ２６３）。

次に、第２反転処理部２３が、ステップ２６３で生成された逆光補正画像の色を反転させることにより、第１制御画像を生成する（ステップ２６４）。

次に、逆光補正処理部２５が、原画像に対して逆光補正処理を行うことにより、第２制御画像を生成する（ステップ２６５）。

その後、画像合成部２７が、原画像と、ステップ２６４で生成された第１制御画像と、ステップ２６５で生成された第２制御画像と、ステップ２６１で取得された制御パラメータα，βとに基づいて、合成画像を生成する（ステップ２６６）。

［プロセッサ］
本実施の形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ：Central Processing Unit等）や、専用のプロセッサ（例えばＧＰＵ：Graphics Processing Unit、ＡＳＩＣ：Application Specific Integrated Circuit、ＦＰＧＡ：Field Programmable Gate Array、プログラマブル論理デバイス等）を含むものである。

また、本実施の形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は、本実施の形態において記載した順序のみに限定されるものではなく、変更してもよい。

［プログラム］
本実施の形態における画像処理装置１０が行う処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。

即ち、本実施の形態を実現するプログラムは、コンピュータに、入力画像から、入力画像の色を反転させた反転画像を生成し、反転画像から、反転画像に対して逆光補正処理を行った逆光補正画像を生成し、逆光補正画像の色を反転させることにより、入力画像から霧又は靄を除去する霧靄除去処理を行う機能を実現させるためのプログラムとして捉えられる。

尚、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ－ＲＯＭ等の記録媒体に格納して提供することも可能である。

１０…画像処理装置、２１…第１反転処理部、２２，２５…逆光補正処理部、２３…第２反転処理部、２４，２６…画像再現部、２７…画像合成部、２８…ユーザ指示受付部

Claims (13)

1. プロセッサを備え、
   前記プロセッサは、
   入力画像から、当該入力画像の色を反転させた反転画像を生成し、
   前記反転画像から、当該反転画像に対して逆光補正処理を行った逆光補正画像を生成し、
   前記逆光補正画像の色を反転させる
   ことにより、前記入力画像から霧又は靄を除去する霧靄除去処理を行うことを特徴とする画像処理装置。
2. 前記プロセッサは、
   前記入力画像に対して前記霧靄除去処理を行うことにより、当該入力画像の視認性を制御するための第１の制御画像を生成し、
   前記入力画像と、前記第１の制御画像と、当該入力画像に対して当該第１の制御画像が与える影響の度合いを示す第１の度合い情報とに基づいて、出力画像を生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記プロセッサは、前記第１の度合い情報を第１の値に設定するユーザ指示を受け付けることを特徴とする請求項２に記載の画像処理装置。
4. 前記プロセッサは、スライドバー上で前記第１の値に対応する位置を指定するユーザ操作が行われた場合に、前記ユーザ指示を受け付けることを特徴とする請求項３に記載の画像処理装置。
5. 前記プロセッサは、
   ユーザが第１の指示を行った場合に、
   前記入力画像に対して前記霧靄除去処理を行うことにより、前記第１の制御画像を生成し、
   前記入力画像と、前記第１の制御画像と、前記第１の度合い情報とに基づいて、前記出力画像を生成し、
   ユーザが前記第１の指示と異なる第２の指示を行った場合に、
   前記入力画像に対して逆光補正処理を行うことにより、当該入力画像の視認性を制御するための第２の制御画像を生成し、
   前記入力画像と、前記第２の制御画像と、当該入力画像に対して当該第２の制御画像が与える影響の度合いを示す第２の度合い情報とに基づいて、前記出力画像を生成する
   ことを特徴とする請求項２に記載の画像処理装置。
6. 前記プロセッサは、１つの度合い情報を特定の値に設定するユーザ指示を受け付け、
   ユーザが前記第１の指示を行った場合とは、前記特定の値が第１の範囲内にある場合であり、
   ユーザが前記第２の指示を行った場合とは、前記特定の値が前記第１の範囲とは重複しない第２の範囲内にある場合であることを特徴とする請求項５に記載の画像処理装置。
7. 前記プロセッサは、スライドバー上で前記特定の値に対応する位置を指定するユーザ操作が行われた場合に、前記ユーザ指示を受け付けることを特徴とする請求項６に記載の画像処理装置。
8. 前記プロセッサは、前記スライドバーの前記第１の範囲に関連付けて、前記霧靄除去処理が行われる旨の情報を表示し、当該スライドバーの前記第２の範囲に関連付けて、前記逆光補正処理が行われる旨の情報を表示するように制御することを特徴とする請求項７に記載の画像処理装置。
9. 前記プロセッサは、
   ユーザが前記第１の指示を行った場合に、前記第１の度合い情報を、前記特定の値に基づく第１の値に決定し、
   ユーザが前記第２の指示を行った場合に、前記第２の度合い情報を、前記特定の値に基づく第２の値に決定する
   ことを特徴とする請求項６に記載の画像処理装置。
10. 前記プロセッサは、
    前記入力画像に対して逆光補正処理を行うことにより、当該入力画像の視認性を制御するための第２の制御画像を生成し、
    前記第２の制御画像と、前記入力画像に対して当該第２の制御画像が与える影響の度合いを示す第２の度合い情報とに更に基づいて、前記出力画像を生成する
    ことを特徴とする請求項２に記載の画像処理装置。
11. 前記プロセッサは、前記第１の度合い情報を第１の値に設定し、前記第２の度合い情報を第２の値に設定するユーザ指示を受け付けることを特徴とする請求項１０に記載の画像処理装置。
12. 前記プロセッサは、領域上で前記第１の値及び前記第２の値に対応する位置を指定するユーザ操作が行われた場合に、前記ユーザ指示を受け付けることを特徴とする請求項１１に記載の画像処理装置。
13. コンピュータに、
    入力画像から、当該入力画像の色を反転させた反転画像を生成し、
    前記反転画像から、当該反転画像に対して逆光補正処理を行った逆光補正画像を生成し、
    前記逆光補正画像の色を反転させる
    ことにより、前記入力画像から霧又は靄を除去する霧靄除去処理を行う機能を実現させるためのプログラム。

Images