JP2015191521A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】局所領域への分割を行わないことで、計算コストを抑えつつ物理的正確さが担保された画像復元機能を提供すること。
【解決手段】本発明は、復元画像の初期解と、透過率分布の初期解とを生成する初期解生成手段と（図３、Ｓ３０２）、前記生成した復元画像の初期解と、透過率分布の初期解とのデータが入力され、透過率分布または復元画像の一方を透過率分布および復元画像を用いて更新する処理を、画素ごとに独立に、透過率分布と、復元画像とに対し交互に繰り返す反復演算手段と（図３、Ｓ３０３、Ｓ３０４）を備えたことを特徴とする画像処理装置である。
【選択図】図３

Description

本発明は、散乱光の影響が軽減された画像を生成するための画像処理に関する。

空港、港湾地域などの監視を行う目的で屋外の遠景を撮影する際に、大気中に浮遊する微粒子（霧、雨、雪、粉塵、煙など）による散乱光に起因して画像の鮮明さが低下することが問題となっている。また、海中探査などの撮影においても、水中の不純物による散乱光に起因して同様の問題が発生する。

入力画像のこのような画質劣化を補償するために実行される画像復元処理に関する従来技術としては、ダークチャネルに基づき１枚の画像から処理を行うアルゴリズムが知られている（特許文献１）。この技術は、画像を局所領域に分解し、各局所領域における輝度最小値からダークチャネルを決定し、この決定したダークチャネルに基づき透過率分布を決定することで画像復元処理を実行するものであった。

また、注目画素と、候補領域との類似度に基づきダークチャネルを決定するアルゴリズムも知られている（特許文献２）。

一方で、ダークチャネルを用いない復元アルゴリズムとして、画像を局所領域に分割し、散乱係数を決定することで復元画像を生成するアルゴリズムが知られている（特許文献３）。

米国特許８３４０４６１号公報 特開２０１２−２２１２３７号公報 特許４８０７４３９号公報

Ｎｉｓｈｉｎｏ， Ｋ．， Ｋｒａｔｚ， Ｌ．， Ｌｏｍｂａｒｄｉ， Ｓ．著「 Ｂａｙｅｓｉａｎ ｄｅｆｏｇｇｉｎｇ」Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、２０１２年、９８巻、２６３―２７８頁

しかしながら、従来技術は透過率分布が局所領域の形状を反映するため、整形処理を余分に行わなければならならず、計算コストの増大や物理的正確さに欠けるという課題があった。例えば、特許文献１ではソフトマッティング、特許文献２では透過率のノイズ除去処理、特許文献３では平滑化処理が、透過率分布に対する局所領域の形状の影響を除去するために必要であることが開示されている。

そこで本発明では、局所領域への分割を行わないことで、復元画像をより少ない計算コストでより正確に生成することを目的とする。

本発明は、復元画像の初期解と、透過率分布の初期解とを生成する初期解生成手段と（図３、Ｓ３０２）、前記生成した復元画像の初期解と、透過率分布の初期解とのデータが入力され、透過率分布または復元画像の一方を透過率分布および復元画像を用いて更新する処理を、画素ごとに独立に、透過率分布と、復元画像とに対し交互に繰り返す反復演算手段と（図３、Ｓ３０３、Ｓ３０４）を備えたことを特徴とする画像処理装置である。

本発明は、復元画像をより少ない計算コストでより正確に生成する効果を奏する。

本発明に係る、画像復元システムの構成を示すブロック図である。 実施例１に係る、画像処理装置の構成を示す機能ブロック図である。 実施例１に係る、画像復元処理を示すフローチャートである。 実施例１に係る、画素値分布を示すグラフである。 実施例２に係る、画像処理装置の構成を示す機能ブロック図である。 実施例２に係る、動画復元処理を示すフローチャートである。 実施例３に係る、画素値分布を示すグラフである。 実施例３に係る、反復処理に対する画素値の変化を示すグラフである。

［実施例１］
図１は、本発明に係る画像復元システムの構成の一例を示す図である。画像復元システムは、画像処理装置１００と、撮像装置１０８と、外部蓄積手段１０９と、表示装置１１０とから構成される。

画像処理装置１００は、ＣＰＵ１０１と、ＲＡＭ１０２と、ＲＯＭ１０３と、二次記憶装置１０４と、入力インターフェース１０５と、出力インターフェース１０６と、システムバス１０７とから構成される。撮像装置１０８と、外部蓄積手段１０９とは、入力インターフェース１０５に接続され、外部蓄積手段１０９と、表示装置１１０とは、出力インターフェース１０６に接続されている。

ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３に格納されたプログラムを実行し、システムバス１０７を介して後述する各部を統括的に制御する。これにより、後述する様々な処理が実行される。

二次記憶装置１０４は、システムバス１０７を介したプログラムの実行に必要なデータの蓄積または読み出しを行う。二次記憶装置はＨＤＤの他、光ディスクドライブやフラッシュメモリなどの記憶デバイスでもよい。

入力インターフェース１０５は、例えばＵＳＢやＩＥＥＥ１３９４などのシリアルバスインターフェースである。この入力インターフェース１０５を介して、撮像装置１０８や外部蓄積手段１０９（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）などからデータを取得する。

出力インターフェース１０６は、例えばＤＶＩやＨＤＭＩ（登録商標）などの映像出力端子である。この出力インターフェース１０６を介して、表示装置１１０（液晶ディスプレイなどの各種出力デバイス）に、撮像装置１０８で撮像された画像などを表示する。

撮像装置１０８は、被写体の光学的な像を撮像素子で電気信号に変換し、Ａ/Ｄ変換によって撮像画像のデジタルデータ（入力画像データ）を生成する。

なお、画像処理装置１００の構成要素は上記のもの以外にも存在するが、本発明の主眼ではないため、説明を省略する。

図２は、本実施例に係る画像処理装置１００の機能ブロック図である。画像処理装置１００は、画像データ取得部２０１と、初期解生成部２０２と、反復演算部２０３と、後処理部２０４とから構成される。画像処理装置１００は、ＲＯＭ１０３内に格納された制御プログラムをＣＰＵ１０１がロードおよび実行することで、図２に示す各部の機能を実現する。各部の概要は以下のとおりである。

画像データ取得部２０１は、入力インターフェース１０５を介してまたは二次記憶装置１０４から、入力画像データを取得し、初期解生成部２０２または反復演算部２０３に伝送する。この入力画像データは、撮像装置１０８の内部で階調補正、ノイズ低減、圧縮などの画像処理を施されたデータでもよいし、そのような画像処理を行う前の撮像素子から出力したままのデータでもよい。

初期解生成部２０２は、ＲＯＭ１０３などから初期解データまたは初期解データを生成するためのパラメータを読み出す。また、初期解生成部２０２は、入力画像データに基づき、透過率分布の初期解データおよび復元画像の初期解データを生成する。この処理の詳細な内容は、図３のフローチャートに従い後述する。

反復演算部２０３は、入力画像データおよび初期解データに基づき復元画像のデータを生成し、後処理部２０４に出力する。この処理の詳細な内容は、図３のフローチャートに従い後述する。

後処理部２０４は、生成された復元画像にホワイトバランス調整、階調補正、ノイズ除去、圧縮などの一般的な画像処理を、ユーザの指示または二次記憶装置１０４などに蓄積されている設定に従い行う。この後処理は任意であるため、処理を全く行わなくてもよい。

図３は、本実施例に係る、復元画像データを生成する処理の流れを示すフローチャートである。なお、この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムをＲＯＭ１０３からＲＡＭ１０２上に読み込んだ後、ＣＰＵ１０１によって該プログラムを実行することによって実施される。

ステップＳ３０１において、画像データ取得部２０１は、撮像装置１０８で撮像された入力画像データを取得し、初期解生成部２０２と、反復演算部２０３とへ伝送する。なお本実施例では、入力画像データは１枚の静止画像のデータとするが、実施例２において示されるように、入力画像データが動画データであり出力がその中の１フレームの画像のデータであってもよい。

ステップＳ３０２において、初期解生成部２０２は、透過率分布の初期解データおよび復元画像の初期解データを生成する。なお、透過率分布とは、復元される画像と同一解像度の画像である透過率マップによって表現可能であり、各位置における被写体からの放射光が撮像装置に到達するまでの透過率を表す。透過率は０以上１以下の実数をとり、散乱の影響が大きいほど値は低くなる。透過率分布の初期解を生成する方法として、例えば入力画像内の複数の局所領域における合焦度合いを数値化するために用いられる指標を入力画像データから計算し、この値にスケーリングなどの調整を行い透過率分布の初期解としてもよい。一般的に合焦度合いを数値化する指標としては、局所領域内の画素値の分散、コントラスト、微分値などが用いられる。一方復元画像の初期解としては、例えば入力画像データをそのまま用いてもよい。

ステップＳ３０３において、反復演算部２０３は、物理モデルに基づいた透過率分布の更新を行う。大気中に存在する微粒子の撮像画像への影響を表現する物理モデルとして、Ｋｏｓｃｈｍｉｅｄｅｒによって提唱された画像劣化モデルがある。このモデルは、撮像装置１０８で撮像された画像（入力画像）の画素値Ｉ、透過率分布から得られる透過率の値ｔ、復元画像の画素値Ｊ、大気光成分Ａを用いて式（１）で表される。

ここで、（ｘ，ｙ）は画素の座標、添え字ｃはカラーチャネルを表す。ｃはＲＧＢに限られることはなく、ＹＣｂＣｒやＬａｂなどの色空間のチャネルでもよい。復元画像の画素値Ｊは被写体の放射光のうち撮像装置に到達しうる成分であり、復元画像は前述の大気中に存在する微粒子が存在しない場合に取得される画像に相当する。式（１）から明らかなように、透過率ｔが低いほど大気光の復元画像に対する影響が大きくなり、撮像された画像のコントラストが低下する。これは例えば、霧の濃度が高く視界が悪い状態に相当する。非特許文献１によれば大気光成分Ａは空の画素値によって推定することができる。このため本実施例では入力画像内の空に相当する領域の画素値のカラーチャネル別の平均値をＡとするが、Ａの決定方法はこれに限られることはなく、例えば中央値やその他の統計値でもよい。また、本実施例ではＡは位置に依存しない定数と仮定している。

式（１）においてＩとＡが既知であるとすると、Ｊを推定するにはｔも同時に推定する必要がある。本発明は、式（１）に基づき、Ｊと、ｔとを画素ごとに独立に交互に更新することで、物理モデルに従った画像復元を、Ｊやｔの整形処理を必要とすることなく実行することを可能にする。このために本実施例では、式（２）に従って目的関数Ｆを定義し、これを最小化するＪと、ｔとを探索する。

ここで、Ｉ’およびＪ’は、式（２）を簡潔に表現するために便宜的に定義した量であり、ＩおよびＪから一定のオフセット値を減算した値である。式（２）は、推定結果と、入力画像との整合性を評価する指標として用いられる。より具体的には、式（２）は、推定途中の透過率分布と、推定途中の復元画像とから式（１）のモデルによって推定された撮像画像と、実際に取得された入力画像との間の誤差を計算するための式である。また、ｔは０以上１以下の実数、Ｊは０以上最大階調以下の実数という制約がある。このような制約つきの最小化問題を解く方法として、目的関数の偏微分に基づく非線形最適化手法の１つである勾配射影法が挙げられる。Ｊを固定したＦの最小化問題を解くための勾配射影法では、式（５）乃至（７）で表されるｔの更新を行う。

ここで、ｋはステップ数であり反復処理のｋステップ目であることを表す。δ_ｔは任意の定数である。また、式（６）のΘ_ｔは射影演算子の一例であり、本願発明はこのような定義に限定されることはない。式（５）乃至（７）は全て画素ごとに独立に算出されるため、ｔを推定するために従来技術のように局所領域単位での処理を行う必要がない。その結果として、局所領域単位での処理に伴う歪みを除去するための整形処理を行う必要がないため、その分の計算コストを抑えつつ物理的正確さが担保された復元画像を得ることが可能になる。

式（５）は、各画素の透過率の値を、目的関数の微分に基づいて更新することを意味する。なお、式には陽に表していないが、右辺の微分項は座標（ｘ，ｙ）におけるスカラー値である。

式（６）は、更新された透過率が０以上１以下である制約条件を満たさない場合に制約範囲内に射影する処理を意味する。この処理により、推定される透過率は必ず制約条件を満たすことが保証される。

式（７）は、式（５）の右辺の微分項の具体的な算出式である。

非特許文献１にも開示されているように、透過率は被写体と、撮像装置との間の距離に関する指数関数としてモデル化される。これは以下の式（８）で表される。

ここで、βは減衰係数、ｄ（ｘ，ｙ）は画像上の座標（ｘ，ｙ）で表される位置における被写体と、撮像装置との間の物理的な距離を表す。βはカラーチャネルｃごとに異なる値をとってもよい。

ここで、距離ｄはカラーチャネルに依存しないことが物理的に正しいことに注目する。このことから、以下の式（９）が導かれる。

ここで、ｃとｃ’は互いに異なるカラーチャネルを表す。式（９）は、あるカラーチャネルで算出された透過率に減衰係数の比でべき乗すれば、他のカラーチャネルで算出される透過率に一致するという物理的制約条件を表している。式（９）から分かるように、カラーチャネルごとの透過率の対数は、定数倍して一致する関係にある。

そこで本実施例では、一旦ＲＧＢ各チャネルで透過率分布を独立に算出して、各々から透過率平均値を求め、式（９）に従いＧチャネルで算出された透過率分布を求めた平均値の比でべき乗することで、ＲおよびＢチャネルの透過率分布を置き換える。これは式（９）で表される物理的制約条件を強制的に満たすための１つの手法であるが、これ以外の方法によって式（９）を満たすように各カラーチャネルにおける透過率分布を生成してもよい。

ステップＳ３０４において、反復演算部２０３は、物理モデルに基づいた復元画像の更新を行う。この処理では、ステップＳ３０３と同様に、以下の式（１０）乃至（１２）で表されるＪ’の更新を行う。

ここで、δ_Ｊは任意の定数である。また、式（１１）のΘ_Ｊは射影演算子の一例であり、本願発明はこのような定義に限定されることはない。式（１０）乃至（１２）は全て画素ごとに独立に算出されるため、Ｊ’の推定結果に局所領域単位での処理に伴う歪みが発生することは原理的にない。

式（１０）は、各画素のＪ’の値を、目的関数の微分に基づいて更新することを意味する。なお、式（５）と同様に、右辺の微分項は座標（ｘ，ｙ）におけるスカラー値である。

式（１１）は、更新されたＪ’に対応するＪの値が０以上Ｔ以下である制約条件を満たさない場合に制約範囲内に射影する処理を意味する。なお、Ｔは画像の最大階調である。この処理により、復元画像の画素値は必ず制約条件を満たすことが保証される。

式（１２）は、式（１０）の右辺の微分項の具体的な算出式である。

ステップＳ３０５において、反復演算部２０３は、終了条件を満たしているかを判定する。終了条件は、例えば反復回数ｋが上限値と一致することや、目的関数Ｆの値が閾値以下であることなどが挙げられるが、これらに限られることはない。ステップＳ３０５において終了条件を満たしていると判定された場合にはステップＳ３０６に進み、満たしていないと判定された場合にはステップＳ３０３に戻り、ｔおよびＪ’の更新処理を繰り返す。

ステップＳ３０６において、後処理部２０４は、反復演算部２０３で生成された復元画像に対し、ホワイトバランス調整、階調補正、ノイズ除去、圧縮などの画像処理を行う。

ステップＳ３０７において、外部蓄積手段１０９または二次記憶装置１０４は、後処理を施した復元画像データを蓄積する。もしくは、表示装置１１０は、後処理を施した復元画像を表示する。

次に、本実施例に係る効果を証明する計算例を示す。復元画像の画素値Jの初期解を入力画像の画素値Iとし、透過率分布の初期解をｔ＝０．１の一様分布とし、式（５）および式（１０）におけるδを１とする。図４に、入力画像と、反復１００回後の復元画像（ｋ＝１００）とにおける遠景領域の同一線分上のＲチャネルの画素値分布の比較を示す。このデータに対して式（１３）で定義されるコントラスト値を算出すると、入力画像では０．１４０１、復元画像では０．３８５５となる。

以上のように、本実施例により、撮像装置を改変することや取得画像数を増やすことなく、遠景の視認性を向上することが可能になる。

［実施例２］
実施例１では、１枚の静止画像に対して本発明の画像復元方法を適用する例について説明した。本実施例においては、時系列画像群、すなわち動画に対して本発明の画像復元方法を適用する例について説明する。ただし、実施例１と同一の条件については説明を省略する。

本実施例ではまず、取得した動画から１フレームを抽出し、実施例１の方法によって透過率分布を算出する。固定された撮像装置で遠景の動画を取得する用途において、透過率分布はフレーム間で同一とみなすことができる場合が多い。そこで、前述の算出された透過率分布を他のフレームの復元画像生成に用いれば、図３のＳ３０３乃至Ｓ３０５の反復処理を行う必要がなくなるため非常に効率的になる。

図５は、本実施例に係る画像処理装置１００の機能ブロック図である。画像処理装置１００は、画像データ取得部５０１と、初期解生成部５０２と、反復演算部５０３と、画像復元部５０４と、後処理部５０５と、画像統合部５０６とから構成される。なお、画像復元部５０４および画像統合部５０６以外の構成要素は実施例１と同一であるため、説明を省略する。

画像復元部５０４は、反復演算部５０３から出力された大気光成分と、透過率分布とのデータおよび画像データ取得部５０１から出力された１枚の画像のデータを読み込み、これらに対する１枚の復元画像のデータを出力する処理を繰り返す。この処理の詳細な内容は、図６のフローチャートに従い後述する。

画像統合部５０６は、画像復元部５０４から出力された複数の復元画像のデータを集積し、映像データに統合することにより、画像処理装置１００の最終的な出力データを生成する。例えば、画像処理装置１００に複数フレームからなる映像データが入力された場合、画像統合部５０６は各フレームに対する復元画像データを受け取り、入力された映像データに各フレームの順番が対応した映像データの形で出力する。

図６は、本実施例に係る、復元動画を生成する処理の流れを示すフローチャートである。

ステップＳ６０１において、画像データ取得部５０１は、撮像装置１０８で撮像された動画の１フレームを取得し、初期解生成部５０２または反復演算部５０３へ伝送する。抽出するフレームは動画の最初のフレームでもよいし、ユーザが指定した条件に一致するフレームでもよい。

ステップＳ６０２において、初期解生成部５０２および反復演算部５０３は、実施例１に記載した処理を行うことにより、大気光成分Ａと、透過率分布とのデータを出力する。より詳細には、図３におけるＳ３０２乃至Ｓ３０５の反復処理を行うことで、透過率分布を生成する。なお、本ステップにおいて復元画像の出力は必要ないが、透過率分布の正しい推定を行うには復元画像の更新も不可欠である。

ステップＳ６０３において、画像データ取得部５０１は、ステップＳ６０１で取得した１フレーム以外のフレームの画像データを取得し、画像復元部５０４へ伝送する。

ステップＳ６０４において、画像復元部５０４は、大気光成分Ａと、ステップＳ６０３で取得したフレーム画像と、透過率分布とのデータを読み込み、式（１４）に基づき復元画像の画素値Jを算出する。

なお、式（１４）は式（１）を同値変形したものである。式（１４）は、実施例１と異なり事前に透過率分布が得られている場合に、１回の演算だけで反復処理なしに高速に復元画像の画素値Jを得るための式である。式（１４）を用いれば、リアルタイムの処理も可能になるため、ヘイズ除去画像の確認を撮像と同時に行うことが可能になり、ユーザの利便性が向上する。

ステップＳ６０５において、画像データ取得部５０１は、入力映像データの全てのフレームに対しステップＳ６０３乃至Ｓ６０４の処理が終了したかを判定する。ステップＳ６０５において入力映像データの全てのフレームに対しこれらの処理が終了したと判定された場合にはステップＳ６０６に進み、終了していないと判定された場合にはステップＳ６０３に戻り、１フレームに対する画像復元処理を繰り返す。

ステップＳ６０６において、後処理部５０５は、生成された各フレーム画像に対し、ホワイトバランス調整、階調補正、ノイズ除去、圧縮などの画像処理を行う。なお、ステップＳ６０５と、ステップＳ６０６とは順序が逆でもよい。

以上のように、本実施例により、動画に対して効率的な復元映像の生成が可能となる。

［実施例３］
実施例１では透過率分布の初期解を一様分布としたが、本発明のアルゴリズムは原理的に処理時間や復元性能が初期解に依存する。この理由は、一般的な非線形最適化手法の収束性や精度が初期解に依存する理由と同一である。そこで、本実施例では、入力画像内の各位置における合焦度合いを数値化した分布画像を透過率分布の初期解とすることで、処理時間の短縮を図る。ここで合焦度合いを透過率分布の初期解の導出に用いる理由は、合焦度合いと、透過率とのいずれもが、被写体と、撮像装置との間の距離に依存する量であるためである。例えば、相対的に遠い被写体に対して、画像中の対応する領域の合焦度合いを表す値は低くなり、同様に対応する領域の透過率も低くなる。なお、透過率分布の初期解以外の条件は全て実施例１と同一であるとする。合焦度合いとして、本実施例では式（１５）で定義される正規化分散Ｖを用いる。ここで、Ｖはある画素を中心とするＮ画素からなる局所領域内の画素値の集合ｘに対して算出される。

式（１５）は、画像中の局所領域内のぼけの度合いを定量化する計算式である。本実施例では局所領域を９×９画素の正方領域とする。また、入力画像の全画素の各々に対しＶを算出し、これを０．１乃至０．３の範囲に規格化することで透過率分布の初期解を生成する。図７に、図４と同様の画素値分布の比較を示す。この復元画像のコントラスト値を算出すると、０．３５９３となる。また図８に、反復処理に対する特定の位置の画素値を実施例１と比較した結果を示す。本実施例では、透過率分布の初期解を入力画像から生成することで画素値の収束が速くなっているため、必要な反復回数、すなわち計算時間を低減する効果が得られる。なお、初期解の生成に要する時間は、合焦度合いの種類にもよるが、前述の反復処理の１ステップから数ステップに要する時間と同程度とみなしてよい。

（その他の実施例）
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述の実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードおよび該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

Claims (12)

1. 復元画像の初期解と、透過率分布の初期解とを生成する初期解生成手段と、
   前記生成した復元画像の初期解と、透過率分布の初期解とのデータが入力され、透過率分布または復元画像の一方を透過率分布および復元画像を用いて更新する処理を、画素ごとに独立に、透過率分布と、復元画像とに対し交互に繰り返す反復演算手段と
   を備えたことを特徴とする画像処理装置。
2. 前記反復演算手段は、以下の式（１）に従い透過率分布を更新することを特徴とする請求項１に記載の画像処理装置。
   

   

   ここで、（ｘ，ｙ）は画素の座標を、ｋは反復処理のステップ数を、ｔは透過率分布から得られる透過率の値を、δ_ｔは定数を、Ｉは取得画像の画素値を、Ｊは復元画像の画素値を、Ｉ’およびＪ’はＩおよびＪから一定のオフセット値を減算した値をそれぞれ表す。
3. 前記反復演算手段は、以下の式（２）に従い復元画像の画素値を更新することを特徴とする請求項１に記載の画像処理装置。
   

   

   ここで、（ｘ，ｙ）は画素の座標を、ｋは反復処理のステップ数を、ｔは透過率分布から得られる透過率の値を、δ_Ｊは定数を、Ｉは取得画像の画素値を、Ｊは復元画像の画素値を、Ｉ’およびＪ’はＩおよびＪから一定のオフセット値を減算した値をそれぞれ表す。
4. 前記オフセット値は取得画像の空に相当する領域の画素値から算出されることを特徴とする請求項２または３に記載の画像処理装置。
5. 複数フレームからなる時系列画像群である映像データのうちの第１のフレームを抽出し、前記抽出した第１のフレームに対する透過率分布を算出し、前記算出した透過率分布を用いて複数フレームからなる時系列画像群に対する復元映像を生成することを特徴とする請求項１に記載の画像処理装置。
6. 前記反復演算手段は、入力画像内の空に相当する領域の画素値のカラーチャネル別の統計値を用いて前記透過率分布または復元画像を更新することを特徴とする請求項１に記載の画像処理装置。
7. カラーチャネルごとの前記透過率分布から得られる透過率の対数は、定数倍して一致する関係にあることを特徴とする請求項１に記載の画像処理装置。
8. 前記初期解生成手段が生成する透過率分布の初期解は、一様分布であることを特徴とする請求項１に記載の画像処理装置。
9. 前記初期解生成手段は、入力画像内の複数の局所領域における合焦度合いを数値化する演算を行うことを特徴とする請求項１に記載の画像処理装置。
10. 前記合焦度合いは、前記局所領域における画素値の分散、コントラスト、微分値のいずれかであることを特徴とする請求項９に記載の画像処理装置。
11. 復元画像の初期解と、透過率分布の初期解とを生成する初期解生成ステップと、
    前記生成した復元画像の初期解と、透過率分布の初期解とのデータが入力され、透過率分布または復元画像の一方を透過率分布および復元画像を用いて更新する処理を、画素ごとに独立に、透過率分布と、復元画像とに対し交互に繰り返す反復演算ステップと
    を備えたことを特徴とする画像処理方法。
12. コンピュータを請求項１乃至１０のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images