JP2013236249A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】陽炎等による画質劣化を軽減するための画総処理装置を提供する。
【解決手段】入力画像メモリ１１０は、入力画像群２００及び入力画像２１０を記憶する。時系列平滑化画像メモリ１１２は、時系列平滑化した時系列平滑化画像２２０を記憶する。移動物体除去画像メモリ１１３は、背景画像である移動物体除去画像２３０を記憶する。ヒストグラム解析部１３０は、入力画像２１０と時系列平滑化画像２２０若しくは移動物体除去画像２３０とに対して、部分画像のヒストグラムの差分を計算して画像間の類似性情報を算出する。領域分割部１４０は、類似性情報により、入力画像２１０を移動物体領域及び該移動物体領域以外の領域に分割する。画像補正部１５０は、領域毎に入力画像２１０又は前記時系列平滑化画像２２０を画像合成する。
【選択図】図１

Description

本発明は、画像処理装置及び画像処理方法に係り、特に陽炎等による画質劣化を軽減するための画像処理装置及び画像処理方法に関する。

近年、防犯・現場管理等を目的として監視カメラの需要が高まっており、半導体やネットワーク技術の発展とともにその機能も多様化している。
その中でも揺れ補正や階調補正、霧・雨・吹雪・黄砂・スモッグ等の外乱除去に代表される画像補正は、大気や照明変化の影響を受けやすい監視分野において重要な役割を果たしており、これまでにもさまざまな製品に搭載されてきた。
これらの画像補正は映像の視認性を改善して監視効率を高めることを目的としている。たとえば、揺れ補正（スタビライザ）の技術は、強風やカメラ固定台の振動等によって発生する画像の余分な動きを検出し、それをキャンセルする方向に補正することによって、視認性の高い映像を提供する。

ここで、監視映像の視認性を大きく低下させる自然現象の一つとして、陽炎を挙げることができる。陽炎は、空気の温度差等によって発生する光の屈折・進行阻害現象である。陽炎が発生している箇所では、被写体が羽毛だったように変形し、不規則に揺れて見え、解像感も低下する。このため、画像の品質が大きく低下する。
しかしながら、陽炎による画像歪みを補正する決定的な方法は未だ開発されておらず、陽炎補正技術を確立することは画像補正分野において重要な技術課題とされていた。

実際のところ、従来から、陽炎によって発生した画像歪みを補正しようとする試みはいくらか行われてきた。
これらは主に、時間的に近い複数枚の画像を用いて画面内の全画素を平滑化（以下、「時系列平滑化」という。）し、陽炎による被写体の変形を緩和する技術である。
すなわち、時系列平滑化は、陽炎の影響で被写体が変形する際の変位量が、統計的にはガウス分布に従うという性質を有していると考えられるため、複数枚の画像を用いて画素を平滑化することにより被写体本来の形状に近い画像を取得する技術である。
たとえば、非特許文献１を参照すると、陽炎補正の対象となる「入力画像」と、時系列平滑化した「平均画像」に対して位置あわせを行い、入力画像を平均画像と合わせるように補正することによって、陽炎による被写体の変形を補正する技術が記載されている。

図２１を参照して、従来の時系列平滑化による陽炎補正方式について説明する。
入力画像１２００−１〜１２００−ｎは、時間的近傍にある複数枚フレームの監視カメラ等の画像を示す。図２１では、入力画像１２００−１〜１２００−４を例として示している。これらの画像が、陽炎による歪みを含んでいる場合、陽炎が発生している場所の周辺で被写体の形状が変化し、ビデオ視認性の低下へと繋がる。
時系列平滑化画像１２２０は、この入力画像１２００−１〜１２００−４を、従来の画像の時系列での平滑化により、画面内の全画素を平滑化した画像の例である。この時系列平滑化画像１２２０のように、建物のように物体が静止している背景領域では、物体本来の形状に近い画像を復元することができる。
しかし、入力画像中に移動物体が存在する場合に時系列平滑化を行うと、移動物体領域が不自然ににじんだ画像が生成され、補正画像の大幅な劣化につながる。つまり、図２１の例では、移動物体が通り過ぎた領域１２５０においては、移動物体とそうでない領域が不正に重畳されてしまい、所望の結果が得られないといった問題があった。
つまり、時系列平滑化方式は、画面内に移動物体が存在しない場合にのみ効果的に用いることができる。

また、陽炎の影響による解像感喪失に加えて、上記平滑化処理によっても解像度が低下してしまうため、補正画像の解像度を高める試みも行われている。
たとえば、非特許文献２を参照すると、画面内の全画素に対して時系列平滑化処理を行った画像に対して、時間的に近い複数枚画像を用いた超解像処理を行うことによって、失われた解像度を復元する技術が記載されている。

また、特許文献１を参照すると、入力された画像データの画像の揺らぎを補正するために、前記画像データに対して、１つの係数と１フレーム前の前記画像データとで規定される伝達関数を適用する演算を行う補正手段と、前記補正手段により補正された前記画像データを１フレーム遅延して、前記補正手段に１フレーム前の前記画像データとしてフィードバックする遅延手段と、入力された前記画像データと１フレーム前の前記画像データとに基づいて、前記画像中の動きのある画素を抽出する抽出手段と、前記動きのある画素のうちの動体の画素を揺らぎの画素から識別する識別手段と、前記識別手段による識別結果に応じて前記係数を制御する制御手段とを備える画像処理装置が記載されている（以下、従来技術３とする。）。
従来技術３も、動体に与える影響を軽減し、画像の揺らぎを補正することができる。

特開２０１１−２２９０３０号公報

吉村，清水，田中，奥富，「非剛体レジストレーションによる時系列画像中の揺らぎ除去」，２００７，情報処理学会研究報告，２００６−ＣＶＩＭ−１５７，ｐ．１６９−１７６ Ｍ．Ｓｈｉｍｉｚｕ，Ｓ．Ｙｏｓｈｉｍｕｒａ，Ｍ．Ｔａｎａｋａ，ａｎｄ Ｍ．Ｏｋｕｔｏｍｉ，"Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ ｆｒｏｍ Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅ ｕｎｄｅｒ Ｉｎｆｌｕｅｎｃｅ ｏｆ Ｈｏｔ−Ａｉｒ Ｏｐｔｉｃａｌ Ｔｕｒｂｕｌｅｎｃｅ"，２００８，ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），ｐ．１−８

しかしながら、従来技術１は、陽炎等の影響により被写体が変形して観測された映像を補正するために、時間的に近い画像を用いた時系列平滑化を行う場合、対象画像内に移動物体が存在すると、補正画像が大幅に劣化するといった問題があった。
また、従来技術１のような、画面全体での時系列平滑化を行うだけでは、入力画像中に移動物体が存在した場合、上述のように平均画像が劣化してしまい、うまく位置あわせができないため、補正そのものが困難化するという問題もあった。
また、従来技術２は、また、補正画像に対して複数枚画像を用いた超解像処理を行う場合、位置あわせのための処理量が膨大であるといった問題があった。これは、陽炎による被写体の変形は局所的にも起こり得るため、例えば、画素単位の非常に緻密な位置あわせを行う必要があるためであった。
また、従来技術３は、１フレーム前の画像の画素の位置関係のみに注目して揺らぎを補正しているため、移動物体領域の検出精度が低いという問題があった。

本発明は、このような状況に鑑みてなされたものであり、上述の課題を解消することを課題とする。

本発明の画像処理装置は、入力画像と、時間的に近い複数枚の画像を用いて平滑化した時系列平滑化画像若しくは移動物体を除去した移動物体除去画像とに対して、部分画像の差分を計算することにより画像間の類似性情報を算出する類似性情報算出部と、前記画像間の類似性情報により前記入力画像を移動物体領域、及び該移動物体領域以外の領域に分割する領域分割部と、前記領域毎に前記入力画像又は前記時系列平滑化画像を画像合成する画像補正部とを備えることを特徴とする。
本発明の画像処理装置は、前記領域分割部は、大きさの異なる２種類以上の閾値を設定し、高い閾値以上の画素値の前記領域の空間的近傍に位置する前記領域に対しては低い閾値で、そうでない場合には高い閾値で前記領域の分割を行う、又は、低い閾値以下の評価値を備える前記領域の空間的近傍に位置する前記領域に対しては高い閾値にて、そうでない場合には低い閾値にて前記領域の分割を行うことを特徴とする。
本発明の画像処理装置は、前記画像補正部は、前記移動物体領域に対して空間方向の平滑化フィルタを実行することを特徴とする。
本発明の画像処理装置は、前記移動物体領域同士、及び／又は前記移動物体以外の領域同士で位置合わせ処理を行い、該位置合わせの結果に基づいて超解像処理を行う画像高画質化部を備えることを特徴とする。
本発明の画像処理方法は、コンピュータに画像処理を実行させるための画像処理方法において、前記コンピュータに、入力画像と、時間的に近い複数枚の画像を用いて平滑化した時系列平滑化画像とに対して、部分画像の差分を計算することにより画像間の類似性情報を算出し、前記画像間の類似性情報により前記入力画像を移動物体領域、及び該移動物体領域以外の領域に分割し、前記領域毎に前記入力画像又は前記時系列平滑化画像を画像合成する手順を実行させることを特徴とする。

本発明によれば、入力画像と比較画像の部分画像の差分を計算して移動物体を認識することで、陽炎の影響により観測される被写体の変形や解像感の喪失を好適に補正し、位置合わせの精度を高め、高品質の画像を得られる画像処理装置を提供することができる。

本発明の第１の実施の形態に係る画像処理装置１０の制御構成を示すブロック図である。 本発明の第１の実施の形態に係る領域分割のカテゴリを説明する概念図である。 本発明の第１の実施の形態に係る画像品質改善処理のフローチャートである。 本発明の第１の実施の形態に係る画像間類似性評価処理におけるヒストグラムの差分に係る概念図である。 本発明の第１の実施の形態に係る画像間類似性評価処理におけるヒストグラムの差分の具体的な計算に係る概念図である。 本発明の第１の実施の形態に係る画像間類似性評価処理における評価コストＣ_Xの計算の概念図である。 本発明の第１の実施の形態に係る画像間類似性評価処理における別の評価コストを計算する方法の概念図である。 本発明の第１の実施の形態に係る画像間類似性評価処理における１フレーム分の評価コスト算出の概念図である。 本発明の第１の実施の形態に係る画像間類似性評価処理にて算出された評価コストの一例を示す概念図である。 本発明の第１の実施の形態に係る領域分割処理の概要を示す概念図である。 本発明の第１の実施の形態に係る領域分割処理におけるマスク情報ＭＳＲの再帰的な算出処理のフローチャートである。 本発明の第１の実施の形態に係る領域分割処理の動作例を示す概念図である。 本発明の第１の実施の形態に係る領域分割処理の動作例を示す概念図である。 本発明の第１の実施の形態に係る領域分割処理により算出されたマスク情報ＭＳＲの概念図である。 本発明の第１の実施の形態に係る画像補正処理の概念図である。 本発明の第１の実施の形態に係る画像補正処理において、平滑化フィルタ用カテゴリの分類の概念図である。 本発明の第１の実施の形態に係る画像補正処理のエッジスムージングフィルタの概念図である。 本発明の第１の実施の形態に係る歪みレベル出力処理の概念図である。 本発明の第１の実施の形態に係る高解像度化処理における位置合わせの概念図である。 本発明の第２の実施の形態に係る画像処理装置１１の制御構成を示すブロック図である。 本発明の第２の実施の形態に係るブロックで画像間の類似性情報を計算する概念図である。 従来の陽炎を軽減するための時系列平滑化による画像処理の概念図である。

＜第１の実施の形態＞
〔画像処理装置１０の構成〕
まず、図１を参照して、本発明の第１の実施の形態に係る画像処理装置１０（コンピュータ）の制御構成について説明する。
画像処理装置１０は、一例として、主に、入力画像メモリ１１０（入力画像記憶手段）、時系列平滑化画像メモリ１１２（時系列平滑化画像記憶手段）、移動物体除去画像メモリ１１３（移動物体除去画像記憶手段）、出力画像メモリ１１４（出力画像記憶手段）、計算用メモリ１１５（一時記憶手段）、時系列平滑化画像更新部１２０（時系列平滑化画像更新手段）、ヒストグラム解析部１３０（類似性情報算出手段、類似性情報算出部、ヒストグラム解析手段）、領域分割部１４０（領域分割手段）、画像補正部１５０（画像補正手段）、移動物体除去画像更新部１６０（移動物体除去画像更新手段）、陽炎歪み計算部１７０（陽炎歪み計算手段）、パラメータ最適化部１８０（パラメータ最適化手段）、及び画像高画質化部１９０（画像高画質化手段）を含んで構成される。
画像処理装置１０は、取得した監視カメラ等の画像から、陽炎による揺らぎ等を補正する陽炎補正装置として機能させることができる。

入力画像メモリ１１０は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等の記録媒体や、画像処理用のＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）のワークメモリやグラフィックメモリ等であり、入力画像２１０を含む入力画像群２００を記憶する。
入力画像メモリ１１０は、図示しない監視カメラ等の撮像手段が、所定時間間隔で撮像した、ＪＰＧ、Ｊｐｅｇ２０００、ＰＮＧ、ＢＭＰ形式等の符号化された静止画像データ等を取得して入力画像２１０として記憶する。また、入力画像メモリ１１０は、入力画像２１０を、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４、ＨＤ／ＳＤＩ形式等の動画像データから抜き出した、所定間隔のフレームの静止画像データを入力画像２１０として記憶してもよい。入力画像メモリ１１０は、その他にも、入力画像２１０の時間的に近傍の静止画像データ（フレーム）を、リングバッファやＦＩＦＯ等を用いて、入力画像群２００として記憶する。
入力画像メモリ１１０は、入力画像２１０や入力画像群２００を、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）等を用いて取得することができる。また、撮像手段がバスやネットワーク等を介して、入力画像２１０や入力画像群２００を、入力画像メモリ１１０に記憶してもよい。
また、後述するように、脱着可能な記録媒体に、既に記憶されていた入力画像２１０や入力画像群２００を、入力画像メモリ１１０に記憶してもよい。

時系列平滑化画像メモリ１１２は、時間的に近い複数枚の入力画像を用いて画面内の全画素を平滑化した時系列平滑化画像２２０を記憶する記録媒体である。
時系列平滑化画像メモリ１１２は、主に、時系列平滑化画像更新部１２０で作成して更新された時系列平滑化画像２２０を、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）各値８ビット／１６ビット等で表現したビットマップデータや独自形式データ等で記憶する。

移動物体除去画像メモリ１１３は、入力画像から移動物体を除去した画像に対して時系列平滑化処理を行った「背景画像」である移動物体除去画像２３０を記憶する記録媒体である。
移動物体除去画像メモリ１１３は、主に、移動物体除去画像更新部１６０で作成した移動物体除去画像２３０を、ビットマップデータや独自形式データ等で記憶する。

出力画像メモリ１１４は、最終的に高画質化した出力画像２４０を記憶する記憶媒体である。
出力画像２４０は、バスや外部出力端子やネットワーク等を介して、他機器に送信可能である。
この他機器としては、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等を用いた監視装置（図示せず）や画像分析装置（図示せず）を用いることができる。

計算用メモリ１１５は、本実施形態の画像処理におけるその他の一時的なデータやパラメータ等を記憶するための記憶媒体である。
計算用メモリ１１５は、各制御演算部位からアクセス可能であり、評価コスト計算用情報２５２（図８）、マスク設定２５３（図１０）、補正画像２５４及び２５６（図１４）、フィルタ情報２５５（図１５）、歪み強度画像２５７（図１７）、陽炎歪みレベルＤＬ（図１７）及び、これらの計算のために用いるデータ等を記憶することができる。
また、評価コスト計算用情報２５２には、評価コストＣＳ（図９）、評価コストＣＲ（図９）、マスク情報ＭＳＲ（図１０）等を記憶可能である。
また、マスク設定２５３には、閾値パラメータ及びカテゴリ設定を記憶できる。この閾値パラメータは、領域分割処理（図３）の閾値Ｔ１、Ｔ２（図１０）を記憶することができる。また、カテゴリ設定は、各画像内を３種類のカテゴリである「移動物体領域」「背景領域」「準移動物体領域」の領域に分割するための設定を記憶したデータである。
この他にも、計算用メモリ１１５は、座標（ｉ，ｊ）、閾値に係る変数Ｔｃ等についても記憶する。
これらのデータの詳細については、後述する。

時系列平滑化画像更新部１２０は、入力画像２１０を用いて時系列平滑化画像を更新するＤＳＰ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のピクセルシェーダ（演算器）等の制御演算部位である。
時系列平滑化画像更新部１２０は、所定間隔で起動して、入力画像２１０の、時系列平滑化を行い、時系列平滑化画像２２０を作成する。時系列平滑化画像更新部１２０は、例えば、１／３０秒〜数十分程度の所定間隔の数フレームの画像データを平均化することができる。
時系列平滑化画像更新部１２０は、作成した時系列平滑化画像２２０を、時系列平滑化画像メモリ１１２に記憶する。

ヒストグラム解析部１３０は、制御演算部位であり、画像間の類似性情報を算出する類似性情報算出部である。第１の実施の形態のヒストグラム解析部１３０は、後述するウィンドウ（部分画像）毎にヒストグラムを作成し、その差分を計算する。具体的には、ヒストグラム解析部１３０は、入力画像２１０と、比較画像である時系列平滑化画像２２０若しくは移動物体除去画像更新部１６０との画像間の類似性情報である評価コストＣＳ、ＣＲ（図９）等を作成し、計算用メモリ１１５に記憶する。
この際に、ヒストグラム解析部１３０は、所定範囲の部分画像（以下、「ウィンドウ」という。）に対して、類似性を評価することができる。

領域分割部１４０は、ヒストグラム解析部１３０によって算出された画像間の類似性情報である評価コストＣＳ、ＣＲに基づいて領域分割を行う制御演算部位である。
領域分割部１４０は、入力画像２１０から各カテゴリへの領域分割に用いる領域分割情報であるマスク情報ＭＳＲ（図１０）を作成し、計算用メモリ１１５に記憶する。
この領域分割の詳細については、後述する。

画像補正部１５０は、領域分割結果であるマスク情報ＭＳＲに基づいて画像補正を行って、画像合成する制御演算部位である。
画像補正部１５０は、マスク情報ＭＳＲに基づいて、各領域の画像を選択し、画像フィルタ（以下、「フィルタ」という。）を実行する。
ここで、画像補正部１５０は、「移動物体領域」に対しては入力画像２１０を選択し、空間方向の平滑化フィルタを実行する。
また、画像補正部１５０は、「背景領域」に対しては、時系列平滑化画像２２０を選択し、時間方向の平滑化フィルタを実行する。
また、画像補正部１５０は、「準移動物体領域」には移動物体除去画像２３０を選択して、時間方向の平滑化フィルタを実行する。
この上で、画像補正部１５０は、各領域の画像を画像合成し、補正画像２５４（図１４）を作成する。
画像補正部１５０は、その後、補正画像２５４に対してフィルタを実行して、補正画像２５６を作成し、計算用メモリ１１５に記憶する。

移動物体除去画像更新部１６０は、マスク情報ＭＳＲと、入力画像２１０とを用いて、移動物体除去画像２３０を更新する制御演算部位である。
移動物体除去画像更新部１６０は、移動平均等を用いて、作成した移動物体除去画像２３０を、移動物体除去画像メモリ１１３に記憶する。

陽炎歪み計算部１７０は、領域分割及び画像補正結果に基づいて陽炎による歪みの強さを算出する、制御演算部位である。
陽炎歪み計算部１７０は、入力画像２１０と、マスク情報ＭＳＲと、補正画像２５６を用い、陽炎による画像歪み強度画像２５７を算出し、計算用メモリ１１５に記憶する。
また、陽炎歪み計算部１７０は、この画像歪み強度画像２５７から、陽炎歪みレベルＤＬ（図１７）を算出する。

パラメータ最適化部１８０は、陽炎による歪みの強さに応じて各種パラメータを最適化する制御演算部位である。
パラメータ最適化部１８０は、陽炎歪みレベルＤＬから、領域分割や画像更新を行うための各種パラメータを最適化し、計算用メモリ１１５に記憶する。

画像高画質化部１９０は、領域分割及び画像補正結果に基づいて超解像処理を行う制御演算部位である。
画像高画質化部１９０は、まず、入力画像２１０、補正画像２５４若しくは２５６と、入力画像群２００の時間的に近い複数のフレームとを用いて位置合わせを行う。この際、マスク情報ＭＳＲを参照して、移動物体領域間又は移動物体以外の領域間での位置あわせを行う。これにより、位置合わせの処理量を削減できる。
その後、画像高画質化部１９０は、超解像処理を行い、高画質化した出力画像２４０を出力画像メモリ１１４に記憶する。

なお、本実施形態の画像処理装置１０の各部位は、専用の回路として実装されても、記憶手段に記憶されたプログラムを制御手段が上述の各手段として実行する構成であってもよい。つまり、画像処理装置１０は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）や、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等による回路で実装しても、ＧＰＰ（Ｇｅｎｅｒａｌ Ｐｕｒｐｏｓｅ Ｐｒｏｃｅｓｓｏｒ）であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ、ＧＰＵ等の制御演算手段と、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＨＤＤ等の記憶手段とを含むハードウェア資源を備えたコンピュータが実行するプログラムとして実装することもできる。
また、上述の記憶手段は、例えば、ＤＶＤやＢｌｕ−ｒａｙ等の光学記憶媒体、ＵＳＢメモリやＳＤカード等半導体記憶媒体のような脱着可能な記録媒体を含んでいてもよい。この脱着可能な記録媒体にも、各種プログラムやデータを記憶し、内蔵の記録媒体へインストール等をすることも可能である。また、脱着可能な記録媒体に、入力画像２１０や、出力画像２４０を記憶し、別のＰＣや携帯電話等で閲覧することも可能である。

また、本実施形態の画像処理装置１０は、ＣＣＤ／ＣＭＯＳイメージセンサ等を備え、静止画像や動画像を撮像するカメラ等の撮像手段を備えることもできる。
また、本実施形態の画像処理装置１０は、ネットワークから静止画像や動画像を取得したり、出力画像２４０を送出したりするＬＡＮボードや携帯通信部位等のネットワーク送受信手段を備えることもできる。
さらに、画像処理装置１０は、各画像、パラメータ、撮像状態を確認するための液晶ディスプレイ等の表示手段を備えることもできる。
加えて、画像処理装置１０は、キーボードやマウスやタッチパネル等の入力手段を備えて、各部位の制御についてのユーザの指示を検知することもできる。

〔画像処理装置１０による画像品質改善処理〕
次に、図２〜１８を参照して、本発明の第１の実施の形態に係る画像処理装置１０による画像補正方法を実現するための画像品質改善処理について説明する。

まず、図２を参照して、入力画像２１０を基に、領域分割のための各カテゴリについて説明する。
具体的に、本実施形態の画像鮮明化処理において、画像処理装置１０は、入力画像２１０を、「移動物体領域」「背景領域」「準移動物体領域」の３種類のカテゴリの領域に分割する。
「移動物体領域」は、入力画像内で移動物体が存在する領域である。「移動物体領域」は、移動物体上で陽炎が発生している領域３１０と、移動物体上で陽炎が発生していない領域３１１とを含む。
「背景領域」は、物体が静止している領域である。「背景領域」は、静止する物体上で陽炎が発生している領域３２０と、静止する物体上で陽炎が発生していない領域３２１とを含む。
「準移動物体領域」は、入力画像内に移動物体は含まれないものの、過去に移動物体が通り過ぎた後の領域３３０を示す。
このように、「移動物体領域」に属する領域３１０、３１１と、カテゴリ「背景領域」に属する領域３２０とにおいて、画像間で被写体の動きが検出される。

ここで、「移動物体領域」と陽炎が発生している「背景領域」とでは、画像間の動きが検出されるものの、従来は、これらを区別することが困難であった。このため、移動物体の存在が、補正画像の画質を大きく低下させていた。
本実施形態において、画像処理装置１０は、物体の変形に強いというヒストグラムの性質に着目し、部分画像におけるヒストグラム差分を評価する。
これにより、従来は困難であった、「移動物体領域」と陽炎が発生している「背景領域」とを区別し、別々のカテゴリに領域分割した上で画像補正を行うことができる。これにより、画像品質を改善することができる。

より具体的に説明すると、画像処理装置１０は、各領域に対して適した処理を行った後で、再び各領域の画像を統合することによって陽炎補正を行う。
たとえば、画像処理装置１０は、移動物体領域に対して、空間的近傍画素を用いた平滑化を行い、それ以外の領域に対しては、時間的近傍画像を用いた平滑化を行う。
画像処理装置１０は、移動物体の分離には、例えば、物体の変形に強い特徴を持つヒストグラムを用い、入力画像２１０と、時間的に近い画像入力画像群２００を用いて入力画像を平滑化した時系列平滑化画像とのヒストグラム差分を計算する。そして、画像処理装置１０は、差分の小さい部分を移動物体領域として抽出する。
この上で、画像処理装置１０は、分割した各カテゴリの領域について、陽炎補正を行って、超解像処理を行い、画像の品質を改善する。画像処理装置１０は、超解像処理のための位置あわせを行う際にも、上述の移動物体領域の抽出結果を参照する。これにより、被写体の存在場所が限定されるため、例えば移動物体領域同士、および移動物体以外の領域同士で探索を行うことにより、探索範囲が限定され処理量を軽減化できる。

以下で、図３のフローチャートを参照して、本実施形態の画像品質改善処理についてステップ毎に詳しく説明する。
以下の処理は、画像処理装置１０の各部が、ハードウェア資源を用いて実行する。

まず、ステップＳ１０１において、時系列平滑化画像更新部１２０は、時系列平滑化画像更新処理を行う。
具体的に、時系列平滑化画像更新部１２０は、入力画像メモリ１１０に記憶された入力画像２１０を用いて時系列平滑化画像２２０を作成し、時系列平滑化画像メモリ１１２に記憶、更新する。
時系列平滑化画像更新部１２０は、時系列平滑化画像２２０の作成のために、例えば、式（１）に示す移動平均による計算式を用いて各画素の時系列平滑化を行う。

ここで、ａ（ｉ，ｊ）は時系列平滑化画像上の座標（ｉ，ｊ）における画素値（評価値）を、ｐ（ｉ，ｊ）は、同じ座標（ｉ，ｊ）における入力画像の画素値を、ｓは更新パラメータ（０＜ｓ＜１）を表す。
画素値ｐ（ｉ，ｊ）はどのような形式でもよいが、時系列平滑化画像更新部１２０は、例えば、各画素における、ＲＧＢ色相空間の３原色Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の成分値や、ＨＳＶ色空間（Ｈｕｅ、Ｓａｔｕｒａｔｉｏｎ、Ｖａｌｕｅ）の各成分値について、それぞれ式（１）にて時系列平滑化を行うことができる。
なお、時系列平滑化画像更新部１２０は、白黒の入力画像２１０を用いる場合や、ＲＧＢのＧ成分の値、ＨＳＶの明度の成分値のみについて、時系列平滑化を行うことで、処理を高速化することもできる。

また、ａ（ｉ，ｊ）の初期値、すなわち最初のフレームにおける時系列平滑化画像は、例えば、式（２）のように、入力画像そのものを用いることが好適である。
なお、ａ（ｉ，ｊ）の初期値として、この他にも、入力画像群２００から、入力画像２１０に時間的に近いフレームの画像を選択することもできる。

なお、時系列平滑化画像更新部１２０は、時系列平滑化画像２２０の作成方法として、上述の移動平均以外の処理を用いることもできる。
たとえば、時系列平滑化画像更新部１２０は、複数フレームの同一座標における画素値に対して、その中央となる値を時系列平均化画像における該当座標の画素値とすることもできる。
さらに、時系列平滑化画像更新部１２０は、時系列平滑化処理を行わなくても、例えばロバストな背景差分を実現するために開発されている各種の背景モデル化手法を用いてもよい。背景モデル化手法は、画素もしくは領域単位で背景色の分布等を背景らしさの尺度としてモデル化する手法である。この背景モデル化手法では、例えばモデル化された背景色分布の中心値等のように、最も背景らしさの高い値を対象とする画素値として用いる。これにより、時系列平滑化画像を用いた場合よりもより高精度に背景領域の揺れを補正することができる。
背景モデル化手法は、公知の各種の方式、例えば「島田，有田，谷口；適応的な分布数の増減法を利用した混合ガウス分布による高速な動的背景モデル構築，電子情報通信学会論文誌Ｄ，Ｖｏｌ．Ｊ９０−Ｄ，Ｎｏ．９，ｐｐ．２６０６−２６１４，２００７．」に記載の方式を用いることができる。この背景モデル化手法の方法では、画素単位で背景色の分布を複数のガウス分布によりモデル化する。そして、ガウス分布の個数、各分布の平均・共分散・重みのような、モデルのパラメータをフレーム単位で更新することにより、ロバストな背景差分を実現することができる。

次に、ステップＳ１０２において、ヒストグラム解析部１３０は、画像間類似性評価処理を行う。
この処理では、ヒストグラム解析部１３０は、画素単位で画像間の差を表す評価コストを算出し、領域分割部１４０に出力する。
図４〜図９を参照して説明すると、ヒストグラム解析部１３０は、入力画像メモリ１１０に記憶された入力画像２１０と、比較画像とについて、画像間の類似性情報を算出して評価する。
この比較画像としては、上述したように、時系列平滑化画像メモリ１１２に記憶された時系列平滑化画像２２０、又は移動物体除去画像メモリ１１３に記憶された背景画像である移動物体除去画像２３０を用いることができる。すなわち、ヒストグラム解析部１３０は、入力画像２１０及び時系列平滑化画像２２０、入力画像２１０及び移動物体除去画像２３０、それぞれの組み合わせに対して、画像間の類似性情報を算出して評価する。
ここで、ヒストグラム解析部１３０は、後述する移動物体除去画像更新処理で既に作成されていた移動物体除去画像２３０があれば、これを用いることができる。

図４は、ある領域における類似性を計算する方法について示している。
ヒストグラム解析部１３０は、入力画像２１０と比較画像とにおいて、ウィンドウＷ１とＷ２とを用いて、ヒストグラムを作成し、その差分を計算する。ウィンドウＷ１とＷ２は、それぞれ同一座標で、例えば３２ピクセル×３２ピクセルのような同一サイズの部分画像である。

ヒストグラム解析部１３０は、ヒストグラムの作成方法および差分の計算方法についてはどのようなものを用いてもよいが、例えば下記のような方法を用いることができる。
たとえば、ヒストグラム解析部１３０は、入力画像２１０と比較画像のそれぞれの各成分値について、ウィンドウ内の各成分値の階調を減少させ、差分を計算する。
具体的には、例えば、ヒストグラム解析部１３０は、それぞれのウィンドウＷ１とＷ２に対して、３２階調にまで量子化した後に、ヒストグラム４１０及び４２０を作成する。それぞれのヒストグラムにおいて、横軸は成分値、縦軸は例えば画素数のような度数を示す。この上で、ヒストグラム解析部１３０は、ヒストグラム４１０及び４２０の各成分値における画素数の差分を算出する。この３２階調の画素数の差分を、ヒストグラム差分ＤＨ₃₂と呼ぶ。
次に、ヒストグラム解析部１３０は、諧調数を１／２ずつ減少させ、入力画像２１０と比較画像とのヒストグラムを作成する。ヒストグラム解析部１３０は、このような処理を、階調数が２になるまで行い、それぞれのヒストグラム差分ＤＨ_n（ｎ＝３２，１６，８，４，２）を計算する。
続いて、ヒストグラム解析部１３０は、下記の式（３）によりウィンドウＷ１、Ｗ２間のヒストグラム差分Ｄ_W1,W2を計算する。

ここで、ｗ_n（ｎ＝３２，１６，８，４，２）は諧調数ｎに対する重みを示す。
式（３）のように、複数階調によるヒストグラム差分を用いることにより、ヒストグラム上で画素値が離れた成分における差分を大きく反映した評価が可能になり、例えば、ウィンドウのサイズに対して極端に小さい物体でも、背景とは異質のものであれば検出が可能になるといった効果が得られる。
なお、ヒストグラム解析部１３０は、特定の階調数によるヒストグラム差分のみを用いてヒストグラム差分Ｄ_W1,W2を計算してもよい。
たとえば、下記の式（４）は階調数３２のヒストグラム差分のみ用いて、ヒストグラム差分Ｄ_W1,W2を算出する例である。

また、ヒストグラム解析部１３０は、ヒストグラム差分ＤＨ_nをどのように算出してもよいが、例えば式（５）に示すように、各成分値におけるヒストグラム差分ＤＤＨ_n（ｋ）（ｋ＝１，……，ｎ）の和として算出することが好適である。

図５は、具体的なヒストグラム差分の計算方法の例を示す。
ヒストグラム解析部１３０は、ヒストグラム４１０とヒストグラム４２０との間で、当該階調における各成分値ｋにおいて、画素数等の度数値であるＦ１及びＦ２の差分を算出する。
ヒストグラム解析部１３０は、各成分値ｋにおけるヒストグラム差分ＤＤＨ_n（ｋ）をどのように算出してもよいが、例えば、式（６）に示すように、正規化誤差を用いることが好適である。

式（６）のＦ１はウィンドウＷ１の成分値ｋにおけるヒストグラムの値、Ｆ２はウィンドウＷ２の画素値ｋにおけるヒストグラムの画素数等の度数値、「ＭＡＸ（）」は最大値を返す関数、Ｋは雑音データの影響を緩和するための定数である。
式（６）のように正規化誤差を用いることによって、背景領域に存在しない画素値を持つ移動物体の識別が容易になり、例えば、ウィンドウのサイズに対して極端に小さい物体でも検出が可能になるという効果が得られる。
なお、ヒストグラム解析部１３０は、下記の式（７）のように、ＤＤＨ_n（ｋ）を輝度値ｋにおけるヒストグラムの単純差分によって計算してもよい。

図６は、上述の方法で計算したヒストグラム差分Ｄ_W1,W2を用いて、各画素における画像間の差を表す評価コストＣＳ又はＣＲ（以下、評価コストＣＳ又はＣＲのいずれかを、評価コストＣ_Xと呼ぶ。）を計算する方法の一例について示している。
具体的には、ヒストグラム解析部１３０は、対象画素の周りでウィンドウを動かして繰り返し解析を行うことができる。
たとえば、ヒストグラム解析部１３０は、対象画素Ｘが中心になるように設定し、すべてのウィンドウに対象画素Ｘが含まれるようにウィンドウを動かして、繰り返し、ヒストグラム差分を計算する。図６の例では、入力画像２１０側では画素６１０、比較画像側では画素６２０を、対象画素Ｘとする。
この算出する入力画像２１０側と比較画像側で、各ｋ種類のウィンドウを設定したとすると、対象画素Ｘにおける評価コストＣ_Xは、下記式（８）のように計算される。

この式（８）において、入力画像２１０側のウィンドウが、ウィンドウＷ_1,1，Ｗ_1,2，……，Ｗ_1,kである。また、比較画像側のウィンドウが、ウィンドウＷ_2,1，Ｗ_2,2，……，Ｗ_2,kである。また、ウィンドウＷ_1,tとウィンドウＷ_2,t（ｔ＝１，２，……，ｋ）は同一サイズかつ同一座標である。すなわち、ウィンドウが３２ピクセル×３２ピクセルの場合、縦横とも対象画素Ｘの座標から−３１ピクセル〜＋３１ピクセルの範囲でウィンドウＷ_1,1~k、Ｗ_2,1~kを設定して計算する。
式（８）では、評価コストＣ_Xが小さいほど画像間の類似性が高いことを表す。式（８）のようにウィンドウをずらしながら繰り返し計算して総和を求めることにより、例えば、ウィンドウが物体と物体の境界に位置する等、陽炎による被写体の変形が生じた際に誤差が不正に高くなる場合の影響を緩和することができる。

なお、ヒストグラム解析部１３０は、その他の方法により、評価コストＣ_Xを計算してもよい。
図７は、ヒストグラム差分Ｄ_W1,W2を用いて各画素における評価コストを計算する方法の、別の一例を示す。
ヒストグラム解析部１３０は、対象画素Ｘが中心になるようにウィンドウＷ１Ｘ、Ｗ２Ｘを設定した場合、対象画素Ｘにおける評価コストＣ_Xを、例えば、式（９）のように計算する。

すなわち、式（９）では、単一のウィンドウについてのみ評価コストＣ_Xを計算するため、計算時間を短縮することができる。

図８は、ヒストグラム解析部１３０が、式（８）により、１フレーム分の評価コストを計算する方法の例を示す。
まず、ヒストグラム解析部１３０は、画像間の類似性情報を記憶する評価コスト計算用情報２５２を用意し、すべて０に初期化する。
評価コスト計算用情報２５２は、入力画像２１０と同じ水平Ｗピクセル×垂直Ｈピクセルの画素数の容量のデータを、比較画像の枚数＋１以上、用意する。本実施形態においては、評価コスト計算用情報２５２は、評価コストＣＳ、評価コストＣＲ、及びマスク情報ＭＳＲに対応するフレーム分のデータを用意する。

その後、ヒストグラム解析部１３０は、入力画像２１０上のウィンドウＷ１と、比較画像上のウィンドウＷ２と、評価コスト計算用情報２５２の当該比較画像用のフレームのウィンドウＷｍとを、それぞれＸ軸（水平）方向にΔｘ、Ｙ軸（垂直）方向にΔｙずつずらしながら動かす。なお、以下で、各フレームの左上の座標を（Ｘ軸，Ｙ軸）＝（０，０）とし、右及び下方向に、Ｘ座標及びＹ座標が増える座標系を用いる。
具体的には、ヒストグラム解析部１３０は、動かす毎に、ウィンドウＷ１とＷ２間のヒストグラム差分Ｄ_W1,W2を計算して、ウィンドウＷｍ内の要素に足し合わせる。この際、ヒストグラム解析部１３０は、Δｘ＝１、Δｙ＝１を用いて処理を行うことができる。最終的な比較画像用のフレームの状態が、評価コストＣＳ、ＣＲとなる。
なお、ヒストグラム解析部１３０は、上下左右の端部に関しては、そのまま足したり、正規化して足す等の処理を行うことができる
また、ヒストグラム解析部１３０は、ΔｘとΔｙの値を増やすことで、処理量を減らして演算スピードを上げることもできる。その場合、評価コストはΔｘ×Δｙのブロック領域内で同じ値となる。このため、別途、後述するフィルタ等で分割領域の境界部分のブロック歪みを抑えることも可能である。

図９は、上述の手順で算出した評価コストの一例を表している。
評価コストＣＳは、入力画像２１０と、時系列平滑化画像２２０を比較画像として計算した評価コストを示している。評価コストＣＳは、時系列平滑化画像２２０の移動物体領域と、これに加えて、移動物体が通り過ぎた領域において評価コストが高くなるような性質を備えている。
評価コストＣＲは、入力画像２１０と移動物体除去画像２３０を比較画像として計算した評価コストを示している。評価コストＣＲは、通常、移動物体領域のみにおいて評価コストの増加がみられるような性質を備えている。
このように、本実施形態では、入力画像２１０並びに時系列平滑化画像２２０、又は入力画像２１０並びに移動物体除去画像２３０の組み合わせについて、それぞれヒストグラム差分を計算し比較することができる。

なお、画像間類似性評価処理は、ヒストグラム差分を用いて画像間の類似性を評価し、評価コストを出力するものであれば各種の手法を用いることができる。
まず、本実施形態では画素ごとに評価コストを算出しているが、これに限られない。たとえば、ヒストグラム解析部１３０は、フィルタ等でオブジェクト（物体）を算出し、まとまったオブジェクトの領域単位で計算してもよい。
また、ヒストグラム解析部１３０は、例えば、入力画像群２００の１つのフレームを対象画像として、当該対象画像と時間的に近い別の画像で比較する等、上述とは別の組み合わせの比較を行って、評価コストを算出してもよい。
さらに、ヒストグラム解析部１３０は、どのような形式の画像データに対してヒストグラム解析を行ってもよい。たとえば、画像データがＲＧＢ色相空間の３原色Ｒ、Ｇ、Ｂにて構成されている場合、それぞれの成分にてヒストグラム差分を計算し、それらを足し合わせて評価コストとすると好適である。
また、本実施形態において、ヒストグラム解析部１３０は、空間的に連続性のある画像ブロックにて表現されるウィンドウ単位でヒストグラムの比較を行っているが、これに限られない。ヒストグラム解析部１３０は、例えば、複数の異なる領域のヒストグラムを作成して比較する等の処理を行うことも可能である。

次に、ステップＳ１０３において、領域分割部１４０は、領域分割処理を行う。
具体的には、領域分割部１４０は、ヒストグラム解析部１３０にて計算した評価コストに基いて、例えば各カテゴリ、「移動物体領域」「背景領域」「準移動物体領域」へと領域へ分割する。

図１０は、領域分割処理の概要の例を示している。領域分割部１４０は、ヒストグラム解析部１３０が算出した時系列平滑化画像２２０との評価コストＣＳと、移動物体除去画像２３０との評価コストＣＲを用いて、各画素がどのカテゴリに属するかを示すマスク情報ＭＳＲを計算用メモリ１１５の評価コスト計算用情報２５２に出力する。
たとえば、領域分割部１４０は、図１０に示した評価コストＣＳと評価コストＣＲの各データから、マスク情報ＭＳＲのデータを算出する。つまり、領域分割部１４０は、各画素を各カテゴリへ分割して、マスク設定２５３のカテゴリ設定を基にマスク情報ＭＳＲに記憶する。
この例では、マスク設定２５３の閾値パラメータとして、各画素値をＲ、Ｇ、Ｂのいずれかについて０〜２５５の８ｂｉｔ階調とした場合に、閾値Ｔ１＝８０、閾値Ｔ２＝５５を用いている。なお、この閾値Ｔ１、Ｔ２は、所定の初期値を設定した後、パラメータ最適化部１８０が、後述するパラメータ最適化処理で調整する。また、マスク設定２５３のカテゴリ設定として、例えば、「領域分割未完了」＝０、「移動物体領域」＝１、「背景領域」＝２、「準移動物体領域」＝３といった設定値を用いることができる。

（マスク情報ＭＳＲの再帰的な算出例）
ここで、領域分割部１４０は、２種類の評価コストＣＳ、ＣＲからマスク情報ＭＳＲを算出するのに、各種の手法を用いることができる。
図１１は、複数の閾値を適応的に使い分けることにより、評価コストＣＳ、ＣＲから好適にマスク情報ＭＳＲを計算する再帰的アルゴリズムについて示している。
ここでは、２種類の閾値Ｔ１、Ｔ２（Ｔ１＞Ｔ２）を、移動物体に隣接する画素は低い閾値Ｔ２を、そうでない場合は高い閾値Ｔ１を用いて評価することにより、被写体領域の空間的な連続性を考慮したロバストな領域分割が可能になる。
以下で、各ステップの詳細について説明する。各ステップにおいて、ＣＳ（ｉ，ｊ）は画素（ｉ，ｊ）における評価コストＣＳの値を、ＣＲ（ｉ，ｊ）は画素（ｉ，ｊ）における評価コストＣＲの値を、ＭＣＲ（ｉ，ｊ）は画素（ｉ，ｊ）におけるマスク情報ＭＳＲの値を表す。また、（ｉ，ｊ）は、当該画素のＸ軸、Ｙ軸の座標である。

まず、ステップＳ２０１において、領域分割部１４０は、初期設定処理を行う。
この処理において、領域分割部１４０は、まだ処理の完了していない画素（ｉ，ｊ）を対象画素として選択し、対象画素（ｘ，ｙ）＝（ｉ，ｊ）、閾値に係る変数Ｔｃ＝Ｔ１に初期設定する。

次に、ステップＳ２０２において、領域分割部１４０は、対象画素が移動物体領域であるか否かを判定する。具体的に、領域分割部１４０は、ＣＳ（ｘ，ｙ）＞Ｔｃ且つＣＲ（ｘ，ｙ）＞Ｔｃである場合、Ｙｅｓと判定する。それ以外の場合は、Ｎｏと判定する。
Ｙｅｓの場合、領域分割部１４０は、対象画素が移動物体領域であると判断して、処理をステップＳ２０３へ進める。
Ｎｏの場合、領域分割部１４０は、処理をステップＳ２０５へ進める。

ステップＳ２０３において、移動物体領域の場合、領域分割部１４０は、ＭＳＲ（ｘ，ｙ）＝１に設定する処理を行い、その後、処理をステップＳ２０４へ進める。

次に、ステップＳ２０４において、領域分割部１４０は、隣接画素再起呼び出し処理を行う。
具体的には、領域分割部１４０は、変数Ｔｃ＝Ｔ２に設定した上で、対象画素と左、上、右、下に隣接する画素（ｘ，ｙ）＝（ｉ−１，ｊ）、（ｉ，ｊ−１）、（ｉ＋１，ｊ）、（ｉ，ｊ＋１）の中で処理が未完了のものに対して、ステップＳ２０２の処理を再帰的に呼び出し、その後、領域分割処理を終了する。

ステップＳ２０５において、移動物体領域でなかった場合、領域分割部１４０は、背景領域であるか否かを判定する。具体的に、領域分割部１４０は、ＣＳ（ｘ，ｙ）＜ＣＲ（ｘ，ｙ）である場合には、Ｙｅｓと判定する。それ以外の場合は、Ｎｏと判定する。
Ｙｅｓの場合、領域分割部１４０は、処理をステップＳ２０６へ進める。
Ｎｏの場合、領域分割部１４０は、処理をＳ２０７へ進める。

ステップＳ２０６において、領域分割部１４０は、対象画素が背景領域であると判断してＭＳＲ（ｘ，ｙ）＝２に設定する処理を行い、対象画素（ｘ，ｙ）に対する、領域分割処理を終了する。

ステップＳ２０７において、領域分割部１４０は、対象画素が準移動物体領域であると判断してＭＳＲ（ｘ，ｙ）＝３に設定する処理を行い、対象画素（ｘ，ｙ）に対する領域分割処理を終了する。

以上のような領域分割処理を行うことで、１種類の閾値Ｔを用いると移動物体に含まれる領域でも、背景色に近い色を有する場合には、ヒストグラム解析による評価コストがあまり高い値にならないという問題を回避することができる。すなわち、領域分割がうまく行われない場面を回避できる。
また、単一の閾値を用いた場合、背景に含まれる領域でも、陽炎による変形がある程度大きい場合には、ヒストグラム解析による評価コストが小さい値にならない。その結果、移動物体の一部が欠けてしまったり、背景の一部が移動物体として識別されてしまうという問題があった。
これに対して、上述のように２種類の閾値Ｔ１、Ｔ２を用いることで、ロバストな領域分割を実現することができる。

なお、領域分割部１４０は、適切に設定された閾値Ｔを１つだけ用いて、以下のように計算することもできる：
この場合、領域分割部１４０は、閾値Ｔを用いて、ＣＳ（ｉ，ｊ）＞Ｔ、且つＣＲ（ｉ，ｊ）の値＞Ｔである場合には、画素（ｉ，ｊ）は移動物体領域であると判断して、ＭＣＲ（ｉ，ｊ）＝１とする。領域分割部１４０は、それ以外の場合で、ＣＳ（ｉ，ｊ）＜ＣＲ（ｉ，ｊ）であれば、画素（ｉ，ｊ）は背景領域であると判断し、ＭＣＲ（ｉ，ｊ）＝２とする。
また、上記のいずれの条件にも当てはまらない場合、画素（ｉ，ｊ）は準移動物体領域であると判断してＭＣＲ（ｉ，ｊ）＝３とする。
この処理により、処理の量を少なくし、高速化することができる。

（マスク情報ＭＳＲによる領域分割の動作例）
図１２Ａ及び図１２Ｂは、上述の手法による領域分割の動作例について示している。
これらの図でも、図１０のマスク設定２５３と同様に、「移動物体領域」＝１、「背景領域」＝２、及び「準移動物体領域」＝３と設定し、該当画素に対する領域分割処理が未完了である場合には０を用いる。また、各図において、評価コストＣＳ等で選択した画素の座標と同一の座標を破線の四角で示している。
まず、図１２Ａにおいて、領域分割部１４０は、領域分割が未完了である画素の中から１つの画素７１０を対象画素として選択し、その評価コストＣＳ、ＣＲを参照して閾値Ｔ１と比較する。この場合、両方の評価コストともに、閾値Ｔ１よりも大きな値が記憶されているため、対象画素は移動物体領域であると判断し、マスク情報ＭＳＲの対象画素に対する値を１に設定する。
また、領域分割部１４０は、この場合、対象画素が移動物体領域であったため、対象画素７１０の左、上、右、下に隣接する画素の中で、領域分割が未完了の画素７２０、７３０に対して、閾値Ｔ２を用いた評価を再帰的に行い、マスク情報を決定する。領域分割部１４０は、このような閾値Ｔ２を用いた評価を、移動物体領域以外の画素が見つかるまで再帰的に行い、マスク情報ＭＳＲのマスク７６０を算出することで、領域分割を行う。
領域分割部１４０は、再起処理が完了すると再び閾値をＴ１に戻し、処理が未完了である画素７７０に対して比較評価処理を行うと、この画素は準移動物体領域であることが分かり、マスク情報ＭＳＲの対象画素に対する値を３に設定する。この場合、領域分割部１４０は、対象画素が移動物体領域ではなかったため再起計算は行わず、閾値がＴ１のままで、処理が未完了である画素７８０、７９０に対して処理を続ける。すると、再び画素８１０が移動物体領域であると識別されるため、領域分割部１４０は、閾値をＴ２に設定して、隣接する画素８２０の評価を行う。このような処理を続けると、マスク情報ＭＳＲのマスク８３０に示されるマスク情報を算出し、領域分割ができる。
なお、本実施形態では再帰的に移動物体領域を拡張する方法について述べているが、ハードウェア実装を行う場合等、再帰計算を行うことが困難である場合は、同様の結果が得られるように再帰的ではない演算を行うこともできる。

図１３は、上述の処理によって計算されたマスク情報ＭＳＲの一例を示している。
すなわち、時系列平滑化画像２２０と入力画像２１０を用いて算出した評価コストＣＳと、移動物体除去画像２３０と入力画像２１０を用いて算出した評価コストＣＲにより上述の計算を行うことで、３種類のカテゴリへの領域分割結果であるマスク情報ＭＳＲが取得できる。

なお、本実施形態では、２種類の評価コストＣＳ、ＣＲを用いて、３種類のカテゴリへの領域分割を行ったが、評価コストの種類やカテゴリの数を任意に設定することも可能である。
たとえば、領域分割部１４０は、時系列平滑化画像２２０に係る評価コストＣＳのみを用いて、移動物体領域と背景領域の２種類のカテゴリに分割してもよい。
さらに、領域分割部１４０は、移動物体除去画像２３０に係る評価コストＣＲのみを用いて２種類のカテゴリに分割することもできる。この場合、カメラが動いたりシーン変化等の原因で一度、画面全体が移動物体として検出されると、それ以降は移動物体除去画像が更新されなくなる。このため、領域分割部１４０は、シーン変化やカメラの動き自体を別途検出したり、タイマを設定して所定期間で評価コストＣＲの算出をリセットする等により、計算量を抑えて確実に領域分割を行うことができる。
加えて、領域分割部１４０は、別の比較画像を用い、準移動物体領域を複数のレベルで設定する等、４種類以上のカテゴリに分割してもよい。

次に、ステップＳ１０４において、画像補正部１５０は、画像補正処理を行う。
図１４〜図１６を参照して、本実施解体の画像補正処理の詳細について説明する。
画像補正部１５０は、領域分割部１４０から入力されたマスク情報ＭＳＲ、入力画像２１０、時系列平滑化画像２２０、及び移動物体除去画像２３０を用いて陽炎補正を行い、補正画像２５４を出力する。
この上で、画像補正部１５０は、入力画像２１０に対し、空間方向の画像フィルタを実行し、陽炎の影響を少なくした補正画像２５６を出力する。

まず、図１４を参照して、本実施形態の画像補正処理の概念について説明する。
この処理において、画像補正部１５０は、マスク情報ＭＳＲで示されたカテゴリの種類に応じて、それぞれ異なる処理を行うことにより陽炎補正を行う。本実施形態では、画像補正部１５０は、カテゴリに応じて３種類の画像を、例えば画素毎に選択して画像合成することにより、補正画像２５４を生成する。
すなわち、画像補正部１５０は、マスク情報ＭＳＲの画素群１１１０のように、移動物体領域と識別された画素に対しては、入力画像２１０内の同じ座標にある画素群１０１０の値を選択する。
また、画像補正部１５０は、マスク情報ＭＳＲの画素群１１２０のように、背景領域と識別された画素に対しては、時系列平滑化画像２２０内の同じ座標にある画素群１０２０の値を選択する。
同様に、マスク情報ＭＳＲの画素群１１３０のように、準移動物体領域と識別された画素に対しては、移動物体除去画像２３０内の同じ座標にある画素群１０３０の値を選択する。
これにより、画像補正部１５０は、移動物体以外の領域において陽炎等による歪みが補正された補正画像２５４を作成する。

ここで、画像補正部１５０は、移動物体領域と識別された画素群１１１０に対し、移動物体上の陽炎等による歪みを除去するため、画像フィルタを用いて、補正画像２５６を作成する。
つまり、画像補正部１５０は、陽炎による物体の変形を低減するために、移動物体領域に対しては入力画像２１０そのものを利用するのではなく、入力画像２１０に対して空間方向の平滑化フィルタを利用することが可能である。
このような陽炎による物体の変形は、物体の境界部分及びテクスチャの細かい部分において強く観測される。このため、画像補正部１５０は、境界部分及びテクスチャに対して選択的に強い平滑化フィルタを実行することが好適である。

図１５は、移動物体領域に対して平滑化フィルタ用カテゴリの分類を行い、選択的に空間方向の平滑化フィルタを実行する一例を示している。
まず、画像補正部１５０は、入力画像２１０に対して境目（エッジ）の濃淡の変化を一次微分によるソーベルフィルタ（Ｓｏｂｅｌ Ｆｉｌｔｅｒ）やプレウィットフィルタ（Ｐｒｅｗｉｔｔ Ｆｉｌｔｅｒ）等を用いて算出し、エッジの濃淡の変化の急激さ（エッジ強度）も算出する。この他にも、画像補正部１５０は、例えば、対象画素の５×５ピクセルの周辺にある画素値の最大値から最小値を引いた値を、エッジ強度として算出することもできる。

エッジ強度を算出した後、画像補正部１５０は、２種類の所定値である閾値ＴＡ、ＴＢ（ＴＡ＞ＴＢ）を用いて、入力画像２１０を「物体境界領域」「テクスチャ領域」「平面領域」の３種類の平滑化フィルタ用カテゴリに分類する。
具体的には、画像補正部１５０は、エッジ強度が閾値ＴＡ以上である画素を物体境界領域に分類する。
また、画像補正部１５０は、エッジ強度が閾値ＴＢ以上ＴＡ未満となる画素を、テクスチャ領域に分類する。
また、画像補正部１５０は、エッジ強度が閾値ＴＢ未満となる画素を、平面領域に分類する。

画像補正部１５０は、入力画像２１０の平滑化フィルタ用カテゴリの各領域に対して、異なる空間フィルタを用いる。画像補正部１５０は、例えば、エッジ領域に対しては、輪郭線を滑らかにするエッジスムージングフィルタを、テクスチャ領域に対しては、輪郭線は残しながら平滑化処理が可能なバイラテラルフィルタを、平面領域に対しては、あまりぼかしの強度が強くないガウシアンフィルタを適用すると好適である。
これにより、陽炎による変形が目立ちやすい部分に対して、選択的に平滑化を行うことができる。

なお、画像補正部１５０は、平滑化フィルタ用カテゴリの各カテゴリに、他のフィルタを適用することも可能である。
また、画像補正部１５０は、上述の平滑化フィルタ用カテゴリへの分類の際に、エッジ強度を計算する他に、対象画素の周辺における画素値の分散の値を計算して用いることもできる。たとえば、画像補正部１５０は、新たな閾値ＴＥを導入し、下記のように判定を行うことにより、より精密な処理が可能になる。すなわち、画像補正部１５０は、エッジ強度が閾値ＴＡ以上である場合には物体境界領域、エッジ強度が閾値ＴＢ以上ＴＡ未満であり、かつ分散値が閾値ＴＥ以上である場合はテスクチャ領域、それ以外の場合は平面領域であると判定することができる。

図１６は、上述の平滑化フィルタ用カテゴリのエッジ領域に適用するエッジスムージングフィルタの一例について示している。エッジスムージングフィルタは、例えば、画像のエッジ部分に対して、一度画素を大幅に間引き、残った画素を補間することにより、境界線を滑らかにするフィルタである。
画像補正部１５０は、画素の補間方法として、例えばスプライン曲線を用いると好適である。この場合、画素を多く間引かなくてもスムーズな曲線を得られる。
また、画像補正部１５０は、より簡便な方法として、例えば、一度画像を大幅に縮小したあとで再度拡大し、続いてラプラシアンフィルタのようなエッジ先鋭化フィルタを用いて、なまった境界部分を際立たせるような処理を行ってもよい。

画像補正部１５０は、「背景領域」「準移動物体領域」のそれぞれの画素に対しては、時間方向の平滑化フィルタを実行することが好適である。
なお、画像補正部１５０は、画像補正部１５０は、移動物体領域全体に一様に平滑化フィルタをかけてもよい。
また、画像補正部１５０は、上述のようなフィルタを用いず、入力画像２１０における該当画素群１０１０の値をそのまま利用して画像合成を行うこともできる。
これにより、画像補正部１５０の処理負担を低減させることができる。

次に、ステップＳ１０５において、移動物体除去画像更新部１６０は、移動物体除去画像更新処理を行う。
具体的には、移動物体除去画像更新部１６０は、領域分割部１４０から入力されたマスク画像ＭＳＲと入力画像２１０とを用いて、移動物体除去画像メモリ１１３に記憶されている移動物体除去画像２３０を更新する。
移動物体除去画像更新部１６０は、例えば、下記の式（１０）に示す移動平均による計算式を用いて、移動物体除去画像２３０を好適に算出することができる。

式（１０）において、ｂ（ｉ，ｊ）は移動物体除去画像上の座標（ｉ，ｊ）における画素値を、ＭＳＲ（ｉ，ｊ）は座標（ｉ，ｊ）における画素に関するマスク情報ＭＳＲの値を、ｔは更新パラメータ（０＜ｔ＜１）を示す。
ここで、ｂ（ｉ，ｊ）の初期値、すなわち最初のフレームにおける移動物体除去画像２３０は、例えば式（１１）のように、入力画像２１０そのものを用いることができる。

なお、移動物体除去画像更新部１６０は、上述のような平均化処理でなくても、複数フレームの同一座標における画素値に対して、それらの中央となる値を、移動物体除去画像２３０における該当座標の画素値としてもよい。
また、移動物体除去画像更新部１６０は、これに限られず、他の方法を用いて画素値を算出してもよい。

次に、ステップＳ１０６において、陽炎歪み計算部１７０は、歪みレベル出力処理を行う。
図１７を参照して説明すると、陽炎歪み計算部１７０は、入力画像２１０と、領域分割部１４０から入力されたマスク情報ＭＳＲと、画像補正部１５０から入力された補正画像２５６とを用いて、陽炎による画像歪み量を計算し、その歪みレベルを出力する。
ここでは、陽炎歪み計算部１７０は、入力画像２１０と補正画像２５６の差分に基づいて、陽炎による画像歪み量を歪み強度画像２５７として算出する。

図１７は、画像歪み量を計算する方法の一例を示している。
まず、陽炎歪み計算部１７０は、入力画像２１０と補正画像２５６の、画素ごとの差分を計算して、所定の閾値ＴＤ以上／未満を判定して２値化する。これにより、陽炎歪み計算部１７０は、各画素において陽炎による歪みが生じているか否か（２値）を表す歪み強度画像２５７を取得することができる。
陽炎歪み計算部１７０は、差分が閾値以上である画素は陽炎による歪みが生じていると判断し、そうでなければ、陽炎による歪みが生じていないと判断できる。

続いて、陽炎歪み計算部１７０は、歪み強度画像を、互いに重ならないＮ×Ｎサイズ（例えば、Ｎ＝１６）のブロックに分割する。そして、陽炎歪み計算部１７０は、それぞれのブロックの中で、歪みが生じている画素の数をカウントして、ヒストグラム化する。
たとえば、図１７の例では、陽炎歪み計算部１７０は、歪みが生じている画素数について、４階調のような所定値で量子化して、ヒストグラム４７０を作成する。ヒストグラム４７０の横軸は歪みが生じている画素数、縦軸はブロックの数（度数）を示す。そして、陽炎歪み計算部１７０は、適切に設定された所定の閾値ＴＬを用いて、４階調化された画素数である度数が閾値ＴＬを超える最大値を計算し、当該の最大値を陽炎歪みレベルＤＬとして算出する。
図１７の例では、ヒストグラムでは、値３の度数は閾値を超えているが、値４の度数は閾値ＴＬを越えていないため、陽炎歪みレベルは３であると判定される。

なお、陽炎歪み計算部１７０は、歪み強度画像２５７を参照し、対象画素に歪みが生じているかどうかに基づいて、他のアプリケーションに送信するデータを選択したり、重み付け計算を行う等の加工を行うこともできる。
すなわち、陽炎歪み計算部１７０は、例えば、デジタルカメラの焦点距離計算や画像の階調補正等、画面内の画素値の統計情報を扱うアプリケーションに、陽炎による歪みがなく信頼性の高い画素のデータを送信することができる。
すなわち、他のアプリケーションでは、画面内のどの場所で歪みが生じているかの情報である歪み強度画像２５７に基づいて各種処理を行うことができ、当該アプリケーションの処理精度が高くなるという効果が得られる。

次に、ステップＳ１０７において、パラメータ最適化部１８０は、パラメータ最適化処理を行う。
具体的には、パラメータ最適化部１８０は、陽炎歪み計算部１７０から入力された陽炎歪みレベルＤＬに基づいて、領域分割や画像更新を行うための各種パラメータを制御し、最適化する。たとえば、時系列平滑化画像２２０や移動物体除去画像２３０を更新するための、更新パラメータｓ，ｔは、大きな値に設定するほど強い歪みを補正することができる。一方、更新パラメータｓ，ｔが大きくなると平滑化の強度が大きくなるため解像度が低下しやすくなる。このため、パラメータ最適化部１８０は、陽炎歪みレベルＤＬが大きくなるほど更新パラメータｓ，ｔの値が大きくなるよう制御すると好適である。
また、パラメータ最適化部１８０は、領域分割に関するパラメータとして設定される閾値パラメータである閾値Ｔ１、Ｔ２等についても、歪みのレベルが大きくなるほど閾値Ｔ１、Ｔ２が大きくなるように制御すると、領域分割の精度を高く保つことができる。

なお、パラメータ最適化部１８０は、画面全体で計算された陽炎歪みレベルＤＬに基づいてパラメータの最適化を行うだけでなく、歪み強度画像２５７を直接用いてパラメータの最適化を行うこともできる。つまり、パラメータ最適化部１８０は、画面内のどの場所で歪みが生じているかを表す歪み強度画像２５７を用いることにより、同じ画面内でも場所によってパラメータを変化させることができ、より細かな最適化が可能になる。
たとえば、パラメータ最適化部１８０は、歪みが生じている平滑化フィルタ用カテゴリの領域ではパラメータｓ、ｔ、Ｔ１、Ｔ２等を大きく設定し、そうでない領域ではこれらの値を小さく設定することができる。

次に、ステップＳ１０８において、画像高画質化部１９０は、高解像度化処理を行う。 図１８を参照して説明すると、画像高画質化部１９０は、入力画像２１０又は補正画像２５６に対して、入力画像群２００（図１）から得た参照画像２１２により超解像処理を行い、出力画像２４０として出力する高解像度化を行う。ここで、参照画像２１２には、画像高画質化部１９０が、入力画像群２００から、入力画像２１０と時間的に近傍にあるフレームを複数選択して用いる。
ここで、従来から、複数枚のフレームを参照する超解像処理では、対象画像に対して、一度すべての参照フレームとの位置あわせを行う必要がある。従来の位置合わせは、様々な方法があるものの、一般的に処理量が高い。
よって、本実施形態では、現実的な時間で処理を完了させるために、マスク情報ＭＳＲを用いて、処理量を低減させる。

図１８は、本実施形態における位置あわせ方法の一例を示している。
まず、画像高画質化部１９０は、本実施例では超解像処理を目的とした位置合わせを行う。
画像高画質化部１９０は、入力画像２１０又は補正画像２５６のマスク情報ＭＳＲと、参照画像２１２のマスク情報ＭＳＲとを参照して、それぞれにおいて、移動物体が存在する場所を特定する。また、当該参照画像２１２についても、上述の処理により、マスク情報ＭＳＲを算出しておく。
このとき、画像高画質化部１９０は、移動物体については移動物体領域間でのみ位置あわせを行い、移動物体以外の領域については、移動物体以外の領域間でのみ位置あわせを行う。
これにより、それぞれ画面全体を対象として位置あわせを行う場合と比べ、探索の範囲を制限して処理を軽減することができる。

画像高画質化部１９０は、位置合わせをした後に、対象画像と参照画像２１２とを用いて、実際の超解像処理を行い、出力画像２４０を作成する。
この超解像処理は、どのような方法を用いても良いが、例えば、高解像度画像から観測画像が生成されるまでに加わった動きやぼけといった画像劣化の要因をモデル化し、ＭＡＰ推定やＢＴＶ（Ｂｉｌａｔｅｒａｌ Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ）法といった正則化手法を用いて高解像度画像を推定する再構成法を用いると好適である。この再構成法については、「田中，奥富；再構成型超解像処理の高速化アルゴリズムとその精度評価， 電子情報通信学会論文誌 Ｖｏｌ． Ｊ８８−Ｄ−ＩＩ， Ｎｏ． １１， ｐｐ． ２２００−２２０９， ２００５．（電子情報通信学会）；２００５年１１月」を参照することができる。
以上により、本発明の第１の実施の形態に係る画像品質改善処理を終了する。

なお、本実施形態では、画像高画質化部１９０は、対象画像に補正画像２５６又は入力画像２１０を、参照画像には入力画像群２００から時間的に近いフレームを用いた。
しかしながら、対象画像や参照画像として、他の画像を用いてもよい。たとえば、画像高画質化部１９０は、入力画像群２００から対象画像を直接選択し、時系列平滑化画像２２０や移動物体除去画像２３０を参照画像に用いることもできる。

加えて、画像高画質化部１９０は、領域分割結果となるマスク情報ＭＳＲを、超解像度処理のための位置合わせ以外の他の用途、例えば、画像分析や画像比較に用いることもできる。
また、画像高画質化部１９０は、位置合わせ処理の結果を、例えば、移動物体の動き解析やオブジェクト認識のためのテンプレートマッチング等、幅広い用途に利用することが可能である。
また、出力画像メモリ１１４に記憶された出力画像２４０は、他のアプリケーションから読みだしたり、映像ファイルとして記録媒体に蓄積して記憶したり、ネットワーク上に出力したり、表示手段に出力してユーザが閲覧したりすることができる。

以上のように構成することで、以下のような効果を得ることができる。
まず、従来技術１〜２では、移動物体が存在しない領域においては好適な結果が得られるものの、移動物体が通り過ぎた領域においては、移動物体とそうでない領域が不正に重畳されてしまい、画質が劣化するといった問題があった。
これに対して、本発明の第１の実施の形態に係る画像処理装置１０は、ヒストグラムを用い、入力画像と、時間的に近い画像を用いて入力画像を平滑化した時系列平滑化画像とのヒストグラム差分を計算し、差分の小さい部分を移動物体領域として抽出する。この上で、各領域に対して適切なフィルタ処理を行って再び領域統合を行うことによって陽炎補正を行う。
このような処理により、本実施形態の画総処理装置１０は、移動物体が存在する場合でも補正画像を劣化させることなく、陽炎の影響により観測される被写体の変形や解像感の喪失を補正し、現実的な計算量で陽炎補正を行い画像の品質を改善できる。よって、映像監視に適した、高品質化した画像を提供できる。

また、従来技術３は、１フレーム前の画像に着目して陽炎等の画像補正を行う。
これに対して、本実施形態の画像処理装置１０は、ヒストグラムの差分（発生頻度の差分）を評価する。
これにより、画像処理装置１０は、物体の変形に対して、ロバストに画像補正を行うことができる。つまり、陽炎が発生した際には被写体が変形し、入力画像２１０内の背景領域にある物体が、背景内の同じ位置に存在するとは限らないといった場合でも、好適に陽炎の補正を行うことができる。

また、従来、補正画像に対して複数枚画像を用いた超解像処理を施す場合、位置あわせのための処理量が膨大であるといった問題があった。
これに対して、本実施形態の画像処理方法は、ヒストグラムを用い、超解像処理のための位置あわせを行う際にも、上記移動物体の抽出結果を参照する。
これにより、被写体の存在場所が限定されるため、探索範囲が限定され、処理量を軽減化できる。よって、陽炎補正を行った画像に対して、少ない処理量で超解像処理を行うことが可能になる。

なお、本実施形態の画像補正方法は、陽炎の他に、例えば水面の揺らぎ、木々の揺れ、大気中のもや、水中撮影時の画像の歪み等に対して幅広く補正を行うことが可能であり、不規則に揺れている被写体を止めて視認性を高める用途に広く利用することができる。
また、本実施形態の領域分割による移動物体分離方法を、画像補正以外の用途で利用することもできる。たとえば、陽炎等による歪みが含まれる監視映像内から侵入者を自動検知したり、進入車両のナンバーを自動識別するシステム等にて、移動物体として識別された領域を解析することで、処理量を低減することができる。

＜第２の実施の形態＞
〔画像処理装置１１の構成〕
次に、図１９を参照して、本発明の第２の実施の形態に係る画像処理装置１１の制御構成について説明する。図１９では、図１の第１の実施の形態に係る画像処理装置１０と同じ符号は、同様の処理部位を示している。具体的には、画像処理装置１１は、画像処理装置１０のヒストグラム解析部１３０（図１）の代わりに、類似性情報算出部であるブロック解析部１３１（類似性情報算出手段、ブロック解析手段）を備えている。
ブロック解析部１３１は、第１の実施の形態のヒストグラム解析部１３０と同様に、入力画像２１０と時系列平滑化画像２２０、入力画像２１０と移動物体除去画像２３０の各組み合わせに対して、画素単位で、画像間の差を表す評価コストを画像間の類似性情報として算出する。ただし、ブロック解析部１３１は、ヒストグラムの差分ではなく同一座標における画素値の差を計算する点が、ヒストグラム解析部１３０と異なる。
なお、ブロック解析部１３１以外の処理は、第１の実施の形態に係る画像処理装置１０と同じであり、説明を省略する。

図２０は、ある領域においてブロック解析部１３１が、画像間の類似性を計算する方法について示している。
ここでは、ブロック解析部１３１は、入力画像２１０と、比較画像において、例えば３２×３２ピクセルの同一座標・同一サイズのウィンドウＷ１とＷ２における画素値を評価し、ウィンドウ間の差分値Ｄ_W1,W2を算出する。
この際、比較画像として、入力画像２１０の比較対象となる画像として、第１の実施の形態と同様に、時系列平滑化画像２２０又は移動物体除去画像２３０を用いることができる。

画素値の評価方法は、例えば、下記の式（１２）に示すように、ウィンドウ内における同一座標の画素値差分を足し合わせたものを計算すると好適である。
式（１２）は、時系列平滑化画像２２０を比較画像とする場合について示しているが、移動物体除去画像２３０でも同様である。

ここで、Ｄｉｆｆ（ｘ，ｙ）は、画素値ｘと画素値ｙの差分を表している。
差分の計算方法として、ブロック解析部１３１は、例えば、式（１３）に示す絶対値誤差（Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）や、式（１４）に示す二乗誤差（Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）等を用いると好適である。

また、ブロック解析部１３１は、下記の式（１５）に示すように、ウィンドウ内の画素値の平均値の差分をウィンドウ間の差分として計算することもできる。
これにより、陽炎による被写体の変形を考慮した計算が可能となる。

ここで、ＡＶＥ（Ｗ１又はＷ２）は、ウィンドウＷ１又はＷ２に含まれるすべての画素の平均値を表している。
なお、ブロック解析部１３１は、ウィンドウ間の差分を計算する際、平均値を用いず、例えば、中央値や最頻値等、ウィンドウ内の画素の特徴を示す特徴値を用いることができる。

本発明の第２の実施形態において、ブロック解析部１３１は、上述の方法で計算したウィンドウ間差分Ｄ_W1,W2に基づき、第１の実施の形態の画像間類似性評価処理と同様に、各画素における画像間の差を表す評価コストＣ_Xを計算することができる。
すなわち、ブロック解析部１３１は、図６に示されるように、対象画素の周りでウィンドウを動かし、繰り返しウィンドウ間差分を計算してもよいし、図７に示されるように、対象画素が中心に来るようにウィンドウ設定して差分を計算してもよい。

以上のように構成することで、本発明の第２の実施の形態に係る画像処理装置１１は、第１の実施の形態に係る画像処理装置１０に加えて、以下のような特徴を得ることができる。
本実施形態の画像処理装置１１は、領域分割のための評価コストを計算するために、ウィンドウ毎にヒストグラムを作成して比較をする必要がない。
このため、ほどほどの精度で領域分割を行って、処理量や使用記憶容量等を抑えることが可能となる。

以上説明したように、本発明をまとめると、以下のような特徴を備えている。
本発明の画像処理装置１０又は１１は、入力画像２１０を保持するための入力画像メモリ１１０と、時間的に近い複数枚の入力画像群２００とを用いて画面内の全画素を平滑化した時系列平滑化画像２２０を保持するための時系列平滑化画像メモリ１１２と、入力画像から移動物体を除去した画像に対して時系列平滑化処理を行った移動物体除去画像２３０を記憶するための移動物体除去画像メモリ１１３と、入力画像２１０を用いて時系列平滑化画像を更新する時系列平滑化画像更新部１２０と、２種類の画像の部分画像に対してそれぞれヒストグラムを作成し、その差分を計算することにより画像間の類似性を評価するヒストグラム解析部１３０、又はブロック毎に画素の差分を計算することにより画像間の類似性を評価するブロック解析部１３１と、ヒストグラム解析部１３０又はブロック解析部１３１によって計算された誤差に基づいて領域分割を行う領域分割部１４０と、領域分割部１４０による領域分割結果に基づいて画像を補正する画像補正部１５０と、領域分割部１４０による領域分割結果に基づいて入力画像を用いた移動物体除去画像２３０の更新処理を行う移動物体除去画像更新部１６０と、領域分割および画像補正の結果に基づいて陽炎による歪みの強さを計算するための陽炎歪み計算部１７０と、陽炎による歪みの強さに応じて各種パラメータを最適化するパラメータ最適化部１８０と、領域分割および画像補正の結果に基づいて超解像処理を行う画像高画質化部１９０とを備えることを特徴とする。
本発明の画像処理方法は、対象画像と、時間的に近い複数枚の画像を用いて平滑化した時系列平滑化画像の類似性を計算し、類似性の低い領域を移動物体として抽出することを特徴とする。
本発明の画像処理方法は、移動物体として抽出された領域以外の部分に対して時系列平滑化した移動物体除去画像を用い、対象画像との類似性に基づいて移動物体が過去に通過した領域を抽出することを特徴とする。
本発明の画像処理方法は、入力画像と対象画像のそれぞれのウィンドウに対するヒストグラムを作成し、これらの差分を計算することによって画像間の類似性を計算し、領域分割することを特徴とする。
本発明の画像処理方法は、入力画像を２種類以上の領域に分割し、各領域において異なる処理を施すことによって画像補正を行うことを特徴とする。
本発明の画像処理方法は、移動物体領域に対して空間方向の平滑化フィルタをかけ、又は移動物体以外の領域に対して時間方向の平滑化フィルタをかけることを特徴とする。
本発明の画像処理方法は、画素単位若しくは領域単位で計算された評価値に対して領域分割を行う際に、２種類以上の閾値パラメータを設定し、高い閾値以上の評価値を有する領域の空間的近傍に位置する領域に対しては低い閾値にて、そうでない場合には高い閾値にて領域分割を行うことを特徴とする。
本発明の画像処理方法は、領域分割を行う際に、低い閾値以下の評価値を有する領域の空間的近傍に位置する領域に対しては高い閾値にて、そうでない場合には低い閾値にて領域分割を行うことを特徴とする。
本発明の画像処理方法は、画像補正を行った後の画像と、画像補正を行う前の画像の差分を計算し、被写体が揺れて見えている領域を検出することを特徴とする。
本発明の画像処理方法は、陽炎等の影響により被写体が揺れて見える映像の複数フレームに対して前記移動物体抽出を行い、移動物体領域同士、移動物体以外の領域同士で位置合わせ処理を行うことを特徴とする。
本発明の画像処理方法は、前記位置合わせの結果に基づいて超解像処理を行うことを特徴とする。

なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。

１０、１１ 画像処理装置
１１０ 入力画像メモリ
１１２ 時系列平滑化画像メモリ
１１３ 移動物体除去画像メモリ
１１４ 出力画像メモリ
１１５ 計算用メモリ
１２０ 時系列平滑化画像更新部
１３０ ヒストグラム解析部
１３１ ブロック解析部
１４０ 領域分割部
１５０ 画像補正部
１６０ 移動物体除去画像更新部
１７０ 陽炎歪み計算部
１８０ パラメータ最適化部
１９０ 画像高画質化部
２００ 入力画像群
２１０、１２００−１〜１２００−ｎ 入力画像
２１２ 参照画像
２２０、１２２０ 時系列平滑化画像
２３０ 移動物体除去画像
２４０ 出力画像
２５２ 評価コスト計算用情報
２５３ マスク設定
２５４、２５６ 補正画像
２５５ フィルタ情報
２５７ 歪み強度画像
３１０、３１１、３２０、３２１、３３０、１２５０ 領域
４１０、４２０、４３０、４４０、４５０、４６０、４７０ ヒストグラム
６１０、６２０、７１０、７２０、７３０、７７０、７８０、７９０、８１０、８２０ 画素
７６０、８３０ マスク
１０１０、１０２０、１０３０、１１１０、１１２０、１１３０ 画素群
ＭＳＲ マスク情報
ＣＳ、ＣＲ 評価コスト
ＤＬ 陽炎歪みレベル
Ｔ、Ｔ１、Ｔ２、ＴＡ、ＴＢ、ＴＤ、ＴＥ、ＴＬ 閾値
Ｔｃ 変数
Ｘ 対象画素

本発明の画像処理装置は、入力画像と、時間的に近い複数枚の画像を用いて平滑化した時系列平滑化画像若しくは移動物体を除去した移動物体除去画像若しくは背景画像とに対して、部分画像の差分を計算することにより画像間の類似性情報を算出する類似性情報算出部と、前記画像間の類似性情報により前記入力画像を移動物体領域、及び該移動物体領域以外の領域に分割する領域分割部と、前記領域毎に前記入力画像又は前記時系列平滑化画像を画像合成する画像補正部とを備え、前記領域分割部は、大きさの異なる２種類以上の閾値を設定し、高い閾値以上の画素値の前記領域の空間的近傍に位置する前記領域に対しては低い閾値で、そうでない場合には高い閾値で前記領域の分割を行う、又は、低い閾値以下の評価値を備える前記領域の空間的近傍に位置する前記領域に対しては高い閾値にて、そうでない場合には低い閾値にて前記領域の分割を行うことを特徴とする。
本発明の画像処理装置は、前記類似性情報算出部が、前記時系列平滑化画像若しくは前記移動物体除去画像若しくは前記背景画像と、入力画像とに対して、対応する位置にあるそれぞれの部分画像から該部分画像内の複数の画素値に関するヒストグラムを計算し、該ヒストグラムの比較により前記部分画像の差分を計算し、前記類似性情報を、画素毎にその画素を含む少なくとも１つの前記部分画像の前記差分に基づき算出することを特徴とする。
本発明の画像処理装置は、前記領域分割部が、設定された前記閾値より前記類似性情報が高い画素を移動物体領域、設定された前記閾値以下の画素を該移動物体領域以外の領域であると判断して前記領域の分割を行い、前記画像補正部は、前記移動物体領域の画素に対しては入力画像から、前記移動物体領域以外の領域の画素に対しては前記時系列平滑化画像若しくは前記移動物体除去画像若しくは前記背景画像から、対応する画素の値を選択することで前記画像合成を行い、更に該移動物体領域内でエッジ強度が所定閾値以上となった領域に対してエッジスムージングフィルタを適用することを特徴とする。
本発明の画像処理装置は、時間的に近い複数枚の入力画像を平滑化した時系列平滑化画像、若しくは所定の背景モデルに基づき画素毎に最も背景らしさの高い値を用いた背景画像を生成する平滑化画像更新部と、前記入力画像を、メモリ上で移動体領域を除いて選択的に更新することで移動物体除去画像を生成する移動物体除去画像更新部と、前記時系列平滑化画像若しくは前記背景画像と、移動物体除去画像と、入力画像とに対して、対応する位置にあるそれぞれの部分画像から該部分画像内の複数の画素値に関するヒストグラムを計算し、前記時系列平滑化画像若しくは前記背景画像と入力画像とのヒストグラム差分に基づく値を第１類似性情報とし、前記移動物体除去画像と入力画像とのヒストグラム差分に基づく値を第２類似性情報として算出する類似性情報算出部と、前記第１及び第２類似性情報を大きさの異なる２種類以上の閾値と比較して、前記入力画像を移動物体領域、背景領域、及び前記時系列平滑化画像に通過した移動体の残像が生じている準移動体領域に分割する領域分割部と、前記移動物体領域においては入力画像から、前記背景領域においては前記時系列平滑化画像若しくは前記背景画像から、前記準移動体領域においては前記移動物体除去画像から、対応する画素の値を選択して合成した補正画像を生成する画像補正部と、前記入力画像と前記補正画像との差に基づいて歪み強度を算出する歪み計算部と、前記歪み強度に基づいて、前記領域分割部における領域分割のパラメータ若しくは前記平滑化画像更新部或いは移動物体除去画像更新部における更新のパラメータを制御する移動物体除去画像更新部と、すくなくとも１つの前記補正画像を含む、時間的に近い複数枚の前記入力画像または前記補正画像について、前記移動物体領域同士、及び／又は前記移動物体以外の領域同士で位置合わせ処理を行い、該位置合わせの結果に基づいて超解像処理を行う画像高画質化部とを備えることを特徴とする。
本発明の画像処理プログラムは、コンピュータに画像処理を実行させるための画像処理プログラムにおいて、前記コンピュータに、入力画像と、時間的に近い複数枚の画像を用いて平滑化した時系列平滑化画像若しくは移動物体を除去した移動物体除去画像若しくは背景画像とに対して、部分画像の差分を計算することにより画像間の類似性情報を算出させ、前記画像間の類似性情報により前記入力画像を移動物体領域、及び該移動物体領域以外の領域に分割させ、前記領域毎に前記入力画像又は前記時系列平滑化画像を画像合成させ、大きさの異なる２種類以上の閾値を設定し、高い閾値以上の画素値の前記領域の空間的近傍に位置する前記領域に対しては低い閾値で、そうでない場合には高い閾値で前記領域の分割を行わせ、又は、低い閾値以下の評価値を備える前記領域の空間的近傍に位置する前記領域に対しては高い閾値にて、そうでない場合には低い閾値にて前記領域の分割を行わせる手順を実行させることを特徴とする。

Claims (5)

1. 入力画像と、時間的に近い複数枚の画像を用いて平滑化した時系列平滑化画像若しくは移動物体を除去した移動物体除去画像とに対して、部分画像の差分を計算することにより画像間の類似性情報を算出する類似性情報算出部と、
   前記画像間の類似性情報により前記入力画像を移動物体領域、及び該移動物体領域以外の領域に分割する領域分割部と、
   前記領域毎に前記入力画像又は前記時系列平滑化画像を画像合成する画像補正部とを備える
   ことを特徴とする画像処理装置。
2. 前記領域分割部は、
   大きさの異なる２種類以上の閾値を設定し、高い閾値以上の画素値の前記領域の空間的近傍に位置する前記領域に対しては低い閾値で、そうでない場合には高い閾値で前記領域の分割を行う、又は、
   低い閾値以下の評価値を備える前記領域の空間的近傍に位置する前記領域に対しては高い閾値にて、そうでない場合には低い閾値にて前記領域の分割を行う
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像補正部は、
   前記移動物体領域に対して空間方向の平滑化フィルタを実行する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記移動物体領域同士、及び／又は前記移動物体以外の領域同士で位置合わせ処理を行い、該位置合わせの結果に基づいて超解像処理を行う画像高画質化部を備える
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. コンピュータに画像処理を実行させるための画像処理方法において、
   前記コンピュータに、
   入力画像と、時間的に近い複数枚の画像を用いて平滑化した時系列平滑化画像とに対して、部分画像の差分を計算することにより画像間の類似性情報を算出し、
   前記画像間の類似性情報により前記入力画像を移動物体領域、及び該移動物体領域以外の領域に分割し、
   前記領域毎に前記入力画像又は前記時系列平滑化画像を画像合成する
   手順を実行させることを特徴とする画像処理方法。

Images