JP2021005206A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】入力フレームに含まれるノイズによる画質への影響を抑制した高画質な画像を生成可能にし、処理時間を短縮することも可能にすることを課題とする。【解決手段】大気のゆらぎに影響を与えるパラメータを取得する取得手段（２０２）と、ノイズ低減処理の方法および条件を決定する決定手段（２０３）と、複数の画像データに対して、決定されたノイズ低減処理の方法および条件に応じたノイズ低減処理を行う処理手段（２０４）と、ノイズ低減処理された複数の画像データを基に、スペックルイメージング法による補正を行った画像データを生成する生成手段（２０５）と、を有し、決定手段（２０３）は、パラメータに応じてノイズ低減処理の方法および条件を決定する。【選択図】図２

Description

本発明は、撮像された画像を処理する画像処理技術に関する。

従来、監視カメラシステムなどにおいて、大気ゆらぎに起因する画像の劣化を補正（以降ではゆらぎ補正と呼ぶ）する技術が用いられている。大気ゆらぎとは、大気の乱流や温度差により屈折率が空間的および時間的に変化する自然現象を指す。なお、大気ゆらぎは陽炎とも呼ばれる。大気ゆらぎは光の屈折や位相のばらつきを引き起こし、その結果として特に望遠レンズで遠方を撮影した場合、被写体の像に、時間的に変化するぼけと歪み（以降ではゆらぎと呼ぶ）が発生する。このような画像の劣化は、被写体の視認性を大きく低下させるため、除去されることが望ましい。

ここで、複数フレームの画像からぼけと歪みを同時に低減した画像を生成する手法として、スペックルイメージング法が知られている。以降の説明では、例えば動画像を構成する時系列に並んだ画像データをフレームと呼ぶ。スペックルイメージング法は、元来天文分野で開発された手法であり、再構成画像のフーリエスペクトルの振幅成分と位相成分を独立に推定する。振幅成分は、入力フレームのパワースペクトルの平均を算出し、それに対し撮像装置の光学系の光学伝達関数に基づいて決定された高周波成分を増幅するフィルタをかけることで推定される。一方、位相成分は、入力画像のバイスペクトラムに基づき、低周波成分の既知の位相値を用いて高周波成分の位相値を逐次的に推定していくことで求められる。特許文献１では、スペックルイメージング法をゆらぎ補正に応用する技術が開示されている。

米国特許出願公開第２００４／０００５０９８号明細書

スペックルイメージング法を用いると、入力フレームに含まれるノイズが増幅され、再構成画像の画質が低下することが課題となる。

そこで本発明は、入力フレームに含まれるノイズによる画質への影響を抑制した高画質な画像を生成することを目的とする。

本発明の画像処理装置は、大気のゆらぎに影響を与えるパラメータを取得する取得手段と、ノイズ低減処理の方法および条件を決定する決定手段と、入力された画像データに対して、前記決定された前記ノイズ低減処理の方法および条件に応じたノイズ低減処理を行う処理手段と、前記ノイズ低減処理された複数の画像データを基に、スペックルイメージング法による補正を行った画像データを生成する生成手段と、を有し、前記決定手段は、前記パラメータに応じて前記ノイズ低減処理の方法および条件を決定することを特徴とする。

本発明によれば、入力フレームに含まれるノイズの画質への影響を抑制した高画質な画像の生成が可能となる。

実施形態の情報処理装置の構成例を示す図である。 情報処理装置の機能構成を示す図である。 第１の実施形態のパラメータ取得部の機能構成を示す図である。 スペックルイメージング部の機能構成を示す図である。 情報処理装置における処理のフローチャートである。 ノイズ低減処理における重み係数を示す模式図である。 第１の実施形態のパラメータ取得部における処理のフローチャートである。 スペックルイメージング部における処理のフローチャートである。 第２の実施形態のパラメータ取得部の機能構成を示す図である。 第２の実施形態のパラメータ取得部における処理のフローチャートである。

以下、実施形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態は本発明を必ずしも限定するものではない。
図１は、画像処理装置が適用される一例としての情報処理装置１００の概略構成を示す図である。本実施形態の情報処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、二次記憶装置１０４、入力ＩＦ１０５、及び出力ＩＦ１０６等を構成要素として含む。情報処理装置１００の各構成要素は、システムバス１０７によって相互に接続されている。また、情報処理装置１００は、入力ＩＦ１０５を介して外部記憶装置１０８および操作部１１０に接続されている。また、情報処理装置１００は、出力ＩＦ１０６を介して外部記憶装置１０８および表示装置１０９に接続されている。

ＣＰＵ１０１は中央処理装置であり、ランダムアクセスメモリであるＲＡＭ１０２をワークメモリとして、リードオンリーメモリであるＲＯＭ１０３に格納されたプログラムを実行し、システムバス１０７を介して各構成要素を統括的に制御する。これにより、後述する様々な処理が実行される。二次記憶装置１０４は、情報処理装置１００で取り扱われる種々のデータを記憶する記憶装置であり、本実施形態では例えばＨＤＤ（ハードディスクドライブ）が用いられる。なお、二次記憶装置１０４にはＨＤＤの他に、光ディスクドライブやフラッシュメモリなど、様々な記憶デバイスを用いることが可能である。ＣＰＵ１０１は、システムバス１０７を介して二次記憶装置１０４へのデータの書き込みおよび二次記憶装置１０４に記憶されたデータの読み出しを行う。

入力ＩＦ１０５は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースである。情報処理装置１００は、入力ＩＦ１０５を介して、不図示の外部装置からデータや命令等を入力する。本実施形態では、情報処理装置１００は、入力ＩＦ１０５を介して、外部記憶装置１０８からデータを取得する。外部記憶装置１０８は、記憶媒体として例えばハードディスク、ＣＦカード（ＣＦは登録商標）やＳＤカード等のメモリカード、ＵＳＢメモリなどを備えた装置である。また本実施形態において、情報処理装置１００は、操作部１１０を介して入力されたユーザからの指示を、入力ＩＦ１０５を介して取得する。操作部１１０は、マウスやキーボードなどの入力装置であり、ユーザからの指示入力を取得する。

出力ＩＦ１０６は、入力ＩＦ１０５と同様にＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースである。なお、出力ＩＦ１０６は、ＤＶＩやＨＤＭＩ（ＨＤＭＩは登録商標）等の映像出力端子であってもよい。情報処理装置１００は、出力ＩＦ１０６を介して、不図示の外部装置にデータ等を出力する。本実施形態では、情報処理装置１００は、出力ＩＦ１０６を介して表示装置１０９（液晶ディスプレイなどの各種画像表示デバイス）に、ＣＰＵ１０１によって処理されたデータ（例えば画像データ）を出力する。なお、情報処理装置１００の構成要素は、前述した各構成要素以外にも存在するが、ここでは説明を省略する。

＜第１の実施形態＞
以下、第１の実施形態の情報処理装置１００が行う画像処理について説明する。なお本実施形態の情報処理装置１００に入力される画像データは、監視カメラ等の撮像装置によって取得されたものであるとする。本実施形態の情報処理装置１００は、大気のゆらぎに影響を与えるパラメータを取得し、そのパラメータに応じてノイズ低減処理の方法および条件を決定し、その決定されたノイズ低減処理の方法および条件に応じたノイズ低減処理を画像データに施す。そして、本実施形態の情報処理装置１００は、ノイズ低減処理された複数フレームの画像データに基づいて、スペックルイメージング法を用いて大気ゆらぎを補正した出力画像データを生成する。

図２は、本実施形態の情報処理装置１００の機能構成を示した機能ブロック図である。
図２に示すように、情報処理装置１００は、画像取得部２０１、パラメータ取得部２０２、決定部２０３、ノイズ低減部２０４、およびスペックルイメージング部２０５としての機能を有する。図２に示した情報処理装置１００の各部における処理の詳細は後述する。
パラメータ取得部２０２は、第１の実施形態においては図３に示すように、画像変換部３０１、位相抽出部３０２、微分算出部３０３、統計量算出部３０４、およびパラメータ推定部３０５としての機能を有する。図３に示したパラメータ取得部２０２の各部における処理の詳細は後述する。
スペックルイメージング部２０５は、図４に示すように、前処理部４０１、フーリエ変換部４０２、バイスペクトラム算出部４０３、位相推定部４０４、パワースペクトル算出部４０５、振幅推定部４０６、および合成部４０７としての機能を有する。図４に示したスペックルイメージング部２０５の各部における処理の詳細は後述する。
これら図２〜図４に示した各部における機能は、ＣＰＵ１０１がＲＯＭ１０３内に格納されたプログラムを読み込み実行することで実現される。なお、各部に相当する専用の処理回路を備えるように情報処理装置１００が構成されていてもよい。

図５は、第１の実施形態の情報処理装置１００における処理の流れを示したフローチャートである。以下、図５のフローチャートを用いて図２〜図４に示した各部の機能を説明する。
まずステップＳ５０１において、画像取得部２０１は、本実施形態の情報処理装置１００の処理対象である複数フレームからなる画像データを取得する。このとき取得される画像データは、例えば撮像装置により撮像されたフレーム毎の画像のデータであるとする。

次にステップＳ５０２に進むと、パラメータ取得部２０２は、画像撮影時において大気ゆらぎに影響を与えるパラメータ（大気ゆらぎパラメータとする。）を取得する。本実施形態の場合、取得される大気ゆらぎパラメータは、具体的には、撮像装置が画像を撮像している場所における、風速、気温、地理環境、季節、およびその撮影時刻等の、一つ以上の情報である。つまり、画像取得部２０１が取得した画像データは、撮像装置により撮像されたフレーム毎の画像のデータであり、それらの画像は、風速、気温、地理環境、季節、および時刻等によって変化する大気ゆらぎにより、ひずみやぼけが変化していることが多い。そして、大気ゆらぎの影響により、画像には局所的な変位が生じていることが多い。ここで、大気ゆらぎによる画像の局所的な変位の分布は、ある位置を中心とした正規分布で近似され、ランダムに振動する。例えば、風速が大きいほど、この変位の振動の周期が短くなり、画像の局所的な変位の変化が大きくなる。この他にも、気象的あるいは地理的条件によっても、大気ゆらぎによる画像の局所的な変位が変化することがある。例えば、気温が高いあるいは湖水地がある、といった気象的あるいは地理的条件によって、大気ゆらぎによる画像の局所的な変位が増大することがある。このような大気ゆらぎに影響を与えるパラメータを取得するための処理の詳細な流れについては後述する。

次にステップＳ５０３において、決定部２０３は、パラメータ取得部２０２から送られてきた大気ゆらぎパラメータの情報を基に、ノイズ低減処理の方法および条件を決定する。ノイズ低減処理の方法および条件の詳細は後述する。
次にステップＳ５０４において、ノイズ低減部２０４は、ノイズ低減処理を行う対象のフレームである複数の注目フレームに対して、決定部２０３により決定されたノイズ低減処理の方法および条件に応じたノイズ低減処理を行う。

以下、ノイズ低減処理の一例として、複数フレームの画像データの加重平均処理によってノイズ低減を行う場合を例に挙げ、決定部２０３におけるノイズ低減処理の方法および条件の決定処理と、ノイズ低減部２０４によるノイズ低減処理とについて説明する。
本実施形態において、ノイズ低減部２０４は、注目フレームの画像データと参照フレームの画像データの加重平均演算を行うことで、注目フレームの画像のノイズを低減する。なお注目フレームは、時系列で入力される複数のフレームのなかから選択される、ノイズ低減処理の対象となるフレームである。参照フレームは、その選択された注目フレームの前後近傍の複数のフレームであって注目フレームのノイズ低減処理に用いられるフレームである。本実施形態の場合、参照フレームの数は適宜変更可能となされており、また、ノイズ低減処理で加重平均処理が行われる際の注目フレームと参照フレームの画像データにかける重み係数の設定が可能となされている。

本実施形態の決定部２０３は、大気ゆらぎパラメータに応じて、ノイズ低減部２０４におけるノイズ低減処理の方法および条件としての参照フレームの数および重み係数を決定する。決定部２０３は、例えば、既定のＬＵＴ（ルックアップテーブル）を参照する方法やモデル式を適用する方法などを用い、大気ゆらぎパラメータに応じた参照フレーム数および重み係数を決定する。

例えば、大気ゆらぎパラメータが、風速が比較的大きいこと、気温が比較的高いこと、あるいは地理環境が湖水地のように水蒸気により湿度が高くなり易い環境である、といったことを示す場合、決定部２０３は、参照フレーム数を少なくするように決定する。例えば、風速が比較的大きい場合には、画像の局所的な変位の変化、すなわち変位の時間変化が大きくなり、複数フレームの加重平均によるノイズ低減処理を行うと画像がぼけてしまい、後述のスペックルイメージング処理で得られる最終画像もぼけてしまう。また例えば、気温が比較的高い場合、あるいは湖水池のように湿度が比較的高くなりやすい環境である場合には、画像の変位自体が大きくなる傾向がある。このため、決定部２０３は、大気ゆらぎパラメータにより示される画像の局所的な変位の時間変化が大きくなるほど、あるいは画像の変位自体が大きくなるほど、参照フレーム数を少なくするように決定する。これにより、ノイズ低減部２０４によるノイズ低減処理後の画像は、ノイズが低減されつつ、ぼけが抑制された画像となる。なお、風速が比較的大きいか、あるいは気温が比較的高いかなどは、例えば予め設定した閾値と比較することなどにより判断することができる。

逆に例えば、大気ゆらぎパラメータが、風速が比較的小さいこと、気温が比較的低いこと、あるいは湖水地でないことなどを示している場合、決定部２０３は、参照フレーム数をある程度多くするように決定する。つまり、例えば風速が比較的小さい場合には画像の局所的な変位の変化、すなわち変位の時間変化が大きくなり難い。また気温が比較的低い場合や湖水池ではないため湿度が高くなり難い環境である場合には画像の変位自体が大きくなり難い傾向がある。このため、決定部２０３は、大気ゆらぎパラメータが、画像の局所的な変位の時間変化あるいは画像の変位自体が大きくないことを表すパラメータである場合、参照フレーム数をある程度多くするように決定する。これにより、ノイズ低減部２０４によるノイズ低減処理後の画像は、ノイズ低減効果が高い良好な画質の画像になる。なお、風速が比較的小さいか、あるいは気温が比較的低いかなどは、例えば予め設定した閾値と比較することなどにより判断することができる。

さらに決定部２０３は、注目フレームと参照フレームに対する重み係数を決定する。
図６（Ａ）と図６（Ｂ）は、注目フレームおよび参照フレーム数と重み係数の説明に用いる図である。
図６（Ａ）および図６（Ｂ）において、相対フレーム番号は注目フレームを０とした場合の参照フレームの相対位置を表す。例えば、相対フレーム番号の−１は、注目フレームの一つ前のフレームを指す。また、各相対フレーム番号における重み係数は、加重平均において対応するフレームの画像データにかける重み係数を表す。
決定部２０３は、大気ゆらぎパラメータが、例えば風速が比較的小さいこと、つまり画像の局所的な変位の時間変化が大きくなり難いことを示すパラメータであると判定した場合には、各フレームの画像データに対して図６（Ａ）に示す重み係数を決定する。図６（Ａ）の例では、注目フレームの前後３フレームが参照フレームとなされている。これによりノイズ低減部２０４では、それら各フレームに対して図６（Ａ）に示す重み係数がかけられ、注目フレームと前後三つの参照フレームからなる７フレームを加重平均した画像データが、ノイズ低減処理結果の注目フレームの画像データとして出力される。この例の場合、ノイズ低減処理後の画像は、ノイズ低減効果が高い良好な画質の画像となる。

逆に決定部２０３は、大気ゆらぎパラメータが、例えば風速が比較的大きいこと、つまり画像の局所的な変位の変化が大きくなり易いことを示すパラメータであると判定した場合には、各フレームに対して図６（Ｂ）に示すように重み係数を決定する。図６（Ｂ）の例では、注目フレームの前後１フレームが参照フレームとなされている。つまり、大気ゆらぎパラメータが、画像の局所的な変位の時間変化が大きくなり易いことを示すパラメータである場合、参照フレームの数は、図６（Ａ）の例よりも少なくなされている。そして、ノイズ低減部２０４では、それら各フレームに対して図６（Ｂ）に示す重み係数がかけられ、注目フレームと前後一つ参照フレームからなる３フレームを加重平均した画像データが、ノイズ低減処理結果の注目フレームの画像データとして出力される。この例の場合、ノイズ低減処理後の画像は、ノイズがある程度低減され且つ、ぼけが抑制された画像となる。

前述した図６（Ａ）および図６（Ｂ）では、注目フレームに近いほど重み係数が大きくなっているが、必ずしもこのように変化する重み係数である必要はなく、注目フレームと参照フレームに同一の重み係数が与えられてもよい。

前述したように、本実施形態では、時系列で入力されるフレームのなかから注目フレームが選択され、それら各注目フレームとその前後近傍の参照フレームに重み係数をかけた上で加重平均演算が行われる。そして、その加重平均演算後の画像データが、ノイズ低減処理後の注目フレームの画像データとして出力される。すなわち、ノイズ低減部２０４からは、時系列で入力された各フレームのなかから選択された注目フレームの数と同数のノイズ低減済みのフレームの画像データが出力されることになる。

ここで、時系列で入力される複数のフレームのなかから注目フレームを選択する際の選択方法としては、例えば全てのフレームが、注目フレームまたは参照フレームとして１度だけ選択されるような方法を用いることができる。この場合、参照フレームが多いほど、注目フレームとして選択されるフレームの数が少なくなる。本実施形態では、前述のように、例えば大気ゆらぎパラメータが画像の局所的な変位の変化が小さいパラメータである場合には、参照フレーム数が多くなり、結果として、注目フレームとして選択されるフレームの数が少なくなる。つまり、ノイズ低減部２０４から出力されるフレーム数が少なくなる。この場合、後述するスペックルイメージング処理に入力する画像の枚数（フレーム数）が少なくなり、その結果、スペックルイメージング処理の処理時間は短縮されることになる。なお、ある程度処理時間が長くなっても許容される場合は、より多くのフレームが注目フレームとして選択されるようにし、一つの参照フレームが複数の注目フレームのノイズ低減処理に用いられるようにしてもよい。

次に図５のフローチャートのステップＳ５０５に進むと、スペックルイメージング部２０５は、ノイズ低減部２０４でノイズ低減処理された画像群から、１枚の鮮明な画像を生成（再構成）する。ここで、スペックルイメージング処理の時間は処理する画像枚数に依存する。したがって、入力フレーム数が少ないほど、すなわちノイズ低減処理における注目フレーム数が少ないほど、スペックルイメージング部２０５での処理時間は短くなる。スペックルイメージング処理の詳細は後述する。

なお、動画の出力を行う場合、画像取得部２０１は、時系列で順に入力されるフレームの重複を許容して各フレームを複数のグループに分けてもよい。この場合、パラメータ取得部２０２以降の各部は、それらグループごとにステップＳ５０１〜Ｓ５０５の処理を行い、その後、それらグループごとに出力された画像データを統合してもよい。または、時系列で順に入力されるフレームに対して前述同様にステップＳ５０１〜Ｓ５０４の処理が行われた後、スペックルイメージング部２０５は、ステップＳ５０４の処理後の時系列のフレームの重複を許容して各フレームを複数のグループに分けてもよい。この場合、スペックルイメージング部２０５は、それらグループごとにステップＳ５０５の処理を行う。

図７は、図５のステップＳ５０２において、図３に示したパラメータ取得部２０２が行う、大気ゆらぎパラメータ取得処理の詳細な流れを示すフローチャートである。ここでは、パラメータ取得部２０２が、入力された画像データのフーリエスペクトルに基づき、風速などの気象条件を示す大気ゆらぎのパラメータを推定する方法について述べる。

まずステップＳ７０１において、画像変換部３０１は、入力された各フレームの画像データに対してフーリエ変換処理を行ってスペクトルデータを出力する。
次にステップＳ７０２において、位相抽出部３０２は、スペクトルデータの特定の座標における位相成分を抽出する。特定の座標は、例えば原点に隣接する１画素でもよい。位相抽出部３０２は、複数フレームに対してこの処理を行う。これにより、位相成分の時系列データが生成される。また特定の座標は複数設定してもよく、その場合は位相成分の時系列データが複数生成される。

次にステップＳ７０３において、微分算出部３０３は、位相成分の時系列データに対し時間微分値を算出する。時間微分値は、隣接フレーム間の差分（２点近似）や中心差分（３点近似）など一般的な微分の近似法を用いることで算出される。
例えがｎ番目のフレームの２次元の周波数座標ｕにおけるフーリエスペクトルをＩ_n(ｕ)とすると、２点近似の時間微分値Ｄ_n(ｕ)は式（１）で与えられる。なお式（１）中のａｒｇは位相成分を抽出する演算子である。

Ｄ_n(ｕ)＝arg［Ｉ_n+1(ｕ)］−arg［Ｉ_n(ｕ)］ 式（１）

次にステップＳ７０４において、統計量算出部３０４は、時間微分値の統計量を算出する。統計量は、例えば二乗平均値を用いることができる。
例えばＮフレームの入力に対する二乗平均値Ｖ(ｕ)は、式（２）で与えられる。

次にステップＳ７０２において、統計量算出部３０４は、特定の座標を複数設定した場合には、各座標について時間微分値の統計量を算出し、それらの平均をとるなどして一つの統計量を算出する。

次にステップＳ７０５において、パラメータ推定部３０５は、統計量に基づき、風速などの大気ゆらぎに影響を与えるパラメータ（大気ゆらぎパラメータ）を推定する。ここで、例えば風速が大きいほど二乗平均値は大きくなる。本実施形態の場合、このような統計量と大気ゆらぎパラメータの関係に基づき事前にＬＵＴを作成しておき、パラメータ推定部３０５は、ステップＳ７０４で得られた統計量から対応する大気ゆらぎパラメータを選択する。あるいは、統計量と大気ゆらぎパラメータの関係を数式としてモデル化しておき、パラメータ推定部３０５は、算出された統計量から大気ゆらぎパラメータを一意に決定してもよい。
以上の処理により、画像データに基づき大気ゆらぎパラメータが推定される。

図８は、図５のステップＳ５０５において、図４に示したスペックルイメージング部２０５が行う、スペックルイメージング処理の詳細な流れを示すフローチャートである。
まずステップＳ８０１において、前処理部４０１は、ノイズ低減処理後の画像データに対して前処理を行う。前処理は、不良画素処理、位置合わせ処理、タイリング処理、輝度傾斜補正処理、およびアポダイゼーションのいずれかを含む。不良画素処理は、撮像装置が備えている光学系に存在する塵や撮像素子の画素の欠陥により正常な値を持たない画素を事前に検出しておき、撮像後に当該画素の値を周辺画素の値の平均値などで置き換える処理である。位置合わせ処理は、撮像装置の振動などによりフレーム間で位置ずれが発生する場合に、ある基準フレームに対する各フレームの位置ずれを推定し、各フレームの位置ずれを補正する処理である。位置ずれが平行移動に限定されると仮定すれば、位置ずれの推定にはフーリエ相関法などの既存の方法を用いることができる。位置合わせ処理は、タイリング処理の後に、より高精度に再度処理を行ってもよい。タイリング処理は、フレームの重複を許容して画像を小領域に分割する処理である。小領域のサイズは、大気ゆらぎの影響が一定であるとみなせる範囲（アイソプラナティックパッチ）よりも小さいことが好ましい。輝度傾斜補正処理は、各小領域の輝度分布に対し１次平面をフィッティングし、それを各画素の輝度値から差し引く処理である。１次平面は傾き０に限定してもよく、その場合は小領域の平均輝度値を差し引くことになる。アポダイゼーションは、小領域ごとに画像処理を行った結果を統合する際に境界で発生する不整合を抑制する目的で、小領域に窓関数をかける処理である。以上の処理は、全てが必ずしも実行される必要はなく、必要な処理だけが実行されればよい。

次にステップＳ８０２において、フーリエ変換部４０２は、タイリング処理された画像データの各々に対してフーリエ変換を行う。
次にステップＳ８０３において、バイスペクトラム算出部４０３は、ステップＳ８０２で得られたフーリエスペクトルを用い、タイリングされた画像データの各々に対応したバイスペクトラムデータを生成する。例えば、ｎフレーム目の画像データのフーリエスペクトルＩ_nから、バイスペクトラムＩ_B,nは式（３）によって定義される。なお、式（３）のｕ、ｖはそれぞれ周波数平面上の座標を表す２次元のベクトルである。フーリエスペクトルが２次元のデータであるのに対し、バイスペクトラムは４次元のデータである。

Ｉ_B,n(ｕ，ｖ)＝Ｉ_n(ｕ)・Ｉ_n(ｖ)・Ｉ_n(−ｕ−ｖ) 式（３）

次にステップＳ８０４において、位相推定部４０４は、バイスペクトラムデータを用いて、出力画像のフーリエスペクトルＯの位相成分を推定する。例えば特許文献１に示されているように、この位相成分は式（４）によって決定される。なお、式（４）の＜＞は複数フレームにわたる平均を表す。

arg［Ｏ(ｕ＋ｖ)］＝arg［Ｏ(ｕ)］＋arg［Ｏ(ｖ)］−＜Ｉ_B,n(ｕ，ｖ)＞ 式（４）

この式（４）によれば、周波数平面上の（０，０）、（１，０）、（０，１）の３点における位相成分を予め決めておけば、逐次的に任意の座標における位相成分を決定することができる。この３点の位相成分は、例えば複数フレームを平均した画像データのフーリエスペクトルの位相の値を用いることができる。

次にステップＳ８０５において、パワースペクトル算出部４０５は、複数の画像データのパワースペクトルの平均（平均パワースペクトルＡ）を算出する。
次にステップＳ８０６において、振幅推定部４０６は、ステップＳ８０５で得られた平均パワースペクトルＡを用いて、出力画像のフーリエスペクトルの振幅を推定する。具体的には、フーリエスペクトルの振幅は、例えば下記の参考文献１に示されているように、式（５）に従い算出される。［参考文献１］：一本潔、川手朋子著、「スペックルマスキング法による画像復元プログラム」京都大学大学院理学研究科附属天文台技報、２巻、１号、２０１４年

｜Ｏ(ｕ)｜＝√(Ａ(ｕ))・｜Ｔ(ｕ)｜／Ｓ(ｕ) 式（５）

なお、式（５）のＴは撮像装置の光学伝達関数、Ｓはスペックル伝達関数である。光学伝達関数Ｔは、予め大気ゆらぎなどの外乱がない状態で点光源を撮像して求めてもよいし、モデルを用いて数値計算によって求めてもよい。スペックル伝達関数Ｓは大気ゆらぎに起因する画像の劣化を表現する関数であり、例えば参考文献１に示されているように公知のモデルを用いてもよい。

次にステップＳ８０７において、合成部４０７は、出力画像のフーリエスペクトルＯの位相と振幅を統合し、逆フーリエ変換によって出力画像を生成する。画像データがタイリングされている場合、合成部４０７は、小領域の位置ごとにステップＳ８０２〜Ｓ８０７の処理を行い、小領域ごとに得られた出力画像を合成して１枚の出力画像を得る。
以上の処理により、ゆらぎが低減された画像を生成することができる。本実施形態の情報処理装置１００は、前述したように大気ゆらぎパラメータで示される環境等に対して適応的にノイズ低減処理の方法および条件を変化させることで、スペックルイメージング処理で得られる画質を向上させる。さらに、バイスペクトラムのデータサイズは画像サイズの二乗に比例するため、スペックルイメージング法は計算コストが非常に大きく処理時間が長くなりやすい。しかしながら大気ゆらぎパラメータ数に応じてフレーム数を減らすことで、スペックルイメージング処理の処理時間の短縮をも可能としている。

＜第２の実施形態＞
以下、第２の実施形態として、情報処理装置１００が、入力フレームの変位情報に基づき大気ゆらぎパラメータを推定することで、良好なゆらぎ補正を実現する例を述べる。なお、以下では第１の実施形態と異なる点を中心に説明する。

図９は、第２の実施形態の情報処理装置１００におけるパラメータ取得部２０２の機能構成を示した機能ブロック図である。
第２の実施形態におけるパラメータ取得部２０２は、図９に示すように、基準画像生成部９０１、変位算出部９０２、微分算出部９０３、統計量算出部９０４、パラメータ推定部９０５の各機能を有する。なお、第２の実施形態において図９に示した各部における機能は、ＣＰＵ１０１がＲＯＭ１０３内に格納されたプログラムを読み込み実行することで実現される。各部に相当する専用の処理回路を備えるように情報処理装置１００が構成されてもよい。

図１０は、第２の実施形態のパラメータ取得部２０２における処理の流れを示すフローチャートである。図１０に示すフローチャートの処理は、前述の図５のステップＳ５０２において行われる処理であり、それ以外の他の処理は前述同様であるためそれらの説明は省略する。
まずステップＳ１００１において、基準画像生成部９０１は、入力された複数のフレームの画像データから１枚の基準画像を生成する。基準画像は、例えば画素ごとにフレーム間の画素値の平均値または中央値を与えることで生成される。このようにして得られる基準画像は、大気ゆらぎに起因する画像の局所的な歪みが入力画像データよりも低減されている。

次にステップＳ１００２において、変位算出部９０２は、入力画像データの各々の、基準画像に対する局所的な変位を算出する。画素ごとの変位は、いわゆるオプティカルフローやＢ−スプライン法などの一般的に知られた手法を用いて算出することができる。変位算出部９０２が各入力フレームに対してこの処理を行うことで、変位の時系列データが生成される。また変位を算出する座標は、複数設定してもよく、その場合は変位の時系列データが複数生成される。
次にステップＳ１００３において、微分算出部９０３は、変位の時系列データに対し時間微分値を算出する。例えば、ｎフレーム目の２次元の画像座標ｘにおける変位をＴ_n(ｘ)とすると、２点近似の時間微分値Ｄ_n(ｘ)は式（６）で与えられる。

Ｄ_n(ｘ)＝Ｔ_n+1(ｘ)−Ｔ_n(ｘ) 式（６）

次にステップＳ１００４において、統計量算出部９０４は、時間微分値の統計量を算出する。
次にステップＳ１００５において、パラメータ推定部９０５は、統計量に基づき、風速などの大気ゆらぎパラメータを推定する。
以上の処理により、第２の実施形態におけるパラメータ取得部２０２は、入力された画像データに基づいて、大気ゆらぎパラメータを推定することができる。

＜第３の実施形態＞
以下、第３の実施形態として、情報処理装置１００が、気象情報の観測データに基づき良好なゆらぎ補正を実現する例を述べる。なお、以下では第１の実施形態と異なる点を中心に説明する。

第３の実施形態の情報処理装置１００における処理の流れは図５に示したフローチャートの通りである。ただし、第３の実施形態の場合、ステップＳ５０２において、パラメータ取得部２０２は、大気ゆらぎパラメータを外部の観測装置から送られてくる観測データから取得する。例えば、パラメータ取得部２０２は、撮像装置と被写体の間に配置された風速計や温度計などの観測装置によって観測されたデータを大気ゆらぎパラメータとして取得して、決定部２０３に伝送する。なお、観測データは、撮影する時刻を含む時間帯に取得され蓄積され続けているため、パラメータ取得部２０２は、撮影後に撮影時刻を参照して、蓄積されている観測データから撮影時における観測データを抽出してもよい。または、撮像装置と観測装置が接続されており、撮影と同時に観測データが取得してもよい。その他、パラメータ取得部２０２は、撮像装置に付属したＧＰＳ装置から位置情報を取得し、これと地理情報を参照して決定される値を大気ゆらぎパラメータとして出力してもよい。例えば、パラメータ取得部２０２は、撮影地点と向きおよび撮像装置（焦点距離、センササイズ）から決定される撮影視野内においてゆらぎが強くなる要因（湖沼地、道路等）を抽出する。そして、パラメータ取得部２０２は、その面積や距離などに応じて想定されるゆらぎ強度を大気ゆらぎパラメータとして数値化する。また、パラメータ取得部２０２は、位置情報を取得することで、多数の観測装置の中から撮影視野内に配置されているものだけを選択し使用してもよい。第３の実施形態の場合、決定部２０３は、こうして得られた大気ゆらぎパラメータから、ＬＵＴやモデル式等を用いて、参照フレーム数と重み係数を決定する。

以上のように、本発明の第１から第３の実施形態の情報処理装置１００によれば、入力フレームに含まれるノイズによる画質への影響を抑制した高画質な画像を生成でき、さらに処理時間を短縮することも可能となっている。

＜他の実施形態＞
前述した第１〜第３の実施形態では、ノイズ低減部２０４は、決定部２０３により決定されたノイズ低減処理の方法および条件に応じたノイズ低減処理を行うようになされている。ここで、ノイズ低減部２０４は、例えば、複数フレームの加重平均を行う加重平均回路を一つ備えていて、決定部２０３によって参照フレーム数および重み係数の設定が切り替えられる構成であってもよい。あるいは、ノイズ低減部２０４は、例えばそれぞれ異なる参照フレーム数および重み係数に対応した複数の加重平均回路を備え、決定部２０３で決定された参照フレーム数および重み係数に対応した加重平均回路を用いるような構成であってもよい。

前述した実施形態では、監視カメラ等の撮像装置で撮像された入力画像のゆらぎ補正処理例を挙げたが、入力画像は監視カメラによって撮像されたものに限定されない。入力画像は、例えば、デジタルカメラ、デジタルカメラ機能を備えたパーソナルコンピュータやタブレット端末、スマートフォン、携帯ゲーム機などの各種情報端末、カムコーダ、車載カメラ、あるいは工業用カメラ等で取得された画像であってもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：情報処理装置、２０１：画像取得部、２０２：パラメータ取得部、２０３：決定部、２０４：ノイズ低減部、２０５：スペックルイメージング部

Claims (13)

1. 大気のゆらぎに影響を与えるパラメータを取得する取得手段と、
   ノイズ低減処理の方法および条件を決定する決定手段と、
   入力された画像データに対して、前記決定された前記ノイズ低減処理の方法および条件に応じたノイズ低減処理を行う処理手段と、
   前記ノイズ低減処理された複数の画像データを基に、スペックルイメージング法による補正を行った画像データを生成する生成手段と、を有し、
   前記決定手段は、前記パラメータに応じて前記ノイズ低減処理の方法および条件を決定することを特徴とする画像処理装置。
2. 前記入力された画像データは時系列で入力されるフレームの画像データであり、
   前記処理手段は、前記時系列で入力される各フレームのなかから選択した複数のフレームの画像データを加重平均することによって前記ノイズ低減処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記加重平均に用いるフレーム数および各フレームの画像データにかける重み係数を、前記パラメータに基づいて決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段は、前記パラメータによって示される大気のゆらぎによる変位の時間変化が大きくなるほど、前記加重平均に用いるフレーム数を少なくすることを特徴とする請求項３に記載の画像処理装置。
5. 前記決定手段は、前記パラメータによって示される大気のゆらぎによる変位が大きくなるほど、前記加重平均に用いるフレーム数を少なくすることを特徴とする請求項３に記載の画像処理装置。
6. 前記処理手段は、前記時系列で入力される各フレームのなかから注目フレームを選択し、前記選択した注目フレームの画像データとその前後近傍の複数の参照フレームの画像データとを前記加重平均し、
   前記時系列で入力される全てのフレームが、前記注目フレームまたは前記参照フレームとして１度だけ選択されることを特徴とする請求項２から５のいずれか１項に記載の画像処理装置。
7. 前記処理手段は、前記時系列で入力されるフレームの重複を許容して各フレームを複数のグループに分けて、前記グループごとに前記ノイズ低減処理を行い、
   前記生成手段は、前記グループごとの前記ノイズ低減処理が行われた後の複数のフレームの画像データを基に、前記スペックルイメージング法による補正を行った画像データを生成することを特徴とする請求項２から５のいずれか１項に記載の画像処理装置。
8. 前記生成手段は、前記ノイズ低減処理が行われた後のフレームの重複を許容して各フレームを複数のグループに分けて、前記グループごとの複数のフレームの画像データを基に、前記スペックルイメージング法による補正を行った画像データを生成することを特徴とする請求項２から５のいずれか１項に記載の画像処理装置。
9. 前記取得手段は、入力された画像データのフーリエスペクトルの位相成分の時間変化に基づいて前記パラメータを算出することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記取得手段は、複数の前記画像データから基準画像を生成し、前記複数のそれぞれの画像データの、前記基準画像に対する変位を算出して、前記基準画像に対する変位の時間変化に基づいて前記パラメータを算出することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
11. 前記取得手段は、風速、気温、地理環境の少なくともいずれかに関する情報を、前記パラメータとして観測装置から取得することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
12. 画像処理装置が実行する画像処理方法であって、
    大気のゆらぎに影響を与えるパラメータを取得する取得工程と、
    ノイズ低減処理の方法および条件を決定する決定工程と、
    入力された画像データに対して、前記決定された前記ノイズ低減処理の方法および条件に応じたノイズ低減処理を行う処理工程と、
    前記ノイズ低減処理された複数の画像データを基に、スペックルイメージング法による補正を行った画像データを生成する生成工程と、を有し、
    前記決定工程では、前記パラメータに応じて前記ノイズ低減処理の方法および条件を決定することを特徴とする画像処理方法。
13. コンピュータを請求項１から１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images