JP2021005324A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】ゆらぎ補正によって良好な最終出力画像を生成すること。【解決手段】画像処理装置１００は、入力画像群を構成する複数のフレーム画像６０１を取得する画像データ取得部２０１と、複数のフレーム画像をそれぞれ分割して、処理対象の領域の画像に対応する複数の部分画像データ６０２を出力する画像分割部２０２と、出力された複数の部分画像データ６０２に基づいてゆらぎ補正をするゆらぎ補正部２０３と、各処理対象の領域についてゆらぎ補正部２０３で補正された結果に基づいて、フレーム画像６０１に対応する出力画像データ６４１を生成する画像結合部２０４と、を備える。そして、ゆらぎ補正部２０３によるゆらぎ補正に用いられるデータは、入力画像群を構成するフレームのうちの一部が選択的に用いられる。【選択図】図２

Description

本発明は、大気のゆらぎに起因する画像への影響を補正する技術に関する。

従来、監視カメラシステムなどにおいて、大気のゆらぎに起因する画像の劣化を補正する技術（以下、「ゆらぎ補正」と呼ぶ）が用いられている。ここで大気のゆらぎとは、大気の乱流または温度差により、屈折率が空間的および時間的に変化する自然現象を指す。大気のゆらぎは、陽炎とも呼ばれる。大気のゆらぎは、光の屈折または位相のばらつきを引き起こし、その結果として、特に望遠レンズで遠方を撮像した場合に、被写体の像に時間的に変化するぼけと歪みが発生する。このような画像の劣化は、被写体の視認性を大きく低下させるため、除去されることが望ましい。

複数のフレームで構成されているフレーム画像からなる入力画像群から、ぼけ及び歪みをまとめて低減した画像を生成（再構成）する技術として、スペックルイメージングが知られている。以降の説明では、動画像を構成する時系列の画像データをフレーム画像と呼ぶ。スペックルイメージングは、元来天文分野で開発された手法であり、短時間露光された画像からオリジナルの画像を再構成する技術である。スペックルイメージングにおいては、再構成される画像のフーリエスペクトルの振幅成分と位相成分とを独立に推定する処理が行われる。そして、推定された振幅成分と位相成分とを用いて逆フーリエ変換をすることで、ぼけ及び歪みを低減した画像が再構成される。特許文献１では、スペックルイメージングをゆらぎ補正に応用する技術が開示されている。

またスペックルイメージングを行う際には、画像の領域ごとの部分画像に対してスペックルイメージングを行い、領域ごとに得られた部分画像を合成して最終出力画像を生成する処理（以下、「ブロック処理」と呼ぶ）が行われる。特許文献１においてもブロック処理を行う例が示されている。

米国特許出願公開第２００４／０００５０９８号明細書

しかしながら、特許文献１に記載の技術では、入力画像群において被写体にオクルージョンが生じているフレームがある場合に、良好な最終出力画像を得られないことがある。

本発明は、ゆらぎ補正によって良好な最終出力画像を生成することを目的とする。

本発明の一態様にかかる画像処理装置は、時間的に連続して撮像された複数の画像データを用いて大気のゆらぎによる影響を補正する画像処理装置であって、入力画像群を構成する複数の画像データを取得する取得手段と、前記取得手段で取得した前記複数の画像データをそれぞれ分割して、処理対象の領域の画像に対応する複数の部分画像データを出力する分割手段と、前記分割手段から出力された複数の部分画像データに基づいて前記補正をする補正手段と、各処理対象の領域について前記補正手段で補正された結果に基づいて、前記画像データに対応する出力画像データを生成する生成手段と、を備え、前記補正手段による補正に用いられるデータは、前記入力画像群を構成する前記複数の画像データのうちの一部が選択的に用いられていることを特徴とする。

本発明によれば、ゆらぎ補正によって良好な最終出力画像を生成することができる。

画像処理装置のハードウェア構成の一例を示す図。 画像処理装置の機能ブロックの例を示す図。 ゆらぎ補正部の詳細を示すブロック図。 フレーム選択部の詳細を示すブロック図。 選択フレーム指定部の詳細を示すブロック図。 一般的なゆらぎ補正の一例を説明する図。 処理の流れを示すフローチャート。 ゆらぎ補正処理の詳細を示すフローチャート。 フレーム選択処理の詳細を示すフローチャート。 ゆらぎ補正部の構成を示すブロック図。 フレーム選択部の詳細を示すブロック図。 ゆらぎ補正処理の流れを示すフローチャート。 フレーム選択処理の詳細を示すフローチャート。 画像処理装置の例を示すブロック図。 処理の流れを示すフローチャート。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

＜＜実施形態１＞＞
スペックルイメージングでは、複数のフレームを通じて被写体が同一であることを前提にしている。しかしながら、主被写体の手前に何かしらの物体が写り込んでしまい、その物体によって背後にある主被写体が隠れて見えなくなってしまう状態、即ち、オクルージョンが生じてしまう場合がある。オクルージョンが生じているフレームが入力データに含まれてしまうと、本来の主被写体とは異なる対象に基づいてゆらぎ補正が行われてしまうので、良好な最終出力画像が得られない虞がある。そこで、本実施形態では、スペックルイメージングの過程で導出される位相データを参照し、適切なフレームを選択的に用いて処理を行う例を説明する。即ち、オクルージョンが生じていないフレームを選択的に用いてゆらぎ補正を行う例を説明する。

＜画像処理装置のハードウェア構成＞
図１は、本実施形態の画像処理装置のハードウェア構成の一例を示す図である。本実施形態の画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、二次記憶装置１０４、入力インターフェース１０５、および出力インターフェース１０６を含む。画像処理装置１００の各構成要素はシステムバス１０７によって相互に接続されている。画像処理装置１００は、入力インターフェース１０５を介して外部記憶装置１０８および操作部１１０に接続されている。また、画像処理装置１００は、出力インターフェース１０６を介して外部記憶装置１０８および表示装置１０９に接続されている。

ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３に格納されたプログラムを実行し、システムバス１０７を介して画像処理装置１００の各構成要素を統括的に制御する。これにより、後述する様々な処理が実行される。二次記憶装置１０４は、画像処理装置１００で取り扱われる種々のデータを記憶する記憶装置であり、本実施形態ではＨＤＤが用いられる。ＣＰＵ１０１は、システムバス１０７を介して二次記憶装置１０４へのデータの書き込みおよび二次記憶装置１０４に記憶されたデータの読出しを行う。なお、二次記憶装置１０４にはＨＤＤの他に、光ディスクドライブまたはフラッシュメモリなど、様々な記憶デバイスを用いることが可能である。

入力インターフェース１０５は、例えばＵＳＢまたはＩＥＥＥ１３９４等のシリアルバスインターフェースである。画像処理装置１００は、入力インターフェース１０５を介して、外部装置からデータおよび命令等を入力する。本実施形態では、画像処理装置１００は、入力インターフェース１０５を介して、外部記憶装置１０８（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、またはＵＳＢメモリなどの記憶媒体）からデータを取得する。また本実施形態では、画像処理装置１００は、操作部１１０に入力されたユーザの指示を、入力インターフェース１０５を介して取得する。操作部１１０は、マウスまたはキーボードなどの入力装置であり、ユーザの指示を入力する。

出力インターフェース１０６は、入力インターフェース１０５と同様にＵＳＢまたはＩＥＥＥ１３９４等のシリアルバスインターフェースである。なお、出力インターフェース１０６は、例えばＤＶＩまたはＨＤＭＩ（登録商標）等の映像出力端子であってもよい。画像処理装置１００は、出力インターフェース１０６を介して、外部装置にデータ等を出力する。本実施形態では、画像処理装置１００は、出力インターフェース１０６を介して表示装置１０９（液晶ディスプレイなどの各種画像表示デバイス）に、ＣＰＵ１０１によって処理されたデータ（例えば、画像データ）を出力する。なお、画像処理装置１００の構成要素は上記以外にも存在し得るが、ここでは説明を省略する。

＜画像処理装置の機能ブロック図＞
図２は、画像処理装置１００の機能ブロックの例を示す図である。画像処理装置１００は、画像データ取得部２０１、画像分割部２０２、ゆらぎ補正部２０３、および画像結合部２０４を有する。画像データ取得部２０１で取得された画像データは、画像分割部２０２に出力される。画像分割部２０２で分割（切り出し）されたデータは、ゆらぎ補正部２０３に出力される。ゆらぎ補正部２０３で補正されたデータは、画像結合部２０４に出力される。詳細は後述する。

図３は、ゆらぎ補正部２０３の詳細を示すブロック図である。ゆらぎ補正部２０３は、フーリエ変換部３０１、フレーム選択部３０２、振幅推定部３０３、位相推定部３０４、および逆フーリエ変換部３０５を有する。各部の詳細は後述する。図４は、フレーム選択部３０２の詳細を示すブロック図である。フレーム選択部３０２は、選択フレーム指定部４０１、振幅フレーム選択部４０２、および位相フレーム選択部４０３を有する。各部の詳細は後述する。図５は、選択フレーム指定部４０１の詳細を示すブロック図である。選択フレーム指定部４０１は、代表フレーム生成部５０１、距離導出部５０２、および選択フレーム決定部５０３を有する。各部の詳細は後述する。図２から図５で示した各部で行われる処理の詳細については、後述するフローチャートの説明とともに行うこととする。

図２から図５で示す各部の機能は、ＣＰＵ１０１がＲＯＭ１０３内に格納された制御プログラムを読み込み実行することで実現される。なお、各部に相当する専用の処理回路を備えるように画像処理装置１００を構成するようにしてもよい。

＜一般的なゆらぎ補正の説明＞
図６は、一般的なゆらぎ補正の一例を説明する図である。先に説明したように、複数の画像データ（フレーム画像）を用いて、大気のゆらぎによる、画像のぼけ及び歪み等をまとめて低減した画像を生成することが行われている。図６では、入力画像群を構成する複数のフレーム画像６０１が画像処理装置１００に入力された場合に、１枚のゆらぎ補正済みの出力画像データ６４１（最終出力画像）が得られる例を示している。ゆらぎ補正を行う手法として、「スペックルイメージング処理」が知られている。

ゆらぎ補正処理においては、フレーム画像６０１の処理対象の領域に対応する部分画像をフレームごとに切り出して、複数の部分画像データ６０２が取得される。そして、複数の部分画像データ６０２をそれぞれフーリエ変換して、周波数空間の成分（位相成分６１１と振幅成分６２１）にそれぞれ変換する。そして、周波数空間において、再構成される画像の位相成分６１２（位相データ）と振幅成分６２２（振幅データ）とをそれぞれ独立して推定する処理が行われる。振幅成分６２２は、例えば入力された各部分画像のパワースペクトルの平均を導出し、導出された平均に対し撮像装置の光学系および大気の影響による劣化モデルに基づいて決定された、高周波成分を増幅するフィルタをかけることで推定される。位相成分６１２は、例えば入力された各部分画像のバイスペクトラムに基づき、既知の低周波成分の位相を用いて高周波成分の位相を逐次的に推定していくことで求められる。

このように推定された位相成分６１２と振幅成分６２２とを逆フーリエ変換（逆変換）することで、ゆらぎ補正後の部分画像データ６３１が得られる。このような処理を、フレームの各領域を処理対象の領域として処理することで、各領域に対応するゆらぎ補正後の部分画像データが得られることになる。そして、ゆらぎ補正後の部分画像データ６３１を結合することで、ゆらぎ補正がされた出力画像データ６４１（最終出力画像）が得られることになる。

このようなゆらぎ補正を行う際に、入力画像群を構成する一部のフレームにおいて、オクルージョンが生じているフレームがある場合、良好な最終出力画像を得られないことがある。そこで本実施形態では、スペックルイメージングの過程で導出される位相データを参照し、適切なフレームを選択的に用いて処理を行う。即ち、入力される複数のフレーム分の部分画像データ６０２のうち、ゆらぎ補正に適していないフレームを除くフレームを選択してゆらぎ補正が行われる。このように、本実施形態では、オクルージョンが生じていないと考えられるフレームを選択的に用いた処理を行うことで、オクルージョンによる影響を抑制する例を説明する。

なお、本明細書において「フレーム」と記載している場合、時系列のデータのそれぞれを指し示しているものとする。例えば、部分画像データ６０２のそれぞれは、フレームごとに取得されるものである。本実施形態では、部分画像データ６０２から位相成分６１２と振幅成分６２２とが得られる形態であり、この位相成分６１２および振幅成分６２２もフレームごとに得られるものである。本実施形態においては、フレームごとの位相成分６１２のデータを参照して適切なフレームを選択する処理が行われる。

＜全体のフローチャート＞
図７は、本実施形態における処理の流れを示すフローチャートである。図７に示す処理は、ＣＰＵ１０１が、ＲＯＭ１０３内に格納された制御プログラムを読み込んでＲＡＭ１０２に展開し、これをＣＰＵ１０１が実行することで実現される。あるいはまた、図７におけるステップの一部または全部の機能をＡＳＩＣまたは電子回路等のハードウェアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味する（本明細書において同様である）。以下、図２と図７とを用いて説明する。

Ｓ７０１において画像データ取得部２０１は、ゆらぎ補正を行う処理対象である入力画像群の画像データを取得する。本実施形態では、動画像を構成する時間的に連続した複数のフレーム画像を取得する。時間的に連続した複数の静止画像のデータを取得する形態でもよい。

Ｓ７０２において画像分割部２０２は、Ｓ７０１で取得した画像データを複数の小領域のデータ（部分画像データ）に分割する。即ち、各画像データを、複数の部分画像データに分割する。ここで複数の部分画像データは、領域の重複が許容される。部分画像データのサイズは、大気ゆらぎの影響が一定であるとみなせる範囲（アイソプラナティックパッチ）よりも小さいことが好ましい。Ｓ７０２の処理により、Ｓ７０１で取得された複数の画像データのそれぞれが、各小領域に対応する部分画像データに分割される。以降の処理では、小領域（ブロックと呼んでもよい）ごとに処理が行われる。

Ｓ７０３においてゆらぎ補正部２０３は、未処理の小領域の中から処理対象とする小領域を決定する。Ｓ７０４においてゆらぎ補正部２０３は、Ｓ７０３で決定した処理対象の小領域の部分画像データを取得し、ゆらぎ補正処理を行う。ゆらぎ補正部２０３は、処理対象の小領域に対応する、複数フレーム分の複数の部分画像データを用いてゆらぎ補正処理を行う。詳細は後述する。

Ｓ７０５においてゆらぎ補正部２０３は、全ての小領域に対して処理をしたかを判定する。全ての小領域に対して処理をした場合、Ｓ７０６に進む。未処理の小領域がある場合、Ｓ７０３に戻り処理を繰り返す。

Ｓ７０６において画像結合部２０４は、Ｓ７０４においてゆらぎ補正が行われた各小領域の部分画像データに対応する推定画像（部分画像）を結合して、最終出力画像を生成する。

＜ゆらぎ補正処理のフローチャート＞
次に、図３および図８を用いてＳ７０４のゆらぎ補正処理の詳細を説明する。図８は、Ｓ７０４のゆらぎ補正処理の詳細を示すフローチャートである。Ｓ８０１においてフーリエ変換部３０１は、各フレームの処理対象の小領域に対応する部分画像データのそれぞれに対してフーリエ変換を行ってフーリエスペクトル（周波数成分）を生成する。Ｓ８０１により、フレーム数分のフーリエスペクトルが得られ、フーリエスペクトルの振幅データと位相データとがそれぞれ生成される。

Ｓ８０２においてフレーム選択部３０２は、Ｓ８０１で生成した各フレーム（各部分画像）のフーリエスペクトルの位相データを用いてフレーム選択を行い、ゆらぎ補正の処理対象とする処理対象振幅データと処理対象位相データとを得る。例えば、フレーム選択部３０２は、オクルージョンが生じていると考えられるフレームを除いた処理対象振幅データと処理対象位相データとを得る。この処理の詳細は後述する。

Ｓ８０３において振幅推定部３０３は、Ｓ８０２で得られた処理対象振幅データを用いて、推定画像のフーリエスペクトルＯの振幅を推定する。具体的には、例えば特許文献１に示されているように、式（１）に従いフーリエスペクトルＯの振幅が導出される。

ここで、Ａは、Ｓ８０２で得られた各フレームの処理対象の小領域に対応する処理対象振幅データの平均である。Ｔは、Ｓ７０１で取得された画像データの撮像に用いられた撮像装置の光学伝達関数である。Ｓは、スペックル伝達関数である。Ｔは、予め大気ゆらぎなどの外乱がない状態で点光源を撮像して求めてもよいし、モデルを用いて数値計算によって求めてもよい。Ｓは大気ゆらぎに起因する画像の劣化を表現する関数であり、予め計測してデータを保持してもよいし、モデルを用いて数値計算によって求めてもよい。また、大気ゆらぎの強度に応じて異なる複数の計測データまたはモデルを保持しておき、選択して用いるようにしてもよい。

Ｓ８０４において位相推定部３０４は、Ｓ８０２で得られた各フレームの処理対象の小領域に対応する処理対象位相データを用いて、推定画像のフーリエスペクトルＯの位相（推定位相φ）を推定する。特許文献１に示されている通り、この推定位相φは、式（２）によって決定される。

ここで、＜＞は複数フレーム（ｎ個のフレーム）にわたる平均を表す。またａｒｇ［＊］は複素数＊の偏角を表す。Ｉ_B,n（ｕ，ｖ）は、ｎフレーム目の部分画像データのフーリエスペクトルＩ_nを用いて式（３）によって定義される（ｕ，ｖ）に対するバイスペクトラムである。

式（２）によると、周波数平面上の（０，０）、（１，０）、（０，１）の３点における位相を初期位相として予め決めておけば、逐次的に任意の座標における位相を推定することができる。以下、位相を推定する処理を説明する。

式（２）によれば、ｕとｖの位相を用いてｕ＋ｖの位相を推定できる。例えば、ｕ＝（０，１）、ｖ＝（１，０）とすると、これらを用いてｕ＋ｖ＝（１，１）の位相を推定することができる。一方、ｕ＝（０，１）の位相は−ｕ＝（０，−１）のマイナス１倍である。よって、ｕの位相が既知ということであれば−ｕの位相も既知となる。以上の点を考慮すると、（０，０）、（０，１）、（１，０）、（０，−１）、（−１，０）、の５個を初期位相として推定済みの位相とすることができる。

以降のステップでは、直前のステップまでで推定済みの位相から任意に２個を選択して推定を行い、推定済みの位相をさらに用いて以降のステップで用いる。例えば、以下の推定が可能である。
（０，１）、（０，１）から（０，２）の位相を推定
（０，１）、（１，０）から（１，１）の位相を推定
（０，１）、（０，−１）から（０，０）の位相を推定
（０，１）、（−１，０）から（−１，１）の位相を推定
（１，０）、（１，０）から（２，０）の位相を推定
（１，０）、（０，−１）から（１，−１）の位相を推定
（１，０）、（−１，０）から（０，０）の位相を推定
（０，−１）、（０，−１）から（０，−２）の位相を推定
（０，−１）、（−１，０）から（−１，−１）の位相を推定
（−１，０）、（−１，０）から（−２，０）の位相を推定

このような処理を繰り返すことで、全ての周波数座標における位相が推定される。なお、座標ベクトルの絶対値が周波数の高低を示している。即ち、上述の例では、絶対値が小さい（低周波）座標から絶対値の大きい（高周波）座標の位相を推定していることになる。

上述した初期位相として、例えば複数フレームを平均した部分画像データのフーリエスペクトルの位相の値を用いることができる。なお、初期位相は上記と異なる３点に対して定めても良いし、周波数平面上の４点以上に対して定めても良い。

Ｓ８０５において逆フーリエ変換部３０５は、推定画像のフーリエスペクトルＯに対して逆フーリエ変換を行って推定画像を生成する。即ち、逆フーリエ変換部３０５は、振幅推定され、かつ位相推定がされたフーリエスペクトルＯに対して逆フーリエ変換を行う。以上の処理により、処理対象の小領域に対応する部分画像データのゆらぎ補正が行われる。なお、図８の例では、振幅推定の後に位相推定を行うフローチャートを示しているが、この限りではない。位相推定の後に振幅推定を行ってもよいし、振幅推定と位相推定とを並行して行ってもよい。

＜フレーム選択処理＞
次に、図４、図５、および図９を用いてＳ８０２のフレーム選択処理の詳細を説明する。図９は、Ｓ８０２のフレーム選択処理の詳細を示すフローチャートである。Ｓ９０１において選択フレーム指定部４０１は、Ｓ８０１で生成された位相データを用いて、入力された複数のフレームのうち、処理対象として選択すべきフレームを指定する。選択フレーム指定部４０１は、指定したフレームの情報を振幅フレーム選択部４０２および位相フレーム選択部４０３に出力する。以下、選択フレーム指定部４０１の処理を、図５を参照して説明する。

ここではまず、代表フレーム生成部５０１が、Ｓ８０１で生成された位相データを用いて代表フレーム（代表データ）を生成する。本実施形態では、代表フレーム生成部５０１は、代表フレームとして、Ｓ８０１で生成された位相データをフレーム間平均して得られる代表位相データを用いる。あるいは、中央値を用いてもよい。次に、距離導出部５０２が、Ｓ８０１で生成された各フレームの位相データと代表位相データとの距離を導出する。本実施形態では、各フレームが持つ位相情報を位相因子に変換した後に、各フレームの位相データと代表位相データとのフレーム内の空間周波数に対応する各点での（複素数平面上での）距離（差分）の二乗を導出する。そして、導出した各点の距離をフレーム内の全点で合計（あるいは平均）することで、各フレーム（位相データ）と代表フレーム（代表位相データ）との距離を導出する。即ち、導出した各点の差分二乗和を用いて各フレーム（位相データ）と代表フレーム（代表位相データ）との距離を導出する。この時、フレーム内の全点で合計せずともよい。例えば、予め定める基準周波数よりも低周波な空間周波数に対応する点のみで合計（あるいは平均）してもよい。これにより、処理時間の短縮およびノイズ耐性の向上などの効果を得られる。

最後に、選択フレーム決定部５０３が、各フレームと代表フレームとの距離に基づいて、処理対象として選択すべきフレームを決定する。本実施形態では、距離導出部５０２で導出された距離が予め定める閾値以下のフレームを、処理対象として選択すべきフレームと決定する。式（１）および式（２）で示したように、位相データおよび振幅データの推定は、例えば複数フレームの平均を用いて求められる。距離導出部５０２で導出された距離が予め定める閾値以下であれば、その距離の違いが大気のゆらぎに起因するものであると考えられ、それらのフレームを用いて位相データおよび振幅データの推定が行われる。一方で、距離導出部５０２で導出された距離が予め定める閾値以下でない場合、その距離は、大気のゆらぎ以外に起因すると考えられる。例えば、オクルージョンが生じていると考えられる。このため、当該フレームを除いた形で位相データおよび振幅データの推定が行われることになる。選択フレーム指定部４０１は、このようにして決定されたフレームを、振幅フレーム選択部４０２および位相フレーム選択部４０３に指定する。

図９の処理の続きを説明する。Ｓ９０２において振幅フレーム選択部４０２は、Ｓ９０１で指定されたフレームの情報に基づいて、各フレームの入力振幅データのうち、処理対象として選択すべきフレームを選択して、処理対象振幅データを出力する。

Ｓ９０３において位相フレーム選択部４０３は、Ｓ９０１で指定されたフレームの情報に基づいて、各フレームの入力位相データのうち、処理対象として選択すべきフレームを選択して、処理対象位相データを出力する。

以上説明したように、本実施形態によれば、ゆらぎ補正によって良好な最終出力画像を生成することができる。例えば、オクルージョンが生じているフレームがある場合においても良好な最終出力画像を生成することができる。また、本実施形態では、処理対象の小領域ごとにフレーム選択処理が行われることになる。例えば、画像データ取得部２０１が取得する画像データ（フレーム画像）に、第１の小領域と、第２の小領域とが含まれる場合を想定する。この場合、第１の小領域には、Ｎ番目のフレームにオクルージョンが生じており、第２の領域には、Ｍ番目のフレームにオクルージョンが生じているような場合も想定される（ＮとＭは異なる自然数である）。このような場合であっても、本実施形態では、処理対象の小領域ごとにフレーム選択処理が行われるので、例えば第１の小領域の処理では、Ｎ番目のフレームを除き、かつＭ番目のフレームを用いた処理が行われる。また、第２の小領域の処理では、Ｍ番目のフレームを除き、かつＮ番目のフレームを用いた処理が行われる。このように、処理対象の小領域ごとに適切なフレーム選択処理が行われる。推定に用いられるフレーム数が多いほど推定の精度も高まる。このため、良好な最終出力画像を得ることができる。

なお、本実施形態でオクルージョンが生じているとは、時系列のデータのうちの一部にオクルージョンが生じている状態を示しているものである。例えば、主被写体Ｐの手前に何かしらの物体ＯＢが写り込んだとしても、撮像画像における主被写体Ｐと物体ＯＢとの位置関係が時系列のデータを通じて変わらない場合には、物体ＯＢが写り込んだフレームを用いて、ゆらぎ補正が行われてよい。即ち、現象的には主被写体Ｐが物体ＯＢによって部分的に隠されているオクルージョンが生じているとしても、画像処理装置１００に入力される時系列の画像データを通じて変化がない場合には、それらのフレームを除外することなく、ゆらぎ補正が行われてよい。

＜＜実施形態２＞＞
実施形態１では、フーリエ変換部３０１によってフーリエ変換された後の位相データを用いてフレームの選択処理が行われる形態を説明した。本実施形態では、フーリエ変換前の部分画像データを用いてフレームの選択処理が行われる形態を説明する。本実施形態は、実施形態１と比較して、図２のゆらぎ補正部２０３が異なる。

＜ゆらぎ補正部の構成＞
図１０は、本実施形態のゆらぎ補正部２０３の構成を示すブロック図である。ゆらぎ補正部２０３は、フーリエ変換部３０１、フレーム選択部１００２、振幅推定部３０３、位相推定部３０４、および逆フーリエ変換部３０５を有する。本実施形態のゆらぎ補正部２０３は、実施形態１と同様の機能を有するが、各機能部の接続が異なる。さらに、フレーム選択部１００２が有する機能が異なる。即ち、フレーム選択部１００２は、画像分割部２０２によって分割された部分画像データを入力してフレームの選択を行う。フーリエ変換部３０１は、フレーム選択部１００２によって選択されたフレームをフーリエ変換する。振幅推定部３０３および位相推定部３０４は、フーリエ変換部３０１から出力された振幅データおよび位相データにそれぞれ基づいて処理を行う。

図１１は、フレーム選択部１００２の詳細を示すブロック図である。フレーム選択部１００２は、選択フレーム指定部１１０１とフレーム抽出部１１０２とを有する。選択フレーム指定部１１０１は、実施形態１の選択フレーム指定部４０１と同様に、代表フレーム生成部５０１、距離導出部５０２、および選択フレーム決定部５０３としての機能を有する。ただし、実施形態１の選択フレーム指定部４０１が部分画像データをフーリエ変換して得られるフーリエスペクトルの位相データに基づいて処理を行うのに対して、本実施形態の選択フレーム指定部１１０１は部分画像データに基づいて処理を行う点が異なる。フレーム抽出部１１０２は、入力された部分画像データのうち、選択フレーム指定部１１０１によって指定されたフレームの部分画像データを抽出してフーリエ変換部３０１に出力する。

＜ゆらぎ補正処理のフローチャート＞
図１２は、本実施形態におけるゆらぎ補正処理の流れを示すフローチャートである。Ｓ１２０１では、フレーム選択部１００２が部分画像データに基づいてフレーム選択処理を行う。本実施形態では、実施形態１と比較して、Ｓ１２０１で行うフレーム選択処理のタイミング及びその処理内容が異なる。実施形態１では、生成されたフーリエスペクトルの位相データを用いてフレーム選択を行ったのに対して、本実施形態のフレーム選択処理（Ｓ１２０１）は、フーリエ変換を行う前に、部分画像データに基づいて処理を行う。その後のＳ８０１のフーリエ変換処理は、Ｓ１２０１で選択されたフレームの部分画像データに対する処理である点を除いて、実施形態１で説明した処理と同様の処理である。以降のＳ８０３の振幅推定処理、Ｓ８０４の位相推定処理、Ｓ８０５の逆フーリエ変換処理は、それぞれ実施形態１で説明した処理と同様の処理である。

図１３は、Ｓ１２０１のフレーム選択処理の詳細を示すフローチャートである。Ｓ１３０１において選択フレーム指定部１１０１は、入力された各フレームの部分画像データのうち、処理対象として選択すべきフレームを指定する。選択フレーム指定部１１０１は、指定したフレームの情報をフレーム抽出部１１０２に出力する。ここではまず、選択フレーム指定部１１０１の代表フレーム生成部５０１が、部分画像データを用いて代表フレームを生成する。本実施形態では、代表フレーム生成部５０１は、代表フレームとして、部分画像データをフレーム間平均して得られる代表部分画像データを用いる。次に、距離導出部５０２が、各フレームの部分画像データと代表部分画像データとの距離を導出する。本実施形態では、部分画像データと代表部分画像データとのフレーム内の各点で画素値の差の二乗を導出し、それをフレーム内の全点で合計（あるいは平均）することで、各フレーム（部分画像データ）と代表フレーム（代表部分画像データ）との距離を導出する。最後に、選択フレーム決定部５０３が、各フレームと代表フレームとの距離に基づいて、処理対象として選択すべきフレームを決定する。本実施形態では、距離導出部５０２で導出された距離が予め定める閾値以下のフレームを、処理対象として選択すべきフレームと決定する。

Ｓ１３０２においてフレーム抽出部１１０２は、Ｓ１３０１で指定されたフレームの情報に基づいて、各フレームの部分画像データのうち、処理対象として選択すべきフレームを選択して、そのフレームの部分画像データを出力する。

以上説明したように、本実施形態では、フーリエ変換前の部分画像データに基づいて適切なフレームを選択する処理が行われる。このような処理により、オクルージョンが生じている場合にも良好な最終出力画像を生成することができる。

＜＜実施形態３＞＞
実施形態１および２においては、画像分割部２０２によって分割された部分画像データ（または部分画像データを変換したデータ）に基づいてフレームが選択される形態を説明した。本実施形態では、画像分割部２０２による分割処理の前にフレームが選択される形態を説明する。

図１４は、本実施形態の画像処理装置１００の例を示すブロック図である。画像処理装置１００は、実施形態１で説明した図２の構成に加えて、フレーム選択部１４０１をさらに有している。フレーム選択部１４０１は、実施形態２と同様の処理を行うが、本実施形態では、画像処理装置１００に入力された画像データ（フレーム画像のデータ）を用いて処理を行う点で異なる。即ち、分割前の画像データを用いてフレーム選択処理が行われる。また、実施形態２と異なり、ゆらぎ補正部２０３は、フレーム選択部としての機能を有していない。

図１５は、本実施形態における処理の流れを示すフローチャートである。図７を用いて説明した実施形態１の処理に加えて、画像データ分割処理（Ｓ７０２）の前にフレーム選択処理（Ｓ１４０１）が行われる。その他の処理は、Ｓ７０４のゆらぎ補正処理でフレーム選択処理が行われない点を除いて実施形態１で説明した処理と同様である。Ｓ１４０１のフレーム選択処理では、フレーム画像の全体で、代表フレーム画像と各フレームのフレーム画像との距離が導出され、導出結果に基づいてフレームが選択されることになる。以上の処理により、オクルージョンが生じている場合にも良好な最終出力画像を生成することができる。

＜＜その他の実施形態＞＞
実施形態１から３で説明した処理は、それぞれ組み合わせた形で実施してもよい。例えば、実施形態３で説明したように、画像全体での距離を比較して、明らかに他のフレームと相違するようなフレームを除外した上で、実施形態１または２で説明したように、小領域でのデータを比較してフレームを選択する形態でもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１ 画像データ取得部
２０２ 画像分割部
２０３ ゆらぎ補正部
２０４ 画像結合部

Claims (16)

1. 時間的に連続して撮像された複数の画像データを用いて大気のゆらぎによる影響を補正する画像処理装置であって、
   入力画像群を構成する複数の画像データを取得する取得手段と、
   前記取得手段で取得した前記複数の画像データをそれぞれ分割して、処理対象の領域の画像に対応する複数の部分画像データを出力する分割手段と、
   前記分割手段から出力された複数の部分画像データに基づいて前記補正をする補正手段と、
   各処理対象の領域について前記補正手段で補正された結果に基づいて、前記画像データに対応する出力画像データを生成する生成手段と、
   を備え、
   前記補正手段による補正に用いられるデータは、前記入力画像群を構成する前記複数の画像データのうちの一部が選択的に用いられていることを特徴とする画像処理装置。
2. 前記補正手段は、
   前記分割手段から出力された複数の部分画像データのそれぞれを、位相データおよび振幅データを含むフーリエスペクトルに変換する変換手段と、
   前記変換手段によって変換された複数のフーリエスペクトルを用いて前記処理対象の領域の位相データおよび振幅データを推定する推定手段と、
   前記推定された位相データおよび振幅データを含むフーリエスペクトルを逆変換して前記処理対象の領域の補正後の部分画像データを得る逆変換手段と、
   を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記変換手段で変換された前記複数のフーリエスペクトルから、一部のフーリエスペクトルを選択する選択手段をさらに有し、
   前記推定手段は、前記選択手段によって選択されたフーリエスペクトルを用いて前記処理対象の領域の位相データおよび振幅データを推定することを特徴とする請求項２に記載の画像処理装置。
4. 前記選択手段は、
   前記変換手段による変換で得られた複数の位相データに基づいて代表データを生成し、
   前記複数の位相データと前記代表データとの距離をそれぞれ導出し、
   前記導出した距離に基づいて、前記一部のフーリエスペクトルを選択することを特徴とする請求項３に記載の画像処理装置。
5. 前記代表データは、前記複数の位相データを平均して得られることを特徴とする請求項４に記載の画像処理装置。
6. 前記距離は、前記複数の位相データの各点と前記代表データの各点との複素数平面上での距離の二乗をそれぞれ合計した値に基づく値であり、
   前記選択手段は、前記距離が閾値以下の位相データと、当該位相データに対応する振幅データとを、前記補正に用いられる位相データおよび振幅データとして選択することを特徴とする請求項４または５に記載の画像処理装置。
7. 前記距離は、前記複数の位相データの基準周波数よりも低い空間周波数の各点と、前記代表データの前記基準周波数よりも低い空間周波数の各点との複素数平面上での距離の二乗をそれぞれ合計した値に基づく値であり、
   前記選択手段は、前記距離が閾値以下の位相データと、当該位相データに対応する振幅データとを、前記補正に用いられる位相データおよび振幅データとして選択することを特徴とする請求項４または５に記載の画像処理装置。
8. 前記分割手段から出力された前記複数の部分画像データのうち、一部の部分画像データを選択する選択手段をさらに有し、
   前記変換手段は、前記分割手段から出力され、かつ前記選択手段によって選択された部分画像データを用いて、部分画像データのそれぞれを、位相データおよび振幅データを含むフーリエスペクトルに変換することを特徴とする請求項２に記載の画像処理装置。
9. 前記選択手段は、
   前記分割手段から出力された複数の部分画像データに基づいて代表データを生成し、
   前記複数の部分画像データと前記代表データとの距離をそれぞれ導出し、
   前記導出した距離に基づいて、前記補正に用いられる部分画像データを選択することを特徴とする請求項８に記載の画像処理装置。
10. 前記代表データは、前記複数の部分画像データを平均して得られることを特徴とする請求項９に記載の画像処理装置。
11. 前記距離は、前記複数の部分画像データの各点と前記代表データの各点との画素値の差の二乗をそれぞれ合計した値に基づく値であり、
    前記選択手段は、前記距離が閾値以下の部分画像データを、前記補正に用いられる部分画像データとして選択することを特徴とする請求項１０に記載の画像処理装置。
12. 前記取得手段で取得した前記複数の画像データのうち、一部の画像データを選択する選択手段をさらに有し、
    前記分割手段は、前記取得手段で取得され、かつ前記選択手段で選択された画像データを分割して、処理対象の領域の画像に対応する複数の部分画像データをそれぞれ出力することを特徴とする請求項１または２に記載の画像処理装置。
13. 前記選択手段は、
    前記取得手段で取得した前記複数の画像データに基づいて代表データを生成し、
    前記取得手段で取得した前記複数の画像データと前記代表データとの距離をそれぞれ導出し、
    前記導出した距離に基づいて、前記一部の画像データを選択することを特徴とする請求項１２に記載の画像処理装置。
14. 前記生成手段は、前記補正手段で補正された各処理対象の領域の部分画像データを結合することで前記出力画像データを生成することを特徴とする請求項１から１３のいずれか一項に記載の画像処理装置。
15. 時間的に連続して撮像された複数の画像データを用いて大気のゆらぎによる影響を補正する画像処理方法であって、
    入力画像群を構成する複数の画像データを取得する取得工程と、
    前記取得工程において取得した前記複数の画像データをそれぞれ分割して、処理対象の領域の画像に対応する複数の部分画像データを出力する分割工程と、
    前記分割工程において出力された複数の部分画像データに基づいて前記補正をする補正工程と、
    各処理対象の領域について前記補正工程において補正された結果に基づいて、前記画像データに対応する出力画像データを生成する生成工程と、
    を有し、
    前記補正工程における補正に用いられるデータは、前記入力画像群を構成する前記複数の画像データのうちの一部が選択的に用いられていることを特徴とする画像処理方法。
16. コンピュータを、請求項１から１４のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images