JP2007000205A - 画像処理装置及び画像処理方法並びに画像処理プログラム - Google Patents

Abstract

【課題】移動物体の抽出の処理時間を軽減し、また、高解像度画像を再構成する過程での処理時間も軽減させることができる画像処理装置及び画像処理方法並びに画像処理プログラムを提供する。
【解決手段】画像データ入力部１に入力された低解像度画像フレーム列の特徴点を特徴点追跡部５で抽出追跡し、この特徴点を用いて多角形分割部６で三角形領域に分割した後、画像領域分離部７で低解像度画像を移動領域と背景領域とに分離する。移動領域については、補間処理部８で基準フレームの画像データを用いて高解像度画像を生成し、背景領域については、超解像処理部９で低解像度画像フレーム列の複数フレームの画像データを用いて超解像度画像を再構成する。この高解像度画像と超解像度画像を統合する。
【選択図】 図１

Description

本発明は、位置ずれのある複数の低解像度画像から高解像度画像を生成する超解像処理を用いた画像処理装置及び画像処理方法並びに画像処理プログラムに関する。

同一シーンを位置をずらしながら撮影して得られる複数枚の低解像度画像列から高解像度画像を構成する超解像処理と呼ばれる方法がある。超解像処理において問題となるのが、画像列中に含まれる移動物体の存在である。運動している移動物体を含む画像列に対して超解像処理を行う場合、構成された高解像度画像上で物体が多重化するのを防ぐために、画像列中の移動物体を抽出する必要があった。

従来、移動物体の抽出にはピクセル（画素）単位で動きベクトル（オプティカルフロー）を算出し、カメラ移動による大域的な運動と移動物体による局所的な運動を分離する方法が用いられている。

一般にＭＰＥＧ等の動画圧縮で用いられている動きベクトルの算出方法は、ブロックマッチングまたはウインドウマッチングと呼ばれるもので、異なるフレーム間、例えば基準フレームの任意の点に対する参照フレーム中での対応点をブロック間のパターンマッチングに基づいて決定するものである。基準フレーム中の任意の点を中心とするブロック状の部分画像をテンプレートとして切り出し、参照フレーム中で最もマッチング率が高いブロックを求め、その中心点を対応点とするものである。マッチングの評価には各点の諧調値（輝度値）の差分の総和を用いるのが、一般的である。

また、他に動きベクトルを求める手法として勾配法がある。勾配法は、「物体上の点の明るさは移動後も変化しない」と仮定し、輝度の空間における変化(勾配)と、時間方向の変化から移動物体の動きベクトルを求めるものである。

上記の方法を用いてピクセル単位で動きベクトルを求めた後、この動きベクトルに基づいて超解像処理による画像再構成を行っていた。

広く利用されている再構成型超解像処理では、まず初期の高解像度画像を設定し、そこから上記の動きベクトルとカメラモデルに基づき低解像画像列の各画素値を推定する。推定された画素値と実際の観測画素値の誤差を最小にするように高解像度画像を更新する。収束するまで更新処理を繰り返すことにより、最終的な超解像度画像を求めている。
特開２００４−２７２８９５号公報

上記従来の方法では、移動物体を抽出する過程で、動きベクトルを求めるためにブロックマッチングの手法を用いているが、この手法は基準フレーム中から切り出されたテンプレートと同じ大きさのブロックを参照フレーム内で移動させていき、対応する画素の差分を求めていくために、参照フレーム全体の画素についてブロックをスキャンさせ、そのスキャン毎に画素差分の和を求めることが行われる。

したがって、フレームの画素数が増えるほど、参照フレーム数が多くなるほど、膨大な演算を必要とし、処理に時間がかかっていた。勾配法にしてもブロックを画像全体に対してスキャンさせる必要はないが、各画素毎に動きベクトルを算出する必要があり、処理に多くの時間が費やされていた。

さらに、動きベクトルに基づいて観測画像である低解像度画像列から初期の高解像度画像を構成した後、この初期高解像度画像から前記動きベクトルとカメラモデルに基づき低解像度画像列の各画素値を推定する場合、移動物体に関する画像領域については、移動物体の動きを考慮して、各フレームの所定位置に戻してやる必要があるとともに、この処理を最終の超解像度画像が構成されるまで反復して行わなければならないので、処理に時間がかかっていた。

本発明は、上述した課題を解決するために創案されたものであり、移動物体の抽出の処理時間を軽減し、また、高解像度画像を再構成する過程での処理時間も軽減させることができる画像処理装置及び画像処理方法並びに画像処理プログラムを提供することを目的としている。

上記目的を達成するために、請求項１記載の発明は、複数枚の画像を参照して精細な画像に高解像度化する画像処理装置であって、同一シーンを撮影して時系列で得られる低解像度画像列を入力する画像データ入力部と、前記低解像度画像列から高解像度化の基準となる画像を基準フレームとして選択し、基準フレーム以外の低解像度画像を参照フレームとする基準フレーム選択部と、前記基準フレームと参照フレームを移動物体を含む移動領域と前記移動領域を除外した背景領域とに分離する画像領域分離部とを備え、前記画像領域分離部で分離された移動領域と背景領域を各々高解像度化する際に、前記移動領域については前記基準フレーム又は基準フレームと基準フレーム時間的近傍の参照フレームを用いて高解像度化することを特徴とする画像処理装置である。

また、請求項２記載の発明は、請求項１記載の画像処理装置において、前記基準フレーム中の画素から所定個数の特徴点を抽出し、この抽出された特徴点を全ての参照フレームに渡って追跡した軌跡を生成する特徴点追跡部を備え、前記画像領域分離部は、前記特徴点追跡部により生成された軌跡に基づいて移動領域と背景領域に分離することを特徴とする画像処理装置である。

また、請求項３記載の発明は、請求項２記載の画像処理装置において、前記特徴点追跡部で追跡された特徴点を頂点とする多角形領域に前記基準フレームと参照フレームを分割する多角形分割部を備え、前記画像領域分離部は、前記多角形分割部で分割された多角形領域を移動領域と背景領域とに分離することを特徴とする画像処理装置である。

また、請求項４記載の発明は、請求項１〜請求項３の何れか１項に記載の画像処理装置において、前記基準フレームと参照フレームから１枚の高解像度画像を再構成する超解像処理部と、基準フレームを空間補間することで高解像度化する補間処理部とを備えたことを特徴とする画像処理装置である。

また、請求項５記載の発明は、請求項４記載の画像処理装置において、前記移動領域については前記補間処理部又は超解像処理部によって高解像度化し、前記背景領域については前記基準フレームと参照フレームの全てを用いて前記超解像処理部により高解像度化し、これらの画像を統合することを特徴とする画像処理装置である。

また、請求項６記載の発明は、請求項１〜請求項５の何れか１項に記載の画像処理装置において、前記画像データ入力部には、時系列で得られる低解像度画像列からなる動画像が入力されるものであって、前記基準フレーム選択部で選択された基準フレームとの類似度に基づいて全ての参照フレームから高解像度化に用いる一部の参照フレームを選択する参照フレーム選択部を備えたことを特徴とする画像処理装置。

また、請求項７記載の発明は、複数枚の画像を参照して精細な画像に高解像度化する画像処理方法であって、同一シーンを撮影して時系列で得られる低解像度画像列を入力する画像データ入力ステップと、前記低解像度画像列から高解像度化の基準となる画像を基準フレームとして選択し、基準フレーム以外の低解像度画像を参照フレームとする基準フレーム選択ステップと、前記基準フレームと参照フレームを移動物体を含む移動領域と前記移動領域を除外した背景領域とに分離する画像領域分離ステップとを備え、前記画像領域分離部で分離された移動領域と背景領域を各々高解像度化する際に、前記移動領域については前記基準フレーム又は基準フレームと基準フレーム時間的近傍の参照フレームを用いて高解像度化することを特徴とする画像処理方法である。

また、請求項８記載の発明は、請求項７記載の画像処理方法において、前記基準フレーム中の画素から所定個数の特徴点を抽出し、この抽出された特徴点を全ての参照フレームに渡って追跡した軌跡を生成する特徴点追跡ステップを備え、前記画像領域分離ステップでは、前記特徴点追跡ステップにより生成された軌跡に基づいて移動領域と背景領域に分離することを特徴とする画像処理方法である。

また、請求項９記載の発明は、請求項８記載の画像処理方法において、前記特徴点追跡ステップで追跡された特徴点を頂点とする多角形領域に前記基準フレームと参照フレームを分割する多角形分割ステップを備え、前記画像領域分離ステップは、前記多角形分割ステップで分割された多角形領域を移動領域と背景領域とに分離することを特徴とする画像処理方法である。

また、請求項１０記載の発明は、請求項７〜請求項９の何れか１項に記載の画像処理方法において、高解像度化方法として、基準フレームと参照フレームから１枚の高解像度画像を再構成する超解像処理ステップと、基準フレームを空間補間することで高解像度化する補間処理ステップとを備えたことを特徴とする画像処理方法である。

また、請求項１１記載の発明は、請求項１０記載の画像処理方法において、前記移動領域については前記補間処理ステップ又は超解像処理ステップによって高解像度化し、前記背景領域については前記基準フレームと参照フレームの全てを用いて前記超解像処理ステップにより高解像度化した後、これらの画像を統合することを特徴とする画像処理方法。

また、請求項１２記載の発明は、請求項７〜請求項１１の何れか１項に記載の画像処理方法において、前記画像データ入力ステップは、時系列で得られる低解像度画像列からなる動画像が入力されるステップであって、前記基準フレーム選択ステップで選択された基準フレームとの類似度に基づいて全ての参照フレームから高解像度化に用いる一部の参照フレームを選択する参照フレーム選択ステップを備えたことを特徴とする画像処理方法である。

また、請求項１３記載の発明は、複数枚の画像を参照して精細な画像に高解像度化するためにコンピュータを、同一シーンを撮影して時系列で得られる低解像度画像列を入力する画像データ入力手段と、前記低解像度画像列から高解像度化の基準となる画像を基準フレームとして選択し、基準フレーム以外の低解像度画像を参照フレームとする基準フレーム選択手段と、前記基準フレームと参照フレームを移動物体を含む移動領域と前記移動領域を除外した背景領域とに分離する画像領域分離手段と、前記画像領域分離手段で分離された移動領域と背景領域を各々高解像度化する際に、前記移動領域については前記基準フレーム又は基準フレームと基準フレーム時間的近傍の参照フレームを用いて高解像度化する高解像度化手段として機能させることを特徴とする画像処理プログラムである。

また、請求項１４記載の発明は、請求項１３記載の画像処理プログラムにおいて、コンピュータを、前記基準フレーム中の画素から所定個数の特徴点を抽出し、この抽出された特徴点を全ての参照フレームに渡って追跡した軌跡を生成する特徴点追跡手段としても機能させ、前記画像領域分離手段は、前記特徴点追跡手段により生成された軌跡に基づいて移動領域と背景領域に分離するように機能させることを特徴とする画像処理プログラムである。

また、請求項１５記載の発明は、請求項１４記載の画像処理プログラムにおいて、コンピュータを、前記特徴点追跡手段で追跡された特徴点を頂点とする多角形領域に前記基準フレームと参照フレームを分割する多角形分割手段としても機能させ、前記画像領域分離手段は、前記多角形分割手段で分割された多角形領域を移動領域と背景領域とに分離するように機能させることを特徴とする画像処理プログラムである。

また、請求項１６記載の発明は、請求項１３〜請求項１５の何れか１項に記載の画像処理プログラムにおいて、前記高解像度化手段は、前記基準フレームと参照フレームから１枚の高解像度画像を再構成する超解像処理手段と、前記基準フレームを空間補間することで高解像度化する補間処理手段とを有することを特徴とする画像処理プログラムである。

また、請求項１７記載の発明は、請求項１６記載の画像処理プログラムにおいて、コンピュータを、前記補間処理手段又は超解像処理手段によって高解像度化された前記移動領域と、前記基準フレームと参照フレームの全てを用いて前記超解像処理手段により高解像度化された前記背景領域とを統合する画像統合手段としても機能させることを特徴とする画像処理プログラムである。

また、請求項１８記載の発明は、請求項１３〜請求項１７の何れか１項に記載の画像処理プログラムにおいて、前記画像データ入力手段は、時系列で得られる低解像度画像列からなる動画像が入力されるものであって、コンピュータを、前記基準フレーム選択手段で選択された基準フレームとの類似度に基づいて全ての参照フレームから高解像度化に用いる一部の参照フレームを選択する参照フレーム選択手段としても機能させることを特徴とする画像処理プログラムである。

本発明によれば、移動物体に関する移動領域を抽出する場合に、低解像度画像の各フレームにおけるすべての画素を用いるわけではなく、特徴点として抽出された画素の近傍を用いるだけなので、計算する画素数が減少し、演算に時間がかからない。

また、本発明の一実施形態として、抽出された移動領域を低解像度画像の各フレームから取り除き、背景領域について複数フレームによる超解像処理を行い、他方、移動領域については、基準フレームのみの画像データによる高解像処理を行うようにして、移動領域と背景領域とを統合するようにすることが考えられ、最終的な高解像度画像を構成する処理時間を大幅に短縮することができる。

以下、図面を参照して本発明の一実施形態を説明する。図１は本発明による画像処理装置の構成を示す。

画像処理装置は、画像データ入力部１、処理条件設定部２、記憶部３、基準フレーム選択部４、特徴点追跡部５、多角形分割部６、画像領域分離部７、補間処理部８、超解像処理部９、画像統合部１０等で構成されており、観測画像列や撮影された画像フレーム列などが画像データ入力部１に入力され、所定の画像処理が行われた後、画像統合部１０より、画像データが出力される。図示はしていないが、画像処理装置の各構成部分は、ＣＰＵ等の制制御部によりコントロールされるか、各構成部分内設けられた制御部により制御される。

まず、異なる角度、距離、時間等の変位をもって同一の対象物（同一のシーン）を撮影した複数フレームの画像や、ビデオ映像における一連のシーケンス等、若干の相違を持つ画像列（観測画像列）を取得する。これらの画像列を低解像度画像フレーム列として画像データ入力部１に入力する。入力された低解像度画像フレーム列は記憶部３に記憶される。

次に、超解像処理に使用する低解像度画像のフレーム数Ｎを決定し、基準フレームを決定する。本実施例では、時系列上中間に位置するフレーム（Ｎ／２）を基準フレームとするが、低解像度画像列の最初に位置する画像を基準フレームとしても良く、Ｎ枚の画像のうち、いずれを基準フレームにしても良い。また、低解像度画像から高解像度画像への拡大率ｒ、後述する特徴点の個数Ｍを決定する。Ｍは、低解像度画像のサイズや高解像度画像の目標精度により変更する。これらのデータを処理条件設定部２に入力する。処理条件設定部２は、フレーム数Ｎ、基準フレーム番号、特徴点の個数Ｍ、拡大率ｒを記憶部３に送信し、記憶部３はこれらのデータを記憶する。記憶部３は入力された低解像度画像フレーム列の内、Ｎ枚のフレームと、処理条件設定部２より入力された設定データを基準フレーム選択部４へ出力する。

図７は、選択されたＮ枚の低解像度画像の一例を示す。これら一連の低解像度画像は、移動物体に関する画像と、移動物体を除いた背景に関する画像とで構成されている。背景は、通常静止画像である。上述したように、時系列上中間に位置するフレーム（Ｎ／２）を基準フレームとしている。

特徴点追跡部５では、図２のフローチャートで示すような低解像度画像フレーム中の特徴点追跡処理が行われる。まず、基準フレーム中のピクセル（画素）から特徴点をＭ個検出する（Ｓ１１）。特徴点の検出及び追跡には、例えばＴｏｍｓａｉらの方法（Carlo Tomsai and Takeo Kanade. Detection and tracking of point features. Carnegie Mellon University Technical Report CMU-CS pages 91-132 ,April 1991）を使用する。この手法は、物体の角や輪郭などの特徴的な領域を自動選択するもので、画像の１次微分成分が大きく、かつ垂直成分と水平成分に相関がないものが選択される。

基準フレームにおける特徴点（特徴的な領域の中心）を検出した後、検出された特徴点の座標リストを作成する（Ｓ１２）。基準フレーム以外のフレーム（以下、参照フレームという）上で基準フレームにおいて検出された特徴点に関して勾配法による追跡処理を行う（Ｓ１３)。基準フレームの特徴点と対応づけられた各参照フレームの特徴点の座標リストを作成する（Ｓ１４）。

全参照フレームについて追跡処理が完了した場合（Ｓ１５ YES）には、誤対応の検出を行う（Ｓ１６）。誤対応の検出は、追跡された特徴点の近傍の類似度を計算する。例えば、基準フレームとｋ番目のフレームの類似度は、以下のように計算できる。

ここで、Ｋは特徴点の近傍のサイズ、ｆ_ｋ（ｘ，ｙ）はｋ番目のフレームの座標（ｘ，ｙ）における輝度値である。また、（ｘ_{Ｎ／２，α} ，ｙ_{Ｎ／２，α}）はＮ／２番目の低解像度画像におけるα番目の特徴点の座標である。Ｊが所定の閾値よりも大きい場合は誤対応と判断する。

すなわち、基準フレームの特徴点の近傍における点の輝度値と追跡された特徴点の近傍における点の輝度値との差分を求め、近傍領域内における各点の差分の和を求めて所定の閾値よりも大きい場合は誤対応と判断するものである。誤対応と判断された特徴点は座標リストＬ_０・・・Ｌ_Ｎ−１から除去し、座標リストを更新する（Ｓ１７）。仮に誤対応と判断された特徴点が見つかっていれば、各フレーム中の特徴点はＭ個からＭ'個に減少する。

図８は、図７のような低解像度画像フレーム列について、特徴点が抽出され、その特徴点を各フレームにおいて追跡し対応付けしている様子を示す。図では、背景上の特徴点を黒丸、移動物体上の特徴点を斜線入りの丸で表している。

特徴点追跡部５で特徴点の追跡処理が終了すると、特徴点追跡部５で作成された座標リストＬ_０・・・Ｌ_Ｎ−１が多角形分割部６に送られる。多角形分割部６では、ドロネーの方法による多角形分割（以下、ドロネー分割という）により、各フレームを分割する。多角形形状としては三角形を用いる。この三角形分割処理の流れを図３に示す。

まず、頂点として使用する特徴点の数Ｍ'から分割領域の数Ｐを求める。分割数Ｐはオイラーの公式から一意的に決定される。頂点の数Ｍ'、分割領域の数をＰとし、頂点をすべて含む凸包の境界上の辺の数をＡとすると、Ｐ＝２Ｍ'−２−Ａ となる。このＰを算出する（Ｓ２１）。

基準フレームにおける特徴点座標リストＬ_Ｎ／２を頂点リストとしてドロネー分割による三角形分割を行い、三角形リストＴ_Ｎ／２を作成する（Ｓ２２）。基準フレームの三角形リストＴ_Ｎ／２に対応する参照フレームの三角形リストＴ_ｋを参照フレームの特徴点座標リストＬ_ｋを用いて作成する（Ｓ２３）。すべての参照フレームについて三角形リストが作成された場合（Ｓ２４ YES）には、三角形分割処理を終了する。

図９は図８に表示されている特徴点を用いて各フレームを三角形に分割した様子を示す。低解像度画像フレームのN枚全画像について特徴点が抽出され、これらの特徴点から三角形が構成される。

一方、特徴点追跡部５で作成された座標リストＬ_０・・・Ｌ_Ｎ−１は、画像領域分離部７にも送られ、多角形分割部６で作成された三角形リストも画像領域分離部７へ送られる。画像領域分離部７では、運動を行っている移動物体に関する移動領域とこの移動領域以外の領域、すなわち背景領域とに分離する。この画像領域の分離処理の流れを図４に示す。

まず、基準フレームにおける特徴点座標リストＬ_Ｎ／２と、この特徴点に対する追跡が行われ対応づけられた参照フレームの特徴点座標リストＬ_ｋとを用いて、Ｍ'個の特徴点の軌跡ベクトル{Ｐ_α} α=０，・・・Ｍ'−１ を作成する（Ｓ３１）。ここでα番目の特徴点に対応する軌跡ベクトルはＰ_α＝（ｘ_０，α ，ｙ_０，α ・・・ ｘ_{Ｎ−１，α} ，ｙ_{Ｎ−１，α}）^Ｔと表現される２Ｎ次元ベクトルである。次に、幾何学的拘束条件に基づき移動物体上の特徴点の軌跡と背景上の特徴点の軌跡を分類する(Ｓ３２)。分類手法は数多く提案されていおり、例えば "J.Costeria and T.Kanade. A multibody factorization method for independently moving objects. In Int.J.Computer Vision, volume 29-3, pages 159-179, 1998) を用いる。これは軌跡の分類をその画像座標の履歴から計算される「作用行列」の要素の非ゼロ判定に帰着させる方法である。この手法によって、Ｍ'個の特徴点の軌跡ベクトルを２Ｎ次元空間内の異なる部分空間に分離することができ、各部分空間内に属する軌跡ベクトルに基づき移動領域と背景領域に分離することができる。なお、上記手法によれば、低解像度画像中に移動物体が複数含まれる場合には、例えば、背景領域と移動領域１、移動領域２、・・・と分離することができる。

移動物体の軌跡ベクトルを構成する特徴点を含む（特徴点を頂点とする）三角形を三角形リストＴ_ｋから移動領域を構成する三角形リストとしてのＴ’_ｋに移す（Ｓ３３）。移動物体の軌跡ベクトルに対応する特徴点を含む三角形をすべてＴ’_ｋに移せた場合（Ｓ３４ YES）、画像領域の分離処理を終了する。

この時点で、分割された各三角形は、移動領域を構成する三角形と背景領域を構成する三角形とに分離されたことになる。分離された移動領域を構成する三角形を用いて、補間処理部８で移動領域の拡大処理を行う。補間処理部８では、基準フレーム番号（Ｎ／２）のフレーム内の移動領域を構成する三角形リストＴ’_Ｎ／２を画像領域分離部７から取得する。補間処理部８では図５のフローに沿って高解像度画像の生成処理が行われる。

まず、処理条件設定部２に入力された拡大倍率ｒを用いて再構成する高解像度画像領域の幅Ｗと高さＨを算出する（Ｓ４１、Ｓ４２）。なお、低解像度画像フレームの大きさを幅ｗ、高さｈで表す。高解像度画像領域のピクセル（画素）を構成する点ｘ＝（ｐ，ｑ）を低解像度画像の基準フレーム座標上の点ｙ＝（ｐ／ｒ，ｑ／ｒ）に移し、ｙがＴ’_Ｎ／２の領域に含まれるかどうかを判別し、含まれる場合には基準フレーム上の低解像度画像の輝度値を使用し、例えば線形補間法等による補間処理を行って基準フレーム座標上の点ｘ＝（ｐ，ｑ）の輝度値を算出する（Ｓ４４）。

高解像度画像領域の点ｘのすべてについてＳ４３〜Ｓ４４の処理が行われた時点で高解像度画像の生成処理を終了する。なお、Ｓ４４では拡大された高解像度画像を構成する画素の輝度値を求めるのに、線形補間を用いているが、スプライン補間等、他の補間処理を用いるようにしても良い。また、フィルターによるノイズ除去等の補正処理を加えるようにしても良い。

この移動領域についての高解像度画像生成の概念を示すのが、図１０である。移動物体に関する移動領域（図の斜線部分）については、Ｎ枚の低解像度画像フレーム中、基準フレーム（低解像度画像N/2）中の移動領域データのみを用い、これらの画像データを基準フレーム座標上で拡大処理するとともに補間処理を行って移動物体の高解像度画像を再構成するようにしている。

ところで、時系列で取得した低解像度画像列のフレームレートが非常に高い場合や移動物体の移動速度が小さい場合、基準フレームの時間的近傍の参照フレームにおいては、移動物体の移動を無視できる場合がある。この場合は、基準フレーム中の移動領域データだけではなく、移動物体の移動を無視できる参照フレームも移動物体の高解像度画像を生成するのに用いることができる。移動が無視できる参照フレームを選択するには、特徴点の軌跡ベクトルの要素間の距離が所定の閾値よりも小さいものを選択する。閾値としては、例えば高解像度画像格子で１ピクセル分等とすれば良い。このような閾値に基づいて、参照フレームを選択した結果、例えば、基準フレームの前後１フレームが選択されたとすると、基準フレームを含めて３フレームの移動領域データを高解像度化に用いることができる。

移動領域の高解像度画像を生成するときに、前記のように複数フレームのデータを用いることができる場合には、以下に述べる超解像処理部９による超解像処理により超解像度画像を生成することができる。低解像度画像１〜Ｎまでを用いた超解像度画像よりは劣るが、基準フレームの近傍の参照フレームを含めた複数の低解像度画像を用いて高解像度化しているので、基準フレーム１枚を用いて高解像度化するよりも、移動物体はより精細な画像になる。なお、移動物体が複数ある場合には、各移動物体に対応する移動領域毎に、上記のような画像処理を行う。

一方、超解像処理部９は、画像領域分離部７から背景領域の三角形リストＴ_ｋを取得して超解像処理により超解像度画像を復元する。超解像処理部９での超解像処理のフローを示すのが、図６である。低解像度画像の複数フレームの背景領域を用いて超解像度画像を作成するため、本実施例では、超解像処理に、基本的な超解像法の一つであるバックプロジェクション法を用いることとする。また、移動領域についても、上述したように、移動物体の移動を無視できる参照フレームが存在し、低解像度画像の複数フレームを用いることができる場合には、図６のフローにしたがって超解像処理部９で超解像度画像が再構成される。

まず、バックプロジェクション関数（ＢＰＦ：Back Projection Function）と点拡がり関数（ＰＳＦ：Point Spread Function）を決定する。バックプロジェクション関数は、観測された低解像度画像列から初期の高解像度画像を生成するとき、観測された低解像度画像列とシミュレーションにより得られる低解像度画像列間の誤差を高解像度画像上にフィードバックするときに用いられる。また、点拡がり関数は、カメラモデルと言われるもので、複雑なカメラ（撮像装置）の特性、例えば、カメラのＭＴＦ（Modulation Transfer Function）値、ＣＣＤのローパスフィルターの振る舞い、ピクセル密度やＡＤ変換等の電気的作用などを抽象化したものである。

例えば、ＢＰＦとしては、高域の保存特性に優れるミッチェルフィルタ、ＰＳＦとしてはガウシアンフィルタを選択することができる。また、台の大きさはミッチェルフィルタでＳ＝４、ガウシアンフィルタでＲ＝２．５である。このＢＰＦとＰＳＦの台の概念を示すのが、図１３と図１４である。図１３では、バックプロジェクションカーネルの台と示されている円形状の範囲が、超解像度画像上の画素（白丸）が影響を与える範囲であり、その範囲内に存在している低解像度画像の画素（斜線付きの丸）から前記超解像度画像上の画素をＢＰＦの中心とし、各低解像度画像の画素（斜線付きの丸）までの距離に応じて重みが算出される。また、図１４には、点拡がり関数の台と表されている範囲が、低解像度画像の画素（斜線付きの丸）が影響を与える範囲であり、ＢＰＦとは逆に、前記低解像度画像の画素を中心とし、各超解像度画像上の画素（白丸）の距離に応じて重みが算出される。

上記ＢＰＦ、ＰＳＦの設定については、例えば、処理条件設定部２から上記のようにＰＳＦとＢＰＦの関数の選択ができるような構成としておけば、適宜他の関数にＰＳＦとＢＰＦを変更することができる。このようにして、ＰＳＦとＢＰＦの設定を行う（Ｓ５２）。また、最終的に再構成される超解像度画像の拡大倍率は、処理条件設定部２に入力された拡大倍率ｒが用いられ、補間処理部８で作成される高解像度画像と大きさ（幅Ｗ、高さＨ）は、同じになる。

低解像度画像フレーム列中の点を基準フレームの座標上に写像（投影）して、低解像度画像上の点すべてを基準フレーム上に集約することを考える。基準フレーム上の座標（ｘ，ｙ）とｋ番目のフレーム上の座標（ｘ_ｋ，ｙ_ｋ）には、以下の関係が成り立つことが知られている。

ｘ＝（ｃｘ_ｋ＋ｄｙ_ｋ＋ｅ）／（ａｘ_ｋ＋ｂｙ_ｋ＋１）
ｙ＝（ｆｘ_ｋ＋ｇｙ_ｋ＋ｈ）／（ａｘ_ｋ＋ｂｙ_ｋ＋１）
これらの式は射影変換と呼ばれａ〜ｈの８個のパラメータにより表される。基準フレーム以外の参照フレームの背景領域を構成する三角形リストＴ_ｋから基準フレーム上の三角形リストＴ_Ｎ／２への射影変換リストを求めたいが、上記のように射影変換の自由度は８であるのに対して三角形の頂点は３個であるので、頂点の対応関係だけでは射影変換を求めることはできない。そこで、フレーム間のグローバルな関係を表す基礎行列を求めておき、基礎行列と３組の対応点を用いて射影変換を算出する方法（「画像特徴に基づくイメージモザイキング」電子情報通信学会論文誌、J82-DII(10):1581-1589,10 1999）を用いる（Ｓ５３）。また、基準フレームから参照フレームへの背景領域に関する射影変換を１つだけ求めても良い。

図１１は、上記の射影変換によって、低解像度画像フレーム列の各画像データが基準フレーム上に写像されていく様子を示す。図のような低解像度画像フレームがＮ枚用いられたとすると、基準フレームをＮ／２枚目とするので、低解像度画像N/2が基準フレームとなり、基準フレームの座標上に基準フレーム以外の参照フレーム上の画素が投影されていく。

次に高解像度画像上の全ての点に関するＢＰＦの重みの総和を算出する（Ｓ５４）。ＢＰＦをＨ_Ｂとし高解像度画像上の点をＸ＝｛（Ｉ，Ｊ）｜０≦Ｉ＜Ｗ、０≦Ｊ＜Ｈ｝、ＢＰＦの重みの総和をＳ（Ｘ）、低解像度画像上の点ｙの高解像度画像領域での座標をＺ_ｙとすると、Ｓ（Ｘ）＝ΣＨ_Ｂ（Ｘ−Ｚ_ｙ）となる。例えば、参照フレームの背景領域の三角形に点ｙ＝（ｉ，ｊ）が含まれる場合には、この三角形に関する射影変換を用いて、基準フレーム上の座標（ｉ’，ｊ’）に変換する。その後（ｉ’，ｊ’）をそれぞれｒ倍して高解像度画像領域上の点Ｚ_ｙに移す。Ｚ_ｙの近傍領域に含まれる点Ｘに関してＨ_Ｂにより重みを算出して、Ｓ（Ｘ）に加算する。このようにして、各フレームの背景領域に含まれるすべての点を用いて高解像度画像上の点Ｘに関する重みを算出してＳ（Ｘ）に加算していく。

次に初期高解像度画像を算出する（Ｓ５５）。初期高解像度画像上の点Ｘの輝度値（画素値）Ｆ（Ｘ）は、低解像度画像上の点ｙの輝度値をｆ（ｙ）、正規化のための定数をｃとすると、Ｆ（Ｘ）＝Σ（ｆ（ｙ）×（Ｈ_Ｂ（Ｘ−Ｚ_ｙ））^２／ｃＳ（Ｘ））となる。この演算式により、初期高解像度画像を生成する。

次にＳ５５で生成された高解像度画像から低解像度画像フレーム列を推定する。シミュレーションによる低解像度画像フレーム列の算出は次式により行われる。ＰＳＦをＨ_Ｐ、反復演算の回数ｎとすると、ｎ＋１回目の反復演算中のｋ番目の低解像度フレーム
ｆ_ｋ ^（ｎ）は、ｆ_ｋ ^（ｎ）（ｙ）＝ΣＦ^（ｎ）（Ｘ）Ｈ_Ｐ（Ｘ−Ｚ_ｙ）となる。

Ｓ５５、Ｓ５６の処理の概念図を図１２に示す。図１２（ａ）、（ｂ）に示すように、移動領域が除外された背景領域（図の網掛け部分）の低解像度画像フレームをすべて基準フレーム上に写像して拡大処理を行い、バックプロジェクション法を用いて高解像度画像の画素値を算出する。他方、図１２（ｂ）のように、１枚の初期高解像画像が構成された後は、この高解像度画像を点拡がり関数を用いてダウンサンプリングして、図１２（ｃ）のようなシミュレーション低解像度画像１〜Ｎを得る。

このダウンサンプリングにより得られた低解像度画像フレーム列と観測された（撮影された）低解像度画像フレーム列との差（誤差）をとり、バックプロジェクション関数Ｈ_Ｂにより重み付けして、高解像度画像上での誤差値を算出する（Ｓ５７）。

高解像度画像上の点Ｘにおける誤差ｅ（Ｘ）は、
ｅ（Ｘ）＝Σ（（ｆ_ｋ（ｙ）−ｆ_ｋ ^（ｎ）（ｙ））×（Ｈ_Ｂ（Ｘ−Ｚ_ｙ））^２／ｃＳ（Ｘ））
となる。図１２で説明すると、図１２（ａ）の低解像度画像１〜Ｎと図１２（ｃ）のシミュレーション低解像度画像１〜Ｎとの各対応するフレーム毎に誤差ｅを算出することに相当する。

高解像度画像上の点Ｘにおける誤差の和Ｅ＝Σ（ｅ（Ｘ））を求め、これを一旦、誤差の最小値Eminとして取り扱い（Ｓ６０）、誤差を高解像度画像上へ逆投影する（Ｓ６１）。誤差の高解像度画像上への逆投影は、反復演算の回数ｎ＝１のときは、上記誤差ｅ（Ｘ）を初期高解像度画像に加算することにより行われる。

次に、誤差が加算された高解像度画像から再びシミュレーション低解像度画像列を生成し（Ｓ５６）、前記同様、観測により得られた低解像度画像列との差（誤差）をとり（Ｓ５７）、高解像度画像上での誤差の総和Ｅを算出する（Ｓ５７）。この誤差の総和ＥがEminと比較して小さい場合は（Ｓ５９ YES）、このときの誤差の総和ＥをEminとする。そして誤差を高解像度画像上へ逆投影する（Ｓ６１）。

誤差の高解像度画像上への逆投影は、誤差ｅ（Ｘ）を一つ前に再構成された高解像度画像に加算することにより行われる。誤差ｅ（Ｘ）を高解像度画像上への逆投影するｎ回目の反復処理は、
Ｆ^（ｎ）（Ｘ）＝Ｆ^{（ｎ−１）}（Ｘ）＋ｅ（Ｘ） となる。

誤差の総和ＥがEmin以上となるまで（Ｓ５９ NO）、つまり誤差の総和Ｅが最小になるまで、Ｓ５６〜Ｓ６１までを繰り返す。誤差の総和Ｅが最小になったとき、Ｆ^{（ｎ―１）}を超解像度画像として処理を終了する。

画像統合部１０では、補間処理部８で再構成された高解像度画像と超解像処理部９で再構成された超解像度画像とを統合して１枚の高解像度画像として構成して出力する。以上のように、特徴点を用いて移動領域を抽出することで、従来と比較して演算の対象となる画素数を大幅に減らし、また、超解像処理に用いるデータは、背景領域に限定しているので、移動領域に関してピクセル単位の動きベクトル算出を行う必要がなく、高解像度化処理全体の時間を大幅に短縮することができる。

上述の実施例では、複数枚の低解像度画像フレームから１枚の高解像度画像を生成することについて説明したが、これを複数枚の低解像度画像フレームから複数枚の高解像度画像を生成するのに応用することができる。例えば、図１５に示すように、時系列的に撮影されたＮ枚の低解像度画像フレームからなる動画像が得られた場合、所定の枚数毎に１枚の高解像度画像を生成して、連続したＮ枚の高解像度画像からなる動画像を生成することができる。

図１５の例では、低解像度画像１〜Ｎの各々の画像を基準フレームとして３枚の低解像度画像毎にグループ分けしている。低解像度画像１を基準フレームとして低解像度画像１〜３をグループ１、低解像度画像２を基準フレームとして低解像度画像１〜３をグループ２、その後は、低解像度画像３を基準フレームとして低解像度画像２〜４をグループ３、低解像度画像４を基準フレームとして低解像度画像３〜５までをグループ３といったように基準フレームを１枚ずつずらしながら３枚１組のグループを形成するようにし、最後のグループＮ−１、Ｎの２グループは同じ３枚の低解像度画像Ｎ−２、Ｎ−１、Ｎが用いられ、グループ１〜Ｎまでが構成される。そして、各グループの低解像度画像フレーム列に対して、上述した図２〜図７の処理を行えば、Ｎ枚の高解像度画像を生成することができる。

ところで、入力として与えた低解像度画像列の中に基準フレームと同一シーンとみなせない変動フレームが存在する場合には、基準フレームとの類似度に基づいて複数フレームから超解像処理に使用する参照フレームを選別し、変動フレームを取り除いた状態で超解像度画像を生成するようにする。

図１６に、変動フレームを除外して高解像度画像を生成する画像処理装置の構成を示す。図１と同じ構成部分には同じ番号を付しており、これらは図１で説明した動作と同じのものであるので、説明を省略する。図１と異なるのは、特徴点追跡部５の後に参照フレーム選択部１１が追加されている点である。

特徴点追跡部５では、前述したように図２の手順にしたがって特徴点追跡処理が行われる。基準フレームと参照フレームが類似している場合には、特徴点追跡部５で追跡できた特徴点の個数が多くなり、基準フレームと参照フレームが類似していない場合には追跡できた特徴点の個数が少なくなるので、特徴点追跡部５で追跡できた特徴点の個数がある閾値を越えた低解像度画像のみを参照フレームとして選別する。

このように、参照フレーム選択部１１で超解像処理に用いる参照フレームを基準フレームとの類似度に基づいて決定するようにすれば、変動フレームは他のフレームとは撮影状態が異なっているので、基準フレームとは類似せず、除外することができる。

以下、参照フレーム選択部１１を用いた画像処理を説明する。

例えば、処理条件設定部２で参照フレームの枚数を２、基準フレームを低解像度画像１〜Ｎの各々に設定したとすると、基準フレームを中心として前後の時系列的に近い参照フレームから類似度を算出してゆき、類似する参照フレームを２枚選択する。これを各基準フレーム毎、すなわち低解像度画像１〜Ｎ毎に繰り返していく。

例えば、低解像度画像N/2を基準フレームとして参照フレームを２枚選別する場合、基準フレームの前後の参照フレームに変動フレームが存在しない場合には、図１５のようになる。しかし、参照フレーム選択部１１で、低解像度画像N/2+1が基準フレームと類似すると判断され、低解像度画像N/2-1が類似しないと判断された場合、次の前後の低解像度画像N/2-2又は低解像度画像N/2+2が変動フレームかどうかを低解像度画像N/2（基準フレーム）との類似度で判断する。このように基準フレームと類似する参照フレームが見つかるまで基準フレームの前後方向に探していく。また、探索するフレームの範囲に関してはあらかじめ設定しておく。基準フレームと類似する参照フレームが２枚見つかった時点、もしくは探索するフレームの範囲を越えた時点で探索を終了する。仮に低解像度画像N/2-2が基準フレームと類似していたとすれば、グループＮ／２は、低解像度画像N/2-2、低解像度画像N/2〜N/2+1の３枚で構成されることになる。

このように、参照フレーム選択部１１によって基準フレームと類似する参照フレームを所定の枚数だけ検出する処理をグループ１〜Ｎまでのすべてのグループについて行う。

次に、各グループの低解像度画像フレーム列に対して、上述した図２〜図６の処理を行う。例えば、グループ１については、特徴点の追跡処理、多角形分割処理等を経て、移動物体に関する移動領域と背景領域とに分離し、移動領域に関しては、基準フレーム上の移動領域のデータのみを用いて拡大、補間処理して１枚の高解像度画像を生成するか又は基準フレームと基準フレームの時間的近傍の参照フレームを用いて超解像処理を行って１枚の超解像度画像を生成するようにし、背景領域については３枚の低解像度画像フレームを用いて超解像処理を行って１枚の超解像度画像を生成し、これら２つの画像が統合されて１枚の高解像度画像を得る。このような処理をグループＮまで繰り返せば、図１５のように連続する高解像度画像１〜Ｎからなる動画像を得ることができる。

以上のように参照フレーム選択処理を行えば、超解像処理において変動フレームによるノイズを除去することができる。

本発明の画像処理装置の構成を示すブロック図である。 特徴点追跡処理を示すフローチャート図である。 多角形分割処理を示すフローチャート図である。 画像領域の分離処理を示すフローチャート図である。 補間処理を示すフローチャート図である。 超解像処理を示すフローチャート図である。 低解像度画像フレーム列の一例を示す図である。 図７の低解像度画像フレーム列に特徴点追跡処理を行う様子を示す図である。 図８の特徴点を用いて多角形分割する様子を示す図である。 移動領域の高解像度化の概念を示す図である。 低解像度画像フレームの各画素を基準フレーム上に写像した様子を示す図である。 超解像処理の概念を示す図である。 バックプロジェクションカーネルの台の概念を示す図である。 点拡がり関数の台の概念を示す図である。 複数枚の低解像度画像フレームから動画像を生成する過程を示す図である。 変動フレームを除去する画像処理装置の構成を示すブロック図である。

符号の説明

１ 画像データ入力部
２ 処理条件設定部
３ 記憶部
４ 基準フレーム選択部
５ 特徴点追跡部
６ 多角形分割部
７ 画像領域分離部
８ 補間処理部
９ 超解像処理部
１０ 画像統合部
１１ 参照フレーム選択部

Claims (18)

1. 複数枚の画像を参照して精細な画像に高解像度化する画像処理装置であって、
   同一シーンを撮影して時系列で得られる低解像度画像列を入力する画像データ入力部と、
   前記低解像度画像列から高解像度化の基準となる画像を基準フレームとして選択し、基準フレーム以外の低解像度画像を参照フレームとする基準フレーム選択部と、
   前記基準フレームと参照フレームを移動物体を含む移動領域と前記移動領域を除外した背景領域とに分離する画像領域分離部とを備え、
   前記画像領域分離部で分離された移動領域と背景領域を各々高解像度化する際に、前記移動領域については前記基準フレーム又は基準フレームと基準フレーム時間的近傍の参照フレームを用いて高解像度化することを特徴とする画像処理装置。
2. 請求項１記載の画像処理装置において、前記基準フレーム中の画素から所定個数の特徴点を抽出し、この抽出された特徴点を全ての参照フレームに渡って追跡した軌跡を生成する特徴点追跡部を備え、前記画像領域分離部は、前記特徴点追跡部により生成された軌跡に基づいて移動領域と背景領域に分離することを特徴とする画像処理装置。
3. 請求項２記載の画像処理装置において、前記特徴点追跡部で追跡された特徴点を頂点とする多角形領域に前記基準フレームと参照フレームを分割する多角形分割部を備え、前記画像領域分離部は、前記多角形分割部で分割された多角形領域を移動領域と背景領域とに分離することを特徴とする画像処理装置。
4. 請求項１〜請求項３の何れか１項に記載の画像処理装置において、前記基準フレームと参照フレームから１枚の高解像度画像を再構成する超解像処理部と、基準フレームを空間補間することで高解像度化する補間処理部とを備えたことを特徴とする画像処理装置。
5. 請求項４記載の画像処理装置において、前記移動領域については前記補間処理部又は超解像処理部によって高解像度化し、前記背景領域については前記基準フレームと参照フレーム全てを用いて前記超解像処理部により高解像度化し、これらの画像を統合することを特徴とする画像処理装置。
6. 請求項１〜請求項５の何れか１項に記載の画像処理装置において、前記画像データ入力部には、時系列で得られる低解像度画像列からなる動画像が入力されるものであって、前記基準フレーム選択部で選択された基準フレームとの類似度に基づいて全ての参照フレームから高解像度化に用いる一部の参照フレームを選択する参照フレーム選択部を備えたことを特徴とする画像処理装置。
7. 複数枚の画像を参照して精細な画像に高解像度化する画像処理方法であって、
   同一シーンを撮影して時系列で得られる低解像度画像列を入力する画像データ入力ステップと、
   前記低解像度画像列から高解像度化の基準となる画像を基準フレームとして選択し、基準フレーム以外の低解像度画像を参照フレームとする基準フレーム選択ステップと、
   前記基準フレームと参照フレームを移動物体を含む移動領域と前記移動領域を除外した背景領域とに分離する画像領域分離ステップとを備え、
   前記画像領域分離部で分離された移動領域と背景領域を各々高解像度化する際に、前記移動領域については前記基準フレーム又は基準フレームと基準フレーム時間的近傍の参照フレームを用いて高解像度化することを特徴とする画像処理方法。
8. 請求項７記載の画像処理方法において、前記基準フレーム中の画素から所定個数の特徴点を抽出し、この抽出された特徴点を全ての参照フレームに渡って追跡した軌跡を生成する特徴点追跡ステップを備え、前記画像領域分離ステップでは、前記特徴点追跡ステップにより生成された軌跡に基づいて移動領域と背景領域に分離することを特徴とする画像処理方法。
9. 請求項８記載の画像処理方法において、前記特徴点追跡ステップで追跡された特徴点を頂点とする多角形領域に前記基準フレームと参照フレームを分割する多角形分割ステップを備え、前記画像領域分離ステップは、前記多角形分割ステップで分割された多角形領域を移動領域と背景領域とに分離することを特徴とする画像処理方法。
10. 請求項７〜請求項９の何れか１項に記載の画像処理方法において、高解像度化方法として、基準フレームと参照フレームから１枚の高解像度画像を再構成する超解像処理ステップと、基準フレームを空間補間することで高解像度化する補間処理ステップとを備えたことを特徴とする画像処理方法。
11. 請求項１０記載の画像処理方法において、前記移動領域については前記補間処理ステップ又は超解像処理ステップによって高解像度化し、前記背景領域については前記基準フレームと参照フレーム全てを用いて前記超解像処理ステップにより高解像度化した後、これらの画像を統合することを特徴とする画像処理方法。
12. 請求項７〜請求項１１の何れか１項に記載の画像処理方法において、前記画像データ入力ステップは、時系列で得られる低解像度画像列からなる動画像が入力されるステップであって、前記基準フレーム選択ステップで選択された基準フレームとの類似度に基づいて全ての参照フレームから高解像度化に用いる一部の参照フレームを選択する参照フレーム選択ステップを備えたことを特徴とする画像処理方法。
13. 複数枚の画像を参照して精細な画像に高解像度化するためにコンピュータを、
    同一シーンを撮影して時系列で得られる低解像度画像列を入力する画像データ入力手段と、
    前記低解像度画像列から高解像度化の基準となる画像を基準フレームとして選択し、基準フレーム以外の低解像度画像を参照フレームとする基準フレーム選択手段と、
    前記基準フレームと参照フレームを移動物体を含む移動領域と前記移動領域を除外した背景領域とに分離する画像領域分離手段と、
    前記画像領域分離手段で分離された移動領域と背景領域を各々高解像度化する際に、前記移動領域については前記基準フレーム又は基準フレームと基準フレーム時間的近傍の参照フレームを用いて高解像度化する高解像度化手段として機能させることを特徴とする画像処理プログラム。
14. 請求項１３記載の画像処理プログラムにおいて、コンピュータを、前記基準フレーム中の画素から所定個数の特徴点を抽出し、この抽出された特徴点を全ての参照フレームに渡って追跡した軌跡を生成する特徴点追跡手段としても機能させ、前記画像領域分離手段は、前記特徴点追跡手段により生成された軌跡に基づいて移動領域と背景領域に分離するように機能させることを特徴とする画像処理プログラム。
15. 請求項１４記載の画像処理プログラムにおいて、コンピュータを、前記特徴点追跡手段で追跡された特徴点を頂点とする多角形領域に前記基準フレームと参照フレームを分割する多角形分割手段としても機能させ、前記画像領域分離手段は、前記多角形分割手段で分割された多角形領域を移動領域と背景領域とに分離するように機能させることを特徴とする画像処理プログラム。
16. 請求項１３〜請求項１５の何れか１項に記載の画像処理プログラムにおいて、前記高解像度化手段は、前記基準フレームと参照フレームから１枚の高解像度画像を再構成する超解像処理手段と、
    前記基準フレームを空間補間することで高解像度化する補間処理手段とを有することを特徴とする画像処理プログラム。
17. 請求項１６記載の画像処理プログラムにおいて、コンピュータを、前記補間処理手段又は超解像処理手段によって高解像度化された前記移動領域と、前記基準フレームと参照フレーム全てを用いて前記超解像処理手段により高解像度化された前記背景領域とを統合する画像統合手段としても機能させることを特徴とする画像処理プログラム。
18. 請求項１３〜請求項１７の何れか１項に記載の画像処理プログラムにおいて、前記画像データ入力手段は、時系列で得られる低解像度画像列からなる動画像が入力されるものであって、コンピュータを、前記基準フレーム選択手段で選択された基準フレームとの類似度に基づいて全ての参照フレームから高解像度化に用いる一部の参照フレームを選択する参照フレーム選択手段としても機能させることを特徴とする画像処理プログラム。
    

Images