JP2009130747A - 高解像度化処理装置 - Google Patents

Abstract

【課題】計算量を削減した画像信号を高解像度化するための高解像度化処理装置を提供することを目的とする。
【解決手段】基準となる入力画像フレームの画像データの近傍に補間ローパスフィルタを適用する補間ローパスフィルタ手段４０２と、サンプリング位相差（１０２、１０３）の情報を用いて，広帯域補間手段１１２および加重加算手段１１３および係数決定手段１０６により高解像度化を行う場合と、補間ローパスフィルタ手段４０２により高解像度化を行う場合とに処理の流れを選択する高解像度化処理選択手段４０１とを備えることにより上記課題を解決する。
【選択図】図１

Description

本発明は、高解像度化処理装置に関し、特に、高解像度化処理の計算量を削減する高解像度化処理装置に関する。

最近のテレビ受像機は大画面化が進んでおり，放送や通信，蓄積媒体などから入力された画像信号をそのまま表示するのではなく，デジタル信号処理によって水平・垂直方向の画素数を増やして表示することが一般的に行われている。この際，一般的に知られているｓｉｎｃ関数を用いた補間ローパスフィルタやスプライン関数等によって画素数を増やすだけでは解像度を上げることはできない。

そこで，特許文献１，特許文献２，非特許文献１に記載されているように，入力された複数の画像フレーム（以下，フレームと略記）を合成して１枚のフレームとすることにより，高解像度化しながら画素数を増やす技術（以下，従来技術）が提案されている。
特開平８−３３６０４６号公報 特開平９−６９７５５号公報 青木伸 "複数のデジタル画像データによる超解像処理",RicohTechnical Report pp.19-25, No.24, NOVEMBER,1998 安藤繁："画像の時空間微分算法を用いた速度ベクトル分布計測システム"，計測自動制御学会論文集，pp.1330-1336,Vol.22, No.12，1986

これらの従来技術では，図８のように（１）位置推定部（１１１），（２）広帯域補間部（１１２），（３）加重加算部（１１３）の３つの処理により高解像度化を行う。ここで，（１）位置推定部（１１１）は，入力された複数の画像フレームの各画像データを用いて，各画像データのサンプリング位相（標本化位置）の差を推定するものである。非特許文献２に記載されているような数多くの方法が提案されており，これらをそのまま用いて実現することできる。（２）広帯域補間部（１１２）は，各画像データを折返し成分も含め，原信号の高周波成分をすべて透過する帯域の広いローパスフィルタを用いて画素数（サンプリング点）を補間して増やし，画像データを高密度化するものである。非特許文献１に記載されているように，ナイキスト周波数の２倍の通過帯域を持つ一般的なローパスフィルタを用いることで実現できる。（３）加重加算部（１１３）は，各高密度化データのサンプリング位相に応じた重み係数により加重加算をとることによって，画素サンプリングの際に生じた折返し成分を打ち消して除去するとともに，同時に原信号の高周波成分を復元するものである。

図９に，これらの高解像度化技術の概要を示す。同図（ａ）に示すように，異なる時間軸上のフレーム＃１（２０１），フレーム＃２（２０２），フレーム＃３（２０３）が入力され，これらを合成して出力フレーム（２０６）を得ることを想定する。簡単のため，まず被写体が水平方向に移動（２０４）した場合を考え，水平線（２０５）の上の１次元の信号処理によって高解像度化することを考える。このとき，同図（ｂ）と同図（ｄ）に示すように，フレーム＃２（２０２）とフレーム＃１（２０１）では，被写体の移動（２０４）の量に応じて信号波形の位置ずれが生じる。上記（１）位置推定部（１１１）によってこの位置ずれ量を求め，同図（ｃ）に示すように，位置ずれが無くなるようにフレーム＃２（２０２）を動き補償（２０７）するとともに，各フレームの画素（２０８）のサンプリング位相（２０９）（２１０）の間の位相差θ（２１１）を求める。この位相差θ（２１１）に基づき，上記（２）広帯域補間部（１１２）および（３）加重加算部（１１３）を行うことにより，同図（ｅ）に示すように，元の画素（２０８）のちょうど中間（位相差θ＝π）の位置に新規画素（２１２）を生成することにより，高解像度化を実現する。

なお，実際には被写体の動きが平行移動だけでなく，回転や拡大・縮小などの動きを伴うことも考えられるが，フレーム間の時間間隔が微小な場合や被写体の動きが遅い場合には，これらの動きも局所的な平行移動に近似して考えることができる。

（３）加重加算部（１１３）について，以下に詳しく説明する。特許文献１、特許文献２、非特許文献１に記載の従来技術によって１次元方向の２倍の高解像度化を行う場合，上記（３）の加重加算を行う際に，図１０に示すように，少なくとも３枚のフレーム画像の信号を用いる必要があった。ここで，図１０は，１次元の周波数領域で，各成分の周波数スペクトルを示した図である。同図において，周波数軸からの距離が信号強度を表し，周波数軸を中心とした回転角が位相を表す。

上記（２）の広帯域補間部（１１２）にて，ナイキスト周波数の２倍の帯域（周波数０〜サンプリング周波数ｆｓまでの帯域）を透過する広帯域ローパスフィルタによって画素補間すると，原信号と同じ成分（以下，原成分）と，サンプリング位相に応じた折返し成分の和が得られる。このとき，３枚のフレーム画像の信号に対して上記（２）広帯域補間の処理を行うと，図１０（ａ）に示すように，各フレームの原成分（３０１）（３０２）（３０３）の位相はすべて一致し，折返し成分（３０４）（３０５）（３０６）の位相は各フレームのサンプリング位相の差に応じて回転することがよく知られている。それぞれの位相関係をわかりやすくするために，各フレームの原成分の位相関係を同図（ｂ）に示し，各フレームの折返し成分の位相関係を同図（ｃ）に示す。

ここで，３枚のフレーム画像の信号に対して，乗算する係数を適切に選択して上記（３）加重加算を行うことにより，各フレームの折返し成分（３０４）（３０５）（３０６）を互いに打ち消して除去することができ，原成分だけを抽出できる。このとき，各フレームの折返し成分（３０４）（３０５）（３０６）のベクトル和を０にする，すなわち，Ｒｅ軸（実軸）の成分とＩｍ軸（虚軸）の成分を両方ともに０とするためには，少なくとも３つの折返し成分が必要となる。つまり，１次元方向の２倍の高解像度化を実現するために，すなわち１個の折返し成分を除去するために，少なくとも３枚のフレーム画像の信号を用いる必要がある。

従って上記従来技術は，信号処理の計算量が大きくなって経済的でない。また，サンプリング位相（標本化位置）の差を用いて高解像度化処理を行っているため，サンプリング位相に差が生じない信号，すなわち，被写体が静止している領域や，被写体の動きがちょうど画素間隔の整数倍になる領域では，高解像度化の効果が得られないという問題があった。

本発明は，上記従来技術の課題に鑑みて為されたものであって，その目的は，計算量を削減した画像信号を高解像度化するための高解像度化処理装置を提供することにある。

上記目的を達成するため、本発明の高解像度化処理装置は、ｎ枚(ｎは３以上の整数)の画像フレームを入力し，基準となる入力画像フレーム上の画像データと他の入力画像フレーム上の対応する各画像データを用いてサンプリング位相差を推定する位置推定手段と、前記サンプリング位相差の情報を用いて各入力画像フレームの画像データを動き補償するとともに画素数を増やして高密度化する広帯域補間手段と、前記サンプリング位相差の情報を用いて係数を決定する係数決定手段と、前記広帯域補間後の各画像データに前記係数を乗じて加重加算することにより折返し成分を除去する加重加算手段と、前記基準となる入力画像フレームの画像データの近傍に補間ローパスフィルタを適用する補間ローパスフィルタ手段と、前記サンプリング位相差の情報を用いて，前記広帯域補間手段および前記加重加算手段および前記係数決定手段により高解像度化を行う場合と、前記補間ローパスフィルタ手段により高解像度化を行う場合とに処理の流れを選択する高解像度化処理選択手段とを備えたことを特徴とする。さらに、本発明の高解像度化処理装置は、前記高解像度化処理選択手段では、前記サンプリング位相差が整数画素の場合、前記補間ローパスフィルタ手段により高解像度化を行う処理を選択するものである。

本発明によれば、高解像度化処理装置において、高解像度化処理の計算量を削減することができる。

本発明を実施するための最良の形態を説明する。

図７は、本発明の高解像化処理装置を映像再生装置に適用した場合の一実施形態を示す構成図である。本実施例に係る映像再生装置は，例えばテレビジョン受像機やＨＤＤレコーダ等の画像表示装置に適用される。図７において，本実施例に係る映像再生装置は，符号化された画像データを受け取ると，復号処理（１００１）が画像フレームデータに復号する。画像フレームデータ保存部（１００２）は復号処理（１００１）により復号された画像フレームデータを受け取ると，これを保存する。高解像度化処理（１００４）は復号処理（１００１）により復号された画像フレームデータと，画像フレームデータ保存部（１００２）に保存された複数の画像フレームデータ（１００３）を用いて，高解像化した画像フレームデータを生成する。以下，高解像度化処理（装置）（１００４）の詳細について説明する。

図１は、本発明の高解像化処理装置の一実施形態を示す構成図である。高解像度化処理では，処理対象の画素毎に下記のような処理を行い，例えば、対象画素のちょうど中間（位相差θ＝π）の位置に新規画素を生成して，１次元方向の２倍の高解像度化行う。

同図において，まず位置推定（１０１）により，入力されたフレーム＃１上の処理対象の画素のサンプリング位相（標本化位置）を基準として，フレーム＃２上の対応する画素の位置を推定し，サンプリング位相差θａ（１０２）を求める。同じように，位置推定部（１０１）により，入力されたフレーム＃１上の処理対象の画素のサンプリング位相（標本化位置）を基準として，フレーム＃３上の対応する画素の位置を推定し，サンプリング位相差θｂ（１０３）を求める。

次に，広帯域補間部（１１２）の画素補間（１０４）により，フレーム＃１の処理対象の画素について，フレーム＃１の画素数を２倍に増して高密度化するよう補間処理を行う。さらに，画素補間（１０５）により，位相差θａ（１０２）の情報を用いて，フレーム＃１の処理対象の画素に対応するフレーム＃２上の画素について，フレーム＃２の画素数を２倍に増して高密度化するよう補間処理を行う。同じように，画素補間（１０５）により，位相差θｂ（１０３）の情報を用いて，フレーム＃１の処理対象の画素に対応するフレーム＃３上の画素について，フレーム＃３の画素数を２倍に増して高密度化するよう画素補間を行う。

加重加算部（１１３）では，画素補間（１０４）（１０５）の各出力信号に対して，係数決定器（１０６）にて位相差θａ（１０２）およびθｂ（１０３）をもとに生成した係数Ｃ１，Ｃ２，Ｃ３を乗算器（１０７）（１０８）（１０９）にてそれぞれ乗算し，加算器（１１０）にてこれらの信号を加算して，フレーム＃１の対象画素のちょうど中間（位相差θ＝π）の位置に新規画素を生成する。なお，位置推定（１０１）は，前述の従来技術を用いて実現することができる。

図２に、画素補間（１０４）（１０５）の動作を示す。図２は、「周波数−利得」特性の例を示す図である。同図において，横軸は周波数を，縦軸は利得（入力信号振幅に対する出力信号振幅の比の値）を表し，画素補間（１０４）（１０５）の「周波数−利得」特性を示している。ここで，画素補間（１０４）（１０５）では，もとの信号のサンプリング周波数（ｆｓ）に対して２倍の周波数（２ｆｓ）を新しいサンプリング周波数とし，もとの画素間隔のちょうど中間の位置に新しい画素のサンリング点（＝ゼロ点）を挿入することによって画素数を２倍にして高密度化するとともに，−ｆｓ〜＋ｆｓの間の周波数をすべて利得２．０の通過帯域とするフィルタをかける。このとき，同図に示すように，デジタル信号の対称性により，２ｆｓの整数倍の周波数ごとに繰り返す特性となる。

図３に，本発明における、画素補間（１０４）（１０５）の具体例を示す。同図は，図２に示した周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき，各タップ係数Ｃｋ（ただし，ｋは整数）は一般的に知られているｓｉｎｃ関数となり，位相差θを考慮して，Ｃｋ＝２ｓｉｎ（πｋ＋θ）／（πｋ＋θ）とすればよい。なお，画素補間（１０４）では，位相差θを０とおき，Ｃｋ＝２ｓｉｎ（πｋ）／（πｋ）とすればよい。また，位相差θを，整数画素単位（２π）の位相差＋小数画素単位の位相差で表すことにより，整数画素単位の位相差の補償については単純な画素シフトにより実現し，小数画素単位の位相差の補償については上記画素補間（１０４）（１０５）のフィルタを用いてもよい。

なお，画素補間（１０４）（１０５）は，理想的な特性を得るためには無限大のタップ数を必要とするが，タップ数を有限個で打ち切って簡略化しても実用上問題ない。このとき，一般的な窓関数（例えばハニング窓関数やハミング窓関数など）を用いてもよい。

図４に、本発明における、係数決定（１０６）の動作と具体例を示す。同図（ｃ）に示すように，同図（ａ）（ｂ）に示した３つの原成分のベクトル和を取ったときに，Ｒｅ軸の成分を１とし，Ｉｍ軸の成分を０とするとともに，３つの折り返し成分のベクトル和を取ったときに，Ｒｅ軸とＩｍ軸の両方の成分を０とするように，各成分に乗算する係数を決定すれば，１次元方向の２倍の高解像度化行う画像信号処理装置を実現できる。図１に示すように，画素補間（１０４）の出力に対する係数をＣ１，画素補間（１０５）の出力に対する係数をＣ２，Ｃ３として図４（ｃ）の条件を満たすようにすると，図４（ｄ）に示す連立方程式を得ることができ，これを解くことで係数値Ｃ１，Ｃ２，Ｃ３を導くことができる。係数決定（１０６）は，このようにして得た係数Ｃ１，Ｃ２，Ｃ３を出力すればよい。そして、加重加算部（１１３）において、広帯域補間後の各画像データにこの係数を乗じて加重加算することにより折返し成分を除去することができる。

図５に，本発明における、高解像度処理選択（４０１）の具体例を示すフローチャートである。高解像度処理選択（４０１）は，上記位置推定（１０１）から取得した位相差θａ（１０３）が整数画素の場合，つまり，θａ＝２ｋπ（ただし，ｋ＝０，１，２，…）の場合，フレーム＃１の対象画素に対して補間ローパスフィルタ（４０２）を適用し，これを出力する。また，上記位置推定（１０２）から取得した位相差θｂ（１０４）が整数画素の場合も同様に，フレーム＃１の対象画素に対して補間ローパスフィルタ（４０２）を適用し，出力する。それ以外の場合は，上記広帯域補間部（１１２）および加重加算部（１１３）の処理を経て高解像度化される。

図６に，本発明の、補間ローパスフィルタ（４０２）の具体例を示す。同図は，もとのサンプリング周波数ｆｓの１／２をカットオフ周波数とする周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき，各タップ係数Ｃｋ（ただし，ｋは整数）は一般的なｓｉｎｃ関数となり，Ｃｋ＝ｓｉｎ（πｋ／２）／（πｋ／２）とすればよい。

すなわち、本発明は、位置推定（１０１、１０２）から取得した位相差θａ、θｂ（１０３、１０４）が整数画素の場合は、補間ローパスフィルタ（４０２）により高解像度化処理されることとなる。このことにより、もともと、広帯域補間部（１１２）及び加重加算部（１１３）の処理による高解像度化の効果が得られない（もしくは得られにくい）という整数画素の場合は、補間ローパスフィルタ（４０２）により高解像度化処理されるため、計算量が削減されることとなる。

なお、上記位相差の２ｋπは、広帯域補間部（１１２）及び加重加算部（１１３）の処理による高解像度化処理による効果を考慮した、ほぼ２ｋπであることも含まれる。すなわち、広帯域補間部（１１２）及び加重加算部（１１３）の処理による高解像度化処理による効果が期待されない２ｋπの前後の範囲を設定しておくことも可能である。

以上の実施例の説明においては，１次元方向の２倍の高解像度化を例に挙げて説明したが，本発明の各実施の態様は，これに限定されるわけではなく，１次元方向、２次元方向にかかわらずｎ倍の高解像度化に適用することが可能である。

また、以上の実施例の説明においては，１次元方向に対して３つのフレームによる高解像度化の例を挙げて説明したが、本発明の各実施の態様は，これに限定されるわけではなく，３つのフレームによる出力を１つのフレームとしさらに、別のフレームを加えて本発明の処理を行う場合も適用できる。この場合も、位置推定から取得したいずれかの位相差が２ｋπ（整数画素）である場合は、補間ローパスフィルタ（４０２）を適用し，出力する。さらに、２次元の場合は、各次元ごとに、それぞれ、位置推定から取得したいずれかの位相差が２ｋπである場合は、補間ローパスフィルタ（４０２）を適用し，出力可能である。すなわちＸ，ＹであるならＸ方向で図５の処理を、また、Ｙ方向で図５の処理をそれぞれ行っていくようにすることが可能となる。

本発明の高解像化処理装置の一実施形態を示す構成図である。 「周波数−利得」特性の例を示す図である。 本発明における、画素補間の例を示す図である。 本発明における、係数決定の例を示す図である。 本発明における、高解像度処理選択の例を示すフローチャートである。 本発明における、補間ローパスフィルタの例を示す図である。 本発明の高解像化処理装置を映像再生装置に適用した場合の一実施形態を示す構成図である。 従来技術である高解像化処理装置の構成図である。 従来技術である高解像化処理の説明図である。 従来技術である高解像化処理における周波数スペクトルの説明図である。

符号の説明

１０１ 位置推定
１０２ 位相差θａ
１０３ 位相差θｂ
１０４ 画素補間
１０５ 画素補間
１０６ 係数決定
１０７ １０８ １０９ 乗算器
１１０ 加算器
１１１ 位置推定部
１１２ 広帯域補間部
１１３ 加重加算部
４０１ 高解像度処理選択
４０２ 補間ローパスフィルタ
１００１ 復号処理
１００２ 画像フレームデータ保存部
１００３ 画像フレームデータ

Claims (2)

1. ｎ枚(ｎは３以上の整数)の画像フレームを入力し，
   基準となる入力画像フレーム上の画像データと他の入力画像フレーム上の対応する各画像データを用いてサンプリング位相差を推定する位置推定手段と、
   前記サンプリング位相差の情報を用いて各入力画像フレームの画像データを動き補償するとともに画素数を増やして高密度化する広帯域補間手段と、
   前記サンプリング位相差の情報を用いて係数を決定する係数決定手段と、
   前記広帯域補間後の各画像データに前記係数を乗じて加重加算することにより折返し成分を除去する加重加算手段と、
   前記基準となる入力画像フレームの画像データの近傍に補間ローパスフィルタを適用する補間ローパスフィルタ手段と、
   前記サンプリング位相差の情報を用いて，前記広帯域補間手段および前記加重加算手段および前記係数決定手段により高解像度化を行う場合と、前記補間ローパスフィルタ手段により高解像度化を行う場合とに処理の流れを選択する高解像度化処理選択手段とを備えたことを特徴とする高解像度化処理装置。
2. 請求項１に記載の高解像度化処理装置において、
   前記高解像度化処理選択手段では、前記サンプリング位相差が整数画素の場合、前記補間ローパスフィルタ手段により高解像度化を行う処理を選択する高解像度化処理装置。

Images