JP2007226656A

JP2007226656A - 画像の高解像度化方法及び装置

Info

Publication number: JP2007226656A
Application number: JP2006048795A
Authority: JP
Inventors: Nobuyuki Matsumoto; 信幸松本; Takashi Ida; 孝井田; Hidenori Takeshima; 秀則竹島; Yasunori Taguchi; 安則田口; Kenzo Isogawa; 賢造五十川
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2006-02-24
Filing date: 2006-02-24
Publication date: 2007-09-06
Anticipated expiration: 2026-02-24
Also published as: JP4714038B2

Abstract

【課題】時系列の入力画像フレームの位置ずれ量に対する推定精度が低い画素がある場合でもアーチファクトの発生を抑えて、鮮鋭な高解像度画像の合成を可能とする。
【解決手段】時系列の入力画像フレーム中の基準フレームと他の画像フレームとの間の相対的な位置ずれ量を算出し、位置ずれ量を用いて基準フレームに対して動き補償を行い、位置ずれ量の信頼度を動き補償がなされた基準フレームと他の画像フレームとの間の画素値の差分の大きさが小さいほど高くなるように推定し、高解像度化された出力画像フレームを得るために、入力画像フレームの各画素を出力画像フレームの画素位置を基準として位置ずれ量に従って再配置した後、出力画像フレームの画素位置との距離が小さく、かつ位置ずれ量の信頼度が高いほど大きい重み係数を用いて再配置後の入力画像フレームの画素値を重み付け加算することにより出力画像フレームの各画素値を決定する。
【選択図】図１

Description

本発明は、複数の低解像度画像から基準となる低解像度画像を拡大処理して高解像度画像を合成する画像の高解像度化方法及び装置に関する。

近年、テレビジョンディスプレイ、コンピュータディスプレイ及びプリンタといった、映像（動画像）や画像（静止画像）の出力機器の画素密度が飛躍的に増加している。このような高解像度の出力機器での映像・画像出力に対応するため、低解像度画像を高解像度化する技術が種々提案されている。

特許文献１には、相対的に位置ずれのある複数フレームの低解像度画像を入力し、低解像度画像の各画素位置の画素値を高解像度画像の画素位置からの位置ずれ量が小さい画素位置の画素値ほど大きな重み係数を用いて重み付け加算することにより、高解像度画像の画素値を決定する技術が開示されている。
特開２００４−５６７８９公報（第２２頁、図７）

特許文献１に記載された技術は、動画像の高解像度化に適用する場合、低解像度画像との間の位置ずれ量算出精度が低い高解像度画像の画素に、不自然な合成領域であるアーチファクトが発生するという問題がある。

本発明は、低解像度画像と高解像度画像との間の位置ずれ量の算出精度が低いことに起因するアーチファクトの発生を抑え、鮮鋭な高解像度画像を合成することができる高解像度化方法及び装置を提供することを目的とする。

上記の課題を解決するため、本発明の第１の態様においては基準フレーム及び他の画像フレームを含む時系列の複数の入力画像フレームを取得するステップと；前記基準フレームと前記他の画像フレームとの間の相対的な位置ずれ量を算出するステップと；前記位置ずれ量を用いて前記基準フレームに対して動き補償を行うステップと；前記位置ずれ量の信頼度を前記動き補償がなされた基準フレームと前記他の画像フレームとの間の画素値の差分の大きさが小さいほど高くなるように推定するステップと；高解像度化された出力画像フレームを得るために、前記入力画像フレームの各画素を前記出力画像フレームの画素位置を基準として前記位置ずれ量に従って再配置するステップと；前記出力画像フレームの画素位置との距離が小さく、かつ前記位置ずれ量の信頼度が高いほど大きい重み係数を用いて、前記再配置がなされた入力画像フレームの画素値を重み付け加算することにより前記出力画像フレームの各画素値を決定するステップと；を具備する画像の高解像度化方法を提供する。

本発明の第２の態様においては、基準フレーム及び他の画像フレームを含む時系列の複数の入力画像フレームを取得するステップと；前記基準フレームと前記他の画像フレームとの間の相対的な位置ずれ量を示す複数の位置ずれ量候補を算出するステップと；前記位置ずれ量候補を用いて前記基準フレームに対して動き補償を行うステップと；前記位置ずれ量候補の信頼度を前記動き補償がなされた基準フレームと前記他の画像フレームとの間の画素値の差分の大きさが小さいほど高くなるように推定するステップと；高解像度化された出力画像フレームを得るために、前記入力画像フレームの各画素を前記出力画像フレームの画素位置を基準として前記位置ずれ量候補に従って再配置するステップと；前記出力画像フレームの画素位置との距離が小さく、かつ前記位置ずれ量候補の信頼度が高いほど大きい重み係数を用いて、前記再配置がなされた入力画像フレームの画素値を重み付け加算することにより前記出力画像フレームの各画素値を決定するステップと；を具備する画像の高解像度化方法を提供する。

本発明の第３の態様によると、基準フレーム及び他の画像フレームを含む時系列の複数の入力画像フレームを取得する画像フレーム取得部と；前記基準フレームと前記他の画像フレームとの間の相対的な位置ずれ量を算出する位置ずれ量算出部と；前記位置ずれ量を用いて前記基準フレームに対して動き補償を行う動き補償部と；前記位置ずれ量の信頼度を前記動き補償がなされた基準フレームと前記他の画像フレームとの間の画素値の差分の大きさが小さいほど高くなるように推定する位置ずれ量信頼度推定部と；高解像度化された出力画像フレームを得るために、前記入力画像フレームの各画素を前記出力画像フレームの画素位置を基準として前記位置ずれ量に従って再配置し、前記出力画像フレームの画素位置との距離が小さく、前記位置ずれ量の信頼度が高いほど大きい重み係数を用いて、前記再配置がなされた入力画像フレームの画素値を重み付け加算することにより前記出力画像フレームの各画素値を決定する高密度化部と；を具備する画像の高解像度化装置を提供する。

本発明の第４の態様によると、基準フレーム及び他の画像フレームを含む時系列の複数の入力画像フレームを取得する画像フレーム取得部と；前記基準フレームと前記他の画像フレームとの間の相対的な位置ずれ量を示す複数の位置ずれ量候補を算出する位置ずれ量候補算出部と；前記位置ずれ量候補を用いて前記基準フレームに対して動き補償を行う動き補償部と；前記位置ずれ量候補の信頼度を前記動き補償がなされた基準フレームと前記他の画像フレームとの間の画素値の差分の大きさが小さいほど高くなるように推定する位置ずれ量候補信頼度推定部と；高解像度化された出力画像フレームを得るために、前記入力画像フレームの各画素を前記出力画像フレームの画素位置を基準として前記位置ずれ量候補に従って再配置し、前記出力画像フレームの画素位置との距離が小さく、前記位置ずれ量候補の信頼度が高いほど大きい重み係数を用いて、前記再配置がなされた入力画像フレームの画素値を重み付け加算することにより前記出力画像フレームの各画素値を決定する高密度化部と；を具備する画像の高解像度化装置を提供する。

本発明のさらに別の態様によると、基準フレーム及び他の画像フレームを含む時系列の複数の入力画像フレームを取得する処理と；前記基準フレームと前記他の画像フレームとの間の相対的な位置ずれ量を算出する処理と；前記位置ずれ量を用いて前記基準フレームに対して動き補償を行う処理と；前記位置ずれ量の信頼度を前記動き補償がなされた基準フレームと前記他の画像フレームとの間の画素値の差分の大きさが小さいほど高くなるように推定する処理と；高解像度化された出力画像フレームを得るために、前記入力画像フレームの各画素を前記出力画像フレームの画素位置を基準として前記位置ずれ量に従って再配置する処理と；前記出力画像フレームの画素位置との距離が小さく、かつ前記位置ずれ量の信頼度が高いほど大きい重み係数を用いて、前記再配置がなされた入力画像フレームの画素値を重み付け加算することにより前記出力画像フレームの各画素値を決定する処理と；を含む画像の高解像度化処理をコンピュータに行わせるためのプログラム、あるいは基準フレーム及び他の画像フレームを含む時系列の複数の入力画像フレームを取得する処理と；前記基準フレームと前記他の画像フレームとの間の相対的な位置ずれ量を示す複数の位置ずれ量候補を算出する処理と；前記位置ずれ量候補を用いて前記基準フレームに対して動き補償を行う処理と；前記位置ずれ量候補の信頼度を前記動き補償がなされた基準フレームと前記他の画像フレームとの間の画素値の差分の大きさが小さいほど高くなるように推定する処理と；高解像度化された出力画像フレームを得るために、前記入力画像フレームの各画素を前記出力画像フレームの画素位置を基準として前記位置ずれ量候補に従って再配置するステップと；前記出力画像フレームの画素位置との距離が小さく、かつ前記位置ずれ量候補の信頼度が高いほど大きい重み係数を用いて、前記再配置がなされた入力画像フレームの画素値を重み付け加算することにより前記出力画像フレームの対象画素の画素値を決定する処理と；を含む画像の高解像度化処理をコンピュータに行わせるためのプログラムを提供する。

本発明においては、低解像度画像である入力画像フレームの画素値を重み付け加算して高解像度画像である出力画像フレームの画素値を決定する際に、入力画像フレーム中の動き補償された基準フレームと他の画像フレームとの画素値の差分の大きさが小さいほど高くなるように位置ずれ量の信頼度を推定し、出力画像フレームの画素位置との距離が小さく、位置ずれ量の信頼度が高いほど大きな重み係数を用いて入力画像フレームの画素値を重み付け加算する。これにより高解像度画像において不自然な合成領域であるアーチファクトの発生を抑え、鮮鋭な高解像度画像を合成することが可能になる。

以下、本発明の好ましい実施形態について説明する。
（第１の実施形態）
図１に示されるように、本発明の第１の実施形態に係る高解像度化装置は画像フレーム取得部１０１、位置ずれ量算出部１０２、基準フレーム動き補償部１０３、位置ずれ量信頼度推定部１０４及び高解像度化部１０５を有する。

画像フレーム取得部１０１は、低解像度画像である時系列の複数の入力画像フレームを取得するデバイスであり、例えば現行テレビコンテンツのＮＴＳＣサイズをデジタル化したＶＧＡサイズ（６４０×４８０画素）の時系列画像データ、パーソナルコンピュータ（ＰＣ）で再生可能な標準解像度（ＳＤ）サイズの画像データ、ＣＣＤ（Charge Coupled Device）撮像素子等を用いたビデオカメラによって撮影された映像データ、あるいはデジタルズーム時の拡大したい映像領域の一部分の映像データを取得する。

画像フレーム取得部１０１により取得される入力画像フレームは、高解像度化の基準に用いられるフレーム（基準フレームという）と他の画像フレームとに分けて扱われる。画像フレーム取得部１０１により取得された入力画像フレーム（基準フレーム及び他の画像フレーム）は位置ずれ量算出部１０２、基準フレーム動き補償部１０３、位置ずれ量信頼度推定部１０４及び高解像度化部１０５に入力される。以下、位置ずれ量算出部１０２、基準フレーム動き補償部１０３、位置ずれ量信頼度推定部１０４及び高解像度化部１０５について説明する。

位置ずれ量算出部１０２は、画像フレーム取得部１０１によって取得された入力画像フレーム中の基準フレームと他の画像フレームとの相対的な位置ずれ量を算出する。より具体的には、基準フレームの画素に対して他の画像フレーム内の各画素の位置がどれだけずれているかを示す位置ずれ量を小数精度、つまりサブピクセル精度で算出する。位置ずれ量算出部１０２により算出された位置ずれ量の情報は、基準フレーム動き補償部１０３及び高解像度化部１０５に与えられる。

基準フレーム動き補償部１０３は、位置ずれ量算出部１０２により算出されたサブピクセル精度の位置ずれ量をもとに、基準フレームについて動き補償を行う。すなわち、基準フレーム動き補償部１０３は基準フレームの各画素値を他の画像フレームの対応する各画素値とほぼ同じとなるように動き補償を行う。この場合、位置ずれ量算出部１０２がサブピクセル精度の位置ずれ量の推定に失敗した部分では、動き補償された基準フレームの画素値と、これに対応する他の画像フレームの画素値との間に大きな差が生じる。

そこで本実施形態においては、位置ずれ量信頼度推定部１０４によって、位置ずれ量算出部１０２により算出された位置ずれ量の信頼度を推定する。具体的には、基準フレーム動き補償部１０３による動き補償された基準フレームと対応する他の画像フレームとの画素値の差分の大きさによって、位置ずれ量算出部１０２により算出された位置ずれ量の信頼度を差分の大きさが小さいほど信頼度が高くなるように推定する。

高解像度化部１０５は、まず画像フレーム取得部１０１によって取得された低解像度画像である入力画像フレームの各画素を高解像度画像である出力画像フレームの画素位置を基準として位置ずれ量算出部１０２により算出された位置ずれ量に基づいて再配置する。この後、出力画像フレームの画素位置との距離が小さいほど、また位置ずれ量信頼度推定部１０４により推定された位置ずれ量信頼度が高いほど大きい重み係数を用いて、入力画像フレームの画素値を重み付け加算することで、出力画像フレームの画素値を決定して高解像度化を行う。

次に、図２、図３（ａ）（ｂ）（ｃ）、図４（ａ）（ｂ）（ｃ）、図５及び図６を用いて第１の実施形態に係る高解像度化装置の詳細な動作について説明する。図２のフローチャートは、図１の高解像度化装置の動作手順を示している。
まず、画像フレーム取得部１０１によって時系列の複数の入力画像フレームを取得する（ステップＳ２０１）。図３（ａ）（ｂ）（ｃ）は、このような複数の入力画像フレームの例を示している。図３（ｂ）に示す第Ｎフレームを高解像度化の基準に用いる基準フレームとし、図３（ａ）に示す第Ｎ−１フレーム及び図３（ｃ）に示す第Ｎ＋１フレームを他の画像フレームとしている。

次に、位置ずれ量算出部１０２によって基準フレームと他の画像フレームとの間の相対的な位置ずれ量を算出する（ステップＳ２０２）。ここでは、１次元の位置ずれ量の算出方法について説明するが、実際は縦と横方向に位置ずれ量を持つ２次元パラメータとして位置ずれ量を算出する。サブピクセル精度での位置ずれ量の算出には、まず画素精度（つまり、整数精度）で基準フレームと他の画像フレームとの間の類似度を算出する。

類似度としては、例えば基準フレームと他の画像フレームの相対応する画素の画素値（輝度値）の差の全画面内での２乗和を用いる。他の画像フレームの位置を基準フレームに対して整数精度でずらしながら類似度を算出し、整数精度の類似度マップを算出する。類似度が最も大きい整数精度の位置ずれ量の周りで、対称な連続関数、例えば放物線を当てはめる。これによりサブピクセル精度での位置ずれ量が、整数精度の離散的な類似度マップに当てはめられた放物線の頂点の位置として算出される。

２次元の位置ずれ量の算出については、縦方向及び横方向に対して各々独立に上記のサブピクセル精度の算出処理を施したり、放物面を当てはめたりすることで、位置ずれ量を算出する。このような位置ずれ算出処理を基準フレームと全ての対象フレーム間で行うことで、基準フレームと対象フレーム間のサブピクセル精度での位置ずれ量を算出することができる。

基準フレームと他の画像フレームとの間の位置ずれ量の算出過程については、以下のように種々変更が可能である。
（ａ）位置ずれ量の算出単位は、画面単位に限らず、ブロック単位や被写体のオブジェクト単位でもよい。全画素が独立に位置ずれ成分を持つデンスオプティカルフローによって位置ずれ量を表現してもよい。

（ｂ）位置ずれ量を縦と横の平行移動パラメータで表す代わりに、画像の回転のパラメータ、拡大／縮小（スケーリング）のパラメータ、あるいは６自由度のアフィンパラメータによって位置ずれ量を表現してもよい。

（ｃ）整数精度の類似度に放物線を当てはめることでサブピクセル精度の位置ずれ量を算出する際、整数精度での類似度として輝度差の２乗和だけでなく、輝度差の絶対値和や正規化相互相関を用いてもよい。

（ｄ）類似度の補間方法は、放物線当てはめだけでなく、等角直線当てはめを用いてもよい。

（ｅ）サブピクセル精度の位置ずれ量の算出には、整数精度での類似度に対称な関数を当てはめて補間する方法に代えて、濃度勾配法、画像自体を補間拡大して類似度を算出する方法、ＦＦＴを利用する方法、あるいは特徴点を抽出する方法など、既存の位置ずれ算出法を用いてもよい。

次に、基準フレーム動き補償部１０３によって、画像フレーム取得部１０１により取得された基準フレームに対して位置ずれ量算出部１０２により算出されたサブピクセル精度の位置ずれ量をもとに動き補償を行う（ステップＳ２０３）。図４（ａ）（ｂ）（ｃ）は、この動き補償の様子を示しており、図４（ｂ）の基準フレームに対して基準フレームの画素値が図４（ａ）及び図４（ｃ）の対象フレームの画素値とほぼ一致するように位置ずれ量に従って動き補償を行う。図４（ｂ）及び（ｃ）から図４（ａ）へ向かう矢印は、動き補償を概念的に示している。動き補償の方法は、双一次内挿法（Bi-linear補間法）、双３次内挿法（Bi-cubic補間法）、あるいは３次畳み込み内挿法（Cubic Convolution補間法）といった一般的な画像補間方法を用いて行う。

この場合、前述したように位置ずれ量算出部１０２がサブピクセル精度の位置ずれ量の算出に失敗した部分では、動き補償された基準フレームの画素値と対応する対象フレームの画素値との間に大きな差が生じる。例えば、パンやチルトといった全画面動きが発生している映像中において、部分的に小さな動きが発生している領域で、このような大きな差が発生する。

そこで、次に位置ずれ量算出部１０２により算出された位置ずれ量の信頼度を位置ずれ量信頼度推定部１０４によって推定する（ステップＳ２０４）。すなわち、基準フレーム動き補償部１０３により動き補償された基準フレームと、対応する対象フレームとの画素値の差分の大きさが小さいほど、位置ずれ量算出部１０２により算出された位置ずれ量の信頼度が高いとする。このような位置ずれ量信頼度は、例えば以下の式によって推定される。

ここで、Ｒ_iはあるｉ番目の画素における信頼度、ｆ_iは基準フレーム以外の他の画像フレームのｉ番目の画素値、ｆ_Base_GMCは基準フレーム動き補償部１０３により動き補償された基準フレームのｉ番目の画素の画素値をそれぞれ表す。式（１）では、画素値の差分の分布を正規分布でモデル化してある。ｋは、この分布の広がりを表すパラメータであり、適当な値を用いる。基準フレームの各画素値も、高解像度化に用いられる。基準フレームに関する位置ずれ量信頼度は、画素値の差分が０であるため、信頼度は１となっている。位置ずれ量信頼度は、動き補償された基準フレームと対応する対象フレームとの画素値の差分が大きくなるほど小さくなるような、他の単調減少関数でモデル化されてもよい。

次に、高解像度化部１０５によって画像フレーム取得部１０１により取得された入力画像フレームについて高解像度化を行い、高解像度画像である出力画像フレームを生成する（ステップＳ１０５）。以下、図５及び図６を用いてステップＳ１０５の高解像度化ステップの処理について説明する。

高解像度化に際しては、まず図５に示すように高解像度画像である出力画像フレームの画素位置を基準として、低解像度画像である入力画像フレーム（第Ｎ−１フレーム、第Ｎフレーム及び第Ｎ＋１フレーム）の画素を位置ずれ量算出部１０２によって算出された位置ずれ量に基づいて再配置する（ステップＳ２０６）。すなわち、第Ｎ−１フレーム、第Ｎフレーム及び第Ｎ＋１フレームの各画素の位置は本来同じであるが、位置ずれ量算出部１０２によって算出された位置ずれ量だけ相対的にずらして各画素の位置を配置し直す。

例えば、高解像度画像が低解像度画像の縦横２倍のサイズである場合、画素密度は低解像度画像の４倍であるから、図５に示されるように高解像度画像を基準とする画素からなる格子は、低解像度画像を基準とする画素からなる格子の４倍の密度になる。この４倍の密度の格子内に、それぞれの低解像度画像である入力画像フレーム（第Ｎ−１フレーム、第Ｎフレーム及び第Ｎ＋１フレーム）の画素をサブピクセル精度の位置ずれ量に基づいて再配置する。

一般的に、低解像度画像の画素は高解像度画像の画素からの距離が一様になるように再配置される方がよいので、まず基準フレームの画素を高解像度画像の画素と画素を結ぶ対角線の交点に配置する。この後、基準フレーム（第Ｎフレーム）からの位置ずれ量に基づいて他の画像フレーム（第Ｎ−１フレーム及び第Ｎ＋１フレーム）の画素を、高解像度画像である出力画像フレームを基準とする画素からなる格子上に再配置する。

次に、図６に示すように高解像度画像である出力画像フレームの各画素位置の画素値ｆ(x, y)を決定する（ステップＳ２０７）。この際、第Ｎ−１フレーム、第Ｎフレーム及び第Ｎ＋１フレームの再配置後の画素位置と出力画像フレームの画素位置との距離が小さいほど、また位置ずれ量信頼度推定部１０４により推定された位置ずれ量信頼度が高いほど大きい重み係数を用いて、入力画像フレームである第Ｎ−１フレーム、第Ｎフレーム及び第Ｎ＋１フレームの画素値ｆ_N-1，ｆ_N及びｆ_N+1（高解像度画像の対象画素の周囲の画素位置の画素値）を重み付け加算することで、画素値ｆ(x, y)を決定する。

例えば、低解像度画像である入力画像フレームの再配置されたｉ番目の画素の高解像度画像である出力画像フレームを基準とした画素位置を(x_i, y_i)とし、位置(x_i, y_i)の画素値をｆ_iとして、高解像度画像である出力画像フレームのある画素の位置を(x, y)とすると、入力画像フレームの画素位置(x_i, y_i)と出力画像フレームの画素位置(x, y)との距離ｄ_iは、次式で表される。

距離ｄ_iが小さいほど大きく重み付けをするには、例えば以下に挙げるような重み係数ｗ_iを用いればよい。

ここで、ｐは距離ｄ_iによる重みを制御するパラメータであり、ｐが大きいほど距離ｄ_iの小さい点の影響を強く受けるようになる。通常、ｐとして１〜１０程度の値を用いる。

高解像度画像である出力画像フレームの位置(x, y)の画素値ｆ(x, y)は、低解像度画像である入力画像フレームのｉ番目の画素値ｆ_i、位置ずれ量信頼度Ｒ_i及び、距離ｄ_iに応じた係数ｗ_iを用いて、例えば次式により算出することができる。

ここで、ｎは高解像度化に用いる低解像度画像（入力画像フレーム）の画素数であり、例えば画素位置(x, y)の近傍に再配置された、低解像度画像の８画素が用いられる。

式（６）においては、右辺の分母及び分子に位置ずれ量信頼度Ｒ_iが加わっている点が特徴的である。すなわち、式（６）においては距離ｄiが小さく、かつ位置ずれ量の信頼度Ｒiが高いほど大きい重み係数ｗ_iＲ_iを用いて再配置後の入力画像フレームの画素値を重み付け加算することによって、出力画像フレームの画素値ｆ(x, y)を決定する。

以上のような高解像度化処理を高解像度画像（出力画像フレーム）の全ての画素に対応して行うことにより、低解像度画像である入力画像フレームを高解像度化、すなわち拡大した出力画像フレームを得ることができる。また、このような高解像度化処理を時間的にずれた複数の入力画像フレームを取得しつつ繰り返し行うことにより、高解像度化された複数の画像フレームからなる高解像度化された動画像を合成することも可能である。

このように第１の実施形態によれば、位置ずれのある複数の低解像度画像である時系列の複数の入力画像フレームについて、高解像度化の基準となる基準フレームと他の画像フレームとのサブピクセル精度での位置ずれ量を算出し、位置ずれ量をもとに基準フレームに対してサブピクセル精度で動き補償を行う。動き補償された基準フレームと他の画像フレームとの画素値の差分の大きさが小さいほど高くなるように、位置ずれ量の信頼度を推定する。入力画像フレームの各画素を高解像度画像の画素位置を基準として位置ずれ量に基づいて再配置した後、高解像度画像である出力画像フレームの画素位置との距離が小さく、位置ずれ量の信頼度が高いほど大きな重み係数を用いて入力画像フレームの画素値を重み付け加算することで、出力画像フレームの各画素値を決定する。このような手順により、高解像度画像の不自然な合成領域であるアーチファクトの発生を抑え、鮮鋭な高解像度画像を合成することが可能になる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態においては、重み付け加算を行う低解像度画像である入力画像フレームの画素範囲を高解像度画像である出力画像フレームの画素位置との距離のみでなく、位置ずれ量の信頼度が高いほど広くすることによって、高解像度画像を更に鮮鋭に合成することを可能としている。

図７は、第２の実施形態に係る高解像度化装置の構成を示しており、図１に示した高解像度化装置に対して重み付け加算範囲決定部１０６が追加されている。重み付け加算範囲決定部１０６の追加に伴い、高解像度化部１０５の機能も若干変更されている。その他の構成要素については、第１の実施形態の図１と同様であるので、図１と同一符号を付して詳細な説明は省略する。

重み付け加算範囲決定部１０６は、まず画像フレーム取得部１０１により取得された入力画像フレーム中の基準フレームと他の画像フレームの各画素を位置ずれ量算出部１０２によって算出された位置ずれ量に基づいて再配置する。再配置の手法は、第１の実施形態において図５を用いて説明した通りであるため、詳細は省略する。

次に、重み付け加算範囲決定部１０６は低解像度画像である入力画像フレームの重み付け加算を行う画素範囲を、高解像度画像である出力画像フレームとの画素との距離が小さく、かつ位置ずれ量信頼度推定部１０４によって算出された位置ずれ量信頼度が高い画素が選択されるように決定する。

高解像度化部１０５は、重み付け加算範囲決定部１０６により決定された入力画像フレームの画素範囲内の画素を対象として、出力画像フレームの画素との距離が小さいほど、また位置ずれ量信頼度推定部１０４により推定された位置ずれ量信頼度が高いほど大きな重み係数を用いて入力画像フレームの各画素値を重み付け加算する。これにより出力画像フレームの画素値を決定し、高解像度化を行う。

次に、図８のフローチャートを用いて第２の実施形態に係る高解像度化装置の動作を説明する。図８のステップＳ３０１，Ｓ３０２，Ｓ３０３及びＳ３０４の入力画像フレーム取得、位置ずれ量算出、基準フレーム動き補償及び位置ずれ量信頼度推定の処理は、第１の実施形態で説明した図２のステップＳ２０１，Ｓ２０２，Ｓ２０３及びＳ２０４の処理と同様であるので、説明を省略する。

ステップＳ３０４で位置ずれ量信頼度が推定されると、重み付け加算範囲決定部１０６によって画像フレーム取得部１０１により取得された入力画像フレーム（基準フレームと他の画像フレーム）の各画素を高解像度画像である出力画像フレームの画素位置を基準として、位置ずれ量算出部１０２により算出された位置ずれ量に基づいて再配置する。

次に、重み付け加算範囲決定部１０６によって、重み付け加算を行う低解像度画像である入力画像フレームの画素範囲を、高解像度画像である出力画像フレームとの画素との距離が小さく、かつ位置ずれ量信頼度推定部１０４によって算出された位置ずれ量信頼度が高い画素が選択されるように決定する（ステップＳ３０５）。例えば、出力画像フレームの画素との距離が小さいほど大きな値となる係数ｗ_iと、位置ずれ量信頼度が高いほど大きな値となる係数Ｒ_iを用いて、ｗ_iとＲ_iとの積である重み係数ｗ_iＲ_iがある閾値以上の入力画像フレームの画素を選択する。

次に、高解像度化部１０５によって、重み付け加算範囲決定部１０６により決定された範囲内の入力画像フレームの画素を対象として、出力画像フレームの画素との距離が小さいほど、また位置ずれ量信頼度推定部１０４により推定された位置ずれ量信頼度が高いほど大きな重み係数を用いて重み付け加算を行うことにより、出力画像フレームの画素値を決定して基準フレームを高解像度化する（ステップＳ３０６）。ステップＳ３０６の処理は、図２中のステップＳ２０７と同様であるため、詳細な説明を省略する。

第１の実施形態では、高解像度画像である出力画像フレームの画素位置(x, y)の近傍８画素内に再配置された、低解像度画像である入力画像フレームの画素を対象として重み付け加算を行っている。これに対し、第２の実施形態では重み付け加算範囲決定部１０６によって決定された範囲内の入力画像フレームの画素を用いて高解像度化を行う。

以上の処理を出力画像フレームの全ての画素に対応して行うことにより、入力画像フレームを高解像度化、すなわち拡大した出力画像フレームを得ることができる。また、このような高解像度化処理を時間的にずれた複数の画像フレームを取得しつつ繰り返し行うことにより、高解像度化された複数の画像フレームからなる高解像度化された動画像を合成することも可能である。

このように第２の実施形態によれば、重み付け加算を行う低解像度画像の画素範囲を高解像度画像との画素位置との距離に加えて位置ずれ量の信頼度が高いほど広くすることによって、高解像度画像の不自然な合成領域であるアーチファクトの発生を抑え、より鮮鋭な高解像度画像を合成することが可能になる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。第３の実施形態においては、複数の位置ずれ量を位置ずれ量候補として算出する。基準フレームを複数の位置ずれ量候補をもとに動き補償し、複数の位置ずれ量候補の信頼度を推定する。そして、位置ずれ量候補に基づく高解像度画像の画素との距離及び位置ずれ量候補の信頼度を用いることによって、高解像度画像を更に鮮鋭に合成することを可能とする。

図９は、本発明の第３の実施形態に係る高解像度化装置を示している。図３に示すように、位置ずれ量算出部１０２が位置ずれ量候補算出部２０２に置き換えられ、位置ずれ信頼度推定部１０４が位置ずれ量候補信頼度推定部２０４に置き換えられている。これに伴い、基準フレーム動き補償部２０３及び高解像度化部２０５の機能が以下のように変更されている。

位置ずれ量候補算出部２０２は、まず画像フレーム取得部１０１により取得された入力画像フレーム中の基準フレームを基準として他の画像フレーム内の各画素がどれだけ位置ずれしているかを小数精度（サブピクセル精度）で算出する。次に、位置ずれ量候補算出部２０２は類似度が最大になる位置ずれ量に加えて、類似度最大の位置ずれ量の周りの位置ずれ量、類似度が極大になる位置ずれ量、といった複数の位置ずれ量を位置ずれ量候補として算出する。

基準フレーム動き補償部２０３は、位置ずれ量候補算出部２０２により算出されたサブピクセル精度の位置ずれ量候補をもとに基準フレームの動き補償を行う。

位置ずれ量候補信頼度推定部２０４は、位置ずれ量候補算出部２０２により算出された位置ずれ量候補の信頼度を推定する。具体的には、基準フレーム動き補償部２０３によって動き補償された基準フレームと対応する他の画像フレームとの画素値の差分の大きさが小さいほど位置ずれ量候補の信頼度は高いと推定する。

高解像度化部２０５は、画像フレーム取得部１０１により取得された入力画像フレーム（基準フレーム及び他の画像フレーム）の各画素を高解像度画像である出力画像フレームの画素位置を基準として位置ずれ量候補算出部２０２により算出された位置ずれ量候補に基づいて再配置し、出力画像フレームの画素位置との距離が小さいほど、また位置ずれ量候補信頼度推定部２０４により推定された位置ずれ量候補信頼度が高いほど大きな重み係数を用いて入力画像フレームの画素値を重み付け加算することで、出力画像フレームの画素値を決定して高解像度化を行う。

次に、図１０のフローチャートを用いて第３の実施形態に係る高解像度化装置の動作を説明する。
まず、画像フレーム取得部１０１によって時系列の複数の画像フレームを取得し（ステップＳ４０１）、位置ずれ量候補算出部２０２によって高解像度化の基準となる基準フレームと他の画像フレームとの間の位置ずれ量候補を算出する（ステップＳ４０２）。

次に、基準フレーム動き補償部２０３によって、画像フレーム取得部１０１により取得された高解像度化の基準となる基準フレームに対して、位置ずれ量候補算出部２０２により算出された基準フレームと他の画像フレームとの間のサブピクセル精度の位置ずれ量候補をもとに動き補償を行う（ステップＳ４０３）。

次に、位置ずれ量候補信頼度推定部２０２によって、基準フレーム動き補償部２０３により動き補償された基準フレームと対応する他の画像フレームとの画素値の差分の大きさが小さいほど、位置ずれ量候補算出部２０２により算出された位置ずれ量候補の信頼度を高く算出する（ステップＳ４０４）。すなわち、位置ずれ量を分布として捉え、その分布に対して各位置ずれ量の尤度を算出する。

次に、高解像度化部２０５によって、画像フレーム取得部１０１により取得された入力画像フレームの各画素を高解像度画像である出力画像フレームの画素位置を基準として位置ずれ量候補算出部２０２により算出された位置ずれ量候補に基づいて再配置し、高解像度画像の画素位置との距離が小さいほど、また位置ずれ量候補信頼度推定部２０４で推定された位置ずれ量候補信頼度が高いほど大きな重み係数を用いて重み付け加算することで、高解像度画像である出力画像フレームの画素値を決定する（ステップＳ４０５）。ステップＳ４０５の処理は、図２中のステップＳ２０５(ステップＳ２０６及びＳ２０７)と同様であるため、詳細な説明を省略する。

このように第３の実施形態によれば、複数の位置ずれ量を位置ずれ量候補として算出し、基準フレームを各位置ずれ量候補をもとに動き補償し、各位置ずれ量候補の信頼度を推定し、位置ずれ量候補に基づく高解像度画像の画素位置との距離と位置ずれ量候補の信頼度を用いることによって、高解像度画像の不自然な合成領域であるアーチファクトの発生を抑え、より鮮鋭な高解像度画像を合成することが可能になる。

以上説明した本発明の各実施形態に係る高解像度化技術は、例えば汎用の画像処理装置やコンピュータ装置を基本ハードウェアとして用いることによって実現することも可能である。すなわち、図２、図８あるいは図１０に示した位置ずれ量算出（位置ずれ量候補算出）、基準フレーム動き補償、位置ずれ量信頼度推定（位置ずれ量候補信頼度推定）、高解像度化、重み付け加算範囲決定等の各処理は、画像処理装置やコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１の実施形態に係る高解像度化装置の構成を示すブロック図図１の高解像度化装置の動作を示すフローチャート基準フレーム及び対象フレームを含む時系列の入力画像フレームについて説明する図基準フレームの動き補償について説明する図高解像度化のための動き補償された基準フレーム及び対象フレームの画素の再配置について説明する図重み付け加算による高解像度化について説明する図本発明の第２の実施形態に係る高解像度化装置の構成を示すブロック図図７の高解像度化装置の動作を示すフローチャート本発明の第３の実施形態に係る高解像度化装置の構成を示すブロック図図９の高解像度化装置の動作を示すフローチャート

符号の説明

１０１・・・画像フレーム取得部
１０２・・・位置ずれ量算出部
１０３・・・基準フレーム動き補償部
１０４・・・位置ずれ量信頼度推定部
１０５・・・高解像度化部
１０６・・・重み付け加算範囲決定部
２０２・・・位置ずれ量候補算出部
２０３・・・基準フレーム動き補償部
２０４・・・位置ずれ量候補信頼度推定部
２０５・・・高解像度化部

Claims

基準フレーム及び他の画像フレームを含む時系列の複数の入力画像フレームを取得するステップと；
前記基準フレームと前記他の画像フレームとの間の相対的な位置ずれ量を算出するステップと；
前記位置ずれ量を用いて前記基準フレームに対して動き補償を行うステップと；
前記位置ずれ量の信頼度を前記動き補償がなされた基準フレームと前記他の画像フレームとの間の画素値の差分の大きさが小さいほど高くなるように推定するステップと；
高解像度化された出力画像フレームを得るために、前記入力画像フレームの各画素を前記出力画像フレームの画素位置を基準として前記位置ずれ量に従って再配置するステップと；
前記出力画像フレームの画素位置との距離が小さく、かつ前記位置ずれ量の信頼度が高いほど大きい重み係数を用いて、前記再配置がなされた入力画像フレームの画素値を重み付け加算することにより前記出力画像フレームの各画素値を決定するステップと；を具備する画像の高解像度化方法。
基準フレーム及び他の画像フレームを含む時系列の複数の入力画像フレームを取得するステップと；
前記基準フレームと前記他の画像フレームとの間の相対的な位置ずれ量を示す複数の位置ずれ量候補を算出するステップと；
前記位置ずれ量候補を用いて前記基準フレームに対して動き補償を行うステップと；
前記位置ずれ量候補の信頼度を前記動き補償がなされた基準フレームと前記他の画像フレームとの間の画素値の差分の大きさが小さいほど高くなるように推定するステップと；
高解像度化された出力画像フレームを得るために、前記入力画像フレームの各画素を前記出力画像フレームの画素位置を基準として前記位置ずれ量候補に従って再配置するステップと；
前記出力画像フレームの画素位置との距離が小さく、かつ前記位置ずれ量候補の信頼度が高いほど大きい重み係数を用いて、前記再配置がなされた入力画像フレームの画素値を重み付け加算することにより前記出力画像フレームの各画素値を決定するステップと；を具備する画像の高解像度化方法。
基準フレーム及び他の画像フレームを含む時系列の複数の入力画像フレームを取得する画像フレーム取得部と；
前記基準フレームと前記他の画像フレームとの間の相対的な位置ずれ量を算出する位置ずれ量算出部と；
前記位置ずれ量を用いて前記基準フレームに対して動き補償を行う動き補償部と；
前記位置ずれ量の信頼度を前記動き補償がなされた基準フレームと前記他の画像フレームとの間の画素値の差分の大きさが小さいほど高くなるように推定する位置ずれ量信頼度推定部と；
高解像度化された出力画像フレームを得るために、前記入力画像フレームの各画素を前記出力画像フレームの画素位置を基準として前記位置ずれ量に従って再配置し、前記出力画像フレームの画素位置との距離が小さく、前記位置ずれ量の信頼度が高いほど大きい重み係数を用いて、前記再配置がなされた入力画像フレームの画素値を重み付け加算することにより前記出力画像フレームの各画素値を決定する高密度化部と；を具備する画像の高解像度化装置。
前記位置ずれ信頼度推定部は、次式により前記信頼度を推定する請求項３記載の画像の高解像度化装置。

ここで、Ｒ_iはｉ番目の画素における信頼度、ｆ_iは前記他の画像フレームのｉ番目の画素値、ｆ_Base_GMCは前記動き補償された基準フレームのｉ番目の画素の画素値、ｋは前記差分の分布の広がりを表すパラメータをそれぞれ表す。
前記高密度化部は、次式により前記重み付け加算を行う請求項３記載の画像の高密度化装置。

ここで、ｆ(x, y)は前記出力画像フレームの位置(x, y)の画素値、ｎは前記重み付け加算に供される前記入力画像フレームの画素数、ｆ_iは前記入力画像フレームのｉ番目の画素値、ｗ_iは前記距離に応じた係数、Ｒ_iは前記位置ずれ量の信頼度をそれぞれ表し、ｗ_iＲ_iは前記重み係数を表す。
基準フレーム及び他の画像フレームを含む時系列の複数の入力画像フレームを取得する画像フレーム取得部と；
前記基準フレームと前記他の画像フレームとの間の相対的な位置ずれ量を示す複数の位置ずれ量候補を算出する位置ずれ量候補算出部と；
前記位置ずれ量候補を用いて前記基準フレームに対して動き補償を行う動き補償部と；
前記位置ずれ量候補の信頼度を前記動き補償がなされた基準フレームと前記他の画像フレームとの間の画素値の差分の大きさが小さいほど高くなるように推定する位置ずれ量候補信頼度推定部と；
高解像度化された出力画像フレームを得るために、前記入力画像フレームの各画素を前記出力画像フレームの画素位置を基準として前記位置ずれ量候補に従って再配置し、前記出力画像フレームの画素位置との距離が小さく、前記位置ずれ量候補の信頼度が高いほど大きい重み係数を用いて、前記再配置がなされた入力画像フレームの画素値を重み付け加算することにより前記出力画像フレームの各画素値を決定する高密度化部と；を具備する画像の高解像度化装置。
前記高解像度化部は、前記入力画像フレームのうち前記出力画像フレームの対象画素位置に対応して定められた範囲内の画素位置の画素値を重み付け加算する請求項３または６のいずれか１項記載の画像の高解像度化装置。
前記高解像度化部は、前記入力画像フレームのうち前記位置ずれ量の信頼度が高いほど広い範囲内の画素位置の画素値を重み付け加算する請求項３または６のいずれか１項記載の画像の高解像度化装置。
基準フレーム及び他の画像フレームを含む時系列の複数の入力画像フレームを取得する処理と；
前記基準フレームと前記他の画像フレームとの間の相対的な位置ずれ量を算出する処理と；
前記位置ずれ量を用いて前記基準フレームに対して動き補償を行う処理と；
前記位置ずれ量の信頼度を前記動き補償がなされた基準フレームと前記他の画像フレームとの間の画素値の差分の大きさが小さいほど高くなるように推定する処理と；
高解像度化された出力画像フレームを得るために、前記入力画像フレームの各画素を前記出力画像フレームの画素位置を基準として前記位置ずれ量に従って再配置する処理と；
前記出力画像フレームの画素位置との距離が小さく、かつ前記位置ずれ量の信頼度が高いほど大きい重み係数を用いて、前記再配置がなされた入力画像フレームの画素値を重み付け加算することにより前記出力画像フレームの各画素値を決定する処理と；を含む画像の高解像度化処理をコンピュータに行わせるためのプログラム。
基準フレーム及び他の画像フレームを含む時系列の複数の入力画像フレームを取得する処理と；
前記基準フレームと前記他の画像フレームとの間の相対的な位置ずれ量を示す複数の位置ずれ量候補を算出する処理と；
前記位置ずれ量候補を用いて前記基準フレームに対して動き補償を行う処理と；
前記位置ずれ量候補の信頼度を前記動き補償がなされた基準フレームと前記他の画像フレームとの間の画素値の差分の大きさが小さいほど高くなるように推定する処理と；
高解像度化された出力画像フレームを得るために、前記入力画像フレームの各画素を前記出力画像フレームの画素位置を基準として前記位置ずれ量候補に従って再配置するステップと；
前記出力画像フレームの画素位置との距離が小さく、かつ前記位置ずれ量候補の信頼度が高いほど大きい重み係数を用いて、前記再配置がなされた入力画像フレームの画素値を重み付け加算することにより前記出力画像フレームの対象画素の画素値を決定する処理と；を含む画像の高解像度化処理をコンピュータに行わせるためのプログラム。