JP2007272334A - 高解像度画像を生成する画像拡大装置、その画像拡大方法及びその画像拡大プログラムを記録した記録媒体 - Google Patents

Abstract

【課題】ＰＯＣＳを用いて画像を拡大する画像拡大装置において、凸射影の順序を最適化することで画質を高めることを可能にする。
【解決手段】画像入力部１と条件式算出部２と順序設定部３と出力画像生成部４とで構成され、誤差の大きい動きベクトルから得られた条件式によって生成されたアーチファクトを誤差の小さい動きベクトルから得られた条件式による修正で抑制し、出力高解像度画像の画質を高める画像拡大装置１０である。
【選択図】図１

Description

本発明は、例えばデジタルカメラで撮像された動画像や録画済の動画像コンテンツ等の、同一被写体を撮像した低解像度のデジタル画像複数枚の組み合わせから、ボケやエリアシングの影響のない高解像度のデジタル画像を生成する技術に関する。

一般に、テレビジョン等の表示画面におけるＳＤサイズからＨＤサイズへの変換に伴い、又はデジタルカメラにより撮像されたデジタル画像をデジタルズーム表示する等、デジタル画像を撮像された解像度よりも高い解像度を持つ表示デバイスに表示させるために、画像を拡大する技術の需要がある。公知な画像を拡大する手法として、線形内挿法などの補間方法が用いられている。しかし、これらの補間方法には、出力される高解像度画像にボケやエリアシングが発生するという問題が発生している。そこで、同一被写体を撮影した複数枚の低解像度画像と撮像過程のモデルを用いて、ボケやエリアシングの無い高解像度画像を生成する手法が幾つか提案されている。

このような手法の一つとして、例えば、非特許文献１には、低解像度画像のうちの一枚（基準画像）を線形内挿などで拡大して、出力高解像度画像と同じ解像度を持つ初期画像を生成し、その初期画像を修正して出力高解像度画像を得る手法が提案されている。出力高解像度画像が入力された複数枚の低解像度画像及び撮像過程のモデルと矛盾しないために必要な条件は、デジタルカメラ等の撮像装置の点広がり関数などのパラメータや動きベクトルを用いて、条件式の形で得ることができる。

また、デジタル画像の画素値は一定のダイナミックレンジの範囲内とする等、画像に関する事前知識も条件式として導入されることがある。非特許文献１の手法では、ＰＯＣＳ（Projection Onto Convex Sets）を用いて、前述した全ての条件式を満たすように初期画像を修正する。具体的には、複数の条件式の中から一つを選び、その条件式を満たすように初期画像を修正するという操作を複数の条件式それぞれに対して逐次的に行う。このような修正処理により、初期画像を複数の条件式の共通の解に近づけることができ、複数枚の低解像度画像及び撮像過程のモデルと矛盾しない出力高解像度画像を得ることができる。
A. M. TEKALP, M. K. OZKAN, and M. I. SEZAN, "HIGH-RESOLUTION IMAGE RECONSTRUCTION FROM LOWER-RESOLUTION IMAGE SEQUENCES AND SPACE-VARYING IMAGE RESTORATION," IEEE International Conference on Acoustics Speech and Signal Processing, 1992. P. E. Eren, M. I. Sezan, and A. M. Tekalp, "Robust, Object-Based High-Resolution Image Reconstruction from Low-Resolution Video," IEEE Transactions on Image Processing, vol. 6, pp. 1446--1451, 1997.

前述した非特許文献１の手法は、ＰＯＣＳを用いて、条件式を満たすように初期画像を修正する技術である。しかし、条件式を得るために用いたパラメータが大きな誤差を含んでいる若しくは、利用した事前知識が実際の画像に合致していない場合には、それらから算出された条件式に従うように初期画像を修正すると、出力高解像度画像上にノイズ（アーチファクト）が発生する虞がある。

また、このノイズを解決するものとして、例えば、非特許文献２には、アーチファクトを抑えるため、動きベクトルの中から誤差の大きいものを排除する手法が提案されている。具体的には、まず、被写体の色が入力された複数枚の低解像度画像全てにおいて変化しないものと仮定する。次に、動きベクトルによって対応付けられた複数の低解像度画像の２つの画素の画素値の差が閾値以上の動きベクトルから得られた条件式は、初期画像の修正には用いないという手法である。このような手法によって、極端に誤差の大きいパラメータから得られた条件式は、修正に用いないように排除することができるが、誤差の全く無い条件式のみを残すことは難しい。

さらに、単純には十分小さい誤差を持つパラメータから得られた条件式による初期画像の修正の後に、大きな誤差を持つパラメータから得られた条件式による初期画像の修正を行うと、出力高解像度画像の画質は、その逆の順で行った場合より低下する。このようにＰＯＣＳで得られる出力高解像度画像は条件式の選択順序によって変化するが、画質を高めるための条件式の選択順序の最適化方法は提案されていなかった。このように、従来提案されている技術には画質を高めるための条件式の選択順序の最適化がなされていないという問題があった。

本発明は、上記従来技術の問題点を解決するためになされたものであって、条件式を求める際のパラメータに信頼度を付与し、それに従って条件式を順序付けを最適化することより、出力高解像度画像上のアーチファクトを抑制し画質を高めることを可能とする画像拡大装置を提供することを目的とする。

本発明は、予め設定された複数の条件式のそれぞれの信頼度を順序付けて、信頼度の低い条件式による修正から信頼度の高い条件式による修正に至ることにより、高解像度化の画像修正の効果より高める画像拡大装置、その画像拡大方法及びその画像拡大プログラムを記録した記録媒体を提供する。

本発明の画像拡大装置は、複数枚の低解像度画像から前記低解像度画像よりも高い解像度を有する少なくとも１枚の出力高解像度画像を生成する画像拡大装置であって、前記複数枚の低解像度画像を取得する画像入力部と、前記低解像度画像と撮像過程のモデルと前記出力高解像度画像との間に矛盾が生じないために必要な複数の条件式を求める条件式算出部と、前記複数の条件式のそれぞれに数値で表される信頼度を付与し、高い信頼度が付与された該条件式を順序の後方から配置するように順序付けする順序設定部と、前記低解像度画像から初期画像を生成し、前記順序付けに従い、前記条件式を満たすように前記初期画像を順次修正して出力高解像度画像を生成する出力画像生成部とを備える。

さらに、複数枚の低解像度画像から前記低解像度画像よりも高い解像度を有する少なくとも１枚の出力高解像度画像を生成する画像拡大方法であって、前記複数枚の低解像度画像を取得し、取得した前記低解像度画像と、撮像過程のモデルと前記出力高解像度画像との間に矛盾が生じないために必要な複数の条件式を算出し、前記複数の条件式のそれぞれに数値で表される信頼度を付与し、高い信頼度が付与された該条件式を順序の後方から配置するように順序付けを行い、前記低解像度画像から初期画像を生成し、前記順序付けに従い、前記条件式を満たすように前記初期画像を順次修正して出力高解像度画像を生成する画像拡大方法を提供する。

また、複数枚の低解像度画像から前記低解像度画像よりも高い解像度を有する少なくとも１枚の出力高解像度画像を生成する画像拡大方法の手順を記録する記録媒体であって、前記複数枚の低解像度画像を取得する第１の手順と、取得した前記低解像度画像と、撮像過程のモデルと前記出力高解像度画像との間に矛盾が生じないために必要な複数の条件式を算出する手順と、前記複数の条件式のそれぞれに数値で表される信頼度を付与し、高い信頼度が付与された該条件式を順序の後方から配置するように順序付けを行う手順と、前記低解像度画像から初期画像を生成し、前記順序付けに従い、前記条件式を満たすように前記初期画像を順次修正して出力高解像度画像を生成する手順とをプログラムとして記録する記録媒体を提供する。

本発明の画像拡大装置及びその画像拡大方法によれば、誤差の大きい動きベクトルから得られた条件式によって生成されたアーチファクトを誤差の小さい動きベクトルから得られた条件式による修正で抑制し、出力高解像度画像の画質を高めることが可能になる。本発明の画像拡大方法を記録する記録媒体により、汎用のコンピュータ装置に画像拡大プログラムをインストールして駐在又は適宜記憶させて、画像拡大を実施することができる。

図面を参照して本発明の実施形態について詳細に説明する。
図１は、本発明の一実施形態に係わる画像拡大装置の概念的な構成を示すブロック図である。図３（ａ）は、本実施形態の画像拡大装置を撮像デバイスに組み込んだ構成例を示し、図３（ｂ）は、本実施形態の画像拡大装置を表示装置に組み込んだ構成例を示す図である。尚、本実施形態も含め以下の各実施形態を説明するにあたり、理解しやすくするために、画像は全てグレースケールとする。別の色空間を用いる場合は、例えば輝度と色差、ＲＧＢなど個別の色成分ごとに処理を行えばよい。また、計算量の軽減のため、輝度成分を本手法で拡大し、残りの色成分は線形補間等の計算量の少ない手法で処理しても良い。

本実施形態の画像拡大装置１０は、画像入力部１と、条件式算出部２と、順序設定部３と、出力画像生成部４とで構成される。
図３（ａ）に示すように、本実施形態の画像拡大装置１０は、デジタルビデオカメラ等の撮像装置から出力される低解像度画像に対応することができる。そのシステム構成は、カメラ等の撮像装置１１から得られるフレーム画像（低解像度画像）を本実施形態の画像拡大装置１０に入力し、その出力（出力高解像度画像）をハードディスク（ＨＤＤ）やディジタルビデオディスク（ＤＶＤ）等の記録媒体１３に記録させる、若しくは、その出力を液晶ディスプレイ等の表示装置（又は、提示装置）１４に表示させる。

他にも図３（ｂ）に示すように、本実施形態の画像拡大装置１０は、撮像装置以外の入力機器又は画像データが記録された記録媒体から出力されるフレーム画像（低解像度画像）に対応することができる。そのシステムとしては、例えば、テレビジョンやＨＤＤレコーダー等の機器に適用できる。その構成は、外部撮像装置１５で得られた映像を放送波を通じて受信するチューナー１６から出力されたフレーム画像（低解像度画像）又は、既に画像が記録されるＤＶＤ等の記録媒体１７から読み出されたフレーム画像（低解像度画像）を、本発明の画像拡大装置１０に入力し、拡大した出力（出力高解像度画像）をディスプレイ１９や記録装置内に設けられた又は着脱自在に装着された他の記録媒体２０に出力される。

次に図１及び図２を参照して、本発明の実施形態に係わる画像拡大装置の動作について説明する。尚、図２は本発明の実施形態に係わる画像拡大装置の動作を説明するためのフローチャートである。

まず、画像入力部１は予め定めた枚数の低解像度画像を、条件式算出部２と、順序設定部３に出力する（ステップＳ１）。ここでは、高解像度化される低解像度画像は、例えば連続する４フレームの画像とする。出力された低解像度画像の枚数は、例えば画像を縦横２倍に拡大するならば少なくとも４枚とするなど、低解像度画像の画素数の総和（又は画素数による画面面積）が出力高解像度画像の画素数（又は画素数による画面面積）以上となる枚数とすることが望ましい。さらに、既存のシーン検出などのアルゴリズムを用い、出力される低解像度画像全てに同一の被写体や背景が映っているような低解像度画像を選ぶことが望ましい。

次に条件式算出部２は入力された低解像度画像から、後段の出力画像生成部４でＰＯＣＳによる出力高解像度画像の生成に用いられる条件式を求める（ステップＳ２）。

ここで、条件式算出部２について説明する。
図４には、条件式算出部２の構成を示す。この条件式算出部２は、基準画像選定部２１、フレーム間対応点検出部２２、マッピング検出部２３及び条件式算出部２４により構成される。この構成において、基準画像選定部２１は、入力された複数枚の低解像度画像から１枚を選択し、動きベクトルの基準とする画像（基準画像）とする。フレーム間対応点検出部２２は、動きベクトルを用いて低解像度画像上の各点と基準画像上の点の対応付け（フレーム間対応点）を求める。

さらにマッピング検出部２３は、フレーム間対応点検出部２２で得られたフレーム間対応点と撮像装置１１若しくは、外部撮像装置１５の点広がり関数とユーザーが与える拡大率から、低解像度画像の各画素と出力高解像度画像の部分領域の対応付け（マッピング）を求める。条件式算出部２４は、マッピング検出部２３で得られたマッピングから、後段の出力画像生成部４で用いられる条件式を出力する。
このような構成における各構成部の動作について詳しく説明する。
基準画像選定部２１は例えば、５枚の連続して撮像された低解像度画像p1〜p5が入力された場合には、その中間の時刻に相当する低解像度画像p3を選ぶ。但し、ユーザーが特定の時刻に得られた画像を拡大したい場合は、その時刻に得られたフレーム画像を基準画像とすればよい。

次に、フレーム間対応点検出部２２の動作について説明する。
フレーム間対応点検出部２２では、基準画像と、他の１枚の低解像度画像との間の動きベクトルを用いて、基準画像以外の低解像度画像の各画素を基準画像上の１点に対応付ける。例えば、図５（ａ）には、低解像度画像３１における画素３３を示し、図５（ｂ）には、基準画像３２の画素３４に対して、横方向に０．５ピクセル（pixel）の動きベクトルの差を持つ低解像度画像３１の各画素３３を基準画像３２上に対応付けて配置した位置関係を示している。

次にマッピング検出部２３の動作について説明する。
マッピング検出部２３において、まず、全低解像度画像の全画素毎に出力高解像度画像上の１点にそれぞれ対応付ける。ここで、図６（ａ）を基準画像として、図６（ｂ）には、基準画像を縦横２倍に拡大した拡大画像における画素の対応付けの一例を示す。

基準画像４１の画素４３は、出力高解像度画像４２上で画面左上端からの相対位置が同じである点４４に対応付けられる。基準画像以外の画像の各画素も基準画像上の点に対応付けられているため、画素４３と同様に出力高解像度画像上のいずれかの点として対応付けることができる。

次に対応付けた点を中心とした部分領域４５を設定する。部分領域４５の形状は拡大率を考慮して決定する、例えば拡大率が縦横２倍の場合は、各辺の長さが２ピクセルの正方形となる。図６（ａ）の低解像度画像上の画素４３であれば、図６（ｂ）に示す出力高解像度画像上の部分領域４５が対応付けられる。

また前述した撮像装置１１若しくは外部撮像装置１５の点広がり関数が既知であれば、そのパラメータに応じて部分領域のサイズをさらに拡大させることが望ましい。例えば、拡大率が縦横２倍で前記撮像装置１１若しくは外部撮像装置１５の点広がり関数が標準偏差σのガウス関数であった場合、部分領域のサイズを縦横２（１＋３σ）ピクセルにするというように、標準偏差を考慮することも可能である。

また、前記撮像装置１１若しくは外部撮像装置１５の点広がり関数が既知で無い場合、ユーザーが任意の点広がり関数を仮定することも可能である。例えば、点広がり関数に対してガウス関数を仮定し、その分散を変えていくつかのサンプル映像を拡大し、主観評価の結果が最も良好であったものを採用する等の方法がある。

次に、条件式算出部２４の動作について説明する。
以後の説明において、出力高解像度画像を画素値を一列に並べた列ベクトル

として表す。また、出力高解像度画像の画素数をｉmaxと表記する。低解像度画像は、各画像の画素を並べたベクトルを連結した列ベクトルｙで表す。またｙの要素数すなわち低解像度画像の画素の合計数をｊmaxと表記する。ｘとｙの関係は、

の形の条件式（１）で記述できる。ｗij の値は、マッピング検出部２３でｘiがｙjに対応付けられていなければ、“０”とする。これ以外の場合は、マッピング検出部２３で対応付けられた領域内におけるｗijの値は、全て等しく且つ、ｗijの総和が１となるように設定する。例えば、図６（ｂ）に示した例においては、出力高解像度画像の領域４５内の画素４４（画像４１の画素４３に相当する）の周囲に均等な距離にある４つの各画素にかかる係数は、１／４＝０．２５となり、それ以外の係数は“０”となる。さらに撮像装置１１若しくは外部撮像装置１５の点広がり関数が既知である場合、若しくは何らかの点広がり関数を仮定した場合は、その情報をｗijの値に反映させることができる。例えば、画像の拡大率が２倍で点広がり関数が標準偏差σのガウス関数であった場合ｗijの値は、原点を中心とした縦横２ピクセルの範囲で“０．２５”となり、それ以外の範囲で“０”をとる関数と、標準偏差σのガウス関数の畳み込みから計算できる。

また同じｊに関する係数ｗijを並べた行ベクトルをｗjと表記すると条件式（１）は、

の条件式（２）となる。ここでδjは、例えば、０〜０．５程度の値とする。以後、画素ｙjに関する条件式を「条件式ｊ」と称し、また、全てのｊに対する条件式ｊをまとめて、「撮像モデルによる条件式」と称する。尚、条件式算出部２４では、撮像モデルによる条件式とは別の条件式を作成することが可能である。例えばデジタル画像の画素値は０〜２５５の範囲であることが多いため、

といった条件式（３）を作成することができる。このような条件式を以後、「事前知識による条件式」と称する。

以上のようにして、図１に示す条件式算出部２から出力画像生成部４で利用する条件式が得られる。以後、撮像モデルによる条件式の総数と、事前知識による条件式の総数の和をＪと表記する。また、事前知識による条件式にはｊmax以上のＩＤ番号が付与されているものとする。

本実施形態においては、以後、これらの条件式の組を「撮像過程のモデル」と称する。また、出力高解像度画像の画素値即ち、ｘが撮像過程のモデルをなす条件式のいずれかを満たしていない状態を、「撮像過程のモデルと出力高解像度画像の間に矛盾がある状態」と称する。条件式は、画素値は常に一定のダイナミックレンジ内にあるとするものも含む。

また、矛盾とは xが「撮像過程のモデル」をなす条件式のうち、ひとつ以上を満たしていないことを意味する。矛盾が生じていない場合には、ｗijを構成要素とする行列wとxをかけて得られるベクトルy2の各要素と、もとのyの各要素の差はδjより小さくなる。δjの値を０〜０．５程度の値に設定した場合は、y2はｙとほとんど同じ画像となる。しかし矛盾が生じている場合には、y2はyと異なる画像となる。

次に順序設定部３は、条件式算出部２で得られた条件式に順序付けを行う（ステップＳ３）。図７には、この順序設定部３の一構成例を示す。
この構成において、信頼度算出部５１は、条件式算出部２で得られたそれぞれの条件式に対して、大小の関係が分かる数値で表される信頼度を付与する。信頼度は、フレーム間対応点検出ステップで対応付けられた低解像度画像内の２点の画素値の差によって決定される。順序設定部５２は、信頼度算出部５１で得られた信頼度に従って、条件式算出部２で得られた条件式に順序を設定する。まず、撮像モデルによる条件式の順序付けについて述べる。信頼度の設定法は、少なくとも４つの手法がある。

第１の手法として、画像拡大装置１０の信頼度設定部５１では、条件式ｊの信頼度を、ｊ番目の画素の画素値ｙjと、基準画像上のｊ番目の画素が対応付けられた点の画素値ｙj’との差ｄj（ｄj＝｜ｙj−ｙj’｜）が大きいほど小さな値に設定する。この設定により、被写体の異なる色を持つ領域同士を対応付けるという誤ったフレーム間対応点の信頼度を低くする。即ち、信頼度はフレーム間対応点検出で対応付けられた低解像度画像中の２点の画素値の差によって決定される。

第２の手法として、画像拡大装置１０の信頼度設定部５１では、条件式ｊの信頼度を、ｊ番目の画素が属する低解像度画像の撮像時刻と基準画像の撮像時刻の差が大きいほど小さな値に設定する。被写体は、経時変化即ち、時間が経過するほど変形や変色を起こす可能性が高くなるたため、撮像時刻に近い時間の情報に対してより高い信頼度を与える。即ち、信頼度は、フレーム間対応点を求める際に利用した低解像度画像の撮像時刻の差によって決定される。

第３の手法として、画像拡大装置１０の信頼度設定部５１では、条件式ｊの信頼度を、ｊ番目の画素が属する低解像度画像の部分領域のエッジ強度が小さいほど小さい値に設定する。このエッジ強度の強さにより設定することによって、正確に動きベクトルを求めにくい平坦な領域（同じ輝度値）に対する条件式の信頼度を下げている。即ち、信頼度は低解像度画像の部分領域が持つエッジ強度によって決定される。

第４の手法として、画像拡大装置の信頼度設定部では、条件式ｊの信頼度を、ｊ番目の画素が属する低解像度画像の色分布と基準画像の色分布の差が大きいほど小さい値に設定する。この差分による設定により、例えばフリッカ等で、画面全体の色分布が変わってしまった場合などに対処することが可能となる。即ち、信頼度はフレーム間対応点を求める際に利用した低解像度画像の色分布の差によって決定される。

これらの４つの手法による信頼度は、重み付け和等の形で併せて利用することも可能である。また、事前知識による条件式については、撮像モデルによる条件式に与えた信頼度の大きさを考慮して人手で信頼度を付与する。例えば、画素値のダイナミックレンジは、常に０〜２５５の範囲内であると仮定するならば、条件式（３）を用いて、撮像モデルによる条件式に与えた信頼度の最大値より大きい信頼度を付与すればよい。

以後、順序設定部３で条件式ｊに付与された信頼度をｒjと記述する。なおここで、非特許文献２に記載されるように、閾値処理を用いて信頼度ｒjが極端に低い条件式を排除してもよい。

順序設定部５２では、信頼度算出部５１で設定された信頼度に応じて条件式に順序をつける。すなわち、Ｎeq個の番号を格納できる１次元配列を準備し、その中に０〜Ｊの番号を格納する。その際、全ての条件式の番号（０〜Ｊ）が１回以上配列の中に出現するように設定し、また、より大きな信頼度を持つ条件式の番号が配列の後方に配置されるようにする。つまり、信頼度の低いものから後方に行くに従い高くなるように順に並べている。

具体的な順序設定方法を例えば、３つの例について説明する。
第１の順序設定方法は、Ｎeq＝Ｊとし、得られたＪ個の条件式を信頼度ｒjが小さい順に１次元配列に格納する方法である。

第２の順序設定方法は、まず低解像度画像の撮像時刻や色分布を用いて低解像度画像ごとに信頼度を付与する。また、信頼度が小さい順に番号ｆ（ｆ＝0，…，F-1）を付与する。次に低解像度画像ごとに動きベクトルの誤差による信頼度を求め、画像ごとに第１の順序設定方法若しくは従来手法で条件式を並べた条件式列Ｃfを作成する。また、事前知識による条件式は全てまとめてＣFとする。最後に条件式列をＣ0， Ｃ1， Ｃ2， … ＣF の順で並べる。

前述した第１の順序設定方法においては、出力高解像度画像の特定の部分領域に関する条件式が全て前方に配置される。その前方の条件式により修正された結果が、後方に配置された条件式による修正で破壊されると、出力高解像度画像中に周囲との一貫性を欠く領域が出現する可能性があるが、第２の順序設定方法では、低解像度画像毎ごとに条件式をまとめることで、その影響を排除している。

第３の順序設定方法は、第２の順序設定方法と同様の手順でＣｆを作成した後、条件式列をＣ0， ＣF-1， Ｃ1， ＣF-1， Ｃ2， ＣF-1， …，ＣF-2， ＣF-1， ＣFの順で並べる。第１、第２の順序設定法に比べ修正回数は造作するが、信頼度の低い画像から得られた条件式による修正の直後に、信頼度が最も高い画像による修正を行うため、アーチファクトの抑制効果がより強くなる。

前述した３つの手法では、ＣFを条件式列の最後に配置したが、ＣFの配置は、ヒューリスティックに適宜、人手で決定してもよい。

次に、出力画像生成部４では、出力する高解像度画像を生成する。図８には、出力画像生成部４の構成例を示し、図９には、その処理手順を示す。
この出力画像生成部４は、処理結果を格納する処理結果格納バッファ６４と、条件式算出部２で得られた条件式を格納する条件式格納バッファ６２と、順序設定部で得られた条件式の順序を格納する順序格納バッファ６１との３つのバッファを備えている。処理結果格納バッファ６４にはまず、基準画像を線形内挿法等で出力高解像度画像と同じ解像度に拡大した画像が初期画像として格納される（ステップＳ１１）。

条件式格納バッファ６２には、条件式（１）の情報が格納される。また、順序格納バッファ６１には順序設定部３で設定された条件式の順序が格納される。出力画像生成部４は、カウンタが初期化（修正実施回数Ｎ＝０，nSkip＝０）された後（ステップＳ１２）、まず、順序格納バッファ６１の先頭から順に条件式の番号Ｘを読み出す（ステップＳ１３）。次に、番号Ｘに対応する条件式Ｘを条件式格納バッファ６２から読み出す（ステップＳ１４）。さらに、処理結果格納バッファ６４に蓄積された画像が条件式Ｘを満たしているか否かを判定する（ステップＳ１５）。この判定において、処理結果格納バッファ６４中の画像が条件式Ｘを満たしていない場合には（ＮＯ）、修正を行う（ステップＳ１６）。一方、処理結果格納バッファ６４中の画像が既に条件式Ｘを満たしている場合には（ＹＥＳ）、その回数nSkipに対して１を増加させるインクリメント処理を行う（ステップＳ１７）。前記ステップＳ１６における画像の修正は、非特許文献１，２におけるＰＯＣＳを用いた処理と同等な処理を行う。

前記ステップＳ１３以降のステップについて詳細に説明する。出力高解像度画像はｉmax次元の実数ベクトルが張る空間中の１点として表すことができる。また、画素ｙj関する条件式ｊを満たす画像は、ｉmax次元の実ベクトルが張る空間の中で凸集合（Convex Set）をなし、ｊmax個の凸集合の積集合中の点が、全ての条件式を満たす望ましい出力高解像度画像となる。ＰＯＣＳはｊmax個の凸集合の中から一つを選び、選ばれた凸集合の内部の点に初期画像を写像（Projection）する操作を繰り返すことで、最終的な出力高解像度画像を得ることができる。

まず、前記ステップＳ１３，Ｓ１４により、ｊmax個の条件式の中から１つの式条件式Ｘを選ぶ。次に、処理結果格納バッファ６４に格納されている画像ｘ’と撮像モデルから得られる低解像度画像の画素値と、実際の低解像度画像の画素値の差εXを

として求める。前記ステップＳ１５の判定において、εXの絶対値がδXより小さければ、条件式Ｘは満たされていると判定され、前記ステップＳ１６に移行する。一方、εXの絶対値がδXより大きければ、条件式Ｘは満たされていないと判定され、前記ステップＳ１７に移行する。これらのステップＳ１６，Ｓ１７は、

となる画像ｘ”で処理結果格納バッファ６４を上書きすることと等価である。前記式（４）の１段目と３段目が、図７に示したステップＳ１６に、２段目が図７に示したステップＳ１７の処理に相当する。δXの値は、例えば条件式算出部２４で述べたように、０〜０．５程度の範囲でユーザーが指定する。

次に図９のフローチャートに戻り説明する。順序格納バッファ６１の終端の値を読み出し、修正が施された後に、修正実施回数Ｎに１を加えてインクリメント処理を行い（ステップＳ１８）、Ｎが条件式格納バッファの要素数を越えたか否かを判定する（ステップＳ１９）。この判定で、要素数がＮを越えていなければ（ＮＯ）、ステップＳ１３に戻り、再度条件式を取得して処理を同様に行う。一方、要素数がＮを越えていたならば（ＹＥＳ）、終了判定に移行する（ステップＳ２０）。

この終了判定の条件としては、例えば３つの方法を取ることができる。
まず、第１の判定方法として、処理結果格納バッファ６４中の画像が全ての条件式を満たしているか、即ちnSkipとｊmaxの値が等しいか否かで判定することができる。

第２の判定方法として、前記ステップＳ１４において処理結果格納バッファ６４に格納されていた画像と、ステップＳ２０において処理結果格納バッファ６４に格納されていた画像の間の差、例えば画素値の平均二乗誤差が閾値を下回っているか否かで判定することができる。

第３の判定方法として、前記ステップＳ１２からＳ２０までに行われる処理を所定の回数繰り返しているか否かで判定することができる。例えば、処理が終了したと判定されたならば、処理結果格納バッファ６４に蓄積されている画像を図３（ｂ）に示す記録媒体１３やディスプレイ１９に出力する。このように、本実施形態に係わる画像拡大装置によれば、順序設定部３によって出力画像生成部４で行われるＰＯＣＳの条件式選択順序を最適化することが可能となる。

なお、この画像拡大装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。このとき、画像拡大装置は、図９に示すような処理工程を実施するためのプログラムをコンピュータ装置に予めインストールして駐在することで実現してもよいし、ＣＤ−ＲＯＭ等の着脱可能な記憶媒体に記憶して用いてもよい。さらには、汎用的なネットワークを介して、前記プログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。

以上説明したように、本発明の画像拡大装置及びその画像拡大方法によれば、誤差の大きい動きベクトルから得られた条件式によって生成されたアーチファクトを誤差の小さい動きベクトルから得られた条件式による修正で抑制し、出力高解像度画像の画質を高めることができる。よって、予め設定された複数の条件式のそれぞれの信頼度を順序付けて、信頼度の低い条件式による修正から信頼度の高い条件式による修正に至ることにより、高解像度化の画像修正の効果より高めることができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の実施の形態に関する画像拡大装置の構成例を示すブロック図である。 本発明の実施の形態に関する画像拡大装置の処理手順を説明するためのフローチャートである。 本発明の実施の形態に関する画像拡大装置を組み込んだデジタルビデオカメラ構成例とＨＤＤレコーダーの構成例を示すブロック図である。 本発明の実施の形態に関する画像拡大装置の条件式算出部２の構成例を示すブロック図である。 本発明の実施の形態に関するフレーム間対応点の概念を表すブロック図である。 本発明の実施の形態に関するマッピングの概念を表すブロック図である。 本発明の実施の形態に関する画像拡大装置の順序設定部３の構成例を示すブロック図である。 本発明の実施の形態に関する画像拡大装置の出力画像生成部４の構成を示すブロック図である。 本発明の実施の形態に関する画像拡大装置の出力画像生成部４の処理手順を説明するためのフローチャートである。

符号の説明

１…画像入力部、２…条件式算出部、３…順序設定部、４…出力画像生成部、１０…画像拡大装置、１１…撮像装置、１３，１７，２０…記録媒体、１４…表示装置（提示装置）、１５…外部撮像装置、１６…チューナー、１９…ディスプレイ、２０…、２１…基準画像選定部、２２…フレーム間対応点検出部、２３…マッピング検出部、２４…条件式算出部、３１…低解像度画像、３２，４１…基準画像、３３，３４，４３…画素、４２…出力高解像度画像、４５…部分領域、５１…信頼度算出部、５２…順序設定部、６１…順序格納バッファ、６２…条件式格納バッファ、６３…簡易拡大部、６４…処理結果格納バッファ。

Claims (12)

1. 複数枚の低解像度画像から前記低解像度画像よりも高い解像度を有する少なくとも１枚の出力高解像度画像を生成する画像拡大装置であって、
   前記複数枚の低解像度画像を取得する画像入力部と、
   前記低解像度画像と撮像過程のモデルと前記出力高解像度画像との間に矛盾が生じないために必要な複数の条件式を求める条件式算出部と、
   前記複数の条件式のそれぞれに数値で表される信頼度を付与し、高い信頼度が付与された該条件式を順序の後方から配置するように順序付けする順序設定部と、
   前記低解像度画像から初期画像を生成し、前記順序付けに従い、前記条件式を満たすように前記初期画像を順次修正して出力高解像度画像を生成する出力画像生成部と、
   を備えることを特徴とする画像拡大装置。
2. 前記条件式算出部が、
   前記低解像度画像のうちの１枚を基準画像として選択する基準画像選択ステップと、
   前記低解像度画像上の各点と基準画像上の点の対応付けを求めるフレーム間対応点検出ステップと、
   前記フレーム間対応点と撮像装置の点広がり関数をもとに、前記出力高解像度画像の部分領域と、前記低解像度画像の画素の対応付けを求めるマッピング検出ステップと、
   による３つの前記ステップを用いて、
   前記撮像過程のモデルのパラメータを求め、前記条件式として、前記画素マッピング検出ステップで得られた前記出力高解像度画像の部分領域の画素値の加重平均と前記マッピング検出ステップで対応付けられた前記低解像度画像の１画素の画素値の差が閾値以下とする式を出力することを特徴とする請求項１の画像拡大装置。
3. 前記信頼度が、前記フレーム間対応点検出ステップで対応付けられた前記低解像度画像中の２点の画素値の差によって決定されることを特徴とする請求項２の画像拡大装置。
4. 前記信頼度が、前記フレーム間対応点を求める際に利用した低解像度画像の撮像時刻の差によって決定されることを特徴とする請求項２の画像拡大装置。
5. 前記信頼度が、前記低解像度画像の部分領域が持つエッジ強度によって決定されることを特徴とする請求項２の画像拡大装置。
6. 前記信頼度が、前記フレーム間対応点を求める際に利用した低解像度画像の色分布の差によって決定されることを特徴とする請求項２の画像拡大装置。
7. 前記条件式が、画素値は常に一定のダイナミックレンジ内にあるとするものも含むことを特徴とする請求項２乃至６のいずれに１つの画像拡大装置。
8. 前記条件式算出部は、前記画像入力部から、前記複数の低解像度画像の画素数の総和が前記出力高解像度画像の画素数以上になるように該低解像度画像の枚数を取得することを特徴とする画像拡大装置。
9. 複数枚の低解像度画像から前記低解像度画像よりも高い解像度を有する少なくとも１枚の出力高解像度画像を生成する画像拡大方法であって、
   前記複数枚の低解像度画像を取得し、
   取得した前記低解像度画像と、撮像過程のモデルと前記出力高解像度画像との間に矛盾が生じないために必要な複数の条件式を算出し、
   前記複数の条件式のそれぞれに数値で表される信頼度を付与し、高い信頼度が付与された該条件式を順序の後方から配置するように順序付けを行い、
   前記低解像度画像から初期画像を生成し、前記順序付けに従い、前記条件式を満たすように前記初期画像を順次修正して出力高解像度画像を生成することを特徴とする画像拡大方法。
10. 前記画像拡大方法における条件式の算出は、
    前記低解像度画像のうちの１枚を基準画像として選択し、
    前記低解像度画像上の各点と基準画像上の点とのフレーム間における対応付けを求め、
    前記フレーム間における対応点と、前記低解像度画像を撮像する撮像装置が有する点広がり関数とをもとに、前記出力高解像度画像の部分領域と、前記低解像度画像の画素の対応付けを求めて、
    前記撮像過程のモデルのパラメータを求め、前記条件式として、前記出力高解像度画像の部分領域の画素値の加重平均と、前記対応付けられた前記低解像度画像の１つの画素の画素値の差が閾値以下とする式を出力することを特徴とする請求項９の画像拡大方法。
11. 前記信頼度は、
    第１に、前記フレーム間対応点検出ステップで対応付けられた前記低解像度画像中の２点の画素値の差によって決定される、
    第２に、前記フレーム間対応点を求める際に利用した低解像度画像の撮像時刻の差によって決定される、
    第３に、前記低解像度画像の部分領域が持つエッジ強度によって決定される、
    第４に、前記フレーム間対応点を求める際に利用した低解像度画像の色分布の差によって決定される、
    前記第１乃至第４の手法のいずれかにより決定されることを特徴とする請求項９に記載の画像拡大方法。
12. 複数枚の低解像度画像から前記低解像度画像よりも高い解像度を有する少なくとも１枚の出力高解像度画像を生成する画像拡大方法の手順を記録する記録媒体であって、
    前記複数枚の低解像度画像を取得する第１の手順と、
    取得した前記低解像度画像と、撮像過程のモデルと前記出力高解像度画像との間に矛盾が生じないために必要な複数の条件式を算出する手順と、
    前記複数の条件式のそれぞれに数値で表される信頼度を付与し、高い信頼度が付与された該条件式を順序の後方から配置するように順序付けを行う手順と、
    前記低解像度画像から初期画像を生成し、前記順序付けに従い、前記条件式を満たすように前記初期画像を順次修正して出力高解像度画像を生成する手順と、をプログラムとして記録することを特徴とする高解像度画像を生成するプログラムを記録する記録媒体。

Images