JP2002506600A - 画像補間法 - Google Patents

Abstract

(57)【要約】 画像補間法では、補間ラインが元の画素内で互いに交差する格子(I2)を得るように、補間画素を水平及び垂直方向に沿って挿入する(51)。次の第２工程にて、格子(I2)によって輪郭が定められる正方形を満たすように、該格子によって形成される行と列間にて画素を補間して(52)、補間画像(13)を得る。

Description

【発明の詳細な説明】 画像補間法 本発明は画像補間法に関するものである。 多くのビデオ及びマルチメディアの用途にとっては、出力画像の品質を維持し ながら画像寸法を大きくする必要がある。この目的に通常用いられる線形演算子 は、これらが平滑化画像及びブロック化によるアーチファクトを発生することか らして、高品質の補間画像を生成するのには適していない。画像のディテールを 鮮明に再生する技法が研究されているが、これらの技法は一般に非常に複雑で、 しかも画像のディテールを明確に検出し、且つそれらの方位を推定する必要があ る(例えば、文献[１]参照)。 入/出力関係が入力変数における２つの多項式の比として表わされる有理フィ ルタ(RF)は、雑音の平滑化、コントラストの強調及び２つのファクタの累乗によ る画像補間にて満足な結果が得られるので既に用いられている[文献3,4,5参照] 。 文献[5]には、符号化画像のDC成分補間用の演算子が提案されており、この文 献では、斯かる演算子によるアルゴリズムが、出力画像のディテールを鮮明にす ることに関して、線形演算子による理論的な制限を克服でき；同時に、斯種の補 間器が、対角線、円等に悪影響を及ぼす補間に際してのブロック化によるアーチ ファクトをなくすことができることを明らかにしている。有理補間器は、二次元 領域内にて非分離的に演算処理を行うべく設計されており、画像の大きさはデー タを２のファクタで繰返しアップ‐スケーリングすることによって変えることが できた。 本発明の目的は特に、画像の輪郭の鮮鋭度を維持しつつ、大きくて、しかも任 意のファクタで画像を補間することにある。このために、本発明は独立請求項に 記載したような画像補間方法及びデバイス並びにこのような画像補間デバイスを 具えているビデオ表示装置又は印刷装置を提供する。好適な実施例は従属請求項 に記載した通りのものである。 好適な実施例では、非線形有理フィルタリング（RF）処理に基づく技法を用い ることによって前記方法の目的を達成する。任意のファクタで画像を拡大するア ップ-スケーリングを可能にするには、補間すべき画素と、この画素の周りの画 素との間の距離を有理フィルタリング処理にて考慮するのが好適である。 本発明のこのような特徴及び他の特徴を以下実施例を参照して説明する。 図面中： 図１は補間画素と元の画素との間の距離を示す説明図であり； 図２Ａ‐図２Ｃはファクタ４での行補間を示す説明図であり； 図３はファクタ４での元の行及び列の補間を示す説明図であり； 図４は行と列によって輪郭が定められる空間内での画素評価を示す説明図であ り； 図５は概念的なブロック図を示し； 図６は二次元の演算子による式の実現法を示す図である。 本発明が目指すことは、ズーミング機能としてのRFアルゴリズムの処理能力を 研究することにある。斯かる機能は広範囲のマルチメディアの用途にとって重要 なことである。これらの用途として、例えば、写真又はビデオの編集及び印刷予 備処理用の解像度の向上などを挙げることができる。しかし、こうした多くの用 途にとっては、２の累乗ではない高いアップ‐スケーリングのファクタに対処す る必要がある。本明細書では、文献[５]に提案されている補間器の拡張について 説明する。つまり、その補間器に課せられる制限をなくして、任意の値のファク タを使用し得るようにする。 線形補間法による理論的な制限は、出力画像にアーチファクトが現れないよう にするのに演算子によって低域フィルタリング処理していることにある。このよ うな演算は、空間領域内における画像のディテール及びシャープなエッジに対応 する、出力画像における高周波成分の存在を制限する。 例えば、整数Ｌのファクタによる線形補間は、２つの連続する元のサンプル間 にＬ‐１個の等距離のゼロ値化サンプルを挿入することによって行われ、ついで 低域フィルタリング処理を行うようにしている(文献[２]参照)。 本提案のアルゴリズムによれば、線形補間器を分離可能とするために、対角線 のエッジにブロッキングアーチファクトを生ぜしめることなく、高周波成分を再 構成することができる。 このアルゴリズムは２工程にて行なうのであって、その第１工程は元の行と列 の一次元の補間であり；第２工程は補間した行と列の間の空間での補間である。 第１工程は必要とされるファクタでの元の行及び列の補間である。この工程は 一次元の有理補間器を用いることにより実施され、この補間器の式は次式(1)に よって規定される。画素Spは図１のスキームを用いることにより元の画素ｐ₂と ｐ₃との間にて計算される。ｐ₂とｐ₃との間の距離は１に等しく、また、Sp(δ) とｐ₂との間の距離δは１よりも小さいか又は１に等しく、しかも０よりも大き いか、又は０に等しい。 ここに、ｗ_p2＝１＋ｋ（(ｐ₂‐ｐ₄)²＋(ｐ₃‐ｐ₄)²）であり、また、 ｗ_p3＝１＋ｋ（(ｐ₁‐ｐ₃)²＋(ｐ₁‐ｐ₂)²）である。 ｋはアルゴリズムの非直線性に関連するパラメータであり、距離δは図１に示し た距離である。画素ｐ₁，ｐ₂，ｐ₃及びｐ₄は同じ行又は列に整列した元の入力デ ータである。ｗ_p2と、ｗ_p3との対は、輝度転換部をシャープに再構成し得るエッ ジセンサを表わす。 図２にて、元のベクトル(図2A)における一次元のエッジが線形補間器(図2B)及 び一次元の有理補間器(図2C)を用いることにより、如何様にして４のファクタ（ 4倍）に補間されるのかを見ることができる。図２Ｃの有理一次元補間器の方が どれだけエッジをシャープに再構成するかがわかり；実際上、有理補間器を用い て発生される輝度転換部の方が、図2Bの線形補間器によって発生されるものより も短くなる。このような結果は、有効データに含まれるサブ画素情報を活用する ことによって達成される。 アルゴリズムの第２工程は、第１工程にて評価した行と列との間の画素の補間 である(図３の陰影を付した正方形の領域内での補間であって、この図の大きな 円は元の画素を示し、小さな円は第１工程で補間した点を示す)。正方形の内部 に位置し、且つ元の点(黒のドットとして示してある)を頂点(図４参照)として有 する或 る生成点ｚの補間は、第１工程にて補間し、且つ円にて示した点a,b,c,d,e,f,g 及びｈを用いて行われる。これらの点は、評価すべき画素の位置を一旦固定して から定められ；これらの画素は０，４５，９０，135度の方向及び補間した行及 び列に属する。ｚの計算はその“有理”(rational)加重値及び各点a,b,.....,h からのその距離（ｄ_a，ｄ_b,...，ｄ_h）に依存する。この計算は正方形の内側に 位置する（Ｌ‐１）²個の各点に対して行わなければならない。上述したことに より、図４を参照してのｚの値は次のようになり： ここに、 d_c=l-d_a;d_d=l-d_b;d_e=l-d_g;d_f=l-d_h であり、しかも、 であり、且つ 距離ｄ_a，ｄ_b，ｄ_c，...ｄ_hの役目は、第１工程の補間点の貢献度を、計算すべ き画素からの距離を考慮して重み付けすることにある。加重値Ｗ_ab，Ｗ_bd，Ｗ_eg 及びＷ_fhは、例えば元の画素と補間画素とから成る正方形における0,45,90及び1 35度の中に優先選択方向があるかどうかを決めることができる。これらの方向は 最も理想的ではあるが、異なる方位の線に沿う距離を評価することもできる。実 際上、(ａ；ｃ)，(ｂ；ｄ)，（ｅ；ｇ）及び（ｆ；ｈ）の中から選択される或る 対の画素が同じ値を有する場合には、それぞれの加重値が大きくなり，これらが 属する方向が画素ｚを評価するのに優先される。さらに、関連する画素対間の距 離に対 する平均的な重み付けもある。 アルゴリズムについてもっと明確に説明するために、このアルゴリズムの作業 につき考察する。Ｎ行Ｍ列の大きさの入力画像から出発し、且つスケールファク タSFを用いて処理を実行させる２つの工程は次のように説明することができる。 即ち、 １．補間画素が、水平及び垂直方向に沿って２つの元の画素間にのみ挿入されて ，格子が得られるようにする一次元演算子（1-D演算子）の介入。この格子の補 間ラインは元の画素領域内で互いに交差し；このようにして、公称寸法は出力画 像に等しいが、N^*M+N^*M^*(SF-1)M^*N^*(SF-1)個の有意画素だけを有する中間画像を 得るようにする。なお、これらの画素は格子画素と称する。 ２．新規の画素を有する格子によって輪郭が定められる正方形（これらの正方形 の大きさは(SF+1)x(SF+1)個の画素であり、各正方形に対して評価すべき画素数 は(SF-1)x(SF-1)である）を満たす2-D演算子での補間。 ２つの工程は図５のブロック図のように表すことができる。Ｎ行Ｍ列の入力画 像I1は一次元の演算子51に供給されて、N^*M+N^*M^*(SF-1)+M^*N^*(SF-1)個の有意画 素を有する中間画像I2、即ち図３に示した元の画素と補間画素が得られる。中間 画像I2に対して、元の行及び列の長さをスケーリングファクタSFだけ増大させる 。この時点には、元の補間した行及び列の中に位置するN^*(SF-1)^*M^*(SF-1)個の 画素の値はまだ規定されない。中間画像12が二次元の演算子52に供給されて、N^* SF行M^*SF列の出力画像が得られる。 必要な演算を行うのに、それ専用のハードウエアを設計することができる。 “ｋ”のパラメータを選定することにより(我々の研究によると、適当な値は約0 .1とすることができる)特性が変わる二次元の演算子が、格子画素によって規定 される各正方形にて作動するようになる。これらの正方形の１つから出発して、 斯かる演算子は、その正方形のエッジに属する“格子画素”及び正方形内の位置 に関連する画素座標(図３参照)を用いて各画素の値を計算する。これらの関連す る画素の座標は、値が(1，SF-1)の範囲内にある２つの整数の指数によって表わ される。2-D演算子の処理については図６のようなブロック線図で説明すること ができる。 図６は二次元演算子による公式の実施法を示す。格子画素GP及び関連する画素 座標値RPCが、格子画素セレクタ61に供給される。関連画素の座標値RPCは距離生 成器にも供給される。格子画素セレクタ61の出力及びパラメータｋが重み生成器 63に供給される。距離生成器62及び重み生成器63の出力は乗数生成器64に供給さ れる。格子画素セレクタ61及び乗数生成器64の出力は、乗数累算器65に供給され る。重み生成器63及び乗数累算器65の出力は除算器66に供給され，この除算器は 出力画素OPを発生し、この出力画素は表示デバイスＤにて表示されたり，又は印 刷デバイスＰへと送られる。 本発明の主たる要点は次のように要約することができる。本発明では、画像補 間に対する非線形技法を提供するのであり、線形技法では出力に平滑化した画像 及びブロッキングアーチファクトを発生することになる。本発明による方法の目 的は、画像の輪郭の鮮鋭度を維持しつつ画像を大きくて、しかも任意のファクタ で補間することにある。本発明では、非線形有理フィルタ（RF）に基づく技法を 採用することにより斯かる目的を達成する。 現行のアルゴリズムは参考文献[5]に記載されており、この文献に記載されて いるアルゴリズムでは、スケーリングファクタが２の累乗によって表わされる場 合に、画像補間を行えるものである。斯種の補間器が重要なのは、この補間器が 、ディテールの鮮鋭度を維持し、同時にブロッキングアーチファクトを生じるこ となく補間画像を発生する“有理フィルタ(RF)”法を適用するからである。この アルゴリズムの計算上の負担は、RFに基づかない類似のアルゴリズムによるもの よりも遥かに少なくて済む。 ここに提案した解決法における二次元補間のスケーリングファクタは、最早２ の累乗とする必要はなく、任意の数（＞１）とすることができる。RFに基づく一 次元の補間器は任意のスケーリングファクタ(1以上の任意数)で作動させること ができる。この演算子を用いる第１工程の後に二次元の演算子を適用する。この 演算子もRFに基づくものであり、これは任意のスケーリングファクタで作動する ことができ；本発明の構成は本質的に、たとえ輪郭が水平又は垂直でなくても、 これらの輪郭を高い鮮鋭度で発生するように、エッジの方位に対して敏感なもの である。 本発明は、写真又はビデオカメラから得られる画像のような像のズーミングに 用いることができる。 このように本発明の主要点は、補間画素を水平及び垂直方向に沿って挿入して 、補間ラインが元の画素領域内にて交差する格子を得るようにし；且つ前記格子 によって形成される行と列間にその格子によって輪郭が定められる正方形を満た すように画素の補間をとる工程を含む画像補間法を提供することにある。本発明 はこの方法に従って作動する画像補間デバイス、並びに補間画像を供給する斯様 な画像補間デバイス及び補間画像を表示(印刷)するための表示デバイス(印刷デ バイス)を具えているビデオ表示装置(印刷装置)も提供する。 本発明は上述した例のみに限定されるものでなく、添付した請求項の範囲を逸 脱することなく、幾多の変更を加え得ることは当業者に明らかである。なお、請 求項における“具える”なる表現は、請求項に記載したもの以外の他の素子又は 工程の存在を除外するものではない。本発明は、幾つかの個別の素子を具えるハ ードウエアによっても、また、適当にプログラムしたコンピュータによっても実 施することができる。幾つかの手段を列挙している装置の請求項に記載の幾つか の手段はハードウエアの全く同一のアイテムで実現することができる。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＵＧ，ＺＷ)，Ｅ Ａ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ， ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，Ｇ Ｈ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ， ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，Ｍ Ｗ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ， ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＷ (72)発明者 アルバーニ ルイジ オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン ６ (72)発明者 ロチェッリ ヴィットーリオ オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン ６ (72)発明者 ランポニ ジオヴァンニ オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン ６

Claims (1)

1. 【特許請求の範囲】 １． 補間ラインが元の画素にて互いに交差する格子を得るように、補間画素を 水平及び垂直方向に沿って挿入する挿入工程；及び 前記格子によって輪郭が定められる正方形を満たすように、該格子によっ て形成される行と列間にて画素を補間する補間工程； を具えている画像補間方法。 ２． 前記挿入工程及び１又は前記補間工程に有理フィルタリング処理を用いる ことを特徴とする請求項１に記載の方法。 ３． 補間すべき画素と、その周りの画素との間の距離を前記フィルタリング処 理にて考慮することを特徴とする請求項１に記載の方法。 ４． 補間ラインが元の画素にて互いに交差する格子を得るように補間画素を水 平及び垂直方向に沿って挿入する挿入手段と； 前記格子によって輪郭が定められる正方形を満たすように、該格子によっ て形成される行と列間にて画素を補間する補間手段と； を具えている画像補間デバイス。 ５． 補間画像を供給するための請求項４に記載したような画像補間デバイス； 及び 補間画像を表示するための表示デバイス； を具えている画像表示装置。 ６． 補間画像を供給するための請求項４に記載したような画像補間デバイス； 及び 補間画像を印刷するための印刷デバイス； を具えている印刷装置。