JP2008148315A - 画像復元方法および画像復元装置 - Google Patents

Abstract

【課題】正確に特定された動きベクトルを必要としないでデインタレース処理を行う画像復元方法を提供する。
【解決手段】飛び越し走査線シーケンスのフィールドのうち対象フィールドおよび少なくとも一つの参照フィールドを受け取るステップ（Ｓ１０、Ｓ１１）と、対象フィールドの対象ブロックの走査線と少なくとも一つの参照フィールドの参照ブロックの走査線とを統合して、対象ブロックを垂直方向にアップアンプリングする第１アップサンプリングステップ（Ｓ１３）と、アップサンプリングされた対象ブロックの画素データの滑らかさを表す滑らかさ値を特定する滑らかさ特定ステップ（Ｓ１４）と、アップサンプリングされた対象ブロックの滑らかさを最適化するために、滑らかさ値に基づいて、少なくとも一つの参照フィールドにおける参照ブロックの位置を特定する位置特定ステップ（Ｓ１２、Ｓ１７、Ｓ１８、Ｓ１９）とを含む。
【選択図】図８

Description

本発明は、映像データのデインタレース処理の分野に関し、特に、フィールドの飛び越し走査線シーケンスからフレームを復元する画像復元方法およびその装置に関する。

インタレース走査が、追加的帯域を消費することなくテレビ画像の視覚的画質を向上する方法として１９３０年代に発明された。それ以来、インタレース走査は、１０８０ｉ ＨＤＴＶ放送規格などの多くのテレビ規格に広く用いられている。インタレース走査方式によれば、画像は奇数走査線および偶数走査線からなるそれぞれ２つのフィールドに分割される。各フィールドは走査線毎に上から下へ走査される。

インタレース走査により、両フィールドは、順に、撮影、送信、表示される。ブラウン管（ＣＲＴ）の蛍光体の残光は、残像と組み合わさって、フリッカー防止に必要となるＣＲＴ垂直走査周波数を維持しながら、全画面を走査するプログレッシブ走査に必要となるであろう帯域の半分の全水平内容を視覚できる連続する画像として知覚される２つのフィールドになる。

しかしながら、ＬＣＤやプラズマディスプレイなどの新しい表示技術では、プログレッシブ走査規格に準じた映像信号が必要になる。プログレッシブ走査または非インタレース走査とは、各フレームの走査線が全て厳密にシーケンスになる走査方法である。プログレッシブ走査では、画像は１ページのテキストに似た進路すなわち行毎に上から下へと、撮影、送信、表示される。

プログレッシブ走査方式表示装置にインタレース走査映像を表示できるようにするには、その映像を変換する必要がある。また、ある空間分解能のインタレース走査映像を別の空間分解能のインタレース走査映像に変換する処理は、一般に、インタレース−プログレッシブ変換ステップ、解像度変換ステップ、およびプログレッシブ−インタレース変換ステップを含むマルチステップ処理である。インタレース走査映像をプログレッシブ走査映像に変換する処理は、デインタレース処理として知られている。当然、デインタレース処理によって得られる画質は、デインタレース処理に用いられる方法に非常に影響される。

増え続ける代替テレビ規格とそれらの規格間での変換の必要性により、最近、高品質なデインタレース処理アルゴリズムが多くの注目を集めている。したがって、周知技術として、様々なデインタレース処理アルゴリズムが存在するが、それぞれに固有の効果と問題がある。

デインタレース処理アルゴリズムを説明するために、インタレース走査映像として２つの異なるソースを考える。つまり、従来のフィルムカメラで生成された映像と、（インタレース方式）ビデオカメラで生成された映像を考える。従来の毎秒２４画像の動画映像からテレシネ処理により生成されたインタレース走査映像では、同一のオリジナル画像から２つの連続フィールドが生成される。したがって、テレシネ処理により生成されたインタレース走査映像の場合、一連のオリジナル画像は、連続フィールドの組を合成することによって忠実に復元できる。

一方、インタレース方式ビデオカメラでは、それぞれ異なる時点で連続フィールドを撮影している。撮影した画像が完全に静止していない場合には、２つの連続フィールドは、直接的なやり方では合成できない２つの異なる画像に関する情報をそれぞれ有することになる。これは、デインタレース処理アルゴリズムの最新技術の領域である。

図１ａに示すように、インタレース走査映像シーケンスが、いわゆる走査線飛び越し動作を用いて全解像度プログレッシブ走査シーケンスから生成されている場合には、上記とまさに同じ問題がビデオカメラによるインタレース走査映像でも生じる。全解像度画像１１０のシーケンスから始めて、走査線飛び越し動作は、各フレーム１２０の走査線を一本おきに飛び越してもよい。撮影場面の静止物体を時間の経過とともに滑らかにサンプルすることを確実にするためには、連続フレームの奇数走査線および偶数走査線を交互に飛び越す。走査線飛び越し動作によって走査された走査線は、対応するフレームのダウンサンプリングデータをそれぞれ表す一連のフィールド１３０を形成する。

より一般的には、走査線飛び越し動作は、各フレームのＫ番目毎の走査線のみを走査し、他の（Ｋ−１）本の走査線を走査しなくてもよい（図１ｂのＫ＝３の場合を参照）。撮影場面における動かない物体を時間の経過とともに滑らかにサンプルすることを保証するために、ダウンサンプリングをフレーム数毎に行う。つまり、全解像度シーケンスＫ個の連続フレームをダウンサンプリングした後に、１フレーム中の全画素を一度サンプリングする。この走査線飛び越し動作の結果、平行方向に比べ垂直方向の解像度がかなり低いシーケンスとなる。これは、ＲｘＣサイズのフレームがＵｘＣ（Ｕ＝Ｒ／Ｋ）サイズに縮小されることを意味する。これらのフィールドは、平行方向に比べ垂直方向が１／Ｋ低い解像度を有する。ここで、Ｋ＝２の場合における走査線飛び越し動作によって、２つの交互フィールドからなる従来のインタレース走査シーケンスが得られる。

上記走査線飛び越し動作では、垂直方向のダウンサンプリング処理前にはフィルタリング処理を行わない。したがって、いわゆる「飛び越し走査線シーケンス」つまりフィールドシーケンスは、エリアシングノイズによる歪みを生じる。ダウンサンプリング信号のエリアシングノイズ量は、その信号そのものおよびダウンサンプリング因子Ｋに影響されることは明らかである。ダウンサンプリング因子が大きいほど、信号スペクトルのオーバーラップも大きくなり、より多くのエリアシングアーチファクトがシーケンスに含まれることになる。

エリアシングノイズの問題をさらに図２に示す。図２ａはエリアシングノイズのないオリジナル（帯域制限）信号のスペクトルを示す図である。Ｋ＝２の場合における走査線飛び越し動作を用いてこの信号をインタレース信号に変換すると、オリジナル信号のアップサンプリングにより、スペクトルのオーバーラップを引き起こす（図２ｂ参照）。この結果はエリアシングノイズとして知られ、モアレ模様などの明らかなアーチファクトとなる。より厳密なアップサンプリングは、例えば図２ｃに示すＫ＝３の場合における走査線飛び越し動作を用いることにより、複数のスペクトルのオーバーラップとさらに顕著なアーチファクトを引き起こす。

デインタレース処理アルゴリズムの目的は、飛び越し走査線シーケンスにおいて欠落している走査線を復元し、エリアシングノイズを抑制し、画像の垂直解像度を向上させることである。既存のデインタレース処理アルゴリズムは、およそ、次の３つのカテゴリに分けられる。つまり、線形フィルタリング、適合（非線形）技法、および動き補償アルゴリズムである。

線形フィルタリングに基づくデインタレース処理アルゴリズムは、有効な画素データ群に有効な線形フィルタリングを用いて、つまり、欠落した画素データを空間的および／または時間的隣接画素の重み付け加算で代用して、欠落した画素データを復元する。これらのアルゴリズムは一般的に実現が容易であるが、エリアシングアーチファクトの抑制と垂直解像度の向上には効果的ではない。

図３は、一例として、線形フィルタリングに基づく簡素なデインタレース処理アルゴリズムを示す。図３ａは、左下隅から右上隅へ４つのフレームにおいて動く物体を含む全解像度シーケンス３１０に対して行われた走査線飛び越し動作を示す。Ｋ＝３の場合におけるダウンサンプリングの結果は、かろうじて左下隅から右上隅へ移動する物体を表す飛び越し走査線シーケンス３３０である。

図３ｂにおいて、飛び越し走査線シーケンス３３０のフィールド３２１は、欠落した走査線を前フィールドおよび次フィールドの走査線で代用してアップサンプリングされている（図３ｂの矢印を参照）。しかしながら、このように復元フレーム３１１は、撮影場面での物体の動きにより生じる深刻なアーチファクトの問題を有している。

デインタレース処理シーケンスにおける動きに関連するアーチファクトを防止するために、従来のデインタレース処理アルゴリズムは動き補償技法を用いている。これらのアルゴリズムは、連続フィールドを統合または補間する前に、２つの追加的ステップを含む。すなわち、インタレース走査フィールドのシーケンスから物体の動きを検出する動き検出ステップと、画像内容をシフトすることでその動きを補償する動き補償ステップである。

図４ａは、図３ａの例における動き補償に基づく簡素なデインタレース処理アルゴリズムを示す。図３ｂに示された線形フィルタリング処理アルゴリズムに加え、時間（ｎ−１）および時間（ｎ＋１）における参照フィールド、つまり時間ｎにおける対象フィールドの前フィールドおよび次フィールドを、物体の動きを補償するために水平方向にシフトする。上記２つの参照フィールドにおいてシフトされた走査線は、対象フィールドの欠落した走査線の代用として用いられ、この例の場合では、オリジナルフレームの完全な復元画像４１１となる。

このアルゴリズムは、水平方向の動きを適切に処理できるが、時間（ｎ＋１）のフレームにおいては、図４ｂに示すように垂直方向の動きの処理をしばしば失敗し、別の種類の問題なアーチファクトを生じてしまう。ここで、動いている物体の垂直速度は、どちらの場合でも同じであり、つまり、フレーム毎に１全解像度画素である。しかしながら、垂直速度の正確な量は、全解像度シーケンスからのみ特定することができ、インタレース走査シーケンスからは特定できない。また、この方式によれば、垂直動きの補償は、サブサンプリング率Ｋ、すなわち、フレーム毎に３、６、９、．．．画素をサブサンプリングするステップにてのみ行うことができる。

動きベクトルがわかっていれば全解像度シーケンスを正確に復元できる改良されたデインタレース処理アルゴリズムが知られている（非特許文献１）。シャノンのサンプリング定理の一般説によれば、最大周波数が１／Ｔである帯域限定信号は、Ｎ個の独立したサンプル群から正確に復元でき、各サンプル群はサンプリング周波数が２／（ＮＴ）である同じ信号を表している。上記のアルゴリズムでは、対象フレームと前フレームの走査線を２つの独立したサンプル群（Ｎ＝２）とみなし、これら２つの群の間の位相シフトを２本の走査線の距離と動きベクトルによって特定することで、上記一般説を活用している。

図５ａは、一般説であるサンプリング定理に基づくデインタレース処理アルゴリズムを示す図である。黒丸は、インタレース走査シーケンスの既存サンプルを示す。一方、白丸は、対象フレームとして復元されるサンプルを示す。矢印は、時間（ｎ−１）と時間ｎにおけるフィールド間の動きを示す。よって、現時間ｎにおいて、２つのサンプル群、つまり、図５ａに示す黒丸で示された規則的なインタレース走査サンプルと前フィールドの動き伝搬サンプルが存在する。これらの２つのサンプル群から、白丸の位置の欠落したサンプルを算出してもよい。

動きベクトルを特定する処理を図５ｂに示す。対象フィールド５２０の物体５３０は、インタレース走査シーケンスの前フィールド５１０と比べて移動している。対応する動きベクトルを特定するために、各フィールドを、複数の画素５０１からなる複数のブロックに分割する。前フィールドのブロック５５０をシフトし、画素ごとに対象フィールドの内容と比較する。一致度を評価する手法として、各画素値の平均２乗差分が従来から用いられている。対象フィールドと最も一致するシフト位置は、当該ブロックの動きベクトル５６０を定義するために使用される。

デインタレース処理を目的として、動きベクトルは少数画素精度の解像度で特定されなくてはならない。上記の動き検出アルゴリズムを、オリジナルフィールドの拡大画像および補間画像に対して行う。
Ｐ．Ｄｅｌｏｎｇｅら「Ｉｍｐｒｏｖｅｄ Ｉｎｔｅｒｐｏｌａｔｉｏｎ，Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ，ａｎｄ Ｃｏｍｐｅｎｓａｔｉｏｎ ｆｏｒ Ｉｎｔｅｒｌａｃｅｄ Ｐｉｃｔｕｒｅｓ」、ＩＥＥＥ Ｔｒａｎｓ．Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、３：４８２〜４９１、１９９４

言うまでもなく、このアルゴリズムの性能は、動きベクトルの精度に非常に影響される。しかしながら、デインタレース処理アルゴリズムでは、動きベクトルはエリアシングノイズを含む低解像度シーケンスから検出される。このエリアシングノイズにより、完全な一致が存在しなくなるため、動き検出アルゴリズムは少数画素精度の動きを検出できない。ノイズやオクルージョンのない平行移動の動きだけが存在する場合であっても、エリアシングノイズで歪められた２つのフィールドの補間サンプルは、互いに異なるものになってしまう。完全な一致が存在するのは、画素精度によるシフトを行った場合だけである。しかしながら、２つのサンプル群は一般説であるサンプリング定理の独立性要件を満たさないため、つまり、２つのサンプル群は追加的情報を含まないため、画素精度によるシフトの動きベクトルはデインタレース処理アルゴリズムには意味のないものである。インタレース走査映像シーケンスから検出された動きベクトルは本来正確なものではないため、復元された映像シーケンスの質を大いに劣化させる動き補償アーチファクトが引き起こされる。

よって、以下のような「ニワトリが先か卵が先か」の状況になる。つまり、信号を適切にデインタレースするためには、正確な動きベクトルが必要である。一方、動きベクトルは、エリアシングアーチファクトのない信号すなわち適切にデインタレースされた信号があってこそはじめて正確に検出できる。

そこで、本発明は、かかる問題に鑑みてなされたものであって、正確に特定された動きベクトルを必要としない改良されたデインタレース処理方法とその装置を提供することを目的とする。

上記目的は、独立請求項に記載の特徴により実現される。
実施の形態は、従属請求項に相当する。

本発明は、復元された全解像度フレームのブロックの欠落した走査線を別フィールドの走査線で代用することと、復元ブロックのために算出する滑らかさの基準を最適化するように上記代用走査線を平行移動および順序置換してフィールド内動きを処理することを特徴とする。

本発明の第一の形態は、フィールドの飛び越し走査線シーケンスから全解像度フレームを復元する画像復元方法であって、前記飛び越し走査線シーケンスの前記フィールドのうち対象フィールドおよび少なくとも一つの参照フィールドを受け取るステップと、前記対象フィールドの対象ブロックの走査線と前記少なくとも一つの参照フィールドの参照ブロックの走査線とを統合して、前記対象ブロックを垂直方向にアップサンプリングする第１アップサンプリングステップと、前記第１アップサンプリングステップによりアップサンプリングされた前記対象ブロックの画素データの滑らかさを表す滑らかさ値を特定する滑らかさ特定ステップと、前記第１アップサンプリングステップによりアップサンプリングされた前記対象ブロックの前記滑らかさを最適化するために、前記滑らかさ特定ステップにより特定された前記滑らかさ値に基づいて、前記少なくとも一つの参照フィールドにおける前記参照ブロックの位置を特定する位置特定ステップとを含み、前記位置特定ステップでは、前記滑らかさ値が最適となる参照ブロックの位置を特定し、前記第１アップサンプリングステップでは、前記位置特定ステップで特定された前記滑らかさ値が最適となる参照ブロックの位置にある参照ブロックを用いて、前記統合をすることを特徴とする。

本発明の別の形態は、フィールドの飛び越し走査線シーケンスから全解像度フレームを復元する画像復元装置であって、前記飛び越し走査線シーケンスの前記フィールドのうち対象フィールドおよび少なくとも一つの参照フィールドを受け取る手段と、前記対象フィールドの対象ブロックの走査線と前記少なくとも一つの参照フィールドの参照ブロックの走査線とを統合して、前記対象ブロックを垂直方向にアップサンプリングする第１アップサンプリング手段と、前記第１アップサンプリング手段によりアップサンプリングされた前記対象ブロックの画素データの滑らかさを表す滑らかさ値を特定する滑らかさ特定手段と、前記第１アップサンプリング手段によりアップサンプリングされた前記対象ブロックの前記滑らかさを最適化するために、前記滑らかさ特定手段により特定された前記滑らかさ値に基づいて、前記少なくとも一つの参照フィールドにおける前記参照ブロックの位置を特定する位置特定手段とを含み、前記位置特定手段は、前記滑らかさ値が最適となる参照ブロックの位置を特定し、前記第１アップサンプリング手段は、前記位置特定ステップで特定された前記滑らかさ値が最適となる参照ブロックの位置にある参照ブロックを用いて、前記統合をすることを特徴とする。

好ましくは、前記画像復元方法は、さらに、前記対象フィールドおよび前記少なくとも一つの参照フィールドのそれぞれを、複数の画素からなる複数のブロックに分割するブロック分割ステップを含み、前記第１アップサンプリングステップ、前記滑らかさ特定ステップおよび前記位置特定ステップでは、前記ブロック分割ステップでの分割で得られたブロックを対象として、それぞれの処理が行われる。これにより、局所的に非同次で異方性の動きを算出できる。

好ましくは、前記飛び越し走査線シーケンスの前記フィールドの各フィールドは、前記全解像度フレームの垂直解像度よりもＫ（Ｋは、１より大きい整数）倍低い垂直解像度を有し、前記対象フィールドおよび前記少なくとも一つの参照フィールドは、前記飛び越し走査線シーケンスの前記フィールドのうちのＫ個のフィールドであり、前記第１アップサンプリングステップでは、前記対象ブロックの走査線をＫ−１個の前記参照フレームから一つずつ取り出されたＫ−１個の参照ブロックの走査線と統合することにより、前記対象ブロックはアップサンプリングされる。

特に、Ｋは、２であり、前記フィールドの前記飛び越し走査線シーケンスはインタレース走査映像信号を表してもよい。しかしながら、本発明は、Ｋは３に等しい一般的な飛び越し走査線シーケンスにも応用できる。

好ましくは、前記対象フィールドおよび前記少なくとも一つの参照フィールドは、前記飛び越し走査線シーケンスの前記フィールドのうちのＫ個のフィールドである。これにより、インタレース走査シーケンスの後続フィールドは基本的に同じ画像内容を表すため、最適な復元結果を期待できる。

本発明によれば、前記画像復元方法は、さらに、前記第１アップサンプリングステップによりアップサンプリングされた複数の対象ブロックから一つの全解像度フレームを合成するブロック合成ステップを含んでもよい。これにより、各フレームが飛び越し走査シーケンスの各フィールドに対応する全解像度フレームの全シーケンスも、復元できる。

好ましくは、前記画像復元方法は、さらに、水平補間を行うことにより前記対象フィールドおよび前記少なくとも一つの参照フィールドを水平方向にアップサンプリングする第２アップサンプリングステップを含む。

好ましくは、前記第２アップサンプリングステップでは、前記対象フィールドおよび前記少なくとも一つの参照フィールドを水平方向に２倍または４倍にアップサンプリングする。これにより、これらのフィールドのそれぞれの間の水平動きは少数画素精度の解像度で扱うことができる。

好ましくは、前記滑らかさ特定ステップは、画素データのブロックの滑らかさを数値で表す所定の目的関数を評価することによって、前記滑らかさ値を特定する関数評価ステップを含む。前記滑らかさ特定ステップは、離散型フーリエ変換、離散型余弦変換、またはウェーブレット変換をアップサンプリングされた前記対象ブロックに対して行い、アップサンプリングされた前記対象ブロックの高周波要素を表す変換係数の累乗を算出することによって、前記滑らかさ値を特定するステップを含んでもよい。また、前記滑らかさ特定ステップは、アップサンプリングされた前記対象ブロックにおいて隣接する複数の画素の画素値差分を算出することによって、前記滑らかさ値を特定するステップを含んでもよい。また、前記滑らかさ特定ステップは、アップサンプリングされた前記対象ブロックにおいて隣接する複数の画素の画素値差分を含む項の合計を算出することによって、前記滑らかさ値を特定するステップを含んでもよい。これらの方法のいずれも、容易に実現可能であり、ブロックの滑らかさの信頼性のある定量的な度合いを提供する。

好ましくは、前記位置特定ステップは、前記滑らかさ特定ステップにて特定された前記滑らかさ値に対して最適化処理を行うステップを含む。これにより、アップサンプリングされた対象ブロックの最適な復元画像を選択できる。また、最適化アルゴリズムは、この特殊な最適化問題に対して最も性能のよい従来技術から選択してもよい。

好ましくは、前記位置特定ステップは、前記少なくとも一つの参照フィールドの前記参照ブロックを垂直方向および／または水平方向にシフトすることによって、前記滑らかさ値が最適となる参照ブロックの位置を特定するシフトステップを含む。また、前記シフトステップでは、アップサンプリングされた前記対象ブロックの前記滑らかさを最適化するように、前記滑らかさ特定ステップにて特定された前記滑らかさ値に基づいて、前記シフトが行われてもよい。これにより、参照ブロックの複数の異なる位置を検査でき、最も滑らかな対象ブロックになる位置を選択できる。

好ましくは、前記画像復元方法は、さらに、前記飛び越し走査線シーケンスの前記フィールドから前記参照フィールドを選択する選択ステップを含み、前記第１アップサンプリングステップおよび前記位置特定ステップでは、前記選択ステップで選択された参照フィールドを、前記少なくとも一つの参照フィールドとして、それぞれの処理が行われる。また、好ましくは、前記選択ステップは、アップサンプリングされた前記対象ブロックの前記滑らかさを最適化するように、前記滑らかさ特定ステップにて特定された前記滑らかさ値に基づいて行われる。これにより、最適な復元結果をもたらすフィールドを走査線飛び越しフィールドのシーケンスから選択できる。

好ましくは、前記画像復元方法は、さらに、前記参照フィールドの走査線をアップサンプリングされた前記対象ブロックに統合するシーケンスを特定するシーケンス特定ステップを含む。また、前記シーケンス特定ステップは、アップサンプリングされた前記対象ブロックの前記滑らかさを最適化するように、前記滑らかさ特定ステップにて特定された前記滑らかさ値に基づいて行われる。これにより、参照ブロックの走査線を対象ブロックに統合する特別な方法は、最適な復元結果になるよう最適化できる。

本発明により、正確に特定された動きベクトルを必要としないデインタレース処理が実現される。

つまり、従来の動きベクトルを用いたフィールド間補間によるデインタレース処理ではインタレース走査映像シーケンスから検出された動きベクトルが本来の正確なものではないために、復元された映像シーケンスの質を大いに劣化させる動き補償アーチファクトが引き起こされるが、本発明によれば、動きベクトルを必要とすることなく、エリアシングアーチファクトを抑制しつつ、垂直解像度を向上させることが可能なデインタレース処理が実現される。つまり、従来手法（ブロックマッチングなど）により探索した精度の悪い動きベクトルを用いたデインタレースに比べ、本発明により、正確なデインタレースが実現される。

以下、本発明に係る画像復元方法の実施の形態について、図面を参照しながら詳細に説明する。

本発明は、自然な画像は滑らかである傾向がある、つまり、輝度値および色差値が空間方向において連続して変化する傾向があるという知見に基づいている。また、自然な画像の滑らかさは、撮像システムのピンボケによって画像取得処理においてさらに向上する。ピンボケは、物理的および／または技術的限界の副作用であってもよいし、後続サンプリングステップでのエリアシングアーチファクトを防止する意図的な低域フィルタリング（アンチエリアシングフィルター）の結果であってもよい。

光学撮像システムのピンボケ効果は、いわゆる点広がり関数によって説明できる。点広がり関数は、光学システムの撮像特性を近似させる線形フィルタのインパルス応答である。たとえば、デジタルカメラでは、図６ａに示すように、点広がり関数は、通常、ガウス関数６１０により近似させることができる。入力画像は、点広がり関数によって畳み込まれ、シャープなエッジやインパルスのない記録画像となる（図６ｂ参照）。

この論理に従えば、適切にデインタレース処理されたフレームは滑らかでなくてはならず、人工的な高周波数を含むインタレースアーチファクトを含んでいてはならないという結論に達するであろう。したがって、デインタレース処理されたフレームの滑らかさは、最適なデインタレース処理フレームを特定するための基準として用いることができる。

上記を説明するため、偶数サンプル（黒丸）および奇数サンプル（白丸）の異なる組み合わせ（合成）を図６ｃに示す。この１次元の例で、かつ、ダウンサンプリング因子がＫ＝２である場合には、合成された１次元シーケンスは全て同じサンプルを含む（実線曲線で示されたオリジナル信号をサンプリングすることによって得られる）。これらの合成シーケンス間の差分は、偶数サンプルおよび奇数サンプルの一定の画素精度における変位である。合成シーケンスＭｉｘ１およびＭｉｘ２は、図の一番下の合成シーケンスより強い不連続性を有することがわかる。この一番下のシーケンスは最も滑らかな合成シーケンスであるため、デインタレース処理の問題を最適に解決するシーケンスであると考えられる。

本発明は、対応フィールドに欠落している走査線を別のフィールド、たとえば、前方フィールドの走査線で代用し、復元画像の「滑らかさ」を最適化するためにその代用走査線を垂直方向および水平方向に平行移動することによって、全解像度シーケンスのフレームを復元することを特徴とする。これにより、垂直方向においてインタレース処理画像の（誤った）補間に基づく動きベクトルの類推的な決定を防止することができる。

局所的な動きに対応するため、上記の処理はブロック毎に行われる、すなわち、対象フィールドは、独立して復元される複数のブロックに分割される。

滑らかさを最適化するために、画素データのブロックの滑らかさの度合いを数値で表す目的関数Ｓが定義されている。たとえば、この関数は、以下の数式に示すように、複数の隣接画素から算出された画素絶対値差分または画素２乗差分の（重み付け）加算を含んでもよい。

ここで、ｐは画素データを示す。また、離散型フーリエ変換、余弦変換、または、ウェーブレット変換を、画素データのブロックに対して行ってもよく、また、以下の数式（２）に示すように、滑らかさを数値で表すために、高い画素周波数を示す変換係数を用いてもよい。

ここで、Ｐはｐが変換した結果であり、ωｃは最小周波数を示す。
いずれにおいても、本発明は、使用される滑らかさの度合いの表し方に限定されるものではない。

復元画像の滑らかさは、勾配上昇（gradient ascent）、焼き鈍し法、遺伝的アルゴリズムなどの周知の最適化アルゴリズムを用いて最適化される。よって、復元画像の滑らかさは目的関数（コスト関数）と考えられ、代用走査線の水平方向および垂直方向の平行移動は、目的関数を最適化するために変化させるパラメータと考えられる。また、上記のように定義された目的関数の最適値を、パラメータ空間全体、すなわち、一定の検索範囲内での許容平行移動の全ての中から検索してもよい。

目的関数の最適化のための様々な平行移動をチェックすることに加えて、参照フィールドとして用いられるフィールドを変更してもよい。たとえば、対象フィールドの欠落走査線を代用するために、前方フィールドまたは後方フィールドを参照フィールドとして用いてもよい。また、参照フィールドは、対象フィールドと時間的に隣接する複数のフィールドから、または、フィールドシーケンス全体から選択してもよい。上記の追加的な自由度は、復元フレームの滑らかさをさらに最適化するために使用してもよい。

同様に、本発明は、Ｋ＞２の場合における走査線飛び越し動作を用いて、全解像度シーケンスから生成されたインタレース処理シーケンスを扱ってもよい。この場合には、対象フィールドの欠落した走査線は、他の（Ｋ−１）枚のフィールドの走査線で代用される。たとえば、Ｋ＝３の場合においては、３番目毎の走査線のみを走査線飛び越し動作にて走査し、インタレース走査線１本につき２本の走査線を、例えば、前フィールドおよび次フィールドの２つの隣接フィールドの走査線で代用しなくてはならない。代用走査線をシフトすることに加え、異なる複数のフィールドの代用走査線の順序を置換してもよい。たとえば、Ｋ＝３の場合において、走査線２、３、５、６、８、９、．．．を、前フィールドおよび次フィールドの走査線で代用するとする。ここで、走査線２、５、８、．．．を前フィールドから選択し、走査線３、６、９、．．．を次フィールドから選択してもよいし、この逆でもよい。Ｋ＞３の場合においては、さらなる順序置換を行うことも可能である。上記の追加的な自由度を、復元フレームの滑らかさをさらに最適化するために使用してもよい。

図７ａは、本発明に係る、Ｋ＝２の場合における、すなわち２つの交互フィールドからなる場合における、飛び越し走査線シーケンスのデインタレース処理の例を示す。時間ｎにおける対象フィールド７１１の全解像度ブロックは、欠落した走査線（白い正方形）を時間（ｎ−１）の前フィールドの同じ大きさのブロックで代用して復元される。前フィールドのブロック７３１の位置を、対象フィールドのブロック７３０に対して平行方向および垂直方向にシフトすることで、復元画像７３５の滑らかさを最適化する。

図７ｂは、本発明に係る、Ｋ＝３の場合における、すなわち、３つの交互フィールドからなる場合における、飛び越し走査線シーケンスのデインタレース処理の例を示す。時間ｎにおける対象フィールド７１１の全解像度ブロックは、欠落した走査線を時間（ｎ−１）の前フィールドおよび時間（ｎ＋１）の次フィールドの同じ大きさのブロックで代用して復元される。前フィールドのブロック７３１および次フィールドのブロック７３２を、対象フィールドのブロック７３０に対してそれぞれ独立して平行方向および垂直方向にシフトすることで、復元画像７３５の滑らかさを最適化する。

図８は、本発明の実施の形態に係るブロック単位走査線合成アルゴリズムの方法を示すフローチャートである。

ステップＳ１０にて、対象フィールドのブロックを選択する。ステップＳ１１にて、参照フィールドの組み合わせを選択する。ここで、使用される参照フィールドを選択すること、および／または、選択された参照フィールドを欠落した走査線へ割り当てることを行ってもよい。たとえば、Ｋ＝２の場合において、選択された参照フィールドの組み合わせは、前フィールドまたは次フィールドのいずれからなるとしてもよい。より一般的には、参照フィールドを、複数の前方フィールドおよび／または後方フィールドのうちから選択してもよい。Ｋ＞２の場合においては、選択された参照フィールドの組み合わせでは、さらに、組み合わせに含まれる選択された参照フィールドの配列を定義してもよい。すなわち、（ｙ ｍｏｄ Ｋ）＝１、２、．．．、Ｋ−１（ここでｙは走査線数を示す）の場合における走査線群と、１番目、２番目、．．．（Ｋ−１）番目の選択された参照フィールドの関係を、定義してもよい。この配列は、代用走査線が対象ブロックに統合される順序、特に、どの走査線がどの参照ブロックにて代用されるか、を定義している。

ステップＳ１２にて、第１のシフト値が初期化され、それは、ステップＳ１３にて、対象フィールドおよび参照フィールドの走査線を合成するために用いられる。このステップについては、図９を参照して、後にさらに詳しく説明する。

ステップＳ１４にて、得られたブロックの滑らかさの度合いＳを算出する。滑らかさの度合いとして、隣接画素の画素絶対値差分の合計を用いてもよい。また、離散型フーリエ変換、余弦変換、または、ウェーブレット変換などの、ブロックの高周波数変換係数の累乗を用いてもよい。しかしながら、本発明は、上記に限定するものではなく、画素データの滑らかさを数値で表す度合いであればどのようなものを用いてもよく、そのような度合いを組み合わせてもよい。

ステップＳ１５にて、算出された値が、前もって算出された最小値Ｓｍｉｎより小さいか否かを判断する。最小値Ｓｍｉｎより小さい場合には、ステップＳ１６にて、現時点の復元ブロックを、新たな最小値となった算出された値とともに格納する。

ステップＳ１７にて、一定の検索範囲内の全てのシフトが判定されたか否かを判断する。全てのシフトが判定されていない場合には、ステップＳ１８にて、各参照フィールドの水平シフトおよび垂直シフトにおける現時点のシフト値を変更し、ステップＳ１３の処理に戻る。全てのシフトが判定された場合には、参照フィールドの可能な組み合わせが全て判定されたか否かを判断する。参照フィールドの可能な組み合わせが全て判定されていない場合には、ステップＳ２０にて、現時点の参照フィールドの組み合わせを変更し、ステップＳ１２の処理に戻る。参照フィールドの可能な組み合わせが全て判定された場合には、現時点の対象フィールドのブロックが全て処理されたか否かを判断する。対象フィールドのブロックが全て処理されていない場合には、ステップＳ１０にて、次のブロックを選択する。対象フィールドのブロックが全て処理された場合には、対象フィールドのデインタレース処理を終了する。

図９にて、対象フィールドの走査線と複数の異なる参照フィールドの走査線をどのように合成するかを示す。この合成では、垂直方向のシフトＶｉのみが行われるため、サンプル間のオーバーラップが生じない。上記が保証されるのは、対象フィールドｉ＝０および各参照フィールドｉ＝１、．．．、Ｋ−１（ここで、Ｋを法とするつまりｖｉ＝Ｖｉ ｍｏｄ Ｋ）の垂直シフトが、それぞれ異なる対になる（対象フィールドのシフトＶ０は０となる）場合である。

まず、最適化ステップの検索範囲を効果的に定義することにより、対象フィールドと各参照フィールドのそれぞれについて、拡張対象ブロックが定義される。ステップＳ１３１にて、各拡張ブロックは、水平補間を行うことにより、水平方向にアップサンプリングされる。ここで、水平方向ではなく垂直方向にのみ飛び越し走査線シーケンスがアンダーサンプリングされているため、上記の補間が実行可能となる。水平アップサンプリングにより、たとえば、２または４倍にアップサンプリングすることにより、水平方向の動きは少数画素精度、すなわち、２分の１画素単位、または、４分の１画素単位の精度で扱うことができる。

水平補間を行うアルゴリズムとして、従来から知られているいかなるアルゴリズムを用いてもよく、特にリニアアルゴリズムやバイリニアアルゴリズムを用いてもよい。

ステップＳ１３２にて、各拡張ブロックは、所望の垂直解像度を満たすために補うべき欠落走査線の数（つまり既存走査線１本につき（Ｋ−１）本の欠落走査線）を挿入することにより、Ｋ倍にアップサンプリングされる。実際の統合ステップを促進させるために、２つの拡張ブロックの非欠落走査線がオーバーラップしないようにアップサンプリング処理を行う。たとえば、非欠落走査線１本の対象ブロックから始め、非欠落走査線の次の欠落走査線１本の第１の参照ブロック、欠落走査線２本の第２参照ブロック、などの順で行うことにより、上記のようなアップサンプリングを実現する。

ステップＳ１３３にて、全てのブロックがステップＳ１３４にて合成される前に、複数の参照ブロックは、水平および垂直シフトパラメータ（Ｈ１、Ｖ１、．．．、ＨＫ−１、ＶＫ−１）に基づいて各拡張ブロック内でシフトされる。

ここで、代用走査線が対象ブロックに挿入されているシーケンスは、垂直にアップサンプリングされたブロックに関して定義された垂直シフトパラメータ（Ｖ１、．．．、ＶＫ−１）の群を用いて特定される。この場合、上記複数のブロックのうちのいずれの２つから得られるサンプルも合成時にオーバーラップしないよう、たとえば、（Ｖｉ ｍｏｄ Ｋ）が異なる対となるよう、シフトパラメータを選択しなくてはならない。

また、垂直シフト処理を垂直アップサンプリング処理前に行ってもよい。この場合、シフトパラメータは、オリジナル垂直フィールド解像度に応じて定義する。また、シフトパラメータを、それぞれ独立して選択してもよい。つまり、サンプルオーバーラップに関して周辺条件を設定しない。また、代用走査線を対象ブロックに挿入する順序は、統合ステップにて制御してもよく、たとえば、選択された参照フィールドの組み合わせに基づいて制御してもよい。

また、欠落走査線が画素値０で表されている場合や、対象ブロックと参照ブロックの非欠落走査線が互いにオーバーラップしないように配置されている場合には、統合ステップＳ１３４を、単に参照ブロックを対象ブロックに追加するよう実現してもよい。

最後に、Ｓ１３５にて、得られたブロックをダウンサンプリングし、元の水平解像度を復元する。

以上のように、本発明に係る画像復元方法は、フィールドの飛び越し走査線シーケンスから全解像度フレームを復元する画像復元方法であって、飛び越し走査線シーケンスのフィールドのうち対象フィールドおよび少なくとも一つの参照フィールドを受け取るステップ（図８のＳ１０、Ｓ１１）と、対象フィールドの対象ブロックの走査線と少なくとも一つの参照フィールドの参照ブロックの走査線とを統合して、対象ブロックを垂直方向にアップサンプリングする第１アップサンプリングステップ（図８のＳ１３）と、アップサンプリングされた対象ブロックの画素データの滑らかさを表す滑らかさ値を特定する滑らかさ特定ステップ（図８のＳ１４）と、アップサンプリングされた対象ブロックの滑らかさを最適化するために、滑らかさ値に基づいて、少なくとも一つの参照フィールドにおける参照ブロックの位置を特定する位置特定ステップ（図８のＳ１２、Ｓ１７、Ｓ１８、Ｓ１９）とを含み、位置特定ステップでは、滑らかさ値が最適となる参照ブロックの位置を特定し、第１アップサンプリングステップでは、位置特定ステップで特定された滑らかさ値が最適となる参照ブロックの位置にある参照ブロックを用いて統合をすることを特徴とする。

これにより、参照ブロックと対象ブロックとを統合してみて滑らかさを評価し、統合後の画像が最も滑らかとなるような最適な参照ブロックを探索して対象ブロックと統合しているので、従来のフィールド間補間で必要とされた動きベクトルを必要とすることなく、エリアシングアーチファクトを抑制しつつ、垂直解像度を向上させることが可能なフィールド間補間によるデインタレース処理が実現される。

つまり、従来手法（ブロックマッチングなど）により探索した精度の悪い動きベクトルを用いたデインタレースに比べ、本発明により、正確なデインタレースが実現される。ここで、本実施の形態のデインタレースにおいても、マージの対象となる最適な参照ブロックを決定するのに動きベクトルを用いてもよい。その場合には、動きベクトルを求めるという点では本手法と従来手法は同一となる。異なるのは動きベクトルの決定方法であり、従来手法では、折り返し歪みの大きいラインスキップ画像同士でブロックマッチングしていたため、動きベクトルが正確に求められなかったのに対し、本手法では、ターゲットと参照画像とをマージした全ライン画像の空間で（代表的には滑らかさを評価値として）評価するため、精度が向上される。

以上、本発明に係る画像復元方法について実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の要旨を変更しない限り、本実施の形態に対して当業者が思いつく変形を施して得られる各種形態も本発明に含まれる。

たとえば、上記では、主に本発明が方法であるとして説明したが、本発明は装置またはソフトウェアとしても同様に実現できる。

たとえば、本発明に係る画像復元装置は、図１０に示されるように、フィールドの飛び越し走査線シーケンスから全解像度フレームを復元する画像復元装置９００であって、ワンチップのＬＳＩ等の半導体集積回路、あるいは、複数の回路及びユニットで構成され、画像取得部９１０、画像記憶部９２０、アップサンプリング部９３０、滑らかさ特定部９４０及び位置特定部９５０を備える。

画像取得部９１０は、カメラ等の映像信号源、あるいは、映像が記録された記録媒体から、飛び越し走査線シーケンスのフィールドのうち対象フィールドおよび少なくとも一つの参照フィールドを取得する処理部である。

画像記憶部９２０は、画像取得部９１０で取得された対象フィールド及び参照フィールドを一時的に記憶するバッファメモリである。

アップサンプリング部９３０は、画像記憶部９２０に記憶された対象フィールドの対象ブロックの走査線と参照フィールドの参照ブロックの走査線とを統合して、対象ブロックを垂直方向にアップサンプリングする処理部である。

滑らかさ特定部９４０は、アップサンプリング部９３０によりアップサンプリングされた対象ブロックの画素データの滑らかさを表す滑らかさ値を特定する処理部である。

位置特定部９５０は、アップサンプリング部９３０によりアップサンプリングされた対象ブロックの滑らかさを最適化するために、滑らかさ特定部９４０により特定された滑らかさ値に基づいて、画像記憶部９２０に記憶された参照フィールドにおける参照ブロックの位置を特定する処理部である。この位置特定部９５０は、滑らかさ値が最適となる参照ブロックの位置を特定するまで、位置の特定と、特定した位置をアップサンプリング部９３０に指示することとを、繰り返す。

なお、アップサンプリング部９３０は、位置特定部９５０で特定された滑らかさ値が最適となる参照ブロックの位置にある参照ブロックを用いて統合することとなるまで、上記統合を繰り返す。そして、このアップサンプリング部９３０は、画像記憶部９２０に記憶された全ての対象フィールドについて、上記統合を終えると、統合後のデータを全解像度フレームとして出力する。

以上のように構成された画像復元装置９００は、上記実施の形態で説明された画像復元方法と同様の処理を行う。これにより、本発明に係る画像復元装置によって、本発明に係る画像復元方法と同様の効果が奏される。

つまり、本発明は、映像データのデインタレース処理の分野に関し、特に、フィールドの飛び越し走査線シーケンスから全解像度フレームを復元する方法およびその装置に関する。本発明は、復元された全解像度フレームのブロックの欠落した走査線を前フィールドなどの別のフィールドの走査線で代用することと、復元ブロックのために算出する滑らかさの度合いを最適化するように代用走査線を垂直方向および水平方向に移動することを特徴とする。これにより、垂直方向においてインタレース処理画像の補間に基づく動きベクトルの誤りが生じやすい類推的な決定を防止することができる。また、本発明は、Ｋ番目毎の走査線のみを走査してＫ−１本の走査線を走査しない走査線飛び越し動作を用いて全解像度シーケンスから生成されたシーケンスに対しても適用することができる。

また、本実施の形態では、統合後のブロックの滑らかさ値が最小となる参照ブロックが探索されたが（図８のステップＳ１５）、本発明はこのような判断基準に限定されるものではなく、例えば、滑らかさ値が予め定められた閾値よりも小さい（滑らかである）ことが判明した場合に、参照ブロックの探索を終了し、その参照ブロックを最適な参照ブロックとしてもよい。探索時間と復元画像の滑らかさの向上とは、トレードオフの関係にあるので、処理時間や画像品質の要求に応じて、それらのパラメータを適宜決定すればよい。

また、本実施の形態では、図１１の補間８００に示されるように、フィールド間補間によってフレームを復元したが、本発明は、フィールド間補間だけに限定されるものではなく、フィールド間補間に加えて、補間８１０に示されるようなフィールド内補間を併用してもよい。

図１１における補間８００は、本実施の形態で説明したフィールド間補間を示している。ここでは、時刻ｔ＝ｎにおけるフィールド（偶数走査線からなるボトムフィールド）８３０を復元対象とし、時刻ｔ＝ｎ−１におけるフィールド（奇数走査線からなるトップフィールド）８２０を参照フィールドとして、フィールド８２０における奇数走査線からなる参照ブロックとフィールド８３０における偶数走査線からなる対象ブロックとを統合してみて滑らかさを評価し、最適な滑らかさ値をもつブロック同士を最終的に統合するというプロセスが示されている。

一方、図１１における補間８１０は、フィールド内補間を示している。ここでは、時刻ｔ＝ｎにおけるフィールド８３０を復元対象とし、当該フィールド内の画素値（偶数走査線の画素値）を用いて補間することで奇数走査線の画素値を算出するというプロセスが示されている。フィールド内補間の演算例としては、隣接する画素の画素値を用いた重み付け加算等がある。

フィールド内補間の併用方法としては、例えば、本実施の形態で説明したフィールド間補間において対象ブロックと統合する参照ブロックを探索しているときに、統合後のブロックの滑らかさ値が予め定められた基準に達しない（滑らかでない）、つまり、適切な参照ブロックが見つからない場合に、当該対象ブロックについては、フィールド内補間を実施するという方法が好ましい。

このようなフィールド間補間とフィールド内補間を併用したデインタレースにより、オクルージョンや画像変形が生じているためにフィールド間補間だけでデインタレースをしたのではかえって画像が不自然に再現されてしまうようなケースにおいて、より自然な画像を復元することができる。

また、本実施の形態では、本発明に係る画像復元方法は、垂直方向に間引かれた映像に対して適用されたが、水平方向に間引かれた映像、あるいは、垂直方向及び水平方向に間引かれた映像に対しても適用してもよい。ここで、水平方向に間引かれた映像とは、例えば、図１２（ａ）に示されるように、第１フィールドが奇数列の画素だけからなり、第２フィールドが偶数列の画素だけからなり、それら第１及び第２フィールドが交互に繰り返される映像シーケンスである。また、垂直方向及び水平方向に間引かれた映像とは、例えば、図１２（ｂ）に示されるように、第１フィールドが奇数行及び奇数列の画素だけからなり、第２フィールドが偶数行及び奇数列の画素だけからなり、第３フィールドが奇数行及び偶数列の画素だけからなり、第４フィールドが偶数行及び偶数列の画素だけからなり、それら第１〜第４フィールドが繰り返される映像シーケンスである。

このように水平方向に間引かれた映像に対しては、本実施の形態における垂直方向に対する処理と水平方向に対する処理とを入れ換えることで、本発明に係る画像復元方法を適用することができ、一方、垂直方向及び水平方向に間引かれた映像に対しては、本実施の形態における処理に、水平方向に必要個数の参照ブロックと対象ブロックとを統合する処理を加えることで、本発明に係る画像復元方法を適用することができる。この場合には、間引き映像は、垂直方向及び水平方向にエリアシングを有するが、実施の形態における水平補間（ステップＳ１３１）は不要となる。

また、本実施の形態では参照ブロックを探索する際に平行移動のみを考慮したが、平行移動に加えて回転や拡大・縮小を考慮してもよい。このとき、参照ブロックを回転あるいは拡大・縮小した結果と対象ブロックとの間で滑らか度の評価を行う。なお、回転や拡大・縮小の度合いは、実際に画像を変形することにより算出してもよいし、ジャイロやズームの情報など撮像装置において別途取得した情報を用いて決定してもよい。

本発明に係る画像復元方法は、フィールド構造の飛び越し走査線シーケンスから全解像度フレームを復元する画像復元装置として、例えば、テレビ、画像表示装置、デインタレース装置、テレビ信号変換器、画像高精細化装置等として、利用することができる。

図１ａは、Ｋ＝２の場合における走査線飛び越し動作を示す図である。 図１ｂは、Ｋ＝３の場合における走査線飛び越し動作を示す図である。 図２ａは、上記走査線飛び越し動作に係る垂直ダウンサンプリングによって生じるエリアシングノイズの効果を示す図である。 図２ｂは、上記走査線飛び越し動作に係る垂直ダウンサンプリングによって生じるエリアシングノイズの効果を示す図である。 図２ｃは、上記走査線飛び越し動作に係る垂直ダウンサンプリングによって生じるエリアシングノイズの効果を示す図である。 図３ａは、Ｋ＝３の場合における走査線飛び越し動作の一例を示す図である。 図３ｂは、図３ａの例に係るデインタレース処理アルゴリズムを示す図である。 図４ａは、図３ａの例に係る別のデインタレース処理アルゴリズムを示す図である。 図４ｂは、さらに、図３ａの例に係る図４ａのデインタレース処理アルゴリズムを示す図である。 図５ａは、サンプリング定理の一般説に基づく従来のデインタレース処理アルゴリズムを示す図である。 図５ｂは、従来のデインタレース処理アルゴリズムに用いる従来の動き検出アルゴリズムを示す図である。 図６ａは、光学画像システムの点広がり関数を示す図である。 図６ｂは、上記点広がり関数によってシャープなエッジを滑らかにすることを示す図である。 図６ｃは、滑らかさにおける奇数サンプルと偶数サンプルとの間の変位の結果を示す図である。 図７ａは、本発明に係るブロック単位走査線合成アルゴリズムを用いてＫ＝２の場合において飛び越し走査線シーケンスをデインタレースする例を示す図である。 図７ｂは、本発明に係るブロック単位走査線合成アルゴリズムを用いてＫ＝３の場合において飛び越し走査線シーケンスをデインタレースする例を示す図である。 図８は、本発明の実施の形態に係るブロック単位走査線合成アルゴリズムを示すフローチャートである。 図９は、本発明の実施の形態に係るブロック単位走査線合成アルゴリズムの走査線合成ステップを示すフローチャートである。 図１０は、本発明の画像復元装置の構成を示す機能ブロック図である。 図１１は、本発明に係るフィールド間補間とフィールド内補間を示す図である。 図１２ａは、水平方向に間引かれた映像シーケンスを示す図である。 図１２ｂは、垂直方向及び水平方向に間引かれた映像シーケンスを示す図である。

符号の説明

１１０、３１０ 全解像度画像（全解像度シーケンス）
１２０、３２０ フレーム
１３０、３３０、４３０ フィールド（飛び越し走査線シーケンス）
３１１、４１１ 復元フレーム（復元画像）
３２１ フィールド
５０１ 画素
５１０ 前フィールド
５２０ 対象フィールド
５３０ 物体
５５０ ブロック
５６０ ベクトル
６１０ ガウス関数
７１０ 前記フィールド
７１１ 対象フィールド
７１２ 次フィールド
７３０ 対象フィールドのブロック
７３１ 前フィールドのブロック
７３２ 次フィールドのブロック
７３５ 復元画像
８００ フィールド間補間
８１０ フィールド内補間
８２０ 参照フィールド（トップフィールド）
８３０ 対象フィールド（ボトムフィールド）
９００ 画像復元装置
９１０ 画像取得部
９２０ 画像記憶部
９３０ アップサンプリング部
９４０ 滑らかさ特定部
９５０ 位置特定部

Claims (22)

1. フィールドの飛び越し走査線シーケンスから全解像度フレームを復元する画像復元方法であって、
   前記飛び越し走査線シーケンスの前記フィールドのうち対象フィールドおよび少なくとも一つの参照フィールドを受け取るステップと、
   前記対象フィールドの対象ブロックの走査線と前記少なくとも一つの参照フィールドの参照ブロックの走査線とを統合して、前記対象ブロックを垂直方向にアップサンプリングする第１アップサンプリングステップと、
   前記第１アップサンプリングステップによりアップサンプリングされた前記対象ブロックの画素データの滑らかさを表す滑らかさ値を特定する滑らかさ特定ステップと、
   前記第１アップサンプリングステップによりアップサンプリングされた前記対象ブロックの前記滑らかさを最適化するために、前記滑らかさ特定ステップにより特定された前記滑らかさ値に基づいて、前記少なくとも一つの参照フィールドにおける前記参照ブロックの位置を特定する位置特定ステップとを含み、
   前記位置特定ステップでは、前記滑らかさ値が最適となる参照ブロックの位置を特定し、
   前記第１アップサンプリングステップでは、前記位置特定ステップで特定された前記滑らかさ値が最適となる参照ブロックの位置にある参照ブロックを用いて、前記統合をする
   ことを特徴とする画像復元方法。
2. 前記画像復元方法は、さらに、
   前記対象フィールドおよび前記少なくとも一つの参照フィールドのそれぞれを、複数の画素からなる複数のブロックに分割するブロック分割ステップを含み、
   前記第１アップサンプリングステップ、前記滑らかさ特定ステップおよび前記位置特定ステップでは、前記ブロック分割ステップでの分割で得られたブロックを対象として、それぞれの処理が行われる
   ことを特徴とする請求項１記載の画像復元方法。
3. 前記飛び越し走査線シーケンスの前記フィールドの各フィールドは、前記全解像度フレームの垂直解像度よりもＫ（Ｋは、１より大きい整数）倍低い垂直解像度を有し、
   前記対象フィールドおよび前記少なくとも一つの参照フィールドは、前記飛び越し走査線シーケンスの前記フィールドのうちのＫ個のフィールドであり、
   前記第１アップサンプリングステップでは、前記対象ブロックの走査線をＫ−１個の前記参照フレームから一つずつ取り出されたＫ−１個の参照ブロックの走査線と統合することにより、前記対象ブロックをアップサンプリングする
   ことを特徴とする請求項１または２記載の画像復元方法。
4. Ｋは、２であり、
   前記フィールドの前記飛び越し走査線シーケンスは、インタレース走査映像信号を表す
   ことを特徴とする請求項３記載の画像復元方法。
5. Ｋは、３である
   ことを特徴とする請求項３記載の画像復元方法。
6. 前記対象フィールドおよび前記少なくとも一つの参照フィールドは、前記飛び越し走査線シーケンスの前記フィールドのうちのＫ個のフィールドである
   ことを特徴とする請求項１〜５のいずれか１項に記載の画像復元方法。
7. 前記画像復元方法は、さらに、
   前記第１アップサンプリングステップによりアップサンプリングされた複数の対象ブロックから一つの全解像度フレームを合成するブロック合成ステップを含む
   ことを特徴とする請求項１〜６のいずれか１項に記載の画像復元方法。
8. 前記画像復元方法は、さらに、
   水平補間を行うことにより前記対象フィールドおよび前記少なくとも一つの参照フィールドを水平方向にアップサンプリングする第２アップサンプリングステップを含む
   ことを特徴とする請求項１〜７のいずれか１項に記載の画像復元方法。
9. 前記第２アップサンプリングステップでは、前記対象フィールドおよび前記少なくとも一つの参照フィールドは、水平方向に２倍アップサンプリングされる
   ことを特徴とする請求項８記載の画像復元方法。
10. 前記第２アップサンプリングステップでは、前記対象フィールドおよび前記少なくとも一つの参照フィールドは、水平方向に４倍アップサンプリングされる
    ことを特徴とする請求項８記載の画像復元方法。
11. 前記滑らかさ特定ステップは、画素データのブロックの滑らかさを数値で表す所定の目的関数を評価することによって、前記滑らかさ値を特定する関数評価ステップを含む
    ことを特徴とする請求項１〜１０のいずれか１項に記載の画像復元方法。
12. 前記滑らかさ特定ステップは、離散型フーリエ変換、離散型余弦変換、または、ウェーブレット変換をアップサンプリングされた前記対象ブロックに対して行い、アップサンプリングされた前記対象ブロックの高周波要素を表す変換係数の累乗を算出することによって、前記滑らかさ値を特定するステップを含む
    ことを特徴とする請求項１〜１０のいずれか１項に記載の画像復元方法。
13. 前記滑らかさ特定ステップは、アップサンプリングされた前記対象ブロックにおいて隣接する複数の画素の画素値差分を算出することによって、前記滑らかさ値を特定するステップを含む
    ことを特徴とする請求項１〜１０のいずれか１項に記載の画像復元方法。
14. 前記滑らかさ特定ステップは、アップサンプリングされた前記対象ブロックにおいて隣接する複数の画素の画素値差分を含む項の合計を算出することによって、前記滑らかさ値を特定するステップを含む
    ことを特徴とする請求項１〜１０のいずれか１項に記載の画像復元方法。
15. 前記位置特定ステップは、前記少なくとも一つの参照フィールドの前記参照ブロックを垂直方向および／または水平方向にシフトすることによって、前記滑らかさ値が最適となる参照ブロックの位置を特定するシフトステップを含む
    ことを特徴とする請求項１〜１４のいずれか１項に記載の画像復元方法。
16. 前記シフトステップでは、アップサンプリングされた前記対象ブロックの前記滑らかさを最適化するように、前記滑らかさ特定ステップにて特定された前記滑らかさ値に基づいて、前記シフトが行われる
    ことを特徴とする請求項１５記載の画像復元方法。
17. 前記画像復元方法は、さらに、
    前記飛び越し走査線シーケンスの前記フィールドから前記参照フィールドを選択する選択ステップを含み、
    前記第１アップサンプリングステップおよび前記位置特定ステップでは、前記選択ステップで選択された参照フィールドを、前記少なくとも一つの参照フィールドとして、それぞれの処理が行われる ことを特徴とする請求項１〜１６のいずれか１項に記載の画像復元方法。
18. 前記選択ステップは、アップサンプリングされた前記対象ブロックの前記滑らかさを最適化するように、前記滑らかさ特定ステップにて特定された前記滑らかさ値に基づいて行われる
    ことを特徴とする請求項１７記載の画像復元方法。
19. 前記画像復元方法は、さらに、
    前記参照フィールドの走査線をアップサンプリングされた前記対象ブロックに統合するシーケンスを特定するシーケンス特定ステップを含む
    ことを特徴とする請求項１〜１８のいずれか１項に記載の画像復元方法。
20. 前記シーケンス特定ステップは、アップサンプリングされた前記対象ブロックの前記滑らかさを最適化するように、前記滑らかさ特定ステップにて特定された前記滑らかさ値に基づいて行われる
    ことを特徴とする請求項１９記載の画像復元方法。
21. コンピュータプログラム製品であって、
    コンピュータ読み取り可能プログラムコードが実装されたコンピュータ読み取り可能な媒体を備え、
    前記プログラムコードは、請求項１〜２０のいずれか１項に記載の全ステップを実行するためのものである
    ことを特徴とするコンピュータプログラム製品。
22. フィールドの飛び越し走査線シーケンスから全解像度フレームを復元する画像復元装置であって
    前記飛び越し走査線シーケンスの前記フィールドのうち対象フィールドおよび少なくとも一つの参照フィールドを受け取る画像取得部と、
    前記対象フィールドの対象ブロックの走査線と前記少なくとも一つの参照フィールドの参照ブロックの走査線とを統合して、前記対象ブロックを垂直方向にアップサンプリングするアップサンプリング部と、
    前記アップサンプリング部によりアップサンプリングされた前記対象ブロックの画素データの滑らかさを表す滑らかさ値を特定する滑らかさ特定部と、
    前記アップサンプリング部によりアップサンプリングされた前記対象ブロックの前記滑らかさを最適化するために、前記滑らかさ特定部により特定された前記滑らかさ値に基づいて、前記少なくとも一つの参照フィールドにおける前記参照ブロックの位置を特定する位置特定部とを含み、
    前記位置特定部は、前記滑らかさ値が最適となる参照ブロックの位置を特定し、
    前記アップサンプリング部は、前記位置特定部で特定された前記滑らかさ値が最適となる参照ブロックの位置にある参照ブロックを用いて、前記統合をする
    ことを特徴とする画像復元装置。

Images