JP2003274403A

JP2003274403A - 喪失データ回復方法、喪失領域予測装置、プログラムおよび媒体

Info

Publication number: JP2003274403A
Application number: JP2002378368A
Authority: JP
Inventors: Onur G Guleryuz; ジーグラーユズオヌア
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2001-11-26
Filing date: 2002-11-22
Publication date: 2003-09-26
Also published as: US20030103681A1; US7120308B2

Abstract

(57)【要約】【課題】画像／ビデオフレーム内の完全に失われたブ
ロックを、これらブロックを取り囲む空間的情報を用い
て回復する画像回復アルゴリズムを提供する。【解決手段】１つの応用例は、他の回復及びエラー隠
蔽アルゴリズムにとっては問題となるようなテクスチ
ャ、エッジ及び他の画像特徴を含むピクセルの喪失領域
に焦点を当てる。本発明のアルゴリズムは、一般的な雑
音除去アルゴリズムの反復的適用に基づくもので、如何
なる複雑な前処理、セグメント化又はエッジ検出ステッ
プも必要としない。局部的に分散した線形変換及び過完
備雑音除去を使用して、斯様な領域の回復において良好
なＰＳＮＲ性能が得られる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタル信号にお
ける喪失データを回復するアルゴリズムに係り、更に特
定的には該信号におけるデータの喪失領域を、これら領
域を取り囲む情報を用いて予測するアルゴリズムに関す
る。これらアルゴリズムは、主に、画像／ビデオフレー
ムにおけるピクセルの喪失領域を斯かる領域を囲む空間
的情報を用いて予測することにより該画像／ビデオフレ
ームを回復することに向けられたものである。上記アル
ゴリズムの技術は、ソフトウェア、ハードウェア又はこ
れらの組合せにより具現化することができると共に、コ
ンピュータ又は他のプロセッサ制御型装置上で実施化す
ることができる。

【０００２】

【関連技術の説明】多くの画像及びビデオ圧縮利用分野
において、デコーダはしばしばチャンネルの損なわれた
データに対処しなければならず、従って画像回復及びエ
ラー隠蔽アルゴリズムを用いなければならない。多年に
わたり、デコーダがチャンネルエラーの厳しい結果を防
止することを可能にするような多くの技術が提案されて
いる。画像の場合、失われた又は誤ったデータは空間的
に予測されねばならない一方、ビデオに関しては時間的
及び空間的な両予測を試みなければならない。しかしな
がら、以前の技術は、余りに予測エラーが多い、余りに
用途、手順又はデータ同等性に固有のものである、特定
の寸法、形状及び／又はデータの型式の或る範囲のみし
か扱うことができない、強靱さ及び／又は適応性が限ら
れる、並びにビデオフレームに関する動きベクトルのよ
うな特別な情報を要する等の問題を含む種々の問題を被
っている。

【０００３】

【発明が解決しようとする課題】従って、本発明の目的
は上述した問題を克服することにある。

【０００４】また、本発明の他の目的は画像／ビデオフ
レームにおけるデータの喪失領域を、これら領域を囲む
空間的情報を用いて回復する画像回復技術を提供するこ
とにある。

【０００５】

【課題を解決するための手段】本発明の１つの態様によ
れば、デジタル信号中の喪失データを回復する方法が提
供される。該方法は、（ａ）少なくとも何らかのデータ
が喪失している少なくとも１つの領域における非喪失デ
ータ要素をｎ個の層にグループ化するステップであっ
て、前記ｎが１以上の整数であるようなステップと、
（ｂ）前記少なくとも１つの領域における各喪失データ
要素に初期値を割り当てるステップと、前記ｎ個の層の
各々に関して、（ｃ１）層ｎに対して複数の直交変換を
評価するステップと、（ｃ２）選択変換係数を、閾値を
用いて閾値処理（好ましくはハード閾値処理）するステ
ップと、（ｃ３）逆変換処理を実行して、層ｎの中間結
果を得るステップと、（ｃ４）ステップ（ｃ３）におい
て得られた前記層ｎの中間結果に対して、クリッピング
処理が後続する平均化処理を実行して層ｎを回復するス
テップとを有する。

【０００６】好ましくは、上記ステップ（ｃ１）ないし
（ｃ４）は各順次の反復において前記閾値が減少される
ように前記ｎ層に対して反復的に実行され、且つ、ステ
ップ（ｃ１）ないし（ｃ４）は前記ｎ層が各反復におい
て一層細かい細部で回復されるように前記ｎ層の各々に
対して繰り返される。

【０００７】少なくとも何らかのデータが喪失している
前記少なくとも１つの領域は、エッジの特徴又はテクス
チャの特徴の少なくとも一方を含むことができる。

【０００８】一実施例においては、前記デジタル信号は
複数のピクセルを含む画像又はビデオフレームであり、
少なくとも何らかのデータが喪失している前記少なくと
も１つの領域は、喪失している少なくとも幾つかのピク
セルを有する。前記少なくとも１つの領域のピクセルの
全てが喪失していてもよい。

【０００９】前記複数の直交変換は、離散コサイン変換
（ＤＣＴ）及び該変換の所定数の過完備（ｏｖｅｒｃｏ
ｍｐｌｅｔｅ）なシフト、ウェーブレット変換及び該変
換の所定数の過完備なシフト、又はフーリエ変換及び該
変換の所定数の過完備なシフトを有することができる。
好ましい実施例においては、上記ＤＣＴ変換が画像又は
ビデオフレームに関して使用される。ウェーブレット又
はフーリエ変換も、斯様な信号に対して使用することが
できる。他の型式の信号（例えば、非画像又は非ビデオ
信号）に対しては、該特定の信号に依存して、特定の変
換が他のものより良好な結果を提供する。処理されるデ
ータ型式に対して分散的表現をもたらすと予測されるよ
うな変換を使用すべきである。斯様な場合において適切
な変換を選択することは、当業者にとっては、ここに提
示される教示内容に基づいて明らかであろう。

【００１０】他の態様においては、本発明は上述したよ
うな処理動作を実行する１以上の構成要素を含む装置に
関連する。斯様な構成要素は、例えば、汎用マイクロプ
ロセッサ若しくは１以上の特定用途用集積回路（ＡＳＩ
Ｃ）、デジタル信号処理回路等、又はこれらの組合せを
含むことができる。

【００１１】本発明の更に他の態様によれば、上述した
方法又は斯かる方法のステップの何れかを命令のプログ
ラム（例えば、ソフトウェア）に具現化することがで
き、該プログラムは実行のためにコンピュータ又は他の
プロセッサ制御型装置に記憶し又は斯かる装置に伝送す
ることができる。他の例として、上記命令のプログラム
は１以上の前記ステップを実行するように設計されたハ
ードウェア（例えば、１以上のＡＳＩＣ、デジタル信号
処理回路等）と統合することができる。

【００１２】他の目的及び達成事項並びに本発明の完全
な理解は、添付図面に関連してなされる以下の説明及び
請求項を参照することにより明らかになり且つ認識され
るであろう。尚、図面において同様の符号は同様の部分
を示している。

【００１３】

【発明の実施の形態】Ａ．概要本発明の画像／ビデオフレーム回復アルゴリズムは、主
に、空間的予測のみを用いた喪失データの回復に関する
ものである。ビデオに関しては、上記アルゴリズムの技
術は、そのままで、例えば一般的ＭＰＥＧアルゴリズム
における重大に損なわれた動きベクトル及び／又は内部
マーク付けされた（ｉｎｔｒａ−ｍａｒｋｅｄ）マクロ
ブロックを含む場合におけるように、時間的予測が可能
でないか又は賢明でないような場合に直接適用すること
ができる。本発明のアルゴリズムが主に完全に失われた
画像／ビデオフレームブロックの回復に関するものであ
るが、該アルゴリズムはそのように限定されるものでは
ない。むしろ、これらアルゴリズムは、部分的情報が利
用可能であって、喪失データが非長方形の又は不規則な
形状の領域に対応するような状況にも適応することがで
きる。該アルゴリズムは、現方法に対し問題を課すよう
なテクスチャ、エッジ、及び他の特徴を含むような画像
／ビデオフレームブロックの強力な回復にとり特に有効
である。当該アルゴリズムは視覚的現れ及び一様性の重
要性を考慮に入れるが、これらアルゴリズムは回復され
た領域における大幅な尖頭信号対雑音比（ＰＳＮＲ）
（１０×ｌｏｇ_１０（２５５×２５５／平均二乗誤
差））の改善を達成するようにもなっている。

【００１４】図１は、本発明のアルゴリズムを用いた、
標準の画像バーバラの種々のエッジ及びテクスチャ領域
に対する１６×１６ブロックの回復の幾つかの例を示し
ている。

【００１５】この発明の主たる回復アルゴリズムは、過
完備（ｏｖｅｒｃｏｍｐｌｅｔｅ）変換を用いた雑音除
去（ｄｅ−ｎｏｉｓｉｎｇ）に基づくものである。以下
に説明するように、これは、従来の付加的な雑音に対処
するために使用されるものとは異なる雑音除去の適用法
である。ここで使用される“過完備変換を用いた雑音除
去”なる文言は、幾つかの完全な変換が関心の目標領域
に対して評価され、変換係数がハード閾値処理されると
共に逆変換されて幾つかの部分的に雑音除去された領域
を求め、これらが平均化されて最終的結果を得るような
最も単純な形態を指す。係数ｃをハード閾値処理する
と、｜ｃ｜＜Ｔの場合は０となり、それ以外では当該係
数は変化しないままとなる。確立された雑音除去技術と
同様に、使用される変換の役割は非常に重要である。確
かに、当該アルゴリズムの基礎となる動作原理は、使用
される線形変換による分散的（ｓｐａｒｓｅ）画像表現
である。該アルゴリズムの詳細及び本発明に関係する他
の詳細を以下に説明する。Ｂ．アルゴリズム図８のフローチャートを参照すると、当該基本アルゴリ
ズムは、図２に示すように喪失ブロックにおけるピクセ
ルを層にグループ化することにより開始する（ステップ
７７）。これら層は、各層が先行する層からの情報を主
に使用することにより回復されるようにして、即ち層０
が層１を回復するために使用され、次いで、これら両者
が層２を回復するために使用され、等々のようにして、
段階的に回復される。図２に示す層のグループ化は例示
的なものに過ぎない。多くの異なるグループ化が可能で
あり、選択されるものは喪失ブロックの寸法及び形状に
依存する。最初の反復に先立ち、喪失ブロック内の各ピ
クセルに初期値、例えば層１の外側境界の周囲（囲む部
分）から算出された平均値、が割り当てられる（ステッ
プ７８）。初期値として斯様な平均値を使用することは
例示的なもので、代わりとして、該初期値は他の適切な
統計的計算又は１２８若しくは０のような固定の定数を
用いて割り当てることもできる。次に、ステップ７９に
おいて層の計数変数ｉが０に初期化される。ステップ８
０においては、層ｉが求められる。当該アルゴリズムの
次の主たるステップは、目標の層ｉに対する幾つかの完
全な変換を評価することを含む（ステップ８１）。次い
で、変換係数が閾値Ｔを用いて選択的にハード閾値処理
される（ステップ８２）。最初の反復に先立ち、ＴはＴ
_０＞０に設定され、ここでＴ_０は、例えば層１の外側境
界の周囲から算出される標準偏差を表すことができる。
斯様な標準偏差を用いるＴ_０の設定は例示的なもので、
他の例として、Ｔ_０は他の適切な統計的計算を用いて算
出することができるか、又は１２８若しくは２５６のよ
うな固定の定数に設定することもできる。ステップ８３
において、中間結果を発生するために逆変換演算が実行
され、ステップ８４において、これら中間結果が平均化
されると共にクリップ処理されて最終的な回復層ｉを得
る。次いで、この今処理された層ｉは、ステップ８５に
おいてメモリに記憶され又は書き込まれる。ステップ８
１〜８５は、同一の閾値Ｔを用いて各層に対して実行さ
れ、全層に関する雑音除去された結果を発生させる。か
くして、ステップ８６においては、処理すべき他の層が
存在するかが判断される。もし存在するなら、ｉがステ
ップ８７においてインクリメントされ、当該アルゴリズ
ムはステップ８０に戻り、そこで次の層が求められる。

【００１６】好ましい実施例によれば、ステップ７９な
いし８５は上記各層に対して反復的に実行され、各反復
において、ステップ８２において使用される閾値が減少
され、各層は新たな閾値を用いて一層細かな細部で回復
される。かくして、ステップ８８においては、他の反復
が実行されるべきかにつき判断がなされる。もし実行さ
れるべきなら、当該アルゴリズムはステップ８９に進
み、該ステップにおいてＴが減少され、次いでステップ
７９に戻り、該ステップにおいて当該処理は再び開始さ
れる。ステップ８８における判断が、更なる反復を実行
する必要がないとのものである場合は、当該基本アルゴ
リズムは終了する。

【００１７】以下に述べるように、ハード閾値処理によ
る雑音除去は“エネルギ分散”処理であり、該処理は当
該アルゴリズムの成功を層化及びハード閾値処理の選択
的適用に依存したものとさせる。初期閾値Ｔ＝Ｔ_０＞０
（例えば、層１の外側境界の周囲から算出される標準偏
差）を固定し、この閾値を用いた層Ｐの回復を考察す
る、即ち、層Ｐのピクセルが上記閾値Ｔを用いて回復さ
れ、その際に残りのピクセルは変更しないままとされる
ような当該アルゴリズムの段階を考察する。簡略化のた
めに、雑音除去処理においてはＭ×ＭのＤＣＴ及び該Ｄ
ＣＴのＭ^２−１の過完備シフトが使用されると仮定す
る。層Ｐの回復において、当該画像における層Ｐにない
全ピクセル、即ち先行する層及び後続する層に存在する
全ピクセルが固定値を有すると仮定する。また、初期Ｄ
ＣＴは図３における“ＤＣＴ（Ｍ×Ｍ）タイル化１”に
対応すると仮定する。ＤＣＴ係数を評価することにより
開始する。次いで、各ＤＣＴブロックに対して、このブ
ロックが層Ｐと重なるかが判断される。重なりがない場
合は、次いで、このブロックの係数のハード閾値処理は
実行されない。重なりがある場合は、ｘ及びｙ方向にお
ける層Ｐの外側境界との重なりの程度を計算し、ｋ番目
のＤＣＴブロックに関してｏ_ｘ（ｋ）及びｏ_ｙ（ｋ）を
得る。ｏ_ｘ（ｋ）≦Ｍ／２又はｏ_ｙ（ｋ）≦Ｍ／２な
ら、ｋ番目のＤＣＴブロックの係数はハード閾値処理さ
れる。この選択的なハード閾値処理の後、逆変換して第
１の、部分的に雑音除去された、ピクセルの層Ｐを発生
させる。この処理を残りのＭ^２−１の過完備変換に関し
て繰り返し、各々、層Ｐのピクセルに関する部分的に雑
音除去された結果を発生させる。図４の（ａ）ないし
（ｄ）は、Ｍ×ＭのＤＣＴの幾つかの他の例示的過完備
シフトに対する選択的ハード閾値処理を示している。層
Ｐに対する最終的結果は、上記の部分的結果を平均し、
続いて該層のピクセルを有効なピクセル値範囲（グレイ
スケール画像に対しては０〜２５５）にクリップ処理す
ることにより得られる。勿論、該最終的結果を発生させ
るために全てのＤＣＴ係数を評価する必要はない。

【００１８】閾値Ｔを用いて、層１から開始して全ての
層に関して雑音除去された結果を発生させた後、上記閾
値は減少され（Ｔ→Ｔ−ΔＴ）、全処理が該減少された
閾値を用いて繰り返される。該アルゴリズムは、Ｔが予
め選定された最終閾値Ｔ_Ｆに達すると、終了される。閾
値の選択は下記の指針に従ってなされる。Ｔ_０は、該閾
値が回復されるべきピクセルにおけるエラーの標準偏差
（例えば、層１の外側境界の周囲から算出される標準偏
差）と概ね比例するように選定される。最終閾値Ｔ
_Ｆは、該閾値が考察中の画像又はビデオフレームの領域
における予測不可能な成分の標準偏差に概ね比例するよ
うに選定される。例えば、画像が幾らかの付加的ホワイ
トノイズ（捕捉装置又は何らかの他の雑音発生現象によ
り）を含む場合は、Ｔ_Ｆは、このノイズの標準偏差とし
て設定することができる。Ｔ_Ｆ＝５又はＴ_Ｆ＝６が、斯
様な筋書きにおける典型的な設定である。ΔＴは、所望
の反復数ｄ_ｎに関して、（Ｔ_０−Ｔ_Ｆ）／ｄ_ｎと設定す
ることができる。良好な品質の結果のためには、ｄ_ｎ＞
１００及びΔＴ＝０．１又はΔＴ＝０．２が典型的な選
択である。当該アルゴリズムの改善の殆どは、通常は、
最初の数回の反復におけるものであり、中間の品質結果
に対してはｄ_ｎ＜１００と選定することができる。

【００１９】過完備シフトの部分集合のみを考慮する、
及び／又は異なる変換を利用することも可能であること
に注意されたい。ウェーブレット及びウェーブレットパ
ケット等の他の変換に関しては、当該アルゴリズムの処
理は、前記重なりの計算が選択的ハード閾値処理の間に
僅かに一層関わることになる点を除き、同様である。こ
れらの変換は各係数に対して変化するサポート（ｓｕｐ
ｐｏｒｔ）の基底関数を有しているから（帯域に依存す
る）、当該係数の選択的閾値処理の間に特定の係数とな
るような変換基底関数のサポート及び位置を使用するこ
とが賢明である。Ｃ．閾値処理を使用する雑音除去及び回復閾値処理及び過完備変換を使用した雑音除去は、関心の
信号とは相関がないと見なされる付加的雑音に対処する
ために主に使用される確立された信号処理技術である。
失われたブロックは、元の画像に作用する特別な雑音処
理の結果と見ることができる。しかしながら、伝統的な
場合と異なり、この雑音処理は元の画像とは相関がない
ものではない。とにかく、雑音除去の背後にある基本的
直感が本アルゴリズムへと推進させ、該アルゴリズムは
高い信号対雑音比（ＳＮＲ＝１０×ｌｏｇ_１０（信号エ
ネルギ／平均二乗誤差））の変換係数を維持する一方、
低いＳＮＲを持つ係数を零にする。

【００２０】ｃが元の画像の変換係数を示し、ｃ＾が雑
音画像、即ち喪失したブロックを含む画像内の対応する
係数であるとする。かくして、であり、ここでｅは雑音を示す。に注意されたい。零平均確率変数を仮定する分散は、と表すことができる。伝統的な場合との差は、式（３）
における非零相関項Ｅ［ｃｅ］に現れる。本発明のアル
ゴリズムの基礎となる主たる仮定は、変換係数を発生す
るために使用される線形変換が、ｃ＾がＴ〜σ_ｅで零に
ハード閾値処理されるなら、高い確率で｜ｃ｜＜＜｜ｅ
｜、即ちハード閾値処理ｃ＾が信号より雑音を多く除去
することを殆ど保証するということである。上記Ｂ節で
説明したアルゴリズムは、零にハード閾値処理された変
換係数により、喪失ブロックに対して変更を行う。従っ
て、当該アルゴリズムの好ましい処理においては、関心
の画像領域に対し多くの小さな値の変換係数を典型的に
発生させるような変換が必要とされる。即ち、使用され
る変換による画像の分散した表現が必要とされる。しか
しながら、分散した画像の表現に加えて、正しい回復に
は、喪失ブロックを囲む領域に依存して、使用される変
換から他の特徴を得ることも重要である。

【００２１】前記層の初期の回復の後に雑音の一部が除
去されていると仮定すると、回復を更に改善するために
閾値が低下される。雑音画像をベクトルｘ（Ｎ×１）に
配列し、Ｈ_１、Ｈ_２、…Ｈ_ｎ（Ｎ×Ｎ）が雑音除去に使
用される正規直交過完備変換を示すものとする。また、
Ｇ＝［Ｈ_１Ｈ_２…Ｈ_ｎ］（Ｎ×ｎＮ）が複合変換を示す
ものとする。この場合、これらの変換に関して雑音除去
された画像は、により与えられ、ここでＳ（ｎＮ×ｎＮ）は零及び１の
対角“選択行列”であり、どの係数が零にハード閾値処
理されるかを示す。係数の大きさはＳによる乗算の後は
非増加であるから、雑音除去は信号エネルギを増加し得
ず、通常は“エネルギ分散的”であることが明らかであ
る。これの素直な結果は、対称な正の準確定（ｓｅｍｉ
−ｄｅｆｉｎｉｔｅ）行列ＧＳＧ^Ｔが全て零と１との間
の固有値を持つということである。

【００２２】Ｐ_１が層１への投影を示す、即ち層１内に
ある場合にはＰ_１ｘのｉ番目の成分はｘのｉ番目の成分
に等しく、それ以外では零に等しいとする。この場合、
当該アルゴリズムが層１に関して第１回目に実行された
後の画像は、により与えられ、ここで、添え字は層及びハード閾値処
理に使用される閾値を追跡するために導入されている。
式（４）における一般的な雑音除去処理はエネルギ散乱
的であるが、本発明のアルゴリズムは式（５）における
投影により斯かる特性を有していない、即ち雑音除去は
一度には１つの層にしか影響することが許されないか
ら、この層におけるピクセル値は残りのピクセルにおい
ては減少されたエネルギを有するという結果無しで、増
加されたエネルギを有することができる。Ｄ．変換特性使用された変換による分散的画像表現に加えて、当該ア
ルゴリズムの改善された動作には他の特徴も望ましい。Ｄ．１．周期的特徴に対する性能喪失ブロックを取り囲む局部的に周期的な領域を考察す
る。ここで明確にされた原理は、周期定常過程を使用す
ることによりランダムな設定に素直に拡張することがで
きる。この場合、変換は周囲から周期性を推定するため
に充分なサイズを有すべきである。或る方向における〜
Ｓによる空間的周期性は対応する方向における〜１／Ｓ
により分離された周波数成分を意味するから、使用され
る変換は対応する周波数選択性を有すべきである。これ
が、本アルゴリズムを用いた回復の例を示す図５におい
て、特に上側の行に示す人工的に発生された（８ピクセ
ルの周期性の）パターンについて確認され、該パターン
は８×８ＤＣＴ及びウェーブレットパケットを用いて完
全に回復されている。図５の下側の行は、標準の画像バ
ーバラの或る領域からの回復の例を示している。Ｄ．２．エッジに対する性能喪失ブロックが、線により分割された２つの一定値の領
域にわたると仮定する。この場合、使用される変換は、
上記線の傾き及び該線の当該喪失ブロックとの交差を好
ましくは複素ウェーブレットにより提供されるもののよ
うな方向的感度を伴って決定するために、充分なサイズ
を有する必要がある。一定の領域にわたり、非常に小さ
なサイズのＤＣＴでさえも分散的表現を提供するが、こ
れらＤＣＴは、図６の第１群のシミュレーションにおい
て４×４ＤＣＴ及び５×５ＤＣＴに関して並びに第２群
において８×８ＤＣＴに関して示すように、上記分離線
を正しく補間する能力に不足している。ウェーブレット
及びＤＣＴに関して、発明者は、主にエッジが水平、垂
直及び±４５°対角線である場合、エッジ領域に対する
良好な性能を観測した。複素ウェーブレットの方向的感
度及び大きなＤＣＴの周波数選択性は、他の場合に利点
を提供すると思われる。Ｅ．空間的予測可能性及び閾値図７の（ａ）に示すように、空間的な周囲環境が喪失ブ
ロック内におけるピクセルの分布に関しての充分な手掛
かりを提供しない場合は、本アルゴリズムは余り好まし
いＰＳＮＲ性能は有さない。しかしながら、予測可能性
は、図７の（ｂ）に示すような一層好ましい環境の下で
さえも、絶対の効果を有している。当該アルゴリズムが
減少された閾値を用いて細部を回復しようと試みるよう
な或る点を超えて該アルゴリズムのＰＳＮＲ性能が低下
される場合を考察する。見られるように、反復５０を超
えて付加される細部は、殆ど雑音状で、空間的に予測不
可能なものと思われる。斯様な場合には、最終閾値Ｔ_Ｆ
は、先に概説したように、斯かる問題を避けるように選
択されなければならない。

【００２３】部分的に又は完全に予測不可能な場合にお
いてさえも、回復された領域の視覚的品質は非常に良好
で、これらの領域は周囲と視覚的に一致していることに
注意されたい。Ｆ．シミュレーションの詳細上述した主アルゴリズムが異なる変換を用いて以下のよ
うに使用された。全てのウェーブレット変換は、ウェー
ブレットパケット（完全なツリー）及び複素ウェーブレ
ットを含み、４つのレベルまで評価される。（複素）ウ
ェーブレット変換は最初のレベルで完全に過完備であ
り、その後臨界的に間引きされ、結果として４×の冗長
度となる。ＤＣＴに基づく結果は完全に過完備である。
層としての長方形のシェルの選択、及び反復の性質によ
り、４重の対称性（左右／上下／対角）が重要となる。
ＤＣＴは基底関数に組み込まれた斯様な対称性を既に有
し、使用される複素ウェーブレットは構成により４重の
対称性に繋がるが、直交ウェーブレットバンク（Ｄａｕ
ｂｅｃｈｉｅｓの８タップ）は斯様な対称性は有してい
ない。かくして、直交ウェーブレットバンクに関して
は、当該アルゴリズムは、各層に対して計算を４回繰り
返し、関連画像領域の通常の及び左右／上下／対角の反
転されたものの結果を平均するように修正された。全て
のシミュレーションにおいて、初期閾値は、層１の直ぐ
外側の１ピクセル境界を形成するピクセルの標準偏差と
して設定された。５０反復のみの後の結果を示す図７の
（ｂ）における一番右の画像を除き、最終閾値はＴＦ＝
５であり、全体を通してΔＴ＝０．１である。複素ウェ
ーブレット係数の大きさは、閾値処理される。典型的に
は、初期の反復において殆どのＰＳＮＲの改善が得られ
る。

【００２４】本発明のアルゴリズムは、特に局部的に一
様な領域に対して有効であり、エッジに対して良好な強
さを示す。滑らかな領域に対する該アルゴリズムの性能
も、非常に好ましいものである。一様な領域に対して
は、良好な周波数選択性を持つ変換が好ましいが、エッ
ジにより分離された領域に対しては、使用される変換の
方向的感度も重要となる。一度に１つの層のみを変換係
数の適切なバッファ処理及び更新処理を用いて変更する
ことにより、本アルゴリズムは有利にも大幅な計算の節
約を提供する。雑音除去及び層への投影の反復的使用を
採用することにより、本発明のアルゴリズムは、一連の
交互の適応的投影を実行し、かくして以前の方法とはか
なり相違する。何故なら、本アルゴリズムの動作は、固
定の、データに独立した、凸又は非凸集合に対する一連
の投影には単純化し得ないからである。Ｇ．実施化及び応用図９は、本発明の技術を実施化するのに使用することが
できる例示的なシステム９０を示している。図９に示す
ように、該システムは、計算資源を提供すると共に当該
コンピュータを制御する中央処理装置（ＣＰＵ）９１を
含んでいる。ＣＰＵ９１は、マイクロプロセッサ等を用
いて実施化することができ、グラフィックスプロセッサ
及び／又は数学的計算用の浮動小数点コプロセッサを含
むことができる。システム９０は、更に、ランダムアク
セスメモリ（ＲＡＭ）及び読取専用メモリ（ＲＯＭ）の
形態とすることができるシステムメモリ９２を含んでい
る。

【００２５】図９に示すように、多数のコントローラ及
び周辺装置も設けられている。入力コントローラ９３
は、キーボード、マウス又はスタイラス等の種々の入力
装置９４に対するインターフェースを表している。コン
トローラ９５も存在し、該コントローラは本発明により
処理されるべき画像又は表現を含む文書をデジタル化す
るためのスキャナ９６又は等価な装置と通信する。記憶
コントローラ９７は１以上の記憶装置９８とインターフ
ェースし、これら装置の各々は、本発明の種々の態様を
実施化するプログラムの実施例を含むことが可能なオペ
レーティングシステム、ユーティリティ及びアプリケー
ション用の命令のプログラムを記録するために使用する
ことが可能な磁気テープ若しくはディスクのような記憶
媒体又は光媒体を含む。記憶装置（又は複数の記憶装
置）９８は本発明により処理されるべきデータを記憶す
るために使用することもできる。表示コントローラ９９
は表示装置１０１に対するインターフェースを提供し、
該装置は陰極線管（ＣＲＴ）又は薄膜トランジスタ（Ｔ
ＦＴ）表示器とすることができる。本発明により処理さ
れた画像又は表現を含む文書を印刷するプリンタ１０３
と通信するために、プリンタコントローラ１０２も設け
られている。通信インターフェース１０４は１以上の通
信装置１０５とインターフェースし、該装置はシステム
９０を、インターネット、ローカルエリアネットワータ
（ＬＡＮ）及び広域ネットワータ（ＷＡＮ）を含む種々
のネットワークの何れかを介して、又は赤外線信号を含
む何れかの適切な電磁搬送信号を介して遠隔装置と接続
するのを可能にする。

【００２６】図示のシステムにおいて、全ての主要な構
成要素はバス１０６に繋がり、該バスは２以上の物理的
バスを表すことができる。しかしながら、本発明の特定
の応用に応じて、種々のシステム構成要素は互いに物理
的な近傍に位置するか位置しないようにすることができ
る。例えば、入力データ及び／又は出力データは或る物
理的位置から他の位置へ遠隔的に伝送することができ
る。また、本発明の種々の態様を実施化するプログラム
は、ネットワークを介して遠隔位置（例えば、サーバ）
からアクセスすることもできる。斯様なデータ及び／又
はプログラムは、磁気テープ若しくはディスク又は光デ
ィスクを含む種々のコンピュータ読み取り可能な媒体、
ネットワーク信号、又は赤外線を含む如何なる他の好適
な電磁搬送信号の何れかを介して伝達することができ
る。

【００２７】本発明は便利にはソフトウェアを用いて実
施化することができるが、ハードウェアによる実施化又
は組み合わされたハードウェア／ソフトウェアによる実
施化も可能である。ハードウェアによる実施化は、例え
ば、ＡＳＴＣ（又は複数のＡＳＩＣ）又はデジタル信号
処理回路等を使用して実現することができる。斯様であ
るので、装置読み取り可能な媒体なる用語は、更に、配
線結合された命令のプログラムを有するようなハードウ
ェアも含む。これらの実施化の代替案を考慮に入れて、
各図及び付随する説明は、当業者が、所要の処理を実行
するためにプログラムコード（即ち、ソフトウェア）を
書き又は回路（即ち、ハードウェア）を作製するのに必
要とするであろう機能的情報を提供するものであると理
解すべきである。

【００２８】上記が示すように、本発明は、画像又はビ
デオフレームにおけるデータの喪失領域を、閾値処理を
用いた雑音除去及び分散した画像表現の線形変換に基づ
いて予測するソフトウェア又はハードウェア型のアルゴ
リズム／技術を提供する。これらアルゴリズムは、ネッ
トワーク伝送の間におけるエラーを有するような符号化
された画像及びビデオ用のエラー隠蔽処理、損なわれた
画像の回復、掻き傷の除去等を含む広い範囲の用途を有
する。該アルゴリズムは、例えば通常のＭＰＥＧ方法に
おける重大に損なわれた動きベクトル及び／又は内部マ
ーク付けされた（ｉｎｔｒａ−ｍａｒｋｅｄ）マクロブ
ロックに関わる場合のように、時間的な予測が不可能で
あるか又は賢明でないような場合に直接適用することが
できる。

【００２９】本発明のアルゴリズムは、如何なる特定の
サイズ、形状又はデータ型式の喪失領域に固有のもので
もなく、データが部分的に又は完全に失われた領域に対
しても動作することができる。本アルゴリズムは、非長
方形の領域に拡張することができると共に、１６×１６
より大きな領域に対しても使用することができる。更
に、画像及びビデオフレーム（即ち、２Ｄデータ）への
適用が本アルゴリズムの主要な焦点であるが、これらア
ルゴリズムは、そのように限定されるものではない。む
しろ、本アルゴリズムは１Ｄ、３Ｄ、４Ｄ及びそれより
高い次元のデータに対してさえも容易に適用可能であ
る。例えば、本アルゴリズムは音声又はオーディオデー
タの喪失した区域を充填するために使用することもでき
る。本アルゴリズムは適用に関して如何なる特別な手順
も要しない。本アルゴリズムは、喪失データを予測する
ために如何なる画像、ビデオフレーム、信号号に対して
も動作することができる。喪失データが如何にして失わ
れるようになったかは、本アルゴリズムの動作とは関係
がない。例えば、本アルゴリズムは、エラー隠蔽用途に
おける符号化段階の間において、特別な対策が取られる
ことも又はオーバーヘッド情報が送られることも要さな
い。

【００３０】画像及びビデオフレームの場合、本発明の
アルゴリズムは、喪失データが滑らかな領域、テクスチ
ャ領域、高周波領域、エッジ領域及び周期的領域にわた
って、並びに非常に有利には上記の如何なる組合せにわ
たって延在する場合も容易に処理することができる。即
ち、喪失データは“正確にテクスチャな”領域、“正確
に周期的な”領域等にわたるものである必要はない。当
該喪失データが“概ねテクスチャな”、“概ね周期的
な”等の領域にわたる場合でも、本アルゴリズムは依然
として動作する。２Ｄデータに関しても同様である。こ
のように、本発明のアルゴリズムは、特に従来の技術と
比較して、極めて汎用的である。

【００３１】汎用的であることに加えて、本発明のアル
ゴリズムは強力である。本アルゴリズムは種々の型式の
データ領域を扱うことができるのみならず、これらアル
ゴリズムはどの様な型式の領域に対して動作しようとし
ているかについての入力命令を必要とすることもない。
このように、本アルゴリズムはエッジ、周期的領域、滑
らかな領域、テクスチャ等を検出する別のステップを使
用することもなく、必要とすることもない。このこと
は、特定の型式の領域を他のものから検出することが自
らエラー及び問題を有し、斯様なステップを採用しない
ことにより本アルゴリズムは斯様な問題を防止するとい
う点で、非常に有利である。むしろ、本アルゴリズムは
適応的である。本アルゴリズムは、どの様な型式の領域
に対して動作しているかを発見し、それに応じて喪失デ
ータを予測する。

【００３２】本発明のアルゴリズムは、当該データが他
の座標系内にあるような場合に容易に拡張することがで
きる。即ち、喪失ピクセル値を予測するのに使用するこ
とに加えて、本アルゴリズムは、喪失したＤＣＴ、ウェ
ーブレット又はフーリエ変換係数のような種々の変換の
喪失係数を予測するために一般化することもできる。

【００３３】本発明のアルゴリズムは、予測され／回復
される各領域の視覚的見え方を周囲と一致させるのみな
らず、非常に低い予測誤差しか発生しない。例えば、幾
つかの従来の技術の場合、充填された喪失データは視覚
的に許容可能なものであり得るが、予測とオリジナルと
の間の平均二乗誤差の評価等の目標となる性能の尺度
は、任意に悪い結果を生じ得る。本発明のアルゴリズム
は、典型的には、低い平均二乗誤差となる。本アルゴリ
ズムは、実世界画像に存在するようなエッジ上の“エイ
リアシング防止”ボケを回復することさえ可能である。

【００３４】以上、本発明を幾つかの特定の実施例に関
連して説明したが、当業者にとっては上記説明に照らし
て他の代替案、修正例、変形例及び応用例が明らかであ
ろう。このように、ここで述べた本発明は、添付請求項
の趣旨及び範囲内に入るであろうように、全ての斯かる
代替案、修正例、変形例及び応用例を含むことを意図す
るものである。

【図面の簡単な説明】

【図１】図１は、標準画像バーバラの種々の領域に対す
る、本発明の技術を用いた幾つかの回復例を示す。

【図２】図２は、回復処理におけるピクセルの層の概念
図で、各層は該層を囲む先行する層を用いて回復され
る。

【図３】図３は、本発明の実施例によるＤＣＴタイル化
及び選択的ハード閾値処理の概念図である。

【図４】図４の（ａ）、（ｂ）、（ｃ）及び（ｄ）は、
Ｍ×ＭのＤＣＴの幾つかの他の例示的な過完備シフトに
関するＤＣＴタイル化及び選択的なハード閾値処理の概
念図である。

【図５】図５は、本発明のアルゴリズムを用いた、周期
的な特徴に対する回復の例を示す。

【図６】図６は、本発明のアルゴリズムを用いた、エッ
ジ領域に対する回復の例を示す。

【図７】図７の（ａ）は、回復が成功しない場合の空間
的予測可能性の例を示し、図７の（ｂ）は、回復は成功
するが後の反復において加えられた空間的に予測不可能
な細部が性能を低下させるような場合の空間的予測可能
性の例を示す。

【図８】図８は、本発明のアルゴリズムの基本的処理の
流れを示すフローチャートである。

【図９】図９は、本発明の技術を実施化するのに使用す
ることができる例示的システムを示すブロック図であ
る。

【符号の説明】

９０：システム９１：ＣＰＵ９２：システムメモリ９３：入力コントローラ９４：入力装置９５：スキャナコントローラ９６：スキャナ９７：記憶コントローラ９８：記憶装置９９：表示コントローラ１０１：表示装置１０２：プリンタコントローラ１０３：プリンタ１０４：通信コントローラ１０５：通信装置１０６：バス

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C021 PA73 RA11 RB05 RB06 XB07 YA06 5C059 MA00 MA23 MA24 PP01 RF09 SS06 SS20 SS28 TA76 TC04 TC22 TC42 TD03 TD04 TD12 TD17 UA05 5C078 BA53 BA57 BA58 BA64 CA44 DA22

Claims

【特許請求の範囲】

【請求項１】デジタル信号中の喪失データを回復する
方法において、（ａ）少なくとも何らかのデータが喪失
している少なくとも１つの領域における非喪失データ要
素をｎ個の層にグループ化するステップであって、前記
ｎが１以上の整数であるようなステップと、（ｂ）前記
少なくとも１つの領域における各喪失データ要素に初期
値を割り当てるステップと、（ｃ）前記ｎ個の層の各々
に関して、（ｃ１）層ｎに対して複数の直交変換を評価するステッ
プと、（ｃ２）選択変換係数を、閾値を用いて閾値処理するス
テップと、（ｃ３）逆変換処理を実行して、層ｎの中間結果を得る
ステップと、（ｃ４）ステップ（ｃ３）において得られた前記層ｎの
前記中間結果に対して、クリッピング処理が後続する平
均化処理を実行して層ｎを回復するステップと、を有し
ていることを特徴とする喪失データ回復方法。
【請求項２】請求項１に記載の方法において、ステッ
プ（ｃ１）ないし（ｃ４）は各順次の反復において前記
閾値が減少されるように前記ｎ層に対して反復的に実行
され、且つ、ステップ（ｃ１）ないし（ｃ４）は前記ｎ
層が各反復において一層細かい細部で回復されるように
前記ｎ層の各々に対して繰り返されることを特徴とする
方法。
【請求項３】請求項２に記載の方法において、前記閾
値は各順次の反復において所定の値だけ減少されること
を特徴とする方法。
【請求項４】請求項１乃至３のいずれか一項に記載の
方法において、前記閾値処理するステップがハード閾値
処理するステップを有していることを特徴とする方法。
【請求項５】請求項１乃至４のいずれか一項に記載の
方法において、少なくとも何らかのデータが喪失してい
る前記少なくとも１つの領域が、エッジの特徴又はテク
スチャの特徴の少なくとも一方を含んでいることを特徴
とする方法。
【請求項６】請求項１乃至５のいずれか一項に記載の
方法において、前記複数の直交変換が、離散コサイン変
換及び該変換の所定数の過完備なシフトを有しているこ
とを特徴とする方法。
【請求項７】請求項１乃至６のいずれか一項に記載の
方法において、前記複数の直交変換が、ウェーブレット
変換及び該変換の所定数の過完備なシフトを有している
ことを特徴とする方法。
【請求項８】請求項１乃至７のいずれか一項に記載の
方法において、前記複数の直交変換が、フーリエ変換及
び該変換の所定数の過完備なシフトを有していることを
特徴とする方法。
【請求項９】請求項１乃至８のいずれか一項に記載の
方法において、前記デジタル信号は複数のピクセルを含
む画像又はビデオフレームであり、少なくとも何らかの
データが喪失している前記少なくとも１つの領域は、喪
失している少なくとも幾つかのピクセルを有しているこ
とを特徴とする方法。
【請求項１０】請求項９に記載の方法において、前記
少なくとも１つの領域からのピクセルの全てが喪失して
いることを特徴とする方法。
【請求項１１】デジタル表現中の喪失領域を予測する
装置において、該装置が、少なくとも何らかのデータが喪失している少なくとも１
つの領域における非喪失データ要素をｎ個の層にグルー
プ化し、ここで前記ｎが１以上の整数であるようにし、前記少なくとも１つの領域における各喪失データ要素に
初期値を割り当て、前記ｎ個の層の各々に関して、（１）層ｎに対して複数の直交変換を評価し、（２）選択変換係数を、閾値を用いて閾値処理し、（３）逆変換処理を実行して、層ｎの中間結果を得、（４）前記（３）において得られた前記層ｎの前記中間
結果に対して、クリッピング処理が後続する平均化処理
を実行して層ｎを回復する、ように構成された１以上の
構成要素を有していることを特徴とする喪失領域予測装
置。
【請求項１２】請求項１１に記載の装置において、前
記（１）ないし（４）の動作は各順次の反復において前
記閾値が減少されるように前記ｎ層に対して反復的に実
行され、且つ、前記（１）ないし（４）の動作は前記ｎ
層が各反復において一層細かい細部で回復されるように
前記ｎ層の各々に対して繰り返されることを特徴とする
装置。
【請求項１３】請求項１２に記載の装置において、前
記閾値は各順次の反復において所定の値だけ減少される
ことを特徴とする装置。
【請求項１４】請求項１１乃至１３のいずれか一項に
記載の装置において、前記閾値処理動作がハード閾値処
理を含んでいることを特徴とする装置。
【請求項１５】請求項１１乃至１４のいずれか一項に
記載の装置において、少なくとも何らかのデータが喪失
している前記少なくとも１つの領域が、エッジの特徴又
はテクスチャの特徴の少なくとも一方を含んでいること
を特徴とする装置。
【請求項１６】請求項１１乃至１５のいずれか一項に
記載の装置において、前記複数の直交変換が、離散コサ
イン変換及び該変換の所定数の過完備なシフトを有して
いることを特徴とする装置。
【請求項１７】請求項１１乃至１６のいずれか一項に
記載の装置において、前記複数の直交変換が、ウェーブ
レット変換及び該変換の所定数の過完備なシフトを有し
ていることを特徴とする装置。
【請求項１８】請求項１１乃至１７のいずれか一項に
記載の装置において、前記複数の直交変換が、フーリエ
変換及び該変換の所定数の過完備なシフトを有している
ことを特徴とする装置。
【請求項１９】請求項１１乃至１８のいずれか一項に
記載の装置において、前記デジタル表現は複数のピクセ
ルを含む画像又はビデオフレームであり、少なくとも何
らかのデータが喪失している前記少なくとも１つの領域
は、喪失している少なくとも幾つかのピクセルを有して
いることを特徴とする装置。
【請求項２０】請求項１９に記載の方法において、前
記少なくとも１つの領域からのピクセルの全てが喪失し
ていることを特徴とする装置。
【請求項２１】コンピュータにデジタル表現中の喪失
領域を予測する処理を指令するような命令のプログラム
において、当該プログラムが、（ａ）少なくとも何ら
かのデータが喪失している少なくとも１つの領域におけ
る非喪失データ要素をｎ個の層にグループ化する命令で
あって、前記ｎが１以上の整数であるような命令と、
（ｂ）前記少なくとも１つの領域における各喪失デー
タ要素に初期値を割り当てる命令と、（ｃ）前記ｎ個
の層の各々に関して、（ｃ１）層ｎに対して複数の直交変換を評価する処理、（ｃ２）選択変換係数を、閾値を用いて閾値処理する処
理、（ｃ３）逆変換処理を実行して、層ｎの中間結果を得る
処理、及び（ｃ４）前記（ｃ３）の処理において得られた前記層ｎ
の前記中間結果に対して、クリッピング処理が後続する
平均化処理を実行して層ｎを回復する処理、を実行する
命令と、を有していることを特徴とするプログラム。
【請求項２２】請求項２１に記載のプログラムにおい
て、前記（ｃ）の命令は、前記（ｃ１）ないし（ｃ４）
の処理を各順次の反復において前記閾値が減少されるよ
うに前記ｎ層に対して反復的に実行する命令を更に有
し、且つ、前記（ｃ１）ないし（ｃ４）の処理は前記ｎ
層が各反復において一層細かい細部で回復されるように
前記ｎ層の各々に対して繰り返されることを特徴とする
プログラム。
【請求項２３】請求項２２に記載のプログラムにおい
て、前記閾値を減少させる命令は、前記閾値を各順次の
反復において所定の値だけ減少させる命令を有している
ことを特徴とするプログラム。
【請求項２４】請求項２１乃至２３のいずれか一項に
記載のプログラムにおいて、前記閾値処理をする命令が
ハード閾値処理をする命令を有していることを特徴とす
るプログラム。
【請求項２５】請求項２１乃至２４のいずれか一項に
記載のプログラムにおいて、少なくとも何らかのデータ
が喪失している前記少なくとも１つの領域が、エッジの
特徴又はテクスチャの特徴の少なくとも一方を含んでい
ることを特徴とするプログラム。
【請求項２６】請求項２１乃至２５のいずれか一項に
記載のプログラムにおいて、前記複数の直交変換が、離
散コサイン変換及び該変換の所定数の過完備なシフトを
有していることを特徴とするプログラム。
【請求項２７】請求項２１乃至２６のいずれか一項に
記載のプログラムにおいて、前記複数の直交変換が、ウ
ェーブレット変換及び該変換の所定数の過完備なシフト
を有していることを特徴とするプログラム。
【請求項２８】請求項２１乃至２７のいずれか一項に
記載のプログラムにおいて、前記複数の直交変換が、フ
ーリエ変換及び該変換の所定数の過完備なシフトを有し
ていることを特徴とするプログラム。
【請求項２９】請求項２１乃至２８のいずれか一項に
記載のプログラムにおいて、前記デジタル表現は複数の
ピクセルを含む画像又はビデオフレームであり、少なく
とも何らかのデータが喪失している前記少なくとも１つ
の領域は、喪失している少なくとも幾つかのピクセルを
有していることを特徴とするプログラム。
【請求項３０】請求項２９に記載のプログラムにおい
て、前記少なくとも１つの領域からのピクセルの全てが
喪失していることを特徴とするプログラム。
【請求項３１】請求項２１乃至３０のいずれか一項に
記載のプログラムを記録したコンピュータによって読取
可能な記録媒体。