JP2003526954A - データ欠落が生じやすい伝送環境において強力なエラー回復を提供する装置及び方法 - Google Patents

データ欠落が生じやすい伝送環境において強力なエラー回復を提供する装置及び方法

Info

Publication number
JP2003526954A
JP2003526954A JP2000517343A JP2000517343A JP2003526954A JP 2003526954 A JP2003526954 A JP 2003526954A JP 2000517343 A JP2000517343 A JP 2000517343A JP 2000517343 A JP2000517343 A JP 2000517343A JP 2003526954 A JP2003526954 A JP 2003526954A
Authority
JP
Japan
Prior art keywords
sample
data
value
missing
attribute data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000517343A
Other languages
English (en)
Other versions
JP4558190B2 (ja
JP2003526954A5 (ja
Inventor
哲二郎 近藤
ジェイ カリグ ジェームス
泰弘 藤森
ゴサール スガタ
Original Assignee
ソニー エレクトロニクス インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/016,083 external-priority patent/US6581170B1/en
Priority claimed from US09/110,803 external-priority patent/US6163868A/en
Application filed by ソニー エレクトロニクス インク filed Critical ソニー エレクトロニクス インク
Publication of JP2003526954A publication Critical patent/JP2003526954A/ja
Publication of JP2003526954A5 publication Critical patent/JP2003526954A5/ja
Application granted granted Critical
Publication of JP4558190B2 publication Critical patent/JP4558190B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Error Detection And Correction (AREA)

Abstract

(57)【要約】 属性データと符号化されたサンプルデータからなる符号化データのビットストリームにおける欠落/破損した属性データを回復する装置及び方法を提供する。隣接する復号されたデータ445が読み出され、欠落/破損されたデータは、符号化されたサンプルデータ、隣接する復号されたデータ、利用可能な属性データ465を用いて評価される。一具体例において、この処理は、潜在的に欠落の生じやすい通信チャンネルを介したビデオ信号の伝送に用いられる。

Description

【発明の詳細な説明】
【0001】 発明の背景 1.関連出願 本出願は、1997年10月23日出願の米国特許出願番号08/956,6
32号「伝送損失におけるエラーを強力に回復する画像−ブロックマッピング(
Image-to-Block Mapping to Provide for Robust Error Recovery During Trans
mission Losses)」、1997年10月23日出願の米国特許出願番号08/9
57,555号「伝送損失におけるエラーを強力に回復する原始コーディング(
Source Coding to Provide for Robust Error Recovery During Transmission L
osses)」、1997年10月23日出願の米国特許出願番号08/956,8
70号「伝送損失におけるエラーを強力に回復するマルチプルブロック回復方法
(Multiple Block Recovery Method to Provide for Robust Error Recovery Du
ring Transmission Losses)」の一部継続出願として1998年1月2日に出願
された米国特許出願番号09/002,547号「伝送損失におけるエラーを強
力に回復する画像−ブロックマッピング(Image-to-Block Mapping to Provide
for Robust Error Recovery During Transmission Losses)」、1998年1月
2日に出願された米国特許出願番号09/002,470号「伝送損失における
エラーを強力に回復する原始コーディング(Source Coding to Provide for Rob
ust Error Recovery During Transmission Losses)」、1998年1月2日に
出願された米国特許出願番号09/002,553号「伝送損失におけるエラー
を強力に回復するマルチプルブロック回復方法(Multiple Block Recovery Meth
od to Provide for Robust Error Recovery During Transmission Losses)」の
一部継続出願として1998年1月30日に出願された米国特許出願番号09/
016,083号「伝送損失におけるエラーを強力に回復する原始コーディング
(Source Coding to Provide for Robust Error Recovery During Transmission
Losses)」の継続出願である。1998年1月30日に出願された米国特許出
願番号09/016,083号、1998年1月2日に出願された米国特許出願
番号09/002,547号、米国特許出願番号09/002,470号、米国
特許出願番号09/002,553号、1997年10月23日出願の米国特許
出願番号08/956,632号、米国特許出願番号08/957,555号、
米国特許出願番号08/956,870号は、参照により本願に組み込まれるも
のとする。
【0002】 2.発明の分野 本発明は、信号伝送中のデータ欠落に起因するエラーを強力に回復する技術に
関する。
【0003】 3.背景技術 信号伝送中に発生するランダムエラーにより失われたデータを再構築するため
の様々な手法が提案されている。しかしながら、これらの手法は、連続したデー
タパケットの欠落を回復することはできない。連続したデータパケットの欠落は
、当分野では、バーストエラーと呼ばれる。バーストエラーにより、再生信号は
、大きく劣化する。さらに、通信の高速化を目的とする圧縮技術は、バーストエ
ラーにより起こる信号の劣化を増長させ、これにより再生信号の劣化はさらに深
刻なものとなる。バーストエラーによる伝送信号及び/又は記録信号への影響の
例は、圧縮技術が重要な役割を果たす高精細度テレビジョン(high definition
television:以下、HDTVという。)や、移動通信装置等において確認される
【0004】 HDTVの出現により、テレビジョンシステムにおいて、ナショナルテレビジ
ョンシステムコミッティ(National Television Systems Comitee :NTSC)
が提案する従来の標準規格より高い解像度が実現されるようになった。現在提案
されているHDTV信号は、主にデジタル信号である。カラーテレビジョン信号
がデジタル形式に変換される場合、通常、輝度信号及び色差信号は、8ビットに
デジタル化される。カラーテレビジョン信号をデジタル伝送するためには、21
6メガビット毎秒の基準データ伝送速度が必要である。この伝送速度は、HDT
Vの場合はさらに高く、通常、1200メガビット毎秒の伝送速度が必要となる
。このような高い伝送速度は、現在の無線規格によりサポートされている帯域幅
をはるかに上回る。したがって、効率的な圧縮技術が求められている。
【0005】 圧縮技術は、移動通信の分野においても重要な役割を果たす。通常、移動通信
の用途における遠隔の端末間でパケットデータが送受信される。移動通信の伝送
チャネル数は限られており、パケット送信の前にパケットを効率的に圧縮する技
術が必要である。高い伝送速度を達成するために、多くの圧縮技術が提案されて
いる。
【0006】 画像圧縮のための適応ダイナミックレンジコーディング(Adaptive Dynamic R
ange Coding:以下、ADRCという。)及び、離散コサイン変換(discrete co
sine transform:以下、DCTという。)技術が知られている。これらの技術は
、画像内の局所的な相関を利用して高圧縮比を達成するものである。しかしなが
ら、符号化された信号を復号する際にエラーが顕著となるため、効率的な圧縮ア
ルゴリズムは、複合的なエラーの増殖の原因ともなる。このようなエラーの増大
により、再生映像は大幅に劣化する。
【0007】 発明の開示 本発明は、信号を原始コーディングする方法を提供する。特に、本発明は、複
数の信号成分からなる信号を処理する。各信号成分は、ビットストリームとして
符号化される。与えられたビットストリームは、異なる複数のビットストリーム
に分散される。これにより、セグメント成分のパラメータ記述成分が異なる複数
のビットストリームに分散される。分散処理により、エラーは複数レベルに分散
される。したがって、分散処理の逆の処理がデコーダによりなされると、伝送時
のバーストエラーは局地的な欠落として分散される。
【0008】 本発明は、複数レベルのシャッフリング処理を提供する。信号は、複数のレベ
ルを有するものと定義される。各レベルは、複数のフレーム、複数の画素、複数
のビットから構成される。一具体例において、各レベル内及びレベル間でシャッ
フリングが行われ、これにより欠落が発生した画像領域における画像の再構築が
容易となる。
【0009】 発明の詳細な説明 本発明は、強力なエラー回復を実現するコーディング及び信号ストリームの処
理の手法を提供する。以下の記述においては、説明を目的として、本発明の理解
を容易にするために多くの詳細事項について述べる。しかしながら、当業者にと
って、これら特定の詳細事項が本発明の実施に必ずしも必要でないことは明らか
である。また、本発明を具体的かつ明瞭に説明するために、ブロック図において
は、周知の電気的構造及び回路を例示する。
【0010】 本発明を適用した信号処理方法及び信号構造について、映像信号の処理を例に
説明する。しかしながら、ここに説明する方法及び装置は、音声信号や他のデジ
タルデータビットストリーム等、複数の信号成分からなる種々の信号に適用する
ことができる。さらに、ここに説明する処理例は、データ圧縮のための適応ダイ
ナミックレンジコーディング(Adaptive Dynamic Range Coding:以下、ADR
Cという。)処理を用いている。しかしながら、他の様々なコーディング方式及
びアルゴリズムを用いてもよい。ADRCの詳細については、1991年9月4
日〜6日にイタリアのトリノで開催されたHDTV及びその未来に関する第4回
国際研究会(Fourth International Workshop on HDTV and Beyond)において、
近藤、藤森、中屋らにより発表された「将来のHDTVデジタルVTRのための
適応ダイナミックレンジコーディング方式(Adaptive Dynamic Range Coding Sc
heme for Future HDTV Digital VTR)」に記載されている。
【0011】 この論文では、異なる種類のADRCが紹介されている。これらは、以下の式
により実現される。
【0012】
【数55】
【0013】
【数56】
【0014】
【数57】
【0015】 信号の符号化、伝送、続いて行われる復号処理を包括的にFIG.1に示す。
信号100は、エンコーダ110に入力されるデータストリームである。エンコ
ーダ110は、ADRC圧縮アルゴリズムに基づいて、伝送媒体135を介して
伝送されるパケット1・・・Nを生成する。デコーダ120は、これらパケット
1・・・Nを受信し、信号130を生成する。信号130は、信号100を再構
築する信号である。
【0016】 エンコーダ110とデコーダ120は、様々な形式で実現されて、以下に説明
する機能を実行することができる。ある具体例においては、エンコーダ110及
び/又はデコーダ120は、通常、中央演算処理装置、メモリ、1又は複数の入
出力装置、コプロセッサ等を備える汎用又は専用のコンピュータシステムにより
実行される、媒体に格納されたソフトウェアプログラムとして実現される。これ
に代えて、エンコーダ110及び/又はデコーダ120を以下に説明する機能を
実行する論理回路として実現してもよい。さらに、エンコーダ110及び/又は
デコーダ120は、ハードウェア、ソフトウェア又はファームウェアの組み合わ
せとして実現してもよい。
【0017】 この具体例においては、信号100は、それぞれがビデオシステムにおいてイ
ンターレースされた画像を示す情報を含む一連のビデオフレームからなるカラー
ビデオ画像を示す信号である。各フレームは、2つのフィールドからなり、一方
のフィールドは画像の偶数ラインに相当し、他方のフィールドは、画像の奇数ラ
インに相当する。データは画素値を含み、画素値は、画像内の対応する位置の色
成分を表す。例えば、この具体例において、色成分は、輝度信号Yと、色差信号
U、Vからなる。なお、本発明による処理がインターレース処理されたビデオ信
号以外の信号にも適用できることは明らかである。さらに、本発明はYUV色空
間に限定されるものではなく、この他の色空間を示す画像にも適応できることは
明らかである。
【0018】 FIG.1において、エンコーダ110は、Y信号、U信号、V信号を分離し
、それぞれの信号グループをADRCアルゴリズムに基づいて別々に処理する。
以下では、説明を簡潔に行うために、Y信号の処理について述べるが、符号化処
理は、U信号及びV信号に対しても同様に行われる。
【0019】 この具体例において、エンコーダ110は、信号100の、この明細書ではフ
レーム対と呼ばれる2つの連続するフレームに亘るY信号を3つの3次元(3D
)ブロックにグループ化する。さらに、一具体例では、3Dブロックは、所定の
フレーム対に亘る同一の局所領域における2つの2次元ブロックをグループ化し
て生成される。ここで、2次元(2D)ブロックは、フレーム又はフィールド内
の局所画素をグループ化して生成される。ここに記述する処理は、他のブロック
構造に対しても適用できる。信号のグループ化については、画像−ブロックマッ
ピングの説明において詳述する。
【0020】 この具体例においては、任意の3Dブロックに対し、エンコーダ110は、3
Dブロックを形成する2つの2Dブロック間について、画素値に変化があるか否
かを算出する。値に実質的な変化が認められた場合は、モーションフラグ(Moti
on Flag)が設定される。当分野で周知のとおり、モーションフラグを用いるこ
とにより、エンコーダ110は、各フレーム対において画像の特定領域の画像が
同じ場合、量子化符号の数を減らすことができる。エンコーダ110は、3Dブ
ロック内における最大画素強度値(MAX)及び最小画素強度値(MIN)を検
出する。エンコーダ110は、これら値MAX、MINを用いて、与えられたデ
ータの3Dブロックのダイナミックレンジ(DR)を算出する。変形例では、ノ
ン・エッジ・マッチングADRCの場合、DR=MAX-MIN+1である。また、エッジ・
マッチングADRCの場合、DR=MAX-MINである。他の具体例においては、エンコ
ーダ110は、ビデオフレームのシーケンスを示すフレームのストリーム信号を
フレーム毎に符号化する。さらに、他の変形例においては、エンコーダ110は
、ビデオフィールドのシーケンスを示すフィールドのストリーム信号をフィール
ド毎に符号化する。この場合、モーションフラグは使用されず、2Dブロックを
用いて値MIN,MAX,DRを算出する。
【0021】 この具体例においては、エンコーダ110は、算出されたDRと閾値テーブル
(図示せず)を参照し、DRに対応するブロック内の画素を符号化するために用
いる量子化ビット(Qビット)のビット数を決定する。画素を符号化することに
より、量子化符号(Qコード)が得られる。Qコードは、記録又は伝送を目的と
して使用される圧縮画像データに相当する。したがって、任意の3Dブロック内
の全ての画素は、同じQビットにより符号化され、これにより3D符号化ブロッ
クが形成される。3D符号化ブロックにおけるQコード、MIN、モーションフ
ラグ、及びDRをまとめて、3D−ADRCブロックと呼ぶ。これに代えて、2
Dブロックを符号化する場合、与えられた2DブロックにおけるQコード、MI
N及びDRにより2D−ADRCブロックが構成される。
【0022】 様々な閾値テーブルを実現することができる。一具体例においては、閾値テー
ブルは、一列のDR閾値からなる。Qビットは、閾値テーブルの列において隣り
合う2つのDR値の範囲を符号化するために用いる量子化ビット数に対応する。
変形例では、複数の列を有し、所望の伝送速度に応じて列を選択する。閾値テー
ブルの各列は、閾値インデックスにより識別される。閾値の選択については、後
述する部分バッファリングの説明で詳述する。ADRC符号化及びバッファリン
グのさらなる詳細については、本発明の譲受人が譲受した米国特許番号第4,7
22,003号「高効率コーディング装置(High Efficiency Coding Apparatus
)」及び同じ名称の米国特許番号第4,845,560号「高効率コーディング
装置(High Efficiency Coding Apparatus)」に開示されている。
【0023】 以下では、Qコードを可変長データ(variable length data: VLデータ)と
も呼ぶ。また、DR、MIN、モーションフラグをブロック属性と呼ぶ。ブロッ
ク属性は、閾値インデックスとともに固定長データ(fixed length data: FL
データ)を構成する。さらに、上述の説明の観点からみれば、ブロック属性は、
複数の成分を有する信号要素のその成分に関するパラメータを記述するものであ
る。変形例においては、FLデータは、Qビット符号を含む。これにより、復号
処理においてQビット情報をDRから導き出す必要がなくなる。したがって、D
R情報が欠落又は破損された場合でもQビット符号に基づいてQビット情報を求
めることができる。さらにまた、Qビット符号が欠落又は破損された場合には、
DRに基づいてQビット情報を導き出すこともできる。したがって、DR及びQ
ビットを回復する必要性を低下させることができる。
【0024】 Qビット符号を新たに設けることにより、各ADRCブロックについて伝送す
べきビット数が増加するという問題がある。しかしながら、一具体例においては
、グループ化されたADRCブロックの複数のQコードは、例えば加算関数や連
結関数に基づいて連結される。たとえば、3つのADRCブロックがグループ化
され、各ADRCブロックのQビット値がそれぞれ3、4、4である場合、FL
データに符号化される合計値は11である。このように合計値を表すために必要
なビット数は、それぞれの値を個別に表すために必要なビット数に比べて少なく
、後述するように、破損されていないグループのQビット値を用いて、Qビット
回復処理を行うことなく、Qビット値を求めることができる。
【0025】 さらに他の変形例も可能である。例えば、モーションフラグデータを符号化し
てもよい。この場合、Qビット及びモーションフラグデータにタグが付され、こ
のタグを用いて符号テーブルを参照する。コーディングの手法及び機能はアプリ
ケーションにより異なる。
【0026】 フレーム、ブロック属性、VLデータは、ビデオ信号内の様々な成分を記述し
ている。これら成分の境界、位置、量は、ビデオ信号の伝送及び圧縮属性に応じ
て異なる。本実施の形態においては、これら成分は、ビデオ信号のビットストリ
ーム内で変更及びシャッフリングされ、これにより伝送欠落に対する強力なエラ
ー回復が実現される。
【0027】 以下の説明では、ビデオ信号のADRC符号化及びシャッフリングに基づいて
、1/6連続パケット伝送欠落の許容について例示的に記述する。すなわち、以
下に示す成分の定義及び分割の手法は、一具体例にすぎない。したがって、他の
形態も可能である。データセットは、ビデオデータの区分又は他の種類のデータ
信号を含む。したがって、一具体例においては、フレームセットは、1又は複数
の連続するフレームを含むデータセットの1種である。セグメントは、1/6に
分割されたQコードを格納する記憶容量を有し、フレームセットには、ブロック
属性が含まれる。データのシャッフリングは、セグメント及び/又はバッファ内
の成分を相互に交換することにより行われる。続いて、セグメントに格納された
データを用いて、伝送のためのデータパケットを生成する。したがって、以下に
説明するように、伝送中にあるセグメントが欠落した場合、そのセグメントから
生成される全てのパケットがなくなる。同様に、伝送中にセグメントの一部が欠
落した場合、そのセグメントから生成される対応する数のパケットが伝送中にな
くなる。
【0028】 以下では、ADRC符号化されたデータにおける1/6連続パケット欠落につ
いて説明するが、ここに説明する方法及び装置は、様々な符号化/復号方式に結
びつけられた。
【0029】 FIG.2は、ポイントトゥポイント(point-to-point)接続又はネットワー
クを介してデータを伝送するために用いられるパケット構造200の具体例を示
す。パケット構造200は、エンコーダ110により生成され、伝送媒体135
を介して伝送される。一具体例においては、パケット構造200は、5バイトの
ヘッダ情報と、8ビットのDRと、8ビットのMINと、モーションフラグと、
5ビットの閾値インデックスと、354ビットのQコードとを有する。ここに示
すパケット構造200は、パケット構造の一例であり、ネットワークの非同期伝
送モード(asynchronous transfer mode:ATM)による伝送に適応するように
構成されたものである。なお、本発明は、このようなパケット構造に限定される
ものではなく、様々なネットワークにおける種々のパケット構造に適用できるも
のである。
【0030】 上述のように、伝送媒体(例えば、媒体)135は、エラーフリーの伝送媒体
とみなすことはできず、したがってパケットは欠落又は破損するおそれがある。
上述のとおり、従来よりこのような欠落や破損を検出する手法が提案されている
が、通常、実質的な画像の劣化は避けられなかった。本発明は、このような欠落
又は破損に対する強力なエラー回復の手法を提供する。以下の説明においては、
複数の連続するパケットの欠落であるバースト欠落が最も発生する可能性の高い
エラーであると仮定するが、ランダムパケット欠落も発生する可能性がある。
【0031】 1又は複数の連続するパケットのデータを確実且つ強力に回復するために、本
発明に基づく装置及び方法は、複数レベルのシャッフリングを行う。特に、伝送
パケットに含まれるFLデータ及びVLデータは、ある画像の空間的及び時間的
に離間した位置にあるデータを含んでいる。データのシャッフリングにより、い
かなるバーストエラーも分散され、これによりエラー回復が容易となる。後述す
るように、シャッフリングによりブロック属性とQビット値を回復することがで
きる。
【0032】 データ符号化/復号 FIG.3は、エンコーダ110により実行される符号化処理の一具体例を説
明するフローチャートである。また、FIG.3は、画像の劣化を防止し、強力
なエラー回復を容易にするためのシャッフリング処理の概要を示す図でもある。
【0033】 FIG.3におけるステップ1において、表示成分とも呼ばれる入力フレーム
セットに対し、伝送量を削減するための間引きを行う。Y信号については、水平
方向に元の幅から3/4となるよう間引きし、U信号及びY信号については、そ
れぞれ元の高さ及び元の幅から1/2となるよう間引きする。これにより、各フ
レーム対が3960Yブロック、660Uブロック、660Vブロックを有する
3:1:0のビデオフォーマットが形成される。上述のように、ここではY信号
の処理に関する説明を行うが、この処理はU信号及びY信号についても適用され
る。ステップ2において、2つのYフレーム画像を3Dブロックにマッピングす
る。ステップ3において、3Dブロックをシャッフリングする。ステップ4にお
いて、ADRCバッファリング及び符号化を行う。ステップ5において、符号化
されたYブロック、Uブロック、Vブロックをバッファ内でシャッフリングする
【0034】 ステップ6において、符号化された3Dブロックのグループ用のVLデータと
、これに対応するブロック属性をシャッフリングする。ステップ7において、F
Lデータを異なるセグメントに亘ってシャッフリングする。ステップ8において
、ポストアンブルを充足し、すなわちバッファ端の可変領域が所定のビットスト
リームにより充足される。ステップ9において、VLデータを異なるセグメント
に亘ってシャッフリングする。
【0035】 以下では、符号化処理の前及び後の画素データの処理を例に本発明に基づくシ
ャッフリングの手法を説明する。変形例として、ハードウェアにより独立したデ
ータ値のシャッフリング及びデシャッフリングを行ってもよい。特に、ハードウ
ェアは、ブロック値のアドレスを異なるアドレスにマッピングすることによりシ
ャッフリング/デシャッフリング処理を実現する。しかしながら、シャッフリン
グ処理は、データ処理の後に行う必要があるため、アドレスマッピングは、デー
タに従属する値に対しては行うことができない。一方、後述するグループ内VL
データシャッフリングは、データに従属する値に対しても行うことができる。さ
らに、本発明を説明する一例として、以下に示すシャッフリングは、離散的なデ
ータセットに対して行われる。しかしながら、変形例においては、信号は、ビッ
トから画素及びフレームまでの複数のデータレベルに基づいて定義される。シャ
ッフリング処理は、信号内で定義される各レベルにおいて、及び信号内の異なる
レベル間でも行うことができる。
【0036】 FIG.4は、デコーダ120により実行される復号処理の例を説明するフロ
ーチャートである。好ましくは、変換処理及びデシャッフリング処理は、FIG
.3に示す処理と逆の処理である。FIG.4は、さらにQビット、モーション
フラグ、DR、MIN及び画素データの異なる組み合わせにおいてエラー回復を
実現する革新的な処理を示している。Qビット回復、モーションフラグ回復、D
R回復、MIN回復、画素回復の異なる具体例において異なる組み合わせを用い
るエラー回復処理については後に詳細に説明する。
【0037】 画像−ブロックマッピング 本発明において、1つのフレームは、通常5280個の2Dブロックを含み、
各2Dブロックは、64画素からなる。第1のフレームに基づく2Dブロックと
それに続くフレームの2Dブロックが結合されて3Dブロックが形成されるため
、フレーム対は5280個の3Dブロックから構成される。
【0038】 画像−ブロックマッピングは、フレーム又はフレームセットのデータをそれぞ
れ2Dブロック又は3Dブロックに分割する目的で行われる。さらに、画像−ブ
ロックマッピングは、相補的パターン及び/又は連鎖的(interlocking)パター
ンを用いてフレーム内の画素を分割し、これにより伝送欠落に対する強力なエラ
ー回復が実現される。しかしながら、与えられたDR値が過大になってしまう可
能性を低減するために、各2Dブロックは、局所的な範囲の画素から構成する。
【0039】 FIG.5は、例示的に示す画像の16画素セクションに対する画像−ブロッ
ク変換処理の具体例を示す図である。画像500は、単一のフレームの局所的な
領域を形成する16個の画素からなる。画像500内の各画素は、強度値により
示される。この例では、画像500の最上列左端の画素の強度は100であり、
最下列右端の画素の強度は10である。
【0040】 この具体例においては、画像500内の異なる領域における画素を用いて、2
Dブロック510、520、530、540を生成する。2Dブロック510、
520、530、540は、符号化され、(後述するように)シャッフリングさ
れ、伝送される。この伝送処理の後、2Dブロック510、520、530、5
40は再結合され、画像550が形成される。画像550は、画像500を再構
築したものである。
【0041】 発生する可能性のある伝送欠落に関わらず、画像500を正確に再生するため
に、FIG.5に示す具体例では、連鎖的相補ブロック構造を用いる。特に、2
Dブロック510、520、530、540を生成するための画素を選択するこ
とにより、画像550を再構築する際に、相補的及び/又は連鎖的パターンは、
ブロックの再結合に用いられる。したがって、特定のブロック属性が伝送中に欠
落しても、再構築された画像550においてエラーは隣接しない。例えば、FI
G.5において、2Dブロック540のDRが伝送中に欠落したとする。ここで
、デコーダは隣り合うブロックの隣り合う複数の画素を利用し、2Dブロック5
40の失われたDRを回復することができる。また、後述するように、相補的パ
ターン及びシフティングを用いることにより、隣り合う画素が増加し、好ましく
は他のブロックに基づく隣り合う画素の数を最大化し、これによりDR及びMI
Nの回復の可能性を大幅に向上させることができる。
【0042】 FIG.5aは、画像−ブロック変換処理の一具体例において、2Dブロック
を形成するために用いられるシャッフリングパターンの例を示す図である。ここ
では、画素を交互に抜き取ることにより1つの画像を2つのサブ画像、すなわち
サブ画像560及びサブ画像570に分割する。サブ画像560内の長方形の区
切りは、2Dブロックの境界線を示す。説明のため、2Dブロックに0,2,4
,7,9,11,12,14,16,19,21,23といった番号を付す。タ
イル565は、サブ画像560内の2Dブロックのための画素分布を示す。
【0043】 サブ画像570においては、2Dブロックの割り当ては水平方向に8画素分、
及び垂直方向に4画素分シフトされている。これにより、再構築処理においてサ
ブ画像560とサブ画像570とが結合されると、割り当てられた2Dブロック
が包み込まれ、重なり合う。2Dブロックは、1,3,5,6,8,10,13
,15,17,18,20,22と番号付けされている。タイル575は、サブ
画像570内の2Dブロックの画素分布を示す。タイル575は、タイル565
に対する相補構造を有している。したがって、特定のブロック属性が伝送中に欠
落した場合、失われた2Dブロックのブロック属性を回復することができる隣り
合う画素が存在することとなる。さらに、同様なブロック属性のセットを有する
重なり合う2Dブロックが存在する。したがって、画像の再構築の過程において
、デコーダは、隣り合う2Dブロックから複数の隣り合う画素を取得し、これに
より失われたブロック属性を回復することができる。
【0044】 FIG.6は、他の相補的及び連鎖的2Dブロックの構造例を示す図である。
これら以外の構造を用いてもよい。FIG.5と同様に、FIG.6に示す2D
ブロック構造によっても、任意の2Dブロックに伝送欠落が生じても、周囲の2
Dブロックの存在が保証される。なお、パターン610a、610b、610d
では、画素を後続する2Dブロックにマッピングする際、水平シフト及び/又は
垂直シフトを行う。水平シフトとは、新たな2Dブロック境界が始まる前に、タ
イル構造を水平方向に所定画素数分シフトすることを意味する。垂直シフトとは
、新たな2Dブロック境界が始まる前に、タイル構造を垂直方向に所定画素数分
シフトすることを意味する。アプリケーションに応じて、水平シフトのみを行っ
てもよく、垂直シフトのみを行ってもよく、水平シフト及び垂直シフトを組み合
わせて行ってもよい。
【0045】 パターン610aは、画像−ブロック変換に用いる渦巻状パターンを示す。渦
巻状パターンでは、画像−ブロック変換処理において後続する2Dブロックを生
成する際に水平シフトを行う。パターン610b及びパターン610dは、相補
パターンを示し、画像−ブロックマッピング処理において、後続する2Dブロッ
クを生成するために、水平シフト及び垂直シフトにより画素が選択される。さら
に、パターン610b及びパターン610dは、2つの2Dブロック間の画素選
択において交互にオフセットを設けた例である。パターン610cは、画像−ブ
ロック変換処理のための2Dブロックを構成する画素を不規則にサンプリングし
た例を示す。すなわち、画素が2Dブロックに対して一度だけマッピングされる
ならば、画像−ブロックマッピングにはいかなるマッピング構造を用いてもよい
【0046】 FIG.5、FIG.5a、FIG.6は、2Dブロックを生成するための画
像−ブロックマッピングを示すものである。この処理は、3Dブロックに対して
も適用できることは明らかである。上述のように、3Dブロックの生成は、2D
ブロックと同様の境界定義を用いるが、3Dブロックの生成では、境界分割は、
3Dブロックを構成する後続するフレームに亘って拡張される。すなわち、3D
ブロックは、第1のフレーム内の2Dブロックを定義するために用いる画素と、
後続するフレーム内の2Dブロックの画素とを結合して生成される。一具体例に
おいては、第1のフレームにおける2Dブロックの画素と、後続するフレームに
おける2Dブロックの画素とは、同一の位置から抽出される。
【0047】 フレームセット内ブロックシャッフリング 任意の画像の画素値は、局所的な領域において緊密な関係を有する。一方、同
一画像内の離れた領域にある画素は、大きく異なる値を有している可能性がある
。したがって、任意の画像のある部分において空間的に隣接する2Dブロック又
は3Dブロックを連続して符号化した場合、DR及びMINは近い値を有し、画
像の離れた部分のDR及びMINは大きく異なる値を有するものとなる。したが
って、画像において空間的に隣接する2Dブロック又は3Dブロックを符号化し
て得られたデータを連続的にバッファに格納した場合、バッファ空間の使用率に
不均衡が生じる。フレームセット内のブロックシャッフリングは、ADRC符号
化に先立って行われ、画像−ブロックマッピング処理により生成された2Dブロ
ック又は3Dブロックのシャッフリングを行う。シャッフリング処理により、後
段のADRC符号化において、バッファを均等に使用することが保証される。
【0048】 FIG.7a〜FIG.7dは、3D−Yブロックのシャッフリングの具体例
を示すものである。FIG.7a〜FIG.7d内の3D−Yブロックは、Y信
号のみを有するフレーム対に上述の画像−ブロックマッピング処理を施して得ら
れるものである。3D−Yブロックは、シャッフリングされ、これにより符号化
されたフレーム対を格納するバッファには、そのフレーム対の異なる部分に対応
する3D−Yブロックが含まれるようになる。これによりADRC符号化処理に
おけるDR分布の均一化が促される。各バッファのDR分布が均一化されること
によりバッファを均等に利用することができる。
【0049】 FIG.7a〜FIG.7dは、物理的に離れた3Dブロックのシャッフリン
グを示す図である。これにより連続するパケットに伝送欠落が生じても、欠落す
るブロック属性は、画像内の特定の領域に集中することなく、画像全体に分散さ
れる。
【0050】 ブロックシャッフリングは、小規模、中規模及び大規模のバースト的パケット
欠落のいずれが生じても、欠落するブロック属性が広範囲に分散されるように設
計されている。この実施の形態においては、小規模なバースト欠落とは、数個の
パケットの欠落を意味し、中規模のバースト欠落とは、1バッファ分の欠落を意
味し、大規模な欠落とは1セグメント分の欠落を意味するものとする。ブロック
シャッフリングにおいては、画像内の比較的離れた部分から、3つの隣り合うブ
ロックを選択する。したがって、次のグループ内VLデータシャッフリング(後
に詳細に説明する)において、各グループは互いに異なる静的特性を有する3D
ブロックから構成される。ブロック属性の欠落を分散させることにより、破損し
た3Dブロックの周囲には破損していない3Dブロックが残り、これら破損して
いない3Dブロックにより欠落したデータを回復ことができるため、強力なエラ
ー回復を実現することができる。
【0051】 FIG.7aは、水平方向に66個の3D−Yブロックを有し、垂直方向に6
0個の3D−Yブロックを有するフレーム対を示す。これら3D−Yブロックは
、セグメント0〜5に割り当てられている。図に示すように、3D−Yブロック
の割り当ては、2×3の枠を設け、各枠内の各3D−Yブロックが各セグメント
に対応するように割り当てる。ここで、さらなるシャッフリングを行わず、最初
の880個のパケットにバーストエラーが生じたとすると、セグメント0に対応
するブロック属性が失われる。しかしながら、後述するように、FLデータシャ
ッフリングを行うことにより、ブロック属性の欠落を分散させることができる。
【0052】 FIG.7bは、セグメント0に割り当てられる番号0が付された3D−Yブ
ロックの走査順序を示す。FIG.7aにおいて「0」で示される各3D−Yブ
ロックには、0,1,2,3,・・・,659という番号が付され、これらはセ
グメント0に入力されるストリーム内の位置を示すものである。セグメントの割
り当てを行うためのこのようなブロック番号を用いて、残りの3D−Yブロック
もセグメント1〜5に割り当てられる。このようにして、フレーム対内のデータ
は、複数のセグメントにシャッフリングされる。
【0053】 FIG.7cは、1セグメントを構成する660個の3D−Yブロックを示す
図である。0〜65の番号が付された3D−Yブロックは、バッファ0に入力さ
れる。同様に、番号が付された3D−Yブロックに隣接する3D−Yブロックは
、バッファ1に入力される。このような処理を繰り返してバッファ2〜9が充足
される。このような処理により、伝送中のバッファの欠落により失われる複数の
3D−Yブロックは、画像内の異なる部分に分散される。
【0054】 FIG.7dは、セグメント0に対応する3D−Yブロックのバッファにおけ
る最終的な配列順序を示す図である。3D−Yブロック0,1,2は、バッファ
内の最初の3つの部分を占める。この処理は、バッファの残りの部分において繰
り返される。これにより、伝送中に3つの3D−Yブロックが欠落した場合、失
われる3D−Yブロックは、画像内で離れた位置に対応するものとなる。
【0055】 FIG.7a〜7dは、フレームセット内の3D−Yブロックの分散の一具体
例を示すものである。この他に、3D−Uブロック及び3D−Vブロックを分散
することもできる。3D−Uブロックは、U信号のみを含むフレームセットに上
述の画像−ブロックマッピング処理を適用して生成される。同様に、3D−Vブ
ロックは、V信号のみを含むフレームセットに上述の画像−ブロックマッピング
処理を適用して生成される。そして、3D−Uブロック及び3D−Vブロックの
両方に対して、上述の3D−Yブロックの分散と同様の処理を行う。なお、上述
のように、3D−Uブロックと3D−Yブロックの数は、それぞれ3D−Yブロ
ックの数の1/6である。
【0056】 FIG.7a〜7dは、Y信号に対するフレーム内ブロックシャッフリングの
具体例を示し、この具体例では、伝送中の1/6のパケット欠落が許容され、さ
らにバッファの使用率の均等化が実現されている。セグメント、バッファ、AD
RCブロックの割り当てを変更することにより1/nバーストエラーに対応でき
、またバッファ使用率を変更できることは当業者にとって明らかである。
【0057】 部分バッファリング FIG.3に示すステップ4において、ADRC符号化及びバッファリング処
理が行われる。符号化技術により、画像−ブロックマッピング処理により生成さ
れた2Dブロック又は3Dブロックは、2D−ADRCブロック又は3D−AD
RCブロックに符号化される。3D−ADRCブロックは、それぞれQコード、
MIN、モーションフラグ、DRを含む。2D−ADRCブロックは、Qコード
、MIN、DRを含む。すなわち、2D−ADRCブロックでは、単一のフレー
ム又は単一のフィールドに対する符号化が行われるため、2D−ADRCブロッ
クは、モーションフラグを含まない。
【0058】 従来より多くのバッファリングの手法が知られている(例えば、近藤らによる
米国特許番号第4,845,560号「高効率コーディング装置(High Efficie
ncy Coding Apparatus)」及び米国特許番号第4,722,003号「高効率コ
ーディング装置(High Efficiency Coding Apparatus)」を参照)。これらの記
載内容は本出願に組み込まれるものとする。
【0059】 以下に説明する部分バッファリングは、ADRC符号化において使用する符号
化ビットを決定するための革新的な手法を提供するものである。詳しくは、部分
バッファリングは、閾値テーブルから閾値を選択する手法を提供するものであり
、閾値テーブルは、遠隔の端末間の伝送速度を一定に保つとともに、エラーが増
えることを制限するために設計されている。変形例においては、閾値テーブルは
さらに、バッファが最大限活用されるよう設計される。一具体例においては、バ
ッファは、任意のフレームセットに対応する符号化されたデータを16分の1に
分割して格納するメモリである。閾値は、上述した画像−ブロックマッピング処
理により生成された2Dブロック又は3Dブロック内の画素を符号化するために
用いるQビットのビット数を決定するために用いられる。
【0060】 閾値テーブルは、閾値の列を備え、この列は閾値セットとも呼ばれ、閾値テー
ブルの各列には閾値インデックスが付されている。一具体例においては、閾値テ
ーブルは、閾値テーブルの上位列に位置する閾値セットが、より多くのQコード
ビットを生成するように配列されている。これにより、利用可能な所定のビット
数を有する任意のバッファに対して、エンコーダ110は、この所定のビット数
より小さいビット数を生成する閾値に到達するまで、閾値テーブルを下位方向に
順次検索する。バッファ内の画素データの符号化には、適切な閾値が用いられる
【0061】 一具体例においては、30Mbps程度の伝送速度が望まれる。この所望の伝
送速度により、全ての任意のバッファにおいてVLデータの格納に31,152
ビットが利用可能となる。これに応じて、各バッファについての累積的DR分布
が算出され、閾値テーブルから閾値セットが選択され、これに基づいて3Dブロ
ックあるいは2Dブロック内の画素をVLデータとして符号化する。
【0062】 FIG.8は、バッファ0における選択された閾値及びDR分布の具体例を示
すグラフである。FIG.8における垂直方向の軸は、累積DR分布を示す。例
えば、値bは、DRがL3以上の3Dブロック又は2Dブロックの数に等しい。
水平方向の軸は、DR値のとり得る値を示す。ある具体例では、DR値は0〜2
55の値をとる。閾値L4,L3,L2,L1は、バッファの符号化を決定する閾値
セットを表す。
【0063】 一具体例において、バッファ0に格納されている全てのブロックは、閾値L4
,L3,L2,L1を用いて符号化される。すなわち、DR値がL4よりおおきなブ
ロックは、4ビットを用いて符号化された画素値を有することとなる。同様に、
DR値がL3とL4の間にあるブロックに属する画素は、3ビットを用いて符号化
される。また、DR値がL2とL3の間にあるブロックに属する画素は、2ビット
を用いて符号化される。DR値がL1とL2の間にあるブロックに属する画素は1
ビットを用いて符号化される。そして、DR値がL1より小さいブロックは、0
ビットを用いて符号化される。L4,L3,L2,L1は、バッファ0内の全てのブ
ロックを符号化するために用いるビットの総数が、31,152ビットを超える
ことなく、可能な限り31,152ビットに近い数となるように選択される。
【0064】 FIG.8aは、部分バッファリングの一具体例を示す図である。フレーム8
00は、符号化されてバッファ0〜59に格納される。伝送エラーがデータの回
復の妨げとなる場合、欠落したデータに対するエラー回復処理が行われるまで、
フレーム800の復号処理は中断される。ここで、部分バッファリングは、バッ
ファ内のエラーの伝播を制限するため、残りのバッファについて復号処理を行う
ことができる。例えば、伝送エラーによりバッファ0内のブロック80のQビッ
ト及びモーションフラグの回復が妨げられているとする。部分バッファリングは
、バッファ0内にこのエラーが伝播することを制限する。バッファ長は固定であ
るため、バッファ0の最後とバッファ1の先頭は既知であり、このためエラーの
伝播バッファ0内に制限される。これにより、デコーダ120は、バッファ1内
のブロックに対する処理を遅延することなく開始することができる。さらに、異
なるバッファの符号化に対して異なる閾値セットを用いることにより、エンコー
ダ110は、任意のバッファ内に含まれるQコードビットの数を最大化/制御す
ることができ、したがってより高い圧縮比が実現できる。さらにまた、部分バッ
ファリング処理では、バッファ0〜59は、固定長を有するため、一定の伝送速
度を実現できる。
【0065】 一具体例においては、バッファの可変領域は、限られた数の閾値セットが存在
するために、Qコードビットのみにより充足されるわけではない。すなわち、固
定長を有するバッファの残りのビットは、ポストアンブルと呼ばれる所定のビッ
トストリームパターンにより充足される。後述するように、ポストアンブルは、
バッファの最後より前にあるVLデータの最後を示しているので、ポストアンブ
ルにより双方向のデータ回復が実現できる。
【0066】 バッファ内YUVブロックシャッフリング Y信号、U信号、V信号は、それぞれ固有の静的特性を有している。Qビット
及びモーションフラグの回復処理(後述する)を改善するために、Y信号、U信
号及びV信号は、バッファ内で多重化される。したがって、伝送欠落は、特定の
信号に対して実質的な影響を与えない。
【0067】 FIG.9は、それぞれY信号、U信号、V信号から導き出されるY−ADR
Cブロック、U−ADRCブロック、V−ADRCブロックに対するシャッフリ
ング処理であるバッファ内YUVブロックシャッフリング処理を説明する図であ
る。バッファ900は、フレームセット内ブロックシャッフリング後のADRC
ブロックの割当を示す。バッファ900は、66個のY−ADRCブロックと、
これに続く11個のU−ADRCブロックと、これに続く11個のV−ADRC
ブロックを含む。バッファ910は、バッファ内YUVブロックシャッフリング
を行った後のYUV−ADRCブロック配列構造を示す。図に示すように、3つ
のY−ADRCブロックに1つのU−ADRCブロック又は1つのV−ADRC
ブロックが後続する。バッファ内YUVブロックシャッフリングによりバッファ
内の隣り合うブロックのビットストリームの類似の度合いが低減される。バッフ
ァ内ブロックシャッフリングは、この形態に限られることなく、初期の画像フォ
ーマットに応じて、異なる信号、すなわち異なるYUV比又は異なる色空間を有
する信号に対して変形して実行されるようにしてもよい。
【0068】 グループ内VLデータシャッフリング グループ内VLデータシャッフリングは3つのステップを有する。この3つの
ステップは、Qコードの連結と、Qコードの再割当と、連結されたQコードのラ
ンダム化である。FIG.10は、グループ内VLデータシャッフリングの手順
を示す図であり、バッファ内に格納されたQコードには、3つの処理が順次施さ
れる。この変形例としては、処理手順のサブセットをグループ内VLデータシャ
ッフリングに適用してもよい。各処理手順は、それぞれ独立して伝送中のデータ
に対するエラー回復に寄与する。したがって、各処理ステップを個別に説明する
。エラー回復に関する詳細は、データ回復の説明の項目で述べる。
【0069】 1.Qコード連結 Qコード連結により、複数のADRCブロックが互いに復号されることが保証
される。グループ復号によれば、後述するようにデータ回復工程において隣り合
うブロックから追加的な情報を取得することが可能なため、エラー回復を容易に
行うことができる。一具体例においては、Qコード連結は、バッファ内に格納さ
れた3つのADRCブロックからなる各グループに対して個別に適用される。変
形例として、グループ内に他のバッファからのADRCを含めることもできる。
ADRCブロックに亘るQコードの連結は、1つの連結ADRCタイルの生成と
して記述される。FIG.11及びFIG.11aは、連結ADRCタイルの生
成を例示する図である。
【0070】 FIG.11は、2ADRCブロックから連結ADRCタイルを生成する例を
示す図である。具体的には、この連結は、2D−ADRCブロック0,1,2に
含まれる各Qコード(q0〜q63)に対して行われ、この結果64個のQコード
を含む連結ADRCタイルAが生成される。例えば、2D−ADRCブロック0
の第1のQコードq0,0(量子化された値の0番目)は、2D−ADRCブロッ
ク1の第1のQコードq0,1に連結される。この2つの連結されたQコードは、
続いて、2D−ADRCブロック2の第1のQコードq0,2に連結され、これに
より連結ADRCタイルAのQ0が生成される。この処理は、Q63が生成される
まで繰り返される。これに代えて、連結ADRCタイルA内のQiの生成を以下
の式に基づいて行ってもよい。
【0071】 Qi=[qi,0,qi,1,qi,2] i=0,1,2,・・・63 さらに、連結ADRCタイルA内の各Qiには、単一のQiを生成するために連
結されたビット総数であるNビットを示す値が関連付けられる。
【0072】 FIG.11aは、動ブロックを含むフレーム対から生成された連結ADRC
タイルの具体例を示す図である。動ブロックとは、モーションフラグが設定され
た3D−ADRCブロックである。モーションフラグは、上述した画像−ブロッ
クマッピング処理により生成された2つの2Dブロック構造内の所定数の画素が
第1のフレームと第2のフレームとの間で変化している場合に設定される。この
変形例として、第1のフレームと、これに続くフレームとの間の各画素の変化の
最大値が所定の値を超えた場合にモーションフラグを設定するようにしてもよい
。一方、非動ブロック(すなわち静ブロック)は、モーションフラグが設定され
ていない3D−ADRCブロックである。第1のフレームと、これに続く第2の
フレームの2つの2Dブロック間で所定数の画素が変化していない場合、モーシ
ョンフラグの設定は行われない。変形例として、第1のフレームと、これに続く
第2のフレームとの間の各画素の変化の値が所定の値を超えない場合には、モー
ションフラグの設定を行わないものとしてもよい。
【0073】 動ブロックは、第1のフレームにおける符号化された2Dブロックと、後続す
るフレームにおける符号化された2Dブロックとに基づくQコードを含む。単一
の符号化された2Dブロックに対応するQコードの集合をADRCタイルと呼ぶ
。すなわち、動ブロックは2つのADRCタイルを生成する。一方、静ブロック
は、動きがないため、動ブロックの半数のQコードのみしか含まず、したがって
、1つのADRCタイルしか生成しない。この具体例においては、静ブロックの
Qコードは、第1のフレームの2Dブロックと、後続するフレームの対応する2
Dブロックとの間の対応する画素の画素値の平均を求めることにより生成される
。平均化された各画素値は、符号化されて、これにより単一のADRCタイルを
形成するQコードの集合が生成される。このようにして、動ブロック1110は
、ADRCタイル0,1を生成し、静ブロック1120は、ADRCタイル2を
生成し、動ブロック1130は、ADRCタイル3,4を生成する。
【0074】 FIG.11aに示すADRCの連結処理では、ADRCタイル0〜4を連結
して連結ADRCタイルBを生成している。具体的には、ADRCタイル0〜4
内に含まれる各Qコード(q0〜q63)が連結され、連結ADRCタイルB内の
64個のQコードが生成される。これに代えて、連結ADRCタイルB内の各Q
コード、すなわちQiを以下の数式に基づいて生成してもよい。
【0075】 Qi=[qi,0,qi,1,qi,2,qi,3,qi,4] i=0,1,2,・・・63 2.Qコード再割当 Qコードの再割当により、伝送欠落に起因するビットエラーが空間的に離れた
画素に分散されることが保証される。特に、Qコードの再割当処理において、Q
コードは、再分散され、再分散されたQコードのビットは、シャッフルされる。
したがって、Qコードの再割当により、破損された画素の周囲に破損されていな
い画素が残るため、エラーの回復が容易となる。画素の破損はADRCブロック
全体に亘って分散するため、DR及びMINの回復が容易となる。DR及びMI
Nの回復については、データ回復の説明で詳述する。
【0076】 FIG.12に1/6バーストエラー欠落による画素の劣化の具体例を示す。
具体的には、2D−ADRCブロック1210、1220、1230は、それぞ
れ3ビットを用いて符号化された64個の画素を含む。すなわち、2D−ADR
Cブロックの各画素P0〜P63は、3ビットにより表される。2DADRCブロ
ック1210は、6ビット毎の第1ビットが欠落した場合におけるビット欠落パ
ターンを影付きの長方形として示す図である。同様にADRCブロック1220
及びADRCブロック1230は、それぞれ6ビット毎に第2及び第4ビットが
欠落した場合を示す。FIG.12から、Qコードの再割当を行わなければ、1
/6バーストエラー欠落により2D−ADRCブロック1210,1220,1
230において、それぞれ半数の画素に劣化が生じることがわかる。
【0077】 一具体例において、Qコードの再割当はバッファに格納されている各連結AD
RCタイル対して別個に行われ、これによりデシャッフリングにおいて、ビット
エラーが空間的に分散された画素に位置されることが保証される。変形例として
、バッファ内に格納された各ADRCブロックに対してQコードの再割当を行っ
てもよい。
【0078】 FIG.12aは、連結ADRCタイルに基づくシャッフリングされたQコー
ドビットのビットストリームを生成するQコード再割当の具体例を示す。テーブ
ル122及びテーブル132は、Qコードの再分配を示す。ビットストリーム1
30及び140は、Qコードビットのシャッフリングを示す。
【0079】 テーブル122は、連結ADRCタイルAの連結されたQコードを示す。Q0
は、最初の連結Qコードであり、Q63は、最後の連結Qコードである。テーブル
132は、Qコードの再分配を示す。この具体例においては、第1の組である区
画0には、Q0,Q6,Q12,Q18,Q24,Q30,Q36,Q42,Q48,Q54,Q60 が含まれる。テーブル132内において後続する区画1には、11個の連結Qコ
ードが含まれている。同様にして区画2〜5にも11個の連結Qコードが含まれ
る。テーブル132においては、区画間の境界を垂直方向の線分で示している。
このように連結Qコードを空間的に分離された6つの区画に割り当てることによ
り、1/6バーストエラー欠落により生じるビット欠落パターンが連続する画素
グループに分散されることが保証される。
【0080】 FIG.12bは、再割り当てされたQコードにおける1/6バーストエラー
により生じるビット欠落のパターンを示す図である。具体的には、2D−ADR
Cブロック1215,1225,1235は、それぞれ3ビットを用いて符号化
されている64個の画素を有している。すなわち、各2D−ADRCブロックの
内の各画素P0〜P63は、3ビットにより表される。2D−ADRCブロック1
215,1225,1235において、影付きの長方形で表されるビット欠落パ
ターンは、連続する画素に亘って位置している。すなわち、与えられたセグメン
ト欠落に対して、各2D−ADRCブロック1215,1225,1235内の
それぞれ11個の連続する画素のみが劣化している。変形例においては、区画へ
のQコードの割当処理において、異なる動ブロックからのQコードを割り当てる
ようにしてもよく、これにより空間的及び時間的に分離されたQコードを6つの
セグメントに割り当ててもよい。これにより、1/6バーストエラー欠落に対し
て破損されていない空間的及び時間的画素が追加され、より強力なエラー回復処
理が提供される。
【0081】 FIG.12aにおいて、テーブル132内の再割当されたQコードは、生成
されるビットストリームに亘ってシャッフリングされ、ビットストリーム内で隣
接するビットが異なる区画からのビットであるようにされる。テーブル132内
の全ての区画内のQコードは、ビットストリーム130内で連結される。ビット
ストリーム130内で隣り合う任意のビットの区画は、生成されるビットストリ
ーム140において6ビット位置毎に分散される。これにより、ビットストリー
ム140内のビット番号0〜5は、各区画における第1のQコードからの第1ビ
ットを含む。同様に、ビットストリーム140のビット番号6〜11は、各区画
の第1のQコードからの第2のビットを含む。このような処理は、全てのQコー
ドビットに対して繰り返される。これにより、1/6バーストエラー欠落による
画素欠落が空間的に分離されることが保証される。
【0082】 FIG.12cは、再割当された(すなわち再分配されシャッフリングされた
)Qコードの1/6バーストエラー欠落により生成されたビット欠落パターンを
示す図である。特に、2D−ADRCブロック1217,1227,1237は
、それぞれ3ビットを用いて符号化された64個の画素を含む。すなわち、各2
D−ADRCブロックの各画素P0〜P63は、3ビットで表される。2D−AD
RCブロック1217,1227,1237において、影付き長方形で示されて
いるビット欠落パターンは、空間的に分離された画素に分散されており、したが
って、画素エラー回復を容易に行うことができる。
【0083】 3.Qコードビットのランダム化 Qコードビットは、マスキングキーを用いてランダム化される。マスキングキ
ーは、欠落及び破損されたデータの回復処理においてデコーダの処理を補助する
ものである。具体的には、符号化処理において、KEYとして示されるキーを用
いてQコードのビットストリームをマスキングする。これに対応して、デコーダ
は、このKEYの正確な値を知っている必要があり、これによりQコードのビッ
トストリームのマスクを外すことができる。
【0084】 一具体例において、KEYは、3つのADRCブロックに対するQコード再割
当により生成されたQコードのビットストリームをマスキングするために用いら
れる。上述のように、ADRCブロックはFLデータ及びQコードを有している
。マスキングキーの各キー要素(di)は、FLデータの値と、対応するADR
Cブロックに関連する量子化ビット数(qi)との組み合わせにより生成される
。具体例においては、モーションフラグとQビットを用いてKEYを定義する。
すなわち、この具体例においては、キー要素は、以下の数式に基づいて生成され
る。
【0085】 di=5・mi+qi ここで、i=0,1,2 qi=0,1,2,3,4 変数miは、モーションフラグに等しい。すなわち、対応するADRCブロッ
クが動ブロックである場合、miは0となり、対応するADRCブロックが静ブ
ロックである場合、miは1となる。さらに、変数qiは対応するADRCブロッ
クを符号化するために用いる量子化ビットを表す。すなわち、qiの値は、4ビ
ットADRC符号化方式においては0,1,2,3,4のいずれかである。一具
体例において、3つのADRCブロックからなるグループに用いるKEYは、以
下に示す数式に基づいて得られるキー要素(di)により定義される。
【0086】 KEY=d0+10・d1+100d・2 これにより、モーションフラグ又はQビットデータの回復処理において、マス
キングキーの生成に用いられた値に基づいて、使用された可能性のあるキーの再
生が可能となる。再生されたキーの値は、受信されたQコードのビットストリム
のアンマスキングに使用され、これにより復号候補が生成される。キーの値の再
生及び特定の復号候補の選択については、データ回復の説明において詳述する。
【0087】 変形例として、マスキングキーは、様々な要素から生成できる。これにより、
伝送媒体を介して要素に関する情報を伝送することなく、デコーダに要素に関連
する特定の情報を提供することができる。一具体例においては、任意のADRC
ブロックに対応するDR値又はMIN値を用いてマスキングキーを生成し、この
マスキングキーによりそのADRCブロックを示すビットストリームをマスキン
グする。
【0088】 FIG.10〜12には、伝送中に生じる1/6パケットデータ欠落までを許
容するグループ内VLデータシャッフリングの例を示しているが、当業者にとっ
て、区画の総数、ビットの間隔を変更することにより、1/nバーストエラー欠
落に対応するよう設計を変更できることは明らかである。
【0089】 セグメント間FLデータシャッフリング セグメント間FLデータシャッフリングは、異なるセグメント間でブロック属
性を再割当するものである。ブロック属性を再割当することによりデータ欠落を
分散させることができる。具体的には、あるセグメントのFLデータが伝送中に
欠落しても、失われたDR値、MIN値及びモーションフラグ値が同一のブロッ
クに属さないようにする。FIG.13及びFIG.14は、セグメント間FL
データシャッフリングの具体例を示す図である。
【0090】 FIG.13にセグメント0〜5のコンテンツを示す。一具体例において、各
セグメントは、880個のDRと、880個のMINと、880個のモーション
フラグと、660個のYブロック、110個のUブロック、110個のVブロッ
クに対応するVLデータとを有する。図に示すように、MINシャッフリング1
300のセグメント0のMIN値は、セグメント2に移動され、セグメント2の
MIN値は、セグメント4に移動され、セグメント4のMIN値は、セグメント
0に移動される。さらにセグメント1のMIN値はセグメント3に移動され、セ
グメント3のMIN値はセグメント5に移動され、セグメント5のMIN値は、
セグメント1に移動される。
【0091】 FIG.13aは、モーションフラグのシャッフリングを示す。図に示すよう
に、モーションフラグシャッフリング1305のセグメント0のモーションフラ
グ値はセグメント4に移動され、セグメント2のモーションフラグ値はセグメン
ト0に移動され、セグメント4のモーションフラグ値はセグメント2に移動され
る。さらに。セグメント1のモーションフラグはセグメント5に移動され、セグ
メント3のモーションフラグはセグメント1に移動され、セグメント5のモーシ
ョンフラグはセグメント3に移動される。欠落パターン1310は、伝送中にセ
グメント0が欠落した結果のFLデータ欠落を示す。
【0092】 特定のブロック属性に対して、FIG.13及びFIG.13aに示すように
、セグメント間の特定のブロック属性の全ての瞬時値のシャッフリングを行う。
例えば、FIG.13においては、セグメント2の880個のMIN値は、セグ
メント0の880個のMIN値に一括して置き換えられる。同様に、FIG.1
3aにおいては、セグメント4の880個のモーションフラグ値は、セグメント
0のモーションフラグ値に一括して置き換えられる。このようにブロック属性を
一括してシャッフリングすることにより、連続するパケットの伝送欠落に対して
、欠落は、特定のブロックの特定のブロック属性に偏らない。一具体例において
は、1つのブロックグループは3つのADRCブロックを含む。
【0093】 FIG.14は、DR値、MIN値、モーションフラグ値に対するつのモジュ
ールシャッフルを示す図である。3つモジュールシャッフルとは、3つの異なる
セグメントにおける3つのグループ(すなわちブロックグループ)に亘ってシャ
ッフリングパターンを共有することを意味する。シャッフリングパターンは、3
つの異なるセグメント内の全てのブロックグループに対して繰り返される。なお
、異なるブロック属性に対しては異なるシャッフリングパターンを用いる。すな
わち、3つのモジュールシャッフリングにより、3つの全てのセグメントに亘っ
てブロック属性が分散される。具体的には、任意のブロックグループについて、
3つのモジュールシャッフリングは、伝送中のセグメントの欠落に対して、特定
のブロック属性の瞬時値が1つだけしか失われないことを保証する。したがって
、後述するデータ回復処理において、ブロック内の失われたデータ回復するため
の復号候補の数を低減することができる。
【0094】 DRモジュールシャッフル1410に示すように、1セグメントには880個
のDR値が格納されている。DR値には、そのDR値が由来するブロックに応じ
た番号が付されている。3つのモジュールシャッフリングにおいては、3つのセ
グメントのFLデータのコンテンツがシャッフルされる。カウント値0〜2は、
モジュールシャッフリングのために識別される3つのセグメント内の各DR値を
識別するために付された値である。すなわち、ブロック番号0,3,6,9・・
・に属するDR値は、カウント0に属する。同様に、ブロック番号1,4,7,
10・・・に属するDR値は、カウント1に属し、ブロック番号2,5,8,1
1に属するDR値は、カウント2に属する。これにより、所定のカウント値に対
して、そのカウント値に関連付けられたDR値は、セグメント0,2,4に亘っ
てシャッフリングされる。同様に、同一のカウント値に関連付けられたDR値は
、セグメント1,3,5に亘ってシャッフリングされる。
【0095】 DRモジュールシャッフル1410において、カウント値0に属するDR値は
シャッフリングされない。カウント値1に属するDR値は、シャッフリングされ
る。具体的には、セグメントA内のカウント値1に属するDR値は、セグメント
Bに移動され、セグメントB内のカウント値1に属するDR値は、セグメントC
に移動され、セグメントC内のカウント値1に属するDR値は、セグメントAに
移動される。
【0096】 カウント値2に属するDR値もまたシャッフリングされる。具体的には、セグ
メントA内のカウント値2に属するDR値は、セグメントCに移動され、セグメ
ントB内のカウント値2に属するDR値は、セグメントAに移動され、セグメン
トC内のカウント値2に属するDR値は、セグメントBに移動される。
【0097】 MINモジュールシャッフル1420は、MIN値用の3つのブロック属性の
モジュールシャッフリング処理の具体例を示す。1つのセグメントは、880個
のMIN値を含んでいる。MINモジュールシャッフル1420においては、D
Rモジュールシャッフリング1410においてカウント値1及びカウント値2に
対して用いたシャッフリングパターンをカウント値0及びカウント値1にシフト
して用いる。詳しくは、DRモジュールシャッフル1410においてカウント値
1に対して用いたシャッフリングパターンをカウント値0に適用する。また、D
Rモジュールシャッフル1410においてカウント値2に対して用いたシャッフ
リングパターンをカウント値1に適用し、カウント値2に属するMIN値につい
ては、シャッフリングを行わない。
【0098】 モーションフラグモジュールシャッフル1430は、モーションフラグ値用の
3つのブロック属性のモジュールシャッフリング処理の具体例を示す。1セグメ
ントは880個のモーションフラグを含んでいる。モーションフラグモジュール
シャッフル1430においては、DRモジュールシャッフル1410においてカ
ウント値1及びカウント値2に対して用いたシャッフリングパターンをそれぞれ
カウント値2及びカウント値0にシフトして用いる。具体的には、DRモジュー
ルシャッフル1410においてカウント値2に対して用いたシャッフリングパタ
ーンをカウント値0に適用する。また、DRモジュールシャッフル1410にお
いてカウント値1に対して用いたシャッフリングパターンをカウント値2に適用
し、カウント値1に属するモーションフラグ値については、シャッフリングを行
わない。
【0099】 FIG.14aは、モジュールシャッフル1410,1420,1430によ
り得られたモジュールシャッフリングの結果を示す図である。モジュールシャッ
フル結果1416は、各ブロック属性移動先がセグメント0に属することを示す
。この例では、セグメント0は、FIG.14に示すセグメントAに対応する。
この移動先は、FIG.14に示すモジュールシャッフル1410,1420,
1430により決定される。FIG.14aは、セグメント0が伝送中に欠落し
た場合のブロック属性の欠落分布を示す。具体的には、欠落パターン1415は
、モジュールシャッフル1410,1420,1430によりシャッフリングさ
れた受信データをデシャッフリング処理した後に、6つのセグメントに亘るDR
値、モーションフラグ値、MIN値の欠落を示す。FIG.14aに示すように
、ブロック属性の欠落は、セグメント0,2,4に亘って周期的に分散されてお
り、セグメント1,3,5にはブロック属性欠落は生じていない。さらに、空間
欠落パターン1417は、伝送中にセグメント0が欠落して失われたFLデータ
のデシャッフル後の空間的分布を示す。空間欠落パターン1417は、後に受信
データに対して施されるデシャッフリング処理後のDR値、モーションフラグ値
、MIN値の欠落を示す。空間欠落パターン1417においては、破損されたブ
ロックは破損されていないブロックに取り囲まれており、破損されたブロック属
性は、破損されていないブロック属性に基づいて回復することができる。
【0100】 FIG.14及びFIG.14aは、3つのモジュールシャッフリングパター
ン及び伝送中にセグメントが失われた後のブロック属性の欠落分布を示す。変形
例として、カウント値又はセグメント数を変更することによりブロック属性の欠
落分布を変更してもよい。FIG.14bにモジュールシャッフル結果1421
と欠落パターン1420とを示す。同様に、FIG.14cにモジュールシャッ
フル結果1426と欠落パターン1425とを示す。欠落パターン1420及び
欠落パターン1425は、上述した3つのセグメントではなく、6つのセグメン
トに亘るブロック属性欠落の分布を示す。
【0101】 シャッフリング処理を行うための、ブロック属性を組み合わせて分散させる手
法については、様々な変形例が可能である。
【0102】 セグメント間VLデータシャッフリング セグメント間VLデータシャッフリング処理では、所定数のセグメント、例え
ば6つのセグメントが並べ替えられ、これにより1/6パケット伝送欠落までの
欠落に対し、空間的に分離された周期的なVLデータ欠落が保証される。FIG
.15及びFIG.16は、セグメント間VLデータシャッフリング処理の一具
体例を示す。
【0103】 この具体例においては、30Mbpsに近い伝送速度が望ましい。したがって
、望ましい伝送速度では、60のバッファのそれぞれにおけるVLデータとして
31,152ビットが利用可能となる。残りの領域には、バッファ内に含まれる
88個のブロック用のFLデータに使用される。FIG.15は、30Mbps
に近い伝送速度用のフレームセット内のVLデータバッファ配列構造を示す図で
ある。上述のとおり、部分バッファリングにより各バッファの使用可能なVLデ
ータの使用効率が最適化されており、VLデータの未使用領域は、ポストアンブ
ルにより充足されている。
【0104】 FIG.16は、空間的に分散された周期的なVLデータ欠落を保証するシャ
ッフリング処理の具体例を示す図である。第1列は、FIG.15に示す60個
のバッファから1,869,120ビットの連結ストリームに並べ替えられたV
Lデータを示す図である。第2列は、6ビット毎にビットを抽出してまとめた新
たなビットストリームを示す図である。これにより、デコーダが後に逆の処理を
行う際に、伝送中に起こった1/6までのバースト欠落は、2つの破損されたビ
ット間に少なくとも5つの未破損ビットがある周期的な欠落パターンに変換され
る。
【0105】 第3列は、ストリーム2のビットを10ビット毎に抽出してグループ化して生
成された新たなビットストリーム、すなわちストリーム3を示す。この場合も、
グループの境界は、セグメントにおけるビット番号により規定される。ストリー
ム2を10ビット毎にグループ化することにより、1/60のデータ欠落が生じ
た場合、2つの破損されたビット間に少なくとも59個の未破損ビットが存在す
ることが保証される。これにより、88個の連続するパケットのデータが欠落し
た場合に、空間的に分離された周期的なVLデータ欠落が実現される。
【0106】 第4列は、ストリーム3のビットを11ビット毎に抽出して生成されたストリ
ーム4を示す。この場合も、グループの境界は、セグメントにおけるビット番号
により規定される。ストリーム3を11ビット毎にグループ化することにより、
1/660のデータ欠落が生じた場合、2つの破損されたビット間に少なくとも
659個の未破損ビットが存在することが保証され、8個の連続するパケットの
伝送欠落が生じた場合、空間的に分離された周期的なVLデータ欠落を実現する
【0107】 ストリーム4内の31,152ビットからなる各グループは、連続的にバッフ
ァ0〜59に再格納される。すなわち、最初のビットグループは、バッファ0に
格納され、最後のビットグループは、バッファ59に格納される。
【0108】 FIG.16に示すグループ化の手法を変更することにより、1/nまでの伝
送欠落を許容する空間的に分離された周期的なVLデータ欠落が保証されること
は、当業者にとって明らかである。
【0109】 伝送 上述したシャッフリング処理により、FLデータ及びVLデータが相互に混合
されたバッファが形成される。一具体例においては、パケット構造200に従っ
て各バッファからパケットを生成し、各パケットを伝送媒体135を介して送信
する。
【0110】 データ回復 上述のとおり、ビットストリームを符号化する革新的な本手法により、データ
パケットの欠落により生じるエラーに対する強力なエラー回復を実現することが
できる。復号処理の概要については、FIG.4に示すとおりである。
【0111】 FIG.4に示すように、パケットとして受信されたデータは、複数レベルの
デシャッフリング処理、すなわちステップ425,430,435,440にお
いて処理され、ここでは、パケットとして受信されたデータの異なるデータ又は
部分がデシャッフリングされ、データが復元される。そして、ステップ445に
おいて、当分野で知られた技術(1991年9月4日〜6日にイタリアのトリノ
で開催されたHDTV及びその未来に関する第4回国際研究会(Fourth Interna
tional Workshop on HDTV and Beyond)において、近藤、藤森、中屋らにより発
表された「将来のHDTVデジタルVTRのための適応ダイナミックレンジコー
ディング方式(Adaptive Dynamic Range Coding Scheme for Future HDTV Digit
al VTR)」参照)を用いてデータをADRC復号する。
【0112】 ステップ445,450において、フレームセット内ブロックデシャッフリン
グ及びブロック−画像マッピングが順次実行される。ステップ425,430,
435,440,445,450,455は、データを符号化するために実行さ
れる上述の処理の逆の処理であり、ここでは、詳細には説明しない。なお、一具
体例においては、ステップ425,430,440により示されるデシャッフリ
ングは、データに対して独立である。例えば、実行されるデシャッフリング処理
は、予め定められているか、あるいはアドレスマッピング又はテーブルルックア
ップにより特定される。デシャッフリングステップ425,430,440は、
データコンテンツに対して独立しているので、例えばパケット欠落に起因するデ
ータ欠落によってデシャッフリング処理ができなくなることはない。同様に、ス
テップ450,455は、データに対して独立である。詳しくは、グループ内V
Lデータデシャッフリング処理により、ブロックグループ用の量子化コードが決
定される。したがって、ステップ435では、パケットが欠落している場合、影
響のあるグループを処理することはできない。
【0113】 デシャッフリング処理、復号処理、マッピング処理(ステップ425,430
,435,440,445,450,455)の後、回復処理が実行され、これ
により欠落パケット内に存在していたQビット及びモーションフラグ値が回復さ
れる。Qビットの欠落は、通常DR欠落(パケット欠落に起因する)に起因する
。Qビット又はモーションフラグ値が未知の場合。画素のQコードビットをデー
タビットストリームから判定することができない。Qビット又はモーションフラ
グ値が不正確に判定された場合、バッファ内のデータにおいて後続するブロック
の開始点が誤って判断されるため、このエラーは伝播性を有している。
【0114】 FIG.17は、Qビット及びモーションフラグ値を回復するための処理の概
要を示す図である。ここでは、特定の具体例により複数のデータブロックを用い
てQビットとモーションフラグ値を回復する処理を説明する。しかしながら、ブ
ロックの数は、この具体例に例示するものに制限されるわけではなく、1又は複
数のブロックを用いることができる。FIG.17に示すように、ステップ17
05において、ビットストリーム内に検出されたエラーに基づいて、ステップ1
710において、特定のパラメータに基づいて、検査された3つのブロック用の
復号候補が生成される。ステップ1715において、各復号候補が正しい復号候
補である可能性(likelihood)に基づいて各復号候補に得点を付ける。そして、
最も得点の高い復号候補を選択する。選択された復号候補は、Qビット及びモー
ションフラグ値を修正し、これにより検査されたブロックの画素が復号される。
【0115】 FIG.4に示す復号処理において、一旦最良の復号候補が選択されると、ス
テップ465において、パケット欠落に起因して失われたDR値又はMIN値が
回復される。ここでは、例えば隣り合うブロックの最小自乗又は平均を用いた手
法など、当業者に既知の回復処理を用いてDR及びMINを回復する。この処理
の詳細については、例えば、1991年9月4日〜6日にイタリアのトリノで開
催されたHDTV及びその未来に関する第4回国際研究会(Fourth Internation
al Workshop on HDTV and Beyond)において、近藤、藤森、中屋らにより発表さ
れた「将来のHDTVデジタルVTRのための適応ダイナミックレンジコーディ
ング方式(Adaptive Dynamic Range Coding Scheme for Future HDTV Digital V
TR)」に記載されている。この具体例においては、革新的な画像−ブロックマッ
ピング処理及びこれに基づくデータ構造により隣り合うブロックを増加させ、こ
れにより追加的データを提供し、より正確なDR及びMIN回復を容易に行うこ
とができる。詳しくは、一具体例において、DR及びMINは以下の式に基づい
て回復される。
【0116】
【数58】
【0117】 ここで、DR’は、回復されたDRに対応し、qiは、ADRCブロック内のi
番目の値であり、qi∈{0,1,・・・2q−1}であり、エッジマッチングA
DRCの場合m=2Q−1、非エッジマッチングADRCの場合m=2Qであり、
yiは、隣接するブロックの復号された値であり、Qは、Qビット値である。
【0118】
【数59】
【0119】 ここで、MIN’は、回復されたMINに対応し、Nは、総和に用いた項の数を
表す(例えば、iが0〜31であればNは32である)。他の具体例において、
同一のブロックのDR及びMINが同時に破損されている場合、DR及びMIN
は以下の式に基づいて回復される。
【0120】
【数60】
【0121】 ステップ470において、Qビット及びモーションフラグ回復を実行する以前
に復号されていないデータをADRC復号し、ステップ475において、パケッ
ト欠落又はランダムエラーに起因して生じたエラーを含む全ての画素データを回
復する。そして、ステップ485において、3:1:0−4:2:2逆変換を行
い、画像を表示のための望ましいフォーマットに変換する。
【0122】 FIG.18は、本発明が提供する復号処理におけるQビット及びモーション
フラグ回復処理の特定の具体例を示す図である。この特定の具体例において、処
理に入力される情報は、隣接ブロック情報と、処理すべき3つのブロックのブロ
ック属性及び画素データである。さらに、失われたデータの位置を示すエラーフ
ラグも入力される。エラーフラグは、当業者に知られた様々な手法で生成するこ
とができるため、詳細には説明しない。エラーフラグは、どのビットが破損され
た又は欠落したパケットにより伝送されてきたかを示す。
【0123】 ステップ1805において、復号候補を生成する。復号候補は様々な手法で生
成できる。例えば、処理負担がかなり大きくなってしまうが、復号候補に可能な
復号の全てを含ませてもよい。これに代えて、事前に特定されたパラメータに基
づいて、復号候補を生成し、評価すべき復号候補の数を減らしてもよい。
【0124】 この具体例においては、復号候補は、上述したグループ内VLデータシャッフ
リング処理においてビットストリームをランダム化するために用いられた可能性
のあるキー値に基づいて判定される。さらに、復号候補は、復号すべき状態で残
っているビットのビット長及び残りのブロック数に関する情報により制限される
。例えば、後述するように、最後のブロックの処理においては、ブロックの復号
長は通常既知である。
【0125】 この具体例の説明を続ける。FIG.19は、この具体例における可能な組合
わせを表す、ここでxは、未知の値(パケット欠落等に起因して失われた値)を
示す。さらに具体例を挙げて説明する。miは、i番目のブロックのモーション
フラグであり、qiは、i番目のブロックの量子化ビットの数であり、niは、i
番目のブロックに対して可能な復号候補の数であり、diは、グループ内VLデ
ータシャッフリングの説明で述べたi番目のブロックのキー要素の値である。i
番目のブロックは、各グループに内で定義される。この具体例では、各グループ
内のブロック数は3である。この3ブロックグループに対するキーは、d0+1
0・d1+100・d2として生成される。第1のブロックにおいてモーションフ
ラグが未知であり、量子化ビットのビット数が2であり、m0がxであり、q0
2であるとする。上述の式に基づいて、キー要素diは、di=5・mi+qiとな
り、d0として可能なデジットの集合は{2,7}となる。したがって、可能な
値(n0)は、2となる。第2のブロックのモーションフラグ値が1であり、量
子化ビット数が1であり、diの値がdi=5・1+1=6であり、ni=1であ
るとする。また、第3のブロックのモーションフラグ値が1であり、量子化ビッ
ト数が未知であるとする。これにより、デジットd2は{6,7,8,9}の集
合からなり、n2=4となる。したがって、このグループの復号候補の可能数M
は、2×1×4=8となり、復号候補を生成するキーのバリエーションは、66
2,667,762,767,862,867,962,967となる。この処
理は、好ましくは、データ欠落の影響を受けた各グループに対して実行される。
【0126】 FIG.17の説明に戻る。ステップ1715において、データがキーデータ
に基づいて復号されると、生成された復号候補は、復号されたデータが正しい可
能性に基づいて得点付けされる。ステップ1720において、最高の得点を得た
復号候補を選択する。
【0127】 復号候補の得点付けには、様々な手法を用いることができる。例えば、特定の
復号候補に基づくブロック内の画素が画像内の他の画素にどれくらい合致してい
るかを分析して復号候補を得点付けすることができる。好ましくは、得点は、例
えば自乗誤差や相関などのエラーを示す判定基準に基づいて決定する。例えば、
相関については、隣接する画素との相関度が高いほど、仮定が正しい確率が高い
。したがって、相関度が高ければ復号候補が正しいことが予測され、相関性がな
ければ復号候補が正しくないことが予測される。
【0128】 FIG.18に示すように、4つの異なる判定基準を分析して最良の復号候補
を選択する。しかしながら、復号候補を選択するために分析する判定基準の数は
、1乃至3個であってもよく、5個以上であってもよい。
【0129】 FIG.18に示す具体例では、4つの副得点付け判定基準を設け、これらに
対する得点を合計して最終得点を算出する。具体的には、ステップ1815にお
いて、自乗誤差を求め、ステップ1820において、水平相関を判定し、ステッ
プ1825において垂直相関を判定し、ステップ1830において、時間的動き
を測定する(それぞれ、M個の復号候補とN個のブロックと2データフレーム/
ブロックに対応するM×2N行列として示される)。ここでは、水平相関及び垂
直相関を用いるが、例えば対角相関等の様々な相関値を測定することができる。
ステップ1835,1840,1845,1850において、各判定基準の信頼
度を測定し、測定値を正規化する。ステップ1855,1860,1865,1
870においては、それぞれ異なる判定基準の確率関数を生成する。これら確率
関数は、例えば確率値を掛け合わせることにより結合され、例えばFIG.18
のステップ1875においては、尤度関数等による得点付けを行う。そして各復
号候補の得点を他の全ての復号候補の得点と比較し、最も正しいと考えられる復
号候補を選択する。
【0130】 各復号候補を評価し、それぞれの候補に得点を付けるために様々な手法を用い
ることができる。例えば、信頼度測定は、判定基準を正規化する一手法である。
さらに、以下に説明するもの以外にも、様々な信頼度測定の手法がある。同様に
、各判定基準に基づく確率値を掛け合わせて全体の尤度関数を求める手法は、検
査された様々な判定基準を結合する手法の単なる例示に過ぎない。
【0131】 通常、候補となる可能性が低い復号候補が得る得点は低く、一方、候補として
有力な復号候補が得る得点が極めて高くなるため、符号化処理により最良の復号
候補の判定が容易となる。特に、上述したグループ内データシャッフリング処理
におけるQコードのランダム化処理によってこの判定を容易に行うことができる
【0132】 FIG.20a、20b、20c、20dは、FIG.18に示すステップ1
815,1820,1825,1830において特定の復号候補に得点を付け、
及び総得点を算出するための異なる測定法の例を示す。FIG.20aは、復号
候補により復号された画素xiを復号された隣接する画素yi,jと比較して評価す
る自乗誤差による測定を説明する図である。添え字「i,j」は、iに隣接する
アドレスに対応する。なお、画像内の輪郭の境界に存在するために生じる急峻な
変化(スパイク:spike)の影響を取り除くために、値が大きな項のいくつかを
除外することが望ましい。好ましくは、(xi−yi,j2を除外し、発生する可
能性のあるスパイクを回避するとよい。FIG.20bは、時間的動きの判定基
準を測定する手法を説明する図である。これは、ブロックが動ブロックであるか
、動ブロックであると仮定される場合にのみ適用可能である。時間的動きの判定
基準では、ブロック間の相違は小さいものであると仮定する。したがって、復号
候補が悪いほど、ブロック間の相違が大きくなる。空間相関では、実際の画像が
密接な関係を保ちながら徐々に変化するため、復号候補が正しい可能性が高いほ
ど、相関度が高くなると仮定する。FIG.20cに示す水平相関測定及びFI
G.20dに示す垂直相関測定は、この仮定を利用する。
【0133】 FIG.18に示すステップ1835,1840,1845,1850におけ
る信頼度測定は、先のステップ(ステップ1815,1820,1825,18
30)において判定された判定基準の正規化を行う処理である。一具体例におい
て、例えば、自乗誤差が[0,1]間の値をとり、エラーが等しい場合、信頼度
は0となり、エラーが0である場合信頼度は1となる。正規化のためには他の測
定法及び手法を用いてもよい。
【0134】 同様に、空間相関に関する信頼度は、以下の式により算出される。
【0135】 maximum(Y,0)-maximum(X,0) ここで、Yは、最良の相関値であり、Xは、現在の復号候補による相関値である
。時間的動きの信頼度の測定は、以下の式に基づいて行われる。
【0136】 conf=(a-b)/(a+b) ここで、a=max(X, M_TH)であり、b=max(Y, M_TH)であり、さらにここで、M_THは
候補ブロックの動き閾値であり、Yは最良の測定値、すなわち最小の時間的動き
を表し、Xは現在の候補の時間的動きの測定値を表す。
【0137】 FIG.18に示すステップ1855,1860,1865,1870におい
て、それぞれ異なる判定基準に関する確率関数を生成する。確率を測定する手法
は様々なものが存在する。例えば、得点を信頼度の測定に用いることができる。
信頼度の測定値が所定の値、例えば0.8より大きければ、基礎得点から10を
減じ、0.5〜0.8の間であれば基礎得点から5を減じる。FIG.21は、
自乗誤差測定判定基準用の確率関数を生成するために用いる具体例である。この
表は、経験的に求められた任意のデータを格納し、信頼度と、自乗誤差測定値と
、既知復号候補が含まれている。具体的には、この表は、破損されていないデー
タを用い、DR値が破損又は欠落したと仮定して作成することができる。これに
より、適切な復号及び不適切な復号に対するキー及び信頼度測定値が求められる
。この表は、適切な復号と不適切な復号との確率比を反映したものである。この
表を用いて、特定の自乗誤差の値(列)及び信頼度の値(行)に対する確率が判
定される。例えば、信頼度0において、様々な自乗誤差が存在し、候補が正しい
確率は40%〜50%であることが判る。信頼度が0ではないが、低い値である
場合、この確率は、急速に低下する。相関及び時間的動きに関しても、対応する
経験的に求められた判定基準測定値及び信頼度測定値に基づいて、同様の表を作
成することができる。
【0138】 生成された確率を用いて、この具体例における、上述の「得点」を求めること
ができる。候補復号の得点付けには、他の手法を用いてもよい。ステップ187
5において、異なる確率を結合して尤度関数Li=j・Pi,jを求める。ここで、
jは確率関数Pi,jの乗算関数であり、Pi,jは候補iブロックjの確率関数であ
る。候補としては、関数Liが最大となるものを選択する。
【0139】 FIG.18に示す処理においては、欠落したパケットにより伝送されたブロ
ック属性を回復する必要がある場合がある。したがって、ステップ1810にお
いて、DR値及びMIN値を必要に応じて回復する。この回復処理には、初期値
、平均、自乗誤差関数を用いた手法や、例えば、1993年9月20〜22日に
オーストラリアのメルボルンで開催されたIEEEビジュアル信号処理及び通信
学会で発表された近藤、藤森、中屋らによる「将来のHDTVデジタルVTRの
ための適応ダイナミックレンジコーディング(Adaptive Dynamic Range Coding
Scheme for Future HDTV Digital VTR)」及び近藤、藤森、中屋、内田らによる
「新たなデジタルVCRの秘匿法(A New Concealment Method for Digital VCR
s)」に開示されたより高度な手法を用いることができる。回復された値は、上
述した復号候補の生成に利用される。
【0140】 あるいは、DR値及びMIN値は、Qビット判定処理において判定される。こ
の手法をFIG.22に示す。具体的には、上述のとおり、この具体例において
は、モーションフラグ及び量子化ビット数を用いて符号化処理を行い、さらにこ
れらにより、回復処理において復号候補の可能な数を減少させている。上述のと
おり、他の情報を用いてもよい。すなわち、DR値及び/又はMIN値を符号化
にも用いてもよい。これに代えて、DRの一部のビット(例えば、DRにおいて
重要度が低い2つのビット)を符号化に用いてもよい。DRデータを符号化して
も、変数を追加するにつれて可能な復号候補の数は増加する。FIG.22の処
理では、K・M復号候補が生成される。ここで、Kは、未知のデータの候補値の
数であり、例えば、DR1、DR2、DR3(DR1、DR2、DR3は、グループ内
のブロックのDR値を示す)の合計の2ビットが符号化された場合、K=4であ
る。DR及びMINは、例えばDR1、DR2、DR3の合計の2ビット等の補助
情報を用いて回復される。この処理により、復号候補の最大数を調べるためのオ
ーバーヘッドを代償として、候補選択処理の精度を向上させることができる。
【0141】 なお、通常、復号された隣接するブロックの数が多いほど、Qビット及びモー
ションフラグの回復処理が向上する。さらに、いくつかの具体例において、この
処理は、バッファ内の連続するブロックに対して適応される。FLデータの全て
又は一部が利用可能であれば、復号候補の数を減らすことができ、ブロックのF
Lデータ全てが与えられれば、可能な復号候補は1つとなる。しかしながら、Q
ビット及びモーションフラグの回復処理は比較的時間を要するものであるため、
回避した方が望ましい。さらに、Qビット及びモーションフラグの回復処理を行
うためには、可能な限り多くの情報を用いることが望ましい。一具体例において
は、Qビット/モーションフラグ情報が失われているブロックに到達するまで、
バッファの先頭から順次ブロックを処理する。このような処理を順方向Qビット
及びモーションフラグ回復処理と呼ぶ。他の具体例においては、バッファの最後
を参照してバッファ内の最終ブロックを判定し、この最終ブロックからQビット
/モーションフラグ情報が失われているブロックに到達するまで、バッファの最
後から先頭の方向に順次データを回復する。この処理を逆方向Qビット及びモー
ションフラグ回復処理と呼ぶ。
【0142】 上述したように、ブロックは、VLデータを含むため、ブロック長は可変であ
る。したがって、バッファ内で後続するブロックの位置を正確に検出するために
、VLデータを形成するビットの総数を判定する必要がある。復号処理において
、バッファ内の未使用のビット位置には、所定の、望ましくは認識が容易なパタ
ーンを有するポストアンブルを設ける。復号処理においては、ポストアンブルは
、ブロックとバッファの最後との間に存在することとなる。容易に認識できるパ
ターンを用いているため、復号装置は、このパターンを確認することにより、ポ
ストアンブルの開始位置を検出でき、したがって、バッファ内のブロックの最後
を検出できる。この情報は、2つの処理において使用される。ブロックが破損さ
れたQビット/モーションフラグデータを含み、ブロックの開始位置が既知であ
る場合(例えば、先行するブロックが無事に復号されている場合)、直前のブロ
ックの最後からポストアンブルの先頭までの差分がブロック長に対応する。この
情報は、ブロックのQビット及び/又はモーションフラグの算出に使用できる。
ポストアンブルの開始位置は、直前のブロックからバッファの先頭方向における
Qビット及びモーションフラグ回復にも使用できる。
【0143】 FIG.23は、ポストアンブルを用いた双方向Qビット及びモーションフラ
グ回復処理を説明する図である。FIG.23においては、バッファ2300は
、FLデータのブロックからなるN個のグループ用のFLデータ2303を含む
。各グループは、複数の(例えば、3個の)ブロックから構成される。この具体
例においては、1番目及び2番目のグループ2305,2310が復号され、3
番目のグループは、DR/モーションフラグデータが破損されているために、直
ちには復号するこができない。この時点で、破損されたデータを回復するために
Qビット/モーションフラグ回復処理が必要となる。ここで、順方向へのグルー
プの処理を継続せず、ポストアンブルパターン220を検出することにより、バ
ッファの最後を読み出す。すなわち、ポストアンブルの先頭を判定することによ
り、最後のブロックグループが判定される。DR/モーションフラグデータはV
Lデータの長さを暗示しているため、最終ブロックのVLデータの先頭と、した
がって直前のブロック最後とが判定される。これにより、破損データを含むブロ
ック240に到達するまで、ブロック225,230,235等のブロックが順
次処理される。続いて、破損されたブロック215,240及び妨害された複数
のブロック250が回復される。ここでは、望ましくは上述のQビット/モーシ
ョンフラグ回復処理を用いる。
【0144】 なお、双方向処理の順序は、順方向から逆方向の順序に限定されるものではな
く、処理は、いずれの方向から開始してもよく、両方向から開始してもよい。さ
らに、いくつかの具体例においては、複数の処理を平行して実行し、処理効率を
高めることもできる。さらに、破損されていない妨害されたブロックについては
、上述のQビット/モーションフラグ回復処理を行うことなく、Qビット/モー
ションフラグ情報に直接アクセスしてこれらのブロックを回復してもよい。
【0145】 上述のように、最良の復号候補を実際の復号処理として選択するための得点付
けの手法は、様々である。変形例においては、各復号候補を用いた画像の平滑度
を評価する。一具体例においては、ラプラス測定を実行する。ラプラス測定では
、例えば画像の曲率等の画像表面の2次特性を利用する。線形画像表面、すなわ
ち平滑な表面に対しては、このラプラス測定の結果は0に近い値となる。
【0146】 この処理をFIG.24a、24b、24cを用いて説明する。FIG.24
aは、ラプラスカーネルの一具体例を示す。他のラプラスカーネルを用いてもよ
い。ラプラスカーネルLは、3×3の領域で示される。画像領域の平滑度を測定
するために、画像のサブ領域をカーネルにより畳み込み、畳み込まれた値の平均
を求める。領域及びサブ領域のサイズ(したがってカーネルのサイズ)は、アプ
リケーションに応じて変更できる。
【0147】 処理の一例をFIG.24cに示す。この具体例では、3×3のカーネル及び
サブ領域サイズ及び8×8の領域サイズと、インデックスi,jにより識別され
る独立要素とを用いる。ステップ2460において、候補復号値×[i][j]を正規
化する。例えば、値は以下の式に基づいて正規化される。
【0148】
【数61】
【0149】 ステップ2465では、正規化された値を用い、以下の式に基づいて、平滑度
を示すブロックラプラス値LXを求める。
【0150】
【数62】
【0151】 ブロックラプラス値が0に近いほど、画像の部分の平滑度が高い。したがって
、このブロックラプラス値に基づいて得点を算出することができ、ラプラス値が
最も小さい復号候補を正しいと判定することができる。
【0152】 ラプラス評価法は、符号化された候補値q[i][j]を用いて実現することもでき
る。基本的な処理手順は、FIG.24cに示す手順と同様である。この具体例
では、3×3のカーネル及びサブ領域サイズ及び8×8の領域サイズと、インデ
ックスi,jにより識別される独立要素とを用いる。例えば、値は以下の式によ
り正規化される。
【0153】
【数63】
【0154】 ステップ2465では、正規化された値を用いて、以下の式に基づいて、平滑
度を示すブロックラプラス値Lqを求める。
【0155】
【数64】
【0156】 ブロックラプラス値が0に近いほど、画像の部分の平滑度が高い。したがって
、このブロックラプラス値に基づいて得点を算出することができ、ラプラス値が
最も小さい復号を正しいと判断することができる。
【0157】 さらに他の変形例も可能である。変形例として、平滑度測定のために、より高
次元の画像特性を用いることもできる。この場合、高次カーネルを用いることが
できる。例えば、4次カーネルを用いて、4次ブロックラプラス測定を行うこと
ができる。このような4次カーネルは、2次ラプラス演算を縦続的に実行するこ
とにより実現できる。
【0158】 さらに、画像が所定の値より大きな変化又は動きを有しているか否かに基づい
て評価処理を変更してもよい。画像の部分が所定の値より大きな動きを示してい
る場合、フレームではなくフィールドに対する測定を行うことが望ましい。この
点について、FIG.25を用いて説明する。FIG.25は、平滑度測定を用
いた処理を示す図である。しかしながら、この処理は様々な種類の測定法を用い
て実現することができる。
【0159】 画像領域のフレーム2505は、フィールド0及びフィールド1から構成され
る。ステップ2510において動きが検出されない場合、ステップ2515にお
いて、各フレーム内のブロックについてブロックラプラス値を求めることにより
平滑度を測定する。所定の値より大きな動きが検出された場合、ステップ252
0及びステップ2525においてそれぞれのフィールドに対してブロックラプラ
ス測定を行い、得られた2つの測定値をステップ2530において結合、例えば
平均値を求め、平滑度測定値を算出する。動きの検出及び測定には様々な手法を
用いることができる。一具体例においては、フィールド間の変化を評価し、得ら
れた値が所定の値を超えた場合に動きを検出する。
【0160】 値の回復(通常、欠落又は破損された値の置換)のために動き検出、フレーム
情報及びフィールド情報を使用する手法は、値を回復する必要があるあらゆる処
理の過程に適用できる。例えば、値を回復するための動き検出、フレーム情報及
びフィールド情報を使用する手法は、DR/MIN回復処理、画素回復処理、Q
ビット及びモーションフラグ回復処理等に適用することができる。このように、
検出された動きレベルに基づいて、回復処理は、フィールド単位又はフレーム単
位で既存の情報を利用する。さらに、この処理は、特定の方向(例えば、水平方
向又は垂直方向)での相関レベルに基づいて選択される重み付けの値を用いるア
プリケーションと組み合わせて用いることもできる。
【0161】 Qビット及びモーションフラグ回復処理の他の具体例では、復号候補は、ブロ
ック内及びブロック間測定に基づいて評価される。以下の説明では、用語「ブロ
ック」は、フレーム又はフィールドの部分を意味するものとする。ブロック内測
定は、復号候補により復号された画像の部分の例えば平滑度を評価する。ブロッ
ク間測定は、復号候補が隣接する画像部分にどれほど合致するかを測定する。F
IG.26a及びFIG.26bは、ブロック間評価とブロック内評価とを組み
合わせた手法を説明する図である。具体的には、FIG.26aは、ブロック間
測定及びブロック内測定の結果が良好であるために許容可能な復号候補を示し、
一方、FIG.26bでは、ブロック内測定の結果は極めて良好であるが、ブロ
ック間測定の結果が良好ではない場合を示している。
【0162】 ブロック内測定の具体例では、上述した平滑化測定を行う。ブロック間測定の
具体例では、上述の自乗誤差測定を行う。ブロック間測定の変形例では、ADR
Cブロック候補における適合する境界画素の比及び境界画素の総数を使用する。
【0163】 ADRC符号化された8×8ブロックに対するブロック間評価及びブロック内
評価について、FIG.26c、26d、26eを用いて説明する。FIG.2
6dは、q個の値からなる符号化された値2650のデータの画像の一部(ブロ
ック)を示し、このブロックから候補復号値xが生成される。隣接する復号され
たデータ2655は、y個の値からなる。上述のとおり、FIG.26cのフロ
ーチャートに示すステップ2605において、ブロック内測定が実行され、これ
により測定値、例えばブロックラプラス値LXが算出される。ステップ2610
において、ブロック間測定値SXが算出され、これにより隣接するブロック間の
適合性が測定される。ステップ2615において、結合測定値MXが算出される
。結合測定値は、復号候補を選択するために用いる情報を提供する。
【0164】 この具体例において、SXは、復号候補による各境界画素の有効範囲内に存在
する隣接データの数として算出される(FIG.26e参照)。FIG.26e
は、一具体例の有効範囲を示すグラフであり、ここでは観察された量子化値qi
のそれぞれの有効範囲が示されている。すなわち、LQ≦DR<UQとなり、ここ
で、LQ、UQは、それぞれ量子化ビット=Qに対応するDRの上位及び下位の境
界を示している。SXについては、SX=SX/境界画素数として正規化すること
が望ましい。
【0165】 この具体例では、結合測定値MXは、MX=SX+(1−LX)という式に基づい
て算出する。これに代えて、以下の式を用いて結合測定値の重み付けを行っても
よい。MX=w・SX+(1−w)・(1−Lx)ここで、wは重みであり、通常
経験的に決定された重み付けの値を有する。
【0166】 欠落又は破損されたDR値及びMIN値を判定するための他の具体例も考えら
れる。例えば、上述の式を変形して用い、より高精度なDR値及びMIN値の回
復を実現することができる。他の具体例では、メジアン法を用いてもよい。メジ
アン法の一具体例では、MINの値を全てのMINiの値のメジアンとして以下
のようにして求める。
【0167】 MINi=yi−qi・s ここで、qiは、符号化された画素値を示し、yiは、qiに隣接する復号された
画素を示す。エッジマッチングADRCにおいて、s=DR/(2Q−1)であ
る。ノンエッジマッチングADRCにおいては、s=DR/2Qである。ここで
、Qは、画素毎の量子化ビット数(Qビット値)を示す。
【0168】 使用される値は、時間的近似値又は空間的近似値であってもよい。yiの値と
しては、隣接するフレーム/フィールド又は同じフィールドの隣接する画素の復
号値を用いてもよい。yiの値としては、隣接するフレーム/フィールド又は同
じフィールド内の同じ位置の画素の復号値を用いてもよい。
【0169】 さらに、DR及び/又はMIN回復処理をクリップ処理と組み合わせて用い、
回復精度を向上させるとともに、回復処理中のデータのオーバフローを防止する
こともできる。クリッピング処理は、回復されれたデータの値を所定の範囲内に
制限する処理である。すなわち、所定の範囲外の値は、この範囲の最も近い境界
値にクリップされる。一具体例においては、クリップ処理により値を[LQ,UQ ]の範囲内に制限する。ここで、LQ,UQは、量子化ビット数=Qで表される画
素値の範囲の下限及び上限を示す。量子化ビット及びさらにMIN+DRを制限
する制限値Numを設ける。Numは最大画素値であり、この具体例においては
Numは255である。この具体例において、適応可能であれば、UQ+1=LQ+1 とする。
【0170】 判定基準を単一の式に結合することにより、DRのための拘束されない回復値
(val')と、最終的にクリップされた回復値(val)とが以下の式から得られる
【0171】 val=max(min(val, min(UQ, 255-MIN)), LQ) ここで、min及びmaxは、それぞれ最小関数及び最大関数を示す。
【0172】 他の具体例においては、境界画素yiを用いて回復されたDR及び/又はMI
Nをフィルタリングして相関値が最も高いものだけを用いるようにする。これに
よりDR及びMINの回復の精度が向上する。これら境界画素は、使用されてい
ない判定基準には適合しない。一具体例においては、境界画素yiは、LQ≦D
R<UQを満たすDR値が存在し、元の画素yiがqiとして符号化されている場
合、DR算出に有効であるとみなされる。すなわち、以下の式が満たされるとき
、画素は有効である。
【0173】
【数65】
【0174】 ここで、mは、最大量子化レベル=2Q−1を表す。次に、DR回復値(val')
は、以下の式に基づいて算出される。
【0175】
【数66】
【0176】 続いて、この値は有効範囲内にクリップされる。この処理により、DR回復値
は、閾値テーブルにより定義されている有効範囲内に納められる。これにより、
DRが閾値テーブル境界近傍に存在する点の精度が低下する。
【0177】 ここで、量子化雑音の影響により静ADRCブロックのDRは、フレーム間で
若干変化することがある。このような変化がADRC符号化境界を横断し、DR
が複数の連続フレームにおいて回復された場合、有効画素選択とともに回復され
たDRの回復値は、各横断点で過大になる傾向があり、この結果、表示画面上で
顕著なちらつきが生じる。このような問題を抑制する手法として、一具体例では
、有効画素選択処理を変形し、上限及び下限の境界による制約を緩和する。これ
により隣接する有効領域に侵入する境界画素を許容する。境界に外接する点を含
むことにより、回復値が上限又は下限に近い値となる傾向を強めることができる
。緩和された境界L’QとU’Qは、緩和定数rにより算出される。一具体例にお
いては、rの値を5に設定する。他の値を用いてもよい。
【0178】 L'Q=rLQ-1+(1-r)LQ U'Q=(1-r)UQ+rUQ+1 以上、DR及びMINが破損又は欠落した場合にDR及びMINを回復するた
めの様々な手法を説明した。算出され、回復された対応するデータの時間的及び
/又は空間的相関を調べ、重み付けを行うことにより、さらに回復の精度を高め
ることができる。具体的には、特定の方向又は時間軸において高度な相関が存在
する、例えば水平相関が存在する場合、画像特性はその高度な相関を有する方向
において平滑に連続し、したがって、相関値の高い回復値の使用に最良の評価を
与える。これにより、境界データは対応する方向(例えば、垂直、水平、フィー
ルド間)に含まれ、相関測定値に基づいて重み付けされ、最終的な回復値が得ら
れる。
【0179】 この処理の一具体例をFIG.7aを参照に説明する。ステップ2710にお
いて、DR又はMINの回復値を一方向について生成し、ステップ2715にお
いて、他の方向の回復値を生成する。例えば、この処理を空間的に適用する場合
、水平方向の境界に沿う境界画素を用いて第1の回復値hestを生成し、垂直方向
の境界に沿う境界画素を用いて第2の回復値vestを生成する。これに代えて、処
理を時間的に適用する場合、隣接するフィールド間の境界画素を用いて第1の回
復値を生成し、隣接するフレーム間の境界画素を用いて第2の回復値を生成する
【0180】 ステップ2720において、各方向における相関レベルを示す相関演算に基づ
いて回復値の重み付けを行う。続いてステップ2725において、重み付けされ
た第1及び第2の回復値を結合して結合回復値を生成する。なお、この処理は、
2方向の回復値に対する重み付けのみに限定されるわけではない。すなわち、重
み付けされ、結合される回復値の数は、アプリケーションに応じて変更できるこ
とは明らかである。特定の方向における相関レベルを示す相関値を算出するため
に様々な手法を用いることができる。さらに、様々な判定基準を用いて相関レベ
ルに関する重み付け要素を選択することができる。通常、一方の相関値が他方の
相関値よりかなり大きい場合、結合された回復値は、主に対応する回復値に基づ
くものである必要がある。一具体例において、結合された回復値は以下の式によ
り求められる。
【0181】
【数67】
【0182】 ここで、hcは水平相関を表し、vcは垂直相関を表し、hestは左右の境界情報のみ
に基づくDR回復値を表し、vestは上下の境界情報のみに基づく回復値を表し、
αは重みを表す。重みの値は様々な方法で決定できる。FIG.27bは、水平
相関と垂直相関との差分の関数として重みの値を決定する一具体例を説明する図
である。具体的にはαは、以下の式を満たすように選択される。
【0183】
【数68】
【0184】 上述のように、適応相関処理は、DR及びMINのいずれの回復にも用いるこ
とができる。しかしながら、望ましくは、MIN+DRが255になるようにM
IN回復処理においてクリッピングを行う。したがって、関数val=max(min(val'
, 255-MIN), 0)を用いることができる。さらに、上述のとおり、時間的相関を評
価し、これにより回復値の重み付けを行うこともできる。また、時間的相関と空
間的相関を組み合わせて利用してもよい。例えば、フィールド間のある回復値を
時間的回復値として生成する。他方の回復値を1フィールド内の空間的回復値と
して生成する。最終的な回復値は、時間的相関及び空間的相関を組み合わせて算
出される。相関の組み合わせを動きの量に置換してもよい。他の変形例も可能で
ある。この手法をオーディオデータに対して適用しもよい。
【0185】 一変形例として、最小自乗法に単純な修正を加えた手法を用いることができる
。この具体例により、回復されたDR値に起因するちらつきを低減することがで
きる。以下の説明においては、QVは、画像部分又は点qiの集合を有し、DR
が回復されようとしているADRCブロックを表し、Yは、QV内の垂直方向又
は水平方向に隣接する点から得られた復号値のリストを表し、yiは、qiの垂直
方向又は水平方向の隣接点を表す。各点qiは、最大4個の復号された隣接点を
有するので、1画素又は点について(qi,yi)の組み合わせは最大4つとなる
。DR(DRuls)の無制約最小自乗評価値は、以下のとおりである。
【0186】
【数69】
【0187】 ここで、Qは量子化ビットの数であり、MINはブロック属性として伝送された
最小値を表す。上述の式は、ノンエッジマッチングADRCに対応するものであ
り、エッジマッチングADRCの場合は、2Qを2Q-1に置き換え、(0.5+q i )をqiに置き換える。
【0188】 好ましくは、無制約自乗評価値をクリップし、閾値テーブル及び等式MIN+
DR=255に整合させる。この条件は符号化処理中に行わなければならない(
通常、ノンエッジマッチングADRCの場合、DR値として許容される範囲は1
〜256である)。すなわち、最小自乗評価値は、以下の式に基づいてクリップ
される。
【0189】 (DR)lsc=max(min(UB, DRuls), LB) ここで、UBは上限を表し、LBは加減を表し、min及びmaxは、それぞれ最小関
数及び最大関数を表す。
【0190】 変形例として、DR評価値に最も適合する画素を選択することにより評価を高
めてDRの評価値を算出することもできる。例えば、画像内の変化の少ない領域
の画素に対するDR評価値は、変化が多い領域の画素に対するDR評価値より適
合性が高くなる。具体的には、画像の輪郭が鋭ければ、評価の精度が低くなる。
以下、DR評価値を算出するために用いる画素を選択する簡易な計算手法の具体
例を説明する。
【0191】 この具体例では、最小自乗評価値(DRlse)。例えば(DRuls)又は(DRlsc
を算出する。この評価値を用いて、符号化値QVのリストを復号候補値Xに変換
する。ここで、xiはqiに由来するXの構成要素を表す。xi値はDRの第1の
評価値を用いて生成された、回復された復号値である。xi値は、以下の式によ
り定義される。
【0192】
【数70】
【0193】 DRlseが真のDRの正当な評価値であると仮定すると、いかなる場合もxiはy i に比較的近似し、したがって変化の少ない領域と判断され、望ましい適合性が
得られる。新たなX及びYリストは、xiとyiが近似しており、最小自乗評価値
が再計算されて評価値が更新される。
【0194】 「近似」しているか否かを決定するために、様々な判定基準を設けることがで
きる。一具体例においては、エラー関数のADRC符号化を用いる。この手法は
、計算が低コストであるという利点を有する。処理においては、点ei|yi−x i |から構成されるリストEを定義する。emin及びemaxをそれぞれリストの最大
値及び最小値として定義すると、eDR=emax-eminとなる。したがって、符号化さ
れたエラー値は、以下のように定義される。
【0195】 gi=(ei-emin)nl/eDR ここで、nlは上述したADRC処理と同様の手法によりeiを再量子化する際
の量子化レベルの数を表す。
【0196】 giがいずれかの閾値以下であるという条件に合致するもののみを選択すること
により、新たなリストX、Yが生成される。これら新たなリストが十分長ければ
、これらのリストを用いて精密な最小自乗評価値DRrlsを生成できる。最小自
乗評価値を精密化するため必要となるgiの閾値及び合致数は、好ましくは経験
的に求められる。例えば、nlを10とした8×8×2の水平サブサンプルブロ
ックに対する具体例では、gi=0に対応する合致数のみを用い、評価値は、新
たなリストが少なくとも30個以上の合致数を含む場合にのみ精密化される。
【0197】 変形例として、潜在的DR値をクリッピングし、DR評価値を再計算すること
によりDR評価値の精度を高めることができる。詳しくは、一具体例において、
リストDは、構成要素diから構成され、diはxiをyiに一致させるDR値を含
む。より具体的には、以下の式のとおりとなる。
【0198】 di=2Q(yi-MIN)/(0.5+qi) 以下に示すように、各diをクリッピングすることにより精度が高められる。
【0199】 di'=max(min(UB, di), LB) ここで、DRclsはdi’の平均となるように算出される。重み付け平均において
、クリップ処理(DRcls)を他のDR評価、例えばDRlseと組み合わせて最終
のDR値を求めるようにしてもよい。例えば、重み平均DRestを以下の式に基
づいて算出する。
【0200】 DRest=w1(DRcls)+w2(DRlse) 重みw1及びw2は、好ましくは、結果として得られた評価値及び特定の重みか
ら生成された画像に基づいて経験的に決定される。一具体例においては、w1
0.22513とし、w2=0.80739とする。
【0201】 本発明を好ましい実施の形態に基づいて説明した。上述の説明から、多数の代
替、修正、変形及び用法が実現できることは当業者にとって明らかである。
【図面の簡単な説明】
【図1】 FIG.1は、信号の符号化、伝送、復号の処理を包括的に示す図である。
【図2】 FIG.2は、パケット構造の具体例を示す図である。
【図3】 FIG.3は、本発明に基づく符号化処理の一例を説明するフローチャートで
ある。
【図4】 FIG.4は、本発明に基づく復号処理の一例を説明するフローチャートであ
る。
【図5】 FIG.5は、本発明に基づく画像−ブロックマッピングの一例を示す図であ
る。
【図6】 FIG.5aは、画像−ブロックマッピングにおいて用いられるシャッフリン
グパターンの一例を示す図である。
【図7】 FIG.6は、相補的及び連鎖的なブロック構造の例を示す図である。
【図8】 FIG.7a及びFIG.7bは、フレームセット内のYブロックのシャッフ
リングパターンの具体例を説明する図である。
【図9】 FIG.7cは、フレームセット内のYブロックのシャッフリングパターンの
具体例を説明する図である。
【図10】 FIG.7dは、フレームセット内のYブロックのシャッフリングパターンの
具体例を説明する図である。
【図11】 FIG.8は、バッファ0内の累積的DR分布の具体例を示す図である。
【図12】 FIG.8aは、本発明に基づく部分バッファリング処理の具体例を示す図で
ある。
【図13】 FIG.9は、本発明に基づくバッファ内YUVブロックシャッフリング処理
の具体例を示す図である。
【図14】 FIG.10は、本発明に基づくグループ内VLデータシャッフリング処理の
具体例を示す図である。
【図15】 FIG.11は、本発明に基づく3ブロックグループ内におけるQコードの結
合の具体例を示す図である。
【図16】 FIG.11aは、本発明に基づく動ブロックを含むフレーム対におけるQコ
ードの結合の具体例を示す図である。
【図17】 FIG.12は、1/6バーストエラー欠落に起因する画素データエラーの具
体例を示す図である。
【図18】 FIG.12aは、本発明に基づくQコードのシャッフリング及びQコードビ
ットの分散の具体例を示す図である。
【図19】 FIG.12bは、Qコードを再分散した場合における1/6バーストエラー
に起因する画素データエラーの具体例を示す図である。
【図20】 FIG.12cは、Qコードを再割当した場合における1/6バーストエラー
に起因する画素データエラーの具体例を示す図である。
【図21】 FIG.13は、本発明に基づくMINシャッフリングの具体例を示す図であ
る。
【図22】 FIG.13aは、モーションフラグシャッフリング及び1フレーム対内にお
ける固定長データ欠落を示す図である。
【図23】 FIG.14は、モジュールシャッフリングの具体例を示す図である。
【図24】 FIG.14aは、モジュールシャッフリングの結果及びモジュールシャッフ
リングに関連する固定長データ欠落を示す図である。
【図25】 FIG.14bは、変形されたモジュールシャッフリングの結果及びこのモジ
ュールシャッフリングに関連する固定長データ欠落を示す図である。
【図26】 FIG.14cは、変形されたモジュールシャッフリングの結果及びこのモジ
ュールシャッフリングに関連する固定長データ欠落を示す図である。
【図27】 FIG.15は、フレームセット内の可変長データバッファリングの具体例を
示す図である。
【図28】 FIG.16は、本発明に基づくセグメント間VLデータシャッフリングを説
明する図である。
【図29】 FIG.17は、本発明に基づくデータ回復処理の具体例を示すフローチャー
トである。
【図30】 FIG.18は、本発明に基づくQビット及びモーションフラグ回復処理の具
体例を示すフローチャートである。
【図31】 FIG.19は、復号候補の具体例を示す図である。
【図32】 FIG.20a及びFIG.20bは、FIG.18に示すQビット及びモー
ションフラグ回復処理において用いられる測定を説明する図である。
【図33】 FIG.20c及びFIG.20dは、FIG.18に示すQビット及びモー
ションフラグ回復処理において用いられる測定を説明する図である。
【図34】 FIG.21は、Qビット及びモーションフラグ回復処理において自乗誤差確
率関数を求めるために用いられる表を示す図である。
【図35】 FIG.22は、本発明に基づくQビット、モーションフラグ及び補助情報回
復処理の具体例を示すフローチャートである。
【図36】 FIG.23は、双方向Qビット及びモーションフラグ回復処理の具体例にお
けるポストアンブルの使用を説明する図である。
【図37】 FIG.24a及びFIG.24bは、復号候補を評価する変形例を説明する
図である。
【図38】 FIG.24cは、復号候補を評価する変形例を説明する図である。
【図39】 FIG.25は、本発明に基づく平滑度測定の具体例を示す図である。
【図40】 FIG.26a及びFIG.26bは、復号候補の評価法の他の具体例を説明
する図である。
【図41】 FIG.26cは、復号候補の評価法の他の具体例を説明する図である。
【図42】 FIG.26d及びFIG26eは、復号候補の評価法の他の具体例を説明す
る図である。
【図43】 FIG.27aは、復号候補の評価処理の他の具体例を示す図である。
【図44】 FIG.27bは、重み付けに用いる重みを決定するための具体例を示す図で
ある。
───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号 08/957,555 (32)優先日 平成9年10月23日(1997.10.23) (33)優先権主張国 米国(US) (31)優先権主張番号 09/002,553 (32)優先日 平成10年1月2日(1998.1.2) (33)優先権主張国 米国(US) (31)優先権主張番号 09/002,547 (32)優先日 平成10年1月2日(1998.1.2) (33)優先権主張国 米国(US) (31)優先権主張番号 09/002,470 (32)優先日 平成10年1月2日(1998.1.2) (33)優先権主張国 米国(US) (31)優先権主張番号 09/016,083 (32)優先日 平成10年1月30日(1998.1.30) (33)優先権主張国 米国(US) (31)優先権主張番号 09/110,803 (32)優先日 平成10年7月6日(1998.7.6) (33)優先権主張国 米国(US) (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE),OA(BF,BJ ,CF,CG,CI,CM,GA,GN,GW,ML, MR,NE,SN,TD,TG),AP(GH,GM,K E,LS,MW,SD,SZ,UG,ZW),EA(AM ,AZ,BY,KG,KZ,MD,RU,TJ,TM) ,AL,AM,AT,AU,AZ,BA,BB,BG, BR,BY,CA,CH,CN,CU,CZ,DE,D K,EE,ES,FI,GB,GD,GE,GH,GM ,HR,HU,ID,IL,IS,JP,KE,KG, KP,KR,KZ,LC,LK,LR,LS,LT,L U,LV,MD,MG,MK,MN,MW,MX,NO ,NZ,PL,PT,RO,RU,SD,SE,SG, SI,SK,SL,TJ,TM,TR,TT,UA,U G,UZ,VN,YU,ZW (72)発明者 藤森 泰弘 アメリカ合衆国 カリフォルニア州 95014 クパーチノ ウェストショア コ ート 11693 (72)発明者 スガタ ゴサール アメリカ合衆国 カリフォルニア州 95131 サン ホセ バーチミードウ コ ート 1559 Fターム(参考) 5C059 LA05 MA28 ME01 NN24 PP16 RB02 RB09 RC32 RF04 RF09 RF21 SS03 SS06 SS20 SS30 TA62 TD02 TD04 TD11 UA02 5D045 DA07 5J065 AA01 AB05 AC02 AE06 AF02 AG06 AH06

Claims (122)

    【特許請求の範囲】
  1. 【請求項1】 属性データと符号化されたサンプリングデータからなる符号化デ
    ータのビットストリーム内の欠落/破損した属性データを回復するデータ回復方
    法において、 復号された隣接するデータ455を読み出すステップと、 上記符号化されたサンプルデータと、上記復号された隣接するデータと、利用
    可能な属性データ465とを用いて上記欠落/破損した属性データを評価するス
    テップとを有することを特徴とするデータ回復方法。
  2. 【請求項2】 上記符号化されたデータはビデオ信号であることを特徴とする請
    求項1記載のデータ回復方法。
  3. 【請求項3】 上記符号化されたデータはオーディオ信号であることを特徴とす
    る請求項1記載のデータ回復方法。
  4. 【請求項4】 上記欠落/破損した属性データは、サンプルのダイナミックレン
    ジ値(DR)を含み、上記利用可能な属性データは該サンプルの最小値(MIN
    )を含み、上記欠落/破損した属性データを評価するステップは、 上記欠落/破損したDRに関する評価関数の自乗誤差を収集するステップと、 上記評価関数の自乗誤差を最小化するDRを選択するステップとを備えること
    を特徴とする請求項1記載のデータ回復方法。
  5. 【請求項5】 上記欠落/破損した属性データは、サンプルのダイナミックレン
    ジ値(DR)を含み、上記利用可能な属性データは、該サンプルの最小値(MI
    N)を含み、上記評価は、yiを隣接する復号されたサンプル値とし、qiを当該
    サンプルの符号化値とし、g()を対応する復号処理として、以下の関数を最小
    にする評価値(DR’)を選択することにより行われることを特徴とする請求項
    1記載のデータ回復方法。 【数1】
  6. 【請求項6】 上記欠落/破損した属性データは、サンプルのダイナミックレン
    ジ値(DR)を含み、上記利用可能な属性データは、該サンプルの最小値(MI
    N)を含み、上記評価は、yiを隣接する復号されたサンプル値とし、qiを上記
    サンプルの符号化値とし、Qを上記サンプルの量子化ビット数として、以下の関
    数を最小にする評価値(DR’)を選択することにより行われることを特徴とす
    る請求項1記載のデータ回復方法。 【数2】
  7. 【請求項7】 上記欠落/破損した属性データは、サンプルのダイナミックレン
    ジ値(DR)を含み、上記利用可能な属性データは、該サンプルの最小値(MI
    N)を含み、上記評価は、yiを隣接する復号されたサンプル値とし、qiを上記
    サンプルの符号化値とし、Qを上記サンプルの量子化ビット数として、以下の関
    数を最小にする評価値(DR’)を選択することにより行われることを特徴とす
    る請求項1記載のデータ回復方法。 【数3】
  8. 【請求項8】 上記欠落/破損した属性データは、サンプルのダイナミックレン
    ジ値(DR)を含み、上記利用可能な属性データは、該サンプルの最小値(MI
    N)を含み、上記評価は、Qを上記サンプルの量子化ビット数とし、yiを隣接
    する復号されたサンプル値とし、qiを上記サンプルの符号化値として、上記評
    価は以下の式に示す演算により実現されることを特徴とする請求項1記載のデー
    タ回復方法。 【数4】
  9. 【請求項9】 上記欠落/破損した属性データは、サンプルのダイナミックレン
    ジ値(DR)を含み、上記利用可能な属性データは、該サンプルの最小値(MI
    N)を含み、上記評価は、Qを上記サンプルの量子化ビット数とし、yiを隣接
    する復号されたサンプル値とし、qiを上記サンプルの符号化値として、上記評
    価は以下の式に示す演算により実現されることを特徴とする請求項1記載のデー
    タ回復方法。 【数5】
  10. 【請求項10】 上記欠落/破損した属性データは、サンプルの最小値(MIN
    )を含み、上記利用可能な属性データは、該サンプルのダイナミックレンジ値(
    DR)を含み、上記欠落/破損した属性データを評価するステップは、 上記欠落/破損したMINに関する評価関数の自乗誤差を収集するステップと
    、 上記評価関数の自乗誤差を最小化するMINの値(MIN’)を選択するステ
    ップとを備えることを特徴とする請求項1記載のデータ回復方法。
  11. 【請求項11】 上記欠落/破損した属性データは、サンプルの最小値(MIN
    )を含み、上記利用可能な属性データは、該サンプルのダイナミックレンジ(D
    R)を含み、上記評価は、yiを隣接する復号されたサンプル値とし、qiを上記
    サンプルの符号化値とし、Qを上記サンプルの量子化ビット数として、以下の関
    数を最小にする評価されたMIN値(MIN’)を選択することにより行われる
    ことを特徴とする請求項1記載のデータ回復方法。 【数6】
  12. 【請求項12】 上記欠落/破損した属性データは、サンプルの最小値(MIN
    )を含み、上記利用可能な属性データは、該サンプルのダイナミックレンジ(D
    R)を含み、上記評価は、yiを隣接する復号されたサンプル値とし、qiを上記
    サンプルの符号化値とし、Qを上記サンプルの量子化ビット数として、以下の関
    数を最小にする評価されたMIN値(MIN’)を選択することにより行われる
    ことを特徴とする請求項1記載のデータ回復方法。 【数7】
  13. 【請求項13】 上記欠落/破損した属性データは、サンプルの最小値(MIN
    )を含み、上記利用可能な属性データは、該サンプルのダイナミックレンジ(D
    R)を含み、上記評価は、yiを隣接する復号されたサンプル値とし、qiを当該
    サンプルの符号化値とし、Qを上記サンプルの量子化ビット数として、以下の関
    数を最小にする評価値(MIN’)を選択することにより行われることを特徴と
    する請求項1記載のデータ回復方法。 【数8】
  14. 【請求項14】 量子化ビットの可能な属性値の範囲の下限及び上限を示すLQ
    及びUQとして、評価された属性値を[LQ,UQ]内に制限するクリッピングス
    テップを備えることを特徴とする請求項1記載のデータ回復方法。
  15. 【請求項15】 上記欠落/破損したデータは、サンプルの最小値(MIN)を
    含み、上記利用可能な属性データは、該サンプルのダイナミックレンジ(DR)
    を含み、上記評価は、Qを上記サンプルの量子化ビット数とし、yiを隣接する
    復号されたサンプル値とし、Nを総和に用いた項数として、以下の式により求め
    られることを特徴とする請求項1記載のデータ回復方法。 【数9】
  16. 【請求項16】 上記欠落/破損した属性データは、サンプルの最小値(MIN
    )を含み、上記利用可能な属性データは、該サンプルのダイナミックレンジ(D
    R)を含み、上記評価は、Qを上記サンプルの量子化ビット数とし、yiを隣接
    する復号されたサンプル値とし、Nを総和に用いた項数として、以下の式により
    求められることを特徴とする請求項1記載のデータ回復方法。 【数10】
  17. 【請求項17】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ(DR)及び該サンプルの最小値(MIN)を含み、上記欠落/破損した属
    性データを評価するステップは、 上記欠落/破損したDR及びMINに関する評価関数の自乗誤差を収集するス
    テップと、 上記評価関数の自乗誤差を最小化するDR及びMINを選択するステップとを
    備えることを特徴とする請求項1記載のデータ回復方法。
  18. 【請求項18】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)及び該サンプルの最小値(MIN)を含み、上記評価は、yi
    隣接する復号されたサンプル値とし、qiを当該サンプルの符号化値とし、g(
    )を対応する復号処理として、以下の関数を最小にする評価値DR’及びMIN
    ’を選択することにより行われることを特徴とする請求項1記載のデータ回復方
    法。 【数11】
  19. 【請求項19】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)及び最小値(MIN)を含み、上記評価は、yiを隣接する復号
    されたサンプル値とし、qiを上記サンプルの符号化値とし、Qを上記サンプル
    の量子化ビット数として、以下の関数を最小にする評価値DR’及びMIN’を
    選択することにより行われることを特徴とする請求項1記載のデータ回復方法。 【数12】
  20. 【請求項20】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)及び該サンプルの最小値(MIN)を含み、上記評価は、yi
    隣接する復号されたサンプル値とし、qiを上記サンプルの符号化値とし、Qを
    上記サンプルの量子化ビット数として、以下の関数を最小にする評価値DR’及
    びMIN’を選択することにより行われることを特徴とする請求項1記載のデー
    タ回復方法。 【数13】
  21. 【請求項21】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)及び該サンプルの最小値(MIN)を含み、上記評価は、Qを上
    記サンプルの量子化ビット数とし、yiを隣接する復号されたサンプル値とし、
    iを上記サンプルの符号化値とし、Nを総和に用いた項数として、以下の関数
    を最小にする評価値DR’及びMIN’を選択することにより行われることを特
    徴とする請求項1記載のデータ回復方法。 【数14】
  22. 【請求項22】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)及び該サンプルの最小値(MIN)を含み、上記評価は、Qを上
    記サンプルの量子化ビット数とし、yiを隣接する復号されたサンプル値とし、
    iを上記サンプルの符号化値とし、Nを総和に用いた項数として、以下の関数
    を最小にする評価値DR’及びMIN’を選択することにより行われることを特
    徴とする請求項1記載のデータ回復方法。 【数15】
  23. 【請求項23】 上記欠落/破損した属性データは、サンプルの最小値(MIN
    )を含み、上記利用可能な属性データは、該サンプルのダイナミックレンジ値(
    DR)を含み、上記符号化サンプルデータ、上記隣接する復号されたデータ、及
    び利用可能な属性データを用いて複数の欠落/破損した属性データを算出するこ
    とにより評価し、該評価により得られたデータのメジアンを選択するステップを
    有することを特徴とする請求項1記載のデータ回復方法。
  24. 【請求項24】 上記欠落/破損した属性データは、サンプル値の最小値(MI
    N)を含み、上記利用可能な属性データは、該サンプルのダイナミックレンジ値
    (DR)を含み、上記評価は、yiを隣接する復号されたサンプル値とし、qi
    当該サンプルの符号化値とし、Qを上記サンプルの量子化ビット数とし、med(
    )を対応するメジアン関数として、以下の式に基づいて複数の評価されたデータ
    (MIN’)のメジアンを選択することにより行われることを特徴とする請求項
    1記載のデータ回復方法。 【数16】
  25. 【請求項25】 上記欠落/破損した属性データは、サンプル値の最小値(MI
    N)を含み、上記利用可能な属性データは、該サンプルのダイナミックレンジ値
    (DR)を含み、上記評価は、yiを隣接する復号されたサンプル値とし、qi
    当該サンプルの符号化値とし、Qを上記サンプルの量子化ビット数とし、med(
    )を対応するメジアン関数として、以下の式に基づいて複数の評価されたデータ
    (MIN’)のメジアンを選択することにより行われることを特徴とする請求項
    1記載のデータ回復方法。 【数17】
  26. 【請求項26】 上記評価は、上記符号化されたサンプルデータと、上記隣接す
    る復号されたデータと、利用可能な属性データとを用いて上記欠落/破損したデ
    ータを評価するものであり、 上記評価されるデータに隣接する復号されたデータを動きに基づいて選択する
    ステップと、 上記符号化されたサンプルデータと、上記選択された隣接する復号されたデー
    タと、利用可能な属性データとを用いて上記欠落/破損したデータを評価するス
    テップとを有することを特徴とする請求項1記載のデータ回復方法。
  27. 【請求項27】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)を含み、上記利用可能な属性データは該サンプルの最小値(MI
    N)を含み、上記欠落/破損した属性データ(DR’)を評価するステップは、 上記符号化されたサンプルデータと、上記選択された隣接する復号されたデー
    タと、利用可能な属性データとを用いて上記欠落/破損したデータを評価するス
    テップと、 上記評価された欠落/破損した属性データ(DR’)を以下の式に基づいてク
    リップするステップとを有することを特徴とする請求項1記載のデータ回復方法
    。 MIN+DR'≦NUM
  28. 【請求項28】 上記NUMは、255であることを特徴とする請求項27記載の
    データ回復方法。
  29. 【請求項29】 上記欠落/破損した属性データは、サンプルの最小値(MIN
    )を含み、上記利用可能な属性データは該サンプルのダイナミックレンジ値(D
    R)を含み、上記欠落/破損した属性データ(MIN’)を評価するステップは
    、 上記符号化されたサンプルデータと、上記選択された隣接する復号されたデー
    タと、利用可能な属性データとを用いて上記欠落/破損したデータを評価するス
    テップと、 上記評価された欠落/破損した属性データ(MIN’)を以下の式に基づいて
    クリップするステップとを有することを特徴とする請求項1記載のデータ回復方
    法。 MIN'+DR≦NUM
  30. 【請求項30】 上記NUMは、255であることを特徴とする請求項29記載の
    データ回復方法。
  31. 【請求項31】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)及び該サンプルの最小値(MIN)を含み、上記欠落/破損した
    属性データ(DR’及びMIN’)を評価するステップは、 上記符号化されたサンプルデータと、上記選択された隣接する復号されたデー
    タと、利用可能な属性データとを用いて上記欠落/破損したデータを評価するス
    テップと、 上記評価された欠落/破損した属性データ(DR’及びMIN’)を以下の式
    に基づいてクリップするステップとを有することを特徴とする請求項1記載のデ
    ータ回復方法。 MIN'+DR'≦NUM
  32. 【請求項32】 上記NUMは、255であることを特徴とする請求項31記載の
    データ回復方法。
  33. 【請求項33】 上記評価は、上記符号化されたサンプルデータと、上記隣接す
    る復号されたデータと、利用可能な属性データとを用いて上記欠落/破損したデ
    ータを評価するものであり、 上記符号化されたサンプルデータと、上記隣接する復号されたデータとの相関
    を検出するステップと、 上記相関に基づいて、上記評価のための隣接する復号されたデータを選択する
    ステップと、 上記符号化されたサンプルデータと、上記選択された隣接する復号されたデー
    タと、利用可能な属性データとを用いて上記欠落/破損したデータを評価するス
    テップとを有することを特徴とする請求項1記載のデータ回復方法。
  34. 【請求項34】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)を含み、上記利用可能な属性データは、該サンプルの最小値(M
    IN)を含み、qiを上記符号化されたサンプルデータの値とし、yiを上記隣接
    する復号されたサンプルの値として、上記相関を検出するステップは、 符号化されたサンプルの値qiを、Lqiを上記値qiの下限の境界とし、Uqi を上記値qiの上限の境界として、上記符号化されたサンプルの値qiを限定する
    [Lqi,Uqi]の範囲を定義するステップと、 上記符号化されたサンプルの値qiと上記範囲[Lqi,Uqi]とを比較する
    ステップと、 上記比較に結果に基づいて、上記隣接する復号されたデータyiを上記評価す
    るステップに導入するか否かを判定するステップとを有することを特徴とする請
    求項33記載のデータ回復方法。
  35. 【請求項35】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)を含み、上記利用可能な属性データは、該サンプルの最小値(M
    IN)を含み、 上記比較するステップは、yiを上記隣接する復号されたサンプルの値とし、
    iを上記符号化されたサンプルデータの値とし、Qを上記サンプルの量子化ビ
    ット数とし、mを最大量子化符号(2Q-1)とし、LQを量子化符号の下限の境界
    とし、UQを量子化符号の上限の境界とし、max及びminをそれぞれ最大関数及び
    最小関数として、以下の式に基づいて行われることを特徴とする請求項34記載
    のデータ回復方法。 【数18】
  36. 【請求項36】 上記量子化符号ビットの属性値を制限する上限及び下限の境界
    は、回復された属性値の不安定性による画像の劣化を抑制するために、可能な値
    の範囲に緩和されることを特徴とする請求項14記載のデータ回復方法。
  37. 【請求項37】 上記LQ及びUQは、rを緩和定数とし、LQ-1をQ−1量子化
    ビットの可能な属性値の範囲の下限の境界とし、UQ+1をQ+1量子化ビットの
    可能な属性値の範囲の上限の境界として、以下の式に基づいてL’Q及びU’Q
    に調節されることを特徴とする請求項36記載のデータ回復方法。 L’Q=r・LQ-1+(1−r)・LQ U’Q=(1−r)・UQ+r・UQ+1
  38. 【請求項38】 上記rは、5であることを特徴とする請求項37記載のデータ
    回復方法。
  39. 【請求項39】 上記符号化されたサンプルデータ及び隣接する復号されたデー
    タは、関連する方向に基づいてグループ化され、上記評価するステップは、 対応する符号化されたサンプルデータ及び符号化された隣接するデータを用い
    て、各方向について、欠落/破損された属性データの方向評価を生成するステッ
    プと、 上記方向評価を関連する相関度に基づいて重み付けするステップと、 上記重み付けされた方向評価を結合して、結合評価を生成するステップとを有
    する請求項1記載のデータ回復方法。
  40. 【請求項40】 プロセッサを備え、属性データと符号化されたサンプリングデ
    ータからなる符号化データのビットストリーム内の欠落/破損した属性データを
    回復するデータ回復装置において、上記プロセッサは、 復号された隣接するデータ455を読み出し、 上記符号化されたサンプルデータと、上記復号された隣接するデータと、利用
    可能な属性データ465とを用いて上記欠落/破損した属性データを評価するこ
    とを特徴とするデータ回復装置。
  41. 【請求項41】 上記符号化されたデータはビデオ信号であることを特徴とする
    請求項40記載のデータ回復装置。
  42. 【請求項42】 上記符号化されたデータはオーディオ信号であることを特徴と
    する請求項40記載のデータ回復装置。
  43. 【請求項43】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)を含み、上記利用可能な属性データは該サンプルの最小値(MI
    N)を含み、上記プロセッサは、上記欠落/破損したDRに関する評価関数の自
    乗誤差を収集し、上記評価関数の自乗誤差を最小化するDRを選択して上記欠落
    /破損した属性データを評価することを特徴とする請求項40記載のデータ回復
    装置。
  44. 【請求項44】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)を含み、上記利用可能な属性データは、該サンプルの最小値(M
    IN)を含み、上記プロセッサは、yiを隣接する復号されたサンプル値とし、
    iを当該サンプルの符号化値とし、g()を対応する復号処理として、以下の
    関数を最小にする評価値(DR’)を選択することにより上記評価を行うことを
    特徴とする請求項40記載のデータ回復装置。 【数19】
  45. 【請求項45】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)を含み、上記利用可能な属性データは、該サンプルの最小値(M
    IN)を含み、上記プロセッサは、yiを隣接する復号されたサンプル値とし、
    iを上記サンプルの符号化値とし、Qを上記サンプルの量子化ビット数として
    、以下の関数を最小にする評価値(DR’)を選択することにより上記評価を行
    うことを特徴とする請求項40記載のデータ回復装置。 【数20】
  46. 【請求項46】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)を含み、上記利用可能な属性データは、該サンプルの最小値(M
    IN)を含み、上記プロセッサは、yiを隣接する復号されたサンプル値とし、
    iを上記サンプルの符号化値とし、Qを上記サンプルの量子化ビット数として
    、以下の関数を最小にする評価値(DR’)を選択することにより上記評価を行
    うことを特徴とする請求項40記載のデータ回復装置。 【数21】
  47. 【請求項47】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)を含み、上記利用可能な属性データは、該サンプルの最小値(M
    IN)を含み、上記プロセッサは、Qを上記サンプルの量子化ビット数とし、y i を隣接する復号されたサンプル値とし、qiを上記サンプルの符号化値として、
    上記評価は以下の式に示す演算により上記評価を行うことを特徴とする請求項4
    0記載のデータ回復装置。 【数22】
  48. 【請求項48】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)を含み、上記利用可能な属性データは、該サンプルの最小値(M
    IN)を含み、上記プロセッサは、Qを上記サンプルの量子化ビット数とし、y i を隣接する復号されたサンプル値とし、qiを上記サンプルの符号化値として、
    上記評価は以下の式に示す演算により上記評価を行うことを特徴とする請求項4
    0記載のデータ回復装置。 【数23】
  49. 【請求項49】 上記欠落/破損した属性データは、サンプルの最小値(MIN
    )を含み、上記利用可能な属性データは、該サンプルのダイナミックレンジ値(
    DR)を含み、上記欠落/破損したMINに関する評価関数の自乗誤差を収集し
    、上記評価関数の自乗誤差を最小化するMINの値(MIN’)を選択すること
    により、上記欠落/破損した属性データを評価することを特徴とする請求項40
    記載のデータ回復装置。
  50. 【請求項50】 上記欠落/破損した属性データは、サンプルの最小値(MIN
    )を含み、上記利用可能な属性データは、該サンプルのダイナミックレンジ(D
    R)を含み、上記プロセッサは、yiを隣接する復号されたサンプル値とし、qi を上記サンプルの符号化値とし、Qを上記サンプルの量子化ビット数として、以
    下の関数を最小にする評価されたMIN値(MIN’)を選択することにより上
    記評価を行うことを特徴とする請求項40記載のデータ回復装置。 【数24】
  51. 【請求項51】 上記欠落/破損した属性データは、サンプルの最小値(MIN
    )を含み、上記利用可能な属性データは、該サンプルのダイナミックレンジ(D
    R)を含み、上記プロセッサは、yiを隣接する復号されたサンプル値とし、qi を上記サンプルの符号化値とし、Qを上記サンプルの量子化ビット数として、以
    下の関数を最小にする評価されたMIN値(MIN’)を選択することにより上
    記評価を行うことを特徴とする請求項40記載のデータ回復装置。 【数25】
  52. 【請求項52】 上記欠落/破損した属性データは、サンプルの最小値(MIN
    )を含み、上記利用可能な属性データは、該サンプルのダイナミックレンジ(D
    R)を含み、上記プロセッサは、yiを隣接する復号されたサンプル値とし、qi を当該サンプルの符号化値とし、Qを上記サンプルの量子化ビット数として、以
    下の関数を最小にする評価値(MIN’)を選択することにより上記評価を行う
    ことを特徴とする請求項40記載のデータ回復装置。 【数26】
  53. 【請求項53】 上記プロセッサは、量子化ビットの可能な属性値の範囲の下限
    及び上限を示すLQ及びUQとして、評価された属性値を[LQ,UQ]内にクリッ
    ピングすることを特徴とする請求項40記載のデータ回復装置。
  54. 【請求項54】 上記欠落/破損したデータは、サンプルの最小値(MIN)を
    含み、上記利用可能な属性データは、該サンプルのダイナミックレンジ(DR)
    を含み、上記プロセッサは、Qを上記サンプルの量子化ビット数とし、yiを隣
    接する復号されたサンプル値とし、Nを総和に用いた項数として、以下の式によ
    り上記評価を行うことを特徴とする請求項40記載のデータ回復装置。 【数27】
  55. 【請求項55】 上記欠落/破損した属性データは、サンプルの最小値(MIN
    )を含み、上記利用可能な属性データは、該サンプルのダイナミックレンジ(D
    R)を含み、上記プロセッサは、Qを上記サンプルの量子化ビット数とし、yi
    を隣接する復号されたサンプル値とし、Nを総和に用いた項数として、以下の式
    により上記評価を行うことを特徴とする請求項40記載のデータ回復装置。 【数28】
  56. 【請求項56】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ(DR)及び該サンプルの最小値(MIN)を含み、上記プロセッサは、上
    記欠落/破損したDR及びMINに関する評価関数の自乗誤差を収集し、上記評
    価関数の自乗誤差を最小化するDR及びMINを選択して上記欠落/破損した属
    性データを評価することを特徴とする請求項40記載のデータ回復装置。
  57. 【請求項57】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)及び該サンプルの最小値(MIN)を含み、上記プロセッサは、
    iを隣接する復号されたサンプル値とし、qiを当該サンプルの符号化値とし、
    g()を対応する復号処理として、以下の関数を最小にする評価値DR’及びM
    IN’を選択することにより上記評価を行うことを特徴とする請求項40記載の
    データ回復装置。 【数29】
  58. 【請求項58】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)及び最小値(MIN)を含み、上記プロセッサは、yiを隣接す
    る復号されたサンプル値とし、qiを上記サンプルの符号化値とし、Qを上記サ
    ンプルの量子化ビット数として、以下の関数を最小にする評価値DR’及びMI
    N’を選択することにより上記評価を行うことを特徴とする請求項40記載のデ
    ータ回復装置。 【数30】
  59. 【請求項59】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)及び該サンプルの最小値(MIN)を含み、上記プロセッサは、
    iを隣接する復号されたサンプル値とし、qiを上記サンプルの符号化値とし、
    Qを上記サンプルの量子化ビット数として、以下の関数を最小にする評価値DR
    ’及びMIN’を選択することにより上記評価を行うことを特徴とする請求項4
    0記載のデータ回復装置。 【数31】
  60. 【請求項60】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)及び該サンプルの最小値(MIN)を含み、上記プロセッサは、
    Qを上記サンプルの量子化ビット数とし、yiを隣接する復号されたサンプル値
    とし、qiを上記サンプルの符号化値とし、Nを総和に用いた項数として、以下
    の関数を最小にする評価値DR’及びMIN’を選択することにより上記評価を
    行うことを特徴とする請求項40記載のデータ回復装置。 【数32】
  61. 【請求項61】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)及び該サンプルの最小値(MIN)を含み、上記評価は、Qを上
    記サンプルの量子化ビット数とし、上記プロセッサは、yiを隣接する復号され
    たサンプル値とし、qiを上記サンプルの符号化値とし、Nを総和に用いた項数
    として、以下の関数を最小にする評価値DR’及びMIN’を選択することによ
    り上記評価を行うことを特徴とする請求項40記載のデータ回復装置。 【数33】
  62. 【請求項62】 上記欠落/破損した属性データは、サンプルの最小値(MIN
    )を含み、上記利用可能な属性データは、該サンプルのダイナミックレンジ値(
    DR)を含み、上記プロセッサは、上記符号化サンプルデータ、上記隣接する復
    号されたデータ、及び利用可能な属性データを用いて複数の欠落/破損した属性
    データを算出することにより評価し、該評価により得られたデータのメジアンを
    選択することを特徴とする請求項40記載のデータ回復装置。
  63. 【請求項63】 上記欠落/破損した属性データは、サンプル値の最小値(MI
    N)を含み、上記利用可能な属性データは、該サンプルのダイナミックレンジ値
    (DR)を含み、上記プロセッサは、yiを隣接する復号されたサンプル値とし
    、qiを当該サンプルの符号化値とし、Qを上記サンプルの量子化ビット数とし
    、med()を対応するメジアン関数として、以下の式に基づいて複数の評価され
    たデータ(MIN’)のメジアンを選択することにより上記評価を行うことを特
    徴とする請求項40記載のデータ回復装置。 【数34】
  64. 【請求項64】 上記欠落/破損した属性データは、サンプル値の最小値(MI
    N)を含み、上記利用可能な属性データは、該サンプルのダイナミックレンジ値
    (DR)を含み、上記プロセッサは、yiを隣接する復号されたサンプル値とし
    、qiを当該サンプルの符号化値とし、Qを上記サンプルの量子化ビット数とし
    、med()を対応するメジアン関数として、以下の式に基づいて複数の評価され
    たデータ(MIN’)のメジアンを選択することにより上記評価を行うことを特
    徴とする請求項40記載のデータ回復装置。 【数35】
  65. 【請求項65】 上記プロセッサは、上記符号化されたサンプルデータと、上記
    隣接する復号されたデータと、利用可能な属性データとを用いて上記欠落/破損
    したデータを評価するものであり、上記評価されるデータに隣接する復号された
    データを動きに基づいて選択し、上記符号化されたサンプルデータと、上記選択
    された隣接する復号されたデータと、利用可能な属性データとを用いて上記欠落
    /破損したデータを評価することを特徴とする請求項40記載のデータ回復装置
  66. 【請求項66】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)を含み、上記利用可能な属性データは該サンプルの最小値(MI
    N)を含み、上記プロセッサは、上記符号化されたサンプルデータと、上記選択
    された隣接する復号されたデータと、利用可能な属性データとを用いて上記欠落
    /破損したデータを評価し、上記評価された欠落/破損した属性データ(DR’
    )を以下の式に基づいてクリップして、上記欠落/破損した属性データ(DR’
    )を評価することを特徴とする請求項40記載のデータ回復装置。 MIN+DR'≦NUM
  67. 【請求項67】 上記NUMは、255であることを特徴とする請求項27記載の
    データ回復装置。
  68. 【請求項68】 上記欠落/破損した属性データは、サンプルの最小値(MIN
    )を含み、上記利用可能な属性データは該サンプルのダイナミックレンジ値(D
    R)を含み、上記プロセッサは、 上記符号化されたサンプルデータと、上記選
    択された隣接する復号されたデータと、利用可能な属性データとを用いて上記欠
    落/破損したデータを評価し、上記評価された欠落/破損した属性データ(MI
    N’)を以下の式に基づいてクリップして、上記欠落/破損した属性データ(M
    IN’)を評価することにより上記評価を行うことを特徴とする請求項40記載
    のデータ回復装置。 MIN'+DR≦NUM
  69. 【請求項69】 上記NUMは、255であることを特徴とする請求項68記載の
    データ回復装置。
  70. 【請求項70】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)及び該サンプルの最小値(MIN)を含み、上記プロセッサは、
    上記符号化されたサンプルデータと、上記選択された隣接する復号されたデータ
    と、利用可能な属性データとを用いて上記欠落/破損したデータを評価し、上記
    評価された欠落/破損した属性データ(DR’及びMIN’)を以下の式に基づ
    いてクリップさせることを特徴とする請求項40記載のデータ回復装置。 MIN'+DR'≦NUM
  71. 【請求項71】 上記NUMは、255であることを特徴とする請求項70記載の
    データ回復装置。
  72. 【請求項72】 上記プロセッサは、上記符号化されたサンプルデータと、上記
    隣接する復号されたデータと、利用可能な属性データとを用いて上記欠落/破損
    したデータを評価するものであり、 上記符号化されたサンプルデータと、上記隣接する復号されたデータとの相関
    を検出し、 上記相関に基づいて、上記評価のための隣接する復号されたデータを選択し、 上記符号化されたサンプルデータと、上記選択された隣接する復号されたデー
    タと、利用可能な属性データとを用いて上記欠落/破損したデータを評価するこ
    とを特徴とする請求項40記載のデータ回復装置。
  73. 【請求項73】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)を含み、上記利用可能な属性データは、該サンプルの最小値(M
    IN)を含み、qiを上記符号化されたサンプルデータの値とし、yiを上記隣接
    する復号されたサンプルの値として、上記相関を検出する処理は、 符号化されたサンプルの値qiを、Lqiを上記値qiの下限の境界とし、Uqi を上記値qiの上限の境界として、上記符号化されたサンプルの値qiを限定する
    [Lqi,Uqi]の範囲を定義し、 上記符号化されたサンプルの値qiと上記範囲[Lqi,Uqi]とを比較し、 上記比較に結果に基づいて、上記隣接する復号されたデータyiを上記評価す
    る処理に導入するか否かを判定することを特徴とする請求項72記載のデータ回
    復装置。
  74. 【請求項74】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)を含み、上記利用可能な属性データは、該サンプルの最小値(M
    IN)を含み、 上記比較する処理は、yiを上記隣接する復号されたサンプルの値とし、qi
    上記符号化されたサンプルデータの値とし、Qを上記サンプルの量子化ビット数
    とし、mを最大量子化符号(2Q-1)とし、LQを量子化符号の下限の境界とし、
    Qを量子化符号の上限の境界とし、max及びminをそれぞれ最大関数及び最小関
    数として、以下の式に基づいて行われることを特徴とする請求項73記載のデー
    タ回復装置。 【数36】
  75. 【請求項75】 上記量子化符号ビットの属性値を制限する上限及び下限の境界
    は、回復された属性値の不安定性による画像の劣化を抑制するために、可能な値
    の範囲に緩和されることを特徴とする請求項53記載のデータ回復装置。
  76. 【請求項76】 上記LQ及びUQは、rを緩和定数とし、LQ-1をQ−1量子化
    ビットの可能な属性値の範囲の下限の境界とし、UQ+1をQ+1量子化ビットの
    可能な属性値の範囲の上限の境界として、以下の式に基づいてL’Q及びU’Q
    に調節されることを特徴とする請求項75記載のデータ回復装置。 L’Q=r・LQ-1+(1−r)・LQ U’Q=(1−r)・UQ+r・UQ+1
  77. 【請求項77】 上記rは、5であることを特徴とする請求項76記載のデータ
    回復装置。
  78. 【請求項78】 上記符号化されたサンプルデータ及び隣接する復号されたデー
    タは、関連する方向に基づいてグループ化され、 上記プロセッサは、対応する符号化されたサンプルデータ及び符号化された隣
    接するデータを用いて、各方向について、欠落/破損された属性データの方向評
    価を生成し、上記方向評価を関連する相関度に基づいて重み付けし、上記重み付
    けされた方向評価を結合して、結合評価を生成することを特徴とする請求項40
    記載のデータ回復装置。
  79. 【請求項79】 プロセッサにより実行可能な複数の命令を格納するコンピュー
    タにより読取可能な記録媒体であって、上記プロセッサに、復号された隣接する
    データ455を読み出すステップと、 上記符号化されたサンプルデータと、上記復号された隣接するデータと、利用
    可能な属性データ465とを用いて上記欠落/破損した属性データを評価するス
    テップとを実行させて属性データと符号化されたサンプリングデータからなる符
    号化データのビットストリーム内の欠落/破損した属性データを回復する命令が
    格納された記録媒体。
  80. 【請求項80】 上記符号化されたデータはビデオ信号であることを特徴とする
    請求項79記載の記録媒体。
  81. 【請求項81】 上記符号化されたデータはオーディオ信号であることを特徴と
    する請求項79記載の記録媒体。
  82. 【請求項82】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)を含み、上記利用可能な属性データは該サンプルの最小値(MI
    N)を含み、上記欠落/破損した属性データを評価するステップは、上記プロセ
    ッサに、 上記欠落/破損したDRに関する評価関数の自乗誤差を収集するステップと、
    上記評価関数の自乗誤差を最小化するDRを選択するステップとを実行させるこ
    とを特徴とする請求項79記載の記録媒体。
  83. 【請求項83】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)を含み、上記利用可能な属性データは、該サンプルの最小値(M
    IN)を含み、上記評価は、yiを隣接する復号されたサンプル値とし、qiを当
    該サンプルの符号化値とし、g()を対応する復号処理として、以下の関数を最
    小にする評価値(DR’)を選択することにより行われることを特徴とする請求
    項79記載の記録媒体。 【数37】
  84. 【請求項84】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)を含み、上記利用可能な属性データは、該サンプルの最小値(M
    IN)を含み、上記評価は、yiを隣接する復号されたサンプル値とし、qiを上
    記サンプルの符号化値とし、Qを上記サンプルの量子化ビット数として、以下の
    関数を最小にする評価値(DR’)を選択することにより行われることを特徴と
    する請求項79記載の記録媒体。 【数38】
  85. 【請求項85】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)を含み、上記利用可能な属性データは、該サンプルの最小値(M
    IN)を含み、上記評価は、yiを隣接する復号されたサンプル値とし、qiを上
    記サンプルの符号化値とし、Qを上記サンプルの量子化ビット数として、以下の
    関数を最小にする評価値(DR’)を選択することにより行われることを特徴と
    する請求項79記載の記録媒体。 【数39】
  86. 【請求項86】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)を含み、上記利用可能な属性データは、該サンプルの最小値(M
    IN)を含み、上記評価は、Qを上記サンプルの量子化ビット数とし、yiを隣
    接する復号されたサンプル値とし、qiを上記サンプルの符号化値として、上記
    評価は以下の式に示す演算により実現されることを特徴とする請求項79記載の
    記録媒体。 【数40】
  87. 【請求項87】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)を含み、上記利用可能な属性データは、該サンプルの最小値(M
    IN)を含み、上記評価は、Qを上記サンプルの量子化ビット数とし、yiを隣
    接する復号されたサンプル値とし、qiを上記サンプルの符号化値として、上記
    評価は以下の式に示す演算により実現されることを特徴とする請求項79記載の
    記録媒体。 【数41】
  88. 【請求項88】 上記欠落/破損した属性データは、サンプルの最小値(MIN
    )を含み、上記利用可能な属性データは、該サンプルのダイナミックレンジ値(
    DR)を含み、上記欠落/破損した属性データを評価するステップは、 上記欠落/破損したMINに関する評価関数の自乗誤差を収集するステップと
    、 上記評価関数の自乗誤差を最小化するMINの値(MIN’)を選択するステ
    ップとを備えることを特徴とする請求項79記載の記録媒体。
  89. 【請求項89】 上記欠落/破損した属性データは、サンプルの最小値(MIN
    )を含み、上記利用可能な属性データは、該サンプルのダイナミックレンジ(D
    R)を含み、上記評価は、yiを隣接する復号されたサンプル値とし、qiを上記
    サンプルの符号化値とし、Qを上記サンプルの量子化ビット数として、以下の関
    数を最小にする評価されたMIN値(MIN’)を選択することにより行われる
    ことを特徴とする請求項79記載の記録媒体。 【数42】
  90. 【請求項90】 上記欠落/破損した属性データは、サンプルの最小値(MIN
    )を含み、上記利用可能な属性データは、該サンプルのダイナミックレンジ(D
    R)を含み、上記評価は、yiを隣接する復号されたサンプル値とし、qiを上記
    サンプルの符号化値とし、Qを上記サンプルの量子化ビット数として、以下の関
    数を最小にする評価されたMIN値(MIN’)を選択することにより行われる
    ことを特徴とする請求項79記載の記録媒体。 【数43】
  91. 【請求項91】 上記欠落/破損した属性データは、サンプルの最小値(MIN
    )を含み、上記利用可能な属性データは、該サンプルのダイナミックレンジ(D
    R)を含み、上記評価は、yiを隣接する復号されたサンプル値とし、qiを当該
    サンプルの符号化値とし、Qを上記サンプルの量子化ビット数として、以下の関
    数を最小にする評価値(MIN’)を選択することにより行われることを特徴と
    する請求項79記載の記録媒体。 【数44】
  92. 【請求項92】 量子化ビットの可能な属性値の範囲の下限及び上限を示すLQ
    及びUQとして、評価された属性値を[LQ,UQ]内に制限するクリッピングス
    テップを備えることを特徴とする請求項79記載の記録媒体。
  93. 【請求項93】 上記欠落/破損したデータは、サンプルの最小値(MIN)を
    含み、上記利用可能な属性データは、該サンプルのダイナミックレンジ(DR)
    を含み、上記評価は、Qを上記サンプルの量子化ビット数とし、yiを隣接する
    復号されたサンプル値とし、Nを総和に用いた項数として、以下の式により求め
    られることを特徴とする請求項79記載の記録媒体。 【数45】
  94. 【請求項94】 上記欠落/破損した属性データは、サンプルの最小値(MIN
    )を含み、上記利用可能な属性データは、該サンプルのダイナミックレンジ(D
    R)を含み、上記評価は、Qを上記サンプルの量子化ビット数とし、yiを隣接
    する復号されたサンプル値とし、Nを総和に用いた項数として、以下の式により
    求められることを特徴とする請求項79記載の記録媒体。 【数46】
  95. 【請求項95】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ(DR)及び該サンプルの最小値(MIN)を含み、上記欠落/破損した属
    性データを評価するステップは、 上記欠落/破損したDR及びMINに関する評価関数の自乗誤差を収集するス
    テップと、 上記評価関数の自乗誤差を最小化するDR及びMINを選択するステップとを
    備えることを特徴とする請求項79記載の記録媒体。
  96. 【請求項96】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)及び該サンプルの最小値(MIN)を含み、上記評価は、yi
    隣接する復号されたサンプル値とし、qiを当該サンプルの符号化値とし、g(
    )を対応する復号処理として、以下の関数を最小にする評価値DR’及びMIN
    ’を選択することにより行われることを特徴とする請求項79記載の記録媒体。 【数47】
  97. 【請求項97】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)及び最小値(MIN)を含み、上記評価は、yiを隣接する復号
    されたサンプル値とし、qiを上記サンプルの符号化値とし、Qを上記サンプル
    の量子化ビット数として、以下の関数を最小にする評価値DR’及びMIN’を
    選択することにより行われることを特徴とする請求項79記載の記録媒体。 【数48】
  98. 【請求項98】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)及び該サンプルの最小値(MIN)を含み、上記評価は、yi
    隣接する復号されたサンプル値とし、qiを上記サンプルの符号化値とし、Qを
    上記サンプルの量子化ビット数として、以下の関数を最小にする評価値DR’及
    びMIN’を選択することにより行われることを特徴とする請求項79記載の記
    録媒体。 【数49】
  99. 【請求項99】 上記欠落/破損した属性データは、サンプルのダイナミックレ
    ンジ値(DR)及び該サンプルの最小値(MIN)を含み、上記評価は、Qを上
    記サンプルの量子化ビット数とし、yiを隣接する復号されたサンプル値とし、
    iを上記サンプルの符号化値とし、Nを総和に用いた項数として、以下の関数
    を最小にする評価値DR’及びMIN’を選択することにより行われることを特
    徴とする請求項79記載の記録媒体。 【数50】
  100. 【請求項100】 上記欠落/破損した属性データは、サンプルのダイナミック
    レンジ値(DR)及び該サンプルの最小値(MIN)を含み、上記評価は、Qを
    上記サンプルの量子化ビット数とし、yiを隣接する復号されたサンプル値とし
    、qiを上記サンプルの符号化値とし、Nを総和に用いた項数として、以下の関
    数を最小にする評価値DR’及びMIN’を選択することにより行われることを
    特徴とする請求項79記載の記録媒体。 【数51】
  101. 【請求項101】 上記欠落/破損した属性データは、サンプルの最小値(MI
    N)を含み、上記利用可能な属性データは、該サンプルのダイナミックレンジ値
    (DR)を含み、上記符号化サンプルデータ、上記隣接する復号されたデータ、
    及び利用可能な属性データを用いて複数の欠落/破損した属性データを算出する
    ことにより評価し、該評価により得られたデータのメジアンを選択するステップ
    を有することを特徴とする請求項79記載の記録媒体。
  102. 【請求項102】 上記欠落/破損した属性データは、サンプル値の最小値(M
    IN)を含み、上記利用可能な属性データは、該サンプルのダイナミックレンジ
    値(DR)を含み、上記評価は、yiを隣接する復号されたサンプル値とし、qi を当該サンプルの符号化値とし、Qを上記サンプルの量子化ビット数とし、med
    ()を対応するメジアン関数として、以下の式に基づいて複数の評価されたデー
    タ(MIN’)のメジアンを選択することにより行われることを特徴とする請求
    項79記載の記録媒体。 【数52】
  103. 【請求項103】 上記欠落/破損した属性データは、サンプル値の最小値(M
    IN)を含み、上記利用可能な属性データは、該サンプルのダイナミックレンジ
    値(DR)を含み、上記評価は、yiを隣接する復号されたサンプル値とし、qi を当該サンプルの符号化値とし、Qを上記サンプルの量子化ビット数とし、med
    ()を対応するメジアン関数として、以下の式に基づいて複数の評価されたデー
    タ(MIN’)のメジアンを選択することにより行われることを特徴とする請求
    項79記載の記録媒体。 【数53】
  104. 【請求項104】 上記評価は、上記符号化されたサンプルデータと、上記隣接
    する復号されたデータと、利用可能な属性データとを用いて上記欠落/破損した
    データを評価するものであり、 上記評価されるデータに隣接する復号されたデータを動きに基づいて選択する
    ステップと、 上記符号化されたサンプルデータと、上記選択された隣接する復号されたデー
    タと、利用可能な属性データとを用いて上記欠落/破損したデータを評価するス
    テップとを有することを特徴とする請求項79記載の記録媒体。
  105. 【請求項105】 上記欠落/破損した属性データは、サンプルのダイナミック
    レンジ値(DR)を含み、上記利用可能な属性データは該サンプルの最小値(M
    IN)を含み、上記欠落/破損した属性データ(DR’)を評価するステップは
    、 上記符号化されたサンプルデータと、上記選択された隣接する復号されたデー
    タと、利用可能な属性データとを用いて上記欠落/破損したデータを評価するス
    テップと、 上記評価された欠落/破損した属性データ(DR’)を以下の式に基づいてク
    リップするステップとを有することを特徴とする請求項79記載の記録媒体。 MIN+DR'≦NUM
  106. 【請求項106】 上記NUMは、255であることを特徴とする請求項105記
    載の記録媒体。
  107. 【請求項107】 上記欠落/破損した属性データは、サンプルの最小値(MI
    N)を含み、上記利用可能な属性データは該サンプルのダイナミックレンジ値(
    DR)を含み、上記欠落/破損した属性データ(MIN’)を評価するステップ
    は、 上記符号化されたサンプルデータと、上記選択された隣接する復号されたデー
    タと、利用可能な属性データとを用いて上記欠落/破損したデータを評価するス
    テップと、 上記評価された欠落/破損した属性データ(MIN’)を以下の式に基づいて
    クリップするステップとを有することを特徴とする請求項79記載の記録媒体。 MIN'+DR≦NUM
  108. 【請求項108】 上記NUMは、255であることを特徴とする請求項107記
    載の記録媒体。
  109. 【請求項109】 上記欠落/破損した属性データは、サンプルのダイナミック
    レンジ値(DR)及び該サンプルの最小値(MIN)を含み、上記欠落/破損し
    た属性データ(DR’及びMIN’)を評価するステップは、 上記符号化されたサンプルデータと、上記選択された隣接する復号されたデー
    タと、利用可能な属性データとを用いて上記欠落/破損したデータを評価するス
    テップと、 上記評価された欠落/破損した属性データ(DR’及びMIN’)を以下の式
    に基づいてクリップするステップとを有することを特徴とする請求項79記載の
    記録媒体。 MIN'+DR'≦NUM
  110. 【請求項110】 上記NUMは、255であることを特徴とする請求項109記
    載の記録媒体。
  111. 【請求項111】 上記評価は、上記符号化されたサンプルデータと、上記隣接
    する復号されたデータと、利用可能な属性データとを用いて上記欠落/破損した
    データを評価するものであり、 上記符号化されたサンプルデータと、上記隣接する復号されたデータとの相関
    を検出するステップと、 上記相関に基づいて、上記評価のための隣接する復号されたデータを選択する
    ステップと、 上記符号化されたサンプルデータと、上記選択された隣接する復号されたデー
    タと、利用可能な属性データとを用いて上記欠落/破損したデータを評価するス
    テップとを有することを特徴とする請求項79記載の記録媒体。
  112. 【請求項112】 上記欠落/破損した属性データは、サンプルのダイナミック
    レンジ値(DR)を含み、上記利用可能な属性データは、該サンプルの最小値(
    MIN)を含み、qiを上記符号化されたサンプルデータの値とし、yiを上記隣
    接する復号されたサンプルの値として、上記相関を検出するステップは、 符号化されたサンプルの値qiを、Lqiを上記値qiの下限の境界とし、Uqi を上記値qiの上限の境界として、上記符号化されたサンプルの値qiを限定する
    [Lqi,Uqi]の範囲を定義するステップと、 上記符号化されたサンプルの値qiと上記範囲[Lqi,Uqi]とを比較する
    ステップと、 上記比較に結果に基づいて、上記隣接する復号されたデータyiを上記評価す
    るステップに導入するか否かを判定するステップとを有することを特徴とする請
    求項111記載の記録媒体。
  113. 【請求項113】 上記欠落/破損した属性データは、サンプルのダイナミック
    レンジ値(DR)を含み、上記利用可能な属性データは、該サンプルの最小値(
    MIN)を含み、 上記比較するステップは、yiを上記隣接する復号されたサンプルの値とし、
    iを上記符号化されたサンプルデータの値とし、Qを上記サンプルの量子化ビ
    ット数とし、mを最大量子化符号(2Q-1)とし、LQを量子化符号の下限の境界
    とし、UQを量子化符号の上限の境界とし、max及びminをそれぞれ最大関数及び
    最小関数として、以下の式に基づいて行われることを特徴とする請求項112記
    載の記録媒体。 【数54】
  114. 【請求項114】 上記量子化符号ビットの属性値を制限する上限及び下限の境
    界は、回復された属性値の不安定性による画像の劣化を抑制するために、可能な
    値の範囲に緩和されることを特徴とする請求項92記載の記録媒体。
  115. 【請求項115】 上記LQ及びUQは、rを緩和定数とし、LQ-1をQ−1量子
    化ビットの可能な属性値の範囲の下限の境界とし、UQ+1をQ+1量子化ビット
    の可能な属性値の範囲の上限の境界として、以下の式に基づいてL’Q及びU’
    Qに調節されることを特徴とする請求項114記載の記録媒体。 L’Q=r・LQ-1+(1−r)・LQ U’Q=(1−r)・UQ+r・UQ+1
  116. 【請求項116】 上記rは、5であることを特徴とする請求項115記載の記
    録媒体。
  117. 【請求項117】 上記符号化されたサンプルデータ及び隣接する復号されたデ
    ータは、関連する方向に基づいてグループ化され、上記評価するステップは、 対応する符号化されたサンプルデータ及び符号化された隣接するデータを用い
    て、各方向について、欠落/破損された属性データの方向評価を生成するステッ
    プと、 上記方向評価を関連する相関度に基づいて重み付けするステップと、 上記重み付けされた方向評価を結合して、結合評価を生成するステップとを有
    する請求項79記載の記録媒体。
  118. 【請求項118】 属性データと符号化されたサンプリングデータからなる符号
    化データのビットストリーム内の欠落/破損した属性データを回復するデータ回
    復装置において、 復号された隣接するデータを読み出す読出手段と、 上記符号化されたサンプルデータと、上記復号された隣接するデータと、利用
    可能な属性データとを用いて上記欠落/破損した属性データを評価する評価手段
    とを備えることを特徴とするデータ回復装置。
  119. 【請求項119】 上記欠落/破損した属性データは、サンプルのダイナミック
    レンジ値(DR)を含み、上記利用可能な属性データは該サンプルの最小値(M
    IN)を含み、 上記評価手段は、上記欠落/破損したDRに関する評価関数の自乗誤差を収集
    し、上記評価関数の自乗誤差を最小化するDRを選択して、上記欠落/破損した
    属性データを評価することを特徴とする請求項118記載のデータ回復装置。
  120. 【請求項120】 上記欠落/破損した属性データは、サンプルの最小値(MI
    N)を含み、上記利用可能な属性データは、該サンプルのダイナミックレンジ値
    (DR)を含み、上記評価手段は、上記欠落/破損したMINに関する評価関数
    の自乗誤差を収集し、上記評価関数の自乗誤差を最小化するMINの値(MIN
    ’)を選択して、上記欠落/破損した属性データを評価することを特徴とする請
    求項118記載のデータ回復装置。
  121. 【請求項121】 上記データ回復装置は、上記符号化されたサンプリングデー
    タと、上記隣接する復号されたデータと、上記利用可能な属性データとを用いて
    、上記欠落/破損した属性データを回復するものであり、 上記符号化データと対応する隣接する復号データとの間の相関を検出する検出
    手段と、 上記相関に基づいて、上記評価用の近接する復号されたデータを選択する選択
    手段と、 上記符号化されたサンプルデータと、上記選択された近接する復号データと、
    上記利用可能な属性データとを用いて上記欠落/破損した属性データを評価する
    評価手段とを備えることを特徴とする請求項118記載のデータ回復装置。
  122. 【請求項122】 上記符号化されたサンプルデータ及び隣接する復号されたデ
    ータは、関連する方向に基づいてグループ化され、 対応する符号化されたサンプルデータ及び符号化された隣接するデータを用い
    て、各方向について、欠落/破損された属性データの方向評価を生成する評価手
    段と、 上記方向評価を関連する相関度に基づいて重み付けする重み付け手段と、 上記重み付けされた方向評価を結合して、結合評価を生成する結合手段とを備
    えることを特徴とする請求項118記載のデータ回復装置。
JP2000517343A 1997-10-23 1998-10-23 データ回復方法及び装置並びに記録媒体 Expired - Fee Related JP4558190B2 (ja)

Applications Claiming Priority (17)

Application Number Priority Date Filing Date Title
US95687097A 1997-10-23 1997-10-23
US95755597A 1997-10-23 1997-10-23
US95663297A 1997-10-23 1997-10-23
US08/956,870 1997-10-23
US08/957,555 1997-10-23
US08/956,632 1997-10-23
US247098A 1998-01-02 1998-01-02
US254798A 1998-01-02 1998-01-02
US255398A 1998-01-02 1998-01-02
US09/002,470 1998-01-02
US09/002,547 1998-01-02
US09/002,553 1998-01-02
US09/016,083 US6581170B1 (en) 1997-10-23 1998-01-30 Source coding to provide for robust error recovery during transmission losses
US09/016,083 1998-01-30
US09/110,803 1998-07-06
US09/110,803 US6163868A (en) 1997-10-23 1998-07-06 Apparatus and method for providing robust error recovery for errors that occur in a lossy transmission environment
PCT/US1998/022411 WO1999021090A1 (en) 1997-10-23 1998-10-23 Apparatus and method for providing robust error recovery for errors that occur in a lossy transmission environment

Publications (3)

Publication Number Publication Date
JP2003526954A true JP2003526954A (ja) 2003-09-09
JP2003526954A5 JP2003526954A5 (ja) 2006-01-05
JP4558190B2 JP4558190B2 (ja) 2010-10-06

Family

ID=27573870

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000517343A Expired - Fee Related JP4558190B2 (ja) 1997-10-23 1998-10-23 データ回復方法及び装置並びに記録媒体

Country Status (5)

Country Link
EP (1) EP1027651B1 (ja)
JP (1) JP4558190B2 (ja)
CN (1) CN1219255C (ja)
AU (1) AU1115499A (ja)
WO (1) WO1999021090A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006014283A (ja) * 2004-05-07 2006-01-12 Sony Electronics Inc マルチプルディスクリプション符号化のための可変サポートロバスト変換可変サポートロバスト変換
JP2007536829A (ja) * 2004-05-06 2007-12-13 クゥアルコム・インコーポレイテッド 情報源−通信路総合map復号のための方法および装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6332042B1 (en) * 1997-10-23 2001-12-18 Sony Corporation Apparatus and method for encoding and decoding data in a lossy transmission environment
US6151416A (en) * 1999-02-12 2000-11-21 Sony Corporation Method and apparatus for adaptive class tap selection according to multiple classification
US6363118B1 (en) * 1999-02-12 2002-03-26 Sony Corporation Apparatus and method for the recovery of compression constants in the encoded domain
US6418548B1 (en) 1999-02-12 2002-07-09 Sony Corporation Method and apparatus for preprocessing for peripheral erroneous data
EP1151615B1 (en) * 1999-02-12 2011-11-09 Sony Electronics, Inc. Apparatus and method for the recovery of compression constants in the encoded domain
US6389562B1 (en) * 1999-06-29 2002-05-14 Sony Corporation Source code shuffling to provide for robust error recovery
US6473876B1 (en) * 1999-06-29 2002-10-29 Sony Corporation Method and apparatus for encoding of bitstreams using rotation
US6493842B1 (en) * 1999-06-29 2002-12-10 Sony Corporation Time-varying randomization for data synchronization and implicit information transmission
US6549672B1 (en) * 1999-06-29 2003-04-15 Sony Corporation Method and apparatus for recovery of encoded data using central value
US6539517B1 (en) * 1999-11-09 2003-03-25 Sony Corporation Data transformation for explicit transmission of control information
KR100742850B1 (ko) 2000-02-10 2007-07-25 소니 가부시끼 가이샤 화상 처리 장치와 방법, 및 기록 매체
EP1124384A1 (en) 2000-02-10 2001-08-16 Sony Corporation Information processing apparatus for compressed image data using class-classification adaptive processing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02305280A (ja) * 1989-05-19 1990-12-18 Canon Inc 画像復号化方法及びその装置
JPH0686259A (ja) * 1992-08-31 1994-03-25 Sony Corp ブロック変換符号化データの伝送装置
JPH06125534A (ja) * 1992-08-31 1994-05-06 Sony Corp ブロック変換符号化データの伝送装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62231569A (ja) * 1986-03-31 1987-10-12 Fuji Photo Film Co Ltd 予測誤差の量子化方法
DE69031638T2 (de) * 1989-05-19 1998-03-19 Canon Kk System zum Übertragen von Bildinformation
JPH04358486A (ja) * 1991-06-04 1992-12-11 Toshiba Corp 高能率符号化信号処理装置
US5263026A (en) * 1991-06-27 1993-11-16 Hughes Aircraft Company Maximum likelihood sequence estimation based equalization within a mobile digital cellular receiver
JPH05103309A (ja) * 1991-10-04 1993-04-23 Canon Inc 情報伝送方法及び装置
KR960012931B1 (ko) * 1993-08-31 1996-09-25 대우전자 주식회사 분류 벡터 양자화된 영상의 채널 오류 은폐 방법
KR0155900B1 (ko) * 1995-10-18 1998-11-16 김광호 위상에러검출방법 및 위상 트래킹 루프회로
US5724369A (en) * 1995-10-26 1998-03-03 Motorola Inc. Method and device for concealment and containment of errors in a macroblock-based video codec

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02305280A (ja) * 1989-05-19 1990-12-18 Canon Inc 画像復号化方法及びその装置
JPH0686259A (ja) * 1992-08-31 1994-03-25 Sony Corp ブロック変換符号化データの伝送装置
JPH06125534A (ja) * 1992-08-31 1994-05-06 Sony Corp ブロック変換符号化データの伝送装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007536829A (ja) * 2004-05-06 2007-12-13 クゥアルコム・インコーポレイテッド 情報源−通信路総合map復号のための方法および装置
JP2006014283A (ja) * 2004-05-07 2006-01-12 Sony Electronics Inc マルチプルディスクリプション符号化のための可変サポートロバスト変換可変サポートロバスト変換
JP4716777B2 (ja) * 2004-05-07 2011-07-06 ソニー エレクトロニクス インク マルチプルディスクリプション符号化のための可変サポートロバスト変換可変サポートロバスト変換

Also Published As

Publication number Publication date
EP1027651A1 (en) 2000-08-16
JP4558190B2 (ja) 2010-10-06
WO1999021090A1 (en) 1999-04-29
EP1027651B1 (en) 2013-08-07
EP1027651A4 (en) 2009-08-19
CN1219255C (zh) 2005-09-14
AU1115499A (en) 1999-05-10
CN1283287A (zh) 2001-02-07

Similar Documents

Publication Publication Date Title
JP4190148B2 (ja) 伝送時のデータ欠落によるエラーを強力に回復する原始コーディング
JP2001521348A5 (ja)
JP2003503917A (ja) 圧縮パラメータに基づく疑似ランダムインタリーブ処理によるエラー対策
JP2003526954A (ja) データ欠落が生じやすい伝送環境において強力なエラー回復を提供する装置及び方法
JP4558193B2 (ja) データ受信方法及び装置、その受信データの回復処理装置並びに記録媒体
JP4558196B2 (ja) データブロック生成方法及び装置並びに記録媒体
JP2001521317A5 (ja)
JP2001521346A5 (ja)
KR100594407B1 (ko) 엔코딩된 데이터의 비트스트림에서 손실/손상된 데이터를 수신하는 방법, 장치 및 프로세싱 시스템 및 실행 가능한 지령을 포함하는 컴퓨터 판독 가능한 매체
JP2001521305A (ja) データの欠落が生じやすい伝送環境において量子化符合を回復する装置及び方法
JP4558194B2 (ja) 原始コーディング方法、デジタル信号処理装置及び分散装置並びに記録媒体
JP4558195B2 (ja) 符号化方法及び装置、復号方法及び装置、デジタル信号処理装置並びに記録媒体
JP4558191B2 (ja) 破損データ回復方法及び装置、デジタル演算処理装置並びに記録媒体
JP2003503915A (ja) データ同期のための時間変化ランダム化及び間接的情報伝送
JP2001521305A5 (ja)
JP2001521304A5 (ja)
JP2001521345A5 (ja)

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051024

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080430

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080513

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20080513

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080522

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080730

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080806

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080901

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080908

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080929

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081024

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091102

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20091113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100621

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100721

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130730

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees