JP2003531514A - アドバンスドテレビジョンの強化された時相及び解像度の階層化 - Google Patents

アドバンスドテレビジョンの強化された時相及び解像度の階層化

Info

Publication number
JP2003531514A
JP2003531514A JP2001574651A JP2001574651A JP2003531514A JP 2003531514 A JP2003531514 A JP 2003531514A JP 2001574651 A JP2001574651 A JP 2001574651A JP 2001574651 A JP2001574651 A JP 2001574651A JP 2003531514 A JP2003531514 A JP 2003531514A
Authority
JP
Japan
Prior art keywords
image
resolution
frame
digital video
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001574651A
Other languages
English (en)
Other versions
JP4352105B2 (ja
Inventor
ガリー イー デモス
Original Assignee
デモグラエフエックス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/545,233 external-priority patent/US6728317B1/en
Application filed by デモグラエフエックス filed Critical デモグラエフエックス
Publication of JP2003531514A publication Critical patent/JP2003531514A/ja
Application granted granted Critical
Publication of JP4352105B2 publication Critical patent/JP4352105B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Abstract

(57)【要約】 圧縮画像フレームの時相と解像度の階層化を利用する画像圧縮方法と画像圧縮装置（図８）。特に、階層化圧縮（図８、項目８１、８５及び８６）は、各種の画像強化法の順応性がある利用を支持する画像のモジュール化分解の一形態を提供する（図２）。さらに、本発明は、ビデオの品質と圧縮の各種の問題を処理する多くの強化を行う（図７）。これら強化は、大部分、好ましくは、画像を強化し（図８、項目８２、８６）そしてこのような画像を圧縮するタスクに適用できる一組のツールとして実施される。これらツールは、コンテントデベロッパによって、各種の方法で所望どおりに組み合わされて、圧縮されたデータストリームの可視品質と圧縮効率を最適化することができる。このようなツールとしては、改良された画像フィルタリング法、動きベクトルの表現と決定、デ−インタレーシングとノイズ減少の強化、動き解析、画像形成装置の特性決定と修正、強化された３−２プルダウンシステム（図１）、フレーム速度の生成方法、モジュラビット速度法、多重層ＤＣＴ構造（図２０）、可変長符号化の最適化、ＭＰＥＧ−２とＭＰＥＧ−４の増大システム、及び空間強化層のための案内ベクトル（図８、項目８７）がある。

Description

【発明の詳細な説明】
【０００１】関連出願の相互参照 本願は、１９９６年１月３０日付けで出願された米国特許願第０８／５９４，
８１５号（現在は１９９８年１２月２２日付けで発行された米国特許第５，８５
２，５６５号である）の継続出願であった１９９８年１２月２１日付け出願の米
国特許願第０９／２１７，１５１号の継続出願であった１９９９年１１月１７日
付け出願の米国特許願第０９/４４２，５９５号の一部継続出願でありその優先
権を主張するものである。
【０００２】技術分野 本発明は、電子通信システムに関し、さらに詳しく述べると、圧縮特性、フィ
ルタリング特性及び表示特性を強化された圧縮画像フレームの時相と解像度を階
層化（temporal and resolution layering）したアドバンスド電子テレビジョン
システムに関する。
【０００３】背景 米国は、現在、テレビジョンを伝送するのに、ＮＴＳＣ標準を利用している。
しかし、このＮＴＳＣ標準をアドバンスドテレビジョン標準と取替えるという提
案がなされている。例えば、米国がディジタル標準精細度フォーマットとアドバ
ンスドテレビジョンフォーマットを、２４Ｈｚ、３０Ｈｚ、６０Ｈｚ及びインタ
レース化された６０Ｈｚの速度（rate）で採用することが提案されている。これ
らの速度は、既存のＮＴＳＣテレビジョンの表示速度６０Ｈｚ（又は５９．９４
Ｈｚ）を引続き利用すること（したがってこの表示速度と両立すること）を意図
していることは明らかである。また、「３−２プルダウン（3-2 pulldown）」が
、２４フレーム／秒（ｆｐｓ）の時相速度を有する映画を提供するときに、６０
Ｈｚの表示速度で表示することを目的としていることも明らかである。しかし、
上記提案は、選択すべき可能なフォーマットのメニューを提供するが、各フォー
マットは、単一の解像度とフレーム速度しか符号化し復号しない。これらフォー
マットの表示速度又は動き速度（motion rate）は、互いに不可分には関連して
いないので、一方から他方への変換は困難である。
【０００４】 さらに、この提案は、コンピュータ表示器と両立できる決定的な性能を提供し
ていない。これらの提案された画像の動き速度は、今世紀初期にさかのぼる歴史
的な速度に基づいている。いきがかりを捨てるならば、これらの速度は選択され
ることはないであろう。コンピュータ産業界では、表示器は、過去１０年間にわ
たってあらゆる速度を利用できたが、７０〜８０Ｈｚの範囲の速度が最適である
と証明され、７２Ｈｚと７５Ｈｚが最も普通の速度であった。あいにく、提案さ
れた速度の３０Ｈｚと６０Ｈｚは、７２Ｈｚ又は７５Ｈｚとの有用な相互運用性
を欠いており、その結果、時相性能が低下する。
【０００５】 その上に、高いフレーム速度で約１０００ラインの解像度を有する必要がある
と要求されているため、インタレースが必要であるが、このような画像が従来の
６ＭＨｚ放送テレビジョンチャネルの利用可能な１８〜１９メガビット／秒内で
圧縮できないという認識に基づいていることが一部の人によって示唆されている
。
【０００６】 単一の信号フォーマットを採用しなければならないならば、そのフォーマット
の中に所望の標準の高精細度の解像度をすべて含んでいることが一層要望される
であろう。しかし、従来の６ＭＨｚ放送テレビジョンチャネルの帯域幅の制約内
で上記のことを行うには、フレーム速度（時相）と解像度（空間）の両者の圧縮
と「スケーラビリティ（scalability）」が必要である。このようなスケーラビ
リティを提供することを特に意図する一つの方法はＭＰＥＧ−２標準である。Ｍ
ＰＥＧ−２標準（及びより新しい標準、例えばＭＰＥＧ−４）中に詳記されてい
る時相及び空間のスケーラビリティの機能は、米国のアドバンスドテレビジョン
の要求を満たすのに充分有効でない。したがって米国のアドバンスドテレビジョ
ンに対する前記提案は、時相（フレーム速度）と空間（解像度）の階層化が無効
果であるという前提に基づいているので、個々のフォーマットが必要である。
【０００７】 さらに、解像度、画像の明瞭度、符号化効率及び画像生成効率を高めることが
望ましい。本発明はこのような性能強化を行う。
【０００８】要約 本発明は、高フレーム速度にて高画質で、１０００ライン解像度より優れた画
像圧縮を明白に達成する、画像圧縮を行う方法と装置を提供するものである。ま
た本発明は、従来のテレビジョン放送チャネルの利用可能な帯域幅内で、上記解
像度にて高フレーム速度で、時相と解像度のスケーラビリティの両者も達成する
ものである。本発明の方法は、アドバンスドテレビジョンに対して提案されてい
る圧縮比の２倍を超える圧縮比を有効に達成する。さらに階層化圧縮によって、
各種の画像強化方法を意のままに利用できるようにする一形態の画像のモジュー
ル化分解が可能になる。
【０００９】 画像マテリアル（image material）は好ましくは、７２ｆｐｓという初期又は
一次のフレーム指示速度で捕獲される。次に、ＭＰＥＧ式（例えばＭＰＥＧ−２
、ＭＰＥＧ−４など）のデータストリームが生成し、そのデータ流は次の層を含
んでいる。 （１）好ましくはＭＰＥＧ型Ｐフレームだけを使用して、符号化されるベース層
であって、低解像度（例えば１０２４×５１２画素）で低フレーム速度（２４又
は３６Ｈｚ）のビットストリームを含む層； （２）ＭＰＥＧ型Ｂフレームだけを使用して符号化される任意のベース解像度の
時相強化層であって、低解像度（例えば１０２４×５１２画素）で高フレーム速
度（７２Ｈｚ）のビットストリームを含む層； （３）好ましくはＭＰＥＧ型Ｐフレームだけを使用して符号化される任意のベー
ス時相の高解像度強化層であって、高解像度（例えば２ｋ×１ｋ画素）で低フレ
ーム速度（２４又は３６Ｈｚ）のビットストリームを含む層； （４）ＭＰＥＧ型Ｂフレームだけを使用して符号化される任意の高解像度の時相
強化層であって、高解像度（例えば２ｋ×１ｋ画素）で高フレーム速度（７２Ｈ
ｚ）のビットストリームを含む層。
【００１０】 本発明は、現在の提案を超える大きな改良が可能になる多数の重要な技術特性
、例えば、多種の解像度とフレーム速度の、単一の階層化された解像度とフレー
ム速度による置換；６ＭＨｚのテレビジョンチャネル内で、高フレーム速度（７
２Ｈｚ）で２メガ画素の画像について１０００ラインより優れた解像度を達成す
るのにインタレースが不要であること；一次フレーム指示速度７２ｆｐｓを使用
することによるコンピュータ表示器との互換性；及びアドバンスドテレビジョン
に対する現行の階層化されていないフォーマットの提案よりはるかに高い堅牢性
を提供する。なぜならば、「ストレスの多い（stressful）」画像マテリアルに
出会うと、利用可能なビットがすべて、低解像度のベース層に割り当てることが
できるからである。
【００１１】 さらに、本発明は、ビデオ品質と圧縮の各種問題点を処理する多くの強化法を
提供する。このような強化法を多数、以下に説明するが、これら強化法は大部分
、好ましくは、画像の強化及びその画像の圧縮を行うタスクに適用できる一組の
ツールとして実施される。これらのツールは、所望どおりに、各種の方式でコン
テント・デベロッパ（content developer）によって結合して、圧縮されたデー
タストリーム特に階層化された圧縮データストリームの視覚質と圧縮効率を最適
化することができる。
【００１２】 このようなツールとしては、改良された画像フィルタリング法、動きベクトル
の表現と決定、デ−インタレーシングと雑音低下の強化法、動き解析、画像形成
装置の特性決定と修正、強化された３−２プルダウンシステム、生産のためのフ
レーム速度法、モジュラビット速度法、多層ＤＣＴ構造、各種長さの符号化の最
適化、ＭＰＥＧ−２とＭＰＥＧ−４用の拡張システム、及び空間強化層用のガイ
ドベクトルがある。
【００１３】 本発明の１又は２以上の実施態様の詳細は、添付図面と以下の説明に記載され
ている。本発明の他の特徴、目的及び利点は、これらの説明と図面及び特許請求
の範囲から明らかになるであろう。なお各種図面の同じ参照記号は同じ要素を示
す。
【００１４】詳細な説明 この説明全体を通じて示されている好ましい実施態様と実施例は、本発明を限
定するものではなく、例示しているとみなすべきである。
【００１５】時相解像度の階層化 時相速度ファミリーの目標 従来技術の問題点を考案した後、本発明を追求中に、将来のディジタルテレビ
ジョンシステムの時相特性を指定するため下記目標を定義した。 ・２４フレーム／秒フィルムの高解像度レガシイ（high resolution legacy）の
最適プレゼンテーション。 ・迅速に移動する画像タイプ例えばスポーツ画像の彩骨な動きの捕獲。 ・７２Ｈｚ又は７５Ｈｚで作動するコンピュータコンパチブル表示器のみならず
既存のアナログＮＴＳＣ表示器へのスポーツ画像及び類似の画像の円滑な動きプ
レゼンテーション。 ・余り速くない移動画像、例えばニュースやライブ劇の画像の合理的であるがよ
り効率的な動きの捕獲。 ・すべての新しいディジタルタイプの画像の、コンバーターボックスを通じて既
存のＮＴＳＣ表示器への合理的なプレゼンテーション。 ・すべての新しいディジタルタイプの画像の、コンピュータコンパチブル表示器
への高品質のプレゼンテーション。 ・６０Ｈｚディジタル標準表示器又は高解像度表示器が市販されたときの、これ
ら表示器に対する同様の合理的な又は高品質のプレゼンテーション。
【００１６】 ６０Ｈｚの表示器と７２／７５Ｈｚの表示器は、２４Ｈｚの映画速度以外のど
の速度でも基本的に適合しないので、最良の状態は、７２／７５Ｈｚ又は６０Ｈ
ｚが表示速度として除かれた状態であろう。７２Ｈｚ又は７５Ｈｚは、Ｎ．Ｉ．
Ｉ．（national Information Infrastructure）とコンピュータのアプリケーシ
ョンのために必要な速度であるから、６０Ｈｚの速度が、基本的に時代遅れであ
るので、除外するということはずっと将来のことであろう。しかし、放送・テレ
ビジョン設備の産業界には多くの競合する利害関係があり、新しいディジタルテ
レビジョンインフラストラクチャが６０Ｈｚ（および３０Ｈｚ）に基づいている
ことに対する強い要求がある。このため、テレビジョン、放送及びコンピュータ
の産業界間で、非常に白熱した論争が起こっている。
【００１７】 その上に、インタレースされた６０Ｈｚフォーマットに対する、放送及びテレ
ビジョンの産業界のいくつかの利害が強調されて、コンピュータ表示器の要件と
のギャップがさらに広がっている。非インタレース化表示は、ディジタルテレビ
ジョンシステムのコンピュータ式アプリケーションに必要であるから、インタレ
ース化信号が表示される場合、デ−インタレーサが必要である。デ−インタレー
サはあらゆるこのような受信装置に必要であるから、デ−インタレーサのコスト
と品質についてのかなりの論争がある。デ−インタレース化に加えてフレーム速
度の変換は、さらにコストと品質に強く影響する。例えば、そのＮＴＳＣ−ＰＡ
Ｌ間のコンバータは引続き非常に費用がかかり、しかも変換性能は、多くの一般
タイプのシーンに対しては信頼できない。インタレースの争点は複雑で問題の多
い課題なので、時相速度の問題点と争点に取りくむため、本発明を、インタレー
スなしのディジタルテレビジョンの標準に関連して説明する。
【００１８】 最適時相速度の選択 ビートの問題。７２Ｈｚ又は７５Ｈｚの表示器に対する最適のプレゼンテーシ
ョンは、動き速度が表示速度に等しい（それぞれ７２Ｈｚ又は７５Ｈｚ）及びそ
の逆のカメラ画像又はシミュレートされた画像が生成するときに起こる。同様に
、６０Ｈｚ表示器に対する最適の動き忠実度は、６０Ｈｚのカメラ画像又はシミ
ュレート画像から得られる。７２Ｈｚ又は７５Ｈｚの生成速度（generation rat
e）それぞれを６０Ｈｚ表示器で使用すると、１２Ｈｚ又は１５Ｈｚのビート周
波数が生じる。このビートは動き解析を通じて除くことができるが、動き解析は
費用がかかりかつ不正確であり、目視可能なアーチファクトと時相エイリアシン
グを生じることが多い。動き解析を行わないと、該ビート周波数が、知覚される
表示速度を支配して、１２Ｈｚ又は１５Ｈｚのビートが、２４Ｈｚより正確さの
低い動きを提供するようになる。したがって、２４Ｈｚは、６０Ｈｚと７２Ｈｚ
の間の自然の時相共通標準（natural temporal common denominator）を形成す
る。７５Ｈｚは６０Ｈｚと比べてわずかに１５Ｈｚ高いビートを有しているが、
その動きは依然として２４Ｈｚほど滑らかではなく、２４Ｈｚの速度が２５Ｈｚ
まで増大しないならば、７５Ｈｚと２４Ｈｚの間にインテグラル・リレーション
シップがない（ヨーロッパの５０Ｈｚの国々では、映画が２５Ｈｚの場合より４
％速く上映されることが多い。これを行って、フィルムを７５Ｈｚ表示器に提示
できるようにすることができる）。
【００１９】 各受信装置に動き解析がないと、７２Ｈｚ又は７５Ｈｚの表示器での６０Ｈｚ
の動き及び６０Ｈｚ表示器での７５Ｈｚ又は７２Ｈｚの動きは、２４Ｈｚの画像
より平滑さが低い。したがって、７２／７５Ｈｚの動きも６０Ｈｚの動きも、７
２Ｈｚ又は７５Ｈｚの表示器及び６０Ｈｚの表示器の両方を含む異種表示器集団
に到達させるのに適していない。
【００２０】 ３−２プルダウン。テレシネ変換（フィルムからビデオへの変換）プロセス中
、「３−２プルダウン」をビデオ効果と組み合わせて使用するため、最適フレー
ム速度を選択する場合、さらに複雑になる。このような変換中、３−２プルダウ
ンのパターンは、第一フレーム（又はフィールド）を３回繰返し、次いで次のフ
レームを２回、次いで次のフレームを３回、次いで次のフレームを２回など繰り
返す。これは、６０Ｈｚで（実際には、ＮＴＳＣカラーの場合５９．９４Ｈｚ）
テレビジョンに２４ｆｐｓフィルムがどのように提供されるかを示している。す
なわち、１秒のフィルム中の１２対の２フレームが各々、５回表示され、１秒当
り６０個の画像を提供する。その３−２プルダウンのパターンを図１に示す。
【００２１】 いくつかの推定によって、ビデオ上のすべてのフィルムの１／２以上は、かな
りの部分が、５９．９４Ｈｚのビデオフィールド速度において２４ｆｐｓフィル
ムに対して調節がなされた。これらの調節には「パン−アンド−スキャン（pan-
and-scan）」、カラー修正及びタイトルスクローリングが含まれている。さらに
多くのフィルムは、フレームをドロップさせるか又はシーンの開始と終了をクリ
ップすることによって時間調節されて、計画された所定の放送内にはめこまれる
。これらの操作は、５９．９４Ｈｚと２４Ｈｚの動きの両方があるので、３−２
プルダウンプロセスを逆転させることができない。このことによって、そのフィ
ルムは、ＭＰＥＧ−２の標準を使用して圧縮することが非常に困難になる。幸い
なことに、３−２プルダウンを使用する高解像度ディジタルフィルムの有意なラ
イブラリーがないので、上記問題は、既存のＮＴＳＣ解像度のマテリアルに限定
される。
【００２２】 動きブラー。２４Ｈｚより高い共通の時相速度を見つける問題点をさらに探究
するため、移動画像を捕獲する際の動きブラーについて述べることは有用である
。カメラセンサ及び映画フィルムは、各フレームの時間の一部分で移動画像を感
知するため開かれている。映画カメラと多くのビデオカメラのこの露出時間は調
節可能である。フィルムカメラは、フィルムを前進させる時間が必要であり、通
常、３６０°のうち約２１０°だけ開くように又は５８％デューティサイクルに
制限される。ＣＣＤセンサを有するビデオカメラは、そのフレーム時間の一部が
そのセンサから画像を「読み取る」ために必要なことが多い。これは、フレーム
時間を１０％から５０％まで変えることができる。いくつかのセンサでは、この
読み出し時間中、光を遮断するため電子シャッターを使用しなければならない。
したがって、ＣＣＤセンサの「デューティサイクル」は通常５０％から９０％ま
で変化し、いくつかのカメラでは調節することができる。前記光シャッターは、
所望により、該デューティサイクルをさらに減らすため、時々、調節することが
できる。しかし、フィルムとビデオの両方の場合、最も普通のセンサのデューテ
ィサイクルの期間は５０％である。
【００２３】 好ましい速度。この問題を念頭に置いて、７２Ｈｚ又は７５Ｈｚで捕獲された
画像シーケンスからいくつかのフレームだけを使用することを考えることができ
る。二つ、三つ、四つなどのフレームのうち一つのフレームを利用して表１に示
す副速度（subrate）を誘導することができる。
【００２４】
【表１】
【００２５】 １５Ｈｚという速度は６０Ｈｚと７５Ｈｚの間を単一化する（unify）速度で
ある。１２Ｈｚの速度は６０Ｈｚと７２Ｈｚの間を単一化する速度である。しか
し、２４Ｈｚを超える速度が要求されるとこれらの速度がなくなる。２４Ｈｚは
一般的でないが、６０Ｈｚ表示器に提示するため３−２プルダウンを使用するこ
とは産業界に受け入れられるようになってきた。したがって最良の候補速度は３
０Ｈｚ、３６Ｈｚ及び３７．５Ｈｚである。３０Ｈｚは、７５Ｈｚの７．５Ｈｚ
ビート及び７２Ｈｚの６Ｈｚビートを有しているので、候補として有用ではない
。
【００２６】 ３６Ｈｚと３７．５Ｈｚの動き速度は、６０Ｈｚ及び７２／７５Ｈｚの表示器
に提供されるとき、２４Ｈｚマテリアルより平滑な動きの最上の候補になる。こ
れら速度の両者は、２４Ｈｚより約５０％速くかつ平滑である。３７．５Ｈｚの
速度は、６０Ｈｚ又は７２Ｈｚとともに使用するのに適切でないので、除いて、
所望の時相速度特性を有しているとして３６Ｈｚだけを残さねばならない（３７
．５Ｈｚという動き速度は、テレビジョンに対する６０Ｈｚ表示速度が６２．５
Ｈｚまで４％移動できれば使用できる。６０Ｈｚ未満に利益があると、６２．５
Ｈｚは好ましくなくなる。新しいテレビジョンシステムに非常に時代遅れの５９
．９４Ｈｚの速度を提案する人さえある。しかし、このような変更をなすべきで
あれば、本発明の他の側面は３７．５Ｈｚの速度に適用できる）。
【００２７】 ２４、３６、６０及び７２Ｈｚの速度は、時相速度のファミリーの候補として
残される。７２Ｈｚ及び６０Ｈｚの速度は分布速度としては使用できない。とい
うのは、これら二つの速度間の変換を行うとき、２４Ｈｚを上記のように分布速
度として使用する場合より、動きはなめらかさが低いからである。仮説によって
、発明者らは２４Ｈｚより速い速度を探している。したがって３６Ｈｚが、マス
ターとして最良の候補であり、動き捕獲と画像分布速度を単一化して６０Ｈｚと
７２／７５Ｈｚ表示器に使用される。
【００２８】 上記のように、２４Ｈｚマテリアル用の３−２プルダウンのパターンは、第一
フレーム（又はフィールド）を３回、次いで次のフレームを２回、次いで次のフ
レームを３回、次いで次のフレームを２回など繰り返す。３６Ｈｚを利用すると
き、各パターンは、２−１−２パターンで最適に繰り返されなければならない。
これは表２に示し、図２に図式的に示してある。
【００２９】
【表２】
【００３０】 ３６Ｈｚと６０Ｈｚの間のこの関係は、真の３６Ｈｚマテリアルにのみ成立す
る。６０Ｈｚマテリアルは、インタレース化されると３０Ｈｚ中に「蓄積する（
store）」ことができるが、３６Ｈｚは、動き解析と再構成なしで６０Ｈｚから
合理的につくることができない。しかし、動きを捕獲するため新しい速度を探し
ている場合、３６Ｈｚは、６０Ｈｚの上に、２４Ｈｚよりわずかに平滑な動きを
提供して、実質的により優れた画像動きの平滑さを、７２Ｈｚ表示器上に提供す
る。したがって３６Ｈｚは、マスターとして最適の速度であり、動きの捕獲と画
像分布速度を単一化して６０Ｈｚと７２Ｈｚの表示器に使用され、かような表示
器に提供される２４Ｈｚマテリアルより平滑な動きを生じる。
【００３１】 ３６Ｈｚは、上記目的を満たすが適切な唯一の捕獲速度ではない。３６Ｈｚは
６０Ｈｚから簡単には抽出できないので、６０Ｈｚは捕獲のために適切な速度を
提供しない。しかし、７２Ｈｚは、３６Ｈｚの分布のための基準として用いられ
るあらゆる他のフレームとともに捕獲のために使用できる。７２Ｈｚマテリアル
以外のあらゆる他のフレームの使用に由来する動きブラーは、３６Ｈｚ捕獲の場
合の動きブラーの１／２である。７２Ｈｚ由来のあらゆる第三フレームの動きブ
ラー出現の試験は、２４Ｈｚにおけるスタッカートストロービング（staccato s
trobing）が好ましくないことを示している。しかし、３６Ｈｚ表示器に対して
７２Ｈｚ由来のあらゆる他のフレームを利用することは３６Ｈｚのネイティブキ
ャプチャー（native capture）に比べて、眼に不快ではない。
【００３２】 したがって、３６Ｈｚは、７２Ｈｚにおけるキャプチャリングによって、７２
Ｈｚ表示器に、非常に円滑な動きを提供する機会を与えるが、７２Ｈｚのネイテ
ィブキャプチャーマテリアルの代わりのフレームを用いて３６Ｈｚ分布速度を達
成し次に２−１−２プルダウンを利用して６０Ｈｚ画像をもたらすことによって
、２４Ｈｚマテリアルより優れた動きを６０Ｈｚ表示器に提供する。
【００３３】 要するに、表３は、本発明による捕獲と分布のために好ましい最適の時相速度
を示す。
【００３４】
【表３】
【００３５】 ７２Ｈｚカメラからの代替フレームを利用して３６Ｈｚ分布速度を達成するこ
の技法が、増大した動きブルーデューティサイクルから利益を得ることができる
ことは注目に値する。３６Ｈｚにおいて２５％デューティサイクルを生成する、
７２Ｈｚにおける正常な５０％デューティサイクルは、許容可能であることが立
証されて、６０Ｈｚと７２Ｈｚの表示器に対して２４Ｈｚを超える有意な改良を
示している。しかし、そのデューティサイクルが、７５〜９０％の範囲内に増大
したならば、３６Ｈｚの試料は、より一般的な５０％デューティサイクルに近づ
き始める。デューティ速度の増大は、例えば、短いブランキング時間を有し高い
デューティサイクルを生成する「補助記憶装置」のＣＣＤ構造を利用することに
よって達成することができる。二重ＣＣＤ多重化構造を含む他の方法を利用でき
る。
【００３６】 変形ＭＰＥＧ−２圧縮 有効な記憶と分布を行うため、３６Ｈｚという好ましい時相速度を有するディ
ジタルソースマテリアル（digital source material）を圧縮しなければならな
い。本発明の好ましい形態の圧縮は、ＭＰＥＧ−２標準の新規の変形を利用して
達成されるが、類似の特性を有する他の圧縮システム（例えばＭＰＥＧ−４）で
利用できる。
【００３７】 ＭＰＥＧ−２の基本原理。ＭＰＥＧ−２は、よりコンパクトな符号化データの
形態で画像シーケンスを表すのに有効な方法を提供するビデオシンタックスを定
義する国際ビデオ圧縮標準である。符号化ビットの言語は「シンタックス」であ
る。例えば、いくつかのトークンが、６４個の試料の全ブロックを表すことがで
きる。また、ＭＰＥＧは復号（再構成）プロセスを説明し、そのプロセスにおい
て、符号化ビットが、画像シーケンスの元の「生」フォーマット中にコンパクト
に表すことによってマッピングされる。例えば、前記符号化ビット流中のフラグ
が、以下のビットを離散的コサイン変換（ＤＣＴ）アルゴリズム又は予報アルゴ
リズムで復号すべきかどうかの信号を送る。復号化のプロセスを含むこれらのア
ルゴリズムは、ＭＰＥＧで定義される意味規則によって調整される。このシンタ
ックスは、空間冗長性、時相冗長性、均一な動き、空間マスキングなどの共通の
ビデオ特性を活用するのに適用することができる。実際に、ＭＰＥＧ−２はデー
タフォーマットのみならずプログラム用言語を定義する。ＭＰＥＧ−２復号器は
、受信データ流を解析し復号するが、そのデータ流がＭＰＥＧ−２のシンタック
スに従う限り、広範囲の可能なデータ構造や圧縮技法を使用できる。本発明は、
ＭＰＥＧ−２標準を利用して時相と解像度のスケーリングを行う新規の手段と方
法を工夫することによって上記適応性を利用する。
【００３８】 ＭＰＥＧ−２は、イントラフレーム（intraframe）及び圧縮のイントラフレー
ム法を利用する。大部分のビデオシーンでは、背景が比較的安定して残るが、ア
クションが前景に起こる。その背景は移動できるがそのシーンの大部分は冗長で
ある。ＭＰＥＧ−２は、Ｉ（イントラ用）フレームと呼称される参照フレームを
つくることによって、その圧縮を開始する。Ｉフレームは、他のフレームにかか
わりなく圧縮されるので、ビデオ情報の全フレームを含んでいる。Ｉフレームは
、ランダムアクセスのためのデータビットストリームへの入り口点を提供するが
、適度に圧縮されるだけである。一般に、Ｉフレームを表すデータは、ビットス
トリーム中に１０〜１５フレーム毎に配置される。その後は、参照Ｉフレームの
間に入るフレームのごく小さい部分だけがブラケッティング（bracketing）Ｉフ
レームと異なるので、その差だけが捕獲され、圧縮され次いで記憶される。この
ような差を得るため、２種のフレームすなわちＰ（予測のための）フレーム及び
Ｂ（二方向にインタポレートされる）が利用される。
【００３９】 Ｐフレームは一般に、過去のフレーム（Ｉフレーム又は先行Ｐフレーム）を参
照して符号化され、そして、一般に、将来のＰフレームの基準として使用される
。Ｐフレームはかなり大きい圧縮を受ける。Ｂフレームの画像は最大の圧縮を提
供するが、符号化するために、過去と将来の両方の基準が一般に必要である。２
方向フレームは、基準フレームとしては決して使用されない。
【００４０】 またＰフレーム内のマクロブロックは、フレーム内符号化法を利用して、個々
に符号化することができる。また、Ｂフレーム内のマクロブロックは、フレーム
内符号化法、順方向予報符号化法（forward predicted coding）、逆方向予報符
号化法もしくはその順方向と逆方向の両方法、又は二方向に補間された予報符号
化法を使用して個々に符号化することができる。マクロブロックは、Ｐフレーム
の場合は一つの動きベクトルとともにそしてＢフレームの場合は１又は２以上の
動きベクトルとともに、四つの８×８ＤＣＴブロックからなる１６×１６画素の
グルーピングである。
【００４１】 符号化を行った後、ＭＰＥＧのデータビットストリームは、Ｉ、Ｐ及びＢのフ
レームのシーケンスを含んでいる。一つのシーケンスは、Ｉ、Ｐ及びＢのフレー
ムのほとんどどんなパターンで構成されていてもよい（その配置については、少
数の小さい意味の制限がある）。しかし、固定したパターン（例えばＩＢＢＰＢ
ＢＰＢＢＰＢＢＰＢＢ）を有することは産業界のプラクチスでは普通のことであ
る。
【００４２】 本発明の重要部分として、ベース層、少なくとも一つの任意の時相強化層、及
び任意の解像度強化層を含むＭＰＥＧ−２データ流がつくられる。これら層各々
については詳細に説明する。
【００４３】 時相スケーラビリティ ベース層。このベース層は３６Ｈｚソースマテリアルを運ぶために使用される
。好ましい実施態様では、二つのＭＰＥＧ−２フレームシーケンスすなわちＩＢ
ＰＢＰＢＰ又はＩＰＰＰＰＰＰのうち一方を、ベース層に使用できる。後者のパ
ターンは、復号器がＰフレームを復号するためにのみ必要なので、最も好ましく
、２４Ｈｚの映画がＢフレームなしで復号されたならば、必要なメモリの帯域幅
が小さくなる。
【００４４】 ７２Ｈｚの時相強化層。ＭＰＥＧ−２圧縮を利用するとき、Ｐフレーム距離が
一定であれば、３６Ｈｚベース層に対するＭＰＥＧ−２シーケンス中に、Ｂフレ
ームとして３６Ｈｚ時相強化層を埋め込むことが可能である。これによって、単
一データ流が３６Ｈｚ表示と７２Ｈｚ表示を支持することができる。例えば、こ
れら両方の層は、復号されて、コンピュータモニタに対して７２Ｈｚ信号を生成
することができるが、該ベース層だけが復号され、変換されてテレビジョンに対
し６０Ｈｚの信号を生成することができる。
【００４５】 好ましい実施態様では、ＩＰＢＢＢＰＢＢＢＰＢＢＢＰ又はＩＰＢＰＢＰＢＰ
ＢというＭＰＥＧ−２符号化パターンはともに、時相強化Ｂフレームだけを含む
別の流れの中に代替フレームを配置して、３６Ｈｚを７２Ｈｚにすることができ
る。これらの符号化パターンはそれぞれ図２と３に示してある。図３に示す２フ
レームＰ間隔（2-Frame P spacing）の符号化パターンには、２４Ｈｚの映画が
Ｂフレームなしで復号されたならば、３６Ｈｚの復号器はＰフレームしか復号す
る必要がないので、必要なメモリの帯域幅が小さくなるという追加の利点がある
。
【００４６】 高解像度画像の実験が、図３に示す２フレームＰ間隔がほとんどのタイプの画
像にとって最適であることを示唆した。すなわち、図３に示す構造は、６０Ｈｚ
と７２Ｈｚの両者を支持する最適の時相構造を提供するようであり、一方、最新
の７２Ｈｚコンピュータコンパチブル表示器に優れた結果を提供する。この構造
は、二つのディジタル流すなわちベース層の３６Ｈｚのディジタル流と、強化層
Ｂフレームの３６Ｈｚのディジタル流に７２Ｈｚを達成させる。このことは図４
に示し、図４は、３６Ｈｚベース層ＭＰＥＧ−２復号器５０が単純にＰフレーム
を復号して３６Ｈｚの出力を生成し、次いでその出力は、６０Ｈｚ又は７２Ｈｚ
の表示に直ちに変換できることを示すブロック図である。任意の第二復号器５２
が単純にＢフレームを復号して第二３６Ｈｚ出力を生成し、次いでその出力は前
記ベース層復号器５０の前記３６Ｈｚ出力と結合されると、７２Ｈｚ出力が生成
する（結合方法については以下で考察する）。別の実施態様では、一つの高速Ｍ
ＰＥＧ−２復号器５０が、ベース層のＰフレームと強化層のＢフレームの両者を
復号することができる。
【００４７】 最適のマスターフォーマット。多くの会社が、約１１メガ画素／秒で作動する
ＭＰＥＧ−２復号チップを製造している。ＭＰＥＧ−２標準は、解像度とフレー
ム速度についていくつかの「プロファイル」を定義している。これらのプロファ
イルは、６０Ｈｚのようなコンピュータインコンパチブルフォーマットパラメー
タ、非正方形画素及びインタレースに向かって強くバイアスされているが、多く
のチップ製造業者が、「メインプロファイル、メインレベル」で作動する復号器
チップを開発中のようである。このプロファイルは、水平解像度が７２０画素ま
で、垂直解像度が２５Ｈｚまでで５７６ラインまで及びフレーム速度が３０Ｈｚ
までで４８０ラインまでと定義されている。約１．５メガビット／秒〜約１０メ
ガビット／秒の広範囲のデータ速度も指定されている。しかし、チップの観点か
ら、重要な問題は画素が復号される速度である。メインレベル・メインプロファ
イルの画素速度は約１０．５メガ画素／秒である。
【００４８】 チップ製造業者によって異なるが、大部分のＭＰＥＧ−２復号器のチップは、
実際に、高速支援メモリ（fast support memory）を与えられると、１３メガ画
素／秒までで作動する。いくつかの復号器チップは２０メガ画素／秒以上の高速
で作動する。ＣＰＵチップが毎年、所定のコストで５０％以上の改良がなされる
とすると、ＭＰＥＧ−２復号器チップの画素速度に、近い将来、なんらかのフレ
キシビリティを期待することができる。
【００４９】 表４は、いくつかの望ましい解像度とフレーム速度、及びそれらの対応する画
素速度を示す。
【００５０】
【表４】
【００５１】 これらのフォーマットはすべて、少なくとも１２．６メガ画素／秒を生成でき
るＭＰＥＧ−２復号器チップで利用できる。３６Ｈｚフォーマットにおいて非常
に望ましい６４０×４８０はほぼすべての現行チップによって達成できる。とい
うのはこれらチップの速度が１１．１メガ画素／秒であるからである。ワイドス
クリーン１０２４×５１２画像は、１．５：１のスクイーズを使用して６８０×
５１２にスクイーズすることができるので、１２．５メガ画素／秒を操作できる
と、３６Ｈｚで支持できる。１０２４×５１２の非常に望ましい正方形画素のワ
イドスクリーンテンプレートは、ＭＰＥＧ−２復号器チップが１秒当り約１８．
９メガ画素を処理できると、３６Ｈｚを達成できる。このことは、２４Ｈｚと３
６ＨｚのマテリアルがＰフレームでのみ符号化される場合、一層実現可能になり
、その結果、Ｂフレームは、７２Ｈｚ時相強化層復号器にのみ必要になる。Ｐフ
レームのみを利用する復号器は小さいメモリと小さいメモリ帯域幅しか必要とし
ないので、１９メガ画素／秒という目標に一層到達可能になる。
【００５２】 １０２４×５１２解像度のテンプレートは、２４ｆｐｓにおいて、２．３５：
１及び１．８５：１のアスペクト比のフィルムで使用されることが最も多い。こ
のマテリアルは１１．８メガ画素／秒のみ必要であり、大部分の既存のメインレ
ベル−メインプロファイル復号器の限度内で適合しなければならない。
【００５３】 ２４Ｈｚ又は３６Ｈｚにおけるベース層用の「マスターテンプレート」中のこ
れらフォーマットのすべてを図６に示す。したがって、本発明は、従来技術と比
較して広範囲のアスペクト比と時相解像度を適合させる独特の方法を提供するも
のである（マスターテンプレートに関するさらなる考察は以下に述べる）。
【００５４】 ７２Ｈｚを生成するＢフレームの時相強化層は、上記画素速度の２倍の画素速
度でチップを使用するか、又は復号器メモリに対し追加のアクセスをする並列の
第二チップを使用することによって復号することができる。本発明によれば、強
化層とベース層のデータ流を併合して、代替のＢフレームを挿入する方法は少な
くとも二つある。第一の方法では、併合は、ＭＰＥＧ−２トランスポート層を使
用して、符号器チップに対して不可視的に行うことができる。二つのＰＩＤ（プ
ログラムＩＤ）に対するＭＰＥＧ−２トランスポートパケットは、ベース層と強
化層を含んでいると認識することができるので、それらのストリームコンテント
は両者ともに、２倍の速度で作動できる復号器チップ又は適切に配置構成された
一対の通常速度の復号器に簡単に送ることができる。第二の方法では、ＭＰＥＧ
−２システム由来のトランスポート層の代わりに、ＭＰＥＧ−２データ流の「デ
ータ区分（data partitioning）」機能を使用することが可能である。そのデー
タ区分機能は、Ｂフレームに、ＭＰＥＧ−２圧縮データ流内の異なるクラスに属
しているとマークをつけることができるので、フラグを立てて、時相ベース層速
度だけを支持する３６Ｈｚ復号器に無視させることができる。
【００５５】 ＭＰＥＧ−２ビデオ圧縮によって定義される時相スケーラビリティは、本発明
の単純なＢフレーム区分ほど最適ではない。ＭＰＥＧ−２時相スケーラビリティ
は、前のＰフレーム又はＢフレームから順方向にのみ参照されるので、順方向と
逆方向の両方に参照される、本願で提案されているＢフレーム符号化で得られる
効力を欠いている。したがって、時相強化層としてＢフレームを単純に使用する
と、ＭＰＥＧ−２内で定義されている時相スケーラビリティより、一層単純でか
つ有効な時相スケーラビリティが提供される。それにもかかわらず、Ｂフレーム
を、時相スケーラビリティの機構として上記のように使用することは、ＭＰＥＧ
−２に充分適合している。また、これらＢフレームを強化層として、Ｂフレーム
に対するデータ区分又は別のＰＩＤによって識別する二つの方法も充分適合して
いる。
【００５６】 ５０／６０Ｈｚ時相強化層。上記７２Ｈｚ時相強化層（３６Ｈｚの信号を符号
化する）に加えて又はこの層の代わりに、６０Ｈｚ時相強化層（２４Ｈｚの信号
を符号化する）を、類似の方式で、３６Ｈｚベース層に加えることができる。６
０Ｈｚ時相強化層は、既存の６０Ｈｚでインタレース化されたビデオマテリアル
を符号化するのに特に有用である。
【００５７】 大部分の既存６０Ｈｚインタレース化マテリアルは、アナログのＮＴＳＣ、Ｄ
１又はＤ２のフォーマット用のビデオテープである。また、少数の日本のＨＤＴ
Ｖ（ＳＭＰＴＥ２４０／２６０Ｍ）もある。このフォーマットで作動するカメラ
もある。このような６０Ｈｚインタレース化フォーマットは既知の方法で処理さ
れ、その結果、その信号がデ−インタレース化され、フレーム速度を変換するこ
とができる。この処理は、ロボットビジョンと類似の非常に複雑な画像理解法を
必要とする。非常に精巧な技法の場合でさえ、時相エイリアシングが一般に、ア
ルゴリズムによる「誤解」をもたらし、時おりアーチファクトを生じる。画像捕
獲の一般的な５０％デューティサイクルとは、カメラが１／２の時間「見ていな
い」ことを意味することに留意すべきである。映画における「逆方向ワゴンホイ
ール」は、時相誤解のこの通常のプラクチスが原因の時相エイリアシングの一例
である。このようなアーチファクトは、一般にヒトが支援する再構成なしでは除
くことができない。したがって、自動的に修正できない場合が常にある。しかし
、現在の技法で利用できる動き変換の結果は、ほとんどのマテリアルに対して妥
当なものでなければならない。
【００５８】 単一の高精細度のカメラ又はテープ機械の価格はかようなコンバータのコスト
と類似しているであろう。したがって、いくつものカメラやテープ機械を備えた
スタジオにおけるこのような変換のコストは適度なものになる。しかし、このよ
うな処理を適切に行うことは、現在、ホームとオフィスのプロダクト（home and
office products）の予算額（budget）を超えている。したがって、インタレー
スを除いてそのフレーム速度を、既存マテリアルに対して変換する複雑な処理は
、オリジネーションスタジオで達成することが好ましい。これは図５に示してあ
り、図５は、カメラ６０又は他のソース（例えばノンフィルムビデオテープ）６
２から、３６Ｈｚ信号（３６Ｈｚベース層のみ）及び７２Ｈｚ信号（３６Ｈｚベ
ース層プラス時相強化層からの３６Ｈｚ）を出力できるデ−インタレーサ機能と
フレーム速度変換機能を含むコンバータ６４への６０Ｈｚインタレース化入力を
示すブロック図である。
【００５９】 ７２Ｈｚ信号（３６Ｈｚベース層プラス時相強化層からの３６Ｈｚ）を出力す
る別法として、この変換法は、３６Ｈｚベース層上に、デ−インタレースされて
いるが元の６０Ｈｚ信号を再生する第二のＭＰＥＧ−２の２４Ｈｚ時相強化層を
生成するように適合させることができる。類似の量子化法を、６０Ｈｚ時相強化
層のＢフレームに利用すると、Ｂフレームの数は少ないので、データ速度は、７
２Ｈｚ時相強化層よりわずかに低いはずである。
【００６０】 ＞６０Ｉ→３６＋３６＝７２ ＞６０Ｉ→３６＋２４＝６０ ＞７２→３６，７２，６０ ＞５０Ｉ→３６，５０，７２ ＞６０→２４，３６，７２
【００６１】 米国で関心をもたれている大多数のマテリアルは低解像度のＮＴＳＣである。
現在、大部分のホームテレビジョンの大部分のＮＴＳＣ信号には、かなりの損傷
が見られる。さらに視聴者は、テレビジョンにフィルムを提供するために３−２
プルダウンを使用する際に固有の時相損傷を受容するようになっている。ほぼす
べてのプライムタイムのテレビジョンは、２４フレーム／秒のフィルムでつくら
れる。したがって、スポーツ、ニュース及びその外のビデオオリジナルのショー
だけはこの方式で処理する必要がある。これらのショーの３６／７２Ｈｚフォー
マットへの変換に関連するアーチファクトと損失は、信号の高品質デ−インタレ
ース化に関連する改良によっておぎないやすい。
【００６２】 ６０Ｈｚ（又は５９．９４Ｈｚ）のフィールドに固有の動きブラーは、７２Ｈ
ｚフレームの動きブラーに極めて類似しているはずであることに留意すべきであ
る。したがってベース層と強化層を提供するこの方法は、動きブラーについて、
７２Ｈｚオリジネーションに類似しているはずである。それで、ほとんどの視聴
者は、インタレース化された６０ＨｚＮＴＳＣマテリアルが、３６Ｈｚベース層
に時相強化層からの２４Ｈｚをプラスして加工されて６０Ｈｚで表示されるとき
、わずかな改良として気づくことが可能な場合を除いて、前記差に気付かない。
しかし新しい７２Ｈｚディジタル非インタレース化テレビジョンを買う人は、Ｎ
ＴＳＣを見るときに小さな改良に気付きそして７２Ｈｚで捕獲されるか又は生じ
る新しいマテリアルを見るときに大きな改良に気付く。７２Ｈｚ表示器に提供さ
れる復号化３６Ｈｚベース層でさえ、高品質のディジタルＮＴＳＣと同じほど良
好に見え、インタレースのアーチファクトを、より低いフレーム速度で置換する
。
【００６３】 上記同じ方法は、既存のＰＡＬ５０Ｈｚマテリアルを、第二のＭＰＥＧ−２強
化層に変換するのに適用することもできる。ＰＡＬビデオテープは、このような
変化を行う前に、最も適切に低速にされる。ライブのＰＡＬは、比較的関連のな
い速度の５０Ｈｚ、３６Ｈｚ及び７２Ｈｚを利用して変換を行う必要がある。こ
のようなコンバータユニットは、現在、放送信号のソースにおいて入手できるだ
けであるから、家庭や事務所における各受信装置では現在実用的でない。
【００６４】 解像度のスケーラビリティ より高い解像度を達成するためベース層上に設けられたＭＰＥＧ−２を利用す
る階層化解像度スケーラビリティを利用して、ベース解像度テンプレートを強化
することができる。強化を行うと、ベース層で１．５ｘと２ｘの解像度を達成で
きる。２倍の解像度が、３／２と次に４／３を利用し、２ステップで達成するこ
とができ、又はそのステップは単一の２倍のステップ（factor-of-two step）で
もよい。これを図７に示す。
【００６５】 この解像度増強の方法は、独立のＭＰＥＧ−２ストリームとして解像度強化層
をつくり、次いでＭＰＥＧ−２の圧縮を該強化層に適用することによって達成で
きる。この方法は、ＭＰＥＧ−２によって定義されて高度に有効ではないことが
確かめられている「空間スケーラビリティ」とは異なる。しかし、ＭＰＥＧ−２
は、有効な階層化解像度を構築して空間スケーラビリティを提供するすべてのツ
ールをもっている。本発明の好ましい階層化解像度の符号化法を図８に示す。本
発明の好ましい復号法を図９に示す。
【００６６】 解像度層の符号化。図８では、２ｋ×１ｋの原画像８０が、好ましくは負のロ
ーブを有する最適化フィルタ（下記図１２の考察参照）を使用して、各次元の解
像度が１／２にダウンフィルタされて、１０２４×５１２のベース層８１が生成
する。このベース層８１は次に通常のＭＰＥＧ−２アルゴリズムによって圧縮さ
れ、伝送に適したＭＰＥＧ−２ベース層８２が生成する。重要なことであるが、
ＭＰＥＧ−２の完全な動き補償はこの圧縮ステップ中に利用することができる。
次にその同じ信号は、通常のＭＰＥＧ−２アルゴリズムを使って、１０２４×５
１２の画像８３に復元される。その１０２４×５１２画像８３は第一の２ｋ×１
ｋの拡大像８４に拡張される（例えば、画素の複製によって、又は好ましくはス
プライン・インターポレーションなどの優れたアップフィルタ類又は負のローブ
を有するフィルタによって、以下の図１３Ａと１３Ｂの考察参照）。
【００６７】 一方、任意のステップとして、前記フィルタされた１０２４×５１２のベース
層８１は第二の２ｋ×１ｋの拡大層８５に拡張される。この第二の２ｋ×１ｋ拡
大層８５は、元の２ｋ×１ｋの画像８０から減算されて、元の高解像度画像８０
と元のベース層画像８１の間の解像度のトップオクターブ（top octave）を示す
画像を生成する。その得られた画像は、鮮鋭度ファクター又は重みが任意に乗算
され、次に、元の２ｋ×１ｋ画像８０と第二の２ｋ×１ｋ拡大画像８５の差に加
えられて、中央重み付け２ｋ×１ｋ強化層ソース画像８６が生成する。次に、こ
の強化層ソース画像８６を、通常のＭＰＥＧ−２アルゴリズムにしたがって圧縮
して、伝送に適した別のＭＰＥＧ−２解像度強化層８７が生成する。重要なこと
であるが、完全なＭＰＥＧ−２の動き圧縮をこの圧縮ステップ中に使用できる。
【００６８】 解像度の復号。図９において、ベース層８２が、通常のＭＰＥＧ−２のアルゴ
リズムを使用して、１０２４×５１２の画像９０に復元される。その１０２４×
５１２の画像９０は第一の２ｋ×１ｋ画像９１に拡張される。一方、解像度強化
層８７は、通常のＭＰＥＧ−２アルゴリズムを使用して、第二の２ｋ×１ｋ画像
９２に復元される。次にこの第一２ｋ×１ｋ画像９１と第二２ｋ×１ｋ画像９２
を加算して高解像度の２ｋ×１ｋ画像９３が生成する。
【００６９】 ＭＰＥＧ−２を超える改良。本質において、強化層は、復号されたベース層を
拡張し、元の画像と復号されたベース層の差をテイクし、次に圧縮することによ
ってつくられる。しかし、圧縮された解像度強化層を、復号後、ベース層に任意
に加えて、復号器内に高解像度画像をつくることができる。本発明の階層化解像
度符号化法は、下記の種々の点で、ＭＰＥＧ−２空間スケーラビリティと異なっ
ている。 ・強化層の差分写真（enhancement layer difference picture）は、それ自身の
ＭＰＥＧ−２データ流として、Ｉ、Ｂ及びＰのフレームによって圧縮される。こ
の差は、本願に提案されている解像度スケーラビリティが、ＭＰＥＧ−２空間ス
ケーラビリティが効果がない場合に有効である主な理由を示す。ＭＰＥＧ−２内
で定義される空間スケーラビリティは、アッパー層を、アッパー層写真と拡張ベ
ース層の間の差として、もしくは実際の写真の動きを補償されたＭＰＥＧ−２デ
ータ流として又はその両者の組合せとして符号化することができる。しかし、こ
れらの符号化はいずれも有効でない。ベース層との差は、ひとつのＩフレームの
差とみなすことができ、この差は、本発明の場合のような動きを補償された差分
写真と比べて効果がない。また、ＭＰＥＧ−２内に定義されているアッパー層符
号化は、アッパー層の完全な符号化と同一であるから効果がない。したがって、
本発明の場合のような差分写真の動きを補償された符号化は実質的に一層有効で
ある。 ・強化層は独立したＭＰＥＧ−２データ流であるから、ＭＰＥＧ−２システムの
トランスポート層（又は他の類似の機構）を使用して、ベース層と強化層を多重
化しなければならない。 ・拡張及び解像度低下（ダウン）のフィルタリングは、ガウス関数もしくはスプ
ライン関数、又は負のローブを有するフィルタでもよく（図１２参照）、これら
はＭＰＥＧ−２の空間スケーラビリティに規定されている双線形インタポレーシ
ョンより最適である。 ・画像のアスペクト比は、好ましい実施態様の低い層と高い層の間で適合しなけ
ればならない。ＭＰＥＧ−２空間スケーラビリティでは、幅及び／又は高さの延
長を行うことができる。このような延長は、効率の要件のため、好ましい実施態
様では行えない。 ・効率の要件及び強化層に使用される極端な大きさの圧縮が原因で、強化層の全
領域は符号化されない。強化されない領域は通常境界領域である。したがって、
好ましい実施態様の２ｋ×１ｋの強化層ソース画像８６は中央が重み付けされる
。好ましい実施態様では、フェージング関数（fading function）（例えば線形
重み付け関数）を使用して、強化層を、画像の中央の方に向けて境界の端縁から
「フェザー（feather）」させて、画像の突然のトランジションを避ける。さら
に、眼がたどるディテールを有する領域を手動で又は自動的に決定する方法を利
用して、ディテールを必要とする領域を選択し、そして余分のディテールを必要
としない領域を排除することができる。画像全体がベース層のレベルまでディテ
ールを有しているので直像全体が存在している。特に重要な領域だけが強化層か
ら利得を得る。他の基準がなければ、フレームの端縁又は境界は、上記中央重み
付けの実施態様のように強化から除外することができる。ＭＰＥＧ−２のパラメ
ータすなわち符号付きの負の整数として使用され、「水平及び垂直のサブサンプ
リング−ファクター−ｍ＆ｎ」値と結合された「下方層−プレディクション−水
平及び垂直−オフセット」パラメータを使用して、強化層の長方形の全体の大き
さ及び拡張されたベース層内の配置を指定することができる。 ・鮮鋭度ファクターを強化層に加えて、量子化中に起こる鮮鋭度の損失をオフセ
ットする。このパラメータは、元の写真の明瞭性と鮮鋭性を復元するためにのみ
利用し、画像を強化するために利用しないように注意しなければならない。図８
に関連して先に述べたように、鮮鋭度ファクターは、元の高解像度画像８０と元
のベース層画像８１（拡張後）の間の解像度の「高いオクターブ」である。この
高オクターブの画像は、高オクターブの解像度の鮮鋭度とディテールを含んでい
ることに加えて、全くノイズが多い。この画像を加えすぎると、強化層の動きを
補償された符号化が不安定になることがある。加えなければならない量は、元の
画像のノイズのレベルによって決まる。一般的な重み付け値は０．２５である。
ノイズの多い画像には、鮮鋭度を決して加えてはならない。そして、ディテール
を保持する従来のノイズ抑制法を使用して、圧縮前の強化層に対し元のノイズを
抑制することが得策である。 ・時相と解像度のスケーラビリティは、ベース層と解像度強化層の両者において
３６Ｈｚから７２Ｈｚへ時相強化を行うためＢフレームを利用することによって
混合される。このように、復号性能の四つの可能なレベルは、時相スケーラビリ
ティの二つのレベルで利用可能なオプションがあるので、二つの層の解像度スケ
ーラビリティで可能である。
【００７０】 これらの差は、ＭＰＥＧ−２の空間スケーラビリティと時相スケーラビリティ
を超える実質的な改良を示す。しかし、これらの差は、ＭＰＥＧ−２復号器チッ
プと一致しているが、図９に示す解像度強化復号法で拡張と付加を行うには、そ
の復号器に追加の論理が必要である。このような追加の論理は、余り有効でない
ＭＰＥＧ−２の空間スケーラビリティによって要求される論理とほぼ同一である
。
【００７１】 解像度強化層の任意の非ＭＰＥＧ−２符号化。解像度強化層に対して、ＭＰＥ
Ｇ−２とは異なる圧縮法を利用することが可能である。さらに、解像度強化層に
対して、ベース層に対する圧縮法と同じ圧縮法を使用する必要はない。例えば、
差分層（difference layer）が符号化されるとき、動きを補償されたブロックウ
ェーブレット（motion-compensated block wavelet）を利用して、高い効率で、
ディテールに合わせて追跡することができる。ウェーブレットを配置するのに最
も有効な位置が、差の大きさが変化するため、スクリーンのまわりでジャンプし
ても、低振幅の強化層内では気付かれないであろう。さらに、全画像をカバーす
ることは不要である。すなわち、該ウェーブレットを、ディテールの上に配置す
ることだけが必要である。これらウェーブレットは、画像内のディテール領域に
よる案内で配置することができる。また、その配置は、端縁からバイアスさせる
こともできる。
【００７２】 多重解像度強化層。ここで述べるビット速度では、７２フレーム／秒の２メガ
画素（２０４８×１０２４）が１８．５メガビット／秒で符号化される場合、ベ
ース層（７２ｆｐｓにおける１０２４×５１２）と単一の解像度強化層だけが成
功裡に立証された。しかし、解像度強化層符号化法をさらに改善することから効
率がさらに改良されると予想され、多重解像度強化層が可能になるであろう。例
えば、５１２×２５６のベース層が、四つの層によって、解像度を、１０２４×
５１２、１５３６×７６８及び２０４８×１０２４に強化できると考えられる。
このことは、２４フレーム／秒という映画のフレーム速度での、既存のＭＰＥＧ
−２符号化法で可能である。７２フレーム／秒などの高いフレーム速度では、Ｍ
ＰＥＧ−２は、解像度強化層を符号化する際、この多数の層を現在、許容するの
に充分な効率を提供しない。
【００７３】 マスタリングフォーマット ２０４８×１０２４の画素又はこれに近い画素のテンプレートを使用して、各
種のリリースフォーマットに対する単一のディジタル移動画素マスターフォーマ
ットのソースをつくることができる。図６に示すように、２ｋ×１ｋのテンプレ
ートは、通常のワイドスクリーンのアスペクト比：１．８５：１と２．３５：１
を有効に支持することができる。また、２ｋ×１ｋのテンプレートは、１．３３
：１及びその外のアスペクト比も受け入れることができる。
【００７４】 整数（特に２のファクター）及び単分数（３／２及び４／３）が解像度階層化
の際の最も有効なステップサイズであるが、任意の比率を利用して、必要な解像
度階層化を達成することも可能である。しかし、２０４８×１０２４のテンプレ
ート又はそれに近いものを使用すると、高品質のディジタルマスターフォーマッ
トが提供されるだけでなく、ＮＴＳＣすなわち米国のテレビジョン標準を含む、
二つのベース層（１ｋ×５１２）のファクターから多くの他の便利な解像度を提
供することができる。
【００７５】 ４ｋ×２ｋ、４ｋ×３ｋ又は４ｋ×４ｋなどのより高い解像度でフィルムを走
査することもできる。任意の解像度強化を利用して、これらのより高い解像度を
、２ｋ×１ｋに近い中央マスターフォーマット解像度からつくることができる。
フィルムのためのこのような強化層は、画像のディテール、粒子及び他のノイズ
源（例えばスキャナノイズ）で構成されている。このようにノイズがあるので、
このような非常に高い解像度を得るため強化層に圧縮法を使用するには、ＭＰＥ
Ｇ−２タイプの圧縮に代わる圧縮法が必要である。幸いにも、このようなノイズ
の多い信号を圧縮するのに利用できるが、依然として所望のディテールを画像に
維持する他の圧縮法がある。このような圧縮法の一例は、動き補償ウェーブレッ
ト又は動き補償フラクタルである。
【００７６】 ディジタルマスタリングフォーマットは、既存の映画からつくられる場合その
フィルムのフレーム速度（すなわち２４フレーム／秒）でつくらねばならない。
３−２プルダウンとインタレースの両者を共用することは、ディジタルフィルム
マスターに対しては不適当である。新しいディジタル電子マテリアルとして、６
０Ｈｚインタレースを使うことは近い将来なくなり、ここで提案される７２Ｈｚ
などの、コンピュータとよりコンパチブルなフレーム速度によって代替されると
考えられる。ディジタル画像マスターは、７２Ｈｚ、６０Ｈｚ、３６Ｈｚ、３７
．５Ｈｚ、７５Ｈｚ、５０Ｈｚ又は他のフレーム速度にかかわらず、画像が捕獲
されるどんなフレーム速度においてもつくらねばならない。
【００７７】 すべての電子リリースフォーマット用の単一ディジタルソース写真フォーマッ
トとしてのマスタリングフォーマットの概念は、ＰＡＬ、ＮＴＳＣ、レターボッ
クス、パン−アンド−スキャン、ＨＤＴＶなどのマスターがすべて、フィルムオ
リジナルから、一般に独立してつくられる既存のプラクチスと異なっている。マ
スタリングフォーマットを使用すると、フィルムショーとディジタル／電子ショ
ーの両者を、各種の解像度とフォーマットでリリースするために、一度にマスタ
ーリングすることが可能になる。
【００７８】 結合された解像度強化層と時相強化層 上記のように、時相強化と解像度強化の階層化は結合することができる。時相
強化は、Ｂフレームを復号することによって行われる。また解像度強化層は二つ
の時相層を有しているのでＢフレームを含んでいる。
【００７９】 ２４ｆｐｓのフィルムの場合、最も有効でかつ低コストの復号器はＰフレーム
だけを使用できるので、Ｂフレームの復号操作を省くことによって復号器を単純
化するのみならずメモリおよびメモリの帯域幅の両者を最小限にすることができ
る。したがって、本発明によれば、２４ｆｐｓの映画の復号及び３６ｆｐｓのア
ドバンスドテレビジョンの復号を行うのに、Ｂフレームの性能なしの復号器を利
用できる。次に、図３に示すように、ＢフレームがＰフレーム間に利用されて、
７２Ｈｚのより高い時相層を得ることができ、そのＢフレームは第二復号器によ
って復号できる。この第二復号器はＢフレームだけを復号すればよいので単純化
することができる。
【００８０】 この階層化は、２４と３６のｆｐｓ速度に対して同様にＰフレームとＩフレー
ムだけを利用できる。解像度が強化された層にも当てはまる。その解像度強化層
は、その層内でのＢフレームの復号を加えることによって、７２Ｈｚの完全時相
速度を高い解像度で加えることができる。
【００８１】 復号器に対する組み合わされた解像度と時相の拡大縮小可能なオプションを図
１０に示す。またこの実施例は、本発明の空間時相階層化アドバンスドテレビジ
ョンを達成するための、約１８メガビット／秒のデータ流の比率の配分を示す。
【００８２】 図１０において、ベース層ＭＰＥＧ−２の１０２４×５１２画素データ流（好
ましい実施態様ではＰフレームだけを含んでいる）が基準解像度復号器１００に
加えられる。Ｐフレームに対しては、約５メガビット／秒の帯域幅が必要である
。基準解像度復号器１００は２４ｆｐｓ又は３６ｆｐｓで復号することができる
。基準解像度復号器１００の出力は、低解像度、低フレーム速度の画像（２４Ｈ
ｚ又は３６Ｈｚの１０２４×５１２画素）を含んでいる。
【００８３】 同じデータ流からのＢフレームが解析され、基準解像度時相強化層復号器１０
２に加えられる。このようなＢフレームに対しては約３メガビット／秒の帯域幅
が必要である。また、基準解像度復号器１００の出力は時相強化層復号器１０２
にも連結される。その時相強化層復号器１０２は３６ｆｐｓで復号することがで
きる。時相強化層復号器１０２の結合された出力は、低解像度でかつ高フレーム
速度の画像（７２Ｈｚの１０２４×５１２の画素）を含んでいる。
【００８４】 また図１０では、解像度強化層ＭＰＥＧ−２の２ｋ×１ｋ画素データ流（好ま
しい実施態様ではＰフレームだけを含有している）が、基準時相高解像度強化層
復号器１０４に適用される。そのＰフレームに対しては約６メガビット／秒の帯
域幅が必要である。また基準解像度復号器１００の出力は高解像度強化層復号器
１０４にも連結される。その高解像度強化層復号器１０４は２４ｆｐｓ又は３６
ｆｐｓで復号することができる。高解像度強化層復号器１０４の出力は、高解像
度でかつ低フレーム速度の画像（２４Ｈｚ又は３６Ｈｚの２ｋ×１ｋ画素）を含
んでいる。
【００８５】 同じデータ流からのＢフレームが解析され、高解像度時相強化層復号器１０６
に適用される。このようなＢフレームに対しては、約４メガビット／秒の帯域幅
が必要である。前記光学的解像度強化層復号器１０４の出力が高解像度時相強化
層復号器１０６に連結される。時相強化層復号器１０２の出力も高解像度時相強
化層復号器１０６に連結される。高解像度時相強化層復号器１０６は３６ｆｐｓ
で復号できる。高解像度時相強化層復号器１０６の結合された出力は、高解像度
でかつ高フレーム速度の画像（７２Ｈｚの２ｋ×１ｋ画素）を含んでいる。
【００８６】 この拡大縮小可能な符号化機構によって達成される圧縮比は、非常に高くて優
れた圧縮効率を示すことに注目すべきである。図１０に示す実施例由来の時相オ
プションとスケーラビリティオプション各々に対する圧縮比を表５に示す。これ
らの比率は、２４ビット／画素における原始ＲＧＢ画素に基づいている（通常の
４：２：２符号化の１６ビット／画素又は通常の４：２：０符号化の１２ビット
／画素を要因として入れると、圧縮比はそれぞれ、表５に示した値の３／４及び
１／２になる）。
【００８７】
【表５】
【００８８】 これらの高い圧力比は、二つの要因によって可能になる。 （１）高フレーム速度７２Ｈｚの画像の高い時相コヒーレンス； （２）高解像度２ｋ×１ｋの画像の高い空間コヒーレンス； （３）画像の重要な部分（例えば中央部分）に解像度ディテールの強化を適用し
、余り重要でない部分（例えばフレームの境界には適用しない）。
【００８９】 これらの要因は、ＭＰＥＧ−２符号化シンタックスの強さ（strength）を利用
することによって、本発明の階層化圧縮法で活用される。これらの強さは、時相
スケーラビリティに対して２方向に内挿されたＢフレームを含む。また、このＭ
ＰＥＧ−２シンタックスは、ベース層と強化層の両者に動きベクトルを使用する
ことによって有効な動きを表現する。高いノイズと迅速な画像の変化のいくらか
のしきい値まで、ＭＰＥＧ−２は、ＤＣＴ量子化とともに動き補償によって、強
化層内のノイズの代わりに、符号化のディテールにおいて有効である。このしき
い値を超えると、データ帯域幅は、ベース層に最もよく配分される。これらのＭ
ＰＥＧ−２の機構は、本発明にしたがって使用されると、協力して働き、時相と
空間の両方を拡大縮小可能である高度に効率的でかつ有効な符号化を行う。
【００９０】 ＣＣＩＲ６０１ディジタルビデオの５メガビット／秒符号化と比較して、表５
に示す圧縮比ははるかに高い。その原因の一つは、インタレースが原因でいくら
かのコヒーレンスが損失することである。インタレースは、次のフレームとフィ
ールドを予測する性能及び垂直方向に隣接している画素の相関関係に負の影響を
する。したがって、ここで述べる圧縮効率の利得の主な部分は、インタレースが
ないことが原因である。
【００９１】 本発明で達成される大きな圧縮比は、各ＭＰＥＧ−２マクロブロックを符号化
するのに利用可能なビットの数の釣合いから考えることができる。上記のように
、マクロブロックは、Ｐフレームに対する一つの動きベクトル及びＢフレームに
対する１又は２以上の動きベクトルを有する、四つの８×８ＤＣＴブロックから
なる１６×１６画素のグルーピングである。各層の一マクロブロック当り、利用
可能なビットを表６に示す。
【００９２】
【表６】
【００９３】 各マクロブロックを符号化するためのビットの利用可能な数は、ベース層より
強化層の方が少ない。ベース層はできるだけ性質が優れていることが望ましいの
で、上記のことが適切である。動きベクトルは８ビット程度が必要であり、マク
ロブロックタイプの符号、及び四つの８×８ＤＣＴブロックのすべてに対するＤ
Ｃ係数とＡＣ係数に対して１０〜２５ビットを残す。これはごく少数の「戦略的
」ＡＣ係数にしか空間を残さない。したがって、各マクロブロックに利用可能な
情報の大部分は、統計的に、強化層の前のフレームから出なければならない。
【００９４】 強化差分画像（enhancement difference image）で表されるディテールの高オ
クターブを示すため充分なＤＣ係数とＡＣ係数を符号化するために利用可能なデ
ータ空間が充分にないので、ＭＰＥＧ-２空間スケーラビリティがこれらの圧縮
比では役に立たない理由は容易に分かる。この高いオクターブは、第五〜第八の
水平ＡＣ係数と垂直ＡＣ係数で表される。１ＤＣＴブロック当り利用可能なビッ
トがごく少数しかない場合、これらの係数には到達できない。
【００９５】 ここに述べるシステムは、前の強化差分フレームからの動きを補償された予測
を利用することによって、その効力を得る。このことは、時相と解像度（空間）
の階層化された符号化に優れた結果をもたらすのに明白に有効である。
【００９６】 優雅な縮退。ここで述べる時相スケーリング法と解像度スケーリング法は、２
ｋ×１ｋの原起源を用いて、７２フレーム／秒で正常に作動するマテリアルに対
して良好に作動する。また、これらの方法は、２４ｆｐｓで作動するフィルムベ
ースマテリアルに対しても良好に作動する。しかし、高フレーム速度において、
非常にノイズの多い画像が符号化されるとき、又は画像流内に多数のショートカ
ットがある場合、その強化層は、有効な符号化を行うために必要なフレーム間の
コヒーレンスを失うことがある。典型的なＭＰＥＧ-２符号器／復号器のバッフ
ァフルネス（buffer fullness）／速度制御の機構は量子化器（quantizer）を非
常に粗い設定に設定しようとするので、上記損失は容易に検出される。この状態
に遭遇すると、該解像度強化層を符号化するのに通常使用されるすべてのビット
は、ベース層がストレスの多いマテリアルを符号化するためできるたけ多数のビ
ットを必要とするから、ベース層に割り当てることができる。例えば、７２フレ
ーム／秒にてベース層の一フレーム当り約０．５メガ画素と０．３３メガ画素の
間において、得られる画素速度は２４〜３６メガ画素／秒である。利用可能なビ
ットをすべてベース層に適用すると、１８．５メガビット／秒で一フレーム当り
約０．５〜０．６７×１００万の追加のビットを提供し、このビットは、ストレ
スの多いマテリアルに対してさえ、非常に良好に符号化するのに充分であろう。
【００９７】 より極端な場合、あらゆるフレームがノイズが多い及び／又はカットを起こす
あらゆる少数フレームがある場合、ベース層の解像度がそれ以上損失することな
く適切に縮退することができる。これは、時相強化層を符号化するＢフレームを
除くことによって行うことができ、その結果、ベース層のＩフレームとＰフレー
ムに対して利用可能な帯域幅（ビット）すべてを３６ｆｐｓで使用することがで
きる。これは、各ベース層フレームに利用可能なデータの量を約１．０と約１．
５メガビット／フレームの間に増やす（ベース層の解像度に応じて）。これは、
やはり、極端にストレスの多い符号化条件下であっても、ベース層のかなり高い
品質の解像度において、３６ｆｐｓのかなり良好な動き表示（motion rendition
）速度を生じる。しかしベース層の量子化器が、約１８．５メガビット／秒下、
３６ｆｐｓで粗いレベルでまだ作動している場合、ベース層のフレーム速度は、
動的に、２４フレーム／秒、１８フレーム／秒又は１２フレーム／秒にまでも低
下させることができ（あらゆるフレームに対し１．５と４メガビットの間が利用
可能になる）、最も病的な移動画像のタイプでさえ処理できるであろう。このよ
うな環境下でフレーム速度を変える方法は当該技術分野で知られている。
【００９８】 米国のアドバンスドテレビジョンに対する現在の提案は、これらの適切な縮退
法を許容できないので、本発明のシステムと同じようには、ストレスの多いマテ
リアル対して良好に機能できない。
【００９９】 大部分のＭＰＥＧ−２符号器では、適応できる量子化レベルは、出力されるバ
ッファフルネスによって制限される。本発明の解像度強化層に関連する高い圧縮
比においては、この機構は最適には機能できない。各種の方法を利用して、最も
適切な画像領域にデータを最適に割り当てることができる。概念的に最も簡単な
方法は、解像度強化層の符号化のプレパス（pre-pass）を実施して、統計データ
を集め、かつ保存しなければならないディテールをさがし出すことである。前記
プレパスから得た結果を利用して、適応性のある量子化を設定し、解像度強化層
のディテールの保存を最適化することができる。これらの設定は、画像に対して
不均一に、人工的にバイアスすることも可能であり、その結果、画像のディテー
ルは、バイアスされて、主要スクリーン領域に、そしてフレームの端縁のマクロ
ブロックからはなして割り当てられる。
【０１００】 既存の復号器はこのような改良を保たずに良好に機能するので、強化層境界を
高いフレーム速度で残すことを除いて、これらの調節はどれも不要である。しか
し、このようなさらなる改良は、強化層符号器にわずかな追加の努力を行うこと
によって達成できる。
【０１０１】 結論 新しい共通の基本時相速度として３６Ｈｚを選ぶことが最適のようである。こ
のフレーム速度を使用した実例は、このフレーム速度が、６０Ｈｚと７２Ｈｚの
両方の表示器に対して、２４Ｈｚを超える有意な改良を行うことを示している。
３６Ｈｚの画像は、７２Ｈｚ画像捕獲からのすべての他のフレームを利用するこ
とによってつくることができる。これによって、３６Ｈｚのベース層（好ましく
はＰフレームを使用）と、３６Ｈｚの時相強化層（Ｂフレームを使用）とを結合
して７２Ｈｚの表示器を達成できる。
【０１０２】 ７２Ｈｚの「フューチャールッキング（future-looking）」速度は本発明の方
法によって損われることはなく、６０ＨｚアナログＮＴＳＣ表示器に対し移行で
きる。また、本発明は、考慮中の他の受動エンターテイメントだけ（コンピュー
タインコンパチブル）の６０Ｈｚフォーマットを許容できるならば、他の６０Ｈ
ｚ表示器へ移行できる。
【０１０３】 解像度のスケーラビリティは、解像度強化層に対し別のＭＰＥＧ−２画像デー
タ流を使用することによって達成することができる。解像度スケーラビリティは
Ｂフレーム法を利用して、ベース解像度層と強化解像度層の両者に時相スケーラ
ビリティを提供することができる。
【０１０４】 ここに述べる発明は、多数の非常に望ましい特徴を達成する。解像度スケーラ
ビリティ又は時相スケーラビリティは、地上放送で利用できる約１８．５メガビ
ット／秒にて、高精細度の解像度で達成できないと、米国アドバンスドテレビジ
ョンプロセスの関係者が主張している。しかし本発明は、この利用可能なデータ
速度内で、時相スケーラビリティと空間解像度スケーラビリティの両者を達成す
る。
【０１０５】 また、高フレーム速度の２メガ画素は、利用可能な１８．５メガビット／秒の
データ速度ではインタレースを使用することなしで達成することができないと主
張されている。しかし、本発明は、空間解像度と時相のスケーラビリティを達成
するのみならず、７２フレーム／秒で２メガ画素を提供することができる。
【０１０６】 これらの性能を提供するのに加えて、本発明は、特に、アドバンスドテレビジ
ョンプロセスに対する現在の提案に比べて非常に堅牢でもある。これは、非常に
ストレスの多い画像マテリアルに遭遇したとき、大部分のビット又はすべてのビ
ットをベース層に割り当てることによって可能になる。このようなストレスの多
いマテリアルは、本来、ノイズが多くしかも非常に速く変化する。このような環
境で、眼は、解像度の強化層に関連するディテールを見ることができない。前記
ビットはベース層に適用されるので、その複製されるフレームは、単一で一定の
高解像度を利用する、現在提案されているアドバンスドテレビジョンシステムよ
り実質的に正確である。
【０１０７】 このように、本発明のシステムのこの側面は、知覚と符号化の効率を最適化し
、最高の視感インパクトを与える。このシステムは、多くの人が不可能であると
考えてきた解像度とフレーム速度の性能の非常に清浄な画像を提供する。本発明
のシステムのこの側面は、現時点までに提案されているアドバンスドテレビジョ
ンフォーマットより性能が優れていると考えられる。この予想される一層優れた
性能に加えて、本発明は、時相と解像度の階層化という価値の高い特徴も提供す
る。
【０１０８】 上記考察では、その実施例に、ＭＰＥＧ−２を利用したが、本発明のこれらの
及び他の側面は、他の圧縮システムを利用して実施することができる。例えば本
発明は、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３などの圧縮シ
ステム（ウェイブレットなどの非ＤＣＴシステムを含む）のようなＩ、Ｂ、及び
Ｐのフレーム又はその均等物を提供する類似の標準によって作動する。
【０１０９】階層化圧縮の強化 概要 上記実施態様のいくつかの強化を行って、ビデオ画質と圧縮の各種問題点を処
理することができる。以下に、このような強化のいくつかを説明するが、これら
の強化は大部分、好ましくは、画像を強化し次いでその画像を圧縮するタスクに
適用できる一組のツールとして実施される。これらのツールは、コンテント・デ
ベロッパ（content developer）によって各種の方式で所望どおりに結合されて
、圧縮されたデータ流、特に階層化された圧縮データ流の視感画質と圧縮効率を
最適化することができる。
【０１１０】強化層の動きベクトルとグレイバイアス（gray bias） 解像度強化層を、ＭＰＥＧタイプ（例えばＭＰＥＧ−２、ＭＰＥＧ−４又はこ
れに匹敵するシステム）の圧縮を利用して符号化する通常の方法は、差分写真（
difference picture）をグレイバイアスでバイアスする方法である。０＝ブラッ
クから２５５＝ホワイトまでの通常の８ビット画素値の範囲内で、中間点の１２
８が、グレイバイアス値として通常使用される。１２８より低い値は画像間の負
の差を表し、そして１２８を超える値は画像間の正の差を表す（１０ビットシス
テムの場合、グレイは５１２であり、他のビット範囲では０＝ブラックおよび１
０２３＝ホワイトなどである）。
【０１１１】 該差分写真は、拡張され次いで復元されたベース層を、元の高解像度の画像か
ら減算することによって見出される。これら差分写真のシーケンスが、次に正常
のＭＰＥＧタイプ写真流として作動するフレームのＭＰＥＧタイプ差分写真流と
して符号化される。該グレイバイアス値は、各差分写真が、解像度が改良される
ように別の画像（例えば、拡張された復号ベース層）に加えられるときに除かれ
る。
【０１１２】 この差分写真流（非常にノイズの多いことが多い）に対して、見出された動き
ベクトルを使用する代わりに、元の高解像度画像に対する動きベクトルを見つけ
ることが通常好ましい。次に、これら動きベクトルを利用して、各フレーム内の
差分写真を移動させる。このような動きベクトルは、該差分写真に見られる動き
ベクトルより良好にディテールを追跡する。
【０１１３】 各差分画像は、元の高解像度の画像を完全に符号化するのに必要なデルタ調節
を示す。その画素差デルタ値は、該範囲の１／２にのみ広がり、差は通常、全く
小さいのでほぼいつも充分な値である。したがってブラック（一般に０）領域は
、せいぜいハーフグレイ（一般に１２７）までしか広がることができず、そして
ホワイト（一般に２５５）はせいぜいハーフグレイ（一般に１２８）までしか広
がることができない。
【０１１４】 しかし、原画像の一領域が正確にミッドグレイ（mid-gray）（一般に１２５）
になったならば、差分写真はブラック〜ホワイト範囲（一般に０〜２５５）をつ
くるのに利用できる。
【０１１５】 この単純な関係は、ベース層の解像度を強化することに加えて最終画像のアス
ペクト比を大きくするのに利用できる。復元されたベース層を拡張し次にミッド
グレイを利用して幅及び／又は高さを大きくして画像を引きのばすことによって
、前記システムは、前記拡張され、復元されたベース層の範囲の外側に完全な写
真ディテールを加えるため、差分写真で使用するグレイ値（一般に１２８）を提
供できる。
【０１１６】 図１１は、グレイ領域と強化を利用して写真ディテールを提供することによっ
て、拡張されたベース層の線図である。特に、アスペクト比が一層狭いベース層
１１００が、アップフィルタされ次いで拡張されたベース領域１１０２として面
積が拡張される。次にその拡張されたベース領域１１０２を、均一なミッドグレ
イの画素値（例えば１２８）で「パッド（pad）され」、そのアスペクト比を広
げるか又は他の方法でその大きさを大きくする（「追加面積領域」１１０４）。
次に、拡張されたベース領域１１０と一致する面積に対する小範囲の可能な画素
値（すなわち写真）であるが、追加の面積領域１１０４を超える完全範囲の可能
な画素値（例えば±１２７）を有し、その結果、追加の実際の写真情報を提供す
る強化層を加えることができる。
【０１１７】 このように、ベース層は、高解像度で強化された画像より狭いか又は短い（又
は両方）画像の大きさを表すことができる。その結果、該強化層は、実際の写真
を含んでいるのみならず、拡張された復元ベース層（すなわち拡張されたベース
領域１１０２）の大きさに対応するグレイでバイアスされた画像の差分写真を含
んでいる。圧縮された強化層は標準のＭＰＥＧタイプの写真流として符号化され
るので、端縁領域の実際の写真でありそして内部領域が差分写真であることは識
別されず、両者符号化されて、フレームの同じ写真流でともにはこばれる。
【０１１８】 好ましい実施態様では、拡張された復元ベース層の大きさの外側の端縁領域は
、通常の高解像度ＭＰＥＧタイプ符号化流である。上記端縁領域は、高解像度写
真の通常のＭＰＥＧタイプ符号化に対応する効率を有している。しかし、それは
端縁領域であるから、差分写真領域内の動きベクトルは、境界領域（実際の写真
情報を含む）を指向しないように拘束しなければならない。また、境界の実写真
領域の動きベクトルは、内部差分写真領域を指向しないように拘束しなければな
らない。このように、境界の実写真領域の符号化と差分写真領域の符号化は当然
分離される。
【０１１９】 上記のことは、原画像のすべての動きベクトルを見つけることによって達成で
きるが、動きベクトルを、内側の差分画像領域と外側境界の実写真領域の間の境
界を横切らないように強制する。マクロブロックの境界が、該内側差分写真領域
と外側境界の実写真領域との間の境界に入る場合、上記のことは最高に実施され
る。その外に、実写真の境界を有する差分写真端縁がマクロブロックの中央領域
内にある場合、差分写真領域と実写真境界の間の遷移を達成するため符号化する
際に追加のビットを使用する必要がある。したがって、マクロブロックの境界が
、内側差分写真領域と外側境界の実写真領域の間の端縁と同じ端縁に存在してい
る場合、最大の効率が得られる。
【０１２０】 これらのハイブリッド差−プラス−実写真画像−拡張強化層写真を、符号化中
の量子化器や速度バッファ制御装置は、境界実写真領域の信号の大きさが、内側
差分写真領域のそれより大きいことを識別するため特別に調節する必要があるこ
とに留意すべきである。
【０１２１】 境界実写真領域の大きさについてこの方法を使用する際、トレードオフがある
。境界の伸長が小さい場合、全流れに比例するビットの数は小さいが、動きベク
トルの数が整合しないのでその小面積の相対効率は低下する。というのは、この
整合が該境界領域の端縁から外れているからである。これを調べるもう一つの方
法は、辺／面積比（proportion of edge to area）が非常に小さい通常の画像長
方形と異なり、境界領域が高い辺／面積比を有していることである。ＭＰＥＧ−
２又はＭＰＥＧ−４などの圧縮によって通常、符号化される、通常のディジタル
ビデオの典型的な内部長方形写真領域は、フレーム内の領域の大部分が、フレー
ム端縁の領域を除いて、通常、前のフレーム中に存在しているので、動きベクト
ルを見つけるとき、高い整合度を有している。例えば、パン上で、写真が現れる
スクリーンの方向は、画像が各フレームに対してオフスクリーンから現れるので
、一つの端縁に無から写真をつくらせねばならない。しかし、大部分の通常の写
真長方形は前のフレームにおいてオンスクリーンであるので、動きベクトルを整
合させることが最も多い。
【０１２２】 しかし、この本発明の境界伸長法を利用すると、該境界領域は、動きを補償す
る場合、前のフレーム中のオフスクリーンミスマッチ（off-screen mismatch）
の比率が非常に高い。というのは、そのスクリーンの外側端縁と差分写真の内側
端縁がともに、動きベクトルについて「制御対象外（out-of-bounds）」だから
である。このように、効率がいくらか損失することは、ビット／画像面積（又は
均等なビット／面積の尺度であるビット／画素もしくはビット／マクロブロック
）として考察すると、この方法に固有のものである。したがって、境界領域が比
較的小さいとき、この相対的非効率は、許容可能な全ビット速度の充分小さい部
分である。境界が比較的大きい場合、同様に、効率が高くなり、その部分はやは
り許容可能である。中位の大きさの境界はパン中にいくらか非効率になるが、こ
の非効率は許容可能である。
【０１２３】 効率をこの技法を使用して回復させることができる一方法は、ベース層解像度
／強化層解像度のより単純な比率、例えば３／２、４／３及び特に２という完全
ファクター（exact factor）をより狭いベース層に使える方法である。２という
ファクターを使用すると、特に、ベース層と解像度強化層を使用して全体を符号
化する際に有意な効率を得るのに役立つ。
【０１２４】 また、低解像度の画像はより狭いスクリーンに最も自然に使用できるが、高解
像度の画像は、より大きく、幅が広く及び／又は高さが高いスクリーンでより自
然に見ることができる。
【０１２５】 ベース層解像度画像に対して「パン（pan）と走査」を実施するのに対応して
、内側差分写真領域を連続的に動かすか又は再配置することも可能である。その
とき、上部境界は動的なリポジション（dynamic re-position）と大きさと形態
を有しているであろう。マクロブロックのアラインメントは、連続的パニングで
通常失われるが、注意深くより大きな領域内にカット（cut）をアラインさせれ
ば維持できる。しかし、最も単純で最も有効な構造は、完全なマクロブロックの
境界上のベース層に対し内側差分写真の固定位置で心合せしたアラインメントで
ある。
【０１２６】画像のフィルタリング ダウンサイジングフィルタとアップサイジングフィルタ ベース層を高解像度の原写真からつくる際に使用されるダウンサイジングフィ
ルタが、適度な負のローブ、及びこの負のローブに続く非常に小さい第一の正の
ローブの後で停止する大きさを有していると、最適であることを実験が示してい
る。図１２は、好ましいダウンサイジングフィルタの相対的形態、振幅及びロー
プの極性の線図である。このダウンフィルタは、中央の正のローブ１２００、隣
りの（挟んでいる）小さい負のローブ１２０２の対称及び隣りの（挟んでいる）
非常に小さい外側の正のローブ１２０４の対称対の台形にされた中央重み付け関
数である。これらローブ１２００、１２０２、１２０４の絶対振幅は、図１２に
示す相対極性と相対振幅の不等相関関係が維持される限り、所望どおりに調節す
ることができる。しかし、その相対振幅の優れた第一近似は、接頭sinc関数[sin
c（ｘ）＝sin（ｘ）／ｘ]で定義される。このようなフィルタは別々に使用する
ことができ、このことは、水平のデータ次元が独立してフィルタされ次にサイズ
変更され次いで垂直のデータ次元が同様に処理され、また逆に処理されて、結果
は同じであることを意味する。
【０１２７】 ベース層オリジナルを（ベース層圧縮に対する入力として）、低ノイズ高解像
度オリジナル入力からつくるとき、好ましいダウンサイジングフィルタは、正規
のsinc関数の振幅を有する第一負ローブを有している。清浄でかつ高解像度の入
力画像の場合、この正規接頭sinc関数（normal truncated sinc function）は良
好に働く。低解像度（例えば１２８０×７２０、１０２４×７６８又は１５３６
×７６８）の場合、及びノイズの多い入力写真の場合、該フィルタの第一負ロー
ブの振幅は小さくした方がより最適である。このような場合の適切な振幅は、接
頭sinc関数の負ローブの振幅の約１／２である。第一負ローブの外側の小さい第
一正ローブも、一般に正規sinc関数の振幅の１／２〜２／３である。第一負ロー
ブを減らすことの影響は重要な問題点である。なぜならば、外側の小さい正のロ
ーブは写真のノイズに寄与しないからである。第一正ローブの外側のさらなる試
料は好ましくは切り縮められて、リンギングなどの潜在的アーチファクトを最小
限にする。
【０１２８】 ダウンフィルタのよりマイルドな負のローブ（milder negative lobe）又は完
全なsinc関数振幅の負のローブを用いるかどうかの選択は、原画像の解像度とノ
イズのレベルによって決まる。いくつものタイプのシーンが他のシーンより符号
化を行いやすい（主として動きの大きさと特定のショットの変化に関連している
）ので、前記選択はいくぶん画像コンテントの関数である。負のローブを減らし
た「よりマイルドな」ダウンフィルタを使用することによって、ベース層のノイ
ズが減少しかつベース層のより清浄でかつより静かな圧縮が達成され、その結果
アーチファクトが少なくなる。
【０１２９】 また、実験は、最適のアップサイジングフィルタが、中央の正ローブと隣りの
小さい負のローブを有しているがそれ以上に正のローブを有していないことも示
した。図１３Ａと１３Ｂは、ファクター２でアップサイズする好ましいアップサ
イジングフィルタ一対の相対形態、振幅及びローブ極性の線図である。中央の正
のローブ１３００、１３００’は、一対の小さな負のローブ１３０２、１３０２
’に挟まれている。非対称に配置された正のローブ１３０４、１３０４’も必要
である。また、これらペアのアップフィルタも、新しくつくられた試料にセンタ
リングされた接頭sincフィルタと考えられる。例えば、ファクターが２のフィル
タとして二つの新しい試料が各原試料に対してつくられる。隣りの小さい負のロ
ーブ１３０２、１３０２’は、対応するダウンサイジングフィルタ（図１２）に
使用される場合又は正常画像に対して最適の（サインベースの）アップサイジン
グフィルタに使う場合より小さい負の振幅をもっている。これはアップサイズさ
れている画像が復元されるからであり、そして圧縮プロセスはスペクトル分布を
変える。したがって、より適度の負のローブが、中央の正のローブ１３００、１
３００’以外に追加の正のローブなしで、復元されたベース層をアップサイズす
るのにより良好に働く。
【０１３０】 実験は、わずかな負のローブ１３０２、１３０２’が、正だけのガウスアップ
フィルタ又はスプラインアップフィルタよりも良好な階層化の結果を提供するこ
とを示した（スプラインアップフィルタは負のローブをもつことがあるが、正だ
けの形態で使用されることが最も多いことに注目すべきである）。したがって、
このアップライジングフィルタは、符号器及び復号器の両者のベース層に使用さ
れる。
【０１３１】 写真ディテールの高オクターブの重み付け 好ましい実施態様では、原非圧縮ベース層入力画像を拡張する信号経路が、上
記アップフィルタではなくてガウスアップフィルタを使用する。特に、ガウスア
ップフィルタは、写真ディテールの「高オクターブ」に使用され、その「高オク
ターブ」は、拡張された原ベース解像度入力画像（圧縮を利用せず）を、原写真
から減算することによって求められる。したがって、この特別のアップフィルタ
された拡張に対して負のローブは全く使用されない。
【０１３２】 上記のように、ＭＰＥＧ−２の場合、この高オクターブ差の信号経路は一般に
０．２５（すなわち２５％）重み付けされ、拡張された復元ベース層に（上記の
他のアップフィルタを使用して）、強化層圧縮プロセスに入力として加えられる
。しかし、実験は、１０％、１５％、２０％、３０％及び３５％の重みが、ＭＰ
ＥＧ−２を使う場合、特定の画像に有用であることを示した。他の重みも有用で
あることが立証できる。ＭＰＥＧ−４の場合、４〜８％のフィルタ重みは、下記
の他の改良とともに利用されると最適であることが見出されている。したがって
、この重み付けは、符号化システム、符号化／圧縮されるシーン、使用される特
定のカメラ（又はフィルム）及び画像の解像度に応じて、調節可能なパラメータ
とみなすべきである。
【０１３３】デ−インタレーシング（de-interlacing）及びノイズ低下の強化 概要 実験は、多くのデ−インタレーシングのアルゴリズムと装置は、ヒトの眼に対
応して、フィールドを結合し受容可能な結果をつくることを示した。しかし、圧
縮のアルゴリズムはヒトの眼ではないので、デ−インタレースされたフィールド
の結合は、このようなアルゴリズムの特性を考慮しなければならない。このよう
な注意深いデ−インタレースされた結合がないと、圧縮プロセスは、高レベルの
ノイズアーチファクトを生じ、画像の外観をアーチファクトでノイジーにかつビ
ジィ（noisy and busy）にするのみならずビットを浪費する（圧縮を妨害する）
。視聴する場合[例えばライン−ダブラー（line-doubler）及びライン−クワド
ラプラー（quadrupler）で]のデ−インタレーシングと、圧縮に対する入力とし
てのデ−インタレーシングの差異が下記の技法をもたらした。特に、下記のデ−
インタレーシング法は、上記階層化ＭＰＥＧ式、圧縮のみならず単一層非インタ
レース化ＭＰＥＧ式圧縮に対する入力として有用である。
【０１３４】 さらにノイズの減少は、ノイズ出現を減らすこと以外に、圧縮アルゴリズムへ
の入力であるという要求に、同様に整合しなければならない。その目標は、一般
に、復元時に、原カメラ又はフィルム粒子のノイズを越えるノイズを一般に再現
しないことである。等しいノイズは一般に、圧縮／復元の後、受け入れ可能と考
えられる。ノイズが減られて、オリジナルと等しい鮮鋭さと清浄度を有すること
はボーナス（bonus）である。下記のノイズ減少はこれらの目標を達成する。
【０１３５】 さらに、通常、光が少ない、例えば高感度フィルムから又は高いカメラ感度の
設定で非常にノイズが多いショットの場合、ノイズ減少は、優れた外観の圧縮／
復元された画像と見るに耐えないほどノイズの多い画像との差である。圧縮プロ
セスは、圧縮器に対する許容性（acceptability）のなんらかのしきい値を超え
るノイズを大きく増大する。したがって、ノイズをこのしきい値より低く保つた
めに、ノイズ減少のプリプロセッシングを利用することが、許容可能な良質の結
果を得るために必要である。
【０１３６】 デ−グレイニングフィルタ（de-graining filter）とノイズ減少フィルタ 階層化された符号化又は階層化されていない符号化を行う前にデ−グレイニン
グフィルタリング及び／又はノイズ減少フィルタリングを適用すると、圧縮シス
テムが実行する性能が改良されるということが実験によって見出された。グレイ
ン又はノイズの多い画像に対し、圧縮を行う前にデ−グレイニング又はノイズ減
少を行うと最も効果的であるが、両方の方法は、比較的ノイズが低いが又はグレ
インが少ない写真に対してさえ適度に利用すると有用である。幾種類もの既知の
デ−グレイニングアルゴリズム又はノイズ減少アルゴリズムを適用できる。その
例は「コアリング（coring）」、単純隣接中央値フィルタ類及びソフトニングフ
ィルタ類である。
【０１３７】 ノイズ減少が必要であるかどうかは、原画像がどれほどノイズが多いかによっ
て決定される。インタレース化された原画像の場合、インタレース自体はノイズ
の一形態であり、そしてその原画像は、下記の複雑なデ−インタレーシングプロ
セスに加えて追加のノイズ減少フィルタリングが通常必要である。プログレッシ
ングスキャン（インタレースなし）のカメラ又はフィルム画像の場合、ノイズプ
ロセッシングは、ノイズが特定のレベルを超えて存在しているとき、階層化圧縮
及び非階層化圧縮を行うのに有効である。
【０１３８】 異なるタイプのノイズがある。例えば、フィルムからのビデオトランスファー
はフィルムグレインノイズを含んでいる。フィルムグレインノイズは、イエロー
、シアン及びマゼンタのフィルム色素に結合している銀粒子によって生じる。イ
エローはレッドとグリーンの両者に影響し、シアンはブルーとグリーンの両者に
影響し、そしてマゼンタはレッドとブルーの両者に影響する。レッドはイエロー
色素とマゼンタ色素の結晶がオーバーラップした場所に生成する。同様に、グリ
ーンはイエローとシアンのオーバーラップしたものでありそしてブルーはマゼン
タとシアンのオーバーラップしたものである。したがって、カラー間のノイズは
、カラーのペア間の色素と粒子によって、部分的に相関関係がある。さらに、多
数の粒子が三色全体でオーバーラップすると、これら粒子は、画像のプリントの
ダーク領域で又は画像のライト領域のネガ上で（ネガ上のダーク）オーバーラッ
プするので、追加の色混合が生じる。カラー間のこの相関関係は、フィルムのグ
レインノイズを減らすのに利用できるが複雑なプロセスである。さらに、多数の
異なるフィルムのタイプが使用され、そして各タイプは、粒子の大きさ、形態及
び統計的分布状態が異なっている。
【０１３９】 ＣＣＤセンサ及び他の（例えば管）センサカメラがつくるビデオ画像の場合、
レッド、グリーン及びブルーのノイズは相関関係がない。この場合、レッド、グ
リーン及びブルーの記録を別々に処理することが最良である。したがって、レッ
ドのノイズは、グリーンノイズとブルーノイズを、別々に、セルフレッド処理（
self-red processing）することによって減らされ、同じ方法がグリーンノイズ
とブルーノイズに当てはまる。
【０１４０】 したがって、ノイズの処理は、ノイズ源自体の特性に最良に整合される。コン
ポジット画像（複数のソースからの）の場合、そのノイズが、画像の異なる部分
では特性が異なることがある。この場合、ノイズ処理が必要なとき、汎用ノイズ
処理（generic noise processing）が唯一の選択肢である。
【０１４１】 場合によっては、圧縮された階層化データ流を復号した後、有意義な作用とし
て、「リ−グレイニング（re-graining）」又は「リ−ノイジング（re-noising
）」を実行することが有用であることも見出された。というのは、一部のデーグ
レイン化又はデーノイズ化された画像が、外観が「清浄すぎる」か又は「迫力が
なさすぎる（too sterile）」ことがあるからである。リ−グレイニング及び／
又はリ−ノイジングは、幾種類もの既知のアルゴリズムのどれでも使用して、復
号器で加える比較的容易な作用である。例えば、これは、適切な振幅の低域フィ
ルタされたランダムノイズを加えることによって達成することができる。
【０１４２】 圧縮する前のデ−インタレーシング 上記のように、非インタレース化表示を最終的に意図している、インタレース
化されたソースを圧縮する好ましい方法は、インタレース化されたソースを、圧
縮ステップの前にデ−インタレース化するステップを含んでいる。信号を、受信
器内で復号した後、デ−インタレースすることは（受信器内で該信号はインタレ
ース化モードで圧縮されている）、圧縮前にデ−インタレース化され次いでイン
タレース化されていない圧縮信号を送るよりコストがかかりかつ効率が悪い。そ
のインタレース化されていない圧縮信号は、階層化されているか又は階層化され
ていなくても（すなわち通常の単一層圧縮でも）よい。
【０１４３】 インタレース化されたソースの単一フィールドをフィルタし次にそのフィール
ドを、あたかもインタレース化されていない完全フレームであるように使用する
と、劣ったノイズの多い圧縮結果がもたらされることを、実験が示した。したが
って、圧縮する前に、単一フィールドのデ−インタレーサを使うのは良い方法で
はない。代わりに、実験は、前の、現行の及び次のフィールドフレームそれぞれ
に対し、[０．２５、０．５、０．２５]の重みをつけて、フィールド合成フレー
ム(「フィールド−フレーム」)を使用する３フィールドフレームデ−インタレー
サ法が、圧縮に対して優れた入力を提供することを示した。３フィールドフレー
ムの結合を、他の重みを利用して実施して（これらの重みは最適の重みであるが
）、圧縮プロセスに対するデ−インタレース化された入力をつくることができる
。
【０１４４】 好ましいデ−インタレースシステムでは、フィールドデ−インタレーサを、全
プロセスの第一ステップとして使用してフィールドフレームをつくる。特に各フ
ィールドは、デ−インタレース化されて合成フレームをつくり、その合成フレー
ムには、フレーム中のラインの総数がフィールド中の半数のラインから誘導され
る。したがって、例えば、インタレース化された１０８０ラインの画像は偶数と
奇数のフィールド当り５４０ラインを有し、各フィールドは１／６０秒を表す。
通常、５４０ラインからなる偶数と奇数のフィールドがインタレース化されて、
各フレームに対して１０８０ラインずつつくる。そのフレームは１／３０秒を表
す。しかし、好ましい実施態様では、該インタレーサが、各走査線を、指定のフ
ィールド（例えば奇数のフィールド）からの改変なしで、デ−インタレース化さ
れた結果のいくらかを保持するバッファに複写する。該フレームのための残りの
中間走査線（この実施例では偶数の走査線）は、新しく記憶された各ラインの上
方のフィールドラインの１／２及び新しく記憶された各ラインの下方のフィール
ドラインの１／２を加えることによって合成される。例えば、一フレームに対す
るライン２の画素値は各々、ライン１及びライン３各々からの対応する画素値を
合計した画素値の１／２を含んでいる。中間合成走査線の作成は、フライ（fly
）に対してなされるか、又は一フィールドからのすべての走査線がバッファに記
憶された後に計算されてもよい。同じプロセスが次のフィールドにも繰り返され
るが、そのフィールドのタイプ（すなわち、偶数、奇数）は逆である。
【０１４５】 図１４Ａは奇数フィールドデ−インタレーサのブロック図であり、奇数フィー
ルド１４００からの奇数ラインが、デ−インタレース化された奇数フィールド１
４０２に単純に複写され、一方、偶数ラインが、原奇数フィールドからの隣接奇
数ラインを平均することによってつくられて、デ−インタレース化奇数フィール
ド１４０２の偶数ラインが形成されることを示している。同様に図１４Ｂは偶数
フィールドデ−インタレーサのブロック図であり、偶数フィールド１４０４から
の偶数ラインが、デ−インタレース化された偶数フィールド１４０６に単純に複
写され、一方、奇数ラインが、原偶数フィールドからの隣接する偶数ラインを平
均することによってつくられて、デ−インタレース化偶数１４０６の奇数ライン
が形成されることを示している。この場合は「トップフィールドファースト」に
相当し、また「ボトムフィールドファースト」は「偶数」フィールドと考えられ
ることに留意すべきである。
【０１４６】 次のステップとして、一連のこれらデ−インタレース化フィールドを、３フィ
ールドフレームデ−インタレーサへの入力として使用して最終のデ−インタレー
ス化フレームがつくられる。図１５は、各出力フレームの画素が、どのようにし
て、前のデ−インタレース化フィールド（フィールドフレーム）１５０２からの
対応する画素の２５％、現行のフィールドフレーム１５０４からの対応する画素
の５０％及び次のフィールドフレーム１５０６からの対応する画素の２５％で構
成されているかを示すブロック図である。
【０１４７】 そのとき、前記新しいデ−インタレース化フレームは、フレーム間のインタレ
ース差のアーチファクトが、該フレームが構成されている３フィールドフレーム
よりはるかに少ない。しかし、前のフィールドフレームと次のフィールドフレー
ムを、現行のフィールドフレームに加えることによる時相スミアリング（tempor
al smearing）がある。この時相スミアリングは、特にもたらされるデ−インタ
レース化の改良の見地から、通常、差し支えない。
【０１４８】 このデ−インタレース化法は、単一層（階層化されていない）又は階層化され
た単一層であろうとも、圧縮への入力として非常に有益である。またこのデ−イ
ンタレース化法は、提示、視聴又は静止フレームの製作のためのインタレース化
ビデオの処理として、圧縮の利用とは独立して有益である。該デ−インタレース
化法由来の写真は、インタレースを直接示すか又はデ−インタレース化フィール
ドを示すより「清浄」に見える。
【０１４９】 デ−インタレースのしきい値処理 先に考察したデ−インタレース３フィールド合計重み付け[０．２５、０．５
、０．２５]は安定した画像を提供するが、一シーンの動く部分が時々軟調にな
るか又はエイリアシングアーチファクトを示すことがある。これに対抗するため
、[０．２５、０．５、０．２５]時相フィルタの結果を、中央フィールドフレー
ムだけの対応する画素値に対して比較するしきい値試験を適用できる。中央フィ
ールドフレームの画素値が、３フィールドフレーム時相フィルタ由来の対応する
画素の値と、指定のしきい値の大きさを超える差がある場合、中央フィールドフ
レームの画素値だけが使用される。このように、３フィールドフレーム時相フィ
ルタ由来の画素は、画素値が、単一のデ−インタレース化中央フィールドフレー
ムの対応する画素との差がしきい値の大きさより小さい場合に選択され、そして
その差がしきい値より大きい場合は、中央フィールドフレームの画素値が使用さ
れる。これによって、速い動きを、フィールド速度で追跡し、次いで画像のより
平滑な部分をフィルタし、３フィールドフレーム時相フィルタで平滑化すること
ができる。この組合せは、最適ではないにしても、圧縮に対する有効な入力であ
ることが証明された。また、画像マテリアルをデ−インタレースすることは[表
示と共同のラインダブリング（line doubling in conjunction with display）
と呼称されることもある]、直接視聴のための処理に対し非常に有効でもある。
【０１５０】 このようにしきい値を決定する好ましい実施態様では、中央（単一）デ−イン
タレース化フィールドフレーム画像と３フィールドフレームのデ−インタレース
化画素から対応するＲＧＢカラー値を求めるために下記式が使用される。 Ｒｄｉｆｆ＝Ｒ＿単一＿フィールド＿デ−インタレース化 マイナス Ｒ＿３＿
フィールド＿デ−インタレース化 Ｇｄｉｆｆ＝Ｇ＿単一＿フィールド＿デ−インタレース化 マイナス Ｇ＿３＿
フィールド＿デ−インタレース化 Ｂｄｉｆｆ＝Ｂ＿単一＿フィールド＿デ−インタレース化 マイナス Ｂ＿３＿
フィールド＿デ−インタレース化 しきい値処理値＝ａｂｓ（Ｒｄｉｆｆ＋Ｇｄｉｆｆ＋Ｂｄｉｆｆ）＋ａｂｓ（Ｒ
ｄｉｆｆ）＋ａｂｓ（Ｇｄｉｆｆ）＋ａｂｓ（Ｂｄｉｆｆ）
【０１５１】 次に上記しきい値処理値をしきい値設定値と比較する。典型的なしきい値設定
値は０．１〜０．３の範囲内にあり、０．２が最も一般的である。
【０１５２】 このしきい値からノイズを除くため、３フィールドフレームと単一フィールド
フレームのデ−インタレース化写真のスムースフィルタリングを使用した後、そ
れら写真を比較してしきい値処理することができる。このスムースフィルタリン
グは、ダウンフィルタリング（例えば、好ましくは上記ダウンフィルタを使用し
て２回ダウンフィルタする）し次にアップフィルタリングする（例えば、ガウス
アップフィルタを２回使用する）ことによって達成することができる。この「ダ
ウン−アップ」スムース化フィルタは、単一フィールドフレームデ−インタレー
ス化写真と３フィールドフレームデ−インタレース化写真の両者に適用できる。
次に、上記のスムース化された、単一フィールドフレーム写真と３フィールドフ
レーム写真を比較してしきい値処理値を計算し、次いでしきい値処理を行ってど
ちらの写真が各最終出力画素のソースであるかを確認することができる。
【０１５３】 特に、上記しきい値試験は、単一フィールドフレームデ−インタレース化写真
か、単一フィールドフレームデ−インタレース化写真の３フィールドフレーム時
相フィルタによる結合体を選択するスイッチとして使用される。その結果、この
選択によって下記画像がもたらされる。すなわち画素が、その画像が単一フィー
ルドフレーム画像との差が小さい（すなわちしきい値より小さい）領域における
３フィールドフレームデ−インタレーサ由来の画素である画像、及び画素が、３
フィールドフレームが単一フィールドフレームデ−インタレース化画素（スムー
ス化後）との差が大きかった（すなわちしきい値より大きい）領域における単一
フィールドフレーム画像由来の画素である画像がもたらされる。
【０１５４】 この方法は、単一フィールドファーストモーションディテールを維持し（単一
フィールドフレームデ−インタレース化画素にスイッチすることによって）しか
もその画像の大きな部分をスムース化する（３フィールドフレームデ−インタレ
ース化時相フィルタ結合にスイッチすることによって）のに有効であることを証
明した。
【０１５５】 単一フィールドフレームデ−インタレース化画像か３フィールドフレームデ−
インタレース化画像の選択を行うことに加えて、単一フィールドフレーム画像を
少し、３フィールドフレームデ−インタレース化写真に加えて、単一フィールド
写真の全画像にわたる即時性をいくらか維持することも有益なことが多い。この
即時性は、３フィールドフレームフィルタの時相スムースネスと釣り合いがとら
れている。一般的なブレンディングは、３３．３３％（１／３）の単一中央フィ
ールドフレームを６６．６７％（２／３）の対応する３フィールドフレームスム
ース化画像に加えることによって新しいフレームをつくるブレンディングである
。これは、どちらであっても結果は同じなので、しきい値切換えの前後に行うこ
とができ、スムース化された３フィールドフレーム写真に影響するだけである。
これは、原３フィールドフレームの重み「０．２５、０．５、０．２５」以外の
異なる比率の３フィールドフレームを使用することに事実上等しいことに注目す
べきである。「０．２５、０．５、０．２５」の２／３プラス（０、１、０）の
１／３を計算すると、[０．１６６７、０．６６６６、０．１６６７]が３フィー
ルドフレームの時相フィルタとして得られる。より重く重み付けられた中央(現
行)フィールドフレームは、しきい値の値より低くなったスムース化領域でさえ
、追加の即時性を結果にもたらす。この組合せは、シーンの動く部分に対するデ
−インタレース化プロセスにおいて時相スムースネスを即時性と釣り合わせるの
に有効であることを証明した。
【０１５６】 線形フィルタの使用 ビデオ写真を含む和（sum）、フィルタ又はマトリックスは、ビデオ内の画素
値が非線形信号であることを考慮しなければならない。例えば、ＨＤＴＶのビデ
オカーブは係数及びファクターがいくらか変化していてもよいが、一般的な式は
国際ＣＣＩＲＸＡ−１１（現在はＲｅｃ．７０９と呼ばれている）である。 Ｖ＝１．０９９３＊Ｌ０．４５−０．０９９３ Ｌ＞０．０１８０５１の場合 Ｖ＝４．５＊Ｌ Ｌ≦０．０１８０５１の場合 上記式中、Ｖはビデオ値であり、そしてＬは線形ライトルミナンスである。
【０１５７】 これらの変化は、しきい値（０．０１８０５１）を少し調節し、ファクター（
４．５）を少し調節し（例えば４．０）そしてべき指数（０．４５）を少し調節
する（例えば０．４）。しかし、基本式は同じままである。
【０１５８】 ＲＧＢとＹＵＶの間の変換などのマトリックスオペレーションは線形値を示唆
している。ＭＰＥＧが一般に、ビデオの非線形値を、それらの値があたかも線形
であるように使用することから、ルミナンス（luminance）（Ｙ）とカラー値（
ＵとＶ）の間の漏洩が起こる。この漏洩は圧縮の効率を阻害する。対数表現を、
例えばフィルム密度の単位で使用するように使うと、この問題が大きく修正され
る。各種タイプのＭＰＥＧ符号化は、信号の非線形アスペクトに対してニュート
ラルであるが、その効率は、ＲＧＢとＹＵＶ間のマトリックス変換を利用するこ
とによって達成される。ＹＵＶ（Ｕ＝Ｒ−Ｙ、Ｖ＝Ｂ−Ｙ）は、０．５９Ｇプラ
ス０．２９Ｒプラス０．１２Ｂの線形化合計（又はこれら係数のわずかの変化）
として計算されたＹを含んでいなければならない。しかし、Ｕ（＝Ｒ−Ｙ）は、
ルミナンスに直交している対数空間のＲ／Ｙに等しくなる。したがってシェード
されたオレンジボール（orange ball）は、対数表現のＵ（＝Ｒ−Ｙ）パラメー
タを変えない。ブライトネスの変化は、完全なディテールが提供される場合、ル
ミナンスパラメータに完全に表される。
【０１５９】 線形対対数対ビデオの問題点はフィルタリングに強い影響を与える。注目すべ
きキーポイントは、小さい信号の変動（例えば１０％以下）は、非線形ビデオ信
号が、あたかも線形信号であるように処理されるとき、ほぼ修正されることであ
る。これは、スムースビデオ−ツー−フロム−線形変換カーブ（smooth video-t
o-from-linear conversion curve）に対する区分的線形近似が妥当であるからで
ある。しかし、変動が大きい場合、線形フィルタの方がはるかに有効であり、は
るかに良好な画質が得られる。したがって、大きな変動が最適に符号化され、変
換され又は他の方法で処理されることになっている場合、線形フィルタを利用で
きるように、第一に非線形信号を線形信号に変換することが望ましい。
【０１６０】 それ故、デ−インタレース化は、各フィルタと加算ステップが、フィルタリン
グ又は加算を行う前に、線形値への変換を利用するとき非常に優れている。これ
は、大きな信号変動が画像の小さなディテールにおけるインタレース化信号に固
有なものだからである。その画像信号は、フィルタリングの後、非線形ビデオデ
ィジタル表現に変換して戻される。したがって、３フィールドフレーム重み付け
（例えば[０．２５、０．５、０．２５]又は[０．１６６７、０．６６６６、０
．１６６７]）を、線形化ビデオ信号に実施しなければならない。ノイズとデ−
インタレースフィルタリングにおけるパーシャルターム（partial term）の他の
フィルタリングと重み付けの和も、計算を行うため線形に変換しなければならな
い。どのオペレーションが線形処理を保証するかは、信号の変動とフィルタリン
グのタイプによって決定される。画像のシャープニングは、セルフ−プロポーシ
ョナル（self-proportional）であるから、ビデオ又は対数非線形の表現で適切
に計算することができる。しかし、マトリックスプロセッシング、空間フィルタ
リング、重み付け合計及びデ−インタレースプロセッシングは、線形化されたデ
ィジタル値を使用して計算しなければならない。
【０１６１】 単純な一実施例として、上記の単一フィールドフレームデ−インタレーサは、
実際のライン各々の上と下のラインを平均することによって、ミッシング代替ラ
イン（missing alternate line）を計算する。この平均操作は、線形で行われる
と、数字的にかつ視覚的に極めて正しい。したがって、上のラインの０．５倍と
下のラインの０．５倍を合計する代わりに、そのディジタル値が第一に線形化さ
れ、次に平均され次いで非線形ビデオ表現に再度変換されて戻される。
【０１６２】 ２／３ベース層に基づいた階層化モード １２８０×７２０強化層は８６４×４８０ベース層を利用できる（すなわち、
強化層とベース層の間の２／３の関係）。図１６はこのようなモードのブロック
図である。１２８０×７２０の原画像１６００は、１２９６×７２０パッド（pa
d）され（１６の整数倍であるように）次に２／３倍ダウンサイズして８６４×
４８０画像１６０２とする（やはり１６の整数倍）。そのダウンサイジングは、
好ましくは、正規フィルタ（normal filter）又はマイルドな負のローブを有す
るフィルタを使用する。上記のように、このダウンサイズされた画像１６０２は
、第一符号器１６０４（例えば、ＭＰＥＧ−２符号器又はＭＰＥＧ−４符号器）
に入力されて、ベース層として直接符号化することができる。
【０１６３】 強化層を符号化するため、ベース層を３／２倍アップサイズして（拡張し次いで
アップフィルタして）１２９６×７２０中間フレーム１６０６にする。上記アッ
プフィルタは好ましくはマイルドな負のローブを有している。この中間フレーム
１６０６は現画像１６００から減算される。同時に、８６４×４８０画像１６０
２が３／２倍アップフィルタされて（好ましくはガウスフィルタを使用して）１
２８０×７２０になり次に原画像１６００から減算される。その結果に重み付け
して（例えば、ＭＰＥＧ−２の場合２５％重み付け）、次に、原画像１６００か
ら中間フレーム１６０６を減算した結果に加算される。このようにして得られた
合計をクロップ（crop）して大きさを小さくし（例えば１１５２×６８８）次に
端縁をフェザーして（feather）、プレ圧縮強化層フレーム１６０８が得られる
。このプレ圧縮強化層フレーム１６０８を、第二符号器１６１０（例えばＭＰＥ
Ｇ−２又はＭＰＥＧ−４の符号器）に入力して、強化層として符号化する。
【０１６４】 １８．５メガビット／秒におけるその効率と品質は、この配置構成を利用する
「単一」階層化（すなわち非階層化）システムと階層化システムではほぼ同じで
ある。強化層とベース層の間の２／３倍の関係の効率は２倍の場合ほど優れてい
ない。というのは、ベース層と強化層の間のＤＣＴ係数は直交性が低い。しかし
、この構造は実用的であり、高品質のベース層（より安価に復号する）を提供す
る利点がある。これは、低解像度が特定の表示器によって提供できるすべてであ
る場合、高解像度写真全体を復号しなければならない（より高いコストで）単一
階層化配置構成を超える改良である。
【０１６５】 また、上記階層化配置構成は、強化サブ領域が調節可能であるという利点もあ
る。したがって、効率は、強化層の大きさ、及びベース層と強化層に割り当てら
れた全ビット速度のベース層ビット速度／強化層ビット速度の比率を調節するこ
とによって制御することができる。上記強化層の大きさとビット速度比率を調節
して、特に高いストレス（速い動き又は多数のシーンの変化）下での圧縮性能を
最適化することができる。例えば、上記のように、極端のストレス下では、すべ
てのビットをベース層に割り当てることができる。
【０１６６】 強化層とベース層の間の好都合な解像度の関係は、１／２、２／３というファ
クター及び他の単分数（例えば１／３、３／４）の関係である。強化層とベース
層の間の関係に対して、スキーズ（squeeze）を適用することも有用である。例
えば、２０４８×１０２４のソース写真は１５３６×５１２のベース層を有して
いてもよく、そのベース層は、ソース画像に対して３／４の水平関係と１／２の
垂直関係を有している。これは最適でないが（２のファクターが水平と垂直の関
係の両者に対して最適である）、原理を示している。水平関係と垂直関係の両方
に２／３を使用すると、垂直方向に２のファクター及び水平方向に２／３のファ
クターを利用することによって、いくつかの解像度を改善することができる。あ
るいは、いくつかの解像度は、垂直方向に２／３のファクターを用い水平方向に
１／２のファクターを利用することがより最適である。したがって、１／２、２
／３、３／４、１／３などの単分数は、水平と垂直の解像度の関係に独立して適
用することができ、関係の多数の可能な組合せを行うことができる。したがって
、強化層とベース層及びその入力解像度との関係のみならず、完全入力解像度と
ベース層の解像度の関係によって、このような分数の関係を使用する場合に完全
な融通性が可能になる。このような解像度の関係の特に有用な組合せは、どの標
準の一部として採用されても、圧縮「強化モード」番号を割り当てることができ
る。
【０１６７】 中央値フィルタ ノイズを処理するのに最も有用なフィルタは中央値フィルタである。３要素中
央値フィルタが、三つのエントリーの順位付けを、単純なソート（simple sort
）によって行い、次に中央のエントリーをピック（pick）する。例えば、Ｘ（水
平）中央値フィルタが、三つの隣接する水平画素のレッド値（又はグリーン値又
はブルー値）を調べて、真ん中の値を有する画素をピックする。二つが同じであ
ればその値を選ぶ。同様に、Ｙフィルタが現行画素の上と下の走査ラインで調べ
てやはり中央値をピックする。
【０１６８】 ＸとＹの中央値フィルタの両者を適用することから得た結果を平均して、新し
いノイズ減少成分写真をつくることが有用であることが実験で確認された[すな
わち、新しい画素は各々、原画像からの対応する画素のＸとＹの中央値の５０％
等平均値（５０％ equal average）である]。
【０１６９】 ＸとＹ（水平と垂直）の中央値に加えて、斜め中央値などの他の中央値を採用
することも可能である。しかし、垂直及び水平の画素値は、物理的に、どの特定
の画素に対しても最も近い値なので、斜め中央値より、誤差又はひずみを起こす
可能性が低い。しかし、このような他の中央値は、垂直と水平の中央値だけを使
用することによってノイズを減らすことが困難な場合にはやはり利用することが
できる。
【０１７０】 ノイズを減らすのに有益なもう一つのソースは、前と次のフレームからの情報
（すなわち時相中央値）である。以下に述べるように、動き解析は、動く領域に
対しては最良の整合を提供する。しかし、動き解析は計算集中的（compute inte
nsive）である。画像の一領域が動いていないか又はゆっくり動いている場合、
現行画素からのレッド値（及びグリーン値とブルー値）は、前のフレームと次の
フレーム中の同じ画素位置のレッド値でフィルタされた中央値でよい。しかし、
有意な動きがあってしかもかような時相フィルタが使用されると、異常なアーチ
ファクトが起こることがある。したがって、しきい値を第一に選んで、このよう
な中央値が、現行画素の値から、選択された大きさを超えて異なっているかどう
かを確認することが好ましい。そのしきい値は上記デ−インタレース化のしきい
値の場合とほぼ同様にして、下記のようにして計算することができる。 Ｒｄｉｆｆ＝Ｒ＿現行＿画素 マイナス Ｒ＿時相＿中央値 Ｇｄｉｆｆ＝Ｇ＿現行＿画素 マイナス Ｇ＿時相＿中央値 Ｂｄｉｆｆ＝Ｂ＿現行＿画素 マイナス Ｂ＿時相＿中央値 しきい値処理値＝ａｂｓ（Ｒｄｉｆｆ＋Ｇｄｉｆｆ＋Ｂｄｉｆｆ）＋ａｂｓ（Ｒ
ｄｉｆｆ）＋ａｂｓ（Ｇｄｉｆｆ）＋ａｂｓ（Ｂｄｉｆｆ）
【０１７１】 上記しきい値処理値を次にしきい値設定値と比較する。典型的なしきい値設定
値は０．１〜０．３の範囲内であり、０．２が一般的である。そのしきい値より
高ければ、現行値が保持される。そのしきい値より低ければ時相中央値が使用さ
れる。
【０１７２】 追加の中央値のタイプは、Ｘ、Ｙ及び時相の中央値から選択される中央値であ
る。もう一つの中央値のタイプは、時相中央値を選び、次にそれからのＸとＹの
中央値の等平均値を選択する。
【０１７３】 各タイプの中央値は問題を起こすことがある。ＸとＹの中央値は画像を不鮮明
にし（smear）かつブラー（blur）させるので、画像は「グリーシー（greasy）
」に見える。時相中央値は、時間が経過するにつれて動きを不鮮明にする。各中
央値は、問題をもたらししかも各中央値の特性が異なっているので（ある意味で
は「直交している（orthogonal）」）、各種の中央値を組み合わせることによっ
て最良の結果が得られることが実験によって確認された。
【０１７４】 特に、中央値の好ましい組合せは、現行画像の各画素に対する値を決定する下
記５項目の線形重み付け合計（線形ビデオプロセッシングに関する上記考察参照
）である。 現画像の５０％（したがって最大のノイズ低下は３ｄｂ又は１／２である）； ＸとＹの中央値の平均値の１５％； しきい値処理された時相中央値の１０％； しきい値処理された時相中央値のＸとＹの中央値の平均値の１０％； 及び３ウェイのＸ、Ｙ及び時相中央値の１５％。
【０１７５】 時間中央値のこの組合せは、画像と「グリーシー」に又はブラーしているよう
に見せたり、動く物体の時相不鮮明又はディテールの損失を起こすことなく、画
像のノイズを減らす合理的な働きをする。これら５項目のもう一つの有用な重み
付けはそれぞれ３５％、２０％、２２．５％、１０％及び１２．５％である。
【０１７６】 その上に、下記のように、中央重み付け時相フィルタを、動き補償ｎｘｎ領域
に適用することによって、動き補償を適用することが有用である。これら、中央
値をフィルタされた画像の結果（前記５項目の）に加えられさらに画像を平滑化
することができ、動く画像領域に、より優れた平滑化とディテールが提供される
。
【０１７７】 動き解析 「その場での（in place）」時相フィルタリング（ゆっくり動くディテールを
平滑化するのに優れた働きをする）に加えて、デ−インタレース化とノイズ減少
も動き解析を利用して改善することができる。３フィールド又は３フレームの同
じ位置に画素を加えることは、静止物体の場合、有効である。しかし、動いてい
る物体の場合、時相の平均／平滑化が望ましい場合、小グループの画素にわたる
主だった動きの解析を試みることがより最適であることが多い。例えば、画素の
ｎｘｎブロック（例えば２×２、３×３、４×４、６×６又は８×８）を使用し
て、前と次のフィールド又はフレームをサーチし、整合を見つけることができる
（同じ方式で、ＭＰＥＧ−２の動きベクトルが、１６×１６マクロブロックを整
合することによって見つけ出される）。最良の整合が１又は２以上の前の及び次
のフレーム中に一度見つけられると、「軌道（trajectory）」と「動くミニ写真
」を確認できる。インタレース化フィールドの場合、しきい値処理された上記デ
−インタレース化プロセスの結果を利用して推測された動くミニ写真を計算する
ことのみならず比較結果を解析することが最良である。このプロセスは、速く動
くディテールをゆっくり動くディテールからすでに分離しかつそのゆっくり動く
ディテールをすでに平滑化しているので、写真の比較と再構成は、個々のデ−イ
ンタレース化フィールド以上に適用可能である。
【０１７８】 動き解析は、好ましくは、現行のしきい値処理されたデ−インタレース化画像
のｎｘｎブロックを、前と次の１又は２以上のフレーム中の隣接するすべてのブ
ロックと比較することによって実施される。その比較は、ｎｘｎブロックのルミ
ナンス又はＲＧＢの差の絶対値でもよい。一つのフレームは、その動きベクトル
がほぼ等しくて逆方向であれば、充分に順方向と逆方向を向いている。しかし、
動きベクトルがほぼ等しくて逆方向でない場合は、追加の順方向と逆方向の１又
は２以上のフレームが実際の軌道を決定するのに役立てることができる。さらに
、異なるインタレース化処理が、順方向と逆方向の「最良推測（best guess）」
の動きベクトルの決定に役立てるのに有用である。一つのデ−インタレース化処
理は個々のデ−インタレース化フィールドだけを使用する処理であるが、これは
小さな動くディテールにエイリアシングとアーチファクトをひどく起こしやすい
。もう一つのデ−インタレース化法は、フィールドフレームスムースデ−インタ
レース化だけを、しきい値処理を行わずに、上記の重み付け[０．２５、０．５
、０．２５]をして使用する方法である。ディテールは平滑化されて時には失わ
れるが、軌道はより正確になることが多い。
【０１７９】 一旦軌道が見つけられると、「平滑化されたｎｘｎブロック」を、１（又は２
以上）の前のフレームと次のフレーム由来の動きベクトルオフセット画素を使用
して時間的にフィルタすることによってつくることができる。典型的なフィルタ
は、３フレームに対してはやはり[０．２５、０．５、０．２５]又は[０．１６
６７、０．６６６６、０．１６６７]であり、そして二つの逆方向と順方向のフ
レームに対しては恐らく[０．１、０．２、０．４、０．２、０．１]である。中
央の重みが小さい他のフィルタも有用であり、特にブロックの大きさが一層小さ
い（例えば２×２、３×３及び４×４）ものが有用である。フレーム間の整合の
信頼性は絶対値の差で示される。大きな最小絶対差を使用して、該フィルタのよ
り大きい中央重みを選択することができる。絶対差の値が小さいことは、良好な
整合を示唆しているので、これを利用してより小さい中央重みを選択して、重さ
補償ブロックのいくつものフレームの一スパンにわたって平均値をより均一に分
布させることができる。
【０１８０】 これらフィルタの重みは、上記の個々のデ−インタレース化動き補償フィール
ドフレーム；しきい値処理された３フィールドフレームデ−インタレース化写真
；及びしきい値処理されていない３フィールドフレームデ−インタレース化画像
に、上記のような[０．２５、０．５、０．２５]の重み付けで適用することがで
きる。しかし、最良のフィルタ重みは通常、動き補償ブロック線形フィルタリン
グを、上記しきい値処理された３フィールドフレームの結果に適用することに由
来している。これは、しきい値処理された３フィールドフレーム画素が、最も動
き反応性が高い[しきい値を超える単一デ−インタレース化フィールドフレーム
にはジフォールト（default）することによって]のみならず最高に平滑である（
平滑領域のエイリアシングを除くことによって）からである。したがって、動き
解析から得た動きベクトルは、マルチフレームフィルタ又はマルチデ−インタレ
ース化フィールドフレームフィルタ又は単一デ−インタレース化フィールドフレ
ームフィルタ又はその組合せに対する入力として使用できる。しかし、そのしき
い値処理されたマルチフィールドフレームデ−インタレース化画像は、ほとんど
の場合、最良のフィルタ入力を形成する。
【０１８１】 動き解析を利用する場合、速い動きが見出されると（例えば±３２画素）、サ
ーチ領域が大きいため、計算費用が高価になる。したがって、専用ハードウェア
又はディジタル信号プロセッサ利用コンピュータを用いることによって速度を増
大することが最良である。
【０１８２】 一旦、動きベクトルがそれらの絶対差の測定精度とともに見つけられると、そ
の動きベクトルは、フレーム速度の変換を試みる複雑な方法に利用できる。しか
し、遮蔽（occlusion）の問題（他のものをおおいかくすか又は暴露する物体）
は、整合を混乱させて、正確にかつ自動的には推測できない。また遮蔽は、通常
の画像時相アンダーサンプリング及び画像の固有周波数を有するそのビート（例
えば映画の「逆転ワゴンホイール」効果）のような時相エイリアシングも伴う。
これらの問題は、既知の演算法によって解明できないことが多いので、今までヒ
トの手助けを必要としている。したがって、ヒトによる精査や調節は、リアルタ
イムの自動処理が必要でない場合、オフラインと非リアルタイムのフレーム速度
変換及び他の類似の時相のプロセスに利用できる。
【０１８３】 デ−インタレース化は同じ課題の単純な一形態である。フレーム速度変換の場
合と同様に、デ−インタレース化のタスクは、完全に実施することは理論的に不
可能である。これは、特に、時相アンダーサンプリング（閉じたシャッター）と
不適当な時相サンプルフィルタ（すなわちボックスフィルタ）が原因である。し
かし、正しい試料の場合でさえ、遮蔽やインタレースなどのエイリアシングの問
題が、正しい結果を得ることが論理的に不可能であることをさらに保証する。こ
のことが見える症例は、該問題に適用される、ここに記載のツールデプス（dept
h）によって軽減される。病理症例は、リアル画像シーケンス中に常に存在して
いる。その目標は、このようなシーケンスに遭遇したときに病気の悪化の頻度と
レベルと減らすことだけである。しかし多くの場合、デ−インタレース化プロセ
スは、受け入れ可能に完全に自動化することができ、そしてリアルタイムで反復
されることなく作動できる。それにしても、手動調節によって利益をうけること
が多い多くのパラメータがある。
【０１８４】 高周波数のフィルタによる平滑化 中央値フィルタリングに加えて、高周波数のディテールを減らしても高周波数
ノイズが減少する。しかしこの平滑化は、鮮鋭度とディテールが損失するという
犠牲を払って得られる。したがってこのような平滑化はごくわずかの方が一般に
有用である。平滑化を起こすフィルタは、デ−インタレース化の場合のしきい値
と同様に、通常フィルタ（例えば台形サインフィルタ）でダウンフィルタし次に
ガウスフィルタでアップフィルタすることによって容易につくることができる。
結果は、高周波数写真のディテールを欠いているので平滑化される。このような
項目（term）が加えられる場合、その項目は、わずかな量のノイズを減らすため
には、ごく少量例えば５〜１０％でなければならない。大量になると、ブラー効
果が一般にかなり目視可能になる。
【０１８５】 ベース層のノイズフィルタリング 原画像に対する上記中央値フィルタリングのフィルタパラメータは、画像を捕
獲するフィルム粒子又は画像センサのノイズ特性に整合されねばならない。この
中央値をフィルタされた画像は、ダウンフィルタされて、ベース層圧縮プロセス
への入力を生成した後、その画像はまだ少量のノイズを含んでいる。このノイズ
は、別のＸ−Ｙ中央値フィルタ（ＸとＹの中央値を等しく平均する）プラスごく
少量の高周波数平滑化フィルタを組み合わすことによって、さらに減らすことが
できる。ベース層の各画素に加えられる、これら３項目の好ましいフィルタ重み
付けは次の通りである。 原ベース層の７０％（中央値をフィルタされた上記原画像からダウンフィルタさ
れた）； ＸとＹの中央値の平均値の２２．５％；及び ダウンアップ平滑化フィルタの７．５％。
【０１８６】 ベース層のこの少量の追加のフィルタリングは、ノイズを少量減らしかつ安定
性を改善して、より優れたＭＰＥＧ符号化をもたらしかつこのような符号化によ
って加えられるノイズの量を制限する。
【０１８７】 ＭＰＥＧ−２とＭＰＥＧ−４で動き補償を行うため負のローブを有するフィルタ ＭＰＥＧ−４には、最良の動きベクトルの整合を見つけたとき、マクロブロッ
クをシフトし次にその整合された領域を使って動き補償するための基準フィルタ
が設けられている。ＭＰＥＧ−４ビデオ符号化は、ＭＰＥＧ−２と同様に、マク
ロブロックに対し、動きベクトルの１／２画素の解像度を保持する。またＭＰＥ
Ｇ−４は、ＭＰＥＧ−２と異なり、１／４画素の精度を保持する。しかし、ＭＰ
ＥＧ−４の基準装備において使用されるフィルタは最善の水準に次ぐフィルタで
ある。ＭＰＥＧ−２において、画素間の途中点（half-way point）はこれら二つ
の隣り同士の画素の平均値であり、最善の水準に次ぐボックスフィルタである。
ＭＰＥＧ−４において、このフィルタは、１／２画素解像度に用いられる。１／
４画素解像度がＭＰＥＧ−４バージョン２に呼び出されると、負のローブを有す
るフィルタが途中点に対して使用されるが、この結果を有する次善のボックスフ
ィルタと隣り同士の画素が１／４と３／４の点に使用される。
【０１８８】 さらに、基準色チャネル（chrominance channel）（Ｕ＝Ｒ−Ｙ及びＶ＝Ｂ−
Ｙ）は、ＭＰＥＧ−４下の動き補償ステップでサブ画素解像度を利用しない。ル
ミナンスチャネル（Ｙ）は１／２又は１／４の画素の解像度を有しているから、
１／２解像度の基準色のＵとＶのチャネルは、ルミナンスの１／２画素に対応し
て、１／４画素解像度のフィルタを使ってサンプリングしなければならない。１
／４画素の解像度がルミナンスに対して選択されるとき、１／８画素の解像度を
ＵとＶの基準色に使用しなければならない。
【０１８９】 ルミナンスに１／４画素の解像度を実行するとき、１／４、１／２及び３／４
の画素点をフィルタするのに負のローブの接頭sinc関数を使用することによって
（上記のように）、及び１／２画素ポジションをつくるフィルタに対して１／２
画素の解像度を実行するとき類似の負のローブを使用することによって、フィル
タリングの効果が有意に改善されることを、実験が示した。
【０１９０】 １／４画素のルミナンス解像度を使用するとき、ＵとＶのクロミナンスに対し
１／８画素点をフィルタするため負のローブの接頭sinc関数を使用することによ
って、及び１／２画素のルミナンス解像度を使用するとき、類似の負ローブフィ
ルタを有する１／４画素解像度フィルタを使用することによって、同様に、フィ
ルタリングの効果が有意に改善される。
【０１９１】 １／４画素の動きベクトルを接頭sinc動き補償変位フィルタリング（truncate
d sine motion compensated displacement filtering）と組み合わせると、写真
の画質が大きく改善されることが発見された。特に清浄性が改善され、ノイズと
アーチファクトが減少し、そして彩度のディテール（chroma detail）が増大す
る。
【０１９２】 これらのフィルタは、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、又は他の
適切な動き補償ブロックベースの画像符号化システムによって、ビデオ画像に適
用できる。
【０１９３】画像形成装置の特性決定と修正 特定のプログレッシブスキャン（非インタレース化）カメラを扱う際に、特定
のカメラに特異的なプレプロセッシングを、圧縮（階層化又は非階層化）の前に
適用することが非常に望ましいことが実験で確認された。例えば、一つのカメラ
のタイプに、レッドとグリーンに対するセンサ間の一画素の１／３及びグリーン
とブルーのセンサ間の別の１／３画素（レッドとブルーの間の２／３画素）の機
械的水平方向の調整不良（mechanical horizontal misalignment）がある。これ
によって、小さい垂直ディテールのまわりにカラーフリンジが起こる。これらの
カラーフリンジは、原画像では眼に見えないが、圧縮／復元プロセスで、非常に
よく眼に見えるようになり望ましくないカラーノイズを生成する。この一つのカ
メラタイプに特異的なプレプロセス（pre-process）がこのカラー変位を修正し
て、カラーアーチファクトがない圧縮に対する入力をもたらす。したがって、眼
に見えないが、カメラやそのセンサの特性のこのような小さいニュアンスは、最
終の圧縮され／復元された結果の許容性と品質に対して重要になる。
【０１９４】 したがって、「眼が見るもの」と、「コンプレッサが見るもの」を識別するこ
とが有用である。この識別を有利に利用して、圧縮され／復元された画像の画質
を大きく改善するプレプロセッシングステップが発見された。
【０１９５】 したがって、圧縮／復元システムに対する入力をつくる際に使用される各個々
の電子カメラ、各カメラタイプ、各フィルムタイプ及び各個々のフィルムスキャ
ナ及びスキャナタイプは、カラーアラインメント（color alignment）及びノイ
ズ（ビデオカメラとスキャナに対する電子ノイズとフィルムに対する粒子）によ
って、個々に特性を決定しなければならない。画像がつくられる情報、特定の性
質の表及び装置の各部品の特定の設定は原画像によって運ばれ、次いで、圧縮さ
れる前にプロプロセッシングで使用されねばならない。
【０１９６】 例えば、特定のカメラはカラーリアラインメント（color realignment）を必
要とすることがある。また特定のカメラは中位のノイズ設定で設定されることも
ある（必要なノイズプロセッシングの大きさに実質的に影響する）。これらカメ
ラの設定と固有のカメラ特性は、そのカメラからの各ショットにそって補助情報
としてはこばれねばならない。次に、この情報を利用して、プレプロセッシング
のタイプ及びプレプロセスのためのパラメータの設定を制御することができる。
【０１９７】 多数のカメラから編集されるかまたは多数のカメラ及び／又はフィルム源から
復号される画像の場合、そのプレプロセッシングは、恐らく、このような編集や
組合せを行う前に実施すべきである。このようなプレプロセッシングは、画像の
質を低下させてはならず、眼に見えないが圧縮の質には大きな影響を与える。
【０１９８】 特定の圧縮システムに入力すべき画像をつくるために使用される非フィルム画
像形成システム（例えば電子カメラとフィルムスキャナ）に対しかような特性決
定を実施し使用する一般的な方法は次のとおりである。 （１）解像試験チャートの画像をつくり、次いでカラーペア（例えばＲＧ、ＲＢ
、ＧＢ）によって、好ましくは画素単位で表現して、画素センサの水平と垂直の
カラーアラインメント（フィルムの場合は粒子）を測定する。 （２）１又は２以上のモノクロム試験チャートの画像をつくり、次いでセンサが
個々に、好ましくはレッド、グリーン及びブルーの画素値として表現されたセッ
トとして（例えばホワイトカード、黒カード、５０％と１８％のグレイカード並
びにレッド、グリーン及びブルーの各基準カードの画像をつくることによる）発
生したノイズを測定する。そのノイズが、他のカラーチャネルからの出力の変化
及び隣接する画素を比較することによって、相互に関連しているかどうかを決定
する。 （３）正確に調整された装置によってつくられた正確な情報を画像とともに選ぶ
（例えば電子伝送、機械可続媒体への記憶又は画像に付随するヒト可続データに
よって）。 （４）画像形成システムからの画像を圧縮プロセスで使用する前に、画素を、カ
ラーによって、等しいオフセット量によって翻訳して、測定されたミスアライン
メントを修正する。例えば、レッドセンサがブルーセンサより０．２５画素低く
ミスアラインされていれば、画像中のすべてのレッド画素は、０．２５画素だけ
上方へシフトさせねばならない。同様に、ノイズの測定量に基づいて、ノイズ減
少フィルタの重みを、測定ノイズの量を補償する量だけ調節する（これは、経験
で確認し、そして手作業によるか又は計算された参照表に定義する必要がある）
。
【０１９９】 特定の圧縮システム中の入力すべき画像をつくるのに使用されるフィルム画像
形成システムに対し、このような特性決定を実施し使用する一般的方法は次の通
りである。 （１）フィルムのタイプを決定する（粒子はフィルムのタイプによって変化する
）。 （２）そのフィルムを、各種の照明条件下で、１又は２以上のモノクロム試験チ
ャートに露出する（ノイズは一部分、露出の関数である）。 （３）フィルムを通常の速度でフィルムスキャナによって走査し（このフィルム
スキャナの特性は上記のようにして測定する）次に発生したノイズをセンサによ
って、個々にセットとして測定する。そのノイズが相互に関連しているかどうか
を決定する。 （４）同タイプのフィルムが露出されて正確に調整されたスキャナで走査される
といつでも、その確認され測定された情報（すなわち、フィルムのタイプ、露出
条件、走査特性）を、走査されるフィルム画像とともに運ぶ。 （５）このような画像を圧縮プロセスで使用する前に、ノイズ減少フィルタの重
みを、測定されたノイズの量を補償する量だけ調節する（これは、経験で確認し
次に手動の又はコンピュータ化された参照表で定義する必要がある；その調節は
、少なくとも三つの要因すなわちフィルムのタイプ、露出条件及び走査特性の関
数であるから、コンピュータが好ましい）。
【０２００】強化された３−２プルダウンシステム 上記の３−２プルダウン法を利用して、フィルムを６０Ｈｚビデオへ転送する
ことは、一般に非常に嫌われているプラクチスである。３−２プルダウン法は、
既存のＮＴＳＣ（及びいくつかの提案されているＨＤＴＶ）システムに対して、
２４フレーム／秒が５９．９４フィールド又は６０フィールド／秒に均等に分割
しないので使用されている。奇数のフレーム（又は偶数のフレーム）が、二つの
インタレース化フィールド上に配置され、そして偶数のフレーム（又は奇数のフ
レーム）が三つのインタレース化フィールド上に配置される。したがって、五つ
のフィールド毎に一つのフィールドが重複している。フィルムの一フレームがビ
デオの五フィールドにマップしている。上記のように、このプロセスは非常に多
くの不快な問題を起こす。
【０２０１】 大部分のビデオプロセッシング装置は、そのプロセスを中間信号に適用するだ
けである。この場合、時変効果（time-changing effect）が、たとえいくつかの
入力フィールドが重複していても、一つのフィールドに対して、次のフィールド
とは異なる作用をする。このようなプロセスの後、これらのフィールドはもはや
重複せず、またフィールドペアも再結合して原フィルムフレームを回復すること
ができない。そのフィールド速度で起こるこのようなプロセスの例としては、パ
ン−アンド−スキャン（狭い４：３ビデオスクリーンを、ワイドスクリーン画像
を水平に横切って移動させて、重要なアクションを示す）、フェードアップ又は
フェードダウン、逐次カラー調節、ビデオタイトルオーバーレイスクロールなど
がある。さらに、このような信号がフィルムに捕獲され、次にビデオに編集・処
理されると、そのフィルムのフレーム処理とそのビデオのフィールド処理が、こ
みいった方式で強く混ぜ合わされる。このようなビデオ信号（広く存在している
）が次に、画像圧縮システムに送られると、そのシステムは一般に、次善的に作
動する。
【０２０２】 今までのところ、フィルム源からの最良の画像圧縮は、そのフィルムの２４ｆ
ｐｓ画像が、そのビデオ信号から完全に再抽出できるときだけ（又はより良好な
のは、２４ｆｐｓ領域を決して残さないときだけ）に起こることを、実験が示し
た。次に、その圧縮システムは、原フィルムの元の２４ｆｐｓの速度で、映画（
又はフィルムベースのＴＶショー又はＴＶコマーシャル）を符号化することがで
きる。これは最も有効な圧縮法である。いくつかの映画オンデマンドシステム（
movie-on-demand system）とＤＶＤマスタリングシステムは注意深く３−２プル
ダウンを利用し次いで非常に制限された方法で編集して、２４ｆｐｓの原フレー
ムを最終的に抽出し２４ｆｐｓで圧縮できることを保証する。
【０２０３】 しかし、このような注意は「開ループ」なので、通常のヒトの誤りによって破
られることが多い。編集及びポストプロダクション効果のプロダクションへの適
用の複雑なことが、フィールド速度プロセッシングが行われるときに「過誤」を
もたらすことが多い。したがって、このようなことが起こる可能性を避けて、か
ような誤りを避けるためあらゆることを追跡する試みの複雑さを除く好ましい方
法は次のとおりである。 （１）可能なときはいつでも、直接の２４ｆｐｓの記憶、処理又は通信を支持す
るフィルム処理装置を利用する。 （２）局所記憶のために電子媒体又は高速光学的媒体（例えばハード・ドライブ
及び／又はＲＡＭ）を使用して、すべてのフィルム画像をそれら固有の２４ｆｐ
ｓの速度で記憶する。 （３）装置が３−２プルダウンビデオを入力として受け取るときはいつでも、３
−２プルダウンを、局所記憶（２４ｆｐｓで保たれている）から（リアルタイム
で）変換されたフライ上につくる。 （４）３−２プルダウン画像を生成し伝える装置の出力を記憶させるとき、フラ
イ上の３−２プルダウンを取り消して再び２４ｆｐｓで記憶させる。 （５）フィールドでのみ作動しなければならず、そのためフレームが通常のプロ
セッシング（一つのフレームとして、２及び３のフィールドに対する）で保存で
きないすべての装置を該システムから除く。 （６）記憶された画像シーケンスに作用するかまたは該シーケンスを編集するす
べてのソフトウェアを、その記憶媒体に使用される２４ｆｐｓモードに整合する
ように設定する；２４ｆｐｓの固有モードで作動できないソフトウェアは使用し
ない。 （７）テレシネが直接の２４ｆｐｓ出力を提供しない場合、すべての原画像を決
定性カダンス（deterministic cadence）（すなわち常に３と次に２、又は２と
次に３）でテレビ放映する（すなわち、フィルムからビデオに変換する）。イン
タレース化３−２プルダウンがテレシネからのインターフェースの直後に該カダ
ンスを取り消す。 （８）未知の３−２プルダウンカダンスを有するテープを受け取ったならば、そ
のカダンスはなんらかの方法で見付け出して、記憶される前に除かねばならない
。これは、ハードウェア検出システム、ソフトウェア検出システム又は手動／視
覚で実施できる。あいにく、ハードウェア検出システムは完全ではないので、手
動・視覚による検査が常に必要である（現在のシステムは、フィールドのミスア
ラインメントを検出しようとしている。黒又は白のフレーム上、又は画像の明る
さが一定値のフィールド上のこのようなミスアラインメントは、現在検出するこ
とができない。検出可能なミスアラインメントでさえ、いくつかの検出器は、ノ
イズ又はアルゴリズムの弱さのために失敗する）。 （９）３−２プルダウンを必要とする施設から出力されるテープ記憶はどれも、
純粋に、維持されている既知のカダンスに記憶されそしてそのプログラムの全作
動時間中妨害されない。
【０２０４】 ３−２プルダウンを入力及び出力として必要とする特定のプロセッシング装置
は、上記の方法によって、２４ｆｐｓのソースからリアルタイムでフライに対し
なされたその単一又は複数の入力を得る。そのカダンスは、各入力に対して、標
準の方式で常に始まる。その装置の出力のカダンスはそのとき知られているので
、その装置の入力としてフライに生成するカダンスと同一でなければならない。
そのカダンスは次に、この事前知識（a priori knowledge）によって取り消され
次いでそのフレームは記憶媒体の２４ｆｐｓフォーマット内に保管される。
【０２０５】 この方法は、リアルタイムの３−２プルダウンの取り消しと３−２プルダウン
の合成が必要である。そのカダンスが未知のフォーマットのテープ由来のもので
ないならば、それらのフレームの２４ｆｐｓ性は、かようなフィルムベースのテ
レシネポストプロダクションシステムによって自動的に保存される。そのシステ
ムは次に、圧縮システム（上記の階層化圧縮プロセスを含む）への最適入力を形
成する。
【０２０６】 このプロセスは、ビデオとＨＤＴＶテレシネの施設に広く有用になるであろう
。他日、すべての装置が２４ｆｐｓ（及び他の速度プログレッシブスキャン）の
固有信号の入力、出力、プロセッシング及び記憶モードを受け入れるとき、この
ような方法はもはや必要ないであろう。しかし、その間に、多くの装置は、フィ
ルム入力で作動する目標機能（targeted function）をたとえもっていても、内
外のインターフェース（interface in and out）のために３−２プルダウンが必
要である。この期間中、上記方法は３−２プルダウンの問題点を除くので、フィ
ルムのポストプロダクションとテレシネの効力の必須要素になることができる。
【０２０７】フレーム速度の作成方法 ２４ｆｐｓは、映画フィルムの世界中に及ぶ標準を形成しているが、２４ｆｐ
ｓを使用すると、多くの場合、飛び越しモーションが起こる（次に移動する前に
、フレームの反復フラッシュが多数起こるため「スタッター（stutter）」とも
呼称される）。ゆっくりした動きをさせるのみならず、より平滑な動きすなわち
動く物体のより明瞭な写真を提供するためには（画像を高いフレーム速度で捕獲
するが、その画像をより低い速度で遊動させることによって）、より高いフレー
ム速度が望ましい。上記のように、６０ｆｐｓという米国におけるビデオ速度（
及び放送ビデオの５９．９４ｆｐｓ）は、２４ｆｐｓと比較的非互換性である。
これは、一つの映画を世界中に放出しようとすると問題を起こす。というのは、
５０ＨｚＰＡＬシステムとＳＥＣＯＭビデオシステムは、６０ｆｐｓのＮＴＳＣ
ビデオ及び６０Ｈｚ中心ＵＳＨＤＴＶと比較的非互換性であるからである。
【０２０８】 米国特許願第０９／４３５，２７７号（発明の名称が「System And Method Fo
r Motion Compensation and Frame Rate Conversion」で１９９９年１１月５日
付けで出願され、本願発明の譲受人に譲渡されている）が、例えば６０Ｈｚと５
０Ｈｚ間及び６０Ｈｚと７２Ｈｚ間などの困難なフレーム速度の変換を実施でき
る技法を教示している。これらの技法も、フレーム速度変換に加えてデ−インタ
レース化を行う。
【０２０９】 ６０Ｈｚと５０Ｈｚ間又は６０Ｈｚと７２Ｈｚ間などの近い高フレーム速度間
の変換を行う、上記出願に教示されているフレーム速度変換法を使用したところ
非常に成功したが（その結果は全く良好に見える）、演算の費用が高い。しかし
、動き解析を使用して行う２４Ｈｚと６０Ｈｚ間の変換は全く困難であることが
確認された。２４ｆｐｓでは、フレームが、特に各フレームの動きのブラーの大
きさが異なっている点で（映画「トップガン」からのコックピットのシーンの場
合のように）かなり異なっている。これによって、次のフレーム速度の変換のみ
ならず動き分析が、２５ｆｐｓソースからは困難になる。さらに、動きのブラー
を除くことが不可能であり、その結果、たとえ動き解析が高い動きの２４ｆｐｓ
のシーンに対して可能であっても、その画像はブレたままであろう（それら画像
は、より平滑に移動しスタッターが少ない)。動き分析は画像の整合部分を必要
とするので、動きのブラーの大きさが隣接するフレームとは大きく異なるフレー
ムは整合することがほぼ不可能になる。したがって、フィルム(又は電子カメラ)
からの２４ｆｐｓソースマテリアルは、５０Ｈｚ又は６０Ｈｚのビデオへのフレ
ーム速度変換に対して劣った出発点である。
【０２１０】 これによって、高フレーム速度の電子カメラは、２４ｆｐｓの電子カメラより
はるかに優れた画像ソースであるという結論になる。しかし、６０ｆｐｓのビデ
オから２４ｆｐｓのフィルムへ変換して戻すことが困難であることを考えれば、
７２ｆｐｓは、終局の２４ｆｐｓの互換性についてははるかに優れたカメラフレ
ーム速度である。
【０２１１】 実験は、優れた画質の２４ｆｐｓで動く画像は、非常に単純な重み付けフレー
ムフィルタを使用することによって、７２ｆｐｓのフレームから誘導することが
できる。２４ｆｐｓの一つのフレームを生じる、７２ｆｐｓのソースからの三つ
の連続フレーム(前、現行及び次のフレーム)に対する最良の重み付けは、［０．
１６６７、０．６６６６、０．１６６７］の重み付けが中心になっている。しか
し、［０．１、０．８、０．１］〜［０．２５、０．５、０．２５］の範囲内の
３フレーム重み付けのセットは良好に働いているようである。中央フレームに重
点があり、その中央フレームは、動きのブラーが短いことから、２４ｆｐｓの動
きのスタッターを平滑化する（２４ｆｐｓの動きのブラーをシミュレートするこ
とによって）のに役立てるため隣接するフレームから必要なブラーをプラスした
単一のフレームの明瞭性間のバランスをとるのに役立つ。
【０２１２】 この重み付けの技法は、すべての場合の約９５％でうまく働いて、この単純な
重み付け関数に大部分の２４ｆｐｓ変換を行わせることができる。これらの場合
の残り５％ほどに対しては、米国特許願第０９／４３５，２７７号に教示されて
いるように動き補償を利用できる。この単純な重み付け法によって、該変換プロ
セスに対する作業負荷を１／２０に減らしたことによって、残留動き補償変換は
、必要時に一層実用的になる。
【０２１３】 また、１２０ｆｐｓソースを、五つの重み付けで使用して、２４ｆｐｓで類似
の結果を達成できることにも注目すべきである。例えば［０．１、０．２、０．
４、０．２、０．１］の重み付けを利用できる。また、６０ｆｐｓはフレームを
一つおきにテイクすることによって１２０ｆｐｓから誘導することができるが、
より短いオープンシャッター期間が速い動きに顕著である。この間題を軽減する
ため、オーバーラッピングフィルタも使用することができ（例えば好ましくは［
０．１６６７、０．６６６６、０．１６６７］について使用できるが［０．１、
０．８、０．１］〜［０．２５、０．５、０．２５］の範囲内でもよい）、低振
幅重み付けフレームを繰り返す。勿論、より高いフレーム速度は、時相試料をよ
り注意深くシェープ(shape)して２４ｆｐｓなどのフレーム速度を誘導すること
ができる。フレーム速度が非常に高くなると、本発明の譲受け人に譲渡されてい
る米国特許第５，４６５，１１９号と同第５，７３７，０２７号の技法の適用が
始まる。なぜならば、データ転送速度を管理できるように保つため、各フレーム
内のデータ速度を下げる方法が必要になるからである。しかし、センサ（例えば
アクティブ画素又はＣＣＤ)内でのオンチップ並列処理は、必要なオフチップＩ
／Ｏ速度を下げる別の手段を提供できる。
【０２１４】 ２４ｆｐｓが、新しい７２ｆｐｓ（などの)フレーム速度フォーマットの経済
的実用性のために要望されていると仮定すると、ここで述べられている時相フィ
ルタ重み付け関数（例えば、０．１６６７、０．６６６６、０．１６６７）を使
用して、２４ｆｐｓの画像を監視できることも大切である。これを行うことによ
って、シーン中のショットの「ブロッキング」（セッティングアップ）をチェッ
クして、２４ｆｐｓの結果が（７２ｆｐｓなどのより高い速度のフルレートバー
ジョンに加えて)良好に見えることを保証できる。このように、高フレーム速度
捕獲の利点が、２４ｆｐｓで国際的なフィルムとビデオのリリースを行う性能と
完全に統合されている。
【０２１５】 したがって、特定の選択された高フレーム速度は、既存の２４ｆｐｓのフィル
ム及びワールドワイドビデオをリリースする基本施設と上位互換性があるのみな
らず、将来の高フレーム速度電子画像ソースを創製する最も適切な基礎を形成し
ている。
【０２１６】モジュラビット速度 ビット速度を「モジュール化する」ことは、多くのビデオの圧縮アプリケーシ
ョンに有用である。各種のビット速度システムが、連続的に変化するビット速度
を利用して、より多くのビットをより速く変化するショットに適用するこころみ
をしている。これは、各有用なユニットに異なるビット速度を与えることによっ
て粗い方式で行うことができる。適切なユニットの例としては、ある範囲のフレ
ーム（「写真のグループ」すなわちＧＯＰ）又は各Ｐフレームがある。したがっ
て、例えば、ビット速度はＧＯＰ内で一定であってもよい。しかし、（例えば、
動き又はシーンの変化が大きいため）高い圧縮ストレスが検出されるＧＯＰの場
合、より高い一定のビット速度を利用できる。これは、強化層中のビットすべて
を、高ストレスの期間中、ベース層に適用する（一般に次のＩフレームでリセッ
トする）上記階層化法と類似している。したがって、より多くのビットをベース
層に適用するという概念に加えて、高ストレスの期間中、高品質を得るため、よ
り多くのビットを、単一層圧縮、又はベース層と強化層に（階層化圧縮の場合）
適用できる。
【０２１７】 一般に、低ビット速度は、映画又はライブイベントの時間の９０％を扱うこと
ができる。時間の残りの１０％に対して、５０％又は１００％多いビットを使用
すると、完全に近い符号化がなされるが、全ビットカウントは５％〜１０％しか
増加しない。これは、一般に一定のビット速度に符号化しながら（したがって一
定のビット速度のモジュール性とプロセッシングの利点を大部分保持して）、特
に眼で見える完全な符号化を行うのに非常に有効な方法であることを証明してい
る。
【０２１８】 このようなより高いビット速度の期間の使用は手動で又は自動的に制御するこ
とができる。自動制御は、速度制御量子化スケールファクターを使用して行うこ
とができ、このパラメータは、高ストレスの期間では、（ビット速度が大きく増
大しないようにするため）大きくなる。したがって、このような高ストレスが検
出され、そして残りのＧＯＰはより高いビット速度で符号化されるべきであるか
、あるいはまたＧＯＰは、出発Ｉフレームで始めてより高いビット速度を利用し
再符号化すべきであるという信号を送ることができる。視覚検査を利用して、手
動選択を利用し、ＧＯＰがより高いビット速度を必要としているというフラグを
立てることもできる。
【０２１９】 ＧＯＰが一般に特定の大きさを有していることを利用するためリアルタイム復
号を行うことが有益である。またＧＯＰの単純倍数（Simple multiple）（例え
ば、高いストレスを有するＧＯＰに対するビット数の５０％又は１００％の増加
）を使用することも、前記利点を多く保持する。図１７は、より高いビット速度
を、圧縮されたデータ流のモジュラ部分に適用する一例の線図である。正常シー
ン１８００、１８０２を含む写真のグループが、一定速度のビットを割り当てら
れている。高レベルのストレス（すなわち圧縮プロセスが「正常」シーンと同等
に圧縮することが難しい変化）を示すシーンを含むＧＯＰ１８０４が起こると、
一層多数のビット（例えば５０〜１００％の追加）がそのＧＯＰに割り当てられ
て、そのシーンのより正確な符号化を行うことができる。
【０２２０】 多くのＭＰＥＧ−２の装置が一定のビット速度を使用することは注目すべきで
ある。一定のビット速度は、一定ビット速度のトランスポートと記憶の媒体と良
好に整合する。放送チャネル、衛星チャネル、ケーブル及びファイバなどのトラ
ンスポートシステムはすべて、固定された一定のトータルキャパシティ（total
capacity）を有している。また、ディジタル圧縮ビデオテープ記憶システムは一
定のテーププレイバック速度を有しているので、一定の記録又はプレイバックの
ビット速度を生成する。
【０２２１】 ＤｉｒｅｃＴＶ／ＤＳＳ及びＤＶＤなどの他のＭＰＥＧ−２装置は、ある形態
の可変ビット速度割り付け（variable bit rate allocation）を利用する。Ｄｉ
ｒｅｃＴＶ／ＤＳＳの場合、その変動性は、現行プログラムのシーンストレス（
scene stress）対共通マルチプレックスを共用する隣接ＴＶプログラムのシーン
ストレスの組み合わせである。そのマルチプレックスは同調された衛星チャネル
とトランスポンダに相当し、それは固定トータルビット速度を有している。消費
者ビデオＤＶＤの場合、そのディジタル光ディスクの容量は２．５ギガバイトで
あり、ＭＰＥＧ−２のビット速度が２ｈｒの映画に対して平均４．５メガビット
／秒であることが必要である。しかし、その光ディスクは、９メガビット／秒で
１００％高いピーク読み出し速度の性能を有している。より短い映画の場合、平
均速度は充分な９メガビット／秒まで高くしてもよい。２ｈｒの映画の場合、そ
のビット速度が平均４．５メガビット／秒を達成する方法は、これを超える速度
を高いシーンストレスを有するシーン（シーンの動きが高いため変化が大きい）
に対して使用するが、一方この平均値より低い速度をシーンストレスが低い（動
きが小さいため変化が小さい）間に使用する方法である。
【０２２２】 ＭＰＥＧ−２とＭＰＥＧ−４のビット速度は、事実上の復号器バッファの容量
のモデリングを組み合わせそして量子化パラメータを変えて、符号器が発するビ
ット速度を減速することによって一定に保持される。あるいは、一定の量子化パ
ラメータは、シーンの「エントロピー」としても知られているシーンの変化とデ
ィテールに比例して、数が変化するビットを生成する。一定の量子化パラメータ
は比較的一定の品質であるが可変のビット速度を生じる。変化する量子化パラメ
ータは、サイズ限定復号器バッファ（size bounded decoder buffer）とともに
使用して、どんな変動性も平滑化して一定のビット速度を提供することができる
。
【０２２３】 マルチプレックスの多くのチャネルを共用することは、ＤｉｒｅｃＴＶの場合
、又はＡＣＡＴＳ／ＡＴＳＣ１９．３メガビット／秒６メガヘルツマルチプレッ
クスの標準精細度の信号の場合と同様に、可変ビット速度を支持できる一方法で
ある。低エントロピーのショウ（トークショウのような）とペアになって高エン
トロピーのショウ（ホッケーのような速いスポーツ）の統計データは、より大き
なエントロピーを有するショウにビットを適用する際に瞬間トレードオフ（inst
antaneous tradeoff）することができる。一つのショウにおけるゆっくりした期
間は、より少数のビットを使用し、同じマルチプレックス内の速く動く同時の別
のショウに対しより多くのビットを提供する。
【０２２４】 これらの可変ビット速度システムは、通常、平均値をほぼ１００％超えるとこ
ろにピークのビット速度を有している。したがって、これらのシステムは、最も
高いビット速度で一定ビット速度システムになり、高いシーンストレスが続いて
いる期間利用可能なピークビット速度を限定する。また、いくつものＭＰＥＧ−
２復号器システムの入力ビット速度にも限度があり、このような可変ビット速度
システムのピークビット速度にも限度がある。しかしピーク入力ビット速度に対
する限度は、復号器が改善されるとこれらの他の限度を充分超えて、徐々に上昇
する。
【０２２５】 これら従来の各ビット速度制御システムの一般概念は、その復号器内に小さな
メモリバッファがあり、そのバッファは、移動する画像の一フレーム及び数フレ
ームのほぼ一フラクションを保持しているということである。この復号器のビッ
ト速度バッファが考えられた１９９０年頃には、復号器のこのバッファメモリの
コストが、復号器の価格に有意に影響するであろうという懸念があった。しかし
、現在は、このバッファのコストは微々たるものであることが確認されている。
事実、多数秒分のバッファは現在では微々たるコストである。近い将来、ビット
受取メモリバッファは、多数分のビデオ情報をわずかなコストで保持できると推
測できる。さらに、ディスクなどの記憶媒体のコストも急速に低下しているが、
容量は急速に増大している。したがって、圧縮されたビットストリームを、ディ
スクなどの記憶メモリシステムにスプールして、多数時間分又は多数日分の記憶
容量を得ることも合理的である。これは、現在、市販のハードドライブベースの
ホームビデオレコーダによって行われている。
【０２２６】 しかし、ビットが圧縮されたビットバッファで待っている間、時間遅延がある
という一つの基本的な問題点が残っている。放送テレビジョンや映画配給の場合
、数秒間又は数十秒間の遅延は、進行中のプログラム「tune-in」又は「movie s
election」を案内する補助選択ストリーム（auxiliary selection stream）を利
用できる限り、又は（例えば映画の）初期スタートが小さい初期バッファによっ
て短くした遅延を利用する場合、視聴するのにほとんど影響がない。しかし、遠
隔会議又はライブの対話イベントの場合、遅延を最小限にするため小さい高速度
の実行バッファ（running buffer）が必要である。ライブの対話と遠隔会議の用
途を除いては、安価な大きいバッファを利用して品質を改善することができる。
【０２２７】 これらの傾向に照らして、可変及び一定のビット速度の圧縮法の構造は有意に
改良することができる。これらの改良点としては以下のものがある。 ・復号器バッファモデルにおけるバッファサイズを大きく増大して、可変ビット
速度と一定ビット速度の多くの利点を同時に提供すること。 ・復号器バッファが満ち始める間、標題への瞬間的な変化を支持するための「イ
ンタスティシャル（interstitial）」ショウのタイトルの事前ローディング。 ・新しく出発したプログラム又は映画の開始時に部分充填ＦＩＦＯ（先入れ先出
し）復号器ビット速度バッファを利用し、次いで該プログラムが開始した後、進
行するにつれてバッファフルネス（buffer fullness）（したがって遅延）を徐
々に増やすこと。 ・平均ビット速度を、高いシーンストレスの期間に増大するため、（上記モジュ
ラビット速度の概念を使用して）増大させたビット速度「モジュール」を、（例
えば第二ＦＩＦＯ、メインメモリ又はディスクへのスプーリングを利用して）復
号器ビットメモリに事前ロードすること。このような事前ローディングは、一定
ビット速度のチャネルで平均ビット速度を超えるのみならず、可変ビット速度の
システム内で最大ビットを超えるビット速度の期間を可能にする。 ・本発明の階層化構造において、平均の（又は一定の）ビット速度ストリーム中
のビットはすべて、高いシーンストレスを有するシーンの間、ベース層にシャン
トさせる（shunt）ことができる。しかし、一シーンに対する強化層ビットは、
そのシーンに事前ロードすることができ、そして、同期化のためのタイミングメ
ーカーを利用してプレイアウト（play out）させることができる。トランスポー
ト及び／又はプレイバックにおける最大（又は一定の）ビット速度の限度は、こ
の方法を利用する期間（利用可能なバッファスペースの大きさによってのみ限定
される）、超えることができるということにやはり留意すべきである。
【０２２８】多層ＤＣＴ構造 可変ＤＣＴブロックサイズ 変形波長（transform wavelength）の高調波アラインメントは、階層化ＤＣＴ
構造にとって基本的なものである。例えば、図１８は、二つの解像度層間のＤＣ
Ｔ高調波の関係を図式で示す。本発明の現在の最適の２層配置構成において、ベ
ース層は、８×８画素のＤＣＴブロックサイズ１９００の１、２、３、４、５、
６及び７倍の周波数を有する算術高周波シリーズ（arithmetic harmonic series
）を使用するＤＣＴ係数を利用する。ファクターが２の解像度強化層において、
これらベース層の高調波は対応する強化層ＤＣＴブロック１９０２の１／２、１
、３／２、２、５／２、３及び７／２の周波数にマップする。その周波数は全体
がベース層に保持されているから、１／２項に対するペナルティはないが、残り
の項が強化層と部分的にのみハーモナイズする。例えば、ベース層由来のマクロ
ブロックサイズの２、４及び６倍の周波数を強化層由来のマクロブロックサイズ
の１、２及び３倍の周波数とアラインさせる。これらの項は、追加の精度があた
かもベース層のこれら係数に適用されたように、自然の信号／ノイズ比（ＳＮＲ
）の階層化を形成する。ベース層由来の３、５及び７項は、強化層と非調波的（
non-harmonic）なので、ベース層だけに対して直交性（orthogonality）を示し
、強化層との相乗作用を全く提供しない。強化層の残りの項４、５、６及び７は
、強化層が、ベース層とオーバーラップすることなく、画像に提供できる追加の
ディテールを表す。図１９は、三つの解像度層間のＤＣＴ高調波の類似の関係を
図式で表し、最高の強化層１９０４を示す。
【０２２９】 この構造には部分的な直交性と部分的なアラインメントしかないことが分かる
であろう。このアラインメントと直交性は一般に有益であるが、該ＤＣＴ符号化
シリーズの位相アラインメントは、二つの（又は三つ以上の）空間解像度層に対
して決して最適化されなかった。むしろＤＣＴは、位相搬送画像項（phase-carr
ying imaginary term）をフーリエ変換級数から除いた、位相特性を利用する一
組の直交基底関数（orthogonal basis function）として設計された。そのＤＣ
Ｔは、２層空間符号化構造（two-layer spatial coding structure）において符
号化を行うのに、明らかに適切であるが、層の直交性と位相の関係のこれらの論
点は、三つ又は四つの空間解像度層への階層化された構造の拡張が中心になって
いる。
【０２３０】 交差層の直交性を提供するための解決策は、各解像度層に対し異なるＤＣＴブ
ロックサイズを利用する方法である。例えば与えた層の解像度が２倍になれば、
そのＤＣＴブロックの大きさは２倍になる。これによって、解像度階層化構造が
調波的にアラインされ、層間係数の直交性（inter-layer coefficient orthogon
ality）が最適であるため、最適の符号化効率が提供される。
【０２３１】 図２０は、異なる解像度層に対する各種のＤＣＴブロックサイズを示す線図で
ある。例えば、４×４画素ＤＣＴブロック２０００はベース層に使用することが
でき、８×８画素ＤＣＴブロック２００２は、上の次の層に使用することができ
、１６×１６画素ＤＣＴブロック２００４は第三層に使用することができ、そし
て３２×３２画素ＤＣＴブロック２００６は第四層に利用することができる。こ
のように、各層は、完全直交性の追加の調波項を、下の単一又は複数の層に加え
る。任意に追加の精度（ＳＮＲのセンスの）を、先にカバーされた係数項（prev
iously covered coefficient term）に加えることができる。例えば、上記３２
×３２画素ブロック２００６中の１６×１６画素サブセット２００８を使用して
、１６×１６画素ＤＣＴブロック２００４の精度と（ＳＮＡ改良センスで）高め
ることができる。
【０２３２】 動きベクトル ＭＰＥＧ−２において、動きベクトルに対応するマクロブロックは、１６×１
６画素からなり、四つの８×８ＤＣＴブロックとして編成されている。ＭＰＥＧ
−４において、各マクロブロックは、任意に、それ自身の動きベクトルを各々が
もっているＤＣＴブロックに対応する８×８領域中にさらに細分化することがで
きる。
【０２３３】 たとえＤＣＴブロックが、各層のサイズが異なっている方が好ましくても、そ
の動き補償マクロブロックはこの構造によって拘束される必要がない。最も単純
な構造は、動きがベース層の動きベクトルによって、すべての層に対して指定さ
れるので、各ベース層の動き補償マクロブロックの単一の動きベクトルが、すべ
てのより高い層にも当てはまり、すべての強化層から動きベクトルをすっかり除
く構造である。しかしより効率的な構造は、各層に、独立して、（１）動きベク
トルなし（すなわちベース層の動きベクトルを使用する）、（２）ベース層の動
きベクトルに対する追加のサブ画素の精度、又は（３）各動き補償マクロブロッ
クを、独立した動きベクトルを各々が有する２個、４個などの数のブロックに分
割することを選択させる構造である。ＭＰＥＧ−４内のオーバーラップされたブ
ロックの動きを補償する（ＯＢＭＣ）方法を利用して、動かされている独立した
ブロックの動き補償間の遷移を平滑化することができる。この説明の他の部分で
詳記されているように、サブ画素を配置するため負のローブのフィルタを使うこ
とも、このＤＣＴ層構造の動きを補償するのに有益である。
【０２３４】 したがって、各層における各ＤＣＴブロックは、その層にとって最適であるよ
うに、動きを補償するために多数の動きベクトルブロックに分割できる。図２１
は、独立した動きベクトルを確認するため動き補償マクロブロックを分割する例
を示す線図である。例えば、ベース層は、４×４画素ＤＣＴブロック２１００を
使用して構築されると、１個（図示してある）から１６個もの多数の動きベクト
ル（各画素に対して一つずつ）を使用できるか又はサブ画素の動きベクトルを利
用することさえできる。これに応じて、より高いレベルが各々、そのより大きい
対応するＤＣＴブロック２１０２、２１０４、２１０６を適切な場合に分割して
、符号化予測品質（したがってセービング（saving）ＤＣＴ係数ビット）対動き
ベクトルを指定するのに必要なビット間の最適のバランスが得られる。動きを補
償するためのブロックの分割は、動きベクトルを符号化に使用されるビットと、
写真予測の改良との間のトレードオフである。
【０２３５】 本願の他の部分に記載されているように、低い方の層の動きベクトル由来の案
内ベクトルを、高い方の層の各動きベクトルを予測するのに使用すると、やはり
、符号化の効率と効力が改善される。
【０２３６】可変長さ符号化の最適化 ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３などの圧縮システム
（ウェーブレットなどのＤＣＴシステムと非ＤＣＴシステムを含む）が利用する
可変長さの符号（例えばハフマン符号又は算術符号）は、小グループの試験シー
ケンスについて立証された効率に基づいて選択される。これらの試験シーケンス
は、画像のタイプに限定されて、比較的狭い範囲のビット速度、解像度及びフレ
ーム速度だけを表す。さらに、該可変長の符号は、各試験シーケンス及びグルー
プとしての試験シーケンスに関する平均の性能に基づいて選択される。
【０２３７】 実質的に一層最適の可変長さ符号化システムは、（１）特定の可変長さ符号化
テーブルを各フレームに適用し、次に（２）その特定のフレームに対して最も最
適の符号を選ぶことによって得ることができることを実験が示した。最適の可変
長さ符号のこのような選択は、フレーム（フレームの一部又は領域）より小さい
ユニット又はいくつものフレームのグループに適用できる。動きベクトル、ＤＣ
Ｔ係数、マクロブロックのタイプなどに使われる可変長さ符号は、各々、与えら
れたユニット（すなわち、フレーム、サブフレーム又はフレームのグループ）に
対し、そのユニットの現行の解像度とビット速度にて、独立して最適化すること
ができる。また、この方法は、本願の別の部分で述べられている空間解像度強化
層にも適用できる。
【０２３８】 可変長さ符号のどのグループを使うべきかという選択は、少数のビットを使っ
て、各フレーム（又はサブパート又はグループ）で運ぶことができる。さらに、
カスタム符号化表は、信頼性が高いデータの伝送とプレイバックを利用できると
ころへ（例えばデータ光ディスク又は光ファイバーネットワークで）ダウンロー
ドすることができる。
【０２３９】 ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、ＤＶＣ−Ｐｒｏ／
ＤＶなどの圧縮システムが使用する既存の符号化表は、定義済でかつ静的（pre-
defined and static）であることに注目すべきである。したがって本発明のこの
側面の適用は上位互換性ではないが、将来の符号化システムと下位互換性であろ
う。
【０２４０】ＭＰＥＧ−２とＭＰＥＧ−４用の増強システム 現在、ＭＰＥＧ−２を実現できる復号器（MPEG-2 capable decoder）の大きな
設置ベースがある。例えば、ＤＶＤプレーヤー及びＤｉｒｅｃＴＶ衛星受信機は
ともに、現在、数百万の家庭にある。ＭＰＥＧ−４はＭＰＥＧ−２と互換性がな
いので、ＭＰＥＧ−４ビデオ圧縮復号化がＭＰＥＧ−２を超えて提供できる改良
点はまだ利用できない。しかし、ＭＰＥＧ−４とＭＰＥＧ−２はともに、動きを
補償されたＤＣＴ圧縮システムであり、共通の基本構造を共用している。ＭＰＥ
Ｇ−４のビデオ符号化システムの合成システム（composition system）はＭＰＥ
Ｇ−２とは基本的に異なり、いくつかの他の拡張された特徴がある。この考察で
は、ＭＰＥＧ−４のフルフレームビデオ符号化の側面だけを考察している。
【０２４１】 ＭＰＥＧ−４とＭＰＥＧ−２の間には多数の差があるが、主な差は次のとおり
である。 （１）ＭＰＥＧ−４は、１６×１６マクロブロックを四つの８×８ブロックに、
各ＤＣＴに対して一つずつ任意に分割することができ、その８×８ブロックは各
々独立の動きベクトルを有している。 （２）ＭＰＥＧ−４−Ｂフレームは、予測の一タイプである「直接」モードをも
っている。 （３）ＭＰＥＧ−４−Ｂフレームは、Ｂフレームの「Ｉ」マクロブロックを支持
するＭＰＥＧ−２と異なり「Ｉ」マクロブロックを支持しない。 （４）ＭＰＥＧ−４のＤＣＴ係数は、ＭＰＥＧ−２の場合より一層精緻なパター
ンで符号化することができるが、周知のジグザグパターンがＭＰＥＧ−２とＭＰ
ＥＧ−４の両者に共通している。 （５）ＭＰＥＧ−４は１０ビットと１２ビットの画素深度（pixel depth）を支
持するが、ＭＰＥＧ−２は８ビットに限定されている。 （６）ＭＰＥＧ−４は１／４画素の動きベクトルの精度を保持しているが、ＭＰ
ＥＧ−２は１／２画素の精度に限定されている。
【０２４２】 いくつかのこれらの差、例えばＢ−フレーム「直接」モードと「Ｉ」マクロブ
ロックの差は基本的に互換性がないことを意味している。しかし、これら符号化
モード両者は自由に選択され、そして符号器はこれらをどちらも使用しないこと
を（小さな効率損失で）選択しその結果、この非互換性を除くことができる。同
様に、符号器は、ＤＣＴ係数のためのＭＰＥＧ−４の符号化パターンを限定して
、より優れたＭＰＥＧ−２の共通の性質を提供できる（やはり小さい効率損失で
）。
【０２４３】 残りの三つの主要項、すなわち８×８四方向（four-way）ブロックスプリット
、１／４画素動きベクトル精度及び１０ビットと１２ビットの画素深度は、ＭＰ
ＥＧ−２がすでに提供している基本構造に対する「増加物（augmentation）」と
みなすことができる。
【０２４４】 本発明のこの側面は、これらの「増加物」を別の構造物として提供できること
を利用する。したがって、この増加物は、別々に符号化され、別の増加物ストリ
ームとして、標準のＭＰＥＧ−２又はＭＰＥＧ−４のストリームとともに運ぶこ
とができる。また、この技法は、ＭＰＥＧ−１、Ｈ．２６３などの、共通の動き
補償ＤＣＴ構造体を共用するビデオ符号化システムでも使用することができる。
図２２は、ＭＰＥＧ−２タイプシステムに対する増加システムを示すブロック図
である。主圧縮データストリーム２２００（図２２には動きベクトル、ＤＣＴ係
数、マクロブロックモードビット並びにＩ、Ｂ及びＰのフレームを含めて示して
ある）が、従来のＭＰＥＧ−２タイプ復号器２２０２及び並列の強化復号器２２
０４に運ばれる。強化データストリーム２２０６（１／４画素動きベクトル精度
、８×８四方向ブロックスプリット動きベクトル並びに１０ビット及び１２ビッ
トの画素深度を含めて図示してある）が、同時に、強化復号器２２０４に運ばれ
る。強化復号器２２０４は、二つのデータストリーム２２００と２２０６を組み
合わせて、それらを、復号して、強化ビデオ出力を提供する。この構造を使用し
て、符号化の強化を、どの動き補償ＤＣＴ圧縮システムにも加えることができる
。
【０２４５】 この構造の使用は、より最適のＭＰＥＧ−２復号又はより最適の強化信号を行
うための復号器によってバイアスすることができる。ＭＰＥＧ−４ビデオ符号化
の改良点を加えることによって強化されたこのような復号が、ＭＰＥＧ−２が復
号した写真の画質に少し妥協して、最適に強化された写真画質を達成するのに好
都合であろうと期待される。
【０２４６】 例えばＭＰＥＧ−２ビデオ符号化をＭＰＥＧ−４で強化する場合、ＭＰＥＧ−
２の動きベクトルは、前記四方向スプリット動きベクトルに対する「予測子（pr
edictor）」として使用でき（ＭＰＥＧ−４が四方向スプリットを選択する場合
に）、又は非スプリット１６×１６マクロブロックに対して直接使用できる。１
／４画素動きベクトル解像度は、強化データストリーム２２０６内の精度の追加
の１ビットとして符号化する（垂直方向と水平方向）ことができる。余剰画素深
度（extra pixel depth）は、逆ＤＣＴ関数を適用する前に、余剰精度として、
ＤＣＴ係数に符号化することができる。
【０２４７】 本発明の重要な課題である空間解像度の階層化は、ベース層ができるだけ完全に
符号化されると、最も最適に機能する。ＭＰＥＧ−２は不完全な符号化を行い、
解像度強化層に劣った性能を生じる。上記増加システムを使用することによって
、ベース層は、例えば、上記のＭＰＥＧ−４の改良点（及び本願に記載の他の改
良点）を用いて、ベースを符号化するＭＰＥＧ−２データストリームを増大する
ことによって改良することができる。得られるベース層は、付随する強化データ
ストリームとともに、より優れた符号化（例えばＭＰＥＧ−４及び本発明の他の
改良方法による）からもたらされた改良ベース層を利用して得られる品質と効率
の大部分を有している。得られた改良ベース層には、本発明の他の側面を使用し
て、又は２以上の解像度強化層を適用できる。
【０２４８】 本発明の他の改良品、例えば動きを補償するため負のローブを有するより優れ
たフィルタは、増大された強化復号器によって呼び出すこともでき、ＭＰＥＧ−
４などの動き補償圧縮システムが提供する改良点を超える改良点がさらに生じる
。
【０２４９】空間強化層に対する案内ベクトル 動きベクトルは、本発明によってつくられた各解像度強化層内に割り当てられ
たビットの大きな部分を含んでいる。ベース層の同じ位置に、対応する動きベク
トルを、「案内ベクトル」として使用することによって、強化層の動きベクトル
に必要なビットの数を実質的に減らすことが可能であることが確認された。した
がってその強化層の動きベクトルは、ベース層からの対応する案内ベクトル中心
について小さいサーチ範囲のサーチだけで符号化される。このことは、ＭＰＥＧ
−４強化層にとっては特に重要である。なぜならば、各マクロブロックは任意に
四つの動きベクトルをもつことができ、かつ動きベクトルの１／４画素解像度を
利用できるからである。
【０２５０】 図２３は、ベース層２３００からの動きベクトルを案内ベクトルとして解像度
強化層２３０２に使用することを示す線図である。ベース層２３００からの動き
ベクトル２３０４は、解像度強化層２３０２のスケールまで拡張した後、強化層
２３０２の動きベクトルを改善するための案内ベクトル２３０４’として役立つ
。したがって、対応する強化層２３０２の動きベクトル２３０６を見つけるのに
、小さい範囲しかサーチする必要はない。そのプロセスは、ベース層由来のすべ
ての動きベクトルに対して同じである。例えば、ＭＰＥＧ−４では、１６×１６
画素ベース層マクロブロックは、四つの８×８画素動きベクトルブロックに任意
に分割できる。次に、対応するファクター２（factor-of-two）の強化層が、案
内ベクトルとして、ベース層からの同時に配置されている動きベクトルを利用す
る。この実施例では、ベース層中の８×８動きベクトルブロックのうちの一つか
らの動きベクトルが、強化層中の対応する１６×１６画素マクロブロック内の動
きベクトルのサーチを案内する。この１６×１６ブロックは、すべて同じ対応す
るベース層動きベクトルを案内ベクトルとして利用して、任意に、四つの８×８
動きベクトルブロックにさらに分割することができる。
【０２５１】 強化層中のこれら小さいサーチ範囲の動きベクトルは、次に、はるかに高い効
率で符号化される（すなわち、より小さい強化層動きベクトル２３０６をコード
するのに必要なビットは少ない）。この案内ベクトル法は、ＭＰＥＧ−２、ＭＰ
ＥＧ−４又は他の適切な単一又は複数の動き補償空間解像度強化層に適用できる
。
【０２５２】強化モード 図２４Ａ−２４Ｅは、代表的な専門レベルの強化モードに現れるデータ流の線
図である。これらの図は、左欄に写真データ（中間段階を含む）を示し、中央欄
にプロセッシングステップを示し、そして右欄に出力を示す。これはここで述べ
るいくつものプロセッシングステップを結合する方法のほんの一例であることに
注目すべきである。より簡単な及びより複雑な異なる結合を配置構成して、異な
るレベルの圧縮、アスペクト比及び画像の画質を達成することができる。
【０２５３】 図２４Ａは２ｋ×１ｋ画素の初期写真２４００を示す。この画像をダウンフィ
ルタして（２４０２）１ｋ×５１２画素２４０４にする。動きベクトル２４０６
を初期写真からつくりファイル２４０７として出力する。前記１ｋ×５１２画素
画像２４０４を圧縮／復元して（２４０８）１ｋ×５１２復元画像２４１０にし
、次いでその圧縮されたバージョンをベース層２４１２として、関連する動きベ
クトルファイル２４１６とともに出力する。１ｋ×５１２の復元された画像２４
１０を拡張して（２４１８）２ｋ×１ｋ画像２４２０とする。１ｋ×５１２画像
２４０４を拡張して（２４２２）、２ｋ×１ｋ画像２４２４にする。２ｋ×１ｋ
の画像２４２０を、オリジナル画像２４００から差し引いて（２４２８）、２ｋ
×１ｋ差分写真２４２８をつくる。
【０２５４】 ２ｋ×１ｋの画像２４２４をオリジナル画像２４００から差し引いて（２４３
０）２ｋ×１ｋの差分写真２４３２をつくる。２ｋ×１ｋ差分写真２４３２の振
幅を選択した大きさ（例えば０．２５倍）に小さくして（２４３４）、２ｋ×１
ｋの大きさの差分写真２４３６をつくる。２ｋ×１ｋの大きさの差分写真２４３
６を２ｋ×１ｋの差分写真２４２８に加えて（２４３８）、２ｋ×１ｋの組み合
わせ差分写真２４４０をつくる。その組み合わせ差分写真２４４０を、オリジナ
ルの動きベクトルを使用して符号化／復号し（２４４２）、次いで符号化された
強化層２４４４を出力し（この実施例ではＭＰＥＧ−２）、次に２ｋ×１ｋの復
号された強化層２２４６を出力する。２ｋ×１ｋの復号された強化層２２４６を
、２ｋ×１ｋの画像２４２０に加えて（２４４８）、２ｋ×１ｋの再構築したフ
ルベースプラス強化画像２４５０をつくる。オリジナル画像２４００を、２ｋ×
１ｋの再構築されたフルベースプラス強化画像２４５０から差し引いて（２４５
２）、２ｋ×１ｋ第二層差分写真２４５４をつくる。２ｋ×１ｋの第二層差分写
真２４５４の振幅を大きくして（２４５６）、２ｋ×１ｋの差分写真２４５８を
つくる。次にレッドチャネル情報２４５８、グリーンチャネル情報２４６０及び
ブルーチャネル情報２４６２を抽出してそれぞれ、レッド差分画像２４６４、グ
リーン差分画像２４６６及びブルー差分画像２４６８をつくる。動きベクトルフ
ァイル２４０７を使用して、該レッド差分写真２４６４からの第二レッド層を符
号化／復号して（２４７０）、レッド第二強化層２４７２及び復号されたレッド
差分画像２４７４にし；グリーン差分写真２４６６からの第二グリーン層を符号
化／復号して（２４７６）、グリーン第二強化層２４７８及び復号されたグリー
ン差分画像２４８０にし；次いでブルー差分写真２４６８からの第二ブルー層を
符号化／復号して（２４８２）、ブルー第二強化層２４８４及び復号されたブル
ー差分画像２４８６にする。前記復号されたレッド差分画像２４７４、前記復号
されたグリーン差分画像２４８０、及び前記復号されたブルー差分画像２４８６
を、復号されたＲＧＢ差分画像２４９０に連結する（２４８８）。復号化された
ＲＧＢ差分画像２４９０の振幅を小さくして（２４９２）、第二の復号されたＲ
ＧＢ差分画像２４９４をつくる。その第二の復号されたＲＧＢ差分画像２４９４
を、前記２ｋ×１ｋの再構築されたフルベースプラス強化画像２４５０に付加し
て（２４９６）、２ｋ×１ｋの再構築された第二強化層画像２４９８をつくる。
その２ｋ×１ｋの再構築された第二強化層画像２４９８をオリジナル画像２４０
０から差し引いて（２５００）、２ｋ×１ｋの最終残留画像２５０２をつくる。
この２ｋ×１ｋの最終残留画像２５０２を次に、無損失で圧縮して（２５０４）
、別々のレッド、グリーン及びブルーの最終の残留差分画像２５０６をつくる。
【０２５５】コンピュータの使用 本発明はハードウェア又はソフトウェア又は両者の組み合わせで実施すること
ができる。しかし、好ましくは、本発明は、１又は２以上のプログラマブルコン
ピュータで実行するコンピュータプログラムで実施され、そのプログラマブルコ
ンピュータは各々、少なくとも一つのプロセッサ、データ記憶システム（揮発性
及び不揮発性のメモリ及び／又は記憶素子を含む）、入力装置及び出力装置を含
んでいる。プログラムコードが入力データに適用されて、ここに記載されている
機能を実行して出力情報を生成する。その出力情報は、既知の方式で、１又は２
以上の出力装置に加えられる。
【０２５６】 このようなプログラムは各々、所望のコンピュータ言語（機械言語、アセンブ
リ言語又は高レベルの手続き型言語、論理言語又はオブジェクト指向プログラミ
ング言語がある）で実行して、コンピュータシステムと通信することができる。
いずれにしろ、その言語は翻訳された言語又は解釈された言語でもよい。
【０２５７】 このようなコンピュータプログラムは、好ましくは、汎用又は専用のプログラマ
ブルコンピュータシステムが読出し可能な記憶媒体又は記憶装置（例えばＲＯＭ
、ＣＤＲＯＭ又は磁気もしくは光の媒体）に記憶され、その記憶媒体又は記憶装
置が該コンピュータによって読み取られると、該コンピュータを設定し（config
ure）作動させて、ここに記載の手続を実行する。また本発明のシステムは、コ
ンピュータプログラムで構成された、コンピュータが読み取り可能な記憶媒体と
して提供されると考えることもでき、このように配置構成された記憶媒体は、コ
ンピュータシステムを、特定の予め定義された方式で作動させて、ここに記載の
機能を実行する。
【０２５８】結論 新規であるとみなされる本発明の異なる側面としては、限定されないが下記の
思想を含んでいる。 ・世界中で広く使われている既存の２４ｆｐｓのフィルムやビデオのインフラス
トラクチャとの互換性を提供するため、高フレーム速度の利益を新しい電子ビデ
オシステムに与えながら、７２ｆｐｓをソースフレーム速度として電子カメラに
使用すること。 ・米国特許願第０９／４３５，２７７号（発明の名称「System And Method For
Motion Compensation and Frame Rate Conversion」、１９９９年１１月５日付
け出願）由来の動き補償とフレーム速度変換を行う方法を利用して７２ｆｐｓ及
び／又は１２０ｆｐｓから６０ｆｐｓに変換すること。 ・［０．１、０．８、０．１］〜［０．２５、０．５、０．２５］の範囲の重み
付けをしたフィルタを使用して行う７２ｆｐｓから２４ｆｐｓへの変換及びほぼ
［０．１、０．２、０．４、０．２、０．１］の重み付けを利用して行う１２０
ｆｐｓから２４ｆｐｓへの変換。 ・［０．１、０．８、０．１］〜［０．２５、０．５、０．２５］の範囲の重み
付けを利用する３フレームのオーバーラッピングセット（１／６０のフレーム各
々に対するアドバンスド２／１２０）を使用して行う１２０ｆｐｓから６０ｆｐ
ｓへの変換。 ・米国特許願第０９／４３５，２７７号（発明の名称「System And Method For
Motion Compensation and Frame Rate Conversion」、１９９９年１１月５日付
け出願）由来の動き補償とフレーム速度変換を行う方法を利用して、一般に好ま
しい単純な重み付けが所望の品質より少ない小比率のシーンについて、動きブラ
ーを増大しフレーム速度を７２ｆｐｓ（又は他のより高い速度）ソースから２４
ｆｐｓに変換すること。 ・より高いフレーム速度（７２ｆｐｓ、１２０ｆｐｓなど）を利用してシューテ
ィング（shooting）を行いながら、上記重み付け関数によって２４ｆｐｓの監視
を利用すること。 ・誘導された２４ｆｐｓの結果をオリジナルの高フレーム速度とともに同時にリ
リースすること ・階層化符号化を行う前にデ−グレイニング（de-graining）及び／又はノイズ
減少のフィルタリングを行うこと。 ・復号を行った後、創造効果としてリ−グレイニング（re-graining）又はリ−
ノイジング（re-noising）を行うこと。 ・階層化圧縮を行う前にデ−インタレーシングを行うこと。 ・単一層及び多重層の圧縮を行う前に３フィールドフレームデ−インタレーサを
適用すること ・単一層及び多重層の圧縮を行う前に写真をアップフィルターして写真の解像度
を改善すること。 ・強化層内のサブ領域の大きさ及びベース層と強化層に割り当てられたビットの
相対的比率を調節すること。 ・フラクショナル・リレーションシップ（fractional・relationship）が独立し
て異なるように、垂直と水平の関係を独立して処理すること。 ・高圧縮ストレスの期間中、圧縮ユニットに（例えばＧＯＰ）に対し高ビット速
度を（自動的に、速度制御量子化パラメータの高い値を検出することによって又
は手動で制御することによって）与えること。 ・圧縮システム及び階層化圧縮システムの自然ユニット（natural unit）がモジ
ュラユニットの増大されたビット速度を利用できる「モジュラ化」ビット速度を
使用すること。 ・単一又は複数の復元バッファに、増大されたビット速度のモジュラユニットを
プレロードして、圧縮システム又は階層化圧縮システムで使用すること。 ・一定のビット速度のシステムを、本発明の階層化圧縮システムの１又は２以上
の層で使用すること。 ・可変ビット速度のシステムを、本発明の階層化圧縮システムの１又は２以上の
層で使用すること。 ・使用される固定ビット速度のシステムと可変ビットのシステムを組み合わせて
、本発明の階層化圧縮システムの各種の層で使用すること。 ・解像度を階層化（「空間スケーラビリティ」とも呼称される）の際に使用する
ため、対応してより大きいＤＣＴブロックサイズと追加のＤＣＴ係数を使用する
こと。例えば与えられた層の解像度が２倍になると、ＤＣＴブロックサイズは２
倍の大きさになる。これによって、解像度階層化構造が高調波的にアラインされ
、層間係数の直交性が最適であるため最適の符号化効率が提供される。 ・単位ＤＣＴブロック当り多数の動きベクトルを使用して、大きいＤＣＴブロッ
クと小さいＤＣＴブロックが動きベクトルビットと改善された動き補償予測との
間のトレードオフを最適化できるようにすること。 ・負のローブを有するアップサイジングフィルタとダウンサイジングフィルタ特
に接頭sincフィルタを使用すること。 ・負のローブを有する動き補償変位フィルタを使用すること。 ・比較的に瞬間的なペイシス、例えば各フレーム、フレームの各領域（例えばい
くつもの走査ライン又はマクロブロックライン又は各象限）又はあらゆるいくつ
ものフレームで、最適の可変長さコードを選択すること。 ・増大ストリームを利用して改良された符号化機能を既存の圧縮システムに加え
、新しい強化復号器を使用して画質を改善するのみならず上位互換性を提供する
こと。 ・強化された復号写真を利用して、より高い品質のベース層を提供し解像度階層
化を行うこと。 ・類似の移動画像符号化システム間で符号化エレメントを共用して改良への道筋
のみならず上位互換性を提供すること。 ・２タイプの復号器に部分的に共通で該復号器の一方又は他方を選ぶ規定を含ん
でいる圧縮ビットストリームの生成を、符号化プロセスに考慮すること。 ・ベース層動きベクトルを案内ベクトルとして使用して、使用される動きベクト
ルの範囲を強化層の中心に置くこと。 ・上記方法の組み合わせを、強化層に適用すること、又はＭＰＥＧ−１、ＭＰＥ
Ｇ−２、ＭＰＥＧ−４、Ｈ．２６３、ＤＶＣ−ｐｒｏ／ＤＶ、及びウェーブレッ
トベースのシステムを含む他の圧縮システムを改善するために適用すること。
【０２５９】 本発明のいくつもの実施態様を説明してきた。しかしながら、各種の変形は、
本発明の精神と範囲から逸脱することなく行うことができるものである。例えば
、好ましい実施態様はＭＰＥＧ−２又はＭＰＥＧ−４の符号化法と復号法を利用
しているが、本発明は、Ｉ、Ｐ及び／又はＢのフレームと層の均等物を提供する
どんな類似の標準とでも作動する。したがって、本発明は、具体的に例示された
実施態様で限定されず本願の特許請求の範囲の範囲によってのみ限定されるもの
である。
【図面の簡単な説明】
【図１】６０Ｈｚで表示される２４ｆｐｓと３６ｆｐｓのマテリアルに対するプ
ルダウン速度を示すタイミング線図である。
【図２】第一の好ましいＭＰＥＧ−２符号化パターンである。
【図３】第二の好ましいＭＰＥＧ−２符号化パターンである。
【図４】本発明の好ましい実施態様による時相層の復号を示すブロック図である
。
【図５】３６Ｈｚと７２Ｈｚのフレームの両者を出力することができるコンバー
タに対する６０Ｈｚインタレース化入力を示すブロック図である。
【図６】２４Ｈｚ又は３６ＨｚのベースＭＰＥＧ−２層に対する「マスターテン
プレート」を示す線図である。
【図７】ＭＰＥＧ−２を利用する階層解像度スケーラビリティを使用して行うベ
ース解像度テンプレートの強化を示す線図である。
【図８】好ましい階層化解像度符号化プロセスを示す線図である。
【図９】好ましい階層化解像度復号プロセスを示す線図である。
【図１０】本発明による、復号器に対する解像度と時相のスケーラブルオプショ
ンの組み合わせを示すブロック図である。
【図１１】グレイ領域と強化を利用して写真のディテールを提供することによっ
て拡張されたベース層の線図である。
【図１２】好ましいダウンサイジングフィルタの相対的形態、振幅及びローブ極
性の線図である。
【図１３Ａ】２のファクターでアップサイジングする好ましいアップサイジング
フィルタの一対の相対的形態、振幅及びローブ極性の線図である。
【図１３Ｂ】２のファクターでアップサイジングする好ましいアップサイジング
フィルタの一対の相対的形態、振幅及びローブ極性の線図である。
【図１４Ａ】奇数フィールドのデ−インタレーサのブロック図である。
【図１４Ｂ】偶数フィールドのデ−インタレーサのブロック図である。
【図１５】三つのデ−インタレース化フィールドを使用するフレームデ−インタ
レーサのブロック図である。
【図１６】２／３ベース層に基づいた追加の階層化モードのブロック図である。
【図１７】より高いビット速度を、圧縮データストリームのモジュラ部分に適用
した一実施例の図である。
【図１８】二つの解像度層間のＤＣＴ高調波の関係を示す図形である。
【図１９】三つの解像度層間のＤＣＴ高調波の類似した関係を示す図形である。
【図２０】多重解像度層にマッチしたＤＣＴブロックサイズの一組を示す線図で
ある。
【図２１】独立した動きベクトルを確認するため動き補償マクロブロックを分割
する一実施例を示す線図である。
【図２２】ＭＰＥＧ−２タイプシステムの増大方式を示すブロック図である。
【図２３】ベース層由来の動きベクトルを、解像度強化層のための案内ベクトル
としての使用を示す線図である。
【図２４Ａ】プロフェッショナルレベル強化モードの一実施例を示すデータ流れ
図である。
【図２４Ｂ】プロフェッショナルレベル強化モードの一実施例を示すデータ流れ
図である。
【図２４Ｃ】プロフェッショナルレベル強化モードの一実施例を示すデータ流れ
図である。
【図２４Ｄ】プロフェッショナルレベル強化モードの一実施例を示すデータ流れ
図である。
【図２４Ｅ】プロフェッショナルレベル強化モードの一実施例を示すデータ流れ
図である。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ，ＴＲ)，ＯＡ(ＢＦ ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ， ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，Ｇ Ｍ，ＫＥ，ＬＳ，ＭＷ，ＭＺ，ＳＤ，ＳＬ，ＳＺ，ＴＺ ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ， ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＧ，ＡＬ，ＡＭ， ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，Ｂ Ｚ，ＣＡ，ＣＨ，ＣＮ，ＣＯ，ＣＲ，ＣＵ，ＣＺ，ＤＥ ，ＤＫ，ＤＭ，ＤＺ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ， ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，Ｉ Ｓ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＡ，ＭＤ，ＭＧ， ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＭＺ，ＮＯ，ＮＺ，ＰＬ，Ｐ Ｔ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＴＺ，ＵＡ，ＵＧ，ＵＳ， ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷ Ｆターム(参考） 5C022 BA16 BA17 BA19 5C059 KK01 KK23 LA05 LA06 LB05 LB13 MA00 MA03 MA05 MA17 MA23 MA24 MA32 MA33 NN21 PP05 PP06 PP07 PP15 PP16 SS05 SS13 SS14 SS26 TA06 TA07 TA39 TA69 TC32 TD03 UA02 UA05 UA11 5C063 AA10 AB03 AB07 BA04 BA08 BA09 BA14 CA05 CA25 CA34 CA36 【要約の続き】 −４の増大システム、及び空間強化層のための案内ベク トル（図８、項目８７）がある。

Claims (96)

    【特許請求の範囲】
  1. 【請求項１】 画像符号化システムのベース層の強化層の製造方法であって、 該ベース層をアップフィルタし拡張して拡張ベース領域にし、 その拡張ベース領域を囲む追加面積領域を、該拡張ベース領域を均一な中間グ
    レイ画素値でパッドすることでつくり、次に 追加の写真情報を提供する強化層をつくる、ことを含んでなり、 その強化層が、該拡張ベース領域と一致する面積に対する小範囲の可能な画素
    値及び該追加の面積領域と一致する面積に対する大範囲の画素値を有する差分写
    真を含んでいる方法。
  2. 【請求項２】 強化層を、ベース層を含む写真ストリームの一部として符号化す
    ることをさらに含む請求項１に記載の方法。
  3. 【請求項３】 強化層を復号することをさらに含む請求項２に記載の方法。
  4. 【請求項４】 差分写真が動きベクトルを含み、そしてさらに、その動きベクト
    ルに、追加の面積領域を指さないように強制することを含む請求項１に記載の方
    法。
  5. 【請求項５】 さらに、マクロブロックに基づいて動きベクトルを決定すること
    を含み、そのマクロブロックが、該拡張ベース領域とその拡張ベース領域を囲む
    追加面積領域との間の境界を走査しないようにアラインされている請求項４に記
    載の方法。
  6. 【請求項６】 ベース層と強化層が、３／２、４／３及び完全ファクター２のう
    ち一つから選択される解像度比を有する請求項１に記載の方法。
  7. 【請求項７】 差分写真が強化層の中心に配置されている請求項１に記載の方法
    。
  8. 【請求項８】 差分写真を、強化層に対して画像から画像へ連続的に再配置する
    ことをさらに含む請求項１に記載の方法。
  9. 【請求項９】 画像符号化システム内でより高い解像度の画像からより低い解像
    度の画像をつくる方法であって、ダウンサイジングフィルタを、該ダウンサイジ
    ングフィルタより高い解像度の原画像に適用することを含み、そのダウンサイジ
    ングフィルタが、正の中央ローブ、その正の中央ローブの両側に各々隣接する二
    つの負のローブ、及び各負のローブに対応して隣接している小さい正のローブを
    含み、その小さい正のローブが各々、対応する負のローブによって該正の中央ロ
    ーブから隔てられている方法。
  10. 【請求項１０】 ダウンサイジングフィルタの大きさが該小さい正のローブに制
    限されている請求項９に記載の方法。
  11. 【請求項１１】 該正の中央ローブ、負のローブ及び小さい正のローブの相対振
    幅が、接頭sinc関数によって近似される請求項９に記載の方法。
  12. 【請求項１２】 正の中央ローブの相対振幅が接頭sinc関数によって近似され、
    そして小さい正のローブと負のローブの相対振幅が、接頭sinc関数の１／２〜２
    ／３と近似される請求項９に記載の方法。
  13. 【請求項１３】 画像符号化システム内で、復元されたベース画像層又は強化画
    像層から拡大画像をつくる方法であって、一対のアップサイジングフィルタを、
    復元されたベース画像層又は強化画像層に適用することを含み、各アップサイジ
    ングフィルタが正の中央ローブ及びその中央ローブの両側に各々隣接する二つの
    負のローブを含み、各アップサイジングフィルタの正の中央ローブのピークが互
    いに非対称に隔てられている方法。
  14. 【請求項１４】 アップサイジングフィルタの大きさが負のローブに制限される
    請求項１３に記載の方法。
  15. 【請求項１５】 正の中央ローブの相対振幅が接頭sinc関数によって近似され、
    そして負のローブの相対振幅が、接頭sinc関数によって近似される値より小さい
    請求項１３に記載の方法。
  16. 【請求項１６】 正の中央ローブの相対振幅が接頭sinc関数によって近似され、
    そして負のローブの相対振幅が接頭sinc関数の１／２〜２／３と近似される請求
    項１３に記載の方法。
  17. 【請求項１７】 画像符号化システム内で元の高解像度画像からつくった元の圧
    縮されていないベース層入力画像から強化ディテール画像をつくる方法であって
    、 ガウスのアップサイジングフィルタを、元の圧縮されていないベース層画像に
    適用して拡張画像をつくり； 該拡張画像を該元の高解像度画像から差し引くことによって差分画像をつくり
    、次いで その差分画像に重みファクターを掛ける、 ことを含む方法。
  18. 【請求項１８】 重みファクターが約４％〜約３５％の範囲内にある請求項１７
    に記載の方法。
  19. 【請求項１９】 符号化システムがＭＰＥＧ−４の標準に適合し、そして重みフ
    ァクターが約４％〜約８％の範囲内にある請求項１７に記載の方法。
  20. 【請求項２０】 符号化システムが、ＭＰＥＧ−２の標準に適合し、そして重み
    ファクターが約１０％〜約３５％の範囲内にある請求項１７に記載の方法。
  21. 【請求項２１】 画像符号化システム内で画質を高める方法であって、 デ−グレイニングフィルタ又はノイズ減少フィルタの少なくとも一方を元のデ
    ィジタル画像に適用して第一処理済画像をつくり、次いで 該第一処理済画像を、該画像符号化システム内で符号化して圧縮画像にする、
    ことを含む方法。
  22. 【請求項２２】 元の画像が非相関ノイズ特性を有する別のカラーチャネル画像
    を含み、そしてさらに、別個のノイズ減少フィルタを、このような別個のカラー
    チャネル画像の少なくとも一つに適用することを含む請求項２１に記載の方法。
  23. 【請求項２３】 圧縮された画像を復号して復元された画像にし、次いで その復元された画像に、リ−グレイニングフィルタ又はリ−ノイジングフィル
    タの少なくとも一方を適用する、 ことをさらに含む請求項２１に記載の方法。
  24. 【請求項２４】 画像符号化システム内で画質を高める方法であって、 フィールドデ−インタレーサを、一連の画像フィールドの各々に適用して、対
    応する一連のフィールドフレームをつくり、 フィールドフレームデ−インタレーサを、一連の少なくとも三つの逐次フィー
    ルドフレームに適用して、対応する一連のデ−インタレース化画像フレームをつ
    くり、次いで その一連のデ−インタレース化画像フレームを画像符号化システム内で符号化
    して一連の圧縮された画像にする、 ことを含む方法。
  25. 【請求項２５】 各画像フィールドがラインを含み、そして該フィールドデ−イ
    ンタレーサを適用することが、 画像フィールドの各ラインを複製し、次いで 該画像フィールドの各隣接するペアのラインに対し、かようなペアのラインを
    平均することによって、かようなペアのラインの間に一つのラインを合成する、
    ことを含む請求項２４に記載の方法。
  26. 【請求項２６】 該フィールドフレームデ−インタレーサを適用することが、前
    のフィールドフレーム、現行のフィールドフレーム及び次のフィールドフレーム
    の各々に対し、これらフィールドフレームの重み付け平均として、デ−インタレ
    ース化画像フレームを合成することを含む、請求項２４に記載の方法。
  27. 【請求項２７】 該前のフィールドフレーム、現行のフィールドフレーム及び次
    のフィールドフレームに対する重みがそれぞれ約２５％、５０％及び２５％であ
    る請求項２６に記載の方法。
  28. 【請求項２８】 各デ−インタレース化画像フレームと各フィールドフレームが
    画素値を含み、そしてさらに、 各デ−インタレース化画像フレーム及び各対応する現行フィールドフレームの
    各対応する画素値の間の差をしきい値と比較して差の値をつくりだし、次いで 該デ−インタレース化画像フレームに対する各最終画素値として、該差の値が
    第一しきい値比較範囲内にある場合は現行フィールドフレームから対応する画素
    値を選び、そして該差の値が第二しきい値比較範囲内にある場合はデ−インタレ
    ース化画像フレームから対応する画素値を選ぶ、 ことをさらに含む請求項２４に記載の方法。
  29. 【請求項２９】 該しきい値が、約０．１〜０．３の範囲内から選択される請求
    項２４に記載の方法。
  30. 【請求項３０】 比較する前に、各デ−インタレース化画像フレームと現行フィ
    ールドフレームを平滑フィルタリングすることをさらに含む請求項２８に記載の
    方法。
  31. 【請求項３１】 平滑フィルタリングが、ダウンフィルタリングとこれに続くア
    ップフィルタリングを含む請求項３０に記載の方法。
  32. 【請求項３２】 各デ−インタレース化画像フレームと各フィールドフレームが
    画素値を含み、そしてさらに、各現行フィールドフレームの重み付け量を、各デ
    −インタレース化画像フレームの重み付け量に加えることを含む請求項２４に記
    載の方法。
  33. 【請求項３３】 各現行フィールドフレームの重み付け量が１／３であり、そし
    て各デ−インタレース化画像フレームの重み付け量が２／３である請求項３２に
    記載の方法。
  34. 【請求項３４】 画像符号化システム内で、非線形信号を表すディジタル画素値
    を含むビデオ画像の画質を強化する方法であって、 該非線形信号を表す各ビデオ画像のディジタル画素値を、線形表現に変換して
    、線形化画像をつくり、 変換関数を、少なくとも一つの線形化画像に適用して、変換された画像をつく
    り、次いで 各変換された画像を、非線形信号を表すディジタル画素値を含むビデオ画像に
    変換してもどす、 ことを含む方法。
  35. 【請求項３５】 ビデオ画像を符号化する方法であって、 原画像の水平と垂直の寸法を、それぞれ第一と第二の選択された単分数ファク
    ターによってダウンサイズして、第一中間画像をつくり、 その第一ワーキング画像を圧縮ベース層として符号化し、 そのベース層を復元し次にその結果を、該選択された単分数ファクターの逆数
    によってアップサイズして第二中間画像をつくり、 該第一中間画像を、該選択された単分数ファクターの逆数によってアップサイ
    ズし、次にその結果を原画像から差引き次にその結果に重み付けをして第一中間
    結果をつくり、 該第二中間画像を原画像から差引いて第二中間結果をつくり、 該第一中間結果と該第二中間結果を加算して第三中間画像をつくり、次いで 該第三中間画像を符号化して強化層をつくる ことを含む方法。
  36. 【請求項３６】 第三中間画像を、符号化する前にクロッピングとエッジフェザ
    リングを行うことをさらに含む請求項３５に記載の方法。
  37. 【請求項３７】 該第一と第二の単分数ファクターが各々、１／３、１／２、２
    ／３及び３／４のうちの一つから選択される請求項３５に記載の方法。
  38. 【請求項３８】 画像符号化システム内で画質を強化する方法であって、 中央値フィルタを、ディジタルビデオ画像の水平画素値に適用し、 中央値フィルタを、ディジタルビデオ画像の垂直画素値に適用し、次いで 該水平画素値と垂直画素値のフィルタリングの結果を平均して、ノイズを減ら
    したディジタルビデオ画像をつくる、 ことを含む方法。
  39. 【請求項３９】 中央値フィルタを、該ディジタルビデオ画像の対角画素値に適
    用し、次いで 該ノイズを減らしたディジタルビデオ画像の対角画素値をフィルタした結果を
    平均する、 ことをさらに含む請求項３８に記載の方法。
  40. 【請求項４０】 画像符号化システム内で画質を強化する方法であって、 時相中央値フィルタを、前のディジタルビデオ画像、現行のディジタルビデオ
    画像及び次のディジタルビデオ画像の対応する画素値に適用して、ノイズを減ら
    したディジタルビデオ画像をつくる、 ことを含む方法。
  41. 【請求項４１】 各ノイズ減少ディジタルビデオ画像及び各対応する現行ディジ
    タルビデオ画像の各対応する画素値の間の差を、しきい値と比較して、差の値を
    つくりだし、次いで ノイズ減少ディジタルビデオ画像の各最終画素値として、該差の値が第一しき
    い値比較範囲内にある場合は現行ディジタルビデオ画像から対応する画素値を選
    び、そして該差の値が第二しきい値比較範囲内にある場合はノイズ減少ディジタ
    ルビデオ画像から対応する画素値を選ぶ、 ことをさらに含む請求項４０に記載の方法。
  42. 【請求項４２】 該しきい値が約０．１〜約０．３の範囲から選択される請求項
    ４１に記載の方法。
  43. 【請求項４３】 画像符号化システム内で画質を強化する方法であって、 水平中央値フィルタを、現行ディジタルビデオ画像の水平画素値に適用し、 垂直中央値フィルタを、現行ディジタルビデオ画像の垂直画素値に適用し、 時相中央フィルタを、前のディジタルビデオ画像、現行ディジタルビデオ画像
    及び次のディジタルビデオ画像の対応する画素値に適用し、次いで 中央値フィルタを、該水平フィルタ、垂直フィルタ及び時相フィルタ各々が生
    成した対応する画素値に適用して、ノイズ減少ディジタルビデオ画像をつくる、 ことを含む方法。
  44. 【請求項４４】 画像符号化システム内で画質を強化する方法であって、 下記５項目： （１）現行ディジタルビデオ画像、 （２）現行ディジタルビデオ画像の水平中央値と垂直中央値の平均値、 （３）しきい値処理済時相中央値、 （４）該しきい値処理済時相中央値の水平中央値と垂直中央値の平均値、並びに （５）該しきい値処理済時相中央値及び現行ディジタルビデオ画像の水平中央値
    と垂直中央値の中央値、 の線形重み付け合計を含むノイズ減少ディジタルビデオ画像をつくることを含む
    方法。
  45. 【請求項４５】 該５項目の重みがそれぞれ約５０％、１５％、１０％、１０％
    及び１５％である請求項４４に記載の方法。
  46. 【請求項４６】 該５項目の重みがそれぞれ約３５％、２０％、２２．５％、１
    ０％及び１２．５％である請求項４４に記載の方法。
  47. 【請求項４７】 少なくとも一つの前のディジタルビデオ画像と少なくとも一つ
    の次のディジタルビデオ画像について現行ディジタルビデオ画像の各ｎｘｎ画素
    領域に対する動きベクトルを確認し、 現行ディジタルビデオ画像の各ｎｘｎ画素領域、並びに少なくとも一つの前の
    ディジタルビデオ画像及び少なくとも一つの次のディジタルビデオ画像の対応す
    る動きベクトルオフセットｎｘｎ画素領域に、中央重み付け時相フィルタを適用
    して動き補償画像をつくり、次に その動き補償画像を、該ノイズ減少ディジタルビデオ画像に加える、 ことをさらに含む請求項４４に記載の方法。
  48. 【請求項４８】 画像符号化システム内で画質を強化する方法であって、 少なくとも一つの前のディジタルビデオ画像と少なくとも一つの次のディジタ
    ルビデオ画像について現行ディジタルビデオ画像の各ｎｘｎ画素領域に対する動
    きベクトルを確認し、次いで 現行ディジタルビデオ画像の各ｎｘｎ画素領域、並びに少なくとも一つの前の
    ディジタルビデオ画像及び少なくとも一つの次のディジタルビデオ画像の対応す
    る動きベクトルオフセットｎｘｎ画素領域に、中央重み付け時相フィルタを適用
    して動き補償画像をつくる、 ことを含む方法。
  49. 【請求項４９】 各ディジタルビデオ画像がデ−インタレース化フィールドフレ
    ームである請求項４８に記載の方法。
  50. 【請求項５０】 各ディジタルビデオ画像が３フィールドフレームのデ−インタ
    レース化画像である請求項４８に記載の方法。
  51. 【請求項５１】 各ディジタルビデオ画像が、しきい値処理済の３フィールドフ
    レームデ−インタレース化画像である請求項４８に記載の方法。
  52. 【請求項５２】 該中央重み付け時相フィルタが、該画像の各々に対してそれぞ
    れ約２５％、５０％及び２５％の重みを有する３画像時相フィルタである請求項
    ４８に記載の方法。
  53. 【請求項５３】 該中央重み付け時相フィルタが、該画像の各々に対してそれぞ
    れ約１０％、２０％、４０％、２０％及び１０％の重みを有する５画像時相フィ
    ルタである請求項４８に記載の方法。
  54. 【請求項５４】 画像符号化システム内で画質を強化する方法であって、 ノーマルダウンフィルタを画像に適用して、第一中間画像をつくり、 ガウスアップフィルタを、該第一中間画像に適用して、第二中間画像をつくり
    、次に、 該第二中間画像の重み付けフラクションを、選択された画像に加えて、高周波
    数のノイズが減少した画像をつくる、 ことを含む方法。
  55. 【請求項５５】 該重み付けフラクションが、該第二中間画像の約５％と１０％
    の間である請求項５４に記載の方法。
  56. 【請求項５６】 画像符号化システム内で画質を強化する方法であって、 ダウンフィルタを、ノイズをフィルタされた原解像度画像に適用して、ベース
    層解像度の第一中間画像をつくり、 ノーマルダウンフィルタを、該第一中間画像に適用して、第二中間画像をつく
    り、 ガウスアップフィルタを、該第二中間画像に適用して、第三中間画像をつくり
    、 下記３項目： （１）該第一中間画像、 （２）該第一中間画像の水平中央値と垂直中央値の平均値、及び （３）該第三中間画像、 の線形重み付け合計を含むノイズ減少ディジタルビデオ画像をつくる、 ことを含む方法。
  57. 【請求項５７】 該３項目の重みがそれぞれ、約７０％、２２．５％及び７．５
    ％である請求項５６に記載の方法。
  58. 【請求項５８】 １／４画素動き補償を利用して、画像符号化システム内で画質
    を強化する方法であって、 負のローブを有するフィルタを、隣接する第一画素と第二画素の間の中ほどの
    サブ画素ポイントに適用して、１／２フィルタされた画素値をつくりだし、 負のローブを有するフィルタを、該第一画素と第二画素の間の１／４ほどのサ
    ブ画素ポイントに適用し、次に、 負のローブを有するフィルタを、該第一画素と第二画素の間の３／４ほどのサ
    ブ画素ポイントに適用すること、 を含む方法。
  59. 【請求項５９】 負のローブを有するフィルタを、隣接する第一画素と第二画素
    の間の中ほどのサブ画素ポイントに適用して１／２フィルタされた画素値をつく
    りだすことを含む、画像符号化システム内で１／２画素動き補償を使用して画質
    を強化する方法。
  60. 【請求項６０】 各クロミナンスチャネルを、１／４画素解像度を利用してフィ
    ルタすることを含む、画像符号化システム内で、ルミナンスチャネルに対し１／
    ２画素動き補償を利用して画質を高める方法。
  61. 【請求項６１】 負のローブを有するフィルタを、隣接する第一と第二のクロミ
    ナンス画素の間の各１／４サブ画素ポイントに適用することをさらに含む請求項
    ６０に記載の方法。
  62. 【請求項６２】 各クロミナンスチャネルを、１／８画素解像度を利用しフィル
    タすることを含む、画像符号化システム内で、ルミナンスチャネルに対し１／４
    画素動き補償を利用して画質を強化する方法。
  63. 【請求項６３】 負のローブを有するフィルタを、隣接する第一と第二のクロミ
    ナンス画素の間の各１／８サブ画素ポイントに適用することをさらに含む請求項
    ６２に記載の方法。
  64. 【請求項６４】 負のローブを有するフィルタが接頭sincフィルタである請求項
    ５８、５９、６１及び６３のいずれか一項に記載の方法。
  65. 【請求項６５】 ビデオ圧縮システムに対する入力画像を生成する電子画像形成
    システムの出力の特性を決定しその出力を修正する方法であって、 該画像形成システムのカラー画素センサタイプの対をつくるため水平と垂直の
    カラーミスアラインメントを測定し、 該画像形成システムのカラー画素センサタイプによって生成したノイズを測定
    し、 該画像形成システムが生成した画像を、ビデオ圧縮システム内で圧縮する前に
    、 該画像内のカラー画素を、該測定された水平と垂直のカラーミスアラインメン
    トによって確認された量によって変換し、次いで 測定されたどんなノイズの量に対しても補償する重みを有する重み付けノイズ
    減少フィルタを該画像に適用する、 ことによって修正する、 ことを含む方法。
  66. 【請求項６６】 ビデオ圧縮システムに対し入力される画像をつくるフィルムベ
    ース画像形成システムの出力の特性を決定しその出力を修正する方法であって、 画像のシーケンスを記録するために使用されるフィルムタイプを決定し、 このようなフィルムタイプの試験条片を、各種の照明条件下に露出し、 該露出された試験条片を、既知のノイズ特性を有する電子画像形成システムに
    よって走査し、 このような走査中に電子画像形成システムが生成したノイズを測定し、次いで 同じフィルムタイプ上にフィルムベース画像形成システムが生成し次に該試験
    条片の場合と同じ電子画像システムが走査した画像を、ビデオ圧縮システム内で
    圧縮する前に、測定されたどのノイズの量に対しても調節された重みを有するノ
    イズ減少フィルタを該画像に適用することによって、修正する、 ことを含む方法。
  67. 【請求項６７】 ２４ｆｐｓのフィルム画像のビデオへの変換を３−２プルダウ
    ンを利用して最適化する方法であって、 ２４ｆｐｓのフィルム画像をディジタル画像に、このようなディジタル画像の
    ２４ｆｐｓの記憶、処理または通信を直接行える処理装置だけを使って変換し、 このようなディジタル画像すべてを、２４ｆｐｓフォーマットに、ディジタル
    画像ソースとして記憶し、 ３−２プルダウンによるビデオ変換を、決定性フレームカダンスを使用して該
    ディジタル画像ソースから直接フライ上に実施して、３−２ビデオ画像シーケン
    スをつくり、 その決定性フレームカダンスを、３−２ビデオ画像シーケンスのすべての使用
    に対して維持し、次に ３−２ビデオ画像シーケンスを使用した後、該決定性フレームカダンスを取り
    消し、次にその３−２ビデオ画像シーケンスを２４ｆｐｓディジタル画像に変換
    してもどし記憶する ことを含む方法。
  68. 【請求項６８】 ２４ｆｐｓの移動画像を７２ｆｐｓの画像ソースから合成する
    方法であって、該２４ｆｐｓの移動画像の各画像フレームを、７２ｆｐｓ画像ソ
    ース由来の三つの連続するフレームから、それらフレームの重み付け平均として
    合成することを含み、該三つのフレームに対する重みがそれぞれ、[０．１、０
    ．８、０．１]〜[０．２５、０．５０、０．２５]の範囲内にある方法。
  69. 【請求項６９】 該重みが約[０．１６６７、０．６６６６、０．１６６７]であ
    る請求項６８に記載の方法。
  70. 【請求項７０】 ２４ｆｐｓの移動画像を１２０ｆｐｓの画像ソースから合成す
    る方法であって、該２４ｆｐｓの移動画像の各画像フレームを、１２０ｆｐｓ画
    像ソース由来の五つの連続するフレームから、それらフレームの重み付け平均と
    して合成することを含み、該五つのフレームに対する重みが約[０．１、０．２
    、０．４、０．２、０．１]である方法。
  71. 【請求項７１】 ６０ｆｐｓの移動画像を１２０ｆｐｓの画像ソースから合成す
    る方法であって、該６０ｆｐｓの移動画像の各画像フレームを、１２０ｆｐｓ画
    像ソース由来の三つの連続するフレームから、それらフレームの重み付け平均と
    して合成し、該三つのフレームの重みがそれぞれ[０．１、０．８、０．１]〜[
    ０．２５、０．５０、０．２５]の範囲内にあり、そしてこのような画像フレー
    ム各々を合成するために使用される該三つの連続するフレームに、次の画像フレ
    ームを合成するために使用される次の三つの連続するフレームを、一フレームだ
    けオーバーラップさせることを含む方法。
  72. 【請求項７２】 ディジタルビデオ圧縮システム内で符号化ビットを割り当てる
    方法であって、 第一一定数の符号化ビットを正常に割り当てられたビデオ画像の選択されたフ
    レームベースのユニット内で生じる高圧縮ストレスを検出し、その検出されたユ
    ニットは高ストレスのユニットであり、 該第一一定数の符号化ビットより大きい第二一定数の符号化ビットを割り当て
    て、該高ストレスユニットの圧縮を改善し、次いで 該高ストレスユニットの少なくとも残っている部分を、第二一定数の符号化ビ
    ットを使用して圧縮する、 ことを含む方法。
  73. 【請求項７３】 ビデオ画像の該フレームベースのユニットが、Ｐフレーム又は
    写真のグループの範囲のフレームのうち一つを含んでいる請求項７２に記載の方
    法。
  74. 【請求項７４】 該第二一定数の符号化ビットが、第一一定数の符号化ビットの
    単純倍数である請求項７２に記載の方法。
  75. 【請求項７５】 高圧縮ストレスの検出が、ビデオ画像の選択されたフレームベ
    ースのユニットに対する速度制御量子化スケールファクターパラメータに基づい
    ている請求項７２に記載の方法。
  76. 【請求項７６】 高ストレスユニットをすべて、第二一定数の符号化ビットを使
    用して圧縮することを含む請求項７２に記載の方法。
  77. 【請求項７７】 圧縮されたディジタルビデオ情報の、復号ビット速度及びバッ
    ファシステムを有する復号器による、復号を改良する方法であって、その圧縮さ
    れたディジタルビデオ情報が、該復号ビット速度より高いソースビット速度で、
    ソースから提供され、 介在する圧縮されたディジタルビデオ情報を、該ソースから、該バッファシス
    テムの第一部分中に、ソースビット速度でプレロードし、 プログラムコンテントで圧縮されたディジタルビデオ情報を、該ソースから、
    該バッファシステムの第二部分中に、ソースビット速度で同時にプレロードし、 該プログラムコンテントで圧縮されたディジタルビデオ情報から、介在する圧
    縮されたディジタルビデオ情報に、選択的に変更し、次いで 該介在する圧縮されたディジタルビデオ情報を復号して、該プログラムコンテ
    ントのほぼ瞬間的な変化を支持する、 ことを含む方法。
  78. 【請求項７８】 圧縮されたディジタルビデオ情報の、バッファシステム、平均
    復号ビット速度及びその平均復号ビット速度より高い少なくとも一つの復号ビッ
    ト速度を有する復号器による復号を改良する方法であって、その圧縮されたディ
    ジタルビデオ情報が、該平均復号ビット速度より高いソースビット速度で、ソー
    スから提供され、 増大されたビット速度をモジュールを含む圧縮されたディジタルビデオ情報を
    、該ソースビット速度で、該バッファシステムの第一部分中にプレロードし、 増大されていないビッド速度モジュールを含む圧縮されたディジタルビデオ情
    報を、該ソースビット速度で、該バッファシステムの第二部分中に同時にプレロ
    ードし、次いで 該バッファシステムの第二部分のコンテントを、ビデオ画像中に、平均復号ビ
    ット速度で復号し、次に該バッファシステムの第一部分のコンテントを、該平均
    復号ビット速度より高い復号ビット速度で、ビデオ画像中に復号する、 ことを含む方法。
  79. 【請求項７９】 圧縮されたディジタルビデオ情報の、バッファシステム、平均
    復号ビット速度及びその平均復号ビット速度より高い少なくとも一つの復号ビッ
    ト速度を有する復号器による復号を改良する方法であって、その圧縮されたディ
    ジタルビデオ情報が、該平均復号ビット速度より高いソースビット速度で、ソー
    スから提供され、 圧縮された強化層を含む圧縮されたディジタルビデオ情報を、該ソースビット
    速度で、該バッファシステムの第一部分中にプレロードし、 ベース層を含む圧縮されたディジタルビデオ情報を、該ソースビット速度で、
    該バッファシステムの第二部分中に同時にプレロードし、次いで、 該バッファシステムの第二部分のコンテントを、ビデオ画像中に、平均復号ビ
    ット速度で復号し、次に、該バッファシステムの第一部分のコンテントを、該平
    均復号ビット速度より高い復号ビット速度で、ビデオ画像中に復号する、 ことを含む方法。
  80. 【請求項８０】 ビデオ画像のベース層及び少なくとも一つの解像度強化層を符
    号化するため離散的コサイン変換（ＤＣＴ）を利用して、ビデオ符号化システム
    の符号化効率を改良する方法であって、 各々第一ブロックサイズを有するＤＣＴブロックを使用してベース層を符号化
    し、次いで、 第一ブロックの大きさと大きさが比例するブロックサイズを各々有するＤＣＴ
    ブロックを使用して、各解像度強化層を、このような強化層の解像度が該ベース
    層の解像度に比例するように、符号化する、 ことを含む方法。
  81. 【請求項８１】 ＤＣＴブロックのサブセットを強化層に対して利用することを
    さらに含み、このようなサブセットが低レベルの強化層又はベース層に対するＤ
    ＣＴブロックに対応して、該低レベルの強化層又はベース層に対するかようなＤ
    ＣＴブロックの信号／ノイズ比の精度を高める請求項８０に記載の方法。
  82. 【請求項８２】 ビデオ画像符号化システム内で、ベース層及び少なくとも一つ
    の解像度強化層に対する動き補償ベクトルを決定する方法であって、 ベース層及び各解像度強化層を、このような層内の対応する画素の領域をカバ
    ーする大きさのマクロブロックを使用して符号化し、 各ベース層及び解像度強化層の各マクロブロックに対し、符号化予測性能及び
    関連するセットの動きベクトルを指定するのに必要なビットの数の間のバランス
    を最適化するこのようなマクロブロックに対する動きベクトルサブブロックの数
    を独立して決定し、次いで 関連する独立の動きベクトルのセットを、前記決定された数の動きベクトルサ
    ブブロックの各々に対して一つ決定する、 ことを含む方法。
  83. 【請求項８３】 ビデオ画像符号化ユニットを圧縮する方法であって、 複数の可変長符号化テーブルを、各符号化ユニットに適用し、 このような符号化ユニットに対して最適の圧縮を行う可変長符号化テーブルを
    選択し、 その選択された可変長符号化テーブルを適用してかような符号化ユニットを圧
    縮し、次いで このような符号化ユニットの各々に対して選択された可変長符号化テーブルを
    、このような符号化ユニットを復元するため、復号器に対し識別する、 ことを含む方法。
  84. 【請求項８４】 該復号化ユニットが、サブフレーム、フレーム又はフレームの
    グループのうちの一つである請求項８３に記載の方法。
  85. 【請求項８５】 ビデオ画像を符号化し復号する方法であって、ビデオ画像を、
    基本ビデオ圧縮プロセスと強化ビデオ圧縮プロセスに適合する第一データストリ
    ーム中に、及び強化ビデオ圧縮プロセスにのみ適合する構造を有する第二データ
    ストリーム中に符号化し、 基本ビデオ圧縮プロセスにだけ適合する復号システム上に、第一データストリ
    ームだけを復号し、次いで 第一データストリームと第二データストリームを、強化ビデオ圧縮プロセスに
    適合する復号システム上で組み合わせて復号する、 ことを含む方法。
  86. 【請求項８６】 該基本ビデオ圧縮プロセスと強化ビデオ圧縮プロセスが共通の
    動き補償離散的コサイン変換構造体を共用している請求項８５に記載の方法。
  87. 【請求項８７】 該基本ビデオ圧縮プロセスがＭＰＥＧ−２である請求項８５に
    記載の方法。
  88. 【請求項８８】 該強化ビデオ圧縮プロセスがＭＰＥＧ−４である請求項８７に
    記載の方法。
  89. 【請求項８９】 階層化ビデオ圧縮システム内でビデオ画像の動き補償符号化を
    行う方法であって、 符号化ビデオ画像のベース層に対する少なくとも一つのベース層動きベクトル
    を決定し、 各ベース層動きベクトルを、ビデオ情報の少なくとも一つの関連する解像度強
    化層の解像度までスケールアップし、次いで 関連する解像度強化層各々に対し、ベース層動きベクトルのうちの一つに対応
    する各解像度強化層の動きベクトルの少なくとも一つを決定し、このような一つ
    の対応するベース層動きベクトルを案内ベクトルとして使用して、かような関連
    する解像度強化層の制限サーチ範囲の中心点を示し、かような解像度強化層動き
    ベクトルを決定する、 ことを含む方法。
  90. 【請求項９０】 各強化層に対し、対応する解像度強化層動きベクトルのみを符
    号化することをさらに含む請求項８９に記載の方法。
  91. 【請求項９１】 各解像度強化層動きベクトルと対応するベース層動きベクトル
    のベクトル和を利用して、かような解像度強化層動きベクトルと関連する強化層
    に対して動き補償を行うことをさらに含む請求項８９に記載の方法。
  92. 【請求項９２】 ビデオ画像を圧縮する方法であって、 初期高解像度画像をダウンフィルタして第一処理済画像をつくり、 その初期高解像度画像から第一動きベクトルをつくり出し、 該第一処理済画像を圧縮して出力ベース層をつくり、 その出力ベース層を復元して第二処理済画像をつくり、 その第二処理済画像を拡大して第三処理済画像をつくり、 該第一処理済画像を拡大して第四処理済画像をつくり、 該第三処理済画像を、該初期高解像度画像から差し引いて第五処理済画像をつ
    くり、 該第四処理済画像を、該初期高解像度画像から差し引いて第六処理済画像をつ
    くり、 該第六処理済画像の振幅を小さくして第七処理済画像をつくり、 該第七処理済画像と該第五処理済画像を加算して第八処理済画像をつくり、 該第八処理済画像を、第一動きベクトルを利用して符号化して出力解像度強化
    層をつくり、 該出力強化層を復号して第九処理済画像をつくり、 該第九処理済画像と該第三処理済画像を加算して第十処理済画像をつくり、 該初期高解像度画像を、該第十処理済画像から差し引いて第十一処理済画像を
    つくり、 該十一処理済画像の振幅を大きくして第十二処理済画像をつくり、 別のカラーチャネルを、該十二処理済画像から抽出して一組の第十三処理済画
    像をつくり、 該一組の第十三処理済画像を第一動きベクトルを利用して符号化し、対応する
    一組の出力カラー解像度強化層をつくり、 該一組の出力カラー強化層を復号して一組の第十四処理済画像をつくり、 該一組の第十四処理済画像を結合して、第十五処理済画像をつくり、 該第十五処理済画像の振幅を小さくして第十六処理済画像をつくり、 該第十六処理済画像と該第十処理済画像を加算して第十七処理済画像をつくり
    、 該第十七処理済画像を、該初期高解像度画像から差し引いて第十八処理済画像
    をつくり、次いで 該第十八処理済画像を圧縮して出力最終差分残余画像にする ことを含む方法。
  93. 【請求項９３】 ビデオ画像を圧縮する方法であって、 ベース層を初期高解像度画像からつくり出し、 第一組の動きベクトルを、該初期高解像度画像に基づいて選択された画像から
    つくり出し、 第一差分画像を、該初期高解像度画像と該ベース層からつくり出し、 第二差分画像を、初期高解像度画像及び該初期高解像度画像の処理済コピーか
    らつくり出し、次いで 解像度強化層を、該第一と第二の差分画像及び該第一組の動きベクトルからつ
    くり出す、 ことを含む方法。
  94. 【請求項９４】 少なくとも一つのカラー解像度強化層を、少なくととも一つの
    選択されたカラーに対してつくり出すことをさらに含む請求項９３に記載の方法
    。
  95. 【請求項９５】 最終差分残余画像をつくり出すことをさらに含む請求項９３に
    記載の方法。
  96. 【請求項９６】 該最終差分残余画像を符号化することをさらに含む請求項９５
    に記載の方法。
JP2001574651A 2000-04-07 2001-04-06 アドバンスドテレビジョンの強化された時相及び解像度の階層化 Expired - Fee Related JP4352105B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/545,233 2000-04-07
US09/545,233 US6728317B1 (en) 1996-01-30 2000-04-07 Moving image compression quality enhancement using displacement filters with negative lobes
PCT/US2001/011204 WO2001077871A1 (en) 2000-04-07 2001-04-06 Enhanced temporal and resolution layering in advanced television

Publications (2)

Publication Number Publication Date
JP2003531514A true JP2003531514A (ja) 2003-10-21
JP4352105B2 JP4352105B2 (ja) 2009-10-28

Family

ID=24175400

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001574651A Expired - Fee Related JP4352105B2 (ja) 2000-04-07 2001-04-06 アドバンスドテレビジョンの強化された時相及び解像度の階層化

Country Status (5)

Country Link
EP (1) EP1279111A4 (ja)
JP (1) JP4352105B2 (ja)
AU (1) AU2001251386A1 (ja)
CA (1) CA2406459C (ja)
WO (1) WO2001077871A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008504762A (ja) * 2004-07-01 2008-02-14 トムソン ライセンシング ビデオイメージシーケンスのエンコーディング前のプリプロセシングデバイス及び方法
JP2008515328A (ja) * 2004-10-18 2008-05-08 サムスン エレクトロニクス カンパニー リミテッド 階層間フィルタリングを利用したビデオコーディングおよびデコーディング方法と、ビデオエンコーダおよびデコーダ
JP2009530946A (ja) * 2006-03-23 2009-08-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 映画データを符号化する符号化装置及び方法
JP2009543486A (ja) * 2006-07-12 2009-12-03 トムソン ライセンシング 低解像度画像のモーションデータから高解像度画像用のモーションデータを取得する方法並びにその方法を実施する符号化及び復号装置
US8446956B2 (en) 2006-01-05 2013-05-21 Thomson Licensing Inter-layer motion prediction method using resampling

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6957350B1 (en) 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
JP3596519B2 (ja) * 2001-12-13 2004-12-02 ソニー株式会社 画像信号処理装置及び方法
JP4031390B2 (ja) 2002-04-17 2008-01-09 松下電器産業株式会社 画像変換装置および画像変換方法
JP4031389B2 (ja) 2002-04-17 2008-01-09 松下電器産業株式会社 画像変換装置および画像変換方法
US7009655B2 (en) 2002-07-23 2006-03-07 Mediostream, Inc. Method and system for direct recording of video information onto a disk medium
WO2004052002A1 (en) 2002-12-03 2004-06-17 Thomson Licensing S.A. Hybrid scalable encoder, method, and media for standard-definition and high-definition video formats on a single-disc
US7899113B2 (en) 2003-04-10 2011-03-01 Thomson Licensing Technique for simulating film grain on encoded video
US7742655B2 (en) * 2003-05-15 2010-06-22 Thomson Licensing Method and apparatus for representing image granularity by one or more parameters
US7425990B2 (en) * 2003-05-16 2008-09-16 Sony Corporation Motion correction device and method
KR100612849B1 (ko) 2003-07-18 2006-08-14 삼성전자주식회사 영상 부호화 및 복호화 장치 및 방법
ATE381076T1 (de) 2003-08-29 2007-12-15 Thomson Licensing Verfahren und vorrichtung zur modellierung von filmkorn-mustern im frequenzbereich
EP1511320A1 (en) * 2003-09-01 2005-03-02 Matsushita Electric Industrial Co., Ltd. Film grain encoding
BRPI0414647A (pt) 2003-09-23 2006-11-14 Thomson Licensing técnica para simular grão de filme usando filtração de freqüência
ZA200602350B (en) 2003-09-23 2007-09-26 Thomson Licensing Method for simulating film grain by mosaicing pre-computed samples
US7680356B2 (en) 2003-10-14 2010-03-16 Thomson Licensing Technique for bit-accurate comfort noise addition
PL1673944T3 (pl) 2003-10-14 2020-03-31 Interdigital Vc Holdings, Inc. Technika do symulowania ziarna filmu o dokładności bitowej
WO2005076599A1 (en) * 2004-02-03 2005-08-18 Koninklijke Philips Electronics N.V. Changing the aspect ratio of images to be displayed on a screen
US8150206B2 (en) 2004-03-30 2012-04-03 Thomson Licensing Method and apparatus for representing image granularity by one or more parameters
US20060012719A1 (en) * 2004-07-12 2006-01-19 Nokia Corporation System and method for motion prediction in scalable video coding
US20060028562A1 (en) * 2004-08-09 2006-02-09 Martin Schmitz Fast area-selected filtering for pixel-noise and analog artifacts reduction
JP4764883B2 (ja) 2004-10-18 2011-09-07 トムソン ライセンシング フィルムグレイン・シミュレーションの方法、装置及びシステム
FR2876860A1 (fr) 2004-10-20 2006-04-21 Thomson Licensing Sa Procede de codage hierarchique d'images video
FR2876861A1 (fr) * 2004-10-20 2006-04-21 Thomson Licensing Sa Procede de codage d'images video de differents formats non proportionnels
CA2584027C (en) 2004-10-21 2014-12-30 Thomson Licensing Technique for adaptive de-blocking of block-based film grain patterns
KR101229942B1 (ko) 2004-11-16 2013-02-06 톰슨 라이센싱 비디오 시스템에서 비트까지 정확한 시뮬레이션을 위한필름 그레인 ｓｅｉ 메시지 삽입
ATE553455T1 (de) 2004-11-16 2012-04-15 Thomson Licensing Verfahren zum simulieren von filmkörnigkeit auf der basis vorausberechneter transformationskoeffizienten
WO2006055430A2 (en) 2004-11-16 2006-05-26 Thomson Licensing Bit-accurate seed initialization for pseudo-random number generators used in a video system
TR201911138T4 (tr) 2004-11-17 2019-08-21 Interdigital Vc Holdings Inc Ön-hesaplanmış dönüştürülmüş katsayılara dayanan bit bakımından hatasız film greni simülasyon yöntemi.
FR2879066B1 (fr) * 2004-12-03 2007-04-06 Thomson Licensing Sa Procede et dispositif de codage hierarchique inter couches
WO2006058921A1 (en) * 2004-12-03 2006-06-08 Thomson Licensing Method for scalable video coding
WO2006064422A1 (en) * 2004-12-13 2006-06-22 Koninklijke Philips Electronics N.V. Scalable picture encoding
US8244094B2 (en) 2005-02-07 2012-08-14 Thomson Licensing Method and apparatus for replaying a video signal and one or more audio signals related to audio/video data that are based on a 24Hz frame frequency video signal
JP5213456B2 (ja) 2005-02-18 2013-06-19 トムソン ライセンシング 高分解能ピクチャの符号化情報を低分解能ピクチャから導き出す方法、並びにその方法を実現する符号化及び復号化装置
US8175168B2 (en) * 2005-03-18 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for picture up-sampling
EP1737240A3 (en) * 2005-06-21 2007-03-14 Thomson Licensing Method for scalable image coding or decoding
JPWO2007063912A1 (ja) * 2005-11-29 2009-05-07 パナソニック株式会社 再生装置
WO2007080477A2 (en) * 2006-01-10 2007-07-19 Nokia Corporation Switched filter up-sampling mechanism for scalable video coding
CN101385334B (zh) 2006-12-18 2011-09-14 索尼株式会社 图像捕捉设备和方法、记录设备和方法及再现设备和方法
US10715834B2 (en) 2007-05-10 2020-07-14 Interdigital Vc Holdings, Inc. Film grain simulation based on pre-computed transform coefficients
US10284842B2 (en) 2013-03-05 2019-05-07 Qualcomm Incorporated Inter-layer reference picture construction for spatial scalability with different aspect ratios
MX2018001771A (es) * 2015-08-19 2018-05-16 Sony Corp Dispositivo de transmision, metodo de transmision, dispositivo de recepcion y metodo de recepcion.
CN113316001B (zh) * 2021-05-25 2023-04-11 上海哔哩哔哩科技有限公司 视频对齐方法及装置
US11587208B2 (en) * 2021-05-26 2023-02-21 Qualcomm Incorporated High quality UI elements with frame extrapolation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
US5828788A (en) * 1995-06-29 1998-10-27 Thomson Multimedia, S.A. System for processing data in variable segments and with variable data resolution
JP3788823B2 (ja) * 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
US5852565A (en) * 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008504762A (ja) * 2004-07-01 2008-02-14 トムソン ライセンシング ビデオイメージシーケンスのエンコーディング前のプリプロセシングデバイス及び方法
JP2008515328A (ja) * 2004-10-18 2008-05-08 サムスン エレクトロニクス カンパニー リミテッド 階層間フィルタリングを利用したビデオコーディングおよびデコーディング方法と、ビデオエンコーダおよびデコーダ
US8446956B2 (en) 2006-01-05 2013-05-21 Thomson Licensing Inter-layer motion prediction method using resampling
JP2009530946A (ja) * 2006-03-23 2009-08-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 映画データを符号化する符号化装置及び方法
JP2009543486A (ja) * 2006-07-12 2009-12-03 トムソン ライセンシング 低解像度画像のモーションデータから高解像度画像用のモーションデータを取得する方法並びにその方法を実施する符号化及び復号装置
US9167266B2 (en) 2006-07-12 2015-10-20 Thomson Licensing Method for deriving motion for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method

Also Published As

Publication number Publication date
WO2001077871A1 (en) 2001-10-18
CA2406459A1 (en) 2001-10-18
EP1279111A1 (en) 2003-01-29
CA2406459C (en) 2006-06-06
AU2001251386A1 (en) 2001-10-23
JP4352105B2 (ja) 2009-10-28
EP1279111A4 (en) 2005-03-23

Similar Documents

Publication Publication Date Title
JP4352105B2 (ja) アドバンスドテレビジョンの強化された時相及び解像度の階層化
US6728317B1 (en) Moving image compression quality enhancement using displacement filters with negative lobes
KR100481572B1 (ko) Atv에서의시간및해상도계층화
US9288486B2 (en) Method and apparatus for scalably encoding and decoding video signal
US6192079B1 (en) Method and apparatus for increasing video frame rate
JP4294100B2 (ja) 現在のシステムと互換性をもつ態様でテレビジョン信号の送信および受信を行なうための高精細度テレビジョン信号処理
US6862372B2 (en) System for and method of sharpness enhancement using coding information and local spatial features
US8755434B2 (en) Method and apparatus for scalably encoding and decoding video signal
US8660180B2 (en) Method and apparatus for scalably encoding and decoding video signal
JPH11508436A (ja) フィルムでないソースの高品質の再生のための動き信号を用いる汎用ビデオディスク記録および再生
US6873657B2 (en) Method of and system for improving temporal consistency in sharpness enhancement for a video signal
JP2005530462A (ja) 次世代テレビジョンにおける暗号化および透かし処理を施される時間的および解像度レイヤ構造
JP2008048447A (ja) 次世代テレビジョンにおける暗号化および透かし処理を施される時間的および解像度レイヤ構造
JP2008035551A (ja) 次世代テレビジョンにおける暗号化および透かし処理を施される時間的および解像度レイヤ構造
Shimizu MPEG interlaced video transcoding for a networked video browsing system
Bayrakeri Scalable video coding using spatiotemporal interpolation
JP2004515133A (ja) 圧縮符号化されたビデオの伸長
Shum et al. Video Compression Techniques

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060329

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060627

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070227

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070523

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070601

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080116

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090706

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090706

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R154 Certificate of patent or utility model (reissue)

Free format text: JAPANESE INTERMEDIATE CODE: R154

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120807

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees