JP2006510275A

JP2006510275A - Ｍｐｅｇ−２ｍｐ＠ｍｌ圧縮ビデオから高精細度視覚効果を生成するシステムおよび方法

Info

Publication number: JP2006510275A
Application number: JP2004558935A
Authority: JP
Inventors: ボロツキー，リラ; ラン，ツェ−ホア（ジョン）
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2002-12-10
Filing date: 2003-12-03
Publication date: 2006-03-23
Also published as: CN1723714A; EP1574077A1; US20060051072A1; AU2003282315A1; KR20050084219A; WO2004054273A1

Abstract

標準精細度互換媒体（例えばDVD）に高精細度ビデオを記録および再構成するシステムおよび方法である。記録システムは、HDビデオ画像をSDビデオフォーマットにスケールダウンするシステムと、前記SDビデオを符号化するシステムと、各HDビデオ画像の細部マップを生成するシステムと、前記SD互換媒体に前記SDビデオと前記細部マップを格納するシステムとを有する。

Description

発明の詳細な説明

本発明は、デジタル画像データの記録および再生をするシステムに関し、特に、標準精細度互換媒体（例えばDVD）を標準精細モードでも高精細モードでもいずれでも再生できるように、その媒体に高精細度素材を記録するシステムおよび方法に関する。

デジタルビデオの普及に伴い、DVD（デジタルバーサタイルディスク）、デジタルビデオレコーダ、デジタルビデオ送信、ホームネットワーキング、高精細TIVO（登録商標）等のデジタルビデオアプリケーションが標準化されつつある。例えば、DVDプレーヤとDVDレコーダは、デジタルビデオを記録再生するための簡便で安価な方法を達成するため、標準フォーマットを提供している。デジタルビデオ情報を記録する標準フォーマットには、MPEG-2など様々なものがある。

デジタルビデオに関連して今後解決すべき課題として、高精細（HD）素材の人気が高まっていることがある。現在、高精細（HD）素材を記録再生するために標準精細（SD）フォーマットを用いるためのフォーマットはまだ設定されていない。例えば、高精細素材を4.7GB片面DVDに記録するための標準フォーマット（HD-on-SD-DVDと呼ぶ）はまだ決まっていない。この問題は2006年に向けて重要性が高まってくると思われる。アドバンスト・テレビジョン・システムズ・コミッティー（ATSC）が、2006年には高精細放送を米国のテレビジョンチャネルの標準にするとしているからである。

このため、（DVDアプリケーション、その他のデジタル記録アプリケーション、ビデオ送信または放送アプリケーションのいずれであっても）HDビデオの標準フォーマットへの記録は、デジタルシステムの重要なオプションとなり、コンシューマエレクトロニクス、半導体、映画産業等の新しいマーケットを開くであろう。さらにまた、HD-on-SD-DVDを提供する技術は、HD-DVDレコーダやハードディスクベースレコーダ等の長時間プレイモード記録をサポートする他のアプリケーションや媒体にとって便利になるであろう。

従って、SD-DVD等のSD互換フォーマットでHD素材を提供できるシステムが必要とされている。

本発明は、記録時にオリジナルのHD画像から抽出したエンハンスメント情報を用いて、アップコンバートされたSD画像をHDのように見せるHD記録再生システムを提供するシステムと方法を提供することにより、上記の課題その他を解決する。

第１の態様において、本発明は、標準精細度（SD）互換フォーマットの高精細度（HD）ビデオ画像を提供するシステムであって、HDビデオ画像をSDビデオフォーマットにスケールダウンするシステムと、前記SDビデオを符号化するシステムと、各HDビデオ画像の細部マップを生成するシステムと、前記SD互換フォーマットに前記SDビデオと各細部マップを格納するシステムとを有することを特徴とするシステムを提供する。

第２の態様において、本発明は、標準精細（SD）フォーマットビットストリームから高精細（HD）ビデオ画像を再構成する再生システムであって、前記ビットストリームからSDデータを抽出し復号するシステムと、前記ビットストリームから各画像に関連する細部マップを抽出するシステムと、前記復号されたSDデータをデ・インターレースするシステムと、前記HDビデオ画像を生成するために、前記細部マップを用いて前記復号したSDデータをアップスケーリングし後処理するシステムとを有することを特徴とする再生システムを提供する。

第３の態様において、本発明は、標準精細度（SD）互換媒体に高精細度（HD）ビデオ画像を記録する方法であって、前記HDビデオ画像をSDビデオフォーマットにスケールダウンするステップと、前記SDビデオを符号化するステップと、各HDビデオ画像のエッジディテールを記述する細部マップを各HDビデオ画像について生成するステップと、前記SDビデオと前記細部マップを前記SD互換媒体に格納するステップを有することを特徴とする方法を提供する。

第４の態様において、本発明は、標準精細度（SD）フォーマット記録から高精細度（HD）ビデオ画像を再構成する方法であって、前記記録からSDデータを抽出し復号するステップと、重要度閾値に関するエッジディテールを記述する細部マップを前記記録から抽出するステップと、前記復号されたSDデータをデ・インターレースするステップと、前記HDビデオ画像を生成するために前記細部マップを用いて前記復号されたSDデータをアップスケールし後処理するステップとを有することを特徴とする方法を提供する。

第５の態様において、本発明は、標準精細度（SD）媒体に（HD）ビデオ画像を格納および再生可能とするために、細部マップを生成する、記録可能媒体に格納されたプログラムプロダクトであって、HDビデオ画像から高周波数画像データを抽出する手段と、前記HDビデオ画像の各領域について、輝度レベルから導かれた閾値とアクティビティレベルを有する閾値マップを生成する手段と、前記閾値を対応する高周波数画像データと比較する手段とを有することを特徴とするプログラムプロダクトを提供する。

本発明の上記その他の特徴は、添付した図面と併せて本発明の様々な態様の以下の詳細な説明を読めば容易に理解されるであろう。

１．概要
本発明は、SD互換媒体をSD互換媒体を通常のSDを視聴するための通常のSDプレーヤで再生できる、またはHDを視聴するためのHD対応SDプレーヤで再生できるように、HD素材をSD互換フォーマット（例えばSD-DVD）で記録できるビデオ処理システムおよび方法を提供する。特に、ビットストリームにHD関連情報（Eデータ）を組み込んで、（DVDプレーヤ、デジタルビデオレコーダ、送信媒体等現行のデジタルビデオ機器と互換正を保つために）MPEG-2MainProfile@MainLevel標準を用いてHDビデオを低ビットレート（約５Mbps）で符号化する新規な方法を提供する。以下のことを認識すべきである。すなわち、ここで説明する実施形態は一般にDVDシステムに関するものであるが、本発明は特定のシステムや媒体に限定されない。むしろ、本発明はいかなる種類のデジタル記録、送信、および／または再生システムにも適用でき、いかなる種類の記録可能／再記録可能媒体（例えば、DVD-R、-RW、+RW、-RAM、送信信号、デジタルテープ、ビットストリーム等）を使用することもできる。特に、本発明は、MPEG-2MainProfile@MainLevel標準（MPEG-2MP@ML）または同様のフォーマットを利用することができるいかなるアプリケーションにも適用できる。ここで、
（１）HDビデオはSDビデオにダウンコンバートすることができ、Eデータを抽出し、符号化し、SDビデオとパッケージすることができる。
（２）HDビデオは、Eデータを用いてエンハンスしてHD解像度に基づいて再生できる。
上記のアプリケーションには、例えば、放送、ネットワーキング、ウェブ送信、HD TIVO、パーソナルビデオレコーダ等が含まれるが、これに限定はされない。

ここに説明した手段を用いて、２時間の「ほぼ」HD品質のビデオを4.7GByteDVDに記録することができ、または４時間のほぼHD品質のビデオを9GByteDVDに記録することができるシステムを提供する。下でさらに詳しく説明するように、記録時に、システムは、（１）入力されたHD信号をSD信号に変換し、（２）そのHD信号からエンハンスメント情報を生成する。システムは、例えばMPEG-2エンコーダを用いてSD信号を符号化し、エンハンスメント情報を例えばMPEGビットストリームのユーザデータフィールドに格納する。

ここに説明した実施形態には、重要なHD画像特徴（features）である画像の閾値に対して集められたエッジディテールを捉えるエンハンスメント情報を比較的少しだけ利用する。このように、エンハンスメント情報には（1.0Megabytes/secondより低い）低ビットレートを用い、SD信号とエンハンスメント情報の組み合わせを、約5Megabytes/secondとする。MPEG-2レイヤードまたはスケーラブル符号化等の従来技術によるアプローチは、上記のように低いビットレートで十分よい品質を維持することはできない。

DVDアプリケーションの場合、記録されたDVDは現行のDVD再生標準と完全互換なだけでなく、エンハンスメントデータを用いて「疑似」HD品質のビデオを生成するHD対応DVDプレーヤでそのDVDを再生することもできる。上で注意したように、図１と２で与えられた実施形態はSDフォーマット２４をDVDとして説明するが、当然のことながら、どのデジタルビデオアプリケーションを利用してもよい。

２．記録システム
図１を参照して、本発明による記録システム１０が示されている。システム１０はHD入力信号１１を受信し、SDフォーマット出力２４を生成する。システムの入力として、ビットストリーム形式だろうがコンポーネント信号形式であろうがすべてのATSCフォーマットを受け入れてもよい（ビットストリーム形式の場合、HD MPEG-2デコーダが必要となる場合がある）。しかし、説明の目的上、システム１０は1080i（インターレース）フォーマットと720p（プログレッシブ）フォーマットを受け入れるものとして示した。従って、本実施例のシステムは２つの異なるフォーマットであるプログレッシブとインターレースを処理可能である。この２つのフォーマットは現行のSD標準と互換である。プログレッシブフォーマットは30pまたは60i prog(ressive)（映画モードと同様）と示されており、「プログレッシブ・ツー・インターレース・コンバータ」ブロック１６の後ろの矢印の上部にある。留意すべき点は、60i progは、インターレースフォーマットとして扱われる点を除いて、構造的には30pと同じである。30pと60iプログレッシブフォーマットに変換する理由は、（再）書き込み可能DVDをサポートするすべてのDVDプレーヤについて記録されたDVDの互換性を保証するためである。インターレースフォーマットは60iと示され、矢印の下部にある。

記録システム１０の基本的動作は以下の通りである。入力されたピクチャ（すなわちビデオ）はSDピクチャにスケールダウンされ、その入力から重要なHD特徴（feature）またはHDエンハンスメントデータ（Eデータと呼ぶ）が抽出される。MPEG-2エンコーダがSDシーケンスを符号化し、MPEG-2ビットストリームがEデータとともに記憶媒体（例えばDVD+RW）に保存される。Eデータは、例えばMPEGビットストリームのユーザデータフィールドに格納される。

システム１０は、入力信号１１を30pまたは60pフォーマットにデ・インターレースまたはサブサンプルするデ・インターレース／レートサブサンプリングシステム１２を有する。ダウンコンバージョン／アスペクト比（AR）フォーマッティングシステム１４が、その信号をワイドスクリーンフォーマット、レターボックスフォーマット、または拡大（パン・アンド・スキャン）アスペクト比フォーマットを有する信号にフォーマットする。プログレッシブ・ツー・インターレース・コンバータ１６は30pから60i progへ２−２プルダウンを実行し、または60pを60iに変換するインターレースを実行する。MPEGエンコーダ１８はその信号をNTSCまたはPALに準拠したフォーマットに符号化する。

また、入力信号がデ・インターレース／サブサンプルされた後、その信号はHD細部抽出システム２０に送られる。そのHD細部抽出システム２０は信号から高周波数画像データを抽出する。その抽出は、例えば、ハイパスフィルタまたは残余演算器によりなされる。高周波数画像データは、HD特徴（feature）処理システム２２に送られ、HDエンハンスメント情報またはEデータが生成される。EデータはSDフォーマット出力２４とともに、例えば、MPEG符号化データのユーザフィールドに格納される。

本発明の目的において、当然のことながら、生成され使用されるEデータのタイプには何の制限もない。しかし、高周波数画像（HFI）データはエッジについての重要な詳細情報を提供する。この情報はHD画像の生成にとって重要である。残念ながら、HFI画像全体をビットごとに符号化すると、トータルビットレートが大幅に増えてしまう。このトータルビットレートは、例えば２時間ビデオを4.7ギガバイトDVDに格納する場合、約5Mbpsに押さえなければならない。解決策として、本実施形態においては、SDデータと格納する細部情報すなわちEデータの量を加減することを提案する。具体的には、視覚ベース細部注入（VFDI）システム２３を設け、各画像内の領域の詳細またはエンハンスメント値を記述する細部マップを生成する。エンハンスメント値は、例えば、画像内のエッジディテールの存在を特定し、一組の閾値に対する各エッジの重要度を反映させる。例えば、画像の中心にあるエッジディテールや他のエッジディテールの近くにあるエッジディテールは、ピクチャ全般の明瞭性にとって決定的であることが多い。従って、そのようなエッジには、生成した細部マップの中で比較的高いエンハンスメント値を与える。このエンハンスメント値は、そのような位置をエンハンスすべきことを示す。

VFDIシステム２３は、図３のフロー図を参照してより詳細に説明する。最初に、Iフレームを有する画像４０が高周波数画像（HFI）４２を生成するために処理される。一般に、HFI４２は、オリジナル画像４０のエッジディテールを提供する。そのエッジディテールはHFI４２では「線」として示される。例えば、オリジナル画像４０が青空に対して家屋と樹木を含んでいるとき、HFI４２は、家屋のエッジが空と合うところを表す線と、窓のフレームを表す線と、樹木の輪郭を表す線の形の高周波数情報を含む、オリジナル画像が「色あせた」ようなものに見える。

また、閾値マップ４４がマッピングシステム４１により画像４０から生成される。閾値マップ４４は画像４０の異なる領域に異なる値を割り振ったものである。一般的に、領域の細部をエンハンスする必要が大きければ大きいほど、閾値は小さい。一実施形態において、閾値マップ４４は最小可知差異（JND）およびヒューマンフォーカス（HF）コンセプトを用いて導き出される。これらのコンセプトは本技術分野で周知である。JNDによれば、画像の中で暗くアクティビティの低いエリアの細部は、明るくアクティビティが高いエリアの細部よりもよりはっきりしている。このように、暗くてアクティビティが低いエリアは、明るくアクティビティが高いエリアと比較して、特定されて、より低い閾値を割り当てられ、細部がより際だつ。実際には、JNDを用いた閾値マップ４４は、アップコンバートされたSDピクチャの8x8ブロックの平均（グレイレベルを表す）および分散（アクティビティを表す）の線形結合により計算できる。JNDに加えて、他の要因を利用して、閾値マップ４４の値に影響を与えることもできる。例えば、ヒューマンフォーカス（HF）は通常ディスプレイの中心に集まることが知られている。従って、画像の中心領域には、画像の周辺領域と比較して、より低い閾値を割り当てることができる。当然のことながら、ここに説明した実施形態は、閾値マップ４４を生成するために使用するが、例示のためにだけに示したものであり、付加的な要素や異なる要素を利用してもよい。

次に、画像４０のHFIデータ４２を閾値マップ４４の値と比較し（４６）、ディテールマップ４８を生成する。例えば、特定の位置（例えばエッジ）のHFI値が閾値マップ４４の対応する位置の閾値を超えるとき、ディテールマップ４８のその対応する位置に、その位置をエンハンス（すなわち正のゲインの増強（boost））することが示される。あるいは、特定の位置のHFI値が閾値マップ４４の対応する位置の閾値より小さいとき、ディテールマップ４８のその対応する位置には、その位置に負の増強をすることが示される。最後に、特定の位置のHFI値が閾値マップ４４の対応する位置の閾値と等しいとき、ディテールマップ４８のその対応する位置に、その位置にはエンハンスメント増強をしないことが示される。一実施形態において、ディテールマップは、正の増強が必要なエッジには正の符号（+1）、エンハンスメントが不要なエッジにはゼロ（0）、負の増強が必要なエッジには負の符号（-1）を有する。ディテールマップ４８の領域にはどのようなやり方で値を割り当ててもよい。例えば、ピクセルごとに割り当てても、ブロックごとに割り当ててもよい。

ディテールマップ４８を生成した後、ライン削除改良（refinement）５０を適用し、細部マップ（FDM）５２を生成する。ライン削除改良５０は、高精細感を作り出すのに貢献しないと思われる情報を削除することにより、エンハンスメントデータの量を減らす。一実施形態において、改良５０は、ディテールマップ４８中の少なくともNピクセル（例えばN=5）互いに離れている線または点（例えば、エッジディテール）を削除することである。この実施形態において、改良５０は画像品質を大幅には落とさない。足切りされた線や点が遠く離れていれば、シャープネスエンハンスメントアルゴリズムが失われたディテールを容易にエミュレートできるからである。明らかに、この他の改良を同様に適用することも可能である。

次に、動き補償をPフレームおよびBフレームに使用する（５４）。最後に、２値圧縮５６、例えばZZIP（商標）を適用して動き補償したFDM５２を圧縮し、Eデータ５８を作る。

３．再生システム
再生時に、DVD中のビットストリームをSDフォーマットでDVD準拠デコーダにより復号することができる。また、HD対応デコーダでは、Eデータを読み出し、後処理を介して通常のアップコンバートされたSDピクチャと結合して、HD対応テレビにHD「感」を持って表示できる画像を作る。

上で説明したVFDIシステム２３によれば、細部マップ５２は、後処理器に、画像の異なる領域に割り当てられた異なるゲイン（例えば、-1、0、+1）に基づき、画像内の不可欠な位置（例えば、エッジ）を特にエンハンスするように命令する。＋１はエッジピクセルを増強する必要があることを意味し、ゼロはエンハンスする必要がないことを意味し、−１はエッジピクセルに負の増強をする必要があることを意味する。再生時、Eデータから再構成された細部マップ５２とアップコンバートされたSDピクチャのローカルアクティビティに基づき、細部をアップコンバートしたSDピクチャに加え戻すとき、HD「感」が増大する。再生時、FDM５２が解凍され、その値が再生システム（図２）によりアップコンバータされたSDピクチャにHD効果を再生するために適用される。さらにまた、細部を加え戻した後、いかなるタイプのエンハンスメント方法を利用してもよい。その方法としては、例えば、適応ピーキング（adaptive peaking）やLTI（Luminance Transient Improvement）などがある。一実施形態において、ディテールマップに基づき細部を加え戻して、適応ピーキングやLTIを適用してもよい。

図２を参照して、DVD２４に格納された画像データを再生する再生システム３０が示されている。再生システム３０は、60iプログレッシブ信号または60i信号のいずれかを生成するMPEGデコーダ３２と、30p信号または60p信号のいずれかを生成するデ・インターレーサ３４とを有する。アップコンバージョンおよび後処理システム３６は、30p信号または60p信号、およびEデータを受信し、HD30p信号またはHD60p信号を生成する。フレームレートダブラーまたはインターレーサシステム３８が1080iまたは720@60p出力のいずれかを生成する。

当然のこととして、ここに説明したシステム、機能、メカニズム、方法、モジュールは、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせにより実施することができる。これらは、いかなるタイプのコンピュータシステムでも、またはここに説明した方法を実行するように構成されたその他の装置で実行してもよい。ハードウェアとソフトウェアの典型的な組み合わせは、汎用コンピュータシステムと、実行したときにそのコンピュータを制御してここに説明した方法を実行させるコンピュータプログラムであろう。あるいは、本発明の１以上の機能タスクを実行する専用ハードウェアを含む特定用途コンピュータを利用することもできるであろう。本発明はコンピュータプログラムプロダクトに組み込むこともできる。このコンピュータプログラムプロダクトは、ここに説明した方法と機能の実施を可能とするすべての特徴（feature）を有し、コンピュータシステムにロードされたときに、これらの方法と機能を実行可能なものである。本願の文脈において、コンピュータプログラム、ソフトウェアプログラム、プログラム、プログラムプロダクト、ソフトウェアとは、情報処理能力を有するシステムに特定の機能を実行させることを意図した一組の命令の表現であって、いかなる言語、コード、表記法で表現されたものをも意味する。上記の実行は、直接的であっても、または（a）他の言語、コード、または表記法への変換、および／または（b）異なる素材形式による再生のいずれか、または両方の後になされてもよい。

本発明の好ましい実施形態の前記説明は、例示および説明のためになされたものである。これらは網羅的なものではないし、開示したままの形式に本発明を制限するものでもない。上記の教示に照らして多くの変更や変形をすることができることは明らかである。そのような当業者に明らかな変更および変形は、添付した請求項に明らかに記載したように、本発明の範囲に含まれることを意図している。

本発明による記録システムを示す図である。本発明による再生システムを示す図である。本発明による視覚ベース細部注入システムを示す図である。

Claims

標準精細度（SD）互換フォーマットの高精細度（HD）ビデオ画像を提供するシステムであって、
HDビデオ画像をSDビデオフォーマットにスケールダウンするシステムと、
前記SDビデオを符号化するシステムと、
各HDビデオ画像の細部マップを生成するシステムと、
前記SD互換フォーマットに前記SDビデオと各細部マップを格納するシステムとを有することを特徴とするシステム。
請求項１に記載のシステムであって、
各細部マップは前記HDビデオ画像のエッジディテール（edge detail）を記述することを特徴とするシステム。
請求項２に記載のシステムであって、
前記細部マップを生成するシステムは、
前記HDビデオ画像の各領域の輝度レベルおよび活動レベルから導かれた閾値を有する閾値マップを生成するシステムと、
前記閾値を、前記HDビデオ画像から生成された高周波数画像の対応する値と比較するシステムとを有することを特徴とするシステム。
請求項３に記載のシステムであって、
前記細部マップを生成するシステムは、他のエッジディテールから所定距離より大きい距離だけ離れているエッジディテールを削除するライン減少システムをさらに含むことを特徴とするシステム。
請求項１に記載のシステムであって、
前記細部マップを生成するシステムは、前記細部マップを圧縮する圧縮システムを有することを特徴とするシステム。
請求項１に記載のシステムであって、
前記細部マップは、正の増強を要する領域を示す正値と、負の増強を要する領域を示す負値と、増強を要さない領域を示すゼロとを含むことを特徴とするシステム。
請求項１に記載のシステムであって、
前記符号化するシステムはMPEG-2エンコーダを有し、前記SD互換媒体はDVDを有することを特徴とするシステム。
請求項１に記載のシステムであって、
前記SDビデオと前記細部マップは、約５メガバイト／秒の結合レートで格納されることを特徴とするシステム。
請求項１に記載のシステムであって、
前記細部マップは１メガビット／秒より低いレートで格納されることを特徴とするシステム。
請求項１に記載のシステムであって、
前記SDビデオをワイドスクリーンフォーマット、レターボックスフォーマット、スキャン・アンド・パンフォーマットにフォーマットするアスペクト比フォーマットシステムをさらに有することを特徴とするシステム。
請求項１に記載のシステムであって、
前記SDビデオは、プログレッシブおよびインターレースよりなるグループから選択されたフォーマットに格納されることを特徴とするシステム。
請求項１に記載のシステムであって、
前記細部マップはMPEGユーザデータフィールドに格納されることを特徴とするシステム。
標準精細（SD）フォーマットビットストリームから高精細（HD）ビデオ画像を再構成する再生システムであって、
前記ビットストリームからSDデータを抽出し復号するシステムと、
前記ビットストリームから各画像に関連する細部マップを抽出するシステムと、
前記復号されたSDデータをデ・インターレースするシステムと、
前記HDビデオ画像を生成するために、前記細部マップを用いて前記復号したSDデータをアップスケーリングし後処理するシステムとを有することを特徴とする再生システム。
請求項１３に記載の再生システムであって、
前記細部マップは、記録プロセス中に抽出されたエッジディテールに関係する情報を有することを特徴とする再生システム。
請求項１３に記載の再生システムであって、前記後処理システムは、前記細部マップを用いて細部を前記ビデオ画像に加え戻した後に適応的ピーキングを適用することを特徴とする再生システム。
請求項１３に記載の再生システムであって、
前記後処理システムは、前記細部マップを用いて前記ビデオ画像に細部を加え戻した後に輝度遷移改良に適用されることを特徴とする再生システム。
標準精細度（SD）互換媒体に高精細度（HD）ビデオ画像を記録する方法であって、
前記HDビデオ画像をSDビデオフォーマットにスケールダウンするステップと、
前記SDビデオを符号化するステップと、
各HDビデオ画像のエッジディテールを記述する細部マップを各HDビデオ画像について生成するステップと、
前記SDビデオと前記細部マップを前記SD互換媒体に格納するステップを有することを特徴とする方法。
請求項１７に記載の方法であって、
前記細部マップを生成するステップは、
HDビデオ画像から高周波数画像データを抽出するステップと、
前記HDビデオ画像の各領域について、輝度レベルから導かれた閾値とアクティビティレベルを有する閾値マップを生成するステップと、
前記閾値を対応する高周波数画像データと比較するステップとを有することを特徴とする方法。
請求項１８に記載の方法であって、
前記細部マップを生成するステップは、
対応する高周波数画像データより低い閾値を有する領域に正値を、対応する高周波数画像データより高い閾値を有する領域に負値を、対応する高周波数画像データと同じ閾値を有する領域にゼロをそれぞれ割り当てるステップをさらに含むことを特徴とする方法。
請求項１８に記載の方法であって、
前記画像の中心領域のピクセル位置の前記閾値は、前記画像の周辺のピクセル位置と比較して、より低いことを特徴とする方法。
請求項１８に記載の方法であって、
前記細部マップを生成するステップは、
他のエッジディテールからの距離が所定距離よりも大きいエッジディテールを削除するステップをさらに含むことを特徴とする方法。
請求項１８に記載の方法であって、
前記HDビデオ画像はIフレームを有し、
前記細部マップを生成するステップはPフレームとBフレームについて動き補償を実行するステップを含むことを特徴とする方法。
標準精細度（SD）フォーマット記録から高精細度（HD）ビデオ画像を再構成する方法であって、
前記記録からSDデータを抽出し復号するステップと、
重要度閾値に関するエッジディテールを記述する細部マップを前記記録から抽出するステップと、
前記復号されたSDデータをデ・インターレースするステップと、
前記HDビデオ画像を生成するために前記細部マップを用いて前記復号されたSDデータをアップスケールし後処理するステップとを有することを特徴とする方法。
請求項２３に記載の方法であって、前記エンハンスメント情報はMPEGユーザデータフィールドに格納されることを特徴とする方法。
請求項２３に記載の方法であって、
前記復号されたSDデータは、前記細部マップを用いて細部を前記HDビデオ画像に加え戻した後に適応的ピーキングを適用することにより後処理されることを特徴とする方法。
請求項２３に記載の方法であって、
前記細部マップを用いて前記HDビデオ画像に細部を加え戻した後に輝度遷移改良を適用することにより、前記復号されたSDデータを後処理することを特徴とする方法。
標準精細度（SD）媒体に（HD）ビデオ画像を格納および再生可能とするために、細部マップを生成する、記録可能媒体に格納されたプログラムプロダクトであって、
HDビデオ画像から高周波数画像データを抽出する手段と、
前記HDビデオ画像の各領域について、輝度レベルから導かれた閾値とアクティビティレベルを有する閾値マップを生成する手段と、
前記閾値を対応する高周波数画像データと比較する手段とを有することを特徴とするプログラムプロダクト。