JP2004518337A

JP2004518337A - ビデオエンハンスメントのために符号化情報に基づく有用メトリックを提供するための装置及び方法

Info

Publication number: JP2004518337A
Application number: JP2002557115A
Authority: JP
Inventors: ボロツキー，リラ; ジャンセン，ジョハン
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-01-10
Filing date: 2001-12-13
Publication date: 2004-06-17
Also published as: US7161633B2; CN1416640A; DE60122382T2; CN1248487C; KR20030005219A; US20020131512A1; EP1352515B1; DE60122382D1; ATE336859T1; WO2002056582A1; EP1352515A1

Abstract

符号化情報を用いるデジタルビデオ信号の特性をエンハンスするための装置及び方法が開示されている。前にエンコード化またはトランスコード化されたデジタルビデオ信号のシャープネスは、エンコード化アーチファクトをエンハンスすることなく、エンハンスされる。その装置（１３５）は、符号化アーチファクトをエンハンスすることなく画像シーケンスを表す予め符号化されたデジタルビデオに適用することが可能である画像のシャープネスエンハンスメントへの制限を確認するところの有用メトリックジェネレータ（２１５）から構成される。有用メトリックジェネレータは、少なくとも１つのシャープネスエンハンスメントアルゴリズムに有用メトリックを適用する。有用メトリック及びシャープネスエンハンスメントアルゴリズムは分離しているので、種々のビデオエンハンスメントアルゴリズムと共に有用メトリックを用いることが可能である。

Description

【０００１】
（技術分野）
本発明は、符号化情報を用いるデジタルビデオ信号の特性をエンハンスさせるための装置及び方法を提供する。本発明の装置及び方法は、エンコード化アーチファクトを向上させることなく、エンコード化またはトランスコード化されたデジタルビデオのシャープネスをエンハンスさせる。本発明はマルチメディア分野の装置に使用される空間ドメインシャープネスエンハンスメントアルゴリズムとの関連において用いることが可能である。
【０００２】
（背景技術）
セットトップボックス、ハイエンドテレビ、デジタルテレビ、個人のテレビ、記憶プロダクト、携帯情報端末（ＰＤＡ）、無線インターネット装置等の高性能マルチメディア装置の開発は、種々のアーキテクチャを牽引し、これらの装置の新しい機能開拓の可能性を更に広げている。何れかのフォーマットでビデオデータを表示するためのこれら新しい製品及びそれらの能力の発達は、ビデオ処理及びビデオエンハンスメントアルゴリズムに関する新しい要求及び機会を結果としてもたらしている。これら装置の殆どは、ＭＰＥＧ−２フォーマットでビデオを受け取り及び／または記憶する。近い将来、これらの装置の多くはまた、ＭＰＥＧ−４フォーマットでビデオを受け取り及び／または記憶することが可能となる。これらＭＰＥＧソースの画質は非常によい状態から極端に悪い状態まで様々に変化する。
【０００３】
青色レーザベースのデジタルビデオレコーダ等の次世代の記憶装置は、ある程度の高精細度（ＨＤ：ＨｉｇｈＤｅｆｉｎｉｔｉｏｎ）能力を有することになろう。デジタルビデオレコーダ（ＤＶＲ）は、ビデオ画像エンハンスメントの新しい方法が有利であるタイプの装置についてのよい例である。ＨＤプログラムは、典型的には、２０Ｍｂ／秒で放送され、ＭＰＥＧ−２ビデオ標準に従って符号化される。デジタルビデオレコーダの記憶容量は約２０〜２５ＧＢの範囲内である。これは、ビデオディスク当たりのＨＤビデオの記録時間が約２時間であることを表している。
【０００４】
ビデオディスク当たりの記録時間を増加させるために、長時間モードを定義することができる。例えば、長時間（ＬＰ）モードにおいて、１０Ｍｂ／秒の記憶ビットレートで２０Ｍｂ／秒の放送ビットレートを記録することが可能である。これは、ビデオディスク当たり約４時間の記録時間を提供するであろう。拡大長時間（ＥＬＰ）モードにおいては、５Ｍｂ／秒の記憶ビットレートで２０Ｍｂ／秒の放送ビットレートを記録することが可能である。これは、ビデオディスク当たり約８時間の記録時間を提供するであろう。
【０００５】
高ビットレートのビットストリームをより低いビットレートのビットストリームに変換するプロセスは“ビットレートトランスコーディング（ｔｒａｎｓｃｏｄｉｎｇ）”と称せられる。高ビットレートのビットストリームを低ビットレートのビットストリームにトランスコーディングする１つの方法は、ＭＰＥＧ−２復号器を用いて高ビットレートのビットストリームを復号する段階、及び、次いで得られたビットストリームを低ビットレートで符号化する段階を含む。高ビットレートのビットストリームをトランスコーディングするもう１つの方法は、ビデオを十分に復号及び再符号化することなくより低いビットレートにそのビットストリームを直接トランスコーディングする段階を含む。この方法は、直接ビットレートトランスコーディング（ＤＢＴ：ＤｉｒｅｃｔＢｉｔｒａｔｅＴｒａｎｓｃｏｄｉｎｇ）として知られている。
【０００６】
ＭＰＥＧ−２トランスコーディングのプロセスは、情報の損失により、ビデオシーケンスの画質（例えば、シャープネス）を低下させる可能性がある。しかしながら、画質は過度に折衷されないことが好ましい。このことは、特に長時間（ＬＰ）モードに対して重要である。それ故、トランスコーディングされたビデオ信号の後処理は、感知される画質を改善する重要な役割を果たす。
【０００７】
シャープネスエンハンスメントアルゴリズムの殆どの技術情勢は、ＮＴＳＣ、ＰＡＬ及びＳＥＣＡＭのようなアナログビデオ伝送標準について発展され、最適化されてきた。従来、画像エンハンスメントアルゴリズムは、画像内の所定の所望されない様相を減じ（例えば、ノイズ低減）、または、画像の所定の要望される特性を改善する（例えば、シャープネスエンハンスメント）。新たに現れてきたデジタル記憶装置、デジタルテレビ、セットトップボックス、及び他の類似する装置に対して、従来のシャープネスエンハンスメントアルゴリズムは、これらのソースの異なる特性のために符号化またはトランスコーディングされたＭＰＥＧに関して最適とはいかない性能を示すことがある。記憶システムのビデオ処理における確定連鎖において、符号化ソースの特性を決定させることを可能にする情報をＭＰＥＧストリームから導くことが可能である。この情報はビデオエンハンスメントアルゴリズムの性能を向上させるために用いられ得る可能性がある。
【０００８】
画質は依然としてハイエンドビデオプロダクトに対する識別因子であるため、上述のデジタルソースと共に用いるために特に適合される画像エンハンスメントを実行するための新しい方法は有利であろう。論文、Ｃ．Ｊ．Ｔｓａｉ，Ｐ．Ｋａｒｕｎａｒａｔｎｅ，Ｎ．Ｐ．Ｇａｌａｔｓａｎｏｓ及びＡ．Ｋ．Ｋａｔｓａｇｇｅｌｏｓによる“圧縮されたビデオ・エンハンスメント・アルゴリズム（ＡＣｏｍｐｒｅｓｓｅｄＶｉｄｅｏＥｎｈａｎｃｅｍｅｎｔＡｌｇｏｒｉｔｈｍ）”Ｐｒｏｃ．ｏｆＩＥＥＥ，ＩＣＩＰ’９９，Ｋｏｂｅ，Ｊａｐａｎ，１９９９年１０月２５〜２８日（非特許文献１）、において、著者は低ビットレートで符号化されたビデオシーケンスを向上するために反復アルゴリズムを提案している。ＭＰＥＧソースについての画質の劣化は、殆どが量子化機能から由来する。それ故、その著者により採用された反復グラディエント予測アルゴリズムは、その費用関数における量子化ステップサイズ、マクロブロックタイプ及び順方向運動ベクトル等の符号化情報を用いている。このアルゴリズムは、低ビットレートのビデオに対して期待できる結果を示している。しかしながら、その主な不利な点は演算が非常に複雑なことである。
【０００９】
論文、Ｂ．Ｍａｒｔｉｎｓ及びＳ．Ｆｏｒｃｈａｍｍｅｒによる“ＭＰＥＧ−２符号化ビデオの改善された復号（ＩｍｐｒｏｖｅｄＤｅｃｏｄｉｎｇｏｆＭＰＥＧ−２ＣｏｄｅｄＶｉｄｅｏ）”Ｐｒｏｃ．ｏｆＩＢＣ２０００，ｐｐ．１０９−１１５，Ａｍｓｔｅｒｄａｍ，ＴｈｅＮｅｔｈｅｒｌａｎｄｓ，２０００年９月７〜１２日（非特許文献２）、において、著者は、ＭＰＥＧ−２符号化ビデオの復号化を改善するための新しい概念を開示している。具体的には、復号化プロセスに融合されたデインターカレース及びフォーマット変換のための統一された方法が提案されている。その技術は、通常の復号化により得られる画像より著しく良好な画質をもたらす。しかしながら、現在までのところ、その計算における複雑さは、それを消費者が適用してそれを実行することを妨げている。
上記した２つの論文は、ＭＰＥＧ符号化情報を用いるビデオエンハンスメントアルゴリズムについて記載している。しかしながら、それら両者のシナリオは、実際的でないことに加えて、エンハンスメントとコスト関数を結び付けている。コスト関数は、どのくらいの量だけ、且つ画像のどの位置に、エンハンスメントを適用することができるかを決定する。このようなコスト関数とエンハンスメント関数の組み合わせがもたらす問題は、コスト関数と共にたった１つのアルゴリズムを用いることである。
【００１０】
それ故、符号化及びトランスコード化されたビデオソースを効果的にエンハンスすることが可能であるビデオエンハンスメントのための装置及び方法があることは好ましいことである。
【００１１】
本発明は、一般に、符号化情報を用いるデジタルビデオ信号の特性をエンハンスするための装置及び方法から構成される。本発明は、符号化アーチファクトを増加することなく、個々の画素をどれくらいエンハンスすることが可能であるかを計算する有用メトリックから構成される。
【００１２】
その装置は、符号化アーチファクトをエンハンスすることなく画像のシーケンスを表す予め符号化されたデジタルビデオに適用することが可能である画像のシャープネスエンハンスメント量に対する制限を決定することが可能である有用メトリックジェネレータから構成される。有用メトリックジェネレータは有用メトリックを少なくとも１つのシャープネスエンハンスメントアルゴリズムに適用する。有用メトリック及びシャープネスエンハンスメントアルゴリズムは分離しているので、種々のビデオエンハンスメントアルゴリズムと共に有用メトリックを用いることが可能である。
【００１３】
（非特許文献１）
Ｃ．Ｊ．Ｔｓａｉ，Ｐ．Ｋａｒｕｎａｒａｔｎｅ，Ｎ．Ｐ．Ｇａｌａｔｓａｎｏｓ及びＡ．Ｋ．Ｋａｔｓａｇｇｅｌｏｓ “圧縮されたビデオ・エンハンスメント・アルゴリズム（ＡＣｏｍｐｒｅｓｓｅｄＶｉｄｅｏＥｎｈａｎｃｅｍｅｎｔＡｌｇｏｒｉｔｈｍ）”Ｐｒｏｃ．ｏｆＩＥＥＥ，ＩＣＩＰ’９９，Ｋｏｂｅ，Ｊａｐａｎ、１９９９年１０月２５〜２８日
（非特許文献２）
Ｂ．Ｍａｒｔｉｎｓ及びＳ．Ｆｏｒｃｈａｍｍｅｒ “ＭＰＥＧ−２コード化されたビデオの改善されたデコーディング（ＩｍｐｒｏｖｅｄＤｅｃｏｄｉｎｇｏｆＭＰＥＧ−２ＣｏｄｅｄＶｉｄｅｏ）”Ｐｒｏｃ．ｏｆＩＢＣ２０００，ｐｐ．１０９−１１５，Ａｍｓｔｅｒｄａｍ，ＴｈｅＮｅｔｈｅｒｌａｎｄｓ，２０００年９月７〜１２日
（発明の概要）
本発明の主な目的は、デジタルビデオへのビデオエンハンスメントアルゴリズムの適用を調節するために有用メトリックを用いる装置及び方法を提供することである。
【００１４】
本発明の他の目的は、種々の異なるビデオエンハンスメントアルゴリズムを有用メトリックと組み合わせて用いることが可能であるようにビデオエンハンスメントアルゴリズムから分離される有用メトリックを提供することである。
【００１５】
本発明の更なる目的は、装置の性能と複雑さの間の最適なトレードオフを確実にするために有用なメトリックを装置の制約に合わせることができる装置及び方法を提供することである。
【００１６】
本発明の更なる目的は、エンコード化及びトランスコード化ビデオソースを伴って最適に機能するデジタルビデオエンハンスメントの装置及び方法を提供することである。
【００１７】
前述の内容は本発明の特徴及び技術的優位点のかなり大雑把な概要について述べたものであるため、当業者は、以下に述べる“発明の詳細な説明”により更によく理解できるであろう。本発明の主要部である請求項を構成する本発明の付加的な特徴及び優位点については以下で述べる。本発明と同じ目的を実行するために改良したり他の構造をデザインしたりする基礎として、開示された概念及び具体的な実施形態を即座に用いることが可能であることを、当業者はありがたく思う筈である。当業者はまた、そのような等価な構成は、広い形態に及ぶ本発明の概念及び適用範囲から逸脱するものではないことを認識するべきである。
【００１８】
本発明の“発明の詳細な説明”に入る前に、本発明の明細書を通して用いる所定の用語（単語及びフレーズ）の定義について述べて、利便を図ることとする。“含む”及び“構成する”及びこれらの派生語は、制限なく包含することを意味する。“または”は包括的であり、及び／または、を意味する。“に関連する”及び“それに関連する”と共にそれらの派生フレーズは、含むこと、を意味し、にまたはと共に連結する、と連絡する、と協力する、相互配置する、並列する、近接する、強いられる、有する、の特性を有する、等を意味する。“コントローラ”、“プロセッサ”または“装置”は、ハードウェア、ファームウェア、またはソフトウェア、またはそれらのうち２つの組み合わせにおいて実行される装置のような、少なくとも１つの走査を制御する何らかの装置、システム、またはそれらの一部を意味する。何らかの特定なコントローラに関連する機能は集中または分散されることが可能であることに注意しなければならない。特に、コントローラは、１つまたはそれ以上のデータプロセッサから構成され、入力／出力装置およびメモリに関連し、１つまたはそれ以上のアプリケーションプログラム及び／または動作するシステムプログラムを実行する。所定の単語またはフレーズの定義は本発明の明細書を通して提供される。当業者は、殆どでないまでも多くにおいて、そのような定義の例が定義された単語及びフレーズの過去における使用と同様に将来の使用に対しても適用できることを理解する筈である。
【００１９】
（発明の詳細な説明）
本発明の装置及び方法についての原理を開示するために以下で説明する図１〜５及び種々の実施形態は単に例示であって本発明の権利範囲を制限するものと決して解釈されるべきではない。本発明の装置及び方法はデジタルテレビセットにおけるビデオ信号をエンハンスするための装置及び方法として開示されるであろう。本発明の装置及び方法はデジタルテレビセットに限定されるものではないことを認識することは重要なことである。本発明の原理はまた、テレビレシーバ、セットトップボックス、記憶装置、コンピュータビデオ表示システム及びデジタルビデオ信号を利用または処理するその他のタイプの電子機器を制限することなく含む如何なるタイプのデジタルビデオシステムに成功裏に適用可能であることは、当業者にはすぐに理解されるであろう。
【００２０】
図１は、本発明の装置及び方法を利用するデジタルテレビセット１００を示すブロック図である。デジタルテレビセット１００は、テレビレシーバ１１０及び表示ユニット１１５から構成される。表示ユニット１１５はビデオ画像を表示するためのＣＲＴ、フラットパネルディスプレイ、またはその他のタイプの装置である。テレビレシーバ１１０はテレビ信号を受信するためのアンテナ１０５から構成される。アンテナ１０５をチューナ１２０に連結する。チューナ１２０を中間周波数（“ＩＦ”）プロセッサ１２５に連結する。ＩＦプロセッサ１２５をＭＰＥＧ復号器１３０に連結する。
【００２１】
更に詳しく説明されるように、本発明は、ビデオ信号特性をエンハンスするためにエンハンスのための有用メトリック（ＵＭＥ：ＵｓｅｆｕｌｎｅｓｓＭｅｔｒｉｃｆｏｒＥｎｈａｎｃｅｍｅｎｔ）を計算する。ＭＰＥＧ復号器１３０の出力を後処理回路１３５に結合する。後処理回路１３５は、本発明の有用メトリック（ＵＭＥ）から構成される適応ピーキングユニット１４０から構成される。後処理回路１３５内の適切な位置に適応ピーキングユニット１４０を設置することが可能である。後処理回路１３５の出力は表示ユニット１１５への入力である。
【００２２】
適応ピーキングユニット１４０は、それがＭＰＥＧ復号器１３０から受け取るビデオ信号を処理する。適応ピーキングユニット１４０は、適応ピーキングプロセスで用いるための符号化ゲイン値を生成するために、有用メトリック（ＵＭＥ）を用いる。適応ピーキングプロセスは例証であり、本発明の有用メトリック（ＵＭＥ）をどのように用いることが可能であるかを示す。本発明の装置及び方法は適応ピーキングプロセスに限定されないことは明らかである。有用メトリック（ＵＭＥ）を、１つ以上のタイプのビデオエンハンスメントアルゴリズムと共に用いることが可能である。
【００２３】
適応ピーキングユニット１４０は、ビデオ信号における符号化情報を考慮に入れる方法でビデオ信号を処理する。適応ピーキングユニット１４０の出力は、適応ピーキングユニット１４０がＭＰＥＧ復号器１３０から受け取るビデオ信号のためのエンハンスされた輝度信号である。適応ピーキングユニット１４０により決定される輝度信号は、従来技術の適応ピーキングユニットにより提供される輝度信号に比べてより正確且つ視覚的に識別可能なビデオ画像を提供する。適応ピーキングユニット１４０はエンハンスされた輝度信号を後工程回路１３５内の他の回路に移す。後工程回路１３５は、ビデオ信号の特性をエンハンスするためにエンハンスされた輝度信号を利用することが可能である。
【００２４】
後工程回路１３５は、幾つかの異なるタイプのビデオ信号処理を行うことが可能である。例えば、それらのビデオ信号処理を適用することの中には、（ａ）ノイズ低減アルゴリズムに適応可能なノイズレベル、（ｂ）シャープネスエンハンスメントに適応可能なノイズレベル、（ｃ）輝度とクロミナンスの分離に適応可能なノイズレベル、（ｄ）動き検出に適応可能なノイズレベル、（ｅ）運きの評価及び補償に適応可能なノイズレベル、（ｆ）アップコンバージョンに適応可能なノイズレベル、（ｇ）特長エンハンスメントに適応可能なノイズレベル、及び（ｈ）対象ベースのアルゴリズムに適応可能なノイズレベル、がある。
【００２５】
図２は、本発明の１つの好適な実施形態に従った適応ピーキングユニット１４０についての装置及び方法を示すブロック図である。図２は、どのようにして本発明の有用メトリック（ＵＭＥ）がシャープネスエンハンスメントのために適応ピーキングアルゴリズムに適用されるかについて示している。適応ピーキングアルゴリズムは、入力輝度信号２１０の過渡振幅の増加で方向付けられる。適応ピーキングアルゴリズムは、“推測的な”符号化／トランスコード化されたビデオソースに対して最適なビデオ特性を常に供給するとは限らない。これは、主に、ＭＰＥＧソースの性質が考慮に入れられない現実による結果である。
【００２６】
本発明において、有用メトリックジェネレータ２１５は有用メトリック（ＵＭＥ）を生成する。有用メトリック（ＵＭＥ）は参照番号２２０で表される。ＵＭＥ２２０はＭＰＥＧソースの特性を考慮に入れている。オリジナルのアルゴリズムはＵＭＥ２２０を用いることにより拡張され、これにより、アルゴリズムの性能が著しく向上する。
【００２７】
適応ピーキングアルゴリズムにより用いられる原理は従来技術において周知である。適応ピーキングアルゴリズムの１例は４つの制御ブロックを利用する。図２に示すように、４つの制御ブロックは、コントラスト制御ブロック２２５、ダイナミックレンジ制御ブロック２３０、クリッピング防止ブロック２３５、及び適応コアリングブロック２４０である。コントラスト制御ブロック２２５はゲイン信号“ｇ１”を生成する。ダイナミックレンジ制御ブロック２３０はゲイン信号“ｇ２”を生成する。クリッピング防止ブロック２３５はゲイン信号“ｇ３”を生成する。適応コアリングブロック２４０はゲイン信号“ｇ４”を生成する。
【００２８】
これらの４つの画素ベースの制御ブロックは、コントラスト、ダイナミックレンジ及びノイズレベル等のビデオ信号についての特定局所の特性を考慮に入れる。しかしながら、これら４つの制御ブロックは、符号化特性に関する情報については考慮に入れない。
【００２９】
本発明の装置は符号化ゲインブロック２４５を備えている。符号化ゲインブロック２４５は有用メトリック（ＵＭＥ）を用い、許容されるピーキング量を決定する。符号化ゲインブロック２４５はゲイン信号“ｇ_{ｃｏｄｉｎｇ}”を生成する。ダイナミックゲイン制御ブロック２５０は５つのゲイン信号（ｇ１、ｇ２、ｇ３、ｇ４、ｇ_{ｃｏｄｉｎｇ}）の最小値を選択し、最終ゲイン信号 “ｇ”を生成する。乗算回路２５５は、最終ゲイン信号“ｇ”に２Ｄピーキングフィルタ２６０でフィルタリングされたハイパス信号を乗じる。加算器２６５は、乗算回路２５５からのその積を輝度入力信号２１０で表される画素のオリジナルの輝度値に加算する。このようにして、エンハンスされた輝度出力信号２７０が生成する。
【００３０】
ＵＭＥ２２０は、符号化アーチファクトの増加を伴わないで、画素または領域がどれくらいエンハンスされるかを計算する（画素毎または領域毎に）。ＵＭＥ２２０はビットストリームに存在するＭＰＥＧ符号化情報から導き出される。ビットストリームに存在する符号化情報を復号化手順の間に取り出すことが可能である。ＵＭＥ２２０と共に用いられるＭＰＥＧ情報を選択することは決してありふれたことではない。ＵＭＥ２２０はビデオの空間と時間上の特性または画質についての指示を提供するに違いない。
【００３１】
復号化の間に直接得ることが可能であるＭＰＥＧ情報の最も細かい粒度は、（１）マクロブロック（ＭＢ）量、または、（２）ブロックベースの量、のどちらかに基づくものである。しかしながら、空間（画素）ドメインビデオエンハンスメントのために、最も高品位の画質を確実にするために画像の各画素に対してＵＭＥを計算しなければならない。
【００３２】
ＭＰＥＧ情報から簡単に抽出される１つのパラメータは、それが各符号化マクロブロック（ＭＢ）に存在するとき、量子化パラメータとなっている。量子化パラメータが大きければ大きい程、量子化は粗くなり、したがって、量子化に伴うエラーが大きくなる。量子化エラーが大きいと、符号化アーチファクト、即ち大きい量子化パラメータをもつマクロブロック（ＭＢ）の画素のエンハンスメントが非常に抑えられるに違いない。
【００３３】
情報についてのその他の有用な項目は、マクロブロック（ＭＢ）又はブロックを符号化するために使用されるビット数である。使用されるビット数を、特定の画像におけるマクロブロック（ＭＢ）またはブロックで使用される平均ビット数と比較することが可能である。しかしながら、この量はまた、シーンの内容、ビットレート、画像タイプ（Ｉ（内部用）、Ｐ（予測）、Ｂ（双方向予測）ピクチャタイプ）、動き評価、及び動き補償にもまた非常に依存する。
【００３４】
ブロックにおけるＤＣＴ係数の分布を検討することもまた可能である。エンハンスされるビデオの時間的特性に関する情報を得るために動きベクトルを用いることもまた可能である。ＭＰＥＧエンコードのために評価され且つ用いられる動きベクトルは必ずしもビデオにおける真の動きを表さないことは周知のことである。しかしながら、運動ベクトルは静的領域を確認することに役立ち、動きベクトルが信頼できないときでさえ、フレーム毎のエンハンスメントの時間的一貫性を改善するために静的領域を使用することが可能である。
【００３５】
量子化パラメータ及び用いられるビット数（マクロブロック（ＭＢ）又はブロックを符号化するために）の両者は、ＭＰＥＧエンコードのレート制御の計算において広く用いられている。量子化パラメータ及び用いられるビット数は符号化の複雑さを計算するために通常用いられる。
【００３６】
ＵＭＥの例１。“符号化の複雑さ”は量子化パラメータとマクロブロック（ＭＢ）またはブロックをエンコード化するために使用されるビット数との積として定義される。符号化の複雑さは、したがって、次式で表される。
【００３７】
ｃｏｍｐｌ_{ＭＢ／ｂｌｏｃｋ}（ｋ，ｈ）＝ｍｑｕａｎｔ（ｋ，ｈ）＊ｂｉｔｓ_{ＭＢ／ｂｌｏｃｋ}（ｋ，ｈ）（１）
ここで、“ｍｑｕａｎｔ”は量子化パラメータであり、“ｂｉｔｓ_{ＭＢ／ｂｌｏ} _ｃｋ”はマクロブロック（ｋ，ｈ）またはブロック（ｋ，ｈ）をエンコード化するために用いられるＤＣＴ係数のビット数である。基礎となる前提は、フレームの平均複雑さに関するマクロブロック（ＭＢ）又はブロックの複雑さが大きくなればなる程、マクロブロック（ＭＢ）又はブロックにおいて符号化アーチファクトを有する確率は大きくなる。それ故、比較的大きい符号化の複雑さをもつブロックの画素に対してはエンハンスメントは抑制されるべきである。
【００３８】
したがって、画素（ｉ，ｊ）のＵＭＥは、次式により定義される。
【００３９】
ＵＭＥ（ｉ，ｊ）＝１−ｃｏｍｐｌ_{ｐｉｘｅｌ}（ｉ，ｊ）／２＊ｃｏｍｐｌ_ＡＶＥ（２）
ここで、ｃｏｍｐｌ_{ｐｉｘｅｌ}（ｉ，ｊ）は画素（ｉ，ｊ）の符号化の複雑さであり、ｃｏｍｐｌ_ＡＶＥは画像の符号化の複雑さの平均である。ｃｏｍｐｌ_ＡＶＥの値は次式により評価することが可能である。
【００４０】
【数１】

ここで、ＮＢは画像に存在するブロック数であり、ｃｏｄｉｎｇ＿ｃｏｍｐｌ_{ｂｌｏｃｋ}はブロックについての符号化の複雑さである。
【００４１】
本発明において、双線形補間によりマクロブロック（ＭＢ）またはブロックの複雑さマップからｃｏｍｐｌ_{ｐｉｘｅｌ}（ｉ，ｊ）を評価する。高次補間等の他の補間方法もまた用いることが可能である。
【００４２】
マクロブロック（ＭＢ）／ブロックについての複雑さのマップは引き継がれたブロック構造を有する。この複雑さのマップの特性（ＵＭＥに対して好ましくない）を低減するために、空間ローパスフィルタをそのマップに適用する。ローパスフィルタに用いられるフィルタカーネルは、次式のようになる。
【００４３】
【数２】

他のタイプのローパスフィルタリングもまた可能である。
【００４４】
本発明の１つの好適な実施形態において、ＵＭＥ（ｉ，ｊ）は０（“ゼロ”）から１までの範囲の値をとることが可能である。ＵＭＥ（ｉ，ｊ）の値が０であることは、特定の画素に対してシャープネスエンハンスメントが可能とされないことを意味し、一方、ＵＭＥ（ｉ，ｊ）の値が１であることは、如何なる符号化アーチファクトをエンハンスするリスクを伴わないで、画素を自由にエンハンスすることが可能であることを意味している。
【００４５】
より強いビットレート依存性を盛り込むために、量子化パラメータに直接関連する項を付加することにより式（２）を拡張することが可能である。これは、低ビットレートで符号化されるビデオに対して特に有利である。
【００４６】
ＵＭＥの例２。この例においては、量子化パラメータのみをＵＭＥの計算に用いると仮定される。より大きい量子化パラメータ値は、通常、符号化アーチファクトの増大をもたらすため、ＵＭＥは量子化パラメータ、即ちｍｑｕａｎｔに反比例する筈である。ＭＢ（ｋ，ｈ）についてのＵＭＥの可能な関数は、次式で与えられる。
【００４７】
【数３】

ここで、変数ａ、ｂ、ｃ及び関数ｆは実験的に決定される。式（５）で表される関数ＵＭＥ_ＭＢ（ｋ，ｈ）を図３にグラフとして示す。１つの量子化パラメータがエンコード化手順において１つのマクロブロック（ＭＢ）に割り当てられるため、式（５）における関数ＵＭＥ_ＭＢ（ｋ，ｈ）は各マクロブロック（ＭＢ）に対して計算される。それ故、マクロブロック（ＭＢ）レベルのＵＭＥマップを補間することにより、フレームの各画素に対するＵＭＥ_ＭＢ（ｋ，ｈ）を得ることが可能である。
【００４８】
ＭＰＥＧ−２ビデオ圧縮規格は、データの伴わないＰ（予測）及びＢ（双方向予測）画像タイプ）ピクチャの所定のマクロブロック（ＭＢ）及びブロックの、エンコード化を可能にする。これらのマクロブロックは“スキップされた（ｓｋｉｐｐｅｄ）”マクロブロックと呼ばれる。最も新しい符号化及びスキップされないマクロブロック（ＭＢ）からの参照ピクチャ及び符号化情報を用いる復号化手順においてスキップされたマクロブロック（ＭＢ）を再構成することが可能である。更に、十分に動き補正がなされたマクロブロック（ＭＢ）に対しては、符号化されないビットストリームにおけるＤＣＴデータまたはマクロブロックにおける所定のブロックはない。
【００４９】
スキップされた又はエンコード化されないマクロブロック（ＭＢ）及びブロックに対して、エンコード化されたビットストリームはＵＭＥを計算するために必要な符号化情報を含まない。この不足を改善するために、例えば次の２つの方法のうち１つを用いて、ＵＭＥを評価することが可能である。
【００５０】
第１の方法は、スキップされた又は符号化されないマクロブロック（ＭＢ）またはブロックについてＵＭＥを評価するために隣接するスキップされない又は符号化されたマクロブロック（ＭＢ）を用いることである。１つの好適な実施形態において、３×３のウィンドウが用いられる。この評価ウィンドウはスキップされたまたは符号化されないマクロブロック（ＭＢ）に中心が置かれる。すべてのマクロブロック（ＭＢ）が評価ウィンドウにおいてスキップされまたは符号化されない場合、スキップされまたは符号化されないマクロブロック（ＭＢ）の複雑さはフレームの平均の複雑さの半分であるとみなされる。この方法は、ピクチャが比較的少ないスキップされたマクロブロック数を有する場合にうまく使える。ピクチャが低ビットレートのエンコード化を有するか、または静止シーンを有する場合、この評価方法では粗すぎる。
【００５１】
第２の方法は、動き補正を用いて、前のフレームの対応するマクロブロック（ＭＢ）に割り当てられたように、スキップされたまたは符号化されないマクロブロック（ＭＢ）に同じＵＭＥを割り当てることである。
【００５２】
ＵＭＥは特性を符号化するために計算されるので、ＵＭＥはブロッキング及びリンギングなどの符号化アーチファクトのエンハンスメントのみを妨げる。それ故、過度のエンハンスメントの適用に起因する、符号化しない原因をもつアーチファクトの防止または削減は、シャープネスエンハンスメントアルゴリズムの他の部分により対処される。
【００５３】
ＵＭＥを如何なるピーキングアルゴリズムと組み合わされることが可能である。それに代えて、ＵＭＥを如何なる空間ドメインシャープネスエンハンスメントアルゴリズムに適合させることも可能である。また、符号化情報だけを適合可能なピーキングアルゴリズムと組み合わせて利用することも可能である。また、適合するピーキングアルゴリズムと組み合わされる情報に関連するシーン内容を組み込む符号化情報を利用することも可能である。
【００５４】
図４はそのような実施形態を示している。図４においては、図１の４つのブロック２２５、２３０、２３５及び２４０は削除されている。符号化ゲインブロック２４５のみが残っている。エッジ情報等のシーン内容情報は符号化ゲイン計算に組み込まれる。シーン内容に関連する情報は、ＵＭＥ２２０の計算においてなされた仮定及び適用された補間から導き出されるＵＭＥ２２０の計算についての不確かさを補償する。
【００５５】
図４に示す実施形態において、画素（ｉ，ｊ）の符号化ゲインは次式に従って、２つの項の和として決定される。
【００５６】
Ｇ_{ｃｏｄｉｎｇ}（ｉ，ｊ）＝ＵＭＥ（ｉ，ｊ）＋ｇ_ｅｄｇｅ（ｉ，ｊ）（６）
項ＵＭＥ（ｉ，ｊ）は上述のように定義され、式（２）または式（５）から計算される。項ｇ_ｅｄｇｅ（ｉ，ｊ）はエッジに関連する画素情報であり、エッジ検出出力に基づいて適応するように計算される。ｇ_ｅｄｇｅ（ｉ，ｊ）を計算するための１つの例示的方法は次のような仮定を含む。即ち、（１）ｐ（ｉ，ｊ）は空間配置（ｉ，ｊ）がエッジである画素であり、及び、（２）ｐ（ｉ，ｊ）はエッジの中央に位置し、または、ｐ（ｉ，ｊ）はエッジの中央に最も近い画素である。更に、項ｇ_ｅｄｇｅ（ｉ，ｊ）は次式により計算することが可能である。
【００５７】
【数４】

ここで、ｃの値は実験的に決定される。
【００５８】
エッジに関連する項が符号化ゲイン計算において用いられる場合、エッジの検出は、ブロッキングアーチファクトのブロック境界、及び低ビットレートで符号化される画像シーケンスで生じるリンギングの誤ったエッジを除外するべきである。
【００５９】
所定の画素に対する符号化ゲインにおける急激なフレームからフレームへの変化は一時的に一貫性のないシャープネスエンハンスメントをもたらし、これは好ましくない。そのような変化はまた、一時的に強度を強め、モスキットノイズのようなアーチファクトの弊害をもたらす。
【００６０】
この影響を改善するために、一時的なフィルタリングが前のフレームのゲインを用いて符号化ゲインに適用される。一時的フィルタリングは単純な無限インパルス応答（ＩＩＲ：ＩｎｆｉｎｉｔｅＩｍｐｕｌｓｅＲｅｓｐｏｎｓｅ）フィルタまたは動き補償フィルタとすることが可能である。動き補償を用いない１つの可能なＩＩＲフィルタは時式により与えられる。
【００６１】
Ｇａｉｎ_{ｃｏｄｉｎｇ}（ｉ，ｊ）＝ｋ＊ｇａｉｎ_{ｃｏｄｉｎｇ}（ｉ，ｊ，ｔ）＋（１−ｋ）＊ｇａｉｎ_{ｃｏｄｉｎｇ}（ｉ，ｊ，ｔ−１）（８）
ここで、ｔは現在のフレームを表し、ｋはＩＩＲフィルタ係数である。
【００６２】
ＵＭＥは式（２）の符号化の複雑さに基づいて計算することが可能である。著しい計算における複雑さ及びメモリに対する要求を低減するために、ゲインマップをフィルタリングすることに代えて、マクロブロック（ＭＢ）またはブロックベースの複雑さマップを無限インパルス応答（ＩＩＲ）フィルタを用いて一時的にフィルタリングする。このプロセスは次式により表される。
【００６３】
ｃｏｍｐｌ_{ＭＢ／ｂｌｏｃｋ}（ｒ，ｓ，ｔ）＝ｋ＊ｃｏｍｐｌ_{ＭＢ／ｂｌｏｃｋ}（ｒ，ｓ，ｔ）＋ｓｃａｌ＊（１−ｋ）＊ｃｏｍｐｌ_{ＭＢ／ｂｌｏｃｋ}（ｒ，ｓ，ｔ−１）（９）
ここで、（ｒ，ｓ）はマクロブロック（ＭＢ）またはブロックの空間座標であり、ｔは現在のピクチャを表し、ｋは無限インパルス応答（ＩＩＲ）フィルタ係数であり、“ｓｃａｌ”は異なるピクチャタイプ間の複雑さを考慮に入れるスケーリング項である。スケーリング項“ｓｃａｌ”は、フレーム“ｔ”及び“ｔ−１”のＭＢまたはブロックの複雑さの平均の比として計算される。具体的には、
【００６４】
【数５】

空間フィルタの出力は、エンハンスされた輝度出力信号２７０を生成するためにオリジナルの輝度入力信号２１０に加算器２６５により加えられる。
【００６５】
本発明はまた、高精細度（ＨＤ）を有し長時間（ＬＰ）モードを可能にするビデオ記憶アプリケーションに存在するような、高精細度（ＨＤ）及び標準精細度（ＳＤ）シーケンスとすることが可能である。そのようなビデオシーケンスの大部分は、放送用ＭＰＥＧ−２ビットレートから低い記憶ビットレートにトランスコーディングされる。このアプリケーションの長時間（ＬＰ）モードに対して、トランスコーディングの間にフォーマットの変化が生じ得る。標準精細度（ＳＤ）または高精細度（ＨＤ）のビデオシーケンスは、エンコード化され、復号化され、次いでシャープネスエンハンスメントアルゴリズムを用いて処理され、本発明に従って、符号化情報を用いないアルゴリズムに比較して先験的なエンコード化またはトランスコード化されたビデオシーケンスのためのより優れたビデオ品位を提供する。
【００６６】
図５は、本発明の方法の好適な実施形態を示すフロー図である。１つのフレーム（フレーム“ｔ”）を処理するための符号化ゲインを計算するための方法は、一般に、符号５００により示される。先ず、符号化情報が得られる（段階５０５）。次いで、フレーム“ｔ”の複雑さマップが得られる（段階５１０）。次に、スキップされたまたは符号化されないマクロブロック（ＭＢ）（もしあれば）のための複雑さの評価が決定される（段階５１５）。
【００６７】
段階５２０は、式（４）のフィルタカーネルを用いてローパスフィルタにより複雑さのマップをフィルタリングする段階である。段階５２５は、式（９）、式（１０）及び前のフレーム（フレーム“ｔ−１”）の複雑さのマップを用いて複雑さのマップを一時的にフィルタリングする段階である。段階５５０は、前のフレーム（フレーム“ｔ−１”）の複雑さマップを得る段階である。フレーム“ｔ−１”の複雑さマップ情報は段階５２５で用いられる。段階５３０は、段階５２５の一時的フィルタリングの後に信号の双線形補間を実行する段階である。画素あたりの符号化ゲインが次いで計算される（段階５３５）。
【００６８】
フレーム“ｔ”からの情報が得られ（段階５６０）、フレーム“ｔ”の中のピクチャのエッジを検出するために用いられる（段階５５５）。
【００６９】
段階５３５において画素当たりの符号化ゲインが計算された後、次いで、有用メトリック（ＵＭＥ）は適応ピーキングプロセスで用いられる（段階５４０）。段階５４０のＵＭＥ適応ピーキングプロセスはまた段階５６０のフレーム“ｔ”から得られた情報を用いる。段階５４０のＵＭＥ適応ピーキングプロセスの結果は強調されたフレーム“ｔ”として表示される（段階５４５）。
【００７０】
上述の方法は次のようにまとめることができる。その方法は、マクロブロック（ＭＢ）またはブロックレベルの複雑さのマップは時間“ｔ”について利用可能である。スキップされたまたは符号化されないマクロブロック（ＭＢ）またはブロックの複雑さの評価を次いで実行する。複雑さのマップのブロッキング構造を減少させるために、式（４）のフィルタカーネルを用いるローパスフィルタリングを適用する。次いで、式（９）、式（１０）及び前のフレームの複雑さのマップを用いる複雑さのマップの一時的なフィルタリングを実行する。マクロブロック（ＭＢ）またはブロックの複雑さのマップからの双線形補間により、各画素の複雑さの値を評価する。各画素についての複雑さの値及びエッジ検出プロセルの結果を用いて、各画素について符号化ゲインを計算する。強調されたフレーム“ｔ”を生成するために、ＵＭＥを用いる適応ピーキングをフレームの各画素に適用する。
【００７１】
アルゴリズムをインターレースビデオシーケンスに適用する場合、幾つかの計算をインターレースビデオの特性に適応させることが可能である。複雑さの計算は、インターレースビデオシーケンスに対してＭＰＥＧストリームはフィールドまたはフレームの構造化ピクチャの何れかを有することが可能であるという現実により、変化されるであろう。フィールド構造化ピクチャにおいて、ブロックは１つのフィールドのみからのデータを含み、各ブロックはフィールドＤＣＴ符号化される。したがって、プログレッシブビデオについての複雑さの計算は、それがフィールド構造化ピクチャについてのものであるように、適用されることが可能である。
【００７２】
しかしながら、フレーム構造化ピクチャにおいては、ブロックをフレームＤＣＴ符号化またはフィールドＤＣＴ符号化することが可能である。それ故、８×８ブロックについて “フィールドの複雑さ”のみを評価することが可能である。ブロックの“フィールドの複雑さ”を計算するために１つのマクロブロック（ＭＢ）からの２つのブロックを用いることが可能である。これらの考慮から、インターレースビデオにおいて、マクロブロック（ＭＢ）に比べてより単純な場合は、ブロックについての複雑さの計算を用いることが理解される。
【００７３】
本発明は、デジタルテレビのセットについて図に例示することにより所定の実施形態に関して詳細に説明したが、本発明は記載した実施形態及びその改良に限定されるものではない。当業者は、広い形態に及ぶ本発明の概念及び適用範囲から逸脱することなく、本発明についての種々の変更、置き換え、修正、変形及び改作が可能であることは明らかである。
【図面の簡単な説明】
【図１】
本発明の装置及び方法から構成される例としてのデジタルテレビセットのブロック図である。
【図２】
本発明の有用メトリックジェネレータ及び符号化ゲインコントロールブロックから構成される好適な実施形態を示すブロック図である。
【図３】
本発明の有用メトリック対量子化パラメータの関係を表す関数について示すグラフである。
【図４】
本発明の有用メトリックジェネレータ及び符号化ゲインコントロールブロックから構成されるもう１つの好適な実施形態を示すブロック図である。
【図５】
本発明の方法及び操作の好適な実施形態を示すフローチャートである。

Claims

デジタルビデオストリームにおいて予め符号化されたデジタルビデオ信号の画質をエンハンスするための装置であって：
符号化アーチファクトをエンハンスすることなく前記予め符号化されたデジタルビデオ信号に適用されることが可能であるビデオエンハンスメント量を決定するために有用メトリックを生成することが可能である前記デジタルビデオシステムにおける有用メトリックジェネレータ；
から構成される装置。
請求項１に記載の装置であって、前記デジタルビデオシステムは、前記予め符号化されたデジタルビデオ信号にシャープネスエンハンスメントアルゴリズムを適用することが可能である少なくとも１つのシャープネスエンハンスメントユニットから構成され、そして前記装置は前記少なくとも１つのシャープネスエンハンスメントユニットにより前記予め符号化されたデジタルビデオ信号に適用される許容シャープネスエンハンスメント量を決定するために前記有用メトリックを用いることが可能である符号化ゲインコントロールブロックから更に構成される、装置。
請求項２に記載の装置であって、前記少なくとも１つのシャープネスエンハンスメントユニットは適応ピーキングユニットである、装置。
請求項３に記載の装置であって、前記有用メトリックは符号化アーチファクトなしに画素はどの程度エンハンスされることが可能であるかを画素毎に計算する、装置。
請求項４に記載の装置であって、画素の符号化ゲインは
ｇ_{ｃｏｄｉｎｇ}（ｉ，ｊ）＝ＵＭＥ（ｉ，ｊ）＋ｇ_ｅｄｇｅ（ｉ，ｊ）
の式により決定され、ここで、ｉ及びｊは画素の座標であり、ｇ_{ｃｏｄｉｎｇ}は画素の符号化ゲインであり、ＵＭＥは有用メトリックであり、そしてｇ_ｅｄｇｅは画素から導かれるエッジ関連の情報に基づいている。
請求項５に記載の装置であって、ｇ_ｅｄｇｅ（ｉ，ｊ）の値は、（１）空間位置（ｉ，ｊ）のエッジ画素ｐ（ｉ，ｊ）については実験的に決定される値ｃ、（２）空間位置（ｉ−１，ｊ）の画素ｐ（ｉ−１，ｊ）及び空間位置（ｉ＋１，ｊ）の画素ｐ（ｉ＋１，ｊ）についてはｃの半分の値、（３）空間位置（ｉ−２，ｊ）の画素ｐ（ｉ−２，ｊ）及び空間位置（ｉ＋２，ｊ）の画素ｐ（ｉ＋２，ｊ）についてはｃの四分の一の値、及び（４）他のすべての画素については０に等しくｇ_ｅｄｇｅ（ｉ，ｊ）の値を設定することにより計算される、装置。
請求項１に記載の装置であって、前記有用メトリックジェネレータは前記有用メトリックを生成するために符号化情報を利用する、装置。
請求項１に記載の装置であって、前記有用メトリックジェネレータは前記有用メトリックを生成するために符号化情報及びシーン内容に関連する情報を利用する、装置。
デジタルビデオシステムであって：
前記デジタルビデオシステムにおいて予め符号化されたデジタルビデオ信号の画質をエンハンスするための装置であって、前記装置は符号化アーチファクトをエンハンスすることなく前記前の符号化デジタルビデオ信号に適用されることが可能であるビデオ画像エンハンスメント量を決定するために有用メトリックを生成することが可能である前記デジタルビデオシステムの有用メトリックジェネレータから構成される装置；
から構成される、デジタルビデオシステム。
デジタルビデオシステムにおいて予め符号化されたデジタルビデオ信号の画質をエンハンスするための方法であって：
前記デジタルビデオシステムの有用メトリックジェネレータに有用メトリックを生成する段階；及び
アーチファクトをエンハンスすることなく前記予め符号化されたデジタルビデオ信号に適用することが可能であるビデオ画像エンハンスメント量を決定するために前記有用メトリックを利用する段階；
から構成される方法。