JP2005525014A

JP2005525014A - 符号化されたデジタルビデオのためのシャープネスエンハンスメントのシステムおよび方法

Info

Publication number: JP2005525014A
Application number: JP2004502249A
Authority: JP
Inventors: ヤン，イビン; ボロツキー，リラ
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2002-05-06
Filing date: 2003-04-23
Publication date: 2005-08-18
Also published as: US7031388B2; DE60302456T2; EP1506525A1; EP1506525B1; ATE310996T1; AU2003225481A1; KR20040102211A; CN1650328A; WO2003094111A1; DE60302456D1; CN100370484C; US20030206591A1

Abstract

ビデオデータのフレーム中の各ピクセルのUMEを計算する方法とシステムである。ブロックベースのデータのフレームを表す符合化デジタルビデオ信号のシャープネスをエンハンスするシステムは、フレームタイプにより前記フレームの各ピクセルのUMEを計算するシステムと、ここで、前記計算するシステムは、前記フレームの局所空間的特徴を定義するメカニズムと、前記フレームのブロックベースの動き推定を分析するメカニズムと、前記フレームのシーン変化を検出するメカニズムとを含み、前記UMEに基づき前記デジタルビデオの復号されたバージョンにシャープネスを向上するシャープネスエンハンサとを有する。

Description

発明の詳細な説明

本発明は、符号化情報、局所空間的特徴、および動き情報を用いてデジタルビデオ信号の品質を向上するシステムおよび方法に関する。本発明のシステムおよび方法は、符号化によるアーティファクトを強めることなくデジタルビデオを符号化またはコード変換されたデジタルビデオのシャープネスをエンハンス（強調）する。

セットトップボックス、ハイエンドテレビ、デジタルテレビ、パーソナルテレビ、記憶装置、PDA、ワイヤレスインターネット機器等の高品質マルチメディア機器の開発は、多様なアーキテクチャが用いられ、新しい機能（フィーチャ）に対しより開放的である。さらにまた、これら新製品および任意のフォーマットのビデオデータを表示するその能力の開発は、ビデオ処理とビデオエンハンスメントアルゴリズムに関して新しい要望と機会を生んでいる。

MPEG（Moving Picture Expert Group）ビデオ圧縮は、現在あるおよび現れつつある多数の製品で使用されている。MPEGは、デジタルテレビセットトップボックス、DSS、HDTVデコーダ、DVDプレーヤ、テレビ会議、インターネットビデオ、その他のアプリケーションの中心である。これらのアプリケーションは、ビデオ情報の保管に要する記憶スペースが少なくても済むこと、一箇所から他の場所へビデオ情報を送信するのにバンド幅が少なくて済むこと、またはこれらの組み合わせによりビデオ圧縮から利益を得ている。これら機器のほとんどは、MPEG-2フォーマットでビデオを受信および／または記憶する。将来的には、MPEG-4フォーマットのビデオを受信および／または記憶してもよい。これらMPEGソースの画像品質は大きく異なることもある。

人間の視覚システムに関する研究により、眼は輝度の変化により敏感であり、クロミナンスの変化には余り敏感でないことが示された。MPEGは、眼の輝度およびクロミナンスへの感度の違いを効率的に利用するように色空間で動作する。よって、MPEGは、データの値を表すのに、RGBではなく、YCbCr色空間を用いる。ここで、Yは輝度成分であり、実験的にY=0.299R+0.587G+0.114Bである。Cbは青色差成分であり、Cb=B-Yである。また、Crは赤色差成分であり、Cr=R-Yである。

MPEGビデオは、エラーハンドリング、ランダムサーチおよび編集、若しくは例えばオーディオビットストリームとの同期を支援するため、レイヤの階層構造で構成される。第１のレイヤ、トップレイヤは、ビデオシーケンスレイヤとして知られ、例えば符号化された映画、広告、またはアニメーション等の任意の自己完結のビットストリームでよい。

第２レイヤは、第１レイヤの下にあり、GOP（Group Of Pictures）である。このGOPは、Iフレームおよび／または非I（PまたはB）ピクチャの１以上のグループから構成される。Iフレームは、厳密にイントラ圧縮されており、ビデオにランダムアクセスポイントを提供する。Pフレームは、動き補償された前方予測符号化されたフレームであり、フレーム間圧縮されており、一般的には圧縮の程度はIフレームより大きい。Bフレームは、動き補償された双方向予測符号化フレームであり、フレーム間圧縮されており、一般的には圧縮の程度が一番大きい。

第３のレイヤは、第２のレイヤの下にあり、ピクチャレイヤ自体である。第３のレイヤの下にある第４のレイヤはスライスレイヤと呼ばれる。各スライスはラスタ順のマクロブロックの連続シーケンスであり、典型的なビデオアプリケーションでは行ベースであることが多い。スライス構造は、エラーが発生したときも復号可能とすることを意図されている。各スライスはマクロブロックから構成されている。そのマクロブロックは、１６ｘ１６アレイの輝度ピクセル、またはピクチャデータ要素であり、２つ以上の８ｘ８アレイ（フォーマットによる）の関連するクロミナンスピクセルを伴う。マクロブロックは、別個の８ｘ８ブロックにさらに分割でき、変換符号化等の処理がさらに可能である。マクロブロックは、YCbCr色空間を参照するとき、異なった仕方で表すことができる。よく使用される３つのフォーマット４：４：４、４：２：２、４：２：０が知られている。４：４：４は全バンド幅のYCbCrビデオである。４：２：２は、４：４：４の半分のクロミナンス情報を含む。４：２：０は４分の１のクロミナンス情報を含む。輝度とクロミナンスを表す効率的な仕方により、４：２：０表現はすぐに１２ブロック／マクロブロックから６ブロック／マクロブロックへのデータ削減を可能とする。

IフレームはPフレームおよびBフレームと比較して圧縮が弱く、PフレームおよびBフレームではMPEG圧縮が最も効率的となる。効率は予測に基づく動き補償と呼ばれる技術により達成される。予測に基づく動き補償は時間的冗長性を利用する。フレームは密接に関係しているため、現在のピクチャは前のピクチャの変形としてモデル化することができると仮定する。１つのフレームのデータを前のフレームのデータに基づき正確に予測することができる。Pフレームにおいて、１６ｘ１６サイズの各マクロブロックは、前に符号化されたIピクチャまたはPピクチャのマクロブロックから予測される。フレームは動くオブジェクトの時間的スナップショットであるから、２つのフレームのマクロブロックは、同じ空間的位置に対応しないかも知れない。エンコーダは、前のフレーム内を（Pフレームを求めて、または前と後のフレーム内をBフレームを求めて）探し、現在のマクロブロックに含まれる情報と密接に一致する他のマクロブロックの位置を求めて、ピクセルを半分ずつインクリメントして探す。最も一致するマクロブロックの、位置を特定したマクロブロックからの水平方向および垂直方向の変位は動きベクトルと呼ばれる。現在のブロックおよび一致するブロックの間の差異および動きベクトルが符号化される。動きベクトルは、間違いの多いデータの場合の動き予測にも用いることができる。精巧なデコーダアルゴリズムは、このベクトルをエラー隠蔽に用いることができる。Bフレームにおいて、動き補償ベースの予測と補間が、各フレームのいずれかの側にあるリファレンスフレームを用いて実行される。

次世代の記憶デバイスであるブルーレーザベースのデジタルビデオレコーダ（DVR）等は、ある程度HD（ハイデフィニション）（ATSC）の能力を有し、このタイプのデバイスではピクチャエンハンスメントの新しい方法が有利である。HDプログラムは、一般的には20Mb/sで放送され、MPEG-2ビデオ標準により符号化されている。これは、DVRの記憶容量が約25GBであることを考慮すると、１枚のディスクに約２時間のHDビデオが記録できることを表す。記録時間を増やすために、長時間プレイモードであるロングプレイ（LP）モードやエクステンデッドロングプレイ（ELP）モード等を規定することができる。

LPモードの場合、平均記憶ビットレートは約10Mb/sであると仮定され、HDの２倍の記録時間が確保できる。その結果、符合変換は、ビデオ処理の連鎖の統合された一部であり、20Mb/sの放送ビットレートを10Mb/sの記憶ビットレートに減少させる。MPEG-2符号変換の間に、ビデオのピクチャ品質（例えば、シャープネス）はほぼ確実に悪くなる。しかし、LPモードでは特に、ピクチャ品質を妥協しすぎるべきではない。それゆえ、LPモードでは、後処理が知覚されるピクチャ品質を向上する上で重要な役割を果たす。

現在まで、技術水準のシャープネスエンハンスメントアルゴリズムは、ほとんどアナログビデオ送信標準であるNTSC（National Television System Committee）、PAL（Phase Alternation Line）、SECAM（SEquential Couleur A Memoire）のために開発され、最適化されてきた。昔から、画像エンハンスメントアルゴリズムは、ピクチャの好ましくない外観を減少させたり（例えばノイズリダクション）、画像の望ましい特徴を向上したり（例えば、シャープネスエンハンスメント（鮮明度強調））することであった。これらの出現しつつある記憶デバイスにおいて、昔からのシャープネスエンハンスメントアルゴリズムは、ソースの特徴が異なるため、MPEG符号化されたまたは符号変換されたビデオに最適ではない。記憶システムの閉じたビデオ処理連鎖において、符号化されたソースの品質を決定可能とする情報は、MPEGストリームから導かれる。この情報は、ビデオエンハンスメントアルゴリズムの性能を向上するために潜在的に用いることができる。

ピクチャ品質はハイエンドビデオ製品でも差別化ファクタにとどまるので、ビデオエンハンスメントを実行する新しいアプローチは、特にこれらのソースに使用するために適応しており、利益がある。C-J Tsai、P. Karunaratne、N.P. Galatsanos、およびA.K. Katsaggelosによる「圧縮ビデオエンハンスメントアルゴリズム」（Proc. Of IEEE, ICIP’99, Kobe, Japan, Oct. 25-28, 1999）において、著者らは低ビットレートで符号化されたビデオシーケンスをエンハンスするための反復アルゴリズムを提案している。MPEGソースについて、ピクチャ品質の劣化は、量子化機能によりほとんど引き起こされる。よって、著者らにより用いられた反復グラジエントプロジェクションアルゴリズムは、符号化情報である量子化ステップサイズ、マクロブロックタイプ、およびコスト関数の前方動きベクトルを用いる。そのアルゴリズムは、低ビットレートビデオではすばらしい結果を示すが、その方法は計算が非常に複雑であるという限界がある。

B. Martins、S. Forchammerによる「MPEG-2符号化ビデオの改良デコーディング」（Proc. Of IBC’ 2000, Amsterdam, The Netherlands, Sept. 7-12, 2000, pp. 109-115）において、著者らはMPEG-2符号化ビデオの復号を向上する新しいコンセプトを説明している。特に、デ・インターレースとフォーマット変換への統一されたアプローチが、復号プロセスと統合されて提案されている。その技術は、通常の復号で得られるよりかなり高いピクチャ品質を結果として提供する。しかし、現在まで、その計算は複雑なので、コンシューマアプリケーションには実装されていない。

上記論文は両方、MPEG符号化情報とコスト関数を用いたビデオエンハンスメントアルゴリズムを説明している。しかし、これらのシナリオは両方とも、実際的でないことに加え、エンハンスメントとコスト関数を併用する。コスト関数は、ピクチャのどの位置でどれだけエンハンスメントを適用することができるかを決定する。このコストとエンハンスメント機能の組み合わせから生じる問題は、コスト機能とはたった一つのアルゴリズムしか使用できないことである。

さらにまた、シャープネスエンハンスメントを向上する以前の試みは、MPEGビットストリームからの符号化情報のみを用いていた。以前のシャープネスエンハンスメントアルゴリズムは、異なるピクチャタイプであるIフレーム、Pフレーム、Bフレーム等の間を区別しなかった。結果として、符合化アーティファクトがあるピクチャ部分とない部分を区別しなかったので、最適なシャープネスエンハンスメント結果が達成できなかった。その結果は、次善のシャープネスエンハンスメントである。

本発明は、フレームの各ピクセルについてエンハンスメント有用性計量（UME）を計算し、そのUMEを用いてシャープネス（鮮明度）をエンハンス（強調）するシステムと方法を提供することにより、上記問題その他を解決する。第１の態様において、本発明は、ブロックベースのデータのフレームを表す符合化デジタルビデオ信号のシャープネスをエンハンスするシステムであって、前記システムは、（１）フレームタイプにより前記フレームの各ピクセルのエンハンスメント有用性計量（UME）を計算するシステムと、ここで、前記計算するシステムは、前記フレームの局所空間的特徴を定義するメカニズムと、前記フレームのブロックベースの動き推定を分析するメカニズムと、前記フレームのシーン変化を検出するメカニズムとを含み、（２）前記UMEに基づき前記デジタルビデオの復号されたバージョンにシャープネスをエンハンスするシャープネスエンハンサとを有することを特徴とするシステムを提供する。

第２の態様において、本発明は、ブロックベースのデータのフレームの符号化されたデジタルビデオ信号表示のシャープネスをエンハンスする方法であって、前記方法は、前記フレームの局所空間的特徴（フィーチャ）を定義するメカニズムを設けるステップと、前記フレームのブロックベースの動き推定を分析するメカニズムを設けるステップと、前記フレームのシーン変化を検出するメカニズムを設けるステップと、局所空間的特徴（フィーチャ）、ブロックベースの動き推定、および検出されたシーン変化に基づき、前記フレームの各ピクセルのエンハンスメント有用性計量（UME）を計算するステップと、各ピクセルについて計算した前記UMEを適用することにより前記フレームのシャープネスを向上するステップとを有することを特徴とする方法を提供する。

第３の態様において、本発明は、ビデオデータのフレーム中の各ピクセルのエンハンスメント有用性計量（UME）を計算するため、記録媒体に記憶されたプログラムプロダクトであって、前記プログラムプロダクトは、前記フレームの局所空間的特徴（フィーチャ）を定義する手段と、前記フレームのブロックベースの動き推定を分析する手段と、前記フレームのシーン変化を検出する手段とを有することを特徴とするプログラムプロダクトを提供する。

本発明の好ましい実施形態について詳しく説明する。この実施形態の例は添付した図面に示されている。本発明の方法および対応するステップがシステムの詳しい説明と共に説明される。

I. 概観
下で説明するが図１から８および本発明のシステムと方法の原理を説明する多様な実施形態は、単なる例示であって、本発明の範囲を限定するものと解釈してはならない。本発明のシステムと方法は、符号化されたデジタルビデオ信号の画像品質をエンハンス（強調）するシステムと方法として説明される。本発明のシステムと方法はデジタルテレビセットに限定されないことに気づくことが重要である。テレビレシーバ、セットトップボックス、記憶デバイス、コンピュータビデオディスプレイシステム、その他デジタルビデオ信号を用いあるいは処理するいかなるタイプの電子機器をも含むがこれに限定はされない、いかなるタイプのデジタルビデオシステムにも本発明の原理をうまく適用することができることを、当業者は容易に理解するであろう。「デジタルビデオシステム」という用語は、現在または将来において取得可能なデジタルビデオシステムまたはこれと類似したタイプの機器を意味する。以下の実施形態の例において、デジタルテレビセットはデジタルビデオシステムの代表的な例として用いる。

本発明は、例えば、ハイデフィニション機能とロングプレイ（LP）モードがあるビデオ記憶アプリケーションにあるようなハイデフィニション（HD）シーケンスとスタンダードデフィニション（SD）シーケンスに適用することが可能である。上記のビデオシーケンスの大多数は、放送されたMPEG-2ビットストリームからより低い記憶ビットレートに符号変換される。このアプリケーションのロングプレイ（LP）では、符号変換の間にフォーマット変更も行うことができる。符号化され、復号され、本発明によりシャープネスエンハンスメントアルゴリズムで処理されたタスタンダードデフィニション（SD）ビデオシーケンスまたはハイデフィニション（HD）ビデオシーケンスは、符号化情報を用いないアルゴリズムと比較して、アプリオリな符号化または符号変換されたビデオシーケンスの優れたビデオ品質を提供する。

図１は、本発明の装置と方法を用いるデジタルテレビセット１００のブロック図である。デジタルテレビセット１００は、テレビレシーバ１１０とディスプレイ部１１５を有する。ディスプレイ部１１５は、冷陰極管、フラットパネルディスプレイ、その他ビデオ画像を表示する装置であってもよい。テレビレシーバ１１０は、テレビ信号を受信するアンテナ１０５を有する。アンテナ１０５はチューナ１２０に結合されている。チューナ１２０は中間周波数（IF）プロセッサ１２５に結合されている。IFプロセッサ１２５は、ここで実施されているように、デコーダ１３０に結合されている。MPEGデコーダが描かれているが、本発明はMPEGタイプの符号化／複合アプリケーションに限定はされない。他の実施形態において、いかなるブロックベースの圧縮スキーム、例えば、JPEG（静止画圧縮標準）、MPEG-1,2,4（デジタルビデオ標準）、H.261、H.263（テレビ会議標準）その他を用いてもよい。これらの標準において、２次元（２D）DCT（離散コサイン変換）が、圧縮される画像内の８ｘ８ピクセルのブロックに適用される。DCTにより得られた６４（８ｘ８＝６４）個の係数は、実際に圧縮するため量子化される。一般的な画像では、８ｘ８ピクセルのブロックにDCTをかけて得られるDCT係数のほとんどは小さく、量子化するとゼロになる。現実世界の画像におけるDCTのこの特性は、圧縮スキームにとって重要である。

本発明によると、デジタルビデオシステムの少なくとも１つのフレームを代表する符号化されたデジタルビデオ信号の画像品質をエンハンスする方法および対応するシステムが提供される。この方法は、一般に、下で詳しく説明するように、符号化されたデジタルビデオ信号をエンハンスするために適用されるエンハンスメント有用性計量（UME）を生成するステップを含む。特に、UMEは、一般に０と１の間の値であるゲイン値を有する。UMEはフレーム内の各ピクセルについて計算され適用される。UMEの計算は様々な基準に基づき、その基準には（１）フレーム中の局所空間的特徴（フィーチャ）、（２）ブロックベースの動き推定、（３）シーン変化検出、（４）符号化情報、および（５）フレームタイプが含まれる。一旦計算されると、UMEはエンハンスされたデジタルビデオ信号を生成するために、少なくとも１つのシャープネスエンハンスメントアルゴリズムに適用される。

図２は、本発明の一実施形態を示すシステム図である。図２の実施されたシステムの実装については、下でより詳しく説明する。フレーム（フレームｔ）を処理するUMEジェネレータ１５１が設けられている。UMEジェネレータ１５１は、フレームｔ中の各８ｘ８ブロック内の各ピクセルのUME１６０を計算するために、符号化情報１５０を用い、同様にその他の分析メカニズム１５４、１５６、および１５８を用いる。一旦計算されると、UME１６０は、エンハンスされたフレームｔ´１６４を生成するために、少なくとも１つのシャープネスエンハンスメントアルゴリズム１６２に適用されることができる。

図１を再度参照して、MPEGデコーダ１３０の出力は、シャープネスエンハンスメントアルゴリズムの適用のため後処理回路１３５に結合される。限定ではなく例示として、後処理回路１３５は、本発明のUMEシステムを有する適応ピーキング部１４０を有していてもよい。適応ピーキング部１４０は、後処理回路１３５内の適当な位置にあってもよい。後処理回路１３５の出力はディスプレイ部１１５に入力される。

ここで実施形態として示したように、例示のため、適応ピーキング部１４０は、MPEGデコーダ１３０から受信したビデオ信号を処理する。適応ピーキング部１４０は、適応ピーキングプロセスでこの例のUMEを用いる。本発明のシステムおよび方法は適応ピーキングのプロセスに限定されるものではない。UMEは、別の複数のタイプのビデオエンハンスメントアルゴリズムで用いてもよい。

適応ピーキング部１４０は、分析メカニズムにより提供されるその他の情報と同様にビデオ信号中の符号化情報を考慮するように、ビデオ信号を処理する。その他の情報とは、すなわち、ブロックベースの動き推定１５６、UMEジェネレータ１５１（図２）内のシーン変化検出１５８である。適応ピーキング部１４０の出力は、MPEGデコーダ１３０から受信したビデオ信号のエンハンスされた輝度信号である。適応ピーキング部１４０により決定される輝度信号は、下でさらに説明するように、先行技術である適応ピーキング部により提供されるより正確で視覚的に顕著なビデオ画像を提供する。適応ピーキング部１４０は、後処理回路１３５内の他の回路にエンハンスされた輝度信号を転送する。後処理回路１３５は、ビデオ信号の品質をエンハンスすることができる。

後処理回路１３５は、いくつかの異なるタイプのビデオ信号処理を実行することができる。例えば、（ａ）ノイズレベル適応ノイズリダクションアルゴリズム、（ｂ）ノイズレベル適応シャープネスエンハンスメント、（ｃ）ノイズレベル適応輝度−クロミナンス分離、（ｄ）ノイズレベル適応動き検出、（ｅ）ノイズレベル適応動き推定および補間、（ｆ）ノイズレベル適応アップコンバージョン、（ｇ）ノイズレベル適応機能（フィーチャ）エンハンスメント、（ｈ）ノイズレベル適応オブジェクトベースアルゴリズムがビデオ信号処理アプリケーションに含まれる。

図３は、本発明の一実施形態による適応ピーキング部１４０のシステムと方法を示すブロック図である。図３は、本発明のUMEがシャープネスエンハンスメントの適応ピークアルゴリズムにどのように適用可能であるかを示す図である。適応ピーキングアルゴリズムは、入力輝度信号２１０の過渡現象の振幅を増加することに向けられる。適応ピーキングアルゴリズムは、従来、「アプリオリな」符号化された／符号変換されたビデオソースには最適なビデオ品質を常に提供できたわけではない。これは主として、MPEGソースの特徴が考慮に入れられなかったという事実による結果である。

適応ピーキングアルゴリズムにより用いられる原理は当該技術分野で周知である。適応ピーキングアルゴリズムの一例は、４つのピクセルベース制御ブロックを用いる。図３に示したように、４つの制御ブロックは、コントラスト制御ブロック２２５、ダイナミックレンジ制御ブロック２３０、クリッピング防止ブロック２３５、および適応コアリングブロック２４０である。コントラスト制御ブロック２２５はゲイン信号「g1」を生成する。ダイナミックレンジ制御ブロック２３０はゲイン信号「g2」を生成する。クリッピング防止ブロック２３５はゲイン信号「g3」を生成する。適応コアリングブロック２４０はゲイン信号「g4」を生成する。これらの４つのピクセルベースの制御ブロックは、コントラスト、ダイナミックレンジ、ノイズレベル等のビデオ信号の特定の局所的特徴を考慮に入れる。しかし、これら４つの制御ブロックは、ビデオ信号の符号化特性、動き推定、およびシーン変化に関する情報は考慮に入れない。

本発明によるシステムは、下でさらに説明するように、好ましいピーキング量を決定するために、特に、符号化情報２１５を用いるUME計算システム２４５を提供する。UME計算システム２４５はUME情報「g_coding」を生成する。

ダイナミックゲイン制御ブロック２５０は、最終ゲイン信号「g」を生成するため、５つのゲイン信号（g1, g2, g3, g4, g_coding）の最小値を選択する。乗算回路２５５は、２Dピーキングフィルタ２６０によりフィルタされたハイパス信号による最終ゲイン信号「g」をかける。加算器２６５は、乗算回路２５５からの積を輝度入力信号２１０により表されたピクセルの元の輝度値に加える。このように、エンハンスされた輝度出力信号２７０が生成される。これらの機能の各々は、当該技術分野で周知な好適なコンポーネントにより実行することが可能である。

限定ではなく例示するために、図４は、本発明による符号化されたデジタルビデオのシャープネスをエンハンスする一般的システムを示す。このシステムは、入力ビデオ信号２１０をフィルタするハイパスフィルタ２６０と、本発明の方法のうちのいずれかを通して決定されたUME２２０によるハイパスフィルタされた信号を乗算する乗算器２５５とを有する。乗算によりゲインコントロールされた信号が生成される。このシステムは、入力ビデオ信号２１０にゲインコントロールされた信号を加え、入力信号２１０と比較して向上したピクチャ品質を持つエンハンスされた輝度出力信号２７０を生成する加算器２６５をさらに含む。本発明の一実施形態において、使用されるハイパスフィルタは、

であってもよい。ここで、kは０と１の間の範囲にあるスケーリングファクタである。すなわち、(0,1]であり、０は除かれるが１は含まれる。ファクタkは、一般的にユーザの主観的知覚に依存する。よりシャープな画像を望むときは、kを増加させる。

図４に示したように、シャープネスエンハンスメントシステムの結果は以下の通りである：
out_pixel=input_pixel+UME*convolution_result。ここで、output_pixelはそのピクセルに使用される最終輝度値であり、input_pixelはその入力ピクセルの輝度値であり、convolution_resultはハイパスフィルタ出力である。シャープネスエンハンスメントアルゴリズムの結果の信号表示は、フレームの各ピクセルについて知られた仕方により生成される。

UMEは符号化特徴を説明するために計算されるので、そのUMEはブロッキングやリンギング等の符号化アーティファクトのエンハンスメントを防ぐ。よって、過剰なエンハンスメントにより引き起こされることもある、符号化が原因ではないアーティファクトの防止または削減は、このシャープネスエンハンスメントアルゴリズムの他の部分により解決されてもよい。

図５は、別の実施形態を示す。図５において、図３の４つの制御ブロック２２５、２３０、２３５、２４０は削除されている。UME計算システム２４５のみが残っている。ビットストリームにある符号化情報２１５（ブロックごと、または領域ベースで提供される）は復号手順の間に回復することができる。UME２５８は、局所空間的特徴（フィーチャ）、動き推定、シーン変化検出計算２４７と同様に、ビットストリームにあるMPEG符号化情報２１５から導き出される。UME２５８は、符号化アーティファクトを増加させることなく、ピクセルまたは領域をどの程度エンハンスできるかを決定する。本発明によると、復号中に直接取得されるMPEG情報の最小粒度は、（１）マクロブロック（MB）数量に基づく、（２）ブロックベース数量に基づくのいずれかである。しかし、空間（ピクセル）領域ビデオエンハンスメントについて、UMEは、好ましくは、最も高いピクチャ品質を確保するためにピクチャの各ピクセルについて計算される。UME値は以下の基準を用いて計算される。

II. UME分析メカニズム
前述したように、様々な基準または分析メカニズムがUMEを計算するために用いられる。図６−８に関して詳しく説明するように、異なる分析メカニズム、または分析メカニズムの組み合わせは、UMEを計算するために使用されてもよい。分析メカニズムの一部は単一の計算でピクセルのブロックについてUMEを計算し、他の分析メカニズムはブロックの各ピクセルについてUMEを別々に計算する。一実施形態において、UMEの値は、０から１の間にある。UMEの値が０であるとき、そのピクセルについてはシャープネスエンハンスメントが許されていないことを意味する。一方、UMEの値が１であるとき、そのピクセルは符号化アーティファクトをエンハンスするリスクなく自由にエンハンスできることを意味する。多様な分析メカニズムについて以下説明する。

A. 符号化情報
MPEG情報から容易に抽出できるパラメータの１つは、量子化パラメータ（q_scale）である。この量子化パラメータはすべての符号化されたマクロブロック（ＭＢ）にあるからである。量子化パラメータが大きいと量子化は粗くなり、それにより量子化エラーも大きくなる。大きい量子化エラーは符号化アーティファクトにつながる。その結果、量子化パラメータが大きいマクロブロック（ＭＢ）のピクセルのエンハンスメントは、より抑制される。

他の便利な情報は、マクロブロック（ＭＢ）またはブロックを符号化するために費やしたビット数（num_bits）である。ブロックを符号化するのに費やしたビットが少ないほど、そのブロックの品質は低くなる。しかし、この量（num_bits）は、シーンコンテント、ビットレート、I（intra）・P（predicted）・B（bidirectionally predicted）等のフレームタイプ、動き推定、動き補間等にも強く依存する。

ブロック内に存在するDCT係数の分布を考慮することも可能である。また、動きベクトルは、エンハンスするビデオの時間的特徴の情報を取得するために使用することもできる。MPEG符号化で推定され使用された動きベクトルは、必ずしもビデオ中の真の動きを表していないことはよく知られている。しかし、動きベクトルは静的エリアを特定する役に立ち、たとえその動きベクトルが信頼できなくてもフレームからフレームへのエンハンスメントの時間的一貫性を向上させるために使用することができる。

量子化パラメータ（q_scale）およびマクロブロックまたはブロックを符号化するために費やしたビット数（num_bits）の両方は、MPEG符号化のレート制御計算で広く用いられている。

通常、量子化パラメータがより大きいと符号化アーティファクトが増加するので、UMEは一般的に量子化パラメータq_scaleとは逆数の関係にある。

本発明の一実施形態によると、UMEジェネレータ２１５は、次式（１）により各８ｘ８ブロックのUMEを計算することができる：

ここで、UME_blockはピクセルのブロックの有用性計量であり、q_scaleはマクロブロックの量子化スケールであり、num_bitsは輝度ブロックを符号化するビット数（すなわち、輝度ブロックのDCTブロックのAC係数を符号化するビットの数）であり、maxはフレーム全体の最大値を表す関数であり、MとNは実験的に決定されたスケーリングファクタである。Nファクタはq_scale値の範囲にある。Mファクタはユーザの主観的知覚に依存する。例えば、シャープネスエンハンスメントがより強いとき、Mファクタはより小さい。しかし、ユーザがよりシャープでない画像を好むとき、Mファクタを増加させる。Mの値としては１、２、４、８等がある。

B. 局所空間的特徴（フィーチャ）
図５に示したように、UME２２０の計算は計算２４７にさらに依存してもよい。これらの計算の１つは、局所空間的特徴（フィーチャ）の分析を含む。局所空間的特徴（フィーチャ）は、nxnピクセルをカバーするnxnウィンドウにわたり各ピクセルの輝度値の分散として定義される。分散は次式（２）により定義される：

ここで、q=(n-1)/2、pix(i+k,j+m)は位置（i+k,j+m）のピクセル値であり、meanはnxmウィンドウにわたる平均ピクセル値である。iとjはピクセルの元の座標であり、kとmは変位値である。あるいは、局所空間的特徴（フィーチャ）は領域（テクスチャまたはプレインエリア）マップとして定義されてもよい。

C. ブロックベースの動き推定
UME２２０の計算は、以下の分析を用いて各ブロックから取得した動き推定情報にさらに基づいてもよい。
ブロック

は

で始まる８ｘ８ブロックである：

差の絶対値の和SADは次式（４）で定義される：

ここで、

はベクトル

であり、nはフレーム番号である。

２つのブロックタイプは次のように定義される：動きの特徴がより少ない「静的ブロック」と動きの特徴がより多い「動的ブロック」。一実施形態において、以下の条件（５）

が満たされたとき、ブロック

は、静的ブロックとされる。ここで

とSTILL_THREDは所定の閾値であり、例えば８０である。もし条件（５）が満たされない場合は、ブロックは動的ブロックとされる。

の動きベクトル

は、サーチウィンドウ

内の最小のSADを持つベクトルである。

D. シーン変化検出
シーン変化検出の目標は、ビデオシーケンス中の連続するフレームのコンテント変化を検出することである。正確なシーン変化検出は、ビデオ処理アルゴリズムの実行を向上する。例えば、シーン変化検出により、異なるシーンコンテントにおいてビデオエンハンスメントアルゴリズムがパラメータを調整するようにすることができる。シーン変化検出はビデオ圧縮アルゴリズムで使用することもできる。

シーン変化検出は、特にシーンが劇的に変化したとき、異なるシーン間の強制的な時間的一貫性はピクチャ品質を劣化させるので、UME計算のさらなるステップとして組み込まれてもよい。

既知のいかなるシーン変化検出方法を用いてもよい。例えば、ビデオの連続するフレーム間の差異を計算し、複数の差異値を得る方法でもよい。差異値のヒストグラムをとってもよい。そのヒストグラム中の差異値の大部分が所定値を超えたときシーン変化が検出される。

III. UME計算
以下の実施形態において、フレームがIフレーム、Pフレーム、Bフレームのどれかにより、UMEの計算は異なる。具体的に、図６はIフレームの場合の計算を説明し、図８はPおよびBフレームの場合の計算を説明し、図７は両方の場合に用いられるサブルーチン「ボックスI」を含む。

まず図６−７を参照して、IフレームのUME計算を示すフロー図が示されている。最初のステップS1において、最初のUME値がボックスIにより計算される。ボックスIのフローチャートは図７に示されている。すなわち、ステップS13において、条件C2がテストされる。

条件C2は(var<VAR_THRED)or(num_bits==0)と定義される。ここで、varは上記の式（２）により計算され、VAR_THREDの値は例えば７０である。条件C2が満たされないとき、ステップS15において上記式（１）によりUME_blockとして計算される。逆に、条件が満たされたとき、ステップS14においてUMEはゼロに設定される。後者の場合は、var値が非常に小さいか、ブロックにDC係数しかないかいずれかであることを示唆する。よって、後者の場合は、カレントピクセルを中心とする近傍はプレインエリアであり、ブロックアーティファクトが存在するかも知れず、シャープネスエンハンスメントは避けるべきであることが分かる。

次に、ステップS2において、シーン変化があったかどうか判断する。シーン変化があったとき、ステップS4においてアルゴリズムが終了する。ステップS1で計算された値が最終のUME値である。Iフレームについては、カレントIフレームの前のGOP（group of pictures）でPフレームまたはBフレームいずれかにシーン変化があったとき、またはカレントIフレームでシーン変化が検出されたときに、シーン変化のフラグが真とされる。

また、カレントIフレームが
GOPの第１または第２のIフレームであるとき、ステップS1はUMEの計算のみに用いられる。すなわち、シーン変化が推定される。よって、第１のGOPは通常不確実性が大きいまま符号化されるという事実により、前のフレームについて計算されたUME値は信頼されないであろう。エンコーダは、デフォルトの符号化パラメータの特定の画像シーケンスに当てはめるのに、ほとんどフレームを要しないからである。

シーン変化が検出されなかったとき、式（５）により、ステップS3において、カレントブロックが静的ブロックであるかどうか判断する。静的ブロックであるとき、ステップS6において、UMEはリセットされ、前のフレームの同じ位置のピクセルと同じ値とされる。カレントブロックが静的ブロックではないとき（すなわち、動的ブロックであるとき）、ステップS5において、式（６）により、動きベクトルV’=(v’,h’)を見つける。次に、ステップS7で、v’とh’の両方がゼロであるか判断する。もし一方または両方がゼロでなければ、ステップS8において、条件C1をテストする。ここで、条件C1は

である。C1が真でないとき、ステップS9でUMEをゼロに設定する。C1が真であるとき、ステップS10において、次式
UME=[0.9*UME]+[0.1*UME_prev(v’,h’)]
によりUMEを計算する。ここで、UME_prev(v’,h’)は前のフレームの動きベクトル(v’,h’)により示されるピクセルのUME値である。

あるいは、ステップS7において、v’とh’の両方がゼロであると判断されたとき、ステップS9Aにおいて、条件C1がテストされる。条件C1が真でないとき、ステップS12においてUMEはゼロに設定される。条件C1が真であるとき、次式：
UME=[0.1*UME]+[0.9*UME_prev]
によりUMEが計算される。ここで、UME_prevは前のフレームの同じ位置のピクセルの前記UME値である。

図８を参照して、PまたはBフレーム中のピクセルのUMEを計算するフローチャートが示されている。最初に、ステップS20において、シーン変化が生じたかどうか判断する。シーン変化が発生した場合、ステップS21において、条件C3がテストされる。ここで、C3は条件：イントラブロックかつ

である。C3が真であるとき、ステップS22において、図７に記載したフローチャート（すなわち、ボックスI）によりUMEが計算される。条件C3が真でないとき、またはステップS20においてシーン変化が検出されなかったとき、ステップS23において、カレントブロックが静的ブロックであるかどうかを判断する。

カレントブロックが静的ブロックでないとき、ステップS25において、動きベクトル（v’,h’）が計算される。ステップS26において、動きベクトル成分v’とh’がテストされる。一方または両方の成分がゼロでないとき、ステップS27において、条件C1がテストされる。C1が真でないとき、ステップS29において、UMEはゼロに設定される。C1が真であるとき、ステップS30において、UMEはUME_prev(v’,h’)に設定される。ここで、UME_prev(v’,h’)は前のフレームの動きベクトル(v’,h’)により示されるピクセルのUME値である。

ステップS26において、両方の成分v’とh’がゼロであるとき、ステップS28において、条件C1がテストされる。C1が真でないとき、ステップS32において、UMEはゼロに設定される。C1が真であるとき、ステップS31において、UMEはUME_prevに設定される。ここで、UME_prevは前のフレーム中の同じ位置にあるピクセルのUME値である。

最後に、（ステップS23に戻って）カレントブロックが静的ブロックであると判断したとき、ステップS24において、UMEはリセットされ、前のフレームの同じ位置にあるブロックの値と同じ値にされる。次のステップS28は、上で説明した仕方で繰り返される。

本発明の方法とシステムは、上で説明し、図面に示したように、シャープネスエンハンスメントアルゴリズムを用いることにより、デジタル符号化されたビデオ信号の品質をエンハンスするための改良された方法を提供する。当業者には、本発明の精神と範囲から逸脱することなく、本発明の方法とシステムにおいて多様な変更とバリエーションが可能であることが明らかであろう。よって、本発明は、添付したクレームとその均等の範囲内にある変更とバリエーションを含むことを意図したものである。

本発明のシステムおよび方法を有するデジタルテレビセットの一例を示すブロック図である。本発明の動作方法を示すフロー図である。本発明の有用性計量ジェネレータおよびUME制御ブロックを有する適応ピーキング部を示すブロック図である。本発明により用いられるシャープネスエンハンスメントアルゴリズムの別の実施形態を示すブロック図である。本発明の有用性計量ジェネレータを有する適応ピーキング部の別の実施形態を示すブロック図である。 IフレームのUMEを算出する方法を示すフロー図である。 IフレームのUMEを算出する方法を示すフロー図である。 PフレームのUMEを算出する方法を示すフロー部である。

Claims

ブロックベースのデータのフレームを表す符合化デジタルビデオ信号のシャープネスをエンハンスするシステムであって、前記システムは、
−フレームタイプにより前記フレームの各ピクセルのエンハンスメント有用性計量（UME）を計算するシステムと、ここで、前記計算するシステムは、
−前記フレームの局所空間的特徴を定義するメカニズムと、
−前記フレームのブロックベースの動き推定を分析するメカニズムと、
−前記フレームのシーン変化を検出するメカニズムとを含み、
−前記UMEに基づき前記デジタルビデオの復号されたバージョンにシャープネスを向上するシャープネスエンハンサとを有することを特徴とするシステム。
請求項１に記載のシステムであって、計算するシステムは次式

によりマクロブロックおよびブロックベースの符号化情報を分析するメカニズムを含み、
UME_blockはピクセルデータのブロックの有用性計量であり、q_scaleはマクロブロックの量子化スケールであり、num_bitsは輝度ブロックを符号化するためのビット数であり、maxは前記フレームの最大値を表す関数であり、MとNはスケーリングファクタであることを特徴とするシステム。
請求項２に記載のシステムであって、前記局所空間的特徴（フィーチャ）は、nxnピクセルをカバーするnxnウィンドウに渡るピクセル輝度値の分散として定義され、前記分散は次式

により定義され、q=(n-1)/2、pix(i+k,j+m)は位置(i+k,j+m)におけるピクセル値であり、meanは前記nxnウィンドウにわたる平均ピクセル値であることを特徴とするシステム。
請求項３に記載のシステムであって、

であり、シーン変化が検出されたとき、Iフレームのピクセルの前記UMEがUME_blockを用いて計算され、VAR_THREDは所定の閾値であることを特徴とするシステム。
請求項３に記載のシステムであって、前記フレームのブロックベースの動き推定を分析する前記メカニズムは、前記ブロックが静止ブロックであるかどうかを決定することを特徴とするシステム。
請求項３に記載のシステムであって、前記フレームのブロックベースの動き推定を分析する前記メカニズムは、カレントブロックが静止ブロックでないとき、動きベクトル(v’,h’)を計算し、前記動きベクトル(v’,h’)は、サーチウィンドウ中の差の絶対値の和（SAD）が最小となるブロック

の動きベクトルであり、フレームn中のベクトル

の前記差の絶対値の和は次式

で定義され、

は位置

におけるピクセル値であることを特徴とするシステム。
請求項６に記載のシステムであって、前記ブロックが静止ブロックでないとき、前記計算するシステムはv’とh’の両方がゼロであるか決定するためテストすることを特徴とするシステム。
請求項７に記載のシステムであって、前記ブロックが静止ブロックでなく、var<VAR_THREDであるとき、前記計算するシステムは前記UMEをゼロに設定し、VAR_THREDは所定の閾値であることを特徴とするシステム。
請求項８に記載のシステムであって、前記ブロックが静止ブロックでなく、v’とh’の両方がゼロであるとき、

であるとき、前記計算するシステムは前記UMEをUME=[0.1*UME]+[0.9*UME_prev]に設定し、ここでUME_prevは前のフレームの同じ位置のピクセルの前記UME値であることを特徴とするシステム。
請求項８に記載のシステムであって、前記ブロックは静止ブロックではなく、図区なくともv’とh’のうち一方がゼロでないとき、

のとき、前記計算するシステムは前記UMEをUME=[0.9*UME]+[0.1*UME_prev(v’,h’)]に設定し、ここでUME_prev(v’,h’)は前記前のフレームのベクトル(v’,h’)により示される前記ピクセルの前記UME値であることを特徴とするシステム。
請求項１に記載のシステムであって、前記シャープネスエンハンスメントアルゴリズムは、ピーキングアルゴリズムであることを特徴とするシステム。
請求項１に記載のシステムであって、前記シャープネスエンハンスメントアルゴリズムは、空間領域アルゴリズムであることを特徴とするシステム。
請求項１に記載のシステムであって、前記適用されたシャープネスエンハンスメントアルゴリズムは
out_pixel=input_pixel+UME*convolution_result
であり、ここでoutput_pixelは前記ピクセルに使用される最終輝度値であり、input_pixelは前記入力ピクセルの輝度値であり、convolution_resultはハイパスフィルタ出力であることを特徴とするシステム。
ブロックベースのデータのフレームの符号化されたデジタルビデオ信号表示のシャープネスをエンハンスする方法であって、
−前記フレームの局所空間的特徴（フィーチャ）を定義するステップと、
−前記フレームのブロックベースの動き推定を分析するステップと、
−前記フレームのシーン変化を検出するステップと、
−局所空間的特徴（フィーチャ）、ブロックベースの動き推定、および検出されたシーン変化に基づき、前記フレームの各ピクセルのエンハンスメント有用性計量（UME）を計算するステップと、
−各ピクセルについて計算した前記UMEを適用することにより前記フレームのシャープネスを向上するステップとを有することを特徴とする方法。
ビデオデータのフレーム中の各ピクセルのエンハンスメント有用性計量（UME）を計算するため、記録媒体に記憶されたプログラムプロダクトであって、前記プログラムプロダクトは、
−前記フレームの局所空間的特徴（フィーチャ）を定義する手段と、
−前記フレームのブロックベースの動き推定を分析する手段と、
−前記フレームのシーン変化を検出する手段と、
−前記定義する手段、分析する手段、検出する手段を用いて、前記エンスメント有用性計量（UME）を計算する手段とを有することを特徴とするプログラムプロダクト。