JP2009527175A - 表示される画像における圧縮アーティファクトの低減、エンコードパラメータの解析 - Google Patents

Abstract

これまで未知であった画像アーティファクトの原因が特定された。ＭＰＥＧエンコーダのようなエンコーダは、２つのピクチャ構造、即ちフィールドピクチャ及びフレームピクチャを利用し得る。フレームピクチャについては、フレームベースＤＣＴ及びフィールドベースＤＣＴの両方（及びその他のタイプ）の符号化が利用され得る。フレームベースの符号化を利用すべきかフィールドベースの符号化を利用すべきかの決定は、常に正しく為されるわけではない。デコードされた画像において、このことは縞模様のブロックとして可視となる画像アーティファクトに導く。本発明は、本発明の一態様において、斯かるアーティファクトの存在についてブロックの内容を解析し、該解析が斯かるアーティファクトの存在を証明した場合に該ブロック中のデータに対して垂直方向のローパスフィルタリングを適用することにより、これらアーティファクトを低減する。本発明の他の態様においては、アーティファクトが生じ得るエンコードパラメータの組み合わせについてエンコードパラメータが検査され、斯かるブロックが示唆される。本発明は、方法において、並びに受信器、エンコーダ、デコーダ及び表示装置等のような装置において、実施化され得る。

Description

本発明は、圧縮アーティファクトが低減される、圧縮された画像データストリームを処理する方法に関する。

本発明はまた、表示される圧縮画像における圧縮アーティファクトを低減するための低減器に関する。

本発明はまた、表示される圧縮画像における圧縮アーティファクトの低減のための低減器を有する、画像を表示するための圧縮された画像データストリームを受信するように構成された受信器に関する。

本発明はまた、表示される圧縮画像における圧縮アーティファクトの低減のための低減器を有する、画像を表示するための圧縮された画像データストリームを受信するように構成された受信器を有する、表示装置に関する。

本発明はまた、表示される圧縮画像における圧縮アーティファクトの低減のための低減器を有する、圧縮された画像データストリームをトランスコードするトランスコーダに関する。

本発明はまた、エンコードされた画像データストリームのエンコードパラメータを解析するための方法、及びエンコードされた画像データストリームのエンコードパラメータを解析するための解析器に関する。

画像表示システムは、しばしば圧縮されたデータストリームを受信する。保存又は送信される必要がある画像データの量を低減するための、種々の「不可逆」のビデオ圧縮手法が知られている。ＭＰＥＧ又はウェーブレットベースの方式のような高度な圧縮方式は、観測者の知覚に対して重要ではない空間周波数情報を切り捨てるよう試みる。圧縮を用いると、伸張された画像において画像アーティファクトが出現し得る。画像アーティファクトを低減するため、多くの方式が提案されてきた。

本発明者は、既知のアーティファクト抑制方法を用いても、特定の画像アーティファクトは殆ど低減されず残ってしまうことを認識した。該アーティファクトは、画像の一部において縞状の帯の形で存在する。既知のアーティファクト抑制の方法は、該問題を低減しないか、又は重大な副次的影響をもたらす。

本発明の第１の態様の目的は、圧縮により引き起こされる上述の画像アーティファクトの低減のための方法が実装される、最初のパラグラフにおいて記載された方法並びに、表示装置、受信器及び／又はトランスコーダ及び低減器のような装置を提供することにある。

この目的のため、本方法は、デコードされた画像ブロックについて、又はデコードされた画像ブロックの群について、隣接するライン間の垂直方向における画素データの差から少なくとも１つの差分値が決定され、前記差分値が閾値と比較され、前記差分値が前記閾値を満足する場合、前記デコードされた画像ブロックに対して垂直方向におけるローパスフィルタリングが適用されることを特徴とする。

本発明は、以下の洞察に基づくものである。

ＭＰＥＧのような現代の画像及びビデオ圧縮方式は、ブロックベースの処理を利用している。８行８列の画素のマトリクスから成る各ブロックは、個別にＤＣＴ変換され量子化される。ＭＰＥＧ規格によれば、インタレースされたビデオ画像が、フレームピクチャ又はフィールドピクチャとしてエンコードされ得る。

フレームピクチャにおいては、フレームＤＣＴ符号化及びフィールドＤＣＴ符号化の両方が利用され得る：
・フレームＤＣＴ符号化の場合には、各ブロックは、交互に２つのフィールドからのラインから成る。
・フィールドＤＣＴ符号化の場合には、各ブロックは、２つのフィールドのうちの一方からのラインのみから成る。

ＭＰＥＧエンコーダは、各マクロブロックについて、フレームＤＣＴが適用されるべきかフィールドＤＣＴが適用されるべきかの決定を為す。

動き予測もまた２つの異なるモード、即ちフィールド予測及びフレーム予測により実行される。前者の場合においては、１つ以上の以前にデコードされたフィールドからのデータを用いて、各フィールドについて独立に予測が為される。フレーム予測は、フレームについての予測を、１つ以上の以前にデコードされたフレームから形成する。

フィールドピクチャ内では、全ての予測がフィールド予測である。しかしながら、フレームピクチャにおいては、フィールド予測か又はフレーム予測が利用され得る（マクロブロック毎に選択される）。それ故、フレームピクチャについては、エンコーダが２つの異なる決定を為し得る。

理想的には、ＭＰＥＧコーデックは、フレーム処理が利用される必要があるかフィールド処理が利用される必要があるかを正しく決定し、フィールドＤＣＴ及び動き予測を元々インタレースされたマテリアルに適用し、フレーム処理をプログレッシブなマテリアルに適用すべきである。現実には、ＭＰＥＧエンコーダは、特にインタレースされたフィルム（従って元々プログレッシブな）マテリアルを含む入力源については、斯かる決定を常に正確に為すわけではない。アーティファクトは、標準的な符号化に生来的なものである。使用されるＭＰＥＧエンコーダの品質は該問題を低減させ得るが、該問題はハイエンドのエンコーダにおいてさえも残るようである。

ＭＰＥＧエンコーダが特定のブロック又はマクロブロックについてフレームモードを利用するか又はフィールドモードを利用するかについて誤った選択を為した場合には、当該ブロック又はマクロブロック内に局在するアーティファクトが出現することとなる。これらのアーティファクトは、特に低ビットレートの符号化において可視となる。該アーティファクトは、ブロック又はマクロブロック（４ブロック）内に局在する１画素の幅（及び従って２ラインの垂直方向の空間波長）を持つ水平の線という、明らかなパターンを持つ。画素幅の水平の縞模様（上下上下）が可視となり、水平方向の縞模様は、ブロック又はマクロブロックの幅に亘る。これらのアーティファクトは、他の多くのアーティファクトのように、エッジ周囲での効果によるものではないが、エッジの周囲において可視となり得る。該アーティファクトはまた、典型的に移動するエッジの周囲で生じ典型的に多くのブロックに跨って延在するインタレースエラーと、混同されるべきではない。本発明が低減しようとするアーティファクトは、エンコードにおける固有のエラーによるものである。該アーティファクトは、フレームピクチャについての、誤ったフレーム−フィールド符号化（ＤＣＴ及び／又は動き予測）によるものである。エラーは、ブロック又はマクロブロックについて、フレーム符号化とフィールド符号化との間の決定が為される度に生じ得、また画像内で不規則な位置における何処かにおいて可視となり又は不可視となり得る。斯かるエラーによる特徴的なアーティファクトのパターンは、オブジェクトの中央部において、エッジにおいて、又は他の何処かにおいて可視となり得る。該パターンは、何処においても現れ得る。以上の説明は、ＭＰＥＧ符号化に関して与えられた。しかしながら、フレームピクチャについてマクロブロックのブロックのフレーム符号化とフィールド符号化との間での選択が為される、他のいずれのタイプの符号化も、表示される画像において同様のアーティファクトに帰着し得る。本発明は従って、ＭＰＥＧエンコードされたデータストリームに限定されるものではないが、ＭＰＥＧエンコードされたデータストリームに対して特に重要である。

本発明の第１の態様は、以下の２つの基本ステップにより、デコードされたビットストリームに存在する場合の問題を低減する：

第１のステップにおいて、ブロック又はマクロブロック内の隣接するラインにおける、画素間の垂直方向の画素データ差から、差分値が決定される。該第１のステップは、デコードされた画像の、輝度及び／又は色差成分（より一般的には画素データ）の局所的な（即ちブロック又はマクロブロック内の）空間的な（即ち特定の空間距離のラインで又は特定の空間距離のラインの近くで）解析に基づくアーティファクト検出を有する。アルゴリズムの例が、以下に示される。交番するライン（隣接するラインに対して、更に次のラインよりも低い相関を持つライン）の空間的な縞模様のパターン（明るい、暗い、明るい、等）を持つ縞状パターンを検出することが可能な、いずれのアルゴリズムもが利用され得る。一般に、隣接するラインにおける画素における２つの鑑別点をとることにより、等間隔（少なくとも１画素）に太い"上−下−上"パターン等を検出するためのいずれの検出器及び検出ステップでも足りる。このことは、画素値を減算して平均をとり閾値と比較するという単純なものであっても良いし、又は、例えば方形波基本関数の存在をみるアダマール変換をとり、次いで垂直方向における１画素幅の基本関数におけるエネルギーの量を決定して、閾値（一定の閾値であるが垂直方向における２画素幅の基本関数におけるエネルギーの量の例えばｋ倍であっても良い）と比較するという、より複雑なものであっても良い。差分値は、アルゴリズムに依存して、種々の態様で表現され得る。いずれも、差分値、又は１つ以上の差分値が決定される場合には複数の差分値が、縞状パターンの存在又は不存在に関連するという共通点を持ち、ここで存在又は不存在は、画素データ間の垂直方向における差から決定される。本発明の概念内で、１つ以上の差分値が決定され得る。ブロック又はマクロブロック全体について、アーティファクトの存在の強さ又は見込みを表す単一の値が決定されることが好ましい。しかしながら、本発明は単一の差分値の利用に限定されるものではなく、１つよりも多い差分値が利用されても良い。

第２のステップはアーティファクト低減であり、即ち、差分値により表現される測定されたアーティファクトが閾値を超えるブロックについて、デコードされた画像ブロックに対して垂直方向におけるローパスフィルタリングが適用される。該ローパスフィルタリングは平滑化効果を持ち、それによりアーティファクトを低減する。かくして、前記第１のステップはアーティファクト認識であり、該第２のステップはローパスフィルタリングを利用することによるアーティファクト低減である。

該ローパスフィルタリングは、差分値が閾値を満足する場合にのみ適用される。従って、不必要に画像中の細部を低減してしまい得る不必要なローパスフィルタリングは回避される。

本発明の実施例においては、前記差分値の決定は、前記差分値の決定及び前記ローパスフィルタリングが実行されるべきブロックを選択するための選択ステップにより先行される。

差分値の決定及びローパスフィルタリングは、計算能力を必要とする。ローパスフィルタリングは、幾分かの細部の損失を引き起こす。ブロックを選択することによって、即ち問題が生じる見込みの高い及び／又は画質に知覚できるほどの影響を与える見込みの高いブロックを特定し、他のブロックについては差分値の決定及びローパスフィルタリングを回避することにより、必要とされる計算能力及び保持効率を更に低減させつつ、細部の損失が回避され得る。

実施例においては、前記選択は、前記ブロックの平均輝度又は平均色内容に基づいて実行される。人間の眼は、明るい色に対して最も敏感であり、肌の色に対して非常に敏感である。斯かる実施例においては、ブロックを選択すべきか否かについての決定は、影響（可視であり得るが）が、例えば顔においてのような、特定の環境及び／又は画像の部分において最も不快なものとなり、例えば草原のような、他の環境及び／又は画像の部分においてはあまり不快なものとならないという仮定の下で為される。更に一般的には、画像の知覚される全体の品質に対してあまり重要でない見込みが高いブロックは、差分値決定及びローパスフィルタリングを免除される。

他の実施例においては、前記選択は、隣接するブロックに実行される一貫性検査を有する。一貫性検出器が、検出された縞模様のパターンがブロック内に制限されているか、又は隣接するブロックに跨って連続するかを検査する。幾つかの隣接するブロックに存在し且つ同一のタイプ（例えば同一の平均グレイ値及び同一のグレイ値の差）のものであるパターンは、例えばフェンスのような現実のオブジェクトのパターンを示唆し得る。

更に他の実施例においては、前記選択ステップは、前記ブロックのエンコードパラメータが解析されるステップを有する。

本実施例においては、選択ステップの間に、例えばビットストリームヘッダのフラグの特定のセットのような、エンコードパラメータが解析される。以上に説明されたように、アーティファクトは誤ったフレーム／フィールド符号化の決定によるものである。これらヘッダは、エンコードされたビットストリームに存在する。該ヘッダにおけるデータは、エンコーダが誤った決定を為したか否かを示す。該ヘッダにおけるデータが斯かる可能性がないことを示す場合、差分値の決定及びローパスフィルタリングという次のステップをとる理由はない。なぜなら、後続するステップは計算能力を必要とし、細部を低減させ得るからである。前記データが誤ったフレーム／フィールド符号化の決定の可能性を示唆する場合には、該ブロックは更に処理される。

上述した種々のタイプの選択ステップは、必要とされる計算能力を更に低減させつつ、必要以上に画像を平滑化することなく更に効率的にアーティファクトを低減させるために、組み合わせられても良い。

前記閾値は一定の閾値であっても良いし、ブロック内に含まれるデータに依存するものであっても良い。該ブロック内に含まれるデータは、例えば平均輝度であっても良い。該閾値は例えば、全ての方向における輝度の平均変分に依存しても良い。輝度の平均変分が全ての方向において高い場合には、即ち換言すれば、ノイズの多い画像又は多くの細部を持つ画像が存在する場合には、水平方向における変分もまた大きくなる見込みが高い。更に他の実施例においては、１画素の距離における変分が、２画素の距離における変分と比較される。本発明が克服しようとするアーティファクトは、ブロック内の隣接するライン間即ち偶数番目のラインと奇数番目のラインとの間で、輝度及び／又は色差において大きな変分を示すが、偶数番目のライン間又は奇数番目のライン間では変分を何ら示さないか又は殆ど示さない。

本発明の第１の態様は、デコードされた画像における圧縮アーティファクトを低減するための単純且つ頑強な方法を提供する。

実験は、単純なアルゴリズムを用いた場合であっても、不必要に負の影響を他の画像特徴に与えることなく、縞模様のアーティファクトが効果的に低減されることを示している。

本発明の第１の態様による表示装置、受信器及び／又はデコーダ、エンコーダ又はトランスコーダ、より一般的にはいずれの装置も、本発明の第１の態様によるアルゴリズムを実行するための低減器を有する。

本発明は、実装に応じて、種々の態様で従って種々の装置で実装されることができる。

本発明は、実施例においては、エンコードされたストリームからの情報が利用可能ではない、ビデオ後処理連鎖において実装される。換言すれば、本発明の斯かる実施例において利用されるアルゴリズムは、既にデコードされた画像データを処理するものであり、いずれの符号化パラメータをも必要としない。可能な用途は、ハイエンドＴＶ、マルチメディアセンタ、及び入力信号がデコードされたビデオシーケンスである他のいずれかのビデオ処理装置である。

本発明は、方法及び表示装置、受信器、トランスコーダ等により実施化され得る。

本発明は、エンコーダ側においても実装され得る。エンコード側において実装される場合には、又はより一般的には、エンコードパラメータが利用可能であるいずれかの場所において実装される場合には、例えば誤ったフレーム／誤ったフィールドのエンコードが為された又は為された可能性があることを検査するため、付加的なアルゴリズムがエンコーダにおいて利用されても良い。

エンコーダ側においては、本発明の本態様は、どこでアーティファクトの補正が有用であるかを示すために利用され得る。このことは、既にエンコードされた信号を、送信される前に補正するために利用され得る。

本発明の第２の態様は、エンコーダがフレーム又はフィールドエンコーダを実行した可能性があるフレームピクチャにおけるブロック又はマクロブロックが示される、エンコードパラメータを解析する方法である。

本発明の本態様は、本発明がエンコードされたデータストリームに対する場合に当てはまるように、誤ったフレーム／フィールドエンコードの負の影響を低減するよりは、該問題を除去するために、エンコード決定を変更するための事後確認のために利用され得る。

アーティファクトを示し得るブロックを示すためのエンコードコードパラメータを解析する、本発明の該第２の態様は、前記第１の態様が基とするものと同一の基本的な洞察、即ち、ＭＰＥＧのような現在の符号化規格は、エンコーダによって為された誤ったフレーム／フィールド符号化決定による以上に説明されたアーティファクトの可能性を開くという洞察に基づくものである。説明されるアーティファクト低減方法の幾つかは、どのようにエンコード及びデコードが実行されたかといういずれの知識もなく、デコードされたデータストリームに対して実行され得る。斯かる方法及び装置においては、デコードされた画像データの全てのブロックが解析される。ヘッダをこれらヘッダが依然として利用可能である場合に解析することにより、アーティファクトが生じ得るブロックを示すことが可能となり、それにより、アーティファクト低減方法がより経済的に実行され得る。なぜなら、アーティファクトによって影響を受けていないブロックは、アーティファクト低減ステップにかけられる必要がないからである。エンコードパラメータを解析するための方法及び対応する解析器、並びにエンコードパラメータ解析方法を利用する又は該方法の使用のための解析器を有するいずれの装置も、新規性及び進歩性を有し、前記問題に向けたもの即ち前記問題を解決する第一段階である。該解析方法はまた、新規な生成物、即ち画像データストリーム又は画像データストリームを有する信号、画像データストリーム又は影響を受けている可能性のあるブロックのインジケータを有する信号、及び／又はインジケータ及び／又はインジケータ信号を持つブロックを提供する。

該解析方法は、本発明の双方の態様が組み合わせられた、アーティファクト低減方法の一部を形成し得る。

しかしながら、本発明の双方の態様は別個に利用されても良い。

実質的に、前記第１の態様（アーティファクト低減に後続されるパターン認識）は前記問題のための対処法であり、前記問題を引き起こし得る使用されたエンコードの実際の診断とは独立である。前記第２の態様（解析）は、問題がある可能性のあるブロックを特定するためにエンコードパラメータを解析する。該解析方法により収集された情報は、該情報が前記第１の態様による方法において利用される場合であっても、他のいずれかの方法において利用される場合であっても、又は単に登録される場合であっても、有用である。

前記第２の態様による方法は、エンコード又はデコーダ側において、前記第１の態様による方法若しくは他のいずれかの改善方法により後続されても良いし、又は、単に診断の目的のために（例えば問題がある可能性があるブロックを見出すために若しくは問題のあるブロックの割合を見出すために）利用されても良い。該方法は、例えばＭＰＥＧエンコーダの診断のために利用されても良い。どのＭＰＥＧエンコーダが最もアーティファクト生成を起こし易いかを特定することが可能であることは非常に有用であり、アーティファクトを生成しないＭＰＥＧエンコーダの開発における第一段階である。

本発明のこれらの及び更なる態様は、添付図面を参照しながら、例としてより詳細に説明される。

図面は定縮尺で描かれたものではない。一般に、図面において、同一の構成要素は同一の参照番号により示される。

本発明は、種々の態様において、添付図面を参照しながら、以下により完全に説明される。ここでは、本発明の好適な実施例が示される。しかしながら、本発明は多くの異なる形態で実施化されることができ、ここで示された実施例に限定されるものとして解釈されるべきではなく、これらの実施例は、本開示が完全なものとなり、本発明の範囲を当業者に対して完全に伝えるように提供されるものである。全体を通して、同様の番号は同様の要素を指す。

データストリームを圧縮するため、即ちデータストリーム内のデータの量を低減するため、圧縮技術がしばしば利用される。とりわけ、消費者向けレコーダ装置（ＤＶＤレコーダ、ハードディスクレコーダ等）は、ＭＰＥＧ２ストリームのようなディジタル的に圧縮されたストリームを提供するためのディジタル圧縮アルゴリズムを利用する。斯かる圧縮技術は無損失ものであっても良いが、かなりの量の圧縮が利用される場合にはしばしば、データの幾分かの損失は許容可能とみなされる。一般に、データ圧縮技術は、データの損失が比較的少なく保たれ、それによりデータ圧縮の可視の影響が、伸張された表示画像においてそれほど見られないように構成される。しかしながら、とりわけ高い圧縮率の場合には、伸張された画像においてアーティファクトが出現し得る。斯かるアーティファクトの１つは縞模様のパターンであり、画像の何処かに偽の縞模様のパターンが生じるものである。これまでは、これら偽の縞模様のパターンについての性質及び理由が未知であった。これらのアーティファクトは、エッジ特徴の存在又は不存在とは独立して、生じ得るインタレースエラーの示唆の不存在下でも、又はインタレースエラーとは整合しないパターンで、又は実際には他のいずれの圧縮アーティファクトの既知の原因の不存在下でも、画像の何処にでも生じ得る。

図１及び２は、これらアーティファクトを模式的に示す。

これらの図は、特許出願において義務付けられているため白黒である。矢印によって示された、ブロック毎の垂直方向の縞が可視となっている。実際のカラーの画像においては、白黒の場合よりも、斯かる縞はより一層可視となっている。これらの縞は、ブロック型の縞模様パターンを形成する。画像を通して、斯かる縞が可視となっている。これらの縞は、画像におけるエッジ又はその他の特徴の存在と関係するようには思われず、他の特徴のある領域においても形成される。幾つかのブロックにおいては、縞が明らかに可視となっており、他のブロックにおいては縞が完全に不存在となっている。該パターンは、インタレースエラーが存在し得る場合において、インタレースエラーが生じることを予期し得る領域に限定されない。従って、アーティファクトの既知の原因を検査しても、斯かる既知の原因は見出されない。本発明の一側面は、本発明者が、該アーティファクトが、これまで未知であった原因によるものであることを認識したことにある。本発明者は、ＭＰＥＧのような標準的なエンコード手法は、他の全ての既知のアーティファクトの原因の不存在下においてさえも、これらのアーティファクトを引き起こし得ることを認識した。この洞察は、本発明が基とする新規な洞察である。

ＭＰＥＧのような現代のビデオ圧縮方式は、ブロックベースの処理を利用する。８行８列の画素のマトリクスから成る各ブロックは、個別にＤＣＴ変換され量子化される。ＭＰＥＧ規格によれば、インタレースされたビデオ画像は、フレームピクチャ又はフィールドピクチャとしてエンコードされ得る。フレームピクチャにおいては、フレームＤＣＴ符号化及びフィールドＤＣＴ符号化の両方が利用され得る：
・フレームＤＣＴ符号化の場合には、各ブロックは、交互に２つのフィールドからのラインから成る。
・フィールドＤＣＴ符号化の場合には、各ブロックは、２つのフィールドのうちの一方からのラインのみから成る。

図３は、マクロブロックのＤＣＴ符号化を示す。ＤＣＴ符号化は、フレーム符号化（図３の部分Ａ）か又はフィールド符号化（図３の部分Ｂ）であり得る。

ＭＰＥＧエンコーダは、各マクロブロックについて、フレームＤＣＴが適用されるべきかフィールドＤＣＴが適用されるべきかの決定を為す。

動き予測もまた２つの異なるモード、即ちフィールド予測及びフレーム予測により実行される。前者の場合においては、１つ以上の以前にデコードされたフィールドからのデータを用いて、各フィールドについて独立に予測が為される。フレーム予測は、フレームについての予測を、１つ以上の以前にデコードされたフレームから形成する。フィールドピクチャ内では、全ての予測がフィールド予測である。しかしながら、フレームピクチャにおいては、フィールド予測か又はフレーム予測が利用され得る（マクロブロック毎に選択される）。

図４は、フレーム動き予測及びフィールド動き予測を、模式的に示す。フレーム予測（Ａ'）においては、基準フレームＲから予測フレームＰへの動きを予測するために、１つの動きベクトルＭのみが利用される。フィールド予測においては、それぞれがフィールドの各々についての、２つの動きベクトルＭ１及びＭ２が利用される。図４の例において模式的に示されるように、これら動きベクトルＭ１とＭ２とは異なり得る。

理想的には、ＭＰＥＧコーデックは、フレーム処理が利用されるべきかフィールド処理が利用されるべきかを正しく決定し、フィールドＤＣＴ及び動き予測を元のインタレースされたマテリアルに適用し、フレーム処理をプログレッシブなマテリアルに適用すべきである。しかしながら現実には、低コストの（従って低品質の）ＭＰＥＧエンコーダは、特にインタレースされたフィルムマテリアルを含む入力源については、斯かる決定を常に正しく為すわけではない。ハイエンドのＭＰＥＧエンコーダにおいてさえも、不正確な決定は頻繁である。

ＭＰＥＧエンコーダが特定のマクロブロックについてフレーム又はフィールドモードについて誤った選択を為した場合には、当該マクロブロックに局在するアーティファクトが出現することとなる。これらのアーティファクトは、特に低ビットレートの符号化において可視となる。図１及び２は、斯かるアーティファクトの幾つかの例を示す。図示されるように、該アーティファクトは、ブロック又はマクロブロック（４ブロック）内に局在化された１画素の幅を持つ水平の線という、明らかなパターンを持つ。本発明は、これらのアーティファクトを低減させること、又は少なくともこれらのアーティファクトの低減を可能とする手段を提供することを目的とする。誤った決定が動き予測について為された場合にも、同一の又は同様のアーティファクトが生じる。

図５は、本発明の第１の態様による方法を示す。本図はまた、本発明による低減器を模式的に示す。入力フレームのブロック又はマクロブロックが、前記方法のステップ１に対応する低減器の部分１において、解析される。該第１のステップ１において、ブロック又はマクロブロック内の隣接するラインにおける画素間の差分値が決定される。「差分値」とは、隣接するライン間における画素間の輝度及び／又は色差の差を表すいずれかの数として、広義に解釈されるべきである。斯かる差分値の幾つかの例が、以下に示される。該差分値は、比較器Ｃにおいて、閾値と比較される。該差分値が該閾値を満足する場合、ローパスフィルタにおいて、該ブロック又はマクロブロックに対して、垂直方向におけるローパスフィルタリングが適用される。該閾値を満足しない場合には、ローパスフィルタリングは適用されない。該差分値の決定及び該閾値との比較は、縞模様のパターンの存在の検出と等価である。ローパスフィルタリングは、該パターンが検出されたブロックにのみ適用される。本方法はかくして、ブロック毎のパターン検出と、それに後続する、デコードされた信号において該パターンが検出されたブロックに対するローパスフィルタリングとを有する。デコードされたデータストリームの出力フレームが生成される。該出力フレームは例えば、表示装置に送信されるか、又は記録媒体に記録される。

図６は、本発明の一実施例を示す。本実施例においては、パターン検出ステップ１に先立って、選択器３において選択ステップ３が実行される。該選択は、異なるラインに跨って実行されても良い。該選択は、ローパスフィルタリングが有用でない又はあまり有用でないブロックを特定することによって、必要とされる計算能力を低減すること、及び／又はローパスフィルタリングの負の副次的な影響を低減することを目的とする。

第１のタイプの実施例においては、該選択は、人間の眼が、特定の色及び／又は画像内の特定の領域に対して、より敏感であるという洞察に基づいて実行される。人間の眼が比較的敏感でない及び／又は注意が引かれないブロックは、必要とされる計算を低減するため、後続するステップから除外される。例えば、ブロックの平均の色を決定するため、色決定がブロックに対して適用されても良い。肌色のような特定の色については、該ブロックはステップ１の入力とされ、一方で青（空）及び緑（草）のような他の色については、該ブロックはステップ１の入力とはならず、ステップ１及び２を迂回する。観測者は、空又は草原に注意を向けない傾向がある。観測者はまた、画面の中央部に注意を集中させる傾向がある。従って、画面の端におけるアーティファクトは、中央部におけるよりも目立たない。従って、基準は画像における位置であっても良い。画像のぼやけた部分は、画像の焦点が合った部分よりも、注意を引かない。それ故、ブロックが属する画像の部分の鮮明さが基準となっても良い。

第２のタイプの実施例においては、データストリームのエンコードについての情報が存在する。前記選択ステップにおいて、アーティファクトを有し得るブロックを特定するため、例えばエンコードされたデータストリームのピクチャヘッダを解析することによって、エンコードパラメータが検査される。

本実施例においては、選択ステップ３の間、例えばビットストリームヘッダのフラグの特定のセットのようなエンコードパラメータが解析される。以上に説明されたように、アーティファクトは、フレームピクチャに対する誤ったフレーム／フィールド符号化の選択によるものである。前記ヘッダ中のデータは、エンコーダが誤った決定を為したか否かを示唆する。前記ヘッダ中のデータが斯かる可能性がないことを示唆する場合、次のステップをとる理由はない。なぜなら、斯かる後続するステップは計算能力を必要とするのみであり、期待される有益な効果を伴うことなく細部を低減させてしまい得るからである。前記データが誤ったフレーム／フィールド符号化選択の可能性を示唆する場合、該ブロックは更に処理される。本実施例は、エンコード情報が利用可能である全てのインスタンス及び装置に対して利用されることができる。アーティファクトを示し得るブロックを示唆するエンコードパラメータを解析することは、それ自体が本発明の第２の態様を形成し、前記第１の態様とは独立に利用されても良いことは、以下に説明される。

第３のタイプの実施例においては、隣接するブロックを用いて一貫性検査が実行される。該比較は、パターン認識ステップ１に先立って実行されても良いし、又はパターン認識ステップ１内で実行されても良い。検出器の実施例は、縞模様のパターンが該ブロック内に限られたものであるか、隣接するブロックに跨って連続するものであるかを検査する。幾つかの隣接するブロックに存在し且つ同一のタイプのもの（例えば同一の平均グレイ値及び同一のグレイ値の差）であるパターンは、例えばフェンスの画像のような現実のパターンを示唆し得る。一貫性検査が選択ステップ３として実行される場合には、斯かるブロックはステップ１及び２を免除されても良いし、又は一貫性ステップがパターン認識ステップ１内で実行される場合には、前記差分値が前記閾値を満足するという事実にかかわらず、ローパスフィルタリング２が適用されない。

図７及び８は、本発明の一実施例を示す。

図７は、アルゴリズムのブロック図を示す。本図は、点線内の領域１により示されるパターン検出と、点線内の領域２により示されるアーティファクト低減との、２つの部分を有する。肯定数（yes count）値が設定され、それにより差分値即ちyes countが決定される。該yes countは閾値と比較され、本例においては該閾値は３＊否定数（no count）である。差分値即ちyes countが該閾値を満足する場合、即ちyes count＞３＊no countである場合にはローパスフィルタリング２が適用され、否であればローパスフィルタリング２は適用されない。

最初に、ＤＣＴブロックのグリッドの位置及びサイズを見出すため、入力フレームに対してブロックグリッド検出（ＢＧＤ）が実行される。次いで、各ブロックについて、アーティファクトの存在又は不存在が検出される。このことは、スライドする解析ウィンドウＡＮＷ内の特定の空間的パターンを検出することにより実現される。該解析ウィンドウＡＮＷは、図８に示される。解析ウィンドウＡＮＷをスライドさせることにより、該ブロック内の全ての画素が、該ブロックの左上の隅から開始して右下の隅で終了するよう走査され解析される。図８内の解析されるウィンドウの中央は、画素対Ｙ３及びＹ４である。本アルゴリズムは、画素Ｙ３とＹ４との間の画素値の差（delta）が、オブジェクトのエッジである見込みが高いか推定されるアーティファクトである見込みが高いかを決定する。このことは、アーティファクトのパターン（ブロック又はマクロブロック（４ブロック）内に局在する１画素幅を持つ水平の線）の存在を検出することにより実現される。該差がアーティファクトである見込みが高いと決定された場合には、yes countが１だけ増加させられ、否であると決定された場合には、no countが１だけ増加させられる。ブロック又はマクロブロックの走査の開始時には、yes count及びno countは共にゼロにセットされる。yes countはかくして、差分値を決定するための決定器の出力であり、no countは、閾値を決定するための決定器の出力であり、ここで本例においては、差分値及び閾値のための決定器が共通の要素を持つ。該パターン検出手法は、例えば以下のように実装される：
delta = |Y3 - Y4|;
D32 = |Y3 - Y2|;
D45 = |Y4 - Y5|;
D24 = |Y2 - Y4|;
D35 = |Y3 - Y5|;
if (delta < T1 and D35 < T2 and D24 < T2)
{
if ((D24 < D32 or D24 < delta) and (D35 < D45 or D35 < delta) and (delta > |Yn4-Yp4| or delta > |Yn3 - Yp3|)) (2)
{
if ((D35 < delta or D24 < delta) or |Y2 - Y5| < delta) (3)
yes count++; /*エラーパターンが検出された*/
else
no count++; /*エラーパターンが検出されない*/
}
}
該アルゴリズムは、図７に模式的に示された本例において実行されるアルゴリズムである。実験では、Ｔ１が２５、Ｔ２が５であった。

yes countはかくして、隣接するラインにおける画素の幾つの対が画素データ差delta=|Y3 - Y4|を示すかを表す差分値であり、Ｄ２４等のような他の画素値差分を考慮に入れて、縞模様パターンの予想される存在を示唆する。差分値yes countは、アーティファクトの存在の強さ又は見込みを表すものであり、次いで比較器Ｃにおいて閾値（本例においては３＊no count）と比較される。差分値yes countが閾値３＊no countを満足する場合、ローパスフィルタリングが適用される。満足しない場合には、ローパスフィルタリングは適用されない。

以上の条件は、パターン検出メカニズムの具体例であることに留意されたい。実験は（経験的に見出された）以上の条件が優れた結果をもたらすことを示しているが、当業者は同様の結果をもたらす別の条件を考え出し得る。それ故、条件（１）乃至（３）の具体的な記述は非常に有用ではあるものの、本発明の範囲を限定するものとして解釈されるべきではない。提案されるアルゴリズムのパターン検出ステップの一般化された概念は、ブロック内で略等しい勾配を持つ、該ブロック内に局在する（インタレースされた）水平の線を検出することである。パターン検出ステップは、値決定ステップと比較ステップとを有する。

ビデオ処理システムが十分な計算リソース及びメモリリソースを持つ場合には、以上に説明された方法を輝度成分と同様に色差成分に適用することにより、エラーパターン検出メカニズムの頑強さが増大させられ得る。

本アルゴリズムの例のブロック図によれば、現在の解析ウィンドウＡＮＷにおいてアーティファクトパターンが検出された場合には、カウンタyes countの値が１だけ増加させられ、そうでなければカウンタno countが増加させられる。その後、該解析されるウィンドウは１画素だけシフトされ、新たな画素の対に対してパターン検出アルゴリズムが適用される。ブロック内の全ての画素が走査及び解析されると、yes countの累積値とno countの累積値とを比較することにより、該ブロックにおけるエラーの存在についての決定が為される。yes count > ｋ＊no countである場合には、該ブロックにアーティファクトが存在する。パラメータｋは、検出の頑強さを調節する。本発明の一実施例においては、ｋ＝３である。

アーティファクトが現在のブロック内で検出された場合には、本アルゴリズムの次のステップ、即ちアーティファクトの除去が、ステップ２において実行される。本発明の一実施例においては、該アーティファクト低減は、垂直方向（アーティファクトの水平の縞に垂直な方向）における単純なローパスフィルタリングにより達成される。一般に、ローパスフィルタリングの強さは、エラーの大きさ（例えば水平方向の縞の間の垂直方向の勾配の平均の大きさ）及び水平方向における（縞内における）画素値の均一性に対して、適応的に選択され得る。本例においては、強さパラメータは、経験的に生成されたＬＵＴを利用して定義又は調節され得る。

実験において、一定のパラメータを用いた非適応的なフィルタリングが利用された：
Y3'= (Y2 + Y3 * 3 + Y4) / 5;
Y4'= (Y3 + Y4 * 3 + Y5) / 5;

本発明の実施例の効率は、一連の実験を実行することにより評価された。低ビットレートでエンコードされた１０個以上のテストシーケンスが、該実験において利用された。本アルゴリズムの効率は、主観的に評価された。

図９は、提案されるアルゴリズムによる処理の前及び後の、デコードされたフレームの例を示し、「処理前」の画像が図９の上半分に、「処理後」の画像が下半分に示される。本実験においては、ローパスフィルタリングの適応のない、本アルゴリズムの簡略化されたバージョンが利用された。アーティファクトの非常に著しい減少が分かる。

提案されるアルゴリズムの例は、アーティファクトを効率的に低減し、同時にオブジェクトのエッジを保持する。解析ウィンドウの小さなサイズのため、本アルゴリズムのハードウェア実装は、３ラインのメモリを必要とするのみである。

図１０は、本発明の他の実施例を示す。本アルゴリズムは、上述した図におけるように、アーティファクト検出ステップ１と、ローパスフィルタリングによるアーティファクト低減ステップ２とを有する。

検出部１において、アーティファクトの存在を確認し、当該アーティファクトが可視となるマクロブロックを選択するため、影響を受けている可能性のあるマクロブロック（先行するステップ３において検出される）の空間的な解析が実行される。

提案されるアルゴリズムの低減ステップ２の間、検出されたマクロブロックにおけるアーティファクトが、適応型の１次元空間ローパスフィルタリングにより除去される。

該検出部は選択段３により先行され、該選択段３において、この種のアーティファクトを含む可能性のあるブロック又はマクロブロックの検出のため、例えばエンコードされたビデオストリームのシーケンスヘッダ及びピクチャヘッダの解析を利用して、エンコードパラメータが解析される。斯かるブロックは、更に解析される。シーケンスヘッダ及びピクチャヘッダの解析が、アーティファクトが起こり得ない又は少なくとも殆ど見込みがないことを明らかとしたブロックは、更には解析されず、ローパスフィルタリングされない。

本発明の好適な実施例の選択ステップ３の間、エンコーダがフレーム／フィールド処理の適用についてフレームピクチャにおいて誤った決定を為したか否かを示す、ビットストリームヘッダのフラグの特定のセットが検査される。該選択ステップにおいて、影響を受けている可能性のあるブロックを示すため、エンコードパラメータが解析される。

例えば、以下のエンコードパラメータが検査される：
・シーケンス拡張ヘッダにおけるprogressive_sequence（ＰｒＳｅ）フラグ。「１」に設定されている場合には、符号化されたビデオシーケンスは、プログレッシブなフレームピクチャのみを含む。該フラグが「０」に設定されている場合には、符号化されたビデオシーケンスは、フレームピクチャ及びフィールドピクチャの両方を含み得、フレームピクチャはプログレッシブであるか又はインタレースされたフレームであり得る。
・ピクチャ拡張ヘッダにおけるPicture_structure（ＰｉＳｔ）フラグ。該フラグが１１に設定されている場合には、該ピクチャはフレームピクチャとしてエンコードされ、フラグが０１又は１０に設定されている場合には、該ピクチャはフィールドピクチャとしてエンコードされる。
・Frame_pred_frame_dct（ｆｐｆｄ）。ピクチャ拡張ヘッダにおける該フラグが「１」に設定されている場合には、該フレーム中の全てのマクロブロックについて、フレームＤＣＴ及びフレーム予測のみが利用される。そうでなければ、フレーム並びにフィールドＤＣＴ及び予測が、フレーム内で利用される。
・マクロブロックモードヘッダにおけるFrame_motion_type（ｆｍｔ）フラグ。１０に設定されている場合には、該マクロブロックはフレームベースの予測を利用する。該フラグが０１に設定されている場合には、該マクロブロックはフィールドベースの予測を利用する。
・Doc_type（ｄｔ）。マクロブロックモードヘッダにおける該フラグは、該マクロブロックが、フレームＤＣＴ符号化されるか、フィールドＤＣＴ符号化されるかを示す。該フラグが「１」に設定されている場合には、該マクロブロックはフィールドＤＣＴ符号化される。

フラグｆｐｆｄが１に設定されている場合、フラグｆｍｔ及びｄｔはビットストリームから省略され、デフォルトでフレームベースのＤＣＴ及び予測が利用される。

理想的には、ＤＶＤレコーダによる映画マテリアルのエンコードの間、フラグｆｐｆｄは１に設定されるべきであり、その場合フレームベースの処理のみがエンコードの間に適用されることとなり、従って上述したようにフレーム／フィールドエラーが起こらない。不運にも、このことは常に成り立たず、しばしばフラグｆｐｆｄが「０」に設定されエンコーダが決定してしまう状況が、低コストの消費者向けＤＶＤレコーダにおいて記録された自家製ＤＶＤについては言うに及ばず、専門的に製作されたＤＶＤにおいてさえも見受けられる。エンコーダが特定のマクロブロックについて誤った決定を為した場合には、シーケンスが元のプログレッシブなものとして表示されるときに、アーティファクトが生じ得る。

本発明の当該好適な実施例においては、斯かるアーティファクトの影響を受け易い、即ち換言すれば、エンコーダが誤った決定を為した可能性のあるマクロブロックが特定され、更なる処理のために選択される。上述したヘッダフラグが以下の値をとる場合に、マクロブロックは影響を受けている可能性がある：
{ progressive_sequence (PrSe) == 0;
Picture_structure (PiSt) == 11;
Frame_pred_frame_dct (fpfd) == 0;
}
and
{ Frame_motion_type (fmt) == 01;
or
Dct_type (dt) == 1;
}

本処理の次のステップにおいて、「影響を受けている可能性がある」と特定され選択されたブロック又はマクロブロックに対して、空間的な解析が適用される。本例においては、該解析は、該ブロック内の水平及び垂直方向における画素対の平均勾配間の比較により実装される。図８に示された例については、８×８ブロックについての平均の垂直方向の勾配は、

であり、平均の水平方向の勾配は、

である。

Ｇｖ＞ｋ＊Ｇｈの場合に、８×８ブロック内のアーティファクトが可視となると仮定する。通常、ｋ＝２である。

従って本例においては、差分値がＧｖであり、閾値がｋ＊Ｇｈである。

これは決して唯一のとり得る比較ではなく、例えば平均の２画素勾配Ｇｖ２：

を算出し、Ｇｖと比較しても良い。

該比較はこのときＧｖ＞ｋ＊Ｇｖ２である。従って、差分値を決定するための決定器は、Ｇｖを算出するための算出器を有し、閾値を決定するための決定器は、Ｇｈ又はＧｖ２を算出するための算出器を有し、比較器がＧｖをｋ＊Ｇｈ又はｋ＊Ｇｖ２と比較する。

本アルゴリズムのアーティファクト低減部の間、ステップ３において選択され且つステップ１において設定された条件（Ｇｖ＞ｋ＊Ｇｈ）を満たす該ブロックからの全ての画素に対して、１次元適応ローパスフィルタが適用される。該ローパスフィルタは、垂直方向に画素を平滑化する。本例においては、フィルタの強度は、当該ブロックにおける平均の水平方向の勾配Ｇｈの値に依存する：

ここでｙ_ｉ，ｊはフィルタリングされた出力画素であり、ｆ（Ｇｈ／ｋ）はＧｈが増加するにつれて増加しｋが増加するにつれて減少する関数を表す。ｆ（Ｇｈ／ｋ）＝２である場合には、上述の式は、以前に示された単純な非適応フィルタと同等であることに留意されたい。本例は、ローパスフィルタリングの強度が、該ブロックに含まれるデータ（本例においてはＧｈの値）に依存する、本発明の好適な実施例を例示する。Ｇｈが大きくなると因子ｆ（Ｇｈ／ｋ）が大きくなり、平滑化の効果及びそれ故ローパスフィルタリングが弱くなる。従って本例においては、低減器が、該ブロックに含まれるデータに依存してローパスフィルタの強度を決定するための更なる決定器を有する。該更なる決定器は、Ｇｈの決定器と、Ｇｈの関数としてフィルタの強度を表現するためのアルゴリズムとから構成される。

本発明の範囲は、ローパスフィルタリングのいずれの特定の方法にも限定されるものではない。当業者は局所的な空間アクティビティ及び／又はアーティファクトの可視性に対して適応可能な、他のローパスフィルタを考え出し得る。

本方法は、画像全体に対しても、又は画像の一部に対しても、適用され得ることに留意されたい。実施例内で、本発明のアルゴリズムの異なるバージョンが、画面の異なる部分に対して適用されても良い。例えば高パワーのバージョンが画面の中央部に適用され、より単純なバージョンが画面のあまり重要でない部分に適用されても良い。

ステップ３に関連して以上に説明されたエンコードパラメータを解析する方法は、アーティファクト低減方法における第一段階として、図１０に関連して以上に説明されている。該アーティファクト低減方法は、誤ったフレーム／フィールド符号化が引き起こした問題に対する対応策として考えられる。

影響を受けている可能性のあるブロックを示唆するためのエンコードパラメータを解析する方法は、別個に且つ独立して利用されても良く、それ自体が本発明の一態様である。本発明の枠組み内で、「特定」と「示唆」とは等価であり、「示唆」なる語に含まれる。示唆は、影響を受けている可能性のあるブロックが、影響を受けている可能性のないブロックと区別されることを可能とする。前記解析方法は、アーティファクトにより影響を受けている可能性のあるブロックを見つけ出すための診断ツールを形成する。アーティファクト低減方法及びエンコードパラメータを解析する方法はかくして、同一の問題に向けたものであり、同一の洞察に基づくものである。アーティファクト低減方法が該問題の低減を提供し、解析の方法が影響を受けている可能性のあるブロックの特定を提供する。これら２つの方法は、個別に利用されても良いし、又は組み合わせ利用されても良い。本発明のこれら２つの態様に向けた請求の範囲は異なるが、いずれの態様も同一の洞察に基づくものであり、同一の問題に向けたものであり、いずれも新規性及び進歩性を有する。図１１は、エンコードパラメータが特定される、アーティファクトを低減する方法を示す。図１０及び１１に模式的に示された方法間の差異は、ステップ１（差分値の算出及び閾値との比較）が図１１においては存在しない点である。エンコードパラメータを解析することにより、影響を受けている可能性のあるブロックが特定される。アーティファクトにより影響を受けていないブロックは、ローパスフィルタリングを受けない。影響を受けている可能性のあるブロックは、ローパスフィルタリングを受ける。ローパスフィルタリングは、細部の低減の可能性という欠点を持つ。エンコードパラメータのいずれの知識もない、且つアーティファクトの存在の検査もない、デコードされたデータストリームの全てのブロックの無差別のローパスフィルタリングは、益となるよりも害となる。それ故、図５の方法において、アーティファクト検出ステップ１が存在する。しかしながら、影響を受けている可能性のあるブロックが特定されると、ローパスフィルタリングは選択的に、即ちアーティファクトにより影響を受けている可能性のあるブロックにのみ適用され、かくして害の程度が著しく低減される。このことは、差分値を決定し該差分値を閾値と比較するための先行ステップを伴わない、影響を受けている可能性のある全てのブロックがローパスフィルタリングされる、本方法の簡略化を可能とし得る。斯かる簡略化された方法は、図１１に模式的に示される。図１１の簡略化された方法は、ステップ１の不存在のため、図５に示された方法よりは幾分効果が小さいが、該簡略化された方法は、何もしないよりも、又は全てのブロックを無差別にローパスフィルタリングするよりも、好適である。

図１２は、エンコードパラメータを解析する方法を模式的に示す。エンコードパラメータは、解析器ＡＮにおいて解析される。符号化パラメータがアーティファクトの可能性を示唆する場合、アーティファクトの出現の可能性を示すエンコードパラメータの組み合わせ、即ち誤ったフレーム／フィールドエンコードが実行された可能性を示すインジケータが見出されたブロック又はマクロブロックに対して、インジケータＩが関連付けられる。斯かるブロックは次いで、先行する差分値の決定を伴う又は伴わない、アーティファクト低減方法にかけられても良い。「関連付けられる」とは、本発明の概念内では、画像データストリームと該インジケータとの間にリンクが存在することとして理解されるべきである。インジケータＩは、例えばヘッダ又はフラグとして、データストリームに挿入されても良い。斯かる実施例においては、インジケータＩは、画像データストリームに含められる。かくして、該インジケータは、新たな生成物、即ち画像データストリーム、又はブロック若しくはブロックの群について誤ったフレーム／フィールドエンコードの可能性を示唆するインジケータＩを有する画像データストリームを有する信号を提供する。インジケータＩは、該画像データストリームからは独立ているが、該画像データストリームに対してリンク可能なデータストリームに含められても良い。斯かるデータストリームは例えば、影響を受けている可能性のあるブロック又はブロックの群のリストが備えられた、実際のデータストリームに先行する又は後続する短い信号であっても良い。画像データストリームについての斯かる信号もまた、新規な生成物を提供する。アーティファクト低減方法は、以上に説明された請求されるアーティファクト低減方法であっても良い。しかしながら、このことは解析方法については必須ではない。解析方法は、例えばエンコーダの性能を評価するための診断ツールとして利用されても良い。より多くの潜在的に問題のあるブロックをエンコーダが生成すると、より多くのアーティファクトが生じることとなる。該解析方法は従って、エンコーダの性能を改善するためのツールとして利用されることができる。斯かる診断ツールは、現時点では存在しない。該解析方法はまた、影響を受けた可能性のあるブロックを特定し、これらブロックを再エンコードするか若しくはこれらブロックを置換するか、又は影響を受けた可能性のあるブロックが特定された画像データストリームを生成するために、エンコーダ又はトランスコーダにおいて利用されても良い。

図１３は、本発明による表示装置の例を示す。該表示装置は、本例においては部分１（アーティファクト検出）、部分２（ローパルフィルタリング）及び部分３（選択）を有する低減器を有する。該表示装置は、画像データストリーム信号を有する入力信号５を受信するための受信器４を有する。該入力信号は、既にデコードされた画像データストリーム５又はエンコードされた画像データストリーム５'を有しても良い。該信号は、入力部６に導かれる。エンコードされた信号５'が受信される場合、該表示装置は、入力されるエンコードされた信号をデコードするためのデコーダ７を有する。該表示装置が該入力されるエンコードされた信号をデコードするためのデコーダ７を有する場合には、エンコードパラメータが比較部３に送信されても良い。デコードの間、影響を受けた可能性のあるブロックは、選択ステップ３において斯かるブロックが特定され得るように、フラグを備えられても良い。出力は、表示画面８に表示される。本発明による表示装置は、ＴＶ装置、モニタ、ＰＤＡ、モバイル電話を含む（これらに限定されるものではない）、画像を表示するためのいずれの装置であっても良い。

要約すると、本発明は以下のように記述され得る：
これまで未知であった画像アーティファクトの原因が特定された。ＭＰＥＧエンコーダのようなエンコーダは、２つのピクチャ構造、即ちフィールドピクチャ及びフレームピクチャを利用し得る。フレームピクチャについては、フレームベースＤＣＴ及びフィールドベースＤＣＴの両方（及びその他のタイプ）の符号化が利用され得る。フレームベースの符号化を利用すべきかフィールドベースの符号化を利用すべきかの決定は、常に正しく為されるわけではない。デコードされた画像において、このことは縞模様のブロックとして可視となる画像アーティファクトに導く。本発明は、本発明の一態様において、斯かるアーティファクトの存在についてブロックの内容を解析し、該解析が斯かるアーティファクトの存在を証明した場合に該ブロック中のデータに対して垂直方向のローパスフィルタリングを適用することにより、これらアーティファクトを低減する。本発明の他の態様においては、アーティファクトが生じ得るエンコードパラメータの組み合わせについてエンコードパラメータが検査され、斯かるブロックが示唆される。本発明は、方法において、並びに受信器、エンコーダ、デコーダ及び表示装置等のような装置において、実施化され得る。

本発明はまた、本発明による方法又は装置のためのいずれかのコンピュータプログラムにおいて実施化される。コンピュータプログラムとは、プロセッサ（汎用であっても又は特殊用途向けであっても良い）が、一連のロードステップ（中間言語及び最終的なプロセッサ言語への翻訳のような、中間の変換ステップを有しても良い）の後に、本発明の特徴的な機能のいずれかを実行するためのコマンドを該プロセッサに得ることを可能とするコマンドの集合の、いずれかの物理的な具現化と理解されるべきである。とりわけ、コンピュータプログラムは、例えばディスク若しくはテープのような担体上のデータ、メモリ中に存在するデータ、ネットワーク接続（有線であっても無線であっても良い）によって移動するデータ、又は紙上のプログラムコードとして実現されても良い。プログラムコードとは別に、該プログラムのために必要とされる特徴的なデータが、コンピュータプログラムとして実施化されても良い。

本方法の動作のために必要とされるステップの幾つかは、データ入力及び出力ステップのように、コンピュータプログラムにおいて記載されているのではなく、プロセッサの機能に既に存在していても良い。

本明細書において開示されたアルゴリズムの要素は、実際には、ハードウェア（例えば特定用途向けＩＣの一部）として、又は特殊なディジタル信号プロセッサ若しくは汎用プロセッサ上で動作するソフトウェアとして、（全体が又は一部が）実現されても良い。

本発明の概念内で、「比較器」、「決定器」、「低減器」、「ローパスフィルタ」等は広義に解釈されるべきであり、単独で又は組み合わせて、記載された比較、決定、低減、ローパスフィルタリング等の機能を実行するように構成されたいずれかのハードウェア、いずれかの回路又はサブ回路、本発明のいずれかの態様による比較、決定、低減、ローパスフィルタリング等の動作を実行するよう設計若しくはプログラムされたいずれかのソフトウェア（コンピュータプログラム若しくはサブプログラム又はコンピュータプログラムのセット、又はプログラムコード）、並びに斯様に動作するハードウェア及びソフトウェアのいずれかの組み合わせを有するものであり、以下に与えられる実施例に限定されるものではない。１つのプログラム又はアルゴリズムは幾つかの機能を組み合わせても良く、幾つかの機能は１以上のプログラムの共通の要素を共有しても良い。

上述の実施例は本発明を限定するものではなく説明するものであって、当業者は添付する請求項の範囲から逸脱することなく多くの代替実施例を設計することが可能であろうことは留意されるべきである。

請求項において、括弧に挟まれたいずれの参照記号も、請求の範囲を限定するものとして解釈されるべきではない。

「有する（comprise）」なる語は、請求項に記載されたもの以外の要素又はステップの存在を除外するものではない。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実装されても良い。幾つかの手段を列記した装置請求項において、これら手段の幾つかは同一のハードウェアのアイテムによって実施化されても良い。本発明は、以上に説明された種々の好適な実施例の特徴のいずれかの組み合わせによって実装されても良い。

本発明が低減しようとするアーティファクトを模式的に示す。 本発明が低減しようとするアーティファクトを模式的に示す。 マクロブロックのＤＣＴ符号化を示す。 動き予測を示す。 本発明の第１の態様による方法を模式的に示す。 本発明の第１の態様による方法の実施例を示す。 本発明の第１の態様による更なる実施例を示す。 本発明の第１の態様による更なる実施例を示す。 本発明の効果を示す。 本発明の他の実施例を示す。 本発明の第２の態様による方法を示す。 本発明の第２の態様による方法を模式的に示す。 本発明による表示装置を模式的に示す。

Claims (24)

1. 圧縮アーティファクトが低減される、圧縮された画像データストリームを処理する方法であって、デコードされた画像ブロックについて、又はデコードされた画像ブロックの群について、隣接するライン間の垂直方向における画素データの差から少なくとも１つの差分値が決定され、前記差分値が閾値と比較され、前記差分値が前記閾値を満足する場合、前記デコードされた画像ブロックに対して垂直方向におけるローパスフィルタリングが適用される方法。
2. 前記閾値は一定値である、請求項１に記載の圧縮された画像データストリームを処理する方法。
3. 前記閾値は、前記ブロック内に含まれるデータに依存する、請求項１に記載の圧縮された画像データストリームを処理する方法。
4. 前記ローパスフィルタリングの強度は、前記ブロックに含まれるデータに依存する、請求項１に記載の圧縮された画像データストリームを処理する方法。
5. 前記差分値の決定は、前記差分値の決定及び前記ローパスフィルタリングが実行されるべきブロックを選択するための選択ステップにより先行される、請求項１乃至４のいずれか一項に記載の方法。
6. 前記選択は、前記ブロックの平均輝度又は平均色内容に基づいて実行される、請求項５に記載の方法。
7. 前記選択は、隣接するブロックに実行される一貫性検査を有する、請求項５に記載の方法。
8. 前記選択ステップは、前記ブロックのエンコードパラメータが解析されるステップを有する、請求項５に記載の方法。
9. ビットストリームヘッダが解析される、請求項８に記載の方法。
10. 画像アーティファクトを低減するための低減器であって、前記低減器は、デコードされた画像ブロックについて、又はデコードされた画像ブロックの群について、隣接するライン間の垂直方向における画素データの差から少なくとも１つの差分値を決定するための決定器と、前記少なくとも１つの差分値を閾値と比較するための比較器と、前記差分値が前記閾値を満足する場合、前記デコードされた画像ブロックに対して垂直方向におけるローパスフィルタリングを適用するためのローパスフィルタと、を有する低減器。
11. 前記ブロックに含まれるデータから前記閾値を決定するための更なる決定器を有する、請求項１０に記載の低減器。
12. 前記ブロックに含まれるデータに依存して前記ローパスフィルタリングの強度を決定するための更なる決定器を有する、請求項１０又は１１に記載の低減器。
13. エンコードパラメータを解析するための解析器を有する、請求項１０乃至１２のいずれか一項に記載の低減器。
14. 請求項１０乃至１３のいずれか一項に記載の低減器を有する、画像を表示するための圧縮された画像データストリームを受信するための受信器。
15. 表示画面に画像を表示するための圧縮された画像データストリームを受信するための受信器と、請求項１０乃至１３のいずれか一項に記載の低減器と、を有する表示装置。
16. 請求項１０乃至１３のいずれか一項に記載の低減器を有する、圧縮された画像データストリームをトランスコードするためのトランスコーダ。
17. エンコーダがフレーム又はフィールドエンコードを実行した可能性のあるフレームピクチャ中のブロック又はマクロブロックが示唆される、エンコードされた画像データストリームのエンコードパラメータを解析するための方法。
18. エンコードされたビデオビットストリームのシーケンスヘッダ及びピクチャヘッダが解析される、請求項１７に記載のエンコードされた画像データストリームのエンコードパラメータを解析するための方法。
19. 前記画像データストリームにおける又は前記画像データストリームについてのインジケータの生成を有する、請求項１７又は１８に記載のエンコードされた画像データストリームのエンコードパラメータを解析するための方法。
20. エンコードされた画像データストリームのエンコードパラメータを解析するための解析器であって、エンコーダがフレーム又はフィールドエンコードを実行した可能性のあるフレームピクチャ中のブロック又はマクロブロックを示唆するための手段を有する解析器。
21. コンピュータ上で動作するときに、請求項１乃至９のいずれか一項に記載の方法のために、圧縮されたデータストリームを処理するための命令を有する、コンピュータ装置によりロードされるコンピュータプログラムであって、前記コンピュータ装置は処理手段を有し、前記処理手段は、
    デコードされた画像ブロックについて、又はデコードされた画像ブロックの群について、隣接するライン間の垂直方向における画素データの差から少なくとも１つの差分値を決定するための決定器と、
    前記差分値を閾値と比較するための比較器と、
    前記差分値が前記閾値を満足する場合、前記デコードされた画像ブロック又は画像ブロックの群を垂直方向にローパスフィルタリングするための手段と、
    を有するコンピュータプログラム。
22. コンピュータ上で動作するときに、請求項１７乃至１９のいずれか一項に記載の方法のために、圧縮されたデータストリームを処理するための命令を有する、コンピュータ装置によりロードされるコンピュータプログラムであって、前記コンピュータ装置は処理手段を有し、前記処理手段は、エンコーダがフレーム又はフィールドエンコードを実行した可能性のあるフレームピクチャ中のブロック又はマクロブロックが示唆される、エンコードされた画像データのエンコードパラメータを解析するための解析器を有する、コンピュータプログラム。
23. 画像データストリームを有する信号であって、ブロック又はブロックの群について、誤ったフレーム又はフィールドエンコードの可能性を示唆するインジケータを有する信号。
24. 画像データストリームのための信号であって、ブロック又はブロックの群について、誤ったフレーム又はフィールドエンコードの可能性を示唆するインジケータを有する信号。

Images