JP2005524353A - 小さいレートのアプリケーションのためにデジタル画像を処理する方法 - Google Patents

Abstract

本発明は、画素ブロック符合化技術に従って符合化及び復号化されたデジタル画像を処理する方法であって、画素のブロック毎に動きベクトルを及び画像毎に量子化ステップを与えるために適する、方法に関する。該方法は、量子化ステップが所定の閾値より大きい場合、前記復号化画像を選択する段階と、二次グリッドを有する画素ブロックを検知する段階とを有する。前記検知段階は、復号化画像の一様なブロックを検知する副段階と、非ゼロ動きベクトルの且つ所定の振幅の閾値より小さい振幅を有する一様なブロックを選択する副段階と、動きベクトルの関数として選択された一様なブロック内に二次グリッドを定位化する副段階とを有する。そのような方法は、ブロック効果を補正し又は前記復号化画像の品質を評価する方法の性能が改善される優位性を有する。更に、前記方法は、複雑性が小さく、可搬型マルチメディア装置においてリアルタイムにその方法を用いることが可能であるようにレンダリングする。

Description

本発明は、画素ブロック符合化技術に従って符合化及び復号化されるデジタル画像を処理する方法であって、前記技術は、画素のブロック毎の動きベクトルと画素毎の量子化ステップを提供するために適切である、方法に関する。

本発明は又、そのような方法を使用する後処理装置に関する。

本発明は又、そのような後処理装置を使用する映像符号化器及び映像復号化器に関する。

本発明は更に、そのような映像復号化器から構成される可搬型装置に関する。

本発明は又、そのような方法を用いるコンピュータプログラムに関する。

最終的に、本発明は、そのようなプログラムをデンタルするように意図された信号に関する。

本発明は、特に、ＭＰＥＧ−４又はＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ）のような符合化技術に従って小さいレートで符合化及び復号化されるデジタル画像の処理におけるそのアプリケーションを見出す。

高まるデジタルデータを送信し且つ記憶する必要性のために、圧縮技術であって、換言すれば、デジタル画像シーケンスを符合化する技術は、広く行き渡るようになった。ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）規格又はＩＴＵ−Ｖ ＶＣＥＧにより規定されるような画像シーケンスを圧縮する最も便利な技術は、ブロックマッチングアルゴリズム及び、例えば、離散コサイン変換即ちＤＣＴ等のブロック変換に基づく動き補償を使用する。画像のシーケンスは画像の群に分割され、そのような群は、前の又は後のフレームに関して異なる方法で符合化された幾つかの予測フレームに続いて、独立して符合化される、イントラフレーム即ちＩフレームを有する。ブロック変換は、大きな圧縮レートを提供する優位性を有する。対照的に、次の量子化ステップは復号化デジタル画像においてブロック効果を生じ、符合化デジタル画像の品質の劣化に繋がる。実際には、量子化は、符合化レートが小さくなるにつれて、粗くなる。従って、量子化ステップによる劣化は、符合化レートが大きいときの感知できないレベルから、符合化レートが小さいときの好ましくないレベルまでの範囲を取り得る。

この問題を解決するために、前記復号化デジタル画像を後処理する多くの技術が、前記のブロック効果を補正するために開発されてきた。デジタル画像を符合化するために使用される８ｘ８の画素のブロックはこの画像においてグリッドを形成し、そのグリッドは一次グリッドと呼ばれる。ブロック効果はこのグリッドにおいて現れる。大部分のブロックを補正するための技術は、符合化画像における前記グリッドの位置は既知であり、画像シーケンスを通して固定されたままであるという仮定を用いる。

残念なことに、この仮定は常に正しいとは限らない。Ｄ／Ａ及びＡ／Ｄ変換（例えば、テレビジョンにおける又は符合化画像のシーケンスの送信に対して）の理由で、及び、デジタル画像シーケンスのための有効な前処理アルゴリズムの使用に続いて、オリジナル画像は、幾つかの画素だけシフトされるようになり、一次グリッドのサイズは修正されることとなる。ここで、復号化器は、この主題に関するいずれの情報を有していない。そのような現象の１つの結果は、ブロック補正技術の効果は、直接、影響を受けることである。

そのような問題を解決するために、復号化されたデジタル画像の一次グリッドを検出するための技術であって、例えば、８ｘ８、１０〜１１ｘ８及び１２ｘ８の画素のブロックに基づく３つの標準的グリッドサイズを検知する方法が開発されてきており、国際公開第０１／２０９１２号パンフレットに記載されている。

本発明の目的は、ブロック符合化技術に従って、符合化され、続いて小さいレートで復号化されたデジタル画像における二次グリッドの存在を検知するための解決方法を提供することである。その解決方法は、前記グリッドの定位を提供する一方、低い複雑性を保つ。

実際には、符合化され、次に小さいレートで復号化されたデジタル画像における一次グリッドに加えて二次グリッドが現れることは稀ではない。この二次グリッドは画素のブロック毎の動き補償によっており、一次グリッドの境界の外側のブロック効果の生成の影響を受け易く、そのブロック効果は粗過ぎる量子化によっては補正されない。

二次グリッドによるブロック効果は、一般に、前記グリッドの存在を無視する従来の後処理技術において検討される。

そのような問題を解決するために、冒頭の段落において述べたような方法は、次のような段階を有することを特徴とする。
− 量子化ステップが所定の閾値より大きい場合、前記復号化画像を選択する段階
− 二次グリッドを有するが素のブロックを検出する段階であって、
− 前記ブロックが所定の強度閾値より小さい画素強度変化を有する場合、選択された符合化画像の一様なブロックを検知する副段階、
− 関連動きベクトルが非ゼロであり、所定の振幅閾値より小さい振幅を有する一様なブロックを選択する副段階、及び
− 関連動きベクトルの関数として選択された一様なブロック内に二次グリッドを定位化する副段階、
を有する段階。

本発明に従った方法は、符合化され、小さいレートで復号化されるデジタル画像に関する。以下で説明するように、その小さいレートは、二次グリッドの現象が最も表れ易い小さいレートである。

この方法の第１の有利点は、復号化画像における二次グリッドの定位を提供する一方、前記画像の品質を評価する技術又はブロック効果補正技術を用いる前の前処理のために役立ち、そのような小さいレートの技術の効果を著しく改善する可能性を提供することである。実際には、二次グリッドの定位を認識することは、例えば、フィルタを使用するフィルタリング段階を有し、前記二次グリッドによるブロック効果に前記フィルタを集中させるブロック補正技術を可能にする。ブロック効果を係数する段階を有する、品質を評価する技術の場合、二次グリッドの定位はより正確な係数、それ故、復号化画像の品質のよりよい評価を可能にする。

この方法の第２の有利点は、複雑性が小さいことである。実際には、選択する段階は、量子化ステップが所定の閾値より小さい画像の削除を可能にし、即ち、復号化され且つ十分粗い方式で復号化された画像のみが保存される。この方法は、画素ブロックを検知する段階が関与する限り、所定の振幅閾値より小さい振幅を有し、動きベクトルが非ゼロであり、一様であるブロックのみが最終的に存在するように、幾つかの候補のブロックを削除する。この複雑性が小さいことは、リアルタイムに本発明に従った方法を実行することを可能であるようにレンダリングし、それ故、携帯デジタル情報端末又は携帯電話のような可搬型装置に一体化される復号化器内でこの方法を使用することを可能にする。

本発明は又、そのような方法を使用する装置に関する。

本発明の以上の及び他の特徴については、以下で説明する実施形態を参照する非制限的例により明らかにすることで理解されるであろう。

本発明は、ブロック符合化技術に従って、符合化及び復号化される画像の群に属すデジタル画像を処理する方法に関する。本発明は、画素ブロック毎の動きベクトルと画像毎の量子化ステップとを与えるために適切ないずれの符合化技術に適用することができる。用いられる技術は、例えば、ＭＰＥＧ−４又はＪＶＴ（Ｈ．２６ＬがＪＶＴになっており、ＩＳＯ／ＩＥＣ ＭＰＥＧ及びＩＴＵ−Ｔ ＶＣＥＧ標準化委員会による統一された標準化の作業の対象である）である。

図１は、デジタル画像のシーケンスＩＳを処理する完全なチェーンを示している。該チェーンは、タイプＭＰＥＧ−４又はＨ．２６Ｌのブロック符合化方法に従って符合化された画像のシーケンスＥＳを提供する復号化器ＥＮＣを有する。前記シーケンスＥＳは、受信された符合化画像のシーケンスＲＳの形式で送信チャネルＣにより復号化器ＤＥＣに送信される。前記の受信されたシーケンスＲＳは、本発明に従った処理装置ＳＥＣ．ＧＲＩＤに復号化デジタル画像のシーケンスＤＳを供給する復号化器ＤＥＣにより処理される。
前記装置は、シーケンスＤＳの列挙された復号化デジタル画像ｎにおける二次グリッドの有効な存在を検知すること、及び、例えば、視認度の範囲Ｖ_ｋ及びその画像ｎにおける二次グリッドの定位カードＬｏｃの形式での定位を提供することが意図されている。そのような装置は、例えば、存在するブロック効果の数の関数として、前記復号化画像の品質の範囲を提供することが意図された品質評価装置ＱＵＡＬＩＴにおいて、又は、例えば、前記復号化シーケンスＤＳにおいて存在するブロック効果を補正することが意図されたフィルタリングユニットＦＩＬＴを有する後処理装置ＰＰにおいて一体化されることが可能であり、前記数はブロック効果計数器ＣＯＵＮＴにより評価される。前記後処理装置ＰＰは、前記定位カードＬｏｃを有利に使用する方法に従って、後処理された復号化画像のシーケンスＰＰＤＳを最終的に提供する。品質評価装置ＱＵＡＬＩＴの場合、画像に存在するブロック効果の数に基づいて、品質の範囲は提供される。

図１は、単に例を示していることに留意する必要がある。例えば、本発明に従った処理装置ＳＥＣ．ＧＲＩＤを有する後処理装置ＰＰは、符号化器ＥＮＣ内の符合化ループにおいて一体化されることが想定される。そのような装置の目的は、特に、復号化器に最良の有効な品質の復号化映像データストリームを送信することである。

タイプＭＰＥＧ−４又はＪＶＴの符合化スキームにおいて、デジタル入力画像のシーケンスは、図２に示すような画像の群ＩＧに分割される。そのような画像の群は、イントラフレーム即ちＩフレーム、即ち、隣接する前のフレーム及び場合によっては次のフレームに関して差分方法において符合化される、独立した方式で符合化されるフレーム、続いて予測フレームＰ及び場合によっては双方向フレームＢ、を連続的に有する。無用に説明を複雑化しないように、画像の群ＩＧは、単に、タイプＩＰＰＰＰＰ．．．であるものと、即ち双方向フレームを含まないものとみなされることとする。

図３は、動き補償とブロック周波数変換とを使用して、デジタル画像のシーケンスを符合化する方法の主な段階を示している。例えば、イントラフレームＩに続く第１フレームＰを検討することとする。ブロックマッチングアルゴリズムを使用する動き推定段階ＭＥは、予測フレームＰとイントラフレームＩとから動きベクトルのフィールドＭＶＦを提供する。そのようなフィールドは、フレームＰにおける画素のブロック毎の動きベクトルＭＶを有する。符号化器ＥＮＣ内の復号化器ＩＤＥＣにより供給されたイントラフレームＩの復号化バージョンＤＩは、続いて、動きベクトルＭＶのフィールドに基づいて動き補償段階ＭＣにおいて“補償”され、即ち、復号化画像ＤＩの画素ブロックは、予測フレームＰの特定の最小化基準に従ってできるだけ補償される画像ＭＣＩを得るように、前記動きベクトルの関数として移動される。続いて、フレームと補償された復号化イントラフレームＭＣＩとの間の差分又はエラーＥは、又エラー画像と呼ばれ、ブロック周波数変換であって、一般に、変換されたエラー画像ＴＥを供給する離散コサイン変換即ちＤＣＴにより符合化される。許容できる補償レートを確実にするために、前記変換エラー画像は、符合化レートが小さくなるにつれ、粗くなる量子化ステップにより量子化段階ＱＵＡＮＴにおいて量子化される。

それ故、その量子化段階は、符合化エラーが生じる前記量子化段階のレベルにある。

その量子化段階は、復号化の時点で特定の画像のシーケンスの画素ブロックにおける二次グリッドの最終的アピアランスの起点にあるこの量子化段階である。実際には、図４に示すように、ブロックをマッチングする技術は、前記フレームＩの４つのブロックを重ね合わせるフレームＩのブロックＢ´、フレームＰのブロックＢを選択することが可能である。小さいレートにおいては、実際には、量子化エラー画像ＱＴＥは、ブロックＢの補償に対して補正を提供しないことが非常に見込まれる。図５は、小さいレートにおいて、量子化エラー画像ＴＥにおいて存在する二次ブロック効果が、２つの連続的段階ＱとＱ＋１との間の距離より小さいコントラストＣ_ｔ又は強度変化を一般に有することを表す二次グリッドプロファイルの強度曲線を示している。このような条件下で、イントラフレームＩのブロックＢ´が、復号化の間に、境界においてブロック効果を有するため、そのようなブロック効果は、オフセットの方式で続く予測フレームＰにおいて伝搬し、それ故、二次グリッドが現れるようにする。オフセットは、フレームＩのブロックＢ´がフレームＰにおけるブロックＢと同じ位置に移動することを可能にした動きベクトルに対応することに留意する必要がある。

次いで、その現象は、続くフレームに容易に伝搬することが可能である。それにも拘らず、その現象は、動き補償と連続的なエラー画像に対する符合化操作のために、次第に減衰する。

この二次グリッド現象は、特に、画像の一様な領域において生じることに又、留意する必要がある。実際には、ブロックＢが一様な領域に存在する場合であって、ブロックマッチング技術が一様な領域に関連しない場合に、その二次グリッド現象は又、ブロックＢ´に対して事実である。それらの差分が量子化ステップより小さい強度を有する確率は、それ故、例えば、対象の境界を有する２つのテクスチャードブロック間の差分が関係している場合に、非常に大きい。

それ故、復号化デジタル画像の画素ブロックにおける前記二次グリッドを検知することが本発明に従った方法の目的である。そのような方法は、図６に示している３つの段階を有する。第１段階及び第３段階は、全体として復号化デジタル画像ＤＩに適用され、第２段階は前記画像のブロックに適用される。

このことは大多数の規格において事実であるため、以下においては、ブロックをＢ_８ｘ８と表される８ｘ８画素を有すると仮定する。しかしながら、本発明は、この特定の場合に限定されないことは明らかである。

第１段階は、量子化ステップが所定の閾値より大きい場合、前記画像を選択することが意図された、量子化ステップＱの関数として前記復号化デジタル画像を選択する段階ＳＥＬＥＣＴである。本発明の好適な実施形態において、前記閾値は、例えば、ＭＰＥＧ−４規格に対して、１乃至３１の間の値のスケールにおける２５に固定され、即ち、量子化ステップＱが２５より大きい復号化画像ＤＩのみが選択される。

上記の基準を満足する選択された復号化画像ＳＤＩを検討することとする。次の段階は、二次グリッドを有する前記選択された復号化画像のブロックＢ_８ｘ８を検知することが意図された、画素ブロックを検知する段階ＤＥＴＥＣＴである。

好適な実施形態において、選択された画像ＳＤＩの画素８ｘ８全てはこの段階の対象とされるが、これは必須ではない。例えば、選択された復号化画像ＳＤＩの中央に位置付けられたブロックは、人間の眼に対して非常に重要であり、そのようなブロックの処理に限定される処理操作を選択することが可能であると判断することが可能である。

前記の検知する段階ＤＥＴＥＣＴは又、図６に示す、３つの副段階を有する。第１の副段階は、前記復号化画像のブロックを検知する副段階ＵＮＩであり、その副段階において、前記ブロックが所定の強度閾値より小さい強度変化を有する場合、ブロックが一様なブロックであると判定する。強度係数ａ_ｐ，ｑを有する選択された画像ＳＤＩの８ｘ８画素Ｂ_８ｘ８のブロックであって、その強度係数ａ_ｐ，ｑにおいて、（ｐ，ｑ）は０乃至７の間の整数である、ブロックを検討することとする。前記検知する副段階ＵＮＩは、図７に示すように、ブロックＢ_８ｘ８の副ブロックＳＢ_８ｘ８を考慮し、８ｘ８画素のブロックＢ_８ｘ８の６ｘ６の中央の画素を有する。副ブロックＳＢ_８ｘ８が次の条件を満足する場合、ブロックＢ_８ｘ８は一様なブロックであると断言できる。

｜ｍ１−ｍ２｜＜Ｓ
ここで、

この式において、Ｓは好適な強度閾値であり、ｍ_１は副ブロックＳＢ_８ｘ８の係数ａ_ｐ，ｑの最大値であり、そしてｍ_２は副ブロックＳＢ_８ｘ８の係数ａ_ｐ，ｑの最小値である。

本発明の好適な実施形態において、Ｓは、人間の視覚システムの既知の特性に照らして３に等しく選択される。二次グリッドの現象は、実際には、ブロックＢ_８ｘ８が上記の条件に対応するとき、換言すれば、考慮される領域が比較的一様であるとき、人間の眼のみに検知される。この場合、前記検知段階ＵＮＩは、一様なブロックＢ_８ｘ８＿ｕｎｉと呼ばれる、８ｘ８の画素のブロックを提供する。

次の副段階は、動きベクトルが非ゼロであり、次のように与えられる、所定の振幅閾値より小さい振幅を有する場合、一様なブロックを選択することが意図された、一様なブロックを選択する副段階ＭＶ＿ＳＥＬＥＣＴである。

ここで、Ｖｘ及びＶｙは、ブロックＢ_８ｘ８＿ｕｎｉに関連する動きベクトルＭＶの水平成分及び垂直成分である。

従って、ブロックＢ_８ｘ８＿ｕｎｉは、その動きベクトルが非ゼロであり、小さい振幅を有する場合、選択される。振幅の閾値Ｓａ、２０が好適な実施形態において選択される。この場合、ブロックＢ_８ｘ８＿ｕｎｉは、動きベクトルＭＶが次のリストの一部を構成する場合、選択される。即ち、そのリストは、（０，１）、（０，２）、（０，３）、（０，４）、（１，１）、（１，２）、（１，３）、（１，４）、（２，２）、（２，３）、（２，４）、（３，３）であって、それらに対して、同じ規格の負の値との組み合わせ全てを加えることが望ましい。そのような選択ブロックは、以下、Ｂ_８ｘ８＿ｕｎｉ＿ｌｍｖと呼ぶこととする。

この段階において、二次グリッドの存在によるブロック効果を有する選択された復号化画像ＳＤＩの８ｘ８画素のブロックを識別した。

本発明に従った方法の次の段階は、選択された一様なブロックＢ_８ｘ８＿ｕｎｉ＿ｌｍｖ内に二次グリッドを定位化する副段階ＬＯＣと呼ばれ、動きベクトルＭＶの関数として前記ブロック内に前記二次グリッドを定位化することを特徴とする。図８において、復号化デジタル画像ＤＩの画素（０，０）に中心を置く基準フレームと、この基準フレームにおける座標（ｉ_０，ｊ_０）により左上の第１画素がマーキングされたブロックＢ_８ｘ８＿ｕｎｉ＿ｌｍｖとを検討することとする。動きベクトルＭＶの成分（ｖ_ｘ，ｖ_ｙ）を認識する場合、ブロックＢ_８ｘ８＿ｕｎｉ＿ｌｍｖにおける二次グリッドの存在によるブロック効果は画素（ｉ_０＋Ｖ_ｘ，ｊ_０＋ｑ）の列において存在し、ここで、ｑは０乃至７の間にあり、そして、画素（ｐ＋ｉ_０，ｊ_０＋ｖ_ｙ）の行において存在し、ここで、ｐは０乃至７の間にある。

本発明の好適に実施形態において、二次グリッドにおいて存在する予測フレームＰの画素の位置は、定位カードＬｏｃ、即ちＬｏｃ（ｉ_０＋Ｖ_ｘ，ｊ_０＋ｑ）＝１において“強調され”、ここで、ｑは０乃至７の間にあり、そして、Ｌｏｃ（ｐ＋ｉ_０，ｊ_０＋ｖ_ｙ）において強調され、ここで、ｐは０乃至７の間にある。他の定位化の副段階Ｌｏｃの結果を表す方法を又、勿論、考えることが可能であるが、このモードは簡便である有利点を有している。

次の段階において、選択された復号化画像ＳＤＩは全体として考慮される。それは、視認度測定Ｖを評価する段階ＶＩＳに関連し、前記選択された復号化画像ＳＤＩにおける二次グリッドの視認度を評価することを特徴とする。

そのような評価は種々の方法で実施されることが可能である。そのような評価は、特に、Ｌｏｃ（ｉ，ｊ）＝１のようなブロックＢ_８ｘ８＿ｕｎｉ＿ｌｍｖに属す画素（ｉ，ｊ）の隣接画素における強度又はコントラスト変化の局部測定に基づくことが可能である。この場合、前の副段階から前記段階ＥＶＡＬに定位カードＬｏｃを提供することが必要である。

しかしながら、このコントラストの範囲が小さく、一のブロックＢ_８ｘ８＿ｕｎｉ＿ｌｍｖから他のブロックへの変化が殆どなく、それ故、画像ＳＤＩの領域における二次グリッドの視認度を殆ど表さないことを予測できるように、そのような８ｘ８の選択された画素Ｂ_８ｘ８＿ｕｎｉ＿ｌｍｖのブロックが比較的一様なテクスチャを有する、ことを思い出す必要がある。

二次グリッドの視認度を評価するための人間の視認システムについての一般認識に頼ることが又考えられる。例えば、コントラスト変化は、明瞭な一様な領域、又は、それと対象的に、非常に暗い一様な領域におけるより、平均強度の一様なテクスチャ領域において
はるかに視認可能であることが示されている。そのような考慮は、ブロックＢ_８ｘ８＿ｕｎｉ＿ｌｍｖにおける二次グリッドの視認度測定のスケールを標準化するために用いられることが可能である。

本発明の好適な実施形態において、前記の視認度の評価は、画像の群ＩＧにおける予測フレームＰの位置に関係している。その視認度の評価は、コントラストを考慮せず、人間の視覚システムについての知識も考慮しない。他方、その視認度の評価は、画像の群ＩＧにおける画像ＳＤＩの位置Ｐｏｓ（ＳＤＩ）に依存する。

図９に示すような、経験的研究に従って、二次グリッドの現象により最も影響を受ける画像の群ＩＧの画像がイントラフレームＩに続く第１予測フレームであることが判明する。この画像においては、二次グリッドは最も視認できる。続く画像は又、その現象を減衰する様式で認識する。視認度レベルは、図８に示すように、画像の群ＩＧのブロック効果において生成されるコントラストの範囲から推定されることが可能である。本発明の好適な実施形態において、０乃至３のｋを有する４つのレベルＶ_ｋが保たれた。この測定は、例えば、２ビットにおいて符号化され、第１イントラフレームに続く少なくとも９つの予測フレームＰを有する画像の群について次のような値を有する。
− Ｌｏｃ（ｉ，ｊ）＝１であるように、画像の群ＩＧの３つの第１予測フレームＰの１つに属す画素（ｉ，ｊ）に対しては、Ｖ３＝１１
− Ｌｏｃ（ｉ，ｊ）＝１であるように、画像の群ＩＧの第４、第５又は第６の予測フレームＰの１つに属す画素（ｉ，ｊ）に対しては、Ｖ２＝１０
− Ｌｏｃ（ｉ，ｊ）＝１であるように、画像の群ＩＧの第７、第８又は第９の予測フレームＰの１つに属す画素（ｉ，ｊ）に対しては、Ｖ１＝０１
− Ｌｏｃ（ｉ，ｊ）＝１である定位カードにおいて照射されない画素（ｉ，ｊ）に対して又は続く画像又は第１０の画像に属す画素（ｉ，ｊ）に対しては、Ｖ０＝００
好適な実施形態において、視認度測定は、復号化画像における二次グリッドの定位カードの画素の値を重み付けするために利用される。二次グリッドの重み付けされた定位カードＰｌｏｃが提供される。換言すれば、（ｉ，ｊ）が二次グリッド上にあるように、視認度Ｖ_ｋを有する画像ＳＤＩのブロックＢ_８ｘ８＿ｕｎｉ＿ｌｍｖの画素（ｉ，ｊ）に対して、Ｌｏｃ（ｉ，ｊ）はＶ_ｋに等しい。この場合、１つの重み付けされた定位カードＰＬｏｃは、二次グリッドに関する利用可能な情報全てを有する。

本発明の好適な実施形態において使用されるようなこの評価段階ＶＩＳの有利点は、その簡単さにある。本発明に従った二次グリッドを検知する方法の目的は、あまり複雑でなく、可搬型映像復号化器に適応させることができるように即座に実行することができることであることを思い出す必要がある。

定位カードＬｏｃと結合された、得られた視認度Ｖ_ｋ測定は、例えば、補正可能な後処理操作を目的として本発明に従った方法の主な目的と一致し、即ち、二次グリッドの存在が人間の眼に視認でき、妨害する、復号化画像の領域を定位化する。

例えば、一次フィルタリング段階を有する、ブロック効果を後処理する方法の場合を検討することとする。該段階においては、少なくとも１つのフィルタを使用する。上記のように、そのような方法は、一般に、次のような前提から開始する。
− 一次グリッドの定位は既知である。
− ブロック効果は一次グリッドにおいて存在する。

前記フィルタは、それ故、画素の２つのブロック間の境界に適用される。二次グリッドの定位が既知の場合、そのようなブロック効果を補正する方法は、少なくとも１つのフィルタを有する第２フィルタリング段階と呼ばれる第２フィルタリング段階と統合することが可能である。図１０に示すように、一次ブロック効果ＰＧ及び二次ブロック効果ＳＧを有する、画素の所定のブロックの対（Ｂ，Ｂ´）に対して、フィルタＦ_２を使用する二次フィルタリング操作は、例えば、フィルタＦ_１を使用する一次フィルタリング段階に先行する。前記フィルタＦ_１はブロックＢ及びＢ´の間の境界に中心が置かれる一方、前記フィルタＦ_２は、本発明に従った方法により提供される二次グリッドの定位カードＬｏｃによりマーキングされたブロックの画素の列又は行に中心が置かれる。二次グリッドの重み付けされた定位カードが利用可能である場合、前記方法はブロック効果の視認度の範囲に対してフィルタリング操作を適応させることさえ可能である。それ故、最も視認可能なブロック効果に対してよりスムーズなフィルタを用いることが問題である。

ここで、前記画像におけるブロック効果の数を計数する段階を有する、復号化画像の品質を測定する方法について検討することとする。そのような方法は、一般に、上記の後処理方法と同じ前提であって、即ち、一次グリッドの定位が既知であり、ブロック効果が一次グリッドにおいて存在する、前提から開始する。前記計数する段階は、例えば、ブロックに存在するグリッドセグメント毎のブロック効果、又は、グリッドに位置している画素の数を計数する。二次グリッドの定位が既知の場合、そのような品詞杖お測定する方法は、それ故、一次グリッドによるブロック効果の数に二次グリッドによるブロック効果を加えることが可能である。得られた品質の範囲は、それ故、更に現実的となる。二次グリッドの重み付けされた定位カードが利用可能である場合、そのような方法は、関連する視認度の関数として、計数されたブロック効果の数を用いてブロック高価の寄与を重み付けすることにより、その品質の範囲を有利に改善することさえ可能である。

図１１は、復号化デジタル画像ＤＳを提供するために適し、本発明に従った処理装置を有する映像復号化器ＤＥＣの動作を示し手いる。そのような映像復号化器は次のような構成要素を有する。
− 受信された符合化画像ＲＩの可変長復号化ＶＬＤのための手段であって、量子化データＱＤを提供するために適する、手段
− 量子化データＱＤの逆量子化ＩＱのための手段であって、変換データＴＤを供給するために適する、手段
− 逆変換データＩＴＤへの変換データＴＤの逆離散コサイン変換ＩＤＣＴのための手段
− 画像メモリＭＥＭを使用して画像を再構築するための手段ＲＥＣであって、逆変換データＩＴＤと前に復号化された画像ＰＤＩに基づいて、復号化画像ＤＩを供給するために適する、手段ＲＥＣ
− 二次グリッドの定位カードと復号化画像ＤＩから後処理された復号化画像ＰＰＤＩとを提供するために適する後処理装置ＰＰであって、前記定位カードは本発明に従った処理方法を用いる処理装置ＳＥＣ＿ＧＲＩＤにより提供される、後処理装置ＰＰ
前記後処理された復号化画像ＰＰＤＩは、続いて、スクリーンにおいて前記後処理された復号化画像を表示するために適する表示装置ＤＩＳＰに供給される。

図１２は、デジタル画像のシーケンスＩＳを受信するために適切であり、符号化器ループにおいて、本発明に従った処理装置ＳＥＣ＿ＧＲＩＤにより提供される視認度測定と定位カードＬｏｃとに基づいて、前記後処理された前の復号化画像ＰＰＤＩを供給するために適する後処理装置ＰＰにより後継される、前の復号化画像ＤＩを供給するために適する内部復号化装置ＩＤＥＣを有する、映像復号化器ＥＮＣの動作を示している。映像符合化器ＥＮＣは、次のような構成要素を有する。
− 例えば、離散コサイン変換を用いて、変換データＴＤへの、入力画像のシーケンスＩＳの画像Ｉからの、前の動き補償画像ＭＣＩの減算の後に得られるエラー画像Ｅの離散コサイン変換ＤＣＴのための手段
− 変換データＴＤを量子化するための手段ＱＵＡＮＴであって、量子化データＱＤを供給するために適する、手段ＱＵＡＮＴ
− 量子化データの可変長符合化ＶＣＬのための手段であって、符合化画像ＥＩを供給するために適する、手段
映像符合化器ＥＮＣは又、次の構成要素を備える、内部復号化ユニットＩＤＥＣを有する。
− 量子化データＱＤの逆量子化ＩＱＡＮＴのための手段であって、変換データＴＤを供給するために適する、手段
− 逆変換データへの変換データの逆離散コサイン変換のための手段
− 装置ＩＤＣＴ及び動き補償装置ＭＣからのデータの加算器ＡＤＤであって、再構築された前の画像ＲＰＩを供給するために適する、加算器ＡＤＤ
− 本発明に従った処理器ＳＥＣ＿ＧＲＩＤ及びフィルタリングユニットＦＩＬＴを有し、後処理された復号化処理画像ＰＰＤＩを供給するために適する、後処理装置ＰＰであって、前記処理装置は、前記フィルタリングユニットＦＩＬＴに前記グリッドの視認度測定と二次グリッドの定位カードＬｏｃとを提供するように、加算器ＡＤＤの出力から再構築された前の画像ＲＰＩを処理するために適する、後処理装置ＰＰ
− 動き補償装置ＭＣにより使用される画像であって、例えば、動き推定装置ＭＥからの動きベクトルＭＶ及び前の復号化画像ＰＤＩを記憶するために適する画像メモリＭＥＭ
− デジタル入力画像Ｉの動き補償装置ＭＣからデータを減算するために適する減算器ＳＵＢであって、この減算器ＳＵＢの結果は離散コサイン変換装置ＤＣＴに供給される、減算器ＳＵＢ
本発明に従った処理装置ＳＥＣ＿ＧＲＩＤは、それ故、後処理装置ＰＰの性能、従って、映像符号化器ＥＮＣ又は復号化器ＤＥＣの性能を改善することが可能である。
本発明は、例として説明した実施形態に限定されるもので絵はない。本発明の範囲から位置脱することなく、修正又は改善を施すことが可能である。本発明は、ＭＰＥＧ−４又はＨ．２６Ｌ符合化技術に従って符合化され、続いて小さいレートで復号化された画像における二次グリッドの検知に限定されない。本発明は又、動き補償及びブロックを用いるいずれの技術により復号化された画像に適用することができる。

図１乃至１２を参照した上記説明は、本発明の制限を示すものではない。同時提出の特許請求の範囲の範囲から逸脱することなく、他の代替が存在することは明らかである。

ソフトウェアにより上記の機能を実施する多くの方法が存在する。この点で、図１乃至１２は非常に図解的であり、各々の図は単なる例示である。図は、個々のブロックの形で異なる機能を示しているが、それはソフトウェアの単一のアイテムが幾つかの機能を実行することを排除するものではない。それは又、機能がソフトウェアアセンブリにより実行されることができることを排除するものではない。

携帯デジタル端末又は携帯電話のような可搬型マルチメディア装置に統合されるデジタル復号化回路により上記の機能を実行することが可能である。そのような回路は便利にプログラムされる。プログラミングメモリの命令の集合は、図１乃至１２を参照して、上で説明した種々の操作を回路が実行するようにすることが可能である。命令の集合は又、例えば、ＣＤ−ＲＯＭのようなデータ担体を読み出すことによりプログラミングメモリにロードされることが可能である。読み出しは又、インターネットのような通信ネットワークにより有効にすることが可能である。この場合、サービスプロバイダは、対象の命令を自由に置くことができる。

表現“を有する”及びその活用表現は、請求項に記載されている構成要素又は段階以外の構成要素又は段階の存在を排除するものではない。構成要素の表現に伴う単数を表す表現は、そのような構成要素の複数の存在を排除するものではない。

復号化器が本発明に従った処理装置を有する、デジタル画像の符合化、送信及び復号化シーケンスのブロック図である。 ＭＰＥＧ−４又はＪＶＴのような符合化技術により用いられる画像の群を示す図である。 ＭＰＥＧ−４又はＪＶＴのような符合化技術に従った符合化器のブロック図である。 ＭＰＥＧ−４又はＪＶＴのような符合化技術に従った動き補償の例を示す図である。 ２つの連続量子化ステップ間の距離より小さいコントラストを有する二次グリッドによるブロック効果の場合を示す図である。 本発明に従った処理方法を示すブロック図である。 本発明に従った分類段階において用いられるブロック内の副ブロックを示す図である。 本発明に従った二次グリッドを定位化する段階を示す図である。 画像の群における位置の関数として復号化画像における二次グリッドの視認度曲線を示す図である。 一次ブロック効果と二次ブロック効果を有するブロックの対をフィルタリングする補正方法を示す図である。 本発明に従った処理像地を有する映像復号化器のブロック図である。 本発明に従った処理装置を有する映像符号化器のブロック図である。

Claims (11)

1. 画素ブロック符合化技術に従って符合化及び復号化されるデジタル画像を処理する方法であって、前記技術は画像毎の量子化ステップと画素のブロック毎の動きベクトルとを供給するために適切である、方法であり：
   その量子化ステップが所定の閾値より大きい場合、前記復号化画像を選択する段階；並びに
   二次グリッドを有する画素のブロックを検知する段階であって、前記ブロックが所定の強度閾値より小さい画素強度変動を有する場合、前記の選択された復号化画像の一様なブロックを検知する副段階と、関連動きベクトルが非ゼロであり且つ所定の振幅閾値より小さい閾値を有する場合、一様なブロックを選択する副段階と、前記関連動きベクトルの関数として選択された一様なブロックにおける二次グリッドを定位化する副段階とを有する、段階；
   を有することを特徴とする復号化デジタル画像を処理する方法。
2. 請求項１に記載の復号化デジタル画像を処理する方法であって、前記復号化デジタル画像の二次グリッドの定位カードを提供することが意図されている、ことを特徴とする復号化デジタル画像を処理する方法。
3. 請求項１に記載の復号化デジタル画像を処理する方法であって、前記画像は画像の群に属す、方法であり：
   前記の画像の群における前記画像の位置の関数として前記の選択された復号化画像における二次グリッドの視認度測定を評価する段階；
   を有する、ことを特徴とする復号化デジタル画像を処理する方法。
4. 請求項２又は３に記載の復号化デジタル画像を処理する方法であって、前記視認度測定は、前記の選択された復号化画像における前記二次グリッドの前記定位カードの画素値を重み付けすることが意図されている、ことを特徴とする復号化デジタル画像を処理する方法。
5. 復号化デジタル画像を後処理するための装置であって：
   フィルタリングユニット；
   を有し、
   前記画像における二次グリッドの定位を提供する、請求項１乃至４のいずれ一項に記載の処理方法を使用して、前記画像を処理するための装置を有し、前記フィルタリングユニットは処理された復号化デジタル画像を提供するように前記定位を考慮するために適する；
   ことを特徴とする復号化デジタル画像を後処理するための装置。
6. 復号化デジタル画像の品質を測定するための装置であって；
   ブロック効果計数器；
   を有し、
   前記画像における二次グリッド検知を提供する、請求項１乃至４のいずれ一項に記載の処理方法を使用して、前記画像を処理するための装置を有し、前記ブロック効果計数器は前記復号化デジタル画像の品質の範囲を提供するように前記検知を考慮するために適する；
   ことを特徴とする復号化デジタル画像の品質を測定するための装置。
7. 復号化デジタル画像を提供することが意図され且つ請求項５に記載の後処理装置を有する映像復号化器であって、処理された復号化デジタル画像を提供するために適する、ことを特徴とする映像復号化器。
8. デジタル入力画像を復号化することが意図された映像符号化器であって、復号化デジタル画像を提供する内部復号化手段を有し、請求項５に記載の復号化画像を後処理するための装置により後を続けられ、処理された復号化デジタル画像を提供することが意図された、ことを特徴とする映像符号化器。
9. 請求項７に記載の映像復号化器を有する可搬型装置であって、前記装置のスクリーンに処理された復号化デジタル画像を表示するために適する、ことを特徴とする可搬型装置。
10. ブロック符合化技術に従って符合化及び復号化されるデジタル画像を処理するための装置に対するコンピュータプログラムであって、前記処理装置の回路にロードされるとき、前記コンピュータが請求項１乃至４のいずれ一項に記載の方法を実行するようにする命令の集合を有する、ことを特徴とするコンピュータプログラム。
11. 請求項１０に記載のコンピュータプログラムを伝えることが意図された信号。

Images