JP2010512674A - 画像符号化方法及び係る方法を実現する装置 - Google Patents

Abstract

本発明は、オーバラップしないＮ×Ｎ画素のブロックに分割されるオーバラップしないマクロブロックに分割される画像をバイナリストリームに符号化する方法に関する。本方法は、ブロックのそれぞれを、１つの低周波の係数と、低周波よりも高い周波数からなる高周波の係数と呼ばれるＮ^２−１個の係数とを含む変換された係数のブロックに変換し、変換されたブロックのそれぞれの係数を量子化パラメータで量子化し、量子化された係数をバイナリストリームに符号化する。本発明によれば、変換されたブロックの低周波係数は、第一の量子化パラメータと呼ばれる同じ量子化パラメータで量子化される。

Description

本発明は、画像符号化方法に関する。より詳細には、本発明は、係る画像を量子化する方法に関する。また、本発明は、係る方法を実現する符号化装置に関する。

画像を符号化するため、空間的な冗長度を低減することが必要なことがある。このため、典型的な画像符号化方法では、画像はＮ×Ｎ画素のオーバラップしないブロックに分割され、次いで、それぞれのブロックは、変換された係数のブロックに変換される。これらの符号化方法は、画素の相関を低下させ、変換された領域において冗長度をより効率的に低減することができる。この点では、変換のエネルギー圧縮特性が重要である。

一般に使用されている様々な変換のうち、離散コサイン変換（ＤＣＴ）は、その優れたエネルギー圧縮特性のために広く使用されている。変換されたブロックは、増加される空間周波数をもつ係数のセットを表す。変換ブロックの左上の位置における係数（０，０）は、ＤＣ係数として知られており、Ｎ×Ｎブロックの平均値を表す。他の係数（Ｎ^２−１）は、ＡＣ係数として知られ、高周波の詳細を表す。次元Ｎ×Ｎは、異なるアプリケーションに従って１６×１６、８×８又は４×４である。

画像を符号化するために必要とされるビット数を低減するため、典型的な画像符号化方法は、量子化ステップにより変換ブロックの係数を量子化する。量子化は、ある量に関して可能性のある値の数を低減するプロセスであり、これにより、ある量を表すために必要とされるビット数が低減される。量子化ステップの選択は、デコードされた画像の高い品質を保証するために決定的に重要である。

本発明の目的は、画像の量子化に関するソリューションを提供することにある。

上記目的を達成するため、本発明は、Ｎ×Ｎ画素のオーバラップしないブロックに分割されるオーバラップしない複数のマクロブロックに分割される画像をバイナリストリームに符号化する方法に関する。本発明は、以下のステップを含む。ブロックのそれぞれを、１つの低周波の係数と、低周波よりも高い周波数からなる高周波の係数と呼ばれるＮ^２−１個の係数とを有する変換された係数のブロックに変換するステップ。量子化パラメータにより、変換ブロックのそれぞれのそれぞれの係数を量子化するステップ。量子化された係数をバイナリストリームに符号化するステップ。
本発明によれば、変換されたブロックの低周波係数は、第一の量子化パラメータと呼ばれる同じ量子化パラメータで量子化される。これにより、有利なことに、画像全体について連続的且つ基本的な品質を保証することができる。

有利なことに、同じマクロブロックの高周波係数は、第二の量子化パラメータと呼ばれる同じ量子化パラメータで量子化される。
好ましくは、第二の量子化パラメータは、第一の量子化パラメータと増分との合計として計算され、この増分は、マクロブロックについて計算される視覚的な知覚の影響の値（ｖｉｓｕａｌ ｐｅｒｃｅｐｔｕａｌ ｉｎｔｅｒｅｓｔ ｖａｌｕｅ）に基づいて決定される。
本発明の第一の態様によれば、視覚的な知覚の影響の値は、マクロブロックの平均の輝度値に依存する。変形例に拠れば、視覚的な知覚の影響の値は、マクロブロックのそれぞれのブロックの分散に依存する。
別の変形例に拠れば、視覚的な知覚の関心の値は、マクロブロックの色情報に依存する。

本発明は、Ｎ×Ｎ画素のオーバラップしないブロックに分割されるオーバラップしない複数のマクロブロックに分割される画像をバイナリストリームに符号化する装置に関する。本装置は、以下を有する。ブロックのそれぞれを、１つの低周波の係数と、低周波よりも高い周波数からなる高周波の係数と呼ばれるＮ^２−１個の係数とを有する変換された係数のブロックに変換する変換手段。量子化パラメータにより、変換されたブロックのそれぞれのそれぞれの係数を量子化する量子化手段。量子化された係数をバイナリストリームに符号化する符号化手段。
本発明によれば、量子化手段は、変換されたブロックの低周波係数を、第一の量子化パラメータと呼ばれる同じ量子化パラメータで量子化する。
本発明の態様によれば、変換手段は、ＤＣＴ変換ユニットである。

本発明の他の特徴及び利点は、本発明の実施の形態の幾つかに関する以下の記載で明らかとなり、この記載は添付図面と共に行われる。
本発明の第一の実施の形態に係る方法のフローチャートである。 本発明の第一の実施の形態に係る方法の量子化ステップの詳細のフローチャートである。 本発明の第一の実施の形態に係る方法の特徴抽出ステップの詳細のフローチャートである。 画像における領域について、異なるグレイレベルを使用したこれら領域の視覚的な知覚の影響のレベルを示す図である。 本発明の第二の実施の形態に係る方法のフローチャートである。 本発明の第一の実施の形態に係る符号化装置を示す図である。 本発明の第二の実施の形態に係る符号化装置を示す図である。

図１から図３及び図５では、表現されるボックスは、純粋に機能的なエンティティであり、これらは、物理的に分離されたエンティティに必ずしも対応しない。すなわち、これらは、ソフトウェアの形式で開発されるか、又は１以上の集積回路で実現される。これらの図に関して、同様のエレメントは、同じ符号で参照される。

本発明は、画像を符号化する方法に関する。画像は、画素から構成されており、オーバラップしないマクロブロックＭ_Ｉに分割され、これらオーバラップしないマクロブロック自身は、画素のブロックｂ_ｐ，ｑに分割され、ここでＩはマクロブロックのインデックスであり、（ｐ，ｑ）はブロックの座標であり、すなわちブロックｂ_ｐ，ｑは、ブロックのｐ番目の列及びブロックｑ番目のラインに位置される。多くのアプリケーションでは、ブロックｂ_ｐ，ｑは、８×８画素のブロックであり、マクロブロックは、４つのブロックｂ_ｐ，ｑから構成される。しかし、本発明は、このケースに限定されず、如何なるサイズのブロックｂ_ｐ，ｑ及び如何なるサイズのマクロブロックＭＢ_Ｉであっても使用される場合がある。

本方法の第一の実施の形態は、図１、図２及び図３を参照して記載される。本方法は、画像のそれぞれのブロックｂ_ｐ，ｑを係数の変換されたブロックＢ_ｐ，ｑに変換するステップ１０を含む。ブロックｂ_ｐ，ｑがマクロブロックＭ_Ｉに位置される場合、変換されたブロックＢ_ｐ，ｑは、ＭＢで示される対応する変換されたマクロブロックに位置される。それぞれのブロックｂ_ｐ，ｑは、たとえば、以下の式に従って離散コサイン変換（ＤＣＴ）により変換されたブロックＢ_ｐ，ｑに変換される。

この場合、ｕ，ν＝０，１，．．．，Ｎ−１である。ｂ_ｐ，ｑ（ｊ，ｋ）は、ブロックｂ_ｐ，ｑの画素の輝度値（又は色度値）であり、その座標は（ｊ，ｋ）である。Ｂ_ｐ，ｑ（ｕ，ν）は、変換されたブロックＢｐ，ｑの係数の値であり、その座標は（ｕ，ｖ）である。
さらに、Ｑ（ｗ）は以下に示される。

ステップ２０で、それぞれ変換されたブロックＢ_ｐ，ｑのそれぞれの係数Ｂ_ｐ，ｑ（ｕ，ｖ）は、量子化パラメータＱＰ_ｐ，ｑ（ｕ，ｖ）により量子化された係数Ｂ^Ｑ _ｐ，ｑ（ｕ，ｖ）に量子化される。本発明の第一の態様によれば、画像における全てのＤＣ係数は、同じ量子化パラメータＱＰ_ｆで量子化され（２１０）、すなわち、∀（ｐ，ｑ），ＱＰ_ｐ，ｑ（０，０）＝ＱＰ_ｆである。これにより、画像全体に関して連続的且つ基本的な品質を保証することができる。この量子化パラメータＱＰ_ｆは、たとえば、１９９３年４月の“Ｔｅｓｔ Ｍｏｄｅｌ ５”と題されたＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１からの文献Ｎ０４００におけるＭＰＥＧ２について記載される公知のＴＭ５レート制御方法のようなレート制御方法により決定される。

本発明の別の態様によれば、同じマクロブロックＭＢ_Ｉに位置される全てのブロックＢ_ｐ，ｑの全てのＡＣ係数は、ＱＰ_ｆに等しいか又は等しくない場合がある同じ量子化パラメータＱＰ_ｌで量子化される（２２０）。独特な特性によれば、全てのこれらＡＣ係数を量子化するために使用される量子化パラメータは、ＱＰ_ｌ＝ＱＰ_ｆ＋ΔＱＰ_ｌに等しく、この場合、ΔＱＰ_ｌは、マクロブロックＭＢの知覚の影響に基づいて決定される。この場合、ＭＢ_Ｉにおける全てのＡＣ係数について、ＱＰ_ｐ，ｑ（ｕ，ｖ）＝ＱＰ_ｌ＝ＱＰ_ｆ＋ΔＱＰ_ｌである。

第一の実施の形態によれば、ΔＱＰ_ｌ＝−Ｗ_ｌ＊ＱＰ_ｓｔｅｐであり、この場合、ＱＰ_ｓｔｅｐはたとえば２に設定される。重みＷ_Ｉは、ステップ３１０、３２０及び３３０のそれぞれでマクロブロックＭ_Ｉから計算された３つの異なる特徴Ｆ_ｌ ^１，Ｆ_ｌ ^２及びＦ_１ ^３を結合する（３４０）。画像におけるそれぞれのマクロブロックに関連される第一の特徴Ｆ_ｌ ^１は、セット｛０，１｝でその値をとる。Ｆ_ｐ，ｑ ^１＝１である場合、マクロブロックＭ_Ｉは、たとえば人間の顔のような皮膚の領域に属し、さもなければ、すなわちＦ_ｌ ^１＝０である場合、ブロックは、皮膚領域に属さない。この特徴を計算するため（３１０）、肌の色合いを検出することが必要とされる。このため、画像における皮膚の領域は、文献“ｆａｃｅ ｓｅｇｍｅｎｔａｔｉｏｎ ｕｓｉｎｇ ｓｋｉｎ ｃｏｌｏｒ ｍａｐ ｉｎ ｖｉｄｅｏｐｈｏｎｅ ａｐｐｌｉｃａｔｉｏｎｓ”ｐｕｂｌｉｓｈｅｄ ｉｎ ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ＣＳＶＴ ｉｎ １９９９と題されたＤ，Ｃａｉ及びＫ．Ｎ．Ｎｇａｎにより提案されるようなカラーセグメンテーションの方法を使用して検出される場合がある。この特徴により、視覚的な品質の観点から人間の目にとって重要である皮膚の領域を更に精細に量子化することができる。

画像におけるそれぞれのマクロブロックＭ_Ｉに関連される第二の特徴Ｆ_ｌ ^２は、セット｛０，１｝でその値をとる。Ｆ_ｌ ^２＝１である場合、マクロブロックＭ_Ｉは、平坦な領域に属し、さもなければ、平坦な領域に属さない。このため、マクロブロックＭ_Ｉに位置されるそれぞれのブロックｂ_ｐ，ｑの分散ｖ_ｋは、以下のようにａｃｔ_ｌを計算するために使用される。

この特徴により、平坦な領域、すなわち低い詳細の領域を更に精細に量子化することができる。たしかに、係る平坦な領域における視野の欠損は、人間の目にとって更に目障りである。画像におけるそれぞれのマクロブロックＭ_Ｉに関連される第三の特徴Ｆ_ｌ ^３は、セット｛０，１｝でその値をとる。値Ｆ_ｌ ^３を計算するため（３３０）、マクロブロックＭ_Ｉにわたる平均輝度レベルは、２つの閾値ＴＨＬ及びＴＨＨに比較され、これらの閾値は２３及び１９５２にそれぞれ設定される。
ｌｅｖｅ_ｌと名付けられた値は、以下のように導出される。

ｌｅｖｅｌ＝０又は２の場合にＦ_ｌ ^３＝０であり、ｌｅｖｅｌ＝１の場合にＦ_ｌ ^３＝１である。この特徴により、視覚的な品質の観点から人間の目がより感度が高い中間調の領域を更に精細に量子化することができる３つの特徴は、重みＷ_Ｉにおいて以下のように結合される（３４０）。

これは、図４により例示されている。

次いで、量子化された係数は、たとえば、“Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ ‐ ｐａｒｔ１０： Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”と題されたＩＳＯ／ＩＥＣ１４４９６−１０からの文献におけるセクション７．９で記載される方法のような古典的なエントロピー符号化方法により、ステップ４０で符号化される。

本方法の第一の実施の形態は、図２及び図５を参照して記載される。本方法は、画像のそれぞれのブロックｂ_ｐ，ｑを係数の変換されたブロックＢ_ｐ，ｑに変換するステップ１０を含む。ブロックｂ_ｐ，ｑがマクロブロックＭ_Ｉに位置される場合、変換されたブロックＢ_ｐ，ｑは、ＭＢ_Ｉで示される対応する変換されたマクロブロックに位置される。それぞれのブロックｂ_ｐ，ｑは、たとえば、以下の式に従って離散コサイン変換（ＤＣＴ）により変換されたブロックＢ_ｐ，ｑに変換される。

この場合、ｕ，ν＝０，１，．．．，Ｎ−１である。ｂ_ｐ，ｑ（ｊ，ｋ）は、ブロックｂ_ｐ，ｑの画素の輝度値（又は色度値）であり、その座標は（ｊ，ｋ）である。Ｂ_ｐ，ｑ（ｕ，ν）は、変換されたブロックＢ_ｐ，ｑの係数の値であり、その座標は（ｕ，ｖ）である。さらに、Ｑ（ｗ）は以下に示される。

ステップ２０で、それぞれ変換されたブロックＢ_ｐ，ｑのそれぞれの係数Ｂ_ｐ，ｑ（ｕ，ｖ）は、量子化パラメータＱＰ_ｐ，ｑ（ｕ，ｖ）により量子化された係数Ｂ^Ｑ _ｐ，ｑ（ｕ，ｖ）に量子化される。本発明の第一の態様によれば、画像における全てのＤＣ係数は、同じ量子化パラメータＱＰ_ｆで量子化され（２１０）、すなわち、∀（ｐ，ｑ），ＱＰ_ｐ，ｑ（０，０）＝ＱＰ_ｆである。これにより、画像全体に関して連続的且つ基本的な品質を保証することができる。この量子化パラメータＱＰ_ｆは、たとえば、１９９３年４月の“Ｔｅｓｔ Ｍｏｄｅｌ ５”と題されたＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１からの文献Ｎ０４００におけるＭＰＥＧ２について記載される公知のＴＭ５レート制御方法のようなレート制御方法により決定される。

本発明の別の態様によれば、同じマクロブロックＭＢ_Ｉに位置される全てのブロックＢ_ｐ，ｑの全てのＡＣ係数は、ＱＰ_ｆに等しいか又は等しくない場合がある同じ量子化パラメータＱＰ_ｌで量子化される（２２０）。独特な特性によれば、全てのこれらＡＣ係数を量子化するために使用される量子化パラメータは、ＱＰ_ｌ＝ＱＰ_ｆ＋ΔＱＰ_ｌに等しく、この場合、ΔＱＰ_ｌは、マクロブロックＭＢ_Ｉの知覚の影響に基づいて決定される。この場合、ＭＢ_Ｉにおける全てのＡＣ係数について、ＱＰ_ｐ，ｑ（ｕ，ｖ）＝ＱＰ_ｌ＝ＱＰ_ｆ＋ΔＱＰ_ｌである。

第二の実施の形態によれば、以下の通りである。

この場合、Ｖ_ｌはマクロブロックＭ_ｌの重要レベルである。この場合、ＱＰ_ｓｔｅｐ’は６に設定される。Ｖ_ｌはマクロブロックＭ_ｌからステップ３１で計算され、範囲［０−２５５］にあるようにクリップされる。このため、“Ｉｍａｇｅ ａｎａｌｙｓｉｓ ｔｈｒｏｕｇｈ ｌｏｃａｌ ｉｎｆｏｒｍａｔｉｏｎ ｍｅａｓｕｒｅ” ｐｕｂｌｉｓｈｅｄ ｉｎ ｔｈｅ ｐｒｏｃｅｅｄｉｎｇ ｏｆ ｔｈｅ １７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ｐｐ ６１６−６１９． Ａｕｇ ２００４と題された文献におけるＮ．Ｂｒｕｃｅにより記載される情報マップが画像全体について計算される（３１）。

このマップは、重要レベルＶ_ＩをそれぞれのマクロブロックＭ_Ｉに割り当てる。この方法により、古典的な情報理論の設定における局所的な画像の統計値の特性を分析することで、画像における知覚的に重要な領域を識別することができる。したがって、更に連続的に量子化パラメータを調節することが可能であり、これにより、デコードされた画像の視覚的品質が改善される。

次いで、量子化された係数は、たとえば、“Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ ‐ Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ ‐ｖｉｓｕａｌ ｏｂｊｅｃｔｓ ‐ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”と題されたＩＳＯ／ＩＥＣ１４４９６−１０からの文献におけるセクション７．９で記載される方法のような古典的なエントロピー符号化方法により、ステップ４０で符号化される。このソリューションにより、ビットレート全体に関して殆ど変化することなしに滑らかに分布される知覚的な品質の改善を得ることができる。

また、本発明は、図６及び図７に示される符号化装置ＣＯＤＥＣに関する。これらの図に関して、類似のエレメントは、同じ符号で参照される。装置ＣＯＤＥＣは、画像のそれぞれのブロックｂｐ，ｑを変換された係数のブロックＢｐ，ｑに変換するモジュールＴを有する。このモジュールは、たとえばＤＣＴを実現する。

モジュールＴは、それぞれ変換されたブロックＢ_ｐ，ｑのそれぞれの係数Ｂ_ｐ，ｑ（ｕ，ｖ）を量子化された係数Ｂ^Ｑ _ｐ，ｑ（ｕ，ｖ）に量子化するために適合されるモジュールＱにリンクされる。モジュールＱは、上述された方法のステップ２０を実現する。したがって、装置ＣＯＤＥＣは、モジュールＱにリンクされるモジュールＲＯＩ_１を有し、たとえば上述された方法のステップ３１０〜３４０を実現することで画像のそれぞれのマクロブロックについて重みＷ_Ｉを計算するために適合されるモジュールＲＯＩ_１を有する。

図７に示される別の特徴によれば、装置ＣＯＤＥＣにおけるモジュールＲＯＩ_１は、たとえば“Ｉｍａｇｅ ａｎａｌｙｓｉｓ ｔｈｒｏｕｇｈ ｌｏｃａｌ ｉｎｆｏｒｍａｔｉｏｎ ｍｅａｓｕｒｅ” ｐｕｂｌｉｓｈｅｄ ｉｎ ｔｈｅ Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ｔｈｅ １７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ｐｐ．６１６−６１９， Ａｕｇ．２００４と題された文献に記載される方法を実現することで、画像のそれぞれのマクロブロックＭ_Ｉについて重要レベルＶ_ｌを計算するために適合されるモジュールＲＯＩ_２により置き換えられる。このモジュールは、好ましくは、エントロピーコーダである。
本発明は、ビデオに有利に適用される場合があり、より詳細には、ビデオのそれぞれの画像に適用される場合がある。

Claims (8)

1. オーバラップしないＮ×Ｎ画素のブロックに分割されるオーバラップしないマクロブロックに分割される画像をバイナリストリームに符号化する方法であって、
   前記ブロックのそれぞれを、１つの低周波の係数と、前記低周波よりも高い周波数からなる高周波の係数と呼ばれるＮ^２−１個の係数とを含む変換された係数のブロックに変換するステップと、
   前記変換されたブロックのそれぞれの係数を量子化パラメータで量子化するステップと、
   前記量子化された係数をバイナリストリームに符号化するステップとを含み、
   前記変換されたブロックの低周波係数は、第一の量子化パラメータと呼ばれる同じ量子化パラメータで量子化される、
   ことを特徴とする方法。
2. 同じマクロブロックの高周波係数は、第二の量子化パラメータと呼ばれる同じ量子化パラメータで量子化される、
   請求項１記載の方法。
3. 前記第二の量子化パラメータは、前記第一の量子化パラメータと増加量との合計として計算され、前記増加量は、前記マクロブロックについて計算された視覚的な知覚の影響に基づいて決定される、
   請求項２記載の方法。
4. 前記視覚的な知覚の影響の値は、前記マクロブロックの平均輝度値に依存する、
   請求項３記載の方法。
5. 前記視覚的な知覚の影響の値は、前記マクロブロックのそれぞれのブロックの分散値に依存する、
   請求項３又は４記載の方法。
6. 前記視覚的な知覚の影響の値は、前記マクロブロックの色度値に依存する、
   請求項３乃至５の何れか記載の方法。
7. オーバラップしないＮ×Ｎ画素のブロックに分割されるオーバラップしないマクロブロックに分割される画像をバイナリストリームに符号化する装置であって、
   前記ブロックのそれぞれを、１つの低周波の係数と、前記低周波よりも高い周波数からなる高周波の係数と呼ばれるＮ^２−１個の係数とを含む変換された係数のブロックに変換する変換手段と、
   前記変換されたブロックのそれぞれの係数を量子化パラメータで量子化する量子化手段と、
   前記量子化された係数をバイナリストリームに符号化する符号化手段とを有し、
   前記量子化手段は、前記変換されたブロックの低周波係数を第一の量子化パラメータと呼ばれる同じ量子化パラメータで量子化する、
   ことを特徴とする装置。
8. 前記変換手段は、ＤＣＴ変換ユニットである、
   請求項７記載の装置。
   

Images