JP2004533181A - デジタルイメージに対する選択的なクロミナンスデシメーション - Google Patents

Abstract

【解決手段】デジタルイメージのデシメーションの方法がクレームされ、デジタルイメージは複数のピクセルにより表現される。ピクセル領域では、デジタルイメージは複数のブロックに分割される（３０４）。ブロックのあるものは予め定められた基準に基づいて選択的にデシメートされる（３２０）。実施形態では、所定のピクセルブロックのクロミナンス部分がデシメートされる。
【選択図】図３

Description

【発明の分野】
【０００１】
本発明はデジタル信号処理に関する。特に、本発明はデジタルイメージを選択的にデシメートする装置および方法に関する。
【関連技術の説明】
【０００２】
デジタルピクチャ処理はデジタル信号処理の一般的な原理において卓越した位置を有する。人間の視覚的認知の重要性はデジタル信号処理の技術および科学においておびただしい関心および利点を促進している。投射フィルムや映画に対して使用されるような、ビデオ信号の送信および受信の分野では、イメージ圧縮技術に対してさまざまな改良がもたらされている。現在のおよび提案されているビデオシステムの多くはデジタルエンコーディング技術を使用する。この分野の観点には、イメージコーディング、イメージ復旧およびイメージ特徴選択が含まれる。イメージコーディングは効率的な方法でデジタル通信チャネルのピクチャを送信しようと試行することを表し、この効率的な方法は要求される帯域幅をできるだけ最小にするように数ビットを使用する一方で、同時にある制限内に歪みを維持する。イメージ復旧は物体の真のイメージを復元する作業を表す。通信チャネルを通して送信されているコード化イメージはさまざまな要因により歪む。品質低下の原因は物体からイメージを生成する際に元々生じている。特徴選択はピクチャのある属性の選択に関係している。このような属性はより広く状況において、認識、分類、および決定で要求される。
【０００３】
デジタルシネマでのように、ビデオのデジタルエンコーディングは改良されたイメージ圧縮技術から恩恵を得られる領域である。デジタルイメージ圧縮は一般的に、損失のない方法と損失のある方法の２つのカテゴリに分類される。損失のないイメージは何らかの情報損失なく復元される。損失のある方法は、圧縮比、圧縮アルゴリズムの品質およびアルゴリズムの構成に依存して、何らかの情報の復元不可能な損失を伴う。一般的に損失のある圧縮アプローチは、コスト効率のよいデジタルシネマアプローチにとって望ましい圧縮比を獲得すると考えられる。デジタルシネマ品質レベルを達成するために、圧縮アプローチは視覚的に損失のないレベルの性能を提供しなければならない。このようなことであるから、圧縮プロセスの結果として情報の数学的損失があるが、この損失により生じるイメージ歪みは通常の観察状態のもとで観察者が気付けないようにすべきである。
【０００４】
既存のデジタルイメージ圧縮技術は他の応用に対して、すなわちテレビシステムに対して開発されてきた。このような技術は意図されている応用に対して適切なものに設計を妥協させるが、シネマ表現に対して必要とされる品質要求を満たさない。
【０００５】
デジタルシネマ圧縮技術は映画好きの人が以前に経験した視覚品質を提供しなければならない。理想的には、デジタルシネマの視覚品質は高品質リリースプリントフィルムの視覚品質を越えるように試みなければならない。同時に、圧縮技術は実用的なように高いコーディング効率を有しなければならない。ここで規定するように、コーディング効率はある質的レベルを満たす圧縮イメージ品質に対して必要とされるビットレートに関係する。さらに、システムおよびコーディング技術はビルトイン柔軟性を有して異なるフォーマットに対処できなければならず、コスト効率がよくなければならず、すなわち小型で効率のよいデコーダまたはエンコーダプロセスでなければならない。
【０００６】
圧縮デジタルイメージに対して必要とされるビット数を減少させるために使用される１つの一般的な方法はクロミナンス情報の空間解像度を減少させることである。しかしながら、これは気付く可能性があるイメージ歪みを生じることがある。代わりに、イメージ歪みを除去する一般的な方法は圧縮イメージのビットレートを増加させることである。利用可能なビットレートが制限されていることが多いことから、これも望ましいことではない。
【０００７】
したがって、デジタルイメージをデシメートするが、デジタルイメージの品質レベルを維持する方法および装置が必要とされる。
【発明の開示】
【発明の概要】
【０００８】
本発明はデジタルイメージを選択的にデシメートすることを提供する。特に、デジタルイメージは複数のブロックに分割される。ブロックのあるものは予め定められた基準に基づいて選択的にデシメートされる。実施形態の観点により、クロミナンス情報の少ない領域においてクロミナンス解像度をデシメートしてビットレートを減少させる一方で、人間の目に気付かないクロミナンス品質を維持できるようにする。実施形態では、適応ブロックサイズ離散コサイン変換（ＡＢＳＤＣＴ）技術が利用されて、所定のピクセル領域においてクロミナンス解像度を減少させるか否かが決定される。クロミナンス情報の多い領域は解像度を減少させない一方、クロミナンス情報の少ない領域は全体的な品質を低下させることなく解像度を減少させる。デシメーションは、デジタル情報の全体フレームとは対照的に、ピクセル領域または周波数領域で、ブロック毎のレベルでなされる。
【０００９】
したがって、実施形態の観点は４：４：４デジタルイメージを４：２：２デジタルイメージまたは４：２：０に変換することを提供する。デジタルイメージが複数のピクセルにより表現されるデジタルイメージをデシメートする装置および方法を説明する。ピクセルブロックのサイズはブロックのクロミナンス解像度の関数である。ブロックのあるものは選択的にデシメートされる。
【００１０】
したがって、クロミナンス解像度に基づいてデジタルイメージをデシメートする一方で全体にわたってクロミナンス品質を維持する装置および方法を提供することが実施形態の観点である。
【００１１】
低クロミナンス解像度の領域でビットレートを減少させる装置および方法を提供することが実施形態の他の観点である。
【００１２】
より高いビットレートを持続する一方で同じ品質レベルを維持することが実施形態の他の観点である。
【００１３】
標準デシメーションよりも高いイメージ品質レベルを達成することが実施形態の他の観点である。
【００１４】
本発明の特徴、性質および効果は同じ参照文字が全体を通して対応するものを識別している図面を考慮に入れたとき、以下に記述する詳細な説明からさらに明らかになるであろう。
【好ましい実施形態の詳細な説明】
【００１５】
デジタル信号のデジタル送信を促進し、対応する利益を享受するために、何らかの形態の信号圧縮を使用することが一般的に必要になる。結果として得られるイメージにおいて高精細度を達成するために、高品質のイメージを維持することも重要である。さらに、コンパクトなハードウェア構成に対して、計算効率がよいことが望まれる。これは多くの応用において重要である。
【００１６】
実施形態では、本発明のイメージ圧縮は離散コサイン変換（ＤＣＴ）技術に基づいている。一般的に、デジタル領域で処理されるべきイメージはオーバーラップしていないブロックのＮ×Ｎのサイズアレイに分割されるピクセルデータからなる。二次元ＤＣＴが各ブロックで実行される。二次元ＤＣＴは以下の関係により定義される。
【数１】

【００１７】
ここで、
【数２】

【００１８】
ｘ（ｍ，ｎ）はＮ×Ｍブロック内のピクセル位置（ｍ，ｎ）であり、
Ｘ（ｋ，ｌ）は対応するＤＣＴ係数である。
【００１９】
ピクセル値は負数でないことから、ＤＣＴ成分Ｘ（０，０）は常に正であり、通常最もエネルギを持つ。事実、典型的なイメージに対して、変換エネルギのほとんどは成分Ｘ（０，０）の回りに集中する。このエネルギ圧縮特性はＤＣＴ技術を魅力のある圧縮方法にする。
【００２０】
最も自然なイメージは平坦で比較的ゆっくりと変化する領域と、物体境界および高コントラストテキスチャのようなビジー領域とからなることが観測されている。コントラスト適応コーディングスキームは多くのビットをビジー領域に、少ないビットをビジーさが少ない領域に割り当てることにより、この要因を利用する。この技術は“適応ブロックサイズイメージ圧縮方法およびシステム”と題する米国特許第５，０２１，８９１号で開示されており、この米国特許は本発明の出願人に譲渡され、参照によりここに組み込まれている。ＤＣＴ技術は“適応ブロックサイズイメージ圧縮方法およびシステム”と題する米国特許第５，１０７，３４５号でも開示されており、この米国特許は本発明の出願人に譲渡され、参照によりここに組み込まれている。さらに、差分クオッドツリー変換技術と組み合わされたＡＢＳＤＣＴ技術の使用は“適応ブロックサイズイメージ圧縮方法およびシステム”と題する米国特許第５，４５２，１０４号に開示されており、この米国特許も本発明の出願人に譲渡され、参照によりここに組み込まれている。これらの特許に開示されているシステムは“フレーム内”エンコーディングとして呼ばれるものを利用し、イメージデータの各フレームが他の何らかのフレームの内容とは無関係にエンコードされる。ＡＢＳＤＣＴ技術を使用すると、達成可能なデータレートはイメージ品質の識別可能な低下を受けることなく大きくすることができる。
【００２１】
ＡＢＳＤＣＴを使用すると、ビデオ信号は一般的に処理のためにピクセルのブロックにセグメント化される。各ブロックに対して、ルミナンスおよびクロミナンス成分がブロックインターリーバに送られる。例えば、１６×１６（ピクセル）ブロックがブロックインターリーバに提示される。ブロックインターリーバは各１６×１６ブロック内のイメージサンプルを順序付けまたは編成して、離散コサイン変換（ＤＣＴ）解析のためにデータのブロックおよび複合サブブロックを生成する。ＤＣＴ演算子は時間サンプル信号を同じ信号の周波数表現に変換する１つの方法である。周波数表現に変換することにより、ＤＣＴ技術は非常に高レベルの圧縮が可能であることが示された。その理由はイメージの周波数分散特性を利用するように量子化器を設計できるからである。好ましい実施形態では、１つの１６×１６ＤＣＴが第１の順序付けに適用され、４つの８×８ＤＣＴが第２の順序付けに適用され、１６の４×４ＤＣＴが第３の順序付けに適用され、６４の２×２ＤＣＴが第４の順序付けに適用される。
【００２２】
イメージ処理目的のために、ＤＣＴ演算はオーバーラップしていないブロックのアレイに分割されるピクセルデータ上で実行される。ブロックサイズはここではＮ×Ｎサイズとして論議されているが、さまざまなブロックサイズを使用できることが考えられることに留意すべきである。例えば、Ｎ×Ｍブロックサイズを利用することができる。ＮとＭの両者は整数であり、ＭはＮよりも大きいかまたは小さいかのいずれかである。他の重要な観点は、ブロックはＮ／ｉ×Ｎ／ｉ、Ｎ／ｉ×Ｎ／ｊ、Ｎ／ｉ×Ｍ／ｊなどのような少なくとも１つのサブブロックレベルに分割可能であることである。ｉおよびｊは整数である。さらに、ここで議論されているような例示的なブロックサイズは１６×１６ピクセルブロックであり、ＤＣＴ係数の対応するブロックおよびサブブロックを持つ。偶数または奇数値の両方のような他のさまざまな整数、例えば９×９を使用することもさらに考えられる。
【００２３】
一般的に、イメージは処理のためにピクセルのブロックに分割される。カラー信号はＲＧＢ空間からＹＣ₁Ｃ₂空間に変換されてもよい。Ｙはルミナンスまたは明るさ成分であり、Ｃ₁およびＣ₂はクロミナンスまたはカラー成分である。カラーに対する目の空間感度が低いために、多くのシステムは水平および垂直方向に４だけＣ₁およびＣ₂成分をサブサンプリングする。しかしながら、サブサンプリングは不可欠ではない。４：４：４フォーマットとして知られているフル解像度イメージはカバーリング“デジタルシネマ”として呼ばれるもののようないくつかの応用において有用または必要である。２つの可能性あるＹＣ₁Ｃ₂表現はＹＩＱ表現およびＹＵＶ表現であり、その両者は技術的に良く知られている。ＹＣｂＣｒとして知られているＹＵＶの変形を使用することもできる。
【００２４】
図１を参照すると、イメージ処理システム１００が示されており、これは本発明を組み込んでいる。イメージ処理システム１００はエンコーダ１０２を備え、エンコーダ１０２は受信ビデオ信号を圧縮する。圧縮信号は送信チャネル１０４を通して送信され、デコーダ１０６により受信される。デコーダ１０６は受信信号をイメージサンプルにデコードし、これが表示される。
【００２５】
好ましい実施形態では、Ｙ、ＣｂおよびＣｒ成分のそれぞれはサブサンプリングすることなく処理される。したがって、ピクセルの１６×１６ブロックの入力がエンコーダ１０２に提供される。エンコーダ１０２はブロックサイズ割当エレメント１０８を備え、ブロックサイズ割当エレメント１０８はビデオ圧縮の準備のためにブロックサイズ割当を実行する。ブロックサイズ割当エレメント１０８は、ブロック中のイメージの知覚特性に基づいて１６×１６ブロックのブロック分解を決定する。ブロックサイズ割当は、１６×１６ブロック内のアクティビィティに依存してクアッドツリー方式で各１６×１６ブロックをより小さいブロックに再分割する。ブロックサイズ割当エレメント１０８はＰＱＲデータと呼ばれるクアッドツリーデータを発生させ、この長さは１ビットと２１ビットの間とすることができる。したがって、１６×１６ブロックが分割されるべきであることをブロックサイズ割当が決定する場合には、ＰＱＲデータのＲビットがセットされ、４つに分割された８×８ブロックに対応するＱデータの４つの付加的なビットがその後に続く。８×８ブロックのいくつかが再分割されるべきであることをブロックサイズ割当が決定する場合には、再分割された各８×８ブロックに対するＰデータの４つの付加的なビットが加えられる。
【００２６】
図２を参照すると、ブロックサイズ割当エレメント１０８の動作の詳細を示しているフロー図が提供されている。アルゴリズムはブロックを再分割する決定の際のメトリックスとしてブロックの分散を使用する。ステップ２０２で始まり、ピクセルの１６×１６ブロックが読み出される。ステップ２０４において、１６×１６ブロックの分散ｖ１６が計算される。分散は次のように計算される。
【数３】

【００２７】
ここで、Ｎ＝１６、Ｘi,jはＮ×Ｎブロック内のｉ行ｊ列中のピクセルである。ステップ２０６において、最初に、ブロックの平均値が２つの予め定められた値の間にある場合には、分散しきい値Ｔ１６が修正されて、新しいしきい値Ｔ’１６が提供される。そして、ブロック分散が新しいしきい値Ｔ’１６と比較される。
【００２８】
分散ｖ１６がしきい値Ｔ１６よりも大きくない場合には、ステップ２０８において、１６×１６ブロックの開始アドレスが書き込まれる。ＰＱＲデータのＲビットが０にセットされ、１６×１６ブロックが再分割されないことを示す。アルゴリズムはピクセルの次の１６×１６ブロックを読み出す。分散ｖ１６がしきい値Ｔ１６より大きい場合には、ステップ２１０において、ＰＱＲデータのＲビットが１にセットされ、１６×１６ブロックが４つの８×８ブロックに再分割されるべきであることを示す。
【００２９】
ステップ２１２で示されるように、４つの８×８ブロックｉ＝１：４がさらなる再分割に対して連続的に考えられる。ステップ２１４において、各８×８ブロックに対して、分散ｖ８_iが計算される。ステップ２１６において、最初に、ブロックの平均値が２つの予め定められた値の間にある場合には、分散しきい値Ｔ８が修正されて、新しいしきい値Ｔ’８が提供される。そして、ブロック分散がこの新しいしきい値と比較される。
【００３０】
分散ｖ８_iがしきい値Ｔ８よりも大きくない場合には、ステップ２１８において、８×８ブロックの開始アドレスが書き込まれる。対応するＱビットＱ_iが０にセットされる。そして次の８×８ブロックが処理される。分散ｖ８_iがしきい値Ｔ８より大きい場合には、ステップ２２０において、対応するＱビットＱ_iが１にセットされ、８×８ブロックが４つの４×４ブロックに再分割されるべきであることを示す。
【００３１】
ステップ２２２に示されているように、４つの４×４ブロックｊ_i＝１：４がさらなる再分割のために連続的に考えられる。ステップ２２４において、各４×４ブロックに対して、分散ｖ４_ijが計算される。ステップ２２６において、最初に、ブロックの平均値が２つの予め定められた値の間にある場合には、分散しきい値Ｔ４が修正されて、新しいしきい値Ｔ’４が提供される。そして、ブロック分散がこの新しいしきい値と比較される。
【００３２】
分散ｖ４_ijがしきい値Ｔ４よりも大きくない場合には、ステップ２２８において、４×４ブロックのアドレスが書き込まれる。対応するＰビットＰ_ijが０にセットされる。そして次の４×４ブロックが処理される。分散ｖ４_ijがしきい値Ｔ４より大きい場合には、ステップ２３０において、対応するＰビットＰ_ijが１にセットされ、４×４ブロックが４つの２×２ブロックに再分割されるべきであることを示す。さらに、４つの２×２ブロックのアドレスが書き込まれる。
【００３３】
しきい値Ｔ１６、Ｔ８およびＴ４は予め定められた定数であってもよい。これは硬判定として知られている。代わりに、適応または軟判定が実現されてもよい。軟判定は２Ｎ×２Ｎブロックの平均ピクセル値に依存して分散に対するしきい値を変化させる。ここでＮは８、４または２とすることができる。したがって、平均ピクセル値の関数はしきい値として使用することができる。
【００３４】
例示目的のために、以下の例を考察する。Ｙ成分に対する予め定められた分散しきい値が１６×１６ブロック、８×８ブロックおよび４×４ブロックのそれぞれに対して５０、１１００および８８０であるとする。言い換えると、Ｔ１６＝５０、Ｔ８＝１１００およびＴ４＝８８０である。平均値の範囲が８０および１００であるとする。１６×１６ブロックに対する計算された分散が６０であると仮定する。６０およびその平均値９０はＴ１６よりも大きいことから、１６×１６ブロックは４つの８×８サブブロックに再分割される。８×８ブロックに対する計算された分散が１１８０、９３５、９８０および１２１０であると仮定する。８×８ブロックの２つがＴ８を越える分散を有しているので、これらの２つのブロックはさらに再分割され、総数で８つの４×４サブブロックが生成される。最後に、８つの４×４ブロックの分散が６２０、６３０、６７０、６１０、５９０、５２５、９３０および６９０であり、最初の４つは平均値９０、１２０、１１０、１１５に対応すると仮定する。最初の４×４ブロックの平均値が範囲（８０，１００）に入ることから、そのしきい値はＴ’４＝２００に低くされ、これは８８０よりも低くなる。それゆえ、この４×４ブロックは第７の４×４ブロックとともに再分割される。
【００３５】
同様な手順が使用されてカラー成分Ｃ₁およびＣ₂に対するブロックサイズが割り当てられるにことに留意すべきである。カラー成分は水平に、垂直にあるいはその両方にデシメートされる。さらに、ブロックサイズ割当をトップダウンアプローチとして説明してきたが、ボトムアップアプローチを代わりに使用してもよいことに留意すべきである。トップダウンアプローチでは、最大のブロック（この例において１６×１６）が最初に評価される。ボトムアップアプローチは最初に、最も小さいブロック（この例では２×２）を評価する。
【００３６】
図１に戻って参照して、イメージ処理システム１００の残りの部分を説明する。あるブロックがデシメータエレメント１０９により選択的にデシメートされる。デジタルイメージの圧縮に必要なビット数を減少させるための一般的な方法はフレームの空間解像度を減少させることである。しかしながら、これは顕著なイメージ歪みを生じることがある。しかしながら、適応ブロックサイズを使用することにより、クロミナンス解像度を使用して、低クロミナンス情報の領域のみにあり、高ルミナンス情報の領域にないイメージを決定する。
【００３７】
デシメートするための決定はさまざまな要因および考察に基づく。要因にはこれらに限定されないが、ブロック内および各カラー成分内の詳細レベル、クロミナンス解像度、コントラスト、所望のビットレート、所望のイメージ品質レベル、および／またはブロックサイズが含まれる。デシメータ１０９およびデシメーションプロセスは図３ないし図６に関しての説明でさらに詳細に説明する。
【００３８】
ＰＱＲデータは選択されたブロックのアドレスとともに、ＤＣＴエレメント１１０に提供される。ＤＣＴエレメント１１０はＰＱＲデータを使用して、選択されたブロック上で適切なサイズの離散コサイン変換を実行する。選択されたブロックのみがＤＣＴ処理を受ける必要がある。
【００３９】
イメージ処理システム１００はＤＣＴのＤＣ係数中の冗長性を減少させるためにＤＱＴエレメント１１２をオプション的に備える。ＤＣ係数は各ＤＣＴブロックの一番上の左コーナーに発生する。ＤＣ係数は一般的にＡＣ係数と比較して大きい。サイズの不一致は効率的な可変長コーダの設計を困難にする。したがって、ＤＣ係数中の冗長性を減少させると利点となる。
【００４０】
ＤＱＴエレメント１１２は一度に２×２を取り入れて、ＤＣ係数上で２ＤＤＣＴを実行する。４×４ブロック内の２×２ブロックで開始して、２ＤＤＣＴは４つのＤＣ係数上で実行される。この２×２ＤＣＴは４つのＤＣ係数の差分クオッドツリー変換、すなわちＤＱＴと呼ばれる。次に、ＤＱＴのＤＣ係数は８×８ブロックでの３つの隣接ＤＣ係数とともに使用されて、次のレベルのＤＱＴが計算される。最後に、１６×１６ブロック内の４つの８×８ブロックのＤＣ係数が使用されて、ＤＱＴが計算される。したがって、１６×１６ブロックでは、１つの真のＤＣ係数があり、残りはＤＣＴとＤＱＴに対応するＡＣ係数である。
【００４１】
変換係数（ＤＣＴとＤＱＴの両方）は量子化のために量子化器１１４に提供される。好ましい実施形態では、ＤＣＴ係数は周波数重み付けマスク（ＦＷＭ）と量子化スケールファクタを使用して量子化される。ＦＷＭは入力ＤＣＴ係数のブロックと同じ次元の周波数重みのテーブルである。周波数重みは異なるＤＣＴ係数に異なる重みを適用する。重みは、人間の視覚系がさらに敏感である周波数内容を有する入力サンプルを強調し、視覚系があまり敏感でない周波数内容を有するサンプルを強調しないように設計される。重みは観察距離などのような要因に基づいても設計される。
【００４２】
ハフマンコードはイメージの測定されたまたは理論統計のいずれかから設計される。最も自然なイメージはブランクまたは比較的ゆっくりと変化する領域と、物体境界および高コントラストテキスチャのようなビジー領域とからなることが観測されている。ＤＣＴのような周波数領域変換を有するハフマンコーダは多くのビットをビジー領域に割り当て、少ないビットをブランク領域に割り当てることによりこの特徴を活用する。一般的に、ハフマンコーダはルックアップテーブルを使用してランレングスおよび非ゼロ値をコード化する。
【００４３】
実施形態では、重みは経験的なデータに基づいて選択される。８×８ＤＣＴ係数に対する重み付けマスクを設計する方法はＩＳＯ／ＩＥＣ ＪＴＣ１ ＣＤ１０９１８“連続トーン静止イメージのデジタル圧縮およびコーディング−パート１：要求およびガイドライン”、国際標準化組織、１９９４年で開示されており、これは参照によりここに組み込まれている。一般的に、２つのＦＷＭが設計され、１つはルミナンス成分に対するものであり、１つはクロミナンス成分に対するものである。ブロックサイズ２×２、４×４に対するＦＷＭテーブルはデシメーションにより得られ、ブロックサイズ１６×１６に対するＦＷＭテーブルは８×８ブロックに対するものの補間により得られる。スケールファクタは量子化された係数の品質およびビットレートを制御する。
【００４４】
したがって、各ＤＣＴ係数は以下の関係にしたがって量子化される。
【数４】

【００４５】
ここでＤＣＴ（ｉ，ｊ）は入力ＤＣＴ係数であり、ｆｗｍ（ｉ，ｊ）は周波数重み付けマスクであり、ｑはスケールファクタであり、ＤＣＴｑ（ｉ，ｊ）は量子化された係数である。ＤＣＴ係数の符号に基づいて、かっこ内部の第１項は切り上げまたは切り捨てされることに留意すべきである。ＤＣＴ係数は適切な重み付けマスクを使用しても量子化される。しかしながら、複数のテーブルまたはマスクを使用し、Ｙ、ＣｂおよびＣｒ成分のそれぞれに適用することができる。
【００４６】
量子化された係数はジグザグスキャンシリアライザ１１６に提供される。シリアライザ１１６はジグザク形態で量子化係数のブロックをスキャンして、量子化係数のシリアライズされたストリームを生成する。ジグザグ以外の他のパターンと同様に、多数の異なるジグザグスキャンパターンが選択されてもよい。他のサイズも使用することができるが、好ましい技術はジグザグスキャンのために８×８ブロックサイズを使用する。
【００４７】
ジグザグスキャンシリアライザ１１６は量子化器１１４の前または後に配置されることに留意すべきである。最終的な結果は同じである。
【００４８】
任意のケースにおいて、量子化係数のストリームは可変長コーダ１１８に提供される。可変長コーダ１１８はゼロのランレングスエンコーディングを使用し、その後にエンコーディングが続く。この技術は先に言及した米国特許第５，０２１，８９１号、第５，１０７，３４５号および第５，４５２，１０４号でさらに詳細に論じられており、ここで要約されている。ランレングスコーダは量子化係数を取り入れ、非連続係数から連続係数のランを記録する。連続値はランレングス値として呼ばれ、エンコードされる。非連続値は別にエンコードされる。実施形態では、連続係数はゼロ値であり、非連続係数は非ゼロ値である。一般的に、ランレングスは０から６３ビットである。サイズは１−１０からのＡＣ値である。ファイルエンドのコードが付加コードを加え、したがって、総数で６４１の可能性あるコードがある。
【００４９】
図３はデジタルイメージ３００の選択的なデシメーションのフロー図を示す。（図１に関して説明したように）ブロックサイズ割当エレメント３０４が実行された後に、ブロックをデシメートするか否かの決定３０８がなされる。実施形態では、ブロックサイズ割当の後に、デシメートの決定がピクセルブロックにおいてなされる。しかしながら、代わりに、ブロックがＤＣＴ／ＤＱＴプロセスを受けた後に、デシメートの決定が周波数領域において生じてもよい。
【００５０】
図３に戻って参照すると、ブロックが所定ブロックで低クロミナンス情報を、またはピクセル領域の対応する周波数表現を有する場合、デシメーションは適切である。ブロックが高クロミナンス情報を有する場合には、デシメートしない決定がなされ、データは量子化器３１２に送られる。しかしながら、クロミナンスは必ずしも、デシメートするか否かについての、唯一のあるいは最も重要な要因ではない。デシメートの決定は所望のビットレート、視覚品質ファクタのようなさまざまなファクタ、あるいはブロックサイズまたはクロマ成分自体のような他のレートベースファクタに基づく。例えば、両クロマ成分とは対照的に単一のクロマ成分ＣｂまたはＣｒをデシメートすることを選択することができる。いくつかの例では、単一のクロマ成分は視覚品質を妥協することなくデシメートされることが見出されている。実施形態では、デシメートの決定はユーザの必要性に基づいて構成可能である。さらに他の実施形態では、デシメートの決定はユーザの必要性に基づいてダイナミックに構成可能である。
【００５１】
デシメートの決定の際に、列デシメーション３１６が開始され、４：４：４イメージが４：２：２イメージに変換される。オプション的に、４：２：０フォーマットにデシメートすることが望ましい場合には、デシメートするか否かの他の決定３２０が再度なされる。そうである場合には、行デシメーション３２４が開始される。そうでない場合には、データは量子化器３１２に送られる。
【００５２】
実施形態では、高クロミナンス情報の領域すなわちより小さいブロックサイズ割当のものはデシメーションのために選択されない。しかしながら、低クロミナンス情報を持つ領域すなわち大きなブロックサイズ割当はデシメーションに対して適切である。他の実施形態では、ブロックサイズ割当はデシメーションのための決定要因である。ブロックサイズが１６×１６である場合には、ブロックはデシメートされる。ブロックサイズが８×８、４×４または２×２のように１６×１６よりも小さい場合には、ブロックはデシメートされないので、詳細は保存される。他の実施形態では、１６×１６および８×８ブロックがデシメートされる一方で、４×４および２×２ブロックはデシメートされない。正確な決定プロセスはパラメータの数に依存する。
【００５３】
低クロミナンス解像度を有するイメージの領域においてブロックを選択的にデシメートすることはその領域におけるビットレートを減少させる一方で、クロミナンス品質を維持する。同時に、高クロミナンス解像度の領域においてクロミナンス解像度をデシメートしないことにより、その領域における良好なイメージ品質が維持される。
【００５４】
図４はピクセルデータ４００の４：４：４ブロックの例を示す。各ピクセルに対する各カラールミナンスおよびクロミナンス成分Ｙ、ＣｂおよびＣｒのそれぞれに対して値が与えられる。一般的に、デシメーションはクロミナンス成分ＣｂおよびＣｒにおいてのみ実行されるべきことが考慮され、ルミナンス成分Ｙにおいては考慮されない。ルミナンス成分Ｙのデシメーションは人間が知覚可能であることから、ルミナンス成分Ｙをデシメートすることはいつも望ましいとは限らない。４：４：４フォーマットから４：２：２フォーマットにクロミナンスピクセルデータのブロックをデシメートするために、各クロミナンス成分ＣｂおよびＣｒのフィルタリングが実行される。実施形態では、フィルタリングプロセスは隣接エレメントとともに特定のエレメントに対してガウスフィルタを使用することにより列値を重み付けすることが含まれる。列フィルタリングは、垂直方向と対照的に、水平方向にはさらに多くの相関が存在していることが見出されている点で好ましい。実施形態では、４：２：２フォーマットにおけるエレメント（ｎ−１，ｍ）は（ｎ−１，ｍ−１）エレメントの２５％、（ｎ−１，ｍ）エレメントの５０％、および（ｎ−１，ｍ＋１）エレメントの２５％の合計を取ることにより導出される。したがって、４：２：２フォーマットでは、（ｎ−１，ｍ）の新しい値は次のようになる。
【数５】

【００５５】
同様な計算はエレメントの他のすべての列に対してなされ、図５に示されているような４：２：２フォーマットにおけるエレメントのテーブルとなる。したがって、データの他のすべての列が除去されているが、それらの値は先に説明した重み付けられた関係を使用して残りの列で表される。等しい重み付けを持つ３点フィルタのような他の重み付けスキームを使用し、各エレメントが０．３３により乗算されることも企図されている。
【００５６】
図６はピクセルデータの４：２：０フォーマットの例を示している。４：２：０データを計算するために、各隣接エレメントに対して０．２５、所定エレメントに対して０．５０の同じ重み付けスキームを使用して行デシメーションが実行される。したがって、４：２：０フォーマットにおけるエレメント（ｎ，ｍ）は（ｎ−１，ｍ）エレメントの２５％、（ｎ，ｍ）エレメントの５０％、および（ｎ＋１，ｍ）エレメントの２５％の合計を取ることにより導出される。したがって、４：２：０フォーマットにおいて、（ｎ，ｍ）の新しい値は次のようになる。
【数６】

【００５７】
解像度に依存して、（ｎ，ｍ）の値は周波数領域またはピクセル領域のいずれかで丸められる。例として、ここで開示されている実施形態とともに説明されているさまざまな例示的な論理ブロック、フローチャート、およびステップは、特定用途向け集積回路（ＡＳＩＣ）、プログラム可能論理デバイス、マイクロプロセッサ、離散ゲートまたはトランジスタ論理回路、例えばレジスタやＦＩＦＯのような離散ハードウェア構成部品、１組のファームウェア命令を実行するプロセッサ、従来のプログラム可能なソフトウェアおよびプロセッサ、またはこれらの何らかの組み合わせにより、ハードウェアまたはソフトウェアで構成または実行することができる。プロセッサはマイクロプロセッサであれば便利であるが、代わりに、プロセッサは従来の任意のプロセッサ、制御装置、マイクロ制御装置、または状態マシーンであってもよい。ソフトウェアはＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、レジスタ、ハードディスク、除去可能ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、他の何らかの形態の技術的に知られている記憶媒体に存在していてもよい。
【００５８】
好ましい実施形態の先の説明は当業者が本発明を作りまたは使用することができるように提供されている。これらの実施形態に対するさまざまな変形は当業者に容易に明らかになるであろう。ここで規定されている一般的な原理は発明能力を使用することなく他の実施形態に対して適用することができる。したがって、本発明はここで示されている実施形態に制限されることを意図しているものではなく、ここに開示されている原理および新規な特徴と矛盾しない最も広い範囲にしたがうべきである。
【図面の簡単な説明】
【００５９】
【図１】図１はデシメータを組み込むイメージ処理システムのブロック図である。
【図２】図２はブロックサイズ割当の詳細を示すブロック図である。
【図３】図３は４：４：４デジタルイメージの選択的なデシメーションプロセスを示すフロー図である。
【図４】図４はピクセルデータのクロミナンス部分の４：４：４ブロックの例を示している。
【図５】図５はピクセルデータのクロミナンス部分の４：２：２ブロックの例を示している。
【図６】図６はピクセルデータのクロミナンス部分の４：２：０ブロックの例を示している。

Claims (33)

1. 複数のピクセルにより表されるデジタルイメージのデシメーションの方法において、
   デジタルイメージを複数のブロックに分割し、
   予め定められた基準に基づいてブロックのあるものを選択的にデシメートすることを含む方法。
2. 予め定められた基準はブロックのクロミナンス情報の関数である請求項１記載の方法。
3. 予め定められた基準はブロックのコントラストの関数である請求項１記載の方法。
4. 予め定められた基準はブロック内の詳細のレベルの関数である請求項１記載の方法。
5. 予め定められた基準は所望のビットレートの関数である請求項１記載の方法。
6. 分割することは適応ブロックサイズ離散コサイン変換（ＡＢＳＤＣＴ）を利用することをさらに含む請求項１記載の方法。
7. 分割することはデジタルイメージをＹ、ＣｂおよびＣｒ成分に分離することをさらに含む請求項１記載の方法。
8. 各ブロックは複数の列（ｍ）および行（ｎ）内の複数のエレメントとして表され、
   デシメートすることはブロックの各列の各エレメントをフィルタリングすることをさらに含み、
   ｍ番目の列が与えられた場合に、フィルタリングは、列ｍ−１を２５％重み付けし、列ｍを５０％重み付けし、列ｍ＋１を２５％重み付けすることをさらに含む請求項１記載の方法。
9. ブロックの各行の各エレメントをフィルタリングすることをさらに含み、
   ｎ番目の行が与えられた場合に、フィルタリングは、行ｎ−１を２５％重み付けし、行ｎを５０％重み付けし、行ｎ＋１を２５％重み付けすることをさらに含む請求項８記載の方法。
10. デジタルイメージをピクセル表現から周波数表現に変換することをさらに含む請求項１記載の方法。
11. 複数のピクセルにより表されるデジタルイメージのデシメーションのための装置において、
    デジタルイメージを複数のブロックに分割する手段と、
    予め定められた基準に基づいてブロックのあるものを選択的にデシメートする手段とを具備する装置。
12. 予め定められた基準はブロックのクロミナンス情報の関数である請求項１１記載の装置。
13. 予め定められた基準はブロックのコントラストの関数である請求項１１記載の装置。
14. 予め定められた基準はブロック内の詳細のレベルの関数である請求項１１記載の装置。
15. 予め定められた基準は所望のビットレートの関数である請求項１１記載の装置。
16. 分割する手段は適応ブロックサイズ離散コサイン変換（ＡＢＳＤＣＴ）技術を利用する手段をさらに備える請求項１１記載の装置。
17. 分割する手段はデジタルイメージをＹ、ＣｂおよびＣｒ成分に分離する手段をさらに備える請求項１１記載の装置。
18. 各ブロックは複数の列（ｍ）および行（ｎ）内の複数のエレメントとして表され、
    デシメートする手段はブロックの各列の各エレメントをフィルタリングする手段をさらに備え、
    ｍ番目の列が与えられた場合に、フィルタリングする手段は、列ｍ−１を２５％重み付けし、列ｍを５０％重み付けし、列ｍ＋１を２５％重み付けする手段をさらに備える請求項１１記載の装置。
19. デシメートする手段はブロックの各行の各エレメントをフィルタリングする手段をさらに備え、
    ｎ番目の列が与えられた場合に、フィルタリングする手段は、行ｎ−１を２５％重み付けし、行ｎを５０％重み付けし、行ｎ＋１を２５％重み付けする手段をさらに備える請求項１８記載の方法。
20. デジタルイメージをピクセル表現から周波数表現に変換する手段をさらに備える請求項１１記載の装置。
21. 複数のピクセルにより表されるデジタルイメージのデシメーションのための装置において、
    デジタルイメージを複数のブロックに分割するように構成された分割器と、
    予め定められた基準に基づいてブロックのあるものを選択的にデシメートするように構成されたデシメータとを具備する装置。
22. 予め定められた基準はブロックのクロミナンス情報の関数である請求項２１記載の装置。
23. 予め定められた基準はブロックのコントラストの関数である請求項２１記載の装置。
24. 予め定められた基準はブロック内の詳細のレベルの関数である請求項２１記載の装置。
25. 予め定められた基準は所望のビットレートの関数である請求項２１記載の装置。
26. 分割器は適応ブロックサイズ離散コサイン変換（ＡＢＳＤＣＴ）を利用するようにさらに構成されている請求項２１記載の装置。
27. 分割器はデジタルイメージをＹ、ＣｂおよびＣｒ成分に分離するように構成された分離器をさらに備える請求項２１記載の装置。
28. 各ブロックは複数の列（ｍ）および行（ｎ）内の複数のエレメントとして表され、
    デシメータはブロックの各列の各エレメントをフィルタリングするように構成されたフィルタをさらに備え、
    ｍ番目の列が与えられた場合に、フィルタは、列ｍ−１を２５％重み付けし、列ｍを５０％重み付けし、列ｍ＋１を２５％重み付けするように構成された重み付け器をさらに備える請求項２１記載の装置。
29. フィルタはブロックの各行の各エレメントをフィルタリングするようにさらに構成され、
    ｎ番目の列が与えられた場合に、重み付け器は、行ｎ−１を２５％重み付けし、行ｎを５０％重み付けし、行ｎ＋１を２５％重み付けするようにさらに構成されている請求項２８記載の方法。
30. デジタルイメージをピクセル表現から周波数表現に変換するように構成されているコンバータをさらに備える請求項２１記載の装置。
31. ４：４：４デジタルイメージを４：２：２デジタルイメージに変換し、デジタルイメージは複数のピクセルにより表される方法において、
    デジタルイメージを複数のブロックに分割し、各ブロックは複数の列（ｍ）として表され、各列ｍは複数のエレメントを含み、
    ブロックの各列の各エレメントを選択的にフィルタリングすることを含む方法。
32. ｍ番目の列が与えられた場合に、フィルタリングすることは、
    列ｍ−１を２５％重み付けし、
    列ｍを５０％重み付けし、
    列ｍ＋１を２５％重み付けすることをさらに含む請求項３１記載の方法。
33. ４：４：４デジタルイメージを４：２：２デジタルイメージに変換し、デジタルイメージは複数のピクセルにより表される方法において、
    デジタルイメージをＹ、ＣｂおよびＣｒ成分に分離し、
    適応ブロックサイズ離散コサイン変換（ＡＢＳＤＣＴ）を利用してＣｂおよびＣｒ成分を複数のブロックに分割し、各ブロックは複数の列（ｍ）として表され、各列ｍは複数のエレメントを含み、
    ブロックの各列の各エレメントを選択的にフィルタリングし、
    ｍ番目の列が与えられた場合に、フィルタリングするステップは、
    列ｍ−１を２５％重み付けし、
    列ｍを５０％重み付けし、
    列ｍ＋１を２５％重み付けすることをさらに含む方法。

Images