JP2000506687A - 知覚量を用いて符号化を最適化し自動操作可能な画像圧縮を実行する装置及び方法 - Google Patents

Abstract

(57)【要約】 符号化される画像又はビデオ（１０４）の内容を分析することによって得られる知覚量に応じて符号化パラメータを調整する方法及び装置。すなわち、オリジナル画像（１０２）（又は、画像シーケンス）を再生された画像（１１０）と比較し、定量的な知覚差の計測値（１１２）を用いて比較結果を処理することによって知覚量が生成される（１１２）。差の計測値から、再生された画像の「忠実度」を表現する知覚量が得られる。この量が符号化パラメータ（１０８）を制御するのに使用され、それによって、画像の符号化を反復的に調整することができる。更に、この方法及び装置は、自動操作可能な画像圧縮システムを提供するために使用される。

Description

【発明の詳細な説明】 知覚量を用いて符号化を最適化し自動操作可能な画像圧縮を実行する 装置及び方法 本出願は、１９９６年３月２９日出願の米国特許予備出願第６０／０１４，２ ６６号、１９９６年３月２９日出願の米国特許予備出願第６０／０１４，２７２ 号、及び、１９９６年３月２９日出願の米国特許予備出願第６０／０１４，２７ ３号による利益を主張するものである。 本発明は、画像又は画像シーケンスを最適符号化するための装置とそれに付随 する方法に関する。より詳細には、本発明は、指定された符号化レートを維持す るとともに、知覚量（perceptual metric）に基づいて画像全体の忠実度を最適 化するために、画像エンコーダに用いられる符号化パラメータを選択する方法及 び装置に関する。 発明の背景 異なった製造元のディジタルビデオ機器の相互運用性（interoperability）を 達成するために、動画像専門家グループ（ＭＰＥＧ）が、ＩＳＯ／ＩＥＣ国際標 準１１１７２（１９９４年）（一般にはＭＰＥＧ−１と呼ばれる）及びＩＳＯ／ ＩＥＣ国際標準１３８１８（１９９５年１月２０日の規格案）（一般にはＭＰＥ Ｇ−２と呼ばれる）を作成した。これらは、その全体が本明細書に援用されてい る。これらの規格の１つの目的は、卓上ビデオ出版、テレビ会議、ディジタル記 録媒体、及び、テレビジョン放送などの複数の異なる用途及びサービスを収容す るために十分な柔軟性を有する標準復号化方法を確立することである。 ＭＰＥＧ規格は、ＭＰＥＧ準拠ビットストリームを生成するための符号化文法 を特定しているが、効果的なビットストリームを生成するのに必要とされる特定 のアルゴリズムは規定していない。このように、多くの符号化パラメータに割り 当てられた値は種々に変化することが可能であり、それによって、広い範囲の利 用形態及び相互運用をサポートする。このＭＰＥＧ規格によれば、ＭＰＥＧエン コーダの設計者は、彼ら自身の特定のＭＰＥＧアルゴリズムを開発及び実施する 場合に、画像前処理、動き椎定、符号化モード決定、スケーラビリティ、及び、 レート制御などのような領域においてかなりの柔軟性を持つことが許されている 。この柔軟性が、様々なＭＰＥＧ準拠符号化アルゴリズムの開発及び実施を助長 し、それによって、市場での製品差別化をもたらすのである。しかしながら、Ｍ ＰＥＧエンコーダの共通の目的は、定められたビットレートとして復号化された ビデオにおける歪みを最小限にすることである。 符号化レート制御の領域においては、ＭＰＥＧ規格は、エンコーダのビットレ ートを制御するための特定のアルゴリズムを規定していない。デコーダの入力バ ッファがオーバフローもアンダフローもしないようにビットレートを調整し、デ コーダの出力側で高忠実度のビデオを生成するように量子化スケールを調整する ためのレート制御処理を考案するのはエンコーダの設計者の仕事である。 復号化された画像の「外観」を改善するためには、圧縮解除（decompressed） されたビデオにおけるより重要な領域が、あまり重要でない領域よりも良好な忠 実度を有することが望ましい。 例えば、背景の前で話をしている人物から構成されるビデオシーンでは、復号 化されたビデオの視聴者は、話をしている人物に対してより興味があり、ゆえに 、それは背景情報よりも重要であろう。従って、シーンの重要な領域を表現する ために不均衡により多くの符号化ビットが使用され、かつ、あまり重要でない背 景情報を表現するために不均衡により少ない符号化ビットが使用されるようにエ ンコーダを「操作する（steer）」能力を有することは有益なことである。換言 すると、圧縮において、必須のエンコーダパラメータであるオーバタイム及び空 間位置を変化させることによって、結果として得られる圧縮解除画像の忠実度を 調整することが望まれる。このことは、一般的には、ユーザ操作画像圧縮と呼ば れる。 ユーザ操作画像圧縮に現在使用されている方法は反復処理である。例えば、エ ンコーダユーザのような「圧縮エンジニア」は、適切なエンコーダパラメータと して一組の値を指定し、画像を圧縮し、その結果として得られる圧縮解除された 画像を観察し、その画像はどこが空間的及び時間的に所望の画像より良く見える か或いは悪く見えるかを判定する。そして、それに応じて、圧縮エンジニアは、 エンコーダパラメータを調整し、圧縮解除された画像の様々な空間的及び時間的 領域における視覚的な忠実度に所望の変化を与える。 この方法の１つの問題は、この処理で使用される目標画像忠実度量（objectiv e image fidelity metric）がないために、画像忠実度を測定して画像忠実度の 所望の空間的及び時間的分布が達成されたかどうかを判定するための唯一の方法 は、圧縮エンジニアが圧縮解除された画像全体を実際に確かめることである。更 にまた、圧縮された情報が単一の画像ではなく画像シーケンス（例えば、ビデオ ）であれば、圧縮エンジニアはビデオシーケンス全体を再評価しなければならな い。ユーザ操作画像圧縮のためのこの手動の方法はきわめて主観的なものであり 、そのために、一貫性がなく、時間がかかり、圧縮エンジニアを疲れさせるもの である。更に、この処理は、圧縮されるべきそれそれの画像又は画像シーケンス ごとに「最初から」反復されなければならない。更にまた、この方法は、圧縮エ ンジニアが、復号化された画像の忠実度に所望の変化を与えるためにはどのエン コーダパラメータが調整されるべきであるかを判断するために、圧縮アルゴリズ ムのかなりの専門的技術及び知識を有していることが必要である。このエンコー ダパラメータの調整は、試行錯誤によって頻繁になされなければならない。 従って、人間の視覚システムがどのように画像を観察するかを考慮して、すな わち、知覚画像忠実度を考慮して画像が最適に符号化されるように、知覚量に基 づいて画像符号化パラメータを動的に調整し、かつ、操作可能な画像圧縮を自動 的に実行する装置及び方法がこの技術分野において必要とされている。 発明の概要 本発明は、符号化される画像の内容を分析することによって得られる知覚量に 応じて画像符号化パラメータを選択する方法及び装置に関する。すなわち、オリ ジナル画像を再生された画像と比較し、定量的な知覚差の量を用いてその比較結 果を処理することによって、１以上の符号化パラメータ、例えばエンコーダの量 子化スケールが選択される。この量は、再生された画像の「忠実度」を表現し、 画像の符号化を最適化するために符号化パラメータを更新するのに使用される。 操作可能な画像圧縮を容易にするために、本発明は、忠実度量に基づいたエン コーダを使用し、入力画像を符号化するとともに忠実度マップを生成する。忠実 度マップは、ユーザが定義した重要度マップと比較される。忠実度マップと重要 度マップとが実質的に一致しなければ、システムは符号化パラメータを調整して 入力画像を再符号化する。符号化処理はもう１つの忠実度マップを生成し、そし て、それが重要度マップと比較されて２つのマップがどの程度まで一致している かが判定される。忠実度マップと重要度マップとが十分な程度まで一致するまで 、この反復処理がエンコーダパラメータを調整する。その時点において、符号化 された画像は、重要度マップによって指定されるように、高い忠実度に符号化さ れたある領域とより低い忠実度に符号化されたある領域とを有する。 図面の簡単な説明 添付された図面とともに以下の詳細な説明を考察することによって本発明の教 示内容が容易に理解できるであろう。 図１は、本発明によるエンコーダパラメータ選択器を組み込んだ画像エンコー ダのブロック構成図である。 図２は、図１に示される画像エンコーダの動作を説明するフローチャートであ る。 図３は、本発明の第二実施形態のブロック構成図であり、本発明による量子化 レートコントローラを組み込んだブロックに基づく画像符号化システムである。 図４は、図３に示される本発明の第二実施形態の動作を説明するフローチャー トである。 図５は、本発明の第３の実施形態のブロック構成図である。 図６は、本発明の第４の実施形態のブロック構成図である。 図７は、本発明による操作可能な圧縮ルーチンのフローチャートである。 図８は、本発明の符号化パラメータを調整するために用いられた具体的な関数 のグラフである。 理解を容易にするために、各図面を通して共通する同一の構成部材は、可能な 限り同じ符号で示す。詳細な説明 図１は、本発明によるエンコーダパラメータの選択が組み込まれた画像エンコ ーダシステム１００を示す図である。具体的には、システム１００は、画像エン コーダ１０４、エンコーダパラメータ選択器１０８、及び、知覚忠実度量発生器 １１２を含む。画像エンコーダ１０４は、例えば、静止画符号化専門グループ（ ＪＰＥＧ）エンコーダ、ＧＩＦ、ＰＩＣＴ）及び、それらに類似するものなどの ような単一の画像エンコーダか、或いは、例えば、ＭＰＥＧ規格に準拠して動作 するブロックに基づく画像エンコーダのような画像シーケンス（ビデオ）のため のエンコーダであってもよい。この明細書の全体にわたって、画像シーケンス、 画像、及び、ビデオという用語は、それぞれ置き換えて使用することができる。 その最も広い解釈において、本発明は、知覚忠実度量に基づいた符号化パラメー タ選択から恩恵を得るであろう画像エンコーダ又は画像シーケンスエンコーダの どのような形態とでも協動する。 より詳細には、経路１０２に沿ったエンコーダ１０２への入力は画像又は画像 シーケンス（ビデオ）であり、経路１０６に沿った出力は入力画像のビットスト リーム表現である。更に、このエンコーダは、復号化された画像（「再生された 」画像としても知られる）を生成し、それは、エンコーダにおいて符号化されて 、更に、復号化された画像である。この再生された画像が、知覚忠実度量発生器 １１２に結合される。また、入力経路１０２は、知覚忠実度量発生器１１２に結 合される。知覚忠実度量発生器１１２は、エンコーダパラメータ選択器１０８に 結合される。そして、この選択器１０８はエンコーダ１０４に結合される。パラ メータ選択器１０８は、それ単独か或いは他のパラメータと組み合わせてすべて のパラメータを変更することができ、それが再生される画像の忠実度に影響を及 ぼす。例えば、パラメータには、エンコーダ量子化スケール、符号化ブロックサ イズ、ビットレート、及び、それらに類似するものが含まれ得る。 知覚忠実度量発生器１１２は、知覚量を生成するためにどのような種類の定量 的な知覚差の計測値を使用してもよい。そのような定量的な知覚差の計測値の１ つの例としては、弁別しきい値（Just Noticeable Difference：ＪＮＤ）マッ プがある。ビデオを符号化するための定量的な知覚差の計測値として使用するこ とのできる空間的及び時問的ＪＮＤマップ、すなわち、画像忠実度の２次元表現 が、本明細書に援用されている１９９６年６月１７日出願の米国特許出願第０８ /６６８，０１５号明細書に開示されている。その他の定量的な知覚差の計測と しては、A.B.Watson（ed.），Digital Images and Human Vision，MIT Pre ss,１９９３年の１７９〜２０６頁に記載された、S.Dalyによる「The Visible Differences Predictor：An algorithm for the Assessment of ImageQu ality（可視的な差分予測装置：画像品質を評価するためのアルゴリズム）」、 及び Society of Information Display International Symposium Diges t of Technical Papers,Vol.24（１９９３年）の３１７〜３２０頁に記載さ れた、S.Dalyによる「Quantitative Performancｅ Assessment of an Algor ithm for the Determination of Image Quality（画像晶質を判定するた めのアルゴリズムの定量的な性能評価）」に開示されたものがある。 図２は、図１に示すエンコーダシステムの動作ルーチン２００のフローチャー トである。ルーチン２００は開始ブロック２０２から始まり、ステップ２０４に 進み、そこでエンコーダパラメータが選択される。このルーチンの第１回目の処 理によって、ステップ２０４は一組の初期パラメータ値を選択する。ステップ２ ０６において、ビデオが符号化される。ステップ２０８において、ビデオに対し て（又は、個々の画像に対して）忠実度量が生成される。ステップ２１０におい て、知覚忠実度量発生器１１２が、再生された画像をオリジナル画像と比較し、 再生された画像の忠実度を表現する忠実度の計測値（量）を生成する。すなわち 、このルーチンは、再生された画像がオリジナルのビデオを正確に表現している かどうかを判定するものである。エンコーダパラメータ選択器１０８は、この量 を使用して、１以上の調整可能なエンコーダパラメータに対して特定のパラメー タ値を選択する。ステップ２１０において、ルーチン２００は、忠実度量が特定 の忠実度条件を満足するかどうかを問い合わせる。この条件は、ルーチンが反復 される回数の限度、忠実度の均一性の計測値、或いは、それらに類似するもので あってもよい。忠実度量が条件を満足しなければ、ルーチンは、経路２１２に沿 ってステップ２０４に戻る。ステップ２０４において、ルーチンは、ビデオを符 号化した後のステップ２１０の忠実度条件を満足させるためにパラメータ値を更 新する。ステップ２１０において、条件が満足されたならば、ルーチンは、「は い」の経路に沿ってこの処理を終了する。すなわち、ビデオシーケンスが最適に 符号化される。 図３は、本発明の第二実施形態のブロック構成図であり、本発明による符号化 技術を組み込んだブロックに基づく符号化システム３００（具体的には、ビデオ を符号化するためのＭＰＥＧ型エンコーダ）である。この実施形態においては、 本発明によって調整される符号化パラメータは、エンコーダ量子化スケールであ る。上述したように、当業者には、以下に記述される方法によってエンコーダの 他のパラメータも同様に調整できることが理解できるであろう。 システム３００は、一般的にはディスクドライブか又はその他の画像シーケン ス発生源等の画像記憶装置（図示しない）から提供される少なくとも２つの画像 （第１の画像及び第２の画像）からなるシーケンスを符号化する。シーケンスは 、一組の初期量子化スケールを用いて符号化される。次に、符号化された画像に 対して特定の知覚量の値を実現するために、量子化スケールを最適化する反復処 理を用いてビデオの各画像が反復して符号化される。 具体的には、システム３００は、減算器３０４、離散コサイン変換（ＤＣＴ） 発生器３０８、量子化器３１２、可変長エンコーダ（ＶＬＣ）３１６、逆量子化 器３１８、逆ＤＣＴ３２０、加算器３３０、及び、動き推定補償ユニット３２２ を含んだ従来のＭＰＥＧ型エンコーダを形成する複数の構成要素を含む。本発明 は、知覚量発生器３２６及び量子化スケール発生器３２８を含んだ量子化スケー ルコントローラ３２４によって具体化される。 ポート３０２におけるシステム３００への入力信号は、それぞれが複数のブロ ックに分割されている前処理された画像シーケンス（ビデオ）であり、ビデオ「 クリップ（clip）」全体からのブロックが、システムへの入力として順次に提供 されると仮定する。ＭＰＥＧ規格においては、これらの画素ブロックは、例えば 、１６×１６の画素ブロックのようなマクロブロックとして一般に知られている 。以下の開示においては、ＭＰＥＧ規格の専門用語が使用されるが、マクロブロ ック又はブロックという用語は、符号化の基本単位として使用されるあらゆるサ イズ或いはあらゆる形状の画素ブロックを表現しようとするものであることを理 解されたい。大まかに言えば、「マクロブロック」は、単一画素と同じ程度に小 さいものであってもよく、或いは、ビデオフレーム全体と同じ程度に大きいもの であってもよい。 システム３００は、経路３１４に沿った量子化された信号から予測マクロブロ ック（予測画像）を計算する。それぞれの予測マクロブロックは、わかりやすく 言えば、送信された出力信号の受信機が受信した信号を復号化するのと同じよう に、経路３１４に沿った量子化された信号を復号化することによって生成される 。減算器３０４は、入力マクロブロックから予測マクロブロックを減算すること によって、残差信号（当該技術分野においては、単に残差又は残差マクロブロッ クとも呼ばれる）を経路３０６に生成する。例えば、第１の画像及び第２の画像 を含んだ入力画像シーケンスであれば、初期量子化スケールを用いて、第１の画 像からのマクロブロックが符号化される。そして、「逆方向」動き補償技術を用 いるＭＰＥＧ規格によれば、第１の画像に同じように配置されたマクロブロック と理想的には同一であるべき予測マクロブロックを生成するために、第２の画像 からのマクロブロックが使用される（動き補償がなされる）。予測マクロブロッ クと第１の画像のマクロブロックとの間のどのような差でもそれが残差マクロブ ロックを形成する。この符号化処理は、システムへの入力を形成する画像シーケ ンスの各画像に存在するすべてのマクロブロックに対してなされる。もちろん、 符号化されるべき画像が、いわゆる（ＭＰＥＧ規格で規定されるような）Ｉ−フ レームであれば、動き補償はなにもなされずに、その画像を符号化している間、 動き推定補償ユニット３２２は非動作状態である。 各残差マクロブロックは、それらが形成されると、ＤＣＴ発生器３０８を用い て符号化される。ＤＣＴは、ＤＣＴ発生器への入力信号を表現する係数を生成す る。ＭＰＥＧエンコーダで使用される従来の符号化処理はＤＣＴ処理を用いるが 、本発明は、同様に、ウェーブレット変換のような別の種類の信号変換によって も動作する。 量子化器３１２は、ＤＣＴ係数を量子化し、可変長エンコーダ３１６への入力 において、量子化された係数からなるブロックを生成する。本発明による量子化 スケールコントローラ３２４は、ＤＣＴ係数を量子化するのに使用される量子化 スケール（ステップサイズ）を制御する。更に、可変長エンコーダ３１６が、量 子化された係数値を符号化し、ＭＰＥＧ規格に準拠する符号化されたビットスト リームを生成する。 動き補償に用いられる正しい予測マクロブロックと有効な動きベクトルとを生 成するためには、エンコーダは、復号化された画像にアクセスする必要がある。 そのようなアクセスをなすために、（経路３１４に沿った）量子化器の出力が、 逆量子化器３１８と逆ＤＣＴ３２０との両方に供給される。逆ＤＣＴの出力は、 理想的には、ＤＣＴ３０８への入力（例えば、残差マクロブロック）と同一であ る。正確な復号化マクロブロック（再生されたマクロブロック）を生成するため に、システムは、逆ＤＣＴの出力と以前に生成された予測マクロブロックとを加 算する（加算器３３０において）。動き推定補償ユニット３２２は、再生された マクロブロックを使用して、やがて現れる入力画像のための予測マクロブロック を生成するのに使用される動きベクトルを生成する。 一般的には、動きベクトルを生成するために、動き推定補償ユニット３２２は 、以前の画像におけるマクロブロックと現在の入力マクロブロックとの間の実質 的な一致を探索する。以前の画像は、一般には、アンカー（anchor）画像と呼ば れる。ＭＰＥＧ規格においては、アンカー画像は、２つのマクロブロックの間に ある画像群（ＧＯＰ）として知られる画像シーケンスの中のＩ−フレーム又はＰ −フレームとして知られているものである。動きベクトルは、一致が検出された マクロブロック間の相対的な位置を表現するベクトルである。量子化スケールを 最適化するのに使用される反復処理の間、動きベクトルは変化しない。このよう に、動き推定は、反復処理の第１回目に実行されさえすればよい。そして、予測 画像が、フレーム記憶装置３２３に記憶され、本発明による反復処理において繰 り返し使用される。 本発明で使用することのできるＭＰＥＧエンコーダシステムの１つの例として は、Milpitas,CaliforniaのLSI Logic,Inc.,からのModel L64120のような１つ の集積回路として市販されている従来のシステムがある。 従来のエンコーダの組に加えて、本発明によるシステムは、知覚量に基づいた 一組の量子化スケール値を生成する量子化スケールコントローラ３２４が組み込 まれている。「一組の」量子化スケール値は、画像シーケンスにおける各マクロ ブロックごとに１つのスケール値を有するアレイを含む。量子化スケールコント ローラは、知覚量発生器３２６と量子化スケール発生器３２８とを含む。発生器 ３２６は、再生されたマクロブロック、及ひオリジナルのマクロブロックを分析 して、人間の目が再生されたビデオをどのように知覚するかを予測する画像シー ケンスに対する知覚量を決定する。例えば、この量は、再生されたビデオに対す る忠実度の計測値である。各入力画像のマクロブロックが処理されると、発生器 ３２６は、マクロブロックの量を量記憶装置３１０に記憶する。知覚量の値に応 じて、量子化スケール発生器３２８は、画像シーケンスに対する一組の新しい量 子化スケール値を生成し、それが、残差マクロブロックを符号化することを可能 にし、それによって、量子化スケールコントローラは、画像シーケンスの知覚量 が最適化される。一組の新しい量子化スケールを用いて、画像シーケンス全体が 、再度、マクロブロックごとに符号化される。符号化される画像シーケンス全体 に対しての知覚量が停止条件を満足するまで、この反復処理を用いて、ビデオに 対する量子化スケールが繰り返し計算される。 本発明の第一実施形態の場合と同様に、知覚量発生器３２６は、知覚量を生成 するためにどのような種類の定量的な知覚差の計測値を用いてもよい。 知覚量を考慮して、量子化スケール発生器３２８は、所定のマッピング関数を 使用して量子化スケールを調整する。図８は、本発明による第二実施形態に用い られた具体的な例としてのマッピング関数である。マクロブロックｉに対する新 しい量子化スケールをＱ_new,i、マクロブロックｉに対する古い量子化スケール をＱ_old,iで表せば、 Ｑ_new,i＝Ｑ_old,i＋ｆ（Ｘ_i，Ｘ_goal）となる。 ここで、Ｘ_iは、マクロブロックｉに対する知覚量であり、 Ｘ_goalは、画像シーケンス全体に対する知覚量の目標値である。 このように、ある特定のマクロブロックに対する新しい量子化スケールＱ_{new, i} は、そのマクロブロックに対する古い量子化スケールＱ_old,iに、そのマクロブ ロックに対する知覚量Ｘ_iが画像シーケンス全体に対する忠実度の目標Ｘ_goalに どのくらい近似しているかを表現するｆ（Ｘ_i，Ｘ_goal）の値を加えたものから なる関数である。具体的な例としての関数ｆ（Ｘ_i，Ｘ_goal）が図８に示される 。もちろん、エンコーダの利用形態に応じて、新しい量子化スケールと古い量子 化スケールとの間の別の関係式が使用されてもよい。 図８に示される関数を用いれば、マクロブロックが高い忠実度を有する場合に 、本発明は、量子化スケールを減少させることによってそのマクロブロックの忠 実度を減少させ、それとは逆に、低い忠実度を有するマクロブロックに対しては 忠実度を増大させる。画像に存在するすべてのマクロブロックを反復して処理し た後、復号化された画像は、十分に均一な忠実度を有する。 別の方法として、量子化スケール発生器は、量子化スケール（古いＱスケール ）に倍率を掛けることによって、知覚量を考慮して量子化スケールを調整する。 この倍率は、「マクロブロック関連（macroblock-wise）」の知覚量を用いて計 算される。すなわち、ただ１つの量の値が、マクロブロック全体の「忠実度」を 表現する。量は、マクロブロックの中の「画素関連（pixel-wise）」の量の最大 値又は平均値であってもよい。換言すると、知覚量発生器は、画素単位の忠実度 計測値として知覚量を計算し、画素単位の計測値は、すべての画素単位の知覚量 を平均することによってか、又は、マクロブロック全体に対する量として単純に 最大の画素単位の量を選ぶことによって、マクロブロック単位の計測値に変換さ れなければならない。各マクロブロックに対する量は、量記憶装置３１０に記憶 される。 以下の説明のために、ｉ番目のマクロブロックに対する知覚量をＸ_iで表し、 画像全体に対する平均の量の値をＥ［Ｘ］で表す。倍率は、Ｘ_iとＥ［Ｘ］の関 数である。反復処理は、すべてのｉに対するそれぞれの量の値Ｘ_iを調整して、 画像に対する平均の量の値に平均化することを試みる。換言すると、この処理は 、画像全体にわたって十分に均一な画像忠実度を実現する。この関数は、ｆ（Ｘ_i ，Ｅ［Ｘ］）として表され、次の性質を有する。 （１）Ｘ_i＞Ｘ_jであれば、 ｆ（Ｘ_i，Ｅ［Ｘ］）＜ｆ（Ｘ_j，Ｅ［Ｘ］） （２）関数の範囲は、α＜ｆ（Ｘ_i，Ｅ［Ｘ］）＜βであるようなα及びβの ２つの有限数によって制限される。 ここで、Ｘ_i及びＸ_jは、マクロブロックの知覚量の値であり、ｉ≠ｊであり、 ｉ及びｊは、０からＮ−１まで範囲にある整数値であり、Ｎ−１は、画像におけ るマクロブロックの総数である。 倍率導出関数は、次の式で表される。 ｆ（Ｘ_i，Ｅ［Ｘ］）＝ （ａＸ_i＋ｂＥ［Ｘ］＋ｃ）／（ｂＸ_i＋ａＥ［Ｘ］＋ｄ） ここで、ａ＜ｂである。 例えば、ｃ＝ｄ＝０であるとき、この関数は、上述の条件（１）及び（２）を 満足する。なぜなら、この関数は、Ｘ_iに関しての減少関数であり、かつ、範囲 が、 ａ／ｂ＜ｆ（Ｘ_i，Ｅ［Ｘ］）＜ｂ／ａ に制限されているからである。 そして、古い量子化スケール（Ｑ_old,i）と倍率関数とから新しい量子化スケ ール（Ｑ_new,i）を計算するのにｉ番目のマクロブロックに対する倍率が使用さ れる。この関係式は、 Ｑ_new,i＝ｆ（Ｘ_i，Ｅ［Ｘ］）Ｑ_old,i となる。 このように、上の関係式は、与えられたマクロブロックに対する知覚量が比較 的に大きいときには量子化スケールを必ず減少させ、マクロブロックに対する知 覚量が比較的に小さいときには量子化スケールを増加させる。このように、本発 明は、マクロブロックが高い忠実度を有する場合には、量子化スケールを減少さ せることによって忠実度を減少させ、低い忠実度を有するマクロブロックに対し てはその逆である。画像に存在するすべてのマクロブロックを反復して処理した 後、復号化された画像は、十分に均一な忠実度を有する。 いったん決定されてしまえば、画像シーケンス全体を再符号化するのに新しい 量子化スケールが使用され、更新された再生マクロブロックが生成される。これ らの更新された再生マクロブロックから、システムは、各マクロブロックに対す る新しい知覚量を計算する。新しい知覚量が所定の停止条件を満足しなければ、 画像は、一組の更新された量子化スケールによって再符号化される。この反復処 理は、マクロブロックに対する知覚量が停止条件を満足するまで繰り返される。 Ｘ_iとｆとの間には逆数の関係（inverse relationship）があるので、処理は、 無限に多くの繰り返しの後には最適な量子化スケールに収束する。しかしながら 、計算サイクルを節約するために、一般には、反復は約１０回まで実行した後に 停止される。 １つの停止条件としては、例えば、画像シーケンスに対してのすべての知覚量 が、目標とする量の値のあるしきい値の範囲内にある場合に処理を終了すること である。もう１つの停止条件は、知覚量のフレーム平均の減少率が画像シーケン ス全体に対しての所定のしきい値以下であることを利用することである。フレー ム平均は、シーケンス内の単一画像におけるすべてのマクロブロックに対しての 量の値を加算し、シーケンス全体のマクロブロックの総数で除算することによっ て計算される。平均は、反復処理を実行するたびごとに計算される。減少率（例 えば、平均曲線の傾き）がしきい値以下であれば処理は停止される。しきい値が ０である場合、このアルゴリズムは、最適解に収束すると考えられる。Ｘ_iの変 形（variant）を付加してそれの変動（variance）をあるしきい値内に制限する ことによって、この最小化問題に更なる制約を付加することができる。それによ って、すべての量の値が知覚量の平均値のまわりの予め定められた領域内にあれ ば 処理が停止される。 多くの通信システムにおいて、エンコーダは、「固定ビットレート符号化」を 用いなければならず、また、所定のマクロブロックすなわち画像を符号化するの に使用されるビット数を規定する厳しいビット割当（ｂｉｔ ｂｕｄｇｅｔ）を 満足しなければならない。このように、この量子化処理に適用されるその他の制 約は、ある特定の画像を符号化するのに使用されるビット数がその画像のための ビット割当の範囲内にあることを保証する。また、ビット割当の制約は、知覚量 の最小化問題にも課せられるべきである。その結果として、新しい量子化スケー ル（Ｑ_new,i）は、マクロブロックを符号化するのに使用される実際のビット数 がそのマクロブロックのためのビット割当を越えないように調整される。 図４は、本発明による量子化スケールコントローラの動作ルーチンを示す図で ある。このルーチンは、ステップ４０２において開始し、ステップ４０４に進み 、そこで、一組の初期量子化スケールが量子化器及び逆量子化器に対して設定さ れる。ステップ４０６において、初期量子化スケールを用いて残差マクロブロッ クが処理される。ステップ４１２において、このルーチンは、画像シーケンスに おけるすべてのマクロブロックが処理されたかどうかを問い合わせる。問い合わ せの答えが「いいえ」であれば、ルーチンは、ステップ４１４において、次の入 力マクロブロックを処理のために取り込む。ステップ４１２における問い合わせ の答えが「はい」であれば、処理はステップ４０８に進む。 ステップ４０８において、上述したように、画像忠実度の定量的な知覚差の計 測値又はそれに類似する計測値を用いて、知覚量が計算される。ステップ４１０ において、ルーチンはそれぞれのマクロブロックごとの知覚量を記憶する。 ステップ４２０において、ルーチンは、知覚量が停止条件を満足するかどうか を問い合わせる。停止条件は、多くの条件の中のどれでもよく、それらの条件に は、ルーチン反復回数の制限値、平均の量の値の減少率と比較されるしきい値レ ベル、画像シーケンス全体にわたる知覚量の均一性の計測値、そして、それらに 類似するものなどが含まれる。停止条件が満足されなければ、ルーチン４００は 、ステップ４２２に進み、例えば図８の関数を用いて、その量子化スケールの組 を調整する。ステップ４２４において、ルーチンは、入力画像シーケンスの第１ 番目のマクロブロックを検索し、経路４１２に沿ってブロック４０６に戻り、画 像シーケンスの符号化を繰り返す。 一方、ステップ４２０において、停止条件が満足されたならば、ルーチンは、 停止ブロック４２８に進み、そこで、ルーチンは停止する。 量子化スケールコントローラは、典型的には、図２に示される上述のルーチン を実行するようにプログラムされた汎用マイクロプロセッサである。また、量子 化スケールコントローラは、特定用途向け集積回路（ＡＳＩＣ）であってもよい 。マイタロプロセッサ又はＡＳＩＣは、ＭＰＥＧエンコーダハードウェアと協働 して図３に示される符号化システムを形成する。或いは、図３に示されるシステ ム全体が、汎用コンピュータにおいてメモリーに記憶され選択的に実行される複 数の機能ルーチンとして実現されてもよい。 図５は、本発明の第３の実施形態を含んだ画像エンコーダ５００のブロック構 成図である。画像シーケンスではなく単一の画像だけを符号化するので動き推定 補償ユニットがないことを除けば、この実施形態は第二実施形態に類似している 。入力画像を符号化するのに使用される処理は、上述したものと同じである。し かしながら、入力画像はいかなる時間的情報も含まないので、定量的な知覚差の 計測値は、１９９６年６月１７日出願の米国特許出願第０８／６６８，０１５号 明細書、そして、A.B.Watson（ed）,Digital Images and Human Vision,MIT Press，１９９３年、１７９〜２０６頁に記載された S.Daly による「TheVisi ble Differences Predictor:An algorithm for the Assessment of Imag e Quality （可視的な差分予測装置：画像品質を評価するためのアルゴリズム ）」、及び、Society of Information Display International Symposium Digest of Technica１ Papers,Vol.２４（１９９３年）、３１７〜３２０ 頁に記載された S.Daly による「Quantitative Performance Assessment of an Algorithm for the Determination of Image Quality（画像品質を判 定するためのアルゴリズムの定量的な性能評価）」に開示されているような空間 的モデルを利用してもよい。 上述したエンコーダは、知覚量を用いてきわめて正確な符号化ビデオ及び符号 化静止画像を生成するが、連続的なフレーム及びそれらのマクロブロック、すな わち、以前のフレームと現在のフレームとはお互いに時間的に強い相関があると 仮定することによって、上述の実施形態は単純化することができる。この一般的 な仮定には１つの例外が存在する。すなわち、ビデオシーケンス内でシーンチェ ンジが発生する場合である。ほとんどの場合において強い相関があると仮定すれ ば、図３に示されるエンコーダは、単純化されて図６に示されるエンコーダを形 成することができる。エンコーダのこの第４の実施形態は、非反復的な態様で動 作する。このように、知覚忠実度量は、図３に示される実施形態のように、現在 のフレームに対して計算されるのではなく、以前のフレームに対して計算される 。その結果として、図６に示される発明は、量を計算するのに反復的方法は使用 しない。 詳細には、図６は、量子化スケールのような符号化パラメータを更新するため に知覚量を使用する単純化されたエンコーダシステムのブロック構成図を示す。 図３のシステム３００で使用されたものと同一の図６における構成要素は、同一 の参照符号を有することに注意されたい。しかしながら、重要なことに、図６は 、まだ開示されていないいくつかの構成要素を含む。これらの構成要素には、シ ーンチェンジ検出器６０２、量子化スケール中断スイッチ６０４、フレームバッ ファ６０６、及び、フレームバッファ６０８がある。 入力ビデオシーケンスにおける２つの連続的なフレームの間には強い相関が存 在するという仮定であるので、シーンチェンジ検出器は、シーンチェンジが検出 されたときに量子化スケール更新回路を切り離さなければならない。シーンチェ ンジは、従来は、現在のフレームと以前のフレームとの間の差を計測することに よって検出される。シーンチェンジが発生したとき、現在のフレームの量子化ス ケールを変更するのに以前のフレームの知覚計測値を使用することは意味をなさ ない。なぜなら、これらの２つのフレーム間には相関がないからである。このよ うに、シーンチェンジ検出器６０２が、現在のフレームと以前のフレームとの間 に意義のある差を検出したとき、シーンチェンジ検出器６０２は、中断スイッチ ６０４を使用して量子化スケール更新回路を切り離す。 現在のフレーム（又は、マクロブロック）はフレームバッファ６０６に記憶さ れるので、知覚量発生器への入力は、常に、以前のフレームである。同様に、動 き推定補償ユニット３２２は、フレームバッファ６０８に結合される予測画像を 発生する。フレームバッファ６０８は１つのフレームに対しての予測画像を保持 するので、その出力は、以前に再生された画像である（現在の画像に比較すれば ）。このように、知覚量発生器は、以前の再生画像及び以前のフレームに作用し 、以前のフレームに対する知覚計測値を生成し、そして、それが、現在のフレー ムのために以前のフレームによって量子化スケールを更新するのに使用される。 その結果として、更新された量子化スケールを生成する処理において反復が存在 しない。 量子化スケールの値は、スイッチ６０４を介して量子化器３１２に結合される 。回路にあるその他の構成要素は、図３を参照して上述したように動作する。 図７は、ユーザ操作可能画像圧縮ルーチン７００のフローチャートである。こ のルーチンは、画像シーケンス全体又は個々の画像に適用される量を計算するの ではなく上述の図４に示されるルーチンを支援し、それによって、量が、ある画 像領域の画像圧縮忠実度を改善し別の領域の忠実度を低下させるように「操作」 される。例えば、「前景」画像の内容は高い忠実度で圧縮され、「背景」画像の 内容は低い忠実度で圧縮されることが可能である。このルーチンは、ステップ７ ０１によって開始し、ステップ７０２に進み、そこで、量子化スケールのような 符号化パラメータが初期化される。ステップ７０４において、忠実度量に基づい たエンコーダは、まず最初に、ビデオシーケンスの１つのフレーム全体か又は静 止画像のフレーム全体を符号化する。或いは、ビデオ「クリップ」における全部 の画像シーケンスが処理され符号化される。一組の初期エンコーダパラメータを 用いて忠実度量エンコーダが符号化されたビットストリームを生成するとき、エ ンコーダは、ビデオに存在する各画素（又は、各画素ブロック）のビデオ忠実度 を表現する忠実度マップを生成する。エンコーダが画像シーケンスを処理すれば 、シーケンスのそれぞれの画像に対して、忠実度マップがビデオフレームレート で生成される。従って、画像（ビデオ）シーケンスに対して、忠実度マップは空 間的及び時間的成分を有する。忠実度マップは、上述したように、図４のステッ プ４０６、４０８、４１０、４１２、及び、４１４を用いて生成されて記憶され る。 ステップ７０６において、忠実度マップが重要度マップと比較され、２つのマ ップ間の差が判定される。重要度マップは、重要度マップ発生器７１４によって 提供される。画像シーケンスが符号化されると、画像単位に比較がなされる。す なわち、各フレームが、忠実度マップ及び重要度マップに対応づけられる。 重要度マップは、現在符号化されている画像の予め定義されたマップである。 マップを生成するために、ユーザすなわち圧縮エンジニアは、「重要」と思われ 、かつ、最大の忠実度で符号化されるべき画像領域を選択する。ユーザがオリジ ナル画像シーケンスを観察し、各フレームごとに、ユーザが最も重要な領域を際 立たせた通りに、重要度マップは、それの最も単純な形態においては、フレーム 単位で作成される。それぞれの領域にある特定の重要度レベルを与えてもよい。 この重要度レベルは、例えば、１〜１０の範囲を有するものであってもよい。１ ０は、最大の忠実度で符号化されるべき最も重要な領域（或いは複数の領域）で あることを示し、１は、可能な最小の忠実度で符号化されるべき最も重要でない 領域（或いは複数の領域）であることを示してもよい。従って、多くの領域は１ 〜１０の間の値となり、それらの重要度レベルに応じて、それぞれ、より小さい か又はより大きい忠実度で符号化される。 典型的には、重要度マップはグラフィックインタフェースを用いて生成され、 そこでは、ユーザは、位置決め装置を用いて、符号化される画像を表現するグラ フィックインタフェース上の領域を選択することができる。このグラフィックイ ンタフェースを介して、システムは、重要度マップを自動的に生成する。「重要 」という意味は、画像又はビデオが使用されている利用形態に依存するものであ り、一般には主観的なものであることに注意されたい。本発明のアーキテクチャ は、ビデオシーケンス内の空間的−時間的な領域によって重要度が定量的に指定 できるならば、重要度のいかなる定義に対しても機能する。 エンコーダが現在の画像に符号化ビットを適切に割り付けたかどうかを判定す るために、忠実度マップ及び重要度マップがブロック単位で比較され、それによ って、これらのブロックの重要度に対応したそれぞれのブロックごとの忠実度量 が生成される。ステップ７０８において、ルーチンは、２つのマップが実質的に 一致するかどうかを問い合わせる。２つのマップが満足すべき程度まで一致しな ければ、ステップ７１０において、エンコーダに自動調整がなされる。これらの パラメータに対しての変更は、重要度マップによって特徴づけられる所望の忠実 度分布を実現するために、空間的−時間的に符号化ビットを画像シーケンス又は ビデオシーケンス全体に再分配することによって実行される。要するに、各マク ロブロックの量子化スケールが、マクロブロックの重要度を反映するように変更 される。そして、画像が、システムによって指定された新しいパラメータを用い て再符号化され、それが、新しい忠実度マップを生成し、そして、それが重要度 マップと比較される。忠実度マップと重要度マップとが実質的に一致すれば、シ ステムは、ステップ７１２において処理を終了する。一方、忠実度マップと重要 度マップとが依然として一致条件を満足するのに十分であるような程度まで一致 しなければ、システムは、パラメータ調整ブロック７１０に戻り、再度、エンコ ーダパラメータを調整する。この反復処理は、最後には、ユーザによって規定さ れた重要度レベルを満足するようにビデオを符号化することになる。 上述において、エンコーダは、いったん画像が圧縮解除されると、画像の「忠 実度」を表現する忠実度マップを生成する。忠実度量は、典型的には、オリジナ ルのビデオと圧縮解除されたビデオとの間の識別可能な差を表現するものである 。しかしながら、本発明のシステムは、「忠実度」の別の計測値を用いて動作し 、それらには、画像リンギング、モアレパターン、及び、その他の画像アーティ ファクト（artifact：人工産物）の存在を検出することが含まれる。いったんア ーティファクトが検出されると、システムは、１以上の符号化パラメータを調整 し、復号化されたビデオにおいてその個々のアーティファクトを抑制する。一般 的な意味では、忠実度マップは、圧縮解除された画像におけるアーティファクト の存在を表現し、システムは、これらのアーティファクトの発生を抑制又は防止 するためにエンコーダパラメータを調整する。 このシステムに加えて、ある特定のビデオシーケンスに対して重要度マップを 規定する処理を自動化するための利用可能な多くの有効な技術が存在する。例え ば、まず最初にビデオシーケンスをオブジェクトにセグメント化するのに使用さ れる自動画像セグメント化技術を使用することができ、このオブジェクトは、例 えば、画像の前景で動くオブジェクトに対しての画像の背景にあるオブジェクト のよ うに、ユーザにとって異なる重要度のレベルを有してもよい。そのような技術の １つは、発明の名称が「Parallel Pipelined Image Procesing System（並 列パイプライン化された画像処理システム）」である共通に譲渡された１９９６ 年２月２３日出願の米国特許出願第０８/６０６,１７１号に記述され、ここに参 照により取り込まれる。その他の画像セグメント化技術には、発明の名称が「Me thod and System for Rendering and Combining Images（画像をレンダリ ングし組み合わせる方法及びシステム）」である共通に譲渡された１９９５年７ 月１０日出願の米国特許出願第０８/４９９，９３４号明細書、及び、Proceedin gs of the European Conference on Ｃｏｍｐｕｔｅｒ Vision-９２，Sp ringer-Verlag,（１９９２年）の Bergen らによる「Hierarchical Model-base d Motion Estimation（階層モデルに基づく動きの推定）」に開示される画像 処理システムがある。 更にまた、重要度マップの生成は、部分的に自動化されてもよい。ビデオフレ ームにおけるフレームＮに対しての重要度マップを考えると、その重要度マップ をフレームＮ＋１に対しての類似する重要度マップに変換するのに領域追跡技術 に基づいた自動動き推定が使用される。フレームＮ＋１に対してのこの推定され た重要度マップは、直接に使用されてもよく、或いは、ユーザによって適切に変 更されてもよい。変換されたそのような重要度マップは、エンコーダによって生 成することのできる動きベクトルを移出する（export）ことによって、また、そ れらの動きベクトルを使用して重要度マップをずらすことによって、符号化され た画像シーケンス内のオブジェクトの動きを調整することを容易にすることがで きる。 本発明による教示を具体化した様々な実施形態を本明細書で詳細に示し、説明 したが、当業者は、多くの別の様々な実施形態を容易に考えだすことができるで あろう。しかし、それも本発明の教示内容に組み込まれている。

───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号 ６０／０１４，２７３ (32)優先日 平成８年３月29日(1996．3．29) (33)優先権主張国 米国（ＵＳ） (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＣＡ，ＪＰ，ＫＲ，Ｍ Ｘ

Claims (1)

1. 【特許請求の範囲】 １．エンコーダの動作を最適化するために画像エンコーダ（１０４）の符号化パ ラメータを調整する装置であって、 符号化された画像の忠実度を表現する量を決定するための知覚量発生器（１１ ２）と、 前記知覚量に応答して前記符号化パラメータに対する値を選択するための、前 記知覚量発生器に結合されたエンコーダパラメータ選択器（１０８）と、 を備えた装置。 ２．前記符号化パラメータが、前記画像エンコーダのための量子化スケールであ る請求項１に記載の装置。 ３．前記知覚量発生器が、入力画像を再生された画像と比較することによって前 記量を決定し、再生された画像は、符号化され復号化された入力画像である請求 項１に記載の装置。 ４．前記知覚量発生器が、前記符号化された画像に対して複数の量を生成し、符 号化された画像の複数の領域に対する忠実度を表現し、前記複数の量は忠実度マ ップを形成する請求項１に記載の装置。 ５．他の領域よりも高い忠実度で符号化されるべき画像の領域を定義する重要度 マップを生成する重要度マップ発生器（７１４）を更に備え、該重要度マップが 、前記忠実度マップと比較され、重要度マップによって定義されるように他の領 域よりも高い忠実度で画像の特定領域が符号化されるように符号化を操作する請 求項４に記載の装置。 ６．現在の入力画像が以前の入力画像と実質的に異なることを検出し、前記現在 の入力画像が前記以前の入力画像と実質的に異なることが検出されたときに前記 量子化スケールの前記値の選択を中断させる画像差検出器（６０２）を更に備え た請求項１に記載の装置。 ７．画像を符号化する方法であって、 ａ）符号化画像を生成するために、符号化パラメータに対する初期値を用いて 入力画像を符号化するステップと、 ｂ）復号化画像を生成するために、前記符号化画像を復号化するステップと、 ｃ）前記復号化画像を前記入力画像と比較するステップと、 ｄ）前記比較の結果に応答して、前記符号化画像に対する忠実度量を計算する ステップと、 ｅ）前記忠実度量に応答して、前記符号化パラメータの値を変更するステップ と、 を備えた方法。 ８．前記忠実度量が所定の忠実度条件を満足するまで前記ステップａ）〜ｄ）を 反復するステップを更に備えた請求項７に記載の方法。 ９．前記符号化画像の複数の領域それぞれに対する複数の忠実度量を計算するス テップを更に備え、前記複数の忠実度量は忠実度マップを形成する請求項８に記 載の方法。 １０．前記入力画像の他の領域よりも高い忠実度で符号化されるべき前記入力画 像の領域を定義する重要度マップを提供するステップと、 異なった符号化パラメータ値を用いてより高い忠実度で符号化されるべき領域 を決定するために、前記重要度マップを前記忠実度マップと比較するステップと を更に備えた請求項９に記載の方法。 １１．前記符号化パラメータが量子化スケールである請求項７に記載の方法。 １２．前記符号化するステップが、各マクロブロックに割り付けられた前記符号 化パラメータの値を用いて、画像シーケンスを示す複数のマクロブロックを符号 化し、計算するステップが、各マクロブロックに対する忠実度量を生成する請求 項７に記載の方法。 １３．現在の入力画像が以前の入力画像と実質的に異なることが画像シーケンス において検出されたときに、変更するステップが中断される請求項７に記載の方 法。