JP2014520493A - 合成ビデオのためのロスレス・コード化および関連するシグナリング方法 - Google Patents

Abstract

ビデオ符号化で使用する装置が、ビデオ・フレームを受信し、前記ビデオ・フレームにおける少なくとも１つの領域を選択し、前記少なくとも１つの領域の符号化において量子化ステップをバイパスし、前記少なくとも１つの領域内の現在のブロックに対して、予測ブロックを生成し、前記予測ブロックにより前記現在のブロックを取り去って残余ブロックを生成し、前記残余ブロックの符号化における変換ステップを選択的にバイパスするように構成されたプロセッサを備える。

Description

関連出願の記載
本出願は、発明の名称を「合成ビデオのためのロスレス・コード化ツール」とした、発明者がＷｅｎ Ｇａｏらである２０１１年６月３０日出願の米国仮特許出願第６１／５０３、５３４号に対する優先権を主張し、その全体をあたかも再度記載したかのように本明細書に取り込む。

比較的短い映画を表示するのに必要なビデオ・データの量が大量となることがあり、その結果、帯域幅の容量が限られた通信ネットワークでデータをストリーミングするかまたは通信するのが困難になりうる。したがって、ビデオ・データは、近年の電気通信ネットワークで通信される前に圧縮されるのが一般的である。ビデオ圧縮装置は、しばしば、送信前にソフトウェアおよび／またはハードウェアをソース側で使用してビデオ・データをコード化し、それにより、デジタル・ビデオ・イメージを表現するのに必要なデータの量を減らす。次に、圧縮されたデータはビデオ・データを復号化するビデオ解凍装置によって、宛先で受信される。ネットワークリソースが限られ、高いビデオ品質がますます要求され続けると、ビット・レートを増大させずに画像品質を高める改良された圧縮解凍技術が望まれる。

１実施形態では、本開示は、ビデオ・フレームを受信し、当該ビデオ・フレーム内の少なくとも１つの領域を選択し、当該少なくとも１つの領域の符号化において量子化ステップをバイパスし、当該少なくとも１つの領域内の現在のブロックに対して、当該予測ブロックによって現在のブロックを取り去って残余ブロックを生成し、当該残余ブロックの符号化において変換ステップを選択的にバイパスするように構成されたプロセッサを備えた、ビデオ符号化で使用される装置を備える。

別の実施形態では、本開示は、ビデオ・フレームを受信するステップと、当該ビデオ・フレーム内の少なくとも１つの領域を選択するステップと、当該少なくとも１つの領域の符号化において量子化ステップをバイパスするステップと、当該少なくとも１つの領域内の現在のブロックに対して、予測ブロックを生成するステップと、当該予測ブロックによって現在のブロックを取り去って残余ブロックを生成するステップと、当該残余ブロックの符号化において変換ステップを選択的にバイパスするステップとを含む、ビデオ符号化で使用される方法を含む。

さらに別の実施形態では、本開示は、一連の符号化されたビデオ・フレームを含み、領域指示情報をシンタックスに含むビット・ストリームを受信し、当該一連の符号化されたビデオ・フレームでエントロピ復号化を実施して一連の復号化されたビデオ・フレームを生成するように構成されたプロセッサを備えたビデオ復号において使用される装置であって、復号化されたビデオ・フレームの生成には、符号化されたビデオ・フレームにおいて１つまたは複数のロスレス符号化領域を特定し、当該１つまたは複数のロスレス符号化領域のエントロピ復号化における逆量子化ステップをバイパスすることが含まれる装置を含む。

さらに別の実施形態では、本開示は、現在のブロックに対する複数の残余値を含む残余ブロックを生成し、当該残余ブロックの符号化において変換ステップをバイパスするかどうかをＲＤＯ（ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚａｔｉｏｎ）プロセスに基づいて判定し、当該現在のブロックに対して少なくとも１つの変換バイパス・フラグを設定し、当該少なくとも１つの変換バイパス・フラグに対してエントロピ符号化を実施して少なくとも１つの符号化された変換バイパス・フラグを生成し、当該変換ステップをバイパスする場合には当該複数の残余値の少なくとも一部に対してエントロピ符号化を実施して、符号化された残余値を生成し、当該変換ステップをバイパスしない場合には、当該残余ブロックを複数の変換係数を含む変換行列に変換し、当該複数の変換係数に対してエントロピ符号化を実施して複数の符号化された変換係数を生成するように構成されたプロセッサを備えた、ビデオ符号化において使用される装置を含む。

これらおよび他の特徴は、添付の図面と特許請求の範囲と関連して下記の詳細な説明からより明確に理解される。

本開示をより十分に理解するために、添付図面と詳細な説明と関連して以下の簡単な説明を参照する。添付図面では、同様な参照番号は同様な部分を表す。

変換バイパス符号化機構の１実施形態の略図である。 変換バイパス復号化機構の１実施形態の略図である。 量子符号化機構なしの変換の１実施形態の略図である。 量子復号化機構なしの変換の１実施形態の略図である。 ロッシー符号化機構の１実施形態の略図である。 ロッシー復号化機構の１実施形態の略図である。 符号化方法の１実施形態の流れ図である。 復号化方法の１実施形態の流れ図である。 ネットワーク・ユニットの１実施形態の略図である。 汎用目的コンピュータ・システムの略図である。

最初に、１つまたは複数の実施形態の例示的な実装形態を以下で提供するが、開示したシステムおよび／または方法を、現在公知であるかまたは存在する任意数の技術を用いて実装してもよいことは理解される。本開示は、本明細書で図示および説明する例示的な設計および実装形態を含めて、後述する例示的な実装形態、図面、技法には決して限定されず、添付の特許請求の範囲においてその全範囲の均等物に沿って修正してもよい。

一般に、ビデオ媒体では、一連の静止画像またはフレームを相対的に迅速な遷移で表示し、それにより視聴者が動きを認識できるようにする。各フレームは、複数の画素またはピクセルを含んでもよく、その各々がフレーム内の単一の参照点を表してもよい。デジタル処理の最中は、各ピクセルに、対応する参照点での輝度または色度のような画像品質または特性を表す整数値（例えば、０、１、・・・または２５５）を割り当ててもよい。使用中は、画像またはビデオ・フレームが大量のピクセル（例えば、１９２０×１０８０フレーム内に２，０７３，６００個のピクセル）を含むことがあり、したがって、各ピクセルを独立に符号化し復号化する（以降、単純にコード化と称する）のは面倒であり非効率的であろう。コード化の効率を高めるために、ビデオ・フレームは通常は複数の長方形のブロックまたはマクロブロックに分割され、これらは予測、変換、および量子化のような処理の基本ユニットの役割を果たすことができる。例えば、典型的なＮ×ＮのブロックはＮ^２個のピクセルを含むことができる。ここで、Ｎは１より大きい整数であり、しばしば４の倍数である。

ＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ）ＩＴＵ−Ｔ（Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ）およびＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）の作業草案では、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）が、次のビデオ標準として提案されており、これには新たなブロックの概念が導入されている。例えば、コード化ユニット（ＣＵ）が、ビデオ・フレームを等しいサイズまたは可変サイズの長方形ブロックに細分割してもよい。ＨＥＶＣでは、ＣＵが以前の標準のマクロブロック構造を置き換えてもよい。インター予測またはイントラ予測のモードに応じて、ＣＵが１つまたは複数の予測ユニット（ＰＵ）を備えてもよく、その各々が予測の基本ユニットの役割を果たしてもよい。例えば、イントラ予測について、６４×６４のＣＵを対称的に４つの３２×３２のＰＵに分割してもよい。別の例として、インター予測について、６４×６４のＣＵを１６×６４のＰＵと４８×６４のＰＵに非対称に分割してもよい。同様に、ＰＵが１つまたは複数の変換ユニット（ＴＵ）を備えてもよく、その各々が変換および／または量子化のための基本ユニットの役割を果たしてもよい。例えば、３２×３２のＰＵを４つの１６×１６のＴＵに対称に分割してもよい。或るＰＵの複数のＴＵが、同一の予測モードを共有するが別々に変換されてもよい。ここで、ブロックという用語は一般にマクロブロック、ＣＵ、ＰＵ、またはＴＵのうち何れかを指してもよい。

適用事例に応じて、ブロックをロスレス・モード（即ち、歪みも情報損失もない）またはロッシー・モード（即ち、歪みがある）の何れかでコード化することができる。使用中は、（例えば、４：４：４のＹＵＶサブサンプリングを有する）高品質ビデオをロスレス・モードでコード化し、（例えば、４：２：０のＹＵＶサブサンプリングを有する）低品質ビデオをロッシー・モードを用いてコード化してもよい。場合によっては、（例えば、４：４：４または４：２：０の何れかのＹＵＶサブサンプリングを有する）単一のビデオ・フレームまたはスライスがロスレス・モードとロッシー・モードの両方を使用して複数の領域をコード化してもよい。当該複数の領域は、長方形または不定形であってもよい。各領域が複数のブロックを含んでもよい。例えば、合成ビデオがテキスト、コンピュータ・グラフィックス、および自然観のコンテンツ（例えば、カメラで取得したビデオ）のような様々な種類のコンテンツの組合せを含んでもよい。合成フレームでは、テキストおよびグラフィックスの領域をロスレス・モードでコード化し、自然観のコンテンツの領域をロッシー・モードでコード化してもよい。テキストおよびグラフィックスのロスレス符号化は、例えばコンピュータ画面を共有するアプリケーションにおいて望ましいかもしれない。なぜならば、ロッシー・コード化を行うとテキストおよびグラフィックスの品質または忠実度が貧弱になるおそれがあり、それが目の疲れの原因となりうるからである。ＨＭ３．０のような最新のＨＥＶＣテスト・モデル（ＨＭ）は、自然観のコンテンツを極めて効率的にコード化することができる。しかし、最新のＨＭにはロスレス符号化モードが欠けており、したがって特定のビデオ（例えば、合成ビデオ）に対してはコード化の効率性が限られるおそれがある。ゼロに設定した量子化パラメータ（ＱＰ）による最高品質の設定でも、コード化の効率は依然として満足できるものではないかもしれない。

本明細書では、改善されたビデオ・コード化のためのシステムと方法を開示する。本開示ではロスレス符号化モードを提供する。ロスレス符号化モードは、合成ビデオのようなビデオのコード化においてロッシー・コード化モードを補完することができる。当該ロスレス・モードは、変換バイパス・コード化機構および量子コード化機構によらない変換を備えてもよい。変換バイパス機構では、変換ステップと量子化ステップの両方がスキップされ、したがって、残余ブロックがエントロピ符号器を用いて直接コード化される。量子化によらない変換機構では、変換は含まれるが量子化はバイパスされる。量子化によらない変換機構の１実施形態では、変換アルゴリズムが完全に可逆でない場合には、若干の歪みまたは情報損失が発生することがある。これをニア・ロスレスと称することもある。使用中は、ビデオ・フレームまたはスライスのコンテンツに基づいて、（例えば、テキストおよび／またはグラフィックスを含む）一部の領域をロスレス・モードでコード化してもよく、（例えば、自然観のコンテンツを含む）他の領域をロッシー・モードでコード化してもよい。符号化されたビデオ・フレームを正しく復号化できるようにするために、本開示は、ビット・ストリームの高レベルのシンタックスに対する領域指示情報を含んでもよい。当該情報は、１つまたは複数のロスレス符号化領域および／またはロッシー符号化領域を信号送信してもよい。さらに、ロスレス符号化領域内のブロック（例えば、ＰＵまたはＴＵ）に対して、本開示では、１つまたは２つの変換バイパス・フラグを輝度または色度のピクセルに対して設定し、符号化プロセスにおいて変換がバイパスされるかどうかを示してもよい。当該変換バイパス・フラグを、ビット・ストリームにエントロピ符号化し組み込んでもよい。ビット・ストリームに含まれる情報に基づいて、ビデオ復号器がそれに応じてビデオ・フレームを再構築してもよい。

使用中は、ビデオ・フレームのコンテンツを分析し、ロスレス符号化が望ましい特定の領域（例えば、テキストおよび／またはグラフィックス領域）を特定するためのモジュールが符号器の前にあってもよい。どの領域をロスレス・モードで符号化すべきかに関する情報または命令を当該符号器に渡してもよい。当該情報に基づいて、当該符号器がロスレス・モードを用いて当該特定された領域を符号化してもよい。あるいは、ロスレス・モードを用いて符号化すべき特定の領域をユーザが手動で定義し、符号器にこれらの領域を特定する情報を提供してもよい。したがって、ビデオ（例えば、合成ビデオ）を、符号器が受信する情報に応じて、ロスレス・モードおよび／またはロッシー・モードで符号化してもよい。本明細書では、ロスレス符号化モードが変換バイパス符号化および量子符号化によらない変換を含んでもよい。これらの２つのロスレス符号化機構ならびにロッシー符号化機構を本明細書で説明する。

同様に、受信したビット・ストリームに含まれる情報に基づいて、ビデオ復号器は、ロスレス・モードおよび／またはロッシー・モードを用いてビデオ・フレームを復号化してもよい。ロスレス復号化モードは、変換バイパス復号化および量子復号化によらない変換を含んでもよい。これらの２つのロスレス復号化機構ならびにロッシー復号化機構を本明細書で説明する。

図１は変換バイパス符号化機構１００の１実施形態を示す。変換バイパス符号化機構１００をビデオ符号器で実装してもよい。変換バイパス符号化機構１００は、図１に示すように配置したＲＤＯ（ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚａｔｉｏｎ）モジュール１１０、予測モジュール１２０、エントロピ符号器１３０、および再構築モジュール１４０を備えてもよい。動作中は、一連のビデオ・フレーム（またはスライス）を当該符号器によって受信してもよい。本明細書では、フレームとは、予測フレーム（Ｐ−フレーム）、イントラ・コード化フレーム（Ｉ−フレーム）、または双予測フレーム（Ｂ−フレーム）のうち任意のものを指してもよい。同様に、スライスとは、Ｐ−スライス、Ｉ−スライス、またはＢ−スライスのうち任意のものを指してもよい。

ＲＤＯモジュール１１０を、１つまたは複数の他のモジュールに対して論理判定を行うように構成してもよい。１実施形態では、１つまたは複数の過去に符号化したフレームに基づいて、ＲＤＯモジュール１１０は、符号化されている現在のフレーム（またはスライス）をどのように複数のＣＵに分割するか、および、どのようにＣＵを１つまたは複数のＰＵおよびＴＵに分割するかを判定してもよい。例えば、現在のフレームの均一な領域（即ち、領域内のピクセル値に差異がないか若干の差異がある領域）を相対的に大きなブロックに分割してもよく、現在のフレームの詳細な領域（即ち、領域内のピクセル値の間に大幅な差異がある領域）を相対的に小さなブロックに分割してもよい。

さらに、ＲＤＯモジュール１１０が、どのように現在のフレームを予測するかを判定することによって予測モジュール１２０を制御してもよい。当該現在のフレームを、インター予測および／またはイントラ予測を介して予測してもよい。インター予測（即ち、インター・フレーム予測）では、一連のフレームにおける時間的な冗長性、例えば、連続するフレームの対応するブロック間の類似性を利用して圧縮データを削減してもよい。インター予測では、ＲＤＯモジュール１１０は現在のフレーム内のブロックの動きベクトルを、１つまたは複数の参照フレーム内の対応するブロックに基づいて決定してもよい。他方、イントラ予測では、単一のフレーム内の空間的な冗長性、例えば、隣接ブロック間の類似性を利用して圧縮データを削減してもよい。イントラ予測では、現在のブロックに隣接する参照ピクセルを使用して予測ブロックを生成してもよい。イントラ予測（即ち、イントラ・フレーム予測）を、複数の利用可能な予測モードまたは方向（例えば、ＨＥＶＣにおける輝度成分に対しては３５個のモード）の何れかを利用して実現してもよく、これをＲＤＯモジュール１１０により決定してもよい。例えば、ＲＤＯモジュール１１０は、予測モードごとに絶対誤差和（ＳＡＥ）を計算し、最小のＳＡＥとなる予測モードを選択してもよい。

ＲＤＯモジュール１１０が行った論理判定に基づいて、予測モジュール１２０は１つまたは複数の参照フレーム（インター予測）または複数の参照ピクセル（イントラ予測）の何れかを利用して予測ブロックを生成してもよく、当該予測ブロックが現在のブロックを推定したものであってもよい。次に、現在のブロックを予測ブロックにより取り去り、残余ブロックを生成してもよい。当該残余ブロックは複数の残余値を含んでもよく、その各々が現在のブロック内のピクセルと予測ブロック内の対応するピクセルの間の差異を示してもよい。次に、残余ブロックの全ての値をスキャンして、エントロピ符号器１３０により、符号化ビット・ストリームに符号化してもよい。エントロピ符号器１３０は、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ−ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）符号化、指数ゴロブ符号化、もしくは固定長符号化、またはそれらの任意の組合せのような任意のエントロピ符号化機構を使用してもよい。変換バイパス符号化機構１００では、残余ブロックが変換ステップまたは量子化ステップによらずに符号化されるので、符号化プロセスには何ら情報損失が生じない。

ビデオ・フレームの連続的な符号化を容易にするために、残余ブロックを再構築モジュール１４０に入力してもよい。再構築モジュール１４０は、将来のブロックのイントラ予測のための参照ピクセルまたは将来のフレームのインター予測のための参照フレームの何れかを生成してもよい。必要ならば、参照フレーム／ピクセルをインター予測／イントラ予測に使用する前に、参照フレーム／ピクセルに対してフィルタリングを行ってもよい。当業者は予測モジュール１２０と再構築モジュール１４０の機能に精通しており、したがって、これらのモジュールについてはこれ以上説明しない。図１はビデオ符号器の簡単な例示であり、したがって図１は符号器に存在するモジュールの一部のみを含む場合もあることに留意されたい。図１には示していないが、他のモジュール（例えば、フィルタ、スキャナ、および送信器）を具備してビデオ符号化を容易にしてもよい。符号器から送信する前に、符号化されたビット・ストリームを、ビデオ解像度、フレーム・レート、ブロック分割情報（サイズ、座標）、予測モード等のような他の情報を含むようにさらに構成して、一連の符号化されたビデオ・フレームを正しく復号化できるようにしてもよい。

図２は、変換バイパス復号化機構２００の１実施形態を示す。変換バイパス復号化機構２００をビデオ復号器で実装してもよい。変換バイパス復号化機構２００は変換バイパス符号化機構１００に対応してもよく、図２に示す配置のようにエントロピ復号器２１０、予測モジュール２２０、再構築モジュール２３０を備えてもよい。動作中は、一連のビデオ・フレームの情報を含む符号化されたビット・ストリームをエントロピ復号器２１０によって受信してもよく、エントロピ復号器２１０が当該ビット・ストリームを未圧縮のフォーマットに復号化してもよい。エントロピ復号器２１０は、ＣＡＢＡＣ復号化、指数ゴロブ復号化、もしくは固定長符号化、またはそれらの任意の組合せのようなエントロピ復号化機構を使用してもよい。

復号化されている現在のブロックに対して、残余ブロックを、エントロピ復号器２１０の実行後に生成してもよい。さらに、現在のブロックの予測モードを含む情報を、エントロピ復号器２１０によって復号化してもよい。次に、予測モードに基づいて、予測モジュール２２０が、現在のブロックに対する予測ブロックを、以前に復号化したブロックまたはフレームに基づいて生成してもよい。予測モードがインター・モードである場合には、１つまたは複数の以前に復号化した参照フレームを使用して予測ブロックを生成してもよい。予測モードがイントラ・モードである場合には、複数の以前に復号化した参照ピクセルを使用して予測ブロックを生成してもよい。次に、再構築モジュール２３０が残余ブロックを予測ブロックと合成して再構築ブロックを生成してもよい。さらに、ビデオ・フレームの連続的な復号化を容易にするために、再構築ブロックを参照フレームにおいて使用して、将来のフレームをインター予測してもよい。再構築ブロックの一部のピクセルが、同一フレーム内の将来のブロックをイントラ予測するための参照ピクセルの役割を担ってもよい。

使用中は、元のブロックが、変換バイパス符号化機構１００および変換バイパス復号化機構２００のようなロスレス機構を用いて符号化および復号化される場合には、コード化プロセス全体に情報損失は生じないかもしれない。したがって、送信中に生ずる歪みを防止することによって、再構築ブロックを元のブロックと完全に同一とすることができる。この高忠実度のコード化により、テキストやグラフィックスのようなビデオ・コンテンツの視聴におけるユーザのエクスペリエンスを改善することができる。

ビデオ・フレーム内の特定の領域のロスレス符号化の間に、場合によっては、変換ステップをコード化プロセスに含めることが望ましいかもしれない。例えば、テキスト領域の一部のブロックに対して、変換ステップを追加することにより、変換バイパス・コード化機構に比べてより短いビット・ストリームを生成することができる。１実施形態では、ＲＤＯモジュールを、当該変換ステップを含めるべきかどうかを判定するように構成してもよい。例えば、試験的な変換を実施して、残余ブロックを変換係数の行列に変換してもよい。変換係数を符号化するのに必要なビットの数が、残余ブロック内の残余値を符号化するのに必要なビットの数と比べて小さいかもしれない場合には、当該変換ステップを含めてもよい。そうでない場合には、当該変換ステップをバイパスしてもよい。図３は、量子符号化によらない変換機構３００の１実施形態を示す。当該変換機構は、ＲＤＯモジュール３１０、予測モジュール３２０、変換モジュール３３０、エントロピ符号器３４０、逆変換モジュール３５０、および再構築モジュール３６０を備えてもよい。量子符号化によらない変換機構３００の幾つかの態様は図１の変換バイパス符号化機構１００と同一または類似であってもよく、したがって、同様な態様は明確さのためこれ以上は説明しない。

量子符号化によらない変換機構３００をビデオ符号器で実装してもよい。当該ビデオ符号器が、一連のビデオ・フレームを含む入力ビデオを受信してもよい。ＲＤＯモジュール３１０を、１つまたは複数の他のモジュールを制御するように構成してもよく、ＲＤＯモジュール３１０が、図１のＲＤＯモジュール１１０と同一または類似であってもよい。ＲＤＯモジュール３１０による論理変換に基づいて、予測モジュール３２０は参照フレーム（インター予測）または参照ピクセル（イントラ予測）の何れかを利用して予測ブロックを生成してもよい。当該予測ブロックは現在のブロックを推定したものである。次に、当該現在のブロックを予測ブロックにより取り去って、残余ブロックを生成してもよい。予測モジュール３２０は、図１の予測モジュール１２０と同一または類似であってもよい。

直接にエントロピ符号化を行うのではなく、量子符号化によらない変換機構３００では残余ブロックを先ず変換モジュール３３０により空間領域から周波数領域に変換してもよい。変換モジュール３３０は、残余ブロックの値（即ち、残余値）を複数の変換係数を含む変換行列に変換してもよい。変換モジュール３３０を、離散余弦変換（ＤＣＴ）、フラクタル変換（ＦＴ）、または離散ウェーブレット変換（ＤＷＴ）のような任意の適切なアルゴリズムを用いて実装してもよい。使用中は、Ｈ．２６４／アドバンスト・ビデオ・コード化（ＡＶＣ）で定義される４×４の整数変換のような幾つかのアルゴリズムでは情報損失が何ら生じないかもしれないが、ＨＥＶＣ作業草案で定義された８×８の整数ＤＣＴ変換のような他のアルゴリズムでは若干の情報損失が生じるかもしれない。例えば、ＨＥＶＣにおける８×８の整数ＤＣＴ変換は完全に可逆でないことがあるので、逆変換モジュール３５０の後の残余ブロックの復元値は、変換モジュール３３０の前の残余ブロックの元の値から若干（例えば、高々±２）異なるかもしれない。若干の情報損失が生じるので、この符号化はロスレスではなくニア・ロスレスであるかもしれない。しかし、量子化ステップと比べると、当該変換ステップにより生ずる情報損失は大量ではないかまたは気づかないものであり、したがって、量子符号化によらない変換機構３００を本明細書ではロスレス符号化機構とみなすこともある。

変換モジュール３３０により生成された変換係数を、エントロピ符号器３４０によりスキャンし、符号化されたビット・ストリームに符号化してもよい。エントロピ符号器３４０は、エントロピ符号器１３０と同一または類似であってもよい。ビデオ・フレームの連続的な符号化を容易にするために、当該変換係数を逆変換モジュール３５０に入力してもよい。当該逆変換モジュールは、変換モジュール３３０の逆を行って、厳密なバージョン（即ち、ロスレス）の残余ブロックまたは残余ブロックの近似（即ち、ニア・ロスレス）を生成してもよい。次に、残余ブロックを再構築モジュール３６０に入力してもよい。再構築モジュール３６０は、将来のブロックのイントラ予測のための参照ピクセルまたは将来のフレームのインター予測のための参照フレームの何れかを生成することができる。再構築モジュール３６０は、図１の再構築モジュール１４０と同一または類似であってもよい。符号器から送信する前に、符号化されたビット・ストリームを、ビデオ解像度、フレーム・レート、ブロック分割情報（サイズ、座標）、予測モード等のような他の情報を含むようにさらに構成して、一連の符号化されたビデオ・フレームを正しく復号化してもよい。

図４は、量子復号化によらない変換機構４００の１実施形態を示す。量子復号化によらない変換機構４００をビデオ復号器で実装してもよい。量子復号化によらない変換機構４００は、量子符号化によらない変換機構３００に対応してもよく、図４に示す配置のようにエントロピ復号器４１０、逆変換モジュール４２０、予測モジュール４３０、再構築モジュール４４０を備えてもよい。動作中は、一連のビデオ・フレームの情報を含む符号化されたビット・ストリームをエントロピ復号器４１０によって受信してもよく、エントロピ復号器４１０が当該ビット・ストリームを未圧縮のフォーマットに復号化してもよい。エントロピ復号器４１０は、図２のエントロピ復号器２１０と同一または類似であってもよい。

エントロピ復号器４１０の実行後に、変換係数の行列を生成し、当該行列を逆変換モジュール４２０に入力してもよい。逆変換モジュール４２０が、周波数領域の変換係数を空間領域の残余ピクセル値に変換してもよい。使用中は、逆変換モジュール４２０が使用するアルゴリズムが完全に可逆かどうかに応じて、厳密なバージョン（即ち、ロスレス）の残余ブロックまたは残余ブロックの近似（即ち、ニア・ロスレス）を生成してもよい。逆変換モジュール４２０は、図３の逆変換モジュール３５０と同一または類似であってもよい。

さらに、現在のブロックの予測モードを含む情報を、エントロピ復号器４１０により復号化してもよい。予測モードに基づいて、予測モジュール４３０が現在のブロックに対して予測ブロックを生成してもよい。予測モジュール４３０は、図２の予測モジュール２２０と同一または類似であってもよい。次に、再構築モジュール４４０は当該残余ブロックを当該予測ブロックと合成して再構築ブロックを生成してもよい。さらに、ビデオ・フレームの連続的な復号化をようにするために、再構築ブロックを参照フレームにおいて使用して、将来のフレームをインター予測してもよい。再構築ブロックの一部のピクセルが、同一フレーム内の将来のブロックのイントラ予測に対する参照ピクセルの役割を担ってもよい。

使用中は、元のブロックを、量子符号化によらない変換機構３００および量子復号化によらない変換機構４００のようなニア・ロスレス機構を用いて符号化し復号化する場合には、若干の歪みのみがコード化プロセスに含まれることがある。したがって、送信中に生ずる歪みを防止することによって、再構築ブロックを元のブロックと完全に同一とすることができる。量子コード化機構によらない変換機構が場合によっては望まれることもある。なぜなら、当該変換機構により、目に見えるほどにコード化忠実度を犠牲することなく、変換バイパス機構よりも高い圧縮率を実現できるからであり、これによりリアルタイム符号化プロセスを大幅に促進することができる。

場合によっては、ロスレス・モードを用いてビデオ・フレーム全体をコード化する必要がないこともある。例えば、合成ビデオ内の（例えばカメラでキャプチャした）自然観のコンテンツを含む領域にはロスレス符号化が必要でないこともある。なぜならば、元のビデオ品質は既に限られているか、または、ロッシー・コード化に起因する歪みが大量ではないかまたは気づかないものでありうるからである。図５は、ロッシー符号化機構５００の１実施形態を示す。ロッシー符号化機構５００は、現在のＨＭで使用されている符号化機構と同一または類似であってもよい。ロッシー符号化機構５００は、ＲＤＯモジュール５１０、予測モジュール５２０、変換モジュール５３０、量子化モジュール５４０、エントロピ符号器５５０、逆量子化モジュール５６０、逆変換モジュール５７０、および再構築モジュール５８０を備えてもよい。ロッシー符号化機構５００の一部の態様は、図３の量子符号化によらない変換機構３００と同一または類似であってもよく、したがって明確さのため、この同様な態様についてはこれ以上は説明しない。

ロッシー符号化機構５００をビデオ符号器で実装してもよく、当該ビデオ符号器が一連のビデオ・フレームを受信してもよい。ＲＤＯモジュール５１０を、１つまたは複数の他のモジュールを制御するように構成してもよい。ＲＤＯモジュール５１０が行った論理判定に基づいて、予測モジュール５２０が参照フレームまたは参照ピクセルの何れかを利用して予測ブロックを生成してもよい。次に、入力ビデオの現在のブロックを予測ブロックにより取り去って、残余ブロックを生成してもよい。当該残余ブロックを変換モジュール５３０に入力してもよく、変換モジュール５３０が残余ピクセル値を変換係数の行列に変換してもよい。

量子符号化によらない変換機構３００と対照的に、ロッシー符号化機構５００では、変換係数を、エントロピ符号器５５０に入力する前に量子化モジュール５４０により量子化してもよい。量子化モジュール５４０は変換係数の大きさを変更し、整数に丸めてもよい。これにより、非ゼロの係数の数を減らすことができる。結果として、情報損失を犠牲にして圧縮率を増大させることができる。

量子化モジュール５４０が生成した量子化された変換係数をエントロピ符号器５５０によりスキャンして、符号化されたビット・ストリームへと符号化してもよい。当該量子化された変換係数を逆量子化モジュール５６０に入力して、変換係数の元の大きさを復元してもよい。次に、逆変換モジュール５７０が、変換モジュール５３０の逆を行って、雑音のあるバージョンの元の残余ブロックを生成してもよい。次に、当該ロッシー残余ブロックを再構築モジュール５８０に入力してもよく、再構築モジュール５８０が将来のブロックのイントラ予測に対する参照ピクセルかまたは将来のフレームのインター予測に対する参照フレームの何れかを生成してもよい。

図６は、ロッシー復号化機構６００の１実施形態を示す。ロッシー復号化機構６００を、ビデオ復号器で実装してもよい。ロッシー復号化機構６００がロッシー符号化機構５００に対応してもよく、図６に示した配置のようにエントロピ復号器６１０、逆量子化モジュール６２０、逆変換モジュール６３０、予測モジュール６４０、および再構築モジュール６５０を備えてもよい。動作中は、一連のビデオ・フレーム情報を含む符号化されたビット・ストリームをエントロピ復号器６１０により受信してもよい。エントロピ復号器６１０は当該ビット・ストリームを未圧縮のフォーマットに復号化してもよい。量子化された変換係数の行列を生成してもよく、次いで当該行列を逆量子化モジュール６２０に入力してもよい。逆量子化モジュール６２０は図５の逆量子化モジュール５６０と同一または類似であってもよい。次に、逆量子化モジュール６２０の出力を逆変換モジュール６３０に入力してもよい。逆変換モジュール６３０は、変換係数を残余ブロックの残余値に変換してもよい。さらに、現在のブロックの予測モードを含む情報をエントロピ復号器６１０によって復号化してもよい。当該予測モードに基づいて、予測モジュール６４０は現在のブロックに対する予測ブロックを生成してもよい。次に、再構築モジュール６５０が残余ブロックを予測ブロックと合成して再構築ブロックを生成してもよい。さらに、連続的な復号化を容易にするために、当該再構築ブロックを参照フレームで使用して将来のフレームをインター予測してもよい。当該再構築ブロックの一部のピクセルが、同一フレーム内の将来のブロックのイントラ予測に対する参照ピクセルの役割を担ってもよい。

１実施形態では、必要ならば、変換バイパス符号化機構１００、量子符号化によらない変換機構３００、およびロッシー符号化機構５００を含む上述の符号化機構の全てを単一の符号器で実装してもよい。例えば、合成ビデオを符号化するとき、符号器が、どの領域をロスレス・モードで符号化すべきかおよび／またはどの領域をロッシー・モードで符号化すべきかに関する情報を受信してもよい。当該情報に基づいて、符号器が、ロッシー・モードを用いて特定の領域を符号化しロスレス・モードを用いて他の領域を符号化してもよい。ロスレス・モードでは、符号器のＲＤＯモジュール（例えば、図１のＲＤＯモジュール１１０）が、変換バイパス符号化機構１００および量子符号化によらない変換機構３００により生ずるビット・ストリームの長さを比較した後に、変換ステップをバイパスするかどうかを判定してもよい。同様に、必要ならば、変換バイパス復号化機構２００、量子復号化によらない変換機構４００、およびロッシー復号化機構６００を含む上述の復号化機構の全てを単一の復号器で実装してもよい。

復号器が符号化されたビデオ・フレームを正しく再構築するために、復号器は、ビデオ・フレームを符号化するのに使用された１つまたは複数の符号化機構を認識すべきである。ロスレス符号化をビデオ・フレームの一部の領域（以降、ロスレス符号化領域と称する）にのみ適用してもよいので、ロッシー符号化を他の領域（以降、ロッシー符号化領域または正常符号化領域と称する）に適用してもよい。ロスレス符号化領域および／またはロッシー符号化領域を信号送信する情報を、符号化されたビデオ・フレームを運搬するビット・ストリームで伝送してもよい。使用中は、かかる情報を、ビット・ストリームのシーケンス・パラメータ・セット（ＳＰＳ）または画像パラメータ・セット（ＰＰＳ）のような、高レベルのシンタックス構造にパックしてもよい。ＳＰＳまたはＰＰＳがビット・ストリームの主要な基準となる部分であってもよく、ＳＰＳまたはＰＰＳをビデオ・コード化標準により定義してもよい。ビット・ストリームを受信した後、復号器が領域指示情報をＳＰＳまたはＰＰＳから抽出し、次いで各領域をその符号化モードに従って再構築してもよい。１実施形態では、ＳＰＳまたはＰＰＳが、幾つかの長方形のロスレス符号化領域と、ビデオ・フレーム内のそれらの位置（例えば、左上および右下の座標、または、右上および左下の座標）を特定する情報とを含んでもよい。別の実施形態では、ＳＰＳまたはＰＰＳが、幾つかの長方形のロッシー符号化領域と、ビデオ・フレーム内のそれらの位置（例えば、左上および右下の座標、または、右上および左下の座標）を特定する情報とを含んでもよい。

ビデオ会議中における画面の共有のような、幾つかのアプリケーションでは、ビデオの特定の領域が、複数のビデオ・フレームにわたってどのコンテンツも変化せずに安定に留まることがある。このケースでは、領域指示情報が、相対的に低い周波数（例えば、何十秒に１回）変化し、したがって、このシグナリング方法に起因するビット・レートのオーバヘッドは無視できるであろう。

ロスレス符号化領域においては、変換バイパス機構および／または量子化によらない変換機構を使用してもよい。正しい復号化を可能とするために、ビット・ストリームが、どのブロックが変換バイパス機構を介して符号化されているかおよびどのブロックが量子化によらない変換機構を介して符号化されているかに関する情報を含んでもよい。１実施形態では、２つの変換バイパス・フラグをロスレス符号化領域内のＰＵごとに導入してもよい。輝度（ルマ）変換バイパス・フラグが、ＰＵのルマ・ピクセルのコード化において変換ステップをバイパス（またはスキップ）するかどうかを示し、色度（クロマ）変換バイパス・フラグが、ＰＵのクロマ・ピクセルのコード化において変換ステップをバイパスするかどうかを示してもよい。例えば、変換モジュール（例えば、図３の変換モジュール３３０）をルマ・ピクセルに対してバイパスする場合には、ルマ変換バイパス・フラグを「１」に設定してもよい。そうでなく、変換モジュールを使用して量子化モジュール（例えば、量子化モジュール５４０）をバイパスする場合には、ルマ変換バイパス・フラグを「０」に設定してもよい。あるいは、必要ならば、変換モジュールをバイパスする場合にはルマ変換バイパス・フラグを「０」に設定し、変換モジュールを使用する場合には「１」に設定してもよい。ルマ変換バイパス・フラグと同一または類似のアプローチを用いてクロマ変換バイパス・フラグを設定してもよい。

ルマ変換バイパス・フラグとクロマ変換バイパス・フラグの両方を、エントロピ符号器（例えば、図１のエントロピ符号器１３０）により符号化してもよい。当該エントロピ符号器がＣＡＢＡＣアルゴリズムを使用してもよい。ＣＡＢＡＣアルゴリズムでは、複数のコンテキスト・モデルを使用してもよい。１実施形態では、３つのコンテキスト・モデルをルマ変換バイパス・フラグとクロマ変換バイパス・フラグの各々に対して使用してもよい。コード化の効率を高めるために、当該エントロピ符号器はインデックスに基づいてコンテキスト・モデルを選択してもよい。当該インデックスは、隣接ＰＵの変換バイパス・フラグに関連付けられてもよい。例えば、現在のＰＵに対するルマ変換バイパス・フラグが同一または類似の方法でコード化されると仮定して、現在のＰＵに対するルマ変換バイパス・フラグのコード化を考える。２つの隣接するＰＵ、即ち、上側ＰＵと左側ＰＵがルマ変換バイパス・フラグを有してもよい。当該２つのルマ変換バイパス・フラグの和を、コンテキスト・モデルのインデックスであるように構成してもよい。上側ＰＵまたは左側ＰＵの何れかがルマ変換バイパス・フラグを有さない場合（例えば、現在のＰＵがロスレス符号化領域の境界にある場合）、「０」をルマ変換バイパス・フラグに割り当ててもよい。選択されたコンテキスト・モデルを用いたエントロピ符号化の後、符号化されたルマ変換フラグとクロマ変換フラグをビット・ストリームに含めてもよい。

１実施形態では、ＰＵのルマ成分とクロマ成分が同一のロスレス符号化機構を共有してもよく、双方の成分がそれらのコード化プロセスにおいて変換ステップをバイパスするかまたは具備してもよい。このケースでは、単一の変換バイパス・フラグを両方の成分に対して使用してもよい。ルマ成分とクロマ成分に対する別々の変換バイパス・フラグと比較して、単一の変換バイパス・フラグでは、ビット・ストリーム内の信号送信オーバヘッドは少ないかもしれない。さらに、変換バイパス・フラグ（ルマおよび／またはクロマ）が上述のようにＰＵレベルで設定されるが、必要ならば、変換バイパス・フラグを同様にＴＵレベルで設定してもよく、これにより粒度は細かくなるが信号送信オーバヘッドは増えるおそれがあることに留意されたい。

図７は、符号化方法７００の１実施形態の流れ図である。符号化方法７００が、ビデオ符号器内の上述の符号化機構の一部または全部を実装してもよい。方法７００はステップ７０２で開始してもよい。ステップ７０２では、一連のビデオ・フレームまたはスライスを含む入力ビデオを受信してもよい。フレームまたは１組のフレームごとに、１つまたは複数のロスレス符号化領域および／またはロッシー符号化領域を含む情報または命令を受信してもよい。次に、ステップ７０３で、領域指示情報を、圧縮されたビット・ストリームの高レベルのシンタックスに追加してもよい。当該情報は、当該ロスレス符号化領域および／またはロッシー符号化領域を特定してもよい。当該シンタックスをビット・ストリームのＳＰＳまたはＰＰＳに含めてもよい。１実施形態では、当該領域指示情報が、幾つかの長方形のロスレス符号化領域とビデオ・フレーム内のそれらの位置（例えば、左上および右下の座標、または右上および左下の座標）を含んでもよい。別の実施形態では、領域指示情報が、幾つかの長方形のロッシー符号化領域とビデオ・フレーム内のそれらの位置（例えば、左上および右下の座標、または右上および左下の座標）を含んでもよい。次に、ステップ７０４では、受信した情報に基づいて、方法７００は、現在符号化されている領域（例えば、長方形）がロスレス符号化領域であるかどうかを判定してもよい。ブロック７０４の条件を満たす場合には、方法７００はステップ７０６に進んで（例えば、変換バイパス符号化機構１００および／または量子符号化によらない変換機構３００を用いて）現在の領域をロスレス・モードで符号化してもよい。そうではない場合には、方法７００はステップ７３０に進んで（例えば、ロッシー符号化機構５００を用いて）現在の領域をロッシー・モードで符号化してもよい。

次に、ステップ７０６で、残余ブロックを現在の領域のブロックごとに生成してもよい。残余ブロックを生成するために、ＲＤＯモジュール（例えば、図１のＲＤＯモジュール１１０）が、現在の領域に対する最良のブロック分割機構の選択、ならびに現在のブロック（例えば、ＰＵ）に対する最良のインター予測モードまたはイントラ予測モードの判定といった、論理判定を行ってもよい。ＲＤＯモジュールの論理判定に基づいて、予測モジュール（例えば、予測モジュール１２０）は予測ブロックを生成し、次いで当該予測ブロックを現在のブロックから取り去って残余ブロックを取得してもよい。

次に、ステップ７０８で、方法７００は、現在のブロックのルマ成分および／またはクロマ成分に対して変換ステップをバイパスすべきかどうかを判定してもよい。これを、ＲＤＯモジュールにより実装してもよい。ブロック７０８の条件を満たす場合には、方法７００はステップ７１０に進み、現在のブロックに対する１つまたは複数の変換バイパス・フラグを「１」に設定してもよい。そうでない場合には、方法７００はステップ７２０に進み、１つまたは複数の変換バイパス・フラグを「０」に設定してもよい。当該バイナリ値を任意に設定してもよい。例えば、必要ならば、１つまたは複数の変換バイパス・フラグをステップ７１０では「０」に設定しステップ７２０では「１」に設定してもよい。使用中は、ルマ成分とクロマ成分が別々の変換バイパス・フラグを使用してもよい。当該２つの成分が常に同一の符号化機構を使用する場合には、これらの成分が変換バイパス・フラグを共有してもよい。

ステップ７１０に続いてステップ７１２を実施してもよい。ステップ７１２では、エントロピ符号器（例えば、図１のエントロピ符号器１３０）を用いて残余ブロックを圧縮されたビット・ストリームに符号化してもよい。当該エントロピ符号器が、ＣＡＢＡＣアルゴリズムのような任意の適切なアルゴリズムを使用してもよい。さらに、１つまたは複数の「１」の変換バイパス・フラグを当該エントロピ符号器により符号化してもよい。１実施形態では、３つのコンテキスト・モデルをルマ成分とクロマ成分の各々に対して使用してもよい。

ステップ７２０に続いてステップ７２２を実施してもよい。ステップ７２２では、残余ブロックを変換モジュール（例えば、図３の変換モジュール３３０）において２次元の変換係数の行列に変換してもよい。当該変換モジュールは、整数ＤＣＴ変換および整数ＤＣＴ風の変換のような、任意の適切な変換を使用してもよい。次に、ステップ７２４で、エントロピ符号器（例えば、図３のエントロピ符号器３４０）を用いて当該変換係数を圧縮されたビット・ストリームに符号化してもよい。さらに、１つまたは複数の「０」の変換バイパス・フラグをエントロピ符号器により符号化してもよい。

ステップ７０４で現在の領域に対してロッシー符号化モードを選択した場合には、方法７００はステップ７３０に進み、残余ブロックを現在の領域のブロックごとに生成してもよい。残余ブロックを生成するために、ＲＤＯモジュール（例えば、図５のＲＤＯモジュール５１０）が現在の領域に対してブロック分割機構を選択し、現在のブロック（例えば、ＰＵ）に対してインター予測モードまたはイントラ予測モードを選択してもよい。ＲＤＯモジュールの論理判定に基づいて、予測モジュール（例えば、予測モジュール５２０）が予測ブロックを生成し、当該予測ブロックを現在のブロックから取り去って残余ブロックを取得してもよい。次に、ステップ７３２で、当該残余ブロックを変換モジュール（例えば、変換モジュール５３０）において変換係数の行列に変換してもよい。次に、ステップ７３４で、当該行列を量子化モジュール（例えば、量子化モジュール５４０）において別の量子化された変換係数の行列に量子化してもよい。次に、ステップ７３６で、エントロピ符号器（例えば、エントロピ符号器５５０）を用いて当該量子化された変換係数を、既に領域指示情報を有するかもしれないビット・ストリームに符号化してもよい。

現在の領域の各ブロックを、ステップ７０２乃至７３６の一部を用いて符号化してもよい。１実施形態では、現在の領域内の全ブロックを符号化した後、ステップ７４０で、圧縮されたビット・ストリームを、例えばネットワークを介して復号器に送信してもよい。方法７００が、全ての必要な符号化ステップの一部のみを含んでもよく、したがって、逆量子化や逆変換のような他のステップを必要に応じて符号化プロセスに組み込んでもよいことは理解される。

図８は復号化方法８００の１実施形態の流れ図である。復号化方法８００は、符号化方法７００に対応してもよく、ビデオ復号器における上述の復号化機構の一部または全部を実装してもよい。方法８００はステップ８０２で開始してもよい。ステップ８０２では、一連のビデオ・フレームを含むビット・ストリームを受信してもよい。次に、ステップ８０４で、ビット・ストリームの高レベルのシンタックス（例えば、ＳＰＳまたはＰＰＳ）を領域指示情報に対してチェックしてもよい。当該領域指示情報は、フレームまたは１組のフレーム内のどの領域がロスレス・モードで符号化されているかを信号送信してもよい。次に、ステップ８０６で、当該領域指示情報に基づいて、方法８００は、現在復号化されている領域（例えば、長方形）がロスレス・モードで符号化されているかどうかを判定してもよい。ブロック８０６の条件を満たす場合には、方法８００はステップ８０８に進んで、（例えば、変換バイパス復号化機構２００および／または量子復号化によらない変換機構４００を用いて）現在の領域をロスレス・モードで復号化してもよい。そうでない場合には、方法８００はステップ８３０に進んで、（例えば、ロッシー復号化機構５００を用いて）現在の領域をロッシー・モードで復号化してもよい。

現在の領域のブロックごとに、ステップ８０８で、１つまたは複数の符号化された変換バイパス・フラグをエントロピ復号器（例えば、図２のエントロピ復号器２１０）で復号化してもよい。当該エントロピ復号器は、エントロピ符号器の逆を実施してもよい。現在のブロックのルマ成分とクロマ成分が別々の変換バイパス・フラグを使用する場合には、２つのフラグを現在のブロックに対して復号化してもよい。あるいは、ルマ成分とクロマ成分が変換バイパス・フラグを共有する場合には、１つのフラグを復号化してもよい。次に、ステップ８１０で、方法８００は、変換バイパス・フラグが「１」であるかどうかを判定してもよい。上述のように、「１」の変換バイパス・フラグが、変換ステップが現在のブロックの符号化プロセスにおいてバイパスされていることを示してもよく、「０」の変換バイパス・フラグが、変換ステップが量子化なしに使用されていることを示してもよい。ここでのバイナリ値は、対応する符号化方法（例えば、方法７００）に基づいて解釈してもよいことは理解される。例えば、方法７００が「１」と「０」の意味を反転する場合には、方法８００もそれに応じて調節してもよい。ブロック８１０の条件を満たす場合には、方法８００はステップ８１２に進み、エントロピ復号器を用いて現在のブロックの残余ブロックを未圧縮のフォーマットに復号化してもよい。そうでない場合には、方法８００はステップ８２０に進み、エントロピ復号器を用いて変換係数の行列を復号化してもよい。ステップ８２０に続いてステップ８２２を実施してもよい。ステップ８２２では、逆変換モジュール（例えば、図４の逆変換モジュール４２０）を用いて、変換係数を現在のブロックの残余ブロックに変換してもよい。

現在の領域をロッシー復号化モードで復号する必要がある場合（ブロック８０６で判定される）、方法８００はステップ８３０に進み、量子化された変換係数の行列をエントロピ復号器（例えば、図６のエントロピ復号器６１０）で復号化してもよい。次に、ステップ８３２で、量子化された変換係数を逆量子化して、変換係数の元の大きさを復元してもよい。次に、ステップ８３４で、当該変換係数を現在のブロックの残余ブロックに逆変換してもよい。

ロスレス復号化モードまたはロッシー復号化モードの何れかを用いて残余ブロックを取得した後、ステップ８４０で、予測ブロックを生成してもよい。当該予測ブロックが、予測モードを含む（エントロピ符号器を用いてビット・ストリームから復号化された）情報と、１つまたは複数の過去にコード化したフレームまたはブロックとに基づいてもよい。次に、ステップ８４２で、残余ブロックを予測ブロックに追加して、再構築ブロックを生成してもよい。使用する符号化機構と復号化機構に応じて、再構築ブロックは、厳密な、近似の、または雑音のあるバージョンの（符号化前の）元のブロックであってもよい。送信中に生ずる歪みを防止することによって、元のブロックからの全ての情報を変換バイパス・コード化において保存することができる。変換および逆変換の性質に応じて、全て（またはほぼ全て）の情報を、量子コード化なしの変換において保存することができる。ロッシー・コード化では特定の情報が紛失するおそれがあり、紛失の程度は大抵、量子化ステップおよび逆量子化ステップに依存しうる。ブロックの連続的な復号化を容易にするために、再構築ブロックの一部のピクセルが、将来のブロックの復号化のための参照ピクセルの役割を果たしてもよい。同様に、現在のフレームが将来のフレームの復号化のための参照フレームの役割を果たしてもよい。

図９は、ネットワーク・ユニット９００の１実施形態を示す。ネットワーク・ユニット９００は、例えばネットワークまたはシステム内で上述のようにビデオ・フレームを処理する符号器および復号器を備えてもよい。ネットワークユニット９００は、他のネットワーク・ユニットまたはコンポーネント、論理ユニットからデータを受信するための複数の入力ポート９１０および／もしくは受信器ユニット（Ｒｘ）９１２またはデータを処理しどのネットワーク・ユニットにデータを送信すべきかを判定するためのプロセッサ９２０、ならびにデータを他のネットワークユニットに送信するための複数の出力ポート９３０および／もしくは送信器ユニット（Ｔｘ）９３２を備えてもよい。当該論理ユニットまたはプロセッサ９２０を、変換バイパス符号化機構１００、量子符号化によらない変換機構３００、および／または符号化方法７００もしくは復号化方法８００のうち少なくとも１つのような、本明細書で説明した機構のうち何れかを実装するように構成してもよい。論理ユニット９２０を、ハードウェア、ソフトウェア、またはその両方を用いて実装してもよい。

上述の機構を、課された必要な作業負荷を処理するのに十分な処理能力、メモリ・リソース・およびネットワーク・スループット容量を有する、コンピュータまたはネットワーク・コンポーネントのような、任意の汎用目的のネットワーク・コンポーネントで実装してもよい。図１０は、符号化方法７００および復号化方法８００のような、本明細書で開示した方法の１つまたは複数の実施形態の実装に適した、典型的な汎用目的のネットワーク・コンポーネントまたはコンピュータ・システム１０００の略図を示す。当該汎用目的のネットワークコンポーネントまたはコンピュータ・システム１０００は、メモリ装置と通信するプロセッサ１００２（中央演算装置またはＣＰＵとも称してもよい）を備える。当該メモリ装置には、二次記憶部１００４、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）１００６、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）１００８、入出力（Ｉ／Ｏ）装置１０１０、およびネットワーク接続装置１０１２が含まれる。単一のプロセッサとして示してあるけれども、プロセッサ１００２はそのようには限定されず、複数のプロセッサを備えてもよい。プロセッサ１００２を、１つまたは複数のＣＰＵチップ、コア（例えば、マルチ・コア・プロセッサ）、ＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、および／もしくはデジタル信号プロセッサ（ＤＳＰ）として実装してもよく、かつ／または１つまたは複数のＡＳＩＣの一部であってもよい。プロセッサ１００２を、本明細書の記載の機構の何れかを実装するように構成してもよい。当該機構には、変換バイパス符号化機構１００、量子符号化によらない変換機構３００、および／または少なくとも１つのｏｆ符号化方法７００および復号化方法８００が含まれる。プロセッサ１００２を、ハードウェア、ソフトウェア、またはその両方を用いて実装してもよい。

二次記憶部１００４は、一般に、１つまたは複数のディスク・ドライブもしくはテープ・ドライブから成り、データの不揮発性記憶に対して使用され、ＲＡＭ１００８が全ての作業データを保持するには十分なほど大きくない場合にはオーバ・フローしたデータの記憶装置として使用される。二次記憶部１００４を使用して、ＲＡＭ１００８にロードされるプログラムを、かかるプログラムが実行のために選択されたときに格納してもよい。ＲＯＭ１００６は、プログラムの実行中に読み出される命令および場合によってはデータを格納するために使用される。ＲＯＭ１００６は、一般に二次記憶部１００４の大きなメモリ容量に比べて少ないメモリ容量を有する、不揮発性のメモリ装置である。ＲＡＭ１００８は、揮発性データを格納し場合によっては命令を格納するために使用される。ＲＯＭ１００６とＲＡＭ１００８の両方に対するアクセスは一般に、二次記憶部１００４よりも高速である。少なくとも１つの実施形態が開示されており、当業者により行われる、当該諸実施形態（複数可）の変形、組合せ、および／または修正、かつ／または当該諸実施形態（複数可）の特手用は本開示の範囲内にある。当該諸実施形態（複数可）の特徴の結合、統合、および／または省略から生ずる代替的な実施形態も本開示の範囲内にある。数的な範囲または限定が明示的に記載されている場合には、かかる明示的な範囲または限定は、明示的に記載した範囲内に入る規模のような反復的な範囲または限定を含むと理解すべきである（例えば、１から約１０とは２、３、４等を含み、０．１０より大きいとは、０．１１、０．１２、０．１３を等を含む）。例えば、下限がＲ_ｌで上限がＲ_ｕである数値範囲が開示されるときは常に、当該範囲に入る任意の数が具体的に開示されている。特に、当該範囲内の以下の数が開示される。即ち、Ｒ＝Ｒ_ｌ＋ｋ＊（Ｒ_ｕ−Ｒ_ｌ）である。ここで、ｋは１パーセントの増分で１パーセントから１００パーセントまで変化する変数である。即ち、ｋは１パーセント、２パーセント、３パーセント、４パーセント、７パーセント、・・・、７０パーセント、７１パーセント、７２パーセント、・・・、９５パーセント、９６パーセント、９７パーセント、９８パーセント、９９パーセント、または１００パーセントである。さらに、上で定義したように２つのＲの数で定義される任意の数値範囲も具体的に開示されている。約という用語の使用は、特に明記しない限り、続く数の±１０％を意味する。請求項の任意の要素に関して「場合によっては」という用語の使用は、当該要素が必要であるか、または、当該要素が必要でないことを意味し、両方の代替手段が当該請求項の範囲内にある。備える、含む、有するといったより広い用語の使用は、構成される、本質的に構成される、実質的に構成されるといったより狭い用語をサポートするように理解されるべきである。したがって、保護範囲は上述の説明によっては限定されず、添付の特許請求の範囲によって定義され、その範囲は諸請求項の発明特定事項の全ての均等物を含む。各請求項および全請求項は、さらなる開示として明細書に組み込まれ、諸請求項は本開示の実施形態（複数可）である。本開示における引用物の議論、特に発行日が本出願の優先日以降である任意の引用物は、それが先行技術であることを認めたものではない。本開示で引用した全ての特許、特許出願、および刊行物の開示は、それらが本開示を補完する例示的な、手続き上の、または他の詳細を提供する範囲で、引用により本明細書に組み込まれる。

幾つかの実施形態を本開示では提供したが、開示したシステムおよび方法を、本開示の趣旨または範囲から逸脱しない他の多数の具体的な形で具体化してもよいことは理解されよう。これらの種々の例は例示的であって限定的ではないと考えるべきであり、本発明は本明細書で与えた詳細には限定されない。例えば、様々な要素またはコンポーネントを別のシステムに組み合わせるかもしくは統合してもよく、または、特定の特徴を省略するかもしくは実装しなくともよい。

さらに、様々な実施形態で離散的または別個として説明し図示した技術、システム、サブシステム、および方法を、本開示の範囲から逸脱せずに、他のシステム、モジュール、技術、または方法と組み合わせるかまたは統合してもよい。互いに接続または直接接続または通信するとして図示または説明した他の項目を、電気的、機械的、または別の方法で幾つかのインタフェース、装置、または中間コンポーネントを介して間接的に接続または通信してもよい。他の修正、置換え、および変形の例は、本明細書で開示した趣旨と範囲から逸脱せずに、当業者により解明でき、構成することができる。

１１０ 速度歪み最適化
１２０ 予測
１３０ エントロピ符号器
１４０ 再構築
２１０ エントロピ復号器
２２０ 予測
２３０ 再構築
３１０ 速度歪み最適化
３２０ 予測
３３０ 変換
３４０ エントロピ符号器
３５０ 逆変換
３６０ 再構築

Claims (40)

1. ビデオ符号化で使用する装置であって、
   ビデオ・フレームを受信し、
   前記ビデオ・フレームにおける少なくとも１つの領域を選択し、
   前記少なくとも１つの領域の符号化において量子化ステップをバイパスし、
   前記少なくとも１つの領域内の現在のブロックに対して、
   予測ブロックを生成し、
   前記予測ブロックにより前記現在のブロックを取り去って残余ブロックを生成し、
   前記残余ブロックの符号化における変換ステップを選択的にバイパスする
   ように構成されたプロセッサ
   を備える、装置。
2. 前記残余ブロックは複数の残余値を含み、
   前記プロセッサはさらに、
   前記変換ステップをバイパスする場合には、
   前記複数の残余値の少なくとも一部に対してエントロピ符号化を実施して符号化残余値を生成し、
   前記変換ステップをバイパスしない場合には、
   複数の変換係数を含む変換行列へと前記残余ブロックを変換し、
   前記複数の変換係数に対してエントロピ符号化を実施して、複数の符号化された変換係数を生成する
   ように構成される、請求項１に記載の装置。
3. 前記プロセッサは、
   ビット・ストリーム内の符号化された少なくとも１つの領域を送信し、
   前記少なくとも１つの領域を特定する領域指示情報を前記ビット・ストリームのシンタックスに追加する
   ようにさらに構成される、請求項２に記載の装置。
4. 前記プロセッサは、
   前記現在のブロックに対して少なくとも１つの変換バイパス・フラグを設定し、
   前記少なくとも１つの変換バイパス・フラグに対してエントロピ符号化を実施して、少なくとも１つの符号化された変換バイパス・フラグを生成し、
   前記少なくとも１つの符号化された変換バイパス・フラグを前記ビット・ストリームに追加する
   ようにさらに構成される、請求項３に記載の装置。
5. 前記プロセッサは、
   前記変換ステップをバイパスする場合には、前記変換バイパス・フラグを「１」に設定し、
   前記変換ステップをバイパスしない場合には、前記変換バイパス・フラグを「０」に設定する
   ようにさらに構成される、請求項４に記載の装置。
6. 前記少なくとも１つの変換バイパス・フラグに対してエントロピ符号化を実施するステップは、前記少なくとも１つの変換バイパス・フラグの各々に対して３つのコンテキスト・モデルを使用するステップであって、前記３つのコンテキスト・モデルは、前記現在のブロックの上側ブロックに属する第１の変換バイパス・フラグと前記現在のブロックの左側ブロックに属する第２の変換バイパス・フラグの合計に等しいインデックスを介して選択可能であるステップを含む、請求項５に記載の装置。
7. 前記現在のブロックは予測ユニット（ＰＵ）である、請求項６に記載の装置。
8. 前記現在のブロックは変換ユニット（ＴＵ）である、請求項４に記載の装置。
9. 前記プロセッサは、
   前記変換ステップをバイパスする場合には前記変換バイパス・フラグを「０」に設定し
   前記変換ステップをバイパスしない場合には前記変換バイパス・フラグを「１」に設定する
   ようにさらに構成される、請求項４に記載の装置。
10. 前記少なくとも１つの変換バイパス・フラグは、前記現在のブロックのルマ成分とクロマ成分に適用される単一の変換バイパス・フラグである、請求項４に記載の装置。
11. 前記シンタックスは、シーケンス・パラメータ・セット（ＳＰＳ）または画像パラメータ・セット（ＰＰＳ）を含み、前記領域指示情報は、
    幾つかの１つまたは複数のロスレス符号化領域と、
    前記１つまたは複数のロスレス符号化領域ごとの、前記ビデオ・フレーム内の前記１つまたは複数のロスレス符号化領域の位置を示す複数の座標と、
    を含む、請求項３に記載の装置。
12. 前記シンタックスはＳＰＳまたはＰＰＳを含み、前記領域指示情報は、
    幾つかの１つまたは複数のロッシー符号化領域と、
    前記１つまたは複数のロッシー符号化領域ごとの、前記ビデオ・フレーム内の前記１つまたは複数のロッシー符号化領域の位置を示す複数の座標と、
    を含む、請求項３に記載の装置。
13. 前記ビデオ・フレームは合成ビデオを含む、請求項２に記載の装置。
14. 前記変換行列は整数離散余弦変換（ＤＣＴ）を用いて生成される、請求項２に記載の装置。
15. ビデオ符号化で使用する方法であって、
    ビデオ・フレームを受信するステップと、
    前記ビデオ・フレームにおける少なくとも１つの領域を選択するステップと、
    前記少なくとも１つの領域の符号化において量子化ステップをバイパスするステップと、
    前記少なくとも１つの領域内の現在のブロックに対して、
    予測ブロックを生成し、
    前記予測ブロックにより前記現在のブロックを取り去って残余ブロックを生成し、
    前記残余ブロックの符号化における変換ステップを選択的にバイパスする
    ステップと、
    を含む、方法。
16. 前記残余ブロックは複数の残余値を含み、
    前記方法はさらに、
    前記変換ステップをバイパスする場合には、
    前記複数の残余値の少なくとも一部に対してエントロピ符号化を実施して符号化残余値を生成するステップと、
    前記変換ステップをバイパスしない場合には、
    複数の変換係数を含む変換行列へと前記残余ブロックを変換し、
    複数の変換係数を生成するための前記変換係数に対してエントロピ符号化を実施して、複数の符号化された変換係数を生成するステップと、
    を含む、請求項１５に記載の方法。
17. ビット・ストリーム内の符号化された少なくとも１つの領域を送信するステップと、
    前記少なくとも１つの領域を特定する領域指示情報を前記ビット・ストリームのシンタックスに追加するステップと、
    さらに含む、請求項１６に記載の方法。
18. 前記現在のブロックに対して少なくとも１つの変換バイパス・フラグを設定するステップと、
    前記少なくとも１つの変換バイパス・フラグに対してエントロピ符号化を実施して、少なくとも１つの符号化された変換バイパス・フラグを生成するステップと、
    前記少なくとも１つの符号化された変換バイパス・フラグを前記ビット・ストリームに追加するステップと、
    さらに含む、請求項１７に記載の方法。
19. 前記変換ステップをバイパスする場合には、前記変換バイパス・フラグを「１」に設定するステップと、
    前記変換ステップをバイパスしない場合には、前記変換バイパス・フラグを「０」に設定するステップと、
    さらに含む、請求項１８に記載の方法。
20. 前記少なくとも１つの変換バイパス・フラグに対してエントロピ符号化を実施するステップは、前記少なくとも１つの変換バイパス・フラグの各々に対して３つのコンテキスト・モデルを使用するステップであって、前記３つのコンテキスト・モデルは、前記現在のブロックの上側ブロックに属する第１の変換バイパス・フラグと前記現在のブロックの左側ブロックに属する第２の変換バイパス・フラグの合計に等しいインデックスを介して選択可能であるステップを含む、請求項１９に記載の方法。
21. 前記現在のブロックは予測ユニット（ＰＵ）である、請求項２０に記載の方法。
22. 前記現在のブロックは変換ユニット（ＴＵ）である、請求項１８に記載の方法。
23. 前記変換ステップをバイパスする場合には、前記変換バイパス・フラグを「０」に設定するステップと、
    前記変換ステップをバイパスしない場合には、前記変換バイパス・フラグを「１」に設定するステップと、
    さらに含む、請求項１８に記載の方法。
24. 前記少なくとも１つの変換バイパス・フラグは、前記現在のブロックのルマ成分とクロマ成分に適用される単一の変換バイパス・フラグである、請求項１８に記載の方法。
25. 前記シンタックスは、シーケンス・パラメータ・セット（ＳＰＳ）または画像パラメータ・セット（ＰＰＳ）を含み、前記領域指示情報は、
    幾つかの１つまたは複数のロスレス符号化領域と、
    前記１つまたは複数のロスレス符号化領域ごとの、前記ビデオ・フレーム内の前記１つまたは複数のロスレス符号化領域の位置を示す複数の座標と、
    を含む、請求項１７に記載の方法。
26. 前記シンタックスはＳＰＳまたはＰＰＳを含み、前記領域指示情報は、
    幾つかの１つまたは複数のロッシー符号化領域と、
    前記１つまたは複数のロッシー符号化領域ごとの、前記ビデオ・フレーム内の前記１つまたは複数のロッシー符号化領域の位置を示す複数の座標と、
    を含む、請求項１７に記載の方法。
27. 前記ビデオ・フレームは合成ビデオを含む、請求項１６に記載の方法。
28. 前記変換行列は整数離散余弦変換（ＤＣＴ）を用いて生成される、請求項１６に記載の方法。
29. ビデオ復号化で使用する装置であって、
    一連の符号化されたビデオ・フレームを含み、シンタックス内に領域指示情報をさらに含むビット・ストリームを受信し、
    前記一連の符号化されたビデオ・フレームを復号化して、一連の復号化されたビデオ・フレームを生成する
    ように構成されたプロセッサを備え、
    復号化されたビデオ・フレームを生成するステップは、符号化されたビデオ・フレーム内の１つまたは複数のロスレス符号化領域を特定するステップと、前記１つまたは複数のロスレス符号化領域の復号化において逆量子化ステップをバイパスするステップを含む、
    装置。
30. 前記シンタックスは、シーケンス・パラメータ・セット（ＳＰＳ）または画像パラメータ・セット（ＰＰＳ）を含み、前記ＳＰＳまたは前記ＰＰＳは前記領域指示情報を含む、請求項２９に記載の装置。
31. 前記ビット・ストリームはさらに、ロスレス符号化領域におけるブロックごとに少なくとも１つの変換バイパス・フラグを含み、前記プロセッサはさらに、ロスレス符号化領域内のブロックの復号化において逆変換ステップをバイパスするかどうかを前記少なくとも１つの変換バイパス・フラグに基づいて判定するように構成される、請求項３０に記載の装置。
32. 前記少なくとも１つの変換バイパス・フラグが「１」の値を有する場合には前記逆変換ステップをバイパスし、前記少なくとも１つの変換バイパス・フラグが「０」の値を有する場合には前記逆変換ステップを含める、請求項３１に記載の装置。
33. 前記ブロックは予測ユニット（ＰＵ）である、請求項３１に記載の装置。
34. 前記ブロックは変換ユニット（ＴＵ）である、請求項３１に記載の装置。
35. 前記少なくとも１つの変換バイパス・フラグが「０」の値を有する場合には前記逆変換ステップをバイパスし、前記少なくとも１つの変換バイパス・フラグが「１」の値を有する場合には前記逆変換ステップを含める、請求項３１に記載の装置。
36. ビデオ符号化で使用する装置であって、
    現在のブロックに対する、複数の残余値を含む残余ブロックを生成し、
    ＲＤＯ（ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚａｔｉｏｎ）プロセスに基づいて、前記残余ブロックの符号化における変換ステップをバイパスするかどうかを判定し、
    前記現在のブロックに対して少なくとも１つの変換バイパス・フラグを設定し、
    前記少なくとも１つの変換バイパス・フラグに対してエントロピ符号化を実施して少なくとも１つの符号化された変換バイパス・フラグを生成し、
    前記変換ステップをバイパスする場合には、前記複数の残余値の少なくとも一部に対してエントロピ符号化を実施して符号化残余値を生成し、
    前記変換ステップをバイパスしない場合には、
    前記残余ブロックを、複数の変換係数を含む変換行列に変換し、
    前記複数の変換係数に対してエントロピ符号化を実施して複数の符号化された変換係数を生成する
    ように構成されたプロセッサを備える、装置。
37. 前記プロセッサは、
    前記変換ステップをバイパスする場合には前記変換バイパス・フラグを「１」に設定し、
    前記変換ステップをバイパスしない場合には前記変換バイパス・フラグを「０」に設定する
    ようにさらに構成され、
    前記少なくとも１つの変換バイパス・フラグに対してエントロピ符号化を実施するステップは、前記少なくとも１つの変換バイパス・フラグの各々に対して３つのコンテキスト・モデルを使用するステップであって、前記３つのコンテキスト・モデルは、前記現在のブロックの上側ブロックに属する第１の変換バイパス・フラグと前記現在のブロックの左側ブロックに属する第２の変換バイパス・フラグの合計に等しいインデックスを介して選択可能であるステップとを含む、
    請求項３５に記載の装置。
38. 前記プロセッサは、
    前記上側ブロックがどの変換バイパス・フラグも有さない場合には、「０」を前記第１の変換バイパス・フラグに割り当て、
    前記左側ブロックがどの変換バイパス・フラグも有さない場合には、「０」を前記第２の変換バイパス・フラグに割り当てる、
    ようにさらに構成される、請求項３６に記載の装置。
39. 前記少なくとも１つの変換バイパス・フラグは、前記現在のブロックのルマ成分とクロマ成分に適用される単一の変換バイパス・フラグである、請求項３７に記載の装置。
40. 前記少なくとも１つの変換バイパス・フラグは、前記現在のブロックのルマ成分に適用されるルマ変換バイパス・フラグと、前記現在のブロックのクロマ成分に適用されるクロマ変換バイパス・フラグとを含む、請求項３７に記載の装置。

Images