JP2007135219A6 - 通信システムにおけるビデオフレーム転送方法と装置 - Google Patents

Abstract

【課題】符号化効率の改善と処理時間の高速化。
【解決手段】連続静止フレームからなるビデオフレームを作成するステップと、参照フレームとして少なくとも１つのフレームのフレーム再構成データと符号化済み隣接ブロックの動きデータを記憶するステップと、前記記憶された参照フレームを使って作成される隣接ブロックからの、１以上の符号化済み隣接ブロックの動きベクトルを使って、符号化ブロックの動きデータを定めるステップと、フレーム再構成データと符号化ブロックを表す動きデータを定めるステップと、を有する通信システムにおけるビデオフレームの符号化方法であって、所定の画質を有し、所定の符号化効率を提供する。
【選択図】図９

Description

本発明は、ビデオフレームが一連の連続した静止フレームから構成される時の、通信システムにおけるビデオフレームのコーディング・デコーディングのための方法と装置に関する。そのフレームにおいては、前記転送フレームが、典型的には、各フレームに特有の複数のフレームブロック又はセグメント（例えば、ピクセルグループ）に分割されており、そして、各フレームブロックのデータは、典型的には、前記フレームブロックのルミナンス、カラー、位置を表す情報を含んでいる。

通信システム（例えばビデオフォン、ビデオ会議システム又はインターネット接続）において、ビデオフレームの転送は、大量のデータを転送しなければならない為に、負担になる課題である。というのは、データを転送する時、より大量のビットを必要とすればする程、データ転送速度を高速にしなければならないからである。フレーム転送時には、通常、フレームはフレームブロックに分割され、そのサイズはシステムに適合して決められる。フレームブロックの情報は、通常、フレームにおける、フレームブロックのルミナンス、カラー、位置に関する情報を含んでいる。前記フレームブロックデータは、所望の符号化法を使って各ブロック毎に圧縮される。圧縮の原則は、不必要なデータを取り除くことである。圧縮方法は、大まかに、３つに分類できる。スペクトル冗長度低減、空間冗長度低減、時間冗長度低減である。圧縮する時、通常、これら方法を組み合わせて用いる。

例えば、スペクトル冗長度低減は、YUVカラーモデルに適用される。前記YUVカラーモデルは、人間の目がクロミナンス（即ち、色）の変化よりもルミナンスの変化に敏感であるという事実を利用している。前記YUVモデルは一つのルミナンス成分（Y）と、２つのクロミナンス成分（U,V）を持っている。該クロミナンス成分は、サブサンプルされる。例えば、H.263ビデオコーディング標準規格に従うルミナンスブロックは、16×16ピクセルで、2つのクロミナンスブロックは、ルミナンスブロックと同一の領域をカバーするが、8×8ピクセルである。一つのルミナンスブロックと二つのクロミナンスブロックは、この標準規格の中で、マクロブロックと呼ばれる。

空間冗長度を低減するために、例えば、離散コサイン変換（DCT）が使用され、圧縮ブロックは、８×8ピクセルである。DCTにおいては、フレームブロックのピクセル表示は、空間周波数表示に変換される。更に、フレームブロックに存在する信号周波数だけが、大振幅係数を持つ。フレームブロックに存在しない信号の係数は、０に近いものである。又、DCTは、ロスの無い変換で、妨害は、信号を量子化するときのみである。

時間冗長性を低減するためには、連続フレームが、通常相互に類似するという事実を利用する。即ち、各個別のフレームを圧縮する代わりに、フレームブロックの動きデータを生成する。原理は以下の通りである。即ち、符号化しようとするフレームブロックに対し、以前に符号化した参照ブロックをできるだけ探し、参照ブロックと符号化しようとするブロック間の動き差分をモデル化し、動きベクトル係数を計算し、受信機に送信する。符号化しようとするブロックと参照ブロック間の差分は、予測誤差成分として表わされる。従って、問題は、できるだけよいコーディング効率（可能な限り少ないビットで充分高画質の）、比較に必要な、高計算能力、従って短い計算時間を生む参照ブロックを見出すことである。

本発明の目的は、符号化ビデオフレームの改良方法、ビデオコーダ（符号化器）の改良、加入者端末装置の改良を提供することである。本発明は、1以上の参照フレーム又は参照ブロックの、及びフレーム再構成データ（frame reconstruction data）を符号化する際の1以上の既にコード化された隣接ブロックの、フレーム再構成データを使用する技術をベースにしている。フレーム再構成データ、及び、本発明の方法又は他の既知の方法により符号化する動きデータの選択は、十分な画質を維持しつつ、所望のコードディング効率がどのように得られるかに依存して決められる。

通信システムにおいて、これを達成する為のビデオフレームの符号化方法は、連続静止フレームのビデオフレームを作成するステップ、参照フレームとしての１以上のフレームのフレーム再構成データ、及び既に符号化した隣接ブロックの動きデータの記憶するステップ、既に符号化した隣接ブロック（該隣接ブロックは、前記記憶された参照フレームにより生成される）の動きデータを使って、符号化しようとするブロックの動きデータを定めるステップ、符号化しようとするフレームの前記フレーム再構成データを定めるステップ、フレーム再構成データと符号化するブロックを表す動きデータ（所定の画質を維持して、所定のコードディング効率を提供する）を選択するステップ、を含む。

通信システムにおいて、これを達成する為のビデオフレームのコーディング方法は、連続静止フレームのビデオフレームを作成するステップ、参照フレームとしての１以上のフレームのフレーム再構成データ及び既に符号化した隣接ブロックの動きデータを記憶するステップ、符号化しようとするブロックのフレーム再構成データを符号化するのに使用される同一の参照フレームを持つ隣接ブロックだけを使って、符号化しようとするブロックの動きデータを定めるステップ、フレーム再構成データと動きデータを選択する（所定の画質を維持して、所定のコードディング効率を提供する）ステップ、含む。

本発明は、連続静止フレームからなるビデオフレームを作成するための手段と、参照フレームとして少なくとも１つのフレームのフレーム再構成データと符号化済み隣接ブロックの動きデータを記憶するための手段と、前記記憶された参照フレームを使って作成される隣接ブロックからの、１以上の符号化済み隣接ブロックの動きベクトルを使って、符号化しようとするブロックの動きデータを定めるための手段と、符号化しようとするフレームのフレーム再構成データを定めるための手段と、所定の画質を有し、所定の符号化効率を提供するように、前記フレーム再構成データと、符号化しようとするブロックを表す動きデータを、使用するために選択するための手段と、を有する加入者端末装置に関する。

本発明は、又、連続静止フレームからなるビデオフレームを作成するための手段と、参照フレームとして少なくとも１つのフレームのフレーム再構成データと符号化済み隣接ブロックの動きデータを記憶するための手段と、符号化しているブロックのフレーム再構成データを符号化するために使用したのと同一の参照フレームを持つ隣接ブロックだけを使って、符号化しているフレームブロックの動きデータを定めるための手段と、所定の画質を有し、所定の符号化効率を提供するように、前記フレーム再構成データと、動きデータを、使用するために選択するための手段と、を有する加入者端末装置に関する。

本発明は、又、連続静止フレームからなるビデオフレームを作成するための手段と、参照フレームとして少なくとも１つのフレームのフレーム再構成データと符号化済み隣接ブロックの動きデータを記憶するための手段と、前記記憶された参照フレームを使って作成される隣接ブロックからの、１以上の符号化済み隣接ブロックの動きベクトルを使って、符号化しようとするブロックの動きデータを定めるための手段と、符号化しようとするフレームのフレーム再構成データを定めるための手段と、所定の画質を有し、所定の符号化効率を提供するように、前記フレーム再構成データと、符号化しようとするブロックを表す動きデータを、使用するために選択するための手段と、を有するビデオコーダ（符号化器）に関する。

本発明は、又、連続静止フレームからなるビデオフレームを作成するための手段と、参照フレームとして少なくとも１つのフレームのフレーム再構成データと符号化済み隣接ブロックの動きデータを記憶するための手段と、符号化しようとするブロックのフレーム再構成データを符号化するために使用したのと同一の参照フレームを持つ隣接ブロックだけを使って、符号化しようとするフレームブロックの動きデータを定めるための手段と、所定の画質を有し、所定の符号化効率を提供するように、前記フレーム再構成データと、動きデータを、使用するために選択するための手段と、を有するビデオコーダに関する。

本発明は、又、連続静止フレームからなるビデオフレームを作成するステップと、参照フレームとして少なくとも１つのフレームのフレーム再構成データと符号化済み隣接ブロックの動きデータを記憶するステップと、前記記憶された参照フレームを使って作成される隣接ブロックからの、１以上の符号化済み隣接ブロックの動きベクトルを使って、符号化しようとするブロックの動きデータを定めるステップと、符号化フレームのフレーム再構成データを定めるステップと、所定の画質を有し、所定の符号化効率を提供するように、前記フレーム再構成データと、符号化しようとするブロックを表す動きデータを、使用するために選択するステップと、を有する、コンピュータが読むことのでき、通信システムにおけるビデオフレームの符号化方法を実行するコンピュータプログラムに関する。

本発明は、又、連続静止フレームからなるビデオフレームを作成するステップと、参照フレームとして少なくとも１つのフレームのフレーム再構成データと符号化済み隣接ブロックの動きデータを記憶するステップと、符号化しようとするブロックのフレーム再構成データを符号化する際使用したのと同一の参照フレームを持つ隣接ブロックだけを使って、符号化しようとするフレームのフレームブロックの動きデータを定めるステップと、所定の画質を有し、所定の符号化効率を提供するように、前記フレーム再構成データと、動きデータを、使用するために選択するステップと、を有する、コンピュータが読むことのでき、通信システムにおけるビデオフレームの符号化方法を実行するコンピュータプログラムに関する。

本発明の方法と装置によれば、画質を適正なまま維持しつつ、計算時間と能力（capacity）の節約がもたらされる。
以下、図面を参照しながら、好ましい実施例を用いて本発明を説明する。

図１は、本発明を適用することができる簡略化したデジタルデータ送信システムを示す。それは、セルラー無線システムの一部分で、無線108、110を介して加入者端末装置100、102と接続する基地局104を有する。前記端末装置は、固定であってもよく、又は車中に設置する端末装置であってもよく、又は携帯端末装置であってもよい。基地局のトランシーバは、アンテナユニットに接続され、加入者端末装置に無線リンクが設けられている。該基地局は更に、基地局コントローラ106に接続されている。該コントローラは、ネットワークのどの端末装置とも接続する。前記基地局コントローラは、自分に接続する複数の基地局を中央集権的にコントロールするものである。基地局コントローラのコントロールユニットは、呼コントロール、データトラフィック・コントロール、移動度管理（mobility management）、統計集計、シグナリングを担当する。

又、セルラ無線システムは、公衆電話網に接続することができる。その場合、該システムのトランスコーダ（transcoder）は、公衆電話網とセルラ無線ネットワーク間で使用される各種の音声デジタル符号フォーマットを相互に適合するように変換する。例として、固定ネットワークの64kbit/sフォーマットからセルラ無線ネットワークフォーマット（例えば13ｋbit/s）への変換及びその逆を挙げることができる。

本発明を、例えば、インターネットのような固定通信システムにも適用できることは、当業者には明らかである。

ビデオフレームを符号化する目的は、フレーム転送に必要なビット数を低減することである。図２aから図２ｃは、従来の動きの符号化方法を示す。この方法の原理は、メモリに既に記憶している参照フレームを使って、フレームブロック（又、ブロックという用語が、本文中で使用される）の動きベクトルを予測することである。このタイプの符号化は、フレーム間符号化（inter-coding）と呼ばれ、圧縮符号化において、一連のフレーム間の類似度を利用するものである。

図２aから図２ｃの例において、参照フレーム206は、ブロック、セグメントに分割され、既に符号化されている。図２ｂと図２ｃには、フレームブロックを示していない。参照フレームは、一連のフレームの符号化しようとするフレームの前であってもよいし、後であってもよい。図２aに示される現行フレーム204は、符号化され、ブロックに分割されている。図には、単に、唯一つブロック200だけを示した。ブロックの大きさは、Ｎ×Ｍである。ブロックは、典型的には、正方形で、即ちＮ＝Ｍである。しかし、例えば長方形であることもできる。現行ブロック200と図2c中の参照ブロック214は、幾何学的に相似でなくてもよい。というのは、実際には、フィルム化されたもの（filmed objects）は、回転したり、捩れたり変形するからである。ブロックのサイズと形状は、各々の状態に合わせて、以下の事柄を考慮して定義を行う。例えば、小ブロックサイズは、よリ良質の画像（picture）を与えるが、定義した動きベクトルの信頼性を減ずる。というのは、少ないピクセル数を使って定義を行うからである。より小さいブロックを使う時には、より多くの動きベクトルデータを生成しなければならない。フレームを多数のブロックに分割しなければならないからである。更に、動きベクトルを定義する高速アルゴリズムは、ブロックサイズが大きい場合は、より効率的である。例えば、現行ビデオ符号化標準規格では、N=M＝１６である。

動きを推定するには、符号化されたブロック200に対し、参照フレーム206において一番適した参照ブロックを見つけ、これを図２cの214とする。参照ブロックの適合性は、選択基準に依存する。選択の目的は、典型的には、画質を充分良好に維持しながら、符号化しているブロックを転送するのに必要なビット数を最小にするようなブロックを見つけることである。このように、選択基準はアプリケーションの目的に依存するものである。

サーチ範囲は、通常、現行フレーム204で符号化しているブロック200に対応するフレーム位置にある参照フレーム206であり、図2bと2cにおけるサーチ領域210で表される、直近領域（immediate proximity）内の所定の領域である。サーチ範囲を前記参照フレーム内で狭い範囲に限定することにより、サーチ時間と必要計算量は低減される。サーチ範囲の大きさは、アプリケーションの目的に適合するように、符号化済みフレーム・ストリングのフレームを基に、動きが遅いか又は遅いかを決定することにより決められる。もし動きが遅い場合は、サーチ範囲は、動きが速い場合より小さい範囲に限定することができる。典型的には、サーチは、予測動きベクトルの周囲環境の中で行われる。

図2aから2cの例において、フレームブロックの位置は、ブロックの左上角部の座標（x、y）で表される。ｘ座標は、ピクセル又はブロックの水平方向の位置を表し、ｙ座標は、ピクセル又はブロックの垂直方向の位置を表わす。符号化しているブロックの座標に202のようにマークを付ける。図2cにおいて、サーチ範囲210の中で、最良の参照フレームブロック214を見つけたとする。座標（x、y）208は、符号化しているブロック200が移動しなかった時に位置するであろう位置（即ち座標202と同一）の座標である。これらは説明用に示すものである。ブロック212は、移動しない場合に、ブロック200を表すものであって、説明用に示すものである。符号化しているフレームブロックの動きは、座標（x+u、y+v）216から座標（x、y）208への変化として表示できる。
一般的に、座標（x,y）は、起点（origo）として定義される。従って、符号化ブロックの動きベクトル218は、座標（u,v）で表示することができる。又、動きベクトルは動きベクトル係数と動きモデルの定義を使って表すことができる。

図３は、従来技術の動き符号化法の概略を示すもので、この方法の原理は、符号化しているフレームの既に符号化した隣接ブロックを使って、符号化しているフレームブロックの動きベクトル係数の予測を行うことである。符号化しているフレームブロック304の隣接ブロックは、既に符号化されており、符号化フレームブロックの動きベクトル係数を予測するのに使用され、ここでは、予測候補（prediction candidates）と呼ぶ。図３において、予測候補は、隣接ブロック300、302、306である。図３の例において、予測候補300、302、306には、識別する為に、ピクセル位置308、310、312にマークを付した。予測候補306は、前記符号化ブロックの左側に位置しており、ピクセル位置308にマークを付しており、予測候補300は、前記符号化ブロックの上側に位置しており、ピクセル位置310にマークを付しており、予測候補30２は、前記符号化ブロックの右上角に位置しており、ピクセル位置312にマークを付している。図３を見ると、ピクセル位置308、310、312は、それぞれのブロック内で符号化ブロック304に近接する位置に存在していることが分かる。注意すべきことは、符号化しているブロックに隣接するブロックの数と位置が、図３に図示したものと異なることがありうる点である。

図３に示すケースにおいては、符号化しているブロック304の動きベクトル係数を予測するのに、３つの予測候補を使う。例えば、必要とする動きベクトル係数は、これら予測候補から得られる動きベクトル係数のメジアン（median）として、予測することができる。又、ブロック304の動きベクトル係数を予測するのに唯一つの予測候補を使うことが可能であり、その場合、予測ブロック306の動きベクトル係数、予測ブロック300の動きベクトル係数、又は、予測ブロック302の動きベクトル係数から係数を得ることができる。

直近領域（immediate proximity）では無く、離れた既に符号化した隣接ブロックを使用することもできる。しかし、その場合、考慮すべき点は、前記ブロックの動き誤差は、通常、距離が大きくなるに従って、大きくなる点である。

ビデオフレーム符号化する際に、ブロック毎にフレーム間符号化及びフレーム内符号化（inter and intra-coding）を組み合わせて、最良の結果を得るようにする。フレーム内符号化フレームを適当な間隔で送信することにより、１フレームから次のフレームを転送するのに、転送チャネルで起る誤差が蓄積され、フレーム符号化の障害が発生するのを防止する。

コーディングとデコーディングに、図２aから２c及び３に示した方法を使うことができる。必要なフレームを有するコーダで使用される方法がビットストリームとしてデコーダに転送される。

図３に示すように、前記ブロックもセグメント化することができる。セグメント化することは、それぞれのフレーム部分が様々な仕方で移動する場合には、望ましい。例として、単一の対象、例えば一人の人、一台の車等が移動する間、背景が変化しない場合をあげることができる。フレームブロックを垂直に分割して、例えば、ブロック300のようにセグメント化することができる。例を示さないが水平方向に、又は、ブロック３０６のように両方の方向に分割することができる。セグメント化により、転送ビット数を低減し、既に符号化されたフレームの適当な一部を使用できる。

符号化しているフレームブロックの動きベクトル係数を定義する時、動き推定に既知の様々なモデルを使うことができる。各種モデルは、それぞれ、垂直、水平の動き、回転等各種の動きを定義するのに適している。このモデルに含まれるアフィン動きモデル（affine motion model）においては、ピクセルの動き、フレームセグメント又はブロックを、ΔｘとΔｙを使って動きベクトルを形成する次式を用いて、表すことができる。
Δx(x、y)＝ａ₀＋ａ₁ｘ＋ａ₂ｙ
Δy(x、y)＝ｂ₀＋ｂ₁ｘ＋ｂ₂ｙ （１）

但し、a0、a1、a2、b0、b1、b2は、動きベクトル係数であり、ｘとｙは、ベクトル成分であって、ｘは、水平方向のピクセル、又は、ブロック位置を表し、ｙは、垂直方向のピクセル、又は、ブロック位置を表す。又は、並行移動モデル（translational model）では、ピクセル、フレームセグメント又はブロックの動きは、次式により表され、該式において、ΔｘとΔｙは動きベクトルを形成する。
Δx(x、y)＝ａ₀
Δy(x、y)＝ｂ₀ （２）

但し、a0、b0は、動きベクトル係数で、ｘとｙはベクトル成分である。前記使用したモデルは、コーダ（符号化器）とデコーダ（復号化器）のメモリに記憶されている。もし複数の動きモデルが符号化に使用されるならば、そのコーダは、動きに従ってモデルを選択し（例えば、上向きの動きの場合、上向きの動きを表すモデルが使用され符号化される）、前記使用されたモデルにおける情報は、動きベクトル係数と共にデコーダに送信される。

図４は、ビデオフレーム符号化のためのフローチャートである。以下の説明において、フレームブロックは、例えば、ピクセルが形成するYUVモデルに基づくブロック、セグメント、又はマクロブロックを意味する。
本方法は、ブロック400からスタートする。

ブロック４０２において、ビデオフレームは、連続する静止フレームから構成される。ビデオフレームを形成する為には、人間の視覚システムが、複数フレームを互に別々のフレームであると識別しないスピードで、静止フレームを送信されることが望ましい。

ブロック４０４において、フレームブロックの符号化済みの再構成データ（例えば、ピクセルの色とルミナンス、動きベクトル係数から算出される予測誤差フレーム）がメモリに記憶される。前記フレーム再構成データは、適用する標準規格（例えば、H.263又はMPEG）に従って符号化される。動きベクトル係数と予測誤差フレームの定義は、上記した通りである。メモリに記憶されたフレーム再構成データを用いて、１以上の参照フレームを形成する。更に、既に符号化された隣接ブロックの動きデータ（即ち前記動きベクトル係数）と使用した動きモデルをメモリに記憶する。もっとも好ましいことは、符号化しているブロックの直近の隣接ブロックを使用することであるが、たまには、前記フレーム内の離れた位置の既に符号化したブロックを使用することもできる。

ブロック４０６において、符号化しているブロックの動きデータを、既に符号化した隣接ブロックを使って定める。１以上の隣接ブロックの動きベクトル係数を使って定めることが好ましい。

ブロック４０８において、例えば、参照フレームを使って、符号化しているブロックの再構成データを符号化する。

本方法を強化する為に、隣接ブロックだけを使って符号化しているフレームブロックの動きデータを計算することができる。前記隣接ブロックは、前記符号化しているブロックのフレーム再構成データの符号化に使用したのと同一の参照フレームを有するものである。同一フレームストリングにおいては、類似フレームが存在するので、符号化済みフレームの中から、符号化しているブロックに対応するブロックを見出す、又は、充分類似したブロックを見出す可能性がある。前記符号化済みフレームから、符号化済み隣接ブロックに対して適正な参照ブロックを見出している。例えば、1以上の隣接ブロックの動きベクトル係数が使われる。又、符号化しているブロックの参照ブロックのサーチ範囲は、参照フレーム内で隣接ブロックの動きベクトル係数が定める周囲（environment）に限定される。

唯一のフレーム間符号化済み隣接ブロックが、符号化しているブロックと同一の参照フレームを有する条件において、この隣接ブロックの動きベクトルを動きベクトルの一つの候補として選択する。他の候補として、例えば、複数の隣接ブロック動きベクトルから計算したメジアンを選択することができる。

注意すべきことは、ブロック符号化に使用されるブロックは、符号化しているブロックが符号化されるのと同一の方法で（inter）符号化されることである、即ち、隣接ブロックをフレーム内符号化する時は、参照フレームを有しない。
参照フレームを持つ予測候補がない時、従来技術であるフレーム内符号化を使うか、又は、メモリに記憶されている全参照フレームをチェックする。

参照ブロックは、ビデオコーダ（即ち、フレームブロックのフレーム再構成データを符号化する符号化器）が圧縮符号化する時に使うフレームブロックである。フレームブロックは、できる限り符号化しているブロックに一致するものとして、既に符号化されメモリに記憶されている１以上の参照フレームからサーチされ、前記参照ブロックとして選択される。その際、その予測誤差フレームを可能な限り小さくなるように選択される。

ブロック４１０において、符号化方法が選択され、符号化しているブロックのフレーム再構成データと動きデータが、最適に符号化される、即ち、所定の画質を保持しつつ、所定の効率が得られるように符号化される。注意すべき点は、符号化しているブロックの符号化方法として、隣接ブロックの動きデータを使った前記符号化方法、又は、従来技術の方法（例えば、フレーム間符号化方法、この方法は、符号化しているブロックを、参照フレームから見つける参照ブロックを使って直接符号化する、）、のいずれかを選択することである。符号化方法を選択するための目的は、例えば、画質をノーマルビデオピクチャの画質に対応しつつ、ビット数を小さくすることであり、又は、ビット数を使用標準規格のビット数に適合させる（例え、アプリケーションオブジェクトに応じた画質を達成するのに、より少ないビット数で足りたとしても）ことである。

符号化効率は、例えば、下記のラグランジュ関数を使って推定でき、最高効率のセグメンテーションと符号化を定めることができる。
Ｌ（Ｓｋ）＝Ｄ（Ｓｋ）＋λＲ（Ｓｋ） （３）

但し、Ｄ（Ｓｋ）は、フレームをデスプレッディング（despreading）する際、生じる誤差、
Ｒ（Ｓｋ）は、フレームを転送するのに必要なビット数、
λは、ラグランジュ定数である。

ラグランジュ関数は、転送フレームの質と伝送パス（path）に要求されるバンド幅との間の関係を表すものである。一般的にいえば、ピクチャの画質が高くなる程、バンド幅は、大きくなる。最適圧縮符号化は、常に、必要なビット数と画質との間の折衷になる。

矢印４１２は、フレームが符号化されるまで本方法をブロック毎に繰り返すことを表す。注意すべき点は、本方法では、一連のフレームの全フレームを符号化するまで繰り返すことが望ましい点である。
本方法の実行は、ブロック４１４で終了する。

図５は、動きベクトルの予測を行い、参照ブロックを見つける例を示すものである。この例においては、隣接ブロックだけを使うこととし、この隣接ブロックは、符号化しているブロックのフレーム再構成データを符号化するのに使用したのと同一の参照フレームをもつものとする。注意すべき点は、ブロック符号化には、通常、従来技術の方法も使う点である。最後に、符号化方法が選択され、充分な画質を持った所望の符号化効率が得られる。

符号化しているフレーム頁５００は、ブロックに分割されている。分かりやすいように数個だけを示した。ブロック５０６を符号化しているとする。フレーム５０２、５０４、５３２と５０８は、メモリに記憶されている参照フレームである。フレーム５０２は、符号化済みの隣接ブロック（数字１でマークしている）であるブロック５１０と５１４の前記参照フレームである。符号化しているブロック５０６と参照ブロック５１０と５１４は、フレーム５０２と比べて、フレーム５００内で移動していない。フレーム５０４は、隣接ブロック５１２（図において数字２でマークした）の参照フレームである。フレーム５０８は、隣接ブロック５１６（図において数字４でマークした）の参照フレームである。フレーム５３２は、符号化しているブロック５０６のどの隣接ブロックを符号化する際にも、使用されなかったフレームである。即ち、それはどの隣接ブロックの参照フレームにならない。従って、フレーム５３２は、この例では、符号化ブロック５０６に対する参照ブロックを見つける時に使用されない。

次に、隣接ブロック５１０と５１４が、符号化しているブロック５０６の動きベクトルの予測候補として使用される。予測候補の符号化タイプ（inter）が現行ブロックの符号化に使用されるものと同一であるか否かをチェックする。もしこれが同一であるとき、ブロック５２６は、参照ブロックとして使用される。そして動きベクトル係数の平均又はメジアンを計算し、動きベクトル係数を算出する。該動きベクトルは、ブロック５１０と５１８の位置を比較して得られたものであって、これらから動きベクトル係数が、隣接ブロック５１０に対し算出されている。又前記動きベクトルは、位置５１４と５２０の位置を比較して得られ、これらから動きベクトル係数が、隣接ブロック５１４に対し算出されている。更に、符号化しているブロック５０６と参照ブロック５２６とを比較して、予測誤差フレームを決定する。図５の例では、フレーム５００と５０２における前記ブロック位置は変化していない。従って、動きベクトル係数は決めない。

次に、隣接ブロック５１２の符号化タイプがチェックされる。もしそれが現行ブロック５０６で使用されるものと同一である場合、参照ブロックが、フレーム５０４に対してサーチされる。ブロック５１２と５２２との比較から算出される動きベクトル係数は、前記ブロック５０６の動きベクトル係数として使用される。次に、予測誤差フレームが、参照ブロック５２８を使って定められる。

次に、隣接ブロック５１６の符合化タイプがチェックされる。もしそれが現行ブロック５０６で使用されるものと同一である場合、参照ブロックが、フレーム５０８についてサーチされる。前記ブロック５１６と５２４との比較から算出される動きベクトル係数は、前記ブロック５０６の動きベクトル係数として使用される。その後、予測誤差フレームが、参照ブロック５３０により決められる。

前記ブロック５０６に対する動きベクトル係数も、ブロック５１０、５１２、５１４の動きベクトル係数のメジアン又は平均値を算出して決定することができる。

又、もし複数の動きモデルを使用するなら、使用する動きモデルを指示する。

ブロック５３４は、フレーム内符号化であるから、参照フレームを持たない。たとえ、好ましい符号化方法が他にあるとしても、ブロック５０６の符号化には使われない。

隣接ブロックの数と位置、並びに、記憶された参照フレームの数は、図５に示されるものとは異なるかもしれない。

図９は、動きベクトルを予測し、参照ブロックを見つける第２の例を説明するものである。この例において、もし隣接ブロックが一つだけフレーム間符号化されており、前記隣接ブロックが、符号化しているブロックと同一の参照フレームを有するなら、前記符号化しているブロックは一つの隣接ブロックだけを使って符号化される。

符号化しているフレーム９００は、ブロックに分割される。分かりやすいように、そのうちの数個だけを図示する。ブロック９１２を符号化するものとする。フレーム９１０２，９０４，９０６がメモリに記憶される参照フレームである。符号化済みの隣接ブロック９１４（数字１としてマークした）の参照フレームがフレーム９０２であり、ブロック９１０（２とマークした）の参照ブロックがフレーム９０４である。ブロック９０８はフレーム内符号化されており、従って、参照フレームを持たない。

図９の例が調べようとするものは、符号化しているブロック９１２に対し、メモリに記憶された全参照フレーム（即ち、この例のフレーム９０２、９０４、９０６）から、適合する参照ブロックを見つけることができるかどうかである。フレーム９０２が適合する参照ブロックを有するかどうかを調べる時、前記ブロック９１４の動きベクトルを動きベクトル予測候補として使用する。というのは、ブロック９１４が隣接ブロックの３つの内の１つで、この参照フレームが９０２であるからである。同様に、フレーム９０４が適合する参照ブロックを持つか否かを調べる時に、前記ブロック９１０の動きベクトルが、動きベクトル予測候補として使われる。というのは、ブロック９１０が隣接ブロックの３つの内の１つで、この参照フレームが９０４であるからである。
フレーム９０６は、どの隣接ブロックについても参照フレームにならない。従って、この例においては、動きベクトルは、例えば、ブロック９１０，９１４、９０８のメジアンを使って予測される。例えば、その場合、フレーム間符号化ブロック９０８の動きベクトルは０に設定される。

ここで注意すべきことは、符号化しているブロックの動きベクトルの予測を行うにあたり、隣接ブロックの動きデータ及び参照フレーム・データのみならず、マクロブロック（例えば、符号化しているブロックが属する）のセグメンテーション情報を使用することが可能であるということである。隣接ブロックの数と位置、並びに、記憶されている参照ブロックの数は、図９に示すものとは異なることがあり得る。

図６に、ビデオフレームを符号化する上記方法を実装できるコーダの例を図示する。ビデオコーダの設計原理は、符号化しているブロックIn(x、y)６２０と予測候補（選択された参照ブロック）Pn(x、y)６１２との間の予測誤差フレームEn(x、y)６００を最小化することである。前記予測誤差フレームを、前記符号化ブロック６２０と前記予測候補６１２との差分として定義し、加算器６３２を使って算出する。即ち

En(x,y)＝In(x、y)−Pn(x、y) （４）

前記予測ブロック６１２は、本発明の好ましい実施例による方法に基づいて、選択された参照フレームと複数の動きベクトルを使って取得される。前記動きベクトル(Δx(x、y)、Δy(x、y))係数は、動きベクトル計算ブロック６３０において予測動きベクトルの総和として生成され、その係数は相違である。本発明の好ましい実施例によると、予測された動きベクトル係数は、隣接ブロックの動きベクトルを使って算出される。前記隣接ブロックは、符号化しているブロックと同一の参照フレームを有するものである。他の方法も、動きベクトルの予測に使用される。その内の１つは、従来技術の方法で、符号化しているブロックを、参照フレームを使って直接符号化するものである。フレーム内の全ピクセルの動きベクトルの群は、動きベクトルフィールドと呼ばれる。フレームには大量のピクセルがあるから、現実には、ビデオ符号化する時には、フレームをブロックに分割し、その動き情報を、ブロック毎に図７に示す受信機のデコーダに転送する。

少なくとも一つの動きベクトルが、予測動きベクトル、又は、予測動きベクトルから構成される動きベクトルフィールドから選択され、動きベクトル符号化ブロック６２８において符号化される。例えば、上記実施例の周知の動きモデルが、符号化に使用される。符号化済み動きベクトル又はこれから形成される動きベクトルフィールドがマルチプレクサ６２４に転送される。

ブロック６１８において、フレームを、セグメント毎に、又はブロック毎に、フレームブロックから形成する。参照ブロック又は予測候補は次のフォーマットからなる。

ブロック６０２において、予測誤差フレームEn(x、y)６００は符号化され、典型的には、有限な２次元級数変換（例えば離散コサイン変換（ＤＣＴ）を使った）として表される。ＤＣＴ変換により算出される係数は量子化され、符号化され、マルチプレクサ６２４と図７に示す受信機のデコーダ（復号化器）に転送される。

前記マルチプレクサ６２４において、動きベクトル情報を含む情報は、予測誤差フレームと組み合わせられる。そしてこのフレーム情報６１６は、デコーダに転送される(図７)。

上記ビデオコーダの機能は、例えば、プロセッサ上で実行するソフトウェア、又は、個別部品からなるロジック又はASIC（application-specific integrated circuit）のようなハードウェア等、各種の仕方で実装される。

図７は、デコーダの一例を示す。このデコーダを使って、上記方法を実施し、ビデオフレームにおける時間冗長性を低減する。受け取ったビデオ信号７００の符号化済み予測誤差フレーム７０２と符号化済み動きベクトル係数又は動きベクトルフィールド係数７１２は、デマルチプレクサ７１０において、互に分離される。

上記ビデオコーダの機能は、例えば、プロセッサ上で実行するソフトウェア、若しくは、個別部品又はASICから構成されるロジックのようなハードウェアのような、様々なやり方で実装される。

無線システムの１つの端末装置を、図８で示す。該無線システムを使って、本発明の好ましい実施形態の方法が実施される。加入者端末装置８２４の送信器と無線システムネットワークの構成要素の送信器とは、同一タスクを部分的に実行する。端末装置８２４は、例えば、移動電話であってもよいし、又は、無線パーツを備えるマイクロコンピュータ（これらに限定するわけではないが）であってもよい。前記端末装置は、アンテナ８００を備えており、それを使って、デュープレックスフィルタを通して信号を送受信する。前記端末装置は、又複数のアンテナ、即ち、マルチアンテナ・システムを備えている。又、前記端末装置は、変調信号を増幅し、アンテナへ転送する送信器８０２と、所望の情報を含むデータ信号の搬送波を、選択した変調方法に基づいて変調する変調器８０４と、アンテナから得た信号を増幅し、所望の中間周波数又は直接ベースバンドにダウンコンバートする受信機８０６と、前記受信信号をデコードし、データ信号を搬送波から分離するデコーダ８０８を備える。

加入者端末装置は、又、カメラ820とビデオコーデック822等、該端末装置の他のパーツの動作を制御し、ユーザの音声、又は、デジタル信号処理（DSP）、デジタルアナログ変換処理、フィルタ処理等、ユーザが生成したデータを処理するのに必要な動作を行うコントロ−ルブロック816を有している。又、WCDMAのようなスペクトル拡散システムにおいては、信号スペクトラムは、送信器において擬似ランダム拡散符号を使って広帯域に拡散され（spread）、受信機において復調され（despread）、チャネル容量を大きくするようにする。コントロールブロックは、又、チャネル・音声符号化（speech coding）のような符号化と復号化を行う。更に、前記コントロールブロックは、無線システムの大気インターフェース標準規格に適合するように、送信信号とシグナリング情報を調整する。加入者端末装置は、１以上の各種のタイプのメモリ（図示しないが、他のブロックのパーツ又は個別部品である）を備えている。図8の例では、コントロールブロックは、又、上記端末装置の動作を制御するプログラムを有している。前記図の例においては、ビデオコーデック822は、フレームの再構成データを符号化・復号化するものであるが、個別部品であるが、コントロールブロック816の一部であることもできる。

フレームを転送する時に、カメラ820は、デジタル画像をメモリブロック818に記録する。該カメラ820は、又前記画像を直接コーデック822に記録することができる。該コーデックは、前記方法の１つ、又は複数方法の組合せを使って、選択したフレームを符号化する。前記カメラ820、コーデック822とメモリ918は、加入者端末装置824に内蔵し、又は、個別カメラユニット816に内蔵することができる。後者の場合には、インターフェース828を介して加入者端末装置824に接続される。

加入者端末装置のユーザは、必要に応じて、表示装置814上でフレームを見ることができる。符号化フレーム再構成データは、音声又はテキストデータと同一のやり方で通信システムに転送され、例えば、他の電話に送信される。

前記端末装置の動作ブロック（例えばコントロールブロック、及び、符号化復号化に必要なコーデックブロック822等）の実装には、多くのやり方がある。例えば、プロセッサ上で実行するソフトウェアで、若しくは、個別部品又はASICから構成されるロジックのようなハードウェアで実装される。前記図に示す端末装置の複数の機能は、前記図とは異なる多くのやり方で動作ブロックに組み込むことができる。例えば、コーデックブロック822は、コーダとデコーダに分割することができる。

前記端末装置のユーザインターフェースは、スピーカ又は受話口810、マイク812、表示装置814及び場合によってキーボード（これらは、全てコントロールブロック816に接続している）を有している。

以上本発明について、図を使って実施例を参照しながら説明したが、本発明が、それらに限定されることなく、特許請求の範囲に記載された技術的思想の範囲内で様々な変形を行うことができることは明らかである。
本発明は、H.２６３又はMPEGのような複数のビデオ符号化標準規格と共に応用できるものである。

通信システムのブロック図である。 図２aから２cは、参照フレームを使った、ベクトルの推定プロセスを示す図である。 隣接ブロックを使った動きベクトルの推定プロセスを示す図である。 参照ブロックを見つけ、動きベクトルを予測する方法を示すフローチャートである。 参照ブロックを見つけ、動きベクトルを予測する方法を示す例を示す。 コーダのブロック図である。 復号化器のブロック図である。 加入者端末装置のブロック図である。 参照ブロックを見つけ、動きベクトルを予測する方法を示す第２の例を示す。

Claims (33)

1. 連続静止フレームからなるビデオフレームを作成するステップと、
   参照フレームとして少なくとも１つのフレームのフレーム再構成データと符号化済み隣接ブロックの動きデータを記憶するステップと、
   前記記憶された参照フレームを使って作成される隣接ブロックからの、１以上の符号化済み隣接ブロックの動きベクトルを使って、符号化しようとするブロックの動きデータを定めるステップと、
   符号化しようとするフレームのフレーム再構成データを定めるステップと、
   所定の画質を有し、所定の符号化効率を提供するように、前記フレーム再構成データと、符号化しようとするブロックを表す動きデータを、使用するために選択するステップと、
   を有する通信システムにおけるビデオフレームの符号化方法。
2. 連続静止フレームからなるビデオフレームを作成するステップと、
   参照フレームとして少なくとも１つのフレームのフレーム再構成データと符号化済み隣接ブロックの動きデータを記憶するステップと、
   符号化しているブロックのフレーム再構成データを符号化する際使用したのと同一の参照フレームを持つ隣接ブロックだけを使って、符号化しているフレームのフレームブロックの動きデータを定めるステップと、
   所定の画質を有し、所定の符号化効率を提供するように、前記フレーム再構成データと、符号化しようとするブロックを表す動きデータを、使用するために選択するステップと、
   を有する通信システムにおけるビデオフレームの符号化方法。
3. 参照フレームをブロックとして記憶することを特徴とする請求項１又は２記載の方法。
4. 参照フレームをフレームとして記憶することを特徴とする請求項１又は２記載の方法。
5. 唯一の隣接ブロックがフレーム間符号化され、該隣接ブロックが符号化しているブロックと同一の参照フレームを有する場合、符号化しているブロックを、一つの隣接ブロックだけを使って、符号化することを特徴とする請求項１又は２記載の方法。
6. 前記フレーム再構成データが、ルミナンス、色、フレームブロックの位置と予測誤差フレームを表す情報の内の、少なくとも一つを含むことを特徴とする請求項１又は２記載の方法。
7. 前記フレームブロックの動きを動きベクトルを使って表すことを特徴とする請求項１又は２記載の方法。
8. 符号化済み隣接ブロックが符号化しているフレームブロックの直に隣接するブロックであることを特徴とする請求項１又は２記載の方法。
9. 符号化済み隣接ブロックが符号化しているフレームブロックの直に隣接するブロックではなく、フレームブロックが形成するフレームにおいて離間していることを特徴とする請求項１又は２記載の方法。
10. 予測誤差フレームを、符号化しているフレームブロックと参照ブロックとを比較して作成することを特徴とする請求項１又は２記載の方法。
11. 符号化効率を、ラグランジュ関数を使って推定することを特徴とする請求項１又は２記載の方法。
12. 連続静止フレームからなるビデオフレームを作成するための手段と、
    参照フレームとして少なくとも１つのフレームのフレーム再構成データと符号化済み隣接ブロックの動きデータを記憶するための手段と、
    前記記憶された参照フレームを使って作成される隣接ブロックからの、１以上の符号化済み隣接ブロックの動きベクトルを使って、符号化しようとするブロックの動きデータを定めるための手段と、
    符号化しようとするフレームのフレーム再構成データを定めるための手段と、
    所定の画質を有し、所定の符号化効率を提供するように、前記フレーム再構成データと、符号化しようとするブロックを表す動きデータを、使用するために選択するための手段と、
    を有する加入者端末装置。
13. 連続静止フレームからなるビデオフレームを作成するための手段と、
    参照フレームとして少なくとも１つのフレームのフレーム再構成データと符号化済み隣接ブロックの動きデータを記憶するための手段と、
    符号化しようとするブロックのフレーム再構成データを符号化するために使用したのと同一の参照フレームを持つ隣接ブロックだけを使って、符号化しているフレームブロックの動きデータを定めるための手段と、
    所定の画質を有し、所定の符号化効率を提供するように、前記フレーム再構成データと、動きデータを、使用するために選択するための手段と、
    を有する加入者端末装置。
    参照フレームをブロックとして記憶することを特徴とする請求項１又は２記載の方法。
14. 参照フレームをブロックとして記憶することを特徴とする請求項１２又は１３記載の加入者端末装置。
15. 参照フレームをフレームとして記憶することを特徴とする請求項１２又は１３記載の加入者端末装置。
16. 唯一の隣接ブロックがフレーム間符号化され、該隣接ブロックが符号化しているブロックと同一の参照フレームを有する場合、符号化しているブロックを、一つの隣接ブロックだけを使って、符号化することを特徴とする請求項１２又は１３記載の加入者端末装置。
17. 前記フレーム再構成データが、ルミナンス、色、フレームブロックの位置と予測誤差フレームを表す情報の内の、少なくとも一つを含むことを特徴とする請求項１２又は１３記載の加入者端末装置。
18. 前記フレームブロックの動きを、動きベクトルを使って表すことを特徴とする請求項１２又は１３記載の加入者端末装置。
19. 符号化済み隣接ブロックが符号化しているフレームブロックの直に隣接するブロックであることを特徴とする請求項１２又は１３記載の加入者端末装置。
20. 符号化済み隣接ブロックが符号化しているフレームブロックの直に隣接するブロックではなく、フレームブロックが形成するフレームにおいて離間していることを特徴とする請求項１２又は１３記載の加入者端末装置。
21. 予測誤差フレームを、符号化しているフレームブロックと参照ブロックとを比較して作成することを特徴とする請求項１２又は１３記載の加入者端末装置。
22. 符号化効率を、ラグランジュ関数を使って推定することを特徴とする請求項１２又は１３記載の加入者端末装置。
23. 連続静止フレームからなるビデオフレームを作成するための手段と、
    参照フレームとして少なくとも１つのフレームのフレーム再構成データと符号化済み隣接ブロックの動きデータを記憶するための手段と、
    前記記憶された参照フレームを使って作成される隣接ブロックからの、１以上の符号化済み隣接ブロックの動きベクトルを使って、符号化しようとするブロックの動きデータを定めるための手段と、
    符号化しようとするフレームのフレーム再構成データを定めるための手段と、
    所定の画質を有し、所定の符号化効率を提供するように、前記フレーム再構成データと、符号化しようとするブロックを表す動きデータを、使用するために選択するための手段と、
    を有するビデオコーダ。
24. 連続静止フレームからなるビデオフレームを作成するための手段と、
    参照フレームとして少なくとも１つのフレームのフレーム再構成データと符号化済み隣接ブロックの動きデータを記憶するための手段と、
    符号化しようとするブロックのフレーム再構成データを符号化するために使用したのと同一の参照フレームを持つ隣接ブロックだけを使って、符号化しようとするフレームブロックの動きデータを定めるための手段と、
    所定の画質を有し、所定の符号化効率を提供するように、前記フレーム再構成データと、動きデータを、使用するために選択するための手段と、
    を有するビデオコーダ。
25. 参照フレームをブロックとして記憶することを特徴とする請求項２３又は２４記載のビデオコーダ。
26. 参照フレームをフレームとして記憶することを特徴とする請求項２３又は２４記載のビデオコーダ。
27. 唯一の隣接ブロックがフレーム間符号化され、該隣接ブロックが符号化しているブロックと同一の参照フレームを有する場合、符号化しているブロックを、一つの隣接ブロックだけを使って、符号化することを特徴とする請求項２３又は２４記載のビデオコーダ。
28. 前記フレーム再構成データが、ルミナンス、色、フレームブロックの位置と予測誤差フレームを表す情報の内の、少なくとも一つを含むことを特徴とする請求項２３又は２４記載のビデオコーダ。
29. 前記フレームブロックの動きを動きベクトルを使って表すことを特徴とする請求項２３又は２４記載のビデオコーダ。
30. 符号化済み隣接ブロックが符号化しているフレームブロックの直に隣接するブロックであることを特徴とする請求項２３又は２４記載のビデオコーダ。
31. 符号化済み隣接ブロックが符号化しているフレームブロックの直に隣接するブロックではなく、フレームブロックが形成するフレームにおいて離間していることを特徴とする請求項２３又は２４記載のビデオコーダ。
32. 予測誤差フレームを、符号化しているフレームブロックと参照ブロックとを比較して作成することを特徴とする請求項２３又は２４記載のビデオコーダ。
33. 符号化効率を、ラグランジュ関数を使って推定することを特徴とする請求項２３又は２４記載のビデオコーダ。

Images