JP2004534411A - 通信システムにおけるビデオフレーム転送方法と装置 - Google Patents

通信システムにおけるビデオフレーム転送方法と装置 Download PDF

Info

Publication number
JP2004534411A
JP2004534411A JP2002520565A JP2002520565A JP2004534411A JP 2004534411 A JP2004534411 A JP 2004534411A JP 2002520565 A JP2002520565 A JP 2002520565A JP 2002520565 A JP2002520565 A JP 2002520565A JP 2004534411 A JP2004534411 A JP 2004534411A
Authority
JP
Japan
Prior art keywords
frame
block
coded
data
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2002520565A
Other languages
English (en)
Inventor
ライネマ,ヤニ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of JP2004534411A publication Critical patent/JP2004534411A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Color Television Systems (AREA)

Abstract

連続静止フレームからなるビデオフレームを作成するステップと、
参照フレームとして少なくとも1つのフレームのフレーム再構成データと符号化済み隣接ブロックの動きデータを記憶するステップと、
前記記憶された参照フレームを使って作成される隣接ブロックからの、1以上の符号化済み隣接ブロックの動きベクトルを使って、符号化ブロックの動きデータを定めるステップと、
フレーム再構成データと符号化ブロックを表す動きデータを定めるステップと、
を有する通信システムにおけるビデオフレームの符号化方法であって、所定の画質を有し、所定の符号化効率を提供する。

Description

【0001】
(発明の分野)
本発明は、ビデオフレームが一連の連続した静止フレームから構成される時の、通信システムにおけるビデオフレームのコーディング・デコーディングのための方法と装置に関する。そのフレームにおいては、前記転送フレームが、典型的には、各フレームに特有の複数のフレームブロック又はセグメント(例えば、ピクセルグループ)に分割されており、そして、各フレームブロックのデータは、典型的には、前記フレームブロックのルミナンス、カラー、位置を表す情報を含んでいる。
【0002】
(発明の背景)
通信システム(例えばビデオフォン、ビデオ会議システム又はインターネット接続)において、ビデオフレームの転送は、大量のデータを転送しなければならない為に、負担になる課題である。というのは、データを転送する時、より大量のビットを必要とすればする程、データ転送速度を高速にしなければならないからである。フレーム転送時には、通常、フレームはフレームブロックに分割され、そのサイズはシステムに適合して決められる。フレームブロックの情報は、通常、フレームにおける、フレームブロックのルミナンス、カラー、位置に関する情報を含んでいる。前記フレームブロックデータは、所望の符号化法を使って各ブロック毎に圧縮される。圧縮の原則は、不必要なデータを取り除くことである。圧縮方法は、大まかに、3つに分類できる。スペクトル冗長度低減、空間冗長度低減、時間冗長度低減である。圧縮する時、通常、これら方法を組み合わせて用いる。
【0003】
例えば、スペクトル冗長度低減は、YUVカラーモデルに適用される。前記YUVカラーモデルは、人間の目がクロミナンス(即ち、色)の変化よりもルミナンスの変化に敏感であるという事実を利用している。前記YUVモデルは一つのルミナンス成分(Y)と、2つのクロミナンス成分(U,V)を持っている。該クロミナンス成分は、サブサンプルされる。例えば、H.263ビデオコーディング標準規格に従うルミナンスブロックは、16×16ピクセルで、2つのクロミナンスブロックは、ルミナンスブロックと同一の領域をカバーするが、8×8ピクセルである。一つのルミナンスブロックと二つのクロミナンスブロックは、この標準規格の中で、マクロブロックと呼ばれる。
【0004】
空間冗長度を低減するために、例えば、離散コサイン変換(DCT)が使用され、圧縮ブロックは、8×8ピクセルである。DCTにおいては、フレームブロックのピクセル表示は、空間周波数表示に変換される。更に、フレームブロックに存在する信号周波数だけが、大振幅係数を持つ。フレームブロックに存在しない信号の係数は、0に近いものである。又、DCTは、ロスの無い変換で、妨害は、信号を量子化するときのみである。
【0005】
時間冗長性を低減するためには、連続フレームが、通常相互に類似するという事実を利用する。即ち、各個別のフレームを圧縮する代わりに、フレームブロックの動きデータを生成する。原理は以下の通りである。即ち、符号化しようとするフレームブロックに対し、以前に符号化した参照ブロックをできるだけ探し、参照ブロックと符号化しようとするブロック間の動き差分をモデル化し、動きベクトル係数を計算し、受信機に送信する。符号化しようとするブロックと参照ブロック間の差分は、予測誤差成分として表わされる。従って、問題は、できるだけよいコーディング効率(可能な限り少ないビットで充分高画質の)、比較に必要な、高計算能力、従って短い計算時間を生む参照ブロックを見出すことである。
【0006】
(発明の簡単な説明)
本発明の目的は、符号化ビデオフレームの改良方法、ビデオコーダ(符号化器)の改良、加入者端末装置の改良を提供することである。本発明は、1以上の参照フレーム又は参照ブロックの、及びフレーム再構成データ(frame reconstruction data)を符号化する際の1以上の既にコード化された隣接ブロックの、フレーム再構成データを使用する技術をベースにしている。フレーム再構成データ、及び、本発明の方法又は他の既知の方法により符号化する動きデータの選択は、十分な画質を維持しつつ、所望のコードディング効率がどのように得られるかに依存して決められる。
【0007】
通信システムにおいて、これを達成する為のビデオフレームの符号化方法は、連続静止フレームのビデオフレームを作成するステップ、参照フレームとしての1以上のフレームのフレーム再構成データ、及び既に符号化した隣接ブロックの動きデータの記憶するステップ、既に符号化した隣接ブロック(該隣接ブロックは、前記記憶された参照フレームにより生成される)の動きデータを使って、符号化しようとするブロックの動きデータを定めるステップ、符号化しようとするフレームの前記フレーム再構成データを定めるステップ、フレーム再構成データと符号化するブロックを表す動きデータ(所定の画質を維持して、所定のコードディング効率を提供する)を選択するステップ、を含む。
【0008】
通信システムにおいて、これを達成する為のビデオフレームのコーディング方法は、連続静止フレームのビデオフレームを作成するステップ、参照フレームとしての1以上のフレームのフレーム再構成データ及び既に符号化した隣接ブロックの動きデータを記憶するステップ、符号化しようとするブロックのフレーム再構成データを符号化するのに使用される同一の参照フレームを持つ隣接ブロックだけを使って、符号化しようとするブロックの動きデータを定めるステップ、フレーム再構成データと動きデータを選択する(所定の画質を維持して、所定のコードディング効率を提供する)ステップ、含む。
【0009】
本発明は、連続静止フレームからなるビデオフレームを作成するための手段と、参照フレームとして少なくとも1つのフレームのフレーム再構成データと符号化済み隣接ブロックの動きデータを記憶するための手段と、前記記憶された参照フレームを使って作成される隣接ブロックからの、1以上の符号化済み隣接ブロックの動きベクトルを使って、符号化しようとするブロックの動きデータを定めるための手段と、符号化しようとするフレームのフレーム再構成データを定めるための手段と、所定の画質を有し、所定の符号化効率を提供するように、前記フレーム再構成データと、符号化しようとするブロックを表す動きデータを、使用するために選択するための手段と、を有する加入者端末装置に関する。
【0010】
本発明は、又、連続静止フレームからなるビデオフレームを作成するための手段と、参照フレームとして少なくとも1つのフレームのフレーム再構成データと符号化済み隣接ブロックの動きデータを記憶するための手段と、符号化しているブロックのフレーム再構成データを符号化するために使用したのと同一の参照フレームを持つ隣接ブロックだけを使って、符号化しているフレームブロックの動きデータを定めるための手段と、所定の画質を有し、所定の符号化効率を提供するように、前記フレーム再構成データと、動きデータを、使用するために選択するための手段と、を有する加入者端末装置に関する。
【0011】
本発明は、又、連続静止フレームからなるビデオフレームを作成するための手段と、参照フレームとして少なくとも1つのフレームのフレーム再構成データと符号化済み隣接ブロックの動きデータを記憶するための手段と、前記記憶された参照フレームを使って作成される隣接ブロックからの、1以上の符号化済み隣接ブロックの動きベクトルを使って、符号化しようとするブロックの動きデータを定めるための手段と、符号化しようとするフレームのフレーム再構成データを定めるための手段と、所定の画質を有し、所定の符号化効率を提供するように、前記フレーム再構成データと、符号化しようとするブロックを表す動きデータを、使用するために選択するための手段と、を有するビデオコーダ(符号化器)に関する。
【0012】
本発明は、又、連続静止フレームからなるビデオフレームを作成するための手段と、参照フレームとして少なくとも1つのフレームのフレーム再構成データと符号化済み隣接ブロックの動きデータを記憶するための手段と、符号化しようとするブロックのフレーム再構成データを符号化するために使用したのと同一の参照フレームを持つ隣接ブロックだけを使って、符号化しようとするフレームブロックの動きデータを定めるための手段と、所定の画質を有し、所定の符号化効率を提供するように、前記フレーム再構成データと、動きデータを、使用するために選択するための手段と、を有するビデオコーダに関する。
【0013】
本発明は、又、連続静止フレームからなるビデオフレームを作成するステップと、参照フレームとして少なくとも1つのフレームのフレーム再構成データと符号化済み隣接ブロックの動きデータを記憶するステップと、前記記憶された参照フレームを使って作成される隣接ブロックからの、1以上の符号化済み隣接ブロックの動きベクトルを使って、符号化しようとするブロックの動きデータを定めるステップと、符号化フレームのフレーム再構成データを定めるステップと、所定の画質を有し、所定の符号化効率を提供するように、前記フレーム再構成データと、符号化しようとするブロックを表す動きデータを、使用するために選択するステップと、を有する、コンピュータが読むことのでき、通信システムにおけるビデオフレームの符号化方法を実行するコンピュータプログラムに関する。
【0014】
本発明は、又、連続静止フレームからなるビデオフレームを作成するステップと、参照フレームとして少なくとも1つのフレームのフレーム再構成データと符号化済み隣接ブロックの動きデータを記憶するステップと、符号化しようとするブロックのフレーム再構成データを符号化する際使用したのと同一の参照フレームを持つ隣接ブロックだけを使って、符号化しようとするフレームのフレームブロックの動きデータを定めるステップと、所定の画質を有し、所定の符号化効率を提供するように、前記フレーム再構成データと、動きデータを、使用するために選択するステップと、を有する、コンピュータが読むことのでき、通信システムにおけるビデオフレームの符号化方法を実行するコンピュータプログラムに関する。
【0015】
本発明の方法と装置によれば、画質を適正なまま維持しつつ、計算時間と能力(capacity)の節約がもたらされる。
以下、図面を参照しながら、好ましい実施例を用いて本発明を説明する。
【0016】
(本発明の詳細な説明)
図1は、本発明を適用することができる簡略化したデジタルデータ送信システムを示す。それは、セルラー無線システムの一部分で、無線108、110を介して加入者端末装置100、102と接続する基地局104を有する。前記端末装置は、固定であってもよく、又は車中に設置する端末装置であってもよく、又は携帯端末装置であってもよい。基地局のトランシーバは、アンテナユニットに接続され、加入者端末装置に無線リンクが設けられている。該基地局は更に、基地局コントローラ106に接続されている。該コントローラは、ネットワークのどの端末装置とも接続する。前記基地局コントローラは、自分に接続する複数の基地局を中央集権的にコントロールするものである。基地局コントローラのコントロールユニットは、呼コントロール、データトラフィック・コントロール、移動度管理(mobility management)、統計集計、シグナリングを担当する。
【0017】
又、セルラ無線システムは、公衆電話網に接続することができる。その場合、該システムのトランスコーダ(transcoder)は、公衆電話網とセルラ無線ネットワーク間で使用される各種の音声デジタル符号フォーマットを相互に適合するように変換する。例として、固定ネットワークの64kbit/sフォーマットからセルラ無線ネットワークフォーマット(例えば13kbit/s)への変換及びその逆を挙げることができる。
【0018】
本発明を、例えば、インターネットのような固定通信システムにも適用できることは、当業者には明らかである。
【0019】
ビデオフレームを符号化する目的は、フレーム転送に必要なビット数を低減することである。図2aから図2cは、従来の動きの符号化方法を示す。この方法の原理は、メモリに既に記憶している参照フレームを使って、フレームブロック(又、ブロックという用語が、本文中で使用される)の動きベクトルを予測することである。このタイプの符号化は、フレーム間符号化(inter−coding)と呼ばれ、圧縮符号化において、一連のフレーム間の類似度を利用するものである。
【0020】
図2aから図2cの例において、参照フレーム206は、ブロック、セグメントに分割され、既に符号化されている。図2bと図2cには、フレームブロックを示していない。参照フレームは、一連のフレームの符号化しようとするフレームの前であってもよいし、後であってもよい。図2aに示される現行フレーム204は、符号化され、ブロックに分割されている。図には、単に、唯一つブロック200だけを示した。ブロックの大きさは、N×Mである。ブロックは、典型的には、正方形で、即ちN=Mである。しかし、例えば長方形であることもできる。現行ブロック200と図2c中の参照ブロック214は、幾何学的に相似でなくてもよい。というのは、実際には、フィルム化されたもの(filmed objects)は、回転したり、捩れたり変形するからである。ブロックのサイズと形状は、各々の状態に合わせて、以下の事柄を考慮して定義を行う。例えば、小ブロックサイズは、よリ良質の画像(picture)を与えるが、定義した動きベクトルの信頼性を減ずる。というのは、少ないピクセル数を使って定義を行うからである。より小さいブロックを使う時には、より多くの動きベクトルデータを生成しなければならない。フレームを多数のブロックに分割しなければならないからである。更に、動きベクトルを定義する高速アルゴリズムは、ブロックサイズが大きい場合は、より効率的である。例えば、現行ビデオ符号化標準規格では、N=M=16である。
【0021】
動きを推定するには、符号化されたブロック200に対し、参照フレーム206において一番適した参照ブロックを見つけ、これを図2cの214とする。参照ブロックの適合性は、選択基準に依存する。選択の目的は、典型的には、画質を充分良好に維持しながら、符号化しているブロックを転送するのに必要なビット数を最小にするようなブロックを見つけることである。このように、選択基準はアプリケーションの目的に依存するものである。
【0022】
サーチ範囲は、通常、現行フレーム204で符号化しているブロック200に対応するフレーム位置にある参照フレーム206であり、図2bと2cにおけるサーチ領域210で表される、直近領域(immediate proximity)内の所定の領域である。サーチ範囲を前記参照フレーム内で狭い範囲に限定することにより、サーチ時間と必要計算量は低減される。サーチ範囲の大きさは、アプリケーションの目的に適合するように、符号化済みフレーム・ストリングのフレームを基に、動きが遅いか又は遅いかを決定することにより決められる。もし動きが遅い場合は、サーチ範囲は、動きが速い場合より小さい範囲に限定することができる。典型的には、サーチは、予測動きベクトルの周囲環境の中で行われる。
【0023】
図2aから2cの例において、フレームブロックの位置は、ブロックの左上角部の座標(x、y)で表される。x座標は、ピクセル又はブロックの水平方向の位置を表し、y座標は、ピクセル又はブロックの垂直方向の位置を表わす。符号化しているブロックの座標に202のようにマークを付ける。図2cにおいて、サーチ範囲210の中で、最良の参照フレームブロック214を見つけたとする。座標(x、y)208は、符号化しているブロック200が移動しなかった時に位置するであろう位置(即ち座標202と同一)の座標である。これらは説明用に示すものである。ブロック212は、移動しない場合に、ブロック200を表すものであって、説明用に示すものである。符号化しているフレームブロックの動きは、座標(x+u、y+v)216から座標(x、y)208への変化として表示できる。
一般的に、座標(x,y)は、起点(origo)として定義される。従って、符号化ブロックの動きベクトル218は、座標(u,v)で表示することができる。又、動きベクトルは動きベクトル係数と動きモデルの定義を使って表すことができる。
【0024】
図3は、従来技術の動き符号化法の概略を示すもので、この方法の原理は、符号化しているフレームの既に符号化した隣接ブロックを使って、符号化しているフレームブロックの動きベクトル係数の予測を行うことである。符号化しているフレームブロック304の隣接ブロックは、既に符号化されており、符号化フレームブロックの動きベクトル係数を予測するのに使用され、ここでは、予測候補(prediction candidates)と呼ぶ。図3において、予測候補は、隣接ブロック300、302、306である。図3の例において、予測候補300、302、306には、識別する為に、ピクセル位置308、310、312にマークを付した。予測候補306は、前記符号化ブロックの左側に位置しており、ピクセル位置308にマークを付しており、予測候補300は、前記符号化ブロックの上側に位置しており、ピクセル位置310にマークを付しており、予測候補302は、前記符号化ブロックの右上角に位置しており、ピクセル位置312にマークを付している。図3を見ると、ピクセル位置308、310、312は、それぞれのブロック内で符号化ブロック304に近接する位置に存在していることが分かる。注意すべきことは、符号化しているブロックに隣接するブロックの数と位置が、図3に図示したものと異なることがありうる点である。
【0025】
図3に示すケースにおいては、符号化しているブロック304の動きベクトル係数を予測するのに、3つの予測候補を使う。例えば、必要とする動きベクトル係数は、これら予測候補から得られる動きベクトル係数のメジアン(median)として、予測することができる。又、ブロック304の動きベクトル係数を予測するのに唯一つの予測候補を使うことが可能であり、その場合、予測ブロック306の動きベクトル係数、予測ブロック300の動きベクトル係数、又は、予測ブロック302の動きベクトル係数から係数を得ることができる。
【0026】
直近領域(immediate proximity)では無く、離れた既に符号化した隣接ブロックを使用することもできる。しかし、その場合、考慮すべき点は、前記ブロックの動き誤差は、通常、距離が大きくなるに従って、大きくなる点である。
【0027】
ビデオフレーム符号化する際に、ブロック毎にフレーム間符号化及びフレーム内符号化(inter and intra−coding)を組み合わせて、最良の結果を得るようにする。フレーム内符号化フレームを適当な間隔で送信することにより、1フレームから次のフレームを転送するのに、転送チャネルで起る誤差が蓄積され、フレーム符号化の障害が発生するのを防止する。
【0028】
コーディングとデコーディングに、図2aから2c及び3に示した方法を使うことができる。必要なフレームを有するコーダで使用される方法がビットストリームとしてデコーダに転送される。
【0029】
図3に示すように、前記ブロックもセグメント化することができる。セグメント化することは、それぞれのフレーム部分が様々な仕方で移動する場合には、望ましい。例として、単一の対象、例えば一人の人、一台の車等が移動する間、背景が変化しない場合をあげることができる。フレームブロックを垂直に分割して、例えば、ブロック300のようにセグメント化することができる。例を示さないが水平方向に、又は、ブロック306のように両方の方向に分割することができる。セグメント化により、転送ビット数を低減し、既に符号化されたフレームの適当な一部を使用できる。
【0030】
符号化しているフレームブロックの動きベクトル係数を定義する時、動き推定に既知の様々なモデルを使うことができる。各種モデルは、それぞれ、垂直、水平の動き、回転等各種の動きを定義するのに適している。このモデルに含まれるアフィン動きモデル(affine motion model)においては、ピクセルの動き、フレームセグメント又はブロックを、ΔxとΔyを使って動きベクトルを形成する次式を用いて、表すことができる。
Figure 2004534411
【0031】
但し、a0、a1、a2、b0、b1、b2は、動きベクトル係数であり、xとyは、ベクトル成分であって、xは、水平方向のピクセル、又は、ブロック位置を表し、yは、垂直方向のピクセル、又は、ブロック位置を表す。又は、並行移動モデル(translational model)では、ピクセル、フレームセグメント又はブロックの動きは、次式により表され、該式において、ΔxとΔyは動きベクトルを形成する。
Figure 2004534411
【0032】
但し、a0、b0は、動きベクトル係数で、xとyはベクトル成分である。前記使用したモデルは、コーダ(符号化器)とデコーダ(復号化器)のメモリに記憶されている。もし複数の動きモデルが符号化に使用されるならば、そのコーダは、動きに従ってモデルを選択し(例えば、上向きの動きの場合、上向きの動きを表すモデルが使用され符号化される)、前記使用されたモデルにおける情報は、動きベクトル係数と共にデコーダに送信される。
【0033】
図4は、ビデオフレーム符号化のためのフローチャートである。以下の説明において、フレームブロックは、例えば、ピクセルが形成するYUVモデルに基づくブロック、セグメント、又はマクロブロックを意味する。
本方法は、ブロック400からスタートする。
【0034】
ブロック402において、ビデオフレームは、連続する静止フレームから構成される。ビデオフレームを形成する為には、人間の視覚システムが、複数フレームを互に別々のフレームであると識別しないスピードで、静止フレームを送信されることが望ましい。
【0035】
ブロック404において、フレームブロックの符号化済みの再構成データ(例えば、ピクセルの色とルミナンス、動きベクトル係数から算出される予測誤差フレーム)がメモリに記憶される。前記フレーム再構成データは、適用する標準規格(例えば、H.263又はMPEG)に従って符号化される。動きベクトル係数と予測誤差フレームの定義は、上記した通りである。メモリに記憶されたフレーム再構成データを用いて、1以上の参照フレームを形成する。更に、既に符号化された隣接ブロックの動きデータ(即ち前記動きベクトル係数)と使用した動きモデルをメモリに記憶する。もっとも好ましいことは、符号化しているブロックの直近の隣接ブロックを使用することであるが、たまには、前記フレーム内の離れた位置の既に符号化したブロックを使用することもできる。
【0036】
ブロック406において、符号化しているブロックの動きデータを、既に符号化した隣接ブロックを使って定める。1以上の隣接ブロックの動きベクトル係数を使って定めることが好ましい。
【0037】
ブロック408において、例えば、参照フレームを使って、符号化しているブロックの再構成データを符号化する。
【0038】
本方法を強化する為に、隣接ブロックだけを使って符号化しているフレームブロックの動きデータを計算することができる。前記隣接ブロックは、前記符号化しているブロックのフレーム再構成データの符号化に使用したのと同一の参照フレームを有するものである。同一フレームストリングにおいては、類似フレームが存在するので、符号化済みフレームの中から、符号化しているブロックに対応するブロックを見出す、又は、充分類似したブロックを見出す可能性がある。前記符号化済みフレームから、符号化済み隣接ブロックに対して適正な参照ブロックを見出している。例えば、1以上の隣接ブロックの動きベクトル係数が使われる。又、符号化しているブロックの参照ブロックのサーチ範囲は、参照フレーム内で隣接ブロックの動きベクトル係数が定める周囲(environment)に限定される。
【0039】
唯一のフレーム間符号化済み隣接ブロックが、符号化しているブロックと同一の参照フレームを有する条件において、この隣接ブロックの動きベクトルを動きベクトルの一つの候補として選択する。他の候補として、例えば、複数の隣接ブロック動きベクトルから計算したメジアンを選択することができる。
【0040】
注意すべきことは、ブロック符号化に使用されるブロックは、符号化しているブロックが符号化されるのと同一の方法で(inter)符号化されることである、即ち、隣接ブロックをフレーム内符号化する時は、参照フレームを有しない。
参照フレームを持つ予測候補がない時、従来技術であるフレーム内符号化を使うか、又は、メモリに記憶されている全参照フレームをチェックする。
【0041】
参照ブロックは、ビデオコーダ(即ち、フレームブロックのフレーム再構成データを符号化する符号化器)が圧縮符号化する時に使うフレームブロックである。フレームブロックは、できる限り符号化しているブロックに一致するものとして、既に符号化されメモリに記憶されている1以上の参照フレームからサーチされ、前記参照ブロックとして選択される。その際、その予測誤差フレームを可能な限り小さくなるように選択される。
【0042】
ブロック410において、符号化方法が選択され、符号化しているブロックのフレーム再構成データと動きデータが、最適に符号化される、即ち、所定の画質を保持しつつ、所定の効率が得られるように符号化される。注意すべき点は、符号化しているブロックの符号化方法として、隣接ブロックの動きデータを使った前記符号化方法、又は、従来技術の方法(例えば、フレーム間符号化方法、この方法は、符号化しているブロックを、参照フレームから見つける参照ブロックを使って直接符号化する、)、のいずれかを選択することである。符号化方法を選択するための目的は、例えば、画質をノーマルビデオピクチャの画質に対応しつつ、ビット数を小さくすることであり、又は、ビット数を使用標準規格のビット数に適合させる(例え、アプリケーションオブジェクトに応じた画質を達成するのに、より少ないビット数で足りたとしても)ことである。
【0043】
符号化効率は、例えば、下記のラグランジュ関数を使って推定でき、最高効率のセグメンテーションと符号化を定めることができる。
L(Sk)=D(Sk)+λR(Sk) (3)
【0044】
但し、D(Sk)は、フレームをデスプレッディング(despreading)する際、生じる誤差、
R(Sk)は、フレームを転送するのに必要なビット数、
λは、ラグランジュ定数である。
【0045】
ラグランジュ関数は、転送フレームの質と伝送パス(path)に要求されるバンド幅との間の関係を表すものである。一般的にいえば、ピクチャの画質が高くなる程、バンド幅は、大きくなる。最適圧縮符号化は、常に、必要なビット数と画質との間の折衷になる。
【0046】
矢印412は、フレームが符号化されるまで本方法をブロック毎に繰り返すことを表す。注意すべき点は、本方法では、一連のフレームの全フレームを符号化するまで繰り返すことが望ましい点である。
本方法の実行は、ブロック414で終了する。
【0047】
図5は、動きベクトルの予測を行い、参照ブロックを見つける例を示すものである。この例においては、隣接ブロックだけを使うこととし、この隣接ブロックは、符号化しているブロックのフレーム再構成データを符号化するのに使用したのと同一の参照フレームをもつものとする。注意すべき点は、ブロック符号化には、通常、従来技術の方法も使う点である。最後に、符号化方法が選択され、充分な画質を持った所望の符号化効率が得られる。
【0048】
符号化しているフレーム頁500は、ブロックに分割されている。分かりやすいように数個だけを示した。ブロック506を符号化しているとする。フレーム502、504、532と508は、メモリに記憶されている参照フレームである。フレーム502は、符号化済みの隣接ブロック(数字1でマークしている)であるブロック510と514の前記参照フレームである。符号化しているブロック506と参照ブロック510と514は、フレーム502と比べて、フレーム500内で移動していない。フレーム504は、隣接ブロック512(図において数字2でマークした)の参照フレームである。フレーム508は、隣接ブロック516(図において数字4でマークした)の参照フレームである。フレーム532は、符号化しているブロック506のどの隣接ブロックを符号化する際にも、使用されなかったフレームである。即ち、それはどの隣接ブロックの参照フレームにならない。従って、フレーム532は、この例では、符号化ブロック506に対する参照ブロックを見つける時に使用されない。
【0049】
次に、隣接ブロック510と514が、符号化しているブロック506の動きベクトルの予測候補として使用される。予測候補の符号化タイプ(inter)が現行ブロックの符号化に使用されるものと同一であるか否かをチェックする。もしこれが同一であるとき、ブロック526は、参照ブロックとして使用される。そして動きベクトル係数の平均又はメジアンを計算し、動きベクトル係数を算出する。該動きベクトルは、ブロック510と518の位置を比較して得られたものであって、これらから動きベクトル係数が、隣接ブロック510に対し算出されている。又前記動きベクトルは、位置514と520の位置を比較して得られ、これらから動きベクトル係数が、隣接ブロック514に対し算出されている。更に、符号化しているブロック506と参照ブロック526とを比較して、予測誤差フレームを決定する。図5の例では、フレーム500と502における前記ブロック位置は変化していない。従って、動きベクトル係数は決めない。
【0050】
次に、隣接ブロック512の符号化タイプがチェックされる。もしそれが現行ブロック506で使用されるものと同一である場合、参照ブロックが、フレーム504に対してサーチされる。ブロック512と522との比較から算出される動きベクトル係数は、前記ブロック506の動きベクトル係数として使用される。次に、予測誤差フレームが、参照ブロック528を使って定められる。
【0051】
次に、隣接ブロック516の符合化タイプがチェックされる。もしそれが現行ブロック506で使用されるものと同一である場合、参照ブロックが、フレーム508についてサーチされる。前記ブロック516と524との比較から算出される動きベクトル係数は、前記ブロック506の動きベクトル係数として使用される。その後、予測誤差フレームが、参照ブロック530により決められる。
【0052】
前記ブロック506に対する動きベクトル係数も、ブロック510、512、514の動きベクトル係数のメジアン又は平均値を算出して決定することができる。
【0053】
又、もし複数の動きモデルを使用するなら、使用する動きモデルを指示する。
【0054】
ブロック534は、フレーム内符号化であるから、参照フレームを持たない。たとえ、好ましい符号化方法が他にあるとしても、ブロック506の符号化には使われない。
【0055】
隣接ブロックの数と位置、並びに、記憶された参照フレームの数は、図5に示されるものとは異なるかもしれない。
【0056】
図9は、動きベクトルを予測し、参照ブロックを見つける第2の例を説明するものである。この例において、もし隣接ブロックが一つだけフレーム間符号化されており、前記隣接ブロックが、符号化しているブロックと同一の参照フレームを有するなら、前記符号化しているブロックは一つの隣接ブロックだけを使って符号化される。
【0057】
符号化しているフレーム900は、ブロックに分割される。分かりやすいように、そのうちの数個だけを図示する。ブロック912を符号化するものとする。フレーム9102,904,906がメモリに記憶される参照フレームである。符号化済みの隣接ブロック914(数字1としてマークした)の参照フレームがフレーム902であり、ブロック910(2とマークした)の参照ブロックがフレーム904である。ブロック908はフレーム内符号化されており、従って、参照フレームを持たない。
【0058】
図9の例が調べようとするものは、符号化しているブロック912に対し、メモリに記憶された全参照フレーム(即ち、この例のフレーム902、904、906)から、適合する参照ブロックを見つけることができるかどうかである。フレーム902が適合する参照ブロックを有するかどうかを調べる時、前記ブロック914の動きベクトルを動きベクトル予測候補として使用する。というのは、ブロック914が隣接ブロックの3つの内の1つで、この参照フレームが902であるからである。同様に、フレーム904が適合する参照ブロックを持つか否かを調べる時に、前記ブロック910の動きベクトルが、動きベクトル予測候補として使われる。というのは、ブロック910が隣接ブロックの3つの内の1つで、この参照フレームが904であるからである。
フレーム906は、どの隣接ブロックについても参照フレームにならない。従って、この例においては、動きベクトルは、例えば、ブロック910,914、908のメジアンを使って予測される。例えば、その場合、フレーム間符号化ブロック908の動きベクトルは0に設定される。
【0059】
ここで注意すべきことは、符号化しているブロックの動きベクトルの予測を行うにあたり、隣接ブロックの動きデータ及び参照フレーム・データのみならず、マクロブロック(例えば、符号化しているブロックが属する)のセグメンテーション情報を使用することが可能であるということである。隣接ブロックの数と位置、並びに、記憶されている参照ブロックの数は、図9に示すものとは異なることがあり得る。
【0060】
図6に、ビデオフレームを符号化する上記方法を実装できるコーダの例を図示する。ビデオコーダの設計原理は、符号化しているブロックIn(x、y)620と予測候補(選択された参照ブロック)Pn(x、y)612との間の予測誤差フレームEn(x、y)600を最小化することである。前記予測誤差フレームを、前記符号化ブロック620と前記予測候補612との差分として定義し、加算器632を使って算出する。即ち
【0061】
Figure 2004534411
【0062】
前記予測ブロック612は、本発明の好ましい実施例による方法に基づいて、選択された参照フレームと複数の動きベクトルを使って取得される。前記動きベクトル(Δx(x、y)、Δy(x、y))係数は、動きベクトル計算ブロック630において予測動きベクトルの総和として生成され、その係数は相違である。本発明の好ましい実施例によると、予測された動きベクトル係数は、隣接ブロックの動きベクトルを使って算出される。前記隣接ブロックは、符号化しているブロックと同一の参照フレームを有するものである。他の方法も、動きベクトルの予測に使用される。その内の1つは、従来技術の方法で、符号化しているブロックを、参照フレームを使って直接符号化するものである。フレーム内の全ピクセルの動きベクトルの群は、動きベクトルフィールドと呼ばれる。フレームには大量のピクセルがあるから、現実には、ビデオ符号化する時には、フレームをブロックに分割し、その動き情報を、ブロック毎に図7に示す受信機のデコーダに転送する。
【0063】
少なくとも一つの動きベクトルが、予測動きベクトル、又は、予測動きベクトルから構成される動きベクトルフィールドから選択され、動きベクトル符号化ブロック628において符号化される。例えば、上記実施例の周知の動きモデルが、符号化に使用される。符号化済み動きベクトル又はこれから形成される動きベクトルフィールドがマルチプレクサ624に転送される。
【0064】
ブロック618において、フレームを、セグメント毎に、又はブロック毎に、フレームブロックから形成する。参照ブロック又は予測候補は次のフォーマットからなる。
【0065】
【数1】
Figure 2004534411
【0066】
ブロック602において、予測誤差フレームEn(x、y)600は符号化され、典型的には、有限な2次元級数変換(例えば離散コサイン変換(DCT)を使った)として表される。DCT変換により算出される係数は量子化され、符号化され、マルチプレクサ624と図7に示す受信機のデコーダ(復号化器)に転送される。
【0067】
【外1】
Figure 2004534411
【0068】
前記マルチプレクサ624において、動きベクトル情報を含む情報は、予測誤差フレームと組み合わせられる。そしてこのフレーム情報616は、デコーダに転送される(図7)。
【0069】
上記ビデオコーダの機能は、例えば、プロセッサ上で実行するソフトウェア、又は、個別部品からなるロジック又はASIC(application−specific integrated circuit)のようなハードウェア等、各種の仕方で実装される。
【0070】
図7は、デコーダの一例を示す。このデコーダを使って、上記方法を実施し、ビデオフレームにおける時間冗長性を低減する。受け取ったビデオ信号700の符号化済み予測誤差フレーム702と符号化済み動きベクトル係数又は動きベクトルフィールド係数712は、デマルチプレクサ710において、互に分離される。
【0071】
【外2】
Figure 2004534411
【0072】
【外3】
Figure 2004534411
【0073】
【外4】
Figure 2004534411
【0074】
【数2】
Figure 2004534411
【0075】
上記ビデオコーダの機能は、例えば、プロセッサ上で実行するソフトウェア、若しくは、個別部品又はASICから構成されるロジックのようなハードウェアのような、様々なやり方で実装される。
【0076】
無線システムの1つの端末装置を、図8で示す。該無線システムを使って、本発明の好ましい実施形態の方法が実施される。加入者端末装置824の送信器と無線システムネットワークの構成要素の送信器とは、同一タスクを部分的に実行する。端末装置824は、例えば、移動電話であってもよいし、又は、無線パーツを備えるマイクロコンピュータ(これらに限定するわけではないが)であってもよい。前記端末装置は、アンテナ800を備えており、それを使って、デュープレックスフィルタを通して信号を送受信する。前記端末装置は、又複数のアンテナ、即ち、マルチアンテナ・システムを備えている。又、前記端末装置は、変調信号を増幅し、アンテナへ転送する送信器802と、所望の情報を含むデータ信号の搬送波を、選択した変調方法に基づいて変調する変調器804と、アンテナから得た信号を増幅し、所望の中間周波数又は直接ベースバンドにダウンコンバートする受信機806と、前記受信信号をデコードし、データ信号を搬送波から分離するデコーダ808を備える。
【0077】
加入者端末装置は、又、カメラ820とビデオコーデック822等、該端末装置の他のパーツの動作を制御し、ユーザの音声、又は、デジタル信号処理(DSP)、デジタルアナログ変換処理、フィルタ処理等、ユーザが生成したデータを処理するのに必要な動作を行うコントロ−ルブロック816を有している。又、WCDMAのようなスペクトル拡散システムにおいては、信号スペクトラムは、送信器において擬似ランダム拡散符号を使って広帯域に拡散され(spread)、受信機において復調され(despread)、チャネル容量を大きくするようにする。コントロールブロックは、又、チャネル・音声符号化(speech coding)のような符号化と復号化を行う。更に、前記コントロールブロックは、無線システムの大気インターフェース標準規格に適合するように、送信信号とシグナリング情報を調整する。加入者端末装置は、1以上の各種のタイプのメモリ(図示しないが、他のブロックのパーツ又は個別部品である)を備えている。図8の例では、コントロールブロックは、又、上記端末装置の動作を制御するプログラムを有している。前記図の例においては、ビデオコーデック822は、フレームの再構成データを符号化・復号化するものであるが、個別部品であるが、コントロールブロック816の一部であることもできる。
【0078】
フレームを転送する時に、カメラ820は、デジタル画像をメモリブロック818に記録する。該カメラ820は、又前記画像を直接コーデック822に記録することができる。該コーデックは、前記方法の1つ、又は複数方法の組合せを使って、選択したフレームを符号化する。前記カメラ820、コーデック822とメモリ918は、加入者端末装置824に内蔵し、又は、個別カメラユニット816に内蔵することができる。後者の場合には、インターフェース828を介して加入者端末装置824に接続される。
【0079】
加入者端末装置のユーザは、必要に応じて、表示装置814上でフレームを見ることができる。符号化フレーム再構成データは、音声又はテキストデータと同一のやり方で通信システムに転送され、例えば、他の電話に送信される。
【0080】
前記端末装置の動作ブロック(例えばコントロールブロック、及び、符号化復号化に必要なコーデックブロック822等)の実装には、多くのやり方がある。例えば、プロセッサ上で実行するソフトウェアで、若しくは、個別部品又はASICから構成されるロジックのようなハードウェアで実装される。前記図に示す端末装置の複数の機能は、前記図とは異なる多くのやり方で動作ブロックに組み込むことができる。例えば、コーデックブロック822は、コーダとデコーダに分割することができる。
【0081】
前記端末装置のユーザインターフェースは、スピーカ又は受話口810、マイク812、表示装置814及び場合によってキーボード(これらは、全てコントロールブロック816に接続している)を有している。
【0082】
以上本発明について、図を使って実施例を参照しながら説明したが、本発明が、それらに限定されることなく、特許請求の範囲に記載された技術的思想の範囲内で様々な変形を行うことができることは明らかである。
本発明は、H.263又はMPEGのような複数のビデオ符号化標準規格と共に応用できるものである。
【図面の簡単な説明】
【図1】
通信システムのブロック図である。
【図2】
図2aから2cは、参照フレームを使った、ベクトルの推定プロセスを示す図である。
【図3】
隣接ブロックを使った動きベクトルの推定プロセスを示す図である。
【図4】
参照ブロックを見つけ、動きベクトルを予測する方法を示すフローチャートである。
【図5】
参照ブロックを見つけ、動きベクトルを予測する方法を示す例を示す。
【図6】
コーダのブロック図である。
【図7】
復号化器のブロック図である。
【図8】
加入者端末装置のブロック図である。
【図9】
参照ブロックを見つけ、動きベクトルを予測する方法を示す第2の例を示す。

Claims (44)

  1. 連続静止フレームからなるビデオフレームを作成するステップと、
    参照フレームとして少なくとも1つのフレームのフレーム再構成データと符号化済み隣接ブロックの動きデータを記憶するステップと、
    前記記憶された参照フレームを使って作成される隣接ブロックからの、1以上の符号化済み隣接ブロックの動きベクトルを使って、符号化しようとするブロックの動きデータを定めるステップと、
    符号化しようとするフレームのフレーム再構成データを定めるステップと、
    所定の画質を有し、所定の符号化効率を提供するように、前記フレーム再構成データと、符号化しようとするブロックを表す動きデータを、使用するために選択するステップと、
    を有する通信システムにおけるビデオフレームの符号化方法。
  2. 連続静止フレームからなるビデオフレームを作成するステップと、
    参照フレームとして少なくとも1つのフレームのフレーム再構成データと符号化済み隣接ブロックの動きデータを記憶するステップと、
    符号化しているブロックのフレーム再構成データを符号化する際使用したのと同一の参照フレームを持つ隣接ブロックだけを使って、符号化しているフレームのフレームブロックの動きデータを定めるステップと、
    所定の画質を有し、所定の符号化効率を提供するように、前記フレーム再構成データと、符号化しようとするブロックを表す動きデータを、使用するために選択するステップと、
    を有する通信システムにおけるビデオフレームの符号化方法。
  3. 参照フレームをブロックとして記憶することを特徴とする請求項1又は2記載の方法。
  4. 参照フレームをフレームとして記憶することを特徴とする請求項1又は2記載の方法。
  5. 唯一の隣接ブロックがフレーム間符号化され、該隣接ブロックが符号化しているブロックと同一の参照フレームを有する場合、符号化しているブロックを、一つの隣接ブロックだけを使って、符号化することを特徴とする請求項1又は2記載の方法。
  6. 前記フレーム再構成データが、ルミナンス、色、フレームブロックの位置と予測誤差フレームを表す情報の内の、少なくとも一つを含むことを特徴とする請求項1又は2記載の方法。
  7. 前記フレームブロックの動きを動きベクトルを使って表すことを特徴とする請求項1又は2記載の方法。
  8. 符号化済み隣接ブロックが符号化しているフレームブロックの直に隣接するブロックであることを特徴とする請求項1又は2記載の方法。
  9. 符号化済み隣接ブロックが符号化しているフレームブロックの直に隣接するブロックではなく、フレームブロックが形成するフレームにおいて離間していることことを特徴とする請求項1又は2記載の方法。
  10. 予測誤差フレームを、符号化しているフレームブロックと参照ブロックとを比較して作成することを特徴とする請求項1又は2記載の方法。
  11. 符号化効率をラグランジュ関数を使って推定することを特徴とする請求項1又は2記載の方法。
  12. 連続静止フレームからなるビデオフレームを作成するための手段と、
    参照フレームとして少なくとも1つのフレームのフレーム再構成データと符号化済み隣接ブロックの動きデータを記憶するための手段と、
    前記記憶された参照フレームを使って作成される隣接ブロックからの、1以上の符号化済み隣接ブロックの動きベクトルを使って、符号化しようとするブロックの動きデータを定めるための手段と、
    符号化しようとするフレームのフレーム再構成データを定めるための手段と、
    所定の画質を有し、所定の符号化効率を提供するように、前記フレーム再構成データと、符号化しようとするブロックを表す動きデータを、使用するために選択するための手段と、
    を有する加入者端末装置。
  13. 連続静止フレームからなるビデオフレームを作成するための手段と、
    参照フレームとして少なくとも1つのフレームのフレーム再構成データと符号化済み隣接ブロックの動きデータを記憶するための手段と、
    符号化しようとするブロックのフレーム再構成データを符号化するために使用したのと同一の参照フレームを持つ隣接ブロックだけを使って、符号化しているフレームブロックの動きデータを定めるための手段と、
    所定の画質を有し、所定の符号化効率を提供するように、前記フレーム再構成データと、動きデータを、使用するために選択するための手段と、
    を有する加入者端末装置。
    参照フレームをブロックとして記憶することを特徴とする請求項1又は2記載の方法。
  14. 参照フレームをブロックとして記憶することを特徴とする請求項12又は13記載の加入者端末装置。
  15. 参照フレームをフレームとして記憶することを特徴とする請求項12又は13記載の加入者端末装置。
  16. 唯一の隣接ブロックがフレーム間符号化され、該隣接ブロックが符号化しているブロックと同一の参照フレームを有する場合、符号化しているブロックを、一つの隣接ブロックだけを使って、符号化することを特徴とする請求項12又は13記載の加入者端末装置。
  17. 前記フレーム再構成データが、ルミナンス、色、フレームブロックの位置と予測誤差フレームを表す情報の内の、少なくとも一つを含むことを特徴とする請求項12又は13記載の加入者端末装置。
  18. 前記フレームブロックの動きを、動きベクトルを使って表すことを特徴とする請求項12又は13記載の加入者端末装置。
  19. 符号化済み隣接ブロックが符号化しているフレームブロックの直に隣接するブロックであることを特徴とする請求項12又は13記載の加入者端末装置。
  20. 符号化済み隣接ブロックが符号化しているフレームブロックの直に隣接するブロックではなく、フレームブロックが形成するフレームにおいて離間していることことを特徴とする請求項12又は13記載の加入者端末装置。
  21. 予測誤差フレームを、符号化しているフレームブロックと参照ブロックとを比較して作成することを特徴とする請求項12又は13記載の加入者端末装置。
  22. 符号化効率をラグランジュ関数を使って推定することを特徴とする請求項12又は13記載の加入者端末装置。
  23. 連続静止フレームからなるビデオフレームを作成するための手段と、
    参照フレームとして少なくとも1つのフレームのフレーム再構成データと符号化済み隣接ブロックの動きデータを記憶するための手段と、
    前記記憶された参照フレームを使って作成される隣接ブロックからの、1以上の符号化済み隣接ブロックの動きベクトルを使って、符号化しようとするブロックの動きデータを定めるための手段と、
    符号化しようとするフレームのフレーム再構成データを定めるための手段と、
    所定の画質を有し、所定の符号化効率を提供するように、前記フレーム再構成データと、符号化しようとするブロックを表す動きデータを、使用するために選択するための手段と、
    を有するビデオコーダ。
  24. 連続静止フレームからなるビデオフレームを作成するための手段と、
    参照フレームとして少なくとも1つのフレームのフレーム再構成データと符号化済み隣接ブロックの動きデータを記憶するための手段と、
    符号化しようとするブロックのフレーム再構成データを符号化するために使用したのと同一の参照フレームを持つ隣接ブロックだけを使って、符号化しようとするフレームブロックの動きデータを定めるための手段と、
    所定の画質を有し、所定の符号化効率を提供するように、前記フレーム再構成データと、動きデータを、使用するために選択するための手段と、
    を有するビデオコーダ。
  25. 参照フレームをブロックとして記憶することを特徴とする請求項23又は24記載のビデオコーダ。
  26. 参照フレームをフレームとして記憶することを特徴とする請求項23又は24記載のビデオコーダ。
  27. 唯一の隣接ブロックがフレーム間符号化され、該隣接ブロックが符号化しているブロックと同一の参照フレームを有する場合、符号化しているブロックを、一つの隣接ブロックだけを使って、符号化することを特徴とする請求項23又は24記載のビデオコーダ。
  28. 前記フレーム再構成データが、ルミナンス、色、フレームブロックの位置と予測誤差フレームを表す情報の内の、少なくとも一つを含むことを特徴とする請求項23又は24記載のビデオコーダ。
  29. 前記フレームブロックの動きを動きベクトルを使って表すことを特徴とする請求項23又は24記載のビデオコーダ。
  30. 符号化済み隣接ブロックが符号化しているフレームブロックの直に隣接するブロックであることを特徴とする請求項23又は24記載のビデオコーダ。
  31. 符号化済み隣接ブロックが符号化しているフレームブロックの直に隣接するブロックではなく、フレームブロックが形成するフレームにおいて離間していることことを特徴とする請求項23又は24記載のビデオコーダ。
  32. 予測誤差フレームを、符号化しているフレームブロックと参照ブロックとを比較して作成することを特徴とする請求項23又は24記載のビデオコーダ。
  33. 符号化効率をラグランジュ関数を使って推定することを特徴とする請求項23又は24記載のビデオコーダ。
  34. 連続静止フレームからなるビデオフレームを作成するスップと、
    参照フレームとして少なくとも1つのフレームのフレーム再構成データと符号化済み隣接ブロックの動きデータを記憶するステップと、
    前記記憶された参照フレームを使って作成される隣接ブロックからの、1以上の符号化済み隣接ブロックの動きベクトルを使って、符号化しようとするブロックの動きデータを定めるステップと、
    符号化しようとするフレームのフレーム再構成データを定めるステップと、
    所定の画質を有し、所定の符号化効率を提供するように、前記フレーム再構成データと、符号化しようとするブロックを表す動きデータを、使用するために選択するステップと、
    を有する、コンピュータが読むことのでき、通信システムにおけるビデオフレームの符号化方法を実行するコンピュータプログラム。
  35. 連続静止フレームからなるビデオフレームを作成するステップと、
    参照フレームとして少なくとも1つのフレームのフレーム再構成データと符号化済み隣接ブロックの動きデータを記憶するステップと、
    符号化しようとするブロックのフレーム再構成データを符号化する際使用したのと同一の参照フレームを持つ隣接ブロックだけを使って、符号化しようとするフレームのフレームブロックの動きデータを定めるステップと、
    所定の画質を有し、所定の符号化効率を提供するように、前記フレーム再構成データと、動きデータを、使用するために選択するステップと、
    を有する、コンピュータが読むことのできる、通信システムにおけるビデオフレームの符号化方法を実行するコンピュータプログラム。
  36. 参照フレームをブロックとして記憶することを特徴とする請求項34又は35記載のビデオコーダ。
  37. 参照フレームをフレームとして記憶することを特徴とする請求項34又は35記載のビデオコーダ。
  38. 唯一の隣接ブロックがフレーム間符号化され、該隣接ブロックが符号化しているブロックと同一の参照フレームを有する場合、符号化しているブロックを、一つの隣接ブロックだけを使って、符号化することを特徴とする請求項34又は35記載のビデオコーダ。
  39. 前記フレーム再構成データが、ルミナンス、色、フレームブロックの位置と予測誤差フレームを表す情報の内の、少なくとも一つを含むことを特徴とする請求項34又は35記載のビデオコーダ。
  40. 前記フレームブロックの動きを動きベクトルを使って表すことを特徴とする請求項34又は35記載のビデオコーダ。
  41. 符号化済み隣接ブロックが符号化しているフレームブロックの直に隣接するブロックであることを特徴とする請求項34又は35記載のビデオコーダ。
  42. 符号化済み隣接ブロックが符号化しているフレームブロックの直に隣接するブロックではなく、フレームブロックが形成するフレームにおいて離間していることことを特徴とする請求項34又は35記載のビデオコーダ。
  43. 予測誤差フレームを、符号化しているフレームブロックと参照ブロックとを比較して作成することを特徴とする請求項34又は35記載のビデオコーダ。
  44. 符号化効率をラグランジュ関数を使って推定することを特徴とする請求項34又は35記載のビデオコーダ。
JP2002520565A 2000-08-11 2000-08-11 通信システムにおけるビデオフレーム転送方法と装置 Withdrawn JP2004534411A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/FI2000/000686 WO2002015585A1 (en) 2000-08-11 2000-08-11 Method and apparatus for transferring video frame in telecommunication system

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2006323823A Division JP2007135219A (ja) 1997-11-10 2006-11-30 通信システムにおけるビデオフレーム転送方法と装置
JP2007139572A Division JP2007312397A (ja) 2007-05-25 2007-05-25 通信システムにおけるビデオフレーム転送方法と装置

Publications (1)

Publication Number Publication Date
JP2004534411A true JP2004534411A (ja) 2004-11-11

Family

ID=8555876

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002520565A Withdrawn JP2004534411A (ja) 2000-08-11 2000-08-11 通信システムにおけるビデオフレーム転送方法と装置

Country Status (12)

Country Link
EP (1) EP1325635A1 (ja)
JP (1) JP2004534411A (ja)
KR (1) KR100828378B1 (ja)
CN (2) CN1284372C (ja)
AU (1) AU2000264472A1 (ja)
BR (1) BRPI0017304B1 (ja)
CA (1) CA2419988C (ja)
EE (1) EE05596B1 (ja)
HK (1) HK1100115A1 (ja)
HU (1) HU228614B1 (ja)
MX (1) MXPA03001270A (ja)
WO (1) WO2002015585A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007312397A (ja) * 2007-05-25 2007-11-29 Nokia Corp 通信システムにおけるビデオフレーム転送方法と装置
US8005145B2 (en) 2000-08-11 2011-08-23 Nokia Corporation Method and apparatus for transferring video frame in telecommunication system
JP2012165279A (ja) * 2011-02-08 2012-08-30 Jvc Kenwood Corp 画像復号装置、画像復号方法および画像復号プログラム
JP2012165278A (ja) * 2011-02-08 2012-08-30 Jvc Kenwood Corp 画像符号化装置、画像符号化方法および画像符号化プログラム
US8411757B2 (en) 1999-08-11 2013-04-02 Nokia Corporation Apparatus, and associated method, for forming a compressed motion vector field utilizing predictive motion coding

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1661409A2 (en) 2003-08-26 2006-05-31 Thomson Licensing S.A. Method and apparatus for minimizing number of reference pictures used for inter-coding

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19509418A1 (de) 1995-03-16 1996-09-19 Thomson Brandt Gmbh Verfahren und Schaltungsanordnung zur Unterabtastung bei Bewegungsschätzung
US5682209A (en) * 1995-11-13 1997-10-28 Tektronix, Inc. Motion estimation using limited-time early exit with prequalification matrices and a predicted search center
US6128047A (en) * 1998-05-20 2000-10-03 Sony Corporation Motion estimation process and system using sparse search block-matching and integral projection
US6130912A (en) * 1998-06-09 2000-10-10 Sony Electronics, Inc. Hierarchical motion estimation process and system using block-matching and integral projection

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8411757B2 (en) 1999-08-11 2013-04-02 Nokia Corporation Apparatus, and associated method, for forming a compressed motion vector field utilizing predictive motion coding
US8005145B2 (en) 2000-08-11 2011-08-23 Nokia Corporation Method and apparatus for transferring video frame in telecommunication system
JP2007312397A (ja) * 2007-05-25 2007-11-29 Nokia Corp 通信システムにおけるビデオフレーム転送方法と装置
JP2012165279A (ja) * 2011-02-08 2012-08-30 Jvc Kenwood Corp 画像復号装置、画像復号方法および画像復号プログラム
JP2012165278A (ja) * 2011-02-08 2012-08-30 Jvc Kenwood Corp 画像符号化装置、画像符号化方法および画像符号化プログラム

Also Published As

Publication number Publication date
CA2419988C (en) 2009-11-17
HUP0302895A2 (hu) 2003-12-29
AU2000264472A1 (en) 2002-02-25
EP1325635A1 (en) 2003-07-09
CN1933603A (zh) 2007-03-21
KR100828378B1 (ko) 2008-05-08
KR20030027021A (ko) 2003-04-03
CN100591131C (zh) 2010-02-17
BRPI0017304B1 (pt) 2016-11-29
HU228614B1 (en) 2013-04-29
MXPA03001270A (es) 2003-06-09
BR0017304A (pt) 2003-07-08
EE200300053A (et) 2004-12-15
CN1454431A (zh) 2003-11-05
CN1284372C (zh) 2006-11-08
HUP0302895A3 (en) 2004-04-28
HK1100115A1 (en) 2010-06-04
WO2002015585A1 (en) 2002-02-21
EE05596B1 (et) 2012-10-15
CA2419988A1 (en) 2002-02-21

Similar Documents

Publication Publication Date Title
US6782053B1 (en) Method and apparatus for transferring video frame in telecommunication system
JP2007135219A (ja) 通信システムにおけるビデオフレーム転送方法と装置
JP2007135219A6 (ja) 通信システムにおけるビデオフレーム転送方法と装置
US8005145B2 (en) Method and apparatus for transferring video frame in telecommunication system
US6954502B2 (en) Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder
EP1453321A2 (en) Video encoder capable of differentially encoding image of speaker during visual call and method for compressing video signal
CN103348677A (zh) 像素层级自适应帧内平滑化
PT1486065E (pt) Método para codificação de movimento numa sequência de vídeo
GB2513090A (en) Conditional concealment of lost video data
KR101409826B1 (ko) 적응적 탐색 범위를 이용한 움직임 예측 방법
CN115988206B (zh) 图像处理方法、处理设备及存储介质
CN113709504B (zh) 图像处理方法、智能终端及可读存储介质
KR0159370B1 (ko) 물체의 경계를 고려한 영상 부호화방법 및 장치
KR100828378B1 (ko) 통신 시스템에서의 비디오 프레임 전송 방법 및 장치
CN116456102B (zh) 图像处理方法、处理设备及存储介质
JP2007312397A (ja) 通信システムにおけるビデオフレーム転送方法と装置
WO2019233423A1 (zh) 获取运动矢量的方法和装置
JP2009513080A (ja) 予測された画像領域の検出方法および復元方法、ならびに検出装置および復元装置
JP4341078B2 (ja) 動画像情報の符号化装置
CN116847088B (zh) 图像处理方法、处理设备及存储介质
ZA200301088B (en) Method and apparatus for transferring video frame in telecommunication system.
CN115955565B (zh) 处理方法、处理设备及存储介质
Beaudoin et al. Underground experiments of video transmission over an IEEE 802.11 infrastructure
KR100252346B1 (ko) 개선된 텍스쳐 움직임 벡터 부호화 장치 및 그 방법
KR100212560B1 (ko) 하이브리드 윤곽 부호화에서의 부호화 모드 결정장치

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060530

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060829

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070426

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070612

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20070626