JP2003531532A - 時間的に順次連続する画像の画像情報を記憶および処理するための方法並びに装置 - Google Patents

時間的に順次連続する画像の画像情報を記憶および処理するための方法並びに装置

Info

Publication number
JP2003531532A
JP2003531532A JP2001576691A JP2001576691A JP2003531532A JP 2003531532 A JP2003531532 A JP 2003531532A JP 2001576691 A JP2001576691 A JP 2001576691A JP 2001576691 A JP2001576691 A JP 2001576691A JP 2003531532 A JP2003531532 A JP 2003531532A
Authority
JP
Japan
Prior art keywords
image
information
mixed
area
temporally
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001576691A
Other languages
English (en)
Other versions
JP4805518B2 (ja
Inventor
ベーゼ ゲロ
ブッシュマン ラルフ
フッター アンドレアス
クトゥカ ローベルト
エルテル ノルベルト
パンデル ユルゲン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of JP2003531532A publication Critical patent/JP2003531532A/ja
Application granted granted Critical
Publication of JP4805518B2 publication Critical patent/JP4805518B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction

Abstract

(57)【要約】 時間的に先行する、各考慮された画像から、それぞれ少なくとも１つの画像領域を選択し、所属の画像情報を割り当て情報と共に記憶する。画像情報から少なくとも１つの混合画像を、それぞれの割り当て情報を考慮して形成する。混合画像は動き予測、動き補償、またはエラー掩蔽の枠内で画像に対して適用される。

Description

【発明の詳細な説明】
【０００１】 本発明は、時間的に順次連続する画像の画像情報を記憶および処理するための
方法並びに装置に関する。
【０００２】 このような方法および装置は［１］から公知である。この公知の手段では、動
き予測が時間的に先行する複数の画像の画像領域からの画像情報のために使用さ
れる。複数の先行画像が動き予測のために使用され、これにより画像領域の多数
の選択肢が得られる。このことによって、動き予測およびこれと結び付く動き補
償またはエラー掩蔽が改善される。
【０００３】 例えば１つの画像において背景が自由に変化する場合、符号化すべき画像また
は一般的に処理すべき画像と、この画像に直接先行する画像との間で、単にこの
２つの画像だけを考慮したのでは動き予測に大きなエラーを伴う。しかし複数の
先行画像を動き予測またはエラー掩蔽の枠内で考慮すれば、自由に変化する背景
の画像領域を時間的に先行する画像から複製することができる。
【０００４】 通常このような予測符号化方法では、すなわちいわゆる動き予測の行われる符
号化方法では、すでに伝送された画像領域の画像情報から瞬時の画像情報が推定
され、いわゆる予測エラーだけが通知される。この予測エラーは動き予測の結果
として生じるものである。この動き予測が精確であればあるほど、時間的に順次
連続する画像のシーケンス（以下、画像シーケンスとも称する）をより効率的に
圧縮することができる。これまでは、動き予測を時間的に直接先行する画像にだ
け適用するのが一般的であった。画像の背景の前で対象物が運動すれば、自由に
変化する背景を時間的に直接先行する先行画像から複製することができず、これ
を完全に新たに符号化しなければならない。このことにより画像圧縮の効率が低
下し、画像シーケンスを伝送するために必要なデータ速度が、品質が同じ場合に
は上昇する。
【０００５】 ［１］から公知の手段では、動き予測の枠内で時間的に先行する複数の画像に
わたり考慮された先行画像全体が完全に記憶される。そのため必要なメモリスペ
ースもかなりのものであり、とりわけ使用できるメモリスペースの比較的小さい
、例えばビデオ電話での適用は問題である。この公知の手段では、画像符号化に
使用されるメモリスペースの何倍もが、時間的に先行する複数の画像の画像情報
を記憶するのに必要である。
【０００６】 従って本発明の課題は、時間的に順次連続する画像の画像情報を記憶し、処理
するに際して、動き予測の品質またはエラー掩蔽の品質は［１］から公知の手段
と同等であっても、時間的に先行する複数の画像を記憶するために必要なメモリ
スペースを低減することである。
【０００７】 この課題は、独立請求項の構成を有する方法、装置、コンピュータ読み出し可
能記憶媒体並びにコンピュータプログラムエレメントによって解決される。
【０００８】 時間的に順次連続する画像の画像情報を記憶および処理するための方法では、
時間的に先行する考慮された各画像からそれぞれ少なくとも１つの画像領域が選
択される。各選択された画像領域から検出された画像情報は割り当て情報と共に
記憶される。この割り当て情報により、それぞれの画像領域およびそれぞれの画
像領域の画像情報を、相応する画像および相応する画像内での画像領域の位置に
の割り当てることが可能である。それぞれ記憶され、選択された画像領域の画像
情報から割り当て情報を考慮して少なくとも１つの混合画像が形成される。この
混合画像は動き予測または動き補償またはエラー掩蔽の枠内で画像に対して使用
される。
【０００９】 時間的に順次連続する画像の画像情報を記憶および処理するための装置はプロ
セッサを有し、このプロセッサは次のステップを実行するように構成されている
： ・時間的に先行する考慮された各画像からそれぞれ少なくとも１つの画像領域を
選択するステップ、 ・選択された各画像領域からの画像情報を割り当て情報と共に記憶するステップ
、 ここで前記割り当て情報により、それぞれの画像領域を相応する画像および画
像内の画像領域の位置に割り当てることができ、 ・画像情報と、記憶され選択された画像領域とから、少なくとも１つの混合画像
をそれぞれの割り当て情報を考慮して形成するステップ、 ・混合画像を動き予測、動き補償またはエラー掩蔽の枠内で画像に対して使用す
るステップ。
【００１０】 コンピュータ読み出し可能記憶媒体には、時間的に順次連続する画像の画像情
報を記憶および処理するためのコンピュータプログラムが記憶されており、この
コンピュータプログラムはプロセッサにより実行されるとき、次の方法ステップ
を有する： ・時間的に先行する考慮された各画像からそれぞれ少なくとも１つの画像領域を
選択するステップ、 ・選択された各画像領域からの画像情報を割り当て情報と共に記憶するステップ
、 ここで前記割り当て情報により、それぞれの画像領域を相応する画像および画
像内の画像領域の位置に割り当てることができ、 ・画像情報と、記憶され選択された画像領域とから、少なくとも１つの混合画像
をそれぞれの割り当て情報を考慮して形成するステップ、 ・混合画像を動き予測、動き補償またはエラー掩蔽の枠内で画像に対して使用す
るステップ。
【００１１】 時間的に順次連続する画像の画像情報を記憶および処理するためのコンピュー
タプログラムエレメントはプロセッサにより実行されるとき次の方法ステップを
有する： ・時間的に先行する考慮された各画像からそれぞれ少なくとも１つの画像領域を
選択するステップ、 ・選択された各画像領域からの画像情報を割り当て情報と共に記憶するステップ
、 ここで前記割り当て情報により、それぞれの画像領域を相応する画像および画
像内の画像領域の位置に割り当てることができ、 ・画像情報と、記憶され選択された画像領域とから、少なくとも１つの混合画像
をそれぞれの割り当て情報を考慮して形成するステップ、 ・混合画像を動き予測、動き補償またはエラー掩蔽の枠内で画像に対して使用す
るステップ。
【００１２】 本発明により時間的に先行する画像全体を記憶するのではなく、時間的に先行
する画像の画像領域を選択して記憶することが可能になるので、必要なメモリス
ペースが格段に低減される。
【００１３】 それにもかかわらず、動き予測の達成可能な品質は、［１］から公知の方法に
より達成される品質と実質的に同じままである。
【００１４】 本発明の要点は、時間的に先行する画像の画像情報全体を、時間的に先行する
複数の画像にわたって記憶するのではなく、時間的に先行する考慮された画像の
動き予測のために、有利には関連する領域を記憶することである。
【００１５】 本発明のコンピュータプログラム、すなわちソフトウエアによっても実現する
ことも、専用の電子回路によってハードウエアで実現することもできる。
【００１６】 本発明の有利な改善形態は従属請求項に記載されている。
【００１７】 後で説明する構成は、方法、装置、コンピュータ読み出し可能記憶媒体、およ
びコンピュータプログラムエレメントに関連する。
【００１８】 本発明有利な改善形態では、相応する画像領域における画像情報が所定の基準
の点で、時間的に順次連続する２つの画像の動き予測に十分に適している場合、
すなわち画像情報が所定の基準を未対している場合に１つの画像領域を選択する
。
【００１９】 本発明の別の構成では、時間的に順次連続する複数の先行画像が、これら画像
から画像領域を選択および記憶するために使用される。
【００２０】 画像情報はリングメモリ構造体に記憶することができる。すなわち所定の大き
さのメモリスペースを時間的に先行する画像の画像情報を記憶するために使用で
きる。そして使用されるメモリ領域が一杯の場合には、相応の画像領域、すなわ
ち相応の画像領域の画像情報を「目下の」画像情報によって上書きすることがで
きる。
【００２１】 このことは次のようにして行うことができる。すなわちもっとも長い時間メモ
リに記憶されていた画像情報を目下の、新たに記憶すべき画像情報によって上書
きするのである。
【００２２】 択一的に、動き予測、動き補償、またはエラー掩蔽の枠内でもっとも稀に選択
された画像情報を置換することができる。なぜならこのような画像情報はヒュー
リスティックな観点から動き予測には十分に適さず、従って記憶したままにする
必要がないからである。
【００２３】 この改善形態により、確定的に設定された必要メモリスペースが、［１］から
公知の手段の場合の必要メモリスペースより格段に小さいことが保証される。
【００２４】 少なくとも１つの混合画像で、処理すべき画像に関して動き予測を実行するこ
とができる。
【００２５】 さらに時間的に先行する複数の画像の画像領域からの画像情報から、複数の混
合画像を形成することができ、各混合画像に対して動く予測をその画像について
実行することができる。
【００２６】 この改善形態によれば、動き予測が所定の基準の点でもっとも良好な結果を送
出するときの混合画像が選択される。選択された混合画像の画像領域に対しては
動きベクトルが形成され、この動きベクトルをさらに動き補償またはエラー掩蔽
の枠内で使用することができる。
【００２７】 混合画像は、時間的に先行する各考慮された画像に対して、さらなる処理のた
めの設けられた画像を基にして順次、反復的に形成することができる。
【００２８】 このことは、それぞれ時間的に先行する画像の記憶された画像情報を混合画像
にコピーし、得られた混合画像を記憶することにより行われる。それぞれ時間的
に先行する画像の記憶された画像情報は、先行するステップで得られた混合画像
にコピーされる。この方法は各形成すべき混合画像に対して順次、時間的に先行
するすべての画像が考慮されるまで実行される。
【００２９】 選択すべき画像領域は一般的に任意の形式を有することができる。しかし有利
には画像対象は所定の形式を有するか、またはマクロブロックまたは画像ブロッ
クである。
【００３０】 この改善形態によって、本発明の方法を通常のブロック指向の画像符号化方法
でも、および／またはオブジェクト指向の画像符号化方法でも簡単に使用するこ
とができる。
【００３１】 本発明は、画像電話の枠内でもデジタルテレビまたはいわゆるＨＤＴＶの枠内
でも使用することができる。さらに有利には本発明は、インターネット・ビデオ
ストリーミング、ビデオ・オン・デマンドの領域、ビジネステレビ、またはイン
ターネットテレビで使用することができる。
【００３２】 本発明は、動き予測が実行されるいずれの画像符号化方法の枠内でも、すなわ
ち予測画像符号化方法の枠内でも使用できることを述べておく。
【００３３】 さらなる構成では、各選択された画像領域からの画像情報および／または所属
の割り当て情報が記憶の前に圧縮される。
【００３４】 本発明の実施例が図面に示されており、以下さらに詳細に説明する。
【００３５】 図１は、本発明の実施例による手段の基本を示す概略図である。
【００３６】 図２は、本発明の実施例による符号化装置を示す概略図である。
【００３７】 図３は、本発明の実施例による個々の方法ステップを示すフローチャートである
。
【００３８】 図４は、本発明の実施例による復号化装置を示す概略図である。
【００３９】 図２は、カメラ２０１を有する符号化装置を示す。このカメラは符号化装置２
００のユーザ２０２の画像を記録する。カメラ２０１は線路２０３を介してソー
スコーダ２０４と接続されている。ソースコーダ２０４では、カメラにより記録
され、デジタル化されたビデオ画像が後で説明する手段に従ってソース符号化さ
れる。
【００４０】 個々のビデオ画像は画素を有しており、これらの画素に符号化情報、例えば色
情報または明度情報が配属されている。画素は画像ブロック２９５にグループ化
されており、この画像ブロックもまたいわゆるマクロブロックにグループ化され
ている。
【００４１】 符号化すべき画像の画像ブロック２０５はソースコーダ２０４に供給される。
ソースコーダ２０４では画像ブロック２０５が動き予測のためのユニット２０６
と切換ユニット２０７に供給される。切換ユニット２０７を介して、図示しない
制御ユニットにより制御されて、この画像ブロックに対して動き予測を実行する
か否か、従って符号化すべき画像ブロックの符号情報と、時間的に先行する画像
の画像ブロックの符号情報との間で差画像情報２０８を形成すべきか否か、また
は符号化すべき画像ブロック２０５の完全の符号情報２０８を変換ユニット２０
９に供給すべきか否かが決定される。
【００４２】 変換ユニット２０９では、符号化すべき符号情報への、ないしは差符号情報へ
の離散的コサイン変換（ＤＣＴ）が実行される。これにより変換係数２１０が形
成され、この変換係数は量子化ユニット２１１で量子化された変換係数２１２に
量子化される。
【００４３】 量子化された変換係数２１２はランレングス符号化ユニット２１３に供給され
る。ランレングス符号化された変換係数２１４は出力バッファ２１５に書き込ま
される。出力バッファ２１５からランレングス符号化された変換係数２１４が読
み出され、例えばチャネル符号化部に供給され、受信機に送信される。
【００４４】 量子化された変換係数２１２はさらに逆量子化ユニット２１６のフィードバッ
クループに供給される。ここで量子化された変換係数は逆量子化係数２１７に逆
量子化される。
【００４５】 逆量子化された変換係数２１７は逆変換ユニット２１８に供給される。ここで
逆量子化された変換係数２１７は逆離散的コサイン変換（ＩＤＣＴ）を受け、こ
れにより逆変換係数２１９が形成される。この係数は第１のメモリ２２０に記憶
される。
【００４６】 動き予測ユニット２０６では、第１のメモリ２２０に記憶された逆変換係数２
１９を使用して動き予測が実行される。
【００４７】 動き予測が行われた後、この実施例では、画像ブロックが動き予測に良好に適
するか否かが判断される。
【００４８】 このことは後で説明するように、多数の画像の分析と、それぞれの画像ブロッ
クが動き予測に適するか否かの検査によって行われる。すなわち統計的に小さな
エラー値が動き予測の枠内で生じ、比較的に低いデータ速度が統計的の報償され
る。
【００４９】 これは例えば、自由に変化する背景を表す画像ブロック、すなわち時間的に順
次連続する画像間で、画像シーケンス中におけるその位置が大きく変化する対象
物を表す画像ブロックに対する場合である。選択された画像ブロック、すなわち
選択された画像ブロックの画像情報は第２のメモリ２２２に記憶される。
【００５０】 この過程を図１に基づいてさらに詳細に説明する。
【００５１】 図１は、デジタル化された画像１０１，１０２，１０３，１０４，１０５のシ
ーケンス１００を示す。この実施例によれば、Ｆ（ｎ）により符号化すべき瞬時
に画像が表され、この画像に対して動き予測が実行される。後で記載する方法ス
テップの枠内で考慮される、時間的にもっとも離れた先行画像はＦ（ｎ−ｋ）に
より示される。このことは、動き予測方法の枠内でｋ個の時間的に先行する画像
が考慮されることを意味する。
【００５２】 画像は画像ブロック１０６を有している。選択された画像ブロックは参照符号
１０７により示されている。選択された画像ブロック１０７の符号化情報は第２
のメモリ２２２に割り当て情報と共に記憶される。割り当て情報は、選択された
画像ブロックが存在する画像についての情報と座標情報とを含む。座標情報によ
って、相応する画像内の選択された画像ブロックの位置が一時的に記述される。
【００５３】 割り当て情報はＢ（ｉ，ｘ，ｙ）により示される。ここで、 ・ｉにより、選択された画像ブロックの存在するそれぞれの画像が示され、 ・ｘによりｘ座標が示され、このｘ座標により相応に時間的に先行する画像内で
選択された画像ブロック内でのｘ座標に関する位置が記述され、 ・ｙによりｙ座標が示され、このｙ座標により相応に時間的に先行する画像内で
選択された画像ブロック内のｙ座標に関する位置が記述される。
【００５４】 第２のメモリ２２２はリングメモリ構造を有しており、これは図１に示されて
いる。
【００５５】 動き予測ユニット２０７によって動き予測が実行されると、このことは図１に
示すように探索領域１０８内で行われる。
【００５６】 図３は、実施例による動き予測３００のための方法の個々の方法ステップを示
す。
【００５７】 第１のステップ（ステップ３０１）でこの方法はスタートする。
【００５８】 さらなるステップで探索領域１０８に対して初期化混合画像１０９が、もっぱ
ら時間的に直接先行する画像の画像ブロックの符号化情報から形成される（ステ
ップ３０２）。この情報は完全に使用される。これにより符号化情報を探索領域
全体で動き予測のために使用されることが保証される。
【００５９】 符号化すべき相応の画像ブロックに対しては、初期化混合画像１０９の探索領
域１０８内で動き予測が実行される（ステップ３０３）。これにより第１の動き
ベクトルが形成される。動き予測の結果はさらにエラー値である。このエラー値
により、選択された領域内の符号化情報が初期化混合画像３０２の探索領域内で
、符号化すべき画像ブロックの符号化情報に対してどれだけ異なっているかが表
される。このことは例えば、考慮される画素の個々の符号化情報の二乗差の和を
形成することにより行うことができる。
【００６０】 エラー値並びに所属の動きベクトルは記憶される（ステップ３０４）。
【００６１】 さらなるステップ（ステップ３０５）で第２の混合画像１０９が形成される。
この形成は、時間的に次に先行する画像Ｆ（ｎ−１）の、選択された探索領域１
０８にある画像ブロックを初期化混合画像１０９にコピーし、相応の位置で初期
化混合画像の画像ブロックの符号化情報を上書きすることにより行われる。
【００６２】 この別の混合画像で次に、動き予測が再び符号化すべき画像に付いて実行され
る（ステップ３０６）。そして第２の動きベクトルと第２のエラー値が形成され
、これらは再び記憶される（ステップ３０７）。
【００６３】 検査ステップ（ステップ３０８）では、終了基準が満たされているか否かが検
査される。
【００６４】 終了基準は本実施例によれば、エラー値または第２のエラー値が所定の閾値よ
りも小さいことである。
【００６５】 エラー値も第２のエラー値も所定の閾値より小さくなければ、第３の混合画像
が別の混合画像と同じように形成され、時間的に先行する第３の画像の、探索領
域内にある選択された画像ブロックにより反復的に上書きされる。
【００６６】 一般的に、終了基準が満たされているか否かが検査され、終了基準が満たされ
ていない場合には、さらなる反復の混合画像が、時間的に先行する混合画像の符
号化情報を、時間的に更に後での先行画像の探索領域内にある画像ブロックから
の符号化情報によって上書きすることによって形成され、それぞれ再度、動き予
測が次の反復の混合画像に対して実行される。このことにより、それぞれ次の反
復の動きベクトルと次の反復のさらなるエラー値とが形成され、再び検査ステッ
プ（ステップ３０８）が今度は次の反復のエラー値について適用される。終了基
準が満たされれば、相応に形成されたさらなる動きベクトルと、相応の混合画像
のどの反復でこの動きベクトルが検出されたかという情報とがランレングス符号
化ユニット２１３に供給される。
【００６７】 さらに探索領域で相応に選択された画像領域の符号化情報は、差形成のため選
択された画像ブロックとして切換ユニット２０７に供給される（ステップ３０９
）。
【００６８】 第２のメモリ２２２の所定のメモリ領域が一杯であると、比較的最近選択され
た別の画像ブロックの別の符号化情報、ランレングス符号化された動きベクトル
、および相応の割り当て情報が同様にランレングス符号化され（図示せず）、第
１のメモリ２２０に記憶される。このことによりもっとも長い間、動き予測の枠
内で使用されなかった、記憶されている符号化情報が上書きされる。
【００６９】 ランレングス符号化された動きベクトル、根号画像指数、並びにランレングス
符号化された変換係数は受信機により受信され、そこで復号ユニット４００（図
４参照）に供給される。
【００７０】 ランレングス符号化された変換係数２１４は逆量子化ユニット４０１に供給さ
れ、これにより逆量子化された変換係数４０２が形成される。
【００７１】 逆量子化された変換係数４０２は逆変換ユニット４０３に供給され、ここで逆
離散的コサイン変換によって逆変換された係数４０４が形成され、第１のメモリ
４０５に記憶される。
【００７２】 検出された動きベクトルと復元された画像をデコーディングの枠内で使用して
、それぞれ相応に必要な混合画像が第２のメモリ４０６に記憶される。
【００７３】 動き補償ユニット４０７では、相応の動きベクトルと根号画像を用いて、必要
な画像ブロックの復元が行われる。すなわち、差情報４０８として加算ユニット
４０９に供給され、復元された差符号化情報に相応して加算される相応の画像ブ
ロックの符号化情報が復元される。
【００７４】 このようにして、復元された画像が復元された画像ブロックのシーケンスによ
って形成される。
【００７５】 次に、上に示した実施例に対するいくつかの択一的実施例を説明する。
【００７６】 第２のメモリ２２２に記憶される関連画像ブロックを選択するための種々の手
段が設けられている。従って、その符号化情報が先行する画像の相応の画像ブロ
ックに対して格段に変化した画像ブロックを選択することができる。その符号化
情報が所定の第２の閾値よりも大きい画像ブロックを選択することができる。
【００７７】 別の選択基準は、いわゆるイントラ符号化画像ブロックを選択することである
。すなわちその符号化情報が、差画像ブロックとしてだけではなく完全に符号化
されている画像ブロックを選択するのである。
【００７８】 この手段はとりわけ、画像全体がイントラ符号化されているのではなく、画像
の一部だけがイントラ符号化されている場合に対して適する。
【００７９】 本発明は同様にエラー掩蔽に対しても適する。すなわち符号化装置でのエラー
掩蔽にも適する。
【００８０】 この択一的実施例では、図３に示した方法に従い、受信された画像が相応の混
合画像により復元され、どのようにこれをデコードすべきかが未知であるエラー
のある画像ブロックに対して、相応の画像ブロックが、時間的に先行する画像の
混合画像から選択され、相応にエラーのある画像領域に書き込まれれる。
【００８１】 さらに第２のメモリを典型的な画像パターンにより前もって占有することも可
能である。このことは実質的にベクトル量子化に等しい。このような画像パター
ンとして、例えば扁平な皮膚の色を用いることができる。または開いた目ないし
閉じた目を使用することができる。目は直観的にコードブックとしてベクトル量
子化の枠内で用いられる。
【００８２】 本明細書では次の刊行物を引用する。
【００８３】 ［１］ ＩＴＵ−Ｔ Ｈ．２６３＋，Annex Ｎ
【図面の簡単な説明】
【図１】 図１は、本発明の実施例による手段の基本を示す概略図である。
【図２】 図２は、本発明の実施例による符号化装置を示す概略図である。
【図３】 図３は、本発明の実施例による個々の方法ステップを示すフローチャートであ
る。
【図４】 図４は、本発明の実施例による復号化装置を示す概略図である。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 アンドレアス フッター ドイツ連邦共和国 ミュンヘン ケッセル ベルクシュトラーセ 14 (72)発明者 ローベルト クトゥカ ドイツ連邦共和国 ゲルテンドルフ ハイ ンブーヘンシュトラーセ ３ (72)発明者 ノルベルト エルテル ドイツ連邦共和国 ミュンヘン ウンター ハヒンガー シュトラーセ 49 (72)発明者 ユルゲン パンデル ドイツ連邦共和国 フェルトキルヒェン− ヴェスターハム エールベルクリング 36 Ｆターム(参考） 5C059 KK08 MA05 NN01 NN21 RF04 RF09 SS02 SS03 SS08 SS09 SS10 SS20 UA02 UA33 UA38 5J064 AA01 AA02 BA16 BB01 BB03 BC01 BC14 BD02

Claims (14)

    【特許請求の範囲】
  1. 【請求項１】 時間的に順次連続する画像の画像情報を記憶および処理する
    方法において、 時間的に先行する各考慮された画像からそれぞれ少なくとも１つの画像領域を
    選択し、 各選択された画像領域からの画像情報を、割り当て情報と共に記憶し、 ここで前記割り当て情報により、それぞれの画像領域を相応する画像、および
    画像内の画像領域の位置に割り当てることができ、 前記画像情報と、記憶され選択された画像領域とから、少なくとも１つの混合
    画像を、それぞれの割り当て情報を考慮して形成し、 該混合画像を動き予測、動き補償、またはエラー掩蔽の枠内で画像に対して適
    用する、 ことを特徴とする方法。
  2. 【請求項２】 画像情報が相応する画像領域において、時間的に連続する２
    つの画像の動き予測のための所定の基準を満たす場合、１つの画像領域を選択す
    る、請求項１記載の方法。
  3. 【請求項３】 時間的に順次連続する複数の画像から、画像領域を選択し、
    記憶する、請求項１または２記載の方法。
  4. 【請求項４】 画像情報をリングメモリ構造体に記憶する、請求項１から３
    までのいずれか１項記載の方法。
  5. 【請求項５】 少なくとも１つの混合画像に対して、画像に関しての動き予
    測を実行する、請求項１から４までのいずれか１項記載の方法。
  6. 【請求項６】 複数の混合画像を、時間的に先行する複数の画像の画像領域
    の画像情報から形成し、 各混合画像に対して、画像に関しての動き予測を実行し、 当該動き予測の際に所定の基準に関してもっとも良好な結果の得られた混合画
    像を選択し、 選択された混合画像の画像領域に対して動きベクトルを形成する、請求項５記
    載の方法。
  7. 【請求項７】 混合画像を、各考慮され、時間的に先行する画像に対して反
    復的に、さらなる処理の行われる画像に基づいて形成する、請求項６記載の方法
    。
  8. 【請求項８】 混合画像を次のようにして連続的に形成する、 ・それぞれ時間的に先行する画像の記憶された画像情報を混合画像にコピーし、 ・得られた混合画像を記憶し、 ・それぞれ時間的にさらに先行する画像の記憶された画像情報を、先行するステ
    ップで得られた混合画像にコピーし、 ・当該方法を各形成すべき混合画像に対して連続的に、時間的に先行するすべて
    の画像が考慮されるまで実行することにより形成する、請求項６または７記載の
    方法。
  9. 【請求項９】 画像領域は、所定の形式の画像オブジェクトおよび／または
    マクロブロックおよび／または画像ブロックであり、請求項１から４までのいず
    れか１項記載の方法。
  10. 【請求項１０】 画像電話および／またはデジタルテレビジョンおよび／ま
    たはＨＤＴＶおよび／またはインターネット・ビデオストリームおよび／または
    ビデオ・オン・デマンドおよびビジネステレビジョンおよび／またはインターネ
    ットテレビジョンに使用する、請求項１から９までのいずれか１項記載の方法。
  11. 【請求項１１】 選択された画像領域からの画像情報および／または所属の
    割り当て情報を記憶の前に圧縮する、請求項１から１０までのいずれか１項記載
    の方法。
  12. 【請求項１２】 時間的に順次連続する画像の画像情報を記憶し、処理する
    ための装置であって、プロセッサを有し、 該プロセッサは次のステップが実行可能であるように構成されている： ・時間的に先行する、各考慮されされた画像から、それぞれ少なくとも１つの画
    像領域を選択するステップ、 ・各選択された画像領域の画像情報を割り当て情報と共に記憶するステップ、 ここで前記割り当て情報により、それぞれの画像領域を相応する画像、および
    画像内の画像領域の位置に割り当てることができ、 ・前記画像情報と、前記記憶され選択された画像領域とから、少なくとも１つの
    混合画像をそれぞれの割り当て情報を校了して形成するステップ、 ・前記混合画像を、動き予測、動き補償、またはエラー掩蔽の枠内で画像に対し
    て適用するステップ、 ことを特徴とする装置。
  13. 【請求項１３】 時間的に順次連続する画像の画像情報を記憶し、処理する
    ためのコンピュータプログラムが記憶されているコンピュータ読み出し可能記憶
    媒体であって、プロセッサにより実行されるとき以下の方法ステップを有する： ・時間的に先行する、各考慮されされた画像から、それぞれ少なくとも１つの画
    像領域を選択するステップ、 ・各選択された画像領域の画像情報を割り当て情報と共に記憶するステップ、 ここで前記割り当て情報により、それぞれの画像領域を相応する画像、および
    画像内の画像領域の位置に割り当てることができ、 ・前記画像情報と、前記記憶され選択された画像領域とから、少なくとも１つの
    混合画像をそれぞれの割り当て情報を校了して形成するステップ、 ・前記混合画像を、動き予測、動き補償、またはエラー掩蔽の枠内で画像に対し
    て適用するステップ、 ことを特徴とするコンピュータ読み出し可能記憶媒体。
  14. 【請求項１４】 時間的に順次連続する画像の画像情報を記憶し、処理する
    ためのコンピュータプログラムエレメントであって、プロセッサにより実行され
    るとき以下の方法ステップを有する： ・時間的に先行する、各考慮されされた画像から、それぞれ少なくとも１つの画
    像領域を選択するステップ、 ・各選択された画像領域の画像情報を割り当て情報と共に記憶するステップ、 ここで前記割り当て情報により、それぞれの画像領域を相応する画像、および
    画像内の画像領域の位置に割り当てることができ、 ・前記画像情報と、前記記憶され選択された画像領域とから、少なくとも１つの
    混合画像をそれぞれの割り当て情報を校了して形成するステップ、 ・前記混合画像を、動き予測、動き補償、またはエラー掩蔽の枠内で画像に対し
    て適用するステップ、 ことを特徴とするコンピュータプログラムエレメント。
JP2001576691A 2000-04-14 2001-04-09 時間的に順次連続する画像の画像情報を記憶および処理するための方法並びに装置 Expired - Lifetime JP4805518B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10018662.9 2000-04-14
DE10018662 2000-04-14
PCT/DE2001/001393 WO2001080569A1 (de) 2000-04-14 2001-04-09 Verfahren und vorrichtung zum speichern und bearbeiten von bildinformationen zeitlich aufeinanderfolgender bilder

Publications (2)

Publication Number Publication Date
JP2003531532A true JP2003531532A (ja) 2003-10-21
JP4805518B2 JP4805518B2 (ja) 2011-11-02

Family

ID=7638835

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001576691A Expired - Lifetime JP4805518B2 (ja) 2000-04-14 2001-04-09 時間的に順次連続する画像の画像情報を記憶および処理するための方法並びに装置

Country Status (10)

Country Link
US (1) US7397856B2 (ja)
EP (1) EP1279291B1 (ja)
JP (1) JP4805518B2 (ja)
KR (1) KR100791666B1 (ja)
CN (1) CN1204752C (ja)
BR (1) BRPI0109962B1 (ja)
CA (1) CA2406164C (ja)
DE (1) DE50103996D1 (ja)
RU (1) RU2270530C2 (ja)
WO (1) WO2001080569A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003005731A1 (en) * 2001-07-06 2003-01-16 Koninklijke Philips Electronics N.V. Motion estimation and compensation with controlled vector statistics
KR100601935B1 (ko) * 2003-12-02 2006-07-14 삼성전자주식회사 디지탈 동영상 처리 방법 및 장치
EP1617672A1 (en) * 2004-07-13 2006-01-18 Matsushita Electric Industrial Co., Ltd. Motion estimator/compensator including a 16-bit 1/8 pel interpolation filter
DE102005051091A1 (de) 2005-10-25 2007-04-26 Siemens Ag Verfahren und Vorrichtungen zur Bestimmung und Rekonstruktion eines prädizierten Bildbereichs
FR2930107B1 (fr) * 2008-04-14 2018-01-26 Canon Kabushiki Kaisha Procede et dispositif de traitement de donnees d'une sequence video.
FI127117B (fi) * 2009-06-17 2017-11-30 Gurulogic Microsystems Oy Kuvaprosessoija ja tietokoneohjelma
CN104488271B (zh) * 2013-07-26 2019-05-07 北京大学深圳研究生院 一种基于p帧的多假设运动补偿方法
WO2015010319A1 (zh) * 2013-07-26 2015-01-29 北京大学深圳研究生院 一种基于p帧的多假设运动补偿编码方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07154803A (ja) * 1992-12-16 1995-06-16 Internatl Business Mach Corp <Ibm> フル・モーション・ビデオの無損失圧縮方法
JPH09187015A (ja) * 1995-11-02 1997-07-15 Mitsubishi Electric Corp 画像符号化器及び画像復号化器
WO1998036576A1 (en) * 1997-02-13 1998-08-20 Mitsubishi Denki Kabushiki Kaisha Moving picture prediction system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60168276A (ja) * 1984-02-13 1985-08-31 Kokusai Denshin Denwa Co Ltd <Kdd> 画面上の移動体の動き方向検出方式
JPH06197334A (ja) * 1992-07-03 1994-07-15 Sony Corp 画像信号符号化方法、画像信号復号化方法、画像信号符号化装置、画像信号復号化装置及び画像信号記録媒体
US5561477A (en) * 1994-10-26 1996-10-01 Thomson Consumer Electronics, Inc. System for coding a video signal in the presence of an image intensity gradient
US5802211A (en) 1994-12-30 1998-09-01 Harris Corporation Method and apparatus for transmitting and utilizing analog encoded information
KR100414629B1 (ko) * 1995-03-29 2004-05-03 산요덴키가부시키가이샤 3차원표시화상생성방법,깊이정보를이용한화상처리방법,깊이정보생성방법
DE19617171C2 (de) * 1996-04-23 1999-02-25 Siemens Ag Videodecoder und entsprechendes Verfahren
US5943445A (en) * 1996-12-19 1999-08-24 Digital Equipment Corporation Dynamic sprites for encoding video data
WO1998029834A1 (en) 1996-12-30 1998-07-09 Sharp Kabushiki Kaisha Sprite-based video coding system
JP3639108B2 (ja) 1998-03-31 2005-04-20 株式会社ソニー・コンピュータエンタテインメント 描画装置および描画方法、並びに提供媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07154803A (ja) * 1992-12-16 1995-06-16 Internatl Business Mach Corp <Ibm> フル・モーション・ビデオの無損失圧縮方法
JPH09187015A (ja) * 1995-11-02 1997-07-15 Mitsubishi Electric Corp 画像符号化器及び画像復号化器
WO1998036576A1 (en) * 1997-02-13 1998-08-20 Mitsubishi Denki Kabushiki Kaisha Moving picture prediction system

Also Published As

Publication number Publication date
RU2002130496A (ru) 2004-03-10
KR100791666B1 (ko) 2008-01-03
DE50103996D1 (de) 2004-11-11
CA2406164A1 (en) 2001-10-25
US20030059119A1 (en) 2003-03-27
BRPI0109962B1 (pt) 2016-07-19
CN1436427A (zh) 2003-08-13
JP4805518B2 (ja) 2011-11-02
RU2270530C2 (ru) 2006-02-20
KR20020087972A (ko) 2002-11-23
EP1279291A1 (de) 2003-01-29
WO2001080569A1 (de) 2001-10-25
US7397856B2 (en) 2008-07-08
CN1204752C (zh) 2005-06-01
BR0109962A (pt) 2003-05-27
CA2406164C (en) 2012-06-05
EP1279291B1 (de) 2004-10-06

Similar Documents

Publication Publication Date Title
US7224731B2 (en) Motion estimation/compensation for screen capture video
US4727422A (en) Method and apparatus for efficiently communicating image sequence having improved motion compensation
US6980695B2 (en) Rate allocation for mixed content video
JP5134001B2 (ja) 下層のフィルタリングを備えたスケーラブルビデオ符号化
US9602819B2 (en) Display quality in a variable resolution video coder/decoder system
JP2021517392A (ja) ビデオ符号化のための方法及び装置
JP2021517392A5 (ja)
EP2186343B1 (en) Motion compensated projection of prediction residuals for error concealment in video data
AU2011308759A1 (en) Motion compensation using decoder-defined vector quantized interpolation filters
JP2021517410A (ja) サブブロックに基づく時間的動きベクトル予測のための方法並びにその機器及びコンピュータプログラム
JP2021517410A5 (ja)
US11514610B2 (en) Method and apparatus for point cloud coding
JP3918263B2 (ja) 圧縮符号化装置および符号化方法
CN107018416B (zh) 用于视频和图像压缩的自适应贴片数据大小编码
JP2003531532A (ja) 時間的に順次連続する画像の画像情報を記憶および処理するための方法並びに装置
CN112449182A (zh) 视频编码方法、装置、设备及存储介质
JP3416649B2 (ja) 可変長符号化装置
JP4859265B2 (ja) 輝度評価による符号化の方法及び装置
US6141449A (en) Coding mode determination system
CN111212288B (zh) 视频数据的编解码方法、装置、计算机设备和存储介质
JPH09121352A (ja) ビデオデータ流の全ての画素に対するビデオデータ流の符号化と復号化のための方法及び装置
JP2022521167A (ja) ビデオ符号化のための方法および装置
JPH0993592A (ja) 画像符号化装置
JPH09191458A (ja) 動画像圧縮符号化方法及びその装置
JP3798432B2 (ja) ディジタル画像を符号化および復号化する方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100721

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101020

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101027

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101221

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101228

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110713

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110811

R150 Certificate of patent or registration of utility model

Ref document number: 4805518

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140819

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term