JP2010206395A - 動画像符号化装置、方法及びプログラム、並びに、動画像符号化システム - Google Patents

動画像符号化装置、方法及びプログラム、並びに、動画像符号化システム Download PDF

Info

Publication number
JP2010206395A
JP2010206395A JP2009048263A JP2009048263A JP2010206395A JP 2010206395 A JP2010206395 A JP 2010206395A JP 2009048263 A JP2009048263 A JP 2009048263A JP 2009048263 A JP2009048263 A JP 2009048263A JP 2010206395 A JP2010206395 A JP 2010206395A
Authority
JP
Japan
Prior art keywords
frame
motion information
motion
key
key frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009048263A
Other languages
English (en)
Other versions
JP5071413B2 (ja
Inventor
Takahiro Yamazaki
貴宏 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2009048263A priority Critical patent/JP5071413B2/ja
Priority to US12/654,408 priority patent/US20100220787A1/en
Publication of JP2010206395A publication Critical patent/JP2010206395A/ja
Application granted granted Critical
Publication of JP5071413B2 publication Critical patent/JP5071413B2/ja
Priority to US14/048,677 priority patent/US9667961B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/395—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving distributed video coding [DVC], e.g. Wyner-Ziv video coding or Slepian-Wolf video coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】 キーフレームについて復号器から符号化器へ情報をフィードバックしない動画像符号化装置を提供する。
【解決手段】 本発明の動画像符号化装置は、キーフレームについては、フレーム内符号化又はフレーム間符号化するキーフレーム符号化器と、非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報を得る非キーフレーム符号化器とを有する。
キーフレーム符号化器は、参照用キーフレームの動き補償をする際に必要となる動き情報を、予測画像の生成時に利用する、非キーフレーム符号化器が生成した動き情報を補正して形成する。又は、非キーフレーム符号化器は、予測画像の生成時に利用する動き情報を、参照用キーフレームの動き補償をする際に必要となる、キーフレーム符号化器が生成した動き情報を補正して形成する。
【選択図】 図１

Description

本発明は、動画像符号化装置、方法及びプログラム、並びに、動画像符号化システムに関し、例えば、分散映像符号化方式（Ｄｉｓｔｒｉｂｕｔｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ：以下、ＤＶＣ方式と呼ぶ）を用いたものに適用し得るものである。
近年、非特許文献１に記載されるようなＤＶＣ方式という新しい符号化方式が注目されている。
このＤＶＣ方式は、動画像の符号化において、いくつかのフレーム（以下、キーフレームと呼ぶ）についてはフレーム内符号化を適用し（なお、キーフレームに対して、フレーム間符号化方式を適用していることもある）、一方、その他のフレーム（若しくは全て）のフレーム（Ｗｙｎｅｒ−Ｚｉｖフレーム（非キーフレーム））については、時間方向の予測誤差信号の誤り訂正符号（パリティビット）のみを符号化して伝送するものである。
今日のＤＶＣ方式は、Ｓｌｅｐｉａｎ−Ｗｏｌｆ定理及びＷｙｎｅｒ−Ｚｉｖ定理という２つのキーとなる情報理論に基づいた新しい圧縮方式である。ＤＶＣ方式は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器で符号化するべき原画像（Ｗｙｎｅｒ−Ｚｉｖフレーム：以下、ＷＺフレームと呼ぶ）に対してＳｌｅｐｉａｎ−Ｗｏｌｆ符号化処理を行い、その符号化データとＷｙｎｅｒ−Ｚｉｖフレーム復号器側で得たＷｙｎｅｒ−Ｚｉｖフレーム符号化器側の原画像の予測画像とを基にＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行う、新しい符号化方式である。
非特許文献１に記載されるようなＤＶＣ方式は、キーフレームの符号化、復号には特徴がないので、以下、非特許文献１の図１を参照しながら、ＷＺフレームの符号化、復号の面から説明する。
Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器で、符号化するべきＷＺフレームを変換係数領域に変換（ＤＣＴ）した後、帯域毎に、量子化（２ＭＫ ｌｅｖｅｌ Ｑｕａｎｔｉｚｅｒ）し、その量子化値（ｑｋ）を２値で表し、各ビットの情報を、例えば、１フレーム分集めた情報（Ｅｘｔｒａｃｔ ｂｉｔ−ｐｌａｎｅｓ）毎にＳｌｅｐｉａｎ−Ｗｏｌｆ符号化（Ｔｕｒｂｏ Ｅｎｃｏｄｅｒ）を行い、その結果のうち、パリティピットのみを一時保存（Ｂｕｆｆｅｒ）し、情報ピットは捨てられる（非特許文献１の図１には明確に図示されていない）。
Ｗｙｎｅｒ−Ｚｉｖフレーム復号器では、予測画像を生成し（Ｉｎｔｅｒｐｏｌａｔｉｏｎ／Ｅｘｔｒａｐｏｌａｔｉｏｎ）、その予測画像を変換係数領域に変換（ＤＣＴ）し、帯域毎に、サイドインフォメーション（サイドインフォメーション；副次情報）としてＳｌｅｐｉａｎ−Ｗｏｌｆ復号部（Ｔｕｒｂｏ Ｄｅｃｏｄｅｒ）に入力する。
Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器に対して、一時保存しているパリティピットのうち一部に対して送信要求（Ｒｅｑｕｅｓｔ ｂｉｔｓ）を行う。受信したパリティビットと、上述したサイドインフォメーションからＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行う。十分な復号が行えなかった場合には、再度、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器側にパリティビットの一部の追加送信要求（Ｒｅｑｕｅｓｔ ｂｉｔｓ）を行い、受信したパリティビットと上述したサイドインフォメーションからＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行う。この処理を、十分な復号が行えるまで続ける。
その後、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号の復号値と、サイドインフォメーションから変換係数を再構築し、逆変換（ＩＤＣＴ）することで復号画像を得る。
非特許文献１の記載技術では、キーフレームをイントラ（フレーム内）符号化しているため、キーフレームの符号化効率が上がらないとう問題点がある。
この問題に対し、非特許文献２の記載技術は、キーフレームをインター（フレーム間）符号化することで符号化効率を向上させている。非特許文献２の記載技術におけるインター符号化の手法は、キーフレーム符号化器が既に復号したキーフレームから動き推定を行い、得られた動き情報をキーフレーム符号化器にフィードバックすることによってインター符号化を実現している。
一方、非特許文献１に記載されているような一般のＤＶＣ方式では、パンクチャー（ｐｕｎｃｔｕｒｅ）された誤り訂正符号の一部をＷｙｎｅｒ−Ｚｉｖフレーム復号器へ送信し、Ｗｙｎｅｒ−Ｚｉｖフレーム復号器で誤り訂正符号を受け取り、誤り訂正を行う。このとき、Ｗｙｎｅｒ−Ｚｉｖフレーム復号器が十分に誤り訂正できない場合は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器へ追加の誤り訂正符号の送信を要求し、十分に誤り訂正が可能になるまでこれを繰り返す。そのため、再送要求というフィードバックを行うために、遅延が生じることや、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器とＷｙｎｅｒ−Ｚｉｖフレーム復号器が単独で動作できないという問題がある。
非特許文献３の記載技術では、この再送要求を避けるために、誤り訂正に必要な誤り訂正符号の量をＷｙｎｅｒ−Ｚｉｖフレーム符号化器で計算している。非特許文献３の記載技術では、Ｗｙｎｅｒ−Ｚｉｖフレーム復号器の作る予測画像を想定し、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器側で探索範囲を絞った簡易的な動き推定を行うことで予測画像を生成し、原画像と比較することにより、訂正を行う対象（Ｗｙｎｅｒ−Ｚｉｖフレーム復号器の作る予測画像）が原画像に対してのどれほど誤りがあるかを推定し、それを訂正するための必要なパリティ量を計算するものであり、これにより、フィードバックを必要としないようになされている。
Ａｎｎｅ Ａａｒｏｎ， Ｓｈａｎｔａｎｕ Ｒａｎｅ， Ｅｒｉｃ Ｓｅｔｔｏｎ， ａｎｄ Ｂｅｒｎｄ Ｇｉｒｏｄ：Ｔｒａｎｓｆｏｒｍ−ｄｏｍａｉｎ Ｗｙｎｅｒ−Ｚｉｖ Ｃｏｄｅｃ ｆｏｒ Ｖｉｄｅｏ． Ｉｎ：Ｐｒｏｃ， ＳＰＩＥ Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， Ｓａｎ Ｊｏｓｅ， ＣＡ（２００４） Ｌ．Ｌｉｕ Ｚ．Ｌｉ ａｎｄ Ｅ．Ｊ．Ｄｅｌｐ，"Ｂａｃｋｗａｒｄ ｃｈａｎｎｅｌ ａｗａｒｅ Ｗｙｎｅｒ−Ｚｉｖ ｖｉｄｅｏ ｃｏｄｉｎｇ" ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， Ａｔｌａｎｔａ， ＧＡ， Ｏｃｔｏｂｅｒ ２００６． Ｃ．Ｂｒｉｔｅｓ， Ｆ．Ｐｅｒｅｉｒａ，"Ｅｎｃｏｄｅｒ Ｒａｔｅ Ｃｏｎｔｒｏｌ ｆｏｒ Ｔｒａｎｓｆｏｒｍ Ｄｏｍａｉｎ Ｗｙｎｅｒ−Ｚｉｖ Ｖｉｄｅｏ Ｃｏｄｉｎｇ" （ＩＣＩＰ２００７）
ＤＶＣ方式は、（１）符号化器側の処理が少ない、（２）通常は（非特許文献１、２の記載技術）、Ｗｙｎｅｒ−Ｚｉｖフレームの復号には符号化側へのフィードバック（誤り訂正信号の再送要求）が必要、という特徴を有する。
符号化器の処理の少なさを生かすために、非特許文献１ではキーフレームに画面内（イントラ）符号化方式を使用している。非特許文献２では、キーフレームの符号化効率を向上するため、キーフレームをフレーム間符号化方式で符号化している。このとき、符号化器での処理量の増加を抑えるために、動き推定は復号器側で行っている。非特許文献２の記載技術によって、符号化効率の向上と符号化器の処理量の増加を抑える、ということが実現できるが、復号器からのフィードバックがあることによる問題（遅延が生じる、蓄積型のアプリケーションに利用できない、など）は解決できていない。非特許文献３の記載技術によってＷｙｎｅｒ−Ｚｉｖフレームの復号におけるフィードバックは解消できるが、キーフレームの処理におけるフィードバック（動き情報を符号化器側へ送る）は解消していない。
また、非特許文献２の記載技術と非特許文献３の記載技術とを組み合わせることにより、キーフレームをインター符号化し、符号化効率を上げ、さらに、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器で送信する誤り訂正符号の量を見積もることにより、ＷＺフレームの符号化にフィードバックを必要としない構成が期待できる。
しかしながら、キーフレームのインター符号化において、キーフレーム復号器側で動き推定を行うため、符号化器と復号器とのキーフレームをできるだけ合わせるため、フィードバックが必要となるという課題がある。
そのため、キーフレームについても、復号器から符号化器へのフィードバックをなくすことが可能な動画像符号化装置、方法及びプログラム、並びに、動画像符号化システムが望まれている。
第１の本発明は、フレーム系列を分離したキーフレームについては、フレーム内符号化又はフレーム間符号化を適用して符号化するキーフレーム符号化器と、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報を得る非キーフレーム符号化器とを有する動画像符号化装置において、（１）上記キーフレーム符号化器は、（１−１）参照用キーフレームを格納している参照用キーフレーム格納手段と、（１−２）上記参照用キーフレーム格納手段から出力された参照用キーフレームに対して、与えられた動き情報を適用して動き補償する動き補償手段と、（１−３）上記動き補償手段に与えるキーフレーム間の動き情報を形成する第１の動き情報形成手段とを備え、（２）上記非キーフレーム符号化器は、（２−１）上記予測画像を生成する予測画像生成手段と、（２−２）上記予測画像生成手段が上記予測画像の生成時に利用する非キーフレームに係る動き情報を形成する第２の動き情報形成手段とを備え、（３）上記第１の動き情報形成手段及び上記第２の動き情報形成手段の一方が、接近したキーフレームや非キーフレームの複数のフレームから動き推定によって動き情報を生成するものであり、（４）上記第１の動き情報形成手段及び上記第２の動き情報形成手段の他方が、上記第１の動き情報形成手段及び上記第２の動き情報形成手段の一方が生成した動き情報を取り込み、その動き情報に対する補正によって動き情報を形成するものであることを特徴とする。
第２の本発明は、フレーム系列を分離したキーフレームについては、フレーム内符号化又はフレーム間符号化を適用して符号化するキーフレーム符号化器と、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報を得る非キーフレーム符号化器とを有する動画像符号化装置と、キーフレーム復号器と非キーフレーム復号器とを有する動画像復号装置とを対向している動画像符号化システムにおいて、（１）上記動画像符号化装置のキーフレーム符号化器は、（１−１）参照用キーフレームを格納している参照用キーフレーム格納手段と、（１−２）上記参照用キーフレーム格納手段から出力された参照用キーフレームに対して、与えられた動き情報を適用して動き補償する動き補償手段と、（１−３）接近した複数のキーフレームから動き推定によって、上記動き補償手段に与えるキーフレーム間の動き情報を生成する第１の動き情報形成手段とを備え、（２）上記動画像符号化装置の上記非キーフレーム符号化器は、（２−１）上記予測画像を生成する予測画像生成手段と、（２−２）上記予測画像生成手段が上記予測画像の生成時に利用する非キーフレームに係る動き情報を、上記第１の動き情報形成手段が生成したキーフレーム間の動き情報を取り込んでその動き情報に対する内挿によって形成する第２の動き情報形成手段とを備え、（３）上記動画像復号装置が、（３−１）参照用キーフレームを格納している復号側参照用キーフレーム格納手段と、（３−２）上記参照用キーフレーム格納手段から出力された参照用キーフレームに対して、与えられた動き情報を適用して動き補償する復号側動き補償手段と、（３−３）上記第１の動き情報形成手段と同じ動き情報の生成方法で、上記復号側動き補償手段に与えるキーフレーム間の動き情報を形成する第３の動き情報形成手段とを備えたキーフレーム復号器を有することを特徴とする。
第３の本発明は、フレーム系列を分離したキーフレームについては、フレーム内符号化又はフレーム間符号化を適用して符号化するキーフレーム符号化器と、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報を得る非キーフレーム符号化器とを有する動画像符号化装置が実行する動画像符号化方法において、（１）上記キーフレーム符号化器において、（１−１）参照用キーフレーム格納手段は、参照用キーフレームを格納し、（１−２）動き補償手段は、上記参照用キーフレーム格納手段から出力された参照用キーフレームに対して、与えられた動き情報を適用して動き補償し、（１−３）第１の動き情報形成手段は、上記動き補償手段に与えるキーフレーム間の動き情報を形成し、（２）上記非キーフレーム符号化器において、（２−１）予測画像生成手段は、上記予測画像を生成し、（２−２）第２の動き情報形成手段は、上記予測画像生成手段が上記予測画像の生成時に利用する非キーフレームに係る動き情報を形成し、（３）上記第１の動き情報形成手段及び上記第２の動き情報形成手段の一方が、接近したキーフレームや非キーフレームの複数のフレームから動き推定によって動き情報を生成し、（４）上記第１の動き情報形成手段及び上記第２の動き情報形成手段の他方が、上記第１の動き情報形成手段及び上記第２の動き情報形成手段の一方が生成した動き情報を取り込み、その動き情報に対する補正によって動き情報を形成することを特徴とする。
第４の本発明の動画像符号化プログラムは、フレーム系列を分離したキーフレームについては、フレーム内符号化又はフレーム間符号化を適用して符号化するキーフレーム符号化器と、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報を得る非キーフレーム符号化器とを有する動画像符号化装置を構成するコンピュータを、（１）参照用キーフレームを格納している参照用キーフレーム格納手段と、上記参照用キーフレーム格納手段から出力された参照用キーフレームに対して、与えられた動き情報を適用して動き補償する動き補償手段と、上記動き補償手段に与えるキーフレーム間の動き情報を形成する第１の動き情報形成手段とを備えた上記キーフレーム符号化器と、（２）上記予測画像を生成する予測画像生成手段と、上記予測画像生成手段が上記予測画像の生成時に利用する非キーフレームに係る動き情報を形成する第２の動き情報形成手段とを備えた上記非キーフレーム符号化器として機能させるものであり、（３）機能させる上記第１の動き情報形成手段及び上記第２の動き情報形成手段の一方が、接近したキーフレームや非キーフレームの複数のフレームから動き推定によって動き情報を生成するものであり、（４）機能させる上記第１の動き情報形成手段及び上記第２の動き情報形成手段の他方が、上記第１の動き情報形成手段及び上記第２の動き情報形成手段の一方が生成した動き情報を取り込み、その動き情報に対する補正によって動き情報を形成するものであることを特徴とする。
本発明によれば、キーフレームについて、復号器から符号化器へのフィードバックをなくすことができる。
第１の実施形態の動画像符号化システムの構成を示すブロック図である。 第１の実施形態におけるキーフレームに対するイントラ符号化処理を示すフローチャートである。 第１の実施形態におけるＷＺフレームの符号化処理を示すフローチャートである。 第１の実施形態におけるキーフレームに対するインター符号化処理を示すフローチャートである。 第１の実施形態におけるキーフレームに対するイントラ復号処理を示すフローチャートである。 第１の実施形態におけるＷＺフレームの復号処理を示すフローチャートである。 第１の実施形態におけるキーフレームに対するインター復号処理を示すフローチャートである。 第２の実施形態の動画像符号化システムの構成を示すブロック図である。 第２の実施形態におけるキーフレームに対するインター符号化処理を示すフローチャートである。 第２の実施形態におけるＷＺフレームの符号化処理を示すフローチャートである。 第２の実施形態におけるキーフレーム間の動き情報を、ＷＺフレームに係る動き情報に補正する方法の説明図である。 第３の実施形態の動画像符号化システムの構成を示すブロック図である。 第３の実施形態におけるキーフレームに対するインター符号化処理を示すフローチャートである。 第３の実施形態におけるＷＺフレームの符号化処理を示すフローチャート（その１）である。 第３の実施形態におけるＷＺフレームの符号化処理を示すフローチャート（その２）である。 第３の実施形態におけるキーフレームに対するインター復号処理を示すフローチャートである。
（Ａ）第１の実施形態
以下、本発明による動画像符号化装置、方法及びプログラム、並びに、動画像符号化システムの第１の実施形態を、図面を参照しながら詳述する。第１の実施形態に係る動画像符号化方式は上述したＤＶＣ方式である。
（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態の動画像符号化システムの構成を示すブロック図である。
図１において、第１の実施形態の動画像符号化システム１００は、動画像符号化装置１０１と、それに対向する動画像復号装置１０２とから構成される。
動画像符号化装置１０１は、ハードウェア的に各種回路を接続して構築されても良く、また、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有する汎用的な装置が動画像符号化プログラムを実行することで動画像符号化装置１０１としての機能を実現するように構築されても良い。同様に、動画像復号装置１０２も、ハードウェア的に各種回路を接続して構築されても良く、また、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有する汎用的な装置が動画像復号プログラムを実行することで動画像復号装置１０２としての機能を実現するように構築されても良い。いずれの構築方法を適用した場合であっても、動画像符号化装置１０１及び動画像復号装置１０２の機能的構成は、図１で表すことができる。
動画像符号化装置１０１は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器１０３とキーフレーム符号化器１０４とを有する。動画像復号装置１０２は、Ｗｙｎｅｒ−Ｚｉｖフレーム復号器１０５とキーフレーム復号器１０６とを有する。
Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器１０３は、Ｗｙｎｅｒ−Ｚｉｖ符号化部１０９と、動き推定部１１０と、予測画像生成部１１１と、送信符号量計算部１１２とを有し、Ｗｙｎｅｒ−Ｚｉｖ符号化部１０９は、変換・量子化部１０７と、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８とを内蔵し、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器１０３は、ＷＺフレームを符号化するものである。
一方、キーフレーム符号化器１０４は、減算部１２４と、変換・量子化部１１３と、逆量子化・逆変換部１１４と、加算部１２５と、フレームバッファ１１５と、動き補正部１１７と、動き補償部１１６とを有し、キーフレームをイントラ符号化又はインター符号化するものである。
変換・量子化部１０７は、入力シーケンス（フレーム系列）からＷＺフレーム画像（以下、適宜、ＷＺフレームと呼ぶ）を得、係数領域への係数変換と量子化を行い、ビットプレーン単位へ分割するものである。
Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８は、分割されたビットプレーン単位でＳｌｅｐｉａｎ−Ｗｏｌｆ符号化を行い、送信符号量計算部１１２の結果に従った量の誤り訂正符号をＷｙｎｅｒ−Ｚｉｖフレーム復号器１０５に送信するものである。
動き推定部１１０は、フレームバッファ１１５から入力された、符号化対象のＷＺフレームの前にあるキーフレーム（局部復号されたキーフレーム画像）と、入力シーケンスから分離した符号化対象のＷＺフレームと、符号化対象のＷＺフレームの後の入力シーケンスから分離したキーフレームとを入力し、動き推定を行うものである。
予測画像生成部１１１は、動き推定部１１０で推定された動き情報と、符号化対象のＷＺフレームの前のキーフレーム、後のキーフレーム、又は、前後のキーフレームを用いて、符号化対象のＷＺフレームの予測画像を生成するものである。
送信符号量計算部１１２は、ＷＺフレームの原画像と、予測画像生成部１１１で生成されたその予測画像を比較し、送信する誤り訂正符号の量を計算するものである。
キーフレーム符号化器１０４における減算部１２４は、インター符号化する際に、符号化対象のキーフレームと、動き補償された過去のキーフレームとの差分を求めるものである。なお、イントラ符号化する際には、減算部１２４は、符号化対象のキーフレームをそのまま通過させるものである。
変換・量子化部１１３は、減算部１２４から出力を変換・量子化し、キーフレーム復号器１０６へ送信するものである。減算部１２４から出力は、インター符号化する際には、符号化対象のキーフレームと動き補償した過去のキーフレームとの差分になっており、イントラ符号化する際には、符号化対象のキーフレームそのままとなっている。
逆量子化・逆変換部１１４は、変換・量子化部１１３の出力に対して、変換・量子化部１１３の逆処理である逆量子化・逆変換を行うものである。この逆量子化・逆変換部１１４の逆量子化・逆変換処理は、局部復号処理に相当する処理である。インター符号化では、符号化対象のキーフレームと動き補償した過去のキーフレームとの差分に対応する値が逆量子化・逆変換部１１４から出力され、イントラ符号化では、符号化対象のキーフレームに対応する値が逆量子化・逆変換部１１４から出力される。
加算部１２５は、インター符号化の場合には、動き補償された過去のキーフレームと、局部復号された差分とを加算し、符号化対象のキーフレームの局部復号結果を得るものである。なお、イントラ符号化する際には、加算部１２５は、逆量子化・逆変換部１１４から出力された局部復号された符号化対象のキーフレームをそのまま通過させるものである。
フレームバッファ１１５は、キーフレームを参照するために、局部復号されたキーフレームを保存しておくものである。
動き補正部１１７は、キーフレームと、フレームバッファ１１５に保存されている参照キーフレームと、動き推定部１１０で推定されたＷＺフレームの動き情報を用いて、キーフレームの動き情報を補正するものである。
動き補償部１１６は、動き補正部１１７で得られた動き情報と、フレームバッファ１１５に保存された参照フレームを用いて動き補償を行うものである。
動画像復号装置１０２の一方の構成要素であるＷｙｎｅｒ−Ｚｉｖフレーム復号器１０５は、サイドインフォメーション生成部１１８と、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部１１９と、復号画像生成部１２０とを有し、ＷＺフレームについての復号を行うものである。
動画像復号装置１０２の他方の構成要素であるキーフレーム復号器１０６は、逆量子化・逆変換部１２１と、加算部１２６と、フレームバッファ１２２と、動き補償部１２３とを有し、受信した符号化キーフレームをイントラ復号又はインター復号するものである。
逆量子化・逆変換部１２１は、キーフレーム符号化器１０４からの符号化されたキーフレームを受信し、変換・量子化部１１３の逆処理である逆量子化・逆変換を行うものである。受信した符号化キーフレームがインター符号化されている場合には、処理対象のキーフレームと動き補償した過去のキーフレームとの差分に対応する値が逆量子化・逆変換部１２１から出力され、受信した符号化キーフレームがイントラ符号化されている場合には、処理対象のキーフレームに対応する値が逆量子化・逆変換部１２１から出力される。
加算部１２６は、インター符号化の場合には、動き補償された過去のキーフレームと、逆量子化・逆変換で得られた差分とを加算し、処理対象のキーフレームの復号結果を得るものである。なお、イントラ符号化の場合には、加算部１２６は、逆量子化・逆変換部１２１から出力された処理対象のキーフレームをそのまま通過させるものである。
フレームバッファ１２２は、復号されたキーフレームを、参照するために、また、予測画像の生成に利用するために保存しておくものである。
動き補償部１２３は、キーフレーム符号化器１０４から与えられたキーフレーム動き情報と、フレームバッファ１２２から得た参照キーフレームを用いて動き補償を行うものである。
Ｗｙｎｅｒ−Ｚｉｖフレーム復号器１０５におけるサイドインフォメーション生成部１１８は、フレームバッファ１２２に保存されている復号されたキーフレームを用いて、ＷＺフレームの予測画像を生成した後、予測画像を変換・量子化し、ビットプレーン単位へ分割するものである。
Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部１１９は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器１０３から与えられた誤り訂正符号と、サイドインフォメーション生成部１１８の出力を用いて、ビットプレーン単位でＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行うものである。
復号画像生成部１２０は、ビットプレーン単位でＳｌｅｐｉａｎ−Ｗｏｌｆ復号された結果をフレーム単位へ再構成し、逆量子化・逆変換を行い、復号画像を得るものである。
（Ａ−２）第１の実施形態の動作
次に、第１の実施形態に係る動画像符号化システム１００の動作を、図１に加えて、図２〜図７のフローチャートをも参照しながら説明する。
入力シーケンス（フレーム系列）は、キーフレームとＷＺフレームに分けられ、それぞれが符号化、復号処理される。以下では、キーフレームとＷＺフレームが交互である場合を例に説明する。
（Ａ−２−１）キーフレームのイントラ符号化処理
まず、１フレーム目の符号化処理を図１及び図２を参照して説明する。１フレーム目はキーフレームであり、しかも、参照し得る過去のキーフレームが存在しないので、キーフレーム符号化器１０４においてイントラ符号化が実行される。
まず、入力シーケンスからキーフレーム（１フレーム目）を得、変換・量子化部１１３へ入力し（ステップＳ２０１）、変換・量子化部１１３は、入力画像をＤＣＴなどの方法で変換係数領域へ変換し、変換係数の量子化を行う（ステップＳ２０２）。
次に、変換されたフレームの情報を、インター符号化の際の参照フレームに用いたり、予測画像の生成に用いたりするために局部復号を行う。すなわち、量子化された変換係数を逆量子化・逆変換部１１４へ入力し（ステップＳ２０３）、逆量子化・逆変換部１１４によって、量子化された変換係数が逆量子化・逆変換され、１フレーム目の局部復号画像（ローカルデコード画像）が得られ（ステップＳ２０４）、１フレーム目の局部復号画像がフレームバッファ１１５へ格納される（ステップＳ２０５）。
また、変換・量子化部１１３の処理結果（符号化キーフレーム）はキーフレーム復号器１０６へ送信される（ステップＳ２０６）。
（Ａ−２−２）ＷＺフレームの符号化処理
次に、２フレーム目の符号化処理を図１及び図３を参照して説明する。２フレーム目はＷＺフレームであるので、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器１０３において符号化される。
まず、入力シーケンスから、ＷＺフレーム（２フレーム目）の原画像と、そのＷＺフレームの後（３フレーム目）のキーフレームの原画像を得て、動き推定部１１０へ入力すると共に（ステップＳ３０１）、フレームバッファ１１５から、保存されているＷＺフレームの前のキーフレーム（１フレーム目）の局部復号画像を取り出して動き推定部１１０へ入力する（ステップＳ３０２）。
動き推定部１１０は、入力されたＷＺフレームと、前後のキーフレームを用いて動き推定を行い（ステップＳ３０３）、得られた動き情報と、前後のキーフレームと、ＷＺフレームとを予測画像生成部１１１へ入力する（ステップＳ３０４）。ここで、動き推定方法として任意の方法を適用可能である。例えば、処理量を抑えた動き推定方法としては、非特許文献２に記載されているような探索範囲を絞った動き推定方法がある。
予測画像生成部１１１は、入力された動き情報と、前後のキーフレームと、ＷＺフレームとを用いて予測画像を生成し（ステップＳ３０５）、得られた予測画像と、ＷＺフレームの原画像とを送信符号量計算部１１２へ入力する（ステップＳ３０６）。
送信符号量計算部１１２は、予測画像生成部１１１で生成された予測画像と、原画像とを比較し、Ｗｙｎｅｒ−Ｚｉｖフレーム復号器１０５で生成される予測画像の誤りを推定し、各ビットプレーンの誤りを訂正できるだけの誤り訂正符号の量を推定する（ステップＳ３０７）。誤り訂正符号の量を推定する方法は、既存の任意の方法を適用することができる。例えば、非特許文献３に記載の方法を適用することができる。
また、入力シーケンスから分離したＷＺフレーム（２フレーム目）の原画像を変換・量子化部１０７へ入力し（ステップＳ３０８）、変換・量子化部１０７は、この入力画像を、ＤＣＴなどで係数領域の情報に変換し、その結果を量子化し、ビットプレーンへ分割する（ステップＳ３０９）。
次に、ビットプレーンを１つＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８へ入力し（ステップＳ３１０）、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８は、入力されたビットプレーンをＳｌｅｐｉａｎ−Ｗｏｌｆ符号化する（ステップＳ３１１）。また、送信符号量計算部１１２での推定結果をＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８へ入力する（ステップＳ３１２）。Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８は、送信符号量計算部１１２の推定結果に従った量の誤り訂正符号を、Ｗｙｎｅｒ−Ｚｉｖフレーム復号器１０５へ送信する（ステップＳ３１３）。
上述したビットプレーンの入力、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化、誤り訂正符号の量の推定結果の入力、及び、誤り訂正符号の送信を全てのビットプレーンについて繰り返す（ステップＳ３１４）。
（Ａ−２−３）キーフレームのインター符号化処理
次に、３フレーム目の符号化処理を図１及び図４を参照して説明する。３フレーム目はキーフレームであり、しかも、参照し得る過去のキーフレーム（１フレーム目）が存在するので、キーフレーム符号化器１０４においてインター符号化が実行される。
まず、入力シーケンスから３フレーム目を得て、動き補正部１１７へ入力する（ステップＳ４０１）。また、動き推定部１１０で推定した２フレーム目と３フレーム目間の動き情報を動き補正部１１７へ入力する（ステップＳ４０２）。さらに、フレームバッファ１１５から、前のキーフレーム（１フレーム目）の局部復号画像を動き補正部１１７へ入力する（ステップＳ４０３）。動き補正部１１７は、２フレーム目と３フレーム目間の動き情報を用い、その動き情報を補正して、キーフレーム間（１フレーム目及び３フレーム目間）の動き情報を得る（ステップＳ４０４）。例えば、２フレーム目と３フレーム目間の動き情報を外挿して、キーフレーム間の動き情報を得るようにしても良い（後述する第２の実施形態では内挿について説明しており、同様にして外挿を実行すれば良い）。また例えば、２フレーム目と３フレーム目間の動き情報を外挿して、キーフレーム間の動き情報を一旦得た後、外挿の動き情報で定まる位置を中心とした狭い探索範囲（例えば縦横３×３画素程度）を設定し、その探索範囲で相関が最も大きい位置を探索して最終的にキーフレーム間の動き情報を得るようにしても良い。
その後、動き補正部１１７で得られたキーフレーム間の動き情報を動き補償部１１６へ入力する（ステップＳ４０５）。また、フレームバッファ１１５から参照フレーム（ここでは１フレーム目）の画像を動き補償部１１６へ入力する（ステップＳ４０６）。動き補償部１１６は、参照フレームと動き情報を用いて動き補償を行う（ステップＳ４０７）。動き補償方法は、ＭＰＥＧシリーズなどの一般の動画像符号化方式で用いられている方法を適用することができる。
次に、動き補償部１１６の出力結果と、入力シーケンスから得られた３フレーム目の原画像との差分を得て、変換・量子化部１１３へ入力し（ステップＳ４０８）、変換・量子化部１１３にて、その差分に対し、変換・量子化を行う（ステップＳ４０９）。
次に、変換した画像を参照フレームとして利用したり、予想画像の生成に用いたりするために、復号してフレームバッファ１１５へ格納する。すなわち、逆量子化・逆変換部１１４に、変換・量子化部１１３の出力結果を入力し（ステップＳ４１０）、逆量子化・逆変換部１１４で、逆量子化・逆変換を行い、３フレーム目の原画像と動き補償結果との差分の変換係数を得て（ステップＳ４１１）、加算部２５で、逆量子化・逆変換部１１４の出力結果と、動き補償部１１６の出力結果を足し合わせて３フレーム目の局部復号画像（ローカルデコード画像）を得、フレームバッファ１１５へ保存する（ステップＳ４１２）。
最後に、変換・量子化部１１３の出力結果（３フレーム目の原画像と動き補償結果との差分に対し、変換・量子化した結果）と、動き補正部１１７から得た動き情報とをキーフレーム復号器１０６へ送信する（ステップＳ４１３）。
（Ａ−２−４）キーフレームのイントラ復号処理
次に、動画像復号装置１０２の動作を、キーフレームのイントラ復号処理、ＷＺフレームの復号処理、キーフレームのインター復号処理の順に説明する。
まず、１フレーム目の復号処理を図１及び図５を参照して説明する。１フレーム目はキーフレームであり、しかも、参照し得る過去のキーフレームが存在しないので、キーフレーム復号器１０６においてイントラ復号が実行される。
受信した符号化済みのキーフレームは、キーフレーム復号器１０６の逆量子化・逆変換部１２１へ入力され（ステップＳ５０１、Ｓ５０２）、逆量子化・逆変換部１２１は、逆変換、量子化を行う（ステップＳ５０３）。１フレーム目はイントラ符号化されているので、逆変換、量子化処理により復号画像が得られる。
復号画像は、キーフレームのインター復号の際の参照フレームとして、また、ＷＺフレームの予測画像生成に利用するためにフレームバッファ１２２に格納されると共に（ステップＳ５０４）、出力される（ステップＳ５０５）。
（Ａ−２−５）ＷＺフレームの復号処理
次に、２フレーム目の復号処理を図１及び図６を参照して説明する。２フレーム目はＷＺフレームであるので、Ｗｙｎｅｒ−Ｚｉｖフレーム復号器１０５において復号される。
まず、フレームバッファ１２２に格納されている処理対象のＷＺフレーム（２フレーム目）の前後のキーフレーム（この場合は１フレーム目及び３フレーム目）の画像をサイドインフォメーション生成部１１８へ入力し（ステップＳ６０１）、サイドインフォメーション生成部１１８は、ＷＺフレームの予測画像を生成する（ステップＳ６０２）。前後のキーフレームを用いた予測画像の生成方法として、既存の任意の方法を適用することができる。例えば、参照文献１に記載されているような動き推定・動き補償を行う予測画像の生成方法を適用できる。また、キーフレームがインター符号化されているものであれば、キーフレームから得られる動き情報を利用して、予測画像を生成しても良い。
参照文献１：Ｊｏａｏ Ａｓｃｅｎｓｏ， Ｃａｔａｒｉｎａ Ｂｒｉｔｅｓ， ａｎｄ Ｆｅｒｎａｎｄｏ Ｐｅｒｅｉｒａ，“Ｉｍｐｒｏｖｉｎｇ ｆｒａｍｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｗｉｔｈ ｓｐａｔｉａｌ ｍｏｔｉｏｎ ｓｍｏｏｔｈｉｎｇ ｆｏｒ ｐｉｘｅｌ ｄｏｍａｉｎ ｄｉｓｔｒｉｂｕｔｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ，” ５ｔｈ ＥＵＲＡＳＩＰ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｐｅｅｃｈ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， Ｍｕｌｔｉｍｅｄｉａ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｓｅｒｖｉｃｅｓ， Ｊｕｌｙ ２００５．
次に、サイドインフォメーション生成部１１８で、生成された予測画像を変換・量子化し、２値化した後、ビットプレーンへ分割する（ステップＳ６０３）。
サイドインフォメーション生成部１１８から１つのビットプレーンをＳｌｅｐｉａｎ−Ｗｏｌｆ復号部１１９へ入力し（ステップＳ６０４）、また、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部１１９へＷｙｎｅｒ−Ｚｉｖフレーム符号化器１０３から送信した誤り訂正符号を入力し（ステップＳ６０５）、この誤り訂正符号を用いて、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号を行い、結果を復号画像生成部１２０へ入力する（ステップＳ６０６）。
上述したビットプレーンの入力、誤り訂正符号の入力、及び、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号を全てのビットプレーンについて繰り返す（ステップＳ６０７）
そして、復号画像生成部１２０で、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号結果のビットプレーンをフレーム単位へ再構成し、逆量子化・逆変換を行うことで復号画像を得て、次段の図示しない装置に出力する（ステップＳ６０８）。
（Ａ−２−６）キーフレームのインター復号処理
次に、３フレーム目の復号処理を図１及び図７を参照して説明する。３フレーム目はキーフレームであり、しかも、参照し得る過去のキーフレーム（１フレーム目）が存在するので、キーフレーム復号器１０６においてインター復号が実行される。
まず、キーフレーム符号化器１０４から送信された符号化されたキーフレームを受信し、逆量子化・逆変換部１２１へ入力し（ステップＳ７０１）、逆変換・逆量子化部１２１で、逆量子化・逆変換を行い、参照フレームとの差分が得られる（ステップＳ７０２）。
また、受信した符号化されたキーフレームを得た際に利用した受信した動き情報（動き補正部１１７から出力された動き情報）を動き補償部１２３へ入力し（ステップＳ７０３）、また、フレームバッファ１２２から参照フレームを動き補償部１２３へ入力し（ステップＳ７０４）、動き補償部１２３において、参照フレームと動き情報を用い、動き補償を行う（ステップＳ７０５）。この動き補償方法として、ＭＰＥＧシリーズなどの一般の動画像符号化方式で用いられている方法を適用することができる。
次に、加算部１２６で、動き補償部１２３の出力結果と逆変換された差分情報を足し合わせ、キーフレームの復号画像を得る（ステップＳ７０６）。
得られた復号画像は、参照フレームとして適用するため、また、ＷＺフレームの予測画像の生成のために、フレームバッファ１２２へ保存されると共に（ステップＳ７０７）、次段の図示しない装置に出力される（ステップＳ７０８）。
以上、３フレーム目までの処理を示したが、４フレーム目以降の偶数番目のフレーム（ＷＺフレーム）の処理は、上述した２フレーム目の処理と同様であり、５フレーム目以降の奇数番目のフレーム（キーフレーム）の処理は、上述した３フレーム目の処理と同様である。但し、シーンチェンジなどを図示しない監視部で監視した場合においては、新しい入力シーケンスとして、上述した１フレーム目からの処理が実行される。
（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、キーフレームの符号化方式にフィードバックを必要としないインター符号化を基本的に用いることにより、ＷＺフレーム、キーフレーム共にフィードバックが必要ではなくなり、フィードバックを仮定しないアプリケーションでも利用可能となる。
また、キーフレームのインター動き情報は、ＷＺフレームの予測画像の生成の際に推定した動き情報を用いるため、動画像符号化装置の負荷の増大を抑えることができる。
（Ｂ）第２の実施形態
次に、本発明による動画像符号化装置、方法及びプログラム、並びに、動画像符号化システムの第２の実施形態を、図面を参照しながら、第１の実施形態との相違点を中心に説明する。
（Ｂ−１）第２の実施形態の構成
図８は、第２の実施形態の動画像符号化システムの構成を示すブロック図であり、上述した第１の実施形態に係る図１との同一、対応部分には同一符号を付して示している。
図８において、第２の実施形態の動画像符号化システム８００は、動画像符号化装置８０１と、それに対向する動画像復号装置１０２とから構成される。ここで、動画像復号装置１０２は、第１の実施形態のものと同一である。
動画像符号化装置８０１は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器８０３とキーフレーム符号化器８０４とを備える。
Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器８０３は、変換・量子化部１０７と、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８と、Ｗｙｎｅｒ−Ｚｉｖ符号化部１０９と、動き補正部８１０と、予測画像生成部１１１と、送信符号量計算部１１２とを有する。動き補正部８１０以外の構成要素は第１の実施形態のものと同様である。
一方、キーフレーム符号化器８０４は、減算部１２４と、変換・量子化部１１３と、逆量子化・逆変換部１１４と、加算部１２５と、フレームバッファ１１５と、動き推定部８１７と、動き補償部１１６とを有する。動き推定部８１７以外の構成要素は第１の実施形態のものと同様である。
第１の実施形態では、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器１０３が動き推定部１１０を備え、キーフレーム符号化器１０４が動き補正部１１７を備えていたが、この第２の実施形態では、キーフレーム符号化器８０４が動き推定部８１７を備え、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器８０３が動き補正部８１０を備えている。
動き推定部８１７は、入力キーフレームと、フレームバッファ１１５に保存されているキーフレームの参照フレームから、動き探索を行うなどして、キーフレーム間の動き推定を実行するものである。
動き補正部８１０は、キーフレーム間の動き情報を動き推定部８１７から受け取り、ＷＺフレームの動き情報へ補正するものである。
（Ｂ−２）第２の実施形態の動作
次に、第２の実施形態に係る動画像符号化システム８００の動作を、図８に加えて、図９〜図１１をも参照しながら説明する。
入力シーケンス（フレーム系列）は、キーフレームとＷＺフレームに分けられ、それぞれが符号化、復号処理される。以下では、キーフレームとＷＺフレームが交互である場合を例に説明する。
なお、動画像復号装置１０２の動作は、第１の実施形態と同一であるので、その説明は省略する。また、１フレーム目のキーフレームの符号化処理（イントラ符号化処理）は、第１の実施形態と同様であり、その説明は省略する。
（Ｂ−２−１）キーフレームのインター符号化処理
まず、３フレーム目のキーフレームの符号化処理（インター符号化処理）を、図８及び図９を参照して説明する。図９は、第２の実施形態におけるキーフレームに対するインター符号化処理を示すフローチャートであり、第１の実施形態に係る図４との同一、対応ステップには同一符号を付して示している。
まず、３フレーム目の画像を入力シーケンスから得て、動き推定部８１７へ入力すると共に（ステップＳ９０１）、１フレーム目のキーフレーム画像をフレームバッファ１１５から参照フレームとして動き推定部８１７へ入力し（ステップＳ９０２）、動き推定部８１７は、１フレーム目と３フレーム目のキーフレーム画像からキーフレーム間の動き情報を推定する（ステップＳ９０３）。これ以降の処理は、第１の実施形態と同様である。
動き推定部８１７（なお、第１の実施形態では動き補正部１１７）で得られたキーフレーム間の動き情報を動き補償部１１６へ入力し（ステップＳ４０５）、フレームバッファ１１５から参照フレーム（ここでは１フレーム目）の画像を動き補償部１１６へ入力し（ステップＳ４０６）、動き補償部１１６は、参照フレームと動き情報を用いて動き補償を行う（ステップＳ４０７）。
次に、動き補償部１１６の出力結果と、入力シーケンスから得られた３フレーム目の原画像との差分を得て、変換・量子化部１１３へ入力し（ステップＳ４０８）、変換・量子化部１１３にて、その差分に対し、変換・量子化を行う（ステップＳ４０９）。また、逆量子化・逆変換部１１４に、変換・量子化部１１３の出力結果を入力し（ステップＳ４１０）、逆量子化・逆変換部１１４で、逆量子化・逆変換を行い、３フレーム目の原画像と動き補償結果との差分の変換係数を得て（ステップＳ４１１）、加算部２５で、逆量子化・逆変換部１１４の出力結果と、動き補償部１１６の出力結果を足し合わせて３フレーム目の局部復号画像（ローカルデコード画像）を得、フレームバッファ１１５へ保存する（ステップＳ４１２）。最後に、変換・量子化部１１３の出力結果（３フレーム目の原画像と動き補償結果との差分に対し、変換・量子化した結果）と、動き推定部８１７（なお、第１の実施形態では動き補正部１１７）から得た動き情報とをキーフレーム復号器１０６へ送信する（ステップＳ４１３）。
（Ｂ−２−２）ＷＺフレームの符号化処理
次に、２フレーム目（ＷＺフレーム）の符号化処理を図８及び図１０を参照して説明する。図１０は、第２の実施形態におけるＷＺフレームに対する符号化処理を示すフローチャートであり、第１の実施形態に係る図３との同一、対応ステップには同一符号を付して示している。
まず、入力シーケンスより２フレーム目のＷＺフレーム画像を動き補正部８１０へ入力し（ステップ１００１）、また、フレームバッファ１１５から１フレーム目及び３フレーム目の局部復号画像（ローカルデコード画像）を動き補正部８１０へ入力し（ステップ１００２）、さらに、動き推定部８１７から、キーフレーム間（１フレーム及び３フレーム間）の動き情報を動き補正部８１０へ入力する（ステップ１００３）。動き補正部８１０は、キーフレーム間の動き情報を用いて、２フレーム目の動き情報を内挿などの方法で補正する（ステップ１００４）。
１フレーム及び３フレーム間の動き情報を用い、２フレーム目のＷＺフレームに関する動き情報に補正する方法の一例を、図１１を使って説明する。
ＷＺフレームの前のキーフレームＢ（この例では１フレーム目）のある点をＢ（ｘ，ｙ）とし、その点Ｂの、ＷＺフレームの後のキーフレームＦ（この例では３フレーム目）への動きを（ｄｘ，ｄｙ）とする。ＷＺフレームの後のキーフレームＢにあるＢ（ｘ，ｙ）と同じ位置の点をＦ（ｘ，ｙ）と表すとする。このとき、ＷＺフレーム目の同じ位置にある点（ｘ，ｙ）の前後のフレーム方向の動きを以下のように算出する。
キーフレームＢ及びＦ間のフレームの隔たりをｍ、ＷＺフレームと後のキーフレームＦとのフレームの隔たりをｎとする。キーフレームとＷＺフレームが交互の場合には、ｍ＝２、ｎ＝１である。
ＷＺフレーム上の点（ｘ，ｙ）から前のキーフレーム（１フレーム目）Ｂへの動き（ｄｘＢ，ｄｙＢ）は（１）式で表すことができる。また、ＷＺフレーム上の点（ｘ，ｙ）から後のキーフレーム（３フレーム目）Ｆへの動き（ｄｘＦ，ｄｙＦ）は（２）式で表すことができる。すなわち、動き情報（ｄｘ，ｄｙ）が入力されると、（１）式や（２）式を適用して、ＷＺフレーム上の点を基準とした動き情報（ｄｘＢ，ｄｙＢ）、（ｄｘＦ，ｄｙＦ）を得るようにすれば良い。なお、（１）式や（２）式を適用して動き情報を一旦得た後、得られた動き情報で定まる移動先の位置を中心とした狭い探索範囲（例えば縦横３×３画素程度）を設定し、その探索範囲で相関が最も大きい位置を探索して最終的な補正した動き情報を得るようにしても良い。
Figure 2010206395
これ以降の処理は、第１の実施形態と同様である。
動き補正部８１０（なお、第１の実施形態の場合は動き推定部１１０）で得られた動き情報と、前後のキーフレームと、ＷＺフレームとを予測画像生成部１１１へ入力する（ステップＳ３０４）。予測画像生成部１１１は、入力された動き情報と、前後のキーフレームと、ＷＺフレームとを用いて予測画像を生成し（ステップＳ３０５）、得られた予測画像と、ＷＺフレームの原画像とを送信符号量計算部１１２へ入力する（ステップＳ３０６）。送信符号量計算部１１２は、予測画像生成部１１１で生成された予測画像と、原画像とを比較し、Ｗｙｎｅｒ−Ｚｉｖフレーム復号器１０５で生成される予測画像の誤りを推定し、各ビットプレーンの誤りを訂正できるだけの誤り訂正符号の量を推定する（ステップＳ３０７）。
また、入力シーケンスから分離したＷＺフレーム（２フレーム目）の原画像を変換・量子化部１０７へ入力し（ステップＳ３０８）、変換・量子化部１０７は、この入力画像を、ＤＣＴなどで係数領域の情報に変換し、その結果を量子化し、ビットプレーンへ分割する（ステップＳ３０９）。次に、ビットプレーンを１つＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８へ入力し（ステップＳ３１０）、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８は、入力されたビットプレーンをＳｌｅｐｉａｎ−Ｗｏｌｆ符号化する（ステップＳ３１１）。また、送信符号量計算部１１２での推定結果をＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８へ入力し（ステップＳ３１２）、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８は、送信符号量計算部１１２の推定結果に従った量の誤り訂正符号を、Ｗｙｎｅｒ−Ｚｉｖフレーム復号器１０５へ送信する（ステップＳ３１３）。上述したビットプレーンの入力、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化、誤り訂正符号の量の推定結果の入力、及び、誤り訂正符号の送信を全てのビットプレーンについて繰り返す（ステップＳ３１４）。
（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、キーフレーム同士で動き推定を行うため、第１の実施形態のキーフレームのインター符号化に比べて、精度の良い動き推定を行え、キーフレームの符号化効率が上がる。また、キーフレームの動き情報を用いてＷＺフレームの予測画像を生成するため、ＷＺフレームの予測画像の生成を低負荷で行うことができる。
（Ｃ）第３の実施形態
次に、本発明による動画像符号化装置、方法及びプログラム、並びに、動画像符号化システムの第３の実施形態を、図面を参照しながら、第１の実施形態との相違点を中心に説明する。
（Ｃ−１）第３の実施形態の構成
図１２は、第３の実施形態の動画像符号化システムの構成を示すブロック図であり、上述した第１の実施形態に係る図１との同一、対応部分には同一符号を付して示している。
図１２において、第３の実施形態の動画像符号化システム１２００は、動画像符号化装置１２０１と、それに対向する動画像復号装置１２０２とから構成される。
動画像符号化装置１２０１は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器１２０３とキーフレーム符号化器１２０４とを備える。
Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器１２０３は、変換・量子化部１０７及びＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８を有するＷｙｎｅｒ−Ｚｉｖ符号化部１０９と、動き推定・補正部１２１０と、予測画像生成部１１１と、送信符号量計算部１１２とを有する。動き推定・補正部１２１０以外の構成要素は第１の実施形態のものと同様である。
一方、キーフレーム符号化器８０４は、減算部１２４と、変換・量子化部１１３と、逆量子化・逆変換部１１４と、加算部１２５と、フレームバッファ１１５と、動き推定部１２１７と、動き補償部１１６とを有する。動き推定部１２１７以外の構成要素は第１の実施形態のものと同様である。
第１の実施形態では、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器１０３が動き推定部１１０を備え、キーフレーム符号化器１０４が動き補正部１１７を備えていたが、この第３の実施形態では、キーフレーム符号化器１２０４が動き推定部１２１７を備え、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器１２０３が動き推定・補正部１２１０を備えている。
動画像復号装置１２０２は、Ｗｙｎｅｒ−Ｚｉｖフレーム復号器１０５とキーフレーム復号器１２０６とを備える。Ｗｙｎｅｒ−Ｚｉｖフレーム復号器１０５は、第１の実施形態と同一であり、その説明は省略する。
キーフレーム復号器１２０６は、逆量子化・逆変換部１２１と、加算部１２６と、フレームバッファ１２２と、動き補償部１２３と、動き推定部１２２５とを有し、第１の実施形態より、動き推定部１２２５が増えており、これ以外の構成要素は第１の実施形態のものと同様である。
動き推定部１２１７は、以前に符号化したキーフレームを用いてキーフレーム間の動き情報を推定するものである。
動き推定・補正部１２１０は、動き推定部１２１７からキーフレーム間の動き情報を得てＷＺフレームの動き情報へ補正し、又は、フレームバッファ１１５から、前のキーフレーム、後のキーフレーム、若しくは、前後のキーフレームを得て、動き情報を推定するものである。
動き推定部１２２５は、以前に復号されたキーフレームを用いてキーフレーム間の動き情報を推定するものである。
（Ｃ−２）第３の実施形態の動作
次に、第３の実施形態に係る動画像符号化システム１２００の動作を、図１２に加えて、図１３〜図１６をも参照しながら説明する。
第１や第２の実施形態と同様に、キーフレームとＷＺフレームを交互に処理する例で説明する。第３の実施形態の場合、キーフレームのインター符号化は、２フレーム分のキーフレームを符号化した以降のキーフレームで行うこととする。つまり、１クレーム目及び３フレーム目はイントラ符号化を行い、５フレーム目以降のキーフレームをインター符号化するものとする。
なお、１フレーム目及び３フレーム目のキーフレームに対するイントラ符号化処理は、第１の実施形態と同様であり、その説明は省略する。また、動画像復号装置１２０２のＷｙｎｅｒ−Ｚｉｖフレーム復号器１０５の動作は、第１の実施形態と同一であるので、その説明は省略する。
（Ｃ−２−１）キーフレームのインター符号化処理
まず、５フレーム目のキーフレームに対するインター符号化処理を、図１２及び図１３を参照して説明する。図１３は、第３の実施形態におけるキーフレームに対するインター符号化処理を示すフローチャートであり、第１の実施形態に係る図４との同一、対応ステップには同一符号を付して示している。
まず、フレームバッファ１１５から、１フレーム目及び３フレーム目の局部復号画像（ローカルデコード）を動き推定部１２１７へ入力し（ステップ１３０１）、動き推定部１２１７では１フレーム目及び３フレーム目の画像を用いて３フレーム目及び５フレーム目間の動き情報を推定する（ステップ１３０２）。この際の推定方法として、既存の任意の方法を適用できる。例えば、非特許文献２の２．１節（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ）に記載されている方法を適用することができる。
これ以降の処理は、第１の実施形態とほぼ同様である。但し、ステップＳ１４３の処理が、ステップＳ１３０３の処理に置き換わっている。
動き推定部１２１７（なお、第１の実施形態では動き補正部１１７）で得られたキーフレーム間の動き情報を動き補償部１１６へ入力し（ステップＳ４０５）、フレームバッファ１１５から参照フレーム（ここでは３フレーム目）の画像を動き補償部１１６へ入力し（ステップＳ４０６）、動き補償部１１６は、参照フレームと動き情報を用いて動き補償を行う（ステップＳ４０７）。
次に、動き補償部１１６の出力結果と、入力シーケンスから得られた５フレーム目の原画像との差分を得て、変換・量子化部１１３へ入力し（ステップＳ４０８）、変換・量子化部１１３にて、その差分に対し、変換・量子化を行う（ステップＳ４０９）。また、逆量子化・逆変換部１１４に、変換・量子化部１１３の出力結果を入力し（ステップＳ４１０）、逆量子化・逆変換部１１４で、逆量子化・逆変換を行い、５フレーム目の原画像と動き補償結果との差分の変換係数を得て（ステップＳ４１１）、加算部２５で、逆量子化・逆変換部１１４の出力結果と、動き補償部１１６の出力結果を足し合わせて５フレーム目の局部復号画像（ローカルデコード画像）を得、フレームバッファ１１５へ保存する（ステップＳ４１２）。最後に、変換・量子化部１１３の出力結果（５フレーム目の原画像と動き補償結果との差分に対し、変換・量子化した結果）をキーフレーム復号器１０６へ送信する（ステップＳ１３０３）。
（Ｃ−２−２）ＷＺフレームの符号化処理
次に、２フレーム目又は４フレーム目（ＷＺフレーム）の符号化処理を図１２、並びに、図１４及び図１５を参照して説明する。図１４及び図１５は、第３の実施形態におけるＷＺフレームに対する符号化処理を示すフローチャートであり、第１の実施形態に係る図３との同一、対応ステップには同一符号を付して示している。
まず、入力シーケンスからＷＺフレームの原画像（例えば２フレーム目）を得、動き推定・補正部１２１０へ入力する（ステップＳ１４０１）。フレームバッファ１１５から、ＷＺフレームの前後の保存されているキーフレームの局部復号画像を動き推定・補正部１２１０へ入力する（ステップＳ１４０２）。次に、前後のキーフレーム間の動き情報が利用可能であるか否かを判断する（ステップＳ１４０３）。
処理対象のＷＺフレームが２フレーム目の場合には、前後のキーフレームがイントラ符号化されているため、キーフレームからの動き情報を得ることができない。そのため、前後のキーフレームから動き情報を推定することとした。すなわち、キーフレーム間の動き情報を得ることができない場合は、動き推定・補正部１２１０は、入力されたＷＺフレームと、前後のキーフレームを用いて動き推定を行う（ステップＳ１４０６）。この動き推定方法として、既存の任意の動き推定方法を適用することができる。例えば、非特許文献３の３．１．２”Ｆａｓｔ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ Ｉｎｔｅｒｐｏｌａｔｉｏｎ（ＦＭＣＩ）”に記載されているような探索範囲を絞り、処理量を抑えた動き推定方法を適用することができる。
一方、処理対象のＷＺフレームが４フレーム目のように、前後のキーフレームの動き情報が利用できる場合には、動き推定部１２１７から３フレーム目及び５フレーム目間の動き情報を動き推定・補正部１２１０へ入力し（ステップＳ１４０４）、動き推定・補正部１２１０は、３フレーム目及び５フレーム目間の動き情報を用いて、４フレーム目の動き情報を、内挿などの方法で得る（ステップＳ１４０５）。
これ以降の処理は、第１の実施形態と同様である。
動き推定・補正部１２１０（なお、第１の実施形態の場合は動き推定部１１０）で得られた動き情報と、前後のキーフレームと、ＷＺフレームとを予測画像生成部１１１へ入力する（ステップＳ３０４）。予測画像生成部１１１は、入力された動き情報と、前後のキーフレームと、ＷＺフレームとを用いて予測画像を生成し（ステップＳ３０５）、得られた予測画像と、ＷＺフレームの原画像とを送信符号量計算部１１２へ入力する（ステップＳ３０６）。送信符号量計算部１１２は、予測画像生成部１１１で生成された予測画像と、原画像とを比較し、Ｗｙｎｅｒ−Ｚｉｖフレーム復号器１０５で生成される予測画像の誤りを推定し、各ビットプレーンの誤りを訂正できるだけの誤り訂正符号の量を推定する（ステップＳ３０７）。
また、入力シーケンスから分離したＷＺフレームの原画像を変換・量子化部１０７へ入力し（ステップＳ３０８）、変換・量子化部１０７は、この入力画像を、ＤＣＴなどで係数領域の情報に変換し、その結果を量子化し、ビットプレーンへ分割する（ステップＳ３０９）。次に、ビットプレーンを１つＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８へ入力し（ステップＳ３１０）、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８は、入力されたビットプレーンをＳｌｅｐｉａｎ−Ｗｏｌｆ符号化する（ステップＳ３１１）。また、送信符号量計算部１１２での推定結果をＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８へ入力し（ステップＳ３１２）、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８は、送信符号量計算部１１２の推定結果に従った量の誤り訂正符号を、Ｗｙｎｅｒ−Ｚｉｖフレーム復号器１０５へ送信する（ステップＳ３１３）。上述したビットプレーンの入力、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化、誤り訂正符号の量の推定結果の入力、及び、誤り訂正符号の送信を全てのビットプレーンについて繰り返す（ステップＳ３１４）。
（Ｃ−２−３）キーフレームのインター復号処理
次に、５フレーム目のインター復号処理を図１２及び図１７を参照して説明する。図１６は、第３の実施形態におけるキーフレームに対するインター符号化処理を示すフローチャートであり、第１の実施形態に係る図７との同一、対応ステップには同一符号を付して示している。
なお、１フレーム目及び３フレーム目の符号化されているキーフレームのイントラ復号動作は、第１の実施形態のイントラ復号動作と同一であり、その説明は省略する。
まず、フレームバッファ１２２から１フレーム目及び３フレーム目の復号画像を動き推定部１２２５へ入力し（ステップＳ１６０１）、動き推定部１２２５は、３フレーム目及び５フレーム目間の動き情報を推定する（ステップＳ１６０２）。動き推定部１２２５の推定方法と、キーフレーム符号化器１２０４の動き推定部１２１７の推定方法とに、同じ方法を適用する。
以上のようなキーフレーム復号器１２０６で動き情報を推定する処理が、第１の実施形態の処理に追加されており、これ以降、第１の実施形態の処理とほぼ同様な処理が実行される。
キーフレーム符号化器１２０４から送信された符号化されたキーフレームを受信し、逆量子化・逆変換部１２１へ入力し（ステップＳ７０１）、逆変換・逆量子化部１２１で、逆量子化・逆変換を行い、参照フレームとの差分が得られる（ステップＳ７０２）。
また、動き推定部１２２５が推定した動き情報を動き補償部１２３へ入力し（ステップＳ７０３）、また、フレームバッファ１２２から参照フレームを動き補償部１２３へ入力し（ステップＳ７０４）、動き補償部１２３において、参照フレームと動き情報を用い、動き補償を行う（ステップＳ７０５）。なお、第１の実施形態の場合、ステップＳ７０３で動き補償部１２３へ入力する動き情報は、キーフレーム符号化器１２０４から送信されてきたものである。
次に、加算部１２６で、動き補償部１２３の出力結果と逆変換された差分情報を足し合わせ、キーフレームの復号画像を得る（ステップＳ７０６）。得られた復号画像は、参照フレームとして適用するため、また、ＷＺフレームの予測画像の生成のために、フレームバッファ１２２へ保存されると共に（ステップＳ７０７）、次段の図示しない装置に出力される（ステップＳ７０８）。
（Ｃ−３）第３の実施形態の効果
第３の実施形態によれば、キーフレームの動き推定をキーフレーム符号化器及びキーフレーム復号器双方で行うため、動き情報をキーフレーム符号化器からキーフレーム復号器へ送信する必要がないため、キーフレームの符号化効率を向上させることができる。
（Ｄ）他の実施形態
上記各実施形態の説明においても、種々変形実施形態に言及したが、さらに、以下に例示するような変形実施形態を挙げることができる。
上記各実施形態の動画像符号化装置及び動画像復号装置間の通信路は、狭義の通信路に限定されるものではなく、広義の通信路であって良い。すなわち、リアルタイムの通信だけでなく、動画像符号化装置が符号化したデータを記録媒体に記録し、動画像復号装置が記録媒体から読み出したデータを処理するものであっても良い。
予測画像の生成に用いるキーフレーム若しくはその範囲は、上記各実施形態のものに限定されるものではない。例えば、ＷＺフレームの前側にも後側にも２つずつのキーフレームを利用するようにしても良い。この場合であれば、動き情報もそれに応じた数だけ形成することを要する。
第１や第３の実施形態において、動き推定部１１０や動き推定・補正部１２１０は前後のキーフレームの動き推定を行っているが、動き推定に用いるキーフレームは必ず前後に限定されるものではなく、前方又は後方のみのキーフレームを用いて動き推定を行っても良い。
第１や第３の実施形態において、動き補正部１１７や動き推定・補正部１２１７では、フレームバッファ１１５に蓄えられたキーフレームと、入力されたキーフレームの原画像を用いて動き情報を補正しているが、キーフレームの原画像のみを用いても良く、フレームバッファ１１５に蓄えられている画像のみを使っても良い。
上記各実施形態では、ＤＣＴなどの変換をすることを前提としているが、画素領域での処理を行っても良い。また、量子化後の信号をそのままの形で受信側に送信している例を示したが、エントロピー符号化するなど圧縮率を高める機能を追加しても良い。
上記各実施形態では、入力シーケンス（フレーム系列）から、キーフレーム及びＷＺフレームを交互に取り出すものを示したが、キーフレーム及びＷＺフレームの比率はこれに限定されるものではない。例えば、キーフレームを２フレーム連続させた次の１フレームをＷＺフレームとし、キーフレーム及びＷＺフレームの比率を２：１とするようにしても良い。この場合、入力されたキーフレームの時間軸の変化が一律ではないことに応じて、動き情報の生成や内挿、外挿などを実行するようにすれば良い。
１００、８００、１２００…動画像符号化システム、
１０１、８０１、１２０１…動画像符号化装置、
１０３、８０３、１２０３…Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器、
１０９…Ｗｙｎｅｒ−Ｚｉｖ符号化部、
１０７…変換・量子化部、
１０８…Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部、
１１０…動き推定部、
８１０…動き補正部、
１２１０…動き推定・補正部、
１１１…予測画像生成部、
１１２…送信符号量計算部、
１０４、８０４、１２０４…キーフレーム符号化器、
１２４…減算部、
１１３…変換・量子化部、
１１４…逆量子化・逆変換部、
１２５…加算部、
１１５…フレームバッファ、
１１７…動き補正部、
８１７…動き推定部、
１２１７…動き推定部、
１１６…動き補償部、
１０２、１２０２…動画像復号装置、
１０５…Ｗｙｎｅｒ−Ｚｉｖフレーム復号器、
１１８…サイドインフォメーション生成部、
１１９…Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部、
１２０…復号画像生成部、
１０６、１２０６…キーフレーム復号器、
１２１…逆量子化・逆変換部、
１２６…加算部、
１２２…フレームバッファ、
１２３…動き補償部、
１２２５…動き推定部。

Claims (7)

  1. フレーム系列を分離したキーフレームについては、フレーム内符号化又はフレーム間符号化を適用して符号化するキーフレーム符号化器と、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報を得る非キーフレーム符号化器とを有する動画像符号化装置において、
    上記キーフレーム符号化器は、
    参照用キーフレームを格納している参照用キーフレーム格納手段と、
    上記参照用キーフレーム格納手段から出力された参照用キーフレームに対して、与えられた動き情報を適用して動き補償する動き補償手段と、
    上記動き補償手段に与えるキーフレーム間の動き情報を形成する第１の動き情報形成手段とを備え、
    上記非キーフレーム符号化器は、
    上記予測画像を生成する予測画像生成手段と、
    上記予測画像生成手段が上記予測画像の生成時に利用する非キーフレームに係る動き情報を形成する第２の動き情報形成手段とを備え、
    上記第１の動き情報形成手段及び上記第２の動き情報形成手段の一方が、接近したキーフレームや非キーフレームの複数のフレームから動き推定によって動き情報を生成するものであり、
    上記第１の動き情報形成手段及び上記第２の動き情報形成手段の他方が、上記第１の動き情報形成手段及び上記第２の動き情報形成手段の一方が生成した動き情報を取り込み、その動き情報に対する補正によって動き情報を形成するものである
    ことを特徴とする動画像符号化装置。
  2. 上記第２の動き情報形成手段が、接近したキーフレームや非キーフレームの複数のフレームから動き推定によって非キーフレームに係る動き情報を生成するものであり、
    上記第１の動き情報形成手段が、上記第２の動き情報形成手段が生成した非キーフレームに係る動き情報を取り込み、その動き情報に対する外挿によってキーフレーム間の動き情報を形成するものである
    ことを特徴とする請求項１に記載の動画像符号化装置。
  3. 上記第１の動き情報形成手段が、接近した複数のキーフレームから動き推定によってキーフレーム間の動き情報を生成するものであり、
    上記第２の動き情報形成手段が、上記第１の動き情報形成手段が生成したキーフレーム間の動き情報を取り込み、その動き情報に対する内挿によって非キーフレームに係る動き情報を形成するものである
    ことを特徴とする請求項１に記載の動画像符号化装置。
  4. 上記第２の動き情報形成手段は、上記第１の動き情報形成手段がキーフレーム間の動き情報を生成できない初期側の非キーフレームについては、接近したキーフレームや非キーフレームの複数のフレームから動き推定によって非キーフレームに係る動き情報を生成することを特徴とする請求項３に記載の動画像符号化装置。
  5. フレーム系列を分離したキーフレームについては、フレーム内符号化又はフレーム間符号化を適用して符号化するキーフレーム符号化器と、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報を得る非キーフレーム符号化器とを有する動画像符号化装置と、キーフレーム復号器と非キーフレーム復号器とを有する動画像復号装置とを対向している動画像符号化システムにおいて、
    上記動画像符号化装置として、請求項３に記載の動画像符号化装置を適用していると共に、
    上記動画像復号装置が、
    参照用キーフレームを格納している復号側参照用キーフレーム格納手段と、
    上記参照用キーフレーム格納手段から出力された参照用キーフレームに対して、与えられた動き情報を適用して動き補償する復号側動き補償手段と、
    上記第１の動き情報形成手段と同じ動き情報の生成方法で、上記復号側動き補償手段に与えるキーフレーム間の動き情報を形成する第３の動き情報形成手段とを備えたキーフレーム復号器を有する
    ことを特徴とする動画像符号化システム。
  6. フレーム系列を分離したキーフレームについては、フレーム内符号化又はフレーム間符号化を適用して符号化するキーフレーム符号化器と、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報を得る非キーフレーム符号化器とを有する動画像符号化装置が実行する動画像符号化方法において、
    上記キーフレーム符号化器において、
    参照用キーフレーム格納手段は、参照用キーフレームを格納し、
    動き補償手段は、上記参照用キーフレーム格納手段から出力された参照用キーフレームに対して、与えられた動き情報を適用して動き補償し、
    第１の動き情報形成手段は、上記動き補償手段に与えるキーフレーム間の動き情報を形成し、
    上記非キーフレーム符号化器において、
    予測画像生成手段は、上記予測画像を生成し、
    第２の動き情報形成手段は、上記予測画像生成手段が上記予測画像の生成時に利用する非キーフレームに係る動き情報を形成し、
    上記第１の動き情報形成手段及び上記第２の動き情報形成手段の一方が、接近したキーフレームや非キーフレームの複数のフレームから動き推定によって動き情報を生成し、
    上記第１の動き情報形成手段及び上記第２の動き情報形成手段の他方が、上記第１の動き情報形成手段及び上記第２の動き情報形成手段の一方が生成した動き情報を取り込み、その動き情報に対する補正によって動き情報を形成する
    ことを特徴とする動画像符号化方法。
  7. フレーム系列を分離したキーフレームについては、フレーム内符号化又はフレーム間符号化を適用して符号化するキーフレーム符号化器と、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報を得る非キーフレーム符号化器とを有する動画像符号化装置を構成するコンピュータを、
    参照用キーフレームを格納している参照用キーフレーム格納手段と、上記参照用キーフレーム格納手段から出力された参照用キーフレームに対して、与えられた動き情報を適用して動き補償する動き補償手段と、上記動き補償手段に与えるキーフレーム間の動き情報を形成する第１の動き情報形成手段とを備えた上記キーフレーム符号化器と、
    上記予測画像を生成する予測画像生成手段と、上記予測画像生成手段が上記予測画像の生成時に利用する非キーフレームに係る動き情報を形成する第２の動き情報形成手段とを備えた上記非キーフレーム符号化器として機能させるものであり、
    機能させる上記第１の動き情報形成手段及び上記第２の動き情報形成手段の一方が、接近したキーフレームや非キーフレームの複数のフレームから動き推定によって動き情報を生成するものであり、
    機能させる上記第１の動き情報形成手段及び上記第２の動き情報形成手段の他方が、上記第１の動き情報形成手段及び上記第２の動き情報形成手段の一方が生成した動き情報を取り込み、その動き情報に対する補正によって動き情報を形成するものである
    ことを特徴とする動画像符号化プログラム。
JP2009048263A 2009-03-02 2009-03-02 動画像符号化装置、方法及びプログラム、並びに、動画像符号化システム Expired - Fee Related JP5071413B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009048263A JP5071413B2 (ja) 2009-03-02 2009-03-02 動画像符号化装置、方法及びプログラム、並びに、動画像符号化システム
US12/654,408 US20100220787A1 (en) 2009-03-02 2009-12-18 Video encoding and decoding apparatus, method, and system
US14/048,677 US9667961B2 (en) 2009-03-02 2013-10-08 Video encoding and decoding apparatus, method, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009048263A JP5071413B2 (ja) 2009-03-02 2009-03-02 動画像符号化装置、方法及びプログラム、並びに、動画像符号化システム

Publications (2)

Publication Number Publication Date
JP2010206395A true JP2010206395A (ja) 2010-09-16
JP5071413B2 JP5071413B2 (ja) 2012-11-14

Family

ID=42667069

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009048263A Expired - Fee Related JP5071413B2 (ja) 2009-03-02 2009-03-02 動画像符号化装置、方法及びプログラム、並びに、動画像符号化システム

Country Status (2)

Country Link
US (2) US20100220787A1 (ja)
JP (1) JP5071413B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012119877A (ja) * 2010-11-30 2012-06-21 Oki Electric Ind Co Ltd 符号量制御装置及びプログラム、動画像符号化装置及びプログラム、並びに、整数／ビット列変換装置
JP2013062613A (ja) * 2011-09-12 2013-04-04 Oki Electric Ind Co Ltd 画像符号化システム、画像符号化装置及び画像符号化プログラム
JP2013123192A (ja) * 2011-12-12 2013-06-20 Oki Electric Ind Co Ltd 動画像符号化装置、システム及びプログラム
JP2015065645A (ja) * 2013-09-25 2015-04-09 三菱電機株式会社 画像推定方法
JP2015065644A (ja) * 2013-09-25 2015-04-09 三菱電機株式会社 画像推定方法
JP2016134847A (ja) * 2015-01-21 2016-07-25 沖電気工業株式会社 動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び動画像符号化システム
WO2023202177A1 (zh) * 2022-04-19 2023-10-26 华为技术有限公司 图像编码方法和装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2007214319A1 (en) * 2007-08-30 2009-03-19 Canon Kabushiki Kaisha Improvements for Spatial Wyner Ziv Coding
AU2007237313A1 (en) * 2007-12-03 2009-06-18 Canon Kabushiki Kaisha Improvement for error correction in distributed vdeo coding
AU2007242924A1 (en) * 2007-12-12 2009-07-02 Canon Kabushiki Kaisha Improvement for error correction in distributed video coding
US9288506B2 (en) * 2012-01-05 2016-03-15 Qualcomm Incorporated Signaling view synthesis prediction support in 3D video coding
JP5900024B2 (ja) * 2012-03-02 2016-04-06 沖電気工業株式会社 動画像符号化装置及びプログラム、動画像復号装置及びプログラム、並びに、動画像配信システム
US10085017B2 (en) 2012-11-29 2018-09-25 Advanced Micro Devices, Inc. Bandwidth saving architecture for scalable video coding spatial mode
KR102476204B1 (ko) * 2017-10-19 2022-12-08 삼성전자주식회사 멀티 코덱 인코더 및 이를 포함하는 멀티 코덱 인코딩 시스템
CN112584134B (zh) * 2020-12-07 2022-10-21 深圳市捷视飞通科技股份有限公司 视频会议码流的测试方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004086631A2 (en) * 2003-03-24 2004-10-07 Qualcomm Incorporated Method, apparatus and system for encoding and decoding side information for multimedia transmission
WO2005120079A2 (en) * 2004-06-01 2005-12-15 Qualcomm Incorporated Method, apparatus, and system for enhancing robustness of predictive video codecs using a side-channel based on distributed source coding techniques
WO2006022400A1 (en) * 2004-08-27 2006-03-02 Mitsubishi Denki Kabushiki Kaisha Method and system for representing correlated set of images
JP2007274035A (ja) * 2006-03-30 2007-10-18 Kddi Corp 画像圧縮符号化装置、画像復号装置、プログラム及び方法
US20090074077A1 (en) * 2006-10-19 2009-03-19 Canon Kabushiki Kaisha Video source coding with decoder side information

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0679032B1 (en) * 1994-04-20 2010-06-23 Oki Electric Industry Co., Ltd. Image encoding and decoding method and apparatus using edge systhesis and inverse wavelet transform
US6134270A (en) * 1997-06-13 2000-10-17 Sun Microsystems, Inc. Scaled forward and inverse discrete cosine transform and video compression/decompression systems employing the same
EP2603001A1 (en) * 2002-10-01 2013-06-12 Thomson Licensing Implicit weighting of reference pictures in a video encoder
EP1558039A1 (en) * 2004-01-21 2005-07-27 Deutsche Thomson-Brandt Gmbh Method and apparatus for generating/evaluating prediction information in picture signal encoding/decoding
KR100664930B1 (ko) * 2004-10-21 2007-01-04 삼성전자주식회사 시간적 스케일러빌리티를 지원하는 비디오 코딩 방법 및장치
US8036281B2 (en) * 2005-06-01 2011-10-11 Canon Kabushiki Kaisha Image coding apparatus and image coding method
US20070171981A1 (en) * 2006-01-25 2007-07-26 Yingyong Qi Projection based techniques and apparatus that generate motion vectors used for video stabilization and encoding
WO2008028333A1 (en) * 2006-09-01 2008-03-13 Thomson Licensing Method and apparatus for encoding a flash picture occurring in a viedo sequence, and for decoding corresponding data for a flash picture
US20080205508A1 (en) * 2007-02-22 2008-08-28 Streaming Networks (Pvt.) Ltd. Method and apparatus for low complexity video encoding and decoding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004086631A2 (en) * 2003-03-24 2004-10-07 Qualcomm Incorporated Method, apparatus and system for encoding and decoding side information for multimedia transmission
WO2005120079A2 (en) * 2004-06-01 2005-12-15 Qualcomm Incorporated Method, apparatus, and system for enhancing robustness of predictive video codecs using a side-channel based on distributed source coding techniques
WO2006022400A1 (en) * 2004-08-27 2006-03-02 Mitsubishi Denki Kabushiki Kaisha Method and system for representing correlated set of images
JP2007274035A (ja) * 2006-03-30 2007-10-18 Kddi Corp 画像圧縮符号化装置、画像復号装置、プログラム及び方法
US20090074077A1 (en) * 2006-10-19 2009-03-19 Canon Kabushiki Kaisha Video source coding with decoder side information

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012119877A (ja) * 2010-11-30 2012-06-21 Oki Electric Ind Co Ltd 符号量制御装置及びプログラム、動画像符号化装置及びプログラム、並びに、整数／ビット列変換装置
JP2013062613A (ja) * 2011-09-12 2013-04-04 Oki Electric Ind Co Ltd 画像符号化システム、画像符号化装置及び画像符号化プログラム
JP2013123192A (ja) * 2011-12-12 2013-06-20 Oki Electric Ind Co Ltd 動画像符号化装置、システム及びプログラム
JP2015065645A (ja) * 2013-09-25 2015-04-09 三菱電機株式会社 画像推定方法
JP2015065644A (ja) * 2013-09-25 2015-04-09 三菱電機株式会社 画像推定方法
JP2016134847A (ja) * 2015-01-21 2016-07-25 沖電気工業株式会社 動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び動画像符号化システム
WO2023202177A1 (zh) * 2022-04-19 2023-10-26 华为技术有限公司 图像编码方法和装置

Also Published As

Publication number Publication date
US20140037010A1 (en) 2014-02-06
US9667961B2 (en) 2017-05-30
JP5071413B2 (ja) 2012-11-14
US20100220787A1 (en) 2010-09-02

Similar Documents

Publication Publication Date Title
JP5071413B2 (ja) 動画像符号化装置、方法及びプログラム、並びに、動画像符号化システム
JP5131224B2 (ja) 動画像復号装置、方法及びプログラム、動画像符号化装置、方法及びプログラム、並びに、動画像符号化システム
JP5524625B2 (ja) インター予測符号化／復号化方法及び装置
US8582904B2 (en) Method of second order prediction and video encoder and decoder using the same
JP6457483B2 (ja) 平滑性の制約を用いてモーションが補償されるフレーム補間
JP4373702B2 (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
JP5612214B2 (ja) 階層的映像符号化及び復号化のための方法及び装置
CN112055968B (zh) 视频解码方法、装置、存储介质以及电子设备
TW201715891A (zh) 用於視訊寫碼之改良雙向光流
CN111010579B (zh) 基于成对平均运动矢量预测的视频解码方法和装置
Adikari et al. Sequential motion estimation using luminance and chrominance information for distributed video coding of Wyner-Ziv frames
JP2006279573A (ja) 符号化装置と方法、ならびに復号装置と方法
JP5971010B2 (ja) 動画像復号装置及びプログラム、並びに、動画像符号化システム
JP2022513791A (ja) アフィン履歴ベース動きベクトル予測子バッファにアクセスする方法及び装置並びにコンピュータプログラム
CN113545084B (zh) 视频编解码的方法、装置以及存储介质
JP2009188990A (ja) 画像を効率的に符号化／復号化する方法及び装置
CN113661703A (zh) 视频编解码的方法和装置
JP2009141688A (ja) 画像符号化・復号化方法及びシステム及び画像符号化プログラム及び画像復号化プログラム
JP2022507423A (ja) ビデオ復号方法、ビデオ復号装置、コンピュータプログラム、およびビデオ符号化方法
JP2023521609A (ja) ビデオコーディングのための方法、コンピュータプログラム及び装置
Borchert et al. On extrapolating side information in distributed video coding
CN112333450B (zh) 一种视频编解码的方法和装置
CN114466199A (zh) 一种可适用于vvc编码标准的参考帧生成方法与系统
Badem et al. An iterative side information refinement technique for transform domain distributed video coding
JP2023522704A (ja) ビデオコーディングのための方法および装置、およびコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120724

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120806

R150 Certificate of patent or registration of utility model

Ref document number: 5071413

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees