JP2019097076A - 映像符号化装置及び映像復号装置 - Google Patents

Abstract

【課題】複数のストリームにより時間スケーラブルな符号化伝送を行う際に、符号化効率の向上及びシステムの簡素化を実現する。【解決手段】映像符号化装置１の時間分割部１１は、入力映像Ｆを時間分割して第一出力Ｆ（２ｔ）及び第二出力Ｆ（２ｔ−１）を生成し、第一映像符号化部１２は、第一出力Ｆ（２ｔ）を符号化して第一ストリームＢ（２ｔ）を出力する。時間内挿部１４は、第一ストリームＢ（２ｔ）の復号映像Ｄ（２ｔ）等に基づいて、内挿により予測画像Ｐ（２ｔ−１）を生成し、第二映像符号化部１６は、第二出力Ｆ（２ｔ−１）と予測画像Ｐ（２ｔ−１）との間の残差である予測残差画像Ｅ（２ｔ−１）を符号化して第二ストリームＢ（２ｔ−１）を出力する。【選択図】図１

Description

本発明は、映像を符号化してストリームを出力する映像符号化装置、及び入力したストリームを復号して符号化前の映像を復元する映像復号装置に関する。

従来、ある解像度及びフレームレートの映像を符号化する際に、演算回路規模の縮小、処理の高速化、既存装置の活用等の目的のため、より解像度及びフレームレートの低い映像を対象として処理を行う映像処理技術が知られている。

この映像処理技術は、解像度またはフレームレートの低い映像を対象とする映像符号化装置と映像復号装置とを複数対向させて使用することにより、映像を空間的または時間的に分割して処理するものである。

例えば、7680×4320画素の映像（８Ｋ映像）を、４つの3840×2160画素の映像（４Ｋ映像）に分割して伝送する場合、４Ｋ映像用の映像符号化装置及び映像復号装置を１対として、４対の装置により４対向で映像伝送を行うことが可能である。

画像を４分割する手法としては、例えば、水平及び垂直方向にそれぞれ２分割するスクエアディビジョン方式、２×１画素を単位としてタイル状に間引いた４つの位相の映像に分割するツーサンプルインターリーブ方式が用いられる。

また、フレームレート１２０Ｈｚの映像を奇数フレームのみの映像及び偶数フレームのみの映像に分割する手法（以下、時間分割方式という。）が知られている。この時間分割方式では、６０Ｈｚ用の映像符号化装置及び映像復号装置を１対として、２対の装置により２対向で映像伝送が行われる。

また、順次走査の映像を２系統の飛越走査の映像に分割する手法（以下、インタレース化方式という。）が知られている。このインタレース化方式では、飛越走査用の映像符号化装置及び映像復号装置を１対として、２対の装置により２対向で映像伝送が行われる。

さらに、デュアルグリーン方式の映像を、２種類の４：２：２カラーサンプリングの映像に分割する手法（以下、デュアルグリーン映像サンプリング方式という。）が知られている。デュアルグリーン方式の映像は、青及び赤の画素密度が等しく、かつ緑の画素密度が青及び赤の２倍であり、左上が緑（Ｇ１）、右上が赤（Ｒ）、左下が青（Ｂ）、右下が緑（Ｇ２）の２×２画素を単位としてタイル状に画素配置した映像である。

Ｇ１の全ての画素、１画素おきにサブサンプルしたＲの画素、及び１画素おきにサブサンプルしたＢの画素からなる映像を第１の４：２：２カラーサブサンプリング映像とし、Ｇ２の全ての画素、第１の４：２：２カラーサブサンプリング映像に含まれないＲ，Ｂの画素からなる映像を第２の４：２：２カラーサブサンプリング映像とする。

デュアルグリーン映像サンプリング方式は、デュアルグリーン方式の映像を、第１の４：２：２カラーサブサンプリング映像と第２の４：２：２カラーサブサンプリング映像とに分割するものである。このデュアルグリーン映像サンプリング方式では、第１及び第２の４：２：２カラーサブサンプリング映像用の映像符号化装置及び映像復号装置をそれぞれ１対として、２対の装置により２対向で映像伝送が行われる。

これらの画像分割手法を含む複数の手法を、伝送対象の映像に応じてフレーム単位またはブロック単位に適応的に切り替える技術が開示されている（例えば特許文献１を参照）。

この特許文献１の映像符号化装置は、映像の複数フレーム間の相関を解析して画像分割手法を定めるパラメータを設定し、パラメータに基づいて画像を分割し、分割後の画像毎に符号化を行い、複数のビットストリーム及びパラメータを出力する。また、映像復号装置は、複数のビットストリーム及びパラメータを入力し、複数のビットストリームのそれぞれを復号し、パラメータに基づいて、複数のビットストリームを多重化し、符号化前の映像を復元する。

特許第６１０１０６９号公報

しかしながら、前述のスクエアディビジョン方式によれば、画像に十字状の分割ラインを生じ、映像符号化の劣化に起因して分割ラインを境に画質差を生じると、分割ラインがアーティファクトとして見えてしまうことがある。

また、前述のツーサンプルインターリーブ方式によれば、画素間引きに起因する折り返し歪に起因してジャギー及びモアレを生じ、符号化の難易度が上がって符号化効率が低下することがある。

また、前述の時間分割方式によれば、映像の有する時間相関が低下し、フレーム間予測を用いる符号化方式においては符号化効率が低下することがある。また、対向間に画質差を生じると、復号側では時間合成によってフリッカを生じることがある。

また、インタレース化方式によれば、ライン間引きに起因するジャギー及びモアレによって符号化効率が低下することがある。また、対向間に画質差を生じると、復号側では順次走査化によって櫛状のアーティファクトを生じることがある。

また、デュアルグリーン映像サンプリング方式によれば、ツーサンプルインターリーブ方式と同様に、符号化効率が低下することがある。

さらに、特許文献１の技術によれば、フレーム単位またはブロック単位に、劣化の生じ難い画像分割手法を選択することで、画質劣化を抑えることが可能である。しかし、映像符号化装置は、いずれの画像分割手法を選択したかを示すパラメータを映像復号装置へ送信する必要がある。このため、符号化処理及び復号処理に加え、映像以外の補助的な情報であるパラメータを伝送するシグナリング処理が必要となり、処理負荷が高くなってしまう。

ところで、前述の時間分割方式において、例えば１２０Ｈｚの映像の符号化伝送を行うために、当該映像を奇数フレーム及び偶数フレームに分割し、６０Ｈｚ用の映像符号化装置及び映像復号装置を１対として、２対の装置により２対向で映像伝送を行う場合がある。

この時間分割方式では、１つのストリームのみで６０Ｈｚの映像を復元し、２つのストリームにより１２０Ｈｚの映像を復元することができるから、２つのストリームにより２つのフレームレートに対応する時間スケーラブルな符号化伝送が可能である。しかし、奇数フレーム及び偶数フレームのそれぞれに対して符号化を行う必要があるから、ビットレートが高くなり、符号化効率が低下してしまう。

また、１２０Ｈｚの映像の符号化伝送を行うために、分割した一方の奇数フレームについては符号化を行い、他方の偶数フレームについては、偶数フレームと奇数フレームとの間の残差に対して符号化を行い、２対の装置により２対向で映像伝送を行う場合もある。

この時分割方式では、前述の場合と同様に、６０Ｈｚの映像及び１２０Ｈｚの映像を復元することができるから、２つのストリームにより２つのフレームレートに対応する時間スケーラブルな符号化伝送が可能である。この場合、符号化が行われた残差のストリームのビットレートは、静止画像の場合に低くなる。しかし、動画像の場合は、当該ビットレートは高くなり、符号化効率が低下してしまう。

このように、時間分割方式を用いて符号化伝送を行う場合に、符号化効率の低下を防ぐことが所望されていた。また、前述の特許文献１の技術では、符号化処理及び復号処理以外にシグナリング処理を必要とするが、このシグナリング処理を削除してシステムを簡素化することが所望されていた。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、複数のストリームにより複数のフレームレートに対応する時間スケーラブルな符号化伝送を行う際に、符号化効率の向上及びシステムの簡素化を実現可能な映像符号化装置及び映像復号装置を提供することにある。

前記課題を解決するために、請求項１の映像符号化装置は、符号化対象の映像を偶数フレーム及び奇数フレームに時間方向に分割する時間分割部と、前記時間分割部により分割された前記偶数フレーム及び前記奇数フレームのうち一方のフレームを符号化し、第一ストリームを出力する第一映像符号化部と、前記第一映像符号化部により出力された前記第一ストリームを復号し、復号映像を生成する第一映像復号部と、前記第一映像復号部により生成された前記復号映像に基づいて、前記時間分割部により分割された前記偶数フレーム及び前記奇数フレームのうち他方のフレームに対応するフレームを、予測画像として生成する予測部と、前記時間分割部により分割された前記他方のフレームと前記予測部により生成された前記予測画像との間の残差を、予測残差画像として生成する減算部と、前記減算部により生成された前記予測残差画像を符号化し、第二ストリームを出力する第二映像符号化部と、を備えたことを特徴とする。

請求項１の映像符号化装置によれば、第二ストリームは、予測残差画像の符号化により生成されるから、その圧縮率を向上させることができる。また、復号側は、第一ストリームを復号することで、元の映像に対して１／２のフレームレートの映像を得ることができ、さらに第二ストリームを復号することで、元の映像と同じフレームレートの映像を得ることができるから、復号のためのパラメータを伝送しなくて済む。

また、請求項２の映像符号化装置は、請求項１に記載の映像符号化装置において、前記予測部が、前記第一映像復号部により生成された前記復号映像における時系列の複数のフレームに基づいて、画素毎に平均値を算出し、前記予測画像を生成する、ことを特徴とする。

請求項２の映像符号化装置によれば、予測画像は、復号映像のフレーム間の線形演算により生成されるから、演算量を削減することができる。

また、請求項３の映像符号化装置は、請求項１に記載の映像符号化装置において、前記予測部が、前記第一映像復号部により生成された前記復号映像における時系列の複数のフレームに基づいて、動きを推定して動きベクトルを求め、前記複数のフレームのうち１以上のフレーム及び前記動きベクトルに基づいて、前記予測画像を生成する、ことを特徴とする。

請求項３の映像符号化装置によれば、映像内の被写体の動きを考慮した予測画像が生成されるから、予測残差画像のエントロピーを低減することができる。

さらに、請求項４の映像復号装置は、映像が符号化された第一ストリーム及び第二ストリームを入力し、前記第一ストリーム及び前記第二ストリームを復号する映像復号装置において、前記第一ストリームを復号し、前記映像の偶数フレーム及び奇数フレームのうち一方のフレームの復号映像を、第一復号映像として生成する第一映像復号部と、前記第一映像復号部により生成された前記第一復号映像に基づいて、前記偶数フレーム及び前記奇数フレームのうち他方のフレームに対応するフレームを、予測画像として生成する予測部と、前記第二ストリームを復号し、前記他方のフレームに対応する復号残差画像を生成する第二映像復号部と、前記予測部により生成された前記予測画像に、前記第二映像復号部により生成された前記復号残差画像を加算し、第二復号映像を生成する加算部と、前記第一映像復号部により生成された前記第一復号映像及び前記加算部により生成された前記第二復号映像を時間多重する時間多重部と、を備えたことを特徴とする。

請求項４の映像復号装置によれば、第一ストリームを復号することで、元の映像に対して１／２のフレームレートの第一復号映像を得ることができる。また、第二ストリームを復号し、第一復号映像及び第二復号映像を時間多重することで、元の映像と同じフレームレートの映像を得ることができる。復号のためのパラメータは不要である。また、第二ストリームから復号残差画像が生成されるから、第二ストリームは、予測残差画像の符号化により生成された圧縮率の高いストリームであるといえる。つまり、映像復号装置は、データ量の少ない第二ストリームを入力するから、復号処理の負荷を低減することができる。

また、請求項５の映像復号装置は、請求項４に記載の映像復号装置において、前記予測部が、前記第一映像復号部により生成された前記第一復号映像における時系列の複数のフレームに基づいて、画素毎に平均値を算出し、前記予測画像を生成する、ことを特徴とする。

請求項５の映像復号装置によれば、予測画像は、第一復号映像のフレーム間の線形演算により生成されるから、演算量を削減することができる。

また、請求項６の映像復号装置は、請求項４に記載の映像復号装置において、前記予測部が、前記第一映像復号部により生成された前記第一復号映像における時系列の複数のフレームに基づいて、動きを推定して動きベクトルを求め、前記複数のフレームのうち１以上のフレーム及び前記動きベクトルに基づいて、前記予測画像を生成する、ことを特徴とする。

請求項６の映像復号装置によれば、映像内の被写体の動きを考慮した予測画像が生成されるから、予測残差画像のエントロピーを低減することができる。

以上のように、本発明によれば、複数のストリームにより複数のフレームレートに対応する時間スケーラブルな符号化伝送を行う際に、符号化効率の向上及びシステムの簡素化を実現することができる。

実施例１の映像符号化装置の構成例を示すブロック図である。 実施例１において、線形内挿を行う時間内挿部の構成例を示すブロック図である。 実施例１において、動き補償予測による時間内挿を行う時間内挿部の入出力を説明する図である。 実施例１において、動き補償予測による時間内挿を行う時間内挿部の構成例を示すブロック図である。 実施例１の動きベクトル［Ｕ，Ｖ］を説明する図である。 実施例１の映像復号装置の構成例を示すブロック図である。 実施例２の映像符号化装置の構成例を示すブロック図である。 実施例２において、動き補償予測による時間外挿を行う時間外挿部の入出力を説明する図である。 実施例２において、動き補償予測による時間外挿を行う時間外挿部の構成例を示すブロック図である。 実施例２の動きベクトル［Ｕ，Ｖ］を説明する図である。 実施例２の映像復号装置の構成例を示すブロック図である。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。実施例１は、映像を時間分割して２つの分割映像を生成し、一方の分割映像を符号化して送信し、他方の分割映像については、内挿により一方の分割映像に対応する予測画像を生成して予測残差を求め、予測残差を符号化して送信する例である。実施例２は、実施例１において、内挿により予測画像を生成する代わりに、外挿により予測画像を生成する例である。

〔実施例１〕
まず、実施例１について説明する。前述のとおり、実施例１は、映像を時間分割して２つの分割映像を生成し、一方の分割映像を符号化して送信し、他方の分割映像については、内挿処理により予測画像を生成して予測残差を求め、予測残差を符号化して送信する例である。

（符号化側／実施例１）
図１は、実施例１の符号化装置の構成例を示すブロック図である。この映像符号化装置１は、時間分割部１１、第一映像符号化部１２、第一映像復号部１３、時間内挿部（予測部）１４、減算部１５及び第二映像符号化部１６を備えている。映像符号化装置１は、入力映像Ｆを入力し、時間分割処理及び符号化処理等を行い、第一ストリーム及び第二ストリームを後述する映像復号装置２へ出力する。入力映像Ｆの第ＴフレームをＦ（Ｔ）とし、その画像座標［ｘ，ｙ］の画素値をＦ（Ｔ，ｘ，ｙ）とする。Ｔは、フレーム番号であり整数とする。

時間分割部１１は、符号化対象の入力映像Ｆを入力し、入力映像Ｆを時間方向に交互に分割し、偶数フレームの第一出力Ｆ（２ｔ）を第一映像符号化部１２に出力すると共に、奇数フレームの第二出力Ｆ（２ｔ−１）を減算部１５に出力する。ｔは０以上の整数とする。

入力映像Ｆの最初のフレームをＦ（０）とし、Ｆ（−１）は全画素０（モノクロ映像にあってはスカラー値０、カラー映像にあっては零ベクトル）とする。すなわち、ｔ＝０，１，２，・・・の各時点において、時間分割部１１は、（第一出力，第二出力）として（Ｆ（０），０），（Ｆ（２），Ｆ（１）），（Ｆ（４），Ｆ（３）），・・・を出力する。

尚、入力映像Ｆの最終フレーム番号が奇数の場合には、時間分割部１１が出力する偶数フレームの第一出力Ｆ（２ｔ）が存在しない。このため、時間分割部１１は、第一出力Ｆ（２ｔ）として全画素０（モノクロ映像にあってはスカラー値０、カラー映像にあっては零ベクトル）を出力する。例えば、入力映像Ｆの最終フレームがＦ（９９）である場合、時間分割部１１は、ｔ＝５０の時点において、（第一出力，第二出力）＝（０，Ｆ（９９））を出力する。

第一映像符号化部１２は、時間分割部１１から第一出力Ｆ（２ｔ）を入力し、第一出力Ｆ（２ｔ）を符号化して符号列（以下、ストリームという。）を生成する。そして、第一映像符号化部１２は、第一ストリームＢ（２ｔ）を第一映像復号部１３及び後述する映像復号装置２へ出力する。

第一映像符号化部１２における符号化は、好ましくはエントロピー符号化を含む圧縮符号化方式によるものとする。第一映像符号化部１２における符号化方式は、動画像用の符号化方式であってもよいし、静止画像用の符号化方式であってもよい。例えば、JPEG、JPEG 2000、MPEG-1、MPEG-2、MPEG-4、MPEG-4 AVC、MPEG-H HEVC、Motion JPEG、Motion JPEG 2000、GIF、PNG等の任意の圧縮符号化方式が用いられる。

第一映像復号部１３は、第一映像符号化部１２から第一ストリームＢ（２ｔ）を入力し、第一ストリームＢ（２ｔ）を復号して復号映像Ｄ（２ｔ）を生成し、復号映像Ｄ（２ｔ）を時間内挿部１４に出力する。第一映像復号部１３における復号は、第一映像符号化部１２と同一の方式の復号アルゴリズムによるものとする。

尚、第一映像符号化部１２により復号映像Ｄ（２ｔ）が生成される場合には、映像符号化装置１は第一映像復号部１３を備える必要がない。この場合、第一映像符号化部１２は、復号映像Ｄ（２ｔ）を生成し、復号映像Ｄ（２ｔ）を時間内挿部１４に出力する。

また、第一映像符号化部１２及び第一映像復号部１３において遅延時間αを生じる場合には、第一映像復号部１３は、復号映像Ｄ（２（ｔ−α））を時間内挿部１４に出力する。遅延時間αは０以上の整数とする。

時間内挿部１４は、内部に過去の復号映像Ｄ（２ｔ）を記憶するための画像バッファを有している。時間内挿部１４は、第一映像復号部１３から復号映像Ｄ（２ｔ）を入力し、復号映像Ｄ（２ｔ）を画像バッファに格納し、画像バッファから例えば過去の復号映像Ｄ（２ｔ−２）を読み出す。

時間内挿部１４は、複数時点の復号映像Ｄ（２ｔ）等（例えば、復号映像Ｄ（２ｔ），Ｄ（２ｔ−２））に基づいて、時間内挿の時間補間処理を行う。そして、時間内挿部１４は、時刻２ｔ−１の時点に相当するフレームの予測値を生成し、予測値を予測画像Ｐ（２ｔ−１）として減算部１５に出力する。時間内挿部１４の詳細については後述する。

これにより、複数時点の偶数フレームの復号映像Ｄ（２ｔ）等から、時刻２ｔ−１における奇数フレームの復号映像Ｄ（２ｔ−１）に対応する予測画像Ｐ（２ｔ−１）が生成される。

尚、第一映像符号化部１２及び第一映像復号部１３において遅延時間αを生じ、時間内挿部１４において遅延時間βを生じる場合には、時間内挿部１４は、予測画像Ｐ（２（ｔ−ｄ）−１）を減算部１５に出力する。遅延時間ｄ＝α＋βである。遅延時間α，βは０以上の整数とする。

第一映像符号化部１２、第一映像復号部１３及び時間内挿部１４において遅延時間ｄを生じる場合、映像符号化装置１は、時間分割部１１と減算部１５との間に遅延部を備える。遅延部は、時間分割部１１から第二出力Ｆ（２ｔ−１）を入力し、第二出力Ｆ（２ｔ−１）を遅延時間ｄだけ遅延させ、第二出力Ｆ（２（ｔ−ｄ）−１）を減算部１５に出力する。これにより、減算部１５において、時間内挿部１４から入力する予測画像Ｐ（２（ｔ−ｄ）−１）と遅延部から入力する第二出力Ｆ（２（ｔ−ｄ）−１）とを時間同期させることができる。

減算部１５は、時間分割部１１から第二出力Ｆ（２ｔ−１）を入力すると共に、時間内挿部１４から予測画像Ｐ（２ｔ−１）を入力する。そして、減算部１５は、第二出力Ｆ（２ｔ−１）から予測画像Ｐ（２ｔ−１）を減算する（第二出力Ｆ（２ｔ−１）と予測画像Ｐ（２ｔ−１）との間の残差を求める）。減算部１５は、減算結果である差異に基づく信号を予測残差画像Ｅ（２ｔ−１）として生成する。減算部１５は、予測残差画像Ｅ（２ｔ−１）を第二映像符号化部１６に出力する。

例えば、減算部１５は、以下の式にて、第二出力Ｆ（２ｔ−１）から予測画像Ｐ（２ｔ−１）を画素位置毎に減算し、減算結果を予測残差画像Ｅ（２ｔ−１）として生成する。

Ｅ（２ｔ−１，ｘ，ｙ）は、予測残差画像Ｅ（２ｔ−１）における画像座標［ｘ，ｙ］の画素値である。Ｆ（２ｔ−１，ｘ，ｙ）は、第二出力Ｆ（２ｔ−１）における画像座標［ｘ，ｙ］の画素値であり、Ｐ（２ｔ−１，ｘ，ｙ）は、予測画像Ｐ（２ｔ−１）における画像座標［ｘ，ｙ］の画素値である。

また、他の例として、減算部１５は、後段の第二映像符号化部１６における信号のダイナミックレンジを考慮して、以下の式にて、第二出力Ｆ（２ｔ−１）及び予測画像Ｐ（２ｔ−１）に基づいて、予測残差画像Ｅ（２ｔ−１）を生成する。

Ｌは、第二映像符号化部１６に入力可能な信号の階調数とする。Ｍは、第二映像符号化部１６に入力可能な信号の最小値とする。また、演算Ｘ％Ｙは、整数Ｘを自然数Ｙで割った余りを求める演算である。

また、他の例として、減算部１５は、以下の式にて、第二出力Ｆ（２ｔ−１）及び予測画像Ｐ（２ｔ−１）に基づいて、予測残差画像Ｅ（２ｔ−１）を生成する。

第二映像符号化部１６は、減算部１５から予測残差画像Ｅ（２ｔ−１）を入力し、予測残差画像Ｅ（２ｔ−１）を符号化してストリームを生成し、第二ストリームＢ（２ｔ−１）を、後述する映像復号装置２へ出力する。

第二映像符号化部１６における符号化は、好ましくはエントロピー符号化を含む圧縮符号化方式によるものとする。第二映像符号化部１６における符号化方式は、動画像用の符号化方式であってもよいし、静止画像用の符号化方式であってもよい。例えば、JPEG、JPEG 2000、MPEG-1、MPEG-2、MPEG-4、MPEG-4 AVC、MPEG-H HEVC、Motion JPEG、Motion JPEG 2000、GIF、PNG等の任意の圧縮符号化方式が用いられる。

尚、第二映像符号化部１６は、第一映像符号化部１２と同一の圧縮符号化方式にて符号化を行うようにしてもよいし、異なる圧縮符号化方式にて符号化を行うようにしてもよい。

（時間内挿部１４）
次に、図１に示した時間内挿部１４について詳細に説明する。前述のとおり、時間内挿部１４は、複数時点の復号映像Ｄ（２ｔ）等に基づいて、時間内挿の時間補間処理を行い、時刻２ｔ−１の予測画像Ｐ（２ｔ−１）を生成する。以下、時間内挿部１４について、線形内挿を行う場合及び動き補償予測による時間内挿を行う場合を例に挙げて説明する。

（線形内挿）
まず、線形内挿を行う時間内挿部１４について説明する。線形内挿を行う時間内挿部１４は、以下の式にて、時刻２ｔの復号映像Ｄ（２ｔ）及び時刻２ｔ−２の復号映像Ｄ（２ｔ−２）に基づいて相加平均を算出し（すなわち線形内挿を行い）、時刻２ｔ−１の予測画像Ｐ（２ｔ−１）を求める。

図２は、実施例１において、線形内挿を行う時間内挿部１４の構成例を示すブロック図である。この時間内挿部１４は、遅延部３１及び平均部３２を備えている。

遅延部３１は画像バッファを有している。遅延部３１は、第一映像復号部１３から復号映像Ｄ（２ｔ）を入力し、復号映像Ｄ（２ｔ）を画像バッファに格納し、復号映像Ｄ（２ｔ）の時刻ｔを１時点（フレーム数では２フレーム分）だけ遅延させる。そして、遅延部３１は、２フレーム分遅延させた復号映像Ｄ（２ｔ−２）を平均部３２に出力する。遅延部３１の画像バッファに格納された復号映像Ｄ（２ｔ）は、２フレーム分遅延させた復号映像Ｄ（２ｔ−２）として平均部３２により読み出される。

平均部３２は、第一映像復号部１３から復号映像Ｄ（２ｔ）を入力すると共に、遅延部３１から復号映像Ｄ（２ｔ−２）を入力する。そして、平均部３２は、復号映像Ｄ（２ｔ），Ｄ（２ｔ−２）に基づいて、前記式（４）に示したとおり、画素毎の相加平均を演算し、その結果を予測画像Ｐ（２ｔ−１）として減算部１５に出力する。

このように、図２に示した時間内挿部１４は、復号映像Ｄ（２ｔ），Ｄ（２ｔ−２）を用いて線形内挿の演算を行い、予測画像Ｐ（２ｔ−１）を求めるようにした。これにより、予測画像Ｐ（２ｔ−１）を求めるための演算量を削減することができる。

（動き補償予測による時間内挿）
次に、図１に示した時間内挿部１４について、動き補償予測による時間内挿を行う場合を説明する。動き補償予測による時間内挿を行う時間内挿部１４は、時刻２ｔの復号映像Ｄ（２ｔ）及び時刻２ｔ−２の復号映像Ｄ（２ｔ−２）に基づいて、時刻２ｔ−１のフレームを基準とした動きベクトル［Ｕ，Ｖ］を算出する。そして、時間内挿部１４は、復号映像Ｄ（２ｔ）及び／または復号映像Ｄ（２ｔ−２）と、動きベクトル［Ｕ，Ｖ］とに基づいて、時刻２ｔ−１の予測画像Ｐ（２ｔ−１）を求める。

図３は、動き補償予測による時間内挿を行う時間内挿部１４の入出力を説明する図である。図３に示すように、動き補償予測による時間内挿を行う時間内挿部１４により、時刻２ｔの復号映像Ｄ（２ｔ）及び時刻２ｔ−２の復号映像Ｄ（２ｔ−２）が入力され、時刻２ｔ，２ｔ−２の間の時刻２ｔ−１における予測画像Ｐ（２ｔ−１）が出力される。

図４は、実施例１において、動き補償予測による時間内挿を行う時間内挿部１４の構成例を示すブロック図である。この時間内挿部１４は、遅延部３３、動き推定部３４及び動き補償部３５を備えている。遅延部３３は、図２に示した遅延部３１と同一であるから、ここでは説明を省略する。

動き推定部３４は、第一映像復号部１３から復号映像Ｄ（２ｔ）を入力すると共に、遅延部３３から復号映像Ｄ（２ｔ−２）を入力する。そして、動き推定部３４は、時刻２ｔの復号映像Ｄ（２ｔ）及び時刻２ｔ−２の復号映像Ｄ（２ｔ−２）に基づいて、時刻２ｔ−１のフレームを基準とした画像全体または部分画像領域毎の動きベクトル［Ｕ，Ｖ］を算出する。動き推定部３４は、動きベクトル［Ｕ，Ｖ］を動き補償部３５に出力する。

例えば、動き推定部３４は、復号映像Ｄ（２ｔ）及び復号映像Ｄ（２ｔ−２）に基づいて、以下の式にて、ブロックマッチングにより動きベクトル［Ｕ（２ｔ−１，ｘ，ｙ），Ｖ（２ｔ−１，ｘ，ｙ）］を算出する。具体的には、動き推定部３４は、時刻２ｔ−１のフレーム上の画像座標［ｘ，ｙ］に関して点対称に、復号映像Ｄ（２ｔ），Ｄ（２ｔ−２）上に部分領域対のマッチングをとり、画素値の誤差の最小値を演算することで、動きベクトル［Ｕ（２ｔ−１，ｘ，ｙ），Ｖ（２ｔ−１，ｘ，ｙ）］を求める。

動きベクトル［Ｕ（２ｔ−１，ｘ，ｙ），Ｖ（２ｔ−１，ｘ，ｙ）］は、時刻２ｔ−１のフレームにおける画像座標［ｘ，ｙ］の動きベクトルである。関数Ｑ（Ｘ，Ｙ）は、ＸとＹとの間の誤差を評価する関数である。また、領域Ｂはブロックの形状と大きさを定義し、領域Ｓは探索領域を定義する。

前記式（５）において、関数Ｑは、例えば以下の式に示す二乗誤差が用いられる。

また、関数Ｑは、他の例として以下の式に示す絶対値誤差が用いられる。

前記式（５）において、領域Ｂは、例えばａ≦ｂかつｃ≦ｄなる整数ａ，ｂ，ｃ，ｄに対し、以下のように定義することができる。

例えばａ＝−４、ｂ＝＋４、ｃ＝−４、ｄ＝＋４とすれば、領域Ｂは、９×９画素の正方領域となる。

前記式（５）において、領域Ｓは、例えば「ｅ≦ｆかつｇ＜ｈ」または「ｅ＜ｆかつｇ≦ｈ」なる整数ｅ，ｆ，ｇ，ｈに対し、以下のように定義することができる。

例えばｅ＝−４、ｆ＝＋４、ｇ＝−４、ｈ＝＋４とすれば、領域Ｓは、水平方向±４画素以内かつ垂直方向±４画素以内の探索領域となる。

図５は、動きベクトル［Ｕ，Ｖ］を説明する図である。図５に示すように、復号映像Ｄ（２ｔ）の時刻２ｔと復号映像Ｄ（２ｔ−２）の時刻２ｔ−２との間に、仮想的に時刻２ｔ−１のフレーム（以下、仮想フレームという。）を想定する。

前記式（５）の演算は、仮想フレーム上の画像座標［ｘ，ｙ］が相対的に復号映像Ｄ（２ｔ）のどこに対応するかを示す動きベクトル［Ｕ（２ｔ−１，ｘ，ｙ），Ｖ（２ｔ−１，ｘ，ｙ）］を求めるものである。図５に示すように、仮想フレーム上の画像座標［ｘ，ｙ］に関して点対称に、復号映像Ｄ（２ｔ），Ｄ（２ｔ−２）上に部分領域対（図５のａ１，ａ２）がとられる。この部分領域対における画素値の誤差の最小値を演算することで、動きベクトル［Ｕ，Ｖ］が求められる。

尚、動き推定部３４は、前記式（５）の演算を、一部の画像座標［ｘ，ｙ］のみに行うようにしてもよい。この場合、動き推定部３４は、一部の画像座標［ｘ１，ｙ１］について前記式（５）の演算を行い、動きベクトル［Ｕ，Ｖ］を算出し、一部の画像座標［ｘ１，ｙ１］に対して当該演算結果の動きベクトル［Ｕ，Ｖ］を採用する。そして、動き推定部３４は、前記式（５）の演算を行わなかった他の画像座標［ｘ２，ｙ２］に対して、最近傍の画像座標［ｘ１，ｙ１］における演算結果の動きベクトル［Ｕ，Ｖ］を採用する。

図４に戻って、動き補償部３５は、第一映像復号部１３から復号映像Ｄ（２ｔ）を入力すると共に、遅延部３３から復号映像Ｄ（２ｔ−２）を入力し、さらに動き推定部３４から動きベクトル［Ｕ，Ｖ］を入力する。

動き補償部３５は、復号映像Ｄ（２ｔ）及び／または復号映像Ｄ（２ｔ−２）と、動きベクトル［Ｕ，Ｖ］とに基づいて、予測画像Ｐ（２ｔ−１）を生成し、予測画像Ｐ（２ｔ−１）を減算部１５に出力する。

例えば、動き補償部３５は、復号映像Ｄ（２ｔ）及び動きベクトル［Ｕ，Ｖ］を用いる場合には、以下の式にて、予測画像Ｐ（２ｔ−１）を生成する。

また、他の例として、動き補償部３５は、復号映像Ｄ（２ｔ−２）及び動きベクトル［Ｕ，Ｖ］を用いる場合には、以下の式にて、予測画像Ｐ（２ｔ−１）を生成する。

また、他の例として、動き補償部３５は、復号映像Ｄ（２ｔ），Ｄ（２ｔ−２）及び動きベクトル［Ｕ，Ｖ］を用いる場合には、以下の式にて、予測画像Ｐ（２ｔ−１）を生成する。

ｒは０＜ｒ＜１なる実定数であり、典型的にはｒ＝０．５とする。

このように、図４に示した時間内挿部１４は、偶数フレームの復号映像Ｄ（２ｔ），Ｄ（２ｔ−２）に基づいて、動きベクトル［Ｕ，Ｖ］を算出する。そして、時間内挿部１４は、偶数フレームの復号映像Ｄ（２ｔ）及び／または復号映像Ｄ（２ｔ−２）と、動きベクトル［Ｕ，Ｖ］とに基づいて、奇数フレームの予測画像Ｐ（２ｔ−１）を求めるようにした。

これにより、映像内の被写体の動きを考慮しているから、精度の高い予測画像Ｐ（２ｔ−１）を得ることができ、入力映像Ｆが静止画像の場合に加え、動画像であったとしても、予測画像Ｐ（２ｔ−１）は第二出力Ｆ（２ｔ−１）に近くなる。そして、後段の減算部１５により算出される予測残差画像Ｅ（２ｔ−１）のエントロピーを低減することができ、さらに後段の第二映像符号化部１６の符号化により生成される第二ストリームＢ（２ｔ−１）のデータ量を低減することができる。したがって、符号化効率を向上させることができる。

以上のように、実施例１の映像符号化装置１によれば、時間分割部１１は、入力映像Ｆを時間分割して第一出力Ｆ（２ｔ）及び第二出力Ｆ（２ｔ−１）を生成し、第一映像符号化部１２は、第一出力Ｆ（２ｔ）を符号化して第一ストリームＢ（２ｔ）を出力する。

時間内挿部１４は、第一ストリームＢ（２ｔ）の復号映像Ｄ（２ｔ）等に基づいて、内挿により予測画像Ｐ（２ｔ−１）を生成する。そして、第二映像符号化部１６は、第二出力Ｆ（２ｔ−１）と予測画像Ｐ（２ｔ−１）との間の残差である予測残差画像Ｅ（２ｔ−１）を符号化して第二ストリームＢ（２ｔ−１）を出力する。

これにより、入力映像Ｆの符号化伝送の際に、入力映像Ｆに対してフレームレートが１／２倍の第一出力Ｆ（２ｔ）を符号化した第一ストリームＢ（２ｔ）と、予測残差画像Ｅ（２ｔ−１）を符号化した第二ストリームＢ（２ｔ−１）とが出力される。

第一映像符号化部１２に対応する復号部（後述する第一映像復号部２１）を備えた後述する映像復号装置２は、第一ストリームＢ（２ｔ）を入力することで、入力映像Ｆに対してフレームレートが１／２倍の視聴可能な絵柄の映像を復号することができる。また、第二映像符号化部１６に対応する復号部（後述する第二映像復号部２３）も備え、さらに時間内挿部１４及び減算部１５に対応する構成部（後述する時間内挿部２２及び加算部２４）も備えた後述する映像復号装置２は、第一ストリームＢ（２ｔ）及び第二ストリームＢ（２ｔ−１）を入力することで、元の入力映像Ｆを復号することができる。

したがって、第一ストリームＢ（２ｔ）及び第二ストリームＢ（２ｔ−１）により、第一ストリームＢ（２ｔ）の符号化方式に対して互換性を保ちつつ、入力映像Ｆのフレームレート及びその１／２倍のフレームレートに対応する時間スケーラブルな符号化伝送を実現することができる。

また、第二ストリームＢ（２ｔ−１）の元となる予測残差画像Ｅ（２ｔ−１）は、時刻２ｔ−１における第二出力Ｆ（２ｔ−１）と予測画像Ｐ（２ｔ−１）との間の残差画像であるから、第二ストリームＢ（２ｔ−１）の圧縮率を向上させることができる。つまり、第二ストリームＢ（２ｔ−１）のデータ量が低減するから、ビットレートを低くして帯域を狭くすることができ、符号化効率を向上させることができる。

ここで、予測残差画像Ｅ（２ｔ−１）を符号化した第二ストリームＢ（２ｔ−１）の代わりに、入力映像Ｆに対してフレームレートが１／２倍の第二出力Ｆ（２ｔ−１）を符号化したストリームが出力される場合、または、時刻２ｔの第一出力Ｆ（２ｔ）と時刻２ｔ−１の第二出力Ｆ（２ｔ−１）との間の残差画像を符号化したストリームが出力される場合を想定する。この場合、予測残差画像Ｅ（２ｔ−１）を符号化した第二ストリームＢ（２ｔ−１）の方が、想定したストリームよりもデータ量が低減することは明らかであるから、符号化効率が向上する。

また、後述する映像復号装置２は、映像符号化装置１に備えた時間内挿部１４と共通の構成部（後述する時間内挿部２２）を備えることで、第一ストリームＢ（２ｔ）及び第二ストリームＢ（２ｔ−１）を復号して元の映像を得ることができる。この場合、元の映像を得るために、これらのストリーム以外にシグナリング（復号のためのパラメータの伝送）を必要としない。したがって、映像符号化装置１は、第一ストリームＢ（２ｔ）及び第二ストリームＢ（２ｔ−１）を出力すればよく、シグナリングが不要であるから、システムの簡素化を実現することができる。

（復号側／実施例１）
図６は、実施例１の映像復号装置２の構成例を示すブロック図である。この映像復号装置２は、第一映像復号部２１、時間内挿部（予測部）２２、第二映像復号部２３、加算部２４及び時間多重部２５を備えている。映像復号装置２は、図１に示した映像符号化装置１から第一ストリームＢ（２ｔ）及び第二ストリームＢ（２ｔ−１）を入力し、復号処理及び時間多重処理を行い、復号映像を出力する。

第一映像復号部２１は、図１に示した映像符号化装置１から第一ストリームＢ（２ｔ）を入力し、第一ストリームＢ（２ｔ）に対し、図１に示した第一映像復号部１３と同一の処理を行い、復号映像Ｄ（２ｔ）を生成する。そして、第一映像復号部２１は、復号映像Ｄ（２ｔ）を時間内挿部２２及び時間多重部２５に出力する。

時間内挿部２２は、図１に示した時間内挿部１４と同一であり、その構成等は図２〜図５に示したとおりであるから、ここでは説明を省略する。時間内挿部２２は、複数時点の復号映像Ｄ（２ｔ）等に基づいて、時間内挿により予測画像Ｐ（２ｔ−１）を生成し、予測画像Ｐ（２ｔ−１）を加算部２４に出力する。

第二映像復号部２３は、図１に示した映像符号化装置１から第二ストリームＢ（２ｔ−１）を入力し、第二ストリームＢ（２ｔ−１）を復号して復号残差画像Ｇ（２ｔ−１）を生成し、復号残差画像Ｇ（２ｔ−１）を加算部２４に出力する。第二映像復号部２３における復号は、図１に示した第二映像符号化部１６と同一の方式の復号アルゴリズムによるものとする。

加算部２４は、時間内挿部２２から予測画像Ｐ（２ｔ−１）を入力すると共に、第二映像復号部２３から復号残差画像Ｇ（２ｔ−１）を入力する。そして、加算部２４は、予測画像Ｐ（２ｔ−１）に復号残差画像Ｇ（２ｔ−１）を加算して復号映像Ｄ（２ｔ−１）を生成し、復号映像Ｄ（２ｔ−１）を時間多重部２５に出力する。

例えば、図１に示した減算部１５が前記式（１）の演算を行った場合、加算部２４は、以下の式にて、予測画像Ｐ（２ｔ−１）に復号残差画像Ｇ（２ｔ−１）を画素位置毎に加算し、復号映像Ｄ（２ｔ−１）を生成する。

Ｄ（２ｔ−１，ｘ，ｙ）は、復号映像Ｄ（２ｔ−１）における画像座標［ｘ，ｙ］の画素値である。Ｐ（２ｔ−１，ｘ，ｙ）は、予測画像Ｐ（２ｔ−１）における画像座標［ｘ，ｙ］の画素値であり、Ｇ（２ｔ−１，ｘ，ｙ）は、復号残差画像Ｇ（２ｔ−１）における画像座標［ｘ，ｙ］の画素値である。

また、他の例として、図１に示した減算部１５が前記式（２）の演算を行った場合、加算部２４は、以下の式にて復号映像Ｄ（２ｔ−１）を生成する。

前述のとおり、Ｌは、図１に示した第二映像符号化部１６に入力可能な信号の階調数、Ｍは、図１に示した第二映像符号化部１６に入力可能な信号の最小値、演算Ｘ％Ｙは、整数Ｘを自然数Ｙで割った余りを求める演算である。

また、他の例として、図１に示した減算部１５が前記式（３）の演算を行った場合、加算部２４は、以下の式にて復号映像Ｄ（２ｔ−１）を生成する。

時間多重部２５は、第一映像復号部２１から復号映像Ｄ（２ｔ）を入力すると共に、加算部２４から復号映像Ｄ（２ｔ−１）を入力する。そして、時間多重部２５は、偶数フレームの復号映像Ｄ（２ｔ）及び奇数フレームの復号映像Ｄ（２ｔ−１）を時間方向に交互に配して多重化し、偶数フレーム及び奇数フレームを交互に順に並べた復号映像を生成し、復号映像を出力する。

以上のように、実施例１の映像復号装置２によれば、第一映像復号部２１は、第一ストリームＢ（２ｔ）を復号して復号映像Ｄ（２ｔ）を生成し、第二映像復号部２３は、第二ストリームＢ（２ｔ−１）を復号して復号残差画像Ｇ（２ｔ−１）を生成する。

時間内挿部２２は、復号映像Ｄ（２ｔ）等に基づいて、内挿により予測画像Ｐ（２ｔ−１）を生成する。そして、時間多重部２５は、復号映像Ｄ（２ｔ）と、予測画像Ｐ（２ｔ−１）及び復号残差画像Ｇ（２ｔ−１）の加算結果である復号映像Ｄ（２ｔ−１）とを時間多重し、元の映像を生成する。

これにより、第一ストリームＢ（２ｔ）から、元の入力映像Ｆに対してフレームレートが１／２倍の視聴可能な絵柄の映像を得ることができる。また、第一ストリームＢ（２ｔ）及び第二ストリームＢ（２ｔ−１）から元の入力映像Ｆを得ることができる。

したがって、第一ストリームＢ（２ｔ）及び第二ストリームＢ（２ｔ−１）により、第一ストリームＢ（２ｔ）の符号化方式に対して互換性を保ちつつ、入力映像Ｆのフレームレート及びその１／２倍のフレームレートに対応する時間スケーラブルな符号化伝送を実現することができる。例えば１２０Ｈｚ，６０Ｈｚの時間スケーラブルな符号化伝送を実現することができ、映像復号装置２において、１２０Ｈｚ，６０Ｈｚの映像を復元することができる。

また、第二ストリームＢ（２ｔ−１）は、映像符号化装置１において、時刻２ｔ−１における第二出力Ｆ（２ｔ−１）と予測画像Ｐ（２ｔ−１）との間の残差画像が符号化されたストリームである。これにより、第二ストリームＢ（２ｔ−１）のデータ量は少なくなり、ビットレートを低くして帯域を狭くすることができ、映像符号化装置１において符号化効率を向上させることができる。したがって、映像復号装置２は、圧縮率が高くデータ量の少ない第二ストリームＢ（２ｔ−１）を入力するから、復号処理の負荷を低減することができる。

ここで、予測残差画像Ｅ（２ｔ−１）が符号化された第二ストリームＢ（２ｔ−１）の代わりに、入力映像Ｆに対してフレームレートが１／２倍の第二出力Ｆ（２ｔ−１）が符号化されたストリームを入力する場合、または、時刻２ｔの第一出力Ｆ（２ｔ）と時刻２ｔ−１の第二出力Ｆ（２ｔ−１）との間の残差画像が符号化されたストリームを入力する場合を想定する。この場合、予測残差画像Ｅ（２ｔ−１）が符号化された第二ストリームＢ（２ｔ−１）の方が、想定したストリームよりもデータ量が低減することは明らかである。したがって、映像符号化装置１において符号化効率が向上し、映像復号装置２において復号処理の負荷が低減する。

また、予測画像Ｐ（２ｔ−１）は、第一ストリームＢ（２ｔ）のみを用いて、当該ストリームを復号することで生成される。この場合、予測画像Ｐ（２ｔ−１）を生成するために、当該ストリーム以外にシグナリングを受ける必要がない（復号のためのパラメータは必要ない）。したがって、映像復号装置２は、復号のために第一ストリームＢ（２ｔ）及び第二ストリームＢ（２ｔ−１）を入力すればよく、シグナリングを受ける必要がないから、システムの簡素化を実現することができる。

〔実施例２〕
次に、実施例２について説明する。前述のとおり、実施例２は、映像を時間分割して２つの分割映像を生成し、一方の分割映像を符号化して送信し、他方の分割映像については、外挿処理により予測画像を生成して予測残差を求め、予測残差を符号化して送信する例である。前述の実施例１とこの実施例２とを比較すると、実施例１は内挿処理により予測画像を生成するのに対し、実施例２は外挿処理により予測画像を生成する点で相違する。

（符号化側／実施例２）
図７は、実施例２の符号化装置の構成例を示すブロック図である。この映像符号化装置３は、時間分割部４１、第一映像符号化部１２、第一映像復号部１３、時間外挿部（予測部）４２、減算部１５及び第二映像符号化部１６を備えている。映像符号化装置３は、入力映像Ｆを入力し、時間分割処理及び符号化処理等を行い、第一ストリームＢ（２ｔ）及び第二ストリームＢ（２ｔ＋１）を、後述する映像復号装置４へ出力する。

時間分割部４１は、符号化対象の入力映像Ｆを入力し、入力映像Ｆを時間方向に交互に分割し、偶数フレームの第一出力Ｆ（２ｔ）を第一映像符号化部１２に出力すると共に、奇数フレームの第二出力Ｆ（２ｔ＋１）を減算部１５に出力する。

ｔ＝０，１，２，・・・の各時点において、時間分割部４１は、（第一出力，第二出力）として（Ｆ（０），Ｆ（１）），（Ｆ（２），Ｆ（３）），（Ｆ（４），Ｆ（５）），・・・を出力する。

尚、入力映像Ｆの最終フレーム番号が偶数の場合には、時間分割部４１が出力する奇数フレームの第二出力Ｆ（２ｔ＋１）が存在しない。このため、時間分割部４１は、第二出力Ｆ（２ｔ＋１）として全画素０を出力する。例えば、入力映像Ｆの最終フレームがＦ（１００）である場合、時間分割部１１は、ｔ＝５０の時点において、（第一出力，第二出力）＝（Ｆ（１００），０）を出力する。

第一映像符号化部１２及び第一映像復号部１３は、図１に示した第一映像符号化部１２及び第一映像復号部１３と同一であるから、ここでは説明を省略する。第一映像符号化部１２は、第一ストリームＢ（２ｔ）を、後述する映像復号装置４へ出力する。

時間外挿部４２は、内部に過去の復号映像Ｄ（２ｔ）を記憶するための画像バッファを有している。時間外挿部４２は、第一映像復号部１３から復号映像Ｄ（２ｔ）を入力し、復号映像Ｄ（２ｔ）を画像バッファに格納し、画像バッファから例えば過去の復号映像Ｄ（２ｔ−２）を読み出す。

時間外挿部４２は、複数時点の復号映像Ｄ（２ｔ）等（例えば、復号映像Ｄ（２ｔ），Ｄ（２ｔ−２））に基づいて、時間外挿の時間補間処理を行う。そして、時間外挿部４２は、時刻２ｔ＋１の時点に相当するフレームの予測値を生成し、予測値を予測画像Ｐ（２ｔ＋１）として減算部１５に出力する。時間外挿部４２の詳細については後述する。

これにより、複数時点の偶数フレームの復号映像Ｄ（２ｔ）等から、時刻２ｔ＋１における奇数フレームの復号映像Ｄ（２ｔ＋１）に対応する予測画像Ｐ（２ｔ＋１）が生成される。

尚、第一映像符号化部１２及び第一映像復号部１３において遅延時間αを生じ、時間外挿部４２において遅延時間γを生じる場合には、時間外挿部４２は、予測画像Ｐ（２（ｔ−ｄ）＋１）を減算部１５に出力する。遅延時間ｄ＝α＋γである。遅延時間α，γは０以上の整数とする。

第一映像符号化部１２、第一映像復号部１３及び時間外挿部４２において遅延時間ｄを生じる場合、映像符号化装置３は、時間分割部４１と減算部１５との間に遅延部を備える。遅延部は、時間分割部４１から第二出力Ｆ（２ｔ＋１）を入力し、第二出力Ｆ（２ｔ＋１）を遅延時間ｄだけ遅延させ、第二出力Ｆ（２（ｔ−ｄ）＋１）を減算部１５に出力する。これにより、減算部１５において、時間外挿部４２から入力する予測画像Ｐ（２（ｔ−ｄ）＋１）と遅延部から入力する第二出力Ｆ（２（ｔ−ｄ）＋１）とを時間同期させることができる。

減算部１５は、時間分割部４１から第二出力Ｆ（２ｔ＋１）を入力すると共に、時間外挿部４２から予測画像Ｐ（２ｔ＋１）を入力する。減算部１５は、図１に示した減算部１５（入出力信号の時刻は２ｔ−１である。）と比較すると、第二出力Ｆ（２ｔ＋１）及び予測画像Ｐ（２ｔ＋１）の時刻が２時点進んでいる以外は同一であるから、ここでは説明を省略する。減算部１５は、予測残差画像Ｅ（２ｔ＋１）を第二映像符号化部１６に出力する。

第二映像符号化部１６は、減算部１５から予測残差画像Ｅ（２ｔ＋１）を入力する。第二映像符号化部１６は、図１に示した第二映像符号化部１６（入出力信号の時刻は２ｔ−１である。）と比較して、予測残差画像Ｅ（２ｔ＋１）の時刻が２時点進んでいる以外は同一であるから、ここでは説明を省略する。第二映像符号化部１６は、第二ストリームＢ（２ｔ＋１）を、後述する映像復号装置４へ出力する。

（時間外挿部４２）
次に、図７に示した時間外挿部４２について詳細に説明する。前述のとおり、時間外挿部４２は、複数時点の復号映像Ｄ（２ｔ）等（例えば、復号映像Ｄ（２ｔ），Ｄ（２ｔ−２））に基づいて、時間外挿の時間補間処理を行い、時刻２ｔ＋１の予測画像Ｐ（２ｔ＋１）を生成する。

（動き補償予測による時間外挿）
以下、図７に示した時間外挿部４２について、動き補償予測による時間外挿を行う場合を説明する。動き補償予測による時間外挿を行う時間外挿部４２は、時刻２ｔの復号映像Ｄ（２ｔ）及び時刻２ｔ−２の復号映像Ｄ（２ｔ−２）に基づいて、時刻２ｔ＋１のフレームを基準とした動きベクトル［Ｕ，Ｖ］を算出する。そして、時間外挿部４２は、復号映像Ｄ（２ｔ）及び／または復号映像Ｄ（２ｔ−２）と、動きベクトル［Ｕ，Ｖ］とに基づいて、時刻２ｔ＋１の予測画像Ｐ（２ｔ＋１）を求める。

図８は、動き補償予測による時間外挿を行う時間外挿部４２の入出力を説明する図である。図８に示すように、動き補償予測による時間外挿を行う時間外挿部４２により、時刻２ｔの復号映像Ｄ（２ｔ）及び時刻２ｔ−２の復号映像Ｄ（２ｔ−２）が入力され、時刻２ｔから１時点（１フレーム）進んだ時刻２ｔ＋１の予測画像Ｐ（２ｔ＋１）が出力される。

図９は、実施例２において、動き補償予測による時間外挿を行う時間外挿部４２の構成例を示すブロック図である。この時間外挿部４２は、遅延部４３、動き推定部４４及び動き補償部４５を備えている。遅延部４３は、図２に示した遅延部３１及び図４に示した遅延部３３と同一であるから、ここでは説明を省略する。

動き推定部４４は、第一映像復号部１３から復号映像Ｄ（２ｔ）を入力すると共に、遅延部４３から復号映像Ｄ（２ｔ−２）を入力する。そして、動き推定部４４は、時刻２ｔの復号映像Ｄ（２ｔ）及び時刻２ｔ−２の復号映像Ｄ（２ｔ−２）に基づいて、時刻２ｔ＋１のフレームを基準とした画像全体または部分画像領域毎の動きベクトル［Ｕ，Ｖ］を算出する。動き推定部４４は、動きベクトル［Ｕ，Ｖ］を動き補償部４５に出力する。

例えば、動き推定部４４は、復号映像Ｄ（２ｔ）及び復号映像Ｄ（２ｔ−２）に基づいて、以下の式にて、ブロックマッチングにより動きベクトル［Ｕ（２ｔ＋１，ｘ，ｙ），Ｖ（２ｔ＋１，ｘ，ｙ）］を算出する。具体的には、動き推定部４４は、時刻２ｔ＋１のフレーム上の画像座標［ｘ，ｙ］を起点として直線を伸ばした復号映像Ｄ（２ｔ），Ｄ（２ｔ−２）上に部分領域対のマッチングをとり、画素値の誤差の最小値を演算することで、動きベクトル［Ｕ（２ｔ＋１，ｘ，ｙ），Ｖ（２ｔ＋１，ｘ，ｙ）］を求める。

動きベクトル［Ｕ（２ｔ＋１，ｘ，ｙ），Ｖ（２ｔ＋１，ｘ，ｙ）］は、時刻２ｔ＋１のフレームにおける画像座標［ｘ，ｙ］の動きベクトルである。前述のとおり、関数Ｑ（Ｘ，Ｙ）は、ＸとＹとの間の誤差を評価する関数である。また、領域Ｂはブロックの形状と大きさを定義し、領域Ｓは探索領域を定義する。

図１０は、動きベクトル［Ｕ，Ｖ］を説明する図である。図１０に示すように、復号映像Ｄ（２ｔ）の時刻２ｔから１時点進めた時刻２ｔ＋１に、仮想的に時刻２ｔ＋１のフレーム（以下、仮想フレームという。）を想定する。

前記式（１６）の演算は、仮想フレーム上の画像座標［ｘ，ｙ］が相対的に復号映像Ｄ（２ｔ）のどこに対応するかを示す動きベクトル［Ｕ（２ｔ＋１，ｘ，ｙ），Ｖ（２ｔ＋１，ｘ，ｙ）］を求めるものである。図１０に示すように、仮想フレーム上の画像座標［ｘ，ｙ］を起点として復号映像Ｄ（２ｔ），Ｄ（２ｔ−２）へ直線を伸ばした場合に、復号映像Ｄ（２ｔ），Ｄ（２ｔ−２）上に部分領域対（図１０のｂ１，ｂ２）がとられる。この部分領域対における画素値の誤差の最小値を演算することで、動きベクトル［Ｕ，Ｖ］が求められる。

尚、動き推定部４４は、前記式（１６）の演算を、一部の画像座標［ｘ，ｙ］のみに行うようにしてもよい。この場合、動き推定部４４は、一部の画像座標［ｘ１，ｙ１］について前記式（１６）の演算を行い、動きベクトル［Ｕ，Ｖ］を算出し、一部の画像座標［ｘ１，ｙ１］に対して当該演算結果の動きベクトル［Ｕ，Ｖ］を採用する。そして、動き推定部４４は、前記式（１６）の演算を行わなかった他の画像座標［ｘ２，ｙ２］に対して、最近傍の画像座標［ｘ１，ｙ１］における演算結果の動きベクトル［Ｕ，Ｖ］を採用する。

図９に戻って、動き補償部４５は、第一映像復号部１３から復号映像Ｄ（２ｔ）を入力すると共に、遅延部４３から復号映像Ｄ（２ｔ−２）を入力し、さらに動き推定部４４から動きベクトル［Ｕ，Ｖ］を入力する。

動き補償部４５は、復号映像Ｄ（２ｔ）及び／または復号映像Ｄ（２ｔ−２）と、動きベクトル［Ｕ，Ｖ］とに基づいて、予測画像Ｐ（２ｔ＋１）を生成し、予測画像Ｐ（２ｔ＋１）を減算部１５に出力する。

例えば、動き補償部４５は、復号映像Ｄ（２ｔ）及び動きベクトル［Ｕ，Ｖ］を用いる場合には、以下の式にて、予測画像Ｐ（２ｔ＋１）を生成する。

また、他の例として、動き補償部４５は、復号映像Ｄ（２ｔ−２）及び動きベクトル［Ｕ，Ｖ］を用いる場合には、以下の式にて、予測画像Ｐ（２ｔ＋１）を生成する。

また、他の例として、動き補償部４５は、復号映像Ｄ（２ｔ），Ｄ（２ｔ−２）及び動きベクトル［Ｕ，Ｖ］を用いる場合には、以下の式にて、予測画像Ｐ（２ｔ＋１）を生成する。

ｓは０＜ｓ＜１なる実定数であり、好ましくは０＜ｓ≦０．５である。例えば、ｓ＝０．２５とする。

このように、図９に示した時間外挿部４２は、偶数フレームの復号映像Ｄ（２ｔ），Ｄ（２ｔ−２）に基づいて、動きベクトル［Ｕ，Ｖ］を算出する。そして、時間外挿部４２は、偶数フレームの復号映像Ｄ（２ｔ）及び／または復号映像Ｄ（２ｔ−２）と、動きベクトル［Ｕ，Ｖ］とに基づいて、奇数フレームの予測画像Ｐ（２ｔ＋１）を求めるようにした。

これにより、映像内の被写体の動きを考慮しているから、精度の高い予測画像Ｐ（２ｔ＋１）を得ることができ、入力映像Ｆが静止画像の場合に加え、動画像であったとしても、予測画像Ｐ（２ｔ＋１）は第二出力Ｆ（２ｔ＋１）に近くなる。そして、後段の減算部１５により算出される予測残差画像Ｅ（２ｔ＋１）のエントロピーを低減することができ、さらに後段の第二映像符号化部１６の符号化により生成される第二ストリームＢ（２ｔ＋１）のデータ量を低減することができる。したがって、符号化効率を向上させることができる。

以上のように、実施例２の映像符号化装置３によれば、時間分割部４１は、入力映像Ｆを時間分割して第一出力Ｆ（２ｔ）及び第二出力Ｆ（２ｔ＋１）を生成し、第一映像符号化部１２は、第一出力Ｆ（２ｔ）を符号化して第一ストリームＢ（２ｔ）を出力する。

時間外挿部４２は、第一ストリームＢ（２ｔ）の復号映像Ｄ（２ｔ）等に基づいて、外挿により予測画像Ｐ（２ｔ＋１）を生成する。そして、第二映像符号化部１６は、第二出力Ｆ（２ｔ＋１）と予測画像Ｐ（２ｔ＋１）との間の残差である予測残差画像Ｅ（２ｔ＋１）を符号化して第二ストリームＢ（２ｔ＋１）を出力する。

これにより、入力映像Ｆの符号化伝送の際に、入力映像Ｆに対してフレームレートが１／２倍の第一出力Ｆ（２ｔ）を符号化した第一ストリームＢ（２ｔ）と、予測残差画像Ｅ（２ｔ＋１）を符号化した第二ストリームＢ（２ｔ＋１）とが出力される。

後述する映像復号装置４は、実施例１と同様に、第一ストリームＢ（２ｔ）を入力することで、入力映像Ｆに対してフレームレートが１／２倍の視聴可能な絵柄の映像を復号することができる。また、第二映像符号化部１６に対応する復号部（後述する第二映像復号部２３）も備え、さらに時間外挿部４２及び減算部１５に対応する構成部（後述する時間外挿部４６及び加算部２４）も備えた後述する映像復号装置４は、第一ストリームＢ（２ｔ）及び第二ストリームＢ（２ｔ＋１）を入力することで、元の入力映像Ｆを復号することができる。

したがって、第一ストリームＢ（２ｔ）及び第二ストリームＢ（２ｔ＋１）により、第一ストリームＢ（２ｔ）の符号化方式に対して互換性を保ちつつ、入力映像Ｆのフレームレート及びその１／２倍のフレームレートに対応する時間スケーラブルな符号化伝送を実現することができる。

また、実施例１と同様に、第二ストリームＢ（２ｔ＋１）の圧縮率を向上させることができる。つまり、第二ストリームＢ（２ｔ＋１）のデータ量が低減するから、ビットレートを低くして帯域を狭くすることができ、符号化効率を向上させることができる。

また、後述する映像復号装置４は、映像符号化装置３に備えた時間外挿部４２と共通の構成部（後述する時間外挿部４６）を備えることで、第一ストリームＢ（２ｔ）及び第二ストリームＢ（２ｔ＋１）から元の映像を復号することができる。この場合、元の映像を復号するために、これらのストリーム以外にシグナリング（復号のためのパラメータの伝送）を必要としない。したがって、映像符号化装置３は、第一ストリームＢ（２ｔ）及び第二ストリームＢ（２ｔ＋１）を出力すればよく、シグナリングが不要であるから、システムの簡素化を実現することができる。

また、実施例２の映像符号化装置３の時間外挿部４２は、予測画像Ｐ（２ｔ＋１）を生成する際に、予測画像Ｐ（２ｔ＋１）の時刻２ｔ＋１に対して過去の復号映像Ｄ（２ｔ），Ｄ（２ｔ−２）を用いる。これに対し、実施例１の映像符号化装置１の時間内挿部１４では、予測画像Ｐ（２ｔ−１）を生成する際に、予測画像Ｐ（２ｔ−１）の時刻２ｔ−１に対して未来の復号映像Ｄ（２ｔ）及び過去の復号映像Ｄ（２ｔ−２）を用いる。このため、実施例２の映像符号化装置３では、予測画像Ｐ（２ｔ＋１）を生成する際に過去のデータのみが必要であるから、未来のデータも必要とする実施例１に比べ、時間合わせのためのバッファが不要となり、遅延が小さくなる。

（復号側／実施例２）
図１１は、実施例２の映像復号装置４の構成例を示すブロック図である。この映像復号装置４は、第一映像復号部２１、時間外挿部（予測部）４６、第二映像復号部２３、加算部２４及び時間多重部４７を備えている。映像復号装置４は、図７に示した映像符号化装置３から第一ストリームＢ（２ｔ）及び第二ストリームＢ（２ｔ＋１）を入力し、復号処理及び時間多重処理を行い、復号映像を出力する。

第一映像復号部２１は、図７に示した映像符号化装置３から第一ストリームＢ（２ｔ）を入力する。第一映像復号部２１は、図６に示した第一映像復号部２１と同一であるから、ここでは説明を省略する。第一映像復号部２１は、復号映像Ｄ（２ｔ）を時間外挿部４６及び時間多重部４７に出力する。

時間外挿部４６は、図７に示した時間外挿部４２と同一であり、その構成等は図８〜図１０に示したとおりであるから、ここでは説明を省略する。時間外挿部４６は、複数時点の復号映像Ｄ（２ｔ）等に基づいて、時間外挿により予測画像Ｐ（２ｔ＋１）を生成し、予測画像Ｐ（２ｔ＋１）を加算部２４に出力する。

第二映像復号部２３は、図７に示した映像符号化装置３から第二ストリームＢ（２ｔ＋１）を入力する。第二映像復号部２３は、図６に示した第二映像復号部２３（入出力信号の時刻は２ｔ−１である。）と比較して、第二ストリームＢ（２ｔ＋１）及び復号残差画像Ｇ（２ｔ＋１）の時刻が２時点進んでいる以外は同一であるから、ここでは説明を省略する。第二映像復号部２３は、復号残差画像Ｇ（２ｔ＋１）を加算部２４に出力する。

加算部２４は、時間外挿部４６から予測画像Ｐ（２ｔ＋１）を入力すると共に、第二映像復号部２３から復号残差画像Ｇ（２ｔ＋１）を入力する。加算部２４は、図６に示した加算部２４（入出力信号の時刻は２ｔ−１である。）と比較して、予測画像Ｐ（２ｔ＋１）及び復号残差画像Ｇ（２ｔ＋１）の時刻が２時点進んでいる以外は同一であるから、ここでは説明を省略する。加算部２４は、復号映像Ｄ（２ｔ＋１）を時間多重部４７に出力する。

時間多重部４７は、第一映像復号部２１から復号映像Ｄ（２ｔ）を入力すると共に、加算部２４から復号映像Ｄ（２ｔ＋１）を入力する。そして、時間多重部４７は、偶数フレームの復号映像Ｄ（２ｔ）及び奇数フレームの復号映像Ｄ（２ｔ＋１）を時間方向に交互に配して多重化し、偶数フレーム及び奇数フレームを交互に順に並べた復号映像を生成し、復号映像を出力する。

以上のように、実施例２の映像復号装置４によれば、第一映像復号部２１は、第一ストリームＢ（２ｔ）を復号して復号映像Ｄ（２ｔ）を生成し、第二映像復号部２３は、第二ストリームＢ（２ｔ＋１）を復号して復号残差画像Ｇ（２ｔ＋１）を生成する。

時間外挿部４６は、復号映像Ｄ（２ｔ）等に基づいて、外挿により予測画像Ｐ（２ｔ＋１）を生成する。そして、時間多重部４７は、復号映像Ｄ（２ｔ）と、予測画像Ｐ（２ｔ＋１）及び復号残差画像Ｇ（２ｔ＋１）の加算結果である復号映像Ｄ（２ｔ＋１）とを時間多重し、元の映像を復号する。

これにより、第一ストリームＢ（２ｔ）から、元の入力映像Ｆに対してフレームレートが１／２倍の視聴可能な絵柄の映像を復号することができる。また、第一ストリームＢ（２ｔ）及び第二ストリームＢ（２ｔ＋１）から元の入力映像Ｆを復号することができる。

したがって、第一ストリームＢ（２ｔ）及び第二ストリームＢ（２ｔ＋１）により、第一ストリームＢ（２ｔ）の符号化方式に対して互換性を保ちつつ、入力映像Ｆのフレームレート及びその１／２倍のフレームレートに対応する時間スケーラブルな符号化伝送を実現することができる。例えば１２０Ｈｚ，６０Ｈｚの時間スケーラブルな符号化伝送を実現することができ、映像復号装置４において、１２０Ｈｚ，６０Ｈｚの映像をそれぞれ復号することができる。

また、実施例１と同様に、第二ストリームＢ（２ｔ＋１）のデータ量は少なくなり、ビットレートを低くして帯域を狭くすることができ、映像符号化装置３において符号化効率を向上させることができる。したがって、映像復号装置４は、圧縮率が高くデータ量の少ない第二ストリームＢ（２ｔ＋１）を入力するから、復号処理の負荷を低減することができる。

また、予測画像Ｐ（２ｔ＋１）は、第一ストリームＢ（２ｔ）のみを用いて、当該ストリームを復号することで生成される。この場合、予測画像Ｐ（２ｔ＋１）を生成するために、当該ストリーム以外にシグナリングを受ける必要がない（復号のためのパラメータは必要ない）。したがって、映像復号装置４は、復号のために第一ストリームＢ（２ｔ）及び第二ストリームＢ（２ｔ＋１）を入力すればよく、シグナリングを受ける必要がないから、システムの簡素化を実現することができる。

以上、実施例１，２を挙げて本発明を説明したが、本発明は前記実施例１，２に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、実施例１の映像符号化装置１の時間内挿部１４及び映像復号装置２の時間内挿部２２は、偶数フレームの復号映像Ｄ（２ｔ）に基づいて、奇数フレームの予測画像Ｐ（２ｔ−１）を生成するようにした。これに対し、時間内挿部１４，２２は、奇数フレームの復号映像Ｄ（２ｔ−１）に基づいて、偶数フレームの予測画像Ｐ（２ｔ）を生成するようにしてもよい。

この場合、映像符号化装置１の減算部１５は、第一出力Ｆ（２ｔ）から予測画像Ｐ（２ｔ）を減算して予測残差画像Ｅ（２ｔ）を生成する。そして、第一映像符号化部１２は、予測残差画像Ｅ（２ｔ）を符号化して第一ストリームＢ（２ｔ）を生成し、第二映像符号化部１６は、第二出力Ｆ（２ｔ−１）を符号化して第二ストリームＢ（２ｔ−１）を生成する。

また、実施例２の映像符号化装置３の時間外挿部４２及び映像復号装置４の時間外挿部４６は、偶数フレームの復号映像Ｄ（２ｔ）に基づいて、奇数フレームの予測画像Ｐ（２ｔ＋１）を生成するようにした。これに対し、時間外挿部４２，４６は、奇数フレームの復号映像Ｄ（２ｔ＋１）に基づいて、偶数フレームの予測画像Ｐ（２ｔ）を生成するようにしてもよい。

この場合、映像符号化装置３の減算部１５は、第一出力Ｆ（２ｔ）から予測画像Ｐ（２ｔ）を減算して予測残差画像Ｅ（２ｔ）を生成する。そして、第一映像符号化部１２は、予測残差画像Ｅ（２ｔ）を符号化して第一ストリームＢ（２ｔ）を生成し、第二映像符号化部１６は、第二出力Ｆ（２ｔ＋１）を符号化して第二ストリームＢ（２ｔ＋１）を生成する。一方で、実施例１，２の映像復号装置２，４は、偶数フレームの予測画像Ｐ（２ｔ）を生成し、予測画像Ｐ（２ｔ）に復号残差画像Ｇ（２ｔ）を加算して復号映像Ｄ（２ｔ）を生成するようにしてもよい。

また、実施例１の映像符号化装置１の時間内挿部１４及び映像復号装置２の時間内挿部２２は、２つの時系列の復号映像Ｄ（２ｔ），Ｄ（２ｔ−２）に基づいて、予測画像Ｐ（２ｔ−１）を生成するようにした。これに対し、時間内挿部１４，２２は、３つ以上の時系列の復号映像Ｄ（２ｔ），Ｄ（２ｔ−２）等に基づいて、予測画像Ｐ（２ｔ−１）を生成するようにしてもよい。

また、実施例２の映像符号化装置３の時間外挿部４２及び映像復号装置４の時間外挿部４６は、２つの時系列の復号映像Ｄ（２ｔ），Ｄ（２ｔ−２）に基づいて、予測画像Ｐ（２ｔ＋１）を生成するようにした。これに対し、時間外挿部４２，４６は、３つ以上の時系列の復号映像Ｄ（２ｔ），Ｄ（２ｔ−２）等に基づいて、予測画像Ｐ（２ｔ＋１）を生成するようにしてもよい。

また、実施例１の映像符号化装置１の時間内挿部１４及び映像復号装置２の時間内挿部２２は、復号映像Ｄ（２ｔ），Ｄ（２ｔ−２）に基づいた内挿により、予測画像Ｐ（２ｔ−１）を生成するようにした。また、実施例２の映像符号化装置３の時間外挿部４２及び映像復号装置４の時間外挿部４６は、復号映像Ｄ（２ｔ），Ｄ（２ｔ−２）に基づいた外挿により、予測画像Ｐ（２ｔ＋１）を生成するようにした。これに対し、時間内挿部１４，２２及び時間外挿部４２，４６に代わる新たな時間内外挿部は、復号映像Ｄ（２ｔ），Ｄ（２ｔ−２）等に基づいた内挿及び外挿により、それぞれ予測画像Ｐ（２ｔ−１），Ｐ（２ｔ＋１）を生成するようにしてもよい。

また、実施例１，２の映像符号化装置１，３は、入力映像Ｆを入力し、時間分割処理及び符号化処理等を行い、第一ストリームＢ（２ｔ）及び第二ストリームＢ（２ｔ−１），Ｂ（２ｔ＋１）をそれぞれ映像復号装置２，４へ出力するようにした。これに対し、映像符号化装置１，３は、入力映像Ｆに対して時間分割処理及び符号化処理等を行い、３つ以上の所定数のストリームを生成し、映像復号装置２，４へ出力するようにしてもよい。

この場合、実施例１，２の映像復号装置２，４は、３つ以上の所定数のストリームを入力し、復号処理及び時間多重処理等を行い、復号映像を出力する。これにより、例えば３つのストリームを用いることにより、１２０Ｈｚ，６０Ｈｚ，３０Ｈｚの時間スケーラブルな符号化伝送を実現することができ、映像復号装置２，４において、１２０Ｈｚ，６０Ｈｚ，３０Ｈｚの映像をそれぞれ復号することができる。

尚、本発明の実施例１の映像符号化装置１及び映像復号装置２、並びに実施例２の映像符号化装置３及び映像復号装置４のハードウェア構成としては、通常のコンピュータを使用することができる。映像符号化装置１，３及び映像復号装置２，４は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

映像符号化装置１に備えた時間分割部１１、第一映像符号化部１２、第一映像復号部１３、時間内挿部１４、減算部１５及び第二映像符号化部１６の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、映像復号装置２に備えた第一映像復号部２１、時間内挿部２２、第二映像復号部２３、加算部２４及び時間多重部２５の各機能、映像符号化装置３に備えた時間分割部４１、第一映像符号化部１２、第一映像復号部１３、時間外挿部４２、減算部１５及び第二映像符号化部１６の各機能、並びに、映像復号装置４に備えた第一映像復号部２１、時間外挿部４６、第二映像復号部２３、加算部２４及び時間多重部４７の各機能についても同様である。

これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

１，３ 映像符号化装置
２，４ 映像復号装置
１１，４１ 時間分割部
１２ 第一映像符号化部
１３，２１ 第一映像復号部
１４，２２ 時間内挿部（予測部）
４２，４６ 時間外挿部（予測部）
１５ 減算部
１６ 第二映像符号化部
２３ 第二映像復号部
２４ 加算部
２５，４７ 時間多重部
３１，３３，４３ 遅延部
３２ 平均部
３４，４４ 動き推定部
３５，４５ 動き補償部

Claims (6)

1. 符号化対象の映像を偶数フレーム及び奇数フレームに時間方向に分割する時間分割部と、
   前記時間分割部により分割された前記偶数フレーム及び前記奇数フレームのうち一方のフレームを符号化し、第一ストリームを出力する第一映像符号化部と、
   前記第一映像符号化部により出力された前記第一ストリームを復号し、復号映像を生成する第一映像復号部と、
   前記第一映像復号部により生成された前記復号映像に基づいて、前記時間分割部により分割された前記偶数フレーム及び前記奇数フレームのうち他方のフレームに対応するフレームを、予測画像として生成する予測部と、
   前記時間分割部により分割された前記他方のフレームと前記予測部により生成された前記予測画像との間の残差を、予測残差画像として生成する減算部と、
   前記減算部により生成された前記予測残差画像を符号化し、第二ストリームを出力する第二映像符号化部と、
   を備えたことを特徴とする映像符号化装置。
2. 請求項１に記載の映像符号化装置において、
   前記予測部は、
   前記第一映像復号部により生成された前記復号映像における時系列の複数のフレームに基づいて、画素毎に平均値を算出し、前記予測画像を生成する、ことを特徴とする映像符号化装置。
3. 請求項１に記載の映像符号化装置において、
   前記予測部は、
   前記第一映像復号部により生成された前記復号映像における時系列の複数のフレームに基づいて、動きを推定して動きベクトルを求め、前記複数のフレームのうち１以上のフレーム及び前記動きベクトルに基づいて、前記予測画像を生成する、ことを特徴とする映像符号化装置。
4. 映像が符号化された第一ストリーム及び第二ストリームを入力し、前記第一ストリーム及び前記第二ストリームを復号する映像復号装置において、
   前記第一ストリームを復号し、前記映像の偶数フレーム及び奇数フレームのうち一方のフレームの復号映像を、第一復号映像として生成する第一映像復号部と、
   前記第一映像復号部により生成された前記第一復号映像に基づいて、前記偶数フレーム及び前記奇数フレームのうち他方のフレームに対応するフレームを、予測画像として生成する予測部と、
   前記第二ストリームを復号し、前記他方のフレームに対応する復号残差画像を生成する第二映像復号部と、
   前記予測部により生成された前記予測画像に、前記第二映像復号部により生成された前記復号残差画像を加算し、第二復号映像を生成する加算部と、
   前記第一映像復号部により生成された前記第一復号映像及び前記加算部により生成された前記第二復号映像を時間多重する時間多重部と、
   を備えたことを特徴とする映像復号装置。
5. 請求項４に記載の映像復号装置において、
   前記予測部は、
   前記第一映像復号部により生成された前記第一復号映像における時系列の複数のフレームに基づいて、画素毎に平均値を算出し、前記予測画像を生成する、ことを特徴とする映像復号装置。
6. 請求項４に記載の映像復号装置において、
   前記予測部は、
   前記第一映像復号部により生成された前記第一復号映像における時系列の複数のフレームに基づいて、動きを推定して動きベクトルを求め、前記複数のフレームのうち１以上のフレーム及び前記動きベクトルに基づいて、前記予測画像を生成する、ことを特徴とする映像復号装置。

Images