JP2000299857A - 符号化ストリーム記録装置および方法、符号化ストリーム再生装置および方法、トランスコーディングシステム、変換装置および方法、ビデオ符号化装置および方法、ストリーム処理装置および方法、ストリーム処理システム、ビデオ復号装置および方法、並びに記録媒体 - Google Patents

符号化ストリーム記録装置および方法、符号化ストリーム再生装置および方法、トランスコーディングシステム、変換装置および方法、ビデオ符号化装置および方法、ストリーム処理装置および方法、ストリーム処理システム、ビデオ復号装置および方法、並びに記録媒体

Info

Publication number
JP2000299857A
JP2000299857A JP34315799A JP34315799A JP2000299857A JP 2000299857 A JP2000299857 A JP 2000299857A JP 34315799 A JP34315799 A JP 34315799A JP 34315799 A JP34315799 A JP 34315799A JP 2000299857 A JP2000299857 A JP 2000299857A
Authority
JP
Japan
Prior art keywords
encoding
past
stream
coding
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP34315799A
Other languages
English (en)
Other versions
JP3890838B2 (ja
Inventor
Takuya Kitamura
卓也 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP34315799A priority Critical patent/JP3890838B2/ja
Publication of JP2000299857A publication Critical patent/JP2000299857A/ja
Application granted granted Critical
Publication of JP3890838B2 publication Critical patent/JP3890838B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【課題】 トランスコーディングされたデータをビデオ
テープに記録する場合にも、画質の劣化を抑制できるよ
うにする。 【解決手段】 符号化装置106は、復号装置102よ
り入力されたベースバンドビデオ信号に対して、符号化
処理を行う。このとき、復号装置102、またはヒスト
リデコーディング装置104より供給される第1世代乃
至第3世代の符号化パラメータが利用できる場合、それ
を利用して符号化処理が行われる。符号化装置106は
また、第1世代乃至第3世代の過去の符号化パラメータ
をピクチャ層のuser_dataに記録し、第4世代の符号化
ストリームSTに多重化して、チャンネルエンコーディン
グ装置602に出力する。チャンネルエンコーディング
装置602は、入力された符号ストリームをチャンネル
エンコードし、記録ヘッド603を介して、磁気テープ
604に記録させる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、符号化ストリーム
記録装置および方法、符号化ストリーム再生装置および
方法、トランスコーディングシステム、変換装置および
方法、ビデオ符号化装置および方法、ストリーム処理装
置および方法、ストリーム処理システム、ビデオ復号装
置および方法、並びに記録媒体に関し、特に、MPEG規格
に基づいて符号化された符号化ビットストリームのGOP
(Group of Pictures)の構造を変更したり、符号化ビ
ットストリームのビットレートを変更するためのトラン
スコーディング装置に用いて好適な符号化ストリーム記
録装置および方法、符号化ストリーム再生装置および方
法、トランスコーディングシステム、変換装置および方
法、ビデオ符号化装置および方法、ストリーム処理装置
および方法、ストリーム処理システム、ビデオ復号装置
および方法、並びに記録媒体に関する。
【0002】
【従来の技術】近年、テレビジョンプログラムを制作及
び放送する放送局においては、ビデオデータを圧縮/符
号化処理するために、MPEG(Moving Picture Experts G
roup)技術が一般的に使われるようになってきた。特
に、ビデオデータをテープなどのランダムアクセス可能
な記録媒体素材に記録する場合、及びビデオデータをケ
ーブルや衛星を介して伝送する場合には、このMPEG技術
がデファクトスタンダードになりつつある。
【0003】放送局において制作されたビデオプログラ
ムが各家庭に伝送されるまでの放送局における処理の一
例を簡単に説明する。まず、ビデオカメラとVTR(Video
Tape Recorder)が一体となったカムコーダに設けら
れたエンコーダによって、ソースビデオデータをエンコ
ード処理して磁気テープ上に記録する。この際、カムコ
ーダのエンコーダは、VTRのテープの記録フォーマット
に適するように、ソースビデオデータを符号化する。た
とえば、この磁気テープ上に記録されるMPEGビットスト
リームのGOP構造は、2フレームから1GOPが構成される
構造(たとえば、I,B,I,B,I,B,・・・・・・)と
される。また磁気テープ上に記録されているMPEGビット
ストリームのビットレートは、18Mbpsである。
【0004】次に、メイン放送局において、この磁気テ
ープ上に記録されたビデオビットストリームを編集する
編集処理を行う。そのために、磁気テープ上に記録され
たビデオビットストリームのGOP構造を、編集処理に適
したGOP構造に変換する。編集処理に適したGOP構造と
は、1GOPが1フレームから構成され、すべてのピクチ
ャがIピクチャであるGOP構造である。なぜなら、フレ
ーム単位で編集を行うためには、他のピクチャと相関の
ないIピクチャがもっとも適しているからである。実際
のオペレーションとしては、磁気テープ上に記録された
ビデオストリームを一旦デコードしてベースバンドのビ
デオデータに戻す。そして、そのベースバンドのビデオ
信号を、すべてのピクチャがIピクチャとなるように再
エンコードする。このようにデコード処理及び再エンコ
ード処理を行うことによって、編集処理に適したGOP構
造を有したビットストリームを生成することができる。
【0005】次に、上述した編集処理によって生成され
た編集ビデオプログラムを、メイン局から地方局に伝送
するために、編集ビデオプログラムのビットストリーム
を、伝送処理に適したGOP構造及びビットレートに変換
する。放送局間の伝送に適したGOP構造とは、たとえ
ば、1GOPが15フレームから構成されているGOP構造
(たとえば、I,B,B,P,B,B,P・…)であ
る。また、放送局間の伝送に適したビットレートは、一
般的に放送局間においては、光ファイバなどの高伝送容
量を有した専用線が設けらてれいるので、50Mbps以上
のハイビットレートであることが望ましい。具体的に
は、編集処理されたビデオプログラムのビットストリー
ムを一旦デコードしてベースバンドのビデオデータに戻
す。そして、そのベースバンドのビデオデータを上述し
た放送局間の伝送に適したGOP構造及びビットレートを
有するように再エンコードする。
【0006】地方局においては、メイン局から伝送され
てきたビデオプログラムの中に、地方特有のコマーシャ
ルを挿入するために編集処理が行われる。つまり、上述
した編集処理と同じように、メイン局から伝送されてき
たビデオストリームを一旦デコードしてベースバンドの
ビデオデータに戻す。そして、そのベースバンドのビデ
オ信号を、すべてのピクチャがIピクチャとなるように
再エンコードすることによって、編集処理に適したGOP
構造を有したビットストリームを生成することができ
る。
【0007】続いて、この地方局において編集処理が行
われたビデオプログラムを各家庭に、ケーブルや衛星を
介して伝送するために、この伝送処理に適したGOP構造
及びビットレートに変換する。たとえば、各家庭に伝送
するための伝送処理に適したGOP構造とは、1GOPが15
フレームから構成されるGOP構造(たとえば、I,B,
B,P,B,B,P・…)であって、各家庭に伝送する
ための伝送処理に適したビットレートは、5Mbps程度の
低ビットレートである。具体的には、編集処理されたビ
デオプログラムのビットストリームを一旦デコードして
ベースバンドのビデオデータに戻す。そして、そのベー
スバンドのビデオデータを上述した伝送処理に適したGO
P構造及びビットレートを有するように再エンコードす
る。
【0008】
【発明が解決しようとする課題】以上の説明からも理解
できるように、放送局から各家庭にビデオプログラムが
伝送される間に、複数回の復号処理及び符号化処理が繰
り返されている。実際には、放送局における処理は上述
した信号処理以外にもさまざまな信号処理が必要であ
り、そのたびに復号処理及び符号化処理を繰り返さなけ
ればならない。
【0009】しかしながら、MPEG規格に基づく符号化処
理及び復号処理は、100%可逆の処理ではないことは
良く知られている。つまり、エンコードされる前のベー
スバンドのビデオデータと、デコードされた後のビデオ
データは100%同じでは無く、この符号化処理及び復
号処理によって画質が劣化している。つまり、上述した
ように、デコード処理及びエンコード処理を繰り返す
と、その処理の度に、画質が劣化してしまうと言う問題
があった。別の言葉で表現すると、デコード/エンコー
ド処理を繰り返す毎に、画質の劣化が蓄積されてしま
う。
【0010】本発明は、このような状況に鑑みてなされ
たものであり、MPEG規格に基づいて符号化された符号化
ビットストリームのGOP(Group of Pictures)の構造を
変更するために復号及び符号化処理を繰り返したとして
も画質劣化の発生しないトランスコーディングシステム
を実現できるようにするものである。
【0011】
【課題を解決するための手段】請求項1に記載の符号化
ストリーム記録装置は、入力された第1の符号化ストリ
ームの過去の符号化処理における符号化履歴を検出する
検出手段と、検出手段の検出結果を利用して、第1の符
号化ストリームを符号化して第2の符号化ストリームを
生成する符号化手段と、符号化手段により生成された第
2の符号化ストリームと、検出手段により検出された過
去の符号化処理における符号化履歴とを、記録媒体に記
録する記録手段とを備えることを特徴とする。
【0012】前記符号化手段には、MPEG方式で符号化を
行わせることができる。
【0013】前記記録手段には、符号化履歴を、MPEG方
式の第2の符号化ストリームのuser_dataとして多重化
して記録させることができる。
【0014】前記記録手段には、符号化履歴を、第2の
符号化ストリームに較べて、同期コードからより離れた
位置に多重化して記録させることができる。
【0015】請求項5に記載の符号化ストリーム記録方
法は、入力された第1の符号化ストリームの過去の符号
化処理における符号化履歴を検出する検出ステップと、
検出ステップの処理における検出結果を利用して、第1
の符号化ストリームを符号化して第2の符号化ストリー
ムを生成する符号化ステップと、符号化ステップの処理
により生成された第2の符号化ストリームと、検出ステ
ップの処理により検出された過去の符号化処理における
符号化履歴とを、記録媒体に記録する記録ステップとを
含むことを特徴とする。
【0016】請求項6に記載の記録媒体のプログラム
は、入力された第1の符号化ストリームの過去の符号化
処理における符号化履歴を検出する検出ステップと、検
出ステップの処理における検出結果を利用して、第1の
符号化ストリームを符号化して第2の符号化ストリーム
を生成する符号化ステップと、符号化ステップの処理に
より生成された第2の符号化ストリームと、検出ステッ
プの処理により検出された過去の符号化処理における符
号化履歴とを、記録媒体に記録する記録ステップとを含
むことを特徴とする。
【0017】請求項1に記載の符号化ストリーム記録装
置、請求項5に記載の符号化ストリーム記録方法、およ
び請求項6に記載の記録媒体のプログラムにいては、入
力された第1の符号化ストリームの過去の符号化処理に
おける符号化履歴が検出され、その検出結果を利用し
て、第2の符号化ストリームが生成され、生成された第
2の符号化ストリームと、検出された過去の符号化処理
における符号化履歴とが、記録媒体に記録される。
【0018】請求項7に記載の符号化ストリーム再生装
置は、記録媒体に記録されている第1の符号化ストリー
ムを再生する再生手段と、再生手段により再生された第
1の符号化ストリームの過去の符号化処理における符号
化履歴を検出する検出手段と、検出手段の検出結果を利
用して、第1の符号化ストリームを符号化して第2の符
号化ストリームを生成する符号化手段と、符号化手段に
より生成された第2の符号化ストリームと、検出手段に
より検出された過去の符号化処理における符号化履歴と
を、多重化して出力する出力手段とを備えることを特徴
とする。
【0019】前記符号化手段には、第1の符号化ストリ
ームをMPEG方式で符号化させることができる。
【0020】前記検出手段には、符号化履歴を、MPEG方
式の第1の符号化ストリームのuser_dataから検出させ
ることができる。また、検出手段には、符号化履歴を、
第1の符号化ストリームに較べて、同期コードからより
離れた位置から検出させることができる。
【0021】請求項11に記載の符号化ストリーム再生
方法は、記録媒体に記録されている第1の符号化ストリ
ームを再生する再生ステップと、再生ステップの処理に
より再生された第1の符号化ストリームの過去の符号化
処理における符号化履歴を検出する検出ステップと、検
出ステップの処理における検出結果を利用して、第1の
符号化ストリームを符号化して第2の符号化ストリーム
を生成する符号化ステップと、符号化ステップの処理に
より生成された第2の符号化ストリームと、検出ステッ
プの処理により検出された過去の符号化処理における符
号化履歴とを、多重化して出力する出力ステップとを含
むことを特徴とする。
【0022】請求項12に記載の記録媒体のプログラム
は、記録媒体に記録されている第1の符号化ストリーム
を再生する再生ステップと、再生ステップの処理により
再生された第1の符号化ストリームの過去の符号化処理
における符号化履歴を検出する検出ステップと、検出ス
テップの処理における検出結果を利用して、第1の符号
化ストリームを符号化して第2の符号化ストリームを生
成する符号化ステップと、符号化ステップの処理により
生成された第2の符号化ストリームと、前記検出ステッ
プの処理により検出された過去の符号化処理における符
号化履歴とを、多重化して出力する出力ステップとを含
むことを特徴とする。
【0023】請求項7に記載の符号化ストリーム再生装
置、請求項11に記載の符号化ストリーム再生方法、お
よび請求項12に記載の記録媒体のプログラムにいて
は、記録媒体から再生された第1の符号化ストリームの
過去の符号化処理における符号化履歴が検出され、その
検出結果を利用して、第2の符号化ストリームが生成さ
れ、生成された前記第2の符号化ストリームと、検出さ
れた過去の符号化処理における符号化履歴とが、多重化
して出力される。
【0024】請求項13に記載のトランスコーディング
システムは、入力符号化ビデオストリームを復号してビ
デオデータを生成するとともに、入力符号化ビデオスト
リームから過去の符号化処理により生成された過去の符
号化パラメータを抽出する復号手段と、現在の符号化処
理として、ビデオデータを符号化し、符号化ビデオスト
リームを生成する符号化手段と、過去の符号化パラメー
タを受け取り、過去の符号化パラメータに基づいて、符
号化手段の現在の符号化処理を制御する制御手段とを備
えることを特徴とする。
【0025】請求項13に記載のトランスコーディング
システムにおいては、入力符号化ビデオストリームを復
号してビデオデータが生成されるとともに、入力符号化
ビデオストリームから過去の符号化処理により生成され
た過去の符号化パラメータが抽出され、現在の符号化処
理として、ビデオデータを符号化し、符号化ビデオスト
リームが生成され、過去の符号化パラメータを受け取
り、過去の符号化パラメータに基づいて、現在の符号化
処理が制御される。
【0026】前記符号化手段には、現在の符号化処理に
おいて、入力ビデオデータに含まれる参照ピクチャに割
り当てられた現在のピクチャタイプで、参照ピクチャを
エンコードさせ、制御手段には、過去の符号化処理にお
いて割り当てられたピクチャタイプと同一のピクチャタ
イプに参照ピクチャが符号化されたか否かを判定し、そ
の判定結果に基づいて、現在の符号化処理を制御させる
ようにすることができる。
【0027】前記符号化手段には、ビデオデータに含ま
れる参照ピクチャを、現在の符号化処理において、参照
ピクチャに割り当てられた現在のピクチャタイプで符号
化させ、制御手段には、現在の符号化処理において、参
照ピクチャに割り当てられた過去のピクチャタイプを、
過去の符号化パラメータを参照することで検出し、現在
のピクチャタイプと過去のピクチャタイプに基づいて現
在の符号化処理を制御させるようにすることができる。
【0028】前記制御手段には、判定に基づいて、過去
の符号化パラメータから最適な符号化パラメータを選択
し、選択された最適な符号化パラメータに基づいて、符
号化手段の現在の符号化処理を制御させるようにするこ
とができる。
【0029】前記制御手段には、参照ピクチャを、過去
の符号化処理において発生された過去の符号化パラメー
タの1つを使用して符号化させるようにすることができ
る。
【0030】前記過去の符号化パラメータには、過去の
符号化処理において生成された動きベクトル情報を含ま
せ、符号化手段には、現在の符号化処理において、参照
ピクチャの動きベクトル情報を検出するための動きベク
トル検出手段を含ませるようにすることができる。
【0031】前記制御手段には、判断の結果に基づい
て、動きベクトル検出手段の動作を制御させるようにす
ることができる。
【0032】前記制御手段には、動きベクトル検出手段
における新たな動きベクトル情報の計算の代わりに、過
去の符号化パラメータに含まれる、動きベクトル情報を
再使用させるようにすることができる。
【0033】前記参照ピクチャが過去の符号化処理にお
いて、現在のピクチャタイプと同一のピクチャタイプで
符号化されている場合、制御手段には、過去の符号化処
理に含まれる動きベクトル情報を再使用させるようにす
ることができる。
【0034】前記参照ピクチャが過去の符号化処理にお
いて、割り当てられたピクチャタイプで符号化されてい
ない場合、制御手段には、新たな動きベクトル情報が、
動きベクトル検出手段により検出されたように動きベク
トル検出手段を制御させるようにすることができる。
【0035】前記制御手段には、過去の符号化パラメー
タから、現在の符号化処理に対応する最適な符号化パラ
メータを選択し、最適な符号化パラメータに基づいて、
符号化手段の現在の符号化処理を制御させるようにする
ことができる。
【0036】前記符号化手段には、現在の符号化処理に
おいて、参照ピクチャに割り当てられた現在のピクチャ
タイプで入力ビデオデータに含まれる参照ピクチャを符
号化させ、制御手段には、参照ピクチャが過去の符号化
処理において割り当てられたピクチャタイプと同一のピ
クチャタイプに符号化されたか否かを判定し、その判定
結果に基づいて、最適な符号化パラメータを選択させる
ようにすることができる。
【0037】前記過去の符号化パラメータには、フレー
ム予測モードまたはフィールド予測モードを表す予測モ
ード情報を含ませ、制御手段には、予測モード情報に対
応して、現在の符号化処理を制御させるようにすること
ができる。
【0038】前記参照ピクチャが、過去の符号化処理に
おいて、過去のピクチャタイプと同一のピクチャタイプ
で符号化されている場合、制御手段には、新たな予測モ
ード情報の計算に代えて、過去の符号化パラメータに含
まれる予測モード情報を再使用させるようにすることが
できる。
【0039】前記符号化パラメータには、イントラ予
測、前方予測、後方予測、または双方向予測を示す予測
タイプ情報を含ませ、制御手段には、予測タイプ情報に
基づいて、現在の符号化処理を制御させるようにするこ
とができる。
【0040】前記参照ピクチャが、過去の符号化処理に
おいて、現在のピクチャタイプと同一のピクチャタイプ
で符号化されている場合、制御手段には、新たな予測タ
イプ情報の計算に代えて、過去の符号化パラメータに含
まれる予測タイプ情報を再使用させるようにすることが
できる。
【0041】前記符号化パラメータには、フレームDCT
モードまたはフィールドDCTモードを表すDCTモード情報
を含ませ、制御手段には、DCTモード情報に基づいて、
現在の符号化処理を制御させるようにすることができ
る。
【0042】前記参照ピクチャが過去の符号化処理にお
いて、現在のピクチャタイプと同一のピクチャタイプで
符号化されている場合、制御手段には、新たなDCTモー
ド情報の計算に代えて、過去の符号化パラメータに含ま
れる、DCTモード情報を再使用させるようにすることが
できる。
【0043】前記制御手段には、符号化手段の現在の符
号化処理に対応する現在の符号化パラメータを生成させ
るようにすることができる。
【0044】前記制御手段には、現在の符号化パラメー
タと過去の符号化パラメータから、現在の符号化処理に
対応する最適な符号化パラメータを選択し、最適な符号
化パラメータに基づいて、符号化手段の現在の符号化処
理を制御させるようにすることができる。
【0045】前記符号化手段には、入力ビデオデータに
含まれる参照ピクチャを、現在の符号化処理において、
参照ピクチャに割り当てられた現在のピクチャタイプで
符号化させ、制御手段には、参照ピクチャが過去の符号
化処理において、割り当てられたピクチャタイプと同一
のピクチャタイプで符号化されたか否かを判定し、その
判定結果に基づいて最適な符号化パラメータを選択させ
るようにすることができる。
【0046】前記過去の符号化パラメータには、過去の
符号化処理において生成された量子化情報を含ませ、符
号化手段には、現在の符号化処理において、参照ピクチ
ャを量子化する量子化手段を含ませるようにすることが
できる。
【0047】前記制御手段には、符号化ビデオストリー
ムを蓄積する伝送バッファの残量を表すバッファ情報を
受け取り、バッファ情報に基づいて、伝送バッファのオ
ーバーフローおよびアンダーフローを阻止するように、
量子化手段を制御させるようにすることができる。
【0048】前記制御手段には、バッファ情報から抽出
した量子化ステップサイズ、および過去の符号化パラメ
ータに含まれる量子化情報から抽出した量子化ステップ
サイズに基づいて、量子化手段を制御させるようにする
ことができる。
【0049】前記制御手段には、バッファ情報に対応す
る量子化ステップサイズと、量子化情報に対応する量子
化ステップサイズから選択した最も大きい量子化ステッ
プサイズを使用して、量子化手段を制御させるようにす
ることができる。
【0050】前記制御手段には、符号化手段が過去の符
号化パラメータを符号化ビデオストリームに記述するよ
うに制御させるようにすることができる。
【0051】前記符号化手段には、シーケンスレイヤ、
GOPレイヤ、ピクチャレイヤ、スライスレイヤ、および
マクロブロックレイヤを有するMPEG標準に従ったMPEGビ
ットストリームを、符号化ビデオストリームを処理して
生成する処理手段を持たせるようにすることができる。
【0052】前記制御手段には、符号化手段の現在の符
号化処理に対応する現在の符号化パラメータを生成し、
処理手段には、現在の符号化パラメータをピクチャレイ
ヤ、スライスレイヤ、およびマクロブロックレイヤに記
述し、過去の符号化パラメータをピクチャレイヤのユー
ザデータエリアに記述させるようにすることができる。
【0053】前記処理手段には、ユーザデータエリア
に、過去の符号化パラメータを記述するために、過去の
符号化パラメータを含むヒストリストリームを生成させ
るようにすることができる。
【0054】前記処理手段には、MPEG標準に規定されて
いるスタートコードのエミレーションを防止するため
に、ヒストリストリームにマーカビットを挿入し、マー
カビットが挿入されたヒストリストリームをピクチャレ
イヤのユーザデータエリアに記述させるようにすること
ができる。
【0055】請求項43に記載の変換方法は、入力符号
化ビデオストリームを復号し、復号ビデオデータを生成
する生成ステップと、入力符号化ビデオストリームから
過去の符号化処理において生成された符号化パラメータ
を抽出する抽出ステップと、現在の符号化処理により、
符号化ビデオストリームを生成するように、ビデオデー
タを符号化する符号化ステップと、生成された過去の符
号化パラメータを受け取る受け取りステップと、過去の
符号化パラメータに基づいて、符号化ステップの処理の
現在の符号化処理を制御する制御ステップとを含むこと
を特徴とする。
【0056】請求項43に記載の変換方法においては、
入力符号化ビデオストリームを復号し、復号ビデオデー
タが生成され、入力符号化ビデオストリームから過去の
符号化処理において生成された符号化パラメータが抽出
され、現在の符号化処理により、符号化ビデオストリー
ムを生成するように、ビデオデータが符号化され、生成
された過去の符号化パラメータが受け取られ、過去の符
号化パラメータに基づいて、現在の符号化処理が制御さ
れる。
【0057】請求項44に記載のトランスコーディング
システムは、入力符号化ビデオストリームを復号して、
復号ビデオデータを生成し、入力符号化ビデオストリー
ムから過去の符号化処理により生成された過去の符号化
パラメータを抽出し、過去の符号化パラメータをヒスト
リ情報として出力する復号手段と、復号されたビデオデ
ータを符号化し、符号化ビデオストリームを現在の符号
化処理として生成する符号化手段と、過去の符号化パラ
メータを含む、ヒストリ情報を受け取り、過去の符号化
パラメータを選択的に使用することで、現在の符号化処
理が最適化されるように、ヒストリ情報に基づいて、符
号化手段の現在の符号化処理を制御する制御手段とを備
えることを特徴とする。
【0058】請求項44に記載のトランスコーディング
システムにおいては、入力符号化ビデオストリームを復
号して、復号ビデオデータが生成され、入力符号化ビデ
オストリームから過去の符号化処理により生成された過
去の符号化パラメータが抽出され、過去の符号化パラメ
ータをヒストリ情報として出力され、復号されたビデオ
データが符号化され、符号化ビデオストリームが現在の
符号化処理として生成され、過去の符号化パラメータを
含む、ヒストリ情報が受け取られ、過去の符号化パラメ
ータを選択的に使用することで、現在の符号化処理が最
適化されるように、ヒストリ情報に基づいて、現在の符
号化処理が制御される。
【0059】請求項45に記載の変換方法は、入力符号
化ビデオストリームを復号し、復号ビデオデータを生成
する復号ステップと、入力符号化ビデオストリームか
ら、過去の符号化処理により生成された過去の符号化パ
ラメータを抽出する抽出ステップと、過去の符号化パラ
メータをヒストリ情報として出力する出力ステップと、
現在の符号化処理として、復号ビデオデータを符号化
し、符号化ビデオストリームを生成する生成ステップ
と、過去の符号化パラメータを含むヒストリ情報を受け
取る受け取りステップと、現在の符号化処理が、過去の
符号化パラメータを選択的に使用することで最適化され
るように、ヒストリ情報に基づいて、符号化ステップ処
理での現在の符号化処理を制御する制御ステップとを含
むことを特徴とする。
【0060】請求項45に記載の変換方法においては、
入力符号化ビデオストリームを復号し、復号ビデオデー
タが生成され、入力符号化ビデオストリームから、過去
の符号化処理により生成された過去の符号化パラメータ
が抽出され、過去の符号化パラメータがヒストリ情報と
して出力され、現在の符号化処理として、復号ビデオデ
ータを符号化し、符号化ビデオストリームが生成され、
過去の符号化パラメータを含むヒストリ情報が受け取ら
れ、現在の符号化処理が、過去の符号化パラメータを選
択的に使用することで最適化されるように、ヒストリ情
報に基づいて、現在の符号化処理が制御される。
【0061】請求項46に記載のトランスコーディング
システムは、入力符号化ビデオストリームを復号して、
復号ビデオデータを生成し、入力符号化ビデオストリー
ムから、過去の符号化処理により生成された過去の符号
化パラメータを抽出する復号手段と、現在の符号化処理
として、復号ビデオデータを符号化し、符号化ビデオス
トリームを生成する符号化手段と、過去の符号化パラメ
ータを受け取り、過去の符号化パラメータから現在の符
号化処理に対応する最適な符号化パラメータを選択し、
最適な符号化パラメータに基づいて、符号化手段の現在
の符号化処理を制御する制御手段とを備えることを特徴
とする。
【0062】請求項46に記載のトランスコーディング
システムにおいては、入力符号化ビデオストリームを復
号して、復号ビデオデータが生成され、入力符号化ビデ
オストリームから、過去の符号化処理により生成された
過去の符号化パラメータが抽出され、現在の符号化処理
として、復号ビデオデータを符号化し、符号化ビデオス
トリームが生成され、過去の符号化パラメータを受け取
り、過去の符号化パラメータから現在の符号化処理に対
応する最適な符号化パラメータを選択し、最適な符号化
パラメータに基づいて、現在の符号化処理が制御され
る。
【0063】請求項47に記載の変換方法は、入力符号
化ビデオストリームを復号し、復号ビデオデータを生成
する復号ステップと、入力符号化ビデオストリームか
ら、過去の符号化処理により生成された過去の符号化パ
ラメータを抽出する抽出ステップと、現在の符号化処理
として、復号ビデオデータを符号化し、符号化ビデオス
トリームを生成する生成ステップと、過去の符号化パラ
メータを受け取る受け取りステップと、過去の符号化パ
ラメータから現在の符号化処理に対応する最適な符号化
パラメータを選択する選択ステップと、最適な符号化パ
ラメータに基づいて、符号化ステップの処理での現在の
符号化処理を制御する制御ステップとを含むことを特徴
とする。
【0064】請求項47に記載の変換方法においては、
入力符号化ビデオストリームを復号し、復号ビデオデー
タが生成され、入力符号化ビデオストリームから、過去
の符号化処理により生成された過去の符号化パラメータ
が抽出され、現在の符号化処理として、復号ビデオデー
タを符号化し、符号化ビデオストリームが生成され、過
去の符号化パラメータが受け取られ、過去の符号化パラ
メータから現在の符号化処理に対応する最適な符号化パ
ラメータが選択され、最適な符号化パラメータに基づい
て、現在の符号化処理が制御される。
【0065】請求項48に記載のトランスコーディング
システムは、入力符号化ビデオストリームを復号して、
復号ビデオデータを生成し、入力符号化ビデオストリー
ムから、過去の符号化処理により生成された過去の符号
化パラメータを抽出する復号手段と、割り当てられたピ
クチャタイプで、符号化ビデオデータに含まれる参照ピ
クチャを符号化する符号化手段と、過去の符号化処理に
おいて生成された過去の符号化パラメータを受け取り、
割り当てられたピクチャタイプに従って、過去の符号化
パラメータから最適な符号化パラメータを選択し、最適
な符号化パラメータに基づいて、符号化手段の現在の符
号化処理を制御する制御手段とを備えることを特徴とす
る。
【0066】請求項48に記載のトランスコーディング
システムにおいては、入力符号化ビデオストリームを復
号して、復号ビデオデータが生成され、入力符号化ビデ
オストリームから、過去の符号化処理により生成された
過去の符号化パラメータが抽出され、割り当てられたピ
クチャタイプで、符号化ビデオデータに含まれる参照ピ
クチャが符号化され、過去の符号化処理において生成さ
れた過去の符号化パラメータを受け取り、割り当てられ
たピクチャタイプに従って、過去の符号化パラメータか
ら最適な符号化パラメータを選択し、最適な符号化パラ
メータに基づいて、現在の符号化処理が制御される。
【0067】請求項49に記載の変換方法は、入力符号
化ビデオストリームを復号して、復号ビデオデータを生
成する生成ステップと、入力符号化ビデオストリームか
ら、過去の符号化処理により生成された過去の符号化パ
ラメータを抽出する抽出ステップと、割り当てられたピ
クチャタイプで、符号化ビデオデータに含まれる参照ピ
クチャを符号化する符号化ステップと、過去の符号化処
理において生成された過去の符号化パラメータを受け取
る受け取りステップと、割り当てられたピクチャタイプ
に従って、過去の符号化パラメータから最適な符号化パ
ラメータを選択する選択ステップと、最適な符号化パラ
メータに基づいて、符号化ステップの処理での現在の符
号化処理を制御する制御ステップとを含むことを特徴と
する。
【0068】請求項49に記載の変換方法においては、
入力符号化ビデオストリームを復号して、復号ビデオデ
ータが生成され、入力符号化ビデオストリームから、過
去の符号化処理により生成された過去の符号化パラメー
タが抽出され、割り当てられたピクチャタイプで、符号
化ビデオデータに含まれる参照ピクチャが符号化され、
過去の符号化処理において生成された過去の符号化パラ
メータが受け取られ、割り当てられたピクチャタイプに
従って、過去の符号化パラメータから最適な符号化パラ
メータが選択され、最適な符号化パラメータに基づい
て、現在の符号化処理が制御される。
【0069】請求項50に記載のトランスコーディング
システムは、入力符号化ビデオストリームを復号して、
復号ビデオデータを生成し、入力符号化ビデオストリー
ムから、過去の符号化処理により生成された過去の符号
化パラメータを抽出する復号手段と、割り当てられたピ
クチャタイプで、復号ビデオデータに含まれる参照ピク
チャを符号化する符号化手段と、参照ピクチャが過去の
符号化処理において、割り当てられたピクチャタイプで
符号化されたか否かを判定し、その判定結果に基づい
て、符号化手段の現在の符号化処理を制御する制御手段
とを備えることを特徴とする。
【0070】請求項50に記載のトランスコーディング
システムにおいては、入力符号化ビデオストリームを復
号して、復号ビデオデータが生成され、入力符号化ビデ
オストリームから、過去の符号化処理により生成された
過去の符号化パラメータが抽出され、割り当てられたピ
クチャタイプで、復号ビデオデータに含まれる参照ピク
チャが符号化され、参照ピクチャが過去の符号化処理に
おいて、割り当てられたピクチャタイプで符号化された
か否かを判定し、その判定結果に基づいて、現在の符号
化処理が制御される。
【0071】請求項51に記載の変換方法は、入力符号
化ビデオストリームを復号して、復号ビデオデータを生
成する復号ステップと、入力符号化ビデオストリームか
ら、過去の符号化処理により生成された過去の符号化パ
ラメータを抽出する抽出ステップと、割り当てられたピ
クチャタイプで、復号ビデオデータに含まれる参照ピク
チャを符号化する符号化ステップと、参照ピクチャが過
去の符号化処理において、割り当てられたピクチャタイ
プで符号化されたか否かを判定する判定ステップと、判
定の結果に基づいて、符号化ステップでの現在の符号化
処理を制御する制御ステップとを含むことを特徴とす
る。
【0072】請求項51に記載の変換方法においては、
入力符号化ビデオストリームを復号して、復号ビデオデ
ータが生成され、入力符号化ビデオストリームから、過
去の符号化処理により生成された過去の符号化パラメー
タが抽出され、割り当てられたピクチャタイプで、復号
ビデオデータに含まれる参照ピクチャが符号化され、参
照ピクチャが過去の符号化処理において、割り当てられ
たピクチャタイプで符号化されたか否かが判定され、判
定の結果に基づいて、現在の符号化処理が制御される。
【0073】請求項52に記載のトランスコーディング
システムは、入力符号化ビデオストリームを復号して、
復号ビデオデータを生成し、入力符号化ビデオストリー
ムから、過去の符号化処理により生成された過去の符号
化パラメータを抽出する復号手段と、現在の符号化処理
として、復号ビデオデータを符号化し、符号化ビデオス
トリームを生成する符号化手段と、符号化ビデオストリ
ーム、現在の符号化処理において生成された現在の符号
化パラメータ、並びに過去の符号化処理において生成さ
れた過去の符号化パラメータを含むMPEGストリームを生
成するストリーム生成手段とを備えることを特徴とす
る。
【0074】請求項52に記載のトランスコーディング
システムにおいては、入力符号化ビデオストリームを復
号して、復号ビデオデータが生成され、入力符号化ビデ
オストリームから、過去の符号化処理により生成された
過去の符号化パラメータが抽出され、現在の符号化処理
として、復号ビデオデータが符号化され、符号化ビデオ
ストリームが生成され、符号化ビデオストリーム、現在
の符号化処理において生成された現在の符号化パラメー
タ、並びに過去の符号化処理において生成された過去の
符号化パラメータを含むMPEGストリームが生成される。
【0075】請求項53に記載の変換方法は、入力符号
化ビデオストリームを復号して、復号ビデオデータを生
成する復号ビデオデータ生成ステップと、入力符号化ビ
デオストリームから、過去の符号化処理において生成さ
れた過去の符号化パラメータを抽出する抽出ステップ
と、現在の符号化処理として、復号ビデオデータを符号
化し、符号化ビデオストリームを生成する符号化ビデオ
ストリーム生成ステップと、符号化ビデオストリーム、
現在の符号化処理において生成された現在の符号化パラ
メータ、並びに過去の符号化処理において生成された過
去の符号化パラメータを含むMPEGストリームを生成する
MPEGストリーム生成ステップとを含むことを特徴とす
る。
【0076】請求項53に記載の変換方法においては、
入力符号化ビデオストリームを復号して、復号ビデオデ
ータが生成され、入力符号化ビデオストリームから、過
去の符号化処理において生成された過去の符号化パラメ
ータが抽出され、現在の符号化処理として、復号ビデオ
データを符号化し、符号化ビデオストリームが生成さ
れ、符号化ビデオストリーム、現在の符号化処理におい
て生成された現在の符号化パラメータ、並びに過去の符
号化処理において生成された過去の符号化パラメータを
含むMPEGストリームが生成される。
【0077】請求項54に記載のトランスコーディング
システムは、入力符号化ビデオストリームを復号して、
復号ビデオデータを生成し、入力符号化ビデオストリー
ムから、過去の符号化処理により生成された過去の符号
化パラメータを抽出する復号手段と、現在の符号化処理
として、復号ビデオデータを符号化し、符号化ビデオス
トリームを生成する符号化手段と、シーケンスレイヤ、
GOPレイヤ、ピクチャレイヤ、スライスレイヤ、および
マクロブロックレイヤを含むMPEGビットストリームを生
成するストリーム生成手段とを備え、各レイヤは、現在
の符号化処理において生成された現在の符号化パラメー
タを含み、ピクチャレイヤはさらに、過去の符号化処理
において生成された過去の符号化パラメータを含むこと
を特徴とする。
【0078】請求項54に記載のトランスコーディング
システムにおいては、入力符号化ビデオストリームを復
号して、復号ビデオデータが生成され、入力符号化ビデ
オストリームから、過去の符号化処理により生成された
過去の符号化パラメータが抽出され、現在の符号化処理
として、復号ビデオデータを符号化し、符号化ビデオス
トリームが生成され、シーケンスレイヤ、GOPレイヤ、
ピクチャレイヤ、スライスレイヤ、およびマクロブロッ
クレイヤを含むMPEGビットストリームが生成される。各
レイヤは、現在の符号化処理において生成された現在の
符号化パラメータを含み、ピクチャレイヤはさらに、過
去の符号化処理において生成された過去の符号化パラメ
ータを含む。
【0079】請求項55に記載の変換方法は、入力符号
化ビデオストリームを復号して、復号ビデオデータを生
成する復号ビデオデータ生成ステップと、入力符号化ビ
デオストリームから、過去の符号化処理により生成され
た過去の符号化パラメータを抽出する抽出ステップと、
現在の符号化処理として、復号ビデオデータを符号化
し、符号化ビデオストリームを生成する符号化ビデオス
トリーム生成ステップと、シーケンスレイヤ、GOPレイ
ヤ、ピクチャレイヤ、スライスレイヤ、およびマクロブ
ロックレイヤを含むMPEGビットストリームを生成するMP
EGビットストリーム生成ステップとを含み、各レイヤ
は、現在の符号化処理において生成された現在の符号化
パラメータを含み、ピクチャレイヤはさらに、過去の符
号化処理において生成された過去の符号化パラメータを
含むことを特徴とする。
【0080】請求項55に記載の変換方法においては、
入力符号化ビデオストリームを復号して、復号ビデオデ
ータが生成され、入力符号化ビデオストリームから、過
去の符号化処理により生成された過去の符号化パラメー
タが抽出され、現在の符号化処理として、復号ビデオデ
ータを符号化し、符号化ビデオストリームが生成され、
シーケンスレイヤ、GOPレイヤ、ピクチャレイヤ、スラ
イスレイヤ、およびマクロブロックレイヤを含むMPEGビ
ットストリームが生成される。各レイヤは、現在の符号
化処理において生成された現在の符号化パラメータを含
み、ピクチャレイヤはさらに、過去の符号化処理におい
て生成された過去の符号化パラメータを含む。
【0081】請求項56に記載のトランスコーディング
システムは、入力符号化ビデオストリームを復号して、
復号ビデオデータを生成し、入力符号化ビデオストリー
ムから過去の符号化処理により生成された過去の符号化
パラメータを抽出する復号手段と、過去の符号化パラメ
ータを参照することにより、現在の符号化処理として、
復号ビデオデータを符号化し、符号化ビデオストリーム
を生成する符号化手段と、過去の符号化パラメータを符
号化ビデオストリームに記述する記述手段と、過去の符
号化パラメータが記述されている符号化ビデオストリー
ムを出力する出力手段とを備えることを特徴とする。
【0082】請求項56に記載のトランスコーディング
システムにおいては、入力符号化ビデオストリームを復
号して、復号ビデオデータが生成され、入力符号化ビデ
オストリームから過去の符号化処理により生成された過
去の符号化パラメータが抽出され、過去の符号化パラメ
ータを参照することにより、現在の符号化処理として、
復号ビデオデータを符号化し、符号化ビデオストリーム
が生成され、過去の符号化パラメータが符号化ビデオス
トリームに記述され、過去の符号化パラメータが記述さ
れている符号化ビデオストリームが出力される。
【0083】請求項57に記載の変換方法は、入力符号
化ビデオストリームを復号して、復号ビデオデータを生
成する復号ビデオデータ生成ステップと、入力符号化ビ
デオストリームから過去の符号化処理により生成された
過去の符号化パラメータを抽出する抽出ステップと、過
去の符号化パラメータを参照することにより、現在の符
号化処理として、復号ビデオデータを符号化し、符号化
ビデオストリームを生成する符号化ステップと、過去の
符号化パラメータを符号化ビデオストリームに記述する
記述ステップと、過去のパラメータが記述されている符
号化ビデオストリームを出力する出力ステップとを含む
ことを特徴とする。
【0084】請求項57に記載の変換方法においては、
入力符号化ビデオストリームを復号して、復号ビデオデ
ータが生成され、入力符号化ビデオストリームから過去
の符号化処理により生成された過去の符号化パラメータ
が抽出され、過去の符号化パラメータを参照することに
より、現在の符号化処理として、復号ビデオデータを符
号化し、符号化ビデオストリームが生成され、過去の符
号化パラメータが符号化ビデオストリームに記述され、
過去のパラメータが記述されている符号化ビデオストリ
ームが出力される。
【0085】請求項58に記載のトランスコーディング
システムは、入力符号化ビデオストリームを復号して、
復号ビデオデータを生成する復号ビデオデータ生成手段
と、入力符号化ビデオストリームから、過去の符号化処
理により生成された以前の符号化パラメータを含むヒス
トリ情報を抽出する抽出手段と、ヒストリ情報を参照す
ることにより、現在の符号化処理として、復号ビデオデ
ータを符号化し、符号化ビデオストリームを生成する符
号化ビデオストリーム生成手段と、ヒストリ情報が、将
来の符号化処理において利用できるように、符号化スト
リームに記述する記述手段とを備えることを特徴とす
る。
【0086】請求項58に記載のトランスコーディング
システムにおいては、入力符号化ビデオストリームを復
号して、復号ビデオデータが生成され、入力符号化ビデ
オストリームから、過去の符号化処理により生成された
以前の符号化パラメータを含むヒストリ情報が抽出さ
れ、ヒストリ情報を参照することにより、現在の符号化
処理として、復号ビデオデータを符号化し、符号化ビデ
オストリームが生成され、ヒストリ情報が、将来の符号
化処理において利用できるように、符号化ストリームに
記述される。
【0087】請求項59に記載の変換方法は、入力符号
化ビデオストリームを復号して、復号ビデオデータを生
成する復号ビデオデータ生成ステップと、入力符号化ビ
デオストリームから、過去の符号化処理により生成され
た前の符号化パラメータを含むヒストリ情報を抽出する
抽出ステップと、ヒストリ情報を参照することにより、
現在の符号化処理として、復号ビデオデータを符号化
し、符号化ビデオストリームを生成する符号化ビデオス
トリーム生成ステップと、ヒストリ情報が、将来の符号
化処理において利用できるように符号化ストリームにヒ
ストリ情報を記述する記述ステップとを含むことを特徴
とする。
【0088】請求項59に記載の変換方法においては、
入力符号化ビデオストリームを復号して、復号ビデオデ
ータが生成され、入力符号化ビデオストリームから、過
去の符号化処理により生成された前の符号化パラメータ
を含むヒストリ情報が抽出され、ヒストリ情報を参照す
ることにより、現在の符号化処理として、復号ビデオデ
ータを符号化し、符号化ビデオストリームが生成され、
ヒストリ情報が、将来の符号化処理において利用できる
ように符号化ストリームにヒストリ情報が記述される。
【0089】請求項60に記載のトランスコーディング
システムは、直近の符号化処理の符号化パラメータに基
づいて、入力符号化ビデオストリームを復号してベース
バンドビデオデータを生成し、過去の符号化処理の過去
の符号化パラメータを抽出し、直近および過去の符号化
処理の符号化パラメータをベースバンドビデオデータに
多重化する復号手段と、新たな符号化ビデオストリーム
のビットレートまたはGOP構造が、入力符号化ビデオス
トリームのビットレートまたはGOP構造と異なるよう
に、直近および過去の符号化処理の符号化パラメータに
基づいて、ベースバンドビデオデータを符号化し、新た
な符号化ビデオストリームを生成する符号化手段とを備
えることを特徴とする。
【0090】請求項60に記載のトランスコーディング
システムにおいては、直近の符号化処理の符号化パラメ
ータに基づいて、入力符号化ビデオストリームを復号し
てベースバンドビデオデータを生成し、過去の符号化処
理の過去の符号化パラメータを抽出し、直近および過去
の符号化処理の符号化パラメータがベースバンドビデオ
データに多重化され、新たな符号化ビデオストリームの
ビットレートまたはGOP構造が、入力符号化ビデオスト
リームのビットレートまたはGOP構造と異なるように、
直近および過去の符号化処理の符号化パラメータに基づ
いて、ベースバンドビデオデータを符号化し、新たな符
号化ビデオストリームが生成される。
【0091】請求項61に記載の変換方法は、直近の符
号化処理の符号化パラメータに基づいて、入力符号化ビ
デオストリームを符号化して、ベースバンドビデオデー
タを生成するベースバンドビデオデータ生成ステップ
と、過去の符号化処理の過去の符号化パラメータを抽出
する抽出ステップと、直近および過去の符号化処理の符
号化パラメータをベースバンドビデオデータに多重化す
る多重化ステップと、新たな符号化ビデオストリームの
ビットレートまたはGOP構造が、入力符号化ビデオスト
リームのビットレートまたはGOP構造と異なるように、
直近および過去の符号化処理の符号化パラメータに基づ
いて、ベースバンドビデオデータを符号化して、新たな
符号化ビデオストリームを生成する符号化ビデオストリ
ーム生成ステップとを含むことを特徴とする。
【0092】請求項61に記載の変換方法においては、
直近の符号化処理の符号化パラメータに基づいて、入力
符号化ビデオストリームを符号化して、ベースバンドビ
デオデータが生成され、過去の符号化処理の過去の符号
化パラメータが抽出され、直近および過去の符号化処理
の符号化パラメータがベースバンドビデオデータに多重
化され、新たな符号化ビデオストリームのビットレート
またはGOP構造が、入力符号化ビデオストリームのビッ
トレートまたはGOP構造と異なるように、直近および過
去の符号化処理の符号化パラメータに基づいて、ベース
バンドビデオデータを符号化して、新たな符号化ビデオ
ストリームが生成される。
【0093】請求項62に記載のビデオ符号化装置は、
現在の符号化処理として、入力ビデオデータを符号化し
て、符号化ビデオストリームを生成する符号化手段と、
過去の符号化処理により生成された過去の符号化パラメ
ータを受け取り、過去の符号化パラメータに基づいて、
符号化手段の現在の符号化処理を制御する制御手段とを
備えることを特徴とする。
【0094】請求項62に記載のビデオ符号化装置にお
いては、現在の符号化処理として、入力ビデオデータを
符号化して、符号化ビデオストリームが生成され、過去
の符号化処理により生成された過去の符号化パラメータ
を受け取り、過去の符号化パラメータに基づいて、現在
の符号化処理が制御される。
【0095】前記符号化手段には、現在の符号化処理に
おいて、入力ビデオデータに含まれる参照ピクチャを、
参照ピクチャに割り当てられた現在のピクチャタイプで
符号化させ、制御手段には、参照ピクチャが過去の符号
化処理において、割り当てられたピクチャタイプと同一
のピクチャタイプで符号化されたか否かを判定し、現在
の符号化処理を判定結果に基づいて制御させるようにす
ることができる。
【0096】前記符号化手段には、現在の符号化処理に
おいて、入力ビデオデータに含まれる参照ピクチャを、
割り当てられた現在のピクチャタイプで符号化させ、制
御手段には、現在の符号化処理で、参照ピクチャに割り
当てられた過去のピクチャタイプを、過去の符号化パラ
メータを参照することにより検出し、現在のピクチャタ
イプおよび過去のピクチャタイプに基づいて、現在の符
号化処理を制御させるようにすることができる。
【0097】前記制御手段には、判定結果に従って、過
去の符号化パラメータから最適な符号化パラメータを選
択し、選択した最適な符号化パラメータに基づいて、符
号化手段の現在の符号化処理を制御させるようにするこ
とができる。
【0098】前記制御手段には、1つの過去の符号化処
理で生成された過去の符号化パラメータを使用して参照
ピクチャを符号化させるようにすることができる。
【0099】前記過去の符号化パラメータには、過去の
符号化処理において生成された動きベクトルを含ませ、
符号化手段には、現在の符号化処理において、参照ピク
チャの動きベクトル情報を検出する動きベクトル検出手
段を含ませるようにすることができる。
【0100】前記制御手段には、判定結果に基づいて動
きベクトル検出手段の処理を制御させるようにすること
ができる。
【0101】前記制御手段には、動きベクトル検出手段
において、新たな動きベクトル情報を計算する代わり
に、過去の符号化パラメータに含まれる動きベクトル情
報を再使用させるようにすることができる。
【0102】前記参照ピクチャが、過去の符号化処理に
おいて、現在のピクチャタイプと同一のピクチャタイプ
で符号化されている場合、制御手段には、過去の符号化
処理に含まれる動きベクトル情報を再使用させるように
することができる。
【0103】前記制御手段には、参照ピクチャが、過去
の符号化処理において、割り当てられたピクチャタイプ
で符号化されていない場合、新たな動きベクトル情報
が、動きベクトル検出手段で検出されたように、動きベ
クトル検出手段を制御させるようにすることができる。
【0104】前記制御手段には、過去の符号化パラメー
タから、現在の符号化処理に対応する最適な符号化パラ
メータを選択し、最適な符号化パラメータに基づいて、
符号化手段の現在の符号化処理を制御させるようにする
ことができる。
【0105】前記符号化手段には、現在の符号化処理に
おいて、入力ビデオデータに含まれる参照ピクチャを、
割り当てられた現在のピクチャタイプで符号化させ、制
御手段には、参照ピクチャが、過去の符号化処理におい
て、割り当てられたピクチャタイプと同一のピクチャタ
イプで符号化されたか否かを判定し、判定結果に基づい
て、最適な符号化パラメータを選択させるようにするこ
とができる。
【0106】前記過去の符号化パラメータには、フレー
ム予測モードまたはフィールド予測モードを表す予測モ
ード情報を含ませ、制御手段には、予測モード情報に従
って、現在の符号化処理を制御させるようにすることが
できる。
【0107】前記参照ピクチャが、過去の符号化処理に
おいて、現在のピクチャタイプと同一のピクチャタイプ
で符号化されている場合、新たな予測モード情報を計算
する代わりに、過去の符号化パラメータに含まれる予測
モード情報を再使用させるようにすることができる。
【0108】前記符号化パラメータには、イントラ予
測、前方予測、後方予測、または両方向予測を表す予測
タイプ情報を含ませ、制御手段には、予測タイプ情報に
基づいて、現在の符号化処理を制御させるようにするこ
とができる。
【0109】前記制御手段には、参照ピクチャが、現在
のピクチャタイプと同一のピクチャタイプで過去の符号
化処理において符号化されている場合、新たな予測タイ
プ情報を計算する代わりに、過去の符号化パラメータに
含まれる予測タイプ情報を再使用させるようにすること
ができる。
【0110】前記符号化パラメータには、フレームDCT
モードまたはフィールドDCTモードを表すDCTモード情報
を含ませ、制御手段には、DCTモード情報に基づいて、
現在の符号化処理を制御させるようにすることができ
る。
【0111】前記参照ピクチャが、過去の符号化処理に
おいて、現在のピクチャタイプと同一のピクチャタイプ
で符号化されている場合、制御手段には、新たなDCTモ
ード情報を計算する代わりに、過去の符号化パラメータ
に含まれるDCTモード情報を再使用させるようにするこ
とができる。
【0112】前記制御手段には、符号化手段の現在の符
号化処理に対応する現在の符号化パラメータを生成させ
るようにすることができる。
【0113】前記制御手段には、現在の符号化パラメー
タと過去の符号化パラメータから、現在の符号化処理に
対応する最適な符号化パラメータを選択し、最適な符号
化パラメータに基づいて、符号化手段の現在の符号化処
理を制御させるようにすることができる。
【0114】前記符号化手段には、現在の符号化処理に
おいて、入力ビデオデータに含まれる参照ピクチャを、
参照ピクチャに割り当てられた現在のピクチャタイプで
符号化させ、制御手段には、参照ピクチャが、過去の符
号化処理において、割り当てられたピクチャタイプと同
一のピクチャタイプで符号化されたか否かを判定し、そ
の判定結果に基づいて、最適な符号化パラメータを選択
させるようにすることができる。
【0115】前記過去の符号化パラメータには、過去の
符号化処理で生成された量子化情報を含ませ、符号化手
段には、現在の符号化処理において参照ピクチャを量子
化する量子化手段を含ませるようにすることができる。
【0116】前記制御手段には、符号化ビデオストリー
ムを蓄積する伝送バッファの残量を表すバッファ情報を
受け取り、伝送バッファのオーバーフローおよびアンダ
ーフローの発生を抑制するように、バッファ情報に基づ
いて量子化手段を制御させるようにすることができる。
【0117】前記制御手段には、バッファ情報から生成
された量子化ステップサイズ、および過去の符号化パラ
メータに含まれる量子化情報から生成された量子化ステ
ップサイズに基づいて、量子化手段を制御させるように
することができる。
【0118】前記制御手段には、バッファ情報に対応す
る量子化ステップサイズ、および量子化情報に対応する
量子化ステップサイズの中から選択された最大の量子化
ステップサイズを利用して、量子化手段を制御させるよ
うにすることができる。
【0119】前記制御手段には、符号化手段が過去の符
号化パラメータを符号化ビデオストリームに記述するよ
うに符号化手段を制御させるようにすることができる。
【0120】前記符号化手段には、シーケンスレイヤ、
GOPレイヤ、ピクチャレイヤ、スライスレイヤ、および
マクロブロックレイヤを有するMPEG標準に基づくMPEGビ
ットストリームを生成するように、符号化ビデオストリ
ームを処理する処理手段を含ませるようにすることがで
きる。
【0121】前記制御手段には、符号化手段の現在の符
号化処理に対応する現在の符号化パラメータを発生さ
せ、符号化手段には、ピクチャレイヤ、スライスレイ
ヤ、およびマクロブロックレイヤに現在の符号化パラメ
ータを記述し、過去の符号化パラメータをピクチャレイ
ヤのユーザデータエリアに記述させるようにすることが
できる。
【0122】前記符号化手段には、ユーザデータエリア
に、過去の符号化パラメータを記述するために、過去の
符号化パラメータを含むヒストリストリームを発生させ
るようにすることができる。
【0123】前記符号化手段には、MPEG標準に指定され
ているスタートコードのエミレーションの発生を防止す
るために、ヒストリストリームにマーカビットを挿入
し、ピクチャレイヤのユーザデータエリアにマーカビッ
トが挿入されたヒストリストリームを記述させるように
することができる。
【0124】請求項92に記載のビデオ符号化装置は、
現在の符号化処理として、入力ビデオデータを符号化し
て、符号化ビデオストリームを生成する符号化手段と、
過去の符号化処理で生成された過去の符号化パラメータ
を含むヒストリ情報を受け取り、現在の符号化処理が過
去の符号化パラメータを選択的に使用することにより最
適化されるように、ヒストリ情報に基づいて符号化手段
の現在の符号化処理を制御する制御手段とを備えること
を特徴とする。
【0125】請求項92に記載のビデオ符号化装置にお
いては、現在の符号化処理として、入力ビデオデータを
符号化して、符号化ビデオストリームが生成され、過去
の符号化処理で生成された過去の符号化パラメータを含
むヒストリ情報を受け取り、現在の符号化処理が過去の
符号化パラメータを選択的に使用することにより最適化
されるように、ヒストリ情報に基づいて現在の符号化処
理が制御される。
【0126】請求項93に記載のビデオ符号化方法は、
現在の符号化処理として、入力ビデオデータを符号化し
て、符号化ビデオストリームを生成する符号化ステップ
と、過去の符号化処理で発生された過去の符号化パラメ
ータを含むヒストリ情報を受け取り、現在の符号化処理
が過去の符号化パラメータを選択的に使用することで最
適化されるように、ヒストリ情報に基づいて符号化ステ
ップでの処理の現在の符号化処理を制御する制御ステッ
プとを含むことを特徴とする。
【0127】請求項93に記載のビデオ符号化方法にお
いては、現在の符号化処理として、入力ビデオデータを
符号化して、符号化ビデオストリームが生成され、過去
の符号化処理で発生された過去の符号化パラメータを含
むヒストリ情報を受け取り、現在の符号化処理が過去の
符号化パラメータを選択的に使用することで最適化され
るように、ヒストリ情報に基づいて現在の符号化処理が
制御される。
【0128】請求項94に記載のビデオ符号化装置は、
現在の符号化処理として、ビデオデータを符号化して、
符号化ビデオストリームを生成する符号化手段と、過去
の符号化処理で発生された過去の符号化パラメータを受
け取り、過去の符号化パラメータから現在の符号化処理
に対応する最適な符号化パラメータを選択し、最適な符
号化パラメータに基づいて、符号化手段の現在の符号化
処理を制御する制御手段とを備えることを特徴とする。
【0129】請求項94に記載のビデオ符号化装置にお
いては、現在の符号化処理として、ビデオデータを符号
化して、符号化ビデオストリームが生成され、過去の符
号化処理で発生された過去の符号化パラメータを受け取
り、過去の符号化パラメータから現在の符号化処理に対
応する最適な符号化パラメータを選択し、最適な符号化
パラメータに基づいて、現在の符号化処理が制御され
る。
【0130】請求項95に記載のビデオ符号化方法は、
現在の符号化処理として、ビデオデータを符号化して、
符号化ビデオストリームを生成する符号化ステップ、過
去の符号化処理で発生された過去の符号化パラメータを
受け取り、過去の符号化パラメータから現在の符号化処
理に対応する最適な符号化パラメータを選択し、最適な
符号化パラメータに基づいて、符号化ステップでの現在
の符号化処理を制御する制御ステップとを含むことを特
徴とする。
【0131】請求項95に記載のビデオ符号化方法にお
いては、現在の符号化処理として、ビデオデータを符号
化して、符号化ビデオストリームが生成され、過去の符
号化処理で発生された過去の符号化パラメータを受け取
り、過去の符号化パラメータから現在の符号化処理に対
応する最適な符号化パラメータを選択し、最適な符号化
パラメータに基づいて、現在の符号化処理が制御され
る。
【0132】請求項96に記載のビデオ符号化装置は、
割り当てられたピクチャタイプで、ビデオデータに含ま
れる参照ピクチャを符号化する符号化手段と、過去の符
号化処理で生成された過去の符号化パラメータを受け取
り、割り当てられたピクチャタイプに対応して、過去の
符号化パラメータから最適な符号化パラメータを選択
し、最適な符号化パラメータに基づいて、符号化手段の
現在の符号化処理を制御する制御手段とを備えることを
特徴とする。
【0133】請求項96に記載のビデオ符号化装置にお
いては、割り当てられたピクチャタイプで、ビデオデー
タに含まれる参照ピクチャが符号化され、過去の符号化
処理で生成された過去の符号化パラメータを受け取り、
割り当てられたピクチャタイプに対応して、過去の符号
化パラメータから最適な符号化パラメータを選択し、最
適な符号化パラメータに基づいて、現在の符号化処理が
制御される。
【0134】請求項97に記載のビデオ符号化方法は、
割り当てられたピクチャタイプで、ビデオデータに含ま
れる参照ピクチャを符号化する符号化ステップと、過去
の符号化処理で生成された過去の符号化パラメータを受
け取り、割り当てられたピクチャタイプに従って、過去
の符号化パラメータから最適な符号化パラメータを選択
する選択ステップと、最適な符号化パラメータに基づい
て、符号化ステップでの現在の符号化処理を制御する制
御ステップとを含むことを特徴とする。
【0135】請求項97に記載のビデオ符号化方法にお
いては、割り当てられたピクチャタイプで、ビデオデー
タに含まれる参照ピクチャが符号化され、過去の符号化
処理で生成された過去の符号化パラメータを受け取り、
割り当てられたピクチャタイプに従って、過去の符号化
パラメータから最適な符号化パラメータが選択され、最
適な符号化パラメータに基づいて、現在の符号化処理が
制御される。
【0136】請求項98に記載のビデオ符号化装置は、
割り当てられたピクチャタイプで、ビデオデータに含ま
れる参照ピクチャを符号化する符号化手段と、過去の符
号化処理において、割り当てられたピクチャタイプで参
照ピクチャが符号化されたかどうかを判定し、判定結果
に基づいて、符号化手段の現在の符号化処理を制御する
制御手段とを備えること特徴とする。
【0137】請求項98に記載のビデオ符号化装置にお
いては、割り当てられたピクチャタイプで、ビデオデー
タに含まれる参照ピクチャが符号化され、過去の符号化
処理において、割り当てられたピクチャタイプで参照ピ
クチャが符号化されたかどうかを判定し、判定結果に基
づいて、現在の符号化処理が制御される。
【0138】請求項99に記載のビデオ符号化方法は、
割り当てられたピクチャタイプで、ビデオデータに含ま
れる参照ピクチャを符号化する符号化ステップと、参照
ピクチャが、過去の符号化処理において、割り当てられ
たピクチャタイプで符号化されたか否かを判定する判定
ステップと、判定ステップでの判定結果に基づいて、符
号化ステップでの現在の符号化処理を制御する制御ステ
ップとを含むこと特徴とする。
【0139】請求項99に記載のビデオ符号化方法にお
いては、割り当てられたピクチャタイプで、ビデオデー
タに含まれる参照ピクチャが符号化され、参照ピクチャ
が、過去の符号化処理において、割り当てられたピクチ
ャタイプで符号化されたか否かが判定され、判定結果に
基づいて、現在の符号化処理が制御される。
【0140】請求項100に記載のビデオ符号化装置
は、現在の符号化処理として、入力ビデオデータを符号
化し、符号化ビデオデータを生成する符号化手段と、符
号化ビデオデータ、現在の符号化処理において生成され
た現在の符号化パラメータ、並びに過去の符号化処理に
おいて生成された過去の符号化パラメータを含むMPEGビ
ットストリームを生成するストリーム生成手段とを備え
ること特徴とする。
【0141】請求項100に記載のビデオ符号化装置に
おいては、現在の符号化処理として、入力ビデオデータ
を符号化し、符号化ビデオデータが生成され、符号化ビ
デオデータ、現在の符号化処理において生成された現在
の符号化パラメータ、並びに過去の符号化処理において
生成された過去の符号化パラメータを含むMPEGビットス
トリームが生成される。
【0142】請求項101に記載のビデオ符号化方法
は、現在の符号化処理として、符号化ビデオデータを発
生する符号化ビデオデータ発生ステップと、符号化ビデ
オデータ、現在の符号化処理で発生された現在の符号化
パラメータ、並びに過去の符号化処理で生成された過去
の符号化パラメータを含むMPEGビットストリームを発生
するMPEGビットストリーム発生ステップとを含むことを
特徴とする。
【0143】請求項101に記載のビデオ符号化方法に
おいては、現在の符号化処理として、符号化ビデオデー
タが発生され、符号化ビデオデータ、現在の符号化処理
で発生された現在の符号化パラメータ、並びに過去の符
号化処理で生成された過去の符号化パラメータを含むMP
EGビットストリームが発生される。
【0144】請求項102に記載のビデオ符号化装置
は、現在の符号化処理として、ビデオデータを符号化
し、符号化ビデオデータを生成する符号化手段と、シー
ケンスレイヤ、GOPレイヤ、ピクチャレイヤ、スライス
レイヤ、およびマクロブロックレイヤを有するMPEGビッ
トストリームを生成するストリーム生成手段とを備え、
各レイヤは、現在の符号化処理で生成された現在の符号
化パラメータを含み、ピクチャレイヤはさらに、過去の
符号化処理で生成された過去の符号化パラメータを含む
ことを備えること特徴とする。
【0145】請求項102に記載のビデオ符号化装置に
おいては、現在の符号化処理として、ビデオデータを符
号化し、符号化ビデオデータが生成され、シーケンスレ
イヤ、GOPレイヤ、ピクチャレイヤ、スライスレイヤ、
およびマクロブロックレイヤを有するMPEGビットストリ
ームが生成される。各レイヤは、現在の符号化処理で生
成された現在の符号化パラメータを含み、ピクチャレイ
ヤはさらに、過去の符号化処理で生成された過去の符号
化パラメータを含む。
【0146】請求項103に記載のビデオ符号化方法
は、現在の符号化処理として、符号化ビデオデータを生
成する符号化ビデオデータ生成ステップと、シーケンス
レイヤ、GOPレイヤ、ピクチャレイヤ、スライスレイ
ヤ、並びにマクロブロックレイヤを含むMPEGビットスト
リームを生成するMPEGビットストリーム生成ステップと
を含み、各レイヤは、現在の符号化処理において生成さ
れた現在の符号化パラメータを含み、ピクチャレイヤは
さらに、過去の符号化処理で生成された過去の符号化パ
ラメータを含むことを特徴とする。
【0147】請求項103に記載のビデオ符号化方法に
おいては、現在の符号化処理として、符号化ビデオデー
タが生成され、シーケンスレイヤ、GOPレイヤ、ピクチ
ャレイヤ、スライスレイヤ、並びにマクロブロックレイ
ヤを含むMPEGビットストリームが生成され、各レイヤ
は、現在の符号化処理において生成された現在の符号化
パラメータを含み、ピクチャレイヤはさらに、過去の符
号化処理で生成された過去の符号化パラメータを含む。
【0148】請求項104に記載のビデオ符号化装置
は、過去の符号化処理で生成された過去の符号化パラメ
ータを参照することにより、入力ビデオデータを符号化
し、符号化ビデオストリームを生成する符号化手段と、
前記過去の符号化パラメータを符号化ビデオストリーム
に記述する記述手段と、過去の符号化パラメータが記述
されている符号化ビデオストリームを出力する出力手段
とを備えること特徴とする。
【0149】請求項104に記載のビデオ符号化装置に
おいては、過去の符号化処理で生成された過去の符号化
パラメータを参照することにより、入力ビデオデータを
符号化し、符号化ビデオストリームが生成され、前記過
去の符号化パラメータが符号化ビデオストリームに記述
され、過去の符号化パラメータが記述されている符号化
ビデオストリームが出力される。
【0150】請求項105に記載のビデオ符号化方法
は、過去の符号化処理で生成された過去の符号化パラメ
ータを参照することにより、入力ビデオデータを符号化
し、符号化ビデオストリームを生成する生成ステップ
と、過去の符号化パラメータを符号化ビデオストリーム
に記述する記述ステップと、過去のパラメータが記述さ
れている符号化ビデオストリームを出力する出力ステッ
プとを含むことを特徴とする。
【0151】請求項105に記載のビデオ符号化方法に
おいては、過去の符号化処理で生成された過去の符号化
パラメータを参照することにより、入力ビデオデータを
符号化し、符号化ビデオストリームが生成され、過去の
符号化パラメータが符号化ビデオストリームに記述さ
れ、過去のパラメータが記述されている符号化ビデオス
トリームが出力される。
【0152】請求項106に記載のビデオ符号化装置
は、前の符号化処理において生成された複数の符号化パ
ラメータを含むヒストリ情報を受け取る受け取り手段
と、ヒストリ情報を参照して、入力ビデオデータを符号
化する符号化手段と、ヒストリ情報が将来の符号化処理
において利用できるように、ヒストリ情報を符号化スト
リームに記述する記述手段とを備えることを特徴とす
る。
【0153】請求項106に記載のビデオ符号化装置に
おいては、前の符号化処理において生成された複数の符
号化パラメータを含むヒストリ情報が受け取られ、ヒス
トリ情報を参照して、入力ビデオデータが符号化され、
ヒストリ情報が将来の符号化処理において利用できるよ
うに、ヒストリ情報が符号化ストリームに記述される。
【0154】請求項107に記載のビデオ符号化方法
は、前の符号化処理において生成された複数の符号化パ
ラメータを含むヒストリ情報を受け取る受け取りステッ
プと、ヒストリ情報を参照することにより、入力ビデオ
データを符号化する符号化ステップと、前記ヒストリ情
報が将来の符号化処理において利用できるように、符号
化ストリームにヒストリ情報を記述する記述ステップと
を含むことを特徴とする。
【0155】請求項107に記載のビデオ符号化方法に
おいては、前の符号化処理において生成された複数の符
号化パラメータを含むヒストリ情報が受け取られ、ヒス
トリ情報を参照することにより、入力ビデオデータが符
号化され、前記ヒストリ情報が将来の符号化処理におい
て利用できるように、符号化ストリームにヒストリ情報
が記述される。
【0156】請求項108に記載のストリーム処理装置
は、入力符号化ビデオストリームを復号して、復号ビデ
オデータを生成し、入力符号化ビデオストリームから過
去の符号化処理により生成された過去の符号化パラメー
タを抽出する復号手段と、現在の符号化処理として、復
号ビデオデータを符号化し、符号化ビデオストリームを
生成する符号化手段と、生成された過去の符号化パラメ
ータを受け取り、過去の符号化パラメータに基づいて、
符号化手段の現在の符号化処理を制御する制御手段とを
備えることを特徴とする。
【0157】請求項108に記載のストリーム処理装置
においては、入力符号化ビデオストリームを復号して、
復号ビデオデータが生成され、入力符号化ビデオストリ
ームから過去の符号化処理により生成された過去の符号
化パラメータが抽出され、現在の符号化処理として、復
号ビデオデータを符号化し、符号化ビデオストリームが
生成され、生成された過去の符号化パラメータを受け取
り、過去の符号化パラメータに基づいて、現在の符号化
処理が制御される。
【0158】請求項109に記載のストリーム処理方法
は、入力符号化ビデオストリームを復号し、復号ビデオ
データを生成する復号ステップと、入力符号化ビデオス
トリームから過去の符号化処理により生成された過去の
符号化パラメータを抽出する抽出ステップと、現在の符
号化処理として、復号ビデオデータを符号化し、符号化
ビデオストリームを生成する符号化ステップと、生成さ
れた過去の符号化パラメータを受け取り、過去の符号化
パラメータに基づいて、符号化ステップの処理における
現在の符号化処理を制御する制御ステップとを含むこと
特徴とする。
【0159】請求項109に記載のストリーム処理方法
においては、入力符号化ビデオストリームを復号し、復
号ビデオデータが生成され、入力符号化ビデオストリー
ムから過去の符号化処理により生成された過去の符号化
パラメータが抽出され、現在の符号化処理として、復号
ビデオデータを符号化し、符号化ビデオストリームが生
成され、生成された過去の符号化パラメータを受け取
り、過去の符号化パラメータに基づいて、現在の符号化
処理が制御される。
【0160】請求項110に記載のストリーム処理シス
テムは、入力符号化ビデオストリームを復号して復号ビ
デオデータを生成し、入力符号化ビデオストリームから
過去の符号化処理において生成された過去の符号化パラ
メータを抽出し、過去の符号化パラメータをヒストリ情
報として出力する復号手段と、現在の符号化処理とし
て、復号ビデオデータを符号化し、符号化ビデオストリ
ームを生成する符号化手段と、過去の符号化パラメータ
を含むヒストリ情報を受け取り、現在の符号化処理が、
過去の符号化パラメータを選択的に使用することで最適
化されるように、ヒストリ情報に基づいて、符号化手段
の現在の符号化処理を制御する制御手段とを備えること
特徴とする。
【0161】請求項110に記載のストリーム処理シス
テムにおいては、入力符号化ビデオストリームを復号し
て復号ビデオデータを生成し、入力符号化ビデオストリ
ームから過去の符号化処理において生成された過去の符
号化パラメータを抽出し、過去の符号化パラメータがヒ
ストリ情報として出力され、現在の符号化処理として、
復号ビデオデータを符号化し、符号化ビデオストリーム
が生成され、過去の符号化パラメータを含むヒストリ情
報を受け取り、現在の符号化処理が、過去の符号化パラ
メータを選択的に使用することで最適化されるように、
ヒストリ情報に基づいて、現在の符号化処理が制御され
る。
【0162】請求項111に記載のストリーム処理方法
は、入力符号化ビデオストリームを復号し、復号ビデオ
データを生成する復号ステップと、入力符号化ビデオス
トリームから過去の符号化処理により生成された過去の
符号化パラメータを抽出する抽出ステップと、ヒストリ
情報として過去の符号化パラメータを出力する出力ステ
ップと、現在の符号化処理として、復号ビデオデータを
符号化し、符号化ビデオストリームを生成する符号化ス
テップと、過去の符号化パラメータを含むヒストリ情報
を受け取る受け取りステップと、現在の符号化処理が、
過去の符号化パラメータを選択的に使用することで最適
化されるように、ヒストリ情報に基づいて、符号化ステ
ップの処理における現在の符号化処理を制御する制御ス
テップとを含むこと特徴とする。
【0163】請求項111に記載のストリーム処理方法
においては、入力符号化ビデオストリームを復号し、復
号ビデオデータが生成され、入力符号化ビデオストリー
ムから過去の符号化処理により生成された過去の符号化
パラメータが抽出され、ヒストリ情報として過去の符号
化パラメータが出力され、現在の符号化処理として、復
号ビデオデータを符号化し、符号化ビデオストリームが
生成され、過去の符号化パラメータを含むヒストリ情報
が受け取られ、現在の符号化処理が、過去の符号化パラ
メータを選択的に使用することで最適化されるように、
ヒストリ情報に基づいて、現在の符号化処理が制御され
る。
【0164】請求項112に記載のストリーム処理シス
テムは、入力符号化ビデオストリームを復号して復号ビ
デオデータを生成し、入力符号化ビデオストリームから
過去の符号化処理で生成された過去の符号化パラメータ
を抽出する復号手段と、現在の符号化処理として、復号
ビデオデータを符号化し、符号化ビデオストリームを生
成する符号化手段と、過去の符号化パラメータを受け取
り、過去の符号化パラメータから現在の符号化処理に対
応する最適な符号化パラメータを選択し、最適な符号化
パラメータに基づいて、符号化手段の現在の符号化処理
を制御する制御手段とを備えること特徴とする。
【0165】請求項112に記載のストリーム処理シス
テムにおいては、入力符号化ビデオストリームを復号し
て復号ビデオデータを生成し、入力符号化ビデオストリ
ームから過去の符号化処理で生成された過去の符号化パ
ラメータが抽出され、現在の符号化処理として、復号ビ
デオデータを符号化し、符号化ビデオストリームが生成
され、過去の符号化パラメータを受け取り、過去の符号
化パラメータから現在の符号化処理に対応する最適な符
号化パラメータを選択し、最適な符号化パラメータに基
づいて、現在の符号化処理が制御される。
【0166】請求項113に記載のストリーム処理方法
は、入力符号化ビデオストリームを復号して復号ビデオ
データを生成する復号ステップと入力符号化ビデオスト
リームから過去の符号化処理において生成された過去の
符号化パラメータを抽出する抽出ステップと、現在の符
号化処理として、復号ビデオデータを符号化し、符号化
ビデオストリームを生成する符号化ステップと、過去の
符号化パラメータを受け取り、過去の符号化パラメータ
から現在の符号化処理に対応する最適な符号化パラメー
タを選択する受け取りステップと、最適な符号化パラメ
ータに基づいて、符号化ステップの現在の符号化処理を
制御する制御ステップとを含むこと特徴とする。
【0167】請求項113に記載のストリーム処理方法
においては、入力符号化ビデオストリームを復号して復
号ビデオデータが生成され、入力符号化ビデオストリー
ムから過去の符号化処理において生成された過去の符号
化パラメータが抽出され、現在の符号化処理として、復
号ビデオデータを符号化し、符号化ビデオストリームが
生成され、過去の符号化パラメータを受け取り、過去の
符号化パラメータから現在の符号化処理に対応する最適
な符号化パラメータが選択され、最適な符号化パラメー
タに基づいて、現在の符号化処理が制御される。
【0168】請求項114に記載のストリーム処理シス
テムは、入力符号化ビデオストリームを復号して、復号
ビデオデータを生成し、入力符号化ビデオストリームか
ら過去の符号化処理において生成された過去の符号化パ
ラメータを抽出する復号手段と、割り当てられたピクチ
ャタイプで復号ビデオデータに含まれる参照ピクチャを
符号化する符号化手段と、過去の符号化処理において生
成された過去の符号化パラメータを受け取り、割り当て
られたピクチャタイプに従って、過去の符号化パラメー
タから最適な符号化パラメータを選択し、最適な符号化
パラメータに基づいて、符号化手段の現在の符号化処理
を制御する制御手段とを備えること特徴とする。
【0169】請求項114に記載のストリーム処理シス
テムにおいては、入力符号化ビデオストリームを復号し
て、復号ビデオデータが生成され、入力符号化ビデオス
トリームから過去の符号化処理において生成された過去
の符号化パラメータが抽出され、割り当てられたピクチ
ャタイプで復号ビデオデータに含まれる参照ピクチャが
符号化され、過去の符号化処理において生成された過去
の符号化パラメータを受け取り、割り当てられたピクチ
ャタイプに従って、過去の符号化パラメータから最適な
符号化パラメータを選択し、最適な符号化パラメータに
基づいて、現在の符号化処理が制御される。
【0170】請求項115に記載のストリーム処理方法
は、入力符号化ビデオストリームを復号して復号ビデオ
データを生成する復号ステップと、入力符号化ビデオス
トリームから過去の符号化処理で生成された過去の符号
化パラメータを抽出する抽出ステップと、割り当てられ
たピクチャタイプで復号ビデオデータに含まれる参照ピ
クチャを符号化する符号化ステップと、過去の符号化処
理で生成された過去の符号化パラメータを受け取り、割
り当てられたピクチャタイプに従って、過去の符号化パ
ラメータから最適な符号化パラメータを選択する選択ス
テップと、最適な符号化パラメータに基づいて、符号化
ステップの現在の符号化処理を制御する制御ステップと
を含むこと特徴とする。
【0171】請求項115に記載のストリーム処理方法
においては、入力符号化ビデオストリームを復号して復
号ビデオデータが生成され、入力符号化ビデオストリー
ムから過去の符号化処理で生成された過去の符号化パラ
メータが抽出され、割り当てられたピクチャタイプで復
号ビデオデータに含まれる参照ピクチャが符号化され、
過去の符号化処理で生成された過去の符号化パラメータ
を受け取り、割り当てられたピクチャタイプに従って、
過去の符号化パラメータから最適な符号化パラメータが
選択され、最適な符号化パラメータに基づいて、現在の
符号化処理が制御される。
【0172】請求項116に記載のストリーム処理シス
テムは、入力符号化ビデオストリームを復号して復号ビ
デオデータを生成し、入力符号化ビデオストリームから
過去の符号化処理で生成された過去の符号化パラメータ
を抽出する復号手段と、割り当てられたピクチャタイプ
で復号ビデオデータに含まれる参照ピクチャを符号化す
る符号化手段と、過去の符号化処理において、割り当て
られたピクチャタイプで参照ピクチャが符号化されたか
否かを判定し、その判定結果に基づいて、符号化手段の
現在の符号化処理を制御する制御手段とを備えること特
徴とする。
【0173】請求項116に記載のストリーム処理シス
テムにおいては、入力符号化ビデオストリームを復号し
て復号ビデオデータを生成し、入力符号化ビデオストリ
ームから過去の符号化処理で生成された過去の符号化パ
ラメータが抽出され、割り当てられたピクチャタイプで
復号ビデオデータに含まれる参照ピクチャが符号化さ
れ、過去の符号化処理において、割り当てられたピクチ
ャタイプで参照ピクチャが符号化されたか否かを判定
し、その判定結果に基づいて、現在の符号化処理が制御
される。
【0174】請求項117に記載のストリーム処理方法
は、入力符号化ビデオストリームを復号して復号ビデオ
データを生成する復号ステップと、入力符号化ビデオス
トリームから過去の符号化処理において生成された過去
の符号化パラメータを抽出する抽出ステップと、割り当
てられたピクチャタイプで復号ビデオデータに含まれる
参照ピクチャを符号化する符号化ステップと、過去の符
号化処理において、割り当てられたピクチャタイプで参
照ピクチャが符号化されたか否かを判定する判定ステッ
プと、判定ステップの処理での判定結果に基づいて、符
号化ステップでの現在の符号化処理を制御する制御ステ
ップとを含むこと特徴とする。
【0175】請求項117に記載のストリーム処理方法
においては、入力符号化ビデオストリームを復号して復
号ビデオデータが生成され、入力符号化ビデオストリー
ムから過去の符号化処理において生成された過去の符号
化パラメータが抽出され、割り当てられたピクチャタイ
プで復号ビデオデータに含まれる参照ピクチャが符号化
され、過去の符号化処理において、割り当てられたピク
チャタイプで参照ピクチャが符号化されたか否かが判定
され、判定結果に基づいて、現在の符号化処理が制御さ
れる。
【0176】請求項118に記載のストリーム処理シス
テムは、入力符号化ビデオストリームを復号して復号ビ
デオデータを生成し、入力符号化ビデオストリームから
過去の符号化処理で生成された過去の符号化パラメータ
を抽出する復号手段と、現在の符号化処理として、復号
ビデオデータを符号化し、符号化ビデオストリームを生
成する符号化手段と、符号化ビデオデータ、現在の符号
化処理で生成された現在の符号化パラメータ、並びに過
去の符号化処理で生成された過去の符号化パラメータを
含むMPEGストリームを生成するストリーム生成手段とを
備えること特徴とする。
【0177】請求項118に記載のストリーム処理シス
テムにおいては、入力符号化ビデオストリームを復号し
て復号ビデオデータを生成し、入力符号化ビデオストリ
ームから過去の符号化処理で生成された過去の符号化パ
ラメータが抽出され、現在の符号化処理として、復号ビ
デオデータを符号化し、符号化ビデオストリームが生成
され、符号化ビデオデータ、現在の符号化処理で生成さ
れた現在の符号化パラメータ、並びに過去の符号化処理
で生成された過去の符号化パラメータを含むMPEGストリ
ームが生成される。
【0178】請求項119に記載のストリーム処理方法
は、入力符号化ビデオストリームを復号して復号ビデオ
データを生成する復号ステップと、入力符号化ビデオス
トリームから過去の符号化処理において生成された過去
の符号化パラメータを抽出する抽出ステップと、現在の
符号化処理として、復号ビデオデータを符号化し、符号
化ビデオストリームを生成する符号化ステップと、符号
化ビデオデータ、現在の符号化処理で生成された現在の
符号化パラメータ、並びに過去の符号化処理で生成され
た過去の符号化パラメータを含むMPEGストリームを生成
するストリーム生成ステップとを含むことを特徴とす
る。
【0179】請求項119に記載のストリーム処理方法
においては、入力符号化ビデオストリームを復号して復
号ビデオデータが生成され、入力符号化ビデオストリー
ムから過去の符号化処理において生成された過去の符号
化パラメータが抽出され、現在の符号化処理として、復
号ビデオデータを符号化し、符号化ビデオストリームが
生成され、符号化ビデオデータ、現在の符号化処理で生
成された現在の符号化パラメータ、並びに過去の符号化
処理で生成された過去の符号化パラメータを含むMPEGス
トリームが生成される。
【0180】請求項120に記載のストリーム処理シス
テムは、入力符号化ビデオストリームを復号して復号ビ
デオデータを生成し、入力符号化ビデオストリームから
過去の符号化処理で生成された過去の符号化パラメータ
を抽出する復号手段と、現在の符号化処理として、復号
ビデオデータを符号化し、符号化ビデオストリームを生
成する符号化手段と、シーケンスレイヤ、GOPレイヤ、
ピクチャレイヤ、スライスレイヤ、およびマクロブロッ
クレイヤを含むMPEGビットストリームを生成するストリ
ーム生成手段とを備え、各レイヤは、現在の符号化処理
で生成された現在の符号化パラメータを含み、ピクチャ
レイヤはさらに、過去の符号化処理で生成された過去の
符号化パラメータを含むことを備えること特徴とする。
【0181】請求項120に記載のストリーム処理シス
テムにおいては、入力符号化ビデオストリームを復号し
て復号ビデオデータを生成し、入力符号化ビデオストリ
ームから過去の符号化処理で生成された過去の符号化パ
ラメータが抽出され、現在の符号化処理として、復号ビ
デオデータを符号化し、符号化ビデオストリームが生成
され、シーケンスレイヤ、GOPレイヤ、ピクチャレイ
ヤ、スライスレイヤ、およびマクロブロックレイヤを含
むMPEGビットストリームが生成される。各レイヤは、現
在の符号化処理で生成された現在の符号化パラメータを
含み、ピクチャレイヤはさらに、過去の符号化処理で生
成された過去の符号化パラメータを含む。
【0182】請求項121に記載のストリーム処理方法
は、入力符号化ビデオストリームを復号して復号ビデオ
データを生成する復号ステップと、入力符号化ビデオス
トリームから過去の符号化処理で生成された過去の符号
化パラメータを抽出する抽出ステップと、現在の符号化
処理として、復号ビデオデータを符号化し、符号化ビデ
オストリームを生成する符号化ステップと、シーケンス
レイヤ、GOPレイヤ、ピクチャレイヤ、スライスレイ
ヤ、並びにマクロブロックレイヤを有するMPEGビットス
トリームを生成する生成ステップとを含み、各レイヤ
は、現在の符号化処理で生成された現在の符号化パラメ
ータを含み、ピクチャレイヤはさらに、過去の符号化処
理で生成された過去の符号化パラメータを含むことを特
徴とする。
【0183】請求項121に記載のストリーム処理方法
においては、入力符号化ビデオストリームを復号して復
号ビデオデータが生成され、入力符号化ビデオストリー
ムから過去の符号化処理で生成された過去の符号化パラ
メータが抽出され、現在の符号化処理として、復号ビデ
オデータを符号化し、符号化ビデオストリームが生成さ
れ、シーケンスレイヤ、GOPレイヤ、ピクチャレイヤ、
スライスレイヤ、並びにマクロブロックレイヤを有する
MPEGビットストリームが生成される。各レイヤは、現在
の符号化処理で生成された現在の符号化パラメータを含
み、ピクチャレイヤはさらに、過去の符号化処理で生成
された過去の符号化パラメータを含む。
【0184】請求項122に記載のストリーム処理シス
テムは、入力符号化ビデオストリームを復号して復号ビ
デオデータを生成し、入力符号化ビデオストリームから
過去の符号化処理により生成された過去の符号化パラメ
ータを抽出する復号手段と、現在の符号化処理として、
過去の符号化パラメータを参照して、復号ビデオデータ
を符号化し、符号化ビデオストリームを生成する符号化
手段と、過去の符号化パラメータを符号化ビデオストリ
ームに記述する記述手段と、過去の符号化パラメータが
記述されている符号化ビデオストリームを出力する出力
手段とを備えること特徴とする。
【0185】請求項122に記載のストリーム処理シス
テムにおいては、入力符号化ビデオストリームを復号し
て復号ビデオデータを生成し、入力符号化ビデオストリ
ームから過去の符号化処理により生成された過去の符号
化パラメータが抽出され、現在の符号化処理として、過
去の符号化パラメータを参照して、復号ビデオデータを
符号化し、符号化ビデオストリームが生成され、過去の
符号化パラメータが符号化ビデオストリームに記述さ
れ、過去の符号化パラメータが記述されている符号化ビ
デオストリームが出力される。
【0186】請求項123に記載のストリーム処理方法
は、入力符号化ビデオストリームを復号して、復号ビデ
オデータを生成する復号ステップと、入力符号化ビデオ
ストリームから過去の符号化処理において生成された過
去の符号化パラメータを抽出する抽出ステップと、現在
の符号化処理として、過去の符号化パラメータを参照し
て、復号ビデオデータを符号化し、符号化ビデオストリ
ームを生成する符号化ステップと、過去の符号化パラメ
ータを符号化ビデオストリームに記述する記述ステップ
と、過去の符号化パラメータが記述されている符号化ビ
デオストリームを出力する出力ステップとを含むこと特
徴とする。
【0187】請求項123に記載のストリーム処理方法
においては、入力符号化ビデオストリームを復号して、
復号ビデオデータが生成され、入力符号化ビデオストリ
ームから過去の符号化処理において生成された過去の符
号化パラメータが抽出され、現在の符号化処理として、
過去の符号化パラメータを参照して、復号ビデオデータ
を符号化し、符号化ビデオストリームが生成され、過去
の符号化パラメータが符号化ビデオストリームに記述さ
れ、過去の符号化パラメータが記述されている符号化ビ
デオストリームが出力される。
【0188】請求項124に記載のストリーム処理シス
テムは、入力符号化ビデオストリームを復号して復号ビ
デオデータを生成する復号手段と、入力符号化ビデオス
トリームから過去の符号化処理で生成された前の符号化
パラメータを含むヒストリ情報を抽出する抽出手段と、
現在の符号化処理として、ヒストリ情報を参照して、復
号ビデオデータを符号化し、符号化ビデオストリームを
生成する符号化手段と、ヒストリ情報が将来の符号化処
理で利用できるように、ヒストリ情報を符号化ストリー
ムに記述する記述手段とを備えること特徴とする。
【0189】請求項124に記載のストリーム処理シス
テムにおいては、入力符号化ビデオストリームを復号し
て復号ビデオデータが生成され、入力符号化ビデオスト
リームから過去の符号化処理で生成された前の符号化パ
ラメータを含むヒストリ情報が抽出され、現在の符号化
処理として、ヒストリ情報を参照して、復号ビデオデー
タを符号化し、符号化ビデオストリームが生成され、ヒ
ストリ情報が将来の符号化処理で利用できるように、ヒ
ストリ情報が符号化ストリームに記述される。
【0190】請求項125に記載のストリーム処理方法
は、入力符号化ビデオストリームを復号して復号ビデオ
データを生成する復号ステップと、入力符号化ビデオス
トリームから過去の符号化処理で生成された前の符号化
パラメータを含むヒストリ情報を抽出する抽出ステップ
と、現在の符号化処理として、ヒストリ情報を参照し
て、復号ビデオデータを符号化し、符号化ビデオストリ
ームを生成する符号化ステップと、ヒストリ情報が将来
の符号化処理で利用できるように、ヒストリ情報を符号
化ストリームに記述する記述ステップとを含むこと特徴
とする。
【0191】請求項125に記載のストリーム処理方法
においては、入力符号化ビデオストリームを復号して復
号ビデオデータが生成され、入力符号化ビデオストリー
ムから過去の符号化処理で生成された前の符号化パラメ
ータを含むヒストリ情報が抽出され、現在の符号化処理
として、ヒストリ情報を参照して、復号ビデオデータを
符号化し、符号化ビデオストリームが生成され、ヒスト
リ情報が将来の符号化処理で利用できるように、ヒスト
リ情報が符号化ストリームに記述される。
【0192】請求項126に記載のストリーム処理シス
テムは、入力符号化ビデオストリームを直近の符号化処
理の符号化パラメータに基づいて復号してベースバンド
ビデオデータを生成し、過去の符号化処理における過去
の符号化パラメータを抽出し、直近の符号化処理、およ
び過去の符号化処理の符号化パラメータをベースバンド
ビデオデータに多重化する復号手段と、新たな符号化ビ
デオストリームのビットレートまたはGOP構造が、入力
符号化ビデオストリームのビットレートまたはGOP構造
と異なるように、ベースバンドビデオデータを直近の符
号化処理と過去の符号化処理における符号化パラメータ
に基づいて符号化し、新たな符号化ビデオストリームを
生成する符号化手段とを備えること特徴とする。
【0193】請求項126に記載のストリーム処理シス
テムにおいては、入力符号化ビデオストリームを直近の
符号化処理の符号化パラメータに基づいて復号してベー
スバンドビデオデータを生成し、過去の符号化処理にお
ける過去の符号化パラメータを抽出し、直近の符号化処
理、および過去の符号化処理の符号化パラメータがベー
スバンドビデオデータに多重化され、新たな符号化ビデ
オストリームのビットレートまたはGOP構造が、入力符
号化ビデオストリームのビットレートまたはGOP構造と
異なるように、ベースバンドビデオデータを直近の符号
化処理と過去の符号化処理における符号化パラメータに
基づいて符号化し、新たな符号化ビデオストリームが生
成される。
【0194】請求項127に記載のビデオ復号方法は、
入力符号化ビデオストリームのシンタックスを解析し、
過去の符号化処理で生成された過去の符号化パラメータ
を抽出する抽出ステップと、符号化ビデオストリームを
復号する復号ステップと、過去の符号化パラメータが、
復号ビデオデータの将来の符号化処理において、利用で
きるように、復号ビデオデータと、過去の符号化パラメ
ータを出力する出力ステップとを含むことを特徴とす
る。
【0195】請求項127に記載のビデオ復号方法にお
いては、入力符号化ビデオストリームのシンタックスを
解析し、過去の符号化処理で生成された過去の符号化パ
ラメータが抽出され、符号化ビデオストリームが復号さ
れ、過去の符号化パラメータが、復号ビデオデータの将
来の符号化処理において、利用できるように、復号ビデ
オデータと、過去の符号化パラメータが出力される。
【0196】請求項128に記載のビデオ復号装置は、
入力符号化ビデオームのシンタックスを解析し、直近の
符号化処理で生成された現在の符号化パラメータと、過
去の符号化処理で生成された過去の符号化パラメータを
抽出する解析手段と、現在の符号化パラメータに基づい
て、入力符号化ビデオストリームを復号してビデオデー
タを生成する復号手段と、現在の符号化パラメータと過
去の符号化パラメータの両方が復号ビデオデータの将来
の符号化処理において、利用できるように、復号ビデオ
データ、現在の符号化パラメータ、および過去の符号化
パラメータを出力する出力手段とを備えることを特徴と
する。
【0197】請求項128に記載のビデオ復号装置にお
いては、入力符号化ビデオームのシンタックスを解析
し、直近の符号化処理で生成された現在の符号化パラメ
ータと、過去の符号化処理で生成された過去の符号化パ
ラメータが抽出され、現在の符号化パラメータに基づい
て、入力符号化ビデオストリームを復号してビデオデー
タが生成され、現在の符号化パラメータと過去の符号化
パラメータの両方が復号ビデオデータの将来の符号化処
理において、利用できるように、復号ビデオデータ、現
在の符号化パラメータ、および過去の符号化パラメータ
が出力される。
【0198】請求項129に記載のビデオ復号方法は、
入力復号ビデオストリームのシンタックスを解析し、直
近の符号化処理で生成された現在の符号化パラメータ
と、過去の符号化処理で生成された過去の符号化パラメ
ータを抽出する解析ステップと、現在の符号化パラメー
タに基づいて、符号化ビデオストリームを復号してビデ
オデータを生成する復号ステップと、現在の符号化パラ
メータと過去の符号化パラメータの両方が、復号ビデオ
データの将来の符号化処理において、利用できるよう
に、復号ビデオデータ、現在の符号化パラメータ、並び
に過去の符号化パラメータを出力する出力ステップとを
含むことを特徴とする。
【0199】請求項129に記載のビデオ復号方法にお
いては、入力復号ビデオストリームのシンタックスを解
析し、直近の符号化処理で生成された現在の符号化パラ
メータと、過去の符号化処理で生成された過去の符号化
パラメータが抽出され、現在の符号化パラメータに基づ
いて、符号化ビデオストリームを復号してビデオデータ
が生成され、現在の符号化パラメータと過去の符号化パ
ラメータの両方が、復号ビデオデータの将来の符号化処
理において、利用できるように、復号ビデオデータ、現
在の符号化パラメータ、並びに過去の符号化パラメータ
が出力される。
【0200】
【発明の実施の形態】以下に、本発明を適用したトラン
スコーダについて説明するが、その前に、動画像信号の
圧縮符号化について説明する。なお、本明細書において
システムの用語は、複数の装置、手段などにより構成さ
れる全体的な装置を意味するものである。
【0201】例えば、テレビ会議システム、テレビ電話
システムなどのように、動画像信号を遠隔地に伝送する
システムにおいては、伝送路を効率良く利用するため、
映像信号のライン相関やフレーム間相関を利用して、画
像信号を圧縮符号化するようになされている。
【0202】ライン相関を利用すると、画像信号を、例
えばDCT(離散コサイン変換)処理するなどして圧縮す
ることができる。
【0203】また、フレーム間相関を利用すると、画像
信号をさらに圧縮して符号化することが可能となる。例
えば図1に示すように、時刻t1乃至t3において、フ
レーム画像PC1乃至PC3がそれぞれ発生している場
合、フレーム画像PC1およびPC2の画像信号の差を
演算して、PC12を生成し、また、フレーム画像PC
2およびPC3の差を演算して、PC23を生成する。
通常、時間的に隣接するフレームの画像は、それ程大き
な変化を有していないため、両者の差を演算すると、そ
の差分信号は小さな値のものとなる。そこで、この差分
信号を符号化すれば、符号量を圧縮することができる。
【0204】しかしながら、差分信号のみを伝送したの
では、元の画像を復元することができない。そこで、各
フレームの画像を、Iピクチャ、PピクチャまたはBピ
クチャの3種類のピクチャタイプのいずれかとし、画像
信号を圧縮符号化するようにしている。
【0205】すなわち、例えば図2に示すように、フレ
ームF1乃至F17までの17フレームの画像信号をグ
ループオブピクチャ(GOP)とし、処理の1単位とする。
そして、その先頭のフレームF1の画像信号はIピクチ
ャとして符号化し、第2番目のフレームF2はBピクチ
ャとして、また第3番目のフレームF3はPピクチャと
して、それぞれ処理する。以下、第4番目以降のフレー
ムF4乃至F17は、BピクチャまたはPピクチャとし
て交互に処理する。
【0206】Iピクチャの画像信号としては、その1フ
レーム分の画像信号をそのまま伝送する。これに対し
て、Pピクチャの画像信号としては、基本的には、図2
に示すように、それより時間的に先行するIピクチャま
たはPピクチャの画像信号からの差分を伝送する。さら
にBピクチャの画像信号としては、基本的には、図3に
示すように、時間的に先行するフレームまたは後行する
フレームの両方の平均値からの差分を求め、その差分を
符号化する。
【0207】図4は、このようにして、動画像信号を符
号化する方法の原理を示している。同図に示すように、
最初のフレームF1は、Iピクチャとして処理されるた
め、そのまま伝送データF1Xとして伝送路に伝送され
る(画像内符号化)。これに対して、第2のフレームF
2は、Bピクチャとして処理されるため、時間的に先行
するフレームF1と、時間的に後行するフレームF3の
平均値との差分が演算され、その差分が伝送データF2
Xとして伝送される。
【0208】ただし、このBピクチャとしての処理は、
さらに細かく説明すると、4種類存在する。その第1の
処理は、元のフレームF2のデータをそのまま伝送デー
タF2Xとして伝送するものであり(SP1)(イント
ラ符号化)、Iピクチャにおける場合と同様の処理とな
る。第2の処理は、時間的に後のフレームF3からの差
分を演算し、その差分(SP2)を伝送するものである
(後方予測符号化)。第3の処理は、時間的に先行する
フレームF1との差分(SP3)を伝送するものである
(前方予測符号化)。さらに第4の処理は、時間的に先
行するフレームF1と後行するフレームF3の平均値と
の差分(SP4)を生成し、これを伝送データF2Xと
して伝送するものである(両方向予測符号化)。
【0209】実際には、上述した4つの方法のうちの伝
送データが最も少なくなる方法が採用される。
【0210】なお、差分データを伝送するとき、差分を
演算する対象となるフレームの画像(参照画像)との間
の動きベクトルx1(フレームF1とF2の間の動きベ
クトル)(前方予測の場合)、もしくはx2(フレーム
F3とF2の間の動きベクトル)(後方予測の場合)、
またはx1とx2の両方(両方向予測の場合)が、差分
データとともに伝送される。
【0211】また、PピクチャのフレームF3は、時間
的に先行するフレームF1を参照画像として、このフレ
ームとの差分信号(SP3)と、動きベクトルx3が演
算され、これが伝送データF3Xとして伝送される(前
方予測符号化)。あるいはまた、元のフレームF3のデ
ータが、そのままデータF3Xとして伝送される(SP
1)(イントラ符号化)。これらの方法のうち、Bピク
チャにおける場合と同様に、伝送データがより少なくな
る方法が選択される。
【0212】図5は、上述した原理に基づいて、動画像
信号を符号化して伝送し、これを復号する装置の構成例
を示している。符号化装置1は、入力された映像信号を
符号化し、伝送路としての記録媒体3に伝送するように
なされている。そして、復号装置2は、記録媒体3に記
録された信号を再生し、これを復号して出力するように
なされている。
【0213】符号化装置1においては、入力された映像
信号が前処理回路11に入力され、そこで輝度信号と色
信号(本実施の形態の場合、色差信号)が分離され、そ
れぞれA/D変換器12,13でアナログ信号からデジタ
ル信号に変換される。A/D変換器12,13によりデジ
タル信号に変換された映像信号は、フレームメモリ14
に供給され、記憶される。フレームメモリ14は、輝度
信号を輝度信号フレームメモリ15に、また、色差信号
を色差信号フレームメモリ16に、それぞれ記憶させ
る。
【0214】フォーマット変換回路17は、フレームメ
モリ14に記憶されたフレームフォーマットの信号を、
ブロックフォーマットの信号に変換する。すなわち、図
6に示すように、フレームメモリ14に記憶された映像
信号は、1ライン当りHドットのラインがVライン集め
られた、図6(A)に示すようなフレームフォーマットの
データとされている。フォーマット変換回路17は、こ
の1フレームの信号を、図6(B)に示すように、16ラ
インを単位としてM個のスライスに区分する。そして、
各スライスは、M個のマクロブロックに分割される。マ
クロブロックは、図6(C)に示すように、16×16個
の画素(ドット)に対応する輝度信号により構成され、
この輝度信号は、さらに8×8ドットを単位とするブロ
ックY[1]乃至Y[4]に区分される。そして、この
16×16ドットの輝度信号には、8×8ドットのCb
信号と、8×8ドットのCr信号が対応される。
【0215】このように、ブロックフォーマットに変換
されたデータは、フォーマット変換回路17からエンコ
ーダ18に供給され、ここでエンコード(符号化)が行
われる。その詳細については、図7を参照して後述す
る。
【0216】エンコーダ18によりエンコードされた信
号は、ビットストリームとして伝送路に出力される。例
えば記録回路19に供給され、デジタル信号として記録
媒体3に記録される。
【0217】復号装置2の再生回路30により記録媒体
3より再生されたデータは、デコーダ31に供給され、
デコードされる。デコーダ31の詳細については、図1
2を参照して後述する。
【0218】デコーダ31によりデコードされたデータ
は、フォーマット変換回路32に入力され、ブロックフ
ォーマットからフレームフォーマットに変換される。そ
して、フレームフォーマットの輝度信号は、フレームメ
モリ33の輝度信号フレームメモリ34に供給されて記
憶され、色差信号は色差信号フレームメモリ35に供給
されて記憶される。輝度信号フレームメモリ34と色差
信号フレームメモリ35から読み出された輝度信号と色
差信号は、それぞれD/A変換器36,37によりアナ
ログ信号に変換され、後処理回路38に供給される。後
処理回路38は、輝度信号と色差信号を合成して出力す
る。
【0219】次に図7を参照して、エンコーダ18の構
成について説明する。符号化される画像データは、マク
ロブロック単位で動きベクトル検出回路50に入力され
る。動きベクトル検出回路50は、予め設定されている
所定のシーケンスに従って、各フレームの画像データ
を、Iピクチャ、Pピクチャ、またはBピクチャとして
処理する。シーケンシャルに入力される各フレームの画
像を、I,P、またはBのいずれのピクチャとして処理
するかは、予め定められている(例えば、図2と図3に
示したように、フレームF1乃至F17により構成され
るグループオブピクチャが、I,B,P,B,P,・・
・B,Pとして処理される)。
【0220】Iピクチャとして処理されるフレーム(例
えば、フレームF1)の画像データは、動きベクトル検
出回路50からフレームメモリ51の前方原画像部51
aに転送、記憶され、Bピクチャとして処理されるフレ
ーム(例えば、フレームF2)の画像データは、原画像
部51bに転送、記憶され、Pピクチャとして処理され
るフレーム(例えば、フレームF3)の画像データは、
後方原画像部51cに転送、記憶される。
【0221】また、次のタイミングにおいて、さらにB
ピクチャ(フレームF4)またはPピクチャ(フレーム
F5)として処理すべきフレームの画像が入力されたと
き、それまで後方原画像部51cに記憶されていた最初
のPピクチャ(フレームF3)の画像データが、前方原
画像部51aに転送され、次のBピクチャ(フレームF
4)の画像データが、参照原画像部51bに記憶(上書
き)され、次のPピクチャ(フレームF5)の画像デー
タが、後方原画像部51cに記憶(上書き)される。こ
のような動作が順次繰り返される。
【0222】フレームメモリ51に記憶された各ピクチ
ャの信号は、そこから読み出され、予測モード切り替え
回路52において、フレーム予測モード処理、またはフ
ィールド予測モード処理が行なわれる。
【0223】さらにまた、予測判定回路54の制御の下
に、演算器53において、画像内予測、前方予測、後方
予測、または両方向予測の演算が行なわれる。これらの
処理のうち、いずれの処理を行なうかは、予測誤差信号
(処理の対象とされている参照画像と、これに対する予
測画像との差分)に対応して決定される。このため、動
きベクトル検出回路50は、この判定に用いられる予測
誤差信号の絶対値和(自乗和でもよい)を生成する。
【0224】ここで、予測モード切り替え回路52にお
けるフレーム予測モードとフィールド予測モードについ
て説明する。
【0225】フレーム予測モードが設定された場合にお
いては、予測モード切り替え回路52は、動きベクトル
検出回路50より供給される4個の輝度ブロックY
[1]乃至Y[4]を、そのまま後段の演算器53に出
力する。すなわち、この場合においては、図8に示すよ
うに、各輝度ブロックに奇数フィールドのラインのデー
タと、偶数フィールドのラインのデータとが混在した状
態となっている。このフレーム予測モードにおいては、
4個の輝度ブロック(マクロブロック)を単位として予
測が行われ、4個の輝度ブロックに対して1個の動きベ
クトルが対応される。
【0226】これに対して、予測モード切り替え回路5
2は、フィールド予測モードにおいては、図8に示す構
成で動きベクトル検出回路50より入力される信号を、
図9に示すように、4個の輝度ブロックのうち、輝度ブ
ロックY[1]とY[2]を、例えば奇数フィールドの
ラインのドットだけで構成させ、他の2個の輝度ブロッ
クY[3]とY[4]を、偶数フィールドのラインのド
ットだけで構成させて、演算器53に出力する。この場
合においては、2個の輝度ブロックY[1]とY[2]
に対して、1個の動きベクトルが対応され、他の2個の
輝度ブロックY[3]とY[4]に対して、他の1個の
動きベクトルが対応される。
【0227】動きベクトル検出回路50は、フレーム予
測モードにおける予測誤差の絶対値和、およびフィール
ド予測モードにおける予測誤差の絶対値和を予測モード
切り替え回路52に出力する。予測モード切り替え回路
52は、フレーム予測モードとフィールド予測モードに
おける予測誤差の絶対値和を比較し、その値が小さい予
測モードに対応する処理を施して、データを演算器53
に出力する。
【0228】ただし、このような処理は、実際には動き
ベクトル検出回路50で行われる。すなわち、動きベク
トル検出回路50は、決定されたモードに対応する構成
の信号を予測モード切り替え回路52に出力し、予測モ
ード切り替え回路52は、その信号を、そのまま後段の
演算器53に出力する。
【0229】なお、色差信号は、フレーム予測モードの
場合、図8に示すように、奇数フィールドのラインのデ
ータと偶数フィールドのラインのデータとが混在する状
態で、演算器53に供給される。また、フィールド予測
モードの場合、図9に示すように、各色差ブロックC
b,Crの上半分(4ライン)が、輝度ブロックY
[1],Y[2]に対応する奇数フィールドの色差信号
とされ、下半分(4ライン)が、輝度ブロックY
[3],Y[4]に対応する偶数フィールドの色差信号
とされる。
【0230】また、動きベクトル検出回路50は、以下
に示すようにして、予測判定回路54において、画像内
予測、前方予測、後方予測、または両方向予測のいずれ
の予測を行なうかを決定するための予測誤差の絶対値和
を生成する。
【0231】すなわち、画像内予測の予測誤差の絶対値
和として、参照画像のマクロブロックの信号Aijの総和
ΣAijの絶対値|ΣAij|と、マクロブロックの信号A
ijの絶対値|Aij|の総和Σ|Aij|の差を求める。ま
た、前方予測の予測誤差の絶対値和として、参照画像の
マクロブロックの信号Aijと、予測画像のマクロブロッ
クの信号Bijの差Aij−Bijの絶対値|Aij−Bij|の
総和Σ|Aij−Bij|を求める。また、後方予測と両方
向予測の予測誤差の絶対値和も、前方予測における場合
と同様に(その予測画像を前方予測における場合と異な
る予測画像に変更して)求める。
【0232】これらの絶対値和は、予測判定回路54に
供給される。予測判定回路54は、前方予測、後方予測
および両方向予測の予測誤差の絶対値和のうちの最も小
さいものを、インタ予測の予測誤差の絶対値和として選
択する。さらに、このインタ予測の予測誤差の絶対値和
と、画像内予測の予測誤差の絶対値和とを比較し、その
小さい方を選択し、この選択した絶対値和に対応するモ
ードを予測モードとして選択する。すなわち、画像内予
測の予測誤差の絶対値和の方が小さければ、画像内予測
モードが設定される。インタ予測の予測誤差の絶対値和
の方が小さければ、前方予測、後方予測または両方向予
測モードのうちの対応する絶対値和が最も小さかったモ
ードが設定される。
【0233】このように、動きベクトル検出回路50
は、参照画像のマクロブロックの信号を、フレームまた
はフィールド予測モードのうち、予測モード切り替え回
路52により選択されたモードに対応する構成で、予測
モード切り替え回路52を介して演算器53に供給する
とともに、4つの予測モードのうちの予測判定回路54
により選択された予測モードに対応する予測画像と参照
画像の間の動きベクトルを検出し、可変長符号化回路5
8と動き補償回路64に出力する。上述したように、こ
の動きベクトルとしては、対応する予測誤差の絶対値和
が最小となるものが選択される。
【0234】予測判定回路54は、動きベクトル検出回
路50が前方原画像部51aよりIピクチャの画像デー
タを読み出しているとき、予測モードとして、フレーム
またはフィールド(画像)内予測モード(動き補償を行
わないモード)を設定し、演算器53のスイッチ53d
を接点a側に切り替える。これにより、Iピクチャの画
像データがDCTモード切り替え回路55に入力される。
【0235】DCTモード切り替え回路55は、図10ま
たは図11に示すように、4個の輝度ブロックのデータ
を、奇数フィールドのラインと偶数フィールドのライン
が混在する状態(フレームDCTモード)、または、分離
された状態(フィールドDCTモード)、のいずれかの状
態にして、DCT回路56に出力する。
【0236】すなわち、DCTモード切り替え回路55
は、奇数フィールドと偶数フィールドのデータを混在し
てDCT処理した場合における符号化効率と、分離した状
態においてDCT処理した場合の符号化効率とを比較し、
符号化効率の良好なモードを選択する。
【0237】例えば、入力された信号を、図10に示す
ように、奇数フィールドと偶数フィールドのラインが混
在する構成とし、上下に隣接する奇数フィールドのライ
ンの信号と偶数フィールドのラインの信号の差を演算
し、さらにその絶対値の和(または自乗和)を求める。
【0238】また、入力された信号を、図11に示すよ
うに、奇数フィールドと偶数フィールドのラインが分離
した構成とし、上下に隣接する奇数フィールドのライン
同士の信号の差と、偶数フィールドのライン同士の信号
の差を演算し、それぞれの絶対値の和(または自乗和)
を求める。
【0239】さらに、両者(絶対値和)を比較し、小さ
い値に対応するDCTモードを設定する。すなわち、前者
の方が小さければ、フレームDCTモードを設定し、後者
の方が小さければ、フィールドDCTモードを設定する。
【0240】そして、選択したDCTモードに対応する構
成のデータをDCT回路56に出力するとともに、選択し
たDCTモードを示すDCTフラグを、可変長符号化回路5
8、および動き補償回路64に出力する。
【0241】予測モード切り替え回路52における予測
モード(図8と図9)と、このDCTモード切り替え回路
55におけるDCTモード(図10と図11)を比較して
明らかなように、輝度ブロックに関しては、両者の各モ
ードにおけるデータ構造は実質的に同一である。
【0242】予測モード切り替え回路52において、フ
レーム予測モード(奇数ラインと偶数ラインが混在する
モード)が選択された場合、DCTモード切り替え回路5
5においても、フレームDCTモード(奇数ラインと偶数
ラインが混在するモード)が選択される可能性が高く、
また予測モード切り替え回路52において、フィールド
予測モード(奇数フィールドと偶数フィールドのデータ
が分離されたモード)が選択された場合、DCTモード切
り替え回路55において、フィールドDCTモード(奇数
フィールドと偶数フィールドのデータが分離されたモー
ド)が選択される可能性が高い。
【0243】しかしながら、必ずしも常にこのようにモ
ードが選択されるわけではなく、予測モード切り替え回
路52においては、予測誤差の絶対値和が小さくなるよ
うにモードが決定され、DCTモード切り替え回路55に
おいては、符号化効率が良好となるようにモードが決定
される。
【0244】DCTモード切り替え回路55より出力され
たIピクチャの画像データは、DCT回路56に入力され
てDCT処理され、DCT係数に変換される。このDCT係数
は、量子化回路57に入力され、送信バッファ59のデ
ータ蓄積量(バッファ蓄積量)に対応した量子化スケー
ルで量子化された後、可変長符号化回路58に入力され
る。
【0245】可変長符号化回路58は、量子化回路57
より供給される量子化スケール(スケール)に対応し
て、量子化回路57より供給される画像データ(いまの
場合、Iピクチャのデータ)を、例えばハフマン符号な
どの可変長符号に変換し、送信バッファ59に出力す
る。
【0246】可変長符号化回路58にはまた、量子化回
路57より量子化スケール(スケール)、予測判定回路
54より予測モード(画像内予測、前方予測、後方予
測、または両方向予測のいずれが設定されたかを示すモ
ード)、動きベクトル検出回路50より動きベクトル、
予測モード切り替え回路52より予測フラグ(フレーム
予測モードまたはフィールド予測モードのいずれが設定
されたかを示すフラグ)、およびDCTモード切り替え回
路55が出力するDCTフラグ(フレームDCTモードまたは
フィールドDCTモードのいずれが設定されたかを示すフ
ラグ)が入力されており、これらも可変長符号化され
る。
【0247】送信バッファ59は、入力されたデータを
一時蓄積し、蓄積量に対応するデータを量子化回路57
に出力する。送信バッファ59は、そのデータ残量が許
容上限値まで増量すると、量子化制御信号によって量子
化回路57の量子化スケールを大きくすることにより、
量子化データのデータ量を低下させる。また、これとは
逆に、データ残量が許容下限値まで減少すると、送信バ
ッファ59は、量子化制御信号によって量子化回路57
の量子化スケールを小さくすることにより、量子化デー
タのデータ量を増大させる。このようにして、送信バッ
ファ59のオーバフローまたはアンダフローが防止され
る。
【0248】そして、送信バッファ59に蓄積されたデ
ータは、所定のタイミングで読み出され、伝送路に出力
され、例えば記録回路19を介して記録媒体3に記録さ
れる。
【0249】一方、量子化回路57より出力されたIピ
クチャのデータは、逆量子化回路60に入力され、量子
化回路57より供給される量子化スケールに対応して逆
量子化される。逆量子化回路60の出力は、IDCT(逆離
散コサイン変換)回路61に入力され、逆離散コサイン
変換処理された後、演算器62を介してフレームメモリ
63の前方予測画像部63a供給されて記憶される。
【0250】動きベクトル検出回路50は、シーケンシ
ャルに入力される各フレームの画像データを、たとえ
ば、I,B,P,B,P,B・・・のピクチャとしてそ
れぞれ処理する場合、最初に入力されたフレームの画像
データをIピクチャとして処理した後、次に入力された
フレームの画像をBピクチャとして処理する前に、さら
にその次に入力されたフレームの画像データをPピクチ
ャとして処理する。Bピクチャは、後方予測を伴うた
め、後方予測画像としてのPピクチャが先に用意されて
いないと、復号することができないからである。
【0251】そこで動きベクトル検出回路50は、Iピ
クチャの処理の次に、後方原画像部51cに記憶されて
いるPピクチャの画像データの処理を開始する。そし
て、上述した場合と同様に、マクロブロック単位でのフ
レーム間差分(予測誤差)の絶対値和が、動きベクトル
検出回路50から予測モード切り替え回路52と予測判
定回路54に供給される。予測モード切り替え回路52
と予測判定回路54は、このPピクチャのマクロブロッ
クの予測誤差の絶対値和に対応して、フレーム/フィー
ルド予測モード、または画像内予測、前方予測、後方予
測、もしくは両方向予測の予測モードを設定する。
【0252】演算器53は、画像内予測モードが設定さ
れたとき、スイッチ53dを上述したように接点a側に
切り替える。したがって、このデータは、Iピクチャの
データと同様に、DCTモード切り替え回路55、DCT回路
56、量子化回路57、可変長符号化回路58、および
送信バッファ59を介して伝送路に伝送される。また、
このデータは、逆量子化回路60、IDCT回路61、およ
び演算器62を介してフレームメモリ63の後方予測画
像部63bに供給されて記憶される。
【0253】また、前方予測モードが設定された場合、
スイッチ53dが接点bに切り替えられるとともに、フ
レームメモリ63の前方予測画像部63aに記憶されて
いる画像(いまの場合、Iピクチャの画像)データが読
み出され、動き補償回路64により、動きベクトル検出
回路50が出力する動きベクトルに対応して動き補償さ
れる。すなわち、動き補償回路64は、予測判定回路5
4より前方予測モードの設定が指令されたとき、前方予
測画像部63aの読み出しアドレスを、動きベクトル検
出回路50が、現在、出力しているマクロブロックの位
置に対応する位置から動きベクトルに対応する分だけず
らしてデータを読み出し、予測画像データを生成する。
【0254】動き補償回路64より出力された予測画像
データは、演算器53aに供給される。演算器53a
は、予測モード切り替え回路52より供給された参照画
像のマクロブロックのデータから、動き補償回路65よ
り供給された、このマクロブロックに対応する予測画像
データを減算し、その差分(予測誤差)を出力する。こ
の差分データは、DCTモード切り替え回路55、DCT回路
56、量子化回路57、可変長符号化回路58、および
送信バッファ59を介して伝送路に伝送される。また、
この差分データは、逆量子化回路60、およびIDCT回路
61により局所的に復号され、演算器62に入力され
る。
【0255】この演算器62にはまた、演算器53aに
供給されている予測画像データと同一のデータが供給さ
れている。演算器62は、IDCT回路61が出力する差分
データに、動き補償回路64が出力する予測画像データ
を加算する。これにより、元の(復号した)Pピクチャ
の画像データが得られる。このPピクチャの画像データ
は、フレームメモリ63の後方予測画像部63bに供給
されて記憶される。
【0256】動きベクトル検出回路50は、このよう
に、IピクチャとPピクチャのデータが前方予測画像部
63aと後方予測画像部63bにそれぞれ記憶された
後、次にBピクチャの処理を実行する。予測モード切り
替え回路52と予測判定回路54は、マクロブロック単
位でのフレーム間差分の絶対値和の大きさに対応して、
フレーム/フィールドモードを設定し、また、予測モー
ドを画像内予測モード、前方予測モード、後方予測モー
ド、または両方向予測モードのいずれかに設定する。
【0257】上述したように、画像内予測モードまたは
前方予測モードの時、スイッチ53dは接点aまたはb
に切り替えられる。このとき、Pピクチャにおける場合
と同様の処理が行われ、データが伝送される。
【0258】これに対して、後方予測モードまたは両方
向予測モードが設定された時、スイッチ53dは、接点
cまたはdにそれぞれ切り替えられる。
【0259】スイッチ53dが接点cに切り替えられて
いる後方予測モードの時、後方予測画像部63bに記憶
されている画像(いまの場合、Pピクチャの画像)デー
タが読み出され、動き補償回路64により、動きベクト
ル検出回路50が出力する動きベクトルに対応して動き
補償される。すなわち、動き補償回路64は、予測判定
回路54より後方予測モードの設定が指令されたとき、
後方予測画像部63bの読み出しアドレスを、動きベク
トル検出回路50が、現在、出力しているマクロブロッ
クの位置に対応する位置から動きベクトルに対応する分
だけずらしてデータを読み出し、予測画像データを生成
する。
【0260】動き補償回路64より出力された予測画像
データは、演算器53bに供給される。演算器53b
は、予測モード切り替え回路52より供給された参照画
像のマクロブロックのデータから、動き補償回路64よ
り供給された予測画像データを減算し、その差分を出力
する。この差分データは、DCTモード切り替え回路5
5、DCT回路56、量子化回路57、可変長符号化回路
58、および送信バッファ59を介して伝送路に伝送さ
れる。
【0261】スイッチ53dが接点dに切り替えられて
いる両方向予測モードの時、前方予測画像部63aに記
憶されている画像(いまの場合、Iピクチャの画像)デ
ータと、後方予測画像部63bに記憶されている画像
(いまの場合、Pピクチャの画像)データが読み出さ
れ、動き補償回路64により、動きベクトル検出回路5
0が出力する動きベクトルに対応して動き補償される。
【0262】すなわち、動き補償回路64は、予測判定
回路54より両方向予測モードの設定が指令されたと
き、前方予測画像部63aと後方予測画像部63bの読
み出しアドレスを、動きベクトル検出回路50がいま出
力しているマクロブロックの位置に対応する位置から動
きベクトル(この場合の動きベクトルは、前方予測画像
用と後方予測画像用の2つとなる)に対応する分だけず
らしてデータを読み出し、予測画像データを生成する。
【0263】動き補償回路64より出力された予測画像
データは、演算器53cに供給される。演算器53c
は、動きベクトル検出回路50より供給された参照画像
のマクロブロックのデータから、動き補償回路64より
供給された予測画像データの平均値を減算し、その差分
を出力する。この差分データは、DCTモード切り替え回
路55、DCT回路56、量子化回路57、可変長符号化
回路58、および送信バッファ59を介して伝送路に伝
送される。
【0264】Bピクチャの画像は、他の画像の予測画像
とされることがないため、フレームメモリ63には記憶
されない。
【0265】なお、フレームメモリ63において、前方
予測画像部63aと後方予測画像部63bは、必要に応
じてバンク切り替えが行われ、所定の参照画像に対し
て、一方または他方に記憶されているものを、前方予測
画像あるいは後方予測画像として切り替えて出力するこ
とができる。
【0266】上述した説明においては、輝度ブロックを
中心として説明をしたが、色差ブロックについても同様
に、図8乃至図11に示すマクロブロックを単位として
処理されて伝送される。なお、色差ブロックを処理する
場合の動きベクトルは、対応する輝度ブロックの動きベ
クトルを垂直方向と水平方向に、それぞれ1/2にした
ものが用いられる。
【0267】図12は、図5のデコーダ31の構成を示
すブロック図である。伝送路(記録媒体3)を介して伝
送された符号化された画像データは、図示せぬ受信回路
で受信されたり、再生装置で再生され、受信バッファ8
1に一時記憶された後、復号回路90の可変長復号回路
82に供給される。可変長復号回路82は、受信バッフ
ァ81より供給されたデータを可変長復号し、動きベク
トル、予測モード、予測フラグ、およびDCTフラグを動
き補償回路87に出力し、量子化スケールを逆量子化回
路83に出力するとともに、復号された画像データを逆
量子化回路83に出力する。
【0268】逆量子化回路83は、可変長復号回路82
より供給された画像データを、同じく可変長復号回路8
2より供給された量子化スケールに従って逆量子化し、
IDCT回路84に出力する。逆量子化回路83より出力さ
れたデータ(DCT係数)は、IDCT回路84により、逆離
散コサイン変換処理が施され、演算器85に供給され
る。
【0269】IDCT回路84より演算器85に供給された
画像データが、Iピクチャのデータである場合、そのデ
ータは演算器85より出力され、演算器85に後に入力
される画像データ(PまたはBピクチャのデータ)の予
測画像データ生成のために、フレームメモリ86の前方
予測画像部86aに供給されて記憶される。また、この
データは、フォーマット変換回路32(図5)に出力さ
れる。
【0270】IDCT回路84より供給された画像データ
が、その1フレーム前の画像データを予測画像データと
するPピクチャのデータであり、前方予測モードのデー
タである場合、フレームメモリ86の前方予測画像部8
6aに記憶されている、1フレーム前の画像データ(I
ピクチャのデータ)が読み出され、動き補償回路87で
可変長復号回路82より出力された動きベクトルに対応
する動き補償が施される。そして、演算器85におい
て、IDCT回路84より供給された画像データ(差分のデ
ータ)と加算され、出力される。この加算されたデー
タ、すなわち、復号されたPピクチャのデータは、演算
器85に後に入力される画像データ(Bピクチャまたは
Pピクチャのデータ)の予測画像データ生成のために、
フレームメモリ86の後方予測画像部86bに供給され
て記憶される。
【0271】Pピクチャのデータであっても、画像内予
測モードのデータは、Iピクチャのデータと同様に、演
算器85において処理は行われず、そのまま後方予測画
像部86bに記憶される。
【0272】このPピクチャは、次のBピクチャの次に
表示されるべき画像であるため、この時点では、まだフ
ォーマット変換回路32へ出力されない(上述したよう
に、Bピクチャの後に入力されたPピクチャが、Bピク
チャより先に処理され、伝送されている)。
【0273】IDCT回路84より供給された画像データ
が、Bピクチャのデータである場合、可変長復号回路8
2より供給された予測モードに対応して、フレームメモ
リ86の前方予測画像部86aに記憶されているIピク
チャの画像データ(前方予測モードの場合)、後方予測
画像部86bに記憶されているPピクチャの画像データ
(後方予測モードの場合)、または、その両方の画像デ
ータ(両方向予測モードの場合)が読み出され、動き補
償回路87において、可変長復号回路82より出力され
た動きベクトルに対応する動き補償が施されて、予測画
像が生成される。但し、動き補償を必要としない場合
(画像内予測モードの場合)、予測画像は生成されな
い。
【0274】このようにして、動き補償回路87で動き
補償が施されたデータは、演算器85において、IDCT回
路84の出力と加算される。この加算出力は、フォーマ
ット変換回路32に出力される。
【0275】ただし、この加算出力はBピクチャのデー
タであり、他の画像の予測画像生成のために利用される
ことがないため、フレームメモリ86には記憶されな
い。
【0276】Bピクチャの画像が出力された後、後方予
測画像部86bに記憶されているPピクチャの画像デー
タが読み出され、動き補償回路87を介して演算器85
に供給される。但し、このとき、動き補償は行われな
い。
【0277】なお、このデコーダ31には、図5のエン
コーダ18における予測モード切り替え回路52とDCT
モード切り替え回路55に対応する回路が図示されてい
ないが、これらの回路に対応する処理、すなわち、奇数
フィールドと偶数フィールドのラインの信号が分離され
た構成を元の構成に必要に応じて戻す処理は、動き補償
回路87により実行される。
【0278】また、上述した説明においては、輝度信号
の処理について説明したが、色差信号の処理も同様に行
われる。ただし、この場合の動きベクトルは、輝度信号
用の動きベクトルを、垂直方向および水平方向に1/2
にしたものが用いられる。
【0279】図13は、符号化された画像の品質を示し
ている。画像の品質(SNR:Signal toNoise Ratio)は、ピ
クチャタイプに対応して制御され、Iピクチャ、および
Pピクチャは高品質とされ、Bピクチャは、I,Pピク
チャに比べて劣る品質とされて伝送される。これは、人
間の視覚特性を利用した手法であり、全ての画像品質を
平均化するよりも、品質を振動させたほうが視覚上の画
質が良くなるためである。このピクチャタイプに対応し
た画質の制御は、図7の量子化回路57により実行され
る。
【0280】図14及び図15は、本発明を適用したト
ランスコーダ101の構成を示しており、図15は、図
14のさらに詳細な構成を示している。このトランスコ
ーダ101は、復号装置102に入力された符号化ビデ
オビットストリーム(encoded video bit stream)のGO
P構造及びビットレートを、オペレータの所望するGOP構
造及びビットレートに変換する。このトランスコーダ1
01の機能を説明するために、図15には図示されてい
ないが、このトランスコーダ101の前段に、このトラ
ンスコーダ101とほぼ同様の機能を有した3つのトラ
ンスコーダが接続されているものとする。つまり、ビッ
トストリームのGOP構造及びビットレートをさまざまに
変更するために、第1のトランスコーダ、第2のトラン
スコーダ、および第3のトランスコーダが順に直列に接
続され、その第3のトランスコーダの後ろに、この図1
5に示された第4のトランスコーダが接続されているも
のとする。
【0281】本発明の以下の説明において、この第1の
トランスコーダにおいて行われた符号化処理を第1世代
の符号化処理と定義し、第1のトランスコーダの後ろに
接続された第2のトランスコーダにおいて行われた符号
化処理を第2世代の符号化処理と定義し、第2のトラン
スコーダの後ろに接続された第3のトランスコーダにお
いて行われた符号化処理を第3世代の符号化処理と定義
し、第3のトランスコーダの後ろに接続された第4のト
ランスコーダ(図15に示されたトランスコーダ10
1)において行われる符号化処理を第4世代の符号化処
理または現在の符号化処理と定義することにする。
【0282】また、第1世代の符号化処理において生成
された符号化パラメータを第1世代の符号化パラメータ
と呼び、第2世代の符号化処理において生成された符号
化パラメータを第2世代の符号化パラメータと呼び、第
3世代の符号化処理において生成された符号化パラメー
タを第3世代の符号化パラメータと呼び、第4世代の符
号化処理において生成された符号化パラメータを第4世
代の符号化パラメータまたは現在の符号化パラメータと
呼ぶことにする。
【0283】まず、この図15に示されたトランスコー
ダ101に供給される符号化ビデオストリームST(3r
d)について説明する。ST(3rd)は、このトランスコ
ーダ101の前段に設けられている第3のトランスコー
ダにおける第3世代の符号化処理において生成された第
3世代の符号化ストリームであることを表わしている。
この第3世代の符号化処理において生成された符号化ビ
デオストリームST(3rd)には、第3の符号化処理に
おいて生成された第3世代の符号化パラメータが、この
符号化ビデオストリームST(3rd)のシーケンス層、G
OP層、ピクチャ層、スライス層、及びマクロブロック層
に、sequence_header() 関数、sequence_extension()
関数、group_of_pictures_header()関数、picture_head
er()関数,picture_coding_extension()関数、picture_
data()関数、slice() 関数、及びmacroblock()関数とし
て記述されている。このように第3の符号化処理によっ
て生成された第3の符号化ストリームに、第3の符号化
処理において使用した第3の符号化パラメータを記述す
ることはMPEG2規格において定義されていることであっ
て、何ら新規性は無い。
【0284】本発明のトランスコーダ101におけるユ
ニークな点は、この第3の符号化ストリームST(3r
d)中に、第3の符号化パラメータを記述するでけでな
く、第1世代及び第2世代の符号化処理において生成さ
れた第1世代及び第2世代の符号化パラメータも記述さ
れているという点である。
【0285】具体的には、この第1世代及び第2世代の
符号化パラメータは、第3世代の符号化ビデオストリー
ムST(3rd)のピクチャ層のユーザデータエリアに、
ヒストリストリームhistory_stream()として記述されて
いる。本発明においては、第3世代の符号化ビデオスト
リームST(3rd)のピクチャ層のユーザデータエリア
に記述されているヒストリストリームを、「ヒストリ情
報」、または「履歴情報」と呼び、このヒストリストリ
ームとして記述されている符号化パラメータを「ヒスト
リパラメータ」、または「履歴パラメータ」と呼んでい
る。
【0286】また別の呼び方として、第3世代の符号化
ストリームST(3rd)に記述されている第3世代の符
号化パラメータを「現在の符号化パラメータ」と呼んだ
場合には、第3世代の符号化処理からみて第1世代及び
第2世代の符号化処理は、過去に行なわれた符号化処理
であるので、第3世代の符号化ストリームST(3rd)
のピクチャ層のユーザデータエリアに記述されているヒ
ストリストリームとして記述されている符号化パラメー
タを「過去の符号化パラメータ」とも呼んでいる。
【0287】このように、この第3の符号化ストリーム
ST(3rd)中に、第3の符号化パラメータを記述する
でけでなく、第1世代及び第2世代の符号化処理におい
て生成された第1世代及び第2世代の符号化パラメータ
を記述する理由は、トランスコーディング処理によって
符号化ストリームのGOP構造やビットレートの変更を繰
り返したとしても、画質劣化を防止することができるか
らである。
【0288】例えば、あるピクチャを第1世代の符号化
処理においてPピクチャとして符号化し、第1世代の符
号化ストリームのGOP構造を変更するために、第2世代
の符号化処理においてそのピクチャをBピクチャとして
符号化し、第2世代の符号化ストリームのGOP構造をさ
らに変更するために、第3世代の符号化処理において、
再度そのピクチャをPピクチャとして符号化することが
考えられる。MPEG規格に基づく符号化処理及び復号処理
は100%可逆の処理ではないので、符号化及び復号処
理を繰り返す毎に画質が劣化していくことは知られてい
る。
【0289】このような場合に、第3の世代の符号化処
理において、量子化スケール、動きベクトル、予測モー
ドなどの符号化パラメータをもう一度計算するのではな
くて、第1世代の符号化処理において生成された量子化
スケール、動きベクトル、予測モードなどの符号化パラ
メータを再利用する。第3世代の符号化処理によって新
しく生成された量子化スケール、動きベクトル、予測モ
ードなどの符号化パラメータよりも、第1世代の符号化
処理によって新しく生成された量子化スケール、動きベ
クトル、予測モードなどの符号化パラメータの方が、明
らかに精度が良いので、この第1世代のパラメータを再
利用することによって、符号化及び復号処理を繰り返し
たとしても画質劣化を少なくすることができる。
【0290】上述した本発明にかかる処理を説明するた
めに、図15に示された第4世代のトランスコーダ10
1の処理を例に挙げてより詳しく説明する。
【0291】復号装置102は、第3世代の符号化ビッ
トストリームST(3rd)に含まれている符号化ビデオ
を第3世代の符号化パラメータを使用して復号し、復号
されたベースバンドのデジタルビデオデータを生成する
ための装置である。さらに、復号装置102は、第3世
代の符号化ビットストリームST(3rd)のピクチャ層
のユーザデータエリアにヒストリストリームとして記述
されている第1世代及び第2世代の符号化パラメータを
デコードするための装置でもある。
【0292】具体的には、図16に示されているよう
に、復号装置102は、図5の復号装置2のデコーダ3
1(図12)と基本的に同様の構成とされ、供給された
ビットストリームをバッファリングするための受信バッ
ファ81、符号化ビットストリームを可変長復号するた
めの可変長復号回路112、可変長復号されたデータを
可変長復号回路112から供給された量子化スケールに
従って逆量子化する逆量子化回路83、逆量子化された
DCT係数を逆離散コサイン変換するIDCT回路84、及
び動き補償処理を行うための演算器85、フレームメモ
リ86及び動き補償回路87を備えている。
【0293】可変長復号回路112は、第3世代の符号
化ビットストリームST(3rd)を復号処理するため
に、この第3世代の符号化ビットストリームST(3r
d)のピクチャ層、スライス層及びマクロブロック層に
記述されている第3世代の符号化パラメータを抽出す
る。たとえば、この可変長復号回路112において抽出
される第3世代の符号化パラメータは、ピクチャタイプ
を示すpicture_coding_type、量子化スケールステップ
サイズを示すquantiser_scale_code、予測モードを示す
macroblock_type、動きベクトルを示すmotion_vector、
Frame予測モードかField予測モードかを示すframe/fiel
d_motion_type、及びFrameDCTモードかField DCT
モードかを示すdct_type等である。この可変長復号回路
112において抽出されたquatntiser_scale_codeは、
逆量子化回路83に供給され、picture_coding_type、q
uatntiser_scale_code、macroblock_type、motion_vect
or、frame/field_motion_type、dct_type等のパラメー
タは、動き補償回路87に供給される。
【0294】可変長復号回路112は、第3世代の符号
化ビットストリームST(3rd)を復号処理するために
必要なこれらの符号化パラメータだけではなく、後段の
第5世代のトランスコーダに第3世代のヒストリ情報と
して伝送されるべき符号化パラメータを、第3世代の符
号化ビットストリームST(3rd)のシーケンス層、GOP
層、ピクチャ層、スライス層、及びマクロブロック層か
ら抽出する。もちろん、第3世代の復号処理に使用され
たpicture_coding_type、quatntiser_scale_code、macr
oblock_type、motion_vector、frame/field_motion_typ
e、dct_type等の第3世代の符号化パラメータは、この
第3世代のヒストリ情報に含まれている。ヒストリ情報
としてどのような符号化パラメータを抽出するかについ
ては、伝送容量などに応じてオペレータやホストコンピ
ュータ側からあらかじめ設定されている。
【0295】さらに、可変長復号回路112は、第3世
代の符号化ビットストリームST(3rd)のピクチャ層
のユーザデータエリアに記述されているユーザデータを
抽出し、そのユーザデータをヒストリデコーディング装
置104に供給する。
【0296】このヒストリデコーディング装置104
は、第3世代の符号化ビットストリームST(3rd)の
ピクチャ層に記述されていたユーザデータから、ヒスト
リ情報として記述されている第1世代の符号化パラメー
タ及び第2世代の符号化パラメータ(直前の世代よりさ
らに前の世代の符号化パラメータ)を抽出するための回
路である。具体的には、ヒストリデコーディング装置1
04は、受け取ったユーザデータのシンタックスを解析
することによって、ユーザデータの中に記述されている
固有のHistory_Data_Idを検出し、これによって、conve
rted_history_stream()を抽出することができる。さら
に、ヒストリデコーディング装置104は、converted_
history_stream()中にある所定間隔に挿入されている1
ビットのマーカービット(marker_bit)を取りさること
によって、history_stream()を得、そして、そのhistor
y_stream()のシンタックスを解析することによって、hi
story_stream()中に記述されている第1世代及び第2世
代の符号化パラメータを得ることができる。このヒスト
リデコーディング装置104の詳しい動作については、
後述する。
【0297】ヒストリ情報多重化装置103は、第1世
代、第2世代及び第3世代の符号化パラメータを、第4
世代の符号化処理を行う符号化装置106に供給するた
めに、復号装置102においてデコードされたベースバ
ンドのビデオデータに、これらの第1世代、第2世代及
び第3世代の符号化パラメータを多重化するための回路
である。具体的には、ヒストリ情報多重化装置103
は、復号装置102の演算器85から出力されたベース
バンドのビデオデータ、復号装置102の可変長復号装
置112から出力された第3世代の符号化パラメータ、
並びに、ヒストリデコーディング装置104から出力さ
れた第1世代の符号化パラメータと第2世代の符号化パ
ラメータとを受け取り、このベースバンドのビデオデー
タに、これらの第1世代、第2世代及び第3世代の符号
化パラメータを多重化する。第1世代、第2世代及び第
3世代の符号化パラメータが多重化されたベースバンド
のビデオデータは、伝送ケーブルを介してヒストリ情報
分離装置105に供給される。
【0298】次に、これらの第1世代、第2世代及び第
3世代の符号化パラメータのベースバンドビデオデータ
への多重化の方法について、図17及び図18を参照し
て説明する。、図17は、MPEG規格において定義されて
いる、16ピクセル×16ピクセルからなる1つのマク
ロブロックを示している。この16ピクセル×16ピク
セルのマクロブロックは、輝度信号に関しては4つの8
ピクセル×8ピクセルからなるサブブロック(Y[0],
[1],[2]及びY[3])と、色差信号に関しては4つの8
ピクセル×8ピクセルからなるサブブロック(Cr
[0],r[1],b[0],及びCb[1])から構成されてい
る。
【0299】図18は、ビデオデータのあるフォーマッ
トを表している。このフォーマットは、ITU勧告-RDT6
01において定義されているフォーマットであって、放
送業界において使用されている所謂「D1フォーマッ
ト」をあらわしている。このD1フォーマットは、10
ビットのビデオデータを伝送するためのフォーマットと
して規格化されたので、ビデオデータの1ピクセルを1
0ビットで表現できるようになっている。
【0300】MPEG規格によってデコードされたベースバ
ンドのビデオデータは8ビットであるので、本発明のト
ランスコーダにおいては、図18に示したように、D1
フォーマットの10ビットのうち上位8ビット(D9乃
至D2)を使用して、MPEG規格にもとづいてデコードさ
れたベースバンドのビデオデータを伝送するようにして
いる。このように、復号された8ビットのビデオデータ
をD1フォーマットに書き込むと、下位2ビット(D1
とD0)は、空きビット(unallocated bits)となる。
本発明のトランスコーダではこの空きエリア(unalloca
ted area)を利用して、ヒストリ情報を伝送するように
している。
【0301】この図18に記載されたデータブロック
は、各サブブロック(Y[0],Y[1],Y[2],Y[3],C
r[0],Cr[1],Cb[0],Cb[1])における1ピクセ
ルを伝送するためのデータブロックであるので、1マク
ロブロックのデータを伝送するためには、この図18に
示されているデータブロックが64個伝送される。下位
2ビット(D1とD0)を使用すれば、1マクロブロッ
クのビデオデータに対して、合計で1024(=16×
64)ビットのヒストリ情報を伝送できる。従って、1
世代分のヒストリ情報は、256ビットとなるように生
成されているので、過去の4(=1024/256)世
代分のヒストリ情報を1マクロブロックのビデオデータ
に対して重畳することができる。図18に示した例で
は、第1世代のヒストリ情報、第2世代のヒストリ情
報、並びに、第3世代のヒストリ情報が重畳されてい
る。
【0302】ヒストリ情報分離装置105は、D1フォ
ーマットとして伝送されたデータの上位8ビットから、
ベースバンドビデオデータを抽出し、下位2ビットから
ヒストリ情報を抽出するための回路である。図15に示
した例では、ヒストリ情報分離装置105は、伝送デー
タからベースバンドのビデオデータを抽出して、そのビ
デオデータを符号化装置106に供給するとともに、伝
送データから第1世代、第2世代及び第3世代のヒスト
リ情報を抽出して、符号化装置106とヒストリエンコ
ーディング装置107にそれぞれ供給する。
【0303】符号化装置106は、ヒストリ情報分離装
置105から供給されたベースバンドのビデオデータ
を、オペレータまたはホストコンピュータから指定され
たGOP構造及びビットレートを有するビットストリーム
になるように符号化するための装置である。なお、GOP
構造を変更するとは、たとえば、GOPに含まれるピクチ
ャの数、IピクチャとIピクチャの間に存在するPピク
チャの数、及びIピクチャとPピクチャ(またはIピク
チャ)の間に存在するBピクチャの数を変更することを
意味する。
【0304】図15に示された例では、供給されたベー
スバンドのビデオデータには、第1世代、第2世代及び
第3世代のヒストリ情報が重畳されているので、この符
号化装置106は、再符号化処理による画質劣化が少な
くなるように、これらのヒストリ情報を選択的に再利用
して第4世代の符号化処理を行う。
【0305】図19は、この符号化装置106に設けら
れているエンコーダ121の具体的な構成を示している
図である。このエンコーダ121は、基本的には、図7
に示したエンコーダ18と同様に構成され、動きベクト
ル検出回路50、フレーム/フィールド予測モード切り
替え回路52、演算器53、DCTモード切り替え回路
55、DCT回路56、量子化回路57、可変長符号化
回路58、伝送バッファ59、逆量子化回路60、逆D
CT回路61、演算器62、フレームメモリ63、並び
に動き補償回路64を備えている。これらの、各回路の
機能は、図7において説明したエンコーダ18における
場合の機能とほぼ同じであるので、その説明は省略す
る。以下に、このエンコーダ121と、図7において説
明したエンコーダ18との異なる点を中心に説明する。
【0306】このエンコーダ121は、上述した各回路
の動作及び機能を制御するためのコントローラ70を有
している。このコントローラ70は、オペレータまたは
ホストコンピュータからGOP構造に関するインストラク
ションを受け取って、そのGOP構造に対応するように各
ピクチャのピクチャタイプを決定する。また、このコン
トローラ70は、オペレータまたはホストコンピュータ
からタ−ゲットビットレートの情報を受け取り、このエ
ンコーダ121から出力されるビットレートがこの指定
されたターゲットビットレートになるように、量子化回
路57を制御する。
【0307】さらに、このコントローラ70は、ヒスト
リ情報分離装置105から出力された複数世代のヒスト
リ情報を受け取り、これらのヒストリ情報を再利用して
参照ピクチャの符号化処理を行う。以下に詳しく説明す
る。
【0308】まず、このコントローラ70は、オペレー
タによって指定されたGOP構造から決定された参照ピク
チャのピクチャタイプと、ヒストリ情報に含まれるピク
チャタイプが一致するか否かを判断する。つまり、指定
されたピクチャタイプと同じピクチャタイプでこの参照
ピクチャが過去において符号化されたことがあるか否か
を判断する。
【0309】図15に示された例をあげてよりわかりや
すく説明するのであれば、このコントローラ70は、第
4世代の符号化処理としてこの参照ピクチャにアサイン
されたピクチャタイプが、第1世代の符号化処理おける
この参照ピクチャのピクチャタイプ、第2世代の符号化
処理おけるこの参照ピクチャのピクチャタイプ、または
第3世代の符号化処理おけるこの参照ピクチャのピクチ
ャタイプのいずれかと一致するか否かを判断する。
【0310】もし、第4世代の符号化処理としてこの参
照ピクチャに指定されたピクチャタイプが、過去の符号
化処理におけるどのピクチャタイプとも一致しないので
あれは、このコントローラ70は、「通常符号化処理」
を行う。つまり、この場合には、第1世代、第2世代ま
たは第3世代のどの世代の符号化処理においても、第4
世代の符号化処理としてアサインされたピクチャタイプ
で、この参照ピクチャが符号化処理されたことがないと
いうことになる。一方、もし、第4世代の符号化処理と
してこの参照ピクチャに指定されたピクチャタイプが、
過去の符号化処理におけるいずれかのピクチャタイプと
一致するのであれば、このコントローラ70は、「パラ
メータ再利用符号化処理」を行う。つまり、この場合に
は、第1世代、第2世代または第3世代のいずれかの世
代の符号化処理において、第4世代の符号化処理として
アサインされたピクチャタイプで、この参照ピクチャが
符号化処理されたことがあるということになる。
【0311】まず、最初にコントローラ70の通常符号
化処理について説明する。
【0312】動きベクトル検出回路50は、フレーム予
測モードまたはフィールド予測モードのどちらが選択さ
れるべきかを判断するために、フレーム予測モードにお
ける予測誤差とフィールド予測モードおける予測誤差を
それぞれ検出し、その予測誤差の値をコントローラ70
に供給する。コントローラ70は、それらの予測誤差の
値を比較し、その予測誤差の値が小さい方の予測モード
を選択する。予測モード切り替え回路52は、コントロ
ーラ70によって選択された予測モードに対応するよう
に信号処理を行い、それを演算器53に供給する。
【0313】具体的には、予測モード切り替え回路52
は、フレーム予測モードが選択された場合には、図8を
参照して説明したように、輝度信号に関しては、入力さ
れた状態のまま演算器53に出力するように信号処理を
行い、色差信号に関しては、奇数フィールドラインと偶
数フィールドラインとが混在するように信号処理する。
一方、フィールド予測モードが選択された場合には、図
9を参照して説明したように、輝度信号に関しては、輝
度ブロックY[1]とY[2]を奇数フィールドラインで構成
し、輝度ブロックY[3]とY[4]を偶数フィールドライン
で構成するように信号処理し、色差信号に関しては、上
4ラインを奇数フィールドラインで構成し、下4ライン
を偶数フィールドラインで構成するように信号処理す
る。
【0314】さらに、動きベクトル検出回路50は、画
像内予測モード、前方予測モード、後方予測モード、ま
たは両方向予測モードのうちのいずれの予測モードを選
択するかを決定するために、各予測モードにおける予測
誤差を生成し、各予測モードにおける予測誤差をコント
ローラ70にそれぞれ供給する。コントローラ70は、
前方予測、後方予測および両方向予測の予測誤差のうち
の最も小さいものを、インタ予測の予測誤差として選択
する。さらに、このインタ予測の予測誤差と、画像内予
測の予測誤差とを比較し、その小さい方を選択し、この
選択した予測誤差に対応するモードを予測モードとして
選択する。すなわち、画像内予測の予測誤差の方が小さ
ければ、画像内予測モードが設定される。インタ予測の
予測誤差の方が小さければ、前方予測、後方予測または
両方向予測モードのうちの対応する予測誤差が最も小さ
かったモードが設定される。コントローラ70は、選択
した予測モードに対応するように、演算器53及び動き
補償回路64を制御する。
【0315】DCTモード切り替え回路55は、フレー
ムDCTモードまたはフィールドDCTモードのいずれかを選
択するために、4個の輝度ブロックのデータを、奇数フ
ィールドラインと偶数フィールドラインが混在するよう
な信号形態(フレームDCTモード)に変換するととも
に、奇数フィールドラインと偶数フィールドラインが分
離された信号形態(フィールドDCTモード)に変換し
て、それぞれの信号をDCT回路56に供給する。DC
T回路56は、奇数フィールドと偶数フィールドを混在
してDCT処理した場合における符号化効率と、奇数フィ
ールドと偶数フィールドを分離した状態においてDCT処
理した場合の符号化効率を計算し、その結果をコントロ
ーラ70に供給する。コントローラ70は、DCT回路
56から供給されたそれぞれの符号化効率を比較し、符
号化効率の良い方のDCTモードを選択し、その選択し
たDCTモードとなるようにDCTモード切り替え回路
55を制御する。
【0316】コントローラ70は、オペレータまたはホ
ストコンピュータから供給された目標ビットレートを示
すターゲットビットレートと、送信バッファ59にバッ
ファリングされているビット量を示す信号、つまり、バ
ッファ残量を示す信号を受け取り、このターゲットビッ
トレートとバッファ残量に基づいて、量子化回路57の
量子化ステップサイズをコントロールするためのfeedba
ck_q_scale_code を生成する。このfeedback_q_scale_c
odeは、この送信バッファ59がオーバーフローまたは
アンダーフローしないように、この送信バッファ59の
バッファ残量に応じて生成される制御信号であって、ま
た、送信バッファ59から出力されるビットストリーム
のビットレートが、ターゲットビットレートになるよう
に制御する信号でもある。
【0317】具体的には、例えば、送信バッファ59に
バッファリングされているビット量が少なくなってしま
った場合には、次に符号化するピクチャの発生ビット量
が増えるように、量子化ステップサイズを小さくし、一
方、送信バッファ59にバッファリングされているビッ
ト量が多くなってしまった場合には、次に符号化するピ
クチャの発生ビット量が少なくなるように、量子化ステ
ップサイズを大きくする。なお、feedback_q_scale_cod
eと量子化ステップサイズは比例し、feedback_q_scale_
codeを大きくすると、量子化ステップサイズは大きくな
り、feedback_q_scale_codeを小さくすると、量子化ス
テップサイズは小さくなる。
【0318】次に、このトランスコーダ101の特徴の
1つでもある、パラメータ再利用符号化処理について説
明する。この処理をより分かりやすく説明するために、
参照ピクチャは、第1世代の符号化処理においてPピク
チャとして符号化され、第2世代の符号化処理において
Iピクチャとして符号化処理され、第3世代の符号化処
理においてBピクチャとして符号化されていたものと
し、今回の第4世代の符号化処理において、この参照ピ
クチャをPピクチャとして符号化しなければいけないも
のとする。
【0319】この場合には、第4世代のピクチャタイプ
としてアサインされたピクチャタイプと同じピクチャタ
イプ(Iピクチャ)で、この参照ピクチャは第1世代の
符号化処理において符号化されているので、コントロー
ラ70は、供給されたビデオデータから符号化パラメー
タを新しく作成するのではなく、第1世代の符号化パラ
メータを使用して符号化処理を行う。この第4の符号化
処理において再利用する符号化パラメータは、代表的な
パラメータとしては、量子化スケールステップサイズを
示すquantiser_scale_code、予測方向モードを示すmacr
oblock_type、動きベクトルを示すmotion_vector、Fram
e予測モードかField予測モードかを示すframe/field_mo
tion_type、及びFrameDCTモードかField DCTモー
ドかを示すdct_type等である。
【0320】コントローラ70は、ヒストリ情報として
伝送されたすべての符号化パラメータを再利用するわけ
ではなく、再利用した方が望ましいと想定される上述し
たような符号化パラメータについては再利用し、再利用
しない方が望ましいと考えられる符号化パラメータにつ
いては、新しく生成する。
【0321】次に、この符号化パラメータ再利用符号化
処理について、上述した通常符号化処理と異なる点を中
心に説明する。
【0322】動きベクトル検出回路50は、上述した通
常符号化処理においては、参照ピクチャの動きベクトル
の検出を行ったが、このパラメータ再利用符号化処理に
おいては、動きベクトルmotion_vectorの検出処理は行
わずに、第1世代のヒストリ情報として供給された動き
ベクトルmotion_vectorを再利用する。その理由につい
て説明する。
【0323】第3世代の符号化ストリームを復号したベ
ースバンドのビデオデータは、少なくとも3回の復号及
び符号化処理が行われているので、オリジナルビデオデ
ータに比べると、明らかに画質が劣化している。画質が
劣化しているビデオデータから動きベクトルを検出した
としても、正確な動きベクトルは検出できない。つま
り、第4世代の符号化処理において検出された動きベク
トルよりも、第1世代のヒストリ情報として供給されて
いる動きベクトルの方が、明らかに、精度の高い動きベ
クトルである。つまり、第1世代の符号化パラメータと
して伝送された動きベクトルを再利用することによっ
て、第4世代の符号化処理を行ったとしても画質が劣化
しない。コントローラ70は、この第1世代のヒストリ
情報として供給された動きベクトルmotion_vectorを、
第4世代の符号化処理において符号化されるこの参照ピ
クチャの動きベクトル情報として、動き補償回路64及
び可変長符号化回路58に供給する。
【0324】さらに、動きベクトル検出回路50は、フ
レーム予測モードとフィールド予測モードのどちらが選
択されるかを判断するために、フレーム予測モードにお
ける予測誤差とフィールド予測モードおける予測誤差を
それぞれ検出したが、このパラメータ再利用符号化処理
においては、このフレーム予測モードにおける予測誤差
とフィールド予測モードおける予測誤差を検出する処理
は行わずに、第1世代のヒストリ情報として供給されて
いるFrame予測モードかField予測モードかを示すframe/
field_motion_typeを再利用する。なぜなら、第4世代
の符号化処理において検出された各予測モードにおける
予測誤差よりも、第1世代において検出された各予測モ
ードにおける予測誤差の方が精度が高いので、精度の高
い予測誤差によって決定された予測モードを選択した方
がより最適な符号化処理が行うことができるからであ
る。
【0325】具体的には、コントローラ70は、この第
1世代のヒストリ情報として供給されているframe/fiel
d_motion_typeに対応する制御信号を予測モード切り替
え回路52に供給し、予測モード切り替え回路52は、
この再利用されたframe/field_motion_typeに対応した
信号処理を行う。
【0326】さらには、動きベクトル検出回路50は、
通常符号化処理においては、画像内予測モード、前方予
測モード、後方予測モード、または両方向予測モードの
うちのいずれの予測モード(以下、この予測モードを、
予測方向モードとも称する)を選択するかを決定するた
めに、各予測方向モードにおける予測誤差を計算してい
たが、このパラメータ再利用符号化処理においては、各
予測方向モードにおける予測誤差の計算は行わず、第1
世代のヒストリ情報として供給されたmacroblock_type
に基づいて予測方向モードを決定する。なぜなら、第4
世代の符号化処理における各予測方向モードにおける予
測誤差よりも、第1世代の符号化処理における各予測方
向モードにおける予測誤差の方がより精度が高いので、
より精度の高い予測誤差によって決定された予測方向モ
ードを選択した方が、より効率の良い符号化処理が行え
るからである。具体的には、コントローラ70は、第1
世代のヒストリ情報に含まれているmacroblock_typeに
よって示される予測方向モードを選択し、その選択した
予測方向モードに対応するように、演算器53及び動き
補償回路64をコントロールする。
【0327】DCTモード切り替え回路55は、通常符
号化処理においては、フレームDCTモードの符号化効率
と、フィールドDCTモードの符号化効率を比較するため
に、フレームDCTモードの信号形態に変換した信号と、
フィールドDCTモードの信号形態に変換した信号の両方
をDCT回路56に供給していたが、このパラメータ再
利用符号化処理では、フレームDCTモードの信号形態に
変換した信号と、フィールドDCTモードの信号形態に変
換した信号の両方を生成する処理は行っておらず、第1
世代のヒストリ情報に含まれれているdct_typeによって
示されたDCTモードに対応する処理のみを行ってい
る。具体的には、コントローラ70は、第1世代のヒス
トリ情報に含まれているdct_typeを再利用し、DCTモ
ード切り替え回路55がこのdct_typeによって示される
DCTモードに対応した信号処理を行うように、DCT
モード切り替え回路55をコントロールする。
【0328】コントローラ70は、通常符号化処理で
は、オペレータによって指定されたターゲットビットレ
ートと送信バッファ残量に基づいて、量子化回路57の
量子化ステップサイズをコントロールしていたが、この
パラメータ再利用符号化処理では、ターゲットビットレ
ート、送信バッファ残量及びヒストリ情報に含まれてい
る過去の量子化スケールに基づいて、量子化回路57の
量子化ステップサイズをコントロールする。なお、以下
の説明において、ヒストリ情報に含まれている過去の量
子化スケールをhistory_q_scale_code と記述すること
にする。また、後述するヒストリストリームにおいて
は、この量子化スケールを、quantiser_scale_codeと記
述している。
【0329】まず、コントローラ70は、通常符号化処
理と同じように、現在の量子化スケールfeedback_q_sca
le_code を生成する。このfeedback_q_scale_codeは、
この送信バッファ59がオーバーフロー及びアンダーフ
ローしないように、この送信バッファ59のバッファ残
量に応じて決定される値である。続いて、第1世代のヒ
ストリストリームに含まれている過去の量子化スケール
history_q_scale_codeの値と、この現在の量子化スケー
ルfeedback_q_scale_codeの値を比較し、どちらの量子
化スケールの方が大きいかを判断する。量子化スケール
が大きいとは、量子化ステップが大きいことを意味す
る。もし、現在の量子化スケールfeedback_q_scale_cod
eが、過去の量子化スケールhistory_q_scale_codeより
も大きいのであれば、コントローラ70は、この現在の
量子化スケールfeedback_q_scale_codeを量子化回路5
7に供給する。一方、過去の量子化スケールhistory_q_
scale_codeが、現在の量子化スケールfeedback_q_scale
_codeよりも大きいのであれば、コントローラ70は、
この過去の量子化スケールhistory_q_scale_codeを量子
化回路57に供給する。
【0330】つまり、コントローラ70は、ヒストリ情
報に含まれている複数の過去の量子化スケールと、送信
バッファの残量から計算された現在の量子化スケールの
中で、もっとも大きい量子化スケールコードを選択す
る。また、別の言葉で説明するのであれば、コントロー
ラ70は、過去(第1、第2及び第3世代)の符号化処
理における量子化ステップまたは現在(第4世代)の符
号化処理において使用された量子化ステップの中で、も
っとも大きい量子化ステップを使用して量子化を行うよ
うに量子化回路57を制御する。この理由を以下に説明
する。
【0331】たとえば、第3世代の符号化処理において
生成されたストリームのビットレートが4[Mbps]であっ
て、この第4世代の符号化処理を行うエンコーダ121
に対して設定されたターゲットビットレートが15[Mbp
s]であったとする。このときに、ターゲットビットレー
トが上がっているので、単純に量子化ステップを小さく
すれば良いかというと、実際にはそうではない。過去の
符号化処理において大きい量子化ステップで符号化処理
されたピクチャを、現在の符号化処理において、量子化
ステップを小さくして符号化処理を行ったとしても、こ
のピクチャの画質は向上することなない。つまり、過去
の符号化処理における量子化ステップよりも小さい量子
化ステップで符号化することは、単にビット量が増える
だけであって、画質を向上させることにはならない。よ
って、過去(第1、第2及び第3世代)の符号化処理に
おける量子化ステップまたは現在(第4世代)の符号化
処理において使用された量子化ステップの中で、もっと
も大きい量子化ステップを使用して量子化を行うと、も
っとも効率の良い符号化処理が行える。
【0332】次に、図15におけるヒストリデコーディ
ング装置104とヒストリエンコーディング装置107
についてさらに説明する。同図に示すように、ヒストリ
デコーディング装置104は、復号装置102より供給
されるユーザデータをデコードするユーザデータデコー
ダ201、ユーザデータデコーダ201の出力を変換す
るコンバータ202、およびコンバータ202の出力か
ら履歴情報を再生するヒストリVLD203により構成さ
れている。
【0333】また、ヒストリエンコーディング装置10
7は、ヒストリ情報分離装置105より供給される3世
代分の符号化パラメータをフォーマット化するヒストリ
VLC211、ヒストリVLC211の出力を変換するコンバ
ータ212、コンバータ212の出力をユーザデータの
フォーマットにフォーマットするユーザデータフォーマ
ッタ213により構成されている。
【0334】ユーザデータデコーダ201は、復号装置
102より供給されるユーザデータをデコードして、コ
ンバータ202に出力する。詳細は図51を参照して後
述するが、ユーザデータ(user_data())は、user_data
_start_codeとuser_dataからなり、MPEG規格においては
user_dataの中に、連続する23ビットの”0”(start
_codeと同一のコード)を発生させることを禁止してい
る。これは、そのデータが、start_codeとして誤検出さ
れるのを防止するためである。履歴情報(history_stre
am())は、ユーザデータエリアに(MPEG規格のuser_dat
aの一種として)記述され、その中には、このような連
続する23ビット以上の”0”が存在することがあり得
るので、これを、連続する23ビット以上の”0”が発
生しないように、所定のタイミングで“1”を挿入処理
して、converted_history_stream()(後述する図38)
に変換する必要がある。この変換を行うのは、ヒストリ
エンコーディング装置107のコンバータ212であ
る。ヒストリデコーディング装置104のコンバータ2
02は、このコンバータ212と逆の変換処理を行う
(連続する23ビット以上の”0”を発生させないため
に挿入された”1”を除去する)ものである。
【0335】ヒストリVLD203は、コンバータ202
の出力から履歴情報(いまの場合、第1世代の符号化パ
ラメータと第2世代の符号化パラメータ)を生成し、ヒ
ストリ情報多重化装置103に出力する。
【0336】一方、ヒストリエンコーディング装置10
7においては、ヒストリVLC211がヒストリ情報分離
装置105より供給される3世代分の(第1世代、第2
世代、および第3世代の)符号化パラメータを履歴情報
のフォーマットに変換する。このフォーマットには、固
定長のもの(後述する図40乃至図46)と、可変長の
もの(後述する図47)とがある。これらの詳細につい
ては後述する。
【0337】ヒストリVLC211により、フォーマット
化された履歴情報は、コンバータ212において、conv
erted_history_stream()に変換される。これは、上述し
たように、user_data()のstart_codeが誤検出されない
ようにするための処理である。すなわち、履歴情報内に
は連続する23ビット以上の”0”が存在するが、user
_data中には連続する23ビット以上の”0”を配置す
ることができないので、この禁止項目に触れないように
コンバータ212によりデータを変換する(“1”を所
定のタイミングで挿入する)のである。
【0338】ユーザデータフォーマッタ213は、コン
バータ212より供給されるconverted_history_stream
()に、後述する図38に基づいて、History_Data_IDを
付加し、さらに、user_data_stream_codeを付加して、v
ideo stream中に挿入できるMPEG規格のuser_dataを生成
し、符号化装置106に出力する。
【0339】図20は、ヒストリVLC211の構成例を
表している。その符号語変換器301と符号長変換器3
05には、符号化パラメータ(今回、履歴情報として伝
送する符号化パラメータ)(項目データ)と、この符号
化パラメータを配置するストリームを特定する情報(例
えば、シンタックスの名称(例えば、後述するsequence
_headerの名称))(項目NO.)が、ヒストリ情報分離装
置105から供給されている。符号語変換器301は、
入力された符号化パラメータを、指示されたシンタック
スに対応する符号語に変換し、バレルシフタ302に出
力する。バレルシフタ302は、符号語変換器301よ
り入力された符号語を、アドレス発生回路306より供
給されるシフト量に対応する分だけシフトし、バイト単
位の符号語として、スイッチ303に出力する。アドレ
ス発生回路306が出力するビットセレクト信号により
切り換えられるスイッチ303は、ビット分設けられて
おり、バレルシフタ302より供給される符号語を、RA
M304に供給し、記憶させる。このときの書き込みア
ドレスは、アドレス発生回路306から指定される。ま
た、アドレス発生回路306から読み出しアドレスが指
定されたとき、RAM304に記憶されているデータ(符
号語)が読み出され、後段のコンバータ212に供給さ
れるとともに、必要に応じて、スイッチ303を介して
RAM304に再び供給され、記憶される。
【0340】符号長変換器305は、入力されるシンタ
ックスと符号化パラメータとから、その符号化パラメー
タの符号長を決定し、アドレス発生回路306に出力す
る。アドレス発生回路306は、入力された符号長に対
応して、上述したシフト量、ビットセレクト信号、書き
込みアドレス、または読み出しアドレスを生成し、それ
らを、それぞれバレルシフタ302、スイッチ303、
またはRAM304に供給する。
【0341】以上のように、ヒストリVLC211は、い
わゆる可変長符号化器として構成され、入力された符号
化パラメータを可変長符号化して出力する。
【0342】図21は、以上のようにしてヒストリフォ
ーマット化されたデータをデコードするヒストリVLD2
03の構成例を表している。このヒストリVLD203に
は、コンバータ202から供給された符号化パラメータ
のデータがRAM311に供給されて、記憶される。この
ときの書き込みアドレスは、アドレス発生回路315か
ら供給される。アドレス発生回路315はまた、所定の
タイミングで読み出しアドレスを発生し、RAM311に
供給する。このとき、RAM311は、読み出しアドレス
に記憶されているデータを読み出し、バレルシフタ31
2に出力する。バレルシフタ312は、アドレス発生回
路315が出力するシフト量に対応する分だけ、入力さ
れるデータをシフトし、逆符号長変換器313と逆符号
語変換器314に出力する。
【0343】逆符号長変換器313にはまた、コンバー
タ202から、符号化パラメータが配置されているスト
リームのシンタックスの名称(項目NO.)が供給されて
いる。逆符号長変換器313は、そのシンタックスに基
づいて、入力されたデータ(符号語)から符号長を求
め、求めた符号長をアドレス発生回路315に出力す
る。
【0344】また、逆符号語変換器314は、バレルシ
フタ312より供給されたデータを、シンタックスに基
づいて復号し(逆符号語化し)、ヒストリ情報多重化装
置103に出力する。
【0345】また、逆符号語変換器314は、どのよう
な符号語が含まれているのかを特定するのに必要な情報
(符号語の区切りを決定するのに必要な情報)を抽出
し、アドレス発生回路315に出力する。アドレス発生
回路315は、この情報と逆符号長変換器313より入
力された符号長に基づいて、書き込みアドレスおよび読
み出しアドレスを発生し、RAM311に出力するととも
に、シフト量を発生し、バレルシフタ312に出力す
る。
【0346】図22は、コンバータ212の構成例を表
している。この例においては、ヒストリVLC211とコ
ンバータ212の間に配置されているバッファメモリ3
20の、コントローラ326が出力する読み出しアドレ
スから8ビットのデータが読み出され、D型フリップフ
ロップ(D−FF)321に供給され、保持されるよう
になされている。そして、D型フリップフロップ321
より読み出されたデータは、スタッフ回路323に供給
されるとともに、8ビットのD型フリップフロップ32
2にも供給され、保持される。D型フリップフロップ3
22より読み出された8ビットのデータは、D型フリッ
プフロップ321より読み出された8ビットのデータと
合成され、16ビットのパラレルデータとして、スタッ
フ回路323に供給される。
【0347】スタッフ回路323は、コントローラ32
6より供給されるスタッフ位置を示す信号(stuff posi
tion)の位置に符号”1”を挿入し(スタッフィング
し)、合計17ビットのデータとして、バレルシフタ3
24に出力する。
【0348】バレルシフタ324は、コントローラ32
6より供給されるシフト量を示す信号(shift)に基づ
いて入力されたデータをシフトして、8ビットのデータ
を抽出し、8ビットのD型フリップフロップ325に出
力する。D型フリップフロップ325に保持されたデー
タは、そこから読み出され、バッファメモリ327を介
して、後段のユーザデータフォーマッタ213に供給さ
れる。この時、コントローラ326は、出力するデータ
とともに、書き込みアドレスを発生し、コンバータ21
2とユーザデータフォーマッタ213との間に介在する
バッファメモリ327に供給する。
【0349】図23は、スタッフ回路323の構成例を
表している。D型フリップフロップ322,321より
入力された16ビットのデータは、それぞれスイッチ3
31−16乃至331−1の接点aに入力されている。
スイッチ331−i(i=0乃至15)の接点cには、
MSB側(図中上方)に隣接するスイッチのデータが供給
されている。例えば、スイッチ331−12の接点cに
は、MSB側に隣接するスイッチ331−13の接点aに
供給されているLSBから13番目のデータが供給されて
おり、スイッチ331−13の接点cには、MSB側に隣
接するスイッチ331−14の接点aに供給されている
LSB側から14番目のデータが供給されている。
【0350】但し、LSBに対応するスイッチ331−1
よりさらに下側のスイッチ331−0の接点aは、開放
されている。また、MSBに対応するスイッチ331−1
6の接点cは、それより上位のスイッチが存在しないた
め、開放されている。
【0351】各スイッチ331−0乃至331−16の
接点bには、データ”1”が供給されている。
【0352】デコーダ332は、コントローラ326よ
り供給されるデータ”1”を挿入する位置を示す信号st
uff positionに対応して、スイッチ331−0乃至33
1−16のうち、1つのスイッチを接点b側に切り替
え、それよりLSB側のスイッチは、接点c側にそれぞれ
切り替えさせ、それよりMSB側のスイッチは、接点a側
に切り替えさせる。
【0353】図23は、LSB側から13番目にデータ”
1”を挿入する場合の例を示している。従って、この場
合、スイッチ331−0乃至スイッチ331−12は、
いずれも接点c側に切り替えられ、スイッチ331−1
3は、接点b側に切り替えられ、スイッチ331−14
乃至スイッチ331−16は、接点a側に切り替えられ
ている。
【0354】図22のコンバータ212は、以上のよう
な構成により、22ビットの符号を23ビットに変換し
て、出力することになる。
【0355】図24は、図22のコンバータ212の各
部の出力データのタイミングを表している。コンバータ
212のコントローラ326がバイト単位のクロックに
同期して、読み出しアドレス(図24(A))を発生す
ると、バッファメモリ320から、それに対応するデー
タが、バイト単位で読み出され、D型フリップフロップ
321に一旦保持される。そして、D型フリップフロッ
プ321より読み出されたデータ(図24(B))は、
スタッフ回路323に供給されるとともに、D型フリッ
プフロップ322に供給され、保持される。D型フリッ
プフロップ322に保持されたデータは、そこからさら
に読み出され(図24(C))、スタッフ回路323に
供給される。
【0356】従って、スタッフ回路323の入力(図2
4(D))は、読み出しアドレスA1のタイミングにお
いて、最初の1バイトのデータD0とされ、次の読み出
しアドレスA2のタイミングにおいて、1バイトのデー
タD0と1バイトのデータD1より構成される2バイト
のデータとなり、さらに読み出しアドレスA3のタイミ
ングにおいては、データD1とデータD2より構成され
る2バイトのデータとなる。
【0357】スタッフ回路323には、データ”1”を
挿入する位置を示す信号stuff position(図24
(E))がコントローラ326より供給される。スタッ
フ回路323のデコーダ332は、スイッチ331−1
6乃至331−0のうち、この信号stuff positionに対
応するスイッチを接点bに切り換え、それよりLSB側の
スイッチを接点c側に切り換え、さらにそれよりMSB側
のスイッチを接点a側に切り換える。これにより、デー
タ”1”が挿入されるので、スタッフ回路323から
は、信号stuff positionで示す位置に、データ”1”が
挿入されたデータ(図24(F))が出力される。
【0358】バレルシフタ324は、入力されたデータ
を、コントローラ326より供給される信号shift(図
24(G))で示される量だけバレルシフトして、出力
する(図24(H)) 。この出力がさらにD型フリッ
プフロップ325で一旦保持された後、後段に出力され
る(図24(I))。
【0359】D型フリップフロップ325より出力され
るデータには、22ビットのデータの次に、データ”
1”が挿入されている。従って、データ”1”と、次の
データ”1”の間には、その間のビットが全て0であっ
たとしても、0のデータの連続する数は22となる。
【0360】図25は、コンバータ202の構成例を表
している。このコンバータ202のD型フリップフロッ
プ341乃至コントローラ346よりなる構成は、図2
2に示したコンバータ212のD型フリップフロップ3
21乃至コントローラ326と基本的に同様の構成であ
るが、コンバータ212におけるスタッフ回路323に
代えて、ディリート回路343が挿入されている点がコ
ンバータ212における場合と異なっている。その他の
構成は、図22のコンバータ212における場合と同様
である。
【0361】すなわち、このコンバータ202において
は、コントローラ346が出力する削除するビットの位
置を示す信号delete positionに従って、ディリート回
路343が、そのビット(図22のスタッフ回路323
で挿入されたデータ”1”)が削除される。
【0362】その他の動作は、図22のコンバータ21
2における場合と同様である。
【0363】図26は、ディリート回路343の構成例
を表している。この構成例においては、D型フリップフ
ロップ342,341より入力された16ビットのデー
タのうち、LSB側の15ビットが、それぞれ対応するス
イッチ351−0乃至351−14の接点aに供給され
ている。各スイッチの接点bには、1ビットだけMSB側
のデータが供給されている。デコーダ352は、コント
ローラ346より供給される信号delete positionによ
り指定されるビットを削除して、15ビットのデータと
して出力するようになされている。
【0364】図26は、LSBから第13番目のビットが
ディリートされる状態を示している。従って、この場
合、スイッチ351−0乃至スイッチ351−11が接
点a側に切り替えられ、LSBから第12番目までの12
ビットが、そのまま選択、出力されている。また、スイ
ッチ351−12乃至351−14は、それぞれ接点b
側に切り替えられているので、第14番目乃至第16番
目のデータが、第13番目乃至第15番目のビットのデ
ータとして選択、出力される。
【0365】図23のスタッフ回路323および図26
のディリート回路343の入力が16ビットとなってい
るのは、それぞれ図22のコンバータ212のスタッフ
回路323の入力が、D型フリップフロップ322,3
21より供給される16ビットとされており、また、図
25のコンバータ202においても、ディリート回路3
43の入力が、D型フリップフロップ342,341に
より16ビットとされているためである。図22におい
て、スタッフ回路323の出力する17ビットをバレル
シフタ324でバレルシフトすることにより、例えば8
ビットを最終的に選択、出力しているのと同様に、図2
5のコンバータ202においても、ディリート回路34
3の出力する15ビットのデータを、バレルシフタ34
4で所定量だけバレルシフトすることにより、8ビット
のデータとしている。
【0366】図27は、コンバータ212の他の構成例
を表している。この構成例においては、カウンタ361
が入力データのうち、連続する0のビットの数をカウン
トし、そのカウント結果をコントローラ326に出力す
るようになされている。コントローラ326は、例えば
カウンタ361が連続する0のビットを22個カウント
したとき、信号stuff positionをスタッフ回路323に
出力する。また、このとき、コントローラ326は、カ
ウンタ361をリセットし、再び連続する0のビットの
数をカウンタ361にカウントさせる。
【0367】その他の構成と動作は、図22における場
合と同様である。
【0368】図28は、コンバータ202の他の構成例
を表している。この構成例においては、入力データのう
ち、連続する0の数をカウンタ371がカウントし、そ
のカウント結果をコントローラ346に出力するように
なされている。カウンタ371のカウント値が22に達
したとき、コントローラ346は、信号delete positio
nをディリート回路343に出力するとともに、カウン
タ371をリセットし、再び新たな連続する0のビット
の数をカウンタ371にカウントさせる。その他の構成
は、図25における場合と同様である。
【0369】このように、この構成例においては、所定
のパターン(データ”0”の連続する数)に基づいて、
マーカービットとしてのデータ”1”が挿入され、ま
た、削除されることになる。
【0370】図27と図28に示す構成は、図22と図
25に示す構成よりも効率的な処理が可能となる。但
し、変換後の長さが元の履歴情報に依存することにな
る。
【0371】図29は、ユーザデータフォーマッタ21
3の構成例を表している。この例においては、コントロ
ーラ383がコンバータ212とユーザデータフォーマ
ッタ213との間に配置されているバッファメモリ(図
示せず)に読み出しアドレスを出力すると、そこから読
み出されたデータが、ユーザデータフォーマッタ213
のスイッチ382の接点a側に供給される。ROM381
には、ユーザデータスタートコード、データIDなどの
user_data()を生成するのに必要なデータが記憶されて
いる。コントローラ313は、所定のタイミングにおい
て、スイッチ382を接点a側または接点b側に切り替
え、ROM381に記憶されているデータ、またはコンバ
ータ212より供給されるデータを適宜選択し、出力す
る。これにより、user_data()のフォーマットのデータ
が符号化装置106に出力される。
【0372】なお、図示は省略するが、ユーザデータデ
コーダ201は、図29のROM381より読み出され、
挿入されたデータを削除するスイッチを介して、入力デ
ータを出力するようにすることで実現することができ
る。
【0373】図30は、例えば映像編集スタジオにおい
て、複数のトランスコーダ101−1乃至101−Nが
直列に接続されて使用される状態を示している。各トラ
ンスコーダ101−i(i=1乃至N)のヒストリ情報
多重化装置103−iは、上述した符号化パラメータ用
の領域の最も古い符号化パラメータが記録されている区
画に、自己が用いた最新の符号化パラメータを上書きす
る。このことにより、ベースバンドの画像データには、
同一のマクロブロックに対応する直近の4世代分の符号
化パラメータ(世代履歴情報)が記録されることになる
(図18)。
【0374】各符号化装置106−iのエンコーダ12
1−i(図19)は、その可変長符号化回路58におい
て、ヒストリ情報分離装置105−iから供給される今
回用いる符号化パラメータに基づいて、量子化回路57
より供給されるビデオデータを符号化する。このように
して生成されるビットストリーム(例えば、picture_he
ader())中に、その現符号化パラメータは多重化され
る。
【0375】可変長符号化回路58はまた、ヒストリエ
ンコーディング装置107−iより供給されるユーザデ
ータ(世代履歴情報を含む)を、出力するビットストリ
ーム中に多重化する(図18に示すような埋め込み処理
ではなく、ビットストリーム中に多重化する)。そし
て、符号化装置106−iの出力するビットストリーム
は、SDTI(Serial Data Transfer Interface)108
−iを介して、後段のトランスコーダ101−(i+
1)に入力される。
【0376】トランスコーダ101−iとトランスコー
ダ101−(i+1)は、それぞれ図15に示すように
構成されている。従って、その処理は、図15を参照し
て説明した場合と同様となる。
【0377】実際の符号化パラメータの履歴を利用した
符号化として、現在Iピクチャとして符号化されていた
ものを、PもしくはBピクチャに変更したい場合、過去
の符号化パラメータの履歴を見て、過去にPもしくはB
ピクチャであった場合を探し、これらの履歴が存在した
場合は、その動きベクトルなどのパラメータを利用し
て、ピクチャタイプを変更する。反対に過去に履歴がな
い場合は、動き検出を行わないピクチャタイプの変更を
断念する。もちろん履歴がない場合であっても、動き検
出を行えばピクチャタイプを変更できる。
【0378】図18に示すフォーマットの場合、4世代
分の符号化パラメータを埋め込むようにしたが、I、
P、Bの各ピクチャタイプのパラメータを埋め込むよう
にすることもできる。図31は、この場合のフォーマッ
トの例を示している。この例では、同一のマクロブロッ
クが、過去にピクチャタイプの変更を伴って符号化され
たときにおける、ピクチャタイプ毎に1世代分の符号化
パラメータ(ピクチャ履歴情報)が記録される。したが
って、図16に示したデコーダ111、および図19に
示したエンコーダ121は、現在(最新)、第3世代、
第2世代、および第1世代の符号化パラメータの代わり
に、Iピクチャ、Pピクチャ、およびBピクチャに対応
する1世代分の符号化パラメータを入出力することにな
る。
【0379】また、この例の場合、Cb[1][x]とCr[1][x]
の空き領域は利用しないので、Cb[1][x]とCr[1][x]の領
域を有さない4:2:0フォーマットの画像データにも
本発明を適用することができる。
【0380】この例の場合、復号装置102は、符号化
パラメータを復号と同時に取り出し、ピクチャタイプを
判定して、画像信号のピクチャタイプに対応した場所に
符号化パラメータを書き込んで(多重化して)ヒストリ
情報分離装置105に出力する。ヒストリ情報分離装置
105は、符号化パラメータを分離し、これから符号化
したいピクチャタイプと、入力された過去の符号化パラ
メータを考慮して、ピクチャタイプを変更しながら再符
号化を行うことができる。
【0381】次に、各トランスコーダ101において、
変更が可能なピクチャタイプを判定する処理について、
図32のフローチャートを参照して説明する。なお、ト
ランスコーダ101におけるピクチャタイプの変更は、
過去の動きベクトルを利用するので、この処理は動き検
出を行わないで実行されることを前提としている。ま
た、以下に説明する処理は、ヒストリ情報分離装置10
5により実行される。
【0382】ステップS1において、ピクチャタイプ毎
に1世代分の符号化パラメータ(ピクチャ履歴情報)が
ヒストリ情報分離装置105に入力される。
【0383】ステップS2において、ヒストリ情報分離
装置105は、ピクチャ履歴情報の中に、Bピクチャに
変更したときの符号化パラメータが存在するか否かを判
定する。ピクチャ履歴情報にBピクチャに変更したとき
の符号化パラメータが存在すると判定された場合、ステ
ップS3に進む。
【0384】ステップS3において、ヒストリ情報分離
装置105は、ピクチャ履歴情報の中に、Pピクチャに
変更したときの符号化パラメータが存在するか否かを判
定する。ピクチャ履歴情報にPピクチャに変更したとき
の符号化パラメータが存在すると判定された場合、ステ
ップS4に進む。
【0385】ステップS4において、ヒストリ情報分離
装置105は、変更可能なピクチャタイプがIピクチ
ャ、Pピクチャ、およびBピクチャであると判断する。
【0386】ステップS3において、ピクチャ履歴情報
にPピクチャに変更したときの符号化パラメータが存在
しないと判定された場合、ステップS5に進む。
【0387】ステップS5において、ヒストリ情報分離
装置105は、変更可能なピクチャタイプがIピクチ
ャ、およびBピクチャであると判断する。さらに、ヒス
トリ情報分離装置105は、特殊処理(Bピクチャの履
歴情報に含まれる後方予測ベクトルを使わず、前方予測
ベクトルだけを使う)を施すことにより、擬似的にPピ
クチャに変更可能であると判断する。
【0388】ステップS2において、ピクチャ履歴情報
にBピクチャに変更したときの符号化パラメータが存在
しないと判定された場合、ステップS6に進む。
【0389】ステップS6において、ヒストリ情報分離
装置105は、ピクチャ履歴情報にPピクチャに変更し
たときの符号化パラメータが存在するか否かを判定す
る。ピクチャ履歴情報にPピクチャに変更したときの符
号化パラメータが存在すると判定された場合、ステップ
S7に進む。
【0390】ステップS7において、ヒストリ情報分離
装置105は、変更可能なピクチャタイプがIピクチ
ャ、およびPピクチャであると判断する。さらに、ヒス
トリ情報分離装置105は、特殊処理(Pピクチャに履
歴情報に含まれる前方予測ベクトルだけを使う)を施す
ことにより、Bピクチャに変更可能であると判断する。
【0391】ステップS6において、ピクチャ履歴情報
にPピクチャに変更したときの符号化パラメータが存在
しないと判定された場合、ステップS8に進む。ステッ
プS8において、ヒストリ情報分離装置105は、動き
ベクトルが存在しないので、変更可能なピクチャタイプ
がIピクチャだけである(IピクチャなのでIピクチャ
以外には変更できない)と判断する。
【0392】ステップS4,S5,S7,S8の処理の
次にステップS9において、ヒストリ情報分離装置10
5は、変更可能なピクチャタイプを表示装置(図示せ
ず)に表示してユーザに通知する。
【0393】図33は、ピクチャタイプ変更の例を示し
ている。ピクチャタイプを変更する場合、GOPを構成す
るフレーム数が変更される。すなわち、この例の場合、
N=15(GOPのフレーム数N=15)、M=3(GOP内のI、また
はPピクチャの出現周期M=3)のフレームから構成される
4MbpsのLong GOP(第1世代)から、N=1,M=1のフレー
ムで構成される50MbpsのShort GOP(第2世代)に変
換され、再度、N=15,M=3のフレームから構成される4M
bpsのLong GOP(第3世代)に変換されている。なお、
図中において破線は、GOPの境界を示している。
【0394】第1世代から第2世代にピクチャタイプが
変更される場合において、上述した変更可能ピクチャタ
イプ判定処理の説明から明らかなように、全てのフレー
ムは、ピクチャタイプをIピクチャに変更することが可
能である。このピクチャタイプ変更のとき、動画像(第
0世代)が第1世代に変換されたときに演算された全て
の動きベクトルは、ピクチャ履歴情報に保存された(残
された)状態となる。次に、再度Long GOPに変換される
(第2世代から第3世代にピクチャタイプが変更され
る)場合、第0世代から第1世代に変換されたときのピ
クチャタイプ毎の動きベクトルが保存されているので、
これを再利用することにより、画質劣化を抑えて、再
度、Long GOPに変換することが可能となる。
【0395】図34は、ピクチャタイプ変更の他の例を
示している。この例の場合、N=14,M=2である4MbpsのL
ong GOP(第1世代)から、N=2,M=2である18MbpsのS
hortGOP(第2世代)に変換され、さらに、N=1,M=1で
あるフレーム数が1の50MbpsのShort GOP(第3世
代)に変換されて、1Mbpsの、フレーム数Nがランダム
なGOP(第4世代)に変換される。
【0396】この例においても、第0世代から第1世代
に変換されたときのピクチャタイプ毎の動きベクトル
が、第3世代から第4世代への変換のときまで保存され
る。そこで、図34に示すように、複雑にピクチャタイ
プを変更しても、保存されている符号化パラメータを再
利用されることにより、画質劣化を小さく抑えることが
できる。さらに、保存されている符号化パラメータの量
子化スケールを有効に利用すれば画質劣化の少ない符号
化を実現できる。
【0397】この量子化スケールの再利用について、図
35を参照して説明する。図35は、所定のフレーム
が、第1世代から第4世代まで常に、Iピクチャに変換
されており、ビットレートだけが、4Mbps,18Mbps、
または50Mbpsに変更されていることを示している。
【0398】例えば、第1世代(4Mbps)から第2世代
(18Mbps)への変換の際に、ビットレートの高速化に伴
って、細かい量子化スケールで再符号化しても画質は向
上しない。なぜならば、過去において粗い量子化ステッ
プで量子化されたデータは、復元しないからである。し
たがって、図35に示すように、途中でビットレートが
高速化しても、それに伴って細かい量子化ステップで量
子化することは、情報量が増加するだけであって画質の
向上には繋がらない。したがって、過去のもっとも粗い
(大きい)量子化スケールを維持するように制御すれ
ば、最も無駄が無く、効率的な符号化が可能となる。
【0399】なお、第3世代から第4世代への変更時に
は、ビットレートは、50Mbpsから4Mbpsに低下されて
いるが、この場合にも、過去のもっとも粗い(大きい)
量子化スケールが維持される。
【0400】上述したように、ビットレートが変更され
るときは、過去の量子化スケールの履歴を利用して符号
化することは非常に有効である。
【0401】この量子化制御処理について、図36のフ
ローチャートを参照して説明する。ステップS11にお
いて、ヒストリ情報分離装置105は、入力されたピク
チャ履歴情報に、いまから変換するピクチャタイプの符
号化パラメータが存在するか否かを判定する。変換する
ピクチャタイプの符号化パラメータが存在すると判定さ
れた場合、ステップS12に進む。
【0402】ステップS12において、ヒストリ情報分
離装置105は、ピクチャ履歴情報の対象となる符号化
パラメータから、history_q_scale_codeを抽出する。
【0403】ステップS13において、ヒストリ情報分
離装置105は、送信バッファ59から量子化回路57
にフィードバックされるバッファ残量に基づいて、feed
back_q_scale_codeを演算する。
【0404】ステップS14において、ヒストリ情報分
離装置105は、history_q_scale_codeがfeedback_q_s
cale_codeよりも大きい(粗い)か否かを判定する。his
tory_q_scale_codeがfeedback_q_scale_codeよりも大き
いと判定された場合、ステップS15に進む。
【0405】ステップS15において、ヒストリ情報分
離装置105は、量子化スケールとしてhistory_q_scal
e_code を量子化回路57に出力する。量子化回路57
は、history_q_scale_code を用いて量子化を実行す
る。
【0406】ステップS16において、フレームに含ま
れる全てのマクロブロックが量子化されたか否かが判定
される。全てのマクロブロックがまだ量子化されていな
いと判定された場合、ステップS12に戻り、ステップ
S12乃至S16の処理が、全てのマクロブロックが量
子化されるまで繰り返される。
【0407】ステップS14において、history_q_scal
e_codeがfeedback_q_scale_codeよりも大きくない(細
かい)いと判定された場合、ステップS17に進む。
【0408】ステップS17において、ヒストリ情報分
離装置105は、量子化スケールとしてfeedback_q_sca
le_codeを量子化回路57に出力する。量子化回路57
は、feedback_q_scale_codeを用いて量子化を実行す
る。
【0409】ステップS11において、変換するピクチ
ャタイプの符号化パラメータが、ヒストリ情報中に存在
しないと判定された場合、ステップS18に進む。
【0410】ステップS18において、ヒストリ情報分
離装置105は、送信バッファ59から量子化回路57
にフィードバックされるバッファ残量に基づいて、feed
back_q_scale_codeを演算する。
【0411】ステップS19において、量子化回路57
は、Feedback_q_scale_codeを用いて量子化を実行す
る。
【0412】ステップS20において、フレームに含ま
れる全てのマクロブロックが量子化されたか否かが判定
される。全てのマクロブロックがまだ量子化されていな
いと判定された場合、ステップS18に戻り、ステップ
S18乃至S20の処理が、全てのマクロブロックが量
子化されるまで繰り返される。
【0413】なお、本実施の形態におけるトランスコー
ダ101の内部においては、上述したように、復号側と
符号側が粗結合されており、符号化パラメータを画像デ
ータに多重化させて伝送させたが、図37に示すよう
に、復号装置102と符号化装置106を直接接続する
(密結合する)ようにしてもよい。
【0414】図15において説明したトランスコーダ1
01は、第1世代から第3世代の過去の符号化パラメー
タを符号化装置106に供給するために、ベースバンド
ビデオデータに過去の符号化パラメータを多重化して伝
送するようにしていた。しかしながら、本発明において
は、ベースバンドビデオデータに過去の符号化パラメー
タを多重化する技術は必須ではなく、図37に示された
ように、ベースバンドビデオデータとは異なる伝送路
(たとえばデータ転送バス)を使用して、過去の符号化
パラメータを伝送するようにしても良い。
【0415】つまり、図37に示した、復号装置10
2、ヒストリデコーディング装置104、符号化装置1
06及びヒストリエンコーディング装置107は、図1
5において説明した復号装置102、ヒストリデコーデ
ィング装置104、符号化装置106及びヒストリエン
コーディング装置107とまったく同じ機能及び構成を
有している。
【0416】復号装置102の可変長復号回路112
は、第3世代の符号化ストリームST(3rd)のシーケン
ス層、GOP層、ピクチャ層、スライス層及びマクロブロ
ック層から、第3世代の符号化パラメータを抽出し、そ
れを、ヒストリエンコーディング装置107及び符号化
装置106のコントローラ70にそれぞれ供給する。ヒ
ストリエンコーディング装置107は、受け取った第3
世代の符号化パラメータをピクチャ層のユーザデータエ
リアに記述できるようにconverted_history_stream()に
変換し、converted_history_stream()をユーザデータと
して符号化装置106の可変長符号化回路58に供給す
る。
【0417】さらに可変長復号回路112は、第3世代
の符号化ストリームのピクチャ層のユーザデータエリア
から、第1世代の符号化パラメータ及び第2の符号化パ
ラメータを含んでいるユーザデータuser_data を抽出
し、ヒストリデコーディング装置104及び符号化装置
106の可変長符号化回路58に供給する。ヒストリデ
コーディング装置104は、ユーザデータエリアにconv
erted_history_stream()として記述されたヒストリスト
リームから、第1世代の符号化パラメータ及び第2世代
の符号化パラメータを抽出し、それを符号化装置106
のコントローラに供給する。
【0418】符号化装置106のコントローラ70は、
ヒストリデコーディング装置104から受け取った第1
世代及び第2世代の符号化パラメータと、符号化装置1
02から受け取った第3世代の符号化パラメータとに基
づいて、符号化装置106の符号化処理をコントロール
する。
【0419】符号化装置106の可変長符号化回路58
は、復号装置102から第1世代の符号化パラメータ及
び第2の符号化パラメータを含んでいるユーザデータus
er_dataを受け取るとともに、ヒストリエンコーディン
グ装置107から第3世代の符号化パラメータを含んで
いるユーザデータuser_dataを受け取り、それらのユー
ザデータをヒストリ情報として、第4世代の符号化スト
リームのピクチャ層のユーザデータエリアに記述する。
【0420】図38は、MPEGのビデオストリームをデコ
ードするためのシンタックスを表わした図である。デコ
ーダは、このシンタックスに従ってMPEGビットストリー
ムをデコードすることによって、ビットストリームから
意味のある複数のデータ項目(データエレメント)を抽
出する。以下に説明するシンタックスは、図において、
その関数や条件文は細活字で表わされ、そのデータエレ
メントは、太活字で表されている。データ項目は、その
名称、ビット長、及びそのタイプと伝送順序を示すニー
モニック(Mnemonic)で記述されている。
【0421】まず、この図38に示されているシンタッ
クスにおいて使用されている関数について説明する。
【0422】next_start_code()関数は、ビットストリ
ーム中に記述されているスタートコードを探すための関
数である。この図38に示されたシンタックスにおい
て、このnext_start_code()関数の次に、sequence_head
er()関数とsequence_extension()関数とが順に配置され
ているので、このビットストリームには、このsequence
_header()関数とsequence_extension()関数によって定
義されたデータエレメントが記述されている。従って、
ビットストリームのデコード時には、このnext_start_c
ode()関数によって、sequence_header()関数とsequence
_extension()関数の先頭に記述されているスタートコー
ド(データエレメントの一種)をビットストリーム中か
ら見つけ、それを基準にして、 sequence_header()関数
とsequence_extension()関数をさらに見つけ、それらに
よって定義された各データエレメントをデコードする。
【0423】尚、sequence_header()関数は、MPEGビッ
トストリームのシーケンス層のヘッダデータを定義する
ための関数であって、sequence_extension()関数は、MP
EGビットストリームのシーケンス層の拡張データを定義
するための関数である。
【0424】sequence_extension()関数の次に配置され
ている do{ }while構文は、while文によって定義されて
いる条件が真である間、do文の{ }内の関数に基いて記
述されたデータエレメントをデータストリーム中から抽
出するための構文である。すなわち、 do{ }while構文
によって、while文によって定義されている条件が真で
ある間、ビットストリーム中から、do文内の関数に基い
て記述されたデータエレメントを抽出するデコード処理
が行われる。
【0425】このwhile文に使用されているnextbits()
関数は、ビットストリーム中に現れるビット又はビット
列と、次にデコードされるデータエレメントとを比較す
るための関数である。この図38のシンタックスの例で
は、nextbits()関数は、ビットストリーム中のビット列
とビデオシーケンスの終わりを示すsequence_end_code
とを比較し、ビットストリーム中のビット列とsequence
_end_codeとが一致しないときに、このwhile文の条件が
真となる。従って、sequence_extension()関数の次に配
置されている do{ }while構文は、ビットストリーム中
に、ビデオシーケンスの終わりを示すsequence_end_cod
eが現れない間、do文中の関数によって定義されたデー
タエレメントがビットストリーム中に記述されているこ
とを示している。
【0426】ビットストリーム中には、sequence_exten
sion()関数によって定義された各データエレメントの次
には、extension_and_user_data(0)関数によって定義さ
れたデータエレメントが記述されている。このextensio
n_and_user_data(0)関数は、MPEGビットストリームのシ
ーケンス層の拡張データとユーザデータを定義するため
の関数である。
【0427】このextension_and_user_data(0)関数の次
に配置されている do{ }while構文は、while文によって
定義されている条件が真である間、do文の{ }内の関数
に基いて記述されたデータエレメントを、ビットストリ
ーム中から抽出するための関数である。このwhile文に
おいて使用されているnextbits()関数は、ビットストリ
ーム中に現れるビット又はビット列と、picture_start_
code又はgroup_start_codeとの一致を判断するための関
数であって、ビットストリーム中に現れるビット又はビ
ット列と、picture_start_code又はgroup_start_codeと
が一致する場合には、while文によって定義された条件
が真となる。よって、このdo{ }while構文は、ビットス
トリーム中において、picture_start_code又はgroup_st
art_codeが現れた場合には、そのスタートコードの次
に、do文中の関数によって定義されたデータエレメント
のコードが記述されているので、このpicture_start_co
de又はgroup_start_codeによって示されるスタートコー
ドを探し出すことによって、ビットストリーム中からdo
文中に定義されたデータエレメントを抽出することがで
きる。
【0428】このdo文の最初に記述されているif文は、
ビットストリーム中にgroup_start_codeが現れた場合、
という条件を示しいる。このif文による条件が真である
場合には、ビットストリーム中には、このgroup_start_
codeの次にgroup_of_picture_header(1)関数及びextens
ion_and_user_data(1)関数によって定義されているデー
タエレメントが順に記述されている。
【0429】このgroup_of_picture_header(1)関数は、
MPEGビットストリームのGOP層のヘッダデータを定義す
るための関数であって、 extension_and_user_data(1)
関数は、MPEGビットストリームのGOP層の拡張データ(e
xtension_data)及びユーザデータ(user_data)を定義
するための関数である。
【0430】さらに、このビットストリーム中には、gr
oup_of_picture_header(1)関数及びextension_and_user
_data(1)関数によって定義されているデータエレメント
の次に、picture_header()関数とpicture_coding_exten
sion()関数によって定義されたデータエレメントが記述
されている。もちろん、先に説明したif文の条件が真と
ならない場合には、 group_of_picture_header(1)関数
及びextension_and_user_data(1)関数によって定義され
ているデータエレメントは記述されていないので、 ext
ension_and_user_data(0)関数によって定義されている
データエレメントの次に、 picture_header()関数とpic
ture_coding_extension()関数によって定義されたデー
タエレメントが記述されている。
【0431】このpicture_header()関数は、 MPEGビッ
トストリームのピクチャ層のヘッダデータを定義するた
めの関数であって、 picture_coding_extension()関数
は、MPEGビットストリームのピクチャ層の第1の拡張デ
ータを定義するための関数である。
【0432】次のwhile文は、このwhile文によって定義
されている条件が真である間、次のif文の条件判断を行
うための関数である。このwhile文において使用されて
いるnextbits()関数は、ビットストリーム中に現れるビ
ット列と、extension_start_code又はuser_data_start_
codeとの一致を判断するための関数であって、ビットス
トリーム中に現れるビット列と、 extension_start_cod
e又はuser_data_start_codeとが一致する場合には、こ
のwhile文によって定義された条件が真となる。
【0433】第1のif文は、ビットストリーム中に現れ
るビット列とextension_start_codeとの一致を判断する
ための関数である。ビットストリーム中に現れるビット
列と32ビットのextension_ start_codeとが一致する
場合には、ビットストリーム中において、extension_st
art_codeの次にextension_data(2)関数によって定義さ
れるデータエレメントが記述されている。
【0434】第2のif文は、ビットストリーム中に現れ
るビット列とuser_data_start_codeとの一致を判断する
ための構文であって、ビットストリーム中に現れるビッ
ト列と32ビットのuser_data_start_codeとが一致する
場合には、第3のif文の条件判断が行われる。このuser
_data_start_codeは、MPEGビットストリームのピクチャ
層のユーザデータエリアの開始を示すためのスタートコ
ードである。
【0435】第3のif文は、ビットストリーム中に現れ
るビット列とHistory_Data_IDとの一致を判断するため
の構文である。ビットストリーム中に現れるビット列と
この32ビットのHistory_Data_IDとが一致する場合に
は、このMPEGビットストリームのピクチャ層のユーザデ
ータエリアにおいて、この32ビットのHistory_Data_I
Dによって示されるコードの次に、converted_history_s
tream()関数によって定義されるデータエレメントが記
述されている。
【0436】converted_history_stream()関数は、MPEG
符号化時に使用したあらゆる符号化パラメータを伝送す
るための履歴情報及び履歴データを記述するための関数
である。このconverted_history_stream()関数によって
定義されているデータエレメントの詳細は、図40乃至
図47を参照して、history_stream()として後述する。
また、このHistory_Data_IDは、MPEGビットストリーム
のピクチャ層のユーザデータエリアに記述されたこの履
歴情報及び履歴データが記述されている先頭を示すため
のスタートコードである。
【0437】else文は、第3のif文において、条件が非
真であることを示すための構文である。従って、このMP
EGビットストリームのピクチャ層のユーザデータエリア
において、converted_history_stream()関数によって定
義されたデータエレメントが記述されていない場合に
は、user_data()関数によって定義されたデータエレメ
ントが記述されている。
【0438】図38において、履歴情報は、converted_
history_stream()に記述され、user_data()に記述され
る訳ではないが、このconverted_history_stream()は、
MPEG規格のuser_dataの一種として記述される。そこ
で、本明細書中においては、場合によって、履歴情報が
user_dataに記述されるとも説明するが、それは、MPEG
規格のuser_dataの一種として記述されるということを
意味する。
【0439】picture_data()関数は、MPEGビットストリ
ームのピクチャ層のユーザデータの次に、スライス層及
びマクロブロック層に関するデータエレメントを記述す
るための関数である。通常は、このpicture_data()関数
によって示されるデータエレメントは、ビットストリー
ムのピクチャ層のユーザデータエリアに記述されたconv
erted_history_stream()関数によって定義されるデータ
エレメント又はuser_data()関数によって定義されたデ
ータエレメントの次に記述されているが、ピクチャ層の
データエレメントを示すビットストリーム中に、extens
ion_start_code又はuser_data_start_code が存在しな
い場合には、このpicture_data()関数によって示される
データエレメントは、 picture_coding_extension()関
数によって定義されるデータエレメントの次に記述され
ている。
【0440】このpicture_data()関数によって示される
データエレメントの次には、sequence_header()関数とs
equence_extension()関数とによって定義されたデータ
エレメントが順に配置されている。このsequence_heade
r()関数とsequence_extension()関数によって記述され
たデータエレメントは、ビデオストリームのシーケンス
の先頭に記述されたsequence_header()関数とsequence_
extension()関数によって記述されたデータエレメント
と全く同じである。このように同じデータをストリーム
中に記述する理由は、ビットストリーム受信装置側でデ
ータストリームの途中(例えばピクチャ層に対応するビ
ットストリーム部分)から受信が開始された場合に、シ
ーケンス層のデータを受信できなくなり、ストリームを
デコード出来なくなることを防止するためである。
【0441】この最後のsequence_header()関数とseque
nce_extension()関数とによって定義されたデータエレ
メントの次、つまり、データストリームの最後には、シ
ーケンスの終わりを示す32ビットのsequence_end_cod
eが記述されている。
【0442】以上のシンタックスの基本的な構成の概略
を示すと、図39に示すようになる。
【0443】次に、converted_history_stream()関数に
よって定義されたヒストリストリームに関して説明す
る。
【0444】このconverted_history_stream()は、MPEG
のピクチャ層のユーザデータエリアに履歴情報を示すヒ
ストリストリームを挿入するための関数である。尚、
「converted」の意味は、スタートエミュレーションを
防止するために、ユーザエリアに挿入すべき履歴データ
から構成される履歴ストリームの少なくとも22ビット
毎にマーカービット(1ビット)を挿入する変換処理を
行ったストリームであることを意味している。
【0445】このconverted_history_stream()は、以下
に説明する固定長の履歴ストリーム(図40乃至図4
6)又は可変長の履歴ストリーム(図47)のいずれか
の形式で記述される。エンコーダ側において固定長の履
歴ストリームを選択した場合には、デコーダ側において
履歴ストリームから各データエレメントをデコードする
ための回路及びソフトウエアが簡単になるというメリッ
トがある。一方、エンコーダ側において可変長の履歴ス
トリームを選択した場合には、エンコーダにおいてピク
チャ層のユーザエリアに記述される履歴情報(データエ
レメント)を必要に応じて任意に選択することができる
ので、履歴ストリームのデータ量を少なくすることがで
き、その結果、符号化されたビットストリーム全体のデ
ータレートを低減することができる。
【0446】本発明において説明する「履歴ストリー
ム」、「ヒストリストリーム」、「履歴情報」、「ヒス
トリ情報」、「履歴データ」、「ヒストリデータ」、
「履歴パラメータ」、「ヒストリパラメータ」とは、過
去の符号化処理において使用した符号化パラメータ(又
はデータエレメント)を意味し、現在の(最終段の)符
号化処理において使用した符号化パラメータを意味する
ものではない。例えば、第1世代の符号化処理におい
て、あるピクチャをIピクチャで符号化して伝送し、次
なる第2世代の符号化処理において、このピクチャを今
度はPピクチャとして符号化して伝送し、さらに、第3
世代の符号化処理において、このピクチャをBピクチャ
で符号化して伝送する例をあげて説明する。
【0447】第3世代の符号化処理において使用した符
号化パラメータが、第3世代の符号化処理において生成
された符号化ビットストリームのシーケンス層、GOP
層、ピクチャ層、スライス層及びマクロブロック層の所
定位置に記述されている。一方、過去の符号化処理であ
る第1世代及び第2世代の符号化処理において使用した
符号化パラメータは、第3世代の符号化処理において使
用した符号化パラメータが記述されるシーケンス層やGO
P層に記述されるのでは無く、既に説明したシンタック
スに従って、符号化パラメータの履歴情報として、ピク
チャ層のユーザデータエリアに記述される。
【0448】まず、固定長の履歴ストリームシンタック
スについて図40乃至図46を参照して説明する。
【0449】最終段(例えば第3世代)の符号化処理に
おいて生成されたビットストリームのピクチャ層のユー
ザデータエリアには、まず最初に、過去(例えば第1世
代及び第2世代)の符号化処理において使用されていた
シーケンス層のシーケンスヘッダに含められる符号化パ
ラメータが、履歴ストリームとして挿入される。尚、過
去の符号化処理において生成されたビットストリームの
シーケンス層のシーケンスヘッダ等の履歴情報は、最終
段の符号化処理において生成されたビットストリームの
シーケンス層のシーケンスヘッダに挿入されることは無
いという点に注意すべきである。
【0450】過去の符号化処理で使用したシーケンスヘ
ッダ(sequence_header)に含められるデータエレメン
トは、sequence_header_code、sequence_header_presen
t_flag、horizontal_size_value、marker_bit、vertica
l_size_value、aspect_ratio_information、frame_rate
_code、bit_rate_value、VBV_buffer_size_value、cons
trained_parameter_flag、load_intra_quantiser_matri
x、load_non_intra_quantiser_matrix、intra_quantise
r_matrix、及びnon_intra_quantiser_matrix等から構成
される。
【0451】sequence_header_codeは、シーケンス層の
スタート同期コードを表すデータである。sequence_hea
der_present_flagは、sequence_header内のデータが有
効か無効かを示すデータである。 horizontal_size_val
ueは、画像の水平方向の画素数の下位12ビットから成る
データである。marker_bitは、スタートコードエミュレ
ーションを防止するために挿入されるビットデータであ
る。vertical_size_valueは、画像の縦のライン数の下
位12ビットからなるデータである。aspect_ratio_infor
mationは、画素のアスペクト比(縦横比)または表示画
面アスペクト比を表すデータである。frame_rate_code
は、画像の表示周期を表すデータである。
【0452】bit_rate_valueは、発生ビット量に対する
制限のためのビット・レートの下位18ビット(400bsp単
位で切り上げる)データである。VBV_buffer_size_value
は、発生符号量制御用の仮想バッファ(ビデオバッファ
ベリファイヤー)の大きさを決める値の下位10ビットデ
ータである。constrained_parameter_flagは、各パラメ
ータが制限以内であることを示すデータである。load_i
ntra_quantiser_matrixは、イントラMB用量子化マトリ
ックス・データの存在を示すデータである。load_non_i
ntra_quantiser_matrixは、非イントラMB用量子化マ
トリックス・データの存在を示すデータである。intra_
quantiser_matrixは、イントラMB用量子化マトリック
スの値を示すデータである。non_intra_quantiser_matr
ixは、非イントラMB用量子化マトリックスの値を表す
データである。
【0453】最終段の符号化処理において生成されたビ
ットストリームのピクチャ層のユーザデータエリアに
は、過去の符号化処理において使用されたシーケンス層
のシーケンスエクステンションを表わすデータエレメン
トが、履歴ストリームとして記述される。
【0454】この過去の符号化処理で使用したシーケン
スエクステンション(sequence_extension)を表わすデ
ータエレメントは、 extension_start_code、extension
_start_code_identifier、sequence_extension_present
_flag、profile_and_level_indication、progressive_s
equence、chroma_format、horizontal_size_extensio
n、vertical_size_extension、bit_rate_extension、vb
v_buffer_size_extension、low_delay、frame_rate_ext
ension_n 、及び frame_rate_extension_d等のデータエ
レメントである。
【0455】extension_start_codeは、エクステンショ
ンデータのスタート同期コードを表すデータである。ex
tension_start_code_identifierは、どの拡張データが
送られるかを示すデータである。sequence_extension_p
resent_flagは、シーケンスエクステンション内のデー
タが有効であるか無効であるかを示すデータである。pr
ofile_and_level_indicationは、ビデオデータのプロフ
ァイルとレベルを指定するためのデータである。progre
ssive_sequenceは、ビデオデータが順次走査であること
を示すデータである。chroma_formatは、ビデオデータ
の色差フォーマットを指定するためのデータである。
【0456】horizontal_size_extensionは、シーケン
スヘッダのhorizntal_size_valueに加える上位2ビット
のデータである。vertical_size_extensionは、シーケ
ンスヘッダのvertical_size_valueに加える上位2ビッ
トのデータである。bit_rate_extensionは、シーケンス
ヘッダのbit_rate_valueに加える上位12ビットのデー
タである。vbv_buffer_size_extensionは、シーケンス
ヘッダのvbv_buffer_size_valueに加える上位8ビット
のデータである。low_delayは、Bピクチャを含まない
ことを示すデータである。frame_rate_extension_nは、
シーケンスヘッダのframe_rate_codeと組み合わせてフ
レームレートを得るためのデータである。frame_rate_e
xtension_dは、シーケンスヘッダのframe_rate_codeと
組み合わせてフレームレートを得るためのデータであ
る。
【0457】続いて、ビットストリームのピクチャ層の
ユーザエリアには、過去の符号化処理において使用され
たシーケンス層のシーケンスディスプレイエクステンシ
ョンを表わすデータエレメントが、履歴ストリームとし
て記述される。
【0458】このシーケンスディスプレイエクステンシ
ョン(sequence_display_extension)として記述されて
いるデータエレメントは、extension_start_code、exte
nsion_start_code_identifier、sequence_display_exte
nsion_present_flag、video_format、colour_descripti
on、colour_primaries、transfer_characteristics、ma
trix_coeffients、display_horizontal_size、及びdisp
lay_vertical_sizeから構成される。
【0459】extension_start_codeは、エクステンショ
ンデータのスタート同期コードを表すデータである。ex
tension_start_code_identifierは、どの拡張データが
送られるかを示すコードである。sequence_display_ext
ension_present_flagは、シーケンスディスプレイエク
ステンション内のデータエレメントが有効か無効かを示
すデータである。video_formatは、原信号の映像フォー
マットを表すデータである。color_descriptionは、色
空間の詳細データがあることを示すデータである。colo
r_primariesは、原信号の色特性の詳細を示すデータで
ある。transfer_characteristicsは、光電変換がどのよ
うに行われたのかの詳細を示すデータである。matrix_c
oeffientsは、原信号が光の三原色からどのように変換
されたかの詳細を示すデータである。display_horizont
al_sizeは、意図するディスプレイの活性領域(水平サ
イズ)を表すデータである。display_vertical_size
は、意図するディスプレイの活性領域(垂直サイズ)を
表すデータである。
【0460】続いて、最終段の符号化処理において生成
されたビットストリームのピクチャ層のユーザエリアに
は、過去の符号化処理において生成されたマクロブロッ
クの位相情報を示すマクロブロックアサイメントデータ
(macroblock_assignment_in_user_data)が、履歴スト
リームとして記述される。
【0461】このマクロブロックの位相情報を示すmacr
oblock_assignment_in_user_dataは、macroblock_assig
nment_present_flag、v_phase、h_phase等のデータエレ
メントから構成される。
【0462】このmacroblock_assignment_present_flag
は、macroblock_assignment_in_user_data内のデータエ
レメントが有効か無効かを示すデータである。 v_phase
は、画像データからマクロブロックを切り出す際の垂直
方向の位相情報を示すデータである。 h_phaseは、画像
データからマクロブロックを切り出す際の水平方向の位
相情報を示すデータである。
【0463】続いて、最終段の符号化処理によって生成
されたビットストリームのピクチャ層のユーザエリアに
は、過去の符号化処理において使用されたGOP層のGOPヘ
ッダを表わすデータエレメントが、履歴ストリームとし
て記述されている。
【0464】このGOPヘッダ(group_of_picture_heade
r)を表わすデータエレメントは、group_start_code、g
roup_of_picture_header_present_flag、time_code、cl
osed_gop、及びbroken_linkから構成される。
【0465】group_start_codeは、GOP層の開始同期コ
ードを示すデータである。 group_of_picture_header_p
resent_flagは、 group_of_picture_header内のデータ
エレメントが有効であるか無効であるかを示すデータで
ある。 time_codeは、GOPの先頭ピクチャのシーケンス
の先頭からの時間を示すタイムコードである。closed_g
opは、GOP内の画像が他のGOPから独立再生可能なことを
示すフラグデータである。broken_linkは、編集などの
ためにGOP内の先頭のBピクチャが正確に再生できない
ことを示すフラグデータである。
【0466】続いて、最終段の符号化処理によって生成
されたビットストリームのピクチャ層のユーザエリアに
は、過去の符号化処理において使用されたピクチャ層の
ピクチャヘッダを表わすデータエレメントが、履歴スト
リームとして記述されている。
【0467】このピクチャヘッダ(picture_header)に
関するデータエレメントは、picture_start_code、temp
oral_reference、picture_coding_type、vbv_delay、fu
ll_pel_forward_vector、forward_f_code、full_pel_ba
ckward_vector、及び backward_f_codeから構成され
る。
【0468】具体的には、picture_start_codeは、ピク
チャ層の開始同期コードを表すデータである。temporal
_referenceは、ピクチャの表示順を示す番号でGOPの先
頭でリセットされるデータである。picture_coding_typ
eは、ピクチャタイプを示すデータである。vbv_delay
は、ランダムアクセス時の仮想バッファの初期状態を示
すデータである。full_pel_forward_vectorは、順方向
動きベクトルの精度が整数単位か半画素単位かを示すデ
ータである。forward_f_codeは、順方向動きベクトル探
索範囲を表すデータである。full_pel_backward_vector
は、逆方向動きベクトルの精度が整数単位か半画素単位
かを示すデータである。backward_f_codeは、逆方向動
きベクトル探索範囲を表すデータである。
【0469】続いて、最終段の符号化処理によって生成
されたビットストリームのピクチャ層のユーザエリアに
は、過去の符号化処理において使用されたピクチャ層の
ピクチャコーディングエクステンションが、履歴ストリ
ームとして記述されている。
【0470】このピクチャコーディングエクステンショ
ン(picture_coding_extension)に関するデータエレメ
ントは、extension_start_code、extension_start_code
_identifier、f_code[0][0]、f_code[0][1]、f_code[1]
[0]、f_code[1][1]、intra_dc_precision、picture_str
ucture、top_field_first、frame_predictive_frame_dc
t、concealment_motion_vectors、q_scale_type、intra
_vlc_format、alternate_scan、repeat_firt_field、ch
roma_420_type、progressive_frame、composite_displa
y_flag、v_axis、field_sequence、sub_carrier、burst
_amplitude、及びsub_carrier_phaseから構成される。
【0471】extension_start_codeは、ピクチャ層のエ
クステンションデータのスタートを示す開始コードであ
る。extension_start_code_identifierは、どの拡張デ
ータが送られるかを示すコードである。 f_code[0][0]
は、フォワード方向の水平動きベクトル探索範囲を表す
データである。f_code[0][1]は、フォワード方向の垂直
動きベクトル探索範囲を表すデータである。f_code[1]
[0]は、バックワード方向の水平動きベクトル探索範囲
を表すデータである。f_code[1][1]は、バックワード方
向の垂直動きベクトル探索範囲を表すデータである。
【0472】intra_dc_precisionは、DC係数の精度を表
すデータである。picture_structureは、フレームスト
ラクチャかフィールドストラクチャかを示すデータであ
る。フィールドストラクチャの場合は、上位フィールド
か下位フィールドかもあわせて示すデータである。top_
field_firstは、フレームストラクチャの場合、最初の
フィールドが上位か下位かを示すデータである。frame_
predictive_frame_dctは、フレーム・ストラクチャの場
合、フレーム・モードDCTの予測がフレーム・モードだ
けであることを示すデータである。concealment_motion
_vectorsは、イントラマクロブロックに伝送エラーを隠
蔽するための動きベクトルがついていることを示すデー
タである。
【0473】q_scale_typeは、線形量子化スケールを利
用するか、非線形量子化スケールを利用するかを示すデ
ータである。intra_vlc_formatは、イントラマクロブロ
ックに、別の2次元VLCを使うかどうかを示すデータで
ある。alternate_scanは、ジグザグスキャンを使うか、
オルタネート・スキャンを使うかの選択を表すデータで
ある。repeat_firt_fieldは、2:3プルダウンの際に
使われるデータである。chroma_420_typeは、信号フォ
ーマットが4:2:0の場合、次のprogressive_frame
と同じ値、そうでない場合は0を表すデータである。pr
ogressive_frameは、このピクチャが、順次走査できて
いるかどうかを示すデータである。composite_display_
flagは、ソース信号がコンポジット信号であったかどう
かを示すデータである。
【0474】v_axisは、ソース信号が、PALの場合に使
われるデータである。field_sequenceは、ソース信号
が、PALの場合に使われるデータである。sub_carrier
は、ソース信号が、PALの場合に使われるデータであ
る。burst_amplitudeは、ソース信号が、PALの場合に使
われるデータである。sub_carrier_phaseは、ソース信
号が、PALの場合に使われるデータである。
【0475】続いて、最終段の符号化処理によって生成
されたビットストリームのピクチャ層のユーザエリアに
は、過去の符号化処理において使用された量子化マトリ
ックスエクステンションが、履歴ストリームとして記述
されている。
【0476】この量子化マトリックスエクステンション
(quant_matrix_extension)に関するデータエレメント
は、extension_start_code、extension_start_code_ide
ntifier、quant_matrix_extension_present_flag、load
_intra_quantiser_matrix、intra_quantiser_matrix[6
4]、load_non_intra_quantiser_matrix、non_intra_qua
ntiser_matrix[64]、load_chroma_intra_quantiser_mat
rix、chroma_intra_quantiser_matrix[64]、load_chrom
a_non_intra_quantiser_matrix、及びchroma_non_intra
_quantiser_matrix[64] から構成される。
【0477】extension_start_codeは、この量子化マト
リックスエクステンションのスタートを示す開始コード
である。extension_start_code_identifierは、どの拡
張データが送られるかを示すコードである。 quant_mat
rix_extension_present_flagは、この量子化マトリック
スエクステンション内のデータエレメントが有効か無効
かを示すためのデータである。load_intra_quantiser_m
atrixは、イントラマクロブロック用の量子化マトリッ
クスデータの存在を示すデータである。intra_quantise
r_matrixは、イントラマクロブロック用の量子化マトリ
ックスの値を示すデータである。
【0478】load_non_intra_quantiser_matrixは、非
イントラマクロブロック用の量子化マトリックスデータ
の存在を示すデータである。non_intra_quantiser_matr
ixは、非イントラマクロブロック用の量子化マトリック
スの値を表すデータである。load_chroma_intra_quanti
ser_matrixは、色差イントラマクロブロック用の量子化
マトリックス・データの存在を示すデータである。chro
ma_intra_quantiser_matrixは、色差イントラマクロブ
ロック用の量子化マトリックスの値を示すデータであ
る。load_chroma_non_intra_quantiser_matrixは、色差
非イントラマクロブロック用の量子化マトリックス・デ
ータの存在を示すデータである。chroma_non_intra_qua
ntiser_matrixは、色差非イントラマクロブロック用の
量子化マトリックスの値を示すデータである。
【0479】続いて、最終段の符号化処理によって生成
されたビットストリームのピクチャ層のユーザエリアに
は、過去の符号化処理において使用されたコピーライト
エクステンションが、履歴ストリームとして記述されて
いる。
【0480】このコピーライトエクステンション(copy
right_extension)に関するデータエレメントは、exten
sion_start_code、extension_start_code_itentifier、
copyright_extension_present_flag、copyright_flag、
copyright_identifier、original_or_copy、copyright_
number_1、copyright_number_2、及び copyright_numbe
r_3から構成される。
【0481】extension_start_codeは、コピーライトエ
クステンションのスタート示す開始コードである。exte
nsion_start_code_itentifierのどのエクステンション
データが送られるかを示すコードである。 copyright_e
xtension_present_flagは、このコピーライトエクステ
ンション内のデータエレメントが有効か無効かを示すた
めのデータである。copyright_flagは、次のコピーライ
トエクステンション又はシーケンスエンドまで、符号化
されたビデオデータに対してコピー権が与えられている
か否かを示す。
【0482】copyright_identifierは、ISO/IEC JTC/SC
29によって指定されたコピー権の登録機関を識別するた
めのデータである。original_or_copyは、ビットストリ
ーム中のデータが、オリジナルデータであるかコピーデ
ータであるかを示すデータである。copyright_number_1
は、コピーライトナンバーのビット44から63を表わ
すデータである。copyright_number_2は、コピーライト
ナンバーのビット22から43を表わすデータである。
copyright_number_3は、コピーライトナンバーのビット
0から21を表わすデータである。
【0483】続いて、最終段の符号化処理によって生成
されたビットストリームのピクチャ層のユーザエリアに
は、過去の符号化処理において使用されたピクチャディ
スプレイエクステンション( picture_display_extensi
on )が、履歴ストリームとして記述されている。
【0484】このピクチャディスプレイエクステンショ
ンを表わすデータエレメントは、extension_start_cod
e、extension_start_code_identifier、picture_displa
y_extension_present_flag、frame_center_horizontal_
offset_1、frame_center_vertical_offset_1、frame_ce
nter_horizontal_offset_2、frame_center_vertical_of
fset_2、frame_center_horizontal_offset_3、及びfram
e_center_vertical_offset_3から構成される。
【0485】extension_start_codeは、ピクチャディス
プレイエクステンションのスタートを示すための開始コ
ードである。extension_start_code_identifierは、ど
の拡張データが送られるかを示すコードである。pictur
e_display_extension_present_flagは、ピクチャディス
プレイエクステンション内のデータエレメントが有効か
無効かを示すデータである。frame_center_horizontal_
offsetは、表示エリアの水平方向のオフセットを示すデ
ータであって、3つのオフセット値まで定義することが
できる。frame_center_vertical_offsetは、表示エリア
を垂直方向のオフセットを示すデータであって、3つの
オフセット値まで定義することができる。
【0486】最終段の符号化処理において生成されたビ
ットストリームのピクチャ層のユーザエリアには、既に
説明したピクチャディスプレイエクステンションを表わ
す履歴情報の次に、過去の符号化処理において使用され
たユーザデータ(user_data)が、履歴ストリームとし
て記述されている。
【0487】このユーザデータの次には、過去の符号化
処理において使用されたマクロブロック層に関する情報
が、履歴ストリームとして記述されている。
【0488】このマクロブロック層に関する情報は、ma
croblock_address_h、macroblock_address_v、slice_he
ader_present_flag、skipped_macroblock_flag等のマク
ロブロック(macroblock)の位置に関するデータエレメ
ントと、macroblock_quant、macroblock_motion_forwar
d、macroblock_motion_backward、mocroblock_patter
n、macroblock_intra、spatial_temporal_weight_code_
flag、frame_motion_type、及びdct_type等のマクロブ
ロックモード(macroblock_modes[])に関するデータエ
レメントと、quantiser_scale_code等の量子化ステップ
制御に関するデータエレメントと、PMV[0][0][0]、PMV
[0][0][1]、motion_vertical_field_select[0][0]、PMV
[0][1][0]、PMV[0][1][1]、motion_vertical_field_sel
ect[0][1]、PMV[1][0][0]、PMV[1][0][1]、motion_vert
ical_field_select[1][0]、PMV[1][1][0]、PMV[1][1]
[1]、motion_vertical_field_select[1][1]等の動き補
償に関するデータエレメントと、coded_block_pattern
等のマクロブロックパターンに関するデータエレメント
と、num_mv_bits、num_coef_bits、及びnum_other_bits
等の発生符号量に関するデータエレメントから構成され
ている。
【0489】以下にマクロブロック層に関するデータエ
レメントについて詳細に説明する。
【0490】macroblock_address_hは、現在のマクロブ
ロックの水平方向の絶対位置を定義するためのデータで
ある。macroblock_address_vは、現在のマクロブロック
の垂直方向の絶対位置を定義するためのデータである。
slice_header_present_flagは、このマクロブロックが
スライス層の先頭であり、スライスヘッダを伴なうか否
かを示すデータである。skipped_macroblock_flagは、
復号処理においてこのマクロブロックをスキップするか
否かを示すデータでる。
【0491】macroblock_quantは、後述する図63と図
64に示されたマクロブロックタイプ( macroblock_ty
pe )から導かれるデータであって、quantiser_scale_c
odeがビットストリーム中に現れるか否かを示すデータ
である。macroblock_motion_forwardは、図63と図6
4に示されたマクロブロックタイプから導かれるデータ
であって、復号処理で使用されるデータである。macrob
lock_motion_backwardは、図63と図64に示されたマ
クロブロックタイプから導かれるデータであって、復号
処理で使用されるデータである。mocroblock_pattern
は、図63と図64に示されたマクロブロックタイプか
ら導かれるデータであって、coded_block_patternがビ
ットストリーム中に現れるか否かを示すデータである。
【0492】macroblock_intraは、図63と図64に示
されたマクロブロックタイプから導かれるデータであっ
て、復号処理で使用されるデータである。spatial_temp
oral_weight_code_flagは、図63と図64に示された
マクロブロックタイプから導かれるデータであって、時
間スケーラビリティで下位レイヤ画像のアップサンプリ
ング方法を示すspatial_temporal_weight_codeは、ビッ
トストリーム中に存在するか否かを示すデータである。
【0493】frame_motion_typeは、フレームのマクロ
ブロックの予測タイプを示す2ビットのコードである。
予測ベクトルが2個でフィールドベースの予測タイプで
あれば「00」であって、予測ベクトルが1個でフィー
ルドベースの予測タイプであれば「01」であって、予
測ベクトルが1個でフレームベースの予測タイプであれ
ば「10」であって、予測ベクトルが1個でディアルプ
ライムの予測タイプであれば「11」である。field_mo
tion_typeは、フィールドのマクロブロックの動き予測
を示す2ビットのコードである。予測ベクトルが1個で
フィールドベースの予測タイプであれば「01」であっ
て、予測ベクトルが2個で18×8マクロブロックベー
スの予測タイプであれば「10」であって、予測ベクト
ルが1個でディアルプライムの予測タイプであれば「1
1」である。dct_typeは、DCTがフレームDCTモードか、
フィールドDCTモードかを示すデータである。quantiser
_scale_codeはマクロブロックの量子化ステップサイズ
を示すデータである。
【0494】次に動きベクトルに関するデータエレメン
トについて説明する。動きベクトルは、復号時に必要な
動きベクトルを減少させるために、先に符号化されたベ
クトルに関し差分として符号化される。動きベクトルの
復号を行うために復号器は、4個の動きベクトル予測値
(それぞれ水平及び垂直成分を伴なう)を維持しなけれ
ばいけない。この予測動きベクトルをPMV[r][s][v]と表
わすことにしている。[r]は、マクロブロックにおける
動きベクトルが第1のベクトルであるのか、第2のベク
トルであるのかを示すフラグであって、マクロブロック
におけるベクトルが第1のベクトルである場合には
「0」となって、マクロブロックにおけるベクトルが第
2のベクトルである場合には「1」となる。[s]は、マ
クロブロックにおける動きベクトルの方向が、前方向で
あるのか後方向であるのかを示すフラグであって、前方
向動きベクトルの場合には「0」となって、後方向動き
ベクトルの場合には「1」となる。[v]は、マクロブロ
ックにおけるベクトルの成分が、水平方向であるのか垂
直方向であるのかを示すフラグであって、水平方向成分
の場合には「0」となって、垂直方向成分の場合には
「1」となる。
【0495】従って、PMV[0][0][0]は、第1のベクトル
の前方向の動きベクトルの水平方向成分のデータを表わ
し、PMV[0][0][1]は、第1のベクトルの前方向の動きベ
クトルの垂直方向成分のデータを表わし、PMV[0][1][0]
は、第1のベクトルの後方向の動きベクトルの水平方向
成分のデータを表わし、PMV[0][1][1]は、第1のベクト
ルの後方向の動きベクトルの垂直方向成分のデータを表
わし、 PMV[1][0][0]は、第2のベクトルの前方向の動
きベクトルの水平方向成分のデータを表わし、PMV[1]
[0][1]は、第2のベクトルの前方向の動きベクトルの垂
直方向成分のデータを表わし、 PMV[1][1][0]は、第2
のベクトルの後方向の動きベクトルの水平方向成分のデ
ータを表わし、PMV[1][1][1] は、第2のベクトルの後
方向の動きベクトルの垂直方向成分のデータを表わして
いる。
【0496】motion_vertical_field_select[r][s]は、
予測の形式にいずれの参照フィールドを使用するのかを
示すデータである。このmotion_vertical_field_select
[r][s]が「0」の場合には、トップ参照フィールドを使
用し、「1」の場合には、ボトム参照フィールドを使用
することを示している。
【0497】よって、motion_vertical_field_select
[0][0]は、第1のベクトルの前方向の動きベクトルを生
成する際の参照フィールドを示し、motion_vertical_fi
eld_select[0][1]は、第1のベクトルの後方向の動きベ
クトルを生成する際の参照フィールドを示し、motion_v
ertical_field_select[1][0]は、第2のベクトルの前方
向の動きベクトルを生成する際の参照フィールドを示
し、motion_vertical_field_select[1][1]は、第2ベク
トルの後方向の動きベクトルを生成する際の参照フィー
ルドを示している。
【0498】coded_block_patternは、DCT係数を格納す
る複数のDCTブロックのうち、どのDCTブロックに、有意
係数(非0係数)があるかを示す可変長のデータであ
る。num_mv_bitsは、マクロブロック中の動きベクトル
の符号量を示すデータである。num_coef_bitsは、マク
ロブロック中のDCT係数の符号量を示すデータである。n
um_other_bitsは、マクロブロックの符号量で、動きベ
クトル及びDCT係数以外の符号量を示すデータである。
【0499】次に、可変長の履歴ストリームから各デー
タエレメントをデコードするためのシンタックスについ
て、図47乃至図67を参照して説明する。
【0500】この可変長の履歴ストリームは、next_sta
rt_code()関数、sequence_header()関数、sequence_ext
ension()関数、extension_and_user_data(0)関数、grou
p_of_picture_header()関数、extension_and_user_data
(1)関数、picture_header()関数、picture_coding_exte
nsion()関数、re_coding_stream_info()関数、extensio
n_and_user_data(2)関数、及びpicture_data()関数によ
って定義されたデータエレメントによって構成される。
【0501】next_start_code()関数は、ビットストリ
ーム中に存在するスタートコードを探すための関数であ
るので、履歴ストリームの最も先頭には、図48に示す
ような、過去の符号化処理において使用されたデータエ
レメントであってsequence_header()関数によって定義
されたデータエレメントが記述されている。
【0502】sequence_header()関数によって定義され
たデータエレメントは、sequence_header_code、sequen
ce_header_present_flag、horizontal_size_value、ver
tical_size_value、aspect_ratio_information、frame_
rate_code、bit_rate_value、marker_bit、VBV_buffer_
size_value、constrained_parameter_flag、load_intra
_quantiser_matrix、intra_quantiser_matrix、load_no
n_intra_quantiser_matrix、及びnon_intra_quantiser_
matrix等である。
【0503】sequence_header_codeは、シーケンス層の
スタート同期コードを表すデータである。sequence_hea
der_present_flagは、sequence_header内のデータが有
効か無効かを示すデータである。 horizontal_size_val
ueは、画像の水平方向の画素数の下位12ビットから成る
データである。vertical_size_valueは、画像の縦のラ
イン数の下位12ビットからなるデータである。aspect_r
atio_informationは、画素のアスペクト比(縦横比)ま
たは表示画面アスペクト比を表すデータである。frame_
rate_codeは、画像の表示周期を表すデータである。bit
_rate_valueは、発生ビット量に対する制限のためのビ
ット・レートの下位18ビット(400bsp単位で切り上げる)
データである。
【0504】marker_bitは、スタートコードエミュレー
ションを防止するために挿入されるビットデータであ
る。VBV_buffer_size_valueは、発生符号量制御用の仮
想バッファ(ビデオバッファベリファイヤー)の大きさ
を決める値の下位10ビットデータである。constrained_
parameter_flagは、各パラメータが制限以内であること
を示すデータである。load_intra_quantiser_matrix
は、イントラMB用量子化マトリックス・データの存在を
示すデータである。intra_quantiser_matrixは、イント
ラMB用量子化マトリックスの値を示すデータである。
load_non_intra_quantiser_matrixは、非イントラMB
用量子化マトリックス・データの存在を示すデータであ
る。non_intra_quantiser_matrixは、非イントラMB用
量子化マトリックスの値を表すデータである。
【0505】sequence_header()関数によって定義され
たデータエレメントの次には、図49で示すような、se
quence_extension()関数によって定義されたデータエレ
メントが、履歴ストリームとして記述されている。
【0506】sequence_extension()関数によって定義さ
れたデータエレメントとは、extension_start_code、ex
tension_start_code_identifier、sequence_extension_
present_flag、profile_and_level_indication、progre
ssive_sequence、chroma_format、horizontal_size_ext
ension、vertical_size_extension、bit_rate_extensio
n、vbv_buffer_size_extension、low_delay、frame_rat
e_extension_n 、及びframe_rate_extension_d等のデー
タエレメントである。
【0507】extension_start_codeは、エクステンショ
ンデータのスタート同期コードを表すデータである。ex
tension_start_code_identifierは、どの拡張データが
送られるかを示すデータである。sequence_extension_p
resent_flagは、シーケンスエクステンション内のデー
タが有効であるか無効であるかを示すスデータである。
profile_and_level_indicationは、ビデオデータのプロ
ファイルとレベルを指定するためのデータである。prog
ressive_sequenceは、ビデオデータが順次走査であるこ
とを示すデータである。chroma_formatは、ビデオデー
タの色差フォーマットを指定するためのデータである。
horizontal_size_extensionは、シーケンスヘッダのhor
izntal_size_valueに加える上位2ビットのデータであ
る。vertical_size_extensionは、シーケンスヘッダのv
ertical_size_value加える上位2ビットのデータであ
る。bit_rate_extensionは、シーケンスヘッダのbit_ra
te_valueに加える上位12ビットのデータである。vbv_
buffer_size_extensionは、シーケンスヘッダのvbv_buf
fer_size_valueに加える上位8ビットのデータである。
【0508】low_delayは、Bピクチャを含まないこと
を示すデータである。frame_rate_extension_nは、シー
ケンスヘッダのframe_rate_codeと組み合わせてフレー
ムレートを得るためのデータである。frame_rate_exten
sion_dは、シーケンスヘッダのframe_rate_codeと組み
合わせてフレームレートを得るためのデータである。
【0509】sequence_extension()関数によって定義さ
れたデータエレメントの次には、図50に示すようなex
tension_and_user_data(0)関数によって定義されたデー
タエレメントが、履歴ストリームとして記述されてい
る。 extension_and_user_data(i)関数は、「i」が1以
外のときは、extension_data()関数によって定義される
データエレメントは記述せずに、user_data()関数によ
って定義されるデータエレメントのみを履歴ストリーム
として記述する。よって、 extension_and_user_data
(0)関数は、 user_data()関数によって定義されるデー
タエレメントのみを履歴ストリームとして記述する。
【0510】user_data()関数は、図51に示されたよ
うなシンタックスに基いて、ユーザデータを履歴ストリ
ームとして記述する。
【0511】extension_and_user_data(0)関数によって
定義されたデータエレメントの次には、図52に示すよ
うなgroup_of_picture_header()関数によって定義され
たデータエレメント、及びextension_and_user_data(1)
関数によって定義されるデータエレメントが、履歴スト
リームとして記述されている。但し、履歴ストリーム中
に、GOP層のスタートコードを示すgroup_start_codeが
記述されている場合にのみ、 group_of_picture_header
()関数によって定義されたデータエレメント、及びexte
nsion_and_user_data(1)関数によって定義されるデータ
エレメントが記述されている。
【0512】group_of_picture_header()関数によって
定義されたデータエレメントは、group_start_code、gr
oup_of_picture_header_present_flag、time_code、clo
sed_gop、及びbroken_linkから構成される。
【0513】group_start_codeは、GOP層の開始同期コ
ードを示すデータである。 group_of_picture_header_p
resent_flagは、 group_of_picture_header内のデータ
エレメントが有効であるか無効であるかを示すデータで
ある。 time_codeは、GOPの先頭ピクチャのシーケンス
の先頭からの時間を示すタイムコードである。closed_g
opは、GOP内の画像が他のGOPから独立再生可能なことを
示すフラグデータである。broken_linkは、編集などの
ためにGOP内の先頭のBピクチャが正確に再生できない
ことを示すフラグデータである。
【0514】extension_and_user_data(1)関数は、 ext
ension_and_user_data(0)関数と同じように、user_data
()関数によって定義されるデータエレメントのみを履歴
ストリームとして記述する。
【0515】もし、履歴ストリーム中に、GOP層のスタ
ートコードを示すgroup_start_codeが存在しない場合に
は、これらのgroup_of_picture_header()関数及びexten
sion_and_user_data(1)関数によって定義されるデータ
エレメントは、履歴ストリーム中には記述されていな
い。その場合には、 extension_and_user_data(0)関数
によって定義されたデータエレメントの次に、picture_
headr()関数によって定義されたデータエレメントが履
歴ストリームとして記述されている。
【0516】picture_headr()関数によって定義された
データエレメントは、図53に示すように、picture_st
art_code、temporal_reference、picture_coding_typ
e、vbv_delay、full_pel_forward_vector、forward_f_c
ode、full_pel_backward_vector、backward_f_code、ex
tra_bit_picture、及びextra_information_pictureであ
る。
【0517】具体的には、picture_start_codeは、ピク
チャ層の開始同期コードを表すデータである。temporal
_referenceは、ピクチャの表示順を示す番号でGOPの先
頭でリセットされるデータである。picture_coding_typ
eは、ピクチャタイプを示すデータである。vbv_delay
は、ランダムアクセス時の仮想バッファの初期状態を示
すデータである。full_pel_forward_vectorは、順方向
動きベクトルの精度が整数単位か半画素単位かを示すデ
ータである。forward_f_codeは、順方向動きベクトル探
索範囲を表すデータである。full_pel_backward_vector
は、逆方向動きベクトルの精度が整数単位か半画素単位
かを示すデータである。backward_f_codeは、逆方向動
きベクトル探索範囲を表すデータである。 extra_bit_p
ictureは、後続する追加情報の存在を示すフラグであ
る。このextra_bit_pictureが「1」の場合には、次にe
xtra_information_pictureが存在し、extra_bit_pictur
eが「0」の場合には、これに続くデータが無いことを
示している。extra_information_pictureは、規格にお
いて予約された情報である。
【0518】picture_headr()関数によって定義された
データエレメントの次には、図54に示すようなpictur
e_coding_extension()関数によって定義されたデータエ
レメントが、履歴ストリームとして記述されている。
【0519】このpicture_coding_extension()関数によ
って定義されたデータエレメントとは、extension_star
t_code、extension_start_code_identifier、f_code[0]
[0]、f_code[0][1]、f_code[1][0]、f_code[1][1]、int
ra_dc_precision、picture_structure、top_field_firs
t、frame_predictive_frame_dct、concealment_motion_
vectors、q_scale_type、intra_vlc_format、alternate
_scan、repeat_firt_field、chroma_420_type、progres
sive_frame、composite_display_flag、v_axis、field_
sequence、sub_carrier、burst_amplitude、及びsub_ca
rrier_phaseから構成される。
【0520】extension_start_codeは、ピクチャ層のエ
クステンションデータのスタートを示す開始コードであ
る。extension_start_code_identifierは、どの拡張デ
ータが送られるかを示すコードである。 f_code[0][0]
は、フォワード方向の水平動きベクトル探索範囲を表す
データである。f_code[0][1]は、フォワード方向の垂直
動きベクトル探索範囲を表すデータである。f_code[1]
[0]は、バックワード方向の水平動きベクトル探索範囲
を表すデータである。f_code[1][1]は、バックワード方
向の垂直動きベクトル探索範囲を表すデータである。in
tra_dc_precisionは、DC係数の精度を表すデータであ
る。
【0521】picture_structureは、フレームストラク
チャかフィールドストラクチャかを示すデータである。
フィールドストラクチャの場合は、上位フィールドか下
位フィールドかもあわせて示すデータである。top_fiel
d_firstは、フレームストラクチャの場合、最初のフィ
ールドが上位か下位かを示すデータである。frame_pred
ictive_frame_dctは、フレーム・ストラクチャの場合、
フレーム・モードDCTの予測がフレーム・モードだけで
あることを示すデータである。concealment_motion_vec
torsは、イントラマクロブロックに伝送エラーを隠蔽す
るための動きベクトルがついていることを示すデータで
ある。q_scale_typeは、線形量子化スケールを利用する
か、非線形量子化スケールを利用するかを示すデータで
ある。intra_vlc_formatは、イントラマクロブロック
に、別の2次元VLCを使うかどうかを示すデータであ
る。
【0522】alternate_scanは、ジグザグスキャンを使
うか、オルタネート・スキャンを使うかの選択を表すデ
ータである。repeat_firt_fieldは、2:3プルダウン
の際に使われるデータである。chroma_420_typeは、信
号フォーマットが4:2:0の場合、次のprogressive_
frame と同じ値、そうでない場合は0を表すデータであ
る。progressive_frameは、このピクチャが、順次走査
できているかどうかを示すデータである。composite_di
splay_flagは、ソース信号がコンポジット信号であった
かどうかを示すデータである。v_axisは、ソース信号
が、PALの場合に使われるデータである。field_sequenc
eは、ソース信号が、PALの場合に使われるデータであ
る。sub_carrierは、ソース信号が、PALの場合に使われ
るデータである。burst_amplitudeは、ソース信号が、P
ALの場合に使われるデータである。sub_carrier_phase
は、ソース信号が、PALの場合に使われるデータであ
る。
【0523】picture_coding_extension()関数によって
定義されたデータエレメントの次には、re_coding_stre
am_info()関数によって定義されたデータエレメントが
履歴ストリームとして記述されている。このre_coding_
stream_info()関数は、主に履歴情報の組み合わせを記
述する場合に用いられるものであり、その詳細について
は、図71を参照して後述する。
【0524】re_coding_stream_info()関数によって定
義されたデータエレメントの次には、extensions_and_u
ser_data(2)によって定義されたデータエレメントが、
履歴ストリームとして記述されている。このextension_
and_user_data(2)関数は、図50に示したように、ビッ
トストリーム中にエクステンションスタートコード(ex
tension_start_code)が存在する場合には、extension_
data()関数によって定義されるデータエレメントが記述
されている。このデータエレメントの次には、ビットス
トリーム中にユーザデータスタートコード(user_data_
start_code)が存在する場合には、user_data()関数に
よって定義されるデータエレメントが記述されている。
但し、ビットストリーム中にエクステンションスタート
コード及びユーザデータスタートコードが存在しない場
合には extension_data()関数 及びuser_data()関数に
よって定義されるデータエレメントはビットトリーム中
には記述されていない。
【0525】extension_data()関数は、図55に示すよ
うに、extension_start_codeを示すデータエレメント
と、quant_matrix_extension()関数、copyright_extens
ion()関数、及びpicture_display_extension()関数によ
って定義されるデータエレメンエトとを、ビットストリ
ーム中に履歴ストリームとして記述するための関数であ
る。
【0526】quant_matrix_extension()関数によって定
義されるデータエレメントは、図56に示すように、ex
tension_start_code、extension_start_code_identifie
r、quant_matrix_extension_present_flag、load_intra
_quantiser_matrix、intra_quantiser_matrix[64]、loa
d_non_intra_quantiser_matrix、non_intra_quantiser_
matrix[64]、load_chroma_intra_quantiser_matrix、ch
roma_intra_quantiser_matrix[64]、load_chroma_non_i
ntra_quantiser_matrix、及びchroma_non_intra_quanti
ser_matrix[64] である。
【0527】extension_start_codeは、この量子化マト
リックスエクステンションのスタートを示す開始コード
である。extension_start_code_identifierは、どの拡
張データが送られるかを示すコードである。 quant_mat
rix_extension_present_flagは、この量子化マトリック
スエクステンション内のデータエレメントが有効か無効
かを示すためのデータである。load_intra_quantiser_m
atrixは、イントラマクロブロック用の量子化マトリッ
クスデータの存在を示すデータである。intra_quantise
r_matrixは、イントラマクロブロック用の量子化マトリ
ックスの値を示すデータである。
【0528】load_non_intra_quantiser_matrixは、非
イントラマクロブロック用の量子化マトリックスデータ
の存在を示すデータである。non_intra_quantiser_matr
ixは、非イントラマクロブロック用の量子化マトリック
スの値を表すデータである。load_chroma_intra_quanti
ser_matrixは、色差イントラマクロブロック用の量子化
マトリックス・データの存在を示すデータである。chro
ma_intra_quantiser_matrixは、色差イントラマクロブ
ロック用の量子化マトリックスの値を示すデータであ
る。load_chroma_non_intra_quantiser_matrixは、色差
非イントラマクロブロック用の量子化マトリックス・デ
ータの存在を示すデータである。chroma_non_intra_qua
ntiser_matrixは、色差非イントラマクロブロック用の
量子化マトリックスの値を示すデータである。
【0529】copyright_extension()関数によって定義
されるデータエレメントは、図57に示すように、 ext
ension_start_code、extension_start_code_itentifie
r、copyright_extension_present_flag、copyright_fla
g、copyright_identifier、original_or_copy、copyrig
ht_number_1、copyright_number_2、及び copyright_nu
mber_3から構成される。
【0530】extension_start_codeは、コピーライトエ
クステンションのスタート示す開始コードである。exte
nsion_start_code_itentifierどのエクステンションデ
ータが送られるかを示すコードである。 copyright_ext
ension_present_flagは、このコピーライトエクステン
ション内のデータエレメントが有効か無効かを示すため
のデータである。
【0531】copyright_flagは、次のコピーライトエク
ステンション又はシーケンスエンドまで、符号化された
ビデオデータに対してコピー権が与えられているか否か
を示す。copyright_identifierは、ISO/IEC JTC/SC29に
よって指定されたコピー権の登録機関を識別するための
データである。original_or_copyは、ビットストリーム
中のデータが、オリジナルデータであるかコピーデータ
であるかを示すデータである。copyright_number_1は、
コピーライトナンバーのビット44から63を表わすデ
ータである。copyright_number_2は、コピーライトナン
バーのビット22から43を表わすデータである。copy
right_number_3は、コピーライトナンバーのビット0か
ら21を表わすデータである。
【0532】picture_display_extension()関数によっ
て定義されるデータエレメントは、図58に示すよう
に、extension_start_code_identifier、frame_center_
horizontal_offset、frame_center_vertical_offset等
である。
【0533】extension_start_code_identifierは、ど
の拡張データが送られるかを示すコードである。 frame
_center_horizontal_offsetは、表示エリアの水平方向
のオフセットを示すデータであって、number_of_frame_
center_offsetsによって定義される数のオフセット値を
定義することができる。frame_center_vertical_offset
は、表示エリアを垂直方向のオフセットを示すデータで
あって、 number_of_frame_center_offsetsによって定
義される数のオフセット値を定義することができる。
【0534】再び図47に戻って、extension_and_user
_data(2)関数によって定義されるデータエレメントの次
には、picture_data()関数によって定義されるデータエ
レメントが、履歴ストリームとして記述されている。但
し、このpicture_data()関数は、red_bw_flagが1では
ないか、または、red_bw_indicatorが2以下である場合
に存在する。このred_bw_flagとred_bw_indicatorは、r
e_coding_stream_info()関数に記述されており、これら
については、図71と図72を参照して後述する。
【0535】picture_data()関数によって定義されるデ
ータエレメントは、図59に示すように、slice()関数
によって定義されるデータエレメントである。このslic
e()関数によって定義されるデータエレメントはビット
ストリーム中に少なくとも1個記述されている。
【0536】slice()関数は、図60に示されるよう
に、slice_start_code、slice_quantiser_scale_code、
intra_slice_flag、intra_slice、reserved_bits、extr
a_bit_slice、extra_information_slice、及びextra_bi
t_slice 等のデータエレメントと、macroblock()関数に
よって定義されるデータエレメントを、履歴ストリーム
として記述するための関数である。
【0537】slice_start_codeは、slice()関数によっ
て定義されるデータエレメントのスタートを示すスター
トコードである。slice_quantiser_scale_codeは、この
スライス層に存在するマクロブロックに対して設定され
た量子化ステップサイズを示すデータである。しかし、
各マクロブロック毎に、quantiser_scale_codeが設定さ
れている場合には、各マクロブロックに対して設定され
たmacroblock_quantiser_scale_codeのデータが優先し
て使用される。
【0538】intra_slice_flagは、ビットストリーム中
にintra_slice及びreserved_bitsが存在するか否かを示
すフラグである。intra_sliceは、スライス層中にノン
イントラマクロブロックが存在するか否かを示すデータ
である。スライス層におけるマクロブロックのいずれか
がノンイントラマクロブロックである場合には、intra_
sliceは「0」となり、スライス層におけるマクロブロ
ックの全てがノンイントラマクロブロックである場合に
は、intra_sliceは「1」となる。reserved_bitsは、7
ビットのデータであって「0」の値を取る。extra_bit_
sliceは、履歴ストリームとして追加の情報が存在する
ことを示すフラグであって、次にextra_information_sl
iceが存在する場合には「1」に設定される。追加の情
報が存在しない場合には「0」に設定される。
【0539】これらのデータエレメントの次には、macr
oblock()関数によって定義されたデータエレメントが、
履歴ストリームとして記述されている。
【0540】macroblock()関数は、図61に示すよう
に、macroblock_escape、macroblock_address_incremen
t、及びmacroblock_quantiser_scale_code、及びmarker
_bit等のデータエレメントと、macroblock_modes()関
数、motion_vectors(s)関数、及びcode_block_patter
n()関数によって定義されたデータエレメントを記述す
るための関数である。
【0541】macroblock_escapeは、参照マクロブロッ
クと前のマクロブロックとの水平方向の差が34以上で
あるか否かを示す固定ビット列である。参照マクロブロ
ックと前のマクロブロックとの水平方向の差が34以上
の場合には、macroblock_address_incrementの値に33
をプラスする。macroblock_address_incrementは、参照
マクロブロックと前のマクロブロックとの水平方向の差
を示すデータである。もし、このmacroblock_address_i
ncrementの前にmacroblock_escapeが1つ存在するので
あれば、このmacroblock_address_incrementの値に33
をプラスした値が、実際の参照マクロブロックと前のマ
クロブロックとの水平方向の差分を示すデータとなる。
【0542】macroblock_quantiser_scale_codeは、各
マクロブロック毎に設定された量子化ステップサイズで
あり、macroblock_quantが”1”のときだけ存在する。
各スライス層には、スライス層の量子化ステップサイズ
を示すslice_quantiser_scale_codeが設定されている
が、参照マクロブロックに対してmacroblock_quantiser
_scale_codeが設定されている場合には、この量子化ス
テップサイズを選択する。
【0543】macroblock_address_incrementの次には、
macroblock_modes()関数によって定義されるデータエレ
メントが記述されている。macroblock_modes()関数は、
図62に示すように、macroblock_type、frame_motion_
type、field_motion_type、dct_type等のデータエレメ
ントを、履歴ストリームとして記述するための関数であ
る。
【0544】macroblock_typeは、マクログブロックの
符号化タイプを示すデータである。その詳細は、図65
乃至図67を参照して後述する。
【0545】もし、macroblock_motion_forward又はmac
roblock_motion_backwardが「1」であり、ピクチャ構
造がフレームであり、さらにframe_pred_frame_dctが
「0」である場合には、macroblock_typeを表わすデー
タエレメントの次にframe_motion_typeを表わすデータ
エレメントが記述されている。尚、このframe_pred_fra
me_dctは、 frame_motion_typeがビットストリーム中に
存在するか否かを示すフラグである。
【0546】frame_motion_typeは、フレームのマクロ
ブロックの予測タイプを示す2ビットのコードである。
予測ベクトルが2個でフィールドベースの予測タイプで
あれば「00」であって、予測ベクトルが1個でフィー
ルドベースの予測タイプであれば「01」であって、予
測ベクトルが1個でフレームベースの予測タイプであれ
ば「10」であって、予測ベクトルが1個でディアルプ
ライムの予測タイプであれば「11」である。
【0547】frame_motion_typeを記述する条件が満足
されない場合には、macroblock_typeを表わすデータエ
レメントの次にfield_motion_typeを表わすデータエレ
メントが記述されている。
【0548】field_motion_typeは、フィールドのマク
ロブロックの動き予測を示す2ビットのコードである。
予測ベクトルが1個でフィールドベースの予測タイプで
あれば「01」であって、予測ベクトルが2個で18×
8マクロブロックベースの予測タイプであれば「10」
であって、予測ベクトルが1個でディアルプライムの予
測タイプであれば「11」である。
【0549】もし、ピクチャ構造がフレームで、 frame
_pred_frame_dctがframe_motion_typeがビットストリー
ム中に存在することを示し、且つ、frame_pred_frame_d
ctがdct_typeがビットストリーム中に存在することを示
している場合には、macroblock_typeを表わすデータエ
レメントの次にdct_typeを表わすデータエレメントが記
述されている。尚、dct_typeは、DCTがフレームDCTモー
ドか、フィールドDCTモードかを示すデータである。
【0550】再び図61に戻って、もし、参照マクロブ
ロックが前方予測マクロブロックであるか、又は参照マ
クロブロックがイントラマクロブロックであって且つコ
ンシール処理のマクロブロックのいずれかの場合には、
motion_vectors(0)関数によって定義されるデータエレ
メントが記述される。また、参照マクロブロックが後方
予測マクロブロックである場合には、motion_vectors
(1)関数によって定義されるデータエレメントが記述さ
れる。尚、 motion_vectors(0)関数は、第1番目の動き
ベクトルに関するデータエレメントを記述するための関
数であって、motion_vectors(1)関数は、第2番目の動
きベクトルに関するデータエレメントを記述するための
関数である。
【0551】motion_vectors(s)関数は、図63に示さ
れるように、動きベクトルに関するデータエレメントを
記述するための関数である。
【0552】もし、動きベクトルが1個でディアルプラ
イム予測モードを使用していない場合には、motion_ver
tical_field_select[0][s]とmotion_vector(0,s)によっ
て定義されるデータエレメントが記述される。
【0553】このmotion_vertical_field_select[r][s]
は、第1番目の動きベクトル(前方又は後方のどちらの
ベクトルであっても良い)が、ボトムフィールドを参照
して作られたベクトルであるかトップフィールドを参照
して作られたベクトルであるかを示すフラグである。こ
の指標“r”は、第1番めのベクトル又は第2番めのベ
クトルのいずれのベクトルであるかを示す指標であっ
て、“s”は、予測方向が前方又は後方予測のいずれで
あるかを示す指標である。
【0554】motion_vector(r,s)関数は、図64に示さ
れるように、motion_code[r][s][t]に関するデータ列
と、motion_residual[r][s][t]に関するデータ列と、dm
vector[t]を表わすデータとを記述するための関数であ
る。
【0555】motion_code[r][s][t]は、動きベクトルの
大きさを−16〜+16の範囲で表わす可変長のデータ
である。 motion_residual[r][s][t]は、動きベクトル
の残差を表わす可変長のデータである。よって、このmo
tion_code[r][s][t]と motion_residual[r][s][t]との
値によって詳細な動きベクトルを記述することができ
る。 dmvector[t]は、ディユアルプライム予測モードの
ときに、一方のフィールド(例えばボトムフィールドに
対してトップフィールドを一方のフィールドとする)に
おける動きベクトルを生成するために、時間距離に応じ
て既存の動きベクトルがスケールされると共に、トップ
フィールドとボトムフィールドとのライン間の垂直方向
のずれを反映させるために垂直方向に対して補正を行う
データである。この指標“r”は、第1番めのベクトル
又は第2番めのベクトルのいずれのベクトルであるかを
示す指標であって、“s”は、予測方向が前方又は後方
予測のいずれであるかを示す指標である。“s”は、動
きベクトルが垂直方向の成分であるか水平方向の成分で
あるかを示すデータである。
【0556】図64に示されmotion_vector(r,s)関数に
よって、まず、水平方向のmotion_coder[r][s][0]を表
わすデータ列が、履歴ストリームとして記述される。mo
tion_residual[0][s][t]及びmotion_residual[1][s][t]
の双方のビット数は、f_code[s][t]で示されるので、 f
_code[s][t]が1でない場合には、 motion_residual[r]
[s][t] がビットストリーム中に存在することを示すこ
とになる。水平方向成分のmotion_residual[r][s][0]が
「1」でなくて、水平方向成分のmotion_code[r][s][0]
が「0」でないということは、ビットストリーム中にmo
tion_residual[r][s][0]を表わすデータエレメントが存
在し、動きベクトルの水平方向成分が存在するというこ
とを意味しているので、その場合には、水平方向成分の
motion_residual[r][s][0]を表わすデータエレメントが
記述されている。
【0557】続いて、垂直方向のmotion_coder[r][s]
[1]を表わすデータ列が、履歴ストリームとして記述さ
れる。同じようにmotion_residual[0][s][t]及びmotion
_residual[1][s][t]の双方のビット数は、f_code[s][t]
で示されるので、 f_code[s][t]が1でない場合には、
motion_residual[r][s][t] がビットストリーム中に存
在することを表わすことになる。motion_residual[r]
[s][1]が「1」でなくて、motion_code[r][s][1]が
「0」でないということは、ビットストリーム中にmoti
on_residual[r][s][1]を表わすデータエレメントが存在
し、動きベクトルの垂直方向成分が存在するということ
を意味しているので、その場合には、垂直方向成分のmo
tion_residual[r][s][1]を表わすデータエレメントが記
述されている。
【0558】次に、図65乃至図67を参照して、macr
oblock_typeについて説明する。macroblock_typeは、ma
croblock_quant、dct_type_flag、macroblock_motion_f
orward、及びmacroblock_motion_backwardなどのフラグ
から生成された可変長データである。 macroblock_quan
tは、マクロブロックに対して量子化ステップサイズを
設定するためのmacroblock_quantiser_scale_codeが設
定されているか否かを示すフラグあって、ビットストリ
ーム中にmacroblock_quantiser_scale_codeが存在する
場合には、 macroblock_quantは「1」の値を取る。
【0559】dct_type_flagは、参照マクロブロックが
フレームDCT又はフィールドDCTで符号化されているかを
示すdct_typeが存在するか否かを示すためのフラグ(言
い換えるとDCTされているか否かを示すフラグ)であっ
て、ビットストリーム中にdct_typeが存在する場合に
は、このdct_type_flagは「1」の値を取る。 macroblo
ck_motion_forwardは、参照マクロブロックが前方予測
されているか否かを示すフラグであって、前方予測され
ている場合には「1」の値を取る。macroblock_motion_
backwardは、参照マクロブロックが後方予測されている
か否かを示すフラグであって、後方予測されている場合
には「1」の値を取る。
【0560】なお、可変長フォーマットにおいては、伝
送するビットレートを減少させるために、履歴情報を削
減することができる。
【0561】すなわち、macroblock_typeとmotion_vect
ors()は転送するが、quantiser_scale_codeを転送しな
い場合には、slice_quantiser_scale_codeを”0000
0”とすることで、ビットレートを減少させることがで
きる。
【0562】また、macroblock_typeのみ転送し、motio
n_vectors()、quantiser_scale_code、およびdct_type
を転送しない場合には、macroblock_typeとして、”not
coded”を使用することで、ビットレートを減少するこ
とができる。
【0563】さらにまた、picture_coding_typeのみ転
送し、slice()以下の情報は全て転送しない場合には、s
lice_start_codeを持たないpicture_data()を使用する
ことで、ビットレートを減少させることができる。
【0564】以上においては、user_data内の23ビッ
トの連続する”0”が出ないようにする場合に、22ビ
ット毎に”1”を挿入するようにしたが、22ビット毎
でなくてもよい。また、連続する”0”の個数を数え
て”1”を挿入するのではなく、Byte_allignを調べて
挿入するようにすることも可能である。
【0565】さらに、MPEGにおいては、23ビットの連
続する”0”の発生を禁止しているが、実際には、バイ
トの先頭から23ビット連続する場合だけが問題とさ
れ、バイトの先頭ではなく、途中から0が23ビット連
続する場合は、問題とされない。従って、例えば24ビ
ット毎に、LSB以外の位置に”1”を挿入するようにし
てもよい。
【0566】また、以上においては、履歴情報を、vide
o elementary streamに近い形式にしたが、packetized
elementary streamやtransport streamに近い形式にし
てもよい。また、Elementary Streamのuser_dataの場所
を、picture_dataの前としたが、他の場所にすることも
できる。
【0567】図15のトランスコーダ101において
は、4世代分の符号化パラメータを履歴情報として後段
に出力するようにしたが、実際には、履歴情報の全てが
必要となるわけではなく、アプリケーション毎に必要な
履歴情報は異なってくる。また、実際の伝送路あるいは
記録媒体(伝送メディア)には、容量に制限があり、圧
縮しているとはいえ、全ての履歴情報を伝送するように
すると、容量的に負担となり、結果的に画像ビットスト
リームのビットレートを抑圧してしまい、履歴情報伝送
の有効性が損なわれることになる。
【0568】そこで、履歴情報として伝送する項目の組
み合わせを記述する記述子を履歴情報に組み込んで後段
に送信するようにし、全ての履歴情報を伝送するのでは
なく、様々なアプリケーションに対応した情報を伝送す
るようにすることができる。図68は、このような場合
のトランスコーダ101の構成例を表している。
【0569】図68において、図15における場合と対
応する部分には同一の符号を付してあり、その説明は適
宜省略する。図68の構成例においては、ヒストリ情報
分離装置105と符号化装置106の間、及びヒストリ
エンコーディング装置107と符号化装置106の間
に、符号化パラメータ選択回路501が挿入されてい
る。
【0570】符号化パラメータ選択回路501は、ヒス
トリ情報分離装置105が出力するベースバンドビデオ
信号から符号化パラメータを算出する符号化パラメータ
算出部512、ヒストリ情報分離装置105が出力す
る、このトランスコーダ101において、符号化するの
に最適と判定された符号化パラメータ(例えば、第2世
代の符号化パラメータ)に関する情報から、符号化パラ
メータと記述子(red_bw_flag,red_bw_indicator)
(図72を参照して後述する)を分離する組合せ記述子
分離部511、並びに符号化パラメータ算出部512が
出力する符号化パラメータと、組合せ記述子分離部51
1が出力する符号化パラメータのうち、いずれか一方
を、組合せ記述子分離部511で分離された記述子に対
応して選択し、符号化装置106に出力するスイッチ5
13を有している。その他の構成は、図15における場
合と同様である。
【0571】ここで、履歴情報として伝送する項目の組
み合わせについて説明する。履歴情報は、分類すると、
picture単位の情報と、macroblock単位の情報に分ける
ことができる。slice単位の情報は、それに含まれるmac
roblockの情報を収集することで得ることができ、GOP単
位の情報は、それに含まれるpicture単位の情報を収集
することで得ることができる。
【0572】picture単位の情報は、1フレーム毎に1
回伝送されるだけなので、情報伝送に占めるビットレー
トは、それほど大きくはない。これに対して、macroblo
ck単位の情報は、各macroblock毎に伝送されるため、例
えば1フレームの走査線数が525本で、フィールドレ
ートが60フィールド/秒のビデオシステムの場合、1
フレームの画素数を720×480とすると、macroblo
ck単位の情報は、1フレームあたり1350(=(72
0/16)×(480/16))回伝送することが必要と
なる。このため、履歴情報の相当の部分がmacroblock毎
の情報で占められることになる。そこで、履歴情報とし
ては、少なくともpicture単位の情報は常に伝送する
が、macroblock単位の情報は、アプリケーションに応じ
て選択して伝送するようにすることで、伝送する情報量
を抑制することができる。
【0573】履歴情報として転送されるmacroblock単位
の情報には、例えばnum_coef_bits,num_mv_bits,num_
other_bits,q_scale_code,q_scale_type,motion_typ
e,mv_vert_field_sel[][],mv[][][],mb_mfwd,mb_mb
wd,mb_pattern,coded_block_pattern,mb_intra,sli
ce_start,dct_type,mb_quant,skipped_mbなどがあ
る。これらは、macroblock rate informationの要素を
用いて表現されたものである。
【0574】num_coef_bitsは、macroblockの符号量の
うち、DCT係数に要した符号量を表す。num_mv_bitsは、
macroblockの符号量のうち、動きベクトルに要した符号
量を表す。num_other_bitsは、macroblockの符号量のう
ち、num_coef_bits及びnum_mv_bits以外の符号量を表
す。
【0575】q_scale_codeは、macroblockに適用された
q_scale_codeを表す。motion_typeは、macroblockに適
用された動きベクトルのtypeを表す。mv_vert_field_se
l[][]は、macroblockに適用された動きベクトルのfield
selectを表す。
【0576】mv[][][]は、macroblockに適用された動き
ベクトルを表す。mb_mfwdは、macroblockの予測モード
が前方向予測であることを示すフラグである。mb_mbwd
は、macroblockの予測モードが後方向予測であることを
示すフラグである。mb_patternは、macroblockのDCT係
数の非0のものの有無を示すフラグである。
【0577】coded_block_patternは、macroblockのDCT
係数の非0のものの有無をDCTブロック毎に示すフラグ
である。mb_intraは、macroblockがintra_macroかそう
でないかを示すフラグである。slice_startは、macrobl
ockがsliceの先頭であるか否かを示すフラグである。dc
t_typeは、macroblockがfield_dctかflame_dctかを示す
フラグである。
【0578】mb_quantは、macroblockがquantiser_scal
e_codeを伝送するか否かを示すフラグである。skipped_
mbは、macroblockがskipped macroblockであるか否かを
示すフラグである。
【0579】これらの項目は、常に全て必要であるわけ
ではなく、アプリケーションに応じて必要となる項目が
変化する。例えば、num_coef_bitsやslice_startといっ
た項目は、再エンコードした際のビットストリームをで
きる限り元の形に戻したいというtransparentという要
求を有するアプリケーションにおいて必要となる。換言
すれば、ビットレートを変更するようなアプリケーショ
ンにおいては、これらの項目は必要ではない。また、非
常に伝送路の制限が厳しい場合には、各ピクチャの符号
化タイプが判るだけでもよいようなアプリケーションも
存在する。このような状況から、履歴情報を伝送する項
目の組み合わせの例として、例えば図69に示すような
組み合わせが考えられる。
【0580】図69において、各組み合わせの中の項目
に対応する値「2」は、その情報が存在し、利用可能で
あることを意味し、「0」は、その情報が存在しないこ
とを意味する。「1」は、他の情報の存在を補助する目
的のため、あるいは、構文上存在するが、元のビットス
トリーム情報とは関係がないなど、その情報自身には意
味がないことを表している。例えば、slice_startは、
履歴情報を伝送する際のsliceの先頭のmacroblockにお
いて、「1」になるが、本来のビットストリームに対し
て、sliceが必ずしも同一位置関係にあるわけではない
場合には、履歴情報としては無意味になる。
【0581】図69の例においては、(num_coef_bit
s,num_mv_bits,num_other_bits),(q_scale_code,
q_scale_type),(motion_type,mv_vert_field_sel[]
[],mv[][][]),(mb_mfwd,mb_mbwd),(mb_patter
n),(coded_block_pattern),(mb_intra),(slic
e_start),(dct_type),(mb_quant),(skipped_m
b)の各項目の有無により、組み合わせ1乃至組み合わ
せ5の5つの組み合わせが用意されている。
【0582】組み合わせ1は、完全にtransparentなビ
ットストリームを再構成することを目的とした組み合わ
せである。この組み合わせによれば、発生符号量情報を
用いることによる精度の高いトランスコーディングが実
現できる。組み合わせ2も、完全にtransparentなビッ
トストリームを再構成することを目的とした組み合わせ
である。組み合わせ3は、完全にtransparentなビット
ストリームを再構成することはできないが、視覚的にほ
ぼtransparentなビットストリームを再構成できるよう
にするための組み合わせである。組み合わせ4は、tran
sparentという観点からは組み合わせ3よりも劣るが、
視覚上問題がないビットストリームの再構成ができる組
み合わせである。組み合わせ5は、transparentという
観点からは組み合わせ4よりも劣るが、少ない履歴情報
でビットストリームの完全ではない再構成ができる組み
合わせである。
【0583】これらの組み合わせのうち、組み合わせの
番号の数字が小さいものほど、機能的には上位である
が、履歴を転送するのに必要となる容量が多くなる。従
って、想定するアプリケーションと履歴に使用できる容
量を考慮することによって、伝送する組み合わせを決定
する必要がある。
【0584】次に、図70のフローチャートを参照し
て、図68のトランスコーダ101の動作について説明
する。ステップS41において、トランスコーダ101
の復号装置102は、入力されたビットストリームを復
号し、そのビットストリームを符号化する際に使用され
た符号化パラメータ(4th)を抽出し、その符号化パラ
メータ(4th)をヒストリ情報多重化装置103に出力
するとともに、復号したビデオデータをやはりヒストリ
情報多重化装置103に出力する。ステップS42にお
いて、復号装置102はまた、入力されたビットストリ
ームからuser_dataを抽出し、ヒストリデコーディング
装置104に出力する。ヒストリデコーディング装置1
04は、ステップS43において、入力されたuser_dat
aから、組み合わせ情報(記述子)を抽出し、さらにそ
れを用いて、履歴情報としての符号化パラメータ(1s
t,2nd,3rd)を抽出し、ヒストリ情報多重化装置1
03に出力する。
【0585】ヒストリ情報多重化装置103は、ステッ
プS44において、ステップS41で取り出された復号
装置102から供給される現在の符号化パラメータ(4
th)と、ステップS43でヒストリデコーディング装置
104が出力した過去の符号化パラメータ(1st,2n
d,3rd)とを、復号装置102から供給されるベース
バンドのビデオデータに、図18または図31に示すよ
うなフォーマットに従って多重化し、ヒストリ情報分離
装置105に出力する。
【0586】ヒストリ情報分離装置105は、ステップ
S45において、ヒストリ情報多重化装置103より供
給されたベースバンドのビデオデータから符号化パラメ
ータを抽出し、その中から今回の符号化に最も適してい
る符号化パラメータ(例えば、第2世代の符号化パラメ
ータ)を選択し、記述子とともに、組合せ記述子分離部
511に出力する。また、ヒストリ情報分離装置105
は、今回の符号化に最適と判定された符号化パラメータ
以外の符号化パラメータ(例えば、最適な符号化パラメ
ータが第2世代の符号化パラメータであると判定された
場合には、それ以外の第1世代、第3世代、及び第4世
代の符号化パラメータ)をヒストリエンコーディング装
置107に出力する。ヒストリエンコーディング装置1
07は、ヒストリ情報分離装置105より入力された符
号化パラメータをステップS46において、user_data
に記述し、そのuser_data(converted_history_strea
m())を符号化装置106に出力する。
【0587】符号化パラメータ選択回路501の組合せ
記述子分離部511は、ヒストリ情報分離装置105よ
り供給されたデータから、符号化パラメータと記述子を
分離し、符号化パラメータ(2nd)をスイッチ513の
一方の接点に供給する。スイッチ513の他方の接点に
は、符号化パラメータ算出部512が、ヒストリ情報分
離装置105が出力するベースバンドのビデオデータか
ら、符号化パラメータを算出し、供給している。スイッ
チ513は、ステップS48において、組合せ記述子分
離部511が出力した記述子に対応して、組合せ記述子
分離部511が出力した符号化パラメータ、または符号
化パラメータ算出部512が出力した符号化パラメータ
のいずれかを選択し、符号化装置106に出力する。す
なわち、スイッチ513では、組合せ記述子分離部51
1から供給された符号化パラメータが有効である場合に
は、組合せ記述子分離部511が出力する符号化パラメ
ータが選択されるが、組合せ記述子分離部511が出力
する符号化パラメータが無効であると判定された場合に
は、符号化パラメータ算出部512がベースバンドビデ
オを処理することで算出した符号化パラメータが選択さ
れる。この選択は、伝送メディアの容量に対応して行わ
れる。
【0588】符号化装置106は、ステップS49にお
いて、スイッチ513から供給された符号化パラメータ
に基づいて、ヒストリ情報分離装置105より供給され
たベースバンドビデオ信号を符号化する。また、ステッ
プS50において、符号化装置106は、符号化したビ
ットストリームに、ヒストリエンコーディング装置10
7より供給されたuser_dataを多重化し、出力する。
【0589】このようにして、各履歴によって得られる
符号化パラメータの組み合わせが異なっているような場
合でも、支障なくトランスコーディングすることが可能
となる。
【0590】このように、履歴情報は、図38に示した
ように、ビデオストリームのuser_data()関数の一種と
してのhistory_stream()(より正確には、converted_hi
story_stream())で伝送される。そのhistory_stream()
のシンタックスは、図47に示した通りである。履歴情
報の項目の組み合わせを表す記述子(red_bw_flag,red
_bw_indicator)、およびMPEGのストリームではサポー
トされていない項目(num_other_bits,num_mv_bits,n
um_coef_bits)は、この図47の中のre_coding_stream
_info()関数により伝送される。
【0591】re_coding_stream_info()関数は、図71
に示すように、user_data_start_code,re_coding_stre
am_info_ID,red_bw_flag,red_bw_indicator,marker_
bit,num_other_bits,num_mv_bits,num_coef_bitsな
どのデータエレメントより構成される。
【0592】user_data_start_codeは、user_dataが開
始することを表すスタートコードである。re_coding_st
ream_info_IDは、16ビットの整数であり、re_coding_
stream_info()関数の識別のために用いられる。その値
は、具体的には、”1001 00011110 1100”(0x91ec)と
される。
【0593】red_bw_flagは、1ビットのフラグであ
り、履歴情報が全ての項目を伝送する場合には0とさ
れ、このフラグの値が1である場合、このフラグに続く
red_bw_indicatorを調べることにより、図69に示した
5個の組み合わせのうち、どの組み合わせで項目が送ら
れているのかを決定することができる。
【0594】red_bw_indicatorは、2ビットの整数であ
り、項目の組み合わせを図72に示すように記述する。
【0595】即ち、図69に示した5つの組み合わせの
うち、組み合わせ1の場合、red_bw_flagは0とされ、
組み合わせ2乃至組み合わせ5のとき、red_bw_flagは
1とされる。これに対して、red_bw_indicatorは、組み
合わせ2の場合0とされ、組み合わせ3の場合1とさ
れ、組み合わせ4の場合2とされ、組み合わせ5の場合
3とされる。
【0596】従って、red_bw_indicatorは、red_bw_fla
gが1の場合に(組み合わせ2乃至組み合わせ5の場合
に)規定される。
【0597】さらに、図71に示すように、red_bw_fla
gが0である場合(組み合わせ1の場合)、マクロブロ
ック毎に、marker_bit,num_other_bits,num_mv_bit
s,num_coef_bitsが記述される。これら4つのデータエ
レメントは、組み合わせ2乃至組み合わせ5の場合(re
d_bw_flagが1の場合)規定されない。
【0598】図59に示したように、picture_data()関
数は、1個以上のslice()関数から構成される。しかし
ながら、組み合わせ5の場合、picture_data()関数を含
めて、それ以下のシンタックス要素は伝送されない(図
69)。この場合、履歴情報は、picture_typeなどのpi
cture単位の情報の伝送を意図したものとなる。
【0599】組み合わせ1乃至組み合わせ4の場合、図
60に示したslice()関数が存在する。しかしながら、
このslice()関数によって決定されるsliceの位置情報
と、元のビットストリームのsliceの位置情報は、履歴
情報の項目の組み合わせに依存する。組み合わせ1また
は組み合わせ2の場合、履歴情報の元となったビットス
トリームのsliceの位置情報と、slice()関数によって決
定されるsliceの位置情報とは、同一である必要があ
る。
【0600】図61に示すmacroblock()関数のシンタッ
クス要素は、履歴情報の項目の組み合わせに依存する。
macroblock_escape,macroblock_address_increment,m
acroblock_modes()関数は、常に存在する。しかしなが
ら、macroblock_escapeとmacroblock_address_incremen
tの情報としての有効性は、組み合わせによって決定さ
れる。履歴情報の項目の組み合わせが、組み合わせ1ま
たは組み合わせ2の場合、元のビットストリームのskip
ped_mb情報と同じものが伝送される必要がある。
【0601】組み合わせ4の場合、motion_vectors()関
数は存在しない。組み合わせ1乃至組み合わせ3の場
合、macroblock_modes()関数のmacroblock_typeによっ
て、motion_vectors()関数の存在が決定される。組み合
わせ3または組み合わせ4の場合には、coded_block_pa
ttern()関数は存在しない。組み合わせ1と組み合わせ
2の場合、macroblock_modes()関数のmacroblock_type
によって、coded_block_pattern()関数の存在が決定さ
れる。
【0602】図62に示したmacroblock_modes()関数の
シンタックス要素は、履歴情報の項目の組み合わせに依
存する。macroblock_typeは、常に存在する。組み合わ
せが組み合わせ4である場合、flame_motion_type,fie
ld_motion_type,dct_typeは存在しない。
【0603】macroblock_typeより得られるパラメータ
の情報としての有効性は、履歴情報の項目の組み合わせ
によって決定される。
【0604】履歴情報の項目の組み合わせが組み合わせ
1または組み合わせ2である場合、macroblock_quant
は、元のビットストリームと同じである必要がある。組
み合わせ3または組み合わせ4の場合、macroblock_qua
ntは、macroblock()関数内のquantiser_scale_codeの存
在を表し、元のビットストリームと同じである必要はな
い。
【0605】組み合わせが組み合わせ1乃至組み合わせ
3である場合、macroblock_motion_forwardとmacrobloc
k_motion_backwardは、元のビットストリームと同一で
ある必要がある。組み合わせが組み合わせ4または組み
合わせ5である場合、その必要はない。
【0606】組み合わせが組み合わせ1または組み合わ
せ2である場合、macroblock_patternは、元のビットス
トリームと同一である必要がある。組み合わせ3の場
合、macroblock_patternは、dct_typeの存在を示すのに
用いられる。組み合わせが組み合わせ4である場合、組
み合わせ1乃至組み合わせ3における場合のような関係
は成立しない。
【0607】履歴情報の項目の組み合わせが組み合わせ
1乃至組み合わせ3の場合、macroblock_intraは、元の
ビットストリームと同一である必要がある。組み合わせ
4の場合には、その限りでない。
【0608】図47のhistory_stream()は、履歴情報を
可変長とする場合のシンタックスであるが、図40乃至
図46に示すように、固定長のシンタックスとする場
合、固定長の履歴情報内に、伝送される項目中のどれが
有効であるかを示す情報としての記述子(red_bw_flag
とred_bw_indicator)をベースバンド画像に重畳し、伝
送するようにする。その結果、この記述子を調べること
により、フィールドとして存在するが、その内容は無効
であるといった判断をすることが可能となる。
【0609】このため、図44に示すように、re_codin
g_stream_informationとして、user_data_start_code,
re_coding_stream_info_ID,red_bw_flag,red_bw_indi
cator,marker_bitが配置されている。それぞれの意味
は、図71における場合と同様である。
【0610】このように履歴として伝送する符号化パラ
メータの要素をアプリケーションに応じた組み合わせで
伝送するようにすることで、アプリケーションに応じた
履歴を適当なデータ量で伝送するようにすることができ
る。
【0611】以上のように、履歴情報を可変長符号とし
て伝送する場合、re_coding_stream_info()関数は、図
71に示すように構成され、図47に示すように、hist
ory_stream()関数の一部として伝送される。これに対し
て、履歴情報を固定長符号として伝送する場合には、図
44に示したように、history_stream()関数の一部とし
て、re_coding_stream_information()が伝送される。図
44の例では、re_coding_stream_informationとして、
user_data_start_code,re_coding_stream_info_ID,re
d_bw_flag,red_bw_indicatorが伝送される。
【0612】また、図68のヒストリ情報多重化装置1
03が出力するベースバンドの信号中における履歴情報
の伝送のために、図73に示すようなRe_Coding inform
ation Bus macroblock formatが規定される。このマク
ロブロックは、16×16(=256)ビットで構成さ
れる。そして、そのうちの図73において上から3行目
と4行目に示す32ビットが、picrate_elementとされ
る。このpicrate_elementには、図74乃至図76に示
すPicture rate elementsが記述される。図74の上か
ら2行目に1ビットのred_bw_flagが規定されており、
また、3行目に3ビットのred_bw_indicatorが規定され
ている。即ち、これらのフラグred_bw_flag,red_bw_in
dicatorは、図73のpicrate_elementとして伝送され
る。
【0613】図73のその他のデータについて説明する
と、SRIB_sync_codeは、このフォーマットのマクロブロ
ックの最初の行が左詰めにアライメントされていること
を表すコードであり、具体的には、”11111”に設
定される。fr_fl_SRIBは、picture_structureがフレー
ムピクチャ構造の場合(その値が”11”である場
合)、1に設定され、Re_Coding Information Bus macr
oblockが16ラインを超えて伝送されることを表し、pi
cture_structureがフレーム構造ではない場合、0に設
定され、Re_Coding Information Busが16ラインを超
えて伝送されることを意味する。この機構により、Re_C
oding Information Busが、空間的かつ時間的にデコー
ドされたビデオフレームまたはフィールドの対応する画
素にロックされる。
【0614】SRIB_top_field_firstは、元のビットスト
リームに保持されているtop_field_firstと同じ値に設
定され、関連するビデオのRe_Coding Information Bus
の時間的アライメントをrepeat_first_fieldとともに表
している。SRIB_repeat_first_fieldは、元のビットス
トリームに保持されているrepeat_first_fieldと同じ値
に設定される。first fieldのRe_Coding Information B
usの内容は、このフラグに示されるように繰り返される
必要がある。
【0615】422_420_chromaは、元のビットストリーム
が4:2:2または4:2:0のいずれであるかを表
す。その値の0は、ビットストリームが4:2:0であ
り、色差信号のアップサンプリングが、4:2:2のビ
デオが出力されるように行われたことを表す。その値の
0は、色差信号のフィルタリング処理が実行されていな
いことを表す。
【0616】rolling_SRIB_mb_refは、16ビットのモ
ジュロ65521を表し、この値は、毎マクロブロック毎に
インクリメントされる。この値は、フレームピクチャ構
造のフレームに渡って連続している必要がある。さもな
くば、この値は、フィールドに渡って連続している必要
がある。この値は、0から65520の間の所定の値に初期
化される。これにより、レコーダのシステムに、ユニー
クなRe_Coding Information Busの識別子を組み込むこ
とが許容される。
【0617】Re_Coding Information Bus macroblockの
その他のデータの意味は、上述した通りであるので、こ
こでは省略する。
【0618】図77に示すように、図73の256ビッ
トのRe_Coding Information Busのデータは、1ビット
ずつ、色差データのLSBであるCb[0][0],Cr[0][0],Cb
[1][0],Cr[1][0]に配置される。図77に示すフォーマ
ットにより、4ビットのデータを送ることができるの
で、図73の256ビットのデータは、図77のフォー
マットを64(=256/4)個送ることで伝送するこ
とができる。
【0619】本発明のトランスコーダによれば、過去の
符号化処理において生成された符号化パラメータを、現
在の符号化処理において再利用するようにしているの
で、復号処理及び符号化処理を繰り返したとしても画質
劣化が発生しない。つまり、復号処理及び符号化処理の
繰り返しによる画質劣化の蓄積を低減することができ
る。
【0620】図78と図79は、本発明のトランスコー
ダをビデオテープレコーダに適用した場合の構成例を表
している。図78は、ビデオテープレコーダ601の記
録系の構成例を表しており、図79は、ビデオテープレ
コーダ601の再生系の構成例を表している。
【0621】図78のビデオテープレコーダ601は、
トランスコーダ101R、チャンネルエンコーディング
装置602、記録ヘッド603により構成されている。
トランスコーダ101Rの構成は、図37に示したトラ
ンスコーダと基本的に同様とされている。この構成例に
おいては、トランスコーダ101Rにおいては、LongGO
PのビットストリームSTが、Short GOPのビットストリ
ームSTに変換される。
【0622】トランスコーダ101Rの符号化装置10
6より出力された、第4世代の符号化ストリームSTが、
チャンネルエンコーディング装置602に供給される。
上述したように、この第4世代の符号化ストリームSTの
ピクチャ層のユーザデータエリアには、第1世代乃至第
3世代の符号化パラメータを含むユーザデータuser_dat
aが記録されている。
【0623】チャンネルエンコーディング装置602
は、入力された第4世代の符号化ストリームに、誤り訂
正のためのパリティ符号を付けた後、例えば、NRZI変調
方式でチャンネルエンコードし、記録ヘッド603に供
給する。記録ヘッド603は入力された符号化ストリー
ムを磁気テープ604に記録する。
【0624】図79に示すように、再生系においては、
磁気テープ604から、再生ヘッド611により信号が
生成され、チャンネルデコーディング装置612に供給
される。チャンネルデコーディング装置612は、再生
ヘッド611から供給された信号をチャンネルデコード
し、パリティを用いて、誤り訂正する。
【0625】チャンネルデコーディング装置612によ
り出力された第4世代の符号化ストリームSTは、トラン
スコーダ101Pに入力される。トランスコーダ101
Pの基本的な構成は、図37に示したトランスコーダと
同様の構成とされている。
【0626】トランスコーダ101Pの復号装置102
は、第4世代の符号化ストリームから、第1世代乃至第
3世代の符号化パラメータを含むユーザデータuser_dat
aを抽出し、ヒストリデコーディング装置104と、符
号化装置106に供給する。ヒストリデコーディング装
置104は、入力されたユーザデータuser_dataを復号
し、得られた第1世代乃至第3の符号化パラメータを符
号化装置106に供給する。
【0627】復号装置102はまた、第4世代の符号化
ストリームSTを復号し、ベースバンドビデオ信号と、第
4世代の符号化パラメータを出力する。ベースバンドビ
デオ信号は、符号化装置106に供給され、第4世代の
符号化パラメータは、符号化装置106と、ヒストリエ
ンコーディング装置107に供給される。
【0628】ヒストリエンコーディング装置107は、
入力された第4世代の符号化パラメータを、ユーザデー
タuser_dataに変換し、符号化装置106に供給する。
【0629】上述したように、符号化装置106のコン
トローラ70は、オペレータによって指定されたGOP構
造から決定された各ピクチャのピクチャタイプと、ヒス
トリ情報(ユーザデータuser_data)に含まれるピクチ
ャタイプが一致するか否かを判断する。そしてその判断
結果に対応して、上述した、「通常符号化処理」、また
は「パラメータ再利用符号化処理」を実行する。この処
理により符号化装置106から、Short GOPからLong
GOPに変換された、第4世代の符号化ストリームSTが出
力される。この符号化ストリームSTのユーザデータuser
_dataには、第1世代乃至第4世代の符号化パラメータ
がヒストリ情報として記録されている。
【0630】図78と図79に示したビデオテープレコ
ーダ601においては、ヒストリ情報をピクチャレイヤ
のuser_dataに記録するようにしたが、ヒストリ情報
は、磁気テープ604のビデオデータとは異なる領域に
記録することも可能である。図80と図81は、この場
合のビデオテープレコーダ601の構成例を表してい
る。図80は、ビデオテープレコーダ601の記録系の
構成例を表しており、図81は、再生系の構成例を表し
ている。
【0631】図80に示すように、このビデオテープレ
コーダ601においては、そのトランスコーダ101R
の復号装置102より出力されたユーザデータuser_dat
aが、ヒストリデコーディング装置104に入力され、
そこで過去の符号化パラメータ(この例の場合、第1世
代と第2世代の符号化パラメータ)が復号され、符号化
装置106に供給されている。また、この例において
は、磁気テープ604にユーザデータuser_dataとし
て、ヒストリ情報を記録する必要がないので、図15に
示したヒストリエンコーディング装置107のうち、ヒ
ストリVLC211のみが採用されている。そしてこのヒ
ストリVLC211に、復号装置102が出力した符号化
パラメータ(この例の場合、第3世代の符号化パラメー
タ)と、ヒストリデコーディング装置104がユーザデ
ータuser_dataから復号、出力した符号化パラメータ
(この例の場合、第1世代と第2世代の符号化パラメー
タ)が供給されている。ヒストリVLC211は、この第
1世代乃至第3世代の符号化パラメータを可変長符号化
し、図40乃至図46、または図47に示したhistory_
streamを生成し、マルチプレクサ621に供給する。
【0632】マルチプレクサ621には、また、符号化
装置106より出力された第4世代の符号化ストリーム
STが入力されている。マルチプレクサ621は、符号化
装置106より供給された符号化ストリーム(ビットス
トリーム)をヒストリVLC211より供給されたヒスト
リよりも安全な領域に多重化する。
【0633】例えば、図82に示すように、磁気テープ
604において、符号化装置106より出力されたビデ
オストリームは、シンクコードに近い位置に記録され、
ヒストリVLC211より出力されたhistory_streamは、
シンクコードからビデオストリームより、より離れた位
置に記録される。特殊再生時などにおいて、ビデオスト
リームを検索するとき、最初にシンクコードが検出さ
れ、そのシンクコードを基準として、それに続くビデオ
ストリームが検索される。従って、シンクコードに近い
位置にビデオストリームを配置した方が、高速再生時な
どにおいても、より確実にビデオデータを再生すること
が可能になる。history_streamは、高速再生時などにお
いて、必要とされる情報ではない。そこで、このhistor
y_streamは、シンクコードからより離れた位置に配置し
ても、それほど支障は生じない。
【0634】マルチプレクサ621により多重化された
信号は、チャンネルエンコーディング装置602に入力
され、チャンネルエンコードされた後、記録ヘッド60
3により、磁気テープ604に記録される。
【0635】このように、この例においては、history_
streamが、ビデオデータとは異なる位置に多重化される
ため、仮にそこにスタートコードが現れたとしても、ビ
デオデータとは充分区別することが可能である。そこ
で、この例においては、マーカビットを挿入し、histro
y_streamをconverted_history_streamとする必要はな
い。
【0636】また、符号化パラメータをhistory_stream
のフォーマットにしないで、そのままマルチプレクサ6
21に供給し、多重化させることも可能データあるが、
そのようにすると、圧縮されていないので、符号化パラ
メータのデータ量が多くなり、磁気テープ604の利用
効率が低下する。そこで、ヒストリVLC211により圧
縮し、history_streamのフォーマットにして、多重化す
るようにするのが好ましい。
【0637】図81に示すように、ビデオテープレコー
ダ601の再生系においては、磁気テープ604から、
再生ヘッド611により再生された信号が、チャンネル
デコーディング装置612でチャンネルデコードされ
る。デマルチプレクサ631は、チャンネルデコーディ
ング装置612でチャンネルデコードされる。デマルチ
プレクサ631は、チャンネルデコーディング装置61
2から供給された第4世代の符号化ストリームSTを、ビ
デオストリームと、history_streamとに分離し、ビデオ
ストリームを復号装置102に供給し、history_stream
をヒストリVLD203に供給する。
【0638】すなわちこの例においては、図15に示し
たヒストリデコーディング装置104のうち、ヒストリ
VLD203のみが採用される。
【0639】ヒストリVLD203は、history_streamを
可変長復号処理し、得られた第1世代乃至第3世代の符
号化パラメータを符号化装置106に出力する。
【0640】また、デマルチプレクサ631より出力さ
れたhistory_streamは、コンバータ212’入力され
る。このコンバータ212’と、後段のユーザデータフ
ォーマッタ213’は、ヒストリエンコーディング装置
107に内蔵されているコンバータ212、およびユー
ザデータフォーマッタ213(図15参照)とは、別個
のものであるが、それらと同一の機能を果たすものであ
る。
【0641】すなわちコンバータ212’は、デマルチ
プレクサ631より入力されたhistory_streamにマーカ
ビットを付加して、converted_history_streamを生成
し、ユーザデータフォーマッタ213’に出力する。ユ
ーザデータフォーマッタ213’は、入力されたconver
ted_history_streamをuser_dataに変換し、符号化装置
106に出力する。このuser_dataには、第1世代乃至
第3世代の符号化パラメータが含まれていることにな
る。
【0642】復号装置102は、デマルチプレクサ63
1から入力されたビデオストリームを復号し、ベースバ
ンドビデオ信号を符号化装置106に出力する。、ま
た、復号装置102は、第4世代の符号化パラメータを
符号化装置106に供給するとともに、ヒストリ円コー
ディング装置107に出力する。ヒストリエンコーディ
ング装置107は、入力された第4世代の符号化パラメ
ータからuser_dataを生成し、符号化装置106に出力
する。
【0643】符号化装置106は、図79における符号
化装置106と同様に、「通常符号化処理」または「パ
ラメータ再利用符号化処理」を実行し、第5世代の符号
化ストリームSTを出力する。この第5世代の符号化スト
リームSTには、そのピクチャ層のuser_dataに、第1世
代乃至第4世代の符号化パラメータが記録されている。
【0644】本発明のトランスコーダによれば、過去の
符号化処理において生成された符号化パラメータを、現
在の符号化処理において生成された符号化ストリームの
ユーザデータエリアに記述するようにし、生成されたビ
ットストリームは、MPEG規格に準じた符号化ストリーム
であるので、既存のどのデコーダでも復号処理を行うこ
とができる。さらには、本発明のトランスコーダによれ
ば、過去の符号化処理における符号化パラメータを伝送
するために専用線のようなものを設ける必要がないの
で、従来のデータストリーム伝送環境をそのまま使用し
て、過去の符号化パラメータを伝送することができる。
【0645】本発明のトランスコーダによれば、過去の
符号化処理において生成された符号化パラメータを、選
択的に現在の符号化処理において生成された符号化スト
リーム中に記述するようにしているので、出力されるビ
ットストリームのビットレートを極端に上げることな
く、過去の符号化パラメータを伝送することができる。
【0646】本発明のトランスコーダによれば、過去の
符号化パラメータと現在の符号化ラメータの中から、現
在の符号化処理に最適な符号化パラメータを選択して符
号化処理を行うようにしているので、復号処理及び符号
化処理を繰り返したとしても、画質劣化が蓄積されるこ
とはない。
【0647】本発明のトランスコーダによれば、過去の
符号化パラメータの中から、ピクチャタイプに応じて現
在の符号化処理に最適な符号化パラメータを選択して符
号化処理を行うようにしているので、復号処理及び符号
化処理を繰り返したとしても、画質劣化が蓄積されるこ
とはない。
【0648】本発明のトランスコーダによれば、過去の
符号化パラメータに含まれるピクチャタイプに基づい
て、過去の符号化パラメータを再利用するか否かを決定
しているので、最適な符号化処理を行うことができる。
【0649】なお、上記各処理を行うコンピュータプロ
グラムは、磁気ディスク、光ディスク、光磁気ディス
ク、半導体メモリなどの記録媒体に記録して提供するほ
か、インターネット、デジタル衛星などのネットワーク
を介して伝送し、ユーザの記録媒体に記録させることで
提供することができる。
【0650】
【発明の効果】以上のごとく、請求項1に記載の符号化
ストリーム記録装置、請求項5に記載の符号化ストリー
ム記録方法、および請求項6に記載の記録媒体に記録さ
れているプログラムによれば、検出された過去の符号化
処理における符号化履歴を記録媒体に記録するようにし
たので、符号化ストリームを記録媒体に記録した場合に
おいても、画質の劣化を抑制することが可能となる。
【0651】請求項7に記載の符号化ストリーム再生装
置、請求項11に記載の符号化ストリーム再生方法、お
よび請求項12に記載の記録媒体のプログラムによれ
ば、記録媒体から再生された符号化ストリームに含まれ
る符号化履歴を検出し、第2の符号化ストリームと多重
化して出力するようにしたので、記録媒体から再生され
た符号化ストリームを再度トランスコーディングする場
合においても、画質の劣化を抑制することが可能とな
る。
【0652】さらに、請求項13乃至請求項129に記
載の発明においても、同様に、トランスコーディング時
の画質の劣化を抑制することができる。
【図面の簡単な説明】
【図1】高効率符号化の原理を説明する図である。
【図2】画像データを圧縮する場合におけるピクチャタ
イプを説明する図である。
【図3】画像データを圧縮する場合におけるピクチャタ
イプを説明する図である。
【図4】動画像信号を符号化する原理を説明する図であ
る。
【図5】動画像信号を符号化し、復号する装置の構成を
示すブロック図である。
【図6】画像データの構成を説明する図である。
【図7】図5のエンコーダ18の構成を示すブロック図
である。
【図8】図7の予測モード切換回路52の動作を説明す
る図である。
【図9】図7の予測モード切換回路52の動作を説明す
る図である。
【図10】図7の予測モード切換回路52の動作を説明
する図である。
【図11】図7の予測モード切換回路52の動作を説明
する図である。
【図12】図5のデコーダ31の構成を示すブロック図
である。
【図13】ピクチャタイプに対応したSNR制御を説明す
る図である。
【図14】本発明を適用したトランスコーダ101の構
成を示すブロック図である。
【図15】図14のトランスコーダ101のより詳細な
構成を示すブロック図である。
【図16】図14の復号装置102に内蔵されるデコー
ダ111の構成を示すブロック図である。
【図17】マクロブロックの画素を説明する図である。
【図18】符号化パラメータが記録される領域を説明す
る図である。
【図19】図14の符号化装置106に内蔵されるエン
コーダ121の構成を示すブロック図である。
【図20】図15のヒストリVLC211の構成例を示す
ブロック図である。
【図21】図15のヒストリVLD203の構成例を示す
ブロック図である。
【図22】図15のコンバータ212の構成例を示すブ
ロック図である。
【図23】図22のスタッフ回路323の構成例を示す
ブロック図である。
【図24】図22のコンバータ212の動作を説明する
タイミングチャートである。
【図25】図15のコンバータ202の構成例を示すブ
ロック図である。
【図26】図25のディリート回路343の構成例を示
すブロック図である。
【図27】図15のコンバータ212の他の構成例を示
すブロック図である。
【図28】図15のコンバータ202の他の構成例を示
すブロック図である。
【図29】図15のユーザデータフォーマッタ213の
構成例を示すブロック図である。
【図30】図14のトランスコーダ101が実際に使用
される状態を示す図である。
【図31】符号化パラメータが記録される領域を説明す
る図である。
【図32】図14の符号化装置106の変更可能ピクチ
ャタイプ判定処理を説明するフローチャートである。
【図33】ピクチャタイプが変更される例を示す図であ
る。
【図34】ピクチャタイプが変更される他の例を示す図
である。
【図35】図14の符号化装置106の量子化制御処理
を説明する図である。
【図36】図14の符号化装置106の量子化制御処理
を説明するフローチャートである。
【図37】密結合されたトランスコーダ101の構成を
示すブロック図である。
【図38】ビデオシーケンスのストリームのシンタック
スを説明する図である。
【図39】図38のシンタックスの構成を説明する図で
ある。
【図40】固定長の履歴情報を記録するhistory_stream
()のシンタックスを説明する図である。
【図41】固定長の履歴情報を記録するhistory_stream
()のシンタックスを説明する図である。
【図42】固定長の履歴情報を記録するhistory_stream
()のシンタックスを説明する図である。
【図43】固定長の履歴情報を記録するhistory_stream
()のシンタックスを説明する図である。
【図44】固定長の履歴情報を記録するhistory_stream
()のシンタックスを説明する図である。
【図45】固定長の履歴情報を記録するhistory_stream
()のシンタックスを説明する図である。
【図46】固定長の履歴情報を記録するhistory_stream
()のシンタックスを説明する図である。
【図47】可変長の履歴情報を記録するhistory_stream
()のシンタックスを説明する図である。
【図48】sequence_header()のシンタックスを説明す
る図である。
【図49】sequence_extension()のシンタックスを説明
する図である。
【図50】extension_and_user_data()のシンタックス
を説明する図である。
【図51】user_data()のシンタックスを説明する図で
ある。
【図52】group_of_pictures_header()のシンタックス
を説明する図である。
【図53】picture_header()のシンタックスを説明する
図である。
【図54】picture_coding_extension()のシンタックス
を説明する図である。
【図55】extension_data()のシンタックスを説明する
図である。
【図56】quant_matrix_extension()のシンタックスを
説明する図である。
【図57】copyright_extension()のシンタックスを説
明する図である。
【図58】picture_display_extension()のシンタック
スを説明する図である。
【図59】picture_data()のシンタックスを説明する図
である。
【図60】slice()のシンタックスを説明する図であ
る。
【図61】macroblock()のシンタックスを説明する図で
ある。
【図62】macroblock_modes()のシンタックスを説明す
る図である。
【図63】motion_vectors(s)のシンタックスを説明す
る図である。
【図64】motion_vector(r,s)のシンタックスを説明す
る図である。
【図65】Iピクチャに対するmacroblock_typeの可変
長符号を説明する図である。
【図66】Pピクチャに対するmacroblock_typeの可変
長符号を説明する図である。
【図67】Bピクチャに対するmacroblock_typeの可変
長符号を説明する図である。
【図68】本発明を適用したトランスコーダ101の他
の構成を示すブロック図である。
【図69】履歴情報の項目の組み合わせを説明する図で
ある。
【図70】図68のトランスコーダ101の動作を説明
するフローチャートである。
【図71】re_coding_stream_info()のシンタックスを
説明する図である。
【図72】red_bw_flag,red_bw_indicatorを説明する
図である。
【図73】Re_Coding Information Bus macroblock for
mationを説明する図である。
【図74】Picture rate elementsを説明する図であ
る。
【図75】Picture rate elementsを説明する図であ
る。
【図76】Picture rate elementsを説明する図であ
る。
【図77】Re_Coding Information Busが記録される領
域を説明する図である。
【図78】ビデオテープレコーダの記録系の構成例を表
すブロック図である。
【図79】ビデオテープレコーダの再生系の構成例を表
すブロック図である。
【図80】ビデオテープレコーダの記録系の他の構成例
を表すブロック図である。
【図81】ビデオテープレコーダの再生系の他の構成例
を表すブロック図である。
【図82】ビデオストリームとhistory_streamの記録位
置を説明する図である。
【符号の説明】 1 符号化装置, 2 復号装置, 3 記録媒体,
12,13 A/D変換器, 14 フレームメモリ,
15 輝度信号フレームメモリ, 16 色差信号フレ
ームメモリ, 17 フォーマット変換回路, 18
エンコーダ,31 デコーダ, 32 フォーマット変
換回路, 33 フレームメモリ,34 輝度信号フレ
ームメモリ, 35 色差信号フレームメモリ, 3
6,37 D/A変換器, 50 動きベクトル検出回
路, 51 フレームメモリ,52 予測モード切り替
え回路, 53 演算器, 54 予測判定回路, 5
5 DCTモード切り替え回路, 56 DCT回路, 57
量子化回路, 58可変長符号化回路, 59 送信
バッファ, 60 逆量子化回路, 61 IDCT回路,
62 演算器, 63 フレームメモリ, 64 動
き補償回路,81 受信バッファ, 82 可変長復号
回路, 83 逆量子化回路, 84IDCT回路, 85
演算器, 86 フレームメモリ, 87 動き補償
回路, 101 トランスコーダ, 102 復号装
置, 103 ヒストリ情報多重化装置, 105 ヒ
ストリ情報分離装置, 106 符号化装置, 11
1 デコーダ, 112 可変長復号回路, 121
エンコーダ,
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成11年12月10日(1999.12.
10)
【手続補正1】
【補正対象書類名】図面
【補正対象項目名】図3
【補正方法】変更
【補正内容】
【図3】
【手続補正2】
【補正対象書類名】図面
【補正対象項目名】図12
【補正方法】変更
【補正内容】
【図12】
【手続補正3】
【補正対象書類名】図面
【補正対象項目名】図20
【補正方法】変更
【補正内容】
【図20】
【手続補正4】
【補正対象書類名】図面
【補正対象項目名】図39
【補正方法】変更
【補正内容】
【図39】
【手続補正5】
【補正対象書類名】図面
【補正対象項目名】図79
【補正方法】変更
【補正内容】
【図79】
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C053 FA14 FA30 GB01 GB05 GB21 GB37 KA01 KA04 KA24 5C059 KK01 KK35 KK41 MA00 MA03 MA05 MA23 ME01 NN01 PP05 PP06 PP07 RB08 RB17 RC12 SS01 SS07 SS11 SS20 TA45 TA46 TA62 TB04 TB05 TC01 TC12 TC15 TC24 TC27 TC41 UA05 (54)【発明の名称】 符号化ストリーム記録装置および方法、符号化ストリーム再生装置および方法、トランスコーデ ィングシステム、変換装置および方法、ビデオ符号化装置および方法、ストリーム処理装置およ び方法、ストリーム処理システム、ビデオ復号装置および方法、並びに記録媒体

Claims (129)

    【特許請求の範囲】
  1. 【請求項1】 入力された符号化ストリームを記録媒体
    に記録する符号化ストリーム記録装置において、 入力された第1の符号化ストリームの過去の符号化処理
    における符号化履歴を検出する検出手段と、 前記検出手段の検出結果を利用して、前記第1の符号化
    ストリームを符号化して第2の符号化ストリームを生成
    する符号化手段と、 前記符号化手段により生成された前記第2の符号化スト
    リームと、前記検出手段により検出された前記過去の符
    号化処理における符号化履歴とを、前記記録媒体に記録
    する記録手段とを備えることを特徴とする符号化ストリ
    ーム記録装置。
  2. 【請求項2】 前記符号化手段は、MPEG方式で符号化を
    行うことを特徴とする請求項1に記載の符号化ストリー
    ム記録装置。
  3. 【請求項3】 前記記録手段は、前記符号化履歴を、前
    記MPEG方式の前記第2の符号化ストリームのuser_data
    として多重化して記録することを特徴とする請求項2に
    記載の符号化ストリーム記録装置。
  4. 【請求項4】 前記記録手段は、前記符号化履歴を、前
    記第2の符号化ストリームに較べて、同期コードからよ
    り離れた位置に多重化して記録することを特徴とする請
    求項1に記載の符号化ストリーム記録装置。
  5. 【請求項5】 入力された符号化ストリームを記録媒体
    に記録する符号化ストリーム記録装置の符号化ストリー
    ム記録方法において、 入力された第1の符号化ストリームの過去の符号化処理
    における符号化履歴を検出する検出ステップと、 前記検出ステップの処理における検出結果を利用して、
    前記第1の符号化ストリームを符号化して第2の符号化
    ストリームを生成する符号化ステップと、 前記符号化ステップの処理により生成された前記第2の
    符号化ストリームと、前記検出ステップの処理により検
    出された前記過去の符号化処理における符号化履歴と
    を、前記記録媒体に記録する記録ステップとを含むこと
    を特徴とする符号化ストリーム記録方法。
  6. 【請求項6】 入力された符号化ストリームを記録媒体
    に記録する符号化ストリーム記録装置を制御するプログ
    ラムにおいて、 入力された第1の符号化ストリームの過去の符号化処理
    における符号化履歴を検出する検出ステップと、 前記検出ステップの処理における検出結果を利用して、
    前記第1の符号化ストリームを符号化して第2の符号化
    ストリームを生成する符号化ステップと、 前記符号化ステップの処理により生成された前記第2の
    符号化ストリームと、前記検出ステップの処理により検
    出された前記過去の符号化処理における符号化履歴と
    を、前記記録媒体に記録する記録ステップとを含むこと
    を特徴とするコンピュータが読み取り可能なプログラム
    が記録されている記録媒体。
  7. 【請求項7】 記録媒体に記録されている符号化ストリ
    ームを再生する符号化ストリーム再生装置において、 前記記録媒体に記録されている第1の符号化ストリーム
    を再生する再生手段と、前記再生手段により再生された
    前記第1の符号化ストリームの過去の符号化処理におけ
    る符号化履歴を検出する検出手段と、 前記検出手段の検出結果を利用して、前記第1の符号化
    ストリームを符号化して第2の符号化ストリームを生成
    する符号化手段と、 前記符号化手段により生成された前記第2の符号化スト
    リームと、前記検出手段により検出された前記過去の符
    号化処理における符号化履歴とを、多重化して出力する
    出力手段とを備えることを特徴とする符号化ストリーム
    再生装置。
  8. 【請求項8】 前記符号化手段は、前記第1の符号化ス
    トリームをMPEG方式で符号化することを特徴とする請求
    項7に記載の符号化ストリーム再生装置。
  9. 【請求項9】 前記検出手段は、前記符号化履歴を、前
    記MPEG方式の前記第1の符号化ストリームのuser_data
    から検出することを特徴とする請求項8に記載の符号化
    ストリーム再生装置。
  10. 【請求項10】 前記検出手段は、前記符号化履歴を、
    前記第1の符号化ストリームに較べて、同期コードから
    より離れた位置から検出することを特徴とする請求項7
    に記載の符号化ストリーム再生装置。
  11. 【請求項11】 記録媒体に記録されている符号化スト
    リームを再生する符号化ストリーム再生装置の符号化ス
    トリーム再生方法において、 前記記録媒体に記録されている第1の符号化ストリーム
    を再生する再生ステップと、 前記再生ステップの処理により再生された前記第1の符
    号化ストリームの過去の符号化処理における符号化履歴
    を検出する検出ステップと、 前記検出ステップの処理における検出結果を利用して、
    前記第1の符号化ストリームを符号化して第2の符号化
    ストリームを生成する符号化ステップと、 前記符号化ステップの処理により生成された前記第2の
    符号化ストリームと、前記検出ステップの処理により検
    出された前記過去の符号化処理における符号化履歴と
    を、多重化して出力する出力ステップとを含むことを特
    徴とする符号化ストリーム再生方法。
  12. 【請求項12】 記録媒体に記録されている符号化スト
    リームを再生する符号化ストリーム再生装置を制御する
    プログラムにおいて、 前記記録媒体に記録されている第1の符号化ストリーム
    を再生する再生ステップと、 前記再生ステップの処理により再生された前記第1の符
    号化ストリームの過去の符号化処理における符号化履歴
    を検出する検出ステップと、 前記検出ステップの処理における検出結果を利用して、
    前記第1の符号化ストリームを符号化して第2の符号化
    ストリームを生成する符号化ステップと、 前記符号化ステップの処理により生成された前記第2の
    符号化ストリームと、前記検出ステップの処理により検
    出された前記過去の符号化処理における符号化履歴と
    を、多重化して出力する出力ステップとを含むことを特
    徴とするコンピュータが読み取り可能なプログラムが記
    録されている記録媒体。
  13. 【請求項13】 入力符号化ビデオストリームのビット
    レートまたはGOP構造を変換するトランスコーディング
    システムにおいて、 前記入力符号化ビデオストリームを復号してビデオデー
    タを生成するとともに、前記入力符号化ビデオストリー
    ムから過去の符号化処理により生成された過去の符号化
    パラメータを抽出する復号手段と、 現在の符号化処理として、前記ビデオデータを符号化
    し、符号化ビデオストリームを生成する符号化手段と、 前記過去の符号化パラメータを受け取り、前記過去の符
    号化パラメータに基づいて、前記符号化手段の現在の符
    号化処理を制御する制御手段とを備えることを特徴とす
    るトランスコーディングシステム。
  14. 【請求項14】 前記符号化手段は、前記現在の符号化
    処理において、前記入力ビデオデータに含まれる参照ピ
    クチャに割り当てられた現在のピクチャタイプで、前記
    参照ピクチャをエンコードし、 前記制御手段は、過去の符号化処理において割り当てら
    れたピクチャタイプと同一のピクチャタイプに前記参照
    ピクチャが符号化されたか否かを判定し、その判定結果
    に基づいて、前記現在の符号化処理を制御することを特
    徴する請求項13に記載のトランスコーディングシステ
    ム。
  15. 【請求項15】 前記符号化手段は、前記ビデオデータ
    に含まれる参照ピクチャを、前記現在の符号化処理にお
    いて、前記参照ピクチャに割り当てられた現在のピクチ
    ャタイプで符号化し、 前記制御手段は、前記現在の符号化処理において、前記
    参照ピクチャに割り当てられた過去のピクチャタイプ
    を、前記過去の符号化パラメータを参照することで検出
    し、前記現在のピクチャタイプと前記過去のピクチャタ
    イプに基づいて前記現在の符号化処理を制御することを
    特徴とする請求項13に記載のトランスコーディングシ
    ステム。
  16. 【請求項16】 前記制御手段は、前記判定に基づい
    て、前記過去の符号化パラメータから最適な符号化パラ
    メータを選択し、前記選択された最適な符号化パラメー
    タに基づいて、前記符号化手段の現在の符号化処理を制
    御することを特徴とする請求項14に記載のトランスコ
    ーディングシステム。
  17. 【請求項17】 前記制御手段は、前記参照ピクチャ
    を、前記過去の符号化処理において発生された過去の符
    号化パラメータの1つを使用して符号化することを特徴
    とする請求項14に記載のトランスコーディングシステ
    ム。
  18. 【請求項18】 前記過去の符号化パラメータは、前記
    過去の符号化処理において生成された動きベクトル情報
    を含み、 前記符号化手段は、前記現在の符号化処理において、前
    記参照ピクチャの動きベクトル情報を検出するための動
    きベクトル検出手段を含むことを特徴とする請求項16
    に記載のトランスコーディングシステム。
  19. 【請求項19】 前記制御手段は、前記判断の結果に基
    づいて、前記動きベクトル検出手段の動作を制御するこ
    とを特徴とする請求項18に記載のトランスコーディン
    グシステム。
  20. 【請求項20】 前記制御手段は、前記動きベクトル検
    出手段における新たな動きベクトル情報の計算の代わり
    に、前記過去の符号化パラメータに含まれる、前記動き
    ベクトル情報を再使用することを特徴とする請求項19
    に記載のトランスコーディングシステム。
  21. 【請求項21】 前記参照ピクチャが過去の符号化処理
    において、現在のピクチャタイプと同一のピクチャタイ
    プで符号化されている場合、前記制御手段は、前記過去
    の符号化処理に含まれる前記動きベクトル情報を再使用
    することを特徴とする請求項19に記載のトランスコー
    ディングシステム。
  22. 【請求項22】 前記参照ピクチャが過去の符号化処理
    において、前記割り当てられたピクチャタイプで符号化
    されていない場合、前記制御手段は、新たな動きベクト
    ル情報が、前記動きベクトル検出手段により検出された
    ように前記動きベクトル検出手段を制御することを特徴
    とする請求項21に記載のトランスコーディングシステ
    ム。
  23. 【請求項23】 前記制御手段は、前記過去の符号化パ
    ラメータから、前記現在の符号化処理に対応する最適な
    符号化パラメータを選択し、前記最適な符号化パラメー
    タに基づいて、前記符号化手段の前記現在の符号化処理
    を制御することを特徴とする請求項13に記載のトラン
    スコーディングシステム。
  24. 【請求項24】 前記符号化手段は、前記現在の符号化
    処理において、参照ピクチャに割り当てられた現在のピ
    クチャタイプで前記入力ビデオデータに含まれる前記参
    照ピクチャを符号化し、 前記制御手段は、前記参照ピクチャが過去の符号化処理
    において割り当てられたピクチャタイプと同一のピクチ
    ャタイプに符号化されたか否かを判定し、その判定結果
    に基づいて、前記最適な符号化パラメータを選択するこ
    とを特徴とする請求項13に記載のトランスコーディン
    グシステム。
  25. 【請求項25】 前記過去の符号化パラメータは、フレ
    ーム予測モードまたはフィールド予測モードを表す予測
    モード情報を含み、 前記制御手段は、前記予測モード情報に対応して、前記
    現在の符号化処理を制御することを特徴とする請求項2
    3に記載のトランスコーディングシステム。
  26. 【請求項26】 前記参照ピクチャが、前記過去の符号
    化処理において、前記過去のピクチャタイプと同一のピ
    クチャタイプで符号化されている場合、前記制御手段
    は、新たな予測モード情報の計算に代えて、前記過去の
    符号化パラメータに含まれる前記予測モード情報を再使
    用することを特徴とする請求項23に記載のトランスコ
    ーディングシステム。
  27. 【請求項27】 前記符号化パラメータは、イントラ予
    測、前方予測、後方予測、または双方向予測を示す予測
    タイプ情報を含み、 前記制御手段は、前記予測タイプ情報に基づいて、前記
    現在の符号化処理を制御することを特徴とする請求項2
    3に記載のトランスコーディングシステム。
  28. 【請求項28】 前記参照ピクチャが、過去の符号化処
    理において、前記現在のピクチャタイプと同一のピクチ
    ャタイプで符号化されている場合、前記制御手段は、新
    たな予測タイプ情報の計算に代えて、前記過去の符号化
    パラメータに含まれる前記予測タイプ情報を再使用する
    ことを特徴とする請求項27に記載のトランスコーディ
    ングシステム。
  29. 【請求項29】 前記符号化パラメータは、フレームDC
    TモードまたはフィールドDCTモードを表すDCTモード情
    報を含み、 前記制御手段は、前記DCTモード情報に基づいて、前記
    現在の符号化処理を制御することを特徴とする請求項2
    3に記載のトランスコーディングシステム。
  30. 【請求項30】 前記参照ピクチャが過去の符号化処理
    において、現在のピクチャタイプと同一のピクチャタイ
    プで符号化されている場合、前記制御手段は、新たなDC
    Tモード情報の計算に代えて、前記過去の符号化パラメ
    ータに含まれる、前記DCTモード情報を再使用すること
    を特徴とする請求項29に記載のトランスコーディング
    システム。
  31. 【請求項31】 前記制御手段は、前記符号化手段の現
    在の符号化処理に対応する現在の符号化パラメータを生
    成することを特徴とする請求項13に記載のトランスコ
    ーディングシステム。
  32. 【請求項32】 前記制御手段は、前記現在の符号化パ
    ラメータと過去の符号化パラメータから、前記現在の符
    号化処理に対応する最適な符号化パラメータを選択し、
    前記最適な符号化パラメータに基づいて、前記符号化手
    段の前記現在の符号化処理を制御することを特徴とする
    請求項29に記載のトランスコーディングシステム。
  33. 【請求項33】 前記符号化手段は、前記入力ビデオデ
    ータに含まれる参照ピクチャを、前記現在の符号化処理
    において、前記参照ピクチャに割り当てられた現在のピ
    クチャタイプで符号化し、 前記制御手段は、前記参照ピクチャが過去の符号化処理
    において、割り当てられたピクチャタイプと同一のピク
    チャタイプで符号化されたか否かを判定し、その判定結
    果に基づいて最適な符号化パラメータを選択することを
    特徴とする請求項32に記載のトランスコーディングシ
    ステム。
  34. 【請求項34】 前記過去の符号化パラメータは、前記
    過去の符号化処理において生成された量子化情報を含
    み、 前記符号化手段は、前記現在の符号化処理において、前
    記参照ピクチャを量子化する量子化手段を含むことを特
    徴とする請求項33に記載のトランスコーディングシス
    テム。
  35. 【請求項35】 前記制御手段は、前記符号化ビデオス
    トリームを蓄積する伝送バッファの残量を表すバッファ
    情報を受け取り、前記バッファ情報に基づいて、前記伝
    送バッファのオーバーフローおよびアンダーフローを阻
    止するように、前記量子化手段を制御することを特徴と
    する請求項34に記載のトランスコーディングシステ
    ム。
  36. 【請求項36】 前記制御手段は、前記バッファ情報か
    ら抽出した量子化ステップサイズ、および前記過去の符
    号化パラメータに含まれる前記量子化情報から抽出した
    量子化ステップサイズに基づいて、前記量子化手段を制
    御することを特徴とする請求項35に記載のトランスコ
    ーディングシステム。
  37. 【請求項37】 前記制御手段は、前記バッファ情報に
    対応する量子化ステップサイズと、前記量子化情報に対
    応する量子化ステップサイズから選択した最も大きい量
    子化ステップサイズを使用して、前記量子化手段を制御
    することを特徴とする請求項36に記載のトランスコー
    ディングシステム。
  38. 【請求項38】 前記制御手段は、前記符号化手段が前
    記過去の符号化パラメータを前記符号化ビデオストリー
    ムに記述するように制御することを特徴とする請求項1
    3に記載のトランスコーディングシステム。
  39. 【請求項39】 前記符号化手段は、シーケンスレイ
    ヤ、GOPレイヤ、ピクチャレイヤ、スライスレイヤ、お
    よびマクロブロックレイヤを有するMPEG標準に従ったMP
    EGビットストリームを、前記符号化ビデオストリームを
    処理して生成する処理手段を有することを特徴とする請
    求項13に記載のトランスコーディングシステム。
  40. 【請求項40】 前記制御手段は、前記符号化手段の前
    記現在の符号化処理に対応する現在の符号化パラメータ
    を生成し、 前記処理手段は、前記現在の符号化パラメータを前記ピ
    クチャレイヤ、スライスレイヤ、およびマクロブロック
    レイヤに記述し、前記過去の符号化パラメータを前記ピ
    クチャレイヤのユーザデータエリアに記述することを特
    徴とする請求項39に記載のトランスコーディングシス
    テム。
  41. 【請求項41】 前記処理手段は、前記ユーザデータエ
    リアに、前記過去の符号化パラメータを記述するため
    に、過去の符号化パラメータを含むヒストリストリーム
    を生成することを特徴とする請求項40に記載のトラン
    スコーディングシステム。
  42. 【請求項42】 前記処理手段は、MPEG標準に規定され
    ているスタートコードのエミレーションを防止するため
    に、ヒストリストリームにマーカビットを挿入し、前記
    マーカビットが挿入されたヒストリストリームを前記ピ
    クチャレイヤのユーザデータエリアに記述することを特
    徴とする請求項41に記載のトランスコーディングシス
    テム。
  43. 【請求項43】 入力符号化ビデオストリームのビット
    レートまたはGOP構造を変換する変換方法において、 前記入力符号化ビデオストリームを復号し、復号ビデオ
    データを生成する生成ステップと、 前記入力符号化ビデオストリームから過去の符号化処理
    において生成された符号化パラメータを抽出する抽出ス
    テップと、 現在の符号化処理により、符号化ビデオストリームを生
    成するように、前記ビデオデータを符号化する符号化ス
    テップと、 生成された前記過去の符号化パラメータを受け取る受け
    取りステップと、 前記過去の符号化パラメータに基づいて、前記符号化ス
    テップの処理での現在の符号化処理を制御する制御ステ
    ップとを含むことを特徴とする変換方法。
  44. 【請求項44】 入力符号化ビデオストリームのビット
    レートまたはGOP構造を変換するトランスコーディング
    システムにおいて、 前記入力符号化ビデオストリームを復号して、復号ビデ
    オデータを生成し、前記入力符号化ビデオストリームか
    ら過去の符号化処理により生成された過去の符号化パラ
    メータを抽出し、前記過去の符号化パラメータをヒスト
    リ情報として出力する復号手段と、 前記復号されたビデオデータを符号化し、符号化ビデオ
    ストリームを現在の符号化処理として生成する符号化手
    段と、 過去の符号化パラメータを含む、前記ヒストリ情報を受
    け取り、前記過去の符号化パラメータを選択的に使用す
    ることで、前記現在の符号化処理が最適化されるよう
    に、前記ヒストリ情報に基づいて、前記符号化手段の前
    記現在の符号化処理を制御する制御手段とを備えること
    を特徴とするトランスコーディングシステム。
  45. 【請求項45】 入力符号化ビデオストリームのビット
    レートまたはGOP構造を変換する変換方法において、 入力符号化ビデオストリームを復号し、復号ビデオデー
    タを生成する復号ステップと、 前記入力符号化ビデオストリームから、過去の符号化処
    理により生成された過去の符号化パラメータを抽出する
    抽出ステップと、 前記過去の符号化パラメータをヒストリ情報として出力
    する出力ステップと、 現在の符号化処理として、前記復号ビデオデータを符号
    化し、符号化ビデオストリームを生成する生成ステップ
    と、 過去の符号化パラメータを含む前記ヒストリ情報を受け
    取る受け取りステップと、 前記現在の符号化処理が、前記過去の符号化パラメータ
    を選択的に使用することで最適化されるように、前記ヒ
    ストリ情報に基づいて、前記符号化ステップの処理での
    現在の符号化処理を制御する制御ステップとを含むこと
    を特徴とする変換方法。
  46. 【請求項46】 入力符号化ビデオストリームのビット
    レートまたはGOP構造を変換するトランスコーディング
    システムにおいて、 前記入力符号化ビデオストリームを復号して、復号ビデ
    オデータを生成し、前記入力符号化ビデオストリームか
    ら、過去の符号化処理により生成された過去の符号化パ
    ラメータを抽出する復号手段と、 現在の符号化処理として、前記復号ビデオデータを符号
    化し、符号化ビデオストリームを生成する符号化手段
    と、 前記過去の符号化パラメータを受け取り、前記過去の符
    号化パラメータから前記現在の符号化処理に対応する最
    適な符号化パラメータを選択し、前記最適な符号化パラ
    メータに基づいて、前記符号化手段の現在の符号化処理
    を制御する制御手段とを備えることを特徴とするトラン
    スコーディングシステム。
  47. 【請求項47】 入力符号化ビデオストリームのビット
    レートまたはGOP構造を変換する変換方法において、 入力符号化ビデオストリームを復号し、復号ビデオデー
    タを生成する復号ステップと、 前記入力符号化ビデオストリームから、過去の符号化処
    理により生成された過去の符号化パラメータを抽出する
    抽出ステップと、 現在の符号化処理として、前記復号ビデオデータを符号
    化し、符号化ビデオストリームを生成する生成ステップ
    と、 前記過去の符号化パラメータを受け取る受け取りステッ
    プと、 前記過去の符号化パラメータから前記現在の符号化処理
    に対応する最適な符号化パラメータを選択する選択ステ
    ップと、 前記最適な符号化パラメータに基づいて、前記符号化ス
    テップの処理での現在の符号化処理を制御する制御ステ
    ップとを含むことを特徴とする変換方法。
  48. 【請求項48】 入力符号化ビデオストリームのビット
    レートまたはGOP構造を変換するトランスコーディング
    システムにおいて、 入力符号化ビデオストリームを復号して、復号ビデオデ
    ータを生成し、前記入力符号化ビデオストリームから、
    過去の符号化処理により生成された過去の符号化パラメ
    ータを抽出する復号手段と、 割り当てられたピクチャタイプで、前記符号化ビデオデ
    ータに含まれる参照ピクチャを符号化する符号化手段
    と、 過去の符号化処理において生成された過去の符号化パラ
    メータを受け取り、前記割り当てられたピクチャタイプ
    に従って、前記過去の符号化パラメータから最適な符号
    化パラメータを選択し、前記最適な符号化パラメータに
    基づいて、前記符号化手段の現在の符号化処理を制御す
    る制御手段とを備えることを特徴とするトランスコーデ
    ィングシステム。
  49. 【請求項49】 入力符号化ビデオストリームのビット
    レートまたはGOP構造を変換する変換方法において、 前記入力符号化ビデオストリームを復号して、復号ビデ
    オデータを生成する生成ステップと、 前記入力符号化ビデオストリームから、過去の符号化処
    理により生成された過去の符号化パラメータを抽出する
    抽出ステップと、 割り当てられたピクチャタイプで、前記符号化ビデオデ
    ータに含まれる参照ピクチャを符号化する符号化ステッ
    プと、 過去の符号化処理において生成された過去の符号化パラ
    メータを受け取る受け取りステップと、 前記割り当てられたピクチャタイプに従って、前記過去
    の符号化パラメータから最適な符号化パラメータを選択
    する選択ステップと、 前記最適な符号化パラメータに基づいて、前記符号化ス
    テップの処理での現在の符号化処理を制御する制御ステ
    ップとを含むことを特徴とする変換方法。
  50. 【請求項50】 入力符号化ビデオストリームのビット
    レートまたはGOP構造を変換するトランスコーディング
    システムにおいて、 入力符号化ビデオストリームを復号して、復号ビデオデ
    ータを生成し、前記入力符号化ビデオストリームから、
    過去の符号化処理により生成された過去の符号化パラメ
    ータを抽出する復号手段と、 割り当てられたピクチャタイプで、前記復号ビデオデー
    タに含まれる参照ピクチャを符号化する符号化手段と、 前記参照ピクチャが過去の符号化処理において、前記割
    り当てられたピクチャタイプで符号化されたか否かを判
    定し、その判定結果に基づいて、前記符号化手段の現在
    の符号化処理を制御する制御手段とを備えることを特徴
    とするトランスコーディングシステム。
  51. 【請求項51】 入力符号化ビデオストリームのビット
    レートまたはGOP構造を変換する変換方法において、 前記入力符号化ビデオストリームを復号して、復号ビデ
    オデータを生成する復号ステップと、 前記入力符号化ビデオストリームから、過去の符号化処
    理により生成された過去の符号化パラメータを抽出する
    抽出ステップと、 割り当てられたピクチャタイプで、前記復号ビデオデー
    タに含まれる参照ピクチャを符号化する符号化ステップ
    と、 前記参照ピクチャが前記過去の符号化処理において、前
    記割り当てられたピクチャタイプで符号化されたか否か
    を判定する判定ステップと、 前記判定の結果に基づいて、前記符号化ステップでの現
    在の符号化処理を制御する制御ステップとを含むことを
    特徴とする変換方法。
  52. 【請求項52】 入力符号化ビデオストリームのビット
    レートまたはGOP構造を変換するトランスコーディング
    システムにおいて、 前記入力符号化ビデオストリームを復号して、復号ビデ
    オデータを生成し、前記入力符号化ビデオストリームか
    ら、過去の符号化処理により生成された過去の符号化パ
    ラメータを抽出する復号手段と、 現在の符号化処理として、前記復号ビデオデータを符号
    化し、符号化ビデオストリームを生成する符号化手段
    と、 前記符号化ビデオストリーム、前記現在の符号化処理に
    おいて生成された現在の符号化パラメータ、並びに過去
    の符号化処理において生成された過去の符号化パラメー
    タを含むMPEGストリームを生成するストリーム生成手段
    とを備えることを特徴とするトランスコーディングシス
    テム。
  53. 【請求項53】 入力符号化ビデオストリームのビット
    レートまたはGOP構造を変換する変換方法において、 前記入力符号化ビデオストリームを復号して、復号ビデ
    オデータを生成する復号ビデオデータ生成ステップと、 前記入力符号化ビデオストリームから、過去の符号化処
    理において生成された過去の符号化パラメータを抽出す
    る抽出ステップと、 現在の符号化処理として、前記復号ビデオデータを符号
    化し、符号化ビデオストリームを生成する符号化ビデオ
    ストリーム生成ステップと、 前記符号化ビデオストリーム、前記現在の符号化処理に
    おいて生成された現在の符号化パラメータ、並びに過去
    の符号化処理において生成された過去の符号化パラメー
    タを含むMPEGストリームを生成するMPEGストリーム生成
    ステップとを含むことを特徴とする変換方法。
  54. 【請求項54】 入力符号化ビデオストリームのビット
    レートまたはGOP構造を変換するトランスコーディング
    システムにおいて、 前記入力符号化ビデオストリームを復号して、復号ビデ
    オデータを生成し、前記入力符号化ビデオストリームか
    ら、過去の符号化処理により生成された過去の符号化パ
    ラメータを抽出する復号手段と、 現在の符号化処理として、前記復号ビデオデータを符号
    化し、符号化ビデオストリームを生成する符号化手段
    と、 シーケンスレイヤ、GOPレイヤ、ピクチャレイヤ、スラ
    イスレイヤ、およびマクロブロックレイヤを含むMPEGビ
    ットストリームを生成するストリーム生成手段とを備
    え、 前記各レイヤは、前記現在の符号化処理において生成さ
    れた現在の符号化パラメータを含み、前記ピクチャレイ
    ヤはさらに、過去の符号化処理において生成された前記
    過去の符号化パラメータを含むことを特徴とするトラン
    スコーディングシステム。
  55. 【請求項55】 入力符号化ビデオストリームのビット
    レートまたはGOP構造を変換する変換方法において、 前記入力符号化ビデオストリームを復号して、復号ビデ
    オデータを生成する復号ビデオデータ生成ステップと、 前記入力符号化ビデオストリームから、過去の符号化処
    理により生成された過去の符号化パラメータを抽出する
    抽出ステップと、 現在の符号化処理として、前記復号ビデオデータを符号
    化し、符号化ビデオストリームを生成する符号化ビデオ
    ストリーム生成ステップと、 シーケンスレイヤ、GOPレイヤ、ピクチャレイヤ、スラ
    イスレイヤ、およびマクロブロックレイヤを含むMPEGビ
    ットストリームを生成するMPEGビットストリーム生成ス
    テップとを含み、 前記各レイヤは、前記現在の符号化処理において生成さ
    れた現在の符号化パラメータを含み、前記ピクチャレイ
    ヤはさらに、過去の符号化処理において生成された過去
    の符号化パラメータを含むことを特徴とする変換方法。
  56. 【請求項56】 入力符号化ビデオストリームのビット
    レートまたはGOP構造を変換するトランスコーディング
    システムにおいて、 前記入力符号化ビデオストリームを復号して、復号ビデ
    オデータを生成し、前記入力符号化ビデオストリームか
    ら過去の符号化処理により生成された過去の符号化パラ
    メータを抽出する復号手段と、 前記過去の符号化パラメータを参照することにより、現
    在の符号化処理として、前記復号ビデオデータを符号化
    し、符号化ビデオストリームを生成する符号化手段と、 前記過去の符号化パラメータを前記符号化ビデオストリ
    ームに記述する記述手段と、 前記過去の符号化パラメータが記述されている前記符号
    化ビデオストリームを出力する出力手段とを備えること
    を特徴とするトランスコーディングシステム。
  57. 【請求項57】 入力符号化ビデオストリームのビット
    レートまたはGOP構造を変換する変換方法において、 前記入力符号化ビデオストリームを復号して、復号ビデ
    オデータを生成する復号ビデオデータ生成ステップと、 前記入力符号化ビデオストリームから過去の符号化処理
    により生成された過去の符号化パラメータを抽出する抽
    出ステップと、 前記過去の符号化パラメータを参照することにより、現
    在の符号化処理として、前記復号ビデオデータを符号化
    し、符号化ビデオストリームを生成する符号化ステップ
    と、 前記過去の符号化パラメータを前記符号化ビデオストリ
    ームに記述する記述ステップと、 前記過去のパラメータが記述されている前記符号化ビデ
    オストリームを出力する出力ステップとを含むことを特
    徴とする変換方法。
  58. 【請求項58】 入力符号化ビデオストリームのビット
    レートまたはGOP構造を変換するトランスコーディング
    システムにおいて、 前記入力符号化ビデオストリームを復号して、復号ビデ
    オデータを生成する復号ビデオデータ生成手段と、 前記入力符号化ビデオストリームから、過去の符号化処
    理により生成された以前の符号化パラメータを含むヒス
    トリ情報を抽出する抽出手段と、 前記ヒストリ情報を参照することにより、現在の符号化
    処理として、前記復号ビデオデータを符号化し、符号化
    ビデオストリームを生成する符号化ビデオストリーム生
    成手段と、 前記ヒストリ情報が、将来の符号化処理において利用で
    きるように、前記符号化ストリームに記述する記述手段
    とを備えることを特徴とするトランスコーディングシス
    テム。
  59. 【請求項59】 入力符号化ビデオストリームのビット
    レートまたはGOP構造を変換する変換方法において、 入力符号化ビデオストリームを復号して、復号ビデオデ
    ータを生成する復号ビデオデータ生成ステップと、 前記入力符号化ビデオストリームから、過去の符号化処
    理により生成された前の符号化パラメータを含むヒスト
    リ情報を抽出する抽出ステップと、 前記ヒストリ情報を参照することにより、現在の符号化
    処理として、前記復号ビデオデータを符号化し、符号化
    ビデオストリームを生成する符号化ビデオストリーム生
    成ステップと、 前記ヒストリ情報が、将来の符号化処理において利用で
    きるように前記符号化ストリームに前記ヒストリ情報を
    記述する記述ステップとを含むことを特徴とする変換方
    法。
  60. 【請求項60】 入力符号化ビデオストリームのビット
    レートまたはGOP構造を変換するトランスコーディング
    システムにおいて、 直近の符号化処理の符号化パラメータに基づいて、前記
    入力符号化ビデオストリームを復号してベースバンドビ
    デオデータを生成し、過去の符号化処理の過去の符号化
    パラメータを抽出し、前記直近および過去の符号化処理
    の前記符号化パラメータを前記ベースバンドビデオデー
    タに多重化する復号手段と、 新たな符号化ビデオストリームのビットレートまたはGO
    P構造が、前記入力符号化ビデオストリームのビットレ
    ートまたはGOP構造と異なるように、前記直近および過
    去の符号化処理の符号化パラメータに基づいて、前記ベ
    ースバンドビデオデータを符号化し、前記新たな符号化
    ビデオストリームを生成する符号化手段とを備えること
    を特徴とするトランスコーディングシステム。
  61. 【請求項61】 入力符号化ビデオストリームのビット
    レートまたはGOP構造を変換する変換方法において、 直近の符号化処理の符号化パラメータに基づいて、前記
    入力符号化ビデオストリームを符号化して、ベースバン
    ドビデオデータを生成するベースバンドビデオデータ生
    成ステップと、 過去の符号化処理の過去の符号化パラメータを抽出する
    抽出ステップと、 前記直近および過去の符号化処理の前記符号化パラメー
    タを前記ベースバンドビデオデータに多重化する多重化
    ステップと、 新たな符号化ビデオストリームのビットレートまたはGO
    P構造が、前記入力符号化ビデオストリームのビットレ
    ートまたはGOP構造と異なるように、前記直近および過
    去の符号化処理の符号化パラメータに基づいて、前記ベ
    ースバンドビデオデータを符号化して、前記新たな符号
    化ビデオストリームを生成する符号化ビデオストリーム
    生成ステップとを含むことを特徴とする変換方法。
  62. 【請求項62】 入力ビデオデータを符号化するビデオ
    符号化装置において、 現在の符号化処理として、前記入力ビデオデータを符号
    化して、符号化ビデオストリームを生成する符号化手段
    と、 過去の符号化処理により生成された過去の符号化パラメ
    ータを受け取り、前記過去の符号化パラメータに基づい
    て、前記符号化手段の現在の符号化処理を制御する制御
    手段とを備えることを特徴とするビデオ符号化装置。
  63. 【請求項63】 前記符号化手段は、前記現在の符号化
    処理において、前記入力ビデオデータに含まれる参照ピ
    クチャを、前記参照ピクチャに割り当てられた現在のピ
    クチャタイプで符号化し、 前記制御手段は、前記参照ピクチャが過去の符号化処理
    において、割り当てられたピクチャタイプと同一のピク
    チャタイプで符号化されたか否かを判定し、前記現在の
    符号化処理を前記判定結果に基づいて制御することを特
    徴とする請求項62に記載のビデオ符号化装置。
  64. 【請求項64】 前記符号化手段は、前記現在の符号化
    処理において、前記入力ビデオデータに含まれる参照ピ
    クチャを、割り当てられた現在のピクチャタイプで符号
    化し、 前記制御手段は、現在の符号化処理で、前記参照ピクチ
    ャに割り当てられた過去のピクチャタイプを、前記過去
    の符号化パラメータを参照することにより検出し、前記
    現在のピクチャタイプおよび過去のピクチャタイプに基
    づいて、前記現在の符号化処理を制御することを特徴と
    する請求項62に記載のビデオ符号化装置。
  65. 【請求項65】 前記制御手段は、前記判定結果に従っ
    て、前記過去の符号化パラメータから最適な符号化パラ
    メータを選択し、前記選択した最適な符号化パラメータ
    に基づいて、前記符号化手段の現在の符号化処理を制御
    することを特徴とする請求項63に記載のビデオ符号化
    装置。
  66. 【請求項66】 前記制御手段は、1つの前記過去の符
    号化処理で生成された前記過去の符号化パラメータを使
    用して前記参照ピクチャを符号化することを特徴とする
    請求項63に記載のビデオ符号化装置。
  67. 【請求項67】 前記過去の符号化パラメータは、前記
    過去の符号化処理において生成された動きベクトルを含
    み、 前記符号化手段は、前記現在の符号化処理において、前
    記参照ピクチャの動きベクトル情報を検出する動きベク
    トル検出手段を含むことを特徴とする請求項65に記載
    のビデオ符号化装置。
  68. 【請求項68】 前記制御手段は、前記判定結果に基づ
    いて前記動きベクトル検出手段の処理を制御することを
    特徴とする請求項67に記載のビデオ符号化装置。
  69. 【請求項69】 前記制御手段は、前記動きベクトル検
    出手段において、新たな動きベクトル情報を計算する代
    わりに、前記過去の符号化パラメータに含まれる前記動
    きベクトル情報を再使用することを特徴とする請求項6
    8に記載のビデオ符号化装置。
  70. 【請求項70】 前記参照ピクチャが、過去の符号化処
    理において、現在のピクチャタイプと同一のピクチャタ
    イプで符号化されている場合、前記制御手段は、前記過
    去の符号化処理に含まれる動きベクトル情報を再使用す
    ることを特徴とする請求項68に記載のビデオ符号化装
    置。
  71. 【請求項71】 前記制御手段は、前記参照ピクチャ
    が、過去の符号化処理において、割り当てられたピクチ
    ャタイプで符号化されていない場合、新たな動きベクト
    ル情報が、前記動きベクトル検出手段で検出されたよう
    に、前記動きベクトル検出手段を制御することを特徴と
    する請求項70に記載のビデオ符号化装置。
  72. 【請求項72】 前記制御手段は、前記過去の符号化パ
    ラメータから、前記現在の符号化処理に対応する最適な
    符号化パラメータを選択し、前記最適な符号化パラメー
    タに基づいて、前記符号化手段の現在の符号化処理を制
    御することを特徴とする請求項62に記載のビデオ符号
    化装置。
  73. 【請求項73】 前記符号化手段は、前記現在の符号化
    処理において、前記入力ビデオデータに含まれる参照ピ
    クチャを、割り当てられた現在のピクチャタイプで符号
    化し、 前記制御手段は、前記参照ピクチャが、過去の符号化処
    理において、割り当てられたピクチャタイプと同一のピ
    クチャタイプで符号化されたか否かを判定し、前記判定
    結果に基づいて、前記最適な符号化パラメータを選択す
    ることを特徴とする請求項62に記載のビデオ符号化装
    置。
  74. 【請求項74】 前記過去の符号化パラメータは、フレ
    ーム予測モードまたはフィールド予測モードを表す予測
    モード情報を含み、 前記制御手段は、前記予測モード情報に従って、前記現
    在の符号化処理を制御することを特徴とする請求項72
    に記載のビデオ符号化装置。
  75. 【請求項75】 前記参照ピクチャが、過去の符号化処
    理において、現在のピクチャタイプと同一のピクチャタ
    イプで符号化されている場合、新たな予測モード情報を
    計算する代わりに、前記過去の符号化パラメータに含ま
    れる前記予測モード情報を再使用することを特徴とする
    請求項74に記載のビデオ符号化装置。
  76. 【請求項76】 前記符号化パラメータは、イントラ予
    測、前方予測、後方予測、または両方向予測を表す予測
    タイプ情報を含み、 前記制御手段は、前記予測タイプ情報に基づいて、前記
    現在の符号化処理を制御することを特徴とする請求項7
    2に記載のビデオ符号化装置。
  77. 【請求項77】 前記制御手段は、前記参照ピクチャ
    が、前記現在のピクチャタイプと同一のピクチャタイプ
    で過去の符号化処理において符号化されている場合、新
    たな予測タイプ情報を計算する代わりに、前記過去の符
    号化パラメータに含まれる前記予測タイプ情報を再使用
    することを特徴とする請求項76に記載のビデオ符号化
    装置。
  78. 【請求項78】 前記符号化パラメータは、フレームDC
    TモードまたはフィールドDCTモードを表すDCTモード情
    報を含み、 前記制御手段は、前記DCTモード情報に基づいて、前記
    現在の符号化処理を制御することを特徴とする請求項7
    2に記載のビデオ符号化装置。
  79. 【請求項79】 前記参照ピクチャが、過去の符号化処
    理において、前記現在のピクチャタイプと同一のピクチ
    ャタイプで符号化されている場合、前記制御手段は、新
    たなDCTモード情報を計算する代わりに、前記過去の符
    号化パラメータに含まれる前記DCTモード情報を再使用
    することを特徴とする請求項78に記載のビデオ符号化
    装置。
  80. 【請求項80】 前記制御手段は、前記符号化手段の前
    記現在の符号化処理に対応する現在の符号化パラメータ
    を生成することを特徴とする請求項62に記載のビデオ
    符号化装置。
  81. 【請求項81】 前記制御手段は、前記現在の符号化パ
    ラメータと前記過去の符号化パラメータから、前記現在
    の符号化処理に対応する最適な符号化パラメータを選択
    し、前記最適な符号化パラメータに基づいて、前記符号
    化手段の前記現在の符号化処理を制御することを特徴と
    する請求項80に記載のビデオ符号化装置。
  82. 【請求項82】 前記符号化手段は、前記現在の符号化
    処理において、前記入力ビデオデータに含まれる前記参
    照ピクチャを、前記参照ピクチャに割り当てられた現在
    のピクチャタイプで符号化し、 前記制御手段は、前記参照ピクチャが、過去の符号化処
    理において、割り当てられたピクチャタイプと同一のピ
    クチャタイプで符号化されたか否かを判定し、その判定
    結果に基づいて、前記最適な符号化パラメータを選択す
    ることを特徴とする請求項81に記載のビデオ符号化装
    置。
  83. 【請求項83】 前記過去の符号化パラメータは、前記
    過去の符号化処理で生成された量子化情報を含み、 前記符号化手段は、前記現在の符号化処理において前記
    参照ピクチャを量子化する量子化手段を含むことを特徴
    とする請求項82に記載のビデオ符号化装置。
  84. 【請求項84】 前記制御手段は、前記符号化ビデオス
    トリームを蓄積する伝送バッファの残量を表すバッファ
    情報を受け取り、前記伝送バッファのオーバーフローお
    よびアンダーフローの発生を抑制するように、前記バッ
    ファ情報に基づいて前記量子化手段を制御することを特
    徴とする請求項83に記載のビデオ符号化装置。
  85. 【請求項85】 前記制御手段は、前記バッファ情報か
    ら生成された量子化ステップサイズ、および前記過去の
    符号化パラメータに含まれる前記量子化情報から生成さ
    れた量子化ステップサイズに基づいて、前記量子化手段
    を制御することを特徴とする請求項84に記載のビデオ
    符号化装置。
  86. 【請求項86】 前記制御手段は、前記バッファ情報に
    対応する前記量子化ステップサイズ、および前記量子化
    情報に対応する前記量子化ステップサイズの中から選択
    された最大の量子化ステップサイズを利用して、前記量
    子化手段を制御することを特徴とする請求項85に記載
    のビデオ符号化装置。
  87. 【請求項87】 前記制御手段は、前記符号化手段が前
    記過去の符号化パラメータを前記符号化ビデオストリー
    ムに記述するように前記符号化手段を制御することを特
    徴とする請求項62に記載のビデオ符号化装置。
  88. 【請求項88】 前記符号化手段は、シーケンスレイ
    ヤ、GOPレイヤ、ピクチャレイヤ、スライスレイヤ、お
    よびマクロブロックレイヤを有するMPEG標準に基づくMP
    EGビットストリームを生成するように、前記符号化ビデ
    オストリームを処理する処理手段を含むことを特徴とす
    る請求項62に記載のビデオ符号化装置。
  89. 【請求項89】 前記制御手段は、前記符号化手段の現
    在の符号化処理に対応する現在の符号化パラメータを発
    生し、 前記符号化手段は、前記ピクチャレイヤ、スライスレイ
    ヤ、およびマクロブロックレイヤに前記現在の符号化パ
    ラメータを記述し、前記過去の符号化パラメータを前記
    ピクチャレイヤのユーザデータエリアに記述することを
    特徴とする請求項88に記載のビデオ符号化装置。
  90. 【請求項90】 前記符号化手段は、前記ユーザデータ
    エリアに、前記過去の符号化パラメータを記述するため
    に、前記過去の符号化パラメータを含むヒストリストリ
    ームを発生することを特徴とする請求項89に記載のビ
    デオ符号化装置。
  91. 【請求項91】 前記符号化手段は、MPEG標準に指定さ
    れているスタートコードのエミレーションの発生を防止
    するために、前記ヒストリストリームにマーカビットを
    挿入し、前記ピクチャレイヤの前記ユーザデータエリア
    に前記マーカビットが挿入された前記ヒストリストリー
    ムを記述することを特徴とする請求項90に記載のビデ
    オ符号化装置。
  92. 【請求項92】 入力ビデオデータを符号化するビデオ
    符号化装置において、 現在の符号化処理として、前記入力ビデオデータを符号
    化して、符号化ビデオストリームを生成する符号化手段
    と、 過去の符号化処理で生成された過去の符号化パラメータ
    を含むヒストリ情報を受け取り、前記現在の符号化処理
    が前記過去の符号化パラメータを選択的に使用すること
    により最適化されるように、前記ヒストリ情報に基づい
    て前記符号化手段の現在の符号化処理を制御する制御手
    段とを備えることを特徴とするビデオ符号化装置。
  93. 【請求項93】 入力ビデオデータを符号化するビデオ
    符号化方法において、現在の符号化処理として、前記入
    力ビデオデータを符号化して、符号化ビデオストリーム
    を生成する符号化ステップと、 過去の符号化処理で発生された過去の符号化パラメータ
    を含むヒストリ情報を受け取り、前記現在の符号化処理
    が前記過去の符号化パラメータを選択的に使用すること
    で最適化されるように、前記ヒストリ情報に基づいて前
    記符号化ステップでの処理の現在の符号化処理を制御す
    る制御ステップとを含むことを特徴とするビデオ符号化
    方法。
  94. 【請求項94】 ビデオデータを符号化し、符号化ビデ
    オストリームを生成するビデオ符号化装置において、 現在の符号化処理として、前記ビデオデータを符号化し
    て、前記符号化ビデオストリームを生成する符号化手段
    と、 過去の符号化処理で発生された過去の符号化パラメータ
    を受け取り、前記過去の符号化パラメータから前記現在
    の符号化処理に対応する最適な符号化パラメータを選択
    し、前記最適な符号化パラメータに基づいて、前記符号
    化手段の現在の符号化処理を制御する制御手段とを備え
    ることを特徴とするビデオ符号化装置。
  95. 【請求項95】 ビデオデータを符号化し、符号化ビデ
    オストリームを生成するビデオ符号化方法において、 現在の符号化処理として、前記ビデオデータを符号化し
    て、前記符号化ビデオストリームを生成する符号化ステ
    ップ、 過去の符号化処理で発生された過去の符号化パラメータ
    を受け取り、前記過去の符号化パラメータから前記現在
    の符号化処理に対応する最適な符号化パラメータを選択
    し、前記最適な符号化パラメータに基づいて、前記符号
    化ステップでの現在の符号化処理を制御する制御ステッ
    プとを含むことを特徴とするビデオ符号化方法。
  96. 【請求項96】 ビデオデータを符号化し、符号化ビデ
    オストリームを生成するビデオ符号化装置において、 割り当てられたピクチャタイプで、前記ビデオデータに
    含まれる参照ピクチャを符号化する符号化手段と、 過去の符号化処理で生成された過去の符号化パラメータ
    を受け取り、前記割り当てられたピクチャタイプに対応
    して、前記過去の符号化パラメータから最適な符号化パ
    ラメータを選択し、前記最適な符号化パラメータに基づ
    いて、前記符号化手段の現在の符号化処理を制御する制
    御手段とを備えることを特徴とするビデオ符号化装置。
  97. 【請求項97】 ビデオデータを符号化し、符号化ビデ
    オストリームを生成するビデオ符号化方法において、 割り当てられたピクチャタイプで、前記ビデオデータに
    含まれる参照ピクチャを符号化する符号化ステップと、 過去の符号化処理で生成された過去の符号化パラメータ
    を受け取り、前記割り当てられたピクチャタイプに従っ
    て、前記過去の符号化パラメータから最適な符号化パラ
    メータを選択する選択ステップと、 前記最適な符号化パラメータに基づいて、前記符号化ス
    テップでの現在の符号化処理を制御する制御ステップと
    を含むことを特徴とするビデオ符号化方法。
  98. 【請求項98】 ビデオデータを符号化し、符号化ビデ
    オストリームを生成するビデオ符号化装置において、 割り当てられたピクチャタイプで、前記ビデオデータに
    含まれる参照ピクチャを符号化する符号化手段と、 過去の符号化処理において、前記割り当てられたピクチ
    ャタイプで前記参照ピクチャが符号化されたかどうかを
    判定し、前記判定結果に基づいて、前記符号化手段の現
    在の符号化処理を制御する制御手段とを備えること特徴
    とするビデオ符号化装置。
  99. 【請求項99】 ビデオデータを符号化し、符号化ビデ
    オストリームを生成するビデオ符号化方法において、 割り当てられたピクチャタイプで、前記ビデオデータに
    含まれる参照ピクチャを符号化する符号化ステップと、 前記参照ピクチャが、過去の符号化処理において、前記
    割り当てられたピクチャタイプで符号化されたか否かを
    判定する判定ステップと、 前記判定ステップでの前記判定結果に基づいて、前記符
    号化ステップでの現在の符号化処理を制御する制御ステ
    ップとを含むこと特徴とするビデオ符号化方法。
  100. 【請求項100】 入力ビデオデータを符号化するビデ
    オ符号化装置において、 現在の符号化処理として、前記入力ビデオデータを符号
    化し、符号化ビデオデータを生成する符号化手段と、 前記符号化ビデオデータ、前記現在の符号化処理におい
    て生成された現在の符号化パラメータ、並びに過去の符
    号化処理において生成された過去の符号化パラメータを
    含むMPEGビットストリームを生成するストリーム生成手
    段とを備えること特徴とするビデオ符号化装置。
  101. 【請求項101】 入力ビデオデータを符号化するビデ
    オ符号化方法において、 現在の符号化処理として、符号化ビデオデータを発生す
    る符号化ビデオデータ発生ステップと、 前記符号化ビデオデータ、前記現在の符号化処理で発生
    された現在の符号化パラメータ、並びに過去の符号化処
    理で生成された過去の符号化パラメータを含むMPEGビッ
    トストリームを発生するMPEGビットストリーム発生ステ
    ップとを含むことを特徴とするビデオ符号化方法。
  102. 【請求項102】 ビデオデータを符号化し、符号化ビ
    デオストリームを生成するビデオ符号化装置において、 現在の符号化処理として、前記ビデオデータを符号化
    し、符号化ビデオデータを生成する符号化手段と、 シーケンスレイヤ、GOPレイヤ、ピクチャレイヤ、スラ
    イスレイヤ、およびマクロブロックレイヤを有するMPEG
    ビットストリームを生成するストリーム生成手段とを備
    え、 前記各レイヤは、前記現在の符号化処理で生成された現
    在の符号化パラメータを含み、前記ピクチャレイヤはさ
    らに、過去の符号化処理で生成された過去の符号化パラ
    メータを含むことを備えること特徴とするビデオ符号化
    装置。
  103. 【請求項103】 ビデオデータを符号化し、符号化ビ
    デオストリームを生成するビデオ符号化方法において、 現在の符号化処理として、符号化ビデオデータを生成す
    る符号化ビデオデータ生成ステップと、 シーケンスレイヤ、GOPレイヤ、ピクチャレイヤ、スラ
    イスレイヤ、並びにマクロブロックレイヤを含むMPEGビ
    ットストリームを生成するMPEGビットストリーム生成ス
    テップとを含み、 前記各レイヤは、前記現在の符号化処理において生成さ
    れた現在の符号化パラメータを含み、前記ピクチャレイ
    ヤはさらに、過去の符号化処理で生成された過去の符号
    化パラメータを含むことを特徴とするビデオ符号化方
    法。
  104. 【請求項104】 入力ビデオデータを符号化し、符号
    化ビデオストリームを生成するビデオ符号化装置におい
    て、 過去の符号化処理で生成された過去の符号化パラメータ
    を参照することにより、前記入力ビデオデータを符号化
    し、前記符号化ビデオストリームを生成する符号化手段
    と、 前記過去の符号化パラメータを前記符号化ビデオストリ
    ームに記述する記述手段と、 前記過去の符号化パラメータが記述されている前記符号
    化ビデオストリームを出力する出力手段とを備えること
    特徴とするビデオ符号化装置。
  105. 【請求項105】 入力ビデオデータを符号化し、符号
    化ビデオストリームを生成するビデオ符号化方法におい
    て、 過去の符号化処理で生成された過去の符号化パラメータ
    を参照することにより、前記入力ビデオデータを符号化
    し、前記符号化ビデオストリームを生成する生成ステッ
    プと、 前記過去の符号化パラメータを前記符号化ビデオストリ
    ームに記述する記述ステップと、 前記過去のパラメータが記述されている前記符号化ビデ
    オストリームを出力する出力ステップとを含むことを特
    徴とするビデオ符号化方法。
  106. 【請求項106】 入力ビデオデータを符号化するビデ
    オ符号化装置において、 前の符号化処理において生成された複数の符号化パラメ
    ータを含むヒストリ情報を受け取る受け取り手段と、 前記ヒストリ情報を参照して、前記入力ビデオデータを
    符号化する符号化手段と、 前記ヒストリ情報が将来の符号化処理において利用でき
    るように、前記ヒストリ情報を前記符号化ストリームに
    記述する記述手段とを備えることを特徴とするビデオ符
    号化装置。
  107. 【請求項107】 入力ビデオデータを符号化するビデ
    オ符号化方法において、 前の符号化処理において生成された複数の符号化パラメ
    ータを含むヒストリ情報を受け取る受け取りステップ
    と、 前記ヒストリ情報を参照することにより、前記入力ビデ
    オデータを符号化する符号化ステップと、 前記ヒストリ情報が将来の符号化処理において利用でき
    るように、前記符号化ストリームに前記ヒストリ情報を
    記述する記述ステップとを含むことを特徴とするビデオ
    符号化方法。
  108. 【請求項108】 入力符号化ビデオストリームを処理
    するストリーム処理装置において、 前記入力符号化ビデオストリームを復号して、復号ビデ
    オデータを生成し、前記入力符号化ビデオストリームか
    ら過去の符号化処理により生成された過去の符号化パラ
    メータを抽出する復号手段と、 現在の符号化処理として、前記復号ビデオデータを符号
    化し、符号化ビデオストリームを生成する符号化手段
    と、 生成された前記過去の符号化パラメータを受け取り、前
    記過去の符号化パラメータに基づいて、前記符号化手段
    の現在の符号化処理を制御する制御手段とを備えること
    特徴とするストリーム処理装置。
  109. 【請求項109】 入力符号化ビデオストリームを処理
    するストリーム処理方法において、 前記入力符号化ビデオストリームを復号し、復号ビデオ
    データを生成する復号ステップと、 前記入力符号化ビデオストリームから過去の符号化処理
    により生成された過去の符号化パラメータを抽出する抽
    出ステップと、 現在の符号化処理として、前記復号ビデオデータを符号
    化し、符号化ビデオストリームを生成する符号化ステッ
    プと、 生成された過去の符号化パラメータを受け取り、前記過
    去の符号化パラメータに基づいて、前記符号化ステップ
    の処理における前記現在の符号化処理を制御する制御ス
    テップとを含むこと特徴とするストリーム処理方法。
  110. 【請求項110】 入力符号化ビデオストリームを処理
    するストリーム処理システムにおいて、 前記入力符号化ビデオストリームを復号して復号ビデオ
    データを生成し、前記入力符号化ビデオストリームから
    過去の符号化処理において生成された過去の符号化パラ
    メータを抽出し、前記過去の符号化パラメータをヒスト
    リ情報として出力する復号手段と、 現在の符号化処理として、前記復号ビデオデータを符号
    化し、符号化ビデオストリームを生成する符号化手段
    と、 過去の符号化パラメータを含む前記ヒストリ情報を受け
    取り、前記現在の符号化処理が、前記過去の符号化パラ
    メータを選択的に使用することで最適化されるように、
    前記ヒストリ情報に基づいて、前記符号化手段の現在の
    符号化処理を制御する制御手段とを備えること特徴とす
    るストリーム処理システム。
  111. 【請求項111】 入力符号化ビデオストリームを処理
    するストリーム処理方法において、 前記入力符号化ビデオストリームを復号し、復号ビデオ
    データを生成する復号ステップと、 前記入力符号化ビデオストリームから過去の符号化処理
    により生成された過去の符号化パラメータを抽出する抽
    出ステップと、 ヒストリ情報として前記過去の符号化パラメータを出力
    する出力ステップと、現在の符号化処理として、前記復
    号ビデオデータを符号化し、符号化ビデオストリームを
    生成する符号化ステップと、 過去の符号化パラメータを含む前記ヒストリ情報を受け
    取る受け取りステップと、 前記現在の符号化処理が、前記過去の符号化パラメータ
    を選択的に使用することで最適化されるように、前記ヒ
    ストリ情報に基づいて、前記符号化ステップの処理にお
    ける現在の符号化処理を制御する制御ステップとを含む
    こと特徴とするストリーム処理方法。
  112. 【請求項112】 入力符号化ビデオストリームを処理
    するストリーム処理システムにおいて、 前記入力符号化ビデオストリームを復号して復号ビデオ
    データを生成し、前記入力符号化ビデオストリームから
    過去の符号化処理で生成された過去の符号化パラメータ
    を抽出する復号手段と、 現在の符号化処理として、前記復号ビデオデータを符号
    化し、符号化ビデオストリームを生成する符号化手段
    と、 前記過去の符号化パラメータを受け取り、前記過去の符
    号化パラメータから前記現在の符号化処理に対応する最
    適な符号化パラメータを選択し、前記最適な符号化パラ
    メータに基づいて、前記符号化手段の現在の符号化処理
    を制御する制御手段とを備えること特徴とするストリー
    ム処理システム。
  113. 【請求項113】 入力符号化ビデオストリームを処理
    するストリーム処理方法において、 前記入力符号化ビデオストリームを復号して復号ビデオ
    データを生成する復号ステップと、 前記入力符号化ビデオストリームから過去の符号化処理
    において生成された過去の符号化パラメータを抽出する
    抽出ステップと、 現在の符号化処理として、前記復号ビデオデータを符号
    化し、符号化ビデオストリームを生成する符号化ステッ
    プと、 前記過去の符号化パラメータを受け取り、前記過去の符
    号化パラメータから前記現在の符号化処理に対応する最
    適な符号化パラメータを選択する受け取りステップと、 前記最適な符号化パラメータに基づいて、前記符号化ス
    テップの前記現在の符号化処理を制御する制御ステップ
    とを含むこと特徴とするストリーム処理方法。
  114. 【請求項114】 入力符号化ビデオストリームを処理
    するストリーム処理システムにおいて、 前記入力符号化ビデオストリームを復号して、復号ビデ
    オデータを生成し、前記入力符号化ビデオストリームか
    ら過去の符号化処理において生成された過去の符号化パ
    ラメータを抽出する復号手段と、 割り当てられたピクチャタイプで前記復号ビデオデータ
    に含まれる参照ピクチャを符号化する符号化手段と、 過去の符号化処理において生成された過去の符号化パラ
    メータを受け取り、前記割り当てられたピクチャタイプ
    に従って、前記過去の符号化パラメータから最適な符号
    化パラメータを選択し、前記最適な符号化パラメータに
    基づいて、前記符号化手段の現在の符号化処理を制御す
    る制御手段とを備えること特徴とするストリーム処理シ
    ステム。
  115. 【請求項115】 入力符号化ビデオストリームを処理
    するストリーム処理方法において、 前記入力符号化ビデオストリームを復号して復号ビデオ
    データを生成する復号ステップと、 前記入力符号化ビデオストリームから過去の符号化処理
    で生成された過去の符号化パラメータを抽出する抽出ス
    テップと、 割り当てられたピクチャタイプで前記復号ビデオデータ
    に含まれる参照ピクチャを符号化する符号化ステップ
    と、 過去の符号化処理で生成された過去の符号化パラメータ
    を受け取り、前記割り当てられたピクチャタイプに従っ
    て、前記過去の符号化パラメータから最適な符号化パラ
    メータを選択する選択ステップと、 前記最適な符号化パラメータに基づいて、前記符号化ス
    テップの現在の符号化処理を制御する制御ステップとを
    含むこと特徴とするストリーム処理方法。
  116. 【請求項116】 入力符号化ビデオストリームを処理
    するストリーム処理システムにおいて、 前記入力符号化ビデオストリームを復号して復号ビデオ
    データを生成し、前記入力符号化ビデオストリームから
    過去の符号化処理で生成された過去の符号化パラメータ
    を抽出する復号手段と、 割り当てられたピクチャタイプで前記復号ビデオデータ
    に含まれる参照ピクチャを符号化する符号化手段と、 過去の符号化処理において、割り当てられたピクチャタ
    イプで前記参照ピクチャが符号化されたか否かを判定
    し、その判定結果に基づいて、前記符号化手段の現在の
    符号化処理を制御する制御手段とを備えること特徴とす
    るストリーム処理システム。
  117. 【請求項117】 入力符号化ビデオストリームを処理
    するストリーム処理方法において、 前記入力符号化ビデオストリームを復号して復号ビデオ
    データを生成する復号ステップと、 前記入力符号化ビデオストリームから過去の符号化処理
    において生成された過去の符号化パラメータを抽出する
    抽出ステップと、 割り当てられたピクチャタイプで前記復号ビデオデータ
    に含まれる参照ピクチャを符号化する符号化ステップ
    と、 過去の符号化処理において、前記割り当てられたピクチ
    ャタイプで前記参照ピクチャが符号化されたか否かを判
    定する判定ステップと、 前記判定ステップの処理での前記判定結果に基づいて、
    前記符号化ステップでの現在の符号化処理を制御する制
    御ステップとを含むこと特徴とするストリーム処理方
    法。
  118. 【請求項118】 入力符号化ビデオストリームを処理
    するストリーム処理システムにおいて、 前記入力符号化ビデオストリームを復号して復号ビデオ
    データを生成し、前記入力符号化ビデオストリームから
    過去の符号化処理で生成された過去の符号化パラメータ
    を抽出する復号手段と、 現在の符号化処理として、前記復号ビデオデータを符号
    化し、符号化ビデオストリームを生成する符号化手段
    と、 前記符号化ビデオデータ、前記現在の符号化処理で生成
    された現在の符号化パラメータ、並びに過去の符号化処
    理で生成された過去の符号化パラメータを含むMPEGスト
    リームを生成するストリーム生成手段とを備えること特
    徴とするストリーム処理システム。
  119. 【請求項119】 入力符号化ビデオストリームを処理
    するストリーム処理方法において、 前記入力符号化ビデオストリームを復号して復号ビデオ
    データを生成する復号ステップと、 前記入力符号化ビデオストリームから過去の符号化処理
    において生成された過去の符号化パラメータを抽出する
    抽出ステップと、 現在の符号化処理として、前記復号ビデオデータを符号
    化し、符号化ビデオストリームを生成する符号化ステッ
    プと、 前記符号化ビデオデータ、前記現在の符号化処理で生成
    された現在の符号化パラメータ、並びに過去の符号化処
    理で生成された過去の符号化パラメータを含むMPEGスト
    リームを生成するストリーム生成ステップとを含むこと
    特徴とするストリーム処理方法。
  120. 【請求項120】 入力符号化ビデオストリームを処理
    するストリーム処理システムにおいて、 前記入力符号化ビデオストリームを復号して復号ビデオ
    データを生成し、前記入力符号化ビデオストリームから
    過去の符号化処理で生成された過去の符号化パラメータ
    を抽出する復号手段と、 現在の符号化処理として、前記復号ビデオデータを符号
    化し、符号化ビデオストリームを生成する符号化手段
    と、 シーケンスレイヤ、GOPレイヤ、ピクチャレイヤ、スラ
    イスレイヤ、およびマクロブロックレイヤを含むMPEGビ
    ットストリームを生成するストリーム生成手段とを備
    え、 前記各レイヤは、前記現在の符号化処理で生成された現
    在の符号化パラメータを含み、前記ピクチャレイヤはさ
    らに、過去の符号化処理で生成された過去の符号化パラ
    メータを含むことを備えること特徴とするストリーム処
    理システム。
  121. 【請求項121】 入力符号化ビデオストリームを処理
    するストリーム処理方法において、 前記入力符号化ビデオストリームを復号して復号ビデオ
    データを生成する復号ステップと、 前記入力符号化ビデオストリームから過去の符号化処理
    で生成された過去の符号化パラメータを抽出する抽出ス
    テップと、 現在の符号化処理として、前記復号ビデオデータを符号
    化し、符号化ビデオストリームを生成する符号化ステッ
    プと、 シーケンスレイヤ、GOPレイヤ、ピクチャレイヤ、スラ
    イスレイヤ、並びにマクロブロックレイヤを有するMPEG
    ビットストリームを生成する生成ステップとを含み、 前記各レイヤは、前記現在の符号化処理で生成された現
    在の符号化パラメータを含み、前記ピクチャレイヤはさ
    らに、過去の符号化処理で生成された過去の符号化パラ
    メータを含むことを特徴とするストリーム処理方法。
  122. 【請求項122】 入力符号化ビデオストリームを処理
    するストリーム処理システムにおいて、 前記入力符号化ビデオストリームを復号して復号ビデオ
    データを生成し、前記入力符号化ビデオストリームから
    過去の符号化処理により生成された過去の符号化パラメ
    ータを抽出する復号手段と、 現在の符号化処理として、前記過去の符号化パラメータ
    を参照して、前記復号ビデオデータを符号化し、符号化
    ビデオストリームを生成する符号化手段と、 前記過去の符号化パラメータを前記符号化ビデオストリ
    ームに記述する記述手段と、 前記過去の符号化パラメータが記述されている前記符号
    化ビデオストリームを出力する出力手段とを備えること
    特徴とするストリーム処理システム。
  123. 【請求項123】 入力符号化ビデオストリームを処理
    するストリーム処理方法において、 前記入力符号化ビデオストリームを復号して、復号ビデ
    オデータを生成する復号ステップと、 前記入力符号化ビデオストリームから過去の符号化処理
    において生成された過去の符号化パラメータを抽出する
    抽出ステップと、 現在の符号化処理として、前記過去の符号化パラメータ
    を参照して、前記復号ビデオデータを符号化し、符号化
    ビデオストリームを生成する符号化ステップと、 前記過去の符号化パラメータを前記符号化ビデオストリ
    ームに記述する記述ステップと、 前記過去の符号化パラメータが記述されている前記符号
    化ビデオストリームを出力する出力ステップとを含むこ
    と特徴とするストリーム処理方法。
  124. 【請求項124】 入力符号化ビデオストリームを処理
    するストリーム処理システムにおいて、 前記入力符号化ビデオストリームを復号して復号ビデオ
    データを生成する復号手段と、 前記入力符号化ビデオストリームから過去の符号化処理
    で生成された前の符号化パラメータを含むヒストリ情報
    を抽出する抽出手段と、 現在の符号化処理として、前記ヒストリ情報を参照し
    て、前記復号ビデオデータを符号化し、符号化ビデオス
    トリームを生成する符号化手段と、 前記ヒストリ情報が将来の符号化処理で利用できるよう
    に、前記ヒストリ情報を前記符号化ストリームに記述す
    る記述手段とを備えること特徴とするストリーム処理シ
    ステム。
  125. 【請求項125】 入力符号化ビデオストリームを処理
    するストリーム処理方法において、 前記入力符号化ビデオストリームを復号して復号ビデオ
    データを生成する復号ステップと、 前記入力符号化ビデオストリームから過去の符号化処理
    で生成された前の符号化パラメータを含むヒストリ情報
    を抽出する抽出ステップと、 現在の符号化処理として、前記ヒストリ情報を参照し
    て、前記復号ビデオデータを符号化し、符号化ビデオス
    トリームを生成する符号化ステップと、 前記ヒストリ情報が将来の符号化処理で利用できるよう
    に、前記ヒストリ情報を前記符号化ストリームに記述す
    る記述ステップとを含むこと特徴とするストリーム処理
    方法。
  126. 【請求項126】 入力符号化ビデオストリームを処理
    するストリーム処理システムにおいて、 前記入力符号化ビデオストリームを直近の符号化処理の
    符号化パラメータに基づいて復号してベースバンドビデ
    オデータを生成し、過去の符号化処理における過去の符
    号化パラメータを抽出し、前記直近の符号化処理、およ
    び過去の符号化処理の前記符号化パラメータを前記ベー
    スバンドビデオデータに多重化する復号手段と、 新たな符号化ビデオストリームのビットレートまたはGO
    P構造が、前記入力符号化ビデオストリームのビットレ
    ートまたはGOP構造と異なるように、前記ベースバンド
    ビデオデータを前記直近の符号化処理と過去の符号化処
    理における前記符号化パラメータに基づいて符号化し、
    前記新たな符号化ビデオストリームを生成する符号化手
    段とを備えること特徴とするストリーム処理システム。
  127. 【請求項127】 入力符号化ビデオストリームを復号
    するビデオ復号方法において、 前記入力符号化ビデオストリームのシンタックスを解析
    し、過去の符号化処理で生成された過去の符号化パラメ
    ータを抽出する抽出ステップと、 前記符号化ビデオストリームを復号する復号ステップ
    と、 前記過去の符号化パラメータが、前記復号ビデオデータ
    の将来の符号化処理において、利用できるように、前記
    復号ビデオデータと、前記過去の符号化パラメータを出
    力する出力ステップとを含むことを特徴とするビデオ復
    号方法。
  128. 【請求項128】 入力符号化ビデオストリームを復号
    するビデオ復号装置において、 前記入力符号化ビデオームのシンタックスを解析し、直
    近の符号化処理で生成された現在の符号化パラメータ
    と、過去の符号化処理で生成された過去の符号化パラメ
    ータを抽出する解析手段と、 前記現在の符号化パラメータに基づいて、前記入力符号
    化ビデオストリームを復号してビデオデータを生成する
    復号手段と、 前記現在の符号化パラメータと過去の符号化パラメータ
    の両方が前記復号ビデオデータの将来の符号化処理にお
    いて、利用できるように、前記復号ビデオデータ、現在
    の符号化パラメータ、および過去の符号化パラメータを
    出力する出力手段とを備えることを特徴とするビデオ復
    号装置。
  129. 【請求項129】 入力符号化ビデオストリームを復号
    するビデオ復号方法において、 前記入力復号ビデオストリームのシンタックスを解析
    し、直近の符号化処理で生成された現在の符号化パラメ
    ータと、過去の符号化処理で生成された過去の符号化パ
    ラメータを抽出する解析ステップと、 前記現在の符号化パラメータに基づいて、前記符号化ビ
    デオストリームを復号してビデオデータを生成する復号
    ステップと、 前記現在の符号化パラメータと過去の符号化パラメータ
    の両方が、前記復号ビデオデータの将来の符号化処理に
    おいて、利用できるように、前記復号ビデオデータ、現
    在の符号化パラメータ、並びに過去の符号化パラメータ
    を出力する出力ステップとを含むことを特徴とするビデ
    オ復号方法。
JP34315799A 1999-02-09 1999-12-02 符号化ストリーム変換装置、および、符号化ストリーム変換方法、並びに、記録媒体 Expired - Fee Related JP3890838B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP34315799A JP3890838B2 (ja) 1999-02-09 1999-12-02 符号化ストリーム変換装置、および、符号化ストリーム変換方法、並びに、記録媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP11-31944 1999-02-09
JP3194499 1999-02-09
JP34315799A JP3890838B2 (ja) 1999-02-09 1999-12-02 符号化ストリーム変換装置、および、符号化ストリーム変換方法、並びに、記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006287735A Division JP4539637B2 (ja) 1999-02-09 2006-10-23 ストリーム記録装置およびストリーム記録方法、ストリーム再生装置およびストリーム再生方法、ストリーム伝送装置およびストリーム伝送方法、並びに、プログラム格納媒体

Publications (2)

Publication Number Publication Date
JP2000299857A true JP2000299857A (ja) 2000-10-24
JP3890838B2 JP3890838B2 (ja) 2007-03-07

Family

ID=26370463

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34315799A Expired - Fee Related JP3890838B2 (ja) 1999-02-09 1999-12-02 符号化ストリーム変換装置、および、符号化ストリーム変換方法、並びに、記録媒体

Country Status (1)

Country Link
JP (1) JP3890838B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003535522A (ja) * 2000-05-26 2003-11-25 トムソン ライセンシング ソシエテ アノニム 画像フラックスを符号化する方法
WO2004112397A1 (ja) * 2003-06-16 2004-12-23 Sony Corporation 画像処理装置および画像処理方法、情報処理装置および情報処理方法、情報記録装置および情報記録方法、情報再生装置および情報再生方法、記録媒体、並びに、プログラム
WO2006114954A1 (ja) * 2005-04-22 2006-11-02 Matsushita Electric Industrial Co., Ltd. 映像情報記録装置、映像情報記録方法、映像情報記録プログラム、及び映像情報記録プログラムを記録した記録媒体
JP2011078068A (ja) * 2009-10-02 2011-04-14 Hitachi Kokusai Electric Inc 映像伝送方式
JP2021515480A (ja) * 2018-02-27 2021-06-17 中興通訊股▲ふん▼有限公司Zte Corporation ビットストリームの処理方法及び装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003535522A (ja) * 2000-05-26 2003-11-25 トムソン ライセンシング ソシエテ アノニム 画像フラックスを符号化する方法
JP4898064B2 (ja) * 2000-05-26 2012-03-14 トムソン ライセンシング ビデオ画像ストリームを記録する方法及びデコードする方法
KR100962761B1 (ko) 2003-06-16 2010-06-09 소니 주식회사 화상 처리 장치, 화상 처리 방법, 및 기록 매체
US7826669B2 (en) 2003-06-16 2010-11-02 Sony Corporation Image processing device, image processing method, information processing device, information processing method, information recording device, information recording method, information reproduction device, information reproduction method, recording medium and program
WO2004112397A1 (ja) * 2003-06-16 2004-12-23 Sony Corporation 画像処理装置および画像処理方法、情報処理装置および情報処理方法、情報記録装置および情報記録方法、情報再生装置および情報再生方法、記録媒体、並びに、プログラム
WO2006114954A1 (ja) * 2005-04-22 2006-11-02 Matsushita Electric Industrial Co., Ltd. 映像情報記録装置、映像情報記録方法、映像情報記録プログラム、及び映像情報記録プログラムを記録した記録媒体
US8218949B2 (en) 2005-04-22 2012-07-10 Panasonic Corporation Video information recording device, video information recording method, and recording medium containing the video information recording program
JP5090158B2 (ja) * 2005-04-22 2012-12-05 パナソニック株式会社 映像情報記録装置、映像情報記録方法、映像情報記録プログラム、及び映像情報記録プログラムを記録した記録媒体
JP2011078068A (ja) * 2009-10-02 2011-04-14 Hitachi Kokusai Electric Inc 映像伝送方式
JP2021515480A (ja) * 2018-02-27 2021-06-17 中興通訊股▲ふん▼有限公司Zte Corporation ビットストリームの処理方法及び装置
JP2022095898A (ja) * 2018-02-27 2022-06-28 中興通訊股▲ふん▼有限公司 ビットストリームの処理方法及び装置
JP7099664B2 (ja) 2018-02-27 2022-07-12 中興通訊股▲ふん▼有限公司 ビットストリームの処理方法及び装置
US11523174B2 (en) 2018-02-27 2022-12-06 Zte Corporation Bitstream processing method and device
JP7302144B2 (ja) 2018-02-27 2023-07-04 中興通訊股▲ふん▼有限公司 ビットストリームの処理方法及び装置

Also Published As

Publication number Publication date
JP3890838B2 (ja) 2007-03-07

Similar Documents

Publication Publication Date Title
KR100571687B1 (ko) 코딩 시스템 및 방법, 부호화 장치 및 방법, 복호화 장치및 방법, 기록 장치 및 방법, 및 재생 장치 및 방법
KR100729541B1 (ko) 부호화 히스토리 정보를 이용하는 트랜스코딩 시스템
JP2001169292A (ja) 情報処理装置および方法、並びに記録媒体
JP3724205B2 (ja) 復号装置および方法、並びに記録媒体
JP3874153B2 (ja) 再符号化装置および再符号化方法、符号化装置および符号化方法、復号装置および復号方法、並びに、記録媒体
JP3724204B2 (ja) 符号化装置および方法、並びに記録媒体
JP3724203B2 (ja) 符号化装置および方法、並びに記録媒体
JP3890838B2 (ja) 符号化ストリーム変換装置、および、符号化ストリーム変換方法、並びに、記録媒体
JP4139983B2 (ja) 符号化ストリーム変換装置、および、符号化ストリーム変換方法、並びに、ストリーム出力装置、および、ストリーム出力方法
JP4016290B2 (ja) ストリーム変換装置およびストリーム変換方法、符号化装置および符号化方法、並びに、記録媒体
JP4539637B2 (ja) ストリーム記録装置およびストリーム記録方法、ストリーム再生装置およびストリーム再生方法、ストリーム伝送装置およびストリーム伝送方法、並びに、プログラム格納媒体
JP4543321B2 (ja) 再生装置及び方法
JP4482811B2 (ja) 記録装置及び方法
JP3817951B2 (ja) ストリーム伝送装置および方法、並びに記録媒体
JP4478630B2 (ja) 復号装置および復号方法、プログラム、並びに記録媒体
JP4016294B2 (ja) 符号化装置および符号化方法、ストリーム変換装置およびストリーム変換方法、並びに記録媒体
JP3817952B2 (ja) 再符号化装置および方法、符号化装置および方法、並びに記録媒体
JP3724202B2 (ja) 画像データ処理装置および方法、並びに記録媒体
JP4016293B2 (ja) 符号化装置および符号化方法、並びに記録媒体
JP4016348B2 (ja) ストリーム変換装置およびストリーム変換方法、並びに、記録媒体
JP4016349B2 (ja) ストリーム変換装置およびストリーム変換方法、並びに、記録媒体
JP4016347B2 (ja) ストリーム変換装置およびストリーム変換方法、並びに、記録媒体
JP2000059770A (ja) データ伝送装置および方法、並びに提供媒体

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061127

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091215

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101215

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111215

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121215

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131215

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees