JP2000295626A - 多段画像符号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 符号化履歴を有する画像の多段符号化におい
て、伝達する符号化パラメータのデータ容量を削減し、
伝送誤りによる画質劣化を防ぐ。 【解決手段】 第１段デコーダ６は、復号過程で得た、
第１段エンコーダ４で用いた符号化パラメータをデータ
圧縮し、誤り訂正符号化を施して、第２段符号化パラメ
ータ１４として、第１段復号画像信号１３と、第１段画
像情報１２と共に第２段エンコーダ９に伝達する。第２
段エンコーダ９では、第１段画像情報１２と、データ解
凍し、誤り訂正復号を施した第２段符号化パラメータ１
４により符号化制御内容を決定し、第１段復号画像信号
１３を符号化する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、過去に符号化処
理を受けた履歴を持つ画像信号を符号化する場合の多段
画像符号化装置に関するものであり、特にデジタル画像
伝送システム、デジタルテレビジョン放送システム等に
おける画像信号の多段画像符号化装置に関するものであ
る。

【０００２】

【従来の技術】図８は、例えば、三菱電機技報ｖｏｌ．
７２／Ｎｏ．８（１９９８年８月２５日発行）に示され
たＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐ
ｅｒｔｓ Ｇｒｏｕｐ ２）準拠コーデックを多段接続
した従来の多段画像符号化装置の構成を示す図である。
図において、１は被符号化画像を撮像するＴＶカメラ、
２は被符号化画像を出力するＶＴＲ、３は被符号化画像
を選択するスイッチャ、４は、スイッチャ３が出力する
被符号化画像を符号化し、第１段符号化ビット列１１を
出力する第１段エンコーダ、５は第１段エンコーダ４か
らの第１段符号化ビット列１１を伝送する伝送路であ
る。

【０００３】また、図８において、６は、第１段エンコ
ーダ４からの第１段符号化ビット列１１を復号し、第１
段復号画像信号１３を出力する第１段デコーダ、８は第
１段デコーダからの第１段復号画像信号１３を目視する
ためのモニタ、９は、第１段デコーダ６からの第１段復
号画像信号１３を再符号化し、第２段符号化ビット列１
５を出力する第２段エンコーダ、１０は、第２段エンコ
ーダ９からの第２段符号化ビット列１５を復号し、第２
段復号画像信号１７を出力する第２段デコーダである。

【０００４】図８に示す多段画像符号化装置を放送シス
テムに適用した場合、素材画像の集配信、テレビ局間伝
送、編集、２次配信といった処理が、画像の符号化・復
号処理を交えながら縦列的に行われる。このとき一般
に、各段の符号化において、ピクチャタイプや量子化ス
テップサイズ等の符号化パラメータは、独立に設定され
る。

【０００５】一般に、符号化履歴を持つ画像は、原画像
とは異なる性質を持つことが知られている。例えば、原
画像ではピクチャ毎に画質がほぼ等しいのに対して、Ｍ
ＰＥＧ２準拠の符号化が施され復号された画像は、ピク
チャタイプに応じて画質にばらつきがある。これは、Ｍ
ＰＥＧ２がピクチャタイプ毎に異なる動き補償予測方法
を適用するために生じる予測精度の違いに起因するが、
２段目以降の符号化において、このような画質のばらつ
きを考慮しない場合には、動き補償予測の起点となるイ
ントラピクチャの画質が低下し、その影響で映像シーケ
ンス全体の画質が低下するといったことも起こり得る。

【０００６】一般に符号化履歴のある画像を再度符号化
する場合、前段の符号化パラメータを参照して再符号化
時のパラメータを決定することで、良好な画質が得られ
ることが知られている。特にＭＰＥＧ２準拠の画像符号
化を用いて多段符号化を行った場合には、ピクチャタイ
プや予測モード、動きベクトル、量子化ステップ等の符
号化パラメータを参照することが効果的であるという報
告がある。

【０００７】その実現方法として、デコーダで復号時に
得られた符号化パラメータを記憶して次段に伝達するこ
とで、前段符号化パラメータの参照した多段符号化を実
現する多段符号化装置を提案する例もある（特開平７−
１０７４６１号公報）。しかし、例えば、テレビジョン
放送で使用する大きさ程度の画像を考えた場合に、量子
化ステップサイズや動きベクトルといった符号化パラメ
ータのデータ量は非常に膨大であり、これらを記憶して
伝達するには、大容量のメモリ領域や広帯域の伝送路が
必要となる。また、該符号化パラメータの記憶や伝達に
要する処理時間や負荷も無視できない。以上の点を考慮
すると、該多段画像符号化装置を実現することは容易で
はない。

【０００８】一方、符号化パラメータを記憶・伝達する
こと無しに符号化履歴を踏まえた再符号化を実現する例
も上がっている（特開平１０−３２８２９号公報）。こ
れは、デコーダにおいて、入力される画像データから前
段符号化パラメータを推定することを特徴とする方法で
あるが、推定によって得られる符号化パラメータは限界
があり、大幅な画質改善を求めるには更なる検討を要す
る。

【０００９】

【発明が解決しようとする課題】従来の多段画像符号化
は以上のように構成されているので、前段以前の符号化
履歴を参照しないため、符号化処理を繰り返す毎に画質
が劣化していく可能性があるという課題があった。ま
た、符号化履歴の参照を行う多段画像符号化装置におい
ても、膨大な符号化パラメータを処理するために、大容
量の記憶装置や広帯域の伝送路が必要となり、実現が容
易ではないといった課題があった。

【００１０】さらに、該符号化パラメータ伝送時に伝送
誤りが生じるという課題があった。伝送誤りが生じ、変
化又は欠落した符号化パラメータを参照して、再符号化
を行った場合に、劣悪な画質劣化が起こる可能性が極め
て高い。

【００１１】この発明は上記のような課題を解決するた
めになされたもので、伝達する該符号化パラメータのデ
ータ容量を極力削減し、記録・保持・伝送等の処理に伴
う負担を軽減することができる多段画像符号化装置を得
ることを目的とする。

【００１２】また、画質劣化の原因となる符号化パラメ
ータの伝送誤りに対しても処理を施して、良好な画質を
確実に提供できる多段画像符号化装置を得ることを目的
とする。

【００１３】

【課題を解決するための手段】この発明に係る多段画像
符号化装置は、複数段のエンコーダとデコーダを備え、
符号化履歴を持つ画像信号に再度符号化処理を施すもの
において、上記デコーダが、対になるエンコーダが出力
する符号化ビット列を復号して復号画像信号を出力し、
上記符号化ビット列を復号する過程で得る、上記対にな
るエンコーダの符号化における符号化パラメータを圧縮
して、上記復号画像信号と同期させて出力し、上記対に
なるエンコーダが出力する、画像変化の特徴を示す画像
情報を入力して、上記復号画像信号と同期させて出力
し、上記エンコーダが、前段のデコーダが出力する圧縮
された符号化パラメータを解凍し、前段のデコーダが出
力する画像情報と解凍された符号化パラメータとを参照
して、符号化制御内容を決定し、上記前段のデコーダが
出力する復号画像信号を、上記決定した符号化制御内容
に基づき符号化して符号化ビット列を出力し、上記符号
化制御内容における画像変化の特徴を示す画像情報を、
上記符号化ビット列と同期させて出力するものである。

【００１４】この発明に係る多段画像符号化装置は、複
数段のエンコーダとデコーダを備え、符号化履歴を持つ
画像信号に再度符号化処理を施すものにおいて、上記デ
コーダが、対になるエンコーダが出力する符号化ビット
列を復号する復号手段と、上記復号手段が復号した復号
画像信号を出力する復号画像出力手段と、上記復号手段
が復号する過程で得る、対になるエンコーダの符号化に
おける符号化パラメータを圧縮するデータ圧縮手段と、
上記圧縮された符号化パラメータを記録・保持する符号
化パラメータ記録・保持手段と、上記符号化パラメータ
記録・保持手段が記録・保持している圧縮された符号化
パラメータを、上記復号画像信号と同期させて出力する
符号化パラメータ出力手段と、上記対になるエンコーダ
が出力する、画像変化の特徴を示す画像情報を入力し、
上記復号画像信号と同期させて出力する画像情報伝送手
段とを備え、上記エンコーダが、前段のデコーダが出力
する圧縮された符号化パラメータを入力する符号化パラ
メータ入力手段と、上記符号化パラメータ入力手段が入
力した圧縮された符号化パラメータを解凍するデータ解
凍手段と、上記前段のデコーダが出力する、画像変化の
特徴を示す画像情報を入力する画像情報入力手段と、上
記画像情報入力手段が入力した画像情報と、上記データ
解凍手段により解凍された符号化パラメータとを参照し
て、符号化制御内容を決定する符号化制御手段と、上記
前段のデコーダが出力する復号画像信号を入力し、上記
符号化制御手段が決定した符号化制御内容に基づき符号
化して、符号化ビット列を生成する符号化手段と、上記
符号化手段が生成した符号化ビット列を出力する符号化
ビット列出力手段と、上記符号化制御内容における画像
情報を、上記符号化手段が生成した符号化ビット列と同
期させて出力する画像情報出力手段とを備えたものであ
る。

【００１５】この発明に係る多段画像符号化装置は、複
数段のエンコーダとデコーダを備え、符号化履歴を持つ
画像信号に再度符号化処理を施す多段画像符号化装置に
おいて、上記デコーダが、対になるエンコーダが出力す
る符号化ビット列を復号する復号手段と、上記復号手段
が復号する過程で得る、上記対になるエンコーダの符号
化における符号化パラメータを圧縮するデータ圧縮手段
と、上記圧縮された符号化パラメータを記録・保持する
符号化パラメータ記録・保持手段と、上記符号化パラメ
ータ記録・保持手段が記録・保持している圧縮された符
号化パラメータを出力する符号化パラメータ出力手段
と、上記対になるエンコーダが出力する、画像変化の特
徴を示す画像情報を入力して出力する画像情報伝送手段
と、上記復号手段が復号した復号画像信号と、上記符号
化パラメータ出力手段からの圧縮された符号化パラメー
タと、上記画像情報伝送手段からの画像情報とを多重化
して出力する復号画像出力手段とを備え、上記エンコー
ダが、前段のデコーダが出力する圧縮された符号化パラ
メータを入力する符号化パラメータ入力手段と、上記符
号化パラメータ入力手段が入力した圧縮された符号化パ
ラメータを解凍するデータ解凍手段と、上記前段のデコ
ーダが出力する、画像変化の特徴を示す画像情報を入力
する画像情報入力手段と、上記画像情報入力手段が入力
した画像情報と、上記データ解凍手段により解凍された
符号化パラメータとを参照して、符号化制御内容を決定
する符号化制御手段と、上記符号化制御内容における画
像情報を出力する画像情報出力手段と、上記前段のデコ
ーダが出力する復号画像信号を入力し、上記符号化制御
手段が決定した符号化制御内容に基づき符号化して、符
号化ビット列を生成する符号化手段と、上記符号化手段
が生成した符号化ビット列と、上記画像情報出力手段が
出力する画像情報とを多重化して出力する符号化ビット
列出力手段とを備えたものである。

【００１６】この発明に係る多段画像符号化装置は、デ
コーダが、符号化パラメータ記録・保持手段が記録・保
持している圧縮された符号化パラメータに、誤り訂正符
号化を施す誤り訂正符号化手段を備え、エンコーダが、
データ解凍手段により解凍された符号化パラメータに、
誤り訂正復号を施す誤り訂正復号手段と、上記誤り訂正
復号手段が誤り訂正復号を施した符号化パラメータの誤
りを訂正し、訂正できない誤りを含む場合には、誤り箇
所を符号化制御手段が参照するのを禁止する誤り処理手
段とを備えたものである。

【００１７】この発明に係る多段画像符号化装置は、エ
ンコーダにおける画像情報出力手段が、画像情報を圧縮
して出力し、次段のエンコーダにおけるデータ解凍手段
が、画像情報入力手段に入力された圧縮された画像情報
を解凍するものである。

【００１８】この発明に係る多段画像符号化装置は、エ
ンコーダにおける画像情報出力手段が、画像情報に誤り
訂正符号化を施して出力し、次段のエンコーダにおける
誤り訂正復号手段が、画像情報入力手段に入力された画
像情報に誤り訂正復号を施し、誤り処理手段が、上記誤
り訂正復号を施した画像情報の誤りを訂正し、訂正でき
ない誤りを含む場合には、誤り箇所を符号化制御手段が
参照するのを禁止するものである。

【００１９】この発明に係る多段画像符号化装置は、デ
コーダにおける符号化パラメータ出力手段が出力する符
号化パラメータとして、ピクチャ毎の発生符号量を含
み、次段エンコーダにおける符号化制御手段が、上記ピ
クチャ毎の発生符号量から、ピクチャタイプ、イントラ
ピクチャ間隔、前方向予測ピクチャ間隔を判定して、各
ピクチャの発生符号量を前段と同等の値に決定するもの
である。

【００２０】この発明に係る多段画像符号化装置は、デ
コーダにおける符号化パラメータ出力手段が出力する符
号化パラメータとして、ピクチャ毎の発生符号量、マク
ロブロックあたりの明るさ分布や色分布等の画像特徴量
を含み、次段エンコーダにおける符号化制御手段が、上
記ピクチャ毎の発生符号量と上記マクロブロックあたり
の画像特徴量に基づき、量子化ステップサイズを決定す
るものである。

【００２１】この発明に係る多段画像符号化装置は、デ
コーダにおける符号化パラメータ出力手段が出力する符
号化パラメータとして、前段符号化における画像ビット
レートとピクチャ毎の発生符号量を含み、次段エンコー
ダにおける符号化制御手段が、指定された画像ビットレ
ート、上記前段符号化における画像ビットレート及び上
記前段符号化におけるピクチャ毎の発生符号量に基づ
き、目標発生符号量を決定するものである。

【００２２】この発明に係る多段画像符号化装置は、前
段符号化における画像ビットレートをＢ＿（ｎ−１），
前段符号化におけるピクチャ毎の発生符号量をＲ＿（ｎ
−１），指定された画像ビットレートをＢ＿（ｎ），目
標発生符号量をＴ＿（ｎ）とすると、符号化制御手段
が、Ｔ＿（ｎ）＝Ｒ＿（ｎ−１）×Ｂ＿（ｎ）÷Ｂ＿
（ｎ−１）により、目標発生符号量Ｔ＿（ｎ）を決定す
るものである。

【００２３】この発明に係る多段画像符号化装置は、エ
ンコーダにおける画像情報出力手段が出力する、画像変
化の特徴を示す画像情報として、シーンチェンジ、フェ
ードイン／フェードアウト、ズームイン／ズームアウト
に関する情報を含むものである。

【００２４】この発明に係る多段画像符号化装置は、画
像情報として、シーンチェンジに関する情報を含む場合
には、次段エンコーダにおける符号化制御手段が、イン
トラピクチャとして符号化制御内容を決定するものであ
る。

【００２５】この発明に係る多段画像符号化装置は、画
像情報として、フェードイン／フェードアウトに関する
情報を含む場合には、次段エンコーダにおける符号化制
御手段が、輝度を補正した予測画像を使用したり、輝度
が低い期間は発生符号量を抑えるように、符号化制御内
容を決定するものである。

【００２６】この発明に係る多段画像符号化装置は、画
像情報として、ズームイン／ズームアウトに関する情報
を含む場合には、次段エンコーダにおける符号化制御手
段が、ズームイン／ズームアウトの方向を考慮して、動
きベクトルを決定するものである。

【００２７】この発明に係る多段画像符号化装置は、エ
ンコーダにおける画像情報出力手段が、該当するシーン
の開始点にあたるピクチャから終了点にあたるピクチャ
に対して、シーンの開始、継続、終了を示す識別子を画
像情報として出力するものである。

【００２８】この発明に係る多段画像符号化装置は、エ
ンコーダにおける画像情報出力手段が出力する、画像変
化の特徴を示す画像情報として、３：２プルダウンで処
理されたＦｉｌｍ画像部分の識別子を含むものである。

【００２９】

【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態１．図１は実施の形態１による多段画像符号
化装置の構成を示す図である。図において、１は被符号
化画像を撮像するＴＶカメラ、２は被符号化画像を出力
するＶＴＲ、３は被符号化画像を選択するスイッチャ、
４はスイッチャ３が出力する被符号化画像を符号化し、
第１段符号化ビット列１１と第１段画像情報１２を出力
する第１段エンコーダ、５は第１段エンコーダ４からの
第１段符号化ビット列１１と第１段画像情報１２を伝送
する伝送路である。

【００３０】また、図１において、６は、第１段エンコ
ーダ４からの第１段符号化ビット列１１を復号し、第１
段復号画像信号１３，第１段符号化パラメータ１４を出
力すると共に、第１段エンコーダ４からの第１段画像情
報１２を出力する第１段デコーダであり、７は、第１段
デコーダ６からの第１段復号画像信号１３，第１段符号
化パラメータ１４及び第１段画像情報１２を記録・編集
・再生する画像／符号化パラメータ記録・編集・再生手
段で、ＶＴＲ２やスイッチャ３により構成されている。
８は第１段デコーダ６からの第１段復号画像信号１３を
目視するためのモニタである。

【００３１】さらに、図１において、９は、第１段デコ
ーダ６からの第１段復号画像信号１３を再符号化して、
第２段符号化ビット列１５を出力すると共に、第１段デ
コーダ６から第１段符号化パラメータ１４と第１段画像
情報１２を入力して、第２段画像情報１６を出力する第
２段エンコーダであり、１０は、第２段エンコーダ９か
らの第２段符号化ビット列１５を復号して、第２段復号
画像信号１７と第２段符号化パラメータ１８を出力する
と共に、第２段エンコーダ９からの第２段画像情報１６
を出力する第２段デコーダである。

【００３２】ここで、第１段画像情報１２は、第１段エ
ンコーダ４が検出したシーンチェンジ、フェードイン／
フェードアウト、ズームイン／ズームアウト等の特徴的
な変化を示すシーンや、３：２プルダウン処理されたピ
クチャに関する画像変化の特徴を示す画像情報であり、
第１段符号化パラメータ１４は、第１段デコーダ６が復
号過程で検出した第１段エンコーダ４の符号化パラメー
タで、第２段画像情報１６は、第２段エンコーダ９が符
号化時に参照した第１段画像情報１２と等価な画像情報
で、第２段符号化パラメータ１８は、第２段デコーダ１
０が復号過程で検出した第２段エンコーダ９の符号化パ
ラメータである。

【００３３】図２は、図１における多段画像符号化装置
の各段デコーダの構成を示すブロック図であり、第２段
デコーダ１０を例として図示している。図において、１
０１は、第２段デコーダ１０と対になる第２段エンコー
ダ９より出力された第２段符号化ビット列１５から、画
像データを分離して画像信号に復号する復号手段、１０
２は、復号された画像信号をデコーダ外部に、第２段復
号画像信号１７として出力する復号画像出力手段であ
る。１０３は復号手段１０１がビット列復号処理の過程
で得た符号化パラメータに何らかの圧縮処理を施すデー
タ圧縮手段、１０４はデータ圧縮手段１０３が出力した
符号化パラメータ又は復号手段１０１から直接出力され
た符号化パラメータを記録・保持する符号化パラメータ
記録・保持手段である。

【００３４】また、図２において、１０５は、符号化パ
ラメータ記録・保持手段１０４が記録・保持する符号化
パラメータに、誤り訂正情報を付加したり、誤りを訂正
し易いように符号化フォーマットを整えることにより誤
り訂正符号化を施す誤り訂正符号化手段、１０６は、符
号化パラメータ記録・保持手段１０４が記録・保持する
符号化パラメータ又は誤り訂正符号化手段１０５が出力
する符号化パラメータを、復号画像出力手段１０２が出
力する第２段復号画像信号１７と位相を揃えることによ
り同期させて、第２段符号化パラメータ１８として出力
する符号化パラメータ出力手段である。

【００３５】さらに、図２において、１０７は、第２段
デコーダ１０と対になる第２段エンコーダ９が検出した
シーンチェンジ、フェードイン／フェードアウト、ズー
ムイン／ズームアウト等の特徴的な変化を示すシーン
や、３：２プルダウン処理されたピクチャに関する画像
変化の特徴を示す第２段画像情報１６を入力し、復号画
像出力手段１０２が出力する第２段復号画像信号１７と
位相を揃えることにより同期させて、第２段画像情報１
６を出力する画像情報伝送手段である。

【００３６】図３は、図１における多段画像符号化装置
の各段エンコーダの構成を示すブロック図であり、第２
段エンコーダ９を例として図示している。図において、
９１は、前段の第１段デコーダ６が出力する第１段復号
画像信号を符号化し、符号化ビット列を出力する符号化
手段で、９２は、符号化手段９１が出力する符号化ビッ
ト列をエンコーダ外部に、第２段符号化ビット列１５と
して出力する符号化ビット列出力手段である。９３は、
２段目以降のエンコーダの場合に、前段の第１段デコー
ダ６が出力する第１段符号化パラメータ１４を入力する
符号化パラメータ入力手段で、９４は前段の第１段デコ
ーダ６が出力する第１段画像情報１２を入力する画像情
報入力手段である。

【００３７】また、図３において、９５は、符号化パラ
メータ入力手段９３が入力した第１段符号化パラメータ
１４，又は画像情報入力手段９４が入力した第１段画像
情報１２が、データ圧縮が施された状態である場合に、
適切なデータ解凍処理を施すデータ解凍手段である。９
６は、第１段符号化パラメータ１４及び第１段画像情報
１２が誤り訂正符号化が施された状態である場合に、適
切な誤り訂正復号化を施して誤りがあるかを検出する誤
り訂正復号手段で、９７は、誤り訂正復号手段９６が出
力する第１段符号化パラメータ１４及び第１段画像情報
１２が誤りを含む場合に、誤り箇所を訂正したり、又は
訂正できない誤りを含む場合には、該誤り箇所を符号化
制御手段９８が参照することを禁止する誤り処理手段で
ある。

【００３８】さらに、図３において、９８は、符号化手
段９１が入力する第１段復号画像信号１３の特性を考慮
し、２段目以降のエンコーダの場合には、第１段符号化
パラメータ１４及び第１段画像情報１２を参照して、最
適な符号化制御を実行する符号化制御手段である。９９
は、符号化制御手段９８がシーンチェンジ、フェードイ
ン／フェードアウト、ズームイン／ズームアウト等の特
徴的な変化を示すシーンや、３：２プルダウン処理でリ
ピートされたピクチャを検出できる場合に、画像変化の
特徴を示す第２段画像情報１６としてエンコーダ外部に
出力する画像情報出力手段である。尚、第２段画像情報
を出力する前に、何らかのデータ圧縮方式及び誤り訂正
符号化方式を施しても構わない。

【００３９】次に動作について説明する。図１におい
て、第１段エンコーダ４は、ＴＶカメラ１，ＶＴＲ２又
はその他の画像入力の中から、スイッチャ３によって選
択された画像信号を符号化して、その結果を第１段符号
化ビット列１１として伝送路５に出力する。ここでは説
明の簡略化のために、第１段エンコーダ４の符号化対象
の画像として、符号化履歴を持たない原画像を想定する
が、実際の応用ではその限りではない。

【００４０】また、第１段エンコーダ４が、シーンチェ
ンジ、フェードイン／フェードアウト、ズームイン／ズ
ームアウト等の特徴的な変化を示すシーンや、３：２プ
ルダウン処理でリピートされたピクチャであることを検
出できる場合に、第１段エンコーダ４は、その検出結果
や該当するシーンに施した符号化制御等の情報を、第１
段符号化ビット列１１と位相を揃えることにより同期さ
せて、第１段画像情報１２として伝送路５に出力する。

【００４１】第１段画像情報１２の具体的な伝送方法と
しては、例えば、ＭＰＥＧ２ビデオ符号化シンタックス
に規定されるピクチャレイヤのユーザーデータ領域に埋
め込んで、第１段符号化ビット列１１に多重化した形態
で伝送すること等が考えられる。この方法を採れば、伝
送方式に特別な配慮をすることなく、第１段符号化ビッ
ト列１１との位相同期関係を保持して、第１段画像情報
１２を伝送することができる。何らかの理由により、こ
の伝送方法を使用できない場合には、第１段符号化ビッ
ト列１１とは別系統を用意して伝送する。

【００４２】第１段符号化ビット列１１は、主に素材画
像の配信用に用いられ、伝送路５を経由してスタジオ等
に配置される第１段デコーダ６に入力されて、復号処理
が施され、第１段復号画像信号１３が出力される。同時
に、第１段デコーダ６は、復号過程で得た、対になる第
１段エンコーダ４の第１段符号化パラメータ１４と、第
１段エンコーダ４より受け取った第１段画像情報１２を
デコーダ外部に出力する。

【００４３】スタジオ等では、第１段復号画像信号１３
を、モニタ８にて目視確認すると共に、素材画像として
他の素材画像と編集して一連の番組を制作するが、この
ためには、ＶＴＲ２やスイッチャ３といった既存の編集
用装置により構成された画像／符号化パラメータ記録・
編集・再生手段７が用いられる。よって、第１段デコー
ダ６が出力する第１段符号化パラメータ１４は、第１段
復号画像信号１３と同期関係を保ち、且つ既存の装置か
らなる画像／符号化パラメータ記録・編集・再生手段７
にて、容易に記録・保存・編集・再生される必要があ
る。

【００４４】画像／符号化パラメータ記録・編集・再生
手段７にて製作された番組は、２次配信として第２段エ
ンコーダ９にて再度符号化され、例えば地方局のスタジ
オに伝送される。ここで、第２段エンコーダ９は、第１
段デコーダ６による第１段復号画像信号１３を再符号化
する際に、併せて出力される第１段符号化パラメータ１
４と第１段画像情報１２を参照して、自己の符号化条件
に最適な符号化処理を行い、第２段符号化ビット列１５
として伝送路５に出力する。同時に、第２段エンコーダ
９は、第１段画像情報１２と等価である第２段画像情報
１６を、第２段符号化ビット列１５と同期させて伝送路
５に出力する。

【００４５】例えば、地方局のスタジオ等に配置された
第２段デコーダ１０は、伝送路５を経由した第２段符号
化ビット列１５に復号処理を施し、第２段復号画像信号
１７を出力する。このとき、第２段デコーダ１０は、第
１段デコーダ６と同様に、第２段符号化パラメータ１８
及び第２段画像情報１６を外部に出力する。

【００４６】第２段デコーダ１０が復号した第２段復号
画像信号１７は、更にローカルＣＭの差し替え等といっ
た編集作業を経て、次段エンコーダにて、更に符号化さ
れて商用放送されることになる。次段エンコーダは、第
２段エンコーダ９と同様に、符号化履歴のある画像につ
いては、第２段符号化パラメータ１８及び第２段画像情
報１６を参照して、自己の符号化条件に最適な符号化処
理を行い、符号化ビット列を出力する。

【００４７】次にデコーダの動作を、第２段デコーダ１
０を例にとり説明する。図２において、復号手段１０１
は、第２段符号化ビット列１５を受けて、符号化則に従
って画像信号を復号する。この過程で、対になる第２段
エンコーダ９が符号化時に用いた符号化パラメータが、
第２段符号化ビット列１４から逐次分離される。例え
ば、符号化則にＭＰＥＧ２を用いた場合には、画像ビッ
トレートやピクチャ当りの符号量、ピクチャタイプ（イ
ントラ／順方向予測／両方向予測の別）、ＤＣＴ（Ｄｉ
ｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）係
数の量子化ステップサイズ、動きベクトル等が符号化パ
ラメータとして分離可能である。

【００４８】復号手段１０１が復号した画像信号は、復
号画像出力手段１０２にて、例えばＳＭＰＴＥ（Ｓｏｃ
ｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎ
ｄＴｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）２９２
Ｍが規定するシリアルデジタル画像信号等に変換された
後、第２段復号画像信号１７としてデコーダ外部に出力
される。ここで、復号画像出力手段１０２は、ＳＭＰＴ
Ｅ２９２Ｍのシリアルデジタルフォーマット等で、画像
信号の他に補助データを多重化伝送できるフォーマット
を用いる場合には、後述の第２段符号化パラメータ１８
及び第２段画像情報１６を、該補助データ領域に多重化
して、第２段復号画像信号１７と並行して出力すること
ができる。

【００４９】一方、復号手段１０１が分離した符号化パ
ラメータは、必要に応じてデータ圧縮手段１０３でデー
タ圧縮した後に、符号化パラメータ記録・保持手段１０
４に出力される。該符号化パラメータ記録・保持手段１
０４において、所定のフォーマットに符号化パラメータ
をパッキングして、符号化パラメータ出力手段１０６に
伝達する。尚、該符号化パラメータ記録・保持手段１０
４から符号化パラメータ出力手段１０６に伝達する前
に、必要に応じて誤り訂正符号化手段１０５を経由し、
誤り訂正符号化処理を施すことで、伝送路５で発生する
誤りの影響を防ぎ、次段エンコーダに符号化パラメータ
を正確に伝達することが可能となる。

【００５０】符号化パラメータ出力手段１０６では、入
力した符号化パラメータ（第２段エンコーダ９における
符号化パラメータに相当）を所定のフォーマットに変換
した後に、第２段復号画像信号１７に補助データとして
多重化するために、復号画像出力手段１０２に伝達す
る。復号画像出力手段１０２の出力フォーマットが、補
助データの多重化をサポートしない場合には、第２段復
号画像信号１７とは別系統で次段エンコーダに伝達する
ために、第２段符号化パラメータ１８を別のフォーマッ
トに変換して、第２段復号画像信号１７と同期させて外
部に出力する。

【００５１】画像情報伝送手段１０７は、符号化パラメ
ータ記録・保持手段１０４における符号化パラメータの
処理と並行して、第２段エンコーダ９が出力した第２段
画像情報１６を入力し、第２段復号画像信号１７に多重
化するために、復号画像出力手段１０２に伝達する。復
号画像出力手段１０２の出力フォーマットが、補助デー
タの多重化をサポートしない場合には、第２段復号画像
信号１７とは別系統で次段エンコーダに伝達するため
に、画像情報伝送手段１０７は、第２段画像情報１６を
別のフォーマットに変換して、第２段復号画像信号１７
と同期させて外部に出力する。

【００５２】次にエンコーダの動作を、第２段エンコー
ダ９を例にとり説明する。図３において、符号化手段９
１は、所定の符号化則に従って、第１段復号画像信号１
３に符号化処理を施す。ここで、符号化則にＭＰＥＧ２
を用いた場合、符号化対象の画像信号の特性に応じて、
例えば、画像ビットレートやピクチャ当りの符号量、ピ
クチャタイプ（イントラ／前方向予測／両方向予測の
別）、ＤＣＴ係数の量子化ステップサイズ等の符号化パ
ラメータを最適に制御することで、良好な高画質を保持
することができる。

【００５３】第２段エンコーダ９で用いる符号化パラメ
ータの決定は、符号化制御手段９８が行う。符号化パラ
メータの決定に先だって、符号化制御手段９８は、符号
化手段９１が入力する第１段復号画像信号１３の特性を
解析して把握すると共に、後述する符号化パラメータ入
力手段９３から出力される第１段符号化パラメータ１４
及び画像情報入力手段９４から出力される第１段画像情
報１２を受け取る。

【００５４】ここで、符号化パラメータ入力手段９３が
入力した第１段符号化パラメータ１４及び画像情報入力
手段９４が入力した第１段画像情報１２が、何らかのデ
ータ圧縮方式が施された状態である場合に、データ解凍
手段９５により、該第１段符号化パラメータ１４及び該
第１段画像情報１２に、適切なデータ解凍処理が施され
る。

【００５５】符号化パラメータ入力手段９３が入力した
第１段符号化パラメータ１４及び画像情報入力手段９４
が入力した第１段画像情報１２、又はデータ解凍手段９
５が出力した第１段符号化パラメータ１４及び第１段画
像情報１２が、何らかの誤り訂正符号化方式が施された
状態である場合に、誤り訂正復号手段９６により、該第
１段符号化パラメータ１４及び該第１段画像情報１２に
適切な誤り訂正復号処理が施される。誤り処理手段９７
は、第１段符号化パラメータ１４及び第１段画像情報１
２が誤りを含む場合に誤り箇所を訂正し、訂正できない
誤りを含む場合には、誤り箇所を符号化制御手段９８が
参照することを禁止する。

【００５６】符号化制御手段９８は、第１段符号化パラ
メータ１４及び第１段画像情報１２を解析し、第１段復
号画像信号１３の特性及び第１段エンコーダ４が設定し
た符号化パラメータの具体値を把握した上で、符号化対
象画像に最も適した符号化パラメータを決定する。符号
化制御の詳細は後述する。

【００５７】符号化制御手段９８が第１段復号画像信号
１３の特性解析又は第１段画像情報１２の参照を行うこ
とで、シーンチェンジ、フェードイン／フェードアウ
ト、ズームイン／ズームアウト等の特徴的な変化示すシ
ーンや、３：２プルダウン処理でリピートされたピクチ
ャを検出できる場合には、符号化制御手段９８は、該当
するシーンに含まれるピクチャの番号や施した符号化制
御の内容を、第２段画像情報１６として記録し、画像情
報出力手段９９に伝達する。画像情報出力手段９９は、
符号化ビット列出力手段９２が出力する第２段符号化ビ
ット列１５と位相を合わせて、第２段画像情報１６とし
てエンコーダ外部に出力する。

【００５８】第２段画像情報１６の出力方法としては、
例えば、ＭＰＥＧ２ビデオ符号化シンタックスに規定さ
れるピクチャレイヤのユーザーデータ領域に埋め込ん
で、第２段符号化ビット列１５に多重化して出力する方
法等が考えられるが、何らかの理由により、この伝送方
法が使用できない場合には、第２段符号化ビット列１５
とは別系統で、第２段符号化ビット列１５と同期させて
伝送路５に出力する。該第２段画像情報１６を出力する
前に、何らかのデータ圧縮方式及び誤り訂正符号化方式
を施すことで、データ容量を削減できると共に、伝送路
誤りに対処することも可能である。

【００５９】次に符号化制御手段９８が行う符号化制御
について詳しく説明する。図４はＭＰＥＧ２準拠の符号
化を用いた場合の、第１段目符号化におけるピクチャ毎
の発生符号量の推移を示す図であり、図５は図４と同一
フレーム期間におけるＳ／Ｎの推移を示す図である。図
４及び図５において、Ｉはイントラ符号化ピクチャ、Ｐ
はインター符号化における前方向予測ピクチャ、Ｂはイ
ンター符号化における両方向予測ピクチャを示してい
る。

【００６０】図に示すとおり、ＭＰＥＧ２では、イント
ラ、インター等のピクチャタイプ毎に発生符号量に偏り
が発生し、その結果、ピクチャタイプ毎に画質の偏りが
生じる。これは、動き補償予測の起点とならない両方向
予測ピクチャでは、発生符号量を抑え、他のピクチャタ
イプに比べて大きい量子化ステップサイズを用いて符号
化を行うために、原画との誤差が多くなるからである。
ここで、量子化ステップサイズと発生符号量には、負の
相関（ステップ値が大きいほど発生符号量は少ない）が
あり、また量子化ステップ値と画質にも負の相関（ステ
ップ値が大きいほど画質が悪い）があることが知られて
いる。

【００６１】ＭＰＥＧ２等に代表されるフレーム間予測
符号化を用いた多段符号化においては、前段符号化にお
いて両方向予測を用いて符号化されたピクチャを、次段
符号化においてイントラ又は前方向予測ピクチャとして
符号化しないように符号化各段でピクチャタイプを整合
させることが、多段符号化に伴う画質劣化を改善する手
段として有効である。ただし、再符号化においては、イ
ントラ又は前方向予測ピクチャと両方向予測ピクチャ間
の画質の偏りの度合いを増加させない保証はなく、一般
に、ピクチャ間の画質の偏りが増長すると、画像のちら
つきが顕著になる。

【００６２】そこで、本発明の符号化制御においては、
第１段符号化におけるピクチャ毎の画質の偏りを、次段
以降においても維持できるように、前段符号化で発生し
た画質の偏りを示す符号化パラメータとして、前段符号
化におけるピクチャ毎の発生符号量を参照して再符号化
制御を行う。ピクチャ毎の発生符号量と画質には相関が
あり、前段符号化の結果発生したピクチャ間の画質の偏
りの度合いは、該発生符号量を参照することで予測が可
能である。

【００６３】また、ピクチャ毎の発生符号量をもとに、
前段符号化における各ピクチャのピクチャタイプやイン
トラピクチャ間隔や前方向予測ピクチャ間隔を判定する
ことも可能であり、再符号化において、ピクチャタイ
プ、イントラピクチャ間隔、前方向予測ピクチャ間隔
を、前段符号化と一致させた上で、各ピクチャの発生符
号量を前段と同等の値に設定することで、再符号化に伴
う画質劣化を低減することが可能である。

【００６４】また、ＭＰＥＧ２準拠の符号化では、マク
ロブロック単位で量子化ステップサイズを前段符号化と
同等に設定することで、再符号化に伴う画質劣化を低減
できることは周知であるが、この量子化ステップサイズ
を、発生符号量とマクロブロック毎の明るさ分布や色分
布等の画像特徴量に基づき決定する方法が有力な符号化
制御として用いられることが多い。本発明における符号
化制御では、前段符号化における発生符号量に加え、マ
クロブロック毎の画像特徴量が符号化パラメータとして
与えられる場合に、該符号化パラメータをもとに前段量
子化ステップサイズを検出して、再符号化で使用するこ
とで、データ容量の大きい量子化ステップサイズを伝達
せずに、再符号化に伴う画質劣化の低減を図るものであ
る。

【００６５】放送システムにおいては、符号化ビット列
を伝送する伝送路の特性に応じて、異なるビットレート
で各段符号化実行したいといった要求も存在する。この
場合には、前段符号化の発生符号量を、そのまま次段符
号化の目標符号量とすることはできない。そこで、本発
明における符号化制御では、前段符号化パラメータとし
て、画像ビットレートとピクチャ毎の発生符号量が与え
られたときに、該パラメータをもとにして、次段符号化
の目標発生符号量を決定する。

【００６６】目標発生符号量の算出方法の一例として、
次の（１）式を用いること等が考えられる。 Ｔ＿（ｎ）＝Ｒ＿（ｎ−１）×Ｂ＿（ｎ）÷Ｂ＿（ｎ−１） （１） ここで、Ｔ＿（ｎ）は第ｎ段符号化における目標発生符
号量、Ｒ＿（ｎ−１）は第ｎ−１段符号化における発生
符号量、Ｂ＿（ｎ）は第ｎ段符号化における画像符号化
ビットレート、Ｂ＿（ｎ−１）は第ｎ−１段符号化にお
ける画像符号化ビットレートを示す。

【００６７】上記（１）式により、次段エンコーダのピ
クチャ毎の目標発生符号量を、画像符号化ビットレート
に比例させて決定することで、各段エンコーダでの画像
符号化ビットレートが異なる場合でも、次段符号化で前
段同様の画質の偏りの傾向を保持することが可能であ
り、画像のちらつき等を抑制できる。

【００６８】ＭＰＥＧ２準拠の符号化の場合、シーンチ
ェンジ、フェードイン／フェードアウト、ズームイン／
ズームアウト等の特徴的な変化を示すシーンに関して
は、各々のシーンに適した符号化制御を適用すること
で、符号化に伴う画質劣化を抑制することができる。

【００６９】例えば、シーンチェンジの場合には、シー
ンチェンジ後のピクチャは、以前のピクチャとの相関が
極めて低いため、該ピクチャに動き補償予測を用いるこ
とは得策ではなく、イントラピクチャとして符号化する
ことが高画質を得るための有効な手段となる。また、フ
ェードイン／フェードアウトの場合には、輝度の変化の
影響で、動き補償予測が失敗することを防ぐために、輝
度を補正した予測画像を用いて予測を行うことや、輝度
が低い期間は発生符号量を抑えることで、画質の改善を
図ることができる。ズームイン／ズームアウトの場合に
は、画面上の動きが規則的であることを考慮して、正し
い動きベクトルを選択することで、画質の低下を防ぐこ
とが可能である。

【００７０】ただし、シーンの特徴に応じて最適な符号
化制御を適用するためには、数フレームにわたるピクチ
ャの特性解析、シーンの特徴抽出等の処理が必要とな
る。これら処理には遅延や負荷を伴い、符号化処理を繰
り返す毎に蓄積されていく。

【００７１】本発明では、前段符号化の符号化制御にお
いて、シーンチェンジ、フェードイン／フェードアウ
ト、ズームイン／ズームアウト等の特徴的なシーンを検
出した時に、例えば、該当するシーンの開始点にあたる
ピクチャから終了点にあたるピクチャに、シーンの開
始，終了，継続を示す識別子を設定して、画像情報とし
て次段エンコーダに伝達することで、再符号化時に、ピ
クチャ解析，特徴抽出等の処理の省略が可能となり、遅
延や負荷が軽減できる。

【００７２】また上記の識別子の他に、前記特徴的シー
ンに該当するピクチャに対して施した符号化処理の内容
を示す識別子や設定した符号化制御の内容を、画像情報
として次段エンコーダに伝達することで、各段で同等の
符号化制御を実現することが可能となり、再符号化に伴
う画質劣化の改善を図ることができる。

【００７３】ＭＰＥＧ２準拠の符号化の場合、符号化に
フレーム構造を用いて、映画等で扱われるＦｉｌｍ画像
を符号化するときに、該Ｆｉｌｍ画像から、３：２プル
ダウン処理で挿入された冗長フィールドを削除した後
に、フレームを再構築して符号化することができる。図
６は、前段符号化の３：２プルダウンシーケンスに追従
するための、次段符号化における冗長フィールド削除の
動作を説明するタイミングチャートである。図におい
て、「１ｏ，２ｏ，３ｏ・・・」は、各フレームの奇数
フィールド、「１ｅ，２ｅ，３ｅ・・・」は、各フレー
ムの偶数フィールドを示す。毎秒２４フレームのＦｉｌ
ｍ画像を、毎秒３０フレームのＴＶ画像に変換するとき
に、５フレーム（１０フィールド）における第１番目の
フィールドと第３番目のフィールドが同じ又は類似であ
り、第６番目のフィールドと第８番目のフィールドが同
じ又は類似となっており、第３番目のフィールドと第８
番目のフィールドが冗長フィールドとなっている。

【００７４】図６（ａ）は、第１段目のエンコーダにお
けるＦｉｌｍ画像の検出による３：２プルダウン冗長フ
ィールドの削除を示す図である。符号化制御手段９８
が、入力する画像のフィールド間相関を、現フレーム以
降５フレーム期間に亘って連続的に監視し、該５フレー
ム期間のフィールド相関に特定のパターンが現れたとき
に、すなわち、第１番目のフィールドと第３番目のフィ
ールドが同じ又は類似であり、第６番目のフィールドと
第８番目のフィールドが同じ又は類似であることを検出
すると、該５フレームがＦｉｌｍ画像であると判断し
て、冗長フィールドを削除するフィールドマージを行
い、符号化フレームを再構築する。よってＦｉｌｍ画像
の判断と冗長フィールドの特定には、符号化画像の入力
から少なくとも５フレーム時間を要することになる。

【００７５】図６（ｂ）は、第２段目以降のエンコーダ
における画像情報を参照した３：２プルダウン冗長フィ
ールドの削除を示す図である。第２段目以降の符号化に
おいても、上記処理によるＦｉｌｍ画像の判断と冗長フ
ィールドの特定は有効であるが、符号化段数を経るごと
に、少なくとも５フレーム時間の処理遅延が加算される
ので、特にライブ中継時には、遅延の影響が大きい。そ
こで、本発明においては、図６（ｂ）に示すように、第
１段エンコーダ４の画像情報出力手段９９が、Ｆｉｌｍ
画像の識別子を、５フレームの順序を含めて画像情報と
して次段に伝達することにより、次段エンコーダでは、
Ｆｉｌｍ画像検出処理による遅延や負荷が軽減される。

【００７６】以上に示すように、シーンチェンジ、フェ
ードイン／フェードアウト、ズームイン／ズームアウト
の情報や、３：２プルダウンの情報を、画像変化の特徴
を示す画像情報として次段エンコーダに伝達すること
で、処理負荷の軽減と処理遅延の短縮が可能な多段画像
符号化装置が実現可能である。

【００７７】図７は符号化制御手段９８の処理を示すフ
ローチャートである。ステップＳＴ１において、ピクチ
ャを入力し、ステップ２で第２段目以降の符号化の場
合、ステップＳＴ３において、前段の画像情報を入力
し、ステップＳＴ４において、前段エンコーダから伝達
されたシーンチェンジ、フェードイン／フェードアウ
ト、ズームイン／ズームアウト、３：２プルダウンに該
当するピクチャの識別子や該当するピクチャに施した符
号化処理の内容等を含む情報を解析する。

【００７８】ステップＳＴ５において、符号化対象であ
る復号画像信号を解析する。ステップＳＴ６において、
ステップＳＴ４における画像情報解析又はステップＳＴ
５における復号画像信号の解析の結果、上記シーンに該
当する特定シーンが検出された場合、ステップＳＴ７に
おいて、各シーンに最適な符号化制御の実行に移る。前
段符号化にて施された符号化制御が画像情報として与え
られた場合には、前段と同等の処理を施す。ステップＳ
Ｔ６において、特定シーンが検出されない場合には、通
常の符号化制御を行う。

【００７９】以上のように、この実施の形態１によれ
ば、前段符号化における符号化パラメータや画像変化の
特徴を示す画像情報を次段以降のエンコーダに伝達する
際に、伝達する符号化パラメータや画像情報をデータ圧
縮することにより、データ容量を極力削減でき、記録・
保持・伝送等の処理に伴う負担を軽減することができる
と共に、再符号化に伴う画質劣化を改善することができ
るという効果が得られる。

【００８０】また、この実施の形態１によれば、符号化
パラメータや画像情報に対して、誤り訂正符号化、誤り
訂正復号、誤り訂正の処理を施すことにより、符号化パ
ラメータや画像情報を正確に伝達することができ、良好
な画質を確実に提供できるという効果が得られる。

【００８１】さらに、この実施の形態１によれば、符号
化パラメータとしてピクチャ毎の発生符号量を伝達する
ことで、前段符号化におけるピクチャタイプ、前方向予
測ピクチャ間隔、両方向予測ピクチャ間隔を検出して、
次段符号化における符号化パラメータとして用い、前段
符号化と次段エンコーダで、ピクチャ毎の発生符号量を
同等の値に合わせることにより、伝達する符号化パラメ
ータのデータ容量を削減できると共に、再符号化に伴う
画質劣化を改善できるという効果が得られる。

【００８２】さらに、この実施の形態１によれば、符号
化パラメータとしてピクチャ毎の発生符号量と、マクロ
ブロックあたりの画像特徴量を伝達し、次段符号化にお
ける符号化パラメータとして、量子化サイズを決定する
ことにより、データ量の多い量子化サイズを伝達する必
要がなく、記録・保持・伝送等の処理に伴う負担を軽減
することができると共に、再符号化に伴う画質劣化を改
善できるという効果が得られる。

【００８３】さらに、この実施の形態１によれば、各段
符号化で異なる画像ビットレートが指定された場合も、
画像ビットレートに対応した発生符号量を符号化パラメ
ータとして用いることにより、高画質化が可能であると
いう効果が得られる。

【００８４】さらに、前段エンコーダで検出したシーン
チェンジ、フェードイン／フェードアウト、ズームイン
／ズームアウト等のシーンや、３：２プルダウンでリピ
ートされたピクチャの画像変化の特徴を示す画像情報
を、次段エンコーダに伝達することにより、符号化処理
に伴う負荷・遅延を軽減できると共に、再符号化に伴う
画質劣化を改善できるという効果が得られる。

【００８５】

【発明の効果】以上のように、この発明によれば、デコ
ーダが、対になるエンコーダが出力する符号化ビット列
を復号して復号画像信号を出力し、符号化ビット列を復
号する過程で得る、対になるエンコーダの符号化におけ
る符号化パラメータを圧縮して、復号画像信号と同期さ
せて出力し、上記対になるエンコーダが出力する、画像
変化の特徴を示す画像情報を入力して、上記復号画像信
号と同期させて出力し、エンコーダが、前段のデコーダ
が出力する圧縮された符号化パラメータを解凍し、前段
のデコーダが出力する画像情報と解凍された符号化パラ
メータとを参照して、符号化制御内容を決定し、前段の
デコーダが出力する復号画像信号を、決定した符号化制
御内容に基づき符号化して符号化ビット列を出力し、符
号化制御内容における画像変化の特徴を示す画像情報
を、符号化ビット列と同期させて出力することにより、
伝達する符号化パラメータのデータ容量を極力削減で
き、記録・保持・伝送等の処理に伴う負担や、符号化処
理に伴う負荷・遅延を軽減できると共に、再符号化に伴
う画質劣化を改善できるという効果がある。

【００８６】この発明によれば、デコーダが、対になる
エンコーダが出力する符号化ビット列を復号する復号手
段と、復号手段が復号した復号画像信号を出力する復号
画像出力手段と、復号手段が復号する過程で得る、対に
なるエンコーダの符号化における符号化パラメータを圧
縮するデータ圧縮手段と、圧縮された符号化パラメータ
を記録・保持する符号化パラメータ記録・保持手段と、
符号化パラメータ記録・保持手段が記録・保持している
圧縮された符号化パラメータを、復号画像信号と同期さ
せて出力する符号化パラメータ出力手段と、対になるエ
ンコーダが出力する、画像変化の特徴を示す画像情報を
入力し、復号画像信号と同期させて出力する画像情報伝
送手段とを備え、エンコーダが、前段のデコーダが出力
する圧縮された符号化パラメータを入力する符号化パラ
メータ入力手段と、符号化パラメータ入力手段が入力し
た圧縮された符号化パラメータを解凍するデータ解凍手
段と、前段のデコーダが出力する、画像変化の特徴を示
す画像情報を入力する画像情報入力手段と、画像情報入
力手段が入力した画像情報と、データ解凍手段により解
凍された符号化パラメータとを参照して、符号化制御内
容を決定する符号化制御手段と、前段のデコーダが出力
する復号画像信号を入力し、符号化制御手段が決定した
符号化制御内容に基づき符号化して、符号化ビット列を
生成する符号化手段と、符号化手段が生成した符号化ビ
ット列を出力する符号化ビット列出力手段と、符号化制
御内容における画像情報を、符号化手段が生成した符号
化ビット列と同期させて出力する画像情報出力手段とを
備えることにより、伝達する符号化パラメータのデータ
容量を極力削減でき、記録・保持・伝送等の処理に伴う
負担や、符号化処理に伴う負荷・遅延を軽減できると共
に、再符号化に伴う画質劣化を改善できるという効果が
ある。

【００８７】この発明によれば、デコーダが、対になる
エンコーダが出力する符号化ビット列を復号する復号手
段と、復号手段が復号する過程で得る、対になるエンコ
ーダの符号化における符号化パラメータを圧縮するデー
タ圧縮手段と、圧縮された符号化パラメータを記録・保
持する符号化パラメータ記録・保持手段と、符号化パラ
メータ記録・保持手段が記録・保持している圧縮された
符号化パラメータを出力する符号化パラメータ出力手段
と、対になるエンコーダが出力する、画像変化の特徴を
示す画像情報を入力して出力する画像情報伝送手段と、
復号手段が復号した復号画像信号と、符号化パラメータ
出力手段からの圧縮された符号化パラメータと、画像情
報伝送手段からの画像情報とを多重化して出力する復号
画像出力手段とを備え、エンコーダが、前段のデコーダ
が出力する圧縮された符号化パラメータを入力する符号
化パラメータ入力手段と、符号化パラメータ入力手段が
入力した圧縮された符号化パラメータを解凍するデータ
解凍手段と、前段のデコーダが出力する、画像変化の特
徴を示す画像情報を入力する画像情報入力手段と、画像
情報入力手段が入力した画像情報と、データ解凍手段に
より解凍された符号化パラメータとを参照して、符号化
制御内容を決定する符号化制御手段と、符号化制御内容
における画像情報を出力する画像情報出力手段と、前段
のデコーダが出力する復号画像信号を入力し、符号化制
御手段が決定した符号化制御内容に基づき符号化して、
符号化ビット列を生成する符号化手段と、符号化手段が
生成した符号化ビット列と、画像情報出力手段が出力す
る画像情報とを多重化して出力する符号化ビット列出力
手段とを備えることにより、伝達する符号化パラメータ
のデータ容量を極力削減でき、記録・保持・伝送等の処
理に伴う負担や、符号化処理に伴う負荷・遅延を軽減で
きると共に、再符号化に伴う画質劣化を改善できるとい
う効果がある。

【００８８】この発明によれば、デコーダが、符号化パ
ラメータ記録・保持手段が記録・保持している圧縮され
た符号化パラメータに、誤り訂正符号化を施す誤り訂正
符号化手段を備え、エンコーダが、データ解凍手段によ
り解凍された符号化パラメータに、誤り訂正復号を施す
誤り訂正復号手段と、誤り訂正復号手段が誤り訂正復号
を施した符号化パラメータの誤りを訂正し、訂正できな
い誤りを含む場合には、誤り箇所を符号化制御手段が参
照するのを禁止する誤り処理手段とを備えたことによ
り、符号化パラメータを正確に伝達することができ、良
好な画質を確実に提供できるという効果が得られる。

【００８９】この発明によれば、エンコーダにおける画
像情報出力手段が、画像情報を圧縮して出力し、次段の
エンコーダにおけるデータ解凍手段が、画像情報入力手
段に入力された圧縮された画像情報を解凍することによ
り、伝達する画像情報のデータ容量を極力削減でき、記
録・保持・伝送等の処理に伴う負担を軽減することがで
きると共に、再符号化に伴う画質劣化を改善できるとい
う効果がある。

【００９０】この発明によれば、エンコーダにおける画
像情報出力手段が、画像情報に誤り訂正符号化を施して
出力し、次段のエンコーダにおける誤り訂正復号手段
が、画像情報入力手段に入力された画像情報に誤り訂正
復号を施し、誤り処理手段が、誤り訂正復号を施した画
像情報の誤りを訂正し、訂正できない誤りを含む場合に
は、誤り箇所を符号化制御手段が参照するのを禁止する
ことにより、画像情報を正確に伝達することができ、良
好な画質を確実に提供できるという効果がある。

【００９１】この発明によれば、デコーダにおける符号
化パラメータ出力手段が出力する符号化パラメータとし
て、ピクチャ毎の発生符号量を含み、次段エンコーダに
おける符号化制御手段が、ピクチャ毎の発生符号量か
ら、ピクチャタイプ、イントラピクチャ間隔、前方向予
測ピクチャ間隔を判定して、各ピクチャの発生符号量を
前段と同等の値に決定することにより、伝達する符号化
パラメータのデータ容量を削減できると共に、再符号化
に伴う画質劣化を改善できるという効果がある。

【００９２】この発明によれば、デコーダにおける符号
化パラメータ出力手段が出力する符号化パラメータとし
て、ピクチャ毎の発生符号量、マクロブロックあたりの
明るさ分布や色分布等の画像特徴量を含み、次段エンコ
ーダにおける符号化制御手段が、ピクチャ毎の発生符号
量とマクロブロックあたりの画像特徴量に基づき、量子
化ステップサイズを決定することにより、伝達する符号
化パラメータのデータ容量を削減できると共に、再符号
化に伴う画質劣化を改善できるという効果がある。

【００９３】この発明によれば、デコーダにおける符号
化パラメータ出力手段が出力する符号化パラメータとし
て、前段符号化における画像ビットレートとピクチャ毎
の発生符号量を含み、次段エンコーダにおける符号化制
御手段が、指定された画像ビットレート、前段符号化に
おける画像ビットレート及び前段符号化におけるピクチ
ャ毎の発生符号量に基づき、目標発生符号量を決定する
ことにより、高画質化が可能であるという効果がある。

【００９４】この発明によれば、エンコーダにおける画
像情報出力手段が出力する、画像変化の特徴を示す画像
情報として、シーンチェンジ、フェードイン／フェード
アウト、ズームイン／ズームアウトに関する情報を含む
ことにより、符号化処理に伴う負荷・遅延を軽減できる
と共に、再符号化に伴う画質劣化を改善できるという効
果がある。

【００９５】この発明によれば、エンコーダにおける画
像情報出力手段が出力する、画像変化の特徴を示す画像
情報として、３：２プルダウンで処理されたＦｉｌｍ画
像部分の識別子を含むことにより、符号化処理に伴う負
荷・遅延を軽減できると共に、再符号化に伴う画質劣化
を改善できるという効果がある。

【図面の簡単な説明】

【図１】 この発明の実施の形態１による多段画像符号
化伝送装置の構成を示す図である。

【図２】 この発明の実施の形態１によるデコーダの構
成を示すブロック図である。

【図３】 この発明の実施の形態１によるエンコーダの
構成を示すブロック図である。

【図４】 符号化則にＭＰＥＧ２を用いた場合で、第１
段目符号化におけるピクチャ毎の発生符号量の推移を示
す図である。

【図５】 符号化則にＭＰＥＧ２を用いた場合で、第１
段目符号化におけるＳ／Ｎの推移を示す図である。

【図６】 前段符号化の３：２プルダウンシーケンスに
追従するための、次段符号化における冗長フィールド削
除の動作を説明するタイミングチャートである。

【図７】 符号化制御手段の処理を示すフローチャート
である。

【図８】 従来の多段画像符号化装置の構成を示す図で
ある。

【符号の説明】

６ 第１段デコーダ（デコーダ）、９ 第２段エンコー
ダ（エンコーダ）、１０ 第２段デコーダ（デコー
ダ）、１２ 第１段画像情報（画像情報）、１３ 第１段復号画像信号（復号画像信号）、１４ 第１段符
号化パラメータ（符号化パラメータ）、１５ 第２段符
号化ビット列（符号化ビット列）、１６ 第２段画像情
報（画像情報）、１７ 第２段復号画像信号（復号画像
信号）、１８ 第２段符号化パラメータ（符号化パラメ
ータ）、９１ 符号化手段、９２ 符号化ビット列出力
手段、９３ 符号化パラメータ入力手段、９４ 画像情
報入力手段、９５ データ解凍手段、９６ 誤り訂正復
号手段、９７ 誤り処理手段、９８ 符号化制御手段、９９ 画像情報出力手段、１０１ 復
号手段、１０２ 復号画像出力手段、１０３ データ圧
縮手段、１０４ 符号化パラメータ記録・保持手段、１
０５ 誤り訂正符号化手段、１０６ 符号化パラメータ
出力手段、１０７ 画像情報伝送手段。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 日和佐 憲道 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 丹野 興一 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 Ｆターム(参考） 5C059 KK23 LA06 MA00 MA05 MA23 PP05 PP06 PP07 PP11 RB01 RB10 RC11 RC24 RC37 RE02 RF02 RF05 SS02 TA03 TA07 TA25 TA46 TB04 TB07 TC14 TC19 TC24 TC38 TC43 TD16 UA02 UA05 UA38

Claims (16)

【特許請求の範囲】
1. 【請求項１】 複数段のエンコーダとデコーダを備え、
   符号化履歴を持つ画像信号に再度符号化処理を施す多段
   画像符号化装置において、 上記デコーダが、 対になるエンコーダが出力する符号化ビット列を復号し
   て復号画像信号を出力し、 上記符号化ビット列を復号する過程で得る、上記対にな
   るエンコーダの符号化における符号化パラメータを圧縮
   して、上記復号画像信号と同期させて出力し、 上記対になるエンコーダが出力する、画像変化の特徴を
   示す画像情報を入力して、上記復号画像信号と同期させ
   て出力し、 上記エンコーダが、 前段のデコーダが出力する圧縮された符号化パラメータ
   を解凍し、前段のデコーダが出力する画像情報と解凍さ
   れた符号化パラメータとを参照して、符号化制御内容を
   決定し、 上記前段のデコーダが出力する復号画像信号を、上記決
   定した符号化制御内容に基づき符号化して符号化ビット
   列を出力し、 上記符号化制御内容における画像変化の特徴を示す画像
   情報を、上記符号化ビット列と同期させて出力すること
   を特徴とする多段画像符号化装置。
2. 【請求項２】 複数段のエンコーダとデコーダを備え、
   符号化履歴を持つ画像信号に再度符号化処理を施す多段
   画像符号化装置において、 上記デコーダが、 対になるエンコーダが出力する符号化ビット列を復号す
   る復号手段と、 上記復号手段が復号した復号画像信号を出力する復号画
   像出力手段と、 上記復号手段が復号する過程で得る、対になるエンコー
   ダの符号化における符号化パラメータを圧縮するデータ
   圧縮手段と、 上記圧縮された符号化パラメータを記録・保持する符号
   化パラメータ記録・保持手段と、 上記符号化パラメータ記録・保持手段が記録・保持して
   いる圧縮された符号化パラメータを、上記復号画像信号
   と同期させて出力する符号化パラメータ出力手段と、 上記対になるエンコーダが出力する、画像変化の特徴を
   示す画像情報を入力し、上記復号画像信号と同期させて
   出力する画像情報伝送手段とを備え、 上記エンコーダが、 前段のデコーダが出力する圧縮された符号化パラメータ
   を入力する符号化パラメータ入力手段と、 上記符号化パラメータ入力手段が入力した圧縮された符
   号化パラメータを解凍するデータ解凍手段と、 上記前段のデコーダが出力する、画像変化の特徴を示す
   画像情報を入力する画像情報入力手段と、 上記画像情報入力手段が入力した画像情報と、上記デー
   タ解凍手段により解凍された符号化パラメータとを参照
   して、符号化制御内容を決定する符号化制御手段と、 上記前段のデコーダが出力する復号画像信号を入力し、
   上記符号化制御手段が決定した符号化制御内容に基づき
   符号化して、符号化ビット列を生成する符号化手段と、 上記符号化手段が生成した符号化ビット列を出力する符
   号化ビット列出力手段と、 上記符号化制御内容における画像情報を、上記符号化手
   段が生成した符号化ビット列と同期させて出力する画像
   情報出力手段とを備えたことを特徴とする多段画像符号
   化装置。
3. 【請求項３】 複数段のエンコーダとデコーダを備え、
   符号化履歴を持つ画像信号に再度符号化処理を施す多段
   画像符号化装置において、 上記デコーダが、 対になるエンコーダが出力する符号化ビット列を復号す
   る復号手段と、 上記復号手段が復号する過程で得る、上記対になるエン
   コーダの符号化における符号化パラメータを圧縮するデ
   ータ圧縮手段と、 上記圧縮された符号化パラメータを記録・保持する符号
   化パラメータ記録・保持手段と、 上記符号化パラメータ記録・保持手段が記録・保持して
   いる圧縮された符号化パラメータを出力する符号化パラ
   メータ出力手段と、 上記対になるエンコーダが出力する、画像変化の特徴を
   示す画像情報を入力して出力する画像情報伝送手段と、 上記復号手段が復号した復号画像信号と、上記符号化パ
   ラメータ出力手段からの圧縮された符号化パラメータ
   と、上記画像情報伝送手段からの画像情報とを多重化し
   て出力する復号画像出力手段とを備え、 上記エンコーダが、 前段のデコーダが出力する圧縮された符号化パラメータ
   を入力する符号化パラメータ入力手段と、 上記符号化パラメータ入力手段が入力した圧縮された符
   号化パラメータを解凍するデータ解凍手段と、 上記前段のデコーダが出力する、画像変化の特徴を示す
   画像情報を入力する画像情報入力手段と、 上記画像情報入力手段が入力した画像情報と、上記デー
   タ解凍手段により解凍された符号化パラメータとを参照
   して、符号化制御内容を決定する符号化制御手段と、 上記符号化制御内容における画像情報を出力する画像情
   報出力手段と、 上記前段のデコーダが出力する復号画像信号を入力し、
   上記符号化制御手段が決定した符号化制御内容に基づき
   符号化して、符号化ビット列を生成する符号化手段と、 上記符号化手段が生成した符号化ビット列と、上記画像
   情報出力手段が出力する画像情報とを多重化して出力す
   る符号化ビット列出力手段とを備えたことを特徴とする
   多段画像符号化装置。
4. 【請求項４】 デコーダが、 符号化パラメータ記録・保持手段が記録・保持している
   圧縮された符号化パラメータに、誤り訂正符号化を施す
   誤り訂正符号化手段を備え、 エンコーダが、 データ解凍手段により解凍された符号化パラメータに、
   誤り訂正復号を施す誤り訂正復号手段と、 上記誤り訂正復号手段が誤り訂正復号を施した符号化パ
   ラメータの誤りを訂正し、訂正できない誤りを含む場合
   には、誤り箇所を符号化制御手段が参照するのを禁止す
   る誤り処理手段とを備えたことを特徴とする請求項２又
   は請求項３記載の多段画像符号化装置。
5. 【請求項５】 エンコーダにおける画像情報出力手段
   が、画像情報を圧縮して出力し、 次段のエンコーダにおけるデータ解凍手段が、画像情報
   入力手段に入力された圧縮された画像情報を解凍するこ
   とを特徴とする請求項２又は請求項３記載の多段画像符
   号化装置。
6. 【請求項６】 エンコーダにおける画像情報出力手段
   が、画像情報に誤り訂正符号化を施して出力し、 次段のエンコーダにおける誤り訂正復号手段が、画像情
   報入力手段に入力された画像情報に誤り訂正復号を施
   し、誤り処理手段が、上記誤り訂正復号を施した画像情
   報の誤りを訂正し、訂正できない誤りを含む場合には、
   誤り箇所を符号化制御手段が参照するのを禁止すること
   を特徴とする請求項４記載の多段画像符号化装置。
7. 【請求項７】 デコーダにおける符号化パラメータ出力
   手段が出力する符号化パラメータとして、ピクチャ毎の
   発生符号量を含み、次段エンコーダにおける符号化制御
   手段が、上記ピクチャ毎の発生符号量から、ピクチャタ
   イプ、イントラピクチャ間隔、前方向予測ピクチャ間隔
   を判定して、各ピクチャの発生符号量を前段と同等の値
   に決定することを特徴とする請求項２又は請求項３記載
   の多段画像符号化装置。
8. 【請求項８】 デコーダにおける符号化パラメータ出力
   手段が出力する符号化パラメータとして、ピクチャ毎の
   発生符号量、マクロブロックあたりの明るさ分布や色分
   布等の画像特徴量を含み、次段エンコーダにおける符号
   化制御手段が、上記ピクチャ毎の発生符号量と上記マク
   ロブロックあたりの画像特徴量に基づき、量子化ステッ
   プサイズを決定することを特徴とする請求項２又は請求
   項３記載の多段画像符号化装置。
9. 【請求項９】 デコーダにおける符号化パラメータ出力
   手段が出力する符号化パラメータとして、前段符号化に
   おける画像ビットレートとピクチャ毎の発生符号量を含
   み、次段エンコーダにおける符号化制御手段が、指定さ
   れた画像ビットレート、上記前段符号化における画像ビ
   ットレート及び上記前段符号化におけるピクチャ毎の発
   生符号量に基づき、目標発生符号量を決定することを特
   徴とする請求項２又は請求項３記載の多段画像符号化装
   置。
10. 【請求項１０】 前段符号化における画像ビットレート
    をＢ＿（ｎ−１），前段符号化におけるピクチャ毎の発
    生符号量をＲ＿（ｎ−１），指定された画像ビットレー
    トをＢ＿（ｎ），目標発生符号量をＴ＿（ｎ）とする
    と、符号化制御手段が、 Ｔ＿（ｎ）＝Ｒ＿（ｎ−１）×Ｂ＿（ｎ）÷Ｂ＿（ｎ−
    １） により、目標発生符号量Ｔ＿（ｎ）を決定することを特
    徴とする請求項９記載の多段画像符号化装置。
11. 【請求項１１】 エンコーダにおける画像情報出力手段
    が出力する、画像変化の特徴を示す画像情報として、シ
    ーンチェンジ、フェードイン／フェードアウト、ズーム
    イン／ズームアウトに関する情報を含むことを特徴とす
    る請求項２又は請求項３記載の多段画像符号化装置。
12. 【請求項１２】 画像情報として、シーンチェンジに関
    する情報を含む場合には、次段エンコーダにおける符号
    化制御手段が、イントラピクチャとして符号化制御内容
    を決定することを特徴とする請求項１１記載の多段画像
    符号化装置。
13. 【請求項１３】 画像情報として、フェードイン／フェ
    ードアウトに関する情報を含む場合には、次段エンコー
    ダにおける符号化制御手段が、輝度を補正した予測画像
    を使用したり、輝度が低い期間は発生符号量を抑えるよ
    うに、符号化制御内容を決定することを特徴とする請求
    項１１記載の多段画像符号化装置。
14. 【請求項１４】 画像情報として、ズームイン／ズーム
    アウトに関する情報を含む場合には、次段エンコーダに
    おける符号化制御手段が、ズームイン／ズームアウトの
    方向を考慮して、動きベクトルを決定することを特徴と
    する請求項１１記載の多段画像符号化装置。
15. 【請求項１５】 エンコーダにおける画像情報出力手段
    が、該当するシーンの開始点にあたるピクチャから終了
    点にあたるピクチャに対して、シーンの開始、継続、終
    了を示す識別子を画像情報として出力することを特徴と
    する請求項１１記載の多段画像符号化装置。
16. 【請求項１６】 エンコーダにおける画像情報出力手段
    が出力する、画像変化の特徴を示す画像情報として、
    ３：２プルダウンで処理されたＦｉｌｍ画像部分の識別
    子を含むことを特徴とする請求項２又は請求項３記載の
    多段画像符号化装置。