JP2000244915A - 多段画像符号化伝送装置及び多段画像符号化伝送方法 - Google Patents

Abstract

(57)【要約】 【課題】 符号化履歴を有する画像の再符号化時に良好
な画質を実現する。 【解決手段】 第２段デコーダ１４は、伝送された第２
段符号化ビット列１０５を復号して、第２段復号画像信
号１０７を出力すると共に、第１段エンコーダ４におけ
る符号化パラメータである前段符号化パラメータ１０６
を入力し、復号過程で得られた第２段エンコーダ１３に
おける符号化パラメータと併せて、第２段符号化パラメ
ータ１０８を出力する。次段エンコーダは、第２段符号
化パラメータ１０８を参照して、第２段復号画像信号１
０７を符号化する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、何らかの符号化
処理を受けた履歴のある画像信号を更に符号化する多段
画像符号化伝送装置及び多段画像符号化伝送方法に関す
るものである。

【０００２】

【従来の技術】図６は、例えば三菱電機技報ｖｏｌ．７
２／Ｎｏ８（１９９８年８月）Ｐ２４〜Ｐ３０に示され
たＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐ
ｅｒｔｓ Ｇｒｏｕｐ ２）準拠コーデックを多段接続
した従来の多段画像符号化伝送装置の構成を示す図であ
り、これを放送システムに適用した場合には、素材画像
の集配信、テレビ局間伝送、編集、２次配信・放送とい
った縦列的な画像の多段符号化が行われる。ここで、各
段符号化における伝送レートやピクチャフォーマット等
は、特に共通のものを用いるとは限らない。

【０００３】図６において、１は画像を撮像し画像信号
１０１を出力するＴＶカメラ、２は画像信号１０１を出
力するＶＴＲで、３は、ＴＶカメラ１からの画像信号１
０１，ＶＴＲ２からの画像信号１０１，又はその他の画
像の画像信号１０１を選択するスイッチャであり、４
は、スイッチャ３が出力する画像信号１０１を符号化
し、第１段符号化ビット列１０２を出力する第１段エン
コーダで、５は第１段符号化ビット列１０２を伝送する
伝送路である。

【０００４】また、図６において、６は、中央局のスタ
ジオ等に配置され、伝送路５により伝送された第１段符
号化ビット列１０２を復号し、第１段復号画像信号１０
３を出力する第１段デコーダである。７は、中央局のス
タジオ等に配置され、第１段デコーダ６からの第１段復
号画像信号１０３を目視するためのモニタである。８
は、中央局のスタジオ等に配置され、第１段デコーダ６
からの第１段復号画像信号１０３を再度符号化し、第２
段符号化ビット列１０５を出力する第２段エンコーダで
ある。

【０００５】さらに、図６において、９は、地方局のス
タジオ等に配置され、伝送路５により伝送された第２段
符号化ビット列１０５を復号し、第２段復号画像信号１
０７を図示していない次段エンコーダに出力する第２段
デコーダである。

【０００６】次に動作について説明する。第１段エンコ
ーダ４が画像信号１０１を符号化し、第１段符号化ビッ
ト列１０２が伝送路５により、中央局のスタジオ等に設
置されている第１段デコーダ６に伝送される。第１段デ
コーダ６は、伝送された第１段符号化ビット列１０２を
復号し、第１段復号画像信号１０３を出力する。第１段
復号画像信号１０３は、中央局のスタジオ等に設置され
ているモニタ７でモニタされると共に、中央局のスタジ
オ等に設置されている第２段エンコーダ８により再度符
号化される。

【０００７】第２段エンコーダ８からの第２段符号化ビ
ット列１０５は、伝送路５により地方局のスタジオ等に
設置されている第２段デコーダ９に伝送される。第２段
デコーダ９は伝送された第２段符号化ビット列１０５を
復号し、第２段復号画像信号１０７を出力する。第２段
復号画像信号１０７は、さらに他の地方局に伝送するた
めに、次段エンコーダに送られる。

【０００８】このように、符号化と復号を繰り返して行
う多段符号化伝送装置においては、第２段エンコーダ８
以降の各エンコーダにおいても、独自の符号化パラメー
タを用いた符号化制御が行われており、前段エンコーダ
における符号化履歴等は考慮されていない。

【０００９】一般に、符号化履歴のある画像は、原画像
とは異なる性質を持つことが知られている。原画像の画
質は一様であるのに対して、例えばＭＰＥＧ２準拠の符
号化が適応され復号された画像では、符号化のピクチャ
タイプに応じて画像の品質が異なっている場合が多い。
これはＭＰＥＧ２が、フレーム間動き補償予測ＤＣＴ
（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒ
ｍ）符号化を行うことに起因しており、ピクチャタイプ
毎に予測精度が異なることが影響している。

【００１０】ここで、ＭＰＥＧ２による符号化では、符
号化画像の品質を高く保つために、フレーム間予測の起
点となるイントラピクチャの画質が重要であるが、符号
化履歴のある画像を再符号化するときで、画質のばらつ
きを考慮しない場合には、予測起点のイントラピクチャ
の画質が影響して、大幅な画質劣化が生じることがあ
る。

【００１１】そのため、特開平７−１０７４６１号公報
に示されるように、前段における符号化パラメータを後
段に伝えて、符号化履歴を踏まえた再符号化を提案する
例もある。この例では、前段エンコーダにおける符号化
パラメータをデコーダで抽出し、復号した画像に同期し
て次段エンコーダに伝送する構成である。

【００１２】この例におけるデコーダは、復号した画像
信号に同期して、別経路で符号化パラメータを後段に伝
える必要があるため、次段エンコーダの入力以前に、既
存のＶＴＲ等を使用した編集・蓄積の操作がある場合、
別経路で伝送される前段符号化パラメータを、既存のＶ
ＴＲ等で保存することが困難である。

【００１３】一方、特開平１０−３２８２９号公報に示
されるように、デコーダで検出した前段エンコーダの符
号化パラメータを、次段エンコーダに伝送することなし
に符号化履歴を踏まえた再符号化を行う例も挙がってい
る。ただし、デコーダにおいては、入力する画像から前
段符号化パラメータを推測する必要があり、推測した符
号化パラメータの種類数に限界があり、かつ推測のため
の回路が必要になるので、装置規模が増大する傾向にあ
った。

【００１４】

【発明が解決しようとする課題】従来の多段画像符号化
装置は、以上のように構成されているので、前段の符号
化履歴を参照しないために、再符号化時に大幅な画質劣
化が起こり得るという課題があった。

【００１５】また、前段エンコーダの符号化パラメータ
をデコーダで検出し、これを復号画像信号と併せて次段
エンコーダに伝達する場合には、段数が３段以上のとき
に、直前の符号化パラメータのみ参照可能であり、２段
以上前の符号化パラメータを参照できないために、最適
な再符号化パラメータの設定に制約があるという課題が
あった。

【００１６】さらに、前段デコーダの出力を次段エンコ
ーダに入力する以前に、編集・蓄積といった操作を行う
場合には、前段デコーダの復号画像信号と併せて符号化
パラメータも編集・蓄積を行う必要があるが、既存のＶ
ＴＲ等の編集・蓄積設備では、符号化パラメータを保存
することが事実上困難であり、上記構成における多段符
号化の画質劣化防止の実現性に課題があった。

【００１７】さらに、次段エンコーダに前段エンコーダ
の符号化パラメータを通知せず、復号画像信号から前段
エンコーダの符号化パラメータを推測する場合は、次段
エンコーダが推測できる符号化パラメータに限りがあ
り、符号化パラメータを伝送する場合に比較して、十分
な符号化履歴を考慮することが困難でという課題があっ
た。また、推測のために必要な回路の実装が不可欠であ
り、装置の小型化・低価格化を図る上で課題があった。

【００１８】一般に符号化履歴のある画像を再度符号化
する場合、前段までの符号化パラメータを参照して、再
符号化のパラメータを決定することで、符号化履歴を考
慮しない場合に比較して良好な画質が実現可能となる。
特にＭＰＥＧ２準拠の画像符号化で多段符号化を実施し
た場合には、ピクチャフォーマットや予測モード、動き
ベクトル、量子化ステップを参照することが効果的であ
るという報告がある。

【００１９】ただし、実際の多段符号化伝送装置では、
各々の符号化段における画像のビットレートが異なる場
合があり、この場合は、必ずしも、前段までのピクチャ
フォーマットや予測モード、動きベクトル、量子化ステ
ップといった符号化パラメータだけで、最適な再符号化
のパラメータを導き出すことが困難であるといった課題
があった。

【００２０】この発明は上記のような課題を解決するた
めになされたもので、必要な回路規模の増加が少なく、
系の途中に編集・蓄積といった操作が介在する場合にお
いても、前段までのエンコーダの符号化パラメータを参
照することにより、最適な再符号化が可能で、良好な画
質を実現する多段画像符号化装置及び多段画像符号化を
得ることを目的とする。

【００２１】

【課題を解決するための手段】この発明に係る多段画像
符号化装置は、画像信号を符号化した符号化ビット列を
復号して復号画像信号を出力するデコーダと、上記デコ
ーダから出力された復号画像信号を符号化し符号化ビッ
ト列を伝送するエンコーダとを複数段備えたものにおい
て、上記デコーダが、上記復号画像信号の復号過程で、
対になる直前のエンコーダの符号化における第１の符号
化パラメータを分離し、上記対になる直前のエンコーダ
の前段までにエンコーダが配置されている場合に、配置
されている上記前段までのエンコーダの符号化における
第２の符号化パラメータを入力して、上記第１の符号化
パラメータを上記第２の符号化パラメータと併せて出力
すると共に、上記第１及び第２の符号化パラメータに同
期して上記復号画像信号を出力し、上記エンコーダが、
上記第１及び第２の符号化パラメータを参照して上記デ
コーダから出力された復号画像信号を符号化し、上記第
１及び第２の符号化パラメータを伝送すると共に、上記
復号画像信号を符号化した符号化ビット列を、上記第１
及び第２の符号化パラメータに同期して伝送するもので
ある。

【００２２】この発明に係る多段画像符号化装置は、第
１及び第２の符号化パラメータが、少なくとも画像のビ
ットレート情報を含んでいるものである。

【００２３】この発明に係る多段画像符号化装置は、デ
コーダが、符号化ビット列を復号すると共に、第１の符
号化パラメータを分離する復号手段と、上記復号手段が
分離した第１の符号化パラメータを記憶・保持する符号
化パラメータ記憶・保持手段と、第２の符号化パラメー
タを入力する前段符号化パラメータ受信手段と、上記符
号化パラメータ記憶・保持手段が記憶・保持した第１の
符号化パラメータを、上記前段符号化パラメータ受信手
段が受信した第２の符号化パラメータと併せて出力する
符号化パラメータ出力手段と、上記第１及び第２の符号
化パラメータに同期して、上記復号手段により復号され
た画像信号を出力する復号画像出力手段とを備えたもの
である。

【００２４】この発明に係る多段画像符号化装置は、エ
ンコーダが、復号画像信号を符号化する符号化手段と、
第１及び第２の符号化パラメータを入力する符号化パラ
メータ入力手段と、上記符号化パラメータ入力手段によ
り入力された第１及び第２の符号化パラメータを参照し
て、上記符号化手段の符号化処理を制御する符号化制御
手段と、上記符号化パラメータ入力手段が入力した第１
及び第２の符号化パラメータを出力する前段符号化パラ
メータ通知手段と、上記符号化手段により符号化された
符号化データを符号化則のシンタックスに従ってビット
列を構成し、構成した符号化ビット列を、上記前段符号
化パラメータ通知手段から出力された第１及び第２の符
号化パラメータに同期して伝送する符号化データ出力手
段とを備えたものである。

【００２５】この発明に係る多段画像符号化装置は、エ
ンコーダが、第１及び第２の符号化パラメータを、ＭＰ
ＥＧ２等のビデオ符号化シンタックス上のピクチャレイ
ヤユーザーデータに多重化して符号化ビット列と共に伝
送するものである。

【００２６】この発明に係る多段画像符号化装置は、デ
コーダが、ＳＭＰＴＥ２９２Ｍ等で定める画像フォーマ
ットの補助データ領域に第１及び第２の符号化パラメー
タを多重化して出力するものである。

【００２７】この発明に係る多段画像符号化装置は、デ
コーダが、ＡＥＳ３等で定めるオーディオサブフレーム
フォーマットの音声チャネルに第１及び第２の符号化パ
ラメータを多重化して出力するものである。

【００２８】この発明に係る多段画像符号化装置は、デ
コーダが出力する復号画像信号と第１及び第２の符号化
パラメータを記録・編集・再生し、エンコーダに出力す
る画像／符号化パラメータ記録・編集・再生手段を備え
たものである。

【００２９】この発明に係る多段画像符号化方法は、何
らかの符号化処理を受けた履歴のある画像信号を復号処
理し、復号した画像信号に再度符号化処理を行うものに
おいて、上記復号処理時に、直前の符号化における第１
の符号化パラメータを分離し、上記直前の符号化の以前
に符号化が行われている場合に、上記以前の符号化にお
ける第２の符号化パラメータを入力して、上記第１の符
号化パラメータを上記第２の符号化パラメータと併せて
出力すると共に、上記第１及び第２の符号化パラメータ
に同期して上記復号した画像信号を出力し、上記再度符
号化処理時に、上記第１及び第２の符号化パラメータを
参照して上記復号した画像信号を符号化し、上記第１及
び第２の符号化パラメータを伝送すると共に、上記復号
した画像信号を符号化した符号化ビット列を、上記第１
及び第２の符号化パラメータに同期して伝送するもので
ある。

【００３０】

【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態１．図１は実施の形態１による多段画像符号
化伝送装置の構成を示す図である。図において、１１
は、中央局のスタジオ等に配置され、伝送路５により伝
送された第１段符号化ビット列１０２を復号し、第１段
復号画像信号（復号画像信号）１０３と第１段符号化パ
ラメータ（第２の符号化パラメータ）１０４を出力する
第１段デコーダである。

【００３１】また、図１において、１２は、中央局のス
タジオ等に配置され、第１段デコーダ１１からの第１段
復号画像信号１０３及び第１段符号化パラメータ１０４
を記録・編集・再生する画像／符号化パラメータ記録・
編集・再生手段であり、スイッチャ２１，２３やＶＴＲ
２２から構成される。画像／符号化パラメータ記録・編
集・再生手段１２は、第１段デコーダ１１と第２段エン
コーダ１３との間に配置されているが、これ以降の各デ
コーダとエンコーダとの間にも配置されても良い。

【００３２】さらに、図１において、１３は、中央局の
スタジオ等に配置され、第１段デコーダ１１からの第１
段復号画像信号１０３や、画像／符号化パラメータ記録
・編集・再生手段１２からの第１段復号画像信号１０３
を、第１段符号化パラメータ１０４を参照して再度符号
化し、第２段符号化ビット列（符号化ビット列）１０５
と前段符号化パラメータ（第２の符号化パラメータ）１
０６を出力する第２段エンコーダ（エンコーダ）であ
る。この前段符号化パラメータ１０６は、第２段エンコ
ーダ１３が参照した第１段符号化パラメータ１０４と等
価である。

【００３３】さらに、図１において、１４は、地方局の
スタジオ等に配置され、伝送路５により伝送された第２
段符号化ビット列１０５を復号し、第２段復号画像信号
（復号画像信号）１０７と第２段符号化パラメータ（第
１及び第２の符号化パラメータ）１０８を、図示されて
いない次段エンコーダに出力する第２段デコーダ（デコ
ーダ）である。その他の構成は、従来の図６に示す構成
と同一である。

【００３４】図２は第２段デコーダ１４の構成を示す図
である。ここでは、第２段デコーダ１４として示してい
るが、第２段以降の他のデコーダも同一の構成を有して
いる。図２において、３１は第２段符号化ビット列１０
５を画像信号に復号すると共に、第２段エンコーダ１３
における符号化パラメータを分離する復号手段、３２は
復号された画像信号を所定のインタフェース条件に合わ
せて第２段復号画像信号１０７として出力する復号画像
出力手段、３３は復号手段３１が分離した第２段エンコ
ーダ１３の符号化パラメータを記録・保持する符号化パ
ラメータ記録・保持手段である。

【００３５】また、図２において、３４は前段符号化パ
ラメータ１０６を分離・受信する前段符号化パラメータ
受信手段である。ここで、前段符号化パラメータ１０６
は、第２段デコーダ１４と対になる第２段エンコーダ１
３より更に前段の第１段エンコーダ４による符号化パラ
メータである。前段符号化パラメータ１０６が、第２段
符号化ビット列１０５とは別系統で伝送された場合に
は、前段符号化パラメータ受信手段３４が直接受信す
る。

【００３６】さらに、図２において、３５は、符号化パ
ラメータ記録・保持手段３３が出力する第２段エンコー
ダ１３の符号化パラメータ及び前段符号化パラメータ受
信手段３４が受信した前段符号化パラメータ１０６を所
定のフォーマットに編集し、復号画像出力手段３２が出
力する第２段復号画像信号１０７と位相を揃えて第２段
符号化パラメータ１０８として出力する符号化パラメー
タ出力手段である。第２段符号化パラメータ１０８は、
復号画像出力手段３２から第２段復号画像信号１０７と
同系統で出力されるか、符号化パラメータ出力手段３５
から別系統で直接出力される。

【００３７】図３は第２段エンコーダ１３の構成を示す
図である。ここでは、第２段エンコーダ１３として示し
ているが、第２段エンコーダ以降の他のエンコーダも同
一の構成を有している。図３において、４１は入力する
第１段復号画像信号１０３を符号化し符号化データを出
力する符号化手段で、４２は、第１段デコーダ１１が第
１段復号画像信号１０３にあわせて出力する第１段符号
化パラメータ１０４を分離・受信し、符号化手段４１に
より符号化処理される画像フレームに同期して、第１段
符号化パラメータ１０４を出力する符号化パラメータ入
力手段である。また、第１段符号化パラメータ１０４
が、第１段復号画像信号１０３と別系統で伝送された場
合には、符号化パラメータ入力手段４２が直接入力す
る。

【００３８】また、図３において、４３は、入力する第
１段復号画像信号１０３の性質を考慮して、符号化パラ
メータ入力手段４２からの第１段符号化パラメータ１０
４も参照して、符号化手段４１に対して最適な符号化制
御を行う符号化制御手段であり、４４は、符号化パラメ
ータ入力手段４２から与えられる第１段符号化パラメー
タ１０４を、対になる第２段デコーダ１４に前段符号化
パラメータ１０６として、第２段符号化ビット列１０５
と同期して通知する前段符号化パラメータ通知手段であ
る。

【００３９】さらに、図３において、４５は符号化手段
４１が出力する符号化データを、前段符号化パラメータ
通知手段４４が出力する前段符号化パラメータ１０６の
所定のビット列に位相を揃えて同期させて多重化し、第
２段符号化ビット列１０５と前段符号化パラメータ１０
６を出力する符号化データ出力手段である。前段符号化
パラメータ１０６を、第２段符号化ビット列１０５と別
系統で伝送する場合には、前段符号化パラメータ通知手
段４４から直接出力される。

【００４０】次に動作について説明する。図１におい
て、第１段エンコーダ４は、ＴＶカメラ１やＶＴＲ２又
はその他の画像入力の中からスイッチャ３によって選択
された画像信号１０１を符号化し、その結果を第１段符
号化ビット列１０２として出力する。ここでは、説明の
簡略化のために、第１段エンコーダ４の符号化対象の画
像信号１０１として、符号化履歴を持たない原画像を想
定するが、実際の応用ではその限りではない。

【００４１】第１段符号化ビット列１０２は、主に素材
画像の配信用に用いられ、伝送路５を経由して伝送さ
れ、中央局のスタジオ等に配置されている第１段デコー
ダ１１が復号処理して第１段復号画像信号１０３を出力
する。そのとき、第１段デコーダ１１は、復号処理の過
程で得られた第１段エンコーダ４が符号化制御に用いた
第１段符号化パラメータ１０４を出力する。なお、第１
段符号化パラメータ１０４には、画像のビットレート情
報、予測モード等の符号化方式に特有の値が含まれてい
る。このように、第１段符号化パラメータ１０４に、画
像のビットレート情報を含めることで、後段の再符号化
における画像のビットレートが異なる場合に、符号化パ
ラメータに含まれるピクチャ毎の符号量等の情報を、再
符号化のビットレートに相当な量に読み替えることがで
き、前段符号化の履歴を踏まえた符号化制御が可能とな
る。

【００４２】中央局のスタジオ等では、第１段復号画像
信号１０３をモニタ７にて目視確認すると共に、素材画
像として他の素材画像と編集して一連の番組を制作する
が、このためには、ＶＴＲ２２やスイッチャ２１，２３
といった既存の編集用機器により構成される画像／符号
化パラメータ記録・編集・再生手段１２が用いられる。
よって、第１段デコーダ１１が出力する第１段符号化パ
ラメータ１０４は、第１段復号画像信号１０３と同期関
係を保ち、かつ既存の機器から構成される画像／符号化
パラメータ記録・編集・再生手段１２により、容易に記
録・保存・編集・再生される必要がある。

【００４３】画像／符号化パラメータ記録・編集・再生
手段１２により製作された番組は、２次配信のために第
２段エンコーダ１３により再度符号化されて、例えば地
方局のスタジオ等に伝送される。ここで、第２段エンコ
ーダ１３は、第１段デコーダ１１による第１段復号画像
信号１０３の箇所を再符号化する際に、併せて出力され
る第１段符号化パラメータ１０４を参照して、第２段エ
ンコーダ１３の符号化条件に最適な符号化パラメータを
もとに符号化処理を行い、第２段符号化ビット列１０５
として伝送路５に出力する。また、第２段エンコーダ１
３は、受信した第１段符号化パラメータ１０４が示す情
報等を前段符号化パラメータ１０６として、第２段符号
化ビット列１０５と併せて伝送路５に出力する。

【００４４】具体的な前段符号化パラメータ１０６の伝
送方法としては、例えばＭＰＥＧ２ビデオ符号化シンタ
ックスに規定されるピクチャレイヤのユーザーデータ領
域に埋め込んで、第２段符号化ビット列１０５に多重化
した形態で伝送することが考えられ、この方法を採れば
伝送方式に特別な配慮をすることなく、第２段符号化ビ
ット列１０５との位相同期関係を保持したまま、前段符
号化パラメータ１０６を伝送できる。

【００４５】例えば、地方局のスタジオ等に配置された
第２段デコーダ１４は、伝送路５により伝送された第２
段符号化ビット列１０５に復号処理を施し、第２段復号
画像信号１０７を出力する。このとき、第２段デコーダ
１４は、第１段デコーダ１１と同様に、第２段符号化パ
ラメータ１０８を出力するが、第２段エンコーダ１３が
与える前段符号化パラメータ１０６（この例では第１段
符号化パラメータ１０４に相当）と、自己の復号過程で
得られる第２段エンコーダ１３による符号化パラメータ
を併せて、第２段符号化パラメータ１０８とすること
で、第１段目からの符号化履歴を順次後段に伝達するこ
とができる。

【００４６】第２段デコーダ１４が復号した第２段復号
画像信号１０７は、さらにローカルコマーシャルの差し
替え等といった編集作業をへて、第３段エンコーダ（図
示せず）により、再々符号化されて実際に商用放送され
る。第３段エンコーダは、第２段エンコーダ１３と同様
に、符号化履歴のある画像について、第２段符号化パラ
メータ１０８を参照して、自己の符号化条件に最適な符
号化パラメータをもとに符号化処理を行う。

【００４７】ここで、第３段エンコーダと第２段エンコ
ーダ１３との違いは、第３段エンコーダでは、直前のエ
ンコーダ（第２段エンコーダ１３）における符号化パラ
メータの他に、更に前段エンコーダ（第１段エンコーダ
４）の符号化パラメータ（第１段符号化パラメータ１０
４）を参照できることにある。また、第３段エンコーダ
は自己の受信した第２段符号化パラメータ１０８を、第
２段エンコーダ１３と同様に、対になるデコーダに伝達
することで、再符号化の段数に依らず、第１段目からの
符号化履歴を保存することができる。

【００４８】次にデコーダの動作を、第２段デコーダ１
４を例にとって説明する。図２において、復号手段３１
は第２段符号化ビット列１０５を受けて、符号化則にの
っとって画像信号を復号する。この過程では、第２段エ
ンコーダ１３が符号化に用いたパラメータが逐次分離さ
れる。例えば符号化則にＭＰＥＧ２を用いた場合には、
画像ビットレートやピクチャ当りの符号量、ピクチャタ
イプ（イントラ／順方向予測／両方向予測の別）、ＤＣ
Ｔ係数の量子化ステップ値、動きベクトル等が符号化パ
ラメータとして分離可能である。

【００４９】復号手段３１が復号した画像信号は、所望
の画像出力フォーマットに変換する復号画像出力手段３
２により、例えば、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ
Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖ
ｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）２９２Ｍが規定する
シリアルデジタル画像信号等に変換されて、第２段復号
画像信号１０７として外部に出力される。ここで復号画
像出力手段３２は、ＳＭＰＴＥ２９２Ｍのシリアルデジ
タルフォーマット等で、画像信号の他に補助データを多
重化伝送できるフォーマットを用いる場合には、後述の
第２段符号化パラメータ１０８を該補助データ領域に多
重化して、第２段復号画像信号１０７と第２段符号化パ
ラメータ１０８を併せて出力することができる。

【００５０】一方、復号手段３１が分離した符号化パラ
メータは、符号化パラメータ記録・保持手段３３に出力
される。該符号化パラメータ記録・保持手段３３におい
ては、次段符号化に必要な符号化パラメータの取捨選択
を行い、所定のフォーマットに符号化パラメータをパッ
キングして、且つ復号手段３１が復号した復号画像信号
の位相と整合するように位相調整を行った上で、符号化
パラメータ出力手段３５に伝達する。

【００５１】前段符号化パラメータ受信手段３４は、既
に２段以上の符号化を施された符号化ビット列について
は、対になる第２段エンコーダ１３が第２段符号化ビッ
ト列１０５と共に送信する前段符号化パラメータ１０６
を受信・分離する。この例では、第２段エンコーダ１３
が第１段デコーダ１１から受信した第１段符号化パラメ
ータ１０４が、前段符号化パラメータ１０６に相当す
る。受信・分離された前段符号化パラメータ１０６は、
復号手段３１が復号した画像信号の位相と整合するよう
に位相調整されて、符号化パラメータ出力手段３５に出
力される。

【００５２】符号化パラメータ出力手段３５は、入力し
た符号化パラメータ（第２段エンコーダ１３における符
号化パラメータに相当）と前段符号化パラメータ（第１
段エンコーダ４における符号化パラメータに相当）を所
定のフォーマットでマージして、第２段符号化パラメー
タ１０８を生成し、第２段復号画像信号１０７に多重化
するために復号画像出力手段３２に伝達される。

【００５３】ここで、復号画像出力手段３２の出力フォ
ーマットが、ＳＭＰＴＥ２９２Ｍ等の補助データの多重
化をサポートしない場合には、第２段復号画像信号１０
７とは別系統で次段エンコーダに伝達するために、符号
化パラメータ出力手段３５は、第２段符号化パラメータ
１０８を、後述するＡＥＳ（Ａｕｄｉｏ Ｅｎｇｉｎｅ
ｅｒｉｎｇ Ｓｏｃｉｅｔｙ）３フォーマット等の別の
フォーマットに変換して外部に出力する。

【００５４】次にエンコーダの動作を、第２段エンコー
ダ１３を例にとって説明する。図３において、符号化手
段４１は所定の符号化則にのっとって第１段復号画像信
号１０３に符号化処理を施す。ここで、符号化則にＭＰ
ＥＧ２を用いた場合、符号化対象の画像信号の特性に応
じて、例えば画像ビットレートやピクチャ当りの符号
量、ピクチャタイプ（イントラ／順方向予測／両方向予
測の別）、ＤＣＴ係数の量子化ステップ値等の符号化パ
ラメータを最適に制御することで、良好な符号化特性を
得ることができる。

【００５５】第２段エンコーダ１３において、符号化パ
ラメータの決定は符号化制御手段４３が行う。ここで、
符号化制御手段４３は、符号化手段４１が入力する第１
段復号画像信号１０３の特性を計数処理することで、符
号化対象画像信号の特性を把握すると共に、符号化パラ
メータ入力手段４２が受信する第１段デコーダ１１が分
離出力した第１段符号化パラメータ１０４を参照して、
第２段エンコーダ１３が用いる符号化パラメータを求め
る。ここで、符号化制御手段４３は符号化パラメータの
内容を解析することで、符号化対象画像の符号化履歴有
無や符号化履歴の段数、各符号化段における符号化パラ
メータの具体的値を把握し、符号化対象画像に最も適し
た符号化パラメータを決定する。

【００５６】簡単な制御例としては、第１段エンコーダ
４におけるピクチャタイプを第２段エンコーダ１３がそ
のまま用いることで、第２段符号化におけるイントラピ
クチャの画質劣化を最小限に抑えることができ、結果と
して第２段エンコーダ１３の符号化品質が向上すること
が知られている。

【００５７】符号化パラメータ入力手段４２は、第１段
符号化パラメータ１０４を受信して、画像信号の符号化
処理の位相に合わせて、符号化制御手段４３の制御によ
り符号化手段４１に出力する。ここで、第１段符号化パ
ラメータ１０４が、例えばＳＭＰＴＥ２９２Ｍが規定す
るシリアルデジタル画像信号の補助データ領域に多重化
されている場合には、第１段復号画像信号１０３から該
第１段符号化パラメータ１０４を分離して用いる。一
方、第１段符号化パラメータ１０４が、第１段復号画像
信号１０３と別系統で与えられる場合には、第１段復号
画像信号１０３とは独立に第１段符号化パラメータ１０
４の受信処理を行う。なお、該符号化パラメータ入力手
段４２が受信して出力位相調整された第１段符号化パラ
メータ１０４は、前段符号化パラメータ通知手段４４に
伝達される。

【００５８】前段符号化パラメータ通知手段４４は、第
１段からの符号化履歴を途中で失うことなく後段に伝達
するための機能ブロックであり、符号化パラメータ入力
手段４２が受信した符号化パラメータを、前段符号化パ
ラメータとして対になるデコーダに伝達するものであ
る。この例では、前段符号化パラメータは、第１段デコ
ーダ１１が分離出力した第１段符号化パラメータ１０４
であり、該前段符号化パラメータ通知手段４４におい
て、符号化処理との位相調整が施された後に、第２段デ
コーダ１４に伝送される。

【００５９】具体的な伝達方法はいくつか考えられる
が、符号化則にＭＰＥＧ２を用いる場合には、符号化デ
ータ出力であるビット列のピクチャレイヤのユーザーデ
ータ領域に多重化して伝送することも可能である。ま
た、ビット列出力とは別系で対になるデコーダに伝達す
ることも可能である。

【００６０】符号化データ出力手段４５は、符号化手段
４１が処理した符号化データを符号化則のシンタックス
に従ってビット列を構成し出力する。ここで、前述の前
段符号化パラメータ１０６を該ビット列に多重化する機
能は、本機能ブロックが担当する。

【００６１】次にデコーダからの復号画像信号と符号化
パラメータの具体的出力方法について説明する。前述の
とおり、デコーダからの復号画像信号出力は、次段エン
コーダで再符号化する前に、記録・編集の操作が加わる
ことが一般的である。記録・編集・再生の操作は、既存
のＶＴＲやスイッチャで構成する装置、図１では、画像
／符号化パラメータ記録・編集・再生手段１２が行う場
合が多いが、この実施の形態では、復号画像信号と同期
関係を保持して、符号化パラメータを記録・編集・再生
する処理を以下の方法で実現する。

【００６２】図４はＨＤＴＶ（Ｈｉｇｈ Ｄｅｆｉｎｉ
ｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎ）信号（１０８０Ｉ信
号）のシリアルデジタルフォーマットを規定しているＳ
ＭＰＴＥ２９２Ｍによる画像フォーマットを示す図であ
り、画像データＹ信号１フレーム分の構成を示したもの
である。ここで、「１０８０」は走査線の数を示し、
「Ｉ」はＩｎｔｅｒｌａｃｅ（飛び越し走査）を意味し
ている。

【００６３】図４において、「ＳＡＶ」は画像データの
開始（Ｓｔａｒｔ ｏｆ Ａｃｔｉｖｅ Ｖｉｄｅｏ）
を示し、「ＥＡＶ」は画像データの終了（Ｅｎｄ ｏｆ
Ａｃｔｉｖｅ Ｖｉｄｅｏ）を示している。また、走
査線数（ｌｉｎｅ）はＳＭＰＴＥ２９２Ｍで規定されて
いるが、画素数は特に規定されていない。図４に示すと
おり、１フレーム分の画像データに付随して補助データ
領域が確保されており、フレーム単位で画像信号に同期
した補助データの多重化・保存が可能であり、物理的な
補助データ容量はフレーム当り約９３５Ｋバイトある。

【００６４】この実施の形態における多段画像符号化伝
送装置では、符号化パラメータを該補助データ領域に多
重化して出力する。この操作により、デコーダが分離・
生成した符号化パラメータは、画像信号との同期関係を
保持して、画像と同系統で出力可能である。また、デコ
ーダ外部では、既存のＶＴＲ等を用いた記録・編集・再
生操作を施されても、このＳＭＰＴＥ２９２Ｍによる画
像フォーマットを使用すれば、画像信号と同期した符号
化パラメータの保存が可能である。

【００６５】旧式のＶＴＲやスイッチャの中には、ＳＭ
ＰＴＥ２９２Ｍ等のシリアルデジタルフォーマットの入
出力を備えていない装置も多くある。この実施の形態に
おける多段画像符号化伝送装置では、上記シリアルデジ
タルフォーマットの入出力を備えないＶＴＲやスイッチ
ャで構成された記録・編集・再生手段を用いても、符号
化パラメータを画像信号と同期して保存する手段を提供
する。具体的には、図２の符号化パラメータ出力手段３
５が、第２段復号画像信号１０７と多重化せずに、別系
統の音声チャネルを使用して、画像信号に同期した第２
段符号化パラメータ１０８を出力する。

【００６６】旧来の放送業務用ＶＴＲ等は、画像と音声
を別系統で処理しても、各々の同期関係は保持するよう
構成されている。１画像信号につき音声を８チャネル用
意し、ＡＥＳ３フォーマットのディジタル音声入出力を
備えた形態のものが一般的である。画像信号の編集操作
においては、素材画像と併せて、音声信号も同時に処理
することが多い。ここで、近年のディジタル放送で用い
る音声チャネル数は多くて６チャネルであり、不使用と
なる音声チャネルは少なくとも２つは存在する。

【００６７】図５はＡＥＳ３で規定されるオーディオサ
ブフレームフォーマットを示す図である。図において、
「ＡＵＸ」は特に用途を規定しない補助データの領域、
「パリティフラグＶ」は「パリティビットＰ」が有効か
／無効かを示す領域、「ユーザデータＵ」はユーザが使
用するユーザデータ領域、「チャネルステータスＣ」は
２チャネルの使用方法を示す領域である。

【００６８】ここでＡＥＳ３オーディオサブフレーム
は、音声１チャネルの１サンプル分のデータであり、音
声サンプル周波数が４８ｋＨｚのときには、フレームレ
ート３０Ｈｚの画像１フレームについて、１６００サン
プルの音声データが存在する。図５に示すとおり、オー
ディオサブフレームあたり１ビットの「ユーザーデータ
Ｕ」の領域が確保されており、画像１フレームについて
音声１チャネルで２００バイトあり、上記条件下におい
て、２音声チャネルを符号化パラメータ伝送用に割り当
てると、画像１フレームにつき４００バイトの符号化パ
ラメータを出力できる。前述のとおり、該音声チャネル
に埋め込んだ符号化パラメータは、既存のＶＴＲ等を用
いて画像信号との同期関係を保持したまま編集可能であ
る。

【００６９】音声チャネルに埋め込む符号化パラメータ
のデータレートを高める手段としては、ＡＥＳ３フォー
マットの音声データ領域にある補助データ領域（ＡＵＸ
ビット）を用いることもできる。この場合、画像１フレ
ームにつき１６００バイトの符号化パラメータが出力可
能である。

【００７０】また、不使用の音声チャネルの音声データ
領域を全て用いても良い。このとき、符号化パラメータ
情報に適当なフレーミング（データ転送手順）と誤り訂
正を施せば、ＡＥＳ３フォーマットの音声をアナログ音
声に変換して、アナログ音声チャネルを経由して符号化
パラメータを伝送することもできる。

【００７１】以上のように、この実施の形態１によれ
ば、第２段デコーダ以降のデコーダは、前段までの符号
化パラメータを次段エンコーダに伝送し、次段エンコー
ダは、前段までのエンコーダの全ての符号化パラメータ
を参照して符号化を行うことにより、画質劣化を少なく
することができるという効果が得られる。

【００７２】また、符号化パラメータが、少なくとも画
像のビットレート情報を含むことにより、確実に画質劣
化を少なくすることができるという効果が得られる。

【００７３】さらに、既存のＶＴＲ等の機器との親和性
を考慮して、第１段以降のデコーダは、ＳＭＰＴＥ２９
２Ｍ等のシリアルデジタルフォーマットや、ＡＥＳ３等
の音声フォーマットを使用して、符号化パラメータを伝
送するようにしているので、系の途中に記録・編集・再
生といった操作が介在する場合でも、符号化パラメータ
を保存することができるので、全系に亘って前段符号化
のパラメータを参照して、画質劣化の少ない編集・再生
ができるという効果が得られる。

【００７４】

【発明の効果】以上のように、この発明によれば、デコ
ーダが対になる直前のエンコーダの符号化における第１
の符号化パラメータと、前段までの第２の符号化パラメ
ータをエンコーダに伝送し、エンコーダは、第１及び第
２の符号化パラメータを参照して符号化を行うことによ
り、画質劣化を少なくすることができるという効果があ
る。

【００７５】この発明によれば、第１及び第２の符号化
パラメータが、少なくとも画像のビットレート情報を含
むことにより、確実に画質劣化を少なくすることができ
るという効果がある。

【００７６】この発明によれば、デコーダがＳＭＰＴＥ
２９２Ｍ等で定める補助データ領域に第１及び第２の符
号化パラメータを多重化して出力することにより、既存
のＶＴＲ等により記録・編集・再生が行えるという効果
がある。

【００７７】この発明によれば、デコーダがＡＥＳ３等
で定めるオーディオサブフレームフォーマットの音声チ
ャネルに、第１及び第２の符号化パラメータを多重化し
て出力することにより、既存のＶＴＲ等により記録・編
集・再生が行えるという効果がある。

【００７８】この発明によれば、復号処理時に、直前の
符号化における第１の符号化パラメータと、直前の符号
化以前の符号化における第２の符号化パラメータを伝送
し、再度符号化処理時に、第１及び第２の符号化パラメ
ータを参照して符号化を行うことにより、画質劣化を少
なくすることができるという効果がある。

【図面の簡単な説明】

【図１】 この発明の実施の形態１による多段画像符号
化伝送装置の構成を示す図である。

【図２】 この発明の実施の形態１によるデコーダの構
成を示す図である。

【図３】 この発明の実施の形態１によるエンコーダの
構成を示す図である。

【図４】 ＳＭＰＴＥ２９２Ｍが規定する画像フォーマ
ットを示す図である。

【図５】 ＡＥＳ３で規定されるオーディオサブフレー
ムフォーマットを示す図である。

【図６】 従来の多段画像符号化伝送装置の構成を示す
図である。

【符号の説明】

１２ 画像／符号化パラメータ記録・編集・再生手段、
１３ 第２段エンコーダ（エンコーダ）、１４ 第２段
デコーダ（デコーダ）、３１ 復号手段、３２復号画像
出力手段、３３ 符号化パラメータ記録・保持手段、３
４ 前段符号化パラメータ受信手段、３５ 符号化パラ
メータ出力手段、４１ 符号化手段、４２ 符号化パラ
メータ入力手段、４３ 符号化制御手段、４４ 前段符
号化パラメータ通知手段、４５ 符号化データ出力手
段、１０３ 第１段復号画像信号（復号画像信号）、１
０４ 第１段符号化パラメータ（第２の符号化パラメー
タ）、１０５ 第２段符号化ビット列（符号化ビット
列）、１０６ 前段符号化パラメータ（第２の符号化パ
ラメータ）、１０７ 第２段復号画像信号（復号画像信
号）、１０８ 第２段符号化パラメータ（第１及び第２
の符号化パラメータ）。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 坂手 寛治 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 丹野 興一 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 Ｆターム(参考） 5C059 KK01 LB05 MA00 MA23 RB01 RB08 RC11 SS01 SS06 SS11 SS19 5K028 EE03 KK01 MM12 NN00 SS04 SS14

Claims (9)

【特許請求の範囲】
1. 【請求項１】 画像信号を符号化した符号化ビット列を
   復号して復号画像信号を出力するデコーダと、 上記デコーダから出力された復号画像信号を符号化し符
   号化ビット列を伝送するエンコーダとを複数段備えた多
   段画像符号化伝送装置において、 上記デコーダが、 上記復号画像信号の復号過程で、対になる直前のエンコ
   ーダの符号化における第１の符号化パラメータを分離
   し、上記対になる直前のエンコーダの前段までにエンコ
   ーダが配置されている場合に、配置されている上記前段
   までのエンコーダの符号化における第２の符号化パラメ
   ータを入力して、上記第１の符号化パラメータを上記第
   ２の符号化パラメータと併せて出力すると共に、上記第
   １及び第２の符号化パラメータに同期して上記復号画像
   信号を出力し、 上記エンコーダが、 上記第１及び第２の符号化パラメータを参照して上記デ
   コーダから出力された復号画像信号を符号化し、上記第
   １及び第２の符号化パラメータを伝送すると共に、上記
   復号画像信号を符号化した符号化ビット列を、上記第１
   及び第２の符号化パラメータに同期して伝送することを
   特徴とする多段画像符号化伝送装置。
2. 【請求項２】 第１及び第２の符号化パラメータが、少
   なくとも画像のビットレート情報を含んでいることを特
   徴とする請求項１記載の多段画像符号化伝送装置。
3. 【請求項３】 デコーダが、 符号化ビット列を復号すると共に、第１の符号化パラメ
   ータを分離する復号手段と、 上記復号手段が分離した第１の符号化パラメータを記憶
   ・保持する符号化パラメータ記憶・保持手段と、 第２の符号化パラメータを入力する前段符号化パラメー
   タ受信手段と、 上記符号化パラメータ記憶・保持手段が記憶・保持した
   第１の符号化パラメータを、上記前段符号化パラメータ
   受信手段が受信した第２の符号化パラメータと併せて出
   力する符号化パラメータ出力手段と、 上記第１及び第２の符号化パラメータに同期して、上記
   復号手段により復号された画像信号を出力する復号画像
   出力手段とを備えたことを特徴とする請求項１記載の多
   段画像符号化伝送装置。
4. 【請求項４】 エンコーダが、 復号画像信号を符号化する符号化手段と、 第１及び第２の符号化パラメータを入力する符号化パラ
   メータ入力手段と、 上記符号化パラメータ入力手段により入力された第１及
   び第２の符号化パラメータを参照して、上記符号化手段
   の符号化処理を制御する符号化制御手段と、 上記符号化パラメータ入力手段が入力した第１及び第２
   の符号化パラメータを出力する前段符号化パラメータ通
   知手段と、 上記符号化手段により符号化された符号化データを符号
   化則のシンタックスに従ってビット列を構成し、構成し
   た符号化ビット列を、上記前段符号化パラメータ通知手
   段から出力された第１及び第２の符号化パラメータに同
   期して伝送する符号化データ出力手段とを備えたことを
   特徴とする請求項１記載の多段画像符号化伝送装置。
5. 【請求項５】 エンコーダが、 第１及び第２の符号化パラメータを、ＭＰＥＧ２等のビ
   デオ符号化シンタックス上のピクチャレイヤユーザーデ
   ータに多重化して符号化ビット列と共に伝送することを
   特徴とする請求項１記載の多段画像符号化伝送装置。
6. 【請求項６】 デコーダが、 ＳＭＰＴＥ２９２Ｍ等で定める画像フォーマットの補助
   データ領域に第１及び第２の符号化パラメータを多重化
   して出力することを特徴とする請求項１記載の多段画像
   符号化伝送装置。
7. 【請求項７】 デコーダが、 ＡＥＳ３等で定めるオーディオサブフレームフォーマッ
   トの音声チャネルに第１及び第２の符号化パラメータを
   多重化して出力することを特徴とする請求項１記載の多
   段画像符号化伝送装置。
8. 【請求項８】 デコーダが出力する復号画像信号と第１
   及び第２の符号化パラメータを記録・編集・再生し、エ
   ンコーダに出力する画像／符号化パラメータ記録・編集
   ・再生手段を備えたことを特徴とする請求項６から請求
   項７のうちのいずれか１項記載の多段画像符号化伝送装
   置。
9. 【請求項９】 何らかの符号化処理を受けた履歴のある
   画像信号を復号処理し、復号した画像信号に再度符号化
   処理を行う多段画像符号化伝送方法において、 上記復号処理時に、直前の符号化における第１の符号化
   パラメータを分離し、上記直前の符号化の以前に符号化
   が行われている場合に、上記以前の符号化における第２
   の符号化パラメータを入力して、上記第１の符号化パラ
   メータを上記第２の符号化パラメータと併せて出力する
   と共に、上記第１及び第２の符号化パラメータに同期し
   て上記復号した画像信号を出力し、 上記再度符号化処理時に、上記第１及び第２の符号化パ
   ラメータを参照して上記復号した画像信号を符号化し、
   上記第１及び第２の符号化パラメータを伝送すると共
   に、上記復号した画像信号を符号化した符号化ビット列
   を、上記第１及び第２の符号化パラメータに同期して伝
   送することを特徴とする多段画像符号化伝送方法。