JP2000312363A - 動画像符号化方式の変換方法及びその装置 - Google Patents

Abstract

(57)【要約】 【課題】 動画像符号化方式を変換する際に画質
低下を抑えながらレート制御を行うようにすること。 【解決手段】 この動画像符号化方式の変換方法は、
第１の動画像符号化方式の第１データ系列から1フレー
ム分のデータを読み出し、さらに後続フレームの符号化
モードを先読みして記録し、先読みされた後続フレーム
の符号化モードがフレーム内符号化である場合は、第2
の動画像符号化方式に変換された第２データ系列の発生
符号量に応じて現フレームの符号化を行わないか、ある
いは、発生符号量を減ずる制御を行う。そして、第１デ
ータ系列中に存在するフレーム内符号化モードで符号化
されたデータを、優先的に第２データ系列に変換する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ある符号化方式で
記録された動画像データを他の符号化方式の動画像デー
タに変換するための方法及び装置に関する。

【０００２】

【従来の技術】近年、音声、画像、その他のデータを統
合的に扱うマルチメディア時代を迎え、従来からの情報
メディア、例えば、新聞、雑誌、テレビ、ラジオ、電話
等の情報を人に伝達する手段がマルチメディアの対象と
して取り上げられるようになってきた。

【０００３】一般に、マルチメディアとは、文字だけで
なく、図形、音声、特に画像等を同時に関連づけて表す
ことをいうが、上記従来の情報メディアをマルチメディ
アの対象とするには、その情報をディジタル形式にして
表すことが必須条件となる。ところが、上記各情報メデ
ィアの持つ情報量をディジタル情報量として見積もって
みると、文字の場合１文字当たりの情報量は１〜２バイ
トであるのに対し、音声の場合１秒当たり６４kb（電話
品質）、さらに動画については１秒当たり１００Mb（現
行テレビ受信品質）以上の情報量が必要となり、上記情
報メディアでその膨大な情報をディジタル形式でそのま
ま扱うことは現実的では無い。

【０００４】例えば、テレビ電話は、６４kbps〜１．５
Mbpsの伝送速度を持つサービス総合ディジタル網（ＩＳ
ＤＮ:Integrated Services Digital Network）によって
すでに実用化されているが、テレビ・カメラの映像をそ
のままＩＳＤＮで送ることは不可能である。

【０００５】そこで、必要となってくるのが情報の圧縮
技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ
（国際電気通信連合 電気通信標準化部門）で国際標準
化されたＨ．２６１規格やH.263規格の動画圧縮技術が
用いられている。

【０００６】また、ＭＰＥＧ規格の情報圧縮技術による
と、通常のテレビ放送動画データが２〜１５Mbpsに圧縮
される。

【０００７】ここで、ＭＰＥＧ（Moving Picture Exper
ts Group)とは、世界標準化機構(International Organi
zation for Standardization、 ISO)の音声・動画符号
化の標準化を進めてきた作業グループ（ISO/IEC JTC1/S
C29/WG11)を指すが、同時にこのグループが定めたデー
タ圧縮の国際規格をも意味する。現在、ＭＰＥＧによっ
て、物体単位で符号化・操作を可能とし、マルチメディ
ア時代に必要な新しい機能を実現するＭＰＥＧ４が規格
化されつつある。

【０００８】このように、複数の動画像符号化標準が用
いられようとしているが、今後の課題に符号化データ
（以後、ビットストリームとよぶ）に互換性がないこと
が挙げられる。

【０００９】例えばMPEG4に基づく復号化器はH.263ビッ
トストリームは復号できるとの規定はあるが、上記した
H.261、H.263、MPEG2、MPEG4の符号化方式間では、一般
的にビットストリームに互換性がない（すなわち、異な
る方式に基づく符号化器と復号化器を対として用いるこ
とができない）。

【００１０】このために、異なる符号化方式に基づくビ
ットストリームを変換する装置（以後、トランスコーダ
ーとよぶ）が必要になっている。

【００１１】図１にトランスコーダーの概念図を示す。
ここでは異なる符号化方式をA、Bとし、方式Aによる復
号化器101と方式Bによる符号化器103をフレームメモリ
および画像変換部102を介して接続している。

【００１２】例えば、方式Aと方式ＢをそれぞれMPEG2
（画像サイズ７０４×４８０画素）、H.263（画像サイ
ズ３６０×２８８画素）と考えてみる。画像サイズが異
なるものの、一度、ビットストリームを画像に変換し
て、再度符号化するため変換を行うことができる。

【００１３】ところで、上記したH.261、H.263、MPEG
2、MPEG4の符号化方式は、いずれも動き補償離散コサイ
ン変換(Motion-Compensated Discrete Cosine Transfor
mation)符号化方式（MC-DCT符号化と以後略す）が共通
の枠組みとして用いている。MC-DCT符号化方式では画像
を１６×１６画素からなるマクロブロックと呼ばれるブ
ロックに分割し、連続する画像（フレーム）間でマクロ
ブロックの差分が最小となる移動量（動きベクトル）を
計算し、その差分を離散コサイン変換(DCT)符号化を行
う。

【００１４】フレーム間差分最小となるよう動きベクト
ルを求め冗長性を除いた差分画像を得る作業は動き補償
と呼ばれる。ＤＣＴは動き補償された画像（差分画像）
に残る空間的冗長性を除くために用いられる。

【００１５】なお、最初のフレームは、他のフレームと
の差分符号化が行えないため、ＤＣＴのみを用いて符号
化される。これをＩピクチャとよぶ。MC-DCT符号化され
る一般フレームをＰピクチャとよぶ。

【００１６】以上のMC-DCT符号化方式が符号化方式A、B
に用いられるとすると図１の復号化時に動き情報やＤＣ
Ｔ係数量子化などＭＣ-DCT符号化時の副次的情報（以
後、サイド情報とよぶ）を得ることができ、再符号化時
の計算効率や符号化効率（画質と符号量）を向上させる
ことが期待できる。

【００１７】このサイド情報を利用したトランスコーダ
ーの従来例として、特開平１０−２７１４９４号公報に
開示されている動画符号変換装置がある。

【００１８】この概念を図２に示す。図１に示すトラン
スコーダーにおける方式AをMPEG2、方式ＢをH.263と置
くと図２の２０２から２０３の構成に相当する。

【００１９】本従来例では、MC-DCT方式を二つの符号化
方式が共通の枠組みとしてもつことから、MPEG2復号時
に得られた動きベクトルをスケーリング（画像サイズの
比を乗じて絶対値を変換）することにより、H．263の符
号化時に、動きベクトル探索を省略することが可能にな
っている。

【００２０】図２に示した従来例では、サイド情報に動
きベクトルを取り、MPEG2の復号時に得られた情報を利
用して再符号化の計算効率を向上させている。

【００２１】

【発明が解決しようとする課題】しかし、実際のトラン
スコーダーを構成するに当たり、動きベクトルの再利用
以外に検討すべき課題は多い。

【００２２】実際の符号化器では、その出力ビットスト
リームのデータ量を調整するためにレート制御とよぶ機
構が必須である。

【００２３】通常、出力側にデータ発生量の変動を吸収
する出力バッファを設けておき、その出力バッファに滞
留したデータ量（以後、バッファ充填量とよぶ）に応じ
て符号量を調整する。

【００２４】MC-DCT符号化方式では、通常、この符号量
調整はＤＣＴ係数の量子化精度を可変とすることで行う
（精度を細かくとれば、画質が向上する代わりに発生符
号量が増大し、粗くとれば、その逆となる）。

【００２５】図３にトランスコーダーの課題を示す概念
図を示す。

【００２６】出力バッファ304の先には通信路または蓄
積媒体がある。今、固定のデータ速度を持つ通信路を仮
定すると、出力バッファからは一定速度でビットストリ
ームが出力される。方式Ｂによる符号化器３０３はバッ
ファ３０４のデータが枯渇（アンダーフロー）しないよ
うに、また氾濫（オーバーフロー）しないように発生符
号量を調整（レート制御）しなければならない。一方
で、再符号化の画質向上のためには、量子化、符号化モ
ードなど符号化手順に関するサイド情報の利用が必要で
ある。一般的に述べれば、方式Ｂによる符号化器を方式
Ａによる符号化手順と独立に動作させると、Ａにより生
じる画質損失に加えて方式Ｂによる画質損失が重畳され
る。例えば、方式Ａによるビットストリームが、１０フ
レーム／秒で符号化されているとする。

【００２７】これの再生結果を方式Ｂにより１５フレー
ム／秒で独立に再符号化すると、方式Ａの符号化時刻と
一致する方式Ｂのフレームは3フレームに一フレームだ
けとなる。すなわち他の２フレームは復号化間隔が元の
動画像と一致しない。このため、Ｂ方式の復号化結果
は、フレームレートを高くしたにもかかわらず方式Ａの
画質を維持できないばかりか、悪くなることが危惧され
る。

【００２８】これは、ＤＣＴ係数の量子化にも言える。
方式Ａの量子化を1/2による丸めとする。再量子化によ
る累積誤差を防ぐ意味で、方式Ｂの量子化も同じく1/2
とするほうが、対符号量の意味で最も望ましい。トラン
スコーダーにおけるフレームレートの変換、ＤＣＴ係数
の再量子化、画像サイズの変換はいずれも、広い意味で
動画像の“再量子化”を行う作業である。この再量子化
は、図３において方式Ａによる復号化器301に従属する
ように方式Ｂによる符号化器303を動作させることが望
ましい。

【００２９】以上、まとめるとレート制御を行うには、
方式Ｂによる符号化器３０３は、出力バッファ３０４の
充填量を観察しながら、再量子化を制御できるよう復号
化器３０１と独立に動作させる方が良い。一方で、広義
の再量子化による画質低下を抑えるためには、方式Ｂに
よる符号化器３０３は、方式Ａによる復号化器３０１に
従属させて動作させる方が良い。ところが、トランスコ
ーダーに関する従来技術は、動きベクトルスケーリング
による再符号化などサイド情報利用による計算効率向上
の観点から開発されており、レート制御と再量子化によ
る画質低下抑圧を両立させる技術は開示されていない。

【００３０】本発明は、かかる点に鑑み、動画像符号化
方式を変換する際に画質劣化を抑えながらレート制御を
行う方法及び装置を提供することを目的とする。

【００３１】

【課題を解決するための手段】本発明の第1の態様は、
フレーム内符号化モードとフレーム間差分符号化モード
の組み合わせからなる第１の動画像符号化方式によって
生成された第１データ系列を、同じくフレーム内符号化
モードとフレーム間差分符号化モードの組み合わせから
なる第２の動画像符号化方式によって生成される第２デ
ータ系列に、データ先頭から逐次的に変換する方法／装
置であって、 １．第１データ系列から1フレーム分のデータを読み出
し、さらに後続フレームの符号化モードを先読みし記録
する ２．前記先読みされた後続フレームの符号化モードがフ
レーム内符号化である場合は、第2の動画像符号化方式
に変換された第２データ系列の発生符号量に応じて現フ
レームの符号化を行わないか、あるいは、発生符号量を
減ずる制御を行う。そして、第１データ系列中に存在す
るフレーム内符号化モードで符号化されたデータを、優
先的に第２データ系列に変換する。

【００３２】このような方法／装置によれば、後続フレ
ームの符号化モードを先読みし記録し、このモードに応
じて方式変換時の符号量に応じて現フレームの符号量を
制御することによって、'I'フレームの符号化時にオー
バーフローを生じさせない安定した符号化が行える。

【００３３】第１の態様において、後続フレームの符号
化モードがフレーム内符号化である場合、前記第２デー
タ系列の発生符号量が所定値以上であれば、前記現フレ
ームを破棄して前記後続フレームへスキップする。これ
により、現フレームが破棄されるので後続の'I'フレー
ムの符号化時にはオーバーフローを生じさせないように
することができる。

【００３４】また、第１の態様において、第２の動画像
符号化方式によって生成される前記第２データ系列を出
力バッファに書き込み、前記第２データ系列の発生符号
量として前記出力バッファのバッファ充填量を使用す
る。これにより、オーバーフローを生じさせないように
する直接の対象である出力バッファのバッファ充填量を
直接モニタして発生符号量を制御できる。

【００３５】また、第１の態様において、前記第１のデ
ータ系列から１符号化単位のデータを読出した際に、そ
の１符号化単位のデータ量を記録し、前記記録されたデ
ータ量に係数を乗じた値を、前記１符号化単位毎に第２
データ系列の発生符号量の目標値として決める。そし
て、前記第２の動画像符号化方式により前記１符号化単
位のデータから前記第２データ系列を生成する際に、前
記第２データ系列の発生符号量が前記目標値に近づくよ
うにレート制御する。これにより、第１データ系列を構
成する各符号化単位の間でのデータ量の比が、対応する
第２データ系列を構成する各符号化単位の間でのデータ
量の比に近づけられるので、第１の動画像符号化方式で
符号化した際の符号化単位間での符号発生量の比を保存
したまま第２の動画像符号化方式に変換できる。

【００３６】また、第１の態様において、前記第１のデ
ータ系列からデータを読み出した際に、前記第１の動画
像符号化方式において当該データを量子化した際の量子
化幅を取得し、前記現フレームを前記第２の動画像符号
化方式により符号化する際に前記第２データ系列の発生
符号量を調節する場合、前記第２の動画像符号化方式に
おける量子化幅を、前記取得された量子化幅の整数倍に
変更する。これにより、第１の動画像符号化方式におい
て当該データを量子化した際の量子化幅の整数倍の量子
化幅にて量子化されるので、変換前後で量子化特性をあ
る程度保存する事ができ効率的で且つ画質劣化の少ない
変換を実現できる。

【００３７】また、第１の態様において、前記現フレー
ムを前記第２の動画像符号化方式により符号化し、且つ
前記第２データ系列の発生符号量を調節する場合、前記
第２の動画像符号化方式における量子化幅を変更する。
これにより、最初にインター・イントラ制御を行い、そ
れでも量子化幅の変更が必要な場合には量子化幅を制御
して発生符号量を制御するので、符号化方式の独立動作
と量子化特性の保存といった２つの方針を最大限満足す
る設計が可能となる。

【００３８】本発明の第２の態様は、第１の動画像符号
化方式によって生成された第１データ系列を第２の動画
像符号化方式によって生成される第２データ系列に、デ
ータ先頭からフレームあるいはフレームを分割して得ら
れる部分画像を符号化単位毎に逐次的に変換する方法／
装置であって、 １．第１データ系列から１符号化単位のデータを読み出
した際、その1符号化単位のデータ量を記録する ２．１符号化単位を第2の動画像符号化方式に変換する
際に第２データ系列の発生符号量の目標値を前記データ
量に所定の係数を乗じた値に定める。そして、第１デー
タ系列を構成する各符号化単位のデータ量の比が、第２
データ系列を構成する各符号化単位のデータ量の比に近
づくよう制御する。

【００３９】このような方法／装置によれば、元画像デ
ータの１フレーム分のデータ量を記録し、これを第2の
動画像符号化方式に変換する際に発生符号量の目標値を
前記データ量に所定の係数を乗じた値に定めることによ
り、元来のレート制御に忠実な再符号化が行え、再量子
化による累積誤差による画質低下を抑制することができ
る。

【００４０】第２の態様において、１符号化単位は、１
フレーム又は複数フレームで構成されることが望まし
い。これにより、１符号化単位は任意のフレーム数で構
成されるので設計自由度を確保できる。

【００４１】本発明の第３の態様は、フレーム内符号化
モードとフレーム間差分符号化モードをブロック単位の
切り替えで行う第１の動画像符号化方式によって生成さ
れた第１データ系列を、同じくフレーム内符号化モード
とフレーム間差分符号化モードをブロック単位の切り替
えで行う第２の動画像符号化方式によって生成される第
２データ系列に、データ先頭から逐次的に変換する方法
／装置であって、第２データ系列の発生符号量が目標と
なる符号量に達しない場合は、第2の動画像方式におい
てフレーム内符号化モードをより多く選択する。

【００４２】このような方法／装置によれば、出力バッ
ファに余裕があるとき、イントラ符号化モードを挿入す
ることにより調整する。これにより量子化特性を変更し
なくてもレート制御が行え、再量子化による画質劣化を
抑えることができる。

【００４３】第３の態様において、前記第１のデータ系
列から１ブロック単位のデータを読出した際に、その１
ブロック単位のデータ量を記録し、前記ブロック単位毎
に前記記録されたデータ量に係数を乗じた値を第２デー
タ系列の発生符号量の目標値として使用することが望ま
しい。

【００４４】また、第３の態様において、前記第１のデ
ータ系列からデータを読み出した際に、前記第１の動画
像符号化方式において当該データを量子化した際の量子
化幅を取得し、現フレームを前記第２の動画像符号化方
式により符号化する際に前記第２データ系列の発生符号
量を調節する場合、前記第２の動画像符号化方式におけ
る量子化幅を、前記取得された量子化幅の整数倍に変更
することが望ましい。

【００４５】また、第３の態様において、前記ブロック
単位は、フレーム単位又はマクロブロック単位である。

【００４６】また、第３の態様において、動き補償され
たブロック間差分の輝度分散を、フレーム内符号化モー
ドがより多く選択されるように再定義して、フレーム内
符号化モードによって符号化されるブロック数を増加さ
せる用にしても良い。

【００４７】また、第３の態様において、動領域に属す
るマクロブロックのイントラリフレッシュの間隔を短縮
して、フレーム内符号化モードによって符号化されるブ
ロック数を増加させるようにしてもよい。

【００４８】本発明の第４の態様は、フレーム内符号化
モードとフレーム間差分符号化モードをブロック単位の
切り替えで行う第１の動画像符号化方式によって生成さ
れた第１データ系列を、同じくフレーム内符号化モード
とフレーム間差分符号化モードをブロック単位の切り替
えで行う第２の動画像符号化方式によって生成される第
２データ系列に、データ先頭から逐次的に変換する方法
／装置であって、第２データ系列の発生符号量が目標と
なる符号量を越える場合は、第2の動画像方式において
フレーム間符号化モードをより多く選択する。

【００４９】このような方法／装置によれば、出力バッ
ファに余裕が無いときは、インター符号化モードを挿入
することにより調整する。これにより量子化特性を変更
しなくてもレート制御が行え、再量子化による画質劣化
を押さえることができる。

【００５０】また、第４の態様において、前記第１のデ
ータ系列から１ブロック単位のデータを読出した際に、
その１ブロック単位のデータ量を記録し、前記ブロック
単位毎に前記記録されたデータ量に係数を乗じた値を第
２データ系列の発生符号量の目標値として使用すること
が望ましい。

【００５１】また、第４の態様において、前記第１のデ
ータ系列からデータを読み出した際に、前記第１の動画
像符号化方式において当該データを量子化した際の量子
化幅を取得し、現フレームを前記第２の動画像符号化方
式により符号化する際に前記第２データ系列の発生符号
量を調節する場合、前記第２の動画像符号化方式におけ
る量子化幅を、前記取得された量子化幅の整数倍に変更
することが望ましい。

【００５２】本発明の第５の態様は、量子化により情報
損失を伴う第１の不可逆動画像符号化方式によって生成
された第１データ系列をおなじく量子化により情報損失
を伴う第２の不可逆動画像符号化方式によって生成され
る第２データ系列に逐次的に変換する方法／装置であっ
て、 １．第１データ系列からデータを読み出した際、量子化
幅を記録する ２．第２データ系列の発生符号量を調節する際、前記記
録された量子化幅の整数倍に量子化幅を変更する。

【００５３】このような方法／装置によれば、レート制
御を量子化幅の変更により行うとき、変更を整数倍にと
ることにより、再量子化による画質劣化を抑えることが
できる。

【００５４】さらに、上記第１，２，３，４，５の態様
と同等の処理をコンピュータに実行させるプログラム
を、コンピュータによる機械読取り可能な記録媒体に格
納した態様も本発明の１つの態様に含む。

【００５５】

【発明の実施の形態】実施例として、ITU-T H.261勧告
に基づく動画像符号化方式で符号化されたビットストリ
ームをISO MPEG-4標準に基づく動画像符号化方式のビッ
トストリームへ変換すること、およびその逆を考える。
いずれもMC-DCT方式に基づく代表的な符号化方式であ
り、その詳細はＩＴＵ−Ｔ勧告H.261 文書（H.261 Reco
mmendation、 LINE TRANSMISSION OF NON-TELEPHONE SI
GNALS 03/1993)とＩＳＯ標準化文書（文書番号ISO/IEC
JTC1/SC29/WG11 N2502文書名 INFORMATION TECHNOLOGY
-GENERIC CODING OF AUDIO-VISUAL OBJECTS Part 2: Vi
sualISO/IEC 14496-2、発行年 10/1998）に記載されて
いる。また標準化には規定されていないH.261符号化器
の動作の参考としてCCITT（現在ITU-T）SG15 WorkingPa
rty 15/4、Specialists Group on Coding for Visual T
elephony Document 525、Description of Ref. Model8
(RM8)、June 1989を用いる。

【００５６】はじめにH.261のデータ構造を説明する。

【００５７】図４はH.261の画像データ構成を示してい
る。符号化される画像はQCIF(Quarter Common Interfac
e Format)とよばれ、横１７６画素、縦144画素であると
する。H.261においても画像を16×１６画素のマクロブ
ロックに分割する。マクロブロック単位で動き補償が行
われるが、ＤＣＴ符号化はマクロブロックを構成するＤ
ＣＴブロックで行われる。ＤＣＴブロックの大きさは8
×８画素であり、輝度について4ブロック、色差につい
ては、解像度が輝度の縦横それぞれ1/2であることか
ら、1ブロックづつとなり計6ＤＣＴブロックでマクロブ
ロックを構成する。マクロブロックを3行集めたものをG
OB(Group of Block)とよぶ。

【００５８】図５にH.261に基づいて符号化されたデー
タの構成を示す。理解のため、ビットストリームを4階
層に分けて説明する。まずビットストリームは、ピクチ
ャ（フレームと同義）の繰り返しである。PSC(Picture
Start Code、フレーム開始符号)から始まり、TR(Tempor
al Reference、フレーム番号)が続く。そしてPTYPE(Pic
ture Type、タイプ情報)がある。H.261ではPTYPEには画
像サイズや再生モードが示されており、後述するそのフ
レームがフレーム内符号化（イントラ符号化）されてい
るのか、フレーム間符号化（インター符号化）されてい
るのかの情報はない。その後にGOBレイヤーの繰り返し
（QCIFの場合3回）となる。

【００５９】GOBレイヤーの先頭はGBSC(GOB Start Cod
e):ＧＯＢ開始符号から始まり、GN(GOB Number、ＧＯＢ
番号)が続き、GQUANT(量子化特性情報)が送られる。H.2
61ではＤＣＴ係数の量子化はインター符号化に関しては
１から３１のインデックスで示される量子化幅で行われ
る。イントラ符号化に関しては、インデックス８に相当
する１種類のみである。

【００６０】GQUANTにより、当該ＧＯＢのＤＣＴ係数量
子化幅が指示される。ＧＯＢレイヤーの最後はマクロブ
ロックデータの繰り返しとなる。マクロブロックのデー
タはMBA(Macro Block Address、マクロブロックアドレ
ス)で始まる。これは有効な符号を含むマクロブロック
の位置を相対的に示している。MC-DCT符号化では、静止
領域では動きベクトルもＤＣＴ係数も送らずとも画像が
再現できる。

【００６１】そこではマクロブロックの情報は送らなく
てもよい。これはマクロブロックスキップとよばれ、そ
のためにＭＢＡが必要となっている。MTYPE(タイプ情
報)は、マクロブロックがフレーム間符号化されている
か、フレーム内符号化されているかの指示に用いられ
る。H、261を除くMC-DCT符号化では、フレーム単位のイ
ントラ／インター切り替えの他に、マクロブロック単位
で、イントラ／インターの切り替えが行うのが一般的で
ある。

【００６２】また同時にMTYPEには、ループフィルター
が当該マクロブロックに施されているか、否かの情報も
含まれている。ループフィルターはH.261特有の（他の
符号化標準にはない）処理で、動き補償後の予測画像に
局所平均によるフィルタを施す。場合により予測効率が
向上するため、適応的に利用される。MQUANT(量子化特
性)は、GQUANTにより、当該ＧＯＢのＤＣＴ係数量子化
幅が定められるが、これをマクロブロック単位で、量子
化幅を変更する必要が生じた場合に送られる。MVD (Mot
ion Vector Data)は動き補償に用いられる動きベクトル
である。CBP(Coded Block Pattern)は有意ブロックパタ
ーンを表す。

【００６３】計6ＤＣＴブロックのうち、ＤＣＴ後の係
数が量子化の結果全て零のものは送る必要がない。そこ
で、ＣＢＰにより、非零の係数をもつブロックのみを指
定してＤＣＴ係数を伝送する。

【００６４】次にMPEG-4標準について説明する。

【００６５】MPEG-4にはプロファイルとよぶ応用により
使用する機能の切り分けがなされている。ここで、変換
の対象とするのは最も簡単なシンプルプロファイルであ
る。図６はMPEG4の画像データ構成を示している。H.261
では画像サイズはQCIFおよびその縦横２倍サイズのCIF
(Common Interface Format)画像と定められていたが、M
PEG4では任意であり、画像サイズが１６の倍数であると
の制約もない。また、MPEG4では画素のアスペクト比
（１画素を矩形と見たときの縦横の比率）も任意であ
る。H.261では4:3となっている。

【００６６】そこで、簡単のため、ここでは扱う画像の
サイズをすべてH.261に合わせる。MPEG4では、GOBの代
わりにVideo Packetとよぶ構造が定義されている。GOB
が画像を固定された矩形に分割して得られることに対し
て、Video Packetの開始位置はマクロブロック単位で任
意である。他のＤＣＴブロックの構成はH.261とほぼ同
じであるため図６から省略する。

【００６７】MPEG4では、１フレームあるいはピクチャ
に相当する画像をVideo Object Planeとよんでいる。以
後、これをVOPと略す。

【００６８】まずVSC(VOP Start Code、VOP開始符号)か
ら始まり、VTYPE(vop#coding#type)により、そのフレー
ムがフレーム内符号化（イントラ符号化）されているの
か、フレーム間符号化（インター符号化）されているの
かが分かる。Ｈ．２６１ではTR(Temporal Reference)に
よりフレーム番号として、時間表示をしたが、MPEG-4で
は、詳細は引用文献に述べられているため省略するが基
準フレームからの経過時間としてMTB(module#time#bas
e)により秒単位の粒度で、VTI(vop#time#increment)に
より秒未満の粒度で時間を直接指示する。VQAUNTは量子
化特性情報であり、H.261のGQUANTに相当するが、画像
全体の量子化幅を指定する。RSM（Resync Marke、再同
期符号）はVideo Packetの先頭に付され、伝送誤りに際
して、再同期が迅速に行えるようになっている。Video
Packetヘッダーには、再同期後に必要なVOPに関する情
報が収められている。

【００６９】マクロブロックデータの構成は、NCD(Not
Coded、無効フラグ)から始まる。H.261ではMBAにより、
次の有効マクロブロックへの相対アドレスとして無効マ
クロブロックをスキップしたが、MPEG４では１ビットの
フラグを立てることにより、無効マクロブロックを表現
する。MCBPC(macroblock type and the coded blockpat
tern for crominance、マクロブロック情報)は、MTYPE
と同様、イントラ／インターの切り替えを行うために用
いられる。

【００７０】ただし、MPEG4にはループフィルタがない
ため、この表示は含まれない。一方で、信号のＤＣＴブ
ロックの有効／無効パターンがMCBPCでは示される。す
なわちH.261のＣＢＰのうち、色差信号に関する情報が
含まれる。輝度ＤＣＴブロックの有効／無効パターンに
ついてはCBPY（輝度有意ブロックパターン）によりマク
ロブロックを構成する輝度４ブロックのパターンを表
す。

【００７１】DQUANTは、DCT係数の量子化幅をマクロブ
ロック単位で変更する場合に用いられる。MQUANTと異な
り、±２の範囲で増減値が指示される。MVD（動きベク
トル情報）は、動き補償に用いられる動きベクトルであ
る。H.261の精度は整数画素単位であったが、MPEG4では
半画素（0.5画素）単位であることが異なる。ＤＣＴ係
数ブロックの構成はほぼH.261と同じである。

【００７２】以上、まとめるとH.261と最も単純な構成
のMPEG4はMC-DCTの枠組みを共有し、データ構成も表現
方法（符号化の文法）は異なるもののデータに多くの互
換性がある。H．261とMPEG4の符号化方式変換上の大き
な相違は以下となる。

【００７３】動き補償 H.261:整数精度+ループフィルタ MPEG4：半画素精度 Ｆ値とよぶスケーリングにより探索範囲が変更可能 動きベクトルがマクロブロック当たり４個存在するモー
ドあり、 ＤＣＴ係数量子化 H.261、MPEG4とも同じ量子化幅をもつ線形量子化．ただ
し、イントラ符号化モードの直流成分については、MPEG
4では非線形量子化のモードがあり．Ｈ．２６１のイン
トラ符号は、量子化インデックス８に固定．以上の相違
から、トランスコーダーは、ＤＣＴ係数をそのまま転記
するような構成はとれず、図３に示すように、方式A(こ
の場合H.261またはMPEG4)を方式Ｂ（MPEG4あるいはH.26
1）に変換する際、フレームメモリ３０２を介在させ、
一度画像データに復号したのち、再符号化する方式また
は装置とする。

【００７４】この際、サイド情報として図８に示すトラ
ンスコーダ中間データを考える。

【００７５】図８中、メモリへの格納先を示したのは後
で示す実施例の構成との対応をとるためである。

【００７６】以下に、各データの意味を説明する。

【００７７】これまで説明したデータ構成からH.261と
ＭPEG4共通の中間データとして用いることができる。

【００７８】* 次フレーム符号化モード NPTYPE＝ ['
I'、 'P'、'U'] 方式Aのデコード中先読みにより求める。MPEG4であれば
VTYPE、H.261であれば、'U':不定となる。

【００７９】* 現フレーム符号化量 Pcontent (単位 K
bits) 方式Aの１フレームデコードにより求める。

【００８０】１フレーム終了後に再符号化を行う場合
は、１フレーム分のデータ量に相当する。再符号化を元
画像復号途中からはじめる場合は、当該フレーム開始か
らその時刻までデータ量となる。

【００８１】* 現フレーム符号化モード PTYPE = ['
I'、 'P'] ‘I'はイントラ符号化、'P'はインター符号化を表す。
H.261ではすべてのマクロブロックがイントラ符号化で
あれば、'I'そうでなければ'P'である。これは、後述の
PREDi、jから判定できる。

【００８２】* 現フレーム番号 TR （整数値） MPEG4からは、MTBとVTIより求める。

【００８３】* 有効無効フラグ CDij = [0、1、'U'] マクロブロックの有効：０、無効：１を表す。i、jは、
マクロブロックの水平・垂直位置を表す。'U'は、不定
の場合を表す。

【００８４】例えばA方式のＰピクチャをB方式でIピク
チャで再符号化する場合などは不定とする。

【００８５】* ブロック有効無効フラグ CBPi、j、k =
[0、1、'U'] ＤＣＴブロックの有効・無効を表す。MPEG4からは MCBP
CとCBPYから定まる。

【００８６】Y×４、Cr×１、Cb×１ であるので、 k
は 0〜5の値をとる。

【００８７】* 量子化スケール QUANTi、j = [1、〜、
31、 'U'] マクロブロック単位の量子化幅を示すインデックス * 符号化モード MTYPEi、j = ['I'、 'P'、 'U'] マクロブロック単位のイントラ・インターの符号化モー
ドを表す。'U'は不定を示す。

【００８８】* 動きベクトル (MVXi、j、 MVYi、j)
値は [-15、〜、 15、 'U'] 動きベクトルの水平、垂直絶対値を整数精度で示す。H.
261が整数精度であるので、それに合わせる。

【００８９】* イントラ間隔 PERIODi、j = [0、99]
の整数値 MC-DCT方式では、フレーム間ＤＣＴ演算の精度が累積さ
れ符号化・復号化間で演算のミスマッチがおこる。

【００９０】このために、132符号化フレーム間隔以内
にマクロブロックをイントラ符号化しなければならな
い。

【００９１】これをイントラリフレッシュとよぶ。この
イントラリフレッシュを周期的に行うためのカウンター
である。初期値は０とする。

【００９２】* 動領域フラグ MOVi、j =[0、1、 '
U'] そのマクロブロックが動領域に含まれているか否かを示
すフラグ。'1'で動領域であるとする。

【００９３】実施例では (MVXi、j、 MVYi、j)の要素
のうちいずれかでも絶対値が１以上であれば動領域とす
る。

【００９４】以上、H．261、 MPEG4のデータ構成を説明
した上で、第１の実施例と第２の実施例に共通したフロ
ーチャートを図９に説明する。

【００９５】まずはじめに、初期化により、PERIODi、j
は全てのI、jについて０に設定する。このデータはマク
ロブロック単位のイントラ・インター制御に関する。

【００９６】次に、方式A（H．261またはMPEG4）画像の
再構成および中間データの生成ステップにより、再生画
像と中間データ NPTYPE、Pcontent、PTYPE、TR、CDi,
j、CBPi,j,k、QUANTi,j、MTYPEi,j、(MVXi,j、 MVYi,
j)、MOVi,jが生成される。

【００９７】ここで全実施例を通してトランスコーダー
の基本方針は以下のとおりである。 基本方針１：方式A復号化の際に生成されたサイド情報
のうち、PTYPE、TR、CDi,j、CBPi,j,k、QUANTi,j、MTYP
Ei,jは基本的に全て方式Ｂの符号化モードに移して使
う。これにより、再量子化による累積画質劣化を防ぐこ
とができる。

【００９８】ただし、方式A復号化の際に生成されたサ
イド情報のうち一部はレート制御のために変更する。変
更のやり方に付いては後述する。

【００９９】基本方針２：動きベクトル情報(MVXi,j、M
VYi,j)は、方式Ｂにおける再符号化の際に参考情報とし
て用いられる。すなわち、動きベクトル情報の値が確定
している場合は、その近傍でマクロブロック間の差分が
最小となる位置を動きベクトルとして再探索するのに使
われる。'U'である場合は、(0、0)から探索する。

【０１００】図９において、中間データを生成した後、
条件分岐にはいる。現在のフレームの符号化モードが、
インター符号化で、次フレームの符号化モードがイント
ラ符号化であり、かつ現在のバッファ充填量(図中、Bco
ntent)が、Pcontent(当該フレームの累積データ量)＞バ
ッファ容量の半分であれば、現入力フレームを廃棄して
符号化をとりやめ、次フレームをイントラ符号化する。

【０１０１】また、次フレームを強制的にイントラ符号
化する指示が復号側から与えられた場合も同様である。
エラーが発生した場合は、復号側から次フレームを強制
的にイントラ符号化する指示が与えられる。

【０１０２】MC-DCT符号化において、Iピクチャとよば
れるイントラ符号化されたフレームは重要である。なぜ
ならば、以後のインター符号化モードで符号化されたフ
レームは、これなくしては復号できないからである。一
方で、出力バッファの容量に余裕がない場合、上記した
基本方針１に従って再符号化を行っているとIピクチャ
の再符号化時に出力バッファがオーバーフローするおそ
れが生じる。出力バッファがオーバーフローによってI
ピクチャが符号化されない事態が生じると画質劣化が生
じる。

【０１０３】そこで、現入力フレームに続く後続フレー
ムのNPTYPEを先読みし、後続フレームのNPTYPEと現在の
バッファ充填量（Bcontent）とを勘案して方式Ｂにおけ
る符号化処理を切り替えるようにした。すなわち、後続
フレームがＩピクチャであり、且つIピクチャの再符号
化時に出力バッファがオーバーフローする可能性が有れ
ば、現入力フレーム（Ｐピクチャ）を破棄して、再符号
化される後続フレームのＩピクチャのために出力バッフ
ァの容量を確保する。この概念を示したのが図９であ
る。

【０１０４】なお、H.261では、イントラ/インター符号
化のモード表示がフレーム先頭にないため、図９の条件
分岐はMPEG4→H．261の場合のみ適用できる。

【０１０５】図９において、条件分岐において'NO'であ
れば（H．261→MPEG4変換では常に'NO'である）イント
ラ・インター符号化モード制御に入る。この制御以降の
処理についてH．２６１からMPEG4への変換方法を実施例
１、MPEG4からH．261への変換方法を実施例２として説
明する。

【０１０６】実施例１は、図９、図１０、図１１に示し
たフローチャートに基づいた変換が実行される。図９中
の太枠で囲んだ処理ステップのうち、イントラ・インタ
ー符号化モード制御（Ｓ１）は、図１０に示すフローチ
ャートにしたがって実行され、レート制御用マクロブロ
ック単位の符号化情報の変更（Ｓ２）は図１１に示すフ
ローチャートにしたがって実行される。

【０１０７】ここで、レート制御に関する条件として
Ｈ．２６１の符号化速度は64Kbps、MPEG4の符号化速度
も同じく64Kbpsとする。また出力バッファのバッファサ
イズは、6．4kbitとする。

【０１０８】図１０に記されたイントラ・インター符号
化モード制御では、H．261のデータ系列からMPEG-4のデ
ータ系列へ変換する際、動領域に属するマクロブロック
のうちリフレッシュ間隔が上位であるＮ（本実施例では
３）個のマクロブロックを強制的にイントラ符号化モー
ドに変更する。

【０１０９】以上の処理により、動領域のマクロブロッ
クを中心にイントラリフレッシュが行われるので、MPEG
-4のビットストリームの耐エラー特性が改善される。こ
れは、静止画領域に伝送誤りが生じた場合、前フレーム
の結果をコピーすることにより救われ、動領域では画質
劣化となることが理由である。

【０１１０】図１１は、インターモードであると判断さ
れたマクロブロックに対する再符号化の処理ステップを
示している。動き予測は、トランスコーダーの基本方針
２に示した処理を実行する。

【０１１１】この際、動き補償されたブロック間差分の
輝度分散をVAR、入力画像のブロック内輝度分散をVAROR
として計算する。

【０１１２】H．261符号化器のモデルとして典型的なＲ
Ｍ８（前記した引用文献に記載）では、このVARとVAROR
を用いてマクロブロックの符号化モードをイントラ/イ
ンター判定している。具体的には、VAR < 64、すなわち
フレーム間差分の信号電力が絶対的に小さい場合、また
はVAR < VAROR、すなわちフレーム間差分の信号電力が
フレーム内信号電力よりも小さい場合は、インター符号
化が行われる。

【０１１３】インター符号化の際には、バッファ充填量
（Bcontent）が予定符号量に近づくように符合発生量を
調節するレート制御が行われる。本実施例は、予定符号
量を下式に基づいて計算している。

【０１１４】予定符号量＝Pcontent×（MPEG-4符号化速
度/Ｈ．２６１符号化速度）×現在のマクロブロック処
理数/総数 本実施例では符号化速度はともに64kbpsであるので、
（MPEG4符号化速度/Ｈ．２６１符号化速度）=1である。

【０１１５】このように、予定符号量（言い換えれば目
標符号量）を、Pcontentを元に計算することにより、
H．261の量子化制御をなるべく保存しつつ、元来おこな
われたレート制御をも実現できる。例えば、方式Ａのデ
ータ系列を構成する各符号化単位間でのデータ量の比
に、方式Ｂのデータ系列を構成する各符号化単位間での
データ量の比が近づくようにレート制御されることにな
る。その結果、方式Ａのデータ系列を構築した際のコン
セプトが変換後の方式Ｂのデータ系列においても保存さ
れることになる。

【０１１６】また、VARに乗じる係数ｒは下式に基づい
て計算している。 ｒ＝ｍａｘ（１．０，予定符号量／発生符号量） このため、VARは発生符号量が予定符号量を下回ってい
るとき、１より大きくなる。したがって、VAR= VAR*rと
することにより、出力バッファの容量に余裕がある場合
（発生符合量が予定符号量を下回っているとき）は、VA
Rを大くしてイントラ符号化モードがより多く選択され
るようにモードを制御する。なお、VARは動き補償され
たブロック間差分の画素２乗平均（輝度分散）のことで
あり、フレーム間差分の信号電力を示す。また、VAROR
入力画像のブロック内の２乗画素平均（輝度分散）のこ
とであり、フレーム内信号電力を示す。

【０１１７】一般の符号化器制御では、ビットレートに
余裕がある場合は量子化幅を小さくして画質を向上させ
るが、本発明のような方式変換符号化の場合は、前述し
たとおり量子化特性をなるべく変えないことが望ましい
ので、量子化幅の変更は最小限に抑えてイントラ符号化
モードのフレーム（Ｉピクチャ）の数を増やしている。
これにより、パケット落ちなどの障害に対して耐エラー
特性が増す。一般的にMPEG-4がH．261よりも符号化効率
が良いとされているため、同じ符号化速度の変換では、
出力バッファの充填量に余裕がある範囲でイントラ符号
化モードをとるよう制御することは以上のような利点が
ある。

【０１１８】また、図１１に示すフローチャートの最終
ステップは、QUANTi、jの制御である。ＲＭ８では、64K
bpsの場合、量子化幅を下式にて求めている。

【０１１９】量子化幅= ２× int(バッファ充填量[bi
t]/ 200) ＋ ２ 上式に基づいて量子化幅を制御すれば、バッファ充填量
が増えれば量子化幅が大きくなり、発生符号量が減少す
るフィードバック制御が実現される。

【０１２０】本実施例では、量子化誤差の累積と発生ビ
ット量の関係を考慮して、以下のように量子化幅を変更
する。 バッファ充填量 >バッファ容量の７０％の場合 量子化幅 = QUANTi、j ×２ バッファ充填量 >バッファ容量の８０％の場合 量子化幅 = QUANTi、j ×３ バッファ充填量 >バッファ容量の９０％の場合 量子化幅 = QUANTi、j ×４ とする。

【０１２１】ただし、MPEG4では、隣接するマクロブロ
ックではQUANTi、jの値は最大２までの変更しか許され
ていないため、変更幅は最大２に制限する。

【０１２２】このように、最初に符号化モードを制御し
てバッファ充填量を目標符号量に近づける制御を行い、
それでも量子化特性（量子化幅）を変更する必要があれ
ば、方式Ａにおける量子化幅の整数倍になるように方式
Ｂにおける量子化幅を設定する。

【０１２３】以上、第１の実施例を述べた。方式変更前
の量子化特性を保存しつつ、レート制御を行う方法の一
例が実現されている。

【０１２４】なお、出力バッファに余裕があるとき、VA
R値の再定義によりイントラマクロブロックを増やす方
法を述べたが、これとは別に、動領域に属するマクロブ
ロックのイントラリフレッシュの値Ｎを加減するように
してもよい。

【０１２５】次に、第２の実施例を説明する。

【０１２６】第２の実施例は、MPEG4からH．261への変
換方法であり、図９、図１２、図１３を示したフローチ
ャートに基づいて変換動作が実行される。

【０１２７】図９中の太枠で囲んだ処理ステップのう
ち、イントラ・インター符号化モード制御は、図１２内
のフローチャートにしたがって実行され、レート制御用
マクロブロック単位の符号化情報の変更は図１３内のフ
ローチャートにしたがって実行される。

【０１２８】理解を容易にするため第１の実施例との相
違を中心に説明する。

【０１２９】ここでは、MPEG4がH．261よりも符号化効
率が良いが、エラー耐性を高めるために、マクロブロッ
クが必要以上にイントラ符号化されていると仮定してい
る。

【０１３０】図１２に示したイントラ・インター符号化
モードの制御では、イントラマクロブロックの中でPERI
ODi,jが最大のもの、またはPERIODi,jがマクロブロック
総数（９９）を越えるものを除いて、符号化モードを'
U'(不定)としている。このように、現フレームの符号化
モードがフレーム間差分符号化モードの場合であって
も、最小限のイントラマクロブロックを残して、それ以
外は符号化モードを'U'(不定)とする。この結果、次の
ステップ（図１３）で再度インター符号化される機会が
生じる。

【０１３１】ここで、符号化効率が良い方式Ｂから相対
的に符号化効率の悪い方式Ａへ変換する場合、方式Ｂの
デーア系列に含まれている全てのＩピクチャ（イントラ
符号化画像）を方式Ａのデータ系列に変換すると、Ｐピ
クチャ（インター符号化画像）に比べてＩピクチャはデ
ータ量が多いので出力バッファがオーバーする可能性が
ある。本実施例は量子化幅を制御することなくバッファ
オーバーフローを回避するために、イントラ符号化され
るマクロブロックの数を減させている。相対的にインタ
ー符号化されるマクロブロックの数を増加させている。

【０１３２】図１３に示したイントラ/インター判定
は、RM8で述べられているVARとVARORを用いた一般的な
判定法である。図１３の最終ステップであるQUANTi,j制
御は、第１の実施例と同一であるので説明は省略する。

【０１３３】第２の実施例によれば、一般的に符号化効
率がMPEG-4に比べて劣ると言われるH.261への方式変換
を、イントラマクロブロックをインターマクロブロック
へモード変更することにより、他のマクロブロックにつ
いて量子化幅を制御せずともバッファオーバーフローを
避けることができる。

【０１３４】次に、画像符号変換装置の実施例を２つ述
べる。図１４は第３、第４の実施例に共通するトランス
コーダーの概念図であり、図９の方法を装置化したもの
である。

【０１３５】フレーム符号化モードメモリ４０６、動き
ベクトルメモリ４０７、マクロブロック符号化モードメ
モリ４０８、レート制御情報メモリ４０９には、図８記
載の中間データが格納される。図９に記載された制御は
符号化器制御部４０５で実現される。この制御信号をう
けてフレーム符号化モード変更部４１０、マクロブロッ
ク符号化モード変更部４１１がそれぞれ、変更を行う。

【０１３６】この図は、符号化器制御部４０５の制御信
号が特別にない限り、PTYPE、TR、CDi、j、CBPi、j、
k、QUANTi、j、MTYPEi、jの情報がそのまま方式Ｂによ
る符号化器に伝えられる構成を示している。図１４を詳
細化し、第１の方法実施例に対応する装置実施例を第３
の実施例として図１５に示す。図１５中、５０１は可変
長復号化部、５０２は逆量子化処理を行う逆量子化部、
５０３は逆ＤＣＴ処理を行う逆ＤＣＴ部、５０４は加算
器、５０５はフレームメモリ、５０６は動き補償の処理
を行う動き補償部、５０７はループフィルタであり、
H．261の復号化器を構成する。復号化された画像はフレ
ームメモリ５０５を介して、MPEG4符号化器に伝えられ
る。

【０１３７】５０８は減算器、５０９はＤＣＴ演算を行
うＤＣＴ部、５１０はＤＣＴ係数を量子化する量子化
部、５１１は逆量子化を行う逆量子化部、５１２は逆Ｄ
ＣＴ演算を行う逆ＤＣＴ部、５１３は加算器、５１４は
フレームメモリ、５１５は動き予測及び動き補償の処理
を行う動き予測・動き補償部、５１６は可変長符号化
部、５１７は出力バッファであり、MPEG4符号化器を構
成する。

【０１３８】５１８はMPEG4レート制御部であり、図
９、１０、１１の制御を実現している。中間データはレ
ート制御情報メモリ５１９、マクロブロック符号化モー
ドメモリ５２０、フレーム符号化モードメモリ５２１に
記憶され、この中で、PTYPE、TR、CDi、j、CBPi、j、
k、QUANTi、j、MTYPEi、jの情報をうけてMPEG4符号化器
が制御される。より具体的にはブロックモード変更部５
２２がマクロブロックの符号化モードを変更し、イント
ラ・インターモード変更部が、PTYPEとMTYPEの情報を元
に、予測符号化を制御する。

【０１３９】なお、図の簡略化のため示さないが、モー
ド情報は、可変長符号化部５１６で多重化され出力バッ
ファに送出される。次に第４の実施例を図１６を用いて
説明する。

【０１４０】第４の実施例は第３の実施例と逆のMPEG-4
からH.261への変換を行う。図１６中、６０１は可変長
復号化部、６０２は逆量子化部、6０３は逆ＤＣＴ部、6
04は加算器、６０５はフレームメモリ、６０６は動き補
償部であり、MPEG4の復号化器を構成する。

【０１４１】復号化された画像はフレームメモリ605を
介して、Ｈ．２６１符号化器に伝えられる。

【０１４２】６０７は減算器、６０８はＤＣＴ部、６０
９は量子化部、６１０は逆量子化部、６１１は逆ＤＣＴ
部、６１２は加算器、６１３はフレームメモリ、６１４
は動き予測・動き補償部、６１５はループフィルタ、６
１６は可変長符号化部、６１７は出力バッファであり、
H.261符号化器を構成する。６１８はH.261レート制御部
であり、図９、１2、13の制御を実現している。中間デ
ータはレート制御情報メモリ6１９、マクロブロック符
号化モードメモリ6２０、フレーム符号化モードメモリ6
２１に記憶され、この中で、PTYPE、TR、CDi、j、CBP
i、j、k、QUANTi、j、MTYPEi、jの情報をうけてＨ．２
６１符号化器が制御される。より具体的にはブロックモ
ード変更部６２２がマクロブロックの符号化モードを変
更し、イントラ・インターモード変更部が、PTYPEとMTY
PEの情報を元に、予測符号化を制御する。なお、図の簡
略化のため示さないが、モード情報は、可変長符号化部
６２３で多重化され出力バッファに送出される。

【０１４３】本発明を実施するコンピュータをプログラ
ムするために使用できる命令を含む記録媒体であるコン
ピュータプログラム製品が本発明の範囲に含まれる。こ
の記録媒体は、フロッピーディスク、光ディスク、ＣＤ
−ＲＯＭ及び磁気ディスクなどのディスク、ＲＯＭ，Ｒ
ＡＭ，ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気又は光カードな
どであるが、特にこれらに限定されない。また、このプ
ログラムを記録媒体に記録して世界各地の端末に移送す
る、あるいはインターネット等の通信回線を経由して転
送（暗号化して配信）することにより、コンピュータや
携帯情報端末で実現することも考えられる。

【０１４４】

【発明の効果】以上詳記したように本発明に係る動画像
符号変換方法／装置によれば、次フレームの符号化モー
ドを先読みし記録し、このモードに応じて方式変換時の
符号量に応じて現フレームの符号量を制御することによ
って、'I'フレームの符号化時にオーバーフローを生じ
させない安定した符号化が行える。

【０１４５】また本発明に係る動画像符号変換方法／装
置によれば、元画像データの１フレーム分のデータ量を
記録し、これを第2の動画像符号化方式に変換する際に
発生符号量の目標値を前記データ量に所定の係数を乗じ
た値に定めることにより、元来のレート制御に忠実な再
符号化が行え、再量子化による累積誤差による画質低下
を抑制することができる。

【０１４６】また本発明に係る動画像符号変換方法／装
置によれば、出力バッファに余裕があるとき、イントラ
符号化モードを挿入することにより調整する。これによ
り量子化特性を変更しなくてもレート制御が行え、再量
子化による画質劣化を押さえることができる。

【０１４７】また本発明に係る画像符号変換方法／装置
によれば、出力バッファに余裕が無いときは、インター
符号化モードを挿入することにより調整する。これによ
り量子化特性を変更しなくてもレート制御が行え、再量
子化による画質劣化を押さえることができる。

【０１４８】また本発明に係る画像符号変換方法／装置
によれば、レート制御を量子化幅の変更により行うと
き、変更を整数倍にとることにより、再量子化による画
質劣化を押さえることができる。

【図面の簡単な説明】

【図１】トランスコーダの概念図

【図２】従来例の符号変換装置を示す図

【図３】トランスコーダの課題を示す概念図

【図４】H.261の画像データ構成図

【図５】H.261の画像データ構成図

【図６】MPEG4ビジュアルシンプルプロファイルの画像
データ構成図

【図７】MPEG4ビジュアルシンプルプロファイルのデー
タ構成図

【図８】トランスコーダ中間データを示す図

【図９】トランスコーダ全系フローチャート

【図１０】H.261→MPEG4変換時のイントラ・インター符
号化モード制御部分のフローチャート

【図１１】H.261→MPEG4変換時のレート制御用マクロブ
ロック単位符号化情報変更部分のフローチャート

【図１２】MPEG4→H.261変換時のイントラ・インター符
号化モード制御部分のフローチャート

【図１３】MPEG4→H.261変換時のレート制御用マクロブ
ロック単位符号化情報変更部分のフローチャート

【図１４】本発明によるトランスコーダの概念図

【図１５】H.261→MPEG4トランスコーダーを示す図

【図１６】MPEG4→H.261トランスコーダーを示す図

【符号の説明】

１０１ 方式Aによる復号化器 １０２ フレームメモリ/画像変換部 １０３ 方式Ｂによる符号化器 ２０２ MPEG2復号化器 ２０３ 画像変換部 ２０４ H．263符号化器 ２０５ 動きベクトルスケーリング部 ３０１ 方式Aによる復号化器 ３０２ フレームメモリ/画像変換部 ３０３ 方式Ｂによる符号化器 ３０４ 出力バッファ ４０１ 方式Aによる復号化器 ４０２ フレームメモリ/画像変換部 ４０３ 方式Ｂによる符号化器 ４０４ 出力バッファ ４０５ 符号化器制御部 ４０６ フレーム符号化モードメモリ ４０７ 動きベクトルメモリ ４０８ マクロブロック符号化モードメモリ ４０９ レート制御情報メモリ ４１０ フレーム符号化モード変更部 ４１１ マクロブロック符号化モード変更部 ５０１ 可変長復号化部 ５０２ 逆量子化部 ５０３ 逆ＤＣＴ部 ５０４ 加算器 ５０５ フレームメモリ ５０６ 動き補償部 ５０７ ループフィルタ ５０８ 減算器 ５０９ ＤＣＴ部 ５１０ 量子化部 ５１１ 逆量子化部 ５１２ 逆ＤＣＴ部 ５１３ 加算器 ５１４ フレームメモリ ５１５ 動き予測・動き補償部 ５１６ 可変長符号化部 ５１７ 出力バッファ ５１８ MPEG4レート制御部 ５１９ レート制御情報メモリ ５２０ マクロブロック符号化モードメモリ ５２１ フレーム符号化モードメモリ ５２２ ブロックモード変更部 ５２３ イントラ・インターモード変更部 ５２４ 動きベクトルメモリ ６０１ 可変長復号化部 ６０２ 逆量子化部 ６０３ 逆ＤＣＴ部 ６０４ 加算器 ６０５ フレームメモリ ６０６ 動き補償部 ６０７ 減算器 ６０８ ＤＣＴ部 ６０９ 量子化部 ６１０ 逆量子化部 ６１１ 逆ＤＣＴ部 ６１２ 加算器 ６１３ フレームメモリ ６１４ 動き予測・動き補償部 ６１５ ループフィルタ ６１６ 可変長符号化部 ６１７ 出力バッファ ６１８ MPEG4レート制御部 ６１９ レート制御情報メモリ ６２０ マクロブロック符号化モードメモリ ６２１ フレーム符号化モードメモリ ６２２ ブロックモード変更部 ６２３ イントラ・インターモード変更部 ６２４ 動きベクトルメモリ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 岩崎 修 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 小宮 大作 大阪府門真市大字門真1006番地 松下電器 産業株式会社内

Claims (27)

【特許請求の範囲】
1. 【請求項１】 フレーム内符号化モードとフレーム間差
   分符号化モードの組み合わせからなる第１の動画像符号
   化方式によって生成された第１データ系列を、フレーム
   内符号化モードとフレーム間差分符号化モードの組み合
   わせからなる第２の動画像符号化方式によって生成され
   る第２データ系列に変換する動画像符号化方式の変換方
   法であって、 現フレームの後に続く後続フレームの符号化モードを前
   記第１データ系列から先読みするステップと、 先読みされた前記後続フレームの符号化モードがフレー
   ム内符号化であるか否か判断するステップと、 前記後続フレームの符号化モードがフレーム内符号化で
   ある場合、前記第２データ系列の発生符号量に応じて、
   前記現フレームを前記第２の動画像符号化方式により符
   号化するか否か決めるステップとを有し、前記第１デー
   タ系列中に存在するフレーム内符号化モードで符号化さ
   れたデータを、優先的に第２データ系列に変換すること
   を特徴とする動画像符号化方式の変換方法。
2. 【請求項２】 前記後続フレームの符号化モードがフレ
   ーム内符号化である場合、前記第２データ系列の発生符
   号量が所定値以上であれば、前記現フレームを破棄して
   前記後続フレームへスキップすることを特徴とする請求
   項１記載の動画像符号化方式の変換方法。
3. 【請求項３】 前記第２の動画像符号化方式によって生
   成される前記第２データ系列を出力バッファに書き込む
   ステップを有し、前記第２データ系列の発生符号量とし
   て前記出力バッファのバッファ充填量を使用することを
   特徴とする請求項２記載の動画像符号化方式の変換方
   法。
4. 【請求項４】 前記第１のデータ系列から１符号化単位
   のデータを読出した際に、その１符号化単位のデータ量
   を記録するステップと、 前記記録されたデータ量に係数を乗じた値を、前記１符
   号化単位毎に第２データ系列の発生符号量の目標値とし
   て決めるステップと、 前記第２の動画像符号化方式により前記１符号化単位の
   データから前記第２データ系列を生成する際に、前記第
   ２データ系列の発生符号量が前記目標値に近づくように
   レート制御するステップとを有し、前記第１データ系列
   を構成する各符号化単位の間でのデータ量の比が、対応
   する第２データ系列を構成する各符号化単位の間でのデ
   ータ量の比に近づけられることを特徴とする請求項１記
   載の動画像符号化方式の変換方法。
5. 【請求項５】 前記第１のデータ系列からデータを読み
   出した際に、前記第１の動画像符号化方式において当該
   データを量子化した際の量子化幅を取得するステップ
   と、 前記現フレームを前記第２の動画像符号化方式により符
   号化する際に前記第２データ系列の発生符号量を調節す
   る場合、前記第２の動画像符号化方式における量子化幅
   を、前記取得された量子化幅の整数倍に変更するステッ
   プとを有する請求項１記載の動画像符号化方式の変換方
   法。
6. 【請求項６】 前記現フレームを前記第２の動画像符号
   化方式により符号化し、且つ前記第２データ系列の発生
   符号量を調節する場合、前記第２の動画像符号化方式に
   おける量子化幅を変更することを特徴とする請求項１記
   載の動画像符号化方式の変換方法。
7. 【請求項７】 第１の動画像符号化方式によって生成さ
   れた第１データ系列を、第２の動画像符号化方式により
   生成される第２データ系列に変換する動画像符号化方式
   の変換方法であって、 前記第１データ系列から１符号化単位のデータを読み出
   してその１符号化単位のデータ量を記録するステップ
   と、 前記記録されたデータ量に係数を乗じた値を前記１符号
   化単位毎に前記第２データ系列の発生符号量の目標値と
   して決めるステップと、 前記第２の動画像符号化方式により前記１符号化単位の
   データから前記第２のデータ系列を生成する際に、前記
   第２のデータ系列の発生符号量が前記目標値に近づくよ
   うにレート制御するステップとを有し、前記第１データ
   系列を構成する各符号化単位の間でのデータ量の比が、
   対応する第２データ系列を構成する各符号化単位の間で
   のデータ量の比に近づけられることを特徴とする動画像
   符号化方式の変換方法。
8. 【請求項８】 前記１符号化単位は、１フレーム又は複
   数フレームで構成されることを特徴とする請求項７記載
   の動画像符号化方式の変換方法。
9. 【請求項９】 フレーム内符号化モードとフレーム間差
   分符号化モードとをブロック単位で切り替える第１の動
   画像符号化方式によって生成された第１データ系列を、
   フレーム内符号化モードとフレーム間差分符号化モード
   とをブロック単位で切り替える第２の動画像符号化方式
   によって生成される第２データ系列に変換する動画像符
   号化方式の変換方法であって、 前記第２データ系列の発生符号量が目標値に達しない場
   合は、前記第２の動画像符号化方式においてフレーム内
   符号化モードによって符号化されるブロック数を増加さ
   せることを特徴とする動画像符号化方式の変換方法。
10. 【請求項１０】 前記第１のデータ系列から１ブロック
    単位のデータを読出した際に、その１ブロック単位のデ
    ータ量を記録するステップと、 前記ブロック単位毎に前記記録されたデータ量に係数を
    乗じた値を第２データ系列の発生符号量の目標値として
    使用するステップとを有する請求項９記載の動画像符号
    化方式の変換方法。
11. 【請求項１１】 前記第１のデータ系列からデータを読
    み出した際に、前記第１の動画像符号化方式において当
    該データを量子化した際の量子化幅を取得するステップ
    と、 現フレームを前記第２の動画像符号化方式により符号化
    する際に前記第２データ系列の発生符号量を調節する場
    合、前記第２の動画像符号化方式における量子化幅を、
    前記取得された量子化幅の整数倍に変更するステップと
    を有する請求項９記載の動画像符号化方式の変換方法。
12. 【請求項１２】 前記ブロック単位は、フレーム単位又
    はマクロブロック単位であることを特徴とする請求項９
    記載の動画像符号化方式の変換方法。
13. 【請求項１３】 動き補償されたブロック間差分の輝度
    分散を、フレーム内符号化モードがより多く選択される
    ように再定義して、フレーム内符号化モードによって符
    号化されるブロック数を増加させることを特徴とする請
    求項９記載の動画像符号化方式の変換方法。
14. 【請求項１４】 動領域に属するマクロブロックのイン
    トラリフレッシュの間隔を短縮して、フレーム内符号化
    モードによって符号化されるブロック数を増加させるこ
    とを特徴とする請求項９記載の動画像符号化方式の変換
    方法。
15. 【請求項１５】 フレーム内符号化モードとフレーム間
    差分符号化モードとをブロック単位で切り替える第１の
    動画像符号化方式によって生成された第１データ系列
    を、フレーム内符号化モードとフレーム間差分符号化モ
    ードとをブロック単位で切り替える第２の動画像符号化
    方式によって生成される第２データ系列に変換する動画
    像符号化方式の変換方法であって、 前記第２データ系列の発生符号量が目標値を越える場合
    は、前記第２の動画像方式においてフレーム間符号化モ
    ードによって符号化されるブロック数を増加させること
    を特徴とする動画像符号化方式の変換方法。
16. 【請求項１６】 前記第１のデータ系列から１ブロック
    単位のデータを読出した際に、その１ブロック単位のデ
    ータ量を記録するステップと、 前記ブロック単位毎に前記記録されたデータ量に係数を
    乗じた値を第２データ系列の発生符号量の目標値として
    使用するステップとを有する請求項１５記載の動画像符
    号化方式の変換方法。
17. 【請求項１７】 前記第１のデータ系列からデータを読
    み出した際に、前記第１の動画像符号化方式において当
    該データを量子化した際の量子化幅を取得するステップ
    と、 現フレームを前記第２の動画像符号化方式により符号化
    する際に前記第２データ系列の発生符号量を調節する場
    合、前記第２の動画像符号化方式における量子化幅を、
    前記取得された量子化幅の整数倍に変更するステップと
    を有する請求項１５記載の動画像符号化方式の変換方
    法。
18. 【請求項１８】 量子化により情報損失を伴う第１の不
    可逆動画像符号化方式によって生成された第１データ系
    列を、量子化により情報損失を伴う第２の不可逆動画像
    符号化方式によって生成される第２データ系列に変換す
    る動画像符号化方式の変換方法であって、 前記第１データ系列からデータを読み出した際に、前記
    第１の不可逆動画像符号化方式において当該データを量
    子化した際の量子化幅を取得するステップと、 前記第２データ系列の発生符号量を調節する場合、前記
    第２の不可逆動画像符号化方式における量子化幅を、前
    記取得された量子化幅の整数倍に変更するステップとを
    有する動画像符号化方式の変換方法。
19. 【請求項１９】 フレーム内符号化モードとフレーム間
    差分符号化モードとの組み合わせからなる第１の動画像
    符号化方式によって生成された第１データ系列を、同じ
    くフレーム内符号化モードとフレーム間差分符号化モー
    ドとの組み合わせからなる第２の動画像符号化方式によ
    って生成される第２データ系列に変換する動画像符号化
    変換装置であって、 現フレームの後に続く後続フレームの符号化モードを前
    記第１データ系列から先読みする手段と、 先読みされた前記後続フレームの符号化モードがフレー
    ム内符号化であるか否か判断する手段と、 前記後続フレームの符号化モードがフレーム内符号化で
    ある場合、前記第２データ系列の発生符号量に応じて、
    前記現フレームを前記第２の動画像符号化方式により符
    号化するか否か決める手段とを具備し、前記第１データ
    系列中に存在するフレーム内符号化モードで符号化され
    たデータを、優先的に第２データ系列に変換することを
    特徴とする動画像符号化変換装置。
20. 【請求項２０】 フレーム内符号化モードとフレーム間
    差分符号化モードとをブロック単位で切り替える第１の
    動画像符号化方式によって生成された第１データ系列
    を、フレーム内符号化モードとフレーム間差分符号化モ
    ードとをブロック単位で切り替える第２の動画像符号化
    方式によって生成される第２データ系列に変換する動画
    像符号化変換装置であって、前記第２データ系列の発生
    符号量が目標値に達しない場合は、前記第２の動画像符
    号化方式においてフレーム内符号化モードによって符号
    化されるブロック数を増加させる機構を有する動画像符
    号化変換装置。
21. 【請求項２１】 フレーム内符号化モードとフレーム間
    差分符号化モードとをブロック単位で切り替える第１の
    動画像符号化方式によって生成された第１データ系列
    を、フレーム内符号化モードとフレーム間差分符号化モ
    ードとをブロック単位で切り替える第２の動画像符号化
    方式によって生成される第２データ系列に変換する動画
    像符号化変換装置であって、前記第２データ系列の発生
    符号量が目標値を越える場合は、前記第２の動画像方式
    においてフレーム間符号化モードによって符号化される
    ブロック数を増加させる機構を有する動画像符号化変換
    装置。
22. 【請求項２２】 量子化により情報損失を伴う第１の不
    可逆動画像符号化方式によって生成された第１データ系
    列を、量子化により情報損失を伴う第２の不可逆動画像
    符号化方式によって生成される第２データ系列に変換す
    る動画像符号化変換装置であって、 前記第１データ系列からデータを読み出した際に、前記
    第１の不可逆動画像符号化方式において当該データを量
    子化した際の量子化幅を取得する手段と、前記第２デー
    タ系列の発生符号量を調節する場合、前記第２の不可逆
    動画像符号化方式における量子化幅を、前記取得された
    量子化幅の整数倍に変更する手段とを具備する動画像符
    号化変換装置。
23. 【請求項２３】 フレーム内符号化モードとフレーム間
    差分符号化モードの組み合わせからなる第１の動画像符
    号化方式によって生成された第１データ系列を、フレー
    ム内符号化モードとフレーム間差分符号化モードの組み
    合わせからなる第２の動画像符号化方式によって生成さ
    れる第２データ系列に変換するプログラムを、コンピュ
    ータにより読取り可能に格納した記録媒体であって、 前記プログラムは、 現フレームの後に続く後続フレームの符号化モードを前
    記第１データ系列から先読みする手順、 先読みされた前記後続フレームの符号化モードがフレー
    ム内符号化であるか否か判断する手順、 前記後続フレームの符号化モードがフレーム内符号化で
    ある場合、前記第２データ系列の発生符号量に応じて、
    前記現フレームを前記第２の動画像符号化方式により符
    号化するか否か決める手順、を含む記録媒体。
24. 【請求項２４】 第１の動画像符号化方式によって生成
    された第１データ系列を、第２の動画像符号化方式によ
    り生成される第２データ系列に変換するプログラムを、
    コンピュータにより読取り可能に格納した記録媒体であ
    って、 前記プログラムは、 前記第１データ系列から１符号化単位のデータを読み出
    してその１符号化単位のデータ量を記録する手順、 前記記録されたデータ量に係数を乗じた値を前記１符号
    化単位毎に前記第２データ系列の発生符号量の目標値と
    して決める手順、 前記第２の動画像符号化方式により前記１符号化単位の
    データから前記第２のデータ系列を生成する際に、前記
    第２のデータ系列の発生符号量が前記目標値に近づくよ
    うにレート制御する手順、を含む記録媒体。
25. 【請求項２５】 フレーム内符号化モードとフレーム間
    差分符号化モードとをブロック単位で切り替える第１の
    動画像符号化方式によって生成された第１データ系列
    を、フレーム内符号化モードとフレーム間差分符号化モ
    ードとをブロック単位で切り替える第２の動画像符号化
    方式によって生成される第２データ系列に変換するプロ
    グラムを、コンピュータにより読取り可能に格納した記
    録媒体であって、 前記プログラムは、 前記第２データ系列の発生符号量が目標値に達しない場
    合は、前記第２の動画像符号化方式においてフレーム内
    符号化モードによって符号化されるブロック数を増加さ
    せる手順を含む記録媒体。
26. 【請求項２６】 フレーム内符号化モードとフレーム間
    差分符号化モードとをブロック単位で切り替える第１の
    動画像符号化方式によって生成された第１データ系列
    を、フレーム内符号化モードとフレーム間差分符号化モ
    ードとをブロック単位で切り替える第２の動画像符号化
    方式によって生成される第２データ系列に変換するプロ
    グラムを、コンピュータにより読取り可能に格納した記
    録媒体であって、 前記プログラムは、 前記第２データ系列の発生符号量が目標値を越える場合
    は、前記第２の動画像方式においてフレーム間符号化モ
    ードによって符号化されるブロック数を増加させる手順
    を含む記録媒体。
27. 【請求項２７】 量子化により情報損失を伴う第１の不
    可逆動画像符号化方式によって生成された第１データ系
    列を、量子化により情報損失を伴う第２の不可逆動画像
    符号化方式によって生成される第２データ系列に変換す
    るプログラムを、コンピュータにより読取り可能に格納
    した記録媒体であって、 前記プログラムは、 前記第１データ系列からデータを読み出した際に、前記
    第１の不可逆動画像符号化方式において当該データを量
    子化した際の量子化幅を取得する手順、 前記第２データ系列の発生符号量を調節する場合、前記
    第２の不可逆動画像符号化方式における量子化幅を、前
    記取得された量子化幅の整数倍に変更する手順、を含む
    記録媒体。