JP2002262295A - 動画像復号装置及び動画像符号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 予め定められたフレームレートに変換する復
号処理の演算量、及び予め定められたフレームレートに
変換する再符号化時の符号化処理の演算量を低減できる
動画像復号装置及び動画像符号化装置を提供する。 【解決手段】 復号・読み飛ばし制御手段により復号す
べきフレームを決定し、復号手段にフレームを渡す前に
不要なフレームを読み飛ばすことで、復号手段部におけ
る無駄な復号処理を削減することができる。さらに、再
符号化を行う符号化装置においては、フレームレート制
御部を必要としない簡素な構成となり、符号化手段の処
理負担が軽減できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像データを復
号して予め定められたフレームレートに変換する動画像
復号装置及び、動画像データを復号して予め定められた
フレームレートに変換し、変換後の復号画像データを所
定の符号化方式により再符号化する動画像符号化装置に
関する。そして、この発明は特に、復号処理及び再符号
化時の符号化処理の演算量を低減できる動画像復号装置
及び動画像符号化装置を提供することを目的としてい
る。

【０００２】

【従来の技術】近年の動画像の高能率圧縮符号化には、
例えばITU-T(International Telecommunication Union
- Telecommunication Standardization Sector) にて国
際標準になっている方式として、MPEG(Moving Picture
Experts Group)-2 ビデオを標準化したH.262勧告、テレ
ビ電話及びテレビ会議の伝送画像を標準化したH.261勧
告、PHS(Personal Handy-phone System) などの低ビッ
トレートの回線で伝送される画像を標準化したH.263勧
告が広く知られている。また、ISO/IEC(International
Organization for Standardization / International E
lectrotechnical Commission) にて国際標準になってい
る方式として、主に放送などの分野で利用される前述の
MPEG-2ビデオ、主にインターネットや移動通信で利用さ
れるMPEG-4ビジュアル符号化などがある。

【０００３】上記のそれぞれの符号化方式で用いられる
技術は、例えばDCT(Discrete Cosine Transform) やハ
フマン符号化などが共通に使われており、またCIF(Comm
on Intermediate Format)などの入力画像フォーマット
が同等のものを扱えるという点で類似しているが、実際
に符号化された際の符号化コードは各方式で大きく異な
っている。従って、異なる符号化方式を用いて符号化さ
れたビットストリームを相互に接続したい場合、また同
じ符号化方式で符号化された複数の画像を、ひとつの画
像に合成したい場合などには、符号化されたビットスト
リームを一旦復号してから、新たに再符号化する必要が
ある。

【０００４】さらに、例えばMPEG-2ビデオ方式からMPEG
-4ビジュアル方式に画像データを変換する場合、ビット
レートやバッファなどの制限により、フレーム間引きや
画像サイズの変換などの処理を伴うことも考えられる。

【０００５】このようなフレーム間引きや画像サイズの
変換などの処理を伴う場合における従来の符号化変換方
法によれば、図１１に示すような構成が必要である。図
１１は、MPEG-2ビデオ方式のビットストリームをMPEG-4
ビジュアル方式のビットストリームに変換するための従
来システムを表している。入力符号化ビットストリーム
を復号するMPEG-2ビデオ復号器１００と、復号された画
像をフレームレートに合わせて間引くフレーム間引き器
１０１と、復号された画像のサイズを変換する解像度変
換器１０２と、再符号化を行うMPEG-4ビジュアル符号化
器１０３で構成されている。

【０００６】MPEG-2ビデオ復号器１００には、入力端子
より符号化されたMPEG-2ビデオ符号化方式のビットスト
リーム１０４が入力される。ここで、MPEG-2ビデオ符号
化方式においては、予測の方向は、過去、未来、両方か
らの３モード存在する。また、これらは16画素×16画素
のMB（マクロブロック）ごとに切り替えて使用できる。
予測方向は入力画像に与えられたピクチャタイプによっ
て決定される。過去からの予測により符号化するモード
と、予測をしないでそのMBを独立で符号化するモードと
の２つのモードが存在するのがフレーム間順方向予測符
号化ピクチャ（Ｐピクチャ）である。また、未来からの
予測、過去からの予測、両方からの予測、独立で符号化
する４つのモードが存在するのがフレーム間双方向予測
符号化ピクチャ（Ｂピクチャ）である。そして、全ての
MBを独立で符号化するのがフレーム内符号化ピクチャ
（Ｉピクチャ）である。

【０００７】MPEG-2ビデオ復号器１００では各ピクチャ
タイプに応じた復号が行われ、元画像データ１０５が生
成される。次にフレーム間引き器１０１において、復号
された画像データ１０５を、指定されたフレームレート
に従って、例えば１／２や１／３にフレームを間引く処
理が行われる。さらに解像度変換器１０２において、入
力画像データ１０６が、MPEG-4ビジュアル符号化器１０
３で符号化可能な画像サイズ、例えばQCIF(Quarter CI
F)の解像度に変換される。最後にMPEG-4ビジュアル符号
化器１０３において、入力された画像データ１０７をMP
EG-4ビジュアル符号化方式で符号化して、得られた符号
化ビットストリーム１０８が出力端子から出力される。

【０００８】

【発明が解決しようとする課題】しかしながら、上記従
来の技術では、それぞれの符号化方式の復号器及び再符
号化のための符号化器が必要になり、特に符号化器側で
は、動き補償を行うための動きベクトル検出という非常
に処理量の多い処理を再度行わなければならず、全体的
な処理演算量の削減は重要な課題である。また、上記に
挙げられたMPEG-2ビデオ方式からMPEG-4ビジュアル方式
に変換する符号化変換方式では、フレーム間引き処理が
行われることにより、復号されたフレームの中で、その
後の符号化変換処理で全く使用されず符号化方式変換後
のビットストリームに含まれないフレームが存在する可
能性があり、つまり上記の符号化変換方式では無駄な復
号処理を含んでいることになる。

【０００９】本発明は上記従来問題点に鑑み、予め定め
られたフレームレートに変換して再符号化を行うための
復号処理及び再符号化時の符号化処理の演算量を削減す
ると共に、動きの激しい動画像における画像劣化を最小
限に抑えてより効率のよい再符号化を可能とする動画像
復号装置及び動画像符号化装置を提供することを目的と
している。

【００１０】

【課題を解決するための手段】そこで、上記課題を解決
するために本発明は、下記の動画像復号装置及び動画像
符号化装置を提供するものである。 （１） 入力符号化ビットストリーム内のヘッダ情報を
利用して入力符号化ビットストリーム内の符号化されて
いる動画像データを復号して予め定められたフレームレ
ートに変換する動画像復号装置であって、前記入力符号
化ビットストリーム内のヘッダ情報から、前記入力符号
化ビットストリーム内の符号化されている動画像データ
における各フレームである入力画像フレームのピクチャ
タイプを判定するピクチャタイプ判定手段と、前記入力
符号化ビットストリーム内のヘッダ情報から、前記各入
力画像フレームの表示順を判定するピクチャ表示順判定
手段と、前記ピクチャタイプ判定手段の判定結果、前記
ピクチャ表示順判定手段の判定結果、及び前記予め定め
られたフレームレートに基づき、前記各入力画像フレー
ムを復号するか読み飛ばすかを制御する復号・読み飛ば
し制御手段と、前記復号・読み飛ばし制御手段により復
号すると判断された入力画像フレームを復号し、復号さ
れた画像データである復号後画像フレームを得る復号手
段と、前記復号手段により復号された復号後画像フレー
ムを蓄積する画像データ蓄積手段と、前記ピクチャタイ
プ判定手段の判定結果、前記ピクチャ表示順判定手段の
判定結果、及び前記予め定められたフレームレートによ
って、出力すべき復号後画像フレームを判定する出力制
御手段とを備え、前記復号・読み飛ばし制御手段は、前
記ピクチャタイプ判定手段により判定されたピクチャタ
イプがフレーム間双方向予測符号化ピクチャである入力
画像フレームであり、かつ前記ピクチャ表示順判定手段
により判定された表示順と前記予め定められたフレーム
レートとに基づき復号しないと判定した入力画像フレー
ムに対しては読み飛ばす制御を行い、前記条件以外の入
力画像フレームに対しては前記復号手段により復号処理
を実行させる制御を行い、前記出力制御手段は、前記ピ
クチャタイプ判定手段によりフレーム間双方向予測符号
化ピクチャと判定された入力画像フレームが前記復号手
段により復号された場合、その復号後画像フレームを直
ちに出力させ、前記ピクチャタイプ判定手段によりフレ
ーム内符号化ピクチャまたはフレーム間順方向予測符号
化ピクチャと判定された入力画像フレームが前記復号手
段により復号された場合、その復号後画像フレームを前
記画像データ蓄積手段に一旦蓄積させ、その蓄積させた
復号後画像フレームを前記ピクチャ表示順判定手段によ
り判定された表示順と前記予め定められたフレームレー
トとに基づき出力すべきフレームと判定した場合にの
み、前記ピクチャ表示順判定手段により判定された表示
順に従って、前記蓄積させた復号後画像フレームを前記
画像データ蓄積手段から出力させる制御を行う、ことを
特徴とする動画像復号装置。 （２） 上記（１）記載の動画像復号装置において、前
記復号・読み飛ばし制御手段は、前記ピクチャタイプ判
定手段により判定されたピクチャタイプがフレーム間双
方向予測符号化ピクチャである入力画像フレームに対し
ては全て読み飛ばす制御を行い、前記出力制御手段は、
ピクチャタイプがフレーム間双方向予測符号化ピクチャ
であると判定された前記入力画像フレームの内、前記ピ
クチャ表示順判定手段により判定された表示順と前記予
め定められたフレームレートとに基づき出力すべきフレ
ームと判定された入力画像フレームに対しては、そのフ
レーム間双方向予測符号化ピクチャである入力画像フレ
ームを復号して出力する代わりに、前記ピクチャ表示順
判定手段により判定された表示順において、そのフレー
ム間双方向予測符号化ピクチャである入力画像フレーム
に時間的に最も近い他の入力画像フレームの復号後画像
フレームを、前記画像データ蓄積手段から出力させる制
御を行う、ことを特徴とする動画像復号装置。 （３） 上記（１）記載の動画像復号装置において、前
記復号手段から得られる動きベクトル情報を蓄積する動
きベクトル蓄積手段を設け、前記動きベクトル情報が所
定値より小さい場合には、前記ピクチャタイプ判定手段
により判定されたピクチャタイプがフレーム間双方向予
測符号化ピクチャである入力画像フレームに対して、前
記復号・読み飛ばし制御手段及び前記出力制御手段は上
記（２）に記載の制御を行う、ことを特徴とする動画像
復号装置。 （４） 入力符号化ビットストリーム内のヘッダ情報を
利用して入力符号化ビットストリーム内の符号化されて
いる動画像データを復号して予め定められたフレームレ
ートに変換し、変換後の復号画像データを所定の符号化
方式により再符号化する動画像符号化装置であって、前
記入力符号化ビットストリーム内のヘッダ情報から、前
記入力符号化ビットストリーム内の符号化されている動
画像データにおける各フレームである入力画像フレーム
のピクチャタイプを判定するピクチャタイプ判定手段
と、前記入力符号化ビットストリーム内のヘッダ情報か
ら、前記各入力画像フレームの表示順を判定するピクチ
ャ表示順判定手段と、前記ピクチャタイプ判定手段の判
定結果、前記ピクチャ表示順判定手段の判定結果、及び
前記予め定められたフレームレートに基づき、前記各入
力画像フレームを復号するか読み飛ばすかを制御する復
号・読み飛ばし制御手段と、前記復号・読み飛ばし制御
手段により復号すると判断された入力画像フレームを復
号し、復号された画像データである復号後画像フレーム
を得る復号手段と、前記復号手段により復号された復号
後画像フレームを蓄積する画像データ蓄積手段と、前記
ピクチャタイプ判定手段の判定結果、前記ピクチャ表示
順判定手段の判定結果、及び前記予め定められたフレー
ムレートによって、出力すべき復号後画像フレームを判
定する出力制御手段と、前記出力制御手段の制御に従っ
て出力された復号後画像フレームを所定の符号化方式に
より再符号化する符号化手段とを備え、前記復号・読み
飛ばし制御手段は、前記ピクチャタイプ判定手段により
判定されたピクチャタイプがフレーム間双方向予測符号
化ピクチャである入力画像フレームであり、かつ前記ピ
クチャ表示順判定手段により判定された表示順と前記予
め定められたフレームレートとに基づき復号しないと判
定した入力画像フレームに対しては読み飛ばす制御を行
い、前記条件以外の入力画像フレームに対しては前記復
号手段により復号処理を実行させる制御を行い、前記出
力制御手段は、前記ピクチャタイプ判定手段によりフレ
ーム間双方向予測符号化ピクチャと判定された入力画像
フレームが前記復号手段により復号された場合、その復
号後画像フレームを直ちに出力させ、前記ピクチャタイ
プ判定手段によりフレーム内符号化ピクチャまたはフレ
ーム間順方向予測符号化ピクチャと判定された入力画像
フレームが前記復号手段により復号された場合、その復
号後画像フレームを前記画像データ蓄積手段に一旦蓄積
させ、その蓄積させた復号後画像フレームを前記ピクチ
ャ表示順判定手段により判定された表示順と前記予め定
められたフレームレートとに基づき出力すべきフレーム
と判定した場合にのみ、前記ピクチャ表示順判定手段に
より判定された表示順に従って、前記蓄積させた復号後
画像フレームを前記画像データ蓄積手段から出力させる
制御を行う、ことを特徴とする動画像符号化装置。 （５） 上記（４）記載の動画像符号化装置において、
前記復号・読み飛ばし制御手段は、前記ピクチャタイプ
判定手段により判定されたピクチャタイプがフレーム間
双方向予測符号化ピクチャである入力画像フレームに対
しては全て読み飛ばす制御を行い、前記出力制御手段
は、ピクチャタイプがフレーム間双方向予測符号化ピク
チャであると判定された前記入力画像フレームの内、前
記ピクチャ表示順判定手段により判定された表示順と前
記予め定められたフレームレートとに基づき出力すべき
フレームと判定された入力画像フレームに対しては、そ
のフレーム間双方向予測符号化ピクチャである入力画像
フレームを復号して出力する代わりに、前記ピクチャ表
示順判定手段により判定された表示順において、そのフ
レーム間双方向予測符号化ピクチャである入力画像フレ
ームに時間的に最も近い他の入力画像フレームの復号後
画像フレームを、前記画像データ蓄積手段から出力させ
る制御を行う、ことを特徴とする動画像符号化装置。 （６） 上記（４）記載の動画像符号化装置において、
前記復号手段から得られる動きベクトル情報を蓄積する
動きベクトル蓄積手段を設け、前記動きベクトル情報が
所定値より小さい場合には、前記ピクチャタイプ判定手
段により判定されたピクチャタイプがフレーム間双方向
予測符号化ピクチャである入力画像フレームに対して、
前記復号・読み飛ばし制御手段及び前記出力制御手段は
上記（５）に記載の制御を行う、ことを特徴とする動画
像符号化装置。

【００１１】

【発明の実施の形態】課題を解決するための手段に記載
した構成によれば、復号・読み飛ばし制御手段により復
号すべきフレームを決定し、復号手段にフレームを渡す
前に不要なフレームを読み飛ばすことで、復号手段部に
おける無駄な復号処理を削減することができる。さら
に、再符号化を行う符号化装置においては、フレームレ
ート制御部を必要としない簡素な構成となり、符号化手
段の処理負担が軽減できる。以上から、より効率のよい
動画像復号処理及び再符号化処理が可能となる。

【００１２】また、復号及び出力すべきフレームが復号
処理演算量の非常に多いフレーム間双方向予測符号化ピ
クチャであった場合、動きベクトル蓄積手段により蓄積
された動きベクトルの大きさによって当該フレームを復
号するか読み飛ばすかを決定し、適応的に出力するフレ
ームを選択することで、演算量の削減に加えて動きの激
しい動画像において画質劣化を最小限に抑えることがで
き、元動画像データの再現性を高める効果が得られる。

【００１３】以下に、図面を参照して本発明の実施例に
ついて説明する。図１は、本発明に係る動画像復号装置
の第１実施例を示す図である。図１に示す動画像復号装
置は、バッファメモリ２０１と、復号部２０３と、バッ
ファメモリ２０１と復号部２０３を結ぶスイッチ２０２
と、ピクチャタイプ判定部２０５と、ピクチャ表示順判
定部２０６と、復号・読み飛ばし制御部２０７を備えて
いる。復号部２０３は復号処理部２０４と出力制御部２
１１とフレームメモリ２１２を含んでいる。

【００１４】各部の動作について説明する。まず、バッ
ファメモリ２０１と復号部２０３を結ぶスイッチ２０２
を開放状態としておく。動画像データがMPEG-2ビデオ方
式で符号化されている入力符号化ビットストリーム２０
０は、バッファメモリ２０１に蓄積され、入力符号化ビ
ットストリーム２００からシーケンスヘッダが検出さ
れ、処理開始フレームが取得される。ここで、動画像デ
ータ復号前と復号後のフレームレートから間引くフレー
ムの周期を決定し、ビットストリーム先頭のＩピクチャ
の表示番号から順に、GOP(Group Of Pictures)内の出力
フレーム番号を算出する。

【００１５】次に、ピクチャタイプ判定部２０５及びピ
クチャ表示順判定部２０６により、入力符号化ビットス
トリームのシーケンスヘッダのヘッダ情報が解析され
る。ピクチャタイプ判定部２０５は、ヘッダ情報のpict
ure#coding#type（以下ＰＣＴ）により、動画像データ
の各入力画像フレームのピクチャタイプを調べ、復号・
読み飛ばし制御部２０７及び出力制御部２１１にピクチ
ャタイプ情報２０８を送る。同様にピクチャ表示順判定
部２０６は、ヘッダ情報のtemporal#reference（以下Ｔ
Ｒ）により、各入力画像フレームの再生時の表示順を調
べ、復号・読み飛ばし制御部２０７及び出力制御部２１
１にピクチャ表示番号情報２０９を送る。

【００１６】復号・読み飛ばし制御部２０７は、前記ピ
クチャタイプ情報２０８及びピクチャ表示番号情報２０
９から、現入力画像フレームを復号するか読み飛ばすか
を判断し、バッファメモリ２０１と復号部２０３を結ぶ
スイッチ２０２の開閉を制御する。読み飛ばすと判断し
た場合、スイッチ２０２は開かれ、復号処理は行われな
い。復号すると判断した場合、スイッチ２０２は閉じら
れ、バッファメモリ２０１内の符号化ビットストリーム
が復号部２０３に入力される。そして、復号処理部２０
４により元画像データである復号後画像フレームに復号
され、フレームメモリ２１２に蓄積される。

【００１７】ここで、出力制御部２１１は、前記ピクチ
ャタイプ情報２０８及びピクチャ表示番号情報２０９か
ら出力すべき復号後画像フレームを判定して表示順に従
って出力復号画像データ２１０を出力する。

【００１８】図２に、M=3、N=12で符号化された入力ビ
ットストリームのピクチャタイプ並びの一部を示す。こ
こでMは参照フレームの出現周期を表し、NはGOP内のフ
レーム数を表す。図２（a）は復号順、図２（b）は出力
順を表し、ここではフレームレートを１／２に変換する
場合について示している。図２（a）の太線枠で示した
ものは実際に復号するフレームで、枠なし斜体文字で示
したものは読み飛ばすフレームである。図２（b）の太
線枠で示したものは実際に復号部２０３から出力される
フレームで、太点線枠で示したものは参照フレームとし
て復号処理部２０４で復号されるが、復号部２０３から
は出力されないフレームである。二点鎖線矢印は復号時
の参照フレームの参照方向を示すものである。

【００１９】また図３に、図２に示す例で行われる処理
のフローチャートを示す。このフローチャートについて
説明する。i = 0に入力されるフレーム（Ｉ２）はＰＣ
Ｔ =Ｉ、ＴＲ = evenなので復号される。復号された画
像データは参照用としてフレームメモリに蓄積され、i
= 0より出力はされない。ここでj = i = 0が代入され
る。次にi = 1として入力されるフレーム（Ｂ０）はＰ
ＣＴ = Ｂ、ＴＲ = evenより復号され、直ちに出力され
る。次にi = 2として入力されるフレーム（Ｂ１）はＰ
ＣＴ = Ｂ、ＴＲ = oddより読み飛ばされる。次にi = 3
として入力されるフレーム（Ｐ５）はＰＣＴ = Ｐ、Ｔ
Ｒ = oddより復号され、復号された画像データは参照用
としてフレームメモリに蓄積される。このとき、ＴＲ
（j =0） = evenよりi = 0に復号されたフレーム（Ｉ
２）が出力され、ここでj = i = 3が代入される。次にi
= 4として入力されるフレーム（Ｂ３）はＰＣＴ =
Ｂ、ＴＲ =oddより読み飛ばされる。次にi = 5として入
力されるフレーム（Ｂ４）はＰＣＴ = Ｂ、ＴＲ = even
より復号され、直ちに出力される。次にi = 6として入
力されるフレーム（Ｐ８）はＰＣＴ = Ｐ、ＴＲ = even
より復号され、復号された画像データは参照用としてフ
レームメモリに蓄積される。このとき、ＴＲ（j =3） =
oddより何も出力されず、ここでj = i = 6が代入され
る。以上の動作をバッファメモリにデータがなくなるま
で繰り返される。

【００２０】図４に、M = 3、 N = 12で符号化された入
力ビットストリームのピクチャタイプ並びの一部を示
す。ここではフレームレートを１／３に変換する場合に
ついて示している。この場合、図３に示すフローチャー
ト内の「(TR[i]%2) == 1」、「(TR[j]%2) == 1」 をそ
れぞれ「(TR[i]%3) != 2」、「(TR[j]%3) != 2」とすれ
ば同様の処理ができる。M = 3でフレームレートを２枚
おきに間引いているので、この場合の処理は表示番号に
関わらず、単純にB-ピクチャを読み飛ばす処理と等価で
あり、最も効果が大きい例である。

【００２１】図５に、動画像復号装置の第２実施例にお
いて、M = 3、 N = 12で符号化された入力ビットストリ
ームに対して、フレームレートを１／２に変換する場合
のピクチャタイプ並びの一部を示す。図５(a)の丸枠は
復号されないが、出力フレームレートに従うと時間的に
出力すべき位置にあるフレームを表す。太線枠で示した
ものは実際に復号するフレームで、枠なし斜体文字で示
したものは読み飛ばすフレームである。

【００２２】第２実施例の構成例は図１に示す第１実施
例と同様であり、図６に第２実施例での復号処理のフロ
ーチャートを示す。

【００２３】ここで、図５(c)は、復号処理が間に合わ
ない場合や符号量制御においてB-ピクチャを単純にスキ
ップするという従来例による出力順を示す。従来例で
は、復号部でフレームが復号されなかった場合、出力側
では単純にフレームメモリに残っているフレームを再出
力する。この場合、同じフレームが何度も出力されるこ
とになり、動画像としては不自然なものになる。

【００２４】そこで、第２実施例の動画像復号装置で
は、図１に示すピクチャタイプ判定部２０５及びピクチ
ャ表示順判定部２０６での判定結果により、入力画像フ
レームがB-ピクチャであった場合には復号せず、かつ、
そのB-ピクチャが出力フレームレートに従うと時間的に
出力すべき位置にあるフレームであった場合に、フレー
ムメモリ２１２に蓄積されたピクチャ表示順において、
そのB-ピクチャに時間的に最も近いフレーム（Ｉ-ピク
チャまたはＰ-ピクチャ）を出力するという処理を行
う。このような処理を行うことで、復号された全てのフ
レームが有効に出力され、また、同じフレームが繰り返
し出力される回数を従来例よりも大幅に低減でき、より
元動画像データに近い復号画像データが出力できる。

【００２５】図７は、第３実施例の動画像復号装置を示
す。また、図８に第２実施例での復号処理のフローチャ
ートを示す。第３実施例では、ピクチャタイプ判定部８
０５及びピクチャ表示順判定部８０６により、入力符号
化ビットストリーム内の入力画像フレームが出力すべき
フレームかつB-ピクチャと判定された場合に、次の制御
を行う。フレームメモリ８１２に蓄積された、例えばピ
クチャ表示順において、そのB-ピクチャと判定されたフ
レームと時間的に最も近いフレーム（Ｉ-ピクチャまた
はＰ-ピクチャ）の動きベクトルの大きさ８１３を用い
て、動きベクトル８１３が所定値以上の場合、つまりフ
レーム内の画像の動きが激しい場合には、前記B-ピクチ
ャである入力画像フレーム８００を復号し、前記第１実
施例と同様の処理が行われる。前記動きベクトルが所定
値よりも小さい場合、つまりフレーム内の画像の変化が
静止画に近い状態の場合には、B-ピクチャである入力画
像フレームの復号処理は行わず、前記第２実施例と同様
に、フレームメモリ８１２に蓄積されたピクチャ表示順
において時間的に最も近いフレーム（Ｉ-ピクチャまた
はＰ-ピクチャ）を出力する。

【００２６】図９は、本発明の動画像符号化装置の一実
施例である。図１０は、その実施例で行われる処理のフ
ローチャートである。図９に示す動画像符号化装置の一
実施例の構成は、バッファメモリ１００１と、復号部１
００３と、バッファメモリ１００１と復号部１００３を
結ぶスイッチ１００２と、ピクチャタイプ判定部１００
５と、ピクチャ表示順判定部１００６と、復号・読み飛
ばし制御部１００７と、解像度変換部１０１０と、符号
化部１０１４から成っており、復号部１００３は復号処
理部１００４と出力制御部１０１１とフレームメモリ１
０１２と動きベクトルメモリ１０１３を含んでいる。

【００２７】前記構成における解像度変換部１０１０と
符号化部１０１４以外は、前記動画像復号装置の第４実
施例と同様である。フレームメモリ１０１２より出力さ
れた復号画像データ（予め定められたフレームレートに
変換後の復号画像データ）は、解像度変換部１０１０に
より所定の画像サイズに変換され、符号化部１０１４に
より所定の符号化方式に再符号化されて出力符号化ビッ
トストリーム１０１５として出力される。

【００２８】

【発明の効果】上述した通り、本発明は以下の効果を有
する。 （イ） 予め定められたフレームレートに応じて、復号
・読み飛ばし制御手段により復号すべきフレームを決定
し、復号手段にフレームを渡す前に不要なフレームを読
み飛ばすことで、復号手段部における無駄な復号処理を
削減することができる。さらに、一旦復号した後に再符
号化を行う符号化装置においては、復号処理と同時にフ
レームレート制御も行われているので、新たにフレーム
レート制御部を必要としない簡素な構成となり、符号化
手段の処理負担が軽減できる。以上から、より効率のよ
い動画像復号処理及び再符号化処理が可能となる。 （ロ） ピクチャタイプ判定手段により判定されたピク
チャタイプがフレーム間双方向予測符号化ピクチャであ
る入力画像フレームに対しては、全て読み飛ばす制御を
行い、かつ、その読み飛ばすフレーム間双方向予測符号
化ピクチャであるる入力画像フレームの内、予め定めら
れたフレームレートとの関係で出力すべきフレームであ
ると判定されたフレーム（出力判定フレームと呼ぶこと
とする）に対しては、ピクチャ表示順判定手段により判
定された表示順において前記出力判定フレームに時間的
に最も近い復号後画像フレームを画像データ蓄積手段か
ら出力させる制御を行うようにした場合には、復号処理
演算量の非常に多いフレーム間双方向予測符号化ピクチ
ャの復号処理を省くことができ、より効率的な復号処理
／再符号化処理が可能となると同時に、同じフレームが
繰り返し出力される回数を従来例よりも大幅に低減で
き、より元動画像データに近い復号画像データ／再符号
化データが出力できる。 （ハ） 復号及び出力すべきフレームが復号処理演算量
の非常に多いフレーム間双方向予測符号化ピクチャであ
った場合に、動きベクトル蓄積手段により蓄積された動
きベクトルの大きさによって当該フレームを復号するか
読み飛ばすかを決定し、適応的に出力するフレームを選
択するようにした場合には、演算量の削減に加えて動き
の激しい動画像において画質劣化を最小限に抑えること
ができ、元動画像データの再現性を高める効果が得られ
る。

【図面の簡単な説明】

【図１】動画像復号装置の第１実施例の構成図である。

【図２】動画像復号装置の第１実施例におけるピクチャ
タイプ並びの一例（M（参照フレームの出現周期） =
3、 N（GOP内のフレーム数） = 12、 フレームレートを
１／２に変換する場合）を示す図である。

【図３】動画像復号装置の第１実施例における動作フロ
ーチャートである。

【図４】動画像復号装置の第１実施例におけるピクチャ
タイプ並びの一例（M = 3、 N= 12、 フレームレートを
１／３に変換する場合）を示す図である。

【図５】動画像復号装置の第２実施例におけるピクチャ
タイプ並びの一例（M = 3、 N= 12、 フレームレートを
１／２に変換する場合）を示す図である。

【図６】動画像復号装置の第２実施例における動作フロ
ーチャートである。

【図７】動画像復号装置の第３実施例の構成図である。

【図８】動画像復号装置の第３実施例における動作フロ
ーチャートである。

【図９】動画像符号化装置の一実施例の構成図である。

【図１０】動画像符号化装置の一実施例における動作フ
ローチャートである。

【図１１】従来例の構成図である。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK01 KK15 MA00 MA04 MA05 MA14 NN01 NN21 PP06 PP07 RB09 RC12 TA03 TA07 TB03 TC12 TC24 TC37 UA05 UA32 5J064 AA02 BB03 BC01 BC26 BD03

Claims (6)

【特許請求の範囲】
1. 【請求項１】入力符号化ビットストリーム内のヘッダ情
   報を利用して入力符号化ビットストリーム内の符号化さ
   れている動画像データを復号して予め定められたフレー
   ムレートに変換する動画像復号装置であって、 前記入力符号化ビットストリーム内のヘッダ情報から、
   前記入力符号化ビットストリーム内の符号化されている
   動画像データにおける各フレームである入力画像フレー
   ムのピクチャタイプを判定するピクチャタイプ判定手段
   と、 前記入力符号化ビットストリーム内のヘッダ情報から、
   前記各入力画像フレームの表示順を判定するピクチャ表
   示順判定手段と、 前記ピクチャタイプ判定手段の判定結果、前記ピクチャ
   表示順判定手段の判定結果、及び前記予め定められたフ
   レームレートに基づき、前記各入力画像フレームを復号
   するか読み飛ばすかを制御する復号・読み飛ばし制御手
   段と、 前記復号・読み飛ばし制御手段により復号すると判断さ
   れた入力画像フレームを復号し、復号された画像データ
   である復号後画像フレームを得る復号手段と、 前記復号手段により復号された復号後画像フレームを蓄
   積する画像データ蓄積手段と、 前記ピクチャタイプ判定手段の判定結果、前記ピクチャ
   表示順判定手段の判定結果、及び前記予め定められたフ
   レームレートによって、出力すべき復号後画像フレーム
   を判定する出力制御手段とを備え、 前記復号・読み飛ばし制御手段は、前記ピクチャタイプ
   判定手段により判定されたピクチャタイプがフレーム間
   双方向予測符号化ピクチャである入力画像フレームであ
   り、かつ前記ピクチャ表示順判定手段により判定された
   表示順と前記予め定められたフレームレートとに基づき
   復号しないと判定した入力画像フレームに対しては読み
   飛ばす制御を行い、前記条件以外の入力画像フレームに
   対しては前記復号手段により復号処理を実行させる制御
   を行い、 前記出力制御手段は、前記ピクチャタイプ判定手段によ
   りフレーム間双方向予測符号化ピクチャと判定された入
   力画像フレームが前記復号手段により復号された場合、
   その復号後画像フレームを直ちに出力させ、前記ピクチ
   ャタイプ判定手段によりフレーム内符号化ピクチャまた
   はフレーム間順方向予測符号化ピクチャと判定された入
   力画像フレームが前記復号手段により復号された場合、
   その復号後画像フレームを前記画像データ蓄積手段に一
   旦蓄積させ、その蓄積させた復号後画像フレームを前記
   ピクチャ表示順判定手段により判定された表示順と前記
   予め定められたフレームレートとに基づき出力すべきフ
   レームと判定した場合にのみ、前記ピクチャ表示順判定
   手段により判定された表示順に従って、前記蓄積させた
   復号後画像フレームを前記画像データ蓄積手段から出力
   させる制御を行う、ことを特徴とする動画像復号装置。
2. 【請求項２】請求項１記載の動画像復号装置において、 前記復号・読み飛ばし制御手段は、前記ピクチャタイプ
   判定手段により判定されたピクチャタイプがフレーム間
   双方向予測符号化ピクチャである入力画像フレームに対
   しては全て読み飛ばす制御を行い、 前記出力制御手段は、ピクチャタイプがフレーム間双方
   向予測符号化ピクチャであると判定された前記入力画像
   フレームの内、前記ピクチャ表示順判定手段により判定
   された表示順と前記予め定められたフレームレートとに
   基づき出力すべきフレームと判定された入力画像フレー
   ムに対しては、そのフレーム間双方向予測符号化ピクチ
   ャである入力画像フレームを復号して出力する代わり
   に、前記ピクチャ表示順判定手段により判定された表示
   順において、そのフレーム間双方向予測符号化ピクチャ
   である入力画像フレームに時間的に最も近い他の入力画
   像フレームの復号後画像フレームを、前記画像データ蓄
   積手段から出力させる制御を行う、ことを特徴とする動
   画像復号装置。
3. 【請求項３】請求項１記載の動画像復号装置において、 前記復号手段から得られる動きベクトル情報を蓄積する
   動きベクトル蓄積手段を設け、 前記動きベクトル情報が所定値より小さい場合には、前
   記ピクチャタイプ判定手段により判定されたピクチャタ
   イプがフレーム間双方向予測符号化ピクチャである入力
   画像フレームに対して、前記復号・読み飛ばし制御手段
   及び前記出力制御手段は請求項２に記載の制御を行う、
   ことを特徴とする動画像復号装置。
4. 【請求項４】入力符号化ビットストリーム内のヘッダ情
   報を利用して入力符号化ビットストリーム内の符号化さ
   れている動画像データを復号して予め定められたフレー
   ムレートに変換し、変換後の復号画像データを所定の符
   号化方式により再符号化する動画像符号化装置であっ
   て、 前記入力符号化ビットストリーム内のヘッダ情報から、
   前記入力符号化ビットストリーム内の符号化されている
   動画像データにおける各フレームである入力画像フレー
   ムのピクチャタイプを判定するピクチャタイプ判定手段
   と、 前記入力符号化ビットストリーム内のヘッダ情報から、
   前記各入力画像フレームの表示順を判定するピクチャ表
   示順判定手段と、 前記ピクチャタイプ判定手段の判定結果、前記ピクチャ
   表示順判定手段の判定結果、及び前記予め定められたフ
   レームレートに基づき、前記各入力画像フレームを復号
   するか読み飛ばすかを制御する復号・読み飛ばし制御手
   段と、 前記復号・読み飛ばし制御手段により復号すると判断さ
   れた入力画像フレームを復号し、復号された画像データ
   である復号後画像フレームを得る復号手段と、 前記復号手段により復号された復号後画像フレームを蓄
   積する画像データ蓄積手段と、 前記ピクチャタイプ判定手段の判定結果、前記ピクチャ
   表示順判定手段の判定結果、及び前記予め定められたフ
   レームレートによって、出力すべき復号後画像フレーム
   を判定する出力制御手段と、 前記出力制御手段の制御に従って出力された復号後画像
   フレームを所定の符号化方式により再符号化する符号化
   手段とを備え、 前記復号・読み飛ばし制御手段は、前記ピクチャタイプ
   判定手段により判定されたピクチャタイプがフレーム間
   双方向予測符号化ピクチャである入力画像フレームであ
   り、かつ前記ピクチャ表示順判定手段により判定された
   表示順と前記予め定められたフレームレートとに基づき
   復号しないと判定した入力画像フレームに対しては読み
   飛ばす制御を行い、前記条件以外の入力画像フレームに
   対しては前記復号手段により復号処理を実行させる制御
   を行い、 前記出力制御手段は、前記ピクチャタイプ判定手段によ
   りフレーム間双方向予測符号化ピクチャと判定された入
   力画像フレームが前記復号手段により復号された場合、
   その復号後画像フレームを直ちに出力させ、前記ピクチ
   ャタイプ判定手段によりフレーム内符号化ピクチャまた
   はフレーム間順方向予測符号化ピクチャと判定された入
   力画像フレームが前記復号手段により復号された場合、
   その復号後画像フレームを前記画像データ蓄積手段に一
   旦蓄積させ、その蓄積させた復号後画像フレームを前記
   ピクチャ表示順判定手段により判定された表示順と前記
   予め定められたフレームレートとに基づき出力すべきフ
   レームと判定した場合にのみ、前記ピクチャ表示順判定
   手段により判定された表示順に従って、前記蓄積させた
   復号後画像フレームを前記画像データ蓄積手段から出力
   させる制御を行う、ことを特徴とする動画像符号化装
   置。
5. 【請求項５】請求項４記載の動画像符号化装置におい
   て、 前記復号・読み飛ばし制御手段は、前記ピクチャタイプ
   判定手段により判定されたピクチャタイプがフレーム間
   双方向予測符号化ピクチャである入力画像フレームに対
   しては全て読み飛ばす制御を行い、 前記出力制御手段は、ピクチャタイプがフレーム間双方
   向予測符号化ピクチャであると判定された前記入力画像
   フレームの内、前記ピクチャ表示順判定手段により判定
   された表示順と前記予め定められたフレームレートとに
   基づき出力すべきフレームと判定された入力画像フレー
   ムに対しては、そのフレーム間双方向予測符号化ピクチ
   ャである入力画像フレームを復号して出力する代わり
   に、前記ピクチャ表示順判定手段により判定された表示
   順において、そのフレーム間双方向予測符号化ピクチャ
   である入力画像フレームに時間的に最も近い他の入力画
   像フレームの復号後画像フレームを、前記画像データ蓄
   積手段から出力させる制御を行う、ことを特徴とする動
   画像符号化装置。
6. 【請求項６】請求項４記載の動画像符号化装置におい
   て、 前記復号手段から得られる動きベクトル情報を蓄積する
   動きベクトル蓄積手段を設け、 前記動きベクトル情報が所定値より小さい場合には、前
   記ピクチャタイプ判定手段により判定されたピクチャタ
   イプがフレーム間双方向予測符号化ピクチャである入力
   画像フレームに対して、前記復号・読み飛ばし制御手段
   及び前記出力制御手段は請求項５に記載の制御を行う、
   ことを特徴とする動画像符号化装置。