JP2005051621A - 動画像符号化装置および動画像符号化方法 - Google Patents

Abstract

【課題】 本発明の目的は、ランダムアクセスメディアに記録された動画像データを圧縮符号化して伝送する際に、ＭＰＥＧ２の低遅延符号化方式よりも伝送遅延時間を短縮し、かつ困難度が大きい動画像復号化データに対する符号化後の画質を改善する動画像符号化装置および動画像符号化方法を提供することである。
【解決手段】 読出し手段２は、記録媒体６から、所定単位毎に動画像データを読み出し、データ量算出手段５は、読出し手段２が読み出した動画像データに含まれる所定単位毎の動画像データのデータ量および量子化幅を参照し、当該データ量および当該量子化幅に基づいて、当該動画像データの目標データ量を算出し、復号化手段３は、読出し手段２が読み出した動画像データを復号化し、符号化手段４は、データ量算出手段５が算出した目標データ量となるように、復号化手段３が復号化した動画像データを圧縮符号化する。
【選択図】 図４

Description

本発明は、動画像符号化装置に関し、より特定的には、記録媒体に符号化された状態で記録された動画像データを読み出して、送信のために再符号化する動画像符号化装置に関する発明である。

近年、自動車内等において複数の電子機器がネットワークで接続されるシステムが増加してきている。このようなシステムの一例としては、自動車内において、ＤＶＤプレーヤーと表示装置とがネットワークを介して接続されるシステムが存在する。当該システムでは、ＤＶＤディスクからＤＶＤプレーヤーが圧縮符号化された動画像データを読み出して表示装置に転送し、表示装置が復号化して表示することが多い。

しかしながら、ＤＶＤプレーヤーで読み出される圧縮符号化された動画像データは、各画面毎にそのデータ量が大きくばらつく。このように、画面間でのデータ量がばらつくと、ネットワークを介した転送時に大きな遅延が発生するという問題が存在する。

そこで、動画像信号を圧縮符号化し、かつ符号化および復号化に要する遅延時間を短縮する技術として、ＩＳＯ−ＩＥＣ／ＪＴＣ／ＳＣ２９／ＷＧ１１ ＮＯ３２８ “Ｔｅｓｔ Ｍｏｄｅｌ ３”に記載されている、ＭＰＥＧ２の低遅延符号化方式がある。このＭＰＥＧ２の低遅延符号化方式は、まず、Ｂピクチャを用いないことで、画面の並べ替えに要する遅延時間を削減している。また、各ピクチャのビット数をできるだけ均等にすることにより、復号化装置の入力バッファで発生するバッファリングの遅延時間を短縮している。具体的には、バッファリングの遅延時間は、ピクチャのビット数の最大値に依存する。そのため、各ピクチャのビット数ができるだけ均等にされることにより、均等にされたビット数に依存してバッファリングが行われるようになるので、バッファリングの遅延時間は短縮される。

しかしながら、このレート制御方式では、あくまで各ピクチャのビット数をできるだけ均等にしているに過ぎない。つまり、１ピクチャの発生ビット数は１ピクチャの目標ビット数を超えてもよく、各ピクチャの発生ビット数にばらつきが生じる。このため、各ピクチャの発生ビット数が大きい場合には、デコーダの受信バッファにおけるバッファリングの遅延時間の増大が生じてしまう。さらに、各ピクチャの発生ビット数が大きすぎる場合には、当該ピクチャの符号化がスキップされてしまい、動画像のフレーム落ちが発生してしまう。以下に、図面を参照しながら具体的に説明する。ここで、図５は、上記低遅延符号化方式での符号化の様子を示した図である。

まず、図５に示すように、低遅延符号化装置２１に、Ｐ’０〜Ｐ’３の動画像復号化データが入力してくる。ここで、図５に示すように、動画像復号化データＰ’０〜Ｐ’２の間では画面が連続的に変化しているが、動画像復号化データＰ’３では、突然画面が大きく変化している。このような場合において、低遅延符号化装置２１でＭＰＥＧ２のデータに動画像復号化データＰ’０〜Ｐ’３が符号化されると、動画像復号化データＰ’３に対応する動画像符号化データＱ’３のデータ量が大きくなる。この後、動画像符号化データＱ’０〜Ｑ’３は、送信バッファ２２および伝送路２３を経由して受信バッファ２４に到達する。

ここで、受信バッファ２４は、送信されてくる動画像符号化データＱ’０〜Ｑ’３を、連続的に途切れることなく一定の速度で出力するために、バッファリングを行う。具体的には、図５に示す場合では、動画像符号化データＱ’３がデータ量が多くなっているので、当該動画像符号化データＱ’３は、受信バッファ２４に遅れて到達する。そこで、受信バッファ２４は、動画像符号化データＱ’０〜Ｑ’２を受信後すぐに復号化装置２５に出力するのではなく、動画像符号化データＱ’３の受信に合わせて出力するようにしている。その結果、受信バッファにおけるバッファリング遅延時間の増大が生じてしまう。

この問題を解決する従来の低遅延符号化装置を、図６を用いて説明する（特許文献１参照）。図６は、従来の低遅延符号化装置の構成および動作を示した図である。

図６に示す低遅延符号化装置３１は、外部から入力される動画像復号化データ（図６では、Ｐ’０〜Ｐ’３）を、符号化後にすべて同じビット数になるように符号化する。これにより、同じビット数を有する動画像符号化データ（図４では、Ｑ’０〜Ｑ’３）が生成される。

次に、動画像符号化データ（Ｑ’０〜Ｑ’３）は、送信バッファ２２に一時的に蓄積された後、伝送路３３で固定のビットレートで伝送される。その後、受信側では、動画像符号化データは、受信バッファ３４で一時的に蓄積された後、復号化装置３５で復号化される。このとき、図６に示す動画像復号化データＰ’０〜Ｐ’４がそれぞれ１フィールド分の動画像復号化データであれば、送信バッファ３２と受信バッファ３４で一時的に蓄積される時間はそれぞれ１フィールド分の時間でよい。そのため、低遅延符号化装置３１から動画像符号化データが出力されてから復号化装置３５に当該動画像符号化データが入力するまでの伝送遅延時間は、図６に示すように、２フィールド分の時間、すなわち約３３ｍｓｅｃとなる。
特開２００１−１６９２８１号公報

しかしながら、この従来の動画像符号化装置においては、すべての動画像復号化データを同じ符号量に符号化するため、動きの大きな動画像やシーンチェンジ後の動画像復号化データなどを符号化すると、画質が劣化してしまうという問題点がある。具体的に、図６を用いて説明する。

図６において、動画像復号化データＰ’２から動画像復号化データＰ’３にかけて、画像が大きく変化している。以下、このような動画像復号化データＰ’３を、符号化難易度が高い動画像復号化データと称す。このように、符号化難易度が高い動画像復号化データ（図６では、Ｐ’３）を通常のＭＰＥＧ２の方式で符号化する場合、符号化難易度が高い動画像復号化データに対応する動画像符号化データ（図６では、Ｑ’３）のデータ量は、その直前の動画像符号化データ（図６では、Ｑ’０〜Ｑ’２）のデータ量よりも大きくなってしまう。

これに対して、上記従来の低遅延符号化装置３１は、符号化難易度が高い動画像復号化データ（図６では、Ｐ’３）に対応する動画像符号化データ（図６では、Ｑ’３）のビット数と、その直前の動画像符号化データ（図６では、Ｑ’０〜Ｑ’２）のビット数とが等しくなるように、符号化難易度が高い動画像復号化データ（図６では、Ｐ’３）を符号化している。すなわち、上記符号化難易度が高い動画像復号化データについては、他の動画像復号化データよりも大きく圧縮して、動画像符号化データを生成している。ここで、画質と動画像符号化データの圧縮率とは、トレードオフの関係にある。そのため、符号化難易度が高い動画像復号化データを符号化して動画像符号化データを生成した場合には、当該動画像符号化データの画質が大きく劣化してしまう。

そこで、本発明の目的は、ランダムアクセスメディアに記録された動画像データを圧縮符号化して伝送する際に、ＭＰＥＧ２の低遅延符号化方式よりも伝送遅延時間を短縮し、かつ困難度が大きい動画像復号化データに対する符号化後の画質を改善する動画像符号化装置および動画像符号化方法を提供することである。

本発明に係る動画像符号化装置では、読出し手段が、記録媒体から、所定単位毎に動画像データを読み出し、データ量算出手段が、読出し手段が読み出した動画像データに含まれる所定単位毎の動画像データのデータ量および量子化幅を参照し、当該データ量および当該量子化幅に基づいて、当該動画像データの目標データ量を算出し、復号化手段が、読出し手段が読み出した動画像データを復号化し、符号化手段が、データ量算出手段が算出した目標データ量となるように、復号化手段が復号化した動画像データを圧縮符号化するようにしている。

また、データ量算出手段は、データ量と量子化幅の積である符号化難易度を算出する符号化難易度算出手段と、符号化難易度算出手段が算出した符号化難易度が予め定められた閾値よりも大きいか否かを判定する判定手段と、判定手段が、前記符号化難易度が前記閾値よりも大きいと判定した場合には、当該符号化難易度が所定値よりも大きいと判定された動画像データの直前に存在する所定数の動画像データの目標データ量を、所定データ量よりも小さく決定し、当該符号化難易度が所定値よりも大きいと判定された動画像データの目標データ量を、所定データ量よりも大きく決定するデータ量決定手段とを含んでいてもよい。

ここで、復号化手段は、データ量算出手段が算出した目標データ量に応じて、復号化速度を変化させることが望ましい。具体的には、復号化手段は、目標データ量が所定データ量よりも小さいか否かを判定するデータ量判定手段を含み、データ量判定手段が所定データ量よりも目標データ量が小さいと判定した場合には、当該目標データ量に対応する動画像データを、第１の速度で符号化し、データ量判定手段が所定データ量よりも目標データ量が小さくないと判定した場合には、当該目標データ量に対応する動画像データを、第１の速度よりも遅い第２の速度で符号化することが挙げられる。

また、データ量決定手段は、判定手段が、所定数の動画像データについて連続して符号化難易度が閾値よりも小さいと判定した場合には、所定数の動画像データの内、最初の動画像データの目標ビット数を所定データ量に決定するようにしてもよい。

また、データ量算出手段は、所定データ量と符号化後のデータ量との差分値と、符号化対象動画像データの符号化難易度と、符号化対象動画像データより後の動画像データの符号化難易度とに基づいて、目標データ量を算出するようにしてもよい。

なお、本発明は、動画像符号化装置のみならず、動画像符号化方法についても向けられている。

本発明は、データ量及び量子化幅に基づいて算出された目標データ量に、動画像データを再符号化しているので、動画像データを送信する際において、遅延の生じにくくかつ、動画像の画質が大きく劣化しにくいデータ量に符号化することが可能となる。

また、符号化難易度が、閾値より高い場合には、当該符号化難易度が所定値よりも大きいと判定された動画像データの直前に存在する所定数の動画像データの目標データ量を、所定データ量よりも小さく決定し、当該符号化難易度が所定値よりも大きいと判定された動画像データの目標データ量を、所定データ量よりも大きく決定するようにしている。これにより、符号化難易度の高い画像の画質を劣化しにくくすることが可能となる。

また、復号化手段が、目標データ量に応じて、復号化速度を変化させるので、符号化手段に入力する速度が目標データ量に応じて、変化することになる。その結果、符号化手段での符号化速度が、目標データ量に応じて変化することになる。

また、所定数の動画像データについて連続して符号化難易度が閾値よりも小さい場合には、所定数の動画像データの内、最初の動画像データの目標ビット数が所定データ量に決定される。すなわち、常時は、目標ビット数は、所定データ量に設定される。そのため、当該動画像符号化装置によれば、符号化難易度が低い画像が続く場合において、大きな遅延が発生することを防止できる。

以下に、本発明の一実施形態に係る動画符号化装置について図面を参照しながら説明する。当該動画符号化装置は、ＤＶＤディスク等から圧縮動画像データを読み出して動画像復号化データを生成し、当該動画像復号化データをＭＰＥＧ２方式により符号化を行って装置外へ出力する。そして、当該動画符号化装置は、ＭＰＥＧ２方式による符号化時において、符号化難易度の高い画像の動画像復号化データが存在しても、大きな伝送遅延時間が発生せず、かつ当該符号化難易度の高い画像の画質劣化が小さくすることができる構造を有する。図１は、本実施形態に係る動画像符号化装置の全体構成を示すブロック図である。

図１に示す動画像符号化装置１は、ディスク読出し部２、復号化部３、符号化部４および目標ビット数演算部５を備える。さらに、ディスク読出し部２は、ディスク６に接続されている。

ディスク読出し部２は、圧縮動画像データが記録されたディスク６から、圧縮動画像データを読み出す。目標ビット数演算部５は、ディスク読出し部２が読み出した圧縮動画像データから、符号化部４が１フィールド画像を符号化する際に目標とする符号化後のビット数（以下、目標ビット数と称す）を算出する。具体的には、目標ビット数演算部５は、常時は、予め定められた所定の標準符号量ａに、目標ビット数Ｂ_ｎを設定する。ただし、入力してきた圧縮動画像データがシーンの切り替わり等により非常に大きなデータ量を有している場合（すなわち高い圧縮率で圧縮する必要がある場合）には、目標ビット数演算部５は、当該圧縮動画像データの直前の所定フィールド分の圧縮動画像データの目標ビット数をａ−ｃに設定する。そして、目標ビット数演算部５は、上記大きなデータ量を有する圧縮動画像データの目標ビット数をａよりも大きな値に設定する。

復号化部３は、ディスク読出し部２が読み出した圧縮動画像データを復号化して動画像復号化データを生成する。ここで、当該復号化部３は、目標ビット数演算部５が算出した目標ビット数の大きさに応じて、データを復号化する速度を変化させる。具体的には、目標ビット数が相対的に大きい場合には、復号化部３は、相対的に遅い速度でデータを復号化する。一方、目標ビット数が相対的に小さい場合には、復号化部３は、相対的に速い速度でデータを復号化する。

符号化部４は、復号化部３が生成した動画像復号化データをＭＰＥＧ２のシンプルプロファイルで符号化して、動画像符号化データを生成する。ここで、当該符号化部４は、目標ビット数演算部５が算出した目標ビット数の大きさに応じて、動画符号化データのビット数を変化させる。具体的には、当該符号化部４は、動画符号化データの大きさが目標ビット数になるように、動画像復号化データを符号化する。

以上のように構成された本実施形態に係る動画像符号化装置１の動作について、図面を参照しながら説明する。なお、本実施形態で示す各処理は、コンピュータを用いてソフトウェア的に実現するか、あるいはそれら各処理を行う専用のハードウェア回路を用いて実現することができる。ここで、図２は、目標ビット数演算部５の動作を示したフローチャートである。また、図３は、復号化部３の動作を示したフローチャートである。

まず、ディスク読出し部２は、ディスク６から圧縮動画像データを読み出して目標ビット数演算部５に出力する。圧縮動画像データを取得した目標ビット数演算部５は、取得した圧縮動画像データの目標ビット数を算出する。以下に、図２を用いて、目標ビット数の算出処理について説明する。

まず、目標ビット数演算部５は、フィールド番号ｎに初期値1を代入し、累積ビット数差Ｄに初期値０を代入する（ステップＳ１０）。ここで累積ビット数差とは、符号化部４が、標準符号量ａでＭフィールドを符号化したときの符号量（すなわち、ａ×Ｍ）から、実際のＭフィールド分の動画像符号化データの符号量を引いた値である。また、標準符号量ａとは、すべてのフィールドの符号化後の符号量を同一にして符号化したと仮定した場合の、１フィールドの画像の符号化後の符号量である。具体的には、符号化部４が出力する動画像符号化データのビットレートをＲ（ｂｐｓ）とし、１フィールドの画像の表示周期をＦ秒とすると、標準符号量ａは、式(１)に示すようになる。

標準符号量ａ＝Ｒ×Ｆ（ビット）・・・（１）
次に、目標ビット数演算部５は、入力してきたフィールド番号ｎのフィールド画像の符号化難易度Ａ_ｎを算出する（ステップＳ１１）。ここで、符号化難易度Ａ_ｎとは、フィールド番号ｎの圧縮動画像データの符号量と、フィールド内の量子化幅平均値の積とする。すなわち、目標ビット数演算部５は、ディスク読出し部２が読み出している圧縮動画像データのビットストリームから、当該圧縮動画像データの符号量と、フィールド内の量子化幅平均値とを取得して、フィールド番号ｎのフィールド画像の符号化難易度Ａ_ｎを算出する。

符号化難易度Ａ_ｎの算出が完了すると、現在のフィールド番号ｎが、所定の値ｋよりも大きいか否かを判定する（ステップＳ１２）。現在のフィールド番号ｎが、所定の値ｋよりも大きい場合には、本処理は、ステップＳ１３に進む。現在のフィールド番号ｎが、所定の値ｋよりも大きくない場合には、本処理はステップＳ２２に進む。

現在のフィールド番号ｎが所定の値ｋよりも大きい場合、目標ビット数演算部５は、フィールド番号ｎ−ｋ〜ｎの間の符号化難易度Ａ_ｎ−ｋ〜Ａ_ｎの中に、予め定められた閾値Ａ_０よりも大きいものが存在するか否かを判定する（ステップＳ１３）。当該処理は、フィールド番号ｎ−ｋ〜ｎの間に、画面の切り替わり等により閾値よりも大きな符号化難易度を有する動画像復号化データが存在するか否かを判定する処理である。ここで、閾値Ａ_０よりも大きいものが存在しない場合には、本処理はステップＳ１４に進む。一方、閾値Ａ_０よりも大きいものが存在する場合には、本処理はステップＳ１５にすすむ。

閾値Ａ_０よりも大きいものが存在しない場合、目標ビット数演算部５は、フィールド番号ｎ−ｋの目標ビット数Ｂ_ｎ−ｋを、標準符号量ａに設定する（ステップＳ１４）。次に、目標ビット数演算部５は、累積ビット数差ＤをＤのまま維持する（ステップＳ１６）。当該処理は、近傍に符号化難易度の大きなデータが存在しないので、動画像復号化データを一定値に圧縮することを示している。この後、本処理は、ステップＳ２１に進む。

一方、閾値Ａ_０よりも大きいものが存在する場合、目標ビット数演算部５は、フィールド番号ｎ−ｋの符号化難易度Ａ_ｎ−ｋが閾値Ａ_０より大きいか否かを判定する（ステップＳ１５）。当該処理は、フィールド番号ｎ−ｋが、画面の切り替わりの直後等により大きなデータ量を有する圧縮動画像データであるか否かを判定している。閾値Ａ_０より大きくない場合、本処理はステップＳ１７に進む。閾値Ａ_０より大きい場合には、本処理はステップＳ１８に進む。

閾値Ａ_０より大きくない場合、目標ビット数演算部５は、フィールド番号ｎ−ｋの目標ビット数Ｂ_ｎ−ｋをａ−ｃに設定する（ステップＳ１７）。当該処理について、詳しく説明する。ステップＳ１３において、符号化難易度Ａ_ｎ−ｋ〜Ａ_ｎの中に閾値Ａ_０よりも大きなものが存在し、かつステップＳ１５において、符号化難易度Ａ_ｎ−ｋが閾値Ａ_０より大きくないと判定された場合には、フィールド番号ｎ−ｋが、画面の切り替わり直後等により大きなデータ量を有する圧縮動画像データではないことを示している。そこで、本実施形態では、目標ビット数演算部５は、当該圧縮動画像データの圧縮率を高めに設定して、標準符号量ａよりも小さなａ−ｃに目標ビット数Ｂ_ｎ−ｋを設定する。

次に、目標ビット数演算部５は、ステップＳ１７において発生したビット数の余裕ｃを、累積ビット数差Ｄに足し算する（ステップＳ１９）。この後、本処理はステップＳ２１に進む。

一方、閾値Ａ_０より大きい場合、目標ビット数演算部５は、フィールド番号ｎ−ｋの目標ビット数Ｂ_ｎ−ｋをａ＋Ｄに設定する（ステップＳ１８）。当該処理について、詳しく説明する。ステップＳ１３において、符号化難易度Ａ_ｎ−ｋ〜Ａ_ｎの中に閾値Ａ_０よりも大きなものが存在し、かつステップＳ１５において、符号化難易度Ａ_ｎ−ｋが閾値Ａ_０より大きいと判定された場合には、フィールド番号ｎ−ｋが、画面の切り替わり直後等により大きなデータ量を有する圧縮動画像データであることを示している。そこで、本実施形態では、目標ビット数演算部５は、当該圧縮動画像データの圧縮率を低めに設定して、当該圧縮画像データの画質を保証している。具体的には、目標ビット数演算部５は、フィールド番号ｎ−ｋ−１までの間に発生した累積ビット数差Ｄを標準符号量ａに足し算した値に、フィールド番号ｎ−ｋの目標ビット数Ｂ_ｎ−ｋを設定する。次に、目標ビット数演算部５は、累積ビット数差Ｄを０に設定する（ステップＳ２０）。これは、ステップＳ１８において、累積ビット数差Ｄを全て使用してしまったからである。この後、本処理はステップＳ２１に進む。

上記ステップＳ２１において、目標ビット数演算部５は、復号化部３および符号化部４に対して、フィールド番号ｎ−ｋの目標ビット数Ｂ_ｎ−ｋを出力する（ステップＳ２１）。次に、目標ビット数演算部５は、現在処理しているフィールド番号ｎが最終フィールドであるか否かを判定する（ステップＳ２２）。最終フィールドでない場合には、本処理はステップＳ２３に進む。一方、最終フィールドである場合には、本処理は、ステップＳ２４に進む。

最終フィールドでない場合、目標ビット数演算部５は、フィールド番号ｎに１を足す（ステップＳ１１）。この後、本処理は、ステップＳ１１に戻る。

一方、最終フィールドである場合、目標ビット数演算部５は、残ったフィールド番号ｎ−ｋ＋１〜ｎについても、ステップＳ１１〜２１と同様の処理を行って、目標ビット数Ｂ_{ｎ−ｋ＋１}〜Ｂ_ｎを求める（ステップＳ２４）。この後、本処理は終了する。以上のように、本実施形態では、目標ビット数演算部５は、フィールド番号ｎ−ｋの目標ビット数Ｂ_ｎ−ｋを、フィールド番号ｎ−ｋ〜ｎの間の符号化難易度Ａ_{ｎ−ｋ＋１}〜Ａ_ｎを用いて算出している。

次に、目標ビット数Ｂ_ｎ−ｋを取得した復号化部３の動作について、図面を参照しながら説明する。図３は、復号化部３が行う動作を示したフローチャートである。

まず、最初に、復号化部３は、フィールド番号ｎ−ｋの圧縮動画像データおよび目標ビット数Ｂ_ｎ−ｋを取得する（ステップＳ３１）。次に、復号化部３は、取得した目標ビット数Ｂ_ｎ−ｋが標準符号量ａよりも小さいか否かを判定する（ステップＳ３２）。当該処理について説明する。上記ステップＳ３２では、復号化部３は、目標ビット数Ｂ_ｎ−ｋが標準符号量ａよりも小さいか否かを判定することで、フィールド番号ｎの圧縮動画像データが、画面の切り替わり等で大きな符号化難易度を有する圧縮動画像データの前に存在するデータであるか否かを判定している。これは、大きな符号化難易度を有する動画像データの直前である場合には、復号化速度を速めて符号化部４に動画像復号化データを出力し、符号化部４に接続された送信バッファでの遅延の発生を防止するためである。目標ビット数Ｂ_ｎ−ｋが標準符号量ａよりも小さくない場合には、本処理はステップＳ３４に進む。一方、目標ビット数Ｂ_ｎ−ｋが標準符号量ａよりも小さい場合には、本処理はステップＳ３５に進む。

目標ビット数Ｂ_ｎ−ｋが標準符号量ａよりも小さくない場合には、復号化部３は、予め定められた復号化速度Ｖ_２で、フィールド番号ｎ−ｋの圧縮動画像データを復号化し、動画像復号化データを生成する（ステップＳ３４）。次に、復号化部３は、動画像復号化データを符号化部４に出力する。この後、本処理はステップＳ３６に進む。

一方、目標ビット数Ｂ_ｎ−ｋが標準符号量ａよりも小さい場合には、復号化部３５は、上記復号化速度Ｖ_２よりも速い復号化速度Ｖ_１でフィールド番号ｎ−ｋの圧縮動画像データを復号化し、動画像復号化データを生成する（ステップＳ３５）。次に、復号化部３は、動画像復号化データを符号化部４に出力する。この後、本処理はステップＳ３６に進む。

ここで、復号化速度Ｖ_１とＶ_２とについて説明する。まず、復号化速度Ｖ_２は、一般的な復号化装置において、再生速度と同じ速度（いわゆる１倍速）でデータを復号化するときの速度を示す。また、復号化速度Ｖ_１は、復号化速度Ｖ_２よりも大きな速度である。具体的には、復号化速度Ｖ_１は、復号化速度Ｖ_２のａ／（ａ−ｃ）倍であることが望ましい。

上記ステップＳ３６において、復号化部３は、本処理を終了するか否かを判定する（ステップＳ３６）。すなわち、復号化部３は、全ての圧縮動画像データを復号化したか否か判定する。本処理を終了しない場合には、本処理は、ステップＳ３１に戻る。

次に、符号化部４は、復号化部３から取得したフィールド番号ｎ−ｋの動画像復号化データを、目標ビット数演算部５から取得した目標ビット数Ｂ_ｎ−ｋになるように符号化して、動画像符号化装置１外へと出力する。なお、ディスク読出し部２、復号化部３、符号化部４および目標ビット数演算部５の動作は、並行して行われる。

以上のように、本実施の形態の動画像符号化装置によれば、符号化難易度が大きくないフィールド画像は標準符号量に固定して符号化し、符号化難易度が大きいフィールド画像に対しては、それより前のフィールド画像を標準符号量より小さい符号量で符号化し、符号化難易度が大きいフィールド画像の符号量を増加するようにしたので、ＭＰＥＧ２の低遅延符号化方式よりも伝送遅延時間を短縮し、なおかつ、符号化難易度が大きい画像の符号化後の画質を改善することができる。以下に、本実施形態に係る動画像符号化装置の効果について、図面を参照しながら、具体的に説明する。図４は、本実施形態に係る動画像符号化装置から出力されるデータの出力タイミングを示した図である。

まず、図４に示す動画像符号化装置では、符号化部４には、送信バッファ１１が接続されている。さらに、送信バッファ１１と受信バッファ１３とは、伝送路１２を介して接続されている。そして、当該受信バッファ１３には、復号化装置１４が接続されている。

まず、ディスク読出し部２は、ディスク６から圧縮動画像データを読み出す。目標ビット数演算部５は、ディスク読出し部２が読み出した圧縮動画像データのビットストリームから当該圧縮動画像データの符号化量と量子化幅の平均値とを取得して、これらに基づいて、圧縮動画像データの目標ビット数を算出する。

復号化部３は、図４のフローチャートに示すように上記目標ビット数の大きさに応じて、復号化速度を変化させながら、動画像復号化データを生成する。なお、図４では、目標ビット数が小さい場合（すなわち、近傍に符号化難易度の大きな画像データが存在する）の一例を示している。そのため、従来の図５に示す動画像復号化データＰ’０〜Ｐ’３の生成速度と比較して、図４に示す動画像復号化データＰ０〜Ｐ３の方が生成速度が速くなっている（図４では、図５に比べて各動画像復号化データＰ０〜Ｐ３の間が詰まっている）。

符号化部４は、復号化部３から出力される動画像復号化データＰ０〜Ｐ３を、目標ビット数に基づいて、動画像符号化データＱ０〜Ｑ３に符号化する。ここで、図４では、図２のフローチャート中のｋを３としている、そのため、符号化部４は、動画像符号化データＱ０〜Ｑ２の符号化量をａ−ｃとし、動画像符号化データＱ３の符号化量をａ＋Ｄ（Ｄ＝３ｃとして、送信バッファ１１に出力する。この後、動画像符号化データＱ０〜Ｑ３は、伝送路１２を介して、受信バッファ１３に到達する。ここで、図４と従来図である図５とを比較する。本実施形態の図面である図４では、動画像符号化データＱ０〜Ｑ３の伝送時間は、ｔ１〜ｔ５となっている。これに対して、従来図である図５では、動画像符号化データＱ’０〜Ｑ’３の伝送時間は、ｔ１〜ｔ６となっており、本実施形態よりも長くなっている。その結果、従来の受信バッファ２４からの動画像符号化データＱ’０〜Ｑ’３の出力は、ｔ３から開始されているのに対して、本実施形態の受信バッファ１３からの動画像符号化データＱ０〜Ｑ３の出力は、ｔ２から開始されている。すなわち、本実施形態では、送信時における遅延時間を短縮することが可能となった。

なお本実施形態では、ランダムアクセスメディアとしてディスクを用いて説明したが、メモリーカードなど他のランダムアクセスメディアであってもよい。

また、符号化部４はＭＰＥＧ２のシンプルプロファイルで符号化するようにしたが、ＭＰＥＧ２以外の符号化方式であってもよく、また画面間の予測符号化を行わない画面内符号化であってもよい。また、画像をフィールド単位で符号化するようにしたが、フレーム単位で符号化するようにしてもよい。

また、本実施形態に係る目標ビット数演算部５は、図２のフローチャートで目標ビット数Ｂ_ｎ−ｋを求める際に、標準符号量からあらかじめ定めた値ａを増減しているが、符号化難易度に応じてａを変化させてもよい。また、符号化難易度と比較する閾値Ａ_０は、あらかじめ定められた値ではなく、既に符号化を行った画像の符号化難易度の平均値などに応じて変化する値であってもよい。

また、符号化難易度は１フィールドの圧縮動画像データの符号量と、フィールド内の量子化幅平均値の積としたが、１フィールド内のマクロブロック毎の符号量と量子化幅の積を加算した値としてもよく、復号化した画像から求めるなど他の方法であってもよい。

以上のように、本発明に係る動画像符号化装置は、ランダムアクセスメディアに記録された動画像データを圧縮符号化して伝送する際に、ＭＰＥＧ２の低遅延符号化方式よりも伝送遅延時間を短縮し、かつ困難度が大きい動画像復号化データに対する符号化後の画質を改善でき、記録媒体に符号化された状態で記録された動画像データを読み出して、送信のために再符号化する動画像符号化装置等として有用である。

本発明の動画像符号化装置の構成を示したブロック図 目標ビット数演算部５の動作を示したフローチャート 復号化部３の動作を示したフローチャート 動画像符号化装置の動作の様子を示した図 従来の低遅延符号化装置における符号化の様子を示した図 従来の低遅延符号化装置における符号化の様子を示した図

符号の説明

１ 動画像符号化装置
２ ディスク読出し部
３ 復号化部
４ 符号化部
５ 目標ビット数演算部

Claims (7)

1. 記録媒体に符号化された状態で記録された動画像データを読み出して、送信のために再符号化する装置であって、
   前記記録媒体から、所定単位毎に前記動画像データを読み出す読出し手段と、
   前記読出し手段が読み出した動画像データに含まれる所定単位毎の動画像データのデータ量および量子化幅を参照し、当該データ量および当該量子化幅に基づいて、当該動画像データの目標データ量を算出するデータ量算出手段と、
   前記読出し手段が読み出した前記動画像データを復号化する復号化手段と、
   前記データ量算出手段が算出した目標データ量となるように、前記復号化手段が復号化した動画像データを圧縮符号化する符号化手段とを備える、動画像符号化装置。
2. 前記データ量算出手段は、
   前記データ量と量子化幅の積である符号化難易度を算出する符号化難易度算出手段と、
   前記符号化難易度算出手段が算出した符号化難易度が予め定められた閾値よりも大きいか否かを判定する判定手段と、
   前記判定手段が、前記符号化難易度が前記閾値よりも大きいと判定した場合には、当該符号化難易度が所定値よりも大きいと判定された動画像データの直前に存在する所定数の動画像データの目標データ量を、所定データ量よりも小さく決定し、当該符号化難易度が所定値よりも大きいと判定された動画像データの目標データ量を、所定データ量よりも大きく決定するデータ量決定手段とを含む、請求項１に記載の動画像符号化装置。
3. 前記復号化手段は、前記データ量算出手段が算出した目標データ量に応じて、復号化速度を変化させることを特徴とする、請求項１に記載の動画像符号化装置。
4. 前記復号化手段は、
   前記目標データ量が所定データ量よりも小さいか否かを判定するデータ量判定手段を含み、
   前記データ量判定手段が所定データ量よりも前記目標データ量が小さいと判定した場合には、当該目標データ量に対応する動画像データを、第１の速度で符号化し、前記データ量判定手段が所定データ量よりも前記目標データ量が小さくないと判定した場合には、当該目標データ量に対応する動画像データを、前記第１の速度よりも遅い第２の速度で符号化することを特徴とする、請求項３に記載の動画像符号化装置。
5. 前記データ量決定手段は、前記判定手段が、所定数の動画像データについて連続して前記符号化難易度が前記閾値よりも小さいと判定した場合には、前記所定数の動画像データの内、最初の動画像データの目標ビット数を前記所定データ量に決定することを特徴とする、請求項２に記載の動画像符号化装置。
6. 前記データ量算出手段は、前記所定データ量と符号化後のデータ量との差分値と、符号化対象動画像データの前記符号化難易度と、前記符号化対象動画像データより後の動画像データの符号化難易度とに基づいて、目標データ量を算出することを特徴とする、請求項１に記載の動画像符号化装置。
7. 記録媒体に符号化された状態で記録された動画像データを読み出して、送信のために再符号化する方法であって、
   前記記録媒体から、所定単位毎に前記動画像データを読み出す読出しステップと、
   前記読出しステップで読み出された動画像データに含まれる所定単位毎の動画像データのデータ量および量子化幅を参照し、当該データ量および当該量子化幅に基づいて、当該動画像データの目標データ量を算出するデータ量算出ステップと、
   前記読出しステップで読み出された前記動画像データを復号化する復号化ステップと、
   前記データ量算出ステップで算出された目標データ量となるように、前記復号化ステップで復号化された動画像データを圧縮符号化する符号化ステップとを備える、動画像符号化方法。

Images