JP2004363820A - 動画像符号化装置及び動画像復号化システム - Google Patents
動画像符号化装置及び動画像復号化システム Download PDFInfo
- Publication number
- JP2004363820A JP2004363820A JP2003158456A JP2003158456A JP2004363820A JP 2004363820 A JP2004363820 A JP 2004363820A JP 2003158456 A JP2003158456 A JP 2003158456A JP 2003158456 A JP2003158456 A JP 2003158456A JP 2004363820 A JP2004363820 A JP 2004363820A
- Authority
- JP
- Japan
- Prior art keywords
- data
- multiplexed
- rate
- value
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】フレームの終端データを含むパケットにパディングデータを多重する場合でも、画質劣化を抑えるように符号化映像データのレートを設定することができる動画像符号化装置を提供することを目的とする。
【解決手段】複数のフレームから構成される映像データを符号化映像データに符号化する映像符号化部１００１と、映像符号化部１００１が出力する符号化映像データを固定長のパケットに多重すると共に、フレームの終端データが多重される固定長パケットがそのフレームの終端データで満たなかった場合に、パディングデータを多重する多重部１０１と、多重部１０１が１フレーム分の符号化映像データを多重する毎に、符号化映像データのレートを決定するレート制御部１０２とを備える。
【選択図】 図１
【解決手段】複数のフレームから構成される映像データを符号化映像データに符号化する映像符号化部１００１と、映像符号化部１００１が出力する符号化映像データを固定長のパケットに多重すると共に、フレームの終端データが多重される固定長パケットがそのフレームの終端データで満たなかった場合に、パディングデータを多重する多重部１０１と、多重部１０１が１フレーム分の符号化映像データを多重する毎に、符号化映像データのレートを決定するレート制御部１０２とを備える。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像の符号化および復号化に関し、特に複数の符号化データを１つの多重データに多重する動画像符号化装置およびその動画像符号化装置が多重した多重データを分離、復号化する動画像復号化システムに関する。
【０００２】
【従来の技術】
従来、動画像符号化装置は、映像データ及び音声データを符号化した後、符号化データを固定長のパケットに多重していた。このパケットには、ヘッダー部とペイロード部とが含まれ、ペイロード部にデータが多重される。動画像符号化装置は、この多重処理の際、符号化データの基本単位毎に、符号化データの終端が多重される固定長パケットがその符号化データで満たなかった場合にパディングデータを多重し、常に基本単位毎の先頭データをパケットのペイロード部の先頭から多重するようにしていた。そして、このようにパディングデータを多重することにより、多重後のデータのレートが変動しないようにしていた（例えば、特許文献１）。
【０００３】
動画像符号化装置が用いる符号化方式としては、例えば、動画像符号化の国際標準規格であるＭＰＥＧ２規格（ＩＳＯ／ＩＥＣ １３８１２：ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｃｏｄｉｎｇ ｅｘｐｅｒｔｓ ｇｒｏｕｐ２）がある。ＭＰＥＧ２規格を採用する動画像符号化装置には、これに対応する復号化装置モデル（デコーダモデル）が規定されている。ＭＰＥＧ２規格においては、動画像符号化装置が、映像データと音声データとを、符号化映像データと符号化音声データとに符号化した後、１つの多重データに多重する。そして、その多重データを動画像復号化装置が、符号化映像データと符号化音声データとに分離し、それぞれを映像データと音声データとに復号化する。従って、動画像符号化装置は、対応するデコーダモデルで正しく復号化できる多重データを生成することが求められる。
【０００４】
以下、従来の動画像符号化装置について具体的に図６を用いて説明する。図６は一般的な動画像符号化装置の構成を示すブロック図である。図６において、動画像符号化装置は、映像符号化部１００１と、映像記憶部１００２と、音声符号化部１００３と、音声記憶部１００４と、多重部１００５と、多重制御部１００６とを備える。
【０００５】
映像符号化部１００１は映像データを符号化映像データに符号化する。映像記憶部１００２は映像符号化部１００１が符号化した符号化映像データを記憶する。音声符号化部１００３は音声データを符号化音声データに符号化する。音声記憶部１００４は音声符号化部１００３が符号化した符号化音声データを記憶する。多重部１００５は、映像記憶部１００２に記憶されている符号化映像データと音声記憶部１００４に記憶されている符号化音声データとを、多重制御部１００６の制御に基づいて複数のパケットから構成される多重データに多重する。多重制御部１００６は、映像符号化部１００１が符号化した符号化映像データのデータ量と音声符号化部１００３が符号化した符号化音声データのデータ量とに基づいて、多重部１００５がパケットに多重する符号化映像データと符号化音声データとの順番を決定する。
【０００６】
以下、図７を用いて多重部１００５の詳細な動作について説明する。なお、ここでは、符号化映像データをパケットに多重する動作についてのみ説明する。符号化音声データを多重する動作は、符号化映像データを多重する動作と同じであるため、説明を省略する。また、映像データの基本単位がフレーム単位であることとして説明する。
【０００７】
図７（ａ）は、映像符号化部１００１で符号化された符号化映像データの模式図である。図７（ａ）に示すように、この符号化映像データは、フレームＦＶｎ（ｎは整数）からなり、ＦＶ０から図７（ａ）に示す順で映像記憶部１００２に入力される。
【０００８】
図７（ｂ）は、多重制御部１００６の制御に基づいて、多重部１００５が多重した符号化映像データの模式図である。なお、図７（ｂ）のＰｋｐ（ｐは整数）はパケットを示している。多重部１００５はパケットをＰｋ０から図に示す順で出力する。また、符号化映像データのフレームＦＶ１がパケットＰｋ０〜Ｐｋ４に、フレームＦＶ２がパケットＰｋ５〜Ｐｋ１０に、多重されることも示している。
【０００９】
図７（ｃ）は、符号化映像データのフレームＦＶ１の終端データが多重されたパケットＰｋ４を示した図である。図７（ｃ）が示すように、パケットはヘッダー部とペイロード部とを含む。そして、符号化映像データはペイロード部に多重される。
【００１０】
図７（ｄ）はフレームＦＶ２の先頭を含むパケットの模式図である。通常、動画像符号化装置では、パケット中のフレームの先頭位置を探す処理を容易にするため、フレームの先頭をパケットのペイロード先頭から多重する。以下、この処理について図７（ｃ）及び（ｄ）を用いて説明する。図７（ｃ）に示すように、フレームＦＶ１の終端データを多重するパケットが、フレームＦＶ１のデータに満たなかった場合、パディングデータを多重する。これにより、図７（ｄ）が示すように、フレームＦＶ２の先頭がペイロードの先頭から多重されるようになる。その結果、フレームＦＶ２を多重した先頭パケットを探すだけで、フレームＦＶ２の先頭データを探すことができる。
【００１１】
【特許文献１】
特開平９−５５７６５号公報（第１頁−第６頁、図５）
【００１２】
【発明が解決しようとする課題】
以上のようにして動画像符号化装置で多重された多重データは、ＤＶＤ−ＲＡＭ等の記録媒体に記録される。このとき、データを記録する時間に基づいて、外部制御部（図示せず）が符号化映像データのレート（以下、ビデオレートと略す）を決定する。以下、従来のビデオレート決定法と、その問題点について説明する。
【００１３】
まず、記録媒体の容量Ｖｏｌ［ｂｉｔ］と、符号化映像データ量（ＶｏｌＶ［ｂｉｔ］）、符号化音声データ量（ＶｏｌＡ［ｂｉｔ］）、符号化映像データを含むパケット（ビデオパケット）のヘッダー部のデータ量（ＶｏｌＶＨｄ［ｂｉｔ］）、符号化音声データを含むパケット（オーディオパケット）のヘッダー部のデータ量（ＶｏｌＡＨｄ［ｂｉｔ］）、及びパディングデータ量（ＶｏｌＰａｄ［ｂｉｔ］）との間には不等式（１−１）の関係が成り立つ必要がある。
Ｖｏｌ≧ＶｏｌＶ＋ ＶｏｌＡ＋ ＶｏｌＶＨｄ＋ ＶｏｌＡＨｄ＋ ＶｏｌＰａｄ （１−１）
【００１４】
次に、時間Ｔ［Ｓｅｃ］に記録媒体に記録されるＶｏｌＡ、ＶｏｌＡＨｄ、及びＶｏｌＰａｄの最大値ＶｏｌＰａｄＭａｘの求め方を説明する。
符号化音声データのレートをＲａ［ｂｐｓ］、パケットのサイズをＰｋＳｚ［ｂｉｔ］、パケットのヘッダー部のサイズをＰｋＨｄＳｚ［ｂｉｔ］、映像フレームの周期をＴｖｆ［Ｓｅｃ］とすると、時間Ｔ［Ｓｅｃ］に記録媒体に記録される符号化音声データ量ＶｏｌＡ［Ｂｉｔ］は式（１−２）により求められる。
ＶｏｌＡ＝Ｒａ×Ｔ （１−２）
【００１５】
また、符号化音声データは、ＶｏｌＡ／（ＰｋＳｚ−ＰｋＨｄＳｚ）個のパケットに多重されることから、Ｔ［Ｓｅｃ］ 時間に記録媒体に記録されるオーディオパケットのヘッダー部のデータ量ＶｏｌＡＨｄ［ｂｉｔ］は式（１−３）により求められる。
ＶｏｌＡＨｄ＝ ＰｋＨｄＳｚ ×ＶｏｌＡ／（ＰｋＳｚ−ＰｋＨｄＳｚ） （１−３）
【００１６】
また、Ｔ［Ｓｅｃ］時間に記録媒体に記録されるパディングデータ量の最大値ＶｏｌＰａｄＭａｘ［ｂｉｔ］は次のようにして求められる。パディングデータはフレーム毎に多重されることから、Ｔ［Ｓｅｃ］時間にＴ／Ｔｖｆ回多重される。このことから、パディングデータ量の最大値ＶｏｌＰａｄＭａｘ［ｂｉｔ］は式（１−４）により求められる。
ＶｏｌＰａｄＭａｘ ＝（ＰｋＳｚ−ＰｋＨｄＳｚ−１）×Ｔ／Ｔｖｆ （１−４）
【００１７】
式（１−１）〜（１−４）を用いて、不等式（１−１）の関係を常に成り立たせるためには、不等式（１−５）の関係を満たせばよい。
Ｖｏｌ − ＶｏｌＡ −ＶｏｌＡＨｄ − ＶｏｌＰａｄＭａｘ ≧ ＶｏｌＶ ＋ ＶｏｌＶＨｄ （１−５）
【００１８】
次に、時間Ｔ［Ｓｅｃ］に記録媒体に記録されるＶｏｌＶ、及びＶｏｌＶＨｄの求め方を説明する。ここで、ビデオレートをＲｖ［ｂｐｓ］とすると、Ｔ［Ｓｅｃ］時間に記録媒体に記録される符号化映像データ量ＶｏｌＶ［Ｂｉｔ］は式（１−６）により求められる。
ＶｏｌＶ＝Ｒｖ×Ｔ （１−６）
【００１９】
また、Ｔ［Ｓｅｃ］時間に記録媒体に記録されるビデオパケットのヘッダー部のデータ量ＶｏｌＶＨｄ［ｂｉｔ］は式（１−７）により求められる。
ＶｏｌＶＨｄ＝ ＰｋＨｄＳｚ ×ＶｏｌＶ／（ＰｋＳｚ−ＰｋＨｄＳｚ） （１−７）
【００２０】
式（１−５）、（１−６）及び（１−７）から、ビデオレートは不等式（１−８）により求められる。
Ｒｖ≦（Ｖｏｌ − ＶｏｌＡ − ＶｏｌＡＨｄ − ＶｏｌＰａｄＭａｘ）×（ＰｋＳｚ−ＰｋＨｄＳｚ）／（ＰｋＳｚ×Ｔ） （１−８）
すなわち、ビデオレートを不等式（１−８）の関係を満たすＲｖ［ｂｐｓ］にすれば、記録媒体Ｖｏｌ［ｂｉｔ］にＴ［Ｓｅｃ］時間分の多重データを記録できることになる。
【００２１】
従来の動画符号化装置が出力する符号化映像データのビデオレートは、以上のようにして求められるが、Ｔ［Ｓｅｃ］時間に多重されるパディングデータ量は、必ずしもＶｏｌＰａｄＭａｘ［ｂｉｔ］にはならない。そのため、不等式（１−８）を満たさないＲｖ［ｂｐｓ］の場合でも、Ｖｏｌ［ｂｉｔ］の記録媒体にＴ［Ｓｅｃ］時間分の多重データを記録できる場合がある。例えば、符号化映像データを構成する全フレームのデータ量が、パケットのペイロードサイズの整数倍である場合、パディングデータを多重する必要はない。すなわち、不等式（１−９）を満たすＲｖ［ｂｐｓ］にすれば、Ｖｏｌ［ｂｉｔ］の記録媒体にＴ［Ｓｅｃ］時間分の多重データを記録することができるにもかかわらず、パディングデータ量の最大値を考慮したビデオレートを設定してしまうことになる。
【００２２】
Ｒｖ≦（Ｖｏｌ − ＶｏｌＡ − ＶｏｌＡＨｄ ）×（ＰｋＳｚ−ＰｋＨｄＳｚ）／（ＰｋＳｚ×Ｔ） （１−９）
【００２３】
このように、従来の動画像符号化装置が出力するビデオレートは、実際に指定可能なレートより低く設定されることがあり、その結果、必要以上の画質劣化が生じてしまうことがある。
【００２４】
従って、本発明では、フレームの終端データを含むパケットにパディングデータを多重する場合でも、画質劣化を抑えるようにビデオレートを設定することができる動画像符号化装置及びその動画像符号化装置が多重した多重データを分離、復号化する動画像復号化システムを提供することを目的とする。
【００２５】
【課題を解決するための手段】
上記目的を達成するために、本発明の請求項１に係る動画像符号化装置は、複数のフレームから構成される映像データを符号化映像データに符号化する映像符号化部と、前記映像符号化部が出力する符号化映像データを固定長のパケットに多重するとともに、フレーム毎に、フレームの終端データが多重される固定長パケットが前記フレームの終端データで満たなかった場合にパディングデータを多重する多重部と、前記多重部が１フレーム分の前記符号化映像データを多重する毎に、前記符号化映像データのレートを決定するレート制御部と、を備えることを特徴とする。
【００２６】
また、本発明の請求項２に係る動画像符号化装置は、請求項１記載の動画像符号化装置において、前記レート制御部は、前記多重部がパディングデータを多重する毎に、多重したパディングデータ量から任意のしきい値を減じた値を累積加算し、その累積加算値が負の場合は現フレームの符号化映像データのレートよりその直後のフレームの符号化映像データのレートが高くなるように、前記累積加算値が正の場合は現フレームの符号化映像データのレートよりその直後のフレームの符号化映像データのレートが低くなるように、前記符号化映像データのレートを制御し、前記任意のしきい値は、フレーム毎に多重されるパディングデータ量の最小値より大きく、かつ、最大値より小さい値であることを特徴とする。
【００２７】
また、本発明の請求項３に係る動画像符号化装置は、請求項１記載の動画像符号化装置において、前記レート制御部は、前記多重部がパディングデータを多重する毎に、多重したパディングデータ量から第１のしきい値を減じた値を累積加算し、その累積加算値が、負の値で、かつ、前記符号化映像データのレートが第３のしきい値より大きく、かつ、第２のしきい値以下になるような値の場合は、現フレームの符号化映像データのレートを第３のしきい値とし、前記累積加算値が、負の値で、かつ、前記符号化映像データのレートが第２のしきい値より大きくなるような値の場合は、現フレームの符号化映像データのレートを第２のしきい値より高くなるように、前記累積加算値が正の場合は現フレームの符号化映像データのレートよりその直後のフレームの符号化映像データのレートが低くなるように、前記符号化映像データのレートを制御し、前記第１のしきい値はフレーム毎に多重されるパディングデータ量の平均値であり、前記第２のしきい値は前記第３のしきい値より大きく、かつ、フレーム毎に多重されるパディングデータ量が０であると仮定したときに算出される前記符号化映像データのレートより小さい任意の値であり、前記第３のしきい値は、フレーム毎に多重されるパディングデータ量がすべてその平均値であると仮定したときに算出される前記符号化映像データのレートであることを特徴とする。
【００２８】
また、本発明の請求項４に係る動画像符号化装置は、請求項２記載の動画像符号化装置において、前記レート制御部は、前記多重部がパディングデータを多重する毎に、フレーム毎に多重されたパディングデータ量を累積加算した累積加算値と、フレーム毎に多重されるパディングデータ量がその平均値であると仮定して該平均値を累積加算した値である期待値とを算出し、前記累積加算値が前記期待値以下の場合は、現フレームの符号化映像データのレートを先頭フレームの符号化映像データのレートと同じ値になるように制御することを特徴とする。
【００２９】
また、本発明の請求項５に係る動画像符号化装置は、請求項１記載の動画像符号化装置において、前記レート制御部は、前記多重部がパディングデータを多重する毎に、フレーム毎に多重されたパディングデータ量を累積加算した累積加算値と、フレーム毎に多重されるパディングデータ量がその平均値であると仮定して該平均値を累積加算した値である期待値とを算出し、前記累積加算値が前記期待値より大きい場合は、前記多重部がパディングデータを多重しないように制御することを特徴とする。
【００３０】
また、本発明の請求項６に係る動画像符号化装置は、請求項１〜５のいずれかに記載の動画像符号化装置と、前記動画像符号化装置が出力した多重データを入力とし、該多重データを指定されたビットレートで出力する出力バッファと、前記出力バッファが出力する多重データを伝送する伝送路と、前記伝送路を介して伝送される多重データを入力し、復号化する多重データを動画像復号化装置に出力する入力バッファと、前記入力バッファが出力する多重データを復号化する動画像復号化装置と、を備えることを特徴とする。
【００３１】
また、本発明の請求項７に係る動画像符号化装置は、請求項１〜５のいずれかに記載の動画像符号化装置と、前記動画像符号化装置が出力した多重データを入力とし、該多重データを指定されたビットレートで出力する出力バッファと、前記出力バッファが出力する多重データを記録媒体に記録する記録媒体と、前記記録媒体に記録された多重データを読み出す読み出し部と、前記読み出し部が読み出した多重データを入力し、復号化する多重データを動画像復号化装置に出力する入力バッファと、前記入力バッファが出力する多重データを復号化する動画像復号化装置と、を備えることを特徴とする。
【００３２】
【発明の実施の形態】
本発明の実施の形態について図面を参照して説明する。
（実施の形態１）
以下に、本発明の実施の形態１に係る動画像符号化装置について図１を用いて説明する。
図１は、本発明の実施の形態１に係る動画像符号化装置の構成の一例を示すブロック図である。図６に示す動画像符号化装置と同一構成要素については同一符号を付している。図１において、動画像符号化装置は、映像符号化部１０３と、映像記憶部１００２と、音声符号化部１００３と、音声記憶部１００４と、多重部１０１と、多重制御部１００６と、レート制御部１０２とを備える。
【００３３】
映像符号化部１０３は映像データを符号化映像データに符号化する。符号化の際には、ビデオレートがレート制御部１０２で設定されたレートになるように映像データを符号化する。
【００３４】
多重部１０１は、多重制御部１００６の制御に基づいて、映像記憶部１００２に記憶されている符号化映像データと音声記憶部１００４に記憶されている符号化音声データとから複数のパケットにより構成される多重データを生成する。このときの多重方法は、図７を用いた説明と同じ方法である。また、多重部１０１は、パケットに多重したパディングデータ量を示す情報をレート制御部１０２に出力する。
【００３５】
レート制御部１０２は、多重部１０１が多重したパディングデータ量に基づいてビデオレートを決定する。以下、レート制御部１０２の動作について詳細に説明する。
【００３６】
レート制御部１０２は、映像データの基本単位をフレーム単位とし、多重部１０１が符号化映像データを構成するビデオフレームの終端データをパケットに多重する毎に、ビデオレートを決定する。従来のビデオレートの計算方法と異なる点は、符号化データが多重される毎に記録時間Ｔが短くなることを考慮し、かつ、記録媒体の容量Ｖｏｌをすでに多重した多重データ分減じて、ビデオレートを計算する点である。
【００３７】
多重部１０１がｋ番目のフレームの終端データをパケットに多重したとする。このときのレート制御部１０２のレート計算方法について説明する。記録媒体の残量Ｖｏｌ（ｋ）［ｂｉｔ］と、これから記録媒体に記録される符号化映像データ量（ＶｏｌＶ（ｋ）［ｂｉｔ］）、符号化音声データ量（ＶｏｌＡ（ｋ）［ｂｉｔ］）、ビデオパケットのヘッダー部のデータ量（ＶｏｌＶＨｄ（ｋ）［ｂｉｔ］）、オーディオパケットのヘッダー部のデータ量（ＶｏｌＡＨｄ（ｋ）［ｂｉｔ］）、及びパディングデータ量（ＶｏｌＰａｄ（ｋ）［ｂｉｔ］）との間には、不等式（２−１）の関係が成り立つ。
Ｖｏｌ（ｋ）≧ＶｏｌＶ（ｋ）＋ ＶｏｌＡ（ｋ）＋ ＶｏｌＶＨｄ（ｋ）＋ ＶｏｌＡＨｄ（ｋ）＋ ＶｏｌＰａｄ（ｋ） （２−１）
【００３８】
次に、記録媒体に記録されるＶｏｌＡ（ｋ）、ＶｏｌＡＨｄ（ｋ）、及びＶｏｌＰａｄ（ｋ）の最大値ＶｏｌＰａｄＭａｘ（ｋ）の求め方を説明する。
【００３９】
符号化音声レートをＲａ［ｂｐｓ］、パケットのサイズをＰｋＳｚ［ｂｉｔ］、パケットヘッダー部のサイズをＰｋＨｄＳｚ［ｂｉｔ］、映像フレームの周期をＴｖｆ［Ｓｅｃ］とすると、ＶｏｌＡ（ｋ）、ＶｏｌＡＨｄ（ｋ）、及びＶｏｌＰａｄ（ｋ）の最大値ＶｏｌＰａｄＭａｘ （ｋ）［ｂｉｔ］は、それぞれ、式（２−２）、式（２−３）および式（２−４）により求められる。
ＶｏｌＡ（ｋ）＝Ｒａ×（Ｔ−ｋ×Ｔｖｆ） （２−２）
ＶｏｌＡＨｄ（ｋ）＝ ＰｋＨｄＳｚ ×ＶｏｌＡ（ｋ）／（ＰｋＳｚ−ＰｋＨｄＳｚ） （２−３）
ＶｏｌＰａｄＭａｘ（ｋ）＝ （ＰｋＳｚ−ＰｋＨｄＳｚ−１）×（Ｔ／Ｔｖｆ−ｋ） （２−４）
【００４０】
また、ｋフレーム多重後の記録媒体の残量Ｖｏｌ（ｋ）［ｂｉｔ］は、式（２−５）または式（２−６）で計算する。ｋ＝０の時は式（２−５）を、それ以外の時は式（２−６）を用いる。
Ｖｏｌ（０）＝Ｖｏｌ （２−５）
Ｖｏｌ（ｋ＋１）＝Ｖｏｌ（ｋ）−Ｇｎ（ｋ＋１） （２−６）
【００４１】
なお、式（２−６）のＧｎ（ｋ）は、ｋフレームの先頭データからｋフレームの終端データをパケットに多重部１０１が多重している間に、多重部１０１で多重されたデータ量を表す。
【００４２】
式（２−２）〜式（２−６）を用いて、不等式（２−１）の関係を常に成り立たせるためには、不等式（２−７）の関係を満たす必要がある。
Ｖｏｌ（ｋ）− ＶｏｌＡ（ｋ） −ＶｏｌＡＨｄ（ｋ）−ＶｏｌＰａｄＭａｘ（ｋ）≧ＶｏｌＶ（ｋ）＋ＶｏｌＶＨｄ（ｋ） （２−７）
【００４３】
また、ビデオレートをＲｖ（ｋ）［ｂｐｓ］とすると、Ｔ−ｋ×Ｔｖｆ ［Ｓｅｃ］時間に記録媒体に記録される符号化映像データ量ＶｏｌＶ（ｋ）［Ｂｉｔ］は式（２−８）より求められる。
ＶｏｌＶ（ｋ）＝Ｒｖ×（Ｔ−ｋ×Ｔｖｆ） （２−８）
【００４４】
また、Ｔ−ｋ×Ｔｖｆ ［Ｓｅｃ］時間に記録媒体に記録されるビデオパケットのヘッダー部のデータ量ＶｏｌＶＨｄ［ｂｉｔ］は式（２−９）より求められる。
ＶｏｌＶＨｄ（ｋ）＝ ＰｋＨｄＳｚ ×ＶｏｌＶ（ｋ）／（ＰｋＳｚ−ＰｋＨｄＳｚ） （２−９）
【００４５】
式（２−１）、（２−８）、及び（２−９）から、ビデオレートＲｖ（ｋ）は不等式（２−１０）により求められる。
レート制御部１０２は、以上のようにして求めた不等式（２−１０）の右辺の値以下になるように、ビデオレートを設定する。
【００４６】
以上のように、本実施の形態１にかかる動画像符号化装置は、１フレーム分の符号化映像データを多重する毎に、実際に多重したパディングデータのデータ量に基づいて、ビデオレートを計算するようにした。これにより、必ず記録媒体にＴ時間分の多重データを記録することができる。さらに、常に最大のパディング（ＰｋＳｚ−ＰｋＨｄＳｚ−１）［ｂｉｔ］を多重することとしてビデオレートを計算していた従来のビデオレート決定方法より、ビデオレートを高く設定できる。すなわち、同じ容量の記録媒体に同じ時間、データを記録する場合、従来のビデオレート決定方法よりも、高画質にすることができる。
【００４７】
（実施の形態２）
以下に、本発明の実施の形態２による動画像符号化装置について説明する。
本発明の実施の形態２に係る動画像符号化装置は、実施の形態１に係る動画像符号化装置と、レート制御部１０２の制御方式のみが異なり、その構成は図１に示したものと同様である。以下、本実施の形態２に係る動画像符号化装置のレート制御部１０２のレート制御方式について詳細に説明する。
【００４８】
多重部１０１がｋ番目のフレームの終端データをパケットに多重したとする。このとき、記録媒体の残量Ｖｏｌ（ｋ）［ｂｉｔ］と、これから記録媒体に記録される符号化映像データ量（ＶｏｌＶ（ｋ）［ｂｉｔ］）、符号化音声データ量（ＶｏｌＡ（ｋ）［ｂｉｔ］）、ビデオパケットのヘッダー部のデータ量（ＶｏｌＶＨｄ（ｋ）［ｂｉｔ］）、オーディオパケットのヘッダー部のデータ量（ＶｏｌＡＨｄ（ｋ）［ｂｉｔ］）、及びパディングデータ量（ＶｏｌＰａｄ（ｋ）［ｂｉｔ］）との間には、不等式（３−１）の関係が成り立つ。
Ｖｏｌ（ｋ）≧ ＶｏｌＶ（ｋ）＋ ＶｏｌＡ（ｋ）＋ ＶｏｌＶＨｄ（ｋ）＋ ＶｏｌＡＨｄ（ｋ）＋ ＶｏｌＰａｄ（ｋ） （３−１）
【００４９】
そして、符号化音声レートをＲａ［ｂｐｓ］、パケットのサイズをＰｋＳｚ［ｂｉｔ］、パケットヘッダー部のサイズをＰｋＨｄＳｚ［ｂｉｔ］、映像フレームの周期をＴｖｆ［Ｓｅｃ］とすると、ＶｏｌＡ（ｋ）と、ＶｏｌＡＨｄ（ｋ）とは、それぞれ、式（３−２）、式（３−３）により求められる。
ＶｏｌＡ（ｋ）＝Ｒａ×（Ｔ−ｋ×Ｔｖｆ） （３−２）
ＶｏｌＡＨｄ（ｋ）＝ ＰｋＨｄＳｚ ×ＶｏｌＡ（ｋ）／（ＰｋＳｚ−ＰｋＨｄＳｚ） （３−３）
【００５０】
また、本実施の形態２に係る動画像符号化装置では、ＶｏｌＰａｄ［ｋ］として、式（３−４）で求められるＶｏｌＰａｄＭｅａｎ（ｋ）［Ｂｉｔ］を用いる。
ＶｏｌＰａｄＭｅａｎ（ｋ）＝ （ＰｋＳｚ−ＰｋＨｄＳｚ−１）×（Ｔ／Ｔｖｆ−ｋ）／２ （３−４）
【００５１】
ＶｏｌＰａｄＭｅａｎ（ｋ）は、これからフレーム毎に多重されるパディンデータ量がその最大値の半分、すなわち、平均値と仮定したときのパディングデータ量の総和である。
【００５２】
ｋフレームのデータを多重した後の記録媒体の残量Ｖｏｌ（ｋ）［ｂｉｔ］は、式（３−５）または式（３−６）で計算する。ここでｋ＝０の時は式（３−５）を、それ以外のときは式（３−６）を用いる。なお、式（３−６）のＧｎ（ｋ）は、ｋフレームの先頭データからｋフレームの終端データをパケットに多重部１０１が多重している間に、多重部１０１が多重したデータ量を表している。
Ｖｏｌ（０）＝Ｖｏｌ （３−５）
Ｖｏｌ（ｋ＋１）＝Ｖｏｌ（ｋ）−Ｇｎ（ｋ＋１） （３−６）
【００５３】
これら、式（３−２）〜式（３−６）を用いて、式（３−１）の関係を常に成り立たせるためには、不等式（３−７）の関係を満たす必要がある。
Ｖｏｌ（ｋ）−ＶｏｌＡ（ｋ）−ＶｏｌＡＨｄ（ｋ）− ＶｏｌＰａｄＭｅａｎ（ｋ）≧ＶｏｌＶ（ｋ）＋ＶｏｌＶＨｄ（ｋ） （３−７）
【００５４】
また、映像符号化部１０３より出力されるビデオレートを、Ｒｖ（ｋ）［ｂｐｓ］とすると、Ｔ−ｋ×Ｔｖｆ ［Ｓｅｃ］時間に記録媒体に記録される符号化映像データ量ＶｏｌＶ（ｋ）［Ｂｉｔ］は式（３−８）より求められる。
ＶｏｌＶ（ｋ）＝Ｒｖ×（Ｔ−ｋ×Ｔｖｆ） （３−８）
【００５５】
また、Ｔ−ｋ×Ｔｖｆ ［Ｓｅｃ］に記録媒体に記録されるビデオパケットのヘッダー部のデータ量ＶｏｌＶＨｄ（ｋ）［ｂｉｔ］は式（３−９）より求められる。
ＶｏｌＶＨｄ（ｋ）＝ ＰｋＨｄＳｚ ×ＶｏｌＶ（ｋ）／（ＰｋＳｚ−ＰｋＨｄＳｚ） （３−９）
【００５６】
式（３−１）、（３−８）、及び（３−９）から、ビデオレートＲｖ（ｋ）は不等式（３−１０）で求められる。
レート制御部１０２は、以上のようにして求めた式（３−１０）の右辺の値以下になるようにビデオレートを設定する。
【００５７】
式（３−１０）は、以下のことを示している。まず、Ｔ−ｋ×Ｔｖｆ［ｓｅｃ］の時間にＲｖ（ｋ）のビデオレートでフレーム毎に（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２のパディングデータ量が多重された場合、等号が成り立つ。また、実際のパディングデータ量が（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２以上の場合、式（３−１０）の等号を成り立たせるためには、Ｒ（ｋ＋１）をＲ（ｋ）以下にする必要がある。一方、実際のパディングデータ量が（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２より少なくなる場合、式（３−１０）の等号を成り立たせるためには、Ｒ（ｋ＋１）をＲ（ｋ）より高くする必要がある。また、実際のパディングデータ量と（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２との差をフレーム毎に累積加算した結果である累積加算値が増加すると、Ｒｖ（ｋ＋１）とＲｖ（ｋ）との差もフレーム数が多くなるにつれて大きくなる。
【００５８】
従って、レート制御部が式（３−１０）を用いてビデオレートを決定するということは、多重部がパディングデータを多重する毎に、実際のパディングデータ量から任意のしきい値である（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２を減じた値を累積加算し、前記累積加算値が負の場合はＲｖ（ｋ＋１）をＲ（ｋ）より高く、前記累積加算値が正の場合はＲｖ（ｋ＋１）をＲ（ｋ）より低くなるようにすることを意味する。
【００５９】
以上のように、本実施の形態２に係る動画像符号化装置は、１フレーム分の符号化映像データを多重する毎に、多重したパディングのデータ量に基づいて、ビデオレートを計算するようにした。これにより、必ず記録媒体にＴ時間分の多重データを記録することができる。さらに、常に最大のパディング（ＰｋＳｚ−ＰｋＨｄＳｚ−１）［ｂｉｔ］を多重することとしてビデオレートを計算していた従来のビデオレート設定方法より、ビデオレートを高く設定できる。すなわち、同じ容量の記録媒体に同じ時間、データを記録する場合、従来のビデオレート決定方法よりも、高画質にすること可能となる。
【００６０】
また、実施の形態１に係る動画像符号化装置では、ビデオレートを前のフレームのビデオレートと同じか、または高くなるようにしか設定できなかったが、本実施の形態２に係る動画像符号化装置では、多重部がパディングデータを多重する毎に、多重したパディングデータ量から任意のしきい値である（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２を減じた値を累積加算し、前記累積加算値が負の場合は現フレームのビデオレートよりその直後のフレームのビデオレートが高くなるように、前記累積加算値が正の場合は現フレームのビデオレートよりその直後のフレームのビデオレートが低くなるように制御できる。これにより、ビデオレートは、概ね、先頭フレームのビデオレートＲｖ（０）の前後で遷移することになる。その結果、偏ったレート制御にならないようにすることができる。すなわち、録画の先頭から徐々に画質が良くなるといった、視覚的に好ましくない状態を回避することができる。
【００６１】
なお、上記説明で任意のしきい値として、（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２を用いたが、この任意のしきい値として、フレーム毎に多重されるパディングデータ量の最小値より大きく、かつ、最大値より小さい値を用いても同様の効果を有する。
【００６２】
（実施の形態３）
以下に、本発明の実施の形態３に係る動画像符号化装置について説明する。本実施の形態３は、実施の形態１にかかる動画像符号化装置と、レート制御部１０２の制御方式のみが異なり、その構成は図１に示したものと同様である。以下、本実施の形態３に係る動画像符号化装置のレート制御部１０２のレート制御方式について詳細に説明する。
【００６３】
音声符号化部１００３が出力する符号化音声レートをＲａ［ｂｐｓ］、パケットのサイズをＰｋＳｚ［ｂｉｔ］、パケットヘッダー部のサイズをＰｋＨｄＳｚ［ｂｉｔ］、映像フレームの周期をＴｖｆ［ｓｅｃ］とすると、記録媒体に記録されるオーディオパケットのデータ量は、式（４−１）により求まる。
ＰｋＳｚ×Ｒａ×Ｔ／（ＰｋＳｚ−ＰｋＨｄＳｚ） （４−１）
【００６４】
そして、記録媒体の容量Ｖｏｌ［ｂｉｔ］からオーディオパケットのデータ量を減じた値がビデオパケットのデータ量になる。この値は、式（４−２）より求まる。
Ｖｏｌ−ＰｋＳｚ×Ｒａ×Ｔ／（ＰｋＳｚ−ＰｋＨｄＳｚ） （４−２）
【００６５】
式（４−２）からビデオパケットのヘッダー部のデータ量を減じた値は式（４−３）より求まる。
ＶｏｌＶ＝（Ｖｏｌ−ＰｋＳｚ×Ｒａ×Ｔ／（ＰｋＨｄＳｚ−ＰｋＨｄＳｚ））×（ＰｋＳｚ−ＰｋＨｄＳｚ）／ＰｋＨｄＳｚ （４−３）
すなわち、記録媒体に記録される符号化映像データ及びパディングデータ量の総和はＶｏｌＶ［ｂｉｔ］となる。
【００６６】
ビデオレートは、ビデオフレームの終端データをビデオパケットに多重する毎に決定する。ここで、ｋフレームを多重するときに決定するビデオレートをＲｖ［ｋ］［ｂｐｓ］とし、ビデオレートの初期値Ｒｖ［０］とする。初期値Ｒｖ［０］は、式（４−４）により求まる。
Ｒｖ［０］＝（ＶｏｌＶ−ＶｏｌＰａｄＭｅａｎ）／Ｔ （４−４）
【００６７】
ＶｏｌＰａｄＭｅａｎ［ｂｉｔ］はフレーム毎に多重されるパディングデータ量が式（４−５）で求まる値と仮定したときに記録媒体に記録されるパディングデータ量の総和である。また、式（４−５）はフレーム毎に多重されるパディングデータ量の平均値である。
（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２ （４−５）
【００６８】
式（４−５）より、ＶｏｌＰａｄＭｅａｎ［ｂｉｔ］は式（４−６）と表せる。
ＶｏｌＰａｄＭｅａｎ＝（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２×Ｋ （４−６）
なお、Ｋは記録媒体に記録されるビデオフレーム数で、式（４−７）により求まる。
Ｋ＝Ｔ／Ｔｖｆ （４−７）
【００６９】
ここで、ｋフレームまでに記録媒体に記録した符号化映像データ量及びパディングデータ量の総和をＧ［ｋ］［ｂｉｔ］とすると、Ｒｖ［ｋ］［ｂｐｓ］は不等式（４−８）を満たすように決定すれば良い。
Ｒｖ［ｋ］≦（ＶｏｌＶ−Ｇ［ｋ］）−（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２×（Ｋ−ｋ） （４−８）
【００７０】
しかし、通常は、画質がより良くなるように、式（４−８）を満たす最大ビデオレートで符号化映像データを符号化する。よって、ビデオレートＲｖ［ｋ］は式（４−９）により求める。
Ｒｖ［ｋ］＝（ＶｏｌＶ−Ｇ［ｋ］）−（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２×（Ｋ−ｋ） （４−９）
【００７１】
ただし、式（４−１０）を満たす場合は、ビデオレートをＲｖ［ｋ］＝Ｒｖ［０］とする。
Ｒｖ［０］ ＜Ｒｖ［ｋ］≦ＲｖＴｈ２ （４−１０）
なお、ＲｖＴｈ２［ｂｐｓ］はＲｖ［０］［ｂｐｓ］以上の任意のしきい値である。
【００７２】
このように、ビデオレートを決定すると、フレーム毎に多重されるパディングデータ量が式（４−５）で求まる値であった場合、Ｒｖ［ｋ］はすべてＲｖ［０］となる。一方、Ｇ［ｋ］［ｂｉｔ］に含まれるパディングデータ量の総和が（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２×ｋより多い場合は、Ｒｖ［ｋ］はＲｖ［０］より低く設定される。反対に、Ｇ（ｋ）［ｂｉｔ］に含まれるパディングデータ量の総和が、（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２×ｋより少ない場合で、かつ、式（４−９）においてＲｖ［ｋ］がＲｖＴｈ２以下になるような値である場合は、Ｒｖ［ｋ］ はすべてＲｖ［０］となる。さらに、Ｇ（ｋ）［ｂｉｔ］に含まれるパディングデータ量の総和が、（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２×ｋより少ない場合で、かつ、式（４−９）においてＲｖ［ｋ］がＲｖＴｈ２より大きくなるような値である場合は、Ｒｖ［ｋ］はＲｖ［０］より高く設定されることになる。
【００７３】
すなわち、レート制御部１０２は、フレーム毎に多重されるパディングデータ量が任意のしきい値である（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２であった場合、現フレームのビデオレートを任意のしきい値である前記初期値Ｒｖ［０］になるようにする。さらに、レート制御部１０２は、多重部１０１がパディングデータを多重する毎に、多重したパディングデータ量から（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２を減じた値を累積加算し、その累積加算値が、負の値で、かつ、ビデオレートが任意のしきい値ＲｖＴｈ２以下になるような値の場合は、現フレームのビデオレートを前記初期値Ｒｖ［０］とし、前記累積加算値が、負の値で、かつ、ビデオレートがＲｖＴｈ２より大きくなるような値の場合は、現フレームのビデオレートを前記初期値Ｒｖ［０］より高くなるように、ビデオレートを制御する。さらに、前記累積加算値が正の場合は現フレームのビデオレートを前記初期値Ｒｖ［０］より低くなるように、ビデオレートを制御する。
【００７４】
以上のことから、実施の形態３に係る動画像符号化装置では、以下に示す効果が得られる。実施の形態１に係る動画像符号化装置では、ビデオレートを高くなる方向にしか制御することができなかった。そのため、録画の先頭から徐々に画質が良くなるといった、視覚的に好ましくない状態になる可能性があった。これに対して、実施の形態３に係る動画像符号化装置では、パディングデータ量に応じて、ビデオレートを初期値Ｒｖ［０］を中心に変動するよう制御できる。すなわち、録画の先頭から徐々に画質が良くなるといった、視覚的に好ましくない状態を回避することができる。さらに、ビデオレートを高くする制御に上限を設けることから、ビデオレートがＲｖ［０］より低くなりにくくなるので、画質の極端な劣化を抑えることができる。
【００７５】
（実施の形態４）
以下に、本発明の実施の形態４に係る動画像符号化装置について説明する。本実施の形態４に係る動画像符号化装置は、実施の形態１に係る動画像符号化装置と、レート制御部１０２の制御方式のみが異なり、その構成は図１に示したものと同様である。以下、本実施の形態４に係る動画像符号化装置のレート制御部１０２のレート制御方式について詳細に説明する。
【００７６】
多重部１０１でｋ番目のフレームの終端データをパケットに多重したとする。このとき、レート制御部１０２は、多重部１０１で多重されたパディングデータ量の総和（ＰａｄＳｕｍ（ｋ）［ｂｉｔ］）を計算する。そして、フレーム毎に多重されるパディングデータ量がその平均値であったと仮定したときに算出されるパディングデータ量の総和｛（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２×ｋ｝を期待値とし、この期待値と、多重部１０１で実際に多重されたパディングデータ量の総和ＰａｄＳｕｍ（ｋ）［ｂｉｔ］とを比較する。そして、ＰａｄＳｕｍ（ｋ）［ｂｉｔ］ ＞（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２×ｋの場合は、実施の形態２に係る動画像符号化装置のレート制御部１０２と同じ計算方法でビデオレートを決定する。一方、ＰａｄＳｕｍ（ｋ）［ｂｉｔ］ ≦（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２×ｋの場合は、ビデオレートＲｖ（ｋ）を先頭フレームのビデオレートＲｖ（０）と同じ値にする
【００７７】
以上のように、本発明の実施の形態４に係る動画像符号化装置は、フレームの終端データをパケットに多重するときに、それまでに実際にパディングしたパディングデータ量の総和が、フレーム毎に多重されるパディングデータ量がその平均値であった場合に予測されるパディングデータ量の総和以下のとき、ビデオレートをＲｖ（０）に設定するようにした。これにより、符号化処理の前半においてパディングデータ量が少なく、符号化処理の後半においてパディングデータ量が多い場合でも、符号化処理の前半でビデオレートの上昇を抑えるように制御することができる。その結果、パディングデータ量の偏りが原因で生じるビデオレートの変動を抑えることができ、符号化映像データを復号化した際に得られる画像の画質劣化を抑えることができる。
【００７８】
（実施の形態５）
以下に、本発明の実施の形態５に係る動画像符号化装置について図２を用いて説明する。本発明の実施の形態５に係る動画像符号化装置は、実施の形態１に係る動画像符号化装置と、多重部がレート制御部１０２の制御に基づいて動作する点で異なる。以下、本実施の形態５に係る動画像符号化装置の多重部２０１の動作について説明する。
【００７９】
多重部１０１でｋ番目のフレームの終端データをパケットに多重したとする。このとき、レート制御部１０２は、多重部１０１で多重されたパディングデータ量の総和ＰａｄＳｕｍ（ｋ）［ｂｉｔ］を計算する。そして、フレーム毎に多重されるパディングデータ量がその平均値であったと仮定したときに算出されるパディングデータ量の総和｛（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２×ｋ｝を期待値とし、この期待値と、多重部１０１で実際に多重されたパディングデータ量の総和ＰａｄＳｕｍ（ｋ）［ｂｉｔ］とを比較する。そして、ＰａｄＳｕｍ（ｋ）［ｂｉｔ］ ≦（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２×ｋの場合は、従来の技術で説明した動画像符号化装置の多重部１０１と同じ動作をするように多重部２０１を制御する。一方、ＰａｄＳｕｍ（ｋ）［ｂｉｔ］ ＞（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２×ｋの場合は、パディング動作を行わないように多重部２０１を制御する。多重部２０１は、レート制御部１０２の制御に基づいて、符号化データを多重する。
【００８０】
以上のように、本発明の実施の形態５に係る動画像符号化装置は、フレームの終端データをパケットに多重するときに、これまでに実際にパディングしたパディングデータ量の総和より、フレーム毎に多重されるパディングデータ量がその平均値であった場合に予測されるパディングデータ量の総和が多いとき、パディングデータを多重しないようにする。これにより、多重部の出力データの増加を抑えることができる。その結果、ビデオレートを必要以上に低く設定することを防ぐことができ、符号化映像データを復号化した際に得られる画像の画質劣化を抑えることができる。
【００８１】
（実施の形態６）
次に、本発明の実施の形態６に係る動画像復号化システムについて説明する。
図３は、本発明の実施の形態６に係る動画像復号化システムの一例を示すブロック図である。図３において、動画像復号化システムは、映像データ出力装置７０１と、音声データ出力装置７０２と、動画像符号化装置７０３と、出力バッファ７０４と、伝送路７０５と、入力バッファ７０６と、動画像復号化装置７０７と、映像データ再生装置７０８と、音声データ再生装置７０９とを備えている。なお、映像データ出力装置７０１と、音声データ出力装置７０２と、動画像符号化装置７０３と、出力バッファ７０４とは送信側に設けられており、入力バッファ７０６と、動画像復号化装置７０７と、映像データ再生装置７０８と、音声データ再生装置７０９とは受信側に設けられる。また、動画像符号化装置７０３は、実施の形態１〜５のいずれかで説明した動画像符号化装置である。
【００８２】
次に、本発明の実施の形態６に係る動画像復号化システムの動作について説明する。映像データ出力装置７０１は映像データを動画像符号化装置７０３に出力する。音声データ出力装置７０２は音声データを動画像符号化装置７０３に出力する。動画像符号化装置７０３は、動画像復号化装置７０７のデコーダモデルを考慮して映像データ及び音声データを符号化して多重し、多重データを出力バッファ８０４に出力する。出力バッファ７０４は多重データを所定のビットレートに変換して伝送路７０５に出力する。多重データは伝送路７０５を介して送信側から受信側の入力バッファ７０６に伝送される。
【００８３】
受信側において、入力バッファ７０６は、動画像復号化装置７０７の要求に応じて、伝送路７０５から伝送される多重データのうちの復号化する多重データを、動画像復号化装置７０７に出力する。動画像復号化装置７０７は、多重データを符号化映像データと符号化音声データとに分離した後、符号化映像データを映像データに復号化し、符号化音声データを音声データに復号化する。そして、映像データを映像データ再生装置７０８に、音声データを音声データ再生装置７０９に出力する。映像データ再生装置７０８は復号化された映像データを再生する。音声データ再生装置７０９は復号化された音声データを再生する。
【００８４】
以上のように本実施の形態６に係る動画像復号化システムは、本実施の形態１〜５に記載のいずれかの動画像符号化装置で、符号化され後、多重された映像データと音声データとを伝送路を介して伝送することができ、さらに、伝送された多重データを動画像復号装置で復号化することができる。
【００８５】
（実施の形態７）
次に、本発明の実施の形態７に係る動画像復号化システムについて説明する。
図４は、本発明の実施の形態７に係る動画像復号化システムの符号化処理ユニットの一例を示すブロック図である。図４に示すように、動画像復号化システムの符号化処理ユニットは、映像データ出力装置７０１と、音声データ出力装置７０２と、動画像符号化装置７０３と、出力バッファ７０４と、記録媒体８０１とを備えている。
【００８６】
映像データ出力装置７０１は、映像データを動画像符号化装置７０３に出力する。音声データ出力装置は、音声データを動画像符号化装置７０３に出力する。
【００８７】
動画像符号化装置７０３は、前記実施の形態１〜５のいずれかで説明した動画像符号化装置であり、動画像復号化装置７０７（デコーダモデル）を考慮して映像データ及び音声データを符号化した後、多重し、多重データを出力バッファ７０４に出力する。出力バッファ７０４は、多重データを所定の記録媒体への記録に適したビットレートに変換して記録媒体８０１に出力する。記録媒体８０１は、メモリ、磁気ディスク、光ディスク等の記録媒体であり、出力バッファ７０４が出力する多重データを記録する。
【００８８】
図５は、本発明の実施の形態６に係る動画像復号化システムの復号化処理ユニットの一例を示すブロック図である。図５において、動画像復号化システムの復号化処理ユニットは、読み出し部８０２と、入力バッファ７０６と、動画像復号化装置７０７と、映像データ再生装置７０８と、音声データ再生装置７０９とを備えている。
【００８９】
読み出し部８０２は、記録媒体８０１に記録された多重データを読み出し、入力バッファ７０６に出力する。入力バッファ７０６は、動画像復号化装置７０７の要求に応じて、読み出し部８０２が読み出した多重データのうちの復号化する多重データを動画像復号化装置７０７に出力する。動画像復号化装置７０７は、多重データを符号化映像データと符号化音声データに分離し、その後、符号化映像データを映像データに、符号化音声データを音声データに復号化する。そして、映像データを映像データ再生装置７０８に、音声データを音声データ再生装置７０９に出力する。映像データ再生装置７０８は復号化された映像データを再生する。音声データ再生装置７０９は復号化された音声データを再生する。
【００９０】
以上のように、本実施の形態６による動画像復号化システムによれば、実施の形態１〜５に記載のいずれかの動画像符号化装置で、符号化された後、多重された映像データ及び音声データを記録媒体に記録し、その記録媒体に記録された多重データを読み出して動画像復号化装置で復号化することができる。
【００９１】
【発明の効果】
以上のように、本発明の請求項１に記載の動画像符号化装置は、複数のフレームから構成される映像データを符号化映像データに符号化する映像符号化部と、前記映像符号化部が出力する符号化映像データを固定長のパケットに多重するととともに、フレーム毎に、フレームの終端データが多重される固定長パケットが前記フレームの終端データで満たなかった場合に、パディングデータを多重する多重部と、前記多重部が１フレーム分の前記符号化映像データを多重する毎に、前記符号化映像データのレートを決定するレート制御部と、を備えることを特徴とする。これにより、前記多重部で多重されるパディングデータ量に基づいてビデオレートを設定するため、必要以上にビデオレートを下げることなく、記録媒体に所望の時間分の映像データを記録することができる。その結果、符号化映像データを復号化した際に得られる画像の画質劣化を抑えることができる。
【００９２】
また、本発明の請求項２に記載の動画像符号化装置は、請求項１記載の動画像符号化装置において、前記レート制御部は、前記多重部がパディングデータを多重する毎に、パディングデータ量から任意のしきい値を減じた値を累積加算し、その累積加算値が、負の場合は現フレームの符号化映像データのレートよりその直後のフレームの符号化映像データのレートが高くなるように、正の場合は現フレームの符号化映像データのレートよりその直後のフレームの符号化映像データのレートが低くなるように、前記符号化映像データのレートを制御し、前記任意のしきい値は、フレーム毎に多重されるパディングデータ量の最小値より大きく、かつ、最大値より小さい値であることを特徴とする。これにより、符号化映像データのレートを、概ね、先頭フレームのビデオレートの前後で遷移させることができる。その結果、偏ったレート制御にならないようにすることができる。即ち、録画の先頭から徐々に画質が良くなるといった、視覚的に好ましくない状態を回避することができる。
【００９３】
また、本発明の請求項３に記載の動画像符号化装置は、請求項１記載の動画像符号化装置において、前記レート制御部は、前記多重部がパディングデータを多重する毎に、多重したパディングデータ量から第１のしきい値を減じた値を累積加算し、その累積加算値が、負の値で、かつ、前記符号化映像データのレートが第３のしきい値より大きく、かつ、第２のしきい値以下になるような値の場合は、現フレームの符号化映像データのレートを第３のしきい値とし、前記累積加算値が、負の値で、かつ、前記符号化映像データのレートが第２のしきい値より大きくなるような値の場合は、現フレームの符号化映像データのレートを第２のしきい値より大きくなるように、前記累積加算値が正の場合は現フレームの符号化映像データのレートよりその直後のフレームの符号化映像データのレートが低くなるように、前記符号化映像データのレートを制御し、前記第１のしきい値はフレーム毎に多重されるパディングデータ量の平均値であり、前記第２のしきい値は前記第３のしきい値より大きく、かつ、フレーム毎に多重されるパディングデータ量が０であると仮定したときに算出される前記符号化映像データのレートより小さい任意の値であり、前記第３のしきい値は、フレーム毎に多重されるパディングデータ量がすべてその平均値であると仮定したときに算出される前記符号化映像データのレートであることを特徴とする。これにより、パディングデータ量に応じて、ビデオレートを前記第３のしきい値を中心に変動するよう制御できることから、録画の先頭から徐々に画質がよくなるといった視覚的に好ましくない状態を回避できる。さらに、ビデオレートを高くする制御に上限を設けることから、ビデオレート低くなり過ぎるのを抑えることができ、符号化映像データを復号化した際に得られる画像の画質劣化を抑えることができる。
【００９４】
また、請求項４に係る動画像符号化装置は、請求項２記載の動画像符号化装置において、前記レート制御部は、前記多重部がパディングデータを多重する毎に、フレーム毎に多重されたパディングデータ量を累積加算した累積加算値と、フレーム毎に多重されるパディングデータ量がその平均値であると仮定して該平均値を累積加算した値である期待値とを算出し、前記累積加算値が前記期待値以下の場合は、現フレームの符号化映像データのレートを先頭フレームの符号化映像データのレートと同じ値になるように制御する。これにより、符号化処理の前半においてパディングデータ量が少なく、符号化処理の後半においてパディングデータ量が多い場合でも、符号化処理の前半でビデオレートの上昇を抑えるように制御することができる。その結果、パディングデータのデータ量の偏りが原因で生じる符号化映像データのレートの変動を抑えることができ、符号化映像データを復号化した際に得られる画像の画質劣化を抑えることができる。
【００９５】
また、本発明の請求項５に係る動画像符号化装置は、請求項１記載の動画像符号化装置において、前記レート制御部は、前記多重部がパディングデータを多重する毎に、フレーム毎に多重されたパディングデータ量を累積加算した累積加算値と、フレーム毎に多重されるパディングデータ量がその平均値であると仮定して該平均値を累積加算した値である期待値とを算出し、前記累積加算値が前記期待値より大きい場合は、前記多重部がパディングデータを多重しないように制御することを特徴とする。これにより、多重部の出力データの増加を抑えることができる。その結果、ビデオレートを必要以上に低く設定することを防ぐことができ、符号化映像データを復号化した際に得られる画像の画質劣化を抑えることができる。
【００９６】
また、本発明の請求項６に係る動画像符号化装置は、請求項１〜５のいずれかに記載の動画像符号化装置と、前記動画像符号化装置が出力した多重データを入力とし、該多重データを指定されたビットレートで出力する出力バッファと、前記出力バッファが出力する多重データを伝送する伝送路と、前記伝送路を介して伝送される多重データを入力し、復号化する多重データを動画像復号化装置に出力する入力バッファと、前記入力バッファが出力する多重データを復号化する動画像復号化装置と、を備えることを特徴とする。これにより、請求項１〜５のいずれかに記載の動画像符号化装置で、映像データと音声データを符号化した後に多重したデータを、伝送路を介して伝送することができ、さらに、伝送される多重データを、動画像復号化装置で復号化した後、映像データと音声データとに再生することができる。
【００９７】
また、本発明の請求項７に係る動画像符号化装置は、請求項１〜５のいずれかに記載の動画像符号化装置と、前記動画像符号化装置が出力した多重データを入力とし、該多重データを指定されたビットレートで出力する出力バッファと、前記出力バッファが出力する多重データを記録媒体に記録する記録媒体と、前記記録媒体に記録された多重データを読み出す読み出し部と、前記読み出し部が読み出した多重データを入力し、復号化する多重データを動画像復号化装置に出力する入力バッファと、前記入力バッファが出力する多重データを復号化する動画像復号化装置と、を備えることを特徴とする。これにより、請求項１〜５のいずれかに記載の動画像符号化装置で映像データと音声データを符号化した後に多重したデータを記録媒体に記録することができ、さらに、当該記録媒体に記録された多重データを読み出して動画像復号化装置で復号化した後、映像データと音声データとに再生することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１〜４に係る動画像符号化装置の構成例を示すブロック図である。
【図２】本発明の実施の形態５に係る動画像符号化装置の構成例を示すブロック図である。
【図３】本発明の実施の形態６に係る動画像復号化システムの一例を示すブロック図である。
【図４】本発明の実施の形態７に係る動画像復号化システムの符号化処理ユニットの一例を示すブロック図である。
【図５】本発明の実施の形態７に係る動画像復号化システムの復号化処理ユニットの一例を示すブロック図である
【図６】従来の動画像符号化装置の構成例を示すブロック図である。
【図７】従来の動画像符号化装置が備える多重部の動作を説明するための図である。
【符号の説明】
１０１，１００５ 多重部
１０２ レート制御部
１０３，１００１ 映像符号化部
１００２ 映像記憶部
１００３ 音声符号化部
１００４ 音声記憶部
１００６ 多重制御部
７０１ 映像データ出力装置
７０２ 音声データ出力装置
７０３ 動画像符号化装置
７０４ 出力バッファ
７０５ 伝送路
７０６ 入力バッファ
７０７ 動画像復号化装置
７０８ 映像データ再生装置
７０９ 音声データ再生装置
８０１ 記録媒体
８０２ 読み出し部
【発明の属する技術分野】
本発明は、動画像の符号化および復号化に関し、特に複数の符号化データを１つの多重データに多重する動画像符号化装置およびその動画像符号化装置が多重した多重データを分離、復号化する動画像復号化システムに関する。
【０００２】
【従来の技術】
従来、動画像符号化装置は、映像データ及び音声データを符号化した後、符号化データを固定長のパケットに多重していた。このパケットには、ヘッダー部とペイロード部とが含まれ、ペイロード部にデータが多重される。動画像符号化装置は、この多重処理の際、符号化データの基本単位毎に、符号化データの終端が多重される固定長パケットがその符号化データで満たなかった場合にパディングデータを多重し、常に基本単位毎の先頭データをパケットのペイロード部の先頭から多重するようにしていた。そして、このようにパディングデータを多重することにより、多重後のデータのレートが変動しないようにしていた（例えば、特許文献１）。
【０００３】
動画像符号化装置が用いる符号化方式としては、例えば、動画像符号化の国際標準規格であるＭＰＥＧ２規格（ＩＳＯ／ＩＥＣ １３８１２：ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｃｏｄｉｎｇ ｅｘｐｅｒｔｓ ｇｒｏｕｐ２）がある。ＭＰＥＧ２規格を採用する動画像符号化装置には、これに対応する復号化装置モデル（デコーダモデル）が規定されている。ＭＰＥＧ２規格においては、動画像符号化装置が、映像データと音声データとを、符号化映像データと符号化音声データとに符号化した後、１つの多重データに多重する。そして、その多重データを動画像復号化装置が、符号化映像データと符号化音声データとに分離し、それぞれを映像データと音声データとに復号化する。従って、動画像符号化装置は、対応するデコーダモデルで正しく復号化できる多重データを生成することが求められる。
【０００４】
以下、従来の動画像符号化装置について具体的に図６を用いて説明する。図６は一般的な動画像符号化装置の構成を示すブロック図である。図６において、動画像符号化装置は、映像符号化部１００１と、映像記憶部１００２と、音声符号化部１００３と、音声記憶部１００４と、多重部１００５と、多重制御部１００６とを備える。
【０００５】
映像符号化部１００１は映像データを符号化映像データに符号化する。映像記憶部１００２は映像符号化部１００１が符号化した符号化映像データを記憶する。音声符号化部１００３は音声データを符号化音声データに符号化する。音声記憶部１００４は音声符号化部１００３が符号化した符号化音声データを記憶する。多重部１００５は、映像記憶部１００２に記憶されている符号化映像データと音声記憶部１００４に記憶されている符号化音声データとを、多重制御部１００６の制御に基づいて複数のパケットから構成される多重データに多重する。多重制御部１００６は、映像符号化部１００１が符号化した符号化映像データのデータ量と音声符号化部１００３が符号化した符号化音声データのデータ量とに基づいて、多重部１００５がパケットに多重する符号化映像データと符号化音声データとの順番を決定する。
【０００６】
以下、図７を用いて多重部１００５の詳細な動作について説明する。なお、ここでは、符号化映像データをパケットに多重する動作についてのみ説明する。符号化音声データを多重する動作は、符号化映像データを多重する動作と同じであるため、説明を省略する。また、映像データの基本単位がフレーム単位であることとして説明する。
【０００７】
図７（ａ）は、映像符号化部１００１で符号化された符号化映像データの模式図である。図７（ａ）に示すように、この符号化映像データは、フレームＦＶｎ（ｎは整数）からなり、ＦＶ０から図７（ａ）に示す順で映像記憶部１００２に入力される。
【０００８】
図７（ｂ）は、多重制御部１００６の制御に基づいて、多重部１００５が多重した符号化映像データの模式図である。なお、図７（ｂ）のＰｋｐ（ｐは整数）はパケットを示している。多重部１００５はパケットをＰｋ０から図に示す順で出力する。また、符号化映像データのフレームＦＶ１がパケットＰｋ０〜Ｐｋ４に、フレームＦＶ２がパケットＰｋ５〜Ｐｋ１０に、多重されることも示している。
【０００９】
図７（ｃ）は、符号化映像データのフレームＦＶ１の終端データが多重されたパケットＰｋ４を示した図である。図７（ｃ）が示すように、パケットはヘッダー部とペイロード部とを含む。そして、符号化映像データはペイロード部に多重される。
【００１０】
図７（ｄ）はフレームＦＶ２の先頭を含むパケットの模式図である。通常、動画像符号化装置では、パケット中のフレームの先頭位置を探す処理を容易にするため、フレームの先頭をパケットのペイロード先頭から多重する。以下、この処理について図７（ｃ）及び（ｄ）を用いて説明する。図７（ｃ）に示すように、フレームＦＶ１の終端データを多重するパケットが、フレームＦＶ１のデータに満たなかった場合、パディングデータを多重する。これにより、図７（ｄ）が示すように、フレームＦＶ２の先頭がペイロードの先頭から多重されるようになる。その結果、フレームＦＶ２を多重した先頭パケットを探すだけで、フレームＦＶ２の先頭データを探すことができる。
【００１１】
【特許文献１】
特開平９−５５７６５号公報（第１頁−第６頁、図５）
【００１２】
【発明が解決しようとする課題】
以上のようにして動画像符号化装置で多重された多重データは、ＤＶＤ−ＲＡＭ等の記録媒体に記録される。このとき、データを記録する時間に基づいて、外部制御部（図示せず）が符号化映像データのレート（以下、ビデオレートと略す）を決定する。以下、従来のビデオレート決定法と、その問題点について説明する。
【００１３】
まず、記録媒体の容量Ｖｏｌ［ｂｉｔ］と、符号化映像データ量（ＶｏｌＶ［ｂｉｔ］）、符号化音声データ量（ＶｏｌＡ［ｂｉｔ］）、符号化映像データを含むパケット（ビデオパケット）のヘッダー部のデータ量（ＶｏｌＶＨｄ［ｂｉｔ］）、符号化音声データを含むパケット（オーディオパケット）のヘッダー部のデータ量（ＶｏｌＡＨｄ［ｂｉｔ］）、及びパディングデータ量（ＶｏｌＰａｄ［ｂｉｔ］）との間には不等式（１−１）の関係が成り立つ必要がある。
Ｖｏｌ≧ＶｏｌＶ＋ ＶｏｌＡ＋ ＶｏｌＶＨｄ＋ ＶｏｌＡＨｄ＋ ＶｏｌＰａｄ （１−１）
【００１４】
次に、時間Ｔ［Ｓｅｃ］に記録媒体に記録されるＶｏｌＡ、ＶｏｌＡＨｄ、及びＶｏｌＰａｄの最大値ＶｏｌＰａｄＭａｘの求め方を説明する。
符号化音声データのレートをＲａ［ｂｐｓ］、パケットのサイズをＰｋＳｚ［ｂｉｔ］、パケットのヘッダー部のサイズをＰｋＨｄＳｚ［ｂｉｔ］、映像フレームの周期をＴｖｆ［Ｓｅｃ］とすると、時間Ｔ［Ｓｅｃ］に記録媒体に記録される符号化音声データ量ＶｏｌＡ［Ｂｉｔ］は式（１−２）により求められる。
ＶｏｌＡ＝Ｒａ×Ｔ （１−２）
【００１５】
また、符号化音声データは、ＶｏｌＡ／（ＰｋＳｚ−ＰｋＨｄＳｚ）個のパケットに多重されることから、Ｔ［Ｓｅｃ］ 時間に記録媒体に記録されるオーディオパケットのヘッダー部のデータ量ＶｏｌＡＨｄ［ｂｉｔ］は式（１−３）により求められる。
ＶｏｌＡＨｄ＝ ＰｋＨｄＳｚ ×ＶｏｌＡ／（ＰｋＳｚ−ＰｋＨｄＳｚ） （１−３）
【００１６】
また、Ｔ［Ｓｅｃ］時間に記録媒体に記録されるパディングデータ量の最大値ＶｏｌＰａｄＭａｘ［ｂｉｔ］は次のようにして求められる。パディングデータはフレーム毎に多重されることから、Ｔ［Ｓｅｃ］時間にＴ／Ｔｖｆ回多重される。このことから、パディングデータ量の最大値ＶｏｌＰａｄＭａｘ［ｂｉｔ］は式（１−４）により求められる。
ＶｏｌＰａｄＭａｘ ＝（ＰｋＳｚ−ＰｋＨｄＳｚ−１）×Ｔ／Ｔｖｆ （１−４）
【００１７】
式（１−１）〜（１−４）を用いて、不等式（１−１）の関係を常に成り立たせるためには、不等式（１−５）の関係を満たせばよい。
Ｖｏｌ − ＶｏｌＡ −ＶｏｌＡＨｄ − ＶｏｌＰａｄＭａｘ ≧ ＶｏｌＶ ＋ ＶｏｌＶＨｄ （１−５）
【００１８】
次に、時間Ｔ［Ｓｅｃ］に記録媒体に記録されるＶｏｌＶ、及びＶｏｌＶＨｄの求め方を説明する。ここで、ビデオレートをＲｖ［ｂｐｓ］とすると、Ｔ［Ｓｅｃ］時間に記録媒体に記録される符号化映像データ量ＶｏｌＶ［Ｂｉｔ］は式（１−６）により求められる。
ＶｏｌＶ＝Ｒｖ×Ｔ （１−６）
【００１９】
また、Ｔ［Ｓｅｃ］時間に記録媒体に記録されるビデオパケットのヘッダー部のデータ量ＶｏｌＶＨｄ［ｂｉｔ］は式（１−７）により求められる。
ＶｏｌＶＨｄ＝ ＰｋＨｄＳｚ ×ＶｏｌＶ／（ＰｋＳｚ−ＰｋＨｄＳｚ） （１−７）
【００２０】
式（１−５）、（１−６）及び（１−７）から、ビデオレートは不等式（１−８）により求められる。
Ｒｖ≦（Ｖｏｌ − ＶｏｌＡ − ＶｏｌＡＨｄ − ＶｏｌＰａｄＭａｘ）×（ＰｋＳｚ−ＰｋＨｄＳｚ）／（ＰｋＳｚ×Ｔ） （１−８）
すなわち、ビデオレートを不等式（１−８）の関係を満たすＲｖ［ｂｐｓ］にすれば、記録媒体Ｖｏｌ［ｂｉｔ］にＴ［Ｓｅｃ］時間分の多重データを記録できることになる。
【００２１】
従来の動画符号化装置が出力する符号化映像データのビデオレートは、以上のようにして求められるが、Ｔ［Ｓｅｃ］時間に多重されるパディングデータ量は、必ずしもＶｏｌＰａｄＭａｘ［ｂｉｔ］にはならない。そのため、不等式（１−８）を満たさないＲｖ［ｂｐｓ］の場合でも、Ｖｏｌ［ｂｉｔ］の記録媒体にＴ［Ｓｅｃ］時間分の多重データを記録できる場合がある。例えば、符号化映像データを構成する全フレームのデータ量が、パケットのペイロードサイズの整数倍である場合、パディングデータを多重する必要はない。すなわち、不等式（１−９）を満たすＲｖ［ｂｐｓ］にすれば、Ｖｏｌ［ｂｉｔ］の記録媒体にＴ［Ｓｅｃ］時間分の多重データを記録することができるにもかかわらず、パディングデータ量の最大値を考慮したビデオレートを設定してしまうことになる。
【００２２】
Ｒｖ≦（Ｖｏｌ − ＶｏｌＡ − ＶｏｌＡＨｄ ）×（ＰｋＳｚ−ＰｋＨｄＳｚ）／（ＰｋＳｚ×Ｔ） （１−９）
【００２３】
このように、従来の動画像符号化装置が出力するビデオレートは、実際に指定可能なレートより低く設定されることがあり、その結果、必要以上の画質劣化が生じてしまうことがある。
【００２４】
従って、本発明では、フレームの終端データを含むパケットにパディングデータを多重する場合でも、画質劣化を抑えるようにビデオレートを設定することができる動画像符号化装置及びその動画像符号化装置が多重した多重データを分離、復号化する動画像復号化システムを提供することを目的とする。
【００２５】
【課題を解決するための手段】
上記目的を達成するために、本発明の請求項１に係る動画像符号化装置は、複数のフレームから構成される映像データを符号化映像データに符号化する映像符号化部と、前記映像符号化部が出力する符号化映像データを固定長のパケットに多重するとともに、フレーム毎に、フレームの終端データが多重される固定長パケットが前記フレームの終端データで満たなかった場合にパディングデータを多重する多重部と、前記多重部が１フレーム分の前記符号化映像データを多重する毎に、前記符号化映像データのレートを決定するレート制御部と、を備えることを特徴とする。
【００２６】
また、本発明の請求項２に係る動画像符号化装置は、請求項１記載の動画像符号化装置において、前記レート制御部は、前記多重部がパディングデータを多重する毎に、多重したパディングデータ量から任意のしきい値を減じた値を累積加算し、その累積加算値が負の場合は現フレームの符号化映像データのレートよりその直後のフレームの符号化映像データのレートが高くなるように、前記累積加算値が正の場合は現フレームの符号化映像データのレートよりその直後のフレームの符号化映像データのレートが低くなるように、前記符号化映像データのレートを制御し、前記任意のしきい値は、フレーム毎に多重されるパディングデータ量の最小値より大きく、かつ、最大値より小さい値であることを特徴とする。
【００２７】
また、本発明の請求項３に係る動画像符号化装置は、請求項１記載の動画像符号化装置において、前記レート制御部は、前記多重部がパディングデータを多重する毎に、多重したパディングデータ量から第１のしきい値を減じた値を累積加算し、その累積加算値が、負の値で、かつ、前記符号化映像データのレートが第３のしきい値より大きく、かつ、第２のしきい値以下になるような値の場合は、現フレームの符号化映像データのレートを第３のしきい値とし、前記累積加算値が、負の値で、かつ、前記符号化映像データのレートが第２のしきい値より大きくなるような値の場合は、現フレームの符号化映像データのレートを第２のしきい値より高くなるように、前記累積加算値が正の場合は現フレームの符号化映像データのレートよりその直後のフレームの符号化映像データのレートが低くなるように、前記符号化映像データのレートを制御し、前記第１のしきい値はフレーム毎に多重されるパディングデータ量の平均値であり、前記第２のしきい値は前記第３のしきい値より大きく、かつ、フレーム毎に多重されるパディングデータ量が０であると仮定したときに算出される前記符号化映像データのレートより小さい任意の値であり、前記第３のしきい値は、フレーム毎に多重されるパディングデータ量がすべてその平均値であると仮定したときに算出される前記符号化映像データのレートであることを特徴とする。
【００２８】
また、本発明の請求項４に係る動画像符号化装置は、請求項２記載の動画像符号化装置において、前記レート制御部は、前記多重部がパディングデータを多重する毎に、フレーム毎に多重されたパディングデータ量を累積加算した累積加算値と、フレーム毎に多重されるパディングデータ量がその平均値であると仮定して該平均値を累積加算した値である期待値とを算出し、前記累積加算値が前記期待値以下の場合は、現フレームの符号化映像データのレートを先頭フレームの符号化映像データのレートと同じ値になるように制御することを特徴とする。
【００２９】
また、本発明の請求項５に係る動画像符号化装置は、請求項１記載の動画像符号化装置において、前記レート制御部は、前記多重部がパディングデータを多重する毎に、フレーム毎に多重されたパディングデータ量を累積加算した累積加算値と、フレーム毎に多重されるパディングデータ量がその平均値であると仮定して該平均値を累積加算した値である期待値とを算出し、前記累積加算値が前記期待値より大きい場合は、前記多重部がパディングデータを多重しないように制御することを特徴とする。
【００３０】
また、本発明の請求項６に係る動画像符号化装置は、請求項１〜５のいずれかに記載の動画像符号化装置と、前記動画像符号化装置が出力した多重データを入力とし、該多重データを指定されたビットレートで出力する出力バッファと、前記出力バッファが出力する多重データを伝送する伝送路と、前記伝送路を介して伝送される多重データを入力し、復号化する多重データを動画像復号化装置に出力する入力バッファと、前記入力バッファが出力する多重データを復号化する動画像復号化装置と、を備えることを特徴とする。
【００３１】
また、本発明の請求項７に係る動画像符号化装置は、請求項１〜５のいずれかに記載の動画像符号化装置と、前記動画像符号化装置が出力した多重データを入力とし、該多重データを指定されたビットレートで出力する出力バッファと、前記出力バッファが出力する多重データを記録媒体に記録する記録媒体と、前記記録媒体に記録された多重データを読み出す読み出し部と、前記読み出し部が読み出した多重データを入力し、復号化する多重データを動画像復号化装置に出力する入力バッファと、前記入力バッファが出力する多重データを復号化する動画像復号化装置と、を備えることを特徴とする。
【００３２】
【発明の実施の形態】
本発明の実施の形態について図面を参照して説明する。
（実施の形態１）
以下に、本発明の実施の形態１に係る動画像符号化装置について図１を用いて説明する。
図１は、本発明の実施の形態１に係る動画像符号化装置の構成の一例を示すブロック図である。図６に示す動画像符号化装置と同一構成要素については同一符号を付している。図１において、動画像符号化装置は、映像符号化部１０３と、映像記憶部１００２と、音声符号化部１００３と、音声記憶部１００４と、多重部１０１と、多重制御部１００６と、レート制御部１０２とを備える。
【００３３】
映像符号化部１０３は映像データを符号化映像データに符号化する。符号化の際には、ビデオレートがレート制御部１０２で設定されたレートになるように映像データを符号化する。
【００３４】
多重部１０１は、多重制御部１００６の制御に基づいて、映像記憶部１００２に記憶されている符号化映像データと音声記憶部１００４に記憶されている符号化音声データとから複数のパケットにより構成される多重データを生成する。このときの多重方法は、図７を用いた説明と同じ方法である。また、多重部１０１は、パケットに多重したパディングデータ量を示す情報をレート制御部１０２に出力する。
【００３５】
レート制御部１０２は、多重部１０１が多重したパディングデータ量に基づいてビデオレートを決定する。以下、レート制御部１０２の動作について詳細に説明する。
【００３６】
レート制御部１０２は、映像データの基本単位をフレーム単位とし、多重部１０１が符号化映像データを構成するビデオフレームの終端データをパケットに多重する毎に、ビデオレートを決定する。従来のビデオレートの計算方法と異なる点は、符号化データが多重される毎に記録時間Ｔが短くなることを考慮し、かつ、記録媒体の容量Ｖｏｌをすでに多重した多重データ分減じて、ビデオレートを計算する点である。
【００３７】
多重部１０１がｋ番目のフレームの終端データをパケットに多重したとする。このときのレート制御部１０２のレート計算方法について説明する。記録媒体の残量Ｖｏｌ（ｋ）［ｂｉｔ］と、これから記録媒体に記録される符号化映像データ量（ＶｏｌＶ（ｋ）［ｂｉｔ］）、符号化音声データ量（ＶｏｌＡ（ｋ）［ｂｉｔ］）、ビデオパケットのヘッダー部のデータ量（ＶｏｌＶＨｄ（ｋ）［ｂｉｔ］）、オーディオパケットのヘッダー部のデータ量（ＶｏｌＡＨｄ（ｋ）［ｂｉｔ］）、及びパディングデータ量（ＶｏｌＰａｄ（ｋ）［ｂｉｔ］）との間には、不等式（２−１）の関係が成り立つ。
Ｖｏｌ（ｋ）≧ＶｏｌＶ（ｋ）＋ ＶｏｌＡ（ｋ）＋ ＶｏｌＶＨｄ（ｋ）＋ ＶｏｌＡＨｄ（ｋ）＋ ＶｏｌＰａｄ（ｋ） （２−１）
【００３８】
次に、記録媒体に記録されるＶｏｌＡ（ｋ）、ＶｏｌＡＨｄ（ｋ）、及びＶｏｌＰａｄ（ｋ）の最大値ＶｏｌＰａｄＭａｘ（ｋ）の求め方を説明する。
【００３９】
符号化音声レートをＲａ［ｂｐｓ］、パケットのサイズをＰｋＳｚ［ｂｉｔ］、パケットヘッダー部のサイズをＰｋＨｄＳｚ［ｂｉｔ］、映像フレームの周期をＴｖｆ［Ｓｅｃ］とすると、ＶｏｌＡ（ｋ）、ＶｏｌＡＨｄ（ｋ）、及びＶｏｌＰａｄ（ｋ）の最大値ＶｏｌＰａｄＭａｘ （ｋ）［ｂｉｔ］は、それぞれ、式（２−２）、式（２−３）および式（２−４）により求められる。
ＶｏｌＡ（ｋ）＝Ｒａ×（Ｔ−ｋ×Ｔｖｆ） （２−２）
ＶｏｌＡＨｄ（ｋ）＝ ＰｋＨｄＳｚ ×ＶｏｌＡ（ｋ）／（ＰｋＳｚ−ＰｋＨｄＳｚ） （２−３）
ＶｏｌＰａｄＭａｘ（ｋ）＝ （ＰｋＳｚ−ＰｋＨｄＳｚ−１）×（Ｔ／Ｔｖｆ−ｋ） （２−４）
【００４０】
また、ｋフレーム多重後の記録媒体の残量Ｖｏｌ（ｋ）［ｂｉｔ］は、式（２−５）または式（２−６）で計算する。ｋ＝０の時は式（２−５）を、それ以外の時は式（２−６）を用いる。
Ｖｏｌ（０）＝Ｖｏｌ （２−５）
Ｖｏｌ（ｋ＋１）＝Ｖｏｌ（ｋ）−Ｇｎ（ｋ＋１） （２−６）
【００４１】
なお、式（２−６）のＧｎ（ｋ）は、ｋフレームの先頭データからｋフレームの終端データをパケットに多重部１０１が多重している間に、多重部１０１で多重されたデータ量を表す。
【００４２】
式（２−２）〜式（２−６）を用いて、不等式（２−１）の関係を常に成り立たせるためには、不等式（２−７）の関係を満たす必要がある。
Ｖｏｌ（ｋ）− ＶｏｌＡ（ｋ） −ＶｏｌＡＨｄ（ｋ）−ＶｏｌＰａｄＭａｘ（ｋ）≧ＶｏｌＶ（ｋ）＋ＶｏｌＶＨｄ（ｋ） （２−７）
【００４３】
また、ビデオレートをＲｖ（ｋ）［ｂｐｓ］とすると、Ｔ−ｋ×Ｔｖｆ ［Ｓｅｃ］時間に記録媒体に記録される符号化映像データ量ＶｏｌＶ（ｋ）［Ｂｉｔ］は式（２−８）より求められる。
ＶｏｌＶ（ｋ）＝Ｒｖ×（Ｔ−ｋ×Ｔｖｆ） （２−８）
【００４４】
また、Ｔ−ｋ×Ｔｖｆ ［Ｓｅｃ］時間に記録媒体に記録されるビデオパケットのヘッダー部のデータ量ＶｏｌＶＨｄ［ｂｉｔ］は式（２−９）より求められる。
ＶｏｌＶＨｄ（ｋ）＝ ＰｋＨｄＳｚ ×ＶｏｌＶ（ｋ）／（ＰｋＳｚ−ＰｋＨｄＳｚ） （２−９）
【００４５】
式（２−１）、（２−８）、及び（２−９）から、ビデオレートＲｖ（ｋ）は不等式（２−１０）により求められる。
【００４６】
以上のように、本実施の形態１にかかる動画像符号化装置は、１フレーム分の符号化映像データを多重する毎に、実際に多重したパディングデータのデータ量に基づいて、ビデオレートを計算するようにした。これにより、必ず記録媒体にＴ時間分の多重データを記録することができる。さらに、常に最大のパディング（ＰｋＳｚ−ＰｋＨｄＳｚ−１）［ｂｉｔ］を多重することとしてビデオレートを計算していた従来のビデオレート決定方法より、ビデオレートを高く設定できる。すなわち、同じ容量の記録媒体に同じ時間、データを記録する場合、従来のビデオレート決定方法よりも、高画質にすることができる。
【００４７】
（実施の形態２）
以下に、本発明の実施の形態２による動画像符号化装置について説明する。
本発明の実施の形態２に係る動画像符号化装置は、実施の形態１に係る動画像符号化装置と、レート制御部１０２の制御方式のみが異なり、その構成は図１に示したものと同様である。以下、本実施の形態２に係る動画像符号化装置のレート制御部１０２のレート制御方式について詳細に説明する。
【００４８】
多重部１０１がｋ番目のフレームの終端データをパケットに多重したとする。このとき、記録媒体の残量Ｖｏｌ（ｋ）［ｂｉｔ］と、これから記録媒体に記録される符号化映像データ量（ＶｏｌＶ（ｋ）［ｂｉｔ］）、符号化音声データ量（ＶｏｌＡ（ｋ）［ｂｉｔ］）、ビデオパケットのヘッダー部のデータ量（ＶｏｌＶＨｄ（ｋ）［ｂｉｔ］）、オーディオパケットのヘッダー部のデータ量（ＶｏｌＡＨｄ（ｋ）［ｂｉｔ］）、及びパディングデータ量（ＶｏｌＰａｄ（ｋ）［ｂｉｔ］）との間には、不等式（３−１）の関係が成り立つ。
Ｖｏｌ（ｋ）≧ ＶｏｌＶ（ｋ）＋ ＶｏｌＡ（ｋ）＋ ＶｏｌＶＨｄ（ｋ）＋ ＶｏｌＡＨｄ（ｋ）＋ ＶｏｌＰａｄ（ｋ） （３−１）
【００４９】
そして、符号化音声レートをＲａ［ｂｐｓ］、パケットのサイズをＰｋＳｚ［ｂｉｔ］、パケットヘッダー部のサイズをＰｋＨｄＳｚ［ｂｉｔ］、映像フレームの周期をＴｖｆ［Ｓｅｃ］とすると、ＶｏｌＡ（ｋ）と、ＶｏｌＡＨｄ（ｋ）とは、それぞれ、式（３−２）、式（３−３）により求められる。
ＶｏｌＡ（ｋ）＝Ｒａ×（Ｔ−ｋ×Ｔｖｆ） （３−２）
ＶｏｌＡＨｄ（ｋ）＝ ＰｋＨｄＳｚ ×ＶｏｌＡ（ｋ）／（ＰｋＳｚ−ＰｋＨｄＳｚ） （３−３）
【００５０】
また、本実施の形態２に係る動画像符号化装置では、ＶｏｌＰａｄ［ｋ］として、式（３−４）で求められるＶｏｌＰａｄＭｅａｎ（ｋ）［Ｂｉｔ］を用いる。
ＶｏｌＰａｄＭｅａｎ（ｋ）＝ （ＰｋＳｚ−ＰｋＨｄＳｚ−１）×（Ｔ／Ｔｖｆ−ｋ）／２ （３−４）
【００５１】
ＶｏｌＰａｄＭｅａｎ（ｋ）は、これからフレーム毎に多重されるパディンデータ量がその最大値の半分、すなわち、平均値と仮定したときのパディングデータ量の総和である。
【００５２】
ｋフレームのデータを多重した後の記録媒体の残量Ｖｏｌ（ｋ）［ｂｉｔ］は、式（３−５）または式（３−６）で計算する。ここでｋ＝０の時は式（３−５）を、それ以外のときは式（３−６）を用いる。なお、式（３−６）のＧｎ（ｋ）は、ｋフレームの先頭データからｋフレームの終端データをパケットに多重部１０１が多重している間に、多重部１０１が多重したデータ量を表している。
Ｖｏｌ（０）＝Ｖｏｌ （３−５）
Ｖｏｌ（ｋ＋１）＝Ｖｏｌ（ｋ）−Ｇｎ（ｋ＋１） （３−６）
【００５３】
これら、式（３−２）〜式（３−６）を用いて、式（３−１）の関係を常に成り立たせるためには、不等式（３−７）の関係を満たす必要がある。
Ｖｏｌ（ｋ）−ＶｏｌＡ（ｋ）−ＶｏｌＡＨｄ（ｋ）− ＶｏｌＰａｄＭｅａｎ（ｋ）≧ＶｏｌＶ（ｋ）＋ＶｏｌＶＨｄ（ｋ） （３−７）
【００５４】
また、映像符号化部１０３より出力されるビデオレートを、Ｒｖ（ｋ）［ｂｐｓ］とすると、Ｔ−ｋ×Ｔｖｆ ［Ｓｅｃ］時間に記録媒体に記録される符号化映像データ量ＶｏｌＶ（ｋ）［Ｂｉｔ］は式（３−８）より求められる。
ＶｏｌＶ（ｋ）＝Ｒｖ×（Ｔ−ｋ×Ｔｖｆ） （３−８）
【００５５】
また、Ｔ−ｋ×Ｔｖｆ ［Ｓｅｃ］に記録媒体に記録されるビデオパケットのヘッダー部のデータ量ＶｏｌＶＨｄ（ｋ）［ｂｉｔ］は式（３−９）より求められる。
ＶｏｌＶＨｄ（ｋ）＝ ＰｋＨｄＳｚ ×ＶｏｌＶ（ｋ）／（ＰｋＳｚ−ＰｋＨｄＳｚ） （３−９）
【００５６】
式（３−１）、（３−８）、及び（３−９）から、ビデオレートＲｖ（ｋ）は不等式（３−１０）で求められる。
【００５７】
式（３−１０）は、以下のことを示している。まず、Ｔ−ｋ×Ｔｖｆ［ｓｅｃ］の時間にＲｖ（ｋ）のビデオレートでフレーム毎に（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２のパディングデータ量が多重された場合、等号が成り立つ。また、実際のパディングデータ量が（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２以上の場合、式（３−１０）の等号を成り立たせるためには、Ｒ（ｋ＋１）をＲ（ｋ）以下にする必要がある。一方、実際のパディングデータ量が（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２より少なくなる場合、式（３−１０）の等号を成り立たせるためには、Ｒ（ｋ＋１）をＲ（ｋ）より高くする必要がある。また、実際のパディングデータ量と（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２との差をフレーム毎に累積加算した結果である累積加算値が増加すると、Ｒｖ（ｋ＋１）とＲｖ（ｋ）との差もフレーム数が多くなるにつれて大きくなる。
【００５８】
従って、レート制御部が式（３−１０）を用いてビデオレートを決定するということは、多重部がパディングデータを多重する毎に、実際のパディングデータ量から任意のしきい値である（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２を減じた値を累積加算し、前記累積加算値が負の場合はＲｖ（ｋ＋１）をＲ（ｋ）より高く、前記累積加算値が正の場合はＲｖ（ｋ＋１）をＲ（ｋ）より低くなるようにすることを意味する。
【００５９】
以上のように、本実施の形態２に係る動画像符号化装置は、１フレーム分の符号化映像データを多重する毎に、多重したパディングのデータ量に基づいて、ビデオレートを計算するようにした。これにより、必ず記録媒体にＴ時間分の多重データを記録することができる。さらに、常に最大のパディング（ＰｋＳｚ−ＰｋＨｄＳｚ−１）［ｂｉｔ］を多重することとしてビデオレートを計算していた従来のビデオレート設定方法より、ビデオレートを高く設定できる。すなわち、同じ容量の記録媒体に同じ時間、データを記録する場合、従来のビデオレート決定方法よりも、高画質にすること可能となる。
【００６０】
また、実施の形態１に係る動画像符号化装置では、ビデオレートを前のフレームのビデオレートと同じか、または高くなるようにしか設定できなかったが、本実施の形態２に係る動画像符号化装置では、多重部がパディングデータを多重する毎に、多重したパディングデータ量から任意のしきい値である（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２を減じた値を累積加算し、前記累積加算値が負の場合は現フレームのビデオレートよりその直後のフレームのビデオレートが高くなるように、前記累積加算値が正の場合は現フレームのビデオレートよりその直後のフレームのビデオレートが低くなるように制御できる。これにより、ビデオレートは、概ね、先頭フレームのビデオレートＲｖ（０）の前後で遷移することになる。その結果、偏ったレート制御にならないようにすることができる。すなわち、録画の先頭から徐々に画質が良くなるといった、視覚的に好ましくない状態を回避することができる。
【００６１】
なお、上記説明で任意のしきい値として、（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２を用いたが、この任意のしきい値として、フレーム毎に多重されるパディングデータ量の最小値より大きく、かつ、最大値より小さい値を用いても同様の効果を有する。
【００６２】
（実施の形態３）
以下に、本発明の実施の形態３に係る動画像符号化装置について説明する。本実施の形態３は、実施の形態１にかかる動画像符号化装置と、レート制御部１０２の制御方式のみが異なり、その構成は図１に示したものと同様である。以下、本実施の形態３に係る動画像符号化装置のレート制御部１０２のレート制御方式について詳細に説明する。
【００６３】
音声符号化部１００３が出力する符号化音声レートをＲａ［ｂｐｓ］、パケットのサイズをＰｋＳｚ［ｂｉｔ］、パケットヘッダー部のサイズをＰｋＨｄＳｚ［ｂｉｔ］、映像フレームの周期をＴｖｆ［ｓｅｃ］とすると、記録媒体に記録されるオーディオパケットのデータ量は、式（４−１）により求まる。
ＰｋＳｚ×Ｒａ×Ｔ／（ＰｋＳｚ−ＰｋＨｄＳｚ） （４−１）
【００６４】
そして、記録媒体の容量Ｖｏｌ［ｂｉｔ］からオーディオパケットのデータ量を減じた値がビデオパケットのデータ量になる。この値は、式（４−２）より求まる。
Ｖｏｌ−ＰｋＳｚ×Ｒａ×Ｔ／（ＰｋＳｚ−ＰｋＨｄＳｚ） （４−２）
【００６５】
式（４−２）からビデオパケットのヘッダー部のデータ量を減じた値は式（４−３）より求まる。
ＶｏｌＶ＝（Ｖｏｌ−ＰｋＳｚ×Ｒａ×Ｔ／（ＰｋＨｄＳｚ−ＰｋＨｄＳｚ））×（ＰｋＳｚ−ＰｋＨｄＳｚ）／ＰｋＨｄＳｚ （４−３）
すなわち、記録媒体に記録される符号化映像データ及びパディングデータ量の総和はＶｏｌＶ［ｂｉｔ］となる。
【００６６】
ビデオレートは、ビデオフレームの終端データをビデオパケットに多重する毎に決定する。ここで、ｋフレームを多重するときに決定するビデオレートをＲｖ［ｋ］［ｂｐｓ］とし、ビデオレートの初期値Ｒｖ［０］とする。初期値Ｒｖ［０］は、式（４−４）により求まる。
Ｒｖ［０］＝（ＶｏｌＶ−ＶｏｌＰａｄＭｅａｎ）／Ｔ （４−４）
【００６７】
ＶｏｌＰａｄＭｅａｎ［ｂｉｔ］はフレーム毎に多重されるパディングデータ量が式（４−５）で求まる値と仮定したときに記録媒体に記録されるパディングデータ量の総和である。また、式（４−５）はフレーム毎に多重されるパディングデータ量の平均値である。
（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２ （４−５）
【００６８】
式（４−５）より、ＶｏｌＰａｄＭｅａｎ［ｂｉｔ］は式（４−６）と表せる。
ＶｏｌＰａｄＭｅａｎ＝（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２×Ｋ （４−６）
なお、Ｋは記録媒体に記録されるビデオフレーム数で、式（４−７）により求まる。
Ｋ＝Ｔ／Ｔｖｆ （４−７）
【００６９】
ここで、ｋフレームまでに記録媒体に記録した符号化映像データ量及びパディングデータ量の総和をＧ［ｋ］［ｂｉｔ］とすると、Ｒｖ［ｋ］［ｂｐｓ］は不等式（４−８）を満たすように決定すれば良い。
Ｒｖ［ｋ］≦（ＶｏｌＶ−Ｇ［ｋ］）−（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２×（Ｋ−ｋ） （４−８）
【００７０】
しかし、通常は、画質がより良くなるように、式（４−８）を満たす最大ビデオレートで符号化映像データを符号化する。よって、ビデオレートＲｖ［ｋ］は式（４−９）により求める。
Ｒｖ［ｋ］＝（ＶｏｌＶ−Ｇ［ｋ］）−（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２×（Ｋ−ｋ） （４−９）
【００７１】
ただし、式（４−１０）を満たす場合は、ビデオレートをＲｖ［ｋ］＝Ｒｖ［０］とする。
Ｒｖ［０］ ＜Ｒｖ［ｋ］≦ＲｖＴｈ２ （４−１０）
なお、ＲｖＴｈ２［ｂｐｓ］はＲｖ［０］［ｂｐｓ］以上の任意のしきい値である。
【００７２】
このように、ビデオレートを決定すると、フレーム毎に多重されるパディングデータ量が式（４−５）で求まる値であった場合、Ｒｖ［ｋ］はすべてＲｖ［０］となる。一方、Ｇ［ｋ］［ｂｉｔ］に含まれるパディングデータ量の総和が（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２×ｋより多い場合は、Ｒｖ［ｋ］はＲｖ［０］より低く設定される。反対に、Ｇ（ｋ）［ｂｉｔ］に含まれるパディングデータ量の総和が、（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２×ｋより少ない場合で、かつ、式（４−９）においてＲｖ［ｋ］がＲｖＴｈ２以下になるような値である場合は、Ｒｖ［ｋ］ はすべてＲｖ［０］となる。さらに、Ｇ（ｋ）［ｂｉｔ］に含まれるパディングデータ量の総和が、（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２×ｋより少ない場合で、かつ、式（４−９）においてＲｖ［ｋ］がＲｖＴｈ２より大きくなるような値である場合は、Ｒｖ［ｋ］はＲｖ［０］より高く設定されることになる。
【００７３】
すなわち、レート制御部１０２は、フレーム毎に多重されるパディングデータ量が任意のしきい値である（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２であった場合、現フレームのビデオレートを任意のしきい値である前記初期値Ｒｖ［０］になるようにする。さらに、レート制御部１０２は、多重部１０１がパディングデータを多重する毎に、多重したパディングデータ量から（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２を減じた値を累積加算し、その累積加算値が、負の値で、かつ、ビデオレートが任意のしきい値ＲｖＴｈ２以下になるような値の場合は、現フレームのビデオレートを前記初期値Ｒｖ［０］とし、前記累積加算値が、負の値で、かつ、ビデオレートがＲｖＴｈ２より大きくなるような値の場合は、現フレームのビデオレートを前記初期値Ｒｖ［０］より高くなるように、ビデオレートを制御する。さらに、前記累積加算値が正の場合は現フレームのビデオレートを前記初期値Ｒｖ［０］より低くなるように、ビデオレートを制御する。
【００７４】
以上のことから、実施の形態３に係る動画像符号化装置では、以下に示す効果が得られる。実施の形態１に係る動画像符号化装置では、ビデオレートを高くなる方向にしか制御することができなかった。そのため、録画の先頭から徐々に画質が良くなるといった、視覚的に好ましくない状態になる可能性があった。これに対して、実施の形態３に係る動画像符号化装置では、パディングデータ量に応じて、ビデオレートを初期値Ｒｖ［０］を中心に変動するよう制御できる。すなわち、録画の先頭から徐々に画質が良くなるといった、視覚的に好ましくない状態を回避することができる。さらに、ビデオレートを高くする制御に上限を設けることから、ビデオレートがＲｖ［０］より低くなりにくくなるので、画質の極端な劣化を抑えることができる。
【００７５】
（実施の形態４）
以下に、本発明の実施の形態４に係る動画像符号化装置について説明する。本実施の形態４に係る動画像符号化装置は、実施の形態１に係る動画像符号化装置と、レート制御部１０２の制御方式のみが異なり、その構成は図１に示したものと同様である。以下、本実施の形態４に係る動画像符号化装置のレート制御部１０２のレート制御方式について詳細に説明する。
【００７６】
多重部１０１でｋ番目のフレームの終端データをパケットに多重したとする。このとき、レート制御部１０２は、多重部１０１で多重されたパディングデータ量の総和（ＰａｄＳｕｍ（ｋ）［ｂｉｔ］）を計算する。そして、フレーム毎に多重されるパディングデータ量がその平均値であったと仮定したときに算出されるパディングデータ量の総和｛（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２×ｋ｝を期待値とし、この期待値と、多重部１０１で実際に多重されたパディングデータ量の総和ＰａｄＳｕｍ（ｋ）［ｂｉｔ］とを比較する。そして、ＰａｄＳｕｍ（ｋ）［ｂｉｔ］ ＞（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２×ｋの場合は、実施の形態２に係る動画像符号化装置のレート制御部１０２と同じ計算方法でビデオレートを決定する。一方、ＰａｄＳｕｍ（ｋ）［ｂｉｔ］ ≦（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２×ｋの場合は、ビデオレートＲｖ（ｋ）を先頭フレームのビデオレートＲｖ（０）と同じ値にする
【００７７】
以上のように、本発明の実施の形態４に係る動画像符号化装置は、フレームの終端データをパケットに多重するときに、それまでに実際にパディングしたパディングデータ量の総和が、フレーム毎に多重されるパディングデータ量がその平均値であった場合に予測されるパディングデータ量の総和以下のとき、ビデオレートをＲｖ（０）に設定するようにした。これにより、符号化処理の前半においてパディングデータ量が少なく、符号化処理の後半においてパディングデータ量が多い場合でも、符号化処理の前半でビデオレートの上昇を抑えるように制御することができる。その結果、パディングデータ量の偏りが原因で生じるビデオレートの変動を抑えることができ、符号化映像データを復号化した際に得られる画像の画質劣化を抑えることができる。
【００７８】
（実施の形態５）
以下に、本発明の実施の形態５に係る動画像符号化装置について図２を用いて説明する。本発明の実施の形態５に係る動画像符号化装置は、実施の形態１に係る動画像符号化装置と、多重部がレート制御部１０２の制御に基づいて動作する点で異なる。以下、本実施の形態５に係る動画像符号化装置の多重部２０１の動作について説明する。
【００７９】
多重部１０１でｋ番目のフレームの終端データをパケットに多重したとする。このとき、レート制御部１０２は、多重部１０１で多重されたパディングデータ量の総和ＰａｄＳｕｍ（ｋ）［ｂｉｔ］を計算する。そして、フレーム毎に多重されるパディングデータ量がその平均値であったと仮定したときに算出されるパディングデータ量の総和｛（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２×ｋ｝を期待値とし、この期待値と、多重部１０１で実際に多重されたパディングデータ量の総和ＰａｄＳｕｍ（ｋ）［ｂｉｔ］とを比較する。そして、ＰａｄＳｕｍ（ｋ）［ｂｉｔ］ ≦（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２×ｋの場合は、従来の技術で説明した動画像符号化装置の多重部１０１と同じ動作をするように多重部２０１を制御する。一方、ＰａｄＳｕｍ（ｋ）［ｂｉｔ］ ＞（ＰｋＳｚ−ＰｋＨｄＳｚ−１）／２×ｋの場合は、パディング動作を行わないように多重部２０１を制御する。多重部２０１は、レート制御部１０２の制御に基づいて、符号化データを多重する。
【００８０】
以上のように、本発明の実施の形態５に係る動画像符号化装置は、フレームの終端データをパケットに多重するときに、これまでに実際にパディングしたパディングデータ量の総和より、フレーム毎に多重されるパディングデータ量がその平均値であった場合に予測されるパディングデータ量の総和が多いとき、パディングデータを多重しないようにする。これにより、多重部の出力データの増加を抑えることができる。その結果、ビデオレートを必要以上に低く設定することを防ぐことができ、符号化映像データを復号化した際に得られる画像の画質劣化を抑えることができる。
【００８１】
（実施の形態６）
次に、本発明の実施の形態６に係る動画像復号化システムについて説明する。
図３は、本発明の実施の形態６に係る動画像復号化システムの一例を示すブロック図である。図３において、動画像復号化システムは、映像データ出力装置７０１と、音声データ出力装置７０２と、動画像符号化装置７０３と、出力バッファ７０４と、伝送路７０５と、入力バッファ７０６と、動画像復号化装置７０７と、映像データ再生装置７０８と、音声データ再生装置７０９とを備えている。なお、映像データ出力装置７０１と、音声データ出力装置７０２と、動画像符号化装置７０３と、出力バッファ７０４とは送信側に設けられており、入力バッファ７０６と、動画像復号化装置７０７と、映像データ再生装置７０８と、音声データ再生装置７０９とは受信側に設けられる。また、動画像符号化装置７０３は、実施の形態１〜５のいずれかで説明した動画像符号化装置である。
【００８２】
次に、本発明の実施の形態６に係る動画像復号化システムの動作について説明する。映像データ出力装置７０１は映像データを動画像符号化装置７０３に出力する。音声データ出力装置７０２は音声データを動画像符号化装置７０３に出力する。動画像符号化装置７０３は、動画像復号化装置７０７のデコーダモデルを考慮して映像データ及び音声データを符号化して多重し、多重データを出力バッファ８０４に出力する。出力バッファ７０４は多重データを所定のビットレートに変換して伝送路７０５に出力する。多重データは伝送路７０５を介して送信側から受信側の入力バッファ７０６に伝送される。
【００８３】
受信側において、入力バッファ７０６は、動画像復号化装置７０７の要求に応じて、伝送路７０５から伝送される多重データのうちの復号化する多重データを、動画像復号化装置７０７に出力する。動画像復号化装置７０７は、多重データを符号化映像データと符号化音声データとに分離した後、符号化映像データを映像データに復号化し、符号化音声データを音声データに復号化する。そして、映像データを映像データ再生装置７０８に、音声データを音声データ再生装置７０９に出力する。映像データ再生装置７０８は復号化された映像データを再生する。音声データ再生装置７０９は復号化された音声データを再生する。
【００８４】
以上のように本実施の形態６に係る動画像復号化システムは、本実施の形態１〜５に記載のいずれかの動画像符号化装置で、符号化され後、多重された映像データと音声データとを伝送路を介して伝送することができ、さらに、伝送された多重データを動画像復号装置で復号化することができる。
【００８５】
（実施の形態７）
次に、本発明の実施の形態７に係る動画像復号化システムについて説明する。
図４は、本発明の実施の形態７に係る動画像復号化システムの符号化処理ユニットの一例を示すブロック図である。図４に示すように、動画像復号化システムの符号化処理ユニットは、映像データ出力装置７０１と、音声データ出力装置７０２と、動画像符号化装置７０３と、出力バッファ７０４と、記録媒体８０１とを備えている。
【００８６】
映像データ出力装置７０１は、映像データを動画像符号化装置７０３に出力する。音声データ出力装置は、音声データを動画像符号化装置７０３に出力する。
【００８７】
動画像符号化装置７０３は、前記実施の形態１〜５のいずれかで説明した動画像符号化装置であり、動画像復号化装置７０７（デコーダモデル）を考慮して映像データ及び音声データを符号化した後、多重し、多重データを出力バッファ７０４に出力する。出力バッファ７０４は、多重データを所定の記録媒体への記録に適したビットレートに変換して記録媒体８０１に出力する。記録媒体８０１は、メモリ、磁気ディスク、光ディスク等の記録媒体であり、出力バッファ７０４が出力する多重データを記録する。
【００８８】
図５は、本発明の実施の形態６に係る動画像復号化システムの復号化処理ユニットの一例を示すブロック図である。図５において、動画像復号化システムの復号化処理ユニットは、読み出し部８０２と、入力バッファ７０６と、動画像復号化装置７０７と、映像データ再生装置７０８と、音声データ再生装置７０９とを備えている。
【００８９】
読み出し部８０２は、記録媒体８０１に記録された多重データを読み出し、入力バッファ７０６に出力する。入力バッファ７０６は、動画像復号化装置７０７の要求に応じて、読み出し部８０２が読み出した多重データのうちの復号化する多重データを動画像復号化装置７０７に出力する。動画像復号化装置７０７は、多重データを符号化映像データと符号化音声データに分離し、その後、符号化映像データを映像データに、符号化音声データを音声データに復号化する。そして、映像データを映像データ再生装置７０８に、音声データを音声データ再生装置７０９に出力する。映像データ再生装置７０８は復号化された映像データを再生する。音声データ再生装置７０９は復号化された音声データを再生する。
【００９０】
以上のように、本実施の形態６による動画像復号化システムによれば、実施の形態１〜５に記載のいずれかの動画像符号化装置で、符号化された後、多重された映像データ及び音声データを記録媒体に記録し、その記録媒体に記録された多重データを読み出して動画像復号化装置で復号化することができる。
【００９１】
【発明の効果】
以上のように、本発明の請求項１に記載の動画像符号化装置は、複数のフレームから構成される映像データを符号化映像データに符号化する映像符号化部と、前記映像符号化部が出力する符号化映像データを固定長のパケットに多重するととともに、フレーム毎に、フレームの終端データが多重される固定長パケットが前記フレームの終端データで満たなかった場合に、パディングデータを多重する多重部と、前記多重部が１フレーム分の前記符号化映像データを多重する毎に、前記符号化映像データのレートを決定するレート制御部と、を備えることを特徴とする。これにより、前記多重部で多重されるパディングデータ量に基づいてビデオレートを設定するため、必要以上にビデオレートを下げることなく、記録媒体に所望の時間分の映像データを記録することができる。その結果、符号化映像データを復号化した際に得られる画像の画質劣化を抑えることができる。
【００９２】
また、本発明の請求項２に記載の動画像符号化装置は、請求項１記載の動画像符号化装置において、前記レート制御部は、前記多重部がパディングデータを多重する毎に、パディングデータ量から任意のしきい値を減じた値を累積加算し、その累積加算値が、負の場合は現フレームの符号化映像データのレートよりその直後のフレームの符号化映像データのレートが高くなるように、正の場合は現フレームの符号化映像データのレートよりその直後のフレームの符号化映像データのレートが低くなるように、前記符号化映像データのレートを制御し、前記任意のしきい値は、フレーム毎に多重されるパディングデータ量の最小値より大きく、かつ、最大値より小さい値であることを特徴とする。これにより、符号化映像データのレートを、概ね、先頭フレームのビデオレートの前後で遷移させることができる。その結果、偏ったレート制御にならないようにすることができる。即ち、録画の先頭から徐々に画質が良くなるといった、視覚的に好ましくない状態を回避することができる。
【００９３】
また、本発明の請求項３に記載の動画像符号化装置は、請求項１記載の動画像符号化装置において、前記レート制御部は、前記多重部がパディングデータを多重する毎に、多重したパディングデータ量から第１のしきい値を減じた値を累積加算し、その累積加算値が、負の値で、かつ、前記符号化映像データのレートが第３のしきい値より大きく、かつ、第２のしきい値以下になるような値の場合は、現フレームの符号化映像データのレートを第３のしきい値とし、前記累積加算値が、負の値で、かつ、前記符号化映像データのレートが第２のしきい値より大きくなるような値の場合は、現フレームの符号化映像データのレートを第２のしきい値より大きくなるように、前記累積加算値が正の場合は現フレームの符号化映像データのレートよりその直後のフレームの符号化映像データのレートが低くなるように、前記符号化映像データのレートを制御し、前記第１のしきい値はフレーム毎に多重されるパディングデータ量の平均値であり、前記第２のしきい値は前記第３のしきい値より大きく、かつ、フレーム毎に多重されるパディングデータ量が０であると仮定したときに算出される前記符号化映像データのレートより小さい任意の値であり、前記第３のしきい値は、フレーム毎に多重されるパディングデータ量がすべてその平均値であると仮定したときに算出される前記符号化映像データのレートであることを特徴とする。これにより、パディングデータ量に応じて、ビデオレートを前記第３のしきい値を中心に変動するよう制御できることから、録画の先頭から徐々に画質がよくなるといった視覚的に好ましくない状態を回避できる。さらに、ビデオレートを高くする制御に上限を設けることから、ビデオレート低くなり過ぎるのを抑えることができ、符号化映像データを復号化した際に得られる画像の画質劣化を抑えることができる。
【００９４】
また、請求項４に係る動画像符号化装置は、請求項２記載の動画像符号化装置において、前記レート制御部は、前記多重部がパディングデータを多重する毎に、フレーム毎に多重されたパディングデータ量を累積加算した累積加算値と、フレーム毎に多重されるパディングデータ量がその平均値であると仮定して該平均値を累積加算した値である期待値とを算出し、前記累積加算値が前記期待値以下の場合は、現フレームの符号化映像データのレートを先頭フレームの符号化映像データのレートと同じ値になるように制御する。これにより、符号化処理の前半においてパディングデータ量が少なく、符号化処理の後半においてパディングデータ量が多い場合でも、符号化処理の前半でビデオレートの上昇を抑えるように制御することができる。その結果、パディングデータのデータ量の偏りが原因で生じる符号化映像データのレートの変動を抑えることができ、符号化映像データを復号化した際に得られる画像の画質劣化を抑えることができる。
【００９５】
また、本発明の請求項５に係る動画像符号化装置は、請求項１記載の動画像符号化装置において、前記レート制御部は、前記多重部がパディングデータを多重する毎に、フレーム毎に多重されたパディングデータ量を累積加算した累積加算値と、フレーム毎に多重されるパディングデータ量がその平均値であると仮定して該平均値を累積加算した値である期待値とを算出し、前記累積加算値が前記期待値より大きい場合は、前記多重部がパディングデータを多重しないように制御することを特徴とする。これにより、多重部の出力データの増加を抑えることができる。その結果、ビデオレートを必要以上に低く設定することを防ぐことができ、符号化映像データを復号化した際に得られる画像の画質劣化を抑えることができる。
【００９６】
また、本発明の請求項６に係る動画像符号化装置は、請求項１〜５のいずれかに記載の動画像符号化装置と、前記動画像符号化装置が出力した多重データを入力とし、該多重データを指定されたビットレートで出力する出力バッファと、前記出力バッファが出力する多重データを伝送する伝送路と、前記伝送路を介して伝送される多重データを入力し、復号化する多重データを動画像復号化装置に出力する入力バッファと、前記入力バッファが出力する多重データを復号化する動画像復号化装置と、を備えることを特徴とする。これにより、請求項１〜５のいずれかに記載の動画像符号化装置で、映像データと音声データを符号化した後に多重したデータを、伝送路を介して伝送することができ、さらに、伝送される多重データを、動画像復号化装置で復号化した後、映像データと音声データとに再生することができる。
【００９７】
また、本発明の請求項７に係る動画像符号化装置は、請求項１〜５のいずれかに記載の動画像符号化装置と、前記動画像符号化装置が出力した多重データを入力とし、該多重データを指定されたビットレートで出力する出力バッファと、前記出力バッファが出力する多重データを記録媒体に記録する記録媒体と、前記記録媒体に記録された多重データを読み出す読み出し部と、前記読み出し部が読み出した多重データを入力し、復号化する多重データを動画像復号化装置に出力する入力バッファと、前記入力バッファが出力する多重データを復号化する動画像復号化装置と、を備えることを特徴とする。これにより、請求項１〜５のいずれかに記載の動画像符号化装置で映像データと音声データを符号化した後に多重したデータを記録媒体に記録することができ、さらに、当該記録媒体に記録された多重データを読み出して動画像復号化装置で復号化した後、映像データと音声データとに再生することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１〜４に係る動画像符号化装置の構成例を示すブロック図である。
【図２】本発明の実施の形態５に係る動画像符号化装置の構成例を示すブロック図である。
【図３】本発明の実施の形態６に係る動画像復号化システムの一例を示すブロック図である。
【図４】本発明の実施の形態７に係る動画像復号化システムの符号化処理ユニットの一例を示すブロック図である。
【図５】本発明の実施の形態７に係る動画像復号化システムの復号化処理ユニットの一例を示すブロック図である
【図６】従来の動画像符号化装置の構成例を示すブロック図である。
【図７】従来の動画像符号化装置が備える多重部の動作を説明するための図である。
【符号の説明】
１０１，１００５ 多重部
１０２ レート制御部
１０３，１００１ 映像符号化部
１００２ 映像記憶部
１００３ 音声符号化部
１００４ 音声記憶部
１００６ 多重制御部
７０１ 映像データ出力装置
７０２ 音声データ出力装置
７０３ 動画像符号化装置
７０４ 出力バッファ
７０５ 伝送路
７０６ 入力バッファ
７０７ 動画像復号化装置
７０８ 映像データ再生装置
７０９ 音声データ再生装置
８０１ 記録媒体
８０２ 読み出し部
Claims (7)
- 複数のフレームから構成される映像データを符号化映像データに符号化する映像符号化部と、
前記映像符号化部が出力する符号化映像データを固定長のパケットに多重するとともに、フレーム毎に、フレームの終端データが多重される固定長パケットが前記フレームの終端データで満たなかった場合にパディングデータを多重する多重部と、
前記多重部が１フレーム分の前記符号化映像データを多重する毎に、前記符号化映像データのレートを決定するレート制御部と、を備えることを特徴とする動画像符号化装置。 - 請求項１記載の動画像符号化装置において、
前記レート制御部は、前記多重部がパディングデータを多重する毎に、多重したパディングデータ量から任意のしきい値を減じた値を累積加算し、その累積加算値が負の場合は現フレームの符号化映像データのレートよりその直後のフレームの符号化映像データのレートが高くなるように、前記累積加算値が正の場合は現フレームの符号化映像データのレートよりその直後のフレームの符号化映像データのレートが低くなるように、前記符号化映像データのレートを制御し、
前記任意のしきい値は、フレーム毎に多重されるパディングデータ量の最小値より大きく、かつ、最大値より小さい値であることを特徴とする動画像符号化装置。 - 請求項１記載の動画像符号化装置において、
前記レート制御部は、前記多重部がパディングデータを多重する毎に、多重したパディングデータ量から第１のしきい値を減じた値を累積加算し、その累積加算値が、負の値で、かつ、前記符号化映像データのレートが第３のしきい値より大きく、かつ、第２のしきい値以下になるような値の場合は、現フレームの符号化映像データのレートを第３のしきい値とし、前記累積加算値が、負の値で、かつ、前記符号化映像データのレートが第２のしきい値より大きくなるような値の場合は、現フレームの符号化映像データのレートを第２のしきい値より高くなるように、前記累積加算値が正の場合は現フレームの符号化映像データのレートよりその直後のフレームの符号化映像データのレートが低くなるように、前記符号化映像データのレートを制御し、
前記第１のしきい値はフレーム毎に多重されるパディングデータ量の平均値であり、
前記第２のしきい値は前記第３のしきい値より大きく、かつ、フレーム毎に多重されるパディングデータ量が０であると仮定したときに算出される前記符号化映像データのレートより小さい任意の値であり、
前記第３のしきい値は、フレーム毎に多重されるパディングデータ量がすべてその平均値であると仮定したときに算出される前記符号化映像データのレートであることを特徴とする動画像符号化装置。 - 請求項２記載の動画像符号化装置において、
前記レート制御部は、前記多重部がパディングデータを多重する毎に、フレーム毎に多重されたパディングデータ量を累積加算した累積加算値と、フレーム毎に多重されるパディングデータ量がその平均値であると仮定して該平均値を累積加算した値である期待値とを算出し、前記累積加算値が前記期待値以下の場合は、現フレームの符号化映像データのレートを先頭フレームの符号化映像データのレートと同じ値になるように制御することを特徴とする動画像符号化装置。 - 請求項１記載の動画像符号化装置において、
前記レート制御部は、前記多重部がパディングデータを多重する毎に、フレーム毎に多重されたパディングデータ量を累積加算した累積加算値と、フレーム毎に多重されるパディングデータ量がその平均値であると仮定して該平均値を累積加算した値である期待値とを算出し、前記累積加算値が前記期待値より大きい場合は、前記多重部がパディングデータを多重しないように制御することを特徴とする動画像符号化装置。 - 請求項１〜５のいずれかに記載の動画像符号化装置と、
前記動画像符号化装置が出力した多重データを入力とし、該多重データを指定されたビットレートで出力する出力バッファと、
前記出力バッファが出力する多重データを伝送する伝送路と、
前記伝送路を介して伝送される多重データを入力し、復号化する多重データを動画像復号化装置に出力する入力バッファと、
前記入力バッファが出力する多重データを復号化する動画像復号化装置と、を備えることを特徴とする動画像復号化システム。 - 請求項１〜５のいずれかに記載の動画像符号化装置と、
前記動画像符号化装置が出力した多重データを入力とし、該多重データを指定されたビットレートで出力する出力バッファと、
前記出力バッファが出力する多重データを記録媒体に記録する記録媒体と、
前記記録媒体に記録された多重データを読み出す読み出し部と、
前記読み出し部が読み出した多重データを入力し、復号化する多重データを動画像復号化装置に出力する入力バッファと、
前記入力バッファが出力する多重データを復号化する動画像復号化装置と、を備えることを特徴とする動画像復号化システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003158456A JP2004363820A (ja) | 2003-06-03 | 2003-06-03 | 動画像符号化装置及び動画像復号化システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003158456A JP2004363820A (ja) | 2003-06-03 | 2003-06-03 | 動画像符号化装置及び動画像復号化システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004363820A true JP2004363820A (ja) | 2004-12-24 |
Family
ID=34051857
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003158456A Pending JP2004363820A (ja) | 2003-06-03 | 2003-06-03 | 動画像符号化装置及び動画像復号化システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004363820A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101120590B (zh) * | 2005-02-18 | 2010-10-13 | 皇家飞利浦电子股份有限公司 | 现场提交数字信号的方法 |
-
2003
- 2003-06-03 JP JP2003158456A patent/JP2004363820A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101120590B (zh) * | 2005-02-18 | 2010-10-13 | 皇家飞利浦电子股份有限公司 | 现场提交数字信号的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100330292B1 (ko) | 데이타 기록 매체 | |
| JP5536811B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| US6327421B1 (en) | Multiple speed fast forward/rewind compressed video delivery system | |
| CN100521791C (zh) | 图像处理设备和图像处理方法 | |
| JPH06261303A (ja) | 画像信号符号化方法、復号化方法および画像信号記録媒体 | |
| JP3594409B2 (ja) | Ｍｐｅｇオーディオ再生装置およびｍｐｅｇ再生装置 | |
| US7333711B2 (en) | Data distribution apparatus and method, and data distribution system | |
| US20090129759A1 (en) | Format Converter, Format Conversion Method and Moving Picture Decoding System | |
| US20110013702A1 (en) | Data-rate adjusting device, data feeding system, and computer-readable medium | |
| JP4091582B2 (ja) | 動画像符号化装置、及び動画像符号化方法 | |
| JP3551447B2 (ja) | データ符号化装置および方法、データ復号化装置および方法 | |
| JP2004363820A (ja) | 動画像符号化装置及び動画像復号化システム | |
| US20010050954A1 (en) | Variable bit rate video encoding method and device | |
| US20030083864A1 (en) | File creating method and data reproduction method | |
| JP5428614B2 (ja) | 編集装置、編集方法、およびプログラム | |
| JP3582530B2 (ja) | 記録装置および方法、再生装置および方法 | |
| JP3589241B2 (ja) | データ符号化装置および方法、データ復号化装置および方法 | |
| JP3651479B2 (ja) | 記録媒体へのビデオデータの記録方法、ビデオデータを記録した記録媒体の生産方法 | |
| JP3582529B2 (ja) | データ符号化装置および方法、データ復号化装置および方法 | |
| JP2001333427A (ja) | 動画像符号化装置および動画像復号化システム | |
| JP4058437B2 (ja) | 記録媒体 | |
| JP3651480B2 (ja) | 記録媒体へのビデオデータの記録方法、ビデオデータを記録した記録媒体の生産方法 | |
| JP3654300B2 (ja) | データ符号化方法、ビデオデータを記録した記録媒体の生産方法 | |
| JP4191208B2 (ja) | 記録媒体 | |
| JP4191207B2 (ja) | 記録媒体 |