JP2003259305A - 動画像符号化方法、動画像符号化装置、及び、動画像復号化システム - Google Patents
動画像符号化方法、動画像符号化装置、及び、動画像復号化システムInfo
- Publication number
- JP2003259305A JP2003259305A JP2002056350A JP2002056350A JP2003259305A JP 2003259305 A JP2003259305 A JP 2003259305A JP 2002056350 A JP2002056350 A JP 2002056350A JP 2002056350 A JP2002056350 A JP 2002056350A JP 2003259305 A JP2003259305 A JP 2003259305A
- Authority
- JP
- Japan
- Prior art keywords
- data
- video
- encoded
- audio
- storage unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【課題】 動画像符号化装置において符号化したデータ
を多重する際にアクセスポイントを設ける場合には、動
画像復号化装置におけるバッファのオーバーフローを回
避するためにダミーデータである空パケットを挿入する
必要がある場合があり、動画像符号化装置の符号化効率
が低下する問題があった。 【解決手段】 動画像符号化装置の制御部で動画像復号
化装置における映像バッファ及び音声バッファの占有量
を演算し、符号化音声データの音声バッファにおける占
有量が前記音声バッファのメモリサイズより符号化音声
データのフレーム分低くなるように多重部を制御する。
これにより、バッファのオーバーフローを回避するため
にダミーデータである空パケットを挿入する必要がなく
なり、動画像符号化装置の符号化効率の低下が回避でき
る。
を多重する際にアクセスポイントを設ける場合には、動
画像復号化装置におけるバッファのオーバーフローを回
避するためにダミーデータである空パケットを挿入する
必要がある場合があり、動画像符号化装置の符号化効率
が低下する問題があった。 【解決手段】 動画像符号化装置の制御部で動画像復号
化装置における映像バッファ及び音声バッファの占有量
を演算し、符号化音声データの音声バッファにおける占
有量が前記音声バッファのメモリサイズより符号化音声
データのフレーム分低くなるように多重部を制御する。
これにより、バッファのオーバーフローを回避するため
にダミーデータである空パケットを挿入する必要がなく
なり、動画像符号化装置の符号化効率の低下が回避でき
る。
Description
【０００１】
【発明の属する技術分野】本発明は、動画像符号化方
法、動画像符号化装置、および、動画像復号化システム
に関し、特に複数の符号化されたデータを１つの多重デ
ータに多重する方法に関する。
法、動画像符号化装置、および、動画像復号化システム
に関し、特に複数の符号化されたデータを１つの多重デ
ータに多重する方法に関する。
【０００２】
【従来の技術】動画像符号化方法として、例えば、MPEG
２規格(ISO/IEC １３８１２:moving picture coding ex
perts group２)のディジタル符号化データの国際標準フ
ォーマットとその復号方法がある。このMPEG２規格にお
いては、符号化装置により、映像データと音声データを
それぞれ符号化映像データ、符号化音声データに符号化
した後、１つの多重データに多重する。そして、かかる
多重データを復号化装置において、符号化映像データと
符号化音声データを分離し、それぞれを映像データと音
声データに復号する。
２規格(ISO/IEC １３８１２:moving picture coding ex
perts group２)のディジタル符号化データの国際標準フ
ォーマットとその復号方法がある。このMPEG２規格にお
いては、符号化装置により、映像データと音声データを
それぞれ符号化映像データ、符号化音声データに符号化
した後、１つの多重データに多重する。そして、かかる
多重データを復号化装置において、符号化映像データと
符号化音声データを分離し、それぞれを映像データと音
声データに復号する。
【０００３】このようなMPEG２規格の復号化装置のモデ
ルとしては、system target decoder(以下、デコーダモ
デルと言う)が規定されており、符号化装置では、この
デコーダモデルで正しく復号できる多重データを生成す
ることが求められている。
ルとしては、system target decoder(以下、デコーダモ
デルと言う)が規定されており、符号化装置では、この
デコーダモデルで正しく復号できる多重データを生成す
ることが求められている。
【０００４】以下、図１１、１２を用いて従来の動画像
符号化装置について説明する。図１１は従来の動画像符
号化装置の構成を示すブロック図である。図１１におい
て、動画像符号化装置は、映像符号化部１１０１と、映
像記憶部１１０２と、音声符号化部１１０３と、音声記
憶部１１０４と、多重部１１０５と、制御部１１０６と
からなる。
符号化装置について説明する。図１１は従来の動画像符
号化装置の構成を示すブロック図である。図１１におい
て、動画像符号化装置は、映像符号化部１１０１と、映
像記憶部１１０２と、音声符号化部１１０３と、音声記
憶部１１０４と、多重部１１０５と、制御部１１０６と
からなる。
【０００５】映像符号化部１１０１は、映像データを符
号化映像データに符号化する。映像記憶部１１０２は、
映像符号化部１１０１で符号化された符号化映像データ
を記憶する。音声符号化部１１０３は、音声データを符
号化音声データに符号化する。音声記憶部１１０４は、
音声符号化部１１０３で符号化された符号化音声データ
を記憶する。多重部１１０５は、制御部１１０６の制御
に基づいて、映像記憶部１１０２に記録されている符号
化映像データと音声記憶部１１０４に記録されている符
号化音声データを多重データに多重する。制御部１１０
６は、映像符号化部１１０１で符号化された符号化映像
データのデータ量と映像符号化部１１０３で符号化され
た符号化音声データのデータ量に基づいて、多重部１１
０５の多重動作を制御する。
号化映像データに符号化する。映像記憶部１１０２は、
映像符号化部１１０１で符号化された符号化映像データ
を記憶する。音声符号化部１１０３は、音声データを符
号化音声データに符号化する。音声記憶部１１０４は、
音声符号化部１１０３で符号化された符号化音声データ
を記憶する。多重部１１０５は、制御部１１０６の制御
に基づいて、映像記憶部１１０２に記録されている符号
化映像データと音声記憶部１１０４に記録されている符
号化音声データを多重データに多重する。制御部１１０
６は、映像符号化部１１０１で符号化された符号化映像
データのデータ量と映像符号化部１１０３で符号化され
た符号化音声データのデータ量に基づいて、多重部１１
０５の多重動作を制御する。
【０００６】図１２は、制御部１１０６による多重部１
１０５の制御について説明する説明図である。図１２
(ａ)は映像符号化部１１０１で符号化された符号化映像
データを示す。この符号化映像データは、フレームFVn
(nは整数)からなり、FV０から図１２（ａ）に示す順に
映像記憶部１１０２に入力される。図１２(ｂ)は音声符
号化部１１０３で符号化された符号化音声データを示
す。この符号化音声データは、フレームFAm(mは整数)か
らなり、FA０から図１２（ｂ）に示す順で音声記憶部１
１０４に入力される。図１２(ｃ)は、制御部１１０６の
制御に基づいて、多重部１１０５が多重した符号化映像
データまたは符号化音声データを示す。なお、図１２
(ｃ)のPkp(pは整数)は、パケットを示し、Pk０から図の
順で出力される。また、図１２（ｃ）において、網掛け
のあるパケットPk１とパケットPk６のペイロードには符
号化音声データが、網掛けのないパケットのペイロード
には符号化映像データが多重されている。
１０５の制御について説明する説明図である。図１２
(ａ)は映像符号化部１１０１で符号化された符号化映像
データを示す。この符号化映像データは、フレームFVn
(nは整数)からなり、FV０から図１２（ａ）に示す順に
映像記憶部１１０２に入力される。図１２(ｂ)は音声符
号化部１１０３で符号化された符号化音声データを示
す。この符号化音声データは、フレームFAm(mは整数)か
らなり、FA０から図１２（ｂ）に示す順で音声記憶部１
１０４に入力される。図１２(ｃ)は、制御部１１０６の
制御に基づいて、多重部１１０５が多重した符号化映像
データまたは符号化音声データを示す。なお、図１２
(ｃ)のPkp(pは整数)は、パケットを示し、Pk０から図の
順で出力される。また、図１２（ｃ）において、網掛け
のあるパケットPk１とパケットPk６のペイロードには符
号化音声データが、網掛けのないパケットのペイロード
には符号化映像データが多重されている。
【０００７】図１２(ｄ)、図１２（ｅ）は、それぞれ図
１２(ｃ)に示すパケットPk１、Pk６の構成を示したもの
である。図１２(ｄ)、図１２（ｅ）に示すように、パケ
ットは、ヘッダーとペイロードから構成され、ペイロー
ドには符号化音声データが多重されている。そして、図
１２（ｄ）に示すPk１のペイロードには図１２(ｂ)に示
す符号化音声データのフレームFA６の全部とFA７の一部
が多重されており、図１２（ｅ）に示すPk６のペイロー
ドには図１２(ｂ)に示す符号化音声データのフレームFA
７、FA９の一部とFA８の全部が多重されている。
１２(ｃ)に示すパケットPk１、Pk６の構成を示したもの
である。図１２(ｄ)、図１２（ｅ）に示すように、パケ
ットは、ヘッダーとペイロードから構成され、ペイロー
ドには符号化音声データが多重されている。そして、図
１２（ｄ）に示すPk１のペイロードには図１２(ｂ)に示
す符号化音声データのフレームFA６の全部とFA７の一部
が多重されており、図１２（ｅ）に示すPk６のペイロー
ドには図１２(ｂ)に示す符号化音声データのフレームFA
７、FA９の一部とFA８の全部が多重されている。
【０００８】なお、このように、一つのパケットに多重
される符号化データの種類とデータ量は、符号化データ
の復号を行うデコーダモデルが復号化を行うことができ
るように動画像符号化装置の制御部１１０６によって決
定される。次に、図１３を用いて動画像符号化装置によ
り多重化されたデータを復号するデコーダモデルについ
て説明する。図１３はデコーダモデルの構成を示したブ
ロック図である。図１３において、デコーダモデルは、
分離部１３０１と、符号化映像記憶部１３０２と、映像
復号化部１３０３と、符号化音声記憶部１３０４と、音
声復号化部１３０５とからなる。
される符号化データの種類とデータ量は、符号化データ
の復号を行うデコーダモデルが復号化を行うことができ
るように動画像符号化装置の制御部１１０６によって決
定される。次に、図１３を用いて動画像符号化装置によ
り多重化されたデータを復号するデコーダモデルについ
て説明する。図１３はデコーダモデルの構成を示したブ
ロック図である。図１３において、デコーダモデルは、
分離部１３０１と、符号化映像記憶部１３０２と、映像
復号化部１３０３と、符号化音声記憶部１３０４と、音
声復号化部１３０５とからなる。
【０００９】分離部１３０１は、入力したパケットに符
号化映像データが多重されている場合は、そのパケット
のペイロードに多重されている符号化映像データを符号
化映像記憶部１３０２に出力する。また、入力したパケ
ットに符号化音声データが多重されている場合は、その
パケットのペイロードに多重されている符号化音声デー
タを符号化音声記憶部１３０４に出力する。映像復号化
部１３０３は、映像データのフレーム周期で符号化映像
記憶部１３０２より１フレーム分の符号化映像データを
入力し、映像データに復号する。音声復号化部１３０５
は、音声データのフレーム周期で符号化音声記憶部１３
０４より１フレーム分の符号化音声データを入力し、音
声データに復号する。
号化映像データが多重されている場合は、そのパケット
のペイロードに多重されている符号化映像データを符号
化映像記憶部１３０２に出力する。また、入力したパケ
ットに符号化音声データが多重されている場合は、その
パケットのペイロードに多重されている符号化音声デー
タを符号化音声記憶部１３０４に出力する。映像復号化
部１３０３は、映像データのフレーム周期で符号化映像
記憶部１３０２より１フレーム分の符号化映像データを
入力し、映像データに復号する。音声復号化部１３０５
は、音声データのフレーム周期で符号化音声記憶部１３
０４より１フレーム分の符号化音声データを入力し、音
声データに復号する。
【００１０】次に、図１４を用いてデコーダモデルの符
号化音声記憶部１３０４に記憶される符号化データの遷
移について説明する。図１４(ｂ)は、分離部１３０１に
入力される多重データを示す。ここでは図１２(ｃ)の多
重データと同じものが入力されたとする。なお、図１４
(ｃ)は図１２(ｄ)に示すパケットPk１の構成と同じであ
るので説明を省略する。また、図１４の(ｄ)は図１２の
(ｅ)に示すパケットPk６の構成と同じであるので説明を
省略する。
号化音声記憶部１３０４に記憶される符号化データの遷
移について説明する。図１４(ｂ)は、分離部１３０１に
入力される多重データを示す。ここでは図１２(ｃ)の多
重データと同じものが入力されたとする。なお、図１４
(ｃ)は図１２(ｄ)に示すパケットPk１の構成と同じであ
るので説明を省略する。また、図１４の(ｄ)は図１２の
(ｅ)に示すパケットPk６の構成と同じであるので説明を
省略する。
【００１１】図１４(ａ)は、図１４(ｂ)が示す多重デー
タがデコーダモデルに入力された時の、符号化音声記憶
部１３０４に記憶された符号化データの占有量の遷移を
示したものである。横軸は時間を示し、縦軸が符号化デ
ータの占有量を示す。なお、多重データは所定のビット
レートで入力されるものとする。
タがデコーダモデルに入力された時の、符号化音声記憶
部１３０４に記憶された符号化データの占有量の遷移を
示したものである。横軸は時間を示し、縦軸が符号化デ
ータの占有量を示す。なお、多重データは所定のビット
レートで入力されるものとする。
【００１２】図１４（ａ）において、時間T０で符号化
音声データを含むパケットPk１が入力されると、符号化
音声記憶部１３０４のデータ占有量はペイロードに多重
されている符号化音声データ(フレームFA６の全部とFA
７の一部)のデータ分増加する。そして、時間T１の時
に、フレームFA６が符号化音声記憶部１３０４より音声
復号化部１３０５に出力されたとすると、符号化音声記
憶部１３０４のデータ占有量がフレームFA６分減少す
る。同様に、時間T２でパケットPk６が入力されると、
符号化音声記憶部１３０４のデータ占有量はPk６のペイ
ロードに多重されている符号化音声データ(フレームFA
７、FA９の一部とフレームFA８の全部)のデータ量分増
加し、時間T３でフレームFA７が符号化音声記憶部１３
０４より音声復号化１３０５に出力されると、符号化デ
ータの占有量もフレームFA７分減少する。なお、符号化
音声データのフレームが減少する周期(TA)は、音声デー
タのフレーム周期と一致する。
音声データを含むパケットPk１が入力されると、符号化
音声記憶部１３０４のデータ占有量はペイロードに多重
されている符号化音声データ(フレームFA６の全部とFA
７の一部)のデータ分増加する。そして、時間T１の時
に、フレームFA６が符号化音声記憶部１３０４より音声
復号化部１３０５に出力されたとすると、符号化音声記
憶部１３０４のデータ占有量がフレームFA６分減少す
る。同様に、時間T２でパケットPk６が入力されると、
符号化音声記憶部１３０４のデータ占有量はPk６のペイ
ロードに多重されている符号化音声データ(フレームFA
７、FA９の一部とフレームFA８の全部)のデータ量分増
加し、時間T３でフレームFA７が符号化音声記憶部１３
０４より音声復号化１３０５に出力されると、符号化デ
ータの占有量もフレームFA７分減少する。なお、符号化
音声データのフレームが減少する周期(TA)は、音声デー
タのフレーム周期と一致する。
【００１３】また、このような、符号化音声記憶部１３
０４のデータ占有量の遷移は、符号化映像記憶部１３０
２においても同様に行われる。そして、このように、デ
コードモデルにおいて多重データを復号化する際には、
上述した符号化映像記憶部１３０２、及び符号化音声記
憶部１３０４のデータ占有量が、それぞれの記録容量
（メモリサイズ）を超えたり、マイナスとなったりしな
いようにする必要があり、動画像符号化装置の制御部１
１０６は、多重部１１０５がデータの多重化を行う際
に、一つのパケットに多重する符号化データの種類とデ
ータ量を、デコードモデルにおいて、上述した不都合が
起きないように決定する。
０４のデータ占有量の遷移は、符号化映像記憶部１３０
２においても同様に行われる。そして、このように、デ
コードモデルにおいて多重データを復号化する際には、
上述した符号化映像記憶部１３０２、及び符号化音声記
憶部１３０４のデータ占有量が、それぞれの記録容量
（メモリサイズ）を超えたり、マイナスとなったりしな
いようにする必要があり、動画像符号化装置の制御部１
１０６は、多重部１１０５がデータの多重化を行う際
に、一つのパケットに多重する符号化データの種類とデ
ータ量を、デコードモデルにおいて、上述した不都合が
起きないように決定する。
【００１４】
【発明が解決しようとする課題】次に、アクセスポイン
トについて説明する。動画像符号化装置で符号化された
多重データは一旦、蓄積媒体、例えばDVD-RAMディスク
に記録される。動画像復号化装置では、その蓄積媒体か
ら多重データを入力し復号化することにより、映像デー
タと音声データを再生する。この時、多重データの先頭
だけでなく、その途中から復号化したデータを再生する
ことがある。例えばDVDレコーダの頭だし機能がある。
そのため、多重データは、複数の単位区間から構成さ
れ、任意に単位区間の先頭から復号が開始できるように
なっている。そして、この単位区間の先頭をアクセスポ
イントと言う。
トについて説明する。動画像符号化装置で符号化された
多重データは一旦、蓄積媒体、例えばDVD-RAMディスク
に記録される。動画像復号化装置では、その蓄積媒体か
ら多重データを入力し復号化することにより、映像デー
タと音声データを再生する。この時、多重データの先頭
だけでなく、その途中から復号化したデータを再生する
ことがある。例えばDVDレコーダの頭だし機能がある。
そのため、多重データは、複数の単位区間から構成さ
れ、任意に単位区間の先頭から復号が開始できるように
なっている。そして、この単位区間の先頭をアクセスポ
イントと言う。
【００１５】通常、この単位区間の先頭の符号化映像デ
ータと符号化音声データは、それぞれ、フレームの先頭
から始まっており、また、これらフレームの先頭は、パ
ケットのペイロードの先頭など、常に、パケットのペイ
ロードの先頭から特定の位置に設けられている。そし
て、こうすることにより、任意のアクセスポイントから
復号を開始した場合であっても、容易にフレームの先頭
を見つけることが可能となる。
ータと符号化音声データは、それぞれ、フレームの先頭
から始まっており、また、これらフレームの先頭は、パ
ケットのペイロードの先頭など、常に、パケットのペイ
ロードの先頭から特定の位置に設けられている。そし
て、こうすることにより、任意のアクセスポイントから
復号を開始した場合であっても、容易にフレームの先頭
を見つけることが可能となる。
【００１６】図１５は、多重データにアクセスポイント
を設ける際の動画像符号化装置の多重部１１０５による
多重方法を説明する説明図である。なお、図１５におい
て、図１５（ａ）、図１５（ｂ）は、図１２（ａ）、図
１２（ｂ）と同じものであるため説明を省略する。
を設ける際の動画像符号化装置の多重部１１０５による
多重方法を説明する説明図である。なお、図１５におい
て、図１５（ａ）、図１５（ｂ）は、図１２（ａ）、図
１２（ｂ）と同じものであるため説明を省略する。
【００１７】図１５（ｃ）は、多重部１１０５で多重さ
れた多重データを示す。なお、図１５(ｃ)のPkp(pは整
数)は、パケットを示し、Pk０から図の順で出力され
る。そして、網掛けのあるパケットPk１のペイロードに
は符号化音声データが、網掛けのないパケットのペイロ
ードには符号化映像データがそれぞれ多重されている。
れた多重データを示す。なお、図１５(ｃ)のPkp(pは整
数)は、パケットを示し、Pk０から図の順で出力され
る。そして、網掛けのあるパケットPk１のペイロードに
は符号化音声データが、網掛けのないパケットのペイロ
ードには符号化映像データがそれぞれ多重されている。
【００１８】図１５（ｄ）は、図１５（ｃ）のパケット
Pk１の構成を示したものである。このパケットのペイロ
ードには図１５（ｂ）の符号化音声データのフレームFA
７の一部が含まれている。また、図１５（ｅ）は、図１
５の（ｃ）のパケットPk５の構成を示したものである。
このパケットのペイロードには図１５（ａ）のフレーム
FV１の終端が含まれており、残りのペイロード部分は無
効データからなるパディングデータが多重されている。
Pk１の構成を示したものである。このパケットのペイロ
ードには図１５（ｂ）の符号化音声データのフレームFA
７の一部が含まれている。また、図１５（ｅ）は、図１
５の（ｃ）のパケットPk５の構成を示したものである。
このパケットのペイロードには図１５（ａ）のフレーム
FV１の終端が含まれており、残りのペイロード部分は無
効データからなるパディングデータが多重されている。
【００１９】このパケットPk５の後に、アクセスポイン
トを設けるためには、まだ多重データに多重されていな
い符号化音声データであるフレームFA７の残りのデータ
を多重しなければならない。図１５（ｆ）は、フレーム
FA７の残りのデータを多重したパケットの構成を示す。
そして、図１５（ｃ）でパケットPk５の次に図１５
（ｆ）に示すパケットをパケットPk６として多重した場
合には、次のパケットPk７が上述したアクセスポイント
の条件を満たすことになる。
トを設けるためには、まだ多重データに多重されていな
い符号化音声データであるフレームFA７の残りのデータ
を多重しなければならない。図１５（ｆ）は、フレーム
FA７の残りのデータを多重したパケットの構成を示す。
そして、図１５（ｃ）でパケットPk５の次に図１５
（ｆ）に示すパケットをパケットPk６として多重した場
合には、次のパケットPk７が上述したアクセスポイント
の条件を満たすことになる。
【００２０】これは、パケットPk７以降、図１５（ａ）
に示す符号化映像データがフレームFV２の先頭から多重
されることになるとともに、図１５（ｂ）に示す符号化
音声データがフレームFA８の先頭から多重されることに
なるからである。
に示す符号化映像データがフレームFV２の先頭から多重
されることになるとともに、図１５（ｂ）に示す符号化
音声データがフレームFA８の先頭から多重されることに
なるからである。
【００２１】そして、このような多重データのパケット
Pk５以降にアクセスポイントを設ける場合の制御部１１
０６の動作について図１６を用いて説明する。図１６
は、多重データにアクセスポイントを設ける際の多重部
１１０５の動作を説明するための説明図である。なお、
図１６において、パケットのペイロードサイズをBpl、
各符号化音声データのフレームのサイズをBfa、符号化
音声記憶部１３０４のメモリサイズをBbsz、時間T０ま
での符号化音声記憶部１３０４の占有量をBbinとする。
また、符号化音声データのフレーム周期は、TAとする。
Pk５以降にアクセスポイントを設ける場合の制御部１１
０６の動作について図１６を用いて説明する。図１６
は、多重データにアクセスポイントを設ける際の多重部
１１０５の動作を説明するための説明図である。なお、
図１６において、パケットのペイロードサイズをBpl、
各符号化音声データのフレームのサイズをBfa、符号化
音声記憶部１３０４のメモリサイズをBbsz、時間T０ま
での符号化音声記憶部１３０４の占有量をBbinとする。
また、符号化音声データのフレーム周期は、TAとする。
【００２２】図１６（ａ）は、図１３に示すデコーダモ
デルの符号化音声記憶部１３０４の占有量を示したもの
である。そして、図１６（ｂ）は分離部１３０１に入力
される多重データを示す。図１６（ｃ）は、図１５
（ｄ）と同様、図１６（ｂ）のパケットPk１の構成を示
したものであり、パケットPk１のペイロードには、符号
化音声データのFA６のBfa分と、FA７の先頭からBpl-Bfa
分が多重される。また、図１６（ｄ）は、図１５（ｅ）
と同様、図１６（２）のパケットPk５の構成を示したも
のである。
デルの符号化音声記憶部１３０４の占有量を示したもの
である。そして、図１６（ｂ）は分離部１３０１に入力
される多重データを示す。図１６（ｃ）は、図１５
（ｄ）と同様、図１６（ｂ）のパケットPk１の構成を示
したものであり、パケットPk１のペイロードには、符号
化音声データのFA６のBfa分と、FA７の先頭からBpl-Bfa
分が多重される。また、図１６（ｄ）は、図１５（ｅ）
と同様、図１６（２）のパケットPk５の構成を示したも
のである。
【００２３】例えば、時間T０において、符号化音声記
憶部１３０４から符号化音声データのフレームFA５が音
声復号化部１３０５に出力されたとする。これにより符
号化音声記憶部１３０４の占有量は図１６（ａ）に示す
ようにBbin-Bfaとなる。
憶部１３０４から符号化音声データのフレームFA５が音
声復号化部１３０５に出力されたとする。これにより符
号化音声記憶部１３０４の占有量は図１６（ａ）に示す
ようにBbin-Bfaとなる。
【００２４】次に、時間T１にパケットPk１が符号化音
声記憶部１３０４に入力された場合には、符号化音声記
憶部１３０４の占有量は、Pk１のペイローダサイズBpl
分増加してBbin-Bfa+Bplとなる。
声記憶部１３０４に入力された場合には、符号化音声記
憶部１３０４の占有量は、Pk１のペイローダサイズBpl
分増加してBbin-Bfa+Bplとなる。
【００２５】そして、パケットPk５（図１６（ｄ）参
照）で符号化映像データFV１の終端を多重した後、まだ
多重されていない符号化音声データのフレームFA７の残
り分Bfa-(Bpl-Bfa)をパケットPk６に多重することによ
り、次のパケットPk７にアクセスポイントを設けること
ができる。
照）で符号化映像データFV１の終端を多重した後、まだ
多重されていない符号化音声データのフレームFA７の残
り分Bfa-(Bpl-Bfa)をパケットPk６に多重することによ
り、次のパケットPk７にアクセスポイントを設けること
ができる。
【００２６】しかしながら、パケットPk６を多重する時
間T２において、符号化音声記憶部１３０４に記憶可能
なメモリサイズの残量が、まだ多重されていない符号化
音声データのフレームFA７のデータサイズより小さい場
合には、フレームFA７の残り分Bfa-(Bpl-Bfa)をパケッ
トPk６に多重することができず、パケットPk７をアクセ
スポイントにすることができなくなる。
間T２において、符号化音声記憶部１３０４に記憶可能
なメモリサイズの残量が、まだ多重されていない符号化
音声データのフレームFA７のデータサイズより小さい場
合には、フレームFA７の残り分Bfa-(Bpl-Bfa)をパケッ
トPk６に多重することができず、パケットPk７をアクセ
スポイントにすることができなくなる。
【００２７】そのため、パケットPk７にアクセスポイン
トを設けるためには、時間T２の時点で、符号化音声記
憶部１３０４に記憶可能なメモリサイズの残量Bbsz-(Bb
in-Bfa+Bpl)よりもフレームFA７の残りのデータ量Bfa-
(Bpl-Bfa)が小さくなっていることが必要であり、仮
に、時間T２でこの条件を満たしていない場合には、時
間T３で符号化音声記憶部１３０４から符号化音声デー
タのフレームFA６が音声復号化部１３０５に出力されて
から、フレームFA７の残り分を多重する必要があり、時
間T４で、図１６（ｂ）のパケットPk９に図１６（ｅ）
で示すパケットを多重して、パケットPk１０で始めてア
クセスポイントの条件を満たすこととなる。なお、この
場合には、図１６（ｂ）に示すパケットPk６、Pk７、Pk
８は、ペイロードに何も多重されていない空パケットと
なる。
トを設けるためには、時間T２の時点で、符号化音声記
憶部１３０４に記憶可能なメモリサイズの残量Bbsz-(Bb
in-Bfa+Bpl)よりもフレームFA７の残りのデータ量Bfa-
(Bpl-Bfa)が小さくなっていることが必要であり、仮
に、時間T２でこの条件を満たしていない場合には、時
間T３で符号化音声記憶部１３０４から符号化音声デー
タのフレームFA６が音声復号化部１３０５に出力されて
から、フレームFA７の残り分を多重する必要があり、時
間T４で、図１６（ｂ）のパケットPk９に図１６（ｅ）
で示すパケットを多重して、パケットPk１０で始めてア
クセスポイントの条件を満たすこととなる。なお、この
場合には、図１６（ｂ）に示すパケットPk６、Pk７、Pk
８は、ペイロードに何も多重されていない空パケットと
なる。
【００２８】このように、多重データにアクセスポイン
トを設ける場合においては、デコーダモデルの符号化映
像記憶部１３０２、或いは符号化音声記憶部１３０４の
メモリ領域の制約により、動画像符号化装置において、
最大、符号化音声データのフレーム周期の間、符号化映
像データ、及び符号化音声データを多重することができ
ない状態が起こり、動画像符号化装置の多重効率が下が
るという問題を有していた。
トを設ける場合においては、デコーダモデルの符号化映
像記憶部１３０２、或いは符号化音声記憶部１３０４の
メモリ領域の制約により、動画像符号化装置において、
最大、符号化音声データのフレーム周期の間、符号化映
像データ、及び符号化音声データを多重することができ
ない状態が起こり、動画像符号化装置の多重効率が下が
るという問題を有していた。
【００２９】本発明は、前記問題点に鑑みてなされたも
のであり、多重データにアクセスポイントを設ける場合
においても、データの多重を効率良く行うことができる
動画像符号化装置、動画像符号化方法、及び動画像復号
化システムを提供することを目的とする。
のであり、多重データにアクセスポイントを設ける場合
においても、データの多重を効率良く行うことができる
動画像符号化装置、動画像符号化方法、及び動画像復号
化システムを提供することを目的とする。
【００３０】
【課題を解決するための手段】前記課題を解決するため
に、本発明の請求項１に記載の動画像符号化装置は、一
連のフレームから構成される映像データを符号化映像デ
ータに符号化する映像符号化部と、一連のフレームから
構成される音声データを符号化音声データに符号化する
音声符号化部と、前記映像符号化部で符号化された符号
化映像データを記憶する映像記憶部と、前記音声符号化
部で符号化された符号化音声データを記憶する音声記憶
部と、前記映像記憶部に記録されている符号化映像デー
タと前記音声記憶部に記録されている符号化音声データ
とから複数のパケットにより構成される多重データを生
成する多重部と、前記映像符号化部で符号化された符号
化映像データのフレームサイズと前記音声符号化部で符
号化された符号化音声データのフレームサイズに基づい
て、前記多重部で各パケット毎に多重するデータの種類
とサイズを決定する制御部とを備え、前記制御部は、動
画像復号化装置の符号化映像記憶部における符号化映像
データの占有量、及び動画像復号化装置の符号化音声記
憶部における符号化音声データの占有量を、０以上かつ
前記符号化映像記憶部及び前記符号化音声記憶部のそれ
ぞれのメモリサイズ以下となるようにするとともに、ア
クセスポイントの直前に符号化音声データのフレームの
終端を含むパケットを多重する時以外は、常に動画像復
号化装置の符号化音声記憶部における符号化音声データ
の占有量が、該符号化音声記憶部のメモリサイズから前
記符号化音声データのフレームサイズを減じた値以下と
なるように前記多重部を制御することを特徴とするもの
である。
に、本発明の請求項１に記載の動画像符号化装置は、一
連のフレームから構成される映像データを符号化映像デ
ータに符号化する映像符号化部と、一連のフレームから
構成される音声データを符号化音声データに符号化する
音声符号化部と、前記映像符号化部で符号化された符号
化映像データを記憶する映像記憶部と、前記音声符号化
部で符号化された符号化音声データを記憶する音声記憶
部と、前記映像記憶部に記録されている符号化映像デー
タと前記音声記憶部に記録されている符号化音声データ
とから複数のパケットにより構成される多重データを生
成する多重部と、前記映像符号化部で符号化された符号
化映像データのフレームサイズと前記音声符号化部で符
号化された符号化音声データのフレームサイズに基づい
て、前記多重部で各パケット毎に多重するデータの種類
とサイズを決定する制御部とを備え、前記制御部は、動
画像復号化装置の符号化映像記憶部における符号化映像
データの占有量、及び動画像復号化装置の符号化音声記
憶部における符号化音声データの占有量を、０以上かつ
前記符号化映像記憶部及び前記符号化音声記憶部のそれ
ぞれのメモリサイズ以下となるようにするとともに、ア
クセスポイントの直前に符号化音声データのフレームの
終端を含むパケットを多重する時以外は、常に動画像復
号化装置の符号化音声記憶部における符号化音声データ
の占有量が、該符号化音声記憶部のメモリサイズから前
記符号化音声データのフレームサイズを減じた値以下と
なるように前記多重部を制御することを特徴とするもの
である。
【００３１】また、本発明の請求項２に記載の動画像符
号化装置は、一連のフレームから構成される映像データ
を符号化映像データに符号化する映像符号化部と、一連
のフレームから構成される音声データを符号化音声デー
タに符号化する音声符号化部と、前記映像符号化部で符
号化された符号化映像データを記憶する映像記憶部と、
前記音声符号化部で符号化された符号化音声データを記
憶する音声記憶部と、前記映像記憶部に記録されている
符号化映像データと前記音声記憶部に記録されている符
号化音声データとから複数のパケットにより構成される
多重データを生成する多重部と、前記映像符号化部で符
号化された符号化映像データのフレームサイズと前記音
声符号化部で符号化された符号化音声データのフレーム
サイズに基づいて、前記多重部で各パケット毎に多重す
るデータの種類とサイズを決定する制御部とを備え、前
記制御部は、動画像復号化装置の符号化映像記憶部にお
ける符号化映像データの占有量、及び動画像復号化装置
の符号化音声記憶部における符号化音声データの占有量
を、０以上かつ前記符号化映像記憶部及び前記符号化音
声記憶部のそれぞれのメモリサイズ以下となるようにす
るとともに、アクセスポイントの直前に符号化音声デー
タのフレームの終端を含むパケットを多重する時以外
は、常に動画像復号化装置の符号化音声記憶部における
符号化音声データの占有量が、該符号化音声記憶部のメ
モリサイズから多重途中の符号化音声フレームで未だ多
重されていない符号化音声データのデータ量を減じた値
以下となるように前記多重部を制御することを特徴とす
るものである。
号化装置は、一連のフレームから構成される映像データ
を符号化映像データに符号化する映像符号化部と、一連
のフレームから構成される音声データを符号化音声デー
タに符号化する音声符号化部と、前記映像符号化部で符
号化された符号化映像データを記憶する映像記憶部と、
前記音声符号化部で符号化された符号化音声データを記
憶する音声記憶部と、前記映像記憶部に記録されている
符号化映像データと前記音声記憶部に記録されている符
号化音声データとから複数のパケットにより構成される
多重データを生成する多重部と、前記映像符号化部で符
号化された符号化映像データのフレームサイズと前記音
声符号化部で符号化された符号化音声データのフレーム
サイズに基づいて、前記多重部で各パケット毎に多重す
るデータの種類とサイズを決定する制御部とを備え、前
記制御部は、動画像復号化装置の符号化映像記憶部にお
ける符号化映像データの占有量、及び動画像復号化装置
の符号化音声記憶部における符号化音声データの占有量
を、０以上かつ前記符号化映像記憶部及び前記符号化音
声記憶部のそれぞれのメモリサイズ以下となるようにす
るとともに、アクセスポイントの直前に符号化音声デー
タのフレームの終端を含むパケットを多重する時以外
は、常に動画像復号化装置の符号化音声記憶部における
符号化音声データの占有量が、該符号化音声記憶部のメ
モリサイズから多重途中の符号化音声フレームで未だ多
重されていない符号化音声データのデータ量を減じた値
以下となるように前記多重部を制御することを特徴とす
るものである。
【００３２】また、本発明の請求項３に記載の動画像符
号化装置は、一連のフレームから構成される映像データ
を符号化映像データに符号化する映像符号化部と、一連
のフレームから構成される音声データを符号化音声デー
タに符号化する音声符号化部と、前記映像符号化部で符
号化された符号化映像データを記憶する映像記憶部と、
前記音声符号化部で符号化された符号化音声データを記
憶する音声記憶部と、前記映像記憶部に記録されている
符号化映像データと前記音声記憶部に記録されている符
号化音声データとから複数のパケットにより構成される
多重データを生成する多重部と、前記映像符号化部で符
号化された符号化映像データのフレームサイズと前記音
声符号化部で符号化された符号化音声データのフレーム
サイズに基づいて、前記多重部で各パケット毎に多重す
るデータの種類とサイズを決定する制御部とを備え、前
記制御部は、動画像復号化装置の符号化映像記憶部にお
ける符号化映像データの占有量、及び動画像復号化装置
の符号化音声記憶部における符号化音声データの占有量
を、０以上かつ前記符号化映像記憶部及び前記符号化音
声記憶部のそれぞれのメモリサイズ以下となるようにす
るとともに、動画像復号化装置においてフレームサイズ
分の符号化音声データが復号される時間から所定の期間
以前には、常に動画像復号化装置の符号化音声記憶部に
おける符号化音声データの占有量が、該符号化音声記憶
部のメモリサイズから符号化音声データのフレームサイ
ズを減じた値以下となるように前記多重部を制御するこ
とを特徴とするものである。
号化装置は、一連のフレームから構成される映像データ
を符号化映像データに符号化する映像符号化部と、一連
のフレームから構成される音声データを符号化音声デー
タに符号化する音声符号化部と、前記映像符号化部で符
号化された符号化映像データを記憶する映像記憶部と、
前記音声符号化部で符号化された符号化音声データを記
憶する音声記憶部と、前記映像記憶部に記録されている
符号化映像データと前記音声記憶部に記録されている符
号化音声データとから複数のパケットにより構成される
多重データを生成する多重部と、前記映像符号化部で符
号化された符号化映像データのフレームサイズと前記音
声符号化部で符号化された符号化音声データのフレーム
サイズに基づいて、前記多重部で各パケット毎に多重す
るデータの種類とサイズを決定する制御部とを備え、前
記制御部は、動画像復号化装置の符号化映像記憶部にお
ける符号化映像データの占有量、及び動画像復号化装置
の符号化音声記憶部における符号化音声データの占有量
を、０以上かつ前記符号化映像記憶部及び前記符号化音
声記憶部のそれぞれのメモリサイズ以下となるようにす
るとともに、動画像復号化装置においてフレームサイズ
分の符号化音声データが復号される時間から所定の期間
以前には、常に動画像復号化装置の符号化音声記憶部に
おける符号化音声データの占有量が、該符号化音声記憶
部のメモリサイズから符号化音声データのフレームサイ
ズを減じた値以下となるように前記多重部を制御するこ
とを特徴とするものである。
【００３３】また、本発明の請求項４に記載の動画像符
号化装置は、一連のフレームから構成される映像データ
を符号化映像データに符号化する映像符号化部と、一連
のフレームから構成される音声データを符号化音声デー
タに符号化する音声符号化部と、前記映像符号化部で符
号化された符号化映像データを記憶する映像記憶部と、
前記音声符号化部で符号化された符号化音声データを記
憶する音声記憶部と、前記映像記憶部に記録されている
符号化映像データと前記音声記憶部に記録されている符
号化音声データとから複数のパケットにより構成される
多重データを生成する多重部と、前記映像符号化部で符
号化された符号化映像データのフレームサイズと前記音
声符号化部で符号化された符号化音声データのフレーム
サイズに基づいて、前記多重部で各パケット毎に多重す
るデータの種類とサイズを決定する制御部とを備え、前
記制御部は、動画像復号化装置の符号化映像記憶部にお
ける符号化映像データの占有量、及び動画像復号化装置
の符号化音声記憶部における符号化音声データの占有量
を、０以上かつ前記符号化映像記憶部及び前記符号化音
声記憶部のそれぞれのメモリサイズ以下となるようにす
るとともに、動画像復号化装置においてフレームサイズ
分の符号化音声データが復号される時間から所定の時間
以前には、常に動画像復号化装置の符号化音声記憶部に
おける符号化音声データの占有量が、該符号化音声記憶
部のメモリサイズから多重途中の符号化音声フレームで
未だ多重されていない符号化音声データのデータ量を減
じた値以下となるように前記多重部を制御することを特
徴とするものである。
号化装置は、一連のフレームから構成される映像データ
を符号化映像データに符号化する映像符号化部と、一連
のフレームから構成される音声データを符号化音声デー
タに符号化する音声符号化部と、前記映像符号化部で符
号化された符号化映像データを記憶する映像記憶部と、
前記音声符号化部で符号化された符号化音声データを記
憶する音声記憶部と、前記映像記憶部に記録されている
符号化映像データと前記音声記憶部に記録されている符
号化音声データとから複数のパケットにより構成される
多重データを生成する多重部と、前記映像符号化部で符
号化された符号化映像データのフレームサイズと前記音
声符号化部で符号化された符号化音声データのフレーム
サイズに基づいて、前記多重部で各パケット毎に多重す
るデータの種類とサイズを決定する制御部とを備え、前
記制御部は、動画像復号化装置の符号化映像記憶部にお
ける符号化映像データの占有量、及び動画像復号化装置
の符号化音声記憶部における符号化音声データの占有量
を、０以上かつ前記符号化映像記憶部及び前記符号化音
声記憶部のそれぞれのメモリサイズ以下となるようにす
るとともに、動画像復号化装置においてフレームサイズ
分の符号化音声データが復号される時間から所定の時間
以前には、常に動画像復号化装置の符号化音声記憶部に
おける符号化音声データの占有量が、該符号化音声記憶
部のメモリサイズから多重途中の符号化音声フレームで
未だ多重されていない符号化音声データのデータ量を減
じた値以下となるように前記多重部を制御することを特
徴とするものである。
【００３４】また、本発明の請求項５に記載の動画像符
号化装置は、一連のフレームから構成される映像データ
を符号化映像データに符号化する映像符号化部と、一連
のフレームから構成される音声データを符号化音声デー
タに符号化する音声符号化部と、前記映像符号化部で符
号化された符号化映像データを記憶する映像記憶部と、
前記音声符号化部で符号化された符号化音声データを記
憶する音声記憶部と、前記映像記憶部に記録されている
符号化映像データと前記音声記憶部に記録されている符
号化音声データとから複数のパケットにより構成される
多重データを生成する多重部と、前記映像符号化部で符
号化された符号化映像データのフレームサイズと前記音
声符号化部で符号化された符号化音声データのフレーム
サイズに基づいて、前記多重部で各パケット毎に多重す
るデータの種類とサイズを決定する制御部とを備え、前
記制御部は、動画像復号化装置の符号化映像記憶部にお
ける符号化映像データの占有量、及び動画像復号化装置
の符号化音声記憶部における符号化音声データの占有量
を、０以上かつ前記符号化映像記憶部及び前記符号化音
声記憶部のそれぞれのメモリサイズ以下となるようにす
るとともに、動画像復号化装置の符号化音声記憶部にお
ける符号化音声データの占有量が、該符号化音声記憶部
のメモリサイズから符号化音声データのフレームサイズ
を減じた値以上となる場合は、符号化音声データをパケ
ットに多重する際に、該パケットに多重する符号化音声
データの終端と、該パケットに多重するフレームの終端
とが一致するように前記多重部を制御することを特徴と
するものである。
号化装置は、一連のフレームから構成される映像データ
を符号化映像データに符号化する映像符号化部と、一連
のフレームから構成される音声データを符号化音声デー
タに符号化する音声符号化部と、前記映像符号化部で符
号化された符号化映像データを記憶する映像記憶部と、
前記音声符号化部で符号化された符号化音声データを記
憶する音声記憶部と、前記映像記憶部に記録されている
符号化映像データと前記音声記憶部に記録されている符
号化音声データとから複数のパケットにより構成される
多重データを生成する多重部と、前記映像符号化部で符
号化された符号化映像データのフレームサイズと前記音
声符号化部で符号化された符号化音声データのフレーム
サイズに基づいて、前記多重部で各パケット毎に多重す
るデータの種類とサイズを決定する制御部とを備え、前
記制御部は、動画像復号化装置の符号化映像記憶部にお
ける符号化映像データの占有量、及び動画像復号化装置
の符号化音声記憶部における符号化音声データの占有量
を、０以上かつ前記符号化映像記憶部及び前記符号化音
声記憶部のそれぞれのメモリサイズ以下となるようにす
るとともに、動画像復号化装置の符号化音声記憶部にお
ける符号化音声データの占有量が、該符号化音声記憶部
のメモリサイズから符号化音声データのフレームサイズ
を減じた値以上となる場合は、符号化音声データをパケ
ットに多重する際に、該パケットに多重する符号化音声
データの終端と、該パケットに多重するフレームの終端
とが一致するように前記多重部を制御することを特徴と
するものである。
【００３５】また、本発明の請求項６に記載の動画像符
号化装置は、請求項１乃至請求項５の何れかに記載の動
画像符号化装置において、前記制御部は、前記多重デー
タを復号する動画像復号化装置の符号化映像記憶部にお
ける符号化映像データの占有量を演算する映像占有量演
算部と、前記多重データを復号する動画像復号化装置の
符号化音声記憶部における符号化音声データの占有量を
演算する音声占有量演算部と、前記映像占有量演算部、
及び前記音声占有量演算部における演算結果に基づい
て、前記多重部において多重を行う、各パケット毎のデ
ータの種類、及びデータ量を指示する制御信号を生成す
る制御信号生成部とからなることを特徴とするものであ
る。
号化装置は、請求項１乃至請求項５の何れかに記載の動
画像符号化装置において、前記制御部は、前記多重デー
タを復号する動画像復号化装置の符号化映像記憶部にお
ける符号化映像データの占有量を演算する映像占有量演
算部と、前記多重データを復号する動画像復号化装置の
符号化音声記憶部における符号化音声データの占有量を
演算する音声占有量演算部と、前記映像占有量演算部、
及び前記音声占有量演算部における演算結果に基づい
て、前記多重部において多重を行う、各パケット毎のデ
ータの種類、及びデータ量を指示する制御信号を生成す
る制御信号生成部とからなることを特徴とするものであ
る。
【００３６】また、本発明の請求項７に記載の動画像符
号化装置は、請求項６に記載の動画像符号化装置におい
て、前記映像占有量演算部は、動画像復号化装置の符号
化映像記憶部における符号化映像データの占有量を記憶
する映像占有量記憶部と、前記映像符号化部で符号化さ
れた符号化映像データのフレームのサイズを記憶する映
像フレームデータ量記憶部と、前記制御信号に基づい
て、多重がなされる符号化映像データのデータ量を、前
記映像占有量記憶部に記憶された符号化映像データの占
有量に加算する映像占有量加算部と、動画像復号化装置
においてフレームサイズ分の符号化映像データが復号さ
れる時間に合わせて、前記映像フレームデータ記憶部に
記憶された映像フレームデータのサイズを、該映像フレ
ームデータ記憶部に記憶された順に入力し、入力した映
像フレームデータのサイズを、前記映像占有量記憶部に
記憶された符号化映像データの占有量から減じる映像占
有量減算部とからなり、前記音声占有量演算部は、動画
像復号化装置の符号化音声記憶部における符号化音声デ
ータの占有量を記憶する音声占有量記憶部と、前記音声
符号化部で符号化された符号化音声データのフレームの
サイズを記憶する音声フレームデータ量記憶部と、前記
制御信号に基づいて、多重がなされる符号化音声データ
のデータ量を、前記音声占有量記憶部に記憶された符号
化音声データの占有量に加算する音声占有量加算部と、
動画像復号化装置においてフレームサイズ分の符号化音
声データが復号される時間に合わせて、前記音声フレー
ムデータ記憶部に記憶された音声フレームデータのサイ
ズを、該音声フレームデータ記憶部に記憶された順に入
力し、入力した音声フレームデータのサイズを、前記音
声占有量記憶部に記憶された符号化音声データの占有量
から減じる音声占有量減算部とからなることを特徴とす
るものである。
号化装置は、請求項６に記載の動画像符号化装置におい
て、前記映像占有量演算部は、動画像復号化装置の符号
化映像記憶部における符号化映像データの占有量を記憶
する映像占有量記憶部と、前記映像符号化部で符号化さ
れた符号化映像データのフレームのサイズを記憶する映
像フレームデータ量記憶部と、前記制御信号に基づい
て、多重がなされる符号化映像データのデータ量を、前
記映像占有量記憶部に記憶された符号化映像データの占
有量に加算する映像占有量加算部と、動画像復号化装置
においてフレームサイズ分の符号化映像データが復号さ
れる時間に合わせて、前記映像フレームデータ記憶部に
記憶された映像フレームデータのサイズを、該映像フレ
ームデータ記憶部に記憶された順に入力し、入力した映
像フレームデータのサイズを、前記映像占有量記憶部に
記憶された符号化映像データの占有量から減じる映像占
有量減算部とからなり、前記音声占有量演算部は、動画
像復号化装置の符号化音声記憶部における符号化音声デ
ータの占有量を記憶する音声占有量記憶部と、前記音声
符号化部で符号化された符号化音声データのフレームの
サイズを記憶する音声フレームデータ量記憶部と、前記
制御信号に基づいて、多重がなされる符号化音声データ
のデータ量を、前記音声占有量記憶部に記憶された符号
化音声データの占有量に加算する音声占有量加算部と、
動画像復号化装置においてフレームサイズ分の符号化音
声データが復号される時間に合わせて、前記音声フレー
ムデータ記憶部に記憶された音声フレームデータのサイ
ズを、該音声フレームデータ記憶部に記憶された順に入
力し、入力した音声フレームデータのサイズを、前記音
声占有量記憶部に記憶された符号化音声データの占有量
から減じる音声占有量減算部とからなることを特徴とす
るものである。
【００３７】また、本発明の請求項８に記載の動画像復
号化システムは、請求項１乃至請求項７の何れかに記載
の動画像符号化装置と、前記動画像符号化装置が出力し
た多重データを入力とし、該多重データを指定されたビ
ットレートで出力する出力バッファと、前記出力バッフ
ァが出力する多重データを伝送する伝送路と、前記伝送
路が伝送する多重データから、復号を行う多重データを
動画像復号化装置に出力する入力バッファと、前記入力
バッファから出力される多重データを復号する動画像復
号化装置とを具備することを特徴とするものである。
号化システムは、請求項１乃至請求項７の何れかに記載
の動画像符号化装置と、前記動画像符号化装置が出力し
た多重データを入力とし、該多重データを指定されたビ
ットレートで出力する出力バッファと、前記出力バッフ
ァが出力する多重データを伝送する伝送路と、前記伝送
路が伝送する多重データから、復号を行う多重データを
動画像復号化装置に出力する入力バッファと、前記入力
バッファから出力される多重データを復号する動画像復
号化装置とを具備することを特徴とするものである。
【００３８】また、本発明の請求項９に記載の動画像復
号化システムは、請求項１乃至請求項７の何れかに記載
の動画像符号化装置と、前記動画像符号化装置が出力し
た多重データを入力とし、該多重データを指定されたビ
ットレートで出力する出力バッファと、前記出力バッフ
ァが出力した多重データを記録媒体に記録する記録部
と、記録媒体に記録された多重データを読み出す読み出
し部と、前記読み出し部が読み出す多重データから、復
号を行う多重データを動画像復号化装置に出力する入力
バッファと、前記入力バッファから出力された多重デー
タを復号する動画像復号化装置とを具備することを特徴
とするものである。
号化システムは、請求項１乃至請求項７の何れかに記載
の動画像符号化装置と、前記動画像符号化装置が出力し
た多重データを入力とし、該多重データを指定されたビ
ットレートで出力する出力バッファと、前記出力バッフ
ァが出力した多重データを記録媒体に記録する記録部
と、記録媒体に記録された多重データを読み出す読み出
し部と、前記読み出し部が読み出す多重データから、復
号を行う多重データを動画像復号化装置に出力する入力
バッファと、前記入力バッファから出力された多重デー
タを復号する動画像復号化装置とを具備することを特徴
とするものである。
【００３９】また、本発明の請求項１０に記載の動画像
符号化方法は、一連のフレームから構成される映像デー
タを符号化映像データに符号化する映像符号化ステップ
と、一連のフレームから構成される音声データを符号化
音声データに符号化する音声符号化ステップと、前記符
号化映像データと前記符号化音声データとから複数のパ
ケットにより構成される多重データを生成する多重ステ
ップと、前記多重データを復号する動画像復号化装置の
符号化映像記憶部における符号化映像データの占有量を
演算する映像占有量演算ステップと、前記多重データを
復号する動画像復号化装置の符号化音声記憶部における
符号化音声データの占有量を演算する音声占有量演算ス
テップと、を備え、前記多重ステップで多重データを生
成する際には、動画像復号化装置の符号化映像記憶部に
おける符号化映像データの占有量、及び動画像復号化装
置の符号化音声記憶部における符号化音声データの占有
量を、０以上かつ前記符号化映像記憶部及び前記符号化
音声記憶部のそれぞれのメモリサイズ以下となるように
するとともに、アクセスポイントの直前に符号化音声デ
ータのフレームの終端を含むパケットを多重する時以外
は、常に動画像復号化装置の符号化音声記憶部における
符号化音声データの占有量が、該符号化音声記憶部のメ
モリサイズから前記符号化音声データのフレームサイズ
を減じた値以下となるようすることを特徴とするもので
ある。
符号化方法は、一連のフレームから構成される映像デー
タを符号化映像データに符号化する映像符号化ステップ
と、一連のフレームから構成される音声データを符号化
音声データに符号化する音声符号化ステップと、前記符
号化映像データと前記符号化音声データとから複数のパ
ケットにより構成される多重データを生成する多重ステ
ップと、前記多重データを復号する動画像復号化装置の
符号化映像記憶部における符号化映像データの占有量を
演算する映像占有量演算ステップと、前記多重データを
復号する動画像復号化装置の符号化音声記憶部における
符号化音声データの占有量を演算する音声占有量演算ス
テップと、を備え、前記多重ステップで多重データを生
成する際には、動画像復号化装置の符号化映像記憶部に
おける符号化映像データの占有量、及び動画像復号化装
置の符号化音声記憶部における符号化音声データの占有
量を、０以上かつ前記符号化映像記憶部及び前記符号化
音声記憶部のそれぞれのメモリサイズ以下となるように
するとともに、アクセスポイントの直前に符号化音声デ
ータのフレームの終端を含むパケットを多重する時以外
は、常に動画像復号化装置の符号化音声記憶部における
符号化音声データの占有量が、該符号化音声記憶部のメ
モリサイズから前記符号化音声データのフレームサイズ
を減じた値以下となるようすることを特徴とするもので
ある。
【００４０】また、本発明の請求項１１に記載の動画像
符号化方法は、一連のフレームから構成される映像デー
タを符号化映像データに符号化する映像符号化ステップ
と、一連のフレームから構成される音声データを符号化
音声データに符号化する音声符号化ステップと、前記符
号化映像データと前記符号化音声データとから複数のパ
ケットにより構成される多重データを生成する多重ステ
ップと、前記多重データを復号する動画像復号化装置の
符号化映像記憶部における符号化映像データの占有量を
演算する映像占有量演算ステップと、前記多重データを
復号する動画像復号化装置の符号化音声記憶部における
符号化音声データの占有量を演算する音声占有量演算ス
テップと、を備え、前記多重ステップで多重データを生
成する際には、動画像復号化装置の符号化映像記憶部に
おける符号化映像データの占有量、及び動画像復号化装
置の符号化音声記憶部における符号化音声データの占有
量を、０以上かつ前記符号化映像記憶部及び前記符号化
音声記憶部のそれぞれのメモリサイズ以下となるように
するとともに、アクセスポイントの直前に符号化音声デ
ータのフレームの終端を含むパケットを多重する時以外
は、常に動画像復号化装置の符号化音声記憶部における
符号化音声データの占有量が、該符号化音声記憶部のメ
モリサイズから多重途中の符号化音声フレームで未だ多
重されていない符号化音声データのデータ量を減じた値
以下となるようにすることを特徴とするものである。
符号化方法は、一連のフレームから構成される映像デー
タを符号化映像データに符号化する映像符号化ステップ
と、一連のフレームから構成される音声データを符号化
音声データに符号化する音声符号化ステップと、前記符
号化映像データと前記符号化音声データとから複数のパ
ケットにより構成される多重データを生成する多重ステ
ップと、前記多重データを復号する動画像復号化装置の
符号化映像記憶部における符号化映像データの占有量を
演算する映像占有量演算ステップと、前記多重データを
復号する動画像復号化装置の符号化音声記憶部における
符号化音声データの占有量を演算する音声占有量演算ス
テップと、を備え、前記多重ステップで多重データを生
成する際には、動画像復号化装置の符号化映像記憶部に
おける符号化映像データの占有量、及び動画像復号化装
置の符号化音声記憶部における符号化音声データの占有
量を、０以上かつ前記符号化映像記憶部及び前記符号化
音声記憶部のそれぞれのメモリサイズ以下となるように
するとともに、アクセスポイントの直前に符号化音声デ
ータのフレームの終端を含むパケットを多重する時以外
は、常に動画像復号化装置の符号化音声記憶部における
符号化音声データの占有量が、該符号化音声記憶部のメ
モリサイズから多重途中の符号化音声フレームで未だ多
重されていない符号化音声データのデータ量を減じた値
以下となるようにすることを特徴とするものである。
【００４１】また、本発明の請求項１２に記載の動画像
符号化方法は、一連のフレームから構成される映像デー
タを符号化映像データに符号化する映像符号化ステップ
と、一連のフレームから構成される音声データを符号化
音声データに符号化する音声符号化ステップと、前記符
号化映像データと前記符号化音声データとから複数のパ
ケットにより構成される多重データを生成する多重ステ
ップと、前記多重データを復号する動画像復号化装置の
符号化映像記憶部における符号化映像データの占有量を
演算する映像占有量演算ステップと、前記多重データを
復号する動画像復号化装置の符号化音声記憶部における
符号化音声データの占有量を演算する音声占有量演算ス
テップと、を備え、前記多重ステップで多重データを生
成する際には、動画像復号化装置の符号化映像記憶部に
おける符号化映像データの占有量、及び動画像復号化装
置の符号化音声記憶部における符号化音声データの占有
量を、０以上かつ前記符号化映像記憶部及び前記符号化
音声記憶部のそれぞれのメモリサイズ以下となるように
するとともに、動画像復号化装置においてフレームサイ
ズ分の符号化音声データが復号される時間から所定の期
間以前には、常に動画像復号化装置の符号化音声記憶部
における符号化音声データの占有量が、該符号化音声記
憶部のメモリサイズから符号化音声データのフレームサ
イズを減じた値以下となるようにすることを特徴とする
ものである。
符号化方法は、一連のフレームから構成される映像デー
タを符号化映像データに符号化する映像符号化ステップ
と、一連のフレームから構成される音声データを符号化
音声データに符号化する音声符号化ステップと、前記符
号化映像データと前記符号化音声データとから複数のパ
ケットにより構成される多重データを生成する多重ステ
ップと、前記多重データを復号する動画像復号化装置の
符号化映像記憶部における符号化映像データの占有量を
演算する映像占有量演算ステップと、前記多重データを
復号する動画像復号化装置の符号化音声記憶部における
符号化音声データの占有量を演算する音声占有量演算ス
テップと、を備え、前記多重ステップで多重データを生
成する際には、動画像復号化装置の符号化映像記憶部に
おける符号化映像データの占有量、及び動画像復号化装
置の符号化音声記憶部における符号化音声データの占有
量を、０以上かつ前記符号化映像記憶部及び前記符号化
音声記憶部のそれぞれのメモリサイズ以下となるように
するとともに、動画像復号化装置においてフレームサイ
ズ分の符号化音声データが復号される時間から所定の期
間以前には、常に動画像復号化装置の符号化音声記憶部
における符号化音声データの占有量が、該符号化音声記
憶部のメモリサイズから符号化音声データのフレームサ
イズを減じた値以下となるようにすることを特徴とする
ものである。
【００４２】また、本発明の請求項１３に記載の動画像
符号化方法は、一連のフレームから構成される映像デー
タを符号化映像データに符号化する映像符号化ステップ
と、一連のフレームから構成される音声データを符号化
音声データに符号化する音声符号化ステップと、前記符
号化映像データと前記符号化音声データとから複数のパ
ケットにより構成される多重データを生成する多重ステ
ップと、前記多重データを復号する動画像復号化装置の
符号化映像記憶部における符号化映像データの占有量を
演算する映像占有量演算ステップと、前記多重データを
復号する動画像復号化装置の符号化音声記憶部における
符号化音声データの占有量を演算する音声占有量演算ス
テップと、を備え、前記多重ステップで多重データを生
成する際には、動画像復号化装置の符号化映像記憶部に
おける符号化映像データの占有量、及び動画像復号化装
置の符号化音声記憶部における符号化音声データの占有
量を、０以上かつ前記符号化映像記憶部及び前記符号化
音声記憶部のそれぞれのメモリサイズ以下となるように
するとともに、動画像復号化装置においてフレームサイ
ズ分の符号化音声データが復号される時間から所定の時
間以前には、常に動画像復号化装置の符号化音声記憶部
における符号化音声データの占有量が、該符号化音声記
憶部のメモリサイズから多重途中の符号化音声フレーム
で未だ多重されていない符号化音声データのデータ量を
減じた値以下となるようにすることを特徴とするもので
ある。
符号化方法は、一連のフレームから構成される映像デー
タを符号化映像データに符号化する映像符号化ステップ
と、一連のフレームから構成される音声データを符号化
音声データに符号化する音声符号化ステップと、前記符
号化映像データと前記符号化音声データとから複数のパ
ケットにより構成される多重データを生成する多重ステ
ップと、前記多重データを復号する動画像復号化装置の
符号化映像記憶部における符号化映像データの占有量を
演算する映像占有量演算ステップと、前記多重データを
復号する動画像復号化装置の符号化音声記憶部における
符号化音声データの占有量を演算する音声占有量演算ス
テップと、を備え、前記多重ステップで多重データを生
成する際には、動画像復号化装置の符号化映像記憶部に
おける符号化映像データの占有量、及び動画像復号化装
置の符号化音声記憶部における符号化音声データの占有
量を、０以上かつ前記符号化映像記憶部及び前記符号化
音声記憶部のそれぞれのメモリサイズ以下となるように
するとともに、動画像復号化装置においてフレームサイ
ズ分の符号化音声データが復号される時間から所定の時
間以前には、常に動画像復号化装置の符号化音声記憶部
における符号化音声データの占有量が、該符号化音声記
憶部のメモリサイズから多重途中の符号化音声フレーム
で未だ多重されていない符号化音声データのデータ量を
減じた値以下となるようにすることを特徴とするもので
ある。
【００４３】また、本発明の請求項１４に記載の動画像
符号化方法は、一連のフレームから構成される映像デー
タを符号化映像データに符号化する映像符号化ステップ
と、一連のフレームから構成される音声データを符号化
音声データに符号化する音声符号化ステップと、前記符
号化映像データと前記符号化音声データとから複数のパ
ケットにより構成される多重データを生成する多重ステ
ップと、前記多重データを復号する動画像復号化装置の
符号化映像記憶部における符号化映像データの占有量を
演算する映像占有量演算ステップと、前記多重データを
復号する動画像復号化装置の符号化音声記憶部における
符号化音声データの占有量を演算する音声占有量演算ス
テップと、を備え、前記多重ステップで多重データを生
成する際には、動画像復号化装置の符号化映像記憶部に
おける符号化映像データの占有量、及び動画像復号化装
置の符号化音声記憶部における符号化音声データの占有
量を、０以上かつ前記符号化映像記憶部及び前記符号化
音声記憶部のそれぞれのメモリサイズ以下となるように
するとともに、動画像復号化装置の符号化音声記憶部に
おける符号化音声データの占有量が、該符号化音声記憶
部のメモリサイズから符号化音声データのフレームサイ
ズを減じた値以上となる場合は、符号化音声データをパ
ケットに多重する際に、該パケットに多重する符号化音
声データの終端と、該パケットに多重するフレームの終
端とが一致するようすることを特徴とするものである。
符号化方法は、一連のフレームから構成される映像デー
タを符号化映像データに符号化する映像符号化ステップ
と、一連のフレームから構成される音声データを符号化
音声データに符号化する音声符号化ステップと、前記符
号化映像データと前記符号化音声データとから複数のパ
ケットにより構成される多重データを生成する多重ステ
ップと、前記多重データを復号する動画像復号化装置の
符号化映像記憶部における符号化映像データの占有量を
演算する映像占有量演算ステップと、前記多重データを
復号する動画像復号化装置の符号化音声記憶部における
符号化音声データの占有量を演算する音声占有量演算ス
テップと、を備え、前記多重ステップで多重データを生
成する際には、動画像復号化装置の符号化映像記憶部に
おける符号化映像データの占有量、及び動画像復号化装
置の符号化音声記憶部における符号化音声データの占有
量を、０以上かつ前記符号化映像記憶部及び前記符号化
音声記憶部のそれぞれのメモリサイズ以下となるように
するとともに、動画像復号化装置の符号化音声記憶部に
おける符号化音声データの占有量が、該符号化音声記憶
部のメモリサイズから符号化音声データのフレームサイ
ズを減じた値以上となる場合は、符号化音声データをパ
ケットに多重する際に、該パケットに多重する符号化音
声データの終端と、該パケットに多重するフレームの終
端とが一致するようすることを特徴とするものである。
【００４４】
【発明の実施の形態】本発明の実施の形態について図面
を参照して説明する。 （実施の形態１）以下に、本発明の実施の形態１による
動画像符号化装置について図１から図３を用いて説明す
る。図１は、本発明の実施の形態１による動画像符号化
装置の構成の一例を示すブロック図である。図１におい
て、動画像符号化装置は、映像符号化部１と、映像記憶
部２と、音声符号化部３と、音声記憶部４と、多重部５
と、制御部６とからなる。
を参照して説明する。 （実施の形態１）以下に、本発明の実施の形態１による
動画像符号化装置について図１から図３を用いて説明す
る。図１は、本発明の実施の形態１による動画像符号化
装置の構成の一例を示すブロック図である。図１におい
て、動画像符号化装置は、映像符号化部１と、映像記憶
部２と、音声符号化部３と、音声記憶部４と、多重部５
と、制御部６とからなる。
【００４５】映像符号化部１は、映像データを符号化映
像データに符号化する。映像記憶部２は、映像符号化部
１で符号化された符号化映像データを記憶する。音声符
号化部３は、音声データを符号化音声データに符号化す
る。音声記憶部４は、音声符号化部３で符号化された符
号化音声データを記憶する。多重部５は、制御部６の制
御に基づいて、映像記憶部２に記録されている符号化映
像データと音声記憶部４に記録されている符号化音声デ
ータとから複数のパケットにより構成される多重データ
を生成する。
像データに符号化する。映像記憶部２は、映像符号化部
１で符号化された符号化映像データを記憶する。音声符
号化部３は、音声データを符号化音声データに符号化す
る。音声記憶部４は、音声符号化部３で符号化された符
号化音声データを記憶する。多重部５は、制御部６の制
御に基づいて、映像記憶部２に記録されている符号化映
像データと音声記憶部４に記録されている符号化音声デ
ータとから複数のパケットにより構成される多重データ
を生成する。
【００４６】制御部６は、映像符号化部１で符号化され
た符号化映像データのフレームサイズと音声符号化部３
で符号化された符号化音声データのフレームサイズに基
づいて、多重部５でパケットに多重するデータの種類と
そのサイズを決定する。なお、多重を行うデータの種
類、及びサイズは、従来の技術の説明で図１３を用いて
説明したように、デコーダモデルの符号化映像記憶部１
３０２と符号化音声記憶部１３０４がそれぞれ破綻しな
いように決定される。
た符号化映像データのフレームサイズと音声符号化部３
で符号化された符号化音声データのフレームサイズに基
づいて、多重部５でパケットに多重するデータの種類と
そのサイズを決定する。なお、多重を行うデータの種
類、及びサイズは、従来の技術の説明で図１３を用いて
説明したように、デコーダモデルの符号化映像記憶部１
３０２と符号化音声記憶部１３０４がそれぞれ破綻しな
いように決定される。
【００４７】また、本発明の実施の形態１による動画像
符号化装置の制御部６は、従来の動画像符号化装置の制
御部１１０６に加え、デコーダモデルの符号化音声記憶
部１３０４の遷移についてさらに制約を加えるよう多重
部５を制御する。具体的には、制御部６は、アクセスポ
イントの直前に符号化音声データフレームの終端を含む
パケットを多重する時以外は、常に符号化音声データの
占有量が符号化音声記憶部１３０４のメモリサイズから
符号化音声データのフレームサイズを減じた値以下とな
るように制御を行う。
符号化装置の制御部６は、従来の動画像符号化装置の制
御部１１０６に加え、デコーダモデルの符号化音声記憶
部１３０４の遷移についてさらに制約を加えるよう多重
部５を制御する。具体的には、制御部６は、アクセスポ
イントの直前に符号化音声データフレームの終端を含む
パケットを多重する時以外は、常に符号化音声データの
占有量が符号化音声記憶部１３０４のメモリサイズから
符号化音声データのフレームサイズを減じた値以下とな
るように制御を行う。
【００４８】次に、このような制御を行う制御部６につ
いて、図２、図３を用いてさらに詳細に説明する。図２
は、本発明の実施の形態１による動画像符号化装置の制
御部６の構成の一例を示すものである。図２において、
制御部６は、制御信号生成部１１と、映像占有量演算部
１２と、音声占有量演算部１３とからなる。
いて、図２、図３を用いてさらに詳細に説明する。図２
は、本発明の実施の形態１による動画像符号化装置の制
御部６の構成の一例を示すものである。図２において、
制御部６は、制御信号生成部１１と、映像占有量演算部
１２と、音声占有量演算部１３とからなる。
【００４９】制御信号生成部１１は、映像占有量演算部
１２、及び音声占有量演算部１３における演算結果に基
づいて、多重部５において多重を行う、各パケット毎の
データの種類、及びデータ量を指示する制御信号を生成
するものであり、前記制御信号は、映像符号化データ或
いは符号化音声データの何れのデータを多重するか指示
する選択信号と、当該多重を行う映像符号化データ或い
は符号化音声データのデータ量を示すサイズデータの信
号とからなり、これらの信号を多重部５に出力すること
により、多重部５において符号化データの多重を開始す
る旨を指示する。
１２、及び音声占有量演算部１３における演算結果に基
づいて、多重部５において多重を行う、各パケット毎の
データの種類、及びデータ量を指示する制御信号を生成
するものであり、前記制御信号は、映像符号化データ或
いは符号化音声データの何れのデータを多重するか指示
する選択信号と、当該多重を行う映像符号化データ或い
は符号化音声データのデータ量を示すサイズデータの信
号とからなり、これらの信号を多重部５に出力すること
により、多重部５において符号化データの多重を開始す
る旨を指示する。
【００５０】映像占有量演算部１２は、多重データを復
号するデコーダモデルが有する符号化映像記憶部１３０
２の占有量（以下、映像占有量とする。）を演算するも
のであり、映像符号化部１で符号化された符号化映像デ
ータのフレームのサイズを記憶する映像フレームデータ
量記憶部２１と、前記選択信号により符号化映像データ
が選択された時、該選択された符号化映像データの前記
データサイズを前記映像占有量に加算する映像占有量加
算部２２と、デコーダモデルにおいてフレームサイズ分
の符号化映像データが復号される時間に合わせて、映像
フレームデータ記憶部２１に記憶されている映像フレー
ムデータのサイズを、該映像フレームデータ記憶部に記
憶された順に入力し、入力した映像フレームデータのサ
イズを、前記映像占有量より減じる映像占有量減算部２
３と、前記映像占有量を記憶する映像占有量記憶部２４
とからなる。
号するデコーダモデルが有する符号化映像記憶部１３０
２の占有量（以下、映像占有量とする。）を演算するも
のであり、映像符号化部１で符号化された符号化映像デ
ータのフレームのサイズを記憶する映像フレームデータ
量記憶部２１と、前記選択信号により符号化映像データ
が選択された時、該選択された符号化映像データの前記
データサイズを前記映像占有量に加算する映像占有量加
算部２２と、デコーダモデルにおいてフレームサイズ分
の符号化映像データが復号される時間に合わせて、映像
フレームデータ記憶部２１に記憶されている映像フレー
ムデータのサイズを、該映像フレームデータ記憶部に記
憶された順に入力し、入力した映像フレームデータのサ
イズを、前記映像占有量より減じる映像占有量減算部２
３と、前記映像占有量を記憶する映像占有量記憶部２４
とからなる。
【００５１】音声占有量演算部１３は、多重データを復
号するデコーダモデルが有する符号化音声記憶部１３０
４の占有量（以下、音声占有量とする。）を演算するも
のであり、音声符号化部３で符号化された符号化音声デ
ータのフレームのサイズを記憶する音声フレームデータ
量記憶部２５と、前記選択信号により符号化音声データ
が選択された時、該選択された符号化音声データの前記
データサイズを前記音声占有量に加算する音声占有量加
算部２６と、デコーダモデルにおいてフレームサイズ分
の符号化音声データが復号される時間に合わせて、音声
フレームデータ記憶部２５に記憶されている音声フレー
ムデータのサイズを、該音声フレームデータ記憶部２５
に記憶された順に入力し、入力した音声フレームデータ
のサイズを、前記音声占有量より減じる音声占有量減算
部２７と、前記音声占有量を記憶する音声占有量記憶部
２８とからなる。
号するデコーダモデルが有する符号化音声記憶部１３０
４の占有量（以下、音声占有量とする。）を演算するも
のであり、音声符号化部３で符号化された符号化音声デ
ータのフレームのサイズを記憶する音声フレームデータ
量記憶部２５と、前記選択信号により符号化音声データ
が選択された時、該選択された符号化音声データの前記
データサイズを前記音声占有量に加算する音声占有量加
算部２６と、デコーダモデルにおいてフレームサイズ分
の符号化音声データが復号される時間に合わせて、音声
フレームデータ記憶部２５に記憶されている音声フレー
ムデータのサイズを、該音声フレームデータ記憶部２５
に記憶された順に入力し、入力した音声フレームデータ
のサイズを、前記音声占有量より減じる音声占有量減算
部２７と、前記音声占有量を記憶する音声占有量記憶部
２８とからなる。
【００５２】次に、この制御部６の動作について、図３
を用いて説明する。図３は、デコーダモデルの符号化音
声記憶部に記憶されている符号化データの遷移について
説明する説明図であり、図３(ｂ)は、多重部５で多重さ
れる多重データを示す。なお、パケットPk１とPk５とPk
７は符号化音声データを多重したパケットを示し、その
他のパケットは符号化映像データを多重したパケットを
示している。
を用いて説明する。図３は、デコーダモデルの符号化音
声記憶部に記憶されている符号化データの遷移について
説明する説明図であり、図３(ｂ)は、多重部５で多重さ
れる多重データを示す。なお、パケットPk１とPk５とPk
７は符号化音声データを多重したパケットを示し、その
他のパケットは符号化映像データを多重したパケットを
示している。
【００５３】また、図３(ｃ)、図３(ｄ)、図３(ｅ)は、
それぞれ、パケットPk１とPk５とPk７の構成を示し、図
示するように、パケットPk１は、符号化音声データのフ
レームFA６のすべてとフレームFA７の一部を、パケット
Pk５は、フレームFA７の残りとフレームFA８のすべてと
フレームFA９の残りを、パケットPk７は、フレームFA９
の残りを、それぞれ多重している。
それぞれ、パケットPk１とPk５とPk７の構成を示し、図
示するように、パケットPk１は、符号化音声データのフ
レームFA６のすべてとフレームFA７の一部を、パケット
Pk５は、フレームFA７の残りとフレームFA８のすべてと
フレームFA９の残りを、パケットPk７は、フレームFA９
の残りを、それぞれ多重している。
【００５４】図３（ａ)は、図３(ｂ)に示す多重データ
を多重した時、制御部６の音声占有量記憶部１３で演算
される、デコーダモデルの符号化音声記憶部の占有量の
遷移を示したものである。なお、デコーダモデルについ
ては、従来技術の説明で図１３を用いて説明したものと
同じであるので説明を省略する。
を多重した時、制御部６の音声占有量記憶部１３で演算
される、デコーダモデルの符号化音声記憶部の占有量の
遷移を示したものである。なお、デコーダモデルについ
ては、従来技術の説明で図１３を用いて説明したものと
同じであるので説明を省略する。
【００５５】なお、ここでは、ペイロードサイズをBpl
とし、音声フレームデータ量記憶部２５が保持する，音
声符号化部３で符号化された符号化音声データのフレー
ムのサイズをすべてBfaとする。また、デコーダモデル
の符号化音声記憶部１３０４のメモリサイズをBbszと
し、時間T０の符号化音声記憶部１３０４の占有量をBbi
nとする。なお、符号化音声データがデコードモデルで
復号化されるタイミングを示すフレーム周期はTAである
ものとする。
とし、音声フレームデータ量記憶部２５が保持する，音
声符号化部３で符号化された符号化音声データのフレー
ムのサイズをすべてBfaとする。また、デコーダモデル
の符号化音声記憶部１３０４のメモリサイズをBbszと
し、時間T０の符号化音声記憶部１３０４の占有量をBbi
nとする。なお、符号化音声データがデコードモデルで
復号化されるタイミングを示すフレーム周期はTAである
ものとする。
【００５６】図３（ａ）において、時間T０で符号化音
声記憶部１３０４から１フレーム分の符号化音声データ
が音声復号化部１３０５に出力される。このとき、制御
部６の音声占有量演算部１３で演算される符号化音声デ
ータの占有量はBbin-Bfaとなる。なおここではBbin-Bfa
≦Bbsz-Bfaとする。
声記憶部１３０４から１フレーム分の符号化音声データ
が音声復号化部１３０５に出力される。このとき、制御
部６の音声占有量演算部１３で演算される符号化音声デ
ータの占有量はBbin-Bfaとなる。なおここではBbin-Bfa
≦Bbsz-Bfaとする。
【００５７】次に、時間T１で、符号化音声データが１
パケット分多重されたとすると、制御部６の音声占有量
演算部１３で演算される符号化音声データの占有量はBb
in-Bfa+Bplとなる。しかし、このように符号化音声デー
タを多重することにより、符号化音声データの占有量が
Bbin-Bfa+Bpl+Bpl＞Bbsz-Bfa となる場合には、制御部
６の制御信号生成部１１は、時間T０+TAで占有量がBfa
分減じるまで符号化音声データをパケットに多重させな
いように制御信号を生成し、時間T０+TAで符号化音声デ
ータの占有量がBfa分減った後に、該多重がなされなか
った符号化音声データの多重を行わせる。
パケット分多重されたとすると、制御部６の音声占有量
演算部１３で演算される符号化音声データの占有量はBb
in-Bfa+Bplとなる。しかし、このように符号化音声デー
タを多重することにより、符号化音声データの占有量が
Bbin-Bfa+Bpl+Bpl＞Bbsz-Bfa となる場合には、制御部
６の制御信号生成部１１は、時間T０+TAで占有量がBfa
分減じるまで符号化音声データをパケットに多重させな
いように制御信号を生成し、時間T０+TAで符号化音声デ
ータの占有量がBfa分減った後に、該多重がなされなか
った符号化音声データの多重を行わせる。
【００５８】そして、時間T０+TAで、符号化音声記憶部
から符号化音声データが１フレーム分音声復号化部１３
０５に出力されると、制御部６の音声占有量演算部１３
で演算される符号化音声データの占有量はBbin-Bfa+Bpl
-Bfaとなる。ここでは、Bbin-Bfa+Bpl-Bfa+Bpl≦Bbsz-B
faとする。
から符号化音声データが１フレーム分音声復号化部１３
０５に出力されると、制御部６の音声占有量演算部１３
で演算される符号化音声データの占有量はBbin-Bfa+Bpl
-Bfaとなる。ここでは、Bbin-Bfa+Bpl-Bfa+Bpl≦Bbsz-B
faとする。
【００５９】その後、時間T２でパケットPk５が多重さ
れると、この時の制御部６の音声占有量演算部１３で演
算される符号化音声データの占有量はBbin-Bfa+Bpl-Bfa
+Bplとなる。
れると、この時の制御部６の音声占有量演算部１３で演
算される符号化音声データの占有量はBbin-Bfa+Bpl-Bfa
+Bplとなる。
【００６０】これにより、もしこの時、Pk６で、符号化
映像データのフレームの終端が多重され、アクセスポイ
ントを設定しようとした場合であっても、符号化音声記
憶部１３０４内の符号化音声データの占有量は、制御部
６の制御信号生成部１１の制御により常に、Bbsz-Bfa以
下となるため、Pk７で符号化音声データのフレームの終
端まで多重することができる。即ち、図３（ａ）に示し
た制御部６の多重方式においては、Pk８がアクセスポイ
ントの条件を満たすこととなり、アクセスポイントを設
定するために空パケットを挿入することが不要となる。
映像データのフレームの終端が多重され、アクセスポイ
ントを設定しようとした場合であっても、符号化音声記
憶部１３０４内の符号化音声データの占有量は、制御部
６の制御信号生成部１１の制御により常に、Bbsz-Bfa以
下となるため、Pk７で符号化音声データのフレームの終
端まで多重することができる。即ち、図３（ａ）に示し
た制御部６の多重方式においては、Pk８がアクセスポイ
ントの条件を満たすこととなり、アクセスポイントを設
定するために空パケットを挿入することが不要となる。
【００６１】このように、本発明の実施の形態１による
動画像符号化装置、及び動画像符号化方法によれば、制
御部６の制御信号生成部１１の制御により、アクセスポ
イントの直前に符号化音声データフレームの終端を含む
パケットを多重する時以外は、符号化音声記憶部１３０
４内の符号化音声データの占有量が常に、Bbsz-Bfa以下
となるように制御がなされるため、アクセスポイントを
設定するために空パケットを挿入する必要がなくなり、
動画像符号化装置における多重化効率を向上させること
が可能となる。
動画像符号化装置、及び動画像符号化方法によれば、制
御部６の制御信号生成部１１の制御により、アクセスポ
イントの直前に符号化音声データフレームの終端を含む
パケットを多重する時以外は、符号化音声記憶部１３０
４内の符号化音声データの占有量が常に、Bbsz-Bfa以下
となるように制御がなされるため、アクセスポイントを
設定するために空パケットを挿入する必要がなくなり、
動画像符号化装置における多重化効率を向上させること
が可能となる。
【００６２】（実施の形態２）以下に、本発明の実施の
形態２による動画像符号化装置について図１、図２、図
４を用いて説明する。本発明の実施の形態２による動画
像符号化装置は、前記実施の形態１により図１を用いて
説明した動画像符号化装置の制御部の制御方式のみが相
違するものであり、そのブロック構成は前記実施の形態
１において図１、図２を用いて説明したものと同様であ
る。そのため、本発明の実施の形態２では、図１におけ
る制御部６に対応するブロックを制御部６（ａ）として
表すこととし、その他の構成要素の説明を省略する。
形態２による動画像符号化装置について図１、図２、図
４を用いて説明する。本発明の実施の形態２による動画
像符号化装置は、前記実施の形態１により図１を用いて
説明した動画像符号化装置の制御部の制御方式のみが相
違するものであり、そのブロック構成は前記実施の形態
１において図１、図２を用いて説明したものと同様であ
る。そのため、本発明の実施の形態２では、図１におけ
る制御部６に対応するブロックを制御部６（ａ）として
表すこととし、その他の構成要素の説明を省略する。
【００６３】本発明の実施の形態２による動画像符号化
装置の制御部６（ａ）は、デコーダモデルに入力される
多重データにより、該デコーダモデルの符号化映像記憶
部１３０２と符号化音声記憶部１３０４がそれぞれ破綻
しないようにするとともに、デコーダモデルの符号化音
声記憶部１３０４の遷移について、アクセスポイントの
直前に符号化音声データフレームの終端を含むパケット
を多重する時以外は、その占有量が符号化音声記憶部１
３０４のメモリサイズから多重途中の符号化音声フレー
ムで未だ多重されていない符号化音声データのデータ量
を減じた値以下となるように多重部５を制御する。
装置の制御部６（ａ）は、デコーダモデルに入力される
多重データにより、該デコーダモデルの符号化映像記憶
部１３０２と符号化音声記憶部１３０４がそれぞれ破綻
しないようにするとともに、デコーダモデルの符号化音
声記憶部１３０４の遷移について、アクセスポイントの
直前に符号化音声データフレームの終端を含むパケット
を多重する時以外は、その占有量が符号化音声記憶部１
３０４のメモリサイズから多重途中の符号化音声フレー
ムで未だ多重されていない符号化音声データのデータ量
を減じた値以下となるように多重部５を制御する。
【００６４】図４は、デコーダモデルの符号化音声記憶
部に記憶されている符号化データの遷移について説明す
るための説明図であり、図４(ｂ)は、多重部５で多重さ
れた多重データを示す。なお、パケットPk２とPk４は符
号化音声データを多重したパケットを示し、その他のパ
ケットは符号化映像データを多重したパケットを示して
いる。
部に記憶されている符号化データの遷移について説明す
るための説明図であり、図４(ｂ)は、多重部５で多重さ
れた多重データを示す。なお、パケットPk２とPk４は符
号化音声データを多重したパケットを示し、その他のパ
ケットは符号化映像データを多重したパケットを示して
いる。
【００６５】図４(ｃ)、図４(ｄ)は、それぞれ、パケッ
トPk２とPk４の構成を示し、図示するように、パケット
Pk２は、符号化音声データのフレームFA６のすべてとフ
レームFA７の一部を、パケットPk４は、フレームFA７の
残りを、それぞれ多重している。
トPk２とPk４の構成を示し、図示するように、パケット
Pk２は、符号化音声データのフレームFA６のすべてとフ
レームFA７の一部を、パケットPk４は、フレームFA７の
残りを、それぞれ多重している。
【００６６】図４(ａ)は、図４(ｂ)に示す多重データを
多重した時、制御部６（ａ）の音声占有量記憶部１３で
演算される、デコーダモデルの符号化音声記憶部の占有
量の遷移を示したものである。なお、デコーダモデルに
ついては、従来技術の説明で図１３を用いて説明したも
のと同じであるので説明を省略する。
多重した時、制御部６（ａ）の音声占有量記憶部１３で
演算される、デコーダモデルの符号化音声記憶部の占有
量の遷移を示したものである。なお、デコーダモデルに
ついては、従来技術の説明で図１３を用いて説明したも
のと同じであるので説明を省略する。
【００６７】なお、ここでは、ペイロードサイズをBpl
とし、音声フレームデータ量記憶部２５が保持する，音
声符号化部３で符号化された符号化音声データのフレー
ムのサイズをすべてBfaとする。また、デコーダモデル
の符号化音声記憶部１３０４のメモリサイズをBbszと
し、時間T０の符号化音声記憶部１３０４の占有量をBbi
nとする。なお、符号化音声データがデコードモデルで
復号化されるタイミングを示すフレーム周期はTAである
ものとする。
とし、音声フレームデータ量記憶部２５が保持する，音
声符号化部３で符号化された符号化音声データのフレー
ムのサイズをすべてBfaとする。また、デコーダモデル
の符号化音声記憶部１３０４のメモリサイズをBbszと
し、時間T０の符号化音声記憶部１３０４の占有量をBbi
nとする。なお、符号化音声データがデコードモデルで
復号化されるタイミングを示すフレーム周期はTAである
ものとする。
【００６８】図４（ａ）において、時間T０で符号化音
声記憶部１３０４から１フレーム分の符号化音声データ
が音声復号化部１３０５に出力される。このとき、制御
部６（ａ）の音声占有量演算部１３で演算される、符号
化音声データの占有量はBbin-Bfaとなる。
声記憶部１３０４から１フレーム分の符号化音声データ
が音声復号化部１３０５に出力される。このとき、制御
部６（ａ）の音声占有量演算部１３で演算される、符号
化音声データの占有量はBbin-Bfaとなる。
【００６９】次に、時間T１で、パケットPk２が多重さ
れたとすると、制御部６（ａ）の音声占有量演算部１３
で演算される、符号化音声データの占有量はBbin-Bfa+B
plとなり、パケットPk２に多重されずに残るフレームFA
７は2Bfa-Bplとなる。しかし、このように符号化音声デ
ータを多重することにより、符号化音声データの占有量
がBbin-Bfa+Bpl＞Bbsz−(2Bfa-Bpl)となる場合には、制
御部６（ａ）の制御信号生成部１１は、時間T０+TAで占
有量がBfa分減じるまで符号化音声データをパケットに
多重させないように制御信号を生成し、時間T０+TAで符
号化音声データの占有量がBfa分減った後に、該多重が
なされなかった符号化音声データの多重を行わせる。
れたとすると、制御部６（ａ）の音声占有量演算部１３
で演算される、符号化音声データの占有量はBbin-Bfa+B
plとなり、パケットPk２に多重されずに残るフレームFA
７は2Bfa-Bplとなる。しかし、このように符号化音声デ
ータを多重することにより、符号化音声データの占有量
がBbin-Bfa+Bpl＞Bbsz−(2Bfa-Bpl)となる場合には、制
御部６（ａ）の制御信号生成部１１は、時間T０+TAで占
有量がBfa分減じるまで符号化音声データをパケットに
多重させないように制御信号を生成し、時間T０+TAで符
号化音声データの占有量がBfa分減った後に、該多重が
なされなかった符号化音声データの多重を行わせる。
【００７０】これにより、もしこの時、Pk３で、符号化
映像データのフレームの終端が多重され、アクセスポイ
ントを設定しようとした場合であっても、符号化音声記
憶部１３０４内の符号化音声データの占有量は、制御部
６（ａ）の制御信号生成部１１の制御により常に、符号
化音声記憶部１３０４のメモリサイズBbsz−（パケット
に多重されていない符号化音声データフレームのデータ
量）以下となるので、パケットPk４で符号化音声データ
のフレームの終端まで多重することができる。即ち、図
４（ａ）に示した制御部６（ａ）の多重方式において
は、Pk５がアクセスポイントの条件を満たすこととな
り、アクセスポイントを設定するために空パケットを挿
入することが不要となる。
映像データのフレームの終端が多重され、アクセスポイ
ントを設定しようとした場合であっても、符号化音声記
憶部１３０４内の符号化音声データの占有量は、制御部
６（ａ）の制御信号生成部１１の制御により常に、符号
化音声記憶部１３０４のメモリサイズBbsz−（パケット
に多重されていない符号化音声データフレームのデータ
量）以下となるので、パケットPk４で符号化音声データ
のフレームの終端まで多重することができる。即ち、図
４（ａ）に示した制御部６（ａ）の多重方式において
は、Pk５がアクセスポイントの条件を満たすこととな
り、アクセスポイントを設定するために空パケットを挿
入することが不要となる。
【００７１】このように、本発明の実施の形態２による
動画像符号化装置、及び動画像符号化方法によれば、制
御部６（ａ）の制御信号生成部１１の制御により、アク
セスポイントの直前に符号化音声データフレームの終端
を含むパケットを多重する時以外は、符号化音声記憶部
１３０４内の符号化音声データの占有量が常に、符号化
音声記憶部１３０４のメモリサイズBbsz−（パケットに
多重されていない符号化音声データフレームのデータ
量）以下となるように制御がなされるため、アクセスポ
イントを設定するために空パケットを挿入する必要がな
くなり、動画像符号化装置における多重化効率を向上さ
せることが可能となる。
動画像符号化装置、及び動画像符号化方法によれば、制
御部６（ａ）の制御信号生成部１１の制御により、アク
セスポイントの直前に符号化音声データフレームの終端
を含むパケットを多重する時以外は、符号化音声記憶部
１３０４内の符号化音声データの占有量が常に、符号化
音声記憶部１３０４のメモリサイズBbsz−（パケットに
多重されていない符号化音声データフレームのデータ
量）以下となるように制御がなされるため、アクセスポ
イントを設定するために空パケットを挿入する必要がな
くなり、動画像符号化装置における多重化効率を向上さ
せることが可能となる。
【００７２】（実施の形態３）以下に、本発明の実施の
形態３による動画像符号化装置について図１、図２、図
５を用いて説明する。本発明の実施の形態３による動画
像符号化装置は、前記実施の形態１により図１を用いて
説明した動画像符号化装置の制御部の制御方式のみが相
違するものであり、そのブロック構成は前記実施の形態
１において図１、図２を用いて説明したものと同様であ
る。そのため、本発明の実施の形態３では、図１におけ
る制御部６に対応するブロックを制御部６（ｂ）として
表すこととし、その他の構成要素の説明を省略する。
形態３による動画像符号化装置について図１、図２、図
５を用いて説明する。本発明の実施の形態３による動画
像符号化装置は、前記実施の形態１により図１を用いて
説明した動画像符号化装置の制御部の制御方式のみが相
違するものであり、そのブロック構成は前記実施の形態
１において図１、図２を用いて説明したものと同様であ
る。そのため、本発明の実施の形態３では、図１におけ
る制御部６に対応するブロックを制御部６（ｂ）として
表すこととし、その他の構成要素の説明を省略する。
【００７３】本発明の実施の形態３による動画像符号化
装置の制御部６（ｂ）は、デコーダモデルに入力される
多重データにより、該デコーダモデルの符号化映像記憶
部１３０２と符号化音声記憶部１３０４がそれぞれ破綻
しないようにするとともに、デコーダモデルの符号化音
声記憶部１３０４の遷移について、デコーダモデルにお
いてフレームサイズ分の符号化音声データを符号化音声
記憶部１３０４から減じる時刻（フレーム周期TAの経過
時）から所定の時間（なお、この所定の時間は、任意に
定めることができ、ここでは所定時間をTBとする。）前
の期間以外は、常に符号化音声データの占有量が符号化
音声記憶部１３０４のメモリサイズから符号化音声デー
タのフレームサイズを減じた値以下となるように多重部
５を制御する。なお、TB＜TAとする。
装置の制御部６（ｂ）は、デコーダモデルに入力される
多重データにより、該デコーダモデルの符号化映像記憶
部１３０２と符号化音声記憶部１３０４がそれぞれ破綻
しないようにするとともに、デコーダモデルの符号化音
声記憶部１３０４の遷移について、デコーダモデルにお
いてフレームサイズ分の符号化音声データを符号化音声
記憶部１３０４から減じる時刻（フレーム周期TAの経過
時）から所定の時間（なお、この所定の時間は、任意に
定めることができ、ここでは所定時間をTBとする。）前
の期間以外は、常に符号化音声データの占有量が符号化
音声記憶部１３０４のメモリサイズから符号化音声デー
タのフレームサイズを減じた値以下となるように多重部
５を制御する。なお、TB＜TAとする。
【００７４】図５は、デコーダモデルの符号化音声記憶
部に記憶されている符号化データの遷移について説明す
るための説明図であり、図５（ｂ）は、多重部５で多重
された多重データを示す。なお、パケットPk０、Pk１、
Pk３、Pk４、Pk５、Pk７、Pk１０は符号化映像データを
多重したパケットを示し、パケットPk２、Pk６、Pk９は
符号化音声データを多重したパケットを示す。また、パ
ケットPk８は何も多重されていない空パケットを示す。
部に記憶されている符号化データの遷移について説明す
るための説明図であり、図５（ｂ）は、多重部５で多重
された多重データを示す。なお、パケットPk０、Pk１、
Pk３、Pk４、Pk５、Pk７、Pk１０は符号化映像データを
多重したパケットを示し、パケットPk２、Pk６、Pk９は
符号化音声データを多重したパケットを示す。また、パ
ケットPk８は何も多重されていない空パケットを示す。
【００７５】図５（ｃ）、図５（ｄ）、図５（ｅ）は、
それぞれパケットPk２、Pk６、Pk９の構成を示し、図示
するように、パケットPk２は、符号化音声データのフレ
ームFA６のすべてとフレームFA７の一部を、パケットPk
６は、フレームFA７の残りとフレームFA８のすべてとフ
レームFA９の一部を、パケットPk９は、フレームFA９の
残りを、それぞれ多重している。
それぞれパケットPk２、Pk６、Pk９の構成を示し、図示
するように、パケットPk２は、符号化音声データのフレ
ームFA６のすべてとフレームFA７の一部を、パケットPk
６は、フレームFA７の残りとフレームFA８のすべてとフ
レームFA９の一部を、パケットPk９は、フレームFA９の
残りを、それぞれ多重している。
【００７６】図５（ａ）は、図５（ｂ）に示す多重デー
タを多重した時、制御部６（ｂ）の音声占有量記憶部１
３で演算される、デコードモデルの符号化音声記憶部の
占有量の遷移を示したものである。なお、デコーダモデ
ルについては、従来技術の説明で図１３を用いて説明し
たものと同じであるので説明を省略する。
タを多重した時、制御部６（ｂ）の音声占有量記憶部１
３で演算される、デコードモデルの符号化音声記憶部の
占有量の遷移を示したものである。なお、デコーダモデ
ルについては、従来技術の説明で図１３を用いて説明し
たものと同じであるので説明を省略する。
【００７７】なお、ここでは、ペイロードサイズをBpl
とし、音声フレームデータ量記憶部２５が保持する，音
声符号化部３で符号化された符号化音声データのフレー
ムのサイズをすべてBfaとする。また、デコーダモデル
の符号化音声記憶部１３０４のメモリサイズをBbszと
し、時間T０の符号化音声記憶部１３０４の占有量をBbi
nとする。なお、符号化音声データがデコードモデルで
復号化されるタイミングを示すフレーム周期はTA、前記
所定時間はTBとして表す。
とし、音声フレームデータ量記憶部２５が保持する，音
声符号化部３で符号化された符号化音声データのフレー
ムのサイズをすべてBfaとする。また、デコーダモデル
の符号化音声記憶部１３０４のメモリサイズをBbszと
し、時間T０の符号化音声記憶部１３０４の占有量をBbi
nとする。なお、符号化音声データがデコードモデルで
復号化されるタイミングを示すフレーム周期はTA、前記
所定時間はTBとして表す。
【００７８】図５（ａ）において、時間T０で符号化音
声記憶部１３０４から１フレーム分の符号化音声データ
が音声復号化部１３０５に出力される。このとき、制御
部６（ｂ）の音声占有量演算部１３で演算される、符号
化音声データの占有量はBbin-Bfaとなる。
声記憶部１３０４から１フレーム分の符号化音声データ
が音声復号化部１３０５に出力される。このとき、制御
部６（ｂ）の音声占有量演算部１３で演算される、符号
化音声データの占有量はBbin-Bfaとなる。
【００７９】次に、時間T１（T１＜TA-TB）でパケットP
k２が多重されたとすると、制御部６（ｂ）の音声占有
量演算部１３で演算される、符号化音声データの占有量
は、Bbin-Bfa+Bplとなる。しかし、このように符号化音
声データを多重することにより、符号化音声データの占
有量がBbin-Bfa+Bpl＞Bbsz−Bfaとなる場合には、制御
部６（ｂ）の制御信号生成部１１は、時間T０+TA-TBと
なるまでは符号化音声データをパケットに多重させない
ように制御信号を生成し、時間T０+TA-TBが経過した後
に該多重がなされなかった符号化音声データの多重を行
わせる。なお、この制御部６（ｂ）による制御は、時間
T０+ｎ×TAからT０+TA-TB+ｎ×TA（nは整数）の期間、
行われるものである。
k２が多重されたとすると、制御部６（ｂ）の音声占有
量演算部１３で演算される、符号化音声データの占有量
は、Bbin-Bfa+Bplとなる。しかし、このように符号化音
声データを多重することにより、符号化音声データの占
有量がBbin-Bfa+Bpl＞Bbsz−Bfaとなる場合には、制御
部６（ｂ）の制御信号生成部１１は、時間T０+TA-TBと
なるまでは符号化音声データをパケットに多重させない
ように制御信号を生成し、時間T０+TA-TBが経過した後
に該多重がなされなかった符号化音声データの多重を行
わせる。なお、この制御部６（ｂ）による制御は、時間
T０+ｎ×TAからT０+TA-TB+ｎ×TA（nは整数）の期間、
行われるものである。
【００８０】そして、時間T０+TA-TB経過後の時間T３(T
０+TA-TB≦ T３＜T０+TA )の時、パケットPk６に符号化
音声データを多重するとすると、制御部６（ｂ）の音声
占有量演算部１３で演算される、符号化音声データの占
有量は、Bbin-Bfa+Bpl+Bplとなる。なお、時間T０+TA-T
Bの経過後は、制御部６（ｂ）は、符号化音声データの
占有量をBbsz−Bfa以下にする必要はなく、符号化音声
データの占有量が、符号化音声記憶部１３０４のメモリ
サイズBbsz以下となるように多重部６の制御を行えばよ
い。
０+TA-TB≦ T３＜T０+TA )の時、パケットPk６に符号化
音声データを多重するとすると、制御部６（ｂ）の音声
占有量演算部１３で演算される、符号化音声データの占
有量は、Bbin-Bfa+Bpl+Bplとなる。なお、時間T０+TA-T
Bの経過後は、制御部６（ｂ）は、符号化音声データの
占有量をBbsz−Bfa以下にする必要はなく、符号化音声
データの占有量が、符号化音声記憶部１３０４のメモリ
サイズBbsz以下となるように多重部６の制御を行えばよ
い。
【００８１】次に、このように制御部６により制御され
た多重部５において、アクセスポイントを設定する場合
について説明する。もし、Pk７で、符号化映像データの
フレームの終端が多重されて、その後にアクセスポイン
トを設定しようとした場合には、パケットに多重されて
いない符号化音声データ、即ちフレームFA９の残り４Bf
a-２Bplのデータをパケットに多重しなければならな
い。しかしながら、この時に、Bbin-Bfa+Bpl+Bpl+（４B
fa-２Bpl）＞Bbszとなっている場合には、制御部６
（ｂ）は、直ちにフレームFA９の残りの符号化音声デー
タを多重することが出来ないため、符号化音声データの
占有量がBfa分減る時間T０+TAが経過するまでは、空パ
ケットを挿入（Pk８）し、時間T０+TAの経過後（時間T
４）に、該多重がなされなかった符号化音声データ（FA
９の残り４Bfa-２Bpl）の多重を行わせる。こうするこ
とにより、次のパケットPk１０がアクセスポイントの条
件を満たすこととなる。
た多重部５において、アクセスポイントを設定する場合
について説明する。もし、Pk７で、符号化映像データの
フレームの終端が多重されて、その後にアクセスポイン
トを設定しようとした場合には、パケットに多重されて
いない符号化音声データ、即ちフレームFA９の残り４Bf
a-２Bplのデータをパケットに多重しなければならな
い。しかしながら、この時に、Bbin-Bfa+Bpl+Bpl+（４B
fa-２Bpl）＞Bbszとなっている場合には、制御部６
（ｂ）は、直ちにフレームFA９の残りの符号化音声デー
タを多重することが出来ないため、符号化音声データの
占有量がBfa分減る時間T０+TAが経過するまでは、空パ
ケットを挿入（Pk８）し、時間T０+TAの経過後（時間T
４）に、該多重がなされなかった符号化音声データ（FA
９の残り４Bfa-２Bpl）の多重を行わせる。こうするこ
とにより、次のパケットPk１０がアクセスポイントの条
件を満たすこととなる。
【００８２】また、図示していないが、もし、時間T0+T
A-TB以前で符号化映像データのフレームの終端が多重さ
れ、アクセスポイントを設定しようとする場合には、前
述したように制御部６（ｂ）は、常に符号化音声データ
の占有量が、Bbsz−Bfa以下となるように制御を行って
いるため、符号化映像データのフレームの終端が多重さ
れたパケットの次のパケットで直ちに符号化音声データ
の多重を行うことができ、空パケットの挿入なしにアク
セスポイントを設定することができる。
A-TB以前で符号化映像データのフレームの終端が多重さ
れ、アクセスポイントを設定しようとする場合には、前
述したように制御部６（ｂ）は、常に符号化音声データ
の占有量が、Bbsz−Bfa以下となるように制御を行って
いるため、符号化映像データのフレームの終端が多重さ
れたパケットの次のパケットで直ちに符号化音声データ
の多重を行うことができ、空パケットの挿入なしにアク
セスポイントを設定することができる。
【００８３】このように、本発明の実施の形態３による
動画像符号化装置、及び動画像符号化方法によれば、時
間T０＋ｎ×TAからT０＋TA−TB＋ｎ×TA（nは整数）の
期間は、デコーダモデルにおける符号化音声記憶部１３
０４の占有量が常に符号化音声記憶部１３０４のメモリ
サイズからフレームサイズを減じた値以下となるように
符号化音声データの多重が行われるため、この時間T０
＋ｎ×TAからT０＋TA−TB＋ｎ×TA（nは整数）の期間に
アクセスポイントを設ける場合には、空パケットの挿入
なしにアクセスポイントを設定することができる。
動画像符号化装置、及び動画像符号化方法によれば、時
間T０＋ｎ×TAからT０＋TA−TB＋ｎ×TA（nは整数）の
期間は、デコーダモデルにおける符号化音声記憶部１３
０４の占有量が常に符号化音声記憶部１３０４のメモリ
サイズからフレームサイズを減じた値以下となるように
符号化音声データの多重が行われるため、この時間T０
＋ｎ×TAからT０＋TA−TB＋ｎ×TA（nは整数）の期間に
アクセスポイントを設ける場合には、空パケットの挿入
なしにアクセスポイントを設定することができる。
【００８４】また、T０＋TA−TB+ｎ×TA（nは整数）か
ら時間ｎ×TA（ｎは整数）の期間は、アクセスポイント
を設定するために、必要に応じて空パケットを挿入する
必要があるが、従来の動画像符号化装置では、アクセス
ポイントを設定するために最大TA時間、空パケットを挿
入する必要があったが、本発明の実施の形態３では、最
大TB時間の空パケットの挿入で済むこととなり、動画像
符号化装置全体の多重化効率を上げることが可能とな
る。
ら時間ｎ×TA（ｎは整数）の期間は、アクセスポイント
を設定するために、必要に応じて空パケットを挿入する
必要があるが、従来の動画像符号化装置では、アクセス
ポイントを設定するために最大TA時間、空パケットを挿
入する必要があったが、本発明の実施の形態３では、最
大TB時間の空パケットの挿入で済むこととなり、動画像
符号化装置全体の多重化効率を上げることが可能とな
る。
【００８５】（実施の形態４）以下に、本発明の実施の
形態４による動画像符号化装置について図１、図２、図
６を用いて説明する。本発明の実施の形態４による動画
像符号化装置は、前記実施の形態１により図１を用いて
説明した動画像符号化装置の制御部の制御方式のみが相
違するものであり、そのブロック構成は前記実施の形態
１において図１、図２を用いて説明したものと同様であ
る。そのため、本発明の実施の形態４では、図１におけ
る制御部６に対応するブロックを制御部６（ｃ）として
表すこととし、その他の構成要素の説明を省略する。
形態４による動画像符号化装置について図１、図２、図
６を用いて説明する。本発明の実施の形態４による動画
像符号化装置は、前記実施の形態１により図１を用いて
説明した動画像符号化装置の制御部の制御方式のみが相
違するものであり、そのブロック構成は前記実施の形態
１において図１、図２を用いて説明したものと同様であ
る。そのため、本発明の実施の形態４では、図１におけ
る制御部６に対応するブロックを制御部６（ｃ）として
表すこととし、その他の構成要素の説明を省略する。
【００８６】本発明の実施の形態４による動画像符号化
装置の制御部６（ｃ）は、デコーダモデルに入力される
多重データにより、該デコーダモデルの符号化映像記憶
部１３０２と符号化音声記憶部１３０４がそれぞれ破綻
しないようにするとともに、デコーダモデルの符号化音
声記憶部１３０４の遷移について、デコーダモデルにお
いて、フレームサイズ分の符号化音声データを符号化音
声記憶部１３０４から減じる時刻（フレーム周期TAの経
過時）から所定の時間（なお、この所定の時間は、任意
に定めることができ、ここでは所定時間をTBとする。）
前の期間以外は、常に符号化音声データの占有量が、符
号化音声記憶部１３０４のメモリサイズから多重途中の
符号化音声フレームで未だ多重されていない符号化音声
データのデータ量を減じた値以下となるように多重部５
を制御する。なお、TB＜TAとする。
装置の制御部６（ｃ）は、デコーダモデルに入力される
多重データにより、該デコーダモデルの符号化映像記憶
部１３０２と符号化音声記憶部１３０４がそれぞれ破綻
しないようにするとともに、デコーダモデルの符号化音
声記憶部１３０４の遷移について、デコーダモデルにお
いて、フレームサイズ分の符号化音声データを符号化音
声記憶部１３０４から減じる時刻（フレーム周期TAの経
過時）から所定の時間（なお、この所定の時間は、任意
に定めることができ、ここでは所定時間をTBとする。）
前の期間以外は、常に符号化音声データの占有量が、符
号化音声記憶部１３０４のメモリサイズから多重途中の
符号化音声フレームで未だ多重されていない符号化音声
データのデータ量を減じた値以下となるように多重部５
を制御する。なお、TB＜TAとする。
【００８７】図６は、デコーダモデルの符号化音声記憶
部に記憶されている符号化データの遷移について説明す
るための説明図であり、図６（ｂ）は、多重部５で多重
された多重データを示す。なお、パケットPk０、Pk１、
Pk３、Pk４、Pk５、Pk７、Pk１０は符号化映像データを
多重したパケットを示し、パケットPk２、Pk６、Pk９は
符号化音声データを多重したパケットを示す。また、パ
ケットPk８は何も多重されていない空パケットを示す。
部に記憶されている符号化データの遷移について説明す
るための説明図であり、図６（ｂ）は、多重部５で多重
された多重データを示す。なお、パケットPk０、Pk１、
Pk３、Pk４、Pk５、Pk７、Pk１０は符号化映像データを
多重したパケットを示し、パケットPk２、Pk６、Pk９は
符号化音声データを多重したパケットを示す。また、パ
ケットPk８は何も多重されていない空パケットを示す。
【００８８】図６（ｃ）、図６（ｄ）、図６（ｅ）は、
それぞれパケットPk２、Pk６、Pk９の構成を示し、図示
するように、パケットPk２は、符号化音声データのフレ
ームFA６のすべてとフレームFA７の一部を、パケットPk
６は、フレームFA７の残りとフレームFA８のすべてとフ
レームFA９の一部を、パケットPk９は、フレームFA９の
残りを、それぞれ多重している。
それぞれパケットPk２、Pk６、Pk９の構成を示し、図示
するように、パケットPk２は、符号化音声データのフレ
ームFA６のすべてとフレームFA７の一部を、パケットPk
６は、フレームFA７の残りとフレームFA８のすべてとフ
レームFA９の一部を、パケットPk９は、フレームFA９の
残りを、それぞれ多重している。
【００８９】図６（ａ）は、図６（ｂ）に示す多重デー
タを多重した時、制御部６（ｃ）の音声占有量記憶部１
３で演算される、デコードモデルの符号化音声記憶部の
占有量の遷移を示したものである。なお、デコーダモデ
ルについては、従来技術の説明で図１３を用いて説明し
たものと同じであるので説明を省略する。
タを多重した時、制御部６（ｃ）の音声占有量記憶部１
３で演算される、デコードモデルの符号化音声記憶部の
占有量の遷移を示したものである。なお、デコーダモデ
ルについては、従来技術の説明で図１３を用いて説明し
たものと同じであるので説明を省略する。
【００９０】なお、ここでは、ペイロードサイズをBpl
とし、音声フレームデータ量記憶部２５が保持する，音
声符号化部３で符号化された符号化音声データのフレー
ムのサイズをすべてBfaとする。また、デコーダモデル
の符号化音声記憶部１３０４のメモリサイズをBbszと
し、時間T０の符号化音声記憶部１３０４の占有量をBbi
nとする。なお、符号化音声データがデコードモデルで
復号化されるタイミングを示すフレーム周期はTA、前記
所定時間はTBとして表す。
とし、音声フレームデータ量記憶部２５が保持する，音
声符号化部３で符号化された符号化音声データのフレー
ムのサイズをすべてBfaとする。また、デコーダモデル
の符号化音声記憶部１３０４のメモリサイズをBbszと
し、時間T０の符号化音声記憶部１３０４の占有量をBbi
nとする。なお、符号化音声データがデコードモデルで
復号化されるタイミングを示すフレーム周期はTA、前記
所定時間はTBとして表す。
【００９１】図６（ａ）において、時間T０で符号化音
声記憶部１３０４から１フレーム分の符号化音声データ
が音声復号化部１３０５に出力される。このとき、制御
部６（ｃ）の音声占有量演算部１３で演算される、符号
化音声データの占有量はBbin-Bfaとなる。
声記憶部１３０４から１フレーム分の符号化音声データ
が音声復号化部１３０５に出力される。このとき、制御
部６（ｃ）の音声占有量演算部１３で演算される、符号
化音声データの占有量はBbin-Bfaとなる。
【００９２】次に、時間T１（T１＜TA-TB）でパケットP
k２が多重されたとすると、制御部６（ｃ）の音声占有
量演算部１３で演算される、符号化音声データの占有量
は、Bbin-Bfa+Bplとなる。しかし、このように符号化音
声データを多重することにより、符号化音声データの占
有量がBbin-Bfa+Bpl＞Bbsz−｛多重途中の符号化音声フ
レームでまだ多重されていないデータ量（ここでは、2B
fa-Bpl）｝となる場合には、制御部６（ｃ）の制御信号
生成部１１は、時間T０+TA-TBとなるまでは符号化音声
データをパケットに多重させないように制御信号を生成
し、時間T０+TA-TBが経過した後に該多重がなされなか
った符号化音声データの多重を行わせる。なお、この制
御部６（ｃ）による制御は、時間T０+ｎ×TAからT０+TA
-TB+ｎ×TA（nは整数）の期間、行われるものである。
k２が多重されたとすると、制御部６（ｃ）の音声占有
量演算部１３で演算される、符号化音声データの占有量
は、Bbin-Bfa+Bplとなる。しかし、このように符号化音
声データを多重することにより、符号化音声データの占
有量がBbin-Bfa+Bpl＞Bbsz−｛多重途中の符号化音声フ
レームでまだ多重されていないデータ量（ここでは、2B
fa-Bpl）｝となる場合には、制御部６（ｃ）の制御信号
生成部１１は、時間T０+TA-TBとなるまでは符号化音声
データをパケットに多重させないように制御信号を生成
し、時間T０+TA-TBが経過した後に該多重がなされなか
った符号化音声データの多重を行わせる。なお、この制
御部６（ｃ）による制御は、時間T０+ｎ×TAからT０+TA
-TB+ｎ×TA（nは整数）の期間、行われるものである。
【００９３】そして、時間T０+TA-TB経過後の時間T３
（T０+TA-TB≦ T３＜T０+TA）の時、パケットPk６に符
号化音声データを多重するとすると、制御部６（ｃ）の
音声占有量演算部１３で演算される、符号化音声データ
の占有量は、Bbin-Bfa+Bpl+Bplとなる。なお、時間T０+
TA-TBの経過後は、制御部６（ｃ）は、符号化音声デー
タの占有量をBbsz −｛多重途中の符号化音声フレーム
でまだ多重されていないデータ量（ここでは、2Bfa-Bp
l）｝以下にする必要はなく、符号化音声データの占有
量が、符号化音声記憶部１３０４のメモリサイズBbsz以
下となるように多重部６の制御を行えばよい。
（T０+TA-TB≦ T３＜T０+TA）の時、パケットPk６に符
号化音声データを多重するとすると、制御部６（ｃ）の
音声占有量演算部１３で演算される、符号化音声データ
の占有量は、Bbin-Bfa+Bpl+Bplとなる。なお、時間T０+
TA-TBの経過後は、制御部６（ｃ）は、符号化音声デー
タの占有量をBbsz −｛多重途中の符号化音声フレーム
でまだ多重されていないデータ量（ここでは、2Bfa-Bp
l）｝以下にする必要はなく、符号化音声データの占有
量が、符号化音声記憶部１３０４のメモリサイズBbsz以
下となるように多重部６の制御を行えばよい。
【００９４】次に、このように制御部６により制御され
た多重部５において、アクセスポイントを設定する場合
について説明する。もし、Pk７で、符号化映像データの
フレームの終端が多重されて、その後にアクセスポイン
トを設定しようとした場合には、パケットに多重されて
いない符号化音声データ、即ちフレームFA９の残り４Bf
a-２Bplのデータをパケットに多重しなければならな
い。しかしながら、この時に、Bbin-Bfa+Bpl+Bpl+（４B
fa-２Bpl）＞Bbszとなっている場合には、制御部６
（ｃ）は、直ちにフレームFA９の残りの符号化音声デー
タを多重することが出来ないため、符号化音声データの
占有量がBfa分減る時間T０+TAが経過するまでは、空パ
ケットを挿入（Pk８）し、時間T０+TAの経過後（時間T
４）に、該多重がなされなかった符号化音声データ（FA
９の残り４Bfa-２Bpl）の多重を行わせる。こうするこ
とにより、次のパケットPk１０がアクセスポイントの条
件を満たすこととなる。
た多重部５において、アクセスポイントを設定する場合
について説明する。もし、Pk７で、符号化映像データの
フレームの終端が多重されて、その後にアクセスポイン
トを設定しようとした場合には、パケットに多重されて
いない符号化音声データ、即ちフレームFA９の残り４Bf
a-２Bplのデータをパケットに多重しなければならな
い。しかしながら、この時に、Bbin-Bfa+Bpl+Bpl+（４B
fa-２Bpl）＞Bbszとなっている場合には、制御部６
（ｃ）は、直ちにフレームFA９の残りの符号化音声デー
タを多重することが出来ないため、符号化音声データの
占有量がBfa分減る時間T０+TAが経過するまでは、空パ
ケットを挿入（Pk８）し、時間T０+TAの経過後（時間T
４）に、該多重がなされなかった符号化音声データ（FA
９の残り４Bfa-２Bpl）の多重を行わせる。こうするこ
とにより、次のパケットPk１０がアクセスポイントの条
件を満たすこととなる。
【００９５】また、図示していないが、もし、時間T0+T
A-TB以前で符号化映像データのフレームの終端が多重さ
れ、アクセスポイントを設定しようとする場合には、前
述したように制御部６（ｃ）は、常に符号化音声データ
の占有量がBbsz −（多重途中の符号化音声フレームで
まだ多重されていないデータ量）以下となるように制御
を行っているため、符号化映像データのフレームの終端
が多重されたパケットの次のパケットで、符号化音声デ
ータのフレームの終端までのデータを多重することがで
き、空パケットの挿入なしにアクセスポイントを設定す
ることができる。
A-TB以前で符号化映像データのフレームの終端が多重さ
れ、アクセスポイントを設定しようとする場合には、前
述したように制御部６（ｃ）は、常に符号化音声データ
の占有量がBbsz −（多重途中の符号化音声フレームで
まだ多重されていないデータ量）以下となるように制御
を行っているため、符号化映像データのフレームの終端
が多重されたパケットの次のパケットで、符号化音声デ
ータのフレームの終端までのデータを多重することがで
き、空パケットの挿入なしにアクセスポイントを設定す
ることができる。
【００９６】このように、本発明の実施の形態４による
動画像符号化装置、及び動画像符号化方法によれば、時
間T０+ｎ×TAからT０+TA-TB+ｎ×TA（nは整数）の期間
は、デコーダモデルにおける符号化音声記憶部１３０４
の占有量が、常に符号化音声記憶部１３０４のメモリサ
イズから多重途中の符号化音声フレームでまだ多重され
ていないデータ量を減じた値以下となるように符号化音
声データの多重が行われるため、この時間T０+ｎ×TAか
らT０+TA-TB+ｎ×TA（nは整数）の期間にアクセスポイ
ントを設ける場合には、空パケットの挿入なしにアクセ
スポイントを設定することができる。
動画像符号化装置、及び動画像符号化方法によれば、時
間T０+ｎ×TAからT０+TA-TB+ｎ×TA（nは整数）の期間
は、デコーダモデルにおける符号化音声記憶部１３０４
の占有量が、常に符号化音声記憶部１３０４のメモリサ
イズから多重途中の符号化音声フレームでまだ多重され
ていないデータ量を減じた値以下となるように符号化音
声データの多重が行われるため、この時間T０+ｎ×TAか
らT０+TA-TB+ｎ×TA（nは整数）の期間にアクセスポイ
ントを設ける場合には、空パケットの挿入なしにアクセ
スポイントを設定することができる。
【００９７】また、T０+TA-TB+ｎ×TA（nは整数）から
時間ｎ×TA（ｎは整数）の期間は、アクセスポイントを
設定するために、必要に応じて空パケットを挿入する必
要があるが、従来の動画像符号化装置では、アクセスポ
イントを設定するために最大TA時間、空パケットを挿入
する必要があったが、本発明の実施の形態４では、最大
TB時間の空パケットの挿入で済むこととなり、動画像符
号化装置全体の多重化効率を上げることが可能となる。
時間ｎ×TA（ｎは整数）の期間は、アクセスポイントを
設定するために、必要に応じて空パケットを挿入する必
要があるが、従来の動画像符号化装置では、アクセスポ
イントを設定するために最大TA時間、空パケットを挿入
する必要があったが、本発明の実施の形態４では、最大
TB時間の空パケットの挿入で済むこととなり、動画像符
号化装置全体の多重化効率を上げることが可能となる。
【００９８】（実施の形態５）以下に、本発明の実施の
形態５による動画像符号化装置について図１、図２、図
７を用いて説明する。本発明の実施の形態５による動画
像符号化装置は、前記実施の形態１により図１を用いて
説明した動画像符号化装置の制御部の制御方式のみが相
違するものであり、そのブロック構成は前記実施の形態
１において図１、図２を用いて説明したものと同様であ
る。そのため、本発明の実施の形態５では、図１におけ
る制御部６に対応するブロックを制御部６（ｄ）として
表すこととし、その他の構成要素の説明を省略する。
形態５による動画像符号化装置について図１、図２、図
７を用いて説明する。本発明の実施の形態５による動画
像符号化装置は、前記実施の形態１により図１を用いて
説明した動画像符号化装置の制御部の制御方式のみが相
違するものであり、そのブロック構成は前記実施の形態
１において図１、図２を用いて説明したものと同様であ
る。そのため、本発明の実施の形態５では、図１におけ
る制御部６に対応するブロックを制御部６（ｄ）として
表すこととし、その他の構成要素の説明を省略する。
【００９９】本発明の実施の形態５による動画像符号化
装置の制御部６（ｄ）は、デコーダモデルに入力される
多重データにより、該デコーダモデルの符号化映像記憶
部１３０２と符号化音声記憶部１３０４がそれぞれ破綻
しないようにするとともに、デコーダモデルの符号化音
声記憶部１３０４の遷移について、デコーダモデルにお
いて、符号化音声データの占有量が符号化音声記憶部１
３０４のメモリサイズから符号化音声データのフレーム
サイズを減じた値以上となる場合は、符号化音声データ
をパケットに多重する際に、該パケットに多重する符号
化音声データの終端と、該パケットに多重するフレーム
の終端とが一致するように多重部５を制御する。
装置の制御部６（ｄ）は、デコーダモデルに入力される
多重データにより、該デコーダモデルの符号化映像記憶
部１３０２と符号化音声記憶部１３０４がそれぞれ破綻
しないようにするとともに、デコーダモデルの符号化音
声記憶部１３０４の遷移について、デコーダモデルにお
いて、符号化音声データの占有量が符号化音声記憶部１
３０４のメモリサイズから符号化音声データのフレーム
サイズを減じた値以上となる場合は、符号化音声データ
をパケットに多重する際に、該パケットに多重する符号
化音声データの終端と、該パケットに多重するフレーム
の終端とが一致するように多重部５を制御する。
【０１００】図７は、デコーダモデルの符号化音声記憶
部に記憶されている符号化データの遷移について説明す
るための説明図であり、図７（ｂ）は、多重部５で多重
された多重データを示す。なお、パケットPk０、Pk１、
Pk３、Pk４、Pk５、Pk６、Pk８、Pk１０は符号化映像デ
ータを多重したパケットを示し、パケットPk２、Pk７、
Pk９は符号化音声データを多重したパケットを示す。
部に記憶されている符号化データの遷移について説明す
るための説明図であり、図７（ｂ）は、多重部５で多重
された多重データを示す。なお、パケットPk０、Pk１、
Pk３、Pk４、Pk５、Pk６、Pk８、Pk１０は符号化映像デ
ータを多重したパケットを示し、パケットPk２、Pk７、
Pk９は符号化音声データを多重したパケットを示す。
【０１０１】図７（ｃ）、図７（ｄ）は、それぞれパケ
ットPk２、Pk７の構成を示し、図示するように、パケッ
トPk２は、符号化音声データのフレームFA６のすべてと
フレームFA７の一部を、パケットPk７は、フレームFA７
の残りを、それぞれ多重している。
ットPk２、Pk７の構成を示し、図示するように、パケッ
トPk２は、符号化音声データのフレームFA６のすべてと
フレームFA７の一部を、パケットPk７は、フレームFA７
の残りを、それぞれ多重している。
【０１０２】図７（ａ）は、図７（ｂ）に示す多重デー
タを多重した時、制御部６（ｄ）の音声占有量記憶部１
３で演算される、デコードモデルの符号化音声記憶部の
占有量の遷移を示したものである。なお、デコーダモデ
ルについては、従来技術の説明で図１３を用いて説明し
たものと同じであるので説明を省略する。
タを多重した時、制御部６（ｄ）の音声占有量記憶部１
３で演算される、デコードモデルの符号化音声記憶部の
占有量の遷移を示したものである。なお、デコーダモデ
ルについては、従来技術の説明で図１３を用いて説明し
たものと同じであるので説明を省略する。
【０１０３】なお、ここでは、ペイロードサイズをBpl
とし、音声フレームデータ量記憶部２５が保持する，音
声符号化部３で符号化された符号化音声データのフレー
ムのサイズをすべてBfaとする。また、デコーダモデル
の符号化音声記憶部１３０４のメモリサイズをBbszと
し、時間T０の符号化音声記憶部１３０４の占有量をBbi
nとする。なお、符号化音声データがデコードモデルで
復号化されるタイミングを示すフレーム周期はTAとす
る。
とし、音声フレームデータ量記憶部２５が保持する，音
声符号化部３で符号化された符号化音声データのフレー
ムのサイズをすべてBfaとする。また、デコーダモデル
の符号化音声記憶部１３０４のメモリサイズをBbszと
し、時間T０の符号化音声記憶部１３０４の占有量をBbi
nとする。なお、符号化音声データがデコードモデルで
復号化されるタイミングを示すフレーム周期はTAとす
る。
【０１０４】図７（ａ）において、時間T０で符号化音
声記憶部１３０４から１フレーム分の符号化音声データ
が音声復号化部１３０５に出力される。このとき、制御
部６（ｄ）の音声占有量演算部１３で演算される、符号
化音声データの占有量はBbin-Bfaとなる。
声記憶部１３０４から１フレーム分の符号化音声データ
が音声復号化部１３０５に出力される。このとき、制御
部６（ｄ）の音声占有量演算部１３で演算される、符号
化音声データの占有量はBbin-Bfaとなる。
【０１０５】次に、時間T１でパケットPk２が多重され
たとすると、制御部６（ｄ）の音声占有量演算部１３で
演算される、符号化音声データの占有量は、Bbin-Bfa+B
plとなる。なお、この時は、図７（ａ）に示すように符
号化音声データの占有量がBbin-Bfa+Bpl≦Bbsz-Bfaであ
り、制御部６（ｄ）は、この条件Bbin-Bfa+Bpl≦Bbsz-B
faを満たす限りにおいては、パケットのペイロードサイ
ズまで符号化音声データを、パケットに多重するように
制御する。
たとすると、制御部６（ｄ）の音声占有量演算部１３で
演算される、符号化音声データの占有量は、Bbin-Bfa+B
plとなる。なお、この時は、図７（ａ）に示すように符
号化音声データの占有量がBbin-Bfa+Bpl≦Bbsz-Bfaであ
り、制御部６（ｄ）は、この条件Bbin-Bfa+Bpl≦Bbsz-B
faを満たす限りにおいては、パケットのペイロードサイ
ズまで符号化音声データを、パケットに多重するように
制御する。
【０１０６】そして、時間T３の時に次の符号化音声デ
ータをパケットPk７に多重する。このとき、仮に符号化
音声データをパケットのペイロードサイズまで多重した
場合には、音声占有量演算部１３で演算される、符号化
音声データの占有量は、Bbin-Bfa+Bpl+Bplとなり、図７
（ａ）に示すように符号化音声データの占有量は、Bbsz
-Bfaより大きくなりBbin-Bfa+Bpl+Bpl≦Bbsz-Bfaの関係
を満たさなくなる。そのため、制御部６（ｄ）は、パケ
ットPk７に符号化音声フレームFA７の残りのデータを多
重し、残りのパケットのペイロードには無効データであ
るパディングデータを多重するよう制御する。
ータをパケットPk７に多重する。このとき、仮に符号化
音声データをパケットのペイロードサイズまで多重した
場合には、音声占有量演算部１３で演算される、符号化
音声データの占有量は、Bbin-Bfa+Bpl+Bplとなり、図７
（ａ）に示すように符号化音声データの占有量は、Bbsz
-Bfaより大きくなりBbin-Bfa+Bpl+Bpl≦Bbsz-Bfaの関係
を満たさなくなる。そのため、制御部６（ｄ）は、パケ
ットPk７に符号化音声フレームFA７の残りのデータを多
重し、残りのパケットのペイロードには無効データであ
るパディングデータを多重するよう制御する。
【０１０７】次に、アクセスポイントを設定する場合に
ついて説明する。もし、Pk６で符号化映像データのフレ
ームの終端が多重され、Pk８でアクセスポイントを設定
しようとした場合には、すでにPk7において、フレームF
A７の終端までのデータが多重されているため、空パケ
ットを挿入することなくパケットPk９がアクセスポイン
トの条件を満たすこととなる。
ついて説明する。もし、Pk６で符号化映像データのフレ
ームの終端が多重され、Pk８でアクセスポイントを設定
しようとした場合には、すでにPk7において、フレームF
A７の終端までのデータが多重されているため、空パケ
ットを挿入することなくパケットPk９がアクセスポイン
トの条件を満たすこととなる。
【０１０８】また、図示していないが、もし、Pk１で符
号化映像データのフレームの終端が多重され、Pk３でア
クセスポイントを設定しようとした場合には、前述した
ように制御部６（ｄ）は、符号化音声データの占有量が
Bbsz −Bfa以下となるように制御を行っているため、符
号化映像データのフレームの終端が多重されたパケット
Pk１の次のパケットPk２で、符号化音声データのフレー
ムの終端までのデータを多重することができ、空パケッ
トの挿入なしにパケットPk３でアクセスポイントを設定
することができる。
号化映像データのフレームの終端が多重され、Pk３でア
クセスポイントを設定しようとした場合には、前述した
ように制御部６（ｄ）は、符号化音声データの占有量が
Bbsz −Bfa以下となるように制御を行っているため、符
号化映像データのフレームの終端が多重されたパケット
Pk１の次のパケットPk２で、符号化音声データのフレー
ムの終端までのデータを多重することができ、空パケッ
トの挿入なしにパケットPk３でアクセスポイントを設定
することができる。
【０１０９】このように、本発明の実施の形態５による
動画像符号化装置、及び動画像符号化方法によれば、符
号化音声データの多重を行う際に、デコーダモデルにお
ける符号化音声記憶部１３０４の占有量が符号化音声記
憶部１３０４のメモリサイズから符号化音声データのフ
レームサイズを減じた値以上となる場合には、符号化音
声データをパケットに多重する際に、該パケットに多重
する符号化音声データの終端と、該パケットに多重する
フレームの終端とが一致するように多重を行うため、常
に空パケットの挿入なしにアクセスポイントを設定する
ことができ、動画像符号化装置における多重化効率を向
上することができる。
動画像符号化装置、及び動画像符号化方法によれば、符
号化音声データの多重を行う際に、デコーダモデルにお
ける符号化音声記憶部１３０４の占有量が符号化音声記
憶部１３０４のメモリサイズから符号化音声データのフ
レームサイズを減じた値以上となる場合には、符号化音
声データをパケットに多重する際に、該パケットに多重
する符号化音声データの終端と、該パケットに多重する
フレームの終端とが一致するように多重を行うため、常
に空パケットの挿入なしにアクセスポイントを設定する
ことができ、動画像符号化装置における多重化効率を向
上することができる。
【０１１０】なお、本発明の実施の形態１から５におい
ては、パケットのペイロードサイズが符号化音声データ
のフレームサイズより大きく、２フレーム分のサイズよ
り小さい場合について説明したが、それ以外の場合で
も、フレームサイズがペイロードサイズより小さければ
同様に本発明を適用することができ、前述した本発明の
実施の形態における効果と同様の効果を得ることができ
る。また、フレームサイズがペイロードサイズより小さ
いものであれば、パケットのペイロードサイズと符号化
音声データのフレームサイズは固定されたものでなくて
もよい。
ては、パケットのペイロードサイズが符号化音声データ
のフレームサイズより大きく、２フレーム分のサイズよ
り小さい場合について説明したが、それ以外の場合で
も、フレームサイズがペイロードサイズより小さければ
同様に本発明を適用することができ、前述した本発明の
実施の形態における効果と同様の効果を得ることができ
る。また、フレームサイズがペイロードサイズより小さ
いものであれば、パケットのペイロードサイズと符号化
音声データのフレームサイズは固定されたものでなくて
もよい。
【０１１１】また、本発明の実施の形態１から５におい
ては、デコーダモデルで、特定の符号化音声データのパ
ケットがデコーダモデルの符号化音声記憶部に入力され
る時間を遅らせるために空パケットを挿入するものにつ
いて説明したが、例えば、MPEG２規格のデータの場合に
は、多重を行うパケットに、当該パケットがデコーダモ
デルの記憶部に入力される時刻を示す情報を付すように
し、特定の符号化データのパケットの，デコーダモデル
の記憶部に入力される時間を遅らせたい場合には、当該
パケットを多重する際に該パケットのデコーダモデルの
記憶部に入力される時刻を進めるように変更すればよ
い。
ては、デコーダモデルで、特定の符号化音声データのパ
ケットがデコーダモデルの符号化音声記憶部に入力され
る時間を遅らせるために空パケットを挿入するものにつ
いて説明したが、例えば、MPEG２規格のデータの場合に
は、多重を行うパケットに、当該パケットがデコーダモ
デルの記憶部に入力される時刻を示す情報を付すように
し、特定の符号化データのパケットの，デコーダモデル
の記憶部に入力される時間を遅らせたい場合には、当該
パケットを多重する際に該パケットのデコーダモデルの
記憶部に入力される時刻を進めるように変更すればよ
い。
【０１１２】また、本発明の実施の形態１から５におい
ては、MPEG２規格のフォーマットに映像データと音声デ
ータを符号化する動画像符号化装置の一例について説明
したが、動画像符号化装置において符号化を行う際の規
格や符号化方式については特に限定はなく、MPEG２規格
以外の他の符号化方式等により映像データと音声データ
を符号化する場合においても本発明を適用することがで
きる。
ては、MPEG２規格のフォーマットに映像データと音声デ
ータを符号化する動画像符号化装置の一例について説明
したが、動画像符号化装置において符号化を行う際の規
格や符号化方式については特に限定はなく、MPEG２規格
以外の他の符号化方式等により映像データと音声データ
を符号化する場合においても本発明を適用することがで
きる。
【０１１３】また、本発明の実施の形態１から５におい
ては、符号化音声データのフレームサイズがすべてBfa
で一定であるものとして説明を行ったが、符号化音声デ
ータのフレームサイズがフレーム毎に変更する場合であ
っても、図３、図５、図７に示すBbsz-Bfaの値をBbsz-B
fa(max)（Bfa(max)：最大のフレームサイズを有するフ
レームのデータ量）とするように制御部６が多重部５を
制御することにより、同様に本発明を適用することがで
きる。
ては、符号化音声データのフレームサイズがすべてBfa
で一定であるものとして説明を行ったが、符号化音声デ
ータのフレームサイズがフレーム毎に変更する場合であ
っても、図３、図５、図７に示すBbsz-Bfaの値をBbsz-B
fa(max)（Bfa(max)：最大のフレームサイズを有するフ
レームのデータ量）とするように制御部６が多重部５を
制御することにより、同様に本発明を適用することがで
きる。
【０１１４】また、本発明の実施の形態１から５におい
ては、デコーダモデルが有する符号化音声記憶部が１つ
であるものについて説明したが、デコーダモデルが符号
化音声記憶部を２つ以上有する場合であっても、制御部
６がそれぞれの符号化音声記憶部における符号化音声デ
ータの占有量に基づいて多重部５を制御することによ
り、同様に本発明を適用することができる。
ては、デコーダモデルが有する符号化音声記憶部が１つ
であるものについて説明したが、デコーダモデルが符号
化音声記憶部を２つ以上有する場合であっても、制御部
６がそれぞれの符号化音声記憶部における符号化音声デ
ータの占有量に基づいて多重部５を制御することによ
り、同様に本発明を適用することができる。
【０１１５】（実施の形態６）次に、本発明の実施の形
態６による動画像復号化システムについて説明する。図
８は、本発明の実施の形態６による動画像復号化システ
ムの一例を示すブロック図である。図８において、動画
像復号化システムは、映像データ出力装置８０１と、音
声データ出力装置８０２と、動画像符号化装置８０３と
出力バッファ８０４と、伝送路８０５と、入力バッファ
８０６と、動画像復号化装置８０７と、映像データ再生
装置８０８と、音声データ再生装置８０９とを備えてい
る。なお、映像データ出力装置８０１と、音声データ出
力装置８０２と、動画像符号化装置８０３と、出力バッ
ファ８０４は送信側に設けられており、入力バッファ８
０６と、動画像復号化装置８０７と映像データ再生装置
８０８と、音声データ再生装置８０９は受信側に設けら
れる。
態６による動画像復号化システムについて説明する。図
８は、本発明の実施の形態６による動画像復号化システ
ムの一例を示すブロック図である。図８において、動画
像復号化システムは、映像データ出力装置８０１と、音
声データ出力装置８０２と、動画像符号化装置８０３と
出力バッファ８０４と、伝送路８０５と、入力バッファ
８０６と、動画像復号化装置８０７と、映像データ再生
装置８０８と、音声データ再生装置８０９とを備えてい
る。なお、映像データ出力装置８０１と、音声データ出
力装置８０２と、動画像符号化装置８０３と、出力バッ
ファ８０４は送信側に設けられており、入力バッファ８
０６と、動画像復号化装置８０７と映像データ再生装置
８０８と、音声データ再生装置８０９は受信側に設けら
れる。
【０１１６】次に、本発明の実施の形態６による動画像
復号化システムについて説明する。映像データ出力装置
８０１は、映像データを動画像符号化装置８０３に出力
する。音声データ出力装置は、音声データを動画像符号
化装置８０３に出力する。動画像符号化装置は、前記実
施の形態１から５の何れかにおいて説明した動画像符号
化装置であり、動画像復号化装置８０７（デコーダモデ
ル）を考慮して映像データ、及び音声データを符号化し
て多重を行い、多重データを出力バッファ８０４に出力
する。出力バッファ８０４は、所定のビットレートの多
重データに変換して伝送路８０５に出力する。伝送路８
０５は、多重データを送信側から受信側の入力バッファ
８０６に伝送する。
復号化システムについて説明する。映像データ出力装置
８０１は、映像データを動画像符号化装置８０３に出力
する。音声データ出力装置は、音声データを動画像符号
化装置８０３に出力する。動画像符号化装置は、前記実
施の形態１から５の何れかにおいて説明した動画像符号
化装置であり、動画像復号化装置８０７（デコーダモデ
ル）を考慮して映像データ、及び音声データを符号化し
て多重を行い、多重データを出力バッファ８０４に出力
する。出力バッファ８０４は、所定のビットレートの多
重データに変換して伝送路８０５に出力する。伝送路８
０５は、多重データを送信側から受信側の入力バッファ
８０６に伝送する。
【０１１７】受信側において、入力バッファ８０６は、
伝送路８０５が伝送する多重データから、動画像復号化
装置８０７の要求に応じて、復号を行う多重データを動
画像復号化装置８０７に出力する。動画像復号化装置８
０７は、多重データを符号化映像データと符号化映像デ
ータに分離し、その後、符号化映像データを映像データ
に復号し、符号化音声データを音声データに復号するも
のであり、入力された多重データを映像データと音声デ
ータに復号して、映像データを映像データ再生装置８０
８に、音声データを音声データ再生装置８０９に出力す
る。映像データ再生装置８０８は、復号された映像デー
タを再生する。音声データ再生装置８０９は、復号され
た音声データを再生する。
伝送路８０５が伝送する多重データから、動画像復号化
装置８０７の要求に応じて、復号を行う多重データを動
画像復号化装置８０７に出力する。動画像復号化装置８
０７は、多重データを符号化映像データと符号化映像デ
ータに分離し、その後、符号化映像データを映像データ
に復号し、符号化音声データを音声データに復号するも
のであり、入力された多重データを映像データと音声デ
ータに復号して、映像データを映像データ再生装置８０
８に、音声データを音声データ再生装置８０９に出力す
る。映像データ再生装置８０８は、復号された映像デー
タを再生する。音声データ再生装置８０９は、復号され
た音声データを再生する。
【０１１８】そしてこのような本発明の実施の形態６に
よる動画像復号化システムによれば、動画像符号化装置
で、映像データと音声データを符号化した後に多重した
データを、伝送路を介して伝送することができ、さら
に、受信側で受信した多重データを符号化映像データと
符号化音声データに分離し、復号化して、動画像符号化
装置で符号化された映像データと音声データを再生する
ことができる。
よる動画像復号化システムによれば、動画像符号化装置
で、映像データと音声データを符号化した後に多重した
データを、伝送路を介して伝送することができ、さら
に、受信側で受信した多重データを符号化映像データと
符号化音声データに分離し、復号化して、動画像符号化
装置で符号化された映像データと音声データを再生する
ことができる。
【０１１９】（実施の形態７）次に、本発明の実施の形
態７による動画像復号化システムについて説明する。図
９は、本発明の実施の形態７による動画像復号化システ
ムの符号化処理ユニットの一例を示すブロック図であ
る。図９において、動画像復号化システムの符号化処理
ユニットは、映像データ出力装置８０１と、音声データ
出力装置８０２と、動画像符号化装置８０３と、出力バ
ッファ８０４と、記録部９０１とを備えている。
態７による動画像復号化システムについて説明する。図
９は、本発明の実施の形態７による動画像復号化システ
ムの符号化処理ユニットの一例を示すブロック図であ
る。図９において、動画像復号化システムの符号化処理
ユニットは、映像データ出力装置８０１と、音声データ
出力装置８０２と、動画像符号化装置８０３と、出力バ
ッファ８０４と、記録部９０１とを備えている。
【０１２０】次に、本発明の実施の形態７による動画像
復号化システムの符号化処理ユニットについて説明す
る。映像データ出力装置８０１は、映像データを動画像
符号化装置８０３に出力する。音声データ出力装置は、
音声データを動画像符号化装置８０３に出力する。動画
像符号化装置は、前記実施の形態１から５の何れかにお
いて説明した動画像符号化装置であり、動画像復号化装
置８０７（デコーダモデル）を考慮して映像データ、及
び音声データを符号化して多重を行い、多重データを出
力バッファ８０４に出力する。出力バッファ８０４は、
多重データを所定の記録媒体への記録に適したビットレ
ートに変換して記録部９０１に出力する。記録部９０１
は、メモリ、磁気ディスク、光ディスク等の情報を記録
することができる記録媒体に出力バッファ８０４から出
力された多重データを記録するものである。
復号化システムの符号化処理ユニットについて説明す
る。映像データ出力装置８０１は、映像データを動画像
符号化装置８０３に出力する。音声データ出力装置は、
音声データを動画像符号化装置８０３に出力する。動画
像符号化装置は、前記実施の形態１から５の何れかにお
いて説明した動画像符号化装置であり、動画像復号化装
置８０７（デコーダモデル）を考慮して映像データ、及
び音声データを符号化して多重を行い、多重データを出
力バッファ８０４に出力する。出力バッファ８０４は、
多重データを所定の記録媒体への記録に適したビットレ
ートに変換して記録部９０１に出力する。記録部９０１
は、メモリ、磁気ディスク、光ディスク等の情報を記録
することができる記録媒体に出力バッファ８０４から出
力された多重データを記録するものである。
【０１２１】図１０は、本発明の実施の形態７による動
画像復号化システムの復号化処理ユニットの一例を示す
ブロック図である。図１０において、動画像復号化シス
テムの復号化処理ユニットは、読み出し部９０２と、入
力バッファ８０６と、動画像復号化装置８０７と、映像
データ再生装置８０８と、音声データ再生装置８０９と
を備えている。
画像復号化システムの復号化処理ユニットの一例を示す
ブロック図である。図１０において、動画像復号化シス
テムの復号化処理ユニットは、読み出し部９０２と、入
力バッファ８０６と、動画像復号化装置８０７と、映像
データ再生装置８０８と、音声データ再生装置８０９と
を備えている。
【０１２２】次に、本発明の実施の形態７による動画像
復号化システムの復号化処理ユニットについて説明す
る。読み出し部９０２は、記録媒体に記録された多重デ
ータを読み出し、入力バッファ８０６に出力する。入力
バッファ８０６は、読み出し部９０２で読み出された多
重データから、動画像復号化装置８０７の要求に応じ
て、復号を行う多重データを動画像復号化装置８０７に
出力する。動画像復号化装置８０７は、多重データを符
号化映像データと符号化映像データに分離し、その後、
符号化映像データを映像データに復号し、符号化音声デ
ータを音声データに復号するものであり、入力された多
重データを映像データと音声データに復号して、映像デ
ータを映像データ再生装置８０８に、音声データを音声
データ再生装置８０９に出力する。映像データ再生装置
８０８は、復号された映像データを再生する。音声デー
タ再生装置８０９は、復号された音声データを再生す
る。
復号化システムの復号化処理ユニットについて説明す
る。読み出し部９０２は、記録媒体に記録された多重デ
ータを読み出し、入力バッファ８０６に出力する。入力
バッファ８０６は、読み出し部９０２で読み出された多
重データから、動画像復号化装置８０７の要求に応じ
て、復号を行う多重データを動画像復号化装置８０７に
出力する。動画像復号化装置８０７は、多重データを符
号化映像データと符号化映像データに分離し、その後、
符号化映像データを映像データに復号し、符号化音声デ
ータを音声データに復号するものであり、入力された多
重データを映像データと音声データに復号して、映像デ
ータを映像データ再生装置８０８に、音声データを音声
データ再生装置８０９に出力する。映像データ再生装置
８０８は、復号された映像データを再生する。音声デー
タ再生装置８０９は、復号された音声データを再生す
る。
【０１２３】そしてこのような本発明の実施の形態７に
よる動画像復号化システムによれば、動画像符号化装置
で、映像データと音声データを符号化した後に多重した
データを記録媒体に記録することができ、さらに、当該
記録媒体に記録された多重データを読み出して動画像復
号化装置において符号化映像データと符号化音声データ
に分離し、復号化して、動画像符号化装置で符号化され
た映像データと音声データを再生することができる。
よる動画像復号化システムによれば、動画像符号化装置
で、映像データと音声データを符号化した後に多重した
データを記録媒体に記録することができ、さらに、当該
記録媒体に記録された多重データを読み出して動画像復
号化装置において符号化映像データと符号化音声データ
に分離し、復号化して、動画像符号化装置で符号化され
た映像データと音声データを再生することができる。
【０１２４】
【発明の効果】以上のように、本発明の請求項１、請求
項６、請求項７及び請求項１０に記載の動画像符号化装
置、及び動画像符号化方法によれば、多重部で多重デー
タを生成する際に、動画像復号化装置の符号化映像記憶
部における符号化映像データの占有量、及び動画像復号
化装置の符号化音声記憶部における符号化音声データの
占有量を、０以上かつ前記符号化映像記憶部及び前記符
号化音声記憶部のそれぞれのメモリサイズ以下となるよ
うにするとともに、アクセスポイントの直前に符号化音
声データのフレームの終端を含むパケットを多重する時
以外は、常に動画像復号化装置の符号化音声記憶部にお
ける符号化音声データの占有量が、該符号化音声記憶部
のメモリサイズから前記符号化音声データのフレームサ
イズを減じた値以下となるようすることにより、アクセ
スポイントを設定するために空パケットを挿入すること
が不要となり、動画像符号化装置における多重化効率を
向上させることが可能となる。
項６、請求項７及び請求項１０に記載の動画像符号化装
置、及び動画像符号化方法によれば、多重部で多重デー
タを生成する際に、動画像復号化装置の符号化映像記憶
部における符号化映像データの占有量、及び動画像復号
化装置の符号化音声記憶部における符号化音声データの
占有量を、０以上かつ前記符号化映像記憶部及び前記符
号化音声記憶部のそれぞれのメモリサイズ以下となるよ
うにするとともに、アクセスポイントの直前に符号化音
声データのフレームの終端を含むパケットを多重する時
以外は、常に動画像復号化装置の符号化音声記憶部にお
ける符号化音声データの占有量が、該符号化音声記憶部
のメモリサイズから前記符号化音声データのフレームサ
イズを減じた値以下となるようすることにより、アクセ
スポイントを設定するために空パケットを挿入すること
が不要となり、動画像符号化装置における多重化効率を
向上させることが可能となる。
【０１２５】また、本発明の請求項２、請求項６、請求
項７及び請求項１１に記載の動画像符号化装置、及び動
画像符号化方法によれば、多重部で多重データを生成す
る際に、動画像復号化装置の符号化映像記憶部における
符号化映像データの占有量、及び動画像復号化装置の符
号化音声記憶部における符号化音声データの占有量を、
０以上かつ前記符号化映像記憶部及び前記符号化音声記
憶部のそれぞれのメモリサイズ以下となるようにすると
ともに、アクセスポイントの直前に符号化音声データの
フレームの終端を含むパケットを多重する時以外は、常
に動画像復号化装置の符号化音声記憶部における符号化
音声データの占有量が、該符号化音声記憶部のメモリサ
イズから多重途中の符号化音声フレームで未だ多重され
ていない符号化音声データのデータ量を減じた値以下と
なるようにすることにより、アクセスポイントを設定す
るために空パケットを挿入することが不要となり、動画
像符号化装置における多重化効率を向上させることが可
能となる。
項７及び請求項１１に記載の動画像符号化装置、及び動
画像符号化方法によれば、多重部で多重データを生成す
る際に、動画像復号化装置の符号化映像記憶部における
符号化映像データの占有量、及び動画像復号化装置の符
号化音声記憶部における符号化音声データの占有量を、
０以上かつ前記符号化映像記憶部及び前記符号化音声記
憶部のそれぞれのメモリサイズ以下となるようにすると
ともに、アクセスポイントの直前に符号化音声データの
フレームの終端を含むパケットを多重する時以外は、常
に動画像復号化装置の符号化音声記憶部における符号化
音声データの占有量が、該符号化音声記憶部のメモリサ
イズから多重途中の符号化音声フレームで未だ多重され
ていない符号化音声データのデータ量を減じた値以下と
なるようにすることにより、アクセスポイントを設定す
るために空パケットを挿入することが不要となり、動画
像符号化装置における多重化効率を向上させることが可
能となる。
【０１２６】また、本発明の請求項３、請求項６、請求
項７及び請求項１２に記載の動画像符号化装置、及び動
画像符号化方法によれば、多重部で多重データを生成す
る際に、動画像復号化装置の符号化映像記憶部における
符号化映像データの占有量、及び動画像復号化装置の符
号化音声記憶部における符号化音声データの占有量を、
０以上かつ前記符号化映像記憶部及び前記符号化音声記
憶部のそれぞれのメモリサイズ以下となるようにすると
ともに、動画像復号化装置においてフレームサイズ分の
符号化音声データが復号される時間から所定の期間以前
には、常に動画像復号化装置の符号化音声記憶部におけ
る符号化音声データの占有量が、該符号化音声記憶部の
メモリサイズから符号化音声データのフレームサイズを
減じた値以下となるようにすることにより、動画像復号
化装置においてフレームサイズ分の符号化音声データが
復号される時間から所定の期間以前は、アクセスポイン
トを設定するために空パケットを挿入することが不要と
なり、従来の動画像符号化装置に比べ、空パケットを挿
入することが必要な時間を減らすことができ、動画像符
号化装置全体の多重化効率を上げることが可能となる。
項７及び請求項１２に記載の動画像符号化装置、及び動
画像符号化方法によれば、多重部で多重データを生成す
る際に、動画像復号化装置の符号化映像記憶部における
符号化映像データの占有量、及び動画像復号化装置の符
号化音声記憶部における符号化音声データの占有量を、
０以上かつ前記符号化映像記憶部及び前記符号化音声記
憶部のそれぞれのメモリサイズ以下となるようにすると
ともに、動画像復号化装置においてフレームサイズ分の
符号化音声データが復号される時間から所定の期間以前
には、常に動画像復号化装置の符号化音声記憶部におけ
る符号化音声データの占有量が、該符号化音声記憶部の
メモリサイズから符号化音声データのフレームサイズを
減じた値以下となるようにすることにより、動画像復号
化装置においてフレームサイズ分の符号化音声データが
復号される時間から所定の期間以前は、アクセスポイン
トを設定するために空パケットを挿入することが不要と
なり、従来の動画像符号化装置に比べ、空パケットを挿
入することが必要な時間を減らすことができ、動画像符
号化装置全体の多重化効率を上げることが可能となる。
【０１２７】また、本発明の請求項４、請求項６、請求
項７及び請求項１３に記載の動画像符号化装置、及び動
画像符号化方法によれば、多重部で多重データを生成す
る際に、動画像復号化装置の符号化映像記憶部における
符号化映像データの占有量、及び動画像復号化装置の符
号化音声記憶部における符号化音声データの占有量を、
０以上かつ前記符号化映像記憶部及び前記符号化音声記
憶部のそれぞれのメモリサイズ以下となるようにすると
ともに、動画像復号化装置においてフレームサイズ分の
符号化音声データが復号される時間から所定の時間以前
には、常に動画像復号化装置の符号化音声記憶部におけ
る符号化音声データの占有量が、該符号化音声記憶部の
メモリサイズから多重途中の符号化音声フレームで未だ
多重されていない符号化音声データのデータ量を減じた
値以下となるようにすることにより、動画像復号化装置
においてフレームサイズ分の符号化音声データが復号さ
れる時間から所定の期間以前は、アクセスポイントを設
定するために空パケットを挿入することが不要となり、
従来の動画像符号化装置に比べ、空パケットを挿入する
ことが必要な時間を減らすことができ、動画像符号化装
置全体の多重化効率を上げることが可能となる。
項７及び請求項１３に記載の動画像符号化装置、及び動
画像符号化方法によれば、多重部で多重データを生成す
る際に、動画像復号化装置の符号化映像記憶部における
符号化映像データの占有量、及び動画像復号化装置の符
号化音声記憶部における符号化音声データの占有量を、
０以上かつ前記符号化映像記憶部及び前記符号化音声記
憶部のそれぞれのメモリサイズ以下となるようにすると
ともに、動画像復号化装置においてフレームサイズ分の
符号化音声データが復号される時間から所定の時間以前
には、常に動画像復号化装置の符号化音声記憶部におけ
る符号化音声データの占有量が、該符号化音声記憶部の
メモリサイズから多重途中の符号化音声フレームで未だ
多重されていない符号化音声データのデータ量を減じた
値以下となるようにすることにより、動画像復号化装置
においてフレームサイズ分の符号化音声データが復号さ
れる時間から所定の期間以前は、アクセスポイントを設
定するために空パケットを挿入することが不要となり、
従来の動画像符号化装置に比べ、空パケットを挿入する
ことが必要な時間を減らすことができ、動画像符号化装
置全体の多重化効率を上げることが可能となる。
【０１２８】また、本発明の請求項５、請求項６、請求
項７及び請求項１４に記載の動画像符号化装置、及び動
画像符号化方法によれば、多重部で多重データを生成す
る際に、動画像復号化装置の符号化映像記憶部における
符号化映像データの占有量、及び動画像復号化装置の符
号化音声記憶部における符号化音声データの占有量を、
０以上かつ前記符号化映像記憶部及び前記符号化音声記
憶部のそれぞれのメモリサイズ以下となるようにすると
ともに、動画像復号化装置の符号化音声記憶部における
符号化音声データの占有量が、該符号化音声記憶部のメ
モリサイズから符号化音声データのフレームサイズを減
じた値以上となる場合は、符号化音声データをパケット
に多重する際に、該パケットに多重する符号化音声デー
タの終端と、該パケットに多重するフレームの終端とが
一致するようすることにより、常に空パケットの挿入な
しにアクセスポイントを設定することができ、動画像符
号化装置における多重化効率を向上させるることができ
る。
項７及び請求項１４に記載の動画像符号化装置、及び動
画像符号化方法によれば、多重部で多重データを生成す
る際に、動画像復号化装置の符号化映像記憶部における
符号化映像データの占有量、及び動画像復号化装置の符
号化音声記憶部における符号化音声データの占有量を、
０以上かつ前記符号化映像記憶部及び前記符号化音声記
憶部のそれぞれのメモリサイズ以下となるようにすると
ともに、動画像復号化装置の符号化音声記憶部における
符号化音声データの占有量が、該符号化音声記憶部のメ
モリサイズから符号化音声データのフレームサイズを減
じた値以上となる場合は、符号化音声データをパケット
に多重する際に、該パケットに多重する符号化音声デー
タの終端と、該パケットに多重するフレームの終端とが
一致するようすることにより、常に空パケットの挿入な
しにアクセスポイントを設定することができ、動画像符
号化装置における多重化効率を向上させるることができ
る。
【０１２９】また、本発明の請求項８に記載の動画像復
号化システムによれば、請求項１乃至請求項７の何れか
に記載の動画像符号化装置と、前記動画像符号化装置が
出力した多重データを入力とし、該多重データを指定さ
れたビットレートで出力する出力バッファと、前記出力
バッファが出力する多重データを伝送する伝送路と、前
記伝送路が伝送する多重データから、復号を行う多重デ
ータを動画像復号化装置に出力する入力バッファと、前
記入力バッファから出力される多重データを復号する動
画像復号化装置とを具備することにより、動画像符号化
装置で、映像データと音声データを符号化した後に多重
したデータを、伝送路を介して伝送することができ、さ
らに、受信側で受信した多重データを復号化して、動画
像符号化装置で符号化された映像データと音声データを
再生することができる効果が得られる。
号化システムによれば、請求項１乃至請求項７の何れか
に記載の動画像符号化装置と、前記動画像符号化装置が
出力した多重データを入力とし、該多重データを指定さ
れたビットレートで出力する出力バッファと、前記出力
バッファが出力する多重データを伝送する伝送路と、前
記伝送路が伝送する多重データから、復号を行う多重デ
ータを動画像復号化装置に出力する入力バッファと、前
記入力バッファから出力される多重データを復号する動
画像復号化装置とを具備することにより、動画像符号化
装置で、映像データと音声データを符号化した後に多重
したデータを、伝送路を介して伝送することができ、さ
らに、受信側で受信した多重データを復号化して、動画
像符号化装置で符号化された映像データと音声データを
再生することができる効果が得られる。
【０１３０】また、本発明の請求項９に記載の動画像復
号化システムによれば、請求項１乃至請求項７の何れか
に記載の動画像符号化装置と、前記動画像符号化装置が
出力した多重データを入力とし、該多重データを指定さ
れたビットレートで出力する出力バッファと、前記出力
バッファが出力した多重データを記録媒体に記録する記
録部と、記録媒体に記録された多重データを読み出す読
み出し部と、前記読み出し部が読み出す多重データか
ら、復号を行う多重データを動画像復号化装置に出力す
る入力バッファと、前記入力バッファから出力された多
重データを復号する動画像復号化装置とを具備すること
により、動画像符号化装置で映像データと音声データを
符号化した後に多重したデータを記録媒体に記録するこ
とができ、さらに、当該記録媒体に記録された多重デー
タを読み出して動画像復号化装置において復号化して、
動画像符号化装置で符号化された映像データと音声デー
タを再生することができる効果が得られる。
号化システムによれば、請求項１乃至請求項７の何れか
に記載の動画像符号化装置と、前記動画像符号化装置が
出力した多重データを入力とし、該多重データを指定さ
れたビットレートで出力する出力バッファと、前記出力
バッファが出力した多重データを記録媒体に記録する記
録部と、記録媒体に記録された多重データを読み出す読
み出し部と、前記読み出し部が読み出す多重データか
ら、復号を行う多重データを動画像復号化装置に出力す
る入力バッファと、前記入力バッファから出力された多
重データを復号する動画像復号化装置とを具備すること
により、動画像符号化装置で映像データと音声データを
符号化した後に多重したデータを記録媒体に記録するこ
とができ、さらに、当該記録媒体に記録された多重デー
タを読み出して動画像復号化装置において復号化して、
動画像符号化装置で符号化された映像データと音声デー
タを再生することができる効果が得られる。
【図１】本発明の実施の形態１による動画像符号化装置
の構成の一例を示すブロック図である。
の構成の一例を示すブロック図である。
【図２】本発明の実施の形態１による動画像符号化装置
の制御部の構成の一例を示すものである。
の制御部の構成の一例を示すものである。
【図３】本発明の実施の形態１による音声占有量演算部
において演算される、デコーダモデルの符号化音声記憶
部に記憶されている符号化データの遷移について説明す
る説明図である。
において演算される、デコーダモデルの符号化音声記憶
部に記憶されている符号化データの遷移について説明す
る説明図である。
【図４】本発明の実施の形態２による音声占有量演算部
において演算される、デコーダモデルの符号化音声記憶
部に記憶されている符号化データの遷移について説明す
る説明図である。
において演算される、デコーダモデルの符号化音声記憶
部に記憶されている符号化データの遷移について説明す
る説明図である。
【図５】本発明の実施の形態３による音声占有量演算部
において演算される、デコーダモデルの符号化音声記憶
部に記憶されている符号化データの遷移について説明す
る説明図である。
において演算される、デコーダモデルの符号化音声記憶
部に記憶されている符号化データの遷移について説明す
る説明図である。
【図６】本発明の実施の形態４による音声占有量演算部
において演算される、デコーダモデルの符号化音声記憶
部に記憶されている符号化データの遷移について説明す
る説明図である。
において演算される、デコーダモデルの符号化音声記憶
部に記憶されている符号化データの遷移について説明す
る説明図である。
【図７】本発明の実施の形態５による音声占有量演算部
において演算される、デコーダモデルの符号化音声記憶
部に記憶されている符号化データの遷移について説明す
る説明図である。
において演算される、デコーダモデルの符号化音声記憶
部に記憶されている符号化データの遷移について説明す
る説明図である。
【図８】本発明の実施の形態６による動画像復号化シス
テムの一例を示すブロック図である。
テムの一例を示すブロック図である。
【図９】本発明の実施の形態７による動画像復号化シス
テムの符号化処理ユニットの一例を示すブロック図であ
る。
テムの符号化処理ユニットの一例を示すブロック図であ
る。
【図１０】本発明の実施の形態７による動画像復号化シ
ステムの復号化処理ユニットの一例を示すブロック図で
ある。
ステムの復号化処理ユニットの一例を示すブロック図で
ある。
【図１１】従来の動画像符号化装置の構成を示すブロッ
ク図である。
ク図である。
【図１２】従来の制御部による多重部の制御について説
明する説明図である。
明する説明図である。
【図１３】デコーダモデルの構成を示すブロック図であ
る。
る。
【図１４】従来のデコーダモデルの符号化音声記憶部に
記憶されている符号化データの遷移について説明する説
明図である。
記憶されている符号化データの遷移について説明する説
明図である。
【図１５】多重データにアクセスポイントを設ける際の
従来の動画像符号化装置の多重部による多重方法を説明
する説明図である。
従来の動画像符号化装置の多重部による多重方法を説明
する説明図である。
【図１６】従来の動画像符号化装置において、アクセス
ポイントを設けるための動作を説明するための説明図で
ある。
ポイントを設けるための動作を説明するための説明図で
ある。
１、１１０１ 映像符号化部
２、１１０２ 映像記憶部
３、１１０３ 音声符号化部
４、１１０４ 音声記憶部
５、１１０５ 多重部
６、１１０６ 制御部
１１ 制御信号生成部
１２ 映像占有量演算部
１３ 音声占有量演算部
２１ 映像フレームデータ量記憶部
２２ 映像占有量加算部
２３ 映像占有量減算部
２４ 映像占有量記憶部
２５ 音声フレームデータ量記憶部
２６ 音声占有量加算部
２７ 音声占有量減算部
２８ 音声占有量記憶部
８０１ 映像データ出力装置
８０２ 音声データ出力装置
８０３ 動画像符号化装置
８０４ 出力バッファ
８０５ 伝送路
８０６ 入力バッファ
８０７ 動画像復号化装置
８０８ 映像データ再生装置
８０９ 音声データ再生装置
９０１ 記録部
９０２ 読み出し部
１３０１ 分離部
１３０２ 符号化映像記憶部
１３０３ 映像復号化部
１３０４ 符号化音声記憶部
１３０５ 音声復号化部
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｈ０４Ｎ 7/24 Ｈ０４Ｎ 5/92 Ｅ
Ｆターム(参考） 5C053 FA24 GB21 GB38 KA04 KA24
5C059 MA00 PP04 RB02 RC32 SS13
SS16 TA60 TB00 TC16 TC39
TD05 TD11 UA02 UA05 UA32
UA35
5K028 AA12 EE03 EE08 KK01 KK32
MM05 SS01 SS24
Claims (14)
- 【請求項１】 一連のフレームから構成される映像デー
タを符号化映像データに符号化する映像符号化部と、 一連のフレームから構成される音声データを符号化音声
データに符号化する音声符号化部と、 前記映像符号化部で符号化された符号化映像データを記
憶する映像記憶部と、 前記音声符号化部で符号化された符号化音声データを記
憶する音声記憶部と、 前記映像記憶部に記録されている符号化映像データと前
記音声記憶部に記録されている符号化音声データとから
複数のパケットにより構成される多重データを生成する
多重部と、 前記映像符号化部で符号化された符号化映像データのフ
レームサイズと前記音声符号化部で符号化された符号化
音声データのフレームサイズに基づいて、前記多重部で
各パケット毎に多重するデータの種類とサイズを決定す
る制御部とを備え、 前記制御部は、動画像復号化装置の符号化映像記憶部に
おける符号化映像データの占有量、及び動画像復号化装
置の符号化音声記憶部における符号化音声データの占有
量を、０以上かつ前記符号化映像記憶部及び前記符号化
音声記憶部のそれぞれのメモリサイズ以下となるように
するとともに、アクセスポイントの直前に符号化音声デ
ータのフレームの終端を含むパケットを多重する時以外
は、常に動画像復号化装置の符号化音声記憶部における
符号化音声データの占有量が、該符号化音声記憶部のメ
モリサイズから前記符号化音声データのフレームサイズ
を減じた値以下となるように前記多重部を制御する、 ことを特徴とする動画像符号化装置。 - 【請求項２】 一連のフレームから構成される映像デー
タを符号化映像データに符号化する映像符号化部と、 一連のフレームから構成される音声データを符号化音声
データに符号化する音声符号化部と、 前記映像符号化部で符号化された符号化映像データを記
憶する映像記憶部と、 前記音声符号化部で符号化された符号化音声データを記
憶する音声記憶部と、 前記映像記憶部に記録されている符号化映像データと前
記音声記憶部に記録されている符号化音声データとから
複数のパケットにより構成される多重データを生成する
多重部と、 前記映像符号化部で符号化された符号化映像データのフ
レームサイズと前記音声符号化部で符号化された符号化
音声データのフレームサイズに基づいて、前記多重部で
各パケット毎に多重するデータの種類とサイズを決定す
る制御部とを備え、 前記制御部は、動画像復号化装置の符号化映像記憶部に
おける符号化映像データの占有量、及び動画像復号化装
置の符号化音声記憶部における符号化音声データの占有
量を、０以上かつ前記符号化映像記憶部及び前記符号化
音声記憶部のそれぞれのメモリサイズ以下となるように
するとともに、アクセスポイントの直前に符号化音声デ
ータのフレームの終端を含むパケットを多重する時以外
は、常に動画像復号化装置の符号化音声記憶部における
符号化音声データの占有量が、該符号化音声記憶部のメ
モリサイズから多重途中の符号化音声フレームで未だ多
重されていない符号化音声データのデータ量を減じた値
以下となるように前記多重部を制御する、 ことを特徴とする動画像符号化装置。 - 【請求項３】 一連のフレームから構成される映像デー
タを符号化映像データに符号化する映像符号化部と、 一連のフレームから構成される音声データを符号化音声
データに符号化する音声符号化部と、 前記映像符号化部で符号化された符号化映像データを記
憶する映像記憶部と、 前記音声符号化部で符号化された符号化音声データを記
憶する音声記憶部と、 前記映像記憶部に記録されている符号化映像データと前
記音声記憶部に記録されている符号化音声データとから
複数のパケットにより構成される多重データを生成する
多重部と、 前記映像符号化部で符号化された符号化映像データのフ
レームサイズと前記音声符号化部で符号化された符号化
音声データのフレームサイズに基づいて、前記多重部で
各パケット毎に多重するデータの種類とサイズを決定す
る制御部とを備え、 前記制御部は、動画像復号化装置の符号化映像記憶部に
おける符号化映像データの占有量、及び動画像復号化装
置の符号化音声記憶部における符号化音声データの占有
量を、０以上かつ前記符号化映像記憶部及び前記符号化
音声記憶部のそれぞれのメモリサイズ以下となるように
するとともに、動画像復号化装置においてフレームサイ
ズ分の符号化音声データが復号される時間から所定の期
間以前には、常に動画像復号化装置の符号化音声記憶部
における符号化音声データの占有量が、該符号化音声記
憶部のメモリサイズから符号化音声データのフレームサ
イズを減じた値以下となるように前記多重部を制御す
る、 ことを特徴とする動画像符号化装置。 - 【請求項４】 一連のフレームから構成される映像デー
タを符号化映像データに符号化する映像符号化部と、 一連のフレームから構成される音声データを符号化音声
データに符号化する音声符号化部と、 前記映像符号化部で符号化された符号化映像データを記
憶する映像記憶部と、 前記音声符号化部で符号化された符号化音声データを記
憶する音声記憶部と、 前記映像記憶部に記録されている符号化映像データと前
記音声記憶部に記録されている符号化音声データとから
複数のパケットにより構成される多重データを生成する
多重部と、 前記映像符号化部で符号化された符号化映像データのフ
レームサイズと前記音声符号化部で符号化された符号化
音声データのフレームサイズに基づいて、前記多重部で
各パケット毎に多重するデータの種類とサイズを決定す
る制御部とを備え、 前記制御部は、動画像復号化装置の符号化映像記憶部に
おける符号化映像データの占有量、及び動画像復号化装
置の符号化音声記憶部における符号化音声データの占有
量を、０以上かつ前記符号化映像記憶部及び前記符号化
音声記憶部のそれぞれのメモリサイズ以下となるように
するとともに、動画像復号化装置においてフレームサイ
ズ分の符号化音声データが復号される時間から所定の時
間以前には、常に動画像復号化装置の符号化音声記憶部
における符号化音声データの占有量が、該符号化音声記
憶部のメモリサイズから多重途中の符号化音声フレーム
で未だ多重されていない符号化音声データのデータ量を
減じた値以下となるように前記多重部を制御する、 ことを特徴とする動画像符号化装置。 - 【請求項５】 一連のフレームから構成される映像デー
タを符号化映像データに符号化する映像符号化部と、 一連のフレームから構成される音声データを符号化音声
データに符号化する音声符号化部と、 前記映像符号化部で符号化された符号化映像データを記
憶する映像記憶部と、 前記音声符号化部で符号化された符号化音声データを記
憶する音声記憶部と、 前記映像記憶部に記録されている符号化映像データと前
記音声記憶部に記録されている符号化音声データとから
複数のパケットにより構成される多重データを生成する
多重部と、 前記映像符号化部で符号化された符号化映像データのフ
レームサイズと前記音声符号化部で符号化された符号化
音声データのフレームサイズに基づいて、前記多重部で
各パケット毎に多重するデータの種類とサイズを決定す
る制御部とを備え、 前記制御部は、動画像復号化装置の符号化映像記憶部に
おける符号化映像データの占有量、及び動画像復号化装
置の符号化音声記憶部における符号化音声データの占有
量を、０以上かつ前記符号化映像記憶部及び前記符号化
音声記憶部のそれぞれのメモリサイズ以下となるように
するとともに、動画像復号化装置の符号化音声記憶部に
おける符号化音声データの占有量が、該符号化音声記憶
部のメモリサイズから符号化音声データのフレームサイ
ズを減じた値以上となる場合は、符号化音声データをパ
ケットに多重する際に、該パケットに多重する符号化音
声データの終端と、該パケットに多重するフレームの終
端とが一致するように前記多重部を制御する、 ことを特徴とする動画像符号化装置。 - 【請求項６】 請求項１乃至請求項５の何れかに記載の
動画像符号化装置において、 前記制御部は、前記多重データを復号する動画像復号化
装置の符号化映像記憶部における符号化映像データの占
有量を演算する映像占有量演算部と、 前記多重データを復号する動画像復号化装置の符号化音
声記憶部における符号化音声データの占有量を演算する
音声占有量演算部と、 前記映像占有量演算部、及び前記音声占有量演算部にお
ける演算結果に基づいて、前記多重部において多重を行
う、各パケット毎のデータの種類、及びデータ量を指示
する制御信号を生成する制御信号生成部とからなる、 ことを特徴とする動画像符号化装置。 - 【請求項７】 請求項６に記載の動画像符号化装置にお
いて、 前記映像占有量演算部は、動画像復号化装置の符号化映
像記憶部における符号化映像データの占有量を記憶する
映像占有量記憶部と、 前記映像符号化部で符号化された符号化映像データのフ
レームのサイズを記憶する映像フレームデータ量記憶部
と、 前記制御信号に基づいて、多重がなされる符号化映像デ
ータのデータ量を、前記映像占有量記憶部に記憶された
符号化映像データの占有量に加算する映像占有量加算部
と、 動画像復号化装置においてフレームサイズ分の符号化映
像データが復号される時間に合わせて、前記映像フレー
ムデータ記憶部に記憶された映像フレームデータのサイ
ズを、該映像フレームデータ記憶部に記憶された順に入
力し、入力した映像フレームデータのサイズを、前記映
像占有量記憶部に記憶された符号化映像データの占有量
から減じる映像占有量減算部とからなり、 前記音声占有量演算部は、動画像復号化装置の符号化音
声記憶部における符号化音声データの占有量を記憶する
音声占有量記憶部と、 前記音声符号化部で符号化された符号化音声データのフ
レームのサイズを記憶する音声フレームデータ量記憶部
と、 前記制御信号に基づいて、多重がなされる符号化音声デ
ータのデータ量を、前記音声占有量記憶部に記憶された
符号化音声データの占有量に加算する音声占有量加算部
と、 動画像復号化装置においてフレームサイズ分の符号化音
声データが復号される時間に合わせて、前記音声フレー
ムデータ記憶部に記憶された音声フレームデータのサイ
ズを、該音声フレームデータ記憶部に記憶された順に入
力し、入力した音声フレームデータのサイズを、前記音
声占有量記憶部に記憶された符号化音声データの占有量
から減じる音声占有量減算部とからなる、 ことを特徴とする動画像符号化装置。 - 【請求項８】 請求項１乃至請求項７の何れかに記載の
動画像符号化装置と、 前記動画像符号化装置が出力した多重データを入力と
し、該多重データを指定されたビットレートで出力する
出力バッファと、 前記出力バッファが出力する多重データを伝送する伝送
路と、 前記伝送路が伝送する多重データから、復号を行う多重
データを動画像復号化装置に出力する入力バッファと、 前記入力バッファから出力される多重データを復号する
動画像復号化装置とを具備する、 ことを特徴とする動画像復号化システム。 - 【請求項９】 請求項１乃至請求項７の何れかに記載の
動画像符号化装置と、 前記動画像符号化装置が出力した多重データを入力と
し、該多重データを指定されたビットレートで出力する
出力バッファと、 前記出力バッファが出力した多重データを記録媒体に記
録する記録部と、 記録媒体に記録された多重データを読み出す読み出し部
と、 前記読み出し部が読み出す多重データから、復号を行う
多重データを動画像復号化装置に出力する入力バッファ
と、 前記入力バッファから出力された多重データを復号する
動画像復号化装置とを具備する、 ことを特徴とする動画像復号化システム。 - 【請求項１０】 一連のフレームから構成される映像デ
ータを符号化映像データに符号化する映像符号化ステッ
プと、 一連のフレームから構成される音声データを符号化音声
データに符号化する音声符号化ステップと、 前記符号化映像データと前記符号化音声データとから複
数のパケットにより構成される多重データを生成する多
重ステップと、 前記多重データを復号する動画像復号化装置の符号化映
像記憶部における符号化映像データの占有量を演算する
映像占有量演算ステップと、 前記多重データを復号する動画像復号化装置の符号化音
声記憶部における符号化音声データの占有量を演算する
音声占有量演算ステップと、を備え、 前記多重ステップで多重データを生成する際には、動画
像復号化装置の符号化映像記憶部における符号化映像デ
ータの占有量、及び動画像復号化装置の符号化音声記憶
部における符号化音声データの占有量を、０以上かつ前
記符号化映像記憶部及び前記符号化音声記憶部のそれぞ
れのメモリサイズ以下となるようにするとともに、アク
セスポイントの直前に符号化音声データのフレームの終
端を含むパケットを多重する時以外は、常に動画像復号
化装置の符号化音声記憶部における符号化音声データの
占有量が、該符号化音声記憶部のメモリサイズから前記
符号化音声データのフレームサイズを減じた値以下とな
るようする、 ことを特徴とする動画像符号化方法。 - 【請求項１１】 一連のフレームから構成される映像デ
ータを符号化映像データに符号化する映像符号化ステッ
プと、 一連のフレームから構成される音声データを符号化音声
データに符号化する音声符号化ステップと、 前記符号化映像データと前記符号化音声データとから複
数のパケットにより構成される多重データを生成する多
重ステップと、 前記多重データを復号する動画像復号化装置の符号化映
像記憶部における符号化映像データの占有量を演算する
映像占有量演算ステップと、 前記多重データを復号する動画像復号化装置の符号化音
声記憶部における符号化音声データの占有量を演算する
音声占有量演算ステップと、を備え、 前記多重ステップで多重データを生成する際には、動画
像復号化装置の符号化映像記憶部における符号化映像デ
ータの占有量、及び動画像復号化装置の符号化音声記憶
部における符号化音声データの占有量を、０以上かつ前
記符号化映像記憶部及び前記符号化音声記憶部のそれぞ
れのメモリサイズ以下となるようにするとともに、アク
セスポイントの直前に符号化音声データのフレームの終
端を含むパケットを多重する時以外は、常に動画像復号
化装置の符号化音声記憶部における符号化音声データの
占有量が、該符号化音声記憶部のメモリサイズから多重
途中の符号化音声フレームで未だ多重されていない符号
化音声データのデータ量を減じた値以下となるようにす
る、 ことを特徴とする動画像符号化方法。 - 【請求項１２】 一連のフレームから構成される映像デ
ータを符号化映像データに符号化する映像符号化ステッ
プと、 一連のフレームから構成される音声データを符号化音声
データに符号化する音声符号化ステップと、 前記符号化映像データと前記符号化音声データとから複
数のパケットにより構成される多重データを生成する多
重ステップと、 前記多重データを復号する動画像復号化装置の符号化映
像記憶部における符号化映像データの占有量を演算する
映像占有量演算ステップと、 前記多重データを復号する動画像復号化装置の符号化音
声記憶部における符号化音声データの占有量を演算する
音声占有量演算ステップと、を備え、 前記多重ステップで多重データを生成する際には、動画
像復号化装置の符号化映像記憶部における符号化映像デ
ータの占有量、及び動画像復号化装置の符号化音声記憶
部における符号化音声データの占有量を、０以上かつ前
記符号化映像記憶部及び前記符号化音声記憶部のそれぞ
れのメモリサイズ以下となるようにするとともに、動画
像復号化装置においてフレームサイズ分の符号化音声デ
ータが復号される時間から所定の期間以前には、常に動
画像復号化装置の符号化音声記憶部における符号化音声
データの占有量が、該符号化音声記憶部のメモリサイズ
から符号化音声データのフレームサイズを減じた値以下
となるようにする、 ことを特徴とする動画像符号化方法。 - 【請求項１３】 一連のフレームから構成される映像デ
ータを符号化映像データに符号化する映像符号化ステッ
プと、 一連のフレームから構成される音声データを符号化音声
データに符号化する音声符号化ステップと、 前記符号化映像データと前記符号化音声データとから複
数のパケットにより構成される多重データを生成する多
重ステップと、 前記多重データを復号する動画像復号化装置の符号化映
像記憶部における符号化映像データの占有量を演算する
映像占有量演算ステップと、 前記多重データを復号する動画像復号化装置の符号化音
声記憶部における符号化音声データの占有量を演算する
音声占有量演算ステップと、を備え、 前記多重ステップで多重データを生成する際には、動画
像復号化装置の符号化映像記憶部における符号化映像デ
ータの占有量、及び動画像復号化装置の符号化音声記憶
部における符号化音声データの占有量を、０以上かつ前
記符号化映像記憶部及び前記符号化音声記憶部のそれぞ
れのメモリサイズ以下となるようにするとともに、動画
像復号化装置においてフレームサイズ分の符号化音声デ
ータが復号される時間から所定の時間以前には、常に動
画像復号化装置の符号化音声記憶部における符号化音声
データの占有量が、該符号化音声記憶部のメモリサイズ
から多重途中の符号化音声フレームで未だ多重されてい
ない符号化音声データのデータ量を減じた値以下となる
ようにする、 ことを特徴とする動画像符号化方法。 - 【請求項１４】 一連のフレームから構成される映像デ
ータを符号化映像データに符号化する映像符号化ステッ
プと、 一連のフレームから構成される音声データを符号化音声
データに符号化する音声符号化ステップと、 前記符号化映像データと前記符号化音声データとから複
数のパケットにより構成される多重データを生成する多
重ステップと、 前記多重データを復号する動画像復号化装置の符号化映
像記憶部における符号化映像データの占有量を演算する
映像占有量演算ステップと、 前記多重データを復号する動画像復号化装置の符号化音
声記憶部における符号化音声データの占有量を演算する
音声占有量演算ステップと、を備え、 前記多重ステップで多重データを生成する際には、動画
像復号化装置の符号化映像記憶部における符号化映像デ
ータの占有量、及び動画像復号化装置の符号化音声記憶
部における符号化音声データの占有量を、０以上かつ前
記符号化映像記憶部及び前記符号化音声記憶部のそれぞ
れのメモリサイズ以下となるようにするとともに、動画
像復号化装置の符号化音声記憶部における符号化音声デ
ータの占有量が、該符号化音声記憶部のメモリサイズか
ら符号化音声データのフレームサイズを減じた値以上と
なる場合は、符号化音声データをパケットに多重する際
に、該パケットに多重する符号化音声データの終端と、
該パケットに多重するフレームの終端とが一致するよう
する、 ことを特徴とする動画像符号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002056350A JP2003259305A (ja) | 2002-03-01 | 2002-03-01 | 動画像符号化方法、動画像符号化装置、及び、動画像復号化システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002056350A JP2003259305A (ja) | 2002-03-01 | 2002-03-01 | 動画像符号化方法、動画像符号化装置、及び、動画像復号化システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003259305A true JP2003259305A (ja) | 2003-09-12 |
Family
ID=28666950
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002056350A Pending JP2003259305A (ja) | 2002-03-01 | 2002-03-01 | 動画像符号化方法、動画像符号化装置、及び、動画像復号化システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003259305A (ja) |
-
2002
- 2002-03-01 JP JP2002056350A patent/JP2003259305A/ja active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5504585A (en) | Apparatus and method for providing plural pictures while searching a recording medium whereon a compressed picture signal is recorded | |
| JP2001359072A (ja) | データ変換装置及び方法、データ配信装置及び方法、データ配信システム | |
| WO1995008823A1 (fr) | Procede et dispositif de transmission de donnees, decodeur de donnees et support d'enregistrement de donnees | |
| JPH0973299A (ja) | Ｍｐｅｇオーディオ再生装置およびｍｐｅｇ再生装置 | |
| JP2007036495A (ja) | 再生装置、圧縮装置、記録装置及び再生方法 | |
| US7333711B2 (en) | Data distribution apparatus and method, and data distribution system | |
| JP3763172B2 (ja) | ディジタル信号復号方法及び装置、並びにディジタル信号再生装置 | |
| US20080267414A1 (en) | Voice outputting apparatus and voice outputting method | |
| KR100891065B1 (ko) | 섀도우 인트라 화상 삽입에 의한 비디오 수정 | |
| JP3918332B2 (ja) | 多重化装置、多重化方法及び記録媒体 | |
| US8442376B2 (en) | Image data recording/playback device, system, and method | |
| KR100927180B1 (ko) | 동화상 부호화 장치 및 동화상 부호화 방법 | |
| JP2003259305A (ja) | 動画像符号化方法、動画像符号化装置、及び、動画像復号化システム | |
| JPH06267196A (ja) | データ符号化装置および方法、データ復号化装置および方法並びに記録媒体 | |
| JP3191856B2 (ja) | 情報蓄積出力装置 | |
| JP3383810B2 (ja) | ディジタル記録再生装置およびディジタル再生装置 | |
| JP3582530B2 (ja) | 記録装置および方法、再生装置および方法 | |
| JP3589241B2 (ja) | データ符号化装置および方法、データ復号化装置および方法 | |
| JP4378232B2 (ja) | データ伝送装置及びデータ伝送方法 | |
| WO2006088090A1 (ja) | エンコード装置、エンコード方法およびエンコードを行うためのコンピュータプログラム | |
| JP2001333427A (ja) | 動画像符号化装置および動画像復号化システム | |
| EP1148723B1 (en) | Special reproduction data generating device, medium, and information aggregate | |
| JP3582529B2 (ja) | データ符号化装置および方法、データ復号化装置および方法 | |
| JP3485111B2 (ja) | 再生方法および再生装置 | |
| WO2002076094A1 (en) | System and method for storing digital mpeg data in a storage devive and reproducing system |