JP2001333427A - 動画像符号化装置および動画像復号化システム - Google Patents

Abstract

(57)【要約】 【課題】 伝送路の転送レートを上げることなく、動画
像符号化装置内のデータ転送レートを上げる。 【解決手段】 映像符号化部１０３で符号化される単位
時間当たりの符号化映像データのデータ量を計測し、そ
のデータ量が所定の閾値より小さい場合、フォーマット
部１１５で符号化される符号化補助データの出力データ
を増加するとともに、多重部１０７で多重する符号化補
助データが増すように制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、符号化する際の、
映像、音声、および補助データの多重制御に特徴を備え
たディジタル動画像符号化装置及びディジタル動画像符
号化LSI等の動画像符号化装置、動画像復号化システム
に関するものである。

【０００２】

【従来の技術】従来のディジタル動画像の符号化を規定
するものとして、例えばISO／IEC 13818-1、ISO／IEC 1
3818-2、ISO／IEC 13818-3（通称ＭＰＥＧ２）にディジ
タル符号化データの国際標準フォーマットがある。

【０００３】ISO／IEC 13818-1は符号化映像データと符
号化音声データの分離について、ISO／IEC 13818-2は、
分離された符号化映像データの復号化について、ISO／I
EC 13818-3は分離された符号化音声データの復号化につ
いて記述されている。

【０００４】従来の動画像復号化システムについて図を
用いて説明する。

【０００５】図９において、91は映像データと補助デー
タが多重された複合映像データを入力する入力端子、92
は複合映像データに多重されている映像データと補助デ
ータをそれぞれ符号化映像データと符号化補助データに
符号化後、符号化映像データと符号化補助データを多重
し、多重データとして出力する動画像符号化装置、93は
多重データを伝送する伝送路、94は多重データより符号
化映像データと符号化補助データに分離し、それぞれ映
像データと補助データに復号化後、復号した映像データ
と補助データを複合映像データに複合する動画像復号化
装置、95は複合映像データを出力する出力端子である。

【０００６】以下、上記従来の動画像符号化装置の動作
を説明する。

【０００７】まず、動画像符号化装置92において、入力
端子91より入力された複合映像データを入力し、多重デ
ータを伝送路93に出力する。

【０００８】動画像復号化装置94において伝送路93で伝
送されてきた多重データを入力し複合映像データを出力
端子95に出力する。

【０００９】従来の図9の動画像符号化装置92につい
て、図１０を用いて説明する。

【００１０】図１０において、101は映像データと補助
データが多重されている複合映像データを入力する複合
映像データ入力端子、102は複合映像データから映像デ
ータと補助データを分離する補助データ分離部、103は
映像データを符号化し符号化映像データを出力するとと
もに符号化した映像フレームの符号データ量を出力する
映像符号化部、104は符号化映像データを一時的に貯え
る映像出力バッファ、105は補助データのフォーマット
を変換し符号化補助データを出力するとともに任意の符
号化単位毎にその符号データ量を出力するフォーマット
部、106は符号化補助データを一時的に貯える補助デー
タ出力バッファ、110は後述する動画像復号化装置のバ
ッファ、映像出力バッファ104および補助データ出力バ
ッファ106が破綻しないように、符号化された符号化映
像データのデータ量と符号化補助データのデータ量より
次に後述する多重部107で多重するデータの種類を選択
しその選択結果を出力する多重制御部、107は選択結果
に従って符号化映像信号または符号化補助データを入力
し、ヘッダーを付加して多重データを出力する多重部、
108はデータを一時的に貯える多重データ出力バッフ
ァ、109は多重データを出力する出力端子である。

【００１１】以下、上記従来の動画像符号化装置の動作
を説明する。

【００１２】まず、複合映像データ入力端子101より入
力された複合映像データは、補助データ分離部102で映
像データと補助データに分離される。

【００１３】分離された映像データは、映像符号化部10
3で符号化映像データに符号化され、映像出力バッファ
104に一時的に貯えられる。この時、符号化した映像フ
レームの符号データ量を多重制御部110に出力する。

【００１４】一方、分離された補助データはフォーマッ
ト部105で符号化補助データに変換され補助データ出力
バッファ106に一時的に蓄えられる。この時、任意の符
号化単位毎にその符号データ量を多重制御部110に出力
する。

【００１５】多重制御部110では符号化映像データのデ
ータ量と符号化補助データ量を入力し、選択結果を多重
部107に出力する。

【００１６】多重部107では、選択結果に基づいて多重
を行い、多重データ出力バッファ108を介し、多重デー
タを出力端子109より出力する。

【００１７】次に、図９の動画像復号化装置94につい
て、図１１を用いて説明する。

【００１８】図１１において、201は多重データを入力
する入力端子、202は多重データに多重されているヘッ
ダーに基づいて多重データから符号化映像データと符号
化補助データを分離する分離部、203は符号化映像デー
タを一時的に貯える映像入力バッファ、204は符号化映
像データを映像データに復号する映像復号化部、205は
符号化補助データを一時的に貯える補助データ入力バッ
ファ、206は符号化補助データを補助データに復号化す
るデフォーマット部、207は映像データと補助データを
複合映像データに多重する複合部、208は複合映像信号
を出力する出力端子である。

【００１９】以下、上記従来の動画像復号化装置の動作
を説明する。

【００２０】まず、分離部202において、入力端子201よ
り入力された上記従来の動画像符号化装置で符号化され
た多重データが符号化映像データと符号化補助データに
分離される。

【００２１】分離された一方の符号化映像データは映像
入力バッファ203に、他方の符号化補助データは補助デ
ータ入力バッファ205に出力される。

【００２２】映像復号化部204において映像入力バッフ
ァ203の符号化映像データは映像データに復号され複合
部207に出力される。

【００２３】デフォーマット部206において補助データ
入力バッファ205の符号化補助データは補助データに復
号され複合部207に出力される。

【００２４】複合部207において映像データと補助デー
タが複合映像データに複合され出力端子208より出力さ
れる。

【００２５】以上のように構成されたシステムの動作に
ついて説明すると、まず、出力端子１０９より出力され
る多重データは、その先に接続される伝送路の転送速度
により単位時間に出力されるデータ量が制限される。

【００２６】そのため、映像符号化部103とフォーマッ
ト部105から出力される単位時間のデータ量総和はこの
転送速度以下に制御する必要がある。

【００２７】以下、上記従来の動画像符号化装置の多重
部107の制御について説明を行う。図１２において、(a)
は映像符号化部103から出力される符号化映像データの
単位時間当たりのデータ量を、(b)はフォーマット部105
から出力される符号化補助データの単位時間当たりのデ
ータ量を示す。

【００２８】また、Tfr[秒]は映像のフレーム周期を示
す。また、T[n]（ｎは整数）は時刻を表し、T[n+1] −
T[n]=Tfrの関係がある。

【００２９】図１２(b)が示すように、フォーマット部1
05から出力される符号化補助データの単位時間当たりの
データ量をB[bps]とし、出力端子１０９より出力される
多重データの転送速度をC[bps]とする。

【００３０】この時、図１２(a)の実線が示すように、
映像符号化部103は、映像符号化データの単位時間当た
りのデータ量がＣ−Ｂ＝Ａ[bps]以下になるように符号
化を行う。

【００３１】一方、図１２(c)は、出力端子１０９から
出力される多重データの単位時間当たりのデータ量を示
す。

【００３２】また、T'[m](mは整数)は時刻を表し、以下
の関係がある。

【００３３】 T'[m+1] − T'[m]＝Tfr T[l] ≦ T'[l] (lは整数) この図が示すように、時刻T[n]からT[n+1]で映像符号化
部１０３とフォーマット部１０５でそれぞれ符号化され
た符号化映像データと符号化補助データは、それぞれ映
像出力バッファ １０４と補助データ出力バッファ１０
６を介し、時刻T'[n]からT'[n+1]の間に多重部１０７で
多重され、出力される。

【００３４】このようにして、上記従来の動画像符号化
装置は、出力端子１０９より出力される多重データの単
位時間当たりのデータ量が指定された転送速度(Cbps)以
下になることを保証している。

【００３５】

【発明が解決しようとする課題】しかしながら上記従来
の動画像符号化装置では、次のような不具合が生じる。
フォーマット部１０５は、実際には、1フレームに多重
されるD[Bit]補助データをTfr期間に1回転送する。ここ
でB*Tfr=Dの関係がある。しかしながら、例えば図１２
(c)の時刻T'[3]とT'[4]の間の期間が示すように、Tfr期
間に2フレーム分以上のデータを転送するフレーム期間
がある。

【００３６】つまり、上記従来の動画像符号化装置で
は、伝送路の伝送速度の制約を補償するため、必要以上
に補助データを分けてフォーマット部１０５が補助デー
タ出力バッファ１０６に出力している。そのため、フォ
ーマット部１０５の負荷が高くなると言う問題点を有し
ていた。

【００３７】また、図１２(c)の時刻T'[3]とT'[4]の間
の期間が示すように、Tfr期間に2フレーム分以上のデー
タを転送するフレーム期間があるのに、1フレーム分の
データしか転送していない。

【００３８】つまり、上記従来の動画像符号化装置で
は、伝送路の伝送速度の制約を補償するため、実際に転
送出来る補助データより少ない補助データしか多重して
おらず、伝送効率が悪くなると言う問題を有していた。

【００３９】更に、図１２(a)の時刻T[2]とT[3]の間の
期間と図１２(c)の時刻T'[2]とT'[3]の間の期間が示す
ように、このフレーム期間には映像符号化部103はA×Tf
r[bit]以下でしか映像フレームを符号化できない。

【００４０】実際にはC×Tfr[bit]まで符号化に用いる
ことが出来る。通常映像の符号化では、映像の複雑さに
よっては、符号化に使用出来るビット数が少ない場合、
その復号化を行なった時、著しく画質が劣化する。

【００４１】すなわち、上記従来の動画像符号化システ
ムでは、伝送路の伝送速度の制約を補償するための、十
分な画質の復号化画像を得ることができないと言う問題
点を有していた。

【００４２】本発明は、かかる点に鑑み、伝送路、記録
媒体への転送レートの制約により符号化されたデータの
多重効率の低下を防ぎ、補助データの転送量または記録
媒体への記録量を増加できる動画像符号化装置、動画像
復号化システム、動画像符号化方法を提供することを目
的とする。

【００４３】

【課題を解決するための手段】前記目的を達成するた
め、第１の発明は、複数のデータを入力しそれぞれ符号
化した後多重を行う動画像符号化装置であって、複数の
データをそれぞれ符号化する２つ以上の符号化手段と、
前記符号化したデータをそれぞれ一時的に記録する複数
の記録手段と、前記記録手段に記録されている前記符号
化されたデータを多重する多重手段と、１つまたは複数
の前記符号化手段の所定時間に出力される第1のデータ
量を計測し、前記第1のデータ量が閾値より小さい場合
は、1つまたは複数の前記符号化手段の所定期間に出力
される第２のデータ量を増加するように制御する制御手
段とを備えたものである。

【００４４】この発明によると、符号化部の出力データ
量を計測し、計測した結果に基づいて符号化するデータ
量を制御することにより、多重手段の多重効率を高める
ことが出来る。

【００４５】また、第２の発明は、前記制御手段が前記
第１のデータ量が閾値より小さい場合、前記第２のデー
タ量が増加するように制御し、その後、前記第２のデー
タ量が所定期間減少するように制御することを特徴とす
る。

【００４６】この発明によると、符号化部の出力データ
量を計測し、計測した結果に基づいて符号化するデータ
量を制御することにより、符号化手段の転送負荷を下げ
ることが出来る。

【００４７】また、第３の発明は、映像データと補助デ
ータを入力し、それぞれ符号化した後多重する動画像符
号化装置であって、映像データを符号化映像データに符
号化し、その符号化が前記符号化映像データの単位時間
当たり第１のデータ量が第１の閾値以下になるような符
号化である第１の符号化手段と、補助データを符号化補
助データに符号化し、その符号化が前記符号化補助デー
タの単位時間当たりの第２のデータ量が第２の閾値以下
になるような符号化である第２の符号化手段と、前記符
号化映像データを一時的に記録する第１の記録手段と、
前記符号化補助データを一時的に記録する第２の記録手
段と、前記第１の記録手段に記録されている前記符号化
映像データと前記第２の記録手段に記録されている前記
符号化補助データを多重する多重手段と、前記第１の符
号化手段から出力される前記符号化映像データの所定時
間当たりの第３のデータ量を計測し、前記第３のデータ
量が第３の閾値以下である場合、前記第２の閾値を増加
する制御手段とを備えたものである。

【００４８】この発明によると、第１の符号化手段の出
力データ量を計測し、計測した結果に基づいて第２の符
号化手段で符号化するデータ量を制御することにより、
多重手段の多重効率を高めることが出来る。

【００４９】また、第４の発明では、前記制御手段が、
前記第３のデータ量が閾値より小さい場合、前記第２の
閾値を増加し、その後、前記第２の閾値を所定期間減少
させるように制御することを特徴とする。

【００５０】第４の発明によると、第１の符号化手段の
出力データ量を計測し、計測した結果に基づいて第2の
符号化手段で符号化するデータ量を制御することによ
り、第2の符号化手段の転送負荷を下げることが出来
る。

【００５１】また、第５の発明では、前記制御手段が、
前記第３のデータ量が閾値より小さい場合、前記第２の
閾値を増加し、その後、前記第２の閾値を所定期間減少
させるとともに、前記第１の閾値を所定期間増加させる
ように制御することを特徴とする。

【００５２】この発明によると、第１の符号化手段の出
力データ量を計測し、計測した結果に基づいて第１の符
号化手段と第２の符号化手段で符号化するデータ量を制
御することにより、第１の符号化手段の上限転送レート
を上げ、高画質の動画像符号化装置を実現することが出
来る。

【００５３】また、第６の発明は、動画像復号化システ
ムとして、前記動画像符号化装置と、前記動画像符号化
装置が出力した多重データを入力とし、これを指定され
たビットレートで出力する出力バッファと、前記出力バ
ッファが出力した多重データを伝送する伝送路と、前記
伝送路が伝送する多重データを入力とし、必要に応じて
出力する入力バッファと、前記入力バッファが出力する
多重データを復号する動画像復号化装置とを備えたもの
で、動画像符号化装置により符号化した多重データを伝
送し、復号する動画像復号化システムを実現できるもの
である。

【００５４】また、第７の発明は、動画像復号化システ
ムとして、前記動画像符号化装置と、前記動画像符号化
装置が出力した多重データを入力とし、これを指定され
たビットレートで出力する出力バッファと、前記出力バ
ッファが出力した多重データを記録する記録媒体と、前
記記録媒体が読み出して出力する多重データを入力と
し、必要に応じて出力する入力バッファと、前記入力バ
ッファが出力する多重データを復号する動画像復号化装
置とを備えたもので、動画像符号化装置により符号化し
た多重データを一旦記録媒体に記録し、記録を読み出し
て復号する動画像復号化システムを実現できるものであ
る。

【００５５】

【発明の実施の形態】以下、本発明の実施形態について
図面を参照しながら説明する。

【００５６】（第１の実施形態）図１は、本発明の第１
の実施形態における動画像符号化装置の構成を示すブロ
ック図で、従来の技術と同じ動作をするものは同一符号
を付けて、以下、詳細な説明を省略する。

【００５７】本実施形態の動画像符号化装置は、複合映
像データ入力端子101、補助データ分離部102、映像符号
化部103、映像出力バッファ104、フォーマット部113、
補助データ出力バッファ106、多重制御部112、多重部10
7、多重データ出力バッファ108、出力端子109、補助デ
ータ制御部111より構成される。

【００５８】補助データ制御部111は、映像符号化部103
の単位時間当たりの出力データ量に基づいて、フォーマ
ット部113で単位時間当たりに符号化を行う符号化補助
データ量を指定する符号化補助データ出力データ量と、
多重部107で単位時間あたりの多重する符号化補助デー
タのデータ量を指定する符号化補助データ多重データ量
を出力する。

【００５９】多重制御部112は、動画像復号化装置のバ
ッファ、映像出力バッファ104及び補助データ出力バッ
ファ106が破綻しないように、符号化映像データのデー
タ量、符号化補助データのデータ量、そして符号化補助
データ多重データ量に基づいて多重部107で多重するデ
ータの種類を選択し、その選択結果を出力する。

【００６０】フォーマット部113は、符号化補助データ
出力データ量に基づいて補助データを符号化補助データ
に符号化するとともに、任意の符号化単位毎にその符号
データ量を出力する。

【００６１】以下、本実施形態の多重部107及びフォー
マット部113の制御について図2を用いて説明を行う。

【００６２】まず、補助データ制御部111は、通常、図
２(b)の期間T[0]〜T[1]が示すように、B[bps]でフォー
マット部113が符号化補助データを符号化するように制
御するとともに、図２(c)の期間T'[0]〜T'[1]が示すよ
うに、多重部107が符号化補助データをB[ｂps]で多重す
るように制御する。

【００６３】一方、図２(a)の期間T[1]〜T[2]が示すよ
うに、C−G[n] ≧ B×2 (nは整数)が満たされる場合、
補助データ制御部111は、図２(b)の期間T[2]〜T[3]が示
すように、B×2[bps]でフォーマット部113が符号化補助
データを符号化するように制御するとともに、図２(c)
の期間T'[1]〜T'[2]が示すように、多重部107が符号化
補助データをB×2[ｂps]で多重するように制御する。

【００６４】その後、補助データ制御部111は、図２(b)
の期間T[3]〜T[4]が示すようにB[bps]でフォーマット部
113が符号化補助データを符号化するように制御すると
ともに、図２(c)の期間T'[2]〜T'[3]が示すように、多
重部107が符号化補助データをB[ｂps]で多重するように
制御する。その他の期間についても同様の制御を行う。

【００６５】このような制御により、従来の動画像符号
化装置では、Ｔfr×5[秒]の間にB×5×Ｔfr[bit]でしか
補助データが符号化できないところ、B×7×Ｔfr[bit]
符号化することが可能となる。

【００６６】このようにして、本実施形態における動画
像符号化装置は、符号化映像データのデータ量により、
フォーマット部で符号化を行う符号化補助データの量を
増加させることにより、補助データの多重効率を高める
ことが可能となる。

【００６７】（第２の実施形態）図３は本発明の第２の
実施形態にかかる動画像符号化装置のブロック図であ
る。従来の技術、及び、第１の実施形態と同じ動作をす
るものは、同一符号を付けて詳細な説明を省略する。

【００６８】本実施形態の動画像符号化装置は、複合映
像データ入力端子101、補助データ分離部102、映像符号
化部103、映像出力バッファ104、フォーマット部115、
補助データ出力バッファ106、多重制御部112、多重部10
7、多重データ出力バッファ108、出力端子109、補助デ
ータ制御部114より構成される。

【００６９】補助データ制御部114は、映像符号化部103
の単位時間当たりの出力データ量に基づいて、フォーマ
ット部115で単位時間当たりに符号化を行う符号化補助
データ量を指定する符号化補助データ出力データ量と、
多重部107で単位時間あたりの多重する符号化補助デー
タのデータ量を指定する符号化補助データ多重データ量
を出力する。

【００７０】フォーマット部115は、符号化補助データ
出力データ量に基づいて、補助データを符号化補助デー
タに符号化するとともに、任意の符号化単位毎にその符
号データ量を出力する。

【００７１】以下、上記本実施形態の多重制御部112及
びフォーマット部115の制御について、図４を用いて説
明を行う。

【００７２】まず、補助データ制御部１１４は、通常、
図４(b)の期間T[0]〜T[1]が示すように、B[bps]でフォ
ーマット部115が符号化補助データを符号化するように
制御するとともに、図４(c)の期間T'[0]〜T'[1]が示す
ように、多重部107が符号化補助データをB[bps]で多重
するように制御する。

【００７３】一方、図４(a)の期間T[1]〜T[2]が示すよ
うに、Ｃ−G[n] ≧ B×2 (nは整数)が満たされる場合、
補助データ制御部114は、図４(b)の期間T[2]〜T[3]が示
すように、B×2[bps]でフォーマット部115が符号化補助
データを符号化するように制御するとともに、図４(c)
の期間T'[1]〜T'[2]が示すように、多重部107が符号化
補助データをB×2[Bps]で多重するように制御し、さら
に、図４(c)の期間T'[2]〜T'[3]が示すように、多重部1
07が符号化補助データを0[bps]で多重するように制御す
る。その他の期間についても同様の制御を行う。

【００７４】このような制御により、従来の動画像符号
化装置では、B×4×Ｔfr[bit]をフォーマット部115から
補助データ出力バッファ106に転送するのにＴfr×4[秒]
必要としたところ、Ｔfr×3[秒]で転送が可能となる。

【００７５】このようにして、本実施形態の動画像符号
化装置は、符号化映像データのデータ量が少ない期間に
は多くの符号化補助データを出力し、その後の期間には
符号化補助データを出力させないことにより、フォーマ
ット部１１５の符号化補助データの出力回数を減少さ
せ、フォーマット部１１５の負荷を軽減することが出来
る。

【００７６】（第３の実施形態）図５は本発明の第３の
実施形態にかかる動画像符号化装置のブロック図であ
る。従来の技術、第１の実施形態、および、第２の実施
形態と同じ動作をするものは同一符号を付けて詳細な説
明を省略する。

【００７７】本実施形態の動画像符号化装置は、複合映
像データ入力端子101、補助データ分離部102、映像符号
化部116、映像出力バッファ104、フォーマット部115、
補助データ出力バッファ106、多重制御部112、多重部10
7、多重データ出力バッファ108、出力端子109、補助デ
ータ制御部117より構成される。

【００７８】補助データ制御部１１７は、映像符号化部
１１６の単位時間当たりの出力データ量に基づいて、フ
ォーマット部１１５で単位時間当たりに符号化を行う符
号化補助データ量を指定する符号化補助データ出力デー
タ量と、多重部１０７で単位時間あたりの多重する符号
化補助データのデータ量を指定する符号化補助データ多
重データ量と、映像符号化部１１６で単位時間あたりに
符号化するデータ量の上限を指定する符号化映像データ
出力データ量を出力する。

【００７９】映像符号化部１１６は、符号化映像データ
出力データ量に基づいて映像データを符号化し、符号化
映像データを出力するとともに、符号化した映像フレー
ムの符号データ量を出力する。

【００８０】以下、本実施の形態の多重制御部１１２、
フォーマット部１１５、及び、映像符号化部１１６の制
御について、図6を用いて説明を行う。

【００８１】まず、補助データ制御部１１７は、通常、
図６(b)の期間T[0]〜T[1]が示すように、B[bps]でフォ
ーマット部１１５が符号化補助データを符号化するよう
に制御するとともに、図６(c)の期間T'[0]〜T'[1]が示
すように、多重部１０７が符号化補助データをB[bps]で
多重するように制御し、さらに、期間T[0]〜T[1]が示す
ように、映像符号化部１１６の出力がA[bps]以下になる
ように制御する。

【００８２】一方、図６(a)の期間T[1]〜T[2]が示すよ
うに、Ｃ−G[n] ≧ B×2 (nは整数)が満たされる場合、
補助データ制御部１１７は、図６(b)の期間T[2]〜T[3]
が示すように、B×2[bps]でフォーマット部１１５が符
号化補助データを符号化するように制御するとともに、
図４(c)の期間T'[1]〜T'[2]が示すように、多重部１０
７が符号化補助データをB×2[bps]で多重するように制
御し、そして、図４(c)の期間T'[2]〜T'[3]が示すよう
に、多重部107が符号化補助データを0[bps]で多重する
ように制御し、さらに、図６(a)の期間T[2]〜T[3]が示
すように、映像符号化部116の出力がA+B[bps]以下にな
るように制御する。その他の期間についても同様の制御
を行う。

【００８３】従来の動画像符号化装置では、常に映像符
号化部の出力がA[bps]以下になるように制御されていた
のに対し、この実施形態の制御により、実際の映像符号
化部の発生量によりA[bps]以上の符号化映像データを出
力することが可能となる。

【００８４】このようにして本実施形態の動画像符号化
装置は、符号化映像データのデータ量が少ない期間には
多くの符号化補助データを出力し、その後の期間には符
号化補助データを出力させないことにより、符号化映像
データの出力データ量の上限を高くし、符号化映像デー
タを復号化した時の画質を向上することが出来る。

【００８５】（第４の実施形態）本発明の第４の実施形
態にかかる動画像復号化システムは、図９に示す従来の
動画復号化システムにおける動画像符号化装置92を、第
1、または、第2 または、第3の実施形態の動画像符号化
装置に置き換えたものである。

【００８６】入力端子91、第1、または、第2 または、
第3の実施形態の動画像符号化装置92、伝送路93、動画
像復号化装置94と、出力端子95を備えている。入力端子
91と動画像符号化装置92は送信側に設けられており、動
画像復号化装置94と出力端子95は受信側に設けられてい
る。

【００８７】動画像符号化装置92は、入力端子91より入
力された複合映像データを映像データと補助データに分
離したのち、それぞれ、符号化映像データと符号化補助
データに符号化し、符号化した符号化映像データと符号
化補助データを多重データに多重して伝送路93に出力す
る。伝送路93では、多重データを送信側から受信側に伝
送する。

【００８８】受信側において、動画像復号化装置94は伝
送路93より入力される多重データを符号化映像データと
符号化補助データに分離した後、それぞれ、映像データ
と補助データに復号し、復号された映像データと補助デ
ータを複合映像データに複合し出力端子95より出力す
る。

【００８９】以上のように、本実施形態によると、第
1、または、第2、または第3の実施形態で説明した動画
像符号化装置で複合映像データを符号化し、伝送路を介
し伝送し、受信側では受信データを復号して複合映像デ
ータを出力する動画像符号化システムが得られる。

【００９０】（第５の実施形態）図７は本発明の第５の
実施形態にかかる動画像復号化システムの記憶媒体への
記録に関する部分のブロック図である。図７の動画像復
号化システムは、入力端子71と、動画像符号化装置72
と、記録媒体73とを備えている。

【００９１】入力端子71は複合映像データを入力し、動
画像符号化装置72に出力する。動画像符号化装置72は第
１、または、第2、または、第3の実施形態で説明した動
画像符号化装置であり、復号映像データを映像データと
補助データに分離したのち、それぞれ、符号化映像デー
タと符号化補助データに符号化し、符号化した符号化映
像データと符号化補助データを多重データに多重して記
録媒体73に出力する。記録媒体73は、入力された多重デ
ータを記録する。

【００９２】記録媒体73は、メモリ、磁気ディスク、光
ディスク等の情報を記録することが出来る媒体であっ
て、書き込み、読み取りのための機能を備えている。

【００９３】図8は本実施形態の動画像復号化システム
の記録媒体からの再生に関する部分のブロック図であ
る。図8の動画像復号化システムは、記録媒体73と動画
像復号化装置81と出力端子82とを備えている。

【００９４】記録媒体73は、記録された多重データを読
み出し、動画像復号化装置81に出力する。以降は第4の
実施形態と同様であるので、省略する。

【００９５】以上のように、本実施形態によると、第
１、または、第2、または、第3の実施形態で説明した動
画像符号化装置で複合映像データを符号化し、記録媒体
に記録して、その後記録媒体からデータを読み出し、復
号して複合映像データを出力する動画像復号化システム
が得られる。

【００９６】なお、上記各実施形態では、映像データと
補助データの2入力について説明したが、3入力以上であ
っても同様である。

【００９７】また、MPEG2に準拠した動画像符号化装置
の一例について説明したが、符号化方法は他の方法であ
ってもよい。さらに、出力データ量の制御を行う動画像
符号化方式であれば、MPEG2以外の他の符号化装置にお
いて動画像を符号化する場合に本発明を適用してもよ
い。

【００９８】

【発明の効果】以上のように、本発明によると、伝送路
や記録媒体への転送速度の制約により、符号化されたデ
ータの多重効率が低下を防ぐことができ、補助データの
転送量または記録媒体への記録量を増加することが出来
る。また、高画質な動画像符号化を行うことが出来る。

【図面の簡単な説明】

【図１】本発明の第1の実施形態にかかる動画像符号化
装置の構成を示すブロック図

【図２】（ａ）〜（ｃ）図１のレート制御を示す図

【図３】本発明の第２の実施形態にかかる動画像符号化
装置の構成を示すブロック図

【図４】（ａ）〜（ｃ）図３のレート制御を示す図

【図５】本発明の第３の実施形態にかかる動画像符号化
装置の構成を示すブロック図

【図６】（ａ）〜（ｃ）図５のレート制御を示す図

【図７】本発明の第５の実施形態にかかる動画像復号化
システムの記録媒体への記録に関する部分のブロック図

【図８】図７の記録媒体から再生に関する部分のブロッ
ク図

【図９】従来の動画像復号化システムのブロック図

【図１０】従来の動画像符号化装置のブロック図

【図１１】従来の動画像復号化装置のブロック図

【図１２】（ａ）〜（ｃ）従来の動画像符号化装置のレ
ート制御を示す図

【符号の説明】

91 入力端子 93 伝送路 95 出力端子 101 復号映像データ入力端子 102 補助データ分離部 103 映像符号化部 104 映像出力バッファ 105 フォーマット部 106 補助データ出力バッファ 107 多重部 108 多重データ出力バッファ 109 出力端子 110 多重制御部 111 補助データ制御部 112 多重制御部 113 フォーマット部 114 補助データ制御部 115 フォーマット部 116 映像符号化部 117 補助データ制御部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK34 RB14 RC32 RC33 RC34 TA60 TC10 TD12 UA02 UA38 5C063 AB03 AB07 AC01 AC10 CA34 DA13 5J064 AA02 BB10 BC01 BC26 BD02 BD03 5K028 AA12 CC02 DD01 DD02 EE03 KK03 SS05 SS15 SS24

Claims (8)

【特許請求の範囲】
1. 【請求項１】複数のデータを入力し、それぞれ符号化し
   た後多重する動画像符号化装置であって、 複数のデータをそれぞれ符号化する2つ以上の符号化手
   段と、 前記符号化したデータをそれぞれ一時的に記録する複数
   の記録手段と、 複数の前記記録手段に記録されている前記符号化された
   データを多重する多重手段と、 １つまたは複数の前記符号化手段の所定期間に出力され
   る第１のデータ量を計測し、前記第1のデータ量が閾値
   より小さい場合は、1つまたは複数の前記符号化手段の
   所定期間に出力される第２のデータ量を増加するように
   制御する制御手段とを備えた動画像符号化装置。
2. 【請求項２】前記制御手段は、前記第１のデータ量が閾
   値より小さい場合、前記第２のデータ量が増加するよう
   に制御し、その後、前記第２のデータ量が所定期間減少
   するように制御することを特徴とする請求項１記載の動
   画像符号化装置。
3. 【請求項３】映像データと補助データを入力し、それぞ
   れ符号化した後多重する動画像符号化装置であって、 映像データを符号化映像データに符号化し、その符号化
   が前記符号化映像データの単位時間当たりの第１のデー
   タ量が第１の閾値以下になるような符号化である第１の
   符号化手段と、 補助データを符号化補助データに符号化し、その符号化
   が前記符号化補助データの単位時間当たりの第２のデー
   タ量が第２の閾値以下になるような符号化である第2の
   符号化手段と、 前記第１の符号化手段より出力される前記符号化映像デ
   ータを一時的に記録する第1の記録手段と、 前記第２の符号化手段より出力される前記符号化補助デ
   ータを一時的に記録する第2の記録手段と、 前記第１の記録手段に記憶されている前記符号化映像デ
   ータと前記第２の記録手段に記録憶されている前記符号
   化補助データを多重する多重手段と、 前記第１の符号化手段から出力される前記符号化映像デ
   ータの所定時間当たりの第３のデータ量を計測し、前記
   第３のデータ量が第３の閾値以下である場合、前記第２
   の閾値を増加する制御手段とを備えた動画像符号化装
   置。
4. 【請求項４】前記制御手段は、前記第３のデータ量が閾
   値より小さい場合、前記第２の閾値を増加し、その後、
   前記第２の閾値を所定期間減少させることを特徴とする
   請求項３記載の動画像符号化装置。
5. 【請求項５】前記制御手段は、前記第３のデータ量が閾
   値より小さい場合、前記第２の閾値を増加し、その後、
   前記第２の閾値を所定期間減少させるとともに、前記第
   １の閾値を所定期間増加させることを特徴とする請求項
   ３記載の動画像符号化装置。
6. 【請求項６】請求項1から5記載のいずれかの動画像符号
   化装置と、 前記動画像符号化装置が出力した多重データを入力と
   し、これを指定されたビットレートで出力する出力バッ
   ファと、 前記出力バッファが出力した前記多重データを伝送する
   伝送路と、 前記伝送路が伝送する前記多重データを入力とし、必要
   に応じて出力する入力バッファと、 前記入力バッファが出力する前記多重データを復号する
   動画像復号化装置とを備えた動画像復号化システム。
7. 【請求項７】請求項1から5記載のいずれかの動画像符号
   化装置と、 前記動画像符号化装置が出力した多重データを入力と
   し、これを指定されたビットレートで出力する出力バッ
   ファと、 前記出力バッファが出力した前記多重データを記録する
   記録媒体と、 前記記録媒体が読み出して出力する前記多重データを入
   力とし、必要に応じて出力する入力バッファと、 前記入力バッファが出力する多重データを復号する動画
   像復号化装置とを備えた動画像復号化システム。
8. 【請求項８】映像データと補助データを入力し、それぞ
   れ符号化した後多重する動画像符号化方法であって、 前記映像データを符号化映像データに符号化するに際
   し、前記符号化映像データの単位時間当たりのデータ量
   が第１の閾値以下になるように符号化し記録する工程
   と、 前記補助データを符号化補助データに符号化するに際
   し、前記符号化補助データの単位時間当たりのデータ量
   が第２の閾値以下になるように符号化し記録する工程
   と、 記録した前記符号化映像データと前記符号化補助データ
   を多重する工程と、前記符号化映像データの所定時間当
   たりのデータ量が第３の閾値以下である場合、前記第２
   の閾値を増加する工程を含むことを特徴とする動画像符
   号化方法。