JP2001189933A - 復号化バッファ制御装置 - Google Patents

Abstract

(57)【要約】 【課題】 復号化バッファのオーバーフロー又はアンダ
ーフローによる破綻を回避する復号化バッファ制御装置
に関し、復号データの再生時の視覚的又は聴覚的な劣化
を抑圧しながら復号化バッファの破綻回避の制御を行
う。 【解決手段】 符号化データを復号化バッファ１−１に
蓄積した後に復号化する復号化装置において、符号化部
１−２による復号化過程で得られるデータ及び復号化後
のデータ又はそのいずれかのデータから、復号化処理単
位のデータ間の類似度を類似度計算手段１−５により計
算し、バッファ制御手段１−４は、復号化バッファのオ
ーバーフロー又はアンダーフローを回避するために、類
似度の高いデータに対して復号化バッファ１−１へ間引
いて蓄積し、又は、類似度の高いデータの復号化を中止
して再生メモリ１−３から繰返し再生する制御を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、復号化バッファ制
御装置に関する。ＭＰＥＧ（Moving Pictures Experts
Group ）は、高品質なビデオ・オーディオデータの符号
化及び多重化の国際標準化方式であり、デジタル衛星放
送やＤＶＤ（Digital Video Disc）などを初めとし、様
々な分野でその応用が期待されている。

【０００２】一方、ネットワークインフラストラクチャ
は、インターネットやイントラネットなどデータ転送を
主体としたＩＰ（Internet Protocol ）ベースのネット
ワークヘと統合されつつある。これらを背景として、高
品質なビデオ・オーディオ符号化データのリアルタイム
転送或いは配信も、今後ＩＰネットワーク上での有力な
アプリケーションの一つとして注目されている。

【０００３】しかしながら、ＩＰネットワークでは送信
（符号化）端末と受信（復号化）端末との間で転送クロ
ックの周波数同期は保証されない。このような非同期転
送クロックの環境下で、符号化クロックと復号化クロッ
クを同期させるための手法としては、アダプティブクロ
ックを用いた手法などがあるが、インターネットのよう
なジッタの多い環境下においては、この手法を適用する
ことは困難である。

【０００４】本発明は、ビデオデータやオーディオデー
タなどの符号化及び復号化処理において、符号化クロッ
クと復号化クロックの周波数を同期させることができな
い場合に生じるデータ処理量の違いを、復号化装置側で
データを間引いて処理したり、復号化バッファからの符
号化データの読み出し及び復号化処理を停止し、復号デ
ータを繰り返し再生することによって調整し、復号化バ
ッファメモリのオーバーフロー又はアンダーフローによ
る破綻を回避する復号化バッファ制御装置に関する。

【０００５】

【従来の技術】図１１は従来の復号化バッファ制御の説
明図である。符号化装置からの符号化データは、一旦、
復号化バッファ１１−１に蓄積され、復号化部１１−２
は該復号化バッファ１１−１から符号化データを読み出
して復号化を行い、復号化したデータは再生メモリ１１
−３に格納された後、再生データとして出力される。

【０００６】上記の復号化処理において、復号化バッフ
ァ１１−１がオーバーフロー又はアンダーフローを起こ
さないように、復号化バッファ制御部１１−４は、復号
化バッファ１１−１のメモリ残量を監視し、符号化と復
号化とのデータ処理量の違いを調整するために、例えば
特開平７−１３５６５９号公報等に記載の復号制御装置
では、オーバーフローの危険がある場合には、復号化バ
ッファ１１−１内の符号化データが所定の容量以下にな
るまで符号化データを間引き、アンダーフローの危険が
ある場合には、符号化データが所定の容量以上になるま
で、一旦、復号化処理（復号化バッファ１１−１からの
読み出し）を停止し、再生メモリ１１−３から最終復号
画像を繰り返し表示する制御を行う。

【０００７】更に、符号化データの間引きによる以降の
復号画像への影響を考慮し、上記特開平７−１３５６５
９号公報記載の復号制御装置ではＢピクチャ（両方向予
測符号化画像）の符号化データが優先的に間引かれるよ
うに、また特開平６−１５３１８４号公報記載の符号化
復号化装置ではＩピクチャ（フレーム内符号化画像）の
直前のピクチャの符号化データが間引かれるような制御
を行っている。

【０００８】

【発明が解決しようとする課題】しかしながら、例え
ば、ビデオデータでは動きの激しいシーンや、パニング
などのシーンで、上記のような符号化データの間引きや
最終復号化画像データの再生繰り返しが行われた場合、
再生された映像の動きがぎこちないものとなってしま
う。

【０００９】また、オーディオデータでは音圧パワーレ
ベルの高い信号に対して、符号化データの間引きや最終
復号化オーディオデータの繰り返し再生処理が行われた
場合、信号の不連続性による耳障りな雑音が発生すると
いう問題がある。

【００１０】本発明は、符号化クロックと復号化クロッ
クとが非同期な場合に発生する処理データ量の違いよる
復号化バッファのオーバーフロー又はアンダーフローに
よる破綻を、復号データの再生時の視覚的又は聴覚的な
劣化を抑圧しながら回避する復号化バッファ制御装置を
提供することを目的とする。

【００１１】

【課題を解決するための手段】本発明の復号化バッファ
制御装置は、（１）符号化装置から送出された符号化デ
ータを復号化バッファに蓄積した後に復号化する復号化
装置の復号化バッファ制御装置において、復号化装置の
復号化過程で得られるデータ若しくは復号化後のデータ
又はその両者のデータから、復号化処理単位のデータ間
の類似度を計算する類似度計算手段と、少なくとも前記
類似度計算手段で計算された類似度と復号化バッファの
メモリ残量又は使用量とを評価値として、復号化バッフ
ァのオーバーフロー又はアンダーフローを回避する制御
手段と、を備えたものである。

【００１２】また、（２）符号化装置から送出された符
号化データを復号化バッファに蓄積した後に復号化する
復号化装置の復号化バッファ制御装置において、符号化
装置で計算した復号化処理単位のデータ間の類似度を符
号化装置から入力する手段と、少なくとも前記符号化装
置から入力した類似度と復号化バッファのメモリ残量又
は使用量とを評価値として、復号化バッファのオーバー
フロー又はアンダーフローを回避する制御手段と、を備
えたものである。

【００１３】また、（３）前記制御手段は、復号化バッ
ファのメモリ残量又は使用量に応じて、前記類似度が高
い復号化処理単位のデータに対して、優先的に復号化バ
ッファのオーバーフロー又はアンダーフローを回避する
制御を行うものである。

【００１４】また、（４）符号化装置から送出された符
号化データを復号化バッファに蓄積した後に復号化する
復号化装置の復号化バッファ制御装置において、復号化
装置の復号化過程で得られるデータ若しくは復号化後の
データ又はその両者のデータから、復号化処理単位のデ
ータの代表レベルを計算する代表レベル計算手段と、少
なくとも前記代表レベル計算手段で計算された代表レベ
ルと復号化バッファのメモリ残量又は使用量とを評価値
として、復号化バッファのオーバーフロー又はアンダー
フローを回避する制御手段と、を備えたものである。

【００１５】また、（５）符号化装置から送出された符
号化データを復号化バッファに蓄積した後に復号化する
復号化装置の復号化バッファ制御装置において、符号化
装置で計算した復号化処理単位のデータの代表レベルを
符号化装置から入力する手段と、少なくとも前記符号化
装置から入力入力した代表レベルと復号化バッファのメ
モリ残量又は使用量とを評価値として、復号化バッファ
のオーバーフロー又はアンダーフローを回避する制御手
段と、を備えたものである。

【００１６】また、（６）前記制御手段は、復号化バッ
ファのメモリ残量又は使用量に応じて、前記代表レベル
が音圧パワー又は画像輝度の低いレベルを示す復号化処
理単位のデータに対して、優先的に復号化バッファのオ
ーバーフロー又はアンダーフローを回避する制御を行う
ものである。

【００１７】また、（７）前記制御手段は、復号化処理
単位の符号化データの間引きを行って、前記復号化バッ
ファのオーバーフローを回避する制御を行うものであ
る。また、（８）前記制御手段は、復号化バッファから
の符号化データの読み出しを停止して、復号化バッファ
のアンダーフローを回避するとともに、符号化データの
読み出し停止期間中に復号化データを繰り返して再生
し、又は復号化データの補間を行って再生する制御を行
うものである。

【００１８】また（９）前記復号化処理単位のデータを
１ピクチャ画面のビデオデータとしたものである。また
（１０）前記復号化処理単位のデータを一連のオーディ
オＰＣＭデータとしたものである。

【００１９】また（１１）フレーム並べ替えを伴なうビ
デオデータの復号化バッファ制御装置において、時間的
に離れた２枚のピクチャ画面のデータと、該２枚のピク
チャ画面のデータより後に復号化され、かつ該２枚のピ
クチャ画面の間に表示されるピクチャ画面のデータとの
類似度を、該時間的に離れた２枚のピクチャ画面のデー
タの類似度から計算するものである。

【００２０】

【発明の実施の形態】図１は本発明の第１の実施形態の
説明図である。符号化装置からの符号化データは、一
旦、復号化バッファ１−１に蓄積され、復号化部１−２
は該復号化バッファ１−１から符号化データを読み出し
て復号化を行い、復号化したデータは再生メモリ１−３
に格納されたのち、再生データとして出力される。

【００２１】上記の復号化処理において、復号化バッフ
ァ１−１がオーバーフロー又はアンダーフローを起こさ
ないように、復号化バッファ制御部１−４は、復号化バ
ッファ１−１のメモリ残量又は蓄積された符号化データ
量を監視し、オーバーフローの危険がある場合には、復
号化バッファ１−１内の符号化データが所定の容量以下
になるまで符号化データを間引き、アンダーフローの危
険がある場合には、符号化データが所定の容量以上にな
るまで、一旦、復号化処理（復号化バッファ１−１から
の読み出し）を停止し、再生メモリ１−３から復号化デ
ータを繰り返し取出し、又は補間して再生する制御を行
う。

【００２２】その際、復号化部１−２による復号化過程
で得られるデータ若しくは復号化データ又はその両者の
データから、類似度生成部１−５により復号化処理単位
のデータ間の類似度を計算し、該類似度を復号化バッフ
ァ制御部１−４に通知する。

【００２３】復号化バッファ制御部１−４は、類似度生
成部１−５から通知された復号化処理単位のデータ間の
類似度と、復号化バッファ１−１のメモリ残量又は使用
量とを評価値として、復号化バッファ１−１のオーバー
フロー又はアンダーフローによる破綻を回避するための
制御を行う。

【００２４】復号化バッファ１−１の破綻回避の制御に
おいて、復号化処理単位のデータ間の類似度が高い符号
化データを優先的に間引き、又は類似度が高い符号化デ
ータの復号化処理の停止を優先的に行うため、復号化バ
ッファ１−１の破綻回避により発生する再生データの不
連続性を抑圧することができ、ビデオでは視覚的な、オ
ーディオでは聴覚的な劣化を抑圧することができる。

【００２５】図２は復号化バッファ破綻回避制御時の信
号変化量の説明図である。同図の全ての横軸は時間、同
図（ａ）の縦軸は信号のレベル、同図（ｂ）〜（ｆ）の
縦軸は信号の変化の速さ、即ち、信号の変化量（類似
度）を表している。同図の（ｂ）は、同図の（ａ）の信
号レベルを信号変化量（類似度）として表したものであ
る。

【００２６】同図の（ｃ）及び（ｄ）は、復号化バッフ
ァ１−１に対して復号化処理を停止して最終復号化デー
タを繰り返し再生した場合を表し、同図の（ｃ）に示す
ように信号変化量が少ない（類似度が高い）データに対
して繰り返し処理を行った場合は信号変化量の変動量が
少ないが、同図の（ｄ）に示すように信号変化量が多い
（類似度が低い）データに対して繰り返し処理を行った
場合は信号変化量の変動量が多い。

【００２７】同図の（ｅ）及び（ｆ）は、復号化バッフ
ァ１−１に対して符号化データの間引きを行った場合を
表し、同図の（ｅ）に示すように信号変化量が少ない
（類似度が高い）データに対して間引きを行った場合は
信号変化量の変動量が少ないが、同図の（ｆ）に示すよ
うに信号変化量が多い（類似度が低い）データに対して
間引きを行った場合は信号変化量の変動量が多い。

【００２８】このように、比較的変化の小さい信号のデ
ータに対して繰り返し又は間引きの制御を行った場合に
比べ、変化の大きい信号のデータに対して繰り返し又は
間引きの制御を行った場合に、信号変化の不連続の度合
いが大きい。

【００２９】つまり、変化の大きい信号のデータに対し
て繰り返し又は間引きを行った場合、ビデオデータでは
視覚的な、オーディオデータでは聴覚的な劣化が認知さ
れ易い。このことから、信号変化が小さい信号データに
対して、復号化バッファ破綻回避の制御を行うことによ
り、視覚的又は聴覚的な劣化を防ぐことが可能となる。

【００３０】更に、オーディオデータでは、無音データ
又は出力パワーレベルが低い信号データに対して、復号
化バッファ破綻回避の制御を行うことにより、聴覚的な
劣化を防ぐことが可能となる。また、ビデオデータにお
いても、暗い画面、即ち輝度レベルの低い信号データに
対して、復号化バッファ破綻回避の制御を行うことによ
り、視覚的な劣化を防ぐことが可能となる。

【００３１】図３はビデオデータの復号化処理単位での
類似度生成の例を示す。ビデオデータの復号化は、可変
長復号化部３−１で符号化データを可変長復号化し、該
可変長復号化データを逆量子化部３−２で逆量子化した
後、逆ＤＣＴ部３−３で逆ＤＣＴ（逆離散コサイン変
換）演算を行い、動き補償予測部３−４からの信号と合
成した後、復号化データとしてビデオメモリ３−５に蓄
積される。

【００３２】ビデオメモリ３−５に蓄積された復号化デ
ータは、次の復号化処理単位の復号化データに対する動
き補償データとして、動き補償予測部３−４で使用され
る。ここで、ＭＰＥＧのビデオ符号化標準方式で規定さ
れている符号化データを復号化する場合に、復号化過程
で得られるマクロブロック（１６画素×１６ラインの矩
形）単位の動きベクトルを可変長復号化部３−１から抽
出し、動き補償予測部３−４に入力する。

【００３３】この可変長復号化部３−１から抽出される
動きベクトル情報を利用し、動きベクトルに関して、１
ピクチャ内のベクトル０のマクロブロック数を類似度の
評価値としてとして利用することができ、カウンタ３−
６によりベクトル０のマクロブロック（ＭＢ）数をカウ
ントしてそのカウント値を類似度情報として復号化バッ
ファ制御部１−４に通知する。

【００３４】図４はビデオ符号化データの復号化順序と
再生順序とを示し、同図の（ａ）は復号化順序を、同図
の（ｂ）は再生順序を示している。同図の（ａ）に示す
ように、Ｂ０，Ｂ１ピクチャ（両方向予測符号化画像）
はその後続画像のＩ２ピクチャ（フレーム内符号化画
像）を用いて復号化されるため、Ｂ０，Ｂ１ピクチャよ
り先にＩ２ピクチャが復号化される。

【００３５】また、同様にＰ５ピクチャ（前方向予測符
号化画像）は、その前方画像のＢ３，Ｂ４ピクチャ（両
方向予測符号化画像）の復号化に使用されるため、Ｂ
３，Ｂ４ピクチャより先に復号化される。更に、同様に
Ｐ８ピクチャ（前方向予測符号化画像）は、その前方画
像のＢ６，Ｂ７ピクチャ（両方向予測符号化画像）の復
号化に使用されるため、Ｂ６，Ｂ７ピクチャより先に復
号化される。

【００３６】Ｂ０，Ｂ１，Ｂ３，Ｂ４等のＢピクチャ
（両方向予測符号化画像）は、その前方及び後方に表示
されるＩピクチャ（フレーム内符号化画像）又はＰピク
チャ（前方向予測符号化画像）を参照して復号化される
が、Ｂピクチャのデータは他のピクチャの復号化に使用
されることはない。従って、Ｂピクチャの符号化データ
を間引いても他のピクチャの復号化に影響しないので、
Ｂピクチャの符号化データを優先的に間引くことがで
き、また、Ｂピクチャの類似度をその前方及び後方に表
示されるＩピクチャ又はＰピクチャの類似度から計算す
ることができる。

【００３７】図５は本発明の類似度による復号化バッフ
ァ制御例のフローチャートを示す。復号化バッファ制御
は、復号化処理単位にＩピクチャ又はＰピクチャの復号
化処理が完了したときに実行される（５−１）。図示し
た復号化バッファ制御の例は、復号化バッファ残量が５
％以下かどうかを判定し（５−２）、５％以下の場合は
アンダーフローによるバッファ破綻の危険が大きいた
め、アンダーフローを回避するために、無条件に復号化
（復号化バッファ読み出し）を停止し（５−３）、最終
復号化データの出力を繰り返すように制御する（５−
４）。

【００３８】また、復号化バッファ残量が５％以上のと
き、３０％以下かどうかを判定し（５−５）、５％以上
３０％以下の場合は、Ｉピクチャ又はＰピクチャ内の動
きベクトルが０となるマクロブロック数が、別途定めれ
られた閾値Ｔｈより少ないかどうかを調べ（５−６）、
動きベクトルが０のマクロブロック数が閾値Ｔｈ以下の
ときにのみ、復号化（復号化バッファ読み出し）を停止
し（５−３）、最終復号データの再生を繰り返すよう制
御し（５−４）、復号化処理単位の処理を終了する（５
−１１）。

【００３９】例えば、図４のＰ５ピクチャの復号化が終
了した時点で上記制御が行われた場合、Ｂ３ピクチャの
復号化（復号化バッファ読み出し）を１ピクチャ時間停
止し、Ｉ２ピクチャの画像表示を繰り返す。

【００４０】動きベクトルが０のマクロブロック数が閾
値Ｔｈを越える場合は、復号化（復号化バッファ読み出
し）を停止することなく、復号化処理を行い、該復号化
データを再生するように制御し、復号化処理単位の処理
を終了する（５−１１）。

【００４１】更に、復号化バッファのオーバーフローを
回避するために、復号化バッファのメモリ使用量が９５
％以上かどうかを判定し（５−７）、９５％以上の場合
は、無条件に次のＢピクチャの符号化データを間引く制
御を行い（５−８）、復号化処理単位の処理を終了する
（５−１１）。

【００４２】また、復号化バッファのメモリ使用量が９
５％以下の場合は、メモリ使用量が７０％以上かどうか
を調べ（５−９）、復号化バッファのメモリ使用量が９
５％以下で７０％以上の場合は、Ｉピクチャ又はＰピク
チャ内の動きベクトルが０となるマクロブロック数の量
が、別途定めれられた閾値Ｔｈより少ないかどうかを調
べる（５−１０）。

【００４３】そして、動きベクトルが０となるマクロブ
ロック数が閾値Ｔｈより少ないときにのみ、次のＢピク
チャの符号化データを間引くように制御を行う（５−
８）。例えば、図４のＰ８ピクチャの復号化が終了した
時点で上記制御が行われた場合、次に復号化される予定
だったＢ６ピクチャの符号化データが間引かれる。

【００４４】動きベクトルが０となるマクロブロック数
が閾値Ｔｈを越える場合は、符号化データを間引くこと
なく、復号化バッファに蓄積するように制御し、復号化
処理単位の処理を終了する（５−１１）。復号化バッフ
ァのメモリ使用量が３０％以上７０％以下のときには、
通常通り、符号化データの間引き及び復号化データの繰
り返し再生を行うことなく、符号化データを復号化する
ように制御し、復号化処理単位の処理を終了する（５−
１１）。

【００４５】図６は本発明の第２の実施形態の説明図で
ある。前述の第１の実施形態は、復号化装置側で復号化
処理単位のデータ間の類似度を計算して、復号化バッフ
ァの破綻を回避する制御を行ったのに対して、第２の実
施形態は、符号化装置側で、符号化処理単位のデータ間
の類似度を計算し、該類似度を復号化装置側に通知し、
復号化装置側で該類似度と復号化バッファのメモリ残量
又は使用量とを評価値として、復号化バッファの破綻を
回避するための制御を行うようにしたものである。

【００４６】即ち、図６の（ａ）に示す符号化装置は、
符号化部６−１において入力データを符号化するととも
に符号化処理単位のデータ間の類似度を計算する。符号
化部６−１で符号化されたデータは、符号化バッファ６
−２に蓄積された後、類似度とともに同図（ｂ）に示す
復号化装置へ送出される。

【００４７】図６の（ｂ）に示す復号化装置は、符号化
データを、一旦、復号化バッファ６−３に蓄積し、復号
化部６−４は該復号化バッファ６−３から符号化データ
を読み出して復号化を行い、復号化したデータを再生メ
モリ６−５に格納した後、再生データとして出力する。

【００４８】その際、復号化バッファ６−３がオーバー
フロー又はアンダーフローを起こさないように、復号化
バッファ制御部６−６は、復号化バッファ６−３のメモ
リ残量又は蓄積された符号化データ量を監視し、オーバ
ーフローの危険がある場合には、符号化装置から通知さ
れた符号化処理単のデータの類似度に基づいて、復号化
バッファ６−３内の符号化データが所定の容量以下にな
るまで符号化データを間引き、アンダーフローの危険が
ある場合には、符号化データが所定の容量以上になるま
で、一旦、復号化処理（復号化バッファからの読み出
し）を停止し、再生メモリ６−５からの最終復号データ
を繰り返し再生する制御を行う。

【００４９】図７は本発明の第３の実施形態の説明図で
ある。本発明の第３の実施形態は、復号化装置側におい
て、復号化処理過程で得られるデータ若しくは復号化後
のデータ又はその両者のデータから、復号化処理単位の
データのレベル代表値を計算し、少なくとも該代表レベ
ル値と復号化バッファのメモリ残量又は使用量とを評価
値として、復号化バッファの破綻を回避する制御を行う
ものである。

【００５０】即ち、復号化装置は、符号化データを、一
旦、復号化バッファ７−１に蓄積し、復号化部７−２は
該復号化バッファ７−１から符号化データを読み出して
復号化を行い、復号化したデータを再生メモリ７−３に
格納した後、再生データとして出力する。

【００５１】その際、復号化バッファ７−１がオーバー
フロー又はアンダーフローを起こさないように、復号化
バッファ制御部７−４は、復号化バッファ７−１のメモ
リ残量又は蓄積された符号化データ量を監視し、オーバ
ーフローの危険がある場合には、復号化バッファ７−１
内の符号化データが所定の容量以下になるまで符号化デ
ータを間引き、アンダーフローの危険がある場合には、
符号化データが所定の容量以上になるまで、一旦、復号
化処理（復号化バッファからの読み出し）を停止し、再
生メモリ７−３から最終復号データを繰り返し出力する
制御を行う。

【００５２】この復号化処理において、復号化部７−２
による復号化過程で得られるデータ若しくは復号化後の
データ又はその両者のデータから、復号化処理単位のデ
ータの代表レベル値を代表レベル値生成部７−５により
計算し、該代表レベル値を復号化バッファ制御部７−４
に通知する。

【００５３】復号化バッファ制御部７−４は、代表レベ
ル値生成部７−５から通知された復号化処理単位のデー
タの代表レベル値と、復号化バッファ７−１のメモリ残
量又は蓄積された符号化データ量とを評価値として、復
号化バッファ７−１のオーバーフロー又はアンダーフロ
ーによる破綻を回避するための制御を行う。

【００５４】そして、復号化バッファ７−１の破綻を回
避する制御において、復号化処理単位のデータの代表レ
ベル値が音圧パワー又は画像輝度の低いレベルを示す復
号化データに対し、優先的に間引き又は復号化処理の停
止を行うことにより、再生データの不連続性を抑圧する
ことができ、オーディオデータの聴覚的な劣化、ビデオ
データの視覚的な劣化を抑圧することができる。

【００５５】ＭＰＥＧのオーディオ符号化標準方式で
は、１１５２サンプルのＰＣＭデータを、符号化処理単
位として符号化することを前提としているため、例え
ば、１１５２サンプルのＰＣＭデータの最大レベル値を
代表レベル値とし、該代表レベル値が所定の閾値以下の
とき、該ＰＣＭデータに対して間引き又は繰返し再生を
行うことにより、再生信号の不連続性を抑圧することが
できる。代表レベル値としては、最大レベル値のほかに
平均レベル値又は中間レベル値等を用いてもよい。

【００５６】図８は本発明の代表レベル値による復号化
バッファ制御例のフローチャートを示す。復号化バッフ
ァ制御は、各１１５２サンプルの符号化データの復号化
に先立って、復号化処理単位に実行される（８−１）。

【００５７】図示した復号化バッファ制御例は、復号化
バッファ残量が５％以下かどうかを判定し（８−２）、
５％以下の場合はアンダーフローによるバッファ破綻の
危険が大きいため、アンダーフローを回避するために、
無条件に復号化（復号化バッファ読み出し）を停止し
（８−３）、最終復号化データの出力を繰り返すように
制御する（８−４）。

【００５８】また、復号化バッファ残量が５％以上のと
き、３０％以下かどうかを判定し（８−５）、５％以上
３０％以下の場合は、復号化バッファ残量が５％以上３
０％以下の場合は、これから復号化する復号化処理単位
データの代表レベル値が０、つまり無音であるかどうか
を調べ（８−６）、無音の場合にのみ、復号化処理（復
号化バッファ読み出し）を１復号化処理単位時間停止し
（８−３）、最終復号化データ再生繰り返しの制御を行
い（８−４）、復号化処理単位の処理を終了する（８−
１１）。

【００５９】更に、復号化バッファのオーバーフローを
回避するために、復号化バッファのメモリ使用量が９５
％以上かどうかを判定し（８−７）、９５％以上の場合
は、無条件に次の復号化データ間引きの制御を行い（８
−８）、復号化処理単位の処理を終了する（８−１
１）。

【００６０】また、復号化バッファのメモリ使用量が９
５％以下の場合は、メモリ使用量が７０％以上かどうか
を調べ（８−９）、復号化バッファのメモリ使用量が９
５％以下で７０％以上の場合は、これから復号化する復
号化処理単位データの代表レベル値が０、つまり無音で
あるかどうかを調べ（８−１０）、無音の場合にのみ、
次の復号化データ間引きの制御を行い（８−８）、復号
化処理単位の処理を終了する（８−１１）。

【００６１】代表レベル値が０でない場合、つまり無音
でない場合は、次の復号化データ間引きを行うことな
く、復号化処理単位の処理を終了する（８−１１）。ま
た、復号化バッファのメモリ使用量が３０％以上で７０
％以下の場合は、通常通り、復号化データの間引き及び
繰り返し再生を行うことなく、復号化処理するように制
御し、復号化処理単位の処理を終了する（８−１１）。

【００６２】図９は、本発明の第４の実施形態の説明図
である。この実施形態は、符号化装置側で、符号化処理
単位のデータの代表レベル値を計算し、該代表レベル値
を復号化装置側に通知し、復号化装置側で少なくとも該
代表レベル値と復号化バッファのメモリ残量又は使用量
とを評価値として、復号化バッファの破綻を回避するた
めの制御を行うものである。

【００６３】即ち、図９の（ａ）に示す符号化装置は、
符号化部９−１において入力データを符号化するととも
に符号化処理単位のデータの代表レベル値を計算する。
符号化部９−１で符号化されたデータは、符号化バッフ
ァ９−２に蓄積された後、代表レベル値とともに同図
（ｂ）に示す復号化装置へ送出される。

【００６４】図９（ｂ）に示す復号化装置は、符号化デ
ータを、一旦、復号化バッファ９−３に蓄積し、復号化
部９−４は該復号化バッファ９−３から符号化データを
読み出して復号化を行い、復号化されたデータは再生メ
モリ９−５に格納された後、再生データとして出力され
る。

【００６５】その際、復号化バッファ９−３がオーバー
フロー又はアンダーフローを起こさないように、復号化
バッファ制御部９−６は、復号化バッファ９−３のメモ
リ残量又は蓄積された符号化データ量を監視し、オーバ
ーフローの危険がある場合には、符号化装置から通知さ
れた復号化処理単のデータの代表レベル値に基づいて、
復号化バッファ９−３内の符号化データが所定の容量以
下になるまで符号化データを間引き、アンダーフローの
危険がある場合には、符号化データが所定の容量以上に
なるまで、一旦、復号化処理（復号化バッファからの読
み出し）を停止し、再生メモリ９−５から最終復号デー
タを繰り返し出力する制御を行う。

【００６６】図１０は本発明における代表レベル値生成
の構成例を示す。同図は符号化装置における代表レベル
値生成の機能ブロックを示し、入力アナログデータをＰ
ＣＭデータに変換するＡ／Ｄ変換部１０−１と、符号化
処理単位である１１５２サンプルのＰＣＭデータを蓄積
するＰＣＭバッファ１０−２と、該１１５２サンプルの
ＰＣＭデータを符号化するＭＰＥＧエンコーダ１０−３
と、１１５２サンプルのＰＣＭデータから最大値を計算
する最大値計算部１０−４とを備え、最大値計算部１０
−４で計算された最大レベル値を代表レベル値として、
符号化データとともに復号化装置に送出する。

【００６７】

【発明の効果】以上説明したように、本発明によれば、
符号化クロックと復号化クロックが非同期な場合に発生
するデータ処理量の違いよる復号化バッファのオーバー
フロー又はアンダーフローによる破綻を、符号化データ
の間引きや最終復号データの繰り返し再生により回避す
る際に、類似度の高いデータ又は音圧若しくは輝度レベ
ルの低いデータに対して間引きや繰り返し再生を行うこ
とにより、再生データの視覚的又は聴覚的な劣化を抑圧
することが可能となる。

【００６８】即ち、ビデオ復号化においては動きの少な
い部分のデータ又は暗い画像のデータに対して優先的に
間引きや繰り返し再生を行い、また、オーディオ復号化
においては音圧レベルの低い部分のデータに対して優先
的に間引きや繰り返し再生を行うことにより、視覚的又
は聴覚的な劣化を抑圧することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態の説明図である。

【図２】復号化バッファ破綻回避制御時の信号変化量の
説明図である。

【図３】ビデオデータの復号化処理単位での類似度生成
の例を示す図である。

【図４】ビデオ符号化データの復号化順序と再生順序と
を示す図である。

【図５】本発明の類似度による復号化バッファ制御例の
フローチャートである。

【図６】本発明の第２の実施形態の説明図である。

【図７】本発明の第３の実施形態の説明図である。

【図８】本発明の代表レベル値による復号化バッファ制
御例のフローチャートである。

【図９】本発明の第４の実施形態の説明図である。

【図１０】本発明における代表レベル値生成の構成例を
示す図である。

【図１１】従来の復号化バッファ制御の説明図である。

【符号の説明】

１−１ 復号化バッファ １−２ 復号化部 １−３ 再生メモリ １−４ 復号化バッファ制御部 １−５ 類似度生成部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK35 MA00 MA07 MA23 MC11 ME01 NN01 NN21 NN23 PP05 PP06 PP07 SS02 SS13 TA07 TA08 TA71 TB04 TC02 TC12 TC13 TC16 TD05 TD07 TD12 TD14 UA02 UA05 UA32 UA38 5J064 AA01 BA16 BB03 BC01 BC29 BD03

Claims (11)

【特許請求の範囲】
1. 【請求項１】 符号化装置から送出された符号化データ
   を復号化バッファに蓄積した後に復号化する復号化装置
   の復号化バッファ制御装置において、 復号化装置の復号化過程で得られるデータ若しくは復号
   化後のデータ又はその両者のデータから、復号化処理単
   位のデータ間の類似度を計算する類似度計算手段と、 少なくとも前記類似度計算手段で計算された類似度と復
   号化バッファのメモリ残量又は使用量とを評価値とし
   て、復号化バッファのオーバーフロー又はアンダーフロ
   ーを回避する制御手段と、 を備えたことを特徴とする復号化バッファ制御装置。
2. 【請求項２】 符号化装置から送出された符号化データ
   を復号化バッファに蓄積した後に復号化する復号化装置
   の復号化バッファ制御装置において、 符号化装置で計算した復号化処理単位のデータ間の類似
   度を符号化装置から入力する手段と、 少なくとも前記符号化装置から入力した類似度と復号化
   バッファのメモリ残量又は使用量とを評価値として、復
   号化バッファのオーバーフロー又はアンダーフローを回
   避する制御手段と、 を備えたことを特徴とする復号化バッファ制御装置。
3. 【請求項３】 前記制御手段は、復号化バッファのメモ
   リ残量又は使用量に応じて、前記類似度が高い復号化処
   理単位のデータに対して、優先的に復号化バッファのオ
   ーバーフロー又はアンダーフローを回避する制御を行う
   ことを特徴とする請求項１又は２に記載の復号化バッフ
   ァ制御装置。
4. 【請求項４】 符号化装置から送出された符号化データ
   を復号化バッファに蓄積した後に復号化する復号化装置
   の復号化バッファ制御装置において、 復号化装置の復号化過程で得られるデータ若しくは復号
   化後のデータ又はその両者のデータから、復号化処理単
   位のデータの代表レベルを計算する代表レベル計算手段
   と、 少なくとも前記代表レベル計算手段で計算された代表レ
   ベルと復号化バッファのメモリ残量又は使用量とを評価
   値として、復号化バッファのオーバーフロー又はアンダ
   ーフローを回避する制御手段と、 を備えたことを特徴とする復号化バッファ制御装置。
5. 【請求項５】 符号化装置から送出された符号化データ
   を復号化バッファに蓄積した後に復号化する復号化装置
   の復号化バッファ制御装置において、 符号化装置で計算した復号化処理単位のデータの代表レ
   ベルを符号化装置から入力する手段と、 少なくとも前記符号化装置から入力入力した代表レベル
   と復号化バッファのメモリ残量又は使用量とを評価値と
   して、復号化バッファのオーバーフロー又はアンダーフ
   ローを回避する制御手段と、 を備えたことを特徴とする復号化バッファ制御装置。
6. 【請求項６】 前記制御手段は、復号化バッファのメモ
   リ残量又は使用量に応じて、前記代表レベルが音圧パワ
   ー又は画像輝度の低いレベルを示す復号化処理単位のデ
   ータに対して、優先的に復号化バッファのオーバーフロ
   ー又はアンダーフローを回避する制御を行うことを特徴
   とする請求項４又は５に記載の復号化バッファ制御装
   置。
7. 【請求項７】 前記制御手段は、復号化処理単位の符号
   化データの間引きを行って、前記復号化バッファのオー
   バーフローを回避する制御を行うことを特徴とする請求
   項１乃至６のいずれかに記載の復号化バッファ制御装
   置。
8. 【請求項８】 前記制御手段は、復号化バッファからの
   符号化データの読み出しを停止して、復号化バッファの
   アンダーフローを回避するとともに、符号化データの読
   み出し停止期間中に復号化データを繰り返して再生し、
   又は復号化データの補間を行って再生する制御を行うこ
   とを特徴とする請求項１乃至７のいずれかに記載の復号
   化バッファ制御装置。
9. 【請求項９】 前記復号化処理単位のデータを１ピクチ
   ャ画面のビデオデータとしたことを特徴とする請求項１
   乃至８のいずれかに記載の復号化バッファ制御装置。
10. 【請求項１０】 前記復号化処理単位のデータを一連の
    オーディオＰＣＭデータとしたことを特徴とする請求項
    １乃至８のいずれかに記載の復号化バッファ制御装置。
11. 【請求項１１】 フレーム並べ替えを伴なうビデオデー
    タの復号化バッファ制御装置において、時間的に離れた
    ２枚のピクチャ画面のデータと、該２枚のピクチャ画面
    のデータより後に復号化され、かつ該２枚のピクチャ画
    面の間に表示されるピクチャ画面のデータとの類似度
    を、該時間的に離れた２枚のピクチャ画面のデータの類
    似度から計算することを特徴とする請求項９記載の復号
    化バッファ制御装置。