JP2004289745A - 動画像復号化方法および装置 - Google Patents
動画像復号化方法および装置 Download PDFInfo
- Publication number
- JP2004289745A JP2004289745A JP2003082265A JP2003082265A JP2004289745A JP 2004289745 A JP2004289745 A JP 2004289745A JP 2003082265 A JP2003082265 A JP 2003082265A JP 2003082265 A JP2003082265 A JP 2003082265A JP 2004289745 A JP2004289745 A JP 2004289745A
- Authority
- JP
- Japan
- Prior art keywords
- processing
- decoding
- motion compensation
- orthogonal transform
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】他の機能処理と整合しつつＣＰＵ計算資源を最大限有効利用できる。
【解決手段】動画像復号化方法は、動画像復号化とそれ以外の処理を同時実行するＣＰＵにより、動画像信号の部分領域毎の動画像符号化データを復号化するものであり、入力符号化データビットストリームからＰＴＳ（再生出力時刻管理情報）を抽出するＳＴ１と、該ビットストリームから分離の動画像符号化データのＳＴＣ（再生基準時刻）を抽出するＳＴ２と、ＰＴＳとＳＴＣとを比較して、複数処理機能との関係から復号化処理に余裕があるか否かを判定して通常演算量と削減演算量とを切り換えるＳＴ３と、ＳＴ３で演算量の少ない処理に切り換えられたときに逆量子化処理の後、直交変換係数を逆直交変換処理し、動き補償予測処理する一連の処理における演算量を削減するＳＴ４と、ＳＴ３で通常演算量の処理に切り換えられたときに逆量子化処理、逆直交変換処理、動き補償予測処理を通常の演算量で処理するＳＴ５とを備える。
【選択図】 図１
【解決手段】動画像復号化方法は、動画像復号化とそれ以外の処理を同時実行するＣＰＵにより、動画像信号の部分領域毎の動画像符号化データを復号化するものであり、入力符号化データビットストリームからＰＴＳ（再生出力時刻管理情報）を抽出するＳＴ１と、該ビットストリームから分離の動画像符号化データのＳＴＣ（再生基準時刻）を抽出するＳＴ２と、ＰＴＳとＳＴＣとを比較して、複数処理機能との関係から復号化処理に余裕があるか否かを判定して通常演算量と削減演算量とを切り換えるＳＴ３と、ＳＴ３で演算量の少ない処理に切り換えられたときに逆量子化処理の後、直交変換係数を逆直交変換処理し、動き補償予測処理する一連の処理における演算量を削減するＳＴ４と、ＳＴ３で通常演算量の処理に切り換えられたときに逆量子化処理、逆直交変換処理、動き補償予測処理を通常の演算量で処理するＳＴ５とを備える。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像復号化方法および装置に係り、特に復号処理が遅延する可能性の高い状況を事前に察知して演算量を事前に減少させる動画像復号化方法および装置に関する。
【０００２】
【従来の技術】
一般に動画像データの処理に関しては、動画像エキスパートグループ（以下、ＭＰＥＧ―Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐｅ―とする）の標準に従って行なわれている。例えば、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４などの標準に従って圧縮された動画像符号化データは、ハードウェアによる復号化装置により復号化処理される場合もあるが、中央処理装置（以下、ＣＰＵ―Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ―とする）により、ソフトウェアを用いて復号化処理されることが多い。
【０００３】
従来、動画像符号化データの復号をソフトウェアを用いて行なう場合、ＣＰＵの処理能力を超える動画像データが復号化装置に供給された場合、処理しきれない動画像符号化データの一部分を破棄して音声データのみを復号・再生したりすることにより、いわゆる動画像をコマ落ちさせてリアルタイム性を維持するようにしていた。
【０００４】
また、特許文献１に記載されているように、ＭＰＥＧ標準におけるマクロブロックの内容のような動画像に関する情報を解析し、マクロブロック毎に動きの激しい情報か否かを判定して、動きの激しいマクロブロックについては逆離散コサイン変換（以下、ＩＤＣＴ―Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ ―とする）の処理を切り換えてＩＤＣＴの演算量が少なくなるように処理を変更することにより、画質の劣化を最小限にして演算量の少ない動画像信号処理を行なう方法もある。
【０００５】
しかしながら、この特許文献１に開示された方法によれば、動画像の情報のみに基づいて復号処理を切り換えているため、カーナビゲーション装置、携帯情報端末、携帯電話端末などのシステムにおける一機能として動画像復号化装置が用いられている場合には、動画像復号化処理についてのみＣＰＵの演算量を制御したとしても、ＣＰＵが他の機能について処理しているときにはＣＰＵへの負荷が過重になってしまい、割り当て可能なＣＰＵの計算資源が変動する場合には適切な復号化処理を行なうことができないという問題があった。
【０００６】
例えば、上述したカーナビゲーションシステム、携帯情報（電話）端末などでは、動画像復号化と同時に、例えば音声符号化データの復号化処理、通信処理およびスケジュール管理処理などのような他の種々の処理を行なっており、これらの処理は動画像データの復号化処理よりも優先的に行なわれる必要がある場合も多くなっている。例えば、音声符号化データの復号化処理の場合、人間の感覚としては画像が途切れるよりも音声が途切れることの方が不快感を受けるので、動画像符号化データの復号化処理よりも音声符号化データの復号化処理の方が優先される。
【０００７】
符号化データを復号化する際には、画面を幾つかの画素単位で分割した部分領域に分けて領域単位の逆量子化や逆直交変換等の処理を行なうようにしている。このような部分領域としてマクロブロック（ＭＢ）と呼ばれる単位があり、このマクロブロックに関しては特許文献２にも説明されている。特許文献２には、直交変換を正方形ブロック単位で行なう技術が開示されている。
【０００８】
また、通信対象となる情報が欠落すると通信そのものが支障を来すことになるので、通信処理も動画像符号化データの復号化処理よりも優先的に行なわれることになる。このような場合、マクロブロックの内容による符号化方法の切り換えだけでは対処することができず、システムの状況に応じた適切な復号化処理を選択することはできなかった。また、動画像の判定をマクロブロックの内容を解析して行なっているので、解析処理そのもののためにＣＰＵ負荷を消費してしまって、復号化処理に割り当てるＣＰＵの計算資源を消費してしまうという問題があった。
【０００９】
【特許文献１】
特開２００２−２３２８８１号公報
【特許文献２】
特開平８−１８９６８号公報
【００１０】
【発明が解決しようとする課題】
上述したように、従来の動画像復号化方法および装置によれば、動画像符号化データの部分領域毎に動きの激しさを判定して、動きの激しさの増加に応じて部分領域毎の復号化処理を演算量の少ない処理に変更しているが、ＣＰＵが他の処理も行なう機能を有するシステムにおいては動画像符号化データの復号化処理よりも優先的に行なう必要のある処理が存在している場合には、システム全体としてはＣＰＵの計算資源が制約されるという問題があった。
【００１１】
本発明は、ＣＰＵが他の優先処理機能を有している場合に、動画像符号化データの復号化処理を複数段階の精度で複数種類用意しておいて、再生の基準となる同期情報と動画像情報の再生出力の時刻の管理情報との比較による遅延の状況から何れかの復号化処理を行なうようにすることにより、他の機能処理との整合のもとでＣＰＵの計算資源を最大限に有効に利用することのできる動画像復号化方法および装置を提供することを目的としている。
【００１２】
【課題を解決するための手段】
上記目的を達成するため、本発明の第１基本構成に係る動画像復号化方法は、少なくとも動画像復号化の処理と該動画像復号化以外の処理とを同時に実行するマイクロコンピュータシステムを用いて、動画像信号の部分領域毎に得られた予測誤差信号の量子化直交変換係数と、該部分領域毎に得られた動きベクトル情報とを含む動画像符号化データを復号化する動画像復号化方法であって、入力された前記符号化データビットストリームから再生基準時刻を分離して抽出する第１ステップと、入力された前記符号化データビットストリームから分離された動画像符号化データに含まれる再生出力の時刻管理情報を抽出する第２ステップと、分離された前記再生基準時刻と取り出された再生出力の時刻管理情報とを比較して、前記複数の処理機能のうちの少なくとも１つの処理機能との関係から復号化処理に余裕があるか否かにつき判定を行なって、復号化処理に余裕がないものと判定したときに前記復号化処理を演算量の少ない処理を選択して切り換える第３ステップと、前記第３ステップで演算量の少ない処理を選択したときに、前記動画像符号化データから抽出された前記部分領域毎の量子化直交変換係数を逆量子化して直交変換係数を生成する逆量子化処理を行なった後、この逆量子化して得られた前記直交変換係数に対して逆直交変換を施して予測誤差信号を生成する逆直交変換処理と、前記予測誤差信号に対して前記動画像符号化データから抽出された動きベクトル情報を用いて部分領域毎に動き補償を施して復号化画像信号を生成する動き補償予測処理の少なくとも一方の処理における演算量を削減する第４ステップと、前記第３のステップで演算量の少ない処理を選択しなかったときに、前記逆量子化処理、逆直交変換処理、動き補償予測処理を通常の演算量で行なう第５ステップとを備えている。
【００１３】
また、本発明の第２基本構成に係る動画像復号化装置は、少なくとも動画像復号化の処理と該動画像復号化以外の処理とを同時に実行するマイクロコンピュータシステムに搭載されると共に、動画像信号の部分領域毎に得られた予測誤差信号の量子化直交変換係数と、該部分領域毎に得られた動きベクトル情報とを含む動画像符号化データを復号化する動画像復号化装置であって、入力された前記符号化データビットストリームから再生基準時刻を分離して抽出する基準時刻分離手段と、入力された前記符号化データビットストリームから分離された動画像符号化データに含まれる再生出力の時刻管理情報を抽出する時刻管理情報抽出手段と、分離された前記再生基準時刻と抽出された再生出力の時刻管理情報とを比較して、前記複数の処理機能のうち復号化処理以外の少なくとも１つの処理機能の処理量に基づくシステム負荷との関係から復号化処理に余裕があるか否かについて判定する負荷判定手段と、前記動画像符号化データから抽出された前記部分領域毎の量子化直交変換係数を逆量子化して直交変換係数を生成する逆量子化手段と、前記負荷判定手段により演算量の少ない処理が選択されたときに、前記逆量子化手段により逆量子化して得られた直交変換係数に対して逆直交変換を施して予測誤差信号を生成する逆直交変換処理と、前記予測誤差信号に対して前記動画像符号化データから抽出された動きベクトル情報を用いて部分領域毎に動き補償を施して復号化画像信号を生成する動き補償予測処理の少なくとも一方の処理における演算量を削減する演算量削減手段と、前記負荷判定手段により演算量の少ない処理を選択されなかったときに逆量子化処理、逆直交変換処理、動き補償予測処理を通常の演算量で行なう通常演算量処理手段とを備えるものである。
【００１４】
【発明の実施の形態】
以下、本発明の実施形態について添付図面を用いて詳細に説明する。本発明の具体的な実施形態を説明する前に、本発明の基本的な構成としての第１実施形態に係る動画像復号化方法および装置について、図１および図２を参照しながら説明する。
【００１５】
本発明の第１実施形態に係る動画像復号化方法は、少なくとも動画像復号化の処理と該動画像復号化以外の処理とを同時に実行するマイクロコンピュータシステムを用いて、動画像信号の部分領域毎に得られた予測誤差信号の量子化直交変換係数と、該部分領域毎に得られた動きベクトル情報とを含む動画像符号化データを復号化する動画像復号化方法である。
【００１６】
第１実施形態の復号化方法は、図１のフローチャートに示すように、入力された前記符号化データビットストリームから再生基準時刻を分離して抽出する第１ステップＳＴ１と、入力された前記符号化データビットストリームから分離された動画像符号化データに含まれる再生出力の時刻管理情報を抽出する第２ステップＳＴ２と、分離された前記再生基準時刻と取り出された再生出力の時刻管理情報とを比較して、前記複数の処理機能のうちの少なくとも１つの処理機能との関係から復号化処理に余裕があるか否かにつき判定を行なって、復号化処理に余裕がないものと判定したときに前記復号化処理を演算量の少ない処理を選択して切り換える第３ステップＳＴ３と、前記第３ステップＳＴ３で演算量の少ない処理を選択したときに、前記動画像符号化データから抽出された前記部分領域毎の量子化直交変換係数を逆量子化して直交変換係数を生成する逆量子化処理を行なった後、この逆量子化して得られた前記直交変換係数に対して逆直交変換を施して予測誤差信号を生成する逆直交変換処理と、前記予測誤差信号に対して前記動画像符号化データから抽出された動きベクトル情報を用いて部分領域毎に動き補償を施して復号化画像信号を生成する動き補償予測処理の少なくとも一方の処理における演算量を削減する第４ステップＳＴ４と、前記第３のステップＳＴ３で演算量の少ない処理を選択しなかったときに逆量子化処理、逆直交変換処理、動き補償予測処理を通常の演算量で行なう第５ステップＳＴ５とを備えている。
【００１７】
第４ステップＳＴ４および第５ステップＳＴ５は、逆量子化ステップ、逆直交変換（ＩＤＣＴ）ステップ、動き補償ステップをそれぞれ有している。第５ステップＳＴ５は、通常の演算量のままで動画像復号化処理を行なう処理ステップであり、逆量子化処理ステップＳＴ４５と、通常の演算量の逆直交変換処理を行なう通常の逆直交変換処理ステップＳＴ５１と、通常の演算量のままで動き補償予測処理を行なう通常の動き補償予測処理ステップＳＴ５２と、を備えている。
【００１８】
また、第４ステップＳＴ４は、演算量を通常より削減して動画像復号化処理を行なう処理ステップであり、逆量子化処理ステップＳＴ４５と、通常の逆直交変換処理ステップＳＴ５１における演算量の例えば半分程度の第１の所定演算量で逆直交変換処理を行なう第１省略演算処理サブステップＳＴ４１と、通常の演算量に対して例えば１／４程度の第２の所定演算量で逆直交演算処理を行なう第２省略演算処理サブステップＳＴ４２と、通常の演算量よりも削減された演算量で動き補償予測処理を行なう省略動き補償予測処理サブステップＳＴ４３と、を備えている。
【００１９】
以上の基本構成を備える第１実施形態に係る動画像復号化方法の概要について説明する。ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４などの圧縮された動画像符号化データは、ソフトウェアを用いて上記マイクロコンピュータにより復号化されている。このマイクロコンピュータは、上述したように、動画像の復号化処理以外にも多くの機能を合わせて搭載しており、多くの場合、それぞれの機能はソフトウェアで実装したＣＰＵにより処理されている。
【００２０】
例えばカーナビゲーション装置においては、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）の再生と同時に車両の現在位置に関する座標計算処理や道路交通情報通信システム（ＶＩＣＳ―Ｖｅｈｉｃｌｅ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ―）受信処理などの諸機能が動作する。携帯電話端末では、動画付メールの再生について、動画像復号化処理を行なうのと同時に通信処理などの動作を行なっている。これらの装置においては、動画像符号化データの復号化処理をソフトウェアにより処理しているために、ＣＰＵの処理能力が復号化処理に追いつかない場合には再生された映像がコマ落ちするなどの影響が出ることになる。
【００２１】
ＣＰＵが動画像の復号化処理以外の諸機能を並行して処理するこれらのシステムにおいては、復号化処理の実行に影響を与える要因として、以下のような理由が考えられる。第１に、ソフトウェアを用いて復号する場合、ナビゲーション機能、ネットワーク通信機能などの動画像復号化処理以外の機能によるＣＰＵへの負荷によって、動画像復号化処理に割り当てることが可能なＣＰＵの能力が変動することになる。
【００２２】
また、第２に、動画像符号化データの情報量は、例えば１秒当たりのビット数（ｂｐｓ―ｂｉｔ ｐｅｒ ｓｅｃｏｎｄ―）等により表されるが、ＭＰＥＧ２などで可変速度（ＶＢＲ―Ｖａｒｉａｂｌｅ Ｂｉｔ Ｒａｔｅ ―）を指定した場合などにおいては、時々刻々と変動しているので、この変動する情報量により復号化処理のために必要とされるＣＰＵの能力も変動することになる。
【００２３】
上述したように、従来の動画像復号化方法および装置においては、上記第１および第２の理由により復号化に遅延が発生する場合には、処理しきれない動画像符号化データを破棄して、いわゆる映像のコマ落ちを発生させることによりリアルタイム性を維持していた。
【００２４】
これに対して、本発明の第１実施形態では動画像復号処理を複数種類用意しておいて、再生の基準となる同期情報と、動画像の再生出力における時刻の管理情報と、を比較して、その比較結果から遅延の状況を判定し、その発生理由が上記第１の理由か第２の理由であるかを判断するような判断処理ステップを設けて、その判断処理結果に応じて動画像復号化処理を最適なものに切り換えている。したがって、ＣＰＵの復号化処理動作に遅延が発生する場合には演算量の少ない復号化処理に切り換えて実行することが可能となる。
【００２５】
これら切り換えられる複数の復号化処理は、例えば以下の具体的な実施形態においても詳細に説明するように、４×４ＩＤＣＴ処理、４×８ＩＤＣＴ処理、片方向動き補償（ＭＣ ―Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ―）等であり、復号化の精度は低下するがそれに比例して演算量も少なくなる。このように、動画像の復号の状況に基づいて、リアルタイムに復号化処理を切り換えて動画像の再生を可能としている。
【００２６】
なお、本願に特有の構成ではないが、第１実施形態に係る動画像復号化方法においては、復号処理に余裕があるか否かを判定するステップＳＴ３の判定内容の１つとして、ＣＰＵの演算処理能力におけるＣＰＵ資源の余裕が完全にない場合には、通常の演算量による復号化処理（ステップＳＴ５）も削減された演算量による復号化処理（ステップＳＴ４）も行なわないで、動画像の復号化処理を全く行なうことなく処理を終了するようにしても良い。
【００２７】
また、本発明の第２実施形態に係る動画像復号化装置１０は、少なくとも動画像復号化の処理と該動画像復号化以外の処理とを同時に実行するマイクロコンピュータシステム（ＣＰＵ）１に搭載されている。このマイクロコンピュータシステム１は、動画像復号化処理以外の各種の処理として、音声符号化データを復号化する音声復号化装置２や、その他の符号化データの復号化処理や、またはカーナビゲーション・システムとしてのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ） ナビゲーション機能における各種の処理や、ネットワーク通信における送受信機能に関する処理などをそれぞれ行なう各種処理装置３，４がソフトウェアにより搭載されている。
【００２８】
これらの各種処理装置は同時に動作可能なように搭載されているが、マイクロコンピュータ１は、入力した符号化データを例えば音声符号化データや動画像符号化データなどに分離する分離部５に設けられて入力された符号化データビットストリームから再生基準時刻を分離して抽出する基準時刻分離手段６と、動画像信号の部分領域毎に得られた予測誤差信号の量子化直交変換係数と、該部分領域毎に得られた動きベクトル情報とを含む動画像符号化データを復号化する動画像復号化装置１０をも搭載している。
【００２９】
この第２実施形態に係る動画像復号化装置１０の詳細な構成を説明する。動画像復号化装置１０は、入力された前記符号化データビットストリームから分離された動画像符号化データに含まれる再生出力の時刻管理情報を抽出する時刻管理情報抽出手段１１と、分離された再生基準時刻と抽出された再生出力の時刻管理情報とを比較して、前記複数の処理機能のうち復号化処理以外の少なくとも１つの処理機能の処理量に基づくシステム負荷との関係から復号化処理に余裕があるか否かについて判定する負荷判定手段１２と、入力された動画像符号化データのビットストリームにおける可変長符号を復号化する可変長符号復号化部１３と、この可変長符号復号化部１３より出力された動画像符号化データから抽出された部分領域毎の量子化直交変換係数を逆量子化して直交変換係数を生成する逆量子化手段１４とを備えている。
【００３０】
動画像復号化装置１０は、さらに、負荷判定手段１２による再生基準時刻と時刻管理情報との比較結果から演算量の少ない処理が選択されたときにこれ以降の復号化処理を切り換える切換部１５と、負荷判定手段１２により演算量の少ない処理が選択されないで切換部１５により通常の処理が設定されたときに逆量子化処理、逆直交変換処理、動き補償予測処理を通常の演算量で行なう通常演算量処理手段１６と、負荷判定手段１２による再生基準時刻と時刻管理情報との比較結果から演算量の少ない処理が選択されて切換部１５により演算量の少ない処理が設定されたときに逆量子化手段１４により逆量子化して得られた直交変換係数に対して逆直交変換を施して予測誤差信号を生成する逆直交変換処理と、前記予測誤差信号に対して前記動画像符号化データから抽出された動きベクトル情報を用いて部分領域毎に動き補償を施して復号化画像信号を生成する動き補償予測処理の少なくとも一方の処理における演算量を削減する演算量削減手段１７と、を備えている。
【００３１】
動画像復号化装置１０は、通常演算処理手段１６または演算量削減手段１７の何れかから出力された復号化画像を蓄積して基準時刻と時間管理情報とが一致したときに出力する遅延バッファ１８と、遅延バッファ１８のデータと可変長符号復号化部１３のデータとを蓄積して動き補償予測のために出力する画像バッファ１９とを備えている。
【００３２】
通常演算処理部１６は、切換部１５を介して入力される通常の演算量の動画像符号化データを逆直交変換する第１の逆直交変換部（ＩＤＣＴ）２１と、通常の演算量で動き補償予測処理を行なう第１の動き補償予測部（ＭＣ）２４と、を備えている。演算量削減手段１７は、通常の例えば半分に演算量を削減して逆直交変換を行なう第２の逆直交変換部（ＩＤＣＴ）２２と、通常の例えば１／４に演算量を削減して逆直交変換を行なう第３の逆直交変換部（ＩＤＣＴ）２３と、第２または第３のＩＤＣＴ２２または２３の逆変換出力に対して動き補償予測処理を行なう第２の動き補償予測部（ＭＣ）２５と、を備えている。
【００３３】
以上の構成を有する第２実施形態に係る動画像復号化装置１０は、動画像符号化データから抽出された前記部分領域毎の量子化直交変換係数を逆量子化して直交変換係数を生成し、逆量子化して得られた前記直交変換係数に対して逆直交変換を施して予測誤差信号を生成し、この予測誤差信号に対して前記動画像符号化データから抽出された動きベクトル情報を用いて部分領域毎に動き補償を施して復号化画像信号を生成している。この演算処理は、通常の演算量と削減された演算量との何れかで行なわれるが、その判断は、負荷判定手段１２が、入力された前記動画像符号化データに含まれる再生出力に関する時刻管理情報（以下、ＰＴＳ ―Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ―）と前記復号化画像情報における再生基準時刻（ＳＴＣ）とを比較して、前記複数の処理機能のうちの少なくとも１つの処理機能との関係から復号化処理に余裕があるか否かを判定することにより、復号化処理に余裕がないものと判定されたときに、切換部１５は復号化処理を演算量の少ない処理に切り換えることにより実現されている。
【００３４】
以上のような構成を有する第２実施形態に係る動画像復号化装置によっても、第１実施形態と同様に、ＣＰＵの演算処理能力に一定の制限がある場合に、動画図符号化データのビットストリームに含まれる時刻管理情報（ＰＴＳ）と時間管理部４により取り出された基準同期情報（ＳＴＣ）とを比較して、動画像符号化データの復号化処理が基準となる時間内に処理されていないときに演算量の少ない復号化処理を行なっている。
【００３５】
以上説明した第１および第２実施形態は、本発明の基本的な構成を含む動画像復号化方法および装置であるが、ＣＰＵの処理している情報量の多寡により切り換えられる復号化処理の具体的な内容については詳述されていない。そこで、復号化処理の具体的な内容を含む詳細な実施形態について以下に説明する。
【００３６】
図３および図６は、本発明の第３実施形態に係る動画像復号化装置および方法を示すブロック構成図、フローチャート、説明図である。図において、第１および第２実施形態に係る動画像復号化方法および装置と同一符号を付した構成要素は、同一または相当する構成要素を示すものとする。第３実施形態に係る動画像復号化装置１０は、パーソナルコンピュータ（ＰＣ）のようなコンピュータシステム（ＣＰＵ）あるいは情報通信端末などに適用され、記憶装置に保持されたコンピュータプログラムに従ってソフトウェアにより実現されている。また、この動画像復号化装置１０は、代表的なディジタル動画像符号化方式であるＭＰＥＧ（ＭＰＥＧ１，ＭＰＥＧ２，ＭＰＥＧ４）標準に対応しており、動画像符号化データであるＭＰＥＧビットストリームを復号化するために用いられている。
【００３７】
図３に示すように、ＭＰＥＧ復号装置用ＣＰＵ１は、図示されない通信処理部より供給されたビットストリームを音声ビットストリーム、ビデオビットストリーム、基準同期情報に分離する分離部５と、分離された音声ビットストリームを復号化して音声ストリームを出力する音声復号器２と、分離されたビデオビットストリームを復号化して、ビデオストリームを出力するビデオ復号器１０と、分離された基準同期情報としてのシステムタイムクロック（ＳＴＣ ―Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ―）を音声復号器２とビデオ復号器１０とに出力するシステムデコーダ６とを備えている。
【００３８】
ビデオ復号器１０は、図４に示すように、入力されたビデオビットストリームから再生出力の時刻管理情報であるＰＴＳを抽出する管理情報抽出部１１と、基準時刻分離部（システムデコーダ）６より分離供給されたＳＴＣ（基準時刻）と管理情報抽出部１１により抽出されたＰＴＳ（再生出力の時刻管理情報）とを比較してシステムの負荷を判定するシステム負荷判定部１２と、入力されたビデオビットストリームに含まれる可変長符号を復号化して量子化ＤＣＴ係数を出力する可変長復号化部１３と、量子化ＤＣＴ係数により逆量子化を行なう逆量子化部１４と、逆量子化されたＤＣＴ係数をシステム負荷判定部１２の切り換え出力により切り換える切換部１５と、通常の演算量のときに逆直交変換を行なう第１のＩＤＣＴ２１と、削減された演算量によって逆直交変換を行なう第２のＩＤＣＴ２２と、第１または第２のＩＤＣＴ２１または２２から出力された予測誤差に対して可変長復号化部１３からの動き補償モード情報により動き補償予測処理を行なう動き補償予測部２４と、基準時刻分離部６からのＳＴＣに同期させて動き補償予測処理が行なわれた復号動画像信号を出力する遅延バッファ１８と、動き補償予測部２４の出力を一時的に蓄積して可変長復号化部１３からの動きベクトル情報により動き補償予測部２４にフィードバックする画像バッファ１９とを備えている。
【００３９】
ビデオ・ビットストリームは以下のようにして得られる。図３に示すように、ＭＰＥＧビットストリームは、まず分離部（ＤＥＭＵＸ）５に入力される。この分離部５において、音声ビットストリーム、ビデオ・ビットストリーム、基準となる同期情報（ＳＴＣ）に分離され、音声ビットストリームは音声復号器２へと供給され、ビデオ・ビットストリームはビデオ復号器１０へと供給され、ＳＴＣは音声復号器２とビデオ復号器１０とに入力される。このときビデオ復号器１０は、入力されたビデオ・ビットストリームと、ＳＴＣおよびビットストリーム内の再生出力管理情報（ＰＴＳ）から図４に示す構成のビデオ復号器１０によりビデオ信号の復号を行ない、ビデオ出力として復号後のビデオ・ビットストリームを出力する。
【００４０】
図４に示すビデオ復号器１０に入力されるビデオ・ビットストリームは以下のようにして得られる。まず、入力動画像信号に対してマクロブロック（ＭＢ）と呼ばれる部分領域単位で動き補償が行なわれることによって、予測信号との誤差である予測誤差信号が生成される。この予測誤差信号に対して、直交変換である離散コサイン変換（ＤＣＴ ―Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ―）がブロックと呼ばれる部分領域単位で行なわれることによって、直交変換係数であるＤＣＴ係数が生成され、さらに量子化が行なわれる。量子化ＤＣＴ係数は可変長符号化部によって可変長符号化されている。
【００４１】
可変長符号化部はさらに、量子化ＤＣＴ係数とは別個に、マクロブロック毎の動き補償モードを表す動きモード情報および動きベクトル情報も可変長符号化している。量子化ＤＣＴ係数、動き補償モード情報、動きベクトル情報にそれぞれ対応する各符号語が多重化されることによって、最終的にＭＰＥＧビットストリームが生成される。このＭＰＥＧビットストリームが図３に示すＭＰＥＧ復号装置１に供給されている。
【００４２】
以下、図３および図４に示す装置の構成と図３に示すフローチャートを参照しながら第３実施形態に係る動画像復号化方法および装置について説明する。まず図３において、ＭＰＥＧ復号装置１は、ＤＶＤやハードディスクなどの記憶媒体から読み出されたり、ディジタル放送信号から抽出されたりしたＭＰＥＧビットストリームを入力する。入力されたＭＰＥＧビットストリームは、分離部（ＤＥＭＵＸ）５により、音声ビットストリーム、ビデオ・ビットストリーム、基準となる同期情報（ＳＴＣ ―Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ―）に分離されて、音声ビットストリームは音声復号器２へと供給され、ビデオ・ビットストリームはビデオ復号器１０へと供給され、ＳＴＣはシステムデコーダ６を介して音声復号器２とビデオ復号器１０とにそれぞれ供給されている。
【００４３】
次に、図４に示すように、ビデオ復号器１０に入力されたビデオ・ビットストリームは、まず、可変長復号化部１３に入力される。可変長復号化部１３は、ＭＰＥＧビットストリーム中の各符号語に対応する情報シンボルを復号化することによって、量子化ＤＣＴ係数、動き補償モード情報、動きベクトル情報を分離して抽出する。可変長復号化部１３の出力のうち、量子化ＤＣＴ係数に対しては逆量子化部１４により逆量子化が行なわれ、ブロック単位でＤＣＴ係数が生成される。ＤＣＴ係数は、システム負荷判定処理部１２により制御されるＩＤＣＴ処理選択スイッチ１５を介して第１または第２のＩＤＣＴ部２１または２２の何れかに入力される。
【００４４】
入力されたビデオ・ビットストリームは、管理情報抽出部１１にも供給され、この管理情報抽出部１１によりビットストリーム内の再生出力の時刻管理情報であるＰＴＳをシステム負荷判定処理部１２に出力する。システム負荷判定処理部１２は、基準時刻分離部６により分離された再生の基準時刻であるＳＴＣと、管理情報抽出部１１により抽出された再生出力の時刻管理情報であるＰＴＳとを比較して、逆直交変換や動き補償予測などの動画像復号化処理における演算量を通常の演算量で行なうか削減された演算量で行なうかを判定する。このとき、図５に示すフローチャートのアルゴリズムにより、システム負荷判定処理部１２における判定処理は、ＩＤＣＴ処理選択スイッチ１５の切換制御により行なわれている。
【００４５】
図５のフローチャートに示すように、ステップＳＴ１においてＳＴＣ（再生基準時刻）を基準時刻分離部（システムデコーダ）６より受け取っている。ステップＳＴ２においては、ビデオビットストリームから管理情報抽出部１１によりＰＴＳ（再生出力の管理情報）を取り出している。ステップＳＴ３において、ステップＳＴ１で取り出したＳＴＣとステップＳＴ２で取り出したＰＴＳとを比較して、ＰＴＳがＳＴＣに関連するあるしきい値よりも前の時刻であるか後の時刻であるかを判定することによりシステム負荷判定処理が行なわれる。
【００４６】
判定の結果、ＰＴＳがＳＴＣと比較してあるしきい値よりも後の場合、すなわちステップＳＴ３で「ＮＯ」と判定された場合には、ステップＳＴ４へ進んで、ＣＰＵの計算資源に余裕がないものと判断して、例えば４×４のブロック数に削減された第２の逆離散コサイン変換部ＩＤＣＴ２２に切り換える。逆に判定の結果、ＰＴＳがＳＴＣを比較してあるしきい値よりも前の場合、すなわちステップＳＴ３における判定が「ＹＥＳ」である場合には、ステップＳＴ５に進んで、ＣＰＵ負荷に余裕があるものと判断してＩＤＣＴ処理を通常のＭＰＥＧに規定されるブロック数で復号化処理を行なう。
【００４７】
ステップＳＴ５において、第１のＩＤＣＴ部２１はＭＰＥＧ規格に規定された通常のＩＤＣＴ（離散コサイン逆変換）処理を行なうように構成され、ＣＰＵに余裕がある場合に適用される。ＣＰＵ負荷に余裕がないと判定された場合、ステップＳＴ４において、第２のＩＤＣＴ部２２により演算量を適宜削減して復号化が行なわれる。具体的には、図６に示すように、８×８個のＤＣＴ係数のうち、高周波成分である左上の４×４＝１６個の黒丸部分のみをＤＣＴ係数とみなして残りの白丸部分の４８個については０とみなして計算を省略する。このようにすることにより、演算量は削減することができる。
【００４８】
動き補償予測後に復号化された画像が出力される。このときにもＳＴＣが参照され、ＳＴＣとＰＴＳが一致したときに遅延バッファ１８から画像が出力されることになる。ここで、あるしきい値以上の遅延がある場合には、次のビデオ復号を省略して、コマ落ちさせる等の判定を行なっている。
【００４９】
以上説明した第３実施形態に係る動画像復号化方法および装置は、図６に示すように、８×８個のＤＣＴ係数を４×４個のＤＣＴ係数に削減して演算量を減少させていたが、本発明はこれに限定されず、図７に示すように、４×８個のＤＣＴ係数のみを演算対象とみなし、残り半分を０とみなして演算量を約半分にすることもできる。
【００５０】
図７は、このような第４実施形態に係る動画像復号化方法および装置を示す説明図である。第４実施形態に係る動画像復号化装置は、図３，図４と同一の構成を有している。また、図５に示すフローチャートと同様の処理ステップを有している。異なる点は、第３実施形態が図６に示すような８×８個のＤＣＴ係数に対して４×４＝１６個のＤＣＴ係数を用いていたのに対して、図７の第４実施形態は、４×８＝３２個のＤＣＴ係数を用いていることである。
【００５１】
この第４実施形態に係る動画像復号化方法および装置において、４×８個のＤＣＴ係数を用いている理由は、第３実施形態の４×４個のＤＣＴ係数の場合、逆離散コサイン変換後に得られる画像サイズが８×８個の画像サイズの１／４になってしまい、復号後の拡大表示の計算を行なうのが煩雑となるが、この第４実施形態のように４×８個のＤＣＴ係数を用いると、画像サイズは演算量を削減しなかった場合の１／２となるため、復号後の画像の拡大表示の計算を行なうのが容易となるからである。
【００５２】
第５実施形態に係る動画像復号化方法およびビデオ復号器の構成が、図８に示されている。図８において、逆直交変換部は第１のＩＤＣＴ部２１，第２のＩＤＣＴ部２２，第３のＩＤＣＴ部２３の３つ実装されている。その他の構成要素は第１ないし第４実施形態における構成要素と同様なので、同一符号を付して重複説明を省略する。
【００５３】
第１のＩＤＣＴ部２１は、通常のＭＰＥＧの規格通りに８×８個のＤＣＴ係数によりＩＤＣＴの処理を行ない、第２のＩＤＣＴ部２２は、４×８個のＤＣＴ係数によりＩＤＣＴの処理を行ない、第３のＩＤＣＴ部２３は、４×４個のＤＣＴ係数によりＩＤＣＴの処理を行なっている。
【００５４】
システム負荷判定処理部１２が行なう処理は、図９のフローチャートのように行なわれている。まず、ステップＳＴ１で再生基準時刻ＳＴＣを取り出し、ステップＳＴ２で再生出力の管理情報ＰＴＳが取り出される。ステップＳＴ３でＰＴＳとＳＴＣとを比較することにより、再生出力時刻の遅れがその度合いと共に判定される。すなわち、ＰＴＳ＜ＳＴＣの場合には第１のＩＤＣＴ部２１を用いてステップＳＴ５のように通常の逆直交変換が行なわれる。
【００５５】
ステップＳＴ３の判定により、あるしきい値の範囲内にあり遅延の度合いがそれほど遅延していない場合（ＰＴＳ＞ＳＴＣ）には、４×８個のＤＣＴ係数により、ステップＳＴ４１のように、第２のＩＤＣＴ部２２を用いて逆直交変換を行なう。また、ステップＳＴ３の判定により、より遅延の度合いが大きくて、あるしきい値以上の場合（ＰＴＳ＞＞ＳＴＣ）には、４×４個のＤＣＴ係数によってステップＳＴ４２のように第３のＩＤＣＴ部２３を用いて逆直交変換を行なっている。このように、遅延の度合いにより、第１ないし第３のＩＤＣＴ部２１ないし２３を切り換えて、ステップＳＴ５，ＳＴ４１，ＳＴ４２のように異なるＤＣＴ係数を用いて復号化処理を行なうことができ、ＣＰＵの計算資源が不足している場合に削減された計算量を２段階選択して処理を行なうことができる。
【００５６】
第３ないし第５実施形態は、何れも逆直交変換を２つまたは３つの複数のＩＤＣＴ部により行なう例を説明したが、本発明はこれに限定されず、動き補償予測部を複数設けるようにしても良い。図１０および図１１に示す第６実施形態は、動き補償予測部を複数備えている。図１０で前の実施形態と同一符号を付した構成要素は、同一または相当する構成要素を示している。
【００５７】
図１０に示すように、可変長符号復号化部１３より出力された量子化ＤＣＴ係数は逆量子化部１４に入力され量子化されてＤＣＴ係数を逆直交変換部２０に出力する。逆直交変換部２０は、ＤＣＴ係数にＩＤＣＴ処理等を行なって予測誤差を出力する。システム負荷判定処理部１２がＰＴＳとＳＴＣとの比較により通常の演算量で処理することが難しいと判定した場合には、判定処理部１２からの制御信号により切換部１５が切り換えられて第１の動き補償予測部２４から第２の動き補償予測部２５へと切り換える。第１の動き補償予測部２４は、ＭＰＥＧの規格に規定されたように、時間軸に対して前後する双方向の画像から動き補償を行なう通常の動き補償予測処理を行なっている。これに対して、第２の動き補償予測部２５は、一方向からのみ動き補償を行なう片方向動き補償処理を行なっており、この意味で動き補償においても計算量の削減が可能となる。
【００５８】
図１１は、片方向の動き補償予測処理を示す説明図であり、同図において、左側の画面の左下隅よりに位置する部分領域（メッシュ表示された部分）が右側の画面では右上隅寄りに移動している。このときの動き補償処理は、原位置と移動後の位置との画素値を加算して復号化されたマクロブロックが得られる。
【００５９】
図１２は第６実施形態の動作を示すフローチャートである。図１２において、ステップＳＴ１では再生基準時刻ＳＴＣが取り出され、ステップＳＴ２で再生出力の管理情報ＰＴＳが取り出される。ステップＳＴ３では、管理情報ＰＴＳが再生基準時刻ＳＴＣから遅れていないか否か、すなわちＣＰＵの能力に余裕があるか否かが判断される。管理情報ＰＴＳが基準時刻ＳＴＣから遅れている場合、すなわちステップＳＴ３の判断結果がＮＯの場合には、ステップＳＴ４に進み、削減された演算量で片方向の動き補償予測処理が行なわれる。ＰＴＳがＳＴＣよりも遅れていない場合すなわちステップＳＴ３での判断結果がＹＥＳの場合には、ステップＳＴ５へ進んで、通常の演算量で双方向の動き補償予測処理が行なわれる。
【００６０】
以上のように、動画像復号化処理を削減した演算量で処理する場合に、逆直交変換処理の演算量を削減しても、動き補償予測処理の演算量を削減しても何れでも良い。また、第１実施形態および第２実施形態では若干触れたが、演算量を削減させる場合に、逆直交変換処理の演算量と動き補償予測処理の演算量の両方を削減するようにしても良い。
【００６１】
【発明の効果】
以上、詳細に説明したように、本発明に係る動画像復号化方法および装置によれば、復号化の性能が不充分であるために映像にコマ落ちなどが発生する虞がある場合でも復号化の遅延状況を監視して、復号化の処理を切り換えて精度を落とした復号化を行なうことができるので、コマ落ちが少なく視聴者にとって違和感のない動画像の再生が可能となる。
【００６２】
また、動画像情報の処理の遅延状況を比較・判断する手段は、復号化される動画像の再生時刻とシステムの基準時刻との比較により行なっているので、マクロブロックの解析などを行なうことにより実際の復号化の状況を検出して復号化の処理を切り換える従来の方法と比べて、ＣＰＵの計算資源を消費することなく復号化の演算量を切り換えることができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る動画像復号化方法の処理の流れを説明するフローチャートである。
【図２】本発明の第２実施形態に係る動画像復号化装置の基本構成を示すブロック構成図である。
【図３】本発明の第３〜第６実施形態に係る動画像復号化装置に適用されるビデオ復号器が設けられるＭＰＥＧ復号装置の構成を示すブロック構成図である。
【図４】第３、第４実施形態に係る動画像復号化装置としてのビデオ復号器の構成を示すブロック構成図である。
【図５】第３実施形態に係る動画像復号化方法における処理手順を示すフローチャートである。
【図６】第３実施形態に係る動画像復号化方法および装置によるＩＤＣＴにおけるマクロブロックを示す説明図である。
【図７】本発明の第４実施形態に係る動画像復号化方法および装置によるＩＤＣＴにおけるマクロブロックを示す説明図である。
【図８】本発明の第５実施形態に係る動画像復号化装置としてのビデオ復号器の構成を示すブロック構成図である。
【図９】第５実施形態に係る動画像符号化方法における処理手順を示すフローチャートである。
【図１０】本発明の第６実施形態に係る動画像復号化装置としてのビデオ復号器の構成を示すブロック構成図である。
【図１１】第６実施形態に係る動画像復号化方法および装置における削減された片方向動き補償の処理を示す説明図である。
【図１２】第６実施形態に係る動画像復号化方法における処理手順を示すフローチャートである。
【符号の説明】
ＳＴ１ 再生基準時刻の抽出
ＳＴ２ 再生出力時刻管理情報の抽出
ＳＴ３ 余裕演算量の判定
ＳＴ４ 削減演算量での演算処理
ＳＴ５ 通常演算量での演算処理
１ マイクロコンピュータシステム（ＣＰＵ）
２ 音声復号化装置
３、４ 各種処理装置
５ 符号化データビットストリーム分離部
６ 基準時刻分離手段（システムデコーダ）
１０ 動画像復号化装置
１１ 時間管理情報抽出手段
１２ 負荷判定手段
１３ 可変長符号復号化部
１４ 逆量子化手段
１５ 切換部
１６ 通常演算手段
１７ 演算量削減手段
２１ 第１の逆直交変換部（ＩＤＣＴ１）
２２ 第２の逆直交変換部（ＩＤＣＴ２）
２３ 第３の逆直交変換部（ＩＤＣＴ３）
２４ 第１の動き補償予測部（ＭＣ１）
２５ 第２の動き補償予測部（ＭＣ２）
【発明の属する技術分野】
本発明は、動画像復号化方法および装置に係り、特に復号処理が遅延する可能性の高い状況を事前に察知して演算量を事前に減少させる動画像復号化方法および装置に関する。
【０００２】
【従来の技術】
一般に動画像データの処理に関しては、動画像エキスパートグループ（以下、ＭＰＥＧ―Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐｅ―とする）の標準に従って行なわれている。例えば、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４などの標準に従って圧縮された動画像符号化データは、ハードウェアによる復号化装置により復号化処理される場合もあるが、中央処理装置（以下、ＣＰＵ―Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ―とする）により、ソフトウェアを用いて復号化処理されることが多い。
【０００３】
従来、動画像符号化データの復号をソフトウェアを用いて行なう場合、ＣＰＵの処理能力を超える動画像データが復号化装置に供給された場合、処理しきれない動画像符号化データの一部分を破棄して音声データのみを復号・再生したりすることにより、いわゆる動画像をコマ落ちさせてリアルタイム性を維持するようにしていた。
【０００４】
また、特許文献１に記載されているように、ＭＰＥＧ標準におけるマクロブロックの内容のような動画像に関する情報を解析し、マクロブロック毎に動きの激しい情報か否かを判定して、動きの激しいマクロブロックについては逆離散コサイン変換（以下、ＩＤＣＴ―Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ ―とする）の処理を切り換えてＩＤＣＴの演算量が少なくなるように処理を変更することにより、画質の劣化を最小限にして演算量の少ない動画像信号処理を行なう方法もある。
【０００５】
しかしながら、この特許文献１に開示された方法によれば、動画像の情報のみに基づいて復号処理を切り換えているため、カーナビゲーション装置、携帯情報端末、携帯電話端末などのシステムにおける一機能として動画像復号化装置が用いられている場合には、動画像復号化処理についてのみＣＰＵの演算量を制御したとしても、ＣＰＵが他の機能について処理しているときにはＣＰＵへの負荷が過重になってしまい、割り当て可能なＣＰＵの計算資源が変動する場合には適切な復号化処理を行なうことができないという問題があった。
【０００６】
例えば、上述したカーナビゲーションシステム、携帯情報（電話）端末などでは、動画像復号化と同時に、例えば音声符号化データの復号化処理、通信処理およびスケジュール管理処理などのような他の種々の処理を行なっており、これらの処理は動画像データの復号化処理よりも優先的に行なわれる必要がある場合も多くなっている。例えば、音声符号化データの復号化処理の場合、人間の感覚としては画像が途切れるよりも音声が途切れることの方が不快感を受けるので、動画像符号化データの復号化処理よりも音声符号化データの復号化処理の方が優先される。
【０００７】
符号化データを復号化する際には、画面を幾つかの画素単位で分割した部分領域に分けて領域単位の逆量子化や逆直交変換等の処理を行なうようにしている。このような部分領域としてマクロブロック（ＭＢ）と呼ばれる単位があり、このマクロブロックに関しては特許文献２にも説明されている。特許文献２には、直交変換を正方形ブロック単位で行なう技術が開示されている。
【０００８】
また、通信対象となる情報が欠落すると通信そのものが支障を来すことになるので、通信処理も動画像符号化データの復号化処理よりも優先的に行なわれることになる。このような場合、マクロブロックの内容による符号化方法の切り換えだけでは対処することができず、システムの状況に応じた適切な復号化処理を選択することはできなかった。また、動画像の判定をマクロブロックの内容を解析して行なっているので、解析処理そのもののためにＣＰＵ負荷を消費してしまって、復号化処理に割り当てるＣＰＵの計算資源を消費してしまうという問題があった。
【０００９】
【特許文献１】
特開２００２−２３２８８１号公報
【特許文献２】
特開平８−１８９６８号公報
【００１０】
【発明が解決しようとする課題】
上述したように、従来の動画像復号化方法および装置によれば、動画像符号化データの部分領域毎に動きの激しさを判定して、動きの激しさの増加に応じて部分領域毎の復号化処理を演算量の少ない処理に変更しているが、ＣＰＵが他の処理も行なう機能を有するシステムにおいては動画像符号化データの復号化処理よりも優先的に行なう必要のある処理が存在している場合には、システム全体としてはＣＰＵの計算資源が制約されるという問題があった。
【００１１】
本発明は、ＣＰＵが他の優先処理機能を有している場合に、動画像符号化データの復号化処理を複数段階の精度で複数種類用意しておいて、再生の基準となる同期情報と動画像情報の再生出力の時刻の管理情報との比較による遅延の状況から何れかの復号化処理を行なうようにすることにより、他の機能処理との整合のもとでＣＰＵの計算資源を最大限に有効に利用することのできる動画像復号化方法および装置を提供することを目的としている。
【００１２】
【課題を解決するための手段】
上記目的を達成するため、本発明の第１基本構成に係る動画像復号化方法は、少なくとも動画像復号化の処理と該動画像復号化以外の処理とを同時に実行するマイクロコンピュータシステムを用いて、動画像信号の部分領域毎に得られた予測誤差信号の量子化直交変換係数と、該部分領域毎に得られた動きベクトル情報とを含む動画像符号化データを復号化する動画像復号化方法であって、入力された前記符号化データビットストリームから再生基準時刻を分離して抽出する第１ステップと、入力された前記符号化データビットストリームから分離された動画像符号化データに含まれる再生出力の時刻管理情報を抽出する第２ステップと、分離された前記再生基準時刻と取り出された再生出力の時刻管理情報とを比較して、前記複数の処理機能のうちの少なくとも１つの処理機能との関係から復号化処理に余裕があるか否かにつき判定を行なって、復号化処理に余裕がないものと判定したときに前記復号化処理を演算量の少ない処理を選択して切り換える第３ステップと、前記第３ステップで演算量の少ない処理を選択したときに、前記動画像符号化データから抽出された前記部分領域毎の量子化直交変換係数を逆量子化して直交変換係数を生成する逆量子化処理を行なった後、この逆量子化して得られた前記直交変換係数に対して逆直交変換を施して予測誤差信号を生成する逆直交変換処理と、前記予測誤差信号に対して前記動画像符号化データから抽出された動きベクトル情報を用いて部分領域毎に動き補償を施して復号化画像信号を生成する動き補償予測処理の少なくとも一方の処理における演算量を削減する第４ステップと、前記第３のステップで演算量の少ない処理を選択しなかったときに、前記逆量子化処理、逆直交変換処理、動き補償予測処理を通常の演算量で行なう第５ステップとを備えている。
【００１３】
また、本発明の第２基本構成に係る動画像復号化装置は、少なくとも動画像復号化の処理と該動画像復号化以外の処理とを同時に実行するマイクロコンピュータシステムに搭載されると共に、動画像信号の部分領域毎に得られた予測誤差信号の量子化直交変換係数と、該部分領域毎に得られた動きベクトル情報とを含む動画像符号化データを復号化する動画像復号化装置であって、入力された前記符号化データビットストリームから再生基準時刻を分離して抽出する基準時刻分離手段と、入力された前記符号化データビットストリームから分離された動画像符号化データに含まれる再生出力の時刻管理情報を抽出する時刻管理情報抽出手段と、分離された前記再生基準時刻と抽出された再生出力の時刻管理情報とを比較して、前記複数の処理機能のうち復号化処理以外の少なくとも１つの処理機能の処理量に基づくシステム負荷との関係から復号化処理に余裕があるか否かについて判定する負荷判定手段と、前記動画像符号化データから抽出された前記部分領域毎の量子化直交変換係数を逆量子化して直交変換係数を生成する逆量子化手段と、前記負荷判定手段により演算量の少ない処理が選択されたときに、前記逆量子化手段により逆量子化して得られた直交変換係数に対して逆直交変換を施して予測誤差信号を生成する逆直交変換処理と、前記予測誤差信号に対して前記動画像符号化データから抽出された動きベクトル情報を用いて部分領域毎に動き補償を施して復号化画像信号を生成する動き補償予測処理の少なくとも一方の処理における演算量を削減する演算量削減手段と、前記負荷判定手段により演算量の少ない処理を選択されなかったときに逆量子化処理、逆直交変換処理、動き補償予測処理を通常の演算量で行なう通常演算量処理手段とを備えるものである。
【００１４】
【発明の実施の形態】
以下、本発明の実施形態について添付図面を用いて詳細に説明する。本発明の具体的な実施形態を説明する前に、本発明の基本的な構成としての第１実施形態に係る動画像復号化方法および装置について、図１および図２を参照しながら説明する。
【００１５】
本発明の第１実施形態に係る動画像復号化方法は、少なくとも動画像復号化の処理と該動画像復号化以外の処理とを同時に実行するマイクロコンピュータシステムを用いて、動画像信号の部分領域毎に得られた予測誤差信号の量子化直交変換係数と、該部分領域毎に得られた動きベクトル情報とを含む動画像符号化データを復号化する動画像復号化方法である。
【００１６】
第１実施形態の復号化方法は、図１のフローチャートに示すように、入力された前記符号化データビットストリームから再生基準時刻を分離して抽出する第１ステップＳＴ１と、入力された前記符号化データビットストリームから分離された動画像符号化データに含まれる再生出力の時刻管理情報を抽出する第２ステップＳＴ２と、分離された前記再生基準時刻と取り出された再生出力の時刻管理情報とを比較して、前記複数の処理機能のうちの少なくとも１つの処理機能との関係から復号化処理に余裕があるか否かにつき判定を行なって、復号化処理に余裕がないものと判定したときに前記復号化処理を演算量の少ない処理を選択して切り換える第３ステップＳＴ３と、前記第３ステップＳＴ３で演算量の少ない処理を選択したときに、前記動画像符号化データから抽出された前記部分領域毎の量子化直交変換係数を逆量子化して直交変換係数を生成する逆量子化処理を行なった後、この逆量子化して得られた前記直交変換係数に対して逆直交変換を施して予測誤差信号を生成する逆直交変換処理と、前記予測誤差信号に対して前記動画像符号化データから抽出された動きベクトル情報を用いて部分領域毎に動き補償を施して復号化画像信号を生成する動き補償予測処理の少なくとも一方の処理における演算量を削減する第４ステップＳＴ４と、前記第３のステップＳＴ３で演算量の少ない処理を選択しなかったときに逆量子化処理、逆直交変換処理、動き補償予測処理を通常の演算量で行なう第５ステップＳＴ５とを備えている。
【００１７】
第４ステップＳＴ４および第５ステップＳＴ５は、逆量子化ステップ、逆直交変換（ＩＤＣＴ）ステップ、動き補償ステップをそれぞれ有している。第５ステップＳＴ５は、通常の演算量のままで動画像復号化処理を行なう処理ステップであり、逆量子化処理ステップＳＴ４５と、通常の演算量の逆直交変換処理を行なう通常の逆直交変換処理ステップＳＴ５１と、通常の演算量のままで動き補償予測処理を行なう通常の動き補償予測処理ステップＳＴ５２と、を備えている。
【００１８】
また、第４ステップＳＴ４は、演算量を通常より削減して動画像復号化処理を行なう処理ステップであり、逆量子化処理ステップＳＴ４５と、通常の逆直交変換処理ステップＳＴ５１における演算量の例えば半分程度の第１の所定演算量で逆直交変換処理を行なう第１省略演算処理サブステップＳＴ４１と、通常の演算量に対して例えば１／４程度の第２の所定演算量で逆直交演算処理を行なう第２省略演算処理サブステップＳＴ４２と、通常の演算量よりも削減された演算量で動き補償予測処理を行なう省略動き補償予測処理サブステップＳＴ４３と、を備えている。
【００１９】
以上の基本構成を備える第１実施形態に係る動画像復号化方法の概要について説明する。ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４などの圧縮された動画像符号化データは、ソフトウェアを用いて上記マイクロコンピュータにより復号化されている。このマイクロコンピュータは、上述したように、動画像の復号化処理以外にも多くの機能を合わせて搭載しており、多くの場合、それぞれの機能はソフトウェアで実装したＣＰＵにより処理されている。
【００２０】
例えばカーナビゲーション装置においては、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）の再生と同時に車両の現在位置に関する座標計算処理や道路交通情報通信システム（ＶＩＣＳ―Ｖｅｈｉｃｌｅ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ―）受信処理などの諸機能が動作する。携帯電話端末では、動画付メールの再生について、動画像復号化処理を行なうのと同時に通信処理などの動作を行なっている。これらの装置においては、動画像符号化データの復号化処理をソフトウェアにより処理しているために、ＣＰＵの処理能力が復号化処理に追いつかない場合には再生された映像がコマ落ちするなどの影響が出ることになる。
【００２１】
ＣＰＵが動画像の復号化処理以外の諸機能を並行して処理するこれらのシステムにおいては、復号化処理の実行に影響を与える要因として、以下のような理由が考えられる。第１に、ソフトウェアを用いて復号する場合、ナビゲーション機能、ネットワーク通信機能などの動画像復号化処理以外の機能によるＣＰＵへの負荷によって、動画像復号化処理に割り当てることが可能なＣＰＵの能力が変動することになる。
【００２２】
また、第２に、動画像符号化データの情報量は、例えば１秒当たりのビット数（ｂｐｓ―ｂｉｔ ｐｅｒ ｓｅｃｏｎｄ―）等により表されるが、ＭＰＥＧ２などで可変速度（ＶＢＲ―Ｖａｒｉａｂｌｅ Ｂｉｔ Ｒａｔｅ ―）を指定した場合などにおいては、時々刻々と変動しているので、この変動する情報量により復号化処理のために必要とされるＣＰＵの能力も変動することになる。
【００２３】
上述したように、従来の動画像復号化方法および装置においては、上記第１および第２の理由により復号化に遅延が発生する場合には、処理しきれない動画像符号化データを破棄して、いわゆる映像のコマ落ちを発生させることによりリアルタイム性を維持していた。
【００２４】
これに対して、本発明の第１実施形態では動画像復号処理を複数種類用意しておいて、再生の基準となる同期情報と、動画像の再生出力における時刻の管理情報と、を比較して、その比較結果から遅延の状況を判定し、その発生理由が上記第１の理由か第２の理由であるかを判断するような判断処理ステップを設けて、その判断処理結果に応じて動画像復号化処理を最適なものに切り換えている。したがって、ＣＰＵの復号化処理動作に遅延が発生する場合には演算量の少ない復号化処理に切り換えて実行することが可能となる。
【００２５】
これら切り換えられる複数の復号化処理は、例えば以下の具体的な実施形態においても詳細に説明するように、４×４ＩＤＣＴ処理、４×８ＩＤＣＴ処理、片方向動き補償（ＭＣ ―Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ―）等であり、復号化の精度は低下するがそれに比例して演算量も少なくなる。このように、動画像の復号の状況に基づいて、リアルタイムに復号化処理を切り換えて動画像の再生を可能としている。
【００２６】
なお、本願に特有の構成ではないが、第１実施形態に係る動画像復号化方法においては、復号処理に余裕があるか否かを判定するステップＳＴ３の判定内容の１つとして、ＣＰＵの演算処理能力におけるＣＰＵ資源の余裕が完全にない場合には、通常の演算量による復号化処理（ステップＳＴ５）も削減された演算量による復号化処理（ステップＳＴ４）も行なわないで、動画像の復号化処理を全く行なうことなく処理を終了するようにしても良い。
【００２７】
また、本発明の第２実施形態に係る動画像復号化装置１０は、少なくとも動画像復号化の処理と該動画像復号化以外の処理とを同時に実行するマイクロコンピュータシステム（ＣＰＵ）１に搭載されている。このマイクロコンピュータシステム１は、動画像復号化処理以外の各種の処理として、音声符号化データを復号化する音声復号化装置２や、その他の符号化データの復号化処理や、またはカーナビゲーション・システムとしてのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ） ナビゲーション機能における各種の処理や、ネットワーク通信における送受信機能に関する処理などをそれぞれ行なう各種処理装置３，４がソフトウェアにより搭載されている。
【００２８】
これらの各種処理装置は同時に動作可能なように搭載されているが、マイクロコンピュータ１は、入力した符号化データを例えば音声符号化データや動画像符号化データなどに分離する分離部５に設けられて入力された符号化データビットストリームから再生基準時刻を分離して抽出する基準時刻分離手段６と、動画像信号の部分領域毎に得られた予測誤差信号の量子化直交変換係数と、該部分領域毎に得られた動きベクトル情報とを含む動画像符号化データを復号化する動画像復号化装置１０をも搭載している。
【００２９】
この第２実施形態に係る動画像復号化装置１０の詳細な構成を説明する。動画像復号化装置１０は、入力された前記符号化データビットストリームから分離された動画像符号化データに含まれる再生出力の時刻管理情報を抽出する時刻管理情報抽出手段１１と、分離された再生基準時刻と抽出された再生出力の時刻管理情報とを比較して、前記複数の処理機能のうち復号化処理以外の少なくとも１つの処理機能の処理量に基づくシステム負荷との関係から復号化処理に余裕があるか否かについて判定する負荷判定手段１２と、入力された動画像符号化データのビットストリームにおける可変長符号を復号化する可変長符号復号化部１３と、この可変長符号復号化部１３より出力された動画像符号化データから抽出された部分領域毎の量子化直交変換係数を逆量子化して直交変換係数を生成する逆量子化手段１４とを備えている。
【００３０】
動画像復号化装置１０は、さらに、負荷判定手段１２による再生基準時刻と時刻管理情報との比較結果から演算量の少ない処理が選択されたときにこれ以降の復号化処理を切り換える切換部１５と、負荷判定手段１２により演算量の少ない処理が選択されないで切換部１５により通常の処理が設定されたときに逆量子化処理、逆直交変換処理、動き補償予測処理を通常の演算量で行なう通常演算量処理手段１６と、負荷判定手段１２による再生基準時刻と時刻管理情報との比較結果から演算量の少ない処理が選択されて切換部１５により演算量の少ない処理が設定されたときに逆量子化手段１４により逆量子化して得られた直交変換係数に対して逆直交変換を施して予測誤差信号を生成する逆直交変換処理と、前記予測誤差信号に対して前記動画像符号化データから抽出された動きベクトル情報を用いて部分領域毎に動き補償を施して復号化画像信号を生成する動き補償予測処理の少なくとも一方の処理における演算量を削減する演算量削減手段１７と、を備えている。
【００３１】
動画像復号化装置１０は、通常演算処理手段１６または演算量削減手段１７の何れかから出力された復号化画像を蓄積して基準時刻と時間管理情報とが一致したときに出力する遅延バッファ１８と、遅延バッファ１８のデータと可変長符号復号化部１３のデータとを蓄積して動き補償予測のために出力する画像バッファ１９とを備えている。
【００３２】
通常演算処理部１６は、切換部１５を介して入力される通常の演算量の動画像符号化データを逆直交変換する第１の逆直交変換部（ＩＤＣＴ）２１と、通常の演算量で動き補償予測処理を行なう第１の動き補償予測部（ＭＣ）２４と、を備えている。演算量削減手段１７は、通常の例えば半分に演算量を削減して逆直交変換を行なう第２の逆直交変換部（ＩＤＣＴ）２２と、通常の例えば１／４に演算量を削減して逆直交変換を行なう第３の逆直交変換部（ＩＤＣＴ）２３と、第２または第３のＩＤＣＴ２２または２３の逆変換出力に対して動き補償予測処理を行なう第２の動き補償予測部（ＭＣ）２５と、を備えている。
【００３３】
以上の構成を有する第２実施形態に係る動画像復号化装置１０は、動画像符号化データから抽出された前記部分領域毎の量子化直交変換係数を逆量子化して直交変換係数を生成し、逆量子化して得られた前記直交変換係数に対して逆直交変換を施して予測誤差信号を生成し、この予測誤差信号に対して前記動画像符号化データから抽出された動きベクトル情報を用いて部分領域毎に動き補償を施して復号化画像信号を生成している。この演算処理は、通常の演算量と削減された演算量との何れかで行なわれるが、その判断は、負荷判定手段１２が、入力された前記動画像符号化データに含まれる再生出力に関する時刻管理情報（以下、ＰＴＳ ―Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ―）と前記復号化画像情報における再生基準時刻（ＳＴＣ）とを比較して、前記複数の処理機能のうちの少なくとも１つの処理機能との関係から復号化処理に余裕があるか否かを判定することにより、復号化処理に余裕がないものと判定されたときに、切換部１５は復号化処理を演算量の少ない処理に切り換えることにより実現されている。
【００３４】
以上のような構成を有する第２実施形態に係る動画像復号化装置によっても、第１実施形態と同様に、ＣＰＵの演算処理能力に一定の制限がある場合に、動画図符号化データのビットストリームに含まれる時刻管理情報（ＰＴＳ）と時間管理部４により取り出された基準同期情報（ＳＴＣ）とを比較して、動画像符号化データの復号化処理が基準となる時間内に処理されていないときに演算量の少ない復号化処理を行なっている。
【００３５】
以上説明した第１および第２実施形態は、本発明の基本的な構成を含む動画像復号化方法および装置であるが、ＣＰＵの処理している情報量の多寡により切り換えられる復号化処理の具体的な内容については詳述されていない。そこで、復号化処理の具体的な内容を含む詳細な実施形態について以下に説明する。
【００３６】
図３および図６は、本発明の第３実施形態に係る動画像復号化装置および方法を示すブロック構成図、フローチャート、説明図である。図において、第１および第２実施形態に係る動画像復号化方法および装置と同一符号を付した構成要素は、同一または相当する構成要素を示すものとする。第３実施形態に係る動画像復号化装置１０は、パーソナルコンピュータ（ＰＣ）のようなコンピュータシステム（ＣＰＵ）あるいは情報通信端末などに適用され、記憶装置に保持されたコンピュータプログラムに従ってソフトウェアにより実現されている。また、この動画像復号化装置１０は、代表的なディジタル動画像符号化方式であるＭＰＥＧ（ＭＰＥＧ１，ＭＰＥＧ２，ＭＰＥＧ４）標準に対応しており、動画像符号化データであるＭＰＥＧビットストリームを復号化するために用いられている。
【００３７】
図３に示すように、ＭＰＥＧ復号装置用ＣＰＵ１は、図示されない通信処理部より供給されたビットストリームを音声ビットストリーム、ビデオビットストリーム、基準同期情報に分離する分離部５と、分離された音声ビットストリームを復号化して音声ストリームを出力する音声復号器２と、分離されたビデオビットストリームを復号化して、ビデオストリームを出力するビデオ復号器１０と、分離された基準同期情報としてのシステムタイムクロック（ＳＴＣ ―Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ―）を音声復号器２とビデオ復号器１０とに出力するシステムデコーダ６とを備えている。
【００３８】
ビデオ復号器１０は、図４に示すように、入力されたビデオビットストリームから再生出力の時刻管理情報であるＰＴＳを抽出する管理情報抽出部１１と、基準時刻分離部（システムデコーダ）６より分離供給されたＳＴＣ（基準時刻）と管理情報抽出部１１により抽出されたＰＴＳ（再生出力の時刻管理情報）とを比較してシステムの負荷を判定するシステム負荷判定部１２と、入力されたビデオビットストリームに含まれる可変長符号を復号化して量子化ＤＣＴ係数を出力する可変長復号化部１３と、量子化ＤＣＴ係数により逆量子化を行なう逆量子化部１４と、逆量子化されたＤＣＴ係数をシステム負荷判定部１２の切り換え出力により切り換える切換部１５と、通常の演算量のときに逆直交変換を行なう第１のＩＤＣＴ２１と、削減された演算量によって逆直交変換を行なう第２のＩＤＣＴ２２と、第１または第２のＩＤＣＴ２１または２２から出力された予測誤差に対して可変長復号化部１３からの動き補償モード情報により動き補償予測処理を行なう動き補償予測部２４と、基準時刻分離部６からのＳＴＣに同期させて動き補償予測処理が行なわれた復号動画像信号を出力する遅延バッファ１８と、動き補償予測部２４の出力を一時的に蓄積して可変長復号化部１３からの動きベクトル情報により動き補償予測部２４にフィードバックする画像バッファ１９とを備えている。
【００３９】
ビデオ・ビットストリームは以下のようにして得られる。図３に示すように、ＭＰＥＧビットストリームは、まず分離部（ＤＥＭＵＸ）５に入力される。この分離部５において、音声ビットストリーム、ビデオ・ビットストリーム、基準となる同期情報（ＳＴＣ）に分離され、音声ビットストリームは音声復号器２へと供給され、ビデオ・ビットストリームはビデオ復号器１０へと供給され、ＳＴＣは音声復号器２とビデオ復号器１０とに入力される。このときビデオ復号器１０は、入力されたビデオ・ビットストリームと、ＳＴＣおよびビットストリーム内の再生出力管理情報（ＰＴＳ）から図４に示す構成のビデオ復号器１０によりビデオ信号の復号を行ない、ビデオ出力として復号後のビデオ・ビットストリームを出力する。
【００４０】
図４に示すビデオ復号器１０に入力されるビデオ・ビットストリームは以下のようにして得られる。まず、入力動画像信号に対してマクロブロック（ＭＢ）と呼ばれる部分領域単位で動き補償が行なわれることによって、予測信号との誤差である予測誤差信号が生成される。この予測誤差信号に対して、直交変換である離散コサイン変換（ＤＣＴ ―Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ―）がブロックと呼ばれる部分領域単位で行なわれることによって、直交変換係数であるＤＣＴ係数が生成され、さらに量子化が行なわれる。量子化ＤＣＴ係数は可変長符号化部によって可変長符号化されている。
【００４１】
可変長符号化部はさらに、量子化ＤＣＴ係数とは別個に、マクロブロック毎の動き補償モードを表す動きモード情報および動きベクトル情報も可変長符号化している。量子化ＤＣＴ係数、動き補償モード情報、動きベクトル情報にそれぞれ対応する各符号語が多重化されることによって、最終的にＭＰＥＧビットストリームが生成される。このＭＰＥＧビットストリームが図３に示すＭＰＥＧ復号装置１に供給されている。
【００４２】
以下、図３および図４に示す装置の構成と図３に示すフローチャートを参照しながら第３実施形態に係る動画像復号化方法および装置について説明する。まず図３において、ＭＰＥＧ復号装置１は、ＤＶＤやハードディスクなどの記憶媒体から読み出されたり、ディジタル放送信号から抽出されたりしたＭＰＥＧビットストリームを入力する。入力されたＭＰＥＧビットストリームは、分離部（ＤＥＭＵＸ）５により、音声ビットストリーム、ビデオ・ビットストリーム、基準となる同期情報（ＳＴＣ ―Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ―）に分離されて、音声ビットストリームは音声復号器２へと供給され、ビデオ・ビットストリームはビデオ復号器１０へと供給され、ＳＴＣはシステムデコーダ６を介して音声復号器２とビデオ復号器１０とにそれぞれ供給されている。
【００４３】
次に、図４に示すように、ビデオ復号器１０に入力されたビデオ・ビットストリームは、まず、可変長復号化部１３に入力される。可変長復号化部１３は、ＭＰＥＧビットストリーム中の各符号語に対応する情報シンボルを復号化することによって、量子化ＤＣＴ係数、動き補償モード情報、動きベクトル情報を分離して抽出する。可変長復号化部１３の出力のうち、量子化ＤＣＴ係数に対しては逆量子化部１４により逆量子化が行なわれ、ブロック単位でＤＣＴ係数が生成される。ＤＣＴ係数は、システム負荷判定処理部１２により制御されるＩＤＣＴ処理選択スイッチ１５を介して第１または第２のＩＤＣＴ部２１または２２の何れかに入力される。
【００４４】
入力されたビデオ・ビットストリームは、管理情報抽出部１１にも供給され、この管理情報抽出部１１によりビットストリーム内の再生出力の時刻管理情報であるＰＴＳをシステム負荷判定処理部１２に出力する。システム負荷判定処理部１２は、基準時刻分離部６により分離された再生の基準時刻であるＳＴＣと、管理情報抽出部１１により抽出された再生出力の時刻管理情報であるＰＴＳとを比較して、逆直交変換や動き補償予測などの動画像復号化処理における演算量を通常の演算量で行なうか削減された演算量で行なうかを判定する。このとき、図５に示すフローチャートのアルゴリズムにより、システム負荷判定処理部１２における判定処理は、ＩＤＣＴ処理選択スイッチ１５の切換制御により行なわれている。
【００４５】
図５のフローチャートに示すように、ステップＳＴ１においてＳＴＣ（再生基準時刻）を基準時刻分離部（システムデコーダ）６より受け取っている。ステップＳＴ２においては、ビデオビットストリームから管理情報抽出部１１によりＰＴＳ（再生出力の管理情報）を取り出している。ステップＳＴ３において、ステップＳＴ１で取り出したＳＴＣとステップＳＴ２で取り出したＰＴＳとを比較して、ＰＴＳがＳＴＣに関連するあるしきい値よりも前の時刻であるか後の時刻であるかを判定することによりシステム負荷判定処理が行なわれる。
【００４６】
判定の結果、ＰＴＳがＳＴＣと比較してあるしきい値よりも後の場合、すなわちステップＳＴ３で「ＮＯ」と判定された場合には、ステップＳＴ４へ進んで、ＣＰＵの計算資源に余裕がないものと判断して、例えば４×４のブロック数に削減された第２の逆離散コサイン変換部ＩＤＣＴ２２に切り換える。逆に判定の結果、ＰＴＳがＳＴＣを比較してあるしきい値よりも前の場合、すなわちステップＳＴ３における判定が「ＹＥＳ」である場合には、ステップＳＴ５に進んで、ＣＰＵ負荷に余裕があるものと判断してＩＤＣＴ処理を通常のＭＰＥＧに規定されるブロック数で復号化処理を行なう。
【００４７】
ステップＳＴ５において、第１のＩＤＣＴ部２１はＭＰＥＧ規格に規定された通常のＩＤＣＴ（離散コサイン逆変換）処理を行なうように構成され、ＣＰＵに余裕がある場合に適用される。ＣＰＵ負荷に余裕がないと判定された場合、ステップＳＴ４において、第２のＩＤＣＴ部２２により演算量を適宜削減して復号化が行なわれる。具体的には、図６に示すように、８×８個のＤＣＴ係数のうち、高周波成分である左上の４×４＝１６個の黒丸部分のみをＤＣＴ係数とみなして残りの白丸部分の４８個については０とみなして計算を省略する。このようにすることにより、演算量は削減することができる。
【００４８】
動き補償予測後に復号化された画像が出力される。このときにもＳＴＣが参照され、ＳＴＣとＰＴＳが一致したときに遅延バッファ１８から画像が出力されることになる。ここで、あるしきい値以上の遅延がある場合には、次のビデオ復号を省略して、コマ落ちさせる等の判定を行なっている。
【００４９】
以上説明した第３実施形態に係る動画像復号化方法および装置は、図６に示すように、８×８個のＤＣＴ係数を４×４個のＤＣＴ係数に削減して演算量を減少させていたが、本発明はこれに限定されず、図７に示すように、４×８個のＤＣＴ係数のみを演算対象とみなし、残り半分を０とみなして演算量を約半分にすることもできる。
【００５０】
図７は、このような第４実施形態に係る動画像復号化方法および装置を示す説明図である。第４実施形態に係る動画像復号化装置は、図３，図４と同一の構成を有している。また、図５に示すフローチャートと同様の処理ステップを有している。異なる点は、第３実施形態が図６に示すような８×８個のＤＣＴ係数に対して４×４＝１６個のＤＣＴ係数を用いていたのに対して、図７の第４実施形態は、４×８＝３２個のＤＣＴ係数を用いていることである。
【００５１】
この第４実施形態に係る動画像復号化方法および装置において、４×８個のＤＣＴ係数を用いている理由は、第３実施形態の４×４個のＤＣＴ係数の場合、逆離散コサイン変換後に得られる画像サイズが８×８個の画像サイズの１／４になってしまい、復号後の拡大表示の計算を行なうのが煩雑となるが、この第４実施形態のように４×８個のＤＣＴ係数を用いると、画像サイズは演算量を削減しなかった場合の１／２となるため、復号後の画像の拡大表示の計算を行なうのが容易となるからである。
【００５２】
第５実施形態に係る動画像復号化方法およびビデオ復号器の構成が、図８に示されている。図８において、逆直交変換部は第１のＩＤＣＴ部２１，第２のＩＤＣＴ部２２，第３のＩＤＣＴ部２３の３つ実装されている。その他の構成要素は第１ないし第４実施形態における構成要素と同様なので、同一符号を付して重複説明を省略する。
【００５３】
第１のＩＤＣＴ部２１は、通常のＭＰＥＧの規格通りに８×８個のＤＣＴ係数によりＩＤＣＴの処理を行ない、第２のＩＤＣＴ部２２は、４×８個のＤＣＴ係数によりＩＤＣＴの処理を行ない、第３のＩＤＣＴ部２３は、４×４個のＤＣＴ係数によりＩＤＣＴの処理を行なっている。
【００５４】
システム負荷判定処理部１２が行なう処理は、図９のフローチャートのように行なわれている。まず、ステップＳＴ１で再生基準時刻ＳＴＣを取り出し、ステップＳＴ２で再生出力の管理情報ＰＴＳが取り出される。ステップＳＴ３でＰＴＳとＳＴＣとを比較することにより、再生出力時刻の遅れがその度合いと共に判定される。すなわち、ＰＴＳ＜ＳＴＣの場合には第１のＩＤＣＴ部２１を用いてステップＳＴ５のように通常の逆直交変換が行なわれる。
【００５５】
ステップＳＴ３の判定により、あるしきい値の範囲内にあり遅延の度合いがそれほど遅延していない場合（ＰＴＳ＞ＳＴＣ）には、４×８個のＤＣＴ係数により、ステップＳＴ４１のように、第２のＩＤＣＴ部２２を用いて逆直交変換を行なう。また、ステップＳＴ３の判定により、より遅延の度合いが大きくて、あるしきい値以上の場合（ＰＴＳ＞＞ＳＴＣ）には、４×４個のＤＣＴ係数によってステップＳＴ４２のように第３のＩＤＣＴ部２３を用いて逆直交変換を行なっている。このように、遅延の度合いにより、第１ないし第３のＩＤＣＴ部２１ないし２３を切り換えて、ステップＳＴ５，ＳＴ４１，ＳＴ４２のように異なるＤＣＴ係数を用いて復号化処理を行なうことができ、ＣＰＵの計算資源が不足している場合に削減された計算量を２段階選択して処理を行なうことができる。
【００５６】
第３ないし第５実施形態は、何れも逆直交変換を２つまたは３つの複数のＩＤＣＴ部により行なう例を説明したが、本発明はこれに限定されず、動き補償予測部を複数設けるようにしても良い。図１０および図１１に示す第６実施形態は、動き補償予測部を複数備えている。図１０で前の実施形態と同一符号を付した構成要素は、同一または相当する構成要素を示している。
【００５７】
図１０に示すように、可変長符号復号化部１３より出力された量子化ＤＣＴ係数は逆量子化部１４に入力され量子化されてＤＣＴ係数を逆直交変換部２０に出力する。逆直交変換部２０は、ＤＣＴ係数にＩＤＣＴ処理等を行なって予測誤差を出力する。システム負荷判定処理部１２がＰＴＳとＳＴＣとの比較により通常の演算量で処理することが難しいと判定した場合には、判定処理部１２からの制御信号により切換部１５が切り換えられて第１の動き補償予測部２４から第２の動き補償予測部２５へと切り換える。第１の動き補償予測部２４は、ＭＰＥＧの規格に規定されたように、時間軸に対して前後する双方向の画像から動き補償を行なう通常の動き補償予測処理を行なっている。これに対して、第２の動き補償予測部２５は、一方向からのみ動き補償を行なう片方向動き補償処理を行なっており、この意味で動き補償においても計算量の削減が可能となる。
【００５８】
図１１は、片方向の動き補償予測処理を示す説明図であり、同図において、左側の画面の左下隅よりに位置する部分領域（メッシュ表示された部分）が右側の画面では右上隅寄りに移動している。このときの動き補償処理は、原位置と移動後の位置との画素値を加算して復号化されたマクロブロックが得られる。
【００５９】
図１２は第６実施形態の動作を示すフローチャートである。図１２において、ステップＳＴ１では再生基準時刻ＳＴＣが取り出され、ステップＳＴ２で再生出力の管理情報ＰＴＳが取り出される。ステップＳＴ３では、管理情報ＰＴＳが再生基準時刻ＳＴＣから遅れていないか否か、すなわちＣＰＵの能力に余裕があるか否かが判断される。管理情報ＰＴＳが基準時刻ＳＴＣから遅れている場合、すなわちステップＳＴ３の判断結果がＮＯの場合には、ステップＳＴ４に進み、削減された演算量で片方向の動き補償予測処理が行なわれる。ＰＴＳがＳＴＣよりも遅れていない場合すなわちステップＳＴ３での判断結果がＹＥＳの場合には、ステップＳＴ５へ進んで、通常の演算量で双方向の動き補償予測処理が行なわれる。
【００６０】
以上のように、動画像復号化処理を削減した演算量で処理する場合に、逆直交変換処理の演算量を削減しても、動き補償予測処理の演算量を削減しても何れでも良い。また、第１実施形態および第２実施形態では若干触れたが、演算量を削減させる場合に、逆直交変換処理の演算量と動き補償予測処理の演算量の両方を削減するようにしても良い。
【００６１】
【発明の効果】
以上、詳細に説明したように、本発明に係る動画像復号化方法および装置によれば、復号化の性能が不充分であるために映像にコマ落ちなどが発生する虞がある場合でも復号化の遅延状況を監視して、復号化の処理を切り換えて精度を落とした復号化を行なうことができるので、コマ落ちが少なく視聴者にとって違和感のない動画像の再生が可能となる。
【００６２】
また、動画像情報の処理の遅延状況を比較・判断する手段は、復号化される動画像の再生時刻とシステムの基準時刻との比較により行なっているので、マクロブロックの解析などを行なうことにより実際の復号化の状況を検出して復号化の処理を切り換える従来の方法と比べて、ＣＰＵの計算資源を消費することなく復号化の演算量を切り換えることができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る動画像復号化方法の処理の流れを説明するフローチャートである。
【図２】本発明の第２実施形態に係る動画像復号化装置の基本構成を示すブロック構成図である。
【図３】本発明の第３〜第６実施形態に係る動画像復号化装置に適用されるビデオ復号器が設けられるＭＰＥＧ復号装置の構成を示すブロック構成図である。
【図４】第３、第４実施形態に係る動画像復号化装置としてのビデオ復号器の構成を示すブロック構成図である。
【図５】第３実施形態に係る動画像復号化方法における処理手順を示すフローチャートである。
【図６】第３実施形態に係る動画像復号化方法および装置によるＩＤＣＴにおけるマクロブロックを示す説明図である。
【図７】本発明の第４実施形態に係る動画像復号化方法および装置によるＩＤＣＴにおけるマクロブロックを示す説明図である。
【図８】本発明の第５実施形態に係る動画像復号化装置としてのビデオ復号器の構成を示すブロック構成図である。
【図９】第５実施形態に係る動画像符号化方法における処理手順を示すフローチャートである。
【図１０】本発明の第６実施形態に係る動画像復号化装置としてのビデオ復号器の構成を示すブロック構成図である。
【図１１】第６実施形態に係る動画像復号化方法および装置における削減された片方向動き補償の処理を示す説明図である。
【図１２】第６実施形態に係る動画像復号化方法における処理手順を示すフローチャートである。
【符号の説明】
ＳＴ１ 再生基準時刻の抽出
ＳＴ２ 再生出力時刻管理情報の抽出
ＳＴ３ 余裕演算量の判定
ＳＴ４ 削減演算量での演算処理
ＳＴ５ 通常演算量での演算処理
１ マイクロコンピュータシステム（ＣＰＵ）
２ 音声復号化装置
３、４ 各種処理装置
５ 符号化データビットストリーム分離部
６ 基準時刻分離手段（システムデコーダ）
１０ 動画像復号化装置
１１ 時間管理情報抽出手段
１２ 負荷判定手段
１３ 可変長符号復号化部
１４ 逆量子化手段
１５ 切換部
１６ 通常演算手段
１７ 演算量削減手段
２１ 第１の逆直交変換部（ＩＤＣＴ１）
２２ 第２の逆直交変換部（ＩＤＣＴ２）
２３ 第３の逆直交変換部（ＩＤＣＴ３）
２４ 第１の動き補償予測部（ＭＣ１）
２５ 第２の動き補償予測部（ＭＣ２）
Claims (8)
- 少なくとも動画像復号化の処理と該動画像復号化以外の処理とを同時に実行するマイクロコンピュータシステムを用いて、動画像信号の部分領域毎に得られた予測誤差信号の量子化直交変換係数と、該部分領域毎に得られた動きベクトル情報とを含む動画像符号化データを復号化する動画像復号化方法であって、
入力された符号化データビットストリームに含まれる再生基準時刻を抽出する第１ステップと、
入力された前記符号化データビットストリームから分離された動画像符号化データに含まれる再生出力の時刻管理情報を抽出する第２ステップと、
抽出された前記再生基準時刻と前記再生出力の時刻管理情報とを比較して、前記複数の処理機能のうち少なくとも１つの処理機能との関係から復号化演算処理に余裕があるか否かについての判定を行なって、前記復号化演算処理に余裕がないものと判定したときに前記復号化演算処理を演算量の少ない処理に切り換える第３ステップと、
前記第３ステップにより演算量の少ない処理に切り換えられたときに、前記動画像符号化データから抽出された部分領域毎の量子化直交変換係数を逆量子化して直交変換係数を生成する逆量子化処理を行なった後、逆量子化して得られた前記直交変換係数に対して逆直交変換を施して予測誤差信号を生成する逆直交変換処理と、前記予測誤差信号に対して前記動画像符号化データから抽出された動きベクトル情報を用いて部分領域毎に動き補償を施して復号化画像信号を生成する動き補償予測処理との少なくとも一方の処理における演算量を削減して実行する第４ステップと、
前記第３ステップにより演算量の少ない処理が選択されなかったときに、通常の演算量による前記逆量子化処理、逆直交変換処理、動き補償予測処理を実行する第５ステップと、
を備える動画像復号化方法。 - 前記第４ステップおよび第５ステップにおける前記逆直交変換処理は、８×８個のＤＣＴ係数に対して通常の演算処理を行なう通常演算処理サブステップと、前記第３ステップにより前記復号化処理に余裕がないものと判定されたときに８×８個のＤＣＴ係数のうちの４×８個のＤＣＴ係数を実装とみなして計算を省略するように切り換えられる省略演算処理サブステップと、を備える請求項１に記載の動画像復号化方法。
- 前記第４ステップおよび第５ステップにおける前記逆直交変換処理は、８×８個のＤＣＴ係数に対して通常の演算処理を行なう通常演算処理サブステップと、前記第３ステップにより前記復号化処理に余裕がないものと判定されたときに８×８個のＤＣＴ係数のうちの４×８個のＤＣＴ係数を実装とみなして計算を省略するように切り換えられる第１省略演算処理サブステップと、前記第３ステップにより前記復号化処理にさらに余裕がないものと判定されたときに８×８個のＤＣＴ係数のうちの４×４個のＤＣＴ係数を実装とみなして計算をさらに省略するように切り換えられる第２省略演算処理サブステップと、を備える請求項１に記載の動画像復号化方法。
- 第４ステップおよび第５ステップにおける前記動き補償予測処理は、前記復号化処理に余裕があるものと判定されたときに、前記第３ステップの切り換えにより通常の動き補償予測処理を行なう通常動き補償予測サブステップと、前記復号化処理に余裕がないものと判定されたときに、前記第３ステップの切り換えにより前記通常の動き補償予測処理よりも処理量の少ない動き補償処理を行なう省略動き補償処理サブステップを備える請求項１ないし請求項３の何れかに記載の動画像復号化方法。
- 少なくとも動画像復号化の処理と該動画像復号化以外の処理とを同時に実行するマイクロコンピュータシステムに搭載されると共に、動画像信号の部分領域毎に得られた予測誤差信号の量子化直交変換係数と、該部分領域毎に得られた動きベクトル情報とを含む動画像符号化データを復号化する動画像復号化装置であって、
入力された前記符号化データビットストリームから再生基準時刻を分離して抽出する基準時刻分離手段と、
入力された前記符号化データビットストリームから分離された動画像符号化データに含まれる再生出力の時刻管理情報を抽出する時刻管理情報抽出手段と、
分離された前記再生基準時刻と抽出された再生出力の時刻管理情報とを比較して、前記複数の処理機能のうち復号化処理以外の少なくとも１つの処理機能の処理量に基づくシステム負荷との関係から復号化処理に余裕があるか否かについて判定する負荷判定手段と、
前記動画像符号化データから抽出された前記部分領域毎の量子化直交変換係数を逆量子化して直交変換係数を生成する逆量子化手段と、
前記負荷判定手段により演算量の少ない処理が選択されたときに、前記逆量子化手段により逆量子化して得られた前記直交変換係数に対して逆直交変換を施して予測誤差信号を生成する逆直交変換処理と、前記予測誤差信号に対して前記動画像符号化データから抽出された動きベクトル情報を用いて部分領域毎に動き補償を施して復号化画像信号を生成する動き補償予測処理の少なくとも一方の処理における演算量を削減する演算量削減手段と、
前記負荷判定手段により演算量の少ない処理を選択されなかったときに、前記逆量子化処理、逆直交変換処理、動き補償予測処理を通常の演算量で行なう通常演算量処理手段と、
を備える動画像復号化装置。 - 前記逆直交変換手段は、８×８個のＤＣＴ係数に対して通常の演算処理を行なう通常演算処理手段と、前記処理余裕判定手段により前記復号化処理に余裕がないものと判定されたときに８×８個のＤＣＴ係数のうちの４×８個のＤＣＴ係数を実装とみなして計算を省略するように前記演算量切換手段により切り換えられる省略演算処理手段と、を備える請求項５に記載の動画像復号化装置。
- 前記逆直交変換手段は、８×８個のＤＣＴ係数に対して通常の演算処理を行なう通常演算処理ステップと、前記処理余裕判定手段により前記復号化処理に余裕がないものと判定されたときに８×８個のＤＣＴ係数のうちの４×８個のＤＣＴ係数を実装とみなして計算を省略するように前記演算量切換ステップにより切り換えられる第１の省略演算処理手段と、前記処理余裕判定ステップにより前記復号化処理にさらに余裕がないものと判定されたときに８×８個のＤＣＴ係数のうちの４×４個のＤＣＴ係数を実装とみなして計算をさらに省略するように前記演算量切換手段により切り換えられる第２の省略演算処理手段と、を備える請求項５に記載の動画像復号化装置。
- 動き補償手段は、前記処理余裕判定手段が前記復号化処理に余裕があるものと判定したときに、前記演算量切換手段の切り換えにより前記動き補償手段における前記動き補償をより処理量の少ない動き補償処理を行なう動き補償省略処理手段を備える請求項５ないし請求項７の何れかに記載の動画像復号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003082265A JP2004289745A (ja) | 2003-03-25 | 2003-03-25 | 動画像復号化方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003082265A JP2004289745A (ja) | 2003-03-25 | 2003-03-25 | 動画像復号化方法および装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004289745A true JP2004289745A (ja) | 2004-10-14 |
Family
ID=33295601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003082265A Pending JP2004289745A (ja) | 2003-03-25 | 2003-03-25 | 動画像復号化方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004289745A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007124619A (ja) * | 2005-09-30 | 2007-05-17 | Ricoh Co Ltd | 画像処理装置、画像処理方法、プログラム、情報記録媒体 |
| WO2008030068A1 (en) * | 2006-09-07 | 2008-03-13 | Lg Electronics Inc. | Method and apparatus for decoding/encoding of a video signal |
| US7742524B2 (en) | 2006-11-17 | 2010-06-22 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal using inter-layer prediction |
| US8054885B2 (en) | 2006-11-09 | 2011-11-08 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal |
| JP2011254129A (ja) * | 2010-05-31 | 2011-12-15 | Canon Inc | 画像処理装置及びその制御方法 |
| JP2012129647A (ja) * | 2010-12-13 | 2012-07-05 | Toshiba Corp | 動画像復号装置及び動画像復号方法 |
| US8711942B2 (en) | 2010-12-17 | 2014-04-29 | Kabushiki Kaisha Toshiba | Moving picture decoding device and moving picture decoding method |
| CN114035679A (zh) * | 2021-10-26 | 2022-02-11 | 浙江大学 | 一种可动态重组的脑神经信号并行解码方法和装置 |
-
2003
- 2003-03-25 JP JP2003082265A patent/JP2004289745A/ja active Pending
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007124619A (ja) * | 2005-09-30 | 2007-05-17 | Ricoh Co Ltd | 画像処理装置、画像処理方法、プログラム、情報記録媒体 |
| JP4688165B2 (ja) * | 2005-09-30 | 2011-05-25 | 株式会社リコー | 画像処理装置及び画像処理方法 |
| US8401085B2 (en) | 2006-09-07 | 2013-03-19 | Lg Electronics Inc. | Method and apparatus for decoding/encoding of a video signal |
| WO2008030068A1 (en) * | 2006-09-07 | 2008-03-13 | Lg Electronics Inc. | Method and apparatus for decoding/encoding of a video signal |
| WO2008030067A1 (en) * | 2006-09-07 | 2008-03-13 | Lg Electronics Inc. | Method and apparatus for decoding/encoding of a video signal |
| US8428144B2 (en) | 2006-09-07 | 2013-04-23 | Lg Electronics Inc. | Method and apparatus for decoding/encoding of a video signal |
| US8054885B2 (en) | 2006-11-09 | 2011-11-08 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal |
| US7742532B2 (en) | 2006-11-17 | 2010-06-22 | Lg Electronics Inc. | Method and apparatus for applying de-blocking filter to a video signal |
| US8184698B2 (en) | 2006-11-17 | 2012-05-22 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal using inter-layer prediction |
| US8229274B2 (en) | 2006-11-17 | 2012-07-24 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal |
| US7742524B2 (en) | 2006-11-17 | 2010-06-22 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal using inter-layer prediction |
| JP2011254129A (ja) * | 2010-05-31 | 2011-12-15 | Canon Inc | 画像処理装置及びその制御方法 |
| JP2012129647A (ja) * | 2010-12-13 | 2012-07-05 | Toshiba Corp | 動画像復号装置及び動画像復号方法 |
| US8687705B2 (en) | 2010-12-13 | 2014-04-01 | Kabushiki Kaisha Toshiba | Moving picture decoding device and moving picture decoding method |
| US8711942B2 (en) | 2010-12-17 | 2014-04-29 | Kabushiki Kaisha Toshiba | Moving picture decoding device and moving picture decoding method |
| CN114035679A (zh) * | 2021-10-26 | 2022-02-11 | 浙江大学 | 一种可动态重组的脑神经信号并行解码方法和装置 |
| CN114035679B (zh) * | 2021-10-26 | 2023-11-17 | 浙江大学 | 一种可动态重组的脑神经信号并行解码方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5090158B2 (ja) | 映像情報記録装置、映像情報記録方法、映像情報記録プログラム、及び映像情報記録プログラムを記録した記録媒体 | |
| JP3979897B2 (ja) | 映像圧縮ビットストリームのトランスコーディング方法 | |
| US9414086B2 (en) | Partial frame utilization in video codecs | |
| US8885710B2 (en) | Method and device for encoding/decoding video signals using base layer | |
| JP5230735B2 (ja) | 復号化装置、復号化方法及び受信装置 | |
| US20060062299A1 (en) | Method and device for encoding/decoding video signals using temporal and spatial correlations between macroblocks | |
| US12113988B2 (en) | Device and method of video decoding with first and second decoding code | |
| JPH11122624A (ja) | ビデオデコーダ処理量を低減する方法および装置 | |
| US11849124B2 (en) | Device and method of video encoding with first and second encoding code | |
| US7957604B2 (en) | Moving image coding apparatus, moving image decoding apparatus, control method therefor, and computer-readable storage medium | |
| JP2004289745A (ja) | 動画像復号化方法および装置 | |
| US8948257B2 (en) | Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, and program | |
| US20070147515A1 (en) | Information processing apparatus | |
| JP2010010917A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法、及び動画像復号方法 | |
| JP4539028B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム | |
| JP2008193444A (ja) | 情報処理装置 | |
| JPWO2005062623A1 (ja) | 動画像再生方法及び装置並びにプログラム | |
| JP4360985B2 (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム | |
| US20060072675A1 (en) | Method for encoding and decoding video signals |