JP2009021837A

JP2009021837A - 復号化システム

Info

Publication number: JP2009021837A
Application number: JP2007182978A
Authority: JP
Inventors: Kazuyuki Uchida; 和之内田; Masato Takemoto; 征人竹本
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2007-07-12
Filing date: 2007-07-12
Publication date: 2009-01-29
Also published as: US20090016427A1; CN101345878A

Abstract

【課題】符号化された動画像や音を復号する復号化システムにおいて、動画像処理又は音処理が終わる前に次の符号化データの復号処理が終わった場合でも、その次の符号化データの復号を開始することができる復号化システムを提供する。
【解決手段】動画像デコード部１０１から復号情報を取得し、復号状況に応じて動画像処理部１０２の処理を調整する動画像処理調整部１０３を有し、動画像処理部１０２にて現在の復号データの動画像処理が終わる前に、動画像デコード部１０１にて次の動画像データの復号処理が終わった場合、現在の復号データに対する動画像処理を終了させて、その次の動画像データの復号を開始させる。これにより、高いフレームレートを実現できる。
【選択図】図１

Description

本発明は、デジタル圧縮された画像データ又は音データを伸張して再生する復号化システムに関する。

近年、マルチメディア技術の進歩、蓄積メディアの大容量化、ネットワーク網の強化により、様々な機器でＡＶ（Audio Visual）再生が行われるようになっている。また、再生される画像サイズの大型化に対応するため、機器の制御において、復号、ノイズフィルタ処理をパイプラインで行ったり、フルにノイズフィルタ処理を行ったりすることができる程度のＣＰＵ（Central Processing Unit）処理能力を持たないシステムでは、ＣＰＵの負荷が大きいときにはノイズフィルタ処理を飛ばす技術が提案されている（例えば、特許文献１参照）。

また、近年の画像サイズの拡大により復号の処理時間が長くかかる場合は、復号、画像処理を逐次実行するのでは間に合わないので、パイプライン処理により、画像処理を行っている間に次の画像の復号処理を行う。その場合、従来の復号化システムでは、復号処理というのはフレーム毎に長短があるが、動画像処理というのは略一定時間かかるため、復号が前のフレームの動画像処理よりも早く終わっても、復号した動画像を動画像処理部に渡せないために、前のフレームの動画像処理が終わるのを待って、次の復号処理を行うようにしている。
特開２００７−１３３１５号公報

しかしながら、従来の技術では、単にＣＰＵの負荷によりノイズフィルタ処理を行うか行わないかを調整していたため、例えば復号処理を途切れることなしに常時行うようなシステムでは、復号の負荷が一定のためにノイズフィルタ処理の細かい調整を行うことができなかった。そのため、復号処理、ノイズフィルタ処理をパイプライン処理で行うようなシステムでは、１フレームの復号処理の長短に関らずノイズフィルタ処理を一定時間行ってしまうため、復号処理が短く終わった後でも並行して実行しているノイズフィルタ処理が終わらずにパイプラインが乱れ、復号処理単体では達成できるフレームレートが達成できないという課題があった。

本発明は、係る事情に鑑みてなされたものであり、符号化された動画像や音を復号する復号化システムにおいて、動画像処理又は音処理が終わる前に次の符号化データの復号処理が終わった場合でも、その次の符号化データの復号を開始することができる復号化システムを提供することを目的とする。

本発明の復号化システムは、符号化された動画像データを復号すると共に復号状況を出力する動画像復号手段と、前記動画像復号手段から出力された復号データに対してノイズフィルタ処理、回転処理、拡大処理を含む動画像処理を行う動画像処理手段と、前記動画像復号手段から出力された復号状況に応じて前記動画像処理手段の動画像処理を調整する動画像処理調整手段と、を備える。

この構成によれば、動画像処理が終わる前に次の動画像データの復号処理が終わった場合、動画像処理を終了させて、その次の動画像データの復号を開始させることができる。これにより、パイプラインが乱れたりすることがなく、復号処理単体で達成できるフレームレートを達成できる。

また、上記構成において、前記動画像処理調整手段は、前記動画像復号手段にて１フレームの復号が終了したときに前記動画像処理手段の動画像処理を終了させる。

この構成によれば、１フレームの復号が終わると、すぐに次のフレームの復号及び動画像処理を行うことが可能となる。

また、上記構成において、前記動画像処理調整手段は、前記動画像復号手段にてｎ（ｎ：整数）マクロブロックの復号が終了したときに前記動画像処理手段の動画像処理を終了させる。

この構成によれば、ｎマクロブロックの復号が終わると、すぐに次のｎマクロブロックの復号及び動画像処理を行うことができ、１フレーム単位で行うよりも細かい調整を行うことができる。

また、上記構成において、前記動画像処理調整手段は、フレームの動画像処理時間を、前記動画像復号手段の復号の処理時間に合わせて間引く。

この構成によれば、１フレームの動画像処理時間を次の１フレームの復号が終わるまでに終了するように調整することで次の復号を行うことが可能となる。

また、上記構成において、前記動画像処理調整手段は、１フレームの復号時間をｋ、フレームレートを達成するために必要な１フレームの平均デコード時間をｊとして、前記フレームの動画像処理時間が２ｊ-ｋになるように間引く。

この構成によれば、復号が早く終わり、復号と並行して行われている前の動画像を待つ場合でも、必ず平均フレームレート時間で動画像処理が終了するので、次の復号を開始することが可能となる。

また、上記構成において、前記動画像処理調整手段は、ｎ（ｎ：整数）マクロブロックの動画像処理時間を、前記動画像復号手段のｎマクロブロックの復号時間に合わせて間引く。

この構成によれば、ｎマクロブロックの動画像処理時間を次のｎマクロブロックの復号が終わるまでに終了するように調整することで、次の復号を行うことができ、より細かく制御を行うことが可能となる。

また、上記構成において、前記動画像処理調整手段は、ｎマクロブロックの復号時間をｋ、フレームレートを達成するために必要なｎマクロブロックの平均復号時間をｊとして、前記フレームの動画像処理時間が２ｊ-ｋになるように間引く。

また、上記構成において、前記動画像処理調整手段は、前記動画像復号手段の復号時における復号画像の情報により負荷を計算し、この結果に基づいて前記動画像処理手段の動画像処理を調整する。

この構成によれば、復号画像の情報に応じて動画像処理の長さを調整することが可能となる。

また、上記構成において、前記動画像処理調整手段は、復号のフレーム種別に基づいて前記動画像処理手段の動画像処理を調整する。

この構成によれば、データのヘッダに入っているフレーム種別により復号時間を予測し、動画像処理の長さを調整することで、次の復号を開始することが可能となる。

また、上記構成において、前記動画像処理調整手段は、復号画像の色情報に基づいて前記動画像処理手段の動画像処理を調整する。

この構成によれば、人等の肌色の部分は重要であるので、復号画像の色情報に基づいて動画像処理を調整することが可能となる。

また、上記構成において、前記動画像処理調整手段は、復号画像の量子化値や動きベクトルに基づいて前記動画像処理手段の動画像処理を調整する。

この構成によれば、量子化値や動きベクトルにより画像の特徴を判断して動画像処理を行わなくても良いところは間引いたり、省いたりするなど、動画像処理を調整することができる。

また、上記構成において、前記動画像処理調整手段は、動画像処理を調整するパターンを複数有し、前記動画像復号手段から出力される復号状況に応じて最適なパターンを選択する。

この構成によれば、動画像処理を間引くよう調整する場合でも、よく目につき易い中央では間引かず端を間引く等調整の仕方を選択できるようになる。

また、本発明の復号化システムは、符号化された動画像データを復号する動画像復号手段と、前記動画像復号手段で復号された復号データに対してノイズフィルタ処理、回転処理、拡大処理を含む動画像処理を行う動画像処理手段と、前記動画像復号手段と前記動画像処理手段との間に介挿され、前記動画像復号手段で復号された復号データを一時的に保存し、保存した順で前記復号データを前記動画像処理手段に入力するデータ一時蓄積手段と、を備える。

この構成によれば、動画像処理が終わる前に次のフレームの復号処理が先に終わった場合でも、データ一時蓄積手段に復号結果を置くことで次の復号を開始することが可能となる。

また、本発明の復号化システムは、符号化された音データを復号すると共に復号状況を出力する音復号手段と、前記音復号手段から出力された復号データに対してノイズフィルタ処理を含む音処理を行う音処理手段と、前記音復号手段から出力された復号状況に応じて前記音処理手段の音処理を調整する音処理調整手段と、を備える。

この構成によれば、復号の状況に応じて音処理を調整するので、音処理が終わる前に次の音データの復号処理が終わった場合、音処理を終了させて、その次の音データの復号を開始させることができる。これにより、パイプラインが乱れたりすることがなく、復号処理単体で達成できるフレームレートを達成できる。

また、上記構成において、前記音処理調整手段は、前記音復号手段にて１フレームの復号が終了したときに前記音処理手段の音処理を終了させる。

この構成によれば、１フレームの復号が終わると、すぐに次のフレームの復号及び音処理を行うことが可能となる。

また、上記構成において、前記音処理調整手段は、フレームの音処理時間を、前記音復号手段の復号の処理時間に合わせて間引く。

この構成によれば、１フレームの音処理時間を次の１フレームの復号が終わるまでに終了するように調整することで次の復号を行うことが可能となる。

また、上記構成において、前記音処理調整手段は、１フレームの復号時間をｋ、フレームレートを達成するために必要な１フレームの平均復号時間をｊとして、前記フレームの音処理時間が２ｊ-ｋになるように間引く。

この構成によれば、復号が早く終わり、復号と並行して行われている前の音を待つ場合でも、必ず平均フレームレート時間で音処理が終了するので、次の復号を開始することが可能となる。

また、本発明の再生装置は、動画像と音が多重化された多重化データを記憶する記憶手段と、前記記憶手段から読み出された多重化データを動画像データと音データに分離する多重分離手段と、上記動画像を復号する復号化システムと、上記音を復号する復号化システムと、前記復号化システムのうち、動画像を復号する復号化システムの前記動画像処理手段で動画像処理して得られた動画像を出力する動画像出力手段と、前記復号化システムのうち、音を復号する復号化システムの前記音処理手段で音処理して得られた音を出力する音出力手段と、を備える。

この構成によれば、フレームレートの高い再生が可能な再生装置を実現できる。

また、本発明の再生装置は、携帯電話網、無縁ＬＡＮ網或いは有線ＬＡＮ網を介して動画像と音が多重化された多重化データを受信する伝送データ受信手段と、前記伝送データ受信手段で受信された多重化データを動画像データと音データに分離する多重分離手段と、上記動画像を復号する復号化システムと、上記音を復号する復号化システムと、前記復号化システムのうち、動画像を復号する復号化システムの前記動画像処理手段で動画像処理して得られた動画像を出力する動画像出力手段と、前記復号化システムのうち、音を復号する復号化システムの前記音処理手段で音処理して得られた音を出力する音出力手段と、を備える。

本発明は、復号処理と、動画像処理又は音処理を行う復号化システムにおいて、動画像処理又は音処理が終わる前に次の符号化データの復号処理が終わった場合でも、その次の符号化データの復号を開始することができ、フレームレートの高い再生を実現できる。

以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る復号化システムの概略構成を示すブロック図である。同図において、本実施の形態の復号化システム１０は、動画像デコード部１０１と、動画像処理部１０２と、動画像処理調整部１０３とを備える。動画像デコード部１０１は、動画の符号化ストリームを復号する。また、動画像デコード部１０１は、動画像処理調整部１０３に復号状況を示す復号情報を与える。動画像処理部１０２は、動画像デコード部１０１で復号されたデータ（以下、復号データと呼ぶ）に対してノイズフィルタ処理、回転処理、拡大処理などの動画像処理を行う。

動画像処理調整部１０３は、動画像デコード部１０１から復号情報を取得し、復号の状況に応じて動画像処理部１０２の処理を調整する。ここで、復号情報として、例えばフレーム情報が挙げられる。復号時にまずフレーム情報が入っているヘッダ部分が復号されるため、このフレーム情報を見ることにより、動画像処理の調整が可能である。更に詳しく述べると、ヘッダ部分のフレーム情報のＰフレーム（前のフレームとの差分のみが入っている）か、Ｉフレーム（全情報が入っている）かのフレーム種別により、Ｉフレーム、Ｐフレームの復号にかかる予想時間を出し、動画像処理を調整する。

動画像処理調整部１０３は、復号処理された動画像データに対する動画像処理が終わる前に、次の動画像データの復号処理（１フレームの復号）が終了した場合、動画像処理を終了させて、現時点で復号データに対して動画像処理を実行させる。動画像デコード部１０１は、現在の動画像データに対する復号が終わると、直ぐに次の動画像データに対して復号を開始する。したがって、パイプラインが乱れたりすることがなく、復号処理単体で達成できるフレームレートを達成できる。

図２は、本実施の形態の復号化システム１０の動作を示すシーケンス図である。１フレームの復号処理が終わった時点で動画像処理を打ち切り、今処理が終わって得られた復号データを動画像処理部１０２に移動させ、次のストリームを動画像デコード部１０１に読み込む。これにより、復号の間隔が空くこと無しに復号できる。

このように本実施の形態の復号化システム１０によれば、動画像デコード部１０１から復号情報を取得し、復号状況に応じて動画像処理部１０２の処理を調整する動画像処理調整部１０３を有し、動画像処理部１０２にて現在の復号データの動画像処理が終わる前に、動画像デコード部１０１にて次の動画像データの復号処理が終わった場合、現在の復号データに対する動画像処理を終了させて、その次の動画像データの復号を開始させる。したがって、パイプラインが乱れたりすることがなく、復号処理単体で達成できるフレームレートを達成することができる。

（実施の形態２）
本発明の実施の形態２に係る復号化システムは、上述した実施の形態１に係る復号化システムと同様の構成を採るが、動画像処理調整部１０３の機能に違いがある。即ち、動画像処理調整部１０３は、動画像デコード部１０１にてｎ（ｎ：整数）マクロブロックの復号が終了したときに、動画像処理部１０２の動画像処理を終了させる。これにより、ｎマクロブロックの復号が終わると直ぐに次のｎマクロブロックの復号及び動画像処理を行うことができ、１フレーム単位で行うよりも細かい調整を行うことができる。

ここで、動画像の符号化及び復号化は、図３に示すようにマクロブロック単位で行われる。マクロブロックは１６×１６等の単位の画素から構成される。画像サイズがＱＣＩＦ（Quarter Common Intermediate Format、１７６×１４４）の場合、１１×８マクロブロックで構成される。図４は、マクロブロックを用いた復号化システムのシーケンス図である。ＱＣＩＦの場合、横１列（ｎ＝１１）のマクロブロックの復号処理が終わった時点で動画像処理を打ち切って、復号データを動画像処理部１０２に移動させ、次のストリームを動画像デコード部１０１が読み込む。これにより、復号の間隔が空くこと無しに復号できる。また、マクロブロック単位で調整することで、より細かく動画像処理の調整を行うことができる。

（実施の形態３）
本発明の実施の形態３に係る復号化システムは、上述した実施の形態１に係る復号化システムと同様の構成を採るが、動画像処理調整部１０３の機能に違いがある。即ち、動画像処理調整部１０３は、フレームの動画像処理時間を、動画像デコード部１０１の復号の処理時間に合わせて間引く。これにより、１フレームの動画像処理時間を次の１フレームの復号が終わるまでに終了するように調整することで次の復号を行うことが可能となる。

（実施の形態４）
本発明の実施の形態４に係る復号化システムは、上述した実施の形態１に係る復号化システムと同様の構成を採るが、動画像処理調整部１０３の機能に違いがある。即ち、動画像処理調整部１０３は、１フレームの復号時間をｋ、フレームレートを達成するために必要な１フレームの平均デコード時間をｊとして、フレームの動画像処理時間が２ｊ-ｋになるように間引く。これにより、復号が早く終わり、復号と並行して行われている前の動画像を待つ場合でも、必ず平均フレームレート時間で動画像処理が終了するので、次の復号を開始することが可能となる。

（実施の形態５）
本発明の実施の形態５に係る復号化システムは、上述した実施の形態１に係る復号化システムと同様の構成を採るが、動画像処理調整部１０３の機能に違いがある。図５は、本実施の形態の復号化システムの動作を示すシーケンス図である。動画像処理調整部１０３は、フレームレートが１秒間に３０コマの場合は１フレーム３３ｍｓというように、必要な１フレームの平均復号時間ｊを計算し、復号時間がｋで終わった場合には、動画像処理時間は２ｊ-ｋで終わるように動画像処理を間引く。これにより、動画像処理の終了を平均復号時間以内に収めることができ（つまり、平均復号時間を超えずに終了でき）、また途中で打ち切るよりも１画面内に均等にして動画像処理を行うことができる。

（実施の形態６）
本発明の実施の形態６に係る復号化システムは、上述した実施の形態１に係る復号化システムと同様の構成を採るが、動画像処理調整部１０３の機能に違いがある。即ち、動画像処理調整部１０３は、ｎマクロブロックの動画像処理時間を、動画像デコード部１０１のｎマクロブロックの復号時間に合わせて間引く。これにより、ｎマクロブロックの動画像処理時間を次のｎマクロブロックの復号が終わるまでに終了するように調整することで、次の復号を行うことができ、より細かく制御を行うことが可能となる。

（実施の形態７）
本発明の実施の形態７に係る復号化システムは、上述した実施の形態１に係る復号化システムと同様の構成を採るが、動画像処理調整部１０３の機能に違いがある。即ち、動画像処理調整部１０３は、ｎマクロブロックの復号時間をｋ、フレームレートを達成するために必要なｎマクロブロックの平均復号時間をｊとして、フレームの動画像処理時間が２ｊ-ｋになるように間引く。これにより、復号が早く終わり、復号と並行して行われている前の動画像を待つ場合でも、必ず平均フレームレート時間で動画像処理が終了するので、次の復号を開始することが可能となる。

（実施の形態８）
本発明の実施の形態８に係る復号化システムは、上述した実施の形態１に係る復号化システムと同様の構成を採るが、動画像処理調整部１０３の機能に違いがある。即ち、動画像処理調整部１０３は、動画像デコード部１０１の復号時における復号画像の情報により負荷を計算し、この結果に基づいて動画像処理部１０２の動画像処理を調整する。これにより、復号画像の情報に応じて動画像処理の長さを調整することが可能となる。

（実施の形態９）
本発明の実施の形態９に係る復号化システムは、上述した実施の形態１に係る復号化システムと同様の構成を採るが、動画像処理調整部１０３の機能に違いがある。即ち、動画像処理調整部１０３は、復号のフレーム種別に基づいて動画像処理部１０２の動画像処理を調整する。これにより、データのヘッダに入っているフレーム種別により復号時間を予測し、動画像処理の長さを調整することで、次の復号を開始することが可能となる。

（実施の形態１０）
本発明の実施の形態１０に係る復号化システムは、上述した実施の形態１に係る復号化システムと同様の構成を採るが、動画像処理調整部１０３の機能に違いがある。即ち、動画像処理調整部１０３は、復号画像の色情報に基づいて動画像処理部１０２の動画像処理を調整する。復号時の結果が肌色である場合には、その部分は人目を引きやすいため、ノイズフィルタ処理等の動画像処理を行う。これは、略同じ色が続く画像等では動画像処理を行わなくても目立たないので間引くという色情報により動画像処理を調整する方法である。人等の肌色の部分は重要であるので、復号画像の色情報に基づいて動画像処理を調整することが可能となる。

（実施の形態１１）
本発明の実施の形態１１に係る復号化システムは、上述した実施の形態１に係る復号化システムと同様の構成を採るが、動画像処理調整部１０３の機能に違いがある。即ち、動画像処理調整部１０３は、復号画像の量子化値に基づいて動画像処理部１０２の動画像処理を調整する。量子化値は、復号画像のヘッダ部分のフレーム情報に含まれている。量子化値が大きい場合にはデコード画像が粗く、小さい場合には綺麗な絵がデコードされると分かるので、その値により動画像処理を調整する。これにより、量子化値や動きベクトルにより画像の特徴を判断して動画像処理を行わなくても良いところは間引いたり、省いたりするなど、動画像処理を調整することができる。なお、量子化値の他に、動きベクトルに基づいて動画像処理の調整も可能である。動きベクトルが小さい場合には、ほとんど動いていないので動画像処理を間引く。

（実施の形態１２）
本発明の実施の形態１２に係る復号化システムは、上述した実施の形態１に係る復号化システムと同様の構成を採るが、動画像処理調整部１０３の機能に違いがある。即ち、動画像処理調整部１０３は、動画像処理を調整するパターンを複数有し、動画像デコード部１０１から出力される復号状況に応じて最適なパターンを選択する。即ち、間引く場合に、人目に付きやすい中央は間引かず、人目に付きにくい周りの部分を間引くなど、間引くパターンを複数用意し、選択を可能にする。これにより、動画像処理を間引くよう調整する場合でも、よく目に付きやすい中央では間引かず端を間引く等調整の仕方を選択できるようになる。即ち、柔軟な間引きが可能となる。

（実施の形態１３）
図６は、本発明の実施の形態１３に係る復号化システムの概略構成を示すブロック図である。同図において、本実施の形態の復号化システム２０は、動画像デコード部２０１と、動画像処理部２０２と、バッファ（データ一時蓄積手段）２０３とを備える。バッファ２０３は動画像デコード部２０１と動画像処理部２０２の間に介挿される。バッファ２０３を設けることで、動画像デコード部２０１にてデコード処理が終わったときに動画像処理が終わっていなくても、バッファ２０３が、そのサイズ分だけデコード結果を蓄積するので、動画像デコード部２０１は次々とデコードを行うことができる。

（実施の形態１４）
図７は、本発明の実施の形態１４に係る復号化システムの概略構成を示すブロック図である。同図において、本実施の形態の復号化システム３０は、音デコード部３０１と、音処理部３０２と、音処理調整部３０３とを備える。音デコード部３０１は、音の符号化ストリームを復号する。また、音デコード部３０１は音処理調整部３０３に復号情報を与える。音処理部３０２は、音デコード部３０１からの復号データに対してノイズフィルタ処理、イコライザ処理などの音処理を行う。音処理調整部３０３は、音デコード部３０１から復号情報を取得し、復号状況に応じて音処理部３０２の処理を調整する。即ち、復号処理された音データに対する音処理が終わる前に、次の音データの復号処理が終わった場合、音処理を終了させる。具体的には、音処理調整部３０３は、音デコード部３０１にて１フレームの復号が終了したときに音処理を終了させる。音デコード部３０１は、現在の音データに対する復号が終わると、直ぐに次の音データに対して復号を開始する。したがって、１フレームの復号が終わると、すぐに次のフレームの復号及び音処理を行うことが可能となるので、パイプラインが乱れたりすることがなく、復号処理単体で達成できるフレームレートを達成できる。

（実施の形態１５）
本発明の実施の形態１５に係る復号化システムは、上述した実施の形態１４に係る復号化システムと同様の構成を採るが、音処理調整部３０３の機能に違いがある。即ち、音処理調整部３０３は、フレームの音処理時間を、音デコード部３０１の復号の処理時間に合わせて間引く。これにより、１フレームの音処理時間を次の１フレームの復号が終わるまでに終了するように調整することで、次の復号を行うことが可能となる。

（実施の形態１６）
本発明の実施の形態１６に係る復号化システムは、上述した実施の形態１４に係る復号化システムと同様の構成を採るが、音処理調整部３０３の機能に違いがある。即ち、音処理調整部３０３は、１フレームの復号時間をｋ、フレームレートを達成するために必要な１フレームの平均復号時間をｊとして、前記フレームの音処理時間が２ｊ-ｋになるように間引く。これにより、復号が早く終わり、復号と並行して行われている前の音を待つ場合でも、必ず平均フレームレート時間で音処理が終了するので、次の復号を開始することが可能となる。

（実施の形態１７）
図８は、本発明の実施の形態１７に係る再生装置の概略構成を示すブロック図である。同図において、本実施の形態の再生装置４０は、ＤＶＤレコーダ、ハードディスク、半導体記憶素子などの記憶装置５０から動画像と音が多重化された多重化データを読み出して再生するものである。記憶装置５０に蓄積されている多重化データを多重分離部６０で分離し、動画像データは復号化システム１０で復号して動画像処理を行い、動画像出力部７０から出力し、一方、音データは復号化システム３０で復号して音処理を行い、音出力部８０から出力する。本実施の形態の再生装置４０は、復号化システム１０及び３０を有しているので、フレームレートの高い再生が可能な再生装置を実現できる。

（実施の形態１８）
図９は、本発明の実施の形態１８に係る再生装置の概略構成示すブロック図である。同図において、本実施の形態の再生装置９０は、携帯電話網２００やＬＡＮ（無線、有線）網３００等のネットワークから動画像データ、音データを取得して再生する装置である。伝送データ受信部１００でネットワークからのデータを受信し、多重分離部１１０で動画像データと音データに分離し、動画像データは復号化システム１０で復号及び動画像処理を行い、動画像出力部７０から出力し、一方、音データはは復号化システム３０で復号して音処理を行い、音出力部８０から出力する。本実施の形態の再生装置９０は、復号化システム１０及び３０を有しているので、フレームレートの高い再生が可能な再生装置を実現できる。

なお、本発明における動画像処理、音処理は何段かに分かれてそれらがパイプラインに分かれている場合にも適用することが可能である。また、パイプラインではなく、逐次的にデコード、動画像、音処理を行うシステムにおいても、当然同じ仕組みでそれらを調整することで同じ効果が得られる。

本発明は、動画像処理又は音処理が終わる前に次の符号化データの復号処理が終わった場合でも、その次の符号化データの復号を開始することができるといった効果を有し、符号化された動画像や音を復号するシステムへの適用が可能である。

本発明の実施の形態１に係る復号化システムの概略構成を示すブロック図図１の復号化システムの動作を示すシーケンス図動画像の符号化及び復号化に用いられるマクロブロックを示す図本発明の実施の形態２に係る復号化システムの動作を示すシーケンス図本発明の実施の形態５に係る復号化システムの動作を示すシーケンス図本発明の実施の形態１３に係る復号化システムの概略構成を示すブロック図本発明の実施の形態１４に係る復号化システムの概略構成を示すブロック図本発明の実施の形態１７に係る再生装置の概略構成を示すブロック図本発明の実施の形態１８に係る再生装置の概略構成示すブロック図

符号の説明

１０、２０、３０復号化システム
４０、９０再生装置
５０記憶装置
６０、１１０多重分離部
７０動画像出力部
８０音出力部
１００伝送データ受信部
１０１、２０１動画像デコード部
１０２、２０２動画像処理部
１０３動画像処理調整部
２０３バッファ
３０１音デコード部
３０２音処理部
３０３音処理調整部

Claims

符号化された動画像データを復号すると共に復号状況を出力する動画像復号手段と、
前記動画像復号手段から出力された復号データに対してノイズフィルタ処理、回転処理、拡大処理を含む動画像処理を行う動画像処理手段と、
前記動画像復号手段から出力された復号状況に応じて前記動画像処理手段の動画像処理を調整する動画像処理調整手段と、
を備える復号化システム。
前記動画像処理調整手段は、前記動画像復号手段にて１フレームの復号が終了したときに前記動画像処理手段の動画像処理を終了させる請求項１に記載の復号化システム。
前記動画像処理調整手段は、前記動画像復号手段にてｎ（ｎ：整数）マクロブロックの復号が終了したときに前記動画像処理手段の動画像処理を終了させる請求項１に記載の復号化システム。
前記動画像処理調整手段は、フレームの動画像処理時間を、前記動画像復号手段の復号の処理時間に合わせて間引く請求項１に記載の復号化システム。
前記動画像処理調整手段は、１フレームの復号時間をｋ、フレームレートを達成するために必要な１フレームの平均デコード時間をｊとして、前記フレームの動画像処理時間が２ｊ-ｋになるように間引く請求項４に記載の復号化システム。
前記動画像処理調整手段は、ｎ（ｎ：整数）マクロブロックの動画像処理時間を、前記動画像復号手段のｎマクロブロックの復号時間に合わせて間引く請求項１に記載の復号化システム。
前記動画像処理調整手段は、ｎマクロブロックの復号時間をｋ、フレームレートを達成するために必要なｎマクロブロックの平均復号時間をｊとして、前記フレームの動画像処理時間が２ｊ-ｋになるように間引く請求項６に記載の復号化システム。
前記動画像処理調整手段は、前記動画像復号手段の復号時における復号画像の情報により負荷を計算し、この結果に基づいて前記動画像処理手段の動画像処理を調整する請求項１に記載の復号化システム。
前記動画像処理調整手段は、復号のフレーム種別に基づいて前記動画像処理手段の動画像処理を調整する請求項１に記載の復号化システム。
前記動画像処理調整手段は、復号画像の色情報に基づいて前記動画像処理手段の動画像処理を調整する請求項１に記載の復号化システム。
前記動画像処理調整手段は、復号画像の量子化値や動きベクトルに基づいて前記動画像処理手段の動画像処理を調整する請求項１に記載の復号化システム。
前記動画像処理調整手段は、動画像処理を調整するパターンを複数有し、前記動画像復号手段から出力される復号状況に応じて最適なパターンを選択する請求項１に記載の復号化システム。
符号化された動画像データを復号する動画像復号手段と、
前記動画像復号手段で復号された復号データに対してノイズフィルタ処理、回転処理、拡大処理を含む動画像処理を行う動画像処理手段と、
前記動画像復号手段と前記動画像処理手段との間に介挿され、前記動画像復号手段で復号された復号データを一時的に保存し、保存した順で前記復号データを前記動画像処理手段に入力するデータ一時蓄積手段と、
を備える復号化システム。
符号化された音データを復号すると共に復号状況を出力する音復号手段と、
前記音復号手段から出力された復号データに対してノイズフィルタ処理を含む音処理を行う音処理手段と、
前記音復号手段から出力された復号状況に応じて前記音処理手段の音処理を調整する音処理調整手段と、
を備える復号化システム。
前記音処理調整手段は、前記音復号手段にて１フレームの復号が終了したときに前記音処理手段の音処理を終了させる請求項１４に記載の復号化システム。
前記音処理調整手段は、フレームの音処理時間を、前記音復号手段の復号の処理時間に合わせて間引く請求項１４に記載の復号化システム。
前記音処理調整手段は、１フレームの復号時間をｋ、フレームレートを達成するために必要な１フレームの平均復号時間をｊとして、前記フレームの音処理時間が２ｊ-ｋになるように間引く請求項１６に記載の復号化システム。
動画像と音が多重化された多重化データを記憶する記憶手段と、
前記記憶手段から読み出された多重化データを動画像データと音データに分離する多重分離手段と、
請求項１乃至請求項１２のいずれかに記載の復号化システムと、
請求項１４乃至請求項１７のいずれかに記載の復号化システムと、
前記復号化システムのうち、動画像を復号する復号化システムの前記動画像処理手段で動画像処理して得られた動画像を出力する動画像出力手段と、
前記復号化システムのうち、音を復号する復号化システムの前記音処理手段で音処理して得られた音を出力する音出力手段と、
を備える再生装置。
動画像と音が多重化された多重化データを記憶する記憶手段と、
前記記憶手段から読み出された多重化データを動画像データと音データに分離する多重分離手段と、
請求項１３に記載の復号化システムと、
請求項１４乃至請求項１７のいずれかに記載の復号化システムと、
前記復号化システムのうち、動画像を復号する復号化システムの前記動画像処理手段で動画像処理して得られた動画像を出力する動画像出力手段と、
前記復号化システムのうち、音を復号する復号化システムの前記音処理手段で音処理して得られた音を出力する音出力手段と、
を備える再生装置。
携帯電話網、無縁ＬＡＮ網或いは有線ＬＡＮ網を介して動画像と音が多重化された多重化データを受信する伝送データ受信手段と、
前記伝送データ受信手段で受信された多重化データを動画像データと音データに分離する多重分離手段と、
請求項１乃至請求項１２のいずれかに記載の復号化システムと、
請求項１４乃至請求項１７のいずれかに記載の復号化システムと、
前記復号化システムのうち、動画像を復号する復号化システムの前記動画像処理手段で動画像処理して得られた動画像を出力する動画像出力手段と、
前記復号化システムのうち、音を復号する復号化システムの前記音処理手段で音処理して得られた音を出力する音出力手段と、
を備える再生装置。
携帯電話網、無縁ＬＡＮ網或いは有線ＬＡＮ網を介して動画像と音が多重化された多重化データを受信する伝送データ受信手段と、
前記伝送データ受信手段で受信された多重化データを動画像データと音データに分離する多重分離手段と、
請求項１３に記載の復号化システムと、
請求項１４乃至請求項１７のいずれかに記載の復号化システムと、
前記復号化システムのうち、動画像を復号する復号化システムの前記動画像処理手段で動画像処理して得られた動画像を出力する動画像出力手段と、
前記復号化システムのうち、音を復号する復号化システムの前記音処理手段で音処理して得られた音を出力する音出力手段と、
を備える再生装置。