JP2007150569A - 画像復号装置、および画像復号方法 - Google Patents

Abstract

【課題】 本発明は、回路規模の増加を抑制しつつ、簡易な構成で複数のデータストリームの同時再生を行う画像復号装置、および画像復号方法を提供する。
【解決手段】 複数のデータストリームを入力する入力部２と、複数のデータストリームのそれぞれのデータストリームに含まれるヘッダ情報を解析するヘッダ解析部３と、複数のデータストリームのそれぞれを個別に算術復号する複数の算術復号部５、６、７と、複数の算術復号部５、６、７での算術復号を制御する復号制御部４を備える。この構成を有する画像復号装置により、回路規模の増加を抑えつつ、複数のデータストリームの同時再生を可能とする。
【選択図】 図１

Description

本発明は、算術復号を用いた複数のデータストリームの同時再生を行う動画像復号装置に関するものである。

近年、デジタルテレビ、ＤＶＤレコーダなどのデジタル動画像の再生、録画装置が、急速に普及している。加えて、デジタルハイビジョン放送や地上波デジタル放送などの開始により、画像の高画質化が進んでいる。

２００３年に、ＩＳＯ／ＩＥＣとＩＴＵ‐Ｔが、ＭＰＥＧ２やＭＰＥＧ４よりも高圧縮率の画像符号化方式として、ＭＰＥＧ‐４ＡＶＣおよびＨ．２６４の規格化（以下、「Ｈ．２６４規格」という）を行っている。

Ｈ．２６４規格は、現在Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ画像（以下、「ＨＤ画像」という）などに適したＨｉｇｈ Ｐｒｏｆｉｌｅまでに対応している。Ｈ．２６４規格のアプリケーションとしては、ＭＰＥＧ２やＭＰＥＧ４と同様に、デジタル放送、ＤＶＤプレーヤ／レコーダ、ハードディスクプレーヤ／レコーダ、カムコーダ、テレビ電話などに広がることが予想されている。

また、Ｈ．２６４規格では、符号化時における可変長符号化処理に、算術符号（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）が使用できる。同様に、復号における可変長符号化処理の逆変換処理においても、算術復号が使用できる。ここで、算術復号におけるデータ量を監視する技術も提案されている（例えば、特許文献１参照）。

図１０は、従来の技術における画像復号装置のブロック図である。

画像復号装置１００は、入力部１０１、ヘッダ解析部１０２、復号制御部１０３、算術復号部１０４、記憶部１０５、画像復号部１０６を備えている。入力部１０１は、符号化されたデータストリームを受け取り、ヘッダ解析部１０２に、受け取ったデータストリームを転送する。ヘッダ解析部１０２は、データストリームに含まれるヘッダ情報を解析し、シンタックス情報をはじめとした種々のアイテムを得る。復号制御部１０３は、ヘッダ解析部１０２での解析結果も用いながら、算術復号部１０４に対する制御信号を生成して出力する。算術復号部１０４は、制御信号に従って、データストリームを算術復号する。画像復号部１０６は、算術復号されたデータストリームを、実際の画像データに復号して、画像再生を可能とする。

ところで、デジタル放送やブルーレイディスク、ＨＤ−ＤＶＤなどのデジタルレコーダにおいては、複数のデータストリームの同時再生が要求されている。マルチメディア化の進展により、複数のデータストリームの同時再生への要求は、今後もますます高まると考えられる。図１０に示される従来の技術における画像復号装置１００では、複数のデータストリームの同時再生ができない問題がある。

図１１は、従来の技術における画像復号装置のブロック図であり、複数のデータストリームを同時再生する画像復号装置が示されている。

図１１に示される画像復号装置１１０は、図１０に示される画像復号装置１００を並列に複数備えている。この構成による画像復号装置１１０は、複数のデータストリームを同時再生できる。

画像復号装置１１０は、第１データストリームから、第ＮデータストリームまでのＮ個のデータストリームを受け取り、並列して算術復号する。

しかしながら、図１１に示される従来の技術における画像復号装置１１０は、複数のデータストリームの同時再生ができるものの、回路規模が非常に大きくなる問題がある。回路規模の増大により、コストも高くなる問題がある。また、画像復号装置１１０をＩＣやＬＳＩで実現する場合には、回路規模が大きくなるので、設計や製造における困難性を伴う問題もある。
特開２００４−１３５２５１号公報

そこで本発明は、回路規模の増加を抑制しつつ、簡易な構成で複数のデータストリームの同時再生を行う画像復号装置、および画像復号方法を提供することを目的とする。

第１の発明に係る画像復号装置は、複数のデータストリームを入力する入力部と、複数のデータストリームのそれぞれのデータストリームに含まれるヘッダ情報を解析するヘッダ解析部と、複数のデータストリームのそれぞれを並列に算術復号する複数の算術復号部と、複数の算術復号部での算術復号を制御する復号制御部を備える。

この構成により、回路規模の増加を抑えて、複数のデータストリームを同時再生できる。

第２の発明に係る画像復号装置では、ヘッダ解析部は、複数のデータストリームのそれぞれに含まれるヘッダ情報を時分割で解析する。

この構成により、ヘッダ解析に必要な回路やプログラム資源が共有化でき、回路規模が削減される。

第３の発明に係る画像復号装置では、ヘッダ解析部は、データストリームに含まれるピクチャレイヤまでのヘッダ情報を解析する第１解析部と、データストリームに含まれるピクチャレイヤ以降のヘッダ情報を解析する第２解析部を備える。

この構成により、ヘッダ解析の処理性が高まる。

第４の発明に係る画像復号装置では、入力部は、データストリームを分割する分割部を備える。

この構成により、データストリームの算術復号に要する時間を短縮できる。

第５の発明に係る画像復号装置では、分割部は、入力部に入力する複数のデータストリームの個数の最大数がＮ（Ｎは自然数）であって、入力部に実際に入力する複数のデータストリームの個数がＭ（Ｍは自然数）である場合には、実際に入力する複数のデータストリームをＭ／Ｎに分割する。

この構成により、データストリームの算術復号に要する時間が、Ｍ／Ｎに短縮される。

第６の発明に係る画像復号装置では、ヘッダ解析部における複数のデータストリームに対するヘッダ解析を行う順番を決定する決定部を更に備える。

この構成により、時分割で共有化されているヘッダ解析において、あるデータストリームの算術復号が、Ｈ．２６４規格で規定されている処理時間より遅れることを抑制できる。

第７の発明に係る画像復号装置では、決定部は、複数のデータストリームの内、ヘッダ情報に含まれるＰｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ（以下、「ＰＴＳ」という）が示す時刻管理情報値が、他のデータストリームに含まれる時刻管理情報値よりも小さいデータストリームのヘッダ解析の順番を優先する
この構成により、算術復号が遅れているデータストリームのヘッダ解析が他のデータストリームのヘッダ解析よりも優先される。結果として、あるデータストリームの算術復号が、Ｈ．２６４規格で規定されている処理時間より遅れることを抑制できる。

第８の発明に係る画像復号装置では、決定部は、複数のデータストリームの内、算術復号されたピクチャ数が、他のデータストリームにおける算術復号されたピクチャ数よりも少ないデータストリームのヘッダ解析の順番を優先する。

この構成により、算術復号が遅れているデータストリームのヘッダ解析が他のデータストリームのヘッダ解析よりも優先される。結果として、あるデータストリームの算術復号が、Ｈ．２６４規格で規定されている処理時間より遅れることを抑制できる。

第９の発明に係る画像復号装置では、決定部は、複数のデータストリームの内、ヘッダ解析部で解析済みのヘッダ情報が、他のデータストリームにおける解析済みのヘッダ情報よりも少ないデータストリームのヘッダ解析の順番を優先する。

この構成により、ヘッダ解析が遅れているデータストリームのヘッダ解析が他のデータストリームのヘッダ解析よりも優先される。結果として、あるデータストリームの算術復号が、Ｈ．２６４規格で規定されている処理時間より遅れることを抑制できる。

第１０の発明に係る画像復号装置では、画像復号装置がピクチャ・イン・ピクチャの機能を備える場合に、決定部は、複数のデータストリームの内、ピクチャ・イン・ピクチャの主ピクチャとなるデータストリームのヘッダ解析の順番を優先する。

この構成により、少なくとも主ピクチャを使った画像表示を保証できる。

第１１の発明に係る画像復号装置では、算術復号部で復号された復号データから、画像データを復号する画像復号部を更に備え、決定部は、複数のデータストリームの内、画像復号部で復号されたピクチャ数が、他のデータストリームにおける復号されたピクチャ数よりも少ないデータストリームのヘッダ解析の順番を優先する。

この構成により、画像復号が遅れているデータストリームのヘッダ解析が他のデータストリームのヘッダ解析よりも優先される。結果として、あるデータストリームの算術復号が、Ｈ．２６４規格で規定されている処理時間より遅れることを抑制できる。

本発明の画像復号装置および画像復号方法は、回路規模の増加を抑えながら、複数のデータストリームを同時再生できる。また、種々の基準で複数のデータストリームに対するヘッダ解析の順番を決定することで、共有化されたヘッダ解析部により、時分割にヘッダ解析が行われる際の特定のデータストリームの処理の遅れを抑制できる。

すなわち、本発明の画像復号装置および画像復号方法は、Ｈ．２６４規格で規定されている算術復号の処理時間を守りつつ、少ない回路規模により、複数のデータストリームを同時再生できる。

また、実際に入力するデータストリームの個数に応じて、適宜分割して算術復号されることで、高速な再生が可能となる。

以下、図面を参照しながら、本発明の実施の形態を説明する。

（実施の形態１）
図１、図２は、本発明の実施の形態１における画像復号装置のブロック図である。

画像復号装置１は、入力部２、ヘッダ解析部３、復号制御部４、複数の算術復号部５、６、７を備える。また、画像復号装置１の外部、もしくは内部に、記憶部８、９、１０、及び画像復号部１１、１２、１３が備えられる。

画像復号装置１は、複数のデータストリームＡ、Ｂ、Ｃを入力する。

まず、各部の構成と動作について説明する。

入力部２は、複数のデータストリームＡ、Ｂ、Ｃを受け取る。図１では、データストリームＡ、データストリームＢ、データストリームＣの３つのデータストリームが示されているが、入力部２に入力するデータストリームは、複数であればその個数は任意である。

入力部２は、複数のデータストリームＡ、Ｂ、Ｃを一時的に記憶するレジスタなどで構成される。入力部２は受け取った複数のデータストリームＡ、Ｂ、Ｃを保持し、更にヘッダ解析部３に出力する。

複数のデータストリームＡ、Ｂ、Ｃは、算術符号化により符号化された圧縮画像データであり、特に、Ｈ．２６４規格で符号化されたデータストリームである。

なお、入力部２は、ヘッダ解析部３の内部に備えられても良く、図１に示されるように外部に独立して備えられても良い。

ヘッダ解析部３は、入力部２から出力された複数のデータストリームＡ、Ｂ、Ｃのそれぞれに含まれるヘッダ情報を解析する。このとき、一つのヘッダ解析部３が、入力する複数のデータストリームの数にかかわらず、共通に設けられる。

ヘッダ解析部３は、複数のデータストリームＡ、Ｂ、Ｃのヘッダ情報を、時分割により解析する。時分割での解析により、ヘッダ解析部３が一つであっても、複数のデータストリームの全てが、ヘッダ解析される。

なお、ヘッダ解析部３は、図２に示されるように、第１解析部１４と第２解析部１５を備えても良い。

データストリームに含まれるヘッダ情報は、多量のアイテムを含んでおり、時分割でヘッダ解析を行うヘッダ解析部３での処理は、一つのデータストリームのヘッダ解析に長い時間を要する。ヘッダ解析部３が、第１解析部１４と第２解析部１５を備え、ヘッダ情報を分割して解析することで、ヘッダ解析の並列処理性が高まる。

第１解析部１４と第２解析部１５は、所定の範囲で分割されたヘッダ情報のそれぞれを解析する。例えば、第１解析部１４は、ヘッダ情報の内、ピクチャレイヤまでのヘッダ情報を解析し、第２解析部１５は、ヘッダ情報の内、ピクチャレイヤ以降のヘッダ情報を解析する。ピクチャレイヤを区切りとすることで、第１解析部１４と第２解析部１５でのヘッダ解析の負担量が均等に近くなるからである。なお、ヘッダ解析部３の仕様に応じて、ヘッダ情報は、ピクチャレイヤ以外の部分で区切られても良く、例えば、スライスヘッダ以上を第１解析部１４で行い、スライスヘッダ以降を第２ヘッダ解析部１５で行っても良い。

復号制御部４は、ヘッダ解析部３での解析結果を受けて、算術復号部５、６、７での算術復号を制御する。復号制御部４は、算術復号の開始タイミングや、データストリームにおける算術復号の開始位置などを、算術復号部５、６、７に通知する。

算術復号部５、６、７は、それぞれデータストリームを個別に算術復号する。算術復号部５、６、７は、入力するデータストリームの最大数に対応した個数だけ設けられ、入力した複数のデータストリームのそれぞれを、個別に算術復号する。このため、時系列で処理するヘッダ解析部３と異なり、算術復号部５、６、７は、同時並行的に処理を行う。

図１においては、入力する複数のデータストリームの個数の最大数が３であるので、３つの算術復号部５、６、７が設けられている。算術復号部５は、データストリームＡを算術復号し、算術復号部６は、データストリームＢを算術復号し、算術復号部６は、データストリームＣを算術復号する。

算術復号部５、６、７は、コンテキスト演算によるシンボルの発生確率に従って２値信号を多値化する。算術復号部５、６、７は、算術復号により生成された算術復号データを記憶部８、９、１０に出力する。

記憶部８、９、１０は、算術復号データを一時的に記憶して、画像復号部１１、１２、１３での処理に合わせたバッファリングを実現する。

記憶部８は、算術復号部５で復号された算術復号データをバッファリングする。記憶部９は、算術復号部６で復号された算術復号データをバッファリングする。記憶部１０は、算術復号部７で復号された算術復号データをバッファリングする。

なお、記憶部８、９、１０は、図１に示されるように個別に設けられても良く、一つのメモリがバンク分けされることで設けられても良い。

画像復号部１１、１２、１３は、算術復号された算術復号データを、実際の画像データに復号する。画像復号部１１、１２、１３での復号により、実際に復号された画像が、再生される。

以上により、複数のデータストリームが、同時再生される。

また、ヘッダ解析を行うヘッダ解析部と、算術復号を制御する復号制御部が共有されていることで、従来技術での画像復号装置よりも回路規模、製造コストが削減される。また、処理時間の長い算術復号部は、並列に設けられていることで、処理時間への影響も少ない。

なお、入力する複数のデータストリームの最大数に対応した画像復号装置１において、実際に入力するデータストリームが最大数未満の場合には、データストリームが分割されて、並列処理される。並列処理されることで、処理時間が短縮される。

このとき、図３に示されるように、入力部２は、分割部１６を備える。図３は、本発明の実施の形態１における画像復号装置のブロック図である。

画像復号装置１が対応できるデータストリームの個数の最大数がＮであり、実際に入力するデータストリームの個数がＭである場合、分割部１６は、入力するＭ個のデータストリームを、それぞれＭ／Ｎの長さ毎に分割する。Ｍ／Ｎの長さに分割された各々のデータストリームは、Ｎ個の算術復号部で並列に復号される。このため、算術復号に要する処理時間は、データストリームが分割されない場合に比べて、Ｍ／Ｎに短縮される。

例えば、図３に示される画像復号装置１は、最大３つのデータストリームに対応している。ここで、データストリームＡのみが入力する場合には、分割部１６は、データストリームＡを３分割する。３分割されたデータストリームＡは、それぞれ算術復号部５、算術復号部６、算術復号部７の３つのそれぞれで並列に算術復号される。結果として、データストリームＡの算術復号に要する時間は、データストリームＡが分割されない場合に比べて、１／３に短縮される。

このように、複数のデータストリームの同時再生を実現する画像復号装置１の構成を有効利用して、処理時間を短縮する使用方法も好適である。

（実施の形態２）
次に、実施の形態２について説明する。

実施の形態２における画像復号装置は、入力する複数のビットストリームに対して、順番を決定した上で、ヘッダ解析を実行する。

本発明の画像復号装置においては、ヘッダ解析が時分割で行われる。このため、あるデータストリームのヘッダ解析が行われている間は、他のデータストリームのヘッダ解析は、行われない。一方、算術復号は個別に行われるので、各データストリームの算術復号が待たされることはない。

ここで、算術復号に要する時間は、そのビットストリームのビット列の状態による大きく変動する。このため、１ピクチャの算術復号に要する時間が、１フレームの画像表示時間である１／６０秒を越える場合もある。しかし、Ｈ．２６４規格において、算術符号化前のビットストリームのビットレートが規定されているため、数ピクチャ分においては算術復号に要する時間の平均値が１フレームの画像表示時間である１／６０秒を越えることはない。事前に行ったシミュレーションの結果では３ピクチャでの算術復号に要する時間の平均値が１フレームの画像表示時間である１／６０秒を越えることは無かった。逆に言えば、ある３ピクチャに含まれる１ピクチャの算術復号に要する時間が、１／６０秒を超えることもありえる。

このような１／６０秒を超える算術復号時間を必要とするピクチャが、ランダムに発生する場合には、入力する複数のデータストリームの内、あるデータストリームの算術復号の終了が大きく遅れてしまうこともある。このように、算術復号の終了の遅れたデータストリームのヘッダ解析の開始が遅れると、３ピクチャの算術復号に要する時間の平均値が、１／６０秒を超えることも生じる。

データストリームの再生に要する時間の相違を、図４を用いて説明する。図４は、データストリームの処理を示すタイミング図である。横軸は時間軸であり、データストリームＡ、データストリームＢ、データストリームＣのそれぞれのヘッダ解析と算術復号の処理が、時間軸上で表されている。また、算術復号は、データストリーム毎に個別に設けられているので、算術復号の処理はデータストリーム毎に重複して行われても良いのに対して、ヘッダ解析は、重複して行うことができない。このため、図４に示されるように、ヘッダ解析は、時間軸で異なる時間帯に分けて行われている。

データストリームＡとデータストリームＢでは、ピクチャによって処理時間の相違はあるものの、任意の時刻Ｔ１においてはピクチャ３までの算術復号が終了している。これに対して、データストリームＣでは、ピクチャ１の算術復号に要する時間が長く、任意の時刻Ｔ１においてピクチャ２までの算術復号しか終了していない。なお、図４に示されるとおり、ヘッダ解析は、データストリームＡ、データストリームＢ、データストリームＣの順番で行われている。

ここで、時刻Ｔ１においてヘッダ解析がデータストリームＡから行われると、データストリームＣについてのヘッダ解析が遅れることになる。ヘッダ解析部３は共有化されており、時系列でヘッダ解析がなされるからである。このような状況下では、データストリームＣのヘッダ解析を優先する必要がある。データストリームＣのヘッダ解析が遅れると、データストリームＣの算術復号が、規格で定められている時間内に終了しない事態も生じうる。

このため、時刻Ｔ１においては、データストリームＣに対するヘッダ解析を優先して行う。図５を用いて説明する。

図５は、本発明の実施の形態２における画像復号装置のブロック図である。

決定部２０は、複数のデータストリームに対するヘッダ解析を行う順番を決定する。

例えば、図４に示される時刻Ｔ１において、決定部２０は、ヘッダ解析を優先するべきデータストリームとして、データストリームＣを選択する。すなわち、決定部２０は、データストリームＣを１番目のヘッダ解析の対象として、データストリームＡもしくはデータストリームＢを２番目のヘッダ解析の対象として、データストリームＡもしくはデータストリームＢを３番目のヘッダ解析の対象として決定する。

決定部２０での決定に従い、ヘッダ解析部３は、データストリームＣからヘッダ解析を実行する。決定部２０での順番決定により、算術復号が遅れているデータストリームＣのヘッダ解析の遅れが防止できる。

ここで、決定部２０は、次の挙げる情報を基準にして、複数のデータストリームに対するヘッダ解析を行う順番を決定する。

決定部２０は、ヘッダ情報に含まれる「ＰＴＳ」が示す時刻管理情報の値により、ヘッダ解析の順番を決定する。ＰＴＳは、該当するピクチャがいつ再生されるべきかを示す時刻管理情報を有しており、時刻管理情報の値が小さいことは、時刻管理情報値の大きい他のデータストリームよりも、算術復号を優先すべきことを示している。

例えば、データストリームＡとデータストリームＢとデータストリームＣのそれぞれのＰＴＳの内、時刻管理情報が最も小さいデータストリームのヘッダ解析が優先されるべきである。すなわち、決定部２０は、最も小さい時刻管理情報値を有するデータストリームを優先するように、順番を決定する。

この決定部２０でのＰＴＳを基準とした、複数のデータストリームに対するヘッダ解析の順番決定により、時分割で行われるヘッダ解析における遅れが防止される。

また、決定部２０は、複数のデータストリームにおいて、算術復号の完了したピクチャ数を基準として、ヘッダ解析の順番を決定することも好適である。図４に示されるように、データストリームＡとデータストリームＢでは、ピクチャ３まで（すなわち、３枚のピクチャ）の算術復号が終了している。一方、データストリームＣでは、ピクチャ２まで（すなわち、２枚のピクチャ）の算術復号が終了している。このため、決定部２０は、算術復号の完了しているピクチャ数の少ないデータストリームＣのヘッダ解析の優先度を高くして、ヘッダ解析の順番を決定する。

もちろん、算術復号済のピクチャ数の絶対値ではなく、データストリーム毎に定められた取り決めに従って、決定部２０は、ヘッダ解析にかかわる順番を決定しても良い。例えば、データストリームＡとデータストリームＢに比べて、データストリームＣの算術復号済みピクチャ数は、３ピクチャ以内の差分であれば、データストリームＣに対するヘッダ解析の優先度を上げる必要はないなどの取り決めにより、決定部２０は、順番を決定する。

同様に、決定部２０は、画像復号部１１、１２、１３における画像復号済みのピクチャ数に基づいて、ヘッダ解析の順番を決定しても良い。複数のデータストリームにおいて、画像復号済みのピクチャ数を検出し、決定部２０は、画像復号済みのピクチャ数の少ないデータストリームのヘッダ解析を優先して、順番を決定する。例えば、データストリームＡの画像復号済みピクチャ数が、他のデータストリームに比べて少ない場合には、決定部２０は、データストリームＡのヘッダ解析を優先して、順番を決定する。算術復号済みのピクチャ数も、画像復号済みのピクチャ数も、あるデータストリームの算術復号の遅れを示すものであるからである。

他に、決定部２０は、ヘッダ解析済みのヘッダ情報の量を基準として、複数のデータストリームに対するヘッダ解析の順番を決定する。ヘッダ解析されたヘッダ情報の量の差は、算術復号の遅れを示すからである。

例えば、データストリームＢのヘッダ解析済みのヘッダ情報量が、他のデータストリームの解析済みのヘッダ情報量よりも少ない場合には、決定部２０は、データストリームＢを優先して、複数のデータストリームに対するヘッダ解析の順番を決定する。

また、決定部２０は、画像復号装置１がピクチャ・イン・ピクチャの機能を備える場合に、決定部２０は、ピクチャ・イン・ピクチャの主ピクチャ（重複表示を受ける側）を優先して、ヘッダ解析の順番を決定してもよい。副ピクチャに比べて、主ピクチャの算術復号が遅れると、最低限の画像表示が困難となるからである。

以上のように、種々の基準により、決定部２０が複数のデータストリームのヘッダ解析の順番を決定することで、あるデータストリームの算術復号の規定以上の遅れが防止される。この遅れの防止により、入力するデータストリームが複数となっても、時分割でヘッダ解析するヘッダ解析部３が共有化され、回路規模が削減される。

（実施の形態３）
次に、実施の形態３について説明する。

実施の形態３では、画像復号装置を２つのプロセッサで構成する場合について説明する。

図６は、本発明の実施の形態３における画像復号装置のブロック図である。画像復号装置１は、プロセッサＡとプロセッサＢを備えている。

プロセッサＡは、第２ヘッダ解析部３３と、第２決定部３５、復号制御部３６を備える。第２ヘッダ解析部３３は、データストリームに含まれるピクチャーレイヤ以降のヘッダ情報を解析する。復号制御部３６は、算術復号部３７、３８、３９における算術復号を制御する。具体的には、算術復号部３７、３８、３９での算術復号を起動し、あるいは算術復号の完了を確認する。第２決定部３５は、実施の形態２で説明したように、入力する複数のデータストリームに対するヘッダ解析の順番を決定する。

プロセッサＢは、第１ヘッダ解析部３２と第１決定部３４を備える。第１ヘッダ解析部３２は、データストリームに含まれるピクチャーレイヤまでのヘッダ情報を解析する。第１決定部３４は、実施の形態２で説明したように、入力する複数のデータストリームに対するヘッダ解析の順番を決定する。

なお、第１決定部３４と第２決定部３５は、共通に設けられても良く、別個に設けられてもよい。また、第１決定部３４と第２決定部３５は、入力する複数のデータストリームの順番決定において、同じ決定を行っても良く、個別の決定を行ってもよい。

なお、第１ヘッダ解析部３２、第２ヘッダ解析部３３、第１決定部３４、第２決定部３５、復号制御部３６は、プロセッサ内部で実現される回路もしくはプログラムモジュールから構成される。

このような、２つのプロセッサにより構成される画像復号装置１の動作を、図７のタイミングチャートを用いて説明する。図７は、本発明の実施の形態３における画像復号装置の動作を示すタイミングチャートである。

データストリームのヘッダ情報は種々のアイテムを含む。ここでは、第１ヘッダ解析部３２は、ヘッダ情報の内、「Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ」（以下、「ＳＰＳ」という。図中も同じ。）と、「Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ」（以下、「ＰＰＳ」という。図中も同じ。）を解析する。第２ヘッダ解析部３３は、ヘッダ情報の内、スライスヘッダ情報とマクロブロックヘッダ情報を解析する。

ここで、説明のために各ピクチャは、１つのＰＰＳを含んでいるとして説明する。また、入力するデータストリームが３つの場合について説明する。

３つのデータストリームが、画像復号装置１に入力する。プロセッサＢに含まれる第１ヘッダ解析部３２は、入力したデータストリームに含まれるヘッダ情報の内、ＳＰＳとＰＰＳを解析する。第２ヘッダ解析部３３は、第１ヘッダ解析部３２でのヘッダ解析終了後、データストリームに含まれるヘッダ情報の内、スライスヘッダやマクロブロックヘッダを解析する。

復号制御部３６は、算術復号部３７、３８、３９での算術復号の起動設定を行う。算術復号部３７、３８、３９は、それぞれ個々にデータストリームの算術復号を行う。

図７のタイミングチャートを用いて説明する。

ヘッダ解析は、時分割で実行される。時刻ｔ０〜時刻ｔ１の期間において、第１ヘッダ解析部３２は、データストリーム１の１ピクチャ目のヘッダ解析を行う。ついで、時刻ｔ１〜時刻ｔ２の期間において、第１ヘッダ解析部３２は、データストリーム２の１ピクチャ目のヘッダ解析を行う。同期間において、第２ヘッダ解析部３３は、データストリーム１のヘッダ解析を行う。すなわち、時刻ｔ１〜時刻ｔ２の期間においては、プロセッサＢとプロセッサＡは、異なるデータストリームのヘッダ解析を行う。

次に、プロセッサＡでは、時刻ｔ２〜時刻３の期間において、復号制御部３６が、データストリーム１の１ピクチャ目の算術復号の起動を設定する。同時に、第１ヘッダ解析部３２は、データストリーム３のヘッダ解析を行う。ここで、算術復号にかかわる処理は、ヘッダ解析に比べて処理時間が長いので、先に算術復号処理の起動がなされ、算術復号が完了するまでの間に、先のピクチャのヘッダ解析が行われる。

図７に示されるように、複数のデータストリームに対して、時分割でヘッダ解析がなされ、その後並行して算術復号がなされる。

データストリームの個数に対応した算術復号部３７、３８、３９が設けられているので、開始時刻にはずれが生じても（ヘッダ解析の終了時刻に依存するので）算術復号は、並列して行われる。また、算術復号が行われている期間は、第１ヘッダ解析部３２、第２ヘッダ解析部３３は、動作可能であるので、次のピクチャのヘッダ解析を続行する。ここで、解析されたヘッダ情報は、対応するピクチャの算術復号が開始されるまで保持されている必要がある。このため、ヘッダ解析されたヘッダ情報は、バッファなどで一定期間保持される。また、第１ヘッダ解析部３２を含むプロセッサＢと第２ヘッダ解析部３３を含むプロセッサＡは、処理時間の連動性も必要とする。

バッファ容量に制限があり、決められたストリーム数及びピクチャ数のヘッダ情報しか保存できない場合は、プロセッサＢの処理能力に余裕がある場合でもヘッダ解析処理を中断することも可能である。例えば、図７に示されるように、３つのデータストリームのそれぞれの４ピクチャ分のヘッダ解析が完了するｔ１２のタイミングでヘッダ解析が中断する。解析されたヘッダ情報はメモリに一次記憶される。データストリーム１のピクチャ１の算術復号が完了し、データストリーム１のピクチャ１のヘッダ情報の記憶が不要となるｔ１６の時点からヘッダ解析が再開される。このような制御により、解析されたヘッダ情報のバッファ資源の節約ができる。

このように、プロセッサＡとプロセッサＢの２つのプロセッサを用いて、画像復号装置１を構成することも好適である。

以上のように、ヘッダ解析部と復号制御部が共有化されるため、回路規模が削減される。

なお、第１決定部３４と第２決定部３５は、実施の形態２で説明されたように、算術復号済みのピクチャ数などを基準に、複数のデータストリームに対するヘッダ解析の順番を決定する。順番決定により、ヘッダ解析部と復号制御部が共有化されても、算術復号における規定以上の遅れが防止される。

次に、入力データ数がＮストリームに満たない場合について図８を用いて説明する。図８は、本発明の実施の形態３における画像復号装置の動作を示すフローチャートである。

画像復号装置１が、Ｎ個のデータストリームに対応する構成を有している場合に、入力するデータストリームが一つであると、データストリームはＮ個に分割して処理される。

すなわち、データストリームは、Ｎピクチャ毎に分割して処理される。図８に示されるとおり、データストリームは、ピクチャ１からピクチャＮまで分割されて、ヘッダ解析と算術復号が行われる。このようにデータストリームがＮ個に分割されて算術復号が行われることで、Ｎ倍速の再生が可能となる。

通常のＤＶＤプレーヤなどの動画像復号化装置でも早送りなどの機能で、Ｎ倍速再生を行えるが、Ｐピクチャ（前方参照予測画像）やＢピクチャ（前後方参照予測画像）をスキップしてＩピクチャ（面内参照予測画像）のみを表示する空間的な間引き処理を行うことでＮ倍速を実現しているが、動きの大きな画像などではガクガクとした動きになることがあり、画質的に満足が得られなかった。

しかし、本構成をとることで、Ｎ倍速再生においても画像のスキップを発生させず、良好な画質を得られる。

この際、Ｍ本のデータストリームを入力した場合はＮ／Ｍ倍速までの再生で画像のスキップを発生させず良好な画像の早送り再生を行える。

なお、実施の形態３における画像復号装置では、ピクチャレイヤ以上の処理（ＳＰＳ及びＰＰＳ解析）と、ピクチャレイヤ以下の処理（スライス及びマクロブロックヘッダ解析、算術復号処理）を別プロセッサの構成としたが、１プロセッサでもマルチスレッドなどでピクチャレイヤ以上の処理とスライスレイヤ以下の処理が動作可能であれば良い。また、プロセッサに限られることではなく、専用のハードウェアエンジンや回路で構成されてもよい。

また、ヘッダ情報はピクチャレイヤ以外の部分で区切られても良く、例えばスライスヘッダ以上が第１ヘッダ解析部３２で行われ、スライスヘッダ以降が第２解析部３３で行われても良い。

また、算術復号を行う際には、算術復号対象の算術符号化されたピクチャデータの直前に位置するＰＰＳをヘッダ解析して算術復号処理を行うように説明を行ったが、Ｈ．２６４規格では算術復号対象の算術符号化されたピクチャデータの直前にＰＰＳ情報は無くても良い。算術復号対象のピクチャデータの更に前方に位置するピクチャデータの直前のＰＰＳが用いられてもよい。この場合には、この更に前方に位置するＰＰＳの解析情報を記憶するバッファが備えられればよい。

また本説明では、Ｎ倍速再生としたが、最大Ｎ倍速再生までが良好な画質で行えるという意味であり、Ｎ倍速以下、等倍速以上であればどのような倍速でも可能である。

なお、本発明における画像復号装置や画像復号方法は、テレビ、ビデオ、セットトップボックス、パーソナルコンピュータ、携帯端末などに、幅広く応用される。

次に、画像復号装置の応用例を図９を用いて説明する。

図９は、本発明の実施の形態３におけるＨ．２６４を用いた機器に含まれるＡＶ処理部のブロック図である。

ＡＶ処理部５００は、デジタル化された音声や画像を取り扱うＤＶＤレコーダやハードディスクレコーダなどに含まれる。データストリーム５０１は、符号化された音声と画像のデータストリームである。

バス５１０は、データストリームなどを転送する。

ストリーム入出力部５１１は、バス５１０と大容量蓄積デバイス５２１とに接続しており、データストリームの転送を行う。画像符号化復号化部５１２は、画像の符号化と復号を行う。音声符号化復号化部５１３は、音声の符号化と復号を行う。メモリ５１４は、メモリ入出力部５１５の処理に従い、符号化されたデータや復号されたデータを記憶する。

画像符号化復号化部５１２は、図１で説明されたヘッダ解析、算術復号、及び画像復号を行う。

画像処理部５１６は、画像信号に対して事前処理や事後処理を行う。画像入出力部５１７は、外部からの画像信号の取り込み、及び画像処理部５１６で処理された画像信号の外部出力を行う。

音声処理部５１８は、音声信号に対して事前処理や事後処理を行う。音声入出力部５１９は、外部からの音声信号の取り込み、及び音声処理部５１８で処理された音声信号の外部出力を行う。また、ＡＶ制御部５２０は、ＡＶ処理部５００の全体的な制御を行う。

図９に示されるＡＶ処理部５００は、典型的にＩＣやＬＳＩなどの半導体集積回路に実装される。１チップのＬＳＩで実装されても良く、複数のＬＳＩで実装されても良い。またメモリ５１４は、ＬＳＩで実装されたＡＶ処理部５００の外付けのＳＤＲＡＭなどで実装されるが、勿論、同じＬＳＩに実装されても良い。

なお、ＬＳＩは、その呼称により、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどとも呼ばれるが、ＡＶ処理部５００は、適宜これらのいずれかで実装されればよい。また、専用回路や汎用プロセッサで実装されても良い。また、再構成可能なＦＰＧＡ（Ｆｉｅｌｄ Ｏｒｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、回路の一部が再構成可能なリコンフィギュラルブル・プロセッサが利用されても良い。

更には、将来的な半導体技術の進歩は又は派生する別技術による集積回路の技術に応じて、これらの別技術を用いてＡＶ処理部５００の全部または一部が集積されてもよい。

本発明は、例えば、デジタルレコーダやＤＶＤなどの符号化された複数のデータストリームを取り扱う画像復号分野等において好適に利用できる。

本発明の実施の形態１における画像復号装置のブロック図 本発明の実施の形態１における画像復号装置のブロック図 本発明の実施の形態１における画像復号装置のブロック図 データストリームの処理を示すタイミング図 本発明の実施の形態２における画像復号装置のブロック図 本発明の実施の形態３における画像復号装置のブロック図 本発明の実施の形態３における画像復号装置の動作を示すタイミングチャート 本発明の実施の形態３における画像復号装置の動作を示すフローチャート 本発明の実施の形態３におけるＨ．２６４を用いた機器に含まれるＡＶ処理部のブロック図 従来の技術における画像復号装置のブロック図 従来の技術における画像復号装置のブロック図

符号の説明

１ 画像復号装置
２ 入力部
３ ヘッダ解析部
４ 復号制御部
５、６、７ 算術復号部
８、９、１０ 記憶部
１１、１２、１３ 画像復号部
１４ 第１解析部
１５ 第２解析部
１６ 分割部
２０ 決定部

Claims (20)

1. 複数のデータストリームを入力する入力部と、
   前記複数のデータストリームのそれぞれのデータストリームに含まれるヘッダ情報を解析するヘッダ解析部と、
   前記複数のデータストリームのそれぞれを並列に算術復号する複数の算術復号部と、
   前記複数の算術復号部での算術復号を制御する復号制御部を備える画像復号装置。
2. 前記ヘッダ解析部は、前記複数のデータストリームのそれぞれに含まれるヘッダ情報を時分割で解析する請求項１記載の画像復号装置。
3. 前記ヘッダ解析部は、前記データストリームに含まれるピクチャレイヤまでのヘッダ情報を解析する第１解析部と、前記データストリームに含まれるピクチャレイヤ以降のヘッダ情報を解析する第２解析部を備える請求項１から２のいずれか記載の画像復号装置。
4. 前記入力部は、前記データストリームを分割する分割部を備える請求項１から３のいずれか記載の画像復号装置。
5. 前記分割部は、前記入力部に入力する前記複数のデータストリームの個数の最大数がＮ（Ｎは自然数）であって、前記入力部に実際に入力する前記複数のデータストリームの個数がＭ（Ｍは自然数）である場合には、実際に入力する前記複数のデータストリームをＭ／Ｎに分割する請求項４記載の画像復号装置。
6. 前記ヘッダ解析部における前記複数のデータストリームに対するヘッダ解析を行う順番を決定する決定部を更に備える請求項１から５のいずれか記載の画像復号装置。
7. 前記決定部は、前記複数のデータストリームの内、前記ヘッダ情報に含まれるＰｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ（以下、「ＰＴＳ」という）が示す時刻管理情報値が、他のデータストリームに含まれる時刻管理情報値よりも小さいデータストリームのヘッダ解析の順番を優先する請求項６記載の画像復号装置。
8. 前記決定部は、前記複数のデータストリームの内、算術復号されたピクチャ数が、他のデータストリームにおける算術復号されたピクチャ数よりも少ないデータストリームのヘッダ解析の順番を優先する請求項６記載の画像復号装置。
9. 前記決定部は、前記複数のデータストリームの内、前記ヘッダ解析部で解析済みのヘッダ情報が、他のデータストリームにおける解析済みのヘッダ情報よりも少ないデータストリームのヘッダ解析の順番を優先する請求項６記載の画像復号装置。
10. 前記画像復号装置がピクチャ・イン・ピクチャの機能を備える場合に、前記決定部は、前記複数のデータストリームの内、前記ピクチャ・イン・ピクチャの主ピクチャとなるデータストリームのヘッダ解析の順番を優先する請求項６記載の画像復号装置。
11. 前記算術復号部で復号された復号データから、画像データを復号する画像復号部を更に備え、前記決定部は、前記複数のデータストリームの内、前記画像復号部で復号されたピクチャ数が、他のデータストリームにおける復号されたピクチャ数よりも少ないデータストリームのヘッダ解析の順番を優先する請求項６記載の画像復号装置。
12. 複数のデータストリームをデータ入力し、
    前記複数のデータストリームのそれぞれのデータストリームに含まれるヘッダ情報をヘッダ解析し、
    前記複数のデータストリームのそれぞれを並列に算術復号し、
    前記算術復号を制御する画像復号方法。
13. 前記ヘッダ解析は、前記データストリームに含まれるピクチャレイヤまでのヘッダ情報を解析する第１解析と、前記データストリームに含まれるピクチャレイヤ以降のヘッダ情報を解析する第２解析を備える請求項１２記載の画像復号方法。
14. 前記データ入力は、前記データストリームを分割する請求項１２から１３のいずれか記載の画像復号方法。
15. 前記ヘッダ解析における前記複数のデータストリームに対するヘッダ解析を行う順番を順番決定する請求項１２から１４のいずれか記載の画像復号方法。
16. 前記順番決定は、前記複数のデータストリームの内、前記ヘッダ情報に含まれるＰＴＳが示す時刻管理情報値が、他のデータストリームに含まれる時刻管理情報値よりも小さいデータストリームのヘッダ解析の順番を優先する請求項１５記載の画像復号方法。
17. 前記順番決定は、前記複数のデータストリームの内、算術復号されたピクチャ数が、他のデータストリームにおける算術復号されたピクチャ数よりも少ないデータストリームのヘッダ解析の順番を優先する請求項１５記載の画像復号方法。
18. 前記順番決定は、前記複数のデータストリームの内、前記ヘッダ解析で解析済みのヘッダ情報が、他のデータストリームにおける解析済みのヘッダ情報よりも少ないデータストリームのヘッダ解析の順番を優先する請求項１５記載の画像復号方法。
19. 前記画像復号方法がピクチャ・イン・ピクチャの機能を備える場合に、前記順番決定は、前記複数のデータストリームの内、前記ピクチャ・イン・ピクチャの主ピクチャとなるデータストリームのヘッダ解析の順番を優先する請求項１５記載の画像復号方法。
20. 前記算術復号で復号された復号データから、画像データを復号する画像復号し、前記順番決定は、前記複数のデータストリームの内、前記画像復号で復号されたピクチャ数が、他のデータストリームにおける復号されたピクチャ数よりも少ないデータストリームのヘッダ解析の順番を優先する請求項１５記載の画像復号方法。

Images