JP2014110452A - 画像復号装置および画像符号化装置 - Google Patents

Abstract

【課題】複数の異なるパラメータで符号化された符号化信号を、単一の復号処理によって復号可能に合成した合成符号化信号を得る。
【解決手段】複数の動画像信号がそれぞれ符号化された複数の符号化信号を合成し、合成符号化信号を生成する符号化信号合成部１と、符号化信号合成部１が生成した合成符号化信号を復号し、復号画像信号を生成する画像復号部２と、画像復号部２が生成した復号画像信号を、複数の系統に分配して複数の分配画像信号を生成する復号画像分配部３とを備える。
【選択図】図１

Description

この発明は、符号化信号を復号する画像復号装置と、画像信号を符号化する画像符号化装置とに関するものである。

近年、動画像を圧縮して符号化する技術が広く用いられている。動画像の符号化方式としては、例えば、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＶＩＤＥＯに採用されているＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式や、携帯端末向けの地上デジタル放送（ワンセグ放送）やＢｌｕ−ｒａｙ Ｄｉｓｋに採用されているＨ．２６４／ＭＰＥＧ−４ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）方式などがある。従来の画像復号方法では、例えば複数の符号化信号を復号する場合、複数の符号化信号を複数の画像符号装置に入力して復号処理を実施して復号画像を生成するのが一般的である。

例えば、特許文献１に開示された符号化装置および復号化装置では、フレームレートの高い動画像に対して、複数の符号化装置に対してフレーム単位で分配して入力させて符号化を行い、出力された複数の符号化信号を合成して１つの符号化信号を取得し、取得した合成符号化信号を１つの復号装置で高速に復号する、または取得した合成符号化信号を分離して複数の復号装置で高速に復号している。これにより、フレームレートの高い動画像に対しても高速に符号化および復号を実現している。ただし、入力が単一映像に限定され、同一の符号化装置を複数用いる必要がある。

特開２００７−２０２０２６号公報

しかしながら、上述した特許文献１に開示された技術では、単一の動画像の符号化に限定されてしまうという課題があった。

この発明は、上記のような課題を解決するためになされたもので、複数の異なるパラメータで符号化された符号化信号を、単一の復号処理によって復号可能に合成した合成符号化信号を得ることを目的とする。

この発明に係る画像復号装置は、複数の動画像信号がそれぞれ符号化された複数の符号化信号を合成し、合成符号化信号を生成する符号化信号合成部と、符号化信号合成部が生成した合成符号化信号を復号し、復号画像信号を生成する画像復号部と、画像復号部が生成した復号画像信号を、複数の系統に分配して複数の分配画像信号を生成する復号画像分配部とを備えるものである。

この発明によれば、複数の動画像信号を符号化した複数の符号化信号が合成された合成符号化信号を単一の復号処理で復号することができ、複数の動画像信号を表示することができる。

実施の形態１による画像復号装置の構成を示すブロック図である。 Ｈ．２６４の符号化信号の構成の一例を示す図である。 実施の形態１による画像復号装置の符号化信号合成部の動作を示すフローチャートである。 実施の形態１による画像復号装置の合成符号化信号の参照情報を示す図である。 実施の形態１による画像復号装置の合成符号化信号のｆｒａｍｅ＿ｎｕｍおよびｒｅｆ＿ｐｉｃ＿ｌｉｓｔを示す図である。 実施の形態２による画像符号化装置を示す構成を示すブロック図である。 実施の形態２による画像符号化装置の符号化信号のピクチャタイプを時系列順に示した図である。

実施の形態１．
図１は、この発明の実施の形態１による画像復号装置の構成を示すブロック図である。
図１において、画像復号装置１０は、符号化信号合成部１、画像復号部２および復号画像分配部３で構成されている。
符号化信号合成部１は、入力された複数の符号化信号の符号化情報（第１の符号化情報）に基づいて１つの合成符号化信号を生成する。また、生成した合成信号装置を構成する各符号化信号を判別するための情報を含む符号化情報（第２の符号化情報）を生成する。図１の例では、第１から第４の符号化信号が入力され、４つの符号化信号を合成する場合を例に示したが、符号化信号の数は４つに限定されるものではなく、３つ以下、あるいは５つ以上の符号化信号を合成するように構成してもよい。

画像復号部２は、符号化信号合成部１が合成した合成符号化信号の復号処理を行い、符号画像および復号した符号化情報を出力する。復号画像分配部３は、画像復号部２が復号した復号画像を、復号された符号化情報に基づいて複数の系統に分配し、複数の分配画像信号を生成する。図１の例では、第１から第４の分配画像信号が生成され、各分配信号は、符号化信号合成部１に入力された各符号化信号と対応している。

次に、図２から図５を参照しながら画像復号装置１０の動作について説明する。
図２は、Ｈ．２６４の符号化信号の構成の一例を示すものである。
図２に示すように、Ｈ．２６４の符号化信号が、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：シーケンスレベルの符号化情報）、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ピクチャレベルの符号化情報）、Ｓｌｉｃｅ Ｈｅａｄｅｒ（スライスレベルの符号化情報）、Ｓｌｉｃｅデータで構成されている。ＳｌｉｃｅデータにはＩスライスとＰスライスがあり、Ｉスライスは画面内符号化が行われ、Ｐスライスは既に復号済みのＩピクチャやＰピクチャを参照する画面間符号化が行われる。

ＳＰＳとＰＰＳは個別のＩＤ（ｓｐｓ＿ｉｄ，ｐｐｓ＿ｉｄ）を持っており、Ｓｌｉｃｅ Ｈｅａｄｅｒはピクチャ番号であるｆｒａｍｅ＿ｎｕｍを持っている。また、Ｓｌｉｃｅ Ｈｅａｄｅｒは参照ｐｐｓ＿ｉｄ情報によって参照するＰＰＳを決定する。同様に、ＰＰＳは参照ｓｐｓ＿ｉｄ情報によって参照するＳＰＳを決定する。また、Ｓｌｉｃｅ Ｈｅａｄｅｒはピクチャを参照する順序を示した参照ピクチャリストｒｅｆ＿ｐｉｃ＿ｌｉｓｔを並び替える情報ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｒｅｏｒｄｅｒｉｎｇを持っており、Ｐスライスのピクチャ参照順序を決定する。

図３は、この発明の実施の形態１による画像復号装置の動作を示すフローチャートであり、符号化信号合成部１において２つの異なる符号化信号を合成する際の動作を示している。
符号化信号合成部１は、異なる符号化信号である第１の符号化信号および第２の符号化信号が入力されると（ステップＳＴ１，ＳＴ２）、第２の符号化信号のＳＰＳのｓｐｓ＿ｉｄを第１の符号化信号のＳＰＳのｓｐｓ＿ｉｄと異なる値に変更する（ステップＳＴ３）。

また、第２の符号化信号のＰＰＳのｐｐｓ＿ｉｄを第１の符号化信号と異なる値に変更し、第２の符号化信号のＰＰＳの参照ｓｐｓ＿ｉｄの値を、ステップＳＴ３で変更した第２の符号化信号のＳＰＳのｓｐｓ＿ｉｄに変更する（ステップＳＴ４）。次に第１の符号化信号のＳｌｉｃｅ Ｈｅａｄｅｒのピクチャ番号および参照ピクチャ情報を、第２の符号化信号のＳｌｉｃｅ Ｈｅａｄｅｒのｆｒａｍｅ＿ｎｕｍ、参照ｐｐｓ＿ｉｄ、およびｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｒｅｏｒｄｅｒｉｎｇを変更する（ステップＳＴ５）。符号化信号合成部１は、最後にステップＳＴ３からステップＳＴ５で書き換えが行われた第１の符号化信号と第２の符号化信号を合成し（ステップＳＴ６）、処理を終了する。

図４は、第１の符号化信号と第２の符号化信号が入力された場合の、合成符号化信号の各種参照の情報を示したものである。合成符号化信号の中でも第１の符号化信号の参照と第２の符号化信号の参照が分かれている。例えば矢印Ａは、第１の符号化信号のＰＰＳの参照先を示している。また、矢印Ｂは第２の符号化信号のＳｌｉｃｅ Ｈｅａｄｅｒの参照先を示している。

図５は、第１の符号化信号と第２の符号化信号および合成符号化信号のｆｒａｍｅ＿ｎｕｍおよびｒｅｆ＿ｐｉｃ＿ｌｉｓｔを示したものである。第２の符号化信号であったＳｌｉｃｅ Ｈｅａｄｅｒ４に関しては第２の符号化信号であったＳｌｉｃｅ Ｈｅａｄｅｒ３がｒｅｆ＿ｐｉｃ＿ｌｉｓｔの先頭になるように、第１の符号化信号であったＳｌｉｃｅ Ｈｅａｄｅｒ２に関しては第１の符号化信号であったＳｌｉｃｅ Ｈｅａｄｅｒ１がｒｅｆ＿ｐｉｃ＿ｌｉｓｔの先頭になるように変更している。

画像復号部２は、図４および図５で示した合成符号化信号に対して復号処理を行い、復号画像および復号画像に対応する符号化情報（ｓｐｓ＿ｉｄやｐｐｓ＿ｉｄ）を出力する。復号画像分配部３は、画像復号部２より出力された復号画像および復号画像に対応する符号化情報（ｓｐｓ＿ｉｄやｐｐｓ＿ｉｄ）を用いて画像の分配を行う。
なお、上述した例では、２つの符号化信号を入力として合成するものを示したが、例えば、３つ以上の符号化信号を合成するように構成してもよい。また、ＩスライスおよびＰスライスで符号化された符号化信号を合成するものを示したが、ＩスライスおよびＰスライスおよびＢスライスで符号化された符号化信号を合成するように構成してもよい。

以上のように、この実施の形態１によれば、複数の動画像信号がそれぞれ符号化された複数の符号化信号を合成する符号化信号合成部１と、符号化信号合成部１より出力される合成符号化信号を復号する画像復号部２と、画像復号部２より出力される復号画像信号を複数の分配画像信号に分配する復号画像分配手段とを備え、符号化信号合成部１は、合成符号化信号が単一の画像復号手段で復号可能となるように複数の符号化信号の符号化情報をもとに合成符号化信号の符号化情報を設定し、復号画像分配部３は、画像復号部２より出力される合成信号符号化信号の符号化情報をもとに復号画像信号の識別を行い複数の分配画像信号に分配するように構成したので、複数の異なるパラメータを持った符号化信号を合成し、単一の復号処理で復号することが可能となる。

実施の形態２．
上述した実施の形態１では、画像復号装置１０において符号化信号を合成する構成を示したが、この実施の形態２では画像符号化装置において符号化信号を合成する構成を示す。
図６は、この発明の実施の形態２による画像符号化装置の構成を示すブロック図である。なお、図１で示した実施の形態１の画像復号装置１０の構成要素と同一の構成には、同一の符号を付して説明を省略する。また、図６では４つの入力画像信号が入力された場合を例に示しているが、入力画像信号の数は４つに限定されるものではなく、３つ以下、あるいは５つ以上の入力画像信号が入力されるように構成してもよい。

実施の形態２の画像符号化装置２０は、第１の画像符号化部４ａ、第２の画像符号化部４ｂ、第３の画像符号化部４ｃ、第４の画像符号化部４ｄ、制御部５および符号化信号合成部１で構成されている。なお以下では、第１の画像符号化部４ａから第４の画像符号化部４ｄを総称する場合、画像符号化部４または第１から第４の画像符号化部４と称する。
第１から第４の画像符号化部４は、制御部５から入力される制御情報に基づいて、第１から第４の入力画像信号をそれぞれ符号化する。

制御部５は、第１から第４の画像符号化部４に対して符号化するタイプを制御する制御情報を出力し、第１から第４の画像符号化部４が出力する第１から第４の符号化信号の総データ量を制御する。符号化信号合成部１は、実施の形態１と同様に複数の符号化信号の符号化情報に基づいて１つの合成符号化信号を生成する。

次に、図７を参照しながら画像符号化装置２０の動作について説明する。
図７は、制御部５が制御するピクチャタイプを示すものであり、２つの異なる入力画像信号を符号化する際の符号化信号のピクチャタイプを時系列順に示すものである。
画像符号化部４において、２Ｎフレームに１回、Ｉピクチャで符号化を行う場合、例えば第１の画像符号化部４ａと第２の画像符号化部４ｂにおいて同一のタイミングでＩピクチャ符号化を行うと、出力されるデータ量がバースト的に大きくなってしまう。

そこで、図７に示すように、例えば第１の画像符号化部４ａと第２の画像符号化部４ｂなど２つの画像符号化部において、Ｉピクチャ符号化を行うタイミングをＮフレームずらすように構成している。このように、制御部５がＩピクチャ符号化を行うタイミングずらす制御情報を生成し、画像符号化部４を制御することによりバースト的なデータ量の増大を防ぐことが可能となる。
なお、上述した例では、２つの入力画像信号の画像符号化を制御するものを示したが、例えば、３つ以上の入力画像信号の画像符号化を制御するように構成してもよい。また、ＩピクチャおよびＰピクチャ符号化する例を示したが、ＩピクチャおよびＰピクチャおよびＢピクチャ符号化を行うように構成してもよい。

以上のように、この実施の形態２によれば、入力された複数の画像信号それぞれに対して符号化を行う複数の画像符号化部４と、画像符号化部４の符号化するピクチャのタイプを制御することにより出力するデータ量を制御する制御部５と、複数の画像符号化部４から出力される複数の符号化信号を合成する符号化信号合成部１とを備えるように構成したので、合成符号化信号のバースト的なデータ量の増大を防ぐことが可能となる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは、各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ 符号化信号合成部、２ 画像復号部、３ 復号画像分配部、４ 画像符号化部、４ａ 第１の画像符号化部、４ｂ 第２の画像符号化部、４ｃ 第３の画像符号化部、４ｄ 第４の画像符号化部、５ 制御部、１０ 画像復号装置、２０ 画像符号化装置。

Claims (11)

1. 入力された動画像信号を復号する画像復号装置において、
   複数の前記動画像信号がそれぞれ符号化された複数の符号化信号を合成し、合成符号化信号を生成する符号化信号合成部と、
   前記符号化信号合成部が生成した合成符号化信号を復号し、復号画像信号を生成する画像復号部と、
   前記画像復号部が生成した復号画像信号を、複数の系統に分配して複数の分配画像信号を生成する復号画像分配部とを備えたことを特徴とする画像復号装置。
2. 前記符号化信号合成部は、前記複数の符号化信号に設定された第１の符号化情報に基づいて、前記複数の符号化信号の判別を示す情報であって、前記生成する合成符号化信号を単一の符号化処理により復号可能とする第２の符号化情報を設定することを特徴とする請求項１記載の画像復号装置。
3. 前記第２の符号化情報は、前記複数の符号化信号のピクチャのタイプ示すピクチャタイプ情報であることを特徴とする請求項２記載の画像復号装置。
4. 前記第２の符号化情報は、前記複数の符号化信号のピクチャの識別子を示すピクチャ番号情報であることを特徴とする請求項３記載の画像復号装置。
5. 前記第２の符号化情報は、前記複数の符号化信号のピクチャの参照関係を示す参照情報であることを特徴とする請求項４記載の画像復号装置。
6. 前記画像復号部は、前記符号化信号合成部が設定した前記第２の符号化情報を復号し、
   前記復号画像分配部は、前記画像復号部が復号した前記第２の符号化情報に基づいて前記復号画像信号を識別して複数の系統に分配し、前記複数の分配画像信号を生成することを特徴とする請求項２から請求項５記載の画像復号装置。
7. 入力された動画像信号を符号化する画像符号化装置において、
   符号化するピクチャのタイプを制御する制御情報を生成する制御部と、
   前記制御部が生成した制御情報に基づいたピクチャのタイプで、複数の前記動画像信号の符号化を行い、複数の符号化信号を生成する複数の画像符号化部と、
   前記複数の画像符号化部で生成された前記複数の符号化信号を合成し、合成符号化信号を生成する符号化信号合成部とを備えたことを特徴とする画像符号化装置。
8. 前記符号化信号合成部は、前記複数の符号化信号に設定された第１の符号化情報に基づいて、前記複数の符号化信号の判別を示す情報であって、前記生成する合成符号化信号を単一の符号化処理により復号可能とする第２の符号化情報を設定することを特徴とする請求項７記載の画像符号化装置。
9. 前記第２の符号化情報は、前記複数の符号化信号のピクチャのタイプ示すピクチャタイプ情報であることを特徴とする請求項８記載の画像符号化装置。
10. 前記第２の符号化情報は、前記複数の符号化信号のピクチャの識別子を示すピクチャ番号情報であることを特徴とする請求項９記載の画像符号化装置。
11. 前記第２の符号化情報は、前記複数の符号化信号のピクチャの参照関係を示す参照情報であることを特徴とする請求項１０記載の画像符号化装置。

Images