JP2015033071A - 階層化動画像伝送システム及び動画像復号装置 - Google Patents

Abstract

【課題】レイヤごとに異なる符号化方式で符号化された動画像を伝送する階層化動画像伝送システムにおいて、第１レイヤの符号化方式と第２レイヤの符号化方式とが異なっていても、第２レイヤの符号化において、第１レイヤの特定の復号画像を利用可能にする手段を提供する。
【解決手段】ランダムアクセス時刻およびランダムアクセス時刻における第１レイヤと第２レイヤの参照関係を示す情報を取得する手段と、前記情報に基づいて、第２レイヤの復号に用いる第１レイヤの復号画像を特定する手段と、を備えている。
【選択図】図１

Description

本発明は、階層符号化された動画像の符号化データを伝送する階層化動画像伝送システム、および階層符号化された動画像の符号化データを復号する動画像復号装置に関するものである。

動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置（符号化装置）、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置（復号装置）が用いられている。具体的な動画像符号化方式としては、必要なデータレートに従って、動画像を階層的に符号化する階層符号化が用いられている。階層符号化の方式としては、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔの標準としてＨ．２６４／ＡＶＣ Ａｎｎｅｘ Ｇ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＳＶＣ）が挙げられる（非特許文献１）。

ＳＶＣでは、符号化データは、基本レイヤ（下位レイヤ：BL）と拡張レイヤ（上位レイヤ：EL）との２つのレイヤ（階層）から構成されている。これにより、例えば、復号装置において、基本レイヤのみを参照した低品質再生と、基本レイヤ及び拡張レイヤを参照した高品質再生とを可能にすることができる。

また、ＳＶＣでは空間スケーラビリティ、時間スケーラビリティ、ＳＮＲスケーラビリティをサポートしている。例えば、空間スケーラビリティの場合、原画像から所望の解像度にダウンサンプリングした画像を下位レイヤとしてＨ．２６４／ＡＶＣで符号化する。上位レイヤではレイヤ間の冗長性を除去するためにレイヤ間予測を行う。レイヤ間予測としては、動き予測に関する情報を同時刻の下位レイヤの情報から予測する動き情報予測、あるいは同時刻の下位レイヤの復号画像をアップサンプリングした画像から予測するテクスチャ予測がある。

また、Ｈ．２６４で規定されているサブシーケンス情報補足向上情報（SEI: supplemental enhancement information）を利用して、ビデオ・コンテンツを新規な時間的レイヤ―化された符号化構造にエンコードすることで、低コストのビデオ・プロセッサを使って早送りおよび早戻しのトリック再生を実現する技術が開示されている（特許文献１）。

一方で、トリック再生を実現するために用いられるデータ形式として、ＩＳＯ／ＩＥＣの標準としてMPEG Dynamic adaptive streaming over HTTP （MPEG-DASH）が挙げられる（非特許文献２）。ビデオ・コンテンツを格納するデータに含まれるインデックス情報を利用して、時間的レイヤ化された符号化構造を表すことが出来る。

また、インターネット等のネットワーク網の発達により、放送と通信、ユニキャスト通信とマルチキャスト通信など、複数の経路、特に異種ネットワークを使ってコンテンツデータをデータ配信するハイブリッド伝送（Hybrid Delivery）と呼ばれる伝送方法が用いられてきている。ハイブリッド伝送により配信されたデータを受信した受信端末は、複数の経路から受信したデータを、同期、重畳、合成等して１つのデータとして画面に表示している。そこで、スケーラブル符号化（ＳＶＣ）された動画像について、基本レイヤデータを放送で、拡張レイヤデータを通信網を介してハイブリッド伝送するということも可能になる。

さらに、スケーラブル符号化された動画像について、基本レイヤデータを放送で、拡張レイヤデータを通信網で、ハイブリッド伝送することが考えられている。この場合において、基本レイヤ（フルハイビジョン：フルHD）と拡張レイヤ（４Ｋ）とで異なる符号化方式を利用した階層符号化により、既存の放送インフラを利用したハイブリッド放送等の応用も検討され始めている。

特表２００９−５０６６２６号公報

ISO/IEC 14496-2:2004 （２００４） ISO/IEC 23009-1:2012 （２０１２）

上述したように、スケーラブル符号化された動画像について、基本レイヤデータを放送で、拡張レイヤデータを通信網で、ハイブリッド伝送することが考えられている。この場合において、基本レイヤと拡張レイヤとで異なる符号化方式を利用した階層符号化によるハイブリッド伝送が期待されている。

しかしながら、上述の特許文献１や非特許文献２に示されるデータ形式を用いた場合のように、早送りや早戻し等のトリック再生（ランダムアクセス）を実現しようとした際に、各レイヤにおける画像の参照構造（Group of Picture（GOP）構造）が異なる場合や、各レイヤの映像符号化データが異なる経路で伝送される場合があるため、例えばある特定の時刻の画像が同時刻の下位レイヤの復号画像から予測されていた場合に、時刻情報からだけでは、上位レイヤの画像を復号するために、対応する下位レイヤの復号画像を特定することが出来なかった。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、スケーラブル符号化において、基本レイヤの符号化方式と拡張レイヤの符号化方式とが異なっていても、拡張レイヤの符号化処理において、基本レイヤの特定の復号画像を利用可能な動画像復号装置等を実現することにある。

上記課題を解決するために、本発明の一態様に係る動画像復号装置は、互いに符号化方式の異なる複数のレイヤから構成される符号化データを復号する動画像復号装置であって、ランダムアクセス時刻およびランダムアクセス時刻における第1レイヤと第2レイヤの参照関係である参照画像制御情報を利用して、ある特定時刻での第２レイヤの画像を復号するための第1レイヤの復号画像を特定する手段を備えることを特徴としている。

上記の構成によれば、互いに符号化方式の異なる複数のレイヤから構成される符号化データを復号する動画像復号装置において、ある特定時刻での第2レイヤの画像を復号するために、第1レイヤの画像を全て復号することなく特定の第2レイヤの画像を復号することができる。

以上のように、本発明に係る動画像復号装置は、互いに符号化方式の異なる複数のレイヤから構成される符号化データを復号する動画像復号装置であって、ランダムアクセス時刻及びランダムアクセス時刻における第1レイヤと第2レイヤの参照関係である参照画像制御情報を利用して、ある特定時刻での第２レイヤの画像を復号するための第1レイヤの復号画像を特定する手段を備えている構成である。

上記の構成によれば、互いに符号化方式の異なる複数のレイヤから構成される符号化データを復号する動画像復号装置において、ある特定時刻での第2レイヤの画像を復号するために、第1レイヤの画像を全て復号することなく早送りや早戻し等のトリック再生を実行することが可能となり、さらに第2レイヤの復号に必要な第1レイヤの復号画像を選択的に復号することも可能となるため、不必要な第1レイヤの復号処理を削減することができるという効果を奏する。

本発明の実施形態に係る動画像復号装置の要部構成を示すブロック図である。 本発明の実施形態に係るＭＰＥＧ−２システムで伝送されるトランスポートストリームのデータ構造を示す図であって、（ａ）は、ビデオやオーディオの圧縮符号化データであるエレメンタリストリームを示しており、（ｂ）は、エレメンタリストリームをパケット化したパケッタイズドエレメンタリストリームの構成を示しており、（ｃ）は、パケッタイズドエレメンタリストリームを多重化したトランスポートストリームの構成を示しており、（ｄ）は、プログラムの構成を示す番組特定情報や番組配列情報、データなどのセクション・データを示しており、（ｅ）は、セクション・データを多重化したトランスポートストリームの構成を示している。 本発明の実施形態１に係る参照画像制御情報のデータ構造を示す図である。 本発明の概要を説明するための図である。 参照画像制御情報を利用した復号処理の流れを示すフローチャートである。 本発明の実施形態１に係るある参照時刻での処理対象となる拡張レイヤと対応する基本レイヤの対応関係を示す図である。 本発明の実施形態２に係る動画像復号装置の要部構成を示すブロック図である。 本発明の実施形態２に係る参照画像制御情報のデータ構造を示す図である。 本発明の実施形態２におけるノンインタレース化処理するためのノンインタレース化処理テーブルを示す図である。 本発明の実施形態２に係るある参照時刻での処理対象となる拡張レイヤと対応する基本レイヤの対応関係を示す図である。 本発明の実施形態３に係る動画像復号装置の要部構成を示すブロック図である。 本発明の実施形態３に係る参照画像制御情報識別子のデータ構造を示す図である。 本発明の実施形態４におけるＭＰＥＧ−ＤＡＳＨにおけるメディアデータを構成するセグメント構成を示す図である。 本発明の実施形態４におけるＭＰＤを示す図である。 本発明の実施形態４に係る動画像復号装置の要部構成を示すブロック図である。

〔実施形態１〕
本実施の形態に係る動画像復号装置１は、スケーラブル符号化（ＳＶＣ）された符号化データを復号する際に、基本レイヤ（第２レイヤ）における符号化方式と拡張レイヤ（第２レイヤ）における符号化方式とが異なっていても、基本レイヤと拡張レイヤの参照関係を示す情報を参照することで、拡張レイヤの動画像を復号するために、対応する基本レイヤの復号画像を特定することを可能とするものである。

より具体的には、ランダムアクセス時刻及びランダムアクセス時刻における基本レイヤと拡張レイヤの参照関係を示す情報を付加することで、基本レイヤの動画像をすべて復号することなく、ある特定時刻での拡張レイヤの動画像を復号するための対応する基本レイヤの復号画像を特定することを可能とするものである。

これにより、基本レイヤと拡張レイヤとにおいて、それぞれ独自の符号化方式を採用した場合でも、ある特定時刻での拡張レイヤの動画像を復号するために対応する基本レイヤの復号画像を特定することが可能となるとともに、必要でない基本レイヤの動画像の復号処理を省略することも可能となる。また、基本レイヤと拡張レイヤの動画像の符号化データを異なる伝送網を利用して伝送した場合において、ある特定時刻での拡張レイヤの動画像を復号するのに必要な基本レイヤの動画像の符号化データのみ取得して復号処理することも可能となる。なお、本実施の形態では、超高精細映像（動画像、４ｋ映像データ）を伝送する場合において、超高精細映像をスケーラブル符号化し、基本レイヤは、４ｋ映像データをダウンスケーリングし、インタレース化した映像データをＭＰＥＧ−２により符号化してテレビ放送網で伝送したものをＨＤＤ等の記憶媒体に蓄積した放送録画データとして読み出す場合について、拡張レイヤは、４ｋ映像をＨＥＶＣにより符号化して（プログレッシブ）、インターネットで伝送する場合について説明するが、本発明の基本レイヤと拡張レイヤとの符号化方式はこれに限られるものではない。

本実施例に係る動画像復号装置１の詳細な説明に先立って、放送や通信の伝送路を経由して伝送され、動画像復号装置１によって復号される伝送データのデータ構造について説明を行う。伝送データには、基本レイヤと拡張レイヤとプログラムの構成を示すセクション・データとから構成される。基本レイヤと拡張レイヤは、互いに異なる伝送路を介して動画像復号装置１に供給されるものであってもよいし、同一の伝送路を介して動画像復号装置１に供給されるものであってもよいし、一部を装置内の蓄積部に予め蓄積したものから読み出して動画像復号装置１に供給されるものであってもよい。

一例として、図４に示すように、放送波によって伝送された基本レイヤを含むビットストリームを蓄積した蓄積部から読み出し、インターネット通信網によって拡張レイヤを含むビットストリームが伝送される場合を挙げることができる。

また、上述したように、基本レイヤは、例えば、ＭＰＥＧ−２方式によって符号化されており、拡張レイヤは、例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの後継規格であるＨＥＶＣ（High Efficiency Video Coding）方式によって符号化されている。このように、以下の説明では、基本レイヤと拡張レイヤとが、互いに異なる符号化方式によって符号化されている場合を例に挙げるが、これは本実施形態を限定するものではない。

（データ構造の説明）
図２は、ＭＰＥＧ−２システムにおけるメディアデータをトランスポートストリーム（ＴＳ）として、伝送用に多重化する場合のデータ構造を示す図である。メディアデータは、例示的に、映像・音声の符号化されたデータや、それらを組み合わせたプログラムの構成を示す番組特定情報や番組配列情報、データなどのセクション・データを含む。なお、本実施の形態では、伝送用に多重化する場合のデータ構造としてＭＰＥＧ−２ ＴＳを用いて伝送する場合について説明するが、本発明の伝送で使用する多重化方式はこれに限られるものではない。

図２の（ａ）〜（ｅ）は、それぞれＴＳを構成するエレメンタリストリーム（ＥＳ）、パケッタイズドエレメンタリストリーム（ＰＥＳ）、ＰＥＳを多重化したトランスポートストリーム（ＴＳ）、セクション・データ、セクション・データを多重化したトランスポートストリーム（ＴＳ）を示す図である。ＭＰＥＧ−２ ＴＳでは、放送や通信での使用を可能とするために、ＥＳを伝送しやすい小さな固定長パケットにパケット化する。映像や音声の圧縮符号化データであるＥＳは、ストリームの種類を示すストリームＩＤや、ＰＥＳパケット内のＥＳの表示時刻、デコード（再生）時刻を示すプレゼンテーションタイムスタンプ（ＰＴＳ）、デコーディングタイムスタンプ（ＤＴＳ）情報などが挿入されたＰＥＳヘッダ（ＰＨ）が付加され、ＰＥＳにパケット化される。さらにＰＥＳは、ＴＳパケットの種類を識別するＰＩＤ、プログラム時刻の基準参照値であるＰＣＲなどの情報が挿入されたＴＳヘッダ（ＴＨ）が付加され、１８８バイト単位のＴＳにパケット化される。セクション・データをＴＳパケット化する場合は、複数個のセクションが同一ＴＳパケットにパケット化されることがあり、ＴＳよりも大きなセクション・データが複数のＴＳパケットで分割して伝送されることもあれば、１つのＴＳパケットの中に複数のセクションがパケット化されることもあるため、前述したＰＥＳとは異なる方法を用いてでパケット化される。そのため、前述したＴＳヘッダに加えてセクションの先頭位置を示すポインタ・フィールド（Ｐ）が付加されＴＳにパケット化される。

本実施例では、ランダムアクセス時刻及びランダムアクセス時刻における基本レイヤ（ＢＬ）と拡張レイヤ（ＥＬ）の参照関係を示す参照画像制御情報（ＲＰＣＩ）をＰＥＳとしてＭＰＥＧ−２ ＴＳに多重化して伝送する場合について説明する。

（参照画像制御情報の説明）
まず、ランダムアクセス時刻及びランダムアクセス時刻における基本レイヤ（ＢＬ）と拡張レイヤ（ＥＬ）の参照関係を示す参照画像制御情報（ＲＰＣＩ）の例を図３に示す。ＲＰＣＩには、拡張レイヤ（ＥＬ）のＴＳパケットを識別するＥＬ ＰＩＤ、ＢＬのＴＳパケットを識別するＢＬ ＰＩＤ、ランダムアクセス時刻を示す参照時刻情報（ＲＴＳ）の配列ＲＴＳ０〜ＲＴＳｎ及び参照時刻の終了を示す終了コード（ＥＯＲＴＳ）が含まれる。ＥＯＲＴＳは省略可能な情報で、参照画像制御情報（ＲＰＣＩ）ＲＰＣＩは、そのプログラム中で１つしか含まれていなくても、複数に分割されて伝送されても構わない。動画像復号装置は、上記参照時刻と、ＴＳ中に含まれるＰＣＲとを参照してランダムアクセス時刻を特定することが出来る。

（動画像復号装置）
次に、本実施形態に係る動画像復号装置１について、図１、図４を参照して説明する。

図１は、動画像復号装置１の構成を示すブロック図である。図1に示すように、動画像復号装置１は、ＢＬ ＴＳ処理部１０、ＢＬ復号部１１、参照画像制御部１２、ＥＬ ＴＳ処理部１３、ＥＬ復号部１４から構成される。

ＢＬ ＴＳ処理部１０は、蓄積データ読み込み部から読み込んだＴＳから所望のＢＬ ＰＩＤに該当する基本レイヤ（ＢＬ）の符号化データをＰＥＳとして取り出し、これをＢＬ復号部１１に供給する。同様に、ＥＬ ＴＳ処理部１３は、インターネット通信網経由で取得したＴＳから所望のＥＬ ＰＩＤに該当する拡張レイヤ（ＥＬ）の符号化データおよび前記拡張レイヤ（ＥＬ）に対応する参照画像制御情報（ＲＰＣＩ）を取り出し、それぞれＥＬ復号部１４、参照画像制御部１２に供給する。参照画像制御部１２は参照画像制御情報（ＲＰＣＩ）から取得した参照時刻（ＲＴＳ）の配列をＢＬ復号部１１およびＥＬ復号部１４に供給する。ＢＬ復号部１１は、参照画像制御部から取得したＲＴＳおよびＢＬ ＴＳ処理部１０から供給されたＢＬ ＰＥＳを基に該当する時刻の動画像を復号し、ＥＬ復号部１４に供給する。ＥＬ復号部１４は、参照画像制御部１２から取得したＲＴＳ、ＢＬ ＴＳ処理部１０から供給されたＥＬ ＰＥＳおよびＢＬ復号部１１から供給された復号画像をもとに動画像の復号処理を行う。

なお、本実施例では、参照画像制御情報（ＲＰＣＩ）はＥＬ ＴＳに多重化されていることとしたが、ＢＬ ＴＳに多重化されても、参照画像制御情報（ＲＰＣＩ）のみ別経路で伝送されても構わない。

（復号処理フローの説明）
次に、参照画像制御情報に基づいて、ＥＬの該当するランダムアクセス時刻における画像を復号する方法の詳細について、図５および図６を参照して説明する。

図５は、参照画像制御情報（ＲＰＣＩ）に基づいて拡張レイヤ（ＥＬ）の該当するランダムアクセス時刻における動画像を復号する処理のフロー図を示しており、図６は動画像復号装置において動画像を復号する際の、各フレームの表示時間順の並びを示している。

まず、参照画像制御情報を解析し、参照時刻に対応する基本レイヤ及び拡張レイヤの復号処理を行う方法、換言すれば、参照画像制御部１２、ＢＬ復号部１１、ＥＬ復号部１４の処理について図５を参照して説明する。参照画像制御部１２は、ＥＬ ＴＳ処理部１３から供給された参照画像制御情報からＥＬ ＰＩＤ、ＢＬ ＰＩＤの取得、および参照時刻の導出処理を行い、参照時刻リストを構築する（Ｓ１０１）。そして、導出された参照時刻が参照時刻の終了を示す終了コード（ＥＯＲＴＳ）でなければ（Ｓ１０２でＮＯ）、参照画像制御部１２は、導出された参照時刻情報をＥＬ復号部１４およびＢＬ復号部１１に供給し、ＢＬ復号部１１は参照時刻に対応するＢＬのピクチャの復号処理を行い、ＢＬ復号画像をＥＬ復号部１４に供給する（Ｓ１０３）。ＥＬ復号部１４は、参照画像制御部１２から供給された参照時刻とＢＬ復号部から供給されたＢＬ復号画像とＥＬ ＴＳ処理部１３から供給された拡張レイヤのＰＥＳから該当するＥＬピクチャの復号処理を行う。

ここで、ある参照時刻（ＲＴＳ）での処理対象となる拡張レイヤのピクチャに対応する基本レイヤのピクチャを特定する方法について図６を参照して説明する。図６の基本レイヤでは、フィールド構造のピクチャを示している。例えば、フレームＢＩ２は、破線で示すフィールドＩ２１とＩ２２とを合成したものである。また、基本レイヤのフレームのＢＩ２はＩピクチャ、フレームＢＰ５、ＢＰ８はＰピクチャ、フレームＢＢ０、ＢＢ１、ＢＢ３、ＢＢ４はＢピクチャとして処理される。また、１つのフレームは２つのフィールドとして扱うことができる。例えば、フレームＢＢ０はフィールドＢ０１およびＢ０２として、フレームＢＢ１はフィールドＢ１１およびＢ１２として扱うことができる。ここでは、基本レイヤの各フレームは、フレーム構造またはフィールド構造のいずれかの形式で適応的に復号処理されるものとする。

図６の拡張レイヤにおいて、各フレームのピクチャは基本レイヤの各フィールドのピクチャに対応している。例えば、拡張レイヤのフレームｂ０に対応する基本レイヤのフィールドはＢ０１となる。また、拡張レイヤのＩ４はＩピクチャ、Ｐ１０はＰピクチャ、Ｂ１、Ｂ７は参照Ｂピクチャ、ｂ０、ｂ２、ｂ３、ｂ６、ｂ８、ｂ９、ｂ１１は非参照Ｂピクチャとして処理される。

また、本実施の形態では、図６に「符号化順」として示した順序で、基本レイヤ、拡張レイヤは復号されるものとする。

ここで、参照時刻ＲＴＳ０、ＲＴＳ１に対応する拡張レイヤおよび基本レイヤのタイムスタンプ情報がそれぞれＰＴＳＥＬ０、ＰＴＳＥＬ１およびＰＴＳＢＬ０、ＰＴＳＢＬ１であるとする。現在の処理対象をＲＴＳ０とすると、拡張レイヤにおけるＩ４および対応する基本レイヤのＩ２１が特定される。同様にして、参照時刻ＲＴＳ１、ＲＴＳ２において、拡張レイヤおよび基本レイヤにおける復号対象のピクチャがＩ１０、Ｐ５１およびＩ１６、Ｐ８１と特定される。

そして、導出した参照時刻リストに対してＥＯＲＴＳになるまで上記処理を繰り返し、参照時刻がＥＯＲＴＳの場合に（Ｓ１０２でＹＥＳ）、復号処理が終了する。

〔実施の形態２〕
本発明の他の実施の形態について図７から図１０に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記の実施の形態１において示した部材と同一の機能を有する部材には、同一の符号を付し、その説明を省略する。

本実施の形態において、上記実施の形態１と異なるのは、参照画像制御情報にノンインタレース化するための処理を示した情報を含み、その情報に基づいて基本レイヤの画像をノンインタレ−ス化した画像を用いて拡張レイヤの復号処理を行う点である。

（動画像復号装置１´）
図７に、本実施の形態に係る動画像復号装置１´の構成を示す。動画像復号装置１´において、動画像復号装置１と異なるのは、参照画像制御部１２の代わりに参照画像制御部１２´、ＢＬ復号部１１の代わりにＢＬ復号部１１´、後処理部を備えている点である。

参照画像制御部１２´では、ＥＬ ＰＩＤ、ＢＬ ＰＩＤ、参照時刻情報（ＲＴＳ）に加えて、ノンインタレース化のフィールドテーブルを取得する機能を備えている。ＢＬ復号部１１´では、参照画像制御部１２´から供給されたノンインタレース化のフィールドテーブルに基づいて該当するＢＬピクチャを復号し、復号画像を後処理部１５に供給する。後処理部１５では、参照画像制御部１２´から供給されたノンインタレース化のフィールドテーブルに基づいて、ＢＬ復号部１１´から供給された復号画像のノンインタレース化処理を行う。

参照画像制御部に含まれるノンインタレース化のフィールドテールブルの情報例とそれに基づいたノンインタレース化処理について、図８、図９を参照して説明する。図８は参照画像制御情報の例であり、実施例１でのＥＬ ＰＩＤ、ＢＬ ＰＩＤ、参照時刻情報のリストに加えて、ノンインタレース化の情報が含まれる。図９は、基本レイヤの復号画像をノンインタレース化処理するためのノンインタレース化処理テーブルであり、前記テーブルの各フラグの値に基づいて基本レイヤの復号画像のノンインタレース化処理が行われる。

ノンインタレース化の処理は、lower_layer_progressive_frameに示される基本レイヤの再構成画像がインタレースかプログレッシブか、およびprogressive_frameに示される拡張レイヤの画像がインタレースかプログレッシブかに依存する。

lower_layer_progressive_frameが”1”の場合、基本レイヤの再構成画像はノンインタレース化の処理はされず、progressive_frameが”1”の場合はプログレッシブであると、またprogressive_frameが”0”の場合はインタレースであると考えられる。この場合、lower_layer_deinterlaced_field_selectは、”1”でなければならない。

lower_layer_progressive_frameが”0”かつprogressive_frameが”0”の場合、それぞれの基本レイヤの再構成画像は1枚のプログレッシブ画像を生成するためのノンインタレース処理が行われる。この場合、lower_layer_deinterlaced_filed_selectは”1”でなければならない。lower_layer_progressive_frameが”0”かつprogressive_frameが”1”の場合、それぞれの基本レイヤの再構成画像は1枚のプログレッシブ画像を生成するためにノンインタレース処理される。このうちの1枚のフィールドのみが必要とされる。lower_layer_deinterlaced_field_selectが”0”の場合、トップフィールドが用いられ、逆の場合、ボトムフィールドが用いられる。

lower_layer_field_pairが”1”かつlower_layer_progressive_frameが”0”かつprogressive_frameが”1”の場合、基本レイヤの対となるフィールドの再構成画像を1枚のプログレッシブ画像としてノンインタレース化処理される。

lower_layer_Mult_field_refが”1”かつprogressive_frameが”1”の場合、それぞれの基本レイヤ＋当該再構成画像の前後の再構成画像が1枚のプログレッシブ画像を生成するためのノンインタレース化処理される。前後の再構成画像のうちの1枚のフィールドのみが必要とされ、lower_layer_deinterlaced_field_selectが”0”の場合、当該再構成画像と当該再構成画像の前の再構成画像のボトムフィールドが用いられ、逆の場合、当該再構成と当該再構成画像の次の再構成画像のボトムフィールドが用いられる。

インタレースフレームの場合に、拡張レイヤの（そして基本レイヤの）画像がフィールド画像として符号化されるならば、ノンインタレース化処理は行われない。

次に、ある参照時刻（ＲＴＳ）での処理対象となる拡張レイヤのピクチャに対応する基本レイヤのピクチャを特定する方法について図１０を参照して説明する。本実施例では、対象となる基本レイヤのフィールドとその前後のフィールドを用いてノンインタレース化処理する情報がノンインタレース化テーブルに記載されている場合について説明する。

ここでは、復号対象の参照時刻はＲＴＳ０であるとし、対応する拡張レイヤおよび基本レイヤのタイムスタンプ情報がそれぞれＰＴＳＥＬ０、ＰＴＳＢＬ０であるとすると、拡張レイヤにおけるＩ４および対応する基本レイヤのＩ２１が特定される。ノンインタレース化テーブルには、該当フィールドの前後のフィールドを用いてノンインタレース化処理することが記載されているので、ＢＬ復号部１１´は、Ｉ２１に加えて、Ｉ２２およびＢ１２のフィールドのピクチャも復号処理を行い、それらの復号画像を後処理部に供給する。後処理部１５では、ＢＬ復号部１１´から供給された3枚のフィールドの復号画像からノンインタレース化処理を行い、生成された動画像をＥＬ復号部に供給する。ＥＬ復号部１４は、参照画像制御部１２´から供給された参照時刻ＲＴＳ０と後処理部から供給されたノンインタレース化処理された動画像とＥＬ ＴＳから供給された拡張レイヤのＰＥＳ中のＰＴＳＥＬ０に該当する符号化データからＩ４のピクチャの復号処理を行う。

〔実施の形態３〕
本発明の他の実施の形態について図１１および図１２に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記の実施の形態１において示した部材と同一の機能を有する部材には、同一の符号を付し、その説明を省略する。

本実施の形態において、上記実施の形態１と異なるのは、参照画像制御情報をセクション・データに含まれる参照画像制御情報記述子（ＲＰＣＩＤ）として伝送する点である。換言すれば、上記実施の形態１では、参照画像制御情報をＰＥＳとしてＭＰＥＧ−２ ＴＳに多重化して伝送するが、本実施の形態では、セクション・データの番組特定情報であるプログラム・マップ・テーブル（ＰＭＴ）に含めて伝送する。

（動画像復号装置１´´）
図１１に、本実施の形態に係る動画像復号装置１´´の構成を示す。動画像復号装置１´´において、動画像復号装置１と異なるのは、ＥＬ ＴＳ処理部に代わってＥＬ ＴＳ処理部１３´´、参照画像制御部１２に代わって参照画像制御部１２´´を備えている点である。

本実施例では、参照画像制御情報識別子を含むＰＭＴをＥＬ ＴＳに多重化して伝送する場合について説明する。

ＥＬ ＴＳ処理部１３´´では、受信したＥＬ ＴＳからセクション・データを解析し、ＰＭＴから前記拡張レイヤに対応する参照画像制御情報記述子を取りだし、これに含まれる参照画像制御情報を参照画像制御部１２´´に供給する。また、所望のＥＬ ＰＩＤに該当する拡張レイヤの符号化データをＰＥＳとして取り出し、これをＥＬ復号部１４に供給する。

参照画像制御部１２´´はＥＬ ＴＳ処理部１３´´から供給された参照画像制御情報記述子に基づいて、ランダムアクセスに必要な参照時刻をＢＬ復号部１１、ＥＬ復号部１４に供給する。

ここで、参照画像制御情報記述子から参照時刻を算出する方法について説明する。図１２に、ＰＭＴおよび参照画像制御情報記述子（ＲＰＣＩＤ）のデータ構造例を示す。例えば、ＰＭＴには、このＰＭＴのプログラム番号を識別する番組番号（ＰＲｎ）、参照画像制御情報識別子、前記プログラム番号で伝送されるＥＳのストリーム・タイプ、およびプログラムを構成するＥＳ、本実施例では、基本レイヤおよび拡張レイヤの符号化データを格納するＰＥＳ、のストリーム・タイプおよびＰＩＤ値を示すエレメンタリ−ＰＩＤを含むマップテーブルが含まれる。また、参照画像制御情報識別子には、参照画像制御情報記述子の記述子であることを示す記述子タグ、ランダムアクセスの開始時刻を示す参照開始時刻、ランダムアクセスの間隔を示す参照時刻間隔、ランダムアクセスの終了時刻を示す参照終了時刻、ノンインタレース化の処理の方式を示すノンインタレース化テーブルを含む。参照画像制御部１２´´は、参照開始時刻、参照時刻間隔および参照終了時刻に基づき、ＢＬ復号部およびＥＬ復号部でのランダムアクセス時刻でのピクチャの復号に必要な参照時刻を算出する。

なお、本実施例では、参照開始時刻、参照時刻間隔および参照終了時刻からランダムアクセス時刻での復号に必要な参照時刻を参照することとしたが、参照時刻間隔の代わりに参照間隔を用いても、実施例１と同様に参照時刻を配列として参照画像制御情報識別子に含めて伝送しても構わず、参照画像制御情報識別子に含まれる情報からランダムアクセス時刻での参照時刻を算出できるものであればそのデータ構造は問わない。

また、本実施例では、ＰＭＴはＥＬ ＴＳに含めて伝送することとしたが、ＢＬ ＴＳに含めて伝送しても構わない。その場合は、ＢＬ ＴＳ受信部１０が、受信したＢＬ ＴＳからセクション・データを解析し、ＰＭＴから前記拡張レイヤに対応する参照画像制御情報記述子を取りだし、これに含まれる参照画像制御情報を参照画像制御部１２´´に供給する。

〔実施の形態４〕
本発明の他の実施の形態について図１３から図１５に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記の実施の形態１において示した部材と同一の機能を有する部材には、同一の符号を付し、その説明を省略する。

本実施の形態において、上記実施の形態３と異なるのは、拡張レイヤおよび基本レイヤの符号化データを伝送するデータを管理するメタデータを記載したＭＰＥＧ−ＤＡＳＨのMedia Presentation Description（ＭＰＤ）形式を使用し、前記メタデータ形式に対応したセグメントデータの一部に、参照画像制御情報記述子を含むプログラム・マップ・テーブルを含めて伝送する点である。換言すれば、上記実施の形態では、参照画像制御情報を含むプログラム・マップ・テーブルをセクション・データとしてＭＰＥＧ−２ ＴＳで多重化して伝送するが、本実施例の形態では、参照画像制御情報を含むプログラム・マップ・テーブルを格納した上記セクション・データの管理を上記ＭＰＤ形式によって記述・管理し、ＭＰＤでの記載に従って、ハイパーテキスト・トランスファー・プロトコル（ＨＴＴＰ）を利用して伝送する。なお、本実施例では、上記ＭＰＤデータを伝送するプロトコルとしてＨＴＴＰを用いることとしたが、リアルタイム トランスポート プロトコル（ＲＴＰ）や（トランスミッション コントロール プロトコル（ＴＣＰ）等、インターネットプロトコルとして通常使用されるプロトコルを使用して伝送しても構わず、伝送で使用するプロトコルは問わない。

（データ構造の説明）
図１３は、ＭＰＥＧ−ＤＡＳＨにおけるデータを構成するセグメント構成の一例を示すものである。本実施例では、ＭＰＥＧ−２ＴＳのデータ構造に変換されたメディアデータを用いることとする。格納される動画像データは、再生端末の復号処理の初期化情報を含むInitialization Segmentと断片化した動画像データを格納したMedia Segmentの二つのデータから構成される。ＭＰＥＧ２−ＴＳの場合では、ＴＳパケットの番組特定情報（ＰＳＩ）がInitialization Segmentに含まれ、図１２の例で示される参照画像制御情報を含むプログラム・マップ・テーブルは、Initialization Segmentに含まれて伝送される。Media Segmentは、さらに断片化した複数の動画データをまとめたサブセグメントと呼ばれるデータ群から成る。Media Segmentは1セグメントに対して一つで構成される場合と、複数の場合があり、ランダムアクセス再生時は、例えば、前者の場合は、サブセグメント単位で実行され、後者の場合は、Media Segmentの単位で実行されることとする。本実施例では、Media Segmentが1セグメントに対して一つで構成され、一つのMedia Segmentが複数のサブセグメントで構成される場合について説明する。格納される符号化データがＭＰＥＧ−２ ＴＳの場合は、ＭＰＥＧ−２ ＴＳ用のセグメント・インデクスとして、セグメントのファイル形式を示すｓｔｙｐとＴＳパケットのインデクス情報を示すｓｉｄｘが含まれる。

図１４は、ＭＰＥＧ−ＤＡＳＨにおけるＭＰＤファイルの一例を示すものである。ＭＰＤファイルに記述する情報は例えば、動画を格納したＷｅｂサーバのuniform resource locator（ＵＲＬ）や、格納してある動画像データの群の圧縮方式、画像サイズや符号加速度、音声データの圧縮方式、音声の言語情報などである。これらを、プログラム（同期を取った1組の動画や音声などのデータ）の情報を含むPeriod、言語（吹き替えや字幕）などの情報を含むAdaptationSet、動画像や音声の符号化速度、動画の画像サイズなどの情報を含むRepresentation、図１３に示すような動画像や音声のセグメントを含むSegmentInfoといった複数の構造体により、ＸＭＬ形式で階層的に記述したものである。図１４の例では、Representationの部分に、基本レイヤと拡張レイヤに対応する2種類の符号化データが用意されていることなどが記載されている。

（動画像復号装置１´´´）
図１５に、本実施の形態に係る動画像復号装置１´´´の構成を示す。動画像復号装置１´´´において、動画像復号装置１´´と異なるのは、ＥＬ ＴＳ処理部１３´´に代わってＥＬ処理部１６、ＢＬ ＴＳ処理部１０に代わってＢＬ処理部１８、ＭＰＤ処理部１７を備えている点である。

ＭＰＤ処理部１７は、受信したＭＰＤファイルを解析し、所望の基本レイヤおよび拡張レイヤに対応するＴＳファイルのＵＲＬおよびその画像サイズや符号加速度等の情報と対応するセグメントの情報を抽出し、それぞれＢＬ処理部１１、ＥＬ処理部１４に供給する。また、ＭＰＤファイルに記載されたセグメントの構造体に関する情報に基づき取得したInitialization Segment情報を解析し、プログラム・マップ・テーブルの参照画像制御情報記述子の情報を参照画像制御部１２´´に供給する。ＢＬ処理部１６、ＥＬ処理部１８は、ＭＰＤ処理部から供給されたＢＬ ＴＳ、およびＥＬ ＴＳのＵＲＬに基づき、インターネット通信網経由で該当するＴＳを取得し、前記取得したＴＳから符号化データをＰＥＳとして取り出し、これをそれぞれＢＬ復号部１１、ＥＬ復号部１４に供給する。また、参照画像制御情報識別子から参照時刻を算出する方法については、実施の形態３で説明したものと同様の方法で求めることができる。

なお、本実施例では、基本レイヤのデータや拡張レイヤのデータはインターネット通信網経由で取得することとしたが、実施の形態１と同様に、画像表示装置２に内蔵している蓄積データから読み込んで取得したものを使用しても構わず、基本レイヤのデータおよび拡張レイヤのデータの取得先は上記に限定されるものではない。

また、本実施例では、ＭＰＥＧ−２ ＴＳで符号化されたセグメントを送ることとしたが、ＩＳＯＢＭＦＦに対応したセグメントのデータ形式で、基本レイヤ、拡張レイヤおよび参照画像制御情報識別子のデータを伝送しても構わない。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成や処理フローはこの実施形態記載の例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。

本発明は、スケーラブル符号化により符号化を行う画像復号装置に好適に用いることができる。

１…動画像復号装置、１０…ＢＬ ＴＳ処理部、１１…ＢＬ復号部、１２…参照画像制御部、１３…ＥＬ ＴＳ処理部、１４…ＥＬ復号部、１５…後処理部、１６…ＢＬ処理部、１７…ＭＰＤ処理部、１８…ＥＬ処理部、２…画像表示装置、２０…蓄積データ読込部、２１…表示部、２２…通信受信部

Claims (10)

1. 互いに符号化方式の異なる複数のレイヤから構成される符号化データを復号する動画像復号装置であって、
   上記複数のレイヤのうち第１レイヤと第２レイヤのある表示時刻での対応関係を示す参照関係を示す情報を受信する手段と、
   上記複数のレイヤのうち第１レイヤと第２レイヤのある表示時刻での対応関係を示す参照関係を示す情報に基づいて、前記表示時刻での第２レイヤの画像を復号するために必要な第１レイヤの画像を特定する手段と、
   を備えていることを特徴とする動画像復号装置。
2. 上記参照関係を示す情報は、ＭＰＥＧ−２システムにおけるトランスポートストリームに多重化されたエレメンタリストリームから取得することを特徴とする請求項１に記載の動画復号装置。
3. 上記参照関係を示す情報には、ノンインタレース化するための処理を示した情報を含むことを特徴とする請求項２に記載の動画復号装置。
4. 上記参照関係を示す情報は、ＭＰＥＧ−２システムにおけるセグメントデータで伝送される番組特定情報に含まれる情報から取得することを特徴とする請求項２もしくは請求項３に記載の動画復号装置。
5. 上記参照関係を示す情報は、ＭＰＥＧ−ＤＡＳＨシステムにおける初期化情報セグメントで伝送される番組特定情報に含まれる情報から取得することを特徴とする請求項２もしくは請求項３に記載の動画復号装置。
6. 互いに符号化方式の異なる複数のレイヤから構成される符号化データを伝送する階層化動画像伝送システムであって、
   上記複数のレイヤのうち第１レイヤと第２レイヤのある表示時刻での対応関係を示す参照関係を示す情報を伝送する手段と、
   上記多重化したメディアデータを伝送する手段と、
   を備えていることを特徴とする階層化動画像伝送システム。
7. 上記参照関係を示す情報を符号化データに多重化する手段と、
   上記多重化したメディアデータを伝送する手段と、
   を備えていることを特徴とする請求項６に記載の階層化動画像伝送システム。
8. 上記参照関係を示す情報は、ＭＰＥＧ−２システムにおけるトランスポートストリームを構成するエレメンタリストリームとして、トランスポートストリームに多重化して伝送することを特徴とする請求項６もしくは請求項７に記載の階層化動画像伝送システム。
9. 上記参照関係を示す情報は、ＭＰＥＧ−２システムにおけるセグメントデータで伝送される番組特定情報に多重化して伝送することを特徴とする請求項６もしくは請求項７に記載の階層化動画像伝送システム。
10. 上記参照関係を示す情報は、ＭＰＥＧ−ＤＡＳＨシステムにおける初期化情報セグメントで伝送する番組特定情報に多重化して伝送することを特徴とする請求項６もしくは請求項７に記載の階層化動画像伝送システム。