JP2010252151A - 再生装置、及び同期再生方法 - Google Patents

Abstract

【課題】ＨＲＤ情報を持たないＨ．２６４／ＡＶＣストリームの復号処理において、復号ピクチャを遅延なく適切な表示タイミングで出力することである。
【解決手段】本発明にかかる再生装置は、入力された多重化ストリームから映像データを分離すると共に、多重化ストリームから分離された映像データに対応するＰＴＳ値、ＤＴＳ値、及びＳＴＣ値を抽出する分離部１と、映像データを記憶する第１のピクチャバッファ（ＣＰＢ）２と、第１のピクチャバッファ２に記憶されている映像データを復号する復号部３と、復号部により復号された映像データを記憶する第２のピクチャバッファ（ＤＰＢ）４と、映像データのＰＴＳ値、ＤＴＳ値、及びＳＴＣ値に基づき、第２のピクチャバッファ４から出力される復号された映像データの出力を制御する表示制御部７と、を有する。
【選択図】図１

Description

本発明は再生装置及び同期再生方法に関し、特にＨ．２６４／ＡＶＣ（Advanced Video Coding）形式により圧縮された圧縮画像データを復号する再生装置及び同期再生方法に関する。

近年のデジタル技術の発展に伴い、デジタルテレビジョン放送、ＨＤＤ／ＤＶＤレコーダ、デジタルビデオカメラ、携帯電話、ゲーム機等の多様な分野で高画質な動画像が求められるようになった。高画質な動画像を少ないデータ量で伝送するためには、圧縮符号化技術が不可欠である。その動画圧縮符号化規格の一つであるＨ．２６４／ＡＶＣ規格は、従来方式であるＭＰＥＧ−２よりも高い圧縮効率を実現しており、携帯電話などの低ビットレート用途から、高精細テレビジョン放送の高ビットレート用途に至るまで幅広く利用されるようになった。

Ｈ．２６４／ＡＶＣ規格で圧縮されたデジタルストリームが多様な用途や環境で使用されるようになるに伴い、Ｈ．２６４／ＡＶＣ規格における符号化が多様な形態を示すようになった。Ｈ．２６４／ＡＶＣ規格は、デジタルストリームの復号や、復号したピクチャを表示するために使用されるヘッダ情報をどのような形態で符号化するかについて規定している。しかし、その各ヘッダ情報をデジタルストリームに付加するか否かに関しては自由度が高い。そのため、多様なＨ．２６４／ＡＶＣデジタルストリームが作成されるようになった今日においてＨ．２６４／ＡＶＣ規格には則している情報であっても、復号制御や表示用出力制御の視点で見ると情報が不足し、制御上の判断が難しいケースが発生することが想定される。このようなケースにおいて、Ｈ．２６４／ＡＶＣ規格で規定されていない諸情報も駆使し、かつ規格の思想に反しない方法で適切に制御する手法を持つ復号機器が、品質的にはスタンダードとして評価される傾向にある。

Ｈ．２６４／ＡＶＣ規格では、デコーダに正しくデジタルビットストリーム（ストリーム）を復号させるために、デコーダの振る舞いを仮想的にモデル化した仮想デコーダという概念が導入されている。Ｈ．２６４／ＡＶＣ標準が規定する仮想デコーダ・モデルは、ＨＲＤ（Hypothetical Reference Decoder）と呼ばれている（非特許文献１：Annex C Hypothetical reference decoder 参照）。

ＨＲＤでは、ＣＰＢ（Coded Picture Buffer：符号化ピクチャバッファ）とＤＰＢ（Decoded Picture Buffer：復号ピクチャバッファ）の二つのバッファが規定されている。ＣＰＢは、デコーダに入力される前のストリームを保存するバッファであり、ＤＰＢは、デコーダにより復号されたピクチャを表示するまでの間、蓄積しておくバッファである。Ｈ．２６４／ＡＶＣのストリームは、まずＣＰＢに入力され、ストリーム内のピクチャの境界を示す各アクセスユニット(映像エレメンタリストリーム中の情報をピクチャ単位にまとめた一区切り)のデータは、ＣＰＢリムーバルタイム（CPB removal time）で指定された時刻にＣＰＢから瞬時に取り出され、復号される。

復号されたピクチャは、ＣＰＢリムーバルタイムにＤＰＢに入力され、蓄積される。ＤＰＢに蓄積されたピクチャは、ＤＰＢアウトプットタイム（DPB output time）で指定された時刻、もしくは参照用に使用しないとされた（"参照不使用"とＤＰＢ内でマーキングされた）タイミングにＤＰＢから出力される（非特許文献１:"Storage and marking of a reference decoded picture into the DPB" 参照）。したがって、Ｈ．２６４／ＡＶＣのデコーダのＤＰＢからの出力タイミング制御は、このＤＰＢアウトプットタイムの情報により制御することが適切であるといえる。

図７は、上記で説明したＨＲＤを踏襲したビデオ同期再生装置の構成図である。図７において、多重分離部１０１は、入力された多重化ストリームから映像エレメンタリストリーム（映像ＥＳ）を分離し、当該分離された映像エレメンタリストリームをビデオデコーダに供給する。また、多重分離部１０１は、多重化ストリームから当該分離された映像エレメンタリストリームに対応するＤＴＳ（Decoding Time Stamp：復号時刻タイムスタンプ）情報、ＰＴＳ（Presentation Time Stamp：プレゼンテーションタイムスタンプ）情報、ＳＴＣ（System Time Clock：システムタイムクロック）情報を抽出し、ビデオデコーダおよびＡＶ同期制御部に供給する。

ＣＰＢ１０２は入力された映像エレメンタリストリームの各アクセスユニットを画像復号部１０３に入力する。画像復号部１０３は、入力された映像エレメンタリストリームの圧縮情報を復号する。また、画像復号部１０３は、復号されたピクチャデータ（復号ピクチャ）をＤＰＢ１０４に与える。また、復号したピクチャに対する情報（復号ピクチャタイプ、ＰＯＣ（Picture Order Count：ピクチャの表示順序）、ＤＰＢ出力ステータス（ＤＰＢ１０４からの出力の有無を示すステータス）等）もＤＰＢ１０４に与える。

ＤＰＢ１０４は、入力された復号ピクチャを蓄積するとともに、ＤＰＢ内の復号ピクチャを表示順でＡＶ同期制御部１０５へ出力する。ＡＶ同期制御部１０５は、入力されたＰＴＳ情報とそれに対応する復号ピクチャをＳＴＣ情報による現在時刻に達した段階で表示出力部１０６へ出力する。表示出力部１０６は、復号ピクチャを表示装置１０７に表示する。

図８のフローチャートは、かかる構成において、ＤＰＢ１０４内にある復号ピクチャをＡＶ同期制御部１０５へ出力するタイミングの判定処理を示す。まず、ＤＰＢ内にあるフレーム保存領域（ＤＰＢサイズ）全てに復号ピクチャが蓄積されているかを確認する（Ｓ１０１）。ＤＰＢサイズ分全てに復号ピクチャが蓄積されていて、新たに空のフレーム保存領域が必要な場合は、ＤＰＢ１０４で、復号ピクチャを出力して空きメモリを確保するバンピング処理が働き、ピクチャ出力制御を行う（Ｓ１０２：非特許文献１: Annex C Hypothetical reference decoder " "Bumping" process " 参照）。

バンピング処理（Ｓ１０２）では、ＤＰＢ中の復号ピクチャのなかで、まだ出力していない（つまり、"出力用に必要"にマーク付けされている）最も小さいＰＯＣ値を持つ復号ピクチャが、ＤＰＢから出力される（非特許文献１:"Storage and marking of a reference decoded picture into the DPB" 参照）。そして、この順序は表示順となり、ＡＶ同期制御部１０５に表示用ピクチャとして送られる。

このピクチャは出力済み（つまり、"出力用に不要"にマーク付けされている）となり、さらに参照に使用しない場合、ＤＰＢから除去され、ＤＰＢ保存領域の占有量が１減少する（非特許文献１: "Storage and marking of a reference decoded picture into the DPB" 参照）。ピクチャＤＰＢ保存領域全てに復号ピクチャが蓄積されていない場合は、出力ピクチャ処理は行われない。

さらに、画像復号部１０３でＨ．２６４／ＡＶＣ規格のヘッダ情報であるＳＥＩ（Supplemental Enhancement Information：ストリームの復号処理に直接関係のない、補足的な付加情報）のうちの一つであるピクチャタイミングＳＥＩ（Picture timing SEI）内のdpb_output_delay（ＤＰＢアウトプットタイムを計算するために使用されるシンタックス）が存在するかを確認する（Ｓ１０３）。

このシンタックスが存在する場合は、Ｈ．２６４／ＡＶＣの規格書（非特許文献１:Annex C Hypothetical reference decoder 参照）に記載されているdpb_output_delayを使用したＤＰＢからの復号ピクチャ出力制御が行われ（Ｓ１０４）、出力された復号ピクチャはＡＶ同期制御部１０５に表示用ピクチャとして送られる。

Ｈ．２６４／ＡＶＣ規格書 ＩＴＵ−Ｔ Ｒｅｃ． Ｈ．２６４ ＩＳＯ／ＩＥＣ １４４９６−１０：２００５（Ｅ） Ｒｅｃ． Ｈ．２６４（Ｅ） ＡＶＣビデオデータ伝送方式 ＩＳＯ／ＩＥＣ １３８１８−１：２００７（Ｅ）

しかしながら、Ｈ．２６４／ＡＶＣ 規格上、ストリームが持つ情報だけではピクチャの出力タイミングを判断できない場合が考えられ、適切な表示タイミングでピクチャを出力できないという問題が起こり得る。前述のとおり、ＨＲＤの動作に関する情報の中で、ＤＰＢからのピクチャ出力タイミングを示す情報はピクチャタイミングＳＥＩにより伝送されるが、このＳＥＩ自体を伝送することは規格上必須ではないため、ＨＲＤのピクチャ出力タイミングの情報が伝達されない場合が考えられる（非特許文献１: Annex Ｄ Supplemental enhancement information "Picture timing SEI message semantics" 参照）。

この場合の出力タイミングの決定は、結果的にバンピング処理によって行われることになる。ただし、このバンピング処理による出力タイミングの決定は、あくまで復号のプロセス上で発生するタイミングであり、厳密にＤＰＢからの出力タイミングを規定しているわけではないため、ＨＲＤに準拠していると断定できない。したがって、このバンピング処理だけではＤＰＢからの出力タイミングが遅れ、ピクチャの表示出力タイミングの遅延につながる可能性がある。

また、ＡＶＣビデオデータの伝送方式（非特許文献２ "T-STD extensions"参照）には、もしＨ．２６４／ＡＶＣの映像エレメンタリストリームが、アクセスユニットのＣＰＢ取り出し時間とＤＰＢ取り出し時間を決定するために不充分な情報しか提供しない場合は、そのアクセスユニットに対応するＰＴＳ、ＤＴＳからＣＰＢ、およびＤＰＢ取り出し時間を決定しなければならないと記載されているが、その具体的方法については記載されていない。

図９は、各アクセスユニットがＤＴＳ時間に復号を開始し、かつdpb_output_delay が存在しない場合における、バンピング処理のみによるＤＰＢピクチャ出力の状態遷移の一例を示す図である。

図９のタイミング１１１では、カレントピクチャ（最新の復号ピクチャ）のＢ１ピクチャがＳＴＣ値（＝２）のタイミングで復号が完了している。この時、ＩＤＲ０ピクチャと、Ｐ３ピクチャの２ピクチャがＤＰＢに蓄積されているが、ＤＰＢサイズ（４ピクチャ）分まで蓄積されていないため、バンピング処理は働かずに表示出力ピクチャは存在しない。この場合、Ｂ１ピクチャのＰＴＳ値（＝２）は、ＳＴＣ値（＝２）と同値にもかかわらず、表示出力されないことになる。

図９のタイミング１１２では、カレントピクチャのＢ２ピクチャがＳＴＣ値（＝３）のタイミングで復号が完了している。この時、ＩＤＲ０ピクチャ、Ｐ３ピクチャ、Ｂ１ピクチャの３ピクチャがＤＰＢに蓄積されているが、ＤＰＢサイズ（４ピクチャ）分まで蓄積されておらずバンピング処理は働かないため、表示出力ピクチャは存在しない。この場合、Ｂ２ピクチャのＰＴＳ値（＝３）は、ＳＴＣ値（＝３）と同値にもかかわらず、表示出力されないことになる。

図９のタイミング１１３では、カレントピクチャのＰ６ピクチャがＳＴＣ値（＝４）のタイミングで復号が完了している。この時、ＩＤＲ０ピクチャ、Ｐ３ピクチャ、Ｂ１ピクチャ、Ｂ２ピクチャの４ピクチャがＤＰＢに蓄積されている。この場合、ＤＰＢサイズ（４ピクチャ）分までピクチャ蓄積したためバンピング処理が働き、蓄積されているピクチャのうち、ＤＰＢ出力ステータスが"出力必要"（＝"出力用に必要"）で、かつ最も小さいＰＯＣ値を持つＩＤＲ０ピクチャが表示出力される。ＩＤＲ０ピクチャの持つＰＴＳ値は１だが、ＳＴＣ＝４のタイミングで表示されることになるため、ＩＤＲ０ピクチャの表示タイミングは遅延したことになる。

図９のタイミング１１４では、カレントピクチャのＢ４ピクチャがＳＴＣ値（＝５）のタイミングで復号が完了している。この時、ＩＤＲ０ピクチャが表示ピクチャとして出力されたため、その空領域にＰ６ピクチャが登録される（この場合、ＩＤＲ０ピクチャは"参照不使用"のピクチャであるとする）。それに加えてＰ３ピクチャ、Ｂ１ピクチャ、Ｂ２ピクチャの４ピクチャがＤＰＢに蓄積されている。この場合、ＤＰＢサイズ（４ピクチャ）分までピクチャが蓄積されたためバンピング処理が働き、蓄積されているピクチャのうち、ＤＰＢ出力ステータスが"出力必要"で、かつ最も小さいＰＯＣ値を持つＢ１ピクチャが表示出力される。Ｂ１ピクチャの持つＰＴＳ値は２だが、ＳＴＣ＝５のタイミングで表示されることになり、Ｂ１ピクチャの表示タイミングは遅延したことになる。

このように、ＨＲＤ情報を持たない場合には出力タイミングの決定は結果的にバンピング処理により行なわれる。しかし、このバンピング処理だけではＤＰＢからの出力タイミングが遅れ、ピクチャの表示出力タイミングの遅延につながる。よって、ＨＲＤ情報を持たないＨ．２６４／ＡＶＣストリームの復号処理において、復号ピクチャを遅延なく適切な表示タイミングで出力する技術が必要となる。

本発明にかかる再生装置は、入力された多重化ストリームから映像データを分離すると共に、当該多重化ストリームから当該分離された映像データに対応するＰＴＳ値、ＤＴＳ値、及びＳＴＣ値を抽出する分離部と、前記映像データを記憶する第１のピクチャバッファと、前記第１のピクチャバッファに記憶されている前記映像データを復号する復号部と、前記復号部により復号された前記映像データを記憶する第２のピクチャバッファと、前記映像データの前記ＰＴＳ値、前記ＤＴＳ値、及び前記ＳＴＣ値に基づき、前記第２のピクチャバッファから出力される前記復号された映像データの出力を制御する表示制御部と、を有する。

本発明にかかる再生装置では、Ｈ．２６４／ＡＶＣ規格によるＨＲＤ情報が不在であることにより表示タイミング制御が不可能な状況であっても、表示制御部を用いてＰＴＳ値、ＤＴＳ値による表示タイミング制御を行うことによって、ＤＰＢの符号化ピクチャの出力タイミングの判断処理を可能としている。これにより、符号化ピクチャの表示出力タイミングの遅延を軽減することが可能となる。

本発明にかかる同期再生方法は、入力された多重化ストリームから映像データを分離すると共に、当該多重化ストリームから当該分離された映像データに対応するＰＴＳ値、ＤＴＳ値、及びＳＴＣ値を抽出し、前記映像データを第１のピクチャバッファに記憶し、前記第１のピクチャバッファに記憶されている映像データを復号し、前記復号された前記映像データを第２のピクチャバッファに記憶し、前記映像データの前記ＰＴＳ値、前記ＤＴＳ値、及び前記ＳＴＣ値に基づき、前記第２のピクチャバッファから出力される前記復号された映像データの出力を制御する。

本発明にかかる同期再生方法では、Ｈ．２６４／ＡＶＣ規格によるＨＲＤ情報が不在であることにより表示タイミング制御が不可能な状況であっても、ＰＴＳ値、ＤＴＳ値を用いて表示タイミング制御を行うことによって、ＤＰＢの符号化ピクチャの出力タイミングの判断処理を可能としている。これにより、符号化ピクチャの表示出力タイミングの遅延を軽減することが可能となる。

本発明により、ＨＲＤ情報を持たないＨ．２６４／ＡＶＣストリームの復号処理において、復号ピクチャを遅延なく適切な表示タイミングで出力することが可能な再生装置及び同期再生方法を提供することができる。

実施の形態１にかかる再生装置を示す図である。 実施の形態１にかかる再生装置のＤＰＢからのピクチャ出力タイミング判定処理のフローを示す図である。 実施の形態１にかかる再生装置のＰＴＳ表示制御部における処理のフローを示す図である。 実施の形態１にかかる再生装置のＰＴＳ表示制御部を用いて処理された場合のＤＰＢにおける状態遷移の一例を示す図である。 実施の形態２にかかる再生装置のＰＴＳ表示制御部における処理のフローを示す図である。 実施の形態２にかかる再生装置のＰＴＳ表示制御部を用いて処理された場合のＤＰＢにおける状態遷移の一例を示す図である。 背景技術にかかる再生装置を示す図である。 背景技術にかかる再生装置のＤＰＢからのピクチャ出力タイミング判定処理のフローを示す図である。 背景技術にかかる再生装置のバンピング制御時におけるＤＰＢの状態遷移の一例を示す図である。

実施の形態１．
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の実施の形態１にかかる再生装置（ビデオ同期再生装置）を示す図である。ビデオ同期再生装置には、ビデオ、オーディオが多重化されたストリームから映像エレメンタリストリーム入力を受け取り、復号したピクチャの同期再生を行う。

多重分離部（分離部）１は、入力された多重化ストリームから映像データ（映像エレメンタリストリーム：映像ＥＳ）を分離し、当該分離された映像エレメンタリストリームをビデオデコーダに供給する。また、多重分離部（分離部）１は、多重化ストリームから当該分離された映像エレメンタリストリームに対応するＤＴＳ（Decoding Time Stamp：復号時刻タイムスタンプ）情報、ＰＴＳ（Presentation Time Stamp：プレゼンテーションタイムスタンプ）情報、ＳＴＣ（System Time Clock：システムタイムクロック）情報を抽出し、ビデオデコーダに供給する。本実施の形態にかかるビデオ同期再生装置では、ビデオデコーダに供給された各情報はＰＴＳ表示制御部（表示制御部）７にも送られる。

ＣＰＢ（第１のピクチャバッファ）２は入力された映像エレメンタリストリームの各アクセスユニットを画像復号部（復号部）３に入力する。画像復号部３は、入力された映像エレメンタリストリームの圧縮情報を復号する。また、画像復号部３は、復号されたピクチャデータ（復号ピクチャ）をＤＰＢ（第２のピクチャバッファ）４に与える。また、本実施の形態にかかるビデオ同期再生装置では、ＤＰＢ４へ入力した復号ピクチャに対する情報（復号ピクチャ情報）をＰＴＳ表示制御部７にも与える。

ＰＴＳ表示制御部７は、多重分離部１により取得した多重化ストリーム中のＰＴＳ、ＤＴＳ、ＳＴＣ、およびＤＰＢに存在する復号ピクチャ情報（画像復号部３から取得）を入力し、その情報から判断した表示出力ピクチャ情報を出力する。

ＤＰＢ４は、画像復号部３から送られた復号ピクチャを蓄積するとともに、ＰＴＳ表示制御部７からの表示出力ピクチャ情報に基づきＤＰＢ内の復号ピクチャをＡＶ同期制御部５へ出力する。ＡＶ同期制御部５は、入力されたＰＴＳ情報、ＳＴＣ情報に基づき復号ピクチャを表示出力部６へ出力する。表示出力部６は、復号ピクチャを表示装置８に表示する。

図２は本実施の形態にかかる再生装置のＤＰＢ４からのピクチャ出力タイミングの判定処理のフローを示す図である。
図２に示すように、まず、ＤＰＢ内にあるフレーム保存領域（ＤＰＢサイズ）全てに復号ピクチャが蓄積されているかを確認する（Ｓ１）。ＤＰＢサイズ分全てに復号ピクチャが蓄積されていて、新たに空のフレーム保存領域が必要な場合は、ＤＰＢから復号ピクチャを出力して空きメモリを確保するバンピング処理が働く。これにより、ＤＰＢからのピクチャ出力制御が行なわれる（Ｓ２）。

バンピング処理（Ｓ２）では、ＤＰＢ中の復号ピクチャのなかで、まだ出力していない（つまり、"出力用に必要"にマーク付けされている）最も小さいＰＯＣ値を持つ復号ピクチャが、ＤＰＢから出力される。そして、この順序は表示順となり、ＡＶ同期制御部５に表示用ピクチャとして送られる。

このピクチャは出力済み（つまり、"出力用に不要"にマーク付けされている）となり、さらに参照に使用しない場合、ＤＰＢから除去され、ＤＰＢ保存領域の占有量が１減少する。ピクチャＤＰＢ保存領域全てに復号ピクチャが蓄積されていない場合は、出力ピクチャ処理は行われない。

さらに、画像復号部３でＨ．２６４／ＡＶＣ規格のヘッダ情報であるＳＥＩ（Supplemental Enhancement Information：ストリームの復号処理に直接関係のない、補足的な付加情報）のうちの一つであるピクチャタイミングＳＥＩ（Picture timing SEI）内のdpb_output_delay（ＤＰＢアウトプットタイムを計算するために使用されるシンタックス）が存在するかを確認する（Ｓ３）。

このシンタックスが存在する場合は、Ｈ．２６４／ＡＶＣの規格書（非特許文献１:Annex C Hypothetical reference decoder 参照）に記載されているdpb_output_delayを使用したＤＰＢからの復号ピクチャ出力制御が行われ（Ｓ４）、出力された復号ピクチャはＡＶ同期制御部５に表示用ピクチャとして送られる。

そして、多重分離部１で復号ピクチャに対応するＰＴＳ、ＤＴＳ情報を取得しているかを確認し（Ｓ５）、ＰＴＳ、ＤＴＳ情報が存在する場合はＰＴＳ、ＤＴＳによる復号ピクチャ出力処理（Ｓ６）を行う。復号ピクチャに対応するＰＴＳ、ＤＴＳ情報が存在しない場合、ＰＴＳ、ＤＴＳによる復号ピクチャ出力処理は行わない。

図３はＰＴＳ表示制御部７における表示出力ピクチャ判断処理のフローチャートである。まず、ＣＰＢのアクセスユニット（ＡＵ）に対応するＤＴＳが、ＳＴＣと同時刻になったとき、アクセスユニットのピクチャの復号を開始する（Ｓ１１、Ｓ１２）。次に、復号が完了したピクチャをＤＰＢ内に表示出力候補ピクチャとして登録する（Ｓ１３）。そして、表示可能時刻を計算する（Ｓ１４）。ここで表示可能時刻とは、ＤＰＢ内の表示出力候補ピクチャが持つＰＴＳとの比較対象になる基準時刻のことであり、現復号ピクチャの復号開始タイミング（そのピクチャの復号タイムスタンプ（ＤＴＳ））を表示可能時刻として解釈する。

次に、表示出力候補のピクチャがＤＰＢ内にあるか判断する（Ｓ１５）。ここで表示出力候補ピクチャとは、現復号ピクチャの復号開始のタイミングにおいてＤＰＢ内の復号ピクチャのうち最初に表示すべきピクチャである。表示出力候補ピクチャはＤＰＢ内の復号ピクチャ情報を用いて、ＤＰＢ内の最小のＰＴＳを持ち、且つ表示出力していない（ただし、現在復号中のカレントピクチャは表示ピクチャ候補に含めない）ものを表示出力候補ピクチャと判断する。

Ｓ１５において表示出力候補ピクチャがＤＰＢ内に存在すると判断された場合、表示出力候補のピクチャが持つＰＴＳが表示可能時刻以下であるか否か（ＰＴＳ≦表示可能時刻）に基づき、表示出力候補ピクチャが表示出力可能か判断する（Ｓ１６）。そして、Ｓ１６において表示出力候補のピクチャが持つＰＴＳが表示可能時刻以下であると判断された場合、表示出力候補ピクチャの表示出力をする（Ｓ１７）。このとき、表示出力したピクチャは表示出力済みとする（"出力用に不要"とＤＰＢ内でマーキングする）。また、ＤＰＢ内に ＳＴＣ以下の表示出力候補ピクチャが複数あれば、それらのピクチャも同様に出力する。

図４は、バンピング処理にＰＴＳ表示制御部７による処理を加えた場合のＤＰＢの状態遷移の一例を示す図である。このとき、各アクセスユニットはＤＴＳ時間に復号を開始し、かつdpb_output_delayは存在しない。

図４のタイミング１１では、カレントピクチャ（最新の復号ピクチャ）のＢ１ピクチャがＳＴＣ値（＝２）のタイミングで復号が完了している。この時、ＩＤＲ０ピクチャと、Ｐ３ピクチャの２ピクチャがＤＰＢに蓄積されているが、ＤＰＢサイズ（４ピクチャ）分まで蓄積されていないため、バンピング処理は働かない。ただし、ＰＴＳ表示制御部７の判別処理により、"ＩＤＲ０ピクチャのＰＴＳ（＝１）≦表示可能時刻（Ｂ１ピクチャのＤＴＳ＝２）"が真で、かつＤＰＢ出力ステータスが"出力必要"で、かつ最も小さいＰＯＣ値を持つＩＤＲ０ピクチャが表示出力される。

つまり、このタイミング１１で、背景技術にかかる図９のタイミング１１３で表示出力ピクチャとして選出されたＩＤＲ０ピクチャが表示出力される。この結果、ＩＤＲ０ピクチャは背景技術の図９のタイミング１１３よりも早いタイミングで出力される。

図４のタイミング１２では、カレントピクチャのＢ２ピクチャがＳＴＣ値（＝３）のタイミングで復号が完了している。この時、ＩＤＲ０ピクチャ、Ｐ３ピクチャ、Ｂ１ピクチャの３ピクチャがＤＰＢに蓄積されているが、ＤＰＢサイズ（４ピクチャ）分まで蓄積されておらずバンピング処理は働かない。ただし、ＰＴＳ表示制御部７の判別処理により、"Ｂ１ピクチャのＰＴＳ（＝２）≦表示可能時刻（Ｂ２ピクチャのＤＴＳ＝３）"が真で、かつＤＰＢ出力ステータスが"出力必要"で、かつ最も小さいＰＯＣ値を持つＢ１ピクチャが表示出力される。この結果、Ｂ１ピクチャは背景技術の図９のタイミング１１４よりも早いタイミングで出力される。

図４のタイミング１３では、カレントピクチャのＰ６ピクチャがＳＴＣ値（＝４）のタイミングで復号が完了している。この時、ＩＤＲ０ピクチャ、Ｐ３ピクチャ、Ｂ１ピクチャ、Ｂ２ピクチャの４ピクチャがＤＰＢに蓄積されており、その中で、Ｐ３ピクチャとＢ２ピクチャが出力候補ピクチャとなる。この場合、ＤＰＢサイズ（４ピクチャ）分までピクチャが蓄積されているためバンピング処理が働き、蓄積されているピクチャのうち、ＤＰＢ出力ステータスが"出力必要"で、かつ最も小さいＰＯＣ値を持つＢ２ピクチャが表示出力される。

図４のタイミング１４では、カレントピクチャのＢ４ピクチャがＳＴＣ値（＝５）のタイミングで復号が完了している。この時ＩＤＲ０ピクチャが表示ピクチャとして既に出力され、ＤＰＢ出力ステータスが"出力不要"となっているため、バンピング処理によりＩＤＲ０ピクチャを空領域にしてＰ６ピクチャが登録される（この場合、ＩＤＲ０ピクチャは"参照不使用"のピクチャであるとする）。それに加えてＰ３ピクチャ、Ｂ１ピクチャ、Ｂ２ピクチャの４ピクチャがＤＰＢに蓄積されている。そして、この中で、Ｐ３ピクチャが出力候補ピクチャとなる。

この場合、ＤＰＢサイズ（４ピクチャ）分までピクチャが蓄積されているため、バンピング処理が働き、蓄積されているピクチャのうち、ＤＰＢ出力ステータスが"出力必要"で、かつ最も小さいＰＯＣ値を持つＰ３ピクチャが表示出力ピクチャとして選出される。

以上で説明したように、本実施の形態にかかる再生装置では、Ｈ．２６４／ＡＶＣ規格によるＨＲＤ情報が不在であることにより表示タイミング制御が不可能な状況であっても、ＰＴＳ表示制御部７を用いてＰＴＳ、ＤＴＳ値による表示タイミング制御を行うことによって、ＤＰＢの符号化ピクチャの出力タイミングの判断処理を可能としている。これにより、背景技術で問題となっていた符号化ピクチャの表示出力タイミングの遅延を軽減することが可能となる。

実施の形態２．
次に、本発明の実施の形態２にかかる再生装置（ビデオ同期再生装置）について説明する。実施の形態１にかかる再生装置では、背景技術にかかる再生装置よりも各表示ピクチャの出力タイミングを早くし遅延を軽減することが可能となった。しかし、各表示ピクチャを適切な表示タイミング（ＰＴＳ値とＳＴＣ値が同値）で表示するということは実現していなかった。

つまり、実施の形態１で説明した図４のタイミング１１では、ＩＤＲ０ピクチャの表示タイミング（ＰＴＳ＝１）は、ストリームの期待する表示時間（ＳＴＣ＝２）よりも遅延していた（ＩＤＲ０ ＰＴＳ＜ＳＴＣ）。同様に、タイミング１２では、Ｂ１ピクチャの表示タイミング（ＰＴＳ＝２）は、ストリームの期待する表示時間（ＳＴＣ＝３）よりも遅延していた（Ｂ１ ＰＴＳ＜ＳＴＣ）。同様に、タイミング１３では、Ｂ２ピクチャの表示タイミング（ＰＴＳ＝３）は、ストリームの期待する表示時間（ＳＴＣ＝４）よりも遅延していた（Ｂ２ ＰＴＳ＜ＳＴＣ）。同様に、タイミング１４では、Ｐ３ピクチャの表示タイミング（ＰＴＳ＝４）は、ストリームの期待する表示時間（ＳＴＣ＝５）よりも遅延していた（Ｐ３ ＰＴＳ＜ＳＴＣ）。

そこで、本実施の形態では、実施の形態１において各アクセスユニットを期待する復号タイミングと同時（ＤＴＳ＝ＳＴＣ）に復号していたものを、復号タイミングよりも可能な限り早く（ＤＴＳ≦ＳＴＣ）処理することで、復号完了時が"表示可能時刻≦ＳＴＣ値"となるようなタイミングを生成している。

このような処理をすることで、表示可能時刻によるＤＰＢ蓄積ピクチャの出力タイミング判別処理のタイミングが早まり、復号から表示時間までの遅延時間をさらに軽減し、各表示ピクチャをＰＴＳが指定する適切なタイミングで表示出力することが可能となる。尚、実施の形態２にかかる再生装置は、ＰＴＳ表示制御部７の処理が異なること以外は基本的には実施の形態１の再生装置と同様の構成であるので、重複した説明は省略する。

図５は本実施の形態にかかる再生装置のＰＴＳ表示制御部７における処理のフローを示す図である。
まずエレメンタリストリームがアクセスユニット（ＡＵ）境界までＣＰＢに蓄積されたかを判断する（Ｓ２１）。蓄積されたと判断された場合は、アクセスユニットのピクチャの復号を開始する（Ｓ２２）。次に、復号が完了したピクチャをＤＰＢ内に表示出力候補ピクチャとして登録する（Ｓ２３）。そして、表示可能時刻を計算する（Ｓ２４）。ここで表示可能時刻とは、ＤＰＢ内の表示出力候補ピクチャが持つＰＴＳとの比較対象になる基準時刻のことである。この場合、現復号ピクチャの復号開始タイミング（そのピクチャの復号タイムスタンプ（ＤＴＳ））を表示可能時刻として解釈する。

次に、表示出力候補のピクチャがＤＰＢ内にあるか判断する（Ｓ２５）。ここで表示出力候補ピクチャとは、現復号ピクチャの復号開始のタイミングにおいてＤＰＢ内の復号ピクチャのうち最初に表示すべきピクチャである。表示出力候補ピクチャはＤＰＢ内の復号ピクチャ情報を用いて、ＤＰＢ内の最小のＰＴＳを持ち、且つ表示出力していない（ただし、現在復号中のカレントピクチャは表示ピクチャ候補含めない）ものを表示出力候補ピクチャと判断する。

Ｓ２５において表示出力候補ピクチャがＤＰＢ内に存在すると判断された場合、表示出力候補のピクチャが持つＰＴＳが表示可能時刻以下であるか否か（ＰＴＳ≦表示可能時刻）に基づき、表示出力候補ピクチャが表示出力可能か判断する（Ｓ２６）。そして、Ｓ２６において表示出力候補のピクチャが持つＰＴＳが表示可能時刻以下であると判断された場合、表示出力候補ピクチャの表示出力をする（Ｓ２７）。このとき、表示出力したピクチャは表示出力済みとする（"出力用に不要"とＤＰＢ内でマーキングする）。また、ＤＰＢ内に ＳＴＣ以下の表示出力候補ピクチャが複数あれば、それらのピクチャも同様に出力する。

通常、ＤＴＳは、バッファのアンダーフローを回避するだけのゆとりを持たせられる復号タイミングとして遅延時間を考慮に入れている。よって、１アクセスユニット分の符合が蓄積したタイミングで復号することで、ＤＰＢへの登録タイミング（Ｓ２３）、表示可能時刻の計算(Ｓ２４)、表示候補ピクチャの選択(Ｓ２５、Ｓ２６)のタイミングを早めることができる。これにより、ピクチャの復号から表示までにかかる遅延時間を軽減することが可能となる。

図６は、バンピング処理にＰＴＳ表示制御部７による処理を加えた場合のＤＰＢの状態遷移の一例を示す図である。このとき、各アクセスユニットは、映像エレメンタリストリームの符号量が各アクセスユニット分ＣＰＢに蓄積されたタイミングで復号を開始し、且つピクチャタイミングＳＥＩ（Picture timing SEI） のシンタックスdpb_output_delayは存在しない。

図６のタイミング１５では、カレントピクチャ（最新の復号ピクチャ）のＢ１ピクチャの符号量が溜まった時点で復号を開始し、ＳＴＣ値（＝１）のタイミングで復号が完了している。この時、ＩＤＲ０ピクチャと、Ｐ３ピクチャの２ピクチャがＤＰＢに蓄積されているが、ＤＰＢサイズ（４ピクチャ）分まで蓄積されていないため、バンピング処理は働かない。ただしＰＴＳ表示制御部７の判別処理により、"ＩＤＲ０ピクチャのＰＴＳ（＝１）≦表示可能時刻（Ｂ１ピクチャのＤＴＳ＝２）"が真で、かつＤＰＢ出力ステータスが"出力必要"で、かつ最も小さいＰＯＣ値を持つＩＤＲ０ピクチャが表示出力される。

つまり、このタイミングで、背景技術にかかる図９のタイミング１１３で表示出力ピクチャとして選出されたＩＤＲ０ピクチャが表示出力される。この結果、ＩＤＲ０ピクチャは、実施の形態１で説明した図４のタイミング１１よりも早く、かつ適切なタイミングで表示出力される（ＩＤＲ０ ＰＴＳ＝ＳＴＣ＝１）。

図６のタイミング１６では、カレントピクチャ（最新の復号ピクチャ）のＢ２ピクチャの符号量が溜まった時点で復号を開始し、ＳＴＣ値（＝２）のタイミングで復号が完了している。この時、ＩＤＲ０ピクチャ、Ｐ３ピクチャ、Ｂ１ピクチャの３ピクチャがＤＰＢに蓄積されているが、ＤＰＢサイズ（４ピクチャ）分まで蓄積されておらずバンピング処理は働かない。ただしＰＴＳ表示制御部７の判別処理により、"Ｂ１ピクチャのＰＴＳ（＝２）≦表示可能時刻（Ｂ２ピクチャのＤＴＳ＝３）"が真で、かつＤＰＢ出力ステータスが"出力必要"で、かつ最も小さいＰＯＣ値を持つＢ１ピクチャが表示出力される。
この結果、Ｂ１ピクチャは、実施の形態１で説明した図４のタイミング１２よりも早く、かつ適切なタイミングで表示出力される（Ｂ１ ＰＴＳ＝ＳＴＣ＝２）。

図６のタイミング１７では、カレントピクチャ（最新の復号ピクチャ）のＰ６ピクチャの符号量が溜まった時点で復号を開始し、ＳＴＣ値（＝３）のタイミングで復号が完了している。この時、ＩＤＲ０ピクチャ、Ｐ３ピクチャ、Ｂ１ピクチャ、Ｂ２ピクチャの４ピクチャがＤＰＢに蓄積されており、その中で、Ｐ３ピクチャとＢ２ピクチャが出力候補ピクチャとなる。この場合、ＤＰＢサイズ（４ピクチャ）分までピクチャが蓄積されているためバンピング処理が働き、蓄積されているピクチャのうち、ＤＰＢ出力ステータスが"出力必要"で、かつ最も小さいＰＯＣ値を持つＢ２ピクチャが表示出力される。
この結果、Ｂ２ピクチャは、実施の形態１で説明した図４のタイミング１３よりも早く、かつ適切なタイミングで表示出力される（Ｂ２ ＰＴＳ＝ＳＴＣ＝３）。

図６のタイミング１８では、カレントピクチャ（最新の復号ピクチャ）のＢ４ピクチャの符号量が溜まった時点で復号を開始し、ＳＴＣ値（＝４）のタイミングで復号が完了している。この時、ＩＤＲ０ピクチャが表示ピクチャとして既に出力され、ＤＰＢ出力ステータスが"出力不要"となっているため、その空領域にＰ６ピクチャが登録される（この場合、ＩＤＲ０ピクチャは"参照不使用"のピクチャであるとする）。

それに加えてＰ３ピクチャ、Ｂ１ピクチャ、Ｂ２ピクチャの４ピクチャがＤＰＢに蓄積されており、その中で、Ｐ３ピクチャが出力候補ピクチャとなる。この場合、ＤＰＢサイズ（４ピクチャ）分までピクチャが蓄積されているため、バンピング処理が働き、蓄積されているピクチャのうち、ＤＰＢ出力ステータスが"出力必要"で、かつ最も小さいＰＯＣ値を持つＰ３ピクチャが表示出力ピクチャとして選出される。この結果、Ｐ３ピクチャは、実施の形態１で説明した図４のタイミング１４よりも早く、かつ適切なタイミングで表示出力される（Ｐ３ ＰＴＳ＝ＳＴＣ＝４）。

図６のタイミング１９では、カレントピクチャ（最新の復号ピクチャ）のＢ５ピクチャの符号量が溜まった時点で復号を開始し、ＳＴＣ値（＝５）のタイミングで復号が完了している。この時、Ｂ１ピクチャが表示ピクチャとして既に出力され、ＤＰＢ出力ステータスが"出力不要"となっているため、その空領域にＢ４ピクチャが登録される（この場合、Ｂ１ピクチャは"参照不使用"のピクチャであるとする）。

それに加えてＰ６ピクチャ、Ｐ３ピクチャ、Ｂ２ピクチャの４ピクチャがＤＰＢに蓄積されており、その中で、Ｂ４ピクチャが出力候補ピクチャとなる。この場合、ＤＰＢサイズ（４ピクチャ）分までピクチャが蓄積されているため、バンピング処理が働き、蓄積されているピクチャのうち、ＤＰＢ出力ステータスが"出力必要"で、かつ最も小さいＰＯＣ値を持つＢ４ピクチャが表示出力ピクチャとして選出される。この結果、Ｂ４ピクチャは適切なタイミングで表示出力される（Ｐ３ ＰＴＳ＝ＳＴＣ＝５）。

以上で説明したように、本実施の形態にかかる再生装置では実施の形態１にかかる再生装置よりも復号タイミングを早め、ＤＰＢに蓄積されている復号ピクチャのＰＴＳとカレントピクチャの相対的な表示可能時刻（カレントピクチャのＤＴＳ）を求めている。これにより、実施の形態１にかかる再生装置よりも早く復号ピクチャを表示出力することができ、各ピクチャの表示出力タイミングが、対応するＰＴＳに対して遅延を生じることなく適切に制御される。

よって、本実施の形態にかかる再生装置により、ＨＲＤ情報を持たないＨ．２６４／ＡＶＣストリームの復号処理において、復号ピクチャを遅延なく適切な表示タイミングで出力することが可能となる。その結果、表示画面の遅れや異常をきたすことなく正常な画面を出力することが可能となる。

以上、本発明を上記実施形態に即して説明したが、上記実施形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得るであろう各種変形、修正、組み合わせを含むことは勿論である。

１ 多重分離部
２ ＣＰＢ（第１のピクチャバッファ）
３ 画像復号部
４ ＤＰＢ（第２のピクチャバッファ）
５ ＡＶ同期制御部
６ 表示出力部
７ ＰＴＳ表示制御部（表示制御部）
８ 表示装置

Claims (14)

1. 入力された多重化ストリームから映像データを分離すると共に、当該多重化ストリームから当該分離された映像データに対応するＰＴＳ値、ＤＴＳ値、及びＳＴＣ値を抽出する分離部と、
   前記映像データを記憶する第１のピクチャバッファと、
   前記第１のピクチャバッファに記憶されている前記映像データを復号する復号部と、
   前記復号部により復号された前記映像データを記憶する第２のピクチャバッファと、
   前記映像データの前記ＰＴＳ値、前記ＤＴＳ値、及び前記ＳＴＣ値に基づき、前記第２のピクチャバッファから出力される前記復号された前記映像データの出力を制御する表示制御部と、を有する再生装置。
2. 前記表示制御部は、更に、前記復号部で復号された前記映像データの情報である復号ピクチャ情報に基づき前記第２のピクチャバッファから出力される前記復号された映像データの出力を制御する請求項１に記載の再生装置。
3. 前記表示制御部は、前記第２のピクチャバッファに記憶されている前記映像データのうち最小の前記ＰＴＳ値を有する映像データを出力候補とする、請求項１または２に記載の再生装置。
4. 前記表示制御部は、前記映像データの前記ＰＴＳ値が表示可能時刻以下である場合に当該映像データを出力する、請求項１乃至３のいずれか一項に記載の再生装置。
5. 前記表示制御部は、前記映像データの前記ＰＴＳ値が現復号ピクチャの復号開始タイミングである前記ＤＴＳ値以下である場合に当該映像データを出力する、請求項４に記載の再生装置。
6. 前記復号部は、前記第１のピクチャバッファのアクセスユニットに対応する前記ＤＴＳ値が前記ＳＴＣ値と等しい場合、前記アクセスユニットのピクチャを復号する、請求項１乃至５のいずれか一項に記載の再生装置。
7. 前記復号部は、前記映像データがアクセスユニットの境界まで蓄積された場合、前記アクセスユニットのピクチャを復号する、請求項１乃至５のいずれか一項に記載の再生装置。
8. 入力された多重化ストリームから映像データを分離すると共に、当該多重化ストリームから当該分離された映像データに対応するＰＴＳ値、ＤＴＳ値、及びＳＴＣ値を抽出し、
   前記映像データを第１のピクチャバッファに記憶し、
   前記第１のピクチャバッファに記憶されている映像データを復号し、
   前記復号された映像データを第２のピクチャバッファに記憶し、
   前記映像データの前記ＰＴＳ値、前記ＤＴＳ値、及び前記ＳＴＣ値に基づき、前記第２のピクチャバッファから出力される前記復号された映像データの出力を制御する、同期再生方法。
9. 前記復号された前記映像データの情報である復号ピクチャ情報に基づき前記第２のピクチャバッファから出力される前記復号された映像データの出力を制御する、請求項８に記載の同期再生方法。
10. 前記第２のピクチャバッファに記憶されている前記映像データのうち最小の前記ＰＴＳ値を有する映像データを出力候補とする、請求項８または９に記載の同期再生方法。
11. 前記映像データの前記ＰＴＳ値が表示可能時刻以下である場合に当該映像データを出力する、請求項８乃至１０のいずれか一項に記載の同期再生方法。
12. 前記映像データの前記ＰＴＳ値が現復号ピクチャの復号開始タイミングである前記ＤＴＳ値以下である場合に当該映像データを出力する、請求項１１に記載の同期再生方法。
13. 前記第１のピクチャバッファのアクセスユニットに対応する前記ＤＴＳ値が前記ＳＴＣ値と等しい場合、前記アクセスユニットのピクチャを復号する、請求項８乃至１２のいずれか一項に記載の同期再生方法。
14. 前記映像データがアクセスユニットの境界まで蓄積された場合、前記アクセスユニットのピクチャを復号する、請求項８乃至１２のいずれか一項に記載の同期再生方法。

Images