JP2007104030A - データ処理装置、その方法、およびプログラム - Google Patents

Abstract

【課題】表示遅延時間(dt)が変化しても、高精度AV同期を保ちながら、オーディオ（Audio）の音飛びや映像出力の乱れを回避することができるデータ処理装置、その方法およびプログラムを提供する。
【解決手段】データ処理装置１００は、出音処理部、出音部１３１，１３２から音声が出力されていない状態では、映像と音声との高精度な同期をとって上記音声の出力を開始し、出音処理部、出音部１３１，１３２から音声が出力されている状態において、演算回路１２５による表示遅延時間が変化した場合には、この変化直前の表示遅延時間をもって音声の出力を継続し、音声出力が一時停止後に出力再開するときは、演算回路１２５による最新の表示遅延時間で映像と音声との高精度な同期をとり直す。
【選択図】図５

Description

本発明はデータ処理装置、その方法およびプログラムに関し、たとえば、ＭＰＥＧ２（Moving Picture Experts Group Layer 2）方式等に基づいてエンコードされた圧縮映像データおよび圧縮音声データをデコードすることにより映像および音声を出力するデコード装置に適用して好適なものである。
圧縮映像データおよび圧縮音声データは、たとえばDVD・Blu-Ray Discなどの記録媒体や、デジタル放送、インターネットなどあらゆるデジタルメディアから取得可能なものを対象とする。

近年、この種のデコード装置として、デジタル放送受信機が普及し始めている。このようなデジタル放送受信機は、たとえばユーザによりチャンネル切換操作が行われると、図１に示すような処理手順ＲＴ１Ｘに従って、映像および音声を出力するように構成されている。

デジタル放送受信機は、図１に示すように、ユーザによりチャンネル切換操作が行われるとステップＳＰ１に移り、ＮＩＴ（Network Information Table）を受信する。このＮＩＴには、伝送路に関する物理的な情報（この場合、衛星の軌道、偏波、トランスポンダごとの周波数等）が示されている。
これにより、デジタル放送受信機は、このＮＩＴに基づいてチャンネル切換操作により要求された要求チャンネルに対応するトランスポンダを選択することができ、この結果この要求チャンネルに対応するトランスポートストリームを受信することができる。

次いで、デジタル放送受信機はステップＳＰ２の処理に移り、ＰＡＴ（Program Association Table）を受信する。
そして、このデジタル放送受信機はステップＳＰ３の処理に移り、このＰＡＴに基づいて要求チャンネルに対応するＰＭＴ（Program Map Table）を受信する。

続いて、デジタル放送受信機はステップＳＰ４の処理に移り、受信したＰＭＴに基づいて要求チャンネルに対応するＰＩＤ（Program Identification）を認識する。この場合このＰＩＤは、要求チャンネルに対応する圧縮映像データや圧縮音声データやＰＣＲ（Program Clock Reference）データ等が含まれているパケットを識別するための識別情報に相当する。
このデジタル放送受信機は、受信しているトランスポートストリームの中から、認識したＰＩＤに対応するパケットを分離することにより、この要求チャンネルに対応する圧縮映像データや圧縮音声データやＰＣＲデータ等をストリームとして得ることができる。

因みに、以上に説明したステップＳＰ１〜ＳＰ４までの処理は、分離処理（ＤＥＭＵＸ処理）として広く知られているものである（特許文献１参照）。

ところで、このようにして得られたストリーム中のＰＣＲデータには、圧縮映像データや圧縮音声データをエンコードしたエンコード装置側の基準時刻が示されている。

したがって、デジタル放送受信機は次のステップＳＰ５の処理に移ると、このデジタル放送受信機において計時される基準時刻（ＳＴＣ（System Time Clock））を、ＰＣＲデータに示されている時刻に合わせる。
これにより、このデジタル放送受信機において計時される基準時刻を、エンコード装置側の時刻と同期させることができる。

また、このストリームにおいては、図２に示すように、たとえば１フレーム分に相当する圧縮映像データ「Dpic(0)」、「Dpic(1)」、……ごとに、その映像を表示すべき時刻を示した表示時刻情報（ＰＴＳ（Presentation Time Stamp））が対応付けられている。
同様にして、このストリームにおいては、たとえば１フレーム分に相当する圧縮音声データ「Dframe(0)」、「Dframe(1)」、……ごとに、その音声を出力すべき時刻を示した出音時刻情報（ＰＴＳ）が対応付けられている。

このように、このデジタル放送受信機は、たとえば、計時している基準時刻が圧縮映像データ「Dpic(0)」に対応付けられている表示時刻情報「pts(0)」と一致したときステップＳＰ６の処理に移り、圧縮映像データ「Dpic(0)」をデコードした結果得られた映像データに基づく映像「Vpic(0)」を、表示部に表示する。

また、このデジタル放送受信機は、計時している基準時刻が圧縮音声データ「Dframe(0)」に対応付けられている出音時刻情報「pts(0)」と一致したときステップＳＰ７の処理に移り、当該圧縮音声データ「Dframe(0)」をデコードした結果得られた音声データに基づく音声「Sframe(0)」を、スピーカ等を介して出力する。

このようにしてこのデジタル放送受信機は、映像「Vpic(0)」、……を表示する映像表示タイミングと、この映像「Vpic(0)」、……に対応する音声「Sframe(0)」、……を出力する出音タイミングとをある程度一致させることができる。

一方、動画像がデジタル化されて記録されている記録媒体としてのディスクを再生するデータ再生装置として、図３に示すような、可変レート対応のデータ再生装置が提案されている（特許文献２参照）。

このデータ再生装置において、光ディスク１に記録されているデータは、ピックアップ２より再生される。ピックアップ２は、光ディスク１にレーザ光を照射し、その反射光から光ディスク１に記録されているデータを再生する。
そして、ピックアップ２が出力する再生信号は復調回路３に入力されて復調される。復調回路３により復調されたデータは、セクタ検出回路４を介してＥＣＣ回路５に入力され、誤りの検出、訂正が行われる。

なお、セクタ検出回路４において、セクタナンバ（光ディスク１のセクタに割り当てられたアドレス）が正常に検出されなかった場合、トラックジャンプ判定回路１８にセクタナンバ異常信号が出力される。
ＥＣＣ回路５は、訂正不能のデータが生じた場合、トラックジャンプ判定回路１８にエラー発生信号を出力する。誤りの訂正が行われたデータは、ＥＣＣ回路５からリングバッファメモリ７に供給されて記憶される。

リングバッファ制御回路６は、セクタ検出回路４の出力から各セクタ毎のアドレスを読み取り、そのアドレスに対応するリングバッファメモリ７上の書き込みアドレス（書き込みポイント（ＷＰ））を指定する。またリングバッファ制御回路６は、後段の多重化データ分離回路８からのコードリクエスト信号に基づき、リングバッファメモリ７に書き込まれたデータの読み出しアドレス（再生ポイント（ＲＰ））を指定し、その再生ポイント（ＲＰ）からデータを読み出し、多重化データ分離回路８に供給する。

多重化データ分離回路８のヘッダ分離回路９は、リングバッファメモリ７から供給されたデータからパックヘッダおよびパケットヘッダを分離して分離回路制御回路１１に供給する。
分離回路制御回路１１は、ヘッダ分離回路９から供給されたパケットヘッダのストリームｉｄ（stream id ）情報に従い、スイッチング回路１０の入力端子Ｇと出力端子（被切換端子）Ｈ１、Ｈ２を順次接続状態にして、時分割多重されたデータを正しく分離し、対応するコードバッファ１３、１５に供給する。

ビデオコードバッファ１３は、内部のコードバッファの残量により、多重化データ分離回路８に対してコードリクエスト信号を発生する。そして、受け取ったデータを記憶する。またビデオデコーダ１４からのコードリクエスト信号を受付け、内部のデータを出力する。ビデオデコーダ１４は供給されたデータからビデオ信号を再生し、出力端子から出力する。

オーディオコードバッファ１５は内部のコードバッファの残量により、多重化データ分離回路８に対してコードリクエスト信号を発生する。そして、受け取ったデータを記憶する。またオーディオデコーダ１６からのコードリクエスト信号を受付け、内部のデータを出力する。オーディオデコーダ１６は供給されたデータからオーディオ信号を再生し、出力端子から出力する。

このように、ビデオデコーダ１４はビデオコードバッファ１３にデータを要求し、ビデオコードバッファ１３は多重化データ分離回路８に要求を出し、多重化データ分離回路８はリングバッファ制御回路６に対して要求を出す。
このときには、データがリングバッファメモリ７から、今度は要求とは逆向きに流れていく。

ところで、たとえば単純な画面に関するデータ処理が続き、ビデオデコーダ１４の単位時間当たりのデータ消費量が少なくなると、リングバッファメモリ７からの読み出しも少なくなる。この場合、リングバッファメモリ７の記憶データ量が多くなり、オーバーフローするおそれがある。
このため、トラックジャンプ判定回路１８は、書き込みポイント（ＷＰ）および再生ポイント（ＲＰ）によりリングバッファメモリ７が現在記憶しているデータ量を算出（検出）し、そのデータがあらかじめ設定された所定の基準値を越えた場合に、リングバッファメモリ７がオーバーフローするおそれがあると判断して、トラツキングサーボ回路１７にトラックジャンプ指令を出力する。

また、トラックジャンプ判定回路１８は、セクタ検出回路４からのセクタナンバ異常信号またはＥＣＣ回路５からのエラー発生信号を検出した場合、書き込みアドレス（ＷＰ）と読み出しアドレス（ＲＰ）からリングバッファメモリ７内に残存しているデータ量を求めるとともに、現在のトラック位置から光ディスク１が１回転する間に（光ディスク１０１の１回転待ちの間に）、リングバッファメモリ７から多重化データ分離回路８への読み出しを保証するのに必要なデータ量を求める。

リングバッファメモリ７の残存データ量が大きい場合、リングバッファメモリ７から最高の転送レートでデータが読み出されてもリングバッファメモリ７にはアンダーフローが生じないため、トラックジャンプ判定回路１８は、エラー発生位置をピックアップ２で再度再生することによりエラー回復が可能であると判断して、トラツキングサーボ回路１７にトラックジャンプ指令を出力する。

トラックジャンプ判定回路１８によりトラックジャンプ指令が出力されると、トラツキングサーボ回路１７は、たとえば図４に示すようにピックアップ２による再生位置を、位置Ａから１トラック内周の位置Ｂにジャンプさせる。
そして、リングバッファ制御回路６において、その再生位置が光ディスク１が再び１回転して位置Ｂから位置Ａに到来するまでの間、すなわちセクタ検出回路４から得られるセクタナンバがトラックジャンプ時のセクタナンバになるまでの間、新たなデータのリングバッファメモリ７への書き込みが禁止され、必要に応じてリングバッファメモリ７に既に記憶されているデータが、多重化データ分離回路８に転送される。

また、トラックジャンプ後、セクタ検出回路４から得られるセクタナンバが、トラックジャンプ時のセクタナンバと一致しても、リングバッファメモリ７に記憶されているデータ量が所定の基準値を越えている場合、すなわちリングバッファメモリ７がオーバーフローする可能性がある場合には、リングバッファメモリ７へのデータの書き込みは再開されず、再びトラックジャンプが行われる。
このようにしてこのデータ再生装置においては、リングバッファメモリ１０７を持つことにより可変レート対応ができ、さらにエラーに対してリトライ(再試行)を行うことができる。

ところで、上述したデータ再生装置において、ＩＳＯ11172 （ＭＰＥＧ１）またはＩＳＯ13818 （ＭＰＥＧ２）に準拠するように、可変レートで圧縮されたビデオデータ、オーディオデータおよび字幕データが多重化されたデータを、ビデオデータ、オーディオデータ、字幕データの同期をとって再生し、同期ずれを修正し、エラー発生時に対応し、サーチ動作や一時停止動作やこま送り動作の機能を実現できれば、データ再生装置としての有用性を格段的に向上し得ると考えられる。

以上の点を考慮して、特許文献３に、可変レートで圧縮されたビデオデータ、オーディオデータおよび字幕データが多重化されたデータを高精度に同期をとって再生すると共に種々の機能を実現するデータ再生装置およびデータ記録媒体が提案されている。
特開２００３−２７４３０４号公報 特開平６−１２４１６８号公報 特開２００４−３６２７７５号公報

ところで、上述したデジタル放送受信機は、実際上、表示部に映像を表示する際に用いる走査線の垂直方向動作について同期を取るための垂直同期信号を生成し、これに同期させるようにして映像「Vpic(0)」、……を順次表示するように構成されている。

したがって、図２に示したような場合、たとえば音声「Sframe(0)」については、その音声「Sframe(0)」を出力すべき出音時刻「pts(0)」に出力できるのにもかかわらず、この音声「Sframe(0)」に対応する映像「Vpic(0)」については、その映像「Vpic(0)」を表示すべき表示時刻「pts(0)」に垂直同期信号が生成されていないのでこの映像「Vpic(0)」を表示することができず、これ以降の垂直同期信号が生成されたときにこの映像「Vpic(0)」を表示することになる。

この結果、上述したデジタル放送受信機においては、音声「Sframe(0)」、……の出音タイミングとこの音声「Sframe(0)」、……に対応する映像「Vpic(0)」、……の映像表示タイミングとの間に最大±１／２フレームの差が出てしまうので、映像表示タイミングと出音タイミングとを精度良く一致させているとは言い難い。

この問題を回避する手法としては、映像「Vpic(0)」、……を表示させる前に、デジタル放送受信機において生成されている垂直同期信号を表示時刻情報に合わせるように調節することも考えられるが、このような調節をした場合には垂直同期信号に乱れが生じ、これにより表示される映像「Vpic(0)」、……にショックが入ってしまうので、この手法を適用するのは好ましくない。

また、映像表示タイミングと出音タイミングとを高精度に一致させることができたとしても、実際上、上述したデジタル放送受信機は、PID切替やビデオシーケンス（Video sequence：水平垂直画素数、フレームレート、PTSのグリッド)の切替りなどに伴って表示遅延時間(dt)が変化すると音声（オーディオ；Audio）が音飛びするか、高精度の映像と音声（AV；Audio、Video）同期を保てないままとなるかのどちらかであった。

また、特許文献３に開示されたデータ再生装置において、この問題を回避する手法としては、映像「Vpic(0)」、……を表示させる前に、生成されている垂直同期信号を表示時刻情報に合わせるように調節しているため、垂直同期信号に乱れが生じ、これにより表示される映像「Vpic(0)」、……にいわゆるショックが入ってしまっていた。

本発明の目的は、表示遅延時間(dt)が変化したとしても、高精度AV同期を保ちながら、オーディオ（Audio）の音飛びや映像出力の乱れを回避することができるデータ処理装置、その方法およびプログラムを提供することにある。

本発明の第１の観点のデータ処理装置は、映像表示タイミング信号が供給されたとき、映像データに基づく映像を表示する表示手段と、上記映像データに基づく映像を表示すべき表示時刻以後、映像を表示させるタイミングを示す上記映像表示タイミング信号を所定の周期で上記表示手段に供給する供給手段と、上記映像データに基づく映像を表示すべき上記表示時刻から上記表示手段により当該映像が表示されるまでの表示遅延時間を算出する算出手段と、音声データに基づく音声を出力すべき出音時刻から上記算出手段で算出した表示遅延時間が経過したとき、上記音声データに基づく音声を出力可能な出音手段と、上記出音手段における上記音声の出力状態に応じて、上記出音手段の音声の出音タイミングを制御する制御手段とを有する。

好適には、上記制御手段は、上記出音手段から音声が出力されていない状態では、上記映像と上記音声との同期をとって上記音声の出力を開始する。

好適には、上記制御手段は、上記出音手段から音声が出力されている状態において、上記算出手段による表示遅延時間が変化した場合には、当該変化直前の表示遅延時間をもって当該音声の出力を継続する。

好適には、上記制御手段は、上記出音手段の音声出力が一時停止後に出力再開するときは、上記算出手段による最新の上記表示遅延時間で上記映像と音声との同期をとり直す。

好適には、上記音声データに含まれる出音時刻情報と上記算出手段による上記表示遅延時間に基づいて上記出音タイミングを上記映像表示タイミングと一致させる同期調整手段を有する。

好適には、少なくとも、上記表示遅延時間と上記同期調整手段の調整された出音タイミング情報に基づいて、上記映像と上記音声の同期ずれを検出可能し、検出したずれ量に応じて同期ずれを修正する同期検出修正手段を有する。

本発明の第２の観点のデータ処理方法は、映像表示タイミング信号が供給されたとき、映像データに基づく映像を表示する表示ステップと、上記映像データに基づく映像を表示すべき表示時刻以後、映像を表示させるタイミングを示す上記映像表示タイミング信号を所定の周期で供給する供給ステップと、上記映像データに基づく映像を表示すべき上記表示時刻から上記表示ステップにより当該映像が表示されるまでの表示遅延時間を算出する算出ステップと、音声データに基づく音声を出力すべき出音時刻から上記算出ステップで算出した表示遅延時間が経過したとき、上記音声データに基づく音声を出力する出音ステップと、上記出音ステップにおける上記音声の出力状態に応じて、上記出音ステップの出音タイミングを制御する制御ステップとを有する。

本発明の第３の観点のプログラムは、映像表示タイミング信号が供給されたとき、映像データに基づく映像を表示する表示ステップと、上記映像データに基づく映像を表示すべき表示時刻以後、映像を表示させるタイミングを示す上記映像表示タイミング信号を所定の周期で供給する供給ステップと、上記映像データに基づく映像を表示すべき上記表示時刻から上記表示ステップにより当該映像が表示されるまでの表示遅延時間を算出する算出ステップと、音声データに基づく音声を出力すべき出音時刻から上記算出ステップで算出した表示遅延時間が経過したとき、上記音声データに基づく音声を出力する出音ステップと、上記出音ステップにおける上記音声の出力状態に応じて、上記出音ステップの出音タイミングを制御する制御ステップとをコンピュータに実行させるためのデータ処理プログラムである。

本発明によれば、PID切替やVideo sequence(水平垂直画素数、フレームレート、PTSのグリッド)の切替りなどに伴って表示遅延時間(dt)が変化しても、高精度AV同期を保ちながら、Audioの音飛びや映像出力の乱れを回避することができる利点がある。

以下、本発明の実施形態を図面に関連付けて説明する。

図５は、本発明の実施形態に係るデータ処理装置の構成例を示すブロック図である。
図６は、図５のデータ処理装置の基本的な映像表示タイミングと出音タイミングを示すタイムチャートである。
また、図７、図５のデータ処理装置の表示遅延時間の更新にかかわる映像表示タイミングと出音タイミングを示すタイムチャートである。
本実施形態のデータ処理装置１００は、たとえばデジタル放送受信機、蓄積データの再生装置に適用可能である。

データ処理装置１００は、図５に示すように、デジタルチューナ１０１、蓄積メディア１０２、ストリームバッファ１０３、分離処理部(ＤＥＭＵＸ処理部)１０４、源発振クロック生成部１０９、基準時刻（ＳＴＣ（System Time Clock））カウンタ部１１０、映像ＥＳバッファ１１１、字幕ＥＳバッファ１１２、音声ＥＳバッファ１１３、表示時刻情報抽出部１１４、映像デコーダ部１１５、出字時刻情報抽出部１１６、字幕デコーダ部１１７、出音時刻情報抽出部１１８、音声デコーダ部１１９、第１比較回路１２０、第２比較回路１２１、第３比較回路１２２、水平垂直同期信号生成回路１２３、第１ラッチ回路１２４、第１演算回路１２５、加算器１２６、同期信号発生回路１２７、表示遅延時間管理部１２８、表示処理部１２９、表示部１３０、出音処理部１３１、出音部１３２、第２ラッチ回路１３３、第２演算回路１３４、第３演算回路１３５、同期ずれ検出部１３６、および同期ずれ修正部１３７を、有している。

また、本実施形態のＤＥＭＵＸ処理部１０４は、ＮＩＴ取得部１０５、ＰＡＴ取得部１０６、ＰＭＴ取得部１０７、およびフィルタ部１０８を有する。
そして、フィルタ部１０８は、ＰＣＲ（Program Clock Reference）フィルタ１０８Ａ、映像フィルタ１０８Ｂ、字幕フィルタ１０８Ｃ、および音声フィルタ１０８Ｄを、含んで構成されている。

データ処理装置１００において、デジタルチューナ１０１により、アンテナ等を介して受信したテレビ放送波から得られる入力ストリームが、ＤＥＭＵＸ処理部１０４内のＮＩＴ取得部１０５に供給される。

ＮＩＴ取得部１０５は、デジタルチューナ１０１により供給された入力ストリームからＮＩＴ（Network Information Table）を取得する。
これにより、デジタルチューナ１０１は、取得したＮＩＴに基づいてユーザのチャンネル切換操作により要求された要求チャンネルに対応するトランスポンダを選択することができ、その結果、この要求チャンネルに対応するトランスポートストリームを受信することができる。

この後、ＤＥＭＵＸ処理部１０４内に設けられたＰＡＴ取得部１０６は、ＰＡＴ（Program Association Table）を取得する。
次いで、ＤＥＭＵＸ処理部１０４内に設けられたＰＭＴ取得部１０７は、ＰＡＴ取得部１０６により取得されたＰＡＴに基づいて、ユーザのチャンネル切換操作により要求された要求チャンネルに対応するＰＭＴ（Program Map Table）を取得する。

そして、ＰＭＴ取得部１０７は、取得したＰＭＴに基づいて、要求チャンネルに対応するＰＩＤ（Program Identification）を認識し、認識したＰＩＤをフィルタ部１０８内のＰＣＲフィルタ１０８Ａ、映像フィルタ１０８Ｂ、字幕フィルタ１０８Ｃおよび音声フィルタ１０８Ｄのそれぞれに設定する。

また、蓄積メディア(DISKなど)１０２からは、その蓄積データをストリームバッファ１０３に入れ、ストリームバッファ１０３のストリームがＤＥＭＵＸ処理部１０４に供給される。

ＤＥＭＵＸ処理部１０４のフィルタ部１０８におけるＰＣＲフィルタ１０８Ａ、映像フィルタ１０８Ｂ、字幕フィルタ１０８Ｃおよび音声フィルタ１０８Ｄは、それぞれに設定されたＰＩＤに基づいて、受信されているトランスポートストリームから、要求チャンネルに対応するＰＣＲデータ、圧縮映像データ、字幕データおよび圧縮音声データが含まれているＰＣＲ、映像パケット、音声パケットおよび字幕パケットを抽出することができる。
抽出された各データはＳＴＣカウンタ部１１０、映像ＥＳバッファ１１１、字幕ＥＳバッファ１１２、および音声ＥＳバッファ１１３にそれぞれ供給される。

源発振クロック生成部１０９は、ＰＣＲフィルタ１０８Ａにより抽出されたＰＣＲパケット中のＰＣＲデータを基準信号として、ＳＴＣカウンタ部１１０から出力される信号を位相同期させるような負帰還制御を行う。
これにより、源発振クロック生成部１０９は、エンコーダ装置側の基準クロック信号に同期した動作クロック信号Ｓ１０１を生成することができ、得られた動作クロック信号Ｓ１０１を水平垂直同期信号発生回路１２３、同期信号発生回路１２７、およびＳＴＣカウンタ部１１０に対して供給する。

水平垂直同期信号発生回路１２３は、源発振クロック生成部１０９から供給される動作クロック信号Ｓ１０１に基づいて、走査線の垂直方向動作について同期を取るための垂直同期信号Ｓ１０２と、走査線の水平方向動作について同期を取るための水平同期信号Ｓ１０３とを生成する。
そして、水平垂直同期信号発生回路１２３は、生成した垂直同期信号Ｓ１０２を第１ラッチ回路１２４と表示処理部１２９に対して供給する。
また、水平垂直同期信号発生回路１２３は、源発振クロック生成部１０９から供給される動作クロック信号Ｓ１０１と、生成した垂直同期信号Ｓ１０２および水平同期信号Ｓ１０３とを、表示処理部１２９に対して供給する。
すなわち、水平垂直同期信号発生回路１２３は、供給手段の一部として機能する。

これにより、表示処理部１２９は、供給される動作クロック信号Ｓ１０１、垂直同期信号Ｓ１０２、および水平同期信号Ｓ１０３に従って、映像デコーダ部１１５から供給されるデジタル映像信号Ｓ１０４と字幕デコーダ部１１７から供給される字幕信号Ｓ１１０を、後段の表示部１３０に対して供給する。
その結果、デジタル映像信号Ｓ１０４と字幕信号Ｓ１１０に基づく映像が表示部１３０に表示される。

同期信号発生回路１２７は、源発振クロック生成部１０９から供給される動作クロック信号Ｓ１０１に基づいてオーディオフレーム（Audio Frame）出力同期信号Ｓ１０５を生成する。
そして、同期信号発生回路１２７は、生成した同期信号Ｓ１０５と源発振クロック生成部１０９から供給される動作クロック信号Ｓ１０１とを、出音処理部１３１に対して供給する。
このようにして、出音処理部１３１は、供給される動作クロック信号Ｓ１０１およびオーディオフレーム（Audio Frame）出力同期信号Ｓ１０５に従って、音声デコーダ部１１９から供給されるデジタル音声信号Ｓ１０６を、後段の出音部１３２に対して供給する。
その結果、デジタル音声信号Ｓ１０６に基づく音声が出音部１３２を介して出力される。
また、同期信号発生回路１２７は、生成したオーディオフレーム（Audio Frame）出力同期信号Ｓ１０５を第２ラッチ回路１３３に供給する。

一方、ＳＴＣカウンタ部１１０は、源発振クロック生成部１０９からの動作クロック信号Ｓ１０１に基づいて、デジタルチューナ１０１および蓄積メディア１０２からのストリームにおける基準時刻（ＳＴＣ（System Time Clock））を計時する。
ＳＴＣカウンタ部１１０は、ＰＣＲフィルタ１０８ＡからＰＣＲパケットが供給されると、計時している基準時刻を、供給されたＰＣＲパケット中のＰＣＲデータに示されている時刻に合わせる。
これにより、このデジタルチューナ１０１および蓄積メディア１０２からのストリームにおいて計時される基準時刻を、エンコード装置側の時刻と同期させることができる。
そして、ＳＴＣカウンタ部１１０は、計時している基準時刻を示した基準時刻情報Ｉ１０１を、源発振クロック生成部１０９、第１ラッチ回路１２４、第２ラッチ回路１３３、第１比較回路１２０、第２比較回路１２１、および第３比較回路１２２に対して供給する。

表示時刻情報抽出部１１４は、映像ＥＳバッファ１１１から、１フレームごとの圧縮映像データに対応付けられている表示時刻情報（ＰＴＳ（Presentation Time Stamp））Ｉ１０２を抽出し、これを第１比較回路１２０、第１演算回路１２５、および第２演算回路１３４に対して供給する。

第１比較回路１２０は、ＳＴＣカウンタ部１１０から順次供給される基準時刻情報Ｉ１０１と、表示時刻情報抽出部１１４から供給される表示時刻情報Ｉ１０２とを比較する。
そして、第１比較回路１２０は、たとえば図６に示すように、基準時刻情報Ｉ１０１において示される基準時刻が、表示時刻情報Ｉ１０２において示されるたとえば表示時刻「ＰＴＳＶ(0)」と一致したとき、デコード処理を開始させるためのデコード処理開始命令信号Ｓ１０７を、映像デコーダ部１１５に対して供給する。

映像デコーダ部１１５は、第１比較回路１２０からデコード処理開始命令信号Ｓ１０７が供給されると、映像ＥＳバッファ１１１から得られる、対応する１フレーム分の圧縮映像データ「Dpic(0)」をデコード処理することによりデジタル映像信号Ｓ１０４を生成し、これを表示処理部１２９に対して供給する。

しかしながらこの場合、表示処理部１２９は、図６に示す基準時刻「ＰＴＳＶ(0)」において、水平垂直同期信号発生回路１２３から垂直同期信号Ｓ１０２が供給されていないので、これ以降の垂直同期信号Ｓ１０２が供給された時刻「vt(n)」に、映像デコーダ部１１５から供給された１フレーム分のデジタル映像信号Ｓ１０４を表示部１３０に供給する。
これにより、このデジタル映像信号Ｓ１０４に基づく映像「Vpic(0)」を表示するタイミングが、この映像「Vpic(0)」を表示すべき表示時刻「ＰＴＳＶ(0)」よりも、所定時間ｄｔ(0)だけ遅れることになる（以下、この所定時間を表示遅延時間と呼ぶ）。
ビデオのフレームレートや水平垂直画素数が変化した場合には必要に応じて垂直同期信号の周期設定を変更することがある。このような事象の発生に伴いビデオの表示遅延時間は変化するため、以下ビデオの表示遅延時間のことをｄｔ[最新値]と呼ぶこととする。
一方、オーディオの出力遅延時間の調整に使用される表示遅延時間のことをｄｔと呼ぶこととする。

ところで、本実施の形態の第１ラッチ回路１２４は、予め、水平垂直同期信号発生回路１２３から垂直同期信号Ｓ１０２が供給されたたとえばタイミングＴ１で、ＳＴＣカウンタ部１１０から供給された基準時刻「vt(n-1)」を示す基準時刻情報Ｉ１０１をラッチしている。
これにより、第１ラッチ回路１２４から演算回路１２５に対しては、基準時刻「vt(n-1)」が示された基準時刻情報Ｉ１０１が供給されている。

そして、第１演算回路１２５は、表示時刻情報抽出部１１４から表示時刻「ＰＴＳＶ(0)」が示された表示時刻情報Ｉ１０２が供給された際、次式、を計算することにより表示遅延時間ｄｔ[最新値]を算出する。

(数１)
dt[最新値] = Vt - (PTSV - STC[vt]) mod Vt ・・・式(1)
因みにこの式（１）を具体的に説明すると、圧縮映像データ「Dpic(0)」に基づく映像「Vpic(0)」を表示すべき表示時刻「ＰＴＳＶ(0)」を入手後、後で図１１のフローチャートに関連付けて説明するように、その後に垂直同期信号Ｓ１０２が供給されたときのＳＴＣ時刻「STC[vt]」を引き算した後、その結果を垂直同期信号Ｓ１０２の周期時間Vtで割り算する。そしてこの割り算した結果生じた余りを、垂直同期信号Ｓ１０２の周期時間Vtから引き算することにより、表示遅延時間ｄｔ[最新値]を算出する。

第１演算回路１２５は、このように算出した表示遅延時間ｄｔ[最新値]を示す表示遅延時間情報Ｉ１０３を、表示遅延時間管理部１２８に供給する。
表示遅延時間管理部１２８は、供給された表示遅延時間ｄｔ[最新値]を保持する。
この第１演算回路１２５や表示遅延時間管理部１２８等が算出手段の一部として機能する。

表示遅延時間管理部１２８は、後で説明する図１２のフローチャートにあるように、ステップＳＰ３０１またはＳＰ３０３の条件を満たしているタイミングで表示遅延時間ｄｔを更新する。ＳＰ３０１またはＳＰ３０３の条件判定に必要となる情報は、音声デコーダ部１１９からの音声同期ずれ検出情報Ｉ１０８により与えられる。

表示遅延時間管理部１２８は、加算器１２６に対して、表示遅延時間ｄｔを示す情報Ｉ１０５を供給する。

この一方で、出音時刻情報抽出部１１８は、音声ＥＳバッファ１１３から、１フレームごとの圧縮音声データに対応付けられている出音時刻情報（ＰＴＳ）Ｉ１０４を抽出し、これを第３演算回路１３５、加算器１２６に対して供給する。

加算器１２６は、出音時刻情報抽出部１１８から供給された出音時刻情報Ｉ１０４が示すたとえば出音時刻「ＰＴＳＡ(0)」に対して、表示遅延時間管理部１２８から供給された表示遅延時間情報Ｉ１０５が示す表示遅延時間ｄｔを加算し、その加算結果「vt(n)」を示した修正出音時刻情報Ｉ１０６を第２比較回路１２１に対して供給する。

第２比較回路１２１は、ＳＴＣカウンタ部１１０から順次供給される基準時刻情報Ｉ１０１と、加算器１２６から供給される修正出音時刻情報Ｉ１０６とを比較する。
そして、第２比較回路１２１は、基準時刻情報Ｉ１０１において示される基準時刻が、修正出音時刻情報Ｉ１０６において示される出音時刻「vt(n)」と一致したとき、デコード処理を開始させるためのデコード処理開始命令信号Ｓ１０８を、音声デコーダ部１１９に対して供給する。
なお、本実施形態において、加算器１２６や第２比較回路１２１等により同期調整手段が構成される。

音声デコーダ部１１９は、第２比較回路１２１からデコード処理開始命令信号Ｓ１０８が供給されると、これに応じて音声ＥＳバッファ１１３から得られる、対応する１フレーム分の圧縮音声データ「Dframe(0)」をデコード処理することによりデジタル音声信号Ｓ１０６を生成し、これを出音処理部１３１を介して出音部１３２に供給する。
これにより、圧縮音声データ「Dframe(0)」に基づく音声「Sframe(0)」が、時刻「ＰＴＳＡ(0)」から表示遅延時間ｄｔだけ遅れた時刻「vt(n)」に出力される。

出字時刻情報抽出部１１６は、字幕ＥＳバッファ１１２から、圧縮映像データに対応付けられている出字時刻情報（ＰＴＳ（Presentation Time Stamp））Ｉ１０７を抽出し、これを第３比較回路１２２および第１演算回路１２５に対して供給する。

第３比較回路１２２は、ＳＴＣカウンタ部１１０から順次供給される基準時刻情報Ｉ１０１と、出字時刻情報抽出部１１６から供給される出字時刻情報Ｉ１０７とを比較する。
そして、第３比較回路１２２は、当該基準時刻情報Ｉ１０１において示される基準時刻が、出字時刻情報Ｉ１０７において示される出字時刻と一致したとき、デコード処理を開始させるためのデコード処理開始命令信号Ｓ１０９を、字幕デコーダ部１１７に対して供給する。

字幕デコーダ部１１７は、第３比較回路１２２からデコード処理開始命令信号Ｓ１０９が供給されると、字幕ＥＳバッファ１１３から得られる、圧縮字幕データをデコード処理することにより字幕信号Ｓ１１０を生成し、これを表示処理部１２９に対して供給する。

このように、この例で示したデータ処理装置１００は、図６に示すように、映像「Vpic(0)」が表示される映像表示タイミングと、この映像「Vpic(0)」に対応する音声「Sframe(0)」が出音される出音タイミングとを、高精度に一致させることができる。

またこの後もこの例でデータ処理装置１００は、同じようにして、出音時刻情報抽出部１１８から供給される出音時刻情報Ｉ１０４が示す出音時刻に対して、表示遅延時間管理部１２８から供給される表示遅延時間情報Ｉ１０５が示す表示遅延時間ｄｔを加算し続ける。
これによりこれ以降も、映像「Vpic(1)」、……が表示される映像表示タイミングと、それ対応する音声「Sframe(1)」、……が出音される出音タイミングとを、高精度に一致させることができる。

＜比較例１＞
これに対して、たとえば特許文献３に開示された蓄積データの再生装置では、図８に示すように、映像「Vpic(0)」、……を表示させる前に、生成されている垂直同期信号を表示時刻情報に合わせるように調節しているため、垂直同期信号に乱れが生じ、これにより表示される映像「Vpic(0)」、……にショックが入ってしまっていた。
具体的には、蓄積データの再生装置においては、図７においてタイミングＴ２で、生成されている垂直同期信号を表示時刻情報PTSV(0)に合わせるように調節する。そのため、垂直同期信号（ＶＳＹＮＣ）に乱れが生じ、その直後に表示される映像Vpic(0)にショックが入る。

＜比較例２＞
また、本発明の実施形態に係る構成を採用していないデジタル放送受信機では、PID切替やVideo sequence(水平垂直画素数、フレームレート、PTSのグリッド)の切替りなどに伴って高精度AV同期を保障する遅延値(dt)が変化するとAudioが音飛びするか、高精度AV同期を保てないままとなる。
具体的には、図９に示すように、PID切替やVideo sequenceの切替りなどで、図中の表示時間遅延dt(0)とdt(1)のように表示時間遅延が変化する。その場合、dt(0)< dt(1)であれば、Sframe(0)の出力が終わっても、次のSframe(1)の出力時刻がPTSA(1)+dt(1)であるため、まだ出力時刻とならない。したがって、音飛びが発生する。
また、dt(0) > dt(1)であれば、Sframe(0)の出力が終わらないうちに、Sframe(1)の出力時刻となってしまうため、同期ずれとなる。

本発明の実施形態に係るデータ処理装置１００は、以上の点を考慮して構成されており、前述した図６に示すように、PID切替やVideo sequence(水平垂直画素数、フレームレート、PTSのグリッド)の切替りなどに伴って高精度AV同期を保障する遅延値(dt)が変化しても、高精度AV同期を保ちながら、Audioの音飛びや映像出力の乱れを回避しうる。
具体的には、図６および図７に示すように、表示遅延時間の最新値が、dt(0)からdt(1)に変化するように、変化しても、Sframe(1)の出力時に使用する表示遅延時間dtを、Sframe(0)時のdtと同じものにすることで、Audioの音飛びや映像出力の乱れを回避することができる。

以下に、本実施形態に係るデータ処理装置１００における、状態遷移、表示遅延時間dtの更新処理、および同期ずれ検出処理につい図１０〜図１４のフローチャートに関連付けて、順を追って説明する。

まず、状態遷移について説明する。
図１０は、本実施形態に係るデータ処理装置の状態遷移について説明するためのフローチャートである。

データ処理装置１００においては、ステップＳＰ１０１では初期設定状態、ステップＳＰ１０２では停止状態をとり、ステップＳＴ１０３において、放送受信視聴であるか蓄積メディア再生であるかの判別を行う。

そして、たとえば放送受信視聴であれば、ステップＳＰ１０４のように視聴準備状態となる。
その後、放送受信によりステップＳＰ１０５においてＮＩＴを取得し、ステップＳＰ１０６においてＰＡＴを取得し、ステップＳＰ１１０においてＰＭＴを取得し、各ＰＩＤを取得する。
次いで、ステップＳＰ１１５において、このＰＭＴに基づいて認識したＰＩＤを用いて、トランスポートストリームからＰＣＲパケット、映像パケットおよび音声パケットを分離する。
そして、ステップＳＰ１１６にて、分離した各ＥＳのデコードを開始する。次にステップＳＰ１１７において、ＳＴＣカウンタ部１１０により計時している基準時刻を、ステップＳＰ１１１またはステップＳＰ１１３で選択済みの同期基準に基づいて、基準時計（ＳＴＣ）を設定する。

さらに続くステップＳＰ１１８において、垂直同期信号Ｓ１０２が供給されたたとえば図６のタイミングＴ１で、ＳＴＣカウンタ部１１０から供給された基準時刻情報Ｉ１０１（「vt(n-1)」）を、第１ラッチ回路１２４にラッチさせる。

そしてステップＳＰ１１９に移り、たとえば最初にデコードする圧縮映像データ「Dpic(0)」の表示時刻情報Ｉ１０２（「ＰＴＳＶ(0)」）を、表示時刻情報抽出部１１４によって所定時間内に抽出できたか否かを判定する。

このステップＳＰ１１９において肯定結果が得られると、このことは、圧縮映像データ「Dpic(0)」に対応する表示時刻情報Ｉ１０２（「ＰＴＳＶ(0)」）を抽出できたことを意味しており、次のステップＳＰ１２１に進む。

そして、ステップＳＰ１２１において、抽出した表示時刻情報Ｉ１０２（「ＰＴＳＶ(0)」）と第１ラッチ回路１２４によりラッチした基準時刻情報Ｉ１０１（「vt(n-1)」）とを用いて上述の式（１）を第１演算回路１２５に演算させることにより、表示遅延時間ｄｔ[最新値]を算出する。

次に、ステップＳＰ１２２に移り、表示する映像「Vpic(0)」の表示遅延時間ｄｔ[最新値]を予め得ることができる。
これにより、ステップＳＰ１２４において、この映像「Vpic(0)」に対応する音声「Sframe(0)」を、かかる表示遅延時間ｄｔだけ遅らせて出力することができる。
また、映像と字幕に関しては、ステップＳＰ１２３・ステップＳＰ１２５により、表示時刻がＳＴＣに一致した以後のVSyncが供給された時に表示を開始する。

また、ステップＳＰ１１９において否定結果が得られた場合、このことは、圧縮映像データ「Dpic(0)」に対応する表示時刻情報Ｉ１０２（「ＰＴＳＶ(0)」）が欠落していた等の理由により、表示時刻情報Ｉ１０２（「ＰＴＳＶ(0)」）が抽出できなかったことを意味しており、このときは、表示遅延時間ｄｔ[最新値]を算出するステップＳＰ１２１ではなくステップＳＰ１２０に進む。
そして、このステップＳＰ１２０において、表示遅延時間ｄｔ[最新値]の値をたとえば「０」に設定し、続くステップＳＰ１２３、ＳＰ１２４およびＳＰ１２５に進む。

ステップＳＰ１２６において、視聴・再生定常状態に移ると、同期ずれの検出と修正を行う。
詳細は、後で図１３および図１４のフローチャートに関連付けて説明する。
また、表示時刻情報（ＰＴＳＶ）毎に、後で図１１に関連付けて説明するように、表示遅延時間ｄｔ[最新値]を算出する。さらに、図１２に関連付けて説明するように、表示遅延時間ｄｔの更新も随時実施している。

蓄積メディア再生の場合、たとえばユーザ入力や外部インターフェースからの指令によって、再生定常状態からステップＳＰ１２７のサーチ状態、ステップＳＰ１２８の一時停止状態、ステップＳＰ１２９のコマ送り状態へと遷移する。

ステップＳＰ１２７におけるサーチ状態は、ビデオデータのうち、一定間隔ごとに出現するＩピクチャデータのみを再生し、ＩピクチャとＩピクチャの間のＰピクチャやＢピクチャを再生しないでスキップすることにより、蓄積メディア１０２に記録されたビデオデータを通常の再生にかかる時間よりも短い時間で再生する動作である。

ステップＳＰ１２８において、一時停止状態に移行すると、音声デコーダ部はデコードを一時停止する。
また、映像デコーダ部１１５と字幕デコーダ部１１７は水平垂直同期信号発生回路１２３からの垂直同期信号Ｓ１０２を待ち、垂直同期信号の検出後、映像デコーダ部１１５と字幕デコーダ部１１７はデコードを一時停止し、最後にデコードした画面を表示し続ける。
ＳＴＣカウンタ部１１０はＳＴＣの自動カウンタアップを中止する。

ステップＳＰ１２９において、コマ送り状態に移行すると、映像デコーダ部１１５は１フレーム分だけデコードを実施する。
すなわち、水平垂直同期信号発生回路１２３からの垂直同期信号Ｓ１０２を待ち、次の垂直同期信号Ｓ１０２で映像デコーダ部１１５が１フレーム分だけデコードを実施し、その次の垂直同期信号Ｓ１０２でデコードを一時停止する。
次に、ＳＴＣを、１フレーム分だけ進める。すなわち、ＳＴＣカウンタ部１１０のＳＴＣに１フレームの表示時間を加えて、その値を再びＳＴＣカウンタ部１１０にセットする。上記の処理をコマ送りの解除が行われるまで繰り返す。

ステップＳＰ１２７のサーチ状態、ステップＳＰ１２８の一時停止状態、ステップ１２９のコマ送り状態の何れかの状態から、再生状態へ復帰する場合または停止する場合は、ステップＳＰ１３０にて現在表示している映像の表示時刻を現在時刻として、表示時刻情報を抽出済みとする。

そして、本実施形態のデータ処理装置１００においては、同期ずれ検出方式、および、同期ずれ修正方式に次のような制御方式を含んで構成されている。
オーディオ（Audio）が出力されていない状態では高精度AV同期を取ってAudioを出力開始する。
Audioが出力されている状態でVideoSequence(フレームレート、水平垂直画素数)切り替わりなどに伴う表示遅延時間(dt[最新値])が変化してもAudio出力は変化前の表示遅延時間(dt)で継続する。
Audioがアンダーフロー（Underflow）やPTS ギャップ、再生モード遷移などでAudio一時停止後の出力再開する時に最新の表示遅延時間(dt[最新値])で同期を取り直す。
これにより高精度にAV同期を行いながら、PID切替やVideo sequence(水平垂直画素数、フレームレート、PTSのグリッド)の切替りなどに伴って表示遅延時間(dt)が変化しても、高精度AV同期を保ちながら、Audioの音飛びや映像出力の乱れを回避できる。

次に、表示遅延時間dt[最新値]の算出処理について説明する。
図１１は、本実施形態に係るデータ処理装置１００の表示遅延時間dt[最新値]の算出について説明するためのフローチャートである。

まずステップＳＰ２０１にて、映像デコーダ部１１５は映像のフレームレートまたは水平垂直画素数に変化があったか否かを判定する。変化があった場合は、ステップＳＰ２０２に移行する。

ステップＳＰ２０２では、必要に応じて垂直同期信号の周期設定を行う。すなわち、映像デコーダ部１１５からの垂直同期信号設定情報Ｉ１０９により、水平垂直同期信号発生回路１２３は、周期設定を変更する。その後、ステップＳＰ２０３へ移行する。

ステップＳＰ２０３において、垂直同期信号の周期時間Vtを算出する。

ステップＳＰ２０４に移り、表示時刻情報抽出部１１４から表示時刻ＰＴＳＶが示された表示時刻情報Ｉ１０２が演算回路１２５に送られる。

一方、第１ラッチ回路１２４は、予め、水平垂直同期信号発生回路１２３から垂直同期信号Ｓ１０２が供給されたタイミングで、ＳＴＣカウンタ部１１０から供給された基準時刻を示す基準時刻情報Ｉ１０１(STC[vt])をラッチしている。これによりこの第１ラッチ回路１２４から演算回路１２５に対しては、基準時刻が示された基準時刻情報Ｉ１０１が供給されている（ステップＳＰ２０５、ＳＰ２０６）。

dt[最新値]を算出に必要となる情報が揃ったため、ステップＳＰ２０７で式（１）の計算を行うことにより、dt[最新値]を算出する。

ステップＳＰ２０８にて、演算回路１２５からdt[最新値]の情報Ｉ１０３が送られ、表示遅延時間管理部１２６は、dt[最新値]を保存する。

次に、オーディオの出力遅延時間dtの更新処理について説明する。
図１２は、本実施形態に係るデータ処理装置のオーディオの出力遅延時間dtの更新処理について説明するためのフローチャートである。

ステップＳＰ３０１またはステップＳＰ３０３の判定で、判定結果が肯定であれば、出力遅延時間dtをステップＳＰ３０２またはステップＳＰ３０４にてdt[最新値]に更新する。
ステップＳＰ３０１またはステップＳＰ３０３の条件判定に必要となる情報は、音声デコーダ部１１９からの音声同期ずれ検出情報Ｉ１０８により与えられる。
また、判定結果が否定であれば、出力遅延時間dtは変化しない。
また、図７のタイムチャートにおいては、ステップＳＰ３０３の条件であるAudioのGap・無音が発生した場合に出力遅延時間dtを更新する状況を示している。

次に、ビデオ（Video）およびオーディオ(Audio)の同期ずれ検出・修正について説明する。
映像デコーダ部１１５および音声デコーダ部１１９が両方ともデコード状態にある時、リップシンクと呼ばれる表示画像と出力音声の同期ずれを検出し、修正する手段が必要となる。

まず、ビデオ（Video）の同期ずれ検出・修正について説明する。
図１３は、本実施形態に係るデータ処理装置におけるビデオ（Video）の同期ずれ検出・修正について説明するためのフローチャートである。

ステップＳＰ４０１において、表示時刻情報抽出部１１４で次の垂直同期信号Ｓ１０２で出力されるＰＴＳＶを得たか否かを判定する。
結果が肯定であれば、ステップＳＰ４０２へ移行する。

ステップＳＰ４０２では、演算回路１２５が、表示時刻情報抽出部１１４より新たなＰＴＳＶを得る。

第１ラッチ回路１２４にて、垂直同期信号Ｓ１０２が供給されたタイミングで、ＳＴＣカウンタ部１１０から供給された基準時刻を示す基準時刻情報Ｉ１０１(STC[vt])をラッチする（ステップＳＰ４０３、ＳＰ４０４）。

ステップＳＰ４０５に移り、第４比較回路１２０がＰＴＳＶ−ＳＴＣ[vt]の計算を行い、その結果を同期ずれ検出部１３６に送る。また、演算回路１２５は、算出したｄｔ[最新値]を同期ずれ検出部１３６に送る。

ステップＳＰ４０６においては、同期ずれ検出部１３６にてＰＴＳＶ−ＳＴＣ[vt]の計算結果と表示遅延時間ｄｔ[最新値]の和が０となることを確認する。すなわち、Videoの同期ずれがないことを確認する。
肯定結果であれば、ステップＳＰ４０８へ移行する。否定結果であれば、ステップＳＰ４０７へ移行する。

ステップＳＰ４０８とステップＳＰ４０９において、ずれ検出方式とずれ修正方式を確認する。少なくともどちらかが否定結果であれば、ずれ検出またはずれ修正を行わない。どちらも肯定結果であれば、ステップＳＰ４１０へ移行する。

ステップＳＰ４１０においは、同期ずれ検出部１３６にてVideoとAudio間で同期ずれが生じているか否かを確認する。ずれがなければ、何もしない。同期ずれが生じていれば、同期ずれ検出信号Ｓ１１１を同期ずれ修正部１３７に送出する。

ステップＳＰ４１１において、同期ずれ修正部１３７は、同期ずれ量を計算する。
（ＰＴＳＶ−ＳＴＣ[vt]）−（ＰＴＳＡ−ＳＴＣ[at]）が（dt - dt[最新値]）より大きい場合は、VideoがAudioに比べ、進んでいるため、一時停止指令を映像デコーダ部１１５に送る（ステップＳＰ４１３）。
また、（ＰＴＳＶ−ＳＴＣ[vt]）−（ＰＴＳＡ−ＳＴＣ[at]）が（dt - dt[最新値]）よりも小さい場合は、VideoがAuidoに比べ、遅れているため、映像デコーダ部１１５に読み飛ばし指令を送る（ステップＳＰ４１４）。

ステップＳＰ４０６の判定結果が否定であれば、ＰＴＳＶ−ＳＴＣ[vt]とｄｔ[最新値]の差分値に対する絶対値と一定値Tnとを比較する（ステップＳＰ４０７）。
差分値の絶対値がTn未満であれば、ずれを調べた後（ステップＳＰ４１２）、ずれ修正を実施する（ステップＳＰ４１３、ＳＰ４１４）。

ステップＳＰ４０７の判定結果が否定である、すなわち、差分値の絶対値が一定値Tn以上であれば、深刻な同期ずれが生じたと判断して、バッファをクリアし、警告表示を行った後に、停止状態へ移行する（ステップＳＰ４１５、ＳＰ４１６）。

次に、オーディオ(Audio）の同期ずれ検出・修正について説明する。
図１４は、本実施形態に係るデータ処理装置におけるオーディオ(Audio）の同期ずれ検出・修正について説明するためのフローチャートである。

ステップＳＰ５０１において、出音時刻情報抽出部１１８で次のオーディオフレーム（Audio Frame）出力同期信号Ｓ１０５で出力されるＰＴＳＡを得たか否かを判定する。結果が肯定であれば、ステップＳＰ５０２へ移行する。

ステップＳＰ５０２においては、第３演算回路１３５が、出音時刻情報抽出部１１８より新たなＰＴＳＡを得る。

第２ラッチ回路１３３において、同期信号発生回路１２７からAudio Frame出力同期信号Ｓ１０５が供給されたタイミングで、ＳＴＣカウンタ部１１０から供給された基準時刻を示す基準時刻情報Ｉ１０１(STC[at])をラッチする（ステップＳＰ４０３、ＳＰ４０４）。

ステップＳＰ５０５において、第３演算回路１３５がＰＴＳＡ−ＳＴＣ[at]の計算を行い、その結果を同期ずれ検出部１３６に送る。また、表示遅延時間管理部１２８は、ｄｔを同期ずれ検出部１３６に送る。

ステップＳＰ５０６においては、同期ずれ検出部１３６にてＰＴＳＡ−ＳＴＣ[at]の計算結果と表示遅延時間ｄｔの和が０となることを確認する。すなわち、Audioの同期ずれがないことを確認する。
肯定結果であれば、ステップＳＰ５０８へ移行する。否定結果であれば、ステップＳＰ５０７へ移行する。

ステップＳＰ５０８とステップＳＰ５０９において、ずれ検出方式とずれ修正方式を確認する。少なくともどちらかが否定結果であれば、ずれ検出またはずれ修正を行わない。どちらも肯定結果であれば、ステップＳＰ５１０へ移行する。

ステップＳＰ５１０においては、同期ずれ検出部１３６にてVideoとAudio間で同期ずれが生じているか否かを確認する。ずれが無ければ、何もしない。同期ずれが生じていれば、同期ずれ検出信号Ｓ１１１を同期ずれ修正部１３７に送出する。

ステップＳＰ５１１において、同期ずれ修正部１３７は、同期ずれ量を計算する。
（ＰＴＳＡ−ＳＴＣ[at]）−（ＰＴＳＶ−ＳＴＣ[vt]）が（dt[最新値] dt）より大きい場合は、AudioがVideoに比べ、進んでいるため、一時停止指令を音声デコーダ部１１９に送る（ステップＳＰ５１３）。
また、（ＰＴＳＡ−ＳＴＣ[at]）−（ＰＴＳＶ−ＳＴＣ[vt]）が（dt[最新値] dt）よりも小さい場合は、AudioがVideoに比べ、遅れているため、音声デコーダ部１１９に読み飛ばし指令を送る（ステップＳＰ５１４）。

ステップＳＰ５０６の判定結果が否定であれば、ＰＴＳＡ−ＳＴＣ[at]とｄｔの差分値に対する絶対値と一定値Tnと比較する（ステップＳＰ５０７）。
差分値の絶対値がTn未満であれば、ずれを調べた後（ステップＳＰ５１２）、ずれ修正を実施する（ステップＳＰ５１３、ＳＰ５１４）。

ステップＳＰ５０７の判定結果が否定である、すなわち、差分値の絶対値が一定値Tn以上であれば、深刻な同期ずれが生じたと判断して、バッファをクリアし、警告表示を行った後に、停止状態へ移行する（ステップＳＰ５１５、ＳＰ５１６）。

以上説明したように、本実施形態のデータ処理装置１００は、出音処理部、出音部１３１，１３２から音声が出力されていない状態では、映像と音声との同期をとって上記音声の出力を開始し、出音処理部、出音部１３１，１３２から音声が出力されている状態において、演算回路１２５による表示遅延時間が変化した場合には、この変化直前の表示遅延時間をもって音声の出力を継続し、音声出力が一時停止後に出力再開するときは、演算回路１２５による最新の表示遅延時間で映像と音声との同期をとり直すように構成したことから、以下の効果を得ることができる。

表示遅延時間(dt)が変化しても、高精度AV同期を保ちながら、オーディオ（Audio）の音飛びや映像出力の乱れを回避することができる。
また、たとえば、ＭＰＥＧ方式等に基づいてエンコードされた圧縮映像データおよび圧縮音声データをデコードすることにより映像および音声を出力するようになされたデコード装置に利用することができる。
ここでいうデコード装置には放送の受信視聴装置や蓄積メディア(DVD、Blu-ray Disk、HDDなど)の再生装置などが含まれ、本発明はこれらに対しても利用できる。
そして、これらの装置において次のような効果が得られる。

１）高精度AV同期を保障できる。
２）PID切替やVideo sequence(水平垂直画素数、フレームレート、PTSのグリッド)の切替りなどに伴って表示遅延時間(dt)が変化しても、高精度AV同期を保てる。
３）PID切替やVideo sequence(水平垂直画素数、フレームレート、PTSのグリッド)の切替りなどに伴って表示遅延時間(dt)が変化しても、高精度AV同期を保ちながら、Audioの音飛びや映像出力の乱れを回避しうる。
４）表示部１３０・出音部１３２が、記録機またはエンコーダに接続されていた場合（たとえば、HDDレコーダー、DVDレコーダー等の再圧縮・符号化するシステムの場合）、記録される画音のずれが無くなる。

デジタル放送受信機の一般的な栄上音声出力処理手順を示すフローチャートである。 映像表示タイミングと出音タイミングを示すタイムチャートである。 データ再生装置の構成例を示す図である。 図３のデータ再生装置のトラックジャンプの様子を示す図である。 本発明の実施形態に係るデータ処理装置の構成例を示すブロック図である。 図５のデータ処理装置の基本的な映像表示タイミングと出音タイミングを示すタイムチャートである。 図５のデータ処理装置の表示遅延時間の更新にかかわる映像表示タイミングと出音タイミングを示すタイムチャートである。 本実施形態に対する比較例として示す図であって、特許文献３に開示された蓄積データの再生装置の映像表示タイミングと出音タイミングを示すタイムチャートである。 本実施形態に対する比較例として示す図であって、本実施形態の構成を有していない場合のデジタル放送受信機の映像表示タイミングと出音タイミングを示すタイムチャートである。 本実施形態に係るデータ処理装置の状態遷移について説明するためのフローチャートである。 本実施形態に係るデータ処理装置１００の表示遅延時間dt[最新値]の算出について説明するためのフローチャートである。 本実施形態に係るデータ処理装置の表示遅延時間dtの更新処理について説明するためのフローチャートである。 本実施形態に係るデータ処理装置におけるビデオ（Video）の同期ずれ検出・修正について説明するためのフローチャートである。 本実施形態に係るデータ処理装置におけるオーディオ（Audio）の同期ずれ検出・修正について説明するためのフローチャートである。

符号の説明

１００・・・データ処理装置、１０１・・・デジタルチューナ、１０２・・・蓄積メディア、１０３・・・ストリームバッファ、１０４・・・分離処理部(ＤＥＭＵＸ処理部)、１０５・・・ＮＩＴ取得部、１０６・・・ＰＡＴ取得部、１０７・・・ＰＭＴ取得部、１０８・・・フィルタ部、１０８Ａ・・・ＰＣＲフィルタ、１０８Ｂ・・・映像フィルタ、１０８Ｃ・・・字幕フィルタ、１０８Ｄ・・・音声フィルタ、１０５・・・源発振クロック生成部、１１０・・・ＳＴＣカウンタ部、１１１・・・映像ＥＳバッファ、１１２・・・字幕ＥＳバッファ、１１３・・・音声ＥＳバッファ、１１４・・・表示時刻情報抽出部、１１５・・・映像デコーダ部、１１６・・・出字時刻情報抽出部、１１７・・・字幕デコーダ部、１１８・・・出音時刻情報抽出部、１１９・・・音声デコーダ部、１２０・・・第１比較回路、１２１・・・第２比較回路、１２２・・・第３比較回路、１２３・・・水平垂直同期信号生成回路、１２４・・・第１ラッチ回路、１２５・・・第１演算回路、１２６・・・加算器、１２７・・・同期信号発生回路、１２８・・・表示遅延時間管理部、１２９・・・表示処理部、１３０・・・表示部、１３１・・・出音処理部、１３２・・・出音部、１３３・・・第２ラッチ回路、１３４・・・第２演算回路、１３５・・・第３演算回路、１３６・・・同期ずれ検出部、１３７・・・同期ずれ修正部。

Claims (14)

1. 映像表示タイミング信号が供給されたとき、映像データに基づく映像を表示する表示手段と、
   上記映像データに基づく映像を表示すべき表示時刻以後、映像を表示させるタイミングを示す上記映像表示タイミング信号を所定の周期で上記表示手段に供給する供給手段と、
   上記映像データに基づく映像を表示すべき上記表示時刻から上記表示手段により当該映像が表示されるまでの表示遅延時間を算出する算出手段と、
   音声データに基づく音声を出力すべき出音時刻から上記算出手段で算出した表示遅延時間が経過したとき、上記音声データに基づく音声を出力可能な出音手段と、
   上記出音手段における上記音声の出力状態に応じて、上記出音手段の音声の出音タイミングを制御する制御手段と
   を有するデータ処理装置。
2. 上記制御手段は、上記出音手段から音声が出力されていない状態では、上記映像と上記音声との同期をとって上記音声の出力を開始する
   請求項１記載のデータ処理装置。
3. 上記制御手段は、上記出音手段から音声が出力されている状態において、上記算出手段による表示遅延時間が変化した場合には、当該変化直前の表示遅延時間をもって当該音声の出力を継続する
   請求項１記載のデータ処理装置。
4. 上記制御手段は、上記出音手段の音声出力が一時停止後に出力再開するときは、上記算出手段による最新の上記表示遅延時間で上記映像と音声との同期をとり直す
   請求項１記載のデータ処理装置。
5. 上記制御手段は、
   上記出音手段から音声が出力されていない状態では、上記映像と上記音声との同期をとって上記音声の出力を開始し、
   上記出音手段から音声が出力されている状態において、上記算出手段による表示遅延時間が変化した場合には、当該変化直前の表示遅延時間をもって当該音声の出力を継続する
   請求項１記載のデータ処理装置。
6. 上記制御手段は、
   上記出音手段から音声が出力されている状態において、上記算出手段による表示遅延時間が変化した場合には、当該変化直前の表示遅延時間をもって当該音声の出力を継続し、
   上記出音手段の音声出力が一時停止後に出力再開するときは、上記算出手段による最新の上記表示遅延時間で上記映像と音声との同期をとり直す
   請求項１記載のデータ処理装置。
7. 上記制御手段は、
   上記出音手段から音声が出力されていない状態では、上記映像と上記音声との同期をとって上記音声の出力を開始し、
   上記出音手段から音声が出力されている状態において、上記算出手段による表示遅延時間が変化した場合には、当該変化直前の表示遅延時間をもって当該音声の出力を継続し、
   上記出音手段の音声出力が一時停止後に出力再開するときは、上記算出手段による最新の上記表示遅延時間で上記映像と音声との同期をとり直す
   請求項１記載のデータ処理装置。
8. 上記音声データに含まれる出音時刻情報と上記算出手段による上記表示遅延時間に基づいて上記出音タイミングを上記映像表示タイミングと一致させる同期調整手段を有する
   請求項１記載のデータ処理装置。
9. 少なくとも、上記表示遅延時間と上記同期調整手段の調整された出音タイミング情報に基づいて、上記映像と上記音声の同期ずれを検出可能し、検出したずれ量に応じて同期ずれを修正する同期検出修正手段を有する
   請求項５記載のデータ処理装置。
10. 映像表示タイミング信号が供給されたとき、映像データに基づく映像を表示する表示ステップと、
    上記映像データに基づく映像を表示すべき表示時刻以後、映像を表示させるタイミングを示す上記映像表示タイミング信号を所定の周期で供給する供給ステップと、
    上記映像データに基づく映像を表示すべき上記表示時刻から上記表示ステップにより当該映像が表示されるまでの表示遅延時間を算出する算出ステップと、
    音声データに基づく音声を出力すべき出音時刻から上記算出ステップで算出した表示遅延時間が経過したとき、上記音声データに基づく音声を出力する出音ステップと、
    上記出音ステップにおける上記音声の出力状態に応じて、上記出音ステップの出音タイミングを制御する制御ステップと
    を有するデータ処理方法。
11. 上記制御ステップにおいて、上記出音ステップで音声が出力されていない状態では、上記映像と上記音声との同期をとって上記音声の出力を開始する
    請求項１０記載のデータ処理方法。
12. 上記制御ステップにおいて、上記出音ステップで音声が出力されている状態において、上記算出ステップによる表示遅延時間が変化した場合には、当該変化直前の表示遅延時間をもって当該音声の出力を継続する
    請求項１０記載のデータ処理方法。
13. 上記制御ステップにおいて、上記出音ステップの音声出力が一時停止後に出力再開するときは、上記算出ステップによる最新の上記表示遅延時間で上記映像と音声との同期をとり直す
    請求項１０記載のデータ処理方法。
14. 映像表示タイミング信号が供給されたとき、映像データに基づく映像を表示する表示ステップと、
    上記映像データに基づく映像を表示すべき表示時刻以後、映像を表示させるタイミングを示す上記映像表示タイミング信号を所定の周期で供給する供給ステップと、
    上記映像データに基づく映像を表示すべき上記表示時刻から上記表示ステップにより当該映像が表示されるまでの表示遅延時間を算出する算出ステップと、
    音声データに基づく音声を出力すべき出音時刻から上記算出ステップで算出した表示遅延時間が経過したとき、上記音声データに基づく音声を出力する出音ステップと、
    上記出音ステップにおける上記音声の出力状態に応じて、上記出音ステップの出音タイミングを制御する制御ステップと
    をコンピュータに実行させるためのデータ処理プログラム。

Images