JP2006054728A

JP2006054728A - データ復号装置及びデータ復号方法、並びにデータ再生装置及びデータ再生方法

Info

Publication number: JP2006054728A
Application number: JP2004235619A
Authority: JP
Inventors: Tomohiro Hashimoto; 智博橋本
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-08-12
Filing date: 2004-08-12
Publication date: 2006-02-23

Abstract

【課題】外部に出力されるビデオストリームとオーディオストリームとの間の信号遅延を適応的に変更する。
【解決手段】データ復号器１２における遅延制御部３５は、ビデオフレームバッファ３１に格納されたビデオ信号をビデオ信号処理部１３に送るとき、またオーディオフレームバッファ３２に格納されたオーディオ信号をオーディオ信号処理部１４に送るとき、ビデオ信号とオーディオ信号に対してそれぞれ独立した出力遅延期間を与える信号出力制御手段として機能し、ビデオ出力制御部３３とオーディオ出力制御部３４からストリームの出力開始信号ＳＶ１、ＳＡ１を受信し、出力開始信号に基づいてビデオフレームバッファ３１に対して出力開始信号ＳＶ２を発行し、オーディオフレームバッファ３２１、３２２、３２ｎに対して出力開始信号ＳＡ２１、ＳＡ２２、ＳＡ２ｎを発行する。外部出力端子１５、１６間の出力信号遅延を独立して制御することにより両端子間の信号遅延を解消できる。
【選択図】図２

Description

本発明は、データ復号装置及びデータ復号方法、並びにデータ再生装置及びデータ再生方法に関し、特に当該装置の出力先に処理時間を要する別のデータ処理装置を接続して使用するデータ復号装置、及びデータ復号処理に続いて処理時間を有する別のデータ処理が行われるときのデータ復号方法、並びに上記データ復号装置を適用するデータ再生装置及び上記データ復号方法を適用するデータ再生方法に関する。

従来、映像データ及び音声データからなるコンテンツデータのビットストリームをＤＶＤ（Digital Versatile Disc）規格をはじめとする高密度記録媒体に対して記録再生するデータ再生機器がある。ここで扱われる映像データ及び音声データが多重化されたストリームとしては、動画像の高能率符号化方式の代表例として、ＭＰＥＧ（Moving Picture Experts Group）方式がある。ＭＰＥＧ方式は、蓄積用動画像符号化方式である。

例えば、ＭＰＥＧ方式では、映像データ及び音声データをビットストリームとして伝送し、映像データと音声データとに分離した後、それぞれ符号化又は復号処理している。もとのコンテンツデータを再生するには、映像データと音声データとを同期して出力する必要がある。一度、分離した映像データと音声データとの同期をとる基本的な手法としては、映像信号及び音声信号それぞれの信号の同期タイミングの時刻情報をタイムスタンプとして多重化する方法が一般的である。

また、信号処理経路中にフレームシンクロナイザ等の不定可変の遅延要素が含まれる場合には、映像信号の時刻情報と音声信号との同期をとることが困難であって符号化又は復号に複雑な処理が必要になるため、映像と音声の遅延を視覚上問題ない範囲で許容することにより、同期化処理を簡略化しつつ、変速再生等の応用再生への対応を図った技術も開示されている（特許文献１）。

また近年では、より高画質、高音質、高機能性等の要求に応える記録再生システムを実現するために、復号した映像データ或いは音声データに更に別の信号処理を施すための別回路を付加する場合がある。図４は、このような記録再生システムの一例として示すデータ再生装置の一部とデータ復号器１００の構成を示している。

データ復号器１００は、ビットストリームＳＴ１００を分離する多重分離器（De-Multiplexer）１０１と、ビデオストリームを復号するビデオデコーダ１０２、サブピクチャストリームを復号するサブピクチャデコーダ１０３、オーディオストリームを復号するオーディオデコーダ１０４とを備える。また、データ復号器１００は、分離されたストリームに対して復号処理、出力処理等を制御する構成としてビデオストリームを復号及び出力するためのビデオ制御部１０５、オーディオストリームを復号及び出力するためのオーディオ制御部１０６、サブピクチャストリームを復号するサブピクチャ復号制御部１０７を備える。

ビデオ制御部１０５は、ビデオストリームＳＴ１０１の復号処理を制御するビデオ復号制御部１０８と、復号されて得られたビデオストリームＳＴ１０４の出力を制御するビデオ出力制御部１０９とを備える。また、オーディオ制御部１０６は、オーディオ復号制御部１１０とオーディオ出力制御部１１１とを有する。

ビデオデコーダ１０２は、ビデオ復号制御部１０８に制御され、サブピクチャデコーダ１０３は、サブピクチャ復号制御部１０７に制御され、オーディオデコーダ１０４は、オーディオ復号制御部１１０に制御されている。また、データ復号器１００は、ビデオデコーダ１０２とサブピクチャデコーダ１０３からの出力信号を加算する加算器１１２と、加算器１１２から出力されるビデオストリームＳＴ１０４を一時的に格納するビデオフレームバッファ１１３とを備える。オーディオストリームに対しても同様に、オーディオデコーダ１０４にて復号されたオーディオストリームＳＴ１０５を一時的に格納するオーディオフレームバッファ１１４を備える。また、データ復号器１００は、ビデオ制御部１０５、オーディオ制御部１０６、サブピクチャ復号制御部１０７の各々に対する制御信号を発行することによってビデオストリーム、オーディオストリーム、サブピクチャストリームを復号し出力する一連の処理において各ストリーム間の同期をとる同期制御部１１５を備える。

ビデオフレームバッファ１１３に格納されたビデオストリームＳＴ１０６及びオーディオフレームバッファ１１４に格納されたオーディオストリームＳＴ１０７は、同期制御部１１５によって同期制御され、出力端子２００、３００からデータ復号器１００に接続される別の信号処理装置２０１、３０１へと送られる。

従来、図４に示すように、同期制御部１１５がビデオ出力制御部１０９及びオーディオ出力制御部１１１に対する同期制御を行って、ビデオ出力制御部１０９及びオーディオ出力制御部１１１から発行される出力開始信号により出力端子２００、３００から出力されるビデオストリームとオーディオストリームとの同期をとっていた。

特開平１１−１１２９３７号公報

ところが、従来のデータ再生装置において、データ復号器に高画質、高音質のための別の信号処理を行う構成として信号処理部２０１、３０１が付加された場合、付加した信号処理部２０１、３０１には、それぞれ固有の信号処理によって、出力される信号間に遅延が生じる。そのため、データ復号器の内部処理で同期がとられたビデオストリームとオーディオストリームが外部出力端子２１０、３１０から外部へ出力されるときに遅延が生じ、データ復号器では同期がとれていても、データ再生装置から出力される信号の同期がとれなくなる問題があった。これを解消するには、例えば、同期制御部１１５における遅延量を予め決定して作製したり、信号処理部２０１、３０１と外部出力端子２１０、３１０との間に更に別の遅延回路等を追加したりして、ストリーム間の遅延を解消する対策を興じなければならなかった。

仮に、データ復号器に接続される信号処理部を複数種類組み合わせて使用する場合、データ復号器を作製する毎に、この組合せに応じて異なる遅延量に合わせて遅延解消のための構成を設計する必要がある。信号処理装置を別のタイプのものに変更する場合には、遅延解消のための構成も変更しなくてはならないし、装置毎に特性を考えて遅延回路の組合せを行わなければならず、生産コスト増、作業工程増による作業効率の低下等を招くことがあった。

そこで本発明は、上述した従来の実情に鑑みて提案されたものであり、外部に出力されるビデオストリームとオーディオストリームとの間の信号遅延を、ストリームの復号処理又は他の信号処理に応じて容易に且つ適応的に変更することができるデータ復号装置及びデータ復号方法、並びにデータ再生装置及びデータ再生方法を提供することを目的とする。

上述した目的を達成するために、本発明に係るデータ復号装置は、映像データと音声データとを含む２値化されたビットストリームを入力する入力手段と、入力手段において入力したビットストリームを映像データストリームと音声データストリームに分離する信号分離手段と、信号分離手段においてビットストリームから分離された映像データを復号する映像データ復号手段と、信号分離手段においてビットストリームから分離された音声データを復号する音声データ復号手段と、映像データ復号手段で復号された映像データを一時的に格納する少なくとも１つの映像データ格納手段と、各映像データ格納手段に対応して設けられ各映像データ格納手段に格納された映像データの各々を外部に出力する映像データ出力手段と、音声データ復号手段で復号されてできた音声データを一時的に格納する音声データ格納手段と、各音声データ格納手段に対応して設けられ各音声データ格納手段に格納された音声データの各々を外部に出力する音声データ出力手段と、各映像データ格納手段に格納された映像データの各々を映像データ出力手段に送る際、又は各音声データ格納手段に格納された音声データの各々を音声データ出力手段に送る際にそれぞれ独立した出力遅延期間を与える信号出力制御手段とを備える。

これにより、本発明に係るデータ復号装置は、各映像データ格納手段に格納された映像データの各々を映像データ出力手段に送る際、或いは各音声データ格納手段に格納された音声データの各々を音声データ出力手段に送る際に、信号出力制御手段においてそれぞれ独立した出力遅延期間を与える。また、信号出力制御手段によって与えられる出力遅延期間は、外部からの指示により可変とする。

また、上述した目的を達成するために、本発明に係るデータ復号方法は、映像データと音声データとを含む２値化されたビットストリームを入力する入力工程と、入力工程で入力されたビットストリームを映像データストリームと音声データストリームに分離する信号分離工程と、信号分離工程でビットストリームから分離された映像データを復号する映像データ復号工程と、信号分離工程でビットストリームから分離された音声データを復号する音声データ復号工程と、映像データ復号工程で復号されてできた映像データを少なくとも１つの映像データメモリに一時的に格納する映像データ格納工程と、音声データ復号工程で復号されてできた音声データを少なくとも１つの音声データメモリに一時的に格納する音声データ格納工程と、各映像データ格納メモリに格納された映像データの各々、又は各音声データ格納メモリに格納された音声データの各々に対して独立した出力遅延期間を与えて外部に出力する信号出力制御工程とを有する。

これにより、本発明に係るデータ復号方法は、各映像データ格納メモリに格納された映像データの各々を外部に送る際、或いは各音声データ格納メモリに格納された音声データの各々を外部に送る際に、それぞれ独立した出力遅延期間を与える。また、ここで与えられる出力遅延期間は、外部からの指示により可変とする。

また、上述した目的を達成するために、本発明に係るデータ再生装置は、記録媒体又は内蔵記録媒体に蓄積された映像データ及び音声データを含む２値化されたビットストリームを映像データストリームと音声データストリームに分離する信号分離手段と、信号分離手段においてビットストリームから分離された映像データを復号する映像データ復号手段と、信号分離手段においてビットストリームから分離された音声データを復号する音声データ復号手段と、映像データ復号手段で復号されてできた映像データを一時的に格納する少なくとも１つの映像データ格納手段と、各映像データ格納手段に対応して設けられ各映像データ格納手段に格納された映像データの各々を外部に出力する映像データ出力手段と、音声データ復号手段で復号されてできた音声データを一時的に格納する音声データ格納手段と、各音声データ格納手段に対応して設けられ各音声データ格納手段に格納された音声データの各々を外部に出力する音声データ出力手段と、映像データ出力手段からの映像データに対して信号処理を施す映像データ処理手段と、音声データ出力手段からの音声データに対して信号処理を施す音声データ処理手段と、映像データ処理手段で信号処理された信号を外部に出力する映像データ出力手段と、音声データ処理手段で信号処理された信号を外部に出力する音声データ出力手段と、映像データ処理手段における信号処理遅延と音声データ処理手段における信号処理遅延とを吸収するそれぞれ独立した出力遅延期間を与えて各映像データ格納手段に格納された映像データを映像データ出力手段に送る、又は各音声データ格納手段に格納された音声データを音声データ出力手段に送る信号出力制御手段とを備える。

これにより、本発明に係るデータ再生装置は、映像データを再生する際、或いは音声データを再生する際に、それぞれ独立した出力遅延期間を与えることで映像データ処理手段における信号処理遅延と音声データ処理手段における信号処理遅延とを吸収して着脱可能な記録媒体又は内蔵記録媒体に蓄積された映像データ及び音声データを再生する。

上述した目的を達成するために、本発明に係るデータ再生方法は、記録媒体又は内蔵記録媒体に蓄積された映像データ及び音声データを含む２値化されたビットストリームを映像データストリームと音声データストリームに分離する信号分離工程と、信号分離工程でビットストリームから分離された映像データを復号する映像データ復号工程と、信号分離工程でビットストリームから分離された音声データを復号する音声データ復号工程と、映像データ復号工程で復号されてできた映像データを少なくとも１つの映像データメモリに一時的に格納する映像データ格納工程と、音声データ復号工程で復号されてできた音声データを少なくとも１つの音声データメモリに一時的に格納する音声データ格納工程と、各映像データメモリに格納された映像データの各々に対して信号処理を施す映像データ処理工程と、各音声データメモリに格納された音声データの各々に対して信号処理を施す音声データ処理工程と、映像データ処理工程で信号処理された信号を外部に出力する映像データ出力工程と、音声データ処理工程で信号処理された信号を外部に出力する音声データ出力工程とを有し、映像データ処理工程における信号処理遅延と音声データ処理工程における信号処理遅延とを吸収するそれぞれ独立した出力遅延期間を与えて映像データ格納工程から映像データ処理工程へ移行する、又は音声データ格納工程から音声データ処理工程へ移行し、着脱可能な記録媒体又は内蔵記録媒体に蓄積された映像データ及び音声データを再生する。

これにより、本発明に係るデータ再生方法は、各映像データ格納メモリに格納された映像データの各々を再生する際、或いは各音声データ格納メモリに格納された音声データの各々を再生する際に、それぞれ独立した出力遅延期間を与えることで映像データ処理手段における信号処理遅延と音声データ処理手段における信号処理遅延とを吸収して着脱可能な記録媒体又は内蔵記録媒体に蓄積された映像データ及び音声データを再生する。

本発明に係るデータ復号装置及びデータ復号方法によれば、映像データ格納手段に格納された映像データの各々を映像データ出力手段に送る際、或いは音声データ格納手段に格納された音声データの各々を音声データ出力手段に送る際に、それぞれ独立した出力遅延期間を与えることができる。これにより、例えば、このデータ復号装置の外部に内部処理によりデータの出力遅延を生じるような他の信号処理装置を接続して使用する場合であっても、他の信号処理装置による遅延期間も含めて映像データ格納手段に格納された映像データの各々を映像データ出力手段に送るとき、又は音声データ格納手段に格納された音声データの各々を音声データ出力手段に送るときに、この遅延期間を吸収でき、信号同期を保持できる。

また、信号出力制御手段によって与えられる出力遅延期間は、外部からの指示により可変とすれば、外部に接続される他の信号処理装置の種類が変更された場合でも遅延期間の変更が容易である。

また、本発明に係るデータ再生装置及びデータ再生方法によれば、各映像データ格納メモリに格納された映像データの各々を再生する際、上記映像データ格納工程から上記映像データ処理工程へ移行する際、又は上記音声データ格納工程から上記映像データ処理工程へ移行する際に独立した出力遅延期間を与えることによって、データ復号工程の後に設けられた他の映像データ処理にかかる信号処理遅延と他の音声データ処理にかかる信号処理遅延を吸収でき、信号同期を保持できる。

以下、本発明の実施例について図面を参照して詳細に説明する。本発明を適用したデータ再生装置の一例を図１に示す。

データ再生装置１は、映像データ及び音声データを含むコンテンツデータが所定の符号化形式及び記録形式で格納されるコンテンツデータ格納部１１と、コンテンツデータ格納部１１からの映像データ及び音声データを復号するデータ復号器１２と、復号されたビデオ信号に更に信号処理を施すビデオ信号処理部１３と、復号されたオーディオ信号に更に信号処理を施すオーディオ信号処理部１４と、ビデオ信号を外部へ出力する外部出力端子１５と、オーディオ信号を外部へ出力する外部出力端子１６と、各部を統括するホスト制御部１７とを備え、ビデオ信号処理部１３又はオーディオ信号処理部１４での信号処理によって生じるビデオ信号とオーディオ信号との間の遅延をデータ復号器１２から出力する際に所定の出力時間差を与えることによって吸収する。

コンテンツデータ格納部１１は、映像データ及び音声データが多重化されてなるコンテンツデータを格納しており、ホスト制御部１７の指示にしたがってコンテンツデータを２値化されたビットストリームＳＴ１としてデータ復号器１２に送る。コンテンツデータの符号化方式としては、ＭＰＥＧ−２ＶｉｄｅｏＭＰ＠ＭＬ（Main Profile at Main Level）、ＭＰＥＧ−４、Ｈ．２６４等があげられる。また、コンテンツデータ格納部１１は、ハードディスクを有しこのハードディスクに対して記録再生するＨＤＤ（Hard Disc Drive）、または着脱可能な記録媒体であるＤＶＤ（Digital Versatile Disc）等の光ディスク及びこの光ディスクに対して記録再生するドライバとして構成することもできる。

データ復号器１２は、ホスト制御部１７の指示に基づいてコンテンツデータ格納部１１から送られたビットストリームＳＴ１から分離されるビデオストリーム及びオーディオストリームを復号する。また、データ復号器１２は、接続されたビデオ信号処理部１３又はオーディオ信号処理部１４での信号処理によって生じるビデオストリームとオーディオストリームとの間の遅延がなくなるようにビデオストリームをビデオ信号処理部１３に送り出すタイミングとオーディオストリームをオーディオ信号処理部１４に送り出すタイミングとを調整している。このデータ復号器１２については、後段にて詳細に説明する。

ビデオ信号処理部１３は、データ復号器１２から送られたビデオストリームのビデオ信号に対して画質変換又はＩＰ変換等の付加的な信号処理を行う信号処理装置であって、処理後のビデオ信号を外部出力端子１５に送る。また、オーディオ信号処理部１４は、データ復号器１２から送られたオーディオストリームのオーディオ信号に対して音質改善等を行って、処理後のオーディオ信号を外部出力端子１６に送る。

外部出力端子１５は、ビデオ信号処理部１３で信号処理されたビデオ信号をデータ再生装置１の外部に出力する。また、外部出力端子１６は、オーディオ信号処理部１４で信号処理されたオーディオ信号をデータ再生装置１の外部に出力する。

ホスト制御部１７は、ビデオ信号処理部１３又はオーディオ信号処理部１４での信号処理によって生じるビデオ信号とオーディオ信号との間の遅延を制御するための制御信号を生成しデータ復号器１２に対して出力する。

なお、データ再生装置１において、データ復号器１２の後段に接続される信号処理部は、ビデオ信号、オーディオ信号に対して１つずつでなくてもよい。例えば、信号処理の種類、信号の使用のしかたに応じて、複数の信号処理部を接続することができる。図１は、ビデオ信号処理部とオーディオ信号処理部が各１装備された典型例を説明しているが、本発明の実施例では、オーディオ信号処理部が複数個用意された場合について説明している。外部出力端子１６もオーディオ信号処理部に合わせて適宜増設することができる。

次に、データ復号器１２について、図２を用いて詳細に説明する。データ復号器１２は、ビットストリームＳＴ１を分離する信号分離手段としての多重分離器（De-Multiplexer）２１と、分離されたビデオストリームＳＴ２を復号する映像データ復号手段としてのビデオデコーダ２２、分離されたサブピクチャストリームＳＴ３を復号するサブピクチャデコーダ２３、分離されたオーディオストリームＳＴ４を復号する音声データ復号手段としてのオーディオデコーダ２４とを備える。

データ復号器１２は、分離されたストリームに対して復号処理、出力処理等を制御する構成を備えている。すなわち、ビデオストリームＳＴ２を復号及び出力するためのビデオ制御部２５、オーディオストリームＳＴ４を復号及び出力するためのオーディオ制御部２６を備える。また、サブピクチャストリームＳＴ３を復号するサブピクチャ復号制御部２８を備える。

ビデオ制御部２５は、更に、ビデオストリームＳＴ２の復号処理を制御するビデオ復号制御部２７と、復号されて得られたビデオストリームＳＴ５の出力を制御するビデオ出力制御部３３とを有している。オーディオ制御部２６も同様に、オーディオ復号制御部２７とオーディオ出力制御部３４とを有する。

ビデオデコーダ２２は、ビデオ復号制御部２７に制御され、サブピクチャデコーダ２３は、サブピクチャ復号制御部２８に制御され、オーディオデコーダ２４は、オーディオ復号制御部２９に制御されている。また、データ復号器１２は、ビデオデコーダ２２とサブピクチャデコーダ２３からの出力信号を加算する加算器３０と、加算器３０からの出力信号を一時的に格納する映像データ格納手段としてのビデオフレームバッファ３１とを備える。オーディオストリームに対しても同様に、オーディオデコーダ２４にて復号されたオーディオ信号を一時的に格納する音声データ格納手段としてのオーディオフレームバッファ３２を複数個備える。

また、データ復号器１２は、ビデオ信号の出力制御をするビデオ出力制御部３３と、オーディオ信号の出力制御をするオーディオ出力制御部３４と、フレームバッファからの出力タイミングを制御する遅延制御部３５とを備えている。更にデータ復号器１２は、ビデオ復号制御部２７、サブピクチャ復号制御部２８、オーディオ復号制御部２９、ビデオ出力制御部３３、及びオーディオ出力制御部３４の各々に対する制御信号を発行することによって、ビデオストリームＳＴ２、オーディオストリームＳＴ４、サブピクチャストリームＳＴ３を復号し出力する一連の処理において各ストリーム間の同期をとる同期制御部３６を備える。

多重分離器２１は、コンテンツデータ格納部１１からのビットストリームＳＴ１をビデオストリームＳＴ２、サブピクチャストリームＳＴ３、オーディオストリームＳＴ３に分離し、ビデオストリームＳＴ２をビデオデコーダ２２に送り、サブピクチャストリームＳＴ３をサブピクチャデコーダ２３に送り、オーディオストリームＳＴ４をオーディオデコーダ２４へ送る。

ビデオデコーダ２２は、ビデオ復号制御部２７からの指示に基づいてビデオストリームＳＴ２を復号し、得られたデータストリームを加算器３０に送る。サブピクチャデコーダ２３は、サブピクチャ復号制御部２８からの指示に基づいてサブピクチャストリームＳＴ３を復号し、得られたデータストリームを加算器３０に送る。加算器３０は、ビデオストリームＳＴ２がビデオデコーダ２２で復号されて得られたデータストリームと、サブピクチャストリームＳＴ３がサブピクチャデコーダ２３で復号されて得られたデータストリームとを加算してビデオストリームＳＴ５を生成し、これをビデオフレームバッファ３１に送る。

オーディオデコーダ２４は、オーディオ復号制御部２９からの指示に基づいてオーディオストリームＳＴ４を復号し、復号し得たオーディオストリームＳＴ６をオーディオフレームバッファ３２１〜３２ｎに送る。

ビデオフレームバッファ３１は、ビデオストリームＳＴ５を一時的に格納し、遅延制御部３５からの出力開始信号に応じてビデオストリームＳＴ５を外部出力端子１５に出力する。また、オーディオフレームバッファ３２１〜３２ｎは、オーディオストリームＳＴ６を一時的に格納し、遅延制御部３５からの出力開始信号に応じてオーディオストリームＳＴ６を外部出力端子１６に出力する。

遅延制御部３５は、ビデオフレームバッファ３１に格納されたビデオ信号をビデオ信号処理部１３に送るとき、またオーディオフレームバッファ３２に格納されたオーディオ信号をオーディオ信号処理部１４に送るとき、ビデオ信号とオーディオ信号に対してそれぞれ独立した出力遅延期間を与える信号出力制御手段として機能する。遅延制御部３５は、ビデオ出力制御部３３とオーディオ出力制御部３４からストリームの出力開始信号（ＳＶ１、ＳＡ１）を受信し、この出力開始信号に基づいてビデオフレームバッファ３１に対して出力開始信号ＳＶ２を発行する。また、オーディオフレームバッファ３２１〜３２ｎに対して出力開始信号ＳＡ２１、ＳＡ２２、・・・、ＳＡ２ｎを発行する。

例えば、外部出力端子１５から出力されるビデオストリームＳＴ７が外部出力端子１６から出力されるオーディオストリームＳＴ８に対して期間Ｔだけ遅延する場合、遅延制御部３５は、ビデオフレームバッファ３１に対して出力開始信号ＳＶ２を発行し、期間Ｔ経過後、オーディオフレームバッファ３２に対して出力開始信号ＳＡ２１を発行する。これにより、ビデオ信号処理部１３、オーディオ信号処理部１４における信号処理で生じる両ストリーム間の遅延が解消される。

同期制御部３６は、ビデオ出力制御部３３及びオーディオ出力制御部３４に対して同期をとるための出力開始信号をビデオ制御部２５、サブピクチャ復号制御部２８及びオーディオ制御部２６に対して発行する。

以下では、データ復号器１２における特徴である遅延制御部３５がビデオフレームバッファ３１或いはオーディオフレームバッファ３２１〜３２ｎに対して出力開始信号を発行する処理について図３を用いて説明する。

同期制御部３６は、ビデオ出力制御部３３及びオーディオ出力制御部３４の同期を制御し、ビデオ出力制御部３３及びオーディオ出力制御部３４は、遅延制御部３５に対して、出力開始信号ＳＶ１、ＳＡ１を発行する（ステップＳ１）。

遅延制御部３５は、ビデオフレームバッファ３１又はオーディオフレームバッファ３２に対して、ビデオ信号処理部１３、オーディオ信号処理部１４における信号処理期間を比べ、出力されるストリームに遅延が生じる信号処理部と反対の信号処理部に対して遅延期間分遅らせて出力開始信号を発行する。ビデオ信号処理部１３での信号処理にかかる処理期間と、オーディオ信号処理部１４での信号処理にかかる処理期間との差を期間Ｔとする。この処理期間Ｔは、遅延期間として、図１に示すホスト制御部１７からデータ復号器１２に対して予め設定できる。すなわち、遅延制御部３５は、ビデオ出力制御部３３とオーディオ出力制御部３４からストリームの出力開始信号ＳＶ１、ＳＡ１を受信すると、ビデオフレームバッファ３１に対して出力開始信号ＳＶ２を発行する（ステップＳ２）。そして、期間Ｔ経過後、オーディオフレームバッファ３２に対して出力開始信号ＳＡ２を発行する（ステップＳ３）。

したがって、上述したような遅延制御部３５における遅延制御により、データ復号器１２の後段に付加的な信号処理を行う信号処理部を接続した場合であっても、この信号処理部における信号処理によって生じる遅延を吸収して外部出力端子１５、１６から出力されるビデオストリームとオーディオストリームの同期をとることができる。

また、ビデオ信号処理用とオーディオ信号処理用とに異なる信号処理部が取り付けられた場合であっても、或いは１つの信号に対して複数の信号処理部が接続された場合であっても、各信号処理部における出力差分を遅延時間としてフレームバッファからの出力タイミングを示す出力開始信号を発行すれば、容易に対応できる。また、この設定が外部（ホスト制御部）から適応的に行えるため、信号処理部との組合せに応じて内部遅延を解消するための固定値を設定してデータ復号器を作製する必要がなくなるため、流用性が高い。

データ再生装置１は、従来例のように、接続される信号処理部に応じた遅延時間をデータ復号器１２に組み込んで作製しなくともよい。また、信号処理部が接続されていなければ、遅延期間を０として出力開始信号を発行すればよい。

図２に示したデータ復号器１２の構成を基本として、様々な信号処理を施す信号処理部をデータ復号器１２に続いて取り付けたとき、データ復号器１２からの出力タイミングは、ホスト制御部１７からの処理所要時間が設定されると、この設定値に基づくタイミングでビデオストリームとオーディオストリームを出力することにより、データ復号器１２におけるビデオストリームとオーディオストリーム間の同期を崩すことなく、信号処理部に応じて色々なシステム構成が容易に実現できる。

なお、出力開始信号だけでなく出力停止信号に対しても同様に有効である。上述したデータ復号器１２を用いれば、回路設計をその都度変更することなく、同一のデータ復号器１２を流用できる。汎用性が高まることによって低コスト化が実現する。また、上述したビデオ制御部２５、オーディオ制御部２６、遅延制御部３５の機能は、各構成に復号処理又は出力処理を実行させるソフトウェアとして実現することができる。この場合、データ再生装置は、ソフトウェア処理によって、データ復号器に接続される付加的な信号処理部による出力遅延を解消することができるため、信号処理部によるビデオストリームとオーディオストリームとの遅延を解消するための処理を行う構成を新たに加える必要がない。データ再生装置に対して出力時間差を与えることで対応できるため、付加する信号処理装置によらず、出力信号の同期をとることが可能になる。

本発明の実施例として示すデータ再生装置の概略を説明する構成図である。上記データ再生装置におけるデータ復号器の具体例を説明する構成図である。上記データ復号器におけるストリームの復号と出力のタイミングを説明するフローチャートである。出力信号の遅延を解消する構成を備えた従来のデータ再生装置におけるデータ復号器を説明する構成図である。

符号の説明

１データ再生装置、１１コンテンツデータ格納部、１２データ復号器、１３ビデオ信号処理部、１４オーディオ信号処理部、１５，１６外部出力端子、２１多重化分離器、２２ビデオデコーダ、２３サブピクチャデコーダ、２４オーディオデコーダ、２５ビデオ制御部、２６オーディオ制御部、２７ビデオ復号制御部、２８サブピクチャ復号制御部、２９オーディオ復号部、３０加算器、３１ビデオフレームバッファ、３１オーディオフレームバッファ、３３ビデオ出力制御部、３４オーディオ出力制御部、３５遅延制御部、３６同期制御部

Claims

映像データと音声データとを含む２値化されたビットストリームを入力する入力手段と、
上記入力手段において入力したビットストリームを映像データストリームと音声データストリームに分離する信号分離手段と、
上記信号分離手段において上記ビットストリームから分離された映像データを復号する映像データ復号手段と、
上記信号分離手段において上記ビットストリームから分離された音声データを復号する音声データ復号手段と、
上記映像データ復号手段で復号された映像データを一時的に格納する少なくとも１つの映像データ格納手段と、
上記各映像データ格納手段に対応して設けられ上記各映像データ格納手段に格納された映像データの各々を外部に出力する映像データ出力手段と、
上記音声データ復号手段で復号されてできた音声データを一時的に格納する音声データ格納手段と、
上記各音声データ格納手段に対応して設けられ上記各音声データ格納手段に格納された音声データの各々を外部に出力する音声データ出力手段と、
上記各映像データ格納手段に格納された映像データの各々を上記映像データ出力手段に送る際、又は上記各音声データ格納手段に格納された音声データの各々を上記音声データ出力手段に送る際にそれぞれ独立した出力遅延期間を与える信号出力制御手段と
を備えることを特徴とするデータ復号装置。
上記信号出力制御手段によって与えられる出力遅延期間は、外部からの指示により可変であることを特徴とする請求項１記載のデータ復号装置。
映像データと音声データとを含む２値化されたビットストリームを入力する入力工程と、
上記入力工程で入力されたビットストリームを映像データストリームと音声データストリームに分離する信号分離工程と、
上記信号分離工程で上記ビットストリームから分離された映像データを復号する映像データ復号工程と、
上記信号分離工程で上記ビットストリームから分離された音声データを復号する音声データ復号工程と、
上記映像データ復号工程で復号されてできた映像データを少なくとも１つの映像データメモリに一時的に格納する映像データ格納工程と、
上記音声データ復号工程で復号されてできた音声データを少なくとも１つの音声データメモリに一時的に格納する音声データ格納工程と、
上記各映像データ格納メモリに格納された映像データの各々、又は上記各音声データ格納メモリに格納された音声データの各々に対してそれぞれ独立した出力遅延期間を与えて外部に出力する信号出力制御工程と
を有することを特徴とするデータ復号方法。
上記信号出力制御工程で与えられる出力遅延期間は、外部からの指示により可変であることを特徴とする請求項３記載のデータ復号方法。
着脱可能な記録媒体、又は内蔵記録媒体に蓄積された映像データ及び音声データを再生するデータ再生装置において、
上記記録媒体又は上記内蔵記録媒体に蓄積された映像データ及び音声データを含む２値化されたビットストリームを映像データストリームと音声データストリームに分離する信号分離手段と、
上記信号分離手段において上記ビットストリームから分離された映像データを復号する映像データ復号手段と、
上記信号分離手段において上記ビットストリームから分離された音声データを復号する音声データ復号手段と、
上記映像データ復号手段で復号されてできた映像データを一時的に格納する少なくとも１つの映像データ格納手段と、
上記各映像データ格納手段に対応して設けられ上記各映像データ格納手段に格納された映像データの各々を外部に出力する映像データ出力手段と、
上記音声データ復号手段で復号されてできた音声データを一時的に格納する音声データ格納手段と、
上記各音声データ格納手段に対応して設けられ上記各音声データ格納手段に格納された音声データの各々を外部に出力する音声データ出力手段と、
上記映像データ出力手段からの映像データに対して信号処理を施す映像データ処理手段と、
上記音声データ出力手段からの音声データに対して信号処理を施す音声データ処理手段と、
上記映像データ処理手段で信号処理された信号を外部に出力する映像データ出力手段と、
上記音声データ処理手段で信号処理された信号を外部に出力する音声データ出力手段と、
上記映像データ処理手段における信号処理遅延と上記音声データ処理手段における信号処理遅延とを吸収するそれぞれ独立した出力遅延期間を与えて上記各映像データ格納手段に格納された映像データの各々を上記映像データ出力手段に送る、又は上記各音声データ格納手段に格納された音声データの各々を上記音声データ出力手段に送る信号出力制御手段と
を備えることを特徴とするデータ再生装置。
着脱可能な記録媒体、又は内蔵記録媒体に蓄積された映像データ及び音声データを再生するデータ再生方法において、
上記記録媒体又は上記内蔵記録媒体に蓄積された映像データ及び音声データを含む２値化されたビットストリームを映像データストリームと音声データストリームに分離する信号分離工程と、
上記信号分離工程で上記ビットストリームから分離された映像データを復号する映像データ復号工程と、
上記信号分離工程で上記ビットストリームから分離された音声データを復号する音声データ復号工程と、
上記映像データ復号工程で復号されてできた映像データを少なくとも１つの映像データメモリに一時的に格納する映像データ格納工程と、
上記音声データ復号工程で復号されてできた音声データを少なくとも１つの音声データメモリに一時的に格納する音声データ格納工程と、
上記各映像データメモリに格納された映像データの各々に対して信号処理を施す映像データ処理工程と、
上記各音声データメモリに格納された音声データの各々に対して信号処理を施す音声データ処理工程と、
上記映像データ処理工程で信号処理された信号を外部に出力する映像データ出力工程と、
上記音声データ処理工程で信号処理された信号を外部に出力する音声データ出力工程と
を有し、
上記映像データ処理工程における信号処理遅延と上記音声データ処理工程における信号処理遅延とを吸収するそれぞれ独立した出力遅延期間を与えて上記映像データ格納工程から上記映像データ処理工程へ移行する、又は上記音声データ格納工程から上記映像データ処理工程へ移行することを特徴とするデータ再生方法。