JP2010062947A - オーディオ−ビジュアルシステム及びデコーダ - Google Patents

オーディオ−ビジュアルシステム及びデコーダ Download PDF

Info

Publication number
JP2010062947A
JP2010062947A JP2008227506A JP2008227506A JP2010062947A JP 2010062947 A JP2010062947 A JP 2010062947A JP 2008227506 A JP2008227506 A JP 2008227506A JP 2008227506 A JP2008227506 A JP 2008227506A JP 2010062947 A JP2010062947 A JP 2010062947A
Authority
JP
Japan
Prior art keywords
output
audio
data
decoder
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008227506A
Other languages
English (en)
Inventor
Masaki Yoshimura
正樹 吉村
Koji Yamauchi
功次 山内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008227506A priority Critical patent/JP2010062947A/ja
Priority to US12/461,673 priority patent/US8897374B2/en
Priority to CN2009101710929A priority patent/CN101668217B/zh
Publication of JP2010062947A publication Critical patent/JP2010062947A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • H04N7/52Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal

Abstract

【課題】出力経路が複数存在し、複数の出力経路の組み合わせにより同期処理が必要となった場合に、同期処理のための遅延制御による処理負担を軽減するオーディオ−ビジュアルシステム及びデコーダを提供する。
【解決手段】オーディオデコーダ104は、同期判定処理、デコード処理、バッファ管理処理の契機となる割り込みを最も遅延が少ない1つの出力経路に絞ることができる。また、遅延が少ない1つの出力経路は、自由に切り替えが可能である。
【選択図】図2

Description

本発明は、ビデオデータ及びオーディオデータを重畳したAVデータの入力に応じて、ビデオデータ及びオーディオデータのデコードを行い、これらを同期させて出力するオーディオ−ビジュアルシステム及びデコーダに関する。
近年、様々な映像機器・音響機器が普及している。
ユーザは、自らの目的に合った出力経路を選択することにより、同一のソースデータから様々な出力形態の映像信号・音声信号を得ることができる。
例えば、映像信号の出力経路としては、HD出力とSD出力がある。
HD(High Definition)出力は、高精細、あるいは高解像度の画像出力であり、SD(Standard Definition)出力は、標準の解像度・画質を有する画像出力である。
また、音声信号の出力経路は、例えばマルチチャンネル(例えば5.1ch)出力、ステレオ(2ch)出力、S/PDIF(Sony/Philips Digital InterFace)出力等がある。
上述したような様々な出力経路をとりうる場合に、経路ごとに信号の遅延量が異なる場合がある。
例えば、映像信号の場合、HD出力ではよりよい映像出力を得るために、デコード処理などの通常の映像信号再生処理の他にビデオ画質改善エンジンによる処理を付加することがある。同一ソースの映像信号でも、SD出力ではビデオ画質改善エンジンによる処理等の付加処理を行わないとする。
このような場合では、ビデオ画質改善エンジンによる処理等に伴い、SD出力と比較してHD出力に遅延が生じることがある。
また、例えば音声信号の場合、S/PDIF出力では、デコードのためにマルチチャンネル出力やステレオ出力と比較して遅延が生じることがある。
ところで、元々同期をとって作成されていた映像信号と音声信号は、再生出力時にも同期をとって出力される必要がある。このため、映像信号と音声信号の組み合わせごとに、出力時にそれぞれ同期がとられることになる。これをAV(Audio Visual)同期と称する。
上述したように、映像信号や音声信号が、出力経路ごとに遅延量が異なっている場合、それぞれの出力経路において独立に遅延制御が行われることになる。
この場合、1つの映像あるいは音声出力機器において、複数の出力経路を有するとすると、出力経路に応じた数だけ制御CPUに対する遅延制御の割り込みが増大することになる。
このため、制御CPUへの処理負担が増大し、ひいてはシステム全体の処理量が大きくなる。
本発明は、出力経路が複数存在し、複数の出力経路の組み合わせにより同期処理が必要となった場合に、同期処理のための遅延制御による処理負担を軽減するオーディオ−ビジュアルシステム及びデコーダを提供することを目的とする。
第1の発明のオーディオ−ビジュアルシステムは、ビデオデータとオーディオデータとを内包するデータの入力を受け付け、ビデオデータとオーディオデータに分割する入力部と、前記入力部により分割されたビデオデータをデコードするビデオデコーダと、前記入力部により分割されたオーディオデータをデコードするオーディオデコーダと、前記ビデオデコーダがデコードしたビデオデータと前記オーディオデコーダがデコードしたオーディオデータを重畳して出力する出力部と、を有し、前記ビデオデコーダ或いはオーディオデコーダは複数のデータの出力経路を有し、前記ビデオデコーダ或いはオーディオデコーダは、前記出力経路ごとに遅延時間を設定して前記デコードされたビデオデータと前記デコードされたオーディオデータとを同期させる。
第2の発明のデコーダは、ビデオデータ或いはオーディオデータをデコードするデコード処理を行う制御部と、前記出力経路に対応する数だけ設けられ、前記制御部がデコードしたビデオデータ或いはオーディオデータを記憶するバッファメモリと、前記出力経路に対応する数だけ設けられた出力インターフェースと、を有し、前記出力インターフェースは、前記出力経路ごとに、前記バッファメモリから前記デコードされたビデオデータ或いはオーディオデータを読み出し、所定の容量だけ読み出すたびに出力経路ごとに独立な割り込み信号を前記制御部に対して送信し、前記制御部は、前記出力インターフェースからの割り込み信号のうち、最も遅延が少ない出力経路の出力インターフェースからの割り込み信号に応じて、前記デコード処理及び、デコード済みのビデオデータ或いはオーディオデータの前記バッファメモリへの書き込み或いは読み出しを管理するバッファ管理処理を実行する。
出力経路が複数存在し、複数の出力経路の組み合わせにより同期処理が必要となった場合に、同期処理のための遅延制御による処理負担を軽減する。
以下、本発明の実施形態について説明する。
本発明の実施形態のAV(Audio-Visual)システム100の構成の一例を図1に示す。
図1は、本実施形態のAVシステム100の構成の一例を示すブロック図である。
図1に示すように、AVシステム100は、入力部101、ビデオデコーダ102、画質改善部103、オーディオデコーダ104、バッファメモリ105〜107、出力部108を有する。
入力部101は、データの入力を受け付ける。
入力部101に入力されるデータは、ビデオデータとオーディオデータが重畳されたストリームデータである。入力部101が受け付けるAVストリームデータは、例えばMPEG2形式のストリームデータである。
入力部101に入力されたAVデータは、入力部101によりビデオデータとオーディオデータに分割され、それぞれビデオデコーダ102とオーディオデコーダ104に転送される。
ビデオデコーダ102は、入力部101から転送されたビデオストリームデータをデコードする。ビデオデコーダ102の出力形式は例えばHD(High Definition)出力とSD(Standard Definition)2種類である。
ビデオデコーダ102によるデコード処理により、出力されるHD出力データとSD出力データには異なる時間の遅延時間が生じる。
画質改善部103は、ビデオデコーダ102の出力するHD出力データの画質を改善する画像処理部である。画質改善部103による画質改善の方法については本発明では限定しないが、画質改善部103の画質改善処理により、ビデオストリームデータに遅延が生じる。これにより、入力部101により分割される以前のAVストリームデータにおいて画重畳されていたオーディオデータとの間に時間的なずれが生じる。
オーディオデコーダ104は、入力部101から転送されたオーディオストリームデータをデコードする。オーディオデコーダ104は、デコードしたオーディオデータを、例えば5.1ch出力、ステレオ出力、S/PDIF出力の3種類の出力形式で出力する。
オーディオデコーダ104から出力された3種の出力形式のオーディオデータは、それぞれバッファメモリ105〜107に一時的に記憶される。
なお、オーディオデコーダ104によるデコード処理により、出力される3種の出力形式のオーディオデータには、それぞれ異なる時間の遅延時間が生じる。
オーディオデコーダ104の詳細な構成や動作については後述する。
出力部108は、ビデオデコーダ102が出力するビデオデータとオーディオデコーダ104が出力するオーディオデータとを重畳し、AVデータとして出力する。
ここで、上述したように、ビデオデータ、オーディオデータともに、出力経路によって処理時間が異なるために、出力経路ごとに異なる遅延時間が生じている。
従って、上述したAVシステム100では、ビデオデータとオーディオデータの出力経路ごとに異なる遅延時間を修正するために、ビデオデータとオーディオデータの同期をとるAV同期処理を行っている。
AV同期処理により出力されるAVデータは、ビデオデータとオーディオデータの時間的同期がとれている。このため、AVデータが図示しない再生機器により再生される際にビデオデータとオーディオデータの再生タイミングにずれが生じることがない。
以下、AVシステム100におけるAV同期処理について説明する。
図2は、オーディオデコーダ104の構成の一例を示すブロック図である。
図2に示すように、オーディオデコーダ104は、メモリ1、オーディオ制御CPU2、メモリ3、オーディオハードウェア(H/W)4(本発明の出力インターフェースに対応)を有する。
メモリ1は、入力部101から入力されるオーディオストリームデータをバッファリングするためのESバッファ11を有する。
ESバッファ11は、エレメンタリストリーム(ES:Elementary Stream)をバッファリングするためのバッファメモリである。エレメンタリストリームとは、符号化された画像データあるいは音声データを意味する。
例えば本実施形態のAVシステム100において入力されることが想定されているMPEG−2形式のストリームデータは、エレメンタリストリームが分割されてPS(Program Stream)あるいはTS(Transport Stream)として構成される。
オーディオ制御CPU2は、図2に示すように、制御部21、デコーダ22、ダウンミックス制御部23、61937フォーマッタ24、SRC25〜27を有する。
制御部21は、デコーダ22〜SRC27までのオーディオ制御CPU2の各要素に対するデコード制御及び、メモリ1、メモリ3のバッファリング制御、オーディオハードウェア4のハードウェア制御を行うための制御CPUである。
デコーダ22〜SRC27は、ESバッファ11にバッファリングされたオーディオストリームデータをデコード(復号化)するデコードブロックである。
デコーダ22は、ESバッファ11にバッファリングされたオーディオストリームデータを取得し、制御部21のデコード制御に応じて、デコード処理を行う。デコーダ22が行うデコード処理の詳細な方法については本実施形態では限定しない。既存の技術を利用することができる。
なお、制御部21は、後述するオーディオH/W4から転送される割り込みに応じて(割り込み信号をトリガとして)デコーダ22にデコード処理を実行させる。
デコーダ22によりデコードされたオーディオストリームデータは、マルチチャンネル、例えば5.1chのストリームデータである。
ダウンミックス制御部23は、マルチチャンネルのストリームデータをダウンミックスする。ダウンミックスとは、マルチチャンネルのサラウンドソースを、リスニング形態に合わせたチャンネル数にコンバートすることである。本実施形態では、入力された5.1chのマルチチャンネルオーディオストリームデータを、2chのステレオのデータにダウンミックスする。
61937フォーマッタ24は、ESバッファ11にバッファリングされたオーディオストリームデータを、IEC61937という規格に適合するようにフォーマットする。
IEC61937は、IEC(International Electro-technical Commission:国際電気標準会議)により規定された規格であり、S/PDIFインターフェースを使用して転送する圧縮デジタルオーディオに関する規格である。
したがって、61937フォーマッタ24により、ESバッファ11にバッファリングされたオーディオストリームデータをS/PDIFに対応した形式に変換することができる。
SRC25〜27は、それぞれ入力されるオーディオストリームデータのサンプリング周波数を最適な周波数に変換する。
図2に示すように、SRC25にはデコーダ22によりデコードされたマルチチャンネルのオーディオストリームデータが入力される。
また、図2に示すように、SRC26にはダウンミックス制御部23によりダウンミックスされた2chのオーディオストリームデータが入力される。
また、図2に示すように、SRC27にはS/PDIF出力用のオーディオストリームデータが入力される。
このようにオーディオ制御CPU2により、オーディオストリームデータはマルチチャンネルのストリームデータ、ステレオストリームデータ、S/PDIFのストリームデータにそれぞれ変換される。
次に、このように生成された3形式のストリームデータは、それぞれメモリ3の5.1chバッファ31、ステレオバッファ32、S/PDIFバッファ33の各バッファに一時記憶される。
オーディオH/W4は、割り込み制御部41と、パラレル−シリアル変換機42〜45、60958フォーマッタ46を有する。
オーディオH/W4は、メモリ3の3つのバッファに記憶されたオーディオストリームデータを指定フレーム数で読み出し、パラレル−シリアル変換機42〜45によりシリアルに変換して出力する。
具体的には、5.1chバッファ31から読み出された5.1chのストリームデータはパラレル−シリアル変換機42によりシリアルに変換され、出力される。
また、ステレオバッファ32から読み出されたステレオストリームデータはパラレル−シリアル変換機43によりシリアルに変換され、出力される。
また、S/PDIFバッファ33から読み出されたS/PDIFのストリームデータはパラレル−シリアル変換機44及び45によりシリアルに変換される。そして、60958フォーマッタ46によりIEC60958という規格に適合するようにファーマットすることにより、S/PDIF形式のストリームデータが出力される。
なお、IEC60958は、S/PDIFに対応した規格である。
以下、パラレル−シリアル変換機42により5.1chのオーディオストリームデータが出力される転送経路を経路Aと称する。
また、パラレル−シリアル変換機43によりステレオオーディオストリームデータが出力される転送経路を経路Bと称する。
また、60958フォーマッタ46によりS/PDIFのオーディオストリームデータが出力される転送経路を経路Cと称する。
パラレル−シリアル変換機42〜45によりパラレル−シリアル変換が行われるときには、各パラレル−シリアル変換機42〜45から割り込み制御部41に対して割り込み信号が送信される。
詳細には、パラレル−シリアル変換機42〜45において、所定の容量のストリームデータが読み出されるたびに(所定のバイト数のリード動作ごとに)割り込みが発生する。
割り込み制御部41は、発生した割り込みを制御部21に転送する。
制御部21は、転送された割り込みに応じて所定の処理を上述した各ブロックに実行させる。
所定の処理とは、ビデオデコーダ102の出力信号の同期をとるための同期判定処理、デコーダ22にデコードを実行させるデコード処理、メモリ1及び3の各バッファメモリに対する書き込み・読み出しを制御するバッファ管理処理である。
同期判定処理とは、いずれかの出力経路からの割り込みをビデオデコーダ102に通知し、AV同期を行う処理である。
デコード処理とは、上述したオーディオデコーダ104における、デコーダ22〜SRC27によるオーディオストリームデータのデコード処理である。
また、バッファ管理処理とは、オーディオストリームのパケットをメモリ3の各経路ごとのバッファ31〜33に書き込み・読み出しをするための処理である。
上述したように、本実施形態のAVシステム100のオーディオデコーダ104には、経路A〜Cの3つの出力経路が存在する。
本実施形態のAVシステム100では、3つの出力経路のデコード処理及びバッファ管理処理により制御部21にかかる負荷を軽減するために、1つの出力経路の割り込みをトリガとして同期判定処理、デコード処理及びバッファ管理処理を実行するようにした。
とくに、制御部21は、3つの出力経路からの割り込みのうち、最も早い出力経路の割り込みをトリガとして同期判定処理、デコード処理及びバッファ管理処理を実行する。
以下では、最も早い出力経路を、出力経路IHP(Interrupt Handling Path)と称する。
出力経路IHPは、言い換えれば、最も出力遅延が小さい経路であり、したがってメモリ3におけるバッファメモリの残量が最も少ない経路である。
すなわち、本実施形態のオーディオデコーダ104では、もっともバッファメモリが少ない出力経路の割り込みを基に同期判定処理、デコード処理及びバッファ管理処理を行うことにより、効率がよいバッファ管理が可能となり、制御部21の制御負荷が減少する。
これにより、3つの出力経路からの全ての割り込みに応じてデコード処理及びバッファ管理処理を行う場合と比較して、制御部21及びオーディオデコーダ104の各構成にかかる負荷が大幅に軽減され、動作が軽くなる効果が得られる。
また、出力経路1つの割り込みに応じてデコード処理及びバッファ管理処理を行う場合には、メモリ3の各バッファ31〜33のオーバーフロー・アンダーフローを考慮する必要がある。しかし、最もバッファの残量が少ないIHPの割り込みをトリガとしてデコード処理・バッファ管理処理を行うことにより、オーバーフロー・アンダーフローを考慮した構成とすることができる。
以下、同期判定処理について説明する。
従来では、複数の出力経路を有するオーディオデコーダの場合、所定の経路の割り込みを通知して同期判定処理を行っていたが、本実施形態のオーディオデコーダ104では、IHPの割り込みを基に同期判定を行う。
図3は、本実施形態のオーディオデコーダ104における同期判定の割り込み通知時間を示すタイムチャートである。
図3(a)は、IHPの割り込みを使用して同期判定を行う場合のタイムチャートである。
出力経路マスターは、同期判定に使用される所定の経路である。
出力経路IHPは、最も早い出力経路である。
#1、#2…は、それぞれPES(Packetized Elementary Stream)であり、パケット化されたES(エレメンタリストリーム)である。AV同期は、PESのヘッダ部分に格納されるPTS値(Presentation Time Stamp)を通知することにより行われる。
具体的には、図3に示すように、出力経路IHPのPTSを通知するとともに、出力経路マスターと出力経路IHPのPTSの差分diffを算出して、これを通知する。
これにより、実際に通知されるのは出力経路IHPのPTSであるが、出力経路IHPと出力経路マスターとのPTSの差分diffが分かっているため、マスターのPTSを算出することができる。
このように、同期判定処理を行うことが可能になっている。
あるいは、図3(b)に示すように、所定のタイマーを別途設け、タイマーの割り込みを使用して同期判定を行うようにしてもよい。
すなわち、図3(b)に示すように、所定の時間(例えば200ms)ごとに割り込み信号を生じるタイマーの割り込みに応じて同期判定処理を行うようにし、出力経路マスターとの差分diff’を同時に通知するようにする。
このようにしても、出力経路マスターのPTSを通知可能であり、同期判定処理を行うことが可能である。
上述したように、本実施形態のオーディオデコーダ104では、出力経路IHPの割り込みに応じて同期判定処理、デコード処理及びバッファ管理処理を行うように設定した。
以下では、経路起動時の出力経路IHPの指定の方法について説明する。
図4は、上述したオーディオデコーダ104において、経路A〜CのうちのいずれかをIHPとして指定する場合の、出力経路時の設定方法を説明するためのフローチャートである。
ステップST1:
制御部21は、出力経路の起動に備えて、出力経路A〜Cの割り込みを禁止する。
ステップST2:
制御部21は、出力経路A〜Cのうち、起動する出力経路を決定する。
ステップST3:
制御部21は、起動する経路ごとの遅延時間(Delay時間)を決定する。
ステップST4:
制御部21は、起動しない経路の遅延時間をMAX値+1に設定する。MAX値は、例えばオーディオストリームの1パケット分の時間用にも十分に長い時間であればよい。
ステップST5:
制御部21は、出力経路マスターとなる経路を決定する。
ステップST6:
制御部21は、経路Cの遅延時間(DelayC)が経路Bの遅延時間(DelayB)よりも大きいか否かを判定する。DelayC>DelayBであった場合はステップST7に進み、そうでない場合はステップST14に進む。
ステップST7:
制御部21は、経路Aの遅延時間(DelayA)が経路Bの遅延時間(DelayB)よりも大きいか否かを判定する。DelayA>DelayBであった場合はステップST8に進み、そうでない場合はステップST11に進む。
ステップST8:
制御部21は、遅延時間が最小である経路、すなわちIHPとして経路Bを設定する。
ステップST9:
制御部21は、経路Bの遅延時間DelayBと、ステップST5において設定された経路マスターの遅延時間DelayMとの差分(相対遅延時間)diffを算出して記憶する。
ステップST10:
制御部21は、経路Bの割り込みを許可し、経路B以外の経路の割り込みを禁止する。
これにより、同期判定処理、デコード処理、バッファ管理処理に使用される割り込みが経路Bの割り込みに固定されるので、上記処理時のオーディオデコーダ104の負荷が軽減される。
ステップST11:
制御部21は、遅延時間が最小である経路、すなわちIHPとして経路Aを設定する。
ステップST12:
制御部21は、経路Aの遅延時間DelayAと、ステップST5において設定された経路マスターの遅延時間DelayMとの差分(相対遅延時間)diffを算出して記憶する。
ステップST13:
制御部21は、経路Aの割り込みを許可し、経路A以外の経路の割り込みを禁止する。
これにより、同期判定処理、デコード処理、バッファ管理処理に使用される割り込みが経路Aの割り込みに固定されるので、上記処理時のオーディオデコーダ104の負荷が軽減される。
ステップST14:
制御部21は、経路Aの遅延時間(DelayA)が経路Cの遅延時間(DelayC)よりも大きいか否かを判定する。DelayA>DelayCであった場合はステップST15に進み、そうでない場合はステップST11に進む。
ステップST15:
制御部21は、遅延時間が最小である経路、すなわちIHPとして経路Cを設定する。
ステップST16:
制御部21は、経路Cの遅延時間DelayCと、ステップST5において設定された経路マスターの遅延時間DelayMとの差分(相対遅延時間)diffを算出して記憶する。
ステップST17:
制御部21は、経路Cの割り込みを許可し、経路C以外の経路の割り込みを禁止する。
これにより、同期判定処理、デコード処理、バッファ管理処理に使用される割り込みが経路Cの割り込みに固定されるので、上記処理時のオーディオデコーダ104の負荷が軽減される。
以上のような処理により、本実施形態のオーディオデコーダ104において、同期判定処理、デコード処理、バッファ管理処理の契機となる割り込みを最も遅延が少ない1つの出力経路に絞ることができるため、各構成にかかる負荷が軽減される。
次に、図4において説明した方法によって設定した経路IHPを停止し、他の経路にIHPを移行させる方法について説明する。
図5は、設定した経路IHPを停止し、他の経路にIHPを移行させる方法について説明するためのフローチャートである。
ステップST21:
制御部21は、起動しない経路の遅延時間をMAX値+1に設定する。MAX値は、例えばオーディオストリームの1パケット分の時間用にも十分に長い時間であればよい。
ステップST22:
制御部21は、出力経路マスターとなる経路を決定する。
ステップST23:
制御部21は、経路Cの遅延時間(DelayC)が経路Bの遅延時間(DelayB)よりも大きいか否かを判定する。DelayC>DelayBであった場合はステップST24に進み、そうでない場合はステップST31に進む。
ステップST24:
制御部21は、経路Aの遅延時間(DelayA)が経路Bの遅延時間(DelayB)よりも大きいか否かを判定する。DelayA>DelayBであった場合はステップST25に進み、そうでない場合はステップST28に進む。
ステップST25:
制御部21は、遅延時間が最小である経路、すなわちIHPとして経路Bを設定する。
ステップST26:
制御部21は、経路Bの遅延時間DelayBと、ステップST22において設定された経路マスターの遅延時間DelayMとの差分(相対遅延時間)diffを算出して記憶する。
ステップST27:
制御部21は、経路Bの割り込みを許可し、経路B以外の経路の割り込みを禁止する。
これにより、同期判定処理、デコード処理、バッファ管理処理に使用される割り込みが経路Bの割り込みに固定されるので、上記処理時のオーディオデコーダ104の負荷が軽減される。
ステップST28:
制御部21は、遅延時間が最小である経路、すなわちIHPとして経路Aを設定する。
ステップST29:
制御部21は、経路Aの遅延時間DelayAと、ステップST22において設定された経路マスターの遅延時間DelayMとの差分(相対遅延時間)diffを算出して記憶する。
ステップST30:
制御部21は、経路Aの割り込みを許可し、経路A以外の経路の割り込みを禁止する。
これにより、同期判定処理、デコード処理、バッファ管理処理に使用される割り込みが経路Aの割り込みに固定されるので、上記処理時のオーディオデコーダ104の負荷が軽減される。
ステップST31:
制御部21は、経路Aの遅延時間(DelayA)が経路Cの遅延時間(DelayC)よりも大きいか否かを判定する。DelayA>DelayCであった場合はステップST32に進み、そうでない場合はステップST28に進む。

ステップST32:
制御部21は、遅延時間が最小である経路、すなわちIHPとして経路Cを設定する。
ステップST33:
制御部21は、経路Cの遅延時間DelayCと、ステップST22において設定された経路マスターの遅延時間DelayMとの差分(相対遅延時間)diffを算出して記憶する。
ステップST34:
制御部21は、経路Cの割り込みを許可し、経路C以外の経路の割り込みを禁止する。
これにより、同期判定処理、デコード処理、バッファ管理処理に使用される割り込みが経路Cの割り込みに固定されるので、上記処理時のオーディオデコーダ104の負荷が軽減される。
以上のような方法により、遅延が最も少ない経路IHPを他の経路に割り当てるように変更することも可能である。
次に、制御部21による各出力経路の割り込みのモニタリングとバッファ管理処理(読み出し時)の制御について説明する。
図6は、制御部21による各出力経路の割り込みのモニタリングとバッファ管理処理(読み出し時)の制御について説明するためのフローチャートである。
ステップST41:
制御部21は、所定の単位時間1つ分のオーディオパケットデータ(以下1AU)の出力を要求する割り込みがあったか否かを判定する。所定の単位時間は、例えばPES1つ分の転送時間、あるいはメモリ3の各バッファへの書き込み・読み出し時間などである。
割り込みがあった場合はステップST42に進み、なかった場合は処理を終了する。
ステップST42:
制御部21は、その時点で起動している出力経路全てに対応するメモリ3の各バッファの読み出し位置を1AU分進める。これにより、全出力経路の読み出し位置を更新することができる。
ステップST43:
制御部21は、PTS(Presentation Time Stamp)通知タイミングであるか否かを判定する。
PTS通知タイミングは、PTSの通知を行うように予め設定されたタイミングである。例えば数AU分のデータの読み出しが終わったときに通知を行うように設定されていた場合には、数AU分のデータの読み出しが終わったときがPTS通知タイミングとなる。
PTS通知タイミングであった場合にはステップST44に進み、そうでない場合は処理を終了する。
ステップST44:
制御部21は、割り込みが出力経路マスターの割り込みであるか否かを判定する。
出力経路マスターの割り込みである場合はステップST45に進み、そうでない場合はステップST46に進む。
ステップST45:
制御部21は、出力経路マスターのPTS情報を通知する。
ステップST46:
制御部21は、割り込みがあった経路の遅延時間と出力経路マスターの遅延時間との差分diffを出力経路マスターの遅延時間に加え、これをPTS情報として通知する。
このような構成により、その時点で起動している出力経路全てに対応するメモリ3の各バッファの読み出し位置が1AU分進められるので、全出力経路の読み出し位置を更新することができる。
次に、制御部21によるデコード処理とバッファ管理処理(書き込み時)の制御について説明する。
図7は、制御部21によるデコード処理とバッファ管理処理(書き込み時)の制御について説明するためのフローチャートである。
ステップST51:
制御部21は、1AU分のオーディオデータの出力を要求する割り込みがあったか否かを判定する。
出力要求の割り込みがあった場合はステップST53に進み、そうでない場合はステップST52に進む。
ステップST52:
制御部21は、1AU分のオーディオデータのデコードの要求があったか否かを判定する。
デコードの要求があった場合はステップST53に進み、なかった場合は処理を終了する。
ステップST53:
制御部21は、起動中の経路に対応するバッファの中に、バッファフルの状態となったバッファがあるか否かを判定する。
バッファフルとは、3つの出力経路に対応する3つのバッファのうちの少なくとも1つが、空き容量がない(あるいはそれに近い)状態である。このような場合、バッファフルであり遅延時間が最も大きい経路の出力がないと、バッファがフルに近い状態であるためにデコード及び書き込みを開始できない。
3つの経路に対応するバッファの中にバッファフルの状態となったものが存在する場合は処理を終了し、存在しない場合はステップST54に進む。
ステップST54:
制御部21は、ステップST52において要求された指定AUのデコード処理を実行する。
なお、本実施形態では、デコード処理の内容自体についてはとくに限定しない、既存の技術を利用することができる。
ステップST55:
制御部21は、ステップST54におけるデコード結果のデータを対応するバッファに記憶させる。
ステップST56:
制御部21は、ステップST54においてデコードしたAUのPTSをデータを記憶するバッファを有するメモリ3に対となるメモリ1に記憶させる。
ステップST57:
制御部21は、その時点で起動している出力経路全てに対応するメモリ3の各バッファの書き込み位置を1AU分進める。これにより、全出力経路の書き込み位置を更新することができる。
以上のような構成により、その時点で起動している出力経路全てに対応するメモリ3の各バッファの書き込み位置が1AU分進められるので、全出力経路の書き込み位置を更新することができる。
また、バッファフルであるバッファが存在する場合は処理を終了するので、バッファに余計な負荷をかけることなく、オーディオデコーダ104全体の処理が遅くなることを避けることができる。
以上説明したように、本実施形態のAVシステム100によれば、オーディオデコーダ104は、同期判定処理、デコード処理、バッファ管理処理の契機となる割り込みを最も遅延が少ない1つの出力経路に絞ることができるため、各構成にかかる負荷が軽減される。
また、遅延が少ない1つの出力経路は、自由に切り替えが可能であるため、使い勝手がよい。
また、バッファ管理処理において、読み出し時には、その時点で起動している出力経路全てに対応するメモリ3の各バッファの読み出し位置が1AU分進められるので、全出力経路の読み出し位置を更新することができる。
また、バッファ管理処理において、書き込み時には、その時点で起動している出力経路全てに対応するメモリ3の各バッファの書き込み位置が1AU分進められるので、全出力経路の書き込み位置を更新することができる。
また、バッファ管理処理の書き込み時において、バッファフルであるバッファが存在する場合は処理を終了するので、バッファに余計な負荷をかけることなく、オーディオデコーダ104全体の処理が遅くなることを避けることができる。
本発明は上述した実施形態には限定されない。
すなわち、本発明の実施に際しては、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し様々な変更並びに代替を行ってもよい。
上述した実施形態では、オーディオデコーダ104の方で遅延時間を調節しAV同期をとる方法を採用したが、本発明はこれには限定されず、例えばビデオデコーダの方で経路ごとに遅延時間を調節してAV同期をとるようにしてもよい。
図1は、本実施形態のAVシステムの構成の一例を示すブロック図である。 図2は、オーディオデコーダの構成の一例を示すブロック図である。 図3は、本実施形態のオーディオデコーダにおける同期判定の割り込み通知時間を示すタイムチャートである。 図4は、オーディオデコーダにおいて、経路A〜CのうちのいずれかをIHPとして指定する場合の、出力経路時の設定方法を説明するためのフローチャートである。 図5は、設定した経路IHPを停止し、他の経路にIHPを移行させる方法について説明するためのフローチャートである。 図6は、制御部による各出力経路の割り込みのモニタリングとバッファ管理処理(読み出し時)の制御について説明するためのフローチャートである。 図7は、制御部によるデコード処理とバッファ管理処理(書き込み時)の制御について説明するためのフローチャートである。
符号の説明
100…AVシステム、101…入力部、102…ビデオデコーダ、103…画質改善部、104…オーディオデコーダ、105…バッファメモリ、106…バッファメモリ、107…バッファメモリ、108…出力部、1…メモリ、11…バッファ、2…オーディオ制御CPU、21…制御部、22…デコーダ、23…ダウンミックス制御部、24…61937フォーマッタ、3…メモリ、31…5.1chバッファ、32…ステレオバッファ、33…S/PDIFバッファ、4…オーディオハードウェア(H/W)、41…割り込み制御部、42…パラレル−シリアル変換機、43…パラレル−シリアル変換機、44…パラレル−シリアル変換機、45…パラレル−シリアル変換機、46…60958フォーマッタ

Claims (6)

  1. ビデオデータとオーディオデータとを内包するデータの入力を受け付け、ビデオデータとオーディオデータに分割する入力部と、
    前記入力部により分割されたビデオデータをデコードするビデオデコーダと、
    前記入力部により分割されたオーディオデータをデコードするオーディオデコーダと、
    前記ビデオデコーダがデコードしたビデオデータと前記オーディオデコーダがデコードしたオーディオデータを重畳して出力する出力部と、
    を有し、
    前記ビデオデコーダ或いはオーディオデコーダは複数のデータの出力経路を有し、
    前記ビデオデコーダ或いはオーディオデコーダは、前記出力経路ごとに遅延時間を設定して前記デコードされたビデオデータと前記デコードされたオーディオデータとを同期させる
    オーディオ−ビジュアルシステム。
  2. 前記ビデオデコーダ或いはオーディオデコーダは、
    前記入力部が分割したビデオデータ或いはオーディオデータをデコードするデコード処理を行う制御部と、
    前記出力経路に対応する数だけ設けられ、前記制御部がデコードしたビデオデータ或いはオーディオデータを記憶するバッファメモリと、
    前記出力経路に対応する数だけ設けられた出力インターフェースと、
    を有し、
    前記出力インターフェースは、前記出力経路ごとに、前記バッファメモリから前記デコードされたビデオデータ或いはオーディオデータを読み出し、所定の容量だけ読み出すたびに出力経路ごとに独立な割り込み信号を前記制御部に対して送信し、
    前記制御部は、前記出力インターフェースからの割り込み信号のうち、最も遅延が少ない出力経路の出力インターフェースからの割り込み信号に応じて、前記デコード処理及び、デコード済みのビデオデータ或いはオーディオデータの前記バッファメモリへの書き込み或いは読み出しを管理するバッファ管理処理を実行する
    請求項1に記載のオーディオ−ビジュアルシステム。
  3. 前記制御部は、前記最も遅延が少ない出力経路の出力インターフェースのみ割り込み信号を出力することを許可し、他の出力経路の割り込み信号の出力を禁止する
    請求項2に記載のオーディオ−ビジュアルシステム。
  4. 前記制御部は、
    所定の出力経路の出力インターフェースからの所定容量のビジュアルデータ或いはオーディオデータの出力完了を前記オーディオデコーダ或いはビデオデコーダに通知することにより同期を行う場合に、
    前記最も遅延が少ない出力経路の出力インターフェースからの所定容量のビジュアルデータ或いはオーディオデータの出力完了を通知するとともに、前記最も遅延が少ない出力経路の出力インターフェースからの所定容量のビジュアルデータ或いはオーディオデータの出力完了と前記所定の出力経路における出力完了との時間差分を前記オーディオデコーダ或いはビデオデコーダに通知することにより同期を行う
    請求項3に記載のオーディオ−ビジュアルシステム。
  5. 前記制御部は、所定容量の前記ビジュアルデータ或いはオーディオデータの読み出しに伴う割り込み信号に応じて、使用中の全出力経路に対応した前記バッファメモリの読み出し位置を前記所定容量に対応した分だけ進める
    請求項4に記載のオーディオ−ビジュアルシステム。
  6. ビデオデータ或いはオーディオデータをデコードするデコード処理を行う制御部と、
    前記出力経路に対応する数だけ設けられ、前記制御部がデコードしたビデオデータ或いはオーディオデータを記憶するバッファメモリと、
    前記出力経路に対応する数だけ設けられた出力インターフェースと、
    を有し、
    前記出力インターフェースは、前記出力経路ごとに、前記バッファメモリから前記デコードされたビデオデータ或いはオーディオデータを読み出し、所定の容量だけ読み出すたびに出力経路ごとに独立な割り込み信号を前記制御部に対して送信し、
    前記制御部は、前記出力インターフェースからの割り込み信号のうち、最も遅延が少ない出力経路の出力インターフェースからの割り込み信号に応じて、前記デコード処理及び、デコード済みのビデオデータ或いはオーディオデータの前記バッファメモリへの書き込み或いは読み出しを管理するバッファ管理処理を実行する
    デコーダ。
JP2008227506A 2008-09-04 2008-09-04 オーディオ−ビジュアルシステム及びデコーダ Pending JP2010062947A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008227506A JP2010062947A (ja) 2008-09-04 2008-09-04 オーディオ−ビジュアルシステム及びデコーダ
US12/461,673 US8897374B2 (en) 2008-09-04 2009-08-20 Audio visual system and decoder therefor
CN2009101710929A CN101668217B (zh) 2008-09-04 2009-09-04 视听系统及用于视听系统的解码器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008227506A JP2010062947A (ja) 2008-09-04 2008-09-04 オーディオ−ビジュアルシステム及びデコーダ

Publications (1)

Publication Number Publication Date
JP2010062947A true JP2010062947A (ja) 2010-03-18

Family

ID=41725397

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008227506A Pending JP2010062947A (ja) 2008-09-04 2008-09-04 オーディオ−ビジュアルシステム及びデコーダ

Country Status (3)

Country Link
US (1) US8897374B2 (ja)
JP (1) JP2010062947A (ja)
CN (1) CN101668217B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015130662A (ja) * 2014-01-07 2015-07-16 三星電子株式会社Samsung Electronics Co.,Ltd. Av機器及びその制御方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120154679A1 (en) * 2010-12-21 2012-06-21 Comcast Cable Communications, Llc User-controlled synchronization of audio and video
DE102015214711A1 (de) 2015-07-31 2017-02-02 Dürr Systems Ag Behandlungsanlage und Verfahren zum Behandeln von Werkstücken
DE102015214706A1 (de) 2015-07-31 2017-02-02 Dürr Systems Ag Behandlungsanlage und Verfahren zum Behandeln von Werkstücken
CN105872745A (zh) * 2015-12-21 2016-08-17 乐视致新电子科技(天津)有限公司 输入数据源的扩展方法及装置
CN107592567A (zh) * 2017-08-25 2018-01-16 触景无限科技(北京)有限公司 消除视频卡顿的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003348489A (ja) * 2002-05-29 2003-12-05 Sony Corp 放送受信機
WO2006025441A1 (ja) * 2004-09-02 2006-03-09 Pioneer Corporation 画像処理装置、音声処理装置、画像音声供給装置、及び画像音声処理システム、並びに画像音声同期方法
JP2006148679A (ja) * 2004-11-22 2006-06-08 Matsushita Electric Ind Co Ltd データ処理装置
JP2007318604A (ja) * 2006-05-29 2007-12-06 Funai Electric Co Ltd ディジタル音声信号処理装置
WO2008056622A1 (en) * 2006-11-06 2008-05-15 Panasonic Corporation Receiver

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU3276099A (en) * 1998-03-13 1999-09-27 Matsushita Electric Industrial Co., Ltd. Data storage medium, and apparatus and method for reproducing the data from the same
US6229852B1 (en) * 1998-10-26 2001-05-08 Sony Corporation Reduced-memory video decoder for compressed high-definition video data
KR100367000B1 (ko) * 1999-06-29 2003-01-06 한국전자통신연구원 멀티미디어 처리용 가속 기능 및 입출력 기능을 갖는 피씨용 멀티채널 오디오/음성 및 데이터 코덱장치
EP1198133A4 (en) * 2000-04-21 2004-10-06 Sony Corp INFORMATION PROCESSING DEVICE AND METHOD, PROGRAM AND RECORDED MEDIUM
KR100780153B1 (ko) * 2000-04-21 2007-11-27 소니 가부시끼 가이샤 기록 장치 및 방법, 재생 장치 및 방법, 및 기록 매체
US7230651B2 (en) * 2002-10-22 2007-06-12 Broadcom Corporation A/V decoder having a clocking scheme that is independent of input data streams
KR20070028317A (ko) * 2004-06-03 2007-03-12 마츠시타 덴끼 산교 가부시키가이샤 재생장치, 프로그램
JP4264552B2 (ja) * 2006-05-15 2009-05-20 ソニー株式会社 情報送信装置、情報送信方法、情報受信装置、情報受信方法、情報送受信システム、情報送受信方法、記録媒体、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003348489A (ja) * 2002-05-29 2003-12-05 Sony Corp 放送受信機
WO2006025441A1 (ja) * 2004-09-02 2006-03-09 Pioneer Corporation 画像処理装置、音声処理装置、画像音声供給装置、及び画像音声処理システム、並びに画像音声同期方法
JP2006148679A (ja) * 2004-11-22 2006-06-08 Matsushita Electric Ind Co Ltd データ処理装置
JP2007318604A (ja) * 2006-05-29 2007-12-06 Funai Electric Co Ltd ディジタル音声信号処理装置
WO2008056622A1 (en) * 2006-11-06 2008-05-15 Panasonic Corporation Receiver

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015130662A (ja) * 2014-01-07 2015-07-16 三星電子株式会社Samsung Electronics Co.,Ltd. Av機器及びその制御方法
US9742964B2 (en) 2014-01-07 2017-08-22 Samsung Electronics Co., Ltd. Audio/visual device and control method thereof

Also Published As

Publication number Publication date
US8897374B2 (en) 2014-11-25
CN101668217B (zh) 2012-06-06
CN101668217A (zh) 2010-03-10
US20100054341A1 (en) 2010-03-04

Similar Documents

Publication Publication Date Title
US6163647A (en) Apparatus for synchronized playback of audio-video signals
JP3094999B2 (ja) オーディオ・ビデオ同期再生装置
JP4536653B2 (ja) データ処理装置および方法
EP1801781B1 (en) Information processing apparatus
US20030095574A1 (en) System and method for effectively performing an audio/video synchronization procedure
JP2010062947A (ja) オーディオ−ビジュアルシステム及びデコーダ
JP2003519992A (ja) データストリームの変換方法と装置
JP2019169948A (ja) 送信方法、受信方法、送信装置および受信装置
JP3438223B2 (ja) 多重化装置および多重化方法、並びに伝送装置および伝送方法
JP4309940B2 (ja) ストリーム多重装置、ストリーム多重方法および記録媒体
JP2001517040A (ja) 圧縮ビデオプログラムのシームレススプライシング
US6718119B1 (en) Video/audio decoding apparatus and method
JP2002197794A (ja) 音声映像データ同期再生方法
JP2000278136A (ja) 復号装置
JP3877947B2 (ja) 符号化データの転送制御方法及び蓄積再生システム
US9866898B2 (en) Elementary stream multiplexing method, multiplexing system, encoding or decoding method and apparatus
JP2006148679A (ja) データ処理装置
JP2008312008A (ja) オーディオストリーム処理方法および再生装置と出力装置
US20060257108A1 (en) Multimedia reproduction apparatus
US20050025453A1 (en) Program, data processing method, and system of same
JP2001339688A (ja) トランスポートストリーム再生装置
JP5168105B2 (ja) 音声再生装置、及び音声再生方法
JP3742688B2 (ja) 圧縮映像音声データデコード装置及び圧縮映像音声データデコード方法
US20090110364A1 (en) Reproduction apparatus and reproduction method
JP2021192528A (ja) 送信方法、受信方法、送信装置および受信装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100615

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100806

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110705