JP2006340102A - 同期再生装置および同期再生方法 - Google Patents

同期再生装置および同期再生方法 Download PDF

Info

Publication number
JP2006340102A
JP2006340102A JP2005163147A JP2005163147A JP2006340102A JP 2006340102 A JP2006340102 A JP 2006340102A JP 2005163147 A JP2005163147 A JP 2005163147A JP 2005163147 A JP2005163147 A JP 2005163147A JP 2006340102 A JP2006340102 A JP 2006340102A
Authority
JP
Japan
Prior art keywords
audio
video
data
signal
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005163147A
Other languages
English (en)
Other versions
JP5059301B2 (ja
JP2006340102A5 (ja
Inventor
Shigenori Aoyanagi
成範 青柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Electronics Corp
Original Assignee
NEC Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Electronics Corp filed Critical NEC Electronics Corp
Priority to JP2005163147A priority Critical patent/JP5059301B2/ja
Priority to US11/435,776 priority patent/US8130844B2/en
Priority to EP20060114644 priority patent/EP1729522A3/en
Priority to CNB2006100886747A priority patent/CN100565693C/zh
Publication of JP2006340102A publication Critical patent/JP2006340102A/ja
Publication of JP2006340102A5 publication Critical patent/JP2006340102A5/ja
Application granted granted Critical
Publication of JP5059301B2 publication Critical patent/JP5059301B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10629—Data buffering arrangements, e.g. recording or playback buffers the buffer having a specific structure
    • G11B2020/10638—First-in-first-out memories [FIFO] buffers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10675—Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control
    • G11B2020/10694—Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control output interface, i.e. the way data leave the buffer, e.g. by adjusting the clock rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Abstract

【課題】
ＰＴＳの付随しないオーディオデータであってもビデオデータに同期した再生を行う。
【解決手段】
ビデオデータ、オーディオデータを重畳した信号から映像信号、音声信号を出力する同期再生装置であって、ビデオデータを一時保持するビデオバッファと、オーディオデータを一時保持するオーディオバッファと、ビデオデータをデコードし、映像信号を出力するビデオデコーダと、オーディオデータをデコードし、音声信号を出力するオーディオデコーダと、ビデオバッファに蓄積されているビデオデータの量を取得し、蓄積量信号を出力するビデオバッファ蓄積量取得部と、ビデオデコーダがデコードするビデオデータのビットレートを取得し、ビットレート信号を出力するビットレート取得部と、蓄積量信号およびビットレート信号に基づいてオーディオデコーダの出力する音声信号のタイミングを決定する同期制御部とを有する同期再生装置。
【選択図】 図１

Description

本発明は、ビデオデータ及びオーディオデータの同期再生装置及び同期再生方法に関し、特に複数のオーディオデータを含むデータのオーディオデータとビデオデータの同期再生に関する。
ビデオデータおよびオーディオデータの符号化、およびこれらのデータの多重化に関する国際規格として、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）規格が広く知られている。ＭＰＥＧ規格に基づいて記録されたビデオデータ、オーディオデータにはＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）と呼ばれる時間同期を取るための情報が付加されている。例えば、ビデオデータに対応して複数のオーディオデータを持つようなストリームの場合、このＰＴＳにより映像を再生したまま音声のみを切り替えることが出来る。
ＭＰＥＧ方式により記録された映像／音声の再生装置の普及に伴い、映像／音声をＭＰＥＧ方式で記録する装置やパーソナルコンピュータを用いて記録を行うソフトウェアも普及している。しかしこれらの中にはＭＰＥＧの規格を独自に解釈したため、このＰＴＳを含まないＭＰＥＧストリームを作成するものがある。このＰＴＳを含まないＭＰＥＧストリームでは、映像と音声の同期を取るために映像と音声を共に停止した後に音声を切り替えて再生を再開しなければならない。
そこで、このようなＭＰＥＧストリームで同期を取る技術として特許文献１に記載された技術がある。特許文献１に記載の技術では、オーディオデータは常に一定間隔で挿入されることを前提としており、この前提と記録媒体であるＣＤの特性を利用してオーディオデータの仮想ＰＴＳを計算している。さらに、この仮想のＰＴＳとビデオデータに付随するＰＴＳの同期を取ることで、ビデオデータとオーディオデータの同期を行っている。
特開平６-２７５０５３号公報
しかしながら、特許文献１に記載の技術では、オーディオデータの仮想のＰＴＳを求めるために記録媒体の特性を利用しなければならなかった。
本発明の実施態様に関わる同期再生装置は、ビデオデータ、オーディオデータを重畳した信号から映像信号、音声信号をそれぞれ出力する同期再生装置であって、ビデオデータ及びオーディオデータを分離するデータ分離部と、データ分離部により分離されたビデオデータを一時保持するビデオバッファと、データ分離部により分離されたオーディオデータを一時保持するオーディオバッファと、ビデオバッファに一時保持されたビデオデータをデコードし、映像信号を出力するビデオデコーダと、オーディオバッファに一時保持されたオーディオデータをデコードし、映像信号を出力するオーディオデコーダと、ビデオバッファに蓄積されているビデオデータの量を取得し、蓄積量信号を出力するビデオバッファ蓄積量取得部と、ビデオデコーダがデコードするビデオデータのビットレートを取得し、ビットレート信号を出力するビットレート取得部と、蓄積量信号およびビットレート信号に基づいてオーディオデコーダの出力する音声信号のタイミングを決定する同期制御部とを有する。
また、本発明の実施態様に関わる同期再生方法は、ビデオデータ、オーディオデータを重畳した信号から映像信号、音声信号をそれぞれ再生する同期再生方法であって、ビデオデータ及びオーディオデータを分離し、データ分離部により分離されたビデオデータを一時保持し、データ分離部により分離されたオーディオデータを一時保持し、一時保持されているビデオデータの量を取得し、ビデオデータをデコードするビットレートを取得し、一時保持されているビデオデータの量およびビットレートに基づいてオーディオデータをデコードして音声信号を出力するタイミングを決定する。
記録媒体によらず、ＰＴＳがオーディオデータに付随しないＭＰＥＧストリームであっても映像と音声を同期させた再生が可能である。
図１は、本発明の実施の形態に関わる同期再生装置のブロック図を示す。この実施の形態の同期再生装置は、ＭＰＥＧ２などの規格に基づいたストリームを受け取り、その映像信号と音声信号を同期させて再生するものである。
図１に示す同期再生装置は、基本的な再生装置の構成としてデマルチプレクサ１０、ビデオバッファ１１、ビデオデコーダ１２、オーディオバッファ１３、オーディオデコーダ１４、システムデコーダ１５を有している。本実施の形態の同期再生装置はさらに、ビデオバッファ蓄積量取得部２１、ビットレート取得部２２、ＰＴＳ検出部２３、同期制御部２４、出力遅延制御部２５を有している。
デマルチプレクサ１０は、入力されるＭＰＥＧストリームを分離し、ビデオデータ、オーディオデータ、再生情報として出力する分離装置である。
ビデオバッファ１１は、デマルチプレクサから出力されたビデオデータを一時保持するバッファである。この実施の形態では、ビデオバッファ１１は、ＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）型である。
ビデオデコーダ１２は、ビデオバッファ１１から出力されたビデオデータをデコードし、映像信号を出力する。
オーディオバッファ１３は、デマルチプレクサから出力されたオーディオデータを一時保持するバッファである。この実施の形態では、オーディオバッファ１３は、ＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）型である。
オーディオデコーダ１４は、オーディオバッファ１３から出力されたオーディオデータをデコードし、音声信号を出力する。
システムデコーダ１５は、デマルチプレクサ１０から出力された再生情報からタイミングを制御するためのＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）が生成される。このＳＴＣは、ビデオデータとオーディオデータの出力のタイミングを制御する。
ビデオバッファ蓄積量取得部２１はビデオバッファ１１内にあるビデオデータの蓄積量を取得し、蓄積量に対応する蓄積量信号Ｓ１を出力している。
ビットレート取得部２２はビデオデコーダ１２が映像信号を出力する際のビットレートを取得し、ビットレート信号Ｓ２を出力している。
ＰＴＳ検出部２３は、オーディオバッファ１３を介してオーディオデコーダ１４に入力されたオーディオデータから、ＰＴＳが検出できるかどうかを判定し、ＰＴＳ検出信号Ｓ３を出力する。
同期制御部２４は、上記の蓄積量信号Ｓ１、ビットレート信号Ｓ２、ＰＴＳ検出信号Ｓ３を元に、音声信号と映像信号の同期を図るために、音声信号の出力タイミングを決定する。
出力遅延制御部２５は、同期制御部２４が決定した音声信号の出力タイミングに従ってオーディオデコータ１４が出力する音声信号の遅延制御を行う。
以上のように構成された同期再生装置の動作について以下に説明する。ここでは、１つのビデオデータに対して、例えば二ヶ国語音声のように複数のオーディオデータが入力され、その音声を切り替える場合を例にして説明する。図２は、例えばオーディオデータＡとオーディオデータＢが入力されていた場合に、そのオーディオデータを切り替える場合を例にした音声切り替えのフローチャートを示す。
音声切り替えが指示された場合、まず、ステップＳ２０１において、オーディオデータの入力が停止され、オーディオデータＡに基づいた音声出力が停止される。その後、ステップＳ２０２において、オーディオバッファ１３が初期化される。この時、オーディオバッファ１３内に保持されていたオーディオデータＡは、廃棄される。
ステップＳ２０３において、入力されるオーディオデータを、オーディオデータＢに切り替え、オーディオバッファ１３にオーディオデータＢが蓄積される。ステップＳ２０４において、オーディオデコーダ１４が、オーディオバッファ１３に蓄積されたオーディオデータＢのデコードを開始する。
ステップＳ２０５において、デコードしたオーディオデータからＰＴＳが付随されるかどうかの判定を行う。この判定はＰＴＳ検出手段２３によって行われる。オーディオデータにＰＴＳが付随していた場合は、ＰＴＳ検出部２３の出力するＰＴＳ検出信号Ｓ３がＰＴＳが付随していることを示す。同期再生装置は、ＰＴＳ検出信号Ｓ３がＰＴＳが含まれていることを示した場合には以下の動作を行う。
ステップＳ２０６において、オーディオデータＢに付随するＰＴＳをオーディオデコーダ１４が取得する。また、オーディオデコーダ１４は、システムデコーダ１５からＳＴＣを取得する（ステップＳ２０７）。オーディオデコーダ１４は、オーディオデータＢから取得したＰＴＳと、システムデコーダ１５から取得したＳＴＣを比較し（ステップＳ２０８）、オーディオデータの出力タイミングにあわせた音声データ出力を開始する。
ステップＳ２０５において、入力されるＭＰＥＧストリームのオーディオデータにＰＴＳが付随していない場合、ＰＴＳ検出部２３は、ＰＴＳが付随していないことを検出し、ＰＴＳがついていないことを示すＰＴＳ検出信号Ｓ３を出力する。本実施の形態の同期再生装置は、この信号に応じて以下のような動作を行う。
ステップＳ２１０においてビデオバッファ蓄積量取得部２１が、ビデオバッファ１１に蓄積されているビデオデータの量を取得する。また、ビットレート取得部２２は、ビデオデコーダ１２が出力する映像信号のビットレートを取得する（ステップＳ２１１）。
ステップＳ２１２において、ビデオバッファ１１内に蓄積されているデータの再生時間を以下の式により算出する。
ビデオバッファ１１に蓄積されているデータ量（ｂｉｔ）／ビットレート（ｂｉｔ／ｓ）
この式により、ビデオバッファ１１に蓄積されているビデオデータの再生時間を求めることが出来る。
ステップＳ２１３では、上記の式から切り替えたオーディオデータＢの遅延時間を決定する。この遅延時間とは、ＭＰＥＧストリームに含まれるビデオデータに対し、同時に出力すべきオーディオデータのタイミングを合わせるためにオーディオデータＢのデコードを遅延すべき時間である。つまり、オーディオデータをオーディオデータＡからオーディーデータＢに切り替えた瞬間にオーディオデータＢに基づいたデコード、音声出力を開始してしまうと、仮にビデオバッファに、未再生のビデオデータが蓄積されていた場合、映像出力と音声出力の再生がずれてしまう場合がある。そこで、本実施の形態では、映像出力と音声出力を出力する時刻を合わせるために、オーディオデータＢのデコードを遅延すべき時間が求められる。そこで、上記のビデオの再生時間を元に、再生を中止したオーディオデータＡの再生終了時点から、次に再生するオーディオデータの再生開始時点までの遅延時間を同期制御部２４が設定する。出力遅延制御部２５は、この同期制御部２４が設定した遅延時間を元に音声信号の出力を遅延させて出力し、音声切り替えを終了する。
以下に図３および図４を用いて本実施の形態の詳細な動作について説明する。図３は、オーディオデータにＰＴＳが付随している場合の同期再生の様子を示す模式図である。図３（ａ）は入力されるＭＰＥＧストリームを示している。図３（ｂ）は、ビデオバッファ１１、オーディオバッファ１３に蓄積されるデータを示し、図３（ｃ）は、出力される映像信号、音声信号を示しているとする。
図３（ｃ）で、ｔ１で示している時点でビデオバッファ１１およびオーディオバッファ１３にはすでにビデオデータ（ＶＤ）及びオーディオデータＡ（ＡＤ（Ａ））がすでにＰＴＳ３に示す部分まで蓄えられていたとする。ここで音声切り替えが発生した場合、オーディオバッファ１３にはＰＴＳ４に対応する部分からオーディオデータが蓄積される。ビデオバッファ１１内のビデオデータは特に影響を受けず連続的に映像信号として出力される。一方、音声切り替えによりＰＴＳ２、ＰＴＳ３のオーディオデータＡは不要となる。そのためＰＴＳ２とＰＴＳ３のオーディオデータＡは音声出力されない。そしてＳＴＣがＰＴＳ４に相当するタイミングに合わせて、ビデオデータのＰＴＳ４に相当する部分と、オーディオデータＢのＰＴＳ４に相当する部分をそれぞれ映像信号、音声信号として出力することで映像と音声の同期再生が行われ、音声切り替えを終了する。
図４は、オーディオデータにＰＴＳが付随していない場合の音声切り替えを説明するための図である。図４（ａ）は入力されるＭＰＥＧストリームを示している。図４（ｂ）は、ビデオバッファ１１、オーディオバッファ１３に蓄積されるデータを示し、図４（ｃ）は、出力される映像信号、音声信号を示しているとする。本実施の形態では音声信号をオーディオデータＢに対応する信号に切り替えて出力するタイミングを決定する方法がＰＴＳが付随している場合と異なっている。
図４（ｃ）で、ｔ２で示している時点でビデオバッファ１１およびオーディオバッファ１３にはすでにビデオデータ（ＶＤ）及びオーディオデータＡ（ＡＤ（Ａ））がすでにＰＴＳ３に示す部分まで蓄えられていたとする。
例えば、このｔ２のタイミングで音声切り替えが発生した場合、ＦＩＦＯ型のオーディオバッファ１３には、それまでに蓄積したオーディオデータＡよりも後にオーディーデータＢに対応するデータが蓄積されていく。ただし、ＰＴＳがない場合は、このオーディオデータＢに対応する音声出力をどのタイミングで出力してよいかが不明なため、以下のような制御を行う。
音声切り替え信号が外部より入力された場合、その時点でオーディオバッファ１３に蓄積されているデータは不要なデータとなるため、音声切り替え信号が入力された瞬間までのデータは音声出力をしないものとする。
その後、音声切り替え信号に基づいて、オーディオデータＢに対応するデータがオーディオバッファ１３に入力される。このオーディオデータＢに対応するデータがオーディオバッファ１３に入力されたときに、上記したビデオバッファ蓄積量取得部２１、ビットレート取得部２２により、オーディオデータＢに対応するデータが入力された時点でのビデオバッファ１１の蓄積量、ビットレートが同期制御部２４へと入力される。ここで言うビデオバッファ１１の蓄積量とは、上記したオーディオデータＡの出力が停止されオーディオデータＢに切り替えられたときにビデオバッファに蓄積されまだ出力されていない映像信号の量である。図４で、具体的に示せばＶＤ(ＰＴＳ２)＋ＶＤ(ＰＴＳ３)の容量に相当する。同期制御部２４では、この時の蓄積量信号Ｓ１、ビットレート信号Ｓ２から上述の式を用いて音声出力の遅延量を計算する。そして、出力遅延制御部２５は、この同期制御部２４が決定した遅延時間に基づいてオーディオデータＢに対応するデータのデコード、音声出力を開始する。
このように制御することで映像信号と音声信号の同期を図ることが可能となる。また、記録媒体などに依存する仮想のＰＴＳをオーディオデータに割り付けるものではなく、音声切り替えが行われた時点でのビデオバッファ蓄積量およびデコードのタイミングから映像出力と音声出力の同期を取るものであるため、仮にＭＰＥＧストリームがどのような媒体に記録されていたとしても、映像と音声の同期を図ることが可能となる。
また実施の形態においては音声切り替えの場合を例に説明したが、例えば再生速度の切り替えなどが行われた場合も本発明は適用可能である。
本発明の実施の形態に関わる同期再生装置を示すブロック図である。 本発明の実施の形態の動作を示すフローチャートである。 本発明の実施の形態における入力ストリームと出力音声信号、出力信号を示す図である。 本発明の実施の形態における入力ストリームと出力音声信号、出力信号を示す図である。
符号の説明
１０ デマルチプレクサ
１１ ビデオバッファ
１２ ビデオデコーダ
１３ オーディオバッファ
１４ オーディオデコーダ
１５ システムデコーダ
２１ ビデオバッファ蓄積量取得部
２２ ビットレート取得部
２３ ＰＴＳ検出部
２４ 同期制御部
２５ 出力遅延制御部
Ｓ１ 蓄積量信号
Ｓ２ ビットレート信号
Ｓ３ ＰＴＳ検出信号

Claims (8)

  1. ビデオデータ、オーディオデータを重畳した信号から映像信号、音声信号をそれぞれ出力する同期再生装置であって、
    前記ビデオデータ及びオーディオデータを分離するデータ分離部と、
    前記データ分離部により分離されたビデオデータを一時保持するビデオバッファと、
    前記データ分離部により分離されたオーディオデータを一時保持するオーディオバッファと、
    前記ビデオバッファに一時保持されたビデオデータをデコードし、映像信号を出力するビデオデコーダと、
    前記オーディオバッファに一時保持されたオーディオデータをデコードし、音声信号を出力するオーディオデコーダと、
    前記ビデオバッファに蓄積されているビデオデータの量を取得し、蓄積量信号を出力するビデオバッファ蓄積量取得部と、
    前記ビデオデコーダがデコードするビデオデータのビットレートを取得し、ビットレート信号を出力するビットレート取得部と、
    前記蓄積量信号および前記ビットレート信号に基づいてオーディオデコーダの出力する音声信号のタイミングを決定する同期制御部とを有する同期再生装置。
  2. 前記同期制御部は前記ビデオバッファに蓄積されているビデオデータの量と前記ビットレートから前記音声信号の遅延量を計算していることを特徴とする請求項１に記載の同期再生装置。
  3. 前記同期再生装置は、さらに前記同期制御部の計算した遅延量に基づいて前記音声信号の出力を遅延させる出力遅延制御部を有していることを特徴とする請求項２に記載の同期再生装置。
  4. 前記遅延量は、前記ビデオバッファに蓄積されているビデオデータの量を前記ビデオデコーダがデコードするビデオデータのビットレートで除することにより決定されることを特徴とする請求項２あるいは３に記載の同期再生装置。
  5. 前記同期制御部は、前記オーディオデコーダの出力する音声信号の再同期を行うタイミングを決定することを特徴とする請求項１乃至４のいずれか１項に記載の同期再生装置。
  6. 前記同期制御部は、前記オーディオデコーダの出力する第１のオーディオデータに基づいた音声信号の出力を一時停止し、第２のオーディオデータに基づいた音声信号を出力するタイミングを決定することを特徴とする請求項１乃至４のいずれか１項に記載の同期再生装置。
  7. ビデオデータ、オーディオデータを重畳した信号から映像信号、音声信号をそれぞれ再生する同期再生方法であって、
    前記ビデオデータ及びオーディオデータを分離し、
    前記分離されたビデオデータを一時保持し、
    前記分離されたオーディオデータを一時保持し、
    前記一時保持されているビデオデータの量を取得し、
    前記ビデオデータをデコードするビットレートを取得し、
    前記一時保持されているビデオデータの量および前記ビットレートに基づいてオーディオデータをデコードして音声信号を出力するタイミングを決定する同期再生方法。
  8. 前記音声信号を出力するタイミングは、前記一時保持されているビデオデータの量と前記ビットレートに基づいて、前記音声信号を出力するまでの遅延時間を計算していることを特徴とする請求項７に記載の同期再生方法。
JP2005163147A 2005-06-02 2005-06-02 同期再生装置および同期再生方法 Expired - Fee Related JP5059301B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005163147A JP5059301B2 (ja) 2005-06-02 2005-06-02 同期再生装置および同期再生方法
US11/435,776 US8130844B2 (en) 2005-06-02 2006-05-18 Apparatus and method for synchronized playback
EP20060114644 EP1729522A3 (en) 2005-06-02 2006-05-29 Apparatus and method for synchronized playback
CNB2006100886747A CN100565693C (zh) 2005-06-02 2006-06-02 用于同步回放的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005163147A JP5059301B2 (ja) 2005-06-02 2005-06-02 同期再生装置および同期再生方法

Publications (3)

Publication Number Publication Date
JP2006340102A true JP2006340102A (ja) 2006-12-14
JP2006340102A5 JP2006340102A5 (ja) 2007-06-07
JP5059301B2 JP5059301B2 (ja) 2012-10-24

Family

ID=37025133

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005163147A Expired - Fee Related JP5059301B2 (ja) 2005-06-02 2005-06-02 同期再生装置および同期再生方法

Country Status (4)

Country Link
US (1) US8130844B2 (ja)
EP (1) EP1729522A3 (ja)
JP (1) JP5059301B2 (ja)
CN (1) CN100565693C (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010257503A (ja) * 2009-04-21 2010-11-11 Mitsubishi Electric Corp デジタルオーディオ再生装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101340589B (zh) * 2007-07-03 2010-10-20 明基电通股份有限公司 影音分流且同步的数据传输方法及影音系统
KR20120035406A (ko) * 2010-10-05 2012-04-16 삼성전자주식회사 동영상 파일 재생 방법 및 장치
US20130141643A1 (en) * 2011-12-06 2013-06-06 Doug Carson & Associates, Inc. Audio-Video Frame Synchronization in a Multimedia Stream
KR20140021231A (ko) * 2012-08-09 2014-02-20 한국전자통신연구원 증강방송 메타데이터 전송 장치, 사용자 단말, 증강방송 메타데이터 전송 방법과 재생 방법
JP6066712B2 (ja) * 2012-12-19 2017-01-25 キヤノン株式会社 記録装置、記録方法およびプログラム
CN103577146B (zh) * 2013-10-29 2017-01-04 上海明泰照明电器有限公司 带mp3音频输出的嵌入式激光投影控制方法及其控制器
US9979970B2 (en) * 2014-08-08 2018-05-22 Qualcomm Incorporated System and method for determining buffer fullness for display stream compression
US11184648B2 (en) 2019-08-30 2021-11-23 Rovi Guides, Inc. Systems and methods for providing content during reduced streaming quality
US10986378B2 (en) * 2019-08-30 2021-04-20 Rovi Guides, Inc. Systems and methods for providing content during reduced streaming quality
US11005909B2 (en) 2019-08-30 2021-05-11 Rovi Guides, Inc. Systems and methods for providing content during reduced streaming quality
CN114095784B (zh) * 2021-11-19 2024-02-09 浩云科技股份有限公司 H.265格式视频流转码播放方法、系统、设备及介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06275053A (ja) * 1993-03-23 1994-09-30 Victor Co Of Japan Ltd 画像の表示時刻情報をもデータとして含む圧縮画像データと、時刻情報のデータを含んでいない一定の圧縮比で圧縮された音響情報データとの同期再生方法
JPH0759030A (ja) * 1993-08-18 1995-03-03 Sony Corp テレビ会議システム
JPH0863890A (ja) * 1994-08-26 1996-03-08 Mitsubishi Electric Corp 多重化データの復号装置
JPH08223483A (ja) * 1995-02-14 1996-08-30 Aidamu:Kk 情報記憶方法及び情報再生方法
JPH11225309A (ja) * 1998-02-04 1999-08-17 Matsushita Electric Ind Co Ltd 音響信号処理装置及びオーディオ高速再生方法
JP2000125265A (ja) * 1998-10-15 2000-04-28 Nec Corp オーディオ・ビデオ同期再生装置
JP2002262214A (ja) * 2001-02-28 2002-09-13 Sanyo Electric Co Ltd 映像再生装置
JP2002281445A (ja) * 2001-03-19 2002-09-27 Toshiba Corp オーディオ・ビデオ復号再生装置とその同期再生方法
JP2002290767A (ja) * 2001-03-27 2002-10-04 Toshiba Corp 映像及び音声の時間合わせ装置及び時間合わせ方法
JP2003284066A (ja) * 2002-03-27 2003-10-03 Mitsubishi Electric Corp 復号装置及び復号方法
JP2004088366A (ja) * 2002-08-26 2004-03-18 Matsushita Electric Ind Co Ltd デジタル放送受信機およびデジタル放送システム
JP2004253022A (ja) * 2003-02-18 2004-09-09 Matsushita Electric Ind Co Ltd 動画再生制御装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5543853A (en) * 1995-01-19 1996-08-06 At&T Corp. Encoder/decoder buffer control for variable bit-rate channel
JP3063838B2 (ja) 1997-10-02 2000-07-12 日本電気株式会社 オーディオ・ビデオ同期再生装置および方法
IL123906A0 (en) 1998-03-31 1998-10-30 Optibase Ltd Method for synchronizing audio and video streams
US7012650B2 (en) 2001-06-14 2006-03-14 Sony Corporation Start/stop audio encoder apparatus and method for synchronizing digital audio and video signals
JP2003046949A (ja) * 2001-07-30 2003-02-14 Hitachi Ltd データ多重化方法、データ記録媒体、データ記録装置及びデータ記録プログラム
US6906755B2 (en) * 2002-01-04 2005-06-14 Microsoft Corporation Method and apparatus for synchronizing audio and video data

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06275053A (ja) * 1993-03-23 1994-09-30 Victor Co Of Japan Ltd 画像の表示時刻情報をもデータとして含む圧縮画像データと、時刻情報のデータを含んでいない一定の圧縮比で圧縮された音響情報データとの同期再生方法
JPH0759030A (ja) * 1993-08-18 1995-03-03 Sony Corp テレビ会議システム
JPH0863890A (ja) * 1994-08-26 1996-03-08 Mitsubishi Electric Corp 多重化データの復号装置
JPH08223483A (ja) * 1995-02-14 1996-08-30 Aidamu:Kk 情報記憶方法及び情報再生方法
JPH11225309A (ja) * 1998-02-04 1999-08-17 Matsushita Electric Ind Co Ltd 音響信号処理装置及びオーディオ高速再生方法
JP2000125265A (ja) * 1998-10-15 2000-04-28 Nec Corp オーディオ・ビデオ同期再生装置
JP2002262214A (ja) * 2001-02-28 2002-09-13 Sanyo Electric Co Ltd 映像再生装置
JP2002281445A (ja) * 2001-03-19 2002-09-27 Toshiba Corp オーディオ・ビデオ復号再生装置とその同期再生方法
JP2002290767A (ja) * 2001-03-27 2002-10-04 Toshiba Corp 映像及び音声の時間合わせ装置及び時間合わせ方法
JP2003284066A (ja) * 2002-03-27 2003-10-03 Mitsubishi Electric Corp 復号装置及び復号方法
JP2004088366A (ja) * 2002-08-26 2004-03-18 Matsushita Electric Ind Co Ltd デジタル放送受信機およびデジタル放送システム
JP2004253022A (ja) * 2003-02-18 2004-09-09 Matsushita Electric Ind Co Ltd 動画再生制御装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010257503A (ja) * 2009-04-21 2010-11-11 Mitsubishi Electric Corp デジタルオーディオ再生装置

Also Published As

Publication number Publication date
CN100565693C (zh) 2009-12-02
EP1729522A2 (en) 2006-12-06
US8130844B2 (en) 2012-03-06
EP1729522A3 (en) 2007-09-12
JP5059301B2 (ja) 2012-10-24
CN1873821A (zh) 2006-12-06
US20060274827A1 (en) 2006-12-07

Similar Documents

Publication Publication Date Title
JP5059301B2 (ja) 同期再生装置および同期再生方法
JP3255308B2 (ja) データ再生装置
JP3427416B2 (ja) 多重化データ分離装置および方法
US7881584B2 (en) Reproducing apparatus and method, and recording medium
JPH10164508A (ja) オーディオ・ビデオ同期再生装置
JP4536659B2 (ja) データ処理装置及びデータ処理方法
JP4589120B2 (ja) 停止映像が記録された情報保存媒体、その再生装置及び方法
JP4439468B2 (ja) データ処理装置
KR100629093B1 (ko) 디코딩 장치 및 디코딩 방법
JPH0863884A (ja) ディジタル情報符号化・復号装置
JP3833571B2 (ja) データ復号器およびデータ復号化方法
JP2006352587A (ja) 情報処理装置
JP2006319552A (ja) マルチメディア再生装置
JP4690965B2 (ja) データ記録再生装置
JP3986147B2 (ja) 音響信号処理装置及びオーディオ高速再生方法
JP3975503B2 (ja) 情報再生装置及び再生方法
JP5168105B2 (ja) 音声再生装置、及び音声再生方法
JP2004228627A (ja) データ処理装置、データ再生装置、データ処理方法及びデータ再生方法
KR100987767B1 (ko) 정지 영상이 기록된 정보 저장 매체, 그 재생 장치 및 방법
JP4390666B2 (ja) 圧縮映像データ及び圧縮音声データの復号再生方法及び復号再生装置
JP2005303816A (ja) 動画再生装置
JPH10262219A (ja) ディジタル信号再生方法及び装置
JP2005168048A (ja) ディジタル情報符号化・復号装置
JP3692356B2 (ja) 多重化データ分離装置および方法
JP2008102974A (ja) 同期再生装置の同期再生方法及び同期再生装置システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070412

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120731

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120802

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5059301

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees