CN104782109B - 视频音频再现系统、视频显示装置以及音频输出装置 - Google Patents

视频音频再现系统、视频显示装置以及音频输出装置 Download PDF

Info

Publication number
CN104782109B
CN104782109B CN201380056351.8A CN201380056351A CN104782109B CN 104782109 B CN104782109 B CN 104782109B CN 201380056351 A CN201380056351 A CN 201380056351A CN 104782109 B CN104782109 B CN 104782109B
Authority
CN
China
Prior art keywords
audio
video
frame number
reproduction
display devices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380056351.8A
Other languages
English (en)
Other versions
CN104782109A (zh
Inventor
松尾英治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN104782109A publication Critical patent/CN104782109A/zh
Application granted granted Critical
Publication of CN104782109B publication Critical patent/CN104782109B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Television Receiver Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Details Of Television Systems (AREA)

Abstract

在视频显示装置(10)内进行音频的解码，将解码后的音频的帧编号(AC)与音频数据一起无线传送到音频输出装置(20)，从音频输出装置(20)向视频显示装置(10)返送音频的帧编号(RC)，对视频的解码的定时进行控制，以使在视频显示装置(10)内解码后的视频的帧编号(VC)与返送来的音频的帧编号(RC)一致。即使无法预测从视频显示装置向音频输出装置的发送等引起的延迟，并且即使延迟变动，也能够使视频显示和音频输出同步。

Description

视频音频再现系统、视频显示装置以及音频输出装置
技术领域
本发明涉及对内容的视频和音频进行再现的视频音频再现系统以及视频显示装置和音频输出装置。本发明特别涉及在具有视频显示装置和音频输出装置并从视频显示装置向音频输出装置无线传送表示音频的信号的系统中，使视频显示和音频输出同步。
背景技术
作为现有的同样的系统，公知有如下系统：从电视装置向带扬声器的遥控器发送音频信号，为了使音频输出和视频显示同步，预测乃至计算在电视装置中生成无线通信信号为止的时间Ta、无线通信信号被发送到遥控器所需要的时间Tb、在遥控器中利用扬声器进行输出为止的时间Tc，使电视装置中的视频显示延迟这些时间的合计Td(专利文献1～4)。
现有技术文献
专利文献
专利文献1：日本特开2008-219818号公报(段落0154、0162～0169)
专利文献2：日本特开2008-219819号公报(段落0143、0144、0151～0157)
专利文献3：日本特开2008-219820号公报(段落0141、0149～0156)
专利文献4：日本特开2008-219821号公报(段落0141、0149～0156)
发明内容
发明要解决的课题
但是，上述现有系统存在如下问题：在根据预测乃至计算出的时间Ta、Tb、Tc求出的合计Td与实际需要的时间不同的情况下，在视频显示与音频输出之间产生偏移。
用于解决课题的手段
本发明的一个方式的视频音频再现系统具有视频显示装置和音频输出装置，
由所述视频显示装置显示视频，并且向所述音频输出装置无线发送表示应该与所述视频同步输出的音频的音频信号，
在所述音频输出装置中输出由所述音频信号表示的音频，
所述视频音频再现系统的特征在于，
所述视频显示装置具有：
视频数据缓冲器，其暂时蓄积表示所述视频的视频数据；
视频解码器，其依次读入所述视频数据缓冲器中蓄积的所述视频数据并对其进行解码，输出视频信号；
再现视频帧编号生成部，其生成由所述视频解码器解码后的视频的帧编号作为再现视频帧编号；
音频数据缓冲器，其暂时蓄积表示所述音频的音频数据；
音频解码器，其依次读入所述音频数据缓冲器中蓄积的所述音频数据并对其进行解码，输出音频信号；
再现音频帧编号生成部，其生成由所述音频解码器解码后的音频的帧编号作为再现音频帧编号；以及
无线发送部，其将从所述音频解码器输出的所述音频信号和由所述再现音频帧编号生成部生成的所述再现音频帧编号相互关联起来进行无线发送，
所述音频输出装置具有：
无线接收部，其接收从所述无线发送部无线发送的所述音频信号和所述再现音频帧编号；
再现音频帧编号复原部，其对由所述无线接收部接收到的所述再现音频帧编号进行复原并输出；以及
无线发送部，其向所述视频显示装置无线发送由所述再现音频帧编号复原部复原后的所述再现音频帧编号，
所述视频显示装置还具有定时控制部，该定时控制部对所述视频解码器中的解码定时进行控制，以使由所述再现视频帧编号生成部生成的所述再现视频帧编号与从所述音频输出装置无线发送的所述再现音频帧编号一致，
由所述再现音频帧编号生成部生成的所述再现音频帧编号表示在从规定的下限值到规定的上限值的范围内循环变化的值。
本发明的另一个方式的视频音频再现系统具有视频显示装置和音频输出装置，
由所述视频显示装置显示视频，并且向所述音频输出装置无线发送表示应该与所述视频同步输出的音频的音频信号，
在所述音频输出装置中输出由所述音频信号表示的音频，
所述视频音频再现系统的特征在于，
所述视频显示装置具有：
视频数据缓冲器，其暂时蓄积表示所述视频的视频数据；
视频解码器，其依次读入所述视频数据缓冲器中蓄积的所述视频数据并对其进行解码，输出视频信号；
再现视频帧编号生成部，其生成由所述视频解码器解码后的视频的帧编号作为再现视频帧编号；
音频数据缓冲器，其暂时蓄积表示所述音频的音频数据；
音频解码器，其依次读入所述音频数据缓冲器中蓄积的所述音频数据并对其进行解码，输出音频信号；
再现音频帧编号生成部，其生成由所述音频解码器解码后的音频的帧编号作为再现音频帧编号；以及
无线发送部，其将从所述音频解码器输出的所述音频信号和由所述再现音频帧编号生成部生成的所述再现音频帧编号相互关联起来进行无线发送，
所述音频输出装置具有：
无线接收部，其接收从所述无线发送部无线发送的所述音频信号和所述再现音频帧编号；
再现音频帧编号复原部，其对由所述无线接收部接收到的所述再现音频帧编号进行复原并输出；以及
无线发送部，其向所述视频显示装置无线发送由所述再现音频帧编号复原部复原后的所述再现音频帧编号，
所述视频显示装置还具有定时控制部，该定时控制部对所述视频解码器中的解码定时进行控制，以使由所述再现视频帧编号生成部生成的所述再现视频帧编号与从所述音频输出装置无线发送的所述再现音频帧编号一致，
所述视频显示装置具有：
正弦波发生器，其用于生成频率与所述再现音频帧编号对应的正弦波；
音频复用器，其对从所述音频解码器输出的所述音频信号和由所述正弦波发生器生成的所述正弦波进行复用，输出复用音频信号；以及
无线通信用编码器，其对从所述音频复用器输出的所述复用音频信号进行编码，输出数字数据流，
所述视频显示装置的所述无线发送部向所述音频输出装置无线传送从所述无线通信用编码器输出的所述数字数据流。
本发明的另一个方式的视频显示装置显示视频，并且无线发送表示应该与所述视频同步输出的音频的音频信号，其特征在于，所述视频显示装置具有：
视频数据缓冲器，其暂时蓄积表示所述视频的视频数据；
视频解码器，其依次读入所述视频数据缓冲器中蓄积的所述视频数据并对其进行解码，输出视频信号；
再现视频帧编号生成部，其生成由所述视频解码器解码后的视频的帧编号作为再现视频帧编号；
音频数据缓冲器，其暂时蓄积表示所述音频的音频数据；
音频解码器，其依次读入所述音频数据缓冲器中蓄积的所述音频数据并对其进行解码，输出音频信号；
再现音频帧编号生成部，其生成由所述音频解码器解码后的音频的帧编号作为再现音频帧编号；以及
无线发送部，其将从所述音频解码器输出的所述音频信号和由所述再现音频帧编号生成部生成的所述再现音频帧编号相互关联起来进行无线发送，
由所述再现音频帧编号生成部生成的所述再现音频帧编号表示在从规定的下限值到规定的上限值的范围内循环变化的值。
本发明的另一个方式的视频显示装置显示视频，并且无线发送表示应该与所述视频同步输出的音频的音频信号，其特征在于，所述视频显示装置具有：
视频数据缓冲器，其暂时蓄积表示所述视频的视频数据；
视频解码器，其依次读入所述视频数据缓冲器中蓄积的所述视频数据并对其进行解码，输出视频信号；
再现视频帧编号生成部，其生成由所述视频解码器解码后的视频的帧编号作为再现视频帧编号；
音频数据缓冲器，其暂时蓄积表示所述音频的音频数据；
音频解码器，其依次读入所述音频数据缓冲器中蓄积的所述音频数据并对其进行解码，输出音频信号；
再现音频帧编号生成部，其生成由所述音频解码器解码后的音频的帧编号作为再现音频帧编号；
无线发送部，其将从所述音频解码器输出的所述音频信号和由所述再现音频帧编号生成部生成的所述再现音频帧编号相互关联起来进行无线发送；
正弦波发生器，其用于生成频率与所述再现音频帧编号对应的正弦波；
音频复用器，其对从所述音频解码器输出的所述音频信号和由所述正弦波发生器生成的所述正弦波进行复用，输出复用音频信号；以及
无线通信用编码器，其对从所述音频复用器输出的所述复用音频信号进行编码，输出数字数据流，
所述无线发送部向音频输出装置无线传送从所述无线通信用编码器输出的所述数字数据流。
本发明的另一个方式的音频输出装置接收从视频显示装置的无线发送部无线发送的音频信号和再现音频帧编号，输出由所述音频信号表示的音频，所述再现音频帧编号是由所述视频显示装置对视频数据进行解码时生成且从所述视频显示装置的无线发送部无线发送的，其特征在于，所述音频输出装置具有：
无线接收部，其接收从所述无线发送部无线发送的所述音频信号和所述再现音频帧编号；
再现音频帧编号复原部，其对由所述无线接收部接收到的所述再现音频帧编号进行复原并输出；以及
无线发送部，其向所述视频显示装置无线发送由所述再现音频帧编号复原部复原后的所述再现音频帧编号，
所述视频显示装置具有：
定时控制部，其对所述视频显示装置中的所述视频数据的解码定时进行控制，以使由所述视频显示装置生成的再现视频帧编号与从所述音频输出装置无线发送的所述再现音频帧编号一致；
正弦波发生器，其用于生成频率与所述再现音频帧编号对应的正弦波；
音频复用器，其对由所述视频显示装置解码后的所述音频信号和由所述正弦波发生器生成的所述正弦波进行复用，输出复用音频信号；以及
无线通信用编码器，其对从所述音频复用器输出的所述复用音频信号进行编码，输出数字数据流，
所述视频显示装置的所述无线发送部向所述音频输出装置无线传送从所述无线通信用编码器输出的所述数字数据流，
所述再现音频帧编号复原部具有：
频率计测器，其计测所述正弦波的频率；以及
计数值运算部，其根据所述计测出的频率计算对应的帧计数值，
由所述计数值运算部计算出的帧计数值被用作所述复原后的再现音频帧编号。
本发明的另一个方式的视频音频再现系统具有视频显示装置和音频输出装置，
由所述视频显示装置显示视频，并且向所述音频输出装置无线发送表示应该与所述视频同步输出的音频的音频数据，
在所述音频输出装置中输出由所述音频数据表示的音频，
所述视频音频再现系统的特征在于，
所述视频显示装置具有：
视频数据缓冲器，其暂时蓄积表示所述视频的视频数据；
视频解码器，其依次读入所述视频数据缓冲器中蓄积的视频数据并对其进行解码，输出视频信号；
基准时刻生成部，其产生用于所述视频解码器对所述视频进行解码的基准时刻信息；以及
无线发送部，其向所述音频输出装置无线发送所述基准时刻信息和表示所述音频的音频数据，
所述音频输出装置具有：
无线接收部，其接收所述无线发送的所述音频数据和所述基准时刻信息并输出；
音频数据缓冲器，其暂时蓄积由所述无线接收部接收到的所述音频数据；
音频解码器，其依次读入所述音频数据缓冲器中蓄积的所述音频数据并对其进行解码，输出音频信号；
基准时刻生成部，其产生用于所述音频解码器对所述音频进行解码的基准时刻信息；以及
时刻生成控制部，其对所述基准时刻生成部进行控制，以使由所述基准时刻生成部产生的基准时刻信息与由所述无线接收部接收到的所述基准时刻信息一致。
发明效果
根据本发明，即使无法预测从视频显示装置向音频输出装置的发送等引起的延迟，并且即使延迟变动，也能够使视频显示和音频输出同步。
附图说明
图1是示出本发明的视频音频再现系统的概略图。
图2是示出本发明的实施方式1中使用的电视装置的结构例的框图。
图3是示出实施方式1中使用的耳机的结构例的框图。
图4是示出本发明的实施方式2中使用的电视装置的结构例的框图。
图5是示出实施方式2中使用的耳机的结构例的框图。
图6的(a)和(b)是示出作为实施方式2的数字调制的一例而进行ASK调制的情况下的载波和调制波的波形的图。
图7的(a)和(b)是示出进行ASK调制的情况下使用的调制器和解调器的结构例的框图。
图8的(a)和(b)是示出作为实施方式2的数字调制的另一例而进行FSK调制的情况下的载波和调制波的波形的图。
图9的(a)和(b)是示出进行FSK调制的情况下使用的调制器和解调器的结构例的框图。
图10的(a)和(b)是示出作为实施方式2的数字调制的又一例而进行QPSK调制的情况下的载波和调制波的波形的图。
图11是示出进行QPSK调制的情况下的数字数据的4个值分别分配的不同相位的波形的图。
图12是示出进行QPSK调制的情况下的数字数据的4个值分别分配的不同相位的图。
图13的(a)和(b)是示出进行QPSK调制的情况下使用的调制器和解调器的结构例的框图。
图14是示出本发明的实施方式3中使用的电视装置的结构例的框图。
图15是示出本发明的实施方式3中使用的耳机的结构例的框图。
具体实施方式
实施方式1
图1示出本发明的视频音频再现系统。
图示的视频音频再现系统具有作为音频发送侧装置或者视频显示装置的电视装置10以及作为音频接收侧装置或者音频输出装置的无线音频传送耳机20。
在图1的系统中，例如利用电视装置10接收电视广播，利用显示画面11显示视频，并且，利用耳机20输出音频，进行电视广播的视听。从电视装置10向耳机20无线传送音频信号。
图2示出图1的电视装置10的一例。图示的电视装置10具有视频输出装置100和显示部150。视频输出装置100具有调谐器101、解调器102、TS解码器103、视频数据缓冲器105、视频解码器106、音频数据缓冲器107、音频解码器108、基准时刻生成部111、帧计数器114、帧计数器116、正弦波发生器117、音频复用器119、无线通信用编码器121、无线发送部122、无线接收部131、计数值再现部132、计数值比较器133、调整值计算器134、CPU140。
调谐器101选择被输入到电视装置10的数字广播波中的指定频道的广播波并输出。
解调器102对由调谐器101选择出的数字广播波进行解调而生成解调信号。数字广播波例如以MPEG-TS方式对应该同时再现的视频和音频(相同内容的视频和音频)进行复用。
TS解码器103对由解调器102生成的解调信号进行解码，对视频数据和音频数据进行分离。视频数据和音频数据包含有记述了开始解码的时间的时间戳、以及记述了开始输出的时间的时间戳。
将该记述了开始解码的时间的时间戳称作DTS(Decoding Time Stamp：解码时刻时间戳)，将记述了开始输出的时间的时间戳称作PTS(Presentation Time Stamp：显示时刻时间戳)。
由于DTS和PTS被附加给视频和音频，因此，通常，在由DTS表示的时刻开始进行视频和音频的解码，在由PTS表示的时刻进行视频显示和音频输出，能够使视频显示和音频输出同步。但是，在本发明的视频音频再现系统中，构成为从进行视频显示的电视装置10向进行音频输出的耳机20无线传送音频信号，因此，如上所述，会在视频显示与音频输出之间产生偏移。本发明的目的在于消除该偏移。
视频数据缓冲器105暂时存储视频数据。视频解码器106依次读入视频数据缓冲器105中存储的视频数据并对其进行解码，将视频信号输出到显示部150。在显示部150中，在显示画面(图1的标号11)显示视频。
音频数据缓冲器107暂时存储音频数据。音频解码器108依次读入音频数据缓冲器107中存储的音频数据并对其进行解码，输出音频信号。
基准时刻生成部111产生视频解码器106进行视频解码和音频解码器108进行音频解码用的基准时钟和基准时刻信息。
基准时刻生成部111被控制成与被广播的内容数据中附加的PCR(Program ClockReference)同步。因此，由基准时刻生成部111生成的基准时刻信息PCRa与被广播的内容中附加的PCR同步。
根据基准时钟和基准时刻信息PCRa、以及附加给视频数据的DTS和PTS，对视频解码器106进行的视频数据解码和视频输出的定时进行控制。即，进行控制，以使在由基准时刻生成部111生成的基准时刻信息PCRa成为与附加给各帧的视频数据的DTS、PTS一致的值时，进行与该视频有关的解码和输出(显示)。
根据从基准时刻生成部111输出的基准时钟和基准时刻信息PCRa、以及附加给音频数据的DTS和PTS，对音频解码器108进行的音频数据解码和音频信号输出的定时进行控制。即，进行控制，以使在由基准时刻生成部111生成的基准时刻信息PCRa成为与附加给各帧的音频数据(与各帧的视频对应的音频的数据)的DTS、PTS一致的值时，进行与该音频有关的解码和输出(从音频解码器108输出音频信号)。
CPU140进行基于软件的运算处理，并且对电视装置10的整体进行基于软件的控制。从CPU140至各部的控制信号用标号CSa表示。
现有的电视装置10通常也具有以上的处理块。另一方面，在本发明中追加以下说明的处理块以使视频显示和音频输出同步。
帧计数器114对由视频解码器106解码后的视频的帧进行计数，输出计数值作为视频的帧编号(表示视频的帧编号的信息)VC。
在利用音频解码器108对音频进行解码时，帧计数器116对被解码的音频的帧(与音频对应的视频，即应该与输出该音频同时显示的视频的帧)进行计数，输出计数值作为音频的帧编号(表示音频的帧编号的信息)AC。
如上所述，由于对视频数据和音频数据均附加了DTS、PTS，因此，能够根据附加给视频数据的DTS、PTS对视频的帧进行计数，能够根据附加给音频数据的DTS、PTS对音频的帧进行计数。
如以下说明的那样，在本系统中，在视频显示和音频输出同步的状态下，音频解码器108中解码后的音频的帧编号AC是比同时由视频解码器106解码后的视频的帧编号VC小的编号，即，表示应该更快输出的音频，视频数据缓冲器105中蓄积的视频数据的帧数比与音频数据缓冲器107中蓄积的音频数据的音频对应的视频的帧数多。
如上所述，帧计数器114的帧计数值表示解码后的视频的帧编号，在本申请中有时也称作再现视频帧编号，有时将帧计数器114称作再现视频帧编号生成部。
同样，帧计数器116的帧计数值表示解码后的音频的帧编号，在本申请中有时也称作再现音频帧编号，有时将帧计数器116称作再现音频帧编号生成部。
正弦波发生器117生成频率与帧计数器116的帧计数值AC对应的正弦波信号。该正弦波信号的频率在音频频带内，特别是在由音频解码器108进行处理的音频信号表示的音频的频率范围内，每当切换(增加)帧计数值AC时，切换该正弦波信号的频率。
帧计数器116例如从规定的下限值例如零到规定的上限值进行向上计数，当达到上限值时复位为零，以后反复进行向上计数和复位，即，计数值在下限值到上限值的范围内循环变化。例如，帧计数器116的计数值用16比特表示，下限值为0，上限值为65535。
在正弦波发生器117中，预先针对计数值对应地存储频率，例如如果计数值为0，则发射100Hz的频率，如果计数值为65535，则发射10kHz的频率。在计数值为0～65535之间时，每当计数值增加1，频率上升(10kHz-100Hz)/65535≒0.15Hz。
由于与计数值对应的频率在音频频带内，特别是在由音频解码器108进行处理的音频的频率范围内，因此，能够以与由音频解码器108解码后的音频相同的方法进行无线传送。
在音频信号表示多个频道的音频的情况下，也可以对计数值进行分割并将其分配给多个频道。例如，在音频具有第1频道和第2频道的情况下，可以将计数值的前半部分(0～32767)分配给第1频道的频率100Hz～10kHz，将后半部分(32768～65535)分配给第2频道的频率100Hz～10kHz。并且，也可以利用多个频道发送频率与相同计数值对应的信号，在接收侧进行核对，确认是否一致。
音频复用器119对从音频解码器108输出的音频信号和由正弦波发生器117生成的正弦波形进行复用。
为了无线发送音频，无线通信用编码器121对复用后的音频信号(模拟音频信号)进行采样并对其进行编码，生成数字数据流。利用PCM例如ADPCM进行该编码。
无线发送部122无线传送由无线通信用编码器121生成的数字数据流。
在无线传送中，例如可以利用被称作Bluetooth(注册商标)的近距离无线传送方式。
图3示出图1的耳机20的一例。
图示的耳机20具有无线接收部201、无线通信用解码器202、计数值复原部203、无线发送部206、CPU210、扬声器220。
无线接收部201接收从电视装置10的无线发送部122无线传送的数字数据流并输出。
无线通信用解码器202对由无线接收部201接收到的数字数据流(例如利用PCM编码后的数据)进行解码，对复用音频信号进行复原，分离成本来的音频信号(表示被广播的内容的音频的信号)和表示帧计数值AC的正弦波并输出。
由无线通信用解码器202解码并分离后的音频信号被供给到扬声器220，由此，从扬声器220输出音频。
计数值复原部203根据从无线通信用解码器202输出的正弦波信号对帧计数值进行复原。复原后的计数值用标号RC表示。计数值RC表示再现音频的帧编号，因此，计数值复原部203也称作再现音频帧编号复原部。
计数值复原部203具有频率计测器204和计数值运算部205。
频率计测器204根据从无线通信用解码器202输出的正弦波信号计测频率，生成频率数据。
计数值运算部205根据由频率计测器204计测出的频率，通过运算来计算帧计数值。
由计数值运算部205计算出的帧计数值被用作复原后的帧计数值RC。
复原后的帧计数值RC表示与(在无误地进行了无线通信和复原的处理等的情况下)发送的帧计数值AC相同的值，表示此时利用耳机20输出的音频的帧编号。
另外，在分割成多个音频频道而分配计数值的情况下，还要根据正弦波信号包含在哪个频道中来进行帧计数值RC的复原。
并且，在利用多个音频频道传送与相同计数值对应的正弦波的情况下，也可以进行多个频道间的核对，例如在一致的情况下，视为复原后的计数值的可靠性较高，在不一致的情况下，视为复原后的计数值的可靠性较低。
无线发送部206无线传送表示由计数值复原部203复原后的计数值RC的信号。
CPU210进行基于软件的运算处理，并且对耳机20的整体进行软件控制。从CPU210至各部的控制信号用标号CSb表示。
返回图2，电视装置10的无线接收部131接收从耳机20无线传送的表示帧计数值RC的信号。
计数值再现部132根据由无线接收部131接收到的表示复原帧计数值RC的信号，生成(再现)复原帧计数值RC。
计数值比较器133计算帧计数器114的帧计数值VC与从计数值再现部132输出的帧计数值RC的差分(dC＝VC-RC)。计数值比较器133也称作帧编号比较器。
由计数值比较器133求出的帧计数值的差分dC表示电视装置10中的视频显示和耳机20中的音频输出的定时的偏移。但是，假设可以忽略从耳机20向电视装置10发送表示帧计数值RC的信号所需要的时间。
调整值计算器134根据计算出的差分值dC计算调整值dTS。
在视频解码器106中，与由调整值计算器134计算出的调整值dTS相应地对视频的解码定时进行变更。即，如果调整值dTS为正，则使解码的定时延迟。例如，不进行附加了与由基准时刻生成部111生成的基准时刻PCRa一致的DTS、PTS的视频的解码和输出，而进行附加了与从基准时刻PCRa减去调整值而得到的值(PCRa-dTS)一致的DTS、PTS的视频的解码和输出。
通过上述处理，能够使作为解码对象的视频(帧)延迟调整值dTS。
作为调整值dTS，可以是与差分值dC成比例的值，但是，也可以对调整值dTS设置上限，生成与对差分值dC乘以小于1的值而得到的值相当的调整值dTS。例如，当一起使被解码的视频延迟时将产生不自然感，但是，如上所述，通过对调整值dTS设置上限，能够防止乃至抑制产生不自然感。
视频数据缓冲器105中的数据蓄积量增加使视频解码的开始延迟的量。
由计数值再现部132、计数值比较器133和调整值计算器134构成定时控制部135，该定时控制部135对视频解码器106中的解码的定时进行控制，以使由帧计数器114生成的帧计数值VC与从耳机20无线发送的帧计数RC一致。
同步用的上述处理，即由正弦波发生器117产生正弦波、由计数值复原部203对计数值RC进行复原、由无线发送部206和无线接收部201发送接收计数值RC、由定时控制部135控制视频解码器106，可以以一定的时间间隔进行，也可以根据差分dC来变更该时间间隔。该情况下，例如可以是差分dC越大，则时间间隔越短。由CPU140进行这种定时的控制。
在图1的系统中，视频在由电视装置10的视频解码器106进行解码后立即进行显示，与此相对，音频在由电视装置10的音频解码器108进行解码后，在接受音频复用器119和无线通信用编码器121的处理后，传送到耳机20，在耳机20中，在由无线通信用解码器202进行解码后输出。因此，如果由视频解码器106解码的视频和由音频解码器108同时解码的音频为彼此相同的帧，则耳机20中的音频输出相对于视频显示产生延迟。
在本实施方式中，由电视装置10生成表示由音频解码器108解码后的音频的帧编号的再现音频帧编号AC并将其送到耳机20，由耳机20对该再现音频帧编号进行复原，从耳机20向电视装置10发送复原后的再现音频帧编号RC作为表示由耳机20输出的音频的帧编号的信息，在电视装置10中，对视频解码器106中的解码定时进行控制，以使再现视频帧编号VC与再现音频帧编号RC一致。进行这种循环控制(反馈控制)后，即使在再现开始时产生上述这种音频的延迟(视频的提前)，该延迟(视频的提前)也逐渐减小，最终使视频显示的定时与音频输出一致。
实施方式2
在实施方式1中是将帧计数值AC转换成对应频率的正弦波进行传送，但是，也可以对帧计数值AC进行数字调制并利用音频频带进行传送。
图4和图5示出本发明的实施方式2的作为视频显示装置的电视装置10b和作为音频输出装置的耳机20b。
图4所示的电视10b与图2的装置大致相同，但是，未设置图2的正弦波发生器117和音频复用器119，取而代之设有数字调制器301和数字复用器302。并且，代替图2的无线通信用编码器121而设有无线通信用编码器121b。
数字调制器301对帧计数器116的输出(帧计数值AC)进行数字调制。
无线通信用编码器121b对音频解码器108的输出(音频信号)进行采样并对其进行编码，生成数字数据流。利用PCM例如ADPCM进行编码。
数字复用器302对无线通信用编码器121b的输出(通过对音频信号进行编码而得到的数字数据流)和数字调制器301的输出(通过对帧计数值AC进行数字调制而得到的数据)进行复用。
无线发送部122无线传送数字复用器302的输出。
图5所示的耳机20b与图3的耳机20大致相同，但是，代替图3的计数值复原部203而设有计数值复原部203b。
无线接收部201接收从电视装置10b无线传送的数字数据流并输出。
无线通信用解码器202对由无线接收部201接收到的数字数据流进行解码，对音频信号进行复原，分离成本来的音频信号(表示被广播的内容的音频)和表示帧计数值AC的数字数据并输出。
由无线通信用解码器202解码并分离后的音频信号被供给到扬声器220，由此，从扬声器220输出音频。
计数值复原部203b根据由无线通信用解码器202分离后的表示计数值AC的数字数据，对表示帧计数值的数据进行复原。复原后的计数值用标号RC表示。
复原后的计数值RC表示此时由无线通信用解码器202解码并从耳机20b输出的音频的帧编号。
计数值复原部203b具有数字解调器401和计数值生成部402。
数字解调器401对由无线通信用解码器202分离后的表示计数值AC的数据进行数字解调。
计数值生成部402根据数字解调器401的输出(通过解调而得到的数据)生成帧计数值。
由计数值生成部402生成的帧计数值被用作复原后的帧计数值RC。
由无线发送部206向电视装置10b无线传送表示复原后的帧计数值RC的信号。
关于上述以外的点，实施方式2的动作与实施方式1相同。
在实施方式2的结构中，进行与实施方式1相同的循环控制后，能够使视频显示与音频输出同步。并且，由于对再现音频帧编号进行数字调制并从电视装置发送到耳机，因此，能够减少数据错误而进行高精度的控制。
下面，示出实施方式2的数字调制器301和数字解调器401的具体例。
图6的(a)和(b)示出作为数字调制的一例而进行振幅调制(ASK调制)的情况下的波形。在ASK调制中，分别对数字数据的1、0的值分配不同的振幅，对载波(图6的(a))进行调制，生成调制波(图6的(b))。
在进行ASK调制的情况下，作为数字调制器301和数字解调器401，例如分别采用图7的(a)和(b)所示的结构。
图7的(a)所示的数字调制器301具有产生规定频率的载波的载波发生器311、以及对由载波发生器311产生的载波进行ASK调制的ASK调制器312。图7的(b)所示的数字解调器401具有去除载波频带以外的频率成分的带通滤波器411、以及对由带通滤波器411进行频带限制后的信号进行ASK解调的ASK解调器412。
如上所述，如果通过ASK调制进行数字调制，则能够以耐噪声、错误少的方法从电视装置10b向耳机20b发送再现音频帧编号。
图8的(a)和(b)示出作为数字调制的另一例而进行频率调制(FSK)的情况下的波形。在FSK调制中，分别对数字数据的1、0的值分配不同的频率，对载波(图8的(a))进行调制，生成调制波(图8的(b))。
在进行FSK调制的情况下，作为数字调制器301和数字解调器401，例如分别采用图9的(a)和图9的(b)所示的结构。
图9的(a)所示的数字调制器301具有产生规定频率的载波的载波发生器311、以及对由载波发生器311产生的载波进行FSK调制的FSK调制器313。图9的(b)所示的数字解调器401具有去除载波频带以外的频率成分的带通滤波器411、以及对由带通滤波器411进行频带限制后的信号进行FSK解调的FSK解调器413。
如上所述，如果通过FSK调制进行数字调制，则能够以错误少的方法从电视装置10b向耳机20b发送再现音频帧编号。
图10的(a)和(b)示出作为数字调制的又一例而进行相位调制(PSK)例如四相相位调制(QPSK)的情况下的波形。在QPSK调制中，分别对数字数据的00、10、11、01分配不同的相位，对载波(图10的(a))进行调制，生成调制波(图10的(b))。数字数据00、10、11、01和相位的关系如图11和图12所示。
在进行QPSK调制的情况下，作为数字调制器301和数字解调器401，例如分别采用图13的(a)和图13的(b)所示的结构。
图13的(a)所示的数字调制器301具有产生规定频率的载波的载波发生器311、以及对由载波发生器311产生的载波进行QPSK调制的QPSK调制器314。图13的(b)所示的数字解调器401具有去除载波频带以外的频率成分的带通滤波器411、以及对由带通滤波器411进行频带限制后的信号进行QPSK解调的QPSK解调器414。
另外，作为相位调制方式，除了上述四相相位调制以外，还可以使用其他相数的相位调制方式，例如二相相位调制(BPSK)方式、八相相位调制(8PSK)方式。
如上所述，如果通过PSK调制进行数字调制，则能够以传送效率高、错误少的方法从电视装置10b向耳机20b发送再现音频帧编号。
另外，也可以代替上述方式而使用如下的QAM方式：使彼此相差90度相位的正弦波形的振幅变化，对这两个波形进行正交二相调制。
如上所述，如果通过QAM方式进行数字调制，则能够以错误少的方法从电视装置10b向耳机20b发送再现音频帧编号。
实施方式3
图14和图15示出本发明的实施方式3的作为视频显示装置的电视装置10c和作为音频输出装置的耳机20c。
图14所示的电视装置10c与图2的电视装置大致相同，但是，未设置图2的音频数据缓冲器107、音频解码器108、帧计数器116、正弦波发生器117、音频复用器119、无线通信用编码器121、无线接收部131、计数值再现部132、计数值比较器133和调整值计算器134。
图15所示的耳机20c具有无线接收部601、音频数据缓冲器603、基准时刻生成部610、时刻生成控制部620、时刻比较器621、增益调整器622、低通滤波器623、CPU630。
基准时刻生成部610具有电压控制振荡器(VCO)611、时钟发生器612、STC计数器613。
时刻生成控制部620具有时刻比较器621、增益调整器622、低通滤波器623。
在图14中，与图2相同的标号表示相同部件。
优选图14的视频解码器106被控制成，在动作开始时，在视频数据缓冲器105中蓄积某种程度以上的数据后开始解码。这是为了在电视装置10c中的视频显示相对于耳机20c中的音频输出延迟的情况下能够挽回延迟(使视频显示提前)。优选视频数据缓冲器105的容量为与预想的最大延迟相当的量以上。
在图2中，在电视装置内对由TS解码器103分离后的音频数据进行解码，但是，在图14中，以压缩形式由无线发送部122无线传送由TS解码器103分离后的音频数据。在该音频数据中，与实施方式1中叙述的内容同样，对DTS和PTS进行复用。
并且，由无线发送部122无线传送由基准时刻生成部111生成的基准时刻信息PCRa。基准时刻信息PCRa用于使耳机20c中的音频解码器604的动作与电视装置10c内的视频解码器106的动作同步。
耳机20c内的无线接收部601接收从电视装置10c内的无线发送部122无线传送的音频数据和基准时刻信息PCRa。
音频数据缓冲器603暂时存储由无线接收部601接收到的音频数据。
音频解码器604依次读入音频数据缓冲器603中存储的音频数据并对其进行解码，输出音频信号。
输出的音频信号被供给到扬声器220，由此，从扬声器220输出音频。
基准时刻生成部610产生音频解码器604进行音频解码用的基准时钟和基准时刻信息STC。该基准时钟的频率例如为27MHz。
优选音频解码器604被控制成，在动作开始时，在音频数据缓冲器603中蓄积某种程度以上的数据后开始进行解码。这是为了在耳机20c中的音频输出相对于电视装置10c中的视频显示延迟的情况下能够挽回延迟(使音频输出提前)。优选音频数据缓冲器603的容量为与预想的最大延迟相当的量以上。
根据从基准时刻生成部610输出的基准时钟和基准时刻信息STC、以及附加给音频数据的DTS和PTS，分别对音频解码器604进行的音频数据解码和音频信号输出的定时进行控制。即，进行控制，以使在由基准时刻生成部610生成的基准时刻信息STC成为与附加给各帧的音频数据的DTS、PTS一致的值时，进行与该音频有关的解码和输出。
STC计数器613通过对由时钟发生器612产生的时钟进行计数，产生基准时刻信息STC。
时刻比较器621对由无线接收部601接收到的基准时刻信息PCRa和由基准时刻生成部610产生的基准时刻信息STC进行比较，求出两者的差
dTC＝STC-PCRa
该差表示基准时刻信息STC相对于基准时刻信息PCRa的偏移量，因此，表示此时由电视装置10c显示的视频和由耳机20c输出的音频的定时的偏移量。
增益调整器622对偏移量乘以规定的增益并输出。
低通滤波器623对增益调整器622的输出实施低通滤波。
VCO611根据低通滤波器623的输出(电压信号)，对其振荡频率进行控制。
时钟发生器612产生VCO611的振荡频率或与其成比例的频率的时钟。
如上所述，通过由时刻比较器621、增益调整器622和低通滤波器623构成的时刻生成控制部620对基准时刻生成部610进行控制，以使由基准时刻生成部610产生的基准时刻信息STC与由无线接收部601接收到的基准时刻信息PCRa一致。
CPU630进行基于软件的运算处理，并且对耳机20c的整体进行软件控制。
根据DTS和PTS来进行电视装置10c中的视频的解码和显示以及耳机20c中的音频的解码和输出。即，在电视装置10c中，在基准时刻信息PCRa与各帧的视频的DTS一致时，开始该帧的视频的解码，在基准时刻信息PCRa与各帧的视频的PTS一致时，开始该帧的视频的显示，在耳机20c中，在基准时刻STC与各帧的音频的DTS一致时，开始该帧的音频的解码，在基准时刻STC与各帧的音频的PTS一致时，开始该帧的音频的输出。
因此，如果使耳机20c的基准时刻STC与电视装置10c的基准时刻PCRa一致，则能够使音频输出与视频显示同步。
在实施方式3中，在耳机20c中，使用基准时刻生成部610和时刻生成控制部620进行循环控制(反馈控制)，因此，能够使基准时刻STC与基准时刻PCRa一致，能够使音频输出与视频显示一致。
并且，在电视装置10c中，直接(即不进行解码)由无线发送部122发送从TS解码器103输出的音频数据，在耳机20c中，经由音频数据缓冲器603将由无线接收部601接收到的音频数据供给到音频解码器604，因此，从TS解码器103输出到输入到音频解码器604为止的时间缩短，因此，视频数据缓冲器105中的数据蓄积量(考虑到预想的音频的最大延迟的量)不需要那么大。相反，需要考虑视频显示相对于音频输出延迟的可能性来决定音频数据缓冲器603的容量，但是，通常视频显示相对于音频不会延迟，因此，音频数据缓冲器603的数据蓄积量也不需要那么大。
在实施方式3的结构中，即使不从耳机20c向电视装置10c发送表示耳机20c中的音频解码和/或音频输出的定时的信息，也能够使视频显示和音频输出同步。
变形例
以上说明了视频显示装置为电视装置、接收广播波并输出被广播的内容的视频和音频的情况，但是，在从由记录介质再现视频音频的装置例如DVD装置或BD装置接收视频信号和音频信号，由电视装置等具有显示功能的装置显示视频，通过无线传送向音频输出装置发送音频信号并使其输出的情况下，也能够应用本发明。并且，说明了音频输出装置为耳机的情况，但是，通过无线传送接收音频信号并输出的其它装置例如扬声器内置遥控器也能够应用本发明。
标号说明
10、10b、10c：电视装置；20、20b、20c：耳机；101：调谐器；102：解调器；103：TS解码器；107：音频数据缓冲器；108：音频解码器；105：视频数据缓冲器；106：视频解码器；111：基准时刻生成部；114：帧计数器；116：帧计数器；117：正弦波发生器；119：音频复用器；121、121b：无线通信用编码器；122：无线发送部；131：无线接收部；132：计数值再现部；133：计数值比较器；134：调整值计算器；140：CPU；201：无线接收部；202：无线通信用解码器；203、203b：计数值复原部；204：频率计测器；205：计数值运算部；206：无线发送部；301：数字调制器；302：数字复用器；401：数字解调器；402：计数值生成部；601：无线接收部；603：音频数据缓冲器；604：音频解码器；610：基准时刻生成部；611：VCO；612：时钟发生器；613：STC计数器；620：时刻生成控制部；621：时刻比较器；622：增益调整器；623：低通滤波器；630：CPU。

Claims (14)

1.一种视频音频再现系统，其具有视频显示装置和音频输出装置，
由所述视频显示装置显示视频，并且向所述音频输出装置无线发送表示应该与所述视频同步输出的音频的音频信号，
在所述音频输出装置中输出由所述音频信号表示的音频，
所述视频音频再现系统的特征在于，
所述视频显示装置具有：
视频数据缓冲器，其暂时蓄积表示所述视频的视频数据；
视频解码器，其依次读入所述视频数据缓冲器中蓄积的所述视频数据并对其进行解码，输出视频信号；
再现视频帧编号生成部，其生成由所述视频解码器解码后的视频的帧编号作为再现视频帧编号；
音频数据缓冲器，其暂时蓄积表示所述音频的音频数据；
音频解码器，其依次读入所述音频数据缓冲器中蓄积的所述音频数据并对其进行解码，输出音频信号；
再现音频帧编号生成部，其生成由所述音频解码器解码后的音频的帧编号作为再现音频帧编号；以及
无线发送部，其将从所述音频解码器输出的所述音频信号和由所述再现音频帧编号生成部生成的所述再现音频帧编号相互关联起来进行无线发送，
所述音频输出装置具有：
无线接收部，其接收从所述无线发送部无线发送的所述音频信号和所述再现音频帧编号；
再现音频帧编号复原部，其对由所述无线接收部接收到的所述再现音频帧编号进行复原并输出；以及
无线发送部，其向所述视频显示装置无线发送由所述再现音频帧编号复原部复原后的所述再现音频帧编号，
所述视频显示装置还具有定时控制部，该定时控制部对所述视频解码器中的解码定时进行控制，以使由所述再现视频帧编号生成部生成的所述再现视频帧编号与从所述音频输出装置无线发送的所述再现音频帧编号一致，
由所述再现音频帧编号生成部生成的所述再现音频帧编号表示在从规定的下限值到规定的上限值的范围内循环变化的值。
2.根据权利要求1所述的视频音频再现系统，其特征在于，
所述视频显示装置具有：
数字调制器，其对所述再现音频帧编号进行数字调制；
无线通信用编码器，其对由所述音频解码器解码后的音频信号进行编码，输出数字数据流；以及
数字复用器，其对从所述无线通信用编码器输出的所述数字数据流和由所述数字调制器数字调制后的所述再现音频帧编号进行复用，输出复用数据，
所述无线发送部向所述音频输出装置无线传送从所述数字复用器输出的所述复用数据。
3.根据权利要求2所述的视频音频再现系统，其特征在于，
所述再现音频帧编号复原部具有：
数字解调器，其对由所述无线接收部接收到的数字调制后的所述再现音频帧编号进行数字解调；以及
计数值生成部，其根据由所述数字解调器解调后的数据生成帧计数值，
由所述计数值生成部生成的帧计数值被用作所述复原后的再现音频帧编号。
4.根据权利要求2或3所述的视频音频再现系统，其特征在于，
所述数字调制器以振幅调制方式进行所述数字调制。
5.根据权利要求2或3所述的视频音频再现系统，其特征在于，
所述数字调制器以频率调制方式进行所述数字调制。
6.根据权利要求2或3所述的视频音频再现系统，其特征在于，
所述数字调制器以相位调制方式进行所述数字调制。
7.根据权利要求2或3所述的视频音频再现系统，其特征在于，
所述数字调制器以正交二相调制方式进行所述数字调制。
8.根据权利要求1～3中的任意一项所述的视频音频再现系统，其特征在于，
所述定时控制部具有：
帧编号比较器，其求出所述复原后的再现音频帧编号与所述再现视频帧编号的差分；以及
调整值计算器，其根据所述差分计算调整值，
所述视频解码器与所述调整值相应地对所述解码定时进行变更。
9.一种视频音频再现系统，其具有视频显示装置和音频输出装置，
由所述视频显示装置显示视频，并且向所述音频输出装置无线发送表示应该与所述视频同步输出的音频的音频信号，
在所述音频输出装置中输出由所述音频信号表示的音频，
所述视频音频再现系统的特征在于，
所述视频显示装置具有：
视频数据缓冲器，其暂时蓄积表示所述视频的视频数据；
视频解码器，其依次读入所述视频数据缓冲器中蓄积的所述视频数据并对其进行解码，输出视频信号；
再现视频帧编号生成部，其生成由所述视频解码器解码后的视频的帧编号作为再现视频帧编号；
音频数据缓冲器，其暂时蓄积表示所述音频的音频数据；
音频解码器，其依次读入所述音频数据缓冲器中蓄积的所述音频数据并对其进行解码，输出音频信号；
再现音频帧编号生成部，其生成由所述音频解码器解码后的音频的帧编号作为再现音频帧编号；以及
无线发送部，其将从所述音频解码器输出的所述音频信号和由所述再现音频帧编号生成部生成的所述再现音频帧编号相互关联起来进行无线发送，
所述音频输出装置具有：
无线接收部，其接收从所述无线发送部无线发送的所述音频信号和所述再现音频帧编号；
再现音频帧编号复原部，其对由所述无线接收部接收到的所述再现音频帧编号进行复原并输出；以及
无线发送部，其向所述视频显示装置无线发送由所述再现音频帧编号复原部复原后的所述再现音频帧编号，
所述视频显示装置还具有定时控制部，该定时控制部对所述视频解码器中的解码定时进行控制，以使由所述再现视频帧编号生成部生成的所述再现视频帧编号与从所述音频输出装置无线发送的所述再现音频帧编号一致，
所述视频显示装置具有：
正弦波发生器，其用于生成频率与所述再现音频帧编号对应的正弦波；
音频复用器，其对从所述音频解码器输出的所述音频信号和由所述正弦波发生器生成的所述正弦波进行复用，输出复用音频信号；以及
无线通信用编码器，其对从所述音频复用器输出的所述复用音频信号进行编码，输出数字数据流，
所述视频显示装置的所述无线发送部向所述音频输出装置无线传送从所述无线通信用编码器输出的所述数字数据流。
10.根据权利要求9所述的视频音频再现系统，其特征在于，
所述再现音频帧编号复原部具有：
频率计测器，其计测所述正弦波的频率；以及
计数值运算部，其根据所述计测出的频率计算对应的帧计数值，
由所述计数值运算部计算出的帧计数值被用作所述复原后的再现音频帧编号。
11.根据权利要求9或10所述的视频音频再现系统，其特征在于，
所述定时控制部具有：
帧编号比较器，其求出所述复原后的再现音频帧编号与所述再现视频帧编号的差分；以及
调整值计算器，其根据所述差分计算调整值，
所述视频解码器与所述调整值相应地对所述解码定时进行变更。
12.一种视频显示装置，其显示视频，并且向音频输出装置无线发送表示应该与所述视频同步输出的音频的音频信号，其特征在于，所述视频显示装置具有：
视频数据缓冲器，其暂时蓄积表示所述视频的视频数据；
视频解码器，其依次读入所述视频数据缓冲器中蓄积的所述视频数据并对其进行解码，输出视频信号；
再现视频帧编号生成部，其生成由所述视频解码器解码后的视频的帧编号作为再现视频帧编号；
音频数据缓冲器，其暂时蓄积表示所述音频的音频数据；
音频解码器，其依次读入所述音频数据缓冲器中蓄积的所述音频数据并对其进行解码，输出音频信号；
再现音频帧编号生成部，其生成由所述音频解码器解码后的音频的帧编号作为再现音频帧编号；
无线发送部，其将从所述音频解码器输出的所述音频信号和由所述再现音频帧编号生成部生成的所述再现音频帧编号相互关联起来进行无线发送；以及
定时控制部，该定时控制部对所述视频解码器中的解码定时进行控制，以使由所述再现视频帧编号生成部生成的所述再现视频帧编号与从所述音频输出装置无线发送的再现音频帧编号一致，
由所述再现音频帧编号生成部生成的所述再现音频帧编号表示在从规定的下限值到规定的上限值的范围内循环变化的值。
13.一种视频显示装置，其显示视频，并且向音频输出装置无线发送表示应该与所述视频同步输出的音频的音频信号，其特征在于，所述视频显示装置具有：
视频数据缓冲器，其暂时蓄积表示所述视频的视频数据；
视频解码器，其依次读入所述视频数据缓冲器中蓄积的所述视频数据并对其进行解码，输出视频信号；
再现视频帧编号生成部，其生成由所述视频解码器解码后的视频的帧编号作为再现视频帧编号；
音频数据缓冲器，其暂时蓄积表示所述音频的音频数据；
音频解码器，其依次读入所述音频数据缓冲器中蓄积的所述音频数据并对其进行解码，输出音频信号；
再现音频帧编号生成部，其生成由所述音频解码器解码后的音频的帧编号作为再现音频帧编号；
无线发送部，其将从所述音频解码器输出的所述音频信号和由所述再现音频帧编号生成部生成的所述再现音频帧编号相互关联起来并向所述音频输出装置进行无线发送；
正弦波发生器，其用于生成频率与所述再现音频帧编号对应的正弦波；
音频复用器，其对从所述音频解码器输出的所述音频信号和由所述正弦波发生器生成的所述正弦波进行复用，输出复用音频信号；
无线通信用编码器，其对从所述音频复用器输出的所述复用音频信号进行编码，输出数字数据流；以及
定时控制部，该定时控制部对所述视频解码器中的解码定时进行控制，以使由所述再现视频帧编号生成部生成的所述再现视频帧编号与从所述音频输出装置无线发送的再现音频帧编号一致，
所述无线发送部向所述音频输出装置无线传送从所述无线通信用编码器输出的所述数字数据流。
14.一种音频输出装置，其接收从视频显示装置的无线发送部无线发送的音频信号和再现音频帧编号，输出由所述音频信号表示的音频，所述再现音频帧编号是由所述视频显示装置对视频数据进行解码时生成且从所述视频显示装置的无线发送部无线发送的，其特征在于，所述音频输出装置具有：
无线接收部，其接收从所述无线发送部无线发送的所述音频信号和所述再现音频帧编号；
再现音频帧编号复原部，其对由所述无线接收部接收到的所述再现音频帧编号进行复原并输出；以及
无线发送部，其向所述视频显示装置无线发送由所述再现音频帧编号复原部复原后的所述再现音频帧编号，
所述视频显示装置具有：
定时控制部，其对所述视频显示装置中的所述视频数据的解码定时进行控制，以使由所述视频显示装置生成的再现视频帧编号与从所述音频输出装置无线发送的所述再现音频帧编号一致；
正弦波发生器，其用于生成频率与所述再现音频帧编号对应的正弦波；
音频复用器，其对由所述视频显示装置解码后的所述音频信号和由所述正弦波发生器生成的所述正弦波进行复用，输出复用音频信号；以及
无线通信用编码器，其对从所述音频复用器输出的所述复用音频信号进行编码，输出数字数据流，
所述视频显示装置的所述无线发送部向所述音频输出装置无线传送从所述无线通信用编码器输出的所述数字数据流，
所述再现音频帧编号复原部具有：
频率计测器，其计测所述正弦波的频率；以及
计数值运算部，其根据所述计测出的频率计算对应的帧计数值，
由所述计数值运算部计算出的帧计数值被用作所述复原后的再现音频帧编号。
CN201380056351.8A 2012-10-30 2013-08-27 视频音频再现系统、视频显示装置以及音频输出装置 Expired - Fee Related CN104782109B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-238693 2012-10-30
JP2012238693 2012-10-30
PCT/JP2013/072840 WO2014069081A1 (ja) 2012-10-30 2013-08-27 映像音声再生システム、映像表示装置、及び音声出力装置

Publications (2)

Publication Number Publication Date
CN104782109A CN104782109A (zh) 2015-07-15
CN104782109B true CN104782109B (zh) 2018-09-07

Family

ID=50627003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380056351.8A Expired - Fee Related CN104782109B (zh) 2012-10-30 2013-08-27 视频音频再现系统、视频显示装置以及音频输出装置

Country Status (5)

Country Link
US (1) US9819839B2 (zh)
JP (1) JP5933744B2 (zh)
CN (1) CN104782109B (zh)
DE (1) DE112013005221T5 (zh)
WO (1) WO2014069081A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101461026B (zh) 2006-06-07 2012-01-18 Fei公司 与包含真空室的装置一起使用的滑动轴承
US10178281B2 (en) * 2014-07-28 2019-01-08 Starkey Laboratories, Inc. System and method for synchronizing audio and video signals for a listening system
US9775170B2 (en) * 2014-12-04 2017-09-26 Intel Corporation Apparatus, system and method of allocation using a frame
US11044386B1 (en) 2014-12-18 2021-06-22 The Directv Group, Inc. Method and system for synchronizing playback of independent audio and video streams through a network
CN106375820B (zh) * 2016-08-30 2018-07-06 京东方科技集团股份有限公司 对音频和视频信号进行同步的方法和装置
US11032580B2 (en) 2017-12-18 2021-06-08 Dish Network L.L.C. Systems and methods for facilitating a personalized viewing experience
US10365885B1 (en) * 2018-02-21 2019-07-30 Sling Media Pvt. Ltd. Systems and methods for composition of audio content from multi-object audio
KR20210028880A (ko) 2019-09-05 2021-03-15 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN111355975B (zh) * 2020-03-26 2021-09-07 郑州信大捷安信息技术股份有限公司 一种直播客户端音视频延时调节播放系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009089056A (ja) * 2007-09-28 2009-04-23 Toshiba Corp 映像表示装置及び音声出力装置
WO2010132278A2 (en) * 2009-05-14 2010-11-18 Massachusetts Institute Of Technology Selecting transforms for compressing visual data
CN101933333A (zh) * 2007-10-08 2010-12-29 摩托罗拉公司 将远程音频与固定视频同步
CN101946518A (zh) * 2007-12-28 2011-01-12 诺基亚公司 用于数字视频的自适应同步解码的方法、设备和计算机程序产品

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3094999B2 (ja) * 1998-10-15 2000-10-03 日本電気株式会社 オーディオ・ビデオ同期再生装置
JP2002354419A (ja) * 2001-05-25 2002-12-06 Sony Corp 記録再生装置および方法、記録媒体、並びにプログラム
US7937118B2 (en) * 2001-10-30 2011-05-03 Unwired Technology Llc Wireless audio distribution system with range based slow muting
JP2004282667A (ja) 2003-03-19 2004-10-07 Matsushita Electric Ind Co Ltd 再生同期ずれ補正機能を備えた送信機及び受信機、並びにそれらを有する伝送装置
JP3892478B2 (ja) * 2004-04-06 2007-03-14 松下電器産業株式会社 音声再生装置
US20060024024A1 (en) * 2004-07-27 2006-02-02 Cheng-Che Chen Playback device capable of synchronizing playback of video signal portion and audio signal portion of av signal and method thereof
KR101263522B1 (ko) * 2004-09-02 2013-05-13 소니 주식회사 콘텐츠 수신 장치, 비디오 오디오 출력 타이밍 제어 방법및 콘텐츠 제공 시스템
JP4182437B2 (ja) 2004-10-04 2008-11-19 ソニー株式会社 オーディオビデオ同期システム及びモニター装置
CN101080926A (zh) 2004-12-16 2007-11-28 松下电器产业株式会社 无线通信系统
JP4991129B2 (ja) * 2005-07-19 2012-08-01 Ｎｅｃディスプレイソリューションズ株式会社 映像音声再生装置および映像音声再生方法
JP4352409B2 (ja) 2005-09-28 2009-10-28 日本ビクター株式会社 マルチメディア符号化データ分離伝送装置
JP4556185B2 (ja) 2005-09-28 2010-10-06 日本ビクター株式会社 ビデオ再生装置及びオーディオ再生装置
JP2007096971A (ja) 2005-09-29 2007-04-12 Toshiba Corp 無線送信装置および無線受信装置
JP2007124044A (ja) * 2005-10-25 2007-05-17 Nec Electronics Corp 基準クロック再生回路及びデータ受信装置
CN101390388B (zh) * 2006-02-27 2010-09-15 松下电器产业株式会社 再现装置、携带式电话机和再现方法
JP2007274019A (ja) 2006-03-30 2007-10-18 Matsushita Electric Ind Co Ltd デジタル方式情報配信システムおよびその方法
ES2600495T3 (es) 2007-01-08 2017-02-09 Sk Telecom. Co., Ltd. Sistema y procedimiento para sincronizar contenido de difusión con información adicional
WO2008108352A1 (ja) 2007-03-07 2008-09-12 Rohm Co., Ltd. リモコンシステム、テレビ、及び、リモコン
JP5183942B2 (ja) 2007-03-07 2013-04-17 ローム株式会社 リモコンシステム、及び、リモコン
JP5183941B2 (ja) 2007-03-07 2013-04-17 ローム株式会社 リモコン、及び、テレビ
JP5183939B2 (ja) 2007-03-07 2013-04-17 ローム株式会社 リモコンシステム、テレビ、及び、リモコン
JP5183940B2 (ja) 2007-03-07 2013-04-17 ローム株式会社 リモコンシステム、及び、テレビ
JP2009049919A (ja) 2007-08-22 2009-03-05 Sony Corp 映像音声再生方法および映像音声再生システム
KR101450100B1 (ko) * 2007-11-22 2014-10-15 삼성전자주식회사 멀티미디어기기 및 그의 동기설정방법
JP5212473B2 (ja) * 2008-06-26 2013-06-19 富士通セミコンダクター株式会社 映像音声データ出力装置および映像音声データ出力方法
JP2011091519A (ja) 2009-10-21 2011-05-06 Panasonic Corp 双方向無線通信システム
JP5383520B2 (ja) * 2010-01-12 2014-01-08 Ｋｄｄｉ株式会社 映像フレーム及び音声フレームとの間の同期外れを補正する中継装置、プログラム、システム及び方法
JP2011145783A (ja) 2010-01-13 2011-07-28 Hitachi Ltd 計算機システム
JP5778478B2 (ja) * 2011-05-23 2015-09-16 ルネサスエレクトロニクス株式会社 データ処理システム
US20130058419A1 (en) * 2011-09-05 2013-03-07 Zhou Ye Wireless video/audio data transmission system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009089056A (ja) * 2007-09-28 2009-04-23 Toshiba Corp 映像表示装置及び音声出力装置
CN101933333A (zh) * 2007-10-08 2010-12-29 摩托罗拉公司 将远程音频与固定视频同步
CN101946518A (zh) * 2007-12-28 2011-01-12 诺基亚公司 用于数字视频的自适应同步解码的方法、设备和计算机程序产品
WO2010132278A2 (en) * 2009-05-14 2010-11-18 Massachusetts Institute Of Technology Selecting transforms for compressing visual data

Also Published As

Publication number Publication date
JPWO2014069081A1 (ja) 2016-09-08
CN104782109A (zh) 2015-07-15
US9819839B2 (en) 2017-11-14
DE112013005221T5 (de) 2015-08-20
JP5933744B2 (ja) 2016-06-15
US20150215496A1 (en) 2015-07-30
WO2014069081A1 (ja) 2014-05-08

Similar Documents

Publication Publication Date Title
CN104782109B (zh) 视频音频再现系统、视频显示装置以及音频输出装置
CN107211164B (zh) 用于解码媒体信号的解码器和用于编码包含主要媒体数据的元数据或控制数据的辅助媒体数据的编码器
CN100459691C (zh) 再现设备和解码控制方法
JP5038602B2 (ja) データ伝送同期化スキーム
US20070008984A1 (en) Buffer management system, digital audio receiver, headphones, loudspeaker, method of buffer management
CN103888813A (zh) 一种音视频同步的实现方法及系统
JP2009272945A (ja) 同期再生装置
US4884267A (en) TDM transmission system
EP1162845B1 (en) Apparatus and method for information processing, and recording medium
JP2010154418A (ja) 無線映像伝送方法及び装置
KR101080416B1 (ko) 멀티-프로그램 다중화/역다중화 장치 및 방법
US7434248B2 (en) Broadcast system and apparatus, sync information replacing apparatus and method, program, and recording medium recording the program
TWI469591B (zh) 接收裝置和方法以及程式和接收系統
CN101960847A (zh) 发送装置及接收装置
US20050147175A1 (en) Stream data communication system
JP2011176798A (ja) 再生装置
US8126064B2 (en) Transmission device
JP2004015553A (ja) 同期制御方法と装置およびそれを用いた同期再生装置およびテレビジョン受信装置
CN101527784A (zh) 接收装置
JP2009188897A (ja) 通信システム
JPH11313290A (ja) ディジタル映像信号送受信方法及びその装置
JP2014216706A (ja) 送信装置、受信装置及び再生システム
JP4168527B2 (ja) データ多重化装置及びデータ多重化方法
JP5133818B2 (ja) 信号再生装置
JP4082495B2 (ja) 送信装置及び受信装置並びに周波数多重伝送システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180907