CN106331562B - 云端服务器、控制设备及音频视频同步方法 - Google Patents

云端服务器、控制设备及音频视频同步方法 Download PDF

Info

Publication number
CN106331562B
CN106331562B CN201510333713.4A CN201510333713A CN106331562B CN 106331562 B CN106331562 B CN 106331562B CN 201510333713 A CN201510333713 A CN 201510333713A CN 106331562 B CN106331562 B CN 106331562B
Authority
CN
China
Prior art keywords
audio
video
time delay
delay data
format information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510333713.4A
Other languages
English (en)
Other versions
CN106331562A (zh
Inventor
陈柏钦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanning Fulian Fugui Precision Industrial Co Ltd
Original Assignee
Nanning Fugui Precision Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanning Fugui Precision Industrial Co Ltd filed Critical Nanning Fugui Precision Industrial Co Ltd
Priority to CN201510333713.4A priority Critical patent/CN106331562B/zh
Priority to TW104119901A priority patent/TWI551148B/zh
Priority to US15/173,743 priority patent/US9794451B2/en
Publication of CN106331562A publication Critical patent/CN106331562A/zh
Application granted granted Critical
Publication of CN106331562B publication Critical patent/CN106331562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/05—Synchronising circuits with arrangements for extending range of synchronisation, e.g. by using switching between several time constants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42684—Client identification by a unique number or address, e.g. serial number, MAC address, socket ID
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43632—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4432—Powering on the client, e.g. bootstrap loading using setup parameters being stored locally or received from the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame

Abstract

一种音频视频同步的方法,所述方法应用于控制设备,该控制设备与云端服务器、播放设备相连，控制设备向播放设备传输音频与视频，該方法包括：获取播放设备的身份标识符，并获取控制设备进行传送的音频的格式信息、视频的格式信息，根据身份标识符、音频的格式信息、视频的格式信息从云端服务器获取对应的时延数据，根据从云端服务器获取的时延数据进行音频与视频的时延设置，以让音频与视频同步。本发明还提供了一种控制设备,还提供一种云端服务器及音频视频同步的方法,能选择最佳音频视频时延进行同步调整，解决观众在观看多媒体影像时音频视频不同步的问题。

Description

云端服务器、控制设备及音频视频同步方法
技术领域
本发明涉及音频视频领域，尤其涉及云端服务器、控制设备音频视频同步方法。
背景技术
随着音频视讯处理技术的发展，越来越多观众观看高清晰度多媒体(HighDefinition Multimedia Interface，HDMI)影音节目，当观看高清晰度多媒体影音节目(尤其是在观看高清视讯、超高清显示分辨视讯、高档视讯)时，因为播放设备处理影像的时间比处理声音的时间要久很多，如果没有措施进行延时处理将会出现影像与声音不同步的状况，另外，如果不对高清晰度多媒体数据的声音进行时延控制，该声音与数字音频、仿真音频之间将产生声音不同步的问题。
国际电信联盟无线电通信组公开标准BT.1359规定音频超前视频的时间阈值为45毫秒，音频落后视频时间阈值为125毫秒。
美国国家数字电视标准规定音频超前视频的时间阈值为15毫秒，音频落后视频时间阈值为60毫秒。
现有的解决音频视频不同步的方法：1)通过手动设置高清晰度多媒体发射端或接收端的声音延迟时间；2)依据HDMI1.3标准，在播放设备的扩展显示标识数据中设置接收端影像与声音处理所需的时间；3)依据HDMI1.3/1.4标准处理，不同分辨率的视频、不同音频内容有不同的处理时延，依据公式为：播放设备视频处理时延＝(2*最大视频处理时延+最小视频处理时延)/3,播放设备音频处理时延＝(2*最大处理音频时延+最小处理音频时延)/3，发射设备音频时延＝播放视频处理时延-播放音频处理时延；4)依据HDMI12.0标准，在播放设备的扩展显示标识数据中设置接收端影像与声音处理所需的时间；5)依据HDMI12.0标准，用户自己调节播放设备时延模式，此时并未改变设置在数据显示标识数据中原始设置值。
但是现有的解决方法仍存在问题，在依据HDMI2.0标准下，如果播放设备不支持自动唇语同步功能和动态自动唇语同步功能,用户就需要手动设置控制设备的时延，别外，即使有自动唇语同步功能或动态自动唇语同步功能，但自动进行音频视频同步并不是强制实行的，许多播放设备仍常出现影音不同步现象。
因而急需提供一种能简单便捷进行音频视频同步的相关设备及方法。
发明内容
有鉴于此，本发明提供一种控制设备及其音频视频同步的方法，用以实现音频视频同步。
另外，本发明提供一种云端服务器及其音频视频同步的方法，用以实现音频视频同步。
本实施方式中提供的控制设备，所述控制设备与云端服务器、播放设备相连，所述控制设备向所述播放设备传输音频与视频，所述控制设备包括获取模块、调整模块，获取模块用于获取所述播放设备的身份标识符，并获取所述控制设备进行传送的音频的格式信息、视频的格式信息，根据所述身份标识符、所述音频的格式信息、所述视频的格式信息从所述云端服务器获取对应的时延数据，调整模块用于根据所述从所述云端服务器获取的时延数据进行所述音频与视频的时延设置，以让所述音频与视频同步。
优选地，还包括判断模块、通信模块，判断模块用于判断所述音频与所述视频是否同步播放，通信模块用于当所述音频与视频同步播放时，将所述音频与视频的当前的时延数据返回给所述云端服务器。
优选地，还包括视频检测模块、音频检测模块，视频检测模块用于当所述音频与视频不为同步播放时，侦测所述播放设备的视频处理时延，音频检测模块，用于当所述音频与视频不为同步播放时，侦测所述播放设备的音频处理时延，其中，所述调整模块还用于根据所述视频检测模块所侦测之视频处理时延、所述音频检测模块所侦测之音频处理时延进行所述音频与视频的时延设置。
优选地，所述判断模块还用于在所述音频与视频不同步时，提供用户设置界面，以供用户设置时延数据，所述调整模块还用于根据所述用户设置的时延数据进行所述音频与视频的时延设置。
本实施方式中提供的云端服务器，所述云端服务器与控制设备、播放设备相连，所述控制设备向所述播放设备传输音频与视频，所述云端服务器包括预存模块、接收模块、侦测模块，预存模块用于预先存储一个时延表，所述时延表中有不同播放设备开始音频、视频解码到播放所需要的音频时延、视频时延，接收模块用于接收所述播放设备上传的身份识别符，所述播放设备进行传送的音频的格式信息、视频的格式信息，侦测模块，根据所述身份标识符、所述音频的格式信息、所述视频的格式信息从所述时延表中获取对应的时延数据，并将时延数据反馈给所述控制设备。
优选地，所述接收模块还用于接收所述播放设备返回的时延数据，所述侦测模块还用于判断所述时延数据是否由所述控制设备自动检测得到，当所述时延数据是自动检测得到时，对所述时延表进行相应更新。
优选地，所述侦测模块在所述侦测模块侦测到具有多个自动检测得到的时延数据时，根据所述多个自动检测到的时延数据计算平均值，并依据平均值更新时延表中的对应播放设备的时延值。
优选地，所述侦测模块还用于判断所述时延数据是否由用户设置，当所述时延数据是用户设置时，判断用户设置的时延数据是否处于预设的阈值范围，当处于所述阈值范围时，依据所述身份识别符、所述音频的格式信息、所述视频的格式信息对所述时延数据进行分类，统计各类中时延数据的数量，并判断所述时延数据的数量是否超过一预设值，当所述时延数据的数量超过所述预设值时，根据所述用户设置的时延数据计算平均值，根据平均值对所述时延表进行相应更新。
本实施方式中提供的控制设备音频视频同步的方法，所述控制设备与云端服务器、播放设备相连，所述控制设备向所述播放设备传输音频与视频，所述方法包括获取所述播放设备的身份标识符，并获取所述控制设备进行传送的音频的格式信息、视频的格式信息，根据所述身份标识符、所述音频的格式信息、所述视频的格式信息从所述云端服务器获取对应的时延数据，根据所述从所述云端服务器获取的时延数据进行所述音频与视频的时延设置，以让所述音频与视频同步。
优选地，还包括判断所述音频与所述视频是否同步播放，当所述音频与视频同步播放时，将所述音频与视频的当前的时延数据返回给所述云端服务器。
优选地，还包括当所述音频与视频不为同步播放时，侦测所述播放设备的视频处理时延，当所述音频与视频不为同步播放时，侦测所述播放设备的音频处理时延，根据所侦测之视频处理时延、所侦测之音频处理时延进行所述音频与视频的时延设置。
优选地，还包括在所述音频与视频不同步时，提供用户设置界面，以供用户设置时延数据，根据所述用户设置的时延数据进行所述音频与视频的时延设置。
本实施方式中提供的云端服务器音频视频同步的方法，所述云端服务器与控制设备、播放设备相连，所述控制设备向所述播放设备传输音频与视频，所述云端服务器包括预先存储一个时延表，所述时延表中有不同播放设备开始音频、视频解码到播放所需要的音频时延、视频时延，接收所述播放设备上传的身份识别符，所述播放设备进行传送的音频的格式信息、视频的格式信息，根据所述身份标识符、所述音频的格式信息、所述视频的格式信息从所述时延表中获取对应的时延数据，并将时延数据反馈给所述控制设备。
优选地，还包括接收所述播放设备返回的时延数据，判断所述时延数据是否由所述控制设备自动检测得到，当所述时延数据是自动检测得到时，对所述时延表进行相应更新。
优选地，还包括侦测到具有多个自动检测得到的时延数据时，根据所述多个自动检测到的时延数据计算平均值，并依据平均值更新时延表中的对应播放设备的时延值。
优选地，还包括判断所述时延数据是否由用户设置，当所述时延数据是用户设置时，判断用户设置的时延数据是否处于预设的阈值范围，当处于所述阈值范围时，依据所述身份识别符、所述音频的格式信息、所述视频的格式信息对所述时延数据进行分类，统计各类中时延数据的数量，并判断所述时延数据的数量是否超过一预设值，当所述时延数据的数量超过所述预设值时，根据所述用户设置的时延数据计算平均值，根据平均值对所述时延表进行相应更新。
本发明实施方式中的控制设备和云端服务器及其音频视频同步的方法可以改善HDMI标准未强制要求音频视频同步的缺点，根据播放设备的身份识别标识、音频的格式信息、视频的格式信息从云端获取最佳的时延数据进行音频视频同步调整。云端服务器能接收自动检测音频/视频处理时延、用户自动设置时延数据等方法获取大量的同类播放设备对应不同音频格式、不同视频格式所需要的时延数据，进而能计算出同类播放设备对应相同音频格式、相同视频格式相应的平均值，进而更新时延表为控制设备提供音频视频同步调整的最佳时延数据，解决观众在观看HDMI多媒体影像时音频视频不同步的问题。
附图说明
图1是本发明云端服务器20、控制设备10一实施方式的实施环境图。
图2是本发明音频视频同步判断标准示意图。
图3是本发明云端服务器20、控制设备10一实施方式的功能模块图。
图4是本发明控制设备10自动侦测音频时延视频时延的一实施方式的示意图。
图5是本发明云端服务器20、控制设备10另一实施方式的功能模块图。
图6是本发明控制设备10进行音频视频同步的一实施方式的流程图。
图7是本发明本发明云端服务器20进行音频视频同步的一实施方式的流程图。
主要元件符号说明
控制设备 10
获取模块 100
调整模块 102
判断模块 104
通信模块 106
视频检测模块 108
音频检测模块 110
处理模块 112
存储模块 114
云端服务器 20
预存模块 200
接收模块 202
侦测模块 204
存储器 206
处理器 208
播放设备 30
显示器 300
扬声器 302
数字音频解码器 40
功放器 50
音响 60
具体实施方式
请参阅图1，图1所示是本发明云端服务器20、控制设备10一实施方式的实施环境图。在本实施方式中，包括控制设备10、云端服务器20、播放设备30、数字音频解码器40、功放器50以及音响60,其中播放设备30、音响60为播放装置的举例，播放设备可有多个，不一一画出。控制设备10与云端服务器20相连，云端服务器20可能与多个控制设备10相连，这里示意性的画出一个控制设备10，控制设备10通过高清晰度多媒体接口(HDMI)与播放设备30的显示器300相连,以及还通过模拟音频接口与播放设备扬声器302相连，控制设备10还通过模拟音频接口与播放设备30的扬声器相连，控制设备10通过数字音频接口与数字音频解码器40相连，数字音频解码器40还与功放器50相连，功放器50与音响60相连。
请参阅图2，图2所示是本发明音频视频同步判断标准示意图。在该示意图中，横坐标表示音频时间与视频时间之间的差距，0ms表示没有差距，+50ms表示音频时间超前视频时间50ms,-50ms表示音频时间落后视频时间50ms，A到A’之间表示可接受时延同步调整的阈值，B到B’之间表示国际电信联盟无线电通信组公开标准BT.1359规定音频超前视频的时间阈值为45毫秒，音频落后视频时间阈值为125毫秒，为进行同步调整的阈值。C到C’之间表示音频视频同步稳定区域，不进行同步调整。
请参阅图3，图3是本发明控制设备10、云端服务器20一实施方式的功能模块图。在本实施例中，控制设备10包括获取模块100、调整模块102、判断模块104以及通信模块106，云端服务器20包括预存模块200、接收模块202、侦测模块204。在本实施方式中,以控制设备10与云端服务器20之间的进行音频视频同步的处理过程为例进行说明，控制设备10与云端服务器20应用于图1所示的应用环境图中。
控制设备10的获取模块100获取播放设备30的扩展显示标识数据，扩展显示标识数据中包括时延表格,时延表格中有播放设备30身份标识符ID、音频时延、视频时延、隔行音频时延、隔行视频时延，并获取控制设备10传送的播放数据中的音频格式信息和视频格式信息，根据扩展显示标识数据、音频格式信息和视频格式信息从云端服务器20获取对应的时延数据，时延数据中包括播放设备处理对应音频格式信息的音频数据的时延、处理对应视频格式信息的视频数据的时延，控制设备10的调整模块102用于根据从云端获取的时延数据对音频与视频的时延设置，以让所述音频与视频同步。时延同步设置包括高清晰度多媒体音频与视频之间的同步、数字音频与模拟音频之间的同步、模拟音频与视频之间的同步。
控制设备10的判断模块用于判断音频视频是否同步播放，若判断模块104判断出音频视频同步播放，则由控制设备10的通信模块106将时延数据返回给云端服务器20，若判断模块104判断出音频视频不同步，则判断模块104判断该控制设备10是否具有音频视频时延侦测功能，若判断出有音频视频时延侦测功能，则开启时延测试功能，在本实施方式中，由视频检测模块108、音频检测模块110进行自动时延测试功能，具体的自动时延测试将在说明附图4时进行详细说明，视频检测模块108、音频检测模块110获取自动测试的音频时延和视频时延后，调整模块102依据测试得到的时延数据进行音频视频同步播放调整，然后，判断模块104判断音频视频是否同步，若不同步，则进入用户自动设置界面，若同步，则将数据传回给云端服务器20。若判断出没有音频视频同步自动侦测功能，则进入用户自动设置时延的界面。在进入用户自动设置时延的界面后，持续获取用户设置的时延数据，调整模块102根据时延数据进行音频视频同步调整，直到音频视频同步，并将此时的时延数据传回云端服务器20，云端服务器20接收时延数据并进行更新。
下面详细介绍云端服务器20的具体工作过程。云端服务器20的预存模块200中预先存储有时延表，在时延表中有不同播放设备处理不同音频格式、不同视频格式所需的处理时间即从开始进行音频、视频解码到进行播放所需要的时延数据，播放设备以各自的身份标识符ID进行区分，时延表为控制设备10提供时延数据。云端服务器20的接收模块202接收播放设备30上传的扩展显示标识数据，以及控制设备10返回的时延数据。侦测模块204用于判断时延数据是否自动检测得到，若时延数据是自动检测得到，根据时延数据对时延表进行更新，当有多个自动检测得到的时延数据时，云端服务器20的侦测模块204根据接收的多个自动检测的时延数据计算平均值，依据平均值更新时延表。侦测模块204判断时延数据不为自动检测得到时，判断时延数据是否为用户设置，若时延数据不是用户设置，根据接收的播放设备扩展显示标识数据获取时延数据音频格式信息、视频格式信息获取时延数据，并将时延数据反馈给控制设备。若时延数据是用户设置，则判断用户设置的时延数据是否处于预设的阈值范围，当处于所述阈值范围时，依据所述身份识别符、所述音频的格式信息、所述视频的格式信息对所述时延数据进行分类，统计各类中时延数据的数量，并判断所述时延数据的数量是否超过一预设值，当所述时延数据的数量超过所述预设值时，根据所述用户设置的时延数据计算平均值，根据平均值对所述时延表进行相应更新。举例来说,侦测模块204判断用户设置的时延数据是否小于云端时延数据的一半，是否大于云端时延数据2倍，若用户设置的时延数据小于云端时延数据的一半或大于云端时延数据2倍，忽略不进行处理。若用户设置的时延数据处于云端时延数据的一半和云端时延数据2倍之间，依据播放设备的身份识别符、播放设备的音频的格式信息、视频的格式信息对所述时延数据进行分类，因为现今的播放设备的各类很多，音频格式、视频格式种类也很多，不同用户使用的播放设备不同，需要进行播放的音频视频也不同，用户设置的时延数据是用户的播放设备播放特定格式的音频、视频时的时延数据，因为云端服务器20与许多控制设备10相连，因而可以接收到使用同一种播放设备的多个用户设置的多个时延数据，为了增加时延数据的准确性，根据接收的多个控制设备发送的用户设置的时延数据计算平均值，将平均值设为新的时延数据。
请参阅图4，图4所示是本发明控制设备10自动侦测音频时延视频时延的一实施方式的示意图。每次开启自动侦测时延数据时，控制设备10通过HDMI接口发送相同的音频数据、视频数据给播放设备30，例如，视频数据为全屏的黑色向全屏白色之间的转换，在发送视频数据之时，发送“喀喇”声响的音频数据。播放设备30接收来至控制设备10的音频视频数据，并将音频数据发送到显示器300进行播放，将视频数据发送到扬声器播放，视频检测模块108接收控制设备10的命令开始进行亮度检测，音频检测模块110接收控制设备10的命令开始进行声音检测，视频检测模块108检测亮度级别开始转变的时间，并将检测到的转变时间反馈给控制设备，音频检测模块110检测声音级别开始转变的时间，并将检测到的转变时间反馈给控制设备。控制设备比较两个反馈时间之间的差值，并根据该差值设置控制设备10的时延，例如，当检测到音频播放时间超前视频播放时间Xms，则控制设备10将音频的发送时延设为Xms，使得播放设备30能音频视频同步播放，当检测到音频播放时间落后视频播放时间Yms，则控制设备10将视频的发送时延设为Yms，使得播放设备30能音频视频同步播放。
请参阅图5，图5是本发明云端服务器20、控制设备10另一实施方式的功能模块图。在本实施方式中，控制设备10包括获取模块100、判断模块104，通信模块106，处理模块112以及存储模块114，云端服务器20包括预存模块200、接收模块202、侦测模块204，存储器206以及处理器208。获取模块100、判断模块104，通信模块106，预存模块200、接收模块202、侦测模块204功能与图3中相同，存储模块114、存储器206分别存储控制设备10、云端服务器20的各个模块的软件代码以及从外部接收的音频视频数据、时延数据等数据资料。处理模块112、处理器208用于执行软件代码以实现上述控制设备10、云端服务器20各模块的功能，控制设备10与云端服务器20应用于图1所示的应用环境图中。
请参阅图6，图6是本发明控制设备10进行音频视频同步的一实施方式的流程图。图6所示的流程通过图1、图3、图4的环境和功能模块实施，也可图1、图4、图5的环境和功能模块实施。
在步骤S600，控制设备10的获取模块100获取播放设备30的扩展显示标识数据，自身传送的音频格式信息和视频格式信息。
在步骤S602，控制设备10的获取模块100根据扩展显示标识数据、自身传送的音频格式信息和视频格式信息从云端服务器20获取对应的时延数据，并根据时延数据进行音频视频同步设置。
在步骤S604，控制设备10的判断模块用于判断音频视频是否同步，若判断模块104判断出音频视频同步，则在步骤S616中，由控制设备10的通信模块106将时延数据返回给云端服务器20。
若判断模块104判断出音频视频不同步，则在步骤S606中，判断模块104判断该控制设备10是否具有音频视频同步自动侦测功能，若判断出有音频视频同步自动侦测功能，则开启自动测试功能，在本实施方式中，自动测试功能由视频检测模块108、音频检测模块110完成，即在本实施方式中，若判断出有音频视频同步自动侦测功能，则在步骤S608中开启视频检测模块108开始进行视频时延测试，同时开启音频检测模块110开始进行声音时延测试，获取自动测试的时延后，依据测试得到的时延进行音频视频同步调整。
若判断出没有音频视频同步自动侦测功能，则在步骤S610中进入用户自动设置时延的界面，并依据设置的时延数据进行同步调整。
在步骤S612中，判断模块104判断音频视频是否同步，若不同步，则进入用户自动设置界面，若同步，则在步骤S616中将数据传回给云端服务器20。并将此时的时延数据传回云端服务器20，云端服务器20接收时延数据并进行更新。
在步骤S614中，判断音频视频是否同步。若不同步，则进入用户自动设置时延的界面，持续获取用户设置的时延数据，并根据时延数据进行音频视频同步调整，直到音频视频同步。若同步，则在步骤S616中将数据传回给云端服务器20。
参阅图7，图7是本发明本发明云端服务器20进行音频视频同步的一实施方式的流程图。图7所示的流程通过图1、图3的环境和功能模块实施或通过图1、图5的环境和功能模块实施。
在步骤S700中，在云端服务器20的预存模块200中预先存储时延表，在时延表中有不同播放设备处理不同音频格式、不同视频格式所需的处理时间。
在步骤S702中，云端服务器20的接收模块202接收云端服务器20接收播放设备30上传的扩展显示标识数据、控制设备10传送的音频的格式信息、视频的格式信息。
在步骤S704中，云端服务器20的接收模块202接收控制设备10返回的时延数据。
在步骤S706中,侦测模块204用于判断时延数据是否自动检测得到。
若时延数据是自动检测得到，则在步骤S708中，云端服务器20的侦测模块204根据接收的多个控制设备发送的自动检测的时延数据计算平均值，将平均值设为新的时延值。
若时延数据不是自动检测得到，则在步骤S710中，判断时延数据是否为用户设置。
在步骤S712中，若时延数据不是用户设置，根据接收的控制设备的扩展显示标识数据、音频格式信息、视频格式信息从时延表获取时延数据，并将时延数据反馈给控制设备。
若时延数据是用户设置，则在步骤S714中，侦测模块204判断用户设置的时延数据是否处于一预设区间。。
若用户设置的时延数据不处于预设区间，忽略不进行处理。
若用户设置的时延数据处于预设区间，则在步骤S718中，依据播放设备的身份识别符、播放设备的音频的格式信息、视频的格式信息对所述时延数据进行分类，统计每类的时延数据的平均值，根据时延值更新时延表。
现今的播放设备的各类很多，音频格式、视频格式种类也很多，不同用户使用的播放设备不同，需要进行播放的音频视频也不同，用户设置的时延数据是用户的播放设备播放特定格式的音频、视频时的时延数据，因为云端服务器20与许多控制设备10相连，因而可以接收到使用同一种播放设备的多个用户设置的多个时延数据，为了增加时延数据的准确性，根据接收的多个控制设备发送的用户设置的时延数据计算平均值，将平均值设为新的时延数据。
因此，本发明实施方式中的控制设备10和云端服务器20及其音频视频同步的方法可以改善HDMI标准未强制要求音频视频同步的缺点，根据播放设备的身份识别标识、音频的格式信息、视频的格式信息从云端获取最佳的时延数据进行音频视频同步调整。云端服务器20能接收自动检测音频/视频处理时延、用户自动设置时延数据等方法获取大量的同类播放设备对应不同音频格式、不同视频格式所需要的时延数据，进而能计算出同类播放设备对应相同音频格式、相同视频格式相应的平均值，进而更新时延表为控制设备提供音频视频同步调整的最佳时延数据，解决观众在观看HDMI多媒体影像时音频视频不同步的问题。

Claims (14)

1.一种控制设备，所述控制设备与云端服务器相连、所述控制设备还通过高清晰度多媒体接口与播放设备相连，所述控制设备向所述播放设备传输音频与视频，其特征在于，所述控制设备包括：
获取模块，用于获取所述播放设备的扩展显示标识数据，所述扩展显示标识数据包括身份标识符，并获取所述控制设备进行传送的音频的格式信息、视频的格式信息，根据所述身份标识符、所述音频的格式信息、所述视频的格式信息从所述云端服务器获取对应的时延数据；
调整模块，用于根据所述从所述云端服务器获取的时延数据进行所述音频与视频的时延设置，以让所述音频与视频同步；
判断模块，用于判断所述音频与所述视频是否同步播放；及
通信模块，用于当所述音频与视频同步播放时，将所述音频与视频的当前的时延数据返回给所述云端服务器。
2.如权利要求1所述的控制设备，其特征在于，还包括：
视频检测模块，用于当所述音频与视频不为同步播放时，侦测所述播放设备的视频处理时延；及
音频检测模块，用于当所述音频与视频不为同步播放时，侦测所述播放设备的音频处理时延；
其中，所述调整模块还用于根据所述视频检测模块所侦测之视频处理时延、所述音频检测模块所侦测之音频处理时延进行所述音频与视频的时延设置。
3.如权利要求2所述的控制设备，其特征在于，所述判断模块还用于在所述音频与视频不同步时，提供用户设置界面，以供用户设置时延数据，所述调整模块还用于根据所述用户设置的时延数据进行所述音频与视频的时延设置。
4.一种云端服务器，所述云端服务器与控制设备相连、所述控制设备通过高清晰度多媒体接口与播放设备相连，所述控制设备向所述播放设备传输音频与视频，其特征在于，所述云端服务器包括：
预存模块，用于预先存储一个时延表，所述时延表中有不同播放设备对不同音频格式、不同视频格式从开始音频、视频解码到播放所需要的音频时延、视频时延；
接收模块，用于接收所述播放设备上传的扩展显示标识数据、所述控制设备进行传送的音频的格式信息、视频的格式信息，所述扩展显示标识数据包括身份识别符；
侦测模块，根据所述身份标识符、所述音频的格式信息、所述视频的格式信息从所述时延表中获取对应的时延数据，并将时延数据反馈给所述控制设备。
5.如权利要求4所述的云端服务器，其特征在于，所述接收模块还用于接收所述播放设备返回的时延数据；
所述侦测模块还用于判断所述时延数据是否由所述控制设备自动检测得到，当所述时延数据是自动检测得到时，对所述时延表进行相应更新。
6.如权利要求5所述的云端服务器，其特征在于，所述侦测模块在所述侦测模块侦测到具有多个自动检测得到的时延数据时，根据所述多个自动检测到的时延数据计算平均值，并依据平均值更新时延表中的对应播放设备的时延值。
7.如权利要求5所述的云端服务器，其特征在于，所述侦测模块还用于判断所述时延数据是否由用户设置，当所述时延数据是用户设置时，判断用户设置的时延数据是否处于预设的阈值范围，当处于所述阈值范围时，依据所述身份识别符、所述音频的格式信息、所述视频的格式信息对所述时延数据进行分类，统计各类中时延数据的数量，并判断所述时延数据的数量是否超过一预设值，当所述时延数据的数量超过所述预设值时，根据所述用户设置的时延数据计算平均值，根据平均值对所述时延表进行相应更新。
8.一种控制设备音频视频同步的方法，所述控制设备与云端服务器相连、所述控制设备还通过高清晰度多媒体接口与播放设备相连，所述控制设备向所述播放设备传输音频与视频，其特征在于，所述方法包括：
获取所述播放设备的扩展显示标识数据，所述扩展显示标识数据包括身份标识符，并获取所述控制设备进行传送的音频的格式信息、视频的格式信息，根据所述身份标识符、所述音频的格式信息、所述视频的格式信息从所述云端服务器获取对应的时延数据；
根据所述从所述云端服务器获取的时延数据进行所述音频与视频的时延设置，以让所述音频与视频同步；
判断所述音频与所述视频是否同步播放；及
当所述音频与视频同步播放时，将所述音频与视频的当前的时延数据返回给所述云端服务器。
9.如权利要求8所述的方法，其特征在于，还包括：
当所述音频与视频不为同步播放时，侦测所述播放设备的视频处理时延；及
当所述音频与视频不为同步播放时，侦测所述播放设备的音频处理时延；
根据所侦测之视频处理时延、所侦测之音频处理时延进行所述音频与视频的时延设置。
10.如权利要求9所述的方法，其特征在于，还包括：
在所述音频与视频不同步时，提供用户设置界面，以供用户设置时延数据，根据所述用户设置的时延数据进行所述音频与视频的时延设置。
11.一种云端服务器音频视频同步的方法，所述云端服务器与控制设备相连、所述控制设备通过高清晰度多媒体接口与播放设备相连，所述控制设备向所述播放设备传输音频与视频，其特征在于，所述云端服务器包括：
预先存储一个时延表，所述时延表中有不同播放设备对不同音频格式、不同视频格式开始音频、视频解码到播放所需要的音频时延、视频时延；
接收所述播放设备上传的扩展显示标识数据、所述控制设备进行传送的音频的格式信息、视频的格式信息，所述扩展显示标识数据包括身份识别符；
根据所述身份标识符、所述音频的格式信息、所述视频的格式信息从所述时延表中获取对应的时延数据，并将时延数据反馈给所述控制设备。
12.如权利要求11所述的方法，其特征在于，还包括：
接收所述播放设备返回的时延数据；
判断所述时延数据是否由所述控制设备自动检测得到，当所述时延数据是自动检测得到时，对所述时延表进行相应更新。
13.如权利要求12所述的方法，其特征在于，还包括：
侦测到具有多个自动检测得到的时延数据时，根据所述多个自动检测到的时延数据计算平均值，并依据平均值更新时延表中的对应播放设备的时延值。
14.如权利要求12所述的方法，其特征在于，所述方法还包括：
判断所述时延数据是否由用户设置，当所述时延数据是用户设置时，判断用户设置的时延数据是否处于预设的阈值范围，当处于所述阈值范围时，依据所述身份识别符、所述音频的格式信息、所述视频的格式信息对所述时延数据进行分类，统计各类中时延数据的数量，并判断所述时延数据的数量是否超过一预设值，当所述时延数据的数量超过所述预设值时，根据所述用户设置的时延数据计算平均值，根据平均值对所述时延表进行相应更新。
CN201510333713.4A 2015-06-16 2015-06-16 云端服务器、控制设备及音频视频同步方法 Active CN106331562B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510333713.4A CN106331562B (zh) 2015-06-16 2015-06-16 云端服务器、控制设备及音频视频同步方法
TW104119901A TWI551148B (zh) 2015-06-16 2015-06-18 雲端伺服器、控制設備及音訊視訊同步方法
US15/173,743 US9794451B2 (en) 2015-06-16 2016-06-06 Cloud server, control equipment and method for audio and video synchronization

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510333713.4A CN106331562B (zh) 2015-06-16 2015-06-16 云端服务器、控制设备及音频视频同步方法

Publications (2)

Publication Number Publication Date
CN106331562A CN106331562A (zh) 2017-01-11
CN106331562B true CN106331562B (zh) 2020-04-24

Family

ID=57445198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510333713.4A Active CN106331562B (zh) 2015-06-16 2015-06-16 云端服务器、控制设备及音频视频同步方法

Country Status (3)

Country Link
US (1) US9794451B2 (zh)
CN (1) CN106331562B (zh)
TW (1) TWI551148B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG11202009900WA (en) * 2018-04-06 2020-11-27 Novi Digital Entertainment Private Ltd Synchronization of online gaming environment with video streaming of a live event
JP7278373B2 (ja) * 2018-10-24 2023-05-19 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． ソースデバイス、シンクデバイス、方法、およびコンピュータプログラム
CN109379619B (zh) * 2018-11-20 2021-05-18 海信视像科技股份有限公司 音画同步方法及装置
CN109819303B (zh) * 2019-03-06 2021-04-23 Oppo广东移动通信有限公司 数据输出方法及相关设备
GB2586986B (en) * 2019-09-10 2023-05-24 Hitomi Ltd Signal variation measurement
CN111954051B (zh) * 2020-02-11 2021-10-26 华为技术有限公司 传输视频音频数据的方法、系统、云端服务器和存储介质
CN113364726A (zh) * 2020-03-05 2021-09-07 华为技术有限公司 一种分布式数据传输的方法、装置和系统
US11196899B1 (en) * 2020-06-18 2021-12-07 Sony Group Corporation Synchronization of wireless-audio to video
CN113949917B (zh) * 2020-07-16 2023-09-15 深圳瞬玩科技有限公司 基于云手机的在线视频同步方法和系统
EP4183134A1 (en) * 2020-07-17 2023-05-24 Harman International Industries, Incorporated System and method for remotely creating an audio/video mix and master of live audio and video
CN113766278B (zh) * 2020-08-11 2024-04-12 北京沃东天骏信息技术有限公司 音频播放方法、音频播放装置和音频播放系统
CN113453052B (zh) * 2021-06-22 2022-11-08 Vidaa(荷兰)国际控股有限公司 音画同步方法及显示设备
CN113270098B (zh) * 2021-06-22 2022-05-13 广州小鹏汽车科技有限公司 语音控制方法、车辆、云端和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0895427A3 (en) * 1997-07-28 2006-01-18 Sony Electronics Inc. Audio-video synchronizing
CN105376628A (zh) * 2014-08-27 2016-03-02 深圳Tcl新技术有限公司 音视频信号同步方法和装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5570372A (en) * 1995-11-08 1996-10-29 Siemens Rolm Communications Inc. Multimedia communications with system-dependent adaptive delays
US6753925B2 (en) * 2001-03-30 2004-06-22 Tektronix, Inc. Audio/video processing engine
JP4546682B2 (ja) * 2001-06-26 2010-09-15 パイオニア株式会社 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム
EP1341386A3 (en) * 2002-01-31 2003-10-01 Thomson Licensing S.A. Audio/video system providing variable delay
US6912010B2 (en) * 2002-04-15 2005-06-28 Tektronix, Inc. Automated lip sync error correction
JP4124110B2 (ja) * 2003-11-26 2008-07-23 ソニー株式会社 コンテンツ視聴支援装置及びコンテンツ視聴支援方法、並びにコンピュータ・プログラム
JP4660184B2 (ja) * 2004-12-27 2011-03-30 株式会社東芝 信号中継装置及び信号中継方法
US7970222B2 (en) * 2005-10-26 2011-06-28 Hewlett-Packard Development Company, L.P. Determining a delay
JP2007324919A (ja) * 2006-05-31 2007-12-13 Toshiba Corp 音声および映像信号送信装置ならびに信号処理方法
US8743284B2 (en) * 2007-10-08 2014-06-03 Motorola Mobility Llc Synchronizing remote audio with fixed video
US8665320B2 (en) * 2010-07-26 2014-03-04 Echo Star Technologies L.L.C. Method and apparatus for automatic synchronization of audio and video signals
TWI501673B (zh) * 2011-02-16 2015-09-21 Amtran Technology Co Ltd 無線音訊與視訊同步播放的方法及其播放系統
KR20130026322A (ko) * 2011-09-05 2013-03-13 주식회사 팬택 외부출력장치와 연결시 지연 없는 출력이 가능한 소스 단말 및 그 연결방법
JP5959951B2 (ja) * 2012-06-15 2016-08-02 キヤノン株式会社 映像処理装置、映像処理方法、及びプログラム
DE102012212485A1 (de) * 2012-07-17 2014-01-23 Rohde & Schwarz Gmbh & Co. Kg Testsystem und Testverfahren zum Ermitteln von Verarbeitungsparametern von Audio- und/oder Video-Daten
CN103219029A (zh) * 2013-03-25 2013-07-24 广东欧珀移动通信有限公司 自动调节音视频同步的方法和系统
TWI496455B (zh) * 2013-04-10 2015-08-11 Wistron Corp 影音同步檢測裝置與方法
CN103685795B (zh) * 2013-12-13 2016-09-07 广州市百果园网络科技有限公司 网络语音通信中的数据对齐方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0895427A3 (en) * 1997-07-28 2006-01-18 Sony Electronics Inc. Audio-video synchronizing
CN105376628A (zh) * 2014-08-27 2016-03-02 深圳Tcl新技术有限公司 音视频信号同步方法和装置

Also Published As

Publication number Publication date
US9794451B2 (en) 2017-10-17
CN106331562A (zh) 2017-01-11
TW201701655A (zh) 2017-01-01
US20160373615A1 (en) 2016-12-22
TWI551148B (zh) 2016-09-21

Similar Documents

Publication Publication Date Title
CN106331562B (zh) 云端服务器、控制设备及音频视频同步方法
TWI762117B (zh) 動態控制指紋辨識速率以促進媒體內容的時間準確性修訂
US10785547B2 (en) System and method for synchronizing metadata with audiovisual content
TWI786647B (zh) 建立及使用時間映射之方法、運算系統及非暫時性電腦可讀媒體
CN108810649B (zh) 画质调节方法、智能电视机及存储介质
US9998703B2 (en) Apparatus, systems and methods for synchronization of multiple headsets
US20140282668A1 (en) Viewer behavior tracking using pattern matching and character recognition
CN104902317A (zh) 音视频同步方法及装置
CN108366283B (zh) 多设备间的媒体同步播放方法
KR20090053141A (ko) 멀티미디어기기 및 그의 동기설정방법
CN111343477B (zh) 数据传输方法、装置、电子设备及存储介质
CN108419098B (zh) 电视机的控制方法以及电视机
KR20150081886A (ko) Av기기 및 그 제어방법
KR101741747B1 (ko) 실시간 광고 삽입이 가능한 영상 광고 처리 장치 및 방법
KR20160017214A (ko) 멀티스크린 시스템, 영상분할서버 및 그 영상분할방법, 분할영상단말기 및 멀티스크린 제어방법
EP3849166A1 (en) Television sound and picture synchronous self-tuning method and device and storage medium
KR20150037372A (ko) 영상표시장치, 컨텐츠 동기화 서버 및 그 동작방법
US20080059999A1 (en) Multi-function display controller
WO2021060578A1 (ko) 영상표시장치, 이의 립싱크 보정방법 및 영상표시시스템
CN109151417B (zh) 多媒体设备的检测系统及方法
CN114339326B (zh) 基于视频播放的声画同步方法、装置和系统
KR20170031941A (ko) 디스플레이 장치 및 그의 휘도 제어 방법
TWI660628B (zh) 多設備間的媒體同步播放方法
KR100655000B1 (ko) 신호 동기의 자동 조절을 위한 텔레비젼 수상기 및 방법
CN115550712A (zh) 终端的视频播放方法及终端及智能播放系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant