CN110545447A - 一种音视频同步的方法及装置 - Google Patents
一种音视频同步的方法及装置 Download PDFInfo
- Publication number
- CN110545447A CN110545447A CN201910704646.0A CN201910704646A CN110545447A CN 110545447 A CN110545447 A CN 110545447A CN 201910704646 A CN201910704646 A CN 201910704646A CN 110545447 A CN110545447 A CN 110545447A
- Authority
- CN
- China
- Prior art keywords
- data packet
- audio
- video data
- preset
- audio data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 239000000284 extract Substances 0.000 claims abstract description 6
- 230000005540 biological transmission Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明实施例提供了一种音视频同步的方法及装置，应用于音视频同步系统，所述音视频同步系统包括数据采集端、发送端和接收端，所述方法包括：所述发送端接收所述数据采集端发送的视频数据包或音频数据包；当所述发送端接收到音频数据包时，将所述音频数据包存储到预设的缓存队列；当所述发送端接收到视频数据包时，判断所述预设的缓存队列中是否存在音频数据包；若所述预设的缓存队列中存在音频数据包，则所述发送端提取所述预设的缓存队列中的音频数据包，将所述视频数据包与所述音频数据包合并，生成音视频数据包，以及发送所述音视频数据包至所述接收端。
Description
技术领域
本发明涉及音视频传输技术领域，特别是涉及一种音视频同步的方法，以及一种音视频同步的装置。
背景技术
随着信息技术的飞速发展，网络摄像头、网络电视等多媒体技术的应用也越来越广泛，流媒体播放逐渐成为热点。在实时流媒体传输过程中，流媒体的音视频同步播放，一直是业内人士所关心的问题，尤其实在弱网环境下，往往会导致音视频不同步。
目前，传统的技术方案通过对比时间戳，此技术方案，在网络环境好的情况下是可以控制同步的，但是，在弱网环境下，会出现丢包严重，比如，往往会因为视频传输所需带宽较大导致传输中丢失视频包，导致时间对比无法完成，导致音频超前，或者滞后，影响观者体验。
发明内容
鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种音视频同步的方法和相应的一种音视频同步的装置。
为了解决上述问题，本发明实施例公开了一种音视频同步的方法，应用于音视频同步系统，所述音视频同步系统包括数据采集端、发送端和接收端，所述方法包括：
所述发送端接收所述数据采集端发送的视频数据包或音频数据包；
当所述发送端接收到音频数据包时，将所述音频数据包存储到预设的缓存队列；
当所述发送端接收到视频数据包时，判断所述预设的缓存队列中是否存在音频数据包；
若所述预设的缓存队列中存在音频数据包，则所述发送端提取所述预设的缓存队列中的音频数据包，将所述视频数据包与所述音频数据包合并，生成音视频数据包，以及发送所述音视频数据包至所述接收端。
可选的，还包括：
若所述预设的缓存队列中不存在音频数据包，则所述发送端将所述视频数据包发送至所述接收端。
可选的，所述音频数据包的字节长度为预设第一字节数，所述视频数据包为预设第二字节数；
所述发送端将所述视频数据包与所述音频数据包合并，生成音视频数据包，包括：
所述发送端按照所述音频数据包在先，所述视频数据包在后的顺序，将所述音频数据包和所述视频数据包组合得到预设第三字节数的音视频数据包；所述预设第三字节数为所述预设第一字节数与所述预设第二字节数之和。
可选的，在所述发送端接收所述数据采集端发送的视频数据包或音频数据包的步骤之前，还包括：
所述数据采集端采集音频数据，并将所述音频数据编码为一个或多个预设第一字节数的音频数据包。
可选的，在所述发送端接收所述数据采集端发送的视频数据包或音频数据包的步骤之前，还包括：
所述数据采集端采集视频数据，并将所述视频数据编码为一个或多个预设第二字节数的视频数据包。
可选的，所述方法还包括：
所述接收端对所述音视频数据包进行分解，确定前预设第一字节数的数据为音频数据，确定后预设第二字节数的数据为视频数据。
可选的，所述预设第一字节数为124，所述预设第二字节数为1084，所述预设第三字节数为1208。
本发明实施例还公开了一种音视频同步的装置，应用于音视频同步系统，所述音视频同步系统包括数据采集端、发送端和接收端，所述装置包括：
数据接收模块，用于所述发送端接收所述数据采集端发送的视频数据包或音频数据包；
数据缓存模块，用于当所述发送端接收到音频数据包时，将所述音频数据包存储到预设的缓存队列；
判断模块，用于当所述发送端接收到视频数据包时，判断所述预设的缓存队列中是否存在音频数据包；
数据合并模块，用于若所述预设的缓存队列中存在音频数据包，则所述发送端提取所述预设的缓存队列中的音频数据包，将所述视频数据包与所述音频数据包合并，生成音视频数据包，以及发送所述音视频数据包至所述接收端。
可选的，所述装置还包括：
视频数据包发送模块，用于若所述预设的缓存队列中不存在音频数据包，则所述发送端将所述视频数据包发送至所述接收端。
可选的，所述音频数据包的字节长度为预设第一字节数，所述视频数据包为预设第二字节数；所述数据合并模块，包括：
数据合并子模块，用于所述发送端按照所述音频数据包在先，所述视频数据包在后的顺序，将所述音频数据包和所述视频数据包组合得到预设第三字节数的音视频数据包；所述预设第三字节数为所述预设第一字节数与所述预设第二字节数之和。
可选的，所述装置还包括：
音频数据编码模块，用于所述数据采集端采集音频数据，并将所述音频数据编码为一个或多个预设第一字节数的音频数据包。
可选的，所述装置还包括：
视频数据编码模块，用于所述数据采集端采集视频数据，并将所述视频数据编码为一个或多个预设第二字节数的视频数据包。
可选的，所述装置还包括：
音视频数据包分解模块，用于所述接收端对所述音视频数据包进行分解，确定前预设第一字节数的数据为音频数据，确定后预设第二字节数的数据为视频数据。
可选的，所述预设第一字节数为124，所述预设第二字节数为1084，所述预设第三字节数为1208。
本发明实施例还公开了一种电子设备，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述电子设备执行如本发明实施例所述的一个或多个的方法的步骤。
本发明实施例还公开了一种计算机可读存储介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如本发明实施例所述的一个或多个的方法的步骤。
本发明实施例包括以下优点：
在本发明实施例中，通过发送端接收数据采集端发送的视频数据包或音频数据包；当接收到音频数据包时，将音频数据包存储到预设的缓存队列；当接收到视频数据包时，判断预设的缓存队列中是否存在音频数据包；若预设的缓存队列中存在音频数据包，则提取预设的缓存队列中的音频数据包，将视频数据包与音频数据包合并，生成音视频数据包，以及发送音视频数据包至接收端。通过将视频数据包与音频数据包合并为音视频数据包进行发送，从而实现音频数据和视频数据的同步，而且不需要单独发送音频数据包，可以减少音频数据和视频数据传输的频次。
附图说明
图1是本发明的一种音视频同步的方法实施例的步骤流程图；
图2是本发明的一种音视频同步的方法的流程图；
图3是本发明的一种音视频同步的装置实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1，示出了本发明的一种音视频同步的方法实施例的步骤流程图，应用于音视频同步系统，所述音视频同步系统包括数据采集端、发送端和接收端，
其中，数据采集端可以是用于采集音频数据和视频数据的终端设备，例如，IPC(IPCamera，网络摄像机)、NVR(Network Video Recorder，网络硬盘录像机)等终端设备。
发送端可以是数据管理端，用于管理音频数据和视频数据的终端设备，例如，监控管理平台，流媒体服务器等终端设备。发送端可以包括存储模块，用于存储音频数据和视频数据，发送端还可以包括数据处理模块，用于对需要发送的音频数据和视频数据进行处理。
接收端可以是用于播放音频数据和视频数据的应用程序的后台服务端，例如，流媒体播放器，视频播放器等应用程序的后台服务器端。
所述音视频同步的方法具体可以包括如下步骤：
步骤101，所述发送端接收所述数据采集端发送的视频数据包或音频数据包；
具体的，可以采用数据采集端实时采集音频数据和视频数据。数据采集端在采集到音频数据和视频数据之后，可以将音频数据包和视频数据包发送至发送端，以通过发送端将音频数据包和视频数据包发送至接收端。其中，音频数据包可以是编码后的音频数据，视频数据包可以是编码后的视频数据。
在具体实现中，数据采集端可以以时间段为区间将采集的音频数据编码为音频数据包，以及将视频数据编码为视频数据包，从而向发送端发送每一单位时间段内采集的音频数据和视频数据。
步骤102，当所述发送端接收到音频数据包时，将所述音频数据包存储到预设的缓存队列；
其中，预设的缓存队列可以是预先设置的用于缓存数据包的队列。
在本发明实施例中，当发送端接收到音频数据包时，可以将该音频数据包存储到预设的缓存队列。将音频数据包存储到预设的缓存队列，不对音频数据包进行实时发送，等待发送端在发送音频数据包时，从预设的缓存队列中取出音频数据包进行发送。
步骤103，当所述发送端接收到视频数据包时，判断所述预设的缓存队列中是否存在音频数据包；
在本发明实施例中，当发送端接收到视频数据包时，可以判断预设的缓存队列中是否存在音频数据包。
具体的，可以对预设的缓存队列设置一长度参数L，初始化长度参数L为0，在将音频数据包存储到预设的缓存队列中之后，将长度参数L加一。发送端可以通过判断长度参数L是否大于或等于1，来确定预设的缓存队列中是否存在音频数据包，当长度参数L小于1时，可以判定预设的缓存队列中不存在音频数据包，当长度参数L大于或等于1时，可以判定预设的缓存队列中存在音频数据包。例如，当L＝0时，判定预设的缓存队列中不存在音频数据包，当L＝1时，判定预设的缓存队列中存在音频数据包。
步骤104，若所述预设的缓存队列中存在音频数据包，则所述发送端提取所述预设的缓存队列中的音频数据包，将所述视频数据包与所述音频数据包合并，生成音视频数据包，以及发送所述音视频数据包至所述接收端。
在本发明实施例中，若预设的缓存队列中存在音频数据包，则发送端可以提取预设的缓存队列中的音频数据包，将音频数据包与视频数据包一起发送。具体的，发送端提取预设的缓存队列中的音频数据包之后，可以将视频数据包与音频数据包合并，生成音视频数据包，并发送合并视频数据包与音频数据包之后生成的音视频数据包至接收端。
由于音频数据包是编码后的音频数据，视频数据包是编码后的视频数据，则音视频数据包中包含了音频数据和视频数据，将音视频数据包发送至接收端，可以做到将音频数据和视频数据同步发送，接收端也是同步接收到音频数据和视频数据，从而可以实现音频数据和视频数据的同步。而且，将音频数据包和视频数据包合并后发送，不需要单独发送音频数据包，可以减少音频数据和视频数据传输的频次。
在本发明实施例的一种优选实施例中，所述音视频同步的方法还可以包括如下步骤：
若所述预设的缓存队列中不存在音频数据包，则所述发送端将所述视频数据包发送至所述接收端。
在本发明实施例中，若预设的缓存队列中不存在音频数据包，则发送端可以将视频数据包发送直接至接收端。
由于采集终端实时将采集到的音频数据和视频数据，编码为音频数据包和视频数据包发送至发送端，则当预设的缓存队列中不存在音频数据包时，则这一单位时间段内采集的音频数据和视频数据中，不包括音频数据，可以直接将视频数据包发送直接至接收端。
在本发明实施例中，接收端接收到视频数据包之后，可以将视频数据包发送至前端播放器，以通过前端播放器对视频数据包进行解码，并播放视频数据。
在本发明实施例的一种优选实施例中，所述音频数据包的字节长度为预设第一字节数，所述视频数据包为预设第二字节数；
其中，预设第一字节数可以是预先设置的字节数，表示音频数据包的字节长度；预设第二字节数是预先设置的字节数，表示视频数据包的字节长度。例如，预设第一字节数为124字节，预设第二字节数为1084字节。
所述步骤104可以包括如下子步骤：
所述发送端按照所述音频数据包在先，所述视频数据包在后的顺序，将所述音频数据包和所述视频数据包组合得到预设第三字节数的音视频数据包；所述预设第三字节数为所述预设第一字节数与所述预设第二字节数之和。
其中，预设第三字节数是预先设置的字节数，表示音视频数据包的字节长度。预设第三字节数可以预设第一字节数与预设第二字节数之和。例如，预设第一字节数为124字节，预设第二字节数为1084字节，则预设第三字节数为1208字节。
在本发明实施例中，发送端可以按照音频数据包在先，视频数据包在后的顺序，将音频数据包和视频数据包组合得到预设第三字节数的音视频数据包。
在本发明实施例的一种优选实施例中，在所述步骤101之前，还可以包括如下步骤：
所述数据采集端采集音频数据，并将所述音频数据编码为一个或多个预设第一字节数的音频数据包。
在本发明实施例中，数据采集端可以采集音频数据，并将采集的音频数据编码为一个或多个预设第一字节数的音频数据包。数据采集端可以以时间段为区间将采集的音频数据编码为音频数据包，当某一单位时间段内采集的音频数据较多时，则可以将这一单位时间段内的音频数据编码为多个音频数据包。
在本发明实施例的一种优选实施例中，在所述步骤101之前，还可以包括如下步骤：
所述数据采集端采集视频数据，并将所述视频数据编码为一个或多个预设第二字节数的视频数据包。
在本发明实施例中，数据采集端可以采集视频数据，并将采集的视频数据编码为一个或多个预设第二字节数的视频数据包。数据采集端可以以时间段为区间将采集的视频数据编码为视频数据包，当某一单位时间段内采集的视频数据较多时，则可以将这一单位时间段内的视频数据编码为多个视频数据包。
在本发明实施例的一种优选实施例中，还包括：
所述接收端对所述音视频数据包进行分解，确定前预设第一字节数的数据为音频数据，确定后预设第二字节数字节的数据为视频数据。
在本发明实施例中，接收端可以对音视频数据包进行分解，确定前预设第一字节数的数据为音频数据，确定后预设第二字节数的数据为视频数据。音视频数据包是合并了音频数据包和视频数据包后的数据，因此，接收端可以通过对音视频数据包进行分解，从而获得音频数据和视频数据。
在本发明实施例中，接收端分解得到音频数据包或视频数据包后，可以将音频数据包或视频数据包发送至前端播放器，从而通过前端播放器对音频数据包或视频数据包进行解码，并播放音频数据或视频数据。
在本发明实施例的一种优选实施例中，所述预设第一字节数为124，所述预设第二字节数为1084，所述预设第三字节数为1208。
如图2示出了本发明实施例的一种音视频同步的方法的流程图，在图2中，音视频同步的流程为：数据采集端从音视频数据源采集音频数据和视频数据，并将采集的音频数据和视频数据编码为124字节的音频数据包和1084字节的视频数据包，然后将音频数据包和视频数据包发送至发送端；发送端判断接收到的数据包括的类型，当接收到的数据包为音频数据包时，将该音频数据包接入预设的缓存队列中；当接收到的数据包为视频数据包时，判断预设的缓存队列中是否有音频数据包，若预设的缓存队列中有音频数据包，则合并音频数据包和视频数据包为1208字节的音视频数据包，并将合并后的音视频数据包发送至接收端，若预设的缓存队列中没有音频数据，则将视频数据包发送至接收端；接收端分解接收到的音频数据包，确定视频数据包和音频数据包，并将视频数据包和音频数据包发送至前端播放器。
在本发明实施例中，通过发送端接收数据采集端发送的视频数据包或音频数据包；当接收到音频数据包时，将音频数据包存储到预设的缓存队列；当接收到视频数据包时，判断预设的缓存队列中是否存在音频数据包；若预设的缓存队列中存在音频数据包，则提取预设的缓存队列中的音频数据包，将视频数据包与音频数据包合并，生成音视频数据包，以及发送音视频数据包至接收端。通过将视频数据包与音频数据包合并为音视频数据包进行发送，从而实现音频数据和视频数据的同步，而且不需要单独发送音频数据包，可以减少音频数据和视频数据传输的频次。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图3，示出了本发明的一种音视频同步的装置实施例的结构框图，应用于音视频同步系统，所述音视频同步系统包括数据采集端、发送端和接收端，具体可以包括如下模块：
数据接收模块301，用于所述发送端接收所述数据采集端发送的视频数据包或音频数据包；
数据缓存模块302，用于当所述发送端接收到音频数据包时，将所述音频数据包存储到预设的缓存队列；
判断模块303，用于当所述发送端接收到视频数据包时，判断所述预设的缓存队列中是否存在音频数据包；
数据合并模块304，用于若所述预设的缓存队列中存在音频数据包，则所述发送端提取所述预设的缓存队列中的音频数据包，将所述视频数据包与所述音频数据包合并，生成音视频数据包，以及发送所述音视频数据包至所述接收端。
在本发明实施例的一种优选实施例中，所述装置还可以包括如下模块：
视频数据包发送模块，用于若所述预设的缓存队列中不存在音频数据包，则所述发送端将所述视频数据包发送至所述接收端。
在本发明实施例的一种优选实施例中，所述音频数据包的字节长度为预设第一字节数，所述视频数据包为预设第二字节数；所述数据合并模块304，可以包括如下子模块：
数据合并子模块，用于所述发送端按照所述音频数据包在先，所述视频数据包在后的顺序，将所述音频数据包和所述视频数据包组合得到预设第三字节数的音视频数据包；所述预设第三字节数为所述预设第一字节数与所述预设第二字节数之和。
在本发明实施例的一种优选实施例中，所述装置还可以包括如下模块：
音频数据编码模块，用于所述数据采集端采集音频数据，并将所述音频数据编码为一个或多个预设第一字节数的音频数据包。
在本发明实施例的一种优选实施例中，所述装置还可以包括如下模块：
视频数据编码模块，用于所述数据采集端采集视频数据，并将所述视频数据编码为一个或多个预设第二字节数的视频数据包。
在本发明实施例的一种优选实施例中，所述装置还可以包括如下模块：
音视频数据包分解模块，用于所述接收端对所述音视频数据包进行分解，确定前预设第一字节数的数据为音频数据，确定后预设第二字节数的数据为视频数据。
在本发明实施例的一种优选实施例中，所述预设第一字节数为124，所述预设第二字节数为1084，所述预设第三字节数为1208。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例还提供了一种电子设备，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述电子设备执行本发明实施例所述的方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行本发明实施例所述的方法的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种音视频同步的方法和一种音视频同步的装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种音视频同步的方法，其特征在于，应用于音视频同步系统，所述音视频同步系统包括数据采集端、发送端和接收端，所述方法包括：
所述发送端接收所述数据采集端发送的视频数据包或音频数据包；
当所述发送端接收到音频数据包时，将所述音频数据包存储到预设的缓存队列；
当所述发送端接收到视频数据包时，判断所述预设的缓存队列中是否存在音频数据包；
若所述预设的缓存队列中存在音频数据包，则所述发送端提取所述预设的缓存队列中的音频数据包，将所述视频数据包与所述音频数据包合并，生成音视频数据包，以及发送所述音视频数据包至所述接收端。
2.根据权利要求1所述的方法，其特征在于，还包括：
若所述预设的缓存队列中不存在音频数据包，则所述发送端将所述视频数据包发送至所述接收端。
3.根据权利要求2所述的方法，其特征在于，所述音频数据包的字节长度为预设第一字节数，所述视频数据包为预设第二字节数；
所述发送端将所述视频数据包与所述音频数据包合并，生成音视频数据包，包括：
所述发送端按照所述音频数据包在先，所述视频数据包在后的顺序，将所述音频数据包和所述视频数据包组合得到预设第三字节数的音视频数据包；所述预设第三字节数为所述预设第一字节数与所述预设第二字节数之和。
4.根据权利要求1所述的方法，其特征在于，在所述发送端接收所述数据采集端发送的视频数据包或音频数据包的步骤之前，还包括：
所述数据采集端采集音频数据，并将所述音频数据编码为一个或多个预设第一字节数的音频数据包。
5.根据权利要求1所述的方法，其特征在于，在所述发送端接收所述数据采集端发送的视频数据包或音频数据包的步骤之前，还包括：
所述数据采集端采集视频数据，并将所述视频数据编码为一个或多个预设第二字节数的视频数据包。
6.根据权利要求3所述的方法，其特征在于，所述方法还包括：
所述接收端对所述音视频数据包进行分解，确定前预设第一字节数的数据为音频数据，确定后预设第二字节数的数据为视频数据。
7.根据权利要求6所述的方法，其特征在于，所述预设第一字节数为124，所述预设第二字节数为1084，所述预设第三字节数为1208。
8.一种音视频同步的装置，其特征在于，应用于音视频同步系统，所述音视频同步系统包括数据采集端、发送端和接收端，所述装置包括：
数据接收模块，用于所述发送端接收所述数据采集端发送的视频数据包或音频数据包；
数据缓存模块，用于当所述发送端接收到音频数据包时，将所述音频数据包存储到预设的缓存队列；
判断模块，用于当所述发送端接收到视频数据包时，判断所述预设的缓存队列中是否存在音频数据包；
数据合并模块，用于若所述预设的缓存队列中存在音频数据包，则所述发送端提取所述预设的缓存队列中的音频数据包，将所述视频数据包与所述音频数据包合并，生成音视频数据包，以及发送所述音视频数据包至所述接收端。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述电子设备执行如权利要求1-7所述的一个或多个的方法的步骤。
10.一种计算机可读存储介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如权利要求1-7所述的一个或多个的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910704646.0A CN110545447B (zh) | 2019-07-31 | 2019-07-31 | 一种音视频同步的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910704646.0A CN110545447B (zh) | 2019-07-31 | 2019-07-31 | 一种音视频同步的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110545447A true CN110545447A (zh) | 2019-12-06 |
| CN110545447B CN110545447B (zh) | 2022-08-09 |
Family
ID=68710036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910704646.0A Active CN110545447B (zh) | 2019-07-31 | 2019-07-31 | 一种音视频同步的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110545447B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115460425A (zh) * | 2022-07-29 | 2022-12-09 | 上海赫千电子科技有限公司 | 基于车载以太网传输音视频同步传输方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104618786A (zh) * | 2014-12-22 | 2015-05-13 | 深圳市腾讯计算机系统有限公司 | 音视频同步方法和装置 |
| CN104780422A (zh) * | 2014-01-13 | 2015-07-15 | 北京兆维电子(集团)有限责任公司 | 流媒体播放方法及流媒体播放器 |
| CN105744334A (zh) * | 2016-02-18 | 2016-07-06 | 海信集团有限公司 | 一种音视频同步和同步播放的方法及设备 |
| CN106331820A (zh) * | 2015-06-29 | 2017-01-11 | 成都鼎桥通信技术有限公司 | 音视频的同步处理方法和装置 |
| CN106713855A (zh) * | 2016-12-13 | 2017-05-24 | 深圳英飞拓科技股份有限公司 | 一种视频播放方法及装置 |
| CN107770597A (zh) * | 2017-09-28 | 2018-03-06 | 北京小鸟科技股份有限公司 | 音视频同步方法及装置 |
| CN109379127A (zh) * | 2018-10-17 | 2019-02-22 | 视联动力信息技术股份有限公司 | 一种数据处理方法及装置 |
| US20190104165A1 (en) * | 2016-07-04 | 2019-04-04 | Znipe Esports AB | Methods and nodes for synchronized streaming of a first and a second data stream |
| CN110769297A (zh) * | 2018-07-25 | 2020-02-07 | 视联动力信息技术股份有限公司 | 一种音视频数据的处理方法和系统 |
-
2019
- 2019-07-31 CN CN201910704646.0A patent/CN110545447B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104780422A (zh) * | 2014-01-13 | 2015-07-15 | 北京兆维电子(集团)有限责任公司 | 流媒体播放方法及流媒体播放器 |
| CN104618786A (zh) * | 2014-12-22 | 2015-05-13 | 深圳市腾讯计算机系统有限公司 | 音视频同步方法和装置 |
| CN106331820A (zh) * | 2015-06-29 | 2017-01-11 | 成都鼎桥通信技术有限公司 | 音视频的同步处理方法和装置 |
| CN105744334A (zh) * | 2016-02-18 | 2016-07-06 | 海信集团有限公司 | 一种音视频同步和同步播放的方法及设备 |
| US20190104165A1 (en) * | 2016-07-04 | 2019-04-04 | Znipe Esports AB | Methods and nodes for synchronized streaming of a first and a second data stream |
| CN106713855A (zh) * | 2016-12-13 | 2017-05-24 | 深圳英飞拓科技股份有限公司 | 一种视频播放方法及装置 |
| CN107770597A (zh) * | 2017-09-28 | 2018-03-06 | 北京小鸟科技股份有限公司 | 音视频同步方法及装置 |
| CN110769297A (zh) * | 2018-07-25 | 2020-02-07 | 视联动力信息技术股份有限公司 | 一种音视频数据的处理方法和系统 |
| CN109379127A (zh) * | 2018-10-17 | 2019-02-22 | 视联动力信息技术股份有限公司 | 一种数据处理方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115460425A (zh) * | 2022-07-29 | 2022-12-09 | 上海赫千电子科技有限公司 | 基于车载以太网传输音视频同步传输方法 |
| CN115460425B (zh) * | 2022-07-29 | 2023-11-24 | 上海赫千电子科技有限公司 | 基于车载以太网传输音视频同步传输方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110545447B (zh) | 2022-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111010614A (zh) | 一种显示直播字幕的方法、装置、服务器及介质 | |
| CN110868600B (zh) | 目标跟踪视频推流方法、显示方法、装置和存储介质 | |
| WO2018076998A1 (zh) | 一种回放视频文件的生成方法和装置 | |
| CN107819809B (zh) | 对内容进行同步操作的方法及装置 | |
| CN103069769A (zh) | 用于经译码视频数据的网络串流传输的特技模式 | |
| CN111447455A (zh) | 直播视频流回放处理方法、装置及计算设备 | |
| CN110062277A (zh) | 一种音视频自动同步方法及同步系统 | |
| CN109587514B (zh) | 一种视频播放方法、介质和相关装置 | |
| CN102752669A (zh) | 多通道实时流媒体文件的传送处理方法与系统、接收装置 | |
| KR20060122784A (ko) | 디지털 멀티미디어방송에서 비디오 서비스와 동기화된데이터 서비스를 제공하는 방법 및 그 장치 | |
| CN109862384A (zh) | 一种音视频自动同步方法及同步系统 | |
| CN108111872B (zh) | 一种音频直播系统 | |
| CN109194974B (zh) | 用于网络视频直播的媒体低延迟通信方法与系统 | |
| US20220109715A1 (en) | Use of In-Band Metadata as Basis to Access Reference Fingerprints to Facilitate Content-Related Action | |
| CN109218745A (zh) | 一种直播方法、服务器、客户端及可读存储介质 | |
| CN112565224A (zh) | 一种视频处理方法及装置 | |
| CN110139128B (zh) | 一种信息处理方法、拦截器、电子设备及存储介质 | |
| JP2020072461A (ja) | 送信装置、サーバ装置、送信方法およびプログラム | |
| CN111866526B (zh) | 一种直播业务处理方法和装置 | |
| CN110545447B (zh) | 一种音视频同步的方法及装置 | |
| KR102392888B1 (ko) | 패킷 손실 복구를 개선하기 위한 장치 및 방법 | |
| CN112235600A (zh) | 视频数据及视频业务请求的处理方法、装置及系统 | |
| US11457286B2 (en) | Video distribution apparatus, distribution method, and recording medium | |
| CN110166831B (zh) | 重放流媒体文件的方法、装置、存储介质和计算机设备 | |
| WO2016090916A1 (zh) | 码流传输方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |