CN109120974A - 一种音视频同步播放的方法及装置 - Google Patents
一种音视频同步播放的方法及装置 Download PDFInfo
- Publication number
- CN109120974A CN109120974A CN201810828374.0A CN201810828374A CN109120974A CN 109120974 A CN109120974 A CN 109120974A CN 201810828374 A CN201810828374 A CN 201810828374A CN 109120974 A CN109120974 A CN 109120974A
- Authority
- CN
- China
- Prior art keywords
- video data
- packet
- audio
- packets
- audio data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000004891 communication Methods 0.000 claims abstract description 28
- 230000005540 biological transmission Effects 0.000 claims abstract description 16
- 238000004590 computer program Methods 0.000 claims description 19
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明适用于信息传输技术领域，提供了一种音视频同步播放的方法及装置，包括：获取音频数据和视频数据；将获取到的音频数据和视频数据进行编码得到音频数据包和视频数据包，并分别给音频数据包和视频数据包打上时间戳；将所述音频数据包和视频数据包通过不同的通讯方式发送给播放装置。本发明实施例将音视频数据包打上同一参考时钟的时间戳后通过不同的通讯方式发生给播放装置，既保证了音频质量又保证了视频的时效性，为播放装置播放音视频时达到唇音同步奠定了基础。
Description
技术领域
本发明属于信息传输技术领域，尤其涉及一种音视频同步播放方法及装置。
背景技术
随着网络技术的发展，视频通话和网络直播越来越流行，视频通话和网络直播进一步拉近了网络上人与人之间的距离。然而，我们在进行视频通话或观看网络直播时，由于网络以及软件处理的延迟，我们经常会遇到视频或声音出现卡顿的现象，比如，视频画面中的人物已经做完了说话的动作，而音频中该人物对应说的语音还未及时播放，这显然影响了人们进行视频通话的体验感。
发明内容
有鉴于此，本发明实施例提供了一种音视频同步播放方法及装置，以解决现有技术中在进行视频通话或观看网络直播时，由于网络以及软件处理的延迟，经常会遇到视频或声音出现卡顿的现象的问题。
本发明实施例的第一方面提供了一种音视频同步播放的方法，应用于发送终端，包括：
获取音频数据和视频数据；
将获取到的音频数据和视频数据进行编码得到音频数据包和视频数据包，并分别给音频数据包和视频数据包打上时间戳；
将所述音频数据包和视频数据包通过不同的通讯方式发送给播放装置。
进一步的，所述将所述音频数据包和视频数据包通过不同的通讯方式发送给播放装置，包括：
通过TCP协议将音频数据包传输给播放装置；
通过UDP协议将视频数据包传输给播放装置。
本发明实施例的第二方面提供了一种音视频同步播放的方法，应用于播放装置，包括：
接收发送终端通过不同的通讯方式发送的音频数据包和视频数据包并记录每一个音频数据包和视频数据包的接收时间；
根据音频数据包和视频数据包的时间戳和所述接收时间确定其中的超时数据包并丢弃所述超时数据包；
根据所述超时数据包的数量调整发送端的数据发送量。
进一步的，所述根据音频数据包和视频数据包的时间戳和所述接收时间确定其中的超时数据包并丢弃所述超时数据包，包括：
将每个数据包的接收时间减去其时间戳得到时间差值；
判断所述时间差值是否大于时间差阈值，若所述时间差值大于时间差阈值，则确定该数据包为超时数据包；
丢弃所述超时数据包。
进一步的，所述根据所述超时数据包的数量调整发送端的数据发送量，包括：
计算接收到的音频数据包和视频数据包中超时数据包所占的比例；
当所述比例大于比例阈值时，通知所述发送端减小所述数据发送量。
进一步的，所述减小所述数据发送量，包括：
降低所述视频数据的帧率和所述音频数据的码流。
本发明实施例的第三方面提供了一种音视频同步播放的装置，包括：
获取模块，用于采集音频数据和视频数据；
编码模块，用于将获取到的音频数据和视频数据进行编码得到音频数据包和视频数据包，并分别给音频数据包和视频数据包打上时间戳；
发送模块，用于将所述音频数据包和视频数据包通过不同的通讯方式发送给播放装置。
本发明实施例的第四方面提供了一种音视频同步播放的装置，包括：
接收模块，用于接收发送终端通过不同的通讯方式发送的音频数据包和视频数据包并记录每一个音频数据包和视频数据包的接收时间；
丢弃模块，用于根据音频数据包和视频数据包的时间戳和所述接收时间确定其中的超时数据包并丢弃所述超时数据包；
调整模块，用于根据所述超时数据包的数量调整发送端的数据发送量。
本发明实施例的第五方面提供了一种终端设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现如第一方面和第二方面所述方法的步骤。
本发明实施例的第六方面提供了一种计算机可读存储介质，包括：所述计算机可读存储介质存储有计算机程序。所述计算机程序被处理器执行时实现如第一方面和第二方面所述方法的步骤。
本发明实施例通过采集音频数据和视频数据；将采集到的音频数据和视频数据进行编码得到音频数据包和视频数据包，并分别给音频数据包和视频数据包打上时间戳；将所述音频数据包和视频数据包通过不同的通讯方式发送给播放装置。本发明实施例将音视频数据包打上同一参考时钟的时间戳后通过不同的通讯方式发生给播放装置，既保证了音频质量又保证了视频的时效性，为播放装置播放音视频时达到唇音同步奠定了基础。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种音视频同步播放的方法的实现流程示意图；
图2是本发明实施例提供的另一种音视频同步播放的方法的实现流程示意图；
图3是本发明实施例提供的另一种音视频同步播放的方法的实现流程示意图；
图4是本发明实施例提供的另一种音视频同步播放的方法的实现流程示意图；
图5是本发明实施例提供的一种音视频同步播放的装置的示意图；
图6是本发明实施例提供的另一种音视频同步播放的装置的示意图；
图7是本发明实施例提供的终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
参考图1，图1是本发明实施例提供的一种音视频同步播放的方法的示意流程图，该方法执行主体为发送终端，所述发送终端包括但不限于手机、平板电脑、笔记本电脑、台式计算机等，所述发送终端执行如步骤S101至S103所述的方法，该方法包括：步骤S101至步骤S103。
步骤S101，获取音频数据和视频数据。
实时获取音视频采集装置采集到的音视频数据，例如，在本发明的一个实施例中，当进行视频通话时，所述视频采集装置可以为摄像头，所述音频采集装置可以为麦克风，实时获取摄像头采集的视频数据和麦克风采集的音频数据。应理解，此处仅为示例性表述，并不能理解为对本发明的具体限制。
步骤S102，将获取到的音频数据和视频数据进行编码得到音频数据包和视频数据包，并分别给音频数据包和视频数据包打上时间戳。
将获取到的音频数据和视频数据分别通过音频编码器和视频编码器进行编码得到音频数据包和视频数据包，例如，在本发明的一种实施例中，使用H264视频编码器对视频数据进行编码，使用高级音频编码(Advanced Audio Coding，AAC)音频编码器对音频数据进行编码。音频数据和视频数据经过编码后就确定了视频的帧率和音频的码流，例如，音频数据编码后码流为1.5M，视频数据编码后帧率为30FPS。应理解，此处仅为示例性表述，并不能理解为对本发明的具体限制。将音频数据和视频数据编码并封装成音频数据包和视频数据包后，分别给每一个音频数据包和视频数据包打上当前时间信息的时间戳，应当注意的是，给音频数据包和视频数据包打上的时间戳应采用同一个参考时钟，不仅可以作为单路音视频唇音同步校准依据，还可以作为会议各路之间协调校正的延缓修正依据。将音频数据包和视频数据包打上时间戳为后面实施例的实行提供了基础。
步骤S103，将所述音频数据包和视频数据包通过不同的通讯方式发送给播放装置。
将打上时间戳的音频数据包和视频数据包通过不同的通讯方式实时发送给播放装置，在本发明实施例中，所述通过不同的通讯方式发送给播放装置，包括：
通过传输控制协议(Transmission Control Protocol，TCP)将音频数据包传输给播放装置；通过用户数据报协议(User Datagram Protocol，UDP)协议将视频数据包传输给播放装置。
TCP是一种面向连接的、可靠的、基于字节流的传输层通信协议，TCP的可靠体现在TCP在传递数据之前，会有三次握手来建立连接，而且在数据传递时，有确认、窗口、重传、拥塞控制机制，在数据传完后，还会断开连接用来节约系统资源。UDP是一种面对非连接的的传输协议，所以它在传递数据时非常快。在本发明实施例中，音视频数据包通过不同的通讯方式发送的原因是因为音频数据编码后的数据量相对于视频数据编码后的数据量来说很小，音频数据通过TCP的方式传输可以保证音频质量，视频编码后数据量大通过UDP的方式传输可以保证时效性。
可选的，在进行数据传输时应尽量用最少的链路进行传输，这是因为链路不是越多越好，链路多了会增加数据处理复杂度，浪费带宽资源。
本发明实施例通过采集音频数据和视频数据；将采集到的音频数据和视频数据进行编码得到音频数据包和视频数据包，并分别给音频数据包和视频数据包打上时间戳；将所述音频数据包和视频数据包通过不同的通讯方式发送给播放装置。本发明实施例将音视频数据包打上同一参考时钟的时间戳后通过不同的通讯方式发生给播放装置，既保证了音频质量又保证了视频的时效性，为播放装置播放音视频时达到唇音同步奠定了基础。
参考图2，图2是本发明实施例提供的另一种音视频同步播放的方法的示意流程图，该方法执行主体为播放装置，所述播放装置包括但不限于手机、平板电脑、笔记本电脑、台式计算机等，所述播放装置执行如步骤S201至S203所述的方法，该方法包括：步骤S201至步骤S203。
步骤S201，接收发送终端通过不同的通讯方式发送的音频数据包和视频数据包并记录每一个音频数据包和视频数据包的接收时间。
接收发送终端通过不同的通讯方式发送的音频数据包和视频数据包，并分别使用2个缓存队列接收音频数据包和视频数据包。接收时分别记录每一个音频数据包和视频数据包的接收时间，所述接收时间也应参考同一参考时钟。因为在发送终端和播放装置进行数据交互的过程中，由于网络和软件处理的延迟，发送终端和播放装置获取的时间可能是不一样的，因此不能用其中一端的时间作为数据传输的标准，否则无法保证实时性。
步骤S202，根据音频数据包和视频数据包的时间戳和所述接收时间确定其中的超时数据包并丢弃所述超时数据包。
根据时间戳和接收时间的差值可以确定数据是否超时，如果继续播放超时数据，可能导致音频和视频不同步的问题，因此在确认数据超时后，可以丢弃该数据，尽快达到视频和音频的同步。
参考图3，图3是本发明实施例提供的另一种音视频同步播放的方法的实现流程示意图，本实施例对上述实施例步骤S202：根据音频数据包和视频数据包的时间戳和所述接收时间确定其中的超时数据包并丢弃所述超时数据包，做了具体限定，如图3所示，步骤S202包括步骤S2021-S2023。
步骤S2021，将每个数据包的接收时间减去其时间戳得到时间差值。
将每一个音频数据包和视频数据包的接收时间减去每一个音频数据包和视频数据包自身的时间戳时间，可以得到时间差值。
步骤S2022，判断所述时间差值是否大于时间差阈值，若所述时间差值大于时间差阈值，则确定该数据包为超时数据包。
时间差阈值由技术人员根据经验设置，用于确定数据超时程度，进而避免视频数据与音频数据的时间点明显不一致的情况。当时间差值超过时间差阈值时，可以确定数据包为超时数据包。
步骤S2023，丢弃所述超时数据包。
对每一个音频数据包和视频数据包逐个进行超时数据包判断，当时间差值大于时间差阈值时，则丢弃对应的数据包，然后继续对下一个数据包进行判断，如果下一个数据包的时间差值小于或等于时间差阈值，则播放该数据包。
步骤S203，根据所述超时数据包的数量调整发送端的数据发送量。
若超时数据包的数量过多，则说明当前网络延迟较大，通过调整发送终端的数据发送量，能够保持影音数据的流畅度。
参考图4，图4是本发明实施例提供的另一种音视频同步播放的方法的实现流程示意图，本实施例对上述实施例步骤S203：根据所述超时数据包的数量调整发送端的数据发送量，做了具体限定，如图4所示，步骤S203包括步骤S2031-S2032。
步骤S2031，计算接收到的音频数据包和视频数据包中超时数据包所占的比例。
计算一定数量的音频数据包和视频数据包中超时数据包所占的比例，例如，分别接收到50个音频数据包和视频数据包，其中50个音频数据包中，超时数据包有10个；另外50个视频数据包中，超时数据包有5个。应理解，此处仅为示例性表述，并不能理解为对本发明的具体限制。
步骤S2032，当所述比例大于比例阈值时，通知所述发送端减小所述数据发送量。
在本发明实施例中，所述减小所述数据发送量，包括：降低所述视频数据的帧率和所述音频数据的码流。视频数据的帧率和音频数据的码流可通过修改编码器的参数进行调整。
比例阈值是由技术人员根据经验进行设置的，一定程度上反映了网络延时情况，例如，音频数据包的比例阈值可以为4％，视频数据包的比例阈值可以为3％。应理解，此处仅为示例性表述，并不能理解为对本发明的具体限制。当计算得到的超时数据包所占的比例大于比例阈值时，说明网络延时比较明显。网络延时比较明显说明发送的数据量较大而网络带宽不够，此时可以通过降低清晰度的方式减小数据发送量。清晰度包括音频数据的清晰度和视频数据的清晰度。在本发明实施例中，通过降低视频数据的帧率、码流和音频数据的码流来减小数据发送量。例如，当视频数据包中超时数据包的比例大于比例阈值时，可以调整发送终端编码器的参数，将发送终端的视频帧率减少3帧/秒，从而明显减少视频卡顿；当音频数据包中超时数据包的比例大于比例阈值时，可以调整发送终端编码器的参数，将音频数据的码流进行降低，从而明显提高声音流畅度。在网络恢复正常时，可以将视频帧率、音频码流恢复到原视频帧率、音频码流。本实施例通过超时数据包所占比例来判断网络延时情况，当网络延时较大时，将网络情况反馈给发送终端，发送终端根据网络情况调节音视频清晰度，以保证数据及时发送到播放装置，从而减少了音视频播放时的卡顿，保证了音视频播放的流畅性。
本发明实施例通过接收发送终端通过不同的通讯方式发送的音频数据包和视频数据包并记录每一个音频数据包和视频数据包的接收时间；根据音频数据包和视频数据包的时间戳和所述接收时间确定其中的超时数据包并丢弃所述超时数据包；根据所述超时数据包的数量调整发送端的数据发送量。本发明实施例通过将超时数据包丢弃使得视频和音频能保持同步播放，并通过通知发送终端调整音视频的清晰度，从而使得播放装置能快速接收到音视频数据进行播放，减少了音视频播放时的卡顿，保证了音视频播放的流畅性，达到唇音同步的效果。
参考图5，图5是本发明实施例提供的一种音视频同步播放的装置50的示意图，如图5所示，该装置包括：采集模块51，编码模块52，发送模块53。
获取模块51，用于采集音频数据和视频数据.
编码模块52，用于将获取到的音频数据和视频数据进行编码得到音频数据包和视频数据包，并分别给音频数据包和视频数据包打上时间戳。
发送模块53，用于将所述音频数据包和视频数据包通过不同的通讯方式发送给播放装置。
参考图6，图6是本发明实施例提供的另一种音视频同步播放的装置60的示意图，如图6所示，该装置包括接收模块61，丢弃模块62，调整模块63。
接收模块61，用于接收发送终端通过不同的通讯方式发送的音频数据包和视频数据包并记录每一个音频数据包和视频数据包的接收时间。
丢弃模块62，用于根据音频数据包和视频数据包的时间戳和所述接收时间确定其中的超时数据包并丢弃所述超时数据包。
调整模块63，用于根据所述超时数据包的数量调整发送端的数据发送量。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
图7是本发明一实施例提供的终端设备的示意图。如图7所示，该实施例的终端设备7包括：处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机程序72。所述处理器70执行所述计算机程序72时实现上述各方法实施例中的步骤，例如图1所示的步骤101至103。或者，所述处理器70执行所述计算机程序72时实现上述各装置实施例中各模块的功能，例如图5所示模块51至53的功能。
所述计算机程序72可以被分割成一个或多个模块/单元，所述一个或者多个模块被存储在所述存储器71中，并由所述处理器70执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序72在所述终端设备7中的执行过程。
所述终端设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是终端设备7的示例，并不构成对终端设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71可以是所述终端设备7的内部存储单元，例如终端设备7的硬盘或内存。所述存储器71也可以是所述终端设备7的外部存储设备，例如所述终端设备7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括所述终端设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种音视频同步播放的方法，其特征在于，应用于发送终端，包括：
获取音频数据和视频数据；
将获取到的音频数据和视频数据进行编码得到音频数据包和视频数据包，并分别给音频数据包和视频数据包打上时间戳；
将所述音频数据包和视频数据包通过不同的通讯方式发送给播放装置。
2.如权利要求1所述的方法，其特征在于，所述将所述音频数据包和视频数据包通过不同的通讯方式发送给播放装置，包括：
通过TCP协议将音频数据包传输给播放装置；
通过UDP协议将视频数据包传输给播放装置。
3.一种音视频同步播放的方法，其特征在于，应用于播放装置，包括：
接收发送终端通过不同的通讯方式发送的音频数据包和视频数据包，并记录每一个音频数据包和视频数据包的接收时间；
根据音频数据包和视频数据包的时间戳和所述接收时间确定其中的超时数据包，并丢弃所述超时数据包；
根据所述超时数据包的数量调整发送端的数据发送量。
4.如权利要求3所述的方法，其特征在于，所述根据音频数据包和视频数据包的时间戳和所述接收时间确定其中的超时数据包，并丢弃所述超时数据包，包括：
将每个音频数据包和视频数据包的接收时间减去其时间戳得到时间差值；
判断所述时间差值是否大于时间差阈值，若音频数据包或视频数据包的所述时间差值大于时间差阈值，则确定该音频数据包或视频数据包为超时数据包；
丢弃所述超时数据包。
5.如权利要求3所述的方法，其特征在于，所述根据所述超时数据包的数量调整发送端的数据发送量，包括：
分别计算接收到的音频数据包和视频数据包中超时数据包所占的比例；
当所述比例大于比例阈值时，通知所述发送端减小所述数据发送量。
6.如权利要求5所述的方法，其特征在于，所述减小所述数据发送量，包括：
降低所述视频数据的帧率和所述音频数据的码流。
7.一种音视频同步播放的装置，其特征在于，包括：
获取模块，用于采集音频数据和视频数据；
编码模块，用于将获取到的音频数据和视频数据进行编码得到音频数据包和视频数据包，并分别给音频数据包和视频数据包打上时间戳；
发送模块，用于将所述音频数据包和视频数据包通过不同的通讯方式发送给播放装置。
8.一种音视频同步播放的装置，其特征在于，包括：
接收模块，用于接收发送终端通过不同的通讯方式发送的音频数据包和视频数据包并记录每一个音频数据包和视频数据包的接收时间；
丢弃模块，用于根据音频数据包和视频数据包的时间戳和所述接收时间确定其中的超时数据包并丢弃所述超时数据包；
调整模块，用于根据所述超时数据包的数量调整发送端的数据发送量。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810828374.0A CN109120974A (zh) | 2018-07-25 | 2018-07-25 | 一种音视频同步播放的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810828374.0A CN109120974A (zh) | 2018-07-25 | 2018-07-25 | 一种音视频同步播放的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109120974A true CN109120974A (zh) | 2019-01-01 |
Family
ID=64863423
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810828374.0A Pending CN109120974A (zh) | 2018-07-25 | 2018-07-25 | 一种音视频同步播放的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109120974A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110944225A (zh) * | 2019-11-20 | 2020-03-31 | 武汉长江通信产业集团股份有限公司 | 一种基于html5的不同帧率音视频的同步方法及装置 |
| CN111083424A (zh) * | 2019-11-25 | 2020-04-28 | 视联动力信息技术股份有限公司 | 音视频加密传输方法、装置、电子设备及存储介质 |
| CN112187705A (zh) * | 2019-07-04 | 2021-01-05 | 成都鼎桥通信技术有限公司 | 音频播放方法及设备 |
| CN112272315A (zh) * | 2020-10-21 | 2021-01-26 | 深圳创维汽车智能有限公司 | 视频播放方法、装置、设备及计算机可读存储介质 |
| CN112423028A (zh) * | 2020-10-26 | 2021-02-26 | 深圳Tcl新技术有限公司 | 多媒体文件传输方法、装置、多媒体终端以及存储介质 |
| CN114095771A (zh) * | 2021-09-06 | 2022-02-25 | 贵阳语玩科技有限公司 | 一种音视频同步方法、存储介质及电子设备 |
| CN114339353A (zh) * | 2021-12-31 | 2022-04-12 | 晶晨半导体科技(北京)有限公司 | 音视频同步方法和装置及电子设备和计算机可读存储介质 |
| CN114866827A (zh) * | 2022-01-07 | 2022-08-05 | 广州繁星互娱信息科技有限公司 | 音视频同步的检测方法和装置、存储介质及电子设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102364952A (zh) * | 2011-10-25 | 2012-02-29 | 浙江万朋网络技术有限公司 | 一种多路音视频同时播放时处理音视频同步的方法 |
| WO2013112637A1 (en) * | 2012-01-24 | 2013-08-01 | Tooyah, Inc. | System and method for maintaining integrity of audio data in a multiplexed audio/video stream over a low-latency network connection |
| CN103414956A (zh) * | 2013-08-13 | 2013-11-27 | 中安消技术有限公司 | 基于传输控制协议的实时数据传输方法及其系统 |
| EP2816811A1 (en) * | 2013-06-17 | 2014-12-24 | Samsung Electronics Co., Ltd | Content receiving apparatus, display device and content receiving method thereof |
| CN104378675A (zh) * | 2014-12-08 | 2015-02-25 | 厦门雅迅网络股份有限公司 | 一种多通道音视频同步播放处理方法 |
| CN104683823A (zh) * | 2013-11-29 | 2015-06-03 | 红板凳科技股份有限公司 | 一种多屏联动音视频同步系统 |
| US20170085844A1 (en) * | 2015-09-22 | 2017-03-23 | SkyBell Technologies, Inc. | Doorbell communication systems and methods |
| CN106789886A (zh) * | 2016-11-16 | 2017-05-31 | 深圳市异度信息产业有限公司 | 数据的传输方法及装置 |
| KR20180000320A (ko) * | 2016-06-22 | 2018-01-02 | 한국전자통신연구원 | 하이브리드 방송 서비스를 위한 타임드 메타데이터 송신 방법 및 장치 |
-
2018
- 2018-07-25 CN CN201810828374.0A patent/CN109120974A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102364952A (zh) * | 2011-10-25 | 2012-02-29 | 浙江万朋网络技术有限公司 | 一种多路音视频同时播放时处理音视频同步的方法 |
| WO2013112637A1 (en) * | 2012-01-24 | 2013-08-01 | Tooyah, Inc. | System and method for maintaining integrity of audio data in a multiplexed audio/video stream over a low-latency network connection |
| EP2816811A1 (en) * | 2013-06-17 | 2014-12-24 | Samsung Electronics Co., Ltd | Content receiving apparatus, display device and content receiving method thereof |
| CN103414956A (zh) * | 2013-08-13 | 2013-11-27 | 中安消技术有限公司 | 基于传输控制协议的实时数据传输方法及其系统 |
| CN104683823A (zh) * | 2013-11-29 | 2015-06-03 | 红板凳科技股份有限公司 | 一种多屏联动音视频同步系统 |
| CN104378675A (zh) * | 2014-12-08 | 2015-02-25 | 厦门雅迅网络股份有限公司 | 一种多通道音视频同步播放处理方法 |
| US20170085844A1 (en) * | 2015-09-22 | 2017-03-23 | SkyBell Technologies, Inc. | Doorbell communication systems and methods |
| KR20180000320A (ko) * | 2016-06-22 | 2018-01-02 | 한국전자통신연구원 | 하이브리드 방송 서비스를 위한 타임드 메타데이터 송신 방법 및 장치 |
| CN106789886A (zh) * | 2016-11-16 | 2017-05-31 | 深圳市异度信息产业有限公司 | 数据的传输方法及装置 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112187705B (zh) * | 2019-07-04 | 2022-04-15 | 成都鼎桥通信技术有限公司 | 音频播放方法及设备 |
| CN112187705A (zh) * | 2019-07-04 | 2021-01-05 | 成都鼎桥通信技术有限公司 | 音频播放方法及设备 |
| CN110944225A (zh) * | 2019-11-20 | 2020-03-31 | 武汉长江通信产业集团股份有限公司 | 一种基于html5的不同帧率音视频的同步方法及装置 |
| CN110944225B (zh) * | 2019-11-20 | 2022-10-04 | 武汉长江通信产业集团股份有限公司 | 一种基于html5的不同帧率音视频的同步方法及装置 |
| CN111083424A (zh) * | 2019-11-25 | 2020-04-28 | 视联动力信息技术股份有限公司 | 音视频加密传输方法、装置、电子设备及存储介质 |
| CN111083424B (zh) * | 2019-11-25 | 2023-04-07 | 视联动力信息技术股份有限公司 | 音视频加密传输方法、装置、电子设备及存储介质 |
| CN112272315A (zh) * | 2020-10-21 | 2021-01-26 | 深圳创维汽车智能有限公司 | 视频播放方法、装置、设备及计算机可读存储介质 |
| CN112423028A (zh) * | 2020-10-26 | 2021-02-26 | 深圳Tcl新技术有限公司 | 多媒体文件传输方法、装置、多媒体终端以及存储介质 |
| CN114095771A (zh) * | 2021-09-06 | 2022-02-25 | 贵阳语玩科技有限公司 | 一种音视频同步方法、存储介质及电子设备 |
| CN114095771B (zh) * | 2021-09-06 | 2024-04-02 | 贵阳语玩科技有限公司 | 一种音视频同步方法、存储介质及电子设备 |
| CN114339353A (zh) * | 2021-12-31 | 2022-04-12 | 晶晨半导体科技(北京)有限公司 | 音视频同步方法和装置及电子设备和计算机可读存储介质 |
| CN114339353B (zh) * | 2021-12-31 | 2023-09-29 | 晶晨半导体科技(北京)有限公司 | 音视频同步方法和装置及电子设备和计算机可读存储介质 |
| CN114866827A (zh) * | 2022-01-07 | 2022-08-05 | 广州繁星互娱信息科技有限公司 | 音视频同步的检测方法和装置、存储介质及电子设备 |
| CN114866827B (zh) * | 2022-01-07 | 2024-04-16 | 广州繁星互娱信息科技有限公司 | 音视频同步的检测方法和装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109120974A (zh) | 一种音视频同步播放的方法及装置 | |
| CN113271316B (zh) | 多媒体数据的传输控制方法和装置、存储介质及电子设备 | |
| CN107846633A (zh) | 一种直播方法及系统 | |
| CN104735470B (zh) | 一种流媒体数据传输方法及装置 | |
| RU2634908C2 (ru) | Способ и устройство для управления доставкой медиаданных | |
| CN100568828C (zh) | 一种在rtp中实时检测网络传输时延的方法 | |
| CN104125429B (zh) | 视频数据传输的调节方法及装置 | |
| CN103929681B (zh) | 一种提升低速网络中rtp视频流处理效率的方法 | |
| CN105610635A (zh) | 语音编码发送方法和装置 | |
| CN109327493A (zh) | 一种基于云的远程医疗监控系统及监控方法 | |
| WO2023071605A1 (zh) | 投屏数据传输方法、装置、电子设备及存储介质 | |
| CN107342848A (zh) | 一种自适应码流传输方法、装置及设备 | |
| CN109068147A (zh) | 一种多媒体数据传输方法、装置以及相关设备 | |
| KR20140009315A (ko) | 방송 시스템에서의 멀티미디어 프레임 전송장치 및 방법 | |
| TW200400738A (en) | Dynamically adjusting data rate of wireless communications | |
| CN108174234A (zh) | 一种流媒体传输方法及系统 | |
| CN104935958A (zh) | 一种实时视频传输装置及方法 | |
| CN108809859A (zh) | 一种面向数据包截止时间的传输层控制方法 | |
| CN104168218B (zh) | 抖动缓冲方法及装置 | |
| CN105142002A (zh) | 音/视频直播方法、装置及控制方法、装置 | |
| CN102905128A (zh) | 编解码处理器在无线视频传输过程中码率控制的方法 | |
| CN103023934B (zh) | 虚拟终端系统和虚拟终端系统中的多流业务同步方法 | |
| CN106454553A (zh) | 精准时延直播视频网络传输控制方法 | |
| Sevetto et al. | Broadcast quality video over IP | |
| CN114640886A (zh) | 自适应带宽的音视频传输方法、装置、计算机设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190101 |