CN111757158A - 音视频同步播放方法、装置、设备和存储介质 - Google Patents
音视频同步播放方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN111757158A CN111757158A CN202010609655.4A CN202010609655A CN111757158A CN 111757158 A CN111757158 A CN 111757158A CN 202010609655 A CN202010609655 A CN 202010609655A CN 111757158 A CN111757158 A CN 111757158A
- Authority
- CN
- China
- Prior art keywords
- audio
- frame
- video
- current
- time stamp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 42
- 238000000605 extraction Methods 0.000 claims description 25
- 230000015654 memory Effects 0.000 claims description 20
- 238000009877 rendering Methods 0.000 claims description 11
- 239000000126 substance Substances 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 11
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
Abstract
本申请实施例公开了一种音视频同步播放方法、装置、设备和存储介质，涉及云计算及音视频技术领域。具体实现方案为：提取视频序列中当前视频帧的视频显示时间戳，且播放当前视频帧；提取音频序列中当前音频帧的音频显示时间戳；以及，若根据音频显示时间戳和视频显示时间戳确定当前视频帧与当前音频帧不同步，则对当前音频帧进行处理，使当前视频帧与处理后的当前音频帧同步。本申请实施例能够提高视觉信息的完整性。
Description
技术领域
本申请涉及互联网技术领域，尤其涉及云计算及音视频技术领域，具体涉及一种音视频同步播放方法、装置、设备和存储介质。
背景技术
网页音视频播放过程中会有音视频分离情况下播放方式，这个时候就需要音视频同步。
现阶段的音视频方式以音轨的时域为基准，视频帧去匹配音轨的显示时间戳(Presentation Time Stamp，简称：PTS)，如果视频帧的PTS小于音频PTS，则丢帧赶超音频PTS；否则等待音频PTS，最终目的是匹配PTS实现音视频同步。
发明内容
本申请提供了一种音视频同步播放方法、装置、设备和存储介质，实现在音视频播放不同步过程中，通过对音频进行处理，保留视频信息，提高视觉信息的完整性。
第一方面，本申请实施例提供了一种音视频同步播放方法，包括：
提取视频序列中当前视频帧的视频显示时间戳，且播放所述当前视频帧；
提取音频序列中当前音频帧的音频显示时间戳；以及，
若根据所述音频显示时间戳和所述视频显示时间戳确定所述当前视频帧与所述当前音频帧不同步，则对所述当前音频帧进行处理，使所述当前视频帧与处理后的当前音频帧同步。
第二方面，本申请实施例提供了一种音视频同步播放装置，包括：
第一提取模块，用于提取视频序列中当前视频帧的视频显示时间戳，且播放所述当前视频帧；
第二提取模块，用于提取音频序列中当前音频帧的音频显示时间戳；以及，
处理模块，用于若根据所述音频显示时间戳和所述视频显示时间戳确定所述当前视频帧与所述当前音频帧不同步，则对所述当前音频帧进行处理，使所述当前视频帧与处理后的当前音频帧同步。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本申请实施例中任一项所述的音视频同步播放方法。
第四方面，本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如本申请实施例中任一项所述的音视频同步播放方法。
本申请实施例能够提高视觉信息的完整性。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请实施例提供的一种音视频同步播放方法的流程示意图；
图1a为相关技术中一种当前视频帧的视频PTS与当前音频帧的音频PTS不同步的示意图；
图1b为相关技术中对当前视频帧进行丢帧处理后的示意图；
图2是根据本申请实施例提供的一种音视频同步播放方法的流程示意图；
图3是根据本申请实施例提供的一种音视频同步播放方法的流程示意图；
图4是根据本申请实施例提供的一种音视频同步播放方法的流程示意图；
图5是根据本申请实施例提供的一种音视频同步播放装置的结构示意图；
图6是用来实现本申请实施例的音视频同步播放方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本申请实施例提供的一种音视频同步播放方法的流程示意图。本实施例可适用于云计算及音视频技术领域中的音视频同步播放的情况。本实施例公开的音视频同步播放方法可以由电子设备执行，具体可以由音视频同步播放装置来执行，该装置可以由软件和/或硬件的方式实现，配置于电子设备中。参见图1，本实施例提供的音视频同步播放方法包括：
S101，提取视频序列中当前视频帧的视频显示时间戳，且播放所述当前视频帧。
S102，提取音频序列中当前音频帧的音频显示时间戳。
本实施例中视频序列和音频序列可分别位于两个队列中，当执行音视频播放操作时，可通过从视频序列所在队列和音频序列所在队列中轮询提取当前视频帧和当前音频帧。
作为一种可选的实现方案，本实施例可通过浏览器主线程，交替执行视频帧提取操作和音频帧提取操作，以从视频序列所在队列中提取出当前视频帧，以及从音频序列所在队列中提取出当前音频帧。其中，浏览器主线程可为JavaScript线程。本申请实施例中音视频同步播放方法由浏览器执行，浏览器主线程通过在音频播放过程中执行视频帧提取操作，在视频帧播放过程中执行音频帧提取操作，实现了网页音轨时域丢帧的音视频同步。
进而，通过对当前视频帧和当前音频帧进行解码时，可直接提取出当前视频帧的视频显示时间戳(Presentation Time Stamp，简称：PTS)和当前音频帧的音频PTS。
当从视频序列中提取出当前视频帧之后，本实施例还可对当前视频帧进行渲染，并播放渲染后的当前视频帧。可选的，本实施例对当前视频帧进行渲染时，可通过图像渲染工具，对当前视频帧进行渲染。其中，图像渲染工具可以是web图形库(Web GraphicsLibrary，简称：webGL)或者开放图形库(Open Graphics Library，简称：OpenGL)等，此处对其不做具体限定。通过渲染工具对视频帧进行渲染，使得渲染过程中浏览器主线程能够执行音频帧处理。
需要说明的是，本发明实施例中S101和S102的执行顺序，可以是先执行S101，再执行S102；或者，先执行S102，再执行S101；或者，同时执行S101和S102。本发明实施例对此不做具体限定。
S103，若根据所述音频显示时间戳和所述视频显示时间戳确定所述当前视频帧与所述当前音频帧不同步，则对所述当前音频帧进行处理，使所述当前视频帧与处理后的当前音频帧同步。
可选的，提取到当前视频帧的视频PTS和当前音频帧的音频PTS之后，本实施例可对当前视频帧的视频PTS和当前音频帧的音频PTS进行对齐比较，以确定当前视频帧的视频PTS和当前音频帧的音频PTS是否对齐。如果上述两者的PTS未对齐，则说明当前视频帧与当前音频帧不同步；如果上述两者的PTS对齐，则说明当前视频帧与当前音频帧同步。
当确定当前视频帧与当前音频帧不同步时，相关技术中通过对视频帧进行处理，以使处理后的当前视频帧与当前音频帧同步，具体如图1a所示。图1a为相关技术中一种当前视频帧的视频PTS与当前音频帧的音频PTS不同步的示意图。其中，当前视频帧的视频PTS小于当前音频帧的音频PTS。为了使得当前视频帧的视频PTS和当前音频帧的音频PTS同步，相关技术中通过丢弃当前视频帧，以实现赶超当前音频帧的音频PTS，参见图1b。由于视频信息具有直观性特点，相较于音频信息，视频信息给人的印象更生动、更深刻、更具体及更具体，且人所能接收的信息，约80％来自视觉，因此通过视频交流的效果也就更好，所以相关技术中通过丢失视频帧达到与音频帧的同步，可能会导致音视频播放过程中丢失视频信息，无法完全复现视频流全部内容，导致用户体验降低。此外，在直播或者点播场景下，音视频中视频帧所占的传输成本更高，如果通过丢弃视频帧进行音视频同步，往往会导致资源的浪费。
为了解决相关技术中通过丢弃视频帧，以达到与音频帧的同步导致视频信息丢失，无法完全复现视频流全部内容，以及造成资源浪费的问题。本申请实施例创造性的当确定当前视频帧与当前音频帧不同步时，通过对当前音频帧进行处理，以保留视频信息，从而提高视觉信息的完整性，避免造成资源浪费。
本申请实施例的技术方案，根据提取的当前视频帧的视频显示时间戳和当前音频帧的音频显示时间戳，确定当前视频帧和当前音频帧不同步时，对当前音频帧进行处理，以使当前视频帧与处理后的当前音频帧同步。由此，实现在音视频播放不同步过程中，通过对音频进行处理，保留视频信息，提高视觉信息的完整性。
图2是根据本申请实施例提供的一种音视频同步播放方法的流程示意图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图2，本实施例提供的音视频同步播放方法包括：
S201，提取视频序列中当前视频帧的视频显示时间戳，且播放所述当前视频帧。
S202，提取音频序列中当前音频帧的音频显示时间戳。
S203，若所述音频显示时间戳大于所述视频显示时间戳，则控制网页音频播放器播放静音帧，以释放资源占用。
可选的，由于浏览器主线程具有单线程特点，因此确定出当前视频帧的视频PTS和当前音频帧的音频PTS未对齐，且音频PTS大于视频PTS时，会存在当前音频帧快于很多帧视频帧，此时若通过延迟播放当前音频帧，会导致浏览器主线程返回音频帧提取步骤，以进行音频帧提取操作，造成音频帧处理长时间占用浏览器主线程，使得视频帧无法处理，导致视频帧图像无法更新，音视频播放出现异常。为此，本申请实施例通过控制网页音频播放器播放静音帧，以释放资源占用，实现等待当前视频帧的目的，从而避免了在当前音频帧的音频PTS大于当前视频帧的视频PTS，浏览器主线程一直用于处理音频帧，导致资源被占用，视频帧无法处理，进而导致音视频播放出现异常。
在本发明实施例中，网页音频播放器可为Web Audio。
本申请实施例的技术方案，在确定当前音频帧的音频显示时间戳大于当前视频帧的视频显示时间戳，通过控制网络音频播放器播放静音帧，以释放资源占用，从而有效避免因音频帧处理长时间占用资源，使得视频帧无法处理，导致音视频播放出现异常的问题，实现在保证音视频同步的基础上，保留视频信息，提高视觉信息的完整性。
图3是根据本申请实施例提供的一种音视频同步播放方法的流程示意图。本实施例是在上述实施例的基础上提出的另一种可选方案。参见图3，本实施例提供的音视频同步播放方法包括：
S301，提取视频序列中当前视频帧的视频显示时间戳，且播放所述当前视频帧。
S302，提取音频序列中当前音频帧的音频显示时间戳。
S303，若所述音频显示时间戳小于所述视频显示时间戳，则对所述当前音频帧进行丢帧处理。
可选的，确定当前视频帧的视频PTS和当前音频帧的音频PTS未对齐，且音频PTS小于视频PTS时，说明当前音频帧落后于当前视频帧，此时可通过对当前音频帧进行丢帧处理，以对齐视频帧的视频PTS和音频帧的音频PTS，使得处理的后当前音频帧与当前视频帧同步。其中，本实施例可基于浏览器主线程对当前音频帧进行丢帧处理。
本申请实施例的技术方案，在确定当前音频帧的音频显示时间戳小于当前视频帧的视频显示时间戳，通过对当前音频帧进行丢帧处理，以使处理后的当前音频帧与当前视频帧同步，从而实现在音视频播放不同步过程中，通过对音频进行处理，保留视频信息，提高视觉信息的完整性。此外，通过浏览器主线程对当前音频帧进行丢帧处理后，浏览器主线程会切换到视频帧提取操作，从而避免了出现占用资源的问题。
图4是根据本申请实施例提供的一种音视频同步播放方法的流程示意图。本实施例是在上述实施例的基础上提出的又一种可选方案。参见图4，本实施例提供的音视频同步播放方法包括：
S401，提取视频序列中当前视频帧的视频显示时间戳，且播放所述当前视频帧。
S402，提取音频序列中当前音频帧的音频显示时间戳。
S403，若所述音频显示时间戳与所述视频显示时间戳之间的差值小于单帧时长，则确定所述当前视频帧与所述当前音频帧同步；否则，确定所述当前视频帧与所述当前音频帧不同步。
其中，单帧时长是指显示一帧视频帧所花费的时间。其中，单帧时长可根据上一视频帧的视频PTS减去当前视频帧的视频PTS确定。例如，单帧时长可为20毫秒(ms)，此处对其不做具体限定。
由于音频帧和视频帧的同步实际上是一个动态的过程，同步是暂时的，不同步则是常态。为了使得当前视频帧与当前音频帧保持同步，可设置一同步阈值，以根据该同步阈值，确定当前视频帧与当前音频帧是否同步。其中，同步阈值可设置为显示一帧视频帧所花费的时间，例如同步阈值设置为20ms。也就是说，在提取到视频序列中当前视频帧的视频PTS和音频序列中当前音频帧的音频PTS之后，可将当前视频帧的视频PTS和当前音频帧的音频PTS进行比较，以得到当前视频帧的视频PTS和当前音频帧的音频PTS之间的差值。然后，将差值与同步阈值进行比较，如果差值小于同步阈值，则确定当前视频帧与当前音频帧同步，不需要进行同步处理；如果差值大于或者等于同步阈值，则确定当前视频帧与当前音频帧不同步，需要进行同步。
可选的，当确定当前视频帧与当前音频帧不同步时，可能存在当前视频帧落后于当前音频帧，那么本申请实施例可通过控制网页音频播放器播放静音帧，以释放资源占用，从而利于浏览器主线程资源对当前视频帧进行处理，实现等待当前视频帧的目的，使得当前视频帧与当前音频帧同步。
进一步的，当确定当前视频帧与当前音频帧不同步时，还可能存在当前视频帧快于当前音频帧，那么本申请实施例可对当前音频帧进行丢帧处理，以对齐视频帧的视频PTS和音频帧的音频PTS，使得处理的后当前音频帧与当前视频帧同步。
本申请实施例的技术方案，通过将音频显示时间戳与视频显示时间戳之间的差值与单帧时长进行比较，确定当前视频帧与当前音频帧是否同步，如果当前视频帧与当前音频帧不同步时，对当前音频帧进行处理，以使处理后的当前音频帧与当前视频帧同步，从而实现在音视频播放不同步过程中，通过对音频进行处理，保留视频信息，提高视觉信息的完整性。
图5是根据本申请实施例提供的一种音视频同步播放装置的结构示意图。参见图5，本申请实施例公开了音视频同步播放装置500，该装置500可以配置于电子设备中，该装置500包括：第一提取模块510、第二提取模块520和处理模块530；
其中，第一提取模块510，用于提取视频序列中当前视频帧的视频显示时间戳，且播放所述当前视频帧；
第二提取模块520，用于提取音频序列中当前音频帧的音频显示时间戳；以及，
处理模块530，用于若根据所述音频显示时间戳和所述视频显示时间戳确定所述当前视频帧与所述当前音频帧不同步，则对所述当前音频帧进行处理，使所述当前视频帧与处理后的当前音频帧同步。
可选的，所述处理模块530，具体用于：
若所述音频显示时间戳大于所述视频显示时间戳，则控制网页音频播放器播放静音帧，以释放资源占用。
可选的，所述处理模块530，具体用于：
若所述音频显示时间戳小于所述视频显示时间戳，则对所述当前音频帧进行丢帧处理。
可选的，所述处理模块530，具体用于：
若所述音频显示时间戳与所述视频显示时间戳之间的差值小于单帧时长，则确定所述当前视频帧与所述当前音频帧同步；否则，确定所述当前视频帧与所述当前音频帧不同步。
可选的，第一提取模块510，具体用于：
通过图像渲染工具，对所述当前视频帧进行渲染。
可选的，所述装置500，还包括：第三提取模块；
其中，第三提取模块，用于通过浏览器主线程，交替执行视频帧提取操作和音频帧提取操作。
需要说明的是，前述对音视频同步播放方法实施例的解释说明也适用于该实施例的音视频同步播放装置，其实现原理类似，此处不再赘述。
本申请实施例的技术方案，根据提取的当前视频帧的视频显示时间戳和当前音频帧的音频显示时间戳，确定当前视频帧和当前音频帧不同步时，对当前音频帧进行处理，以使当前视频帧与处理后的当前音频帧同步。由此，实现在音视频播放不同步过程中，通过对音频进行处理，保留视频信息，提高视觉信息的完整性。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图6所示，是根据本申请实施例的音视频同步播放方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的音视频同步播放方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的音视频同步播放方法。
存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的音视频同步播放方法对应的程序指令/模块(例如，第一提取模块510、第二提取模块520和处理模块530)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的音视频同步播放方法。
存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据音视频同步播放的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至音视频同步播放的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
音视频同步播放方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息，以及产生与网页音频直播的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
本申请实施例的技术方案，根据提取的当前视频帧的视频显示时间戳和当前音频帧的音频显示时间戳，确定当前视频帧和当前音频帧不同步时，对当前音频帧进行处理，以使当前视频帧与处理后的当前音频帧同步。由此，实现在音视频播放不同步过程中，通过对音频进行处理，保留视频信息，提高视觉信息的完整性。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (14)
1.一种音视频同步播放方法，包括：
提取视频序列中当前视频帧的视频显示时间戳，且播放所述当前视频帧；
提取音频序列中当前音频帧的音频显示时间戳；以及，
若根据所述音频显示时间戳和所述视频显示时间戳确定所述当前视频帧与所述当前音频帧不同步，则对所述当前音频帧进行处理，使所述当前视频帧与处理后的当前音频帧同步。
2.根据权利要求1所述的方法，其中，所述对所述当前音频帧进行处理，包括：
若所述音频显示时间戳大于所述视频显示时间戳，则控制网页音频播放器播放静音帧，以释放资源占用。
3.根据权利要求1所述的方法，其中，所述对所述当前音频帧进行处理，包括：
若所述音频显示时间戳小于所述视频显示时间戳，则对所述当前音频帧进行丢帧处理。
4.根据权利要求1所述的方法，还包括：
若所述音频显示时间戳与所述视频显示时间戳之间的差值小于单帧时长，则确定所述当前视频帧与所述当前音频帧同步；否则，确定所述当前视频帧与所述当前音频帧不同步。
5.根据权利要求1所述的方法，其中，所述播放所述当前视频帧，包括：
通过图像渲染工具，对所述当前视频帧进行渲染。
6.根据权利要求1所述的方法，还包括：
通过浏览器主线程，交替执行视频帧提取操作和音频帧提取操作。
7.一种音视频同步播放装置，包括：
第一提取模块，用于提取视频序列中当前视频帧的视频显示时间戳，且播放所述当前视频帧；
第二提取模块，用于提取音频序列中当前音频帧的音频显示时间戳；以及，
处理模块，用于若根据所述音频显示时间戳和所述视频显示时间戳确定所述当前视频帧与所述当前音频帧不同步，则对所述当前音频帧进行处理，使所述当前视频帧与处理后的当前音频帧同步。
8.根据权利要求7所述的装置，其中，所述处理模块，具体用于：
若所述音频显示时间戳大于所述视频显示时间戳，则控制网页音频播放器播放静音帧，以释放资源占用。
9.根据权利要求7所述的装置，其中，所述处理模块，具体用于：
若所述音频显示时间戳小于所述视频显示时间戳，则对所述当前音频帧进行丢帧处理。
10.根据权利要求7所述的装置，其中，所述处理模块，具体用于：
若所述音频显示时间戳与所述视频显示时间戳之间的差值小于单帧时长，则确定所述当前视频帧与所述当前音频帧同步；否则，确定所述当前视频帧与所述当前音频帧不同步。
11.根据权利要求7所述的装置，其中，第一提取模块，具体用于：
通过图像渲染工具，对所述当前视频帧进行渲染。
12.根据权利要求7所述的装置，还包括：
第三提取模块，用于通过浏览器主线程，交替执行视频帧提取操作和音频帧提取操作。
13.一种电子设备，其中，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010609655.4A CN111757158A (zh) | 2020-06-29 | 2020-06-29 | 音视频同步播放方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010609655.4A CN111757158A (zh) | 2020-06-29 | 2020-06-29 | 音视频同步播放方法、装置、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111757158A true CN111757158A (zh) | 2020-10-09 |
Family
ID=72678209
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010609655.4A Pending CN111757158A (zh) | 2020-06-29 | 2020-06-29 | 音视频同步播放方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111757158A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112272327A (zh) * | 2020-10-26 | 2021-01-26 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、存储介质及设备 |
| CN112423075A (zh) * | 2020-11-11 | 2021-02-26 | 广州华多网络科技有限公司 | 音视频时间戳的处理方法、装置、电子设备及存储介质 |
| CN112911387A (zh) * | 2021-01-29 | 2021-06-04 | 联想(北京)有限公司 | 处理方法及处理装置 |
| CN112911276A (zh) * | 2021-01-21 | 2021-06-04 | 广东九联科技股份有限公司 | 一种用于检测机顶盒音视频同步的方法 |
| CN113490029A (zh) * | 2021-06-21 | 2021-10-08 | 深圳Tcl新技术有限公司 | 视频播放方法、装置、设备及存储介质 |
| CN113825022A (zh) * | 2021-09-03 | 2021-12-21 | 成都欧珀通信科技有限公司 | 一种播放控制状态检测方法、装置、存储介质及电子设备 |
| CN114007064A (zh) * | 2021-11-01 | 2022-02-01 | 腾讯科技（深圳）有限公司 | 特效同步评估方法、装置、设备及存储介质、程序产品 |
| CN114339353A (zh) * | 2021-12-31 | 2022-04-12 | 晶晨半导体科技(北京)有限公司 | 音视频同步方法和装置及电子设备和计算机可读存储介质 |
| CN114866827A (zh) * | 2022-01-07 | 2022-08-05 | 广州繁星互娱信息科技有限公司 | 音视频同步的检测方法和装置、存储介质及电子设备 |
| CN115119029A (zh) * | 2021-03-19 | 2022-09-27 | 海信视像科技股份有限公司 | 一种显示设备及显示控制方法 |
| CN115474082A (zh) * | 2022-10-13 | 2022-12-13 | 闪耀现实(无锡)科技有限公司 | 播放媒体数据的方法和装置、系统、车辆、设备和介质 |
| CN115866317A (zh) * | 2022-11-29 | 2023-03-28 | 广州后为科技有限公司 | 一种适用于网络摄像机的音视频缓存方法和装置 |
| CN115942021A (zh) * | 2023-02-17 | 2023-04-07 | 央广新媒体文化传媒(北京)有限公司 | 音视频流同步播放方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1901656A (zh) * | 2005-07-19 | 2007-01-24 | 日本电气视象技术株式会社 | 视频和音频重放设备及方法、输出时刻改变设备及方法 |
| JP2010161748A (ja) * | 2009-01-09 | 2010-07-22 | Hitachi Kokusai Electric Inc | 移動受信端末および中継装置 |
| CN102421035A (zh) * | 2011-12-31 | 2012-04-18 | 青岛海信宽带多媒体技术有限公司 | 数字电视音视频同步的实现方法及装置 |
| CN102447949A (zh) * | 2011-08-24 | 2012-05-09 | 上海文广科技（集团）有限公司 | 一种高效的精确到帧的ts流拼接方法 |
| CN103167342A (zh) * | 2013-03-29 | 2013-06-19 | 天脉聚源(北京)传媒科技有限公司 | 一种音视频同步处理装置及方法 |
| CN107801080A (zh) * | 2017-11-10 | 2018-03-13 | 普联技术有限公司 | 一种音视频同步方法、装置及设备 |
-
2020
- 2020-06-29 CN CN202010609655.4A patent/CN111757158A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1901656A (zh) * | 2005-07-19 | 2007-01-24 | 日本电气视象技术株式会社 | 视频和音频重放设备及方法、输出时刻改变设备及方法 |
| JP2010161748A (ja) * | 2009-01-09 | 2010-07-22 | Hitachi Kokusai Electric Inc | 移動受信端末および中継装置 |
| CN102447949A (zh) * | 2011-08-24 | 2012-05-09 | 上海文广科技（集团）有限公司 | 一种高效的精确到帧的ts流拼接方法 |
| CN102421035A (zh) * | 2011-12-31 | 2012-04-18 | 青岛海信宽带多媒体技术有限公司 | 数字电视音视频同步的实现方法及装置 |
| CN103167342A (zh) * | 2013-03-29 | 2013-06-19 | 天脉聚源(北京)传媒科技有限公司 | 一种音视频同步处理装置及方法 |
| CN107801080A (zh) * | 2017-11-10 | 2018-03-13 | 普联技术有限公司 | 一种音视频同步方法、装置及设备 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112272327B (zh) * | 2020-10-26 | 2021-10-15 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、存储介质及设备 |
| CN112272327A (zh) * | 2020-10-26 | 2021-01-26 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、存储介质及设备 |
| CN112423075A (zh) * | 2020-11-11 | 2021-02-26 | 广州华多网络科技有限公司 | 音视频时间戳的处理方法、装置、电子设备及存储介质 |
| CN112911276A (zh) * | 2021-01-21 | 2021-06-04 | 广东九联科技股份有限公司 | 一种用于检测机顶盒音视频同步的方法 |
| CN112911387A (zh) * | 2021-01-29 | 2021-06-04 | 联想(北京)有限公司 | 处理方法及处理装置 |
| CN115119029A (zh) * | 2021-03-19 | 2022-09-27 | 海信视像科技股份有限公司 | 一种显示设备及显示控制方法 |
| CN115119029B (zh) * | 2021-03-19 | 2024-04-02 | 海信视像科技股份有限公司 | 一种显示设备及显示控制方法 |
| CN113490029A (zh) * | 2021-06-21 | 2021-10-08 | 深圳Tcl新技术有限公司 | 视频播放方法、装置、设备及存储介质 |
| CN113825022B (zh) * | 2021-09-03 | 2023-08-18 | 成都欧珀通信科技有限公司 | 一种播放控制状态检测方法、装置、存储介质及电子设备 |
| CN113825022A (zh) * | 2021-09-03 | 2021-12-21 | 成都欧珀通信科技有限公司 | 一种播放控制状态检测方法、装置、存储介质及电子设备 |
| CN114007064B (zh) * | 2021-11-01 | 2023-03-21 | 腾讯科技（深圳）有限公司 | 特效同步评估方法、装置、设备及存储介质 |
| CN114007064A (zh) * | 2021-11-01 | 2022-02-01 | 腾讯科技（深圳）有限公司 | 特效同步评估方法、装置、设备及存储介质、程序产品 |
| CN114339353A (zh) * | 2021-12-31 | 2022-04-12 | 晶晨半导体科技(北京)有限公司 | 音视频同步方法和装置及电子设备和计算机可读存储介质 |
| CN114339353B (zh) * | 2021-12-31 | 2023-09-29 | 晶晨半导体科技(北京)有限公司 | 音视频同步方法和装置及电子设备和计算机可读存储介质 |
| CN114866827A (zh) * | 2022-01-07 | 2022-08-05 | 广州繁星互娱信息科技有限公司 | 音视频同步的检测方法和装置、存储介质及电子设备 |
| CN114866827B (zh) * | 2022-01-07 | 2024-04-16 | 广州繁星互娱信息科技有限公司 | 音视频同步的检测方法和装置、存储介质及电子设备 |
| CN115474082A (zh) * | 2022-10-13 | 2022-12-13 | 闪耀现实(无锡)科技有限公司 | 播放媒体数据的方法和装置、系统、车辆、设备和介质 |
| CN115866317A (zh) * | 2022-11-29 | 2023-03-28 | 广州后为科技有限公司 | 一种适用于网络摄像机的音视频缓存方法和装置 |
| CN115866317B (zh) * | 2022-11-29 | 2023-09-05 | 广州后为科技有限公司 | 一种适用于网络摄像机的音视频缓存方法和装置 |
| CN115942021A (zh) * | 2023-02-17 | 2023-04-07 | 央广新媒体文化传媒(北京)有限公司 | 音视频流同步播放方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111757158A (zh) | 音视频同步播放方法、装置、设备和存储介质 | |
| CN111901615A (zh) | 直播视频的播放方法和装置 | |
| CN111277861B (zh) | 提取视频中热点片段的方法以及装置 | |
| CN111541913A (zh) | 一种拼接屏的视频播放方法、装置、计算机设备和介质 | |
| CN111669438B (zh) | 直播消息传输方法、装置、电子设备及介质 | |
| CN112148160B (zh) | 浮窗显示方法、装置、电子设备和计算机可读存储介质 | |
| WO2021103366A1 (zh) | 基于微信小程序的弹幕处理方法和系统 | |
| CN111831383A (zh) | 窗口拼接方法、装置、设备以及存储介质 | |
| CN111770384A (zh) | 视频切换方法、装置、电子设备和存储介质 | |
| KR102595664B1 (ko) | 이미지 처리 방법, 장치, 전자 기기 및 판독 가능한 기록매체 | |
| CN110636338A (zh) | 一种视频清晰度的切换方法、装置、电子设备及存储介质 | |
| CN114422799A (zh) | 视频文件的解码方法、装置、电子设备、程序产品 | |
| CN111654736B (zh) | 音视频同步误差的确定方法、装置、电子设备和存储介质 | |
| CN112435313A (zh) | 播放帧动画的方法、装置、电子设备及可读存储介质 | |
| CN111638787A (zh) | 用于展示信息的方法和装置 | |
| CN113542802B (zh) | 视频的转场方法和装置 | |
| CN110781824A (zh) | 目标检测及跟踪方法、装置、电子设备及存储介质 | |
| CN113873323B (zh) | 视频播放方法、装置、电子设备和介质 | |
| CN111610914A (zh) | 多媒体播放方法、装置、电子设备和存储介质 | |
| CN111935549B (zh) | 播放序列的更新方法、装置 | |
| CN113824985B (zh) | 直播拉流方法、装置、设备、存储介质及计算机程序产品 | |
| CN112507714B (zh) | 文本的分割方法和装置 | |
| CN113127512B (zh) | 多数据流的数据拼接触发方法、装置、电子设备和介质 | |
| US20240048727A1 (en) | Method and system of low latency video coding with interactive applications | |
| CN116634216A (zh) | 视频播放方法、装置、设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201009 |
|
| RJ01 | Rejection of invention patent application after publication |