CN113316012B - 基于墨水屏设备的音视频帧同步方法、装置和计算机设备 - Google Patents

基于墨水屏设备的音视频帧同步方法、装置和计算机设备 Download PDF

Info

Publication number
CN113316012B
CN113316012B CN202110578862.2A CN202110578862A CN113316012B CN 113316012 B CN113316012 B CN 113316012B CN 202110578862 A CN202110578862 A CN 202110578862A CN 113316012 B CN113316012 B CN 113316012B
Authority
CN
China
Prior art keywords
audio
frames
data
playing
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110578862.2A
Other languages
English (en)
Other versions
CN113316012A (zh
Inventor
邵清
郑勇
袁健
戴志涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Waterward Information Co Ltd
Original Assignee
Shenzhen Waterward Information Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Waterward Information Co Ltd filed Critical Shenzhen Waterward Information Co Ltd
Priority to CN202110578862.2A priority Critical patent/CN113316012B/zh
Priority to PCT/CN2021/111592 priority patent/WO2022247014A1/zh
Publication of CN113316012A publication Critical patent/CN113316012A/zh
Application granted granted Critical
Publication of CN113316012B publication Critical patent/CN113316012B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F27/00—Combined visual and audible advertising or displaying, e.g. for public address
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
    • G09F9/30—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements
    • G09F9/37—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements being movable elements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3433—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using light modulating elements actuated by an electric field and being other than liquid crystal devices and electrochromic devices
    • G09G3/344—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using light modulating elements actuated by an electric field and being other than liquid crystal devices and electrochromic devices based on particles moving in a fluid or in a gas, e.g. electrophoretic devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本申请提供了一种基于墨水屏设备的音视频帧同步方法、装置和计算机设备，系统首先进行缓存音频数据的音频帧和视频数据的视频帧，音频帧携带第一时间戳，视频帧携带第二时间戳。系统从各视频帧中筛选出若干个关键视频帧，并根据关键视频帧的数量及音频数据的播放总时长，设置各个关键视频帧的播放时长。系统将各个音频帧按照各自对应的第一时间戳进行顺序播放，同时控制各关键视频帧按照各自对应的第二时间戳以及播放时长进行顺序播放，实现音频帧和视频帧的同步播放。系统通过从视频数据的视频帧中筛选出关键视频帧，并根据播放总时长设置每个关键视频帧的播放时长，最后与音频帧进行同时播放，实现视频帧与音频帧的同步，提升用户使用体验。

Description

基于墨水屏设备的音视频帧同步方法、装置和计算机设备
技术领域
本申请涉及媒体播放技术领域，特别涉及一种基于墨水屏设备的音视频帧同步方法、装置和计算机设备。
背景技术
墨水屏又被称为电子纸显示屏，是一种革新的信息显示方法，与传统的显示屏相比的一大优势就是容易阅读，它的显示介质-电子墨水，看起来更像印刷的文字，因而使得用户的眼睛更为轻松。但是，由于墨水屏的显示刷新率低，因此用户在使用墨水屏设备观看视频或直播时，会出现音视频帧不同步的现象，影响用户的观看体验。
发明内容
本申请的主要目的为提供一种基于墨水屏设备的音视频帧同步方法、装置和计算机设备，旨在解决现有墨水屏设备观看视频或直播时音视频帧不同步的弊端。
为实现上述目的，本申请提供了一种基于墨水屏设备的音视频帧同步方法，包括：
缓存音频数据和视频数据，所述音频数据和所述视频数据源于同一媒体数据，所述音频数据包括多个带有第一时间戳的音频帧，所述视频数据包括多个带有第二时间戳的视频帧；
从各所述视频帧中筛选出若干个关键视频帧，所述关键视频帧表征具有预设特征的视频帧；
根据所述关键视频帧的数量及所述音频数据的播放总时长，设置各所述关键视频帧的播放时长；
将各所述音频帧按照各自对应的第一时间戳进行顺序播放，同时控制各所述关键视频帧按照各自对应的第二时间戳以及播放时长进行顺序播放，实现所述音频帧和所述视频帧的同步播放。
进一步的，所述根据所述关键视频帧的数量及所述音频数据的播放总时长，设置各所述关键视频帧的播放时长的步骤，包括：
将所述播放总时长除以所述关键视频帧的数量，得到各所述关键视频帧的播放时长。
进一步的，所述缓存音频数据和视频数据的步骤，包括：
通过无线网络接收所述媒体数据，并缓存至预设缓存区；
将所述媒体数据进行解复用处理，得到所述音频数据和所述视频数据；
分别将所述音频数据和所述视频数据进行解码处理，得到各所述音频帧和各自对应的第一时间戳，以及各所述视频帧和各自对应的第二时间戳。
进一步的，所述墨水屏设备包括墨水显示屏，所述将各所述音频帧按照各自对应的第一时间戳进行顺序播放，同时控制各所述关键视频帧按照各自对应的第二时间戳以及播放时长进行顺序播放，实现所述音频帧和所述视频帧的同步播放的步骤，包括：
以所述音频数据中排序首位的音频帧对应的第一时间戳为开始时间戳，将各所述音频帧按照各自对应的第一时间戳顺序进行播放，同时将各所述关键视频帧按照各自对应的第二时间戳和播放时长顺序输出到所述墨水显示屏进行显示。
进一步的，所述根据所述关键视频帧的数量及所述音频数据的播放总时长，设置各所述关键视频帧的播放时长的步骤之后，包括
将各所述关键视频帧按照各自对应的所述第二时间戳、所述播放时长以及所述播放总时长，重新设置各所述关键视频帧分别对应的第三时间戳，所述第三时间戳包括关键视频帧的开始时间戳和结束时间戳。
进一步的，所述将各所述关键视频帧按照各自对应的所述第二时间戳、所述播放时长以及所述播放总时长，重新设置各所述关键视频帧分别对应的第三时间戳的步骤之后，包括：
将各所述音频帧按照各自对应的第一时间戳进行顺序播放，同时控制各所述关键视频帧按照各自对应的第三时间戳进行顺序播放，实现所述音频帧和所述视频帧的同步播放。
进一步的，所述关键视频帧为帧内编码帧。
本申请还提供了一种基于墨水屏设备的音视频帧同步装置，包括：
缓存模块，用于缓存音频数据和视频数据，所述音频数据和所述视频数据源于同一媒体数据，所述音频数据包括多个带有第一时间戳的音频帧，所述视频数据包括多个带有第二时间戳的视频帧；
筛选模块，用于从各所述视频帧中筛选出若干个关键视频帧，所述关键视频帧表征具有预设特征的视频帧；
第一设置模块，用于根据所述关键视频帧的数量及所述音频数据的播放总时长，设置各所述关键视频帧的播放时长；
第一同步模块，用于将各所述音频帧按照各自对应的第一时间戳进行顺序播放，同时控制各所述关键视频帧按照各自对应的第二时间戳以及播放时长进行顺序播放，实现所述音频帧和所述视频帧的同步播放。
进一步的，所述第一设置模块，包括：
计算单元，用于将所述播放总时长除以所述关键视频帧的数量，得到各所述关键视频帧的播放时长。
进一步的，所述缓存模块，包括：
缓存单元，用于通过无线网络接收所述媒体数据，并缓存至预设缓存区；
解复用单元，用于将所述媒体数据进行解复用处理，得到所述音频数据和所述视频数据；
解码单元，用于分别将所述音频数据和所述视频数据进行解码处理，得到各所述音频帧和各自对应的第一时间戳，以及各所述视频帧和各自对应的第二时间戳。
进一步的，所述墨水屏设备包括墨水显示屏，所述第一同步模块，包括：
同步单元，用于以所述音频数据中排序首位的音频帧对应的第一时间戳为开始时间戳，将各所述音频帧按照各自对应的第一时间戳顺序进行播放，同时将各所述关键视频帧按照各自对应的第二时间戳和播放时长顺序输出到所述墨水显示屏进行显示。
进一步的，所述同步装置，还包括
第二设置模块，用于将各所述关键视频帧按照各自对应的所述第二时间戳、所述播放时长以及所述播放总时长，重新设置各所述关键视频帧分别对应的第三时间戳，所述第三时间戳包括关键视频帧的开始时间戳和结束时间戳。
进一步的，所述同步装置，还包括：
第二同步模块，用于将各所述音频帧按照各自对应的第一时间戳进行顺序播放，同时控制各所述关键视频帧按照各自对应的第三时间戳进行顺序播放，实现所述音频帧和所述视频帧的同步播放。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请中提供的一种基于墨水屏设备的音视频帧同步方法、装置和计算机设备，系统首先进行缓存音频数据和视频数据，其中，音频数据和视频数据源于同一媒体数据，音频数据包括多个带有第一时间戳的音频帧，视频数据包括多个带有第二时间戳的视频帧。系统从各视频帧中筛选出若干个关键视频帧，关键视频帧表征具有预设特征的视频帧；然后根据关键视频帧的数量及音频数据的播放总时长，设置各个关键视频帧的播放时长。系统将各个音频帧按照各自对应的第一时间戳进行顺序播放，同时控制各关键视频帧按照各自对应的第二时间戳以及播放时长进行顺序播放，实现音频帧和视频帧的同步播放。本申请中，系统通过将媒体数据的音频数据和视频数据进行分离，然后从视频数据的视频帧中筛选出关键视频帧，并根据播放总时长设置每个关键视频帧的播放时长，最后与音频帧进行同时播放，实现视频帧与音频帧的同步，提高用户使用体验。
附图说明
图1是本申请一实施例中基于墨水屏设备的音视频帧同步方法步骤示意图；
图2是本申请一实施例中基于墨水屏设备的音视频帧同步装置整体结构框图；
图3是本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请一实施例中提供了一种基于墨水屏设备的音视频帧同步方法，包括：
S1:缓存音频数据和视频数据，所述音频数据和所述视频数据源于同一媒体数据，所述音频数据包括多个带有第一时间戳的音频帧，所述视频数据包括多个带有第二时间戳的视频帧；
S2:从各所述视频帧中筛选出若干个关键视频帧，所述关键视频帧表征具有预设特征的视频帧；
S3:根据所述关键视频帧的数量及所述音频数据的播放总时长，设置各所述关键视频帧的播放时长；
S4:将各所述音频帧按照各自对应的第一时间戳进行顺序播放，同时控制各所述关键视频帧按照各自对应的第二时间戳以及播放时长进行顺序播放，实现所述音频帧和所述视频帧的同步播放。
优选的，所述关键视频帧为帧内编码帧。
本实施例中，墨水屏设备的控制系统(下文简称系统)在接收到直播网课等类型的媒体数据后，先将媒体数据缓存至预先构建的数据缓存区。然后，通过对媒体数据进行解复用处理，将其分离为音频数据和视频数据并分开进行缓存。系统再分别对音频数据和视频数据进行解码处理，得到音频数据所包含的各个音频帧和各音频帧分别对应的第一时间戳，以及视频数据所包含的各个视频帧和各个视频帧分别对应的第二时间戳。系统对各个视频帧进行筛选，得到若干个关键视频帧，其中，关键视频帧表征具有预设特征的视频帧；优选为，该关键视频帧为帧内编码帧，是一种自带全部信息的独立帧，最能表现视频帧中的行为信息，且无需参考其他图像便可独立进行解码，能单独重构完整图像，可以简单理解为一张静态画面。系统以音频数据的播放总时长为基准，根据从视频数据中筛选出的关键视频帧的数量做求均计算，得到各个关键视频帧的播放时长。系统将各个音频帧按照各自对应的第一时间戳进行顺序播放；同时，控制各个关键视频帧按照各自对应的第二时间戳进行顺序播放，且每个关键视频帧的播放时长均为上述计算得到的播放时长，实现墨水屏设备在输出媒体数据时，音频帧和视频帧能够同步播放。
本实施例中，系统通过将媒体数据的音频数据和视频数据进行分离，然后从视频数据的视频帧中筛选出关键视频帧，并根据播放总时长设置每个关键视频帧的播放时长，最后与音频帧进行同时播放，实现视频帧与音频帧的同步，提高用户使用体验。
进一步的，所述根据所述关键视频帧的数量及所述音频数据的播放总时长，设置各所述关键视频帧的播放时长的步骤，包括：
S301:将所述播放总时长除以所述关键视频帧的数量，得到各所述关键视频帧的播放时长。
本实施例中，视频数据由I帧、P帧、B帧三种帧组成，视频压缩编码端以25帧作为一秒内视频的帧数进行压缩发送数据包，再到解码端进行解码，视频帧也将由I帧、P帧、B帧三种帧构成。其中，I帧最能表现视频帧中的行为信息，且能单独重构完整图像。编码端有限制是2个I帧之间的帧数不能超过12-15帧，且一段数据流从I帧开始到I帧结束，那么对应解码端的视频数据帧率，第一个帧作为引流帧必须是I帧，根据视频信息量和墨水屏(墨水屏的帧率只有3帧/秒)的帧率推算，这25帧视频帧中总共能筛选出3个I帧，即3个关键视频帧。系统以音频数据的播放时间为基准，将音频数据的播放总时长(音频数据的播放总时长与视频数据的播放总时长相同，两者均源于同一媒体数据)除以关键视频帧的数量，计算得到各个关键视频帧的播放时长。比如音频数据的播放总时长为10s，由上可知每秒的视频数据能够筛选得到3个关键视频帧，因此10s的视频数据总共能筛选得到30个关键视频帧；通过播放总时长和关键视频帧的求均计算，可以得到每个关键视频帧的播放时长为1/3s。系统也可以根据墨水屏的帧率来计算各个关键视频帧的播放总时长，由于墨水屏的帧率为3帧/秒，而每秒的视频数据对应的关键视频帧为3个，因此可以通过求均计算得到每个关键视频帧的播放时长为1/3s。本实施例通过根据音频数据的播放总时长与关键视频帧的数量进行关联计算，从而使得在墨水屏播放媒体数据时，关键视频帧能够与音频帧实现同步，提高用户的使用体验。
进一步的，所述缓存音频数据和视频数据的步骤，包括：
S101:通过无线网络接收所述媒体数据，并缓存至预设缓存区；
S102:将所述媒体数据进行解复用处理，得到所述音频数据和所述视频数据；
S103:分别将所述音频数据和所述视频数据进行解码处理，得到各所述音频帧和各自对应的第一时间戳，以及各所述视频帧和各自对应的第二时间戳。
本实施例中，系统内部设置有一级数据缓存区和二级数据缓存区，用户使用墨水屏设备观看直播网课、视频等媒体数据时，系统将通过无线网络接收的媒体数据缓存值一级数据缓存区(即预设缓存区)。然后，系统将媒体数据进行解复用处理，分别得到音频数据和视频数据；再分别对音频数据和视频数据进行解码处理，得到音频数据所包含的各个音频帧和各音频帧分别对应的第一时间戳，以及视频数据包含的各个视频帧和各视频帧分别对应的第二时间戳，并将解码后的数据信息缓存至二级数据缓存区。此时。解码后的音频数据和视频数据相互独立，都可以实现单独播放，且各帧数据均携带有各自对应的时间信息，便于进行单独处理以及后续进行同步对应。
进一步的，所述墨水屏设备包括墨水显示屏，所述将各所述音频帧按照各自对应的第一时间戳进行顺序播放，同时控制各所述关键视频帧按照各自对应的第二时间戳以及播放时长进行顺序播放，实现所述音频帧和所述视频帧的同步播放的步骤，包括：
S401:以所述音频数据中排序首位的音频帧对应的第一时间戳为开始时间戳，将各所述音频帧按照各自对应的第一时间戳顺序进行播放，同时将各所述关键视频帧按照各自对应的第二时间戳和播放时长顺序输出到所述墨水显示屏进行显示。
本实施例中，墨水屏设备包括墨水显示屏，由于墨水屏设备影响媒体数据播放效果的原因在于墨水显示屏本身的帧率较低，而媒体数据中的音频数据播放则不受影响。因此，系统以音频数据的播放开始时间为基准，以音频数据中排序首位(音频帧的排序根据各自对应的第一时间戳进行顺序排列)的音频帧对应的第一时间戳为开始时间戳，将各个音频帧按照各自对应的第一时间戳顺序进行播放。同时，将各个关键视频帧按照各自对应的第二时间戳和播放时长顺序输出到墨水显示屏进行显示，即各个关键视频帧的播放顺序由各自对应的第二时间戳进行对应，第二时间戳在前的则先播放，且每个关键视频帧均按照播放时长进行播放(比如共有3个关键视频帧，且按照关键视频帧各自对应的第二时间戳的先后顺序，排列后为关键视频帧A、B、C，则在一秒内，先输出关键视频帧A，关键视频帧A保持1/3秒；然后输出关键视频帧B，关键视频帧B同样保持1/3秒；租后输出关键视频帧C，关键视频帧C保持1/3秒)，完成关键视频帧与音频帧的同步播放。
进一步的，所述根据所述关键视频帧的数量及所述音频数据的播放总时长，设置各所述关键视频帧的播放时长的步骤之后，包括：
S5:将各所述关键视频帧按照各自对应的所述第二时间戳、所述播放时长以及所述播放总时长，重新设置各所述关键视频帧分别对应的第三时间戳，所述第三时间戳包括关键视频帧的开始时间戳和结束时间戳。
本实施例中，系统根据各个关键视频帧各自对应的第二时间戳确定各个关键视频帧播放时的先后顺序，然后再根据媒体数据的播放总时长(音频数据、视频数据和媒体数据的播放总时长均相同以及各个关键视频帧计算所得的播放时长，重新设置各个关键视频帧在对应音频帧进行播放时分别对应的开始时间戳和结束时间戳，从而形成各个关键视频帧播放时分别对应的第三时间戳。比如媒体数据的播放总时长为10s，由上可知筛选得到的关键视频帧共有30个，假设按照各自对应的第二时间戳顺序排列后分别为关键视频帧1、关键视频帧2、关键视频帧3……关键视频帧30，单个关键视频帧的播放时长为1/3s。按照上述规则对各个关键视频帧设置后的第三时间戳则为：关键视频帧1(0,1/3)，关键视频帧2(1/3,2/3)，关键视频帧3(2/3,1)……关键视频帧
Figure GDA0003418035360000091
关键视频帧
Figure GDA0003418035360000092
进一步的，所述将各所述关键视频帧按照各自对应的所述第二时间戳、所述播放时长以及所述播放总时长，重新设置各所述关键视频帧分别对应的第三时间戳的步骤之后，包括：
S6:将各所述音频帧按照各自对应的第一时间戳进行顺序播放，同时控制各所述关键视频帧按照各自对应的第三时间戳进行顺序播放，实现所述音频帧和所述视频帧的同步播放。
本实施例中，系统以音频数据的播放开始时间为基准，将音频数据包含的各个音频帧按照各自对应的第一时间戳进行顺序播放。与此同时，系统控制筛选所得的各个关键视频帧按照各自对应的第三时间戳进行顺序播放。由于音频帧和关键视频帧的播放开始时间相同，且各个关键视频帧的第三时间戳能够与音频数据的播放总时长实现对应，从而使得在通过墨水屏设备播放媒体数据时，媒体数据的音频帧和视频帧能够完美同步，不会影响用户的观看体验。
参照图2，本申请一实施例中还提供了一种基于墨水屏设备的音视频帧同步装置，包括：
缓存模块1，用于缓存音频数据和视频数据，所述音频数据和所述视频数据源于同一媒体数据，所述音频数据包括多个带有第一时间戳的音频帧，所述视频数据包括多个带有第二时间戳的视频帧；
筛选模块2，用于从各所述视频帧中筛选出若干个关键视频帧，所述关键视频帧表征具有预设特征的视频帧；
第一设置模块3，用于根据所述关键视频帧的数量及所述音频数据的播放总时长，设置各所述关键视频帧的播放时长；
第一同步模块4，用于将各所述音频帧按照各自对应的第一时间戳进行顺序播放，同时控制各所述关键视频帧按照各自对应的第二时间戳以及播放时长进行顺序播放，实现所述音频帧和所述视频帧的同步播放。
进一步的，所述第一设置模块3，包括：
计算单元，用于将所述播放总时长除以所述关键视频帧的数量，得到各所述关键视频帧的播放时长。
进一步的，所述缓存模块1，包括：
缓存单元，用于通过无线网络接收所述媒体数据，并缓存至预设缓存区；
解复用单元，用于将所述媒体数据进行解复用处理，得到所述音频数据和所述视频数据；
解码单元，用于分别将所述音频数据和所述视频数据进行解码处理，得到各所述音频帧和各自对应的第一时间戳，以及各所述视频帧和各自对应的第二时间戳。
进一步的，所述墨水屏设备包括墨水显示屏，所述第一同步模块4，包括：
同步单元，用于以所述音频数据中排序首位的音频帧对应的第一时间戳为开始时间戳，将各所述音频帧按照各自对应的第一时间戳顺序进行播放，同时将各所述关键视频帧按照各自对应的第二时间戳和播放时长顺序输出到所述墨水显示屏进行显示。
进一步的，所述同步装置，还包括
第二设置模块5，用于将各所述关键视频帧按照各自对应的所述第二时间戳、所述播放时长以及所述播放总时长，重新设置各所述关键视频帧分别对应的第三时间戳，所述第三时间戳包括关键视频帧的开始时间戳和结束时间戳。
进一步的，所述同步装置，还包括：
第二同步模块6，用于将各所述音频帧按照各自对应的第一时间戳进行顺序播放，同时控制各所述关键视频帧按照各自对应的第三时间戳进行顺序播放，实现所述音频帧和所述视频帧的同步播放。
本实施例中，同步装置各模块、单元用于对应执行与上述基于墨水屏设备的音视频帧同步方法中的各个步骤，其具体实施过程在此不做详述。
本实施例提供的一种基于墨水屏设备的音视频帧同步装置，系统首先进行缓存音频数据和视频数据，其中，音频数据和视频数据源于同一媒体数据，音频数据包括多个带有第一时间戳的音频帧，视频数据包括多个带有第二时间戳的视频帧。系统从各视频帧中筛选出若干个关键视频帧，关键视频帧表征具有预设特征的视频帧；然后根据关键视频帧的数量及音频数据的播放总时长，设置各个关键视频帧的播放时长。系统将各个音频帧按照各自对应的第一时间戳进行顺序播放，同时控制各关键视频帧按照各自对应的第二时间戳以及播放时长进行顺序播放，实现音频帧和视频帧的同步播放。本申请中，系统通过将媒体数据的音频数据和视频数据进行分离，然后从视频数据的视频帧中筛选出关键视频帧，并根据播放总时长设置每个关键视频帧的播放时长，最后与音频帧进行同时播放，实现视频帧与音频帧的同步，提高用户使用体验。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储音频数据等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于墨水屏设备的音视频帧同步方法。
上述处理器执行上述一种基于墨水屏设备的音视频帧同步方法的步骤：
S1:缓存音频数据和视频数据，所述音频数据和所述视频数据源于同一媒体数据，所述音频数据包括多个带有第一时间戳的音频帧，所述视频数据包括多个带有第二时间戳的视频帧；
S2:从各所述视频帧中筛选出若干个关键视频帧，所述关键视频帧表征具有预设特征的视频帧；
S3:根据所述关键视频帧的数量及所述音频数据的播放总时长，设置各所述关键视频帧的播放时长；
S4:将各所述音频帧按照各自对应的第一时间戳进行顺序播放，同时控制各所述关键视频帧按照各自对应的第二时间戳以及播放时长进行顺序播放，实现所述音频帧和所述视频帧的同步播放。
进一步的，所述根据所述关键视频帧的数量及所述音频数据的播放总时长，设置各所述关键视频帧的播放时长的步骤，包括：
S301:将所述播放总时长除以所述关键视频帧的数量，得到各所述关键视频帧的播放时长。
进一步的，所述缓存音频数据和视频数据的步骤，包括：
S101:通过无线网络接收所述媒体数据，并缓存至预设缓存区；
S102:将所述媒体数据进行解复用处理，得到所述音频数据和所述视频数据；
S103:分别将所述音频数据和所述视频数据进行解码处理，得到各所述音频帧和各自对应的第一时间戳，以及各所述视频帧和各自对应的第二时间戳。
进一步的，所述墨水屏设备包括墨水显示屏，所述将各所述音频帧按照各自对应的第一时间戳进行顺序播放，同时控制各所述关键视频帧按照各自对应的第二时间戳以及播放时长进行顺序播放，实现所述音频帧和所述视频帧的同步播放的步骤，包括：
S401:以所述音频数据中排序首位的音频帧对应的第一时间戳为开始时间戳，将各所述音频帧按照各自对应的第一时间戳顺序进行播放，同时将各所述关键视频帧按照各自对应的第二时间戳和播放时长顺序输出到所述墨水显示屏进行显示。
进一步的，所述根据所述关键视频帧的数量及所述音频数据的播放总时长，设置各所述关键视频帧的播放时长的步骤之后，包括
S5:将各所述关键视频帧按照各自对应的所述第二时间戳、所述播放时长以及所述播放总时长，重新设置各所述关键视频帧分别对应的第三时间戳，所述第三时间戳包括关键视频帧的开始时间戳和结束时间戳。
进一步的，所述将各所述关键视频帧按照各自对应的所述第二时间戳、所述播放时长以及所述播放总时长，重新设置各所述关键视频帧分别对应的第三时间戳的步骤之后，包括：
S6:将各所述音频帧按照各自对应的第一时间戳进行顺序播放，同时控制各所述关键视频帧按照各自对应的第三时间戳进行顺序播放，实现所述音频帧和所述视频帧的同步播放。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种基于墨水屏设备的音视频帧同步方法，所述基于墨水屏设备的音视频帧同步方法具体为：
S1:缓存音频数据和视频数据，所述音频数据和所述视频数据源于同一媒体数据，所述音频数据包括多个带有第一时间戳的音频帧，所述视频数据包括多个带有第二时间戳的视频帧；
S2:从各所述视频帧中筛选出若干个关键视频帧，所述关键视频帧表征具有预设特征的视频帧；
S3:根据所述关键视频帧的数量及所述音频数据的播放总时长，设置各所述关键视频帧的播放时长；
S4:将各所述音频帧按照各自对应的第一时间戳进行顺序播放，同时控制各所述关键视频帧按照各自对应的第二时间戳以及播放时长进行顺序播放，实现所述音频帧和所述视频帧的同步播放。
进一步的，所述根据所述关键视频帧的数量及所述音频数据的播放总时长，设置各所述关键视频帧的播放时长的步骤，包括：
S301:将所述播放总时长除以所述关键视频帧的数量，得到各所述关键视频帧的播放时长。
进一步的，所述缓存音频数据和视频数据的步骤，包括：
S101:通过无线网络接收所述媒体数据，并缓存至预设缓存区；
S102:将所述媒体数据进行解复用处理，得到所述音频数据和所述视频数据；
S103:分别将所述音频数据和所述视频数据进行解码处理，得到各所述音频帧和各自对应的第一时间戳，以及各所述视频帧和各自对应的第二时间戳。
进一步的，所述墨水屏设备包括墨水显示屏，所述将各所述音频帧按照各自对应的第一时间戳进行顺序播放，同时控制各所述关键视频帧按照各自对应的第二时间戳以及播放时长进行顺序播放，实现所述音频帧和所述视频帧的同步播放的步骤，包括：
S401:以所述音频数据中排序首位的音频帧对应的第一时间戳为开始时间戳，将各所述音频帧按照各自对应的第一时间戳顺序进行播放，同时将各所述关键视频帧按照各自对应的第二时间戳和播放时长顺序输出到所述墨水显示屏进行显示。
进一步的，所述根据所述关键视频帧的数量及所述音频数据的播放总时长，设置各所述关键视频帧的播放时长的步骤之后，包括
S5:将各所述关键视频帧按照各自对应的所述第二时间戳、所述播放时长以及所述播放总时长，重新设置各所述关键视频帧分别对应的第三时间戳，所述第三时间戳包括关键视频帧的开始时间戳和结束时间戳。
进一步的，所述将各所述关键视频帧按照各自对应的所述第二时间戳、所述播放时长以及所述播放总时长，重新设置各所述关键视频帧分别对应的第三时间戳的步骤之后，包括：
S6:将各所述音频帧按照各自对应的第一时间戳进行顺序播放，同时控制各所述关键视频帧按照各自对应的第三时间戳进行顺序播放，实现所述音频帧和所述视频帧的同步播放。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、第一物体或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、第一物体或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、第一物体或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (9)

1.一种基于墨水屏设备的音视频帧同步方法，其特征在于，包括：
缓存音频数据和视频数据，所述音频数据和所述视频数据源于同一媒体数据，所述音频数据包括多个带有第一时间戳的音频帧，所述视频数据包括多个带有第二时间戳的视频帧；
从各所述视频帧中筛选出若干个关键视频帧，所述关键视频帧表征具有预设特征的视频帧；
将所述音频数据的播放总时长除以所述关键视频帧的数量，得到各所述关键视频帧的播放时长；
将各所述音频帧按照各自对应的第一时间戳进行顺序播放，同时控制各所述关键视频帧按照各自对应的第二时间戳以及播放时长进行顺序播放，实现所述音频帧和所述视频帧的同步播放。
2.根据权利要求1所述的基于墨水屏设备的音视频帧同步方法，其特征在于，所述缓存音频数据和视频数据的步骤，包括：
通过无线网络接收所述媒体数据，并缓存至预设缓存区；
将所述媒体数据进行解复用处理，得到所述音频数据和所述视频数据；
分别将所述音频数据和所述视频数据进行解码处理，得到各所述音频帧和各自对应的第一时间戳，以及各所述视频帧和各自对应的第二时间戳。
3.根据权利要求1所述的基于墨水屏设备的音视频帧同步方法，其特征在于，所述墨水屏设备包括墨水显示屏，所述将各所述音频帧按照各自对应的第一时间戳进行顺序播放，同时控制各所述关键视频帧按照各自对应的第二时间戳以及播放时长进行顺序播放，实现所述音频帧和所述视频帧的同步播放的步骤，包括：
以所述音频数据中排序首位的音频帧对应的第一时间戳为开始时间戳，将各所述音频帧按照各自对应的第一时间戳顺序进行播放，同时将各所述关键视频帧按照各自对应的第二时间戳和播放时长顺序输出到所述墨水显示屏进行显示。
4.根据权利要求1所述的基于墨水屏设备的音视频帧同步方法，其特征在于，所述根据所述关键视频帧的数量及所述音频数据的播放总时长，设置各所述关键视频帧的播放时长的步骤之后，包括：
将各所述关键视频帧按照各自对应的所述第二时间戳、所述播放时长以及所述播放总时长，重新设置各所述关键视频帧分别对应的第三时间戳，所述第三时间戳包括关键视频帧的开始时间戳和结束时间戳。
5.根据权利要求4所述的基于墨水屏设备的音视频帧同步方法，其特征在于，所述将各所述关键视频帧按照各自对应的所述第二时间戳、所述播放时长以及所述播放总时长，重新设置各所述关键视频帧分别对应的第三时间戳的步骤之后，包括：
将各所述音频帧按照各自对应的第一时间戳进行顺序播放，同时控制各所述关键视频帧按照各自对应的第三时间戳进行顺序播放，实现所述音频帧和所述视频帧的同步播放。
6.根据权利要求1所述的基于墨水屏设备的音视频帧同步方法，其特征在于，所述关键视频帧为帧内编码帧。
7.一种基于墨水屏设备的音视频帧同步装置，其特征在于，包括：
缓存模块，用于缓存音频数据和视频数据，所述音频数据和所述视频数据源于同一媒体数据，所述音频数据包括多个带有第一时间戳的音频帧，所述视频数据包括多个带有第二时间戳的视频帧；
筛选模块，用于从各所述视频帧中筛选出若干个关键视频帧，所述关键视频帧表征具有预设特征的视频帧；
第一设置模块，用于根据所述关键视频帧的数量及所述音频数据的播放总时长，设置各所述关键视频帧的播放时长；
第一同步模块，用于将各所述音频帧按照各自对应的第一时间戳进行顺序播放，同时控制各所述关键视频帧按照各自对应的第二时间戳以及播放时长进行顺序播放，实现所述音频帧和所述视频帧的同步播放；
所述第一设置模块，包括：
计算单元，用于将所述播放总时长除以所述关键视频帧的数量，得到各所述关键视频帧的播放时长。
8.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN202110578862.2A 2021-05-26 2021-05-26 基于墨水屏设备的音视频帧同步方法、装置和计算机设备 Active CN113316012B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110578862.2A CN113316012B (zh) 2021-05-26 2021-05-26 基于墨水屏设备的音视频帧同步方法、装置和计算机设备
PCT/CN2021/111592 WO2022247014A1 (zh) 2021-05-26 2021-08-09 基于墨水屏设备的音视频帧同步方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110578862.2A CN113316012B (zh) 2021-05-26 2021-05-26 基于墨水屏设备的音视频帧同步方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN113316012A CN113316012A (zh) 2021-08-27
CN113316012B true CN113316012B (zh) 2022-03-11

Family

ID=77375197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110578862.2A Active CN113316012B (zh) 2021-05-26 2021-05-26 基于墨水屏设备的音视频帧同步方法、装置和计算机设备

Country Status (2)

Country Link
CN (1) CN113316012B (zh)
WO (1) WO2022247014A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012032537A2 (en) * 2010-09-06 2012-03-15 Indian Institute Of Technology A method and system for providing a content adaptive and legibility retentive display of a lecture video on a miniature video device
US8798438B1 (en) * 2012-12-07 2014-08-05 Google Inc. Automatic video generation for music playlists
EP3073754A1 (en) * 2015-03-25 2016-09-28 Hangzhou Hikvision Digital Technology Co., Ltd. Systems and methods for video play control
CN106792154A (zh) * 2016-12-02 2017-05-31 广东赛特斯信息科技有限公司 视频播放器的跳帧同步系统及其控制方法
CN106816055A (zh) * 2017-04-05 2017-06-09 杭州恒生数字设备科技有限公司 一种可交互的低功耗教学直播录播系统及方法
CN107295284A (zh) * 2017-08-03 2017-10-24 浙江大学 一种由音频和图片组成的视频文件的生成和检索播放方法、装置
CN108174269A (zh) * 2017-12-28 2018-06-15 优酷网络技术（北京）有限公司 可视化音频播放方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030030852A1 (en) * 2001-07-17 2003-02-13 Yesvideo, Inc. Digital visual recording content indexing and packaging
AU2003247037A1 (en) * 2002-07-30 2004-02-23 Koninklijke Philips Electronics N.V. Trick play behavior controlled by a user
US7673238B2 (en) * 2006-01-05 2010-03-02 Apple Inc. Portable media device with video acceleration capabilities
CN101466044B (zh) * 2007-12-19 2012-01-18 康佳集团股份有限公司 一种流媒体音视频同步播放的方法及其系统
CN104021152B (zh) * 2014-05-19 2017-09-05 广州酷狗计算机科技有限公司 基于音频文件播放的图片显示方法和装置
CN106162293B (zh) * 2015-04-22 2019-11-08 无锡天脉聚源传媒科技有限公司 一种视频声音与图像同步的方法及装置
CN106713855B (zh) * 2016-12-13 2020-01-07 深圳英飞拓科技股份有限公司 一种视频播放方法及装置
CN110944225B (zh) * 2019-11-20 2022-10-04 武汉长江通信产业集团股份有限公司 一种基于html5的不同帧率音视频的同步方法及装置
CN111641858A (zh) * 2020-04-29 2020-09-08 上海推乐信息技术服务有限公司 一种音视频同步方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012032537A2 (en) * 2010-09-06 2012-03-15 Indian Institute Of Technology A method and system for providing a content adaptive and legibility retentive display of a lecture video on a miniature video device
US8798438B1 (en) * 2012-12-07 2014-08-05 Google Inc. Automatic video generation for music playlists
EP3073754A1 (en) * 2015-03-25 2016-09-28 Hangzhou Hikvision Digital Technology Co., Ltd. Systems and methods for video play control
CN106792154A (zh) * 2016-12-02 2017-05-31 广东赛特斯信息科技有限公司 视频播放器的跳帧同步系统及其控制方法
CN106816055A (zh) * 2017-04-05 2017-06-09 杭州恒生数字设备科技有限公司 一种可交互的低功耗教学直播录播系统及方法
CN107295284A (zh) * 2017-08-03 2017-10-24 浙江大学 一种由音频和图片组成的视频文件的生成和检索播放方法、装置
CN108174269A (zh) * 2017-12-28 2018-06-15 优酷网络技术（北京）有限公司 可视化音频播放方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Real-time video signal processor for electrophoretic displays;W. Kao et al.;《2014 IEEE International Conference on Consumer Electronics》;20140922;全文 *
一种远程桌面连接中的流媒体传输优化技术;宋吉;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑，2018年第03期》;20180315;全文 *

Also Published As

Publication number Publication date
WO2022247014A1 (zh) 2022-12-01
CN113316012A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
CN108540819B (zh) 直播数据处理方法、装置、计算机设备和存储介质
WO2017107578A1 (zh) 流媒体与字幕即时同步显示、匹配处理方法、装置及系统
KR20170074866A (ko) 수신 장치, 송신 장치, 및 데이터 처리 방법
JPH1174868A (ja) 情報伝送方法およびその方法が適用される情報伝送システムにおける符号化装置／復号化装置、並びに符号化・多重化装置／復号化・逆多重化装置
US11812103B2 (en) Dynamic playout of transition frames while transitioning between playout of media streams
CN113225598A (zh) 移动端音视频同步的方法、装置、设备及存储介质
JP6940125B2 (ja) 放送サービス再送信システムおよび視聴用携帯端末
RU2627040C2 (ru) Приемное устройство и способ синхронизационной обработки изображений в этом устройстве
EP2545708B1 (en) Method and system for inhibiting audio-video synchronization delay
US20180295391A1 (en) Multiplexing apparatus, receiving apparatus, multiplexing method, and delay adjustment method
DE112010004599T5 (de) Digital-Broadcast-Empfangsvorrichtung und Kanalschaltverfahren
DE112013001738B4 (de) Digitale Rundfunkempfänger-Vorrichtung und digitale Rundfunkempfangs-Verfahren
US9854019B2 (en) Method and apparatus for modifying a stream of digital content
CN113316012B (zh) 基于墨水屏设备的音视频帧同步方法、装置和计算机设备
CN112584088B (zh) 媒体流数据的发送方法、电子装置和存储介质
US8769562B2 (en) Digital broadcast method, data receiving device, and data transmitting device
CN118158420A (zh) 图像编码方法、图像解码方法、装置以及计算机存储介质
CN112235600B (zh) 视频数据及视频业务请求的处理方法、装置及系统
JP2017175261A (ja) 受信装置、データ処理方法、及び、送受信システム
US9100672B2 (en) Data transmitting device and data transmitting and receiving system
DE112011101955B4 (de) Videoanzeigevorrichtung
CN108632681A (zh) 播放媒体流的方法、服务器及终端
JP2008072299A (ja) デジタル放送受信機
JP2008011430A (ja) コンテンツ再送信方法、コンテンツ受信方法及びコンテンツ受信装置
JP2008252832A (ja) 受信装置、データストリーム出力装置、放送システム、受信装置の制御方法、データストリーム出力装置の制御方法、制御プログラムおよび記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant