CN113938709A - 无缓存场景下补帧的方法、系统、补帧器和存储介质 - Google Patents

无缓存场景下补帧的方法、系统、补帧器和存储介质 Download PDF

Info

Publication number
CN113938709A
CN113938709A CN202111550979.6A CN202111550979A CN113938709A CN 113938709 A CN113938709 A CN 113938709A CN 202111550979 A CN202111550979 A CN 202111550979A CN 113938709 A CN113938709 A CN 113938709A
Authority
CN
China
Prior art keywords
frame
supplementing
media
preset
interval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111550979.6A
Other languages
English (en)
Other versions
CN113938709B (zh
Inventor
程景
葛天杰
孟环宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Xingxi Technology Co ltd
Original Assignee
Hangzhou Xingxi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Xingxi Technology Co ltd filed Critical Hangzhou Xingxi Technology Co ltd
Priority to CN202111550979.6A priority Critical patent/CN113938709B/zh
Publication of CN113938709A publication Critical patent/CN113938709A/zh
Application granted granted Critical
Publication of CN113938709B publication Critical patent/CN113938709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请涉及一种无缓存场景下补帧的方法、系统、补帧器和存储介质，通过获取到当前媒体帧，则开启定时器；若定时时间到之前获取到下一媒体帧，则重启定时器；若定时时间到之前获取不到下一媒体帧，则触发补帧，以当前媒体帧作为补帧起点，根据预设补帧间隔和预设补帧长度进行补帧，直到检测到补帧结束点，结束补帧，其中，补帧结束点为获取到下一媒体帧，相比于相关技术中的定时检测方式，本申请每读取一帧媒体帧都进行检测，对于补帧起点的检测更为准确，且能在无媒体帧缓存场景下实时检测补帧起始点，实时性好，解决了相关技术中通过缓存一定的媒体帧，并基于定时检测的方式进行补帧，延迟大、准确度较低的问题。

Description

无缓存场景下补帧的方法、系统、补帧器和存储介质
技术领域
本申请涉及音视频技术领域，特别是涉及无缓存场景下补帧的方法、系统、补帧器和存储介质。
背景技术
在直播场景下，媒体流在某些场景下会出现断续，例如，采集端设备移除或音频/视频通道切换，导致推流出去后播放器端播放，会产生噪声以及音画不同步的现象。在相关技术中，可以通过补帧解决上述问题，但相关技术中的补帧需要先缓存一定的媒体帧，并定时检测分析媒体帧是否有缺失来确定是否进行补帧，然而缓存一定的媒体帧再进行分析，会带来一定的时间延迟，且定时检测对补帧起点的检测不是很准确。
目前针对相关技术中通过缓存一定的媒体帧，并基于定时检测的方式进行补帧，延迟大、准确度较低的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种无缓存场景下补帧的方法、系统、补帧器和存储介质，以至少解决相关技术中通过缓存一定的媒体帧，并基于定时检测的方式进行补帧，延迟大、准确度较低的问题。
第一方面，本申请实施例提供了一种无缓存场景下补帧的方法，所述方法包括：
获取到当前媒体帧，则开启定时器，其中，所述媒体帧包括音频帧和视频帧；
若定时时间到之前获取到下一媒体帧，则重启定时器；
若定时时间到之前获取不到下一媒体帧，则触发补帧，以当前媒体帧作为补帧起点，根据预设补帧间隔和预设补帧长度进行补帧，直到检测到补帧结束点，结束补帧，其中，所述补帧结束点为获取到下一媒体帧。
在其中一些实施例中，若定时时间到之前获取不到下一媒体帧，以定时时间结束点作为补帧触发点，则所述方法还包括：
基于所述补帧触发点进行前向补帧和后向补帧；
所述前向补帧包括：根据所述定时时间和所述预设补帧间隔获取补帧数，根据补帧数和所述预设补帧长度在当前媒体帧和补帧触发点之间进行补帧；
所述后向补帧包括：从所述补帧触发点开始，根据所述预设补帧间隔和所述预设补帧长度进行周期性补帧，直到检测到补帧结束点，结束补帧。
在其中一些实施例中，所述预设补帧间隔包括标准媒体帧间隔或M帧媒体帧时间间隔的平均值，所述预设补帧长度为N帧媒体帧长度的平均值，其中，M和N为2以上的正整数。
在其中一些实施例中，所述获取到媒体帧之后，所述方法还包括：
根据当前媒体帧长度和当前媒体帧与上一媒体帧的时间间隔，更新补帧参数，其中，所述补帧参数包括M帧媒体帧时间间隔的平均值和N帧媒体帧长度的平均值，其中，M和N为2以上的正整数。
在其中一些实施例中，所述定时时间为预设值倍的标准媒体帧间隔。
第二方面，本申请实施例提供了一种无缓存场景下音频补帧的系统，所述系统包括获取模块、重启模块和补帧模块，
所述获取模块，用于获取到当前媒体帧，则开启定时器，其中，所述媒体帧包括音频帧和视频帧；
若定时时间到之前获取到下一媒体帧，则开启所述重启模块，用于重启定时器；
若定时时间到之前获取不到下一媒体帧，则触发补帧，所述补帧模块，用于以当前媒体帧作为补帧起点，根据预设补帧间隔和预设补帧长度进行补帧，直到检测到补帧结束点，结束补帧，其中，所述补帧结束点为获取到下一媒体帧。
在其中一些实施例中，若定时时间到之前获取不到下一媒体帧，以定时时间结束点作为补帧触发点，则所述补帧模块还用于进行前向补帧和后向补帧；
所述前向补帧包括：根据所述定时时间和所述预设补帧间隔获取补帧数，根据补帧数和所述预设补帧长度在当前媒体帧和补帧触发点之间进行补帧；
所述后向补帧包括：从所述补帧触发点开始，根据所述预设补帧间隔和所述预设补帧长度进行周期性补帧，直到检测到补帧结束点，结束补帧。
在其中一些实施例中，所述预设补帧间隔包括标准媒体帧间隔或M帧媒体帧时间间隔的平均值，所述预设补帧长度为N帧媒体帧长度的平均值，其中，M和N为2以上的正整数。
第三方面，本申请实施例提供了一种补帧器，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的无缓存场景下补帧的方法。
第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的无缓存场景下补帧的方法。
相比于相关技术，本申请实施例提供的无缓存场景下补帧的方法，通过获取到当前媒体帧，则开启定时器，其中，媒体帧包括音频帧和视频帧；若定时时间到之前获取到下一媒体帧，则重启定时器；若定时时间到之前获取不到下一媒体帧，则触发补帧，以当前媒体帧作为补帧起点，根据预设补帧间隔和预设补帧长度进行补帧，直到检测到补帧结束点，结束补帧，其中，补帧结束点为获取到下一媒体帧，相比于相关技术中的定时检测方式，本申请每读取一帧媒体帧都进行检测，对于补帧起点的检测更为准确，且能在无媒体帧缓存场景下实时检测补帧起始点，实时性好，解决了相关技术中通过缓存一定的媒体帧，并基于定时检测的方式进行补帧，延迟大、准确度较低的问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的无缓存场景下补帧的方法的流程图；
图2是根据本申请实施例音频帧的前向补帧和后向补帧的示意图；
图3是根据本申请实施例的无缓存场景下补帧的系统的结构框图；
图4是根据本申请实施例的直播推流系统的结构框图；
图5是根据本申请实施例的补帧器补帧方法的流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本实施例提供了一种无缓存场景下补帧的方法，图1是根据本申请实施例的无缓存场景下补帧的方法的流程图，如图1所示，该方法包括如下步骤：
步骤S101，获取到当前媒体帧，则开启定时器，其中，媒体帧包括音频帧和视频帧；本实施例中，采取音频帧读取触发方式，即每读取一帧音频帧都进行检测和分析处理，故在获取到第一帧音频帧时，开启定时器，定时器的定时时间可以根据需要进行设置，可以以当前音频帧和下一音频帧之间可以允许的时间间隔作为定时时间，若两帧音频帧的时间间隔大于定时时间，则说明需要进行补帧。
步骤S102，若定时时间到之前获取到下一媒体帧，则重启定时器；本实施例中，若定时时间到之前获取到下一媒体帧，说明当前媒体帧和下一媒体帧的时间间隔符合要求，无需进行补帧，则重启定时器，继续判断下一个媒体帧间隔是否符合要求，若符合，则在获取到下一媒体帧时，重启定时器，若不符合，跳转到步骤S103。
步骤S103，若定时时间到之前获取不到下一媒体帧，则触发补帧，以当前媒体帧作为补帧起点，根据预设补帧间隔和预设补帧长度进行补帧，直到检测到补帧结束点，结束补帧，其中，补帧结束点为获取到下一媒体帧。
示例性的，当媒体帧为音频帧时，定时时间为75ms，预设补帧间隔为25ms，前五帧音频帧的时间戳分别为20ms、45ms、65ms、90ms和190ms，获取到第一帧音频帧，开启定时器，在定时时间到之前，获取到第二帧音频帧，则重启定时器，重新开始计时，一直到获取第四帧音频帧后，定时时间到之前都没获取到第五帧音频帧，则触发补帧，以第四帧音频帧补帧起点，根据预设补帧间隔和预设补帧长度进行补帧，直到检测到第五帧音频帧，说明检测到补帧结束点，结束补帧，补帧后音频帧的时间戳为20ms、45ms、65ms、90ms、115ms、140ms、165ms和190ms，即在第四帧和第五帧音频帧之间补进三帧预设补帧长度的空帧。
相对于相关技术中，需要先采集一定数量的媒体帧进行缓存，再定时检测分析缓存的媒体帧是否有缺失来确定是否进行补帧，导致时间延迟大，补帧起点的检测准确度低，而本申请实施例通过步骤S101至步骤S103，在获取到媒体帧时，开启定时器，若定时时间到之前获取到下一媒体帧，则说明这两帧媒体帧的时间间隔符合要求，重启定时器，继续检测下两帧媒体帧的时间间隔，若定时时间到之前获取不到下一媒体帧，则说明当前两帧媒体帧的时间间隔不符合要求，则根据预设补帧间隔和预设补帧长度进行补帧，直到检测到补帧结束点，结束补帧，本申请实施例通过媒体帧读取触发检测的方式，每读取一帧都进行检测，对于补帧起点的检测更为准确，且无需缓存媒体帧即能进行补帧，实时性好。
在其中一些实施例中，若定时时间到之前获取不到下一媒体帧，则以定时时间结束点作为补帧触发点，进行前向补帧和后向补帧；
前向补帧包括：根据定时时间和预设补帧间隔获取补帧数，根据补帧数和预设补帧长度在当前媒体帧和补帧触发点之间进行补帧；
后向补帧包括：从补帧触发点开始，根据预设补帧间隔和预设补帧长度进行周期性补帧，直到检测到补帧结束点，结束补帧。
图2是根据本申请实施例音频帧的前向补帧和后向补帧的示意图，如图2所示，采集帧序列有六帧音频帧，获取到第一个音频帧时，开启定时器，在定时时间到之前获取到第二帧音频帧，则重启定时器，直到检测到第四帧音频帧后，在定时时间T内没获取到第五帧音频帧，则说明检测到补帧触发点，则在第四帧音频帧和补帧触发点之间进行前向补帧，补帧数为定时时间T除以预设补帧间隔，再从补帧触发点开始，每隔一个预设补帧间隔，补一个预设补帧长度的空帧，直到检测到第五帧音频帧，即检测到补帧结束点，结束补帧，其中，前向补帧和后向补帧的时间间隔可以不同，可以根据需求进行设置，例如，后向补帧的时间间隔可以大于前向补帧的时间间隔，因为后向补帧的补帧数是不确定的，因此补帧的时间间隔大一些，可以减少补帧数的数量，提高补帧效率，结束补帧后，再继续对之后的音频帧进行检测，检测到第五帧音频帧后，重启定时器，在定时时间到之前获取到第六帧音频帧，即完成当前采集帧序列的检测，本实施例中，由于每一个当前音频帧到补帧触发点的长度是一样的，故这段区间内的补帧数也是一样的，故对该区间统一进行前向补帧，补帧效率更高，采取前向补帧加后向补帧的方式，对于媒体帧数据量的补充非常准确，有效避免观看端音画不同步问题。
在其中一些实施例中，预设补帧间隔包括标准媒体帧间隔或M帧媒体帧时间间隔的平均值，预设补帧长度为N帧媒体帧长度的平均值，其中，M和N为2以上的正整数。本实施例中，标准媒体帧间隔包括标准音频帧间隔和标准视频帧间隔，当媒体帧为音频帧时，已知音频帧采样率为44100HZ和每帧包含的采样点数1024，则标准音频帧间隔1024/44100×1000，单位为毫秒，当媒体帧为视频帧时，已知视频流的帧率为30fps，则标准视频帧间隔为1/30×1000，单位为毫秒，在标准媒体帧间隔无法准确得出的情况下，可以将M帧媒体帧时间间隔的平均值作为预设补帧间隔。
在其中一些实施例中，获取到媒体帧之后，根据当前媒体帧长度和当前媒体帧与上一媒体帧的时间间隔，更新补帧参数，其中，补帧参数包括M帧媒体帧时间间隔的平均值和N帧媒体帧长度的平均值。示例性的，当媒体帧为音频帧时，若M和N都为5，则根据前5帧的音频帧的时间间隔和前5帧的音频帧长度分别求出5帧音频帧时间间隔的平均值和5帧音频帧长度的平均值，从第六帧音频帧开始进行检测，求出的补帧参数可以一直用在后面的补帧中，也可以根据后续获取到的当前音频帧长度和当前音频帧与上一音频帧的时间间隔更新平均值，通过动态检测音频帧长度来智能计算补帧参数，补帧还原度较高。
在其中一些实施例中，定时时间为预设值倍的标准媒体帧间隔。示例性的，当媒体帧为音频帧时，若采样率为44100Hz，每帧包含1024个采样点，则标准音频帧间隔t为1024/44100×1000=23.22ms，若预设值为3，则定时时间T=3*t=69.66ms，当预设值为3时，说明连续3帧没有检测到音频帧，需要开启补帧。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种无缓存场景下音频补帧的系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本申请实施例的无缓存场景下补帧的系统的结构框图，如图3所示，该系统包括获取模块31、重启模块32和补帧模块33，获取模块31用于获取到当前媒体帧，则开启定时器，其中，媒体帧包括音频帧和视频帧；若定时时间到之前获取到下一媒体帧，则开启重启模块32，用于重启定时器；若定时时间到之前获取不到下一媒体帧，则补帧模块33用于以当前媒体帧作为补帧起点，根据预设补帧间隔和预设补帧长度进行补帧，直到检测到补帧结束点，结束补帧，其中，所述补帧结束点为获取到下一媒体帧，本申请实施例通过媒体帧读取触发检测的方式，每读取一帧都进行检测，对于补帧起点的检测更为准确，且无需缓存媒体帧即能进行补帧，实时性好。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种补帧器，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，图4是根据本申请实施例的直播推流系统的结构框图，如图4所示，当媒体帧为音频帧时，采集器采集音频流之后，通过音频补帧器对采集的音频流进行补帧，编码器对补帧后的音频流进行编码，编码后由推流器进行推流；图5是根据本申请实施例的音频补帧器补帧方法的流程图，如图5所示，该方法包括以下步骤：
步骤S501，初始化音频补帧器，音频补帧器状态从未初始化转到已初始化状态；
步骤S502，开启数据读取线程，开启后会定时从数据源读取数据，当从数据源读取到音频帧时，更新补帧参数；
步骤S503，音频补帧器进入到帧检测状态，判断当前是否为初始音频帧，若是，转到步骤S504，若否，转到步骤S505；
步骤S504，开启定时器；
步骤S505，判断是否处于补帧状态，音频补帧器检测到补帧起点之后，标记当前音频补帧器的状态为补帧状态，若是，转到步骤S509，若否，转到步骤S506；
步骤S506，重启定时器；
步骤S507，判断定时时间到是否获取到下一音频帧，若是，转到步骤S506，若否，转到步骤S508；
步骤S508，进行补帧；
步骤S509，检测到补帧结束点，结束补帧。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的无缓存场景下补帧的方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种无缓存场景下补帧的方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是直播机、手机、平板电脑等智能终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种无缓存场景下补帧的方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种无缓存场景下补帧的方法，其特征在于，所述方法包括：
获取到当前媒体帧，则开启定时器，其中，所述媒体帧包括音频帧和视频帧；
若定时时间到之前获取到下一媒体帧，则重启定时器；
若定时时间到之前获取不到下一媒体帧，则触发补帧，以当前媒体帧作为补帧起点，根据预设补帧间隔和预设补帧长度进行补帧，直到检测到补帧结束点，结束补帧，其中，所述补帧结束点为获取到下一媒体帧。
2.根据权利要求1所述的方法，其特征在于，若定时时间到之前获取不到下一媒体帧，以定时时间结束点作为补帧触发点，则所述方法还包括：
基于所述补帧触发点进行前向补帧和后向补帧；
所述前向补帧包括：根据所述定时时间和所述预设补帧间隔获取补帧数，根据补帧数和所述预设补帧长度在当前媒体帧和补帧触发点之间进行补帧；
所述后向补帧包括：从所述补帧触发点开始，根据所述预设补帧间隔和所述预设补帧长度进行周期性补帧，直到检测到补帧结束点，结束补帧。
3.根据权利要求1或2所述的方法，其特征在于，所述预设补帧间隔包括标准媒体帧间隔或M帧媒体帧时间间隔的平均值，所述预设补帧长度为N帧媒体帧长度的平均值，其中，M和N为2以上的正整数。
4.根据权利要求1所述的方法，其特征在于，所述获取到媒体帧之后，所述方法还包括：
根据当前媒体帧长度和当前媒体帧与上一媒体帧的时间间隔，更新补帧参数，其中，所述补帧参数包括M帧媒体帧时间间隔的平均值和N帧媒体帧长度的平均值，其中，M和N为2以上的正整数。
5.根据权利要求1所述的方法，其特征在于，所述定时时间为预设值倍的标准媒体帧间隔。
6.一种无缓存场景下音频补帧的系统，其特征在于，所述系统包括获取模块、重启模块和补帧模块，
所述获取模块，用于获取到当前媒体帧，则开启定时器，其中，所述媒体帧包括音频帧和视频帧；
若定时时间到之前获取到下一媒体帧，则开启所述重启模块，用于重启定时器；
若定时时间到之前获取不到下一媒体帧，则触发补帧，所述补帧模块，用于以当前媒体帧作为补帧起点，根据预设补帧间隔和预设补帧长度进行补帧，直到检测到补帧结束点，结束补帧，其中，所述补帧结束点为获取到下一媒体帧。
7.根据权利要求6所述的系统，其特征在于，若定时时间到之前获取不到下一媒体帧，以定时时间结束点作为补帧触发点，则所述补帧模块还用于进行前向补帧和后向补帧；
所述前向补帧包括：根据所述定时时间和所述预设补帧间隔获取补帧数，根据补帧数和所述预设补帧长度在当前媒体帧和补帧触发点之间进行补帧；
所述后向补帧包括：从所述补帧触发点开始，根据所述预设补帧间隔和所述预设补帧长度进行周期性补帧，直到检测到补帧结束点，结束补帧。
8.根据权利要求6或7所述的系统，其特征在于，所述预设补帧间隔包括标准媒体帧间隔或M帧媒体帧时间间隔的平均值，所述预设补帧长度为N帧媒体帧长度的平均值，其中，M和N为2以上的正整数。
9.一种补帧器，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至5中任一项所述的无缓存场景下补帧的方法。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至5中任一项所述的无缓存场景下补帧的方法。
CN202111550979.6A 2021-12-17 2021-12-17 无缓存场景下补帧的方法、系统、补帧器和存储介质 Active CN113938709B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111550979.6A CN113938709B (zh) 2021-12-17 2021-12-17 无缓存场景下补帧的方法、系统、补帧器和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111550979.6A CN113938709B (zh) 2021-12-17 2021-12-17 无缓存场景下补帧的方法、系统、补帧器和存储介质

Publications (2)

Publication Number Publication Date
CN113938709A true CN113938709A (zh) 2022-01-14
CN113938709B CN113938709B (zh) 2022-03-15

Family

ID=79289279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111550979.6A Active CN113938709B (zh) 2021-12-17 2021-12-17 无缓存场景下补帧的方法、系统、补帧器和存储介质

Country Status (1)

Country Link
CN (1) CN113938709B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2908547A1 (en) * 2012-10-10 2015-08-19 Fujitsu Limited Information-processing device, information-processing system, information-processing program, and moving image data transmission/reception method
CN104978966A (zh) * 2014-04-04 2015-10-14 腾讯科技（深圳）有限公司 音频流中的丢帧补偿实现方法和装置
CN112969075A (zh) * 2021-01-29 2021-06-15 北京字节跳动网络技术有限公司 直播过程中的补帧方法、装置及计算设备
CN113259738A (zh) * 2021-05-08 2021-08-13 广州市奥威亚电子科技有限公司 音视频同步的方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2908547A1 (en) * 2012-10-10 2015-08-19 Fujitsu Limited Information-processing device, information-processing system, information-processing program, and moving image data transmission/reception method
CN104978966A (zh) * 2014-04-04 2015-10-14 腾讯科技（深圳）有限公司 音频流中的丢帧补偿实现方法和装置
CN112969075A (zh) * 2021-01-29 2021-06-15 北京字节跳动网络技术有限公司 直播过程中的补帧方法、装置及计算设备
CN113259738A (zh) * 2021-05-08 2021-08-13 广州市奥威亚电子科技有限公司 音视频同步的方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113938709B (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
US11665378B2 (en) Establishment and use of time mapping based on interpolation using low-rate fingerprinting, to help facilitate frame-accurate content revision
CN107948735B (zh) 一种视频播放方法、装置及电子设备
CN110430457B (zh) 异端音视频播放方法、装置及音视频播放系统
EP4054190A1 (en) Video data encoding method and device, apparatus, and storage medium
CN108540819B (zh) 直播数据处理方法、装置、计算机设备和存储介质
CN110418186B (zh) 音视频播放方法、装置、计算机设备和存储介质
RU2624641C2 (ru) Способ и устройство для регулировки качества видео на основе сетевой среды
CN110913272A (zh) 视频播放方法、装置、计算机可读存储介质和计算机设备
CN112689090B (zh) 拍照方法和相关设备
WO2022088447A1 (zh) 视频播放方法、系统、电子设备和存储介质
CN108260024B (zh) 直播数据处理方法、装置、计算机设备和存储介质
CN111263153A (zh) 视频编码方法、装置、设备及存储介质
CN113938709B (zh) 无缓存场景下补帧的方法、系统、补帧器和存储介质
CN113596549B (zh) 基于不同参考时钟的音视频同步方法、装置和计算机设备
CN111405358A (zh) 基于缓存的视频帧提取方法、装置、介质及系统
CN109597566B (zh) 一种数据读取、存储方法及装置
CN112468872A (zh) Ip视频一致性检测方法、装置、计算机设备和存储介质
CN110602524B (zh) 一种多路数字流同步方法、装置、系统及存储介质
CN112584088A (zh) 媒体流数据的发送方法、电子装置和存储介质
CN112866745B (zh) 流媒体视频数据处理方法、装置、计算机设备和存储介质
CN114143486A (zh) 视频流同步方法、装置、计算机设备和存储介质
CN110401845B (zh) 首屏播放方法、装置、计算机设备和存储介质
CN105187688A (zh) 一种对手机采集的实时视频和音频进行同步的方法及系统
CN111385637B (zh) 媒体数据编码方法、装置及电子设备
CN111669539A (zh) 一种视频播放方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant