CN111263193B - 视频帧上下采样方法及装置、视频直播方法及系统 - Google Patents
视频帧上下采样方法及装置、视频直播方法及系统 Download PDFInfo
- Publication number
- CN111263193B CN111263193B CN202010070796.3A CN202010070796A CN111263193B CN 111263193 B CN111263193 B CN 111263193B CN 202010070796 A CN202010070796 A CN 202010070796A CN 111263193 B CN111263193 B CN 111263193B
- Authority
- CN
- China
- Prior art keywords
- video frame
- frame rate
- video
- determining
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 106
- 238000005070 sampling Methods 0.000 title claims abstract description 37
- 238000012217 deletion Methods 0.000 claims description 43
- 230000037430 deletion Effects 0.000 claims description 43
- 230000008569 process Effects 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 11
- 230000010076 replication Effects 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 abstract description 16
- 230000000694 effects Effects 0.000 abstract description 16
- 238000012545 processing Methods 0.000 abstract description 7
- 238000004891 communication Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明提出一种视频帧上下采样方法及装置、视频直播方法及系统，涉及视频数据处理领域，其中，该视频帧上采样方法预先基于初始帧率和目标帧率的频率差值，以及初始帧率，确定插值位置；视频上采样方法包括：接收来自视频源的视频帧，视频帧包括时间戳；基于时间戳确定视频帧的序号；基于序号，判断视频帧对应的位置是否为插值位置；如果是，则将视频帧在插值位置进行复制。因此，本发明提供的技术方案，可以缓解现有技术中帧率转换效果差的技术问题，能够改善帧率转换效果。
Description
技术领域
本发明涉及视频处理领域，具体而言，涉及一种视频帧上下采样方法及装置、视频直播方法及系统。
背景技术
近年来，LCD显示器的应用越加广泛，但其缺陷是在显示动态画面时存在“拖尾”现象，造成动态物体解析度下降。其主要原因是LCD的保持显示特性：由于LCD的每一个像素在一帧时间内一直保持其亮度，持续作用于观看者的双眼，而人的双眼又具有视觉惰性，当LCD的画面切换到下一帧时，人眼仍暂留有上一帧画面的内容，从而产生“拖尾”现象。
为了解决“拖尾”现象，常用的方法通常是提高帧频，即在原始相邻两帧之间插入一帧或多帧，这样，每个像素的发光时间缩短，相应地也就缩短了一帧图像对人眼的持续作用时间，减弱了人眼的视觉暂留，提高了动态解析度。
目前，现有的帧率转换中插值帧的方法主要是直接拷贝原始帧，或者采用两帧的均值。这种方法实现简单，但在物体运动区域，会存在模糊现象，因此帧率转换效果差。
发明内容
有鉴于此，本发明的目的在于提供一种视频帧上下采样方法及装置、视频直播方法及系统，以缓解现有技术中帧率转换效果差的技术问题，能够改善帧率转换效果。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供一种视频帧上采样方法，预先基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定插值位置；所述方法包括：
接收来自视频源的视频帧，所述视频帧包括时间戳；
基于所述时间戳确定所述视频帧的序号；
基于所述序号，判断所述视频帧对应的位置是否为所述插值位置；
如果是，则将所述视频帧在所述插值位置进行复制。
在可选的实施方式中，所述基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定插值位置，包括：
基于所述频率差值和所述初始帧率的商，确定插值位置。
在可选的实施方式中，将所述视频帧在所述插值位置进行复制的步骤，包括：
基于所述插值位置以及所述插值位置前的视频帧之间的运动量，在所述插值位置对所述视频帧进行复制。
第二方面，本发明实施例提供一种视频帧下采样方法，预先基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定删除位置；所述方法包括：
接收来自视频源的视频帧，所述视频帧包括时间戳；
基于所述时间戳确定所述视频帧的序号；
基于所述序号，判断所述视频帧对应的位置是否为所述删除位置；
如果是，则将所述视频帧删除。
在可选的实施方式中，基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定删除位置的步骤，包括：
基于所述频率差值和所述初始帧率的商，确定删除位置。
第三方面，本发明实施例提供一种视频直播的方法，包括视频帧上采样过程以及视频帧下采样过程；
其中，所述视频帧上采样过程，预先基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定插值位置；所述视频帧上采样过程还包括：
接收来自视频源的视频帧，所述视频帧包括时间戳；
基于所述时间戳确定所述视频帧的序号；
基于所述序号，判断所述视频帧对应的位置是否为所述插值位置；
如果所述视频帧对应的位置为所述插值位置，则将所述视频帧在所述插值位置进行复制；
所述视频帧下采样过程，预先基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定删除位置；所述视频帧下采样过程还包括：
接收来自视频源的视频帧，所述视频帧包括时间戳；
基于所述时间戳确定所述视频帧的序号；
基于所述序号，判断所述视频帧对应的位置是否为所述删除位置；
如果所述视频帧对应的位置是否为所述删除位置，则将所述视频帧删除。
第四方面，本发明实施例提供一种视频帧上采样装置，所述装置包括：
第一插值模块，用于预先基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定插值位置；
第一接收模块，用于接收来自视频源的视频帧，所述视频帧包括时间戳；
第一确定模块，用于基于所述时间戳确定所述视频帧的序号；
第一判断模块，用于基于所述序号，判断所述视频帧对应的位置是否为所述插值位置；
复制模块，用于如果所述视频帧对应的位置是所述插值位置，则将所述视频帧在所述插值位置进行复制。
第五方面，本发明实施例提供一种视频帧下采样装置，所述装置包括：
第二插值模块，用于预先基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定删除位置；
第二接收模块，用于接收来自视频源的视频帧，所述视频帧包括时间戳；
第二确定模块，用于基于所述时间戳确定所述视频帧的序号；
第二判断模块，用于基于所述序号，判断所述视频帧对应的位置是否为所述删除位置；
删除模块，用于如果所述视频帧对应的位置是所述删除位置，则将所述视频帧删除。
第六方面，本发明实施例提供一种视频直播系统，包括内容分发网络服务器、直播客户端和观看客户端，所述直播客户端和所述观看客户端均与所述内容分发网络服务器相连接；
在视频上采样过程中，所述内容分发网络服务器用于预先基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定插值位置；接收来自所述直播客户端发送的视频源的视频帧，所述视频帧包括时间戳；基于所述时间戳确定所述视频帧的序号；基于所述序号，判断所述视频帧对应的位置是否为所述插值位置；如果是，则将所述视频帧在所述插值位置进行复制；将视频帧复制完成后的视频源进行存储；
在视频帧下采样过程中，所述内容分发网络服务器用于预先基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定删除位置；获取存储的视频源的视频帧，所述视频帧包括时间戳；基于所述时间戳确定所述视频帧的序号；基于所述序号，判断所述视频帧对应的位置是否为所述删除位置；如果是，则将所述视频帧删除；将视频帧删除完成后的视频源发送至观看客服端。
第七方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述前述实施方式任一项所述的方法的步骤。
第八方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述前述实施方式任一项所述的方法的步骤。
本发明实施例带来了以下有益效果：本发明实施例提供的视频帧上采样方法、视频帧下采样方法、视频直播方法、视频帧上采样装置、视频帧下采样装置、视频直播系统、电子设备和计算机可读存储介质，其中，该视频帧上采样方法预先基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定插值位置；所述视频上采样方法包括：接收来自视频源的视频帧，所述视频帧包括时间戳；基于所述时间戳确定所述视频帧的序号；基于所述序号，判断所述视频帧对应的位置是否为所述插值位置；如果是，则将所述视频帧在所述插值位置进行复制。因此，本发明实施例提供的技术方案，可以缓解现有技术中帧率转换效果差的技术问题，能够改善帧率转换效果。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的一种视频帧上采样方法的流程示意图；
图2示出了本发明实施例提供的一种视频帧下采样方法的流程示意图；
图3示出了本发明实施例提供的一种视频直播方法的流程示意图；
图4示出了本发明实施例提供的一种视频帧上采样装置的示意图；
图5示出了本发明实施例提供的一种视频帧下采样装置的示意图；
图6示出了本发明实施例提供的一种视频直播系统的应用场景图；
图7示出了本发明实施例提供的一种电子设备的示意图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
目前，现有的帧率转换中插值帧的方法主要是直接拷贝原始帧，或者采用两帧的均值。这种方法实现简单，但在物体运动区域，会存在模糊现象，因此帧率转换效果比较差。基于此，本申请提供了一种视频帧上下采样方法及装置、视频直播方法及系统，以缓解现有技术中帧率转换效果差的技术问题，能够改善帧率转换效果。
如图1所示，本发明实施例提供一种视频帧上采样方法，预先基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定插值位置；需要说明的是，这里的初始帧率小于目标帧率；
具体的，该方法包括：
步骤S102，接收来自视频源的视频帧，所述视频帧包括时间戳；此处的视频源是待上采样的视频源。
步骤S104，基于所述时间戳确定所述视频帧的序号；
步骤S106，基于所述序号，判断所述视频帧对应的位置是否为插值位置；
步骤S108，如果是，则将所述视频帧在所述插值位置进行复制。
在可选的实施方式中，基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定插值位置的步骤可以通过以下步骤实现：
基于上述的频率差值和初始帧率的商，确定插值位置。
为了便于理解，下面以初始帧率为15帧，目标帧率为20帧，对该上采样方法进行举例说明：
由上可知，初始帧率和目标帧率的频率差值为5帧，则根据上述的频率差值(5帧)和初始帧率(15帧)的商，确定插值位置，可知，商为3，因此，确定的插值位置为第3帧、第6帧、第9帧、第12帧和第15帧。
接收的视频源包含有时间戳的视频帧，因此，按照时间顺序将视频帧进行排列，根据时间戳的先后对视频帧进行排序，确定每个视频帧的序号；对于视频源的每15个视频帧(这里以第一个15帧为例进行说明，序号为1、2、3、4、5、6、7、8、9、10、11、12、13、14、15)，依次判断当前序号的视频帧对应的位置是否为插值位置，根据上述确定的插值位置可知，对于序号为3、6、9、12、15的视频帧所对应的位置即为插值位置，因此，对序号为3、6、9、12、15的视频帧分别复制一个，即得到20帧(1、2、3、3、4、5、6、6、7、8、9、9、10、11、12、12、13、14、15、15)的视频帧。
需要说明的是，复制的视频帧可以插入在当前视频帧与当前视频帧的前一视频帧之间，即向前插入；复制的视频帧也可以插入在当前视频帧与当前视频帧的后一视频帧之间，即向后插入。
考虑到频率差值存在不能被初始帧率整除的情况，此时，可以先确定初始帧率和频率差值的公倍数(例如最小公倍数)然后将初始频率扩大至倍数数量的拓展视频帧率，然后再根据拓展视频帧率和频率差值的商，确定插帧位置。
例如，初始帧率为15帧，目标帧率为21帧，初始帧率与目标帧率的频率差值为6帧，频率差值和初始帧率的最小公倍数为30，因此，将初始帧率15(对应的视频源的视频帧为1-15)扩大至最小公倍数的拓展视频帧率30帧(对应的视频源的视频帧的序号为1-30)，然后根据拓展视频帧率(30帧)和频率差值(6帧)，得到商为5，然后按照上述的方法完成插帧即可。
通过将初始帧率扩展至公倍数的拓展视频阵列，即将初始帧率按比例作刻度，然后均匀的选择刻度插帧，图像的清晰度得到提高。
在可选的实施方式中，步骤S108中，将所述视频帧在所述插值位置进行复制包括以下子步骤：基于所述插值位置以及所述插值位置前的视频帧之间的运动量，在所述插值位置对所述视频帧进行复制。
为了便于理解，这里举例说明，例如插值位置的视频帧的运动为手抬起，插值位置前的视频帧的运动为手放下，运动量为手抬起到手放下，此时，在对插值位置对视频帧复制时，可以将该视频帧的手运动取点，首先将视频帧的运动确定为手居于放下和抬起的中间，其他(如背景等)不作改变；然后在插值位置中将手居于放下和抬起中间的该视频帧复制插入。
本申请实施例提供的视频帧上采样方法预先基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定插值位置；通过接收来自视频源的视频帧，视频帧包括时间戳；并基于时间戳确定所述视频帧的序号；然后基于所述序号，判断视频帧对应的位置是否为插值位置；如果是，则将视频帧在插值位置进行复制。因此，该视频帧上采样方法可以缓解现有技术中帧率转换效果差的技术问题，能够改善帧率转换效果。
如图2所示，本发明实施例提供一种视频帧下采样方法，预先基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定删除位置；这里的初始帧率大于目标帧率。可以理解的是，下采样为上采样的逆过程。
具体的，所述方法包括：
步骤S202，接收来自视频源的视频帧，所述视频帧包括时间戳；这里的视频源是指待下采样的视频源。
步骤S204，基于所述时间戳确定所述视频帧的序号；
步骤S206，基于所述序号，判断所述视频帧对应的位置是否为所述删除位置；
步骤S208，如果是，则将所述视频帧删除。
在可选的实施方式中，基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定删除位置的步骤，包括以下子步骤：
基于上述频率差值和上述初始帧率的商，确定删除位置。
本申请实施例提供的视频帧下采样方法预先基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定删除位置；通过接收来自视频源的视频帧，视频帧包括时间戳；并基于时间戳确定所述视频帧的序号；然后基于所述序号，判断视频帧对应的位置是否为删除位置；如果是，则将视频帧删除。因此，该视频帧下采样方法可以缓解现有技术中帧率转换效果差的技术问题，能够改善帧率转换效果。
如图3所示，本发明实施例提供一种视频直播的方法，包括视频帧上采样过程以及视频帧下采样过程；
其中，所述视频帧上采样过程，预先基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定插值位置；其中，上采样中的初始帧率小于目标帧率；所述视频帧上采样过程还包括：
步骤S302，接收来自视频源的视频帧，所述视频帧包括时间戳；其中该视频源是指待上采样的视频源。
步骤S304，基于所述时间戳确定所述视频帧的序号；
步骤S306，基于所述序号，判断所述视频帧对应的位置是否为所述插值位置；
步骤S308，如果所述视频帧对应的位置为所述插值位置，则将所述视频帧在所述插值位置进行复制；
所述视频帧下采样过程，预先基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定删除位置；其中下采样方法中的目标帧率小于初始帧率，所述视频帧下采样过程还包括：
步骤S310，接收来自视频源的视频帧，所述视频帧包括时间戳；其中该视频源是指待下采样的视频源。
步骤S312，基于所述时间戳确定所述视频帧的序号；
步骤S314，基于所述序号，判断所述视频帧对应的位置是否为所述删除位置；
步骤S316，如果是，则将所述视频帧删除。
即，如果所述视频帧对应的位置是所述删除位置，则将所述视频帧删除。
如图4所示，本发明实施例提供一种视频帧上采样装置，所述装置包括：第一插值模块401，第一接收模块402，第一确定模块403，第一判断模块404，以及复制模块405。
其中，第一插值模块401用于预先基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定插值位置；
第一接收模块402用于接收来自视频源的视频帧，所述视频帧包括时间戳；
第一确定模块403用于基于所述时间戳确定所述视频帧的序号；
第一判断模块404用于基于所述序号，判断所述视频帧对应的位置是否为所述插值位置；
复制模块405用于如果所述视频帧对应的位置是所述插值位置，则将所述视频帧在所述插值位置进行复制。
在可选的实施方式中，第一插值模块401在基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定插值位置时，用于基于所述频率差值和所述初始帧率的商，确定插值位置。
在可选的实施方式中，复制模块405在将所述视频帧在所述插值位置进行复制时，用于基于所述插值位置以及所述插值位置前的视频帧之间的运动量，在所述插值位置对所述视频帧进行复制。
在可选的实施方式中，复制模块405在将所述视频帧在所述插值位置进行复制时，用于基于所述插值位置以及所述插值位置后的视频帧之间的运动量，在所述插值位置对所述视频帧进行复制。
本发明实施例提供的视频帧上采样装置，与上述实施例提供的视频帧上采样方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
如图5所示，本发明实施例提供还一种视频帧下采样装置，所述装置包括：第二插值模块501，第二接收模块502，第二确定模块503，第二判断模块504，以及删除模块505。
其中，第二插值模块501用于预先基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定删除位置；
第二接收模块502用于接收来自视频源的视频帧，所述视频帧包括时间戳；
第二确定模块503用于基于所述时间戳确定所述视频帧的序号；
第二判断模块504用于基于所述序号，判断所述视频帧对应的位置是否为所述删除位置；
删除模块505用于如果所述视频帧对应的位置是所述删除位置，则将所述视频帧删除。
在可选的实施方式中，第二插值模块501在基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定删除位置时，用于基于所述频率差值和所述初始帧率的商，确定删除位置。
在可选的实施方式中，删除模块505在将所述视频帧删除时，用于基于所述删除位置以及所述删除位置前的视频帧之间的运动量，在所述插值位置对所述视频帧进行删除。
在可选的实施方式中，删除模块505在将所述视频帧删除时，用于基于所述删除位置以及所述删除位置够的视频帧之间的运动量，在所述删除位置对所述视频帧进行删除。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明实施例提供的视频帧下采样装置，与上述实施例提供的视频帧下采样方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
如图6所示，本发明实施例提供一种视频直播系统，包括内容分发网络服务器103、直播客户端101和观看客户端102，所述直播客户端101和所述观看客户端102均与所述内容分发网络服务器相连接；
其中，该内容分发网络(CDN)服务器包括上述实施例提及的视频帧上采样装置和视频帧下采样装置。
该直播客户端101可以是安装在终端设备中的用于发起直播的应用程序，能够通过有线网络或无线网络与内容分发网络服务器103进行通信，以向内容分发网络服务器103发送直播视频等数据，该观看客户端102可以是安装于终端设备中的用于观看直播的应用程序；能够通过有线网络或无线网络与内容分发网络服务器103进行通信，以从内容分发网络服务器103获取直播视频等数据。
上述的终端设备可以是移动设备(如智能手机、平板电脑、可穿戴设备等)，也可以是非移动电子设备，例如个人计算机等；上述的应用程序指为完成某项或多项特定工作的计算机程序，包括但不限于移动设备(如智能手机、平板电脑等)中的APP(application的缩写)。
在视频上采样过程中，所述内容分发网络服务器103用于预先基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定插值位置；接收来自所述直播客户端发送的视频源的视频帧，所述视频帧包括时间戳；基于所述时间戳确定所述视频帧的序号；基于所述序号，判断所述视频帧对应的位置是否为所述插值位置；如果是，则将所述视频帧在所述插值位置进行复制；将视频帧复制完成后的视频源进行存储；
在视频帧下采样过程中，所述内容分发网络服务器103用于预先基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定删除位置；获取存储的视频源的视频帧，所述视频帧包括时间戳；基于所述时间戳确定所述视频帧的序号；基于所述序号，判断所述视频帧对应的位置是否为所述删除位置；如果是，则将所述视频帧删除；将视频帧删除完成后的视频源发送至观看客服端。
在可选的实施方式中，获取存储的视频源的视频帧中，这里的视频源例如可以是经过上述上采样过程得到的复制完成后的视频源。
在可选的实施方式中，所述观看客户端可以包括直播客户端。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明实施例提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述前述实施方式任一项所述的方法的步骤。
参见图7，本发明实施例还提供一种电子设备100，包括：处理器40，存储器41，总线42和通信接口43，所述处理器40、通信接口43和存储器41通过总线42连接；处理器40用于执行存储器41中存储的可执行模块，例如计算机程序。
其中，存储器41可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口43(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线42可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器41用于存储程序，所述处理器40在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器40中，或者由处理器40实现。
处理器40可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器40中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器40可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器41，处理器40读取存储器41中的信息，结合其硬件完成上述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使所述处理器执行本申请实施例提供的上述的音频数据处理方法。
本文中，上述的处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种视频帧上采样方法，其特征在于，预先基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定插值位置；所述方法包括：
接收来自视频源的视频帧，所述视频帧包括时间戳；
基于所述时间戳确定所述视频帧的序号；
基于所述序号，判断所述视频帧对应的位置是否为所述插值位置；
如果是，则将所述视频帧在所述插值位置进行复制；
所述预先基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定插值位置包括：当所述频率差值不能被所述初始帧率整除时，确定所述初始帧率和所述频率差值的公倍数；将所述初始帧率扩大至公倍数数量的拓展视频帧率；根据所述拓展视频帧率和频率差值的商，确定插值位置；
将所述视频帧在所述插值位置进行复制的步骤，包括：
基于所述插值位置以及所述插值位置前的视频帧之间的运动量，在所述插值位置对所述视频帧进行复制。
2.根据权利要求1所述的方法，其特征在于，所述基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定插值位置，包括：
基于所述频率差值和所述初始帧率的商，确定插值位置。
3.一种视频帧下采样方法，其特征在于，预先基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定删除位置；所述方法包括：
接收来自视频源的视频帧，所述视频帧包括时间戳；
基于所述时间戳确定所述视频帧的序号；
基于所述序号，判断所述视频帧对应的位置是否为所述删除位置；
如果是，则将所述视频帧删除；
基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定删除位置的步骤，包括：基于所述频率差值和所述初始帧率的商，确定删除位置。
4.一种视频直播方法，其特征在于，包括视频帧上采样过程以及视频帧下采样过程；
其中，所述视频帧上采样过程，预先基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定插值位置，包括：当所述频率差值不能被所述初始帧率整除时，确定所述初始帧率和所述频率差值的公倍数；将所述初始帧率扩大至公倍数数量的拓展视频帧率；根据所述拓展视频帧率和频率差值的商，确定插值位置；所述视频帧上采样过程还包括：
接收来自视频源的视频帧，所述视频帧包括时间戳；
基于所述时间戳确定所述视频帧的序号；
基于所述序号，判断所述视频帧对应的位置是否为所述插值位置；
如果所述视频帧对应的位置为所述插值位置，则将所述视频帧在所述插值位置进行复制；
将所述视频帧在所述插值位置进行复制的步骤，包括：基于所述插值位置以及所述插值位置前的视频帧之间的运动量，在所述插值位置对所述视频帧进行复制；
所述视频帧下采样过程，预先基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定删除位置；所述视频帧下采样过程还包括：
接收来自视频源的视频帧，所述视频帧包括时间戳；
基于所述时间戳确定所述视频帧的序号；
基于所述序号，判断所述视频帧对应的位置是否为所述删除位置；
如果所述视频帧对应的位置是否为所述删除位置，则将所述视频帧删除；
基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定删除位置的步骤，包括：基于所述频率差值和所述初始帧率的商，确定删除位置。
5.一种视频帧上采样装置，其特征在于，所述装置包括：
第一插值模块，用于预先基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定插值位置；
第一接收模块，用于接收来自视频源的视频帧，所述视频帧包括时间戳；
第一确定模块，用于基于所述时间戳确定所述视频帧的序号；
第一判断模块，用于基于所述序号，判断所述视频帧对应的位置是否为所述插值位置；
复制模块，用于如果所述视频帧对应的位置是所述插值位置，则将所述视频帧在所述插值位置进行复制；
所述第一插值模块，还用于当所述频率差值不能被所述初始帧率整除时，确定所述初始帧率和所述频率差值的公倍数；将所述初始帧率扩大至公倍数数量的拓展视频帧率；根据所述拓展视频帧率和频率差值的商，确定插值位置；
所述复制模块还用于：基于所述插值位置以及所述插值位置前的视频帧之间的运动量，在所述插值位置对所述视频帧进行复制。
6.一种视频帧下采样装置，其特征在于，所述装置包括：
第二插值模块，用于预先基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定删除位置；
第二接收模块，用于接收来自视频源的视频帧，所述视频帧包括时间戳；
第二确定模块，用于基于所述时间戳确定所述视频帧的序号；
第二判断模块，用于基于所述序号，判断所述视频帧对应的位置是否为所述删除位置；
删除模块，用于如果所述视频帧对应的位置是所述删除位置，则将所述视频帧删除；
所述第二判断模块还用于基于所述频率差值和所述初始帧率的商，确定删除位置。
7.一种视频直播系统，其特征在于，包括内容分发网络服务器、直播客户端和观看客户端，所述直播客户端和所述观看客户端均与所述内容分发网络服务器相连接；
在视频上采样过程中，所述内容分发网络服务器用于预先基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定插值位置；当所述频率差值不能被所述初始帧率整除时，确定所述初始帧率和所述频率差值的公倍数；将所述初始帧率扩大至公倍数数量的拓展视频帧率；根据所述拓展视频帧率和频率差值的商，确定插值位置；接收来自所述直播客户端发送的视频源的视频帧，所述视频帧包括时间戳；基于所述时间戳确定所述视频帧的序号；基于所述序号，判断所述视频帧对应的位置是否为所述插值位置；如果是，则将所述视频帧在所述插值位置进行复制，具体包括：基于所述插值位置以及所述插值位置前的视频帧之间的运动量，在所述插值位置对所述视频帧进行复制；将视频帧复制完成后的视频源进行存储；
在视频帧下采样过程中，所述内容分发网络服务器用于预先基于初始帧率和目标帧率的频率差值，以及所述初始帧率，确定删除位置，具体包括：基于所述频率差值和所述初始帧率的商，确定删除位置；获取存储的视频源的视频帧，所述视频帧包括时间戳；基于所述时间戳确定所述视频帧的序号；基于所述序号，判断所述视频帧对应的位置是否为所述删除位置；如果是，则将所述视频帧删除；将视频帧删除完成后的视频源发送至观看客服端。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至4任一项所述的方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至4任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010070796.3A CN111263193B (zh) | 2020-01-21 | 2020-01-21 | 视频帧上下采样方法及装置、视频直播方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010070796.3A CN111263193B (zh) | 2020-01-21 | 2020-01-21 | 视频帧上下采样方法及装置、视频直播方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111263193A CN111263193A (zh) | 2020-06-09 |
| CN111263193B true CN111263193B (zh) | 2022-06-17 |
Family
ID=70950940
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010070796.3A Active CN111263193B (zh) | 2020-01-21 | 2020-01-21 | 视频帧上下采样方法及装置、视频直播方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111263193B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111885336B (zh) * | 2020-06-19 | 2022-03-29 | 成都东方盛行电子有限责任公司 | 一种帧模式下的非编帧率转换方法 |
| CN111885337B (zh) * | 2020-06-19 | 2022-03-29 | 成都东方盛行电子有限责任公司 | 一种多帧率视频高效编辑方法 |
| CN114501096A (zh) * | 2020-10-27 | 2022-05-13 | 西安钛铂锶电子科技有限公司 | 图像显示方法、图像显示装置和图像显示系统 |
| CN114025202B (zh) * | 2021-11-03 | 2024-05-07 | 抖音视界有限公司 | 视频处理方法、装置及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103248950A (zh) * | 2013-04-28 | 2013-08-14 | 天脉聚源(北京)传媒科技有限公司 | 一种视频帧率定制的系统及方法 |
| CN105049856A (zh) * | 2015-07-14 | 2015-11-11 | 无锡天脉聚源传媒科技有限公司 | 一种视频文件的处理方法及装置 |
| CN105282547A (zh) * | 2014-07-03 | 2016-01-27 | 深圳市腾讯计算机系统有限公司 | 一种视频编码的码率控制方法及装置 |
| CN105578207A (zh) * | 2015-12-18 | 2016-05-11 | 无锡天脉聚源传媒科技有限公司 | 一种视频帧率转换方法及装置 |
| CN105828106A (zh) * | 2016-04-15 | 2016-08-03 | 山东大学苏州研究院 | 一种基于运动信息的非整数倍帧率提升方法 |
| CN106210767A (zh) * | 2016-08-11 | 2016-12-07 | 上海交通大学 | 一种智能提升运动流畅性的视频帧率上变换方法及系统 |
| CN107295214A (zh) * | 2017-08-09 | 2017-10-24 | 湖南兴天电子科技有限公司 | 插值帧定位方法及装置 |
| CN110446072A (zh) * | 2019-08-14 | 2019-11-12 | 咪咕视讯科技有限公司 | 视频流切换方法、电子设备和存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6442203B1 (en) * | 1999-11-05 | 2002-08-27 | Demografx | System and method for motion compensation and frame rate conversion |
| CN1186933C (zh) * | 2002-12-26 | 2005-01-26 | 上海交通大学 | 数字电视视频编码器并行图象序列码率控制方法 |
| US7656374B2 (en) * | 2006-09-04 | 2010-02-02 | Vastview Technology, Inc. | Method for enhancing response speed of hold-typed display device |
| CN101616279B (zh) * | 2009-07-16 | 2011-07-13 | 宝利微电子系统控股公司 | 一种视频帧率上变换的方法和装置 |
| CN102761724B (zh) * | 2011-12-16 | 2017-11-10 | 新奥特（北京）视频技术有限公司 | 一种视音频处理的方法 |
| CN103929648B (zh) * | 2014-03-27 | 2017-04-19 | 华为技术有限公司 | 一种帧率上采样中的运动估计方法和装置 |
| CN106412581B (zh) * | 2016-06-21 | 2019-02-12 | 浙江大华技术股份有限公司 | 一种帧率控制方法及装置 |
| US20180199062A1 (en) * | 2017-01-11 | 2018-07-12 | Qualcomm Incorporated | Intra prediction techniques for video coding |
-
2020
- 2020-01-21 CN CN202010070796.3A patent/CN111263193B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103248950A (zh) * | 2013-04-28 | 2013-08-14 | 天脉聚源(北京)传媒科技有限公司 | 一种视频帧率定制的系统及方法 |
| CN105282547A (zh) * | 2014-07-03 | 2016-01-27 | 深圳市腾讯计算机系统有限公司 | 一种视频编码的码率控制方法及装置 |
| CN105049856A (zh) * | 2015-07-14 | 2015-11-11 | 无锡天脉聚源传媒科技有限公司 | 一种视频文件的处理方法及装置 |
| CN105578207A (zh) * | 2015-12-18 | 2016-05-11 | 无锡天脉聚源传媒科技有限公司 | 一种视频帧率转换方法及装置 |
| CN105828106A (zh) * | 2016-04-15 | 2016-08-03 | 山东大学苏州研究院 | 一种基于运动信息的非整数倍帧率提升方法 |
| CN106210767A (zh) * | 2016-08-11 | 2016-12-07 | 上海交通大学 | 一种智能提升运动流畅性的视频帧率上变换方法及系统 |
| CN107295214A (zh) * | 2017-08-09 | 2017-10-24 | 湖南兴天电子科技有限公司 | 插值帧定位方法及装置 |
| CN110446072A (zh) * | 2019-08-14 | 2019-11-12 | 咪咕视讯科技有限公司 | 视频流切换方法、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111263193A (zh) | 2020-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111263193B (zh) | 视频帧上下采样方法及装置、视频直播方法及系统 | |
| CN112565589B (zh) | 一种拍照预览方法、装置、存储介质和电子设备 | |
| CN110868625A (zh) | 一种视频播放方法、装置、电子设备及存储介质 | |
| CN107256259B (zh) | 页面显示方法、装置、电子设备以及存储介质 | |
| US20180324459A1 (en) | Method and device for compressing image, and electronic device | |
| CN112399123A (zh) | 视频清晰度的调整方法、装置、电子设备及存储介质 | |
| CN110989897B (zh) | 截屏图片的获取方法、装置、终端设备及存储介质 | |
| CN112218128A (zh) | 广告视频的播放方法、播放客户端及可读存储介质 | |
| CN112464301A (zh) | 一种图像显示方法及装置 | |
| CN112948627B (zh) | 一种报警视频生成方法、显示方法和装置 | |
| CN112001842A (zh) | 图片生成方法、装置、电子设备及计算机可读存储介质 | |
| CN113938750A (zh) | 视频处理方法、装置、电子设备和存储介质 | |
| CN113852763B (zh) | 音视频处理方法、装置、电子设备和存储介质 | |
| CN111045576A (zh) | 显示控制方法、显示控制装置、终端设备和电子设备 | |
| CN112367521B (zh) | 显示屏内容分享方法、装置、计算机设备和存储介质 | |
| CN112399196B (zh) | 图像处理方法及装置 | |
| CN113344161A (zh) | 动态qr码的生成方法、装置、计算机设备及存储介质 | |
| CN113259716A (zh) | 视频下发方法、视频获取方法、服务器、终端和系统 | |
| CN113014940A (zh) | 一种直播优化方法和装置 | |
| CN111179158A (zh) | 图像处理方法、装置、电子设备及介质 | |
| CN112911329B (zh) | 窗口直播方法、装置、电子设备和计算机可读存储介质 | |
| CN114760503B (zh) | 一种视频播放方法、装置、系统、电子设备及存储介质 | |
| CN113676765B (zh) | 交互动画展示方法及装置 | |
| CN113763860B (zh) | 显示颜色确定方法、装置、电子设备和存储介质 | |
| CN114170122A (zh) | 图像合成方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210301 Address after: Room 1702-03, Lantian Hesheng building, 32 Zhongguancun Street, Haidian District, Beijing 100082 Applicant after: BEIJING CENTURY TAL EDUCATION TECHNOLOGY Co.,Ltd. Address before: 102200 a1-05-001 maker Plaza, 338 Huilongguan East Street, Changping District, Beijing Applicant before: BEIJING SANTICLOUD TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |