CN117793458A - 一种视频处理方法、装置、计算机设备及存储介质 - Google Patents
一种视频处理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN117793458A CN117793458A CN202211178051.4A CN202211178051A CN117793458A CN 117793458 A CN117793458 A CN 117793458A CN 202211178051 A CN202211178051 A CN 202211178051A CN 117793458 A CN117793458 A CN 117793458A
- Authority
- CN
- China
- Prior art keywords
- video
- data
- optical flow
- frame
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 79
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000003062 neural network model Methods 0.000 claims abstract description 40
- 238000003780 insertion Methods 0.000 claims abstract description 17
- 230000037431 insertion Effects 0.000 claims abstract description 17
- 230000003287 optical effect Effects 0.000 claims description 129
- 230000006835 compression Effects 0.000 claims description 13
- 238000007906 compression Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013139 quantization Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 description 9
- 230000011218 segmentation Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- DRHKJLXJIQTDTD-OAHLLOKOSA-N Tamsulosine Chemical compound CCOC1=CC=CC=C1OCCN[C@H](C)CC1=CC=C(OC)C(S(N)(=O)=O)=C1 DRHKJLXJIQTDTD-OAHLLOKOSA-N 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请实施例公开了一种视频处理方法、装置、计算机设备及存储介质，该方法包括：接收终端设备发送的待处理视频，待处理视频为指定图像帧尺寸的视频；通过插帧神经网络模型对待处理视频进行处理，得到插帧数据；对插帧数据进行编码处理，得到编码数据；将编码数据发送给终端设备，以使得终端设备对编码数据进行解码得到解码数据，并根据解码数据确定待插入图像帧以及将待插入图像帧插入待处理视频中得到目标视频。通过这种方式，有助于提升插帧后得到目标视频的效率和质量。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种视频处理方法、装置、计算机设备及存储介质。
背景技术
目前对视频的智能插帧方案主要是在终端设备侧实现插帧，这种方式虽然能够实现实时的插帧能力，但是由于终端设备的计算能力有限，通过终端设备进行插帧的效率较低，且运动大的部位还可能会出现图像缺失、不连续等现象，影响插帧后视频的质量。因此，如何更高效、高质量的实现视频的智能插帧非常重要。
发明内容
本申请实施例提供了一种视频处理方法、装置、计算机设备及存储介质，可以提升插帧后得到目标视频的效率和质量。
第一方面，本申请实施例提供了一种视频处理方法，包括：
接收终端设备发送的待处理视频，所述待处理视频为指定图像帧尺寸的视频；
通过插帧神经网络模型对所述待处理视频进行处理，得到插帧数据；
对所述插帧数据进行编码处理，得到编码数据；
将所述编码数据发送给所述终端设备，以使得所述终端设备对所述编码数据进行解码得到解码数据，并根据所述解码数据确定待插入图像帧以及将所述待插入图像帧插入所述待处理视频中得到目标视频。
第二方面，本申请实施例提供了一种视频处理装置，包括：
接收单元，用于接收终端设备发送的待处理视频，所述待处理视频为指定图像帧尺寸的视频；
处理单元，用于通过插帧神经网络模型对所述待处理视频进行处理，得到插帧数据；
编码单元，用于对所述插帧数据进行编码处理，得到编码数据；
发送单元，用于将所述编码数据发送给所述终端设备，以使得所述终端设备对所述编码数据进行解码得到解码数据，并根据所述解码数据确定待插入图像帧以及将所述待插入图像帧插入所述待处理视频中得到目标视频。
第三方面，本申请实施例提供了一种计算机设备，所述计算机设备包括：处理器和存储器，所述处理器用于执行上述第一方面所述的方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有程序指令，该程序指令被执行时实现上述第一方面所述的方法。
本申请实施例可以接收终端设备发送的待处理视频；通过插帧神经网络模型对待处理视频进行处理，得到插帧数据；对插帧数据进行编码处理，得到编码数据；将编码数据发送给终端设备，以使得终端设备对编码数据进行解码得到解码数据，并根据解码数据确定待插入图像帧以及将待插入图像帧插入待处理视频中得到目标视频。通过这种方式，有助于提升插帧后得到目标视频的效率和质量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种视频处理系统的流程示意图；
图2是本申请实施例提供的一种视频处理交互方法的流程示意图；
图3是本申请实施例提供的一种视频处理方法的流程示意图；
图4是本申请实施例提供的另一种视频处理方法的流程示意图；
图5是本申请实施例提供的另一种视频处理交互方法的流程示意图；
图6是本申请实施例提供的一种视频处理装置的结构示意图；
图7是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提出了一种视频处理方案，当服务器接收到终端设备发送的待处理视频时，可以通过插帧神经网络模型对待处理视频进行处理，得到插帧数据；对插帧数据进行编码处理，得到编码数据；将编码数据发送给终端设备，以使得终端设备对编码数据进行解码得到解码数据，并根据解码数据确定待插入图像帧以及将待插入图像帧插入待处理视频中得到目标视频。通过利用具有强大计算能力的服务器计算出插帧数据，有助于提高对视频数据处理的效率，进一步利用终端设备确定待插入图像帧并将待插入图像帧插入待处理视频中得到目标视频，有助于提高视频插帧的稳定性和质量。
本申请提供了一种视频处理方法，可应用于需要在视频中插入图像帧的场景，如视频慢放等场景。
本申请实施例中提供的视频处理方法可以应用于一种视频处理系统，该视频处理系统包括服务器和终端设备，在某些实施例中，该服务器可以包括但不限于云端服务器，在某些实施例中，该终端设备可以包括但不限于智能手机、平板电脑、笔记本电脑、台式电脑、车载智能终端、智能手表等智能终端设备。
具体请参见图1，图1是本申请实施例提供的一种视频处理系统的流程示意图，本申请实施例的视频处理系统包括服务器11和终端设备12。用户可以通过终端设备12获取原始视频，在某些实施例中，在通过终端设备获取原始视频时，可以利用终端设备12的图像获取装置(如摄像头)拍摄获取原始视频，终端设备12也可以从其他平台或终端获取原始视频，终端设备12还可以从本地获取原始视频如从终端设备12的本地相册中获取原始视频。终端设备12在获取到原始视频之后，可以将原始视频压缩转换为指定图像帧尺寸的待处理视频，该指定图像帧尺寸小于原始视频中每个图像帧的尺寸，其中，图像帧的尺寸包括图像帧的长和宽，用于指示图像帧的大小，如每帧图片的大小。进一步地，终端设备12可以将待处理视频发送给服务器11，服务器11通过插帧神经网络模型对该待处理视频进行处理，得到插帧数据；并对该插帧数据进行编码处理，得到编码数据；进一步将编码数据发送给终端设备12。终端设备12可以对接收到的编码数据进行解码得到解码数据，并根据该解码数据确定待插入图像帧以及将该待插入图像帧插入该待处理视频中得到目标视频。
本申请通过这种利用服务器计算待处理视频的插帧数据，并根据插帧数据在终端设备确定待插入帧的方式，有助于提高视频插帧的效率和质量。
下面结合附图对本申请实施例提供的视频处理方法进行示意性说明。
具体请参见图2，图2是本申请实施例提供的一种视频处理交互方法的流程示意图，本申请实施例的视频处理方法可以应用视频处理系统，视频处理系统包括终端设备和服务器。
S201：终端设备获取原始视频，并将原始视频压缩转换为指定图像帧尺寸的待处理视频。
本申请实施例中，终端设备可以获取原始视频，并将原始视频压缩转换为指定图像帧尺寸的待处理视频。在某些实施例中，指定图像帧尺寸小于原始视频中每个图像帧的尺寸。例如，待处理视频可以是终端设备将尺寸为720p的原始视频压缩转换为指定图像帧尺寸为360p的待处理视频。在某些实施例中，该待处理视频可以包括但不限于完整视频或者部分视频如视频片段，例如待处理视频为60s内的视频。
S202：终端设备将待处理视频发送给服务器。
本申请实施例中，终端设备可以将待处理视频发送给服务器。
S203：服务器接收终端设备发送的待处理视频，并通过插帧神经网络模型对所述待处理视频进行处理，得到插帧数据。
本申请实施例中，服务器可以接收终端设备发送的待处理视频，并通过插帧神经网络模型对所述待处理视频进行处理，得到插帧数据。
S204：服务器对插帧数据进行编码处理，得到编码数据。
本申请实施例中，服务器可以对插帧数据进行编码处理，得到编码数据。在某些实施例中，该编码数据包括光流信息和遮挡信息。在某些实施例中，该编码数据的格式包括但不限于图像格式。
S205：服务器将编码数据发送给终端设备。
本申请实施例中，服务器可以将编码数据发送给终端设备。
S206：终端设备接收编码数据。
本申请实施例中，终端设备可以接收编码数据。
S207：终端设备对编码数据进行解码得到解码数据，并根据解码数据确定待插入图像帧以及将待插入图像帧插入待处理视频中得到目标视频。
本申请实施例中，终端设备可以对编码数据进行解码得到解码数据，并根据解码数据确定待插入图像帧以及将待插入图像帧插入待处理视频中得到目标视频。
在一个实施例中，终端设备可以获取用户设置的慢速特效的慢速倍速，并根据获取到的慢速倍速和解码数据确定待插入图像帧。进一步地，终端设备可以获取待处理视频的开始时刻，并根据该慢速倍速和解码数据确定待插入图像帧在待处理视频中待插入的位置和数量。
在一个实施例中，用户可以通过终端设备选择慢速特效并设置慢速倍数，终端设备可以对编码数据进行解码得到解码数据，并根据解码数据和慢速倍数渲染出一个或多个图像帧。
在一个实施例中，终端设备在对编码数据进行解码时，首先可以获取待处理视频的开始时刻，根据开始时刻获取到服务器下发的编码数据即光流信息和遮挡信息mask，然后对光流信息和mask进行解码。例如，先将360p大小的光流信息/mask放到到720p尺寸，再根据flow1.jpg/flow2.jpg和minmax.txt文件线性缩放回来得到flow1/flow2/mask，另外还需要对flow再放大2倍(因为360p的像素偏移反应到720p图上就需要x2)。
在某些实施例中，慢速倍数介于0-1之间，假设有0.1/0.2/0.3/0.4/0.5/0.6/0.7/0.8/0.9x 9种选择。假设用户当前选择了0.2x慢速，则需要在每两个图像帧之间插出4个中间帧，分别是0.2-0.4-0.6-0.8时刻的图像帧，而服务器下发的是0.5时刻的两个光流信息和mask，因此还需要先用一个插值算法近似出其他4个时刻的光流信息和mask。
对于光流来说可采用线性缩放方式近似t时刻的光流即flow1_t＝flow1*t/0.5,flow2_t＝flow2*(1-t)*0.5，对于mask来说使用mask_t＝clip(mask-0.5+1-t,0,1)来近似(clip为截断函数)，有了当前时刻的flow_t和mask_t后，即可进行渲染，即
warp1＝backwardwarp(frame,flow1_t)
warp2＝backwardwarp(nextframe,flow2_t)
output＝warp1*mask_t+warp2*(1-mask_t)
其中，frame和nextframe为相邻两个图像帧，backwardwarp为图像扭曲函数，等同opencv的remap函数。
为了在终端设备支持任意倍数的慢速，可以采用插值算法代替网络生成的光流信息。通常RIFE插帧算法可以接受中间时刻t作为网络输入，输出t时刻的中间帧，每个时刻的中间帧就需要对应的t来生成光流信息和遮挡信息，但这会造成较大的推理耗时和下发视频的成本。研究发现有了t＝0.5时刻的光流信息和遮挡信息之后，其他任意时刻的光流信息和遮挡信息都可以通过简单的插值方式近似模拟出来，因此可以采用插值算法生成中间任意时刻的光流遮挡信息然后合成出中间任意帧，这也使得服务器下发的信息大小又降低了10倍。
后续为了将智能插帧能力与闪光视频中其他特效相兼容(以核心用到的AI算法人体分割为例)，当用户对已经叠加闪光特效的片段进行慢速时，可以先对原始视频进行慢速插帧再叠加该闪光特效，其中的问题就是新生成的中间帧的AI分割结果是未知的，为了估计中间插帧的分割结果，直接复用了服务器下发的光流信息和遮挡信息，来对AI分割结果进行同样的插帧逻辑生成对应的分割结果，有助于降低延迟，并使分割更稳定。
本申请实施例通过服务器计算待处理视频的插帧数据，有助于提高数据处理的效率，通过终端设备确定出待插入帧，有助于提高插帧视频的质量和灵活性。
具体请参见图3，图3是本申请实施例提供的一种视频处理方法的流程示意图，本申请实施例的视频处理方法可以由视频处理装置执行，其中，该视频处理装置设置于计算机设备中，在某些实施例中，该计算机设备可以为服务器。
S301：接收终端设备发送的待处理视频，该待处理视频为指定图像帧尺寸的视频。
本申请实施例中，计算机设备可以接收终端设备发送的待处理视频，该待处理视频为指定图像帧尺寸的视频。
S302：通过插帧神经网络模型对该待处理视频进行处理，得到插帧数据。
本申请实施例中，计算机设备可以通过插帧神经网络模型对该待处理视频进行处理，得到插帧数据。在某些实施例中，该插帧数据包括光流信息和遮挡信息。
在一个实施例中，计算机设备在通过插帧神经网络模型对该待处理视频进行处理，得到插帧数据时，可以获取该待处理视频的多个图像帧；并将多个图像帧中各相邻两个图像帧输入该插帧神经网络模型，得到各相邻两个图像帧之间的光流信息和遮挡信息。
在某些实施例中，计算机设备可以将多个图像帧中的其中相邻两个图像帧输入插帧神经网络模型时，可以得到该相邻两个图像帧的两个光流信息和一个遮挡信息。
例如，服务器可以将待处理视频中的相邻两个图像帧第0帧和第1帧输入插帧神经网络模型，输出第0帧和第1帧对应的两个光流信息(记第一光流flow1为0.5时刻到第0帧的光流，以及记第二光流为0.5时刻到第1帧的光流)和一个遮挡信息(记为mask)。
在一个实施例中，计算机设备在通过插帧神经网络模型对待处理视频进行处理，得到插帧数据之前，可以获取实时中间流估计算法RIFE模型的结构信息；并根据RIFE模型的结构信息删除RIFE模型中的目标网络结构，得到插帧神经网络模型。在某些实施例中，该目标网络结构可以为refine网络结构。
通过删除RIFE模型中的refine网络结构这种方式对RIFE模型进行改进，得到插帧神经网络模型，可以使得插帧神经网络模型返回两个光流信息和一个遮挡信息，有助于减少推理获取插帧数据的推理时间，还可以提升插帧后的视频的效果，例如具体可以表现为视频中移动的物体由原来的模糊不清甚至缺失变为前后帧重影的效果。
S303：对该插帧数据进行编码处理，得到编码数据。
本申请实施例中，计算机设备可以对该插帧数据进行编码处理，得到编码数据。
在一个实施例中，计算机设备在对该插帧数据进行编码处理，得到编码数据时，可以对插帧数据中各相邻两个图像帧之间的光流信息进行压缩处理，得到光流压缩数据；以及，对插帧数据中各相邻两个图像帧之间的遮挡信息进行压缩处理，得到遮挡压缩数据；根据光流压缩数据和遮挡压缩数据确定编码数据。
S304：将编码数据发送给终端设备，以使得终端设备对编码数据进行解码得到解码数据，并根据解码数据确定待插入图像帧以及将待插入图像帧插入待处理视频中得到目标视频。
本申请实施例中，计算机设备可以将编码数据发送给终端设备，以使得终端设备对编码数据进行解码得到解码数据，并根据解码数据确定待插入图像帧以及将待插入图像帧插入待处理视频中得到目标视频。
本申请实施例通过改进的插帧神经网络模型对待处理视频进行处理，确定出插帧数据，可以减少确定插帧数据的时间，有助于改善获取插帧视频的效果和质量，通过对插帧数据进行编码压缩，可以缩小插帧数据，有助于提高服务器将插帧数据传输给终端设备的速度，提高数据处理的效率。
具体请参见图4，图4是本申请实施例提供的另一种视频处理方法的流程示意图，本申请实施例的视频处理方法可以由视频处理装置执行，其中，该视频处理装置设置于计算机设备中，其中，该计算机设备的具体解释如前所述。本申请实施例是对待处理视频进行处理得到编码数据的说明，具体地，本申请实施例的方法包括如下步骤。
S401：接收终端设备发送的待处理视频，该待处理视频为指定图像帧尺寸的视频。
本申请实施例中，计算机设备可以接收终端设备发送的待处理视频，该待处理视频为指定图像帧尺寸的视频。
S402：获取待处理视频的多个图像帧，将多个图像帧中各相邻两个图像帧输入插帧神经网络模型，得到各相邻两个图像帧之间的光流信息和遮挡信息。
本申请实施例中，计算机设备可以获取待处理视频的多个图像帧，将多个图像帧中各相邻两个图像帧输入插帧神经网络模型，得到各相邻两个图像帧之间的光流信息和遮挡信息。
S403：对插帧数据中各相邻两个图像帧之间的光流信息进行压缩处理，得到光流压缩数据；以及，对插帧数据中各相邻两个图像帧之间的遮挡信息进行压缩处理，得到遮挡压缩数据。
本申请实施例中，计算机设备可以对插帧数据中各相邻两个图像帧之间的光流信息进行压缩处理，得到光流压缩数据；以及，对插帧数据中各相邻两个图像帧之间的遮挡信息进行压缩处理，得到遮挡压缩数据。
在一个实施例中，计算机设备在对插帧数据中各相邻两个图像帧之间的光流信息进行压缩处理，得到光流压缩数据时，可以根据各相邻两个图像帧之间的光流信息，确定每个光流的最大值和最小值；根据最大值和最小值对光流信息进行压缩处理，得到光流压缩数据。
在一个实施例中，计算机设备在根据最大值和最小值对光流信息进行压缩处理，得到光流压缩数据时，可以根据最大值和最小值对光流信息进行线性缩放处理，得到缩放光流信息；按照指定图像格式对缩放光流信息进行量化处理，得到光流压缩数据。
在一个实施例中，该缩放光流信息通常包括两个通道，计算机设备在按照指定图像格式对缩放光流信息进行量化处理，得到光流压缩数据时，由于图像对应的颜色RGB通道为3个通道，因此可以为缩放光流信息添加1个全0通道，从而得到3个通道的缩放光流信息，以便于按照指定图像格式对添加1个全0通道后的缩放光流信息进行量化处理，得到光流压缩数据。其中，得到的光流压缩数据的格式为图像格式如jpg格式。
例如，假设光流flow大小为HxWx2，计算机设备可以计算flow的最大值flow_max和最小值flow_min，并根据最大值flow_max和最小值flow_min将光流flow线性缩放到0-255，即flow＝(flow-flow_min)/(flow_max-flow_min)*255，加上一个全零通道后，再用JPEG量化压缩成jpg图片格式(如可记为flow1.jpg/flow2.jpg)，另外由于mask介于0-1之间，因此可以将介于0-1之间的mask压缩成jpg格式(记为mask.jpg)。最后将图像(或图像帧)转成字节流，并压缩到zip文件中，此外还需要把每个光流的flow_min和flow_max也写(压缩)到zip中，用于后续解码恢复数据(记为minmax.txt，每行4个浮点数分别是[flow1_min,flow1_max,flow2_min,flow2_max])。
为了让服务器下发的光流信息和遮挡信息大小在可接受的范围内，可以将光流信息量化为uint8类型，并采用JPEG压缩方法编码成jpg图像格式，以进一步减小光流信息，最后转换成字节流写入zip包中，这套压缩方法大大降低了光流的存储大小，如降低了100倍。
本申请通过对插帧数据进行压缩编码处理，可以减小传输插帧数据的大小，有助于提高传输插帧数据的效率。
S404：根据光流压缩数据和遮挡压缩数据确定编码数据。
本申请实施例中，计算机设备可以根据光流压缩数据和遮挡压缩数据确定编码数据。
在一个实施例中，计算机设备在根据光流压缩数据和遮挡压缩数据确定编码数据时，可以将光流压缩数据和遮挡压缩数据转换成字节流；对字节流以及各相邻两个图像帧之间的光流信息的最大值和最小值进行压缩处理得到编码数据。
S405：将编码数据发送给终端设备，以使得终端设备对编码数据进行解码得到解码数据，并根据解码数据确定待插入图像帧以及所述待插入图像帧插入待处理视频中得到目标视频。
本申请实施例中，计算机设备可以将编码数据发送给终端设备，以使得终端设备对编码数据进行解码得到解码数据，并根据解码数据确定待插入图像帧以及所述待插入图像帧插入待处理视频中得到目标视频。
本申请实施例通过改进的插帧神经网络模型对待处理视频进行处理，确定出包括光流信息和遮挡信息的插帧数据，可以减少确定插帧数据的时间，有助于改善获取插帧视频的效果和质量，通过对光流信息和遮挡信息进行编码压缩，可以进一步缩小光流信息和遮挡信息，有助于提高服务器将光流信息和遮挡信息传输给终端设备的速度，提高数据处理的效率。
请参见图5，图5是本申请实施例提供的另一种视频处理交互方法的流程示意图，如图5所示，用户可以上传原始视频如图像帧的尺寸为720p视频至终端设备的客户端，终端设备的客户端可以将原始视频压缩转码为待处理视频如图像帧的尺寸为360p，并将待处理视频上传至服务器如云端服务器，服务器可以根据待处理视频生成包括光流信息和遮挡信息的插帧数据(该插帧数据可以为视频流)，服务器可以对插帧数据进行编码处理，得到编码数据，并将编码数据发送给终端设备，以使该终端设备对编码数据进行解码得到解码数据，并根据解码数据渲染出待插入图像帧以及将待插入图像帧插入待处理视频中得到目标视频。
在一个实施例中，用户可以通过终端设备的客户端设置慢速播放的慢速倍数，以使得终端设备可以根据慢速倍速确定待插入图像帧的数量和位置，并根据待插入图像帧的数量和位置将待插入图像帧插入待处理视频中得到目标视频。这种方式有助于提升插帧视频的质量和效率。
请参见图6，图6是本申请实施例提供的一种视频处理装置的结构示意图。具体的，所述装置设置于计算机设备中，所述装置包括：接收单元601、处理单元602、编码单元603以及发送单元604；
接收单元601，用于接收终端设备发送的待处理视频，所述待处理视频为指定图像帧尺寸的视频；
处理单元602，用于通过插帧神经网络模型对所述待处理视频进行处理，得到插帧数据；
编码单元603，用于对所述插帧数据进行编码处理，得到编码数据；
发送单元604，用于将所述编码数据发送给所述终端设备，以使得所述终端设备对所述编码数据进行解码得到解码数据，并根据所述解码数据确定待插入图像帧以及将所述待插入图像帧插入所述待处理视频中得到目标视频。
进一步地，所述处理单元602通过插帧神经网络模型对所述待处理视频进行处理，得到插帧数据时，具体用于：
获取所述待处理视频的多个图像帧；
将所述多个图像帧中各相邻两个图像帧输入所述插帧神经网络模型，得到各相邻两个图像帧之间的光流信息和遮挡信息。
进一步地，所述编码单元603对所述插帧数据进行编码处理，得到编码数据时，具体用于：
对所述插帧数据中各相邻两个图像帧之间的光流信息进行压缩处理，得到光流压缩数据；以及，
对所述插帧数据中各相邻两个图像帧之间的遮挡信息进行压缩处理，得到遮挡压缩数据；
根据所述光流压缩数据和所述遮挡压缩数据确定所述编码数据。
进一步地，所述编码单元603对所述插帧数据中各相邻两个图像帧之间的光流信息进行压缩处理，得到光流压缩数据时，具体用于：
根据所述各相邻两个图像帧之间的光流信息，确定每个光流的最大值和最小值；
根据所述最大值和最小值对所述光流信息进行压缩处理，得到所述光流压缩数据。
进一步地，所述编码单元603根据所述最大值和最小值对所述光流信息进行压缩处理，得到所述光流压缩数据时，具体用于：
根据所述最大值和最小值对所述光流信息进行线性缩放处理，得到缩放光流信息；
按照指定图像格式对所述缩放光流信息进行量化处理，得到所述光流压缩数据。
进一步地，所述编码单元603根据所述光流压缩数据和所述遮挡压缩数据确定所述编码数据时，具体用于：
将所述光流压缩数据和所述遮挡压缩数据转换成字节流；
对所述字节流以及所述各相邻两个图像帧之间的光流信息的最大值和最小值进行压缩处理得到所述编码数据。
进一步地，所述处理单元602通过插帧神经网络模型对所述待处理视频进行处理，得到插帧数据之前，还用于：
获取实时中间流估计算法RIFE模型的结构信息；
根据所述RIFE模型的结构信息删除所述RIFE模型中的目标网络结构，得到所述插帧神经网络模型。
本申请实施例可以接收终端设备发送的待处理视频；通过插帧神经网络模型对待处理视频进行处理，得到插帧数据；对插帧数据进行编码处理，得到编码数据；将编码数据发送给终端设备，以使得终端设备对编码数据进行解码得到解码数据，并根据解码数据确定待插入图像帧以及将待插入图像帧插入待处理视频中得到目标视频。通过这种方式，有助于提升插帧后得到目标视频的效率和质量。
请参见图7，图7是本申请实施例提供的一种计算机设备的结构示意图。具体的，所述计算机设备包括：存储器701、处理器702。
在一种实施例中，所述计算机设备还包括数据接口703，所述数据接口703，用于传递计算机设备和其他设备之间的数据信息。
所述存储器701可以包括易失性存储器(volatile memory)；存储器701也可以包括非易失性存储器(non-volatile memory)；存储器701还可以包括上述种类的存储器的组合。所述处理器702可以是中央处理器(central processing unit，CPU)。所述处理器702还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specificintegrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)或其任意组合。
所述存储器701用于存储程序，所述处理器702可以调用存储器701中存储的程序，用于执行如下步骤：
接收终端设备发送的待处理视频，所述待处理视频为指定图像帧尺寸的视频；
通过插帧神经网络模型对所述待处理视频进行处理，得到插帧数据；
对所述插帧数据进行编码处理，得到编码数据；
将所述编码数据发送给所述终端设备，以使得所述终端设备对所述编码数据进行解码得到解码数据，并根据所述解码数据确定待插入图像帧以及将所述待插入图像帧插入所述待处理视频中得到目标视频。
进一步地，所述处理器702通过插帧神经网络模型对所述待处理视频进行处理，得到插帧数据时，具体用于：
获取所述待处理视频的多个图像帧；
将所述多个图像帧中各相邻两个图像帧输入所述插帧神经网络模型，得到各相邻两个图像帧之间的光流信息和遮挡信息。
进一步地，所述处理器702对所述插帧数据进行编码处理，得到编码数据时，具体用于：
对所述插帧数据中各相邻两个图像帧之间的光流信息进行压缩处理，得到光流压缩数据；以及，
对所述插帧数据中各相邻两个图像帧之间的遮挡信息进行压缩处理，得到遮挡压缩数据；
根据所述光流压缩数据和所述遮挡压缩数据确定所述编码数据。
进一步地，所述处理器702对所述插帧数据中各相邻两个图像帧之间的光流信息进行压缩处理，得到光流压缩数据时，具体用于：
根据所述各相邻两个图像帧之间的光流信息，确定每个光流的最大值和最小值；
根据所述最大值和最小值对所述光流信息进行压缩处理，得到所述光流压缩数据。
进一步地，所述处理器702根据所述最大值和最小值对所述光流信息进行压缩处理，得到所述光流压缩数据时，具体用于：
根据所述最大值和最小值对所述光流信息进行线性缩放处理，得到缩放光流信息；
按照指定图像格式对所述缩放光流信息进行量化处理，得到所述光流压缩数据。
进一步地，所述处理器702根据所述光流压缩数据和所述遮挡压缩数据确定所述编码数据时，具体用于：
将所述光流压缩数据和所述遮挡压缩数据转换成字节流；
对所述字节流以及所述各相邻两个图像帧之间的光流信息的最大值和最小值进行压缩处理得到所述编码数据。
进一步地，所述处理器702通过插帧神经网络模型对所述待处理视频进行处理，得到插帧数据之前，还用于：
获取实时中间流估计算法RIFE模型的结构信息；
根据所述RIFE模型的结构信息删除所述RIFE模型中的目标网络结构，得到所述插帧神经网络模型。
本申请实施例可以接收终端设备发送的待处理视频；通过插帧神经网络模型对待处理视频进行处理，得到插帧数据；对插帧数据进行编码处理，得到编码数据；将编码数据发送给终端设备，以使得终端设备对编码数据进行解码得到解码数据，并根据解码数据确定待插入图像帧以及将待插入图像帧插入待处理视频中得到目标视频。通过这种方式，有助于提升插帧后得到目标视频的效率和质量。
本申请的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本申请图2或图3或图4或图5所对应实施例中描述的方法，也可实现图6所述本申请所对应实施例的装置，在此不再赘述。
所述计算机可读存储介质可以是前述任一实施例所述的设备的内部存储单元，例如设备的硬盘或内存。所述计算机可读存储介质也可以是所述设备的外部存储设备，例如所述设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述计算机设备所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种实施方式中提供的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本申请的部分实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于本发明所涵盖的范围。
Claims (10)
1.一种视频处理方法，其特征在于，包括：
接收终端设备发送的待处理视频，所述待处理视频为指定图像帧尺寸的视频；
通过插帧神经网络模型对所述待处理视频进行处理，得到插帧数据；
对所述插帧数据进行编码处理，得到编码数据；
将所述编码数据发送给所述终端设备，以使得所述终端设备对所述编码数据进行解码得到解码数据，并根据所述解码数据确定待插入图像帧以及将所述待插入图像帧插入所述待处理视频中得到目标视频。
2.根据权利要求1所述的方法，其特征在于，所述通过插帧神经网络模型对所述待处理视频进行处理，得到插帧数据，包括：
获取所述待处理视频的多个图像帧；
将所述多个图像帧中各相邻两个图像帧输入所述插帧神经网络模型，得到各相邻两个图像帧之间的光流信息和遮挡信息。
3.根据权利要求2所述的方法，其特征在于，所述对所述插帧数据进行编码处理，得到编码数据，包括：
对所述插帧数据中各相邻两个图像帧之间的光流信息进行压缩处理，得到光流压缩数据；以及，
对所述插帧数据中各相邻两个图像帧之间的遮挡信息进行压缩处理，得到遮挡压缩数据；
根据所述光流压缩数据和所述遮挡压缩数据确定所述编码数据。
4.根据权利要求3所述的方法，其特征在于，所述对所述插帧数据中各相邻两个图像帧之间的光流信息进行压缩处理，得到光流压缩数据，包括：
根据所述各相邻两个图像帧之间的光流信息，确定每个光流的最大值和最小值；
根据所述最大值和最小值对所述光流信息进行压缩处理，得到所述光流压缩数据。
5.根据权利要求4所述的方法，其特征在于，所述根据所述最大值和最小值对所述光流信息进行压缩处理，得到所述光流压缩数据，包括：
根据所述最大值和最小值对所述光流信息进行线性缩放处理，得到缩放光流信息；
按照指定图像格式对所述缩放光流信息进行量化处理，得到所述光流压缩数据。
6.根据权利要求5所述的方法，其特征在于，所述根据所述光流压缩数据和所述遮挡压缩数据确定所述编码数据，包括：
将所述光流压缩数据和所述遮挡压缩数据转换成字节流；
对所述字节流以及所述各相邻两个图像帧之间的光流信息的最大值和最小值进行压缩处理得到所述编码数据。
7.根据权利要求1所述的方法，其特征在于，所述通过插帧神经网络模型对所述待处理视频进行处理，得到插帧数据之前，还包括：
获取实时中间流估计算法RIFE模型的结构信息；
根据所述RIFE模型的结构信息删除所述RIFE模型中的目标网络结构，得到所述插帧神经网络模型。
8.一种视频处理装置，其特征在于，包括：
接收单元，用于接收终端设备发送的待处理视频，所述待处理视频为指定图像帧尺寸的视频；
处理单元，用于通过插帧神经网络模型对所述待处理视频进行处理，得到插帧数据；
编码单元，用于对所述插帧数据进行编码处理，得到编码数据；
发送单元，用于将所述编码数据发送给所述终端设备，以使得所述终端设备对所述编码数据进行解码得到解码数据，并根据所述解码数据确定待插入图像帧以及将所述待插入图像帧插入所述待处理视频中得到目标视频。
9.一种计算机设备，其特征在于，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-8任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序指令，该程序指令被执行时实现如权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211178051.4A CN117793458A (zh) | 2022-09-26 | 2022-09-26 | 一种视频处理方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211178051.4A CN117793458A (zh) | 2022-09-26 | 2022-09-26 | 一种视频处理方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117793458A true CN117793458A (zh) | 2024-03-29 |
Family
ID=90387711
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211178051.4A Pending CN117793458A (zh) | 2022-09-26 | 2022-09-26 | 一种视频处理方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117793458A (zh) |
-
2022
- 2022-09-26 CN CN202211178051.4A patent/CN117793458A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11936884B2 (en) | Coded-block-flag coding and derivation | |
| US10977809B2 (en) | Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings | |
| CN112449140B (zh) | 视频超分辨率处理方法及装置 | |
| US8908982B2 (en) | Image encoding device and image encoding method | |
| WO2023005140A1 (zh) | 视频数据处理方法、装置、设备以及存储介质 | |
| KR20180098117A (ko) | 디코딩된 이미지 데이터로부터 이미지 데이터를 재구성하기 위한 방법 및 디바이스 | |
| CN111510739B (zh) | 一种视频传输方法及装置 | |
| US20070064275A1 (en) | Apparatus and method for compressing images | |
| WO2024078066A1 (zh) | 视频解码方法、视频编码方法、装置、存储介质及设备 | |
| Xia et al. | Visual sensitivity-based low-bit-rate image compression algorithm | |
| CN108668169B (zh) | 图像信息处理方法及装置、存储介质 | |
| CN115941958A (zh) | 一种视频编码方法、装置、电子设备及存储介质 | |
| CN117793458A (zh) | 一种视频处理方法、装置、计算机设备及存储介质 | |
| CN113747242B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111279694A (zh) | Gdr码流编码方法、终端设备、机器可读存储介质 | |
| Yang et al. | Graph-convolution network for image compression | |
| KR20000029715A (ko) | 화상매핑장치및방법과화상생성장치및방법 | |
| CN109905715B (zh) | 插入sei数据的码流转换方法及系统 | |
| CN114240750A (zh) | 视频分辨率提升方法及装置、存储介质及电子设备 | |
| CN115706810A (zh) | 视频帧调整方法、装置、电子设备和存储介质 | |
| CN116708793B (zh) | 视频的传输方法、装置、设备及存储介质 | |
| WO2023133889A1 (zh) | 图像处理方法、装置、遥控设备、系统及存储介质 | |
| CN114401406A (zh) | 一种面部视频编码方法、解码方法及装置 | |
| CN113298705A (zh) | 一种图像超分辨率处理方法及装置 | |
| CN115766990A (zh) | 一种视频处理方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |