CN113014928A - 一种补偿帧生成方法及装置 - Google Patents

一种补偿帧生成方法及装置 Download PDF

Info

Publication number
CN113014928A
CN113014928A CN202110184257.7A CN202110184257A CN113014928A CN 113014928 A CN113014928 A CN 113014928A CN 202110184257 A CN202110184257 A CN 202110184257A CN 113014928 A CN113014928 A CN 113014928A
Authority
CN
China
Prior art keywords
video frame
target
relative displacement
region
displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110184257.7A
Other languages
English (en)
Other versions
CN113014928B (zh
Inventor
柳政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202110184257.7A priority Critical patent/CN113014928B/zh
Publication of CN113014928A publication Critical patent/CN113014928A/zh
Application granted granted Critical
Publication of CN113014928B publication Critical patent/CN113014928B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)

Abstract

本发明实施例提供了一种补偿帧生成方法及装置，上述方法包括：获取第一视频帧和第二视频帧，在所述第二视频帧中确定与所述第一视频帧中目标区域满足预设的图像特征相似度条件的第一区域、并确定与所述目标区域满足预设的像素值相似度条件的第二区域；确定所述目标区域与所述第一区域间的第一相对位移，并确定所述目标区域与所述第二区域间的第二相对位移；基于所述第一相对位移和第二相对位移，确定所述目标区域包含的图像内容的目标相对位移；基于所述目标相对位移，生成所述第一视频帧和第二视频帧的补偿帧。应用本发明实施例提供的方案，能够提高所生成补偿帧的质量。

Description

一种补偿帧生成方法及装置
技术领域
本发明涉及图像处理技术领域，特别是涉及一种补偿帧生成方法及装置。
背景技术
为了提高视频的帧率，可以对视频进行视频插帧。视频插帧是指在两个视频帧之间插入新的视频帧，且所插入的视频帧和两个视频帧具有较强的内容相关性，以此保证视频的内容流畅性，所插入的视频帧又可以称为补偿帧。现有技术中在进行视频插帧，所生成的补偿帧通常会发生纹理异常、错位等问题，尤其是对于高速运动视频，所生成的补偿帧显示异常情况更加明显。因此，亟需一种补偿帧生成方法，以提高所生成补偿帧的质量。
发明内容
本发明实施例的目的在于提供一种补偿帧生成方法及装置，以提高所生成补偿帧的质量。具体技术方案如下：
第一方面，本发明实施例提供了一种补充帧生成方法，所述方法包括：
获取第一视频帧和第二视频帧；
在所述第二视频帧中确定与所述第一视频帧中目标区域满足预设的图像特征相似度条件的第一区域、并确定与所述目标区域满足预设的像素值相似度条件的第二区域；
确定所述目标区域与所述第一区域间的第一相对位移，并确定所述目标区域与所述第二区域间的第二相对位移；
基于所述第一相对位移和第二相对位移，确定所述目标区域包含的图像内容的目标相对位移；
基于所述目标相对位移，生成所述第一视频帧和第二视频帧的补偿帧。
本发明的一个实施例中，上述基于所述第一相对位移和第二相对位移，确定所述目标区域包含的图像内容的目标相对位移，包括：
按照所述第一相对位移对应的第一权重以及所述第二相对位移对应的第二权重，对所述第一相对位移和所述第二相对位移进行加权求和，得到所述目标区域包含的图像内容的目标相对位移。
本发明的一个实施例中，上述第一权重为：基于所述第一相对位移的第一预设重要性程度确定的权重，所述第二权重为：基于所述第二相对位移的第二预设重要性程度确定的权重。
本发明的一个实施例中，上述基于所述目标相对位移，生成所述第一视频帧和第二视频帧的补偿帧，包括：
根据所述目标相对位移所指向的正方向，确定加载所述第一视频帧中目标区域包含的图像内容的第一加载位置，并根据所述目标相对位移所指向的反方向，确定加载所述第二视频帧中目标区域包含的图像内容的第二加载位置；
基于所述第一加载位置，加载所述第一视频帧中目标区域包含的图像内容，并基于所述第二加载位置，加载所述第二视频帧中目标区域包含的图像内容，生成所述第一视频帧和第二视频帧的补偿帧。
本发明的一个实施例中，在生成多张补偿帧的情况下，所述根据所述目标相对位移所指向的正方向，确定加载所述第一视频帧中目标区域包含的图像内容的第一加载位置，包括：
根据补偿帧的数量、所述目标相对位移所指向的正方向以及各补偿帧的序号，确定加载所述第一视频帧中目标区域包含的图像内容的各第一加载位置。
本发明的一个实施例中，在生成多张补偿帧的情况下，所述根据所述目标相对位移所指向的反方向，确定加载所述第二视频帧中目标区域包含的图像内容的第二加载位置，包括：
根据补偿帧的数量、所述目标相对位移所指向的反方向以及各补偿帧的序号，确定加载所述第二视频帧中目标区域包含的图像内容的各第二加载位置。
本发明的一个实施例中，在所述目标区域的数量为多个的情况下，按照以下方式确定目标区域的目标相对位移：
针对每一目标区域，在所述第二视频帧中确定与该目标区域满足预设的图像特征相似度条件的第一区域、并确定与该目标区域满足预设的像素值相似度条件的第二区域；
确定该目标区域与所述第一区域间的第一相对位移，并确定该目标区域与所述第二区域间的第二相对位移；
基于所述第一相对位移和第二相对位移，确定该目标区域包含的图像内容的目标相对位移；
所述基于所述目标相对位移，生成所述第一视频帧和第二视频帧的补偿帧，包括：
针对每一目标区域，根据该目标区域的相对目标位移所指向的正方向，确定加载所述第一视频帧中目标区域包含图像内容的加载位置，并根据该目标区域的相对目标位移所指向的反方向，确定加载所述第二视频帧中目标区域包含图像内容的加载位置；
基于所述第一视频帧中各目标区域对应的加载位置，加载所述第一视频帧中各目标区域包含的图像内容，并基于所述第二视频帧中各目标区域对应的加载位置，加载所述第二视频帧中各目标区域包含的图像内容，生成第一视频帧和第二视频帧的补偿帧。
本发明的一个实施例中，上述预设的图像特征相似度条件为：所述第一区域与所述目标区域的图像特征相似度最大；
和/或
所述预设的像素值相似度条件为：所述第二区域与所述目标区域的像素值相似度最大。
本发明的一个实施例中，上述第一视频帧和第二视频帧相邻。
本发明的一个实施例中，上述第一相对位移为按照以下方式获得的位移：
采用预先训练的第一相对位移估算模型，获得所述第一视频帧中目标区域包含的图像内容相对于所述第二视频帧中第一估算区域包含的图像内容的相对位移，作为第一相对位移，其中，所述第一相对位移估算模型以估算位移相对于实际位移的差异最小为估算目标。
本发明的一个实施例中，上述第一相对位移估算模型采用以下方式训练得到：
获得第一样本视频帧和第二样本视频帧；
获得所述第一样本视频帧中每一第一样本区域相对于所述第二样本视频帧中区域的实际位移；
针对每一第一样本区域，采用所述第一相对位移估算模型的第一初始模型，估算该区域相对于所述第二样本视频帧中对应区域的估算位移，并以该区域的估算位移相对于实际位移最小为训练目标，调整所述第一初始模型的参数，得到所述第一相对位移估算模型。
本发明的一个实施例中，上述第二相对位移为按照以下方式获得的位移：
获取所述第一视频帧中的目标区域相对于所述第二视频帧中第二估算区域的第二相对位移，作为第二相对位移，其中，所述第二相对位移估算模型以基于估算位移得到的视频帧相对于实际视频帧的像素差异最小为估算目标。
本发明的一个实施例中，上述第二相对位移估算模型采用以下方式训练得到：
获得第三样本视频帧、第四样本视频帧和第五样本视频帧；
针对所述第三样本视频帧中的每一第二样本区域，采用所述第二相对位移估算模型的第二初始模型，估算该区域相对于所述第五样本视频帧中对应区域的估算位移；
基于估算得到的各个估算位移、所述第三样本视频帧和第五样本视频帧，生成补偿帧；
以所生成的视频帧相对于所述第四样本视频帧的像素差异最小为训练目标，调整所述第二初始模型的参数，得到所述第二相对位移估算模型。
第二方面，本发明实施例提供了一种补偿帧生成装置，所述装置包括：
视频帧获取模块，用于获取第一视频帧和第二视频帧；
区域确定模块，用于在所述第二视频帧中确定与所述第一视频帧中目标区域满足预设的图像特征相似度条件的第一区域、并确定与所述目标区域满足预设的像素值相似度条件的第二区域；
第一位移确定模块，用于确定所述目标区域与所述第一区域间的第一相对位移，并确定所述目标区域与所述第二区域间的第二相对位移；
第二位移确定模块，用于基于所述第一相对位移和第二相对位移，确定所述目标区域包含的图像内容的目标相对位移；
补偿帧生成模块，用于基于所述目标相对位移，生成所述第一视频帧和第二视频帧的补偿帧。
本发明的一个实施例中，上述第二位移确定模块，具体用于按照所述第一相对位移对应的第一权重以及所述第二相对位移对应的第二权重，对所述第一相对位移和所述第二相对位移进行加权求和，得到所述目标区域包含的图像内容的目标相对位移。
本发明的一个实施例中，上述第一权重为：基于所述第一相对位移的第一预设重要性程度确定的权重，所述第二权重为：基于所述第二相对位移的第二预设重要性程度确定的权重。
本发明的一个实施例中，上述补偿帧生成，包括：
位置确定子模块，用于根据所述目标相对位移所指向的正方向，确定加载所述第一视频帧中目标区域包含的图像内容的第一加载位置，并根据所述目标相对位移所指向的反方向，确定加载所述第二视频帧中目标区域包含的图像内容的第二加载位置；
补偿帧生成子模块，用于基于所述第一加载位置，加载所述第一视频帧中目标区域包含的图像内容，并基于所述第二加载位置，加载所述第二视频帧中目标区域包含的图像内容，生成所述第一视频帧和第二视频帧的补偿帧。
本发明的一个实施例中，在生成多张补偿帧的情况下，所述位置确定子模块，具体用于根据补偿帧的数量、所述目标相对位移所指向的正方向以及各补偿帧的序号，确定加载所述第一视频帧中目标区域包含的图像内容的各第一加载位置。
本发明的一个实施例中，在生成多张补偿帧的情况下，所述位置确定子模块，具体用于根据补偿帧的数量、所述目标相对位移所指向的反方向以及各补偿帧的序号，确定加载所述第二视频帧中目标区域包含的图像内容的各第二加载位置。
本发明的一个实施例中，在所述目标区域的数量为多个的情况下，具体按照以下方式确定目标区域的目标相对位移：针对每一目标区域，在所述第二视频帧中确定与该目标区域满足预设的图像特征相似度条件的第一区域、并确定与该目标区域满足预设的像素值相似度条件的第二区域；确定该目标区域与所述第一区域间的第一相对位移，并确定该目标区域与所述第二区域间的第二相对位移；基于所述第一相对位移和第二相对位移，确定该目标区域包含的图像内容的目标相对位移；
所述补偿帧生成模块，具体用于针对每一目标区域，根据该目标区域的相对目标位移所指向的正方向，确定加载所述第一视频帧中目标区域包含图像内容的加载位置，并根据该目标区域的相对目标位移所指向的反方向，确定加载所述第二视频帧中目标区域包含图像内容的加载位置；基于所述第一视频帧中各目标区域对应的加载位置，加载所述第一视频帧中各目标区域包含的图像内容，并基于所述第二视频帧中各目标区域对应的加载位置，加载所述第二视频帧中各目标区域包含的图像内容，生成第一视频帧和第二视频帧的补偿帧。
本发明的一个实施例中，上述预设的图像特征相似度条件为：所述第一区域与所述目标区域的图像特征相似度最大；
和/或
所述预设的像素值相似度条件为：所述第二区域与所述目标区域的像素值相似度最大。
本发明的一个实施例中，上述第一视频帧和第二视频帧相邻。
本发明的一个实施例中，上述第一相对位移为按照以下方式获得的位移：
采用预先训练的第一相对位移估算模型，获得所述第一视频帧中目标区域包含的图像内容相对于所述第二视频帧中第一估算区域包含的图像内容的相对位移，作为第一相对位移，其中，所述第一相对位移估算模型以估算位移相对于实际位移的差异最小为估算目标。
本发明的一个实施例中，上述第一相对位移估算模型采用以下方式训练得到：
获得第一样本视频帧和第二样本视频帧；
获得所述第一样本视频帧中每一第一样本区域相对于所述第二样本视频帧中区域的实际位移；
针对每一第一样本区域，采用所述第一相对位移估算模型的第一初始模型，估算该区域相对于所述第二样本视频帧中对应区域的估算位移，并以该区域的估算位移相对于实际位移最小为训练目标，调整所述第一初始模型的参数，得到所述第一相对位移估算模型。
本发明的一个实施例中，上述第二相对位移为按照以下方式获得的位移：
获取所述第一视频帧中的目标区域相对于所述第二视频帧中第二估算区域的第二相对位移，作为第二相对位移，其中，所述第二相对位移估算模型以基于估算位移得到的视频帧相对于实际视频帧的像素差异最小为估算目标。
本发明的一个实施例中，上述第二相对位移估算模型采用以下方式训练得到：
获得第三样本视频帧、第四样本视频帧和第五样本视频帧；
针对所述第三样本视频帧中的每一第二样本区域，采用所述第二相对位移估算模型的第二初始模型，估算该区域相对于所述第五样本视频帧中对应区域的估算位移；
基于估算得到的各个估算位移、所述第三样本视频帧和第五样本视频帧，生成补偿帧；
以所生成的视频帧相对于所述第四样本视频帧的像素差异最小为训练目标，调整所述第二初始模型的参数，得到所述第二相对位移估算模型。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面所述的方法步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法步骤。
由以上可见，应用本发明实施例提供的方案生成补偿帧时，由于目标相对位移是基于第一相对位移和第二相对位移得到的，上述第一相对位移能够较为准确反映目标区域的运动信息，上述第二相对位移能够较为准确反映目标区域的视觉效果信息，因此，目标相对位移既较为准确地表示目标区域包含的图像内容的实际位移信息、且基于上述目标相对位移得到的补偿帧的视觉效果也较为接近第一视频帧和第二视频帧的视觉效果。这样，基于上述目标相对位移生成的第一视频帧和第二视频帧补偿帧时，所生成的补偿帧能够较为准确反映的目标区域的运动信息和视觉效果信息，也就是所生成的补偿帧中各个区域所在位置较为准确、且所生成的补偿帧的视觉效果与第一视频帧和第二视频帧的视觉效果较为接近，因此，应用本发明实施例提供的方案能够生成较为准确的用于插入至两个视频帧之间的补偿帧，从而使得所生成的补偿帧的质量较高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种补偿帧生成方法的流程示意图；
图2为本发明实施例提供的第一相对位移和第二相对位移的示意图；
图3a为本发明实施例提供的一种补偿帧的示意图；
图3b为本发明实施例提供的另一种补偿帧的示意图；
图4为本发明实施例提供的一种目标相对位移的示意图；
图5为本发明实施例提供的一种补偿帧生成方法的流程框图；
图6为本发明实施例提供的一种补偿帧生成装置的结构示意图；
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了生成用于插入至视频帧之间的视频帧，本发明实施例提供了一种补偿帧生成方法及装置。
本发明的一个实施例中，提供了一种补偿帧生成方法，上述方法包括：
获取第一视频帧和第二视频帧；
在第二视频帧中确定与第一视频帧中目标区域满足预设的图像特征相似度条件的第一区域、并确定与目标区域满足预设的像素值相似度条件的第二区域；
确定目标区域与第一区域间的第一相对位移，并确定目标区域与第二区域间的第二相对位移；
基于第一相对位移和第二相对位移，确定目标区域包含的图像内容的目标相对位移；
基于目标相对位移，生成第一视频帧和第二视频帧的补偿帧。
由以上可见，应用本实施例提供的方案生成补偿帧时，由于目标相对位移是基于第一相对位移和第二相对位移得到的，上述第一相对位移能够较为准确反映目标区域的运动信息，上述第二相对位移能够较为准确反映目标区域的视觉效果信息，因此，目标相对位移既较为准确地表示目标区域包含的图像内容的实际位移信息、且基于上述目标相对位移得到的补偿帧的视觉效果也较为接近第一视频帧和第二视频帧的视觉效果。这样，基于上述目标相对位移生成的第一视频帧和第二视频帧补偿帧时，所生成的补偿帧能够较为准确反映的目标区域的运动信息和视觉效果信息，也就是所生成的补偿帧中各个区域所在位置较为准确、且所生成的补偿帧的视觉效果与第一视频帧和第二视频帧的视觉效果较为接近，因此，应用本实施例提供的方案能够生成较为准确的用于插入至两个视频帧之间的补偿帧，从而使得所生成的补偿帧的质量较高。
参见图1，图1为本发明实施例提供的一种补偿帧生成方法的流程示意图，上述方法包括步骤S101-步骤S105。
步骤S101：获取第一视频帧和第二视频帧。
具体的，当视频的画面为静态画面时，上述第一视频帧和第二视频帧可以为视频中的任意两个视频帧。例如：可以为视频的第一个视频帧和最后一个视频帧。
当视频的画面为运动画面时，上述第一视频帧与第二视频帧可以为相邻视频帧。
在获得上述相邻的第一视频帧和第二视频帧时，可以从视频的各个视频帧中任意选择两个视频帧，作为第一视频帧和第二视频帧；还可以从视频的各个视频帧中选择两个相邻的视频帧，作为第一视频帧和第二视频帧。还可以直接获得相邻的第一视频帧和第二视频帧。
步骤S102：在第二视频帧中确定与第一视频帧中目标区域满足预设的图像特征相似度条件的第一区域、并确定与目标区域满足预设的像素值相似度条件的第二区域。
上述第一视频帧中目标区域可以包括第一视频帧中各个区域，例如：可以将第一视频帧划分为8*8、16*16等大小的区域，上述目标区域包括所划分的各个区域。
上述第一视频帧中目标区域还可以包括第一视频帧中部分区域，具体的，上述目标区域可以为单个像素点所在区域，还可以为包含多个像素点所在区域，例如：目标区域可以是第一视频帧中包含对象各个像素点的区域、用户感兴趣区域等。
具体的，上述第一区域可以是提取第一视频帧中目标区域包含的图像内容的第一图像特征，并提取第二视频帧中第一预设区域范围内的区域包含的图像内容的第二图像特征，确定满足预设的图像特征相似度条件的第一区域。
上述第一图像特征用于反映第一视频帧中目标区域包含的图像内容的图像内容信息，第二图像特征用于反映第二视频帧中第一区域包含的图像内容的第二图像特征。
在提取上述第一图像特征、第二图像特征时，可以采用图像特征提取算法对第一视频帧中目标区域包含的图像内容的图像特征进行特征提取，并对第二视频帧中区域包含的图像内容的图像特征进行特征提取，得到第一图像特征和第二图像特征。
上述预设的图像特征相似度条件可以为：第一区域与目标区域的图像特征大于预设相似度阈值。满足上述条件的第一区域可以表示该第一区域包含的图像内容与目标区域包含的图像内容较为相似。
在这种条件下，上述第一区域可以是将第一图像特征与各第二图像特征进行匹配，在匹配结果中选择匹配度大于预设相似度阈值的区域作为第一区域。
上述预设的图像特征相似度条件还可以为：第一区域与目标区域的图像特征相似度最大。在这种条件下，上述第一区域可以是将第一图像特征与各第二图像特征进行匹配，在匹配结果中选择匹配度最大的区域作为第一区域。这样，可以较为准确地确定与目标区域包含的图像内容最相似的第二视频帧中的区域。
具体的，上述第二区域可以是从第二视频帧中第二预设区域范围内的区域中，确定与目标区域满足预设的像素值差异阈值的区域。
上述预设的像素值相似度条件可以为：第二区域与目标区域的像素值相似度大于预设相似度阈值。满足上述条件的第二区域可以表示该第二区域的视觉效果与目标区域的视觉效果较为相似。
在这种条件下，上述第二区域可以是将第一视频帧中目标区域包含的图像内容的像素值和第二视频帧中第二预设区域范围内的区域包含的图像内容的像素值进行匹配，在匹配结果中选择匹配度大于预设相似度阈值的区域作为第二区域。
上述预设的像素值相似度条件还可以为：第二区域与目标区域的像素值相似度最大。满足上述条件的第二区域可以表示该第二区域的视觉效果与目标区域的视觉效果最为相似。
在这种条件下，上述第二区域可以是将第一视频帧中目标区域包含的图像内容的像素值和第二视频帧中第二预设区域范围内的区域包含的图像内容的像素值进行匹配，在匹配结果中选择匹配度最大的区域作为第二区域。
步骤S103：确定目标区域与第一区域间的第一相对位移，并确定目标区域与第二区域间的第二相对位移。
由于上述第一相对位移为目标区域与第一区域间的位置，上述第一区域为满足预设的图像特征相似度条件的区域，也就是第一区域包含的图像内容与目标区域包含的图像内容较为相似，所以上述第一相对位移能够较为准确反映目标区域的运动信息。
由于上述第二相对位移为目标区域与第二区域间的位置，上述第二区域为满足预设的像素值相似度条件的区域，也就是第二区域的视觉效果与目标区域的视觉效果较为相似，所以上述第二相对位移能够较为准确反映目标区域的像素信息。
由于视频记录的是一个连续变化过程，需要保证视频具有较好的内容流畅性，若基于第二相对位移得到的视频帧相对于实际视频帧的像素差异较大时，也就是基于第二相对位移得到的视频帧与实际视频帧间的差异较大，会使得插入上述视频帧的视频的内容较为突兀，导致视频的内容流畅性较差，若基于第二相对位移得到的视频帧相对于实际视频帧的像素差异较小时，也就是基于第二相对位移得到的视频帧与实际视频帧间的差异较小，会使得插入上述视频帧的视频的内容较为和谐，视频的内容流畅性较优。所以，基于上述第二相对位移生成的视频帧的视觉效果与第一视频帧和第二视频帧的视觉效果较为相似时，能够提高插入补偿帧的视频的内容流畅性。
确定上述第一相对位移时，可以确定在同一坐标系下目标区域所在的第一位置与第一区域所在的第二位置，将第一位置作为第一相对位移的初位置，将第二位置作为第一相对位移的末位置，将第一位置指向第二位置的方向确定第一相对位移的方向，从而确定第一相对位移。
以图2为例，图2为本发明实施例提供的第一相对位移和第二相对位移的示意图，标识为(1)的图像表示第一视频帧，图像中A表示第一视频帧中目标区域所处位置；标识为(2)的图像表示第二视频帧，图像中B表示第二视频帧中第一区域所处位置，由A指向B的有向线段为第一相对位移
Figure BDA0002942360280000121
图像中C表示第二视频帧中第二区域所处位置，由A指向C的有向线段为第二相对位移
Figure BDA0002942360280000122
确定上述第二相对位移时，可以确定在同一坐标系下第二区域所在的第三位置，将第一位置作为第二相对位移的初位置，将第三位置作为第二相对位移的末位置，将第一位置指向第三位置的方向确定第二相对位移的方向，从而确定第二相对位移。
步骤S104：基于第一相对位移和第二相对位移，确定目标区域包含的图像内容的目标相对位移。
具体的，可以对第一相对位移和第二相对位移进行数据融合，得到目标区域包含的图像内容的目标相对位移。更为具体的，可以计算第一视频帧中目标区域的第一相对位移和第二相对位移的平均值，将计算得到的平均值作为目标区域的目标相对位移。
还可以按照第一相对位移对应的第一权重以及第二相对位移对应的第二权重，对第一相对位移和第二相对位移进行加权求和，得到第一视频帧中目标区域包含的图像内容的目标相对位移。这样，由于是基于权重进行加权求和，从而能够得到较为准确地目标相对位移。
具体的，上述第一权重可以为：基于第一相对位移的第一预设重要性程度确定的权重，第二权重可以为：基于第二相对位移的第二预设重要性程度确定的权重。
可以对位移的重要性程度划分为3个等级，分为非常重要、重要和不重要三个等级，每一等级均对应权重范围，其中，非常重要等级对应包含权重值较大的权重范围，重要等级对应包含权重值中等的权重范围，不重要等级对应包含权重值较小的权重范围。
当第一相对位移的第一预设重要性程度为重要程度时，从包含权重值中等的权重范围中选取第一权重；当第二相对位移的第二预设重要性程度为不重要等级时，从包含权重值较小的权重范围中选取第二权重。
上述第一权重和第二权重可以由工作人员根据经验设定的。例如：上述第一权重可以为1/3、上述第二权重可以为2/3。
步骤S105：基于目标相对位移，生成第一视频帧和第二视频帧的补偿帧。
由于上述第一相对位移较为接近第一视频帧中的目标区域相对于第二视频帧中对应区域的实际位移，且基于上述第二相对位移得到的视频帧的视觉效果也较为接近用于插入至第一视频帧和第二视频帧之间的实际补偿帧的视觉效果。因此，基于第一相对位移和第二相对位移得到的目标相对位移既较为接近上述实际位移、且基于上述目标相对位移得到的视频帧的视觉效果也较为接近实际补偿帧的视觉效果。
具体的，在生成补偿帧时，可以在第一视频帧中，按照目标相对位移所指向的正方向，复制第一视频帧中目标区域包含的图像内容，并保留第一视频帧除目标区域外的区域的图像内容；在第二视频帧中，按照目标相对位移所指向的反方向，复制第二视频帧中相同位置处目标区域包含的图像内容，并保留第二视频帧中除目标区域外的区域的图像内容。将复制后第一视频帧和第二视频帧进行图像融合，将融合后的视频帧作为补偿帧。
参见图3a，图3b，图3a为本发明实施例提供的一种补偿帧的示意图，图3b为本发明实施例提供的另一种补偿帧的示意图。
图3a表示基于第二相对位移得到的补偿帧，由图3a可以看出，在图像中具有重复纹理的情况下，出现了纹理异常。这是因为第二相对位移难以较为准确地反映各个区域包含的图像内容的真实运动信息，所以在图像具有重复纹理的情况下，会出现图像异常的情况。
图3b表示基于目标相对位移得到的补偿帧，由图3b可以看出，在图像中具有重复纹理的情况下，相较于图3a解决了纹理异常的问题。这是由于目标相对位移准确地表示目标区域包含的图像内容的实际位移信息、且基于上述目标相对位移生成的视觉效果与第一视频帧和第二视频帧的视觉效果较为相似，因此，图3b的图像克服了图3a中出现纹理异常的问题，同时使得图3b的图像的视觉效果较佳。
具体的，在获得上述补偿帧后，可以将补偿帧插入至第一视频帧和第二视频帧之间，以提高第一视频帧和第二视频帧所在视频的帧率。
由以上可见，应用本实施例提供的方案生成补偿帧时，由于目标相对位移是基于第一相对位移和第二相对位移得到的，上述第一相对位移能够较为准确反映目标区域的运动信息，上述第二相对位移能够较为准确反映目标区域的视觉效果信息，因此，目标相对位移既较为准确地表示目标区域包含的图像内容的实际位移信息、且基于上述目标相对位移得到的补偿帧的视觉效果也较为接近第一视频帧和第二视频帧的视觉效果。这样，基于上述目标相对位移生成的第一视频帧和第二视频帧补偿帧时，所生成的补偿帧能够较为准确反映的目标区域的运动信息和视觉效果信息，也就是所生成的补偿帧中各个区域所在位置较为准确、且所生成的补偿帧的视觉效果与第一视频帧和第二视频帧的视觉效果较为接近，因此，应用本实施例提供的方案能够生成较为准确的用于插入至两个视频帧之间的补偿帧，从而使得所生成的补偿帧的质量较高。
本发明的一个实施例中，可以按照以下步骤A1-步骤A2生成补偿帧。
步骤A1：根据目标相对位移所指向的正方向，确定加载第一视频帧中目标区域包含的图像内容的第一加载位置，并根据目标相对位移所指向的反方向，确定加载第二视频帧中目标区域包含的图像内容的第二加载位置。
目标相对位移所指向的正方向为：在同一坐标系下由第一视频帧中目标区域所处位置指向第一区域所处位置的方向。
以图4为例，图4为本发明实施例提供的一种目标相对位移的示意图，图4中P表示第一视频帧中目标区域所处位置(1,3)，Q表示第二视频帧中与目标区域相对应区域所处位置(4,6)，图4以左上角为坐标原点，水平向右方向为横轴正方向，竖直向下方向为纵轴正方向，P指向Q的有向线段表示目标相对位移
Figure BDA0002942360280000151
其中，P指向Q的方向为目标相对位移所指向的正方向。
上述第一加载位置可以是第一视频帧中的位置，在这种情况下，在确定上述第一加载位置时，可以以目标区域所在位置为起点，按照目标相对位移所指向的正方向，确定在第一视频帧中目标相对位移所指向的位置，作为第一加载位置。
还可以创建第一目标帧，上述第一加载位置还可以是上述第一目标帧中的位置，在这种情况下，确定上述第一加载位置时，可以以第一目标帧中目标区域所在位置为起点，按照目标相对位置所指向的正方向，确定在第一目标帧中目标相对位移所指向的位置，作为第一加载位置。
目标相对位移所指向的反方向为：在同一坐标系下由第二视频帧中目标区域所处位置指向第一区域所处位置的方向。
上述第二加载位置可以是第二视频帧中的位置，在这种情况下，在确定上述第二加载位置时，可以以第二视频帧中目标区域所在位置为起点，按照目标相对位移所指向的反方向，确定在第二视频帧中目标相对位移所指向的位置，作为第二加载位置。
还可以创建第二目标帧，上述第二加载位置还可以是上述第二目标帧中的位置，在这种情况下，确定上述第二加载位置时，可以以第二目标帧中目标区域所在位置为起点，按照目标相对位置所指向的反方向，确定在第二目标帧中目标相对位移所指向的位置，作为第二加载位置。
步骤A2：基于第一加载位置，加载第一视频帧中目标区域包含的图像内容，并基于第二加载位置，加载第二视频帧中目标区域包含的图像内容，生成第一视频帧和第二视频帧的补偿帧。
具体的，可以基于第一加载位置，确定第一加载区域。更为具体的，可以得到包含第一加载位置的预设范围的第一加载区域。上述预设范围可以与第一视频帧中目标区域的区域范围相同，还可以与第一视频帧中目标区域的区域范围间的差异在预设差异范围内。例如：可以以第一加载位置为第一加载区域的起点，得到预设范围的第一加载区域，还可以以第一加载位置为区域中心点，得到预设范围的第一加载区域。
当第一加载位置为第一视频帧中的位置时，上述第一加载区域为第一视频帧中的区域；当第一加载位置为第一目标帧中的位置时，上述第一加载区域为第一目标帧中的区域。
在加载过程中，当第一加载区域为第一视频帧中的区域时，可以将第一视频帧中目标区域包含的图像内容加载至第一视频帧的第一加载区域中，覆盖第一视频帧中第一加载区域包含的原图像内容。在这种情况下，第一视频帧中除目标区域外的区域的图像内容可以不进行重新加载。
具体的，可以将目标区域包含的图像内容复制至第一加载区域内，还可以将目标区域内每一像素点的像素值作为第一加载区域内相对应每一像素点的像素值。
当第一加载区域为第一目标帧中的区域时，可以将第一视频帧中目标区域包含的图像内容加载至第一目标帧的第一加载区域中，覆盖第一目标帧中第一加载区域包含的原图像内容，并且可以将第一视频帧中除目标区域外的区域均加载至第一目标帧中相对应的区域中。
具体的，可以将目标区域包含的图像内容复制至第一目标帧中第一加载区域内，还可以将目标区域内每一像素点的像素值作为第一目标帧中第一加载区域内相对应每一像素点的像素值。
上述第二视频帧中目标区域是指与第一视频帧中同一位置处的目标区域。
具体的，可以基于第二加载位置，确定第二加载区域。更为具体的，可以得到包含第二加载位置的预设范围的第二加载区域。上述预设范围可以与第二视频帧中目标区域的区域范围相同，还可以与第二视频帧中目标区域的区域范围间的差异在预设差异范围内。例如：可以以第二加载位置为第二加载区域的起点，得到预设范围的第二加载区域，还可以以第二加载位置为区域中心点，得到预设范围的第二加载区域。
当第二加载位置为第二视频帧中的位置时，上述第二加载区域为第二视频帧中的区域；当第二加载位置为第二目标帧中的位置时，上述第二加载区域为第二目标帧中的区域。
在加载过程中，当第二加载区域为第二视频帧中的区域时，可以将第二视频帧中目标区域包含的图像内容加载至第二视频帧的第二加载区域中，覆盖第二视频帧中第二加载区域包含的原图像内容。在这种情况下，第二视频帧中除目标区域外的区域的图像内容可以不进行重新加载。
具体的，可以将目标区域包含的图像内容复制至第二加载区域内，还可以将目标区域内每一像素点的像素值作为第二加载区域内相对应每一像素点的像素值。
当第二加载区域为第二目标帧中的区域时，可以将第二视频帧中目标区域包含的图像内容加载至第二目标帧的第二加载区域中，覆盖第二目标帧中第二加载区域包含的原图像内容，并且可以将第二视频帧中除目标区域外的区域均加载至第二目标帧中相对应的区域中。
具体的，可以将目标区域包含的图像内容复制至第二目标帧中第二加载区域内，还可以将目标区域内每一像素点的像素值作为第二目标帧中第二加载区域内相对应每一像素点的像素值。
在得到加载图像内容后的视频帧后，可以将所得到的视频帧进行图像融合，得到第一视频帧和第二视频帧的补偿帧。
具体的，在对第一视频帧和第二视频帧的基础上进行加载时，可以将加载后的第一视频帧和第二视频帧进行图像融合，将融合后的视频帧作为第一视频帧和第二视频帧的补偿帧。在对第一目标帧和第二目标帧的基础上进行加载时，可以将加载后的第一目标帧和第二目标帧进行图像融合，将融合后的目标帧作为第一视频帧和第二视频帧的补偿帧。
在进行图像融合时，可以计算两个视频帧间各个对应像素点的像素值的平均值作为补偿帧中每一像素点的像素值，基于所计算的像素值生成补偿帧。
还可以按照预设的权重对加载图像内容后的第一目标帧和第二目标帧的各个像素点的像素值进行加权求和，得到补偿帧。
这样，基于目标相对位移能够较为准确确定第一加载位置和第二加载位置，从而较为准确地加载目标区域的图像内容，生成补偿帧。
当需要生成多张补偿帧时，需要确定多个第一加载位置和多个第二加载位置。本发明的一个实施例中，在得到各个第一加载位置时，可以根据补偿帧的总数量、目标相对位移所指向的正方向以及各补偿帧的序号，确定加载第一视频帧中目标区域包含的图像内容的各第一加载位置。
具体的，上述补偿帧的数量可以由工作人员根据经验确定，例如：上述补偿帧的总数量可以为3、4等。
上述补偿帧的序号用于表示该补偿帧在各补偿帧中排列顺序。由于不同序号的补偿帧对应的第一加载位置是不同的，所以，需要根据补偿帧的数量、目标相对位移所指向的正方向以及各补偿帧的序号，确定上述第一加载位置。
具体的，可以将目标相对位移在正方向上平均划分为预设数量个位移，基于补偿帧的序号，确定补偿帧所对应的位移，并根据所确定的位移所指向的正方向，确定第一加载位置。
例如：假设目标相对位移A在正方向上平均划分为A1、A2、A3，当补偿帧的序号为1，该补偿帧所对应位移为A1，当补偿帧的序号为2，该补偿帧所对应位移为A1+A2，当补偿帧的序号为3，该补偿帧所对应位移为A1+A2+A3。假设对于序号为1的补偿帧，第一加载位置为：根据位移A1所指向的正方向确定的第一加载位置。具体第一加载位置的确定方式可以参见步骤A1中的第一加载位置确定方式。
这样，根据补偿帧的数量、目标相对位移所指向的正方向以及补偿帧的序号，较为准确地确定各补偿帧对应的第一加载位置。
本发明的一个实施例中，在得到各个第二加载位置时，可以根据补偿帧的数量、目标相对位移所指向的反方向以及各补偿帧的序号，确定加载第二视频帧中目标区域包含的图像内容的各第二加载位置。
具体的，可以将目标相对位移在反方向上平均划分为预设数量个位移，基于补偿帧的序号，确定补偿帧所对应的位移，并根据所确定的位移所指向的反方向，确定第二加载位置。
例如：假设目标相对位移A在反方向上平均划分为A1、A2、A3，当补偿帧的序号为1，该补偿帧所对应位移为A3，当补偿帧的序号为2，该补偿帧所对应位移为A3+A2，当补偿帧的序号为3，该补偿帧所对应位移为A1+A2+A3。假设对于序号为1的补偿帧，第二加载位置为：根据位移A3所指向的反方向确定的第二加载位置。具体第二加载位置的确定方式可以参见步骤A1中的第二加载位置确定方式。
这样，根据补偿帧的数量、目标相对位移所指向的反方向以及补偿帧的序号，较为准确地确定各补偿帧对应的第二加载位置。
在第一视频帧中包含多个目标区域的情况下，需要针对每一个目标区域确定目标相对位移。
具体的，可以针对每一目标区域，在第二视频帧中确定与该目标区域满足预设的图像特征相似度条件的第一区域、并确定与该目标区域满足预设的像素值相似度条件的第二区域；确定该目标区域与第一区域间的第一相对位移，并确定该目标区域与第二区域间的第二相对位移；基于第一相对位移和第二相对位移，确定该目标区域包含的图像内容的目标相对位移。
基于此，由于每一个目标区域均包含目标相对位移，对于每一目标区域对应不同的加载位置，并基于加载位置，生成补偿帧。因此，本发明的一个实施例中，针对每一目标区域，根据该目标区域的相对目标位移所指向的正方向，确定加载第一视频帧中目标区域包含图像内容的加载位置，并根据该目标区域的相对目标位移所指向的反方向，确定加载第二视频帧中目标区域包含图像内容的加载位置；基于第一视频帧中各目标区域对应的加载位置，加载第一视频帧中各目标区域包含的图像内容，并基于第二视频帧中各目标区域对应的加载位置，加载第二视频帧中各目标区域包含的图像内容，生成第一视频帧和第二视频帧的补偿帧。
这样，在第一视频帧中包含多个目标区域时，可以确定各个目标区域的目标相对位移，从而针对各个目标相对位移，较为准确确定各个目标区域的加载位置，生成较为准确的补偿帧。
本发明的一个实施例中，上述第一相对位移可以为按照以下方式获得的位移：
采用预先训练的第一相对位移估算模型，获得第一视频帧中目标区域包含的图像内容相对于第二视频帧中对应区域包含的图像内容的第一相对位移，作为第一相对位移，其中，第一相对位移估算模型以估算位移相对于实际位移的差异最小为估算目标。
具体的，可以将第一视频帧和第二视频帧作为上述第一相对位移估算模型的输入，得到第一相对位移估算模型输出的第一视频帧中目标区域包含的图像内容相对于第二视频帧中对应区域包含的图像内容的第一相对位移。
上述第一相对位移估算模型是以估算位移相对于实际位移的差异最小为估算目标的，也就是第一相对位移估算模型能够较为准确地确定视频帧中区域的运动信息，上述第一相对位移估算模型又可以称为光流模型。
本发明的一个实施例中，上述第一相对位移估算模型可以采用以下方式训练得到。
获得第一样本视频帧和第二样本视频帧；获得第一样本视频帧中每一第一样本区域相对于第二样本视频帧中区域的实际位移；针对每一第一样本区域，采用第一相对位移估算模型的第一初始模型，估算该区域相对于第二样本视频帧中区域的估算位移，并以该区域的估算位移相对于实际位移最小为训练目标，调整第一初始模型的参数，得到第一相对位移估算模型。
上述第一样本视频帧和第二样本视频帧可以是相邻的。
在获得上述第一样本视频帧内和第二样本视频帧时，可以从大量的视频中任意选择两个视频帧作为第一样本视频帧和第二样本视频帧。还可以从大量的视频中选择相邻的两个视频帧作为第一样本视频帧和第二样本视频帧。
具体的，在获得上述实际位移时，可以针对每一第一样本区域，遍历第二样本视频帧中各个区域，确定与该第一样本区域最匹配的区域，根据该样本区域的位置与所确定的区域的位置，可以计算得到第一样本视频帧中该第一样本区域相对于第二样本视频帧中区域的实际位移。
在确定与第一样本区域最匹配的区域时，可以计算两个区域的像素值的残差值，将残差值最小的作为与第一样本区域最匹配的区域。
上述第一初始模型可以是卷积神经网络模型CNN。
具体的，可以根据第一初始模型所输出的估算位移与实际位移之间的差异大小调整第一初始模型的参数，直至满足模型训练完成条件，可以认为模型训练完成。例如：当第一初始模型所输出的估算位移与实际位移之间的差异较大时，按照与之前调整模型参数的方向相反的方向调整参数，当第一初始模型所输出的估算位移与实际位移之间的差异较小时，按照之前调整模型参数的方向调整参数，直至达到预设的训练次数，认为模型训练完成，从而得到第一相对位移估算模型。
这样，由于以获得第一样本视频帧和第二样本视频帧为训练样本、以所估算的估算位移相对于实际位移最小为训练目标调整第一初始模型的参数，能够使得第一相对位移估算模型能够学习到视频帧与估算位移之间关系的规律，从而将相邻的视频帧输入至第一相对位移估算模型时，能够获得与实际位移较为接近的估算位移。
本发明的一个实施例中，上述第二相对位移可以为按照以下方式获得的位移：
获取第一视频帧中的目标区域相对于第二视频帧中对应区域的第二相对位移，作为第二相对位移。
其中，第二相对位移估算模型以基于估算位移得到的视频帧相对于实际视频帧的像素差异最小为估算目标。
可以将第一视频帧和第二视频帧作为上述第二相对位移估算模型的输入，得到第二相对位移估算模型输出的第一视频帧中目标区域包含的图像内容相对于第二当前视频帧中对应区域包含的图像内容的第二相对位移。
上述第二相对位移估算模型以基于估算位移得到的视频帧相对于实际视频帧的像素差异最小为估算目标，也就是第二相对位移估算模型能够较为准确地确定视频帧中区域的像素信息，上述第二相对位移估算模型又可以称为任务流模型。
本发明的一个实施例中，上述第二相对位移估算模型可以采用以下方式训练得到。
获得第三样本视频帧、第四样本视频帧和第五样本视频帧；针对第三样本视频帧中的每一第二样本区域，采用第二相对位移估算模型的第二初始模型，估算该区域相对于第五样本视频帧中区域的估算位移；基于估算得到的各个估算位移、第三样本视频帧和第五样本视频帧，生成补偿帧；以所生成的视频帧相对于第四样本视频帧的像素差异最小为训练目标，调整第二初始模型的参数，得到第二相对位移估算模型。
上述第三样本视频帧、第四样本视频帧和第五样本视频帧可以是依次相邻的。
在获得上述第三样本视频帧、第四样本视频帧和第五样本视频帧时，可以从大量的视频中任意选择三个视频帧作为第三样本视频帧、第四样本视频帧和第五样本视频帧。还可以从大量的视频中选择相邻的三个视频帧作为第三样本视频帧、第四样本视频帧和第五样本视频帧。
在基于估算得到的各个估算位移、第三样本视频帧和第五样本视频帧，生成补偿帧时，可以沿着上述各个估算位移所指向方向的正方向，平移第三样本视频帧中各个第二样本区域的图像内容，得到平移后的第三样本视频帧，并沿着上述各个估算位移所指向方向的反方向，平移第五样本视频帧中各个区域的图像内容，得到平移后的第五样本视频帧，将所得到的第三样本视频帧和第五样本视频帧进行图像融合，得到视频帧。
上述第二初始模型可以是CNN。
在调整第二模型参数时，由于第四样本视频帧为插入至第三样本视频帧和第五样本视频帧之间的实际视频帧，因此，当基于上述估算位移得到的视频帧与第四样本视频帧之间的差异较大时，可以按照与之前调整模型参数的方向相反的方向调整参数；当基于上述估算位移得到的视频帧与第四样本视频帧之间的差异较小时，可以按照之前调整模型参数的方向调整参数，直至满足模型训练完成的条件，从而可以得到第二相对位移估算模型。
这样，由于以第三样本视频帧、第五样本视频帧为训练样本、以基于所估算的估算位移得到的视频帧相对于第四样本视频帧的像素差异最小为训练目标调整第二初始模型的参数，能够使得第二相对位移估算模型能够学习到相邻视频帧与估算位移之间关系的规律，从而将相邻的视频帧输入至第二相对位移估算模型时，基于输出的估算位移得到的视频帧较为接近用于插入至上述两个视频帧之间的实际视频帧。
基于上述实施例可知，上述第一相对位移可以通过光流模型得到，上述第二相对位移可以通过任务流模型得到，本发明的一个实施例中，可以将第一视频帧和第二视频帧分别作为光流模型的输入和任务流模型的输入，得到光流模型输出的第一相对位移和任务流模型输出的第二相对位移，进而基于第一相对位移和第二相对位移得到目标相对位移，从而得到补偿帧。
所以，本实施例结合光流模型和任务流模型，得到第一相对位移和第二相对位移，基于所得到的第一相对位移和第二相对位移可以得到较为准确的目标相对位移，进而能够获得质量较优的补偿帧。
本发明的一个实施例中，在对目标区域的第一相对位移和第二相对位移进行数据融合时，还可以基于目标相对位移估算模型实现，上述目标相对位移估算模型以基于所估算的位移相对于实际位移的差异最小为估算目标。
具体的，可以首先对第一相对位移估算模型进行训练，训练完毕之后，固定训练得到的参数，同时对第二相对位移估算模型和目标相对位移估算模型进行训练，训练完毕之后，得到第二相对位移估算模型和目标相对位移估算模型。
具体的，上述目标相对位移估算模型是用于对第一相对位移和第二相对位移进行数据融合，上述目标相对位移估算模型又可以称为混合流模型。
基于此，在实际应用中，参见图5，图5为本发明实施例提供的一种补偿帧生成方法的流程框图。
首先，视频帧X和视频帧Y作为视频帧对，分别输入至光流模型和任务流模型中。
光流模型输出第一相对位移，并将第一相对位移输入至混合流模型，上述第一相对位移与该第一相对位移的实际位移较为接近，也就是第一相对位移与视频帧X中的每一区域相对于视频帧Y中区域的实际位移相接近。
任务流模型输出第二相对位移，并将第二相对位移输入至混合流模型，基于上述第二相对位移得到的补偿帧与实际视频帧较为接近，也就是基于上述第二相对位移得到的视频帧与插入至视频帧X与视频帧Y之间的实际视频帧较为接近。
混合流模型输出目标相对位移。
对目标相对位移进行后处理，也就是根据目标相对位移、视频帧X、视频帧Y，得到用于插入至视频帧X和视频帧Y之间的补偿帧。
与上述补偿帧生成方法相对应，本发明实施例还提供了一种补偿频帧生成装置。
参见图6，图6为本发明实施例提供的一种补偿帧生成装置的结构示意图，上述装置包括以下模块601-605。
视频帧获取模块601，用于获取第一视频帧和第二视频帧；
区域确定模块602，用于在所述第二视频帧中确定与所述第一视频帧中目标区域满足预设的图像特征相似度条件的第一区域、并确定与所述目标区域满足预设的像素值相似度条件的第二区域；
第一位移确定模块603，用于确定所述目标区域与所述第一区域间的第一相对位移，并确定所述目标区域与所述第二区域间的第二相对位移；
第二位移确定模块604，用于基于所述第一相对位移和第二相对位移，确定所述目标区域包含的图像内容的目标相对位移；
补偿帧生成模块605，用于基于所述目标相对位移，生成所述第一视频帧和第二视频帧的补偿帧。
由以上可见，应用本实施例提供的方案生成补偿帧时，由于目标相对位移是基于第一相对位移和第二相对位移得到的，上述第一相对位移能够较为准确反映目标区域的运动信息，上述第二相对位移能够较为准确反映目标区域的视觉效果信息，因此，目标相对位移既较为准确地表示目标区域包含的图像内容的实际位移信息、且基于上述目标相对位移得到的补偿帧的视觉效果也较为接近第一视频帧和第二视频帧的视觉效果。这样，基于上述目标相对位移生成的第一视频帧和第二视频帧补偿帧时，所生成的补偿帧能够较为准确反映的目标区域的运动信息和视觉效果信息，也就是所生成的补偿帧中各个区域所在位置较为准确、且所生成的补偿帧的视觉效果与第一视频帧和第二视频帧的视觉效果较为接近，因此，应用本实施例提供的方案能够生成较为准确的用于插入至两个视频帧之间的补偿帧，从而使得所生成的补偿帧的质量较高。
本发明的一个实施例中，上述第二位移得到模块604，具体用于按照所述第一相对位移对应的第一权重以及所述第二相对位移对应的第二权重，对所述第一相对位移和所述第二相对位移进行加权求和，得到所述目标区域包含的图像内容的目标相对位移。
这样，由于是基于权重进行加权求和，从而能够得到较为准确的目标相对位移。
本发明的一个实施例中，上述第一权重为：基于所述第一相对位移的第一预设重要性程度确定的权重，所述第二权重为：基于所述第二相对位移的第二预设重要性程度确定的权重。
这样，由于是基于位移的预设重要性程度确定的权重，能够使得所确定的权重更适应位移的重要性。
本发明的一个实施例中，上述补偿帧生成模块605，包括：
位置确定子模块，用于根据所述目标相对位移所指向的正方向，确定加载所述第一视频帧中目标区域包含的图像内容的第一加载位置，并根据所述目标相对位移所指向的反方向，确定加载所述第二视频帧中目标区域包含的图像内容的第二加载位置；
补偿帧生成子模块，用于基于所述第一加载位置，加载所述第一视频帧中目标区域包含的图像内容，并基于所述第二加载位置，加载所述第二视频帧中目标区域包含的图像内容，生成所述第一视频帧和第二视频帧的补偿帧。
这样，基于目标相对位移能够较为准确确定第一加载位置和第二加载位置，从而较为准确地加载目标区域的图像内容，生成补偿帧。
本发明的一个实施例中，在生成多张补偿帧的情况下，所述位置确定子模块，具体用于根据补偿帧的数量、所述目标相对位移所指向的正方向以及各补偿帧的序号，确定加载所述第一视频帧中目标区域包含的图像内容的各第一加载位置。
这样，根据补偿帧的数量、目标相对位移所指向的正方向以及补偿帧的序号，较为准确地确定各补偿帧对应的第一加载位置。
本发明的一个实施例中，在生成多张补偿帧的情况下，所述位置确定子模块，具体用于根据补偿帧的数量、所述目标相对位移所指向的反方向以及各补偿帧的序号，确定加载所述第二视频帧中目标区域包含的图像内容的各第二加载位置。
这样，根据补偿帧的数量、目标相对位移所指向的反方向以及补偿帧的序号，较为准确地确定各补偿帧对应的第二加载位置。
本发明的一个实施例中，在所述目标区域的数量为多个的情况下，具体按照以下方式确定目标区域的目标相对位移：针对每一目标区域，在所述第二视频帧中确定与该目标区域满足预设的图像特征相似度条件的第一区域、并确定与该目标区域满足预设的像素值相似度条件的第二区域；确定该目标区域与所述第一区域间的第一相对位移，并确定该目标区域与所述第二区域间的第二相对位移；基于所述第一相对位移和第二相对位移，确定该目标区域包含的图像内容的目标相对位移；
补偿帧生成模块，具体用于针对每一目标区域，根据该目标区域的相对目标位移所指向的正方向，确定加载所述第一视频帧中目标区域包含图像内容的加载位置，并根据该目标区域的相对目标位移所指向的反方向，确定加载所述第二视频帧中目标区域包含图像内容的加载位置；基于所述第一视频帧中各目标区域对应的加载位置，加载所述第一视频帧中各目标区域包含的图像内容，并基于所述第二视频帧中各目标区域对应的加载位置，加载所述第二视频帧中各目标区域包含的图像内容，生成第一视频帧和第二视频帧的补偿帧。
这样，在第一视频帧中包含多个目标区域时，可以确定各个目标区域的目标相对位移，从而针对各个目标相对位移，较为准确确定各个目标区域的加载位置，生成较为准确的补偿帧。
本发明的一个实施例中，上述预设的图像特征相似度条件为：所述第一区域与所述目标区域的图像特征相似度最大；
和/或
所述预设的像素值相似度条件为：所述第二区域与所述目标区域的像素值相似度最大。
本发明的一个实施例中，上述第一相对位移为按照以下方式获得的位移：
采用预先训练的第一相对位移估算模型，获得所述第一视频帧中目标区域包含的图像内容相对于所述第二视频帧中第一估算区域包含的图像内容的相对位移，作为第一相对位移，其中，所述第一相对位移估算模型以估算位移相对于实际位移的差异最小为估算目标。
本发明的一个实施例中，上述第一相对位移估算模型采用以下方式训练得到：
获得第一样本视频帧和第二样本视频帧；
获得所述第一样本视频帧中每一第一样本区域相对于所述第二样本视频帧中区域的实际位移；
针对每一第一样本区域，采用所述第一相对位移估算模型的第一初始模型，估算该区域相对于所述第二样本视频帧中对应区域的估算位移，并以该区域的估算位移相对于实际位移最小为训练目标，调整所述第一初始模型的参数，得到所述第一相对位移估算模型。
本发明的一个实施例中，上述第二相对位移为按照以下方式获得的位移：
获取所述第一视频帧中的目标区域相对于所述第二视频帧中第二估算区域的第二相对位移，作为第二相对位移，其中，所述第二相对位移估算模型以基于估算位移得到的视频帧相对于实际视频帧的像素差异最小为估算目标。
本发明的一个实施例中，上述第二相对位移估算模型采用以下方式训练得到：
获得第三样本视频帧、第四样本视频帧和第五样本视频帧；
针对所述第三样本视频帧中的每一第二样本区域，采用所述第二相对位移估算模型的第二初始模型，估算该区域相对于所述第五样本视频帧中对应区域的估算位移；
基于估算得到的各个估算位移、所述第三样本视频帧和第五样本视频帧，生成补偿帧；
以所生成的视频帧相对于所述第四样本视频帧的像素差异最小为训练目标，调整所述第二初始模型的参数，得到所述第二相对位移估算模型。
与上述补偿帧生成方法相对应，本发明实施例还提供了一种电子设备。
本发明实施例还提供了一种电子设备，如图7所示，图7为本发明实施例提供的一种电子设备的结构示意图，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信，
存储器703，用于存放计算机程序；
处理器701，用于执行存储器703上所存放的程序时，实现本发明实施例提供的补偿帧生成方法。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例提供的补偿帧生成方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行时实现本发明实施例提供的补偿帧生成方法。
由以上可见，应用本实施例提供的方案生成补偿帧时，由于目标相对位移是基于第一相对位移和第二相对位移得到的，上述第一相对位移能够较为准确反映目标区域的运动信息，上述第二相对位移能够较为准确反映目标区域的视觉效果信息，因此，目标相对位移既较为准确地表示目标区域包含的图像内容的实际位移信息、且基于上述目标相对位移得到的补偿帧的视觉效果也较为接近第一视频帧和第二视频帧的视觉效果。这样，基于上述目标相对位移生成的第一视频帧和第二视频帧补偿帧时，所生成的补偿帧能够较为准确反映的目标区域的运动信息和视觉效果信息，也就是所生成的补偿帧中各个区域所在位置较为准确、且所生成的补偿帧的视觉效果与第一视频帧和第二视频帧的视觉效果较为接近，因此，应用本实施例提供的方案能够生成较为准确的用于插入至两个视频帧之间的补偿帧，从而使得所生成的补偿帧的质量较高。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (15)

1.一种补偿帧生成方法，其特征在于，所述方法包括：
获取第一视频帧和第二视频帧；
在所述第二视频帧中确定与所述第一视频帧中目标区域满足预设的图像特征相似度条件的第一区域，并确定与所述目标区域满足预设的像素值相似度条件的第二区域；
确定所述目标区域与所述第一区域间的第一相对位移，并确定所述目标区域与所述第二区域间的第二相对位移；
基于所述第一相对位移和第二相对位移，确定所述目标区域包含的图像内容的目标相对位移；
基于所述目标相对位移，生成所述第一视频帧和第二视频帧的补偿帧。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一相对位移和第二相对位移，确定所述目标区域包含的图像内容的目标相对位移，包括：
按照所述第一相对位移对应的第一权重以及所述第二相对位移对应的第二权重，对所述第一相对位移和所述第二相对位移进行加权求和，得到所述目标区域包含的图像内容的目标相对位移。
3.根据权利要求2所述的方法，其特征在于，
所述第一权重为：基于所述第一相对位移的第一预设重要性程度确定的权重，所述第二权重为：基于所述第二相对位移的第二预设重要性程度确定的权重。
4.根据权利要求1所述的方法，其特征在于，所述基于所述目标相对位移，生成所述第一视频帧和第二视频帧的补偿帧，包括：
根据所述目标相对位移所指向的正方向，确定加载所述第一视频帧中目标区域包含的图像内容的第一加载位置，并根据所述目标相对位移所指向的反方向，确定加载所述第二视频帧中目标区域包含的图像内容的第二加载位置；
基于所述第一加载位置，加载所述第一视频帧中目标区域包含的图像内容，并基于所述第二加载位置，加载所述第二视频帧中目标区域包含的图像内容，生成所述第一视频帧和第二视频帧的补偿帧。
5.根据权利要求4所述的方法，其特征在于，在生成多张补偿帧的情况下，所述根据所述目标相对位移所指向的正方向，确定加载所述第一视频帧中目标区域包含的图像内容的第一加载位置，包括：
根据补偿帧的数量、所述目标相对位移所指向的正方向以及各补偿帧的序号，确定加载所述第一视频帧中目标区域包含的图像内容的各第一加载位置。
6.根据权利要求4所述的方法，其特征在于，在生成多张补偿帧的情况下，所述根据所述目标相对位移所指向的反方向，确定加载所述第二视频帧中目标区域包含的图像内容的第二加载位置，包括：
根据补偿帧的数量、所述目标相对位移所指向的反方向以及各补偿帧的序号，确定加载所述第二视频帧中目标区域包含的图像内容的各第二加载位置。
7.根据权利要求1所述的方法，其特征在于，
在所述目标区域的数量为多个的情况下，按照以下方式确定目标区域的目标相对位移：
针对每一目标区域，在所述第二视频帧中确定与该目标区域满足预设的图像特征相似度条件的第一区域、并确定与该目标区域满足预设的像素值相似度条件的第二区域；
确定该目标区域与所述第一区域间的第一相对位移，并确定该目标区域与所述第二区域间的第二相对位移；
基于所述第一相对位移和第二相对位移，确定该目标区域包含的图像内容的目标相对位移；
所述基于所述目标相对位移，生成所述第一视频帧和第二视频帧的补偿帧，包括：
针对每一目标区域，根据该目标区域的相对目标位移所指向的正方向，确定加载所述第一视频帧中目标区域包含图像内容的加载位置，并根据该目标区域的相对目标位移所指向的反方向，确定加载所述第二视频帧中目标区域包含图像内容的加载位置；
基于所述第一视频帧中各目标区域对应的加载位置，加载所述第一视频帧中各目标区域包含的图像内容，并基于所述第二视频帧中各目标区域对应的加载位置，加载所述第二视频帧中各目标区域包含的图像内容，生成第一视频帧和第二视频帧的补偿帧。
8.根据权利要求1-7中任一项所述的方法，其特征在于，
所述预设的图像特征相似度条件为：所述第一区域与所述目标区域的图像特征相似度最大；
和/或
所述预设的像素值相似度条件为：所述第二区域与所述目标区域的像素值相似度最大。
9.根据权利要求1-7中任一项所述的方法，其特征在于，所述第一视频帧和第二视频帧相邻。
10.根据权利要求1-7中任一项所述的方法，其特征在于，所述第一相对位移为按照以下方式获得的位移：
采用预先训练的第一相对位移估算模型，获得所述第一视频帧中目标区域包含的图像内容相对于所述第二视频帧中第一估算区域包含的图像内容的相对位移，作为第一相对位移，其中，所述第一相对位移估算模型以估算位移相对于实际位移的差异最小为估算目标。
11.根据权利要求10所述的方法，其特征在于，所述第一相对位移估算模型采用以下方式训练得到：
获得第一样本视频帧和第二样本视频帧；
获得所述第一样本视频帧中每一第一样本区域相对于所述第二样本视频帧中区域的实际位移；
针对每一第一样本区域，采用所述第一相对位移估算模型的第一初始模型，估算该区域相对于所述第二样本视频帧中对应区域的估算位移，并以该区域的估算位移相对于实际位移最小为训练目标，调整所述第一初始模型的参数，得到所述第一相对位移估算模型。
12.根据权利要求1-7中任一项所述的方法，其特征在于，所述第二相对位移为按照以下方式获得的位移：
获取所述第一视频帧中的目标区域相对于所述第二视频帧中第二估算区域的第二相对位移，作为第二相对位移，其中，所述第二相对位移估算模型以基于估算位移得到的视频帧相对于实际视频帧的像素差异最小为估算目标。
13.根据权利要求12所述的方法，其特征在于，所述第二相对位移估算模型采用以下方式训练得到：
获得第三样本视频帧、第四样本视频帧和第五样本视频帧；
针对所述第三样本视频帧中的每一第二样本区域，采用所述第二相对位移估算模型的第二初始模型，估算该区域相对于所述第五样本视频帧中对应区域的估算位移；
基于估算得到的各个估算位移、所述第三样本视频帧和第五样本视频帧，生成补偿帧；
以所生成的视频帧相对于所述第四样本视频帧的像素差异最小为训练目标，调整所述第二初始模型的参数，得到所述第二相对位移估算模型。
14.一种补偿帧生成装置，其特征在于，所述装置包括：
视频帧获取模块，用于获取第一视频帧和第二视频帧；
区域确定模块，用于在所述第二视频帧中确定与所述第一视频帧中目标区域满足预设的图像特征相似度条件的第一区域、并确定与所述目标区域满足预设的像素值相似度条件的第二区域；
第一位移确定模块，用于确定所述目标区域与所述第一区域间的第一相对位移，并确定所述目标区域与所述第二区域间的第二相对位移；
第二位移确定模块，用于基于所述第一相对位移和第二相对位移，确定所述目标区域包含的图像内容的目标相对位移；
补偿帧生成模块，用于基于所述目标相对位移，生成所述第一视频帧和第二视频帧的补偿帧。
15.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-13任一所述的方法步骤。
CN202110184257.7A 2021-02-08 2021-02-08 一种补偿帧生成方法及装置 Active CN113014928B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110184257.7A CN113014928B (zh) 2021-02-08 2021-02-08 一种补偿帧生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110184257.7A CN113014928B (zh) 2021-02-08 2021-02-08 一种补偿帧生成方法及装置

Publications (2)

Publication Number Publication Date
CN113014928A true CN113014928A (zh) 2021-06-22
CN113014928B CN113014928B (zh) 2023-01-20

Family

ID=76402283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110184257.7A Active CN113014928B (zh) 2021-02-08 2021-02-08 一种补偿帧生成方法及装置

Country Status (1)

Country Link
CN (1) CN113014928B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116723355A (zh) * 2023-08-11 2023-09-08 深圳传趣网络技术有限公司 视频插帧的处理方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886742A (en) * 1995-01-12 1999-03-23 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
WO2010001303A1 (en) * 2008-06-30 2010-01-07 Koninklijke Philips Electronics N.V. Texture regularity analysis for an image
WO2015085922A1 (zh) * 2013-12-10 2015-06-18 华为技术有限公司 一种帧率上采样的方法和装置
CN105405150A (zh) * 2015-10-21 2016-03-16 东方网力科技股份有限公司 基于融合特征的异常行为检测方法和装置
US20190138813A1 (en) * 2016-03-11 2019-05-09 Gracenote, Inc. Digital Video Fingerprinting Using Motion Segmentation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886742A (en) * 1995-01-12 1999-03-23 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
WO2010001303A1 (en) * 2008-06-30 2010-01-07 Koninklijke Philips Electronics N.V. Texture regularity analysis for an image
WO2015085922A1 (zh) * 2013-12-10 2015-06-18 华为技术有限公司 一种帧率上采样的方法和装置
CN105405150A (zh) * 2015-10-21 2016-03-16 东方网力科技股份有限公司 基于融合特征的异常行为检测方法和装置
US20190138813A1 (en) * 2016-03-11 2019-05-09 Gracenote, Inc. Digital Video Fingerprinting Using Motion Segmentation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116723355A (zh) * 2023-08-11 2023-09-08 深圳传趣网络技术有限公司 视频插帧的处理方法、装置、设备及存储介质
CN116723355B (zh) * 2023-08-11 2023-11-28 深圳传趣网络技术有限公司 视频插帧的处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113014928B (zh) 2023-01-20

Similar Documents

Publication Publication Date Title
CN111080528B (zh) 图像超分辨率和模型训练方法、装置、电子设备及介质
CN111080527B (zh) 一种图像超分辨率的方法、装置、电子设备及存储介质
CN110909663B (zh) 一种人体关键点识别方法、装置及电子设备
CN112241976A (zh) 一种训练模型的方法及装置
CN107507153B (zh) 图像去噪方法和装置
CN109685785A (zh) 一种图像质量评估方法、装置及电子设备
CN111695421B (zh) 图像识别方法、装置及电子设备
CN112749726B (zh) 目标检测模型的训练方法、装置、计算机设备和存储介质
CN112000226B (zh) 一种人眼视线估计方法、装置及视线估计系统
CN110969100B (zh) 一种人体关键点识别方法、装置及电子设备
CN110909664A (zh) 一种人体关键点识别方法、装置及电子设备
CN110909665A (zh) 一种多任务的图像处理方法、装置、电子设备及存储介质
CN113326821A (zh) 一种视频帧图像的人脸驱动方法及装置
CN111027412A (zh) 一种人体关键点识别方法、装置及电子设备
CN112562072A (zh) 一种动作重定向方法、装置、设备及存储介质
CN110366029A (zh) 一种视频间插入图像帧的方法、系统及电子设备
CN118247181B (zh) 图像复原模型训练方法、电子设备和图像复原方法
CN112801890B (zh) 一种视频处理方法、装置及设备
CN113014928B (zh) 一种补偿帧生成方法及装置
CN113658091A (zh) 一种图像评价方法、存储介质及终端设备
CN110992371B (zh) 一种基于先验信息的人像分割方法、装置及电子设备
JP2015179426A (ja) 情報処理装置、パラメータの決定方法、及びプログラム
CN111340140A (zh) 图像数据集的获取方法、装置、电子设备及存储介质
CN111325832A (zh) 建模方法、建模装置和电子设备
CN116485743A (zh) 一种无参考图像质量评价方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant