CN113556581B - 插值帧的生成方法、装置及电子设备 - Google Patents
插值帧的生成方法、装置及电子设备 Download PDFInfo
- Publication number
- CN113556581B CN113556581B CN202110819047.0A CN202110819047A CN113556581B CN 113556581 B CN113556581 B CN 113556581B CN 202110819047 A CN202110819047 A CN 202110819047A CN 113556581 B CN113556581 B CN 113556581B
- Authority
- CN
- China
- Prior art keywords
- frame
- frame image
- current block
- interpolated
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000033001 locomotion Effects 0.000 claims abstract description 115
- 238000003780 insertion Methods 0.000 claims abstract description 9
- 230000037431 insertion Effects 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 5
- 230000001133 acceleration Effects 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000002159 abnormal effect Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 abstract description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000000746 purification Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
Abstract
本申请公开了一种视频插值帧的生成方法，属于图像处理技术领域。该方法包括：确定第一帧图像中的当前块的第一位置坐标，第二帧图像中与所述当前块对应的匹配块的第二位置坐标；根据所述第一位置坐标和所述第二位置坐标构建运动模型，所述运动模型用于指示所述当前块相对所述匹配块的运动轨迹；根据所述待插值帧相对所述目标帧图像的插入位置，确定目标时刻，所述目标帧图像为第一帧图像或第二帧图像；将所述目标时刻作为所述运动模型的输入参数，确定与所述当前块对应的待插值块在待插值帧中的位置；其中，所述第一帧图像和所述第二帧图像为待处理视频中相邻的两帧图像，所述第二帧图像位于所述第一帧图像之后。以解决现有技术中视频帧率转换时，出现伪影的问题。
Description
技术领域
本申请属于图像处理技术领域，具体涉及一种插值帧生成方法、装置及电子设备。
背景技术
视频帧率上转换(FRUC)是指在连续的原始帧之间插入新的中间帧。对于一个低帧率的视频，可能会产生突然的运动伪影，如抖动或运动混叠。由于FRUC可以提高帧率，上转换的视频具有更好的视觉感知，让物体运动的视觉效果更加的连续、平滑。FRUC已广泛应用于视频压缩、视频制作和慢动作视频回放等各种视频应用中。
对于视频帧率上转换技术，其中一个关键问题是如何处理广泛存在于视频场景中的不规则大运动。然而，大多数现有的FRUC工作都有恒定的亮度和线性运动假设，很容易导致伪影，如运动模糊和帧闪烁。
发明内容
本申请实施例的目的是提供一种插值帧的生成方法、装置及电子设备，以解决现有技术中视频帧率转换时，出现伪影的问题。
第一方面，本申请实施例提供了一种插值帧的生成方法，包括：
确定第一帧图像中的当前块的第一位置坐标，第二帧图像中与所述当前块对应的匹配块的第二位置坐标；
根据所述第一位置坐标和所述第二位置坐标构建运动模型，所述运动模型用于指示所述当前块相对所述匹配块的运动轨迹；
根据所述待插值帧相对所述目标帧图像的插入位置，确定目标时刻，所述目标帧图像为第一帧图像或第二帧图像；
将所述目标时刻作为所述运动模型的输入参数，确定与所述当前块对应的待插值块在待插值帧中的位置；
其中，所述第一帧图像和所述第二帧图像为待处理视频中相邻的两帧图像，所述第二帧图像位于所述第一帧图像之后。
第二方面，本申请实施例提供了一种插值帧的生成装置，包括：
第一确定模块，所述第一确定模块用于确定第一帧图像中的当前块的第一位置坐标，第二帧图像中与所述当前块对应的匹配块的第二位置坐标；
构建模块，所述构建模块用于根据所述第一位置坐标和所述第二位置坐标构建运动模型，所述运动模型用于指示所述当前块相对所述匹配块的运动轨迹；
第二确定模块，根据所述待插值帧相对所述目标帧图像的插入位置，确定目标时刻，所述目标帧图像为第一帧图像或第二帧图像；
第三确定模块，将所述目标时刻作为所述运动模型的输入参数，确定与所述当前块对应的待插值块在待插值帧中的位置；
其中，所述第一帧图像和所述第二帧图像为待处理视频中相邻的两帧图像，所述第二帧图像位于所述第一帧图像之后。
第三方面，本申请实施例提供了一种电子设备，包括一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时实现如第一方面所述的显示方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，包括计算机程序，所述计算机程序在计算机上被执行时，实现如第一方面所述的显示方法的步骤。
在本申请实施例中，先确定待处理视频中相邻的第一帧图像中的当前块的第一位置坐标，第二帧图像中与所述当前块对应的匹配块的第二位置坐标，第二帧图像位于第一帧图像之后，然后根据第一位置坐标，所述第二位置坐标和所述第一帧图像与第二帧图像的第一时间间隔构建运动模型，所述运动模型用于指示所述当前块相对所述匹配块的运动轨迹，再确定所述待插值帧相对所述目标帧图像的插入位置，确定目标时刻，所述目标帧图像为第一帧图像或第二帧图像；最后将所述目标时刻作为所述运动模型的输入参数，确定与所述当前块对应的待插值块在待插值帧中的位置。通过构建一个新的的运动模型，精确定位视频中目标物体的运动轨迹，从而更精确的确定待插值块在待插值帧中的位置，以解决现有技术中视频帧率转换时，出现伪影的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的金字塔模型搜索结构
图2是本申请实施例提供运动模型示意图
图3是本申请实施例提供基于稀疏先验的异常值修复模块
图4是本申请实施例提供的一种插值帧生成装置的结构示意图
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的插值帧的生成方法进行详细地说明。
为了清楚理解本发明实施例，下面对本发明实施例中的一些要素进行解释：
宏块：将一帧图像等分成若干部分，每一部分称为一个宏块。一般地，每个宏块为一正方形。
当前块：将一帧图像中、当前时刻正在处理的的宏块称为当前块。本发明实施例中，当前块
所在的图像为第一帧图像。
匹配块：匹配块是与当前块相对应的，可以描述为与当前块对应的匹配块。本发明实施例
中，匹配块所在的图像为第二帧图像。当前块为一个宏块时，匹配块可以为一个宏块，匹配块也可以为多个宏块
时间间隔：表示相邻的两帧图像由前一帧播放至后一帧所用的时间。
待插值帧：待插值帧是指还未完成插值的图像。待插值帧均可以称为虚拟帧(即并非视频本身的图像，而是通过一定方法得到的新的图像。
待插值块：待插值块与当前块相对应的，可以描述为与当前块对应的待插值块。待插值块所在的图像为待插值帧。
本发明实施例提供的一种插值帧的生成方法，包括：
步骤201：确定第一帧图像中的当前块的第一位置坐标，第二帧图像中与所述当前块对应的匹配块的第二位置坐标。
本申请实施例中，由于宏块是一个长宽具有一定长度的块，因此，当前块的第一坐标可以为该宏块中心点坐标，可以为该宏块直角点坐标等，本实施例不做规定；
第二帧图像中与当前块对应的匹配块的第二位置坐标可以通过当前块的运动向量得到，当前块的运动向量可以在运动估计过程中获得，如单边运动向量估计。该运动估计的过程可以为，以第一图像中的当前块为参考，在第二图像中搜索与当前块对应的匹配块。
步骤202：根据所述第一位置坐标，所述第二位置坐标和所述第一帧图像与第二帧图像的第一时间间隔构建运动模型，所述运动模型用于指示所述当前块相对所述匹配块的运动轨迹；
参考图2为本申请实施例提供的一种运动模型，现有技术中，为了便于计算，现有的FRUC方法通常假定连续帧之间是匀速运动的，并使用线性运动模型进行帧插值，不能很好地近似真实世界的复杂运动。本申请实施例中，为了更好地近似真实世界的复杂运动，可以构建新的运动模型，如物体的自由落体运动模型，物体的抛物线运动等等，根据第一位置坐标，第二位置坐标和第一帧图像与第二帧图像的第一时间间隔构建运动模型，如二阶多项位移模型，运动模型用于指示所述当前块相对所述匹配块的运动轨迹。
步骤203：确定所述待插值帧与目标帧图像的第二时间间隔，所述目标帧图像为第一帧图像或第二帧图像；
由于当前块的运动性，因此不同位置处的待插值帧中的待插值块相对于待插值帧的位置不同，本实施例中，为了计算待插值块在待插值帧中的位置，首先要确定待插值帧相对于第一帧图像或待插值帧相对于第二帧图像的位置，也就是待插值帧与第一帧图像之间的时间间隔或待插值帧与第二帧图像之间的时间间隔，示例性的，待插值帧位于第一帧图像与第二帧图像之间，也即，若第一帧图像与第二帧图像的时间间隔为t的情况下，待插值帧相对于第一帧图像或相对于第二帧图像的时间间隔为
步骤204：将所述第二时间间隔作为所述运动模型的输入参数，确定与所述当前块对应的待插值块在待插值帧中的位置。
本申请实施例中，在步骤202构建运动模型之后，步骤204得到待插值帧的位置，将第二时间间隔待入运动模型中，即可得到当前块对应的待插值块在待插值帧中的位置。
本申请实施例中，先确定待处理视频中相邻的第一帧图像中的当前块的第一位置坐标，第二帧图像中与所述当前块对应的匹配块的第二位置坐标，第二帧图像位于第一帧图像之后，然后根据第一位置坐标，所述第二位置坐标和所述第一帧图像与第二帧图像的第一时间间隔构建运动模型，所述运动模型用于指示所述当前块相对所述匹配块的运动轨迹，再确定所述待插值帧与目标帧图像的第二时间间隔，所述目标帧图像为第一帧图像或第二帧图像；最后将所述第二时间间隔作为所述运动模型的输入参数，确定与所述当前块对应的待插值块在待插值帧中的位置。通过构建一个新的的运动模型，精确定位视频中目标物体的运动轨迹，从而更精确的确定待插值块在待插值帧中的位置，以解决现有技术中视频帧率转换时，出现伪影的问题。
在本发明的一个实施例中，步骤202还具体包括：
步骤2021：根据位置参数、速度参数、加速度参数和时间参数构建二阶多项式；
示例性的，自由空间中物体的运动轨迹可以用三个元素来描述，即位置X，速度v0和加速度a，由这三个元素与变量t(时间)共同构成一个二阶多项式。然而，由于瞬时速度是未知的，因此，我们在加速度辅助运动轨迹预测中考虑位移模型，即下列方程来计算参数：
步骤2022：根据所述第一位置坐标，所述第二位置坐标构建运动模型得到所述二阶多项式中所述速度参数的速度参数值和加速度参数的加速度参数值；
为了得到上述方程中的系数，设定当t＝0时，当前块X(0)的初始位置定义为B0(i,j)。第一帧图像为t＝1，第二帧图像为t＝2，根据和/>推导出X(1)和X(2)两个方程。
X(0)＝B0(i,j)
然后，将结合上述等式求解v0和a：
步骤2023：将所述速度参数值代替所述速度参数，所述加速度参数值代替所述加速度参数得到所述运动模型；
在本申请实施例中，由于被插入的帧会被插入到前帧和后帧之间，所以被插入帧的时间间隔为t＝1/2。因此，根据得到的系数，推导出当前块在插值帧中相应的位置：
本申请实施例中，在构建运动模型时，引入位置参数、速度参数、加速度参数和时间参数可得更加接近真实生活中的运动模型，使得计算出的待插值块在待插值帧中的位置更加准确，以解决插值帧中的伪影的问题
在本发明的一个实施例中，在步骤201之前，所述方法还包括：
步骤205：根据所述当前块的运动向量得到第一位置坐标及所述匹配块的第二位置坐标；
在该步骤中，执行顺序可以是，先得到当前块的运动向量，如，单边运动估计、双边运动估计等，然后在第二帧图像中找到与当前块匹配的匹配块，并根据当前块运动向量得到匹配块在第二帧图像中的位置坐标。
参考图1，为本发明实施例提供的一种金字塔模型搜索结构，在本发明的一个实施例中，在步骤205之前，所述方法还包括：
步骤206：将所述第一帧图像的多个层及所述第二帧图像的多个层分别划分为数量不同的宏块，其中，所述第一帧图像与所述第二帧图像对应的层的宏块的数量相同；
对各宏块进行单边运动向量估计，得到各宏块的运动向量；
所述宏块包括所述当前块。
在本发明实施例中，先划分宏块并计算运动向量后，从而便于后续对于当前块和匹配块的位置坐标的计算。
可选的，在一种实施方式中，所述第一帧图像与所述第二帧图像从顶层到底层划分的宏块的数量依次增加。
如附图x所示，在划分宏块进行运动向量计算时，按层划分，从上到下，数量依次增加，由粗到细。与大多数视频帧率上转方案不同，本申请实施例中的运动估计是按照适当的块尺寸缩放比例从最顶层到最底层分层执行的。运动向量场逐层优化可以有效利用不同大小块的优势，其本质上是一种符合可变块大小的运动向量提纯策略。在由粗到精的金字塔结构中，采用单向运动估计来确定物体的位置。另外，金字塔模型也是一种降低计算复杂度的有效技术，因此不必担心引入过多的额外计算量。
在本发明的一个实施例中，:步骤206具体包括：
步骤207：获取各宏块之间的相对位置信息与色度信息；将所述各宏块之间的相对位置信息和色度信息作为所述单边运动向量估计的参数，得到各宏块的运动向量。
虽然人眼对亮度分量很敏感，但两个色度分量也应该有助于块匹配。利用色度信息可以减少颜色区域不匹配的不利影响，这也将提供更多的细节关于物体轮廓。与传统块匹配准则中采用U和V通道的色度分量作为正则化项相比，我们提供了信息采样的优势。其中，Y通道的采样位置是由菱形子采样决定的，而色度分量是通过对U和V通道的块位置进行均匀采样得到的，大大降低了计算复杂度。设Yt，Ut，Vt和Yt+1，Ut+1，Vt+1分别为前一帧和下一帧的亮度和色度通道。设Bi,j是前一帧中的当前块。因此，我们设计的SADcolor模板设计如下。
其中W1、W2、W3分别为Y、U、U分量的加权系数。
对于许多对象共享相似颜色的视频帧，仅考虑颜色信息进行块匹配时，容易导致不匹配。在很短的时间内，也要考虑相邻块的运动相似性，也即相对位置信息。也就是说，相邻块之间的相对位置应该尽可能地保持稳定。因此，本申请实施例也采用了运动相干正则化项，如下所示。
SAD(Bi,j,v,t)＝SADcolor(Bi,j,v,t)+W4·||v||2
因此，插值帧中分块的初始MV计算如下：
本申请实施例中，由于噪声和复杂背景的存在，SAD并不总是反映实际的物体运动。本申请实施例在块匹配准则中同时考虑了相邻块的相对位置和颜色，从而提高了初始运动向量场的精度。
参考图3，为本发明实施例提供的基于稀疏先验的异常值修复模块，在本发明的一个实施例中，再步骤201之后，所述方法还包括：
步骤208，若所述当前块具有多个与所述当前块匹配的匹配块或所述当前块不具有与所述当前块匹配的匹配块，则将所述当前块所在区域确定为异常区域；
若所述当前块具有一个与所述当前块匹配的匹配块，则所述当前块所在区域为正常区域；
步骤209，根据所述第一帧图像中正常区域和异常区域的分布情况得到目标矩阵；
众所周知，图像是在一定变换基Ψ上的一种稀疏信号(这里采用DCT变换)。为了简化计算，我们将图像x向量化为一个一维向量，那么，图像x可以表示为
x＝Ψα
其中α是图像信号x在变换基Ψ下的稀疏表示。由于图像是稀疏的，因此可以使用一个独立于变换基Ψ的测量矩阵Φ对线性向量进行变换，得到观察集y。
稀疏采样模型最初是为了图像压缩传输和重建而提出的，是一种流行的基于训练字典的稀疏冗余表示方法。在本专利中，稀疏采样模型被创新性地用于FRUC的异常值修正。具体来说，我们设计了一个特殊的测量矩阵来避免异常区域的信息采集，并且可以有效地利用邻近块对异常图像块进行非线性重构。
y＝Θα
＝ΦΨα
鉴于上述等式是欠定的，即方程比未知数少，如果想要高精度地重建图像x，解决这个欠定问题，则测量矩阵Φ必须满足受限等距特性：
在前述步骤中，在进行当前块与匹配块的定位过程中，会出现当前块具有多个匹配块或者当前块没有匹配块的情况，将其标注为异常区域，其他区域标记为正常区域，得到关于宏块信息的目标矩阵，具体来说，插值帧中的异常值被标记出来，它们的位置用二进制矩阵表示。示例性的，正常区域标记为1，异常区域标记为0，这样，在离散采样过程中，本申请实施例中的设计的测量矩阵可以合理避开异常区域像素点的采集。
可选的，在步骤204之后，所述方法还包括：
生成待插值帧，所述待插值帧的所述位置包括所述待插值块；
基于所述目标矩阵和稀疏采样模型处理所述待插值帧，得到目标待插值帧；
将所述目标待插值帧插入所述第一帧图像与所少数第二帧图像之间。
本申请实施例中，基于稀疏采样的异常值修复模块专门用于解决插值帧中重叠、空洞和其他伪影问题。根据稀疏采样理论和图像稀疏性这一先决条件，非线性重建算法可以在远低于Nyquist采样率的情况下很好地重建图像信号。具体来说，本申请实施例设计了优化的测量矩阵。基于稀疏采样理论，对异常区域进行重构，以消除插值帧中重叠、空洞和模糊等不利影响，使其具有更好的视觉质量。
需要说明的是，本申请实施例提供的插值帧的生成方法，执行主体可以为插值帧的生成装置，或者插值帧的生成装置中的用于执行插值帧的生成方法的控制模块。本申请实施例中以插值帧的生成装置执行插值帧的生成方法为例，说明本申请实施例提供的插值帧的生成装置。
请参见图4，图4为本申请实施例提供的插值帧的生成装置的结构示意图，如图4所示，应用通知显示装置400包括：
第一确定模块401，所述第一确定模块用于确定第一帧图像中的当前块的第一位置坐标，第二帧图像中与所述当前块对应的匹配块的第二位置坐标；
构建模块402，所述构建模块用于根据所述第一位置坐标和所述第二位置坐标构建运动模型，所述运动模型用于指示所述当前块相对所述匹配块的运动轨迹；
第二确定模块403，根据所述待插值帧相对所述目标帧图像的插入位置，确定目标时刻，所述目标帧图像为第一帧图像或第二帧图像；
第三确定模块404，将所述目标时刻作为所述运动模型的输入参数，确定与所述当前块对应的待插值块在待插值帧中的位置；
其中，所述第一帧图像和所述第二帧图像为待处理视频中相邻的两帧图像，所述第二帧图像位于所述第一帧图像之后。
在本申请实施例中，先确定待处理视频中相邻的第一帧图像中的当前块的第一位置坐标，第二帧图像中与所述当前块对应的匹配块的第二位置坐标，第二帧图像位于第一帧图像之后，然后根据第一位置坐标，所述第二位置坐标和所述第一帧图像与第二帧图像的第一时间间隔构建运动模型，所述运动模型用于指示所述当前块相对所述匹配块的运动轨迹，再确定所述待插值帧相对所述目标帧图像的插入位置，确定目标时刻，所述目标帧图像为第一帧图像或第二帧图像；最后将所述目标时刻作为所述运动模型的输入参数，确定与所述当前块对应的待插值块在待插值帧中的位置。通过构建一个新的的运动模型，精确定位视频中目标物体的运动轨迹，从而更精确的确定待插值块在待插值帧中的位置，以解决现有技术中视频帧率转换时，出现伪影的问题。
本申请实施例提供的插值帧的生成装置能够实现图1至图4的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图M所示，本申请实施例还提供一种电子设备，包括一个或多个处理器，存储器，用于存储一个或多个程序，该一个或多个程序被处理器执行时实现上述插值帧生成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本申请实施例还提供一种可读存储介质，所述可读存储介质包括计算机程序，所述计算机程序在计算机上被执行时实现上述插值帧生成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
Claims (10)
1.一种插值帧的生成方法，其特征在于，包括：
确定第一帧图像中的当前块的第一位置坐标，第二帧图像中与所述当前块对应的匹配块的第二位置坐标；
根据所述第一位置坐标和所述第二位置坐标构建运动模型，所述运动模型用于指示所述当前块相对所述匹配块的运动轨迹；
根据待插值帧相对目标帧图像的插入位置，确定目标时刻，所述目标帧图像为第一帧图像或第二帧图像；
将所述目标时刻作为所述运动模型的输入参数，确定与所述当前块对应的待插值块在待插值帧中的位置；
其中，所述第一帧图像和所述第二帧图像为待处理视频中相邻的两帧图像，
所述第二帧图像位于所述第一帧图像之后；
在所述确定第一帧图像中的当前块的第一位置坐标，第二帧图像中与所述当前块对应的匹配块的第二位置坐标之前，所述方法还包括：
根据所述当前块的运动向量得到第一位置坐标及所述匹配块的第二位置坐标；
在所述根据所述当前块的运动向量得到第一位置坐标及所述匹配块的第二位置坐标之后，所述方法还包括：
若所述当前块具有多个与所述当前块匹配的匹配块或所述当前块不具有与所述当前块匹配的匹配块，则将所述当前块所在区域确定为异常区域；
若所述当前块具有一个与所述当前块匹配的匹配块，则所述当前块所在区域为正常区域；
根据所述第一帧图像中正常区域和异常区域的分布情况得到目标矩阵；
在所述确定与所述当前块对应的待插值块在待插值帧中的位置之后，所述方法还包括：
生成待插值帧，所述待插值帧的所述位置包括所述待插值块；
基于所述目标矩阵和稀疏采样模型处理所述待插值帧，得到目标待插值帧；
将所述目标待插值帧插入所述第一帧图像与所少数第二帧图像之间；
其中，所述根据所述第一位置坐标和所述第二位置坐标构建运动模型，包括：
根据位置参数、速度参数、加速度参数和时间参数构建二阶多项式；
根据所述第一位置坐标，所述第二位置坐标构建运动模型得到所述二阶多项式中所述速度参数的速度参数值和加速度参数的加速度参数值；
将所述速度参数值代替所述速度参数，所述加速度参数值代替所述加速度参数得到所述运动模型。
2.根据权利要求1所述的插值帧的生成方法，其特征在于，在所述根据所述当前块的运动向量得到第一位置坐标及所述匹配块的第二位置坐标之前，所述方法还包括：
将所述第一帧图像的多个层及所述第二帧图像的多个层分别划分为数量不同的宏块，其中，所述第一帧图像与所述第二帧图像对应的层的宏块的数量相同；
对各宏块进行单边运动向量估计，得到各宏块的运动向量，所述宏块包括所述当前块。
3.根据权利要求2所述的插值帧的生成方法，其特征在于，还包括：
所述第一帧图像与所述第二帧图像从顶层到底层划分的宏块的数量依次增加。
4.根据权利要求2所述的插值帧的生成方法，其特征在于，所述对各宏块进行单边运动向量估计，得到各宏块的运动向量，包括：
获取各宏块之间的相对位置信息与色度信息；
将所述各宏块之间的相对位置信息和色度信息作为所述单边运动向量估计的参数，得到各宏块的运动向量。
5.一种插值帧的生成装置，所述装置包括：
第一确定模块，所述第一确定模块用于确定第一帧图像中的当前块的第一位置坐标，第二帧图像中与所述当前块对应的匹配块的第二位置坐标；
构建模块，所述构建模块用于根据所述第一位置坐标和所述第二位置坐标构建运动模型，所述运动模型用于指示所述当前块相对所述匹配块的运动轨迹；
第二确定模块，根据待插值帧相对目标帧图像的插入位置，确定目标时刻，所述目标帧图像为第一帧图像或第二帧图像；
第三确定模块，将所述目标时刻作为所述运动模型的输入参数，确定与所述当前块对应的待插值块在待插值帧中的位置；
其中，所述第一帧图像和所述第二帧图像为待处理视频中相邻的两帧图像，所述第二帧图像位于所述第一帧图像之后；第一计算模块，所述计算模块用于根据所述当前块的运动向量得到第一位置坐标及所述匹配块的第二位置坐标；
第四确定模块，用于若所述当前块具有多个与所述当前块匹配的匹配块或所述当前块不具有与所述当前块匹配的匹配块，则将所述当前块所在区域确定为异常区域；
若所述当前块具有一个与所述当前块匹配的匹配块，则所述当前块所在区域为正常区域；
根据所述第一帧图像中正常区域和异常区域的分布情况得到目标矩阵；
生成模块，用于在所述确定与所述当前块对应的待插值块在待插值帧中的位置之后，生成待查值帧，所述待插值帧的所述位置包括所述待插值块；
第三计算模块，用于基于所述目标矩阵和稀疏采样模型处理所述待插值帧，得到目标待插值帧；
插入模块，用于将所述目标待插值帧插入所述第一帧图像与所少数第二帧图像之间，
其中，所述根据位置参数、速度参数、加速度参数和时间参数构建二阶多项式；
根据所述第一位置坐标，所述第二位置坐标构建运动模型得到所述二阶多项式中所述速度参数的速度参数值和加速度参数的加速度参数值；
将所述速度参数值代替所述速度参数，所述加速度参数值代替所述加速度参数得到所述运动模型。
6.根据权利要求5所述的插值帧的生成装置，其特征在于，还包括：
划分模块，所述划分模块用于将所述第一帧图像的多个层及所述第二帧图像的多个层分别划分为数量不同的块，其中，所述第一帧图像与所述第二帧图像对应的层的块的数量相同‘；
第二计算模块，用于对各块进行单边运动向量估计，得到各块的运动向量，所述块包括所述当前块。
7.根据权利要求6所述的插值帧的生成装置，其特征在于：所述第一帧图像与所述第二帧图像从顶层到底层划分的块的数量依次增加。
8.根据权利要求6所述的插值帧的生成装置，其特征在于，所述第二计算模块具体用于获取各块之间的相对位置信息与色度信息；将所述各块之间的相对位置信息和色度信息作为所述单边运动向量估计的参数，得到各块的运动向量。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4任一项所述的方法。
10.一种可读存储介质，其特征在于，包括计算机程序，所述计算机程序在计算机上被执行时，使得所述计算机执行权利要求1-4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110819047.0A CN113556581B (zh) | 2021-07-20 | 2021-07-20 | 插值帧的生成方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110819047.0A CN113556581B (zh) | 2021-07-20 | 2021-07-20 | 插值帧的生成方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113556581A CN113556581A (zh) | 2021-10-26 |
| CN113556581B true CN113556581B (zh) | 2023-11-03 |
Family
ID=78103535
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110819047.0A Active CN113556581B (zh) | 2021-07-20 | 2021-07-20 | 插值帧的生成方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113556581B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5786860A (en) * | 1994-07-30 | 1998-07-28 | Korean Advanced Institute Of Science And Technology | High speed block matching for bi-directional motion vector estimation |
| CN102868879A (zh) * | 2011-07-05 | 2013-01-09 | 北京大学 | 一种视频帧速率上转换方法及系统 |
| CN103647973A (zh) * | 2013-12-10 | 2014-03-19 | 华为技术有限公司 | 一种帧率上采样的方法和装置 |
| CN103702128A (zh) * | 2013-12-24 | 2014-04-02 | 浙江工商大学 | 一种应用于视频帧速率上转换的插值帧生成方法 |
| CN105847804A (zh) * | 2016-05-18 | 2016-08-10 | 信阳师范学院 | 一种基于稀疏冗余表示模型的视频帧率上转换方法 |
| CN107256538A (zh) * | 2017-06-08 | 2017-10-17 | 大连海事大学 | 一种基于搜索准则和约束条件的块稀疏表示的图像修复方法 |
| CN110675317A (zh) * | 2019-09-10 | 2020-01-10 | 中国人民解放军国防科技大学 | 基于学习和自适应三边滤波正则化的超分辨率重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100955161B1 (ko) * | 2004-05-04 | 2010-04-28 | 콸콤 인코포레이티드 | 모션 보상된 프레임 레이트 상향 변환을 위한 방법 및 장치 |
-
2021
- 2021-07-20 CN CN202110819047.0A patent/CN113556581B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5786860A (en) * | 1994-07-30 | 1998-07-28 | Korean Advanced Institute Of Science And Technology | High speed block matching for bi-directional motion vector estimation |
| CN102868879A (zh) * | 2011-07-05 | 2013-01-09 | 北京大学 | 一种视频帧速率上转换方法及系统 |
| CN103647973A (zh) * | 2013-12-10 | 2014-03-19 | 华为技术有限公司 | 一种帧率上采样的方法和装置 |
| WO2015085922A1 (zh) * | 2013-12-10 | 2015-06-18 | 华为技术有限公司 | 一种帧率上采样的方法和装置 |
| CN103702128A (zh) * | 2013-12-24 | 2014-04-02 | 浙江工商大学 | 一种应用于视频帧速率上转换的插值帧生成方法 |
| CN105847804A (zh) * | 2016-05-18 | 2016-08-10 | 信阳师范学院 | 一种基于稀疏冗余表示模型的视频帧率上转换方法 |
| CN107256538A (zh) * | 2017-06-08 | 2017-10-17 | 大连海事大学 | 一种基于搜索准则和约束条件的块稀疏表示的图像修复方法 |
| CN110675317A (zh) * | 2019-09-10 | 2020-01-10 | 中国人民解放军国防科技大学 | 基于学习和自适应三边滤波正则化的超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| Tsung-Han Tsai and Tsung-Han Tsai."High Visual Quality Particle Based Frame Rate Up Conversion With Acceleration Assisted Motion Trajectory Calibration".JOURNAL OF DISPLAY TECHNOLOGY.2012,1-11. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113556581A (zh) | 2021-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106683067B (zh) | 一种基于残差子图像的深度学习超分辨率重建方法 | |
| Bao et al. | Memc-net: Motion estimation and motion compensation driven neural network for video interpolation and enhancement | |
| CN110324664B (zh) | 一种基于神经网络的视频补帧方法及其模型的训练方法 | |
| CN111028150B (zh) | 一种快速时空残差注意力视频超分辨率重建方法 | |
| CN109118431A (zh) | 一种基于多记忆及混合损失的视频超分辨率重建方法 | |
| CN106127688B (zh) | 一种超分辨率图像重建方法及其系统 | |
| CN103595981B (zh) | 基于非局部低秩的色彩滤波阵列图像去马赛克方法 | |
| CN114339030B (zh) | 一种基于自适应可分离卷积的网络直播视频稳像方法 | |
| JPH04294469A (ja) | 相関装置 | |
| CN114529456B (zh) | 一种视频的超分辨率处理方法、装置、设备及介质 | |
| WO2023160426A1 (zh) | 视频插帧方法、训练方法、装置和电子设备 | |
| CN116152591B (zh) | 模型训练方法、红外小目标检测方法、装置及电子设备 | |
| WO2023185284A1 (zh) | 视频处理方法和装置 | |
| CN110415173A (zh) | 一种基于三维总变分的图像超分辨率方法 | |
| CN110689509A (zh) | 基于循环多列3d卷积网络的视频超分辨率重建方法 | |
| CN115578255A (zh) | 一种基于帧间亚像素块匹配的超分辨率重建方法 | |
| CN117333398A (zh) | 一种基于自监督的多尺度图像去噪方法及装置 | |
| CN116542889A (zh) | 一种拥有稳定视点的全景视频增强方法 | |
| CN117576179A (zh) | 多尺度细节特征增强的矿井图像单目深度估计方法 | |
| CN114897711A (zh) | 一种视频中图像处理方法、装置、设备及存储介质 | |
| CN103903240B (zh) | 基于多输出最小二乘支持向量回归的图像超分辨方法 | |
| CN113556581B (zh) | 插值帧的生成方法、装置及电子设备 | |
| CN110443754B (zh) | 一种数字图像分辨率提升的方法 | |
| CN116895037A (zh) | 基于边缘信息和多尺度交叉融合网络的帧插入方法及系统 | |
| JP2008113292A (ja) | 動き推定方法，装置，そのプログラムおよびその記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 518000 District D and E, 7th Floor, Building 3, Tingwei Industrial Park, 6 Liufang Road, Xin'an Street, Baoan District, Shenzhen City, Guangdong Province Applicant after: Shenzhen Aixiesheng Technology Co.,Ltd. Address before: 518000 District D and E, 7th Floor, Building 3, Tingwei Industrial Park, 6 Liufang Road, Xin'an Street, Baoan District, Shenzhen City, Guangdong Province Applicant before: SHENZHEN AIXIESHENG TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |