CN108271022B - 一种运动估计的方法及装置 - Google Patents

一种运动估计的方法及装置 Download PDF

Info

Publication number
CN108271022B
CN108271022B CN201611270856.6A CN201611270856A CN108271022B CN 108271022 B CN108271022 B CN 108271022B CN 201611270856 A CN201611270856 A CN 201611270856A CN 108271022 B CN108271022 B CN 108271022B
Authority
CN
China
Prior art keywords
motion vector
image
current frame
super
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611270856.6A
Other languages
English (en)
Other versions
CN108271022A (zh
Inventor
王森
罗小伟
林福辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
Spreadtrum Communications Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Shanghai Co Ltd filed Critical Spreadtrum Communications Shanghai Co Ltd
Priority to CN201611270856.6A priority Critical patent/CN108271022B/zh
Publication of CN108271022A publication Critical patent/CN108271022A/zh
Application granted granted Critical
Publication of CN108271022B publication Critical patent/CN108271022B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种运动估计的方法及装置，所述方法包括将当前帧的图像超像素分割成为多个超像素分块；全局运动估计所述当前帧的图像，得到所述当前帧的图像的全局运动矢量，形成候选运动矢量场，所述候选运动矢量场包括所述全局运动矢量及零运动矢量；根据所述候选运动矢量场，确定每个超像素分块的运动矢量。采用上述方案可以提高运动矢量估计的准确性。

Description

一种运动估计的方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种运动估计的方法及装置。
背景技术
类似手机及平板电脑等的智能用户设备的人机交互方式主要包括点击、拖动及滑动操作，而由于智能用户设备屏幕大小的限制，故在一个屏幕中显示的内容比较有限，因此在用户快速浏览或者寻找特定内容时，需要快速拖动或滑动智能用户设备的屏幕。此时，受限于如智能用户设备般的图形处理器(Graphics Processing Unit，GPU)等渲染设备的性能，真实的显示帧率并不高，或者会出现一定程度的卡顿或模糊的现象，进而造成用户看不清屏幕内容。
为解决上述问题，可以通过在解码端采用视频插帧技术，即帧率转换技术来恢复原始帧率以提高视频图像的主观视觉效果。视频插帧技术也可以用于不同帧率的视频格式之间的转换。由于简单的帧重复和帧平均会产生运动抖动和模糊，因此，在实际运用中通常采用的是基于块匹配的运动补偿内插(Motion-compensated Interpolation，MCI)方法，而该方法所获得的内插帧的质量取决于运动矢量估计的准确度。
现有技术中，通常采用三维递归搜索的块匹配方法来估计图像的运动。在三维递归搜索的块匹配方法中，当前块的运动矢量是对时间、空间预测的运动矢量的小范围的修正。当前块的运动矢量同时也是下一分块，下一行的相邻分块的空域候选矢量和时域候选矢量。
但是，这种运动估计方法，存在运动矢量估计的准确性差的问题。
发明内容
本发明解决的问题是如何提高智能用户设备在人机交互时，对运动矢量估计的准确性。
为解决上述问题，本发明实施例提供了一种运动估计的方法，所述方法包括：将当前帧的图像超像素分割成为多个超像素分块；全局运动估计所述当前帧的图像，得到所述当前帧的图像的全局运动矢量，形成候选运动矢量场，所述候选运动矢量场包括所述全局运动矢量及零运动矢量；根据所述候选运动矢量场，确定每个超像素分块的运动矢量。
可选地，所述根据所述候选运动矢量场，确定每个超像素分块的运动矢量，包括：分别计算每个超像素分块属于运动区域和静止区域的代价，所述运动区域对应的运动矢量为所述全局运动矢量，所述静止区域对应的运动矢量为所述零运动矢量；根据每个超像素分块属于运动区域和静止区域的代价，构建以所述超像素分块为节点的图；求解图的最小割，取所述图的最小割所对应的每个超像素分块的运动矢量，分别作为各个超像素分块的运动矢量。
可选地，所述根据所述候选运动矢量场，确定每个超像素分块的运动矢量，包括：对于每一个所述超像素分块，计算各个候选运动矢量对应的绝对差和，并将各个候选运动矢量与周围超像素分块的运动矢量之间的差值与预设权重系数的乘积作为惩罚项；从所述候选运动矢量场中选取对应的绝对差和与惩罚项之和最小的候选运动矢量，作为对应的超像素分块的运动矢量。
可选地，所述全局运动估计所述当前帧的图像，得到所述当前帧的图像的全局运动矢量，包括：分别获取当前帧的图像及参考图像；分别求取所述当前帧的图像及参考图像的傅里叶变换；计算得到傅里叶变换后的所述当前帧的图像及参考图像的互相关；计算所述互相关的逆傅里叶变换，作为所述当前帧的图像的全局运动矢量。
可选地，在所述分别求取所述当前帧的图像及参考图像的傅里叶变换之前，还包括：对所述当前帧的图像及参考图像进行降采样操作。
可选地，在所述分别求取所述当前帧的图像及参考图像的傅里叶变换之前，还包括：采用三角窗函数对所述当前帧的图像及参考图像进行处理。
可选地，所述计算所述互相关的逆傅里叶变换之后，还包括：对逆傅里叶变化后得到的全局运动矢量进行二次多项式拟合处理。
本发明实施例提供了一种运动估计的装置，所述装置包括：分割单元，适于将当前帧的图像超像素分割成为多个超像素分块；全局运动估计单元，适于全局运动估计所述当前帧的图像，得到所述当前帧的图像的全局运动矢量，形成候选运动矢量场，所述候选运动矢量场包括所述全局运动矢量及零运动矢量；运动矢量确定单元，适于根据所述候选运动矢量场，确定每个超像素分块的运动矢量。
可选地，所述运动矢量确定单元，包括：计算子单元，适于分别计算每个超像素分块属于运动区域和静止区域的代价，所述运动区域对应的运动矢量为所述全局运动矢量，所述静止区域对应的运动矢量为所述零运动矢量；构建子单元，适于根据每个超像素分块属于运动区域和静止区域的代价，构建以所述超像素分块为节点的图；最小割子单元，适于求解图的最小割，取所述图的最小割所对应的每个超像素分块的运动矢量，分别作为各个超像素分块的运动矢量。
可选地，所述运动矢量确定单元，适于对于每一个所述超像素分块，计算各个候选运动矢量对应的绝对差和，并将各个候选运动矢量与周围超像素分块的运动矢量之间的差值与预设权重系数的乘积作为惩罚项；从所述候选运动矢量场中选取对应的绝对差和与惩罚项之和最小的候选运动矢量，作为对应的超像素分块的运动矢量。
可选地，所述全局运动估计单元，包括：获取子单元，适于分别获取当前帧的图像及参考图像；第一计算子单元，适于分别求取所述当前帧的图像及参考图像的傅里叶变换；第二计算子单元，适于计算得到傅里叶变换后的所述当前帧的图像及参考图像的互相关；第三计算子单元，适于计算所述互相关的逆傅里叶变换，作为所述当前帧的图像的全局运动矢量。
可选地，所述全局运动估计单元还包括：降采样子单元，适于在所述分别求取所述当前帧的图像及参考图像的傅里叶变换之前，对所述当前帧的图像及参考图像进行降采样操作。
可选地，所述全局运动估计单元还包括：三角窗处理子单元，适于在所述分别求取所述当前帧的图像及参考图像的傅里叶变换之前，采用三角窗函数对所述当前帧的图像及参考图像进行处理。
可选地，所述全局运动估计单元还包括：拟合子单元，适于在计算所述互相关的逆傅里叶变换之后，对逆傅里叶变化后得到的全局运动矢量进行二次多项式拟合处理。
与现有技术相比，本发明的技术方案具有以下优点：
上述的方案，由于将当前帧的图像超像素分割成为多个超像素分块，然后以超像素分块为单位来估计运动矢量，无须损失当前帧的图像的信息，而是可以保持当前帧的图像的边界特性，故可以提高运动矢量估计的准确性。并且超像素分割可以大大减少图像中元素的个数，因此也可以降低运动估计的复杂度。
进一步，通过求解图的最小割，然后取所述图的最小割所对应的每个超像素分块的运动矢量，作为各个超像素分块的运动矢量，由于最小割计算中图的顶点的数目较少，故也可以降低运动估计的复杂度。
进一步，在所述分别求取所述当前帧的图像及参考图像的傅里叶变换之前，对所述当前帧的图像及参考图像进行降采样操作，可以降低全局运动估计的运算的复杂度，因此可以降低运动估计的复杂度。
进一步，采用三角窗对所述当前帧的图像及参考图像进行处理，可以降低图像边界像素在快速傅立叶变换中的权重，提高图像处理的平滑性，因此可以提高运动矢量估计的准确性。
进一步，通过在逆傅里叶变化后得到的全局运动矢量的结果附近采用二次多项式拟合，可以提高运动矢量估计的准确性。
附图说明
图1是本发明实施例中的一种运动估计的方法的流程示意图；
图2是本发明实施例中的一种计算全局运动估计矢量的方法的流程示意图；
图3是本发明实施例中的一种手机拖动或滑动操作时显示界面区域划分的示例图；
图4是本发明实施例中的一种以超像素分块为节点构建的图；
图5是本发明实施例中另一种运动估计的方法的流程示意图；
图6是本发明实施例中的一种运动估计的装置的结构示意图。
具体实施方式
类似手机及平板电脑等的智能用户设备的人机交互方式主要包括点击、拖动及滑动操作，在用户快速拖动或滑动智能用户设备的屏幕时，智能用户设备的显示帧率不足，会出现一定程度的卡顿或模糊的现象。
对于快速拖动或滑动造成的显示帧率不足的情况，现有的智能用户设备中，或者采取重复显示图像帧的方法，比如将一帧图像重复两次显示，就可以将30帧/秒的帧率提高到60帧/秒的帧率。或者在电视等产品中，也有利用插帧算法来提升帧率的方案。但是，采用重复的方法会带来卡顿或是模糊。而电视等产品中的插帧算法主要针对的是视频内容，运动构成复杂但幅度相对较小，而手机拖动/滑动时，运动构成简单但幅度较大。如果直接将电视产品中的插帧算法运用到手机中，不仅成本高，而且由于运动特点不一致，最终的插帧效果也不理想。
目前，对于插帧算法，通常采用三维递归搜索的块匹配方法来估计图像的运动。在三维递归搜索的块匹配方法中，当前块的运动矢量是对时间、空间预测的运动矢量的小范围的修正。当前块的运动矢量同时也是下一分块，下一行的相邻分块的空域候选矢量和时域候选矢量。
但是，这种运动估计方法，存在运动矢量估计的准确性差的问题。
为解决上述问题，本发明实施例将当前帧的图像超像素分割成为多个超像素分块，然后以超像素分块为单位来估计运动矢量，无须损失当前帧的图像的信息，而是可以保持当前帧的图像的边界特性，故可以提高运动矢量估计的准确性。并且超像素分割可以大大减少图像中元素的个数，因此也可以降低运动估计的复杂度。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图1示出了本发明实施例中的一种运动估计的方法，下面参考图1，对所述运动估计的方法进行分步骤详细介绍，所述方法可以包括如下步骤：
步骤S11：将当前帧的图像超像素分割成为多个超像素分块。
在图像局部区域具有相似性质(颜色，灰度)的像素的集合叫做超像素。为了保持图像的边界特征及减少图像中元素的个数，降低运算的复杂度，在具体实施中，可以将当前帧的图像超像素分割成为多个超像素分块。
超像素分割图像的详细过程可以为：
(a)首先根据图像的大小和预设的每个超像素分块的大小或者预设的超像素分块的个数，来决定初始状态下图像中各个类的质心的位置，且确保各个类的质心在图像中均匀分布。在本发明一实施例中，所述预设的每个超像素分块的大小可以为S×S，下面以该大小为例对超像素分割过程进行介绍。
(b)接着对每一个质心，对其周围的范围内的所有像素点，比如范围大小可以为2S×2S，来分别一一计算像素点与质心之间的距离D。其中：距离D可以参照如下公式(1)～(3)进行计算：
Figure GDA0002482179620000061
Figure GDA0002482179620000062
Figure GDA0002482179620000063
其中，ds表示像素与质心在空间上的距离，dc为像素与质心在色彩上的距离，m为控制ds相对权重的参数。m越大，则超像素分块的形状越规整；m越小，则超像素分块越贴合图形中的物体边界。
如果D小于当前像素距离质心的最小距离，则将该像素距离质心的最小距离置位D，并标记该像素属于该质心所在的超像素。
(c)所有质心都按照步骤(b)中运算过之后，更新各个质心的位置。
(d)重复步骤(b)和步骤(c)过程直到达到预定的迭代次数。
步骤S12：全局运动估计所述当前帧的图像，得到所述当前帧的图像的全局运动矢量，形成候选运动矢量场。
在具体实施中，所述候选运动矢量场可以包括零运动矢量及全局运动估计所得到的所述全局运动矢量。
步骤S13：根据所述候选运动矢量场，确定每个超像素分块的运动矢量。
需要说明的是，根据手机等智能用户设备拖动或滑动时的特点，可以将屏幕中区域分为三个，分别为静止区域、滑动区域及遮挡区域。图2是一个典型的手机拖动或滑动时手机屏幕20上各个区域的示例，图2中每个图标表示一个应用，比如图标11表示微信，图标12表示相机等等，图标具体所表示的应用并不对本发明构成限制。将图2中左边的屏幕20向右滑动，得到图2中右边的屏幕20。其中：静止区域是指在拖动或滑动过程中在屏幕中保持静止不动的区域，如图2中的菜单区域21。滚动区域是指在拖动或滑动过程中运动的区域，比如图2中的图标区域22，并且滚动区域一般是关注信息的主体。遮挡区域是指新进入屏幕或者移除屏幕的区域，比如图2中的图标24及图标34。在具体实施中，所述运动区域所对应的运动矢量为所述全局运动矢量，所述静止区域对应的运动矢量为所述零运动矢量，换言之，属于运动区域的超像素分块的运动矢量即为全局运动矢量，属于静止区域的超像素分块的运动矢量即为零运动矢量。
在具体实施中，根据所考虑的因素的不同，可以有多种确定每个超像素分块的运动矢量的方法。比如，可以首先分别计算每个超像素分块属于运动区域和静止区域的代价，具体可以按照如下公式(4)、公式(5)及公式(6)来计算：
Figure GDA0002482179620000071
其中：Es(i)表示超像素分块i属于运动区域时与参考图像中对应部分在色彩上的距离，GMV为全局运动矢量。
Figure GDA0002482179620000072
其中：Et(i)表示超像素分块i属于静止区域时与参考图像对应部分在色彩上的距离。
EST(i,j)＝dc(i,j) (6)
其中：EST(i，j)表示相邻的超像素分块i和超像素分块j之间在色彩的距离。
进而根据每个超像素分块属于运动区域和静止区域的代价，来构建以所述超像素分块为节点的图。可以参考图3，图3中的各个节点31、32、33、34、35、36、37、38及39均代表超像素分块。两个特殊的节点，即源节点S和漏节点T分别代表运动区域和静止区域。连接各超像素分块对应的节点到源节点S的边的权重如公式(7)所示：
Ws(i)＝exp(-Es(i)) (7)
连接各超像素节点到漏节点T的边的权重为：
Wt(i)＝exp(-Et(i)) (8)
连接相邻超像素节点间的边的权重为：
Figure GDA0002482179620000081
S(i，j)表示相邻超像素分块属于不同运动区域时的平滑惩罚项。
最后求解图的最小割，按照曲线L分割构图，取所述图的最小割所对应的每个超像素分块的运动矢量，来分别作为各个超像素分块的运动矢量。由于最小割的方式可以减少构图的节点个数，故也可以降低运动估计的计算复杂度。并且由于超像素分块的数目较少，对用来求解图的最小割的算法要求不高，在本发明一实施例中，可以采用Ford-Fulkerson的算法来求解图的最小割。本领域技术人员根据实际需要，也可以采用其它的算法来求解图的最小割。
又比如，可以考虑每个超像素分块与周边超像素分块的关系来确定每个超像素分块的运动矢量，具体包括对于每一个所述超像素分块，先计算各个候选运动矢量对应的绝对差和，然后并将各个候选运动矢量与周围超像素分块的运动矢量之间的差值与预设权重系数的乘积作为惩罚项，之后从所述候选运动矢量场中选取对应的绝对差和与惩罚项之和最小的候选运动矢量，作为对应的超像素分块的运动矢量。
目前，通常采用三维递归搜索的块匹配方法来估计图像的运动，存在运动矢量估计的准确性差的问题。
而本发明实施例将当前帧的图像超像素分割成为多个超像素分块，然后以超像素分块为单位来估计运动矢量，无须损失当前帧的图像的信息，而是可以保持当前帧的图像的边界特性，故可以提高运动矢量估计的准确性。并且超像素分割可以大大减少图像中元素的个数，因此也可以降低运动估计的复杂度。
为使得本领域技术人员更好地理解和实现本发明，图4示出了本发明实施例中的一种计算全局运动估计矢量的方法的流程示意图，如图4所示，参考图4详细介绍全局运动估计的方法，所述方法可以包括如下步骤：
步骤S41：分别获取当前帧的图像及参考图像。
在具体实施中，在所述分别求取所述当前帧的图像及参考图像的傅里叶变换之前，还可以对所述当前帧的图像及参考图像进行降采样操作，因此可以降低全局运动估计的运算的复杂度，进而可以降低运动估计的复杂度。
在具体实施中，在所述分别求取所述当前帧的图像及参考图像的傅里叶变换之前，还可以采用三角窗函数对所述当前帧的图像及参考图像进行处理。由于三角窗函数处理可以降低图像边界像素在快速傅立叶变换中的权重，故可以提高图像处理的平滑性，因此可以提高运动矢量估计的准确性。
需要说明的是，降采样操作和三角窗函数可以均执行，此时先对当前帧的图像及参考图像执行降采样操作，之后使用三角窗函数再对降采样之后的图像进行处理，然后再执行步骤S41。
步骤S42：分别求取所述当前帧的图像及参考图像的傅里叶变换。
在具体实施中，可以分别对所述当前帧的图像及参考图像进行二维的傅里叶变换fft2。
步骤S43：计算得到傅里叶变换后的所述当前帧的图像及参考图像的互相关。
在具体实施中，可以计算得到傅里叶变换后的所述当前帧的图像及参考图像的互相关，即F(u)，其中：u为估计的全局运动矢量，所述计算互相关即是求取函数F(u)的峰值所对应的u。
步骤S44：计算所述互相关的逆傅里叶变换，作为所述当前帧的图像的全局运动矢量。
在具体实施中，计算所述互相关的逆傅里叶变换ifft2。
在具体实施中，所述计算所述互相关的逆傅里叶变换之后，还可以对逆傅里叶变化后得到的全局运动矢量进行二次多项式拟合处理，将拟合处理后的结果，作为所述当前帧的图像的全局运动矢量。因此可以提高运动矢量估计的准确性。
为使得本领域技术人员更好地理解和实现本发明，图5示出了本发明实施例中另一种运动估计的方法，如图5所示，所述方法可以按照如下流程实施：
步骤S51：分别获取当前帧的图像及参考图像。
步骤S52：全局运动估计。
在具体实施中，根据手机等智能用户设备的屏幕的滑动特点,即只支持平移运动，不支持其他如旋转、缩放及仿射等更复杂的运动，可以基于相位相关来对图像做全局运动估计。
步骤S53：图像超像素分割。
步骤S54：计算代价。
在具体实施中，可以分别计算超像素属于运动区域和静止区域的代价。
需要说明的是，步骤S53及步骤S54的执行顺序没有严格限制，本领域技术人员根据实际需要，也可以先执行步骤S54，再执行步骤S53，或者同时执行步骤S53及步骤S54。
步骤S55：求解图的最小割。
在具体实施中，可以取所述图的最小割所对应的每个超像素分块的运动矢量，来分别作为各个超像素分块的运动矢量，之后对于连接到源节点的超像素分块，可以标记为运动区域。对于连接到漏节点的超像素分块，可以标记为静止区域。
综上，本发明实施例基于超像素和最小割的前后景的分割方法来进行运动估计，可以提高物体内部运动的一致性，进而提高运动估计的准确度，并且显著的降少运算量。
为使得本领域技术人员更好地理解和实现本发明，图6示出了本发明实施例中的一种运动估计的装置，所述装置可以包括：分割单元61、全局运动估计单元62及运动矢量确定单元63，其中：
分割单元61，适于将当前帧的图像超像素分割成为多个超像素分块；
全局运动估计单元62，适于全局运动估计所述当前帧的图像，得到所述当前帧的图像的全局运动矢量，形成候选运动矢量场，所述候选运动矢量场包括所述全局运动矢量及零运动矢量；
运动矢量确定单元63，适于根据所述候选运动矢量场，确定每个超像素分块的运动矢量。
本发明实施例中分割单元61将当前帧的图像超像素分割成为多个超像素分块，然后全局运动估计单元62及运动矢量确定单元63以超像素分块为单位来估计运动矢量，无须损失当前帧的图像的信息，而是可以保持当前帧的图像的边界特性，故可以提高运动矢量估计的准确性。并且超像素分割可以大大减少图像中元素的个数，因此也可以降低运动估计的复杂度。
在本发明一实施例中，所述运动矢量确定单元63可以包括：
计算子单元，适于分别计算每个超像素分块属于运动区域和静止区域的代价，所述运动区域对应的运动矢量为所述全局运动矢量，所述静止区域对应的运动矢量为所述零运动矢量；
构建子单元，适于根据每个超像素分块属于运动区域和静止区域的代价，构建以所述超像素分块为节点的图；
最小割子单元，适于求解图的最小割，取所述图的最小割所对应的每个超像素分块的运动矢量，分别作为各个超像素分块的运动矢量。
在本发明另一实施例中，所述运动矢量确定单元63，可以适于对于每一个所述超像素分块，计算各个候选运动矢量对应的绝对差和，并将各个候选运动矢量与周围超像素分块的运动矢量之间的差值与预设权重系数的乘积作为惩罚项；从所述候选运动矢量场中选取对应的绝对差和与惩罚项之和最小的候选运动矢量，作为对应的超像素分块的运动矢量。
在具体实施中，所述全局运动估计单元62，包括：获取子单元(未示出)，适于分别获取当前帧的图像及参考图像；第一计算子单元(未示出)，适于分别求取所述当前帧的图像及参考图像的傅里叶变换；第二计算子单元(未示出)，适于计算得到傅里叶变换后的所述当前帧的图像及参考图像的互相关；第三计算子单元(未示出)，适于计算所述互相关的逆傅里叶变换，作为所述当前帧的图像的全局运动矢量。
在具体实施中，所述全局运动估计单元62还可以包括：降采样子单元(未示出)，适于在所述分别求取所述当前帧的图像及参考图像的傅里叶变换之前，对所述当前帧的图像及参考图像进行降采样操作。
在具体实施中，所述全局运动估计单元62还可以包括：三角窗处理子单元(未示出)，适于在所述分别求取所述当前帧的图像及参考图像的傅里叶变换之前，采用三角窗函数对所述当前帧的图像及参考图像进行处理。
在具体实施中，所述全局运动估计单元62还可以包括：拟合子单元(未示出)，适于在计算所述互相关的逆傅里叶变换之后，对逆傅里叶变化后得到的全局运动矢量进行二次多项式拟合处理。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于以计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (14)

1.一种运动估计的方法，用于用户拖动或滑动智能设备的屏幕时的运动估计，其特征在于，包括：
将当前帧的图像超像素分割成为多个超像素分块；
全局运动估计所述当前帧的图像，得到所述当前帧的图像的全局运动矢量，形成候选运动矢量场，所述候选运动矢量场包括所述全局运动矢量及零运动矢量；
根据所述候选运动矢量场，确定每个超像素分块的运动矢量。
2.如权利要求1所述的运动估计的方法，其特征在于，所述根据所述候选运动矢量场，确定每个超像素分块的运动矢量，包括：
分别计算每个超像素分块属于运动区域和静止区域的代价，所述运动区域对应的运动矢量为所述全局运动矢量，所述静止区域对应的运动矢量为所述零运动矢量；
根据每个超像素分块属于运动区域和静止区域的代价，构建以所述超像素分块为节点的图；
求解图的最小割，取所述图的最小割所对应的每个超像素分块的运动矢量，分别作为各个超像素分块的运动矢量。
3.如权利要求1所述的运动估计的方法，其特征在于，所述根据所述候选运动矢量场，确定每个超像素分块的运动矢量，包括：
对于每一个所述超像素分块，计算各个候选运动矢量对应的绝对差和，并将各个候选运动矢量与周围超像素分块的运动矢量之间的差值与预设权重系数的乘积作为惩罚项；
从所述候选运动矢量场中选取对应的绝对差和与惩罚项之和最小的候选运动矢量，作为对应的超像素分块的运动矢量。
4.如权利要求1所述的运动估计的方法，其特征在于，所述全局运动估计所述当前帧的图像，得到所述当前帧的图像的全局运动矢量，包括：
分别获取当前帧的图像及参考图像；
分别求取所述当前帧的图像及参考图像的傅里叶变换；
计算得到傅里叶变换后的所述当前帧的图像及参考图像的互相关；
计算所述互相关的逆傅里叶变换，作为所述当前帧的图像的全局运动矢量。
5.如权利要求4所述的运动估计的方法，其特征在于，在所述分别求取所述当前帧的图像及参考图像的傅里叶变换之前，还包括：
对所述当前帧的图像及参考图像进行降采样操作。
6.如权利要求4或5所述的运动估计的方法，其特征在于，在所述分别求取所述当前帧的图像及参考图像的傅里叶变换之前，还包括：
采用三角窗函数对所述当前帧的图像及参考图像进行处理。
7.如权利要求4所述的运动估计的方法，其特征在于，所述计算所述互相关的逆傅里叶变换之后，还包括：
对逆傅里叶变化后得到的全局运动矢量进行二次多项式拟合处理。
8.一种运动估计的装置，用于用户拖动或滑动智能设备的屏幕时的运动估计，其特征在于，包括：
分割单元，适于将当前帧的图像超像素分割成为多个超像素分块；
全局运动估计单元，适于全局运动估计所述当前帧的图像，得到所述当前帧的图像的全局运动矢量，形成候选运动矢量场，所述候选运动矢量场包括所述全局运动矢量及零运动矢量；
运动矢量确定单元，适于根据所述候选运动矢量场，确定每个超像素分块的运动矢量。
9.如权利要求8所述的运动估计的装置，其特征在于，所述运动矢量确定单元，包括：
计算子单元，适于分别计算每个超像素分块属于运动区域和静止区域的代价，所述运动区域对应的运动矢量为所述全局运动矢量，所述静止区域对应的运动矢量为所述零运动矢量；
构建子单元，适于根据每个超像素分块属于运动区域和静止区域的代价，构建以所述超像素分块为节点的图；
最小割子单元，适于求解图的最小割，取所述图的最小割所对应的每个超像素分块的运动矢量，分别作为各个超像素分块的运动矢量。
10.如权利要求8所述的运动估计的装置，其特征在于，所述运动矢量确定单元，适于对于每一个所述超像素分块，计算各个候选运动矢量对应的绝对差和，并将各个候选运动矢量与周围超像素分块的运动矢量之间的差值与预设权重系数的乘积作为惩罚项；从所述候选运动矢量场中选取对应的绝对差和与惩罚项之和最小的候选运动矢量，作为对应的超像素分块的运动矢量。
11.如权利要求8所述的运动估计的装置，其特征在于，所述全局运动估计单元，包括：
获取子单元，适于分别获取当前帧的图像及参考图像；
第一计算子单元，适于分别求取所述当前帧的图像及参考图像的傅里叶变换；
第二计算子单元，适于计算得到傅里叶变换后的所述当前帧的图像及参考图像的互相关；
第三计算子单元，适于计算所述互相关的逆傅里叶变换，作为所述当前帧的图像的全局运动矢量。
12.如权利要求11所述的运动估计的装置，其特征在于，所述全局运动估计单元还包括：降采样子单元，适于在所述分别求取所述当前帧的图像及参考图像的傅里叶变换之前，对所述当前帧的图像及参考图像进行降采样操作。
13.如权利要求11或12所述的运动估计的装置，其特征在于，所述全局运动估计单元还包括：三角窗处理子单元，适于在所述分别求取所述当前帧的图像及参考图像的傅里叶变换之前，采用三角窗函数对所述当前帧的图像及参考图像进行处理。
14.如权利要求11所述的运动估计的装置，其特征在于，所述全局运动估计单元还包括：拟合子单元，适于在计算所述互相关的逆傅里叶变换之后，对逆傅里叶变化后得到的全局运动矢量进行二次多项式拟合处理。
CN201611270856.6A 2016-12-30 2016-12-30 一种运动估计的方法及装置 Active CN108271022B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611270856.6A CN108271022B (zh) 2016-12-30 2016-12-30 一种运动估计的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611270856.6A CN108271022B (zh) 2016-12-30 2016-12-30 一种运动估计的方法及装置

Publications (2)

Publication Number Publication Date
CN108271022A CN108271022A (zh) 2018-07-10
CN108271022B true CN108271022B (zh) 2020-07-17

Family

ID=62771341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611270856.6A Active CN108271022B (zh) 2016-12-30 2016-12-30 一种运动估计的方法及装置

Country Status (1)

Country Link
CN (1) CN108271022B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020073928A1 (en) * 2018-10-09 2020-04-16 Huawei Technologies Co., Ltd. Inter prediction method and apparatus
CN110139100B (zh) * 2019-05-16 2021-07-06 东莞职业技术学院 多图像运动估计的扩展块匹配及运动矢量估计算法
CN111726555B (zh) * 2020-06-04 2021-11-23 上海顺久电子科技有限公司 一种显示设备及运动估计方法、视频处理方法
CN112001943B (zh) * 2020-08-31 2024-07-30 Oppo广东移动通信有限公司 运动估计方法及装置、计算机可读介质和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2277002A (en) * 1993-04-08 1994-10-12 Sony Uk Ltd Selecting motion vectors in video signal processing; global motion vectors.
TWI221737B (en) * 2003-05-15 2004-10-01 Silicon Integrated Sys Corp Method for motion pixel detection with adaptive thresholds
US7242435B2 (en) * 2003-04-18 2007-07-10 Silicon Integrated Systems Corp. Method for motion pixel detection with adaptive thresholds
KR20110107997A (ko) * 2010-03-26 2011-10-05 한국과학기술원 대칭성 기반 움직임 벡터 추정을 사용한 움직임이 보상된 영상 보간 기법
CN102378010A (zh) * 2011-11-15 2012-03-14 无锡港湾网络科技有限公司 一种视频数据还原的插帧方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006086933A (ja) * 2004-09-17 2006-03-30 Canon Inc 撮像装置及び制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2277002A (en) * 1993-04-08 1994-10-12 Sony Uk Ltd Selecting motion vectors in video signal processing; global motion vectors.
US7242435B2 (en) * 2003-04-18 2007-07-10 Silicon Integrated Systems Corp. Method for motion pixel detection with adaptive thresholds
TWI221737B (en) * 2003-05-15 2004-10-01 Silicon Integrated Sys Corp Method for motion pixel detection with adaptive thresholds
KR20110107997A (ko) * 2010-03-26 2011-10-05 한국과학기술원 대칭성 기반 움직임 벡터 추정을 사용한 움직임이 보상된 영상 보간 기법
CN102378010A (zh) * 2011-11-15 2012-03-14 无锡港湾网络科技有限公司 一种视频数据还原的插帧方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
True-motion estimation with 3-D recursive search block matching;Gerard de Haan等;《IEEE TRANSACIIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》;19931031;368-379 *

Also Published As

Publication number Publication date
CN108271022A (zh) 2018-07-10

Similar Documents

Publication Publication Date Title
US10531093B2 (en) Method and system for video frame interpolation based on optical flow method
CN108271022B (zh) 一种运动估计的方法及装置
Li et al. Video super-resolution using an adaptive superpixel-guided auto-regressive model
US8537278B1 (en) Enhancing the resolution and quality of sequential digital images
KR20100139030A (ko) 이미지들의 수퍼 해상도를 위한 방법 및 장치
JP2008244846A (ja) フレーム補間装置及びその方法
KR20100114499A (ko) 후광현상이 줄어든 영상보간 장치 및 방법
JP2004343715A (ja) フレームレート変換時のフレーム補間方法およびその装置
CN102868879B (zh) 一种视频帧速率上转换方法及系统
JP6039657B2 (ja) ３ｄコンテンツをリターゲティングするための方法およびデバイス
JP2014522596A5 (zh)
Lee et al. Fast 3D video stabilization using ROI-based warping
US8929675B2 (en) Image processing device for video noise reduction
KR20050119285A (ko) 하이브리드 블록기반 움직임 추정장치 및 그 방법
KR100969420B1 (ko) 프레임 레이트 변환 방법
CN107155096B (zh) 一种基于半误差反向投影的超分辨率重建方法及装置
JP2006521740A (ja) 動きベクトル決定方法
CN103618904A (zh) 基于像素的运动估计方法及装置
JP6854629B2 (ja) 画像処理装置、画像処理方法
US9036089B2 (en) Practical temporal consistency for video applications
Lee et al. ROI-based video stabilization algorithm for hand-held cameras
EP4432225A1 (en) Frame interpolation using both optical motion and in-game motion
Forte Approximate fast foreground colour estimation
KR101097779B1 (ko) 대칭성 기반 움직임 벡터 추정을 사용한 움직임이 보상된 영상 보간 기법
Tang et al. Frame interpolation with pixel-level motion vector field and mesh based hole filling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant