CN110139100B - 多图像运动估计的扩展块匹配及运动矢量估计算法 - Google Patents

多图像运动估计的扩展块匹配及运动矢量估计算法 Download PDF

Info

Publication number
CN110139100B
CN110139100B CN201910405517.1A CN201910405517A CN110139100B CN 110139100 B CN110139100 B CN 110139100B CN 201910405517 A CN201910405517 A CN 201910405517A CN 110139100 B CN110139100 B CN 110139100B
Authority
CN
China
Prior art keywords
image
block
motion
image frame
cost function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910405517.1A
Other languages
English (en)
Other versions
CN110139100A (zh
Inventor
舒雨锋
江务学
李笑勉
张海鹰
范四立
熊长炜
张峻华
罗立星
陈天宇
梁耀荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan Polytechnic
Original Assignee
Dongguan Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Polytechnic filed Critical Dongguan Polytechnic
Priority to CN201910405517.1A priority Critical patent/CN110139100B/zh
Publication of CN110139100A publication Critical patent/CN110139100A/zh
Application granted granted Critical
Publication of CN110139100B publication Critical patent/CN110139100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel

Abstract

本发明涉及一种多图像运动估计的扩展块匹配及运动矢量估计算法，设置分割中的图像区域数量p，在当前图像帧X中定义具有M×M像素的分析图像块，并且将下一图像帧Y中的搜索区域定义为以每个分析图像块的中心对应的位置为中心的L×L块；确定p个运动矢量以使成本函数最小化。本发明通过将各种快速搜索技术引入到扩展块匹配算法中来减少计算时间，构建更大的运动分析系统，该系统可以检测哪些局部运动配置发生在给定的分析图像块，并且可以将局部运动矢量估计组合成场景运动的全面解释，应用于各种运动图像处理的实际问题。避免陷入局部最小点，达到快速搜索最优的运动矢量，有效减少运动矢量的搜索次数，降低运动估计运算复杂度的目的。

Description

多图像运动估计的扩展块匹配及运动矢量估计算法
技术领域
本发明涉及一种多图像运动估计的扩展块匹配及运动矢量估计算法，属于视觉匹配技术领域。
背景技术
尽管现有块匹配算法的概念非常简单，但即使在实际噪声条件下也能很好地工作，因此它经常用于各种实际应用领域，如视频处理。然而，如果给定分析图像块包含在不同方向上移动的多个图像区域，并且/或者如果给定分析图像块的边界与对象边界不重合，则现有块匹配方法不能很好地工作。
现有匹配方法不足：
1)为了保证算法的效率和收敛性，搜索模板和搜索步长只能由大到小逐次变化，即先进行粗定位，再逐步聚焦到准确的位置；
2)搜索带有盲目性，第一步的步长较大时会误导搜索方向；
3)影响搜索速度。不能根据图像的内容运动类型做出灵活处理。即不管是什么样的运动，一律从原点开始，用大模板或者大步长来搜索，再逐步减小步长，这对小运动是一种浪费。
发明内容
本发明的目的在于克服现有技术的不足，提供一种多图像运动估计的扩展块匹配及运动矢量估计算法，扩展了现有块匹配算法的基本概念，形成了多运动模式下的不同算法。
本发明目的通过如下技术方案予以实现：
提供一种多图像运动估计的扩展块匹配算法，包括：
(1)设置分割中的图像区域数量p；在当前图像帧X中定义具有M×M像素的分析图像块，并且将下一图像帧Y中的搜索区域定义为以每个分析图像块的中心对应的位置为中心的L×L块；
(2)计算在当前图像帧X中给定分析图像块与位于在下一图像帧Y中搜索区域中的M×M像素的每个块各像素之间的移位平方帧差；
(3)从下一图像帧Y中心位于搜索区域的所有块中选择p个块；对于分析图像块内的每个像素，选择一个适当的块，从p块中给出最小位移平方帧差，并计算分析图像块内最小位移平方帧差的和作为成本函数；选择p块的所有可能的组合，分别确定成本函数，给出成本函数最小值的组合作为最小化的成本函数，进而获得p个运动矢量估计值，其中每个运动矢量估计值被定义为从分析图像块的中心位置移动到p个选定块中的每一个的中心位置的空间矢量；
(4)为最小化的成本函数设定阈值，如果大于阈值表明图像匹配，否则图像不匹配。
提供一种多图像运动估计的扩展块匹配算法，包括：
(1)设置分割中的图像区域数量p，在当前图像帧X中定义具有M×M像素的分析图像块，并且将下一图像帧Y中的搜索区域定义为以每个分析图像块的中心对应的位置为中心的L×L块；
(2)计算在当前图像帧X中给定分析图像块与位于在下一图像帧Y中搜索区域中的M×M像素的每个块各像素之间的移位平方帧差；
(3)确定p个运动矢量(ml，nl)，…，(mp，np)，以使成本函数最小化：
Figure BSA0000183181710000021
Xi，j：当前图像帧X中像素(i，j)；yi+ml，j+nk：下一图像帧Y中的像素；SE：搜索区域，BL：分析图像块；
(4)为最小化的成本函数设定阈值，如果大于阈值表明图像匹配，否则图像不匹配。
提供一种多图像运动估计的扩展块匹配算法，包括：
(1)设置分割中的图像区域数量p，在当前图像帧X中定义具有M×M像素的分析图像块，并且将下一图像帧Y和前一图像帧Z中的搜索区域定义为以每个分析图像块的中心对应的位置为中心的L×L块；
(2)计算在当前图像帧X中给定分析图像块与位于在下一图像帧Y中搜索区域中的M×M像素的每个块各像素之间的移位平方帧差；计算在当前图像帧X中给定分析图像块与位于在前一图像帧Z中搜索区域中的M×M像素的每个块各像素之间的移位平方帧差；
(3)确定p个运动矢量(ml，nl)，…，(mp，np)，以使第一成本函数最小化：
Figure BSA0000183181710000031
Xi，j：当前图像帧X中像素(i，j)；yi+ml，j+nk：下一图像帧Y中的像素；SE：搜索区域，BL：分析图像块；
确定p个运动矢量(ml′，nl′)，...(mp′，np′)，以使第二成本函数最小化：
Figure BSA0000183181710000032
(4)选择第一成本函数和第二成本函数中较小的一个作为最小化的成本函数，为设定阈值最小化的成本函数，如果大于阈值表明图像匹配，否则图像不匹配。
优选的，图像区域数量p确定方法为：p的初始值为1，当且仅当p的增加使得最小成本函数值减小的值超过设定阈值时，将p增加1。
优选的，M*M固定为25X25，L*L块固定为13X13。
提供一种多图像运动矢量估计算法，包括：
(1)设置分割中的图像区域数量p；在当前图像帧X中定义具有M×M像素的分析图像块，并且将下一图像帧Y中的搜索区域定义为以每个分析图像块的中心对应的位置为中心的L×L块；
(2)计算在当前图像帧X中给定分析图像块与位于在下一图像帧Y中搜索区域中的M×M像素的每个块各像素之间的移位平方帧差；
(3)从下一图像帧Y中心位于搜索区域的所有块中选择p个块；对于分析图像块内的每个像素，选择一个适当的块，从p块中给出最小位移平方帧差，并计算分析图像块内最小位移平方帧差的和作为成本函数；选择p块的所有可能的组合，分别确定成本函数，给出成本函数最小值的组合作为最小化的成本函数，进而获得p个运动矢量估计值，其中每个运动矢量估计值定义为从分析图像块的中心位置移动到p个选定块中的每一个的中心位置的空间矢量。
提供一种多图像运动矢量估计算法，包括：
(1)设置分割中的图像区域数量p，在当前图像帧X中定义具有M×M像素的分析图像块，并且将下一图像帧Y中的搜索区域定义为以每个分析图像块的中心对应的位置为中心的L×L块；
(2)计算在当前图像帧X中给定分析图像块与位于在下一图像帧Y中搜索区域中的M×M像素的每个块各像素之间的移位平方帧差；
(3)确定p个运动矢量(ml，nl)，…，(mp，np)，以使成本函数最小化：
Figure BSA0000183181710000051
Xi，i：当前图像帧X中像素(i，j)；yi+ml，j+nk：下一图像帧Y中的像素；SE：搜索区域，BL：分析图像块。
提供一种多图像运动矢量估计算法，包括：
(1)设置分割中的图像区域数量p，在当前图像帧X中定义具有M×M像素的分析图像块，并且将下一图像帧Y和前一图像帧Z中的搜索区域定义为以每个分析图像块的中心对应的位置为中心的L×L块；
(2)计算在当前图像帧X中给定分析图像块与位于在下一图像帧Y中搜索区域中的M×M像素的每个块各像素之间的移位平方帧差；计算在当前图像帧X中给定分析图像块与位于在前一图像帧Z中搜索区域中的M×M像素的每个块各像素之间的移位平方帧差；
(3)确定p个运动矢量(ml，nl)，…，(mp，np)，以使第一成本函数最小化：
Figure BSA0000183181710000052
Xi，j：当前图像帧X中像素(i，j)；yi+ml，j+nk：下一图像帧Y中的像素；SE：搜索区域，BL：分析图像块；
确定p个运动矢量(ml′，nl′)，...(mp′，np′)，以使第二成本函数最小化：
Figure BSA0000183181710000053
(4)选择第一成本函数和第二成本函数中较小的一个作为最小化的成本函数，最小化的成本函数对应的p个运动矢量作为各分析图像块最终的运动估计。
优选的，图像区域数量p确定方法为：p的初始值为1，当且仅当p的增加使得最小成本函数值减小的值超过设定阈值时，将p增加1。
优选的，M*M固定为25X25，L*L块固定为13X13。
本发明与现有技术相比具有如下优点：
(1)本发明通过将各种快速搜索技术引入到扩展块匹配算法中来减少计算时间，构建更大的运动分析系统，该系统可以检测哪些局部运动配置发生在给定的分析图像块，并且可以将局部运动矢量估计组合成场景运动的全面解释，应用于各种运动图像处理的实际问题等。
(2)本发明相对于现有的匹配方法，针对分析图像块包含在不同方向上移动的多个图像区域，并且/或者如果给定分析图像块的边界与对象边界不重合的情况能提供更好的匹配性能。从而避免陷入局部最小点，达到快速搜索最优的运动矢量、有效减少运动矢量的搜索次数、大大降低运动估计运算复杂度的目的。
(3)本发明搜索过程中目标性明确，进一步加快了搜索。
(4)优选p的数量，进而能够获得最小化的成本函数，获得最优运动估计。
附图说明
图1为实验中不同采样时刻使用的运动图像序列；
图2为分割中最小S-DFD值与图像区域数p的测量关系示意图；
图3为块匹配算法示意图。
具体实施方式
本发明扩展了现有块匹配算法的基本概念，从而形成了两种不同的局部运动复杂结构分析运动的不同算法。一种算法基于这样的假设：在给定的分析图像块内可能有多个不同的图像区域经历相干运动，而另一个算法是基于多个不同的运动图像图案出现叠加在给定的分析图像块内的假设。通过计算机模拟，我们证明了扩展块匹配算法的潜力。
一、局部运动配置和运动估计
分析图像块的大小是局部运动估计中的关键因素。合适的尺寸取决于诸如景物中物体的大小和速度等因素，因此确定分析图像块的最佳尺寸是非常困难的。因此，当分析图像块的大小被任意确定时，可能存在多个运动配置发生在分析图像块内。局部运动配置可以基本分为三种情况：
[案例一：单个图像区域]
该块包含经历相干运动的单个运动图像图案，因此该块仅具有一个运动。
[案例二：多个图像区域]
该块由经历相干运动的多个不同图像区域组成，但块内的每个像素只有一个运动。
块匹配法最基本的方法是全搜索匹配法(Full Search Matching，FSM)。结合图3，其原理是：将图像的当前帧(第X帧)划分为固定大小M×N像素的图像子块，并假定位于同一图像子块内的所有像素具有相同的位移，对于每一个子块只需计算一个运动矢量。设SK(m，n)为图像序列中第X帧位于坐标(m，n)位置的像素值。为了寻找第X帧中大小为M×N像素的子块(BLOCK)在前一帧(参考帧，第K-1帧)中相对应的位移子块，预先确定一个搜索区域(MWIN)，其几何关系如图3所示。
现有的块匹配算法只能处理第一种情况(案例一)。在本发明中，我们提出了一种不同的算法，可以处理第二种情况(案例二)。
二、二次运动配置案例的扩展算法(案例二)
2.1计算框架
为了在第二运动配置情况(案例二)中分析多个运动矢量，首先，扩展算法将给定分析图像块分割成经历相干运动的多个不同图像区域，同时将其匹配机制分别应用于每个图像区域，然后提供其多个匹配结果作为多个运动矢量估计；扩展算法最终为每个图像区域提供单个运动估计。
分割过程通常基于图像强度，但这里介绍的分割过程是基于每个图像区域经历相干运动的假设。我们形成满足以下两个要求的分割过程：
(i)对于给定的图像分割，算法应该提供多个运动矢量估计，给出基于用多个运动矢量估计补偿的位移帧差定义的特定成本函数的最小值。
(ii)对于给定的多个运动矢量，该算法应提供适当的图像分割，使得成本函数的最小值与要求(i)中提到的相同。
2.2两帧算法
我们组织算法，通过仅分析两个连续的图像帧来同时估计给定分析块内的多个运动矢量。该算法流程如下：
(1)设置分割中的图像区域数量p。在当前图像帧X中定义具有M×M像素的分析图像块并分割为p个分析图像块，并且将下一图像帧Y中的搜索区域定义为以每个分析图像块的中心对应的位置为中心的L×L块。
(2)计算在当前图像帧X中定义的给定分析图像块与其中心位于在下一图像帧Y中定义的搜索区域中的M×M像素的每个块各像素之间的移位平方帧差EMSE(i，j)，并存储移位后的平方矩阵形式的分析图像块内的每个像素的帧差。
Figure BSA0000183181710000081
(3)从下一图像帧Y中心位于搜索区域的所有M×M块中选择p个块。对于分析图像块内的每个像素，选择一个适当的块，从p块中给出最小位移平方帧差，并计算分析图像块内最小位移平方帧差的和。我们把这个总和简称为S-DFD(Segmental-DFD)。
(4)将步骤(3)的过程应用于从中心位于搜索区域的所有块中选择p块的所有可能的组合，并且确定给出S-DFD最小值的最佳组合。因此，我们获得p个运动矢量估计值，其中每个运动矢量估计值被定义为从分析图像块的中心位置移动到p个选定块中的每一个的中心位置的空间矢量。
(5)扩展的两帧算法将在当前图像帧X中定义的给定分析图像块分割成经历相干运动的p个不同图像区域，并且为每个图像区域提供单个运动矢量估计。另外，由扩展的两帧算法提供的分割同时满足(i)和(ii)的上述要求。
扩展的两帧算法也表示为以下离散优化问题，其中确定p个(ml，nl)，…，(mp，np)运动矢量，以使S-DFD成本函数最小化。
Figure BSA0000183181710000091
Xi，j：当前图像帧X中像素(i，j)。yi+ml，j+nk：下一图像帧Y中的像素；SE：搜索区域，BL：分析图像块。
为最小化的成本函数S-DFD设定阈值，如果大于阈值表明图像匹配，否则图像不匹配。
2.3确定图像区域的数量
其余重要问题之一是如何确定图像区域的正确数量p。通过对实际运动图像序列进行计算机模拟，我们得出了一个确定图像区域的适当数量的好方法。在这里给出的实验模拟中，分析图像块的大小和搜索区域的分别固定为25 x 25和13×13。
图2示出了最小S-DFD值与在如图1所示的运动图像序列上定义的A，B，C和D的分析图像块之前的图像区域的数量之间的测量关系，其中图像位于帧的中心以每帧约4个像素的速度向右方向水平移动。对于在经历相干运动的单个图像区域中定义的A和B的分析图像块，图像区域p的数量从1增加到2并不会大大降低最小S-DFD值。另一方面，对于包含经历相干运动的两个不同图像区域的C和D的分析图像块，图像区域p的数量从1增加到2将最小S-DFD值减小到小于10％的先前最小S-DFD值在p＝1处，但是p从2增加到3并不会大大降低最小S-DFD值，则p值为2。
最小S-DFD值的递减率取决于图像内容和噪声属性，但在这里我们通过实验推导出一种确定p的适当值的好方法。好的方法如下：我们从p的初始值1开始，然后我们将p增加1，当且仅当p的增加减小最小S-DFD值至少于先前的20％增加p之前的最小S-DFD值。将p增加1，并计算最小S-DFD值，如果比增加1之前的最小S-DFD值小了20％，则保存该最小S-DFD值，并继续将p增加1；否则将增加1之前的最小S-DFD值作为最小值的最佳组合，p值确定为增加1之前的值。
2.4三帧双向算法
为了解决扩展的两帧算法的问题，我们引入了三帧双向算法。三帧双向算法将扩展的两帧算法不仅应用于当前图像帧和下一图像帧的组合，而且还应用于当前图像帧和先前图像帧的组合，产生两个独立的估计多个运动矢量，并且最终选择在两个估计之间给出较小的最小S-DFD值。
以上所述，仅为本发明最佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。

Claims (8)

1.一种多图像运动估计的扩展块匹配算法，其特征在于，包括：
(1)设置分割中的图像区域数量p，在当前图像帧X中定义具有M×M像素的分析图像块，并且将下一图像帧Y中的搜索区域定义为以每个分析图像块的中心对应的位置为中心的L×L块；
(2)计算在当前图像帧X中给定分析图像块与位于在下一图像帧Y中搜索区域中的M×M像素的每个块各像素yi+mk,j+nk之间的平方帧差；
(3)确定p个运动矢量(m1,n1),…,(mp,np)，以使成本函数最小化：
Figure FDA0002977601160000011
xi,j：当前图像帧X中像素(i，j)；SE：搜索区域，BL：分析图像块；
(4)为最小化的成本函数设定阈值，如果大于阈值表明图像匹配，否则图像不匹配。
2.一种多图像运动估计的扩展块匹配算法，其特征在于，包括：
(1)设置分割中的图像区域数量p，在当前图像帧X中定义具有M×M像素的分析图像块，并且将下一图像帧Y和前一图像帧Z中的搜索区域定义为以每个分析图像块的中心对应的位置为中心的L×L块；
(2)计算在当前图像帧X中给定分析图像块与位于在下一图像帧Y中搜索区域中的M×M像素的每个块各像素yi+mk,j+nk之间的平方帧差；计算在当前图像帧X中给定分析图像块与位于在前一图像帧Z中搜索区域中的M×M像素的每个块各像素zi+mk′,j+nk′之间的平方帧差；
(3)确定p个运动矢量(m1,n1),…,(mp,np)，以使第一成本函数最小化：
Figure FDA0002977601160000012
xi,j：当前图像帧X中像素(i，j)；SE：搜索区域，BL：分析图像块；
确定p个运动矢量(ml′，nl′)，...(mp′，np′)，以使第二成本函数最小化：
Figure FDA0002977601160000021
(4)选择第一成本函数和第二成本函数中较小的一个作为最小化的成本函数，如果最小化的成本函数大于阈值表明图像匹配，否则图像不匹配。
3.如权利要求1至2任一所述的多图像运动估计的扩展块匹配算法，其特征在于，图像区域数量p确定方法为：p的初始值为1，当且仅当p的增加使得最小成本函数值减小的值超过设定阈值时，将p增加1。
4.如权利要求1至2任一所述的多图像运动估计的扩展块匹配算法，其特征在于，M×M固定为25×25，L×L块固定为13×13。
5.一种多图像运动矢量估计算法，其特征在于，包括：
(1)设置分割中的图像区域数量p，在当前图像帧X中定义具有M×M像素的分析图像块，并且将下一图像帧Y中的搜索区域定义为以每个分析图像块的中心对应的位置为中心的L×L块；
(2)计算在当前图像帧X中给定分析图像块与位于在下一图像帧Y中搜索区域中的M×M像素的每个块各像素yi+mk,j+nk之间的平方帧差；
(3)确定p个运动矢量(m1,n1),…,(mp,np)，以使成本函数最小化：
Figure FDA0002977601160000022
xi,j：当前图像帧X中像素(i，j)；SE：搜索区域，BL：分析图像块。
6.一种多图像运动矢量估计算法，其特征在于，包括：
(1)设置分割中的图像区域数量p，在当前图像帧X中定义具有M×M像素的分析图像块，并且将下一图像帧Y和前一图像帧Z中的搜索区域定义为以每个分析图像块的中心对应的位置为中心的L×L块；
(2)计算在当前图像帧X中给定分析图像块与位于在下一图像帧Y中搜索区域中的M×M像素的每个块各像素yi+mk,j+nk之间的平方帧差；计算在当前图像帧X中给定分析图像块与位于在前一图像帧Z中搜索区域中的M×M像素的每个块各像素zi+mk′,j+nk′之间的平方帧差；
(3)确定p个运动矢量(m1,n1),…,(mp,np)，以使第一成本函数最小化：
Figure FDA0002977601160000031
xi,j：当前图像帧X中像素(i，j)；yi+mk，j+nk：下一图像帧Y中的像素；SE：搜索区域，BL：分析图像块；
确定p个运动矢量(ml′，nl′)，...(mp′，np′)，以使第二成本函数最小化：
Figure FDA0002977601160000032
(4)选择第一成本函数和第二成本函数中较小的一个作为最小化的成本函数，最小化的成本函数对应的p个运动矢量作为各分析图像块最终的运动估计。
7.如权利要求5至6任一所述的多图像运动矢量估计算法，其特征在于，图像区域数量p确定方法为：p的初始值为1，当且仅当p的增加使得最小成本函数值减小的值超过设定阈值时，将p增加1。
8.如权利要求5至6任一所述的多图像运动矢量估计算法，其特征在于，M×M固定为25×25，L×L块固定为13×13。
CN201910405517.1A 2019-05-16 2019-05-16 多图像运动估计的扩展块匹配及运动矢量估计算法 Active CN110139100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910405517.1A CN110139100B (zh) 2019-05-16 2019-05-16 多图像运动估计的扩展块匹配及运动矢量估计算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910405517.1A CN110139100B (zh) 2019-05-16 2019-05-16 多图像运动估计的扩展块匹配及运动矢量估计算法

Publications (2)

Publication Number Publication Date
CN110139100A CN110139100A (zh) 2019-08-16
CN110139100B true CN110139100B (zh) 2021-07-06

Family

ID=67574327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910405517.1A Active CN110139100B (zh) 2019-05-16 2019-05-16 多图像运动估计的扩展块匹配及运动矢量估计算法

Country Status (1)

Country Link
CN (1) CN110139100B (zh)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040091047A1 (en) * 2002-11-11 2004-05-13 Sony Corporation Method and apparatus for nonlinear multiple motion model and moving boundary extraction
EP1897376A2 (en) * 2005-06-23 2008-03-12 Koninklijke Philips Electronics N.V. Motion estimation
JP2007266679A (ja) * 2006-03-27 2007-10-11 Victor Co Of Japan Ltd 動画像符号化装置
JP5045320B2 (ja) * 2007-09-05 2012-10-10 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
GB2469679B (en) * 2009-04-23 2012-05-02 Imagination Tech Ltd Object tracking using momentum and acceleration vectors in a motion estimation system
US9357228B2 (en) * 2010-05-27 2016-05-31 The Hong Kong University Of Science And Technology Motion estimation of images
CN102647587B (zh) * 2011-02-16 2015-01-21 富士通株式会社 运动估计方法和装置
CN103237222B (zh) * 2013-05-07 2015-12-02 河海大学常州校区 多模式搜索的运动估计方法
CN103338377A (zh) * 2013-07-11 2013-10-02 青岛海信信芯科技有限公司 用于确定运动估计中最优运动矢量的方法
CN106470342B (zh) * 2015-08-14 2020-01-17 展讯通信（上海）有限公司 全局运动估计方法及装置
DE102016104732A1 (de) * 2016-03-15 2017-09-21 Connaught Electronics Ltd. Verfahren zur Bewegungsabschätzung zwischen zwei Bildern eines Umgebungsbereichs eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
CN108271022B (zh) * 2016-12-30 2020-07-17 展讯通信（上海）有限公司 一种运动估计的方法及装置

Also Published As

Publication number Publication date
CN110139100A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
JP3847827B2 (ja) 動きベクトル検出方法
RU2480941C2 (ru) Способ адаптивного предсказания кадра для кодирования многоракурсной видеопоследовательности
KR20040028911A (ko) 비디오 프레임간 움직임 추정용 방법 및 장치
CN102263951B (zh) 一种快速的分形视频压缩与解压缩方法
CN104038760B (zh) 一种3d视频深度图像帧内楔形分割模式选择方法及系统
CN104992403B (zh) 一种基于视觉相似度度量的混合操作算子图像重定向方法
WO2009150882A1 (ja) 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置
CN102917220B (zh) 基于六边形搜索及三帧背景对齐的动背景视频对象提取
JP2005229600A (ja) 重畳されたブロック基盤の動き推定による動き補償補間方法及びそれを適用したフレームレート変換装置
CN110796662A (zh) 一种实时的语义视频分割方法
CN101036390B (zh) 一种利用可变形网格进行运动估计的方法
JP3230804B2 (ja) ターゲットウィンドウの移動を通したブロックマッチング方法
EP2207139B1 (en) Motion estimation by a new and adaptive hierarchical phase correlation
EP3596698B1 (en) Motion estimation method and apparatus for plurality of frames
CN110139100B (zh) 多图像运动估计的扩展块匹配及运动矢量估计算法
US8804830B2 (en) Method for performing motion estimation
US8837595B2 (en) Motion estimation method
CN105263026A (zh) 基于概率统计与图像梯度信息的全局矢量获取方法
JP2003169338A (ja) 動きベクトル検出方法及び装置並びに方法プログラムを記録した媒体
EP3127087B1 (en) Motion field estimation
KR100969420B1 (ko) 프레임 레이트 변환 방법
TWI243600B (en) Selected area comparison method with high-operational efficient
JP4035560B2 (ja) 動き推定方法
CN102263952B (zh) 一种基于对象的快速双目立体视频分形压缩与解压缩方法
KR101359351B1 (ko) 연산 스킵 기법에 의한 고속 스테레오 영상 정합 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Shu Yufeng

Inventor after: Liang Yaorong

Inventor after: Jiang Wuxue

Inventor after: Li Xiaomian

Inventor after: Zhang Haiying

Inventor after: Fan Sili

Inventor after: Xiong Changwei

Inventor after: Zhang Junhua

Inventor after: Luo Lixing

Inventor after: Chen Tianyu

Inventor before: Jiang Wuxue

Inventor before: Liang Yaorong

Inventor before: Li Xiaomian

Inventor before: Zhang Haiying

Inventor before: Shu Yufeng

Inventor before: Fan Sili

Inventor before: Xiong Changwei

Inventor before: Zhang Junhua

Inventor before: Luo Lixing

Inventor before: Chen Tianyu

GR01 Patent grant
GR01 Patent grant