CN101600106A - 一种全局运动估计方法及装置 - Google Patents
一种全局运动估计方法及装置 Download PDFInfo
- Publication number
- CN101600106A CN101600106A CN 200910087429 CN200910087429A CN101600106A CN 101600106 A CN101600106 A CN 101600106A CN 200910087429 CN200910087429 CN 200910087429 CN 200910087429 A CN200910087429 A CN 200910087429A CN 101600106 A CN101600106 A CN 101600106A
- Authority
- CN
- China
- Prior art keywords
- bunch
- pixel
- argument
- passage
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种全局运动估计方法及装置,用以解决现有技术全局运动估计精度低、准确性差问题。该方法根据待估图像当前帧每个像素点对应的运动向量属性信息,确定至少一个簇;将该当前帧划分为多个区域,根据每个簇包含的像素点在每个区域内的数目,确定每个簇在当前帧的分布方差,根据分布方差确定运动模型输入像素点所在的簇;根据该簇中每个像素点所在的宏块分割模式和/或幅角信息,选择运动模型输入像素点;根据该输入像素点及设置的运动模型,确定运动模型的参数,根据参数确定待估图像参考帧经运动补偿后的像素点的位置。如本发明提出的方案,排除了局部运动给全局运动的干扰及影响,从而使估计的精度更高,使估计的结果更准确。
Description
技术领域
本发明涉及图像、视频编码技术领域,尤其涉及一种全局运动估计方法及装置。
背景技术
全局运动估计(Global Motion Estimation,GME)被广泛应用于图像配准、计算机视觉、摄像机运动检测、对象识别和跟踪,以及基于内容的视频编码等图像和视频处理中。现有技术中的全局运动估计方法一般可以分为以下几类:基于空域的方法、基于频域的方法、基于图像特征和纹理的方法以及基于时空切片的方法等。
基于空域的方法应用较为普遍,但由于干扰像素和噪音的存在,使估计结果的精确度受到很大的影响,同时由于计算过程中需要多次迭代,使计算的复杂度增加,因此不适用于实时情景。基于频域的方法以傅立叶变换中傅立叶-梅林域上的变换不变量为理论基础,结合相位相关方法求解运动模型,但该方法在应用过程中对各种因素的影响较敏感,因此实际效果并不理想。基于图像特征和纹理的方法通过追踪图像中特定特征或纹理的运动求解运动模型,而获取图像中的特征和纹理较为困难,在图像中存在出现又消失的特征或纹理时尤其困难。基于时空切片的方法根据时域上图像的纹理变化进行运动估计,但该方法通常需要连续的多张图像,对计算能力和存储能力要求较高。
基于空域的全局运动估计方法出现了些优化策略,常用的包括:利用图像金字塔模型得到同一图像的多个不同分辨率的图像版本,将图像金字塔模型由高层到低层依次进行迭代,求解运行模型。这种方法可以减轻计算的复杂度,但不能很好地解决干扰像素对于进行运动估计的影响;通过选择特定的像素,例如亮度梯度最大的像素,将其作为运动模型的输入像素,可以减少了计算量,但由于输入像素的选择只考虑像素的亮度信息而忽略了其他相关信息,因而导致对全局运动补偿的结果准确度不高。因此可知,目前对于全局运动估计提出的方法还存在一定的缺陷,不能有效、准确的对全局运行进行补偿。
发明内容
有鉴于此,本发明实施例提供一种全局运动估计方法及装置,用以解决现有技术全局运动估计精度低、准确性差的问题。
本发明实施例提供的一种全局运动估计方法,包括:
根据待估图像当前帧每个像素点对应的运动向量的属性信息,确定至少一个簇,其中,每个簇中包括多个像素点;
将该当前帧划分为多个区域,根据每个簇包含的像素点在每个区域内的数目,确定每个簇在当前帧内的分布方差,根据该分布方差确定运动模型输入像素点所在的簇;
根据所述输入像素点所在的簇中每个像素点所在的宏块分割模式和/或每个像素点的幅角信息,选择运动模型输入像素点;
根据所述运动模型输入像素点及设置的运动模型,确定所述运动模型的参数,根据所述参数确定所述待估图像参考帧经运动补偿后的像素点的位置。
本发明实施例提供的一种全局运动估计装置,包括:
第一确定模块,用于根据待估图像当前帧运动向量的属性信息,确定至少一个簇,其中,每个簇中包括多个像素点;
第二确定模块,用于将该当前帧划分为多个区域,根据每个簇包含的像素点在每个区域内的数目,确定每个簇在当前帧内的分布方差,根据该分布方差确定运动模型输入像素所在的簇;
像素点确定模块,用于根据所述输入像素点所在的簇中每个像素点所在的宏块分割模式和/或每个像素点的幅角,选择运动模型输入像素点;
计算模块,用于根据所述运动模型输入像素点及设置的运动模型,确定所述运动模型的参数,根据所述参数确定所述待估图像参考帧经运动补偿后的像素点的位置。
本发明实施例为了有效的提高全局运动估计的精度,以及准确性的问题,提供了一种全局运动估计方法及装置,该方法包括:根据待估图像当前帧运动向量的属性信息,确定至少一个簇,其中,每个簇中包括多个像素点,将该当前帧划分为多个区域,根据每个簇包含的像素点在每个区域内的数目,确定每个簇在当前帧内的分布方差,根据该分布方差确定运动模型输入像素点所在的簇,根据所述输入像素点所在的簇中每个像素点所在的宏块分割模式和/或每个像素点的幅角信息,选择运动模型像素点,根据所述运动模型输入像素点及设置的运动模型,确定所述运动模型的参数,根据所述参数确定所述待估图像参考帧经运动补偿后的像素点的位置。本发明实施例通过运动向量的相似度确定簇,并且在像素点的选择过程中考虑了像素点的空间分布特性,以及像素点所在区域的平滑程度,因此,综合考虑了多个信息,并且排除了局部运动给全局运动的干扰及影响,从而使估计的精度更高,使估计的结果更准确。
附图说明
图1为本发明实施例提供的进行全局运动估计的流程示意图;
图2A为本发明实施例提供的在幅角分布直方图中根据每个通道包含的样本的数目,确定至少一个簇的实施过程图;
图2B为本发明实施例提供的完整的幅角分布直方图示意图;
图2C为本发明实施例提供的在该图2B的基础上提取第一个簇后的幅角分布直方图示意图;
图2D为本发明实施例提供的在该图2C的基础上提取第二个簇后的幅角分布直方图示意图;
图3为本发明实施例提供的统计每个簇在每个区域内的分布密度的过程图;
图4为本发明实施例提供的当前帧的区域分割示意图;
图5为本发明实施例提供的全局运动估计装置结构示意图。
具体实施方式
本发明实施例为了有效的提高全局运动估计的精度,以及准确性的问题,提供了一种全局运动估计的方法,该方法包括:根据待估图像当前帧每个像素点对应的运动向量的属性信息,确定至少一个簇,其中,每个簇中包括多个像素点;将该当前帧划分为多个区域,根据每个簇包含的像素点在每个区域内的数目,确定每个簇在当前帧内的分布方差,根据该分布方差确定运动模型输入像素点所在的簇;根据所述输入像素点所在的簇中每个像素点所在的宏块分割模式和/或每个像素点的幅角信息,选择运动模型输入像素点;根据所述运动模型输入像素点及设置的运动模型,确定所述运动模型的参数,根据所述参数确定所述待估图像参考帧经运动补偿后的像素点的位置。本发明实施例通过运动向量的相似度确定簇,并且在像素点的选择过程中考虑了像素点的空间分布特性,以及像素点所在区域的平滑程度,因此,综合考虑了多个信息,并且排除了局部运动给全局运动的干扰及影响,从而使估计的精度更高,使估计的结果更准确。
下面结合说明书附图,对本发明实施例进行详细说明。
图1为本发明实施例提供的进行全局运动估计的过程,该过程包括以下步骤:
S101:获取待估图像当前帧内每个像素点对应的运动向量信息,根据该运动向量的幅角信息,确定当前帧内运动向量的幅角分布直方图,该幅角分布直方图中包括多个通道。
在本发明实施例中,每个像素点对应一个运动向量,没有运动的像素点的运动向量为0。
S102:在该幅角分布直方图中根据每个通道包含的运动向量的数目,确定至少一个簇,其中,每个簇中包括至少一个通道,每个通道包括多个像素点。
S103:在该当前帧内按照设置的步长划分为多个区域,根据每个簇包含的像素点在每个区域内的数目,统计每个簇在每个区域内包含的像素点的分布密度。
S104:根据每个簇在每个区域内包含的像素点的分布密度,确定每个簇在当前帧内的分布方差,根据该分布方差确定运动模型输入像素点所在的簇。
S105:根据该输入像素点所在的簇中每个像素点所在的宏块分割模式和/或每个像素点的幅角信息,确定该输入像素点所在的簇内每个像素点的综合权重值,根据该综合权重值选择运动模型输入像素点。
S106:根据该运动模型输入像素点及设置的运行模型,计算该运动模型的参数,根据该运动模型的参数,及该待估图像当前帧内每个像素点的位置,确定该待估图像参考帧经运动补偿后的像素点的位置。
在本发明实施例中,在根据该运动向量的幅角信息,确定当前帧内运动向量的幅角分布直方图过程中,可以首先将每个运动向量的幅角转换为0到360度内的角度内。并且按照设置的角度间隔,将该0到360度的角度范围划分为多个通道,该通道的宽度为该角度间隔的长度,该通道的高度为该角度范围内包含的运动向量的数目,也即该通道包含的样本的数目,该角度间隔可以为大于0小于360的任意实数,例如可以为10,或者15,或者20等,例如当该角度间隔为10时,将该0到360度的角度范围按照每10度一个间隔,划分为36个通道,其中,每个通道的宽度为10度,每个通道的高度为该角度范围内包含的样本的数目,即在该角度范围内的运动向量的数目。
按照设置的角度间隔划分通道的过程中,该角度间隔的选择与进行全局运动估计的精度相关,当该角度间隔选择的比较小时,精度相对较高,本领域技术人员可以根据上述描述,在进行计算时可以进行具体选择。
本发明实施例中,根据每个通道包含的运动向量的数目,确定至少一个簇的过程包括:
根据每个通道包含的样本的数目,即每个通道包含的样本的数目,确定当前候选簇的中心通道;
根据与所述中心通道相邻的通道包含的样本的数目,及与所述中心通道相邻的通道与所述中心通道的角度间隔,确定是否将所述与中心通道相邻的通道合并到所述当前候选簇,并提取所述当前候选簇。
在提取了当前候选簇后还包括:根据所述提取了所述当前候选簇后的直方图后的通道包含的样本的数目;或,
提取的当前候选簇的数目,确定是否继续进行当前候选簇的提取。
图2A为本发明实施例提供的在幅角分布直方图中根据每个通道包含的运动向量的数目,确定至少一个簇的实施过程,该过程包括以下步骤:
S201:在确定的幅角分布直方图中查找包含的样本数目最多的通道,即包含的运动向量数目最多的通道,将该通道作为当前候选簇的中心通道。
S202:查找与该中心通道相邻,幅角较该中心通道的幅角小的通道,查找该通道包含的样本的数目,并计算该通道与中心通道的幅角差,当该通道包含的样本的数目与该中心通道包含的样本的数目之比,在设置的第一参数阈值范围内,并且该通道与中心通道的幅角之差在设置的第二参数阈值范围内时,进行S203,否则,进行S205。
其中,该第一参数阈值可以为0到1范围内的实数,例如为0.15、0.2或0.6等,可以根据全局运动估计的精度进行选择,该值越小精度越高,第二参数阈值为大于0的实数,例如为22.5、30、25等,可以根据确定直方图的角度间隔以及全局运动估计的精度进行选择,该值越小精度越高。
S203:将该通道合并到当前候选簇中,并作为该当前候选簇的下限通道。
S204:查找与该下限通道相邻,幅角较该下限通道的幅角小的通道,当该通道包含的样本的数目与该下限通道包含的样本的数目之比,在设置的第一参数阈值范围内,并且该通道与中心通道的幅角之差在设置的第二参数阈值范围内时,进行S203,否则,进行S205。
S205:查找与该中心通道相邻,幅角较该中心通道的幅角大的通道,查找该通道包含的样本的数目,并计算该通道与中心通道的幅角差,当该通道包含的样本的数目与该中心通道包含的样本的数目之比,在设置的第一参数阈值范围内,并且该通道与中心通道的幅角之差在设置的第二参数阈值范围内时,进行S206,否则,进行S208。
S206:将该通道合并到当前候选簇中,并作为该当前候选簇的上限通道。
S207:查找与该上限通道相邻,幅角较该上限通道的幅角大的通道,当该通道包含的样本的数目与该上限通道包含的样本的数目之比,在设置的第一参数阈值范围内,并且该通道与中心通道的幅角之差在设置的第二参数阈值范围内时,进行S206,否则,进行S208。
S208:提取该当前候选簇的相关数据,将该当前候选簇从该幅角直方图中删除,查找删除了该当前候选簇的幅角直方图中包含的样本数目最多的通道,将该通道包含的样本的数目,与根据运动向量的数据建立的初始幅角直方图中包含的样本最多的通道的样本数目之比,在设置的第三参数阈值范围内,或该删除的当前候选簇的数据不小于设置的第四参数阈值,当前候选簇提取结束,否则,进行S201。
其中,该第三参数阈值可以为0到1范围内的实数,例如为0.01、0.015或0.2等,可以根据全局运动估计的精度进行选择,该值越大精度越高,第四参数阈值为大于0的整数,例如为3、4、5等,可以根据全局运动估计的精度进行选择,该值越大精度越高。
在上述实施例中,在进行当前候选簇的合并时,上限通道和下限通道的合并顺序可以任意选择,并且在判断上限通道或下限通道与中心通道的幅角差时,可以根据该上限通道或下限通道的中心幅角与中心通道的中心幅角的差,也可以根据该上限通道或下限通道与中心通道对应位置的幅角之差,例如都为通道幅角的上限值、或下限值等等。图2B为本发明实施例提供的完整的幅角分布直方图,图2C为在该图2B的基础上提取第一个簇后的幅角分布直方图,图2D为在图2C的基础上提取第二个簇后的幅角分布直方图。在S208中每次进行判断时,该运动向量的数据建立的初始幅角直方图,即指图2B所示的完整的幅角分布直方图。
图3为本发明实施例中,当提取了至少一个簇后,在该当前帧内按照设置的步长划分多个区域,根据每个簇在每个区域内包含的像素点的个数,统计每个簇在每个区域内的密度的过程,该过程包括:
S301:按照设置的步长将该当前帧划分为多个区域。
例如将每36×36范围内的像素点划分为一个区域,或者以32个像素点为步长,将该当前帧划分为多个环状区域,如图4所示,该多个环状区域分别为Ω1、Ω2、Ω3、......、Ωk,k为不小于的正整数。
S302:统计每个区域包含的像素点的数目Nk。
S303:统计每个簇包含的像素点在每个区域内的数目Mik。
S304:根据每个簇包含的像素点在每个区域内的数目Mik,计算每个簇在每个区域内包含的像素点的分布密度Mik/Nk。
例如该多个环状区域分别为Ω1、Ω2、Ω3、......、Ωk,每个环状区域中包含的像素点的数目分别为N1,N2,N3,......,Nk,环状区域Ω1,Ω2,Ω3,...,Ωk中属于i簇的像素点的数目分别为Mi1,Mi1,Mi3,...,Mik,则该第i簇包含的像素点在该每个环状区域内的分布密度为Mi1/N1,Mi1/N2,Mi3/N3,...,Mik/Nk。
S305:根据每个簇在每个区域内包含的像素点的分布密度,计算每个簇包含的像素点在当前帧内的分布方差。
具体包括:根据计算的每个簇在每个区域内包含的像素点的分布密度,计算分布密度平均值,根据该分布密度平均值与该每个分布密度,计算每个簇包含的像素点在该当前帧内的分布方差。
在本发明实施例中,当计算了每个簇包含的像素点在该当前帧内的分布方差后,根据该分布方差选择一个簇作为运动模型输入像素所在的簇。例如可以选择分布方差最小值对应的簇,当该分布方差最小值对应的簇包括两个以上时,可以从该两个以上簇中任意选择一个,作为运动模型输入像素所在的簇,或者也可以按照该两个以上簇的提取顺序,选择较先提取的簇作为运动模型输入像素所在的簇。
当选择了作为运动模型输入像素所在的簇后,需要从该簇中选择运行模型的输入像素,在运动模型的输入像素点的选择时,可以首选根据该簇内每个像素点所在的宏块分割模式和/或每个像素点的幅角信息,确定该簇内每个像素点的综合权重值,根据该综合权重值选择运动模型的输入像素点。并且在确定每个像素点的综合权重值时,可以只确定该簇内像素点的综合权重值,从而可以节省计算的过程,从而提高全局运动估计的效率。
下面分别介绍根据宏块分割模式以及像素点的幅角信息,确定每个像素点对应权重值的过程。
对该当前帧进行宏块分割,由于宏块分割模式具有多种,例如包括16×16,16×8,8×16,8×8,8×4,4×8,4×4等多种。在本发明实施例中,为了对像素所在区域进行平滑处理,分别赋予每种宏块分割模式一个权重值,即宏块分割模式权重值,由于宏块分割模式越简单其对应的平滑程度越高,因此根据该多种宏块分割模式的简单程度,将较简单的宏块分割模式赋予较大的权重值,将较复杂,即较细致的宏块分割模式赋予较小的权重值。例如对16×16,16×8,8×16,8×8,8×4,4×8,4×4等宏块分割模式,由于16×16的宏分割模式较简单,可以赋予较大的权重值,而4×4的宏分割模式较细致,可以赋予较小的权重值,例如将上述该宏分割模式分别赋予的权重值为1,5/6,2/3,1/2,1/3,1/6,0。
由于对当前帧进行了宏块分割,每个像素点位于不同的宏块分割模式中,而不同的宏块分割模式对应不同的权重值,即同一宏块分割模式中的像素点的权重值相同,因此,可以确定每个像素点对应的宏块分割模式权重值。例如,该簇内的某一像素点位于16×8的宏块分割模式内,该16×8的宏块分割模式对应的权重值为5/6,因此可知该像素点的宏块分割模式权重值为5/6。
由于每个像素点对应的运动向量的幅角信息可知,可以通过每个像素点的幅角信息,确定每个像素点的幅角差权重值,该过程包括:根据该运动模型输入像素点所在的簇内每个像素点对应的运动向量幅角α,以及该簇的中心通道对应的幅角β,确定该簇内像素点对应的幅角差初始值|α-β|,选择该簇内像素点对应的幅角差最大初始值max|α-β|,采用该幅角差最大初始值max|α-β|量化每个像素点对应的幅角差初始值,获取该簇内每个像素点对应的幅角差权重值。量化过程包括:计算每个像素点对应的幅角差初始值与该幅角差最大初始值max|α-β|的比值,将该比值作为每个像素点对应的幅角差权重值。例如,该簇内某个像素点对应的运动向量的幅角为156度,该簇的中心通道的角度范围为160到170的角度范围,因此该簇的中心通道的幅角为(160+170)/2,即165度,因此,该像素点对应的幅角差初始值为9度,例如,当该簇内幅角差最大初始值为15度时,则该像素点对应的幅角差权重值为9/15。
在本发明实施例中,可以将簇内每个像素点对应的宏块分割模式权重值,作为该像素点的综合权重值,或将每个像素点对应的幅角差权重值,作为该像素点的综合权重值。也可以根据每个像素点对应的宏块分割模式权重值及幅角差权重值,确定每个像素点的综合权重值。例如将每个像素点对应的宏块分割模式权重值与幅角差权重值的乘积,作为该像素点的综合权重值;或者将每个像素点对应的宏块分割模式权重值与幅角差权重值的和,作为该像素点的综合权重值等等。
本发明实施例中,在该运动模型的输入像素点选择时,可以选择该簇内综合权重值比较大的像素点,例如选择综合权重值较大的100个,或150个像素点等,可以根据全局运动估计的精度进行选择,将该选择的像素点作为最终输入运动模型的像素点。在本发明实施例中可以选择6参数的仿射变换模型作为运动模型,将该选择的像素点作为该运动模型的输入像素点值,确定该运动模型的参数:
x’=a×x+b×y+c;
y’=d×x+e×y+f;
其中,x’,y’为该像素点在该图像的当前帧中的横、纵坐标值,该x、y分别为该选择的像素点在该图像的参考帧中对应的横、纵坐标值,a、b、c、d、e和f为求解的该运动模型的参数,根据确定的该运动模型的参数,即可确定该参考帧中进行运动补偿后的每个像素点的位置,从而得到满足要求的图像。
本发明实施例中,在确定了运动模型的输入像素点所在的簇,在该簇内统计每个像素点的综合权重值,根据该综合权重值进行运动模型输入像素点的选择,此方法可以节省全局运动估计的计算量,提高全局运动估计的效率。当然,也可以将统计每个像素点的综合权重值在进行了簇的提取之后进行,具体顺序可以根据需要灵活的设置。同时,在选择运动模型时,也可以选择其他的运动模型,例如4参数放射变换模型等。
图5为本发明实施例提供了一种全局运动估计装置,该装置包括:
第一确定模块51,用于根据待估图像当前帧运动向量的属性信息,确定至少一个簇,其中,每个簇中包括多个像素点;
第二确定模块52,用于将该当前帧划分为多个区域,根据每个簇包含的像素点在每个区域内的数目,确定每个簇在当前帧内的分布方差,根据该分布方差确定运动模型输入像素所在的簇;
像素点确定模块53,用于根据所述输入像素点所在的簇中每个像素点所在的宏块分割模式和/或每个像素点的幅角,选择运动模型输入像素点;
计算模块54,用于根据所述运动模型输入像素点及设置的运动模型,确定所述运动模型的参数,根据所述参数确定所述待估图像参考帧经运动补偿后的像素点的位置。
所述第一确定模块51包括:
直方图确定单元511,用于根据待估图像当前帧运动向量的幅角信息确定幅角分布直方图,该幅角分布直方图中包括多个通道;
簇确定单元512,用于根据每个通道包含的样本的数目,确定至少一个簇,其中,每个簇中包括至少一个通道,所述样本为运动向量。
所述直方图确定单元511包括:
转换子单元5110,用于将运动向量的幅角转换到0到360度内;
划分子单元5111,用于按照设置的角度间隔,将0到360度划分为多个通道;
绘制子单元5112,用于统计每个通道的角度范围内包含的样本的数目,绘制以所述角度间隔为宽,以包含的样本的数目为高的直方图。
所述簇确定单元512包括:
中心通道确定子单元5120,用于根据每个通道包含的样本的数目,确定当前候选簇的中心通道;
合并提取子单元5121,用于根据与所述中心通道相邻的通道包含的运行向量的数目,及与所述中心通道相邻的通道与所述中心通道的角度间隔,确定是否将所述与中心通道相邻的通道合并到所述当前候选簇,并提取所述当前候选簇。
所述簇确定单元512还包括:
判断子单元5122,用于根据所述提取了所述当前候选簇后的直方图后的通道包含的运动向量的数目,确定是否继续进行当前候选簇的提取。
所述判断子单元5122还用于,
根据提取的当前候选簇的数目,确定是否继续进行当前候选簇的提取。
所述像素点确定模块53包括:
权重值确定单元531,用于根据所述输入像素点所在的簇中每个像素点所在的宏块分割模式和/或每个像素点的幅角,确定该簇内每个像素点的综合权重值;
像素点确定单元532,用于根据所述综合权重值选择运动模型输入像素点。
所述权重值确定单元531包括:
第一确定子单元5310,用于统计所述簇内每个像素点所在的宏块分割模式,根据所述宏块分割模式对应的权重值,确定所述簇内位于所述宏块分割模式内的像素点的宏块分割模式权重值;
第二确定子单元5311,用于根据所述簇内每个像素点对应的运动向量的幅角,与所述簇的中心通道的幅角,确定所述簇内每个像素点对应的幅角差初始值,根据所述幅角差初始值,与所述簇内的幅角差最大初始值,计算所述像素点的幅角差权重值;
权重值计算子单元5312,用于根据所述簇内每个像素点的宏块分割模式权重值和/或幅角差权重值,计算所述簇内每个像素点的综合权重值。
本发明实施例为了有效的提高全局运动估计的精度,以及准确性的问题,提供了一种全局运动估计方法及装置,该方法包括:根据待估图像当前帧运动向量的属性信息,确定至少一个簇,其中,每个簇中包括多个像素点,将该当前帧划分为多个区域,根据每个簇包含的像素点在每个区域内的数目,确定每个簇在当前帧内的分布方差,根据该分布方差确定运动模型输入像素点所在的簇,根据所述输入像素点所在的簇中每个像素点所在的宏块分割模式和/或每个像素点的幅角信息,选择运动模型像素点,根据所述运动模型输入像素点及设置的运动模型,确定所述运动模型的参数,根据所述参数确定所述待估图像参考帧经运动补偿后的像素点的位置。本发明实施例通过运动向量的相似度确定簇,并且在像素点的选择过程中考虑了像素点的空间分布特性,以及像素点所在区域的平滑程度,因此,综合考虑了多个信息,并且排除了局部运动给全局运动的干扰及影响,从而使估计的精度更高,使估计的结果更准确。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (16)
1、一种全局运动估计方法,其特征在于,该方法包括:
根据待估图像当前帧每个像素点对应的运动向量的属性信息,确定至少一个簇,其中,每个簇中包括多个像素点;
将该当前帧划分为多个区域,根据每个簇包含的像素点在每个区域内的数目,确定每个簇在当前帧内的分布方差,根据该分布方差确定运动模型输入像素点所在的簇;
根据所述输入像素点所在的簇中每个像素点所在的宏块分割模式和/或每个像素点对应的幅角信息,选择运动模型输入像素点;
根据所述运动模型输入像素点及设置的运动模型,确定所述运动模型的参数,根据所述参数确定所述待估图像参考帧经运动补偿后的像素点的位置。
2、如权利要求1所述的方法,其特征在于,所述确定至少一个簇包括:
根据所述当前帧每个像素点对应的运动向量的幅角信息,确定所述当前帧内运动向量的幅角分布直方图,该幅角分布直方图中包括多个通道;
根据每个通道包含的样本的数目,确定至少一个簇,其中,每个簇包括至少一个通道,所述样本为运动向量。
3、如权利要求2所述的方法,其特征在于,所述确定所述当前帧内运动向量的幅角分布直方图包括:
将运动向量的幅角转换到0到360度内;
按照设置的角度间隔,将0到360度划分为多个通道;
统计每个通道的角度范围内包含的样本的数目,绘制以所述角度间隔为宽,以包含的样本的数目为高的直方图。
4、如权利要求2所述的方法,其特征在于,所述根据每个通道包含的样本的数目,确定至少一个簇包括:
根据每个通道包含的样本的数目,确定当前候选簇的中心通道;
根据与所述中心通道相邻的通道包含的样本的数目,及与所述中心通道相邻的通道与所述中心通道的角度间隔,确定是否将所述与中心通道相邻的通道合并到所述当前候选簇,并提取所述当前候选簇。
5、如权利要求4所述的方法,其特征在于,所述方法还包括:
根据所述提取了所述当前候选簇后的直方图后的通道包含的样本的数目,确定是否继续进行当前候选簇的提取;或,
根据提取的当前候选簇的数目,确定是否继续进行当前候选簇的提取。
6、如权利要求1所述的方法,其特征在于,所述确定每个簇在当前帧内的分布方差包括:
根据每个簇包含的像素点在每个区域内的数目,及每个区域包含的像素点的数目,确定每个簇在每个区域内包含的像素点的分布密度;
根据所述分布密度,计算所述每个簇在当前帧内的分布方差。
7、如权利要求1所述的方法,其特征在于,所述选择运动模型输入像素点包括:
根据所述输入像素点所在的簇中每个像素点所在的宏块分割模式和/或每个像素点的幅角信息,确定该簇内每个像素点的综合权重值;
根据所述每个像素点的综合权重值,确定运动模型输入像素点。
8、如权利要求7所述的方法,其特征在于,所述确定该簇内每个像素点的综合权重值包括:
统计所述簇内每个像素点所在的宏块分割模式,根据所述宏块分割模式对应的权重值,确定所述簇内位于所述宏块分割模式内的像素点的宏块分割模式权重值;
根据所述簇内每个像素点对应的运动向量的幅角,与所述簇的中心通道的幅角,确定所述簇内每个像素点对应的幅角差初始值,根据所述幅角差初始值,与所述簇内的幅角差最大初始值,计算所述像素点的幅角差权重值;
根据所述簇内每个像素点的宏块分割模式权重值和/或幅角差权重值,计算所述簇内每个像素点的综合权重值。
9、一种全局运动估计装置,其特征在于,所述装置包括:
第一确定模块,用于根据待估图像当前帧运动向量的属性信息,确定至少一个簇,其中,每个簇中包括多个像素点;
第二确定模块,用于将该当前帧划分为多个区域,根据每个簇包含的像素点在每个区域内的数目,确定每个簇在当前帧内的分布方差,根据该分布方差确定运动模型输入像素所在的簇;
像素点确定模块,用于根据所述输入像素点所在的簇中每个像素点所在的宏块分割模式和/或每个像素点的幅角,选择运动模型输入像素点;
计算模块,用于根据所述运动模型输入像素点及设置的运动模型,确定所述运动模型的参数,根据所述参数确定所述待估图像参考帧经运动补偿后的像素点的位置。
10、如权利要求9所述的装置,其特征在于,所述第一确定模块包括:
直方图确定单元,用于根据待估图像当前帧运动向量的幅角信息确定幅角分布直方图,该幅角分布直方图中包括多个通道;
簇确定单元,用于根据每个通道包含的样本的数目,确定至少一个簇,其中,每个簇中包括至少一个通道,所述样本为运动向量。
11、如权利要求10所述的装置,其特征在于,所述直方图确定单元包括:
转换子单元,用于将运动向量的幅角转换到0到360度内;
划分子单元,用于按照设置的角度间隔,将0到360度划分为多个通道;
绘制子单元,用于统计每个通道的角度范围内包含的样本的数目,绘制以所述角度间隔为宽,以包含的样本的数目为高的直方图。
12、如权利要求10所述的装置,其特征在于,所述簇确定单元包括:
中心通道确定子单元,用于根据每个通道包含的样本的数目,确定当前候选簇的中心通道;
合并提取子单元,用于根据与所述中心通道相邻的通道包含的样本的数目,及与所述中心通道相邻的通道与所述中心通道的角度间隔,确定是否将所述与中心通道相邻的通道合并到所述当前候选簇,并提取所述当前候选簇。
13、如权利要求10所述的装置,其特征在于,所述簇确定单元还包括:
判断子单元,用于根据所述提取了所述当前候选簇后的直方图后的通道包含的样本的数目,确定是否继续进行当前候选簇的提取。
14、如权利要求13所述的装置,其特征在于,所述判断子单元还用于,根据提取的当前候选簇的数目,确定是否继续进行当前候选簇的提取。
15、如权利要求9所述的装置,其特征在于,所述像素点确定模块包括:
权重值确定单元,用于根据所述输入像素点所在的簇中每个像素点所在的宏块分割模式和/或每个像素点的幅角,确定该簇内每个像素点的综合权重值;
像素点确定单元,用于根据所述综合权重值选择运动模型输入像素点。
16、如权利要求15所述的装置,其特征在于,所述权重值确定单元包括:
第一确定子单元,用于统计所述簇内每个像素点所在的宏块分割模式,根据所述宏块分割模式对应的权重值,确定所述簇内位于所述宏块分割模式内的像素点的宏块分割模式权重值;
第二确定子单元,用于根据所述簇内每个像素点对应的运动向量的幅角,与所述簇的中心通道的幅角,确定所述簇内每个像素点对应的幅角差初始值,根据所述幅角差初始值,与所述簇内的幅角差最大初始值,计算所述像素点的幅角差权重值;
权重值计算子单元,用于根据所述簇内每个像素点的宏块分割模式权重值和/或幅角差权重值,计算所述簇内每个像素点的综合权重值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200910087429 CN101600106B (zh) | 2009-06-22 | 2009-06-22 | 一种全局运动估计方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200910087429 CN101600106B (zh) | 2009-06-22 | 2009-06-22 | 一种全局运动估计方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101600106A true CN101600106A (zh) | 2009-12-09 |
CN101600106B CN101600106B (zh) | 2012-10-03 |
Family
ID=41421312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200910087429 Expired - Fee Related CN101600106B (zh) | 2009-06-22 | 2009-06-22 | 一种全局运动估计方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101600106B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101771878B (zh) * | 2010-01-14 | 2011-05-25 | 广西大学 | 面向全景视频编码的自适应选择全局运动估计方法 |
CN102238332A (zh) * | 2010-04-28 | 2011-11-09 | 索尼公司 | 图像处理装置、图像处理方法、成像装置和程序 |
CN106470342A (zh) * | 2015-08-14 | 2017-03-01 | 展讯通信(上海)有限公司 | 全局运动估计方法及装置 |
CN112385230A (zh) * | 2018-07-02 | 2021-02-19 | Lg电子株式会社 | 通过使用仿射预测处理视频信号的方法和设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1468004A (zh) * | 2002-06-27 | 2004-01-14 | 上海汉唐科技有限公司 | 基于时空梯度范围和分层结构的全局运动估计方法 |
CN1965583A (zh) * | 2004-06-04 | 2007-05-16 | 皇家飞利浦电子股份有限公司 | 搜索全局运动矢量的方法 |
EP1755342A1 (en) * | 2005-08-19 | 2007-02-21 | Thomson Licensing | Method and apparatus for iteratively calculating a set of global motion parameters for a picture sequence from block motion vectors |
CN100553290C (zh) * | 2007-01-23 | 2009-10-21 | 展讯通信(上海)有限公司 | 一种图像全局运动估计方法和装置 |
-
2009
- 2009-06-22 CN CN 200910087429 patent/CN101600106B/zh not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101771878B (zh) * | 2010-01-14 | 2011-05-25 | 广西大学 | 面向全景视频编码的自适应选择全局运动估计方法 |
CN102238332A (zh) * | 2010-04-28 | 2011-11-09 | 索尼公司 | 图像处理装置、图像处理方法、成像装置和程序 |
CN106470342A (zh) * | 2015-08-14 | 2017-03-01 | 展讯通信(上海)有限公司 | 全局运动估计方法及装置 |
CN106470342B (zh) * | 2015-08-14 | 2020-01-17 | 展讯通信(上海)有限公司 | 全局运动估计方法及装置 |
CN112385230A (zh) * | 2018-07-02 | 2021-02-19 | Lg电子株式会社 | 通过使用仿射预测处理视频信号的方法和设备 |
Also Published As
Publication number | Publication date |
---|---|
CN101600106B (zh) | 2012-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113034548B (zh) | 一种适用于嵌入式终端的多目标跟踪方法及其系统 | |
CN110287826B (zh) | 一种基于注意力机制的视频目标检测方法 | |
CN112203095B (zh) | 视频运动估计方法、装置、设备及计算机可读存储介质 | |
CN108198201A (zh) | 一种多目标跟踪方法、终端设备及存储介质 | |
KR20150027291A (ko) | 광류 추적 방법 및 장치 | |
JP2002288658A (ja) | 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法 | |
CN113191180B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
CN111553425B (zh) | 一种用于视觉定位的模板匹配lsp算法、介质和设备 | |
CN101600106B (zh) | 一种全局运动估计方法及装置 | |
CN109446978B (zh) | 基于凝视卫星复杂场景的飞机动目标跟踪方法 | |
CN106023261B (zh) | 一种电视视频目标跟踪的方法及装置 | |
CN103995864B (zh) | 一种图像检索方法和装置 | |
CN112258403A (zh) | 一种在动态烟雾中提取疑似烟雾区域的方法 | |
CN102663777A (zh) | 基于多视点视频的目标跟踪方法及系统 | |
CN105263026B (zh) | 基于概率统计与图像梯度信息的全局矢量获取方法 | |
CN105491370B (zh) | 基于图的协同低高级特征的视频显著性检测方法 | |
CN110636248B (zh) | 目标跟踪方法与装置 | |
Yang et al. | A feature temporal attention based interleaved network for fast video object detection | |
CN104134213B (zh) | 一种数字图像中的目标定位方法以及装置 | |
Xu et al. | Fast and accurate object detection using image Cropping/Resizing in multi-view 4K sports videos | |
CN110310303B (zh) | 图像分析多目标跟踪方法 | |
CN112784828B (zh) | 基于方向梯度直方图的图像检测方法、装置、计算机设备 | |
CN113505812A (zh) | 一种基于双流卷积网络的高压断路器轨迹动作识别方法 | |
CN111860174A (zh) | 融合RepGT-RepBox函数的遮挡人脸检测方法 | |
CN112200831A (zh) | 一种基于动态模板的密集连接孪生神经网络目标跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121003 Termination date: 20190622 |
|
CF01 | Termination of patent right due to non-payment of annual fee |