一种移动背景下的运动物体检测与分割方法
技术领域
本发明涉及图像处理技术领域,特别涉及一种移动背景下的运动物体检测与分割方法。
背景技术
视屏图像中运动物体的运动分析是计算机视觉领域中的一个重要分支,它的应用领域包括治安监控、机器视觉、自动导航、国防兵器、数字媒体、视频编码、电视、虚拟现实和智能交通等,这些都是国内外重点发展和研究的领域。运动分析包括运动物体的检测、分割、跟踪、估计和识别。其中,运动物体的正确检测和分割运动分析的前提条件,一个良好的分割结构是进行目标理解的保证。
在现有技术中,需要在移动的摄像机平台上进行运动物体的运动分析,在由移动摄像机平台得到图像序列中,背景和运动目标均处于运动状态,因此视屏中的运动目标是多方面运动信息的综合,同时摄像机平台在移动过程中产生自然抖动也会给视屏中的背景运动和目标运动产生干扰,这使得在移动背景下对运动物体进行检测和分割变得更加困难。
因此,为了解决上述问题,客服干扰因素,需要能够有效提高运动检测和分割过程的鲁棒性、准确性以及及时性的一种移动背景下的运动物体检测与分割方法。
发明内容
本发明的目的在于提供一种移动背景下的运动物体检测与分割方法,适于在计算设备中执行,所述方法包括如下步骤:
a)获取移动摄像机获取的每一帧图像;
b)对获取的每一帧图像建立局部区域,并将每一帧图像分成M×N个等大的方块进行ORB特征点提取;
c)将连续的两帧图像中的后一帧图像局部区域中的特征点,在前一帧图像对应的局部区域中寻找最佳匹配的特征点;
d)将步骤c)中所述的特征点与其对应的最佳匹配的特征点构成匹配对,通过所述匹配对计算所述特征点由前一帧图像到后一帧图像的运动矢量;
e)所有所述运动矢量构成的点集进行Meanshift聚类,将拥有最多成员点的类作为移动背景的运动矢量点集进行移除,保留运动物体的运动矢量点集;
f)对所述运动物体的运动矢量点集进行DBSCAN聚类,得到不同运动物体的特征点集;
g)将步骤f)中每一个所述运动物体的特征点集进行Grabcut分割,实现每个运动物体的图像分割。
优选地,每一帧图像中所有特征点构成特征点集合。
优选地,所述特征点集合通过下式表达:其中为第i帧图像中的第j个特征点,并且(x0,y0)为的坐标。
优选地,所述步骤c)中寻找最佳匹配的特征点过程通过如下方式实现:
其中为最佳匹配的特征点,表示第i帧图像中特征点所在的局部区域对应的第i-1帧图像的特征点集,S(i-1)为第i-1帧图像的所有特征点构成的特征点集合,表示第i帧图像中特征点所在的局部区域,表示属于所述特征点集的最小特征点;
dHamming{}表示汉明距离,D(i-1)(x,y)为第i-1帧图像中特征点(x,y)对应的描述子,为第i帧图像中特征点对应的描述子。
优选地,所述局部区域满足如下关系:
其中r为局域区域半径。
优选地,当后一帧图像局部区域中的特征点对应的描述子与前一帧图像中的最佳匹配特征点对应的描述子的汉明距离大于预设阈值时,则将后一帧图像局部区域中的该特征点抛弃。
优选地,所述前一帧图像到后一帧图像的运动矢量通过如下方法计算:
其中,为第i帧图像中的特征点,为最佳匹配特征点,为第i-1帧图像到第i帧图像的运动矢量。
优选地,所述运动矢量构成的点集进行Meanshift聚类通过高斯核函数进行计算:
其中,σ为函数的宽度参数。
优选地,所述步骤e)中还包括将孤立点和/或稀少点作为噪声的运动矢量点进行移除。
优选地,所述步骤f)中还包括将未进行聚类的矢量点作为噪声的运动矢量点进行移除。
本发明提供的一种移动背景下的运动物体检测与分割方法,通过后一帧图像局部区域中的特征点在前一帧图像局部区域中寻找最佳匹配点,并通过后一帧图像局部区域内的特征点在前一帧图像中寻找最佳匹配点构成的匹配对计算前一帧图像到后一帧图像的运动矢量,对运动矢量构成的点集进行聚类移除,有效去除了运动物体的移动背景以及摄像机平台自然抖动对视屏造成的干扰。
同时本发明一种移动背景下的运动物体检测与分割方法有效提高了运动检测和分割过程的鲁棒性、准确性以及及时性。
应当理解,前述大体的描述和后续详尽的描述均为示例性说明和解释,并不应当用作对本发明所要求保护内容的限制。
附图说明
参考随附的附图,本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明,其中:
图1示意性示本发明移动背景下的运动物体检测与分割过程的流程框图;
图2a示出了本发明后一帧图像局部区域中的特征点在前一帧图像对应的局部区域中寻找最佳匹配的特征点的示意图;
图2b示出了本发明通过匹配对计算前一帧图像到后一帧图像的运动矢量示意图;
图3示出了本发明本发明运动矢量点集聚类的示意图;
图4示出了本发明不同运动物体的特征点集示意图;
图5示出了本发明运动物体的特征点集的分割示意图。
具体实施方式
通过参考示范性实施例,本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而,本发明并不受限于以下所公开的示范性实施例;可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。
在下文中,将参考附图描述本发明的实施例,相关技术术语应当是本领域技术人员所熟知的。在附图中,相同的附图标记代表相同或类似的部件,或者相同或类似的步骤,除非另有说明。
下面通过具体的实施例对本发明的内容进一步的进行阐释,如图1所示本发明移动背景下的运动物体检测与分割过程的流程框图,本发明提供的一种移动背景下的运动物体检测与分割方法,适于在计算设备中执行(例如图像处理器),具体包括如下步骤:
S101、获取移动摄像机获取的每一帧图像
移动的摄像机平台对移动物体进行采集,连续拍摄移动物体的图像,计算设备获取移动摄像机获取的每一帧图像。
S102、对获取的每一帧图像进行ORB特征点提取
对获取的每一帧图像建立局部区域,并将每一帧图像分成M×N个等大的方块进行ORB特征点提取。应当理解,ORB特征点提取基于划分的M×N等大的方块中进行,具体为:每个方块中心作为候选特征点,定义候选特征点周围的图像灰度值,检测候选特征点周围一圈的像素值,如果候选点周围领域内有足够多的像素点与该候选点的灰度值差别够大,则认为该候选特征点为一个ORB特征点。
S103、寻找最佳匹配的特征点
将连续的两帧图像中的后一帧图像局部区域中的特征点,在前一帧图像对应的局部区域中寻找最佳匹配的特征点。如图2a所示本发明后一帧图像局部区域中的特征点在前一帧图像对应的局部区域中寻找最佳匹配的特征点的示意图,实施例中连续的两帧图像分为为第i-1帧图像和第i帧图像,第i帧图像局部区域101中的特征点102在第i-1帧图像对应的局部区域201中寻找最佳匹配特征点202。
根据本发明,每一帧图像中所有特征点构成特征点集合,特征点集合通过下式表达:其中为第i帧图像中的第j个特征点,并且(x0,y0)为的坐标。如下实施例中以第i帧图像中的特征点寻找最佳匹配特征点为例进行说明,寻找最佳匹配的特征点过程通过如下方式实现:
其中为最佳匹配的特征点,表示第i帧图像中特征点所在的局部区域对应的第i-1帧图像的特征点集,S(i-1)为第i-1帧图像的所有特征点构成的特征点集合,表示第i帧图像中特征点所在的局部区域,表示属于所述特征点集的最小特征点;
dHamming{}表示汉明距离,D(i-1)(x,y)为第i-1帧图像中特征点(x,y)对应的描述子,为第i帧图像中特征点对应的描述子。
根据本发明,实施例中第i帧图像的局部区域满足如下关系:
其中r为局域区域半径。应当理解每一帧图像的局部区域都应当满足上述关系。
优选地,考虑到特征点与其对应的最佳匹配特征点出现错误匹配的情况,本发明中当后一帧图像局部区域中的特征点对应的描述子与前一帧图像中的最佳匹配特征点对应的描述子的汉明距离大于预设阈值时,则将后一帧图像局部区域中的该特征点抛弃。
应当理解,上述过程中所说的特征点为步骤S102中提取的ORB特征点。
S104、计算运动矢量
将步骤S103中特征点与其对应的最佳匹配的特征点构成匹配对,通过匹配对计算特征点由前一帧图像到后一帧图像的运动矢量。如图2b所示本发明通过匹配对计算前一帧图像到后一帧图像的运动矢量示意图,第i帧图像的局部区域101与第i-1帧图像的局部区域201相互对应,由第i帧图像中的特征点102与其对应的位于第i-1帧图像的最佳匹配特征点202构成匹配对,通过匹配对计算前一帧图像到后一帧图像的运动矢量v。
本实施例中第i-1帧图像到第i帧图像的运动矢量通过如下方法计算:其中,为第i帧图像中的特征点,为最佳匹配特征点,即第i帧图像局部区域中的特征点在第i-1帧图像对应的局部区域中寻找到的最佳匹配的特征点,为第i-1帧图像到第i帧图像的运动矢量。
S105、对运动矢量构成的运动矢量点集进行Meanshift聚类和移除
步骤S104中计算得到的所有运动矢量构成的点集进行Meanshift聚类,将拥有最多成员点的类作为移动背景的运动矢量点集进行移除,保留运动物体的运动矢量点集。如图3所示本发明本发明运动矢量点集聚类的示意图,所有运动矢量构成的运动矢量点集进行Meanshift聚类,聚类过程通过高斯核函数计算,具体的计算过程为:其中,σ为函数的宽度参数。在一些实施例中,当x-x0>3σ时,由于权重相对过小而不参加计算,从而采用高斯末班查找表代替高斯核函数计算,在保证精度的情况下大大降低计算复杂度。
实施例中,运动矢量点集聚类后,每一类中具有不同的成员点,将拥有最多成员点的类301作为移动背景的运动矢量点集进行移除,同时将孤立点和/或稀少点303作为噪声的运动矢量点进行移除。将剩下的运动矢量点集302作为运动物体的运动矢量点集进行保留。
S106、对运动物体的运动矢量点集进行DBSCAN聚类
对运动物体的运动矢量点集进行DBSCAN聚类,得到不同运动物体的特征点集。如图4所示不同运动物体的特征点集示意图,设置领域半径ε和最小密度阈值m,将运动物体的运动矢量点集进行DBSCAN聚类。DBSCAN聚类过程中,本领域技术人员根据具体地情况设定领域半径ε和最小密度阈值m。在聚类结果中得到不同运动物体的特征点集,本实施例中,得到第一运动物体的特征点集401和第二运动物体的特征点集402。对于未进行聚类的矢量点作为噪声的运动矢量点403进行移除。
S107、对运动物体的特征点集分割
将步骤S106中每一个运动物体的特征点集进行Grabcut分割,实现每个运动物体的图像分割。如图5所示本发明运动物体的特征点集的分割示意图,实施例中以第一运动物体的特征点503构成的特征点集401进行分割为例,将第一运动物体的特征点集401置于矩形窗501中进行Grabcut分割。在一些实施例中,矩形窗501边界留有一定的余量a以保证第一运动物体的轮廓502能够包含在矩形窗501边界内。
经过对第一运动物体的特征点集进行Grabcut分割,实现了第一运动物体的图像分割。依次对每一个运动物体的特征点集进行Grabcut分割,完成移动背景下每个运动物体的图像分割。
本发明提供的一种移动背景下的运动物体检测与分割方法,通过后一帧图像局部区域中的特征点在前一帧图像局部区域中寻找最佳匹配点,并通过后一帧图像局部区域内的特征点在前一帧图像中寻找最佳匹配点构成的匹配对计算前一帧图像到后一帧图像的运动矢量,对运动矢量构成的点集进行聚类移除,有效去除了运动物体的移动背景以及摄像机平台自然抖动对视屏造成的干扰。
同时本发明一种移动背景下的运动物体检测与分割方法有效提高了运动检测和分割过程的鲁棒性、准确性以及及时性。
结合这里披露的本发明的说明和实践,本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的,本发明的真正范围和主旨均由权利要求所限定。