CN105761277A - 一种基于光流的运动目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于光流的运动目标跟踪方法。先采集视频图像，进行选定目标、定义模板和初始化变量等跟踪前的准备工作；然后计算目标与模板的相似度RateMat，根据RateMat的值判定是否需要更新模板，若需要则进行模板更新；再根据RateMat的值进行遮挡判定，当发生遮挡时，采用角点匹配跟踪方法进行跟踪，当未发生遮挡时，采用基于角点位置滤波、最优轮廓判定、异常区域判定及处理等技术的光流匹配跟踪方法进行跟踪；根据跟踪结果判断是否进行继续跟踪，目标位置出界或人为重新选定目标则结束跟踪，否则重新计算目标与模板的相似度RateMat并进行迭代跟踪。该方法大大提高了目标的跟踪精度，解决了现有基于光流的运动目标跟踪方法中的精度有限问题。

Description

一种基于光流的运动目标跟踪方法

技术领域

本发明属于视频监控技术领域，具体涉及一种基于光流的运动目标跟踪方法。

背景技术

光流的概念是Gibson在1950年首先提出来的，光流的计算由Horn和Schunck在1981年提出。所谓光流，它是空间运动物体在观察成像平面上的像素运动瞬时速度。对于视频序列中的前后两帧图像I_t和I_t+1，光流计算的目的是获取I_t到I_t+1中像素点之间的运动矢量。光流场计算存在以下的前提假设：⑴像素恒定，即认为相邻两帧图像I_t和I_t+1之间颜色一致(对灰度图像，认为亮度一致)；⑵运动幅度小，即认为相邻两帧图像之间目标不会产生较大的运动；⑶区域运动一致性，即认为同一目标的像素点具有相同的运动。

现常用的基于光流的目标跟踪一般方法是：⑴针对一个视频序列，先检测出其中可能出现的目标或者人为选定其中的目标；⑵对当前帧图像I_t中的目标Obj_t提取有效特征点⑶利用光流计算，获取下一帧图像I_t+1中和匹配的特征点⑷特征点所在区域即为目标Obj_t在下一帧图像I_t+1中的位置；⑸如此迭代进行，便可实现目标的连续跟踪。

现有的基于光流的目标跟踪方法存在以下问题：⑴由于光流场精度不高，导致跟踪性能下降；⑵在实际拍摄视频的过程中，由于经常出现摄像机或目标旋转、光照条件改变和目标尺度变化等情况，使同一目标的特征点内容在前后两帧图像中发生较大的差异，导致光流中的特征点匹配不准确，从而引起跟踪失败；⑶当发生遮挡时，一些原有的特征点会消失，不能求解出正确的光流场，从而引起跟踪失败；⑷当遮挡消失时，一些新的特征点会出现，而这些新的特征点在上一帧图像可能没有匹配的特征点，从而使跟踪无法继续进行；⑸大多数光流计算方法相当复杂，计算量巨大，不能满足实时的要求。

发明内容

本发明的目的是提供一种基于光流的运动目标跟踪方法，该方法提高了目标的跟踪精度，解决了现有基于光流的运动目标跟踪方法跟踪精度有限的问题。

本发明所采用的技术方案是，一种基于光流的运动目标跟踪方法，包括以下步骤：

步骤1，先采集视频图像，进行跟踪前的准备工作，包括人为选定要跟踪的目标，定义模板和初始化变量；

步骤2，启动跟踪，计算目标与模板的相似度RateMat，根据RateMat的值判定是否需要更新模板，若需要则进行更新，然后进入步骤3，若不需要则直接进入步骤3；

步骤3，根据RateMat的值进行遮挡判定，当发生遮挡时，采用角点匹配跟踪方法进行跟踪，当未发生遮挡时，采用光流匹配跟踪方法进行跟踪；根据跟踪结果进行目标定位，得到目标位置和大小；

步骤4，更新数据并根据目标位置和大小判断目标是否出界，如果出界则结束跟踪，否则返回步骤2。

上述步骤2中的目标与模板的相似度RateMat，通过计算模板图像和当前帧目标图像中匹配成功的角点数目xnum与模板图像中角点数目的比值求得，0≤RateMat≤1，RateMat为0时表示目标与模板完全不同，RateMat越接近1表明目标与模板越相似。xnum的值是以模板灰度图像和当前帧目标灰度图像作为输入，通过对模板图像和当前帧目标图像中的角点进行角点特征匹配计算得到。

上述步骤2所述判定是否需要更新模板并在需要时更新的具体方法为：定义阈值T₂，当RateMat>T₂时认为目标与模板达到了高相似程度，需要更新，则用当前目标的图像、角点集和角点数目来更新模板；否则认为目标与模板未达到高相似程度，不需要更新。

上述步骤3所述遮挡判定的具体方法为：定义遮挡阈值T，当RateMat<T时认为发生了遮挡，否则认为不存在遮挡。

上述步骤3所述光流匹配跟踪方法按照以下步骤实施：

步骤3.1，利用上一帧灰度图像及其对应的目标角点集和目标角点数目、当前帧灰度图像，计算Lucas-Kanade光流，得到在当前帧图像中匹配到的角点集及其角点数目。

步骤3.2，对在当前帧图像中匹配到的角点集进行角点位置滤波，剔除匹配错误的角点，保留匹配正确的角点。

步骤3.3，对剩余的角点集求其最小外接矩形区域Obj_cornerBF，并对角点所在位置进行二值化操作，得到角点位置的二值图。

步骤3.4，对所得到的角点位置的二值图进行形态学处理，然后提取轮廓，根据轮廓个数NumOutline确定目标候选轮廓区域Obj_rh。

步骤3.5，判定目标候选轮廓区域Obj_rh是否异常，并在区域异常时对目标进行重新定位，排除异常区域，得到目标候选轮廓区域Obj_rh的更新值。

步骤3.6，经由步骤3.4～步骤3.5计算所得的目标候选轮廓区域Obj_rh即为当前帧中的目标区域Obj1，目标中心位置为(x₁,y₁)，目标大小为W₁×H₁。而Obj₁即为定位的目标，其区域为Obj＝Obj₁，其中心位置为(x,y)＝(x₁,y₁)，其大小为W×H＝W₁×H₁。

上述步骤3.2中的角点位置滤波包括两次滤波过程，具体按照以下步骤实施：

步骤3.2.1，第一次滤波：对在当前帧图像中所匹配到角点集的位置信息求其平均位置及其标准差，用各角点位置与平均位置的绝对差值表示各角点与平均值的相异程度，当相异程度与标准差的比值大于等于thr11时，认为角点位置偏离均值太多，角点匹配错误，剔除该角点；否则认为角点匹配正确，保留该角点。其中，thr11为阈值系数；

步骤3.2.2，第二次滤波：经过第一次滤波后，对剩余的角点集再进行一次相同的滤波过程，再次剔除掉部分匹配错误的角点，保留匹配正确的角点。其中，thr22为阈值系数。

上述步骤3.4中的确定目标候选轮廓区域Obj_rh按照以下步骤实施：

步骤3.4.1，当NumOutline＝1时，表示只有一个轮廓，则该轮廓的外接矩形区域作为目标候选轮廓区域Obj_rh；当NumOutline>1时，表示存在多个轮廓，需要进行最优轮廓判定，以确定目标候选轮廓区域Obj_rh。

最优轮廓判定及确定目标候选轮廓区域Obj_rh的方法为：

跟踪步数NumTrack≤n时，认为此时还没发生遮挡，将这些轮廓中的最大轮廓作为最优轮廓，用其外接矩形区域作为目标候选轮廓区域Obj_rh；

跟踪步数NumTrack≥n+1时，认为此时目标部分离开遮挡物，或上一帧目标的一部分角点匹配到了其他物体上，选择最符合运动趋势且轮廓面积符合一定条件的轮廓区域作为目标候选轮廓区域，步骤包括：

①对前[t-n,t-1]帧目标区域求其面积平均值barea和目标运动趋势其中，Loc_t-1和Loc_t-2分别指，相对于第t帧，目标在第t-1帧和第t-2帧图像中的位置；

②当这些轮廓中，某个轮廓的面积大于等于且其与前[t-n,t-1]帧目标运动趋势的绝对差值比其他轮廓与前[t-n,t-1]帧目标运动趋势的绝对差值都小时，认为该轮廓区域最符合运动趋势且轮廓面积符合一定条件，则该轮廓为最优轮廓，该轮廓的外接矩形区域作为目标候选轮廓区域Obj_rh；否则，认为这些轮廓中的最大轮廓为最优轮廓，其外接矩形区域作为目标候选轮廓区域Obj_rh。

上述步骤3.5具体按照以下步骤实施：

步骤3.5.1，根据所得目标候选轮廓区域Obj_rh判定目标区域是否异常，步骤如下：

步骤3.5.1.1，定义步骤3.3中最小外接矩形区域Obj_cornerBF的面积与前[t-n,t-1]帧目标区域面积的平均值barea的比值thr1为目标大小突变量；

步骤3.5.1.2，将目标候选轮廓区域Obj_rh与上一帧目标区域在水平和垂直方向的相对位移分别记为disx和disy；将disx与上一帧目标区域的2倍宽度之差记为disx1，disy与上一帧目标区域的2倍高度之差记为disy1；定义差值disx1和disy1中的最大值thr2为目标位置突变量；

步骤3.5.1.3，定义阈值T₃和T₄，当目标大小突变量thr1>T₃时，认为目标大小发生了突变，当目标位置突变量thr2>T₄时，认为目标位置发生了突变。当目标位置或大小任何一项发生突变时，说明目标候选轮廓区域Obj_rh异常，需要执行步骤3.5.2，进行目标重定位，以排除异常；当目标位置和大小均未发生突变时，说明目标候选轮廓区域Obj_rh正常，不需要对其做任何改变。

步骤3.5.2，对目标进行重新定位，获得目标候选轮廓区域Obj_rh的更新值，步骤如下：

步骤3.5.2.1，利用前[t-n,t-1]帧目标的平均尺寸和目标运动趋势进行运动估计，并用估计出的目标位置和大小确定当前帧图像中的目标候选区域，其对应的图像、角点集及其角点数目作为当前目标的图像、角点集和角点数目；以上一帧目标灰度图像和当前帧目标灰度图像作为输入，通过对上一帧目标图像和当前帧目标图像中的角点进行角点特征匹配计算得到当前目标与上一帧目标匹配成功的角点数目xnum；

步骤3.5.2.2，根据xnum更新目标候选轮廓区域Obj_rh：当xnum＝0时，利用前[t-n,t-1]帧目标的平均尺寸和目标运动趋势进行运动估计，并用估计出的目标位置和大小更新目标候选轮廓区域Obj_rh；当xnum≥1时，对匹配成功的xnum个角点进行角点位置滤波，剔除错误的角点，求剩余角点的最小外接矩形，其对应区域作为目标候选轮廓区域Obj_rh的更新值。

上述步骤3所述角点匹配跟踪方法按照以下步骤实施：

步骤3.1，当前帧图像中上一帧目标区域的2倍区域作为当前目标候选区域，其对应的图像、角点集及其角点数目作为当前目标的图像、角点集和角点数目；以模板灰度图像和当前帧目标灰度图像作为输入，通过对模板图像和当前帧目标图像中的角点进行角点特征匹配计算得到当前目标与模板匹配成功的角点数目xnum。

步骤3.2根据xnum确定目标区域Obj₂：当xnum＝0时，利用前[t-n,t-1]帧目标的平均尺寸和目标运动趋势进行运动估计，并用估计出的目标位置和大小确定目标区域Obj₂；当xnum≥1时，对匹配成功的角点进行角点位置滤波，剔除错误的角点，求剩余角点的最小外接矩形，其对应区域作为目标区域Obj₂。

步骤3.3，经由步骤3.2计算所得的目标区域Obj₂，中心位置为(x₂,y₂)，大小为W₂×H₂。而Obj₂即为定位的目标，其区域为Obj＝Obj₂，其中心位置为(x,y)＝(x₂,y₂)，其大小为W×H＝W₂×H₂。

在上述目标与模板的相似度RateMat、光流匹配跟踪方法中步骤3.5.4和角点匹配跟踪方法中步骤3.1的计算过程中，通过角点特征匹配的方法计算xnum具体按照以下步骤实施：

步骤①，对输入的灰度图像I^X和I^Y中的各角点，分别取其n×n邻域，用以描述角点邻域像素特征。

步骤②，分别计算图像I^X中各角点的n×n邻域与图像I^Y中各角点的n×n邻域的SAD值，将计算结果存放在矩阵Da中，矩阵Da的行数和列数分别等于I^X中角点的数目和I^Y中角点的数目，Da_ij表示图像I^X中的第i个角点与图像I^Y中的第j个角点的匹配结果，其值为I^X中第i个角点的n×n邻域与I^Y中第j个角点的n×n邻域的SAD值。

步骤③，将矩阵Da中的各行元素进行升序排列，得到矩阵D。

步骤④，定义阈值T₁，计算矩阵D前2列元素的比值当时，认为这对角点匹配成功，匹配成功的角点数目累加1，否则匹配失败；比较完D的每一行后，得到图像I^X中的角点与图像I^Y中的角点匹配成功的对数即为图像I^X和I^Y中匹配成功的角点数目xnum。

本发明的有益效果是，⑴本发明采用角点位置滤波、轮廓面积约束、异常区域判定和区域异常时的目标重定位等技术克服了光流的误匹配问题；⑵在目标遮挡判断方面，本发明不是采用当前帧图像中的目标和上一帧图像中的目标的相似度进行判定，而是利用当前帧图像中的目标和模板的相似度对遮挡进行判断，使目标的遮挡判断机制更准确；⑶本发明对目标遮挡和非遮挡时采用不同的跟踪策略，克服光流法在像素恒定前提不满足时的跟踪不准确问题；⑷本发明在目标和模板很相似的情况下更新模板，使模板在视频序列随时间变化的过程中与动态目标保持高度的一致性，克服定期更新模板造成的模板不准确问题；⑸本发明在遮挡跟踪过程中，当目标和模板的相似度大于一定阈值时自动切换到光流跟踪策略；在光流跟踪过程中，当目标和模板的相似度小于一定阈值时，自动切换到角点匹配策略，实现两种匹配策略的无缝对接；(6)本发明利用角点轮廓提取、最优轮廓判定和异常区域判定及处理等机制实现了目标在尺度变化时的稳定跟踪；利用特征点匹配机制实现了在光照变化下的稳定目标跟踪；利用两种跟踪策略相结合的方法实现了目标在遮挡、半遮挡和非遮挡时的稳定跟踪。

附图说明

图1是本发明的跟踪方法流程图；

图2是本发明中的目标与模板相似度计算流程图；

图3是本发明中模板更新判定及其更新流程图；

图4是本发明中遮挡判定流程图；

图5是本发明中光流匹配跟踪方法流程图；

图6是本发明中异常区域判定流程图；

图7是本发明中有异常区域时目标重新定位流程图；

图8是本发明中角点匹配跟踪方法流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步的详细说明，但本发明并不限于这些实施方式。

本发明提供了一种基于光流的运动目标跟踪方法，流程图如图1所示，具体按照以下步骤实施：

步骤1，采集视频图像，进行跟踪前的准备工作。

步骤1.1、从摄像头或本地文件获取视频帧图像。

步骤1.2、做跟踪前的准备工作，包括人为选定要跟踪的目标并进行模板定义和变量初始化，为后面实现跟踪打好基础，具体包括以下步骤：

步骤1.2.1、手动框选需要跟踪的目标，由于目标类型不能预先获知，因此对跟踪目标的选择是人工进行的。手动框选完目标，就得到了要跟踪的目标，目标中心位置为所框选矩形目标框的中心，记为(x₀,y₀)，目标大小为所框选矩形目标框的大小，即目标宽度为矩形目标框的宽度，记为W₀，目标高度为矩形目标框的高度，记为H₀，目标区域为矩形目标框所在区域，记为Obj₀；

步骤1.2.2、将框选完目标时的视频帧图像记为初始视频帧图像I⁰，其灰度图像记为Igray⁰；目标所在的Obj₀区域对应的图像记为初始目标图像其灰度图像记为初始目标灰度图像对提取亚像素级角点，将其角点集和角点数目分别记为Corner0和count0；

步骤1.2.3、定义模板为{I^T,Corner^T,count^T}。初始化模板图像I^T为初始目标图像则其灰度图像Igray^T为分别初始化其角点集Corner^T和角点数目count^T为Corner0和count0；

步骤1.2.4、初始化第t-2帧目标区域Obj_t-2和第t-1帧目标区域Obj_t-1为初始目标区域Obj₀，则其对应的图像和为初始目标图像同时，初始化当前帧目标区域Obj为Obj₀，则当前帧目标图像I^Obj为

步骤1.2.5、初始化前[t-6,t-1]帧目标区域Target_t-6～Target_t-1为初始目标区域Obj₀；

步骤1.2.6、将跟踪步数NumTrack置为0，目标与模板的相似度RateMat初始化为1；

步骤1.2.7、跟踪标签Istrack初始值为0。当初始目标图像中提取的角点数目count0为0时，跟踪标签Istrack置为0，表示不进入跟踪，需要重新手动框选目标；否则Istrack置为1，表示跟踪前的准备工作已完成，可以启动跟踪算法进行目标跟踪。

步骤2，启动跟踪，对步骤1.2中选取的目标进行跟踪，每进入跟踪1次，跟踪步数NumTrack就累加1。

步骤2.1，计算目标与模板的相似度RateMat，用于后面的模板更新判定和遮挡判定，其计算步骤为：

步骤2.1.1，跟踪步数NumTrack＝1时，表示首次进入跟踪，此时目标与模板完全相同，即目标与模板的相似度RateMat为1，不需重新计算RateMat也不需要更新模板，因此直接转至步骤2.2开始执行，以避免冗余计算；跟踪步数NumTrack>1时，计算RateMat的流程图如图2所示，计算步骤为步骤2.1.2～步骤2.1.6。

步骤2.1.2，对模板灰度图像Igray^T和当前帧目标灰度图像Igray^Obj中各角点取其n×n邻域，则分别取得count^T个n×n邻域和countB个n×n邻域，用以对角点集Corner^T中的count^T个角点和角点集CornerB中的countB个角点进行邻域像素特征的描述。本实施方式中，n的取值为3。

步骤2.1.3，利用角点邻域像素特征进行角点匹配，匹配结果用矩阵Da表示，步骤为：

①对在模板灰度图像Igray^T中取得的各角点的n×n邻域和在当前帧目标灰度图像Igray^Obj中取得的各角点的n×n邻域分别进行SAD(绝对误差和)计算，得到的count^T×countB个结果作为角点集Corner^T中count^T个角点和角点集CornerB中countB个角点的匹配结果；

②将得到的count^T×countB个SAD的结果存放在count^T×countB的矩阵Da中，即用Da表示模板图像I^T中含count^T个角点的角点集Corner^T和当前帧目标图像I^Obj中含countB个角点的角点集CornerB的角点匹配结果。矩阵Da如式(1)所示：

其中，Da_ij表示模板图像I^T中第i个角点与当前帧目标图像I^Obj中第j个角点的匹配结果，其值为I^T中第i个角点的n×n邻域与I^Obj中第j个角点的n×n邻域的SAD值，i＝1,2,…,count^T，j＝1,2,…,countB；

步骤2.1.4，将角点匹配结果矩阵Da中的各行元素升序排列得到矩阵D，则其中每一行的元素是从小到大排列的。矩阵D用于计算匹配成功的角点数目，其如式(2)所示：

步骤2.1.5，根据矩阵D前2列元素的比值计算模板图像I^T中角点集Corner^T和当前帧目标图像I^Obj中角点集CornerB匹配成功的角点数目xnum。

当时，认为角点匹配成功，匹配成功的角点数目xnum累加1；否则认为这对角点匹配不成功，xnum值不变；本实施方式中，阈值T₁的经验值为0.8。最后，当匹配成功的角点数目xnum＝0时，表示I^T和I^Obj中的角点没有匹配成功；当xnum≥1时，表示I^T和I^Obj中的角点匹配成功，且匹配成功的数目是xnum；

步骤2.1.6，用求得的匹配成功的角点数目xnum与模板图像I^T中角点数目count^T的比值RateMat来表示当前目标图像I^Obj和模板图像I^T的相似度，即相似度RateMat用于表示当前目标和模板的相似程度，其计算公式如式(3)所示：

$RateMat=\frac{xnum}{{\mathrm{count}}^T}---\left(3\right)$

RateMat取值范围为0≤RateMat≤1；当相似度RateMat＝0时，表示目标与模板完全不同；当RateMat>0时，表示目标与模板达到了一定的相似程度，且RateMat越接近1表明目标与模板越相似。

步骤2.2，根据目标与模板的相似度RateMat进行模板更新判定及其更新，用以保证模板在视频序列随时间变化的过程中动态地与目标保持高度的一致性，流程图如图3所示，具体步骤为：

定义阈值T₂，当目标与模板的相似度RateMat>T₂时，认为目标与模板达到了高相似程度，需要更新模板，此时用当前目标的图像I^Obj、角点集CornerB和角点数目countB来更新模板{I^T,Corner^T,count^T}，然后进入步骤2.2；否则认为目标与模板未达到高相似程度，不需要更新模板，直接进入步骤2.2。具体如式(4)所示：

$\begin{array}{cc}if(RateMat>T_2)& \{I^T=I^{Obj};{\mathrm{Corner}}^T=CornerB;{\mathrm{count}}^T=countB\}\\ else& \left\{\begin{array}{ccc}{\mathrm{don}}^{\&prime;}t& update& template\end{array}\right\}\end{array}---\left(4\right)$

本实施方式中，阈值T₂的经验值为0.9。

步骤3，根据RateMat的值进行遮挡判定，以决定后面选用何种跟踪方法进行跟踪，流程图如图4所示。当发生遮挡时，采用角点匹配跟踪方法进行跟踪，当未发生遮挡时，采用光流匹配跟踪方法进行跟踪；根据跟踪结果进行目标定位，得到目标位置和大小

定义遮挡阈值T，当RateMat<T时，说明目标图像I^Obj与模板图像I^T的相似程度很低，认为发生了遮挡，后面需要采用角点匹配跟踪方法进行跟踪。当目标与模板的相似度RateMat≥T时，说明目标图像I^Obj与模板图像I^T的相似程度适中，认为目标已经离开遮挡物，不存在遮挡，后面需要采用光流匹配跟踪方法进行目标跟踪。最后根据跟踪结果进行目标定位，得到目标位置和大小。

(a)在未发生遮挡的情况下，用本文的光流匹配跟踪方法进行目标跟踪，可有效克服误匹配问题，流程图如图5所示，步骤如下。

步骤3.1，利用第t-1帧图像I^t-1的灰度图像Igray^t-1、当前帧图像I的灰度图像Igray、第t-1帧目标图像中的角点集CornerA和角点数目countA来计算金字塔Lucas-Kanade光流，得到在I中匹配到的角点集CornerB及其角点数目countB。

步骤3.2，对在当前帧图像I中匹配到的角点集CornerB进行角点位置滤波(包括两次滤波过程)，剔除掉部分匹配错误的角点，步骤包括：

步骤3.2.1，第一次滤波：对在I中匹配到的角点集CornerB的位置信息求其平均值(即角点平均位置)avp1及其标准差Dp1，用各角点位置与avp1的绝对差值表示各角点与平均值avp1的相异程度，当相异程度大于等于thr11×Dp1时，认为角点位置偏离均值太多，角点匹配错误，剔除该角点；否则认为角点匹配正确，保留该角点。经过本次剔除之后，剩余的角点集及角点数目分别为CornerB1和countB1。本次剔除方法如式(5)所示：

$\begin{array}{c}if\left(\right(abs(CornerB\&lsqb;i\&rsqb;.x-avp1.x)\&GreaterEqual;(thr11\&times;Dp1.x)\left|\right|\left(abs\right(CornerB\&lsqb;i\&rsqb;.y-avp1.y)\&GreaterEqual;(thr11\&times;Dp1.y))\\ \left\{\begin{array}{cccc}delete& CornerB\&lsqb;i\&rsqb;& from& CornerB\end{array}\right\}\end{array}---\left(5\right)$

其中，CornerB[i]表示角点集CornerB中的第i个角点，i＝1,2,...,countB；CornerB[i].x和CornerB[i].y分别为CornerB[i]的横、纵坐标；本实施方式中，阈值系数thr11的经验值为1.4。

步骤3.2.2，第二次滤波：经过第一次滤波后，对剩余的角点集CornerB1再进行一次相同的滤波过程，再次剔除掉部分匹配错误的角点，保留匹配正确的角点。经过本次剔除后，剩余的角点集及角点数目分别为CornerBF和countBF。本次剔除方法如式(6)所示：

$\begin{array}{c}if\left(\right(abs(CornerB1\&lsqb;i\&rsqb;.x-avp2.x)\&GreaterEqual;(thr22\&times;Dp2.x)\left|\right|\left(abs\right(CornerB1\&lsqb;i\&rsqb;.y-avp2.y)\&GreaterEqual;(thr22\&times;Dp2.y))\\ \left\{\begin{array}{cccc}delete& CornerB1\&lsqb;i\&rsqb;& from& CornerB1\end{array}\right\}\end{array}---\left(6\right)$

其中，CornerB1[i]表示角点集CornerB1中的第i个角点，i＝1,2,...,countB1；CornerB[i]1.x和CornerB[i]1.y分别为CornerB1[i]的横、纵坐标。本实施方式中，阈值系数thr22的经验值为1.9。

以上所得到角点集CornerBF中的countBF个角点即为当前帧图像I中匹配到的角点集CornerB经过角点位置滤波，剔除掉部分错误角点后所剩下的正确角点。

步骤3.3，对经过角点位置滤波后最终剩余的角点集CornerBF求其最小外接矩形区域Obj_cornerBF，并对角点所在位置进行二值化操作，即将角点位置处的像素置白，其余位置处的像素置黑，具体操作如式(7)所示，得到角点位置的二值图I^B，为后面正确确定目标区域做好准备。

$f(x,y)=\left\{\begin{array}{cc}255,& if\left(\right(x,y)\&Element;CornerBF)\\ 0,& else\end{array}\right.---\left(7\right)$

其中，f(x,y)指点(x,y)处的像素值。

步骤3.4，对角点位置的二值图I^B进行形态学膨胀运算，然后对膨胀后的二值图提取轮廓，得到其NumOutline个轮廓，由此确定目标候选轮廓区域Obj_rh，用于后面判定异常区域。

步骤3.4.1，当NumOutline＝1时，表示只有一个轮廓，则该轮廓的外接矩形区域作为目标候选轮廓区域Obj_rh，然后进入步骤3.5；当NumOutline>1时，表示存在多个轮廓，需要进行最优轮廓判定，以确定目标候选轮廓区域Obj_rh，方法如下。

最优轮廓判定及确定目标候选轮廓区域Obj_rh的方法为：

①当到目前为止只跟踪了很少的几帧，即当跟踪步数NumTrack≤n时，认为此时还没发生遮挡，将轮廓{Con_k,k＝1,…,NumOutline}中的最大轮廓作为最优轮廓，用其外接矩形区域作为目标候选轮廓区域Obj_rh，然后进入步骤3.5。

②当跟踪步数NumTrack≥n+1时，认为此时目标可能部分离开遮挡物(半遮挡)，或上一帧目标的一部分角点匹配到了其他物体上，则选择最符合运动趋势且轮廓面积符合一定条件的轮廓区域作为目标候选轮廓区域Obj_rh，步骤包括：

(1)对前[t-n,t-1]帧目标区域Target_t-n～Target_t-1求其面积平均值barea和目标运动趋势Mov_his，Mov_his计算公式如式(8)所示：

${\mathrm{Mov}}_{his}=\frac{1}{n-1}\underset{t=-(n-2)}{\overset{0}{\&Sigma;}}({\mathrm{Loc}}_{t-1}-{\mathrm{Loc}}_{t-2})---\left(8\right)$

其中，Loc_t-1和Loc_t-2分别指，相对于当前帧(第t帧)，目标在第t-1帧和第t-2帧图像中的位置。本实施方式中，阈值n的经验值为6。

(2)当轮廓{Con_k,k＝1,…,NumOutline}中，某轮廓Con_i最符合运动趋势且轮廓面积大于等于时，认为该轮廓区域和目标区域最相似，则轮廓Con_i是最优轮廓，其外接矩形区域作为目标候选轮廓区域Obj_rh，然后进入步骤3.5；否则，认为轮廓{Con_k,k＝1,…,NumOutline}中的最大轮廓为最优轮廓，其外接矩形区域作为目标候选轮廓区域Obj_rh，然后进入步骤3.5。具体操作如式(9)所示：

其中，表示轮廓{Con_k,k＝1,…,NumOutline}中第i个轮廓Con_i相对于第t-1帧目标的运动趋势，i＝1,...,NumOutline；和分别表示轮廓Con_i外接矩形的宽度和高度。

步骤3.5，根据所得目标候选轮廓区域Obj_rh判定目标区域是否异常，并在区域异常时对目标进行重新定位，以此排除异常区域，得到目标候选轮廓区域Obj_rh的更新值。

步骤3.5.1，根据所得目标候选轮廓区域Obj_rh判定目标区域是否异常，流程图如图6所示，步骤包括：

步骤3.5.1.1，定义前面步骤3.3所求得最小外接矩形区域Obj_cornerBF的面积S_cornerBF与前[t-n,t-1]帧目标区域面积的平均值barea的比值thr1为目标大小突变量，如式(10)所示：

$thr1=\frac{S_{cornerBF}}{barea+0.0001}---\left(10\right)$

其中，barea加上0.0001，是为了防止分母为零。

步骤3.5.1.2，将目标候选轮廓区域Obj_rh与第t-1帧目标区域Obj_t-1在水平和垂直方向的相对位移分别记为disx和disy(即目标运动趋势在水平和垂直方向上的分量)；将disx与Obj_t-1的2倍宽度之差记为disx1，disy与Obj_t-1的2倍高度之差记为disy1；定义差值disx1和disy1中的最大值thr2为目标位置突变量，如式(11)所示：

thr2＝max{disx1,disy1}(11)

步骤3.5.1.3，当目标大小突变量thr1>T₃时，认为目标大小发生了突变；当目标位置突变量thr2>T₄时，认为目标位置发生了突变；本实施方式中，阈值T₃和T₄的经验值分别为2.0和0。当目标位置或大小发生突变时，说明目标候选轮廓区域Obj_rh异常，需要执行步骤3.5.2，进行目标重定位，以排除异常区域；当目标位置和大小均未发生突变时，说明目标候选轮廓区域Obj_rh正常，不需要对其做任何改变，然后进入步骤3.6。

步骤3.5.2，对目标进行重新定位，流程图如图7所示，步骤包括：

步骤3.5.2.1，利用前[t-n,t-1]帧目标的平均尺寸Size_avg和目标运动趋势Mov_his进行运动估计，如式(12)所示，并用估计出的目标位置Loc_t和大小Size_t确定当前帧图像中的目标候选区域Obj，其对应的图像、角点集及其角点数目作为当前的目标图像I^Obj、角点集CornerB和角点数目countB，即countB和CornerB等的值被刷新。

$\left\{\begin{array}{c}{\mathrm{Loc}}_t={\mathrm{Loc}}_{t-1}+{\mathrm{Mov}}_{his}\\ {\mathrm{Size}}_t={\mathrm{Size}}_{avg}\end{array}\right.---\left(12\right)$

其中，Loc_t-1表示相对于当前帧(前t帧)，目标在第t-1帧图像中的位置。

步骤3.5.2.2，以第t-1帧目标灰度图像和当前帧目标灰度图像Igray^Obj作为输入，通过对第t-1帧目标图像中含countA个角点的角点集CornerA和当前帧目标图像I^Obj中含countB个角点的角点集CornerB进行角点特征匹配计算，得到当前目标图像I^Obj中角点集CornerB与第t-1帧目标图像中角点集CornerA匹配成功的角点数目xnum，计算方法同目标与模板相似度RateMat的计算中步骤2.1.2～步骤2.1.5。

步骤3.5.2.3，根据匹配成功的角点数目xnum确定目标候选轮廓区域Obj_rh的更新值，步骤包括：

(1)当匹配成功的角点数目xnum＝0时，表示当前目标图像I^Obj中角点集CornerB和第t-1帧目标图像中角点集CornerA没有匹配成功，此时利用前[t-n,t-1]帧目标的平均尺寸Size_avg和目标运动趋势Mov_his进行运动估计(计算公式见式(12))，并用估计出的目标大小Size_t和位置Loc_t所确定出的区域作为目标候选轮廓区域Obj_rh的更新值，然后转至步骤④执行；

(2)当xnum≥1时，表示I^Obj中的角点集CornerB和中的角点集CornerA匹配成功，且匹配成功的数目是xnum。为确定目标候选轮廓区域Obj_rh的更新值，对CornerB中匹配成功的含xnum个角点的角点集CornerC需要进行以下步骤的操作：

a.对CornerC进行角点位置滤波(方法见步骤2.2.2)，剔除部分错误的角点，滤波后的角点集和角点数目分别为CornerCF和countCF；

b.求角点集CornerCF的最小外接矩形，其对应区域Obj_cornerCF作为目标候选轮廓区域Obj_rh的更新值，然后接着步骤④执行；

④用重新定位出的目标区域更新目标候选轮廓区域Obj_rh以排除异常区域时，也要更新当前的目标图像I^Obj、角点集CornerB和角点数目countB为Obj_rh所对应的图像、角点集及其角点数目，即countB和CornerB等的值被刷新。

步骤3.6，经由步骤3.4～步骤3.5计算所得的目标候选轮廓区域Obj_rh即为当前帧中的目标区域Obj₁，目标中心位置为(x₁,y₁)，目标大小为W₁×H₁。而Obj₁即为定位的目标，其区域为Obj＝Obj₁，其中心位置为(x,y)＝(x₁,y₁)，其大小为W×H＝W₁×H₁。

(b)在发生遮挡的情况下，用角点匹配跟踪方法进行目标跟踪，可以克服光流法匹配前提不成立时造成的误匹配问题，流程图如图8所示。

步骤3.1，当前帧图像I中，第t-1帧目标区域Obj_t-1的2倍区域Obj_t-12作为当前目标候选区域Obj，其对应的图像提取的角点集Corner2及其角点数目count2作为当前目标的图像I^Obj、角点集CornerB和角点数目countB，即countB和CornerB等的值被刷新。

以模板灰度图像Igray^T和当前帧目标灰度图像Igray^Obj作为输入，通过对模板图像I^T中含count^T个角点的角点集Corner^T和当前帧目标图像I^Obj中含countB个角点的角点集CornerB进行角点特征匹配计算，得到当前目标图像I^Obj中角点集CornerB与模板图像I^T中角点集Corner^T匹配成功的角点数目xnum，计算方法同目标与模板相似度RateMat的计算中步骤2.1.2～步骤2.1.5。

步骤3.2，根据匹配成功的角点数目xnum确定目标区域Obj₂，步骤为：

当xnum＝0时，表示模板图像I^T中的角点集Corner^T和当前帧目标图像I^Obj中的角点集CornerB没有匹配成功，认为目标被完全遮挡，此时，利用前[t-n,t-1]帧目标的平均尺寸Size_avg和目标运动趋势Mov_his进行运动估计(计算公式见式(12))，并用估计出的目标大小Size_t和位置Loc_t所确定出的区域作为目标区域Obj₂，然后转至步骤3.3执行。

当xnum≥1时，表示I^T中的角点集Corner^T和I^Obj中的角点集CornerB匹配成功，且匹配成功的数目是xnum。此时确定目标区域Obj₂的方法同光流匹配跟踪方法中区域异常时进行目标重定位的步骤3.5.2.3中的步骤(2)，即对CornerB中匹配成功的含xnum个角点的角点集进行角点位置滤波，剔除部分错误的角点，求剩余角点的最小外接矩形，其对应区域作为目标区域Obj₂，然后接着步骤3.3执行。

步骤3.3，经由步骤3.2计算所得的目标区域Obj₂，中心位置为(x₂,y₂)，大小为W₂×H₂。而Obj₂即为定位的目标，其区域为Obj＝Obj₂，其中心位置为(x,y)＝(x₂,y₂)，其大小为W×H＝W₂×H₂。

步骤4，每轮跟踪完成后，需要更新数据并根据跟踪结果判断目标是否出界，进而判断是否退出跟踪。具体步骤为步骤4.1～步骤4.2。

步骤4.1，更新相对于当前帧(第t帧)的第t-2帧目标区域Obj_t-2、第t-1帧目标区域Obj_t-1、前[t-6,t-1]帧目标区域Target_t-6～Target_t-1等变量的值。如果目标Obj超出了视频帧边界，则认为目标消失，跟踪标签Istrack置0；否则跟踪标签Istrack的取值不变。

步骤4.2，如果跟踪标签Istrack＝0，则认为跟踪结束，退出跟踪；否则如果Istrack＝1，则认为跟踪未结束，需要根据当前跟踪结果(实时目标区域Obj_t＝Obj，其中心位置和大小分别为(x_t,y_t)＝(x,y)和W_t×H_t＝W×H)返回步骤2继续迭代执行(如果本轮跟踪采用的是角点匹配跟踪方法，则直接利用目标图像与模板图像中匹配成功的角点数目xnum来计算目标与模板的相似度RateMat，以避免冗余计算)，实现目标的稳定跟踪。

本发明基于光流的运动目标跟踪方法，在目标未发生遮挡时，采用经典的Lucas-Kanade光流法进行目标跟踪，不仅能够快速地实现目标定位，而且可以利用光流匹配得到的前后图像帧的角点信息作为进一步的遮挡判断和目标与模板相似度计算的输入，从而减少额外计算代价降低复杂度；针对光流的误匹配问题，首先对角点进行位置信息滤波和形态学处理，然后提取角点所在的轮廓，根据轮廓面积约束和目标运动趋势约束等条件提升光流匹配精度；对遮挡的判断，利用当前帧图像中的目标和模板的相似度RateMat的取值决定是否发生遮挡，当RateMat小于遮挡阈值T时，认为发生遮挡；发生部分遮挡时的跟踪策略，利用目标和模板进行角点特征匹配，克服了光流法的像素恒定和相隔时间Δt足够小的匹配前提不成立时造成的误匹配问题；发生全部遮挡时的跟踪策略，利用目标平均尺寸和运动趋势对其位置和大小进行估计；在模板更新方面，为了克服定期更新模板造成的模板和目标差异较大以及更新权重造成的模板模糊等问题，利用当前帧图像中目标和模板的相似度RateMat决定是否更新模板，当RateMat大于阈值T₂时，用当前帧图像中的目标更新模板；对于目标离开障碍物无法重新定位的问题，当RateMat大于等于遮挡阈值T时，认为目标已经离开遮挡物，下一帧图像的跟踪策略采用光流法；在目标定位方面，对在当前帧中匹配到的角点所在的位置进行二值化处理和形态学操作，利用连通域所在的轮廓定位目标。因此，本发明提供的方法在很大程度上提高了目标的跟踪精度。

本发明以上描述只是部分实施例，但是本发明并不局限于上述的具体实施方式。上述的具体实施方式是示意性的，并不是限制性的。凡是采用本发明的方法，在不脱离本发明宗旨和权利要求所保护的范围情况下，所有具体拓展均属本发明的保护范围之内。

Claims (10)

1.一种基于光流的运动目标跟踪方法，其特征在于，包括以下步骤：

步骤1，先采集视频图像，进行跟踪前的准备工作，包括人为选定要跟踪的目标，定义模板和初始化变量；

步骤2，启动跟踪，计算目标与模板的相似度RateMat，根据RateMat的值判定是否需要更新模板，若需要则进行更新，然后进入步骤3，若不需要则直接进入步骤3；

步骤3，根据RateMat的值进行遮挡判定，当发生遮挡时，采用角点匹配跟踪方法进行跟踪，当未发生遮挡时，采用光流匹配跟踪方法进行跟踪；根据跟踪结果进行目标定位，得到目标位置和大小；

步骤4，更新数据并根据目标位置和大小判断目标是否出界，如果出界则结束跟踪，否则返回步骤2。

2.根据权利要求1所述的基于光流的运动目标跟踪方法，其特征在于，步骤2所述目标与模板的相似度RateMat，通过计算模板图像和当前帧目标图像中匹配成功的角点数目xnum与模板图像中角点数目的比值求得，0≤RateMat≤1，RateMat为0时表示目标与模板完全不同，RateMat越接近1表明目标与模板越相似；xnum的值是以模板灰度图像和当前帧目标灰度图像作为输入，通过对模板图像和当前帧目标图像中的角点进行角点特征匹配计算得到。

3.根据权利要求1所述的基于光流的运动目标跟踪方法，其特征在于，步骤2所述判定是否需要更新模板并在需要时更新的具体方法为：定义阈值T₂，当RateMat>T₂时认为目标与模板达到了高相似程度，需要更新，则用当前目标的图像、角点集和角点数目来更新模板；否则认为目标与模板未达到高相似程度，不需要更新。

4.根据权利要求1所述的基于光流的运动目标跟踪方法，其特征在于，步骤3所述遮挡判定的具体方法为：定义遮挡阈值T，当RateMat<T时认为发生了遮挡，否则认为不存在遮挡。

5.根据权利要求1所述的基于光流的运动目标跟踪方法，其特征在于，步骤3所述光流匹配跟踪方法按照以下步骤实施：

步骤3.1，利用上一帧灰度图像及其对应的目标角点集和目标角点数目、当前帧灰度图像，计算Lucas-Kanade光流，得到在当前帧图像中匹配到的角点集及其角点数目；

步骤3.2，对在当前帧图像中匹配到的角点集进行角点位置滤波，剔除匹配错误的角点，保留匹配正确的角点；

步骤3.3，对剩余的角点集求其最小外接矩形区域Obj_cornerBF，并对角点所在位置进行二值化操作，得到角点位置的二值图；

步骤3.4，对所得到的角点位置的二值图进行形态学处理，然后提取轮廓，根据轮廓个数NumOutline确定目标候选轮廓区域Obj_rh；

步骤3.5，判定目标候选轮廓区域Obj_rh是否异常，并在区域异常时对目标进行重新定位，排除异常区域，得到目标候选轮廓区域Obj_rh的更新值；

步骤3.6，经由步骤3.4～步骤3.5计算所得的目标候选轮廓区域Obj_rh即为当前帧中的目标区域Obj₁，目标中心位置为(x₁,y₁)，目标大小为W₁×H₁，Obj₁即为定位的目标，其区域为Obj＝Obj₁，其中心位置为(x,y)＝(x₁,y₁)，其大小为W×H＝W₁×H₁。

6.根据权利要求5所述的基于光流的运动目标跟踪方法，其特征在于，步骤3.2所述角点位置滤波按照以下步骤实施：

步骤3.2.1，第一次滤波：对在当前帧图像中所匹配到角点集的位置信息求其平均位置及其标准差，用各角点位置与平均位置的绝对差值表示各角点与平均值的相异程度，当相异程度与标准差的比值大于等于thr11时，认为角点位置偏离均值太多，角点匹配错误，剔除该角点；否则认为角点匹配正确，保留该角点；其中，thr11为阈值系数；

步骤3.2.2，第二次滤波：经过第一次滤波后，对剩余的角点集再进行一次相同的滤波过程，再次剔除掉部分匹配错误的角点，保留匹配正确的角点；其中，thr22为阈值系数。

7.根据权利要求5所述的基于光流的运动目标跟踪方法，其特征在于，步骤3.4所述确定目标候选轮廓区域Obj_rh按照以下步骤实施：

当NumOutline＝1时，表示只有一个轮廓，则该轮廓的外接矩形区域作为目标候选轮廓区域Obj_rh；当NumOutline>1时，表示存在多个轮廓，需要进行最优轮廓判定，以确定目标候选轮廓区域Obj_rh；

最优轮廓判定及确定目标候选轮廓区域Obj_rh的方法为：

跟踪步数NumTrack≤n时，认为此时还没发生遮挡，将这些轮廓中的最大轮廓作为最优轮廓，用其外接矩形区域作为目标候选轮廓区域Obj_rh；

跟踪步数NumTrack≥n+1时，认为此时目标部分离开遮挡物，或上一帧目标的一部分角点匹配到了其他物体上，选择最符合运动趋势且轮廓面积符合一定条件的轮廓区域作为目标候选轮廓区域，步骤包括：

①对前[t-n,t-1]帧目标区域求其面积平均值barea和目标运动趋势其中，Loc_t-1和Loc_t-2分别指，相对于第t帧，目标在第t-1帧和第t-2帧图像中的位置；

②当这些轮廓中，某个轮廓的面积大于等于且其与前[t-n,t-1]帧目标运动趋势的绝对差值比其他轮廓与前[t-n,t-1]帧目标运动趋势的绝对差值都小时，认为该轮廓区域最符合运动趋势且轮廓面积符合一定条件，则该轮廓为最优轮廓，该轮廓的外接矩形区域作为目标候选轮廓区域Obj_rh；否则，认为这些轮廓中的最大轮廓为最优轮廓，其外接矩形区域作为目标候选轮廓区域Obj_rh。

8.根据权利要求5所述的基于光流的运动目标跟踪方法，其特征在于，所述步骤3.5具体按照以下步骤实施：

步骤3.5.1，根据所得目标候选轮廓区域Obj_rh判定目标区域是否异常，包括以下步骤：

步骤3.5.1.1，定义所述最小外接矩形区域Obj_cornerBF的面积与前[t-n,t-1]帧目标区域面积的平均值barea的比值thr1为目标大小突变量；

步骤3.5.1.2，将目标候选轮廓区域Obj_rh与上一帧目标区域在水平和垂直方向的相对位移分别记为disx和disy；将disx与上一帧目标区域的2倍宽度之差记为disx1，disy与上一帧目标区域的2倍高度之差记为disy1；定义差值disx1和disy1中的最大值thr2为目标位置突变量；

步骤3.5.1.3，定义阈值T₃和T₄，当目标大小突变量thr1>T₃时，认为目标大小发生了突变，当目标位置突变量thr2>T₄时，认为目标位置发生了突变。当目标位置或大小任何一项发生突变时，说明目标候选轮廓区域Obj_rh异常，执行步骤3.5.2，进行目标重定位，以排除异常；当目标位置和大小均未发生突变时，说明目标候选轮廓区域Obj_rh正常，不需要对其做任何改变；

步骤3.5.2，对目标进行重新定位，获得目标候选轮廓区域Obj_rh的更新值，包括以下步骤：

步骤3.5.2.1，利用前[t-n,t-1]帧目标的平均尺寸和目标运动趋势进行运动估计，并用估计出的目标位置和大小确定当前帧图像中的目标候选区域，其对应的图像、角点集及其角点数目作为当前目标的图像、角点集和角点数目；以上一帧目标灰度图像和当前帧目标灰度图像作为输入，通过对上一帧目标图像和当前帧目标图像中的角点进行角点特征匹配计算得到当前目标与上一帧目标匹配成功的角点数目xnum；

步骤3.5.2.2，根据xnum更新目标候选轮廓区域Obj_rh：当xnum＝0时，利用前[t-n,t-1]帧目标的平均尺寸和目标运动趋势进行运动估计，并用估计出的目标位置和大小更新目标候选轮廓区域Obj_rh；当xnum≥1时，对匹配成功的xnum个角点进行角点位置滤波，剔除错误的角点，求剩余角点的最小外接矩形，其对应区域作为目标候选轮廓区域Obj_rh的更新值。

9.根据权利要求1所述的基于光流的运动目标跟踪方法，其特征在于，步骤3所述角点匹配跟踪方法按照以下步骤实施：

步骤3.1，当前帧图像中上一帧目标区域的2倍区域作为当前目标候选区域，其对应的图像、角点集及其角点数目作为当前目标的图像、角点集和角点数目；以模板灰度图像和当前帧目标灰度图像作为输入，通过对模板图像和当前帧目标图像中的角点进行角点特征匹配计算得到当前目标与模板匹配成功的角点数目xnum；

步骤3.2，根据xnum确定目标区域Obj₂：当xnum＝0时，利用前[t-n,t-1]帧目标的平均尺寸和目标运动趋势进行运动估计，并用估计出的目标位置和大小确定目标区域Obj₂；当xnum≥1时，对匹配成功的角点进行角点位置滤波，剔除错误的角点，求剩余角点的最小外接矩形，其对应区域作为目标区域Obj₂；

步骤3.3，经由步骤3.2计算所得的目标区域Obj₂，中心位置为(x₂,y₂)，大小为W₂×H₂；Obj₂即为定位的目标，其区域为Obj＝Obj₂，其中心位置为(x,y)＝(x₂,y₂)，其大小为W×H＝W₂×H₂。

10.根据权利要求2、8或9之一所述的基于光流的运动目标跟踪方法，其特征在于，所述通过角点特征匹配的方法计算xnum具体按照以下步骤实施：

步骤①，对输入的灰度图像I^X和I^Y中的各角点，分别取其n×n邻域，用以描述出角点邻域像素特征；

步骤②，分别计算图像I^X中各角点的n×n邻域与图像I^Y中各角点的n×n邻域的SAD值，将计算结果存放在矩阵Da中，矩阵Da的行数和列数分别等于I^X中角点的数目和I^Y中角点的数目，Da_ij表示图像I^X中的第i个角点与图像I^Y中的第j个角点的匹配结果，其值为I^X中第i个角点的n×n邻域与I^Y中第j个角点的n×n邻域的SAD值；

步骤③，将矩阵Da中的各行元素进行升序排列，得到矩阵D；

步骤④，定义阈值T₁，计算矩阵D前2列元素的比值当时，认为这对角点匹配成功，匹配成功的角点数目累加1，否则匹配失败；比较完D的每一行后，得到图像I^X中的角点与图像I^Y中的角点匹配成功的对数即为图像I^X和I^Y中匹配成功的角点数目xnum。