CN105574894B - 一种运动物体特征点跟踪结果的筛选方法和系统 - Google Patents

一种运动物体特征点跟踪结果的筛选方法和系统 Download PDF

Info

Publication number
CN105574894B
CN105574894B CN201510962504.6A CN201510962504A CN105574894B CN 105574894 B CN105574894 B CN 105574894B CN 201510962504 A CN201510962504 A CN 201510962504A CN 105574894 B CN105574894 B CN 105574894B
Authority
CN
China
Prior art keywords
similarity
characteristic point
motion vector
tracking result
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510962504.6A
Other languages
English (en)
Other versions
CN105574894A (zh
Inventor
杨建军
傅重阳
郭双城
杨霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yuandu Internet Technology Co.,Ltd.
Original Assignee
Tianjin Far Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Far Technology Co Ltd filed Critical Tianjin Far Technology Co Ltd
Priority to CN201510962504.6A priority Critical patent/CN105574894B/zh
Publication of CN105574894A publication Critical patent/CN105574894A/zh
Priority to US15/385,756 priority patent/US9905025B2/en
Application granted granted Critical
Publication of CN105574894B publication Critical patent/CN105574894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种运动物体特征点跟踪结果的筛选方法和系统，获取运动物体的前后两帧图像中通过灰度预筛选之后剩余的n个特征点的位移向量，将所述位移向量单位化得到对应的单位向量根据所述单位向量得到任意一个特征点的位移向量与所有特征点的位移向量之间的相似度积分，若所述相似度积分大于相似度预设阈值，所述相似度积分对应的特征点跟踪结果有效，反之所述特征点跟踪结果无效；本方案通过计算运动物体任意一个特征点的位移向量与所有特征点的位移向量之间的相似度，对所述特征点的跟踪结果进行筛选；在满足跟踪精度要求的同时提高了运算速度。

Description

一种运动物体特征点跟踪结果的筛选方法和系统
技术领域
本申请涉及图像跟踪技术领域，尤其涉及一种运动物体特征点跟踪结果的筛选方法和系统。
背景技术
目前，在图像跟踪技术领域普遍采用光流算法对运动物体进行跟踪拍摄，光流算法中公认效果比较好的是金字塔LK(Lucas Kanade)算法(LKP)，LKP(金字塔卢卡斯-金出)算法分为两个关键步骤，首先提取goodfeature特征点作为跟踪对象，然后根据选取的特征点通过迭代过程得到该特征点的目标位置。虽然LKP算法可以比较精确的得到目标位置，但是仍然存在误差，需要将跟踪过程中得到的发生严重偏差的目标位置筛选去除，以免对后续的迭代跟踪过程造成影响，现有的方法采用Ransac法，正反跟踪误差法或者图像块的归一化相关系数对特征点的跟踪结果，即目标位置进行筛选，但这些算法存在计算量大的问题。
发明内容
本申请的目的在于提出一种运动物体特征点跟踪结果的筛选方法和系统，能够在图像跟踪的过程中对特征点的跟踪结果进行筛选，满足跟踪精度要求的同时提高了运算速度。
为达此目的，本申请采用以下技术方案：
一方面，本申请提出一种运动物体特征点跟踪结果的筛选方法，包括：
获取运动物体的前后两帧图像；
获取前一帧图像中运动物体的特征点和所述特征点的原始坐标，根据所述原始坐标得到后一帧图像中所述特征点的跟踪结果的跟踪坐标；
根据灰度筛选法对所述跟踪结果进行预筛选得到筛选之后剩余的n个跟踪结果的跟踪坐标；
根据所述n个跟踪坐标和所述跟踪坐标对应的n个原始坐标得到n个所述特征点的位移向量
将所述位移向量单位化得到对应的单位向量根据所述单位向量得到所述n个特征点中任意一个特征点的位移向量与所述n个特征点的位移向量之间的相似度积分；
若所述相似度积分大于等于相似度预设阈值，所述相似度积分对应的特征点跟踪结果有效，反之所述特征点跟踪结果无效。
其中，所述相似度积分为vi及vj表示n个特征点中任意一个特征点单位化后的位移向量；dij表示位移一致性系数，其中，当小于预设距离阈值时，位移一致性系数dij＝1，反之dij＝0；
其中，所述预设距离阈值的取值范围为0～5；
其中，所述相似度预设阈值的取值范围为0～max(sum)，其中，max(sum)为所有特征点的相似度积分中的最大值。
其中，所述获取前一帧图像中运动物体的特征点和所述特征点的原始坐标，根据所述原始坐标得到后一帧图像中所述特征点的跟踪结果的跟踪坐标，具体为：
将前一帧图像的左上角设定为坐标原点，根据LKT算子获取运动物体在前一帧图像中的特征点和所述特征点的原始坐标；
将后一帧图像的左上角设定为坐标原点，根据所述特征点的坐标和所述LKP算法得到后一帧图像中所述特征点的跟踪结果的跟踪坐标。
其中，若所述相似度积分大于等于相似度预设阈值，所述相似度积分对应的特征点跟踪结果有效之前，还包括：判断所述相似度积分是否大于等于所述相似度预设阈值。
另一方面，本申请提出一种运动物体特征点跟踪结果的筛选系统，包括：
图像获取模块，用于获取运动物体的前后两帧图像；
坐标获取模块，用于获取前一帧图像中运动物体的特征点和所述特征点的原始坐标，根据所述原始坐标得到后一帧图像中所述特征点的跟踪结果的跟踪坐标；
预筛选模块，用于根据灰度筛选法对所述跟踪结果进行预筛选得到筛选之后剩余的n个跟踪结果的跟踪坐标；
位移向量获取模块，用于根据所述n个跟踪坐标和所述跟踪坐标对应的n个原始坐标得到n个所述特征点的位移向量
相似度积分获取模块，用于将所述位移向量单位化得到对应的单位向量根据所述单位向量得到所述n个特征点中任意一个特征点的位移向量与所述n个特征点的位移向量之间的相似度积分；
跟踪结果筛选模块，用于若所述相似度积分大于等于相似度预设阈值，所述相似度积分对应的特征点跟踪结果有效，反之所述特征点跟踪结果无效。
其中，还包括：
距离阈值设置模块，用于设置所述预设距离阈值，所述预设距离阈值的取值范围为0～5；
相似度阈值设置模块，用于设置所述相似度预设阈值，所述相似度预设阈值的取值范围为0～max(sum)。
其中，所述相似度积分获取模块包括：
单位化计算模块，用于将所述位移向量单位化得到对应的单位向量
系数计算模块，用于计算所述n个特征点中任意一个特征点的位移向量与所述n个特征点的位移向量之间的位移一致性系数，当小于预设距离阈值时，位移一致性系数dij＝1，反之dij＝0；
相似度计算模块，用于根据所述单位向量和位移一致性系数dij得到所述n个特征点中任意一个特征点的位移向量与所述n个特征点的位移向量之间的相似度积分vi及vj表示n个特征点中任意一个特征点单位化后的位移向量；dij表示位移一致性系数。
其中，还包括：判断模块，用于判断所述相似度积分是否大于等于所述相似度预设阈值。
本申请提供的技术方案带来的有益效果为：
本申请运动物体特征点跟踪结果的筛选方法和系统，获取运动物体的前后两帧图像，获取前一帧图像中运动物体的n个特征点和所述n个特征点的原始坐标，1≤i≤n，根据所述原始坐标得到后一帧图像中n个特征点跟踪结果的跟踪坐标之后，得到所述n个特征点的位移向量将所述位移向量单位化得到对应的单位向量根据所述单位向量得到任意一个特征点的位移向量与所有特征点的位移向量之间的相似度积分，若所述相似度积分大于相似度预设阈值，所述相似度积分对应的特征点跟踪结果有效，反之所述特征点跟踪结果无效；本方案通过计算运动物体任意一个特征点的位移向量与所有特征点的位移向量之间的相似度，对所述特征点的跟踪结果进行筛选；在满足跟踪精度要求的同时减少运算量，提高了运算速度。
附图说明
图1是本申请特征点跟踪结果的筛选方法第一个实施例的方法流程图。
图2是本申请特征点跟踪结果的筛选方法第二个实施例的方法流程图。
图3是本申请特征点跟踪结果的筛选系统第一个实施例的结构方框图。
图4是本申请特征点跟踪结果的筛选系统第二个实施例的结构方框图。
图5是本申请特征点跟踪结果的筛选系统在ARM平台上的运行结果示意图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本申请的技术方案。
参见图1，图1是本申请特征点跟踪结果的筛选方法第一个实施例的方法流程图。
在第一实施例中，该特征点跟踪结果的筛选方法包括：
S101，获取运动物体的前后两帧图像；
S102，获取前一帧图像中运动物体的特征点和所述特征点的原始坐标，根据所述原始坐标得到后一帧图像中所述特征点的跟踪结果的跟踪坐标；
在图像跟踪系统中，通过摄像头拍摄到运动物体的图像，通过图像识别技术对运动物体进行跟踪和拍摄，让该运动物体一直保持在摄像头的视野范围内，具体应用场景有照相侦查卫星，跟踪拍摄无人机等。
在图像跟踪拍摄的过程中以一定的时间周期，获取运动物体的前后两帧图像，即跟踪目标的前后两帧图像，通过LKT(卢卡斯-金出-托马斯算子)在前一帧图像中选定跟踪目标的若干个特征点，并确定这些特征点的原始坐标[xi,yi]，1≤i≤n，其中一种实施例，可以以该前一帧图像的左上角(并不局限于此)作为坐标原点来确定所选定的各特征点的原始坐标。选定后一帧图像与前一帧图像同样的位置作为坐标原点，例如同样选择该图像的左上角为坐标原点，根据前一帧图像中选取的若干个特征点的原始坐标和LKP算法中的迭代过程得到该特征点在后一帧图像中的坐标，即为特征点跟踪结果的跟踪坐标[ai,bi]，即目标位置。
S103，根据灰度筛选法对所述跟踪结果进行预筛选得到筛选之后剩余的n个跟踪结果的跟踪坐标；
该预筛选的过程具体为：分别在运动物体前一帧图像中所选定的各特征点周围提取采样窗口，获取采样窗口中像素点的灰度值，将所述灰度值构成的矩阵展开成一维向量P，计算得到该一维向量的平均值用向量P减去其平均值得到每个特征点的灰度差向量
分别在运动物体后一帧图像的各跟踪结果(各特征点)周围提取同样大小的采样窗口，获取该采样窗口中像素点的灰度值，将所述灰度值构成的矩阵展开成一维向量Q，计算得到该一维向量的平均值用向量Q减去其平均值得到跟踪结果的灰度差向量
计算上述特征点的灰度差向量与跟踪结果的灰度差向量之间的归一化相关系数若所述归一化相关系数大于等于预设阈值，判定该跟踪结果有效；若所述归一化相关系数小于预设阈值，判定该跟踪结果无效，并剔除。
该归一化相关系数的范围为：0～1，根据筛选精度的需要确定归一化预设阈值的取值，精度要求越高该取值越高，剔除的特征点越多。
S104，根据所述n个跟踪坐标和所述跟踪坐标对应的n个原始坐标得到n个所述特征点的位移，所述位移可用向量表示，1≤i≤n；
假设[ai,bi]表示特征点在后一帧图像中的跟踪坐标对应的向量，[xi,yi]表示特征点在前一帧图像中的原始坐标对应的向量，则该特征点的位移向量可以用所述特征点的跟踪坐标对应的向量[ai,bi]减去所述n个特征点的原始坐标对应的向量[xi,yi]。具体的，所述n个特征点的位移向量为
S105，将所述位移向量单位化得到对应的单位向量根据所述单位向量得到所述n个特征点中任意一个特征点的位移向量与所述n个特征点的位移向量之间的相似度积分；
将所述位移向量单位化得到对应的单位向量根据所述单位向量得到筛选之后剩余的n个特征点中任意一个特征点的位移向量与这n个特征点的位移向量之间的相似度积分vi及vj表示n个特征点中任意一个特征点单位化后的位移向量；dij表示位移一致性系数，取该特征点的位移向量的模与所有特征点的位移向量的模的差值，当该差值的绝对值小于预设距离阈值时，位移一致性系数dij＝1，反之dij＝0。
S106，若所述相似度积分大于等于相似度预设阈值，所述相似度积分对应的特征点跟踪结果有效，反之所述特征点跟踪结果无效。
理论上，如果上述n个特征点的跟踪结果都是正确，所有特征点的位移向量都相等，即方向相同，幅值相等，由于运用LKP算法进行特征点跟踪计算的过程中存在误差，实际的跟踪结果可能与理想的结果不一致，若某个特征点的位移向量的方向与大部分的位移向量的方向偏差很大，或者该位移向量的幅值明显与大部分的位移向量的幅值相差太远，这个特征点的跟踪结果很有可能是有问题的，需要将其剔除，以免影响到后续的迭代跟踪过程。
上述相似度积分代表着特征点的位移向量与所有的特征点的位移向量之间的相似度，求内积的部分体现该特征点的位移向量与所有的特征点的位移向量在方向上的相似度，位移一致性系数体现该特征点的位移向量与所有的特征点的位移向量在幅值上的相似度。
综上，本申请实施例特征点跟踪结果的筛选方法，获取运动物体的前后两帧图像中通过灰度预筛选之后剩余的n个特征点的位移向量，将所述位移向量单位化得到对应的单位向量根据所述单位向量得到任意一个特征点的位移向量与所有特征点的位移向量之间的相似度积分，若所述相似度积分大于相似度预设阈值，所述相似度积分对应的特征点跟踪结果有效，反之所述特征点跟踪结果无效；本方案通过计算运动物体任意一个特征点的位移向量与所有特征点的位移向量之间的相似度，对所述特征点的跟踪结果进行筛选；在满足跟踪精度要求的同时减小运算量，提高了运算速度。
参见图2，图2是本申请特征点跟踪结果的筛选方法第二个实施例的方法流程图。
在第二实施例中，该特征点跟踪结果的筛选方法包括，在该实施例中未详尽描述的部分请参考实施例一：
S201，获取运动物体的前后两帧图像；
S202，将前一帧图像的左上角设定为坐标原点，根据LKT算子获取运动物体在前一帧图像中的特征点和特征点的原始坐标；
S203，将后一帧图像的左上角设定为坐标原点，根据所述特征点的原始坐标和LKP算法得到后一帧图像中所述特征点的跟踪结果的跟踪坐标；
S204，根据灰度筛选法对所述跟踪结果进行预筛选得到筛选之后剩余的n个跟踪结果的跟踪坐标；
S205，根据所述n个跟踪坐标对应的向量减去所述跟踪坐标对应的n个原始坐标对应的向量得到n个所述特征点的位移向量
S206，计算所述n个特征点中任意一个特征点的位移向量与所述n个特征点的位移向量之间的位移一致性系数；
将这n个特征点中任意一个特征点的位移向量的模分别与这n个特征点位移向量的模作差，当该差值的绝对值小于预设距离阈值时，位移一致性系数dij＝1，反之dij＝0。该预设距离阈值的取值范围为0～5，优选的，预设距离阈值为1，该位移一致性系数与图像选取的时间间隔和跟踪精度有关，该时间间隔越短跟踪精度越高，该预设距离阈值越小。
S207，将所述位移向量单位化得到对应的单位向量根据所述单位向量和位移一致性系数得到所述n个特征点中任意一个特征点的位移向量与所述n个特征点的位移向量之间的相似度积分
S208，判断所述相似度积分是否大于等于所述相似度预设阈值；若是，进入步骤S209；若否，进入步骤S210；
S209，所述相似度积分对应的特征点跟踪结果有效；
S210，所述相似度积分对应的特征点跟踪结果无效。
上述相似度预设阈值的范围为0～max(sum)，优选的，该相似度预设阈值为0.9*max(sum)，其中，max(sum)为所有特征点的相似度积分中的最大值。
综上，本申请实施例特征点跟踪结果的筛选方法，对通过灰度预筛选之后剩余的n个特征点的位移向量从方向和幅值两方面得到任意一个特征点的位移向量与所有特征点的位移向量之间的相似度，得到相似度积分，若所述相似度积分大于相似度预设阈值，所述相似度积分对应的特征点跟踪结果有效，反之所述特征点跟踪结果无效；本方案通过计算运动物体任意一个特征点的位移向量与所有特征点的位移向量之间的相似度，对所述特征点的跟踪结果进行筛选；在满足跟踪精度要求的同时提高了运算速度。
以下为本申请实施例提供的运动物体特征点跟踪结果的筛选系统的实施例。系统的实施例与上述的运动物体特征点跟踪结果的筛选方法的实施例属于同一构思，系统的实施例中未详尽描述的细节内容，可以参考上述特征点跟踪结果筛选方法的实施例。
参见图3，图3是本申请特征点跟踪结果的筛选系统第一个实施例的结构方框图。
在第三实施例中，该特征点跟踪结果的筛选系统包括：
图像获取模块01，用于获取运动物体的前后两帧图像；
坐标获取模块02，用于获取前一帧图像中运动物体的特征点和所述特征点的原始坐标，根据所述原始坐标得到后一帧图像中所述特征点的跟踪结果的跟踪坐标；
预筛选模块03，用于根据灰度筛选法对所述跟踪结果进行预筛选得到筛选之后剩余的n个跟踪结果的跟踪坐标；
位移向量获取模块04，用于根据所述n个跟踪坐标和所述跟踪坐标对应的n个原始坐标得到n个所述特征点的位移向量
相似度积分获取模块05，用于将所述位移向量单位化得到对应的单位向量根据所述单位向量得到所述n个特征点中任意一个特征点的位移向量与所述n个特征点的位移向量之间的相似度积分其中，当小于预设距离阈值时，位移一致性系数dij＝1，反之dij＝0；
其中，相似度积分获取模块05包括：
单位化计算模块051，用于将所述位移向量单位化得到对应的单位向量
系数计算模块052，用于计算所述n个特征点中任意一个特征点的位移向量与所述n个特征点的位移向量之间的位移一致性系数，当小于预设距离阈值时，位移一致性系数dij＝1，反之dij＝0；
相似度计算模块053，用于根据所述单位向量和位移一致性系数dij得到所述n个特征点中任意一个特征点的位移向量与所述n个特征点的位移向量之间的相似度积分
跟踪结果筛选模块06，用于若所述相似度积分大于等于相似度预设阈值，所述相似度积分对应的特征点跟踪结果有效，反之所述特征点跟踪结果无效。
综上，本申请实施例特征点跟踪结果的筛选系统，获取运动物体的前后两帧图像中通过灰度筛选之后剩余的n个特征点的位移向量，将所述位移向量单位化得到对应的单位向量根据所述单位向量得到任意一个特征点的位移向量与所有特征点的位移向量之间的相似度积分，若所述相似度积分大于相似度预设阈值，所述相似度积分对应的特征点跟踪结果有效，反之所述特征点跟踪结果无效；本方案通过计算运动物体任意一个特征点的位移向量与所有特征点的位移向量之间的相似度，对所述特征点的跟踪结果进行筛选；在满足跟踪精度要求的同时减小运算量，提高了运算速度。
参见图4和图5，图4是本申请特征点跟踪结果的筛选系统第二个实施例的结构方框图。图5是本申请特征点跟踪结果的筛选系统在ARM平台上的运行结果示意图。
在第三实施例的基础上，该特征点跟踪结果的筛选系统还包括：
距离阈值设置模块07，用于设置所述预设距离阈值，所述预设距离阈值的范围为0～5，优选的，该预设距离阈值为1；
相似度阈值设置模块08，用于设置所述相似度预设阈值，所述相似度预设阈值的范围为0～max(sum)，优选的，该相似度预设距离阈值为0.9*max(sum)。
判断模块09，用于判断所述相似度积分是否大于等于所述相似度预设阈值，若所述相似度积分大于等于相似度预设阈值，所述相似度积分对应的特征点跟踪结果有效，反之所述特征点跟踪结果无效。
如图5，当上述预设距离阈值为1，相似度预设阈值为0.9*max(sum)时，本申请提供的系统的运行结果为：实线表示跟踪结果有效的特征点的位移向量，虚线表示跟踪结果无效的特征点的位移向量，‘o’表示位移向量的起点，‘+’代表位移向量的终点，通过该实验结果可以初步判定运用该特征点跟踪结果的筛选方法可以将跟踪过程中发生了明显错误的特征点和与该特征点对应的跟踪结果筛选出来，防止在利用该跟踪结果进行后续迭代跟踪的过程中造成跟踪错误。
上述实施例三和实施例四任意一项所述的特征点跟踪结果的筛选系统可以运用在智能终端，包括跟踪拍摄无人机，照相侦查卫星，自动测距机器，自动定位机器，自动避障机器等。
综上，本申请实施例特征点跟踪结果的筛选系统，对通过灰度筛选之后剩余的n个特征点的位移向量从方向和幅值两方面得到任意一个特征点的位移向量与所有特征点的位移向量之间的相似度，得到相似度积分，若所述相似度积分大于相似度预设阈值，所述相似度积分对应的特征点跟踪结果有效，反之所述特征点跟踪结果无效；本方案通过计算运动物体任意一个特征点的位移向量与所有特征点的位移向量之间的相似度，对所述特征点的跟踪结果进行筛选；在满足跟踪精度要求的同时减小运算量，提高了运算速度。
以上结合具体实施例描述了本申请的技术原理。这些描述只是为了解释本申请的原理，而不能以任何方式解释为对本申请保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本申请的其它具体实施方式，这些方式都将落入本申请的保护范围之内。

Claims (10)

1.一种运动物体特征点跟踪结果的筛选方法，其特征在于，包括：
获取运动物体的前后两帧图像；
获取前一帧图像中运动物体的特征点和所述特征点的原始坐标，根据所述原始坐标得到后一帧图像中所述特征点的跟踪结果的跟踪坐标；
根据灰度筛选法对所述跟踪结果进行预筛选得到筛选之后剩余的n个跟踪结果的跟踪坐标；
根据所述n个跟踪坐标和所述跟踪坐标对应的n个原始坐标得到n个所述特征点的位移向量1≤i≤n；
将所述位移向量单位化得到对应的单位向量根据所述单位向量得到所述n个特征点中任意一个特征点的位移向量与所述n个特征点的位移向量之间的相似度积分；
若所述相似度积分大于等于相似度预设阈值，所述相似度积分对应的特征点跟踪结果有效，反之所述特征点跟踪结果无效。
2.根据权利要求1所述的方法，其特征在于，所述相似度积分为vi及vj表示n个特征点中任意一个特征点单位化后的位移向量；dij表示位移一致性系数，其中，当小于预设距离阈值时，位移一致性系数dij＝1，反之dij＝0。
3.根据权利要求2所述的方法，其特征在于，所述预设距离阈值的取值范围为0～5。
4.根据权利要求1所述的方法，其特征在于，所述相似度预设阈值的取值范围为0～max(sum)，其中，max(sum)为所有特征点的相似度积分中的最大值。
5.根据权利要求1所述的方法，其特征在于，所述获取前一帧图像中运动物体的特征点和所述特征点的原始坐标，根据所述原始坐标得到后一帧图像中所述特征点的跟踪结果的跟踪坐标，具体为：
将前一帧图像的左上角设定为坐标原点，根据卢卡斯-金出-托马斯算子LKT获取运动物体在前一帧图像中的特征点和所述特征点的原始坐标；
将后一帧图像的左上角设定为坐标原点，根据所述特征点的原始坐标和金字塔卢卡斯-金出算法LKP得到后一帧图像中所述特征点的跟踪结果的跟踪坐标。
6.根据权利要求1所述的方法，其特征在于，若所述相似度积分大于相似度预设阈值，所述相似度积分对应的特征点跟踪结果有效之前，还包括：判断所述相似度积分是否大于等于所述相似度预设阈值。
7.一种运动物体特征点跟踪结果的筛选系统，其特征在于，包括：
图像获取模块，用于获取运动物体的前后两帧图像；
坐标获取模块，用于获取前一帧图像中运动物体的特征点和所述特征点的原始坐标，根据所述原始坐标得到后一帧图像中所述特征点的跟踪结果的跟踪坐标；
预筛选模块，用于根据灰度筛选法对所述跟踪结果进行预筛选得到筛选之后剩余的n个跟踪结果的跟踪坐标；
位移向量获取模块，用于根据所述n个跟踪坐标和所述跟踪坐标对应的n个原始坐标得到n个所述特征点的位移向量
相似度积分获取模块，用于将所述位移向量单位化得到对应的单位向量根据所述单位向量得到所述n个特征点中任意一个特征点的位移向量与所述n个特征点的位移向量之间的相似度积分；
跟踪结果筛选模块，用于若所述相似度积分大于等于相似度预设阈值，所述相似度积分对应的特征点跟踪结果有效，反之所述特征点跟踪结果无效。
8.根据权利要求7所述的系统，其特征在于，还包括：
距离阈值设置模块，用于设置预设距离阈值，所述预设距离阈值的取值范围为0～5；
相似度阈值设置模块，用于设置相似度预设阈值，所述相似度预设阈值的取值范围为0～max(sum)，其中，max(sum)为所有特征点的相似度积分中的最大值。
9.根据权利要求8所述的系统，其特征在于，所述相似度积分获取模块包括：
单位化计算模块，用于将所述位移向量单位化得到对应的单位向量
系数计算模块，用于计算所述n个特征点中任意一个特征点的位移向量与所述n个特征点的位移向量之间的位移一致性系数，当小于预设距离阈值时，位移一致性系数dij＝1，反之dij＝0；
相似度计算模块，用于根据所述单位向量和位移一致性系数dij得到所述n个特征点中任意一个特征点的位移向量与所述n个特征点的位移向量之间的相似度积分vi及vj表示n个特征点中任意一个特征点单位化后的位移向量；dij表示位移一致性系数。
10.根据权利要求7所述的系统，其特征在于，还包括：判断模块，用于判断所述相似度积分是否大于等于所述相似度预设阈值。
CN201510962504.6A 2015-12-21 2015-12-21 一种运动物体特征点跟踪结果的筛选方法和系统 Active CN105574894B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510962504.6A CN105574894B (zh) 2015-12-21 2015-12-21 一种运动物体特征点跟踪结果的筛选方法和系统
US15/385,756 US9905025B2 (en) 2015-12-21 2016-12-20 Moving object tracking apparatus, method and unmanned aerial vehicle using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510962504.6A CN105574894B (zh) 2015-12-21 2015-12-21 一种运动物体特征点跟踪结果的筛选方法和系统

Publications (2)

Publication Number Publication Date
CN105574894A CN105574894A (zh) 2016-05-11
CN105574894B true CN105574894B (zh) 2018-10-16

Family

ID=55884981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510962504.6A Active CN105574894B (zh) 2015-12-21 2015-12-21 一种运动物体特征点跟踪结果的筛选方法和系统

Country Status (2)

Country Link
US (1) US9905025B2 (zh)
CN (1) CN105574894B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105023278B (zh) * 2015-07-01 2019-03-05 中国矿业大学 一种基于光流法的运动目标跟踪方法及系统
US20170041557A1 (en) * 2015-08-04 2017-02-09 DataFoxTrot, LLC Generation of data-enriched video feeds
CN105946718B (zh) * 2016-06-08 2019-04-05 深圳芯智汇科技有限公司 车载终端及其切换显示倒车影像的方法
CN106803880A (zh) * 2017-02-14 2017-06-06 扬州奚仲科技有限公司 轨道摄像机器人的自主跟拍行进控制方法
WO2019126930A1 (zh) * 2017-12-25 2019-07-04 深圳市道通智能航空技术有限公司 测距方法、装置以及无人机
CN108399627B (zh) * 2018-03-23 2020-09-29 云南大学 视频帧间目标运动估计方法、装置和实现装置
CN110324659B (zh) * 2018-03-29 2020-08-28 北京字节跳动网络技术有限公司 一种视频特征提取方法及装置
CN111047626B (zh) * 2019-12-26 2024-03-22 深圳云天励飞技术有限公司 目标跟踪方法、装置、电子设备及存储介质
CN111401285B (zh) * 2020-03-23 2024-02-23 北京迈格威科技有限公司 目标跟踪方法、装置及电子设备
US11448748B2 (en) * 2020-09-10 2022-09-20 Argo AI, LLC Systems and methods for simultaneous range-rate unwrapping and outlier removal for radar
US11662454B2 (en) 2020-11-02 2023-05-30 Ford Global Technologies, Llc Systems and methods for range-rate dealiasing using position consistency

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222341A (zh) * 2010-04-16 2011-10-19 东软集团股份有限公司 运动特征点检测方法及装置、运动目标检测方法及装置
CN103034859A (zh) * 2012-12-13 2013-04-10 华为技术有限公司 一种获取姿势模型的方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222341A (zh) * 2010-04-16 2011-10-19 东软集团股份有限公司 运动特征点检测方法及装置、运动目标检测方法及装置
CN103034859A (zh) * 2012-12-13 2013-04-10 华为技术有限公司 一种获取姿势模型的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GPU-Accelerated KLT Tracking with Monte-Carlo-Based Feature Reselection;Julius Fabian Ohmer et al;《Computing: Techniques and Applications, 2008. DICTA "08.Digital Image》;20081203;第234-241页 *
Identification of moving obstacles with Pyramidal Lucas Kanade optical flow and k means clustering;W.S.P. Fernando et al;《Information and Automation for Sustainability, 2007. ICIAFS 2007. Third International Conference on IEEE》;20071206;第111-117页 *

Also Published As

Publication number Publication date
CN105574894A (zh) 2016-05-11
US20170178357A1 (en) 2017-06-22
US9905025B2 (en) 2018-02-27

Similar Documents

Publication Publication Date Title
CN105574894B (zh) 一种运动物体特征点跟踪结果的筛选方法和系统
EP2858008B1 (en) Target detecting method and system
CN110692083B (zh) 用于动态视觉传感器的块匹配光流和立体视觉
TWI393074B (zh) 移動物體偵測裝置與方法
US7747075B2 (en) Salient motion detection system, method and program product therefor
CN106875425A (zh) 一种基于深度学习的多目标追踪系统及实现方法
US20080013791A1 (en) Object velocity measuring apparatus and object velocity measuring method
CN103325112A (zh) 动态场景中运动目标快速检测方法
CN105046719B (zh) 一种视频监控方法及系统
WO2012001709A2 (en) Automatic detection of moving object by using stereo vision technique
CN103093198A (zh) 一种人群密度监测方法及装置
Shukla et al. Speed determination of moving vehicles using Lucas-Kanade algorithm
CN104331907B (zh) 一种基于orb特征检测测量载体速度的方法
CN103500454A (zh) 一种抖动视频运动目标提取方法
CN111402293A (zh) 面向智能交通的一种车辆跟踪方法及装置
Rahim et al. Vehicle velocity estimation for traffic surveillance system
CN113256683B (zh) 目标跟踪方法及相关设备
Vibha et al. Dynamic object detection, tracking and counting in video streams for multimedia mining
Pollard et al. GM-PHD filters for multi-object tracking in uncalibrated aerial videos
CN105869108B (zh) 一种用于动平台移动目标侦测中的图像配准方法
CN116228712A (zh) 一种多尺度边坡灾害监测方法、系统及装置
CN103093481A (zh) 一种基于分水岭分割的静态背景下运动目标检测方法
Li et al. Fast visual tracking using motion saliency in video
CN107067411B (zh) 一种结合密集特征的Mean-shift跟踪方法
Yang et al. Method for building recognition from FLIR images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180214

Address after: No. 309-9, service center, Chen Tong, Hexi District, Dongting Road, Hexi District, Tianjin, Tianjin

Applicant after: Tianjin far Zhu Technology Co. Ltd.

Address before: 100094 Beijing, Haidian District, northeast Wang West Road, No. 8 Zhongguancun Software Park, building 9, 203

Applicant before: Zero degree intelligence control (Beijing) intelligent Science and Technology Ltd.

CB02 Change of applicant information

Address after: 300220 Hexi District, Tianjin Dongting Road 20, Chen Tang science and Technology Business District Service Center 309-9.

Applicant after: Tianjin far Technology Co., Ltd.

Address before: 300220 Hexi District, Tianjin Dongting Road 20, Chen Tang science and Technology Business District Service Center 309-9.

Applicant before: Tianjin far Zhu Technology Co. Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 0701600 A102, No. 67, tourism East Road, Anxin County, Baoding City, Hebei Province

Patentee after: Hebei xiong'an Yuandu Technology Co., Ltd

Address before: 300220 Hexi District, Tianjin Dongting Road 20, Chen Tang science and Technology Business District Service Center 309-9.

Patentee before: Tianjin Yuandu Technology Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220106

Address after: 102100 1916, building 27, yard 8, Fenggu 4th Road, Yanqing garden, Zhongguancun, Yanqing District, Beijing

Patentee after: Beijing Yuandu Internet Technology Co.,Ltd.

Address before: 0701600 A102, No. 67, tourism East Road, Anxin County, Baoding City, Hebei Province

Patentee before: Hebei xiong'an Yuandu Technology Co., Ltd