CN105913459B - 基于高分辨率连拍图像的运动目标检测方法 - Google Patents
基于高分辨率连拍图像的运动目标检测方法 Download PDFInfo
- Publication number
- CN105913459B CN105913459B CN201610305544.8A CN201610305544A CN105913459B CN 105913459 B CN105913459 B CN 105913459B CN 201610305544 A CN201610305544 A CN 201610305544A CN 105913459 B CN105913459 B CN 105913459B
- Authority
- CN
- China
- Prior art keywords
- matching
- candidate motion
- pair
- point
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000033001 locomotion Effects 0.000 claims abstract description 157
- 238000000605 extraction Methods 0.000 claims abstract description 32
- 239000000284 extract Substances 0.000 claims abstract description 16
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 238000005192 partition Methods 0.000 claims abstract description 7
- 230000008859 change Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 9
- 238000004590 computer program Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000012141 concentrate Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于高分辨率连拍图像的运动目标检测方法，其中，该方法可以包括在前后两个时刻的高分辨率图像上，利用分块策略进行稀疏特征点的提取和匹配，得到特征匹配对集合；基于特征匹配对集合，求取配准参数并进行候选运动匹配对的粗提取和精匹配，得到运动匹配对集合；对运动匹配对集合进行精提取；对精提取得到的运动匹配对进行聚类，得到候选运动目标及其属性信息；在候选运动目标内及其周围提取局部密集的匹配对；基于候选运动目标属性信息及局部密集的匹配对，利用增量聚类方法对候选运动目标进行精确定位，得到运动目标的检测结果。本发明实施例实现了实时的高分辨率连拍图像中运动目标的精确检测。
Description
技术领域
本发明实施例涉及计算机视觉技术领域，特别是涉及一种基于高分辨率连拍图像的运动目标检测方法。
背景技术
目前，传统的运动目标检测方法主要都是针对的低分辨率(分辨率多为640×480)的航拍视频。其中,针对运动平台下运动目标的检测方法大致可分为三类：基于稠密光流的方法(参见文献1)、基于帧间差分的方法(参见文献2)和基于背景建模的方法(参见文献3)。
然而，为实现针对大范围区域的精细监视，当前的侦查无人机大多采用高分辨率(分辨率多为4k×4k甚至更高)的相机采用连拍模式进行侦查，使得传统的基于低分辨率视频分析的方法不再适用。基于稠密光流的方法在没有硬件加速的情况下很难实时，对于高分辨率率的图像更不可能实现实时。基于帧间差分的方法虽然可以利用两帧图像进行运动目标检测，但鬼影和空洞的问题一直没有得到很好的解决，对于高分辨率下的连拍图像，前后两个时刻的时间间隔比较大，由此产生的鬼影问题更为严重，不适用于高分辨率连拍图像的场景。对于基于背景建模的方法，为得到好的背景模型往往需要前后很多帧来建立，而且其计算复杂度高，使得对高分辨率连拍图像进行背景建模更为困难。
相关文献如下：
文献1：H.Yalcin,M.Hebert,R.Collins,and M.Black.Aflowbased approach tovehicle detection and background mosaicking in airborne video.In Proceedingsof Computer Vision and Pattern Recognition,volume 2,page 1202.IEEE ComputerSociety,2005
文献2：S.Bhattacharya,H.Idrees,I.Saleemi,S.Ali,and M.Shah.Movingobject detection and tracking in forward looking infrared aerial imagery,volume 1,chapter 10,pages 221–252.Springer Berlin Heidelberg,2011；Z.Yin andR.Collins.Moving object localization in thermal imagery by forward-backwardmotion history images,pages 271–291.Springer London,2009；H.Shen,S.Li,J.Zhang,and H.Chang.Tracking-based moving object detection.In Proceedings ofInternational Conference on Image Processing,pages 3093–3097.IEEE,2013
文献3：Ratheesh[A.Colombari,A.Fusiello,V.Murino,Segmentation andtracking of multiple video objects,Pattern Recognition,40(4)(2007)；Y.Chang,G.Medioni,K.Jinman,I.Cohen,Detecting motion regions in the presence of astrong parallax from a moving camera by multiview geometric constraints,IEEETransaction on Pattern Analysis and Machine Intelligence,29(9)(2007),1627-1641。
发明内容
鉴于上述问题，提出了本发明以便提供一种至少部分地解决上述问题的一种基于高分辨率连拍图像的运动目标检测方法。
为了实现上述目的，根据本发明的一个方面，提供了以下技术方案：
一种基于高分辨率连拍图像的运动目标检测方法，所述方法至少可以包括：
获取前后两个时刻的高分辨率图像；
在所述前后两个时刻的高分辨率图像上，利用分块策略进行稀疏特征点的提取和匹配，得到特征匹配对集合；
基于所述特征匹配对集合，求取配准参数；借助于所述配准参数来计算特征匹配对的相对运动速度，通过去除相对运动速度接近零的特征匹配对进行候选运动匹配对的粗提取，并且使用块匹配算法来进行所述候选运动匹配对的精匹配，得到运动匹配对集合；
对所述运动匹配对集合进行精提取；
对精提取得到的运动匹配对进行聚类，得到候选运动目标及候选运动目标属性信息；
在所述候选运动目标内及其周围提取局部密集的匹配对；
基于所述候选运动目标属性信息及所述局部密集的匹配对，利用增量聚类方法对所述候选运动目标进行精确定位，得到运动目标的检测结果。
优选地，所述在所述前后两个时刻的高分辨率图像上，利用分块策略进行稀疏特征点的提取和匹配，得到特征匹配对集合，具体可以包括：
在前一时刻高分辨率图像上分块提取稀疏特征点；
利用KLT跟踪方法跟踪所述前一时刻高分辨率图像上的特征点至当前时刻高分辨率图像，以获得所述前一时刻高分辨率图像和所述当前时刻高分辨率图像上的特征匹配对集合。
优选地，所述基于所述特征匹配对集合，求取配准参数；借助于所述配准参数来计算特征匹配对的相对运动速度，通过去除相对运动速度接近零的特征匹配对进行候选运动匹配对的粗提取，并且使用块匹配算法来进行所述候选运动匹配对的精匹配，得到运动匹配对集合包括：
基于所述特征匹配对集合，利用随机采样一致算法，计算前一时刻高分辨图像和当前时刻高分辨图像之间的配准参数；
利用所述配准参数，将当前时刻跟踪到的特征点映射到所述前一时刻高分辨率图像的坐标系中；
通过计算映射回去的特征点和前一时刻相应点之间的位移变换，来得到特征匹配对的相对运动速度；
去除相对运动速度接近零的特征匹配对，得到候选运动匹配对集合；
使用块匹配算法对所述候选运动匹配对集合进行精匹配，得到运动匹配对集合。
优选地，所述使用块匹配算法对所述候选运动匹配对集合进行精匹配，具体可以包括：
对所述候选运动匹配对进行聚类，得到聚类点对集合；
通过以下公式计算聚类点对相对运动速度的一致性：
其中，所述C表示聚类；所述M表示所述聚类中点对的个数；所述vmedina表示所述聚类中所有点对相对运动速度的中值；所述RVC(·)表示计算相对运动速度一致性的函数，其定义为：
其中，所述i和所述j表示特征匹配点；所述vi和所述vj分别表示第i个特征匹配对和第j个特征匹配对的相对运动速度；
将所述一致性与一致性阈值进行比较；
如果所述一致性大于等于一致性阈值，则在所述跟踪到的当前时刻高分辨率图像上相应点的周围进行基于六边形的快速块匹配，得到所述运动匹配对集合；否则，在所述聚类点对集合中Fast响应最大的特征点的周围进行全搜索块匹配，得到偏移向量，并针对所述聚类内的特征点，在所述前一时刻高分辨率图像上特征点的基础上，再加上偏移向量，再在得到的位置周围进行基于六边形的快速块匹配，得到所述运动匹配对集合。
优选地，所述对所述运动匹配对集合进行精提取具体可以包括：
利用离线训练好的Adaboost分类器，将运动匹配对集合分为运动点对和背景点对，从而实现对运动匹配对集合的精提取。
优选地，所述对精提取得到的运动匹配对进行聚类，得到候选运动目标及其属性信息，具体可以包括：
对于所述精提取后的运动匹配对，计算每一组点对和与该点对的距离小于预定像素个数的其它点对间的距离关联度、相对运动速度关联度和距离变化关联度，得到综合关联度；
利用层次聚类方法对所述运动匹配对进行聚类，以得到候选运动目标及其属性信息，其中，所述属性信息包括位置、大小和相对前一时刻同一运动目标所在位置的位移信息。
优选地，所述在所述候选运动目标内及其周围提取局部密集的匹配对，具体可以包括：
在所述候选运动目标内及其周围，提取局部密集的特征点；
基于所述局部密集的特征点，使用KLT跟踪方法来获得局部密集的匹配对。
优选地，所述基于候选运动目标属性信息及局部密集的匹配对，利用增量聚类方法对候选运动目标进行精确定位，得到运动目标的检测结果，具体可以包括：
基于所述候选运动目标属性信息，利用最近邻方式，将所述局部密集的匹配对归类到与其最相似的候选运动目标上，并利用增量聚类方法，得到运动目标的位置、大小信息，从而得到运动目标的检测结果。
与现有技术相比，上述技术方案至少具有以下有益效果：
本发明实施例提出了一种基于高分辨率连拍图像的运动目标检测方法，通过在在前后两个时刻的高分辨率图像上，利用分块策略进行稀疏特征点的提取和匹配，得到特征匹配对集合；然后，基于特征匹配对集合，求取配准参数并进行候选运动匹配对的粗提取和精匹配，得到运动匹配对集合；对运动匹配对集合进行精提取；接着，对精提取得到的运动匹配对进行聚类，得到候选运动目标及其属性信息；再在候选运动目标内及其周围提取局部密集的匹配对；最后，基于候选运动目标属性信息及局部密集的匹配对，利用增量聚类方法对候选运动目标进行精确定位，得到运动目标的检测结果。由此，通过在特征匹配对集合中而不是像素集合中进行运动目标的提取，实现了实时的高分辨率连拍图像中运动目标的精确检测，进而实现了大范围区域下的运动目标检测。
当然，实施本发明的任一产品不一定需要同时实现以上所述的所有优点。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其它优点可通过在所写的说明书、权利要求书以及附图中所特别指出的方法来实现和获得。
附图说明
附图作为本发明的一部分，用来提供对本发明的进一步的理解，本发明的示意性实施例及其说明用于解释本发明，但不构成对本发明的不当限定。显然，下面描述中的附图仅仅是一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。在附图中：
图1为根据一示例性实施例示出的基于高分辨率连拍图像的运动目标检测方法的流程示意图；
图2为根据另一示例性实施例示出的对高分辨率图像分32块进行提取特征点的流程示意图；
图3为根据一示例性实施例示出的基于特征匹配对集合求取配准参数并进行候选运动匹配对的粗提取和精匹配以得到运动匹配对集合的流程示意图；
图4为根据一示例性实施例示出的对运动匹配对集合进行精提取的流程示意图；
图5为根据一示例性实施例示出的利用本发明实施例提供的方法得到的最终目标检测结果示意图。
这些附图和文字描述并不旨在以任何方式限制本发明的构思范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
下面结合附图以及具体实施例对本发明实施例解决的技术问题、所采用的技术方案以及实现的技术效果进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，并不是全部实施例。基于本申请中的实施例，本领域普通技术人员在不付出创造性劳动的前提下，所获的所有其它等同或明显变型的实施例均落在本发明的保护范围内。本发明实施例可以按照权利要求中限定和涵盖的多种不同方式来具体化。
需要说明的是，在下面的描述中，为了方便理解，给出了许多具体细节。但是很明显，本发明的实现可以没有这些具体细节。
需要说明的是，在没有明确限定或不冲突的情况下，本发明中的各个实施例及其中的技术特征可以相互组合而形成技术方案。
如图1所示，本发明实施例提供一种基于高分辨率连拍图像的运动目标检测方法。该方法包括步骤S100至步骤S160。
S100：获取前后两个时刻的高分辨率图像。
S110：在前后两个时刻的高分辨率图像上，利用分块策略进行稀疏特征点的提取和匹配，得到特征匹配对集合。
具体地，本步骤可以包括步骤S1102和步骤S1104。
S1102：在前一时刻高分辨率图像上分块提取稀疏特征点。
在本步骤中，可以记提取到的稀疏特征点为其中，p表示前一时刻，i＝1,2......N例如，该特征点可以为Fast角点、Harris角点等。需要说明的是，在提取Fast角点的同时还可以提取到匹配对的Fast响应值特征。在实际应用中，可以对分辨率为4096×2160的图像进行了32块划分，每块提取一定数量的Fast角点，以此来保证选取的稀疏特征点在运动目标上有所分布。
S1104：利用KLT(Kande-Lucas-Tomasi Feature Tracker)跟踪方法跟踪前一时刻高分辨率图像上的特征点至当前时刻高分辨率图像，以获得前一时刻和当前时刻两个时刻高分辨率图像上的特征匹配对集合。
其中，可以记跟踪到当前时刻高分辨率图像上相应地特征点为其中，c表示当前时刻，i＝1,2......N。
优选地，KLT跟踪方法可以为金字塔式的KLT(Pyramid KLT)。
如图2所示，其示例性地示出了对高分辨率图像分32块进行提取特征点的流程。其中，对前一时刻图像上分块进行特征点提取，之后KLT跟踪特征点到当前时刻，从而得到N个特征匹配对。
本领域技术人员应能理解，上述提取稀疏特征点的方式仅为举例，任意现有或今后可能出现的提取稀疏特征点的方式也应包含在本发明的保护范围之内，并在此以引用的方式结合于此。
S120：基于特征匹配对集合，求取配准参数并进行候选运动匹配对的粗提取和精匹配，得到运动匹配对集合。
具体地，如图3所示，本步骤可以包括：步骤S121至步骤S125。
S121：基于特征匹配对集合，利用随机采样一致算法(RANSAC)来计算前一时刻和当前时刻高分辨图像之间的配准参数。
优选地，配准参数可以为单应变换矩阵。
S122：利用配准参数，将当前时刻跟踪到的特征点映射到前一时刻高分辨率图像的坐标系中。
其中，本步骤可以记映射到前一时刻高分辨率图像的坐标系中的相应点对为s表示校正之后，i＝1,2......N。
S123：通过计算映射回去的特征点和前一时刻相应点之间的位移变换，来得到特征匹配对的相对运动速度，即
S124：去除相对运动速度接近零的特征匹配对，得到候选运动匹配对集合。
本步骤得到的是粗提取的候选运动匹配对集合，通过对多个特征匹配对进行粗提取，则得到候选运动匹配对集合。
S125：使用块匹配算法来对候选运动匹配对进行精匹配，得到运动匹配对集合。
在实际应用中，本步骤还可以包括：步骤S1251至步骤S1255。
S1251：对候选运动匹配对集合进行聚类，得到聚类点对集合。
例如：对距离在Td个像素内的特征点进行聚类。优选地，Td＝20。
S1252：通过以下公式计算聚类点对相对运动速度的一致性：
其中，C表示聚类；M表示聚类中点对的个数；vmedina表示聚类中所有点对相对运动速度的中值；RVC(·)表示计算相对运动速度一致性(也即相对运动速度关联度)的函数，其定义为：
其中，i和j表示特征匹配点；vi和vj分别是第i个特征匹配对和第j个特征匹配对的相对运动速度。
S1253：将一致性与一致性阈值进行比较，如果一致性大于等于一致性阈值，则执行步骤S1254；否则，执行步骤S1255。
上述步骤得到的Consistencey(C)的数值在0和1之间。例如，一致性阈值可以选取为0.8。如果一致性大于等于一致性阈值，则可以认为该一致性好，否则，该一致性不好。
S1254：在跟踪到的当前时刻高分辨率图像上相应点的周围进行基于六边形的快速块匹配，得到运动匹配对。
对于一致性好的聚类内的点(即聚类点集)，直接在跟踪到的当前时刻高分辨率图像上相应点的周围进行基于六边形的快速块匹配，得到运动匹配对(即运动的特征匹配对)。
其中，当前时刻高分辨率图像上相应点的周围可以是一定数量的像素范围。
S1255：在聚类点对集合中Fast响应最大的特征点的周围进行全搜索块匹配，得到偏移向量，并针对聚类内的特征点，在前一时刻高分辨率图像上特征点的基础上，再加上偏移向量，再在得到的位置周围进行基于六边形的快速块匹配，得到运动匹配对集合。
本步骤针对一致性不好的聚类点集(也即是用KLT跟踪方法跟踪不上或跟踪错的聚类点集)进行处理以获得运动匹配对。首先，选取聚类点集中Fast响应最大的一个点，在其周围Tf(如Tf＝300)范围内进行全搜索块匹配。其中，聚类点集中Fast响应最大的一个特征点的周围可以选取300个像素的范围。然后，在前一时刻高分辨率图像上的特征点加上偏移向量后得到的位置的周围(其可以根据实际情况选取一定像素的范围)进行基于六边形的快速块匹配，得到运动匹配对集合。
本领域技术人员应能理解，上述基于特征匹配对求取配准参数并进行候选运动匹配对的粗提取和精匹配得到运动匹配对的方式仅为举例，任意现有的或今后可能出现的得到运动匹配对的方式均应包括在本发明的保护范围之内。并在此以引用的方式结合于此。
S130：对运动匹配对集合进行精提取。
具体地，可以利用离线训练好的Adaboost分类器将运动匹配对集合分为运动点对和背景点对，从而实现对运动匹配对集合的精提取。
图4示例性地示出了对运动匹配对集合进行精提取的过程。其中，Adaboost分类器基于匹配对的相对速度、块差异、局部一致性和特征响应值，对匹配对进行分类，得到运动匹配对和非运动匹配对。
其中，在离线训练Adaboost分类器时，首先在已有的航怕序列高分辨率图像中提取匹配点对，建立匹配对的样本库，并保存每组匹配对的相对速度、块差异、局部一致性和特征响应值(例如：Fast响应值)，接着，对每组匹配对是否为运动目标上的点进行标注。最后，利用Adaboost来训练得到一个级联的分类器(即Adaboost分类器)。其中第i个匹配对的块差异特征是通过计算以点为中心的R×R大小的块和以点为中心的R×R大小的块中高分辨率图像像素的差值得到的；其中，R×R例如可以是20×20、30×30或50×50。
第i个匹配对的局部一致性通过下式得到：
其中，N表示与第i个匹配对相邻的点对集合；M表示集合N中的匹配对个数；DCC(i，j)表示计算第i个匹配对和第j个匹配对距离变化关联度的函数，其定义如下：
其中，
S140：对精提取得到的运动匹配对进行聚类，得到候选运动目标及其属性信息。
具体地，本步骤可以包括：步骤S142至步骤S144。
S142：对于精提取后的运动匹配对，计算每一组点对和与该点对的距离小于预定像素个数的其它点对间的距离关联度、相对运动速度关联度和距离变化关联度，得到综合关联度。
其中，可以根据以下公式计算第i个匹配对和第j个匹配对的综合关联度Similarity(i,j)：
Similarity(i，j)＝1-RVC(vi，vj)DCC(i，j)DC(i，j)
其中，DC(i，j)是计算特征匹配对i和特征匹配对j的距离关联度函数，其定义如下：
S144：利用层次聚类方法对运动匹配对进行聚类，以得到候选运动目标及其属性信息。其中，该属性信息包括位置、大小和相对前一时刻同一运动目标所在位置的位移(或运动速度)信息。
本步骤中进行聚类的运动匹配对为属于同一运动目标上特征匹配对。
本领域技术人员应能理解，上述对精提取得到的运动匹配对进行聚类，得到候选运动目标及其属性信息的方式仅为举例，任意现有的或今后可能出现的得到候选运动目标及其属性信息的方式均应包含在本发明的保护范围之内，并在此以引用的方式结合于此。
S150：在候选运动目标内及其周围提取局部密集的匹配对。
具体地，本步骤可以在候选运动目标内及其周围，进行局部密集的特征点(如Fast角点或Harris角点)提取，并使用KLT跟踪方法来获得局部密集的匹配对。其中，候选运动目标周围可以根据实际应用场景而定，例如，有汽车或飞机的场景。候选运动目标周围可以为10×10个像素的大小、20×20个像素的大小或30×30个像素的大小。
本领域技术人员应能理解，上述在候选运动目标内及其周围提取局部密集的匹配对的方式仅为举例，任意现有的或今后可能出现的提取局部密集的匹配对的方式均应包含在本发明的保护范围之内，并在此以引用的方式结合于此。
S160：基于候选运动目标属性信息及局部密集的匹配对，利用增量聚类方法对候选运动目标进行精确定位，得到运动目标的检测结果。
具体地，本步骤基于步骤S140获得的候选运动目标属性信息，利用最近邻方式，将局部密集的匹配对归类到与其最相似的候选运动目标上，并利用增量聚类方法，得到运动目标的位置、大小信息，从而得到运动目标的检测结果。图5示例性地示出了利用本发明实施例提供的方法得到的最终目标检测结果。其中，白色方框为检测到的目标(本实施例中为汽车)，该白色方框还体现了目标的位置和大小。
本实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
以上对本发明实施例所提供的技术方案进行了详细的介绍。虽然本文应用了具体的个例对本发明的原理和实施方式进行了阐述，但是，上述实施例的说明仅适用于帮助理解本发明实施例的原理；同时，对于本领域技术人员来说，依据本发明实施例，在具体实施方式以及应用范围之内均会做出改变。
需要说明的是，本文中涉及到的流程图不仅仅局限于本文所示的形式，其还可以进行划分和/或组合。
需要说明的是：附图中的标记和文字只是为了更清楚地说明本发明，不视为对本发明保护范围的不当限定。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
本发明的各个步骤可以用通用的计算装置来实现，例如，它们可以集中在单个的计算装置上，例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备或者多处理器装置，也可以分布在多个计算装置所组成的网络上，它们可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。因此，本发明不限于任何特定的硬件和软件或者其结合。
本发明提供的方法可以使用可编程逻辑器件来实现，也可以实施为计算机程序软件或程序模块(其包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件或数据结构等等)，例如根据本发明的实施例可以是一种计算机程序产品，运行该计算机程序产品使计算机执行用于所示范的方法。所述计算机程序产品包括计算机可读存储介质，该介质上包含计算机程序逻辑或代码部分，用于实现所述方法。所述计算机可读存储介质可以是被安装在计算机中的内置介质或者可以从计算机主体上拆卸下来的可移动介质(例如：采用热插拔技术的存储设备)。所述内置介质包括但不限于可重写的非易失性存储器，例如：RAM、ROM、快闪存储器和硬盘。所述可移动介质包括但不限于：光存储介质(例如：CD－ROM和DVD)、磁光存储介质(例如：MO)、磁存储介质(例如：磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如：存储卡)和具有内置ROM的媒体(例如：ROM盒)。
尽管已参照本发明的特定优选实施例表示和描述了本发明，但本领域的技术人员应该明白，可以在形式上和细节上对本发明的技术思想和相关方法做各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。
Claims (8)
1.一种基于高分辨率连拍图像的运动目标检测方法，其特征在于，所述方法至少包括：
获取前后两个时刻的高分辨率图像；
在所述前后两个时刻的高分辨率图像上，利用分块策略进行稀疏特征点的提取和匹配，得到特征匹配对集合；
基于所述特征匹配对集合，求取配准参数；借助于所述配准参数来计算特征匹配对的相对运动速度，通过去除相对运动速度接近零的特征匹配对进行候选运动匹配对的粗提取，并且使用块匹配算法来进行所述候选运动匹配对的精匹配，得到运动匹配对集合；
对所述运动匹配对集合进行精提取；
对精提取得到的运动匹配对进行聚类，得到候选运动目标及候选运动目标属性信息；
在所述候选运动目标内及其周围提取局部密集的匹配对；
基于所述候选运动目标属性信息及所述局部密集的匹配对，利用增量聚类方法对所述候选运动目标进行精确定位，得到运动目标的检测结果。
2.根据权利要求1所述的方法，其特征在于，所述在所述前后两个时刻的高分辨率图像上，利用分块策略进行稀疏特征点的提取和匹配，得到特征匹配对集合，具体包括：
在前一时刻高分辨率图像上分块提取稀疏特征点；
利用KLT跟踪方法跟踪所述前一时刻高分辨率图像上的特征点至当前时刻高分辨率图像，以获得所述前一时刻高分辨率图像和所述当前时刻高分辨率图像上的特征匹配对集合。
3.根据权利要求1所述的方法，其特征在于，所述基于所述特征匹配对集合，求取配准参数；借助于所述配准参数来计算特征匹配对的相对运动速度，通过去除相对运动速度接近零的特征匹配对进行候选运动匹配对的粗提取，并且使用块匹配算法来进行所述候选运动匹配对的精匹配，得到运动匹配对集合包括：
基于所述特征匹配对集合，利用随机采样一致算法，计算前一时刻高分辨图像和当前时刻高分辨图像之间的配准参数；
利用所述配准参数，将当前时刻跟踪到的特征点映射到所述前一时刻高分辨率图像的坐标系中；
通过计算映射回去的特征点和前一时刻相应点之间的位移变换，来得到特征匹配对的相对运动速度；
去除相对运动速度接近零的特征匹配对，得到候选运动匹配对集合；
使用块匹配算法对所述候选运动匹配对集合进行精匹配，得到运动匹配对集合。
4.根据权利要求3所述的方法，其特征在于，所述使用块匹配算法对所述候选运动匹配对集合进行精匹配，具体包括：
对所述候选运动匹配对进行聚类，得到聚类点对集合；
通过以下公式计算聚类点对相对运动速度的一致性：
其中，所述C表示聚类；所述M表示所述聚类中点对的个数；所述vmedina表示所述聚类中所有点对相对运动速度的中值；所述RVC(·)表示计算相对运动速度一致性的函数，其定义为：
其中，所述i和所述j表示特征匹配点；所述vi和所述vj分别表示第i个特征匹配对和第j个特征匹配对的相对运动速度；
将所述一致性与一致性阈值进行比较；
如果所述一致性大于等于一致性阈值，则在所述跟踪到的当前时刻高分辨率图像上相应点的周围进行基于六边形的快速块匹配，得到所述运动匹配对集合；否则，在所述聚类点对集合中Fast响应最大的特征点的周围进行全搜索块匹配，得到偏移向量，并针对所述聚类内的特征点，在所述前一时刻高分辨率图像上特征点的基础上，再加上偏移向量，再在得到的位置周围进行基于六边形的快速块匹配，得到所述运动匹配对集合。
5.根据权利要求1所述的方法，其特征在于，所述对所述运动匹配对集合进行精提取具体包括：
利用离线训练好的Adaboost分类器，将运动匹配对集合分为运动点对和背景点对，从而实现对运动匹配对集合的精提取。
6.根据权利要求1所述的方法，其特征在于，所述对精提取得到的运动匹配对进行聚类，得到候选运动目标及其属性信息，具体包括：
对于所述精提取后的运动匹配对，计算每一组点对和与该点对的距离小于预定像素个数的其它点对间的距离关联度、相对运动速度关联度和距离变化关联度，得到综合关联度；
利用层次聚类方法对所述运动匹配对进行聚类，以得到候选运动目标及其属性信息，其中，所述属性信息包括位置、大小和相对前一时刻同一运动目标所在位置的位移信息。
7.根据权利要求1所述的方法，其特征在于，所述在所述候选运动目标内及其周围提取局部密集的匹配对，具体包括：
在所述候选运动目标内及其周围，提取局部密集的特征点；
基于所述局部密集的特征点，使用KLT跟踪方法来获得局部密集的匹配对。
8.根据权利要求1所述的方法，其特征在于，所述基于候选运动目标属性信息及局部密集的匹配对，利用增量聚类方法对候选运动目标进行精确定位，得到运动目标的检测结果，具体包括：
基于所述候选运动目标属性信息，利用最近邻方式，将所述局部密集的匹配对归类到与其最相似的候选运动目标上，并利用增量聚类方法，得到运动目标的位置、大小信息，从而得到运动目标的检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610305544.8A CN105913459B (zh) | 2016-05-10 | 2016-05-10 | 基于高分辨率连拍图像的运动目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610305544.8A CN105913459B (zh) | 2016-05-10 | 2016-05-10 | 基于高分辨率连拍图像的运动目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105913459A CN105913459A (zh) | 2016-08-31 |
| CN105913459B true CN105913459B (zh) | 2019-07-12 |
Family
ID=56748710
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610305544.8A Active CN105913459B (zh) | 2016-05-10 | 2016-05-10 | 基于高分辨率连拍图像的运动目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105913459B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780551B (zh) * | 2016-11-18 | 2019-11-08 | 湖南拓视觉信息技术有限公司 | 一种三维运动目标检测方法和系统 |
| CN109063549B (zh) * | 2018-06-19 | 2020-10-16 | 中国科学院自动化研究所 | 基于深度神经网络的高分辨率航拍视频运动目标检测方法 |
| CN110473229B (zh) * | 2019-08-21 | 2022-03-29 | 上海无线电设备研究所 | 一种基于独立运动特征聚类的运动目标检测方法 |
| CN111257588B (zh) * | 2020-01-17 | 2020-11-17 | 东北石油大学 | 一种基于orb和ransac的油相流速测量方法 |
| CN113096165B (zh) * | 2021-04-16 | 2022-02-18 | 无锡物联网创新中心有限公司 | 一种目标对象定位方法及装置 |
| CN115187637B (zh) * | 2022-09-13 | 2022-11-22 | 北京控制工程研究所 | 目标运动参数实时辨识方法、轨迹预估方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679186A (zh) * | 2012-09-10 | 2014-03-26 | 华为技术有限公司 | 检测和跟踪目标的方法和装置 |
| CN104200487A (zh) * | 2014-08-01 | 2014-12-10 | 广州中大数字家庭工程技术研究中心有限公司 | 一种基于orb特征点匹配的目标跟踪方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9147260B2 (en) * | 2010-12-20 | 2015-09-29 | International Business Machines Corporation | Detection and tracking of moving objects |
| US9177404B2 (en) * | 2012-10-31 | 2015-11-03 | Qualcomm Incorporated | Systems and methods of merging multiple maps for computer vision based tracking |
-
2016
- 2016-05-10 CN CN201610305544.8A patent/CN105913459B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679186A (zh) * | 2012-09-10 | 2014-03-26 | 华为技术有限公司 | 检测和跟踪目标的方法和装置 |
| CN104200487A (zh) * | 2014-08-01 | 2014-12-10 | 广州中大数字家庭工程技术研究中心有限公司 | 一种基于orb特征点匹配的目标跟踪方法 |
Non-Patent Citations (5)
| Title |
|---|
| Forward-Backward Error: Automatic Detection of Tracking Failures;Zdenek Kalal等;《Proceeding ICPR 10 Proceedings of the 2010 20th International Conference on Pattern Recognition》;20100826;全文 * |
| Moving object detection in aerial video based on spatiotemporal saliency;Shen Hao等;《Chinese Journal of Aeronautics》;20130801;第26卷(第5期);全文 * |
| Object Tracking using SIFT and KL T Tracker for UAV-based Applications;Falah Jabar等;《2015 IEEE International Symposium on Robotics and Intelligent Sensors》;20160414;全文 * |
| 基于SURF 特征提取的遥感图像自动配准;葛盼盼等;《计算机系统应用》;20140315;第23卷(第3期);全文 * |
| 基于多模板搜索的快速运动估计算法;张鹏等;《计算机工程与应用》;20060311;第42卷(第8期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105913459A (zh) | 2016-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105913459B (zh) | 基于高分辨率连拍图像的运动目标检测方法 | |
| Xiong et al. | Spatiotemporal modeling for crowd counting in videos | |
| Ye et al. | Deep learning for moving object detection and tracking from a single camera in unmanned aerial vehicles (UAVs) | |
| CN108062574B (zh) | 一种基于特定类别空间约束的弱监督目标检测方法 | |
| Chen et al. | A deep learning approach to drone monitoring | |
| CN107590821B (zh) | 一种基于轨迹优化的目标跟踪方法及系统 | |
| Wu et al. | Multivehicle object tracking in satellite video enhanced by slow features and motion features | |
| CN110298867A (zh) | 一种视频目标跟踪方法 | |
| CN112861808B (zh) | 动态手势识别方法、装置、计算机设备及可读存储介质 | |
| Zhou et al. | Tracking of multiple pixel targets using multiple cameras | |
| Zoidi et al. | Stereo object tracking with fusion of texture, color and disparity information | |
| Zhu et al. | Multi-level prediction Siamese network for real-time UAV visual tracking | |
| CN110555423B (zh) | 基于多维运动摄像机的航拍视频的交通参数提取方法 | |
| Tsoukalas et al. | Deep learning assisted visual tracking of evader-UAV | |
| Jabar et al. | Object tracking using SIFT and KLT tracker for UAV-based applications | |
| Saif et al. | Moving object segmentation using various features from aerial images: a review | |
| Bardas et al. | 3D tracking and classification system using a monocular camera | |
| CN109544597A (zh) | 一种基于视觉的四旋翼无人机目标跟踪方法、系统及装置 | |
| Liu et al. | Online multi-object tracking under moving unmanned aerial vehicle platform based on object detection and feature extraction network | |
| Micheal et al. | Comparative analysis of SIFT and SURF on KLT tracker for UAV applications | |
| Li et al. | Design of UAV single object tracking algorithm based on feature fusion | |
| Wang et al. | A multi-information fusion correlation filters tracker | |
| Zhu et al. | Surf points based moving target detection and long-term tracking in aerial videos | |
| Zhou et al. | An anti-occlusion tracking system for UAV imagery based on Discriminative Scale Space Tracker and Optical Flow | |
| Guo et al. | Global-Local MAV Detection Under Challenging Conditions Based on Appearance and Motion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Lan Xiaosong Inventor after: Chang Hongxing Inventor after: Li Shuxiao Inventor after: Zhu Chengfei Inventor before: Chang Hongxing Inventor before: Lan Xiaosong Inventor before: Li Shuxiao Inventor before: Zhu Chengfei |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |