CN112365526B - 弱小目标的双目检测方法及系统 - Google Patents
弱小目标的双目检测方法及系统 Download PDFInfo
- Publication number
- CN112365526B CN112365526B CN202011378046.9A CN202011378046A CN112365526B CN 112365526 B CN112365526 B CN 112365526B CN 202011378046 A CN202011378046 A CN 202011378046A CN 112365526 B CN112365526 B CN 112365526B
- Authority
- CN
- China
- Prior art keywords
- motion
- eye image
- target
- image sequence
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 230000004424 eye movement Effects 0.000 claims description 44
- 238000000034 method Methods 0.000 claims description 33
- 230000004044 response Effects 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000011426 transformation method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 description 7
- 238000001914 filtration Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了弱小目标的双目检测方法及系统，通过同步采集待检测区域的左目图像序列以及右目图像序列；分别构建左目图像序列和右目图像序列的三维点云；以左目图像与右目图像之间的几何关系、目标运动模型约束为匹配约束，对左目图像序列的三维点云与右目图像序列的三维点云进行匹配，并根据匹配结果确定待检测区域的目标数量和/或目标运动模型，通过左目图像与右目图像之间的几何关系、目标运动模型约束对图像序列中噪声进行剔除，从而准确筛选出弱小目标的数量以及弱小目标的运动轨迹。
Description
技术领域
本发明涉及计算机视觉检测技术领域，具体涉及弱小目标的双目检测方法及系统。
背景技术
静态背景下运动目标检测方法主要有帧间差分法、高斯背景建模(GMM)、Vibe算法(由Olivier Barnich和Marc Van Droogenbroeck在2011年提出的一种背景建模方法)等。该类方法适应于可视面目标的检测，即信噪比高的目标，对弱小目标的检测效果非常有限，因此，现有的目标检测方法无法准确检测出弱小目标已成为本领域技术人员亟待结局的技术问题。
发明内容
本发明提供了弱小目标的双目检测方法及系统，用于解决现有的目标检测方法无法准确检测出弱小目标的技术问题。
为解决上述技术问题，本发明提出的技术方案为：
一种弱小目标的双目检测方法，包括以下步骤：
同步采集待检测区域的左目图像序列以及右目图像序列；分别构建左目图像序列和右目图像序列的三维点云；以左目图像与右目图像之间的几何关系、目标运动模型约束为匹配约束，对左目图像序列的三维点云与右目图像序列的三维点云进行匹配，并根据匹配结果确定待检测区域的目标数量和/或目标运动模型。
优选的，对左目图像序列的三维点云与右目图像序列的三维点云进行匹配，并根据匹配结果确定待检测区域的目标数量和/或目标运动模型，具体包括以下步骤：
构建左目图像序列的三维点云上各个点到同一三维点云上其他点的左目运动轨迹，构成左目轨迹集；获取右目图像序列的三维点云上各个点到同一三维点云上其他点的右目运动轨迹，构成右目轨迹集；
以左目图像与右目图像之间的几何关系、目标运动模型约束为匹配约束，对左目轨迹集的每个左目运动轨迹分别与右目轨迹集中的各个右目运动轨迹进行匹配，找出所有匹配成功的运动轨迹对；
将所有匹配成功的运动轨迹对进行聚类，得到至少一个聚类簇；将每个聚类簇内的所有运动轨迹对及其对应的内点进行拟合，得到每个聚类簇对应的目标运动模型。
优选的，目标运动模型包括左目运动轨迹和右目运动轨迹，将所有匹配成功的运动轨迹对进行聚类，得到至少一个聚类簇；将每个聚类簇内的所有运动轨迹及其对应的内点进行拟合，得到每个聚类簇对应的目标运动模型，具体包括以下步骤：
对所有匹配成功的运动轨迹对中的左目运动轨迹进行使用J-linkage聚类算法聚类，得到第一聚类簇；对所有匹配成功的运动轨迹对中的右目运动轨迹进行使用J-linkage聚类算法聚类，得到第二聚类簇；
分别将每个第一聚类簇的运动轨迹对及其对应的内点以最小二乘拟合法进行拟合，得到每个第一聚类簇对应目标的左目运动轨迹；分别将每个第二聚类簇的运动轨迹对及其对应的内点以最小二乘拟合法进行拟合，得到每个第二聚类簇对应目标的右目运动轨迹。
优选的，在得到每个目标的左目运动轨迹和右目运动轨迹后，还包括以下步骤：
对任意一个左目运动轨迹或右目运动轨迹均进行一下处理：
将左目运动轨迹或右目运动轨迹分割成多段局部轨迹，分别计算每段局部轨迹的局部响应值，并求和所有局部轨迹的局部响应值作为整体响应值；
根据目标运动轨迹、运动速度约束设定响应阈值，将整体响应值与的响应阈值进行比较，当整体响应值低于响应阈值时，判断运动轨迹为虚警。
剔除所有为虚警的左目运动轨迹或右目运动轨迹，使用广义距离变换方法将剩下的左目运动轨迹及右目运动轨迹进行聚合，得到精确的目标数量以及目标运动模型。
优选的，计算每段局部轨迹的局部响应值通过以下公式实现：
其中，score(x,y)为局部响应值，Rt为前景目标的响应映射值，(xt,yt)是时刻t的预测位置，α是控制运动轨迹与理想直线失真度的权重值，Nt为局部轨迹段数量。
优选的，同步采集待检测区域的左目图像序列以及右目图像序列由水平视场相互平行、光轴交汇于无穷远处，且相隔M距离的两相机实现。
优选的，左目图像与右目图像之间的几何关系为目标在左目图像的左目运动轨迹与右目图像的右目运动轨迹平行，且二值视差值在合理视觉区间内；目标运动模型为直线运动模型，左目运动轨迹和右目运动轨迹均为直线运动轨迹；匹配的具体规则为：若左目运动轨迹与右目运动轨迹平行，且二者的视差值在合理视觉区间内，且左目运动轨迹和右目运动轨迹的内点数量均大于预设的数量阈值，则判断左目运动轨迹与右目运动轨迹匹配成功。
优选的，左目运动轨迹的内点是指位于左目图像序列的三维点云上，且到左目运动轨迹的距离小于预设距离阈值的点；右目运动轨迹的内点是指位于右目图像序列的三维点云上，且到右目运动轨迹的距离小于预设距离阈值的点。
优选的，分别构建左目图像序列以及右目图像序列的三维点云，具体包括以下步骤：
分别对左目图像序列、右目图像序列进行显著性检测，得到初步的左目目标集以及右目目标集；基于左目目标集和右目目标集，分别构建左目图像序列的三维点云以及右目图像序列的三维点云。
一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一所述方法的步骤。
本发明具有以下有益效果：
1、本发明中的弱小目标的双目检测方法及系统，通过同步采集待检测区域的左目图像序列以及右目图像序列；分别构建左目图像序列和右目图像序列的三维点云；以左目图像与右目图像之间的几何关系、目标运动模型约束为匹配约束，对左目图像序列的三维点云与右目图像序列的三维点云进行匹配，并根据匹配结果确定待检测区域的目标数量和/或目标运动模型，通过左目图像与右目图像之间的几何关系、目标运动模型约束对图像序列中噪声进行剔除，从而准确筛选出弱小目标的数量以及弱小目标的运动轨迹。
2、在优选方案中，本技术方案中还通过计算运动轨迹响应值，将响应值作为评判标准进一步滤除虚警，并进一步修正目标运动轨迹。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明的弱小目标的双目检测方法的流程图；
图2是本发明优选实施例中的双目相机安装示意图；
图3是本发明优选实施例中的目标检测系统采集的原始图像；
图4是本发明优选实施例中的对原始图像进行显著性检测后的图像；
图5是本发明优选实施例中的左目图像序列的三维点云图；
图6是本发明优选实施例中的弱小目标的双目检测方法处理后的目标轨迹图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
实施例一：
如图1所示,本发明公开了一种弱小目标的双目检测方法，包括以下步骤：
同步采集待检测区域的左目图像序列以及右目图像序列；分别构建左目图像序列和右目图像序列的三维点云；以左目图像与右目图像之间的几何关系、目标运动模型约束为匹配约束，对左目图像序列的三维点云与右目图像序列的三维点云进行匹配，并根据匹配结果确定待检测区域的目标数量和/或目标运动模型。
另外，在本实施例中，本发明还公开了一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法实施例的步骤。
本发明中的弱小目标的双目检测方法及系统，通过同步采集待检测区域的左目图像序列以及右目图像序列；分别构建左目图像序列和右目图像序列的三维点云；以左目图像与右目图像之间的几何关系、目标运动模型约束为匹配约束，对左目图像序列的三维点云与右目图像序列的三维点云进行匹配，并根据匹配结果确定待检测区域的目标数量和/或目标运动模型，通过左目图像与右目图像之间的几何关系、目标运动模型约束对图像序列中噪声进行剔除，从而准确筛选出弱小目标的数量以及弱小目标的运动轨迹。
实施例二：
实施例二是实施例的拓展实施例，其与实施例一的不同之处在于，对于弱小目标的双目检测方法的具体步骤进行了细化。
在低信噪比下，空中弱小目标几乎淹没在噪声之中。利用目标亮度信息，在检出目标的同时，通常也会引入大量虚警，且有时也不能检出目标。该问题的核心在于如何有效地滤除虚警。本发明提出一套流程，将目标运动轨迹、运动速度及双目几何特性约束巧妙地融入该流程，以步步递进地方式滤除虚警，从而得到一套稳定地、鲁棒地空中弱小目标检测方案。具体地，首先双目相机采集实时的空中图像序列，接着使用基于视觉显著性的方法检测空中弱小目标，该步骤必然引入大量的虚警，然后采用基于RANSAC的几何约束方法，该步骤利用目标运动模型和双目几何约束剔除了大量虚警，最后采用轨迹确认的虚警滤除方法，进一步修正目标运动轨迹，计算运动轨迹响应值，将响应值作为评判标准进一步滤除虚警。具体的，在本实施例中，公开了弱小目标的双目检测方法包括以下步骤：
步骤一：同步采集待检测区域的左目图像序列以及右目图像序列
在本实施例中，步骤一由双目相机实现，其中双目相机安装示意图如图2所示，要求为两相机相隔M距离，其中，M为正数，两相机的水平视场线尽量平行，两相机光轴尽量交汇于无穷远处，两相机采用同步触发方式采集待检测区域的左目图像序列以及右目图像序列。
步骤二：基于视觉显著性的空中弱小目标检测
低信噪比下，空中弱小目标几乎淹没在噪声之中。同时为了抑制空中云层的影响，选择基于视觉显著性的方法来检测空中弱小目标。即分别对左目图像序列、右目图像序列进行显著性检测，得到初步的左目目标集以及右目目标集；
原始图像如图3所示，图像左侧框包含一个真实目标，右侧框包含两个真实目标；而显著性检测结果如图4所示，其中，黑色区域为背景，白色区域为前景，即检测得到的准目标集。由图3和图4可知，视觉显著性的方法对云层有一定的抑制作用，该步骤的目的是能够尽可能地将目标检测出来，此时必然产生大量由噪声、星星等引起的虚警。
步骤三，基于左目目标集和右目目标集，分别构建左目图像序列的三维点云以及右目图像序列的三维点云
在较短时间内，由步骤二得到的准目标集合形成三维点云。有左目图像序列、右目图像序列两个三维点云，图5所示为左目场三维点云，三维坐标分别是图像宽度坐标、图像高度坐标和时间轴坐标。
步骤四：以左目图像与右目图像之间的几何关系、目标运动模型约束为匹配约束，对左目图像序列的三维点云与右目图像序列的三维点云进行匹配：
几何约束的目的为在三维点云中初略地拟合目标对，从而滤除大部分前景点。我们选择RANSAC方法，因为其时间复杂度和空间复杂度都较低，且能够将几何约束巧妙地融合其中。
在本实施例中，左目图像与右目图像之间的几何关系为目标在左目图像的左目运动轨迹与右目图像的右目运动轨迹平行，且二值视差值在合理视觉区间内；目标运动模型为直线运动模型，左目运动轨迹和右目运动轨迹均为直线运动轨迹；匹配的具体规则为：若左目运动轨迹与右目运动轨迹平行，且二者的视差值在合理视觉区间内，且左目运动轨迹和右目运动轨迹的内点数量均大于预设的数量阈值，则判断左目运动轨迹与右目运动轨迹匹配成功。
左目运动轨迹的内点是指位于左目图像序列的三维点云上，且到左目运动轨迹的距离小于预设距离阈值的点；右目运动轨迹的内点是指位于右目图像序列的三维点云上，且到右目运动轨迹的距离小于预设距离阈值的点。
具体的，基于左右目场图像使用步骤三得到的三维点云，并假设在短时间内，目标运动轨迹是近似直线。提出一种三维线检测方法，将同一目标在左右目场中的运动轨迹是平行的、有着近似相等的y轴坐标值、视差值必定在某个范围内的约束巧妙地融入其中。具体步骤如下：
提出一种三维线检测方法，将同一目标在左右视场中的运动轨迹是平行的、有着近似相等的y轴坐标值、视差值必定在某个范围内的约束巧妙地融入其中。具体步骤如下：
1、从三维点云中随机地选择三个点，其中有两个点来自左视场点云，另外一个点来自右视场点云，左视场的两个点确定一条左目运动轨迹，经过右视场一个点且与左视场平行的左目运动轨迹也得到确认，这样利用平行约束，得到了两条平行直线，即得到一对运动轨迹对。
2、判断两条平行直线的视差值是否在合理视觉区间内。若不在一个合理视觉区间内，则认为选定的三点一定不是真实目标的轨迹，因此可以快速过滤掉，继续重复步骤1，其中，合理视觉区间具体为(D-δ,D+δ),其中，D为同一目标物在双目相机的视差值，由双目相机的两相机的摄像机镜头中心之间的距离M，拍摄的焦距、光心决定，δ为容忍误差，其根据实际情况和经验决定。
3、遍历三维点云，统计在两条平行直线上的内点数量，超过给定阈值，则找到一组匹配的运动轨迹对，记录之。继续重复步骤1。
其中，左目运动轨迹和右目运动轨迹寻找和匹配均使用RANSAC方法一步完成的。具体地，重复迭代以上过程(比如10000次)；
在步骤1、2、3重复若干次后，得到很多对平行直线，使用J-linkage聚类算法聚合相近的直线，使用最小二乘拟合方法拟合出更精确的直线参数。
这样，输出则为多个视差满足约束的平行直线对。
上述聚类和拟合步骤，具体如下：
对所有匹配成功的运动轨迹对中的左目运动轨迹进行使用J-linkage聚类算法聚类，得到第一聚类簇；对所有匹配成功的运动轨迹对中的右目运动轨迹进行使用J-linkage聚类算法聚类，得到第二聚类簇；
分别将每个第一聚类簇的运动轨迹对及其对应的内点以最小二乘拟合法进行拟合，得到每个第一聚类簇对应目标的左目运动轨迹；分别将每个第二聚类簇的运动轨迹对及其对应的内点以最小二乘拟合法进行拟合，得到每个第二聚类簇对应目标的右目运动轨迹。
步骤五：基于轨迹确认的虚警滤除方法
两个相机在实际安装时，必然达不到绝对的“水平视场相互平行、光轴交汇于无穷远处”的要求。通过采集星空图像，将夜空中的星星作为无穷远处目标，并假定两视场的误差近似仿射变换模型，对两视场图像进行矫正，使得两视场满足“水平视场相互平行、光轴交汇于无穷远处”的要求。
由于大量噪声的存在，步骤三中的结果假阳性率会比较高，需要进一步滤除其中的虚警。我们在步骤三中假设目标在短时间内的运动轨迹为近似直线，在本步骤中，我们对该假设进行矫正。进一步，将目标在短时间内的运动轨迹分割成多个段，每一段为运动轨迹中的一个“部件”，计算每个“部件”的局部响应值，最后求和得到整个轨迹的响应值。将响应值低于阈值的轨迹判定为虚警过滤掉。局部响应值的计算方法如下：
在一个小的窗口内(比如15x15)：
其中，Rt前景目标的响应映射值，(xt,yt)是时刻t在步骤三中三维直线的预测位置，α是控制运动轨迹与理想直线失真度的权重值，Nt为局部轨迹段数量。
最后，将两个视场的结果聚合，使用广义距离变换方法高效地搜索所有可能的直线对。得到的匹配线对如图6所示，对各直线加上编号，其中直线1、2、3为左侧视场的检测结果，直线4、5、6为右侧视场的检测结果，很显然，直线1、2、3分别与直线4、5、6组成直线对，分别代表一个真实目标，从而该结果中包含三个真实的目标，与实际情况吻合。
综上可知，本发明中的弱小目标的双目检测方法及系统，通过同步采集待检测区域的左目图像序列以及右目图像序列；分别构建左目图像序列和右目图像序列的三维点云；以左目图像与右目图像之间的几何关系、目标运动模型约束为匹配约束，对左目图像序列的三维点云与右目图像序列的三维点云进行匹配，并根据匹配结果确定待检测区域的目标数量和/或目标运动模型，通过左目图像与右目图像之间的几何关系、目标运动模型约束对图像序列中噪声进行剔除，从而准确筛选出弱小目标的数量以及弱小目标的运动轨迹。
在优选方案中，本技术方案中还通过计算运动轨迹响应值，将响应值作为评判标准进一步滤除虚警，并进一步修正目标运动轨迹。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种弱小目标的双目检测方法，其特征在于，包括以下步骤：
同步采集待检测区域的左目图像序列以及右目图像序列；分别构建所述左目图像序列和右目图像序列的三维点云；以左目图像与右目图像之间的几何关系、目标运动模型约束为匹配约束，对左目图像序列的三维点云与右目图像序列的三维点云进行匹配，并根据匹配结果确定待检测区域的目标数量和/或目标运动模型；
其中，对左目图像序列的三维点云与右目图像序列的三维点云进行匹配，并根据匹配结果确定待检测区域的目标数量和/或目标运动模型，具体包括以下步骤：
构建所述左目图像序列的三维点云上各个点到同一三维点云上其他点的左目运动轨迹，构成左目轨迹集；获取所述右目图像序列的三维点云上各个点到同一三维点云上其他点的右目运动轨迹，构成右目轨迹集；
以左目图像与右目图像之间的几何关系、目标运动模型约束为匹配约束，对左目轨迹集的每个左目运动轨迹分别与所述右目轨迹集中的各个右目运动轨迹进行匹配，找出所有匹配成功的运动轨迹对；
将所有匹配成功的运动轨迹对进行聚类，得到至少一个聚类簇；将每个聚类簇内的所有运动轨迹对及其对应的内点进行拟合，得到每个聚类簇对应的目标运动模型。
2.根据权利要求1所述的弱小目标的双目检测方法，其特征在于，所述目标运动模型包括左目运动轨迹和右目运动轨迹，将所有匹配成功的运动轨迹对进行聚类，得到至少一个聚类簇；将每个聚类簇内的所有运动轨迹及其对应的内点进行拟合，得到每个聚类簇对应的目标运动模型，具体包括以下步骤：
对所有匹配成功的运动轨迹对中的左目运动轨迹进行使用J-linkage聚类算法聚类，得到第一聚类簇；对所有匹配成功的运动轨迹对中的右目运动轨迹进行使用J-linkage聚类算法聚类，得到第二聚类簇；
分别将每个第一聚类簇的运动轨迹对及其对应的内点以最小二乘拟合法进行拟合，得到每个第一聚类簇对应目标的左目运动轨迹；分别将每个第二聚类簇的运动轨迹对及其对应的内点以最小二乘拟合法进行拟合，得到每个第二聚类簇对应目标的右目运动轨迹。
3.根据权利要求2所述的弱小目标的双目检测方法，其特征在于，在得到每个目标的左目运动轨迹和右目运动轨迹后，还包括以下步骤：
对任意一个左目运动轨迹或右目运动轨迹均进行一下处理：
将所述左目运动轨迹或右目运动轨迹分割成多段局部轨迹，分别计算每段局部轨迹的局部响应值，并求和所有局部轨迹的局部响应值作为整体响应值；
根据目标运动轨迹、运动速度约束设定响应阈值，将所述整体响应值与所述的响应阈值进行比较，当所述整体响应值低于所述响应阈值时，判断所述运动轨迹为虚警；
剔除所有为虚警的左目运动轨迹或右目运动轨迹，使用广义距离变换方法将剩下的左目运动轨迹及右目运动轨迹进行聚合，得到精确的目标数量以及目标运动模型。
4.根据权利要求3所述的弱小目标的双目检测方法，其特征在于，计算每段局部轨迹的局部响应值通过以下公式实现：
其中，score(x,y)为局部响应值，Rt为前景目标的响应映射值，(xt,yt)是时刻t的预测位置，α是控制运动轨迹与理想直线失真度的权重值，Nt为局部轨迹段数量，(dx)2为微分值dx的平方，(dy)2为微分值dy的平方。
5.根据权利要求1-4中任意一项中所述的弱小目标的双目检测方法，其特征在于，同步采集待检测区域的左目图像序列以及右目图像序列由水平视场相互平行、光轴交汇于无穷远处，且相隔M距离的两相机实现。
6.根据权利要求5所述的弱小目标的双目检测方法，其特征在于，所述左目图像与右目图像之间的几何关系为目标在左目图像的左目运动轨迹与右目图像的右目运动轨迹平行，且二值视差值在合理视觉区间内；所述目标运动模型为直线运动模型，所述左目运动轨迹和右目运动轨迹均为直线运动轨迹；所述匹配的具体规则为：若所述左目运动轨迹与所述右目运动轨迹平行，且二者的视差值在合理视觉区间内，且所述左目运动轨迹和右目运动轨迹的内点数量均大于预设的数量阈值，则判断所述左目运动轨迹与所述右目运动轨迹匹配成功。
7.根据权利要求1所述的弱小目标的双目检测方法，其特征在于，所述左目运动轨迹的内点是指位于所述左目图像序列的三维点云上，且到所述左目运动轨迹的距离小于预设距离阈值的点；所述右目运动轨迹的内点是指位于所述右目图像序列的三维点云上，且到所述右目运动轨迹的距离小于预设距离阈值的点。
8.根据权利要求1所述的弱小目标的双目检测方法，其特征在于，分别构建所述左目图像序列以及右目图像序列的三维点云，具体包括以下步骤：
分别对所述左目图像序列、右目图像序列进行显著性检测，得到初步的左目目标集以及右目目标集；基于所述左目目标集和右目目标集，分别构建左目图像序列的三维点云以及右目图像序列的三维点云。
9.一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至8任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011378046.9A CN112365526B (zh) | 2020-11-30 | 2020-11-30 | 弱小目标的双目检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011378046.9A CN112365526B (zh) | 2020-11-30 | 2020-11-30 | 弱小目标的双目检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112365526A CN112365526A (zh) | 2021-02-12 |
| CN112365526B true CN112365526B (zh) | 2023-08-25 |
Family
ID=74536870
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011378046.9A Active CN112365526B (zh) | 2020-11-30 | 2020-11-30 | 弱小目标的双目检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112365526B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117710603B (zh) * | 2024-02-04 | 2024-04-30 | 东华理工大学南昌校区 | 一种直线几何结构约束下无人机图像三维建筑物建模方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105424006A (zh) * | 2015-11-02 | 2016-03-23 | 国网山东省电力公司电力科学研究院 | 基于双目视觉的无人机悬停精度测量方法 |
| CN110084853A (zh) * | 2019-04-22 | 2019-08-02 | 北京易达图灵科技有限公司 | 一种视觉定位方法及系统 |
| CN110285793A (zh) * | 2019-07-08 | 2019-09-27 | 中原工学院 | 一种基于双目立体视觉系统的车辆智能测轨迹方法 |
| CN110310304A (zh) * | 2019-06-14 | 2019-10-08 | 深圳前海达闼云端智能科技有限公司 | 单目视觉建图和定位方法、装置、存储介质及移动设备 |
| CN110327612A (zh) * | 2019-08-09 | 2019-10-15 | 南昌航空大学 | 一种基于视觉识别的高尔夫球轨迹预测方法 |
| CN110596728A (zh) * | 2019-09-16 | 2019-12-20 | 北京航空航天大学 | 一种基于激光雷达的水面小目标探测方法 |
| CN111062233A (zh) * | 2018-10-17 | 2020-04-24 | 北京地平线机器人技术研发有限公司 | 标识物表示的获取方法、标识物表示的获取装置和电子设备 |
| CN111630343A (zh) * | 2018-12-04 | 2020-09-04 | 深圳配天智能技术研究院有限公司 | 一种图像获取方法、装置及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7397929B2 (en) * | 2002-09-05 | 2008-07-08 | Cognex Technology And Investment Corporation | Method and apparatus for monitoring a passageway using 3D images |
| US10861177B2 (en) * | 2015-11-11 | 2020-12-08 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems for binocular stereo vision |
-
2020
- 2020-11-30 CN CN202011378046.9A patent/CN112365526B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105424006A (zh) * | 2015-11-02 | 2016-03-23 | 国网山东省电力公司电力科学研究院 | 基于双目视觉的无人机悬停精度测量方法 |
| CN111062233A (zh) * | 2018-10-17 | 2020-04-24 | 北京地平线机器人技术研发有限公司 | 标识物表示的获取方法、标识物表示的获取装置和电子设备 |
| CN111630343A (zh) * | 2018-12-04 | 2020-09-04 | 深圳配天智能技术研究院有限公司 | 一种图像获取方法、装置及系统 |
| CN110084853A (zh) * | 2019-04-22 | 2019-08-02 | 北京易达图灵科技有限公司 | 一种视觉定位方法及系统 |
| CN110310304A (zh) * | 2019-06-14 | 2019-10-08 | 深圳前海达闼云端智能科技有限公司 | 单目视觉建图和定位方法、装置、存储介质及移动设备 |
| CN110285793A (zh) * | 2019-07-08 | 2019-09-27 | 中原工学院 | 一种基于双目立体视觉系统的车辆智能测轨迹方法 |
| CN110327612A (zh) * | 2019-08-09 | 2019-10-15 | 南昌航空大学 | 一种基于视觉识别的高尔夫球轨迹预测方法 |
| CN110596728A (zh) * | 2019-09-16 | 2019-12-20 | 北京航空航天大学 | 一种基于激光雷达的水面小目标探测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112365526A (zh) | 2021-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110490900B (zh) | 动态环境下的双目视觉定位方法及系统 | |
| CN108230392A (zh) | 一种基于imu的视觉障碍物检测虚警剔除方法 | |
| CN103093198B (zh) | 一种人群密度监测方法及装置 | |
| CN108038415B (zh) | 一种基于机器视觉的无人机自动检测与跟踪方法 | |
| WO2017077925A1 (en) | Method and system for estimating three-dimensional pose of sensor | |
| CN105608417B (zh) | 交通信号灯检测方法及装置 | |
| CN104966062B (zh) | 视频监视方法和装置 | |
| CN107560592A (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
| CN105374049B (zh) | 一种基于稀疏光流法的多角点跟踪方法及装置 | |
| CN105160649A (zh) | 基于核函数非监督聚类的多目标跟踪方法及系统 | |
| CN113362247A (zh) | 一种激光融合多目相机的语义实景三维重建方法及系统 | |
| CN109711256B (zh) | 一种低空复杂背景无人机目标检测方法 | |
| CN111524233A (zh) | 一种静态场景动态目标的三维重建方法 | |
| JPH1166319A (ja) | 移動体検出方法及び装置並びに移動体認識方法及び装置並びに人間検出方法及び装置 | |
| CN110827321B (zh) | 一种基于三维信息的多相机协同的主动目标跟踪方法 | |
| CN106991418A (zh) | 飞虫检测方法、装置及终端 | |
| CN106845410B (zh) | 一种基于深度学习模型的火焰识别方法 | |
| CN106033614B (zh) | 一种强视差下的移动相机运动目标检测方法 | |
| CN113240678B (zh) | 平面信息检测方法及系统 | |
| CN106530328A (zh) | 一种基于视频图像对运动目标检测和平滑跟随的方法 | |
| WO2022127181A1 (zh) | 客流的监测方法、装置、电子设备及存储介质 | |
| CN110009675A (zh) | 生成视差图的方法、装置、介质及设备 | |
| CN111723778B (zh) | 基于MobileNet-SSD的车辆测距系统及方法 | |
| CN108230351A (zh) | 基于双目立体视觉行人检测的柜台评价方法与系统 | |
| CN112365526B (zh) | 弱小目标的双目检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: He Zunliang Inventor after: Chen Xiaotian Inventor before: Chen Xiaotian Inventor before: He Zunliang |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |