CN111815667B - 一种相机移动条件下高精度检测运动目标的方法 - Google Patents

一种相机移动条件下高精度检测运动目标的方法 Download PDF

Info

Publication number
CN111815667B
CN111815667B CN202010580724.3A CN202010580724A CN111815667B CN 111815667 B CN111815667 B CN 111815667B CN 202010580724 A CN202010580724 A CN 202010580724A CN 111815667 B CN111815667 B CN 111815667B
Authority
CN
China
Prior art keywords
moving
target
candidate
moving target
credible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010580724.3A
Other languages
English (en)
Other versions
CN111815667A (zh
Inventor
袁建英
刘甲甲
吴思东
许林
漆军
付克昌
蒋涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu University of Information Technology
Original Assignee
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu University of Information Technology filed Critical Chengdu University of Information Technology
Priority to CN202010580724.3A priority Critical patent/CN111815667B/zh
Publication of CN111815667A publication Critical patent/CN111815667A/zh
Application granted granted Critical
Publication of CN111815667B publication Critical patent/CN111815667B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种相机移动条件下高精度检测运动目标的方法，包括：在移动机器人移动期间，设置在所述移动机器人上的双目立体相机通过采集当前的场景图像，得到当前的第t‑1帧图像和t帧图像；利用改进后的背景光流补偿差分法，计算出所述第t‑1帧图像和t帧图像中的包含M个候选运动目标的第一候选运动目标集合；采用基于YOLOv3的行人车辆检测算法计算出所述第t帧图像中的包含N个候选运动目标的第二候选运动目标集合；根据所述第一候选运动目标集合和所述第二候选运动目标集合，确定初始可信运动目标集合；利用所述第一候选运动目标集合、所述第二候选运动目标集合以及所述初始可信运动目标集合，得到可信运动目标集合。

Description

一种相机移动条件下高精度检测运动目标的方法
技术领域
本发明涉及移动机器人技术领域，特别是涉及一种相机移动条件下高精度检测运动目标的方法。
背景技术
对工作环境内动态障碍物的检测是很多移动机器人环境感知必须要完成的任务。如，无人车需要感知其行驶范围内运动目标，以为无人车决策和路径规划提供依据；商场导购机器人需要知道其工作范围内运动目标，这样机器人才能有效的避开障碍物，避免事故发生。这些问题都可归纳为相机移动条件下运动目标检测问题，因此该问题是移动机器人领域环境感知的基础问题。
需要说明的是，对运动目标的检测，现有的主流技术有采用激光雷达和视觉传感器的方法。激光雷达具有较高的探测精度，但是价格昂贵。视觉传感器价格便宜、体积小、包含信息丰富而受到越来越多研发机构的重视。本申请主要是针对纯视觉条件下运动目标检测。
现有技术的解决方案有如下三种：
(1)背景补偿差分法
背景补偿差分法的核心思想是将动态背景问题转化为静态背景问题，如此可直接利用相机静止条件下(静态背景)下各种运动目标检测方法。将动态背景问题转化为静态背景问题的关键为“背景补偿”。当相机运动时，相邻两帧图像的背景将发生运动，“背景补偿”的目的就是计算出背景的运动模型，借助该模型，将当前帧背景反推回运动前，以此得到估计的静态背景。计算背景运动参数首先要建立恰当的静止背景运动参数模型(全局运动)。根据全局运动参数模型的不同，可分为基于基础矩阵的方法、基于单应矩阵的方法、基于仿射变换的方法，以及基于混合几何模型的方法。
不管是单应约束，基本矩阵约束还是仿射变换约束，都有其特定的适用范围。单应矩阵仅适合于平面场景、基本矩阵仅能将一幅图像的像点映射到另一图像的一条线上、仿射变换仅仅是两幅图像的近似约束。因此，背景补偿差分法检测运动目标时存在原理上不可克服的缺陷。
(2)光流特征分类法
光流特征分类法认为背景运动产生的光流与目标运动产生的光流之间存在差异，故而可以根据这两类光流的差异性，找出运动目标。比如，兰红等认为场景中绝大部分背景的运动状态是一致并且是主要的。他们据此设计了基于光流的动态目标检测方法。首先，利用LK光流法得到相邻两幅图像的特征点光流，并同时创建光流长度，角度的状态向量。通过建立整幅图像光流长度、角度的直方图，去除直方图中最密集区域对应的特征点，进而初步去除背景。然后利用中心迭代法去除不属于目标运动区域的噪声特征点；最后，通过前N帧图像目标特征点的最大交集得到属于目标的稳定特征点并在后续帧中进行跟踪。崔智高等认为运动目标内部和场景背景的光流值大小和方向趋于一致，仅在目标与背景的边界处存在较大的差异。利用该性质，他们首先对目标边界进行定位。然后通过点在多边形内部原理获得边界内部的稀疏像素点，最后以超像素为节点，利用混合高斯模型拟合的表观信息和超像素的时空邻域关系构建马尔可夫随机场模型的能量函数，并通过使目标函数能量最小化得到最终的运动目标检测结果。
基于光流特征分类法的运动目标检测，其核心点是运动目标产生的光流在整体混合光流中存在可辨识。这在一些特定的场景下是可以实现的，比如无人车向前直行，背景的光流具有固定的特征，此时容易对背景光流特性进行建模；但是在车辆转弯时，背景光流和转弯大小、背景物结构都有很大关系，模型很难建立。因此光流特征分类法适应性有限。
(3)背景光流补偿差分法
该类方法一般分为三步。第一步：计算相机自运动参数。第二步：计算背景运动产生的光流场。第三步：从运动目标光流场中分割出运动目标。
该方法目前存在的问题有：基于背景光流补偿差分法运动目标检测法中，由于采用全局视差、光流来计算整幅图像的运动目标光流场，当全局运动目标光流场中某些区域光流计算误差较大时，就会导致运动目标分割误差较大，进而导致运动目标的误判。当前，视差计算、光流计算在低纹理区域、目标相互遮挡区域、目标发生大位移时，计算精度都会较低，属于行业内公认挑战性问题。因此，单一的背景光流补偿差分法存在不可避免的漏检和误检。
发明内容
根据本发明实施例提供的方案解决的技术问题是相机移动条件下运动目标检测精度低。
根据本发明实施例提供的一种相机移动条件下高精度检测运动目标的方法，包括：
在移动机器人移动期间，设置在所述移动机器人上的双目立体相机通过采集当前的场景图像，得到当前的第t-1帧图像和t帧图像；
利用改进后的背景光流补偿差分法，计算出所述第t-1帧图像和t帧图像中的包含M个候选运动目标的第一候选运动目标集合；
采用基于YOLOv3的行人车辆检测算法计算出所述第t帧图像中的包含N个候选运动目标的第二候选运动目标集合；
根据所述第一候选运动目标集合和所述第二候选运动目标集合，确定初始可信运动目标集合；
利用所述第一候选运动目标集合、所述第二候选运动目标集合以及所述初始可信运动目标集合，得到可信运动目标集合。
优选地，所述第t-1帧图像包括第t-1帧左图像和第t-1帧右图像；所述第t帧图像包括第t帧左图像和第t帧右图像。
优选地，所述改进后的背景光流补偿差分法是指融入SIFT匹配点筛选策略及动态阈值分割策略的背景光流补偿差分法；
其中，所述SIFT匹配点筛选策略包括：
根据所述
Figure BDA0002552227880000031
四幅图像，计算出多个SIFT匹配点；
计算第i个SIFT匹配点的视差di；
根据所述第i个SIFT匹配点的视差di，计算第i个SIFT点的误差指标因子indei，
Figure BDA0002552227880000032
当indei<1，则将当前第i个SIFT点作为可用于计算相机自运动参数，并进行保存；
其中，所述动态阈值分割策略包括：
计算残差流的马氏距离：
Figure BDA0002552227880000033
和χ2分布在
Figure BDA0002552227880000034
的概率值
Figure BDA0002552227880000035
其中ΣMOOF是残差流的协方差矩阵；
根据所述χ2分布在
Figure BDA0002552227880000036
的概率值，计算
Figure BDA0002552227880000037
若r(x,y)≥ε，则将坐标为(x,y)的像素点作为运动像素，否则，将坐标为(x,y)的像素点作为静止像素；
其中，所述ε的确定方法如下：
令
Figure BDA0002552227880000038
表示t时刻图像视差的均值，d(x,y)表示坐标为(x,y)处的视差值。
Figure BDA0002552227880000039
优选地，所述根据所述第一候选运动目标集合和所述第二候选运动目标集合，确定初始可信运动目标集合包括：
根据所述第一候选运动目标集合和所述第二候选运动目标集合，选取出所述第一候选运动目标集合与所述第二候选运动目标集合施加多视图几何约束，得到施加多视图几何约束后的运动目标集合；
通过对所述施加多视图几何约束后的运动目标集合进行求交集处理，得到交集运动目标集合，并将所述交集运动目标集合作为初始可信运动目标集合；
所述多视图几何约束包括：
在已知
Figure BDA0002552227880000041
上SIFT特征匹配点对
Figure BDA0002552227880000042
和相机自运动参数(R,t)已知的条件下，根据所述
Figure BDA0002552227880000043
上SIFT特征匹配点对
Figure BDA0002552227880000044
计算t-1时刻左右像点
Figure BDA0002552227880000045
对应的物点坐标Pt-1；
根据所述物点坐标Pt-1和所述相机自运动参数(R,t)，计算t时刻物点坐标Pt；
将所述t时刻物点坐标Pt反投影到
Figure BDA0002552227880000046
上，记为
Figure BDA0002552227880000049
若
Figure BDA0002552227880000047
则表明
Figure BDA0002552227880000048
四个像点满足多视图几何约束，此四个同名像点位于静止目标表面。
优选地，所述利用所述第一候选运动目标集合、所述第二候选运动目标集合以及所述初始可信运动目标集合，得到可信运动目标集合包括：
根据所述第一候选运动目标集合和所述初始可信运动目标集合，得到所述第一候选运动目标集合中的第一剩余目标集合；
通过分别对所述第一剩余目标集合中每个第一剩余目标进行分析处理，判断所述第一剩余目标是否为可信运动目标；
当判断所述第一剩余目标为可信运动目标时，将其添加到所述可信运动目标集合。
优选地，所述通过分别对所述第一剩余目标集合中每个剩余目标进行分析处理，判断所述剩余目标是否为可信运动目标包括：
根据每个所述第一剩余目标，反跟踪至第t-1帧图像上的可信运动目标集合中；
当反跟踪至第t-1帧图像上的可信运动目标集合中包含所述第一剩余目标且满足高阈值运动目标光流约束时，则判断所述第一剩余目标为可信运动目标，否则，则判断所述第一剩余目标为伪运动目标。
所述高阈值运动目标光流约束指对候选运动目标Ω，当所述候选运动目标包含的像素个数为n个，则该n个像素的r(x,y)超过之前设定阈值x％的个数大于n/2，即表明该候选运动目标具有较强的运动可能性。
优选地，所述利用所述第一候选运动目标集合、所述第二候选运动目标集合以及所述初始可信目标集合，得到可信运动目标集合包括：
利用所述第二候选运动目标集合和所述初始可信目标集合，得到所述第二候选运动目标集合中的第二剩余目标集合；
通过分别对所述第二剩余目标集合中每个第二剩余目标进行分析处理，判断所述第二剩余目标是否为可信运动目标；
当判断所述第二剩余目标为可信运动目标时，将其添加到所述可信运动目标集合。
优选地，所述通过分别对所述第二剩余目标集合中每个第二剩余目标进行分析处理，判断所述第二剩余目标是否为可信运动目标包括：
根据每个所述第二剩余目标，反跟踪至第t-1帧图像上的可信运动目标集合中是否包含所述第二剩余目标；
当反跟踪至第t-1帧图像上的可信运动目标集合中包含所述第二剩余目标且局部满足运动目标光流约束时，则判断所述第二剩余目标为可信运动目标，否则，则判断所述第二剩余目标为伪运动目标。
所述运动目标光流约束指在YOLOv3检测的车辆行人区域s2内，运动目标r(x,y)超过设定阈值的区域范围s1，若
Figure BDA0002552227880000051
则将区域s2视为为运动目标区域。
优选地，所述利用所述第一候选运动目标集合、所述第二候选运动目标集合以及所述初始可信运动目标集合，得到可信运动目标集合：
将所述初始可信运动目标集合添加到所述可信运动目标集合。
根据本发明实施例提供的方案，提出融合多种视觉检测方法的高精度运动目标检测。其有益效果就是能大大提高运动目标检测的精度，降低传统方法的误检率和漏检率。我们以KITTI数据库中的数据为样本进行测试，所提出的方法较传统的背景光流补偿差分法检测准确率提高了19.36％。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于理解本发明，并不构成对本发明的不当限定。
在附图中：
图1是本发明实施例提供的一种相机移动条件下高精度检测运动目标的方法流程图；
图2是本发明实施例提供的相机移动条件下高精度检测运动目标的示意图；
图3是本发明实施例提供的相邻帧双目图像及坐标系；
图4是本发明实施例提供的局部运动目标光流约束示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行详细说明，应当理解，以下所说明的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图1是本发明实施例提供的一种相机移动条件下高精度检测运动目标的方法流程图，如图1所示，包括：
步骤1：在移动机器人移动期间，设置在所述移动机器人上的双目立体相机通过采集当前的场景图像，得到当前的第t-1帧图像和t帧图像；
步骤2：利用改进后的背景光流补偿差分法，计算出所述第t-1帧图像和t帧图像中的包含M个候选运动目标的第一候选运动目标集合；
步骤3：采用基于YOLOv3的行人车辆检测算法计算出所述第t帧图像中的包含N个候选运动目标的第二候选运动目标集合；
步骤4：根据所述第一候选运动目标集合和所述第二候选运动目标集合，确定初始可信运动目标集合；
步骤5：利用所述第一候选运动目标集合、所述第二候选运动目标集合以及所述初始可信运动目标集合，得到可信运动目标集合。
优选地，所述第t-1帧图像包括第t-1帧左图像和第t-1帧右图像；所述第t帧图像包括第t帧左图像和第t帧右图像。
优选地，所述改进后的背景光流补偿差分法是指融入SIFT匹配点筛选策略及动态阈值分割策略的背景光流补偿差分法；
其中，所述SIFT匹配点筛选策略包括：
根据所述
Figure BDA0002552227880000071
四幅图像，计算出多个SIFT匹配点；
计算第i个SIFT匹配点的视差di；
根据所述第i个SIFT匹配点的视差di，计算第i个SIFT点的误差指标因子indei，
Figure BDA0002552227880000072
当indei<1，则将当前第i个SIFT点作为可用于计算相机自运动参数，并进行保存；
其中，所述动态阈值分割策略包括：
计算残差流的马氏距离：
Figure BDA0002552227880000073
和χ2分布在
Figure BDA0002552227880000074
的概率值
Figure BDA0002552227880000075
其中ΣMOOF是残差流的协方差矩阵；
根据所述χ2分布在
Figure BDA0002552227880000076
的概率值，计算
Figure BDA0002552227880000077
若r(x,y)≥ε，则将坐标为(x,y)的像素点作为运动像素，否则，将坐标为(x,y)的像素点作为静止像素；
其中，所述ε的确定方法如下：
令
Figure BDA0002552227880000078
表示t时刻图像视差的均值，d(x,y)表示坐标为(x,y)处的视差值。
Figure BDA0002552227880000079
优选地，所述根据所述第一候选运动目标集合和所述第二候选运动目标集合，确定初始可信运动目标集合包括：
根据所述第一候选运动目标集合和所述第二候选运动目标集合，选取出所述第一候选运动目标集合与所述第二候选运动目标集合施加多视图几何约束，得到施加多视图几何约束后的运动目标集合；
通过对所述施加多视图几何约束后的运动目标集合进行求交集处理，得到交集运动目标集合，并将所述交集运动目标集合作为初始可信运动目标集合；
所述多视图几何约束包括：
在
Figure BDA0002552227880000081
上SIFT特征匹配点对
Figure BDA0002552227880000082
和相机自运动参数(R,t)已知的条件下，根据所述
Figure BDA0002552227880000083
上SIFT特征匹配点对
Figure BDA0002552227880000084
计算t-1时刻左右像点
Figure BDA0002552227880000085
对应的物点坐标Pt-1；
根据所述物点坐标Pt-1和所述相机自运动参数(R,t)，计算t时刻物点坐标Pt；
将所述t时刻物点坐标Pt反投影到
Figure BDA0002552227880000086
上，记为
Figure BDA0002552227880000089
若
Figure BDA0002552227880000087
则表明
Figure BDA0002552227880000088
四个像点满足多视图几何约束，此四个同名像点位于静止目标表面。
优选地，所述利用所述第一候选运动目标集合、所述第二候选运动目标集合以及所述初始可信运动目标集合，得到可信运动目标集合包括：
根据所述第一候选运动目标集合和所述初始可信运动目标集合，得到所述第一候选运动目标集合中的第一剩余目标集合；
通过分别对所述第一剩余目标集合中每个第一剩余目标进行分析处理，判断所述第一剩余目标是否为可信运动目标；
当判断所述第一剩余目标为可信运动目标时，将其添加到所述可信运动目标集合。
优选地，所述通过分别对所述第一剩余目标集合中每个剩余目标进行分析处理，判断所述剩余目标是否为可信运动目标包括：
根据每个所述第一剩余目标，反跟踪至第t-1帧图像上的可信运动目标集合中；
当反跟踪至第t-1帧图像上的可信运动目标集合中包含所述第一剩余目标且满足高阈值运动目标光流约束时，则判断所述第一剩余目标为可信运动目标，否则，则判断所述第一剩余目标为伪运动目标。
所述高阈值运动目标光流约束指对候选运动目标Ω，当所述候选运动目标包含的像素个数为n个，则该n个像素的r(x,y)超过之前设定阈值x％的个数大于n/2，即表明该候选运动目标具有较强的运动可能性。
优选地，所述利用所述第一候选运动目标集合、所述第二候选运动目标集合以及所述初始可信目标集合，得到可信运动目标集合包括：
利用所述第二候选运动目标集合和所述初始可信目标集合，得到所述第二候选运动目标集合中的第二剩余目标集合；
通过分别对所述第二剩余目标集合中每个第二剩余目标进行分析处理，判断所述第二剩余目标是否为可信运动目标；
当判断所述第二剩余目标为可信运动目标时，将其添加到所述可信运动目标集合。
优选地，所述通过分别对所述第二剩余目标集合中每个第二剩余目标进行分析处理，判断所述第二剩余目标是否为可信运动目标包括：
根据每个所述第二剩余目标，反跟踪至第t-1帧图像上的可信运动目标集合中是否包含所述第二剩余目标；
当反跟踪至第t-1帧图像上的可信运动目标集合中包含所述第二剩余目标且局部满足运动目标光流约束时，则判断所述第二剩余目标为可信运动目标，否则，则判断所述第二剩余目标为伪运动目标。
所述运动目标光流约束指在YOLOv3检测的车辆行人区域s2内，运动目标r(x,y)超过设定阈值的区域范围s1，若
Figure BDA0002552227880000091
则将区域s2视为运动目标区域。
优选地，所述利用所述第一候选运动目标集合、所述第二候选运动目标集合以及所述初始可信运动目标集合，得到可信运动目标集合：
将所述初始可信运动目标集合添加到所述可信运动目标集合。
本发明实施例在原有背景光流补偿差分法的基础上，提出了两条措施，能提高原有方法对运动目标的检测精度。措施1：在计算相机自运动参数时，提出特征匹配点筛选策略。通过该策略，去除对自运动参数计算误差影响较大的特征匹配点，提高相机自运动参数的精度；措施2：在由残差流分割运动区域时，提出了一种动态阈值分割方法；解决了用融合方法实现场景运动目标检测系统中融合源的选择问题。在融合源上采用了背景光流补偿差分法、YOLOv3车辆行人检测法、多视图几何约束、运动目标时空连续性约束、高阈值光流约束、局部光流约束。解决了融合源的融合策略问题。
图2是本发明实施例提供的相机移动条件下高精度检测运动目标的示意图，如图2所示，本方案采用提前标定好的双目立体相机，双目立体相机一般架设于移动自主体的前方。
对应要解决的总体问题，先用背景光流补偿差分法计算出候选运动目标。将背景光流补偿差分法检测结果(BOFCD-Background Optical Flow CompensationDifference)和YOLOv3行人车辆检测结果(PVD-Pedestrian and Vehicle Detection)先进行多视图几何约束，去除伪运动目标；然后两者求交集，交集中的元素视为可信运动目标。将BOFCD结果以及PVD结果视为两个集合，两者求交后，在各自的集合中可能还存在交集以外的元素，本文称之为剩余元素。(1)对于BOFCD中剩余的元素，其可能的情况有：运动的行人或者车辆、场景中其他目标。对于行人和车辆，是由于YOLOv3漏检产生，对该目标的有效处理可以弥补YOLOv3漏检对运动目标漏检的影响。此时，将剩余目标反跟踪至前一帧，如在前一帧中，该目标为运动目标，且该目标满足高阈值光流约束，则认为该目标在当前帧中仍为运动目标。如果在前一帧中该目标不是运动目标，则该目标被判为伪运动目标，需要被去除；(2)对于PVD中剩余的元素，主要是光流马氏距离较小的车辆以及行人。由于经过了多视图几何约束，这部分剩余目标具有极大的可能性是运动目标。为了更进一步的确认，仍将该目标反跟踪至前帧图像，若该目标在前帧图像上为运动目标，且该目标局部的光流值满足设定的运动目标判别要求，则将其视为可信的运动目标。具体步骤如下：
第一步：输入第t，t+1帧图像，t初始值为0。
第二步：采用背景光流补偿法计算候选运动目标，记为
Figure BDA0002552227880000101
Ωc表示目标的集合，共包含了m个目标。
第三步：对第t帧图像，采用基于YOLOv3的行人车辆检测算法，得到车辆行人区域
Figure BDA0002552227880000102
Ω′c表示车辆行人目标集合，共包含了n个目标。
第四步：计算Ωr＝Ωc∩Ωc′，Ωr被判为可信运动目标区域。同时计算Ω1＝Ωc-Ωr，以及Ω2＝Ω′c-Ωr。当t>1时，执行第五步，反之t＝t+1，返回第一步。
第五步：对Ω1中的每个目标，反跟踪至第t-1帧图像上，若反追踪目标为运动目标、且满足高阈值运动目标光流约束，则认为该目标为运动目标，加入可信运动目标集合。反之，被视为伪运动目标，去除。
第六步：对Ω2中的每个目标，反跟踪至第t-1帧图像上，若反追踪目标为运动目标，且局部满足运动目标光流约束，则被视为运动目标，加入可信运动目标集合。t＝t+1，返回第一步。
下面对每个步骤中采用的技术进行具体阐述。
1、背景光流补偿差分法检测运动目标
具体步骤如下：
第一步：计算混合光流
在本发明中，混合光流指由左相机在相邻两时刻采集图像所计算的光流场，记为fmix。
第二步：计算运动背景光流
双目相机刚性连接，架设于自主移动体(无人车、移动机器人等)前方，自主移动体移动过程中，实时采集周围场景图像。令t-1，t时刻，左右相机采集图像分别为
Figure BDA0002552227880000111
如图3所示。在t-1时刻，以左相机坐标系为t-1时刻世界坐标系Ot-1Xt- 1Yt-1Zt-1；在t时刻，仍以左相机坐标系为t时刻世界坐标系OtXtYtZt，坐标系Ot-1Xt-1Yt-1Zt-1和OtXtYtZt之间的转换关系为R和t，R和t即为相机自运动参数。其中，
Figure BDA0002552227880000112
含有3个独立欧拉角变量，t＝[Tx Ty Tz]，含3个变量。
相机自运动参数计算，需要大于3对的特征匹配点作为输入，本发明采用SIFT(Scale-Invariant Feature Transform)特征匹配点。在本发明中，并非
Figure BDA0002552227880000113
Figure BDA0002552227880000121
上所有的SIFT匹配点都参与相机自运动参数的计算。首先要排除那些像点误差对三维重建后物点误差影响较大的SIFT匹配点，用剩余的SIFT匹配点参与相机自运动参数的计算，以保证自运动参数的计算精度。
SIFT匹配点筛选，包括：
步骤2.1、对
Figure BDA0002552227880000122
四幅图像，计算SIFT匹配点，假定为n1个。
步骤2.2、计算第i个SIFT匹配点的视差di。
步骤2.3、计算第i个SIFT点的误差指标因子indei，
Figure BDA0002552227880000123
步骤2.4、如果indei<1，则表明当前第i个SIFT点当像点误差较小时，其物点误差也较小，可用于计算相机自运动参数，存入变量S中。
步骤2.5、重复步骤2)～4)，将所有满足用于参与相机自运动参数的SIFT匹配点存入S中。
自运动参数的计算
先设R、t参数初始值为0。
1)设S中共有n2对SIFT像点(xt-1,xt)，其中，
Figure BDA0002552227880000124
Figure BDA0002552227880000125
表示t-1和t时刻左右图像对应的SIFT匹配点对。
2)将xt-1代入式(1)计算t-1时刻同名像点对应的物点Pt-1，其中d表示两个同名点的视差。Pt-1所在的坐标系为Ot-1Xt-1Yt-1Zt-1。
Figure BDA0002552227880000126
3)利用式子(2)求得Pt-1在坐标系OtXtYtZt下的物点坐标Pt。
Pt＝RPt-1+t (2)
4)根据式(1)的反解，计算Pt在
Figure BDA0002552227880000131
上的反投影像点
Figure BDA0002552227880000132
5)以式(3)所示为目标函数，采用高斯牛顿迭代法求解。
Figure BDA0002552227880000133
第三步：残差流计算
令
Figure BDA0002552227880000134
和
Figure BDA0002552227880000135
之间的混合光流记为fmix，
Figure BDA0002552227880000136
和
Figure BDA0002552227880000137
之间运动背景光流记为fmbof，则运动目标光流fmoof＝(umoof，vmoof)的计算公式如下：
fmoof＝fmix-fmbof
Figure BDA0002552227880000138
第四步：从残差流中分离出运动区域
残差流的马氏距离为：
Figure BDA0002552227880000139
其中ΣMOOF是残差流的协方差矩阵。令
Figure BDA00025522278800001310
表示χ2分布在
Figure BDA00025522278800001311
的概率值，
Figure BDA00025522278800001312
若r(x,y)≥ε，则表示坐标为(x,y)的像素点为运动像素，反之为静止像素。ε的确定方法如下。令
Figure BDA00025522278800001313
表示t时刻图像视差的均值，d(x,y)表示坐标为(x,y)处的视差值。
Figure BDA00025522278800001314
2.YOLOv3车辆行人检测
本发明中，采用YOLOv3对车辆行人进行检测。
2.1多视图几何约束
2.1.1用多视图集合约束判断单个匹配点的运动属性
给定
Figure BDA00025522278800001315
上SIFT特征匹配点对
Figure BDA00025522278800001316
相机自运动参数(R,t)的条件下，单个特征点运动属性的具体的判定方法如下：
1)通过式(4)计算t-1时刻左右像点
Figure BDA0002552227880000141
对应的物点坐标Pt-1。
Figure BDA0002552227880000142
2)根据相机自运动参数计算t时刻物点坐标
Pt＝RPt-1+t (5)
3)将Pt反投影到
Figure BDA0002552227880000143
上，记为pt′l、pt′r。若
Figure BDA0002552227880000144
则表明
Figure BDA0002552227880000145
四个像点满足多视图几何约束，此四个同名像点位于静止目标表面。本发明ε设置为1pixel。
2.1.2用特征点运动目标属性估计区域的运动属性
所需变量定义如下：
Ω：候选运动目标。
n1：Ω区域内存在特征匹配点的个数。
n2：Ω区域内满足多视几何约束点的个数，即静态点的个数。
伪运动目标判别准则如下：
1)若目标区域Ω内n2＝0；则Ω为动态目标。
2)如果运动区域内匹配点个数很少，n2<3或者n1<3，则该区域为运动目标区域。
3)若n2≥3，定义
Figure BDA0002552227880000146
若r<ε，则为动态目标；反之为静态目标。ε为经验阈值，在发明中取为0.3。
3、前帧可信运动目标约束
假定当前帧为第t帧，候选运动目标为
Figure BDA0002552227880000147
的大小为w×h，在第t帧图像上的中心坐标为(xc,yc)；则在第t-1帧上的搜索区域为以(xc,yc)为中心，2w×2h区域内进行跟踪搜索。反跟踪的实质就是在第t帧图像上获取目标模板，在第t-1帧上计算出模板所在的位置。如果该位置是运动区域，则认为目标在第t帧上也是运动目标。
具体步骤如下：
步骤一：在
Figure BDA0002552227880000151
上截取模板图像temp，
Figure BDA0002552227880000152
Figure BDA0002552227880000153
表示截取
Figure BDA0002552227880000154
上从yc-h行到yc+h行，xc-w列到xc+w列的子图像。
步骤二：在
Figure BDA0002552227880000155
上计算temp的匹配区域
Figure BDA0002552227880000156
①计算temp的HOG特征ftemp；②在
Figure BDA0002552227880000157
上，以(xc,yc)为中心，2w×2h区域范围内搜索确定各候选匹配区域，搜索步长step_x＝w/4；stepy＝h/4；③计算各候选匹配区域的HOG特征fcan。④计算ftemp和所有fcan的欧式距离，若欧式距离超过设定的阈值(阈值一般为经验值)；则认为对应的区域为模板temp在
Figure BDA0002552227880000158
上对应的区域，令为集合
Figure BDA0002552227880000159
步骤三：如果
Figure BDA00025522278800001510
中含有元素在
Figure BDA00025522278800001511
上被判为是运动区域，则认为该目标在
Figure BDA00025522278800001512
上仍为运动目标，即在第t帧上被判为运动目标。
4、高阈值运动目标光流约束
高阈值光流约束指，对候选运动目标Ω，假定其包含的像素个数为n个，则该n个像素的r(x,y)超过之前设定阈值x％的个数大于n/2，即表明该目标具有较强的运动可能性。在本发明中，x＝10。
5、局部运动目标光流约束
假定YOLOv3检测的车辆行人区域如图4中所示，在该区域内，运动目标r(x,y)超过设定阈值的范围的面积为s1，车辆行人区域面积为s2；若
Figure BDA00025522278800001513
则认为车辆行人区域为运动目标区域。
本发明提出了融合背景光流补偿差分法、YOLOv3车辆行人检测法、多视图几何约束、运动目标时空连续性约束、高阈值光流约束、局部光流约束的移动条件下运动目标检测总体方案。提出了详细的融合策略。将背景光流补偿差分法(BOFCD)检测结果和YOLOv3行人车辆(PVD)检测结果先进行多视图几何约束，去除伪运动目标；然后两者求交集，交集中的元素视为可信运动目标。将BOFCD结果以及PVD结果视为两个集合，两者求交后，在各自的集合中可能还存在交集以外的元素，本文称之为剩余元素。对于BOFCD中剩余的元素，反跟踪至前一帧，如在前一帧中该目标为运动目标，且该目标在本帧中满足高阈值光流约束，则在本帧中被视为运动目标，加入可信运动目标集合中；反之被视为伪运动目标，需要去除。对于PVD中剩余的元素，反跟踪至前帧图像，若该目标在前帧图像上为运动目标，且该目标局部的光流值满足设定的运动目标判别要求，则将其视为可信的运动目标。
根据本发明实施例提供的方案，能大大提高运动目标检测的精度，降低传统方法的误检率和漏检率。以KITTI数据库中的数据为样本进行测试，所提出的方法较传统的背景光流补偿差分法检测准确率提高了19.36％。
尽管上文对本发明进行了详细说明，但是本发明不限于此，本技术领域技术人员可以根据本发明的原理进行各种修改。因此，凡按照本发明原理所作的修改，都应当理解为落入本发明的保护范围。

Claims (8)

1.一种相机移动条件下高精度检测运动目标的方法，其特征在于，包括：
在移动机器人移动期间，设置在所述移动机器人上的双目立体相机通过采集当前的场景图像，得到当前的第t-1帧图像和第t帧图像；
利用改进后的背景光流补偿差分法，计算出所述第t-1帧图像和t帧图像中的包含M个候选运动目标的第一候选运动目标集合；所述改进后的背景光流补偿差分法是指融入SIFT匹配点筛选策略及动态阈值分割策略的背景光流补偿差分法；
采用基于YOLOv3的行人车辆检测算法计算出所述第t帧图像中的包含N个候选运动目标的第二候选运动目标集合；
根据所述第一候选运动目标集合和所述第二候选运动目标集合，确定初始可信运动目标集合，其包括：根据所述第一候选运动目标集合和所述第二候选运动目标集合，选取出所述第一候选运动目标集合与所述第二候选运动目标集合施加多视图几何约束，得到施加多视图几何约束后的运动目标集合；通过对所述施加多视图几何约束后的运动目标集合进行求交集处理求，得到交集运动目标集合，并将所述交集运动目标集合作为初始可信运动目标集合；
利用所述第一候选运动目标集合、所述第二候选运动目标集合以及所述初始可信运动目标集合，得到可信运动目标集合，其包括：根据所述第一候选运动目标集合和所述初始可信运动目标集合，得到所述第一候选运动目标集合中的第一剩余目标集合；通过分别对所述第一剩余目标集合中每个第一剩余目标进行分析处理，判断所述第一剩余目标是否为可信运动目标；当判断所述第一剩余目标为可信运动目标时，将其添加到所述可信运动目标集合。
2.根据权利要求1所述的相机移动条件下高精度检测运动目标的方法，其特征在于，所述第t-1帧图像包括第t-1帧左图像
Figure FDA0003614001970000011
和第t-1帧右图像
Figure FDA0003614001970000021
所述第t帧图像包括第t帧左图像
Figure FDA0003614001970000022
和第t帧右图像
Figure FDA0003614001970000023
3.根据权利要求2所述的相机移动条件下高精度检测运动目标的方法，其特征在于，
其中，所述SIFT匹配点筛选策略包括：
根据所述
Figure FDA0003614001970000024
四幅图像，计算出多个SIFT匹配点；
计算第i个SIFT匹配点的视差di；
根据所述第i个SIFT匹配点的视差di，计算第i个SIFT点的误差指标因子indei，
Figure FDA0003614001970000025
当indei＜1，则将当前第i个SIFT点作为可用于计算相机自运动参数，并进行保存；
其中，所述动态阈值分割策略包括：
计算残差流的马氏距离：
Figure FDA0003614001970000026
和χ2分布在
Figure FDA0003614001970000027
的概率值εfmoof(x,y)，其中ΣMOOF是残差流的协方差矩阵；
根据所述χ2分布在
Figure FDA0003614001970000028
的概率值，计算r(x,y)＝1-εfmoof(x,y)；
若r(x,y)≥ε，则将坐标为(x,y)的像素点作为运动像素，否则，将坐标为(x,y)的像素点作为静止像素；
其中，所述ε的确定方法如下：
令
Figure FDA0003614001970000029
表示t时刻图像视差的均值，d(x,y)表示坐标为(x,y)处的视差值；
Figure FDA00036140019700000210
4.根据权利要求1所述的相机移动条件下高精度检测运动目标的方法，其特征在于，
所述多视图几何约束包括：
在
Figure FDA0003614001970000031
上SIFT特征匹配点对
Figure FDA0003614001970000032
和相机自运动参数(R,t)已知的条件下，根据所述
Figure FDA0003614001970000033
上SIFT特征匹配点对
Figure FDA0003614001970000034
计算t-1时刻左右像点
Figure FDA0003614001970000035
对应的物点坐标Pt-1；
根据所述物点坐标Pt-1和所述相机自运动参数(R,t)，计算t时刻物点坐标Pt；
将所述t时刻物点坐标Pt反投影到
Figure FDA0003614001970000036
上，记为
Figure FDA0003614001970000037
若
Figure FDA0003614001970000038
则表明
Figure FDA0003614001970000039
四个像点满足多视图几何约束，此四个同名像点位于静止目标表面。
5.根据权利要求3所述的相机移动条件下高精度检测运动目标的方法，其特征在于，所述通过分别对所述第一剩余目标集合中每个剩余目标进行分析处理，判断所述剩余目标是否为可信运动目标包括：
根据每个所述第一剩余目标，反跟踪至第t-1帧图像上的可信运动目标集合中；
当反跟踪至第t-1帧图像上的可信运动目标集合中包含所述第一剩余目标且满足高阈值运动目标光流约束时，则判断所述第一剩余目标为可信运动目标，否则，则判断所述第一剩余目标为伪运动目标；
所述高阈值运动目标光流约束指对候选运动目标Ω，当所述候选运动目标包含的像素个数为n个，则该n个像素的r(x,y)超过之前设定阈值x％的个数大于n/2，即表明该候选运动目标具有较强的运动可能性。
6.根据权利要求4所述的相机移动条件下高精度检测运动目标的方法，其特征在于，所述利用所述第一候选运动目标集合、所述第二候选运动目标集合以及所述初始可信运动目标集合，得到可信运动目标集合包括：
利用所述第二候选运动目标集合和所述初始可信目标集合，得到所述第二候选运动目标集合中的第二剩余目标集合；
通过分别对所述第二剩余目标集合中每个第二剩余目标进行分析处理，判断所述第二剩余目标是否为可信运动目标；
当判断所述第二剩余目标为可信运动目标时，将其添加到所述可信运动目标集合。
7.根据权利要求6所述的相机移动条件下高精度检测运动目标的方法，其特征在于，所述通过分别对所述第二剩余目标集合中每个第二剩余目标进行分析处理，判断所述第二剩余目标是否为可信运动目标包括：
根据每个所述第二剩余目标，反跟踪至第t-1帧图像上的可信运动目标集合中是否包含所述第二剩余目标；
当反跟踪至第t-1帧图像上的可信运动目标集合中包含所述第二剩余目标且局部满足运动目标光流约束时，则判断所述第二剩余目标为可信运动目标，否则，则判断所述第二剩余目标为伪运动目标；
所述运动目标光流约束指在YOLOv3检测的车辆行人区域s2内，运动目标r(x,y)超过设定阈值的区域范围s1，若
Figure FDA0003614001970000041
则将区域s2为运动目标区域。
8.根据权利要求1所述的相机移动条件下高精度检测运动目标的方法，其特征在于，所述利用所述第一候选运动目标集合、所述第二候选运动目标集合以及所述初始可信运动目标集合，得到可信运动目标集合：
将所述初始可信运动目标集合添加到所述可信运动目标集合。
CN202010580724.3A 2020-06-23 2020-06-23 一种相机移动条件下高精度检测运动目标的方法 Active CN111815667B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010580724.3A CN111815667B (zh) 2020-06-23 2020-06-23 一种相机移动条件下高精度检测运动目标的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010580724.3A CN111815667B (zh) 2020-06-23 2020-06-23 一种相机移动条件下高精度检测运动目标的方法

Publications (2)

Publication Number Publication Date
CN111815667A CN111815667A (zh) 2020-10-23
CN111815667B true CN111815667B (zh) 2022-06-17

Family

ID=72845634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010580724.3A Active CN111815667B (zh) 2020-06-23 2020-06-23 一种相机移动条件下高精度检测运动目标的方法

Country Status (1)

Country Link
CN (1) CN111815667B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102110297A (zh) * 2011-03-02 2011-06-29 无锡慧眼电子科技有限公司 一种基于累积光流和双背景滤波的探测方法
CN102497505A (zh) * 2011-12-08 2012-06-13 合肥博微安全电子科技有限公司 基于改进的Meanshift算法的多球机联动目标跟踪方法及系统
CN102799883A (zh) * 2012-06-29 2012-11-28 广州中国科学院先进技术研究所 一种从视频图像中提取运动目标的方法及装置
CN103065329A (zh) * 2013-01-15 2013-04-24 西北工业大学 一种空间绳系机器人相机自运动检测与补偿方法
CN106447696A (zh) * 2016-09-29 2017-02-22 郑州轻工业学院 一种基于双向sift流运动评估的大位移目标稀疏跟踪方法
CN106952286A (zh) * 2017-03-21 2017-07-14 中国人民解放军火箭军工程大学 基于运动显著图和光流矢量分析的动态背景目标分割方法
CN107146239A (zh) * 2017-04-21 2017-09-08 武汉大学 卫星视频运动目标检测方法及系统
CN208314856U (zh) * 2018-04-11 2019-01-01 湖南城市学院 一种用于单目机载目标检测的系统
CN109544592A (zh) * 2018-10-26 2019-03-29 天津理工大学 针对相机移动的运动目标检测算法
CN109978917A (zh) * 2019-03-12 2019-07-05 黑河学院 一种运动目标监测系统监控装置及其监控方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102110297A (zh) * 2011-03-02 2011-06-29 无锡慧眼电子科技有限公司 一种基于累积光流和双背景滤波的探测方法
CN102497505A (zh) * 2011-12-08 2012-06-13 合肥博微安全电子科技有限公司 基于改进的Meanshift算法的多球机联动目标跟踪方法及系统
CN102799883A (zh) * 2012-06-29 2012-11-28 广州中国科学院先进技术研究所 一种从视频图像中提取运动目标的方法及装置
CN103065329A (zh) * 2013-01-15 2013-04-24 西北工业大学 一种空间绳系机器人相机自运动检测与补偿方法
CN106447696A (zh) * 2016-09-29 2017-02-22 郑州轻工业学院 一种基于双向sift流运动评估的大位移目标稀疏跟踪方法
CN106952286A (zh) * 2017-03-21 2017-07-14 中国人民解放军火箭军工程大学 基于运动显著图和光流矢量分析的动态背景目标分割方法
CN107146239A (zh) * 2017-04-21 2017-09-08 武汉大学 卫星视频运动目标检测方法及系统
CN208314856U (zh) * 2018-04-11 2019-01-01 湖南城市学院 一种用于单目机载目标检测的系统
CN109544592A (zh) * 2018-10-26 2019-03-29 天津理工大学 针对相机移动的运动目标检测算法
CN109978917A (zh) * 2019-03-12 2019-07-05 黑河学院 一种运动目标监测系统监控装置及其监控方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Moving object detection using an object motion reflection model of motion vectors;Jisang Yoo and Gyu-cheol Lee;《symmetry》;20190102;第1-13页 *
New trends on moving object detection in video images captured by a moving camera: A survey;Mehran Yazdi et al;《Computer Science Review》;20181231;第157-177页 *
一种基于光流的无人机序列影像背景运动补偿方法;刘冰 等;《信息工程大学学报》;20161031;第17卷(第5期);第626-629页 *
启发式RRT算法的AGV路径规划;杨瑶 等;《计算机工程与应用》;20190531;第125-133页 *

Also Published As

Publication number Publication date
CN111815667A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN111693972B (zh) 一种基于双目序列图像的车辆位置与速度估计方法
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN111563415B (zh) 一种基于双目视觉的三维目标检测系统及方法
Du et al. Car detection for autonomous vehicle: LIDAR and vision fusion approach through deep learning framework
Yao et al. Estimating drivable collision-free space from monocular video
WO2022188663A1 (zh) 一种目标检测方法及装置
Parra et al. Robust visual odometry for vehicle localization in urban environments
KR20180056685A (ko) 비 장애물 영역 검출을 위한 시스템 및 방법
JP6574611B2 (ja) 立体画像に基づいて距離情報を求めるためのセンサシステム
Ding et al. Vehicle pose and shape estimation through multiple monocular vision
CN112889071A (zh) 用于确定二维图像中深度信息的系统和方法
CN111814602B (zh) 一种基于视觉的智能车环境动态目标检测的方法
CN111738033B (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
CN109961461B (zh) 一种基于三维分层图模型的多运动目标跟踪方法
Arain et al. Improving underwater obstacle detection using semantic image segmentation
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
Nair Camera-based object detection, identification and distance estimation
CN111098850A (zh) 一种自动停车辅助系统及自动泊车方法
CN116310673A (zh) 一种基于点云与图像特征融合的三维目标检测方法
Valente et al. Fusing laser scanner and stereo camera in evidential grid maps
CN117576665B (zh) 一种面向自动驾驶的单摄像头三维目标检测方法及系统
Mehtab et al. 3D vehicle detection using cheap LiDAR and camera sensors
CN117232545A (zh) 一种基于深度学习道路环境感知的路径规划方法
CN116664851A (zh) 一种基于人工智能的自动驾驶数据提取方法
CN116189150A (zh) 基于融合输出的单目3d目标检测方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant