CN111814602A - 一种基于视觉的智能车环境动态目标检测的方法 - Google Patents

一种基于视觉的智能车环境动态目标检测的方法 Download PDF

Info

Publication number
CN111814602A
CN111814602A CN202010580747.4A CN202010580747A CN111814602A CN 111814602 A CN111814602 A CN 111814602A CN 202010580747 A CN202010580747 A CN 202010580747A CN 111814602 A CN111814602 A CN 111814602A
Authority
CN
China
Prior art keywords
image
motion
optical flow
calculating
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010580747.4A
Other languages
English (en)
Other versions
CN111814602B (zh
Inventor
袁建英
蒋涛
李平
漆军
周楠
谢昱锐
付克昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu University of Information Technology
Original Assignee
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu University of Information Technology filed Critical Chengdu University of Information Technology
Priority to CN202010580747.4A priority Critical patent/CN111814602B/zh
Publication of CN111814602A publication Critical patent/CN111814602A/zh
Application granted granted Critical
Publication of CN111814602B publication Critical patent/CN111814602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于视觉的智能车环境动态目标检测的方法,包括:在智能车移动期间,设置在所述智能车上的双目立体相机通过采集当前的场景图像,得到当前的双目视频序列图像;从所述双目视频序列图像中选取第t时刻图像和t‑1时刻图像,并利用所述第t时刻图像和所述t‑1时刻图像,计算混合光流;根据所述第t时刻图像、所述t‑1时刻图像,计算所述双目立体相机运动背景光流;利用所述混合光流和所述运动背景光流,得到仅由目标运动产生的残差流;通过对所述残差流进行处理,得到独立的运动目标。

Description

一种基于视觉的智能车环境动态目标检测的方法
技术领域
本发明涉及运动目标检测技术领域,特别是涉及一种基于视觉的智能车环境动态目标检测的方法。
背景技术
智能车行驶环境复杂,具有高动态性、高随机性等特点。对环境内动态目标的精确检测以及轨迹预测是智能车行为决策与控制的基础,是确保智能车安全行驶的关键,尤其是多车道行驶变道、从高速辅道汇入高速公路等情形时,场景内目标的运动信息对智能车决策显得尤为重要。
当前,智能车对运动目标的感知主要有基于激光雷达的方法和基于视觉的方法。激光雷达能够获得场景目标距离本车的精确距离信息,但是受角分辨率限制,对远距离小目标的探测能力较弱;除此以外,其高昂的价格也成为增加智能车成本的因素之一。相反,视觉传感器具有成本低廉、体积小,重量轻、信息大、算法复用性好等优势而备受关注。
现有技术的解决方案有如下三种:
(1)背景补偿差分法
背景补偿差分法的核心思想是将动态背景问题转化为静态背景问题,如此可直接利用相机静止条件下(静态背景)下各种运动目标检测方法。将动态背景问题转化为静态背景问题的关键为“背景补偿”。当相机运动时,相邻两帧图像的背景将发生运动,“背景补偿”的目的就是计算出背景的运动模型,借助该模型,将当前帧背景反推回运动前,以此得到估计的静态背景。计算背景运动参数首先要建立恰当的静止背景运动参数模型(全局运动)。根据全局运动参数模型的不同,可分为基于基础矩阵的方法、基于单应矩阵的方法、基于仿射变换的方法,以及基于混合几何模型的方法。
不管是单应约束,基本矩阵约束还是仿射变换约束,都有其特定的适用范围。单应矩阵仅适合于平面场景、基本矩阵仅能将一幅图像的像点映射到另一图像的一条线上、仿射变换仅仅是两幅图像的近似约束。因此,背景补偿差分法检测运动目标时存在原理上不可克服的缺陷。
(2)光流特征分类法
光流特征分类法认为背景运动产生的光流与目标运动产生的光流之间存在差异,故而可以根据这两类光流的差异性,找出运动目标。比如,兰红等认为场景中绝大部分背景的运动状态是一致并且是主要的。他们据此设计了基于光流的动态目标检测方法。首先,利用LK光流法得到相邻两幅图像的特征点光流,并同时创建光流长度,角度的状态向量。通过建立整幅图像光流长度、角度的直方图,去除直方图中最密集区域对应的特征点,进而初步去除背景。然后利用中心迭代法去除不属于目标运动区域的噪声特征点;最后,通过前N帧图像目标特征点的最大交集得到属于目标的稳定特征点并在后续帧中进行跟踪。崔智高等认为运动目标内部和场景背景的光流值大小和方向趋于一致,仅在目标与背景的边界处存在较大的差异。利用该性质,他们首先对目标边界进行定位。然后通过点在多边形内部原理获得边界内部的稀疏像素点,最后以超像素为节点,利用混合高斯模型拟合的表观信息和超像素的时空邻域关系构建马尔可夫随机场模型的能量函数,并通过使目标函数能量最小化得到最终的运动目标检测结果。
基于光流特征分类法的运动目标检测,其核心点是运动目标产生的光流在整体混合光流中存在可辨识。这在一些特定的场景下是可以实现的,比如智能车向前直行,背景的光流具有固定的特征,此时容易对背景光流特性进行建模;但是在车辆转弯时,背景光流和转弯大小、背景物结构都有很大关系,模型很难建立。因此光流特征分类法适应性有限。
(3)背景光流补偿差分法
该类方法一般分为三步。第一步:计算相机自运动参数。第二步:计算背景运动产生的光流场。第三步:从运动目标光流场中分割出运动目标。
该方法目前存在的问题有:(1)在计算相机自运动参数时误差多大,导致后续残差流计算误差大,进而导致运动目标分割准确率不高;(2)由残差流进行运动目标分割时,采用固定阈值,对不同图像的适应性较差;(3)计算运动区域时,仅利用了三维信息中的XOZ平面的数据。由于未对地面数据进行剔除,会出现地面数据将两个隔得很开的目标粘连起来的情况,导致单个目标无法分割。
发明内容
根据本发明实施例提供的方案解决的技术问题是用双目相机实现智能汽车行驶环境任意动态障碍物检测。分项问题包括:(1)相机自运动参数计算时相邻两时刻四幅图像同名特征点的选择策略问题;(2)由残差场分割出运动区域阈值设置问题;(3)由运动区域提取单个运动目标问题。
根据本发明实施例提供的一种基于视觉的智能车环境动态目标检测的方法,包括:
在智能车移动期间,设置在所述智能车上的双目立体相机通过采集当前的场景图像,得到当前的双目视频序列图像;
从所述双目视频序列图像中选取第t时刻图像和t-1时刻图像,并利用所述第t时刻图像和所述t-1时刻图像,计算混合光流;
根据所述第t时刻图像、所述t-1时刻图像,计算所述双目立体相机运动背景光流;
利用所述混合光流和所述运动背景光流,得到仅由目标运动产生的残差流;
通过对所述残差流进行处理,得到独立的运动目标。
优选地,所述混合光流是指由所述双目立体相机的左相机在相邻两时刻采集图像所计算的光流场。
优选地,所述根据所述第t时刻图像、所述t-1时刻图像,计算所述双目立体相机运动背景光流包括:
根据所述第t时刻图像、所述t-1时刻图像,计算出n个SIFT匹配点;
利用基于视差的SIFT匹配点筛选策略,过滤掉对所述双目立体相机自运动参数计算误差较大的SIFT匹配点,得到m个有效SIFT匹配点;
利用所述有效SIFT匹配点,计算所述双目立体相机的自运动参数;
根据所述双目立体相机的自运动参数,计算所述双目立体相机运动背景光流;
其中,n>m,且,n和m均为正整数。
优选地,所述利用所述混合光流和所述运动背景光流,得到仅由目标运动产生的残差流包括:
通过将所述混合光流与所述运动背景光流进行相减处理,得到仅由目标运动产生的残差流。
优选地,所述通过对所述残差流进行处理,得到独立的运动目标包括:
采用动态阈值分割法,从所述残差流中分割出运动区域;
通过结合2D和3D信息的方法,从所述运动区域内分割出独立的运动目标。
优选地,所述利用基于视差的SIFT匹配点筛选策略,过滤掉对所述双目立体相机自运动参数计算误差较大的SIFT匹配点,得到m个有效SIFT匹配点包括:
分别计算第i个SIFT匹配点的视差di
根据所述第i个SIFT匹配点的视差di,计算第i个SIFT点的误差指标因子indei
当所述第i个SIFT点的误差指标因子indei小于1时,则将所述第第i个SIFT匹配点作为有效SIFT匹配点;
当所述第i个SIFT点的误差指标因子indei不小于1时,则过滤掉所述第i个SIFT匹配点。
优选地,所述根据所述第i个SIFT匹配点的视差di,计算第i个SIFT点的误差指标因子indei的公式为:
Figure BDA0002552226980000041
优选地,所述通过结合2D和3D信息的方法,从所述运动区域内分割出独立的运动目标包括:
利用3D信息对所述运动区域进行目标粗分割处理,得到粗分割目标;
利用2D信息对所述粗分割目标进行二次分割处理,得到独立的运动目标。
优选地,所述目标粗分割包括:地面点云去除、XOZ平面栅格图像的建立以及目标分割。
根据本发明实施例提供的方案,提出融合多种视觉检测方法的高精度运动目标检测。其有益效果就是能大大提高运动目标检测的精度,降低传统方法的误检率和漏检率。以KITTI数据库中的数据为样本进行测试,所提出的方法较传统的背景光流补偿差分法检测准确率提高了12.45%。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于理解本发明,并不构成对本发明的不当限定。
在附图中:
图1是本发明实施例提供的一种基于视觉的智能车环境动态目标检测的方法流程图;
图2是本发明实施例提供的基于视觉的智能车环境动态目标检测的示意图;
图3是本发明实施例提供的相邻帧双目图像及坐标系示意图;
图4是本发明实施例提供的世界坐标系的建立示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行详细说明,应当理解,以下所说明的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
图1是本发明实施例提供的一种基于视觉的智能车环境动态目标检测的方法,如图1所示,包括:
步骤1:在智能车移动期间,设置在所述智能车上的双目立体相机通过采集当前的场景图像,得到当前的双目视频序列图像;
步骤2:从所述双目视频序列图像中选取第t时刻图像和t-1时刻图像,并利用所述第t时刻图像和所述t-1时刻图像,计算混合光流;
步骤3:根据所述第t时刻图像、所述t-1时刻图像,计算所述双目立体相机运动背景光流;
步骤4:利用所述混合光流和所述运动背景光流,得到仅由目标运动产生的残差流;
步骤5:通过对所述残差流进行处理,得到独立的运动目标。
优选地,所述混合光流是指由所述双目立体相机的左相机在相邻两时刻采集图像所计算的光流场。
优选地,所述根据所述第t时刻图像、所述t-1时刻图像,计算所述双目立体相机运动背景光流包括:
根据所述第t时刻图像、所述t-1时刻图像,计算出n个SIFT匹配点;
利用基于视差的SIFT匹配点筛选策略,过滤掉对所述双目立体相机自运动参数计算误差较大的SIFT匹配点,得到m个有效SIFT匹配点;
利用所述有效SIFT匹配点,计算所述双目立体相机的自运动参数;
根据所述双目立体相机的自运动参数,计算所述双目立体相机运动背景光流;
其中,n>m,且,n和m均为正整数。
优选地,所述利用所述混合光流和所述运动背景光流,得到仅由目标运动产生的残差流包括:
通过将所述混合光流与所述运动背景光流进行相减处理,得到仅由目标运动产生的残差流。
优选地,所述通过对所述残差流进行处理,得到独立的运动目标包括:
采用动态阈值分割法,从所述残差流中分割出运动区域;
通过结合2D和3D信息的方法,从所述运动区域内分割出独立的运动目标。
优选地,所述利用基于视差的SIFT匹配点筛选策略,过滤掉对所述双目立体相机自运动参数计算误差较大的SIFT匹配点,得到m个有效SIFT匹配点包括:
分别计算第i个SIFT匹配点的视差di
根据所述第i个SIFT匹配点的视差di,计算第i个SIFT点的误差指标因子indei
当所述第i个SIFT点的误差指标因子indei小于1时,则将所述第第i个SIFT匹配点作为有效SIFT匹配点;
当所述第i个SIFT点的误差指标因子indei不小于1时,则过滤掉所述第i个SIFT匹配点。
优选地,所述根据所述第i个SIFT匹配点的视差di,计算第i个SIFT点的误差指标因子indei的公式为:
Figure BDA0002552226980000061
优选地,所述通过结合2D和3D信息的方法,从所述运动区域内分割出独立的运动目标包括:
利用3D信息对所述运动区域进行目标粗分割处理,得到粗分割目标;
利用2D信息对所述粗分割目标进行二次分割处理,得到独立的运动目标。
优选地,所述目标粗分割包括:地面点云去除、XOZ平面栅格图像的建立以及目标分割。
图2是本发明实施例提供的基于视觉的智能车环境动态目标检测的示意图,如图2所示,对于输入的双目视频序列图像,取前后两个时刻立体图像,先计算相邻时刻的混合光流MOF,再计算运动背景光流MBOF,两者求差得到运动目标光流MOOF。MOOF仅包含了由运动目标产生的光流,故而对其进行分割,即可得到运动目标区域。所分割出的运动目标区域可能包含了多个目标,对单个运动目标进行提取,以得到精确的单个运动目标。
1混合光流的计算
在本发明中,混合光流指由左相机在相邻两时刻采集图像所计算的光流场,记为fmix
2计算运动背景光流
在计算背景光流前,需要先计算相机的自运动参数。
2.1相机自运动参数计算
(1)相机自运动参数的定义
双目相机刚性连接,架设于智能车前方,车辆行驶过程中,实时采集周围场景图像。令t-1,t时刻,左右相机采集图像分别为
Figure BDA0002552226980000071
如图3所示。在t-1时刻,以左相机坐标系为t-1时刻世界坐标系Ot-1Xt-1Yt-1Zt-1;在t时刻,仍以左相机坐标系为t时刻世界坐标系OtXtYtZt,坐标系Ot-1Xt-1Yt-1Zt-1和OtXtYtZt之间的转换关系为R和t,R和t即为相机自运动参数。其中,
Figure BDA0002552226980000072
含有3个独立欧拉角变量,t=[Tx Ty Tz],含3个变量。
相机自运动参数计算,需要大于3对的特征匹配点作为输入,本发明采用SIFT(Scale-Invariant Feature Transform)特征匹配点。在本发明中,并非
Figure BDA0002552226980000073
Figure BDA0002552226980000074
上所有的SIFT匹配点都参与相机自运动参数的计算。首先要排除那些像点误差对三维重建后物点误差影响较大的SIFT匹配点,用剩余的SIFT匹配点参与相机自运动参数的计算,以保证自运动参数的计算精度。
(2)SIFT匹配点筛选
1)对
Figure BDA0002552226980000075
四幅图像,计算SIFT匹配点,假定为n1个。
2)计算第i个SIFT匹配点的视差di
3)计算第i个SIFT点的误差指标因子indei
Figure BDA0002552226980000076
4)如果indei<1,则表明当前第i个SIFT点当像点误差较小时,其物点误差也较小,可用于计算相机自运动参数,存入变量S中。
5)重复步骤2)~4),将所有满足用于参与相机自运动参数的SIFT匹配点存入S中。
(3)自运动参数的计算
先设R、t参数初始值为0。
1)设S中共有n2对SIFT像点(xt-1,xt),其中,
Figure BDA0002552226980000081
表示t-1和t时刻左右图像对应的SIFT匹配点对。
2)将xt-1代入式(1)计算t-1时刻同名像点对应的物点Pt-1,其中d表示两个同名点的视差。Pt-1所在的坐标系为Ot-1Xt-1Yt-1Zt-1
Figure BDA0002552226980000082
3)利用式子(5)求得Pt-1在坐标系OtXtYtZt下的物点坐标Pt
Pt=RPt-1+t (2)
4)根据式(1)的反解,计算Pt
Figure BDA0002552226980000083
上的反投影像点
Figure BDA0002552226980000084
5)以式(3)所示为目标函数,采用高斯牛顿迭代法求解。
Figure BDA0002552226980000085
2.2背景光流场计算
在已知相机自运动参数的条件下,
Figure BDA0002552226980000086
上的像点
Figure BDA0002552226980000087
Figure BDA0002552226980000088
上的理想投影点
Figure BDA0002552226980000089
可通过式(4)计算得到。式(4)中f、b、d分别为双目系统的焦距、基线、同名匹配点的视差。
Figure BDA00025522269800000810
背景光流fmbof=(umb,vmb)的计算公式为:
Figure BDA00025522269800000811
Figure BDA00025522269800000812
合并式(4)、(5)可得背景光流fmbof的最后表达式:
Figure BDA00025522269800000813
Figure BDA00025522269800000814
由式(6)可知,要计算背景光流(umb,vmb),需要已知R、t,f、b、d。f、b为双目系统的焦距和基线,通过相机标定获得;R、t通过计算相机自运动参数获得。视差d通过两幅图像的稠密匹配获得。
3.运动目标光流(残差流)计算
Figure BDA0002552226980000091
Figure BDA0002552226980000092
之间的混合光流记为fmix
Figure BDA0002552226980000093
Figure BDA0002552226980000094
之间运动背景光流记为fmbof,则运动目标光流fmoof=(umoof,vmoof)的计算公式如下:
fmoof=fmix-fmbof (7)
Figure BDA0002552226980000095
4.从残差流中分离出运动区域
残差流的马氏距离为:
Figure BDA0002552226980000096
其中∑MOOF是残差流的协方差矩阵。
Figure BDA0002552226980000097
表示坐标为(x,y)的像素的残差流马氏距离。
Figure BDA0002552226980000098
值越小,表示坐标为(x,y)的像素是运动目标的概率越小。
Figure BDA0002552226980000099
服从χ2分布,因此残差流运动似然性可以根据
Figure BDA00025522269800000910
计算出。令
Figure BDA00025522269800000911
表示χ2分布在
Figure BDA00025522269800000912
的概率值,则
Figure BDA00025522269800000913
表示像素点(x,y)是运动目标的概率。令
Figure BDA00025522269800000914
对r(x,y)进行阈值分割,即可获得场景内运动区域。本发明的动态阈值分割法如下:
首先计算t时刻图像视差的均值
Figure BDA00025522269800000915
对于坐标为(x,y)的像素,若其视差值大于视差均值
Figure BDA00025522269800000916
则表明该像素计算的运动目标场误差较大,需要设定一个大的分割阈值,本申请设为0.8;若
Figure BDA00025522269800000917
说明该像素的残差流误差一般,设定一个中等的分隔阈值,本申请设置为0.65;若
Figure BDA00025522269800000918
说明该像素计算的运动目标场误差较小,设定一个小的分割阈值即可,本文设为0.5。值得注意的是,上述0.8,0.65,0.5是在申请人经过大量测试后得出的较佳的经验阈值。
5.从运动区域中提取单个运动目标
第4节仅仅是从残差流中分割出了运动区域,运动区域可能包含了多个运动目标。本节给出由多个运动目标区域分割出单个运动目标的方法。所提出的方法分为两部分:首先,利用三维信息实现目标的粗分割;然后,利用二维信息对粗分割目标再进行二次分割。
(1)目标粗分割
双目相机一般架设于汽车前方。世界坐标系如图4所示,X轴水平向右为正,Z轴向前为正,Y轴垂直向内为正。首先根据双目立体三角测量原理,重建出场景内稠密三维坐标。然后,将场景三维坐标投影到XOZ平面。当双目系统平行地面架设时,XOZ平面正好和地平面平行。此时,理论上,各目标在XOZ平面可以被分开。目标粗分割包括:地面点云去除、XOZ平面栅格图像的建立、目标分割。
·地面点云去除
当地面被误判为运动目标时,地面会将多个目标粘连在一起,导致多个目标在XOZ平面投影时无法被区分开,因此去除地面点云是保证在XOZ平面分割各目标的前提。当从天空往地面看时,场景世界坐标系中Y坐标垂直向下为正,因此地面点云的Y坐标具有最大值。通过去除场景三维点云中Y坐标大于一定阈值的点,达到去除地面点的目的。阈值的设定按实际情况给出,和项目所采用车的尺寸、相机XOZ平面和地面的夹角。本申请中,此处阈值设置为1.4米。
· XOZ平面栅格图像的建立
XOZ平面为实际的连续空间平面,需要将其离散化。首先,根据检测范围及相机视场,确定XOZ平面的范围。本申请中X范围为[-2m 2m],Z的范围限定为[0.5m 50m]。对连续的XOZ平面,以步长ε对其进行采样,建立栅格图像。栅格图像每个像素对应了实际的XOZ平面一片区域。统计该区域内三维投影点的数目,将该数目作为此栅格的“灰度值”,得到投影点在XOZ平面的密度直方图,如图4所示。通常,为了避免噪声的干扰,会去除“灰度值”小于一定值的区域,将此栅格图像二值化后,得到待分割的二值图像。
·目标分割
对二值栅格图像执行像素标记操作,分割出每个目标。
值得注意的是,在栅格图像建立过程中,步长大小的设定非常重要。步长设置过大,相邻的两个运动目标可能被判为一个运动目标,如果步长设置过小,除了计算量增加外,也可能过分割出多个目标。选择一个合适的阈值是很困难的。一般来说,将一个目标分割为多个目标并对智能车决策规划影响较小,故本申请选择小的阈值。
(2)目标二次分割
由于残差光流中存在噪声,这些噪声表现为一些零散的静止背景上的局部数据,目标二次分割的目的就是去除这些噪声。去除这些零散噪声的思想如下:同一个目标与相机距离不同时,在像平面的成像大小不同。因此,可以根据目标距离与其在像平面上面积的相关性去除噪声数据。
智能车行驶环境动态典型目标一般为车辆、行人。因此,可以根据所采用相机的焦距大小、分辨率、世界坐标系XOZ平面与地平面的关系,计算出一般形态下车辆、行人在不同距离下,在像平面上的面积大小。设前方目标的长宽分别为w×h,镜头焦距为f,物体距离相机的距离为D,像素大小为dx×dy,则目标在像平面上的面积为:
Figure BDA0002552226980000101
建立常见运动目标不同距离下对应像平面面积表,如表1所示。
表1目标物理尺寸和像面尺寸对应关系
Figure BDA0002552226980000111
具体实施步骤如下:
1)对于粗分割后的区域,计算该区域内每个像素对应的三维坐标,再取所有三维坐标的平均值作为该目标与相机的距离D。
2)计算粗分割后目标面积s。
3)计算D和D1...Dn的差,选最小差值对应的Di作为参考对标距离
4)计算Δs=|si-s|;若Δs<ε,则认为粗分割后的区域为单个目标,保留该区域为动态目标区域;若Δs>ε,则认为该目标为噪声目标,需要去除。
根据本发明实施例提供的方案,本发明在传统背景光流补偿差分法的基础上做出了相关点的改进。这些改进的积极效果就是可以提高运动目标检测的准确性、减小漏检率和误检率。以KITTI数据库中的数据为样本进行测试,所提出的方法较传统的背景光流补偿差分法检测准确率提高了12.45%,漏检率降低了12.46%,误检率降低了16.94%。
尽管上文对本发明进行了详细说明,但是本发明不限于此,本技术领域技术人员可以根据本发明的原理进行各种修改。因此,凡按照本发明原理所作的修改,都应当理解为落入本发明的保护范围。

Claims (9)

1.一种基于视觉的智能车环境动态目标检测的方法,其特征在于,包括:
在智能车移动期间,设置在所述智能车上的双目立体相机通过采集当前的场景图像,得到当前的双目视频序列图像;
从所述双目视频序列图像中选取第t时刻图像和t-1时刻图像,并利用所述第t时刻图像和所述t-1时刻图像,计算混合光流;
根据所述第t时刻图像、所述t-1时刻图像,计算所述双目立体相机运动背景光流;
利用所述混合光流和所述运动背景光流,得到仅由目标运动产生的残差流;
通过对所述残差流进行处理,得到独立的运动目标。
2.根据权利要求1所述的基于视觉的智能车环境动态目标检测的方法,其特征在于,所述混合光流是指由所述双目立体相机的左相机在相邻两时刻采集图像所计算的光流场。
3.根据权利要求2所述的基于视觉的智能车环境动态目标检测的方法,其特征在于,所述根据所述第t时刻图像、所述t-1时刻图像,计算所述双目立体相机运动背景光流包括:
根据所述第t时刻图像、所述t-1时刻图像,计算出n个SIFT匹配点;
利用基于视差的SIFT匹配点筛选策略,过滤掉对所述双目立体相机自运动参数计算误差较大的SIFT匹配点,得到m个有效SIFT匹配点;
利用所述有效SIFT匹配点,计算所述双目立体相机的自运动参数;
根据所述双目立体相机的自运动参数,计算所述双目立体相机运动背景光流;
其中,n>m,且,n和m均为正整数。
4.根据权利要求3所述的基于视觉的智能车环境动态目标检测的方法,其特征在于,所述利用所述混合光流和所述运动背景光流,得到仅由目标运动产生的残差流包括:
通过将所述混合光流与所述运动背景光流进行相减处理,得到仅由目标运动产生的残差流。
5.根据权利要求1所述的基于视觉的智能车环境动态目标检测的方法,其特征在于,所述通过对所述残差流进行处理,得到独立的运动目标包括:
采用动态阈值分割法,从所述残差流中分割出运动区域;
通过结合2D和3D信息的方法,从所述运动区域内分割出独立的运动目标。
6.根据权利要求3所述的基于视觉的智能车环境动态目标检测的方法,其特征在于,所述利用基于视差的SIFT匹配点筛选策略,过滤掉对所述双目立体相机自运动参数计算误差较大的SIFT匹配点,得到m个有效SIFT匹配点包括:
分别计算第i个SIFT匹配点的视差di
根据所述第i个SIFT匹配点的视差di,计算第i个SIFT点的误差指标因子indei
当所述第i个SIFT点的误差指标因子indei小于1时,则将所述第第i个SIFT匹配点作为有效SIFT匹配点;
当所述第i个SIFT点的误差指标因子indei不小于1时,则过滤掉所述第i个SIFT匹配点。
7.根据权利要求6所述的基于视觉的智能车环境动态目标检测的方法,其特征在于,所述根据所述第i个SIFT匹配点的视差di,计算第i个SIFT点的误差指标因子indei的公式为:
Figure FDA0002552226970000031
8.根据权利要求5所述的基于视觉的智能车环境动态目标检测的方法,其特征在于,所述通过结合2D和3D信息的方法,从所述运动区域内分割出独立的运动目标包括:
利用3D信息对所述运动区域进行目标粗分割处理,得到粗分割目标;
利用2D信息对所述粗分割目标进行二次分割处理,得到独立的运动目标。
9.根据权利要求8所述的基于视觉的智能车环境动态目标检测的方法,其特征在于,所述目标粗分割包括:地面点云去除、XOZ平面栅格图像的建立以及目标分割。
CN202010580747.4A 2020-06-23 2020-06-23 一种基于视觉的智能车环境动态目标检测的方法 Active CN111814602B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010580747.4A CN111814602B (zh) 2020-06-23 2020-06-23 一种基于视觉的智能车环境动态目标检测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010580747.4A CN111814602B (zh) 2020-06-23 2020-06-23 一种基于视觉的智能车环境动态目标检测的方法

Publications (2)

Publication Number Publication Date
CN111814602A true CN111814602A (zh) 2020-10-23
CN111814602B CN111814602B (zh) 2022-06-17

Family

ID=72845646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010580747.4A Active CN111814602B (zh) 2020-06-23 2020-06-23 一种基于视觉的智能车环境动态目标检测的方法

Country Status (1)

Country Link
CN (1) CN111814602B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734796A (zh) * 2021-01-18 2021-04-30 烟台南山学院 一种运动目标检测方法及实现目标检测方法的检测系统
CN113221739A (zh) * 2021-05-12 2021-08-06 中国科学技术大学 基于单目视觉的车距测量方法
CN113343745A (zh) * 2021-02-26 2021-09-03 北京中科慧眼科技有限公司 基于双目相机的远距离目标检测方法、系统和智能终端
CN113358113A (zh) * 2021-06-18 2021-09-07 刘治昊 一种基于衣架反射原理的导航装置
CN114782927A (zh) * 2022-06-21 2022-07-22 苏州魔视智能科技有限公司 障碍物检测方法、装置、电子设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739829A (zh) * 2009-12-03 2010-06-16 北京中星微电子有限公司 一种基于视频的车辆超速监控方法及系统
CN103236053A (zh) * 2013-04-07 2013-08-07 南京理工大学 一种移动平台下运动目标检测的mof方法
CN104156978A (zh) * 2014-07-04 2014-11-19 合肥工业大学 基于球载平台的多目标动态跟踪方法
US20170053407A1 (en) * 2014-04-30 2017-02-23 Centre National De La Recherche Scientifique - Cnrs Method of tracking shape in a scene observed by an asynchronous light sensor
CN107481315A (zh) * 2017-06-29 2017-12-15 重庆邮电大学 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法
CN107657644A (zh) * 2017-09-28 2018-02-02 浙江大华技术股份有限公司 一种移动环境下稀疏场景流检测方法和装置
CN108038866A (zh) * 2017-12-22 2018-05-15 湖南源信光电科技股份有限公司 一种基于Vibe和视差图背景差法的运动目标检测方法
CN108596032A (zh) * 2018-03-21 2018-09-28 浙江大华技术股份有限公司 一种视频中打架行为检测方法、装置、设备及介质
CN109102523A (zh) * 2018-07-13 2018-12-28 南京理工大学 一种运动目标检测和跟踪方法
CN109934283A (zh) * 2019-03-08 2019-06-25 西南石油大学 一种融合cnn和sift光流的自适应运动目标检测方法
CN110245603A (zh) * 2019-06-12 2019-09-17 成都信息工程大学 一种群体异常行为实时检测方法
CN110599522A (zh) * 2019-09-18 2019-12-20 成都信息工程大学 一种视频序列中动态目标检测剔除方法
CN110782477A (zh) * 2019-10-10 2020-02-11 重庆第二师范学院 基于序列图像的运动目标快速检测方法、计算机视觉系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739829A (zh) * 2009-12-03 2010-06-16 北京中星微电子有限公司 一种基于视频的车辆超速监控方法及系统
CN103236053A (zh) * 2013-04-07 2013-08-07 南京理工大学 一种移动平台下运动目标检测的mof方法
US20170053407A1 (en) * 2014-04-30 2017-02-23 Centre National De La Recherche Scientifique - Cnrs Method of tracking shape in a scene observed by an asynchronous light sensor
CN104156978A (zh) * 2014-07-04 2014-11-19 合肥工业大学 基于球载平台的多目标动态跟踪方法
CN107481315A (zh) * 2017-06-29 2017-12-15 重庆邮电大学 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法
CN107657644A (zh) * 2017-09-28 2018-02-02 浙江大华技术股份有限公司 一种移动环境下稀疏场景流检测方法和装置
CN108038866A (zh) * 2017-12-22 2018-05-15 湖南源信光电科技股份有限公司 一种基于Vibe和视差图背景差法的运动目标检测方法
CN108596032A (zh) * 2018-03-21 2018-09-28 浙江大华技术股份有限公司 一种视频中打架行为检测方法、装置、设备及介质
CN109102523A (zh) * 2018-07-13 2018-12-28 南京理工大学 一种运动目标检测和跟踪方法
CN109934283A (zh) * 2019-03-08 2019-06-25 西南石油大学 一种融合cnn和sift光流的自适应运动目标检测方法
CN110245603A (zh) * 2019-06-12 2019-09-17 成都信息工程大学 一种群体异常行为实时检测方法
CN110599522A (zh) * 2019-09-18 2019-12-20 成都信息工程大学 一种视频序列中动态目标检测剔除方法
CN110782477A (zh) * 2019-10-10 2020-02-11 重庆第二师范学院 基于序列图像的运动目标快速检测方法、计算机视觉系统

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
CE LIU等: "《SIFT Flow: Dense Correspondence across Scenes and its Applications》", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
CE LIU等: "《SIFT Flow: Dense Correspondence across Scenes and its Applications》", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, vol. 33, no. 5, 31 December 2011 (2011-12-31), pages 1 - 17 *
JIANFANGDOU等: "《Modeling the background and detecting moving objects based on Sift flow》", 《OPTIK》 *
JIANFANGDOU等: "《Modeling the background and detecting moving objects based on Sift flow》", 《OPTIK》, vol. 125, no. 1, 31 December 2014 (2014-12-31), pages 435 - 440 *
袁建英: "《序列图像光流计算关键技术研究及其在三维重建中的应用》", 《中国博士学位论文全文数据库 信息科技辑》 *
袁建英: "《序列图像光流计算关键技术研究及其在三维重建中的应用》", 《中国博士学位论文全文数据库 信息科技辑》, no. 08, 15 August 2016 (2016-08-15), pages 138 - 104 *
许冰 等: "《复杂动态场景下目标检测与分割算法》", 《北京航空航天大学学报》 *
许冰 等: "《复杂动态场景下目标检测与分割算法》", 《北京航空航天大学学报》, vol. 42, no. 02, 28 February 2016 (2016-02-28), pages 310 - 317 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734796A (zh) * 2021-01-18 2021-04-30 烟台南山学院 一种运动目标检测方法及实现目标检测方法的检测系统
CN113343745A (zh) * 2021-02-26 2021-09-03 北京中科慧眼科技有限公司 基于双目相机的远距离目标检测方法、系统和智能终端
CN113221739A (zh) * 2021-05-12 2021-08-06 中国科学技术大学 基于单目视觉的车距测量方法
CN113221739B (zh) * 2021-05-12 2023-04-14 中国科学技术大学 基于单目视觉的车距测量方法
CN113358113A (zh) * 2021-06-18 2021-09-07 刘治昊 一种基于衣架反射原理的导航装置
CN114782927A (zh) * 2022-06-21 2022-07-22 苏州魔视智能科技有限公司 障碍物检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111814602B (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN111814602B (zh) 一种基于视觉的智能车环境动态目标检测的方法
Liang et al. Multi-task multi-sensor fusion for 3d object detection
CN114708585B (zh) 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
Yao et al. Estimating drivable collision-free space from monocular video
US5937079A (en) Method for stereo image object detection
CN110648389A (zh) 基于无人机和边缘车辆协同的城市街景3d重建方法和系统
GB2554481A (en) Autonomous route determination
CN110688905B (zh) 一种基于关键帧的三维物体检测与跟踪方法
CN115035338A (zh) 由摄像机图像车辆定位的方法和系统
El Bouziady et al. Vehicle speed estimation using extracted SURF features from stereo images
EP3293700B1 (en) 3d reconstruction for vehicle
Pantilie et al. Real-time obstacle detection using dense stereo vision and dense optical flow
CN115049700A (zh) 一种目标检测方法及装置
Ouyang et al. A cgans-based scene reconstruction model using lidar point cloud
CN112115889B (zh) 基于视觉的智能车运动目标检测方法
CN114821507A (zh) 一种用于自动驾驶的多传感器融合车路协同感知方法
WO2019137912A1 (en) Computer vision pre-fusion and spatio-temporal tracking
Hultqvist et al. Detecting and positioning overtaking vehicles using 1D optical flow
Mehtab et al. 3D vehicle detection using cheap LiDAR and camera sensors
Giosan et al. Superpixel-based obstacle segmentation from dense stereo urban traffic scenarios using intensity, depth and optical flow information
CN112950786A (zh) 一种基于神经网络的车辆三维重建方法
Wang et al. Robust obstacle detection based on a novel disparity calculation method and G-disparity
Kozonek et al. On the fusion of camera and lidar for 3D object detection and classification
Omar et al. Detection and localization of traffic lights using yolov3 and stereo vision
Soquet et al. Free space estimation for autonomous navigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant