CN116434190A - 基于视觉分析的行车障碍识别系统 - Google Patents

基于视觉分析的行车障碍识别系统 Download PDF

Info

Publication number
CN116434190A
CN116434190A CN202310369189.0A CN202310369189A CN116434190A CN 116434190 A CN116434190 A CN 116434190A CN 202310369189 A CN202310369189 A CN 202310369189A CN 116434190 A CN116434190 A CN 116434190A
Authority
CN
China
Prior art keywords
target
module
classification
effective
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310369189.0A
Other languages
English (en)
Inventor
吴娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing College of Electronic Engineering
Original Assignee
Chongqing College of Electronic Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing College of Electronic Engineering filed Critical Chongqing College of Electronic Engineering
Priority to CN202310369189.0A priority Critical patent/CN116434190A/zh
Publication of CN116434190A publication Critical patent/CN116434190A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了基于视觉分析的行车障碍识别系统,包括:采集模块、处理模块和分类模块;所述采集模块用于采集行车环境信息;所述处理模块用于对所述行车环境信息进行处理,获得有效目标;所述分类模块用于根据所述有效目标的状态信息,对所述有效目标进行分类,完成对行车障碍的识别。本发明实现了路面的障碍物识别,快速准确,节省运算资源,保证了实时性;有效避免了传统障碍物识别系统在即将下坡路段障碍物的漏检以及上坡路段把路面识别为障碍物的弊端,提高了智能驾驶汽车的行车安全性和对复杂路况的适应性。

Description

基于视觉分析的行车障碍识别系统
技术领域
本发明属于交通安全技术领域,具体涉及基于视觉分析的行车障碍识别系统。
背景技术
随着技术的不断发展,汽车已经成为现代人普遍选择的一种出行方式,出行安全也成为用户关心的重点问题。
车辆行驶道路上的障碍物检测是无人驾驶汽车周边环境感知技术研究领域中的重要组成部分,障碍物检测的效果直接关系到无人驾驶汽车的行车安全。
为了提高出行的安全性,许多车辆都可以通过车辆上安装的传感器获取车辆周围环境,以辅助用户驾驶车辆。但是目前在对车辆周围的障碍物进行识别时,可能会造成同一障碍物被多次识别,导致同一障碍物存在多个标识,造成混乱,影响用户的行车安全。
发明内容
针对现有技术的不足,本发明提出了基于视觉分析的行车障碍识别系统,能够准确的将路面和障碍物区分开,具有较强的实用性和广阔的应用前景。
为实现上述目的,本发明提供了如下方案:
基于视觉分析的行车障碍识别系统,包括:采集模块、处理模块和分类模块;
所述采集模块用于采集行车环境信息;
所述处理模块用于对所述行车环境信息进行处理,获得有效目标;
所述分类模块用于根据所述有效目标的状态信息,对所述有效目标进行分类,完成对行车障碍的识别。
优选的,所述采集模块包括:图像采集单元和点云采集单元;
所述图像采集单元用于采集物体的视觉图像;
所述点云采集单元用于采集所述物体的周围环境的点云数据。
优选的,所述处理模块包括:图像预处理单元、目标提取单元、目标跟踪单元和数据融介单元;
所述图像预处理单元用于提取所述视觉图像的颜色、形状和像素特征数据;
所述目标提取单元用于识别预处理后的视觉图像中的非道路目标,所述非道路目标包括:运动目标和固定标志物;
所述目标跟踪单元用于根据所述点云数据对所述非道路目标进行跟踪,基于所述点云数据的跟踪结果,构建移动目标跟踪的状态空间模型,将预处理后的视觉图像输入状态空间模型,进行移动目标的位置跟踪;
所述数据融介单元用于将移动目标的跟踪结果与固定标志物的识别结果进行融合,生成有效目标。
优选的,提取所述视觉图像的颜色、形状和像素数据的过程包括:
采用颜色矩算法,获得所述视觉图像的颜色特征数据;
采用Hu不变矩算法,获得所述视觉图像的形状特征数据;
采用区域卷积神经网络,获得所述视觉图像的像素特征数据。
优选的,识别预处理后的视觉图像中的非道路目标的过程包括:
将特征数据输入到区域推荐网络模块,得到推荐框;
推荐框通过二分类层判断内部是否存在目标,然后区分推荐框中的目标和背景,利用边界回归确定目标位置,从筛选出的特征数据确定ROI区域,再利用非极大值抑制NMS算法去除多余的推荐框得到精确的推荐框;
对ROI区域进行处理后,掩码模块利用FCN网络对每个ROI区域进行分割,输出特征数据;
分类和边框回归模块收集得到ROI区域,ROI区域在分类和边框回归模块中计算分类损失和基于Kullback-Leiblerloss边界框回归损失,利用NMS方法确定精确的推荐框,实现预处理后的视觉图像中的非道路目标的识别。
优选的,根据所述点云数据对所述非道路目标进行跟踪的过程包括:
对所述点云数据进行环境建模,并利用深度学习模型和算法对所述非道路目标进行检测和跟踪。
优选的,根据所述有效目标的状态信息,对所述有效目标进行分类的过程包括:采用支持向量机算法,实现多分类识别:
将有效目标的状态信息划分为训练集和测试集;
统一有效目标的状态信息格式:统一有效目标的速度、加速度和位置坐标的格式;
缩放数据;
使用RBF核函数;
交叉验证选择最佳参数c和g;
利用最佳参数c和g对整个训练集进行训练,获得支持向量机训练模型;
利用测试集,测试支持向量机训练模型,完成对所述有效目标的分类。
优选的,本系统还包括:构建雷达目标预警等级分类表,根据所述雷达目标预警等级分类表,对分类后的所述有效目标进行预警等级甄别。
与现有技术相比,本发明的有益效果为:
本发明实现了路面的障碍物识别,快速准确,节省运算资源,保证了实时性;有效避免了传统障碍物识别系统在即将下坡路段障碍物的漏检以及上坡路段把路面识别为障碍物的弊端,提高了智能驾驶汽车的行车安全性和对复杂路况的适应性。
附图说明
为了更清楚地说明本发明的技术方案,下面对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中的基于视觉分析的行车障碍识别系统整体框架图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
如图1所示,本发明提供了基于视觉分析的行车障碍识别系统,包括:采集模块、处理模块和分类模块;
采集模块用于采集行车环境信息;
处理模块用于对行车环境信息进行处理,获得有效目标;
分类模块用于根据有效目标的状态信息,对有效目标进行分类,完成对行车障碍的识别。
在本实施例中,采集模块包括:图像采集单元和点云采集单元;
图像采集单元用于采集物体的视觉图像;
点云采集单元用于采集物体的周围环境的点云数据。
在本实施例中,处理模块包括:图像预处理单元、目标提取单元、目标跟踪单元和数据融介单元;
图像预处理单元用于提取视觉图像的颜色、形状和像素特征数据;
目标提取单元用于识别预处理后的视觉图像中的非道路目标,非道路目标包括:运动目标和固定标志物;
目标跟踪单元用于根据点云数据对非道路目标进行跟踪,基于点云数据的跟踪结果,构建移动目标跟踪的状态空间模型,将预处理后的视觉图像输入状态空间模型,进行移动目标的位置跟踪;
数据融介单元用于将移动目标的跟踪结果与固定标志物的识别结果进行融合,生成有效目标。
在本实施例中,提取视觉图像的颜色、形状和像素数据的过程包括:
采用颜色矩算法,获得视觉图像的颜色特征数据;
采用Hu不变矩算法,获得视觉图像的形状特征数据;
采用区域卷积神经网络,获得视觉图像的像素特征数据。
在本实施例中,识别预处理后的视觉图像中的非道路目标的过程包括:
将特征数据输入到区域推荐网络模块,得到推荐框;
推荐框通过二分类层判断内部是否存在目标,然后区分推荐框中的目标和背景,利用边界回归确定目标位置,从筛选出的特征数据确定ROI区域,再利用非极大值抑制NMS算法去除多余的推荐框得到精确的推荐框;
对ROI区域进行处理后,掩码模块利用FCN网络对每个ROI区域进行分割,输出特征数据;
分类和边框回归模块收集得到ROI区域,ROI区域在分类和边框回归模块中计算分类损失和基于Kullback-Leibler loss边界框回归损失,利用NMS方法确定精确的推荐框,实现预处理后的视觉图像中的非道路目标的识别。
在本实施例中,区域推荐网络模块运用滑动窗遍历特征数据,每个像素预测出多个锚框,产生推荐框。滑动窗的大小为3×3。
在本实施例中,所述NMS算法的阈值筛选法公式如下:
Figure BDA0004168058730000061
式中,B={b1,b2,L L bn}是一系列初始的检验框,S={s1,s2,.....sn}是它们对应的分类得分,Nt是重叠度的阈值。
在本实施例中,根据点云数据对非道路目标进行跟踪的过程包括:
对点云数据进行环境建模,并利用深度学习模型和算法对非道路目标进行检测和跟踪。
在面对较为复杂的跟踪场景时,也即视觉跟踪的效果非常差时,会应用一种视觉跟踪和激光雷达相结合的跟踪方法,此时在对视觉图像进行采集和处理的基础上,同时启用激光雷达采集3D点云数据,交由处理模块中的目标跟踪单元利用深度学习模型及算法实现非道路目标的检测和跟踪,构建移动目标跟踪的状态空间模型。
在本实施例中,根据有效目标的状态信息,对有效目标进行分类的过程包括:采用支持向量机算法,实现多分类识别。
在本实施例中,将有效目标的状态信息划分为训练集和测试集;
统一有效目标的状态信息格式:统一有效目标的速度、加速度和位置坐标的格式;
缩放数据;
使用RBF核函数;
交叉验证选择最佳参数c和g;
利用最佳参数c和g对整个训练集进行训练,获得支持向量机训练模型;
利用测试集,测试支持向量机训练模型,完成对所述有效目标的分类。
输出识别结果,以及训练集和测试集的识别准确率,判断模型的性能;具体例如:将三张图像输入基于视觉分析的行车障碍识别系统,经图像预处理、特征提取以及类别检测,检测出输入的三张图像分别为运动目标、静止目标以及闪灭目标;特别的,本申请所述识别系统可批量对有效目标进行类别检测,同时输出检测结果;可选用训练集作为检测对象,输出训练集的识别准确率;选用测试集作为检测对象,输出测试集的识别准确率。
在本实施中,本系统还包括:构建雷达目标预警等级分类表,根据所述雷达目标预警等级分类表,对分类后的所述有效目标进行预警等级甄别。
在本实施例中,依据有效目标与毫米波雷达之间的相对运动状态,将障碍物预警等级分为三级,其中危险程度最高的是“危险”等级,目标状态为向雷达运动,需要时刻掌握该目标的状态,必要时采取紧急制动措施。一定距离内静止的目标被标记为“预警”,需保持安全行车速度,预留一定操作空间。一定距离以外的静止目标以及与雷达相背而行的目标被标记为“安全”,对行车没有安全影响,不需作预警与操作。表1给出了障碍物预警等级:
表1
Figure BDA0004168058730000071
以上所述的实施例仅是对本发明优选方式进行的描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案做出的各种变形和改进,均应落入本发明权利要求书确定的保护范围内。

Claims (8)

1.基于视觉分析的行车障碍识别系统,其特征在于,包括:采集模块、处理模块和分类模块;
所述采集模块用于采集行车环境信息;
所述处理模块用于对所述行车环境信息进行处理,获得有效目标;
所述分类模块用于根据所述有效目标的状态信息,对所述有效目标进行分类,完成对行车障碍的识别。
2.根据权利要求1所述的基于视觉分析的行车障碍识别系统,其特征在于,所述采集模块包括:图像采集单元和点云采集单元;
所述图像采集单元用于采集物体的视觉图像;
所述点云采集单元用于采集所述物体的周围环境的点云数据。
3.根据权利要求2所述的基于视觉分析的行车障碍识别系统,其特征在于,所述处理模块包括:图像预处理单元、目标提取单元、目标跟踪单元和数据融介单元;
所述图像预处理单元用于提取所述视觉图像的颜色、形状和像素特征数据;
所述目标提取单元用于识别预处理后的视觉图像中的非道路目标,所述非道路目标包括:运动目标和固定标志物;
所述目标跟踪单元用于根据所述点云数据对所述非道路目标进行跟踪,基于所述点云数据的跟踪结果,构建移动目标跟踪的状态空间模型,将预处理后的视觉图像输入状态空间模型,进行移动目标的位置跟踪;
所述数据融介单元用于将移动目标的跟踪结果与固定标志物的识别结果进行融合,生成有效目标。
4.根据权利要求3所述的基于视觉分析的行车障碍识别系统,其特征在于,提取所述视觉图像的颜色、形状和像素数据的过程包括:
采用颜色矩算法,获得所述视觉图像的颜色特征数据;
采用Hu不变矩算法,获得所述视觉图像的形状特征数据;
采用区域卷积神经网络,获得所述视觉图像的像素特征数据。
5.根据权利要求4所述的基于视觉分析的行车障碍识别系统,其特征在于,识别预处理后的视觉图像中的非道路目标的过程包括:
将特征数据输入到区域推荐网络模块,得到推荐框;
推荐框通过二分类层判断内部是否存在目标,然后区分推荐框中的目标和背景,利用边界回归确定目标位置,从筛选出的特征数据确定ROI区域,再利用非极大值抑制NMS算法去除多余的推荐框得到精确的推荐框;
对ROI区域进行处理后,掩码模块利用FCN网络对每个ROI区域进行分割,输出特征数据;
分类和边框回归模块收集得到ROI区域,ROI区域在分类和边框回归模块中计算分类损失和基于Kullback-Leiblerloss边界框回归损失,利用NMS方法确定精确的推荐框,实现预处理后的视觉图像中的非道路目标的识别。
6.根据权利要求4所述的基于视觉分析的行车障碍识别系统,其特征在于,根据所述点云数据对所述非道路目标进行跟踪的过程包括:
对所述点云数据进行环境建模,并利用深度学习模型和算法对所述非道路目标进行检测和跟踪。
7.根据权利要求1所述的基于视觉分析的行车障碍识别系统,其特征在于,根据所述有效目标的状态信息,对所述有效目标进行分类的过程包括:采用支持向量机算法,实现多分类识别:
将有效目标的状态信息划分为训练集和测试集;
统一有效目标的状态信息格式:统一有效目标的速度、加速度和位置坐标的格式;
缩放数据;
使用RBF核函数;
交叉验证选择最佳参数c和g;
利用最佳参数c和g对整个训练集进行训练,获得支持向量机训练模型;
利用测试集,测试支持向量机训练模型,完成对所述有效目标的分类。
8.根据权利要求1所述的基于视觉分析的行车障碍识别系统,其特征在于,本系统还包括:构建雷达目标预警等级分类表,根据所述雷达目标预警等级分类表,对分类后的所述有效目标进行预警等级甄别。
CN202310369189.0A 2023-04-07 2023-04-07 基于视觉分析的行车障碍识别系统 Pending CN116434190A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310369189.0A CN116434190A (zh) 2023-04-07 2023-04-07 基于视觉分析的行车障碍识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310369189.0A CN116434190A (zh) 2023-04-07 2023-04-07 基于视觉分析的行车障碍识别系统

Publications (1)

Publication Number Publication Date
CN116434190A true CN116434190A (zh) 2023-07-14

Family

ID=87090237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310369189.0A Pending CN116434190A (zh) 2023-04-07 2023-04-07 基于视觉分析的行车障碍识别系统

Country Status (1)

Country Link
CN (1) CN116434190A (zh)

Similar Documents

Publication Publication Date Title
CN107609522B (zh) 一种基于激光雷达和机器视觉的信息融合车辆检测系统
US9384401B2 (en) Method for fog detection
US20180150704A1 (en) Method of detecting pedestrian and vehicle based on convolutional neural network by using stereo camera
Wu et al. Applying a functional neurofuzzy network to real-time lane detection and front-vehicle distance measurement
CN102765365B (zh) 基于机器视觉的行人检测方法及行人防撞预警系统
CN102792314B (zh) 交叉通行碰撞警报系统
EP2851841A2 (en) System and method of alerting a driver that visual perception of pedestrian may be difficult
US20130265424A1 (en) Reconfigurable clear path detection system
CN104778444A (zh) 道路场景下车辆图像的表观特征分析方法
CN107273785A (zh) 多尺度融合的道路表面状况检测
Fleyeh et al. Traffic sign detection based on AdaBoost color segmentation and SVM classification
CN112793567A (zh) 一种基于路况检测的辅助驾驶方法及系统
CN113313182B (zh) 一种基于雷达和视频融合的目标识别方法及终端
JP3562278B2 (ja) 環境認識装置
Li et al. A review on vision-based pedestrian detection for intelligent vehicles
CN105426852A (zh) 车载单目长波红外相机行人识别方法
Álvarez et al. Perception advances in outdoor vehicle detection for automatic cruise control
CN116587978A (zh) 一种基于车载显示屏的碰撞预警方法及系统
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质
CN116434190A (zh) 基于视觉分析的行车障碍识别系统
CN115100650A (zh) 基于多重高斯模型的高速公路异常场景去噪及识别方法、装置
CN115240170A (zh) 一种基于事件相机的道路行人检测跟踪方法及系统
Riera et al. Detecting and tracking unsafe lane departure events for predicting driver safety in challenging naturalistic driving data
Shin et al. Vehicle classification by road lane detection and model fitting using a surveillance camera
Karungaru et al. Driving Assistance: Pedestrians and Bicycles Accident Risk Estimation Using Onboard Front Camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination