CN109444912A - 一种基于协同控制与深度学习的驾驶环境感知系统及方法 - Google Patents

一种基于协同控制与深度学习的驾驶环境感知系统及方法 Download PDF

Info

Publication number
CN109444912A
CN109444912A CN201811284773.1A CN201811284773A CN109444912A CN 109444912 A CN109444912 A CN 109444912A CN 201811284773 A CN201811284773 A CN 201811284773A CN 109444912 A CN109444912 A CN 109444912A
Authority
CN
China
Prior art keywords
data
target
module
deep learning
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811284773.1A
Other languages
English (en)
Other versions
CN109444912B (zh
Inventor
杨春平
陈明
马沪敏
张鹏飞
彭真明
彭凌冰
赵学功
张明珠
李伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201811284773.1A priority Critical patent/CN109444912B/zh
Publication of CN109444912A publication Critical patent/CN109444912A/zh
Application granted granted Critical
Publication of CN109444912B publication Critical patent/CN109444912B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开一种基于协同控制与深度学习的驾驶环境感知系统及方法，涉及智能交通技术领域；系统包括激光发射模块、光学接收模块、激光测距模块、主控制器、协同控制模块和数据处理中心。激光发射模块覆盖待监控区域，由光学接收模块采集可见光和红外视频图像；协同控制模块处理多传感器返回的数据，完成对运动物体高精度的测速、测距测量，同时控制多传感器的数据采集和与数据处理中心通信；数据处理中心对目标进行三维重建，再将三维数据传入深度学习网络对目标分类识别，最后在监控区域内对目标进行实时定位和追踪，实现驾驶环境的感知和监控。本发明克服了传统系统分辨率低、探测距离短的缺点，具有全天候、远距离、高精度测量的特点。

Description

一种基于协同控制与深度学习的驾驶环境感知系统及方法
技术领域
本发明涉及智能交通技术领域，具体涉及一种基于协同控制与深度学习的驾驶环境感知方法及系统。
背景技术
交通违章行为已然成为现代交通系统的一个严重问题，制约了城市经济的发展。智能交通系统是应用在交通运输体系的一种智能化平台。然而，传统的智能交通信息管理系统一般是由交通监管部门的人员进行手工操作，这种传统的方式具有较高的管理运营成本，且带来许多不稳定因素，这种违规管理系统的滞后性、模糊性往往会造成交通管理的被动和滞后性，因此智能交通管理系统的设计和实现是现实的需求和发展趋势。
激光雷达作为一种主动式的光学遥感技术，具有抗有源干扰能力强、探测性能好、不受光线影响等优点，被广泛应用于智能监控系统。但是，现有的激光雷达存在价格昂贵、分辨率较低、探测距离不够远等缺点。
图像传感器对周围环境信息的捕获能力强，分辨率较好。利用视觉感知技术，可以对图像信息进行检测、识别和跟踪。视觉感知是计算机视觉中最活跃的研究领域之一，它被广泛于运动分析、行为识别，监控及人机交互等方面。视觉感知对外界光照的要求比较高，而激光雷达则不需要外界光照，只依赖于自己的激光束，就可以进行测距、三维重构等。
深度学习的概念由Hinton等人于2006年提出，具有强大的特征学习能力。随着大规模注释数据集ImageNet的发展，深度学习在图像处理及机器视觉领域取得了显著的进展。与传统机器学习方法相比，深度学习的优势是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征，不需要人为调整特征提取器，就能够从海量信息中提取主要特征。深度学习的目标跟踪方法，利用大规模的数据在深度神经网络上离线学习特征，之后利用训练好的网络在线跟踪时，对目标进行特征提取，再进行匹配跟踪。卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络，对于大型图像处理有出色表现。与其他深度学习结构相比，卷积神经网络在图像和语音识别方面能够给出更好的结果，而且需要考量的参数更少、鲁棒性更好，是一种颇具吸引力的深度学习结构。
发明内容
本发明旨在提供一种基于协同控制与深度学习的驾驶环境感知方法及系统，使视觉传感器和激光雷达优势互补，并结合多传感器返回的数据和深度神经网络对驾驶环境进行智能感知和实时监控，同时解决目前现有的激光雷达存在价格昂贵、分辨率较低、探测距离不够远的问题。
本发明的技术方案如下：
一方面，本发明提供一种基于协同控制与深度学习的驾驶环境感知系统，其特征在于，包括：
激光发射模块，用于对监控区域发射红外激光束；
激光测距模块，用于通过接收到的激光对汽车实现测距；
光学接收模块，用于接收监控区域内的红外光和可见光；光学接收模块包括接收天线、分束器、窄带滤光片、可见光相机和红外相机，接收天线将光线传输给分束器，分束器将光线分别传输给可见光相机和窄带滤光片，窄带滤光片透过中心波长为905/940/980nm的红外光并传输给红外相机；
主控制器，用于对激光发射模块、光学接收模块和激光测距模块实现开关控制，并将传感器的状态反馈给数据处理中心；
协同控制模块，用于通过VS+LiDAR+GPS多传感器协同工作模式、多功能交通监控系统同步控制技术和多信息融合与决策技术实现对交通监控对象的高精度测距、测速，并将处理结果传送至数据处理中心，同时用于将光学接收模块采集到的可见光和红外图像数据传输到数据处理中心；
数据处理中心，用于将主控制器和协同控制模块中传输的信息通过图像处理算法实现车牌识别、车道识别、测距、测速的监控功能；所述图像处理算法包括核相关滤波算法和基于深度学习的目标分类识别算法。
具体地，所述激光发射模块包括波长为905/940/980nm的连续波半导体激光器、扩束器以及视场光阑，其中扩束器将激光器扩束实现对所监控区域的全域覆盖。
另一方面，本发明提供一种基于协同控制与深度学习的驾驶环境感知方法，其特征在于，包括：
激光发射模块和激光测距模块对监控区域进行全覆盖扫描，并将采集到的测距数据集经协同控制模块传给数据处理中心处理；
可见光相机和红外相机同时采集监控区域的可见光数据和红外光数据，然后将采集到的数据经协同控制模块传给数据处理中心处理；
数据处理中心利用红外光数据和距离数据集生成激光点云，并结合可见光数据进行三维重构；
数据处理中心利用训练好的深度学习网络对目标三维重构数据进行分类识别，最后使用核相关滤波法对监控区域内目标的位置进行追踪。
具体地，所述深度卷积神经网络模型训练的步骤包括：
对目标三维重构数据进行预处理；
提取多张目标三维重构数据的三维投影视图，组合并转化为适合深度卷积神经网络的输入形式以作为数据集；
对目标三维重构数据按照目标类别进行标注，并随机抽出一半数据作为训练集，剩余数据作为测试集；
构建深度卷积神经网络，输出概率分布，并采用交叉误差熵为损失函数来评估网络性能，以寻找最优权重值；
训练过程以误差反向传播法来计算神经网络的梯度，用Adam法作为神经网络的权重值的更新策略，每次训练采用Dropout法来随机删除神经元来抑制过拟合，最终得到驾驶环境目标感知的神经网络模型。
具体地，所述构建深度卷积神经网络步骤中，卷积神经网络由三层卷积单元、两个全连接单元和softmax输出层构成，每个卷积单元包括卷积层、ReLU层和池化层，以提取数据的高维特征图，全连接单元包括仿射变换层和ReLU层，每一层都以前一层的输出作为当前层的输入，最后连接softmax层。
具体地，数据处理中心利用训练好的深度学习网络对目标三维重构数据进行分类识别的步骤包括：
将目标三维模型数据转化为适合深度卷积神经网络模型的数据输入形式；
将转化后的数据输入深度卷积神经网络，进行前向传播计算；
通过softmax层输出概率分布，排序得到最大概率对应的目标类别，即为识别的目标结果。
具体地，所述三维重构的步骤包括：
导入激光点云数据，利用ICP算法进行点云数据的拼接；
建立三角格网并进行修补；
利用获取的可见光数据和空间后方交会对可见光数据中的图像点和空间点进行选取，再进行中心投影完成纹理映射，最终得到带纹理的三维模型。
采用上述方案后，本发明的有益效果为：
(1)本发明结合视觉传感器和激光雷达技术，可以全天候、远距离、高精度地对交通监控中的复杂环境进行智能感知和监控，自动采集环境数据和检测感兴趣的目标，获得目标的空间信息，包括位置信息、尺寸信息和速度信息。
(2)本发明采用红外相机和可见光相机，相对于传统激光雷达，优点有成本低，简化了结构，可以提取多种数据和信息便于后端处理。
(3)本发明中的协同处理模块可以有效减轻主控制器的负载，并结合VS+LiDAR+GPS多传感器进行多源数据融合，极大提高了测距、测速的精度。
(4)本发明根据激光三维重构的结果数据，利用深度学习网络建立交通监控环境中待测目标的模型，在监控过程中将实时生成的三维重构数据与模型进行匹配，对目标进行分类识别，极大提高了识别的精度和可靠性。
(5)本发明中，提取多张目标三维重构数据时是提取的三维投影视图，这样可以将三维的投影成二维的，这样方便处理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。通过附图所示，本发明的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本发明的主旨。
图1为本发明的系统模块图；
图2为本发明的系统结构图；
图3为本发明的方法流程图；
图4为本发明的深度学习网络构建流程图；
图5为本发明的三维重构流程图；
图中标记：1-控制和数据传输总线，2-激光测距模块，3-支架台，4-激光器，5-扩束器和视场光阑，6-接收天线，7-分束器，8-可见光相机，9-窄带滤光片，10-红外相机，11-驾驶环境，12-驾驶环境中的待测目标。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一方面，本发明提供一种基于协同控制与深度学习的驾驶环境感知系统，如图1所示，包括：激光发射模块、激光测距模块、光学接收模块、主控制器、协同控制模块和数据处理中心。
具体地，如图2所示，激光发射模块，用于对监控区域发射激光；包括波长为905/940/980nm的连续波半导体激光器4、扩束器以及视场光阑5，半导体激光器4与扩束器以及视场光阑5连接，其中扩束器5将激光器扩束实现对所监控区域11的全域覆盖。
激光测距模块2，用于通过接收到的激光对汽车实现测距，的激光测距模块2采用高速连续激光相位检测技术实现对驾驶环境中目标12的高精度测距(精度：cm级)。
优选地，激光发射模块和激光测距模块安装与同一支架3上。
光学接收模块，用于接收监控区域内的红外光和可见光；光学接收模块包括接收天线6、分束器7、窄带滤光片9、可见光相机8和红外相机10，接收天线6将光线传输给分束器7，分束器7将光线分别传输给可见光相机8和窄带滤光片9，窄带滤光片9为用于透过中心波长为905/940/980nm的红外光主控制器，窄带滤光片9再将光线传输给红外相机10；可见光相机8和红外相机10分别采集可见光视频图像和红外光视频图像。
所有采集到的数据经过总线1向上传递给协同控制模块；主控制器，用于对激光发射模块、光学接收模块和激光测距模块实现开关控制；所述的主控制器与交通控制系统相连接，通过总线1实现对激光发射模块、多传感器接收模块等的控制。
协同控制模块，用于通过VS+LiDAR+GPS多传感器协同工作模式、多功能交通监控系统同步控制技术和多信息融合与决策技术实现对交通监控对象的高精度测距、测速，并利用多次测量的数据及多尺度几何变换原理等技术完成对汽车等运动物体的测距、测速测量。同时，还将此信息传送至数据处理中心。
数据处理中心，用于将协同控制模块中传输的信息通过图像处理算法实现车牌识别、车道识别、测距、测速的监控功能；所述图像处理算法包括核相关滤波算法和基于深度学习的目标分类识别算法。
实施例2
本实施例中的基于协同控制与深度学习的驾驶环境感知方法，具体地，如图2所示，传感器实时采取驾驶环境中的待测目标的可见光图像信息、红外图像信息、目标的距离信息，并结合GPS系统由协同处理模块处理得到目标高精度的距离和速度数据，一并传送到数据处理中心。数据处理中心先合成激光点云数据，并利用可见光信息对目标进行三维重构，最后输入到训练好的深度学习网络进行分类识别，最终将感兴趣的目标在监控视频中标记出来并显示位置和速度等信息。具体地，本发明的步骤包括：
S1：激光发射模块和激光测距模块2对监控区域进行全覆盖扫描，并将采集到的测距数据集经协同控制模块传给数据处理中心处理。
S2：可见光相机和红外相机同时采集监控区域的可见光数据和红外光数据，然后将采集到的数据经协同控制模块传给数据处理中心处理；具体地，来自驾驶环境11的光信号由接收天线6采集，先经过分束镜7和窄带滤光片9，实现可见光与红外波的光束分离，并滤除环境杂散光和来自驾驶环境的车灯等强干扰光，然后经过窄带滤光片9的光进入红外相机9，经过分束器的光进入可见光相机8，可见光相机8和红外相机9同时采集监控区域的可见光视频图像和红外光视频图像，采集到的数据经协同控制模块传给数据处理中心处理。
S3：数据处理中心利用红外光数据和距离数据集生成激光点云，并结合可见光数据进行三维重构；如图5所示，所述三维重构的步骤包括：
S3.1.导入激光点云数据，利用ICP算法进行点云数据的拼接；
S3.2.建立三角格网并进行修补；
S3.3.利用获取的可见光数据和空间后方交会对可见光数据中的图像点和空间点进行选取，再进行中心投影完成纹理映射，最终得到带纹理的三维模型。
S4：数据处理中心利用训练好的深度学习网络对目标三维重构数据进行分类识别，最后使用核相关滤波法对监控区域内驾驶环境11中目标12的位置进行追踪。
如图4所示，所述深度卷积神经网络模型训练的步骤包括：
S4.1：对目标三维重构数据进行预处理，预处理包括平移、旋转、缩放；
S4.2：提取多张目标三维重构数据的三维投影视图，组合并转化为适合深度卷积神经网络的输入形式以作为数据集；本实施例中，卷积神经网络由三层卷积单元、两个全连接单元和softmax输出层构成，每个卷积单元包括卷积层、ReLU层和池化层，以提取数据的高维特征图，全连接单元包括仿射变换层和ReLU层，每一层都以前一层的输出作为当前层的输入，最后连接softmax层。
S4.3：对目标三维重构数据按照目标类别进行标注，并随机抽出一半数据作为训练集，剩余数据作为测试集；
S4.4.构建深度卷积神经网络，输出概率分布，并采用交叉误差熵为损失函数来评估网络性能，以寻找最优权重值；
S4.5.训练过程以误差反向传播法来计算神经网络的梯度，用Adam法作为神经网络的权重值的更新策略，每次训练采用Dropout法来随机删除神经元来抑制过拟合，最终得到驾驶环境目标感知的神经网络模型。
S4.2.中数据处理中心利用训练好的深度学习网络对目标三维重构数据进行分类识别的步骤包括：
S4.2.1.将目标三维模型数据转化为适合深度卷积神经网络模型的数据输入形式；
S4.2.2.将转化后的数据输入深度卷积神经网络，进行前向传播计算；
S4.2.3.通过softmax层输出概率分布，排序得到最大概率对应的目标类别，即为识别的目标结果。
所述三维重构的步骤包括：
导入激光点云数据，利用ICP算法进行点云数据的拼接；
建立三角格网并进行修补；
利用获取的可见光数据和空间后方交会对可见光数据中的图像点和空间点进行选取，再进行中心投影完成纹理映射，最终得到带纹理的三维模型。
本发明克服了传统红外交通监控系统分辨率低、探测距离短的缺点，具有全天候、远距离、高精度测量的特点。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于协同控制与深度学习的驾驶环境感知系统，其特征在于，包括：
激光发射模块，用于对监控区域发射红外激光束；
激光测距模块(2)，用于通过接收到的激光对汽车实现测距；
光学接收模块，用于接收监控区域内的红外光和可见光；光学接收模块包括接收天线(6)、分束器(7)、窄带滤光片(9)、可见光相机(8)和红外相机(10)，接收天线(6)将光线传输给分束器(7)，分束器(7)将光线分别传输给可见光相机(8)和窄带滤光片(9)，窄带滤光片(9)透过中心波长为905/940/980nm的红外光并传输给红外相机(10)；
主控制器，用于对激光发射模块、光学接收模块和激光测距模块(2)实现开关控制，并将传感器的状态反馈给数据处理中心；
协同控制模块，用于通过VS+LiDAR+GPS多传感器协同工作模式、多功能交通监控系统同步控制技术和多信息融合与决策技术实现对交通监控对象的高精度测距、测速，并将处理结果传送至数据处理中心，同时用于将光学接收模块采集到的可见光和红外图像数据传输到数据处理中心；
数据处理中心，用于将主控制器和协同控制模块中传输的信息通过图像处理算法实现车牌识别、车道识别、测距、测速的监控功能；所述图像处理算法包括核相关滤波算法和基于深度学习的目标分类识别算法。
2.根据权利要求1所述的一种基于协同控制与深度学习的驾驶环境感知系统，其特征在于，所述激光发射模块包括波长为905/940/980nm的连续波半导体激光器(4)、扩束器以及视场光阑(5)，其中扩束器将激光器扩束实现对所监控区域的全域覆盖。
3.一种基于协同控制与深度学习的驾驶环境感知方法，其特征在于，包括：
激光发射模块和激光测距模块对监控区域进行全覆盖扫描，并将采集到的测距数据集经协同控制模块传给数据处理中心处理；
可见光相机(8)和红外相机(9)同时采集监控区域的可见光数据和红外光数据，然后将采集到的数据经协同控制模块传给数据处理中心处理；
数据处理中心利用红外光数据和距离数据集生成激光点云，并结合可见光数据进行三维重构；
数据处理中心利用训练好的深度学习网络对目标三维重构数据进行分类识别，最后使用核相关滤波法对监控区域内目标的位置进行追踪。
4.根据权利要求3所述的一种基于协同控制与深度学习的驾驶环境感知方法，其特征在于，所述深度卷积神经网络模型训练的步骤包括：
对目标三维重构数据进行预处理；
提取多张目标三维重构数据的三维投影视图，组合并转化为适合深度卷积神经网络的输入形式以作为数据集；
对目标三维重构数据按照目标类别进行标注，并随机抽出一半数据作为训练集，剩余数据作为测试集；
构建深度卷积神经网络，输出概率分布，并采用交叉误差熵为损失函数来评估网络性能，以寻找最优权重值；
训练过程以误差反向传播法来计算神经网络的梯度，用Adam法作为神经网络的权重值的更新策略，每次训练采用Dropout法来随机删除神经元来抑制过拟合，最终得到驾驶环境目标感知的神经网络模型。
5.根据权利要求4所述的一种基于协同控制与深度学习的驾驶环境感知方法，其特征在于，所述构建深度卷积神经网络步骤中，卷积神经网络由三层卷积单元、两个全连接单元和softmax输出层构成，每个卷积单元包括卷积层、ReLU层和池化层，以提取数据的高维特征图，全连接单元包括仿射变换层和ReLU层，每一层都以前一层的输出作为当前层的输入，最后连接softmax层。
6.根据权利要求3所述的一种基于协同控制与深度学习的驾驶环境感知方法，其特征在于，数据处理中心利用训练好的深度学习网络对目标三维重构数据进行分类识别的步骤包括：
将目标三维模型数据转化为适合深度卷积神经网络模型的数据输入形式；
将转化后的数据输入深度卷积神经网络，进行前向传播计算；
通过softmax层输出概率分布，排序得到最大概率对应的目标类别，即为识别的目标结果。
7.根据权利要求3所述的一种基于协同控制与深度学习的驾驶环境感知方法，其特征在于，所述三维重构的步骤包括：
导入激光点云数据，利用ICP算法进行点云数据的拼接；
建立三角格网并进行修补；
利用获取的可见光数据和空间后方交会对可见光数据中的图像点和空间点进行选取，再进行中心投影完成纹理映射，最终得到带纹理的三维模型。
CN201811284773.1A 2018-10-31 2018-10-31 一种基于协同控制与深度学习的驾驶环境感知系统及方法 Expired - Fee Related CN109444912B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811284773.1A CN109444912B (zh) 2018-10-31 2018-10-31 一种基于协同控制与深度学习的驾驶环境感知系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811284773.1A CN109444912B (zh) 2018-10-31 2018-10-31 一种基于协同控制与深度学习的驾驶环境感知系统及方法

Publications (2)

Publication Number Publication Date
CN109444912A true CN109444912A (zh) 2019-03-08
CN109444912B CN109444912B (zh) 2020-08-04

Family

ID=65550017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811284773.1A Expired - Fee Related CN109444912B (zh) 2018-10-31 2018-10-31 一种基于协同控制与深度学习的驾驶环境感知系统及方法

Country Status (1)

Country Link
CN (1) CN109444912B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109782015A (zh) * 2019-03-21 2019-05-21 同方威视技术股份有限公司 激光测速方法、控制装置和激光测速仪
CN110070039A (zh) * 2019-04-23 2019-07-30 长讯通信服务有限公司 基于深度学习的机房机柜及主控板感知与坐标测量方法及装置
CN110555423A (zh) * 2019-09-09 2019-12-10 南京东控智能交通研究院有限公司 基于多维运动摄像机的航拍视频的交通参数提取方法
CN112295617A (zh) * 2020-09-18 2021-02-02 济南大学 一种基于实验场景态势感知的智能烧杯
CN112650220A (zh) * 2020-12-04 2021-04-13 东风汽车集团有限公司 一种车辆自动驾驶方法、车载控制器及系统
CN113029124A (zh) * 2021-03-03 2021-06-25 吉林大学 一种基于红外视觉引导和激光测距的三维姿态位置测量装置
CN114781602A (zh) * 2022-04-07 2022-07-22 苏州大学 基于激光器阵列的深度卷积神经网络系统及控制方法
CN115713736A (zh) * 2023-01-10 2023-02-24 四川大学 一种基于仿射变换的全天候车牌单目测距方法及装置

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101110910A (zh) * 2006-07-21 2008-01-23 田承仁 红外激光拍摄装置
CN101503116A (zh) * 2009-02-17 2009-08-12 哈尔滨工业大学 一种分布式航天器地面仿真系统及其实现方法
CN101719982A (zh) * 2009-12-25 2010-06-02 长安大学 基于gis公路实景影像及路面图像采集系统
DE102009036595A1 (de) * 2009-08-07 2011-02-10 Conti Temic Microelectronic Gmbh Bildgebender Multifunktions-Sensor
CN102393744A (zh) * 2011-11-22 2012-03-28 湖南大学 一种无人驾驶汽车的导航方法
CN102819951A (zh) * 2011-06-09 2012-12-12 无锡物联网产业研究院 一种道路目标检测系统、方法及装置
CN102959599A (zh) * 2009-12-22 2013-03-06 莱达科技股份有限公司 用于交通检测的主动3d监控系统
CN103576160A (zh) * 2012-08-10 2014-02-12 Lg电子株式会社 距离检测设备和包括其的图像处理装置
US20150323673A1 (en) * 2013-04-26 2015-11-12 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Mid-infrared or long wave infrared vehicle early warning system
CN105157608A (zh) * 2015-08-31 2015-12-16 浙江大华技术股份有限公司 一种超限车辆的检测方法、装置及系统
CN106441151A (zh) * 2016-09-30 2017-02-22 中国科学院光电技术研究所 一种基于视觉和主动光学融合的三维目标欧式空间重建的测量系统
CN107239762A (zh) * 2017-06-06 2017-10-10 电子科技大学 一种基于视觉的公交车内乘客人数统计方法
US20170314926A1 (en) * 2016-04-28 2017-11-02 Rogerson Aircraft Corporation System and method for effectuating presentation of a terrain around a vehicle on a display in the vehicle
CN108073170A (zh) * 2016-11-17 2018-05-25 通用汽车环球科技运作有限责任公司 用于自主车辆的自动化协同驾驶控制
CN108073168A (zh) * 2016-11-09 2018-05-25 百度（美国）有限责任公司 对自主驾驶车辆进行决策的评估体系
CN108122425A (zh) * 2016-11-30 2018-06-05 现代自动车株式会社 用于识别车辆位置的装置和方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101110910A (zh) * 2006-07-21 2008-01-23 田承仁 红外激光拍摄装置
CN101503116A (zh) * 2009-02-17 2009-08-12 哈尔滨工业大学 一种分布式航天器地面仿真系统及其实现方法
DE102009036595A1 (de) * 2009-08-07 2011-02-10 Conti Temic Microelectronic Gmbh Bildgebender Multifunktions-Sensor
CN102959599A (zh) * 2009-12-22 2013-03-06 莱达科技股份有限公司 用于交通检测的主动3d监控系统
CN101719982A (zh) * 2009-12-25 2010-06-02 长安大学 基于gis公路实景影像及路面图像采集系统
CN102819951A (zh) * 2011-06-09 2012-12-12 无锡物联网产业研究院 一种道路目标检测系统、方法及装置
CN102393744A (zh) * 2011-11-22 2012-03-28 湖南大学 一种无人驾驶汽车的导航方法
CN103576160A (zh) * 2012-08-10 2014-02-12 Lg电子株式会社 距离检测设备和包括其的图像处理装置
US20150323673A1 (en) * 2013-04-26 2015-11-12 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Mid-infrared or long wave infrared vehicle early warning system
CN105157608A (zh) * 2015-08-31 2015-12-16 浙江大华技术股份有限公司 一种超限车辆的检测方法、装置及系统
US20170314926A1 (en) * 2016-04-28 2017-11-02 Rogerson Aircraft Corporation System and method for effectuating presentation of a terrain around a vehicle on a display in the vehicle
CN106441151A (zh) * 2016-09-30 2017-02-22 中国科学院光电技术研究所 一种基于视觉和主动光学融合的三维目标欧式空间重建的测量系统
CN108073168A (zh) * 2016-11-09 2018-05-25 百度（美国）有限责任公司 对自主驾驶车辆进行决策的评估体系
CN108073170A (zh) * 2016-11-17 2018-05-25 通用汽车环球科技运作有限责任公司 用于自主车辆的自动化协同驾驶控制
CN108122425A (zh) * 2016-11-30 2018-06-05 现代自动车株式会社 用于识别车辆位置的装置和方法
CN107239762A (zh) * 2017-06-06 2017-10-10 电子科技大学 一种基于视觉的公交车内乘客人数统计方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李瀚辰: "红外与可见光三维点云融合算法研究", 《中国博士学位论文全文数据库信息科技辑》 *
杨观赐等: "基于Dopout与ADAM优化器的改进CNN算法", 《华中科技大学学报（自然科学版）》 *
第8期: "采用核相关滤波器的长期目标跟踪", 《光学精密工程》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109782015A (zh) * 2019-03-21 2019-05-21 同方威视技术股份有限公司 激光测速方法、控制装置和激光测速仪
CN110070039A (zh) * 2019-04-23 2019-07-30 长讯通信服务有限公司 基于深度学习的机房机柜及主控板感知与坐标测量方法及装置
CN110555423A (zh) * 2019-09-09 2019-12-10 南京东控智能交通研究院有限公司 基于多维运动摄像机的航拍视频的交通参数提取方法
CN110555423B (zh) * 2019-09-09 2021-12-21 南京东控智能交通研究院有限公司 基于多维运动摄像机的航拍视频的交通参数提取方法
CN112295617A (zh) * 2020-09-18 2021-02-02 济南大学 一种基于实验场景态势感知的智能烧杯
CN112295617B (zh) * 2020-09-18 2022-04-01 济南大学 一种基于实验场景态势感知的智能烧杯
CN112650220A (zh) * 2020-12-04 2021-04-13 东风汽车集团有限公司 一种车辆自动驾驶方法、车载控制器及系统
CN113029124A (zh) * 2021-03-03 2021-06-25 吉林大学 一种基于红外视觉引导和激光测距的三维姿态位置测量装置
CN113029124B (zh) * 2021-03-03 2024-01-16 吉林大学 一种基于红外视觉引导和激光测距的三维姿态位置测量装置
CN114781602A (zh) * 2022-04-07 2022-07-22 苏州大学 基于激光器阵列的深度卷积神经网络系统及控制方法
CN115713736A (zh) * 2023-01-10 2023-02-24 四川大学 一种基于仿射变换的全天候车牌单目测距方法及装置

Also Published As

Publication number Publication date
CN109444912B (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN109444912A (zh) 一种基于协同控制与深度学习的驾驶环境感知系统及方法
Varghese et al. ChangeNet: A deep learning architecture for visual change detection
Liu et al. Multi-view hierarchical bidirectional recurrent neural network for depth video sequence based action recognition
CN107818326A (zh) 一种基于场景多维特征的船只检测方法及系统
CN113936139B (zh) 一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及系统
CN110135375A (zh) 基于全局信息整合的多人姿态估计方法
CN109003253A (zh) 神经网络点云生成系统
CN106356757A (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
CN105787439A (zh) 一种基于卷积神经网络的深度图像人体关节定位方法
CN107392965A (zh) 一种基于深度学习和双目立体视觉相结合的测距方法
CN114241379B (zh) 一种乘客异常行为识别方法、装置、设备及乘客监控系统
CN109033245B (zh) 一种移动机器人视觉-雷达图像跨模态检索方法
CN109000655A (zh) 机器人仿生室内定位导航方法
CN110443155A (zh) 一种基于卷积神经网络的视觉航标识别与分类方法
Yan et al. Human-object interaction recognition using multitask neural network
Yuan et al. STransUNet: A siamese TransUNet-based remote sensing image change detection network
Miao et al. Abnormal behavior learning based on edge computing toward a crowd monitoring system
Yao et al. WaterScenes: A multi-task 4d radar-camera fusion dataset and benchmarks for autonomous driving on water surfaces
Munir et al. Multimodal fusion for sensorimotor control in steering angle prediction
CN117237411A (zh) 一种基于深度学习的行人多目标跟踪方法
Kim et al. Automatic labeled LiDAR data generation based on precise human model
Munir et al. Multi-modal fusion for sensorimotor coordination in steering angle prediction
KR20210054355A (ko) 시각 및 언어 기반 공간 탐색 시스템
Symeonidis et al. AUTH-Persons: A dataset for detecting humans in crowds from aerial views
Ong et al. Lstm-based traffic gesture recognition using mediapipe pose

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200804