CN113820714A - 一种基于多传感器融合的尘雾天气道路环境感知系统 - Google Patents
一种基于多传感器融合的尘雾天气道路环境感知系统 Download PDFInfo
- Publication number
- CN113820714A CN113820714A CN202111043471.7A CN202111043471A CN113820714A CN 113820714 A CN113820714 A CN 113820714A CN 202111043471 A CN202111043471 A CN 202111043471A CN 113820714 A CN113820714 A CN 113820714A
- Authority
- CN
- China
- Prior art keywords
- information
- sensor
- data
- module
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 55
- 230000008447 perception Effects 0.000 title claims abstract description 21
- 239000000428 dust Substances 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 29
- 230000003068 static effect Effects 0.000 claims abstract description 10
- 238000001914 filtration Methods 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 10
- 238000002834 transmittance Methods 0.000 claims description 10
- 230000006855 networking Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 230000007613 environmental effect Effects 0.000 claims description 5
- 208000013586 Complex regional pain syndrome type 1 Diseases 0.000 claims description 4
- 238000000149 argon plasma sintering Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000036544 posture Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000005065 mining Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于多传感器融合的尘雾天气道路环境感知系统，包括传感器模块，多传感器信息融合模块，自主式环境感知系统模块，网联信息数据协议定义模块，网联信息与多传感器信息融合系统模块和环境信息动静态目标道路信息模块；其有益效果是：针对自动驾驶车辆需要运行在起伏颠簸的非结构化路面上，从而影响传感器对周围环境的感知，通过引入自动驾驶车辆的数据对感知传感器进行补偿，完成自动驾驶车辆对周边车辆的识别和连续跟踪；同时，针对团雾影响车载视觉的问题，利用团雾场景下的除雾算法模型进行图像处理，获得清晰的视频图像，进而提升识别的准确性，保证了无人驾驶车辆能够安全、高效果的运行。
Description
技术领域
本发明涉及矿用卡车自动驾驶技术领域，具体涉及一种基于多传感器融合的尘雾天气道路环境感知系统。
背景技术
目前，随着技术的不断发展，在非结构化道路的运输中，也将无人驾驶与不同场景进行了结合，比如说矿山，其对环境的准确识别是该项技术应用的关键。但现有技术中存在以下问题：
1，团雾环境下行车场景能见度低、车载前置视频图像颜色与对比度衰减严重，降低了图像的清晰度；
2，山区环境与常规结构化道路环境相差很大，对障碍物的准确描述仍存在针对性不足；
3，车辆需要运行在起伏颠簸的非结构化路面上，从而影响传感器对周围环境的感知，易出现检测丢失。
发明内容
针对现有技术中的缺陷，本发明提供一种基于多传感器融合的尘雾天气道路环境感知系统，针对这一特殊环境下，实现在团雾环境下提升获取图像的清晰度以及提高检测的连续性，减少检测丢失。
本发明所提供的一种技术方案为：一种基于多传感器融合的尘雾天气道路环境感知系统，包括传感器模块，多传感器信息融合模块，自主式环境感知系统模块，网联信息数据协议定义模块，网联信息与多传感器信息融合系统模块和环境信息动静态目标道路信息模块；
所述传感器模块，用于多源传感器获取车辆周边的环境数据以及行驶过程中的状态数据；其中，所述状态数据通过车辆的IMU系统检测所得；
所述多传感器信息融合模块，用于对所述传感器模块中多源传感器的原始数据进行解析，以实现多源数据的时间同步、特征识别、目标融合以及结果数据集融合；
所述自主式环境感知系统模块，用于将所述多传感器信息融合模块处理后的数据再利用数据处理算法进行处理，并根据车辆的状态数据对进行感知的传感器进行补偿以修正数据处理算法；完成自动驾驶车辆对周边车辆的识别和连续跟踪，非标准化道路的检测以及正负障碍物的识别；
所述网联信息数据协议定义模块，用于对传感器所获取的数据进行预处理，定义传感器所获取数据的优先级，设置阈值；
所述网联信息与多传感器信息融合系统模块，用于将网联信息与多传感器的感知信息进行接入，将周边车辆信息通过V2X传递给本车，并进一步与自主感知信息进行再次融合，实现车辆对车周围环境和移动目标信息的全覆盖、准确感知，将团雾场景下的除雾算法模型应用于图像处理；
所述环境信息动静态目标道路信息模块，用于将最终所获取的环境信息、动静态目标道路信息传送至车辆。
作为本申请一种可选的实施方式，所述多源传感器包括设置在矿用卡车上的激光雷达、毫米波雷达和摄像头；其中，所述激光雷达用于生成原始点云数据，包括4线、16线和32线激光雷达；
所述毫米波雷达用于生成包含障碍物信息毫米波信号数据，包括ESR毫米波雷达和RSDS毫米波雷达；
所述摄像头用于采集图像和视频信息数据，包括普通摄像头和鱼眼摄像头。
作为本申请一种可选的实施方式，所述多传感器信息融合模块对多源传感器的原始数据进行解析，具体包括：
首先获取图像数据和毫米波雷达数据，然后基于车行视距的图像场景深度估值和基于灰度概率统计的大气透射率估值算法对所获取的图像进行除雾处理，再根据毫米波雷达数据进行有效的目标筛选。
作为本申请一种可选的实施方式，所述根据车辆的状态数据对进行感知的传感器进行补偿以修正数据处理算法，具体包括：
将激光雷达采集的三维点云信息，IMU采集三轴及速度信息，摄像头采集的图像信息传递给数据处理算法中的决策层之后，根据图像计算出无人矿车的三轴坐标和三轴姿态，通过激光数据计算出无人矿车的位置变换1，通过IMU计算出无人矿车的位置变换2；
再将IMU、激光数据和图像所获得的位置变换信息使用扩展卡尔曼滤波方法进行融合，得到准确的车辆的的坐标变换。
作为本申请一种可选的实施方式，所述除雾算法模型是基于车行视距的图像场景深度估值和基于大气透射率估值算法所建立的车载前置视频图像的快速去雾数字算法模型，应用于图像处理具体包括：
步骤一：在具有雾霾的环境中获取视频流中的图像，并且在毫米波雷达中获取场景深度信息；
步骤二：把一定能见度条件下的车行可视距离作为目标物体的景深信息，以估算出透射率；
步骤三：将原图像转化成灰度图像；
步骤四：以灰度图像作为引导图像使用引导滤波算法对灰度图像进行引导滤波得到滤波输出图像，并以窗口中的像素均值作为大气光值；
步骤五：将得到的所述透射率和大气光值代入至大气光散射模型中进行修复，以得到无雾的清晰图像。
作为本申请一种可选的实施方式，在所述引导滤波算法中引入了盒式滤波，以实现对每个窗口内的像素值进行快速均值运算的功能。
作为本申请一种可选的实施方式，利用引导滤波对大气光进行估值时，滤波窗口的半径的选择值在30～40，调整参数ε的取值为10–3。
作为本申请一种可选的实施方式，所述多源传感器之间的融合，包括各传感器之间的时间融合和空间融合。
采用上述技术方案，具有以下优点：本发明提出的一种基于多传感器融合的尘雾天气道路环境感知系统，针对车辆需要运行在起伏颠簸的非结构化路面上，从而影响传感器对周围环境的感知，通过引入车辆的状态数据对感知传感器进行补偿，完成车辆对周边车辆的识别和连续跟踪，以及正负障碍物的识别，避免了因为短时丢失正负障碍物信息，从而确保了正负障碍物检测的连续性和有效性；同时，针对矿区团雾影响车载视觉的问题，利用团雾场景下的除雾算法模型进行图像处理，获得清晰的视频图像，进而提升识别的准确性，保证了无人驾驶车辆能够安全、高效果的运行，并降低了劳动强度、提高了人员安全性。
附图说明
图1是本发明实施例所提供的一种基于多传感器融合的尘雾天气道路环境感知系统的结构示意图。
具体实施方式
下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。
在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的示图都是为了说明的目的，并且示图不一定是按比例绘制的。
下面结合附图，对本发明作详细的说明。
参考图1所示，一种基于多传感器融合的尘雾天气道路环境感知系统，包括传感器模块，多传感器信息融合模块，自主式环境感知系统模块，网联信息数据协议定义模块，网联信息与多传感器信息融合系统模块和环境信息动静态目标道路信息模块；应用时，该系统应用于可无人驾驶矿用卡车等。
所述传感器模块，用于多源传感器获取自动驾驶车辆周边的环境数据以及行驶过程中的状态数据；其中，所述状态数据通过车辆的IMU系统检测所得。
具体地，所述车辆安装了高精度惯导系统，用于检测得到车辆行驶过程性中的速度、偏角和位置等信息，将其作为所述状态数据；
所述多源传感器包括设置在车辆上的激光雷达、毫米波雷达和摄像头；其中，所述激光雷达用于生成原始点云数据，包括4线、16线和32线激光雷达；
所述4线激光雷达布置于车辆前方正中位置；
所述16线激光雷达位于车辆前方，以对称分居4线激光雷达两侧；
所述32线雷达位于车辆顶部；
所述毫米波雷达用于生成包含障碍物信息毫米波信号数据，包括ESR毫米波雷达和RSDS毫米波雷达；
所述ESR毫米波雷达安装于车辆前方，位于4线激光雷达上方；
所述RSDS毫米波雷达安装于16线激光雷达下方；
所述摄像头用于采集图像和视频信息数据，包括普通摄像头和鱼眼摄像头。
所述普通摄像头位于驾驶室前上方，用于采集图像和视频信息；
所述鱼眼摄像头安装于车辆反光镜处，用于采集图像信息。
上述多源传感器中，毫米波雷达主要是通过对目标物发送电磁波并接收回波来获得目标物体的距离、速度和角度。
摄像头方案成本低，可以识别不同的物体，在物体高度与宽度测量精度、车道线识别、行人识别准确度等方面有优势，是实现车道偏离预警、交通标志识别等功能不可缺少的传感器，但作用距离和测距精度不如毫米波雷达，并且容易受光照、天气等因素的影响。毫米波雷达受光照和天气因素影响较小，测距精度高，但难以识别车道线、交通标志等元素。因此，采用多传感器融合的方案，结合多传感器各自的优势，从而提高检测的准确性。
所述多传感器信息融合模块，用于对所述传感器模块中多源传感器的原始数据进行解析，以实现多源数据的时间同步、特征识别、目标融合以及结果数据集融合。
具体地，所述多传感器信息融合模块构建多层次的算法和软件架构，保证数据处理的实时性；利用摄像头和毫米波雷达分别针对观测目标收集数据，然后对各传感器的输出数据进行特征提取与模式识别处理，并将目标按类别进行准确关联，最后利用融合算法将同一目标的所有传感器数据进行整合，从而得出关于目标威胁性的一致性结论；其中，所述融合算法可采用Bayes估计方法。
多源传感器之间的融合，包括各传感器之间的时间融合和空间融合；其中：
建立精确的雷达坐标系、三维世界坐标系、摄像机坐标系、图像坐标系和像素坐标系之间的坐标转换关系，是实现多传感器数据的空间融合的关键；雷达与视觉传感器空间融合就是将不同传感器坐标系的测量值转换到同一个坐标系中；由于前向视觉系统以视觉为主，只需将雷达坐标系下的测量点通过坐标系转换到摄像机对应的像素坐标系下即可实现多传感器的空间同步；
雷达和视觉信息在除在空间上需要进行融合，还需要传感器在时间上同步采集数据，实现时间的融合；根据毫米波雷达功能工作手册，其采样周期为50ms，即采样帧速率为20帧/秒，而摄像机采样帧速率为25帧/秒，为了保证数据的可靠性，以摄像机采样速率为基准，摄像机每采一帧图像，选取毫米波雷达上一帧缓存的数据，即完成共同采样一帧雷达与视觉融合的数据，从而保证了毫米波雷达数据和摄像机数据时间上的同步。
所述自主式环境感知系统模块，用于将所述多传感器信息融合模块处理后的数据再利用数据处理算法进行处理，并根据车辆的状态数据对进行感知的传感器进行补偿以修正数据处理算法；完成车辆对周边车辆的识别和连续跟踪，非标准化道路的检测以及正负障碍物的识别。
具体地，所述数据处理算法包括机器学习视觉算法、激光雷达特征提取算法、雷达目标识别跟踪算法等算法；
针对车辆需要运行在起伏颠簸的非结构化路面上，起伏颠簸的路面会引起固定在车辆上的激光雷达等传感器发射的激光束时而发射到天上，时而发射到地面上，从而引起对正负障碍物检测出现丢失的情况，从而影响传感器对周围环境的感知，基于IMU修正的正负障碍物连续跟踪算法，确保正负障碍物检测的连续性和有效性，具体包括：
将激光雷达采集的三维点云信息，IMU采集三轴及速度信息，摄像头采集的图像信息传递给数据处理算法中的决策层之后，根据图像计算出无人矿车的三轴坐标和三轴姿态，通过激光数据计算出无人矿车的位置变换1，通过IMU计算出无人矿车的位置变换2；
再将IMU、激光数据和图像所获得的位置变换信息使用扩展卡尔曼滤波方法进行融合，得到准确的车辆的的坐标变换；这里的位置变换信息包括所述位置变换1和位置变换2。
所述网联信息数据协议定义模块，用于对传感器所获取的数据进行预处理，定义传感器所获取数据的优先级，设置阈值。
所述网联信息与多传感器信息融合系统模块，用于将网联信息与多传感器的感知信息进行接入，将周边车辆信息通过V2X传递给本车，并进一步与自主感知信息进行再次融合，实现车辆对车周围环境和移动目标信息的全覆盖、准确感知，将团雾场景下的除雾算法模型应用于图像处理。
需要说明的是，前述融合是指单辆矿用卡车身周围信息，经过上述步骤加以融合，此处的进一步融合是指单辆矿用卡车所获得的的信息，进过处理之后，传到v2x中，并与网联信息融合；所述网联信息包括路端信息、车-车信息以及环境信息。
所述除雾算法模型是基于车行视距的图像场景深度估值和基于大气透射率估值算法所建立的车载前置视频图像的快速去雾数字算法模型，应用于图像处理具体包括：
步骤一：在具有雾霾的环境中获取视频流中的图像，并且在毫米波雷达中获取场景深度信息。
步骤二：把一定能见度条件下的车行可视距离作为目标物体的景深信息，以估算出透射率。
本实施例中，所述透射率用t(x)表示，其大小与能见度L和目标物像的视觉深度d有关；因此，把一定能见度条件下的车行可视距离作为目标物体的景深d，t(x)通过以下公式计算为：
这样，根据毫米波雷达获取的实时L值，便可快速估算出t(x)值。
步骤三：将原图像转化成灰度图像。
步骤四：以灰度图像作为引导图像使用引导滤波算法对灰度图像进行引导滤波得到滤波输出图像，并以窗口中的像素均值作为大气光值。
应用时，由于引导图像滤波处理，涉及一系列均值及方差乘除运算，这会占用大量的机器时间，增加了算法的时间复杂度，所以，在所述引导滤波算法中引入了盒式滤波，以实现在给定滑动窗口下对每个窗口内的像素值进行快速均值运算的功能。
需要说明的是，需要进行引导滤波的原始图像J为输入图像，即为为J(x)，j、i为输入图像像素点，I为引导图像，q为滤波输出图像，并以k为中心的核函数窗口ωk中存在如下线性关系：
qi＝akIi+bk,
式中，ωk窗口边长为r×r，ak与bk为窗口ωk内的线性变换系数(即线性因数，在窗口中为固定值)，i为ωk中的像素索引。引导滤波的功能，主要是搜索线性因数(ak,bk)的最佳解，使输入图像J与输出图像q的差异最小。
经过引导滤波算法后，将引导滤波中ak和bk运算的所有均值都用盒式滤波的操作来代替，则有：
bk＝Box(ji)k-akBox(Ii)k
式中，Box为对矩阵元素进行均值运算的盒式滤波：
若把原始雾霾图作为引导图像，可获得它的引导滤波图qi，进一步将获得的引导滤波图qi以窗口中的像素均值作为大气光A，则有：
于是，可以获得大气光的估计模型：
其引入盒式滤波的形式为：
Ai＝Box(ak)kji+Box(bk)k,
式中，j、i为输入图像的像素点，i为索引系号。需要说明的是，利用引导滤波对大气光进行估值时，滤波窗口的半径的选择值在30～40，调整参数ε的取值为10–3。
步骤五：将得到的所述透射率t(x)和大气光值A代入至大气光散射模型中进行修复，以得到无雾的清晰图像。
具体地，原始雾霾图为J(x)，待求的无雾图为E(x)，于是大气光散射模型表述为：
J(x)＝t(x)E(x)+A(1-t(x))
最终经过修复处理，获得清晰地图像E(x)。
通过上述步骤的处理，不仅可获得清晰的视频图像，还将解决长期以来传统暗原色先验理论方法、双边滤波等传统算法尚不能应用于视频图像实时处理的问题。
所述环境信息动静态目标道路信息模块，用于将最终所获取的环境信息、动静态目标道路信息传送至车辆。
上述方案，针对车辆需要运行在起伏颠簸的非结构化路面上，从而影响传感器对周围环境的感知，通过引入车辆的数据对感知传感器进行补偿，完成车辆对周边车辆的识别和连续跟踪，以及正负障碍物的识别，避免了因为短时丢失正负障碍物信息，从而确保了正负障碍物检测的连续性和有效性；同时，针对矿区团雾影响车载视觉的问题，利用团雾场景下的除雾算法模型进行图像处理，获得清晰的视频图像，进而提升识别的准确性，保证了无人驾驶矿用卡车能够安全、高效果的运行，并降低了劳动强度、提高了人员安全性。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (8)
1.一种基于多传感器融合的尘雾天气道路环境感知系统，其特征在于，包括传感器模块，多传感器信息融合模块，自主式环境感知系统模块，网联信息数据协议定义模块，网联信息与多传感器信息融合系统模块和环境信息动静态目标道路信息模块；
所述传感器模块，用于多源传感器获取车辆周边的环境数据以及行驶过程中的状态数据；其中，所述状态数据通过车辆的IMU系统检测所得；
所述多传感器信息融合模块，用于对所述传感器模块中多源传感器的原始数据进行解析，以实现多源数据的时间同步、特征识别、目标融合以及结果数据集融合；
所述自主式环境感知系统模块，用于将所述多传感器信息融合模块处理后的数据再利用数据处理算法进行处理，并根据车辆的状态数据对进行感知的传感器进行补偿以修正数据处理算法；完成车辆对周边车辆的识别和连续跟踪，非标准化道路的检测以及正负障碍物的识别；
所述网联信息数据协议定义模块，用于对传感器所获取的数据进行预处理，定义传感器所获取数据的优先级，设置阈值；
所述网联信息与多传感器信息融合系统模块，用于将网联信息与多传感器的感知信息进行接入，将周边车辆信息通过V2X传递给本车，并进一步与自主感知信息进行再次融合，实现车辆对车周围环境和移动目标信息的全覆盖、准确感知，将团雾场景下的除雾算法模型应用于图像处理；
所述环境信息动静态目标道路信息模块，用于将最终所获取的环境信息、动静态目标道路信息传送至车辆。
2.根据权利要求1所述的一种基于多传感器融合的尘雾天气道路环境感知系统，其特征在于，所述多源传感器包括设置在车上的激光雷达、毫米波雷达和摄像头；其中，所述激光雷达用于生成原始点云数据，包括4线、16线和32线激光雷达；
所述毫米波雷达用于生成包含障碍物信息毫米波信号数据，包括ESR毫米波雷达和RSDS毫米波雷达；
所述摄像头用于采集图像和视频信息数据，包括普通摄像头和鱼眼摄像头。
3.根据权利要求2所述的一种基于多传感器融合的尘雾天气道路环境感知系统，其特征在于，所述多传感器信息融合模块对多源传感器的原始数据进行解析，具体包括：
首先获取图像数据和毫米波雷达数据，然后基于车行视距的图像场景深度估值和基于灰度概率统计的大气透射率估值算法对所获取的图像进行除雾处理，再根据毫米波雷达数据进行有效的目标筛选。
4.根据权利要求3所述的一种基于多传感器融合的尘雾天气道路环境感知系统，其特征在于，所述根据车辆的状态数据对进行感知的传感器进行补偿以修正数据处理算法，具体包括：
将激光雷达采集的三维点云信息，IMU采集三轴及速度信息，摄像头采集的图像信息传递给数据处理算法中的决策层之后，根据图像计算出无人矿车的三轴坐标和三轴姿态，通过激光数据计算出车辆的位置变换1，通过IMU计算出无人矿车的位置变换2；
再将IMU、激光数据和图像所获得的位置变换信息使用扩展卡尔曼滤波方法进行融合，得到准确的车辆的的坐标变换。
5.根据权利要求4所述的一种基于多传感器融合的尘雾天气道路环境感知系统，其特征在于，所述除雾算法模型是基于车行视距的图像场景深度估值和基于大气透射率估值算法所建立的车载前置视频图像的快速去雾数字算法模型，应用于图像处理具体包括：
步骤一：在具有雾霾的环境中获取视频流中的图像，并且在毫米波雷达中获取场景深度信息；
步骤二：把一定能见度条件下的车行可视距离作为目标物体的景深信息，以估算出透射率；
步骤三：将原图像转化成灰度图像；
步骤四：以灰度图像作为引导图像使用引导滤波算法对灰度图像进行引导滤波得到滤波输出图像，并以窗口中的像素均值作为大气光值；
步骤五：将得到的所述透射率和大气光值代入至大气光散射模型中进行修复，以得到无雾的清晰图像。
6.根据权利要求5所述的一种基于多传感器融合的尘雾天气道路环境感知系统，其特征在于，在所述引导滤波算法中引入了盒式滤波，以实现对每个窗口内的像素值进行快速均值运算的功能。
7.根据权利要求6所述的一种基于多传感器融合的尘雾天气道路环境感知系统，其特征在于，利用引导滤波对大气光进行估值时，滤波窗口的半径的选择值在30～40，调整参数ε的取值为10–3。
8.根据权利要求7所述的一种基于多传感器融合的尘雾天气道路环境感知系统，其特征在于，所述多源传感器之间的融合，包括各传感器之间的时间融合和空间融合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111043471.7A CN113820714B (zh) | 2021-09-07 | 2021-09-07 | 一种基于多传感器融合的尘雾天气道路环境感知系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111043471.7A CN113820714B (zh) | 2021-09-07 | 2021-09-07 | 一种基于多传感器融合的尘雾天气道路环境感知系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113820714A true CN113820714A (zh) | 2021-12-21 |
| CN113820714B CN113820714B (zh) | 2024-04-12 |
Family
ID=78922022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111043471.7A Active CN113820714B (zh) | 2021-09-07 | 2021-09-07 | 一种基于多传感器融合的尘雾天气道路环境感知系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113820714B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113433548A (zh) * | 2021-06-24 | 2021-09-24 | 中国第一汽车股份有限公司 | 一种数据监控方法、装置、设备及存储介质 |
| CN114312794A (zh) * | 2022-01-12 | 2022-04-12 | 苏州挚途科技有限公司 | 车辆行驶恶劣天气环境的识别系统和方法 |
| CN114383598A (zh) * | 2022-01-17 | 2022-04-22 | 中国铁建重工集团股份有限公司 | 一种隧道施工作业车及其自动驾驶系统 |
| CN115985122A (zh) * | 2022-10-31 | 2023-04-18 | 内蒙古智能煤炭有限责任公司 | 无人驾驶系统感知方法 |
| CN116129553A (zh) * | 2023-04-04 | 2023-05-16 | 北京理工大学前沿技术研究院 | 一种基于多源车载设备的融合感知方法及系统 |
| CN117636671A (zh) * | 2024-01-24 | 2024-03-01 | 四川君迪能源科技有限公司 | 乡村道路智能会车的协同调度方法和系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020103533A1 (zh) * | 2018-11-20 | 2020-05-28 | 中车株洲电力机车有限公司 | 一种轨道和道路障碍物检测方法 |
| CN111427348A (zh) * | 2020-03-24 | 2020-07-17 | 江苏徐工工程机械研究院有限公司 | 一种自动驾驶矿用自卸卡车环境感知系统及矿用自卸卡车 |
| CN111551938A (zh) * | 2020-04-26 | 2020-08-18 | 北京踏歌智行科技有限公司 | 一种基于矿区环境的无人驾驶技术感知融合方法 |
| CN111951305A (zh) * | 2020-08-20 | 2020-11-17 | 重庆邮电大学 | 一种基于视觉和激光雷达的目标检测和运动状态估计方法 |
| CN112130153A (zh) * | 2020-09-23 | 2020-12-25 | 的卢技术有限公司 | 基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法 |
| CN112767475A (zh) * | 2020-12-30 | 2021-05-07 | 重庆邮电大学 | 一种基于c-v2x、雷达与视觉的智能路侧感知系统 |
| CN113313154A (zh) * | 2021-05-20 | 2021-08-27 | 四川天奥空天信息技术有限公司 | 一体化融合多传感器自动驾驶智能感知装置 |
-
2021
- 2021-09-07 CN CN202111043471.7A patent/CN113820714B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020103533A1 (zh) * | 2018-11-20 | 2020-05-28 | 中车株洲电力机车有限公司 | 一种轨道和道路障碍物检测方法 |
| CN111427348A (zh) * | 2020-03-24 | 2020-07-17 | 江苏徐工工程机械研究院有限公司 | 一种自动驾驶矿用自卸卡车环境感知系统及矿用自卸卡车 |
| CN111551938A (zh) * | 2020-04-26 | 2020-08-18 | 北京踏歌智行科技有限公司 | 一种基于矿区环境的无人驾驶技术感知融合方法 |
| CN111951305A (zh) * | 2020-08-20 | 2020-11-17 | 重庆邮电大学 | 一种基于视觉和激光雷达的目标检测和运动状态估计方法 |
| CN112130153A (zh) * | 2020-09-23 | 2020-12-25 | 的卢技术有限公司 | 基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法 |
| CN112767475A (zh) * | 2020-12-30 | 2021-05-07 | 重庆邮电大学 | 一种基于c-v2x、雷达与视觉的智能路侧感知系统 |
| CN113313154A (zh) * | 2021-05-20 | 2021-08-27 | 四川天奥空天信息技术有限公司 | 一体化融合多传感器自动驾驶智能感知装置 |
Non-Patent Citations (2)
| Title |
|---|
| 于书博: "雾霾天气下道路交通标志识别和车道线检测研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》, no. 3, pages 11 - 73 * |
| 范浩硕: "动态三维场景异源传感器融合感知", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 5, pages 45 - 85 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113433548A (zh) * | 2021-06-24 | 2021-09-24 | 中国第一汽车股份有限公司 | 一种数据监控方法、装置、设备及存储介质 |
| CN114312794A (zh) * | 2022-01-12 | 2022-04-12 | 苏州挚途科技有限公司 | 车辆行驶恶劣天气环境的识别系统和方法 |
| CN114312794B (zh) * | 2022-01-12 | 2024-05-28 | 苏州挚途科技有限公司 | 车辆行驶恶劣天气环境的识别系统和方法 |
| CN114383598A (zh) * | 2022-01-17 | 2022-04-22 | 中国铁建重工集团股份有限公司 | 一种隧道施工作业车及其自动驾驶系统 |
| CN115985122A (zh) * | 2022-10-31 | 2023-04-18 | 内蒙古智能煤炭有限责任公司 | 无人驾驶系统感知方法 |
| CN116129553A (zh) * | 2023-04-04 | 2023-05-16 | 北京理工大学前沿技术研究院 | 一种基于多源车载设备的融合感知方法及系统 |
| CN117636671A (zh) * | 2024-01-24 | 2024-03-01 | 四川君迪能源科技有限公司 | 乡村道路智能会车的协同调度方法和系统 |
| CN117636671B (zh) * | 2024-01-24 | 2024-04-30 | 四川君迪能源科技有限公司 | 乡村道路智能会车的协同调度方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113820714B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113820714B (zh) | 一种基于多传感器融合的尘雾天气道路环境感知系统 | |
| CN108960183B (zh) | 一种基于多传感器融合的弯道目标识别系统及方法 | |
| CN110942449B (zh) | 一种基于激光与视觉融合的车辆检测方法 | |
| CN112215306B (zh) | 一种基于单目视觉与毫米波雷达融合的目标检测方法 | |
| US20200217950A1 (en) | Resolution of elevation ambiguity in one-dimensional radar processing | |
| CN106909152B (zh) | 一种车用环境感知系统及汽车 | |
| CN107392103B (zh) | 路面车道线的检测方法及装置、电子设备 | |
| EP3792660B1 (en) | Method, apparatus and system for measuring distance | |
| Hautière et al. | Mitigation of visibility loss for advanced camera-based driver assistance | |
| US20200041284A1 (en) | Map road marking and road quality collecting apparatus and method based on adas system | |
| CN104011737B (zh) | 用于探测雾的方法 | |
| CN107590470B (zh) | 一种车道线检测方法及装置 | |
| CN110738121A (zh) | 一种前方车辆检测方法及检测系统 | |
| CN105512623A (zh) | 基于多传感器雾天行车视觉增强与能见度预警系统及方法 | |
| WO2019208101A1 (ja) | 位置推定装置 | |
| CN212220188U (zh) | 地下停车场融合定位系统 | |
| US11676403B2 (en) | Combining visible light camera and thermal camera information | |
| CN113850102A (zh) | 基于毫米波雷达辅助的车载视觉检测方法及系统 | |
| CN114492679B (zh) | 一种车辆数据处理方法、装置、电子设备及介质 | |
| CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
| Jiang et al. | Target detection algorithm based on MMW radar and camera fusion | |
| CN110750153A (zh) | 一种无人驾驶车辆的动态虚拟化装置 | |
| CN115876198A (zh) | 基于数据融合的目标检测及预警方法、设备、系统和介质 | |
| CN115985122A (zh) | 无人驾驶系统感知方法 | |
| CN105300390B (zh) | 障碍物体运动轨迹的确定方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |