CN113665500B - 全天候作业的无人驾驶运输车环境感知系统及方法 - Google Patents

全天候作业的无人驾驶运输车环境感知系统及方法 Download PDF

Info

Publication number
CN113665500B
CN113665500B CN202111033003.1A CN202111033003A CN113665500B CN 113665500 B CN113665500 B CN 113665500B CN 202111033003 A CN202111033003 A CN 202111033003A CN 113665500 B CN113665500 B CN 113665500B
Authority
CN
China
Prior art keywords
information
formula
representing
vehicle
ultrasonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111033003.1A
Other languages
English (en)
Other versions
CN113665500A (zh
Inventor
曾德全
胡一明
楼狄明
熊璐
陈齐平
邓振文
张周平
王旭华
涂培培
刘登程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Intelligent New Energy Vehicle Research Institute
Original Assignee
Nanchang Intelligent New Energy Vehicle Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Intelligent New Energy Vehicle Research Institute filed Critical Nanchang Intelligent New Energy Vehicle Research Institute
Priority to CN202111033003.1A priority Critical patent/CN113665500B/zh
Publication of CN113665500A publication Critical patent/CN113665500A/zh
Application granted granted Critical
Publication of CN113665500B publication Critical patent/CN113665500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/33—Multimode operation in different systems which transmit time stamped messages, e.g. GPS/GLONASS
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/46—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being of a radio-wave signal type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—

Abstract

本发明提供了一种全天候作业的无人驾驶运输车环境感知系统及方法，属于无人驾驶的技术领域；所述系统包括斜角对置的激光感知系统、环绕周车的超声波感知系统、环绕周车的毫米波雷达系统、环绕周车的相机系统、车顶安装的天线定位系统、数据通讯系统和多源异构环境感知融合系统；分别通过激光感知系统、超声波感知系统、毫米波感知系统以及相机系统建立相应的二维栅格地图，结合天线定位系统接收的高精度定位信息及航向测量信息和数据通讯系统获取的路侧和基站的预处理通讯信息，最后经多源异构环境感知融合系统将获取的二维栅格地图、高精度定位信息及航向测量信息，以及预处理通讯信息进行决策级融合，以获得全天候环境感知功能的二维融合栅格地图。

Description

全天候作业的无人驾驶运输车环境感知系统及方法
技术领域
本发明属于无人驾驶的技术领域，具体地涉及一种全天候作业的无人驾驶运输车环境感知系统及方法。
背景技术
由于无人驾驶运输车辆有望可以降低作业强度、降低作业风险和提高作业效率，该技术产业化发展正如火如荼。作为无人驾驶运输车实现的重要环节，环境感知技术也取得了突破性的进展。但是，受限于单个传感器探测能力的限制和环境因素(雨雾、光照等)的制约，现有环境感知技术还没有实现全天候环境的感知功能，导致无人驾驶运输车仅能在部分场景下使用，从而限制了无人驾驶运输车的适用范围。
因此，如何实现无人驾驶运输车的全天候环境感知功能是一个亟待解决的研究课题。
发明内容
为了解决上述技术问题，本发明提供了一种全天候作业的无人驾驶运输车环境感知系统及方法。
本发明是通过以下技术方案实现的：
本发明涉及一种全天候作业的无人驾驶运输车环境感知系统，其包括激光感知系统、超声波感知系统、毫米波感知系统、相机系统、天线定位系统、数据通讯系统和多源异构环境感知融合系统；
所述激光感知系统，包括对角设置的激光雷达，其用于实现路沿识别、可通行区域提取以及障碍物聚类，并建立二维激光栅格地图；
所述超声波感知系统，包括环绕周车设置的超声波雷达，其用于实现可通行区域提取及障碍物聚类，并建立与所述二维激光栅格地图同坐标轴的二维超声波栅格地图；
所述毫米波感知系统，包括环绕周车设置的毫米波雷达，其用于实现可通行区域提取及障碍物聚类，并建立与所述二维激光栅格地图同坐标轴的二维毫米波栅格地图；
所述相机系统，包括环绕周车设置的视觉相机，其用于实现路沿识别、可通行区域提取以及障碍物聚类，并建立与所述二维激光栅格地图同坐标轴的二维相机栅格地图；
所述天线定位系统，包括车顶设置的天线，其用于实现接收定位信息和航向测量信息；
所述数据通讯系统，用于实现路侧和基站发布的信息与车载传感器信息采用并集运算以进行特征融合，并实时对外发布车辆感知的环境信息；
所述多源异构环境感知融合系统，用于将车载的所述激光感知系统、所述超声波感知系统、所述毫米波感知系统、所述相机系统、所述天线定位系统和所述数据通讯系统的传感信息采用并集运算以进行决策级融合，以获得全天候感知、覆盖和跨尺度交互的环境信息。
相比现有技术，本发明系统的有益效果为：分别通过激光感知系统、超声波感知系统、毫米波感知系统以及相机系统建立相应的二维栅格地图，结合天线定位系统接收的高精度定位信息及航向测量信息和数据通讯系统获取的路侧和基站的预处理通讯信息，最后经多源异构环境感知融合系统将获取的二维栅格地图、高精度定位信息及航向测量信息，以及预处理通讯信息进行决策级融合，以获得全天候环境感知功能的二维融合栅格地图。
较佳地，所述天线定位系统用于接收北斗定位、GPS、格洛纳兹、伽利略定位系统和UWB的差分厘米级定位信息。
较佳地，所述数据通讯系统采用专用短程通信、长期演进的车辆通信、Wifi通信和5G通信中的任一种进行数据通信。
本发明还涉及一种全天候作业的无人驾驶运输车环境感知方法，具有上述的所述感知系统，该感知方法具体步骤如下：
步骤S110：建立具有路沿、可通行区域以及障碍物信息的二维激光栅格地图；
步骤S120：建立具有可通行区域以及障碍物信息的二维超声波栅格地图；
步骤S130：建立具有可通行区域以及障碍物信息的二维毫米波栅格地图；
步骤S140：建立具有路沿、可通行区域以及障碍物信息二维相机栅格地图；
步骤S150：获取并输出高精度定位信息和航向测量信息；
步骤S160：通过数据通讯系统获取路侧和基站的初始通讯信息，将所述初始通讯信息分别与自车对应的传感器信息采用并集运算以进行的特征融合，以获得路侧和基站的预处理通讯信息；
步骤S170：通过多源异构环境感知融合系统将所述二维激光栅格地图、所述二维超声波栅格地图、所述二维毫米波栅格地图、所述二维相机栅格地图与高精定位信息，以及所述预处理通讯信息采用并集运算以进行决策级融合，以获得全天候环境感知的二维融合栅格地图。
较佳地，所述步骤S110的具体步骤包括：
步骤S111：通过激光雷达获取各自的原始激光点云，根据公式(1)，采用裁剪操作将自车车体遮挡的激光点云从相对应的所述原始激光点云中剔除，以获取各自的初始激光点云；
X10n_b＝X10n_a－X10n_car (1)
式中，X10n_b表示第n个所述激光雷达的初始激光点云，X10n_a表示第n个所述激光雷达的原始激光点云，X10n_car表示自车车体投影在第n个所述激光雷达坐标系下的矩形点集；
步骤S112：根据公式(2)，利用组合导航系统信息处理结果中的自车运动信息对所述初始激光点云进行运动补偿，纠正由于自车运动导致的点云畸变，以获取预处理激光点云；
X10n_c＝RX10n_b－T (2)
式中，X10n_b表示第n个所述激光雷达的初始激光点云，X10n_c表示第n个所述激光雷达的预处理激光点云，R表示旋转矩阵，T表示平移矩阵；
步骤S113：将n个所述预处理激光点云采用公式(3)进行像素级融合得到一个像素级融合激光点云；
X100_d＝X101_c∪X102_c∪...∪X10n_c (3)
式中，X100_d表示n个所述激光雷达进行像素级融合求并集运算得到的像素级融合激光点云；
步骤S114：根据公式(4)分割所述像素级融合激光点云，分别提取出地面和非地面的特征激光点云；
Figure GDA0003694236460000041
式中，X100_e表示地面点云，X100_f表示非地面点云，d100表示所述激光雷达的离地高度；
步骤S115：根据获得的所述地面特征激光点云和所述非地面的特征激光点云，采用如公式(5)所示的最近邻聚类算法，提取可通行区域和非地面块；并因路沿位于可通行区域的两侧，且障碍物占用可通行区域，采用公式(6)和公式(7)，通过对非地面块与可通行区域做并集运算，可分别识别出路沿和障碍物，以获得路沿、可通行区域以及障碍物信息；
X100_g＝k_means(X100_e,6σ100),X100_h＝k_means(X100_f,6σ100) (5)
Figure GDA0003694236460000042
Figure GDA0003694236460000043
式中，k_means(.)表示最近邻聚类函数，其输入为源数据和最近邻距离，σ100表示激光雷达测距精度，X100_g表示地面点云聚类得到的可通行区域，X100_h表示非地面点云聚类得到非地面块，X100_i表示障碍物，X100_j表示路沿，diag(1,1,0)表示对角矩阵，其行数和列数相等，行数等于X100_i的列数；
步骤S116：建立以车辆后轴为原点、朝车头方向为+X轴、朝后轴右侧车轮方向为+Y轴的二维激光栅格地图，并将所述路沿信息、所述可通行区域信息以及所述障碍物信息标注在所述二维激光栅格地图当中，以建立具有路沿、可通行区域以及障碍物信息的二维激光栅格地图。
较佳地，所述步骤S120的具体步骤包括：
步骤S121：通过超声波雷达获取各自的初始超声波点云；
步骤S122：根据公式(8)，利用组合导航系统信息处理结果中的自车运动信息对所述初始超声波点云进行运动补偿，纠正由于自车运动导致的点云畸变，以获得所述预处理超声波点云；
X20m_b＝RX20m_a－T (8)
式中，X20m_a表示第m个所述初始超声波点云，X20m_b表示第m个所述预处理超声波点云，R表示旋转矩阵，T表示平移矩阵；
步骤S123：将m个所述预处理超声波点云采用公式(9)进行像素级融合得到一个像素级融合超声波点云；
X200_c＝X201_b∪X202_b∪...∪X20m_b (9)
式中，X200_c表示m个所述超声波雷达进行像素级融合求并集运算得到的像素级融合超声波点云；
步骤S124：根据获得的所述像素级融合超声波点云，采用如公式(10)所示的最近邻聚类算法提取障碍物；并采用公式(11)，通过所述超声波雷达最大探测空间减去所述障碍物占据空间提取可行驶区域，以获得可通行区域以及障碍物信息；
X200_d＝k_means(X200_c,6σ200) (10)
X200_e＝{X|X＝diag(d300,d300,0)-X200_c·diag(1,1,0)} (11)
式中，σ200表示所述超声波雷达测距精度，X200_d表示所述超声波点云聚类得到的障碍物，X200_e表示可行驶区域，d300表示所述超声波雷达的最大探测距离；
步骤S125：建立以车辆后轴为原点、朝车头方向为+X轴、朝后轴右侧车轮方向为+Y轴的二维超声波栅格地图，并将所述可通行区域信息以及所述障碍物信息标注在所述二维超声波栅格地图当中，以建立具有可通行区域以及障碍物信息的二维超声波栅格地图。
较佳地，所述步骤S130的具体步骤包括：
步骤S131：通过毫米波雷达获取各自的初始毫米波点云；
步骤S132：根据公式(12)，利用组合导航系统信息处理结果中的自车运动信息对所述初始毫米波点云进行运动补偿，纠正由于自车运动导致的点云畸变，以获得预处理毫米波点云；
X30p_b＝RX30p_a－T (12)
式中，X30p_a表示第p个所述初始毫米波点云，X30p_b表示第p个所述预处理毫米波点云，R表示旋转矩阵，T表示平移矩阵；
步骤S133：将p个所述预处理毫米波点云采用公式(13)进行像素级融合得到一个像素级融合毫米波点云；
X300_c＝X301_b∪X302_b∪...∪X30p_b (13)
式中，X300_c表示p个所述毫米波雷达进行像素级融合求并集运算得到的像素级融合毫米波点云；
步骤S134：根据获得的所述像素级融合毫米波点云，采用如公式(14)所示的最近邻聚类算法提取障碍物，并采用公式(15)，通过所述毫米波雷达最大探测空间减去所述障碍物占据空间提取可行驶区域，以获得可通行区域以及障碍物信息；
X300_d＝k_means(X300_c,6σ300) (14)
X300_e＝{X|X＝X300_d·diag(d300,d300,0)-X300_d·diag(1,1,0)} (15)
式中，σ300表示所述毫米波雷达测距精度，X300_d表示所述毫米波点云聚类得到的障碍物，X300_e表示可行驶区域，d300表示所述毫米波雷达的最大探测距离；
步骤S135：建立以车辆后轴为原点、朝车头方向为+X轴、朝后轴右侧车轮方向为+Y轴的二维毫米波栅格地图，并将所述可通行区域信息以及所述障碍物信息标注在所述二维毫米波栅格地图当中，以建立具有可通行区域以及障碍物信息的二维毫米波栅格地图。
较佳地，所述步骤S140的具体步骤包括：
步骤S141：通过视觉相机获取各自的初始相机图像；
步骤S142：根据公式(16)，利用组合导航系统信息处理结果中的自车运动信息对所述初始相机图像进行运动补偿，纠正由于自车运动导致的图像畸变，以获得预处理相机图像；
Y40q_b＝R4Y40q_a－T4 (16)
其中，
Figure GDA0003694236460000061
式中，Y40q_b表示第q个所述预处理相机图像，Y40q_a表示第q个所述初始相机图像，R表示旋转矩阵，T表示平移矩阵；
步骤S43：将q个所述预处理相机图像采用公式(17)进行像素级融合得到一个像素级融合相机图像；
Figure GDA0003694236460000062
式中，Y400_c表示q个所述视觉相机进行像素级融合求最大值运算得到的像素级融合相机图像；
步骤S144：根据获得的所述像素级融合相机图像，采用最近邻聚类算法如公式(18)所示提取像素块；如公式(19)将像素块中像素接近地面像素的块视为可通行区域；并因路沿位于可通行区域的两侧，且障碍物占用可通行区域，采用公式(20)和公式(21)，通过对非地面块与可通行区域做交集运算，可分别识别出路沿和障碍物，以获得路沿、可通行区域、障碍物信息；
Y400_d＝{Y|Y·diag(0,0,0,1)＝k_means(Y400_c·diag(0,0,0,1),6σ400)，Y∈Y400_c} (18)
Figure GDA0003694236460000071
Figure GDA0003694236460000072
Figure GDA0003694236460000073
式中，σ400表示图像像素值精度，Y400_d表示像素块，Y400_e表示可通行区域，d400_1表示地面像素值得下限，d400_2表示地面像素值得上限，Y400_f表示障碍物，Y400_g表示路沿；
步骤S145：建立以车辆后轴为原点、朝车头方向为+X轴、朝后轴右侧车轮方向为+Y轴的二维相机栅格地图，并将所述路沿、所述可通行区域信息以及所述障碍物信息标注在所述二维相机栅格地图当中，以建立具有路沿、可通行区域以及障碍物信息的二维相机栅格地图。
较佳地，所述R和所述T指组合导航系统信息处理结果得到旋转矩阵和平移矩阵，其具体如公式(22)所示：
Figure GDA0003694236460000074
式中，α表示横摆角，β表示俯仰角，γ表示侧倾角，x表示车辆纵向的平移距离，y表示车辆横向平移距离，z表示车辆垂向平移距离。
较佳地，所述步骤S150的具体步骤包括：
步骤S151：通过所述蘑菇头天线获取卫星和UWB的原始定位信息；
步骤S152：通过所述原始定位信息与IMU信息进行紧耦合的特征级融合，得到厘米级定位信息，将所述厘米级定位信息传递至激光感知系统、超声波感知系统、毫米波感知系统和相机系统以完成运动补偿，以实现感知数据预处理。
相比现有技术，本发明方法的有益效果为：分别通过激光感知系统、超声波感知系统、毫米波感知系统以及相机系统对感知的数据处理以建立相应的二维栅格地图，结合天线定位系统接收的高精度定位信息及航向测量信息和数据通讯系统获取的路侧和基站的预处理通讯信息，最后经多源异构环境感知融合系统将获取的二维栅格地图、高精度定位信息及航向测量信息，以及预处理通讯信息采用并集运算以进行决策级融合，以获得具有全天候感知、高密度覆盖和跨尺度交互环境信息的二维融合栅格地图。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的全天候作业的无人驾驶运输车环境感知系统的结构框图；
图2为本发明实施例一提供的全天候作业的无人驾驶运输车环境感知系统的传感器配置示意图；
图3为本发明实施例二提供的全天候作业的无人驾驶运输车环境感知方法的流程图；
图4为本发明实施例二提供的感知方法中步骤S110具体步骤流程图；
图5为本发明实施例二提供的所述激光雷达系统信息处理方法示意图；
图6为本发明实施例二提供的感知方法中步骤S120具体步骤流程图；
图7为本发明实施例二提供的所述超声波雷达系统信息处理方法示意图；
图8为本发明实施例二提供的感知方法中步骤S130具体步骤流程图；
图9为本发明实施例二提供的所述毫米波雷达系统信息处理方法示意图；
图10为本发明实施例二提供的感知方法中步骤S140具体步骤流程图；
图11为本发明实施例二提供的所述相机系统信息处理方法示意图；
图12为本发明实施例二提供的感知方法中步骤S150具体步骤流程图；
图13为本发明实施例二提供的所述相机系统信息处理方法示意图；
图14为本发明实施例二提供的全天候作业的无人驾驶运输车环境感知方法信息处理示意图。
附图标记说明：
10-激光感知系统、101-第一激光雷达、102-第二激光雷达；
20-超声波感知系统、201-第一超声波雷达、202-第二超声波雷达、203-第三超声波雷达3、204-第一四超声波雷达、205-第五超声波雷达、206-第六超声波雷达、207-第七超声波雷达、208-第八超声波雷达、209-第九超声波雷达、210-第十超声波雷达、211-第十一超声波雷达、212-第十二超声波雷达；
30-毫米波感知系统、301-第一毫米波雷达、302-第二毫米波雷达、303-第三毫米波雷达、304-第四毫米波雷达；
40-相机系统、401-第一视觉相机、402-第二视觉相机、403-第三视觉相机、404-第四视觉相机；
50-天线定位系统、501-第一天线、502-第二天线；
601-数据通讯系统；
701-多源异构环境感知融合系统。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明的实施例，而不能理解为对本发明的限制。
在本发明实施例的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明实施例中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明实施例中的具体含义。
在本发明的实施例一中，如图1所示，提供一种全天候作业的无人驾驶运输车环境感知系统，其包括激光感知系统10、超声波感知系统20、毫米波感知系统30、相机系统40、天线定位系统50、数据通讯系统601和多源异构环境感知融合系统701。具体地，所述激光感知系统10包括对角设置的两颗激光雷达101、102，所述超声波感知系统20包括环绕周车设置的十二颗超声波雷达201、202、203、204、205、206、207、208、209、210、211、212，所述毫米波感知系统30包括环绕周车设置的四颗毫米波雷达301、302、303、304，所述相机系统40包括环绕周车设置的四个视觉相机401、402、403、404，所述天线定位系统50包括车顶设置的两个天线501、502，所述数据通讯系统601设置车顶；各系统的具体安装位置示意如图2所示。
进一步地，所述激光感知系统10通过斜对角布置的两颗所述激光雷达101、102以实现周车激光无盲区的全覆盖感知，具体通过裁剪、运动补偿、像素级融合、地面分割、最近邻聚类等操作，实现路沿识别、可通行区域提取、障碍物聚类，并建立以车辆后轴为原点、朝车头方向为+X轴、朝后轴右侧车轮方向为+Y轴的二维激光栅格地图，所述二维激光栅格地图为在没有雨雾天气(不分昼夜)条件下实现200米距离内厘米级的高精地图。优选地，所述激光雷达为360°的256线、测距200米的激光雷达。
进一步地，所述超声波感知系统20通过环绕周车设置的十二颗所述超声波雷达201、202、203、204、205、206、207、208、209、210、211、212以实现周车超声波无盲区的全覆盖感知，具体通过像素级融合和运动补偿操作，实现可通行区域提取和障碍物聚类，并建立以车辆后轴为原点、朝车头方向为+X轴、朝后轴右侧车轮方向为+Y轴的二维超声波栅格地图，所述二维超声波栅格地图为在全天候天气条件下实现5米距离内厘米级的高精地图。优选地，所述超声波雷达为收发一体、测距5米的超声波雷达。
进一步地，所述毫米波感知系统30通过环绕周车设置的四颗所述毫米波雷达301、302、303、304以实现周车毫米波无盲区的全覆盖感知，具体通过像素级融合和运动补偿操作，实现可通行区域提取和障碍物聚类，并建立以车辆后轴为原点、朝车头方向为+X轴、朝后轴右侧车轮方向为+Y轴的二维毫米波栅格地图，所述二维毫米波栅格地图为在全天候天气条件下实现300米距离内厘米级的高精地图。优选地，所述毫米波雷达为测距300米的毫米波雷达。
进一步地，所述相机系统40通过环绕周车设置的四个所述视觉相机401、402、403、404以实现周车视觉无盲区的全覆盖感知，具体通过运动补偿、像素级融合、最近邻聚类等操作，实现路沿识别、可通行区域提取、障碍物聚类，并建立以车辆后轴为原点、朝车头方向为+X轴、朝后轴右侧车轮方向为+Y轴的二维相机栅格地图，所述二维相机栅格地图为在没有雨雾天气(不分昼夜)条件下实现100米距离内厘米级的高精地图。优选地，所述视觉相机为广角的鱼眼相机、长焦双目相机或夜视相机的一种或二种。
进一步地，所述天线定位系统50采用两个天线501、502，优选地，所述天线501、502采用蘑菇头天线，实现静止时的高精度航向测量信息，且可在全天候天气条件下实时接收差分厘米级定位信息；具体通过传感器融合等操作，实现经度、纬度、航向角、横摆角速度、车速、加速度、质心侧偏角、滑移率和坡度等高精定位信息输出。具体地，所述天线定位系统50可以接收北斗定位、全球定位系统(Global Positioning System，GPS)、格洛纳兹、伽利略定位系统和超宽带系统(Ultra Wide Band，UWB)的差分厘米级定位信息。
进一步地，所述数据通讯系统601通过车顶安装的数据通讯系统特征级融合等操作，在全天候天气条件下，实现路侧和基站发布的信息与车载传感器信息融合，并实时对外发布车辆感知的环境信息。具体地，所述数据通讯系统601采用专用短程通信(DedicatedShort Range Communication，DSRC)、长期演进的车辆通信(Long Term Evolution-Vehicle，LTE-V)、Wifi通信和5G通信中的任一种进行数据通信。
进一步地，所述数据通讯系统701将激光雷达系统、超声波雷达系统、毫米波雷达系统、相机系统、定位系统和通讯系统的多源异构传感器信息进行融合，以获得具有全天候感知、覆盖和跨尺度交互环境信息的二维栅格地图，使得可在全天候天气条件下，实现无人驾驶运输车的全天候环境感知功能。
在本发明的实施例二中，提供一种全天候作业的无人驾驶运输车环境感知方法，该方法基于实施例一中所述系统的基础上进行。如图3所示，所述感知方法的具体步骤包括：
步骤S110：建立具有路沿、可通行区域以及障碍物信息的二维激光栅格地图；
步骤S120：建立具有可通行区域以及障碍物信息的二维超声波栅格地图；
步骤S130：建立具有可通行区域以及障碍物信息的二维毫米波栅格地图；
步骤S140：建立具有路沿、可通行区域以及障碍物信息二维相机栅格地图；
步骤S150：获取并输出高精度定位信息和航向测量信息；
步骤S160：通过所述数据通讯系统获取路侧和基站的初始通讯信息，将所述初始通讯信息分别与自车对应的传感器信息采用并集运算以进行的特征融合，以获得路侧和基站的预处理通讯信息；
步骤S170：通过所述多源异构环境感知融合系统将所述二维激光栅格地图、所述二维超声波栅格地图、所述二维毫米波栅格地图、所述二维相机栅格地图与所述高精定位信息，以及所述预处理通讯信息采用并集运算以进行决策级融合，以获得全天候环境感知的二维融合栅格地图。
进一步地，如图4和图5所示，所述步骤S110的具体步骤包括：
步骤S111：通过所述激光雷达获取各自的原始激光点云，根据公式(1)，采用裁剪操作将自车车体遮挡的激光点云从相对应的所述原始激光点云中剔除，以获取各自的初始激光点云；
X10n_b＝X10n_a－X10n_car (1)
式中，X10n_b表示第n个所述激光雷达的初始激光点云，X10n_a表示第n个所述激光雷达的原始激光点云，X10n_car表示自车车体投影在第n个所述激光雷达坐标系下的矩形点集；
本实施例中，所述激光雷达的个数为两颗，即n＝2；根据公式(1)，可以分别计算出所述第一激光雷及所述第二激光雷达对应的初始激光点云，具体计算方式依次如下：
X101_b＝X101_a－X10n_car，X102_b＝X10n_a－X102_car
需要说明的是：一颗激光雷达能产生一个对应的原始激光点云；
步骤S112：根据公式(2)，利用组合导航系统信息处理结果中的自车运动信息对所述初始激光点云进行运动补偿，纠正由于自车运动导致的点云畸变，以获取预处理激光点云；
X10n_c＝RX10n_b－T (2)
式中，X10n_b表示第n个所述激光雷达的初始激光点云，X10n_c表示第n个所述激光雷达的预处理激光点云，R表示旋转矩阵，T表示平移矩阵；需要说明的是：所述R和所述T指组合导航系统信息处理结果得到旋转矩阵和平移矩阵，其具体如公式(22)所示：
Figure GDA0003694236460000131
式中，α表示横摆角，β表示俯仰角，γ表示侧倾角，x表示车辆纵向的平移距离，y表示车辆横向平移距离，z表示车辆垂向平移距离；
本实施例中，根据公式(2)及(22)，可以分别计算出所述第一激光雷达及所述第二激光雷达对应的预处理激光点云，具体计算方式依次如下：
X101_c＝RX101_b－T，X102_c＝RX102_b－T
需要说明的是：自车运动信息包括位置、横摆角、俯仰角、侧倾角；
步骤S113：将n个所述预处理激光点云采用公式(3)进行像素级融合得到一个像素级融合激光点云；
X100_d＝X101_c∪X102_c∪...∪X10n_c (3)
式中，X100_d表示n个所述激光雷达进行像素级融合求并集运算得到的像素级融合激光点云。
本实施例中，根据公式(3)，可以计算出所述第一激光雷达及所述第二激光雷达的像素级融合激光点云，具体计算方式如下：
X100_d＝X101_c∪X102_c
需要说明的是：像素级融合策略是求并集运算，即两块点云中任意一个激光点云所照射到的点，都认为该点有激光点；
步骤S114：根据公式(4)分割所述像素级融合激光点云，分别提取出地面和非地面的特征激光点云；
Figure GDA0003694236460000141
式中，X100_e是地面点云，X100_f是非地面点云，d100是所述激光雷达的离地高度；
步骤S115：根据获得的所述地面特征激光点云和所述非地面的特征激光点云，采用如公式(5)所示的最近邻聚类算法，提取可通行区域和非地面块；并因路沿位于可通行区域的两侧，且障碍物占用可通行区域，采用公式(6)和公式(7)，通过对非地面块与可通行区域做并集运算，可分别识别出路沿和障碍物，以获取路沿、可通行区域以及障碍物信息；
X100_g＝k_means(X100_e,6σ100),X100_h＝k_means(X100_f,6σ100) (5)
Figure GDA0003694236460000142
Figure GDA0003694236460000143
式中，k_means(.)表示最近邻聚类函数，其输入为源数据和最近邻距离，σ100表示激光雷达测距精度，X100_g表示地面点云聚类得到的可通行区域，X100_h表示非地面点云聚类得到非地面块，X100_i表示障碍物，X100_j表示路沿，diag(1,1,0)表示对角矩阵，其行数和列数相等，行数等于X100_i的列数；
步骤S116：建立以车辆后轴为原点、朝车头方向为+X轴、朝后轴右侧车轮方向为+Y轴的二维激光栅格地图，并将所述路沿信息、所述可通行区域信息以及所述障碍物信息标注在所述二维激光栅格地图当中，以建立具有路沿、可通行区域以及障碍物信息的二维激光栅格地图。
进一步地，如图6和图7所示，所述步骤S120的具体步骤包括：
步骤S121：通过所述超声波雷达获取各自的初始超声波点云；
本实施例中，所述超声波雷达的个数为十二颗，即m＝12；需要说明的是：一颗超声波雷达能产生一个对应的初始超声波点云；
步骤S122：根据公式(8)，利用组合导航系统信息处理结果中的自车运动信息对所述初始超声波点云进行运动补偿，纠正由于自车运动导致的点云畸变，以获得所述预处理超声波点云；
X20m_b＝RX20m_a－T (8)
式中，X20m_a表示第m个所述初始超声波点云，X20m_b表示第m个所述预处理超声波点云，R表示旋转矩阵，T表示平移矩阵；需要说明的是：所述R和所述T指组合导航系统信息处理结果得到旋转矩阵和平移矩阵，其具体如公式(22)所示：
Figure GDA0003694236460000151
式中，α表示横摆角，β表示俯仰角，γ表示侧倾角，x表示车辆纵向的平移距离，y表示车辆横向平移距离，z表示车辆垂向平移距离；
本实施例中，根据公式(8)及(22)，可以分别计算出所述第一超声波雷达、所述第二超声波雷达、所述第三超声波雷达、所述第四超声波雷达、所述第五超声波雷达、所述第六超声波雷达、所述第七超声波雷达、所述第八超声波雷达、所述第九超声波雷达、所述第十超声波雷达、所述第十一超声波雷达及所述第十二超声波雷达对应的预处理超声波点云，具体计算方式依次如下：
X201_b＝RX201_a－T，X202_b＝RX202_a－T，X203_b＝RX203_a－T，X204_b＝RX204_a－T，X205_b＝RX205_a－T，X206_b＝RX206_a－T，X207_b＝RX207_a－T，X208_b＝RX208_a－T，X209_b＝RX209_a－T，X210_b＝RX210_a－T，X211_b＝RX211_a－T，X212_b＝RX212_a－T
需要说明的是：自车运动信息包括位置、横摆角、俯仰角、侧倾角；
步骤S123：将m个所述预处理超声波点云采用公式(9)进行像素级融合得到一个像素级融合超声波点云；
X200_c＝X201_b∪X202_b∪...∪X20m_b (9)
式中，X200_c表示m个所述超声波雷达进行像素级融合求并集运算得到的像素级融合超声波点云；
本实施例中，根据公式(9)，将12个所述预处理超声波点云进行像素级融合得到一个像素级融合超声波点云；具体计算方式如下：
Figure GDA0003694236460000152
需要说明的是：像素级融合策略是求并运算，即十二块点云中任意一个超声波点云所反射到的点，都认为该点有障碍物；
步骤S124：根据获得的所述像素级融合超声波点云，采用如公式(10)所示的最近邻聚类算法提取障碍物；并采用公式(11)，通过所述超声波雷达最大探测空间减去所述障碍物占据空间提取可行驶区域，以获得可通行区域以及障碍物信息；
X200_d＝k_means(X200_c,6σ200) (10)
X200_e＝{X|X＝diag(d300,d300,0)-X200_c·diag(1,1,0)} (11)
式中，σ200表示所述超声波雷达测距精度，X200_d表示所述超声波点云聚类得到的障碍物，X200_e表示可行驶区域，d300表示所述超声波雷达的最大探测距离；
步骤S125：建立以车辆后轴为原点、朝车头方向为+X轴、朝后轴右侧车轮方向为+Y轴的二维超声波栅格地图，并将所述可通行区域信息以及所述障碍物信息标注在所述二维超声波栅格地图当中，以建立具有可通行区域以及障碍物信息的二维超声波栅格地图；
进一步地，如图8和图9所示，所述步骤S130的具体步骤包括：
步骤S131：通过所述毫米波雷达获取各自的初始毫米波点云；
本实施例中，所述毫米波雷达的个数为四颗，即p＝4；需要说明的是：一颗超声波雷达能产生一个对应的初始超声波点云；
步骤S132：根据公式(12)，利用组合导航系统信息处理结果中的自车运动信息对所述初始毫米波点云进行运动补偿，纠正由于自车运动导致的点云畸变，以获得预处理毫米波点云；
X30p_b＝RX30p_a－T (12)
式中，X30p_a表示第p个所述初始毫米波点云，X30p_b表示第p个所述预处理毫米波点云，R表示旋转矩阵，T表示平移矩阵；需要说明的是：所述R和所述T指组合导航系统信息处理结果得到旋转矩阵和平移矩阵，其具体如公式(22)所示：
Figure GDA0003694236460000161
式中，a表示横摆角，b表示俯仰角，g表示侧倾角，x表示车辆纵向的平移距离，y表示车辆横向平移距离，z表示车辆垂向平移距离；
本实施例中，根据公式(12)及(22)，可以分别计算出所述第一毫米波雷达、所述第二毫米波雷达、所述第三毫米波雷达及所述第四毫米波雷达对应的预处理超声波点云，具体计算方式依次如下：
X301_b＝RX301_a－T、X302_b＝RX302_a－T、X303_b＝RX303_a－T、X304_b＝RX304_a－T
需要说明的是：自车运动信息包括位置、横摆角、俯仰角、侧倾角；
步骤S133：将p个所述预处理超声波点云采用公式(13)进行像素级融合得到一个像素级融合毫米波点云；
X300_c＝X301_b∪X302_b∪...∪X30p_b (13)
式中，X300_c表示p个所述毫米波雷达进行像素级融合求并集运算得到的像素级融合毫米波点云；
本实施例中，根据公式(12)，将4个所述预处理超声波点云进行像素级融合得到一个像素级融合超声波点云；具体计算方式如下：
X300_c＝X301_b∪X302_b∪X303_b∪X304_b
需要说明的是：像素级融合策略是求并运算，即四块点云中任意一个毫米波点云所反射到的点，都认为该点有障碍物；
步骤S134：根据获得的所述像素级融合毫米波点云，采用如公式(14)所示的最近邻聚类算法提取障碍物，并采用公式(15)，通过所述毫米波雷达最大探测空间减去所述障碍物占据空间提取可行驶区域，以获得可通行区域以及障碍物信息；
X300_d＝k_means(X300_c,6σ300) (14)
X300_e＝{X|X＝X300_d·diag(d300,d300,0)-X300_d·diag(1,1,0)} (15)
式中，σ300表示所述毫米波雷达测距精度，X300_d表示所述毫米波点云聚类得到的障碍物，X300_e表示可行驶区域，d300表示所述毫米波雷达的最大探测距离；
步骤S135：建立以车辆后轴为原点、朝车头方向为+X轴、朝后轴右侧车轮方向为+Y轴的二维毫米波栅格地图，并将所述可通行区域信息以及所述障碍物信息标注在所述二维毫米波栅格地图当中，以建立具有可通行区域以及障碍物信息的二维毫米波栅格地图；
进一步地，如图10和图11所示，所述步骤S140的具体步骤包括：
步骤S141：通过所述视觉相机获取各自的初始相机图像；
本实施例中，所述视觉相机的个数为四个，即q＝4；需要说明的是：一个所述视觉相机能产生一个对应的初始相机图像；
步骤S142：根据公式(16)，利用组合导航系统信息处理结果中的自车运动信息对所述初始相机图像进行运动补偿，纠正由于自车运动导致的图像畸变，以获得预处理相机图像；
Y40q_b＝R4Y40q_a－T4 (16)
其中，
Figure GDA0003694236460000181
式中，Y40q_b表示第q个所述预处理相机图像，Y40q_a表示第q个所述初始相机图像，R表示旋转矩阵，T表示平移矩阵；需要说明的是：所述R和所述T指组合导航系统信息处理结果得到旋转矩阵和平移矩阵，其具体如公式(22)所示：
Figure GDA0003694236460000182
式中，α表示横摆角，β表示俯仰角，γ表示侧倾角，x表示车辆纵向的平移距离，y表示车辆横向平移距离，z表示车辆垂向平移距离；
本实施例中，根据公式(16)及(22)，可以分别计算出所述第一视觉相机、所述第二视觉相机、所述第三视觉相机及所述第四视觉相机对应的得预处理相机图像，具体计算方式依次如下：
Y401_b＝R4Y401_a－T4，Y402_b＝R4Y402_a－T4，Y403_b＝R4Y403_a－T4，Y404_b＝R4Y404_a－T4
需要说明的是：自车运动信息包括位置、横摆角、俯仰角、侧倾角。
步骤S143：将q个所述预处理相机图像采用公式(17)进行像素级融合得到一个像素级融合相机图像；
Figure GDA0003694236460000183
式中，Y400_c表示q个所述视觉相机进行像素级融合求最大值运算得到的像素级融合相机图像；
本实施例中，根据公式(17)，将4个所述预处理相机图像进行像素级融合得到一个像素级融合相机图像；具体计算方式如下：
Figure GDA0003694236460000184
需要说的的是：像素级融合策略是求最大值运算，即像素级融合相机图像中任意一点的像素值为4块图像在该点对应像素点的最大值；
步骤S144：根据获得的所述像素级融合相机图像，采用最近邻聚类算法如公式(18)所示提取像素块；如公式(19)将像素块中像素接近地面像素的块视为可通行区域；并因路沿位于可通行区域的两侧，且障碍物占用可通行区域，采用公式(20)和公式(21)，通过对非地面块与可通行区域做交集运算，可分别识别出路沿和障碍物，以获得路沿、可通行区域、障碍物信息；
Y400_d＝{Y|Y·diag(0,0,0,1)＝k_means(Y400_c·diag(0,0,0,1),6σ400)，Y∈Y400_c} (18)
Figure GDA0003694236460000191
Figure GDA0003694236460000192
Figure GDA0003694236460000193
式中，σ400表示图像像素值精度，Y400_d表示像素块，Y400_e表示可通行区域，d400_1表示地面像素值得下限，d400_2表示地面像素值得上限，Y400_f表示障碍物，Y400_g表示路沿；
步骤S145：建立以车辆后轴为原点、朝车头方向为+X轴、朝后轴右侧车轮方向为+Y轴的二维相机栅格地图，并将所述路沿、所述可通行区域信息以及所述障碍物信息标注在所述二维相机栅格地图当中，以建立具有路沿、可通行区域以及障碍物信息的二维相机栅格地图。
进一步地，如图12和图13所示，所述步骤S150的具体步骤包括：
步骤S151：获取原始定位信息；具体地，通过所述蘑菇头天线获取卫星和UWB的原始定位信息；
本实施例中，所述线定位系统包括置于车顶上的所述第一蘑菇头天线及所述第二蘑菇头天线，通过所述第一蘑菇头天线和所述第二蘑菇头天线，获取北斗、GPS、伽利略和格洛纳兹的四类卫星和UWB的原始定位信息；其中，所述原始定位信息主要指精度、纬度、航向等信息。
步骤S152：更新高精度定位信息；
本示例中，通过所述原始定位信息与IMU信息进行紧耦合的特征级融合，得到厘米级定位信息，将所述厘米级定位信息传递至所述激光感知系统、所述超声波感知系统、所述毫米波感知系统和所述相机系统以完成运动补偿，以实现感知数据预处理；其中，厘米级定位信息主要指经度、纬度、航向角、横摆角速度、车速、加速度、质心侧偏角、滑移率和坡度等信息。
进一步地，在步骤S160中，通过所述数据通讯系统获取路侧和基站的初始通讯信息，将所述初始通讯信息分别与自车对应的传感器信息采用并集运算以进行的特征融合，以获得路侧和基站的预处理通讯信息；其中，初始通讯信息主要指红绿灯、路网、交通参与车辆的定位和作业任务等信息。
进一步地，如图14所示，在步骤S170中，通过所述多源异构环境感知融合系统将所述二维激光栅格地图、所述二维超声波栅格地图、所述二维毫米波栅格地图、所述二维相机栅格地图与所述高精定位信息，以及所述预处理通讯信息采用并集运算以进行决策级融合，以获得全天候环境感知的二维融合栅格地图。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种全天候作业的无人驾驶运输车环境感知方法，其特征在于，具体步骤如下：
步骤S110：建立具有路沿、可通行区域以及障碍物信息的二维激光栅格地图；
步骤S120：建立具有可通行区域以及障碍物信息的二维超声波栅格地图；
步骤S130：建立具有可通行区域以及障碍物信息的二维毫米波栅格地图；
步骤S140：建立具有路沿、可通行区域以及障碍物信息二维相机栅格地图；
步骤S150：获取并输出高精度定位信息和航向测量信息；
步骤S160：通过数据通讯系统获取路侧和基站的初始通讯信息，将所述初始通讯信息分别与自车对应的传感器信息采用并集运算以进行的特征融合，以获得路侧和基站的预处理通讯信息；
步骤S170：通过多源异构环境感知融合系统将所述二维激光栅格地图、所述二维超声波栅格地图、所述二维毫米波栅格地图、所述二维相机栅格地图与高精定位信息，以及所述预处理通讯信息采用并集运算以进行决策级融合，以获得全天候环境感知的二维融合栅格地图；
所述步骤S110的具体步骤包括：
步骤S111：通过激光雷达获取各自的原始激光点云，根据公式(1)，采用裁剪操作将自车车体遮挡的激光点云从相对应的所述原始激光点云中剔除，以获取各自的初始激光点云；
X10n_b＝X10n_a－X10n_car (1)
式中，X10n_b表示第n个所述激光雷达的初始激光点云，X10n_a表示第n个所述激光雷达的原始激光点云，X10n_car表示自车车体投影在第n个所述激光雷达坐标系下的矩形点集；
步骤S112：根据公式(2)，利用组合导航系统信息处理结果中的自车运动信息对所述初始激光点云进行运动补偿，纠正由于自车运动导致的点云畸变，以获取预处理激光点云；
X10n_c＝RX10n_b－T (2)
式中，X10n_b表示第n个所述激光雷达的初始激光点云，X10n_c表示第n个所述激光雷达的预处理激光点云，R表示旋转矩阵，T表示平移矩阵；
步骤S113：将n个所述预处理激光点云采用公式(3)进行像素级融合得到一个像素级融合激光点云；
X100_d＝X101_c∪X102_c∪...∪X10n_c (3)
式中，X100_d表示n个所述激光雷达进行像素级融合求并集运算得到的像素级融合激光点云；
步骤S114：根据公式(4)分割所述像素级融合激光点云，分别提取出地面和非地面的特征激光点云；
Figure FDA0003694236450000021
式中，X100_e表示地面点云，X100_f表示非地面点云，d100表示所述激光雷达的离地高度；
步骤S115：根据获得的所述地面特征激光点云和所述非地面的特征激光点云，采用如公式(5)所示的最近邻聚类算法，提取可通行区域和非地面块；并因路沿位于可通行区域的两侧，且障碍物则占用可通行区域，采用公式(6)和公式(7)，通过对非地面块与可通行区域做并集运算，可分别识别出路沿和障碍物，以获得路沿、可通行区域以及障碍物信息；
X100_g＝k_means(X100_e,6σ100),X100_h＝k_means(X100_f,6σ100) (5)
Figure FDA0003694236450000022
Figure FDA0003694236450000023
式中，k_means(.)表示最近邻聚类函数，其输入为源数据和最近邻距离，σ100表示激光雷达测距精度，X100_g表示地面点云聚类得到的可通行区域，X100_h表示非地面点云聚类得到非地面块，X100_i表示障碍物，X100_j表示路沿，diag(1,1,0)表示对角矩阵，其行数和列数相等，行数等于X100_i的列数；
步骤S116：建立以车辆后轴为原点、朝车头方向为+X轴、朝后轴右侧车轮方向为+Y轴的二维激光栅格地图，并将所述路沿信息、所述可通行区域信息以及所述障碍物信息标注在所述二维激光栅格地图当中，以建立具有路沿、可通行区域以及障碍物信息的二维激光栅格地图。
2.根据权利要求1所述的感知方法，其特征在于，所述步骤S120的具体步骤包括：
步骤S121：通过超声波雷达获取各自的初始超声波点云；
步骤S122：根据公式(8)，利用组合导航系统信息处理结果中的自车运动信息对所述初始超声波点云进行运动补偿，纠正由于自车运动导致的点云畸变，以获得预处理超声波点云；
X20m_b＝RX20m_a－T (8)
式中，X20m_a表示第m个所述初始超声波点云，X20m_b表示第m个所述预处理超声波点云，R表示旋转矩阵，T表示平移矩阵；
步骤S123：将m个所述预处理超声波点云采用公式(9)进行像素级融合得到一个像素级融合超声波点云；
X200_c＝X201_b∪X202_b∪...∪X20m_b (9)
式中，X200_c表示m个所述超声波雷达进行像素级融合求并集运算得到的像素级融合超声波点云；
步骤S124：根据获得的所述像素级融合超声波点云，采用如公式(10)所示的最近邻聚类算法提取障碍物；并采用公式(11)，通过所述超声波雷达最大探测空间减去所述障碍物占据空间提取可行驶区域，以获得可通行区域以及障碍物信息；
X200_d＝k_means(X200_c,6σ200) (10)
X200_e＝{X|X＝diag(d300,d300,0)-X200_c·diag(1,1,0)} (11)
式中，σ200表示所述超声波雷达测距精度，X200_d表示所述超声波点云聚类得到的障碍物，X200_e表示可行驶区域，d300表示所述超声波雷达的最大探测距离；
步骤S125：建立以车辆后轴为原点、朝车头方向为+X轴、朝后轴右侧车轮方向为+Y轴的二维超声波栅格地图，并将所述可通行区域信息以及所述障碍物信息标注在所述二维超声波栅格地图当中，以建立具有可通行区域以及障碍物信息的二维超声波栅格地图。
3.根据权利要求1所述的感知方法，其特征在于，所述步骤S130的具体步骤包括：
步骤S131：通过毫米波雷达获取各自的初始毫米波点云；
步骤S132：根据公式(12)，利用组合导航系统信息处理结果中的自车运动信息对所述初始毫米波点云进行运动补偿，纠正由于自车运动导致的点云畸变，以获得预处理毫米波点云；
X30p_b＝RX30p_a－T (12)
式中，X30p_a表示第p个所述初始毫米波点云，X30p_b表示第p个所述预处理毫米波点云，R表示旋转矩阵，T表示平移矩阵；
步骤S133：将p个所述预处理毫米波点云采用公式(13)进行像素级融合得到一个像素级融合毫米波点云；
X300_c＝X301_b∪X302_b∪...∪X30p_b (13)
式中，X300_c表示p个所述毫米波雷达进行像素级融合求并集运算得到的像素级融合毫米波点云；
步骤S134：根据获得的所述像素级融合毫米波点云，采用如公式(14)的最近邻聚类算法所示提取障碍物，并采用公式(15)，通过所述毫米波雷达最大探测空间减去所述障碍物占据空间提取可行驶区域，以获得可通行区域以及障碍物信息；
X300_d＝k_means(X300_c,6σ300) (14)
X300_e＝{X|X＝X300_d·diag(d300,d300,0)-X300_d·diag(1,1,0)} (15)
式中，σ300表示所述毫米波雷达测距精度，X300_d表示所述毫米波点云聚类得到的障碍物，X300_e表示可行驶区域，d300表示所述毫米波雷达的最大探测距离；
步骤S135：建立以车辆后轴为原点、朝车头方向为+X轴、朝后轴右侧车轮方向为+Y轴的二维毫米波栅格地图，并将所述可通行区域信息以及所述障碍物信息标注在所述二维毫米波栅格地图当中，以建立具有可通行区域以及障碍物信息的二维毫米波栅格地图。
4.根据权利要求1所述的感知方法，其特征在于，所述步骤S140的具体步骤包括：
步骤S141：通过视觉相机获取各自的初始相机图像；
步骤S142：根据公式(16)，利用组合导航系统信息处理结果中的自车运动信息对所述初始相机图像进行运动补偿，纠正由于自车运动导致的图像畸变，以获得预处理相机图像；
Y40q_b＝R4Y40q_a－T4 (16)
其中，
Figure FDA0003694236450000041
式中，Y40q_b表示第q个所述预处理相机图像，Y40q_a表示第q个所述初始相机图像，R表示旋转矩阵，T表示平移矩阵；
步骤S143：将q个所述预处理相机图像采用公式(17)进行像素级融合得到一个像素级融合相机图像；
Figure FDA0003694236450000051
式中，Y400_c表示q个所述视觉相机进行像素级融合求最大值运算得到的像素级融合相机图像；
步骤S144：根据获得的所述像素级融合相机图像，采用最近邻聚类算法如公式(18)所示提取像素块；如公式(19)将像素块中像素接近地面像素的块视为可通行区域；并因路沿位于可通行区域的两侧，且障碍物占用可通行区域，采用公式(20)和公式(21)，通过对非地面块与可通行区域做交集运算，可分别识别出路沿和障碍物，以获得路沿、可通行区域、障碍物信息；
Y400_d＝{Y|Y·diag(0,0,0,1)＝k_means(Y400_c·diag(0,0,0,1),6σ400)，Y∈Y400_c}(18)
Figure FDA0003694236450000052
Figure FDA0003694236450000053
Figure FDA0003694236450000054
式中，σ400表示图像像素值精度，Y400_d表示像素块，Y400_e表示可通行区域，d400_1表示地面像素值得下限，d400_2表示地面像素值得上限，Y400_f表示障碍物，Y400_g表示路沿；
步骤S145：建立以车辆后轴为原点、朝车头方向为+X轴、朝后轴右侧车轮方向为+Y轴的二维相机栅格地图，并将所述路沿、所述可通行区域信息以及所述障碍物信息标注在所述二维相机栅格地图当中，以建立具有路沿、可通行区域以及障碍物信息的二维相机栅格地图。
5.根据权利要求1～4任一项所述的感知方法，其特征在于，所述R和所述T指组合导航系统信息处理结果得到旋转矩阵和平移矩阵，其具体如公式(22)所示：
Figure FDA0003694236450000055
式中，α表示横摆角，β表示俯仰角，γ表示侧倾角，x表示车辆纵向的平移距离，y表示车辆横向平移距离，z表示车辆垂向平移距离。
6.根据权利要求1所述的感知方法，其特征在于，所述步骤S150的具体步骤包括：
步骤S151：通过蘑菇头天线获取卫星和UWB的原始定位信息；
步骤S152：通过所述原始定位信息与IMU信息进行紧耦合的特征级融合，得到厘米级定位信息，将所述厘米级定位信息传递至激光感知系统、超声波感知系统、毫米波感知系统和相机系统以完成运动补偿，以实现感知数据预处理。
7.根据权利要求1所述的感知方法，其特征在于，所述感知方法采用全天候作业的无人驾驶运输车环境感知系统，所述感知系统包括激光感知系统、超声波感知系统、毫米波感知系统、相机系统、天线定位系统、数据通讯系统和多源异构环境感知融合系统；
所述激光感知系统，包括对角设置的激光雷达，其用于实现路沿识别、可通行区域提取以及障碍物聚类，并建立二维激光栅格地图；
所述超声波感知系统，包括环绕周车设置的超声波雷达，其用于实现可通行区域提取及障碍物聚类，并建立与所述二维激光栅格地图同坐标轴的二维超声波栅格地图；
所述毫米波感知系统，包括环绕周车设置的毫米波雷达，其用于实现可通行区域提取及障碍物聚类，并建立与所述二维激光栅格地图同坐标轴的二维毫米波栅格地图；
所述相机系统，包括环绕周车设置的视觉相机，其用于实现路沿识别、可通行区域提取以及障碍物聚类，并建立与所述二维激光栅格地图同坐标轴的二维相机栅格地图；
所述天线定位系统，包括车顶设置的天线，其用于实现接收定位信息和航向测量信息；
所述数据通讯系统，用于实现路侧和基站发布的信息与车载传感器信息采用并集运算以进行特征融合，并实时对外发布车辆感知的环境信息；
所述多源异构环境感知融合系统，用于将车载的所述激光感知系统、所述超声波感知系统、所述毫米波感知系统、所述相机系统、所述天线定位系统和所述数据通讯系统的传感信息采用并集运算以进行决策级融合，以获得全天候感知、覆盖和跨尺度交互的环境信息。
8.根据权利要求7所述的感知方法，其特征在于，所述天线定位系统用于接收北斗定位、GPS、格洛纳兹、伽利略定位系统和UWB的差分厘米级定位信息。
9.根据权利要求7所述的感知方法，其特征在于，所述数据通讯系统采用专用短程通信、长期演进的车辆通信、Wifi通信和5G通信中的任一种进行数据通信。
CN202111033003.1A 2021-09-03 2021-09-03 全天候作业的无人驾驶运输车环境感知系统及方法 Active CN113665500B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111033003.1A CN113665500B (zh) 2021-09-03 2021-09-03 全天候作业的无人驾驶运输车环境感知系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111033003.1A CN113665500B (zh) 2021-09-03 2021-09-03 全天候作业的无人驾驶运输车环境感知系统及方法

Publications (2)

Publication Number Publication Date
CN113665500A CN113665500A (zh) 2021-11-19
CN113665500B true CN113665500B (zh) 2022-07-19

Family

ID=78548249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111033003.1A Active CN113665500B (zh) 2021-09-03 2021-09-03 全天候作业的无人驾驶运输车环境感知系统及方法

Country Status (1)

Country Link
CN (1) CN113665500B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115079168B (zh) * 2022-07-19 2022-11-22 陕西欧卡电子智能科技有限公司 基于激光雷达与毫米波雷达融合的建图方法、装置及设备
CN115597584A (zh) * 2022-10-14 2023-01-13 纵目科技（上海）股份有限公司（Cn） 多图层高精地图生成方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104002747A (zh) * 2014-06-10 2014-08-27 北京联合大学 一种基于无人驾驶汽车的多激光雷达栅格地图融合系统
CN107064955A (zh) * 2017-04-19 2017-08-18 北京汽车集团有限公司 障碍物聚类方法及装置
CN108010360A (zh) * 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知系统
CN108037515A (zh) * 2017-12-27 2018-05-15 清华大学苏州汽车研究院（吴江） 一种激光雷达和超声波雷达信息融合系统及方法
CN109443369A (zh) * 2018-08-20 2019-03-08 北京主线科技有限公司 利用激光雷达和视觉传感器融合构建动静态栅格地图的方法
CN109634282A (zh) * 2018-12-25 2019-04-16 奇瑞汽车股份有限公司 自动驾驶车辆、方法和装置
CN110967024A (zh) * 2019-12-23 2020-04-07 苏州智加科技有限公司 可行驶区域的检测方法、装置、设备及存储介质
CN111307166A (zh) * 2018-12-11 2020-06-19 北京图森智途科技有限公司 一种构建占据栅格地图的方法及其装置、处理设备
CN212322114U (zh) * 2020-07-06 2021-01-08 扬州大学 一种用于自动驾驶车辆的环境感知及道路环境裂纹检测系统
CN112801225A (zh) * 2021-04-01 2021-05-14 中国人民解放军国防科技大学 极限工况下自动驾驶多传感器融合感知方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104002747A (zh) * 2014-06-10 2014-08-27 北京联合大学 一种基于无人驾驶汽车的多激光雷达栅格地图融合系统
CN107064955A (zh) * 2017-04-19 2017-08-18 北京汽车集团有限公司 障碍物聚类方法及装置
CN108010360A (zh) * 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知系统
CN108037515A (zh) * 2017-12-27 2018-05-15 清华大学苏州汽车研究院（吴江） 一种激光雷达和超声波雷达信息融合系统及方法
CN109443369A (zh) * 2018-08-20 2019-03-08 北京主线科技有限公司 利用激光雷达和视觉传感器融合构建动静态栅格地图的方法
CN111307166A (zh) * 2018-12-11 2020-06-19 北京图森智途科技有限公司 一种构建占据栅格地图的方法及其装置、处理设备
CN109634282A (zh) * 2018-12-25 2019-04-16 奇瑞汽车股份有限公司 自动驾驶车辆、方法和装置
CN110967024A (zh) * 2019-12-23 2020-04-07 苏州智加科技有限公司 可行驶区域的检测方法、装置、设备及存储介质
CN212322114U (zh) * 2020-07-06 2021-01-08 扬州大学 一种用于自动驾驶车辆的环境感知及道路环境裂纹检测系统
CN112801225A (zh) * 2021-04-01 2021-05-14 中国人民解放军国防科技大学 极限工况下自动驾驶多传感器融合感知方法及系统

Also Published As

Publication number Publication date
CN113665500A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
US11675084B2 (en) Determining yaw error from map data, lasers, and cameras
US11276189B2 (en) Radar-aided single image three-dimensional depth reconstruction
WO2019007263A1 (zh) 车载传感器的外部参数标定的方法和设备
CN110537109B (zh) 用于自主驾驶的感测组件
US20230112799A1 (en) Bounding box estimation and object detection
CN113665500B (zh) 全天候作业的无人驾驶运输车环境感知系统及方法
US20180288320A1 (en) Camera Fields of View for Object Detection
US11475678B2 (en) Lane marker detection and lane instance recognition
US20200217972A1 (en) Vehicle pose estimation and pose error correction
CN115803781A (zh) 用于生成与对象相关联的鸟瞰图边界框的方法和系统
JP6380936B2 (ja) 移動体及びシステム
US11467001B2 (en) Adjustment value calculation method
CN115552200A (zh) 用于生成重要性占据栅格地图的方法和系统
CN112414417B (zh) 自动驾驶地图生成方法、装置、电子设备及可读存储介质
EP4137846A1 (en) High-precision map generation method, localization method, and device
CN110945320A (zh) 车辆定位方法和系统
US20220065657A1 (en) Systems and methods for vehicle mapping and localization using synthetic aperture radar
WO2022041706A1 (zh) 一种定位方法、定位系统和车辆
US20220035036A1 (en) Method and apparatus for positioning movable device, and movable device
Moras et al. Drivable space characterization using automotive lidar and georeferenced map information
CN113706702A (zh) 矿区三维地图构建系统和方法
US10482769B2 (en) Post-processing module system and method for motioned-based lane detection with multiple sensors
US11661077B2 (en) Method and system for on-demand roadside AI service
US11288520B2 (en) Systems and methods to aggregate and distribute dynamic information of crowdsourcing vehicles for edge-assisted live map service
Gu et al. Correction of vehicle positioning error using 3D-map-GNSS and vision-based road marking detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant