CN110208802A - 融合多视图模糊推理赋值的障碍物检测方法 - Google Patents

融合多视图模糊推理赋值的障碍物检测方法 Download PDF

Info

Publication number
CN110208802A
CN110208802A CN201910406794.4A CN201910406794A CN110208802A CN 110208802 A CN110208802 A CN 110208802A CN 201910406794 A CN201910406794 A CN 201910406794A CN 110208802 A CN110208802 A CN 110208802A
Authority
CN
China
Prior art keywords
voxel
fuzzy subset
diagram data
data
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910406794.4A
Other languages
English (en)
Other versions
CN110208802B (zh
Inventor
邹应全
李成文利
黄凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Blue Structure Industrial Product Design Co Ltd
Sichuan Coach Manufacturing Co Ltd
Chengdu Technology Co Ltd
Original Assignee
Chengdu Blue Structure Industrial Product Design Co Ltd
Sichuan Coach Manufacturing Co Ltd
Chengdu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Blue Structure Industrial Product Design Co Ltd, Sichuan Coach Manufacturing Co Ltd, Chengdu Technology Co Ltd filed Critical Chengdu Blue Structure Industrial Product Design Co Ltd
Priority to CN201910406794.4A priority Critical patent/CN110208802B/zh
Publication of CN110208802A publication Critical patent/CN110208802A/zh
Application granted granted Critical
Publication of CN110208802B publication Critical patent/CN110208802B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开涉及一种融合多视图模糊推理赋值的障碍物检测方法，包括：获取三维激光雷达数据并将三维激光雷达数据转换为体素地图数据；基于体素地图数据获取无人驾驶车辆的前视图数据和俯视图数据；基于前视图数据和第一预设模糊推理规则，得到第一概率参数；基于俯视图数据和第二预设模糊推理规则，得到第二概率参数；基于DST建立障碍物目标体素识别框架，将第一概率参数和第二概率参数输入障碍物目标体素识别框架，得到判定体素地图数据中的体素是否为障碍物的判定结果；基于判定结果对体素地图数据中的体素进行聚类，得到用于表征目标为障碍物的体素构成的长方体和对应于该长方体的特征信息。

Description

融合多视图模糊推理赋值的障碍物检测方法
技术领域
本公开属于无人驾驶技术领域，具体涉及一种融合多视图模糊推理赋值的障碍物检测方法。
背景技术
随着人工智能应用的不断发展，无人驾驶技术已经成为国内外的研究热点，正处于高速发展的阶段。无人驾驶汽车是集环境感知、行为决策、路径规划和导航控制等多种功能于一体的智能系统，是智能交通系统(Intelligent TrafficSystem,ITS)中很重要的一部分。环境感知模块是在无人驾驶汽车上安装各类传感器实时获取车辆的位姿、障碍物分布等信息，建立局部环境描述。无人驾驶汽车对环境感知技术有很高的依赖性，在环境感知所用到的传感器中，激光雷达由于其高精度的距离测量，可用于障碍物检测、环境地图构建等，为无人驾驶汽车的速度规划和障碍物规避等行为提供可靠信息。
相关技术中，基于三维激光雷达的目标检测方法大多都利用俯视图进行目标信息提取，俯视图信息单一，信息置信度较低，进而目标识别准确度较低。
发明内容
有鉴于此，本公开的主要目的在于提供一种融合多视图模糊推理赋值的障碍物检测方法和装置，用于解决相关技术中仅利用俯视图进行目标信息提取导致的目标识别准确度较低的技术问题。
为达到上述目的，本公开实施例提供一种融合多视图模糊推理赋值的障碍物检测方法，应用于无人驾驶车辆，所述方法包括：
获取所述无人驾驶车辆周围的三维激光雷达数据；
将所述三维激光雷达数据转换为以所述无人驾驶车辆中心为原点的直角坐标下的体素地图数据；
基于所述体素地图数据获取所述无人驾驶车辆的前视图数据和俯视图数据；
基于所述前视图数据和对应于所述前视图数据的第一预设模糊推理规则，得到用于表征所述体素地图数据中每一体素属于障碍物的概率的第一概率参数；
基于所述俯视图数据和对应于所述俯视图数据的第二预设模糊推理规则，得到用于表征所述体素地图数据中每一体素属于障碍物的概率的第二概率参数；
基于DST建立障碍物目标体素识别框架，将所述第一概率参数和所述第二概率参数输入所述障碍物目标体素识别框架，得到判定所述体素地图数据中的体素是否为障碍物的判定结果；
基于所述判定结果对所述体素地图数据中的体素进行聚类，得到用于表征目标为障碍物的所述体素构成的长方体和对应于该长方体的特征信息。
通过上述技术方案，在获取无人驾驶车辆的前视图数据和俯视图数据后，通过相应的模糊推理规则和基于DST建立的障碍物目标体素识别框架融合前视图数据和俯视图数据，进而识别障碍物，前视图数据置信度信息更高，俯视图数据更完整，且结合两种数据基于DST融合两种数据进行计算，实现前视图和俯视图的信息融合，提高了目标检测的准确度。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
图1是根据一示例性实施例示出的一种无人驾驶车辆的结构示意图。
图2是根据一示例性实施例示出的一种融合多视图模糊推理赋值的障碍物检测方法的流程图。
图3是根据一示例性实施例示出的一种激光雷达获取数据的参考图。
图4是根据一示例性实施例示出的一种第一矩形包络边框中心横坐标隶属度函数。
图5是根据一示例性实施例示出的一种第一矩形包络边框高度隶属度函数。
图6是根据一示例性实施例示出的一种第一矩形包络边框对应的输出隶属度函数。
图7是根据一示例性实施例示出的一种第二矩形包络边框长度隶属度函数。
图8是根据一示例性实施例示出的一种第二矩形包络边框宽度隶属度函数。
图9是根据一示例性实施例示出的一种第二矩形包络边框对应的输出隶属度函数。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
图1是根据一示例性示出的一种无人驾驶车辆的结构示意图，该无人驾驶车辆200的前方设置有激光雷达300，可以检测车辆前方的区域，在一种可能的实施方式中，该激光雷达300为16线激光雷达。
图2是根据一示例性实施例示出的一种融合多视图模糊推理赋值的障碍物检测方法，该方法可以应用于图1所示的无人驾驶车辆，该方法包括：
S10，获取所述无人驾驶车辆周围的三维激光雷达数据。
S20，将所述三维激光雷达数据转换为以所述无人驾驶车辆中心为原点的直角坐标下的体素地图数据。
S30，基于所述体素地图数据获取所述无人驾驶车辆的前视图数据和俯视图数据。
S40，基于所述前视图数据和对应于所述前视图数据的第一预设模糊推理规则，得到用于表征所述体素地图数据中每一体素属于障碍物的概率的第一概率参数。
S50，基于所述俯视图数据和对应于所述俯视图数据的第二预设模糊推理规则，得到用于表征所述体素地图数据中每一体素属于障碍物的概率的第二概率参数。
S60，基于DST建立障碍物目标体素识别框架，将所述第一概率参数和所述第二概率参数输入所述障碍物目标体素识别框架，得到判定所述体素地图数据中的体素是否为障碍物的判定结果。
S70，基于所述判定结果对所述体素地图数据中的体素进行聚类，得到用于表征目标为障碍物的所述体素构成的长方体和对应于该长方体的特征信息。
在步骤S10中，三维激光雷达数据包括激光雷达探测目标的距离R，激光雷达探测目标的方位角α，激光雷达探测目标的仰角w。如图3所示，O为原点，P为激光雷达探测目标，进而OP线段为激光雷达探测目标的距离R，OB线段为OP线段在X-Y平面上的投影，激光雷达探测目标的仰角w即OP线段与OB线段的夹角，激光雷达探测目标的方位角α即OB线段与X轴之间的夹角。
在步骤S20中，可选地，将所述三维激光雷达数据转换为以所述无人驾驶车辆中心为原点的直角坐标下的体素地图数据，包括：
将所述三维激光雷达数据转换为以所述无人驾驶车辆中心为原点的直角坐标下的车体坐标数据；
建立三维体素地图，基于以下公式将所述车体坐标数据转换为三维体素地图中的体素坐标数据：
其中，Pmap为所述体素坐标数据，Pcar为所述车体坐标数据，mapy、mapx、mapz分别为车体坐标数据分别沿y轴、x轴、z轴的平移增量，D用于表征单个体素的大小；
其中，D可以为5cm*5cm*5cm，通过上述公式得到的Pmap的各个坐标值为正数。
对于体素坐标数据中的任一体素(voxel)，判断该体素是否存在数据缺失，若存在数据缺失，则将该体素的障碍标志位设置为0，用于表征该体素不属于障碍物，否则将该体素的障碍标志位设置为1，用于表征该体素属于障碍物；
其中，由于存在障碍物才会被扫描到，而其他没有障碍物的地方不会有雷达波返回，进而造成数据缺失，通过将其分别设置为0或1将图像转换为二值图，便于后续处理。
遍历所述体素坐标数据中的所有体素，将相邻多个体素合并为同一区域，并计算每个所述区域中体素的最大高度差；
例如可以将相邻4个体素合并为同一区域，最大高度差即同一区域内高度最大的体素的高度与高度最小的体素之间的高度差。
将Z坐标值位于0的预设范围内，且所述最大高度差小于阈值所对应的区域内的所有体素标记为路面体素，将路面体素的障碍标志位设置为0，所述体素地图数据包括所述体素坐标数据、所述障碍标志位的数据和所述路面体素的数据。
例如预设范围可以为[-2，2]，阈值可以为5，路面体素即对应于路面的体素的障碍标志位设置为0，避免将其判定为障碍物。
其中，将所述三维激光雷达数据转换为以所述无人驾驶车辆中心为原点的直角坐标下的车体坐标数据可通如下公式实现：
其中，Pcar表示车体坐标系下的激光雷达探测目标的车体坐标数据，R表示激光雷达探测目标的距离，w表示激光雷达探测目标的仰角，α表示激光雷达探测目标的方位角，derX、derY和derZ分别表示车体坐标系的原点相对于点云数据所在的坐标系的原点分别在X，Y，Z方向上的位移量。
在步骤S30中，基于所述体素地图数据获取所述无人驾驶车辆的前视图数据和俯视图数据，可以包括：
基于以下公式获取所述无人驾驶车辆的前视图数据和俯视图数据：
Pfront＝(Colfront，Rowfront)＝(Xmap，Zmap)
PIXELfront(Colfront，Rowfront)＝255*T(Xmap，Zmap)
Ptop＝(Coltop，Rowtop)＝(Xmap，Ymap)
PIXELtop(Coltop，Rowtop)＝255*T(Xmap，Ymap)
其中，Pfront表示前视图数据中像素点的坐标，Colfront，Rowfront分别表示Pfront的横坐标和纵坐标，Xmap，Zmap分别为前视图数据中像素点对应的体素地图数据Pmap于X轴和Z轴的坐标，PIXELfront(Colfront，Rowfront)表示坐标为(Colfront，Rowfront)的像素点的像素值，T(Xmap，Zmap)表示坐标为(Xmap，Zmap)的像素点对应的体素的障碍标志位数据信息；
Ptop表示俯视图数据中像素点的坐标，Coltop，Rowtop分别表示Ptop的横坐标和纵坐标，Xmap，Ymap分别为俯视图数据中像素点对应的体素地图数据Pmap于X轴和Y轴的坐标，PIXELtop(Coltop，Rowtop)表示坐标为(Coltop，Rowtop)的像素点的像素值，T(Xmap，Ymap)表示坐标为(Xmap，Ymap)的像素点对应的体素的障碍标志位数据信息。
如此，可以获得前视图和俯视图，并将前视图和俯视图转换为像素值为0或255的黑白二值图，简化图像，便于后续运算。
在步骤S40中，基于所述前视图数据和对应于所述前视图数据的第一预设模糊推理规则，得到用于表征所述体素地图数据中每一体素属于障碍物的概率的第一概率参数，可以包括：
基于所述前视图数据获取用于表征障碍物的第一矩形包络边框；
可以通过OpenCV软件中的findContours函数于前视图数据中提取障碍物边框作为第一矩形包络边框。
获取所述第一矩形包络边框中心相对于所述无人驾驶车辆中心的横向位移量，以及所述第一矩形包络边框的高度数据；
基于所述横向位移量、所述高度数据以及对应于所述横向位移量和所述高度数据的第一预设模糊推理规则，得到用于表征所述第一矩形包络边框是否为障碍物的概率，并将该概率作为所述第一矩形包络边框中所有像素点对应的体素的第一概率参数，用于表征该体素属于障碍物的概率。
其中，所述第一预设模糊推理规则可以包括：
如图4所示，前视图数据分别对应于3个模糊子集XL，XM和XR，其中，模糊子集XL为表征所述第一矩形包络边框中心相对于所述无人驾驶车辆中心位于左侧的前视图数据的集合，模糊子集XM为表征所述第一矩形包络边框中心相对于所述无人驾驶车辆中心位于中间的前视图数据的集合，模糊子集XR为表征所述第一矩形包络边框中心相对于所述无人驾驶车辆中心位于右侧的前视图数据的集合；需要说明的是，图4至图5中的矩形轮廓对应于第一矩形包络边框，图7至图8中的矩形轮廓对应于第二矩形包络边框，可以通过图4所示的矩形轮廓中心横坐标得到前述横向位移量，也即第一矩形包络边框中心相对于无人驾驶车辆中心的位置信息。
如图5所示，前视图数据还分别对应于3个模糊子集HL，HM和HH，其中，模糊子集HL中的前视图数据对应的第一矩形包络边框的高度小于模糊子集HL中的前视图数据对应的第一矩形包络边框的高度，模糊子集HM中的前视图数据对应的第一矩形包络边框的高度小于模糊子集HH中的前视图数据对应的第一矩形包络边框的高度；
如表1所示，若所述前视图数据同时属于模糊子集XL和模糊子集HL，则对应的第一概率参数为S1；若所述前视图数据同时属于模糊子集XL和模糊子集HM，则对应的第一概率参数为M1；若所述前视图数据同时属于模糊子集XL和模糊子集HH，则对应的第一概率参数为S1；若所述前视图数据同时属于模糊子集XM和模糊子集HL，则对应的第一概率参数为B1；若所述前视图数据同时属于模糊子集XM和模糊子集HM，则对应的第一概率参数为B1；若所述前视图数据同时属于模糊子集XM和模糊子集HH，则对应的第一概率参数为B1；若所述前视图数据同时属于模糊子集XR和模糊子集HL，则对应的第一概率参数为S1；若所述前视图数据同时属于模糊子集XR和模糊子集HM，则对应的第一概率参数为M1；若所述前视图数据同时属于模糊子集XR和模糊子集HH，则对应的第一概率参数为S1；其中，S1对应的概率值小于M1对应的概率值，M1对应的概率值小于B1对应的概率值。其中，S1，M1，B1的输出隶属度函数如图6所示。
XL XM XR
HL S1 B1 S1
HM M1 B1 M1
HH S1 B1 S1
表1 前视图模糊规则表
在步骤S50中，基于所述俯视图数据和对应于所述俯视图数据的第二预设模糊推理规则，得到用于表征所述体素地图数据中每一体素属于障碍物的概率的第二概率参数，包括：
基于所述俯视图数据获取用于表征障碍物的第二矩形包络边框；
可以通过OpenCV软件中的findContours函数于前视图数据中提取障碍物边框作为第二矩形包络边框。
获取所述第二矩形包络边框的长度数据和宽度数据；
基于所述长度数据、所述宽度数据以及对应于所述长度数据和所述宽度数据的第二预设模糊推理规则，得到用于表征所述第二矩形包络边框是否为障碍物的概率，并将该概率作为所述第二矩形包络边框中所有像素点对应的体素的第二概率参数，用于表征该体素属于障碍物的概率。
其中，该第二预设模糊推理规则可以包括：
如图7所示，俯视图数据分别对应于4个模糊子集LS1，NS1，NB1和LB1，其中，模糊子集LS1中的俯视图数据对应的第二矩形包络边框的长度小于模糊子集NS1中的俯视图数据对应的第二矩形包络边框的长度，模糊子集NS1中的俯视图数据对应的第二矩形包络边框的长度小于模糊子集NB1中的俯视图数据对应的第二矩形包络边框的长度，模糊子集NB1中的俯视图数据对应的第二矩形包络边框的长度小于模糊子集LB1中的俯视图数据对应的第二矩形包络边框的长度；
如图8所示，俯视图数据还分别对应于4个模糊子集WS2，NS2，NB2和WB2，其中，模糊子集WS2中的俯视图数据对应的第二矩形包络边框的宽度小于模糊子集NS2中的俯视图数据对应的第二矩形包络边框的宽度，模糊子集NS2中的俯视图数据对应的第二矩形包络边框的宽度小于模糊子集NB2中的俯视图数据对应的第二矩形包络边框的宽度，模糊子集NB2中的俯视图数据对应的第二矩形包络边框的宽度小于模糊子集WB2中的俯视图数据对应的第二矩形包络边框的宽度；
如表2所示，若所述俯视图数据同时属于模糊子集LS1和模糊子集WS2，则对应的第一概率参数为VB2；若所述俯视图数据同时属于模糊子集LS1和模糊子集NS2，则对应的第一概率参数为B2；若所述俯视图数据同时属于模糊子集LS1和模糊子集NB2，则对应的第一概率参数为M2；若所述俯视图数据同时属于模糊子集LS1和模糊子集WB2，则对应的第一概率参数为S2；若所述俯视图数据同时属于模糊子集NS1和模糊子集WS2，则对应的第一概率参数为M2；若所述俯视图数据同时属于模糊子集NS1和模糊子集NS2，则对应的第一概率参数为B2；若所述俯视图数据同时属于模糊子集NS1和模糊子集NB2，则对应的第一概率参数为M2；若所述俯视图数据同时属于模糊子集NS1和模糊子集WB2，则对应的第一概率参数为S2；若所述俯视图数据同时属于模糊子集NB1和模糊子集WS2，则对应的第一概率参数为S2；若所述俯视图数据同时属于模糊子集NB1和模糊子集NS2，则对应的第一概率参数为M2；若所述俯视图数据同时属于模糊子集NB1和模糊子集NB2，则对应的第一概率参数为B2；若所述俯视图数据同时属于模糊子集NB1和模糊子集WB2，则对应的第一概率参数为VS2；若所述俯视图数据同时属于模糊子集LB1和模糊子集WS2，则对应的第一概率参数为S2；若所述俯视图数据同时属于模糊子集LB1和模糊子集NS2，则对应的第一概率参数为S2；若所述俯视图数据同时属于模糊子集LB1和模糊子集NB2，则对应的第一概率参数为VS2；若所述俯视图数据同时属于模糊子集LB1和模糊子集WB2，则对应的第一概率参数为VS2；其中，VS2对应的概率值小于S2对应的概率值，S2对应的概率值小于M2对应的概率值，M2对应的概率值小于B2对于的概率值，B2对应的概率值小于VB2对于的概率值。
LS1 NS1 NB1 LB1
WS2 VB2 M2 S2 S2
NS2 B2 B2 M2 S2
NB2 M2 M2 B2 VS2
WB2 S2 S2 VS2 VS2
表2 俯视图模糊规则表
其中，VS2，S2，M2，B2，VB2的输出隶属度函数如图9所示。
在步骤S60中，基于DST(Dempster-Shafer thoery)建立障碍物目标体素识别框架，将所述第一概率参数和所述第二概率参数输入所述障碍物目标体素识别框架，得到判定所述体素地图数据中的体素是否为障碍物的判定结果，可以包括：
基于以下公式建立障碍物目标体素识别框架：
其中，φ表示空集，K为中间参数，m(N)表示一体素不属于有效障碍物的基本概率赋值，m(Y)表示一体素属于障碍物的基本概率赋值，m(U)表示一体素处于不确定状态的基本概率赋值，m1(φ)、m1(Y)、m1(N)、m1(U)、m2(φ)、m2(Y)、m2(N)、m2(U)分别通过以下公式确定：
其中，Gfront为第一概率参数，Gtop为第二概率参数，ε1为大于0的修正参数；
将所述第一概率参数和所述第二概率参数输入该障碍物目标体素识别框架；
若m(Y)，m(N)和m(U)满足以下第一条件，则判定对应体素属于障碍物：
若m(Y)，m(N)和m(U)满足以下第二条件，则判定对应体素不属于障碍物：
若两个条件均不满足，则判定对应体素属于障碍物，其中，ε2，ε3为判断阈值，在一种可能的实施方式中，若两个条件均不满足，判定对应体素结果不确定，对于判定结果为障碍物或不确定的情况，均视为障碍物，将其障碍标志位设为1，其余为0。
由于前视图和俯视图中所得的基本概率赋值均可能为1，产生组合冲突，因此通过一无穷小正数ε1对上述相应公式进行修正，在一种实施方式中，ε1＝0.005，ε2＝ε3＝0.1。
在步骤S70中，基于所述判定结果对所述体素地图数据中的体素进行聚类，得到用于表征目标为障碍物的所述体素构成的长方体和对应于该长方体的特征信息。
具体来讲，对于通过步骤S60得到的体素地图数据，可以采用OpenCV中的findContours函数提取表征目标为障碍物的长方体，对前视图和俯视图中的目标匹配校正，得到该长方体的长、宽、高分别为rect.length、rect.width、rect.height，并通过如下公式转化得到方盒模型的长宽高：
其中，d对应于上述D，即D＝5cm*5cm*5cm时，d＝5cm，Box.length，Box.width，Box.height分别为方盒模型的长宽高。
在图像坐标系下该长方体左上角坐标为(rect.y，rect.x)，则可以通过如下公式计算长方体中心点并转化为车体坐标得到方盒模型实际的几何中心坐标(Box.CenterY,Box.CenterX,Box.CenterZ)：
可以将得到的方盒模型参数通过障碍物传输协议发送给上位机，供其分析，障碍物传输协议依次包括帧头(大小为2bytes)、扫描此帧的时间戳(大小为3bytes)、方盒模型的几何中心坐标(大小为9bytes)、方盒模型的大小(大小为6bytes)以及帧尾(大小为2bytes)。没判别一个有效障碍物获取方盒模型参数后，将其封装成该障碍物传输协议形式传输给上位机。
通过上述技术方案，在获取无人驾驶车辆的前视图数据和俯视图数据后，通过相应的模糊推理规则和基于DST建立的障碍物目标体素识别框架融合前视图数据和俯视图数据，进而识别障碍物，前视图数据置信度信息更高，俯视图数据更完整，且结合两种数据基于DST融合两种数据进行计算，实现前视图和俯视图的信息融合，提高了目标检测的准确度。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (9)

1.一种融合多视图模糊推理赋值的障碍物检测方法，其特征在于，应用于无人驾驶车辆，所述方法包括：
获取所述无人驾驶车辆周围的三维激光雷达数据；
将所述三维激光雷达数据转换为以所述无人驾驶车辆中心为原点的直角坐标下的体素地图数据；
基于所述体素地图数据获取所述无人驾驶车辆的前视图数据和俯视图数据；
基于所述前视图数据和对应于所述前视图数据的第一预设模糊推理规则，得到用于表征所述体素地图数据中每一体素属于障碍物的概率的第一概率参数；
基于所述俯视图数据和对应于所述俯视图数据的第二预设模糊推理规则，得到用于表征所述体素地图数据中每一体素属于障碍物的概率的第二概率参数；
基于DST建立障碍物目标体素识别框架，将所述第一概率参数和所述第二概率参数输入所述障碍物目标体素识别框架，得到判定所述体素地图数据中的体素是否为障碍物的判定结果；
基于所述判定结果对所述体素地图数据中的体素进行聚类，得到用于表征目标为障碍物的所述体素构成的长方体和对应于该长方体的特征信息。
2.根据权利要求1所述的方法，其特征在于，将所述三维激光雷达数据转换为以所述无人驾驶车辆中心为原点的直角坐标下的体素地图数据，包括：
将所述三维激光雷达数据转换为以所述无人驾驶车辆中心为原点的直角坐标下的车体坐标数据；
建立三维体素地图，基于以下公式将所述车体坐标数据转换为三维体素地图中的体素坐标数据：
其中，Pmap为所述体素坐标数据，Pcar为所述车体坐标数据，mapy、mapx、mapz分别为车体坐标数据分别沿y轴、x轴、z轴的平移增量，D用于表征单个体素的大小；
对于体素坐标数据中的任一体素，判断该体素是否存在数据缺失，若存在数据缺失，则将该体素的障碍标志位设置为0，用于表征该体素不属于障碍物，否则将该体素的障碍标志位设置为1，用于表征该体素属于障碍物；
遍历所述体素坐标数据中的所有体素，将相邻多个体素合并为同一区域，并计算每个所述区域中体素的最大高度差；
将Z坐标值位于0的预设范围内，且所述最大高度差小于阈值所对应的区域内的所有体素标记为路面体素，将路面体素的障碍标志位设置为0，所述体素地图数据包括所述体素坐标数据、所述障碍标志位的数据和所述路面体素的数据。
3.根据权利要求2所述的方法，其特征在于，基于所述体素地图数据获取所述无人驾驶车辆的前视图数据和俯视图数据，包括：
基于以下公式获取所述无人驾驶车辆的前视图数据和俯视图数据：
Pfront＝(Colfront，Rowfront)＝(Xmap，Zmap)
PIXELfront(Colfront，Rowfront)＝255*T(Xmap，Zmap)
Ptop＝(Coltop，Rowtop)＝(Xmap，Ymap)
PIXELtop(Coltop，Rowtop)＝255*T(Xmap，Ymap)
其中，Pfront表示前视图数据中像素点的坐标，Colfront，Rowfront分别表示Pfront的横坐标和纵坐标，Xmap，Zmap分别为前视图数据中像素点对应的体素地图数据Pmap于X轴和Z轴的坐标，PIXELfront(Colfront，Rowfront)表示坐标为(Colfront，Rowfront)的像素点的像素值，T(Xmap，Zmap)表示坐标为(Xmap，Zmap)的像素点对应的体素的障碍标志位数据信息；
Ptop表示俯视图数据中像素点的坐标，Coltop，Rowtop分别表示Ptop的横坐标和纵坐标，Xmap，Ymap分别为俯视图数据中像素点对应的体素地图数据Pmap于X轴和Y轴的坐标，PIXELtop(Coltop，Rowtop)表示坐标为(Coltop，Rowtop)的像素点的像素值，T(Xmap，Ymap)表示坐标为(Xmap，Ymap)的像素点对应的体素的障碍标志位数据信息。
4.根据权利要求2所述的方法，其特征在于，基于所述前视图数据和对应于所述前视图数据的第一预设模糊推理规则，得到用于表征所述体素地图数据中每一体素属于障碍物的概率的第一概率参数，包括：
基于所述前视图数据获取用于表征障碍物的第一矩形包络边框；
获取所述第一矩形包络边框中心相对于所述无人驾驶车辆中心的横向位移量，以及所述第一矩形包络边框的高度数据；
基于所述横向位移量、所述高度数据以及对应于所述横向位移量和所述高度数据的第一预设模糊推理规则，得到用于表征所述第一矩形包络边框是否为障碍物的概率，并将该概率作为所述第一矩形包络边框中所有像素点对应的体素的第一概率参数，用于表征该体素属于障碍物的概率。
5.根据权利要求4所述的方法，其特征在于，所述第一预设模糊推理规则包括：
前视图数据分别对应于3个模糊子集XL，XM和XR，其中，模糊子集XL为表征所述第一矩形包络边框中心相对于所述无人驾驶车辆中心位于左侧的前视图数据的集合，模糊子集XM为表征所述第一矩形包络边框中心相对于所述无人驾驶车辆中心位于中间的前视图数据的集合，模糊子集XR为表征所述第一矩形包络边框中心相对于所述无人驾驶车辆中心位于右侧的前视图数据的集合；
前视图数据还分别对应于3个模糊子集HL，HM和HH，其中，模糊子集HL中的前视图数据对应的第一矩形包络边框的高度小于模糊子集HL中的前视图数据对应的第一矩形包络边框的高度，模糊子集HM中的前视图数据对应的第一矩形包络边框的高度小于模糊子集HH中的前视图数据对应的第一矩形包络边框的高度；
若所述前视图数据同时属于模糊子集XL和模糊子集HL，则对应的第一概率参数为S1；若所述前视图数据同时属于模糊子集XL和模糊子集HM，则对应的第一概率参数为M1；若所述前视图数据同时属于模糊子集XL和模糊子集HH，则对应的第一概率参数为S1；若所述前视图数据同时属于模糊子集XM和模糊子集HL，则对应的第一概率参数为B1；若所述前视图数据同时属于模糊子集XM和模糊子集HM，则对应的第一概率参数为B1；若所述前视图数据同时属于模糊子集XM和模糊子集HH，则对应的第一概率参数为B1；若所述前视图数据同时属于模糊子集XR和模糊子集HL，则对应的第一概率参数为S1；若所述前视图数据同时属于模糊子集XR和模糊子集HM，则对应的第一概率参数为M1；若所述前视图数据同时属于模糊子集XR和模糊子集HH，则对应的第一概率参数为S1；其中，S1对应的概率值小于M1对应的概率值，M1对应的概率值小于B1对应的概率值。
6.根据权利要求2所述的方法，其特征在于，基于所述俯视图数据和对应于所述俯视图数据的第二预设模糊推理规则，得到用于表征所述体素地图数据中每一体素属于障碍物的概率的第二概率参数，包括：
基于所述俯视图数据获取用于表征障碍物的第二矩形包络边框；
获取所述第二矩形包络边框的长度数据和宽度数据；
基于所述长度数据、所述宽度数据以及对应于所述长度数据和所述宽度数据的第二预设模糊推理规则，得到用于表征所述第二矩形包络边框是否为障碍物的概率，并将该概率作为所述第二矩形包络边框中所有像素点对应的体素的第二概率参数，用于表征该体素属于障碍物的概率。
7.根据权利要求6所述的方法，其特征在于，所述第二预设模糊推理规则包括：
俯视图数据分别对应于4个模糊子集LS1，NS1，NB1和LB1，其中，模糊子集LS1中的俯视图数据对应的第二矩形包络边框的长度小于模糊子集NS1中的俯视图数据对应的第二矩形包络边框的长度，模糊子集NS1中的俯视图数据对应的第二矩形包络边框的长度小于模糊子集NB1中的俯视图数据对应的第二矩形包络边框的长度，模糊子集NB1中的俯视图数据对应的第二矩形包络边框的长度小于模糊子集LB1中的俯视图数据对应的第二矩形包络边框的长度；
俯视图数据还分别对应于4个模糊子集WS2，NS2，NB2和WB2，其中，模糊子集WS2中的俯视图数据对应的第二矩形包络边框的宽度小于模糊子集NS2中的俯视图数据对应的第二矩形包络边框的宽度，模糊子集NS2中的俯视图数据对应的第二矩形包络边框的宽度小于模糊子集NB2中的俯视图数据对应的第二矩形包络边框的宽度，模糊子集NB2中的俯视图数据对应的第二矩形包络边框的宽度小于模糊子集WB2中的俯视图数据对应的第二矩形包络边框的宽度；
若所述俯视图数据同时属于模糊子集LS1和模糊子集WS2，则对应的第一概率参数为VB2；若所述俯视图数据同时属于模糊子集LS1和模糊子集NS2，则对应的第一概率参数为B2；若所述俯视图数据同时属于模糊子集LS1和模糊子集NB2，则对应的第一概率参数为M2；若所述俯视图数据同时属于模糊子集LS1和模糊子集WB2，则对应的第一概率参数为S2；若所述俯视图数据同时属于模糊子集NS1和模糊子集WS2，则对应的第一概率参数为M2；若所述俯视图数据同时属于模糊子集NS1和模糊子集NS2，则对应的第一概率参数为B2；若所述俯视图数据同时属于模糊子集NS1和模糊子集NB2，则对应的第一概率参数为M2；若所述俯视图数据同时属于模糊子集NS1和模糊子集WB2，则对应的第一概率参数为S2；若所述俯视图数据同时属于模糊子集NB1和模糊子集WS2，则对应的第一概率参数为S2；若所述俯视图数据同时属于模糊子集NB1和模糊子集NS2，则对应的第一概率参数为M2；若所述俯视图数据同时属于模糊子集NB1和模糊子集NB2，则对应的第一概率参数为B2；若所述俯视图数据同时属于模糊子集NB1和模糊子集WB2，则对应的第一概率参数为VS2；若所述俯视图数据同时属于模糊子集LB1和模糊子集WS2，则对应的第一概率参数为S2；若所述俯视图数据同时属于模糊子集LB1和模糊子集NS2，则对应的第一概率参数为S2；若所述俯视图数据同时属于模糊子集LB1和模糊子集NB2，则对应的第一概率参数为VS2；若所述俯视图数据同时属于模糊子集LB1和模糊子集WB2，则对应的第一概率参数为VS2；其中，VS2对应的概率值小于S2对应的概率值，S2对应的概率值小于M2对应的概率值，M2对应的概率值小于B2对于的概率值，B2对应的概率值小于VB2对于的概率值。
8.根据权利要求1所述的方法，其特征在于，基于DST建立障碍物目标体素识别框架，将所述第一概率参数和所述第二概率参数输入所述障碍物目标体素识别框架，得到判定所述体素地图数据中的体素是否为障碍物的判定结果，包括：
基于以下公式建立障碍物目标体素识别框架：
其中，φ表示空集，K为中间参数，m(N)表示一体素不属于有效障碍物的基本概率赋值，m(Y)表示一体素属于障碍物的基本概率赋值，m(U)表示一体素处于不确定状态的基本概率赋值，m1(φ)、m1(Y)、m1(N)、m1(U)、m2(φ)、m2(Y)、m2(N)、m2(U)分别通过以下公式确定：
其中，Gfront为第一概率参数，Gtop为第二概率参数，ε1为大于0的修正参数；
将所述第一概率参数和所述第二概率参数输入该障碍物目标体素识别框架；
若m(Y)，m(N)和m(U)满足以下第一条件，则判定对应体素属于障碍物：
若m(Y)，m(N)和m(U)满足以下第二条件，则判定对应体素不属于障碍物：
若两个条件均不满足，则判定对应体素属于障碍物，其中，ε2，ε3为判断阈值。
9.根据权利要求1所述的方法，其特征在于，ε1＝0.005，ε2＝ε3＝0.1。
CN201910406794.4A 2019-05-16 2019-05-16 融合多视图模糊推理赋值的障碍物检测方法 Active CN110208802B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910406794.4A CN110208802B (zh) 2019-05-16 2019-05-16 融合多视图模糊推理赋值的障碍物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910406794.4A CN110208802B (zh) 2019-05-16 2019-05-16 融合多视图模糊推理赋值的障碍物检测方法

Publications (2)

Publication Number Publication Date
CN110208802A true CN110208802A (zh) 2019-09-06
CN110208802B CN110208802B (zh) 2021-04-30

Family

ID=67787419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910406794.4A Active CN110208802B (zh) 2019-05-16 2019-05-16 融合多视图模糊推理赋值的障碍物检测方法

Country Status (1)

Country Link
CN (1) CN110208802B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110704562A (zh) * 2019-09-27 2020-01-17 Oppo广东移动通信有限公司 地图融合方法及装置、设备、存储介质
CN111735451A (zh) * 2020-04-16 2020-10-02 中国北方车辆研究所 一种基于多源先验信息的点云匹配高精度定位方法
CN112183358A (zh) * 2020-09-29 2021-01-05 新石器慧拓(北京)科技有限公司 一种目标检测模型的训练方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006051091A1 (de) * 2006-06-26 2007-12-27 Volkswagen Ag Objekterkennung von Fahrzeugen mittels Nahbereichsdetektion
KR101285131B1 (ko) * 2013-04-04 2013-07-11 관동대학교산학협력단 퍼지 집합 이론을 이용한 지상 라이다 자료 필터링 방법
CN103645480A (zh) * 2013-12-04 2014-03-19 北京理工大学 基于激光雷达和图像数据融合的地形地貌特征构建方法
CN104636763A (zh) * 2014-12-01 2015-05-20 北京工业大学 一种基于无人驾驶车的道路与障碍物检测方法
US20160324587A1 (en) * 2011-12-30 2016-11-10 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for detection and avoidance of collision of robotically-controlled medical devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006051091A1 (de) * 2006-06-26 2007-12-27 Volkswagen Ag Objekterkennung von Fahrzeugen mittels Nahbereichsdetektion
US20160324587A1 (en) * 2011-12-30 2016-11-10 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for detection and avoidance of collision of robotically-controlled medical devices
KR101285131B1 (ko) * 2013-04-04 2013-07-11 관동대학교산학협력단 퍼지 집합 이론을 이용한 지상 라이다 자료 필터링 방법
CN103645480A (zh) * 2013-12-04 2014-03-19 北京理工大学 基于激光雷达和图像数据融合的地形地貌特征构建方法
CN104636763A (zh) * 2014-12-01 2015-05-20 北京工业大学 一种基于无人驾驶车的道路与障碍物检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TAMÉS-NORIEGA ET AL.: "AUTOMATIC EXTRACTION OF BUILDINGS AND TREES USING FUZZY KMEANS CLASSIFICATION ON HIGH-RESOLUTION SATELLITE IMAGERY AND LIDAR DATA", 《2015 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM (IGARSS)》 *
陆峰 等: "基于DSMT理论的多视角融合目标检测识别", 《机器人》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110704562A (zh) * 2019-09-27 2020-01-17 Oppo广东移动通信有限公司 地图融合方法及装置、设备、存储介质
CN110704562B (zh) * 2019-09-27 2022-07-19 Oppo广东移动通信有限公司 地图融合方法及装置、设备、存储介质
CN111735451A (zh) * 2020-04-16 2020-10-02 中国北方车辆研究所 一种基于多源先验信息的点云匹配高精度定位方法
CN111735451B (zh) * 2020-04-16 2022-06-07 中国北方车辆研究所 一种基于多源先验信息的点云匹配高精度定位方法
CN112183358A (zh) * 2020-09-29 2021-01-05 新石器慧拓(北京)科技有限公司 一种目标检测模型的训练方法及装置
CN112183358B (zh) * 2020-09-29 2024-04-23 新石器慧通（北京）科技有限公司 一种目标检测模型的训练方法及装置

Also Published As

Publication number Publication date
CN110208802B (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN112396650B (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
CN108932736B (zh) 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法
CN108519605B (zh) 基于激光雷达和摄像机的路沿检测方法
CN108828621A (zh) 基于三维激光雷达的障碍检测和路面分割算法
CN103487034B (zh) 一种基于立式标靶的车载单目摄像头测距测高方法
CN109543600A (zh) 一种实现可行驶区域检测方法及系统和应用
CN110208802A (zh) 融合多视图模糊推理赋值的障碍物检测方法
CN104536009A (zh) 一种激光红外复合的地面建筑物识别及导航方法
CN106338989A (zh) 一种田间机器人双目视觉导航方法及系统
CN111880191B (zh) 基于多智能体激光雷达和视觉信息融合的地图生成方法
CN109740584B (zh) 基于深度学习的自动泊车停车位检测方法
CN111008553B (zh) 用于监测车辆盲区的方法和装置
CN109584300A (zh) 一种确定车头朝向角度的方法及装置
CN109101932A (zh) 基于目标检测的多任务及临近信息融合的深度学习算法
CN114639115B (zh) 一种人体关键点与激光雷达融合的3d行人检测方法
CN112396656A (zh) 一种视觉与激光雷达融合的室外移动机器人位姿估计方法
CN116030130A (zh) 一种动态环境下的混合语义slam方法
CN115079143B (zh) 一种用于双桥转向矿卡的多雷达外参快速标定方法及装置
CN110298271A (zh) 基于关键点检测网络和空间约束混合模型的海水区域检测方法
CN115128628A (zh) 基于激光slam和单目视觉的道路栅格地图构建方法
CN111696147B (zh) 一种基于改进YOLOv3模型的深度估计方法
CN208937705U (zh) 一种多源异构传感器特征深度融合的装置
Liu et al. Vehicle detection and tracking with 2d laser range finders
CN111353481A (zh) 基于激光点云与视频图像的道路障碍物识别方法
Jung et al. Intelligent Hybrid Fusion Algorithm with Vision Patterns for Generation of Precise Digital Road Maps in Self-driving Vehicles.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant