CN111123262B - 自动驾驶3d建模方法、装置及系统 - Google Patents

自动驾驶3d建模方法、装置及系统 Download PDF

Info

Publication number
CN111123262B
CN111123262B CN202010233504.3A CN202010233504A CN111123262B CN 111123262 B CN111123262 B CN 111123262B CN 202010233504 A CN202010233504 A CN 202010233504A CN 111123262 B CN111123262 B CN 111123262B
Authority
CN
China
Prior art keywords
inter
data
sensor
frame
radar sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010233504.3A
Other languages
English (en)
Other versions
CN111123262A (zh
Inventor
成晟
毛克成
陈刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xuzhitong Information Technology Co ltd
Jiangsu Guangyu Technology Industry Development Co ltd
Original Assignee
Nanjing Xuzhitong Information Technology Co ltd
Jiangsu Guangyu Technology Industry Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xuzhitong Information Technology Co ltd, Jiangsu Guangyu Technology Industry Development Co ltd filed Critical Nanjing Xuzhitong Information Technology Co ltd
Priority to CN202010233504.3A priority Critical patent/CN111123262B/zh
Publication of CN111123262A publication Critical patent/CN111123262A/zh
Application granted granted Critical
Publication of CN111123262B publication Critical patent/CN111123262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles

Abstract

本发明公开一种自动驾驶3D建模方法、装置及系统。本发明涉及自动驾驶技术领域，解决单一数据采样导致数据建模不完整，或数据间关联性差，无法创建精确的3D环境模型的问题。本发明通过获取多种传感器采集的数据并进行融合处理，形成综合视图，提取综合视图中不同传感器获取的多个相邻帧中同一个检测目标的帧间目标参数，对比分析不同传感器获取的数据，采用阶梯阈值法消除不同传感器中数据的奇异值和冗余，实现目标参数精准判定，存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内时，确定该帧间目标参数为帧间相互关联的动态数据，以构建3D环境模型。本发明可提取出更多更准确的相互关联的动态数据，利于创建精确的3D环境模型。

Description

自动驾驶3D建模方法、装置及系统
技术领域
本发明涉及自动驾驶技术领域，尤其涉及一种自动驾驶3D建模方法、装置及系统。
背景技术
在自动驾驶技术中，对自动驾驶车辆行驶环境中所存在的目标的识别是自动驾驶的重要核心技术之一。目前，业内通常通过神经网络的机器学习技术，对大量的实际路面驾驶数据进行采集和分析，提取出各种路面常见的目标的特征量，以进行机器识别的训练。在实际驾驶中，通过训练后的特征量，进行目标的匹配分析，从而识别目标。随着采集的样本数量的增加以及训练周期的增长，特征库的内容越来越丰富，所以也能识别越来越多的实际路面目标。
然而，在自动驾驶车辆的实际行驶过程中，复杂的道路环境上充满了“未见过”目标物，而经过大量实地实验，基于神经网络训练的数据仍然可能不含有这类“未见过”目标物的数据，因此依然会存在无法识别目标物的状况。
针对这些“未见过”的目标物，如果这些目标物与驾驶层面有关，比如标志标线、红绿灯、隔离栏等，则目前通常只能忽略目标的提示作用，这样会对自动驾驶产生很严重的影响。如果这些“未见过”的目标物为运动物体，如车辆、行人等，则无法预测其轨迹，无法做出正确的判定（如减速等），容易产生事故。由此可见，现有自动驾驶技术中由于无法识别“未见过”的目标物，导致对道路环境进行的数据采样较为单一，会造成数据建模不完整，或即使采用多元采样，但数据间关联性差，无法创建精确的3D环境模型。
发明内容
本发明提供一种自动驾驶3D建模方法、装置及系统，以解决目前自动驾驶领域单一数据采样导致数据建模不完整，或即使采用多元采样，但数据间关联性差，无法创建精确的3D环境模型的问题。
第一方面，本发明提供一种自动驾驶3D建模方法，所述方法包括：
获取自动驾驶车辆上的传感器采集的数据，所述传感器包括：激光雷达传感器、视频传感器，以及毫米波雷达传感器；
对所述传感器采集的数据进行融合处理，形成综合视图；
提取所述综合视图中不同传感器获取的多个相邻帧中，同一个检测目标的帧间目标参数；
对比分析不同传感器获取的所述帧间目标参数，采用阶梯阈值法消除不同传感器中数据的奇异值和冗余，实现所述帧间目标参数的精准判定；
判断是否存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内；
如果存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内，确定所述连续数个相邻帧中同一检测目标的帧间目标参数为帧间相互关联的动态数据；
根据所述帧间相互关联的动态数据构建3D环境模型。
结合第一方面，在第一方面的第一种可实现方式中，获取自动驾驶车辆上的传感器采集的原始数据之前，所述方法还包括：
同时向所述激光雷达传感器、视频传感器以及毫米波雷达传感器发送数据采集指令，以使所述激光雷达传感器、视频传感器以及毫米波雷达传感器在同一时刻采集同一检测目标的数据，实现数据的同步采集。
结合第一方面，在第一方面的第二种可实现方式中，对所述传感器采集的原始数据进行融合处理，形成综合视图包括：
在视频传感器和激光雷达传感器所采集的数据中，识别出具有边缘的物体和标志物；
对所述物体和标志物进行边缘轮廓对齐，去除奇异值和冗余，实现视频传感器和激光雷达传感器所采集数据的融合；
将毫米波雷达传感器采集的数据，投影到激光雷达传感器所采集数据中的激光雷达坐标系中，实现毫米波雷达传感器和激光雷达传感器所采集数据的融合，进而实现激光雷达传感器、毫米波雷达传感器以及视频传感器所采集数据的融合，形成综合视图。
结合第一方面的第二种可实现方式，在第一方面的第三种可实现方式中，所述视频传感器所采集的数据为RGB图像的像素阵列，所述激光雷达传感器所采集的数据为3-D点云距离信息，所述毫米波雷达传感器所采集的数据为2-D反射图。
第二方面，本发明提供一种自动驾驶3D建模装置，所述装置包括：
获取单元，用于获取自动驾驶车辆上的传感器采集的数据，所述传感器包括：激光雷达传感器、视频传感器，以及毫米波雷达传感器；
融合单元，用于对所述传感器采集的数据进行融合处理，形成综合视图；
提取单元，用于提取所述综合视图中不同传感器获取的多个相邻帧中，同一个检测目标的帧间目标参数；
消除单元，用于对比分析不同传感器获取的所述帧间目标参数，采用阶梯阈值法消除不同传感器中数据的奇异值和冗余，实现所述帧间目标参数的精准判定；
判断单元，用于判断是否存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内；
确定单元，用于在存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内的情况下，确定所述连续数个相邻帧中同一检测目标的帧间目标参数为帧间相互关联的动态数据；
构建单元，用于根据所述帧间相互关联的动态数据构建3D环境模型。
结合第二方面，在第二方面的第一种可实现方式中，所述装置还包括：
发送单元，用于在获取单元自动驾驶车辆上的传感器采集的原始数据之前，同时向所述激光雷达传感器、视频传感器以及毫米波雷达传感器发送数据采集指令，以使所述激光雷达传感器、视频传感器以及毫米波雷达传感器在同一时刻采集同一检测目标的数据，实现数据的同步采集。
结合第二方面，在第二方面的第二种可实现方式中，所述融合单元包括：
识别子单元，用于在视频传感器和激光雷达传感器所采集的数据中，识别出具有边缘的物体和标志物；
对齐子单元，用于对所述物体和标志物进行边缘轮廓对齐，去除奇异值和冗余，实现视频传感器和激光雷达传感器所采集数据的融合；
投影子单元，用于将毫米波雷达传感器采集的数据，投影到激光雷达传感器所采集数据中的激光雷达坐标系中，实现毫米波雷达传感器和激光雷达传感器所采集数据的融合，进而实现激光雷达传感器、毫米波雷达传感器以及视频传感器所采集数据的融合，形成综合视图。
结合第二方面的第二种可实现方式，在第二方面的第三种可实现方式中，所述视频传感器所采集的数据为RGB图像的像素阵列，所述激光雷达传感器所采集的数据为3-D点云距离信息，所述毫米波雷达传感器所采集的数据为2-D反射图。
第三方面，本发明提供一种自动驾驶3D建模系统，所述系统包括：传感器和处理器；
所述传感器，用于采集自动驾驶车辆行驶环境中的数据，其中，所述传感器包括激光雷达传感器、视频传感器，以及毫米波雷达传感器；
所述处理器，用于获取自动驾驶车辆上的传感器采集的数据，对所述传感器采集的数据进行融合处理，形成综合视图，提取所述综合视图中不同传感器获取的多个相邻帧中，同一个检测目标的帧间目标参数，对比分析不同传感器获取的所述帧间目标参数，采用阶梯阈值法消除不同传感器中数据的奇异值和冗余，实现所述帧间目标参数的精准判定，判断是否存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内，如果存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内，确定所述连续数个相邻帧中同一检测目标的帧间目标参数为帧间相互关联的动态数据，根据所述帧间相互关联的动态数据构建3D环境模型。
本发明的有益效果如下：
本发明提供的一种自动驾驶3D建模方法、装置及系统，通过获取自动驾驶车辆上的传感器采集的数据，对所述传感器采集的数据进行融合处理，形成综合视图，通过采用“前组合”创建精确的3D环境模型，摒弃了传统首先单独处理每个传感器的数据，然后将这些数据组合为一个综合视图的方法，能够保留更多的原始信息，在此基础上可以便于构建与真实环境高度契合的3D模型。此外，本发明还通过提取综合视图中不同传感器获取的多个相邻帧中，同一个检测目标的帧间目标参数，对比分析不同传感器获取的所述帧间目标参数，采用阶梯阈值法消除不同传感器中数据的奇异值和冗余，实现所述帧间目标参数的精准判定，并判断是否存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内，如果存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内，确定连续数个相邻帧中同一检测目标的帧间目标参数为帧间相互关联的动态数据，根据帧间相互关联的动态数据构建3D环境模型，本发明利用“帧间检测”技术，处理整体数据不仅仅考虑单独每帧的数据处理，而且要考虑每帧数据之间的联系，这样可以提取出更多更准确的相互关联的动态数据，进一步利于创建精确的3D环境模型。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的自动驾驶3D建模方法的流程图。
图2为本发明实施例提供的自动驾驶3D建模方法的一种可选实施方式的流程图。
图3为本发明实施例提供的自动驾驶3D建模装置的示意图。
图4为本发明实施例提供的自动驾驶3D建模装置的融合单元示意图。
图5为本发明实施例提供的自动驾驶3D建模系统的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。以下结合附图，详细说明本发明各实施例提供的技术方案。
请参阅图1，本发明提供一种自动驾驶3D建模方法，所述方法的执行主体可以是处理器，所述方法具体可以包括如下步骤：
步骤S101，获取自动驾驶车辆上的传感器采集的数据，所述传感器包括：激光雷达传感器、视频传感器，以及毫米波雷达传感器。
在本实施例中，自动驾驶车辆上可以设置包括但不限于激光雷达传感器、视频传感器，以及毫米波雷达传感器的各种传感器。
其中，激光雷达传感器作为主传感器，可以向目标发射探测信号（激光束），然后将接收到的从目标反射回来的信号（目标回波）与发射信号进行比较，获得目标的有关信息，如目标距离、方位、高度、速度、姿态、甚至形状等参数，从而对目标进行探测、跟踪和识别，激光雷达传感器分辨率高，抗干扰能力强，获取的信息量丰富，受外界环境影响极小，所以，激光雷达传感器可以全天候进行扫描传感器。
视频传感器作为第二个主传感器，可以直接将视频流进行处理分析，实现目标识别，目前视频分析技术已经非常成熟，机器视觉以及深度学习算法的加持，使得视频分析的精度取得了很大的突破，视频传感器作为第二主传感器也十分可靠，但是摄像头视频分析最大的局限性在于受外界环境影响较大，强光照射、雨雾天气对识别精度会有较大影响。
毫米波雷达传感器即普通雷达传感器，通过把无线电波发出去，然后接收回波，根据收发之间的时间差测得目标的位置数据。目前主流使用的车载毫米波雷达传感器按照其频率不同，主要可分为两种：24GHz和77GHz。毫米波雷达传感器探测技术目前已经十分成熟，但是其缺点也十分明显，即探测距离不够长，对于非金属目标（如行人等）探测能力较差，无法描绘出目标的形状。
步骤S102，对所述传感器采集的数据进行融合处理，形成综合视图。
在本实施例中，将激光雷达传感器、视频传感器，以及毫米波雷达传感器作为主传感器，以自动驾驶车辆为中心，将所有传感器采集的数据进行整合，形成综合视图，分析精度会大幅度提高，同时该方案还提升了整个系统的可靠性，当其中一个传感器故障时，系统仍然可以正常工作。
步骤S103，提取所述综合视图中不同传感器获取的多个相邻帧中，同一个检测目标的帧间目标参数。
综合视图的活动图像是由时间上以帧周期为间隔的连续图像帧组成的时间图像序列，这些时间图像序列在时间上比在空间上具有更大的相关性。大多数目标相邻帧间细节变化是很小的，即每帧间具有很强的相关性，利用帧所具有的相关性的特点进行目标的预测分析，可以有助于构建精确的模型。帧间目标参数可以包括帧间位移量、运动轨迹等。
步骤S104，对比分析不同传感器获取的所述帧间目标参数，采用阶梯阈值法消除不同传感器中数据的奇异值和冗余，实现所述帧间目标参数的精准判定。
步骤S105，判断是否存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内。
在本实施例中，可以设定一个阈值，例如，同一个检测目标的连续多个帧间的运动轨迹在这个阈值范围内，即符合我们对于其关联性的判断，就可以确定相应的帧间目标参数为帧间相互关联的动态数据。“数个相邻帧”中“数个”的具体值，也可以根据需要进行设置。
步骤S106，如果存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内，确定所述连续数个相邻帧中同一检测目标的帧间目标参数为帧间相互关联的动态数据。
步骤S107，根据所述帧间相互关联的动态数据构建3D环境模型。
通过高性能硬件平台，处理这些数据以创建精确 的3D 环境模型，为自动驾驶提供决策服务。通过多帧时间内车辆的运动轨迹，可以分析出车辆的接下来的运动轨迹，以及通过帧间位移量计算出行驶速度，所以，对于相同的目标，都采用这种分析的方法，取得每帧数据之间的联系，可以大量节约系统的计算时间，让系统有更多的资源去对新进入的目标进行分析，同时构建精确的模型，也是下一步的自动驾驶决策的重要参考。
在本实施例中，在获取自动驾驶车辆上的传感器采集的原始数据之前，所述方法还包括：
同时向所述激光雷达传感器、视频传感器以及毫米波雷达传感器发送数据采集指令，以使所述激光雷达传感器、视频传感器以及毫米波雷达传感器在同一时刻采集同一检测目标的数据，实现数据的同步采集。
在本实施例中，以整体的方式对传感器采集的数据进行处理，主要是实现多传感器的数据融合，传感器融合重要的前提是要能把标定精度提高到非常高的一个精度，是一个必要的基础。首先需要保证3个同步，硬件同步，时间同步，空间同步，即使用同一种硬件同时发布触发采集命令，实现各传感器采集、测量的时间同步，做到同一时刻采集相同的信息。再将各传感器获得的原始数据直接送至中央处理器进行融合处理，可以实现实时融合，该方法实时性最高，在自动驾驶方面具有很大优势。
如图2所示，对所述传感器采集的原始数据进行融合处理，形成综合视图具体可以包括如下步骤：
步骤S201，在视频传感器和激光雷达传感器所采集的数据中，识别出具有边缘的物体和标志物。
在本实施例中，不同传感器的数据融合要解决的问题，是把不同的传感器的数据标定到同一个坐标系里，包括相机的内参标定，雷达到相机的外参标定。内参是决定传感器内部的映射关系，比如摄像头的焦距，偏心和像素横纵比（+畸变系数），而外参是决定传感器和外部某个坐标系的转换关系，比如姿态参数（旋转、平移、六自由度）。对于视频传感器和激光雷达传感器所采集数据的融合，先通过算法，在不同传感器的投影图像内，寻找其中具有明显边缘的物体和标志物，进行边缘的轮廓对齐。
步骤S202，对所述物体和标志物进行边缘轮廓对齐，去除奇异值和冗余，实现视频传感器和激光雷达传感器所采集数据的融合。
步骤S203，将毫米波雷达传感器采集的数据，投影到激光雷达传感器所采集数据中的激光雷达坐标系中，实现毫米波雷达传感器和激光雷达传感器所采集数据的融合，进而实现激光雷达传感器、毫米波雷达传感器以及视频传感器所采集数据的融合，形成综合视图。
在本实施例中，通过激光雷达作为桥梁，将毫米波雷达数据投影到激光雷达坐标系中与激光点云进行融合，再与相机进行融合。
在本实施例中，所述视频传感器所采集的数据为RGB图像的像素阵列，所述激光雷达传感器所采集的数据为3-D点云距离信息，所述毫米波雷达传感器所采集的数据为2-D反射图。
由以上实施例可知，本发明提供的一种自动驾驶3D建模方法，通过获取自动驾驶车辆上的传感器采集的数据，对所述传感器采集的数据进行融合处理，形成综合视图，通过采用“前组合”创建精确的3D环境模型，摒弃了传统首先单独处理每个传感器的数据，然后将这些数据组合为一个综合视图的方法，能够保留更多的原始信息，在此基础上可以便于构建与真实环境高度契合的3D模型。
此外，本发明还通过提取综合视图中不同传感器获取的多个相邻帧中，同一个检测目标的帧间目标参数，对比分析不同传感器获取的所述帧间目标参数，采用阶梯阈值法消除不同传感器中数据的奇异值和冗余，实现所述帧间目标参数的精准判定，并判断是否存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内，如果存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内，确定连续数个相邻帧中同一检测目标的帧间目标参数为帧间相互关联的动态数据，根据帧间相互关联的动态数据构建3D环境模型，本发明利用“帧间检测”技术，处理整体数据不仅仅考虑单独每帧的数据处理，而且要考虑每帧数据之间的联系，这样可以提取出更多更准确的相互关联的动态数据，进一步利于创建精确的3D环境模型。
请参阅图3，本发明还提供一种自动驾驶3D建模装置，所述装置包括：
获取单元301，用于获取自动驾驶车辆上的传感器采集的数据，所述传感器包括：激光雷达传感器、视频传感器，以及毫米波雷达传感器。
融合单元302，用于对所述传感器采集的数据进行融合处理，形成综合视图。
提取单元303，用于提取所述综合视图中不同传感器获取的多个相邻帧中，同一个检测目标的帧间目标参数。
消除单元304，用于对比分析不同传感器获取的所述帧间目标参数，采用阶梯阈值法消除不同传感器中数据的奇异值和冗余，实现所述帧间目标参数的精准判定。
判断单元305，用于判断是否存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内。
确定单元306，用于在存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内的情况下，确定所述连续数个相邻帧中同一检测目标的帧间目标参数为帧间相互关联的动态数据。
构建单元307，用于根据所述帧间相互关联的动态数据构建3D环境模型。
在本实施例中，所述装置还包括：发送单元，用于在获取单元自动驾驶车辆上的传感器采集的原始数据之前，同时向所述激光雷达传感器、视频传感器以及毫米波雷达传感器发送数据采集指令，以使所述激光雷达传感器、视频传感器以及毫米波雷达传感器在同一时刻采集同一检测目标的数据，实现数据的同步采集。
请参阅图4，在本实施例中，所述融合单元302具体还可以包括：
识别子单元401，用于在视频传感器和激光雷达传感器所采集的数据中，识别出具有边缘的物体和标志物。
对齐子单元402，用于对所述物体和标志物进行边缘轮廓对齐，去除奇异值和冗余，实现视频传感器和激光雷达传感器所采集数据的融合。
投影子单元403，用于将毫米波雷达传感器采集的数据，投影到激光雷达传感器所采集数据中的激光雷达坐标系中，实现毫米波雷达传感器和激光雷达传感器所采集数据的融合，进而实现激光雷达传感器、毫米波雷达传感器以及视频传感器所采集数据的融合，形成综合视图。
在本实施例中，所述视频传感器所采集的数据为RGB图像的像素阵列，所述激光雷达传感器所采集的数据为3-D点云距离信息，所述毫米波雷达传感器所采集的数据为2-D反射图。
请参阅图5，本发明还提供一种自动驾驶3D建模系统，所述系统包括：传感器和处理器。
所述传感器，用于采集自动驾驶车辆行驶环境中的数据，其中，所述传感器包括激光雷达传感器2、视频传感器1，以及毫米波雷达传感器3。
所述处理器4，用于获取自动驾驶车辆上的传感器采集的数据，对所述传感器采集的数据进行融合处理，形成综合视图，提取所述综合视图中不同传感器获取的多个相邻帧中，同一个检测目标的帧间目标参数，对比分析不同传感器获取的所述帧间目标参数，采用阶梯阈值法消除不同传感器中数据的奇异值和冗余，实现所述帧间目标参数的精准判定，判断是否存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内，如果存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内，确定所述连续数个相邻帧中同一检测目标的帧间目标参数为帧间相互关联的动态数据，根据所述帧间相互关联的动态数据构建3D环境模型。
本发明实施例还提供一种存储介质，本发明实施例还提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现本发明提供的自动驾驶3D建模方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体（英文：Read-OnlyMemory，简称：ROM）或随机存储记忆体（英文：RandomAccessMemory，简称：RAM）等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于自动驾驶3D建模装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (9)

1.一种自动驾驶3D建模方法，其特征在于，所述方法包括：
获取自动驾驶车辆上的传感器采集的数据，所述传感器包括：激光雷达传感器、视频传感器，以及毫米波雷达传感器；
对所述传感器采集的数据进行融合处理，形成综合视图；
提取所述综合视图中不同传感器获取的多个相邻帧中，同一个检测目标的帧间目标参数，所述帧间目标参数包括帧间位移量和运动轨迹；
对比分析不同传感器获取的所述帧间目标参数，采用阶梯阈值法消除不同传感器中数据的奇异值和冗余，实现所述帧间目标参数的精准判定；
判断是否存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内；
如果存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内，确定所述连续数个相邻帧中同一检测目标的帧间目标参数为帧间相互关联的动态数据；
根据所述帧间相互关联的动态数据构建3D环境模型。
2.如权利要求1所述的方法，其特征在于，获取自动驾驶车辆上的传感器采集的原始数据之前，所述方法还包括：
同时向所述激光雷达传感器、视频传感器以及毫米波雷达传感器发送数据采集指令，以使所述激光雷达传感器、视频传感器以及毫米波雷达传感器在同一时刻采集同一检测目标的数据，实现数据的同步采集。
3.如权利要求1所述的方法，其特征在于，对所述传感器采集的原始数据进行融合处理，形成综合视图包括：
在视频传感器和激光雷达传感器所采集的数据中，识别出具有边缘的物体和标志物；
对所述物体和标志物进行边缘轮廓对齐，去除奇异值和冗余，实现视频传感器和激光雷达传感器所采集数据的融合；
将毫米波雷达传感器采集的数据，投影到激光雷达传感器所采集数据中的激光雷达坐标系中，实现毫米波雷达传感器和激光雷达传感器所采集数据的融合，进而实现激光雷达传感器、毫米波雷达传感器以及视频传感器所采集数据的融合，形成综合视图。
4.如权利要求3所述的方法，其特征在于，所述视频传感器所采集的数据为RGB图像的像素阵列，所述激光雷达传感器所采集的数据为3-D点云距离信息，所述毫米波雷达传感器所采集的数据为2-D反射图。
5.一种自动驾驶3D建模装置，其特征在于，所述装置包括：
获取单元，用于获取自动驾驶车辆上的传感器采集的数据，所述传感器包括：激光雷达传感器、视频传感器，以及毫米波雷达传感器；
融合单元，用于对所述传感器采集的数据进行融合处理，形成综合视图；
提取单元，用于提取所述综合视图中不同传感器获取的多个相邻帧中，同一个检测目标的帧间目标参数，所述帧间目标参数包括帧间位移量和运动轨迹；
消除单元，用于对比分析不同传感器获取的所述帧间目标参数，采用阶梯阈值法消除不同传感器中数据的奇异值和冗余，实现所述帧间目标参数的精准判定；
判断单元，用于判断是否存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内；
确定单元，用于在存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内的情况下，确定所述连续数个相邻帧中同一检测目标的帧间目标参数为帧间相互关联的动态数据；
构建单元，用于根据所述帧间相互关联的动态数据构建3D环境模型。
6.如权利要求5所述的装置，其特征在于，所述装置还包括：
发送单元，用于在获取单元自动驾驶车辆上的传感器采集的原始数据之前，同时向所述激光雷达传感器、视频传感器以及毫米波雷达传感器发送数据采集指令，以使所述激光雷达传感器、视频传感器以及毫米波雷达传感器在同一时刻采集同一检测目标的数据，实现数据的同步采集。
7.如权利要求5所述的装置，其特征在于，所述融合单元包括：
识别子单元，用于在视频传感器和激光雷达传感器所采集的数据中，识别出具有边缘的物体和标志物；
对齐子单元，用于对所述物体和标志物进行边缘轮廓对齐，去除奇异值和冗余，实现视频传感器和激光雷达传感器所采集数据的融合；
投影子单元，用于将毫米波雷达传感器采集的数据，投影到激光雷达传感器所采集数据中的激光雷达坐标系中，实现毫米波雷达传感器和激光雷达传感器所采集数据的融合，进而实现激光雷达传感器、毫米波雷达传感器以及视频传感器所采集数据的融合，形成综合视图。
8.如权利要求7所述的装置，其特征在于，所述视频传感器所采集的数据为RGB图像的像素阵列，所述激光雷达传感器所采集的数据为3-D点云距离信息，所述毫米波雷达传感器所采集的数据为2-D反射图。
9.一种自动驾驶3D建模系统，所述系统包括：传感器和处理器；
所述传感器，用于采集自动驾驶车辆行驶环境中的数据，其中，所述传感器包括激光雷达传感器、视频传感器，以及毫米波雷达传感器；
所述处理器，用于获取自动驾驶车辆上的传感器采集的数据，对所述传感器采集的数据进行融合处理，形成综合视图，提取所述综合视图中不同传感器获取的多个相邻帧中，同一个检测目标的帧间目标参数，，所述帧间目标参数包括帧间位移量和运动轨迹，对比分析不同传感器获取的所述帧间目标参数，采用阶梯阈值法消除不同传感器中数据的奇异值和冗余，实现所述帧间目标参数的精准判定，判断是否存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内，如果存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内，确定所述连续数个相邻帧中同一检测目标的帧间目标参数为帧间相互关联的动态数据，根据所述帧间相互关联的动态数据构建3D环境模型。
CN202010233504.3A 2020-03-30 2020-03-30 自动驾驶3d建模方法、装置及系统 Active CN111123262B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010233504.3A CN111123262B (zh) 2020-03-30 2020-03-30 自动驾驶3d建模方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010233504.3A CN111123262B (zh) 2020-03-30 2020-03-30 自动驾驶3d建模方法、装置及系统

Publications (2)

Publication Number Publication Date
CN111123262A CN111123262A (zh) 2020-05-08
CN111123262B true CN111123262B (zh) 2020-06-26

Family

ID=70494037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010233504.3A Active CN111123262B (zh) 2020-03-30 2020-03-30 自动驾驶3d建模方法、装置及系统

Country Status (1)

Country Link
CN (1) CN111123262B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113866763A (zh) * 2020-06-30 2021-12-31 华为技术有限公司 一种分布式微波雷达的成像方法及装置
CN111966108A (zh) * 2020-09-02 2020-11-20 成都信息工程大学 基于导航系统的极端天气无人驾驶控制系统
CN113673105A (zh) * 2021-08-20 2021-11-19 安徽江淮汽车集团股份有限公司 真值对比策略的设计方法
CN116461539A (zh) * 2023-04-10 2023-07-21 北京辉羲智能科技有限公司 一种采集传感器时序数据的自动驾驶SoC芯片

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106646474A (zh) * 2016-12-22 2017-05-10 中国兵器装备集团自动化研究所 一种非结构化道路凹凸障碍物检测装置
CN108957413A (zh) * 2018-07-20 2018-12-07 重庆长安汽车股份有限公司 传感器目标定位准确度测试方法
CN109829386A (zh) * 2019-01-04 2019-05-31 清华大学 基于多源信息融合的智能车辆可通行区域检测方法
CN110068818A (zh) * 2019-05-05 2019-07-30 中国汽车工程研究院股份有限公司 通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法
CN110210389A (zh) * 2019-05-31 2019-09-06 东南大学 一种面向道路交通场景的多目标识别跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10445928B2 (en) * 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106646474A (zh) * 2016-12-22 2017-05-10 中国兵器装备集团自动化研究所 一种非结构化道路凹凸障碍物检测装置
CN108957413A (zh) * 2018-07-20 2018-12-07 重庆长安汽车股份有限公司 传感器目标定位准确度测试方法
CN109829386A (zh) * 2019-01-04 2019-05-31 清华大学 基于多源信息融合的智能车辆可通行区域检测方法
CN110068818A (zh) * 2019-05-05 2019-07-30 中国汽车工程研究院股份有限公司 通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法
CN110210389A (zh) * 2019-05-31 2019-09-06 东南大学 一种面向道路交通场景的多目标识别跟踪方法

Also Published As

Publication number Publication date
CN111123262A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN111123262B (zh) 自动驾驶3d建模方法、装置及系统
CN110147706B (zh) 障碍物的识别方法和装置、存储介质、电子装置
CN109444911B (zh) 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法
CN108983219B (zh) 一种交通场景的图像信息和雷达信息的融合方法及系统
CN110738121A (zh) 一种前方车辆检测方法及检测系统
CN109800658B (zh) 基于神经网络的泊车位类型在线识别与定位系统及方法
CN111369541B (zh) 一种智能汽车恶劣天气条件下车辆检测方法
CN111554088A (zh) 一种多功能v2x智能路侧基站系统
CN112215306B (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
CN112693466A (zh) 一种车辆环境感知传感器性能测评系统及方法
CN113850102B (zh) 基于毫米波雷达辅助的车载视觉检测方法及系统
CN112149550A (zh) 一种基于多传感器融合的自动驾驶车辆3d目标检测方法
Sehestedt et al. Robust lane detection in urban environments
CN112379674B (zh) 一种自动驾驶设备及系统
CN112949782A (zh) 一种目标检测方法、装置、设备及存储介质
CN112784679A (zh) 车辆避障方法和装置
CN114118252A (zh) 一种基于传感器多元信息融合的车辆检测方法及检测装置
CN114280611A (zh) 一种融合毫米波雷达与摄像头的路侧感知方法
CN113627373A (zh) 一种基于雷视融合探测的车辆识别方法
CN115257784A (zh) 基于4d毫米波雷达的车路协同系统
CN115876198A (zh) 基于数据融合的目标检测及预警方法、设备、系统和介质
CN115236603A (zh) 隧道内基于时空关系的毫米波雷达量测异常轨迹处理方法
CN111506069A (zh) 一种全天候全地面起重机障碍识别系统及方法
CN114693909A (zh) 一种基于多传感器机器视觉融合的微观车辆轨迹感知设备
CN113988197A (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant