CN111257882B - 数据融合方法、装置、无人驾驶设备和可读存储介质 - Google Patents

数据融合方法、装置、无人驾驶设备和可读存储介质 Download PDF

Info

Publication number
CN111257882B
CN111257882B CN202010195590.3A CN202010195590A CN111257882B CN 111257882 B CN111257882 B CN 111257882B CN 202010195590 A CN202010195590 A CN 202010195590A CN 111257882 B CN111257882 B CN 111257882B
Authority
CN
China
Prior art keywords
radar
dimensional
data
grid map
tracking points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010195590.3A
Other languages
English (en)
Other versions
CN111257882A (zh
Inventor
郭彦杰
庞勃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN202010195590.3A priority Critical patent/CN111257882B/zh
Publication of CN111257882A publication Critical patent/CN111257882A/zh
Application granted granted Critical
Publication of CN111257882B publication Critical patent/CN111257882B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/933—Lidar systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种数据融合方法、装置、无人驾驶设备和可读存储介质。其中方法包括：获取相机的输出数据和雷达的输出数据，对相机的输出数据进行预处理得到视觉点云，对雷达的输出数据进行预处理得到雷达跟踪点；根据视觉点云生成具有时间记忆性的三维概率栅格地图，按照生命周期存储雷达跟踪点；将三维概率栅格地图与存储的雷达跟踪点进行融合，生成二维直方图，供无人驾驶决策单元使用。上述方案将相机和雷达获取的数据转化为三维概率栅格地图和以生命周期存储的跟踪点，然后融合到二维直方图中，简化了融合方法，保留了地图记忆，便于在无人驾驶场景下的检索和使用。

Description

数据融合方法、装置、无人驾驶设备和可读存储介质
技术领域
本申请涉及无人驾驶技术领域，具体涉及一种数据融合方法、装置、无人驾驶设备和可读存储介质。
背景技术
无人机等无人驾驶设备在飞行过程中，需要激光雷达、毫米波雷达、单目相机、双目相机以及飞行时间相机等外部传感器完成环境的感知进而帮助实现飞行中的避障，而多传感器数据的引入就涉及到数据融合的问题。多传感器数据融合的难点在于需要根据不同传感器的特性来设计不同的软件算法。现有的融合方案都是在数据层完成对目标信息的匹配和融合，将障碍物的方位、大小以及速度等信息通过卡尔曼滤波的形式进行数据融合，并且在滤波时需要设定固定或分段的权重进行融合。
现有的融合方案的缺点包括：缺乏地图记忆，不利于全局的规划，现有的融合方案主要是在数据层面针对障碍物目标做实时的融合处理，导致无人驾驶设备在使用融合数据的时候出现局部性较强，航迹规划偏向于局部最优解而陷于局部最优的状态；采用卡尔曼滤波的形式进行数据融合时，权重调节依靠人工经验，并不能科学合理地应对广泛的应用场景。
发明内容
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的数据融合方法、装置、无人驾驶设备和可读存储介质。
依据本申请的一个方面，提供了一种数据融合方法，包括：
获取相机的输出数据和雷达的输出数据，对相机的输出数据进行预处理得到视觉点云，对雷达的输出数据进行预处理得到雷达跟踪点；
根据所述视觉点云生成具有时间记忆性的三维概率栅格地图，按照生命周期存储所述雷达跟踪点；
将所述三维概率栅格地图与存储的所述雷达跟踪点进行融合，生成二维直方图，供无人驾驶决策单元使用。
可选地，所述相机的输出数据包括相机的视差图，所述雷达的输出数据包括雷达的原始雷达点云，所述预处理包括滤波去噪处理。
可选地，所述根据所述视觉点云生成具有时间记忆性的三维概率栅格地图包括：
根据贝叶斯公式和八叉树地图，将所述视觉点云转化为三维概率栅格地图。
可选地，所述按照生命周期存储所述雷达跟踪点包括：
根据所述雷达跟踪点与所述原始雷达点云之间的距离，确定所述雷达跟踪点的生命周期，然后按照所述生命周期存储雷达跟踪点，并清理生命周期已结束的雷达跟踪点。
可选地，所述将所述三维概率栅格地图与存储的所述雷达跟踪点进行融合，生成二维直方图包括：
将所述三维概率栅格地图和存储的所述雷达跟踪点分别按照无人驾驶设备的视场角投影到同一个二维直方图，从而生成二维直方图形式的融合数据。
可选地，所述二维直方图为二维极坐标直方图，所述二维极坐标直方图是根据以所述无人驾驶设备为原点的三维极坐标系投影生成的，所述二维极坐标直方图包括多个区块，各区块可分别标注有距离数据。
可选地，所述生成二维直方图形式的融合数据包括：
根据相机的参数得到所述三维概率栅格地图在所述三维极坐标系的位置，然后将所述三维概率栅格地图投影到二维极坐标直方图上；
根据雷达的标定矩阵得到所述雷达跟踪点在所述三维极坐标系的位置，然后将所述雷达跟踪点投影到二维极坐标直方图上。
依据本申请的另一方面，提供了一种数据融合装置，包括：
预处理单元，适于获取相机的输出数据和雷达的输出数据，对相机的输出数据进行预处理得到视觉点云，对雷达的输出数据进行预处理得到雷达跟踪点；
维护单元，适于根据所述视觉点云生成具有时间记忆性的三维概率栅格地图，按照生命周期存储所述雷达跟踪点；
融合单元，适于将所述三维概率栅格地图与存储的所述雷达跟踪点进行融合，生成二维直方图，供无人驾驶决策单元使用。
依据本申请的又一方面，提供了一种无人驾驶设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的数据融合方法。
依据本申请的再一方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的数据融合方法。
由上述可知，本申请公开的技术方案，包括：获取相机的输出数据和雷达的输出数据，对相机的输出数据进行预处理得到视觉点云，对雷达的输出数据进行预处理得到雷达跟踪点；根据视觉点云生成具有时间记忆性的三维概率栅格地图，按照生命周期存储雷达跟踪点；将三维概率栅格地图与存储的雷达跟踪点进行融合，生成二维直方图，供无人驾驶决策单元使用。上述方案将相机和雷达获取的数据转化为三维概率栅格地图和以生命周期存储的跟踪点，然后融合到二维直方图中，简化了融合方法，保留了地图记忆，便于在无人驾驶场景下的检索和使用。
上述技术方案对相机和雷达产生的点云进行了维护，获得了预设周期内的数据，然后将上述数据在二维直方图上进行融合展示，融合后的数据包括了历史数据，从而保留了地图记忆，避免航线规划的局部最优状态；由于采用了二维直方图进行融合的方式，避免了卡尔曼滤波融合方式中的经验权重进行调节的做法，更加科学直观地获得了障碍物的位置和轮廓等数据。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本申请一个实施例的数据融合方法的流程示意图；
图2示出了根据本申请一个实施例的数据融合装置的结构示意图；
图3示出了根据本申请一个实施例的无人驾驶设备的结构示意图；
图4示出了根据本申请一个实施例的计算机可读存储介质的结构示意图；
图5示出了根据本申请一个实施例的二维极坐标直方图的结构示意图；
图6示出了根据本申请一个实施例的数据融合方案应用实例的示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
图1示出了根据本申请一个实施例的数据融合方法的流程示意图；所述方法包括：
步骤S110，获取相机的输出数据和雷达的输出数据，对相机的输出数据进行预处理得到视觉点云，对雷达的输出数据进行预处理得到雷达跟踪点。
无人驾驶领域的数据融合是指获得不同传感器的输出数据，并且将它们组合起来从而更加准确地感知周围的环境。雷达和相机是两项传感器技术完美融合、互为补充的典范，它们的融合系统实现的功能要远超独立传感器能够实现的功能总和。相机和雷达两者协同作用，互补不足，通过测量障碍物角度、距离、速度等数据融合，刻画无人机或无人车周边环境和可达空间范围。而融合后探测的可靠性，数据同步的问题，计算量大小，计算功耗以及融合所需时间等常常是数据融合时考虑的因素。
该步骤S110中的相机主要是指能够探测到障碍物深度数据的相机，比如双目相机、深度相机等；雷达主要是指能够探测到障碍物点云的雷达，比如激光雷达、毫米波雷达等。根据相机输出的数据(视差图)经过预处理后可以获得视觉点云并存储，而将雷达输出的数据(原始点云)经过预处理后可以得到稳定的更能表征障碍物的雷达跟踪点并存储。
步骤S120，根据所述视觉点云生成具有时间记忆性的三维概率栅格地图，按照生命周期存储所述雷达跟踪点。
根据至少一个生命周期时长的视觉点云维护生成具有时间记忆性的三维概率栅格地图，并且可存储上述雷达跟踪点至少一个生命周期时间，以便后续根据数据融合的需要，将存储的雷达跟踪点以图形或轨迹的形式在二维直方图上进行展示。
需要指出的是，在无人驾驶领域中激光雷达和毫米波雷达应用较多，虽然它们输出的数据经预处理后都可生成雷达跟踪点，然而进一步处理的方式也不同。若是激光雷达，输出的原始点云量比较大，预处理后的雷达跟踪点与相机的视觉点云一样，可转化成三维概率栅格地图；若是毫米波雷达，输出的原始点云量小，可将预处理后获得的雷达跟踪点以生命周期进行存储。
因此，若多传感器包括相机和激光雷达，它们维护生成的均是三维概率栅格地图；若多传感器中包括毫米波雷达，则将其输出数据预处理成雷达跟踪点后以生命周期存储。
其中，生命周期是指雷达跟踪点存续的时间，为保持雷达跟踪点的稳定性，一般设为4-5秒。三维概率栅格地图是利用点云绘制的尺度地图，经常用于地图构建、定位中，它将概率分布的概念引入地图构建中，从而解决点云噪音而导致的建图不准确以及点云量太大应用不便等问题，具体是通过判断某一点是否被占据的概率大小以及不同的颜色表示出障碍物的轮廓。
步骤S130，将所述三维概率栅格地图与存储的所述雷达跟踪点进行融合，生成二维直方图，供无人驾驶决策单元使用。
将生成的三维概率栅格地图和雷达跟踪点的图形或轨迹通过投影等方式放置到同一个二维的直方图中，实现上述数据的融合。
该实施例不仅可以解决现有融合方案中存在的没有地图记忆和卡尔曼滤波融合时权重不准确等问题，而且利用二维直方图进行数据融合的形式能够降低融合计算成本，且融合速度快，功耗少，可靠性高，便于后续的使用。
在一个实施例中，深度相机或双目相机的输出数据为视差图，而雷达的输出数据为雷达的原始雷达点云。
并且，由于相机视差图的数据量大，且不易融合，而雷达得到的雷达原始点云不规则也不稳定，在该实施例中对上述视差图和雷达原始点云进行滤波去噪处理，分别获得视觉点云和雷达跟踪点。
视差图的滤波主要包括图像中值滤波、降采样滤波等，原始雷达点云的滤波主要包括体素滤波、噪点滤波以及降采样滤波等。
在一个实施例中，所述步骤S120中所述根据所述视觉点云生成具有时间记忆性的三维概率栅格地图包括：根据贝叶斯公式和八叉树地图，将所述视觉点云转化为三维概率栅格地图。
根据实时避障需要，可根据相机的视差图获得视觉点云，然后根据至少一个生命周期的视觉点云绘制局部的三维概率栅格地图。具体地，可以依据贝叶斯公式以及八叉树地图，将无人驾驶设备行驶过程中获得的视觉点云转化为三维概率栅格地图。
点云是指在一个三维坐标系中的一组向量的集合，这些向量通常以X，Y，Z三维坐标的形式表示，一般主要代表一个物体的外表面几何形状。八叉树是将三维空间建模分割成许多的小方块，如果将每个小方块的每个面切成两片，那么这个小方块就会变成同样大小的八个小方块.将该步骤不断重复，直到最后的方块大小达到建模的最高精度。在该过程中，将从一个节点展开成八个子节点，整个空间从最大空间细分到最小空间，并且可以减小对存储空间的占用。利用八叉树结合贝叶斯公式可以将点云转化成概率栅格地图，从而用于建图、定位和导航。
当然，上述转化方式仅仅是举例，根据点云生成三维概率栅格地图的方式有很多，其他的生成方式也在本实施例的保护范围之内。
在一个实施例中，所述步骤S120中所述按照生命周期存储所述雷达跟踪点包括：根据所述雷达跟踪点与所述原始雷达点云之间的距离，确定所述雷达跟踪点的生命周期，然后按照所述生命周期的时长存储雷达跟踪点，并清理生命周期已结束的雷达跟踪点。
按照生命周期存储并维护雷达跟踪点包括，以毫米波跟踪点为可信点，并根据每个跟踪点周围的原始点云对跟踪点的生命周期进行管理。
Figure BDA0002417479700000071
其中ti为每个跟踪点对应的生命周期，Δt为每个满足距离要求的原始雷达点云对跟踪点生命周期的增加量，dist为距离阈值。
由上述公式可知，当雷达跟踪点满足距离阈值，则表明该雷达跟踪点的在该段时间内持续存在，从而确定其生命周期的长度，然后按照所述生命周期的时长存储雷达跟踪点，当数据融合完成后，需清理生命周期已结束的雷达跟踪点。
在一个实施例中，所述步骤S130包括：将所述三维概率栅格地图和存储的所述雷达跟踪点分别按照无人驾驶设备的视场角投影到同一个二维直方图，从而生成二维直方图形式的融合数据。
将三维概率栅格地图和雷达跟踪点按照无人驾驶设备的视场角向某一种形式的二维直方图上进行投影，例如将三维概率栅格地图和雷达跟踪点根据相机和雷达标定的结果投影在以无人驾驶设备为中心的世界坐标系或三维极坐标系中，然后将该世界坐标系或三维极坐标系中的三维概率栅格地图以及雷达跟踪点按照预设规则投影到二维直方图中。
在一个实施例中，所述二维直方图为二维极坐标直方图，所述二维极坐标直方图是根据以所述无人驾驶设备为原点的三维极坐标系投影生成的，所述二维极坐标直方图包括多个区块，各区块可分别标注有距离数据。
该实施例将极坐标直方图用于数据融合中，参见图5所示，二维极坐标直方图是以无人驾驶设备所在位置为球心将周围的空间按照经度和纬度两个方向以预设的角度划分，然后由划分出水平区域βe和竖直区域βz组成的二维直方图。图5中左图为三维球形方向的二维展开，其中水平和竖直的格子按照设定的角度分辨率进行划分，例如每隔6度划分出一个水平区域和竖直区域，形成阵列状的空格，从而将三维栅格地图按照二维极坐标直方图中的空格，每个空格对应了无人驾驶设备三维球形空间某一角度的区域，该三维球形空间是一种虚拟空间，球形半径并不代表实际的距离。
二维极坐标直方图中包括所述三维概率栅格地图或所述雷达跟踪点中无人驾驶设备和障碍物之间的距离数据，所述距离数据可标注在所述二维极坐标直方图的每个空格上。
优选地，上述空格上的距离可以选择为三维概率栅格地图和跟踪点中的距离的较小值，从而利于保障无人驾驶设备和障碍物之间的安全距离。
在一个实施例中，所述步骤S130包括：根据相机的参数得到所述三维概率栅格地图在所述三维极坐标系的位置，然后将所述三维概率栅格地图投影到二维极坐标直方图上；根据雷达的标定矩阵得到所述雷达跟踪点在所述三维极坐标系的位置，然后将所述雷达跟踪点投影到二维极坐标直方图上。
在投影到二维极坐标直方图前，可以将三维概率栅格地图和雷达跟踪点投影到同一三维极坐标系或三维世界坐标系中，根据它们在上述三维坐标系下的方位将二维极坐标直方图的相应空格按照距离的远近填充深浅不同的颜色，障碍物距离无人机越近颜色越深，否则距离越远颜色越浅。
当然，二维极坐标直方图既可以展示无人驾驶设备周围360度区域的数据，其中，无人机驾驶设备前向行进方向的数据是多传感器当前采集的数据，而其后面的数据则是历史数据，由存储的前一个或多个生命周期内的相机或雷达数据生成。当然二维极坐标直方图也可以仅展示无人驾驶设备周围部分的空间，比如可仅展示无人驾驶设备前行行进方向的120度范围内的数据。
图6是示出了一个实施例中数据融合的实例，该实例中的相机为双目相机，雷达为毫米波雷达。其中左图为无人机的飞行环境，由于距离的关系，无人机在当前飞行环境中双目相机仅探测到左图中小路左侧近端的树，而雷达探测到左图中近端横向的电缆。右上图将相机的三维栅格地图和雷达跟踪点在同一三维世界坐标系下的展示，右上图的左上部区域中的多个小立方体是该树维护生成的三维栅格地图，位于右上图上下中间位置的分散的黑点为雷达原始点云，而居于右上图中心偏左位置的浅灰色的圆柱体为雷达跟踪点。右下图为融合后的二维极坐标直方图，该二维极坐标直方图是无人机前方120度范围内的数据融合结果，该右下图中的左侧小矩形框代表的是树的数据，中间区域的深灰色矩形框代表的是当前生命周期内的毫米波雷达跟踪点，该数据颜色较深表示电缆比树距离无人机更近，而右侧浅灰色矩形框则代表着上一个生命周期的毫米波雷达跟踪点，由于它和当前生命周期内的数据距离无人机远，因此它的颜色也比较浅。值得说明的是，由于电缆对无人机的威胁比较大，且距离比其他障碍物更近，为了更好地提醒警示，在右下图中特意扩大了其占据的空格数量。
图2示出了根据本申请一个实施例的数据融合装置的结构示意图；所述数据融合装置200包括：
预处理单元210，适于获取相机的输出数据和雷达的输出数据，对相机的输出数据进行预处理得到视觉点云，对雷达的输出数据进行预处理得到雷达跟踪点。
无人驾驶领域的数据融合是指获得不同传感器的输出数据，并且将它们组合起来从而更加准确地感知周围的环境。雷达和相机是两项传感器技术完美融合、互为补充的典范，它们的融合系统实现的功能要远超独立传感器能够实现的功能总和。相机和雷达两者协同作用，互补不足，通过测量障碍物角度、距离、速度等数据融合，刻画无人机或无人车周边环境和可达空间范围。而融合后探测的可靠性，数据同步的问题，计算量大小，计算功耗以及融合所需时间等常常是数据融合时考虑的因素。
其中上述相机主要是指能够探测到障碍物深度数据的相机，比如双目相机、深度相机等；雷达主要是指能够探测到障碍物点云的雷达，比如激光雷达、毫米波雷达等。根据相机输出的数据(视差图)经过预处理后可以获得视觉点云并存储，而将雷达输出的数据(原始点云)经过预处理后可以得到稳定的更能表征障碍物的雷达跟踪点并存储。
维护单元220，适于根据所述视觉点云生成具有时间记忆性的三维概率栅格地图，按照生命周期存储所述雷达跟踪点。
根据至少一个生命周期时长的视觉点云维护生成具有时间记忆性的三维概率栅格地图，并且可存储上述雷达跟踪点至少一个生命周期时间，以便后续根据数据融合的需要，将存储的雷达跟踪点以图形或轨迹的形式在二维直方图上进行展示。
根据雷达的种类不同，维护生成的数据也不同，若是激光雷达，输出的点云量比较大，预处理后与相机的视觉点云一样，将该点云生成三维概率栅格地图；若是毫米波雷达，输出的原始点云量小，可将预处理后获得的跟踪点进行存储。
因此，若多传感器包括相机和激光雷达，维护生成的均是三维概率栅格地图；若多传感器包括相机和毫米波雷达，则维护生成三维概率栅格地图和以生命周期存储的雷达跟踪点。
其中，生命周期是指雷达跟踪点存续的时间，为保持雷达跟踪点的稳定性，一般设为4-5秒。三维概率栅格地图是利用点云绘制的尺度地图，经常用于地图构建、定位中，它将概率分布的概念引入地图构建中，从而解决点云噪音而导致的建图不准确以及点云量太大应用不便等问题，具体是通过判断某一点是否被占据的概率大小以及不同的颜色表示出障碍物的轮廓。
融合单元230，适于将所述三维概率栅格地图与存储的所述雷达跟踪点进行融合，生成二维直方图，供无人驾驶决策单元使用。
将生成的三维概率栅格地图和雷达跟踪点的图形或轨迹通过投影等方式放置到同一个二维的直方图中，实现上述数据的融合。
该实施例不仅可以解决现有融合方案中存在的没有地图记忆和卡尔曼滤波融合时权重不准确等问题，而且利用二维直方图进行数据融合的形式能够降低融合计算成本，且融合速度快，功耗少，可靠性高，便于后续的使用。
在一个实施例中，深度相机或双目相机的输出数据为视差图，而雷达的输出数据为雷达的原始雷达点云。
并且，由于相机视差图的数据量大，且不易融合，而雷达得到的雷达原始点云不规则也不稳定，在该实施例中对上述视差图和雷达原始点云进行滤波去噪处理，分别获得视觉点云和雷达跟踪点。
视差图的滤波主要包括图像中值滤波、降采样滤波等，原始雷达点云的滤波主要包括体素滤波、噪点滤波以及降采样滤波等。
在一个实施例中，所述维护单元220中根据所述视觉点云生成具有时间记忆性的三维概率栅格地图包括：根据贝叶斯公式和八叉树地图，将所述视觉点云转化为三维概率栅格地图。
根据实时避障需要，可根据相机的视差图获得视觉点云，然后根据至少一个生命周期的视觉点云绘制局部的三维概率栅格地图。具体地，可以依据贝叶斯公式以及八叉树地图，将无人驾驶设备行驶过程中获得的视觉点云转化为三维概率栅格地图。
点云是指在一个三维坐标系中的一组向量的集合，这些向量通常以X，Y，Z三维坐标的形式表示，一般主要代表一个物体的外表面几何形状。八叉树是将三维空间建模分割成许多的小方块，如果将每个小方块的每个面切成两片，那么这个小方块就会变成同样大小的八个小方块.将该步骤不断重复，直到最后的方块大小达到建模的最高精度。在该过程中，将从一个节点展开成八个子节点，整个空间从最大空间细分到最小空间，并且可以减小对存储空间的占用。利用八叉树结合贝叶斯公式可以将点云转化成概率栅格地图，从而用于建图、定位和导航。
当然，上述转化方式仅仅是举例，根据点云生成三维概率栅格地图的方式有很多，其他的生成方式也在本实施例的保护范围之内。
在一个实施例中，所述维护单元220中按照生命周期存储所述雷达跟踪点包括：根据所述雷达跟踪点与所述原始雷达点云之间的距离，确定所述雷达跟踪点的生命周期，然后按照所述生命周期的时长存储雷达跟踪点，并清理生命周期已结束的雷达跟踪点。
按照生命周期存储并维护雷达跟踪点包括，以毫米波跟踪点为可信点，并根据每个跟踪点周围的原始点云对跟踪点的生命周期进行管理。
Figure BDA0002417479700000111
其中ti为每个跟踪点对应的生命周期，Δt为每个满足距离要求的原始雷达点云对跟踪点生命周期的增加量，dist为距离阈值。
由上述公式可知，当雷达跟踪点满足距离阈值，则表明该雷达跟踪点的在该段时间内持续存在，从而确定其生命周期的长度，然后按照所述生命周期的时长存储雷达跟踪点，当数据融合完成后，需清理生命周期已结束的雷达跟踪点。
在一个实施例中，所述融合单元230适于：将所述三维概率栅格地图和存储的所述雷达跟踪点分别按照无人驾驶设备的视场角投影到同一个二维直方图，从而生成二维直方图形式的融合数据。
将三维概率栅格地图和雷达跟踪点按照无人驾驶设备的视场角向某一种形式的二维直方图上进行投影，例如将三维概率栅格地图和雷达跟踪点根据相机和雷达标定的结果投影在以无人驾驶设备为中心的世界坐标系或三维极坐标系中，然后将该世界坐标系或三维极坐标系中的三维概率栅格地图以及雷达跟踪点按照预设规则投影到二维直方图中。
在一个实施例中，所述二维直方图为二维极坐标直方图，所述二维极坐标直方图是根据以所述无人驾驶设备为原点的三维极坐标系投影生成的，所述二维极坐标直方图包括多个区块，各区块可分别标注有距离数据。
该实施例将极坐标直方图用于数据融合中，参见图5所示，二维极坐标直方图是以无人驾驶设备所在位置为球心将周围的空间按照经度和纬度两个方向以预设的角度划分，然后由划分出水平区域和竖直区域组成的二维直方图。图5中左图为三维球形方向的二维展开，其中水平和竖直的格子按照设定的角度分辨率进行划分，例如每隔6度划分出一个水平区域和竖直区域，形成阵列状的空格，从而将三维栅格地图按照二维极坐标直方图中的空格，每个空格对应了无人驾驶设备三维球形空间某一角度的区域，该三维球形空间是一种虚拟空间，球形半径并不代表实际的距离。
二维极坐标直方图中包括所述三维概率栅格地图或所述雷达跟踪点中无人驾驶设备和障碍物之间的距离数据，所述距离数据可标注在所述二维极坐标直方图的每个空格上。
在一个实施例中，所述融合单元230适于：根据相机的参数得到所述三维概率栅格地图在所述三维极坐标系的位置，然后将所述三维概率栅格地图投影到二维极坐标直方图上；根据雷达的标定矩阵得到所述雷达跟踪点在所述三维极坐标系的位置，然后将所述雷达跟踪点投影到二维极坐标直方图上。
在投影到二维极坐标直方图前，可以将三维概率栅格地图和雷达跟踪点投影到同一三维极坐标系中，根据它们在三维极坐标系下的方位将二维极坐标直方图的相应空格按照距离的远近填充深浅不同的颜色，障碍物距离无人机越近颜色越深，否则距离越远颜色越浅。
综上所述，本申请公开的数据融合方案包括：获取相机的输出数据和雷达的输出数据，对相机的输出数据进行预处理得到视觉点云，对雷达的输出数据进行预处理得到雷达跟踪点；根据视觉点云生成具有时间记忆性的三维概率栅格地图，按照生命周期存储雷达跟踪点；将三维概率栅格地图与存储的雷达跟踪点进行融合，生成二维直方图，供无人驾驶决策单元使用。上述方案实现了对相机和雷达的输出数据的预处理以及对预处理后获得数据在一个或多个生命周期内的维护管理，然后将维护后得到的相机的三维概率栅格地图和存储的雷达跟踪点以抽象的二维极坐标直方图的形式进行融合，保留了地图记忆避免了规划容易因为瞬时数据而导致局部最优的情况，简化了融合方法，不用细化到目标级障碍物的匹配以及调节不同传感器的融合权重问题，并且便于后续无人驾驶决策单元的检索和利用。
需要说明的是：
在此提供的“无人驾驶设备”包括在地面上行驶的设备(例如汽车，卡车，公交车等)，但也可以包括在空中行驶的设备(例如无人机，飞机，直升机等)，在水上行驶的设备(例如船，潜艇等)。此外，申请中的一个或多个“设备”可以在其中容纳或不容纳一个或多个乘客。申请涉及的无人驾驶设备可以应用于无人配送比如快递物流，或外卖送餐等领域。
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个申请方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，申请方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的数据融合装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
例如，图3示出了根据本申请一个实施例的无人驾驶设备的结构示意图。该无人驾驶设备300包括处理器310和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器320。存储器320可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器320具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码331的存储空间330。例如，用于存储计算机可读程序代码的存储空间330可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码331。计算机可读程序代码331可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图4所述的计算机可读存储介质。图4示出了根据本申请一个实施例的计算机可读存储介质的结构示意图。该计算机可读存储介质400存储有用于执行根据本申请的方法步骤的计算机可读程序代码331，可以被无人驾驶设备300的处理器310读取，当计算机可读程序代码331由无人驾驶设备300运行时，导致该无人驾驶设备300执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码331可以执行上述任一实施例中示出的方法。计算机可读程序代码331可以以适当形式进行压缩。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (9)

1.一种数据融合方法，包括：
获取相机的输出数据和雷达的输出数据，对相机的输出数据进行预处理得到视觉点云，对雷达的输出数据进行预处理得到雷达跟踪点；
根据所述视觉点云生成具有时间记忆性的三维概率栅格地图，按照生命周期存储所述雷达跟踪点；
将所述三维概率栅格地图与存储的所述雷达跟踪点进行融合，生成二维直方图，供无人驾驶决策单元使用；
其中，所述二维直方图为二维极坐标直方图，所述二维极坐标直方图是根据以所述无人驾驶设备为原点的三维极坐标系投影生成的，所述二维极坐标直方图包括多个区块，各所述区块可分别标注有所述三维概率栅格地图或所述雷达跟踪点中无人驾驶设备和障碍物之间的距离数据。
2.如权利要求1所述的数据融合方法，其特征在于，所述相机的输出数据包括相机的视差图，所述雷达的输出数据包括雷达的原始雷达点云，所述预处理包括滤波去噪处理。
3.如权利要求1或2所述的数据融合方法，其特征在于，所述根据所述视觉点云生成具有时间记忆性的三维概率栅格地图包括：
根据贝叶斯公式和八叉树地图，将所述视觉点云转化为三维概率栅格地图。
4.如权利要求2所述的数据融合方法，其特征在于，所述按照生命周期存储所述雷达跟踪点包括：
根据所述雷达跟踪点与所述原始雷达点云之间的距离，确定所述雷达跟踪点的生命周期，然后按照所述生命周期存储雷达跟踪点，并清理生命周期已结束的雷达跟踪点。
5.如权利要求1所述的数据融合方法，其特征在于，所述将所述三维概率栅格地图与存储的所述雷达跟踪点进行融合，生成二维直方图包括：
将所述三维概率栅格地图和存储的所述雷达跟踪点分别按照无人驾驶设备的视场角投影到同一个二维直方图，从而生成二维直方图形式的融合数据。
6.如权利要求5所述的数据融合方法，其特征在于，所述生成二维直方图形式的融合数据包括：
根据相机的参数得到所述三维概率栅格地图在所述三维极坐标系的位置，然后将所述三维概率栅格地图投影到所述二维极坐标直方图上；
根据雷达的标定矩阵得到所述雷达跟踪点在所述三维极坐标系的位置，然后将所述雷达跟踪点投影到二维极坐标直方图上。
7.一种数据融合装置，包括：
预处理单元，适于获取相机的输出数据和雷达的输出数据，对相机的输出数据进行预处理得到视觉点云，对雷达的输出数据进行预处理得到雷达跟踪点；
维护单元，适于根据所述视觉点云生成具有时间记忆性的三维概率栅格地图，按照生命周期存储所述雷达跟踪点；
融合单元，适于将所述三维概率栅格地图与存储的所述雷达跟踪点进行融合，生成二维直方图，供无人驾驶决策单元使用；
其中，所述二维直方图为二维极坐标直方图，所述二维极坐标直方图是根据以所述无人驾驶设备为原点的三维极坐标系投影生成的，所述二维极坐标直方图包括多个区块，各所述区块可分别标注有所述三维概率栅格地图或所述雷达跟踪点中无人驾驶设备和障碍物之间的距离数据。
8.一种无人驾驶设备，其中，该无人驾驶设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1-6中任一项所述的数据融合方法。
9.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1-6中任一项所述的数据融合方法。
CN202010195590.3A 2020-03-19 2020-03-19 数据融合方法、装置、无人驾驶设备和可读存储介质 Active CN111257882B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010195590.3A CN111257882B (zh) 2020-03-19 2020-03-19 数据融合方法、装置、无人驾驶设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010195590.3A CN111257882B (zh) 2020-03-19 2020-03-19 数据融合方法、装置、无人驾驶设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN111257882A CN111257882A (zh) 2020-06-09
CN111257882B true CN111257882B (zh) 2021-11-19

Family

ID=70945956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010195590.3A Active CN111257882B (zh) 2020-03-19 2020-03-19 数据融合方法、装置、无人驾驶设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN111257882B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111796283B (zh) * 2020-07-13 2022-10-18 江苏恒澄交科信息科技股份有限公司 一种基于航线的毫米波雷达降噪方法
CN112924960B (zh) * 2021-01-29 2023-07-18 重庆长安汽车股份有限公司 目标尺寸实时检测方法、系统、车辆及存储介质
CN113671531A (zh) * 2021-07-30 2021-11-19 北京三快在线科技有限公司 激光雷达同步方法、装置、可读存储介质及无人驾驶设备
CN113777622B (zh) * 2021-08-31 2023-10-20 通号城市轨道交通技术有限公司 轨道障碍物辨识的方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298971A (zh) * 2014-09-28 2015-01-21 北京理工大学 一种3d点云数据中的目标识别方法
CN106056591A (zh) * 2016-05-25 2016-10-26 哈尔滨工业大学 一种融合光谱图像和激光雷达数据进行城市密度估计方法
CN107505644A (zh) * 2017-07-28 2017-12-22 武汉理工大学 基于车载多传感器融合的三维高精度地图生成系统及方法
CN109186625A (zh) * 2018-10-24 2019-01-11 北京奥特贝睿科技有限公司 智能车辆利用混合采样滤波进行精确定位的方法及系统
CN109581345A (zh) * 2018-11-28 2019-04-05 深圳大学 基于毫米波雷达的目标检测与跟踪方法及系统
CN110221603A (zh) * 2019-05-13 2019-09-10 浙江大学 一种基于激光雷达多帧点云融合的远距离障碍物检测方法
CN110361027A (zh) * 2019-06-25 2019-10-22 马鞍山天邦开物智能商务管理有限公司 基于单线激光雷达与双目相机数据融合的机器人路径规划方法
CN110579764A (zh) * 2019-08-08 2019-12-17 北京三快在线科技有限公司 深度相机和毫米波雷达的配准方法、装置、电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7181047B2 (en) * 1996-07-26 2007-02-20 Patrick Pirim Methods and apparatus for identifying and localizing an area of relative movement in a scene

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298971A (zh) * 2014-09-28 2015-01-21 北京理工大学 一种3d点云数据中的目标识别方法
CN106056591A (zh) * 2016-05-25 2016-10-26 哈尔滨工业大学 一种融合光谱图像和激光雷达数据进行城市密度估计方法
CN107505644A (zh) * 2017-07-28 2017-12-22 武汉理工大学 基于车载多传感器融合的三维高精度地图生成系统及方法
CN109186625A (zh) * 2018-10-24 2019-01-11 北京奥特贝睿科技有限公司 智能车辆利用混合采样滤波进行精确定位的方法及系统
CN109581345A (zh) * 2018-11-28 2019-04-05 深圳大学 基于毫米波雷达的目标检测与跟踪方法及系统
CN110221603A (zh) * 2019-05-13 2019-09-10 浙江大学 一种基于激光雷达多帧点云融合的远距离障碍物检测方法
CN110361027A (zh) * 2019-06-25 2019-10-22 马鞍山天邦开物智能商务管理有限公司 基于单线激光雷达与双目相机数据融合的机器人路径规划方法
CN110579764A (zh) * 2019-08-08 2019-12-17 北京三快在线科技有限公司 深度相机和毫米波雷达的配准方法、装置、电子设备

Also Published As

Publication number Publication date
CN111257882A (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
CN111257882B (zh) 数据融合方法、装置、无人驾驶设备和可读存储介质
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
US11651553B2 (en) Methods and systems for constructing map data using poisson surface reconstruction
CN111192295B (zh) 目标检测与跟踪方法、设备和计算机可读存储介质
CN113490863B (zh) 雷达辅助的单个图像三维深度重建
CN108509820B (zh) 障碍物分割方法及装置、计算机设备及可读介质
Hebel et al. Change detection in urban areas by object-based analysis and on-the-fly comparison of multi-view ALS data
US11120280B2 (en) Geometry-aware instance segmentation in stereo image capture processes
US11475678B2 (en) Lane marker detection and lane instance recognition
CN111209825B (zh) 一种用于动态目标3d检测的方法和装置
CN108470174B (zh) 障碍物分割方法及装置、计算机设备及可读介质
CN111247557A (zh) 用于移动目标物体检测的方法、系统以及可移动平台
CN112446227A (zh) 物体检测方法、装置及设备
CN117576652B (zh) 道路对象的识别方法、装置和存储介质及电子设备
CN117437512A (zh) 一种目标检测方法、装置、设备及可读存储介质
CN116310743A (zh) 确定膨胀策略的方法、装置、移动装置及存储介质
Rana et al. Comparative study of Automotive Sensor technologies used for Unmanned Driving
CN112651405B (zh) 目标检测方法及装置
CN115965847A (zh) 交叉视角下多模态特征融合的三维目标检测方法和系统
CN115359332A (zh) 基于车路协同的数据融合方法、装置、电子设备及系统
CN116863325A (zh) 一种用于多个目标检测的方法和相关产品
US20240087094A1 (en) Systems And Methods For Combining Multiple Depth Maps
CN113465614B (zh) 无人机及其导航地图的生成方法和装置
CN111414848B (zh) 一种全类别3d障碍物检测方法、系统和介质
CN117095382A (zh) 基于相机和雷达的障碍物检测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant