CN114529886B - 障碍物的确定方法、装置和系统 - Google Patents

障碍物的确定方法、装置和系统 Download PDF

Info

Publication number
CN114529886B
CN114529886B CN202210432804.3A CN202210432804A CN114529886B CN 114529886 B CN114529886 B CN 114529886B CN 202210432804 A CN202210432804 A CN 202210432804A CN 114529886 B CN114529886 B CN 114529886B
Authority
CN
China
Prior art keywords
obstacle data
obstacle
data
sensor
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210432804.3A
Other languages
English (en)
Other versions
CN114529886A (zh
Inventor
韩志华
史院平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhitu Technology Co Ltd
Original Assignee
Suzhou Zhitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Zhitu Technology Co Ltd filed Critical Suzhou Zhitu Technology Co Ltd
Priority to CN202210432804.3A priority Critical patent/CN114529886B/zh
Publication of CN114529886A publication Critical patent/CN114529886A/zh
Application granted granted Critical
Publication of CN114529886B publication Critical patent/CN114529886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明提供了一种障碍物的确定方法、装置和系统，该方法包括：异步采集传感器上传的初始障碍物数据；对多个视觉传感器上传的初始障碍物数据和多个毫米波雷达传感器上传的初始障碍物数据进行同步融合处理，得到次融合障碍物数据；对多个激光雷达传感器上传的初始障碍物数据进行时间同步处理、深度感知处理以及聚类处理，得到激光障碍物数据；对次融合障碍物数据和激光障碍物数据进行异步融合处理，得到最终障碍物数据。本发明采用混合式结构的多传感器融合方法来确定车辆附近的障碍物的信息，采用改进的异步传感器融合方法，结合定周期的伪同步融合方法，有效降低了计算的消耗，同时，为自动驾驶车辆提供了准确的和实时的障碍物感知信息。

Description

障碍物的确定方法、装置和系统
技术领域
本发明涉及自动驾驶技术领域，尤其是涉及一种障碍物的确定方法、装置和系统。
背景技术
自动驾驶对车身周围的障碍物感知比较依赖于异构多传感器的融合，而L3级以上自动驾驶所需的传感器不仅有异构的多种传感器如激光雷达、毫米波雷达和视觉传感器等，而且每种传感器的个数大多也不是单一的，每种传感器需要多个同种传感器，才能完成L3级以上自动驾驶车辆的360周身感知范围的覆盖。
目前，传统的传感器融合方法，主要分为两种：一种是同步融合，即等采样率同时采样，然后及时准确地将所有传感器的数据同时传输到融合中心进行融合估计；另一种则是异步融合，由于各种传感器采样时间不同而导致各传感器的数据在不同时刻到达中心处理器，中心处理器根据先来先处理原则进行融合估计。
而传统的两种方法都各有其缺点，如传统的同步融合需要各个传感器的采样率和采样时间相同，而目前除了同种传感器如视觉传感器可以进行统一的外部触发曝光和保持统一帧率采样，不同类型的传感器是无法做到等采样率同时采样的；而传统的异步融合，则没有考虑由于传感器的个数增多对中心处理器的算力消耗过多，导致中心处理器超负荷运行。
发明内容
基于此，本发明采用混合式结构的多传感器融合方法来确定车辆附近的障碍物的信息，采用改进的异步传感器融合方法，结合定周期的伪同步融合方法，有效地解决了异步融合方法中因传感器个数增多导致中心处理器算力消耗过多的情况，以及同步融合中对传感器等采样率同时采样的要求，从而可以应用在L3级以上自动驾驶车辆周身多达十几个传感器的融合感知中，为自动驾驶车辆提供准确的和实时的障碍物感知信息。
第一方面，本发明提供一种障碍物的确定方法，应用于车辆感知系统的处理器，处理器连接有传感器，该方法包括：异步采集传感器上传的初始障碍物数据，其中，传感器包括以下至少之一：视觉传感器、毫米波雷达传感器和激光雷达传感器；基于视觉传感器中的主视觉传感器的周期，对多个视觉传感器上传的初始障碍物数据和多个毫米波雷达传感器上传的初始障碍物数据进行同步融合处理，得到次融合障碍物数据；对多个激光雷达传感器上传的初始障碍物数据进行时间同步处理、深度感知处理以及聚类处理，得到激光障碍物数据；对次融合障碍物数据和激光障碍物数据进行异步融合处理，得到最终障碍物数据。
在可选的实施方式中，初始障碍物数据包括：障碍物的编号、横坐标、纵坐标、横向速度、纵向速度、加速度、类别、航向角、运动状态和形状，形状包括尺寸和轮廓；基于视觉传感器中的主视觉传感器的周期，对多个视觉传感器上传的初始障碍物数据和多个毫米波雷达传感器上传的初始障碍物数据进行同步融合处理，得到次融合障碍物数据的步骤，包括：确定视觉传感器中的主视觉传感器的周期为标准周期；基于标准周期，对除了主视觉传感器以外的其他的视觉传感器以及毫米波雷达传感器上传的初始障碍物数据进行位置补偿处理以及时间对齐处理，得到第一对齐障碍物数据；遍历计算各个第一对齐障碍物数据与预先获取的历史障碍物数据之间的欧氏距离，其中，欧氏距离包括圆形距离、横向矩形距离和纵向矩形距离；根据预先设置的波门门限和欧氏距离，确定第一关联匹配对，其中波门门限包括：圆形波门门限、横向矩形波门门限、纵向矩形波门门限；根据第一关联匹配对和历史障碍物数据，跟踪滤波处理当前的第一对齐障碍物数据，得到次融合障碍物数据。
在可选的实施方式中，基于下式和标准周期，对除了主视觉传感器以外的其他的视觉传感器以及毫米波雷达传感器上传的初始障碍物数据进行位置补偿处理以及时间对齐处理，得到第一对齐障碍物数据：
Figure M_220422170609686_686148001
其中，
Figure M_220422170609733_733911002
为传感器对应的第一对齐障碍物数据的位置数据，
Figure M_220422170609750_750052003
为传感器检测到的障碍物的速度，time为主视觉传感器的标准周期，dta为传感器与主视觉传感器之间的时间差的微变量。
在可选的实施方式中，基于下式遍历计算各个第一对齐障碍物数据与预先获取的历史障碍物数据之间的欧氏距离：
Figure M_220422170609781_781366001
；
Figure M_220422170609828_828209002
；
Figure M_220422170609859_859461003
；其中，d为圆形距离、dx为横向矩形距离，dy为纵向矩形距离；
Figure M_220422170609890_890676004
为开根号，fabs为取绝对值，x1、y1分别为历史障碍物数据中的位置数据的横坐标与纵坐标，x2、y2分别为第一对齐障碍物数据中的位置数据的横坐标与纵坐标。
在可选的实施方式中，激光雷达传感器上传的初始障碍物数据包括障碍物的点云数据；对多个激光雷达传感器上传的初始障碍物数据进行时间同步处理、深度感知处理以及聚类处理，得到激光障碍物数据的步骤，包括：对多个激光雷达传感器上传的点云数据进行时间同步处理、坐标系转换以及拼接处理，得到帧点云数据；对帧点云数据进行深度感知处理和聚类处理，得到分割障碍物数据；对分割障碍物数据进行跟踪滤波处理，得到激光障碍物数据。
在可选的实施方式中，对次融合障碍物数据和激光障碍物数据进行异步融合处理，得到最终障碍物数据的步骤，包括：基于预先获取的历史障碍物数据，对次融合障碍物数据和激光障碍物数据进行位置补偿处理以及时间对齐处理，得到第二对齐障碍物数据；计算第二对齐障碍物数据与历史障碍物数据之间的马氏距离，其中，马氏距离包括多个维度的状态量；根据预先设置的多尺度关联门限和马氏距离，确定第二关联匹配对，其中多尺度关联门限包括以下至少之一：距离门限、速度门限、边界框门限、类别门限和运动状态门限；根据第二关联匹配对和历史障碍物数据，跟踪滤波处理当前的第二对齐障碍物数据，得到最终障碍物数据。
在可选的实施方式中，基于下式计算第二对齐障碍物数据与历史障碍物数据之间的马氏距离：
Figure M_220422170609906_906351001
；其中，
Figure M_220422170609963_963484002
为多个维度的马氏距离，X为历史障碍物数据的状态量，Y为第二对齐障碍物数据的状态量，状态量是多维度的；角标T表示矩阵的转置，S表示归一化新息平方矩阵。
在可选的实施方式中，异步采集传感器上传的初始障碍物数据的步骤，包括：实时采集不同种类的传感器上传的初始障碍物数据，其中，不同的初始障碍物数据具有不同的采样频率和不同的采样时刻。
第二方面，本发明提供一种障碍物的确定装置，该装置包括：数据采集模块，用于异步采集传感器上传的初始障碍物数据，其中，传感器包括以下至少之一：视觉传感器、毫米波雷达传感器和激光雷达传感器；次融合模块，用于基于视觉传感器中的主视觉传感器的周期，对多个视觉传感器上传的初始障碍物数据和多个毫米波雷达传感器上传的初始障碍物数据进行同步融合处理，得到次融合障碍物数据；激光处理模块，用于对多个激光雷达传感器上传的初始障碍物数据进行时间同步处理、深度感知处理以及聚类处理，得到激光障碍物数据；主融合模块，用于对次融合障碍物数据和激光障碍物数据进行异步融合处理，得到最终障碍物数据。
第三方面，本发明提供一种障碍物的确定系统，系统用于执行上述任一项的障碍物的确定方法；该系统包括多种传感器、次融合中心、激光处理中心和主融合中心。
本发明实施例的有益效果如下：
本发明提供了一种障碍物的确定方法、装置和系统，该方法包括：异步采集传感器上传的初始障碍物数据，其中，传感器包括以下至少之一：视觉传感器、毫米波雷达传感器和激光雷达传感器；基于视觉传感器中的主视觉传感器的周期，对多个视觉传感器上传的初始障碍物数据和多个毫米波雷达传感器上传的初始障碍物数据进行同步融合处理，得到次融合障碍物数据；对多个激光雷达传感器上传的初始障碍物数据进行时间同步处理、深度感知处理以及聚类处理，得到激光障碍物数据；对次融合障碍物数据和激光障碍物数据进行异步融合处理，得到最终障碍物数据。本发明采用混合式结构的多传感器融合方法来确定车辆附近的障碍物的信息，采用改进的异步传感器融合方法，结合定周期的伪同步融合方法，有效地解决了异步融合方法中因传感器个数增多导致中心处理器算力消耗过多的情况，以及同步融合中对传感器等采样率同时采样的要求，从而可以应用在L3级以上自动驾驶车辆周身多达十几个传感器的融合感知中，为自动驾驶车辆提供准确的和实时的障碍物感知信息。
本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种障碍物的确定方法的流程图；
图2为本发明实施例提供的另一种障碍物的确定方法的流程图；
图3为本发明实施例提供的时空对齐的示意图；
图4为本发明实施例提供的对激光雷达传感器上传的数据进行处理的示意图；
图5为本发明实施例提供的混合式结构的异步融合方法的示意图；
图6为本发明实施例提供的车辆传感器安装示意图；
图7为本发明实施例提供的一种障碍物的确定装置的示意图；
图8为本发明实施例提供的一种障碍物的确定系统的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
自动驾驶对车身附近的障碍物的感知比较依赖于异构多传感器的融合，而L3级以上自动驾驶所需的传感器不仅有异构的多种传感器如激光雷达、毫米波雷达和视觉传感器等，而且每种传感器的个数大多也不是单一的，每种传感器需要多个同种传感器，才能完成L3级以上自动驾驶车辆的360周身感知范围的覆盖。
目前，传统的传感器融合方法，主要分为两种：一种是同步融合，即等采样率同时采样，然后及时准确地将所有传感器的数据同时传输到融合中心进行融合估计；另一种是异步融合，由于各种传感器采样时间不同而导致各传感器的数据在不同时刻到达中心处理器，中心处理器根据先来先处理原则进行融合估计。
而传统的两种方法都各有其缺点，如传统的同步融合需要各个传感器的采样率和采样时间相同，而目前除了同种传感器如视觉传感器可以进行统一的外部触发曝光和保持统一帧率采样，不同类型的传感器是无法做到等采样率同时采样的；而传统的异步融合，则没有考虑由于传感器的个数增多对中心处理器的算力消耗过多，导致中心处理器超负荷运行的问题。
因此，本发明采用混合式结构的多传感器融合方法和装置，采用改进的异步传感器融合方法，结合定周期的伪同步融合方法，有效地解决了异步融合方法中因传感器个数增多导致中心处理器算力消耗过多的情况，以及同步融合中对传感器等采样率同时采样的要求，从而可以应用在L3级以上自动驾驶车辆周身多达十几个传感器的融合感知中，为自动驾驶车辆提供准确的和实时的障碍物感知信息。
本发明的目的主要在于解决现有技术的缺点，一是现有传感器融合方法单一，大多只选用传统的同步融合方法或者异步融合方法中的一种；二是传统的同步或异步融合方法各有其缺点，传统的同步融合方法对各传感器的采样率和采样时间要求一致，而现在的硬件时间同步技术还不满足此要求，另外传统的异步融合方法随着传感器个数的增多，其算法对中心处理器的算力要求较高，甚至传感器个数较多的情况下会引起中心处理器计算超时，从而影响感知的实时性。
综上，采用改进的异步传感器融合方法，结合定周期的伪同步融合方法，可以应用在L3级以上自动驾驶车辆周身多达十几个传感器的融合感知中，为自动驾驶车辆提供准确的和实时的障碍物感知信息，保障自动驾驶车辆的安全运行。该技术应用于自动驾驶的应用场景中。
实施例一
首先，本发明实施例提供一种障碍物的确定方法，应用于车辆感知系统的处理器，处理器连接有传感器，如图1所示，该方法包括：
步骤S102，异步采集传感器上传的初始障碍物数据，其中，传感器包括以下至少之一：视觉传感器、毫米波雷达传感器和激光雷达传感器。
具体地，由于车辆上设置有多个不同型号、不同厂家、不同种类的传感器，所以不同的传感器一手采集的障碍物数据的频率、采集时间各不相同。在此，在开始采集障碍物的数据时，不关心每个传感器的频率和数据发送时间，产生一个数据就获取一个数据，这称为异步采集。
具体地，上述视觉传感器和毫米波雷达传感器采集的障碍物数据包括障碍物的ID、横坐标、纵坐标、横向速度、纵向速度、加速度、类别（比如，行人、自行车、两轮车、小轿车、卡车、公交车、其他等）、航向角、运动状态（运动、静止）、形状（形状包括尺寸和轮廓）等数据。不同的传感器所擅长采集的数据类型是不同的，比如，毫米波雷达传感器采集的障碍物的坐标比视觉传感器更加准确，但毫米波雷达传感器几乎无法判断障碍物的类别。因此，需要多个传感器配合工作来确定障碍物的信息。上述激光雷达传感器采集的障碍物数据为激光点云数据。
步骤S104，基于视觉传感器中的主视觉传感器的周期，对多个视觉传感器上传的初始障碍物数据和多个毫米波雷达传感器上传的初始障碍物数据进行同步融合处理，得到次融合障碍物数据。
具体地，上述视觉传感器指的是相机。不同的传感器具有不同的采样周期。上述“同步融合处理”又称为“伪同步+定周期处理”，本方案不是基于绝对时间进行的同步，而是基于某一个视觉传感器的周期（一个相对时间，即定周期）对一开始采集的初始障碍物数据进行的数据同步，这里是一个初步融合的过程，是在次融合中心进行的，后续还会进行在主融合中心再次融合（步骤S108），通过两次数据融合，能够降低处理器的计算压力，还能准确和实时获取障碍物的信息。本申请采用定周期的伪同步融合方法，可以不依赖于传统同步融合方法对传感器采样率和采样时间相同的条件，适用范围更广。
步骤S106，对多个激光雷达传感器上传的初始障碍物数据进行时间同步处理、深度感知处理以及聚类处理，得到激光障碍物数据。
具体地，上述时间同步是基于某一个激光雷达传感器的采样周期而进行的。深度感知处理是在卷积神经网络分割子模块（即CNNSeg）中进行的，采用的是一种采用深度学习的方法；聚类处理是在规范化切割子模块（即NCut，Normalized Cut）中进行的，采用的是一种点云聚类算法。
具体地，上述激光雷达传感器上传的初始障碍物数据是多个激光雷达传感器采集的点云数据，本申请采用点云融合的方法处理多激光雷达数据，可以减少多个激光的数据处理对算力的消耗。
步骤S108，对次融合障碍物数据和激光障碍物数据进行异步融合处理，得到最终障碍物数据。
具体地，上述次融合障碍物数据和激光障碍物数据是异步采集的，这一步是在主融合中心，对缓存的两个来源的障碍物数据按照先来先处理原则，进行异步融合处理，进而得到准确和实时的最终障碍物数据。
本发明是基于混合式结构（主融合中心+次融合中心）的多传感器的融合方法，采用定周期的伪同步融合方法和改进的异步融合方法相结合，具体做法是：首先，异步获取安装在自动驾驶车辆不同位置的多个毫米波雷达以及多个视觉传感器的障碍物数据；然后，在次融合中心，将多个毫米波雷达和多个视觉传感器进行伪同步融合，即在一个固定周期内收集完所有毫米波雷达和视觉传感器的数据，而后进行伪同步融合，得到障碍物感知信息（即次融合障碍物数据）；同时，异步获取所有激光雷达的点云数据，以选定的主激光雷达传感器为参考，将其它激光雷达传感器采集的激光点云信息转换到与主激光雷达传感器的坐标系一致，即对所有激光雷达传感器的点云进行融合，而后进行点云数据处理得到障碍物感知信息（即激光障碍物数据）；最后，在主融合中心，对接收到的激光障碍物感知信息（即激光障碍物数据）和毫米波雷达视觉伪同步融合感知信息（即次融合障碍物数据），按照先来先处理原则，进行异步融合处理，进而得到准确和实时的障碍物感知信息。本发明采用混合式结构的多传感器融合方法来确定车辆附近的障碍物的信息，采用改进的异步传感器融合方法，结合定周期的伪同步融合方法，有效地解决了异步融合方法中因传感器个数增多导致中心处理器算力消耗过多的情况，以及同步融合中对传感器等采样率同时采样的要求，从而可以应用在L3级以上自动驾驶车辆周身多达十几个传感器的融合感知中，为自动驾驶车辆提供准确的和实时的障碍物感知信息。
实施例二
本发明实施例提供另一种障碍物的确定方法，如图2所示，该方法包括：
步骤S202，实时采集不同种类的传感器上传的初始障碍物数据，其中，不同的初始障碍物数据具有不同的采样频率和不同的采样时刻。
具体地，异步获取的是当前收到的各种传感器测量的障碍物数据，数据可能来自不同安装位置处的视觉识别得到的障碍物数据，也有可能是不同安装位置处的毫米波雷达的障碍物数据；另外，不同种类以及同一种类不同品牌的传感器的数据频率不一，以及采样的时间点也不同。
同时，还异步获取多激光雷达传感器的点云数据，数据可能来自不同安装位置处的激光雷达传感器识别得到的障碍物数据，同时，不同种类以及同一种类不同品牌的传感器的数据频率不一，以及采样的时间点也不同。
具体地，障碍物数据包括但不限于：障碍物的编号、横坐标、纵坐标、横向速度、纵向速度、加速度、类别、航向角、运动状态、形状（比如尺寸、轮廓）等。
步骤S204，确定视觉传感器中的主视觉传感器的周期为标准周期。
具体地，上述步骤是在次融合中心进行的，选定主视觉传感器的操作是人为预先设置好的。
步骤S206，基于标准周期，对除了主视觉传感器主视觉传感器以外的其他的视觉传感器以及毫米波雷达传感器上传的初始障碍物数据进行位置补偿处理以及时间对齐处理，得到第一对齐障碍物数据。
具体地，在次融合中心，以选定的主视觉传感器的周期为融合周期，在一个标准周期内分别保存多个视觉传感器和多个毫米波雷达的障碍物感知数据，当主视觉传感器的数据到来时，进行一次伪同步融合，具体伪同步融合步骤如下：
对除了主视觉传感器以外的其他的视觉传感器以及毫米波雷达传感器的时空对齐到主视觉传感器上。基于下式和标准周期，对除了主视觉传感器以外的其他的视觉传感器以及毫米波雷达传感器上传的初始障碍物数据进行位置补偿处理以及时间对齐处理（即时空对齐），得到第一对齐障碍物数据：
Figure M_220422170609995_995183001
其中，
Figure M_220422170610042_042046001
为传感器对应的第一对齐障碍物数据的位置数据，
Figure M_220422170610057_057684002
为传感器检测到的障碍物的速度，time为主视觉传感器的标准周期，dta为目标传感器（比如图3的相机2、雷达1或者雷达2）与主视觉传感器之间的时间差的微变量。
再具体地，图3为时空对齐的示意图，以图3所示的2个相机（即视觉传感器）和2个雷达举例说明，以相机1为主视觉传感器，标准周期为100ms，在t到（t+100）ms的周期内，在次融合中心，分别将雷达1、雷达2和相机2分别对齐到相机1的时空上，计算方法如下：
雷达1的障碍物的位置对齐后为：S1(t)=S1(t)+V1(t)×(100–dt1)（2）；
雷达2的障碍物的位置对齐后为：S2(t)=S2(t)+V2(t)×(100–dt2)（3）；
相机2的障碍物的位置对齐后为S3(t)=S3(t)+V3(t)×(100–dt3)（4）。
具体地，统一多个传感器的时间到（t+100）ms，因此需要补上时间差内的位置，S是指位置，V是速度，100ms是主视觉传感器的周期，以该周期作为伪同步融合的周期，S1、S2、S3均为第一对齐障碍物数据。
步骤S208，遍历计算各个第一对齐障碍物数据与预先获取的历史障碍物数据之间的欧氏距离，其中，欧氏距离包括圆形距离、横向矩形距离和纵向矩形距离。
具体地，上述历史障碍物数据包括历史（即上个融合周期）融合得到的障碍物数据，包括障碍物的编号、横坐标、纵坐标、横向速度、纵向速度、加速度、类别、航向角、运动状态、形状等。计算欧氏距离是遍历所有视觉传感器和毫米波雷达传感器的障碍物位置，分别计算其与历史障碍物数据的位置信息之间的物理距离。
具体地，基于下式遍历计算各个第一对齐障碍物数据与预先获取的历史障碍物数据之间的欧氏距离：
Figure M_220422170610088_088917001
（5）；
Figure M_220422170610120_120169001
（6）；
Figure M_220422170610152_152902001
（7）；
其中，d为圆形距离、dx为横向矩形距离，dy为纵向矩形距离；
Figure M_220422170610168_168518001
为开根号，fabs为取绝对值，x1、y1分别为历史障碍物数据中的位置数据的横坐标与纵坐标，x2、y2分别为第一对齐障碍物数据中的位置数据的横坐标与纵坐标。
步骤S210，根据预先设置的波门门限和欧氏距离，确定第一关联匹配对，其中波门门限包括：圆形波门门限、横向矩形波门门限、纵向矩形波门门限。
具体地，上述过程为：根据计算出的欧氏距离中的圆形距离与预先设定的圆形波门门限，初次判断过滤掉圆形波门外的数据，而后再分别根据设定的矩形波门门限中的横向矩形波门门限、纵向矩形波门门限，分别与横向矩形距离、纵向矩形距离对比，再次过滤掉矩形波门外的数据，最后根据目标的运动状态（静止目标不能和运动目标关联），确定最终的关联匹配对。在此，运动状态是辅助条件，即如果前面的距离条件都满足预设的门限值，但一个是运动的目标，另一个是静止的目标，那这两个目标就不能判断为同一个目标，即不是关联匹配对。关联，指的就是指传感器检测的障碍物（即第一对齐障碍物数据对应的障碍物）与次融合中心航迹障碍物（即历史障碍物数据对应的障碍物）进行关联的过程，根据两者的距离属性和其他属性等，判断是否为同一个障碍物（关联的动作到此结束）。若是则关联上，接着才会将传感器的障碍物数据作为测量数据，去更新次融合中心航迹障碍物的数据（即这一步是去更新历史障碍物数据），以此类推。
步骤S212，根据第一关联匹配对和历史障碍物数据，跟踪滤波处理当前的第一对齐障碍物数据，得到次融合障碍物数据。
具体地，上述步骤具体为：根据关联匹配对和传感器的种类，得到当前的综合后的障碍物的测量数据，然后运用标准的卡尔曼滤波算法，对当前综合后的障碍物的测量数据和上个周期次融合中心的航迹障碍物数据（即历史障碍物数据），进行跟踪滤波处理，得到最终多视觉和多毫米波雷达伪同步融合后的障碍物数据（即次融合障碍物数据）。
具体地，确定当前的综合后的障碍物的测量数据的原则如下：
1、若同时有毫米波雷达和视觉传感器的障碍物数据，则优先选择毫米波的位置和速度作为位置和速度的测量值，则选择视觉传感器的类别作为类别的测量值；
2、若只有毫米波雷达的障碍物数据，则优先选择毫米波的位置和速度作为位置和速度的测量值，类别沿用上个周期次融合中心的航迹数据，若为航迹首次创建，则依据毫米波的宽度计算其类别，且创建航迹时只选择毫米波雷达中动态障碍物；
3、若只有视觉传感器的障碍物数据，优先选择视觉类别作为类别的测量值，若航迹有历史毫米波雷达测量数据关联匹配过，则位置和速度使用历史毫米波的测量数据，否则，则全部选用视觉传感器的测量数据。
具体地，上述障碍物的类别包括：行人、自行车、两轮车、小轿车、卡车、公交车、其他等，一开始，可以给每个种类进行编号处理，比如，0-unknow,1-car,2-truck,3-bus,4-pedestrian,5-cyclist。
步骤S214，对多个激光雷达传感器上传的点云数据进行时间同步处理、坐标系转换以及拼接处理，得到帧点云数据。
具体地，上述激光雷达传感器上传的初始障碍物数据包括障碍物的点云数据。如图4所示，对多个激光雷达传感器（即Lidar）上传点云数据就进行处理的分别是点云拼接子模块（即Joint，对应步骤S214）、卷积神经网络分割子模块（即CNNSeg，对应步骤S216）、传统分割子模块（即NCut，对应步骤S216）以及跟踪滤波子模块（即Tracking,对应步骤S218）。
具体地，上述步骤为：首先，点云拼接子模块接收各激光雷达传感器上传的点云数据，首先对各点云数据进行时间同步，同步后的各激光点云坐标分别根据外参转换到自车坐标系，最后在自车坐标系下将多个激光雷达传感器的点云拼接为一帧点云，并输出到后续的分割子模块。
步骤S216，对帧点云数据进行深度感知处理和聚类处理，得到分割障碍物数据。
具体地，上述步骤为：深度学习感知子模块（即CNNSeg子模块，卷积神经网络分割子模块）接收拼接后的点云数据（即帧点云数据），采用CNNSeg算法检测出障碍物信息，包括障碍物的位置、朝向、形状、类型；接下来，CNNSeg子模块还会调用NCut子模块（即传统分割子模块），将去除地面点和障碍物点的点云数据发送到NCut子模块，待NCut检测完成后，将两种算法的检测结果（即分割障碍物数据）合并发送到后续的跟踪滤波子模块。
具体地，NCut子模块由CNNSeg子模块调用，可以通过配置文件选择不调用；NCut子模块收到经过CNNSeg过滤的点云，采用NCut方法对点云做分割，并返回目标检测结果，包括位置、朝向、形状，由CNNSeg子模块合并后发送到跟踪子模块。另外NCut子模块还包括地面分割、ROI过滤、挂车角度检测记挂车滤除等功能。
具体地，CNNSeg是卷积神经网络分割子模块，为采用深度学习的方法，NCut（Normalized Cut）是规范化切割子模块，是一种点云聚类算法。由于CNNSeg方法会漏检，所以需要NCut子模块进行完善，NCut是对CNNSeg未使用过的点云，再进行传统聚类算法。点云数据需要进行聚类处理，才能得到障碍物的信息（位置、速度、加速度等），本申请运用了CNNSeg算法、传统NCut结合的2种聚类方法，得到了更加准确的障碍物数据。
步骤S218，对分割障碍物数据进行跟踪滤波处理，得到激光障碍物数据。
具体地，在对障碍物进行跟踪滤波处理时，随障碍物的位置信息不进行滤波，只对障碍物的速度和加速度进行滤波，滤波算法采用标准的卡尔曼滤波算法，前景障碍物的速度，通过计算单位时间的位移获得，再通过卡尔曼滤波进行平滑优化。在此，背景障碍物的速度全部设置为0。
步骤S220，基于预先获取的历史障碍物数据，对次融合障碍物数据和激光障碍物数据进行时间对齐处理，得到第二对齐障碍物数据。
具体地时间对齐方法，现有的常用软件做法，就是直接用位置补偿方法来实现时间对齐；现有的硬件做法，就是传感器触发同时产生数据来实现时间对齐（一般应用于机械激光雷达传感器和视觉传感器的时间对齐）。本申请采用改进的软件做法对障碍物数据进行时间对齐，因为依靠现有的技术难以实现所有传感器的时间对齐。
具体地，本申请是异步接收和缓存激光障碍物数据，以及毫米波雷达和视觉伪同步融合后的障碍物感知数据（即次融合障碍物数据），即在进入异步融合算法之前，将车身所有传感器分为了两大来源，将所有传感器上传的障碍物数据都统一在同一坐标系下。
具体地，上述步骤为在主融合中心，按异步融合的先来先处理原则，分别获取当前到来的传感器测量数据（即次融合障碍物数据和激光障碍物数据）的时间戳和上次主融合中心跟踪目标（即历史障碍物数据）的时间戳，以上次主融合中心跟踪目标的时间戳为定周期，计算得到时间差dt；而后，利用主融合中心跟踪目标的速度v，去与时间差dt相乘得到时间差内的位置偏差ds；最后，将融合中心所有跟踪目标的位置s，加上计算得到的位置偏差ds，即可得到第二对齐障碍物数据，具体原理与图3所示的原理相同。这一过程也称为跟踪目标位置补偿过程（也称为时间对齐、时空对齐）。
步骤S222，计算第二对齐障碍物数据与历史障碍物数据之间的马氏距离，其中，马氏距离包括多个维度的状态量。
具体地，基于下式计算第二对齐障碍物数据与历史障碍物数据之间的马氏距离：
Figure M_220422170610199_199776001
；
其中，
Figure M_220422170610246_246629001
为多个维度的马氏距离，X为历史障碍物数据的状态量，Y为第二对齐障碍物数据的状态量，状态量是多维度的；角标T表示矩阵的转置，S表示归一化新息平方矩阵。
具体地，当某一传感器数据（即第二对齐障碍物数据）与主融合航迹（即历史障碍物数据）进行关联时，根据传感器编号判断主融合航迹在上一时刻是否与该传感器的数据产生关联。如果是，将上一时刻关联上的该传感器障碍物信息推算到当前时刻，计算观测值与推算值的马氏距离。同时，计算观测值与融合航迹之间的马氏距离，取两个马氏距离中最小的一个进行后续计算。
具体地，在次融合中心计算欧氏距离时，只是计算的障碍物之间的物理距离（因为次融合中心只有视觉传感器和毫米波雷达传感器，视觉传感器的检测速度相对毫米波雷达传感器的检测速度，有时会相差比较大，而在主融合中心，因为历史障碍物数据中包含有毫米波雷达传感器以及激光雷达传感器的数据，所以速度的稳定性、可信度较高，因此会计算马氏距离）；而在主融合中心计算马氏距离时，是分别计算障碍物之间的多个维度的状态量的差异，比如，从速度、加速度、运动状态、距离等多方面计算，再利用全局最近邻算法和多尺度关联门限，从而确定第二关联匹配对。
步骤S224，根据预先设置的多尺度关联门限和马氏距离，确定第二关联匹配对，其中多尺度关联门限包括以下至少之一：距离门限、速度门限、边界框门限、类别门限和运动状态门限。
具体地，上述步骤又可以表述为：根据全局最近邻算法和多尺度关联门限设置，对计算得到的马氏距离、横纵向距离、速度差异、类别差异等信息进行计算判断，确定第二关联匹配对。马氏距离可以是多个维度的状态量的差异，包括物理距离、速度差异、类别差异等。通过多尺度的比较，可以提高匹配的准确率。
具体地，上述第二关联匹配对指的是第二对齐障碍物数据对应的障碍物与历史障碍物数据对应的障碍物组成的一对数据。
具体地，确定第二关联匹配对的过程包括以下内容：
1）根据边界框门限确定第二关联匹配对。
即是，判断观测目标与融合障碍物的边界框是否重叠。根据障碍物的中心位置和尺寸计算障碍物边界矩形框的四个角点。判断两个矩形框是否重叠的方法包括用射线法判断其中一个矩形框的点是否在另一个矩形框内和两个矩形是否有交点。如果有交点，才有可能组成第二关联匹配对，否则，不进行关联。
2）根据物理距离确定第二关联匹配对。
根据障碍物的类别设定横纵向关联阈值。如果传感器为激光雷达和毫米波雷达，或者融合航迹上一时刻匹配上了毫米波雷达或者激光雷达的数据，则横纵向阈值为常数。如大车的横向阈值为2.5m，纵向阈值为8m。汽车的横向阈值为2m，纵向为4.5m。非机动车横向阈值为1.6m，纵向为3.5m。未知障碍物的横向阈值为2m，纵向阈值为4m。
如果传感器数据来源于视觉，或者融合航迹只与视觉数据匹配上，则设定动态的横纵向阈值。具体为：
Figure M_220422170610277_277878001
（9）
其中，
Figure M_220422170610371_371624001
表示横向阈值，
Figure M_220422170610387_387281002
表示纵向阈值，k1、k2、b、p1、p2、c为常数，x为融合航迹的横向坐标（即第二对齐障碍物数据对应的融合航迹的位置数据的横坐标），y为融合航迹的纵向坐标（即第二对齐障碍物数据对应的融合航迹的位置数据的纵坐标）。如果用公式（9）计算得到的横向阈值在预设的阈值范围内，则才有可能组成第二关联匹配对，否则，不进行关联。
3）根据速度确定第二关联匹配对。
比如，运动障碍物与静止障碍物不进行关联：
具体地，如运动障碍物速度阈值为4m/s，静止障碍物速度阈值为0.5m/s，当观测数据与融合障碍物速度一个大于运动的速度阈值，一个小于静止的速度阈值，则不进行关联。
速度差异过大的观测数据和融合障碍物不进行关联：
当观测数据来自于毫米波雷达或者激光雷达，且融合障碍物关联上毫米波雷达或者激光雷达，当观测数据与融合障碍物的速度差异大于5m/s，则不进行关联，防止关联后对融合障碍物的速度产生影响。
步骤S226，根据第二关联匹配对和历史障碍物数据，跟踪滤波处理当前的第二对齐障碍物数据，得到最终障碍物数据。
具体地，上述步骤即是在进行第二次关联匹配后，运用标准的卡尔曼滤波算法，对当前测量值的点迹（即第二对齐障碍物数据对应的障碍物的位置数据的点迹）和上个周期主融合中心的航迹数据（即历史障碍物数据对应的障碍物的位置数据的航迹（融合后的数据叫航迹））），进行跟踪滤波处理，得到最终异步融合后的障碍物数据，具体内容如下：
1）运动状态属性判断，方法是首先计算传感器测量的障碍物目标与自车的相对运动状态(相对转弯状态还是直行状态)，传感器速度置信度（置信度就是数值的可信任程度，一般为0-1的值）的计算（前后相差较大置信度为零），以及目标的动静态属性，如果是静态目标，则不进行下一步，否则进行下一步。
2）运动融合，即用各个传感器测量值去更新融合中心障碍物数据（即更新历史障碍物数据），融合后得到比较全面和准确的障碍物数据。具体是：首先更新滤波器转换矩阵和过程噪声矩阵，进行当前时刻运动状态的预测，而后更新测量噪声矩阵；接着，判断传感器类型选择不同的方法计算传感器伪测量值（对传感器测量值进行修正），如果速度置信度为零，则选用预测值，如果速度置信度不为零，则进行下一步计算伪测量值，也叫测量值修正计算。
3）计算伪测量值，主要是修正测量的速度的大小和方向，修正以后再进行卡曼滤波，用测量值更新历史数据。方法是：障碍物相对自车为同向或者相向运动场景，对于当前测量数据来自激光雷达或者视觉传感器时，判断速度测量值与历史帧最接近的毫米波雷达测量值的差异，如果大小和方向角度都小于设定阈值，或者没有历史帧最接近的毫米波雷达测量值，则使用当前传感器测量的速度值；否则，使用历史帧最接近的毫米波雷达速度值作为当前测量值。障碍物相对自车在转弯场景,对于当前测量数据来自毫米波雷达或者视觉传感器时，对比毫米波雷达或者视觉传感器的障碍物速度与历史帧最接近的激光雷达障碍物速度方向的差异，如果大小和方向都小于设定阈值，或者没有历史帧最接近的激光雷达测量值，则使用当前测量速度值；否则，保持毫米波雷达或者视觉传感器的速度的大小不变，并将方向变换到激光的速度方向。
4）运动状态更新，方法是使用自适应变换更新测量噪声矩阵，接着计算增益矩阵而后更新运动状态（位置、速度、加速度），最后更新状态协方差矩阵。
5）形状信息融合，根据障碍物的航向角和尺寸信息，重新计算目标框的4个顶点，若航向角不相同，目标框可能是横着或竖着（俯视图看）。具体是：首先判断目标是否静止，若是静止，保持形状大小不变，否则，接着判断当前传感器类别是否是激光雷达，若是，更新融合跟踪目标的航向角为激光雷达检测到的航向角并以此更新形状信息；若当前传感器类别是视觉并且最近没有历史帧激光雷达检测数据，则更新融合跟踪目标的航向角为视觉检测到的航向角并以此更新形状信息，否则不更新；若当前传感器类别是毫米波雷达并且最近没有历史帧激光雷达检测数据也没有历史帧视觉数据，则更新融合跟踪目标的航向角为毫米波检测到的航向角并以此更新形状信息，否则不更新。
6）类型信息融合，方法是首先判断当前传感器类别是否是视觉传感器，若是，更新融合跟踪目标的类别为视觉检测到的类别；若当前传感器类别是激光雷达且最近没有视觉历史帧数据，则更新融合跟踪目标的类别为激光雷达检测到的类别；若当前传感器类别是毫米波雷达且最近没有视觉和激光雷达的历史帧数据，则更新融合跟踪目标的类别为激光检测到的类别；最后对行人的类型利用身高限制（1~2.2米）和运动限制（3m/s）进行校核，若超出，则重新设置类型为unknown，并更新类型置信度信息。
7）其他信息融合，方法是更新融合跟踪航迹的时间戳、历史跟踪时长、历史轨迹、历史航向角信息、每个传感器的补充信息、传感器历史信息等。
本发明的有益效果如下：
第一，采用定周期（以主传感器的周期为标准）的伪同步融合方法，可以不依赖于传统同步融合方法对传感器采样率和采样时间相同的条件。
第二，采用混合式结构的异步融合方法（如图5所示，重点是主融合中心和次融合中心配合进行数据处理），可以避免传统的异步融合方法由于传感器的个数增多对中心处理器的算力消耗过多，以致中心处理器超负荷运行的问题。
第三，采用了多尺度的关联门限（比如从速度、加速度、位置、类别等各个尺度）进行关联匹配计算，可以有效减少误关联，提高关联跟踪的准确度；
第四，采用点云融合的方法处理多激光雷达数据（如图4所示），可以减少多个激光的数据处理对算力的消耗。
本发明所达到的有益效果为：基于混合式结构（即主融合中心+次融合中心结合）的多传感器的融合方法，采用定周期的伪同步融合方法和改进的异步融合方法相结合，有效地解决了异步融合方法中因传感器个数增多导致中心处理器算力消耗过多的情况，以及同步融合中对传感器等采样率同时采样的要求，从而可以应用在自动驾驶车辆周身多达十几个传感器的融合感知中，为自动驾驶车辆提供准确的和实时的障碍物感知信息，如图6所示，为车辆传感器安装示意图。
本发明充分利用了传感器的优劣势，以及考虑了自动驾驶算法的算力需求，并结合自动驾驶应用场景复杂化，为自动驾驶车辆感知提供了一种准确稳定的障碍物位置和速度，保障自动驾驶车辆的安全和稳定运行。
实施例三
本发明实施例提供一种障碍物的确定装置，如图7所示，该装置包括：
数据采集模块71，用于异步采集传感器上传的初始障碍物数据，其中，传感器包括以下至少之一：视觉传感器、毫米波雷达传感器和激光雷达传感器。
次融合模块72，用于基于视觉传感器中的主视觉传感器的周期，对多个视觉传感器上传的初始障碍物数据和多个毫米波雷达传感器上传的初始障碍物数据进行同步融合处理，得到次融合障碍物数据。
激光处理模块73，用于对多个激光雷达传感器上传的初始障碍物数据进行时间同步处理、深度感知处理以及聚类处理，得到激光障碍物数据。
主融合模块74，用于对次融合障碍物数据和激光障碍物数据进行异步融合处理，得到最终障碍物数据。
本发明实施例所提供的障碍物的确定装置，其实现原理及产生的技术效果和前述的障碍物的确定方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
实施例四
本发明实施例提供一种障碍物的确定系统，该系统用于执行前述实施方式任一项的障碍物的确定方法。
如图8所示，该障碍物的确定系统80包括多种传感器81、次融合中心82、激光处理中心83和主融合中心84。
本发明实施例所提供的障碍物的确定系统，其实现原理及产生的技术效果和前述的障碍物的确定方法实施例相同，为简要描述，系统实施例部分未提及之处，可参考前述方法实施例中相应内容。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种障碍物的确定方法，其特征在于，应用于车辆感知系统的处理器，所述处理器连接有传感器，所述方法包括：
异步采集所述传感器上传的初始障碍物数据，其中，所述传感器包括以下至少之一：视觉传感器、毫米波雷达传感器和激光雷达传感器；
基于所述视觉传感器中的主视觉传感器的周期，对多个所述视觉传感器上传的初始障碍物数据和多个所述毫米波雷达传感器上传的初始障碍物数据进行同步融合处理，得到次融合障碍物数据；
对多个所述激光雷达传感器上传的初始障碍物数据进行时间同步处理、深度感知处理以及聚类处理，得到激光障碍物数据；
对所述次融合障碍物数据和所述激光障碍物数据进行异步融合处理，得到最终障碍物数据；
所述初始障碍物数据包括：障碍物的编号、横坐标、纵坐标、横向速度、纵向速度、加速度、类别、航向角、运动状态和形状，所述形状包括尺寸和轮廓；
基于所述视觉传感器中的主视觉传感器的周期，对多个所述视觉传感器上传的初始障碍物数据和多个所述毫米波雷达传感器上传的初始障碍物数据进行同步融合处理，得到次融合障碍物数据的步骤，包括：
确定所述视觉传感器中的主视觉传感器的周期为标准周期；
基于所述标准周期，对除了所述主视觉传感器以外的其他的所述视觉传感器以及所述毫米波雷达传感器上传的所述初始障碍物数据进行位置补偿处理以及时间对齐处理，得到第一对齐障碍物数据；
遍历计算各个所述第一对齐障碍物数据与预先获取的历史障碍物数据之间的欧氏距离，其中，所述欧氏距离包括圆形距离、横向矩形距离和纵向矩形距离；
根据预先设置的波门门限和所述欧氏距离，确定第一关联匹配对，其中所述波门门限包括：圆形波门门限、横向矩形波门门限、纵向矩形波门门限；
根据所述第一关联匹配对和所述历史障碍物数据，跟踪滤波处理当前的所述第一对齐障碍物数据，得到所述次融合障碍物数据。
2.根据权利要求1所述的方法，其特征在于，基于下式和所述标准周期，对除了所述主视觉传感器以外的其他的所述视觉传感器以及所述毫米波雷达传感器上传的所述初始障碍物数据进行位置补偿处理以及时间对齐处理，得到第一对齐障碍物数据：
Figure M_220610152648379_379713001
其中，
Figure M_220610152648536_536007001
为所述传感器对应的所述第一对齐障碍物数据的位置数据，
Figure M_220610152648617_617524002
为所述传感器检测到的障碍物的速度，time为所述主视觉传感器的标准周期，dta为所述传感器与所述主视觉传感器之间的时间差的微变量。
3.根据权利要求1所述的方法，其特征在于，基于下式遍历计算各个所述第一对齐障碍物数据与预先获取的历史障碍物数据之间的欧氏距离：
Figure M_220610152648648_648754001
；
Figure M_220610152648726_726899001
；
Figure M_220610152648765_765491001
；
其中，d为所述圆形距离、dx为所述横向矩形距离，dy为所述纵向矩形距离；
Figure M_220610152649017_017892001
为开根号，fabs为取绝对值，x1、y1分别为所述历史障碍物数据中的位置数据的横坐标与纵坐标，x2、y2分别为所述第一对齐障碍物数据中的位置数据的横坐标与纵坐标。
4.根据权利要求1所述的方法，其特征在于，所述激光雷达传感器上传的初始障碍物数据包括障碍物的点云数据；
对多个所述激光雷达传感器上传的初始障碍物数据进行时间同步处理、深度感知处理以及聚类处理，得到激光障碍物数据的步骤，包括：
对多个所述激光雷达传感器上传的所述点云数据进行时间同步处理、坐标系转换以及拼接处理，得到帧点云数据；
对所述帧点云数据进行深度感知处理和聚类处理，得到分割障碍物数据；
对所述分割障碍物数据进行跟踪滤波处理，得到所述激光障碍物数据。
5.根据权利要求1所述的方法，其特征在于，对所述次融合障碍物数据和所述激光障碍物数据进行异步融合处理，得到最终障碍物数据的步骤，包括：
基于预先获取的历史障碍物数据，对所述次融合障碍物数据和所述激光障碍物数据进行位置补偿处理以及时间对齐处理，得到第二对齐障碍物数据；
计算所述第二对齐障碍物数据与所述历史障碍物数据之间的马氏距离，其中，所述马氏距离包括多个维度的状态量；
根据预先设置的多尺度关联门限和所述马氏距离，确定第二关联匹配对，其中所述多尺度关联门限包括以下至少之一：距离门限、速度门限、边界框门限、类别门限和运动状态门限；
根据所述第二关联匹配对和所述历史障碍物数据，跟踪滤波处理当前的所述第二对齐障碍物数据，得到所述最终障碍物数据。
6.根据权利要求5所述的方法，其特征在于，基于下式计算所述第二对齐障碍物数据与所述历史障碍物数据之间的马氏距离：
Figure M_220610152649096_096029001
；
其中，
Figure M_220610152649176_176594001
为多个维度的所述马氏距离，X为所述历史障碍物数据的状态量，Y为所述第二对齐障碍物数据的状态量，所述状态量是多维度的；角标T表示矩阵的转置，S表示归一化新息平方矩阵。
7.根据权利要求1所述的方法，其特征在于，异步采集所述传感器上传的初始障碍物数据的步骤，包括：
实时采集不同种类的传感器上传的所述初始障碍物数据，其中，不同的所述初始障碍物数据具有不同的采样频率和不同的采样时刻。
8.一种障碍物的确定装置，其特征在于，所述装置包括：
数据采集模块，用于异步采集传感器上传的初始障碍物数据，其中，所述传感器包括以下至少之一：视觉传感器、毫米波雷达传感器和激光雷达传感器；
次融合模块，用于基于所述视觉传感器中的主视觉传感器的周期，对多个所述视觉传感器上传的初始障碍物数据和多个所述毫米波雷达传感器上传的初始障碍物数据进行同步融合处理，得到次融合障碍物数据；
激光处理模块，用于对多个所述激光雷达传感器上传的初始障碍物数据进行时间同步处理、深度感知处理以及聚类处理，得到激光障碍物数据；
主融合模块，用于对所述次融合障碍物数据和所述激光障碍物数据进行异步融合处理，得到最终障碍物数据；
所述次融合模块，用于确定所述视觉传感器中的主视觉传感器的周期为标准周期；基于所述标准周期，对除了所述主视觉传感器以外的其他的所述视觉传感器以及所述毫米波雷达传感器上传的所述初始障碍物数据进行位置补偿处理以及时间对齐处理，得到第一对齐障碍物数据；遍历计算各个所述第一对齐障碍物数据与预先获取的历史障碍物数据之间的欧氏距离，其中，所述欧氏距离包括圆形距离、横向矩形距离和纵向矩形距离；根据预先设置的波门门限和所述欧氏距离，确定第一关联匹配对，其中所述波门门限包括：圆形波门门限、横向矩形波门门限、纵向矩形波门门限；根据所述第一关联匹配对和所述历史障碍物数据，跟踪滤波处理当前的所述第一对齐障碍物数据，得到所述次融合障碍物数据。
9.一种障碍物的确定系统，其特征在于，所述系统用于执行权利要求1-7任一项所述的障碍物的确定方法；
所述系统包括多种传感器、次融合中心、激光处理中心和主融合中心。
CN202210432804.3A 2022-04-24 2022-04-24 障碍物的确定方法、装置和系统 Active CN114529886B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210432804.3A CN114529886B (zh) 2022-04-24 2022-04-24 障碍物的确定方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210432804.3A CN114529886B (zh) 2022-04-24 2022-04-24 障碍物的确定方法、装置和系统

Publications (2)

Publication Number Publication Date
CN114529886A CN114529886A (zh) 2022-05-24
CN114529886B true CN114529886B (zh) 2022-08-02

Family

ID=81627724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210432804.3A Active CN114529886B (zh) 2022-04-24 2022-04-24 障碍物的确定方法、装置和系统

Country Status (1)

Country Link
CN (1) CN114529886B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114923523A (zh) * 2022-05-27 2022-08-19 中国第一汽车股份有限公司 感知数据的采集方法、装置、存储介质及电子装置
CN115616560B (zh) * 2022-12-02 2023-04-14 广汽埃安新能源汽车股份有限公司 车辆避障方法、装置、电子设备和计算机可读介质
CN117130010B (zh) * 2023-10-23 2024-05-24 青岛慧拓智能机器有限公司 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车
CN117492452B (zh) * 2024-01-03 2024-04-05 安徽中科星驰自动驾驶技术有限公司 一种用于自动驾驶3d障碍物的多模态融合方法
CN118068338B (zh) * 2024-04-22 2024-08-06 知行汽车科技(苏州)股份有限公司 一种障碍物的检测方法、装置、系统及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110794406A (zh) * 2019-11-12 2020-02-14 北京经纬恒润科技有限公司 多源传感器数据融合系统和方法
KR20200104258A (ko) * 2019-02-26 2020-09-03 현대모비스 주식회사 차량의 센서 융합 장치 및 방법
CN113514806A (zh) * 2021-04-02 2021-10-19 苏州挚途科技有限公司 自动驾驶过程中障碍物确定方法、装置及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019029969A1 (de) * 2017-08-10 2019-02-14 Siemens Mobility GmbH Sensoriell gesteuertes anpassen von odometrischen messparametern an wetterbedingungen
CN113506372A (zh) * 2021-07-26 2021-10-15 西北工业大学 一种环境重建方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200104258A (ko) * 2019-02-26 2020-09-03 현대모비스 주식회사 차량의 센서 융합 장치 및 방법
CN110794406A (zh) * 2019-11-12 2020-02-14 北京经纬恒润科技有限公司 多源传感器数据融合系统和方法
CN113514806A (zh) * 2021-04-02 2021-10-19 苏州挚途科技有限公司 自动驾驶过程中障碍物确定方法、装置及电子设备

Also Published As

Publication number Publication date
CN114529886A (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
CN114529886B (zh) 障碍物的确定方法、装置和系统
EP3852064B1 (en) Object labeling method and apparatus, movement control method and apparatus, device, and storage medium
WO2021223368A1 (zh) 基于视觉、激光雷达和毫米波雷达的目标检测方法
US10602242B2 (en) Apparatus, method and system for multi-mode fusion processing of data of multiple different formats sensed from heterogeneous devices
US20210124013A1 (en) Signal processing apparatus, signal processing method, and program
CN105711597B (zh) 前方局部行驶环境感知系统及方法
US9330320B2 (en) Object detection apparatus, object detection method, object detection program and device control system for moveable apparatus
JP3822770B2 (ja) 車両用前方監視装置
CN112149550B (zh) 一种基于多传感器融合的自动驾驶车辆3d目标检测方法
US10074021B2 (en) Object detection apparatus, object detection method, and program
JP4433887B2 (ja) 車両用外界認識装置
EP1361543A2 (en) Determining object motion from optical flow analysis
CN111937036A (zh) 用于处理传感器数据的方法、设备和具有指令的计算机可读存储介质
CN112698302A (zh) 一种颠簸路况下的传感器融合目标检测方法
US11677931B2 (en) Automated real-time calibration
CN111316328A (zh) 车道线地图的维护方法、电子设备与存储介质
CN114283394A (zh) 一种车载传感器融合的交通目标检测系统
CN113111707A (zh) 一种基于卷积神经网络的前车检测与测距方法
CN114578328B (zh) 一种多激光雷达和多相机传感器空间位置自动标定方法
CN111753901B (zh) 一种数据融合方法、装置、系统及计算机设备
CN115223131A (zh) 一种自适应巡航的跟随目标车辆检测方法、装置及汽车
CN113734176A (zh) 智能驾驶车辆的环境感知系统、方法、车辆及存储介质
CN117409393A (zh) 一种焦炉机车激光点云与视觉融合障碍物检测方法及系统
CN115359332A (zh) 基于车路协同的数据融合方法、装置、电子设备及系统
KR20210093130A (ko) 능동 스틱 필터를 이용한 융합 인식 시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant