CN115273027A - 环境感知方法、域控制器、存储介质及车辆 - Google Patents

环境感知方法、域控制器、存储介质及车辆 Download PDF

Info

Publication number
CN115273027A
CN115273027A CN202210834108.5A CN202210834108A CN115273027A CN 115273027 A CN115273027 A CN 115273027A CN 202210834108 A CN202210834108 A CN 202210834108A CN 115273027 A CN115273027 A CN 115273027A
Authority
CN
China
Prior art keywords
information
target detection
detection information
point cloud
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210834108.5A
Other languages
English (en)
Inventor
熊祺
彭超
邓浩平
梁继
孙雷
任少卿
吴海彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Weilai Zhijia Technology Co Ltd
Original Assignee
Anhui Weilai Zhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Weilai Zhijia Technology Co Ltd filed Critical Anhui Weilai Zhijia Technology Co Ltd
Priority to CN202210834108.5A priority Critical patent/CN115273027A/zh
Publication of CN115273027A publication Critical patent/CN115273027A/zh
Priority to PCT/CN2023/103671 priority patent/WO2024012212A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/04—Generating or distributing clock signals or signals derived directly therefrom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G06F17/153—Multidimensional correlation or convolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Software Systems (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及自动驾驶技术领域，具体提供一种自动驾驶技术领域，具体提供一种环境感知方法、域控制器、存储介质及车辆，旨在解决现有的自动驾驶系统中UTC时间可能引发系统时间跳变的技术问题。为此目的，本发明的自动驾驶的环境感知方法包括：在对相机对应的第一目标检测信息、激光雷达对应的第二目标检测信息、定位信息和毫米波雷达对应的第三目标检测信息进行融合得到环境感知结果的过程中，根据从导航系统获取的全局时间信息对自动驾驶的域控制器以及传感器进行全局时间同步；当检测到全局时间同步发生跳变时，根据本地晶振获取的相对时间信息对自动驾驶的域控制器以及传感器进行相对时间同步。如此，提高了系统的稳定性，有利于安全驾驶。

Description

环境感知方法、域控制器、存储介质及车辆
技术领域
本发明涉及自动驾驶技术领域，具体提供一种环境感知方法、域控制器、存储介质及车辆。
背景技术
目前，在自动驾驶领域中，主要通过全局(UTC)时间系统实现域控制器或者传感器之间的时间同步。UTC时间为标准时间，由于UTC时间会在GPS有效的时刻进行全局时间的修正和同步，可能引发系统时间的跳变，这个跳变对于自动驾驶系统是不可接受的。
相应地，本领域需要一种新的环境感知方法方案来解决上述问题。
发明内容
为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决上述技术问题。本发明提供了一种环境感知方法、域控制器、存储介质及车辆。
在第一方面，本发明提供一种自动驾驶的环境感知方法，包括：基于来自相机的图像数据获取第一目标检测信息；基于来自激光雷达的点云数据获取第二目标检测信息；基于来自定位传感器的定位数据获取定位信息；基于来自毫米波雷达的点云数据获取第三目标检测信息；对所述第一目标检测信息、第二目标检测信息、定位信息和第三目标检测信息进行融合，得到环境感知结果；其中，所述相机、激光雷达、毫米波雷达和定位传感器基于下述步骤保持时间同步：根据从导航系统获取的全局时间信息进行全局时间同步；当检测到全局时间同步发生跳变时，根据本地晶振获取的相对时间信息进行相对时间同步。
在一个实施方式中，所述根据从导航系统获取的全局时间信息进行全局时间同步，包括：采用UTC时间通过NTP协议向相机、激光雷达、毫米波雷达和定位传感器发送第一时间戳以实现同步；
所述根据本地晶振获取的相对时间信息进行相对时间同步，包括：采用PTP时间通过gPTP协议向相机、激光雷达、毫米波雷达和定位传感器发送第二时间戳以实现同步。
在一个实施方式中，对所述第一目标检测信息、第二目标检测信息、定位信息和第三目标检测信息进行融合，得到环境感知结果，包括：将所述第一目标检测信息、第二目标检测信息和相对定位信息输入第一感知融合模型，得到第一环境感知信息；将所述第一环境感知信息、第三目标检测信息、相对定位信息和全局定位信息输入第二感知融合模型，得到第二环境感知信息。
在一个实施方式中，所述基于来自相机的图像数据获取第一目标检测信息，包括：将来自相机的图像数据输入第一神经网络获得第一目标检测信息，其中所述第一目标检测信息包括障碍物信息、交通标志信息、地面信息、对向车辆灯光信息以及车道线信息中的至少一个；所述第一神经网络为FasterRCNN算法、YOLO算法和Mobilenet算法中的任意一种算法。
在一个实施方式中，所述第二目标检测信息包括待检测目标信息；所述基于来自激光雷达的点云数据获取第二目标检测信息包括：基于所述点云数据进行目标检测，得到初始检测结果，所述初始检测结果包括至少一个与待检测目标对应的初始检测框；确定所述初始检测框的跟踪速度；根据所述跟踪速度以及所述初始检测框内点云的反射强度，对所述初始检测结果进行修正，以得到所述待检测目标信息。
在一个实施方式中，所述第二目标检测信息包括可行驶区域信息；所述基于来自激光雷达的点云数据获取第二目标检测信息包括：采用基于卷积神经网络的地面高度估计模型并根据当前环境中的所述点云数据，估计当前环境的地面高度；根据所述地面高度确定所述点云数据中不属于地面的非地面点云；对所述非地面点云进行障碍物检测，得到一个或多个障碍物；根据所述障碍物的位置确定车辆行驶环境中的可行驶区域。
在一个实施方式中，所述第一感知融合模型设置在第一主控芯片上；所述第二感知融合模型设置在第二主控芯片上。
在第二方面，提供一种域控制器，包括主控芯片，其中主控芯片包括处理器和存储介质，所述存储介质适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行自动驾驶的环境感知方法。
在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行前述任一项所述的自动驾驶的环境感知方法。
第四方面，提供一种车辆，所述车辆包括前述的域控制器。
本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
本发明中的自动驾驶的环境感知方法，对相机对应的第一目标检测信息、激光雷达对应的第二目标检测信息、定位信息和毫米波雷达对应的第三目标检测信息进行融合得到环境感知结果的过程中，主要根据从导航系统获取的全局时间信息对自动驾驶的域控制器以及传感器进行全局时间同步，当检测到全局时间同步发生跳变时，根据本地晶振获取的相对时间信息对自动驾驶的域控制器以及传感器进行相对时间同步。如此，当全局时间同步发生跳变时，仍然能够保证系统的时间同步，提高了系统的稳定性，有利于车辆的安全驾驶。
附图说明
参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。此外，图中类似的数字用以表示类似的部件，其中：
图1是根据本发明的一个实施例的自动驾驶的环境感知方法的主要步骤流程示意图；
图2是根据本发明的一个实施例的自动驾驶环境感知方法的完整步骤流程示意图；
图3是根据本发明的一个实施例的两个不同主控芯片实现自动驾驶的环境感知方法的结构示意图；
图4是根据本发明的一个实施例的主控芯片的主要结构框图示意图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
在自动驾驶领域中，主要通过全局(UTC)时间系统实现系统的同步。UTC时间为标准时间，由于UTC时间会在GPS有效的时刻进行全局时间的修正和同步，可能引发系统时间的跳变，这个跳变对于自动驾驶系统是不可接受的。
为此，本申请提出了一种自动驾驶的环境感知方法，对相机对应的第一目标检测信息、激光雷达对应的第二目标检测信息、定位信息和毫米波雷达对应的第三目标检测信息进行融合得到环境感知结果的过程中，主要根据从导航系统获取的全局时间信息对自动驾驶的域控制器以及传感器进行全局时间同步，当检测到全局时间同步发生跳变时，根据本地晶振获取的相对时间信息对自动驾驶的域控制器以及传感器进行相对时间同步。如此，当全局时间同步发生跳变时，仍然能够保证系统的时间同步，提高了系统的稳定性，有利于车辆的安全驾驶。
参阅附图1，图1是根据本发明的一个实施例的自动驾驶的环境感知方法的主要步骤流程示意图。
如图1所示，本发明实施例中的自动驾驶的环境感知方法主要包括下列步骤S101-步骤S105。
步骤S101：基于来自相机的图像数据获取第一目标检测信息。
在一个具体实施方式中，所述基于来自相机的图像数据获取第一目标检测信息，包括：将来自相机的图像数据输入第一神经网络获得第一目标检测信息，其中第一目标检测信息包括障碍物信息、交通标志信息、地面信息、对向车辆灯光信息以及车道线信息中的至少一个。
示例性地，第一神经网络可以为FasterRCNN算法、YOLO算法和Mobilenet算法中的任意一种算法。
步骤S102：基于来自激光雷达的点云数据获取第二目标检测信息，所述第二目标检测信息包括待检测目标信息和可行驶区域信息，其中，待检测目标信息可以是障碍物信息、行人、地面信息以及车道线信息中的至少一个。
步骤S103：基于来自定位传感器的定位数据获取定位信息。
具体来说，可以将来自卫星导航、惯性导航装置和里程计中的至少一种的定位数据输入定位模块获取自动驾驶车辆相对于初始位姿的当前位姿信息以及在全局地图上的全局位姿信息。
步骤S104：基于来自毫米波雷达的点云数据获取第三目标检测信息。
具体可以将来自毫米波雷达的点云数据输入第三神经网络获得第三目标检测信息。
第三神经网络可以是PointPillars算法、CenterPoint算法中的任意一种算法。
步骤S105：对所述第一目标检测信息、第二目标检测信息、定位信息和第三目标检测信息进行融合，得到环境感知结果；其中，所述相机、激光雷达、毫米波雷达和定位传感器基于下述步骤保持时间同步：
根据从导航系统获取的全局时间信息进行全局时间同步；
当检测到全局时间同步发生跳变时，根据本地晶振获取的相对时间信息进行相对时间同步。
具体来说，UTC时间为标准时间，通过导航系统GPS获取的全局时间信息进行自动驾驶的域控制器以及传感器的全局时间同步。
所述根据本地晶振获取的相对时间信息进行相对时间同步，包括：采用PTP时间通过gPTP协议向相机、激光雷达、毫米波雷达和定位传感器发送第二时间戳以实现同步。
PTP时间是自增时间，当PTP时间系统启动后，以默认基准时刻(假定0)为起点，通过内部晶振进行计时，传感器和域控制器通过gPTP协议进行触发和同步。
根据从导航系统获取的全局时间信息对自动驾驶的域控制器以及传感器进行全局时间同步，当检测到全局时间同步发生跳变时，根据本地晶振获取的相对时间信息对自动驾驶的域控制器以及传感器进行相对时间同步。如此，当全局时间同步发生跳变时，仍然能够保证系统的时间同步，提高了系统的稳定性，有利于车辆的安全驾驶。
如图2所示，本申请对第一目标检测信息、第二目标检测信息、定位信息和第三目标检测信息的融合具体通过分级融合来实现。具体是与视觉对应的第一目标检测信息、与激光雷达对应的第二目标检测信息、定位信息在第一感知融合模块中融合，得到第一环境感知信息。第一环境感知信息、与毫米波雷达对应的第三目标检测信息以及定位信息在第二感知融合模块中融合，得到第二环境感知信息。
在一个具体实施方式中，对所述第一目标检测信息、第二目标检测信息、定位信息和第三目标检测信息进行融合，得到环境感知结果，包括：
首先，将所述第一目标检测信息、第二目标检测信息和相对定位信息输入第一感知融合模型，得到第一环境感知信息。
具体来说，第一目标检测信息包括检测目标的二维包围框和第一置信值，第二目标检测信息包括检测目标的候选三维包围框和第二置信值。具体地，在第一目标检测信息、第二目标检测信息和相对定位信息进行融合的过程中，首先利用第一目标检测信息、第二目标检测信息和相对定位信息构造手工特征，接着将手工特征输入到后融合网络，为候选三维包围框生成新的置信值，得到第一环境感知信息。
利用第一目标检测信息、第二目标检测信息和相对定位信息构造手工特征，包括：将二维包围框对应的第一置信值和三维包围框对应的第二置信值加入手工特征；将激光雷达对应的三维包围框投影到相机图像中，获取激光雷达对应的二维包围框；根据激光雷达对应的二维包围框和相机对应的二维包围框计算GIoU，将计算获得的GIoU加入所述手工特征；根据第二目标检测信息估计车辆目标中心点的深度，将所述深度加入手工特征；基于相对定位信息获取三维包围框到相机中心的距离，将所述距离加入手工特征。
详细来说，对于任意的二维检测框A1和A2，首先找到他们的最小包围框A3,然后计算A3/(A1∪A2)与A3面积的比值，将二维检测框A1和A2的交并比IoU与A3的比值作为GIoU，即：
Figure BDA0003746773090000071
车辆目标中心点的深度Zi的计算公式为：
Figure BDA0003746773090000072
其中，f为相机焦距，b为基线长度，x1为检测框中心点到图像中心点的距离。
后融合网络由4个一维卷积网络和一个最大池化层组成，分别是Conv2D(4,16,(1,1),1)，Conv2D(16,32,(1,1),1)，Conv2D(32,32,(1,1),1)and Conv2D(32,1,(1,1),1)，其中Conv2D(cin,cout,k,s)的含义为：cin和cout分别是输入和输出的通道数，k为卷积核的大小，s为步长。
接着，将所述第一环境感知信息、第三目标检测信息、相对定位信息和全局定位信息输入第二感知融合模型，得到第二环境感知信息。
在第一环境感知信息、第三目标检测信息、相对定位信息和全局定位信息进行融合的过程中，首先获取第一环境感知信息和第三目标检测信息的检测框，检测框为目标的最小边界框。
接着基于相对定位信息和全局定位信息确定第一环境感知信息和第三目标检测信息中各目标的位置、各个目标的轨迹以及速度，并基于所述位置计算两个目标对应检测框的交并比IoU。
最后判断所述交并比、轨迹相似度和速度相似度是否满足预设条件，具体在所述交并比大于交并比阈值、轨迹相似度大于轨迹阈值、速度相似度大于速度相似度阈值时，说明两个目标匹配成功，此时将第一环境感知信息中包含的目标的位置、速度和航向角等信息作为第二感知信息输出。
若不满足预设条件，说明两个目标匹配不成功。具体在未匹配成功的目标为第一环境感知信息中的目标时，将从第一环境感知信息中获取的该目标的位置、速度和航向角等信息作为该目标的具体信息输出。具体在未匹配成功的目标为第三目标检测信息中的目标时，将从第三目标检测信息中获取的该目标的位置、速度和航向角等信息作为该目标的具体信息输出。
第一感知融合模型和第二感知融合模型也可以通过其它算法实现，此处不赘述。
在一个具体实施方式中，所述第二目标检测信息包括待检测目标信息；所述基于来自激光雷达的点云数据获取第二目标检测信息包括：
首先，基于点云数据进行目标检测，得到初始检测结果，所述初始检测结果包括至少一个与待检测目标对应的初始检测框。
具体来说，基于点云数据利用三维目标检测网络模型进行目标检测，得到至少一个与待检测目标对应的初始检测框，初始检测框为三维初始检测框。
作为示例，三维目标检测网络模型可以包括PointPillar模型、VoxelNet模型或CenterPoints模型。
接着，确定初始检测框的跟踪速度。
具体来说，对前述步骤获得的初始检测框进行跟踪，获取间隔预设帧数的两帧点云数据中初始检测框的位移以及两帧点云数据的时间间隔，进而根据位移和时间间隔确定出初始检测框的跟踪速度。
最后，根据跟踪速度以及初始检测框内点云的反射强度，对初始检测结果进行修正，以得到待检测目标信息。
具体来说，点云数据包括点云的反射强度。在该实施例中，根据初始检测框内反射强度大于反射强度阈值的点数量和初始检测框内点云的总点数量，确定初始检测框的高反射强度点比例，并根据跟踪速度、速度阈值、高反射强度点比例和高反射强度点比例阈值，去除跟踪速度小于速度阈值且高反射强度点比例大于高反射强度点比例阈值对应的初始检测框，得到待检测目标信息。
利用上述方法能够获得待检测目标信息，提高了待检测目标信息的精确度，同时，通过基于来自激光雷达的点云数据获取第二目标检测信息，为后续进行信息融合提供了基础支撑。
在一个具体实施方式中，所述第二目标检测信息包括可行驶区域信息；所述基于来自激光雷达的点云数据获取第二目标检测信息包括：
首先，采用基于卷积神经网络的地面高度估计模型并根据当前环境中的所述点云数据，估计当前环境的地面高度。
具体来说，采用地面高度估计模型对三维点云的点云空间进行栅格化处理形成多个三维的点云栅格，对每个点云栅格内的三维点云分别提取多种下采样尺度的三维卷积特征和多种下采样尺度的二维卷积特征，并对三维卷积特征与二维卷积特征进行特征融合得到点云栅格特征，根据每个点云栅格的点云栅格特征分别估计每个点云栅格所在地面区域的地面高度。
在提取多种下采样尺度的三维卷积特征和多种下采样尺度的二维卷积特征的过程中，首先采用多种下采样尺度的三维卷积分别对每个点云栅格内的三维点云进行卷积操作，得到每个点云栅格的多种下采样尺度的三维卷积特征，接着将三维卷积特征转换成初始的二维卷积特征，采用多种下采样尺度的二维卷积分别对每个初始的二维卷积特征进行卷积操作，得到最终的每个点云栅格的多种下采样尺度的二维卷积特征。
接着根据地面高度确定点云数据中不属于地面的非地面点云。
具体来说，可以先确定当前三维点云所属的点云栅格所在地面区域的地面高度，并对地面高度增加预设的补偿量，形成新的地面高度，进而判断当前三维点云的点云高度是否小于新的地面高度；若是，则当前三维点云是属于地面的地面点云；若否，则当前三维点云是不属于地面的非地面点云。
其次，对非地面点云进行障碍物检测，得到一个或多个障碍物。
具体来说，可以根据三维点云之间的点云间距对非地面点云进行聚类，得到一个或多个点云簇，每个点云簇就表示一个障碍物。根据点云簇中点云的坐标，就可以确定出障碍物的位置、形状、高度等信息。
需要说明的是，在本实施例中可以采用障碍物检测技术领域中的常规方法，利用点云簇中点云的坐标得到每个障碍物的位置、形状、高度等信息，本发明实施例对此不进行具体限定。
最后，根据障碍物的位置确定车辆行驶环境中的可行驶区域。
具体来说，首先建立与三维点云的三维坐标系对应的极坐标系，根据预设的扇形栅格个数生成极坐标栅格图，将三维点云向极坐标栅格图投影，并根据每个障碍物对应的三维点云在极坐标栅格图上的投影位置，确定每个障碍物的投影位置，进而计算在每个扇形栅格内车辆与最近的障碍物之间的距离，并根据距离确定车辆行驶环境中的可行驶区域。
利用上述方法能够获得可行驶区域信息，提高了可行驶区域的精确度，同时，通过基于来自激光雷达的点云数据获取第二目标检测信息，为后续进行信息融合提供了基础支撑。
在一个具体实施方式中，所述第一感知融合模型设置在第一主控芯片上；所述第二感知融合模型设置在第二主控芯片上。
具体如图3所示，第一感知融合模型和第二感知融合模型分布在不同的系统级芯片SOC上，具体是，第一感知融合模型设置在系统级芯片SOC1上，第二感知融合模型设置在系统级芯片SOC2上，其中系统级芯片SOC1和SOC2位于不同的主控芯片上。
当第一主控芯片和第二主控芯片都工作时，则将第二主控芯片输出的第二环境感知信息作为最终的感知结果输出。
当第一主控芯片工作而第二主控芯片不工作时，第二主控芯片输出的信息为无效信息(null)，则将第一环境感知信息作为最终的感知结果输出。
本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
进一步，本发明还提供了一种域控制器，包括主控芯片。在根据本发明的一个电子设备实施例中，如图4所示，主控芯片包括处理器50和存储介质51，存储介质可以被配置成存储执行上述方法实施例的自动驾驶的环境感知方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的自动驾驶的环境感知方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。
对于整车来说，其包括底盘域、车身域、辅助驾驶域、动力域和信息娱乐域等。其中所述辅助驾驶域中的域控制器包括硬件和软件，其中硬件主要包括主控芯片、电阻电容等无源器件、支架、散热组件、密封性金属外壳以及PCB板等部分。其中，主控芯片包括MCU芯片和SOC芯片中的至少一个。软件主要包括各种算法模型。
在一个具体实施方式中，所述域控制器包括主控芯片，其中所述主控芯片为MCU芯片和/或系统级芯片。
通常，自动驾驶系统包括域控制器，以及传感器单元，来满足自动驾驶对车辆周围环境的感测需求，而通常传感器单元包括多个传感器，多个传感器则包括以下传感器至少之一：毫米波雷达传感器、视觉传感器、激光雷达传感器等，而本发明实施例提供的方法，则可以在自动驾驶系统中对自动驾驶的域控制器以及多个传感器之间进行时间同步。
进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的自动驾驶的环境感知方法的程序，该程序可以由处理器加载并运行以实现上述自动驾驶的环境感知方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
进一步，本发明还提供了一种车辆，所述车辆包括前述的域控制器。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种自动驾驶的环境感知方法，其特征在于，包括：
基于来自相机的图像数据获取第一目标检测信息；
基于来自激光雷达的点云数据获取第二目标检测信息；
基于来自定位传感器的定位数据获取定位信息；
基于来自毫米波雷达的点云数据获取第三目标检测信息；
对所述第一目标检测信息、第二目标检测信息、定位信息和第三目标检测信息进行融合，得到环境感知结果；其中，
所述相机、激光雷达、毫米波雷达和定位传感器基于下述步骤保持时间同步：
根据从导航系统获取的全局时间信息进行全局时间同步；
当检测到全局时间同步发生跳变时，根据本地晶振获取的相对时间信息进行相对时间同步。
2.根据权利要求1所述的方法，其特征在于，
所述根据从导航系统获取的全局时间信息进行全局时间同步，包括：采用UTC时间通过NTP协议向相机、激光雷达、毫米波雷达和定位传感器发送第一时间戳以实现同步；
所述根据本地晶振获取的相对时间信息进行相对时间同步，包括：采用PTP时间通过gPTP协议向相机、激光雷达、毫米波雷达和定位传感器发送第二时间戳以实现同步。
3.根据权利要求1所述的方法，其特征在于，对所述第一目标检测信息、第二目标检测信息、定位信息和第三目标检测信息进行融合，得到环境感知结果，包括：
将所述第一目标检测信息、第二目标检测信息和相对定位信息输入第一感知融合模型，得到第一环境感知信息；
将所述第一环境感知信息、第三目标检测信息、相对定位信息和全局定位信息输入第二感知融合模型，得到第二环境感知信息。
4.根据权利要求1所述的方法，其特征在于，
所述基于来自相机的图像数据获取第一目标检测信息，包括：
将来自相机的图像数据输入第一神经网络获得第一目标检测信息，其中所述第一目标检测信息包括障碍物信息、交通标志信息、地面信息、对向车辆灯光信息以及车道线信息中的至少一个；
所述第一神经网络为FasterRCNN算法、YOLO算法和Mobilenet算法中的任意一种算法。
5.根据权利要求1所述的方法，其特征在于，所述第二目标检测信息包括待检测目标信息；所述基于来自激光雷达的点云数据获取第二目标检测信息包括：
基于所述点云数据进行目标检测，得到初始检测结果，所述初始检测结果包括至少一个与待检测目标对应的初始检测框；
确定所述初始检测框的跟踪速度；
根据所述跟踪速度以及所述初始检测框内点云的反射强度，对所述初始检测结果进行修正，以得到所述待检测目标信息。
6.根据权利要求1所述的方法，其特征在于，所述第二目标检测信息包括可行驶区域信息；所述基于来自激光雷达的点云数据获取第二目标检测信息包括：
采用基于卷积神经网络的地面高度估计模型并根据当前环境中的所述点云数据，估计当前环境的地面高度；
根据所述地面高度确定所述点云数据中不属于地面的非地面点云；
对所述非地面点云进行障碍物检测，得到一个或多个障碍物；
根据所述障碍物的位置确定车辆行驶环境中的可行驶区域。
7.根据权利要求3所述的方法，其特征在于，
所述第一感知融合模型设置在第一主控芯片上；
所述第二感知融合模型设置在第二主控芯片上。
8.一种域控制器，包括主控芯片，其中主控芯片包括处理器和存储介质，所述存储介质适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至7中任一项所述自动驾驶的环境感知方法。
9.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至7中任一项所述自动驾驶的环境感知方法。
10.一种车辆，其特征在于，包括权利要求8所述的域控制器。
CN202210834108.5A 2022-07-14 2022-07-14 环境感知方法、域控制器、存储介质及车辆 Pending CN115273027A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210834108.5A CN115273027A (zh) 2022-07-14 2022-07-14 环境感知方法、域控制器、存储介质及车辆
PCT/CN2023/103671 WO2024012212A1 (zh) 2022-07-14 2023-06-29 环境感知方法、域控制器、存储介质及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210834108.5A CN115273027A (zh) 2022-07-14 2022-07-14 环境感知方法、域控制器、存储介质及车辆

Publications (1)

Publication Number Publication Date
CN115273027A true CN115273027A (zh) 2022-11-01

Family

ID=83766707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210834108.5A Pending CN115273027A (zh) 2022-07-14 2022-07-14 环境感知方法、域控制器、存储介质及车辆

Country Status (2)

Country Link
CN (1) CN115273027A (zh)
WO (1) WO2024012212A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117163071A (zh) * 2023-11-03 2023-12-05 安徽蔚来智驾科技有限公司 车辆控制方法、控制装置、可读存储介质及车辆
WO2024012212A1 (zh) * 2022-07-14 2024-01-18 安徽蔚来智驾科技有限公司 环境感知方法、域控制器、存储介质及车辆
WO2024012211A1 (zh) * 2022-07-14 2024-01-18 安徽蔚来智驾科技有限公司 自动驾驶环境感知方法、介质及车辆
WO2024140469A1 (zh) * 2022-12-30 2024-07-04 华为技术有限公司 一种数据传输方法、装置和智能驾驶设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6816658B2 (ja) * 2017-06-09 2021-01-20 トヨタ自動車株式会社 物標情報取得装置
CN107655475B (zh) * 2017-11-03 2024-03-26 河南思维轨道交通技术研究院有限公司 同步脉冲信号获取方法、导航数据同步处理方法及系统
CN110794406B (zh) * 2019-11-12 2022-08-02 北京经纬恒润科技股份有限公司 多源传感器数据融合系统和方法
CN111007554A (zh) * 2019-12-11 2020-04-14 武汉海达数云技术有限公司 数据采集时间同步系统和方法
CN113002396B (zh) * 2020-04-14 2022-06-10 青岛慧拓智能机器有限公司 一种用于自动驾驶矿用车辆的环境感知系统及矿用车辆
CN112212872B (zh) * 2020-10-19 2022-03-11 合肥工业大学 基于激光雷达和导航地图的端到端自动驾驶方法及系统
CN115273027A (zh) * 2022-07-14 2022-11-01 安徽蔚来智驾科技有限公司 环境感知方法、域控制器、存储介质及车辆

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024012212A1 (zh) * 2022-07-14 2024-01-18 安徽蔚来智驾科技有限公司 环境感知方法、域控制器、存储介质及车辆
WO2024012211A1 (zh) * 2022-07-14 2024-01-18 安徽蔚来智驾科技有限公司 自动驾驶环境感知方法、介质及车辆
WO2024140469A1 (zh) * 2022-12-30 2024-07-04 华为技术有限公司 一种数据传输方法、装置和智能驾驶设备
CN117163071A (zh) * 2023-11-03 2023-12-05 安徽蔚来智驾科技有限公司 车辆控制方法、控制装置、可读存储介质及车辆
CN117163071B (zh) * 2023-11-03 2024-03-05 安徽蔚来智驾科技有限公司 车辆控制方法、控制装置、可读存储介质及车辆

Also Published As

Publication number Publication date
WO2024012212A1 (zh) 2024-01-18

Similar Documents

Publication Publication Date Title
EP3505869B1 (en) Method, apparatus, and computer readable storage medium for updating electronic map
CN112419494B (zh) 用于自动驾驶的障碍物检测、标记方法、设备及存储介质
CN115273027A (zh) 环境感知方法、域控制器、存储介质及车辆
EP3620823B1 (en) Method and device for detecting precision of internal parameter of laser radar
CN111192295B (zh) 目标检测与跟踪方法、设备和计算机可读存储介质
CN113673282A (zh) 目标检测方法和装置
JP2016149132A (ja) 乗り物のドライバ支援システムにおける予測のためのシステムおよび方法
JP2019168417A (ja) 物体認識装置、及び物体認識方法
JP2015148601A (ja) マッピング、位置特定、及び姿勢補正のためのシステム及び方法
CN112149460A (zh) 一种障碍物检测方法及装置
RU2757234C2 (ru) Способ и система для вычисления данных для управления работой беспилотного автомобиля
WO2024012211A1 (zh) 自动驾驶环境感知方法、介质及车辆
CN112166457A (zh) 点云分割方法、系统和可移动平台
CN111947672A (zh) 用于检测环境变化的方法、装置、设备和介质
KR20200056613A (ko) 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템
CN111781606A (zh) 一种新型激光雷达和超声波雷达融合的小型化实现方法
CN117671013B (zh) 点云定位方法、智能设备及计算机可读存储介质
WO2022078342A1 (zh) 动态占据栅格估计方法及装置
CN114280583A (zh) 无gps信号下激光雷达定位精度验证方法及系统
CN113640810A (zh) 空间车位检测方法、设备、存储介质和程序产品
CN117470258A (zh) 一种地图构建方法、装置、设备及介质
CN111380529B (zh) 移动设备定位方法、装置、系统及移动设备
CN109598199B (zh) 车道线生成方法和装置
CN113312403B (zh) 地图获取方法、装置、电子设备及存储介质
CN116052100A (zh) 图像感知方法、计算机设备、计算机可读存储介质及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination