CN116630931A - 障碍物检测方法、系统、农业机械、电子设备和存储介质 - Google Patents

障碍物检测方法、系统、农业机械、电子设备和存储介质 Download PDF

Info

Publication number
CN116630931A
CN116630931A CN202310418304.9A CN202310418304A CN116630931A CN 116630931 A CN116630931 A CN 116630931A CN 202310418304 A CN202310418304 A CN 202310418304A CN 116630931 A CN116630931 A CN 116630931A
Authority
CN
China
Prior art keywords
obstacle detection
features
point cloud
obstacle
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310418304.9A
Other languages
English (en)
Inventor
吴才聪
秦佳
孙瑞志
林邦皓
徐媛媛
李婧煊
王权
尹业名
陈智博
文龙
孙梦遥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN202310418304.9A priority Critical patent/CN116630931A/zh
Publication of CN116630931A publication Critical patent/CN116630931A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种障碍物检测方法、系统、农业机械、电子设备和存储介质，其中方法包括：对图像数据和点云数据分别进行特征提取，并对特征提取所得的图像特征和点云特征进行融合，得到融合特征，对融合特征进行鸟瞰投影，基于投影所得的鸟瞰图特征进行障碍物检测，得到障碍物检测结果；结合图像数据中丰富的纹理颜色信息，以及点云数据中蕴含的几何形状信息，克服了传统方案中障碍物检测的精度低下的缺陷，实现了对所处环境中障碍物的精准识别与定位，提高了障碍物检测的精度。此外，还为农机自动驾驶提供了数据支撑，实现了驾驶过程中障碍物的及时检测，保证了驾驶效果。

Description

障碍物检测方法、系统、农业机械、电子设备和存储介质
技术领域
本发明涉及障碍物检测技术领域，尤其涉及一种障碍物检测方法、系统、农业机械、电子设备和存储介质。
背景技术
为降低农业从业人员的劳作强度，提高农业生产的效率，目前已将无人驾驶和自动化技术应用到农业领域，以通过农机自动驾驶提升工作效率。而在实现农机自动驾驶的过程中，准确可靠的障碍物检测至关重要。
目前，针对农机作业的障碍物检测主要有两类，其一是基于机器视觉的检测方法，该方法对光照敏感，难以获得准确的障碍物位置和形状信息，检测精度往往较低；其二是基于雷达的检测方法，该方法中在对点云数据进行处理时，需要手动设计特征参数，并且，提取有效特征需要耗费大量的时间，而随着环境复杂度的提升，检测精度会大大降低。由此可见，当前障碍物检测的精度尚不能满足农机自动驾驶的需求。
发明内容
本发明提供一种障碍物检测方法、系统、农业机械、电子设备和存储介质，用以解决现有技术中障碍物检测的精度低下的缺陷，实现障碍物检测效率和准确率的双重提升，为农机作业的完全自动化提供了数据支撑。
本发明提供一种障碍物检测方法，包括：
确定目标对象所处环境的图像数据和点云数据；
对所述图像数据和所述点云数据分别进行特征提取，并对特征提取所得的图像特征和点云特征进行融合，得到融合特征，对所述融合特征进行鸟瞰投影，基于投影所得的鸟瞰图特征进行障碍物检测，得到障碍物检测结果。
根据本发明提供的一种障碍物检测方法，所述基于投影所得的鸟瞰图特征进行障碍物检测，得到障碍物检测结果，包括：
对所述鸟瞰图特征进行二维特征提取，得到二维特征图；
基于所述二维特征图进行区域生成，得到各候选区域；
基于所述各候选区域进行障碍物检测，得到障碍物检测结果。
根据本发明提供的一种障碍物检测方法，所述基于所述各候选区域进行障碍物检测，得到障碍物检测结果，包括：
对所述各候选区域进行网格点采样，得到各网格点；
对所述各网格点对应的非空体素的体素特征进行聚合，并基于聚合所得的特征进行体素感兴趣区域池化，得到池化特征；
基于所述池化特征进行障碍物检测，得到障碍物检测结果。
根据本发明提供的一种障碍物检测方法，所述对特征提取所得的图像特征和点云特征进行融合，得到融合特征，包括：
对所述图像特征和所述点云特征进行融合，得到第一融合特征；
对所述第一融合特征进行稀疏特征提取，得到第一稀疏特征；
基于所述第一稀疏特征进行立方体重要性预测，并对预测所得重要稀疏特征和所述图像特征进行融合，得到融合特征。
根据本发明提供的一种障碍物检测方法，对所述图像数据和所述点云数据分别进行特征提取，并对特征提取所得的图像特征和点云特征进行融合，得到融合特征，对所述融合特征进行鸟瞰投影，基于投影所得的鸟瞰图特征进行障碍物检测，得到障碍物检测结果是基于障碍物检测模型实现的；
所述障碍物检测模型是基于样本图像数据，样本点云数据以及对应的障碍物标签训练得到的。
根据本发明提供的一种障碍物检测方法，所述障碍物检测模型包括特征提取网络，所述特征提取网络包括图像特征提取分支和点云特征提取分支；
所述图像特征提取分支用于对所述图像数据进行特征提取，得到图像特征；所述点云特征提取分支用于对四维点云数据进行特征提取，得到点云特征，所述四维点云数据由所述点云数据进行体素化得到。
根据本发明提供的一种障碍物检测方法，所述障碍物检测模型基于如下步骤训练：
确定初始图像数据，以及所述初始图像数据对应的初始点云数据；
对所述初始图像数据和所述初始点云数据进行时间频率同步和空间坐标同步，得到样本图像数据和样本点云数据；
基于所述样本图像数据，所述样本点云数据以及所述障碍物标签，对初始障碍物检测模型进行训练，得到所述障碍物检测模型。
本发明还提供一种障碍物检测系统，包括：
数据确定单元，用于确定目标对象所处环境的图像数据和点云数据；
障碍物检测单元，用于对所述图像数据和所述点云数据分别进行特征提取，并对特征提取所得的图像特征和点云特征进行融合，得到融合特征，对所述融合特征进行鸟瞰投影，基于投影所得的鸟瞰图特征进行障碍物检测，得到障碍物检测结果。
本发明还提供一种农业机械，包括视觉系统、雷达系统，以及障碍物检测系统；
所述视觉系统用于采集所述农业机械所处环境的图像数据，并将所述图像数据传输至所述障碍物检测系统；
所述雷达系统用于采集所述农业机械所处环境的点云数据，并将所述点云数据传输至所述障碍物检测系统；
所述障碍物检测系统用于对所述图像数据和所述点云数据分别进行特征提取，并对特征提取所得的图像特征和点云特征进行融合，得到融合特征，对所述融合特征进行鸟瞰投影，基于投影所得的鸟瞰图特征进行障碍物检测，得到障碍物检测结果。
根据本发明提供的一种农业机械，还包括位姿采集系统；
所述位姿采集系统用于采集所述农业机械的位置信息、姿态信息和速度信息，并将所述位置信息、所述姿态信息和所述速度信息传输至所述障碍物检测系统；
所述障碍物检测系统还用于基于所述障碍物检测结果、所述位置信息、所述姿态信息和所述速度信息，控制所述农业机械在所述农业机械所处环境下进行作业。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的障碍物检测方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的障碍物检测方法。
本发明提供的障碍物检测方法、系统、农业机械、电子设备和存储介质，通过对图像数据和点云数据分别进行特征提取，并对特征提取所得的图像特征和点云特征进行融合，得到融合特征，对融合特征进行鸟瞰投影，基于投影所得的鸟瞰图特征进行障碍物检测，得到障碍物检测结果，结合图像数据中丰富的纹理颜色信息，以及点云数据中蕴含的几何形状信息，可以实现对障碍物的精准检测，克服了传统方案中障碍物检测的精度低下的缺陷，实现了对所处环境中障碍物的精准识别与定位，提高了障碍物检测的精度。此外，还为农机自动驾驶提供了数据支撑，实现了驾驶过程中障碍物的及时检测，保证了驾驶效果。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的障碍物检测方法的流程示意图；
图2是本发明提供的障碍物检测模型的结构示意图；
图3是本发明提供的焦点卷积融合网络的结构示意图；
图4是本发明提供的三维特征提取器的结构示意图；
图5是本发明提供的二维特征提取器的结构示意图；
图6是本发明提供的同步前多系统时间戳的示意图；
图7是本发明提供的同步后多系统时间戳的示意图；
图8是本发明提供的空间同步可视化结果的示意图；
图9是本发明提供的障碍物检测系统的结构示意图；
图10是本发明提供的农业机械的结构示意图；
图11是本发明提供的电子设备的结构示意图。
附图标记：
1010：视觉系统；1020：雷达系统；900：障碍物检测系统。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在农机领域，无人驾驶和自动化技术可以有效提升农业生产的效率，降低农业从业人员的劳作强度。然而当前技术尚不足以完全实现农机自动驾驶，仍需手动监控环境，并及时应对农机作业过程中潜在的障碍物和危险。为实现农机作业的完全自动化，准确可靠的障碍物检测是至关重要的一步。
目前，针对农机作业的障碍物检测主要有两类，其一是基于机器视觉的检测方法，该方法通过视觉传感器采集农田中障碍物的图像，并通过算法对采集的图像进行处理，以实现障碍物检测；其二是基于雷达的检测方法，该方法采用雷达作为传感器，通过雷达发射激光，经过目标后反射，由此获得目标上所有反射点的点云数据，并应用传统的聚类、分类方法对点云数据进行处理，以实现障碍物检测。
但是，基于机器视觉的检测方法对光照敏感，无法直接获得较为准确的障碍物位置和形状信息，因而，其检测精度往往不高；而基于雷达的检测方法中，对点云数据的处理因其非结构化和稀疏性特性而存在挑战，采用传统的机器学习方法处理点云数据需要手动设计特征参数，并且提取有效特征通常需要耗费大量的时间，而随着环境复杂度的提升，检测精度会大大降低。由此可见，当前障碍物检测的精度尚不足以支撑农机作业的完全自动化。
对此，本发明提供一种障碍物检测方法，旨在结合图像数据和点云数据进行障碍物检测，通过图像数据中丰富的纹理颜色信息，以及点云数据中蕴含的几何形状信息，可以实现对障碍物的精准检测，提高了障碍物检测的精度，图1是本发明提供的障碍物检测方法的流程示意图，如图1所示，该方法包括：
步骤110，确定目标对象所处环境的图像数据和点云数据；
具体地，由于障碍物是相对而言的，因此在进行障碍物检测之前，首先需要确定目标对象，此处的目标对象可以是处于行进状态的车辆、机械等。考虑到传统方案中基于视觉的检测方法和基于雷达的检测方法的检测精度不高，均无法准确的检出障碍物的情况，本发明实施例中，结合视觉图像和雷达点云进行障碍物检测，以提升障碍物检测的精度，从而可以精准识别障碍物，实现对行进方向环境的精准感知。
因此，本发明实施例中，需要确定目标对象所处环境的图像数据和点云数据，此处图像数据可以通过视觉系统采集得到，视觉系统中可以采用相机、摄像头等；点云数据则可以通过雷达系统采集得到，雷达系统可以采用激光雷达、毫米波雷达等。
其中，视觉系统和雷达系统均可以装设于目标对象上，视觉系统可以在目标对象行进过程中采集其行进方向上的环境图像，从而得到蕴含纹理颜色信息的图像数据。雷达系统则可以在目标对象行进过程中感知四周的环境，从而生成具有丰富的几何形状信息的点云数据。
此处，视觉系统和雷达系统中采用的设备型号，以及进行数据采集时的各项参数(如采集频率、分辨率、视角等)均可以根据实际需求、实际场景等进行相应设定。而作为优选，本发明实施例中，雷达系统采用16线三维激光雷达，垂直视场角为30°(+/-15°)，水平视场角为360°，最大测距100m，采集频率为10Hz。视觉系统采用FLIR机器学习彩色相机，其分辨率为1920×1200，最大帧率为53FPS，采集频率为20Hz。
步骤120，对图像数据和点云数据分别进行特征提取，并对特征提取所得的图像特征和点云特征进行融合，得到融合特征，对融合特征进行鸟瞰投影，基于投影所得的鸟瞰图特征进行障碍物检测，得到障碍物检测结果。
具体地，经过步骤110得到图像数据和点云数据之后，即可执行步骤120，结合图像数据和点云数据进行障碍物检测，以得到障碍物检测结果，这一过程具体包括以下步骤：
首先，可以对图像数据和点云数据分别进行特征提取，从而得到图像特征和点云特征；此过程可以通过特征提取网络实现，即可以将图像数据和点云数据输入至特征提取网络，由特征提取网络分别对图像数据和点云数据进行特征提取，以提取图像数据中蕴含的障碍物相关区域的颜色、纹理等信息，从而得到图像特征，提取点云数据中表征障碍物的三维位置、几何形状等信息，从而得到点云特征。
需要说明的是，在对点云数据进行特征提取之前，还需对点云数据进行体素化，然后即可对体素化后的点云数据进行特征提取，即可将体素化后的点云数据输入至特征提取网络，以提取得到点云特征。
随即，考虑到图像特征和点云特征所表示的信息的不同，以及在表征障碍物特点的侧重点上的不同，因此，可以对此两者进行融合，以使图像特征和点云特征能够互相补充，从而可以得到更加完整全面的反映障碍物特点的特征，即图像数据和点云数据对应的融合特征。
此处，针对上述两者进行融合的情况，图像特征可以弥补点云特征中缺失的有关于障碍物的纹理颜色信息，点云特征可以补充图像特征中缺乏的有关于障碍物的几何形状信息，两者互相补充能够保证由此得到的融合特征能够更加完整地反映障碍物的信息，从而使得据此进行的障碍物检测的精度更高。此两者的融合方式可以是拼接、相加、加权融合等，本发明实施例对此不做具体限定。
之后，即可在此融合特征的基础上，确定鸟瞰图特征，并据此鸟瞰图特征进行障碍物检测，从而得到障碍物检测结果，即可以对此融合特征进行鸟瞰投影，以将其投影到BEV(Bird's Eye View，鸟瞰图)，从而生成伪图像特征，即鸟瞰图特征。
然后，即可在此鸟瞰图特征的基础上进行障碍物检测，从而得到障碍物检测结果，此处的障碍物检测结果包括障碍物类别(例如，行人、车辆等)和障碍物检测框(障碍物包围框)。
需要说明的是，此处通过在融合特征的基础上确定的鸟瞰图特征进行的障碍物检测，能够弥补传统方案中基于视觉的检测方法和基于雷达的检测方法进行障碍物检测时，对于障碍物的检测稳定性、检测精度和检测效果不佳的缺陷，通过图像数据和点云数据的结合，不仅能够稳定的识别障碍物，还可以准确可靠的检测出障碍物类别和障碍物包围框，提升了检测稳定性和检测精度。
本发明提供的障碍物检测方法，通过对图像数据和点云数据分别进行特征提取，并对特征提取所得的图像特征和点云特征进行融合，得到融合特征，对融合特征进行鸟瞰投影，基于投影所得的鸟瞰图特征进行障碍物检测，得到障碍物检测结果，结合图像数据中丰富的纹理颜色信息，以及点云数据中蕴含的几何形状信息，可以实现对障碍物的精准检测，克服了传统方案中障碍物检测的精度低下的缺陷，实现了对所处环境中障碍物的精准识别与定位，提高了障碍物检测的精度。此外，还为农机自动驾驶提供了数据支撑，实现了驾驶过程中障碍物的及时检测，保证了驾驶效果。
基于上述实施例，基于投影所得的鸟瞰图特征进行障碍物检测，得到障碍物检测结果，包括：
对鸟瞰图特征进行二维特征提取，得到二维特征图；
基于二维特征图进行区域生成，得到各候选区域；
基于各候选区域进行障碍物检测，得到障碍物检测结果。
具体地，上述根据投影所得的鸟瞰图特征进行障碍物检测，得到障碍物检测结果的过程，具体可以包括如下步骤：
首先，可以对鸟瞰图特征进行二维特征提取，以得到二维特征图，即可以通过二维骨干网络(2D backbone)进行特征提取，以从生成的伪图像特征(鸟瞰图特征)中进一步提取特征，从而得到二维特征图，具体可以是，将鸟瞰图特征输入至二维骨干网络，由二维骨干网络对鸟瞰图特征进行特征提取，从而得到二维骨干网络输出的大小为128×X/8×Y/8的二维特征图；其中，128表示通道数，X和Y分别表示原始输入的图像数据的长和宽。
本发明实施例中，障碍物检测过程可以分为两个阶段，第一阶段为生成候选区域，第二阶段则是对生成的候选区域进行精细化，以得到更精确的三维检测框和障碍物类别。鉴于此，在得到二维特征图之后，可以先进行候选区域的生成，即可以在此二维特征图的基础上进行区域生成，从而得到各候选区域。
具体而言，可以以二维特征图为基准，应用RPN(Region Proposal Network，区域生成网络)进行区域生成，从而得到区域生成网络输出的各候选区域，即是在二维特征图的每个像素上放置2×检测类别个锚点(anchor)，并利用二维特征图对每个锚点进行类别预测和包围框回归，最终可以得到了2×检测类别×X/8×Y/8个候选区域。
之后，即可在各候选区域的基础上进行障碍物检测，以得到障碍物检测结果，即执行第二阶段，应用目标检测模型(如R-CNN，Region-Convolutional Neural Networks)在各候选区域中进行障碍物检测，以检出障碍物类别并确定更精准的障碍物检测框(三维检测框)，具体而言，可以在各候选区域中采样网格点，通过聚合网格点周围的体素特征，以及进行感兴趣区域池化等，最终可以得到障碍物检测结果。
基于上述实施例，基于各候选区域进行障碍物检测，得到障碍物检测结果，包括：
对各候选区域进行网格点采样，得到各网格点；
对各网格点对应的非空体素的体素特征进行聚合，并基于聚合所得的特征进行体素感兴趣区域池化，得到池化特征；
基于池化特征进行障碍物检测，得到障碍物检测结果。
具体地，上述根据各候选区域进行障碍物检测，以得到障碍物检测结果的过程，具体可以包括如下步骤：
首先，可以对各候选区域进行网格点采样，从而得到各候选区域对应的多个网格点，即在各候选区域进行网格点的均匀采样，采样6×6×6个网格点，从而得到各候选区域中的6×6×6个网格点。
接着，可以查询这些网格点周围一定距离内的非空体素，从而得到各网格点对应的非空体素，并可以对各网格点对应的非空体素的体素特征进行聚合，即当查询网格点周围的非空体素时，可以聚合两倍、四倍和八倍下采样的体素以获得多尺度的体素特征。
而后，即可利用聚合所得的多尺度的体素特征进行体素感兴趣区域池化，以得到池化特征，即可以以聚合所得的特征为基准，进行体素RoI(Region of interest，感兴趣区域)池化，具体可以是，利用加速的pointnet、全连接层和最大池化层从聚合所得的特征中提取得到池化特征。
之后，即可据此池化特征进行障碍物检测，从而得到障碍物检测结果，具体可以是，将上一步体素RoI池化所得的池化特征作为检测头(Detect Head)的输入，接着连接两个全连接层进行置信度分数预测和包围框回归，最终可以得到障碍物类别和精准的障碍物检测框。
基于上述实施例，对特征提取所得的图像特征和点云特征进行融合，得到融合特征，包括：
对图像特征和点云特征进行融合，得到第一融合特征；
对第一融合特征进行稀疏特征提取，得到第一稀疏特征；
基于第一稀疏特征进行立方体重要性预测，并对预测所得重要稀疏特征和图像特征进行融合，得到融合特征。
具体地，步骤120中，对特征提取所得的图像特征和点云特征进行融合，得到融合特征的过程，具体包括如下步骤：
本发明实施例中，针对于图像特征和点云特征的融合过程，可以通过焦点卷积融合网络实现。焦点卷积融合网络则可以通过对对齐通道数后的图像特征和点云特征进行两次融合，以得到图像特征和点云特征对应的融合特征。
具体而言，由于通过特征提取网络进行特征提取，分别得到的图像特征和点云特征的通道数是相同的，因此，首先可以对图像特征和点云特征进行融合，即第一次融合，从而得到第一融合特征；随后，可以在第一融合特征的基础上，应用焦点卷积融合网络进一步进行特征提取，以得到第一稀疏特征，即可以通过焦点卷积融合网络对第一融合特征进行稀疏特征提取，从而得到第一稀疏特征；
之后，即可据此第一稀疏特征进行立方体重要性预测，以预测出重要的稀疏特征，即可以以第一稀疏特征为基准，进行立方体重要性预测，从而得到重要稀疏特征；此后，即可进行第二次融合，以得到图像特征和点云特征对应的融合特征，即可以在重要稀疏特征和图像特征的基础上融合得到最终的融合特征，即是对重要稀疏特征和图像特征进行融合，从而得到融合特征。
本发明实施例中，图像特征和点云特征的融合能够使得融合所得的融合特征不仅蕴含障碍物的纹理颜色信息，还囊括了障碍物的几何形状信息，此外，两者的融合还可以增添障碍物相关区域的细微特征，从而使得基于此融合特征进行的障碍物检测，不仅能够完美地克服传统方案中障碍物检测的精度低下，检测效果不佳的缺陷，还很好的弥补了传统方案中对于具有相似特点的障碍物检测易出现误判的缺陷，提升了障碍物检测的准确率，实现了检测效率和检测精度的双重提升。
基于上述实施例，对图像数据和点云数据分别进行特征提取，并对特征提取所得的图像特征和点云特征进行融合，得到融合特征，对融合特征进行鸟瞰投影，基于投影所得的鸟瞰图特征进行障碍物检测，得到障碍物检测结果是基于障碍物检测模型实现的；
障碍物检测模型是基于样本图像数据，样本点云数据以及对应的障碍物标签训练得到的。
具体地，步骤120中，对图像数据和点云数据分别进行特征提取，并对特征提取所得的图像特征和点云特征进行融合，得到融合特征，对融合特征进行鸟瞰投影，基于投影所得的鸟瞰图特征进行障碍物检测的过程，可以通过障碍物检测模型实现。障碍物检测模型包括区域生成模型和目标检测模型，图2是本发明提供的障碍物检测模型的结构示意图，如图2所示，其中，区域生成模型包括特征提取网络、焦点卷积融合网络、二维骨干网络和区域生成网络。
此处，特征提取网络用于对图像数据和点云数据分别进行特征提取，从而得到图像特征和点云特征，即可以通过特征提取网络中的二维特征提取器和三维特征提取器，分别对图像数据和点云数据进行特征提取，从而得到相同通道数的图像特征和点云特征。
焦点卷积融合网络(Focal Conv-Fusion)则用于对图像特征和点云特征进行融合，得到融合特征；图3是本发明提供的焦点卷积融合网络的结构示意图，如图3所示，焦点卷积融合网络可以对对齐通道数后的图像特征与点云特征进行两次融合，具体而言，首先对图像特征和点云特征进行融合，得到第一融合特征；接着，对第一融合特征进行稀疏特征提取，得到第一稀疏特征(Sparse features)；随后，依据第一稀疏特征进行立方体重要性预测(Cubic importance prediction)，并对预测所得重要稀疏特征和图像特征进行融合，得到融合特征。
而在得到融合特征之后，即可对融合特征进行鸟瞰投影(To BEV)，以得到鸟瞰图特征，之后即可通过二维骨干网络(2D backbone)对鸟瞰图特征进行二维特征提取，得到二维特征图；此后，即可在二维特征图的基础上借助区域生成网络(RPN，Region ProposalNetwork)进行区域生成，从而得到各候选区域。
在这之后，还需通过障碍物检测模型中的目标检测模型(R-CNN，Region-Convolutional Neural Networks)进行障碍物检测，最终可以得到障碍物检测结果，具体而言，目标检测模型可以对各候选区域进行网格点采样，得到各网格点；然后可以对各网格点对应的非空体素的体素特征进行聚合，并基于聚合所得的特征进行体素感兴趣区域池化(Voxel RoI Pooling)，得到池化特征；而后可以将池化特征作为检测头(Detect Head)的输入，接着连接两个全连接层(FC，Fully connected)进行置信度分数预测和包围框回归，最终得到障碍物检测结果。
另外，在通过障碍物检测模型进行特征提取之前，还需要应用样本图像数据，样本点云数据以及对应的障碍物标签，预先训练得到障碍物检测模型。训练过程具体包括：首先，收集大量的样本图像数据以及样本点云数据，并对样本图像数据和样本点云数据进行时间同步和空间同步，以使同一时间空间下获取的多源数据(样本图像数据和样本点云数据)具有一致性；然后，标注样本图像数据以及样本点云数据中障碍物的障碍物类别和障碍物检测框，以形成障碍物标签；之后，即可基于样本图像数据，样本点云数据以及障碍物标签，对初始障碍物检测模型进行训练，从而得到训练完成的障碍物检测模型。
基于上述实施例，障碍物检测模型包括特征提取网络，特征提取网络包括图像特征提取分支和点云特征提取分支；
图像特征提取分支用于对图像数据进行特征提取，得到图像特征；点云特征提取分支用于对四维点云数据进行特征提取，得到点云特征，四维点云数据由点云数据进行体素化得到。
具体地，障碍物检测模型中的特征提取网络可以分为两个分支，分别为图像特征提取分支和点云特征提取分支；其中，点云特征提取分支中包含三维特征提取器，点云数据在体素化后可以输入三维特征提取器中进行特征提取，以得到点云特征。图像特征提取分支中包含二维特征提取器，图像数据可以直接输入二维特征提取器中进行特征提取，以得到与点云特征通道数相同的图像特征。
图4是本发明提供的三维特征提取器的结构示意图，如图4所示，三维特征提取器由常规稀疏卷积、子流形稀疏卷积和焦点卷积融合网络组成，其用于从体素化后的点云数据中提取点云特征。图5是本发明提供的二维特征提取器的结构示意图，如图5所示，二维特征提取器是在三层Conv-BatchNorm-ReLU(卷积层+批量归一化层+激活层)结构的基础上，结合残差网络和MLP(Multilayer Perceptron，多层感知机)构成的，其用于从图像数据中提取图像特征。
具体而言，本发明实施例中图像特征和点云特征的多模态融合上，在参数和融合策略方面均是轻量级的，即采用轻量级设计，二维特征提取器包含Conv-BatchNorm-ReLU结构、max pooling(最大池化)、残差网络结构和MLP；其中，原始输入的图像数据可以表示为3×X×Y，3为通道数，X和Y分别代表图像数据的长和宽。二维特征提取器中，首先通过Conv-BatchNorm-ReLU结构提取图像特征，接着使用max pooling将图像特征降采样为原来的四分之一，之后通过由3个经残差连接的Conv-BatchNorm-ReLU层进行进一步地特征提取，最后可以经由MLP将通道数由256减少到16，使其与三维特征提取器输出的点云特征的通道数相同，以便后续多模态的特征融合。
三维特征提取器则是在基准模型Voxel R-CNN的基础上构建的，其输入为点云数据进行体素化后得到的四维点云数据，此处四维点云数据可以表示为体素的X、Y和Z坐标，以及点云的反射强度；三维特征提取器中，首先四维点云数据经过子流形稀疏卷积进行1倍下采样，然后使用子流形块进行特征提取；接着，利用三次焦点卷积融合网络沿着X、Y和Z轴进行2倍、4倍和8倍下采样，以获得多尺度的三维特征，并在每次稀疏卷积后利用两个连续的子流形稀疏卷积块(SubM Block)提取特征，最后通过常规稀疏卷积沿着Z轴进行2倍下采样，将特征重塑为256×X/8×Y/8的伪图像表示。此处，子流形稀疏卷积块由子流形稀疏卷积、BatchNorm以及ReLu激活函数组成；各个子流形稀疏卷积块除了通道数的改变，其结构相同。
基于上述实施例，障碍物检测模型基于如下步骤训练：
确定初始图像数据，以及初始图像数据对应的初始点云数据；
对初始图像数据和初始点云数据进行时间频率同步和空间坐标同步，得到样本图像数据和样本点云数据；
基于样本图像数据，样本点云数据以及障碍物标签，对初始障碍物检测模型进行训练，得到障碍物检测模型。
具体地，障碍物检测模型的训练过程，具体包括以下步骤：
首先，需要确定初始图像数据，以及其对应的初始点云数据，此处初始图像数据及其对应的初始点云数据需是在同一时间空间下采集的，两者可以分别通过视觉系统和雷达系统采集得到。
随即，考虑到不同系统的采集频率、坐标等的不同，为使同一时间空间下获取的多源数据具有一致性，本发明实施例中，还需对不同系统采集的初始图像数据和初始点云数据进行预处理，以得到时间和空间均同步的样本图像数据和样本点云数据。
具体而言，可以对初始图像数据和初始点云数据分别进行时间和空间上的同步，从而得到具备一致性的样本图像数据和样本点云数据，即可以对初始图像数据和初始点云数据进行时间频率同步和空间坐标同步，从而得到样本图像数据和样本点云数据。
其中，时间同步可以分为硬同步与软同步，硬同步为用硬件触发器通过物理信号直接触发多个系统，使得多个系统能够在同一时刻触发以进行采样。软同步则是将多个系统采集的数据统一到频率较小的系统上，使得多个系统的每帧数据同步到统一的时间戳上。作为优选，本发明实施例中选用软同步方法进行时间频率同步，即可以通过通信机制分别订阅视觉系统和雷达系统的话题，话题中存储着对应的初始图像数据和初始点云数据，封装为消息进行传递，当接收到一帧雷达系统的初始点云数据时，确定时间最近的初始图像数据，并对此两者进行匹配同步，最后将同步后的初始点云数据与初始图像数据封装为消息后用不同的话题发布出去，如此即完成了数据间的时间频率同步。
图6是本发明提供的同步前多系统时间戳的示意图，如图6所示，未同步的两个系统的时间戳并不对应，例如，在0.0s时表示一帧图像时间戳信息的竖线(图6中上半部分)和表示一帧雷达时间戳信息的竖线(图6中下半部分)并不一致，并且视觉系统的时间戳信息出现的频率更高，表明视觉系统中相机的采集频率更高。图7是本发明提供的同步后多系统时间戳的示意图，如图7所示，从已同步的两个系统的时间戳可以观察得出，同步后的两个系统在采集时刻与频率上均十分接近，例如，时间上两个系统的时间戳均都是相隔0.1s采集一次，这表明两个系统的采集频率一致。
由于不同系统的坐标各不相同，为将采集的多源数据统一到同一坐标系下，需要进行空间同步。空间同步即通过各个系统采集的数据来计算不同系统间的外参矩阵和内参矩阵。具体在本发明实施例中，是采用离线标定工具对不同系统进行标定，即使用Autoware的calibration_toolkit开源工具标定雷达系统和视觉系统。
本发明实施例中，在使用Autoware的calibration_toolkit对视觉系统和雷达系统进行标定后，可以使用可视化工具对结果进行验证。图8是本发明提供的空间同步可视化结果的示意图，如图8所示，雷达系统的线束投射在图像上，其中投影到黑白棋盘格标定板边缘的线束平整，后方投射到树木的线束也投影出了大致轮廓，这表明雷达系统与视觉系统的空间同步结果较为精确。
而在得到时间空间均同步的样本图像数据和样本点云数据后，还需确定其对应的障碍物标签，此处可以使用标注软件(倍赛标注软件)对样本图像数据和样本点云数据进行标注，从而形成障碍物标签，即根据标注所需的标定参数，使用三维框标注每一帧样本点云数据中的障碍物，对应地，根据样本点云数据的标注结果可以自动映射到样本图像数据中，在样本图像数据中生成二维框。
此处，最终的标注结果可以包含障碍物的多种信息，例如，三维框中心点、三维框的长宽高及旋转角度、障碍物类别、二维框左上角及右下角的坐标等，下表为障碍物标签的设置格式，共有八个字段值。
而在确定障碍物标签之后，即可应用样本图像数据，样本点云数据以及障碍物标签，对初始障碍物检测模型进行训练，以得到训练完成的障碍物检测模型。此处的初始障碍物检测模型可以是在Fusion Voxel R-CNN深度学习网络的基础上构建的。
为评估训练所得的障碍物检测模型的检测能力，本发明实施例中选取多个具备代表性的主流方法进行对比，对比结果如下表所示，本发明实施例中，融合图像特征和点云特征进行障碍物检测的总体检测精度mAP为92.01％，相比基准模型Voxel R-CNN增加了3.94％，较之SECOND和PV-RCNN，分别增加了15.96％和2.34％。
并且，对于类别为车辆(拖拉机)的障碍物，Fusion Voxel R-CNN的检测精度AP3D为90.35％，相比于基准模型Voxel R-CNN增加了0.39％，较之SECOND和PV-RCNN，分别增加了12.27％和0.65％。对于类别为行人的障碍物，Fusion Voxel R-CNN的检测精度AP3D为93.67％，相较于基模型Voxel R-CNN增加了4.63％，较之SECOND和PV-RCNN，分别提高了19.66％和4.04％。
参见上表可知，本发明实施例中融合图像特征和点云特征，进行障碍物检测，图像特征和点云特征的融合能够使得由此得到的融合特征能够更加完整地反映障碍物的信息，其中不仅包含障碍物的纹理颜色信息，还囊括了障碍物的几何形状信息，从而可以使得据此进行的障碍物检测的精度更高，实现了障碍物检测精度和检测效率的提升。
除此之外，本发明实施例中还对障碍物检测模型的障碍物定位能力进行了对比验证，对比结果如下表所示，其中APbev表示鸟瞰图的检测精度，即从俯视图的视角对障碍物检测框与真值进行比较，从而得出模型对障碍物的定位精度。本发明实施例中，融合多模态特征的Fusion Voxel R-CNN在鸟瞰图的平均检测精度为92.08％，相比基准模型Voxel R-CNN定位精度提升了4.01％，较之SECOND和PV-RCNN提升了16.03％和2.41％。
并且，对于类别为车辆(拖拉机)的障碍物，Fusion Voxel R-CNN的鸟瞰图检测精度为90.47％，相比基准模型Voxel R-CNN(87.10％)，定位精度提升了3.37％，较之SECOND和PV-RCNN，定位精度分别提高了7.95％和0.77％。
参见上表可知，在RPN阶段融合图像特征能够提高模型在鸟瞰图检测时的精度。本发明实施例中，障碍物检测模型不仅定位精度高，召回率也高。
本发明实施例提供的方法，通过样本图像数据，样本点云数据以及障碍物标签，对初始障碍物检测模型进行训练，得到训练完成的障碍物检测模型，基于此障碍物检测模型进行障碍物检测时，仅需将图像数据和点云数据输入至障碍物检测模型，即可得到障碍物检测模型输出的相对于目标对象的障碍物检测结果，实现了端到端的模型训练，并且训练完成的障碍物检测模型可以自适应的选取表征障碍物特点的特征，从而极大地提升了障碍物检测的精度和效率。
下面对本发明提供的障碍物检测系统进行描述，下文描述的障碍物检测系统与上文描述的障碍物检测方法可相互对应参照。
图9是本发明提供的障碍物检测系统的结构示意图，如图9所示，该系统包括：
数据确定单元910，用于确定目标对象所处环境的图像数据和点云数据；
障碍物检测单元920，用于对所述图像数据和所述点云数据分别进行特征提取，并对特征提取所得的图像特征和点云特征进行融合，得到融合特征，对所述融合特征进行鸟瞰投影，基于投影所得的鸟瞰图特征进行障碍物检测，得到障碍物检测结果。
本发明提供的障碍物检测系统，通过对图像数据和点云数据分别进行特征提取，并对特征提取所得的图像特征和点云特征进行融合，得到融合特征，对融合特征进行鸟瞰投影，基于投影所得的鸟瞰图特征进行障碍物检测，得到障碍物检测结果，结合图像数据中丰富的纹理颜色信息，以及点云数据中蕴含的几何形状信息，可以实现对障碍物的精准检测，克服了传统方案中障碍物检测的精度低下的缺陷，实现了对所处环境中障碍物的精准识别与定位，提高了障碍物检测的精度。此外，还为农机自动驾驶提供了数据支撑，实现了驾驶过程中障碍物的及时检测，保证了驾驶效果。
基于上述实施例，障碍物检测单元920用于：
对所述鸟瞰图特征进行二维特征提取，得到二维特征图；
基于所述二维特征图进行区域生成，得到各候选区域；
基于所述各候选区域进行障碍物检测，得到障碍物检测结果。
基于上述实施例，障碍物检测单元920用于：
对所述各候选区域进行网格点采样，得到各网格点；
对所述各网格点对应的非空体素的体素特征进行聚合，并基于聚合所得的特征进行体素感兴趣区域池化，得到池化特征；
基于所述池化特征进行障碍物检测，得到障碍物检测结果。
基于上述实施例，障碍物检测单元920用于：
对所述图像特征和所述点云特征进行融合，得到第一融合特征；
对所述第一融合特征进行稀疏特征提取，得到第一稀疏特征；
基于所述第一稀疏特征进行立方体重要性预测，并对预测所得重要稀疏特征和所述图像特征进行融合，得到融合特征。
基于上述实施例，对所述图像数据和所述点云数据分别进行特征提取，并对特征提取所得的图像特征和点云特征进行融合，得到融合特征，对所述融合特征进行鸟瞰投影，基于投影所得的鸟瞰图特征进行障碍物检测，得到障碍物检测结果是基于障碍物检测模型实现的；
所述障碍物检测模型是基于样本图像数据，样本点云数据以及对应的障碍物标签训练得到的。
基于上述实施例，所述障碍物检测模型包括特征提取网络，所述特征提取网络包括图像特征提取分支和点云特征提取分支；
所述图像特征提取分支用于对所述图像数据进行特征提取，得到图像特征；所述点云特征提取分支用于对四维点云数据进行特征提取，得到点云特征，所述四维点云数据由所述点云数据进行体素化得到。
基于上述实施例，该系统还包括模型训练单元，用于：
确定初始图像数据，以及所述初始图像数据对应的初始点云数据；
对所述初始图像数据和所述初始点云数据进行时间频率同步和空间坐标同步，得到样本图像数据和样本点云数据；
基于所述样本图像数据，所述样本点云数据以及所述障碍物标签，对初始障碍物检测模型进行训练，得到所述障碍物检测模型。
本发明还提供一种农业机械，图10是本发明提供的农业机械的结构示意图，如图10所示，农业机械包括视觉系统1010、雷达系统1020，以及障碍物检测系统900；
视觉系统1010用于采集农业机械所处环境的图像数据，并将图像数据传输至障碍物检测系统900；
雷达系统1020用于采集农业机械所处环境的点云数据，并将点云数据传输至障碍物检测系统900；
障碍物检测系统900用于对图像数据和点云数据分别进行特征提取，并对特征提取所得的图像特征和点云特征进行融合，得到融合特征，对融合特征进行鸟瞰投影，基于投影所得的鸟瞰图特征进行障碍物检测，得到障碍物检测结果。
具体地，本发明实施例中农业机械包括视觉系统1010、雷达系统1020，以及障碍物检测系统900；其中，视觉系统1010和雷达系统1020分别用于采集农业机械所处环境的图像数据和点云数据，并将其传输至障碍物检测系统900。
下面以拖拉机为例，对各个系统的硬件集成进行说明：
以拖拉机为采集平台，将信息采集系统和障碍物检测系统900均部署于拖拉机上，对拖拉机进行改装和加装，利用拖拉机原有结构(如车头配重两端的螺孔等)，加装铝型材搭建系统支架。信息采集系统由两部分组成，分别为视觉系统1010和雷达系统1020雷达系统。
其中，雷达系统采用16线三维激光雷达，垂直视场角为30°(+/-15°)，水平视场角为360°，最大测距100m，采集频率为10Hz。视觉系统采用FLIR机器学习彩色相机，其分辨率为1920×1200，最大帧率为53FPS，采集频率为20Hz。障碍物检测系统900的工控机，其操作系统为Ubuntu 18.04，安装在拖拉机的驾驶舱内，其可以连接显示屏以可视化采集的图像数据和点云数据。
而在视觉系统1010和雷达系统1020将图像数据和点云数据传输至障碍物检测系统900之后，障碍物检测系统900可以依据图像数据和点云数据，进行障碍物检测，从而得到障碍物检测结果。
具体而言，障碍物检测系统900首先可以对图像数据和点云数据分别进行特征提取，从而得到图像特征和点云特征；此过程可以通过特征提取网络实现，即可以将图像数据和点云数据输入至特征提取网络，由特征提取网络分别对图像数据和点云数据进行特征提取，以提取图像数据中蕴含的障碍物相关区域的颜色纹理信息，从而得到图像特征，提取点云数据中表征障碍物的几何形状信息，从而得到点云特征。
需要说明的是，在对点云数据进行特征提取之前，还需对点云数据进行体素化，然后即可对体素化后的点云数据进行特征提取，即可将体素化后的点云数据输入至特征提取网络，以提取得到点云特征。
随即，考虑到图像特征和点云特征所表示的信息的不同，以及在表征障碍物特点的侧重点上的不同，因此，可以对此两者进行融合，以使图像特征和点云特征能够互相补充，从而可以得到更加完整全面的反映障碍物特点的特征，即图像数据和点云数据对应的融合特征。
此处，针对上述两者进行融合的情况，图像特征可以弥补点云特征中缺失的有关于障碍物的纹理颜色信息，点云特征可以补充图像特征中缺乏的有关于障碍物的几何形状信息，两者互相补充能够保证由此得到的融合特征能够更加完整地反映障碍物的信息，从而使得据此进行的障碍物检测的精度更高。此两者的融合方式可以是拼接、相加、加权融合等，本发明实施例对此不做具体限定。
之后，即可在此融合特征的基础上，确定鸟瞰图特征，并据此鸟瞰图特征进行障碍物检测，从而得到障碍物检测结果，即障碍物检测系统900可以对此融合特征进行鸟瞰投影，以将其投影到BEV，从而生成鸟瞰图特征；然后，即可在此鸟瞰图特征的基础上进行障碍物检测，从而得到障碍物检测结果，此处的障碍物检测结果包括障碍物类别(例如，行人、车辆等)和障碍物检测框(障碍物包围框)。
需要说明的是，此处通过在融合特征的基础上确定的鸟瞰图特征进行的障碍物检测，能够弥补传统方案中基于视觉的检测方法和基于雷达的检测方法进行障碍物检测时，对于障碍物的检测稳定性、检测精度和检测效果不佳的缺陷，通过图像数据和点云数据的结合，不仅能够稳定的识别障碍物，还可以准确可靠的检测出障碍物类别和障碍物包围框，提升了检测稳定性和检测精度。
而值得注意的是，障碍物检测系统900对图像数据和点云数据分别进行特征提取，并对特征提取所得的图像特征和点云特征进行融合，得到融合特征，对融合特征进行鸟瞰投影，基于投影所得的鸟瞰图特征进行障碍物检测，得到障碍物检测结果可以基于障碍物检测模型实现；障碍物检测模型则可以基于样本图像数据，样本点云数据以及对应的障碍物标签训练得到。
障碍物检测模型的训练过程，具体包括以下步骤：
首先，需要进行数据采集，即收集大量的样本图像数据以及样本点云数据，此处可以在拖拉机的工控机中，以bag包形式记录各系统采集的数据，由于拖拉机作业时，在耕、种、收环节搭载不同的机具从机耕道进入农田作业，因此，本发明实施例中在收集样本时，选取机耕道和农田两个场景进行数据采集；其中，机耕道场景记录了拖拉机在路旁停靠以及动态行人穿行道路的数据；农田场景则记录了多个拖拉机在不同作业条带以及行人多姿态动态穿行农田中的数据；样本采集参考实际的农业场景中，农机从机耕道行驶到农田作业的流程。
由于不同系统的采集频率、坐标等的不同，为使同一时间空间下获取的多源数据具有一致性，需要对不同系统采集的数据进行预处理，以得到时间和空间均同步的样本图像数据和样本点云数据。具体而言，可以对不同系统采集的数据进行时间频率同步和空间坐标同步，从而得到样本图像数据和样本点云数据。
其中，时间同步可以分为硬同步与软同步，硬同步为用硬件触发器通过物理信号直接触发多个系统，使得多个系统能够在同一时刻触发以进行采样。软同步则是将多个系统采集的数据统一到频率较小的系统上，使得多个系统的每帧数据同步到统一的时间戳上。作为优选，本发明实施例中选用软同步方法进行时间频率同步。
由于不同系统的坐标各不相同，为将采集的多源数据统一到同一坐标系下，需要进行空间同步。空间同步即通过各个系统采集的数据来计算不同系统间的外参矩阵和内参矩阵。具体在本发明实施例中，是采用离线标定工具对不同系统进行标定，即使用Autoware的calibration_toolkit开源工具标定雷达系统1020和视觉系统1010。
而在得到时间空间均同步的样本图像数据和样本点云数据后，还需确定其对应的障碍物标签，此处可以使用标注软件(倍赛标注软件)对样本图像数据和样本点云数据进行标注，从而形成障碍物标签，即根据标注所需的标定参数，使用三维框标注每一帧样本点云数据中的障碍物，对应地，根据样本点云数据的标注结果可以自动映射到样本图像数据中，在样本图像数据中生成二维框。
此处，最终的标注结果可以包含障碍物的多种信息，例如，三维框中心点、三维框的长宽高及旋转角度、障碍物类别、二维框左上角及右下角的坐标等，下表为障碍物标签的设置格式，共有八个字段值。
/>
之后，考虑到基于深度学习的障碍物检测模型的训练，需要农机作业场景下的训练数据集作为支撑，而当下正缺乏公开的农机作业场景下障碍物检测的训练数据集，因此本发明实施例中，可以参考汽车自动驾驶的基准数据集KITTI Vision Benchmark Suite的构建标准，通过样本图像数据，样本点云数据以及对应的障碍物标签，生成农机作业场景下障碍物检测模型的训练数据集。
此后，即可应用此训练数据集对初始障碍物检测模型进行训练，从而得到训练完成的障碍物检测模型。此处的初始障碍物检测模型可以是在Fusion Voxel R-CNN深度学习网络的基础上构建的。
本发明实施例中，应用样本图像数据，样本点云数据以及障碍物标签，训练得到障碍物检测模型，基于此障碍物检测模型进行障碍物检测时，仅需将图像数据和点云数据输入至障碍物检测模型，即可得到障碍物检测模型输出的相对于目标对象的障碍物检测结果，实现了端到端的模型训练，并且训练完成的障碍物检测模型可以自适应的选取表征障碍物特点的特征，极大地提升了障碍物检测的精度和效率。
本发明提供的农业机械，包括视觉系统、雷达系统以及障碍物检测系统，障碍物检测系统通过对图像数据和点云数据分别进行特征提取，并对特征提取所得的图像特征和点云特征进行融合，得到融合特征，对融合特征进行鸟瞰投影，基于投影所得的鸟瞰图特征进行障碍物检测，得到障碍物检测结果；结合图像数据中丰富的纹理颜色信息，以及点云数据中蕴含的几何形状信息，可以实现对障碍物的精准检测，克服了传统方案中障碍物检测精度低下，导致无法满足农机自动驾驶需求的缺陷，提高了障碍物检测的精度，实现了对所处环境中障碍物的精准识别与定位，为农机自动驾驶提供了数据支撑，实现了驾驶过程中障碍物的及时避让，保证了驾驶效果。
基于上述实施例，农业机械还包括位姿采集系统1030；
位姿采集系统1030用于采集农业机械的位置信息、姿态信息和速度信息，并将位置信息、姿态信息和速度信息传输至障碍物检测系统900；
障碍物检测系统900还用于基于障碍物检测结果、位置信息、姿态信息和速度信息，控制农业机械在农业机械所处环境下进行作业。
具体地，本发明实施例中，农业机械除视觉系统1010、雷达系统1020和障碍物检测系统900之外，还包括位姿采集系统1030，位姿采集系统1030可以采集农业机械的位置信息、姿态信息和速度信息，并可将位置信息、姿态信息和速度信息传输至障碍物检测系统900。
此处，位姿采集系统1030可以采用GNSS/IMU组合导航，将卫星定位与惯性测量相结合，为农业机械(拖拉机)提供实时高精度的位置、姿态、速度等信息，能够满足农业场景下长时间、高精度、高可靠性定位应用需求。位姿采集系统1030采集数据的更新率为100Hz。
并且，位姿采集系统1030、视觉系统1010和雷达系统1020可以通过不同方式连接到障碍物检测系统900的工控机上，其中，位姿采集系统1030中GNSS/IMU组合导航可以通过串口与工控机连接，视觉系统1010和雷达系统1020则通过以太网协议与工控机进行数据传输。
障碍物检测系统900则可以接收到位姿采集系统1030传输的位置信息、姿态信息和速度信息，并可以依据前述进行障碍物检测所得的障碍物检测结果，以及接收到的位置信息、姿态信息和速度信息，控制农业机械在农业机械所处环境下进行作业，实现农机(农业机械)的自动驾驶和自主作业。
本发明实施例提供的方法，结合位姿采集系统采集的位置信息、姿态信息和速度信息，以及障碍物检测结果，能够实现对农机行进方向环境的精准感知，从而可以使农机在自动驾驶过程中准确的避让障碍物，克服了传统方案中因障碍物检测的精度低下，导致农机难以准确及时的避让障碍物而无法实现自动驾驶的缺陷，实现了农机在农田作业场景下的自主驾驶。
图11示例了一种电子设备的实体结构示意图，如图11所示，该电子设备可以包括：处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory)1130和通信总线1140，其中，处理器1110，通信接口1120，存储器1130通过通信总线1140完成相互间的通信。处理器1110可以调用存储器1130中的逻辑指令，以执行障碍物检测方法，该方法包括：确定目标对象所处环境的图像数据和点云数据；对所述图像数据和所述点云数据分别进行特征提取，并对特征提取所得的图像特征和点云特征进行融合，得到融合特征，对所述融合特征进行鸟瞰投影，基于投影所得的鸟瞰图特征进行障碍物检测，得到障碍物检测结果。
此外，上述的存储器1130中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的障碍物检测方法，该方法包括：确定目标对象所处环境的图像数据和点云数据；对所述图像数据和所述点云数据分别进行特征提取，并对特征提取所得的图像特征和点云特征进行融合，得到融合特征，对所述融合特征进行鸟瞰投影，基于投影所得的鸟瞰图特征进行障碍物检测，得到障碍物检测结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法所提供的障碍物检测方法，该方法包括：确定目标对象所处环境的图像数据和点云数据；对所述图像数据和所述点云数据分别进行特征提取，并对特征提取所得的图像特征和点云特征进行融合，得到融合特征，对所述融合特征进行鸟瞰投影，基于投影所得的鸟瞰图特征进行障碍物检测，得到障碍物检测结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种障碍物检测方法，其特征在于，包括：
确定目标对象所处环境的图像数据和点云数据；
对所述图像数据和所述点云数据分别进行特征提取，并对特征提取所得的图像特征和点云特征进行融合，得到融合特征，对所述融合特征进行鸟瞰投影，基于投影所得的鸟瞰图特征进行障碍物检测，得到障碍物检测结果。
2.根据权利要求1所述的障碍物检测方法，其特征在于，所述基于投影所得的鸟瞰图特征进行障碍物检测，得到障碍物检测结果，包括：
对所述鸟瞰图特征进行二维特征提取，得到二维特征图；
基于所述二维特征图进行区域生成，得到各候选区域；
基于所述各候选区域进行障碍物检测，得到障碍物检测结果。
3.根据权利要求2所述的障碍物检测方法，其特征在于，所述基于所述各候选区域进行障碍物检测，得到障碍物检测结果，包括：
对所述各候选区域进行网格点采样，得到各网格点；
对所述各网格点对应的非空体素的体素特征进行聚合，并基于聚合所得的特征进行体素感兴趣区域池化，得到池化特征；
基于所述池化特征进行障碍物检测，得到障碍物检测结果。
4.根据权利要求1至3任一项所述的障碍物检测方法，其特征在于，所述对特征提取所得的图像特征和点云特征进行融合，得到融合特征，包括：
对所述图像特征和所述点云特征进行融合，得到第一融合特征；
对所述第一融合特征进行稀疏特征提取，得到第一稀疏特征；
基于所述第一稀疏特征进行立方体重要性预测，并对预测所得重要稀疏特征和所述图像特征进行融合，得到融合特征。
5.根据权利要求1至3任一项所述的障碍物检测方法，其特征在于，对所述图像数据和所述点云数据分别进行特征提取，并对特征提取所得的图像特征和点云特征进行融合，得到融合特征，对所述融合特征进行鸟瞰投影，基于投影所得的鸟瞰图特征进行障碍物检测，得到障碍物检测结果是基于障碍物检测模型实现的；
所述障碍物检测模型是基于样本图像数据，样本点云数据以及对应的障碍物标签训练得到的。
6.根据权利要求5所述的障碍物检测方法，其特征在于，所述障碍物检测模型包括特征提取网络，所述特征提取网络包括图像特征提取分支和点云特征提取分支；
所述图像特征提取分支用于对所述图像数据进行特征提取，得到图像特征；所述点云特征提取分支用于对四维点云数据进行特征提取，得到点云特征，所述四维点云数据由所述点云数据进行体素化得到。
7.根据权利要求5所述的障碍物检测方法，其特征在于，所述障碍物检测模型基于如下步骤训练：
确定初始图像数据，以及所述初始图像数据对应的初始点云数据；
对所述初始图像数据和所述初始点云数据进行时间频率同步和空间坐标同步，得到样本图像数据和样本点云数据；
基于所述样本图像数据，所述样本点云数据以及所述障碍物标签，对初始障碍物检测模型进行训练，得到所述障碍物检测模型。
8.一种障碍物检测系统，其特征在于，包括：
数据确定单元，用于确定目标对象所处环境的图像数据和点云数据；
障碍物检测单元，用于对所述图像数据和所述点云数据分别进行特征提取，并对特征提取所得的图像特征和点云特征进行融合，得到融合特征，对所述融合特征进行鸟瞰投影，基于投影所得的鸟瞰图特征进行障碍物检测，得到障碍物检测结果。
9.一种农业机械，其特征在于，包括视觉系统、雷达系统，以及障碍物检测系统；
所述视觉系统用于采集所述农业机械所处环境的图像数据，并将所述图像数据传输至所述障碍物检测系统；
所述雷达系统用于采集所述农业机械所处环境的点云数据，并将所述点云数据传输至所述障碍物检测系统；
所述障碍物检测系统用于对所述图像数据和所述点云数据分别进行特征提取，并对特征提取所得的图像特征和点云特征进行融合，得到融合特征，对所述融合特征进行鸟瞰投影，基于投影所得的鸟瞰图特征进行障碍物检测，得到障碍物检测结果。
10.根据权利要求9所述的农业机械，其特征在于，还包括位姿采集系统；
所述位姿采集系统用于采集所述农业机械的位置信息、姿态信息和速度信息，并将所述位置信息、所述姿态信息和所述速度信息传输至所述障碍物检测系统；
所述障碍物检测系统还用于基于所述障碍物检测结果、所述位置信息、所述姿态信息和所述速度信息，控制所述农业机械在所述农业机械所处环境下进行作业。
11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的障碍物检测方法。
12.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的障碍物检测方法。
CN202310418304.9A 2023-04-18 2023-04-18 障碍物检测方法、系统、农业机械、电子设备和存储介质 Pending CN116630931A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310418304.9A CN116630931A (zh) 2023-04-18 2023-04-18 障碍物检测方法、系统、农业机械、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310418304.9A CN116630931A (zh) 2023-04-18 2023-04-18 障碍物检测方法、系统、农业机械、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN116630931A true CN116630931A (zh) 2023-08-22

Family

ID=87637289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310418304.9A Pending CN116630931A (zh) 2023-04-18 2023-04-18 障碍物检测方法、系统、农业机械、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN116630931A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152719A (zh) * 2023-11-01 2023-12-01 锐驰激光(深圳)有限公司 除草障碍物检测方法、设备、存储介质及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152719A (zh) * 2023-11-01 2023-12-01 锐驰激光(深圳)有限公司 除草障碍物检测方法、设备、存储介质及装置
CN117152719B (zh) * 2023-11-01 2024-03-26 锐驰激光(深圳)有限公司 除草障碍物检测方法、设备、存储介质及装置

Similar Documents

Publication Publication Date Title
CN109583415B (zh) 一种基于激光雷达与摄像机融合的交通灯检测与识别方法
JP2023523243A (ja) 障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム
CN113743391A (zh) 应用于低速自主驾驶机器人的三维障碍物检测系统与方法
CN113378760A (zh) 训练目标检测模型和检测目标的方法及装置
CN113160327A (zh) 一种点云补全的实现方法和系统
CN114295139A (zh) 一种协同感知定位方法及系统
CN114821507A (zh) 一种用于自动驾驶的多传感器融合车路协同感知方法
CN109583312A (zh) 车道线识别方法、装置、设备及存储介质
CN113050122A (zh) 一种基于卷积神经网络感知动态障碍物速度的方法及系统
CN116630931A (zh) 障碍物检测方法、系统、农业机械、电子设备和存储介质
CN113988197A (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法
CN111833443A (zh) 自主机器应用中的地标位置重建
CN117576652A (zh) 道路对象的识别方法、装置和存储介质及电子设备
CN107607939B (zh) 一种基于真实地图及影像的光学目标跟踪定位雷达装置
EP3223188A1 (en) A vehicle environment mapping system
CN110827340B (zh) 地图的更新方法、装置及存储介质
CN115082690B (zh) 目标识别方法、目标识别模型训练方法及装置
WO2023283929A1 (zh) 双目相机外参标定的方法及装置
Bhatlawande et al. LIDAR based Detection of Small Vehicles
CN112766100A (zh) 一种基于关键点的3d目标检测方法
CN117593686B (zh) 基于车况真值数据的模型评测方法和装置
CN117591847B (zh) 基于车况数据的模型指向评测方法和装置
US20220309693A1 (en) Adversarial Approach to Usage of Lidar Supervision to Image Depth Estimation
Oh et al. Automatic Pseudo-LiDAR Annotation: Generation of Training Data for 3D Object Detection Networks
CN117593892B (zh) 真值数据的获取方法和装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication