CN114819135A - 检测模型的训练方法、目标检测方法、装置和存储介质 - Google Patents

检测模型的训练方法、目标检测方法、装置和存储介质 Download PDF

Info

Publication number
CN114819135A
CN114819135A CN202210272753.2A CN202210272753A CN114819135A CN 114819135 A CN114819135 A CN 114819135A CN 202210272753 A CN202210272753 A CN 202210272753A CN 114819135 A CN114819135 A CN 114819135A
Authority
CN
China
Prior art keywords
laser data
knowledge distillation
laser
network
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210272753.2A
Other languages
English (en)
Inventor
黎嘉信
韦祎
秦宝星
程昊天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Gaussian Automation Technology Development Co Ltd
Original Assignee
Shanghai Gaussian Automation Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Gaussian Automation Technology Development Co Ltd filed Critical Shanghai Gaussian Automation Technology Development Co Ltd
Priority to CN202210272753.2A priority Critical patent/CN114819135A/zh
Publication of CN114819135A publication Critical patent/CN114819135A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Electromagnetism (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例涉及一种检测模型的训练方法、目标检测方法、装置和存储介质。该方法包括：根据第一激光数据，生成第二激光数据；其中，所述第一激光数据的线数高于所述第二激光数据；基于所述第二激光数据、知识蒸馏教师网络和预设的损失函数训练知识蒸馏学生网络，得到目标学生网络；其中，所述知识蒸馏教师网络与所述第一激光数据相关，且所述知识蒸馏教师网络和所述知识蒸馏学生网络的结构相同。该方法在采用低线数激光雷达的应用场景下，充分利用了公开的大规模高线数数据集，避免了重新采集训练数据集，且采用知识蒸馏方式使得目标学生网络能够学习到知识蒸馏教师网络中的参数，提升了目标学生网络的性能。

Description

检测模型的训练方法、目标检测方法、装置和存储介质
技术领域
本申请实施例涉及计算机技术领域，特别是涉及一种检测模型的训练方法、目标检测方法、装置和存储介质。
背景技术
众所周知，激光雷达传感器广泛应用于自主体(如机器人)的建图、定位以及环境感知等方面。高线数激光雷达能够提供准确的三维信息，但是其价格也是昂贵的。因此，在一些较低成本的产品中，通常部署的是低线数激光雷达，这中间就存在着线数导致的域差异问题。然而，现有公开数据集大部分都是通过高线数激光雷达采集到的，那么，对于低线数激光雷达的应用场景，为了避免反复重新采集该应用场景下的数据集，如何使用高线数公开数据集训练用于低线数应用场景中的检测模型是本领域技术人员亟待解决的技术问题。
发明内容
本申请实施例提供一种检测模型的训练方法、目标检测方法、装置和存储介质。
第一方面，本申请实施例提供一种检测模型的训练方法，包括：
根据第一激光数据，生成第二激光数据；其中，所述第一激光数据的线数高于所述第二激光数据；
基于所述第二激光数据、知识蒸馏教师网络和预设的损失函数训练知识蒸馏学生网络，得到目标学生网络；其中，所述知识蒸馏教师网络和所述知识蒸馏学生网络的结构相同。
进一步地，该方法还包括：
确定所述第一激光数据的线数与所述第二激光数据的线数的差值；
如果所述差值大于预设值，则将所述目标学生网络作为所述知识蒸馏教师网络，并继续执行所述根据第一激光数据，生成第二激光数据的步骤，直至所述第二激光数据的线数等于目标线数。
进一步地，所述知识蒸馏教师网络基于所述第一激光数据训练得到。
进一步地，所述根据第一激光数据，生成第二激光数据，包括：
确定待生成激光数据相对于第一激光数据的等效线数；
按照所述等效线数对所述第一激光数据进行下采样，以生成第二激光数据。
进一步地，所述确定待生成激光数据相对于第一激光数据的等效线数，包括：
获取第一激光数据对应的第一垂直视场角及待生成激光数据对应的第二垂直视场角；
基于所述第一垂直视场角、所述第二垂直视场角和所述待生成激光数据的线数，确定所述待生成激光数据相对于第一激光数据的等效线数。
进一步地，所述第一垂直视场角为获取所述第一激光数据的第一激光雷达对应的垂直视场角；所述第二垂直视场角为获取所述第二激光数据的第二激光雷达对应的垂直视场角。
进一步地，基于所述第一垂直视场角、所述第二垂直视场角和所述待生成激光数据的线数，确定所述待生成激光数据相对于第一激光数据的等效线数，包括：
确定所述第一垂直视场角和所述第二垂直视场角的比值后，计算所述比值和所述待生成激光数据的线数的乘积；
将所述乘积确定为所述等效线数。
进一步地，所述按照所述等效线数对所述第一激光数据进行下采样，以生成第二激光数据，包括：
将所述第一激光数据中的各激光点分类到所述第一激光数据对应的线中，得到第三激光数据；
将所述第三激光数据的线数下采样到等效线数，得到第二激光数据。
进一步地，所述将所述第一激光数据中的各激光点分类到所述第一激光数据对应的线中，得到第三激光数据，包括：
基于所述第一激光数据中各激光点的天顶角对所述第一激光数据进行聚类操作，从而将各激光点分类到所述第一激光数据对应的线中。
进一步地，所述损失函数包括所述知识蒸馏学生网络学习所述第二激光数据中标签数据的第一损失函数，以及所述知识蒸馏学生网络学习所述知识蒸馏教师网络的第二损失函数。
进一步地，所述第二损失函数的参数包括：所述第二激光数据的样本数量，所述第二激光数据中各样本的感兴趣区域数量，所述知识蒸馏教师网络在各样本的鸟瞰特征图中的各感兴趣区域的特征，所述知识蒸馏学生网络在各样本的鸟瞰特征图中的各感兴趣区域的特征。
进一步地，所述基于所述第二激光数据、知识蒸馏教师网络和预设的损失函数训练知识蒸馏学生网络，得到目标学生网络，包括：
将所述第二激光数据输入到所述知识蒸馏学生网络，利用所述第一子损失函数对所述知识蒸馏学生网络的实际输出进行计算，获得所述知识蒸馏学生网络的第一损失值；
利用所述第二子损失函数对所述知识蒸馏学生网络和所述知识蒸馏教师网络在对应鸟瞰特征图中感兴趣区域的特征进行计算，获得所述知识蒸馏学生网络的第二损失值；
基于所述第一损失值和所述第二损失值对所述知识蒸馏学生网络的参数进行调整，直至所述知识蒸馏学生网络收敛。第二方面，本申请实施例提供一种目标检测方法，包括：
获取第四激光数据；其中，所述第四激光数据为多线激光数据；
通过预设的检测模型确定所述第四激光数据中的目标对象；
其中，所述检测模型利用本申请实施例第一方面提供的所述方法得到。
第三方面，本申请实施例提供一种检测模型的训练装置，包括：
生成模块，用于根据第一激光数据，生成第二激光数据；其中，所述第一激光数据的线数高于所述第二激光数据；
训练模块，用于基于所述第二激光数据、知识蒸馏教师网络和预设的损失函数训练知识蒸馏学生网络，得到目标学生网络；其中，所述知识蒸馏教师网络和所述知识蒸馏学生网络的结构相同。
第四方面，本申请实施例提供一种目标检测装置，包括：
获取模块，用于获取第四激光数据；其中，所述第四激光数据为多线激光数据；
确定模块，用于通过预设的检测模型确定所述第四激光数据中的目标对象；
其中，所述检测模型利用本申请实施例第一方面提供的所述方法得到。
第五方面，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本申请实施例第一方面提供的所述检测模型的训练方法以及第二方面提供的所述目标检测方法的步骤。
第六方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例第一方面提供的所述检测模型的训练方法以及第二方面提供的所述目标检测方法的步骤。
第七方面，一种机器人，用于：将第四激光数据发送至服务器；接收服务器下发的第二方面提供的目标检测方法确定的所述第四激光数据对应的目标对象，并基于所述目标对象执行预设任务，所述预设任务包括基于规划路径行进和/或清洁。
本申请实施例提供的技术方案，能够基于高线数第一激光数据，生成低线数第二激光数据，并基于第二激光数据、知识蒸馏教师网络和预设的损失函数训练知识蒸馏学生网络，从而得到目标学生网络，在采用低线数激光雷达的应用场景下，充分利用了公开的大规模高线数数据集，避免了重新采集训练数据集，且采用知识蒸馏方式使得目标学生网络能够学习到知识蒸馏教师网络中的参数，提升了目标学生网络的性能。
附图说明
图1为本申请实施例提供的检测模型的训练方法的一种流程示意图；
图2为本申请实施例提供的检测模型的训练方法的另一种流程示意图；
图3为本申请实施例提供的检测模型的训练方法的又一种流程示意图；
图4为本申请实施例提供的检测模型的训练方法的一种原理示意图；
图5为本申请实施例提供的目标检测方法的一种流程示意图；
图6为本申请实施例提供的检测模型的训练装置的一种结构示意图；
图7为本申请实施例提供的目标检测装置的一种结构示意图；
图8为本申请实施例提供的电子设备的一种结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，通过下述实施例并结合附图，对本申请实施例中的技术方案进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，下述方法实施例的执行主体可以是检测模型的训练装置，该装置可以通过软件、硬件或者软硬件结合的方式实现成为电子设备的部分或者全部。可选的，该电子设备可以为客户端，包括但不限于智能手机、平板电脑、电子书阅读器以及车载终端等。当然，该电子设备也可以为独立的服务器或者服务器集群，该电子设备还可以是自主体(如各种机器人等)，本申请实施例对电子设备的具体形式不做限定。下述方法实施例以执行主体是电子设备为例进行说明。
图1为本申请实施例提供的检测模型的训练方法的一种流程示意图。本实施例涉及的是电子设备如何利用高线数激光数据训练用于对低线数激光数据进行处理的检测模型的具体过程。如图1所示，该方法可以包括：
S101、根据第一激光数据，生成第二激光数据。
其中，所述第一激光数据的线数高于所述第二激光数据，第一激光数据和第二激光数据均为多线激光数据，即第一激光数据为源域的高线数激光数据，由高线数激光雷达采集得到，为真实激光数据，比如64线激光数据，第二激光数据相对于第一激光数据的线数较低，比如32线激光数据或者16线激光数据等。
现有公开数据集多为高线数激光数据，比如高线数自动驾驶数据集，在本申请实施例中，可以充分利用高线数激光数据生成所需的低线数激光数据，这里的低线数激光数据是相对于第一激光数据而言。具体的，电子设备可以基于雷达点云蒸馏算法对源域的高线数激光数据(即第一激光数据)进行下采样，从而得到所需的目标域的低线数激光数据(即第二激光数据)。第二激光数据的线数可以基于实际需求进行设置，示例性的，假如实际产品上部署的是低线数激光雷达，比如16线激光雷达，若现有公开数据集是通过64线激光雷达采集得到，这样，对于每一代产品都去重新采集训练数据集是非常费时费力的，此时可以利用已有的64线激光数据生成所需的16线激光数据。
S102、基于所述第二激光数据、知识蒸馏教师网络和预设的损失函数训练知识蒸馏学生网络，得到目标学生网络。
其中，所述知识蒸馏教师网络与所述第一激光数据相关，且所述知识蒸馏教师网络和所述知识蒸馏学生网络的结构相同。
上述知识蒸馏教师网络和知识蒸馏学生网络可以为深度学习卷积神经网络，也可以为其它的网络结构，在本申请实施例中，知识蒸馏教师网络和知识蒸馏学生网络采用相同的网络结构，上述知识蒸馏教师网络是在相对较高线数的激光数据上训练得到的，在一种可选地实施方式中，上述知识蒸馏教师网络基于第一激光数据训练得到。在得到第二激光数据之后，电子设备可以将第二激光数据作为训练数据，通过训练好的知识蒸馏教师网络对知识蒸馏学生网络进行蒸馏训练，并采用预设的损失函数对知识蒸馏学生网络的参数进行反向传播，直至达到知识蒸馏学生网络收敛，从而得到目标学生网络。采用上述知识蒸馏方式进行训练，能够将高线数激光数据中的丰富信息量传递给知识蒸馏学生网络，提高目标学生网络的泛化能力。
本申请实施例提供的技术方案，能够基于高线数第一激光数据，生成低线数第二激光数据，并基于第二激光数据、知识蒸馏教师网络和预设的损失函数训练知识蒸馏学生网络，从而得到目标学生网络，在采用低线数激光雷达的应用场景下，充分利用了公开的大规模高线数数据集，避免了重新采集训练数据集，且采用知识蒸馏方式使得目标学生网络能够学习到知识蒸馏教师网络中的参数，提升了目标学生网络的性能。
在实际应用中，源域激光数据和所需的目标域激光数据之间的线数差异可能较小，也可以较大。例如，源域激光数据(即上述第一激光数据)的线数为64，所需的目标域激光数据的线数为32，即源域和目标域之间的线数差异不大，在此情况下，知识蒸馏学生网络能够很好地向知识蒸馏教师网络进行学习；若所需的目标域的线数为16，即源域和目标域之间的线数差异较大，在此情况下，知识蒸馏学生网络无法很好地向知识蒸馏教师网络进行学习。
为此，在一个实施例中，在源域和目标域之间的线数的差值小于预设值的情况下，可以按照下述过程进行检测模型的训练，其中，预设值可以根据实际需求进行设置。如图2所示，该方法可以包括：
S201、根据所述第一激光数据训练知识蒸馏教师网络。
其中，可以将第一激光数据作为训练数据，对第一激光数据进行标注，然后利用标注后的数据对知识蒸馏教师网络进行训练，具体的，可以利用知识蒸馏教师网络的损失函数计算知识蒸馏教师网络的实际输出和标注结果之间的损失值，根据损失值进行反向传播训练，直至损失收敛，得到训练好的知识蒸馏教师网络。
S202、根据第一激光数据，生成第二激光数据。
其中，所述第一激光数据的线数高于所述第二激光数据。
S203、基于所述第二激光数据、知识蒸馏教师网络和预设的损失函数训练知识蒸馏学生网络，得到目标学生网络。
继续以源域激光数据的线数为64，所需的目标域的线数为32为例进行介绍，电子设备可以通过对64线激光数据进行下采样，生成32线激光数据，并使用64线激光数据训练知识蒸馏教师网络，然后利用32线激光数据、训练好的知识蒸馏教师网络以及预设的损失函数对知识蒸馏学生网络进行蒸馏训练，从而得到目标学生网络。其中，该目标学生网络即为用于对32线激光数据进行处理的检测模型。
在一个实施例中，在源域和目标域之间的线数的差值大于预设值的情况下，可选地，可以将得到的目标学生网络作为知识蒸馏教师网络，并继续执行所述根据第一激光数据，生成第二激光数据的步骤，直至所述第二激光数据的线数等于目标线数，即可以对知识蒸馏学生网络进行逐步蒸馏训练，直至达到所需的目标线数。具体的，可以按照下述过程进行检测模型的训练，如图3所示，该方法可以包括：
S301、根据所述第一激光数据训练知识蒸馏教师网络。
S302、根据第一激光数据，生成第二激光数据。
S303、基于所述第二激光数据、知识蒸馏教师网络和预设的损失函数训练知识蒸馏学生网络，得到目标学生网络。
S304、将目标学生网络作为下一次用于训练知识蒸馏学生网络的知识蒸馏教师网络，并设置下一次待生成的第二激光数据的线数。
接着，继续执行上述S302的步骤，直至第二激光数据的线数等于目标线数为止，从而得到最终所需的目标学生网络，即检测模型。
参见图4，继续以源域激光数据的线数为64，所需的目标域的线数为16为例进行介绍，电子设备可以通过真实的64线激光数据生成32线激光数据，然后利用32线激光数据、采用64线激光数据训练得到的知识蒸馏教师网络以及预设的损失函数对知识蒸馏学生网络进行蒸馏训练，从而得到用于处理32线激光数据的目标学生网络。进一步地，电子设备可以将该目标学生网络作为下一次训练知识蒸馏学生网络所需的知识蒸馏教师网络，并通过64线激光数据生成16线激光数据，使用16线激光数据、新的知识蒸馏教师网络(即上一步得到的目标学生网络)以及预设的损失函数对知识蒸馏学生网络进行蒸馏训练，从而得到用于处理16线激光数据的目标学生网络。
需要说明的是，由于上述生成的32线激光数据以及16线激光数据并不是真实的激光数据，因此将生成的32线激光数据称为伪32线激光数据，以及将生成的16线激光数据称为伪16线激光数据。
在本实施例中，首先可以确定源域和目标域之间的线数的差值，如果差值小于预设值，则根据第二激光数据和知识蒸馏教师网络对知识蒸馏学生网络进行蒸馏学习得到目标学生网络；如果差值大于预设值，则根据第二激光数据和知识蒸馏教师网络对知识蒸馏学生网络进行蒸馏学习得到目标学生网络后，进一步将目标学生网络作为知识蒸馏教师网络，再次确定目标学生网络，直至第二激光数据的线数等于目标线数，实现逐步对知识蒸馏学生网络得蒸馏学习，使得知识蒸馏学生网络能够较好地向知识蒸馏教师网络学习高线数激光数据中的特征，从而进一步提升目标学生网络的性能。
在一个实施例中，可选地，根据第一激光数据生成第二激光数据的过程可以为：
确定待生成激光数据相对于第一激光数据的等效线数；
按照所述等效线数对所述第一激光数据进行下采样，以生成第二激光数据。
其中，由于不同线数的激光雷达的垂直视场角不同，即源域激光数据和待生成激光数据对应的垂直视场角不同，直接对源域激光数据进行下采样，下采样后的激光数据可能会与同线数的真实激光数据之间存在一些偏差，无法准确地模拟所需的真实激光数据，因此，可以先计算待生成激光数据相对于第一激光数据的等效线数，再基于等效线数对第一激光数据进行下采样，从而生成第二激光数据。
可选地，可以获取第一激光数据对应的第一垂直视场角及待生成激光数据对应的第二垂直视场角，并基于所述第一垂直视场角、所述第二垂直视场角和所述待生成激光数据的线数，确定所述待生成激光数据相对于第一激光数据的等效线数。
其中，第一垂直视场角为获取第一激光数据的第一激光雷达对应的垂直视场角；第二垂直视场角为获取第二激光数据的第二激光雷达对应的垂直视场角。
优选地，基于所述第一垂直视场角、所述第二垂直视场角和所述待生成激光数据的线数，确定所述待生成激光数据相对于第一激光数据的等效线数，包括：
确定所述第一垂直视场角和所述第二垂直视场角的比值后，计算所述比值和所述待生成激光数据的线数的乘积；将所述乘积确定为所述等效线数。
具体的，电子设备可以按照下述公式1或者下述公式1的变型，来确定待生成激光数据相对于第一激光数据的等效线数Bt′：
公式1：
Figure BDA0003554408030000121
其中，[αs,βs]表示第一激光数据对应的第一垂直视场角，[αt,βt]表示待生成激光数据对应的第二垂直视场角，Bt表示待生成激光数据的线数。
进一步地，在对第一激光数据进行下采样时，需要按照第一激光数据中的每条线进行下采样。为此，电子设备可以将第一激光数据中的各激光点分类到第一激光数据对应的线中，从而得到第三激光数据，然后将第三激光数据的线数下采样到等效线数，得到第二激光数据。
可选地，可以基于第一激光数据中各激光点的天顶角对第一激光数据进行聚类操作，从而将各激光点分类到第一激光数据对应的线中。具体的，可以按照下述公式2或者公式2的变型计算各激光点的天顶角θ：
公式2：
Figure BDA0003554408030000122
其中，x，y，z为第一激光数据中各激光点的笛卡尔坐标。
在得到各激光点的天顶角后，对所有激光点的天顶角进行K-Means聚类操作，得到多个类，每类中心表示第一激光数据各线的天顶角，从而实现将各激光点分类到第一激光数据对应的线中。进一步地，将分类后的第三激光数据的Bs条线下采样到Bt′条线，避免直接将Bs条线下采样到Bt条线导致所生成的激光数据与真实激光数据偏差过大的问题。
在本实施例中，通过计算待生成激光数据相对于第一激光数据的等效线数，按照等效线数对第一激光数据进行下采样，减小了下采样后的激光数据与所需的真实激光数据之间的偏差，使得所生成的第二激光数据能够更加准确地模拟所需的真实激光数据。
在一个实施例中，可选地，所述损失函数包括所述知识蒸馏学生网络学习所述第二激光数据中标签数据的第一损失函数，以及所述知识蒸馏学生网络学习所述知识蒸馏教师网络的第二损失函数；所述第二损失函数的参数包括：所述第二激光数据的样本数量，所述第二激光数据中各样本的感兴趣区域数量，所述知识蒸馏教师网络在各样本的鸟瞰特征图中的各感兴趣区域的特征，所述知识蒸馏学生网络在各样本的鸟瞰特征图中的各感兴趣区域的特征。
其中，第一子损失函数用于表示知识蒸馏学生网络学习第二激光数据中标签数据的损失函数，第二子损失函数用于表示知识蒸馏学生网络学习知识蒸馏教师网络的损失函数。
具体的，上述损失函数的表达式可以为下述公式3或者公式3的变型：
公式3：
Figure BDA0003554408030000131
其中，Lgt为第一子损失函数，
Figure BDA0003554408030000132
为第二子损失函数，λ为第二子损失函数对应的权重，N表示第二激光数据的样本数量，Mi表示第i个样本中的感兴趣区域数量，
Figure BDA0003554408030000133
表示知识蒸馏教师网络在第i个样本鸟瞰特征图中的第j个感兴趣区域的特征，
Figure BDA0003554408030000134
表示知识蒸馏学生网络在第i个样本鸟瞰特征图中的第j个感兴趣区域的特征。
进一步地，可选地，上述基于第二激光数据、知识蒸馏教师网络和预设的损失函数训练知识蒸馏学生网络，得到目标学生网络包括：
将所述第二激光数据输入到所述知识蒸馏学生网络，利用所述第一子损失函数对所述知识蒸馏学生网络的实际输出进行计算，获得所述知识蒸馏学生网络的第一损失值；
利用所述第二子损失函数对所述知识蒸馏学生网络和所述知识蒸馏教师网络在对应鸟瞰特征图中感兴趣区域的特征进行计算，获得所述知识蒸馏学生网络的第二损失值；其中，所述鸟瞰特征图基于所述第二激光数据得到；
基于所述第一损失值和所述第二损失值对所述知识蒸馏学生网络的参数进行调整，直至所述知识蒸馏学生网络收敛。
其中，由于知识蒸馏教师网络和知识蒸馏学生网络的稀疏三维特征位置不同，因此无法简单地让知识蒸馏学生网络去模仿知识蒸馏教师网络的稀疏三维特征，因此，在本申请实施例中可以将知识蒸馏教师网络和知识蒸馏学生网络的三维特征投影到二维鸟瞰图上，得到鸟瞰特征图，让知识蒸馏学生网络学习知识蒸馏教师网络在鸟瞰特征图中的特征。并且，由于鸟瞰特征图维度非常高，直接回归高维向量容易导致知识蒸馏学生网络不易收敛，同时考虑到鸟瞰特征图中存在很多低响应区域，低响应区域的特征往往是不重要的。因此，可以提取鸟瞰特征图中的感兴趣区域，并让知识蒸馏学生网络在这些感兴趣区域上执行学习操作。这样，通过学习知识蒸馏教师网络在鸟瞰特征图中感兴趣区域的特征，使得知识蒸馏学生网络能够学习到知识蒸馏教师网络中比较重要的参数，不仅加快了目标学生网络的收敛速度，还进一步提升了目标学生网络的性能。
图5为本申请实施例提供的目标检测方法的一种流程示意图。如图5所示，该方法可以包括：
S501、获取第四激光数据。
其中，所述第四激光数据为多线激光数据，即第四激光数据可以是低线数激光雷达所采集的数据。
S502、通过预设的检测模型确定所述第四激光数据中的目标对象。
在得到第四激光数据之后，将第四激光数据输入至预先训练好的检测模型，通过该检测模型确定第四激光数据中的目标对象。比如，检测第四激光数据中是否存在障碍物。其中，该检测模型通过上述任一实施例所述的检测模型的训练方法得到。
示例性的，以清洁机器人为例，考虑到清洁机器人的成本，清洁机器人上部署的是低线数激光雷达，那么可以通过上述训练方法得到检测模型，并将该检测模型部署在清洁机器人中。在清洁机器人工作过程中，清洁机器人通过低线数激光雷达采集运行环境中的激光数据，并将采集到的激光数据输入至检测模型中，通过检测模型确定运行环境中是否存在障碍物等目标对象，从而为后续的路线规划提供决策依据。
由于本申请实施例中，采用了上述检测模型的训练方法得到的检测模型进行目标对象检测，从而可以在目标对象检测的过程中提高检测结果的准确性。
图6为本申请实施例提供的检测模型的训练装置的一种结构示意图。如图6所示，该装置可以包括：生成模块601和训练模块602。
生成模块601用于根据第一激光数据，生成第二激光数据；其中，所述第一激光数据的线数高于所述第二激光数据；
训练模块602用于基于所述第二激光数据、知识蒸馏教师网络和预设的损失函数训练知识蒸馏学生网络，得到目标学生网络；其中，所述知识蒸馏教师网络和所述知识蒸馏学生网络的结构相同。
在上述实施例的基础上，可选地，该装置还包括：处理模块。
具体的，处理模块用于将所述目标学生网络作为所述知识蒸馏教师网络，并继续执行所述根据第一激光数据，生成第二激光数据的步骤，直至所述第二激光数据的线数等于目标线数。
可选地，所述知识蒸馏教师网络基于所述第一激光数据训练得到。
在上述实施例的基础上，可选地，生成模块601可以包括：确定单元和下采样单元。
具体的，确定单元用于确定待生成激光数据相对于第一激光数据的等效线数；
下采样单元用于按照所述等效线数对所述第一激光数据进行下采样，以生成第二激光数据。
在上述实施例的基础上，可选地，确定单元具体用于获取第一激光数据对应的第一垂直视场角及待生成激光数据对应的第二垂直视场角；基于所述第一垂直视场角、所述二垂直视场角和所述待生成激光数据的线数，确定所述待生成激光数据相对于第一激光数据的等效线数。
在上述实施例的基础上，可选地，下采样单元包括：分类子单元和下采样子单元。
具体的，分类子单元用于将所述第一激光数据中的各激光点分类到所述第一激光数据对应的线中，得到第三激光数据；
下采样子单元用于将所述第三激光数据的线数下采样到等效线数，得到第二激光数据。
在上述实施例的基础上，可选地，分类子单元具体用于基于所述第一激光数据中各激光点的天顶角对所述第一激光数据进行聚类操作，从而将各激光点分类到所述第一激光数据对应的线中。
可选地，所述损失函数包括：第一子损失函数和第二子损失函数，所述第一子损失函数用于表示所述知识蒸馏学生网络学习所述第二激光数据中标签数据的损失函数，所述第二子损失函数用于表示所述知识蒸馏学生网络学习所述知识蒸馏教师网络的损失函数。
在上述实施例的基础上，可选地，训练模块602具体用于将所述第二激光数据输入到所述知识蒸馏学生网络，利用所述第一子损失函数对所述知识蒸馏学生网络的实际输出进行计算，获得所述知识蒸馏学生网络的第一损失值；利用所述第二子损失函数对所述知识蒸馏学生网络和所述知识蒸馏教师网络在对应鸟瞰特征图中感兴趣区域的特征进行计算，获得所述知识蒸馏学生网络的第二损失值；基于所述第一损失值和所述第二损失值对所述知识蒸馏学生网络的参数进行调整，直至所述知识蒸馏学生网络收敛。
图7为本申请实施例提供的目标检测装置的一种结构示意图。如图7所示，该装置可以包括：获取模块701和确定模块702。
具体的，获取模块701用于获取第四激光数据；其中，所述第四激光数据为多线激光数据；
确定模块702用于通过预设的检测模型确定所述第四激光数据中的目标对象；
其中，所述检测模型利用上述任一实施例所述的检测模型的训练方法得到。
在一个实施例中，提供了一种电子设备，其内部结构图可以如图8所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口和数据库。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该电子设备的数据库用于存储检测模型训练过程以及目标检测过程中所涉及的数据。该计算机程序被处理器执行时以实现一种检测模型的训练方法或者一种目标检测方法。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种电子设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
根据第一激光数据，生成第二激光数据；其中，所述第一激光数据的线数高于所述第二激光数据；
基于所述第二激光数据、知识蒸馏教师网络和预设的损失函数训练知识蒸馏学生网络，得到目标学生网络；其中，所述知识蒸馏教师网络和所述知识蒸馏学生网络的结构相同。
在一个实施例中，提供了一种电子设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取第四激光数据；其中，所述第四激光数据为多线激光数据；
通过预设的检测模型确定所述第四激光数据中的目标对象；
其中，所述检测模型利用上述任一实施例中提供的所述检测模型的训练方法得到。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
根据第一激光数据，生成第二激光数据；其中，所述第一激光数据的线数高于所述第二激光数据；
基于所述第二激光数据、知识蒸馏教师网络和预设的损失函数训练知识蒸馏学生网络，得到目标学生网络；其中，所述知识蒸馏教师网络和所述知识蒸馏学生网络的结构相同。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取第四激光数据；其中，所述第四激光数据为多线激光数据；
通过预设的检测模型确定所述第四激光数据中的目标对象；
其中，所述检测模型利用上述任一实施例中提供的所述检测模型的训练方法得到。
在一个实施例中，提供了一种机器人，该机器人可以用于：将第四激光数据发送至服务器；接收服务器下发的基于前述目标检测方法确定的第四激光数据对应的目标对象，并基于目标对象执行预设任务，预设任务包括基于规划路径行进和/或清洁。
上述实施例中提供的检测模型的训练装置、设备和存储介质可执行本申请任意实施例所提供的检测模型的训练方法的各个过程及具有相应的有益效果，以及上述实施例中提供的目标检测装置、设备、存储介质和机器人可执行本申请任意实施例所提供的目标检测方法的各个过程及具有相应的有益效果，为避免重复，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种检测模型的训练方法，其特征在于，包括：
根据第一激光数据，生成第二激光数据；其中，所述第一激光数据的线数高于所述第二激光数据；
基于所述第二激光数据、知识蒸馏教师网络和预设的损失函数训练知识蒸馏学生网络，得到目标学生网络；其中，所述知识蒸馏教师网络和所述知识蒸馏学生网络的结构相同。
2.根据权利要求1所述的方法，其特征在于，还包括：
确定所述第一激光数据的线数与所述第二激光数据的线数的差值；
如果所述差值大于预设值，则将所述目标学生网络作为所述知识蒸馏教师网络，并继续执行所述根据第一激光数据，生成第二激光数据的步骤，直至所述第二激光数据的线数等于目标线数。
3.根据权利要求1所述的方法，其特征在于，所述根据第一激光数据，生成第二激光数据，包括：
确定待生成激光数据相对于第一激光数据的等效线数；
按照所述等效线数对所述第一激光数据进行下采样，以生成第二激光数据。
4.根据权利要求3所述的方法，其特征在于，所述确定待生成激光数据相对于第一激光数据的等效线数，包括：
获取第一激光数据对应的第一垂直视场角及待生成激光数据对应的第二垂直视场角；
基于所述第一垂直视场角、所述第二垂直视场角和所述待生成激光数据的线数，确定所述待生成激光数据相对于第一激光数据的等效线数；
其中，所述第一垂直视场角为获取所述第一激光数据的第一激光雷达对应的垂直视场角；所述第二垂直视场角为获取所述第二激光数据的第二激光雷达对应的垂直视场角；
相应地，基于所述第一垂直视场角、所述第二垂直视场角和所述待生成激光数据的线数，确定所述待生成激光数据相对于第一激光数据的等效线数，包括：
确定所述第一垂直视场角和所述第二垂直视场角的比值后，计算所述比值和所述待生成激光数据的线数的乘积；
将所述乘积确定为所述等效线数。
5.一种目标检测方法，其特征在于，包括：
获取第四激光数据；其中，所述第四激光数据为多线激光数据；
通过预设的检测模型确定所述第四激光数据中的目标对象；
其中，所述检测模型利用权利要求1至4中任一项所述的方法得到。
6.一种检测模型的训练装置，其特征在于，包括：
生成模块，用于根据第一激光数据，生成第二激光数据；其中，所述第一激光数据的线数高于所述第二激光数据；
训练模块，用于基于所述第二激光数据、知识蒸馏教师网络和预设的损失函数训练知识蒸馏学生网络，得到目标学生网络；其中，所述知识蒸馏教师网络和所述知识蒸馏学生网络的结构相同。
7.一种目标检测装置，其特征在于，包括：
获取模块，用于获取第四激光数据；其中，所述第四激光数据为多线激光数据；
确定模块，用于通过预设的检测模型确定所述第四激光数据中的目标对象；
其中，所述检测模型利用权利要求1至4中任一项所述的方法得到。
8.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述方法的步骤。
10.一种机器人，其特征在于，用于：
将第四激光数据发送至服务器；
接收服务器下发的基于权利要求5所述的目标检测方法确定的所述第四激光数据对应的目标对象，并基于所述目标对象执行预设任务，所述预设任务包括基于规划路径行进和/或清洁。
CN202210272753.2A 2022-03-18 2022-03-18 检测模型的训练方法、目标检测方法、装置和存储介质 Pending CN114819135A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210272753.2A CN114819135A (zh) 2022-03-18 2022-03-18 检测模型的训练方法、目标检测方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210272753.2A CN114819135A (zh) 2022-03-18 2022-03-18 检测模型的训练方法、目标检测方法、装置和存储介质

Publications (1)

Publication Number Publication Date
CN114819135A true CN114819135A (zh) 2022-07-29

Family

ID=82531040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210272753.2A Pending CN114819135A (zh) 2022-03-18 2022-03-18 检测模型的训练方法、目标检测方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN114819135A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880486A (zh) * 2023-02-27 2023-03-31 广东电网有限责任公司肇庆供电局 一种目标检测网络蒸馏方法、装置、电子设备及存储介质
CN116206275A (zh) * 2023-02-23 2023-06-02 南通探维光电科技有限公司 基于知识蒸馏的识别模型训练方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206275A (zh) * 2023-02-23 2023-06-02 南通探维光电科技有限公司 基于知识蒸馏的识别模型训练方法及装置
CN116206275B (zh) * 2023-02-23 2024-03-01 南通探维光电科技有限公司 基于知识蒸馏的识别模型训练方法及装置
CN115880486A (zh) * 2023-02-27 2023-03-31 广东电网有限责任公司肇庆供电局 一种目标检测网络蒸馏方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11783590B2 (en) Method, apparatus, device and medium for classifying driving scenario data
US20210334651A1 (en) Learning point cloud augmentation policies
CN114819135A (zh) 检测模型的训练方法、目标检测方法、装置和存储介质
WO2020132082A1 (en) Object classification using extra-regional context
CN107742304B (zh) 移动轨迹的确定方法及装置、移动机器人及存储介质
CN111179274B (zh) 地图地面分割方法、装置、计算机设备和存储介质
US20220156965A1 (en) Multi-modal 3-d pose estimation
US11353893B1 (en) Obstacle avoiding method and apparatus for unmanned aerial vehicle based on multi-signal acquisition and route planning model
CN111626519A (zh) 一种航班到达时间预测方法、装置和电子设备
CN115546519B (zh) 一种提取伪图像特征的图像和毫米波雷达目标的匹配方法
CN111666137B (zh) 数据标注方法、装置、计算机设备和存储介质
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
US20230082079A1 (en) Training agent trajectory prediction neural networks using distillation
JP2022035033A (ja) 情報処理システム、情報処理方法、プログラムおよび車両制御システム
CN116664987A (zh) 目标对象检测模型的训练方法及对象检测方法
CN116964588A (zh) 一种目标检测方法、目标检测模型训练方法及装置
CN112823353A (zh) 使用机器学习进行对象定位
de Sousa et al. Intelligent 3D objects classification for vehicular ad hoc network based on lidar and deep learning approaches
US20220084228A1 (en) Estimating ground truth object keypoint labels for sensor readings
JP2020034451A (ja) データ構造、記憶媒体及び記憶装置
US20220366263A1 (en) Training distilled machine learning models using a pre-trained feature extractor
CN114863201A (zh) 三维检测模型的训练方法、装置、计算机设备和存储介质
US11386675B2 (en) Device and method for generating vehicle data, and system
CN113433568B (zh) 一种激光雷达观测模拟方法及装置
CN114761942A (zh) 时空位姿/对象数据库

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination