CN115019135A - 模型训练、目标检测方法、装置、电子设备及存储介质 - Google Patents

模型训练、目标检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115019135A
CN115019135A CN202210731249.4A CN202210731249A CN115019135A CN 115019135 A CN115019135 A CN 115019135A CN 202210731249 A CN202210731249 A CN 202210731249A CN 115019135 A CN115019135 A CN 115019135A
Authority
CN
China
Prior art keywords
point cloud
model
sample
cloud data
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210731249.4A
Other languages
English (en)
Inventor
徐志远
刘新妹
黄尧民
祝毅晨
车正平
奉飞飞
唐剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Midea Group Co Ltd
Midea Group Shanghai Co Ltd
Original Assignee
Midea Group Co Ltd
Midea Group Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Midea Group Co Ltd, Midea Group Shanghai Co Ltd filed Critical Midea Group Co Ltd
Priority to CN202210731249.4A priority Critical patent/CN115019135A/zh
Publication of CN115019135A publication Critical patent/CN115019135A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及数据处理技术领域，提供模型训练、目标检测方法、装置、电子设备及存储介质。其中模型训练方法包括：获取样本点云数据集和辅助模型，辅助模型用于确定样本点云数据集中样本目标的关键点云特征以及对关键点云特征进行局部信息补充；使用样本点云数据集和辅助模型对初始目标检测模型进行训练，确定预设目标检测模型。本申请提供的模型训练方法，无需对目标检测模型本身进行改进，也不会增加后续目标检测阶段的复杂度和计算量，因此能够大幅提升训练模型的精度和准确度，从而实现在确保目标检测精度的同时既不增加额外的时间代价和计算代价，也大幅提升了目标检测的适用性和高效性。

Description

模型训练、目标检测方法、装置、电子设备及存储介质
技术领域
本申请涉及数据处理技术领域，尤其涉及模型训练、目标检测方法、装置、电子设备及存储介质。
背景技术
近年来，三维目标检测在在无人驾驶和智能家居等领域中广泛应用，尤其智能家居中，针对室内场景下办公物品和家用物品等物品的类别、边界框和朝向进行目标检测，可以使得类似于扫地机器人的智能设备准确和规划行动路径，以此避免出现碰撞或避障失效等问题。因此，如何提高三维目标检测的精度成为亟需解决的关键问题。
发明内容
本申请旨在至少解决相关技术中存在的技术问题之一。为此，本申请提出一种模型训练方法，实现在提高三维目标检测精度的同时不增加额外的时间代价和计算代价，大幅提升了三维目标检测的适用性和高效性。
本申请还提出一种目标检测方法。
本申请还提出一种模型训练装置。
本申请还提出一种目标检测装置。
本申请还提出一种电子设备。
本申请还提出一种非暂态计算机可读存储介质。
本申请还提出一种计算机程序产品。
根据本申请第一方面实施例的模型训练方法，包括：
获取样本点云数据集和辅助模型，所述辅助模型用于确定所述样本点云数据集中样本目标的关键点云特征以及对所述关键点云特征进行局部信息补充；
使用所述样本点云数据集和所述辅助模型对初始目标检测模型进行训练，确定预设目标检测模型。
根据本申请提供的模型训练方法，通过辅助模型结合样本点云数据集对初始目标检测模型进行训练，无需对目标检测模型本身进行改进，因此也不会增加后续目标检测阶段的复杂度和计算量；并且，由于辅助模型用于确定样本点云数据集中样本目标的关键点云特征以及对关键点云特征进行局部信息补充，因此使用辅助模型和样本点云数据集训练模型时能够大幅提升训练模型的精度和准确度，从而实现在确保目标检测精度的同时既不增加额外的时间代价和计算代价，也大幅提升了目标检测的适用性和高效性。
根据本申请的一个实施例，所述使用所述样本点云数据集和所述辅助模型对初始目标检测模型进行训练，确定预设目标检测模型，包括：
使用所述样本点云数据集中预设批次样本点云数据和所述辅助模型，对初始目标检测模型进行训练，获取预设次数训练后的中间目标检测模型的模型损失；
基于所述模型损失与预设模型损失的匹配成功结果，确定所述模型损失对应的中间目标检测模型为预设目标检测模型。
根据本申请的一个实施例，在所述获取预设次数训练后的中间目标检测模型的模型损失之后，所述方法还包括：
基于所述模型损失与所述预设模型损失的匹配失败结果，使用所述样本点云数据集中下一预设批次样本点云数据和所述辅助模型，对所述模型损失对应的中间目标检测模型进行训练，确定所述预设目标检测模型。
根据本申请的一个实施例，所述使用所述样本点云数据集中预设批次样本点云数据、所述辅助模型对初始目标检测模型进行训练，获取预设次数训练后的中间目标检测模型的模型损失，包括：
针对每次训练，将所述样本点云数据集中对应批次样本点云数据输入至所述辅助模型中，确定所述辅助模型本次获取的样本全局点云特征；
将所述对应批次样本点云数据输入至前次训练后的中间目标检测模型中，确定本次训练后的中间目标检测模型提取的样本原始点云特征；
基于所述对应批次样本点云数据、所述样本全局点云特征、所述样本原始点云特征、所述辅助模型和所述中间目标检测模型，确定所述本次训练后的中间目标检测模型的模型损失。
根据本申请的一个实施例，所述辅助模型包括信息提取模块和信息补充模块，所述将所述样本点云数据集中对应批次样本点云数据输入至所述辅助模型中，确定所述辅助模型本次获取的样本全局点云特征，包括：
使用所述信息提取模块，对所述样本点云数据集中对应批次样本点云数据进行关键信息提取，确定所述对应批次样本点云数据中样本目标的关键点云特征；
使用所述信息补充模块和所述对应批次样本点云数据，对所述关键点云特征进行局部信息补充，确定所述辅助模型本次获取的样本全局点云特征。
根据本申请的一个实施例，所述使用所述信息提取模块，对所述样本点云数据集中对应批次样本点云数据进行关键信息提取，确定所述对应批次样本点云数据中样本目标的关键点云特征，包括：
获取所述样本点云数据集中对应批次样本点云数据的样本边界框参数信息；
基于所述样本边界框参数信息，确定样本边界框内点云数据；
使用所述信息提取模块对所述样本边界框参数信息和所述样本边界框内点云数据分别进行多层感知处理，确定样本目标边界框特征信息和样本边界框内特征数据；
使用所述信息提取模块对所述样本目标边界框特征信息和所述样本边界框内特征数据进行融合，确定所述对应批次样本点云数据中样本目标的关键点云特征。
根据本申请的一个实施例，所述使用所述信息补充模块和所述对应批次样本点云数据，对所述关键点云特征进行局部信息补充，确定所述辅助模型本次获取的样本全局点云特征，包括：
对所述对应批次样本点云数据进行采样，确定采样点云数据；
使用所述信息补充模块对所述采样点云数据进行多层次特征提取，确定采样点云局部特征；
使用所述信息补充模块对所述关键点云特征和所述采样点云局部特征进行融合，确定所述辅助模型本次获取的样本全局点云特征。
根据本申请的一个实施例，所述基于所述对应批次样本点云数据、所述样本全局点云特征、所述样本原始点云特征、所述辅助模型和所述中间目标检测模型，确定所述本次训练后的中间目标检测模型的模型损失，包括：
基于所述样本全局点云特征和本次训练后的中间目标检测模型，确定第一损失；
基于所述对应批次样本点云数据和所述本次训练后的中间目标检测模型，确定第二损失；
基于所述对应批次样本点云数据和所述辅助模型，确定第三损失；
基于所述本次训练后的中间目标检测模型确定的样本原始点云特征和所述样本全局点云特征，确定第四损失；
基于所述第一损失、所述第二损失、所述第三损失和所述第四损失，确定本次训练后的中间目标检测模型的模型损失。
根据本申请第二方面实施例的目标检测方法，包括：
获取待测点云数据、以及按照第一方面所述模型训练方法训练确定的预设目标检测模型；
将所述待测点云数据输入至所述预设目标检测模型中，并根据所述预设目标检测模型的输出结果，确定所述待测点云数据中待测目标的目标检测结果。
根据本申请提供的目标检测方法，通过将待测点云数据输入至预设目标检测模型进行目标检测，即可确定待测目标的目标检测结果，由此达到了待测点云数据中待测目标的高精度检测的同时，不增加额外的时间代价和计算代价，大幅提升了三维目标检测的适用性和高效性。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的模型训练方法的流程示意图；
图2是本申请实施例提供的LAI处理结构示意图；
图3是本申请实施例提供的LKM处理结构示意图；
图4是本申请实施例提供的目标检测方法的流程示意图；
图5是本申请实施例提供的目标训练及目标检测方法的总体流程示意图；
图6是本申请实施例提供的目标训练及目标检测方法的总体结构示意图；
图7是本申请实施例提供的室内场景点云下的目标检测结果对比示意图；
图8是本申请实施例提供模型训练装置的结构示意图；
图9是本申请实施例提供的目标检测装置的结构示意图；
图10是本申请实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
现有针对目标检测的方法中，通常使用具备特征提取和边界框预测功能的三维目标检测网络进行三维目标检测，在进行三维目标检测时，可以针对三维目标检测网络的特征提取部分进行改进，比如从数据角度进行二维和三维数据的融合，从卷积角度设计新的卷积算子以用于加强捕获点云特征等；也可以针对三维目标检测网络的边界框预测部分进行改进，比如添加具体约束条件进行边界框预测。
然而，虽然直接改进三维目标检测网络可以提高三维目标的检测精度，但也会增加整个检测过程中的复杂度和计算量，并且以牺牲时间代价提升检测精度的三维目标检测网络对硬件系统的局限性也较大，从而导致三维目标检测的适用性并不高。基于此，经发明人研究，提出一种模型训练、目标检测方法、装置、电子设备及存储介质。
下面结合图1-图10描述本申请的模型训练、目标检测方法、装置、电子设备及存储介质，其中模型训练方法的执行主体可以为终端设备，终端设备可以为个人计算机(Personal Computer，PC)、便携式设备、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等其它电子设备。可以理解的是，模型训练方法的执行主体还可以为服务器。本申请对终端设备或服务器的具体形式不做限定。下述方法实施例以执行主体为终端设备为例进行说明。
图1为本申请提供的模型训练方法的流程示意图，如图1所示，该模型训练方法，包括以下步骤：
步骤110、获取样本点云数据集和辅助模型，辅助模型用于确定样本点云数据集中样本目标的关键点云特征以及对关键点云特征进行局部信息补充。
可以理解的是，获取样本点云数据集，在一种实施例中，所述样本点云数据集可以针对室内生活场景或者室内办公场景，使用深度相机传感器采集含有样本目标的三维样本图像数据集，三维样本图像数据集可以由若干个场景图像数据组成，每个场景图像数据含有二维图像数据和深度图像数据，然后再对三维样本图像数据集中的各个深度图像数据分别进行点云转换，确定三维样本图像数据集对应的样本点云数据集，此时样本点云数据集也可以为针对若干个室内生活场景和/或室内办公场景采集的点云数据。其中，样本目标可以为室内生活场景中的三维目标，比如沙发、书桌、洗衣机和冰箱等；样本目标也可以为室内办公场景中的打印机、办公桌、电脑主机和办公椅等。此处不作具体限定。本领域技术人员应能理解，所述样本点云数据集可以针对其他场景，例如商业场景、交通场景等，在此不做限定。
步骤120、使用样本点云数据集和辅助模型对初始目标检测模型进行训练，确定预设目标检测模型。
其中，初始目标检测模型可以为现有的三维目标检测模型且含有特征提取功能和边界框检测功能。
可以理解的是，辅助模型可以为基于标签引导的三维目标检测辅助训练模型(Label-Guided Auxiliary Training Improves 3D Object Detector，LG3D)，且仅在模型训练阶段与初始目标检测模型连接以实现辅助训练目的，当使用样本点云数据和辅助模型对初始目标检测模型进行训练且直至训练结束，并将训练结束时对应的目标检测模型确定为预设目标检测模型，同时移除辅助模型，以便于后续直接使用预设目标检测模型进行三维目标检测。
本申请实施例提供的模型训练方法，通过辅助模型结合样本点云数据集对初始目标检测模型进行训练，无需对目标检测模型本身进行改进，因此也不会增加后续目标检测阶段的复杂度和计算量；并且，由于辅助模型用于确定样本点云数据集中样本目标的关键点云特征以及对关键点云特征进行局部信息补充，因此使用辅助模型和样本点云数据集训练模型时能够大幅提升训练模型的精度和准确度，从而实现在确保目标检测精度的同时既不增加额外的时间代价和计算代价，也大幅提升了目标检测的适用性和高效性。
可以理解的是，为了提高模型训练精度，可以预先设置模型训练次数阈值，使得当模型训练次数达到训练次数阈值时得到训练好的模型。基于此，步骤120的实现过程可以包括：
首先，使用样本点云数据集中预设批次样本点云数据和辅助模型，对初始目标检测模型进行训练，获取预设次数训练后的中间目标检测模型的模型损失；再进一步基于模型损失与预设模型损失的匹配成功结果，确定模型损失对应的中间目标检测模型为预设目标检测模型。
可以理解的是，由于样本点云数据集是在室内生活场景或室内办公场景下针对若干个场景图像数据的点云数据，因此可以对样本点云数据集进行分批次训练，并且可以使用预设次数批次样本点云数据参与模型训练，批次样本点云数据的次序与训练次数对应。比如，当场景图像数据的数量为10000个时，可以每批次执行4个或8个场景图像数据的样本点云数据，每批次执行的场景图像数据的数量可以为2的幂次方个，并且可以先训练100次或者200次，若使用第4批次样本点云数据参与模型训练时，可认为当前对第3次训练后的中间目标检测模型进行第4次训练。
当对初始目标检测模型训练预设次数后，可以判断预设次数训练后的中间目标检测模型的模型损失是否与预设模型损失匹配，若预设次数训练后的中间目标检测模型的模型损失与预设模型损失匹配，则停止模型训练，并将模型训练停止时模型损失对应的中间目标检测模型确定为训练好的预设目标检测模型。其中，预设模型损失可以是损失经验值，也可以是损失阈值范围，也可以是根据经验人为设定的预设次数进行训练后可达到的理想损失水平。此处不作具体限定。
本申请实施例提供的模型训练方法，通过使用样本点云数据集中预设批次样本点云数据和辅助模型对初始目标检测模型进行预设次数训练的方式，提高了模型训练速度，也降低了模型训练复杂度，从而有效提高了模型训练精度。
可以理解的是，当经过预设次数训练的模型效果不符合预设要求时，可以再进行预设次数的训练。基于此。在获取预设次数训练后的中间目标检测模型的模型损失之后，本申请实施例方法还可以包括：
基于模型损失与预设模型损失的匹配失败结果，使用样本点云数据集中下一预设批次样本点云数据和辅助模型，对模型损失对应的中间目标检测模型进行训练，确定预设目标检测模型。
可以理解的是，针对初始目标检测模型经过预设次数训练的情况，如果判定预设次数训练后的中间目标检测模型的模型损失与预设模型损失不匹配，则说明此时得到的中间目标检测模型并没有达到预设需求，此时则可以从样本点云数据集中选取下一预设批次样本点云数据继续进行模型训练，比如，针对10000个场景图像数据确定的样本点云数据集，如果从样本数据集中选取200批次样本点云数据进行训练后未达到预设需求，则可以再从样本点云数据集的剩余样本点云数据中再选取200批次样本点云数据参与后续的训练。其中，再次选取预设批次点云数据可以与前一预设批次点云数据的批次量相同，也可以不同，此处不作具体限定。并且，从样本点云数据集的剩余样本点云数据中选取下一预设批次点云数据时可以顺序选取，也可以间隔选取。此处也不作具体限定。
本申请实施例提供的模型训练方法，当初始目标检测模型经由预设次数训练后的中间目标检测模型未与预设模型损失匹配时，通过再次选取预设批次样本点云数据继续训练的方式，确保了模型训练的可靠性和准确性，也提高了模型训练的灵活性和稳定性。
可以理解的是，为了避免对初始目标检测模型直接进行改进而进行训练所导致的额外时间代价和额外计算代价大的问题，可以使用辅助模型对初始目标检测模型进行迭代训练而非直接对模型本身进行改进训练。基于此，使用样本点云数据集中预设批次样本点云数据、辅助模型对初始目标检测模型进行训练，获取预设次数训练后的中间目标检测模型的模型损失，其过程可以包括：
首先，针对每次训练，将样本点云数据集中对应批次样本点云数据输入至辅助模型中，确定辅助模型本次获取的样本全局点云特征；再次，将对应批次样本点云数据输入至前次训练后的中间目标检测模型中，确定本次训练后的中间目标检测模型提取的样本原始点云特征；然后，基于对应批次样本点云数据、样本全局点云特征、样本原始点云特征、辅助模型和中间目标检测模型，确定本次训练后的中间目标检测模型的模型损失。
可以理解的是，由于辅助模型用于确定样本点云数据集中样本目标的关键点云特征以及对关键点云特征进行局部信息补充，因此，将对应批次样本数据输入至辅助模型后，可以确定辅助模型本次获取的样本全局点云特征。并且，由于初始目标检测模型具备特征提取功能，因此针对每次训练，均可以对输入的对应批次样本点云数据直接进行特征提取，也即，将对应批次样本点云数据输入至前次训练后确定的中点目标检测模型后，可以确定本次训练后的中间目标检测模型提取的样本原始点云特征，此时也对前次训练后的中间目标检测模型再次进行了训练。比如，将第8批次样本点云数据输入至第7次训练后的中间目标检测模型后，可以确定第8批次样本点云数据对应的样本原始点云特征，并且也得到的第8次训练后的中间目标检测模型。若使用第1批次样本点云数据，可对初始目标检测模型进行第1次训练，也即，将第1批次样本点云数据输入至初始目标检测模型后，可以确定第1次训练后的中间目标检测模型提取的样本原始点云特征。然后，再基于对应批次样本点云数据、样本全局点云特征、样本原始点云特征、辅助模型和中间目标检测模型，确定本次训练后的中间目标检测模型的模型损失，比如对应批次样本点云数据直接输入至中间目标检测模型进行特征提取时产生的损失、经由辅助模型中确定的样本点云特征输入至中间目标检测模型中进行目标检测时产生的损失、样本原始点云特征和样本原始点云特征之间的距离损失以及辅助模型确定样本全局点云特征过程中产生的损失。
本申请提供的模型训练方法，通过辅助模型确定的样本全局点云特征、本次训练后的中间目标检测模型提取样本原始点云特征以及结合对应批次样本点云数据和中间目标检测模型，确定本次训练后的中间目标检测模型的模型损失的目的，以此提高了模型训练的准确性和可靠性。
可以理解的是，由于辅助模型用于确定样本点云数据集中样本目标的关键点云特征以及对关键点云特征进行局部信息补充，因此可以以辅助模块具备信息提取功能和信息补充功能说明辅助模型在模型训练阶段的具体辅助功能。基于此，将样本点云数据集中对应批次样本点云数据输入至辅助模型中，确定辅助模型本次获取的样本全局点云特征，其过程可以包括：
首先，使用信息提取模块，对样本点云数据集中对应批次样本点云数据进行关键信息提取，确定对应批次样本点云数据中样本目标的关键点云特征；再进一步使用信息补充模块和对应批次样本点云数据，对关键点云特征进行局部信息补充，确定辅助模型本次获取的样本全局点云特征。
其中，样本目标可以为每一批次样本点云数据中所标识的待识别三维目标，并且样本目标可以为室内生活场景中的三维目标，比如沙发、书桌、洗衣机和冰箱等；也可以为室内办公场景中的打印机、办公桌、电脑主机和办公椅等。
可以理解的是，辅助模型的信息提取模块可以称为标签注释诱导器(Label-Annotation-Inducer，LAI)，信息补充模块可以称为(Label-Knowledge-Mapper，LKM)，且LAI的输出端连接LKM的输入端。此时，针对每一批次样本点云数据均为2的幂次方个场景图像数据的样本点云数据的情况，若每个场景图像数据中均标识有待识别的三维目标，则每一批次样本点云数据进入LAI中可以进行每个三维目标中关键信息的提取，从而得到对应批次样本点云数据中样本目标的关键点云特征，并且关键点云特征会输入至LKM中，使得LKM基于对应批次样本点云数据对关键点云特征进行局部信息补充，从而获取到辅助目标本次输出的样本全局点云特征，样本全局点云特征用于识别对应批次样本点云数据中样本目标的目标类别、目标朝向和目标边界框位置。
本申请实施例提供的模型训练方法，通过辅助模型中的信息提取模型提取对应批次样本点云数据中样本目标的关键点云特征、信息补充模块对关键点云特征进行局部信息补充的方式，确保辅助模型在辅助训练模型阶段的不可或缺性，有效降低了初始目标检测模型在训练阶段的计算量和复杂度。
可以理解的是，考虑到针对室内生活场景或室内办公场景内采集的三维样本图像数据集中会标识待识别的各个三维目标，并且在将三维样本图像数据集转换成样本点云数据集时，对应各个待识别的三维目标也会相应被标识于边界框内且以边界框参数信息显示，则可以通过所标识的边界框参数信息进行关键信息提取。基于此，使用信息提取模块，对样本点云数据集中对应批次样本点云数据进行关键信息提取，确定对应批次样本点云数据中样本目标的关键点云特征，包括：
首先，获取样本点云数据集中对应批次样本点云数据的样本边界框参数信息；再进一步基于样本边界框参数信息，确定样本边界框内点云数据；然后使用信息提取模块对样本边界框参数信息和样本边界框内点云数据分别进行多层感知处理，确定样本目标边界框特征信息和样本边界框内特征数据；最后，使用信息提取模块对样本目标边界框特征信息和样本边界框内特征数据进行融合，确定对应批次样本点云数据中样本目标的关键点云特征。
可以理解的是，由于样本点云数据集中每一批次样本点云数据中所含的样本目标均被标识于边界框内且以均边界框参数信息显示，因此可以直接获取样本点云数据集中对应批次样本点云数据的各个样本边界框参数信息，其中第i个样本边界框参数信息可以为ai，ai＝(xi,yi,zi,li,wi,hi,ci)，(xi,yi,zi)表示第i个样本边界框的中心点的三维坐标，wi、hi和zi分别为第i个样本边界框的长度、宽度和高度，ci表示第i个边界框对应样本目标的目标类别。并且，针对样本点云数据集中对应批次样本点云数据的每个边界框内分别进行点云数据采集，可以确定对应批次样本点云数据的样本边界框内点云数据，将样本边界框参数信息和样本边界框内点云数据输入至LAI中进行处理的过程可以参照图2。LAI具体含有标签编码器、标签点云编码器和注意力机制查询(Query，Q)-键值(Key，K)-值项(Value，V)，标签编码器和标签点云编码器分别为多层感知机，将对应批次样本点云数据的各个样本边界框参数信息分别输入至标签编码器和标签点云编码器中进行编码，分别得到两组同一维度的编码向量，再将两组同一维度的编码向量输入至注意力机制QKV中进行融合，确定对应批次样本点云数据中样本目标的关键点云特征。
需要说明的是，若将样本点云数据集中对应批次样本点云数据表示为
Figure BDA0003713591960000111
n表示样本点云数据集中对应批次样本点云数据的总数量，将对应批次样本点云数据的样本边界框内点云数据表示为
Figure BDA0003713591960000112
m表示样本点云数据集中对应批次样本点云数据的所有样本边界框内点云数据的总数量，那么，样本点云数据集中对应批次样本点云数据的N个样本目标的原始标签可表示为A，
Figure BDA0003713591960000113
表示第i个样本边界框参数信息的数组长度为CL。
为了加强对初始目标检测模型的辅助训练效果，可以设置标签编码器具备数据增强功能，也即对每个样本边界框的中心点的三维坐标进行随机抖动，确定每个样本边界框的新中心点的三维坐标，其中第i个样本边界框的新中心点的三维坐标为(x'i,y'i,z'i)，x'i＝xi+φxli，y'i＝yi+φywi，z'i＝zi+φzhi，φx、φy、φz均为服从均匀分布[-0.1,0.1]中采集的数值，以此得到样本点云数据集中对应批次样本点云数据的N个样本目标的伪标签A'，A'＝{a'1,...,a'i,...,a'N}，a'i＝(x'i,y'i,z'i,li,wi,hi,ci)，再进一步合并原始标签A和伪标签A'，确定样本点云数据集中对应批次样本点云数据的新标签集合Aall，Aall＝A∪A'，
Figure BDA0003713591960000121
当1≤i≤N时，
Figure BDA0003713591960000122
当N≤i≤2N时，
Figure BDA0003713591960000123
然后再将样本点云数据集中对应批次样本点云数据的新标签集合输入至标签编码器进行编码，确定标签编码器输出的编码向量βA，βA＝{e1,...,ei,...,eN}，ei表示第i个样本边界框的标签经过标签编码器后得到的编码数据，
Figure BDA0003713591960000124
Figure BDA0003713591960000125
表示第i个样本边界框的标签经过标签编码器后得到的编码数据的数组长度为CL1。
将对应批次样本点云数据的各个样本边界框参数信息输入至标签点云编码器中进行编码，确定标签点云编码器输出的编码向量，此处标签点云编码器的编码过程，可参照前述标签编码器的编码过程。此处不再赘述。若将标签点云编码器输出的编码向量记为ψ(pl)，则将编码向量βA和编码向量ψ(pl)输入至注意力机制QKV中进行融合的过程为：将编码向量βA作为查询值Q，将编码向量ψ(pl)作为键值K和项值V，此时融合过程可以为：
Figure BDA0003713591960000126
softmax为归一化指数操作，·表示点积运算，上标T表示转置操作，p表示第一缩放系数，×表示张量相乘运。以此融合得到对应批次样本点云数据中样本目标的关键点云特征，关键点云特征以向量形式表示。由于关键点云特征是对标签编码器和标签点云编码器的输出进行融合后确定的，因此关键点云特征不仅可以表征样本目标的点云特征，还可以表征标签特征，标签特征可以指代标签编码器和标签点云编码器的输入。此时确定的关键点云特征也能实现将对应批次样本点云数据这一高维数据和样本边界框内点云数据这一高维数据融合为一个低维向量的目的。
本申请实施例提供的模型训练方法，通过辅助模型针对样本点云数据集中对应批次样本点云数据的样本边界框参数信息和样本边界框内点云数据分别进行多层感知处理、再融合多层感知所得特征数据的方式，确定对应批次样本点云数据中样本目标的关键点云特征，以此结合多层感知处理技术和注意力融合机制提高确定关键点云特征的可靠性和准确性，为后续提高模型训练精度提供可靠保障。
可以理解的是，由于仅依赖关键点云特征不足以对样本目标进行精准识别，因此可以结合信息补充模块从对应批次样本点云数据中识别局部特征信息对关键点云特征进行补充。基于此，使用信息补充模块和对应批次样本点云数据，对关键点云特征进行局部信息补充，确定辅助模型本次获取的样本全局点云特征，其过程可以包括：
首先，对该对应批次样本点云数据进行采样，确定采样点云数据；然后，使用信息补充模块对采样点云数据进行多层次特征提取，确定采样点云局部特征；再进一步使用信息补充模块对关键点云特征和采样点云局部特征进行融合，确定辅助模型本次获取的样本全局点云特征。
可以理解的是，考虑到每一批次样本点云数据的数量较大，因此可以先对每一批次样本点云数据进行随机采样，确定随机采样后所得的采样点云数据，再将采样点云数据和LAI输出的关键点云特征输入至LKM中，将采样点云数据和LAI输出的关键点云特征输入至LKM中进行处理的过程可以参照图3。LKM具体含有PointNet++网络和注意力机制QKV，由于PointNet++网络具备分层抽取特征的功能，因此当采样点云数据进入LKM中时，先经由PointNet++网络对采样点云数据进行多层次特征提取，也即分层抽取特征，以此得到采样点云局部特征，然后采样点云局部特征和关键点云特征再经由LKM中的注意力机制QKV进行融合，其融合的过程为：
Figure BDA0003713591960000131
softmax为归一化指数操作，Q'表示采样点云局部特征，K'和V'均表示关键点云特征，·表示点积运算，上标T表示转置操作，p'表示第二缩放系数，×表示张量相乘运。以此融合得到辅助模型本次获取的样本全局点云特征。
本申请实施例提出的模型训练方法，通过辅助模型针对样本点云数据集中对应批次样本点云数据采样所得的采样点云数据先进行多层次特征提取、再对所提取的采样点云局部特征和关键点云特征进行融合的方式，确定辅助模型本次获取的样本全局点云特征，以此结合分层抽取特征技术和注意力融合机制提高确定样本全局点云特征的可靠性和准确性，为后续提高模型训练精度提供可靠保障
可以理解的是，为了提高模型训练精度，可以每训练一次确定本次训练所得的中间目标检测模型的模型损失，以基于模型损失快速判断当前训练所得的中间目标检测模型是否训练好。基于此，基于对应批次样本点云数据、样本全局点云特征、样本原始点云特征、辅助模型和中间目标检测模型，确定本次训练后的中间目标检测模型的模型损失，包括：
基于样本全局点云特征和本次训练后的中间目标检测模型，确定第一损失；基于对应批次样本点云数据和本次训练后的中间目标检测模型，确定第二损失；基于对应批次样本点云数据和所述辅助模型，确定第三损失；基于本次训练后的中间目标检测模型确定的样本原始点云特征和样本全局点云特征，确定第四损失；基于第一损失、第二损失、第三损失和第四损失，确定本次训练后的中间目标检测模型的模型损失。
可以理解的是，基于样本全局点云特征和本次训练后的中间目标检测模型，可以确定第一损失为Ldet1，Ldet1＝d(τ(p,(pr,Aoh)),A)，基于对应批次样本点云数据和本次训练后的中间目标检测模型，可以确定第二损失为Ldet2，Ldet2＝d(f(p),A)，基于对应批次样本点云数据和所述辅助模型，可以确定第三损失为
Figure BDA0003713591960000141
基于本次训练后的中间目标检测模型确定的样本原始点云特征和样本全局点云特征，可以确定第四损失为Laux，Laux＝λLdis(f(p),τ(p,(pl,Aoh)))，基于第一损失、第二损失、第三损失和第四损失，可以确定本次训练后的中间目标检测模型的模型损失为Ltotal，Ltotal＝Ldet1+Ldet2+Ltf+Laux。
其中，Aoh表示样本点云数据集中对应批次样本点云数据的N个样本目标的原始标签A的one-hot编码形式，τ(p,(pr,Aoh))表示将样本点云数据集中对应批次样本点云数据p、对应批次样本点云数据的样本边界框内点云数据pr和原始标签A的one-hot编码形式Aoh输入至LKM中计算得到融合特征，d(τ(p,(pr,Aoh)),A)表示本次训练后的中间目标检测模型针对融合特征(τp,(pr,Aoh))和原始标签A计算得到的分类损失和位置损失之和，f(p)表示本次训练后的中间目标检测模型针对样本点云数据集中对应批次样本点云数据p进行特征提取的计算，λ表示超参数且用于控制第四损失Laux在模型损失Ltotal中的占比，Ldis表示均方误差计算；
Figure BDA0003713591960000151
表示
Figure BDA0003713591960000152
或者
Figure BDA0003713591960000153
时对应标签的值，也即
Figure BDA0003713591960000154
时
Figure BDA0003713591960000155
时
Figure BDA0003713591960000156
ρobj(ei)表示样本点云数据集中对应批次样本点云数据p中第i个样本边界框的标签经过标签编码器后得到的编码数据ei输入对应全连接层进行计算，并将计算所得结果基于sigmoid激活函数进行激活。
本申请提供的模型训练方法，通过辅助模型输出的样本全局点云特征进入本次训练后的中间目标检测模型中的检测过程、对应批次样本点云数据直接进入中间目标检测模型中的检测过程、对应批次样本点云数据进入中间目标检测模型所得特征与样本全局点云特征之间的距离损失以及辅助模型在多次感知过程中的损失，确定本次训练后的中间目标检测模型的模型损失，以此提高确定模型损失的精确性和全面性，提高了模型训练的精度，从而也确保了后续三维目标检测的准确性和可靠性。
参照图4，为本申请提供的目标检测方法的流程示意图，其中目标检测方法的执行主体也可以为终端设备或为服务器。本申请对终端设备或服务器的具体形式不做限定。下述方法实施例以执行主体为终端设备为例进行说明。
如图4所示，该目标检测方法，包括以下步骤：
步骤410、获取待测点云数据、以及按照本申请任一实施例所提供的模型训练方法训练确定的预设目标检测模型。
可以理解的是，待测点云数据也可以是针对室内生活场景或者室内办公场景，使用深度相机传感器采集含有待测目标的三维待测图像数据，三维待测图像数据可以含有二维图像数据和深度图像数据，然后再针对三维待测图像数据中的深度图像数据进行点云转换，确定三维待测图像数据对应的待测点云数据，此时待测点云数据也可以为针对室内生活场景或者室内办公场景采集的点云数据。其中，待测目标也可以为室内生活场景中类似于沙发、书桌、洗衣机和冰箱等的三维目标，也可以为室内办公场景中类似于打印机、办公桌、电脑主机和办公椅等的三维目标。此处不作具体限定。
步骤420、将待测点云数据输入至预设目标检测模型中，并根据预设目标检测模型的输出结果，确定待测点云数据中待测目标的目标检测结果。
可以理解的是，将待测点云数据输入至目标预设检测模型中进行特征提取和边界框检测，并基于预设目标检测模型的输出结果，可以确定待测点云数据中待测目标的目标类别、目标朝向和目标三维边界框位置。
本申请实施例提供的目标检测方法，通过将待测点云数据输入至预设目标检测模型进行目标检测，即可确定待测目标的目标检测结果，由此达到了待测点云数据中待测目标的高精度检测的同时，不增加额外的时间代价和计算代价，大幅提升了三维目标检测的适用性和高效性。
可以理解的是，本申请实施例提供的目标训练及目标检测方法的总体流程示意图如图5所示，包括训练阶段时使用样本点云数据集和辅助模型对初始目标检测模型进行训练且训练M次的过程，以及检测阶段使用待测点云数据和预设目标检测模型进行目标检测的过程，待测点云数据可以为样本点云数据集中的部分点云数据。其中M为预设次数，每次训练过程与前述实施例可相互参照，以及目标检测过程也与前述实施例可相互参照，当然也不限于前述实施例的实现方法。
可以理解的是，本申请实施例提供的目标训练及目标检测方法的总体结构示意图如图6所示，在图6中，细线箭头流向为模型训练阶段，粗线箭头流向为目标检测阶段，包括使用样本点云数据集、LAI和LKM进行模型训练及每次训练后确定模型损失的过程，以及使用预设目标检测模型对待测点云数据进行进行特征提取和边界框检测的过程，其中每次训练过程及确定模型损失的过程可与前述实施例相互对照，使用预设目标检测模型对待测点云数据进行特征提取和边界框检测的过程也可与前述实施例相互参照。当然也不限于前述实施例的实现方法。
可以理解的是，结合图7所示的本申请实施例提供的室内场景点云下的目标检测结果对比示意图对本申请方法进行分析说明，在图7中，VoteNet表示使用现有的投票网络得到的目标预测结果，GroupFree3D表示使用现有的无组合3D网络得到的目标预测结果，GT表示室内场景点云的原始数据集标签，VoteNet+Ours表示使用本申请方法辅助投票网络所得的目标预测结果，GroupFree3D+Ours表示使用本申请方法辅助无组合3D网络后得到的目标预测结果。从图7中可以看出经过本申请方法辅助后得到的目标预测结果中边界框的大小和数量，相较于使用现有的投票网络和无组合3D网络进行目标预测所得边界框的大小和数量，更贴合室内场景点云的原始数据集的真实标签情况，从而说明使用本申请方法能够大幅提升目标检测的精准性和可靠性。
下面对本申请提供的模型训练装置进行描述，下文描述的模型训练装置与上文描述的模型训练方法可相互对应参照。
参照图8，为本申请提供的模型训练装置的结构示意图，如图8所示，该模型训练装置800，包括：
信息获取单元810，用于获取样本点云数据集和辅助模型，辅助模型用于确定样本点云数据集中样本目标的关键点云特征以及对关键点云特征进行局部信息补充；
模型训练单元820，用于使用样本点云数据集和辅助模型对初始目标检测模型进行训练，确定预设目标检测模型。
可以理解的是，模型训练单元820，可以具体用于使用样本点云数据集中预设批次样本点云数据和辅助模型，对初始目标检测模型进行训练，获取预设次数训练后的中间目标检测模型的模型损失；基于模型损失与预设模型损失的匹配成功结果，确定模型损失对应的中间目标检测模型为预设目标检测模型。
可以理解的是，模型训练单元820，还可以具体用于基于模型损失与预设模型损失的匹配失败结果，使用样本点云数据集中下一预设批次样本点云数据和辅助模型，对模型损失对应的中间目标检测模型进行训练，确定预设目标检测模型。
可以理解的是，模型训练单元820，还可以具体用于针对每次训练，将样本点云数据集中对应批次样本点云数据输入至辅助模型中，确定辅助模型本次获取的样本全局点云特征；将对应批次样本点云数据输入至前次训练后的中间目标检测模型中，确定本次训练后的中间目标检测模型提取的样本原始点云特征；基于对应批次样本点云数据、样本全局点云特征、样本原始点云特征、辅助模型和中间目标检测模型，确定本次训练后的中间目标检测模型的模型损失。
可以理解的是，模型训练单元820，还可以具体用于使用信息提取模块，对样本点云数据集中对应批次样本点云数据进行关键信息提取，确定对应批次样本点云数据中样本目标的关键点云特征；使用信息补充模块和对应批次样本点云数据，对关键点云特征进行局部信息补充，确定辅助模型本次获取的样本全局点云特征。
可以理解的是，模型训练单元820，还可以具体用于获取样本点云数据集中对应批次样本点云数据的样本边界框参数信息；基于样本边界框参数信息，确定样本边界框内点云数据；使用信息提取模块对样本边界框参数信息和样本边界框内点云数据分别进行多层感知处理，确定样本目标边界框特征信息和样本边界框内特征数据；使用信息提取模块对样本目标边界框特征信息和样本边界框内特征数据进行融合，确定对应批次样本点云数据中样本目标的关键点云特征。
可以理解的是，模型训练单元820，还可以具体用于对该对应批次样本点云数据进行采样，确定采样点云数据；使用信息补充模块对采样点云数据进行多层次特征提取，确定采样点云局部特征；使用信息补充模块对关键点云特征和采样点云局部特征进行融合，确定辅助模型本次获取的样本全局点云特征。
可以理解的是，模型训练单元820，还可以具体用于基于样本全局点云特征和本次训练后的中间目标检测模型，确定第一损失；基于对应批次样本点云数据和本次训练后的中间目标检测模型，确定第二损失；基于对应批次样本点云数据和辅助模型，确定第三损失；基于本次训练后的中间目标检测模型确定的样本原始点云特征和样本全局点云特征，确定第四损失；基于第一损失、第二损失、第三损失和第四损失，确定本次训练后的中间目标检测模型的模型损失。
下面对本申请提供的目标检测装置进行描述，下文描述的目标检测装置与上文描述的目标检测方法可相互对应参照。
参照图9，为本申请提供的目标检测装置的结构示意图，如图8所示，该目标检测装置900，包括：
模型获取单元910，用于获取待测点云数据集、以及按照本申请任一实施例所提供的模型训练方法训练确定的预设目标检测模型；
目标检测单元920，用于将待测点云数据集输入至预设目标检测模型中，并根据预设目标检测模型的输出结果，确定待测点云数据集中待测目标的目标检测结果。
图10示例了一种电子设备的实体结构示意图，如图10所示，该电子设备1000可以包括：处理器(processor)1010、通信接口(Communications Interface)1020、存储器(memory)1030和通信总线1040，其中，处理器1010，通信接口1020，存储器1030通过通信总线1040完成相互间的通信。处理器1010可以调用存储器1030中的逻辑指令，以执行如下方法：
获取样本点云数据集和辅助模型，辅助模型用于确定样本点云数据集中样本目标的关键点云特征以及对关键点云特征进行局部信息补充；
使用样本点云数据集和辅助模型对初始目标检测模型进行训练，确定预设目标检测模型。或者：
获取待测点云数据、以及按照本申请任一实施例所提供的模型训练方法训练确定的预设目标检测模型；
将待测点云数据输入至预设目标检测模型中，并根据预设目标检测模型的输出结果，确定待测点云数据中待测目标的目标检测结果。
此外，上述的存储器1030中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本申请实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：
获取样本点云数据集和辅助模型，辅助模型用于确定样本点云数据集中样本目标的关键点云特征以及对关键点云特征进行局部信息补充；
使用样本点云数据集和辅助模型对初始目标检测模型进行训练，确定预设目标检测模型。或者：
获取待测点云数据、以及按照本申请任一实施例所提供的模型训练方法训练确定的预设目标检测模型；
将待测点云数据输入至预设目标检测模型中，并根据预设目标检测模型的输出结果，确定待测点云数据中待测目标的目标检测结果。
又一方面，本申请实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：
获取样本点云数据集和辅助模型，辅助模型用于确定样本点云数据集中样本目标的关键点云特征以及对关键点云特征进行局部信息补充；
使用样本点云数据集和辅助模型对初始目标检测模型进行训练，确定预设目标检测模型。或者：
获取待测点云数据、以及按照本申请任一实施例所提供的模型训练方法训练确定的预设目标检测模型；
将待测点云数据输入至预设目标检测模型中，并根据预设目标检测模型的输出结果，确定待测点云数据中待测目标的目标检测结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是，以上实施方式仅用于说明本申请，而非对本申请的限制。尽管参照实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，对本申请的技术方案进行各种组合、修改或者等同替换，都不脱离本申请技术方案的精神和范围，均应涵盖在本申请的权利要求范围中。

Claims (12)

1.一种模型训练方法，其特征在于，包括：
获取样本点云数据集和辅助模型，所述辅助模型用于确定所述样本点云数据集中样本目标的关键点云特征以及对所述关键点云特征进行局部信息补充；
使用所述样本点云数据集和所述辅助模型对初始目标检测模型进行训练，确定预设目标检测模型。
2.根据权利要求1所述的模型训练方法，其特征在于，所述使用所述样本点云数据集和所述辅助模型对初始目标检测模型进行训练，确定预设目标检测模型，包括：
使用所述样本点云数据集中预设批次样本点云数据和所述辅助模型，对初始目标检测模型进行训练，获取预设次数训练后的中间目标检测模型的模型损失；
基于所述模型损失与预设模型损失的匹配成功结果，确定所述模型损失对应的中间目标检测模型为预设目标检测模型。
3.根据权利要求2所述的模型训练方法，其特征在于，在所述获取预设次数训练后的中间目标检测模型的模型损失之后，所述方法还包括：
基于所述模型损失与所述预设模型损失的匹配失败结果，使用所述样本点云数据集中下一预设批次样本点云数据和所述辅助模型，对所述模型损失对应的中间目标检测模型进行训练，确定所述预设目标检测模型。
4.根据权利要求2所述的模型训练方法，其特征在于，所述使用所述样本点云数据集中预设批次样本点云数据、所述辅助模型对初始目标检测模型进行训练，获取预设次数训练后的中间目标检测模型的模型损失，包括：
针对每次训练，将所述样本点云数据集中对应批次样本点云数据输入至所述辅助模型中，确定所述辅助模型本次获取的样本全局点云特征；
将所述对应批次样本点云数据输入至前次训练后的中间目标检测模型中，确定本次训练后的中间目标检测模型提取的样本原始点云特征；
基于所述对应批次样本点云数据、所述样本全局点云特征、所述样本原始点云特征、所述辅助模型和所述中间目标检测模型，确定所述本次训练后的中间目标检测模型的模型损失。
5.根据权利要求4所述的模型训练方法，其特征在于，所述辅助模型包括信息提取模块和信息补充模块，所述将所述样本点云数据集中对应批次样本点云数据输入至所述辅助模型中，确定所述辅助模型本次获取的样本全局点云特征，包括：
使用所述信息提取模块，对所述样本点云数据集中对应批次样本点云数据进行关键信息提取，确定所述对应批次样本点云数据中样本目标的关键点云特征；
使用所述信息补充模块和所述对应批次样本点云数据，对所述关键点云特征进行局部信息补充，确定所述辅助模型本次获取的样本全局点云特征。
6.根据权利要求5所述的模型训练方法，其特征在于，所述使用所述信息提取模块，对所述样本点云数据集中对应批次样本点云数据进行关键信息提取，确定所述对应批次样本点云数据中样本目标的关键点云特征，包括：
获取所述样本点云数据集中对应批次样本点云数据的样本边界框参数信息；
基于所述样本边界框参数信息，确定样本边界框内点云数据；
使用所述信息提取模块对所述样本边界框参数信息和所述样本边界框内点云数据分别进行多层感知处理，确定样本目标边界框特征信息和样本边界框内特征数据；
使用所述信息提取模块对所述样本目标边界框特征信息和所述样本边界框内特征数据进行融合，确定所述对应批次样本点云数据中样本目标的关键点云特征。
7.根据权利要求5所述的模型训练方法，其特征在于，所述使用所述信息补充模块和所述对应批次样本点云数据，对所述关键点云特征进行局部信息补充，确定所述辅助模型本次获取的样本全局点云特征，包括：
对所述对应批次样本点云数据进行采样，确定采样点云数据；
使用所述信息补充模块对所述采样点云数据进行多层次特征提取，确定采样点云局部特征；
使用所述信息补充模块对所述关键点云特征和所述采样点云局部特征进行融合，确定所述辅助模型本次获取的样本全局点云特征。
8.根据权利要求4所述的模型训练方法，其特征在于，所述基于所述对应批次样本点云数据、所述样本全局点云特征、所述样本原始点云特征、所述辅助模型和所述中间目标检测模型，确定所述本次训练后的中间目标检测模型的模型损失，包括：
基于所述样本全局点云特征和本次训练后的中间目标检测模型，确定第一损失；
基于所述对应批次样本点云数据和所述本次训练后的中间目标检测模型，确定第二损失；
基于所述对应批次样本点云数据和所述辅助模型，确定第三损失；
基于所述本次训练后的中间目标检测模型确定的样本原始点云特征和所述样本全局点云特征，确定第四损失；
基于所述第一损失、所述第二损失、所述第三损失和所述第四损失，确定本次训练后的中间目标检测模型的模型损失。
9.一种目标检测方法，其特征在于，包括：
获取待测点云数据、以及按照权利要求1至8任一所述模型训练方法训练确定的预设目标检测模型；
将所述待测点云数据输入至所述预设目标检测模型中，并根据所述预设目标检测模型的输出结果，确定所述待测点云数据中待测目标的目标检测结果。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述模型训练方法，或者权利要求9所述目标检测方法。
11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至8任一项所述模型训练方法，或者权利要求9所述目标检测方法。
12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述模型训练方法，或者权利要求9所述目标检测方法。
CN202210731249.4A 2022-06-24 2022-06-24 模型训练、目标检测方法、装置、电子设备及存储介质 Pending CN115019135A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210731249.4A CN115019135A (zh) 2022-06-24 2022-06-24 模型训练、目标检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210731249.4A CN115019135A (zh) 2022-06-24 2022-06-24 模型训练、目标检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115019135A true CN115019135A (zh) 2022-09-06

Family

ID=83077210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210731249.4A Pending CN115019135A (zh) 2022-06-24 2022-06-24 模型训练、目标检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115019135A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471805A (zh) * 2022-09-30 2022-12-13 阿波罗智能技术(北京)有限公司 点云处理和深度学习模型训练方法、装置及自动驾驶车辆
CN115661812A (zh) * 2022-11-14 2023-01-31 苏州挚途科技有限公司 目标检测方法、目标检测装置与电子设备
CN116977820A (zh) * 2023-07-25 2023-10-31 苏州驾驶宝智能科技有限公司 一种基于自注意力的轻量化三维目标实时检测方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471805A (zh) * 2022-09-30 2022-12-13 阿波罗智能技术(北京)有限公司 点云处理和深度学习模型训练方法、装置及自动驾驶车辆
CN115471805B (zh) * 2022-09-30 2023-09-05 阿波罗智能技术(北京)有限公司 点云处理和深度学习模型训练方法、装置及自动驾驶车辆
CN115661812A (zh) * 2022-11-14 2023-01-31 苏州挚途科技有限公司 目标检测方法、目标检测装置与电子设备
CN116977820A (zh) * 2023-07-25 2023-10-31 苏州驾驶宝智能科技有限公司 一种基于自注意力的轻量化三维目标实时检测方法及装置
CN116977820B (zh) * 2023-07-25 2024-05-03 苏州驾驶宝智能科技有限公司 一种基于自注意力的轻量化三维目标实时检测方法及装置

Similar Documents

Publication Publication Date Title
CN109711422B (zh) 图像数据处理、模型的建立方法、装置、计算机设备和存储介质
CN115019135A (zh) 模型训练、目标检测方法、装置、电子设备及存储介质
CN114255238A (zh) 一种融合图像特征的三维点云场景分割方法及系统
CN110598019B (zh) 重复图像识别方法及装置
CN114419570B (zh) 一种点云数据识别方法、装置、电子设备及存储介质
CN114418030B (zh) 图像分类方法、图像分类模型的训练方法及装置
CN111144284B (zh) 深度人脸图像的生成方法、装置、电子设备及介质
CN112200057A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN113344003B (zh) 目标检测方法及装置、电子设备和存储介质
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
CN110827265A (zh) 基于深度学习的图片异常检测方法
CN111738074B (zh) 基于弱监督学习的行人属性识别方法、系统及装置
WO2024114321A1 (zh) 图像数据处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品
CN115439694A (zh) 一种基于深度学习的高精度点云补全方法及装置
CN113901909A (zh) 基于视频的目标检测方法、装置、电子设备和存储介质
CN114140831B (zh) 人体姿态估计方法、装置、电子设备及存储介质
CN117252928B (zh) 用于电子产品模块化智能组装的视觉图像定位系统
Qin et al. PointSkelCNN: Deep Learning‐Based 3D Human Skeleton Extraction from Point Clouds
CN111652181A (zh) 目标跟踪方法、装置及电子设备
CN116152334A (zh) 图像处理方法及相关设备
CN115620122A (zh) 神经网络模型的训练方法、图像重识别方法及相关设备
CN116704554A (zh) 一种基于深度学习的手姿估计与识别的方法、设备及介质
CN108596068B (zh) 一种动作识别的方法和装置
CN114913330A (zh) 点云部件分割方法、装置、电子设备与存储介质
Tan et al. Attention-based Grasp Detection with Monocular Depth Estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination