CN114494172A - 点云检测方法及装置、电子设备和计算机可读存储介质 - Google Patents
点云检测方法及装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN114494172A CN114494172A CN202210068371.8A CN202210068371A CN114494172A CN 114494172 A CN114494172 A CN 114494172A CN 202210068371 A CN202210068371 A CN 202210068371A CN 114494172 A CN114494172 A CN 114494172A
- Authority
- CN
- China
- Prior art keywords
- current
- network
- feature
- sample
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 148
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 111
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000005520 cutting process Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 31
- 230000015654 memory Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 239000000284 extract Substances 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 7
- 238000012512 characterization method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 210000001364 upper extremity Anatomy 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种点云检测方法及装置、电子设备和存储介质，方法包括：获取待检测点云；基于点云检测网络，对待检测点云进行检测，得到检测结果；其中，点云检测网络是根据第一网络的第一特征提取网络得到的；第一网络和第二网络的网络结构相同；第一网络用于对全局点云进行特征提取，得到第一特征；第二网络用于对全局点云进行特征提取，得到第二特征，以及，对局部点云进行特征提取，得到第三特征；全局点云和局部点云是对训练样本的点云进行剪裁得到的；第一特征、第二特征和第三特征用于确定损失；第二网络的第二网络参数是基于损失调整得到的；第一网络的第一网络参数是根据调整后的第二网络的参数进行调整得到的。
Description
技术领域
本申请涉及计算机技术，尤其涉及一种点云检测方法及装置、电子设备和计算机可读存储介质。
背景技术
随着有监督的点云表征学习技术的发展，有监督的点云检测网络的性能越来越高；然而，自监督点云表征学习通常只考虑全局特征或者局部特征，导致自监督点云表征网络的点云检测准确性较低；或者，自监督点云表征学习方法的优化通常是在特定的网络结构的基础上提升点云检测网络的检测准确性，对特定的网络结构以外的其他网络结构，则准确性提升效果不佳，导致自监督点云检测网络的泛化性不高。
发明内容
本申请实施例提供一种点云检测方法及装置、电子设备和计算机可读存储介质，提高了点云检测网络的准确性和泛化能力。
本申请的技术方案是这样实现的：
本申请实施例提供一种点云检测方法，包括：
获取待检测点云；基于点云检测网络，对所述待检测点云进行检测，得到检测结果；其中，所述点云检测网络是根据第一网络的第一特征提取网络得到的；所述第一网络和第二网络的网络结构相同；所述第一网络用于对全局点云进行特征提取，得到第一特征；所述第二网络用于对所述全局点云进行特征提取，得到第二特征，以及，对局部点云进行特征提取，得到第三特征；所述全局点云和所述局部点云是对训练样本的点云进行剪裁得到的；所述第一特征、所述第二特征和所述第三特征用于确定损失；所述第二网络的第二网络参数是基于所述损失调整得到的；所述第一网络的第一网络参数是根据调整后的所述第二网络的参数进行调整得到的。
本申请实施例提供一种点云检测装置，包括：
获取模块，用于获取待检测点云；
检测模块，用于基于点云检测网络，对所述待检测点云进行检测，得到检测结果；其中，所述点云检测网络是根据第一网络的第一特征提取网络得到的；所述第一网络和第二网络的网络结构相同；所述第一网络用于对全局点云进行特征提取，得到第一特征；所述第二网络用于对所述全局点云进行特征提取，得到第二特征，以及，对局部点云进行特征提取，得到第三特征；所述全局点云和所述局部点云是对训练样本的点云进行剪裁得到的；所述第一特征、所述第二特征和所述第三特征用于确定损失；所述第二网络的第二网络参数是基于所述损失调整得到的；所述第一网络的第一网络参数是根据调整后的所述第二网络的参数进行调整得到的。
本申请实施例提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序时，实现上述点云检测方法。
本申请实施例提供一种计算机存储介质，存储有计算机程序，用于被处理器执行时，实现上述点云检测方法。
本申请实施例提供一种点云检测方法及装置、电子设备和计算机可读存储介质，通过第一网络的第一特征提取网络确定点云检测网络；通过第二网络的更新指导第一网络的更新；其中，第一网络和第二网络的网络结构相同，且第一网络可以基于全局点云进行特征提取，得到第一特征；第二网络可以基于全局点云进行特征提取，得到第二特征，并可以基于局部点云进行特征提取得到第三特征；其中，全局点云和局部点云是通过对训练样本的点云剪裁得到，根据第一特征、第二特征和第三特征确定损失，再根据损失调整第二网络中的特征提取网络的第二网络参数，根据调整后的第二网络参数调整第一网络的第一网络参数；如此，能够同时检测全局点云和局部点云，提高了点云检测网络的准确性，同时，第一特征提取网络可以兼容各种下游网络，得到点云检测网络，从而提高点云检测网络的泛化能力。
附图说明
图1为本申请实施例提供的一个可选的点云检测系统的结构示意图；
图2为本申请实施例提供的一个可选的点云检测方法流程图；
图3为本申请实施例提供的一个可选的点云检测方法流程图；
图4为本申请实施例提供的一个可选的点云检测方法流程图；
图5为本申请实施例提供的一个可选的点云检测方法流程图；
图6为本申请实施例提供的一个可选的点云检测方法流程图；
图7为本申请实施例提供的一个可选的点云检测方法流程图；
图8为本申请实施例提供的一个可选的点云检测方法流程图；
图9为本申请实施例提供的一个可选的点云检测方法流程图；
图10为本申请实施例提供的一个可选的点云检测方法流程图；
图11为本申请实施例提供的一个可选的点云检测方法流程图；
图12为本申请实施例提供的一个可选的点云检测方法流程图；
图13为本申请实施例提供的一个可选的点云检测方法流程图；
图14为本申请实施例提供的一个可选的特征点可视化示意图；
图15为本申请实施例提供的一个可选的注意力可视化意图；
图16为本申请实施例提供的一个可选的点云检测装置的结构示意图；
图17为本申请实施例提供的一个可选的电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。下面对本申请实施例中的术语进行解释：
知识蒸馏：将复杂模型学习到的知识迁移到简单模型中去，从而使简单模型语义分割的精度趋近复杂模型；也就是说，将已训练好的复杂模型(例如参考语义模型)作为教师网络，简单模型(例如待训练的语义分割模型)作为学生网络，由教师网络指导学生网络学习知识，从而得到训练好的简单模型。
对比学习：一种为深度学习模型描述相似和不同事物的任务的自监督学习方法。利用对比学习,可以在没有标签的情况下，训练机器学习模型来区分相似和不同的图像。
目前，若需要提高有监督的点云表征方法的性能，通常需要扩充三标注维数据，且扩充程度相对性能将呈指数增长；随着有监督的点云表征学习技术的发展，有的点云表征方法需要依赖于特定的网络结构，在特定的网络结构的基础上提升点云表征性能；例如，Huang等人发明的STRL模型，是在点云动态图卷积网络(Dynamic Graph CNN for Learningon Point Clouds，DGCNN)的基础上，对接近完整的点云做不同的变换，在不同变换的点云的基础上提取的特征尽可能相似，从而让点云检测网络学习到良好的点云表征；如此，点云检测网络可以学习到完整点云的表征，但对于局部点云的表征能力不足，影响了点云检测网络的准确性；并且，由于点云表征能力的提升是在特定网络结构的基础上，导致点云检测网络的泛化能力不足。
本申请实施例提供一种点云检测方法及装置、电子设备和计算机可读存储介质，能够增加点云检测网络的准确性，提高点云检测网络的泛化能力。下面说明本申请实施例提供的电子设备的示例性应用，本申请实施例提供的电子设备包含点云检测装置，电子设备可以实施为带有图像采集设备的笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的用户终端。下面，将说明设备实施为终端时示例性应用。
参见图1，图1是本申请实施例提供的点云检测系统100的一个可选的架构示意图；为实现支撑一个点云检测应用，终端400通过网络300连接服务器200，终端中包括点云检测装置；网络300可以是广域网或者局域网，又或者是二者的组合。
终端400用于通过图像采集设备采集待检测图像，从而得到待检测点云，通过点云检测网络对待检测点云进行检测，得到点云检测结果。其中，点云检测网络是根据第一网络的第一特征提取网络得到的；第一网络和第二网络的网络结构相同；第一网络用于对全局点云进行特征提取，得到第一特征；第二网络用于对全局点云进行特征提取，得到第二特征，以及，对局部点云进行特征提取，得到第三特征；全局点云和局部点云是对训练样本的点云进行剪裁得到的；第一特征、第二特征和第三特征用于确定损失；第二网络的第二网络参数是基于损失调整得到的；第一网络的第一网络参数是根据调整后的所述第二网络的参数进行调整得到的。将上述点云检测结果在图形界面4001显示。服务器200用于通过数据库500中预先存储的训练样本，对终端400中的点云检测网络的训练提供数据支持。
在一些实施例中，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例中不做限制。
参见图2，图2是本申请实施例提供的点云检测方法的一个可选的流程示意图，将结合图2示出的步骤进行说明。
S101、获取待检测点云。
在本申请实施例中，待检测点云可以通过终端的图像采集装置所采集的图像得到，也可以通过扫描设备对实际场景进行扫描得到，对此，本申请实施例不作限制。
这里，待检测点云可以为稠密点云，可以为稀疏点云。
S102、基于点云检测网络，对待检测点云进行检测，得到检测结果；其中，点云检测网络是根据第一网络的第一特征提取网络得到的；第一网络和第二网络的网络结构相同；第一网络用于对全局点云进行特征提取，得到第一特征；第二网络用于对全局点云进行特征提取，得到第二特征，以及，对局部点云进行特征提取，得到第三特征；全局点云和局部点云是对训练样本的点云进行剪裁得到的；第一特征、第二特征和第三特征用于确定损失；第二网络的第二网络参数是基于损失调整得到的；第一网络的第一网络参数是根据调整后的第二网络的参数进行调整得到的。
在本申请实施例中，终端在获取待检测点云后，可以通过终端中的点云检测网络对待检测点云进行点云检测，从而得到检测结果。
这里，点云检测网络可以用于对点云的形状进行分类，识别出待检测点云是什么物品；或者，点云检测网络可以用于语义分割，识别出待检测点云中每个点云属于什么物品。
示例性的，点云检测网络实施为语义分割网络，通过点云检测网络可以对室内场景的待检测点云进行语义分割，识别哪些点云对应墙，哪些点云对应地面，哪些点云对应房顶等。
在本申请实施例中，点云检测网络是根据第一网络的特征提取网络，即第一特征提取网络确定的；这里，点云检测网络的初始网络可以为第一特征提取网络与下游分类网络组成的；对初始网络进行训练，训练完成后的网络作为点云检测网络。
在本申请实施例中，第一网络包括第一特征提取网络，通过第一特征提取网络进行特征提取。其中，第一网络的网络参数，即第一网络参数是通过第二网络的第二网络参数的调整而进行调整的，每训练一次，第一网络参数随第二网络参数的调整而调整，直到训练完成后，得到的第一网络中的第一特征提取网络可以用于点云检测网络，其中，第一网络和第二网络的网络结构相同。
这里，下游分类网络可以是任意一种分类网络，对此本申请实施例不做限制。
在本申请实施例中，第一网络和第二网络是通过至少一个样本进行训练的；至少一个样本的点云可以被剪裁为全局点云和局部点云，全局点云可以根据大比例剪裁得到，局部点云可以按照小比例剪裁得到。
这里，大比例可以为大比例范围内的比例，小比例可以为小比例范围内的比例。对至少一个样本中每个样本的点云进行大比例剪裁，可以得到每个样本的大比例数量的点云，分布于样本的点云的全局区域，即全局点云；对至少一个样本中每个样本的点云进行小比例剪裁，可以得到每个样本的点云中的小比例数量的点云，分布于样本的点云的局部区域，即局部点云。
在本申请实施例中，每个样本经过大比例剪裁后都可以得到至少一个全局点云，每个样本经过小比例剪裁后都可以得到至少一个局部点云，每个样本经过大比例剪裁后都可以得到至少一个全局点云；其中，至少一个局部点云和至少一个全局点云的数量可以根据需要设置，本申请实施例不作限制。
在本申请实施例中，第一网络用于对全局点云进行特征提取，得到第一特征，第一特征表征全局特征；第二网络用于对全局点云和局部点云分别进行特征提取，得到第二特征和第三特征，其中第二特征表征全局特征，第三特征表征局部特征。
在本申请实施例中，终端可以在获取全局点云和局部点云后，每次训练都采用该全局点云和局部点云来提取特征，也可以每次训练都重新调整大比例和小比例，得到新的全局点云和局部点云；对此，本申请实施例不作限制。
在本申请实施例中，终端每次训练都需要对每个样本的至少一个全局点云确定至少一个当前第一特征、至少一个当前第二特征，以及对每个样本的至少一个局部点云提取至少一个当前第三特征，根据至少一个当前第一特征、至少一个当前第二特征和至少一个当前第三特征，确定当前损失，根据当前损失调整第二网络的第二网络参数，得到调整后的第二网络，再根据调整后的第二网络的第二网络参数，更新第一网络的第一网络参数，从而得到更新后的第一网络。
需要说明的是，由于第一网络和第二网络的网络结构相同，第一网络参数和第二网络参数也相同。这里，调整的第二网络参数可以为第二网络中所有参数中的至少一个，则更新的第一网络参数为与调整后的第二网络参数相同的参数。这里，对于调整哪些参数，可以根据需要设置，本申请实施例不做限制。
在本申请实施例中，对于第一网络和第二网络的每次训练，终端可以根据至少一个当前第一特征和至少一个当前第二特征，确定当前第第一损失，当前第一损失用于表征全局到全局的损失；以及，根据至少一个当前第一特征和至少一个当前第三特征，确定当前第二损失，当前第二损失用于表征局部到全局的损失，再对当前第一损失和当前第二损失加权就和，得到当前损失，根据当前损失调整当前第二网络参数，得到调整后的第二网络参数作为下一次第二网络参数，再根据下一次第二网络参数调整当前第一网络参数，得到调整后的第一网络参数，即下一次第一网络参数，从而实现对第一网络的更新。
在本申请实施例中，终端可以基于每个样本的至少一个当前第一特征和至少一个当前第二特征，确定当前全局交叉熵，再根据至少一个样本的全局交叉熵确定当前第一损失；以及，基于至少一个当前第一特征和至少一个当前第三特征，确定当前局部交叉熵，再根据至少一个样本的局部交叉熵确定当前第二损失。
在本申请实施例中，终端可以基于至少一个当前第一特征、至少一个当前第二特征和至少一个当前第三特征进行回归处理，得到至少一个当前第一概率、至少一个当前第二概率和至少一个当前第三概率，根据至少一个当前第一概率和至少一个当前第二概率确定当前全局交叉熵，根据至少一个当前第一概率和至少一个当前第二概率确定当前局部交叉熵。
在本申请实施例中，终端可以对每个样本的至少一个当前第一特征进行集中化处理，得到每个样本的至少一个当前第一中间特征，再对每个样本的至少一个当前第一中间特征、至少一个当前第二特征和至少一个当前第三特征进行回归处理，得到至少一个当前第一概率、至少一个当前第二概率和至少一个当前第三概率。
这里，集中化处理可以使当前第一中间特征考虑特征空间的中心特征，也就是说至少一个当前第一中间特征的分布更加均匀。
在本申请的一些实施例中，终端可以对至少一个当前第二特征和至少一个当前第三特征先进行锐化处理，再进行回归处理，得到至少一个当前第二概率和至少一个当前第三概率。这里，锐化处理和集中化处理可以相互对抗，达到平衡，使第一网络通过训练提高点云表征能力，从而使最终得到的点云检测网络的性能更好。
在本申请实施例中，终端可以对调整后的当前第二网络参数乘以预设比例系数，得到调整后的当前第一网络参数，即下一次第一网络参数；终端也可以根据当前第一网络参数和更新后的第二网络参数，确定下一次第一网络参数；例如，将当前第一网络参数和更新后的第二网络参数进行加权求和，得到下一次第一网络参数；对此，本申请实施例不作限制。
可以理解的是，本申请实施例通过第一网络提取全局点云的特征，得到第一特征，通过第二网络提取全局点云的特征得到第二特征，通过第二网络提取局部点云的特征得到第三特征，基于第一特征、第二特征和第三特征调整第二网络的参数，使第二网络既考虑了全局特征又考虑了局部特征，再通过调整后的第二网络更新第一网络，如此，第一网络也同时考虑到全局特征和局部特征，如此，基于第一网络的第一特征提取网络得到的点云检测网络的检测准确性更高；并且，由于第一特征提取网络可以加上下游各种分类网络来确定点云检测网络，提高了点云检测网络的泛化能力。
在本申请的一些实施例中，S102中基于点云检测网络，对所述待检测点云进行检测，得到检测结果之前的实现，如图3所示，还可以包括：S201-S205。
S201、从至少一个样本的点云中，通过剪裁获取每个样本的至少一个当前全局点云和至少一个当前局部点云；至少一个当前全局点云中每个全局点云的数量与对应的一个样本的点云的数量的剪裁比例为第一比例；至少一个当前局部点云中每个当前局部点云的数量与对应的一个样本的点云的数量的剪裁比例为第二比例；第一比例在第一比例范围内；第二比例在第二比例范围内；第一比例范围的最大值大于第二比例的最大值。
在本申请实施例中，终端可以从离线数据库中获取至少一个样本，通过至少一个样本对第一网络和第二网络进行训练。
在本申请实施例中，终端在每次训练时，可以对至少一个样本中的每个样本按照比例进行剪裁，从而获取每个样本的至少一个当前全局点云和每个样本的至少一个当前局部点云。这里，终端对每个样本按照当前第一比例进行剪裁，得到当前全局点云，对每个样本按照当前第二比例进行剪裁，得到当前局部点云。
需要说明的是，当前第一比例在第一比例范围内，当前第二比例在第二比例范围内，其中，第一比例范围的上限大于第二比例范围的上限，如此，可以使终端取到的第一比例可以大于第二比例。
在本申请的一些实施例中，第一比例范围的下限大于第二比例范围的上限，如此，可以使终端取到的第一比例大于第二比例。
在本申请实施例中，至少一个样本中每个样本的点云P∈RN×3，也就是说，每个样本的点云P处于N×3维空间中，这里，N为大于或者等于1的正整数。将当前次训练记为第k次训练，k为大于或者等于1的正整数，则确定当前全局点云的方式参见公式(1)，确定当前局部点云的方式参见公式(2)：
其中，crop(·,·)表示裁剪函数，即从点云中按照一定的比例裁剪。
表示至少一个样本中第b个样本的I个当前全局点云中的第i个当前全局点云。randk(rg1,rg2)表示在第一比例范围(rg1,rg2)的当前次第一比例，rg1为第一比例下限，rg2为第一比例上限；
表示至少一个样本中第b个样本的J个当前局部点云中的第j个当前局部点云。randk(rl1,rl2)表示在第二比例范围(rl1,rl2)中的当前次第二比例，rl1为第二比例下限，rl2为第二比例上限。需要说明的是，b∈(1,B)，B、I和J的值可以根据需要设置，本申请实施例不作限制。
示例性的，第一比例范围可以为rand(70％,95％)，第二比例范围可以为rand(20％,50％)，实际当前第一比例可以为90％，当前第二比例可以为40％。
S202、通过当前第一网络从每个样本的至少一个当前全局点云中提取对应的至少一个当前第一特征。
在本申请实施例中，终端通过当前第一网络可以从每个样本的至少一个当前全局点云中提取对应的至少一个当前第一特征，其中，至少一个当前全局点云于至少一个当前第一特征一一对应。
在本申请的一些实施例中，第一网络包括第一特征提取网络和头网络，通过第一特征提取网络从每个全局点云
中提取的特征为
将
输入头网络，可以得到当前第一特征
参见公式(3)
其中，projector(·)表示投影到K维空间中，如此，终端可以得到每个样本的至少一个当前第一特征。当前第一特征为K维特征。
可以理解的是，第一网络只针对全局点云提取特征，则第一网络可以得到更稳定的训练目标。
S203、通过当前第二网络，从每个样本的至少一个当前全局点云中提取对应的至少一个当前第二特征，并从每个样本的至少一个当前局部点云中提取对应的至少一个当前第三特征。
在本申请实施例中，终端通过当前第二网络可以从每个样本的至少一个当前全局点云中提取对应的至少一个当前第二特征，其中，至少一个当前全局点云于至少一个当前第一特征一一对应；以及，通过当前第二网络可以从每个样本的至少一个局部点云中提取对应的至少一个当前第三特征，其中，至少一个当前局部点云于至少一个当前第三特征一一对应。
在本申请的一些实施例中，当前第二网络包括当前第二特征提取网络和头网络，通过当前第二特征提取网络从每个当前全局点云
中提取的特征为
将
输入头网络，可以得到当前第二特征
参见公式(4)，通过当前第二特征提取网络从每个当前局部点云
中提取的特征为
将
输入头网络，可以得到当前第二特征
参见公式(5)。
其中，projector(·)表示投影到K维空间中，如此，终端可以得到每个样本的至少一个当前第二特征和至少一个当前第三特征。当前第一特征和当前第二特征均为K维特征。
可以理解的是，第二网络同时对全局点云和局部点云提取特征，可以使第二网络学习到全局形状的不变性和局部到全局的一致性。
S204、根据至少一个样本中每个样本的至少一个当前第一特征、至少一个当前第二特征和至少一个第三特征，确定当前损失。
在本申请实施例中，终端得到每个样本的至少一个当前第一特征、至少一个当前第二特征和至少一个第三特征后，可以基于每个样本的至少一个当前第一特征、至少一个当前第二特征和至少一个第三特征，确定当前损失，当前损失用于指导第二网络参数的调整。
在本申请的一些实施例中，至少一个当前第一特征、至少一个当前第二特征和至少一个第三特征均为至少一维空间中的至少一维特征；S204中根据至少一个样本中每个样本的至少一个当前第一特征、至少一个当前第二特征和至少一个第三特征，确定当前损失的实现，如图4所示，可以包括：S301-S303。
S301、从至少一个样本中每个样本的至少一个当前第一特征所在的至少一维空间中，确定当前中心特征。
在本申请实施例中，终端可以根据每个样本的至少一个当前第一特征，确定至少一个当前第一特征所在的至少一维空间中的当前中心特征。
在本申请的一些实施例中S301中从至少一个样本中每个样本的至少一个当前第一特征所在的至少一维空间中，确定当前中心特征，包括：S401-S403。
S401、若当前第一特征为第一次训练得到的第一特征，则获取初始中心特征作为当前中心特征。
在本申请实施例中，终端在确定当前的训练为第一次训练，则当前第一特征为第一次训练得到的第一特征，则终端可以获取初始中心特征作为当前中心特征。
在本申请的一些实施例中，初始中心特征可以为预设中心特征，预设中心特征可以根据需要设置，对此本申请实施例不作限制。
S402、若当前第一特征为第w次训练得到的第一特征，且w为大于1的正整数，则基于上一次中心特征、当前第一权值，以及至少一个第一当前和，确定当前中心特征；至少一个当前和为至少一个样本中每个样本的至少一个当前第一特征之和。
在本申请实施例中，终端在确定当前的训练为第w次训练，且w为大于1的正整数，也就是说，当前的训练不是第一次训练，则可以根据上一次中心特征、当前第一权值，以及至少一个第一当前和，确定当前中心特征。
在本申请实施例中，终端可以得到每个样本的至少一个当前第一特征后，可以计算每个样本的至少一个当前第一特征的和，得到至少一个样本对应至少一个第一当前和。
可以理解的是，每次训练的当前中心特征是根据上一次中心特征和至少一个当前和得到的，则每次训练的当前中心特征都在持续优化，且当前中心特征可以考虑到所有的至少一个当前第一特征，当前中心特征可以在上一次中心特征的基础上提高全局特征分布的均匀性。
在本申请的一些实施例中，S402中基于上一次中心特征、当前第一权值，以及至少一个第一当前和，确定当前中心特征的实现方式，如图5所示，可以包括：S501-S503。
S501、利用上一次中心特征乘以当前第一权值，得到当前第一中心特征。
在本申请实施例中，终端可以将上一次中心特征乘以当前第一权值，得到当前第一中心特征。
S502、利用至少一个当前第一特征和的均值乘以当前第二权值，得到当前第二中心特征；当前第一权值和当前第二权值的和为1。
在本申请实施例中，终端可以对至少一个样本的至少一个当前第一特征和求均值，再用均值乘以当前第二权值，得到当前第一中心特征。其中，当前第一权值和当前第二权值的和为1。
在本申请实施例中，终端可以将至少一个当前第一特征和相加，得到总当前第一特征和，再将总当前第一特征和除以样本数量，得到上述均值。
需要说明的是，每一次训练的当前第一权值不同，则每一次训练的当前第二权值也不同。
S503、将当前第一中心特征与当前第二中心特征之和作为当前中心特征。
在本申请实施例中，终端在得到当前第一中心特征和当前第二中心特征后，可以将当前第一中心特征和当前第二中心特征相加，得到当前中心特征，参考公式(6)：
其中，ck表示当前中心特征，ck-1表示上一次中心特征，
表示当前第一特征和，
表示B个样本的B个当前第一特征和的均值，qk为当前第一权值，(1-qk)则为当前第二权值。
在本申请的一些实施例中，S402中基于上一次中心特征、当前第一权值，以及至少一个第一当前和，确定当前中心特征之前的实现方式，如图6所示，可以包括：S601-S602。
S601、基于目标第一权值、初始第一权值的差值，以及预设更新次数，得到第一权值偏差。
在本申请实施例中，初始第一权值为第一次训练时的第一权值；第一权值从初始第一权值开始，随着训练次数的增加，不断增加，直到达到目标第一权值。
在本申请实施例中，目标第一权值、初始第一权值和预设更新次数可以根据需要设置，对此，本申请实施例不作限制。
在本申请实施例中，终端可以基于目标第一权值、初始第一权值的差值，以及预设更新次数，得到第一权值偏差，第一权值偏差为每次训练第一权值的递增量。
在本申请实施例中，第一权值可以呈现线性递增，这里，终端可以利用目标第一权值和初始第一权值的差值除以预设更新次数，得到第一权值偏差，参见公式(7)
其中，q1表示初始第一权值，qt表示目标第一权值，A表示预设更新次数。
示例性的，目标第一权值为1，初始第一权值为0.95，预设更新次数为100，则第一权值偏差为0,0005。
S602、将上一次第一权值加上所述第一权值偏差得到所述当前第一权值。
在本申请实施例中，终端在上一次第一权值的基础上，加上第一权值偏差，可以得到当前第一权值，参考公式(8)：
qk＝qk-1+△q 公式(8)
其中，△q为第一权值偏差。
在本申请的一些实施例中，第一权值偏差也可以随着训练次数递增，在预设更新次数的训练完成时，达到目标第一权值。
S302、利用至少一个样本中每个样本的至少一个当前第一特征和当前中心特征，得到至少一个样本中每个样本的至少一个当前第一中间特征。
在本申请实施例中，终端在得到当前中心特征和每个样本的至少一个当前第一特征后，可以根据当前中心特征和至少一个当前第一特征确定至少一个当前第一中间特征。
在本申请的一些实施例中，S302中利用至少一个样本中每个样本的至少一个当前第一特征和当前中心特征，得到至少一个样本中每个样本的至少一个当前第一中间特征的实现，如图7所示，可以包括：S701-S702。
S701、利用至少一个样本中每个样本的至少一个当前第一特征中的每个当前第一特征，减去当前中心特征，得到至少一个样本中每个样本的的至少一个差值。
S702、将至少一个样本中每个样本的至少一个差值作为至少一个样本中每个样本的至少一个当前第一中间特征。
在本申请实施例中，终端可以利用至少一个当前第一特征中的每个当前第一特征减去当前中心特征，得到每个当前第一中间特征，从而得到至少一个当前第一中间特征
参见公式(9)。
S303、根据至少一个样本中每个样本的至少一个当前第一中间特征、至少一个当前第二特征和至少一个当前第三特征，确定当前损失。
在本申请实施例中，终端得到至少一个当前第一中间特征、至少一个当前第二特征和至少一个当前第三特征后，可以根据至少一个当前第一中间特征、至少一个当前第二特征和至少一个当前第三特征确定当前损失。
可以理解的是，由于当前第一中间特征是通过当前第一特征和当前中心特征得到的，而当前中心特征是根据多有样本的当前第一特征的和的均值得到的，当前第一中间特征通过当前中心特征，提高了至少一维空间中的特征分布的均匀性。
在本申请的一些实施例中，S303中根据至少一个样本中每个样本的至少一个当前第一中间特征、至少一个当前第二特征和至少一个当前第三特征，确定当前损失的实现，如图8所示，可以包括：S801-S803。
S801、基于至少一个样本中每个样本的至少一个当前第一中间特征和至少一个样本中每个样本的至少一个当前第二特征，确定当前第一损失；当前第一损失用于表征第一网络和第二网络之间的全局特征损失。
在本申请实施例中，终端可以基于至少一个样本中每个样本的至少一个当前第一中间特征，和至少一个样本中每个样本的至少一个当前第二特征，确定当前第一损失。
在本申请的实施例中，终端可以基于至少一个样本中每个样本的至少一个当前第一中间特征，和至少一个样本中每个样本的至少一个当前第二特征，计算每个样本对应的全局交叉熵，得到至少一个全局交叉熵，根据至少一个全局交叉熵确定当前第一损失。
在本申请的一些实施例中，S801中基于至少一个样本中每个样本的至少一个当前第一中间特征和至少一个样本中每个样本的至少一个当前第二特征，确定当前第一损失的实现，如图9所示，可以包括：S901-S903。
S901、基于锐化参数对每个样本的至少一个当前第一中间特征进行锐化处理，得到每个样本的至少一个当前第一锐化特征；基于锐化参数对每个样本的至少一个当前第二特征进行锐化处理，得到每个样本的至少一个当前第二锐化特征。
在本申请实施例中，终端可以通过锐化参数，分别对每个样本的至少一个当前第一中间特征和每个样本的的至少一个当前第二特征进行锐化处理，得到至少一个当前第一锐化特征和至少一个当前第二锐化特征。
在本申请实施例中，锐化参数越大，锐化程度越小。这里，锐化参数可以采用温度系数τ来表征，例如，分别对每个样本的至少一个当前第一中间特征和每个样本的的至少一个第一锐化特征，除以温度系数，得到至少一个当前第一锐化特征和至少一个当前第二锐化特征。
S902、对每个样本的至少一个当前第一锐化中间特征进行回归处理，得到至少一个第一概率；以及，对每个样本的至少一个当前第二锐化特征进行回归处理，得到至少一个第二概率。
在本申请实施例中，终端在得到每个样本的至少一个当前第一锐化特征和每个样本的至少一个当前第二锐化特征后，可以对每个样本的至少一个当前第一锐化特征和每个样本的至少一个当前第二锐化特征分别进行回归处理，得到至少一个第一概率和至少一个第二概率。
在本申请的一些实施例中，回归处理可以为softmax处理，详见公式(10)。
其中，o表示特征，
表示至少一个当前第一锐化特征中的任意一个锐化特征，M表示分类类别数量，其中，
等于1，也就是说，任意一个特征为M个分类目标中每个目标的概率相加等于1，如此，通过softmax处理，可以得到至少一个第一概率和至少一个第二概率，其中，第一概率
参见公式(11)，第二概率
参见公式(12)。
S903、基于每个样本的至少一个第一概率和每个样本的至少一个第二概率之间的全局交叉熵，确定当前第一损失。
在本申请实施例中，终端在得到每个样本的至少一个第一概率和至少一个第二概率后，可以得到至少一个样本中每个样本的全局交叉熵，进而得到至少一个全局交叉熵，至少一个第一概率和至少一个第二概率之间的全局交叉熵，得到至少一个全局交叉熵，根据至少一个全局交叉熵确定当前第一损失。这里，全局交叉熵为至少一个第一概率和至少一个第二概率之间所有交叉熵的均值。
在本申请的一些实施例中，终端可以从至少一个样本的全局交叉熵中确定出中位数，作为当前第一损失。
在本申请的一些实施例中，终端可以将至少一个样本中所有样本的全局交叉熵的均值，作为当前第一损失。这里，所有样本的全局交叉熵的均值为所有样本的全局交叉熵的和除以样本数量。
在本申请实施例中，当前第一损失的计算方法，详见公式(13)。
其中，当前第一损失表征全局到全局的损失，记为lossggk，H代表交叉熵，H(a,b)＝-a×logb。每个样本的全局交叉熵为
S802、基于至少一个样本中每个样本的至少一个当前第一中间特征和至少一个样本中每个样本的至少一个当前第三特征，确定当前第二损失；当前第二损失用于表征第一网络的全局特征和第二网络的局部特征之间的损失。
在本申请实施例中，终端可以根据每个样本的至少一个当前第一中间特征和至少一个样本中每个样本的至少一个当前第三特征，确定当前第二损失，其中，当前第二损失用于表征第一网络提取的全局特征和第二网络提取的局部特征之间的损失。
在本申请的一些实施例中，S802中基于至少一个样本中每个样本的至少一个当前第一中间特征和至少一个样本中每个样本的至少一个当前第三特征，确定当前第二损失的实现，如图10所示，可以包括：S1001-S1003。
S1001、基于锐化参数对所述每个样本的至少一个当前第一中间特征进行锐化处理，得到所述每个样本的至少一个当前第一锐化特征；基于所述锐化参数对所述每个样本的至少一个当前第三特征进行锐化处理，得到所述每个样本的至少一个当前第三锐化特征。
S1002、对所述每个样本的至少一个当前第一锐化中间特征进行回归处理，得到至少一个第一概率；以及，对所述每个样本的至少一个当前第三锐化特征进行回归处理，得到至少一个第三概率。
S1003、基于所述每个样本的至少一个第一概率和所述每个样本的至少一个第三概率之间的局部交叉熵，确定所述当前第二损失。
在本申请实施例中，终端基于锐化参数对每个样本的至少一个当前第一中间特征进行锐化处理，得到至少一个当前第一锐化特征，再根据至少一个当前第一锐化特征进行回归处理，得到至少一个第一概率的方式，参见S901-S902。
在本申请实施例中，终端基于锐化参数对每个样本的至少一个当前第三特征进行锐化处理，得到至少一个当前第三锐化特征，再根据至少一个当前第三锐化特征进行回归处理，得到至少一个第三概率的方式，与S901-S902中得到至少一个第二概率的方式相同。
这里，终端确定至少一个第三概率
的方式，参见公式(14)。
在本申请的一些实施例中，终端可以从每个样本的至少一个第一概率和至少一个第三概率之间的局部交叉熵中选取中位数，得到当前第二损失。
在本申请的一些实施例中，终端可以将至少一个样本中所有样本的至少一个第一概率和至少一个第三概率之间的局部交叉熵的均值，确定为当前第二损失。
其中，当前第二损失的确定方式，参见公式(15)。
其中，当前第二损失表征局部到全局的损失，记为lossglk，每个样本的局部交叉熵为
在本申请的一些实施例中，终端可以同时确定当前第一损失和当前第二损失，其实现可以包括：基于锐化参数对每个样本的至少一个当前第一中间特征、至少一个当前第二特征和至少一个当前第三特征进行锐化处理，得到每个样本的至少一个当前第一锐化特征、至少一个当前第二锐化特征和至少一个当前第三锐化特征；再对每个样本的至少一个当前第一锐化特征、至少一个当前第二锐化特征和至少一个当前第三锐化特征进行回归处理，得到至少一个第一概率、至少一个第二概率和至少一个第三概率；然后，基于每个样本的至少一个第一概率和每个样本的至少一个第二概率之间的全局交叉熵，确定当前第一损失，以及，基于每个样本的至少一个第一概率和每个样本的至少一个第三概率之间的局部交叉熵，确定当前第二损失。
S803、利用当前第一损失和当前第二损失，确定当前损失。
在本申请实施例中，终端在确定当前第一损失和当前第二损失后，可以根据当前第一损失和当前第二损失，确定当前损失。
在本申请的一些实施例中，终端可以将当前第一损失与当前第二损失的和作为当前损失。
在本申请的一些实施例中，终端可以对当前第一损失与当前第二损失进行加权求和，得到当前损失。参见公式(16)。
lossk＝ωg×lossggk+ωl×lossglk 公式(16)
其中，lossk为当前损失，ωg为当前第一损失的全局损失权值，ωl为当前第二损失的局部损失权值。ωg和ωl可以根据需要设置，对此，本申请实施例不作限制。
可以理解的是，当前损失包含第一网络和第二网络之间，提取的全局特征之间的损失，以及全局特征和局部特征之间的损失，如此，基于当前损失调整第二网络，可以使第二网络学习到全局特征以及局部特征的表征能力，进而提高了点云检测网络的准确性。
S205、在当前损失小于或者等于预设损失阈值的情况下，将当前第一网络作为第一网络，并基于第一网络的第一特征提取网络得到点云检测网络。
在本申请的一些实施例中，终端在得到当前损失后，可以判断当前损失是否小于或者等于预设损失阈值，得到判断结果。在判断结果表征当前损失小于或者等于预设损失阈值的情况下，停止训练，将当前第一网络作为第一网络，基于第一网络的第一特征提取网络得到点云检测网络。
在本申请的一些实施例中，S204中根据至少一个样本中每个样本的至少一个当前第一特征、至少一个当前第二特征和至少一个第三特征，确定当前损失之后的实现，如图11所示，还可以包括：S1101-S1104。
S1101、在当前损失大于预设损失阈值的情况下，获取当前第一网络的更新次数。
S1102、在更新次数小于预设更新次数的情况下，根据当前损失更新当前第二网络的网络参数，得到下一次第二网络。
在本申请实施例中，终端在判断当前损失是否小于或者等于预设损失阈值，得到判断结果后，如果判断结果表征当前损失大于预设损失阈值，则终端可以获取当前第一网络的更新次数，即当前为第几次训练，若当前第一网络的更新次数小于预设更新次数的情况下，则根据当前损失更新当前第二网络的网络参数，得到下一次第二网络。
S1103、根据下一次第二网络的网络参数，更新当前第一网络的网络参数，得到下一次第一网络。
在本申请实施例中，下一次第二网络中的网络参数为下一次第二网络参数，终端在更新当前第二网络的网络参数后，可以得到下一次第二网络参数，如此，终端可以根据下一次第二网络参数更新当前第一网络的网络参数，得到下一次第一网络参数，从而得到下一次第一网络。
S1104、基于下一次第一网络和下一次第二网络继续进行下一次训练，直到满足停止训练条件，得到第一网络和第二网络。
在本申请实施例中，终端再更新了当前第一网络，得到下一次第一网络后，可以基于下一次第一网络和下一次第二网络进行下一次训练，直到满足停止训练条件，得到第一网络和第二网络。
在本申请的一些实施例中，停止训练条件包括以下至少之一：下一次训练的下一次损失小于或者等于预设损失阈值；下一次训练的下一次更新次数大于或者等于预设更新次数。
在本申请的一些实施例中，S1101中在当前损失大于预设损失阈值的情况下，获取当前第一网络的更新次数之后的实现，还可以包括：在更新次数大于或者等于预设更新次数的情况下，将当前第一网络作为第一网络，并基于第一网络确定点云检测网络。
在本申请实施例中，终端获取当前第一网络的更新次数之后，在确定当前第一网络的更新次数大于或者等于预设更新次数的情况下，将当前第一网络作为第一网络，基于第一网络确定点云检测网络。
在本申请实施例中，第一网络的第一特征提取网络加上下游分类网络可以得到点云检测网络。
可以理解的是，在第一网络和第二网络的训练过程中，在满足当前训练的次数达到预设更新次数的情况下和当前损失小于预设损失阈值中的至少一个的情况下，停止训练，否则，根据当前损失更新当前第二网络，得到下一次第二网络，再根据下一次第二网络调整当前第一网络，得到下一次第一网络。
在本申请的一些实施例中，S1103中，根据下一次第二网络的网络参数，更新当前第一网络的网络参数，得到下一次第一网络的实现，可以包括：S11031、根据下一次第二网络中的至少一个下一次第二网络参数，更新当前第一网络中对应的至少一个当前第一网络参数，得到下一次第一网络。
在本申请实施例中，第二网络包含多个第二网络参数，第一网络包含相同类型的第一网络参数；终端可以根据下一次第二网络中的多个第二网络参数中的至少一个第二网络参数，更新当前第一网络中对应的至少一个第一网络参数。
这里，至少一个第二网络参数的数量和类型可以根据需要设置，对此，本申请实施例不作限制。
示例性的，第一网络参数包括θ1Ak,θ1Bk,θ1Ck,θ1Dk,θ1Ek，下一次第二网络参数包括θ2A(k+1),θ2B(k+1),θ2C(k+1),θ2D(k+1),θ2E(k+1)，利用至少一个下一次第二网络参数更新至少一个当前第一网络参数可以为，利用θ2A(k+1),θ2C(k+1),θ2E(k+1)更新θ1Ak,θ1Ck,θ1Ek。
在本申请的一些实施例中，S11031中根据下一次第二网络中的至少一个下一次第二网络参数，更新当前第一网络中对应的至少一个当前第一网络参数，得到下一次第一网络的实现，如图12所示，可以包括：S1201-S1203。
S1201、计算至少一个当前第一网络参数中每个第一网络参数与当前第三权重的乘积，得到至少一个当前第一参数乘积。
在本申请实施例中，终端可以计算至少一个当前第一网络参数中每个第一网络参数与当前第三权重的乘积，得到至少一个第一参数乘积。
S1202、计算至少一个下一次第二网络参数中每个第二网络参数与当前第四权重的乘积，得到至少一个当前第二参数乘积；当前第三权重和当前第四权重的和为1。
在本申请实施例中，终端可以计算下一次第二网络参数中每个下一次第二网络参数与当前第四权重的乘积，得到至少一个第二参数乘积。这里，当前第三权重和当前第四权重的和为1。
需要说明的是，第三权重会随着训练次数的增加而逐步递增，如此，第四权重会随着训练次数的增加而逐步递减。
S1203、将至少一个当前第一参数乘积中每个当前第一参数乘积，与至少一个当前第二参数乘积中对应的当前第二参数乘积的和，作为每个下一次第一网络的至少一个下一个第一网络参数，从而得到下一次第一网络。
在本申请实施例中，终端得到至少一个当前第一参数乘积和至少一个当前第二参数乘积后，可以将每个当前第一参数乘积与对应的当前第二参数乘积相加，得到至少一个当前乘积和，将至少一个当前乘积和作为下一次第一网络的至少一个下一个第一网络参数，从而得到下一次第一网络。
在本申请的一些实施例中，S1201中计算至少一个当前第一网络参数中每个第一网络参数与当前第三权重的乘积，得到至少一个当前第一参数乘积之前的实现，可以包括：基于目标第三权重、初始第三权重的差值以及预设更新次数，确定当前第三权重；其中，目标第三权重和初始第三权重为余弦曲线上的取值，初始第三权重按照余弦曲线递增，直到达到预设更新次数时，增加到目标第三权重。
在本申请实施例中，终端可以根据余弦曲线对第三权重进行更新，目标第三权重和初始第三权重都从余弦曲线中取值，如此，可以将初始第三权重到目标第三权重之间的余弦曲线在纵坐标中的投影进行预设更新次数的划分，如此，每个纵坐标对应的余弦曲线上的值可以作为每次训练的当前第三权重。如此，第三权重可以从初始第三权重随着余弦曲线递增，直到训练次数达到预设更新次数，第三权重将达到目标第三权重。
在本申请的一些实施例中，第三权重的递增方式可以参考第一权重，呈线性递增。
可以理解的是，终端可以通过当前次训练得到的下一次第二网络的至少一个第二网络参数和当前第一网络中对应的至少一个当前第一网络参数，确定至少一个下一次第一网络参数，由于第三权重随着训练次数逐步增加，则当前第一网络参数在下一次第一网络参数中占的比重越多，也就是说，第一网络参数随着训练次数的增加，其变化越来越小，使第一网络逐步提高网络质量。
在本申请的一些实施例中，第一网络和第二网络包含特征提取网络和头网络；头网络位于特征提取网络之后，头网络用于将特征提取网络输出的特征投影到至少一维空间中，得到当前第一特征、当前第二特征和当前第三特征。
在本申请实施例中，第一网络包含第一特征提取网络和头网络，第二网络包含第二特征提取网络和头网络，其中，头网络在特征提取网络之后设置。将第一特征提取网络提取的特征输入头网络可以得到当前第一特征，将第二特征提取网络提取的特征输入头网络可以得到当前第二特征，由于头网络的作用是将特征投影到至少一维空间中，当前第一特征和当前第二特征均为至少一维特征。
在本申请的一些实施例中，点云检测网络是通过由第一特征提取网络和检测网络所组成的网络进行训练得到的。
在本申请实施例中，终端对初始第一网络和初始第二网络训练完成后，可以得到第一网络和第二网络，如此，终端可以通过第一网络的第一特征提取网络加上下游检测网络组成初始点云检测网络，再对初始点云检测网络进行训练，在训练完成后，可以得到点云检测网络。
可以理解的是，通过本申请训练得到的第一网络，其中的第一特征提取网络可以加上各种检测网络，实现不同的点云检测功能，从而提高了点云检测网络的泛化能力。
图13示出了本申请提供的一种可选的训练过程示意图。如图13所示，第一网络可以为教师网络，第二网络可以为学生网络。样本点云为飞机形状的点云，在当前次训练的过程中，通过当前次剪裁，可以得到当前次全局点云和大年次局部点云，将当前次全局点云分别输入到当前教师网络和当前学生网络，并将当前局部点云输入到当前学生网络，从当前教师网络可以输出当前第一特征otgk，从当前学生网络可以输出当前第二特征osgk和当前第三特征oslk；对当前第一特征进行中心化处理得到
对
进行softmax回归处理，可以得到当前第一概率
对当前第二特征和第三特征进行softmax回归处理，可以得到当前第二概率
和当前第三概率S2(oslk,τ)。再根据交叉熵，对当前第一概率、当前第二概率和第三概率计算当前损失，根据当前损失调整当前学生网络的网络参数，得到下一次学生网络的网络参数，再将下一次学生网络的网络参数反馈给当前教师网络，得到下一次教师网络的网络参数。其中，实线表示有梯度反馈，虚线表示没有梯度反馈。
示例性的，表1给出了多种网络结构的点云检测准确性。其中，表1中的网络结构均采用ModelNet40数据集进行测试。可以看出，点云检测网络的检测准确率通常不足90％；Sauder等人在动态图卷积神经网络(Dynamic CNN，DGCNN)网络的基础上进行优化，可以将检测准确性略微提高，Poursaeed等人在DGCNN网络的基础上进行优化，可以达到与Sauder等人相当的检测准确性，Huang等人在DGCNN基础上进行优化后，可以进一步提高检测准确性，但提高的幅度较低，并且Huang等人的优化方法，运用到PCT网络上，检测准确性则大大降低，也就是说Huang等人的优化方法仅适用于DGCNN网络。而通过本申请的预训练方法，在DGCNN、三维视觉转换网络(3D-Vision Transformer，3D-VIT)和点云转换网络(PointCloud Transformer，PCT)上都表现良好，使点云检测网络的检测准确率大大提高，超过了91％。
表1
并且，通过本申请的点云检测方法，其中，第一特征提取网络提取特征的可视化图见图14，如图14所示，不同灰度的点代表不同的目标物品，可以看出，通过本申请的点云检测方法提取的特征中，显示器、床、洗手间、椅子、沙发对应的特征点聚集性最优，且与其他物品的特征点的距离最远，也就是说，显示器、床、洗手间、椅子和沙发的特征提取非常成功，浴缸、桌子、裙子、办公桌、床头柜和平面桌的特征点与其他物品的特征点的距离略近，但聚集性良好。
表2给出了不同的点云检测网络在形状分类应用上的检测准确率，从表2中可以看出，DGCNN、PCT和Zhang等人提出的shell三种网络从头训练的准确率分别为92.2％、92.9％和93.1％，其中，shell的准确率最高。而通过预训练的方法优化点云检测网络的方法中，Sauder等人对DGCNN优化后，准确率可以为92.4％，虽然相比从头训练的DGCNN准确率提高了0.2，但是，还不如从头训练的PCT和shell的准确率。Huang等人对DGCNN优化后，准确率为93.1％，相比从头训练的的DGCNN准确率有了较大的提高，然而，Huang等人的优化方法仅适用于DGCNN。本申请的预训练方法，应用在DGCNN上，准确率可以达到93.2％，应用在PCT上，准确率可以达到93.4％，显然，本申请的预训练方法适用于不同的网络结构，在不同的网络结构上都大大提高了检测准确率。
表2
表3给出了不同的点云检测网络应用语义分割上，对5个不同区域的分割结果，包括准确率和mIoU，其中，STRL是Huang等人在DGCNN上预训练得到的网络名称，本申请是通过数据集shape net-2048进行预训练的。从表3中可以看出，虽然Huang等人通过预训练得到的网络相比从头训练的网络准确率和mIoU更好，但本申请通过预训练得到的网络应用在语义分割上的准确率和mIou最好。
表3
表4给出了本申请预训练得到的点云检测网络和Huang等人预训练得到的点云网络STRL的鲁棒性测试结果，其中，shapeNet(2048)和shapeNet(1024)是预训练采用的样本数据集，ModelNet40_CAD(2048)、ModelNet40_CAD(1024)、ModelNet40_H5PY(2048)和ModelNet40_H5PY(1024)分别为4个测试数据集。可以看出，本申请预训练得到的点云检测网络准确率大于或者等于STRL，本申请预训练得到的点云检测网络的性能更优。
表4
图15为本申请实施例预训练点云检测网络在多头注意力方面的可视化图，从图中可以看出，多头注意力中每个头对于不同的人和不同的飞机，注意力集中的部分基本相同，其中，头1的注意力集中在点云右侧，如图中：人1-2的右腿，飞机1-3的右机翼，头2的注意力集中点云右侧，如图中：人1的上肢、人2的右上肢、飞机1-2的左尾翼；头3的注意力集中在飞机1-3的点云右侧，以及人1-2的点云左侧；头4的注意力主要集中在点云主体区域；头5的注意力集中在点云左侧；头6的注意力集中在飞机1-3的点云主体区域，以及人的点云左侧区域；头7的注意力集中飞机1-3的躯干和左侧，以及人1-2的躯干和左侧；头8的注意力集中在飞机1-3的点云的主体和右侧，以及人1的上肢和人2的主体和左侧；如此，通过多个头的不同注意力分布，可以得到每个人和每个飞机的绝大部分的注意力，从而提高点云检测网络的检测准确性。
图16为本申请实施例提供的点云检测装置的可选的结构组成示意图，如图16所示，点云检测装置16包括：
获取模块161，用于获取待检测点云；
检测模块162，用于基于点云检测网络，对所述待检测点云进行检测，得到检测结果；其中，所述点云检测网络是根据第一网络的第一特征提取网络得到的；所述第一网络和第二网络的网络结构相同；所述第一网络用于对全局点云进行特征提取，得到第一特征；所述第二网络用于对所述全局点云进行特征提取，得到第二特征，以及，对局部点云进行特征提取，得到第三特征；所述全局点云和所述局部点云是对训练样本的点云进行剪裁得到的；所述第一特征、所述第二特征和所述第三特征用于确定损失；所述第二网络的第二网络参数是基于所述损失调整得到的；所述第一网络的第一网络参数是根据调整后的所述第二网络的参数进行调整得到的。
在一些实施例中，所述点云检测装置16还包括预训练模块，所述预训练模块，用于在基于点云检测网络，对所述待检测点云进行检测，得到检测结果之前，从至少一个样本的点云中，通过剪裁获取每个样本的至少一个当前全局点云和至少一个当前局部点云；所述至少一个当前全局点云中每个全局点云的数量与对应的一个样本的点云的数量的剪裁比例为当前第一比例；所述至少一个当前局部点云中每个当前局部点云的数量与对应的一个样本的点云的数量的剪裁比例为当前第二比例；所述当前第一比例在第一比例范围内；所述当前第二比例在第二比例范围内；所述第一比例范围的最大值大于所述第二比例的最大值；通过当前第一网络从所述每个样本的至少一个当前全局点云中提取对应的至少一个当前第一特征；通过当前第二网络，从所述每个样本的至少一个当前全局点云中提取对应的至少一个当前第二特征，并从所述每个样本的至少一个当前局部点云中提取对应的至少一个当前第三特征；根据所述至少一个样本中每个样本的所述至少一个当前第一特征、所述至少一个当前第二特征和所述至少一个第三特征，确定当前损失；在所述当前损失小于或者等于预设损失阈值的情况下，将所述当前第一网络作为所述第一网络，并基于所述第一网络的第一特征提取网络得到所述点云检测网络。
在一些实施例中，所述预训练模块，还用于在根据所述至少一个样本中每个样本的所述至少一个当前第一特征、所述至少一个当前第二特征和所述至少一个第三特征，确定当前损失之后，在所述当前损失大于预设损失阈值的情况下，获取所述当前第一网络的更新次数；在所述更新次数小于预设更新次数的情况下，根据所述当前损失更新所述当前第二网络的网络参数，得到下一次第二网络；根据所述下一次第二网络的网络参数，更新所述当前第一网络的网络参数，得到下一次第一网络；基于所述下一次第一网络和下一次第二网络继续进行下一次训练，直到满足停止训练条件，得到所述第一网络和所述第二网络。
在一些实施例中，所述预训练模块，所述停止训练条件包括以下至少之一：
下一次训练的下一次损失小于或者等于所述预设损失阈值；
下一次训练的下一次更新次数大于或者等于所述预设更新次数。
在一些实施例中，所述预训练模块，还用于在所述当前损失大于预设损失阈值的情况下，获取所述当前第一网络的更新次数之后，在所述更新次数大于或者等于所述预设更新次数的情况下，将所述当前第一网络作为所述第一网络，并基于所述第一网络确定所述点云检测网络。
在一些实施例中，所述至少一个当前第一特征、所述至少一个当前第二特征和所述至少一个第三特征均为至少一维空间中的至少一维特征；所述预训练模块，还用于从所述至少一个样本中每个样本的所述至少一个当前第一特征所在的至少一维空间中，确定当前中心特征；利用所述至少一个样本中每个样本的所述至少一个当前第一特征和所述当前中心特征，得到所述至少一个样本中每个样本的至少一个当前第一中间特征；根据所述至少一个样本中每个样本的所述至少一个当前第一中间特征、所述至少一个当前第二特征和所述至少一个当前第三特征，确定所述当前损失。
在一些实施例中，所述预训练模块，还用于若所述当前第一特征为第一次训练得到的第一特征，则获取初始中心特征作为所述当前中心特征；若所述当前第一特征为第w次训练得到的第一特征，且所述w为大于1的正整数，则基于上一次中心特征、当前第一权值，以及至少一个第一当前特征和，确定所述当前中心特征；所述至少一个当前第一特征和为所述至少一个样本中每个样本的至少一个当前第一特征之和。
在一些实施例中，所述预训练模块，还用于利用所述上一次中心特征乘以当前第一权值，得到当前第一中心特征；利用所述至少一个当前第一特征和的均值乘以当前第二权值，得到当前第二中心特征；所述当前第一权值和所述当前第二权值的和为1；将所述当前第一中心特征与所述当前第二中心特征之和作为所述当前中心特征。
在一些实施例中，所述预训练模块，还用于在利用所述上一次中心特征乘以当前第一权值，得到当前第一中心特征之前，基于目标第一权值、初始第一权值的差值，以及预设更新次数，得到第一权值偏差；将上一次第一权值加上所述第一权值偏差得到所述当前第一权值。
在一些实施例中，所述预训练模块，还用于利用所述所述至少一个样本中每个样本的至少一个当前第一特征中的每个当前第一特征，减去所述当前中心特征，得到所述至少一个样本中每个样本的的至少一个差值；将所述至少一个样本中每个样本的至少一个差值作为所述至少一个样本中每个样本的至少一个当前第一中间特征。
在一些实施例中，所述预训练模块，还用于基于所述至少一个样本中每个样本的至少一个当前第一中间特征和所述至少一个样本中每个样本的至少一个当前第二特征，确定当前第一损失；所述当前第一损失用于表征所述第一网络和所述第二网络之间的全局特征损失；基于所述每个样本的至少一个当前第一中间特征和所述每个样本的至少一个当前第三特征，确定当前第二损失；所述当前第二损失用于表征所述第一网络的全局特征和所述第二网络的局部特征之间的损失；利用所述当前第一损失和所述当前第二损失，确定所述当前损失。
在一些实施例中，所述预训练模块，还用于对所述当前第一损失与所述当前第二损失进行加权求和，得到所述当前损失。
在一些实施例中，所述预训练模块，还用于基于锐化参数对所述每个样本的至少一个当前第一中间特征进行锐化处理，得到所述每个样本的至少一个当前第一锐化特征；基于所述锐化参数对所述每个样本的至少一个当前第二特征进行锐化处理，得到所述每个样本的至少一个当前第二锐化特征；对所述每个样本的至少一个当前第一锐化中间特征进行回归处理，得到至少一个第一概率；以及，对所述每个样本的至少一个当前第二锐化特征进行回归处理，得到至少一个第二概率；基于所述每个样本的至少一个第一概率和所述每个样本的至少一个第二概率之间的全局交叉熵，确定所述当前第一损失。
在一些实施例中，所述预训练模块，还用于将所述至少一个样本中所有样本的全局交叉熵的均值，作为所述当前第一损失。
在一些实施例中，所述预训练模块，还用于基于锐化参数对所述每个样本的至少一个当前第一中间特征进行锐化处理，得到所述每个样本的至少一个当前第一锐化中间特征；基于所述锐化参数对所述每个样本的至少一个当前第三特征进行锐化处理，得到所述每个样本的至少一个当前第三锐化特征；对所述每个样本的至少一个当前第一锐化中间特征进行回归处理，得到至少一个第一概率；以及，对所述每个样本的至少一个当前第三锐化特征进行回归处理，得到至少一个第三概率；基于所述每个样本的至少一个第一概率和所述每个样本的至少一个第三概率之间的局部交叉熵，确定所述当前第二损失。
在一些实施例中，所述预训练模块，还用于将所述至少一个样本中每个样本对应的局部交叉熵的均值，作为所述当前第二损失。
在一些实施例中，所述预训练模块，还用于根据所述下一次第二网络中的至少一个下一次第二网络参数，更新所述当前第一网络中对应的至少一个当前第一网络参数，得到下一次第一网络。
在一些实施例中，所述预训练模块，还用于计算所述至少一个当前第一网络参数中每个第一网络参数与当前第三权重的乘积，得到至少一个当前第一参数乘积；计算所述至少一个下一次第二网络参数中每个下一次第二网络参数与当前第四权重的乘积，得到至少一个当前第二参数乘积；所述当前第三权重和所述当前第四权重的和为1；将所述至少一个当前第一参数乘积中每个当前第一参数乘积，与至少一个当前第二参数乘积中对应的当前第二参数乘积的和，作为每个下一次第一网络的至少一个下一次第一网络参数，从而得到所述下一次第一网络。
在一些实施例中，所述预训练模块，还用于在计算所述至少一个当前第一网络参数中每个第一网络参数与当前第三权重的乘积，得到至少一个第一参数乘积之前，基于目标第三权重、初始第三权重的差值以及所述预设更新次数，确定所述当前第三权重；其中，所述目标第三权重和初始第三权重为余弦曲线上的取值，所述初始第三权重按照余弦曲线递增，直到达到所述预设更新次数时，增加到所述目标第三权重。
在一些实施例中，所述预训练模块，还用于所述第一网络和所述第二网络包含特征提取网络和头网络；所述头网络位于所述特征提取网络之后，所述头网络用于将所述特征提取网络输出的特征投影到所述至少一维空间中，得到所述当前第一特征、所述当前第二特征和所述当前第三特征；所述点云检测网络是通过由所述特征提取网络和检测网络所组成的网络进行训练得到的。
图17为本申请实施例的电子设备的结构组成示意图，如图17所示，电子设备19包括存储器1901、处理器1902及存储在存储器1901上并可在处理器1902上运行的计算机程序；其中，处理器用于运行计算机程序时，执行如前述实施例中的点云检测方法。
可以理解，电子设备19还包括通信总线1903；通信设备19中的各个组件通过通信总线1903耦合在一起。可理解，总线系统1903用于实现这些组件之间的连接通信。通信总线1903除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
存储器1901配置为存储由处理器1902计算机程序和应用，还可以缓存待处理器1902以及目标检测设备中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory，RAM)实现。
处理器1902执行程序时实现上述任一项点云检测方法的步骤。处理器1902通常控制电子设备19的总体操作。
上述处理器可以为特定用途集成电路(Application Specific IntegratedCircuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(Programmable LogicDevice，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，实现上述处理器功能的电子器件还可以为其它，本申请实施例不作限制。
本申请实施例提供一种计算机可读存储介质，其中存储有计算机可执行指令，计算机可执行指令被处理器执行时实现上述点云检测方法。
上述计算机可读存储介质/存储器可以是只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory，FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器；也可以是包括上述存储器之一或任意组合的各种终端，如移动电话、计算机、平板设备、个人数字助理等。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例上述的点云检测方法。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。
Claims (23)
1.一种点云检测方法，其特征在于，包括：
获取待检测点云；
基于点云检测网络，对所述待检测点云进行检测，得到检测结果；其中，所述点云检测网络是根据第一网络的第一特征提取网络得到的；所述第一网络和第二网络的网络结构相同；所述第一网络用于对全局点云进行特征提取，得到第一特征；所述第二网络用于对所述全局点云进行特征提取，得到第二特征，以及，对局部点云进行特征提取，得到第三特征；所述全局点云和所述局部点云是对训练样本的点云进行剪裁得到的；所述第一特征、所述第二特征和所述第三特征用于确定损失；所述第二网络的第二网络参数是基于所述损失调整得到的；所述第一网络的第一网络参数是根据调整后的所述第二网络的参数进行调整得到的。
2.根据权利要求1所述的方法，其特征在于，所述基于点云检测网络，对所述待检测点云进行检测，得到检测结果之前，所述方法还包括：
从至少一个样本的点云中，通过剪裁获取每个样本的至少一个当前全局点云和至少一个当前局部点云；所述至少一个当前全局点云中每个全局点云的数量与对应的一个样本的点云的数量的剪裁比例为当前第一比例；所述至少一个当前局部点云中每个当前局部点云的数量与对应的一个样本的点云的数量的剪裁比例为当前第二比例；所述当前第一比例在第一比例范围内；所述当前第二比例在第二比例范围内；所述第一比例范围的最大值大于所述第二比例的最大值；
通过当前第一网络从所述每个样本的至少一个当前全局点云中提取对应的至少一个当前第一特征；
通过当前第二网络，从所述每个样本的至少一个当前全局点云中提取对应的至少一个当前第二特征，并从所述每个样本的至少一个当前局部点云中提取对应的至少一个当前第三特征；
根据所述至少一个样本中每个样本的所述至少一个当前第一特征、所述至少一个当前第二特征和所述至少一个第三特征，确定当前损失；
在所述当前损失小于或者等于预设损失阈值的情况下，将所述当前第一网络作为所述第一网络，并基于所述第一网络的第一特征提取网络得到所述点云检测网络。
3.根据权利要求2所述的方法，其特征在于，所述根据所述至少一个样本中每个样本的所述至少一个当前第一特征、所述至少一个当前第二特征和所述至少一个第三特征，确定当前损失之后，所述方法还包括：
在所述当前损失大于预设损失阈值的情况下，获取所述当前第一网络的更新次数；
在所述更新次数小于预设更新次数的情况下，根据所述当前损失更新所述当前第二网络的网络参数，得到下一次第二网络；
根据所述下一次第二网络的网络参数，更新所述当前第一网络的网络参数，得到下一次第一网络；
基于所述下一次第一网络和下一次第二网络继续进行下一次训练，直到满足停止训练条件，得到所述第一网络和所述第二网络。
4.根据权利要求3所述的方法，其特征在于，所述停止训练条件包括以下至少之一：
下一次训练的下一次损失小于或者等于所述预设损失阈值；
下一次训练的下一次更新次数大于或者等于所述预设更新次数。
5.根据权利要求3所述的方法，其特征在于，所述在所述当前损失大于预设损失阈值的情况下，获取所述当前第一网络的更新次数之后，所述方法还包括：
在所述更新次数大于或者等于所述预设更新次数的情况下，将所述当前第一网络作为所述第一网络，并基于所述第一网络确定所述点云检测网络。
6.根据权利要求2所述的方法，其特征在于，所述至少一个当前第一特征、所述至少一个当前第二特征和所述至少一个第三特征均为至少一维空间中的至少一维特征；
所述根据所述至少一个样本中每个样本的所述至少一个当前第一特征、所述至少一个当前第二特征和所述至少一个第三特征，确定当前损失，包括：
从所述至少一个样本中每个样本的所述至少一个当前第一特征所在的至少一维空间中，确定当前中心特征；
利用所述至少一个样本中每个样本的所述至少一个当前第一特征和所述当前中心特征，得到所述至少一个样本中每个样本的至少一个当前第一中间特征；
根据所述至少一个样本中每个样本的所述至少一个当前第一中间特征、所述至少一个当前第二特征和所述至少一个当前第三特征，确定所述当前损失。
7.根据权利要求6所述的方法，其特征在于，所述从所述至少一个样本中每个样本的所述至少一个当前第一特征所在的至少一维空间中，确定当前中心特征，包括：
若所述当前第一特征为第一次训练得到的第一特征，则获取初始中心特征作为所述当前中心特征；
若所述当前第一特征为第w次训练得到的第一特征，且所述w为大于1的正整数，则基于上一次中心特征、当前第一权值，以及至少一个第一当前特征和，确定所述当前中心特征；所述至少一个当前第一特征和为所述至少一个样本中每个样本的至少一个当前第一特征之和。
8.根据权利要求7所述的方法，其特征在于，所述基于上一次中心特征、当前第一权值，以及所述至少一个第一当前和，确定所述当前中心特征，包括：
利用所述上一次中心特征乘以当前第一权值，得到当前第一中心特征；
利用所述至少一个当前第一特征和的均值乘以当前第二权值，得到当前第二中心特征；所述当前第一权值和所述当前第二权值的和为1；
将所述当前第一中心特征与所述当前第二中心特征之和作为所述当前中心特征。
9.根据权利要求8所述的方法，其特征在于，所述利用所述上一次中心特征乘以当前第一权值，得到当前第一中心特征之前，所述方法还包括：
基于目标第一权值、初始第一权值的差值，以及预设更新次数，得到第一权值偏差；
将上一次第一权值加上所述第一权值偏差得到所述当前第一权值。
10.根据权利要求6所述的方法，其特征在于，所述利用所述至少一个样本中每个样本的所述至少一个当前第一特征和所述当前中心特征，得到所述至少一个样本中每个样本的至少一个当前第一中间特征，包括：
利用所述所述至少一个样本中每个样本的至少一个当前第一特征中的每个当前第一特征，减去所述当前中心特征，得到所述至少一个样本中每个样本的的至少一个差值；
将所述至少一个样本中每个样本的至少一个差值作为所述至少一个样本中每个样本的至少一个当前第一中间特征。
11.根据权利要求6所述的方法，其特征在于，所述根据所述所述至少一个样本中每个样本的所述至少一个当前第一中间特征、所述至少一个当前第二特征和所述至少一个第三特征，确定所述当前损失，包括：
基于所述至少一个样本中每个样本的至少一个当前第一中间特征和所述至少一个样本中每个样本的至少一个当前第二特征，确定当前第一损失；所述当前第一损失用于表征所述第一网络和所述第二网络之间的全局特征损失；
基于所述每个样本的至少一个当前第一中间特征和所述每个样本的至少一个当前第三特征，确定当前第二损失；所述当前第二损失用于表征所述第一网络的全局特征和所述第二网络的局部特征之间的损失；
利用所述当前第一损失和所述当前第二损失，确定所述当前损失。
12.根据权利要求11所述的方法，其特征在于，所述利用所述当前第一损失和所述当前第二损失，确定所述当前损失，包括：
对所述当前第一损失与所述当前第二损失进行加权求和，得到所述当前损失。
13.根据权利要求11所述的方法，其特征在于，所述基于所述至少一个样本中每个样本的至少一个当前第一中间特征和所述至少一个样本中每个样本的至少一个当前第二特征，确定当前第一损失，包括：
基于锐化参数对所述每个样本的至少一个当前第一中间特征进行锐化处理，得到所述每个样本的至少一个当前第一锐化特征；基于所述锐化参数对所述每个样本的至少一个当前第二特征进行锐化处理，得到所述每个样本的至少一个当前第二锐化特征；
对所述每个样本的至少一个当前第一锐化中间特征进行回归处理，得到至少一个第一概率；以及，对所述每个样本的至少一个当前第二锐化特征进行回归处理，得到至少一个第二概率；
基于所述每个样本的至少一个第一概率和所述每个样本的至少一个第二概率之间的全局交叉熵，确定所述当前第一损失。
14.根据权利要求13所述的方法，其特征在于，所述基于所述每个样本的至少一个第一概率和所述每个样本的至少一个第二概率之间的全局交叉熵，确定所述当前第一损失，包括：
将所述至少一个样本中所有样本的全局交叉熵的均值，作为所述当前第一损失。
15.根据权利要求11所述的方法，其特征在于，所述基于所述每个样本的至少一个当前第一中间特征和所述每个样本的至少一个当前第三特征，确定当前第二损失，包括：
基于锐化参数对所述每个样本的至少一个当前第一中间特征进行锐化处理，得到所述每个样本的至少一个当前第一锐化中间特征；基于所述锐化参数对所述每个样本的至少一个当前第三特征进行锐化处理，得到所述每个样本的至少一个当前第三锐化特征；
对所述每个样本的至少一个当前第一锐化中间特征进行回归处理，得到至少一个第一概率；以及，对所述每个样本的至少一个当前第三锐化特征进行回归处理，得到至少一个第三概率；
基于所述每个样本的至少一个第一概率和所述每个样本的至少一个第三概率之间的局部交叉熵，确定所述当前第二损失。
16.根据权利要求15所述的方法，其特征在于，所述基于所述每个样本的至少一个第一概率和所述每个样本的至少一个第三概率之间的局部交叉熵，确定所述当前第二损失，包括：
将所述至少一个样本中每个样本对应的局部交叉熵的均值，作为所述当前第二损失。
17.根据权利要求3所述的方法，其特征在于，所述根据所述下一次第二网络的网络参数，更新所述当前第一网络的网络参数，得到下一次第一网络，包括：
根据所述下一次第二网络中的至少一个下一次第二网络参数，更新所述当前第一网络中对应的至少一个当前第一网络参数，得到下一次第一网络。
18.根据权利要求17所述的方法，其特征在于，所述根据所述下一次第二网络中的至少一个下一次第二网络参数，更新所述当前第一网络对应的至少一个当前第一网络参数，得到下一次第一网络，包括：
计算所述至少一个当前第一网络参数中每个第一网络参数与当前第三权重的乘积，得到至少一个当前第一参数乘积；
计算所述至少一个下一次第二网络参数中每个下一次第二网络参数与当前第四权重的乘积，得到至少一个当前第二参数乘积；所述当前第三权重和所述当前第四权重的和为1；
将所述至少一个当前第一参数乘积中每个当前第一参数乘积，与至少一个当前第二参数乘积中对应的当前第二参数乘积的和，作为每个下一次第一网络的至少一个下一次第一网络参数，从而得到所述下一次第一网络。
19.根据权利要求18所述的方法，其特征在于，所述计算所述至少一个当前第一网络参数中每个第一网络参数与当前第三权重的乘积，得到至少一个第一参数乘积之前，所述方法还包括：
基于目标第三权重、初始第三权重的差值以及所述预设更新次数，确定所述当前第三权重；其中，所述目标第三权重和初始第三权重为余弦曲线上的取值，所述初始第三权重按照余弦曲线递增，直到达到所述预设更新次数时，增加到所述目标第三权重。
20.根据权利要求1至19任一项所述的方法，其特征在于，
所述第一网络和所述第二网络包含特征提取网络和头网络；所述头网络位于所述特征提取网络之后，所述头网络用于将所述特征提取网络输出的特征投影到所述至少一维空间中，得到所述当前第一特征、所述当前第二特征和所述当前第三特征；
所述点云检测网络是通过由所述特征提取网络和检测网络所组成的网络进行训练得到的。
21.一种点云检测装置，包括：
获取模块，用于获取待检测点云；
检测模块，用于基于点云检测网络，对所述待检测点云进行检测，得到检测结果；其中，所述点云检测网络是根据第一网络的第一特征提取网络得到的；所述第一网络和第二网络的网络结构相同；所述第一网络用于对全局点云进行特征提取，得到第一特征；所述第二网络用于对所述全局点云进行特征提取，得到第二特征，以及，对局部点云进行特征提取，得到第三特征；所述全局点云和所述局部点云是对训练样本的点云进行剪裁得到的；所述第一特征、所述第二特征和所述第三特征用于确定损失；所述第二网络的第二网络参数是基于所述损失调整得到的；所述第一网络的第一网络参数是根据调整后的所述第二网络的参数进行调整得到的。
22.一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序时，实现权利要求1至20任一项所述的方法。
23.一种计算机存储介质，存储有计算机程序，用于被处理器执行时，实现权利要求1至20任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210068371.8A CN114494172B (zh) | 2022-01-20 | 2022-01-20 | 点云检测方法及装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210068371.8A CN114494172B (zh) | 2022-01-20 | 2022-01-20 | 点云检测方法及装置、电子设备和计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114494172A true CN114494172A (zh) | 2022-05-13 |
| CN114494172B CN114494172B (zh) | 2024-07-12 |
Family
ID=81473508
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210068371.8A Active CN114494172B (zh) | 2022-01-20 | 2022-01-20 | 点云检测方法及装置、电子设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114494172B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114926647A (zh) * | 2022-05-20 | 2022-08-19 | 上海人工智能创新中心 | 点云识别方法、装置、设备和计算机可读存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2017100312A4 (en) * | 2016-03-19 | 2017-06-29 | Lichman, Serge MR | Method and Apparatus for Accurate Computational Stereo Vision |
| CN113392886A (zh) * | 2021-05-31 | 2021-09-14 | 北京达佳互联信息技术有限公司 | 图片识别模型的获取方法、装置、电子设备及存储介质 |
-
2022
- 2022-01-20 CN CN202210068371.8A patent/CN114494172B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2017100312A4 (en) * | 2016-03-19 | 2017-06-29 | Lichman, Serge MR | Method and Apparatus for Accurate Computational Stereo Vision |
| CN113392886A (zh) * | 2021-05-31 | 2021-09-14 | 北京达佳互联信息技术有限公司 | 图片识别模型的获取方法、装置、电子设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114926647A (zh) * | 2022-05-20 | 2022-08-19 | 上海人工智能创新中心 | 点云识别方法、装置、设备和计算机可读存储介质 |
| CN114926647B (zh) * | 2022-05-20 | 2024-06-07 | 上海人工智能创新中心 | 点云识别方法、装置、设备和计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114494172B (zh) | 2024-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11537884B2 (en) | Machine learning model training method and device, and expression image classification method and device | |
| US20220180882A1 (en) | Training method and device for audio separation network, audio separation method and device, and medium | |
| CN106776673B (zh) | 多媒体文档概括 | |
| CN112288086B (zh) | 一种神经网络的训练方法、装置以及计算机设备 | |
| CN104680179B (zh) | 基于邻域相似度的数据降维方法 | |
| CN111898703B (zh) | 多标签视频分类方法、模型训练方法、装置及介质 | |
| CN109960791A (zh) | 判断文本情感的方法及存储介质、终端 | |
| CN111126207A (zh) | 年龄估计模型的训练方法、装置及电子设备 | |
| CN114358109A (zh) | 特征提取模型训练、样本检索方法、装置和计算机设备 | |
| US20210365718A1 (en) | Object functionality predication methods, computer device, and storage medium | |
| CN113657087A (zh) | 信息的匹配方法及装置 | |
| CN112131261A (zh) | 基于社区网络的社区查询方法、装置和计算机设备 | |
| CN114494172A (zh) | 点云检测方法及装置、电子设备和计算机可读存储介质 | |
| CN114492669A (zh) | 关键词推荐模型训练方法、推荐方法和装置、设备、介质 | |
| CN115641276A (zh) | 图像处理方法、装置、设备、介质及程序产品 | |
| CN116955763A (zh) | 内容推荐方法、装置、计算机设备及计算机可读存储介质 | |
| CN116415624A (zh) | 模型训练方法及装置、内容推荐方法及装置 | |
| CN111221880B (zh) | 特征组合方法、装置、介质和电子设备 | |
| CN115329850A (zh) | 信息比对方法、装置、电子设备及存储介质 | |
| CN114417982A (zh) | 一种模型训练方法、终端设备及计算机可读存储介质 | |
| KR20070118154A (ko) | 정보 처리 장치 및 방법, 및 프로그램 기록 매체 | |
| CN116821781A (zh) | 分类模型的训练方法、文本分析方法及相关设备 | |
| CN113822293A (zh) | 用于图数据的模型处理方法、装置、设备及存储介质 | |
| CN113704528A (zh) | 聚类中心确定方法、装置和设备及计算机存储介质 | |
| Cai et al. | An outer-product-of-gradient approach to dimension reduction and its application to classification in high dimensional space |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |