CN116958027A - 三维工业异常检测方法、装置、存储介质及电子设备 - Google Patents

三维工业异常检测方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN116958027A
CN116958027A CN202310194447.6A CN202310194447A CN116958027A CN 116958027 A CN116958027 A CN 116958027A CN 202310194447 A CN202310194447 A CN 202310194447A CN 116958027 A CN116958027 A CN 116958027A
Authority
CN
China
Prior art keywords
point cloud
features
feature
image
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310194447.6A
Other languages
English (en)
Inventor
王玥
彭瑾龙
张江宁
易冉
王亚彪
汪铖杰
吴永坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shanghai Co Ltd
Original Assignee
Tencent Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shanghai Co Ltd filed Critical Tencent Technology Shanghai Co Ltd
Priority to CN202310194447.6A priority Critical patent/CN116958027A/zh
Publication of CN116958027A publication Critical patent/CN116958027A/zh
Priority to PCT/CN2024/078580 priority patent/WO2024179409A1/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请属于异常检测技术领域，涉及三维工业异常检测方法、装置、存储介质及电子设备，包括：获取与待检测对象对应的RGB图像和点云图，对点云图进行预处理获取多个点云组；将点云组输入至第一特征提取器以获取点云特征组，根据点云特征组和点云图生成点云特征图，并对点云特征图进行投影形成与RGB图像大小相同的点云投影图；将RGB图像输入至第二特征提取器以获取RGB特征；将RGB特征和点云投影图中的点云特征分别输入至多层感知器，对多层感知器输出的特征信息进行融合获取融合特征；根据RGB特征、点云特征和融合特征对待检测对象进行异常预测，以获取异常得分和异常表征图。本申请能够对工业异常进行初筛，减少工业质检的人力成本。

Description

三维工业异常检测方法、装置、存储介质及电子设备
技术领域
本申请属于异常检测技术领域，具体涉及一种三维工业异常检测方法、三维工业异常检测装置、计算机可读存储介质以及电子设备。
背景技术
工业异常检测旨在发现产品的异常区域，在工业质量检测中发挥着重要作用。
在工业产品的质量检测中，检测人员同时利用三维形状和颜色特征来判断它是否是有缺陷的产品，其中三维形状信息对于正确的检测是非常重要和必要的，但是现有的工业异常检测方法大多是基于二维图像，基于三维点云和RGB图像的多模态工业异常检测仍有许多未触及的领域，这导致了检测性能差，检测结果准确性差。
发明内容
本申请的目的在于提供一种三维工业异常检测方法、三维工业异常检测装置、计算机可读存储介质以及电子设备，能够克服相关技术中存在的多模态工业异常检测存在检测性能差、检测结果准确性差的问题。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面，提供一种三维工业异常检测方法，该方法包括：获取与待检测对象对应的RGB图像和点云图，对所述点云图进行预处理，以获取多个点云组；将所述点云组输入至第一特征提取器进行特征提取以获取点云特征组，根据所述点云特征组和所述点云图生成点云特征图，并对所述点云特征图进行投影形成与所述RGB图像大小相同的点云投影图；将所述RGB图像输入至第二特征提取器进行特征提取，以获取RGB特征；将所述RGB特征和所述点云投影图中的点云特征分别输入至多层感知器进行特征提取，并对所述多层感知器输出的特征信息进行融合处理，以获取融合特征；根据所述RGB特征、所述点云特征和所述融合特征对所述待检测对象进行异常预测，以获取与所述待检测对象对应的异常得分和异常表征图。
根据本申请实施例的一个方面，提供一种三维工业异常检测装置，该装置包括：预处理模块，用于获取与待检测对象对应的RGB图像和点云图，对所述点云图进行预处理，以获取多个点云组；配准模块，用于将所述点云组输入至第一特征提取器进行特征提取以获取点云特征组，根据所述点云特征组和所述点云图生成点云特征图，并对所述点云特征图进行投影形成与所述RGB图像大小相同的点云投影图；将所述RGB图像输入至第二特征提取器进行特征提取，以获取RGB特征；融合模块，用于将所述RGB特征和所述点云投影图中的点云特征分别输入至多层感知器进行特征提取，并对所述多层感知器输出的特征信息进行融合处理，以获取融合特征；决策模块，用于根据所述RGB特征、所述点云特征和所述融合特征对所述待检测对象进行异常预测，以获取与所述待检测对象对应的异常得分和异常表征图。
根据本申请实施例的一个方面，提供一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如以上技术方案中的三维工业异常检测方法。
根据本申请实施例的一个方面，提供一种电子设备，该电子设备包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器被配置为经由执行所述可执行指令来执行如以上技术方案中的三维工业异常检测方法。
根据本申请实施例的一个方面，提供一种计算机程序产品，该计算机程序产品包括计算机指令，当所述计算机指令在计算机上运行时，使得所述计算机执行如以上技术方案中的三维工业异常检测方法。
本申请实施例提供的三维工业异常检测方法，获取与待检测对象对应的RGB图像和点云图后，首先对点云图进行预处理以获取多个点云组；接着将点云组输入至第一特征提取器进行特征提取以获取点云特征组，根据点云特征组和点云图生成点云特征图，并对点云特征图进行投影形成与RGB图像大小相同的点云投影图；同时将RGB图像输入至第二特征提取器进行特征提取，以获取RGB特征；然后将RGB特征和点云投影图中的点云特征分别输入至多层感知器进行特征提取，并对多层感知器输出的特征信息进行融合处理，以获取融合特征；最后根据RGB特征、点云特征和融合特征对待检测对象进行异常预测，以获取与待检测对象对应的异常得分和异常表征图。本申请一方面能够基于三维点云和RGB图像进行多模态工业异常检测，并且通过对RGB特征和点云特征进行特征融合，提升了特征之间的交互性，减少了高维特征之间的相互干扰；另一方面能够基于记忆库存储的多种数据特征、RGB特征、点云特征和融合特征对待检测对象中的异常进行预测，获取异常得分和异常表征图，提高了异常检测结果的准确性；再一方面，本申请采用无监督形式，检测异常前无需人工标注，减少了人工标注成本，并且通过采用本申请的技术方案进行工业异常的初筛，能够减少人工质检成本。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性地示出了应用本申请实施例中的三维工业异常检测方法的系统架构的结构示意图。
图2示意性地示出了本申请实施例中三维工业异常检测方法的步骤流程示意图。
图3示意性地示出了本申请实施例中投影生成点云投影图的流程示意图。
图4示意性地示出了本申请实施例中的三维工业异常检测系统的结构示意图。
图5示意性地示出了本申请实施例中的采用三维工业异常检测系统对电缆密封套进行异常检测的流程示意图。
图6示意性示出了本申请实施例中的对多种待检测对象进行异常检测后所确定的异常表征图和异常定位图。
图7示意性地示出了本申请实施例中无监督训练特征融合模块的流程示意图。
图8示意性地示出了本申请实施例中三维工业异常检测装置的结构框图。
图9示意性示出了适于用来实现本申请实施例的电子设备的计算机系统结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
在本申请的相关技术中，工业场景中，获取大量的正常实例很容易，但能够获取的缺陷实例却很少。目前的工业异常检测方法大多是无监督的方法，即只对正常实例进行训练，在推理过程中只对检测实例进行测试。
现有的工业异常检测方法大多是基于二维图像，基于三维点云和RGB图像的多模态工业异常检测仍有许多未触及的领域。然而，在工业产品的质量检测中，检测人员同时利用三维形状和颜色特征来判断它是否是有缺陷的产品，其中三维形状信息对于正确的检测是非常重要和必要的。即使相关技术中存在一些多模态工业异常检测方法，但该些方法都是直接将多模态特征连接起来，当特征维度较高时，会导致特征之间产生强烈干扰，损害了检测性能。
无监督异常检测的核心思想是找出异常和正常表示之间的差异。目前工业上的异常检测方法可以分为两类：基于重构的方法和基于预训练的特征提取器方法。当采用基于重构的方法进行工业异常检测时，对于单一模式的输入(二维图像或三维点云)，基于重构的方法很容易实现，但是对于多模态输入来说，很难找到一个重建目标。当采用基于预训练的特征提取器方法进行工业异常检测时，将提取的特征映射到正态分布上，并找到超出分布的那个特征作为异常点。与基于重建的方法相比，由于预训练的特征提取器无需再训练，因此直接使用预训练的特征提取器不涉及多模态重建目标的设计，是多模态任务的较好选择。
针对本领域的相关技术，本申请实施例提出了一种三维工业异常检测方法，属于多模态工业异常检测方法，并且在本申请中使用基于预训练的特征提取器进行工业异常检测，以提高对工业异常以及异常区域定位的准确性。
在对本申请中的三维工业异常检测方法进行详细说明之前，首先对本申请中可能涉及的技术名词进行说明。
1.异常检测：anomaly detection，指在数据挖掘中，对不匹配预期模式或数据集中其他项目的项目、事件或观测值的识别。
2.点云：在逆向工程中通过测量仪器得到的产品外观表面的点数据集合。
3.最远点采样：Farthest Point Sampling，是一种常用的采样算法，用于在N个点的点云上均匀地采样M个点，使这些点可以比较好地表征点云的整体轮廓。
4.反距离权重插值：(Inverse Distance Weight)，一种常用而简便的空间插值方法，以插值点与样本点之间的距离为权重进行加权平均，离插值点越近的样本点赋予的权重越大。
5.单类支持向量机：One-Class SVM，又称一类支持向量机，它的训练样本只有一类，要么是正样本，要么是负样本，通过在训练的样本中计算出一个半径最小的超球面将所有测试样本都包含在这个超球体内部，当用这个超球体去给测试集分类的时候，落在超球体内部的样本即为第一类，落在超球体外部的样本为第二类。
接下来，对应用本申请技术方案的示例性系统架构进行说明。
图1示意性地示出了应用本申请技术方案的示例性系统架构框图。
如图1所示，系统架构100可以包括终端设备101、服务器102和网络103。其中，终端设备101可以是诸如智能手机、平板电脑、笔记本电脑、智能电视、智能车载终端等各种同时具有显示屏幕和拍摄单元的电子设备，除此之外，终端设备101还可以包括具有显示屏幕的电子设备和与该电子设备连接的拍摄装置。服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。网络103可以是能够在终端设备101和服务器102之间提供通信链路的各种连接类型的通信介质，例如可以是有线通信链路或者无线通信链路。
根据实现需要，本申请实施例中的系统架构可以具有任意数目的终端设备、网络和服务器。例如，服务器可以是由多个服务器设备组成的服务器群组。另外，本申请实施例提供的技术方案可以应用于终端设备101中。
在本申请的一个实施例中，通过拍摄装置或者拍摄单元对待检测对象进行拍摄，以获取与待检测对象对应的RGB图像和初始点云图，接着可以将拍摄得到的RGB图像和初始点云图发送至终端设备101中具有显示屏幕的电子设备，电子设备可以将RGB图像和初始点云图通过网络103发送至服务器102。对于初始点云图，服务器102可以仅保留其中的点坐标信息，形成点云图，接着可以对点云图进行预处理，通过最远点采样和最近邻点采样获取与点云图对应的多个点云组，然后通过第一特征提取器对所有点云组进行编码获取点云特征组，最后将点云特征组插值回点云图生成点云特征图，并对点云特征图进行投影形成与RGB图像大小相同的点云投影图；对于RGB图像，服务器102可以将其输入至第二特征提取器进行编码以获取RGB特征。接着，在服务器102中，可以将RGB特征和点云投影图中的点云特征分别输入至多层感知器进行特征提取，并对多层感知器输出的特征信息进行融合处理，以获取融合特征；最后，根据RGB特征、点云特征、融合特征和预设记忆库对待检测对象进行异常预测，以获取与待检测对象对应的异常得分和异常表征图。
在本申请的一个实施例中，第一特征提取器和第二特征提取器是预训练的特征提取器，属于机器学习模型，该机器学习模型涉及人工智能。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。
在本申请的一个实施例中，本申请中的服务器102可以是提供云计算服务的云服务器，也就是说，本申请涉及云存储和云计算技术。
云存储(cloud storage)是在云计算概念上延伸和发展出来的一个新的概念，分布式云存储系统(以下简称存储系统)是指通过集群应用、网格技术以及分布存储文件系统等功能，将网络中大量各种不同类型的存储设备(存储设备也称之为存储结点)通过应用软件或应用接口集合起来协同工作，共同对外提供数据存储和业务访问功能的一个存储系统。
云计算(cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。
下面结合具体实施方式对本申请提供的三维工业异常检测方法、三维工业异常检测装置、计算机可读介质以及电子设备等技术方案做出详细说明。
图2示意性示出了本申请一个实施例中的三维工业异常检测方法的步骤流程示意图，该三维工业异常检测方法由服务器执行，该服务器具体可以是图1中的服务器102。如图2所示，本申请实施例中的三维工业异常检测方法主要可以包括如下的步骤S210至步骤S240。
步骤S210：获取与待检测对象对应的RGB图像和点云图，对所述点云图进行预处理，以获取多个点云组；
步骤S220：将所述点云组输入至第一特征提取器进行特征提取以获取点云特征组，根据所述点云特征组和所述点云图生成点云特征图，并对所述点云特征图进行投影形成与所述RGB图像大小相同的点云投影图；将所述RGB图像输入至第二特征提取器进行特征提取，以获取RGB特征；
步骤S230：将所述RGB特征和所述点云投影图中的点云特征分别输入至多层感知器进行特征提取，并对所述多层感知器输出的特征信息进行融合处理，以获取融合特征；
步骤S240：根据所述RGB特征、所述点云特征和所述融合特征对所述待检测对象进行异常预测，以获取与所述待检测对象对应的异常得分和异常表征图。
在本申请实施例提供的三维工业异常检测方法中，获取与待检测对象对应的RGB图像和点云图后，首先对点云图进行预处理以获取多个点云组；接着将点云组输入至第一特征提取器进行特征提取以获取点云特征组，根据点云特征组和点云图生成点云特征图，并对点云特征图进行投影形成与RGB图像大小相同的点云投影图；同时将RGB图像输入至第二特征提取器进行特征提取，以获取RGB特征；然后将RGB特征和点云投影图中的点云特征分别输入至多层感知器进行特征提取，并对多层感知器输出的特征信息进行融合处理，以获取融合特征；最后根据RGB特征、点云特征和融合特征对待检测对象进行异常预测，以获取与待检测对象对应的异常得分和异常表征图。本申请一方面能够基于三维点云和RGB图像进行多模态工业异常检测，并且通过对RGB特征和点云特征进行特征融合，提升了特征之间的交互性，减少了高维特征之间的相互干扰；另一方面能够基于记忆库存储的多种数据特征、RGB特征、点云特征和融合特征对待检测对象中的异常进行预测，获取异常得分和异常表征图，提高了异常检测结果的准确性；再一方面，本申请采用无监督形式，检测异常前无需人工标注，减少了人工标注成本，并且通过采用本申请的技术方案进行工业异常的初筛，能够减少人工质检成本。
下面对本申请实施例中的三维工业异常检测方法的各个方法步骤的具体实现方式进行详细说明。
在步骤S210中，获取与待检测对象对应的RGB图像和点云图，对所述点云图进行预处理，以获取多个点云组。
在本申请的一个实施例中，待检测对象可以是工业质量检测场景中任意需要进行检测的物体，例如机器零部件、瓜果蔬菜、加工食品、工艺品、绳索，等等。在获取待检测对象后，可以采用不同的相机对其进行拍摄，以获取与待检测对象对应的初始点云图和RGB图像，具体地，可以通过二维相机，例如面阵相机，对待检测对象进行拍摄获取RGB图像，通过三维相机，例如激光线扫相机，对待检测对象进行拍摄获取初始点云图。
在本申请的一个实施例中，在获取初始点云图后，可以对其进行坐标保留处理形成点云图，并对点云图进行预处理，以获取与点云图对应的多个点云组。其中，坐标保留处理是对初始点云图中的点坐标进行保留，删除其它信息的过程，例如删除初始点云图中的颜色信息或者删除初始点云图中的颜色信息和激光反射信息；预处理具体可以是对点云图进行二次采样，具体地，首先对点云图进行最远点采样，以获取第一数量的目标点；接着分别以目标点为中心点进行最近邻点采样，以获取与各目标点相关的第二数量的特征点；最后根据各目标点和与各目标点相关的特征点形成点云组；其中，第一数量和第二数量为大于一的整数，并且第一数量和第二数量均小于点云图中所包含的点的数量。在本申请实施例中，最近邻点采样就是将与中心点距离最近的点作为采样点。
在步骤S220中，将所述点云组输入至第一特征提取器进行特征提取以获取点云特征组，根据所述点云特征组和所述点云图生成点云特征图，并对所述点云特征图进行投影形成与所述RGB图像大小相同的点云投影图；将所述RGB图像输入至第二特征提取器进行特征提取，以获取RGB特征。
在本申请的一个实施例中，在获取经预处理得到的多个点云组后，可以将点云组形成的点云组序列输入至第一特征提取器进行点云特征的提取，以获取与各个点云组对应的三维表征，根据各个点云组对应的三维表征即可形成与点云图对应的点云特征组。在本申请的实施例中，多个点云组形成点云组序列时可以根据各个点云组中的中心点在点云图中所有点形成的点位置序列中的位置进行排序生成；该第一特征提取器为预训练的特征提取器，具体可以将自注意力网络Transformer模型作为第一特征提取器，在将点云组序列输入Transformer模型后，Transformer模型能够根据与某个点云组相关的其它点云组的信息对该点云组进行编码，以输出与该点云组对应的特征向量。由于Transformer模型能够对每一个点云组进行编码，那么相应地，也就能输出相同数量的点云特征，具体而言，当采用最远点采样获取M个目标点，并基于M个目标点经最远点采样获取M个点云组时，可以通过Transformer模型对M个点云组进行编码，输出M个点云特征，进一步地，该M个点云特征组成一点云特征组。另外，由于每个点云组是以M个目标点中的任意一个目标点为中心点进行最近邻点采样获取的，因此点云特征组中的每一个点云特征可以看作是相应中心点的特征。值得说明的是，第一特征提取器还可以是其它的预训练特征提取器，例如ResNet、Swin-Transformer等等，本申请实施例对此不作具体限定。
由于在最远点采样后，目标点在空间的分布并不均匀，导致了点特征的密度不平衡，并且与RGB图像的网格形式之间存在空间不一致性，为了使点云特征和RGB图像的图像特征的空间位置对齐，便于后续对RGB图像的颜色特征和点云图的点云特征进行融合，首先需要对点云特征进行配准，具体地，可以将点云特征组插值回点云图中生成点云特征图，然后对点云特征图进行投影形成与RGB图像大小相同的点云投影图，点云投影图中的点云特征便可与RGB图像的图像特征的空间位置对齐。
接下来，对插值生成点云特征图和投影生成点云投影图的方法进行具体说明。
在本申请的一个实施例中，采用反距离权重插值法将点云特征组插值回点云图，以生成点云特征图。假设Transformer模块输出的点云特征组G中包含M个点云特征gi(i＝1,2，……，M)，该M个点云特征分别对应M个目标点(中心点)ci(i＝1,2，……，M)，点云图中包含N个点pj(j＝1,2，……，N)，通过将M个点云特征插值回点云图中，可以生成栅格化的点云特征图，该点云特征图中各点对应的点云特征为p′j(j＝1,2，…
…，N)。
在本申请的一个实施例中，点云特征p′j和权重αi、目标点ci对应的点云特征gi以及第一数量M满足第一关系式：并且，权重αi与目标点ci、点云特征图中与目标点ci对应的点pj、极小常数ε、所有目标点ck以及点云图中的所有点pt满足第二关系式：
通过对第一关系式和第二关系式进行分析可知，与目标点ci对应的权重αi是根据由目标点ci的坐标和点云图中与目标点ci对应的点pj的坐标所确定的二范数和由所有目标点ck的坐标和点云图中所有点pt的坐标所确定的二范数计算得到的，极小常数ε是为了避免分母为0而设置的。值得注意的是，在运算时，针对每一个目标点ck，都需要计算该目标点ck的坐标与pt(t＝1,2，……，N)的坐标之间的二范数，然后基于该逻辑遍历k＝1,2，……，M时的每一个ck，进而得到最终的计算结果。由于ck和pt是不变的，因此在每一次计算权重αi时，第二表达式的分母都是相同的。在确定与目标点ci对应的权重αi后，可以基于该权重αi对目标点ci对应的点云特征gi进行插值，得到与点pj对应的插值后的点云特征p′j。
在本申请的一个实施例中，在插值后，点云特征图还是对应三维空间的特征图，为了便于与RGB图像的图像特征在空间对齐，需要将点云特征图投影到二维平面，构建与RGB图像大小相同的点云投影图。在投影时，可以根据点坐标和相机参数将点云特征图中的点云特征投影到二维平面上。
图3示意性示出了投影生成点云投影图的流程示意图，如图3所示，在步骤S301中，获取与所述RGB图像对应的第一相机参数和与所述点云图对应的第二相机参数；在步骤S302中，根据所述第一相机参数和所述第二相机参数确定转移矩阵；在步骤S303中，基于所述转移矩阵对所述点云特征图中的点坐标进行投影，以获取与所述点坐标对应的二维坐标，并根据所述二维坐标和与所述点坐标对应的点云特征确定所述点云投影图。
由于拍摄生成RGB图像和点云图的拍摄装置不同，因此对应的相机参数也不同，该相机参数例如可以包括焦距、光圈、相机坐标系等等，为了方便描述将RGB图像对应的相机参数作为第一相机参数，将点云图对应的相机参数作为第二相机参数，在获取第一相机参数和第二相机参数后，可以根据第一相机参数和第二相机参数确定转移矩阵，该转移矩阵可以将三维空间的点坐标转换为二维平面中的点坐标，接着可以基于该转移矩阵将点云特征图中各点的点坐标投影到二维平面中，并将点坐标对应的点云特征p′j也投影到二维平面中对应的点坐标处，根据点坐标对应的二维坐标和点云特征即可确定点云投影图，并且该点云投影图的大小与RGB图像的大小相同。
在本申请的一个实施例中，由于点云可能是稀疏的，那么二维平面中存在与点云特征图匹配的点，也存在不匹配的点，那么在投影时可以将点云投影图中与点云特征图匹配的点的像素设置为非0的值，将点云投影图中与点云特征图不匹配的点的像素设置为0，例如二维平面中不存在待检测对象的位置就是不匹配的点，那么可以将其标记为0。
在本申请的一个实施例中，在对点云图进行预处理获取多个点云组，通过第一特征提取器对点云组进行特征提取获取点云特征组，以及根据点云特征组对点云图进行反距离权重插值处理生成点云特征图，并将点云特征图投影生成点云投影图的同时，还可以通过第二特征提取器对RGB图像进行特征提取，以获取RGB特征。该第二特征提取器也是预训练的特征提取器，例如可以是预训练的自注意力网络Transformer模型，当然也可以是其它的预训练自注意力网络模型，本申请对此不作具体限定。
在本申请的一个实施例中，由于本申请的目的是对工业异常进行检测，具体需要得出待检测对象存在异常的异常得分，并对存在异常的部位进行定位，输出异常表征图，因此在检测过程中，需要对点云投影图和RGB图像进行分块，将点云投影图分为多个图块，将RGB图像分为多个图斑，进而根据图块对应的图块点云特征和图斑对应的RGB特征进行工业异常检测。在本申请的实施例中，对点云投影图和RGB图像进行分块的标准相同，这样就使得点云投影图中的图块和RGB图像中的图斑是一一对应的，点云特征和RGB特征能够对齐。
在本申请的一个实施例中，可以根据预设划分标准将点云投影图分为多个图块，然后对各个图块对应的点云投影图进行平均池化，以获取与各个图块对应的图块点云特征，相应地，根据所有图块对应的图块点云特征即可获取与点云投影图对应的点云特征。同样地，根据该预设划分标准可以对RGB图像进行划分，以获取与RGB图像对应的图斑，接着将各个图斑对应的RGB图像信息同时输入至第二特征提取器，以获取与各个图斑对应的RGB特征，根据所有图斑对应的RGB特征即可获取与RGB图像对应的RGB特征。
在本申请的一个实施例中，在获取待检测对象对应的点云图和RGB图像时，可以对该待检测对象的点云图和RGB图像设置索引i，在对点云图进行处理生成点云投影图时，索引i不变；在对点云特征图进行划分生成图块以及对RGB图像进行划分生成图斑后，可以根据一定的顺序规则对每个图块和图斑设置索引j，点云投影图和RGB图像中相同位置所对应的图块和图斑对应相同的索引，根据索引i和索引j可以在与索引i对应的点云投影图中唯一确定一个图块，在与索引i对应的RGB图像中唯一确定一个图斑，进而根据图块对应的点云特征和图斑对应的RGB特征可以进行融合，提取两个模态之间的交互信息。
在步骤S230中，将所述RGB特征和所述点云投影图中的点云特征分别输入至多层感知器进行特征提取，并对所述多层感知器输出的特征信息进行融合处理，以获取融合特征。
在本申请的一个实施例中，在完成对点云投影图和RGB图像的划分以及索引设置后，可以将RGB特征和点云投影图中的点云特征分别输入至多层感知器进行特征提取，然后对多层感知器输出的特征信息进行融合处理，以获取融合有颜色信息和位置信息的融合特征。由于点云投影图中的图块和RGB图像中的图斑是一一对应的，同一位置的图块和图斑具有相同的索引，因此可以通过多层感知器对与同一位置对应的目标图斑的RGB特征和目标图块的图块点云特征进行特征提取，以获取与该目标图斑对应的第一特征信息和与该目标图块对应的第二特征信息，进一步地，可以对第一特征信息和第二特征信息进行融合处理，以获取融合特征，该融合特征包含目标图斑的颜色特征和目标图块的点云特征，也就是说，融合特征包含两个模态之间的交互信息。
为了便于描述，在本申请的实施例中，将图块对应的点云特征标记为图斑对应的RGB特征标记为/>融合特征标记为/>其中i为待检测对象的索引，j为图斑或者图块的索引；多层感知器包括用于对点云特征进行特征提取的第一多层感知器χpt和第二多层感知器χrgb，相应地，
通过对所有图斑对应的RGB特征和所有图块对应的点云特征进行特征提取和特征融合，可以获取与RGB图像和点云投影图对应的融合特征。
在步骤S240中，根据所述RGB特征、所述点云特征和所述融合特征对所述待检测对象进行异常预测，以获取与所述待检测对象对应的异常得分和异常表征图。
在本申请的一个实施例中，在获取与RGB图像对应的RGB特征、与点云投影图对应的点云特征以及与RGB图像和点云投影图对应的融合特征后，可以将其输入至决策层，该决策层中设置有三个记忆库，分别为第一记忆库、第二记忆库和第三记忆库，其中第一记忆库用于存储已检测对象的原始颜色特征，第二记忆库用于存储已检测对象的点云特征，第三记忆库用于存储已检测对象的融合特征。当将待检测对象对应的RGB特征、点云特征和融合特征输入至决策层中后，可以基于决策层中的记忆库、待检测对象对应的RGB特征、点云特征和融合特征对待检测对象进行异常预测，获取与待检测对象对应的异常得分和异常表征图。
在本申请的一个实施例中，由于三个记忆库分别对应原始颜色特征、点云特征和融合特征，因此可以分别根据第一记忆库和RGB特征从颜色维度对待检测对象进行异常预测，根据第二记忆库和点云特征从位置维度对待检测对象进行异常预测，根据第三记忆库和融合特征从特征融合维度对待检测对象进行异常预测，进而综合三个维度的预测信息以获取与待检测对象对应的异常得分和异常表征图。
由于异常得分和异常表征图的预测是两个任务，因此在本申请的实施例中可以采用两个可学习的单类支持向量机Da和Ds来对异常得分和异常表征图进行决策。具体地，在预测异常得分时，可以根据第一评分函数、第一记忆库和RGB特征确定与待检测对象对应的第一异常得分评分，根据第一评分函数、第二记忆库和点云特征确定第二异常得分评分，根据第一评分函数、第三记忆库和融合特征确定与待检测对象对应的第三异常得分评分；然后将第一异常得分评分、第二异常得分评分和第三异常得分评分输入至第一单类支持向量机Da，以获取与待检测对象对应的异常得分；在预测异常表征图时，可以根据第二评分函数、第一记忆库和RGB特征确定与待检测对象对应的第一异常分割图评分，根据第二评分函数、第二记忆库和点云特征确定与待检测对象对应的第二异常分割图评分，根据第二评分函数、第三记忆库和融合特征确定与待检测对象对应的第三异常分割图评分；然后将第一异常分割图评分、第二异常分割图评分和第三异常分割图评分输入至第二单类支持向量机Ds，以获取与待检测对象对应的存在异常的分割图；最后将存在异常的分割图以区别于正常分割图的颜色进行标记，以获取异常表征图。
其中，第一评分函数的表达式为：其中，M为第一记忆库、第二记忆库或者第三记忆库，f为RGB特征、点云特征或者融合特征，η为权重参数，i为RGB图像或者点云投影图对应的索引，j为所述RGB图像中的图斑或者所述点云投影图中的图块对应的索引；
第二评分函数的表达式为：其中M为第一记忆库、第二记忆库或者第三记忆库，f为所述RGB特征、所述点云特征或者所述融合特征，i为所述RGB图像的索引，j为所述RGB图像中的图斑对应的索引。
根据第一评分函数的表达式可知，当f为RGB特征时，可以获取第一记忆库Mrgb，根据/>和Mrgb中的各个原始颜色特征确定使/>取最小值的mrgb作为m*和取最大值的/>作为f(i,j),*，进而根据权重参数η、m*和f(i,j),*可以确定得到第一异常得分评分Φ(Mrgb,frgb)；当f为点云特征/>时，可以获取第二记忆库Mpt，根据/>和Mpt中的各个点云特征确定使/>取最小值的mpt作为m*和取最大值的/>作为f(i,j),*，进而根据权重参数η、m*和f(i,j),*可以确定得到第二异常得分评分Φ(Mpt,fpt)；相应地，当f为融合特征/>时，可以获取第三记忆库Mfs，根据/>和Mfs中的各个融合特征确定使取最小值的mfs作为m*和取最大值的/>作为f(i,j),*，进而根据权重参数η、m*和f(i,j),*可以确定得到第三异常得分评分Φ(Mfs,ffs)。
根据第二评分函数的表达式可知，当f为RGB特征时，可以获取第一记忆库Mrgb，根据/>和Mrgb中的各个原始颜色特征确定使/>取最小值的mrgb作为第一异常分割图评分/>当f为点云特征/>时，可以获取第二记忆库Mpt，根据/>和Mpt中的各个点云特征确定使/>取最小值的mpt作为第二异常分割图评分相应地，当f为融合特征/>时，可以获取第三记忆库Mfs，根据/>和Mfs中的各个融合特征确定使/>取最小值的mfs作为第三异常分割图评分/>
进一步地，在获取第一异常得分评分Φ(Mrgb,frgb)、第二异常得分评分Φ(Mpt,fpt)和第三异常得分评分Φ(Mfs,ffs)后，可以将其输入至第一单类支持向量机，以获取异常得分，表达式为：a＝Da(Φ(Mrgb,frgb)，Φ(Mpt,fpt)，Φ(Mfs,ffs))。同时，在获取第一异常分割图评分第二异常分割图评分/>和第三异常分割图评分/>后，可以将其输入至第而单类支持向量机，以获取异常的分割图，表达式为：
本申请实施例中的三维工业异常检测方法仅用于对工业异常的初筛，在获取与待检测对象对应的异常得分和异常表征图后，还需要对待检测对象是否真的存在异常进行人工质检，因为本申请实施例中的三维工业异常检测只是将检测对象中可能存在异常的情况标识出来，但是对于待检测对象存在缺口、缝隙等情况时，也会将其认定为异常，这样会存在误判。虽然在采用本申请的技术方案获取异常得分和异常表征图后，还需要进行人工质检，但是由于本申请能够基于三维点云和颜色信息进行工业异常检测，提高了异常检测结果的准确性，并且人工质检只需要对确定存在异常的检测对象进行质检，无需对所有的检测对象进行质检，因此也大大节省了人工质检的成本。
在本申请的一个实施例中，记忆库是通过随机采样生成的，具体而言，第一记忆库、第二记忆库、第三记忆库是对与大量样本的RGB特征、点云特征或者融合特征进行随机采样生成的。通过随机采样从大量数据中选取部分数据形成记忆库，能够减少数据处理量，提高数据处理效率。
本申请中的三维工业异常检测方法可以通过三维工业异常检测系统实现，图4示意性示出了三维工业异常检测系统的结构示意图，如图4所示，三维工业异常检测系统400包括点云特征空间配准模块401、特征融合模块402和决策层融合模块403，其中点云特征空间配准模块401用于对点云图进行处理生成与RGB图像大小相同的点云投影图，特征融合模块402用于将RGB图像中的RGB特征和点云投影图中的点云特征进行融合生成融合特征，决策层融合模块403用于根据RGB特征、点云特征、融合特征和预设记忆库对待检测对象进行异常预测，以获取与待检测对象对应的异常得分和异常表征图。
接下来，以对电缆密封套进行三维工业异常检测为例，对三维工业异常检测系统的检测流程进行详细说明。
图5示意性示出了采用三维工业异常检测系统对电缆密封套进行异常检测的流程示意图，如图5所示，在步骤S501中，获取与电缆密封套对应的RGB图像和初始点云图后，对初始点云图进行处理，获取只包含点坐标信息的点云图；在步骤S502中，将点云图输入至点云特征空间配准模块，通过点云特征空间配准模块对点云图执行步骤S503-S508；在步骤S503中，对点云图进行最远点采样和最近邻点采样，生成多个点云组；在步骤S504中，将多个点云组按照预设的排序规则进行排列，形成点云组序列；在步骤S505中，将点云组序列输入至第一特征提取器进行特征提取，获取点云特征组；在步骤S506中，将点云特征组插值回点云图，生成点云特征图；在步骤S507中，对点云特征图进行投影，生成与RGB图像大小相同的点云投影图；在步骤S508中，根据预设划分标准将点云投影图划分为多个图块，对每个图块对应的点云特征进行平均池化，以获取每个图块对应的图块点云特征；在步骤S509中，将RGB图像输入至特征融合模块，通过特征融合模块对RGB图像执行步骤S510-S513；在步骤S510中，根据预设划分标准将RGB图像划分为多个图斑，并将多个图斑形成的图斑序列输入至第二特征提取器；在步骤S511中，通过第二特征提取器进行特征提取，输出与各个图斑对应的RGB特征；在步骤S512中，将各个图块对应的图块点云特征输入至第一多层感知器进行特征提取以获取第一特征信息，将各个图斑对应的RGB特征输入至第二多层感知器进行特征提取以获取第二特征信息；在步骤S513中，对对应同一位置的第一特征信息和第二特征信息进行融合处理，获取融合特征；在步骤S514中，将各个图斑对应的RGB特征、各个图块对应的图块点云特征和与各图斑/图块对应的融合特征输入至决策层融合模块，通过决策层融合模块对RGB特征、点云特征和融合特征执行步骤S515-S522；在步骤S515中，根据第一评分函数、第一记忆库和RGB特征确定与电缆密封套对应的第一异常得分评分；在步骤S516中，根据第一评分函数、第二记忆库和点云特征确定与电缆密封套对应的第二异常得分评分；在步骤S517中，根据第一评分函数、第三记忆库和融合特征确定与电缆密封套对应的第三异常得分评分；在步骤S518中，根据第二评分函数、第一记忆库和RGB特征确定与电缆密封套对应的第一异常分割图评分；在步骤S519中，根据第二评分函数、第二记忆库和点云特征确定与电缆密封套对应的第二异常分割图评分；在步骤S520中，根据第二评分函数、第三记忆库和融合特征确定与电缆密封套对应的第三异常分割图评分；在步骤S521中，将第一异常得分评分、第二异常得分评分和第三异常得分评分输入至第一单类支持向量机，以获取与电缆密封套对应的异常得分；在步骤S522中，将第一异常分割图评分、第二异常分割图评分和第三异常分割图评分输入至第二单类支持向量机，以获取与电缆密封套对应的存在异常的分割图，并将存在异常的分割图以区别于正常分割图的颜色进行标记，以获取异常表征图。
至此，即可获取与待检测对象对应的异常得分和异常表征图。进一步地，图5中还可以包括步骤S523：将异常表征图中的存在异常的位置的像素设置为255，将不存在异常的位置的像素设置为0，以获取异常定位图。
虽然上述实施例中是对电缆密封套进行了三维工业异常检测，但是可以理解的是，本申请中的三维工业异常检测方法还可以应用于其它各类的工业异常检测场景，图6示意性示出了采用本申请中的三维工业异常检测方法对多种待检测对象进行异常检测后所确定的异常表征图和异常定位图，如图6所示，待检测对象分别是百吉圈、电缆密封套、胡萝卜、饼干、暗榫、泡沫、桃子、土豆、绳索、轮胎，第一行是各个待检测对象对应的RGB图像，第二行是各个待检测对象对应的点云图，第三行是经过三维工业异常检测生成的与各个待检测对象对应的异常表征图，第四行是经过三维工业异常检测生成的与各个待检测对象对应的异常定位图。
在本申请的一个实施例中，在采用三维工业异常检测系统对待检测对象进行异常检测之前，还需要对三维工业异常检测系统中的各个模块进行训练，以获取性能稳定的三维工业异常检测系统。由于点云特征空间配准模块中仅包含第一特征提取器，该第一特征提取器是一个预训练的特征提取器，因此无需对点云特征空间配准模块进行训练，特征融合模块中包含第二特征提取器、第一多层感知器和第二多层感知器，虽然第二特征提取器是预训练的特征提取器，但是还需要对第一多层感知器和第二多层感知器中的参数进行优化，也就是说，需要对特征融合模块进行训练，决策层融合模块中包含三个记忆库、可学习的第一单类支持向量机和第二单类支持向量机，因此也需要对决策层融合模块进行训练。在本申请的实施例中，特征融合模块和决策层融合模块的训练是异步进行的，并且都采用无监督训练模式，由于均采用无监督训练模式，因此在训练前无需人工标注，进而减少了人工标注成本。
在本申请的一个实施例中，特征融合模块采用采用基于图斑的对比损失来训练特征融合模块，以便特征融合模块能够充分学习训练数据中存在的颜色和三维点云两种模式之间的内在关系。对于RGB特征frgb和点云特征fpt，训练目标是鼓励同一位置的不同模态的特征有更多的对应信息，而不同位置的特征有更少的对应信息。
在获取训练样本时，可以对训练样本设置索引，由于需要对每个训练样本的RGB图像和点云图进行多模态信息的提取，因此对应同一训练样本的RGB图像和点云图，以及对点云图进行处理生成的点云投影图都对应同一索引。进一步地，特征融合模块是采用基于图斑的对比损失训练的，因此还需要对RGB图像和点云投影图进行分块，并且所采用的分块标准都是一样的，以保证RGB图像分块形成的图斑和点云投影图分块形成的图块是一一对应的，进而实现RGB特征和点云特征的空间位置对齐。
与上述实施例中对待检测对象进行三维工业异常检测的方法相似，本申请实施例中采用来表示图斑的RGB特征，采用/>来表示图块的点云特征，其中m是训练样本的索引，n是相对应的图斑和图块的索引。在获取训练样本对应的RGB特征和点云特征后，可以通过多层感知器(MLP，Multilayer Perceptron)层{χrgb,χpt}来提取两个模态之间的交互信息，并使用全连接层{σrgb,σpt}来将处理过的特征映射到查询(query)或关键(key)向量上，该映射特征表示为/>
图7示意性示出了无监督训练特征融合模块的流程示意图，如图7所示：在步骤S701中，将批量训练样本对应的点云图输入至点云特征空间配准模块，通过点云特征空间配准模块对批量训练样本对应的点云图进行最远点采样、最近邻点采样、编码、插值、投影、分块和平均池化处理；在步骤S702中，点云特征空间配准模块输出构成点云投影图的多个图块以及各图块对应的图块点云特征；在步骤S703中，将各图块对应的图块点云特征输入至第一多层感知器；在步骤S704中，第一多层感知器输出与图块对应的第一特征信息，并将第一特征信息输入至第一全连接层；在步骤S705中，第一全连接层输出第一映射特征；在步骤S706中，将批量训练样本对应的RGB图像分别划分为多个图斑，并将各训练样本对应的图斑序列输入至第二特征提取器；在步骤S707中，第二特征提取器输出与图斑序列对应的RGB特征；在步骤S708中，将各图斑对应的RGB特征输入至第二多层感知器；在步骤S709中，第二多层感知器输出与图斑对应的第二特征信息，并将第二特征信息输入至第二全连接层；在步骤S710中，第二全连接层输出第二映射特征，以根据第一映射特征和第二映射特征确定对比损失函数，并根据损失函数对特征融合模块进行调参，以获取性能稳定的特征融合模块。
其中，步骤S710中的对比损失函数为InfoNCE损失函数，具体表达式为：其中Nb为批次大小，Np为非零图块数，T为转置符号。值得说明的是，批次大小为批量训练样本所包含的训练样本的数量，并且每个训练样本具有不同的索引，非零图块数为将RGB图像分块形成的图斑的数量或者将点云投影图分块形成的图块的数量。
根据对比损失函数完成对特征融合模块的调参后，即可获取性能稳定的特征融合模块，基于该特征融合模块能够对同一位置的不同模态的特征提取出大量对应信息，而对于不同位置的不同模态的特征则不会提取出对应信息或者提取的对应信息的数量很少，如图7所示的对比矩阵，矩阵的对角线位置的图块对应的是对位于同一位置的不同模态的特征所提取的对应信息，非对角线位置的图块对应的是对位于不同位置的不同模态的特征所提取的对应信息，对角线图块的颜色深，表示对应信息丰富，非对角线图块的颜色浅，表示对应信息缺失。
进一步地，在完成特征融合模块的训练后，可以将第一特征信息和第二特征信息进行融合，得到融合特征ffs，如图7中的虚线所示。
在本申请的一个实施例中，在完成对特征融合模块的训练后，可以对决策层融合模块进行训练。在本申请实施例中，先通过每个记忆库Mrgb、Mfp、Mfs给出所有训练样本对应的异常得分评分和异常分割图评分结果，再将异常得分评分和异常分割图评分结果分别作为第一单类支持向量机和第二单类支持向量机的训练输入，实现只有正例的无监督训练。
本申请中的三维工业异常检测方法，获取与待检测对象对应的RGB图像和点云图后，首先对点云图进行预处理以获取多个点云组；接着将点云组输入至第一特征提取器进行特征提取以获取点云特征组，根据点云特征组和点云图生成点云特征图，并对点云特征图进行投影形成与RGB图像大小相同的点云投影图；同时将RGB图像输入至第二特征提取器进行特征提取，以获取RGB特征；然后将RGB特征和点云投影图中的点云特征分别输入至多层感知器进行特征提取，并对多层感知器输出的特征信息进行融合处理，以获取融合特征；最后根据RGB特征、点云特征和融合特征对待检测对象进行异常预测，以获取与待检测对象对应的异常得分和异常表征图。本申请一方面能够基于三维点云和RGB图像进行多模态工业异常检测，并且通过对RGB特征和点云特征进行特征融合，提升了特征之间的交互性，减少了高维特征之间的相互干扰；另一方面能够基于记忆库存储的多种数据特征、RGB特征、点云特征和融合特征对待检测对象中的异常进行预测，获取异常得分和异常表征图，提高了异常检测结果的准确性；再一方面，本申请采用无监督形式，检测异常前无需人工标注，减少了人工标注成本，并且通过采用本申请的技术方案进行工业异常的初筛，能够减少人工质检成本。
应当注意，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的三维工业异常检测方法。图8示意性示出了本申请实施例提供的三维工业异常检测装置的结构框图。如图8所示，三维工业异常检测装置800包括：预处理模块810、配准模块820、融合模块830和决策模块840，具体地：
预处理模块，用于获取与待检测对象对应的RGB图像和点云图，对所述点云图进行预处理，以获取多个点云组；配准模块，用于将所述点云组输入至第一特征提取器进行特征提取以获取点云特征组，根据所述点云特征组和所述点云图生成点云特征图，并对所述点云特征图进行投影形成与所述RGB图像大小相同的点云投影图；将所述RGB图像输入至第二特征提取器进行特征提取，以获取RGB特征；融合模块，用于将所述RGB特征和所述点云投影图中的点云特征分别输入至多层感知器进行特征提取，并对所述多层感知器输出的特征信息进行融合处理，以获取融合特征；决策模块，用于根据所述RGB特征、所述点云特征和所述融合特征对所述待检测对象进行异常预测，以获取与所述待检测对象对应的异常得分和异常表征图。
在本申请的一些实施例中，基于以上技术方案，所述预处理模块810配置为：对所述点云图进行最远点采样，以获取第一数量的目标点；以所述目标点为中心点进行最近邻点采样，以获取与各所述目标点相关的第二数量的特征点；根据各所述目标点和与各所述目标点相关的特征点形成所述点云组；其中，所述第一数量和所述第二数量为大于一的整数。
在本申请的一些实施例中，基于以上技术方案，所述配准模块820包括：插值单元，用于基于反距离权重将所述点云特征组插值回所述点云图，以获取所述点云特征图。
在本申请的一些实施例中，基于以上技术方案，所述插值单元配置为：所述点云特征图中的点云特征pj′和权重αi、所述目标点对应的点云特征gi以及所述第一数量M满足第一关系式：所述权重αi与目标点ci、所述点云特征图中与所述目标点ci对应的点pj、极小常数ε、所有所述目标点ck以及所述点云图中的所有点pt满足第二关系式：
在本申请的一些实施例中，基于以上技术方案，所述配准模块820配置为：获取与所述RGB图像对应的第一相机参数和与所述点云图对应的第二相机参数；根据所述第一相机参数和所述第二相机参数确定转移矩阵；基于所述转移矩阵对所述点云特征图中的点坐标进行投影，以获取与所述点坐标对应的二维坐标，并根据所述二维坐标和与所述点坐标对应的点云特征确定所述点云投影图。
在本申请的一些实施例中，基于以上技术方案，所述配准模块820还配置为：在所述点云投影图中存在与所述点云特征图不匹配的点时，将所述点对应的位置的像素设置为0。
在本申请的一些实施例中，基于以上技术方案，所述三维工业异常检测装置800还包括：第一分块模块，用于根据预设划分标准将所述点云投影图分为多个图块，并对各所述图块对应的点云投影图进行平均池化，以获取与各所述图块对应的图块点云特征；点云特征获取模块，用于根据所有所述图块对应的图块点云特征获取与所述点云投影图对应的点云特征。
在本申请的一些实施例中，基于以上技术方案，所述配准模块820配置为：根据所述预设划分标准对所述RGB图像进行划分，获取与所述RGB图像对应的图斑；将各所述图斑对应的RGB图像信息输入至所述第二特征提取器，获取与各所述图斑对应的RGB特征；根据所有所述图斑对应的RGB特征确定所述RGB特征。
在本申请的一些实施例中，所述图块和所述图斑一一对应，且相对应的所述图块和所述图斑具有相同的索引；基于以上技术方案，所述融合模块830配置为：通过所述多层感知器对与同一位置对应的目标图斑的RGB特征和目标图块的图块点云特征进行特征提取，以获取与所述目标图斑对应的第一特征信息和与所述目标图块对应的第二特征信息；对所述第一特征信息和所述第二特征信息进行融合处理，以获取所述融合特征。
在本申请的一些实施例中，基于以上技术方案，所述决策模块840配置为：根据第一评分函数、所述第一记忆库和所述RGB特征确定与所述待检测对象对应的第一异常得分评分，根据所述第一评分函数、所述第二记忆库和所述点云特征确定与所述待检测对象对应的第二异常得分评分，根据所述第一评分函数、所述第三记忆库和所述融合特征确定与所述待检测对象对应的第三异常得分评分；将所述第一异常得分评分、所述第二异常得分评分和所述第三异常得分评分输入至第一单类支持向量机，以获取与所述待检测对象对应的异常得分，其中，所述第一记忆库用于存储已检测对象的原始颜色特征，所述第二记忆库用于存储所述已检测对象的点云特征，所述第三记忆库用于存储所述已检测对象的融合特征。
在本申请的一些实施例中，基于以上技术方案，所述决策模块840配置为：根据第二评分函数、所述第一记忆库和所述RGB特征确定与所述待检测对象对应的第一异常分割图评分，根据所述第二评分函数、所述第二记忆库和所述点云特征确定与所述待检测对象对应的第二异常分割图评分，根据所述第二评分函数、所述第三记忆库和所述融合特征确定与所述待检测对象对应的第三异常分割图评分；将所述第一异常分割图评分、所述第二异常分割图评分和所述第三异常分割图评分输入至第二单类支持向量机，以获取与所述待检测对象对应的存在异常的分割图；将所述存在异常的分割图以区别于正常分割图的颜色进行标记，以获取所述异常表征图。
在本申请的一些实施例中，基于以上技术方案，所述第一评分函数的表达式为：Φ(M,f)＝η||f(i,j),*-m*||2，其中，M为第一记忆库、第二记忆库或者第三记忆库，f为所述RGB特征、所述点云特征或者所述融合特征，η为权重参数，i为所述RGB图像或者所述点云投影图对应的索引，j为所述RGB图像中的图斑或者所述点云投影图中的图块对应的索引。
在本申请的一些实施例中，基于以上技术方案，所述第二评分函数的表达式为：其中M为第一记忆库、第二记忆库或者第三记忆库，f为所述RGB特征、所述点云特征或者所述融合特征，i为所述RGB图像或者所述点云投影图对应的索引，j为所述RGB图像中的图斑或者所述点云投影图中的图块对应的索引。
本申请各实施例中提供的三维工业异常检测装置的具体细节已经在对应的方法实施例中进行了详细的描述，此处不再赘述。
图9示意性地示出了用于实现本申请实施例的电子设备的计算机系统结构框图，该电子设备可以是如图1中所示的终端设备101和服务器102。
需要说明的是，图9示出的电子设备的计算机系统900仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图9所示，计算机系统900包括中央处理器901(Central Processing Unit，CPU)，其可以根据存储在只读存储器902(Read-Only Memory，ROM)中的程序或者从存储部分908加载到随机访问存储器903(Random Access Memory，RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器903中，还存储有系统操作所需的各种程序和数据。中央处理器901、在只读存储器902以及随机访问存储器903通过总线904彼此相连。输入/输出接口905(Input/Output接口，即I/O接口)也连接至总线904。
在一些实施例中，以下部件连接至输入/输出接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid CrystalDisplay，LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至输入/输出接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
特别地，根据本申请的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理器901执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台电子设备执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (14)

1.一种三维工业异常检测方法，其特征在于，包括：
获取与待检测对象对应的RGB图像和点云图，对所述点云图进行预处理，以获取多个点云组；
将所述点云组输入至第一特征提取器进行特征提取以获取点云特征组，根据所述点云特征组和所述点云图生成点云特征图，并对所述点云特征图进行投影形成与所述RGB图像大小相同的点云投影图；将所述RGB图像输入至第二特征提取器进行特征提取，以获取RGB特征；
将所述RGB特征和所述点云投影图中的点云特征分别输入至多层感知器进行特征提取，并对所述多层感知器输出的特征信息进行融合处理，以获取融合特征；
根据所述RGB特征、所述点云特征和所述融合特征对所述待检测对象进行异常预测，以获取与所述待检测对象对应的异常得分和异常表征图。
2.根据权利要求1所述的方法，其特征在于，所述对所述点云图进行预处理，以获取多个点云组，包括：
对所述点云图进行最远点采样，以获取第一数量的目标点；
以所述目标点为中心点进行最近邻点采样，以获取与各所述目标点相关的第二数量的特征点；
根据各所述目标点和与各所述目标点相关的特征点形成所述点云组；
其中，所述第一数量和所述第二数量为大于一的整数。
3.根据权利要求1所述的方法，其特征在于，根据所述点云特征组和所述点云图生成点云特征图，包括：
基于反距离权重将所述点云特征组插值回所述点云图，以获取所述点云特征图。
4.根据权利要求1或3所述的方法，其特征在于，所述对所述点云特征图进行投影形成与所述RGB图像大小相同的点云投影图，包括：
获取与所述RGB图像对应的第一相机参数和与所述点云图对应的第二相机参数；
根据所述第一相机参数和所述第二相机参数确定转移矩阵；
基于所述转移矩阵对所述点云特征图中的点坐标进行投影，以获取与所述点坐标对应的二维坐标，并根据所述二维坐标和与所述点坐标对应的点云特征确定所述点云投影图。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
在所述点云投影图中存在与所述点云特征图不匹配的点时，将所述点对应的位置的像素设置为0。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据预设划分标准将所述点云投影图分为多个图块，并对各所述图块对应的点云投影图进行平均池化，以获取与各所述图块对应的图块点云特征；
根据所有所述图块对应的图块点云特征获取与所述点云投影图对应的点云特征。
7.根据权利要求6所述的方法，其特征在于，所述将所述RGB图像输入至第二特征提取器进行特征提取，以获取RGB特征，包括：
根据所述预设划分标准对所述RGB图像进行划分，获取与所述RGB图像对应的图斑；
将各所述图斑对应的RGB图像信息输入至所述第二特征提取器，获取与各所述图斑对应的RGB特征；
根据所有所述图斑对应的RGB特征确定所述RGB特征。
8.根据权利要求7所述的方法，其特征在于，所述图块和所述图斑一一对应，且相对应的所述图块和所述图斑具有相同的索引；
所述将所述RGB特征和所述点云投影图中的点云特征分别输入至多层感知器进行特征提取，并对所述多层感知器输出的特征信息进行融合处理，以获取融合特征，包括：
通过所述多层感知器对与同一位置对应的目标图斑的RGB特征和目标图块的图块点云特征进行特征提取，以获取与所述目标图斑对应的第一特征信息和与所述目标图块对应的第二特征信息；
对所述第一特征信息和所述第二特征信息进行融合处理，以获取所述融合特征。
9.根据权利要求1所述的方法，其特征在于，所述根据所述RGB特征、所述点云特征和所述融合特征对所述待检测对象进行异常预测，以获取与所述待检测对象对应的异常得分，包括：
根据第一评分函数、第一记忆库和所述RGB特征确定与所述待检测对象对应的第一异常得分评分，根据所述第一评分函数、第二记忆库和所述点云特征确定与所述待检测对象对应的第二异常得分评分，根据所述第一评分函数、第三记忆库和所述融合特征确定与所述待检测对象对应的第三异常得分评分；
将所述第一异常得分评分、所述第二异常得分评分和所述第三异常得分评分输入至第一单类支持向量机，以获取与所述待检测对象对应的异常得分；
其中，所述第一记忆库用于存储已检测对象的原始颜色特征，所述第二记忆库用于存储所述已检测对象的点云特征，所述第三记忆库用于存储所述已检测对象的融合特征。
10.根据权利要求9所述的方法，其特征在于，所述根据所述RGB特征、所述点云特征和所述融合特征对所述待检测对象进行异常预测，以获取与所述待检测对象对应的异常表征图，包括：
根据第二评分函数、所述第一记忆库和所述RGB特征确定与所述待检测对象对应的第一异常分割图评分，根据所述第二评分函数、所述第二记忆库和所述点云特征确定与所述待检测对象对应的第二异常分割图评分，根据所述第二评分函数、所述第三记忆库和所述融合特征确定与所述待检测对象对应的第三异常分割图评分；
将所述第一异常分割图评分、所述第二异常分割图评分和所述第三异常分割图评分输入至第二单类支持向量机，以获取与所述待检测对象对应的存在异常的分割图；
将所述存在异常的分割图以区别于正常分割图的颜色进行标记，以获取所述异常表征图。
11.一种三维工业异常检测装置，其特征在于，包括：
预处理模块，获取与待检测对象对应的RGB图像和点云图，对所述点云图进行预处理，以获取多个点云组；
配准模块，用于将所述点云组输入至第一特征提取器进行特征提取以获取点云特征组，根据所述点云特征组和所述点云图生成点云特征图，并对所述点云特征图进行投影形成与所述RGB图像大小相同的点云投影图；将所述RGB图像输入至第二特征提取器进行特征提取，以获取RGB特征；
融合模块，用于将所述RGB特征和所述点云投影图中的点云特征分别输入至多层感知器进行特征提取，并对所述多层感知器输出的特征信息进行融合处理，以获取融合特征；
决策模块，用于根据所述RGB特征、所述点云特征和所述融合特征对所述待检测对象进行异常预测，以获取与所述待检测对象对应的异常得分和异常表征图。
12.一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1至10中任意一项所述的三维工业异常检测方法。
13.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储指令；
其中，所述处理器执行所述存储器存储的指令用于实现权利要求1至10中任意一项所述的三维工业异常检测方法。
14.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，当所述计算机指令在计算机上运行时，使得所述计算机执行权利要求1至10中任意一项所述的三维工业异常检测方法。
CN202310194447.6A 2023-03-02 2023-03-02 三维工业异常检测方法、装置、存储介质及电子设备 Pending CN116958027A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310194447.6A CN116958027A (zh) 2023-03-02 2023-03-02 三维工业异常检测方法、装置、存储介质及电子设备
PCT/CN2024/078580 WO2024179409A1 (zh) 2023-03-02 2024-02-26 三维工业异常检测方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310194447.6A CN116958027A (zh) 2023-03-02 2023-03-02 三维工业异常检测方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN116958027A true CN116958027A (zh) 2023-10-27

Family

ID=88443348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310194447.6A Pending CN116958027A (zh) 2023-03-02 2023-03-02 三维工业异常检测方法、装置、存储介质及电子设备

Country Status (2)

Country Link
CN (1) CN116958027A (zh)
WO (1) WO2024179409A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024179409A1 (zh) * 2023-03-02 2024-09-06 腾讯科技（上海）有限公司 三维工业异常检测方法、装置、存储介质及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494134A (zh) * 2021-12-25 2022-05-13 跨境云(横琴)科技创新研究中心有限公司 基于部件点云配准检测的工业缺陷检测系统
CN114648686A (zh) * 2022-03-10 2022-06-21 哈尔滨工程大学 一种融合激光点云与rgb图像数据的逆光水面目标识别方法、系统及装置
US11403860B1 (en) * 2022-04-06 2022-08-02 Ecotron Corporation Multi-sensor object detection fusion system and method using point cloud projection
CN115496923B (zh) * 2022-09-14 2023-10-20 北京化工大学 一种基于不确定性感知的多模态融合目标检测方法及装置
CN116958027A (zh) * 2023-03-02 2023-10-27 腾讯科技（上海）有限公司 三维工业异常检测方法、装置、存储介质及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024179409A1 (zh) * 2023-03-02 2024-09-06 腾讯科技（上海）有限公司 三维工业异常检测方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
WO2024179409A1 (zh) 2024-09-06

Similar Documents

Publication Publication Date Title
CN111898696B (zh) 伪标签及标签预测模型的生成方法、装置、介质及设备
CN112529015B (zh) 一种基于几何解缠的三维点云处理方法、装置及设备
CN109993102B (zh) 相似人脸检索方法、装置及存储介质
US20220222925A1 (en) Artificial intelligence-based image processing method and apparatus, device, and storage medium
CN114332578A (zh) 图像异常检测模型训练方法、图像异常检测方法和装置
WO2023173552A1 (zh) 目标检测模型的建立方法、应用方法、设备、装置及介质
KR20220047228A (ko) 이미지 분류 모델 생성 방법 및 장치, 전자 기기, 저장 매체, 컴퓨터 프로그램, 노변 장치 및 클라우드 제어 플랫폼
CN116580257A (zh) 特征融合模型训练及样本检索方法、装置和计算机设备
CN117152459B (zh) 图像检测方法、装置、计算机可读介质及电子设备
WO2024179409A1 (zh) 三维工业异常检测方法、装置、存储介质及电子设备
WO2024179409A9 (zh) 三维工业异常检测方法、装置、存储介质及电子设备
CN114820871A (zh) 字体生成方法、模型的训练方法、装置、设备和介质
CN115965968A (zh) 基于知识引导的小样本目标检测识别方法
CN116431827A (zh) 信息处理方法、装置、存储介质及计算机设备
Xiang et al. Crowd density estimation method using deep learning for passenger flow detection system in exhibition center
CN111161238A (zh) 图像质量评价方法及装置、电子设备、存储介质
CN118279320A (zh) 基于自动提示学习的目标实例分割模型建立方法及其应用
CN113379594A (zh) 脸型变换模型训练、脸型变换方法及相关装置
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
CN112906517A (zh) 一种自监督的幂律分布人群计数方法、装置和电子设备
CN116168418A (zh) 一种图像的多模态目标感知与重识别方法
CN115984093A (zh) 基于红外图像的深度估计方法、电子设备以及存储介质
Chitturi Building detection in deformed satellite images using mask r-cnn
CN115131291A (zh) 对象计数模型的训练方法、装置、设备以及存储介质
Nazarkevych et al. Method of Dataset Filling and Recognition of Moving Objects in Video Sequences based on YOLO.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination