CN114898357B - 缺陷识别方法、装置、电子设备及计算机可读存储介质 - Google Patents
缺陷识别方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114898357B CN114898357B CN202210812741.4A CN202210812741A CN114898357B CN 114898357 B CN114898357 B CN 114898357B CN 202210812741 A CN202210812741 A CN 202210812741A CN 114898357 B CN114898357 B CN 114898357B
- Authority
- CN
- China
- Prior art keywords
- feature
- image
- level
- current
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 208
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 57
- 230000004927 fusion Effects 0.000 claims description 145
- 238000012549 training Methods 0.000 claims description 31
- 238000006243 chemical reaction Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 17
- 238000007499 fusion processing Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 abstract description 26
- 230000011218 segmentation Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000002950 deficient Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 229910052744 lithium Inorganic materials 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种缺陷识别方法、装置、电子设备及计算机可读存储介质，涉及精密仪器检测技术领域。方法包括：获取待识别工业仪器对应的点云图像，以及点云图像中各像素点的特征信息；其中，特征信息包括初始位置信息、深度信息、反光强度以及预先设置的点云特征；根据各像素点的特征信息确定与点云图像对应的特征图像；对特征图像进行数据强化处理，得到处理后的特征图像；将处理后的特征图像输入训练好的缺陷识别模型进行处理，输出处理后的特征图像中包含的缺陷区域图像，以及缺陷区域图像对应的缺陷类别。采用本申请能够实现提高针对工业仪器的缺陷检测效率。
Description
技术领域
本申请涉及精密仪器检测技术领域，特别是涉及一种缺陷识别方法、装置、电子设备及计算机可读存储介质。
背景技术
随着工业智能化的发展，人工智能在工业智能化的领域中发挥着越来越重要的作用。而在高精尖产业的领域中，例如新能源，精密仪器制造中，极高的质量检测精度需求导致该产业对于质检人员的工作强度，时间以及人员数量有着极大的需求。例如，在新能源的锂电池行业，一个轻微的凸起或凹坑就有可能导致锂电池后期爆炸，因此对于每一块电池都有着极其严格的检测要求，对于工厂来说，人员的检测效率成为了生产效率的重中之重，因此如何提高检测效率成为了很多高精密加工工业领域越来越重视的问题。
传统技术中，通过3D语义分割算法定位和给出待检测仪器的三维点云图像中每个像素的类别，并根据图像中每个像素的类别对图像进行筛选得到不符合要求的器件。
然而，传统的3D语义分割算法应用在工业仪器的检测中，存在效率低的问题。
发明内容
本申请提供一种缺陷识别方法、装置、电子设备及计算机可读存储介质，能够实现提高针对工业仪器的缺陷检测效率。
第一方面，本申请提供了一种缺陷识别方法，包括：
获取待识别工业仪器对应的点云图像，以及点云图像中各像素点的特征信息；其中，特征信息包括初始位置信息、深度信息、反光强度以及预先设置的点云特征；
根据各像素点的特征信息确定与点云图像对应的特征图像；
对特征图像进行数据强化处理，得到处理后的特征图像；
将处理后的特征图像输入训练好的缺陷识别模型进行处理，输出处理后的特征图像中包含的缺陷区域图像，以及缺陷区域图像对应的缺陷类别。
第二方面，本申请还提供了一种缺陷识别装置，包括：
获取模块，用于获取待识别工业仪器对应的点云图像，以及点云图像中各像素点的特征信息；其中，特征信息包括初始位置信息、深度信息、反光强度以及预先设置的点云特征；
确定模块，用于根据各像素点的特征信息确定与点云图像对应的特征图像；
处理模块，用于对特征图像进行数据强化处理，得到处理后的特征图像；
识别模块，用于将处理后的特征图像输入训练好的缺陷识别模型进行处理，输出处理后的特征图像中包含的缺陷区域图像，以及缺陷区域图像对应的缺陷类别。
第三方面，本申请还提供了一种电子设备，电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质，计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法的步骤。
本申请通过获取待识别工业仪器对应的点云图像，利用点云图像中各像素点的特征信息，确定与点云图像对应的特征图像，同时对特征图像进行数据强化处理，如此可将处理后的特征图像输入训练好的缺陷识别模型，得到特征图像中包含的缺陷区域图像，以及缺陷区域图像对应的缺陷类别。本申请将三维数据中的深度信息、反光强度以及点云特征映射到重构的特征图像中，并对特征图像进行数据强化处理，实现了数据降维，减少了处理过程中的数据量，与传统的三维点云语义分割技术相比，本申请利用降维后的数据进行工业仪器缺陷的识别，能够实现提高针对工业仪器的缺陷检测效率。
附图说明
图1为本申请实施例提供的一种缺陷识别方法的应用环境图；
图2为本申请实施例提供的一种缺陷识别方法的流程示意图；
图3为本申请实施例提供的另一种缺陷识别方法的流程示意图；
图4为一个具体的实施例中多个网络特征的示意图；
图5为本申请实施例提供的又一种缺陷识别方法的流程示意图；
图6为本申请实施例提供的再一种缺陷识别方法的流程示意图；
图7为本申请实施例提供的另一种缺陷识别方法的流程示意图；
图8为本申请实施例提供的一种缺陷识别装置的结构框图；
图9为本申请实施例提供的一种电子设备的内部结构图；
图10为本申请实施例提供的一种计算机可读存储介质的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
高精密行业主要的痛点在于对于表面的缺陷的深度/高度有着严格的要求（例如凹陷/凸起不能超过多少高度，褶皱不可以超过多高)，大部分的缺陷都和高度有关，这导致一般的2D图像不能满足缺陷检测的需求。因此，大部分厂商会引入3D点云数据来获取工业仪器的缺陷高度信息，即利用3D语义分割算法获取并对点云数据进行分类。语义分割算法的本质是为了定位和给出图片中每个像素的类别，其表现能力主要依赖于网络结构的特殊设计。目前现有的大部分语义分割算法，无法在工业领域中很好地使用，其过杀或漏杀的问题都比较严重。尤其是与3D相关的语义分割算法，受限制于处理时间的要求，3D语义分割算法应用在工业仪器的检测中，存在效率低的问题。
基于上述原因，本申请实施例提供了一种缺陷识别方法，该方法可以应用于如图1所示的应用环境中。其中，电子设备102通过通信网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。电子设备102可以与3D线扫设备进行连接。其中，电子设备102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备及便携式可穿戴设备。3D线扫设备可以用于获取3D点云数据。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一些实施例中，如图2所示，提供了一种缺陷识别方法，以该方法应用于图1中的电子设备102为例进行说明，包括以下步骤：
步骤S210，获取待识别工业仪器对应的点云图像，以及点云图像中各像素点的特征信息；其中，特征信息包括初始位置信息、深度信息、反光强度以及预先设置的点云特征。
其中，待识别工业仪器可以是任意工业产线中需要进行检测的工业仪器。点云图像指的是3D点云图像，可以是通过3D线扫相机或者深度相机拍摄获取的图像。特征信息指的是三维点云特征，可以是点云图像中与像素点相关的特征，例如，特征信息可以是坐标信息、反光强度、法向量和颜色信息等。初始位置信息指的是各个像素点在点云图像中的其中两个方向的坐标位置，例如，可以是各个像素点的（x，y，z）坐标中的x，y。深度信息指的是各个像素点某一方向上垂直于上述两个方向的坐标信息，通常指的是（x，y，z）坐标中的z。预先设置的点云特征可以是根据检测需求进行选择的点云特征，例如，某一工业仪器需要根据法向量这一点云特征来进行缺陷识别，则预先设置的点云特征可以包括是法向量。
具体地，电子设备获取3D线扫相机中的该待识别工业仪器的点云图像，以及获取该点云图像中各个像素点的特征信息，该特征信息可以包括初始位置信息、深度信息、反光强度以及预先设置的点云特征。其中，从不同的工业仪器对应的点云图像中，获取预先设置的点云特征可以不相同。
步骤S220，根据各像素点的特征信息确定与点云图像对应的特征图像。
其中，特征图像为对点云图像进行重新构建后的数据图像。
具体地，特征图像可以是包括深度信息和预设的点云特征，例如，点云图像包括（x，y，z）坐标、法向量和反光强度，将点云图像重新构建后得到的特征图像包括深度z、法向量和发光强度。
步骤S230，对特征图像进行数据强化处理，得到处理后的特征图像。
具体地，可以对特征图像中的每一个像素点进行特征强化，例如，对每一个像素点引入可选的点云特征，如此加强了每个像素点的特征，可以将点云图像中的三维数据映射到二维通道中，得到处理后的特征图像。
如此，可以实现数据降维，减少了需要处理的数据量，从而可以提高对工业仪器对应的点云图像中各个像素点进行分类的效率，进而提高产线的效率。
步骤S240，将处理后的特征图像输入训练好的缺陷识别模型进行处理，输出处理后的特征图像中包含的缺陷区域图像，以及缺陷区域图像对应的缺陷类别。
其中，训练好的缺陷识别模型可以是针对特征图像中各个点进行分类的模型。缺陷区域图像可以是与特征图像相对应的图像，其可以包括各个点的类别信息。缺陷类别可以是从缺陷区域图像中获取的类别信息。
具体地，通过训练好的缺陷识别模型得到特征图像对应的缺陷区域图像，根据该缺陷区域图像，可以得到其对应的缺陷类别。
本实施例中，本申请通过获取待识别工业仪器对应的点云图像，利用点云图像中各像素点的特征信息，确定与点云图像对应的特征图像，同时对特征图像进行数据强化处理，如此可将处理后的特征图像输入训练好的缺陷识别模型，得到特征图像中包含的缺陷区域图像，以及缺陷区域图像对应的缺陷类别。本申请将三维数据中的深度信息、反光强度以及点云特征映射到重构的特征图像中，并对特征图像进行数据强化处理，实现了数据降维，减少了处理过程中的数据量，与传统的三维点云语义分割技术相比，本申请利用降维后的数据进行工业仪器缺陷的识别，能够实现提高针对工业仪器的缺陷检测效率。
在一些实施例中，如图3所示，将处理后的特征图像输入训练好的缺陷识别模型，输出处理后的特征图像中包含的缺陷区域图像，以及缺陷区域图像对应的缺陷类别之前，还包括：
步骤S310，获取样本工业仪器对应的样本点云图像、样本点云图像对应的样本特征图像，以及样本特征图像对应的样本缺陷区域图像；其中，样本特征图像为对样本点云图像进行数据重构处理和数据强化处理得到的。
其中，样本工业仪器指的是存在已知缺陷的工业仪器。样本点云图像指的是3D点云图像，可以是通过3D线扫相机或者深度相机拍摄获取的图像。样本特征图像可以是通过步骤S220和步骤S230对样本点云图像进行处理后的特征图像。样本缺陷区域图像指的是包括各个点的类别信息的图像，可以通过该样本缺陷区域图像对待训练的缺陷识别模型进行训练。
具体地，可以获取预先知道缺陷类别的样本工业仪器对应的样本点云图像，对该样本点云图像进行数据重构处理以及数据强化处理，可以获取到样本点云图像对应的样本特征图像，同时获取样本特征图像对应的样本缺陷区域图像。如此，可以为待训练的缺陷识别模型进行训练提供训练数据。
步骤S320，将样本特征图像输入待训练的缺陷识别模型中，对样本特征图像进行数据增强处理，得到输入网络特征；对输入网络特征进行图像融合处理，得到预测缺陷区域图像。
其中，输入网络特征可以是针对待训练的缺陷识别模型进行处理的网络特征。数据增强处理可以得到符合待训练的缺陷识别模型进行训练所需的网络特征。图像融合处理指的是缺陷识别模型进行训练时对输入数据（即输入网络特征）进行处理。预测缺陷区域图像指的是对缺陷识别模型进行训练过程中，缺陷识别模型输出的预测结果，可以根据预测结果和实际结果对待训练的缺陷识别模型进行训练，使得预测结果在一定的条件下接近于实际结果，此处的实际结果为样本缺陷区域图像。
步骤S330，利用预测缺陷区域图像与样本缺陷区域图像，对待训练的缺陷识别模型进行训练，得到训练好的缺陷识别模型。
具体地，可以利用进行训练的缺陷识别模型输出的预测缺陷区域图像与样本缺陷区域图像，对该缺陷识别模型进行训练，使得进行训练的缺陷识别模型中所包含的参数不断进行更新，直到预测缺陷区域图像与样本缺陷区域图像的差异在允许范围内，则完成训练，得到训练好的缺陷识别模型。
本实施例中，通过获取样本特征图像，以及样本特征图像对应的样本缺陷区域图像，将样本特征图像输入待训练的缺陷识别模型中；利用缺陷识别模型输出的预测缺陷区域图像，以及样本缺陷区域图像对缺陷识别模型进行训练，可以得到训练好的缺陷识别模型，从而可以为处理特征图像提供具有针对性的数据处理模型，以得到待识别工业仪器的缺陷区域图像对应的缺陷类别，从而提高工业仪器的检测效率。
在一些实施例中，对输入网络特征进行图像融合处理，得到预测缺陷区域图像，包括：
获取输入网络特征对应的多个层级的初始特征；
基于各个层级的初始特征，得到各个层级的至少一个融合特征；
利用多个层级中的最后一个层级对应的融合特征，得到预测缺陷区域图像。
其中，多个层级的初始特征可以根据输入网络特征得到；例如，可以根据输入网络特征与各个层级的初始特征的尺寸比例，确定各个层级的初始特征，其中，输入网络特征位于第一个层级，即第一个层级的初始特征为输入网络特征。各个层级的融合特征为对各个层级的初始特征进行融合后得到的网络特征。需要说明的是，初始特征以及融合特征均是网络特征。最后一个层级指的是与第一个层级相对应的层级，若多个层级大于两个，则第一个层级与最后一个层级之间包括至少一个层级；若多个层级为两个，则最后一个层级为第二个层级；可以理解，若第一个层为最顶层，则最后一个层级为最底层。
本实施例中，基于输入网络特征得到多个层级的初始特征，并对多个层级的初始特征进行融合处理，根据最后一个层级的融合特征得到预测缺陷区域图像，从而可以实现对缺陷识别模型进行训练，并且能够适用于对数据强化处理后的特征图像进行数据增强处理，从而可以加快对工业仪器的检测，提高产线残次品的检出效率，进而提高产线的生产效率。
在一些实施例中，基于各个层级的初始特征，得到各个层级的至少一个融合特征，包括：
获取当前层级，和当前层级对应的当前融合特征；
若当前层级不是多个层级中的最后一个层级，则确定当前融合特征在当前层级包括的所有融合特征中的特征次序；
若特征次序表征当前融合特征为当前层级包括的所有融合特征中的首个，则基于当前层级的初始特征、当前层级的上一层级的网络特征，以及当前层级的下一层级的初始特征，得到当前融合特征；其中，当前层级的上一层级的网络特征为当前层级的上一层级的初始特征、或特征次序小于等于当前融合特征的特征次序的任意一个融合特征；或者，
若特征次序表征当前融合特征不是当前层级包括的所有融合特征中的首个，则基于当前层级的目标融合特征、当前层级的上一层级的网络特征，以及当前层级的下一层级的目标融合特征，得到当前融合特征；其中，当前层级的目标融合特征的特征次序和当前层级的下一层级的目标融合特征的特征次序均为当前融合特征的特征次序的前一个。
其中，当前层级可以是除了第一个层级以外的任意一个层级，除了第一个层级以外的每一层级应该包括初始特征和至少一个融合特征，当前融合特征可以是当前层级的任意一个融合特征。特征次序指的是融合特征在其所在层级的多个融合特征中的次序，如果某一层级的融合特征数量为一个，则该融合特征的次序为1，其中，每一层级的特征次序是相对应的，例如第二个层级的第二个融合特征的特征次序与第三个层级的第二个融合特征的特征次序应均为2。网络特征可以是初始特征，也可以是融合特征。目标融合特征指的是特定的融合特征，需要根据该目标融合特征来得到当前融合特征。当前层级的上一层级的网络特可以是上一层级的初始特征，也可以是特征次序小于或等于当前融合特征的特征次序的任意一个上一层级的融合特征，例如，当前融合特征的特征次序为3（即当前融合特征为第3个融合特征），则当前层级的上一层级的网络特可以是上一层级的初始特征，也可以是上一层级的第2个融合特征，还可以是上一层级的第3个融合特征。可以理解，上一层级是相对于当前层级而言的。
具体地，获取任意一个层级，作为当前层级，以及获取该当前层级中的任意一个融合特征，作为当前融合特征。
如果当前融合特征为第一个融合特征，则基于当前层级的初始特征，当前层级的上一层级的网络特征以及当前层级的下一层级的初始特征，得到当前融合特征。
如果当前融合特征不是第一个融合特征，则将当前融合特征的前一个网络特征确定为当前层级的目标融合特征；将与当前融合特征的前一个网络特征相对应的下一层级的网络特征确定为下一层级的目标融合特征；例如，当前融合特征的特征次序为3（即当前融合特征为第3个融合特征），则当前层级的目标融合特征为当前层级的第2个融合特征，下一层级的目标融合特征为下一层的第2个融合特征。并基于当前层级的目标融合特征、当前层级的上一层级的网络特征，以及当前层级的下一层级的目标融合特征，得到当前融合特征。
例如，如果当前融合特征为第一个融合特征，则基于上一层级的初始特征（或上一层级的第一个融合特征）、当前层级的初始特征、以及下一层级的初始特征，得到当前融合特征。如果当前融合特征不是第一个融合特征，则基于当前融合特征的前一个融合特征、上一层级中特征次序与当前融合特征的特征次序相同的融合特征、以及下一层级中特征次序在当前融合特征的特征次序前一个的融合特征，得到当前融合特征。
本实施例中，基于当前层级网络特征、上一层级的网络特征以及下一层级的网络特征，得到当前层级的融合特征，可以实现对于数据强化处理后的特征图像进行数据增强处理，可以实现对缺陷识别模型的训练，如此可以提高处理后的特征图像的处理效率，从而提高了工业仪器的检测效率。
在一些实施例中，获取当前层级，和当前层级对应的当前融合特征之后，还包括：
若当前层级为多个层级中的最后一个层级，则确定当前融合特征在最后一个层级包括的多个融合特征中的特征次序；
若特征次序表征当前融合特征为最后一个层级包括的多个融合特征中的首个，则基于最后一个层级的初始特征、最后一个层级的上一层级的网络特征，得到当前融合特征；其中，最后一个层级的上一层级的网络特征为最后一个层级的上一层级的初始特征、或特征次序小于等于当前融合特征的特征次序的任意一个的融合特征；或者，
若特征次序表征当前融合特征不是最后一个层级包括的多个融合特征中的首个，则基于最后一个层级的目标融合特征、最后一个层级的上一层级的网络特征，得到当前融合特征；其中，最后一个层级的目标融合特征的特征次序为当前融合特征的特征次序的前一个。
例如，当前融合特征的特征次序为3（即当前融合特征为第3个融合特征），则最后一个层级的目标融合特征为最后一个层级的第2个融合特征。
本实施例中，如果当前层级是最后一个层级，那么可以基于最后一个层级的网络特征以及上一个层级的网络特征，融合得到最后一个层级的融合特征，如此，本申请对每一层级的网络特征进行融合，得到最后一个层级的最后一个融合特征，从而可以根据该融合特征得到预测缺陷区域图像，可以实现对缺陷识别模型的训练，提高了对处理后的特征图像的处理效率，从而提高了工业仪器的检测效率。
在一些具体的实施例中，如图4所示，包括多个网络特征，分别为A11、A21-A22、A31-A33、A41-A44、A51-A55，输入网络特征对应的多个层级的初始特征分别为A11、A21、A31、A41、A51，如果当前融合特征为A22，则可以基于A11、A21以及A31，对A11、A21以及A31进行特征提取以及融合得到A22；如果当前融合特征为A43，则可以基于A42、A33（或A32、或A31）以及A52，进行特征提取以及融合，得到A43；如果当前融合特征为A53，可以基于A52以及A43（或A42、或A41），进行特征提取以及融合，得到A53。其中，各个层级的特征尺寸可以预先进行设置，例如第一个层级与第二个层级的比例可以是2，第一个层级与第三个层级的比例可以是4；相邻两个层级的尺寸比例可以相同。
本实施例中，通过网络特征的融合处理，得到融合特征，能够实现对缺陷识别模型的训练，进一步地实现提高对处理后的特征图像的处理效率，从而可以提高工业仪器的检测效率。
在一些实施例中，利用多个层级中的最后一个层级对应的融合特征，得到预测缺陷区域图像，包括：
将最后一个层级包括的多个融合特征中的最后一个融合特征，作为最终融合特征；
根据最终融合特征确定预测缺陷区域图像。
具体地，如果每一个层级的尺寸成比例关系，例如第一个层级的尺寸为最后一个层级的尺寸的16倍，那么可以将最终融合特征进行处理，得到预测缺陷区域图像，该预测缺陷区域图像的尺寸与第一个层级的尺寸相同。
本实施例中，最后一个层级中最后一个融合特征是融合度最高的一个网络特征，根据融合度最高的网络特征，得到预测缺陷区域图像，可以实现对缺陷识别模型的训练，以及可以提高预测缺陷区域图像的准确率，从而提高工业仪器的检测效率。
在一些实施例中，利用预测缺陷区域图像与样本缺陷区域图像，对待训练的缺陷识别模型进行训练，得到训练好的缺陷识别模型，包括：
利用各个层级的融合特征，得到各个层级对应的预测缺陷区域图像；
根据各个层级的损失函数、各个层级对应的预测缺陷区域图像与样本缺陷区域图像，确定各个层级对应的损失值；
基于各个层级对应的损失值，对待训练的缺陷识别模型进行训练，得到训练好的缺陷识别模型。
具体地，可以通过各个层级的最后一个融合特征，得到各个层级对应的预测缺陷区域图像。基于各个层级对应的损失值，对待训练的缺陷识别模型进行训练，得到训练好的缺陷识别模型。如此，可以对每一个层级的融合特征进行约束，避免各个层级的网络特征过度融合。
本实施例中，通过对各个层级的融合特征，得到各个层级对应的预测缺陷区域图像，并通过各个层级的预测缺陷区域图像对待训练的缺陷识别模型进行训练，从而可以提高工业仪器的检测准确性。
在一些实施例中，各个层级的初始特征包括多个网络通道对应的子特征；
如图5所示，基于各个层级的初始特征，得到各个层级的至少一个融合特征，包括：
步骤S510，获取各个网络通道对应的权重系数；
步骤S520，基于权重系数，对各个网络通道对应的子特征进行通道增强处理，得到各个网络通道对应的处理后的子特征；
步骤S530，利用各个网络通道对应的处理后的子特征，得到处理后的初始特征；
步骤S540，利用各个层级的处理后的初始特征，得到各个层级的至少一个融合特征。
其中，初始特征包括多个网络通道对应的子特征。权重系数用于表征各个网络通道的重要程度。
具体地，获取用于表征各个网络通道重要程度的权重系数；基于权重系数，可以对各个网络通道对应的子特征进行通道增强处理，得到各个网络通道对应的处理后的子特征。如此可以能够使得缺陷识别模型对特征图像中的点进行分类时，对每个网络通道中的子特征进行有效的区分，从而可以提高工业仪器检测的准确率。通过利用各个网络通道对应的处理后的子特征，得到处理后的初始特征；可以利用各个层级的处理后的初始特征，得到各个层级的至少一个融合特征。进一步地，可以对每个需要融合的特征利用上述方法进行增强处理。
本实施例中，通过对初始特征中多个通道对应的子特征进行通道增强处理，根据处理后的初始特征进行融合处理，得到处理后的融合特征。从而提高了工业仪器检测的准确性。
在一些实施例中，根据各像素点的特征信息确定与点云图像对应的特征图像，包括：
对各像素点的初始位置信息进行转换处理，得到各像素点对应的转换位置信息；
根据各像素点的深度信息、反光强度和预先设置的点云特征，以及各像素点对应的转换位置信息，确定与点云图像对应的特征图像。
其中，转换位置信息指的是初始位置信息进行转换后的位置信息。
具体地，可以对各个像素点的初始位置信息进行转换，得到经过转换后各像素点对应的转换位置信息。例如，可以对坐标x，y进行转换，得到转换后的x1，y1，将x1、y1作为对应的像素点的转换位置信息。基于各个像素点对应的转换位置信息，将该像素点的深度信息、反光强度以及预先设置的点云特征与该转换位置信息进行绑定，形成一个重新构建后的特征图像，该特征图像可以包括深度信息、反光强度和预设的点云特征。如此，通过对各个像素点的初始位置信息进行转换后，可以基于转换后的转换位置对三维数据的点云图像进行重构，得到重新构建后的特征图像。
本实施例中，通过对各个像素点的初始位置信息进行转换，得到重构后的特征图像的坐标，并将各个像素点的深度信息、反光强度以及预先设置的点云特征与重构后的特征图像的坐标进行绑定，从而提高针对工业仪器的缺陷检测效率。
在一些实施例中，初始位置信息包括第一位置信息和第二位置信息。
如图6所示，对各像素点的初始位置信息进行转换，得到各像素点对应的转换位置信息，包括：
步骤S610，获取相机的第一物理精度和第二物理精度；
步骤S620，根据第一物理精度，对第一位置信息进行转换，得到第一转换位置信息；
步骤S630，根据第二物理精度，对第二位置信息进行转换，得到第二转换位置信息；
步骤S640，根据第一转换位置信息和第二转换位置信息，得到转换位置信息。
其中，第一物理精度指的是相机获取点云图像过程中，每一列之间扫描的精度，第二物理精度指的是相机获取点云图像过程中，每一行之间扫描的精度；第一位置信息可以是像素点所在列的位置（x），第二位置信息可以是像素点所在行的位置（y）。
例如，第一物理精度可以是xr，第二物理精度可以是yr，根据以下表达式进行转换：
其中，indexi为第一转换位置信息，indexj为第二转换位置信息，x，y分别为第一位置信息和第二位置信息。
本实施例中，通过对位置信息进行转换，可以对点云图像进行重新构建，从而可以提高工业仪器的检测效率。
在一些实施例中，该方法还包括，对样本特征图像进行标注，将进行标注后的样本特征图像输入到待训练的缺陷识别模型，通过待训练的缺陷识别模型，对样本特征图像的深度信息以及点云特征进行处理，得到输入网络特征，对输入网络特征进行融合处理，得到预测缺陷区域图像；利用预测缺陷区域图像与样本缺陷区域图像，对待训练的缺陷识别模型进行训练，得到预先训练的缺陷识别模型。
本实施例中，通过对样本特征图像进行标注，可以提高缺陷识别模型训练的的准确性。
在一些实施例中，如图7所示，对输入的样本特征图像特征提取，对特征提取后的样本特征图像进行随机裁剪，随机缩放等多种数据增强方法来扩充训练样本的维度，再将这些数据通过数据归一化到同一个分布上。值得注意的是在本申请中，通常各个通道的信息不在同一种分布上，因此需要单独对输入的每个通道进行归一化。数据归一化如下：
通过公式
，转换输入的样本特征图像，其中Fi(x)是第
i个通道数原本数据，meani是第i个通道特征的总训练样本的均值，variance是第i个通道
特征的总训练样本的方差，fi(x)是转换之后的输入模型的第i个通道的特征。
将上述处理后的样本特征图像输入到待训练的缺陷识别模型，该缺陷识别模型可以输出预测缺陷区域图像，根据各个层级的损失函数，利用各个层级对应的预测缺陷区域图像与样本缺陷区域图像，
本实施例中，通过对样本特征图像进行随机裁剪，随机缩放等多种数据增强方法来扩充训练样本的维度，可以提高缺陷识别模型训练的准确性。
应该理解的是，虽然如上述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种缺陷识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的缺陷识别装置实施例中的具体限定可以参见上文中对于缺陷识别方法的限定，在此不再赘述。
在一些实施例中，如图8所示，提供了一种缺陷识别装置，包括：
获取模块810，用于获取待识别工业仪器对应的点云图像，以及点云图像中各像素点的特征信息；其中，特征信息包括初始位置信息、深度信息、反光强度以及预先设置的点云特征。
确定模块820，用于根据各像素点的特征信息确定与点云图像对应的特征图像。
处理模块830，用于对特征图像进行数据强化处理，得到处理后的特征图像。
识别模块840，用于将处理后的特征图像输入训练好的缺陷识别模型进行处理，输出处理后的特征图像中包含的缺陷区域图像，以及缺陷区域图像对应的缺陷类别。
在一些实施例中，该装置还包括：
样本获取模块，用于获取样本工业仪器对应的样本点云图像、样本点云图像对应的样本特征图像，以及样本特征图像对应的样本缺陷区域图像；其中，样本特征图像为对样本点云图像进行数据重构处理和数据强化处理得到的；
预测图像获取模块，用于将样本特征图像输入待训练的缺陷识别模型中，对样本特征图像进行数据增强处理，得到输入网络特征；对输入网络特征进行图像融合处理，得到预测缺陷区域图像；
模型训练模块，用于利用预测缺陷区域图像与样本缺陷区域图像，对待训练的缺陷识别模型进行训练，得到训练好的缺陷识别模型。
在一些实施例中，预测图像获取模块包括初始特征获取单元、融合特征获取单元和预测缺陷区域图像单元，其中：
初始特征获取单元，用于获取输入网络特征对应的多个层级的初始特征；
融合特征获取单元，用于基于各个层级的初始特征，得到各个层级的至少一个融合特征；
预测缺陷区域图像单元，用于利用多个层级中的最后一个层级对应的融合特征，得到预测缺陷区域图像。
在一些实施例中，融合特征获取单元包括当前层级单元、特征次序单元和融合特征单元，其中：
当前层级单元，用于获取当前层级，和当前层级对应的当前融合特征；
特征次序单元，用于确定若当前层级不是多个层级中的最后一个层级，则确定当前融合特征在当前层级包括的所有融合特征中的特征次序；
融合特征单元，用于若特征次序表征当前融合特征为当前层级包括的所有融合特征中的首个，则基于当前层级的初始特征、当前层级的上一层级的网络特征，以及当前层级的下一层级的初始特征，得到当前融合特征；其中，当前层级的上一层级的网络特征为当前层级的上一层级的初始特征、或特征次序小于等于当前融合特征的特征次序的任意一个融合特征；或者，若特征次序表征当前融合特征不是当前层级包括的所有融合特征中的首个，则基于当前层级的目标融合特征、当前层级的上一层级的网络特征，以及当前层级的下一层级的目标融合特征，得到当前融合特征；其中，当前层级的目标融合特征和当前层级的下一层级的目标融合特征的特征次序均为当前融合特征的特征次序的前一个。
在一些实施例中，融合特征获取单元块还包括最后层级单元，其中：
最后层级单元，用于若当前层级为多个层级中的最后一个层级，则确定当前融合特征在最后一个层级包括的多个融合特征中的特征次序；
融合特征单元，还用于若特征次序表征当前融合特征为最后一个层级包括的多个融合特征中的首个，则基于最后一个层级的初始特征、最后一个层级的上一层级的网络特征，得到当前融合特征；其中，最后一个层级的上一层级的网络特征为最后一个层级的上一层级的初始特征、或特征次序小于或等于当前融合特征的特征次序的任意一个融合特征；或者，若特征次序表征当前融合特征不是最后一个层级的多个融合特征中的首个，则基于最后一个层级的目标融合特征、最后一个层级的上一层级的网络特征，得到当前融合特征；其中，最后一个层级的目标融合特征的特征次序为当前融合特征的特征次序的前一个。
在一些实施例中，预测缺陷区域图像单元包括目标融合特征单元和图像获取单元，其中：
目标融合特征单元，用于将最后一个层级包括的多个融合特征中的最后一个融合特征作为最终融合特征；
图像获取单元，用于根据最终融合特征，得到预测缺陷区域图像。
在一些实施例中，模型训练模块包括层级图像单元、损失值单元和模型训练单元，其中：
层级图像单元，用于利用各个层级的融合特征，得到各个层级对应的预测缺陷区域图像；
损失值单元，用于根据各个层级的损失函数、各个层级对应的预测缺陷区域图像与样本缺陷区域图像，确定各个层级对应的损失值；
模型训练单元，用于基于各个层级对应的损失值，对待训练的缺陷识别模型进行训练，得到训练好的缺陷识别模型。
在一些实施例中，各个层级的初始特征包括多个网络通道对应的子特征；融合特征获取单元还包括权重系数获取单元、增强处理单元、增强特征获取单元及增强融合单元，其中：
权重系数获取单元，用于获取各个网络通道对应的权重系数；
增强处理单元，用于基于权重系数，对各个网络通道对应的子特征进行通道增强处理，得到各个网络通道对应的处理后的子特征；
增强特征获取单元，用于利用各个网络通道对应的处理后的子特征，得到处理后的初始特征；
增强融合单元，用于利用各个层级的处理后的初始特征，得到各个层级的至少一个融合特征。
在一些实施例中，确定模块包括位置信息转换单元和图像确定单元，其中：
位置信息转换单元，用于对各像素点的初始位置信息进行转换处理，得到各像素点对应的转换位置信息；
图像确定单元，用于根据各像素点的深度信息、反光强度和预先设置的点云特征，以及各像素点对应的转换位置信息，确定与点云图像对应的特征图像。
上述缺陷识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以以硬件形式内嵌于或独立于计算机设备中的处理器，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中，提供了一种电子设备，该电子设备可以是终端，其内部结构图可以如图9所示。该电子设备包括处理器、存储器、输入/输出接口（Input/Output，简称I/O）、通信接口、显示单元及输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的输入/输出接口用于处理器与外部设备之间交换信息。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现上述缺陷识别方法的步骤。该电子设备的显示单元可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一些实施例中，还提供了一种电子设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时用于实现上述缺陷识别方法实施例中的步骤。
在一些实施例中，如图10所示，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述缺陷识别方法实施例中的步骤。
在一些实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述缺陷识别方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（FerroelectricRandom Access Memory，FRAM）、相变存储器（Phase Change 7Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（StaticRandom Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (11)
1.一种缺陷识别方法，其特征在于，包括：
获取待识别工业仪器对应的点云图像，以及所述点云图像中各像素点的特征信息；其中，所述特征信息包括初始位置信息、深度信息、反光强度以及预先设置的点云特征；
对所述各像素点的初始位置信息进行转换，得到经过转换后所述各像素点对应的转换位置信息；
将所述各像素点的深度信息、反光强度以及预先设置的点云特征与所述各像素点对应的转换位置信息进行绑定，形成与所述点云图像对应的特征图像；
对所述特征图像进行数据强化处理，得到处理后的特征图像；
将所述处理后的特征图像输入训练好的缺陷识别模型进行处理，输出所述处理后的特征图像中包含的缺陷区域图像，以及所述缺陷区域图像对应的缺陷类别。
2.根据权利要求1所述的方法，其特征在于，所述将所述处理后的特征图像输入训练好的缺陷识别模型，输出所述处理后的特征图像中包含的缺陷区域图像，以及所述缺陷区域图像对应的缺陷类别之前，还包括：
获取样本工业仪器对应的样本点云图像、所述样本点云图像对应的样本特征图像，以及所述样本特征图像对应的样本缺陷区域图像；其中，所述样本特征图像为对所述样本点云图像进行数据重构处理和所述数据强化处理得到的；
将所述样本特征图像输入待训练的缺陷识别模型中，对所述样本特征图像进行数据增强处理，得到输入网络特征；对所述输入网络特征进行图像融合处理，得到预测缺陷区域图像；
利用所述预测缺陷区域图像与所述样本缺陷区域图像，对所述待训练的缺陷识别模型进行训练，得到所述训练好的缺陷识别模型。
3.根据权利要求2所述的方法，其特征在于，所述对所述输入网络特征进行图像融合处理，得到预测缺陷区域图像，包括：
获取所述输入网络特征对应的多个层级的初始特征；
基于各个层级的初始特征，得到所述各个层级的至少一个融合特征；
利用所述多个层级中的最后一个层级对应的融合特征，得到预测缺陷区域图像。
4.根据权利要求3所述的方法，其特征在于，所述基于各个层级的初始特征，得到所述各个层级的至少一个融合特征，包括：
获取当前层级，和所述当前层级对应的当前融合特征；
若所述当前层级不是所述多个层级中的最后一个层级，则确定所述当前融合特征在所述当前层级包括的所有融合特征中的特征次序；
若所述特征次序表征所述当前融合特征为所述当前层级包括的所有融合特征中的首个，则基于所述当前层级的初始特征、所述当前层级的上一层级的网络特征，以及所述当前层级的下一层级的初始特征，得到所述当前融合特征；其中，所述当前层级的上一层级的网络特征为所述当前层级的上一层级的初始特征、或特征次序小于等于所述当前融合特征的特征次序的任意一个融合特征；或者，
若所述特征次序表征所述当前融合特征不是所述当前层级包括的所有融合特征中的首个，则基于所述当前层级的目标融合特征、所述当前层级的上一层级的网络特征，以及所述当前层级的下一层级的目标融合特征，得到所述当前融合特征；其中，所述当前层级的目标融合特征和所述当前层级的下一层级的目标融合特征的特征次序均为所述当前融合特征的特征次序的前一个。
5.根据权利要求4所述的方法，其特征在于，所述获取当前层级，和所述当前层级对应的当前融合特征之后，还包括：
若所述当前层级为所述多个层级中的最后一个层级，则确定所述当前融合特征在所述最后一个层级包括的多个融合特征中的特征次序；
若所述特征次序表征所述当前融合特征为所述最后一个层级包括的多个融合特征中的首个，则基于所述最后一个层级的初始特征、所述最后一个层级的上一层级的网络特征，得到所述当前融合特征；其中，所述最后一个层级的上一层级的网络特征为所述最后一个层级的上一层级的初始特征、或特征次序小于等于所述当前融合特征的特征次序的任意一个融合特征；或者，
若所述特征次序表征所述当前融合特征不是所述最后一个层级包括的多个融合特征中的首个，则基于所述最后一个层级的目标融合特征、所述最后一个层级的上一层级的网络特征，得到所述当前融合特征；其中，所述最后一个层级的目标融合特征的特征次序为所述当前融合特征的特征次序的前一个。
6.根据权利要求5所述的方法，其特征在于，所述利用所述多个层级中的最后一个层级对应的融合特征，得到预测缺陷区域图像，包括：
将所述最后一个层级包括的多个融合特征中的最后一个融合特征，作为最终融合特征；
根据所述最终融合特征确定预测缺陷区域图像。
7.根据权利要求3至6任意一项所述的方法，其特征在于，所述利用所述预测缺陷区域图像与所述样本缺陷区域图像，对所述待训练的缺陷识别模型进行训练，得到所述训练好的缺陷识别模型，包括：
利用所述各个层级的融合特征，得到所述各个层级对应的预测缺陷区域图像；
根据所述各个层级的损失函数、所述各个层级对应的预测缺陷区域图像与所述样本缺陷区域图像，确定所述各个层级对应的损失值；
基于所述各个层级对应的损失值，对所述待训练的缺陷识别模型进行训练，得到所述训练好的缺陷识别模型。
8.根据权利要求3所述的方法，其特征在于，所述各个层级的初始特征包括多个网络通道对应的子特征；
所述基于各个层级的初始特征，得到所述各个层级的至少一个融合特征，包括：
获取所述各个网络通道对应的权重系数；
基于所述权重系数，对所述各个网络通道对应的子特征进行通道增强处理，得到所述各个网络通道对应的处理后的子特征；
利用所述各个网络通道对应的处理后的子特征，得到处理后的初始特征；
利用所述各个层级的处理后的初始特征，得到所述各个层级的至少一个融合特征。
9.一种缺陷识别装置，其特征在于，包括：
获取模块，用于获取待识别工业仪器对应的点云图像，以及所述点云图像中各像素点的特征信息；其中，所述特征信息包括初始位置信息、深度信息、反光强度以及预先设置的点云特征；
确定模块，用于对所述各像素点的初始位置信息进行转换，得到经过转换后所述各像素点对应的转换位置信息；将所述各像素点的深度信息、反光强度以及预先设置的点云特征与所述各像素点对应的转换位置信息进行绑定，形成与所述点云图像对应的特征图像；
处理模块，用于对所述特征图像进行数据强化处理，得到处理后的特征图像；
识别模块，用于将所述处理后的特征图像输入训练好的缺陷识别模型进行处理，输出所述处理后的特征图像中包含的缺陷区域图像，以及所述缺陷区域图像对应的缺陷类别。
10.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210812741.4A CN114898357B (zh) | 2022-07-12 | 2022-07-12 | 缺陷识别方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210812741.4A CN114898357B (zh) | 2022-07-12 | 2022-07-12 | 缺陷识别方法、装置、电子设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114898357A CN114898357A (zh) | 2022-08-12 |
| CN114898357B true CN114898357B (zh) | 2022-10-18 |
Family
ID=82730131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210812741.4A Active CN114898357B (zh) | 2022-07-12 | 2022-07-12 | 缺陷识别方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114898357B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115965856B (zh) * | 2023-02-23 | 2023-05-30 | 深圳思谋信息科技有限公司 | 图像检测模型构建方法、装置、计算机设备及存储介质 |
| CN117468083B (zh) * | 2023-12-27 | 2024-05-28 | 浙江晶盛机电股份有限公司 | 降籽晶过程的控制方法、装置、长晶炉系统和计算机设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109523501A (zh) * | 2018-04-28 | 2019-03-26 | 江苏理工学院 | 一种基于降维和点云数据匹配的电池外观缺陷检测方法 |
| CN109932394A (zh) * | 2019-03-15 | 2019-06-25 | 山东省科学院海洋仪器仪表研究所 | 涡轮叶片缺陷的红外热波双目立体成像检测系统及方法 |
| CN112701060A (zh) * | 2021-03-24 | 2021-04-23 | 惠州高视科技有限公司 | 半导体芯片焊线的检测方法及装置 |
| CN113885558A (zh) * | 2021-09-27 | 2022-01-04 | 湖南德森九创科技有限公司 | 一种大坝表面图像无人机自动安全采集方法和系统 |
| CN114359228A (zh) * | 2022-01-06 | 2022-04-15 | 深圳思谋信息科技有限公司 | 物体表面缺陷检测方法、装置、计算机设备和存储介质 |
| CN114692720A (zh) * | 2022-02-25 | 2022-07-01 | 广州文远知行科技有限公司 | 基于鸟瞰图的图像分类方法、装置、设备及存储介质 |
| CN114708391A (zh) * | 2022-06-06 | 2022-07-05 | 深圳思谋信息科技有限公司 | 三维建模方法、装置、计算机设备和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113554643B (zh) * | 2021-08-13 | 2022-12-06 | 上海高德威智能交通系统有限公司 | 一种目标检测方法、装置、电子设备及存储介质 |
-
2022
- 2022-07-12 CN CN202210812741.4A patent/CN114898357B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109523501A (zh) * | 2018-04-28 | 2019-03-26 | 江苏理工学院 | 一种基于降维和点云数据匹配的电池外观缺陷检测方法 |
| CN109932394A (zh) * | 2019-03-15 | 2019-06-25 | 山东省科学院海洋仪器仪表研究所 | 涡轮叶片缺陷的红外热波双目立体成像检测系统及方法 |
| CN112701060A (zh) * | 2021-03-24 | 2021-04-23 | 惠州高视科技有限公司 | 半导体芯片焊线的检测方法及装置 |
| CN113885558A (zh) * | 2021-09-27 | 2022-01-04 | 湖南德森九创科技有限公司 | 一种大坝表面图像无人机自动安全采集方法和系统 |
| CN114359228A (zh) * | 2022-01-06 | 2022-04-15 | 深圳思谋信息科技有限公司 | 物体表面缺陷检测方法、装置、计算机设备和存储介质 |
| CN114692720A (zh) * | 2022-02-25 | 2022-07-01 | 广州文远知行科技有限公司 | 基于鸟瞰图的图像分类方法、装置、设备及存储介质 |
| CN114708391A (zh) * | 2022-06-06 | 2022-07-05 | 深圳思谋信息科技有限公司 | 三维建模方法、装置、计算机设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| A Novel Approach to Automated 3D Spalling Defects Inspection in Railway Tunnel Linings Using Laser Intensity and Depth Information;Mingliang Zhou等;《Sensors》;20210825;1-24 * |
| 基于线激光扫描的零件三维表面缺陷检测;刘永治;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;20220415(第04期);C029-270 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114898357A (zh) | 2022-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10740640B2 (en) | Image processing method and processing device | |
| CN114898357B (zh) | 缺陷识别方法、装置、电子设备及计算机可读存储介质 | |
| CN114155543B (zh) | 神经网络训练方法、文档图像理解方法、装置和设备 | |
| CN111814794B (zh) | 文本检测方法、装置、电子设备及存储介质 | |
| CN112329680B (zh) | 基于类激活图的半监督遥感影像目标检测和分割方法 | |
| CN110245132B (zh) | 数据异常检测方法、装置、计算机可读存储介质和计算机设备 | |
| CN109886330B (zh) | 文本检测方法、装置、计算机可读存储介质和计算机设备 | |
| CN111931931A (zh) | 一种针对病理全场图像的深度神经网络训练方法、装置 | |
| AU2018202767A1 (en) | Data structure and algorithm for tag less search and svg retrieval | |
| CN116580257A (zh) | 特征融合模型训练及样本检索方法、装置和计算机设备 | |
| CN111507285A (zh) | 人脸属性识别方法、装置、计算机设备和存储介质 | |
| CN112241952A (zh) | 大脑中线识别方法、装置、计算机设备及存储介质 | |
| CN115527036A (zh) | 电网场景点云语义分割方法、装置、计算机设备和介质 | |
| CN114677695A (zh) | 表格解析方法、装置、计算机设备和存储介质 | |
| CN113516194B (zh) | 高光谱遥感影像半监督分类方法、装置、设备及存储介质 | |
| CN111259903A (zh) | 识别表计示数方法、装置、可读存储介质和计算机设备 | |
| CN115131803A (zh) | 文档字号的识别方法、装置、计算机设备和存储介质 | |
| CN114387289A (zh) | 输配电架空线路三维点云语义分割方法和装置 | |
| Akhyar et al. | A beneficial dual transformation approach for deep learning networks used in steel surface defect detection | |
| CN114332457A (zh) | 图像实例分割模型训练、图像实例分割方法和装置 | |
| CN113704276A (zh) | 地图更新方法、装置、电子设备及计算机可读存储介质 | |
| CN115601283B (zh) | 图像增强方法、装置、计算机设备及计算机可读存储介质 | |
| CN115908363B (zh) | 肿瘤细胞统计方法、装置、设备和存储介质 | |
| CN116051959A (zh) | 一种目标检测方法、装置 | |
| CN115731442A (zh) | 图像处理方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| OL01 | Intention to license declared | ||
| OL01 | Intention to license declared |