CN117408967A - 基于3d视觉识别的板材缺陷检测方法及系统 - Google Patents

基于3d视觉识别的板材缺陷检测方法及系统 Download PDF

Info

Publication number
CN117408967A
CN117408967A CN202311391016.5A CN202311391016A CN117408967A CN 117408967 A CN117408967 A CN 117408967A CN 202311391016 A CN202311391016 A CN 202311391016A CN 117408967 A CN117408967 A CN 117408967A
Authority
CN
China
Prior art keywords
image
feature
reduction mapping
dimension reduction
target plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311391016.5A
Other languages
English (en)
Other versions
CN117408967B (zh
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oppein Home Group Co Ltd
Original Assignee
Oppein Home Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppein Home Group Co Ltd filed Critical Oppein Home Group Co Ltd
Priority to CN202311391016.5A priority Critical patent/CN117408967B/zh
Publication of CN117408967A publication Critical patent/CN117408967A/zh
Application granted granted Critical
Publication of CN117408967B publication Critical patent/CN117408967B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种基于3D视觉识别的板材缺陷检测方法及系统，基于训练好的特征降维映射模型对图像分块裁剪后得到的每一目标板材分块图像进行图像特征抽取，通过得到的分块图像降维映射特征和预设参考分块图像库中的每一参考分块图像的降维映射特征，对每一目标板材分块图像进行缺陷检测，得到分块缺陷检测结果；从而通过至少两个目标板材分块图像的分块缺陷检测结果，确定目标板材表面图像对应的缺陷检测结果。本申请可以高精度地抽取出目标板材分块图像的分块图像降维映射特征，进而基于分块图像降维映射特征能够对目标板材表面图像进行准确的缺陷检测，帮助板材的良率控制。

Description

基于3D视觉识别的板材缺陷检测方法及系统
技术领域
本公开涉及图像数据处理领域，并且更具体地，涉及一种基于3D视觉识别的板材缺陷检测方法及系统。
背景技术
作为装修领域重要的材料之一，板材在装修过程中扮演着非常重要的角色。然而，由于板材生产、运输、安装等各个环节都有可能产生缺陷，这些缺陷会严重影响到装修质量和工程安全。因此，对板材缺陷的识别是装修领域的一项重要任务。现如今，随着人工智能和图像处理技术不断发展，利用计算机视觉技术进行自动化的板材缺陷识别已成为一种新的趋势。如何保障板材缺陷检测的准确性是本领域的热门话题。
发明内容
有鉴于此，本申请实施例至少提供一种基于3D视觉识别的板材缺陷检测方法及系统。
根据本公开实施例的一个方面，提供了一种基于3D视觉识别的板材缺陷检测方法，应用于计算机设备，所述计算机设备与至少一个图像采集设备通信连接，所述至少一个图像采集设备用于获取目标板材的立体图像，所述方法包括：
响应于缺陷检测指令，获取所述至少一个图像采集设备发送的目标板材表面图像，所述目标板材表面图像为所述目标板材的立体展开图像；
对所述目标板材表面图像进行图像分块裁剪，得到至少两个目标板材分块图像；
基于训练好的特征降维映射模型，对每一目标板材分块图像进行图像特征抽取，得到分块图像降维映射特征；其中，所述特征降维映射模型包括浅层特征抽取模块和深层特征抽取模块；所述浅层特征抽取模块用于对所述目标板材分块图像进行浅层图像特征抽取；所述深层特征抽取模块用于基于所述浅层图像特征抽取时得到的浅层图像特征，对所述目标板材分块图像进行深层图像特征抽取，所述深层图像特征抽取的抽取准确度大于所述浅层图像特征抽取的抽取准确度；
获取预设参考分块图像库中的每一参考分块图像的降维映射特征；
通过所述分块图像降维映射特征和所述每一参考分块图像的降维映射特征，对每一所述目标板材分块图像进行缺陷检测，得到分块缺陷检测结果；
通过所述至少两个目标板材分块图像的分块缺陷检测结果，确定所述目标板材表面图像对应的缺陷检测结果。
根据本公开实施例的一个示例，其中，所述对所述目标板材表面图像进行图像分块裁剪，得到至少两个目标板材分块图像，包括：
通过包含预设裁剪步幅的裁剪框，对所述目标板材表面图像进行分块裁剪，得到至少两个目标板材分块图像，所述至少两个目标板材分块图像包含一致的图像尺寸。
根据本公开实施例的一个示例，其中，所述方法还包括：
获取事先部署的加权滤波函数；
通过所述事先部署的加权滤波函数对每一所述目标板材分块图像进行图像滤波，获得至少两个图像滤波后的目标板材分块图像；
所述对每一目标板材分块图像进行图像特征抽取，得到分块图像降维映射特征，包括：
对每一图像滤波后的目标板材分块图像进行图像特征抽取，得到所述分块图像降维映射特征。
根据本公开实施例的一个示例，其中，所述基于训练好的特征降维映射模型，对每一目标板材分块图像进行图像特征抽取，得到分块图像降维映射特征，包括：
将每一所述目标板材分块图像加载到所述浅层特征抽取模块中，基于所述浅层特征抽取模块，对所述目标板材分块图像进行浅层特征降维映射，得到包含第一抽取准确度的降维映射特征；
将所述包含第一抽取准确度的降维映射特征，加载到所述深层特征抽取模块中，基于所述深层特征抽取模块，对所述目标板材分块图像进行深层特征降维映射，得到包含第二抽取准确度的降维映射特征；所述第一抽取准确度小于所述第二抽取准确度。
根据本公开实施例的一个示例，其中，所述通过所述分块图像降维映射特征和所述每一参考分块图像的降维映射特征，对每一所述目标板材分块图像进行缺陷检测，得到分块缺陷检测结果，包括：
确定所述分块图像降维映射特征与所述每一参考分块图像的降维映射特征之间的相似评估系数；
如果所述分块图像降维映射特征与任一参考分块图像的降维映射特征之间的相似评估系数大于相似评估系数阈值，确定所述目标板材分块图像的分块缺陷检测结果为同类检测结果；所述同类检测结果代表所述目标板材分块图像中包括与所述预设参考分块图像库中的参考分块图像包含相同图像分类的图像区域。
根据本公开实施例的一个示例，其中，所述通过所述至少两个目标板材分块图像的分块缺陷检测结果，确定所述目标板材表面图像对应的缺陷检测结果，包括：
如果任一目标板材分块图像的分块缺陷检测结果为所述同类检测结果，确定所述目标板材表面图像对应的缺陷检测结果为所述同类检测结果。
根据本公开实施例的一个示例，其中，所述方法还包括：
将无标签板材图像集合中的第一板材图像加载到所述浅层特征抽取模块中，基于相似性学习对所述浅层特征抽取模块进行训练，得到训练后的浅层特征抽取模块；
将分块板材图像集合中的第二板材图像加载到所述训练后的浅层特征抽取模块中，基于所述训练后的浅层特征抽取模块对所述第二板材图像进行浅层特征降维映射，得到包含第三抽取准确度的训练图像降维映射特征；
将所述包含第三抽取准确度的训练图像降维映射特征加载到所述深层特征抽取模块中，基于所述深层特征抽取模块对所述第二板材图像进行深层特征降维映射，得到包含第四抽取准确度的训练图像降维映射特征；其中，所述第三抽取准确度小于所述第四抽取准确度；
基于预设缺陷检测分类模块，依据所述包含第四抽取准确度的训练图像降维映射特征，对所述第二板材图像进行缺陷检测，得到训练图像缺陷检测结果；
将所述训练图像缺陷检测结果与所述第二板材图像的缺陷分类标记信息加载到预设误差确定网络层中，基于所述预设误差确定网络层输出模型检测误差；
基于所述模型检测误差对所述深层特征抽取模块中的模块参变量进行优化，得到训练后的特征降维映射模型。
根据本公开实施例的一个示例，其中，所述浅层特征抽取模块包括特征编码层和自相关语义提取层；所述将无标签板材图像集合中的第一板材图像加载到所述浅层特征抽取模块中，基于相似性学习对所述浅层特征抽取模块进行训练，得到训练后的浅层特征抽取模块，包括：
将无标签板材图像集合中的第一板材图像加载到所述浅层特征抽取模块中；
基于所述特征编码层对所述第一板材图像进行第一平滑操作，得到浅层图像特征；
基于所述自相关语义提取层对所述浅层图像特征进行第二平滑操作，得到包含设定维数的降维映射特征；
将所述包含设定维数的降维映射特征加载到第一误差确定网络层中，基于所述第一误差确定网络层中的第一误差函数，计算所述包含设定维数的降维映射特征对应的第一模型检测误差；
基于所述第一模型检测误差对所述特征编码层和所述自相关语义提取层中的参变量进行优化，得到所述训练后的浅层特征抽取模块；
所述深层特征抽取模块包括缺陷分布信息挖掘网络和显著性权重分配网络；
所述将所述包含第三抽取准确度的训练图像降维映射特征加载到所述深层特征抽取模块中，基于所述深层特征抽取模块对所述第二板材图像进行深层特征降维映射，得到包含第四抽取准确度的训练图像降维映射特征，包括：
将所述包含第三抽取准确度的训练图像降维映射特征，加载到所述深层特征抽取模块中；
基于所述缺陷分布信息挖掘网络，挖掘所述训练图像降维映射特征在不同通道下的显著缺陷分布信息；
基于所述显著性权重分配网络对所述不同通道下的显著缺陷分布信息，在预设空间顺序上逐一进行加和及加权操作，得到所述包含第四抽取准确度的训练图像降维映射特征。
根据本公开实施例的一个示例，其中，所述深层特征抽取模块包括误差计算网络，所述误差计算网络包括第二误差函数；所述方法还包括：
将所述包含第四抽取准确度的训练图像降维映射特征和所述第二板材图像的缺陷类型标注，加载到所述误差计算网络；
基于所述误差计算网络的第二误差函数，计算所述包含第四抽取准确度的训练图像降维映射特征对应的第二模型检测误差；
基于所述第二模型检测误差对所述缺陷分布信息挖掘网络和所述显著性权重分配网络中的参变量进行优化，得到训练后的深层特征抽取模块。
根据本公开实施例的另一方面，提供了一种板材缺陷检测系统，包括计算机设备和与所述计算机设备通信连接的至少一个图像采集设备，所述至少一个图像采集设备用于获取目标板材的立体图像，所述计算机设备包括：一个或多个处理器；以及一个或多个存储器，其中所述存储器中存储有计算机可读代码，所述计算机可读代码在由所述一个或多个处理器运行时，使得所述一个或多个处理器执行以上所述的方法。
本申请的有益效果：本申请提供的基于3D视觉识别的板材缺陷检测方法及系统，基于训练好的特征降维映射模型，对图像分块裁剪后得到的每一目标板材分块图像进行图像特征抽取，得到分块图像降维映射特征；并通过分块图像降维映射特征和预设参考分块图像库中的每一参考分块图像的降维映射特征，对每一目标板材分块图像进行缺陷检测，得到分块缺陷检测结果；从而通过至少两个目标板材分块图像的分块缺陷检测结果，确定目标板材表面图像对应的缺陷检测结果。那么，基于包含浅层特征抽取模块和深层特征抽取模块构成的特征降维映射模型对每一目标板材分块图像进行图像特征抽取，以此高精度地抽取出目标板材分块图像的分块图像降维映射特征，进而基于分块图像降维映射特征能够对目标板材表面图像进行准确的缺陷检测，帮助板材的良率控制。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请的技术方案。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开实施例的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或操作。
图1为本申请实施例提供的板材缺陷检测系统的示意图。
图2为本申请实施例提供的一种基于3D视觉识别的板材缺陷检测方法的实现流程示意图。
图3为本申请实施例提供的一种板材缺陷检测装置的组成结构示意图。
图4为本申请实施例提供的一种计算机设备的硬件实体示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图和实施例对本申请的技术方案进一步详细阐述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。所涉及的术语“第一/第二/第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请的目的，不是旨在限制本申请。
本申请实施例提供的基于3D视觉识别的板材缺陷检测方法，可以应用于如图1所示的板材缺陷检测系统中。该板材缺陷检测系统包括计算机设备104和与计算机设备104通信连接的至少一个图像采集设备102，该至少一个图像采集设备102用于获取目标板材的立体图像，其中，图像采集设备102通过网络与计算机设备104进行通信。数据存储系统可以存储计算机设备104需要处理的数据。数据存储系统可以集成在计算机设备104上，也可以放在云上或其他网络服务器上。其中，板材图像数据可存储在图像采集设备102的本地存储中，也可存储至数据存储系统或者与计算机设备104关联的云端存储中，当需要进行图像处理时，计算机设备104可从图像采集设备102本地存储、或数据存储系统、或云端存储中，获取板材图像数据。其中，图像采集设备102可以但不限于是各种摄像机、甚至平板电脑、物联网设备。计算机设备104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
本申请实施例供的基于3D视觉识别的板材缺陷检测方法应用于计算机设备104，具体包括以下操作：
操作S100：响应于缺陷检测指令，获取至少一个图像采集设备发送的目标板材表面图像，目标板材表面图像为目标板材的立体展开图像。
其中，缺陷检测指令可以是由工作人员发起的或者计算机设备按照预设的设定时间自动生成的，图像采集设备的数量可以为至少一个，至少一个图像采集设备用于获取目标板材的立体图像，每个图像采集设备采集目标板材的不同角度的板材表面图像，例如目标板材的6个面的表面图像，然后将6个面的表面图像进行拼接得到目标板材表面图像，换言之，目标板材表面图像为目标板材的3D(Three-Dimensional)立体展开图像。可以理解，当图像采集设备的数量可以为一个时，可以改变板材或者图像采集设备的位置以获取不同视角的表面图像。
操作S200，对目标板材表面图像进行图像分块裁剪，得到至少两个目标板材分块图像。
本申请方案中，图像分块裁剪即基于包含预设裁剪步幅的裁剪框游走整个目标板材表面图像，每次游走即裁剪与裁剪框尺寸一致的目标板材分块图像。例如，可以在每次裁剪到一张目标板材分块图像之后，通过本申请实施例的后续操作对该目标板材分块图像进行缺陷检测，得到分块缺陷检测结果。然后基于图像分块裁剪得到另一张目标板材分块图像，再对该张目标板材分块图像进行缺陷检测，持续进行以上过程，完成对目标板材表面图像中的每一张目标板材分块图像的缺陷检测。
在其余实施方案中，可以对目标板材表面图像执行多次图像分块裁剪，获得多个目标板材分块图像，并基于目标板材分块图像在目标板材表面图像中的空间分布顺序(如事先约定，顺序优先级为自上而下，自左向右)，为每一目标板材分块图像贴上缺陷分类标签(如有无缺陷，什么缺陷)。缺陷分类标签用于区分目标板材分块图像与其余目标板材分块图像，还可以识别目标板材分块图像与其余目标板材分块图像在目标板材表面图像中的分布位置。获得多个目标板材分块图像之后，通过每一目标板材分块图像的缺陷分类标签，按目标板材分块图像在目标板材表面图像中的分布位置顺序，逐一对每一目标板材分块图像进行缺陷检测，获得多个分块缺陷检测结果。
操作S300：基于训练好的特征降维映射模型，对每一目标板材分块图像进行图像特征抽取，得到分块图像降维映射特征。
本申请方案中，特征降维映射模型包括浅层特征抽取模块和深层特征抽取模块；浅层特征抽取模块用于对目标板材分块图像进行浅层图像特征抽取；深层特征抽取模块用于基于浅层图像特征抽取时得到的浅层图像特征，对目标板材分块图像进行深层图像特征抽取，深层图像特征抽取的抽取准确度大于浅层图像特征抽取的抽取准确度。本申请实施例中，将每一目标板材分块图像加载到特征降维映射模型中，基于特征降维映射模型中的浅层特征抽取模块和深层特征抽取模块逐一对目标板材分块图像进行浅层图像特征抽取和深层图像特征抽取，那么，可以理解，逐一对目标板材分块图像进行浅层粗粒度的图像特征抽取和深层细粒度的图像特征抽取，得到分块图像降维映射特征。
本申请方案中，分块图像降维映射特征是对目标板材分块图像进行降维映射(即进行嵌入编码，将图像转化为低维向量)得到的包含固定维度的特征向量，例如基于SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)、CNN(Convolutional NeuralNetwork，卷积神经网络)、自编码器(Autoencoder)等方式进行降维映射。
本申请方案中，浅层特征抽取模块是基于无监督的前置训练网络，浅层特征抽取模块先通过海量无标签的板材图像进行预训练，获得训练后的浅层特征抽取模块。深层特征抽取模块是通过训练后的浅层特征抽取模块进行特征抽取并进行训练得到网络模块。举例来说，可以基于训练后的浅层特征抽取模块对分块板材图像集合中的分块板材图像进行浅层粗粒度的图像特征抽取，得到分块板材图像的降维映射特征，并将分块板材图像的降维映射特征作为深层特征抽取模块的输入，加载到深层特征抽取模块，基于深层特征抽取模块对分块板材图像进行深层次的图像特征抽取。本申请实施例中在对目标板材分块图像进行图像特征抽取时，直接将目标板材分块图像加载到特征降维映射模型进行特征抽取，得到目标板材分块图像的降维映射特征，不用抽取目标板材分块图像的纹理、颜色、形状等特征，那么，降低了数据处理的运算消耗，得到的降维映射特征也能准确表征目标板材分块图像中的板材图像语义，以对目标板材分块图像进行准确的图像特征抽取。本申请实施例可以将至少两个目标板材分块图像中的每一目标板材分块图像逐一加载到训练好的特征降维映射模型中，基于训练好的特征降维映射模型对每一目标板材分块图像进行图像特征抽取，得到多个分块图像降维映射特征。
抽取准确度即图像特征抽取过程中抽取的降维映射特征能够表征相应的目标板材分块图像的准确度，例如预先设定一个评估阈值，针对浅层粗粒度的图像特征抽取而言，抽取得到的降维映射特征可表征对应的目标板材分块图像有限的语义信息，那么抽取的降维映射特征可以表征对应的目标板材分块图像的信息的准确度小于评估阈值；针对深层细粒度的图像特征抽取而言，抽取到的降维映射特征可以表征对应的目标板材分块图像丰富的语义信息，抽取的降维映射特征可以表征对应的目标板材分块图像的信息的准确度大于评估阈值。
操作S400，获取预设参考分块图像库中的每一参考分块图像的降维映射特征。
本申请方案中，预设参考分块图像库中包括多个参考分块图像，预设参考分块图像库中的参考分块图像包含具有缺陷的板材图像分块或不包含缺陷的板材图像分块，可以根据不同的检测需求，收集不同类型的不同表现形式的缺陷板材图像分块作为一个参考分块图像库，换言之，可以设置不同的参考分块图像库，分别代表不同的板材图像缺陷类型，例如收集大量色差缺陷板材图像分块，这些色差缺陷板材图像分块可能包含颜色不统一、斑点、条纹等缺陷，将这些色差缺陷板材图像分块加入色差参考分块图像库，还可以收集大量磨损划痕缺陷板材图像分块，这些磨损划痕缺陷板材图像分块可能包含板材表面出现划痕、磨损、凹陷等表现形式，将这些板材表面出现划痕、磨损、凹陷等情况加入磨损划痕参考分块图像库。更多的示例可以参考以上方式进行参考分块图像库的构建，具体不做限定。
作为一种示例，在预设参考分块图像库中，包含每一参考分块图像的参考分块图像板材图像或者参考分块图像板材图像，可以对参考分块图像板材图像进行板材图像识别，得到参考分块图像板材图像对应的参考分块图像板材图像，进而对参考分块图像板材图像进行图像特征抽取，得到参考分块图像的降维映射特征。
举例来说，可以通过上述训练好的特征降维映射模型对预设参考分块图像库中的每一参考分块图像的参考分块图像板材图像进行图像特征抽取，得到每一参考分块图像的降维映射特征，也即每一参考分块图像板材图像的降维映射特征。
操作S500，通过分块图像降维映射特征和每一参考分块图像的降维映射特征，对每一目标板材分块图像进行缺陷检测，得到分块缺陷检测结果。
本申请方案中，将分块图像降维映射特征与参考分块图像的降维映射特征进行相似性评估，以得到分块缺陷检测结果。评估过程汇总，可以采用计算分块图像降维映射特征与参考分块图像的降维映射特征之间的特征向量距离来得到相似评估系数(即表征相似程度的变量)，也即，相似评估系数为特征向量距离，基于其进行分块缺陷检测。
本申请实施例中，通过分块图像降维映射特征和每一参考分块图像的降维映射特征，对每一目标板材分块图像进行缺陷检测，得到分块缺陷检测结果时，例如采用以下几种策略：
第一种策略：针对每一目标板材分块图像，在得到该目标板材分块图像的分块图像降维映射特征与每一参考分块图像的降维映射特征之间的相似评估系数后，基于相似评估系数对参考分块图像进行从大到小排列，获取前x个参考分块图像，x大于1；对比目标板材分块图像的分块图像降维映射特征与前x个参考分块图像的降维映射特征之间的相似评估系数，若x个相似评估系数均大于相似评估系数阈值，代表该目标板材分块图像中包括与预设参考分块图像库中的参考分块图像包含相同图像分类的图像区域。基于此，在将相似评估系数排列后，先择取前x个参考分块图像，x的值比预设参考分块图像库中参考分块图像的数量小，那么在与相似评估系数阈值进行对比的过程中，仅对比x个相似评估系数是否大于相似评估系数阈值即可，减少计算消耗，增加了缺陷检测效率。同时，该过程是在具有多个参考分块图像的相似评估系数都大于相似评估系数阈值的情况下确定目标板材分块图像包含与预设参考分块图像库中的参考分块图像包含相同图像分类的图像区域，那么，通过多个参考分块图像的相似评估系数的结果进行检测，可以保证缺陷检测的准确度，避免偶然的参考分块图像的相似评估系数误差导致的缺陷检测错误。
第二种策略：针对每一目标板材分块图像，获得目标板材分块图像的分块图像降维映射特征与每一参考分块图像的降维映射特征之间的相似评估系数之后，获取预设的相似评估系数阈值，择取相似评估系数大于相似评估系数阈值的参考分块图像，对所有参考分块图像的数量进行计数，得到计数值，如果计数值大于数量阈值，此时可以认为目标板材分块图像中包括与预设参考分块图像库中的参考分块图像包含相同图像分类的图像区域。如此，基于相似评估系数阈值和数量阈值一起进行判断，在确保相似评估系数较高的前提下，识别出包含较多相似参考分块图像的情况，那么，可以理解，在预设参考分块图像库中，具有大量与目标板材分块图像的分块图像降维映射特征之间包含较高相似评估系数的参考分块图像。那么，基于两个判定依据，可以对目标板材分块图像中是否含有与预设参考分块图像库中的参考分块图像包含相同图像分类的图像区域采取准确的判定，增加缺陷检测的可靠性。
第三种策略：针对每一目标板材分块图像，逐一计算目标板材分块图像的分块图像降维映射特征与每一参考分块图像的降维映射特征之间的相似评估系数，只要计算出一个相似评估系数，立刻对该相似评估系数进行判定，得到相似评估系数是否大于相似评估系数阈值，在判定得出目标板材分块图像的分块图像降维映射特征与任一参考分块图像的降维映射特征之间的相似评估系数大于相似评估系数阈值的情况下，不再计算目标板材分块图像的分块图像降维映射特征与其他参考分块图像的降维映射特征之间的相似评估系数，以及确定出目标板材分块图像中包括与预设参考分块图像库中的参考分块图像包含相同图像分类的图像区域。可以理解，只要确定一参考分块图像的降维映射特征与分块图像降维映射特征之间的相似评估系数大于相似评估系数阈值，此时认定目标板材分块图像中包括与预设参考分块图像库中的参考分块图像包含相同图像分类的图像区域。该策略可以增加缺陷检测的速度。
操作S600，通过至少两个目标板材分块图像的分块缺陷检测结果，确定目标板材表面图像对应的缺陷检测结果。
本申请方案中，获取到每一目标板材分块图像的分块缺陷检测结果后，对至少两个目标板材分块图像的分块缺陷检测结果进行合并，得到目标板材表面图像对应的缺陷检测结果。合并过程中，例如采取以下方式：如果分块图像降维映射特征与任一参考分块图像的降维映射特征之间的相似评估系数大于相似评估系数阈值，确定目标板材分块图像的分块缺陷检测结果为同类检测结果，即确定出该目标板材分块图像中包括与预设参考分块图像库中的参考分块图像包含相同图像分类的图像区域。还可以是如果分块图像降维映射特征与预设数量的参考分块图像的降维映射特征之间的相似评估系数大于相似评估系数阈值，确定目标板材分块图像的分块缺陷检测结果为同类检测结果，即确定出该目标板材分块图像中包括与预设参考分块图像库中的参考分块图像包含相同图像分类的图像区域。
本申请实施例提供的基于3D视觉识别的板材缺陷检测方法，基于训练好的特征降维映射模型，对图像分块裁剪后得到的每一目标板材分块图像进行图像特征抽取，得到分块图像降维映射特征；并通过分块图像降维映射特征和预设参考分块图像库中的每一参考分块图像的降维映射特征，对每一目标板材分块图像进行缺陷检测，得到分块缺陷检测结果；如此通过至少两个目标板材分块图像的分块缺陷检测结果，确定目标板材表面图像对应的缺陷检测结果。那么，基于包含浅层特征抽取模块和深层特征抽取模块构成的特征降维映射模型对每一目标板材分块图像进行图像特征抽取，以此高精度地抽取出目标板材分块图像的分块图像降维映射特征，进而基于分块图像降维映射特征能够对目标板材表面图像进行准确的缺陷检测，帮助板材的良率控制。
作为可选的实施方案，上述对目标板材表面图像进行图像分块裁剪，得到至少两个目标板材分块图像，具体可以包括：通过包含预设裁剪步幅的裁剪框，对目标板材表面图像进行分块裁剪，得到至少两个目标板材分块图像，其中，至少两个目标板材分块图像包含一致的图像尺寸。
本申请方案中，可以通过包含预设裁剪步幅的裁剪框游走目标板材表面图像(即遍历整个图像)，每次裁剪到与裁剪框包含相同步幅的一张目标板材分块图像。那么，可以理解，将原始的目标板材表面图像裁剪成尺寸大小一致的多张目标板材分块图像，全部的目标板材分块图像可以组合为原始的目标板材表面图像。
作为一种示例，在对目标板材表面图像的多次图像分块裁剪时，获得多个目标板材分块图像，还可以按目标板材分块图像在目标板材表面图像中的预定义顺序，为每一目标板材分块图像贴上缺陷分类标签，缺陷分类标签用于区分目标板材分块图像与其余目标板材分块图像，还可以识别目标板材分块图像与其余目标板材分块图像在目标板材表面图像中的分布位置。
作为一种示例，在对目标板材表面图像进行分块裁剪之后，还可以获取事先部署的加权滤波函数；通过事先部署的加权滤波函数对每一目标板材分块图像进行图像滤波，获得至少两个图像滤波后的目标板材分块图像。本申请方案中，图像滤波的方式为基于加权滤波函数(又称窗函数)进行加窗操作，加权滤波函数可以为矩形窗函数，通过加权滤波，可以让目标板材表面图像裁剪后，让裁剪得到的各个图像分块具有更加平滑的衔接，增加图像分块的连续，基于事先部署的加权滤波函数减少图像裁剪的负面作用。后续对每张目标板材分块图像进行图像特征抽取时，是对每一图像滤波后的目标板材分块图像进行图像特征抽取。可以理解，是基于图像滤波后的目标板材分块图像进行缺陷检测操作。
下面对以上提及的特征降维映射模型及特征降维映射模型的训练过程进行描述。本申请实施例中，特征降维映射模型包括浅层特征抽取模块和深层特征抽取模块；浅层特征抽取模块用于对目标板材分块图像进行浅层图像特征抽取；深层特征抽取模块用于基于浅层图像特征抽取时得到的浅层图像特征，对目标板材分块图像进行深层图像特征抽取，深层图像特征抽取的抽取准确度大于浅层图像特征抽取的抽取准确度。
特征降维映射模型在训练时，包括以下操作：
操作S10，将无标签板材图像集合中的第一板材图像加载到浅层特征抽取模块中，基于相似性学习对浅层特征抽取模块进行训练，得到训练后的浅层特征抽取模块。
本申请方案中，无标签板材图像集合包括多张无标签的板材图像，由上可知，浅层特征抽取模块可以通过无监督训练，则可通过无标签板材图像集合中的第一板材图像对浅层特征抽取模块进行训练。本申请方案中，相似性学习为无需人工标注标签的训练方法，基于相似性学习，可以让模型在标记图像数量较少的情况下，增加模型的训练效果。
例如，浅层特征抽取模块可以采用VGGNet网络。本申请方案中，基于训练VGGNet，基于训练后的VGGNet识别真实图像和噪声训练图像，帮助VGGNet学习板材图像的矢量表达，从而学习板材图像中的缺陷特征信息。
操作S20，将分块板材图像集合中的第二板材图像加载到训练后的浅层特征抽取模块中，基于训练后的浅层特征抽取模块对第二板材图像进行浅层特征降维映射，得到包含第三抽取准确度的训练图像降维映射特征。
本申请方案中，第三抽取准确度是训练后的浅层特征抽取模块对应的抽取准确度，换句话说，第三抽取准确度为训练后的浅层特征抽取模块在对第二板材图像进行特征降维映射时抽取的训练图像降维映射特征的抽取准确度。本申请实施例中，第三抽取准确度对应于第一抽取准确度，那么，可以理解，如果通过训练后的浅层特征抽取模块对上述目标板材分块图像进行浅层特征降维映射时，可以获取到第一抽取准确度的降维映射特征，如果通过训练后的浅层特征抽取模块对第二板材图像进行浅层特征降维映射，可以获取到第三抽取准确度的降维映射特征(即包含第三抽取准确度的训练图像降维映射特征)。
分块板材图像集合包括多张分块板材图像(即第二板材图像)，对一张原始板材图像通过裁剪得到分块板材图像。举例来说，可以基于任意可行的特征抽取模块对原始板材图像进行特征抽取(如SIFT、SURF、CNN等)，得到原始板材图像对应的多个图像特征，其中，每一图像特征是一个分块板材图像的板材图像的特征向量。将原始板材图像与每一图像特征一一关联(即通过每一图像特征，确定图像特征对应的单个分块板材图像在原始板材图像中的分布位置)，完成原始板材图像与图像特征的对应；之后通过原始板材图像与图像特征之间的关联位置，对原始板材图像进行裁剪，得到多个原始板材图像分块图像。可以将分块板材图像集合中的每一分块板材图像加载到训练后的浅层特征抽取模块中，基于训练后的浅层特征抽取模块对每一分块板材图像进行浅层特征降维映射，得到多个训练图像降维映射特征，基于多个训练图像降维映射特征对深层特征抽取模块进行训练，也就是将多个训练图像降维映射特征作为深层特征抽取模块的训练图像进行训练。
操作S30，将包含第三抽取准确度的训练图像降维映射特征加载到深层特征抽取模块中，基于深层特征抽取模块对第二板材图像进行深层特征降维映射，得到包含第四抽取准确度的训练图像降维映射特征；第三抽取准确度小于第四抽取准确度。
本申请方案中，第四抽取准确度是深层特征抽取模块对应的抽取准确度，换言之，第四抽取准确度是深层特征抽取模块对第二板材图像进行深层特征降维映射时获取的训练图像降维映射特征的抽取准确度。本申请实施例中，第四抽取准确度对应于上述第二抽取准确度，那么，可以理解，如果通过深层特征抽取模块对上述目标板材分块图像进行深层特征降维映射，则可以得到第二抽取准确度的降维映射特征；如果通过深层特征抽取模块对第二板材图像进行深层特征降维映射，则可以得到第四抽取准确度的降维映射特征(即包含第四抽取准确度的训练图像降维映射特征)。可以理解，因为深层图像特征抽取的抽取准确度大于浅层图像特征抽取的抽取准确度，所以第三抽取准确度小于第四抽取准确度。
操作S40，基于预设缺陷检测分类模块，依据包含第四抽取准确度的训练图像降维映射特征，对第二板材图像进行缺陷检测，得到训练图像缺陷检测结果。
本申请方案中，深层特征抽取模块对每一个训练图像降维映射特征进行深层特征降维映射，得到包含第四抽取准确度的训练图像降维映射特征，再基于预设缺陷检测分类模块，依据提取到的包含第四抽取准确度的训练图像降维映射特征，对第二板材图像进行缺陷检测，即对第二板材图像进行板材图像分类，得到训练图像缺陷检测结果。
本申请方案中以对第二板材图像检测是否包含色差进行说明，基于预设缺陷检测分类模块，依据包含第四抽取准确度的训练图像降维映射特征，对第二板材图像进行缺陷检测时，基于预设的色差缺陷图像分块集合对第二板材图像进行分类，通过抽取的包含第四抽取准确度的训练图像降维映射特征，确定第二板材图像中是否包括色差缺陷，得到是否包含色差的训练图像缺陷检测结果。
操作S50，将训练图像缺陷检测结果与第二板材图像的缺陷分类标记信息加载到预设误差确定网络层中，基于预设误差确定网络层输出模型检测误差。
本申请方案中，裁剪得到多个分块板材图像(第二板材图像)后，为各个第二板材图像贴上缺陷分类标记信息，该缺陷分类标记信息用于标识对应的分块板材图像中是否存在色差缺陷。本申请实施例中，基于浅层特征抽取模块和深层特征抽取模块，抽取到第二板材图像的包含第四抽取准确度的训练图像降维映射特征，依据包含第四抽取准确度的训练图像降维映射特征对第二板材图像是否包含色差进行识别，得到训练图像缺陷检测结果之后，可以将训练图像缺陷检测结果与第二板材图像的缺陷分类标记信息加载到预设误差确定网络层中，基于预设误差确定网络层输出模型检测误差。
本申请方案中，可以基于预设误差确定网络层计算训练图像缺陷检测结果与缺陷分类标记信息之间的标记相似评估系数。
如果标记相似评估系数大于标记相似评估系数阈值，此时深层特征抽取模块能高精度地抽取第二板材图像的训练图像降维映射特征，同时预设缺陷检测分类模块能基于训练图像降维映射特征对第二板材图像进行准确的缺陷检测，此时，停止对特征降维映射模型训练，将得到的特征降维映射模型作为训练好的特征降维映射模型。如果标记相似评估系数小于或者等于标记相似评估系数阈值，此时深层特征抽取模块不能高精度地抽取第二板材图像的训练图像降维映射特征，预设缺陷检测分类模块不能基于训练图像降维映射特征对第二板材图像进行准确的缺陷检测，需要持续对特征降维映射模型进行训练，在标记相似评估系数大于标记相似评估系数阈值时，停止训练。
操作S60，基于模型检测误差对深层特征抽取模块中的模块参变量进行优化，得到训练后的特征降维映射模型。
本申请方案中，如果标记相似评估系数小于或等于标记相似评估系数阈值，可以基于优化参数对深层特征抽取模块中的模块参变量进行优化。如果标记相似评估系数大于标记相似评估系数阈值，则不再对特征降维映射模型进行训练。在对模块参变量进行优化时，事先设置模块参变量的优化区间，深层特征抽取模块中的模块参变量包括多个子模型参变量，各个子模型参变量都对应一个优化区域。
模块参变量的优化区间表示模块参变量在当下迭代训练可以选取以进行更新的优化参数的数值范围，从优化区间中选取优化参数时，例如是基于标记相似评估系数的值确定的，例如，如果标记相似评估系数小，此时可以在优化区间中确定较大的优化参数，将其确定为当前迭代训练的优化参数，如果标记相似评估系数大，可以在优化区间中选取较小的优化参数，将其确定为当前迭代训练的优化参数。举例来说，设置优化相似评估系数阈值，如果标记相似评估系数小于或等于优化相似评估系数阈值，此时标记相似评估系数小，在优化区间的较小数值区间(比如小于中间值的数值区间)中随机确定一优化参数，将其确定为当前迭代训练过程中的优化参数。如果标记相似评估系数大于优化相似评估系数阈值，此时标记相似评估系数大，在优化区间的较大数值区间(比如大于中间值的数值区间)中随机确定一优化参数，将其确定为当前迭代练过程中的优化参数，优化相似评估系数阈值小于标记相似评估系数阈值。确定优化参数后，根据优化参数对模块参变量进行优化。
本申请提供的特征降维映射模型在训练时，基于无标签板材图像集合中的第一板材图像对浅层特征抽取模块进行无监督学习，基于训练后的浅层特征抽取模块提取分块板材图像集合中的第二板材图像的嵌入特征，得到包含第三抽取准确度的训练图像降维映射特征，将包含第三抽取准确度的训练图像降维映射特征作为深层特征抽取模块的训练图像数据，对深层特征抽取模块进行训练，期间进行有监督训练，联合第二板材图像的缺陷分类标记信息对深层特征抽取模块中的模块参变量进行训练，实现了对深层特征抽取模块的准确训练，得到能高精度抽取中的模块参变量进行优化的特征降维映射模型。
接下来继续对浅层特征抽取模块和深层特征抽取模块的训练流程进行说明。
浅层特征抽取模块包括特征编码层和自相关语义提取层，浅层特征抽取模块在训练时，包括以下操作：
操作S1，将无标签板材图像集合中的第一板材图像加载到浅层特征抽取模块中。
操作S2，基于特征编码层对第一板材图像进行第一平滑操作，得到浅层图像特征。
本申请方案中，浅层特征抽取模块可以是VGGNet，VGGNet可以基于多个的卷积单元(conv)抽取图像的无监督图像特征。VGGNet为包含多个卷积层的卷积神经网络，将板材图像进行嵌入编码，平滑操作(即卷积，或称滤波)得到目标特征域的特征，以及将目标特征域的特征输入自相关语义提取层，转化得到语义形态表征。特征编码层和自相关语义提取层各自的卷积单元的个数不一致，特征编码层的卷积单元个数少于自相关语义提取层中的卷积单元的个数。那么，可以理解，特征编码层包括多个卷积单元，基于多个卷积单元对第一板材图像进行多次平滑操作(以此完成编码)，得到浅层图像特征。
操作S3，基于自相关语义提取层对浅层图像特征进行第二平滑操作，得到包含设定维数的降维映射特征。
本申请方案中，自相关语义提取层包括多个卷积单元，基于多个卷积单元对特征编码层输出的浅层图像特征进行多次平滑操作，将浅层图像特征转换为语义形态表征，得到包含设定维数的降维映射特征。
操作S4，将包含设定维数的降维映射特征加载到第一误差确定网络层中，基于第一误差确定网络层中的第一误差函数，计算包含设定维数的降维映射特征对应的第一模型检测误差。
本申请方案中，误差函数可以选取交叉熵误差函数，基于交叉熵误差函数，在训练时将正例训练图像彼此靠近，负例训练图像彼此远离。
操作S5，基于第一模型检测误差对特征编码层和自相关语义提取层中的参变量进行优化，得到训练后的浅层特征抽取模块。
本申请实施例中，浅层特征抽取模块在训练时，基于特征编码层对第一板材图像进行编码得到浅层图像特征；基于自相关语义提取层将浅层图像特征转化成语义形态表征，包含设定维数的降维映射特征，再基于交叉熵误差函数进行误差确定，以将正例训练图像靠近，负例训练图像远离。那么，基于自监督训练，使得浅层特征抽取模块的训练过程高效准确。
本申请实施例中，深层特征抽取模块包括缺陷分布信息挖掘网络、显著性权重分配网络和误差计算网络，误差计算网络包括第二误差函数。深层特征抽取模块在训练时，包括以下操作：
操作S01，将包含第三抽取准确度的训练图像降维映射特征，加载到深层特征抽取模块中。
操作S02，基于缺陷分布信息挖掘网络，挖掘训练图像降维映射特征在不同通道下的显著缺陷分布信息。
本申请方案中，深层特征抽取模块可以为上下文编码器-解码器ContextEncoder-Decoder)，或者还可以是空洞卷积网络(Dilated Convolutional Network)，用于挖掘图像的上下文信息。例如，缺陷分布信息挖掘网络可以是上下文编码器-解码器中设置的压缩激励单元(SE单元)，SE单元从图像特征图中提取全局信息，并通过学习自适应的通道权重来重新校准各个特征通道的重要度。利用全局平均池化(Global Average Pooling)函数将每个特征通道压缩为一个标量，然后学习通道权重，应用原始的特征通道，以获得更具泛化性的特征表达。显著缺陷分布信息即具有显著性的缺陷分布信息，更准确的说，是学习到的基于通道权重来重新校准各个特征通道的重要度后，识别到的重要度高的缺陷分布信息。
操作S03，基于显著性权重分配网络对不同通道下的显著缺陷分布信息，在预设空间顺序上逐一进行加和及加权操作，得到包含第四抽取准确度的训练图像降维映射特征。
本申请方案中，显著性权重分配网络可以是上下文编码器-解码器的池化部分，其根据自注意力机制，帮助上下文编码器-解码器聚焦图像空间分布，将不同通道的信息在预设空间顺序上进行加和，再基于加权操作令学习的降维映射特征更具有泛化性。
操作S04，将包含第四抽取准确度的训练图像降维映射特征和第二板材图像的缺陷类型标注，加载到误差计算网络。
本申请方案中，缺陷类型标注是板材图像包含的缺陷类型。
操作S05，基于误差计算网络的第二误差函数，计算包含第四抽取准确度的训练图像降维映射特征对应的第二模型检测误差。
本申请方案中，基于缺陷类型标注获取与缺陷类型标注的特征向量，再计算训练图像降维映射特征和特征向量的相似评估系数，得到第二模型检测误差。
作为一种示例，第二误差函数可以是通用的分类误差函数，比如交叉熵误差函数、对数误差函数、KL散度误差函数，基于分类误差函数在训练时减小相同类型的特征差异，增加不同类型特征的差异，那么，深层特征抽取模块学习的降维映射特征更佳。
操作S06，基于第二模型检测误差对缺陷分布信息挖掘网络和显著性权重分配网络中的参变量进行优化，得到训练后的深层特征抽取模块。
本申请实施例提供的深层特征抽取模块在训练过程中，基于缺陷分布信息挖掘网络，挖掘训练图像降维映射特征在不同通道的显著缺陷分布信息；基于显著性权重分配网络对不同通道的显著缺陷分布信息，在预设空间顺序上逐一进行加和及加权操作，得到包含第四抽取准确度的训练图像降维映射特征，再基于第二误差函数进行误差计算，使得深层特征抽取模块的训练过程高效精确。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的基于3D视觉识别的板材缺陷检测方法的板材缺陷检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个板材缺陷检测装置实施例中的具体限定可以参见上文中对于基于3D视觉识别的板材缺陷检测方法的限定，在此不再赘述。
在一个实施例中，如图3所示，提供了一种板材缺陷检测装置300，包括：
图像获取模块310，用于响应于缺陷检测指令，获取所述至少一个图像采集设备发送的目标板材表面图像，所述目标板材表面图像为所述目标板材的立体展开图像；
图像裁剪模块320，用于对所述目标板材表面图像进行图像分块裁剪，得到至少两个目标板材分块图像；
特征抽取模块330，用于基于训练好的特征降维映射模型，对每一目标板材分块图像进行图像特征抽取，得到分块图像降维映射特征；其中，所述特征降维映射模型包括浅层特征抽取模块和深层特征抽取模块；所述浅层特征抽取模块用于对所述目标板材分块图像进行浅层图像特征抽取；所述深层特征抽取模块用于基于所述浅层图像特征抽取时得到的浅层图像特征，对所述目标板材分块图像进行深层图像特征抽取，所述深层图像特征抽取的抽取准确度大于所述浅层图像特征抽取的抽取准确度；
参考特征获取模块340，用于获取预设参考分块图像库中的每一参考分块图像的降维映射特征；
缺陷检测模块350，用于通过所述分块图像降维映射特征和所述每一参考分块图像的降维映射特征，对每一所述目标板材分块图像进行缺陷检测，得到分块缺陷检测结果；
缺陷合并模块360，用于通过所述至少两个目标板材分块图像的分块缺陷检测结果，确定所述目标板材表面图像对应的缺陷检测结果。
上述标签处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储包含板材图像等数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于3D视觉识别的板材缺陷检测方法。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的操作。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的操作。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的操作。
需要说明的是，本申请所涉及的对象信息(包括但不限于对象的设备信息、对应的个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经对象授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于3D视觉识别的板材缺陷检测方法，其特征在于，应用于计算机设备，所述计算机设备与至少一个图像采集设备通信连接，所述至少一个图像采集设备用于获取目标板材的立体图像，所述方法包括：
响应于缺陷检测指令，获取所述至少一个图像采集设备发送的目标板材表面图像，所述目标板材表面图像为所述目标板材的立体展开图像；
对所述目标板材表面图像进行图像分块裁剪，得到至少两个目标板材分块图像；
基于训练好的特征降维映射模型，对每一目标板材分块图像进行图像特征抽取，得到分块图像降维映射特征；其中，所述特征降维映射模型包括浅层特征抽取模块和深层特征抽取模块；所述浅层特征抽取模块用于对所述目标板材分块图像进行浅层图像特征抽取；所述深层特征抽取模块用于基于所述浅层图像特征抽取时得到的浅层图像特征，对所述目标板材分块图像进行深层图像特征抽取，所述深层图像特征抽取的抽取准确度大于所述浅层图像特征抽取的抽取准确度；
获取预设参考分块图像库中的每一参考分块图像的降维映射特征；
通过所述分块图像降维映射特征和所述每一参考分块图像的降维映射特征，对每一所述目标板材分块图像进行缺陷检测，得到分块缺陷检测结果；
通过所述至少两个目标板材分块图像的分块缺陷检测结果，确定所述目标板材表面图像对应的缺陷检测结果。
2.如权利要求1所述的方法，其特征在于，所述对所述目标板材表面图像进行图像分块裁剪，得到至少两个目标板材分块图像，包括：
通过包含预设裁剪步幅的裁剪框，对所述目标板材表面图像进行分块裁剪，得到至少两个目标板材分块图像，所述至少两个目标板材分块图像包含一致的图像尺寸。
3.如权利要求2所述的方法，其特征在于，所述方法还包括：
获取事先部署的加权滤波函数；
通过所述事先部署的加权滤波函数对每一所述目标板材分块图像进行图像滤波，获得至少两个图像滤波后的目标板材分块图像；
所述对每一目标板材分块图像进行图像特征抽取，得到分块图像降维映射特征，包括：
对每一图像滤波后的目标板材分块图像进行图像特征抽取，得到所述分块图像降维映射特征。
4.如权利要求1所述的方法，其特征在于，所述基于训练好的特征降维映射模型，对每一目标板材分块图像进行图像特征抽取，得到分块图像降维映射特征，包括：
将每一所述目标板材分块图像加载到所述浅层特征抽取模块中，基于所述浅层特征抽取模块，对所述目标板材分块图像进行浅层特征降维映射，得到包含第一抽取准确度的降维映射特征；
将所述包含第一抽取准确度的降维映射特征，加载到所述深层特征抽取模块中，基于所述深层特征抽取模块，对所述目标板材分块图像进行深层特征降维映射，得到包含第二抽取准确度的降维映射特征；所述第一抽取准确度小于所述第二抽取准确度。
5.如权利要求1所述的方法，其特征在于，所述通过所述分块图像降维映射特征和所述每一参考分块图像的降维映射特征，对每一所述目标板材分块图像进行缺陷检测，得到分块缺陷检测结果，包括：
确定所述分块图像降维映射特征与所述每一参考分块图像的降维映射特征之间的相似评估系数；
如果所述分块图像降维映射特征与任一参考分块图像的降维映射特征之间的相似评估系数大于相似评估系数阈值，确定所述目标板材分块图像的分块缺陷检测结果为同类检测结果；所述同类检测结果代表所述目标板材分块图像中包括与所述预设参考分块图像库中的参考分块图像包含相同图像分类的图像区域。
6.如权利要求5所述的方法，其特征在于，所述通过所述至少两个目标板材分块图像的分块缺陷检测结果，确定所述目标板材表面图像对应的缺陷检测结果，包括：
如果任一目标板材分块图像的分块缺陷检测结果为所述同类检测结果，确定所述目标板材表面图像对应的缺陷检测结果为所述同类检测结果。
7.如权利要求1～6任一项所述的方法，其特征在于，所述方法还包括：
将无标签板材图像集合中的第一板材图像加载到所述浅层特征抽取模块中，基于相似性学习对所述浅层特征抽取模块进行训练，得到训练后的浅层特征抽取模块；
将分块板材图像集合中的第二板材图像加载到所述训练后的浅层特征抽取模块中，基于所述训练后的浅层特征抽取模块对所述第二板材图像进行浅层特征降维映射，得到包含第三抽取准确度的训练图像降维映射特征；
将所述包含第三抽取准确度的训练图像降维映射特征加载到所述深层特征抽取模块中，基于所述深层特征抽取模块对所述第二板材图像进行深层特征降维映射，得到包含第四抽取准确度的训练图像降维映射特征；其中，所述第三抽取准确度小于所述第四抽取准确度；
基于预设缺陷检测分类模块，依据所述包含第四抽取准确度的训练图像降维映射特征，对所述第二板材图像进行缺陷检测，得到训练图像缺陷检测结果；
将所述训练图像缺陷检测结果与所述第二板材图像的缺陷分类标记信息加载到预设误差确定网络层中，基于所述预设误差确定网络层输出模型检测误差；
基于所述模型检测误差对所述深层特征抽取模块中的模块参变量进行优化，得到训练后的特征降维映射模型。
8.如权利要求7所述的方法，其特征在于，所述浅层特征抽取模块包括特征编码层和自相关语义提取层；所述将无标签板材图像集合中的第一板材图像加载到所述浅层特征抽取模块中，基于相似性学习对所述浅层特征抽取模块进行训练，得到训练后的浅层特征抽取模块，包括：
将无标签板材图像集合中的第一板材图像加载到所述浅层特征抽取模块中；
基于所述特征编码层对所述第一板材图像进行第一平滑操作，得到浅层图像特征；
基于所述自相关语义提取层对所述浅层图像特征进行第二平滑操作，得到包含设定维数的降维映射特征；
将所述包含设定维数的降维映射特征加载到第一误差确定网络层中，基于所述第一误差确定网络层中的第一误差函数，计算所述包含设定维数的降维映射特征对应的第一模型检测误差；
基于所述第一模型检测误差对所述特征编码层和所述自相关语义提取层中的参变量进行优化，得到所述训练后的浅层特征抽取模块；
所述深层特征抽取模块包括缺陷分布信息挖掘网络和显著性权重分配网络；
所述将所述包含第三抽取准确度的训练图像降维映射特征加载到所述深层特征抽取模块中，基于所述深层特征抽取模块对所述第二板材图像进行深层特征降维映射，得到包含第四抽取准确度的训练图像降维映射特征，包括：
将所述包含第三抽取准确度的训练图像降维映射特征，加载到所述深层特征抽取模块中；
基于所述缺陷分布信息挖掘网络，挖掘所述训练图像降维映射特征在不同通道下的显著缺陷分布信息；
基于所述显著性权重分配网络对所述不同通道下的显著缺陷分布信息，在预设空间顺序上逐一进行加和及加权操作，得到所述包含第四抽取准确度的训练图像降维映射特征。
9.如权利要求8所述的方法，其特征在于，所述深层特征抽取模块包括误差计算网络，所述误差计算网络包括第二误差函数；所述方法还包括：
将所述包含第四抽取准确度的训练图像降维映射特征和所述第二板材图像的缺陷类型标注，加载到所述误差计算网络；
基于所述误差计算网络的第二误差函数，计算所述包含第四抽取准确度的训练图像降维映射特征对应的第二模型检测误差；
基于所述第二模型检测误差对所述缺陷分布信息挖掘网络和所述显著性权重分配网络中的参变量进行优化，得到训练后的深层特征抽取模块。
10.一种板材缺陷检测系统，其特征在于，包括计算机设备和与所述计算机设备通信连接的至少一个图像采集设备，所述至少一个图像采集设备用于获取目标板材的立体图像，所述计算机设备包括：一个或多个处理器；以及一个或多个存储器，其中所述存储器中存储有计算机可读代码，所述计算机可读代码在由所述一个或多个处理器运行时，使得所述一个或多个处理器执行如权利要求1～9中任一项所述的方法。
CN202311391016.5A 2023-10-24 2023-10-24 基于3d视觉识别的板材缺陷检测方法及系统 Active CN117408967B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311391016.5A CN117408967B (zh) 2023-10-24 2023-10-24 基于3d视觉识别的板材缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311391016.5A CN117408967B (zh) 2023-10-24 2023-10-24 基于3d视觉识别的板材缺陷检测方法及系统

Publications (2)

Publication Number Publication Date
CN117408967A true CN117408967A (zh) 2024-01-16
CN117408967B CN117408967B (zh) 2024-03-19

Family

ID=89486656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311391016.5A Active CN117408967B (zh) 2023-10-24 2023-10-24 基于3d视觉识别的板材缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN117408967B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862092A (zh) * 2020-08-05 2020-10-30 复旦大学 一种基于深度学习的快递外包装缺陷检测方法及装置
CN112700442A (zh) * 2021-02-01 2021-04-23 浙江驿公里智能科技有限公司 基于Faster R-CNN的模切机工件缺陷检测方法和系统
CN115239672A (zh) * 2022-07-28 2022-10-25 上海闻泰信息技术有限公司 缺陷检测方法及装置、设备、存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862092A (zh) * 2020-08-05 2020-10-30 复旦大学 一种基于深度学习的快递外包装缺陷检测方法及装置
CN112700442A (zh) * 2021-02-01 2021-04-23 浙江驿公里智能科技有限公司 基于Faster R-CNN的模切机工件缺陷检测方法和系统
CN115239672A (zh) * 2022-07-28 2022-10-25 上海闻泰信息技术有限公司 缺陷检测方法及装置、设备、存储介质

Also Published As

Publication number Publication date
CN117408967B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN107358596B (zh) 一种基于图像的车辆定损方法、装置、电子设备及系统
Li et al. SAR image change detection using PCANet guided by saliency detection
CN110717526A (zh) 一种基于图卷积网络的无监督迁移学习方法
CN113592894B (zh) 一种基于边界框和同现特征预测的图像分割方法
CN109583483A (zh) 一种基于卷积神经网络的目标检测方法和系统
CN111008618B (zh) 一种自注意力深度学习端到端的行人再识别方法
CN111461212A (zh) 一种用于点云目标检测模型的压缩方法
CN106780639B (zh) 基于显著性特征稀疏嵌入和极限学习机的哈希编码方法
CN112906816B (zh) 基于光微分与双通道神经网络的目标检测方法和装置
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN112668462B (zh) 车损检测模型训练、车损检测方法、装置、设备及介质
CN112749673A (zh) 一种基于遥感影像智能提取储油罐库存的方法及装置
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN111144425B (zh) 检测拍屏图片的方法、装置、电子设备及存储介质
CN111209940A (zh) 一种基于特征点匹配的图像去重方法和装置
CN113313179B (zh) 一种基于l2p范数鲁棒最小二乘法的噪声图像分类方法
CN112446428B (zh) 一种图像数据处理方法及装置
CN113963295A (zh) 视频片段中地标识别方法、装置、设备及存储介质
CN111627018B (zh) 一种基于双流神经网络模型的钢板表面缺陷分类方法
CN110968735B (zh) 一种基于球面相似度层次聚类的无监督行人重识别方法
CN117408967B (zh) 基于3d视觉识别的板材缺陷检测方法及系统
CN110781817B (zh) 一种解决部件不对齐的行人再识别方法
CN116342536A (zh) 基于轻量化模型的铝带材表面缺陷检测方法、系统及设备
CN115965613A (zh) 基于空洞卷积的跨层连接的施工场景人群计数方法
CN116091784A (zh) 一种目标跟踪方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant