CN115601363B - 一种基于小目标检测算法的装配式建筑产品缺陷检测方法 - Google Patents

一种基于小目标检测算法的装配式建筑产品缺陷检测方法 Download PDF

Info

Publication number
CN115601363B
CN115601363B CN202211603118.4A CN202211603118A CN115601363B CN 115601363 B CN115601363 B CN 115601363B CN 202211603118 A CN202211603118 A CN 202211603118A CN 115601363 B CN115601363 B CN 115601363B
Authority
CN
China
Prior art keywords
feature extraction
sample
model
output
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211603118.4A
Other languages
English (en)
Other versions
CN115601363A (zh
Inventor
黄欣莹
周扬迈
林满满
戴雨卉
张高峰
薛亚飞
赵亚莉
朱禹诺
刘世平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Science and Technology Group Co Ltd
Original Assignee
China Construction Science and Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Science and Technology Group Co Ltd filed Critical China Construction Science and Technology Group Co Ltd
Priority to CN202211603118.4A priority Critical patent/CN115601363B/zh
Publication of CN115601363A publication Critical patent/CN115601363A/zh
Application granted granted Critical
Publication of CN115601363B publication Critical patent/CN115601363B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于小目标检测算法的装配式建筑产品缺陷检测方法，方法包括：获取待检测产品的目标图像，对所述目标图像进行剪裁处理，得到多张待处理图像；将所述多张待处理图像输入至特征提取模型，所述特征提取模型中包括多个特征提取层，获取所述特征提取模型输出的目标特征；将所述目标特征与所述特征提取层的输出融合，得到输出特征，将所述输出特征输入至分类模型，获取所述分类模型输出的缺陷检测结果。本发明可以提升对装配式建筑产品小缺陷的检测精度。

Description

一种基于小目标检测算法的装配式建筑产品缺陷检测方法
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于小目标检测算法的装配式建筑产品缺陷检测方法。
背景技术
装配式建筑预制构件生产过程中所产生的制造缺陷常为小目标，缺陷目标的尺寸占整个构件的比例小，利用传统及其学习的目标检测算法无法精准检测，漏检率高。
因此，现有技术还有待改进和提高。
发明内容
针对现有技术的上述缺陷，本发明提供一种基于小目标检测算法的装配式建筑产品缺陷检测方法，旨在解决现有技术中装配式建筑预制构件缺陷检测精确度低的问题。
为了解决上述技术问题，本发明所采用的技术方案如下：
本发明的第一方面，提供一种基于小目标检测算法的装配式建筑产品缺陷检测方法，所述方法包括：
获取待检测产品的目标图像，对所述目标图像进行剪裁处理，得到多张待处理图像；
将所述多张待处理图像输入至特征提取模型，所述特征提取模型中包括多个特征提取层，获取所述特征提取模型输出的目标特征；
将所述目标特征与所述特征提取层的输出融合，得到输出特征，将所述输出特征输入至分类模型，获取所述分类模型输出的缺陷检测结果。
所述的基于小目标检测算法的装配式建筑产品缺陷检测方法，其中，所述对所述目标图像进行剪裁处理，得到多张待处理图像，包括：
将所述目标图像输入至剪裁模型，获取所述剪裁模型输出的所述多张待处理图像。
所述的基于小目标检测算法的装配式建筑产品缺陷检测方法，其中，所述将所述目标特征与所述特征提取层的输出融合，得到输出特征，包括：
对前N个所述特征提取层的输出特征进行上采样后与所述目标特征进行融合，得到所述输出特征，N为正整数。
所述的基于小目标检测算法的装配式建筑产品缺陷检测方法，其中，所述剪裁模型、所述特征提取模型以及所述分类模型的参数基于如下训练过程确定：
在多组训练数据中确定目标训练数据，所述目标训练数据包括样本图像以及该样本图像对应的缺陷检测标签；
将所述样本图像输入至所述剪裁模型，获取所述剪裁模型输出的多张样本待处理图像；
将所述样本待处理图像输入至所述特征提取模型，获取样本目标特征；
将所述样本目标特征与所述特征提取模型中的各个所述特征提取层的输出融合，得到样本输出特征；
将所述样本输出特征输入至所述分类模型，获取所述分类模型输出的样本检测结果；
根据所述样本检测结果和所述样本图像对应的缺陷检测标签确定训练损失，基于所述训练损失更新所述剪裁模型、所述特征提取模型以及所述分类模型的参数；
重新执行所述在多组训练数据中确定目标训练数据的步骤，直至所述剪裁模型、所述特征提取模型以及所述分类模型的参数收敛。
所述的基于小目标检测算法的装配式建筑产品缺陷检测方法，其中，所述样本图像基于如下方式得到：
对数据集图像中的缺陷复制后粘贴至所述数据集图像中，得到所述样本图像。
所述的基于小目标检测算法的装配式建筑产品缺陷检测方法，其中，所述根据所述样本检测结果和所述样本图像对应的缺陷检测标签确定训练损失，包括：
根据所述样本检测结果和所述样本图像对应的缺陷检测标签之间的差异确定第一损失；
统计各个所述样本待处理图像中的缺陷，根据所述样本待处理图像中的缺陷数量确定第二损失；
根据所述第一损失和所述第二损失确定所述训练损失。
所述的基于小目标检测算法的装配式建筑产品缺陷检测方法，其中，所述基于所述训练损失更新所述剪裁模型、所述特征提取模型以及所述分类模型的参数之前，包括：
当所述缺陷检测标签中存在所述样本检测结果中不存在的目标时，对所述训练损失进行加权处理。
本发明的第二方面，提供一种基于小目标检测算法的装配式建筑产品缺陷检测装置，包括：
图像处理模块，用于获取待检测产品的目标图像，对所述目标图像进行剪裁处理，得到多张待处理图像；
特征提取模块，用于将所述多张待处理图像输入至特征提取模型，所述特征提取模型中包括多个特征提取层，获取所述特征提取模型输出的目标特征；
预测模块，用于将所述目标特征与所述特征提取层的输出融合，得到输出特征，将所述输出特征输入至分类模型，获取所述分类模型输出的缺陷检测结果。
本发明的第三方面，提供一种终端，所述终端包括处理器、与处理器通信连接的计算机可读存储介质，所述计算机可读存储介质适于存储多条指令，所述处理器适于调用所述计算机可读存储介质中的指令，以执行实现上述任一项所述的基于小目标检测算法的装配式建筑产品缺陷检测方法的步骤。
本发明的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的基于小目标检测算法的装配式建筑产品缺陷检测方法的步骤。
与现有技术相比，本发明提供了一种基于小目标检测算法的装配式建筑产品缺陷检测方法，所述的基于小目标检测算法的装配式建筑产品缺陷检测方法，对于特征提取过程中的低层次特征与高层次特征进行融合，得到用于进行分类的输出特征，可以避免特征提取过程中小缺陷特征的丢失，提升对装配式建筑产品小缺陷的检测精度。
附图说明
图1为本发明提供的基于小目标检测算法的装配式建筑产品缺陷检测方法的实施例的流程图；
图2为本发明提供的基于小目标检测算法的装配式建筑产品缺陷检测装置的实施例的结构原理图；
图3为本发明提供的终端的实施例的原理示意图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供的基于小目标检测算法的装配式建筑产品缺陷检测方法，可以应用于具有计算能力的终端中，终端可以但不限于是各种计算机、服务器、移动设备等。
实施例一
如图1所示，所述基于小目标检测算法的装配式建筑产品缺陷检测方法的一个实施例中，包括步骤：
S100、获取待检测产品的目标图像，对所述目标图像进行剪裁处理，得到多张待处理图像。
由于小目标的尺寸占产品的比例小，在本实施例中，对所述待检测产品的目标图像进行剪裁处理后，分别提取特征，以提升特征对小目标的表达能力。
具体地，所述对所述目标图像进行剪裁处理，得到多张待处理图像，包括：
将所述目标图像输入至剪裁模型，获取所述剪裁模型输出的所述多张待处理图像。
请再次参阅图1，本实施例提供的方法，还包括步骤：
S200、将所述多张待处理图像输入至特征提取模型，所述特征提取模型中包括多个特征提取层，获取所述特征提取模型输出的目标特征。
将所述多张待处理图像输入至特征提取模型，是将每张所述待处理图像均分别输入至所述特征提取模型，最后将所述特征提取模型输出的各个所述待处理图像的特征连接，得到所述目标特征。
具体地，所述特征提取模型中包括多个特征提取层，每个所述特征提取层依次连接，即上一个所述特征提取层的输出是下一个所述特征提取层的输入。
在神经网络中，随着网络深度的增加，小目标的特征信息会逐渐丢失，难以被网络检测。在本实施例中，在得到所述目标特征后，将所述目标特征与所述特征提取层的输出融合，得到输出特征，基于该输出特征进行分类，实现缺陷检测。即本实施例提供的方法，还包括步骤：
S300、将所述目标特征与所述特征提取层的输出融合，得到输出特征，将所述输出特征输入至分类模型，获取所述分类模型输出的缺陷检测结果。
所述将所述目标特征与所述特征提取层的输出融合，得到输出特征，包括：
对前N个所述特征提取层的输出特征进行上采样后与所述目标特征进行融合，得到所述输出特征。
其中，N为正整数，且N小于所述特征提取层的数量。由于前一个所述特征提取层的输出是下一个所述特征提取层的输入，因此，随着所述特征提取层的个数增多，提取的特征越高层次，丢失的特征也越多，造成小目标检测的不准确，因此，在本实施例中，对于前面的所述特征提取层的输出特征，将其与所述目标特征进行融合，例如进行全连接，得到用于进行分类的所述输出特征。
为了提升小目标缺陷的检测准确性，本实施例中，所述剪裁模型、所述特征提取模型以及所述分类模型的参数经过多组训练数据训练后确定，具体地，所述剪裁模型、所述特征提取模型以及所述分类模型的参数基于如下训练过程确定：
在多组训练数据中确定目标训练数据，所述目标训练数据包括样本图像以及该样本图像对应的缺陷检测标签；
将所述样本图像输入至所述剪裁模型，获取所述剪裁模型输出的多张样本待处理图像；
将所述样本待处理图像输入至所述特征提取模型，获取样本目标特征；
将所述样本目标特征与所述特征提取模型中的各个所述特征提取层的输出融合，得到样本输出特征；
将所述样本输出特征输入至所述分类模型，获取所述分类模型输出的样本检测结果；
根据所述样本检测结果和所述样本图像对应的缺陷检测标签确定训练损失，基于所述训练损失更新所述剪裁模型、所述特征提取模型以及所述分类模型的参数；
重新执行所述在多组训练数据中确定目标训练数据的步骤，直至所述剪裁模型、所述特征提取模型以及所述分类模型的参数收敛。
正如前文所说明的，小缺陷的尺寸很小，为了增强训练效率，在本实施例中，是对图像中的小缺陷进行复制粘贴，提升每张用于训练的所述样本图像中小缺陷的占比，得到用于训练的所述样本图像，即所述样本图像基于如下方式得到：
对数据集图像中的缺陷复制后粘贴至所述数据集图像中，得到所述样本图像。
所述样本图像对应的目标检测标签中包括所述样本图像中的各个缺陷的位置和类型，其中包括复制粘贴的缺陷的位置和类型。
所述根据所述样本检测结果和所述样本图像对应的缺陷检测标签确定训练损失，包括：
根据所述样本检测结果和所述样本图像对应的缺陷检测标签之间的差异确定第一损失；
统计各个所述样本待处理图像中的目标，根据所述样本待处理图像中的目标数量确定第二损失；
根据所述第一损失和所述第二损失确定所述训练损失。
所述样本图像对应的缺陷检测标签中是所述样本图像中的缺陷的真实值，为了提升模型的缺陷预测能力，对于所述样本图像，需要让模型输出的缺陷检测结果与对应的缺陷检测标签越接近越好，因此，在本实施例中，设置第一损失，所述第一损失基于所述样本检测结果和所述样本图像对应的缺陷检测之间的差异确定。
进一步地，为了提升训练效率，本实施例中，除了根据所述第一损失更新各模型的参数外，还根据图像的剪裁效果来更新各模型的参数，以使得剪裁模型能够学习到更好的剪裁参数。具体地，基于训练中所述剪裁模型对所述样本图像剪裁效果得到所述第二损失。为了提升小缺陷的检测效率，是希望对所述样本图像检测后得到的多张所述样本待处理图像中，每张都存在小缺陷，并且，小缺陷在各个所述样本待处理图像中的分布均匀。具体地，所述统计各个所述样本待处理图像中的缺陷，根据所述样本待处理图像中的缺陷数量确定第二损失，包括：
获取各个所述样本待处理图像中的目标缺陷的数量的方差，所述目标缺陷为在所述样本图像中占比低于预设阈值的缺陷；
根据所述方差确定所述第二损失。
同时，进一步地，由于在同一图像中，可能存在占比大的缺陷和占比小的缺陷，由于小缺陷的尺寸较小，模型预测的小缺陷与标签中对应的真实值的差异在没有检测到小缺陷和检测的小缺陷位置不准确的两种情况的区别不会很大，这会引导模型往忽略小缺陷的检测精度的方向发展，而更集中于大缺陷的检测准确性。为了避免这一现象，在本实施例中，所述基于所述训练损失更新所述剪裁模型、所述特征提取模型以及所述分类模型的参数，包括：
当所述缺陷检测标签中存在所述样本检测结果中不存在的目标时，对所述训练损失进行加权处理。
具体地，进行加权处理的权值大于1，也就是说，对于没有检测到的小缺陷，对应的训练损失会进行加倍处理。这样，可以加大没有检测到小缺陷时的损失，使得模型对小缺陷的预测更准确。
综上所述，本实施例提供一种基于小目标检测算法的装配式建筑产品缺陷检测方法，对于特征提取过程中的低层次特征与高层次特征进行融合，得到用于进行分类的输出特征，可以避免特征提取过程中小缺陷特征的丢失，提升对装配式建筑产品小缺陷的检测精度。
应该理解的是，虽然本发明说明书附图中给出的的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取计算机可读存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
实施例二
基于上述实施例，本发明还相应提供了一种基于小目标检测算法的装配式建筑产品缺陷检测装置，如图2所示，所述基于小目标检测算法的装配式建筑产品缺陷检测装置包括：
图像处理模块，用于获取待检测产品的目标图像，对所述目标图像进行剪裁处理，得到多张待处理图像，具体如实施例一中所述；
特征提取模块，用于将所述多张待处理图像输入至特征提取模型，所述特征提取模型中包括多个特征提取层，获取所述特征提取模型输出的目标特征，具体如实施例一中所述；
预测模块，用于将所述目标特征与所述特征提取层的输出融合，得到输出特征，将所述输出特征输入至分类模型，获取所述分类模型输出的缺陷检测结果，具体如实施例一中所述。
实施例三
基于上述实施例，本发明还相应提供了一种终端，如图3所示，所述终端包括处理器10以及存储器20。图3仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（SecureDigital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于小目标检测算法的装配式建筑产品缺陷检测程序30，该基于小目标检测算法的装配式建筑产品缺陷检测程序30可被处理器10所执行，从而实现本申请中基于小目标检测算法的装配式建筑产品缺陷检测方法。
所述处理器10在一些实施例中可以是一中央处理器（Central Processing Unit,CPU），微处理器或其他芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述基于小目标检测算法的装配式建筑产品缺陷检测方法等。
在一实施例中，当处理器10执行所述存储器20中基于小目标检测算法的装配式建筑产品缺陷检测程序30时实现以下步骤：
获取待检测产品的目标图像，对所述目标图像进行剪裁处理，得到多张待处理图像；
将所述多张待处理图像输入至特征提取模型，所述特征提取模型中包括多个特征提取层，获取所述特征提取模型输出的目标特征；
将所述目标特征与所述特征提取层的输出融合，得到输出特征，将所述输出特征输入至分类模型，获取所述分类模型输出的缺陷检测结果。
其中，所述对所述目标图像进行剪裁处理，得到多张待处理图像，包括：
将所述目标图像输入至剪裁模型，获取所述剪裁模型输出的所述多张待处理图像。
其中，所述将所述目标特征与所述特征提取层的输出融合，得到输出特征，包括：
对前N个所述特征提取层的输出特征进行上采样后与所述目标特征进行融合，得到所述输出特征，N为正整数。
其中，所述剪裁模型、所述特征提取模型以及所述分类模型的参数基于如下训练过程确定：
在多组训练数据中确定目标训练数据，所述目标训练数据包括样本图像以及该样本图像对应的缺陷检测标签；
将所述样本图像输入至所述剪裁模型，获取所述剪裁模型输出的多张样本待处理图像；
将所述样本待处理图像输入至所述特征提取模型，获取样本目标特征；
将所述样本目标特征与所述特征提取模型中的各个所述特征提取层的输出融合，得到样本输出特征；
将所述样本输出特征输入至所述分类模型，获取所述分类模型输出的样本检测结果；
根据所述样本检测结果和所述样本图像对应的缺陷检测标签确定训练损失，基于所述训练损失更新所述剪裁模型、所述特征提取模型以及所述分类模型的参数；
重新执行所述在多组训练数据中确定目标训练数据的步骤，直至所述剪裁模型、所述特征提取模型以及所述分类模型的参数收敛。
其中，所述样本图像基于如下方式得到：
对数据集图像中的缺陷复制后粘贴至所述数据集图像中，得到所述样本图像。
其中，所述根据所述样本检测结果和所述样本图像对应的缺陷检测标签确定训练损失，包括：
根据所述样本检测结果和所述样本图像对应的缺陷检测标签之间的差异确定第一损失；
统计各个所述样本待处理图像中的缺陷，根据所述样本待处理图像中的缺陷数量确定第二损失；
根据所述第一损失和所述第二损失确定所述训练损失。
其中，所述基于所述训练损失更新所述剪裁模型、所述特征提取模型以及所述分类模型的参数之前，包括：
当所述缺陷检测标签中存在所述样本检测结果中不存在的目标时，对所述训练损失进行加权处理。
实施例四
本发明还提供一种计算机可读存储介质，其中，存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的基于小目标检测算法的装配式建筑产品缺陷检测方法的步骤。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种基于小目标检测算法的装配式建筑产品缺陷检测方法，其特征在于，所述方法包括：
获取待检测产品的目标图像，对所述目标图像进行剪裁处理，得到多张待处理图像；
所述对所述目标图像进行剪裁处理，得到多张待处理图像，包括：
将所述目标图像输入至剪裁模型，获取所述剪裁模型输出的所述多张待处理图像，以提升特征对小目标的表达能力；
将所述多张待处理图像输入至特征提取模型，所述特征提取模型中包括多个特征提取层，获取所述特征提取模型输出的目标特征；
所述将所述多张待处理图像输入至特征提取模型，所述特征提取模型中包括多个特征提取层，获取所述特征提取模型输出的目标特征，包括：
将每张所述待处理图像均分别输入至所述特征提取模型，并将所述特征提取模型输出的各个所述待处理图像的特征连接，得到所述目标特征；
所述特征提取模型中包括多个特征提取层，每个所述特征提取层依次连接，即上一个所述特征提取层的输出是下一个所述特征提取层的输入；
将所述目标特征与所述特征提取层的输出融合，得到输出特征，将所述输出特征输入至分类模型，获取所述分类模型输出的缺陷检测结果；
所述将所述目标特征与所述特征提取层的输出融合，得到输出特征，包括：
对前N个所述特征提取层的输出特征进行上采样后与所述目标特征进行融合，得到所述输出特征，N为正整数,将所述特征提取层的输出特征与所述目标特征进行融合，得到用于进行分类的所述输出特征；
所述剪裁模型、所述特征提取模型以及所述分类模型的参数基于如下训练过程确定：
在多组训练数据中确定目标训练数据，所述目标训练数据包括样本图像以及样本图像对应的缺陷检测标签，所述样本图像对应的缺陷检测标签中所述样本图像中的缺陷的真实值；
所述样本图像基于如下方式得到：
对数据集图像中的缺陷复制后粘贴至所述数据集图像中，提升每张用于训练的所述样本图像中小缺陷的占比，得到所述样本图像；
将所述样本图像输入至所述剪裁模型，获取所述剪裁模型输出的多张样本待处理图像；
将所述样本待处理图像输入至所述特征提取模型，获取样本目标特征；
将所述样本目标特征与所述特征提取模型中的各个所述特征提取层的输出融合，得到样本输出特征；
将所述样本输出特征输入至所述分类模型，获取所述分类模型输出的样本检测结果；
根据所述样本检测结果和所述样本图像对应的缺陷检测标签确定训练损失，基于所述训练损失更新所述剪裁模型、所述特征提取模型以及所述分类模型的参数；
所述根据所述样本检测结果和所述样本图像对应的缺陷检测标签确定训练损失，包括：
根据所述样本检测结果和所述样本图像对应的缺陷检测标签之间的差异确定第一损失；
统计各个所述样本待处理图像中的缺陷，根据所述样本待处理图像中的缺陷数量确定第二损失；
所述根据所述样本待处理图像中的缺陷数量确定第二损失包括：
获取各个所述样本待处理图像中的目标缺陷的数量的方差，所述目标缺陷为在所述样本图像中占比低于预设阈值的缺陷；
根据所述方差确定所述第二损失；
根据所述第一损失和所述第二损失确定所述训练损失；
重新执行所述在多组训练数据中确定目标训练数据的步骤，直至所述剪裁模型、所述特征提取模型以及所述分类模型的参数收敛；
所述基于所述训练损失更新所述剪裁模型、所述特征提取模型以及所述分类模型的参数之前，包括：
当所述缺陷检测标签中存在所述样本检测结果中不存在的目标时，对所述训练损失进行加权处理，对于没有检测到的小缺陷，对应的训练损失进行加倍处理，加大没有检测到小缺陷时的损失，使得模型对小缺陷的预测更准确。
2.一种基于小目标检测算法的装配式建筑产品缺陷检测装置，其特征在于，包括：
图像处理模块，用于获取待检测产品的目标图像，对所述目标图像进行剪裁处理，得到多张待处理图像；
所述对所述目标图像进行剪裁处理，得到多张待处理图像，包括：
将所述目标图像输入至剪裁模型，获取所述剪裁模型输出的所述多张待处理图像，以提升特征对小目标的表达能力；
特征提取模块，用于将所述多张待处理图像输入至特征提取模型，所述特征提取模型中包括多个特征提取层，获取所述特征提取模型输出的目标特征；
所述将所述多张待处理图像输入至特征提取模型，所述特征提取模型中包括多个特征提取层，获取所述特征提取模型输出的目标特征，包括：
将每张所述待处理图像均分别输入至所述特征提取模型，并将所述特征提取模型输出的各个所述待处理图像的特征连接，得到所述目标特征；
所述特征提取模型中包括多个特征提取层，每个所述特征提取层依次连接，即上一个所述特征提取层的输出是下一个所述特征提取层的输入；
预测模块，用于将所述目标特征与所述特征提取层的输出融合，得到输出特征，将所述输出特征输入至分类模型，获取所述分类模型输出的缺陷检测结果；
所述将所述目标特征与所述特征提取层的输出融合，得到输出特征，包括：
对前N个所述特征提取层的输出特征进行上采样后与所述目标特征进行融合，得到所述输出特征，N为正整数,将所述特征提取层的输出特征与所述目标特征进行融合，得到用于进行分类的所述输出特征；
所述剪裁模型、所述特征提取模型以及所述分类模型的参数基于如下训练过程确定：
在多组训练数据中确定目标训练数据，所述目标训练数据包括样本图像以及该样本图像对应的缺陷检测标签，所述样本图像对应的缺陷检测标签中所述样本图像中的缺陷的真实值；
所述样本图像基于如下方式得到：
对数据集图像中的缺陷复制后粘贴至所述数据集图像中，提升每张用于训练的所述样本图像中小缺陷的占比，得到所述样本图像；
将所述样本图像输入至所述剪裁模型，获取所述剪裁模型输出的多张样本待处理图像；
将所述样本待处理图像输入至所述特征提取模型，获取样本目标特征；
将所述样本目标特征与所述特征提取模型中的各个所述特征提取层的输出融合，得到样本输出特征；
将所述样本输出特征输入至所述分类模型，获取所述分类模型输出的样本检测结果；
根据所述样本检测结果和所述样本图像对应的缺陷检测标签确定训练损失，基于所述训练损失更新所述剪裁模型、所述特征提取模型以及所述分类模型的参数；
所述根据所述样本检测结果和所述样本图像对应的缺陷检测标签确定训练损失，包括：
根据所述样本检测结果和所述样本图像对应的缺陷检测标签之间的差异确定第一损失；
统计各个所述样本待处理图像中的缺陷，根据所述样本待处理图像中的缺陷数量确定第二损失；
所述根据所述样本待处理图像中的缺陷数量确定第二损失包括：
获取各个所述样本待处理图像中的目标缺陷的数量的方差，所述目标缺陷为在所述样本图像中占比低于预设阈值的缺陷；
根据所述方差确定所述第二损失；
根据所述第一损失和所述第二损失确定所述训练损失；
重新执行所述在多组训练数据中确定目标训练数据的步骤，直至所述剪裁模型、所述特征提取模型以及所述分类模型的参数收敛；
所述基于所述训练损失更新所述剪裁模型、所述特征提取模型以及所述分类模型的参数之前，包括：
当所述缺陷检测标签中存在所述样本检测结果中不存在的目标时，对所述训练损失进行加权处理，对于没有检测到的小缺陷，对应的训练损失进行加倍处理，加大没有检测到小缺陷时的损失，使得模型对小缺陷的预测更准确。
3.一种终端，其特征在于，所述终端包括：处理器、与处理器通信连接的计算机可读存储介质，所述计算机可读存储介质适于存储多条指令，所述处理器适于调用所述计算机可读存储介质中的指令，以执行实现上述权利要求1所述的基于小目标检测算法的装配式建筑产品缺陷检测方法的步骤。
4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1所述的基于小目标检测算法的装配式建筑产品缺陷检测方法的步骤。
CN202211603118.4A 2022-12-14 2022-12-14 一种基于小目标检测算法的装配式建筑产品缺陷检测方法 Active CN115601363B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211603118.4A CN115601363B (zh) 2022-12-14 2022-12-14 一种基于小目标检测算法的装配式建筑产品缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211603118.4A CN115601363B (zh) 2022-12-14 2022-12-14 一种基于小目标检测算法的装配式建筑产品缺陷检测方法

Publications (2)

Publication Number Publication Date
CN115601363A CN115601363A (zh) 2023-01-13
CN115601363B true CN115601363B (zh) 2023-05-23

Family

ID=84853986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211603118.4A Active CN115601363B (zh) 2022-12-14 2022-12-14 一种基于小目标检测算法的装配式建筑产品缺陷检测方法

Country Status (1)

Country Link
CN (1) CN115601363B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738070A (zh) * 2020-05-14 2020-10-02 华南理工大学 一种多个小目标的自动准确检测方法
CN113344849A (zh) * 2021-04-25 2021-09-03 山东师范大学 一种基于YOLOv5的微乳头检测系统
CN114708266A (zh) * 2022-06-07 2022-07-05 青岛通产智能科技股份有限公司 一种卡片缺陷的检测工装、方法、装置以及介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335270B (zh) * 2019-07-09 2022-09-13 华北电力大学（保定） 基于层级区域特征融合学习的输电线路缺陷检测方法
CN111292305B (zh) * 2020-01-22 2023-05-05 重庆大学 一种改进型yolo-v3的金属加工表面缺陷检测方法
CN111667476B (zh) * 2020-06-09 2022-12-06 创新奇智(广州)科技有限公司 布料瑕疵检测方法、装置、电子设备及可读存储介质
CN114078473A (zh) * 2020-08-13 2022-02-22 富泰华工业（深圳）有限公司 刀具检测方法、电子装置及存储介质
CN112150462B (zh) * 2020-10-22 2023-12-22 北京百度网讯科技有限公司 确定目标锚点的方法、装置、设备以及存储介质
CN114170144A (zh) * 2021-11-11 2022-03-11 国网福建省电力有限公司漳州供电公司 一种输电线路销钉缺陷检测方法、设备及介质
CN114240878A (zh) * 2021-12-16 2022-03-25 国网河南省电力公司电力科学研究院 面向巡检场景的绝缘子缺陷检测神经网络构建与优化方法
CN114782346A (zh) * 2022-04-13 2022-07-22 大连理工大学 基于多形态数据扩增与分块识别的布匹图像缺陷检测方法
CN114882002A (zh) * 2022-05-31 2022-08-09 深圳市格灵精睿视觉有限公司 目标缺陷检测方法和检测装置、计算机设备、存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738070A (zh) * 2020-05-14 2020-10-02 华南理工大学 一种多个小目标的自动准确检测方法
CN113344849A (zh) * 2021-04-25 2021-09-03 山东师范大学 一种基于YOLOv5的微乳头检测系统
CN114708266A (zh) * 2022-06-07 2022-07-05 青岛通产智能科技股份有限公司 一种卡片缺陷的检测工装、方法、装置以及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马岭 等.基于小样本学习的LCD产品缺陷自动检测方法.智能系统学报.2020,第15卷(第03期),第560-567页. *

Also Published As

Publication number Publication date
CN115601363A (zh) 2023-01-13

Similar Documents

Publication Publication Date Title
CN111079632A (zh) 文本检测模型的训练方法、装置、计算机设备和存储介质
US20210081798A1 (en) Neural network method and apparatus
CN109783604B (zh) 基于少量样本的信息提取方法、装置和计算机设备
CN110969627B (zh) 图像分割模型训练方法、图像处理方法及装置
CN114419570B (zh) 一种点云数据识别方法、装置、电子设备及存储介质
CN111368887B (zh) 雷雨天气预测模型的训练方法及雷雨天气预测方法
CN112183295A (zh) 行人重识别方法、装置、计算机设备及存储介质
KR20220093187A (ko) 포지셔닝 방법 및 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체
CN114549913A (zh) 一种语义分割方法、装置、计算机设备和存储介质
CN116612280A (zh) 车辆分割方法、装置、计算机设备和计算机可读存储介质
CN114782355A (zh) 基于改进vgg16网络的胃癌数字病理切片检测方法
KR102622895B1 (ko) 지도 학습 모델 및 비지도 학습 모델의 앙상블 구조를 이용한 대기질 데이터의 이상 판정 방법 및 시스템
CN114757112A (zh) 一种基于灰狼算法的电机参数设计方法及系统
CN115601363B (zh) 一种基于小目标检测算法的装配式建筑产品缺陷检测方法
CN113919418A (zh) 基于小样本的分类模型训练方法、装置及电子设备
CN117454190A (zh) 日志数据分析方法和装置
CN115984671A (zh) 模型在线更新方法、装置、电子设备及可读存储介质
CN114241411B (zh) 基于目标检测的计数模型处理方法、装置及计算机设备
CN113886607B (zh) 基于图神经网络的哈希检索方法、装置、终端及存储介质
CN113344079B (zh) 一种图像标签半自动标注方法、系统、终端及介质
CN115861809A (zh) 杆状物检测及其模型的训练方法、装置、电子设备、介质
CN114691897A (zh) 一种深度自适应多模态哈希检索方法及相关设备
JP2022510963A (ja) 人体向き検出方法、装置、電子機器及びコンピュータ記憶媒体
CN116958954B (zh) 基于关键点与旁路矫正的车牌识别方法、装置及存储介质
US20220207141A1 (en) Apparatus for generating a signature that reflects the similarity of a malware detection and classification system based on deep neural networks, method therefor, and computer-readable recording medium recorded with a program for performing the method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant