CN114491083A - 工业检测中的知识图库构建方法、知识图库构建装置 - Google Patents

工业检测中的知识图库构建方法、知识图库构建装置 Download PDF

Info

Publication number
CN114491083A
CN114491083A CN202210336010.7A CN202210336010A CN114491083A CN 114491083 A CN114491083 A CN 114491083A CN 202210336010 A CN202210336010 A CN 202210336010A CN 114491083 A CN114491083 A CN 114491083A
Authority
CN
China
Prior art keywords
dimension
vector
picture
convolution kernel
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210336010.7A
Other languages
English (en)
Other versions
CN114491083B (zh
Inventor
杭天欣
郑钧友
赵何
张志琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Zhiyun Tiangong Technology Co ltd
Original Assignee
Jiangsu Zhiyun Tiangong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Zhiyun Tiangong Technology Co ltd filed Critical Jiangsu Zhiyun Tiangong Technology Co ltd
Priority to CN202210336010.7A priority Critical patent/CN114491083B/zh
Publication of CN114491083A publication Critical patent/CN114491083A/zh
Application granted granted Critical
Publication of CN114491083B publication Critical patent/CN114491083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Manufacturing & Machinery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种工业检测中的知识图库构建方法、知识图库构建装置，所述方法包括：获取待储存图片集并输入目标检测模型，以获得推理结果；根据推理结果进行切图操作，以抠出对应的缺陷图；将缺陷图输入向量提取模型以获取图片特征向量，其中，向量提取模型包括：特征提取网络、降维卷积核和分类器；将缺陷类别进行热编码以获取编码向量；将编码向量与图片特征向量进行通道拼接，以生成关键字向量；将关键字向量和对应的待储存图片存入知识图库。该方法采用向量构建知识图库，从而可以建立一套可用于快速搜索的知识图库，且在特征提取时采用特征提取网络、降维卷积核和分类器相结合，可以获取更加精准的特征提取效果，提高图片搜索的准确性。

Description

工业检测中的知识图库构建方法、知识图库构建装置
技术领域
本发明涉及工业质检技术领域，具体涉及一种工业检测中的知识图库构建方法、一种工业检测中的知识图库构建装置。
背景技术
在工业质检领域，知识图库是将产品各种形态的缺陷储存起来，知识图库的构建有利于：工程师对特征缺陷的学习、模型迁移的搭建、小样本启动以及降低后续类似项目的启动成本。
然而，通常知识图库只涉及到图片本身和缺陷类别的存储，其缺点也很明显，主要有：（1）在数据库中，每张缺陷图片的ID（身份）或者key（键）无法很好的表示出图片本身的含义；（2）当对某张新图进行索引时，无法有效的从图中找出相似的数据集，进而无法快速实现迁移模型的搭建或者项目的小样本启动。
发明内容
为解决上述技术问题，本发明的第一个目的在于提出一种工业检测中的知识图库构建方法，该方法采用向量构建知识图库，从而可以建立一套可用于快速搜索的知识图库，且在特征提取时采用特征提取网络、降维卷积核和分类器相结合，从而可以获取更加精准的特征提取效果，提高图片搜索的准确性。
本发明的第二个目的在于提出一种工业检测中的知识图库构建装置。
本发明采用的技术方案如下：
本发明第一方面的实施例提出了一种工业检测中的知识图库构建方法。
本发明上述提出的工业检测中的知识图库构建方法还可以具有如下附加技术特征：
根据本发明的一个实施例，采用以下步骤训练所述向量提取模型：将所述缺陷图和对应的缺陷类别作为输入送入特征提取网络Swin transformer，其中对应的缺陷类别作为训练标签，以生成三维特征图F1；将所述三维特征图F1输入第一降维卷积核，以生成二维特征图F2；将所述二维特征图F2输入第二降维卷积核，以生成图片特征向量V；将所述图片特征向量V作为输入送入所述分类器，进行梯度下降。
根据本发明的一个实施例，所述三维特征图F1的维度为
Figure 800209DEST_PATH_IMAGE001
，其中
Figure 409045DEST_PATH_IMAGE002
是所述三维特征图F1宽的维度，
Figure 192325DEST_PATH_IMAGE003
是所述三维特征图F1高的维度，C1是所述三维特征图F1 通道的维度，所述第一降维卷积核的维度为3*3*C，其中3*3为第一降维卷积核滑窗的大小， C为第一降维卷积核的通道且等于C1；所述二维特征图F2的维度为
Figure 203006DEST_PATH_IMAGE004
，其中
Figure 233279DEST_PATH_IMAGE005
是所 述二维特征图F2宽的维度，
Figure 142460DEST_PATH_IMAGE006
是所述二维特征图F2高的维度，且
Figure 916381DEST_PATH_IMAGE007
等于
Figure 860197DEST_PATH_IMAGE008
、
Figure 999055DEST_PATH_IMAGE009
等于
Figure 379221DEST_PATH_IMAGE010
，采用以下公式获取
Figure 707565DEST_PATH_IMAGE011
和
Figure 755155DEST_PATH_IMAGE012
的大小：
Figure 877963DEST_PATH_IMAGE013
Figure 745425DEST_PATH_IMAGE014
其中p为补足的大小，且p=1。
根据本发明的一个实施例，所述图片特征向量V的维度为4096*1，所述第二降维卷 积核的维度为
Figure 600162DEST_PATH_IMAGE015
，其中
Figure 502259DEST_PATH_IMAGE016
为所述第二降维卷积核滑窗的大小，且
Figure 982919DEST_PATH_IMAGE017
等于
Figure 353989DEST_PATH_IMAGE018
、
Figure 7824DEST_PATH_IMAGE019
等于
Figure 780739DEST_PATH_IMAGE020
，1为所述第二降维卷积核的通道，4096为所述第二降维卷积核的卷 积核个数。
本发明第二方面的实施例提出了一种工业检测中的知识图库构建装置，包括：获取模块，所述获取模块用于获取待储存图片集，并输入目标检测模型，以获得推理结果，所述推理结果包括：缺陷位置和缺陷类别；切图模块，所述切图模块用于根据所述推理结果在对应的待储存图片上进行切图操作，以抠出对应的缺陷图并存储缺陷图对应的缺陷类别；特征提取模块，所述特征提取模块用于将所述缺陷图输入向量提取模型以获取图片特征向量V，其中，所述向量提取模型包括：特征提取网络Swin transformer（一种层次化视觉网络）、降维卷积核和分类器；热编码模块，所述热编码模块用于将所述缺陷类别进行热编码，以获取对应的编码向量H；拼接模块，所述拼接模块用于将编码向量H的维度补齐与所述图片特征向量V一致后，将所述编码向量H与所述图片特征向量V进行通道拼接，以生成关键字向量W；存储模块，所述存储模块用于将所述关键字向量W和对应的待储存图片存入知识图库，其中，所述关键字向量W作为键，对应的待储存图片作为值。
本发明上述提出的工业检测中的知识图库构建装置还可以具有如下附加技术特征：
根据本发明的一个实施例，所述向量提取模型具体用于采用以下步骤训练：将所述缺陷图和对应的缺陷类别作为输入送入特征提取网络Swin transformer，其中对应的缺陷类别作为训练标签，以生成三维特征图F1；将所述三维特征图F1输入第一降维卷积核，以生成二维特征图F2；将所述二维特征图F2输入第二降维卷积核，以生成图片特征向量V；将所述图片特征向量V作为输入送入所述分类器，进行梯度下降。
根据本发明的一个实施例，所述三维特征图F1的维度为
Figure 494617DEST_PATH_IMAGE021
，其中
Figure 87404DEST_PATH_IMAGE022
是所述三维特征图F1宽的维度，
Figure 544930DEST_PATH_IMAGE023
是所述三维特征图F1高的维度，C1是所述三维特征图F1 通道的维度，所述第一降维卷积核的维度为3*3*C，其中3*3为卷积核滑窗的大小，C为降维 卷积核的通道且等于C1；所述二维特征图F2的维度为
Figure 172351DEST_PATH_IMAGE024
，其中
Figure 57131DEST_PATH_IMAGE025
是所述二维特征 图F2宽的维度，
Figure 137213DEST_PATH_IMAGE026
是所述二维特征图F2高的维度，且
Figure 398430DEST_PATH_IMAGE027
等于
Figure 67309DEST_PATH_IMAGE028
、
Figure 873722DEST_PATH_IMAGE029
等于
Figure 690368DEST_PATH_IMAGE030
，所述特 征提取模块采用以下公式获取
Figure 506009DEST_PATH_IMAGE031
和
Figure 91711DEST_PATH_IMAGE032
的大小：
Figure 255976DEST_PATH_IMAGE033
Figure 372968DEST_PATH_IMAGE034
其中p为补足的大小，且p=1。
根据本发明的一个实施例，所述图片特征向量V的维度为4096*1，所述第二降维卷 积核的维度为
Figure 913671DEST_PATH_IMAGE035
，其中
Figure 104612DEST_PATH_IMAGE036
为所述第二降维卷积核滑窗的大小，且
Figure 767674DEST_PATH_IMAGE037
等于
Figure 44066DEST_PATH_IMAGE038
、
Figure 450776DEST_PATH_IMAGE039
等于
Figure 496224DEST_PATH_IMAGE040
，1为所述第二降维卷积核的通道，4096为所述第二降维卷积核的卷 积核个数。
本发明的有益效果：
本发明采用向量构建知识图库，从而可以建立一套可用于快速搜索的知识图库，且在特征提取时采用特征提取网络、降维卷积核和分类器相结合，从而可以获取更加精准的特征提取效果，提高图片搜索的准确性。
附图说明
图1是根据本发明一个实施例的工业检测中的知识图库构建方法的流程图；
图2是根据本发明一个实施例的向量提取模型训练过程流程图；
图3是根据本发明一个实施例的工业检测中的知识图库构建方法的原理图；
图4是根据本发明一个实施例的工业检测中的知识图库构建装置的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是根据本发明一个实施例的工业检测中的知识图库构建方法的流程图。如图1所示，该方法包括以下步骤：
S1，获取待储存图片集，并输入目标检测模型，以获得推理结果，推理结果包括：缺陷位置和缺陷类别。
具体地，待储存图片集可以从工业流水线对工件进行拍照获取，目标检测模型可以实现待储存图片集中图片上工件缺陷的识别，包括缺陷位置（目标框）和缺陷类别。
S2，根据推理结果在对应的待储存图片上进行切图操作，以抠出对应的缺陷图并存储缺陷图对应的缺陷类别。
具体地，根据推理结果在相应的图片上进行切图操作，从图片上抠出缺陷的目标框获得缺陷图，并将缺陷图对应的缺陷类别进行存储。
S3，将缺陷图输入向量提取模型以获取图片特征向量V，其中，向量提取模型包括：特征提取网络Swin transformer、降维卷积核和分类器。
具体地，向量提取模型可以提取缺陷图的特征并生成图片特征向量V，向量提取模型可以提前进行训练，具体训练过程如下述：
根据本发明的一个实施例，如图2所示，采用以下步骤训练向量提取模型：
S31，将缺陷图和对应的缺陷类别作为输入送入特征提取网络Swin transformer，其中对应的缺陷类别作为训练标签，以生成三维特征图F1。
具体地，选取Swin transformer作为特征提取网络具有如下技术效果：（1）其网络参数数量适中，训练速度较快，适合大规模训练；（2）可以解决梯度消失的问题；（3）有较强的特征提取能力。
S32，将三维特征图F1输入第一降维卷积核
Figure 330188DEST_PATH_IMAGE041
，以生成二维特征图F2。
S33，将二维特征图F2输入第二降维卷积核
Figure 280826DEST_PATH_IMAGE042
，以生成图片特征向量V。其中，图片 特征向量V为一维特征向量。
S34，将图片特征向量V作为输入送入分类器，进行梯度下降。
具体地，特征提取网络Swin transformer、第一降维卷积核
Figure 976381DEST_PATH_IMAGE041
、第二降维卷积核
Figure 391182DEST_PATH_IMAGE042
与分类器整体作为向量提取模型。特征提取网络Swin transformer可以提取缺陷图的 三维特征图F1，将F1依次输入第一降维卷积核
Figure 146779DEST_PATH_IMAGE041
、第二降维卷积核
Figure 647031DEST_PATH_IMAGE042
，可以将三维特征 图F1降维为一维特征图即图片特征向量V，采用多个降维卷积核的渐进式的降维方式，利用 网络学习的方式，可以获得更加精准的降维过程和结果。最后，将图片特征向量V送入分类 器，进行梯度下降，不断进行模型迭代，完成向量提取模型的训练。
本发明中的向量提取模型，在模型的最后采用分类器，可以获取模型损失，进而进行梯度下降，且方便标注标签。在模型分类学习的过程中，模型为了得到更好的分类效果，其特征提取网络必定会提炼出更加准确的语义特征，因此在模型分类的学习过程中，Swintransformer可以获得比常规预训练网络更加精准的特征提取效果。
S4，将缺陷类别进行热编码，以获取对应的编码向量H。
具体地，编码向量H表示公式为：
Figure 146276DEST_PATH_IMAGE043
，其中向量H的维度为 n，即缺陷类别的数量。
S5，将编码向量H的维度补齐与图片特征向量V一致后，将编码向量H与图片特征向量V进行通道拼接，以生成关键字向量W。
具体地，通道拼接即concat，将编码向量H经过padding补齐到维度与图片特征向量V一致，并将两者进行通道拼接，生成关键字向量W。由此，采用特征向量结合热编码的表示方式，会使得在后续向量库检索时，获得更加精确的相似度。
S6，将关键字向量W和对应的待储存图片存入知识图库，其中，关键字向量W作为键（key），对应的待储存图片作为值（value）。
即，关键字向量W和待储存图片组成键值对，以便于后续图片查找。
具体地，如图3所示，知识图库构建方法具体为：先将待储存图片集输入目标检测 模型，目标检测模型输出推理结果，然后根据推理结果在对应的待储存图片上进行切图操 作，抠出对应的缺陷图并存储缺陷图对应的缺陷类别。将缺陷图输入向量提取模型，经向量 提取模型的特征提取网络Swin transformer提取三维特征图F1，第一降维卷积核
Figure 353267DEST_PATH_IMAGE044
对三 维特征图F1进行降维，得到二维特征图F2，第二降维卷积核
Figure 529033DEST_PATH_IMAGE045
对二维特征图F2进行进一步 降维得到图片特征向量V。将缺陷类别进行热编码，以获取对应的编码向量H，对编码向量H 进行向量补齐操作后，将编码向量H与图片特征向量V进行通道拼接，生成关键字向量W，最 后将关键字向量W和对应的待储存图片存入知识图库即可。
由上，采用向量构建知识图库，从而可以建立一套可用于快速搜索的知识图库，且在特征提取时采用特征提取网络、降维卷积核和分类器相结合，从而可以获取更加精准的特征提取效果，提高图片搜索的准确性。
根据本发明的一个实施例，三维特征图F1的维度为
Figure 267313DEST_PATH_IMAGE046
，其中
Figure 553938DEST_PATH_IMAGE047
是三 维特征图F1宽的维度，
Figure 705782DEST_PATH_IMAGE048
是三维特征图F1高的维度，C1是三维特征图F1通道的维度，第一 降维卷积核
Figure 786871DEST_PATH_IMAGE049
的维度为3*3*C，其中3*3为第一降维卷积核滑窗的大小，C为第一降维卷积 核
Figure 74764DEST_PATH_IMAGE049
的通道且等于C1；二维特征图F2的维度为
Figure 915812DEST_PATH_IMAGE050
，其中
Figure 159711DEST_PATH_IMAGE051
是二维特征图F2宽的维 度，
Figure 428013DEST_PATH_IMAGE052
是二维特征图F2高的维度，且
Figure 937623DEST_PATH_IMAGE053
等于
Figure 566050DEST_PATH_IMAGE002
、
Figure 680768DEST_PATH_IMAGE054
等于
Figure 182287DEST_PATH_IMAGE055
，特征提取模块采用以下 公式获取
Figure 303827DEST_PATH_IMAGE053
和
Figure 735945DEST_PATH_IMAGE054
的大小：
Figure 705170DEST_PATH_IMAGE056
Figure 564541DEST_PATH_IMAGE057
其中p为补足（padding）的大小，且p=1。
图片特征向量V的维度为4096*1，第二降维卷积核
Figure 986426DEST_PATH_IMAGE058
的维度为
Figure 769706DEST_PATH_IMAGE059
， 其中
Figure 842704DEST_PATH_IMAGE060
为第二降维卷积核滑窗的大小，且
Figure 686026DEST_PATH_IMAGE053
等于
Figure 782158DEST_PATH_IMAGE061
、
Figure 306812DEST_PATH_IMAGE062
等于
Figure 234316DEST_PATH_IMAGE063
，1为第二降维 卷积核的通道，4096为第二降维卷积核的卷积核个数。
具体地，图片特征向量V的维度为4096*1，选取4096是因为4096大小适中，并且这 个数字可以适当上下浮动。将第二降维卷积核
Figure 186223DEST_PATH_IMAGE058
中4096个卷积核分别与二维特征图F2进 行卷积运算，获得4096*1的1维的图片特征向量V。
综上所述，根据本发明实施例的工业检测中的知识图库构建方法，首先，获取待储存图片集，并输入目标检测模型，以获得推理结果，推理结果包括：缺陷位置和缺陷类别，然后，根据推理结果在对应的待储存图片上进行切图操作，以抠出对应的缺陷图并存储缺陷图对应的缺陷类别，再将缺陷图输入向量提取模型以获取图片特征向量V，其中，向量提取模型包括：特征提取网络Swin transformer、降维卷积核和分类器，将缺陷类别进行热编码，以获取对应的编码向量H，将编码向量H的维度补齐与图片特征向量V一致后，将编码向量H与图片特征向量V进行通道拼接，以生成关键字向量W，最后，将关键字向量W和对应的待储存图片存入知识图库，其中，关键字向量W作为键，对应的待储存图片作为值。由此，该方法，采用向量构建知识图库，从而可以建立一套可用于快速搜索的知识图库，且在特征提取时采用特征提取网络、降维卷积核和分类器相结合，从而可以获取更加精准的特征提取效果，提高图片搜索的准确性。
与上述的工业检测中的知识图库构建方法相对应，本发明还提出一种基工业检测中的知识图库构建装置，由于本发明的装置实施例与上述的方法实施例相对应，对于装置实施例中未披露的细节可参照上述的方法实施例，本发明中不再进行赘述。
图4是根据本发明一个实施例的工业检测中的知识图库构建装置的方框示意图，如图4所示，该装置包括：获取模块1、切图模块2、特征提取模块3、热编码模块4、拼接模块5和存储模块6。
其中，获取模块1用于获取待储存图片集，并输入目标检测模型，以获得推理结果，推理结果包括：缺陷位置和缺陷类别；切图模块2用于根据推理结果在对应的待储存图片上进行切图操作，以抠出对应的缺陷图并存储缺陷图对应的缺陷类别；特征提取模块3用于将缺陷图输入向量提取模型以获取图片特征向量V，其中，向量提取模型包括：特征提取网络Swin transformer、降维卷积核和分类器；热编码模块4用于将缺陷类别进行热编码，以获取对应的编码向量H；拼接模块5用于将编码向量H的维度补齐与图片特征向量V一致后，将编码向量H与图片特征向量V进行通道拼接，以生成关键字向量W；存储模块6用于将关键字向量W和对应的待储存图片存入知识图库，其中，关键字向量W作为键，对应的待储存图片作为值。
根据本发明的一个实施例，向量提取模型具体用于采用以下步骤训练：将缺陷图和对应的缺陷类别作为输入送入特征提取网络Swin transformer，其中对应的缺陷类别作为训练标签，以生成三维特征图F1；将三维特征图F1输入第一降维卷积核，以生成二维特征图F2；将二维特征图F2输入第二降维卷积核，以生成图片特征向量V；将图片特征向量V作为输入送入分类器，进行梯度下降。
根据本发明的一个实施例，三维特征图F1的维度为
Figure 831968DEST_PATH_IMAGE064
，其中
Figure 160312DEST_PATH_IMAGE065
是三维 特征图F1宽的维度，
Figure 880006DEST_PATH_IMAGE066
是三维特征图F1高的维度，C1是三维特征图F1通道的维度，第一降 维卷积核的维度为3*3*C，其中3*3为第一降维卷积核滑窗的大小，C为第一降维卷积核的通 道且等于C1；二维特征图F2的维度为
Figure 65131DEST_PATH_IMAGE067
，其中
Figure 11222DEST_PATH_IMAGE068
是二维特征图F2宽的维度，
Figure 64628DEST_PATH_IMAGE069
是 二维特征图F2高的维度，且
Figure 768056DEST_PATH_IMAGE068
等于
Figure 248716DEST_PATH_IMAGE070
、
Figure 682102DEST_PATH_IMAGE071
等于
Figure 335938DEST_PATH_IMAGE072
，特征提取模块采用以下公式获取
Figure 843273DEST_PATH_IMAGE068
和
Figure 760414DEST_PATH_IMAGE073
的大小：
Figure 602468DEST_PATH_IMAGE074
Figure 810726DEST_PATH_IMAGE075
其中p为补足的大小，且p=1。
根据本发明的一个实施例，图片特征向量V的维度为4096*1，第二降维卷积核的维 度为
Figure 687416DEST_PATH_IMAGE076
，其中
Figure 322927DEST_PATH_IMAGE077
为第二降维卷积核滑窗的大小，且
Figure 652278DEST_PATH_IMAGE068
等于
Figure 539593DEST_PATH_IMAGE078
、
Figure 270789DEST_PATH_IMAGE079
等于
Figure 264153DEST_PATH_IMAGE080
，1为第二降维卷积核的通道，4096为第二降维卷积核的卷积核个数。
综上所述，根据本发明实施例的工业检测中的知识图库构建装置，采用向量构建知识图库，从而可以建立一套可用于快速搜索的知识图库，且在特征提取时采用特征提取网络、降维卷积核和分类器相结合，从而可以获取更加精准的特征提取效果，提高图片搜索的准确性。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种工业检测中的知识图库构建方法，其特征在于，包括以下步骤：
获取待储存图片集，并输入目标检测模型，以获得推理结果，所述推理结果包括：缺陷位置和缺陷类别；
根据所述推理结果在对应的待储存图片上进行切图操作，以抠出对应的缺陷图并存储缺陷图对应的缺陷类别；
将所述缺陷图输入向量提取模型以获取图片特征向量V，其中，所述向量提取模型包括：特征提取网络Swin transformer、降维卷积核和分类器；
将所述缺陷类别进行热编码，以获取对应的编码向量H；
将编码向量H的维度补齐与所述图片特征向量V一致后，将所述编码向量H与所述图片特征向量V进行通道拼接，以生成关键字向量W；
将所述关键字向量W和对应的待储存图片存入知识图库，其中，所述关键字向量W作为键，对应的待储存图片作为值。
2.根据权利要求1所述的工业检测中的知识图库构建方法，其特征在于，采用以下步骤训练所述向量提取模型：
将所述缺陷图和对应的缺陷类别作为输入送入特征提取网络Swin transformer，其中对应的缺陷类别作为训练标签，以生成三维特征图F1；
将所述三维特征图F1输入第一降维卷积核，以生成二维特征图F2；
将所述二维特征图F2输入第二降维卷积核，以生成图片特征向量V；
将所述图片特征向量V作为输入送入所述分类器，进行梯度下降。
3.根据权利要求2所述的工业检测中的知识图库构建方法，其特征在于，所述三维特征 图F1的维度为
Figure 780241DEST_PATH_IMAGE001
，其中
Figure 47274DEST_PATH_IMAGE002
是所述三维特征图F1宽的维度，
Figure 793644DEST_PATH_IMAGE003
是所述三维特征 图F1高的维度，C1是所述三维特征图F1通道的维度，所述第一降维卷积核的维度为3*3*C， 其中3*3为第一降维卷积核滑窗的大小，C为第一降维卷积核的通道且等于C1；所述二维特 征图F2的维度为
Figure 524840DEST_PATH_IMAGE004
，其中
Figure 596832DEST_PATH_IMAGE005
是所述二维特征图F2宽的维度，
Figure 147899DEST_PATH_IMAGE006
是所述二维特征图 F2高的维度，且
Figure 963540DEST_PATH_IMAGE007
等于
Figure 486925DEST_PATH_IMAGE008
、
Figure 713507DEST_PATH_IMAGE009
等于
Figure 768182DEST_PATH_IMAGE010
，采用以下公式获取
Figure 371202DEST_PATH_IMAGE011
和
Figure 562143DEST_PATH_IMAGE012
的大小：
Figure 225205DEST_PATH_IMAGE013
Figure 501597DEST_PATH_IMAGE014
其中p为补足的大小，且p=1。
4.根据权利要求3所述的工业检测中的知识图库构建方法，其特征在于，所述图片特征 向量V的维度为4096*1，所述第二降维卷积核的维度为
Figure 908307DEST_PATH_IMAGE015
，其中
Figure 219334DEST_PATH_IMAGE016
为 所述第二降维卷积核滑窗的大小，且
Figure 725402DEST_PATH_IMAGE017
等于
Figure 3936DEST_PATH_IMAGE018
、
Figure 699491DEST_PATH_IMAGE019
等于
Figure 114292DEST_PATH_IMAGE020
，1为所述第二降维卷积核 的通道，4096为所述第二降维卷积核的卷积核个数。
5.一种工业检测中的知识图库构建装置，其特征在于，包括：
获取模块，所述获取模块用于获取待储存图片集，并输入目标检测模型，以获得推理结果，所述推理结果包括：缺陷位置和缺陷类别；
切图模块，所述切图模块用于根据所述推理结果在对应的待储存图片上进行切图操作，以抠出对应的缺陷图并存储缺陷图对应的缺陷类别；
特征提取模块，所述特征提取模块用于将所述缺陷图输入向量提取模型以获取图片特征向量V，其中，所述向量提取模型包括：特征提取网络Swin transformer、降维卷积核和分类器；
热编码模块，所述热编码模块用于将所述缺陷类别进行热编码，以获取对应的编码向量H；
拼接模块，所述拼接模块用于将编码向量H的维度补齐与所述图片特征向量V一致后，将所述编码向量H与所述图片特征向量V进行通道拼接，以生成关键字向量W；
存储模块，所述存储模块用于将所述关键字向量W和对应的待储存图片存入知识图库，其中，所述关键字向量W作为键，对应的待储存图片作为值。
6.根据权利要求5所述的工业检测中的知识图库构建装置，其特征在于，所述向量提取模型具体用于采用以下步骤训练：
将所述缺陷图和对应的缺陷类别作为输入送入特征提取网络Swin transformer，其中对应的缺陷类别作为训练标签，以生成三维特征图F1；
将所述三维特征图F1输入第一降维卷积核，以生成二维特征图F2；
将所述二维特征图F2输入第二降维卷积核，以生成图片特征向量V；
将所述图片特征向量V作为输入送入所述分类器，进行梯度下降。
7.根据权利要求6所述的工业检测中的知识图库构建装置，其特征在于，所述三维特征 图F1的维度为
Figure 604310DEST_PATH_IMAGE021
，其中
Figure 42245DEST_PATH_IMAGE022
是所述三维特征图F1宽的维度，
Figure 790758DEST_PATH_IMAGE023
是所述三维特征 图F1高的维度，C1是所述三维特征图F1通道的维度，所述第一降维卷积核的维度为3*3*C， 其中3*3为第一降维卷积核滑窗的大小，C为第一降维卷积核的通道且等于C1；所述二维特 征图F2的维度为
Figure 810798DEST_PATH_IMAGE024
，其中
Figure 986564DEST_PATH_IMAGE025
是所述二维特征图F2宽的维度，
Figure 724844DEST_PATH_IMAGE026
是所述二维特征图 F2高的维度，且
Figure 11469DEST_PATH_IMAGE027
等于
Figure 151594DEST_PATH_IMAGE028
、
Figure 498262DEST_PATH_IMAGE029
等于
Figure 645210DEST_PATH_IMAGE030
，所述特征提取模块采用以下公式获取
Figure 486258DEST_PATH_IMAGE031
和
Figure 730157DEST_PATH_IMAGE032
的大小：
Figure 998459DEST_PATH_IMAGE033
Figure 960599DEST_PATH_IMAGE034
其中p为补足的大小，且p=1。
8.根据权利要求7所述的工业检测中的知识图库构建装置，其特征在于，所述图片特征 向量V的维度为4096*1，所述第二降维卷积核的维度为
Figure 339758DEST_PATH_IMAGE035
，其中
Figure 438164DEST_PATH_IMAGE036
为 所述第二降维卷积核滑窗的大小，且
Figure 865648DEST_PATH_IMAGE037
等于
Figure 987188DEST_PATH_IMAGE038
、
Figure 419307DEST_PATH_IMAGE039
等于
Figure 388531DEST_PATH_IMAGE040
，1为所述第二降维卷积核 的通道，4096为所述第二降维卷积核的卷积核个数。
CN202210336010.7A 2022-04-01 2022-04-01 工业检测中的知识图库构建方法、知识图库构建装置 Active CN114491083B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210336010.7A CN114491083B (zh) 2022-04-01 2022-04-01 工业检测中的知识图库构建方法、知识图库构建装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210336010.7A CN114491083B (zh) 2022-04-01 2022-04-01 工业检测中的知识图库构建方法、知识图库构建装置

Publications (2)

Publication Number Publication Date
CN114491083A true CN114491083A (zh) 2022-05-13
CN114491083B CN114491083B (zh) 2022-07-15

Family

ID=81488635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210336010.7A Active CN114491083B (zh) 2022-04-01 2022-04-01 工业检测中的知识图库构建方法、知识图库构建装置

Country Status (1)

Country Link
CN (1) CN114491083B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239717A (zh) * 2022-09-22 2022-10-25 江苏智云天工科技有限公司 工业检测中的缺陷检测装置
CN116245842A (zh) * 2023-03-07 2023-06-09 江苏大汉建设实业集团有限责任公司 应对智慧建筑缺陷检测的图像处理方法及系统
CN116773534A (zh) * 2023-08-15 2023-09-19 宁德思客琦智能装备有限公司 一种检测方法及装置、电子设备、计算机可读介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627015A (zh) * 2020-05-29 2020-09-04 联想(北京)有限公司 小样本缺陷识别方法、装置、设备及存储介质
CN114140625A (zh) * 2022-01-30 2022-03-04 深圳市博铭维技术股份有限公司 管道缺陷检测方法、系统、设备与计算机可读存储介质
CN114445366A (zh) * 2022-01-26 2022-05-06 沈阳派得林科技有限责任公司 基于自注意力网络的长输管道射线影像缺陷智能识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627015A (zh) * 2020-05-29 2020-09-04 联想(北京)有限公司 小样本缺陷识别方法、装置、设备及存储介质
CN114445366A (zh) * 2022-01-26 2022-05-06 沈阳派得林科技有限责任公司 基于自注意力网络的长输管道射线影像缺陷智能识别方法
CN114140625A (zh) * 2022-01-30 2022-03-04 深圳市博铭维技术股份有限公司 管道缺陷检测方法、系统、设备与计算机可读存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239717A (zh) * 2022-09-22 2022-10-25 江苏智云天工科技有限公司 工业检测中的缺陷检测装置
CN116245842A (zh) * 2023-03-07 2023-06-09 江苏大汉建设实业集团有限责任公司 应对智慧建筑缺陷检测的图像处理方法及系统
CN116245842B (zh) * 2023-03-07 2023-11-21 江苏大汉建设实业集团有限责任公司 应对智慧建筑缺陷检测的图像处理方法及系统
CN116773534A (zh) * 2023-08-15 2023-09-19 宁德思客琦智能装备有限公司 一种检测方法及装置、电子设备、计算机可读介质
CN116773534B (zh) * 2023-08-15 2024-03-05 宁德思客琦智能装备有限公司 一种检测方法及装置、电子设备、计算机可读介质

Also Published As

Publication number Publication date
CN114491083B (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN114491083B (zh) 工业检测中的知识图库构建方法、知识图库构建装置
US20190311210A1 (en) Automated extraction of product attributes from images
CN111062259B (zh) 表格识别方法和装置
CA3066029A1 (en) Image feature acquisition
CN109960742B (zh) 局部信息的搜索方法及装置
CN110245593B (zh) 一种基于图像相似度的手势图像关键帧提取方法
CN109784197B (zh) 基于孔洞卷积与注意力学习机制的行人再识别方法
CN112115879B (zh) 一种遮挡敏感的自监督行人重识别方法及系统
CN112529005B (zh) 基于语义特征一致性监督金字塔网络的目标检测方法
Yang et al. Insulator identification and self-shattering detection based on mask region with convolutional neural network
CN111325237A (zh) 一种基于注意力交互机制的图像识别方法
CN115115825B (zh) 图像中的对象检测方法、装置、计算机设备和存储介质
CN111401309B (zh) 基于小波变换的cnn训练和遥感图像目标识别方法
CN105183857A (zh) 一种自动的图片训练样本提取方法及系统
Yang et al. Vision-based layout detection from scientific literature using recurrent convolutional neural networks
CN114692750A (zh) 一种细粒度图像分类方法、装置、电子设备及存储介质
CN111553361B (zh) 一种病理切片标签识别方法
CN113537206B (zh) 推送数据检测方法、装置、计算机设备和存储介质
Wu et al. Text detection using delaunay triangulation in video sequence
CN116363552A (zh) 一种应用于边缘设备的实时目标检测方法
CN114359912B (zh) 基于图神经网络的软件页面关键信息提取方法及系统
Ahmad et al. Event recognition in personal photo collections via multiple instance learning-based classification of multiple images
Huang et al. Visual attention learning and antiocclusion-based correlation filter for visual object tracking
Bhanbhro et al. Symbol Detection in a Multi-class Dataset Based on Single Line Diagrams using Deep Learning Models
Kalaiyarasi et al. Enhancing logo matching and recognition using local features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant