CN117408974B - 一种板式集成家具封边自动检测方法、装置及存储介质 - Google Patents

一种板式集成家具封边自动检测方法、装置及存储介质 Download PDF

Info

Publication number
CN117408974B
CN117408974B CN202311408660.9A CN202311408660A CN117408974B CN 117408974 B CN117408974 B CN 117408974B CN 202311408660 A CN202311408660 A CN 202311408660A CN 117408974 B CN117408974 B CN 117408974B
Authority
CN
China
Prior art keywords
image
edge sealing
features
image block
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311408660.9A
Other languages
English (en)
Other versions
CN117408974A (zh
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Oppein Integrated Home Co ltd
Original Assignee
Guangzhou Oppein Integrated Home Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Oppein Integrated Home Co ltd filed Critical Guangzhou Oppein Integrated Home Co ltd
Priority to CN202311408660.9A priority Critical patent/CN117408974B/zh
Publication of CN117408974A publication Critical patent/CN117408974A/zh
Application granted granted Critical
Publication of CN117408974B publication Critical patent/CN117408974B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供一种板式集成家具封边自动检测方法、装置及存储介质，图像缺陷检测神经网络在特征提炼模块中得到表示整个家具封边样本图像的图像语义的语义提炼特征后，在信息还原模块中通过该语义提炼特征进行第一次信息还原得到第一个还原中间特征与对应的第一个缺陷类型之后，再次通过前一次信息还原获得的还原中间特征与缺陷类型进行当前信息还原，直到信息还原停止，最后通过多个缺陷类型之间的误差调试图像缺陷检测神经网络，在调试环节中缓解图像缺陷检测神经网络检测的多阶图像缺陷类型的上下层信息统一性的问题，使图像缺陷检测神经网络检测的缺陷类型检测树可以精确表达家具封边图像对应的多缺陷类型。

Description

一种板式集成家具封边自动检测方法、装置及存储介质
技术领域
本申请涉及图像数据处理领域，具体而言，涉及一种板式集成家具封边自动检测方法、装置及存储介质。
背景技术
板式集成家具是指利用板材作为主要材料，经过加工和组装形成的家具产品。它采用了现代化的生产工艺和技术，通常由多层板、刨花板、中纤板等基础板材制成。其中，封边是板式集成家具制作过程中的重要环节之一。封边是指在板材的边缘进行封闭处理，既可以美观整洁，也可以保护板材不易受潮、磨损或变形。封边的质量直接关系到家具的使用寿命和外观效果。一个好的封边工艺可以有效避免板材边缘的损坏和脱落，增强家具的耐久性和稳定性。此外，封边还可以改善家具的外观，使其看起来更加美观、整洁。那么，对于板式集成家具的封边检测是保证出品良率的重要环节，常见的封边缺陷包括封边不牢固、封边平整度差、封边外观不合格、封边耐磨性差等，而每个封边缺陷类型下还可以进一步细分。
随着人工智能机器视觉的发展，板式集成家具的封边检测也早已从人工质检慢慢过渡到机器质检，由上可知，一个缺陷类型下，可能涉及的细节缺陷有很多，在大规模封边检测时，由于检测目标的数量基数大，有时候需要依照缺陷的层级将大量缺陷进行归总统计，以便进行生产监督干预，而现有技术中，对于多缺陷类型的分级检测尚有改善空间。
发明内容
本发明的目的在于提供一种板式集成家具封边自动检测方法、装置及存储介质，以改善上述问题。
本申请实施例的实现方式如下：
第一方面，本申请实施例提供一种板式集成家具封边自动检测方法，所述方法包括：
获取拟进行多缺陷类型检测的家具封边图像；
通过优化好的图像缺陷检测神经网络的特征提炼模块，通过所述家具封边图像中每个图像分块的语义特征进行语义特征提炼，得到所述家具封边图像的语义提炼特征；
通过所述图像缺陷检测神经网络的信息还原模块，通过所述语义提炼特征进行第一次信息还原得到第一个还原中间特征以及基于所述第一个还原中间特征得到所述家具封边图像对应的第一个缺陷类型之后，再次通过前一次信息还原获得的还原中间特征与缺陷类型进行当前信息还原，得到当前信息还原的还原中间特征与缺陷类型，直到信息还原停止；
将信息还原获得的多个缺陷类型依级别进行合并，得到所述家具封边图像对应的缺陷类型检测树。
作为一种实施方案，所述方法还包括：
将所述家具封边图像输入所述图像缺陷检测神经网络的特征提炼模块；
通过所述特征提炼模块的图像分块量化模块，搜索图像分块匹配列表得到所述家具封边图像中每个图像分块的图像分块标记，将检测码以及所述每个图像分块的图像分块标记特征提炼为相应的图像分块特征，所述每个图像分块的图像分块特征被配置为指示对应图像分块的图像语义，所述检测码对应的图像分块特征被配置为指示所述家具封边图像的全局图像语义；
将所述家具封边图像中每个图像分块的图像分块特征分别与所述检测码的图像分块特征融合，得到所述每个图像分块在所述家具封边图像中的语义特征。
作为一种实施方案，所述通过优化好的图像缺陷检测神经网络的特征提炼模块，通过所述家具封边图像中每个图像分块的语义特征进行语义特征提炼，得到所述家具封边图像的语义提炼特征，包括：
将所述家具封边图像中每个图像分块的语义特征，输入所述特征提炼模块的全局特征提炼单元；
在所述全局特征提炼单元的中间网络层中，依照所述家具封边图像中每个图像分块的次序，依次对相应的语义特征进行处理，依次获得所述全局特征提炼单元对应每个图像分块的特征提炼中间特征，当处理至所述家具封边图像中的最后一个图像分块时，将获得的所述全局特征提炼单元对应所述最后一个图像分块的特征提炼中间特征作为所述家具封边图像的语义提炼特征。
作为一种实施方案，所述全局特征提炼单元为正向特征提炼单元，所述在所述全局特征提炼单元的中间网络层中，依照所述家具封边图像中每个图像分块的次序，依次对相应的语义特征进行处理，依次获得所述全局特征提炼单元对应每个图像分块的特征提炼中间特征，当处理至所述家具封边图像中的最后一个图像分块时，将获得的所述全局特征提炼单元对应所述最后一个图像分块的特征提炼中间特征作为所述家具封边图像的语义提炼特征，包括：
在所述正向特征提炼单元的中间网络层中，依照所述家具封边图像中每个图像分块的次序，朝正方向对所述每个图像分块相应的语义特征进行处理，依次获得所述正向特征提炼单元对应每个图像分块的正向特征提炼中间特征，当处理至所述家具封边图像中的最后一个图像分块时，将获得的所述正向特征提炼单元对应所述最后一个图像分块的正向特征提炼中间特征作为所述家具封边图像的语义提炼特征；
或者，所述全局特征提炼单元为逆向特征提炼单元，所述在所述全局特征提炼单元的中间网络层中，依照所述家具封边图像中每个图像分块的次序，依次对相应的语义特征进行处理，依次获得所述全局特征提炼单元对应每个图像分块的特征提炼中间特征，当处理至所述家具封边图像中的最后一个图像分块时，将获得的所述全局特征提炼单元对应所述最后一个图像分块的特征提炼中间特征作为所述家具封边图像的语义提炼特征，包括：
在所述逆向特征提炼单元的中间网络层中，依照所述家具封边图像中每个图像分块的次序，朝反方向对所述每个图像分块相应的语义特征进行处理，依次获得所述逆向特征提炼单元对应每个图像分块的逆向特征提炼中间特征，当处理至所述家具封边图像中的第一个图像分块时，将获得的所述逆向特征提炼单元对应所述第一个图像分块的逆向特征提炼中间特征作为所述家具封边图像的语义提炼特征；
或者，所述全局特征提炼单元为前后特征提炼单元，所述在所述全局特征提炼单元的中间网络层中，依照所述家具封边图像中每个图像分块的次序，依次对相应的语义特征进行处理，依次获得所述全局特征提炼单元对应每个图像分块的特征提炼中间特征，当处理至所述家具封边图像中的最后一个图像分块时，将获得的所述全局特征提炼单元对应所述最后一个图像分块的特征提炼中间特征作为所述家具封边图像的语义提炼特征，包括：
在所述前后特征提炼单元的中间网络层中，依照所述家具封边图像中每个图像分块的次序，朝正方向对所述每个图像分块相应的语义特征进行处理，依次获得所述前后特征提炼单元对应每个图像分块的正向特征提炼中间特征，当处理至所述家具封边图像中的最后一个图像分块时，得到所述前后特征提炼单元对应所述最后一个图像分块的正向特征提炼中间特征；
在所述前后特征提炼单元的中间网络层中，依照所述家具封边图像中每个图像分块的次序，朝反方向对所述每个图像分块相应的语义特征进行处理，依次获得所述前后特征提炼单元对应每个图像分块的逆向特征提炼中间特征，当处理至所述家具封边图像中的第一个图像分块时，得到所述前后特征提炼单元对应所述第一个图像分块的逆向特征提炼中间特征；
通过所述最后一个图像分块的正向特征提炼中间特征与所述第一个图像分块的逆向特征提炼中间特征，得到所述家具封边图像的语义提炼特征。
作为一种实施方案，所述依照所述家具封边图像中每个图像分块的次序，朝正方向对所述每个图像分块相应的语义特征进行处理，依次获得所述前后特征提炼单元对应每个图像分块的正向特征提炼中间特征，包括：
依照所述家具封边图像中每个图像分块的次序，朝正方向将每个图像分块的语义特征作为所述前后特征提炼单元的中间网络层当下处理的语义特征；
在当下处理的语义特征为所述家具封边图像中第一个图像分块对应的语义特征时，通过所述中间网络层通过初始的正向特征提炼中间特征与所述第一个图像分块对应的语义特征，得到所述第一个图像分块对应的正向特征提炼中间特征；
在当下处理的语义特征不是所述家具封边图像中第一个图像分块对应的语义特征时，通过所述中间网络层通过前一次处理获得的正向特征提炼中间特征与当下处理的语义特征，得到当下处理获得的正向特征提炼中间特征；
所述依照所述家具封边图像中每个图像分块的次序，朝反方向对所述每个图像分块相应的语义特征进行处理，依次获得所述前后特征提炼单元对应每个图像分块的逆向特征提炼中间特征，包括：
依照所述家具封边图像中每个图像分块的次序，朝反方向将每个图像分块的语义特征作为所述前后特征提炼单元的中间网络层当下处理的语义特征；
在当下处理的语义特征为所述家具封边图像中最后一个图像分块对应的语义特征时，通过所述中间网络层通过初始的逆向特征提炼中间特征与所述最后一个图像分块对应的语义特征，得到所述最后一个图像分块对应的逆向特征提炼中间特征；
在当下处理的语义特征不是所述家具封边图像中最后一个图像分块对应的语义特征时，通过所述中间网络层通过前一次处理获得的逆向特征提炼中间特征与当下处理的语义特征，得到当下处理获得的逆向特征提炼中间特征。
作为一种实施方案，所述通过所述语义提炼特征进行第一次信息还原得到第一个还原中间特征以及基于所述第一个还原中间特征得到所述家具封边图像对应的第一个缺陷类型，包括：
通过所述信息还原模块，搜索图像开始标签对应的嵌入特征；
通过所述信息还原模块的中间网络层，通过所述图像开始标签对应的嵌入特征与所述语义提炼特征进行信息还原得到第一个还原中间特征；
通过所述中间网络层的分类映射模块，通过所述第一个还原中间特征得到第一个缺陷类型特征，将所述第一个缺陷类型特征中最大值对应的缺陷类型，作为所述家具封边图像对应的第一个缺陷类型；
所述通过前一次信息还原获得的还原中间特征与缺陷类型进行当前信息还原，得到当前信息还原的还原中间特征与缺陷类型，直到信息还原停止，包括：
通过所述信息还原模块，搜索前一次信息还原获得的缺陷类型对应的嵌入特征；
通过所述信息还原模块的中间网络层通过所述前一次信息还原获得的还原中间特征与所述缺陷类型对应的嵌入特征进行当前信息还原，得到当前信息还原的还原中间特征；
通过所述中间网络层的分类映射模块，通过所述当前信息还原的还原中间特征得到当前输出的缺陷类型特征，将所述缺陷类型特征中最大值对应的缺陷类型，作为当前信息还原所述家具封边图像对应的缺陷类型；
如果信息还原次数满足设定次数或通过当前输出的缺陷类型特征输出图像截止标签时，停止信息还原。
作为一种实施方案，所述将信息还原获得的多个缺陷类型依级别进行合并，得到所述家具封边图像对应的缺陷类型检测树，包括：
搜索缺陷类型节点图谱，确定每次信息还原获得的缺陷类型对应的缺陷类型阶；
依据所述缺陷类型阶，将每次信息还原获得的缺陷类型进行合并，得到所述家具封边图像对应的缺陷类型检测树。
作为一种实施方案，所述图像缺陷检测神经网络通过以下步骤进行调试：
获取家具封边样本图像以及所述家具封边样本图像的缺陷类型检测树注释信息；
通过图像缺陷检测神经网络的特征提炼模块，通过所述家具封边样本图像中每个图像分块的语义特征进行语义特征提炼，得到所述家具封边样本图像的语义提炼特征；
通过所述图像缺陷检测神经网络的信息还原模块，通过所述语义提炼特征进行第一次信息还原得到第一个还原中间特征以及基于所述第一个还原中间特征得到所述家具封边样本图像对应的第一个缺陷类型之后，再次通过前一次信息还原获得的还原中间特征与缺陷类型进行当前信息还原，得到当前信息还原的还原中间特征与缺陷类型，直到信息还原停止；
通过多次信息还原获得的多个缺陷类型与所述缺陷类型检测树注释信息所包括的多个缺陷类型之间的误差，调试所述图像缺陷检测神经网络。
第二方面，本申请提供一种封边自动检测装置，包括：
图像获取模块，用于获取拟进行多缺陷类型检测的家具封边图像；
特征提炼模块，用于通过优化好的图像缺陷检测神经网络的特征提炼模块，通过所述家具封边图像中每个图像分块的语义特征进行语义特征提炼，得到所述家具封边图像的语义提炼特征；
信息还原模块，用于通过所述图像缺陷检测神经网络的信息还原模块，通过所述语义提炼特征进行第一次信息还原得到第一个还原中间特征以及基于所述第一个还原中间特征得到所述家具封边图像对应的第一个缺陷类型之后，再次通过前一次信息还原获得的还原中间特征与缺陷类型进行当前信息还原，得到当前信息还原的还原中间特征与缺陷类型，直到信息还原停止；
类型合并模块，用于将信息还原获得的多个缺陷类型依级别进行合并，得到所述家具封边图像对应的缺陷类型检测树。
第三方面，本申请提供一种计算机可读存储介质，包括多条计算机程序指令，所述计算机程序指令用于被处理器执行以实现以上所述的方法。
本申请至少具有的有益效果：
本申请实施例提供的板式集成家具封边自动检测方法、装置及存储介质，图像缺陷检测神经网络包括特征提炼模块与信息还原模块，在特征提炼模块中得到表示整个家具封边样本图像的图像语义的语义提炼特征后，在信息还原模块中，通过该语义提炼特征进行第一次信息还原得到第一个还原中间特征与对应的第一个缺陷类型之后，再次通过前一次信息还原获得的还原中间特征与缺陷类型进行当前信息还原，即先信息还原第一阶的缺陷类型，然后信息还原第二阶的缺陷类型，再信息还原第三阶的缺陷类型，以此类推，直到信息还原停止，最后通过多次信息还原获得的多个缺陷类型与缺陷类型检测树注释信息所包括的多个缺陷类型之间的误差，调试图像缺陷检测神经网络，由于先进行上层信息的信息还原，后进行下层信息的信息还原，可在调试环节中缓解图像缺陷检测神经网络检测的多阶图像缺陷类型的上下层信息统一性的问题，使图像缺陷检测神经网络检测的缺陷类型检测树可以精确表达家具封边图像对应的多缺陷类型。
在后面的描述中，将部分地陈述其他的特征。在检查后面内容和附图时，本领域的技术人员将部分地发现这些特征，或者可以通过生产或运用了解到这些特征。通过实践或使用后面所述详细示例中列出的方法、工具和组合的各个方面，当前申请中的特征可以被实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
附图中的方法、系统和/或程序将根据示例性实施例进一步描述。这些示例性实施例将参照图纸进行详细描述。这些示例性实施例是非限制的示例性实施例，其中参考数字在附图的各个视图中代表相似的机构。
图1是根据本申请的一些实施例所示的应用场景组成示意图。
图2是根据本申请的一些实施例所示的一种计算机设备中硬件和软件组成的示意图。
图3是根据本申请的一些实施例所示的一种板式集成家具封边自动检测方法的流程图。
图4是本申请实施例提供的封边自动检测装置的架构示意图。
图中标号为：检测设备100、封边自动检测装置110、图像获取模块111、特征提炼模块112、信息还原模块113、类型合并模块114、存储器120、处理器130、通信单元140、网络200、拍摄设备300。
具体实施方式
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本申请技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。
在下面的详细描述中，通过实例阐述了许多具体细节，以便提供对相关指导的全面了解。然而，对于本领域的技术人员来说，显然可以在没有这些细节的情况下实施本申请。在其他情况下，公知的方法、程序、系统、组成和/或电路已经在一个相对较高水平上被描述，没有细节，以避免不必要的模糊本申请的方面。
这些和其他特性、当前申请披露的功能、执行的方法、结构中相关元素的功能和部件的组合和生产经济性，在参照附图进行以下描述的考虑中可能会变得更加明显，所有这些形成本申请的一部分。然而，需要理解清楚的是，附图仅仅是为了说明和描述的目的，并不旨在限制本申请的范围。应当了解的是，这些图纸不是按比例绘制的。然而，应当明确理解的是，附图仅用于说明和描述的目的，并不意图限制本申请的范围。应当知晓的是，这些附图并不依照比例。
本申请中使用流程图说明根据本申请的实施例的系统所执行的执行过程。应当明确理解的是，流程图的执行过程可以不按顺序执行。相反，这些执行过程可以以相反的顺序或同时执行。另外，可以将至少一个其他执行过程添加到流程图。一个或多个执行过程可以从流程图中删除。
图1是根据本申请的一些实施例所示的应用场景的组成示意图，包括相互之间通过网络200通信连接的检测设备100和拍摄设备300，拍摄设备300用于拍摄目标家具封边的图像，然后通过网络200传送至检测设备100，检测设备100可以为服务器、电脑等具有数据处理能力的设备。
在一些实施例中，请参照图2，是检测设备100的架构示意图，该检测设备100包括封边自动检测装置110、存储器120、处理器130和通信单元140。存储器120、处理器130以及通信单元140各元件相互之间直接或间接的电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。封边自动检测装置110包括至少一个可以软件或固件(firmware)的形式存储于存储器120中或固化在检测设备100的操作系统(operating system，OS)中的软件功能模块。处理器130用于执行存储器120中存储的可执行模块，例如封边自动检测装置110所包括的软件功能模块及计算机程序等。
其中，所述存储器120可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器120用于存储程序，处理器130在接收到执行指令后，执行所述程序。通信单元140用于通过网络建立检测设备100与拍摄设备300之间的通信连接，并用于通过网络收发数据。
处理器可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
可以理解，图2所示的结构仅为示意，检测设备100还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。
图3是根据本申请的一些实施例所示的一种板式集成家具封边自动检测方法的流程图，该方法应用于图1中的检测设备100，具体可以包括以下步骤S110～S140。在以下步骤的基础上，将对一些可选实施例进行说明，这些实施例应当理解为示例，不应理解为实现本方案所必不可少的技术特征。
步骤S110，获取拟进行多缺陷类型检测的家具封边图像。
家具封边图像为基于摄像设备拍摄的目标板式集成家具的封边部位的图像，例如基于全景拍摄的长封边的整体图像。可以理解，同一板式集成家具的封边通常涉及到多个不同位置的部位，可以将同一板式集成家具的多个不同位置的封边部位的图像进行拼接得到家具封边图像。当然，也可以将不同位置的封边部位单独作为家具封边图像。多缺陷类型检测即依照缺陷的上下级关系进行缺陷检测，例如一种缺陷类型上下级示例中，可以为：封边牢固性差-板材脱落-板材起泡。
步骤S120，通过优化好的图像缺陷检测神经网络的特征提炼模块，通过家具封边图像中每个图像分块的语义特征进行语义特征提炼，得到家具封边图像的语义提炼特征。
其中，优化好的图像缺陷检测神经网络，是提前通过调试样本完成网络调试获得的具备对家具封边图像进行多缺陷类型检测的能力的神经网络，图像缺陷检测神经网络的调试环节在后续说明。
本申请实施例中，优化好的图像缺陷检测神经网络的网络组成包括特征提炼模块与信息还原模块，特征提炼模块用于对家具封边图像进行语义特征提炼，得到家具封边图像的语义提炼特征。信息还原模块用于特征提炼模块输出的语义提炼特征进行信息还原，信息还原过程中依据缺陷类型的阶从高到低的逐一进行信息还原得到多个缺陷类型，基于该多个缺陷类型得到家具封边图像的缺陷类型检测树。
家具封边图像的语义提炼特征可以表征整个家具封边图像的全局图像语义，该语义提炼特征基于家具封边图像中每个图像分块的语义特征进行语义特征提炼得到，家具封边图像中每个图像分块的语义特征表征每个图像分块的图像语义，通过语义特征提炼(即对语义特征进行特征编码)可以抽取家具封边图像中图像分块之间的图像语义之间的上下文关系，获得的语义提炼特征可以更精确表达整个家具封边图像。家具封边图像中每个图像分块的语义特征是每个图像分块的特征提炼表示，图像分块特征可以通过图嵌入得到。可以理解，图像分块即对家具封边图像进行拆分得到的图像块，例如可以依照预设的尺寸将家具封边图像进行等分得到，或者依照预设的裁剪窗，依据裁剪窗的移动步长对家具封边图像进行移动裁剪得到，具体不做限定。
作为一种实施方式，特征提炼模块与信息还原模块都可以为深度神经网络，例如卷积神经网络、循环神经网络、长短时记忆网络等。特征提炼模块与信息还原模块均包括输入网络层、中间网络层(又叫隐藏网络层)和输出网络层。特征提炼模块的中间网络层可以对输入网络层传递的数据，例如特征提炼模块的中间网络层可以对输入网络层传递的家具封边图像中每个图像分块的语义特征进行变换，通过特征提炼模块的输出网络层输出家具封边图像的语义提炼特征。信息还原模块的中间网络层可以对输入网络层的数据，例如家具封边图像的语义提炼特，进行激活，通过信息还原模块的输出网络层输出缺陷类型。
本申请实施例中，特征提炼模块可以是Bi-LSTM(双向长短时记忆模型)，通过每个图像分块的语义特征进行语义特征提炼、信息还原模块采用LSTM进行多次信息还原为例进行介绍。
获取家具封边图像后，在特征提炼模块中通过家具封边图像中每个图像分块的语义特征进行语义特征提炼，得到家具封边图像的语义提炼特征。
步骤S130，通过图像缺陷检测神经网络的信息还原模块，通过语义提炼特征进行第一次信息还原得到第一个还原中间特征以及基于第一个还原中间特征得到家具封边图像对应的第一个缺陷类型之后，再次通过前一次信息还原获得的还原中间特征与缺陷类型进行当前信息还原，得到当前信息还原的还原中间特征与缺陷类型，直到信息还原停止。
通过图像缺陷检测神经网络的特征提炼模块，得到家具封边图像的语义提炼特征后，再次通过信息还原模块通过语义提炼特征进行多次信息还原，对应于前述特征提炼过程为编码的过程，信息还原的过程即解码的过程。通过多次信息还原进行迭代信息还原，每次信息还原，信息还原模块的输入网络层得到前一次信息还原输出获得的还原中间特征与缺陷类型，信息还原模块的中间网络层，基于前一次信息还原输出获得的还原中间特征与缺陷类型进行当前信息还原，得到当前信息还原的还原中间特征，信息还原模块的输出网络层则基于当前的还原中间特征得到当前信息还原的缺陷类型，那么，进行多次的信息还原，在满足信息还原停止条件时停止信息还原，得到多次信息还原获得的多个缺陷类型。其中，第一次信息还原的输入是家具封边图像的语义提炼特征，输出信息还原模块的第一个还原中间特征，基于该第一个还原中间特征可以得到家具封边图像的第一个缺陷类型。其中，信息还原停止条件是信息还原的次数符合最大次数，或者信息还原输出的缺陷类型是图像截止标签(例如一个标记END)。即，如果当前信息还原没有输出END，则继续进行下一次信息还原，在信息还原次数符合最大信息还原次数时停止。基于以上信息还原过程，每次信息还原输出一个缺陷类型，信息还原次数等于信息还原输出的家具封边图像的缺陷类型的数量，那么最大信息还原次数可以基于对大量家具封边图像对应的缺陷类型数量进行统计获得。
基于以上信息还原，可以明确，每次信息还原输出的缺陷类型为下次信息还原的生成信息，可进行下次信息还原输出下次信息还原的缺陷类型，如此使每次信息还原输出的缺陷类型的阶，是下次信息还原输出的缺陷类型的相等阶或上一阶，令先进行上层信息的信息还原，后进行下层信息的信息还原，缓解上下层信息统一性的问题。
步骤S140，将信息还原获得的多个缺陷类型依级别进行合并，得到家具封边图像对应的缺陷类型检测树。
其中，缺陷类型检测树可以表征家具封边图像对应的多个缺陷类型以及该多个缺陷类型之间的阶关系。作为一种实施方式，对于信息还原依次获得的多个缺陷类型，通过搜索缺陷类型节点图谱(由多个同阶和不同阶的缺陷类型构成的图谱，一个节点代表一个缺陷类型)，确定每个缺陷类型的阶，以及缺陷类型之间的阶关系，依照缺陷类型的阶以及缺陷类型之间的阶关系，将多个缺陷类型进行合并，得到家具封边图像对应的缺陷类型检测树，例如包含根节点、枝节点、叶节点，每个阶的节点代表一个阶的缺陷类型，依照阶的等级进行连接，完成合并，得到缺陷类型检测树，例如，封边牢固性差-板材脱落-板材起泡。
以上板式集成家具封边自动检测方法中，通过语义提炼特征进行第一次信息还原得到第一个还原中间特征与对应的第一个缺陷类型之后，再次通过前一次信息还原获得的还原中间特征与缺陷类型进行当前信息还原，由于每次信息还原考虑了前一次信息还原获得的缺陷类型，那么当前信息还原获得的缺陷类型与前一次信息还原得到缺陷类型之间即可更好地保证上下层信息统一性，即先进行上层信息的信息还原，后进行下层信息的信息还原，由此缓解上下层信息统一性的问题，将该多个缺陷类型依级别进行合并获得的缺陷类型检测树可以精确表达家具封边图像对应的多缺陷类型。
作为一种实施方式，每个图像分块在家具封边图像中的语义特征在获取时可以包括：将家具封边图像输入图像缺陷检测神经网络的特征提炼模块；通过特征提炼模块的图像分块量化模块(即一个图像编码器单元)，搜索图像分块匹配列表得到家具封边图像中每个图像分块的图像分块标记，将检测码以及每个图像分块的图像分块标记特征提炼为相应的图像分块特征，每个图像分块的图像分块特征被配置为指示对应图像分块的图像语义，检测码对应的图像分块特征被配置为指示家具封边图像的全局图像语义；将家具封边图像中每个图像分块的图像分块特征分别与检测码的图像分块特征融合，得到每个图像分块在家具封边图像中的语义特征。
本实施例中，图像缺陷检测神经网络的特征提炼模块包括图像分块量化模块，图像分块量化模块是一个编码器单元，用于将每个图像分块转换为相应的语义特征，图像分块量化模块可以为预训练的卷积神经网络，将每个图像分块特征提炼为相应的图像分块特征。
具体地，将家具封边图像中的每个图像分块，通过搜索图像分块匹配列表得到每个图像分块的图像分块标记(例如标记为picture_x)后，将检测码{test}以及每个图像分块的图像分块标记输入图像分块量化模块，输出各自的图像分块特征(本质为一个特征向量)，其中检测码{test}的图像分块特征可以记为test特征，每个图像分块的图像分块特征可以记为picture特征，test特征被配置为指示家具封边图像的全局图像语义，每个图像分块的picture特征表征对应图像分块的图像语义。然后通过特征提炼模块分别将每个picture特征和test特征进行组合(拼接在一起，比如相加或者相连)，得到每个图像分块的语义特征，因为test特征表征家具封边图像的全局图像语义，那么组合获得的特征包含了家具封边图像的全局图像语义，即为每个图像分块的语义特征。图像分块匹配列表即事先设置的记录各个图像分块(例如其特征向量)与匹配的图像分块标记的列表。
作为一种实施方式，步骤S140包括：将家具封边图像中每个图像分块的语义特征，输入特征提炼模块的全局特征提炼单元；在全局特征提炼单元的中间网络层中，依照家具封边图像中每个图像分块的次序，依次对相应的语义特征进行处理，依次获得全局特征提炼单元对应每个图像分块的特征提炼中间特征，当处理至家具封边图像中的最后一个图像分块时，将获得的全局特征提炼单元对应最后一个图像分块的特征提炼中间特征作为家具封边图像的语义提炼特征。
其中，全局特征提炼单元可以为循环神经网络(RNN)、卷积神经网络(CNN)、长短时记忆神经网络(LSTM)等。获得家具封边图像中每个图像分块的图像分块特征后，全局特征提炼单元通过家具封边图像中每个图像分块的图像分块特征生成家具封边图像的语义提炼特征，即二次特征提炼。二次特征提炼时，将图像分块之间之间在家具封边图像中的上下文关系纳入考量，上下文关系可以为自前向后的上下文关系，可以是自后向前的上下文关系，或者双向的上下文关系，以令特征提炼获得的家具封边图像的语义提炼特征可以精确表达家具封边图像的全局语义信息。
那么，在全局特征提炼单元的中间网络层中，依据家具封边图像中每个图像分块的次序，重复将前一次的输出结果和当前图像分块的语义特征作为当前的输入进行计算，当处理至家具封边图像中的最后一个图像分块即最后一次运算时停止，将获得的全局特征提炼单元对应最后一个图像分块的特征提炼中间特征(即编码过程中产生的隐藏层特征)确定为家具封边图像的语义提炼特征。因为第一次处理没有前一次输出结果，则第一次输出的结果可以为初始特征提炼中间特征。考虑自前向后的上下文关系时，最后一个图像分块是家具封边图像中的最后一个图像分块，在考虑自后向前的上下文关系时，最后一个图像分块是家具封边图像中的第一个图像分块。
作为一种实施方式，在全局特征提炼单元为正向特征提炼单元(即向前编码，Forward Encoding)时，可以在正向特征提炼单元的中间网络层中，依家具封边图像中每个图像分块的次序，朝正方向(也就是向前)对每个图像分块相应的语义特征进行处理，依次获得正向特征提炼单元对应每个图像分块的正向特征提炼中间特征，当处理至家具封边图像中的最后一个图像分块时，将获得的正向特征提炼单元对应最后一个图像分块的正向特征提炼中间特征作为家具封边图像的语义提炼特征。例如，依照家具封边图像中每个图像分块的次序，朝正方向将每个图像分块的语义特征作为正向特征提炼单元的中间网络层当下处理的语义特征；在当下处理的语义特征为家具封边图像中第一个图像分块对应的语义特征时，通过中间网络层通过初始的正向特征提炼中间特征与第一个图像分块对应的语义特征，得到第一个图像分块对应的正向特征提炼中间特征；在当下处理的语义特征不是家具封边图像中第一个图像分块对应的语义特征时，通过中间网络层通过前一次处理获得的正向特征提炼中间特征与当下处理的语义特征，得到当下处理获得的正向特征提炼中间特征。
即，从家具封边图像的第一个图像分块对应的语义特征开始处理，通过正向特征提炼单元的中间网络层，重复将前一次的输出结果与当下处理的图像分块语义特征作为当前运算的输入，将对家具封边图像中最后一个图像分块处理获得的正向特征提炼中间特征确定为整个家具封边图像的语义提炼特征。
作为一种实施方式，在全局特征提炼单元为逆向特征提炼单元(即向后编码，Backward Encoding)时，可以在逆向特征提炼单元的中间网络层中，依照家具封边图像中每个图像分块的次序，朝反方向对每个图像分块相应的语义特征进行处理，依次获得逆向特征提炼单元对应每个图像分块的逆向特征提炼中间特征，当处理至家具封边图像中的第一个图像分块时，将获得的逆向特征提炼单元对应第一个图像分块的逆向特征提炼中间特征作为家具封边图像的语义提炼特征。例如，依照家具封边图像中每个图像分块的次序，朝反方向(即向后)将每个图像分块的语义特征作为前后特征提炼单元的中间网络层当下处理的语义特征；在当下处理的语义特征为家具封边图像中最后一个图像分块对应的语义特征时，通过中间网络层通过初始的逆向特征提炼中间特征与最后一个图像分块对应的语义特征，得到最后一个图像分块对应的逆向特征提炼中间特征；在当下处理的语义特征不是家具封边图像中最后一个图像分块对应的语义特征时，通过中间网络层通过前一次处理获得的逆向特征提炼中间特征与当下处理的语义特征，得到当下处理获得的逆向特征提炼中间特征。
即，从家具封边图像的最后一个图像分块对应的语义特征开始处理，通过逆向特征提炼单元的中间网络层，重复将前一次的输出结果与当下处理的图像分块语义特征作为当前运算的输入，直到完成最后一次运算，将对家具封边图像中第一个图像分块处理获得的逆向特征提炼中间特征作为整个家具封边图像的语义提炼特征。
作为一种实施方式，在全局特征提炼单元为前后特征提炼单元(即具有双向的编码，Bidirectional Encoding)时，可以在前后特征提炼单元的中间网络层中，依照家具封边图像中每个图像分块的次序，朝正方向对每个图像分块相应的语义特征进行处理，依次获得前后特征提炼单元对应每个图像分块的正向特征提炼中间特征，当处理至家具封边图像中的最后一个图像分块时，得到前后特征提炼单元对应最后一个图像分块的正向特征提炼中间特征；在前后特征提炼单元的中间网络层中，依照家具封边图像中每个图像分块的次序，朝反方向对每个图像分块相应的语义特征进行处理，依次获得前后特征提炼单元对应每个图像分块的逆向特征提炼中间特征，当处理至家具封边图像中的第一个图像分块时，得到前后特征提炼单元对应第一个图像分块的逆向特征提炼中间特征；通过最后一个图像分块的正向特征提炼中间特征与第一个图像分块的逆向特征提炼中间特征，得到家具封边图像的语义提炼特征。
本申请实施例中，前后特征提炼单元对家具封边图像中每个图像分块进行正向处理的过程和采用正向特征提炼单元对家具封边图像中每个图像分块进行处理过程相同，前后特征提炼单元对家具封边图像中每个图像分块进行逆向处理的过程和采用逆向特征提炼单元对家具封边图像中每个图像分块进行处理的过程相同。在全局特征提炼单元为前后特征提炼单元时，依照正向运算得到最后一个图像分块对应的正向特征提炼中间特征、依照逆向运算得到第一个图像分块对应的逆向特征提炼中间特征之后，将最后一个图像分块对应的正向特征提炼中间特征与第一个图像分块对应的逆向特征提炼中间特征进行拼接，得到家具封边图像的语义提炼特征。
作为一种实施方式，步骤S130中，通过语义提炼特征进行第一次信息还原得到第一个还原中间特征以及基于第一个还原中间特征得到家具封边图像对应的第一个缺陷类型，具体可以包括：通过信息还原模块，搜索图像开始标签(类似于前述提及的检测码，为一个指示标记，用于指示开始信息)对应的嵌入特征；通过信息还原模块的中间网络层通过图像开始标签对应的嵌入特征与语义提炼特征进行信息还原得到第一个还原中间特征；通过中间网络层的分类映射模块(可以为仿射层)，通过第一个还原中间特征得到第一个缺陷类型特征，将第一个缺陷类型特征中最大值对应的缺陷类型，作为家具封边图像对应的第一个缺陷类型。其中，各缺陷类型的嵌入特征被配置为指示各个缺陷类型，如果缺陷类型之间具有关联性，缺陷类型对应的嵌入特征也具有关联性。图像缺陷检测神经网络在调试时，在信息还原模块中保有各缺陷类型对应的嵌入特征集合，嵌入特征集合包括图像开始标签(如START)对应的嵌入特征与图像截止标签(END)对应的嵌入特征。在网络调试环节中，嵌入特征集合中的嵌入特征随着网络参变量(如权重、偏置)的迭代而迭代，在调试完成时获得各个缺陷类型对应的嵌入特征构成的嵌入特征集。
例如，将家具封边图像的语义提炼特征与图像开始标签对应的嵌入特征作为信息还原模块的第一个输入，加载到信息还原模块的中间网络层中进行执行，得到信息还原模块的第一个还原中间特征，在输出网络层基于该第一个还原中间特征进行分类，得到家具封边图像的第一个缺陷类型。比如，将第一个还原中间特征输入分类映射模块得到缺陷类型特征，通过缺陷类型特征中最大值的分布，确定得到的缺陷类型确定为第一个信息还原获得的缺陷类型。
作为一种实施方式，步骤S130中，通过前一次信息还原获得的还原中间特征与缺陷类型进行当前信息还原，得到当前信息还原的还原中间特征与缺陷类型，直到信息还原停止，包括：通过信息还原模块，搜索前一次信息还原获得的缺陷类型对应的嵌入特征；通过信息还原模块的中间网络层通过前一次信息还原获得的还原中间特征与缺陷类型对应的嵌入特征进行当前信息还原，得到当前信息还原的还原中间特征；通过中间网络层的分类映射模块，通过当前信息还原的还原中间特征得到当前输出的缺陷类型特征，将缺陷类型特征中最大值对应的缺陷类型，作为当前信息还原家具封边图像对应的缺陷类型；如果信息还原次数满足设定次数或通过当前输出的缺陷类型特征输出图像截止标签时，停止信息还原。例如在第二次信息还原时，搜索第一次信息还原获得的第一个缺陷类型对应的嵌入特征，将搜索到的嵌入特征与第一次信息还原获得的还原中间特征，作为第二次信息还原的输入，加载到信息还原模块的中间网络层中，得到第二次信息还原的还原中间特征，通过分类映射模块将第二次信息还原的还原中间特征映射为缺陷类型特征后，通过缺陷类型特征中最大值的分布，确定得到缺陷类型，将其确定为第二次信息还原获得的缺陷类型。
以上提及图像缺陷检测神经网络的调试，下面对其具体过程进行介绍。
作为一种实施方式，图像缺陷检测神经网络的调试流程包括以下步骤：
步骤S210，获取家具封边样本图像以及家具封边样本图像的缺陷类型检测树注释信息。
步骤S220，通过图像缺陷检测神经网络的特征提炼模块，通过家具封边样本图像中每个图像分块的语义特征进行语义特征提炼，得到家具封边样本图像的语义提炼特征。
步骤S230，通过图像缺陷检测神经网络的信息还原模块，通过语义提炼特征进行第一次信息还原得到第一个还原中间特征以及基于第一个还原中间特征得到家具封边样本图像对应的第一个缺陷类型之后，再次通过前一次信息还原获得的还原中间特征与缺陷类型进行当前信息还原，得到当前信息还原的还原中间特征与缺陷类型，直到信息还原停止。
步骤S240，通过多次信息还原获得的多个缺陷类型与缺陷类型检测树注释信息所包括的多个缺陷类型之间的误差，调试图像缺陷检测神经网络。
以上步骤S210～S240的具体实施可以参照前述板式集成家具封边自动检测方法的实施例，此处不做赘述。
例如，作为一种实施方式，将家具封边样本图像输入图像缺陷检测神经网络的特征提炼模块；通过特征提炼模块的图像分块量化模块，搜索图像分块匹配列表得到家具封边样本图像中每个图像分块的图像分块标记，将检测码以及每个图像分块的图像分块标记特征提炼为相应的图像分块特征，每个图像分块的图像分块特征被配置为指示对应图像分块的图像语义，检测码对应的图像分块特征被配置为指示家具封边样本图像的全局图像语义；将家具封边样本图像中每个图像分块的图像分块特征分别与检测码的图像分块特征融合，得到每个图像分块在家具封边样本图像中的语义特征。
作为一种实施方式，将家具封边样本图像中每个图像分块的语义特征，输入特征提炼模块的全局特征提炼单元；在全局特征提炼单元的中间网络层中，依照家具封边样本图像中每个图像分块的次序，依次对相应的语义特征进行处理，依次获得全局特征提炼单元对应每个图像分块的特征提炼中间特征，当处理至家具封边样本图像中的最后一个图像分块时，将获得的全局特征提炼单元对应最后一个图像分块的特征提炼中间特征作为家具封边样本图像的语义提炼特征。
作为一种实施方式，全局特征提炼单元为前后特征提炼单元，可以在前后特征提炼单元的中间网络层中，依照家具封边样本图像中每个图像分块的次序，朝正方向对每个图像分块相应的语义特征进行处理，依次获得前后特征提炼单元对应每个图像分块的正向特征提炼中间特征，当处理至家具封边样本图像中的最后一个图像分块时，得到前后特征提炼单元对应最后一个图像分块的正向特征提炼中间特征；在前后特征提炼单元的中间网络层中，依照家具封边样本图像中每个图像分块的次序，朝反方向对每个图像分块相应的语义特征进行处理，依次获得前后特征提炼单元对应每个图像分块的逆向特征提炼中间特征，当处理至家具封边样本图像中的第一个图像分块时，得到前后特征提炼单元对应第一个图像分块的逆向特征提炼中间特征；通过最后一个图像分块的正向特征提炼中间特征与第一个图像分块的逆向特征提炼中间特征，得到家具封边样本图像的语义提炼特征。
作为一种实施方式，可以通过信息还原模块，搜索图像开始标签对应的嵌入特征；通过信息还原模块的中间网络层通过图像开始标签对应的嵌入特征与语义提炼特征进行信息还原得到第一个还原中间特征；通过中间网络层的分类映射模块，通过第一个还原中间特征得到第一个缺陷类型特征，将第一个缺陷类型特征中最大值对应的缺陷类型，作为家具封边样本图像对应的第一个缺陷类型。
作为一种实施方式，可以通过信息还原模块，搜索前一次信息还原获得的缺陷类型对应的嵌入特征；通过信息还原模块的中间网络层通过前一次信息还原获得的还原中间特征与缺陷类型对应的嵌入特征进行当前信息还原，得到当前信息还原的还原中间特征；通过中间网络层的分类映射模块，通过当前信息还原的还原中间特征得到当前输出的缺陷类型特征，将缺陷类型特征中最大值对应的缺陷类型，作为当前信息还原家具封边样本图像对应的缺陷类型；如果信息还原次数满足设定次数或通过当前输出的缺陷类型特征输出图像截止标签时，停止信息还原。
作为一种实施方式，因设置了信息还原停止条件，为信息还原输出图像截止标签END时或信息还原次数达到最大信息还原次数时停止信息还原，则对家具封边样本图像信息还原获得的缺陷类型的数量最多为最大信息还原次数。那么，步骤S240包括：将家具封边样本图像的至少一个缺陷类型检测树注释信息进行冗余清洗，依照缺陷类型的阶从大到小的顺序进行排序，得到家具封边样本图像对应的多个标注缺陷类型构成的序列Sequence1，Sequence1的长度为最大信息还原次数对应的数值，将通过图像缺陷检测神经网络进行多次信息还原输出的多个缺陷类型形成的检测缺陷类型序列Sequence2，Sequence2的长度也为最大信息还原次数对应的数值，与多个标注缺陷类型构成的序列确定网络误差，基于梯度优化算法调节图像缺陷检测神经网络。其中，在多个标注缺陷类型的数量或多次信息还原输出的多个缺陷类型的数量小于最大信息还原次数对应的数值时，可以在其后填充标签，令序列长度为最大信息还原次数对应的数值，帮助确定Sequence1与Sequence2的交叉熵，通过网络误差调试图像缺陷检测神经网络，以及迭代嵌入特征集合。
作为一种实施方式，通过多次信息还原获得的多个缺陷类型与缺陷类型检测树注释信息所包括的多个缺陷类型之间的误差，调试图像缺陷检测神经网络，包括：
步骤S241，确定表征缺陷类型检测树之间的关联关系的同现数表；
步骤S242，通过同现数表所表征的缺陷类型检测树之间的关联关系，确定与缺陷类型检测树注释信息存在关联关系的缺陷类型检测树，作为延伸缺陷类型检测树；
步骤S243，通过多次信息还原获得的多个缺陷类型、缺陷类型检测树注释信息以及延伸缺陷类型检测树，计算网络误差，通过网络误差调试图像缺陷检测神经网络。
通过同现数表(即表示同时出现的数表)，补充家具封边图像可能漏缺的缺陷类型检测树，作为延伸缺陷类型检测树，再通过延伸缺陷类型检测树与原始的缺陷类型检测树注释信息生成标注缺陷类型序列，加入缺陷类型的已有知识，防止网络遗漏缺陷类型，提高网络效果。
作为一种实施方式，通过多次信息还原获得的多个缺陷类型、缺陷类型检测树注释信息以及延伸缺陷类型检测树，计算网络误差，通过网络误差调试图像缺陷检测神经网络，包括：将缺陷类型检测树注释信息与延伸缺陷类型检测树进行冗余清洗后，得到家具封边样本图像对应的多个标注缺陷类型；通过多个标注缺陷类型与多次信息还原获得的多个缺陷类型，确定网络误差。
在一个示例中，同现数表是一个P×Q的二维数组，Q是缺陷类型检测树数量，数表中的元素可以用N和Y表示，N代表对应元素所处的行、列的两个缺陷类型检测树之间无关联，Y表示有关联。
作为一种实施方式，确定表征缺陷类型检测树之间的关联关系的同现数表，包括：获取家具封边样本图像集合；通过预训练图像网络将家具封边样本图像集合中的每个家具封边图像表征为图像语义特征，将属于每个缺陷类型的家具封边样本图像的图像语义特征进行平均，得到每个缺陷类型的图像语义表征；通过每两个缺陷类型的图像语义表征之间的距离(如余弦距离、欧氏距离)，确定每个缺陷类型的相关缺陷类型；通过每个缺陷类型的相关缺陷类型，生成表征缺陷类型检测树之间的关联关系的同现数表。通过缺陷类型关联的调试样本间的语义相似度，判断两个缺陷类型检测树是否关联，能增加获取相关缺陷类型检测树的速度。可选地，确定相关缺陷类型时，可以获取训练样本，即家具封边样本图像集合，家具封边样本图像集合中的每个家具封边样本图像通过预训练图像网络(如CNN)，得到相应的图像语义特征，然后获取每个缺陷类型检测树下全部家具封边样本图像的图像语义特征，进行均值求解后，得到每个缺陷类型的图像语义表征，再通过图像语义表征，两两确定缺陷类型检测树之间的相似度(例如计算欧氏距离得到)，得到每个缺陷类型检测树的最大的x个相关缺陷类型检测树。这x个相关缺陷类型检测树的位置元素为Y，否则为N。
最后，作为一个详细的实施例，本申请提供的板式集成家具封边自动检测方法包括：
一、结合同现数表调试图像缺陷检测神经网络，具体为：获取家具封边样本图像以及家具封边样本图像的缺陷类型检测树注释信息；通过图像缺陷检测神经网络的特征提炼模块，通过家具封边样本图像中每个图像分块的语义特征进行语义特征提炼，得到家具封边样本图像的语义提炼特征；通过图像缺陷检测神经网络的信息还原模块，通过语义提炼特征进行第一次信息还原得到第一个还原中间特征以及基于第一个还原中间特征得到家具封边样本图像对应的第一个缺陷类型之后，再次通过前一次信息还原获得的还原中间特征与缺陷类型进行当前信息还原，得到当前信息还原的还原中间特征与缺陷类型，直到信息还原停止；获取家具封边样本图像集合；通过预训练的图像网络将家具封边样本图像集合中的每个家具封边图像表征为图像语义特征，将对应每个缺陷类型的家具封边样本图像的图像语义特征进行平均，得到每个缺陷类型的图像语义表征；通过每两个缺陷类型的图像语义表征之间的距离，确定每个缺陷类型的相关缺陷类型；通过每个缺陷类型的相关缺陷类型，生成可表征缺陷类型检测树之间的关联关系的同现数表；通过同现数表所表征的缺陷类型检测树之间的关联关系，确定与缺陷类型检测树注释信息具有关联关系的缺陷类型检测树，作为延伸缺陷类型检测树；将缺陷类型检测树注释信息与延伸缺陷类型检测树进行冗余清洗后，得到家具封边样本图像对应的多个标注缺陷类型；通过多个标注缺陷类型与多次信息还原获得的多个缺陷类型，确定网络误差，通过网络误差调试图像缺陷检测神经网络；获取拟进行多缺陷类型检测的家具封边图像。
二、调取优化好的图像缺陷检测神经网络进行图像缺陷类型检测，具体为：将家具封边图像输入图像缺陷检测神经网络的特征提炼模块；通过特征提炼模块的图像分块量化模块，搜索图像分块匹配列表得到家具封边图像中每个图像分块的图像分块标记，将检测码以及每个图像分块的图像分块标记特征提炼为相应的图像分块特征，每个图像分块的图像分块特征被配置为指示对应图像分块的图像语义，检测码对应的图像分块特征被配置为指示家具封边图像的全局图像语义；将家具封边图像中每个图像分块的图像分块特征分别与检测码的图像分块特征融合，得到每个图像分块在家具封边图像中的语义特征；将家具封边图像输入图像缺陷检测神经网络的特征提炼模块；通过特征提炼模块的图像分块量化模块，搜索图像分块匹配列表得到家具封边图像中每个图像分块的图像分块标记，将检测码以及每个图像分块的图像分块标记特征提炼为相应的图像分块特征，每个图像分块的图像分块特征被配置为指示对应图像分块的图像语义，检测码对应的图像分块特征被配置为指示家具封边图像的全局图像语义；将家具封边图像中每个图像分块的图像分块特征分别与检测码的图像分块特征融合，得到每个图像分块在家具封边图像中的语义特征；依照家具封边图像中每个图像分块的次序，朝正方向将每个图像分块的语义特征作为前后特征提炼单元的中间网络层当下处理的语义特征；在当下处理的语义特征为家具封边图像中第一个图像分块对应的语义特征时，通过中间网络层通过初始的正向特征提炼中间特征与第一个图像分块对应的语义特征，得到第一个图像分块对应的正向特征提炼中间特征；在当下处理的语义特征不是家具封边图像中第一个图像分块对应的语义特征时，通过中间网络层通过前一次处理获得的正向特征提炼中间特征与当下处理的语义特征，得到当下处理获得的正向特征提炼中间特征，当处理至家具封边图像中的最后一个图像分块时，得到前后特征提炼单元对应最后一个图像分块的正向特征提炼中间特征；依照家具封边图像中每个图像分块的次序，朝反方向将每个图像分块的语义特征作为前后特征提炼单元的中间网络层当下处理的语义特征；在当下处理的语义特征为家具封边图像中最后一个图像分块对应的语义特征时，通过中间网络层通过初始的逆向特征提炼中间特征与最后一个图像分块对应的语义特征，得到最后一个图像分块对应的逆向特征提炼中间特征；在当下处理的语义特征不是家具封边图像中最后一个图像分块对应的语义特征时，通过中间网络层通过前一次处理获得的逆向特征提炼中间特征与当下处理的语义特征，得到当下处理获得的逆向特征提炼中间特征，当处理至家具封边图像中的第一个图像分块时，得到前后特征提炼单元对应第一个图像分块的逆向特征提炼中间特征；通过最后一个图像分块的正向特征提炼中间特征与第一个图像分块的逆向特征提炼中间特征，得到家具封边图像的语义提炼特征；通过信息还原模块，搜索图像开始标签对应的嵌入特征；通过信息还原模块的中间网络层通过图像开始标签对应的嵌入特征与语义提炼特征进行信息还原得到第一个还原中间特征；通过中间网络层的分类映射模块，通过第一个还原中间特征得到第一个缺陷类型特征，将第一个缺陷类型特征中最大值对应的缺陷类型，作为家具封边图像对应的第一个缺陷类型；再次通过信息还原模块，搜索前一次信息还原获得的缺陷类型对应的嵌入特征；通过信息还原模块的中间网络层通过前一次信息还原获得的还原中间特征与缺陷类型对应的嵌入特征进行当前信息还原，得到当前信息还原的还原中间特征；通过中间网络层的分类映射模块，通过当前信息还原的还原中间特征得到当前输出的缺陷类型特征，将缺陷类型特征中最大值对应的缺陷类型，作为当前信息还原家具封边图像对应的缺陷类型；如果信息还原次数满足设定次数或通过当前输出的缺陷类型特征输出图像截止标签时，停止信息还原；搜索缺陷类型节点图谱，确定每次信息还原获得的缺陷类型对应的缺陷类型阶；依据缺陷类型阶，将每次信息还原获得的缺陷类型进行合并，得到家具封边图像对应的缺陷类型检测树。
以上在调试图像缺陷检测神经网络的过程中，采用同现数表补充家具封边图像可能遗漏的缺陷类型检测树，将其确定为延伸缺陷类型检测树，并基于该延伸缺陷类型检测树与原始的缺陷类型检测树注释信息生成标注缺陷类型序列，加入缺陷类型的历史知识，克服缺陷类型遗漏的问题，提高网络性能。在调试图像缺陷检测神经网络时，信息还原模块进行多次信息还原，先还原得到缺陷类型阶高的缺陷类型，再通过该缺陷类型进行信息还原得到缺陷类型阶低的缺陷类型，每一次信息还原均将前一次信息还原获得的缺陷类型进行考量，则当前信息还原获得的缺陷类型与前一次信息还原得到缺陷类型之间可以更好地保证上下层信息统一性，即先进行上层信息的信息还原，后进行下层信息的信息还原，由此缓解上下层信息统一性的问题。在检测家具封边图像的缺陷类型检测树时，通过优化好的图像缺陷检测神经网络，逐次检测得到多个缺陷类型后，将多个缺陷类型依级别进行合并获得的缺陷类型检测树，即可精确表达家具封边图像对应的多缺陷类型。
请参照图4，是本发明实施例提供的封边自动检测装置110的功能模块架构示意图，该封边自动检测装置110可用于执行板式集成家具封边自动检测方法，其中，封边自动检测装置110包括：
图像获取模块111，用于获取拟进行多缺陷类型检测的家具封边图像；
特征提炼模块112，用于通过优化好的图像缺陷检测神经网络的特征提炼模块，通过所述家具封边图像中每个图像分块的语义特征进行语义特征提炼，得到所述家具封边图像的语义提炼特征；
信息还原模块113，用于通过所述图像缺陷检测神经网络的信息还原模块，通过所述语义提炼特征进行第一次信息还原得到第一个还原中间特征以及基于所述第一个还原中间特征得到所述家具封边图像对应的第一个缺陷类型之后，再次通过前一次信息还原获得的还原中间特征与缺陷类型进行当前信息还原，得到当前信息还原的还原中间特征与缺陷类型，直到信息还原停止；
类型合并模块114，用于将信息还原获得的多个缺陷类型依级别进行合并，得到所述家具封边图像对应的缺陷类型检测树。
由于在上述实施例中，已经对本发明实施例提供的板式集成家具封边自动检测方法进行了详细的介绍，而该封边自动检测装置110的原理与该方法相同，此处不再对封边自动检测装置110的各模块的执行原理进行赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，物联数据服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供一种计算机存储介质，其中包括多条计算机程序指令，计算机程序指令用于被处理器执行以实现本申请实施例提供的板式集成家具封边自动检测方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
需要理解的是，针对上述内容没有进行名词解释的技术术语，本领域技术人员可以根据上述所公开的内容进行前后推导毫无疑义地确定其所指代的含义。本申请实施例公开的上述内容对于本领域技术人员而言是清楚完整的。应当理解，本领域技术人员基于上述公开的内容对未作解释的技术术语进行推导和分析的过程是基于本申请所记载的内容进行的，因此上述内容并不是对整体方案的创造性的评判。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可以对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同样应当理解的是，为了简化本申请揭示的表述，从而帮助对至少一个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法幷不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

Claims (6)

1.一种板式集成家具封边自动检测方法，其特征在于，所述方法包括：
获取拟进行多缺陷类型检测的家具封边图像；
通过优化好的图像缺陷检测神经网络的特征提炼模块，根据所述家具封边图像中每个图像分块的语义特征进行语义特征提炼，得到所述家具封边图像的语义提炼特征；
通过所述图像缺陷检测神经网络的信息还原模块，根据所述语义提炼特征进行第一次信息还原得到第一个还原中间特征以及基于所述第一个还原中间特征得到所述家具封边图像对应的第一个缺陷类型之后，再次通过前一次信息还原获得的还原中间特征与缺陷类型进行当前信息还原，得到当前信息还原的还原中间特征与缺陷类型，直到信息还原停止；
将信息还原获得的多个缺陷类型依级别进行合并，得到所述家具封边图像对应的缺陷类型检测树；
所述方法还包括：将所述家具封边图像输入所述图像缺陷检测神经网络的特征提炼模块；
通过所述特征提炼模块的图像分块量化模块，搜索图像分块匹配列表得到所述家具封边图像中每个图像分块的图像分块标记，将检测码以及所述每个图像分块的图像分块标记特征提炼为相应的图像分块特征，所述每个图像分块的图像分块特征被配置为指示对应图像分块的图像语义，所述检测码对应的图像分块特征被配置为指示所述家具封边图像的全局图像语义；
将所述家具封边图像中每个图像分块的图像分块特征分别与所述检测码的图像分块特征融合，得到所述每个图像分块在所述家具封边图像中的语义特征；
所述通过优化好的图像缺陷检测神经网络的特征提炼模块，根据所述家具封边图像中每个图像分块的语义特征进行语义特征提炼，得到所述家具封边图像的语义提炼特征，包括：
将所述家具封边图像中每个图像分块的语义特征，输入所述特征提炼模块的全局特征提炼单元；
在所述全局特征提炼单元的中间网络层中，依照所述家具封边图像中每个图像分块的次序，依次对相应的语义特征进行处理，依次获得所述全局特征提炼单元对应每个图像分块的特征提炼中间特征，当处理至所述家具封边图像中的最后一个图像分块时，将获得的所述全局特征提炼单元对应所述最后一个图像分块的特征提炼中间特征作为所述家具封边图像的语义提炼特征；
所述通过所述语义提炼特征进行第一次信息还原得到第一个还原中间特征以及基于所述第一个还原中间特征得到所述家具封边图像对应的第一个缺陷类型，包括：
通过所述信息还原模块，搜索图像开始标签对应的嵌入特征；
通过所述信息还原模块的中间网络层，通过所述图像开始标签对应的嵌入特征与所述语义提炼特征进行信息还原得到第一个还原中间特征；
通过所述中间网络层的分类映射模块，通过所述第一个还原中间特征得到第一个缺陷类型特征，将所述第一个缺陷类型特征中最大值对应的缺陷类型，作为所述家具封边图像对应的第一个缺陷类型；
所述通过前一次信息还原获得的还原中间特征与缺陷类型进行当前信息还原，得到当前信息还原的还原中间特征与缺陷类型，直到信息还原停止，包括：
通过所述信息还原模块，搜索前一次信息还原获得的缺陷类型对应的嵌入特征；
通过所述信息还原模块的中间网络层通过所述前一次信息还原获得的还原中间特征与所述缺陷类型对应的嵌入特征进行当前信息还原，得到当前信息还原的还原中间特征；
通过所述中间网络层的分类映射模块，通过所述当前信息还原的还原中间特征得到当前输出的缺陷类型特征，将所述缺陷类型特征中最大值对应的缺陷类型，作为当前信息还原所述家具封边图像对应的缺陷类型；
如果信息还原次数满足设定次数或通过当前输出的缺陷类型特征输出图像截止标签时，停止信息还原；
其中，所述图像缺陷检测神经网络通过以下步骤进行调试：
获取家具封边样本图像以及所述家具封边样本图像的缺陷类型检测树注释信息；
通过图像缺陷检测神经网络的特征提炼模块，根据所述家具封边样本图像中每个图像分块的语义特征进行语义特征提炼，得到所述家具封边样本图像的语义提炼特征；
通过所述图像缺陷检测神经网络的信息还原模块，根据所述语义提炼特征进行第一次信息还原得到第一个还原中间特征以及基于所述第一个还原中间特征得到所述家具封边样本图像对应的第一个缺陷类型之后，再次通过前一次信息还原获得的还原中间特征与缺陷类型进行当前信息还原，得到当前信息还原的还原中间特征与缺陷类型，直到信息还原停止；
通过多次信息还原获得的多个缺陷类型与所述缺陷类型检测树注释信息所包括的多个缺陷类型之间的误差，调试所述图像缺陷检测神经网络。
2.如权利要求1所述的一种板式集成家具封边自动检测方法，其特征在于，所述全局特征提炼单元为正向特征提炼单元，所述在所述全局特征提炼单元的中间网络层中，依照所述家具封边图像中每个图像分块的次序，依次对相应的语义特征进行处理，依次获得所述全局特征提炼单元对应每个图像分块的特征提炼中间特征，当处理至所述家具封边图像中的最后一个图像分块时，将获得的所述全局特征提炼单元对应所述最后一个图像分块的特征提炼中间特征作为所述家具封边图像的语义提炼特征，包括：
在所述正向特征提炼单元的中间网络层中，依照所述家具封边图像中每个图像分块的次序，朝正方向对所述每个图像分块相应的语义特征进行处理，依次获得所述正向特征提炼单元对应每个图像分块的正向特征提炼中间特征，当处理至所述家具封边图像中的最后一个图像分块时，将获得的所述正向特征提炼单元对应所述最后一个图像分块的正向特征提炼中间特征作为所述家具封边图像的语义提炼特征；
或者，所述全局特征提炼单元为逆向特征提炼单元，所述在所述全局特征提炼单元的中间网络层中，依照所述家具封边图像中每个图像分块的次序，依次对相应的语义特征进行处理，依次获得所述全局特征提炼单元对应每个图像分块的特征提炼中间特征，当处理至所述家具封边图像中的最后一个图像分块时，将获得的所述全局特征提炼单元对应所述最后一个图像分块的特征提炼中间特征作为所述家具封边图像的语义提炼特征，包括：
在所述逆向特征提炼单元的中间网络层中，依照所述家具封边图像中每个图像分块的次序，朝反方向对所述每个图像分块相应的语义特征进行处理，依次获得所述逆向特征提炼单元对应每个图像分块的逆向特征提炼中间特征，当处理至所述家具封边图像中的第一个图像分块时，将获得的所述逆向特征提炼单元对应所述第一个图像分块的逆向特征提炼中间特征作为所述家具封边图像的语义提炼特征；
或者，所述全局特征提炼单元为前后特征提炼单元，所述在所述全局特征提炼单元的中间网络层中，依照所述家具封边图像中每个图像分块的次序，依次对相应的语义特征进行处理，依次获得所述全局特征提炼单元对应每个图像分块的特征提炼中间特征，当处理至所述家具封边图像中的最后一个图像分块时，将获得的所述全局特征提炼单元对应所述最后一个图像分块的特征提炼中间特征作为所述家具封边图像的语义提炼特征，包括：
在所述前后特征提炼单元的中间网络层中，依照所述家具封边图像中每个图像分块的次序，朝正方向对所述每个图像分块相应的语义特征进行处理，依次获得所述前后特征提炼单元对应每个图像分块的正向特征提炼中间特征，当处理至所述家具封边图像中的最后一个图像分块时，得到所述前后特征提炼单元对应所述最后一个图像分块的正向特征提炼中间特征；
在所述前后特征提炼单元的中间网络层中，依照所述家具封边图像中每个图像分块的次序，朝反方向对所述每个图像分块相应的语义特征进行处理，依次获得所述前后特征提炼单元对应每个图像分块的逆向特征提炼中间特征，当处理至所述家具封边图像中的第一个图像分块时，得到所述前后特征提炼单元对应所述第一个图像分块的逆向特征提炼中间特征；
通过所述最后一个图像分块的正向特征提炼中间特征与所述第一个图像分块的逆向特征提炼中间特征，得到所述家具封边图像的语义提炼特征。
3.如权利要求2所述的一种板式集成家具封边自动检测方法，其特征在于，所述依照所述家具封边图像中每个图像分块的次序，朝正方向对所述每个图像分块相应的语义特征进行处理，依次获得所述前后特征提炼单元对应每个图像分块的正向特征提炼中间特征，包括：
依照所述家具封边图像中每个图像分块的次序，朝正方向将每个图像分块的语义特征作为所述前后特征提炼单元的中间网络层当下处理的语义特征；
在当下处理的语义特征为所述家具封边图像中第一个图像分块对应的语义特征时，通过所述中间网络层通过初始的正向特征提炼中间特征与所述第一个图像分块对应的语义特征，得到所述第一个图像分块对应的正向特征提炼中间特征；
在当下处理的语义特征不是所述家具封边图像中第一个图像分块对应的语义特征时，通过所述中间网络层通过前一次处理获得的正向特征提炼中间特征与当下处理的语义特征，得到当下处理获得的正向特征提炼中间特征；
所述依照所述家具封边图像中每个图像分块的次序，朝反方向对所述每个图像分块相应的语义特征进行处理，依次获得所述前后特征提炼单元对应每个图像分块的逆向特征提炼中间特征，包括：
依照所述家具封边图像中每个图像分块的次序，朝反方向将每个图像分块的语义特征作为所述前后特征提炼单元的中间网络层当下处理的语义特征；
在当下处理的语义特征为所述家具封边图像中最后一个图像分块对应的语义特征时，通过所述中间网络层通过初始的逆向特征提炼中间特征与所述最后一个图像分块对应的语义特征，得到所述最后一个图像分块对应的逆向特征提炼中间特征；
在当下处理的语义特征不是所述家具封边图像中最后一个图像分块对应的语义特征时，通过所述中间网络层通过前一次处理获得的逆向特征提炼中间特征与当下处理的语义特征，得到当下处理获得的逆向特征提炼中间特征。
4.如权利要求1所述的一种板式集成家具封边自动检测方法，其特征在于，所述将信息还原获得的多个缺陷类型依级别进行合并，得到所述家具封边图像对应的缺陷类型检测树，包括：
搜索缺陷类型节点图谱，确定每次信息还原获得的缺陷类型对应的缺陷类型阶；
依据所述缺陷类型阶，将每次信息还原获得的缺陷类型进行合并，得到所述家具封边图像对应的缺陷类型检测树。
5.一种封边自动检测装置，其特征在于，包括：
图像获取模块，用于获取拟进行多缺陷类型检测的家具封边图像；
特征提炼模块，用于通过优化好的图像缺陷检测神经网络的特征提炼模块，根据所述家具封边图像中每个图像分块的语义特征进行语义特征提炼，得到所述家具封边图像的语义提炼特征；
信息还原模块，用于通过所述图像缺陷检测神经网络的信息还原模块，根据所述语义提炼特征进行第一次信息还原得到第一个还原中间特征以及基于所述第一个还原中间特征得到所述家具封边图像对应的第一个缺陷类型之后，再次通过前一次信息还原获得的还原中间特征与缺陷类型进行当前信息还原，得到当前信息还原的还原中间特征与缺陷类型，直到信息还原停止；
类型合并模块，用于将信息还原获得的多个缺陷类型依级别进行合并，得到所述家具封边图像对应的缺陷类型检测树；
所述方法还包括：将所述家具封边图像输入所述图像缺陷检测神经网络的特征提炼模块；
通过所述特征提炼模块的图像分块量化模块，搜索图像分块匹配列表得到所述家具封边图像中每个图像分块的图像分块标记，将检测码以及所述每个图像分块的图像分块标记特征提炼为相应的图像分块特征，所述每个图像分块的图像分块特征被配置为指示对应图像分块的图像语义，所述检测码对应的图像分块特征被配置为指示所述家具封边图像的全局图像语义；
将所述家具封边图像中每个图像分块的图像分块特征分别与所述检测码的图像分块特征融合，得到所述每个图像分块在所述家具封边图像中的语义特征；
所述通过优化好的图像缺陷检测神经网络的特征提炼模块，根据所述家具封边图像中每个图像分块的语义特征进行语义特征提炼，得到所述家具封边图像的语义提炼特征，包括：
将所述家具封边图像中每个图像分块的语义特征，输入所述特征提炼模块的全局特征提炼单元；
在所述全局特征提炼单元的中间网络层中，依照所述家具封边图像中每个图像分块的次序，依次对相应的语义特征进行处理，依次获得所述全局特征提炼单元对应每个图像分块的特征提炼中间特征，当处理至所述家具封边图像中的最后一个图像分块时，将获得的所述全局特征提炼单元对应所述最后一个图像分块的特征提炼中间特征作为所述家具封边图像的语义提炼特征；
所述通过所述语义提炼特征进行第一次信息还原得到第一个还原中间特征以及基于所述第一个还原中间特征得到所述家具封边图像对应的第一个缺陷类型，包括：
通过所述信息还原模块，搜索图像开始标签对应的嵌入特征；
通过所述信息还原模块的中间网络层，通过所述图像开始标签对应的嵌入特征与所述语义提炼特征进行信息还原得到第一个还原中间特征；
通过所述中间网络层的分类映射模块，通过所述第一个还原中间特征得到第一个缺陷类型特征，将所述第一个缺陷类型特征中最大值对应的缺陷类型，作为所述家具封边图像对应的第一个缺陷类型；
所述通过前一次信息还原获得的还原中间特征与缺陷类型进行当前信息还原，得到当前信息还原的还原中间特征与缺陷类型，直到信息还原停止，包括：
通过所述信息还原模块，搜索前一次信息还原获得的缺陷类型对应的嵌入特征；
通过所述信息还原模块的中间网络层通过所述前一次信息还原获得的还原中间特征与所述缺陷类型对应的嵌入特征进行当前信息还原，得到当前信息还原的还原中间特征；
通过所述中间网络层的分类映射模块，通过所述当前信息还原的还原中间特征得到当前输出的缺陷类型特征，将所述缺陷类型特征中最大值对应的缺陷类型，作为当前信息还原所述家具封边图像对应的缺陷类型；
如果信息还原次数满足设定次数或通过当前输出的缺陷类型特征输出图像截止标签时，停止信息还原；
其中，所述图像缺陷检测神经网络通过以下步骤进行调试：
获取家具封边样本图像以及所述家具封边样本图像的缺陷类型检测树注释信息；
通过图像缺陷检测神经网络的特征提炼模块，根据所述家具封边样本图像中每个图像分块的语义特征进行语义特征提炼，得到所述家具封边样本图像的语义提炼特征；
通过所述图像缺陷检测神经网络的信息还原模块，根据所述语义提炼特征进行第一次信息还原得到第一个还原中间特征以及基于所述第一个还原中间特征得到所述家具封边样本图像对应的第一个缺陷类型之后，再次通过前一次信息还原获得的还原中间特征与缺陷类型进行当前信息还原，得到当前信息还原的还原中间特征与缺陷类型，直到信息还原停止；
通过多次信息还原获得的多个缺陷类型与所述缺陷类型检测树注释信息所包括的多个缺陷类型之间的误差，调试所述图像缺陷检测神经网络。
6.一种计算机可读存储介质，其特征在于，包括多条计算机程序指令，所述计算机程序指令用于被处理器执行以实现如权利要求1~4任一项所述的方法。
CN202311408660.9A 2023-10-26 2023-10-26 一种板式集成家具封边自动检测方法、装置及存储介质 Active CN117408974B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311408660.9A CN117408974B (zh) 2023-10-26 2023-10-26 一种板式集成家具封边自动检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311408660.9A CN117408974B (zh) 2023-10-26 2023-10-26 一种板式集成家具封边自动检测方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN117408974A CN117408974A (zh) 2024-01-16
CN117408974B true CN117408974B (zh) 2024-04-26

Family

ID=89486717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311408660.9A Active CN117408974B (zh) 2023-10-26 2023-10-26 一种板式集成家具封边自动检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN117408974B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862067A (zh) * 2020-07-28 2020-10-30 中山佳维电子有限公司 一种焊接缺陷检测方法、装置、电子设备以及存储介质
CN111882557A (zh) * 2020-09-28 2020-11-03 成都睿沿科技有限公司 一种焊接缺陷检测方法、装置、电子设备及存储介质
CN112579477A (zh) * 2021-02-26 2021-03-30 北京北大软件工程股份有限公司 一种缺陷检测方法、装置以及存储介质
CN114821063A (zh) * 2022-05-11 2022-07-29 北京百度网讯科技有限公司 语义分割模型的生成方法及装置、图像的处理方法
CN114937204A (zh) * 2022-04-29 2022-08-23 南京信息工程大学 一种轻量级多特征聚合的神经网络遥感变化检测方法
CN114943960A (zh) * 2022-06-23 2022-08-26 平安科技（深圳）有限公司 一种文本识别方法、系统、电子设备及存储介质
CN114972117A (zh) * 2022-06-30 2022-08-30 成都理工大学 一种轨道表面磨损识别分类方法及系统
CN115082413A (zh) * 2022-07-05 2022-09-20 深圳市商汤科技有限公司 缺陷检测方法及装置、电子设备和存储介质
CN115631197A (zh) * 2022-12-21 2023-01-20 中科慧远视觉技术(北京)有限公司 一种图像处理方法、装置、介质、设备及系统
CN116385411A (zh) * 2023-04-10 2023-07-04 重庆化工职业学院 一种图像检测方法及系统
CN116643989A (zh) * 2023-06-02 2023-08-25 湖州师范学院 一种采用图结构进行深层语义理解的缺陷预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131673B (zh) * 2020-09-30 2021-09-28 西南石油大学 基于融合神经网络模型的发动机喘振故障预测系统及方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862067A (zh) * 2020-07-28 2020-10-30 中山佳维电子有限公司 一种焊接缺陷检测方法、装置、电子设备以及存储介质
CN111882557A (zh) * 2020-09-28 2020-11-03 成都睿沿科技有限公司 一种焊接缺陷检测方法、装置、电子设备及存储介质
CN112579477A (zh) * 2021-02-26 2021-03-30 北京北大软件工程股份有限公司 一种缺陷检测方法、装置以及存储介质
CN114937204A (zh) * 2022-04-29 2022-08-23 南京信息工程大学 一种轻量级多特征聚合的神经网络遥感变化检测方法
CN114821063A (zh) * 2022-05-11 2022-07-29 北京百度网讯科技有限公司 语义分割模型的生成方法及装置、图像的处理方法
CN114943960A (zh) * 2022-06-23 2022-08-26 平安科技（深圳）有限公司 一种文本识别方法、系统、电子设备及存储介质
CN114972117A (zh) * 2022-06-30 2022-08-30 成都理工大学 一种轨道表面磨损识别分类方法及系统
CN115082413A (zh) * 2022-07-05 2022-09-20 深圳市商汤科技有限公司 缺陷检测方法及装置、电子设备和存储介质
CN115631197A (zh) * 2022-12-21 2023-01-20 中科慧远视觉技术(北京)有限公司 一种图像处理方法、装置、介质、设备及系统
CN116385411A (zh) * 2023-04-10 2023-07-04 重庆化工职业学院 一种图像检测方法及系统
CN116643989A (zh) * 2023-06-02 2023-08-25 湖州师范学院 一种采用图结构进行深层语义理解的缺陷预测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A deep learning framework using multi-feature fusion recurrent neural networks for energy consumption forecasting;Lei Fang et al.;《Applied Energy》;20230715;第1-8页 *
BP和SAE深度神经网络方法的织物缺陷检测研究;严伟等;《智能物联技术》;20181118;第1卷(第03期);第25-31页 *
Recurrent Fusion Network for Image Captioning;Wenhao Jiang et al.;《arXiv》;20180726;第1-20页 *
基于BERT预训练语言模型的电网设备缺陷文本分类;田园等;《南京理工大学学报》;20200830;第44卷(第04期);第446-453页 *
基于特征金字塔卷积循环神经网络的故障诊断方法;刘秀丽等;《上海交通大学学报》;20211211;第56(度02期);第182-190页 *

Also Published As

Publication number Publication date
CN117408974A (zh) 2024-01-16

Similar Documents

Publication Publication Date Title
Klodt et al. Supervising the new with the old: learning sfm from sfm
Schonberger et al. Structure-from-motion revisited
CN108805180B (zh) 目标对象的检测方法及装置
CN111008643B (zh) 基于半监督学习的图片分类方法、装置和计算机设备
CN109740457B (zh) 一种人脸识别算法评测方法
CN113688665A (zh) 一种基于半监督迭代学习的遥感影像目标检测方法及系统
CN103995780A (zh) 一种基于语句频度统计的程序错误定位方法
CN117408974B (zh) 一种板式集成家具封边自动检测方法、装置及存储介质
CN108459920A (zh) 一种试验数据野值的辨识与修正方法
CN117173568A (zh) 目标检测模型训练方法和目标检测方法
CN115953652B (zh) 目标检测网络批归一化层剪枝方法、装置、设备及介质
CN111767546A (zh) 一种基于深度学习的输入结构推断方法和装置
CN111309584A (zh) 数据处理方法、装置、电子设备及存储介质
CN113139507B (zh) 一种排水管道缺陷照片自动截取方法及其系统
CN114973152A (zh) 基于神经网络的小分子可循环压裂液储存罐的监控方法、装置、介质
CN115640155A (zh) 基于语句依赖和补丁相似性的程序自动修复方法与系统
CN114743048A (zh) 检测异常秸秆图片的方法和检测装置
CN113037521B (zh) 识别通讯设备状态的方法、通讯系统及存储介质
CN115802355B (zh) 一种移动物联网卡管理方法、装置及云平台
CN113673589A (zh) 基于边框距离度量的标签选择自适应增量检测方法及系统
CN107203755B (zh) 一种用于遥感图像时间序列标记样本自动增新的方法、装置和系统
CN106296568A (zh) 一种镜头类型的确定方法、装置及客户端
US20230419653A1 (en) Method for detecting defect of images and electronic device
CN114186583B (zh) 一种储油罐罐壁腐蚀检测异常信号恢复方法及系统
CN117173172B (zh) 一种基于机器视觉的硅胶成型效果检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant