CN113205013B - 物体识别方法、装置、设备及存储介质 - Google Patents

物体识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113205013B
CN113205013B CN202110421160.3A CN202110421160A CN113205013B CN 113205013 B CN113205013 B CN 113205013B CN 202110421160 A CN202110421160 A CN 202110421160A CN 113205013 B CN113205013 B CN 113205013B
Authority
CN
China
Prior art keywords
feature
vectors
self
encoder
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110421160.3A
Other languages
English (en)
Other versions
CN113205013A (zh
Inventor
赵松
杜松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thundercomm Technology Co ltd
Original Assignee
Thundercomm Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thundercomm Technology Co ltd filed Critical Thundercomm Technology Co ltd
Priority to CN202110421160.3A priority Critical patent/CN113205013B/zh
Publication of CN113205013A publication Critical patent/CN113205013A/zh
Application granted granted Critical
Publication of CN113205013B publication Critical patent/CN113205013B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种物体识别方法、装置、设备及存储介质。该方法包括：获取训练样本，训练样本是非残次物体图像；根据特征提取模型提取训练样本的第一特征图，其包括多个特征向量；根据第一自编码器对多个特征向量进行编码和解码，得到多个编码向量和多个解码向量；根据多个特征向量的位置组合每个特征向量对应的编码向量，得到第二特征图；根据第二自编码器对第二特征图进行图像重建，得到第三特征图；根据训练样本和第一特征图训练特征提取模型，根据第一特征图和多个解码向量训练第一自编码器，根据第二特征图和第三特征图训练第二自编码器，得到目标物体识别模型，基于该模型与目标物体图像可以有效地识别目标物体是否为残次物体。

Description

物体识别方法、装置、设备及存储介质
技术领域
本申请涉及深度学习技术领域，尤其涉及一种物体识别方法、装置、设备及存储介质。
背景技术
一般工厂生产的产品的良品率较高，残次产品很少出现。传统的产品识别方案通常是根据产品图像样本集训练预设模型，得到产品识别模型，通过产品识别模型来识别产品残次或者非残次。
但是由于整体产品群体中残次产品的占比较小，产品图像样本集中的正样本即残次产品图像的数量远低于负样本即非残次产品图像的数量，正负样本不均衡，容易导致产品识别模型无法有效地识别出残次产品，识别效果较差。
发明内容
本申请实施例提供了一种物体识别方法、装置、设备及存储介质，能够使有效地识别目标物体是否为残次物体，提高物体识别效果。
第一方面，本申请实施例提供一种物体识别模型的训练方法，初始物体识别模型包括：预设的特征提取模型、预设的第一自编码器和预设的第二自编码器，该方法包括：
获取训练样本，其中，训练样本是非残次物体图像；
根据特征提取模型提取训练样本的第一特征图，其中，第一特征图包括多个特征向量；
根据第一自编码器对第一特征图中的多个特征向量进行编码和解码，得到多个编码向量和多个解码向量；
根据多个特征向量的位置组合每个特征向量对应的编码向量，得到第二特征图；
根据第二自编码器对第二特征图进行图像重建，得到第三特征图；
根据训练样本和第一特征图训练特征提取模型，以及根据第一特征图和多个解码向量训练第一自编码器，以及根据第二特征图和第三特征图训练第二自编码器，得到目标物体识别模型。
在第一方面的一些可实现方式中，特征提取模型包括DenseNet模型或者ResNet模型。
在第一方面的一些可实现方式中，第一自编码器包括全连接自编码器，第二自编码器包括卷积自编码器。
第二方面，本申请实施例提供一种物体识别方法，该方法包括：
获取目标物体图像；
根据目标物体识别模型中的特征提取模型提取目标物体图像的第四特征图，其中，第四特征图包括多个特征向量，目标物体识别模型基于第一方面或者第一方面任一些可实现方式中所述的物体识别模型的训练方法得到；
根据目标物体识别模型中的第一自编码器对第四特征图中的多个特征向量进行编码，得到多个编码向量；
根据多个特征向量的位置组合每个特征向量对应的编码向量，得到第五特征图；
根据目标物体识别模型中的第二自编码器对第五特征图进行图像重建，得到第六特征图；
计算第五特征图与第六特征图中的向量的重建误差，得到第一重建误差分布图；
根据第一重建误差分布图确定目标物体是否为残次物体。
在第二方面的一些可实现方式中，计算第五特征图与第六特征图中的向量的重建误差，得到第一重建误差分布图，包括：
计算第五特征图与第六特征图中的向量的重建误差，得到第二重建误差分布图；
保留第二重建误差分布图中大于或等于预设误差阈值的重建误差，得到第一重建误差分布图。
在第二方面的一些可实现方式中，根据第一重建误差分布图确定目标物体是否为残次物体，包括：
根据图像二值化算法和边缘检测算法对重建误差分布图进行区域检测，确定目标物体是否存在残次区域。
第三方面，本申请实施例提供一种物体识别模型的训练装置，初始物体识别模型包括：预设的特征提取模型、预设的第一自编码器和预设的第二自编码器，该装置包括：
获取模块，用于获取训练样本，其中，训练样本是非残次物体图像；
提取模块，用于根据特征提取模型提取训练样本的第一特征图，其中，第一特征图包括多个特征向量；
编解码模块，用于根据第一自编码器对第一特征图中的多个特征向量进行编码和解码，得到多个编码向量和多个解码向量；
组合模块，用于根据多个特征向量的位置组合每个特征向量对应的编码向量，得到第二特征图；
重建模块，用于根据第二自编码器对第二特征图进行图像重建，得到第三特征图；
训练模块，用于根据训练样本和第一特征图训练特征提取模型，以及根据第一特征图和多个解码向量训练第一自编码器，以及根据第二特征图和第三特征图训练第二自编码器，得到目标物体识别模型。
在第三方面的一些可实现方式中，特征提取模型包括DenseNet模型或者ResNet模型。
在第三方面的一些可实现方式中，第一自编码器包括全连接自编码器，第二自编码器包括卷积自编码器。
第四方面，本申请实施例提供一种物体识别装置，该装置包括：
获取模块，用于获取目标物体图像；
提取模块，用于根据目标物体识别模型中的特征提取模型提取目标物体图像的第四特征图，其中，第四特征图包括多个特征向量，目标物体识别模型基于第一方面或者第一方面任一些可实现方式中所述的物体识别模型的训练方法得到；
编码模块，用于根据目标物体识别模型中的第一自编码器对第四特征图中的多个特征向量进行编码，得到多个编码向量；
组合模块，用于根据多个特征向量的位置组合每个特征向量对应的编码向量，得到第五特征图；
重建模块，用于根据目标物体识别模型中的第二自编码器对第五特征图进行图像重建，得到第六特征图；
计算模块，用于计算第五特征图与第六特征图中的向量的重建误差，得到第一重建误差分布图；
确定模块，用于根据第一重建误差分布图确定目标物体是否为残次物体。
在第四方面的一些可实现方式中，计算模块包括：
计算单元，用于计算第五特征图与第六特征图中的向量的重建误差，得到第二重建误差分布图；
保留单元，用于保留第二重建误差分布图中大于或等于预设误差阈值的重建误差，得到第一重建误差分布图。
在第四方面的一些可实现方式中，确定模块具体用于：根据图像二值化算法和边缘检测算法对重建误差分布图进行区域检测，确定目标物体是否存在残次区域。
第五方面，本申请实施例提供一种物体识别设备，该设备包括：处理器以及存储有计算机程序指令的存储器；处理器执行计算机程序指令时实现第一方面或者第一方面任一些可实现方式中所述的物体识别模型的训练方法，或者，处理器执行计算机程序指令时实现第二方面或者第二方面任一些可实现方式中所述的物体识别方法。
第六方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现第一方面或者第一方面任一些可实现方式中所述的物体识别模型的训练方法，或者，计算机程序指令被处理器执行时实现第二方面或者第二方面任一些可实现方式中所述的物体识别方法。
本申请实施例提供的一种物体识别方法、装置、设备及存储介质，可以获取训练样本。其中，训练样本是非残次物体图像。然后根据初始物体识别模型中的特征提取模型提取训练样本的第一特征图。其中，第一特征图包括多个特征向量。并根据初始物体识别模型中的第一自编码器对多个特征向量进行编码和解码，得到多个编码向量和多个解码向量。接着根据多个特征向量的位置组合每个特征向量对应的编码向量，得到第二特征图，再根据初始物体识别模型中的第二自编码器对第二特征图进行图像重建，得到第三特征图，进而根据训练样本和第一特征图训练特征提取模型，以及根据第一特征图和多个解码向量训练第一自编码器，以及根据第二特征图和第三特征图训练第二自编码器，得到目标物体识别模型。只需使用非残次物体图像就可以训练模型，降低了模型对数据的要求。进而基于该模型与目标物体图像可以有效地识别目标物体是否为残次物体，提高物体识别效果。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种物体识别模型的训练系统的架构示意图；
图2是本申请实施例提供的一种物体识别模型的训练方法的流程示意图；
图3是本申请实施例提供的另一种物体识别模型的训练方法的流程示意图；
图4是本申请实施例提供的一种物体识别方法的流程示意图；
图5是本申请实施例提供的一种物体识别模型的训练装置的结构示意图；
图6是本申请实施例提供的一种物体识别装置的结构示意图；
图7是本申请实施例提供的一种物体识别设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了解决现有技术问题，本申请实施例提供了一种物体识别方法、装置、设备及存储介质。可以获取训练样本。其中，训练样本是非残次物体图像。然后根据初始物体识别模型中的特征提取模型提取训练样本的第一特征图。其中，第一特征图包括多个特征向量。并根据初始物体识别模型中的第一自编码器对多个特征向量进行编码和解码，得到多个编码向量和多个解码向量。接着根据多个特征向量的位置组合每个特征向量对应的编码向量，得到第二特征图，再根据初始物体识别模型中的第二自编码器对第二特征图进行图像重建，得到第三特征图，进而根据训练样本和第一特征图训练特征提取模型，以及根据第一特征图和多个解码向量训练第一自编码器，以及根据第二特征图和第三特征图训练第二自编码器，得到目标物体识别模型。只需使用非残次物体图像就可以训练模型，降低了模型对数据的要求。进而基于该模型与目标物体图像可以有效地识别目标物体是否为残次物体，提高物体识别效果。
在介绍本申请之前，首先介绍下本申请提到的自编码器，具体如下：
自编码器是一种能够通过无监督学习，学到输入数据压缩表示的神经网络。输入数据的这一压缩表示称为编码，其维度一般远小于输入数据，使得自编码器可用于降维。其中，自编码器包含编码器和解码器。其中，编码器用于对输入数据进行编码，得到编码向量，解码器用于根据编码向量重建原始输入。在训练时，解码器强迫编码器选择最有信息量的特征，得到编码向量。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的物体识别方法、装置、设备和存储介质进行详细地说明。
作为一个示例，该物体识别方法可以应用于各种工业产品例如手机配件、汽车配件的识别场景，在此不做限制。由于本申请实施例提供的物体识别方法需要使用到物体识别模型，因此，下面首先结合附图对本申请实施例所提供的物体识别模型的训练方法进行介绍。
图1是本申请实施例提供的一种物体识别模型的训练系统的架构示意图。如图1所示，该训练系统可以包括电子设备110、服务器120。其中，电子设备110可以为服务器、网络附属存储器(Network Attached Storage，NAS)或者个人计算机(Personal Computer，PC)等等。服务器120中存储有训练样本，该训练样本是非残次物体图像。电子设备110可以通过网络与服务器120进行通信，其中，网络可以是有线通信网络或无线通信网络。
参见图1，电子设备110可以从服务器120中获取训练样本。其中，训练样本包括多个，且每个训练样本都是非残次物体图像。然后根据初始物体识别模型中的特征提取模型提取训练样本的第一特征图。其中，第一特征图包括多个特征向量。并根据初始物体识别模型中的第一自编码器对多个特征向量进行编码和解码，得到多个编码向量和多个解码向量。接着根据多个特征向量的位置组合每个特征向量对应的编码向量，得到第二特征图，再根据初始物体识别模型中的第二自编码器对第二特征图进行图像重建，得到第三特征图，进而根据训练样本和第一特征图训练特征提取模型，以及根据第一特征图和多个解码向量训练第一自编码器，以及根据第二特征图和第三特征图训练第二自编码器，得到目标物体识别模型。
下面将详细介绍本申请实施例提供的物体识别模型的训练方法。其中，该训练方法的执行主体可以是图1所示的训练系统中的电子设备110，或者电子设备110中的模块。
图2是本申请实施例提供的一种物体识别模型的训练方法的流程示意图。其中，初始物体识别模型包括：预设的特征提取模型、预设的第一自编码器和预设的第二自编码器。如图2所示，该训练方法可以包括以下步骤：
S210，获取训练样本。
其中，训练样本包括多个，且每个训练样本都是非残次物体图像，即非残次物体的图像，可知非残次物体是没有缺陷的正常物体，残次物体是存在缺陷的异常物体。示例性地，可以从服务器中获取预先存储的训练样本。
S220，根据特征提取模型提取训练样本的第一特征图。
具体地，可以将训练样本输入特征提取模型，由特征提取模型对训练样本进行特征提取，得到第一特征图。其中，第一特征图包括多个特征向量。可选地，特征提取模型可以是DenseNet模型或者ResNet模型。其中，DenseNet模型可以建立中前面所有层与后面层的密集连接(Dense Connection)，还可以通过特征在通道(Channel)上的连接来实现特征重用(Feature Reuse)，具有优越的性能。具体地，DenseNe使用密集块(DenseBlock)+Transition的结构。其中，密集块是包含很多层的模块，每个层的特征图大小相同，层与层之间采用密集连接方式。Transition用于连接两个相邻的DenseBlock，并且通过池化使特征图大小降低。可选地，DenseNet模型可以是DenseNet161模型，包括4个密集块和3个Transition。
示例性地，特征提取模型可以是预先使用大数据集例如ImageNet数据集预训练好的分类模型，具有很强的特征提取能力。
S230，根据第一自编码器对第一特征图中的多个特征向量进行编码和解码，得到多个编码向量和多个解码向量。
具体地，可以将每个特征向量输入第一自编码器，由第一自编码器中的编码器对每个特征向量进行编码，得到每个特征向量对应的编码向量。然后由第一自编码器中的解码器对编码向量进行解码，得到每个特征向量对应的解码向量。也就是说，重新生成与特征向量尽可能相同的解码向量。示例性地，第一自编码器可以包括全连接自编码器。
如此可以通过对第一特征图中的每个特征向量单独进行信息压缩，保留最有信息量的特征，使得后续训练好的目标物体识别模型具有良好地检测局部异常的能力。
S240，根据多个特征向量的位置组合每个特征向量对应的编码向量，得到第二特征图。
具体地，可以将每个特征向量对应的编码向量按照特征向量的位置进行排列组合，得到第二特征图。也就是说，特征向量在第一特征图的位置和与其对应的编码向量在第二特征图的位置相同。
S250，根据第二自编码器对第二特征图进行图像重建，得到第三特征图。
具体地，可以将第二特征图输入第二自编码器，由第二自编码器中的编码器对第二特征图进行编码，得到第二特征图对应的编码特征图，然后由第二自编码器中的解码器对编码特征图进行解码，得到第三特征图。也就是说，重新生成与第二特征图尽可能接近的第三特征图。示例性地，第二自编码器可以包括卷积自编码器即全卷积自编码器。
如此可以通过对特征图重建，提高模型训练速度。同时可以使得后续训练好的目标物体识别模型具有良好地检测全局异常的能力，具有较高的识别效率。
S260，根据训练样本和第一特征图训练特征提取模型，以及根据第一特征图和多个解码向量训练第一自编码器，以及根据第二特征图和第三特征图训练第二自编码器，得到目标物体识别模型。
示例性地，在训练特征提取模型的过程中，可以根据训练样本和第一特征图迭代更新特征提取模型的参数，直至特征提取模型的损失值小于或等于预设损失阈值，此时特征提取模型训练完成。可选地，在特征提取模型是预训练好的分类模型的情况下，可以利用第一特征图进行分类，得到分类结果，根据训练样本对应的标注结果与分类结果微调(FineTune)该模型。
在训练第一自编码器的过程中，可以将第一特征图中的多个特征向量和多个解码向量输入第一自编码器损失函数，计算损失值。然后根据损失值迭代更新第一自编码器的参数，直至损失值小于或等于预设损失阈值，此时第一自编码器训练完成。其中，第一自编码器的损失函数可以为均方误差(Mean Square Error，MSE)损失函数，具体如下：
Figure BDA0003027889990000101
其中，x表示特征向量，y表示解码向量，w表示权重，b表示偏置。
在训练第二自编码器的过程中，可以将第二特征图和第三特征图输入第二自编码器的损失函数，计算损失值。其中，第二自编码器的损失函数可以为均方误差(Mean SquareError，MSE)损失函数。然后根据损失值迭代更新第二自编码器的参数，直至损失值小于或等于预设损失阈值，此时第二自编码器训练完成。
可以理解，在特征提取模型、第一自编码器和第二自编码器都训练完成的情况下，可以得到目标物体识别模型。向目标物体识别模型输入残次物体或非残次物体的图像都可以生成非残次物体的图像。
在本申请实施例中，可以获取训练样本。其中，训练样本是非残次物体图像。然后根据特征提取模型提取训练样本的第一特征图。并根据第一自编码器对多个特征向量进行编码和解码，得到多个编码向量和多个解码向量。接着根据多个特征向量的位置组合每个特征向量对应的编码向量，得到第二特征图，再根据第二自编码器对第二特征图进行图像重建，得到第三特征图，进而根据训练样本和第一特征图训练特征提取模型，以及根据第一特征图和多个解码向量训练第一自编码器，以及根据第二特征图和第三特征图训练第二自编码器，得到目标物体识别模型。如此只需使用非残次物体图像就可以训练模型，无需标注残次区域，降低了模型对数据的要求，节省了标注成本。进而基于该模型与目标物体图像可以有效地识别目标物体是否为残次物体，提高物体识别效果。
下面结合一个具体的示例，对本申请实施例提供的物体识别模型的训练方法进行详细介绍。其中，特征提取模型为DenseNet161模型，第一自编码器为全连接自编码器，第二自编码器为卷积自编码器。
如图3所示，可以先将训练样本输入DenseNet161模型。其中，DenseNet161模型包括密集块1、密集块2、密集块3、密集块4和3个Transition。由DenseNet161模型对训练样本进行特征提取，得到第一特征图，具体地，提取密集块3和其后的Transition的输出作为第一特征图。其中，第一特征图的长和宽均为原图的1/16，通道数为2496，包括多个特征向量。参见图3，第一特征图中的一个小立方体表示一个特征向量。
其次对第一特征图中的每个特征向量进行维度展开(Reshape)，得到已展开的特征向量。其中，一个特征向量的大小为1*1*2496，已展开的特征向量为2496。将已展开的特征向量输入第一自编码器，由第一自编码器中的编码器对每个特征向量进行编码，得到每个特征向量对应的编码向量。其中，编码向量的大小为1*1*256。由第一自编码器中的解码器对编码向量进行解码，得到每个特征向量对应的解码向量。其中，解码向量尽可能与已展开的特征向量相同。
接着将每个特征向量对应的编码向量按照特征向量的位置进行排列组合，得到第二特征图。其中，第二特征图的长和宽和第一特征图相同，通道数为256。
然后将整个第二特征图输入第二自编码器。由第二自编码器中的编码器对第二特征图进行编码，得到第二特征图对应的编码特征图。其中，编码特征图的大小为1*1*64。由第二自编码器中的解码器对编码特征图进行解码，得到第三特征图。其中，第三特征图的长和宽和第二特征图相同，通道数为256。第三特征图尽可能与第二特征图相同。
从而根据训练样本和第一特征图训练特征提取模型，以及根据第一特征图和多个解码向量训练第一自编码器，以及根据第二特征图和第三特征图训练第二自编码器。在特征提取模型的损失值小于或等于预设损失阈值，第一自编码器的损失值小于或等于预设损失阈值，第二自编码器的损失值小于或等于预设损失阈值的情况下，特征提取模型、第一自编码器和第二自编码器训练完成，得到目标物体识别模型。
在得到目标物体识别模型的情况下，可以计算第二特征图与第三特征图中的向量的重建误差，统计误差分布，确定误差阈值，该误差阈值可以用于后续的重建误差筛选。
基于本申请实施例提供的物体识别模型的训练方法，本申请实施例还提供了一种物体识别方法，如图4所示，该物体识别方法可以包括以下步骤：
S410，获取目标物体图像。
其中，目标物体图像是目标物体的图像，目标物体是待识别的物体。
S420，根据目标物体识别模型中的特征提取模型提取目标物体图像的第四特征图。
可以将目标物体图像输入特征提取模型，由特征提取模型对目标物体图像进行特征提取，得到第四特征图。其中，第四特征图包括多个特征向量，目标物体识别模型基于图2或图3所述的物体识别模型的训练方法得到。
S430，根据目标物体识别模型中的第一自编码器对第四特征图中的多个特征向量进行编码，得到多个编码向量。
具体地，可以将第四特征图中的每个特征向量输入第一自编码器，由第一自编码器中的编码器对每个特征向量进行编码，得到每个特征向量对应的编码向量。然后由第一自编码器中的解码器对编码向量进行解码，得到每个特征向量对应的解码向量。
S440，根据多个特征向量的位置组合每个特征向量对应的编码向量，得到第五特征图。
具体地，可以将每个特征向量对应的编码向量按照特征向量的位置进行排列组合，得到第五特征图。
S450，根据目标物体识别模型中的第二自编码器对第五特征图进行图像重建，得到第六特征图。
具体地，可以将第五特征图输入第二自编码器，由第二自编码器中的编码器对第五特征图进行编码，得到第五特征图对应的编码特征图，然后由第二自编码器中的解码器对编码特征图进行解码，得到第六特征图。
S460，计算第五特征图与第六特征图中的向量的重建误差，得到第一重建误差分布图。
示例性地，可以计算第五特征图与第六特征图中的向量的重建误差，得到第二重建误差分布图。对第二重建误差分布图中的重建误差进行筛选，删除第二重建误差分布图中小于预设误差阈值的重建误差，保留第二重建误差分布图中大于或等于预设误差阈值的重建误差，得到第一重建误差分布图。其中，预设误差阈值可以是模型训练时确定的。如此可以过滤掉较小重建误差的干扰，提高识别效率。
可选地，可以计算第五特征图与第六特征图中同一位置的两个的向量的每个通道的重建误差，然后将每个通道的重建误差取绝对值并求和，得到向量的重建误差。
S470，根据第一重建误差分布图确定目标物体是否为残次物体。
示例性地，可以根据图像二值化算法和边缘检测算法对重建误差分布图进行区域检测，确定目标物体是否存在残次区域。
例如，可以确定重建误差分布图中是否存在突出显示的区域，即目标物体的残次区域。
在本申请实施例中，可以基于物体识别模型与目标物体图像有效地识别目标物体残次或非残次，提高物体识别效果。
基于本申请实施例提供的物体识别模型的训练方法，本申请实施例还提供了一种物体识别模型的训练装置，如图5所示，物体识别模型的训练装置500可以包括：
获取模块510，用于获取训练样本。其中，训练样本是非残次物体图像。
提取模块520，用于根据特征提取模型提取训练样本的第一特征图。其中，第一特征图包括多个特征向量。
编解码模块530，用于根据第一自编码器对第一特征图中的多个特征向量进行编码和解码，得到多个编码向量和多个解码向量；
组合模块540，用于根据多个特征向量的位置组合每个特征向量对应的编码向量，得到第二特征图。
重建模块550，用于根据第二自编码器对第二特征图进行图像重建，得到第三特征图。
训练模块560，用于根据训练样本和第一特征图训练特征提取模型，以及根据第一特征图和多个解码向量训练第一自编码器，以及根据第二特征图和第三特征图训练第二自编码器，得到目标物体识别模型。
在一个实施例中，特征提取模型包括DenseNet模型或者ResNet模型。
在一个实施例中，第一自编码器包括全连接自编码器，第二自编码器包括卷积自编码器。
可以理解的是，图5所示的物体识别模型的训练装置500中的各个模块/单元具有实现本申请实施例提供的物体识别模型的训练方法中的各个步骤的功能，并能达到其相应的技术效果，为了简洁，在此不再赘述。
基于本申请实施例提供的物体识别方法，本申请实施例还提供了一种物体识别装置，如图6所示，物体识别装置600可以包括：
获取模块610，用于获取目标物体图像。
提取模块620，用于根据目标物体识别模型中的特征提取模型提取目标物体图像的第四特征图。其中，第四特征图包括多个特征向量，目标物体识别模型基于图2或图3所述的物体识别模型的训练方法得到。
编码模块630，用于根据目标物体识别模型中的第一自编码器对第四特征图中的多个特征向量进行编码，得到多个编码向量。
组合模块640，用于根据多个特征向量的位置组合每个特征向量对应的编码向量，得到第五特征图。
重建模块650，用于根据目标物体识别模型中的第二自编码器对第五特征图进行图像重建，得到第六特征图。
计算模块660，用于计算第五特征图与第六特征图中的向量的重建误差，得到第一重建误差分布图。
确定模块670，用于根据第一重建误差分布图确定目标物体是否为残次物体。
在一个实施例中，计算模块660包括：
计算单元，用于计算第五特征图与第六特征图中的向量的重建误差，得到第二重建误差分布图；
保留单元，用于保留第二重建误差分布图中大于或等于预设误差阈值的重建误差，得到第一重建误差分布图。
在一个实施例中，确定模块670具体用于：根据图像二值化算法和边缘检测算法对重建误差分布图进行区域检测，确定目标物体是否存在残次区域。
可以理解的是，图6所示的物体识别装置600中的各个模块/单元具有实现本申请实施例提供的物体识别方法中的各个步骤的功能，并能达到其相应的技术效果，为了简洁，在此不再赘述。
图7是本申请实施例提供的一种物体识别设备的结构示意图。
如图7所示，本实施例中的物体识别设备700包括输入设备701、输入接口702、中央处理器703、存储器704、输出接口705、以及输出设备706。其中，输入接口702、中央处理器703、存储器704、以及输出接口705通过总线710相互连接，输入设备701和输出设备706分别通过输入接口702和输出接口705与总线710连接，进而与物体识别设备700的其他组件连接。
具体地，输入设备701接收来自外部的输入信息，并通过输入接口702将输入信息传送到中央处理器703；中央处理器703基于存储器704中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器704中，然后通过输出接口705将输出信息传送到输出设备706；输出设备706将输出信息输出到物体识别设备700的外部供用户使用。
在一个实施例中，图7所示的物体识别设备700包括：存储器704，用于存储程序；处理器703，用于运行存储器中存储的程序，以实现本申请实施例提供的物体识别方法。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现本申请实施例提供的物体识别方法。
需要明确的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，为了简洁，不再赘述。本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，做出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、只读存储器(Read-Only Memory，ROM)、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(Radio Frequency，RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种物体识别方法，其特征在于，所述方法包括：
获取目标物体图像；
根据目标物体识别模型中的特征提取模型提取所述目标物体图像的第四特征图，其中，所述第四特征图包括多个特征向量；
根据所述目标物体识别模型中的第一自编码器对所述第四特征图中的多个特征向量进行编码，得到多个编码向量；
根据所述多个特征向量的位置组合每个特征向量对应的编码向量，得到第五特征图；
根据所述目标物体识别模型中的第二自编码器对所述第五特征图进行图像重建，得到第六特征图；
计算所述第五特征图与所述第六特征图中的向量的重建误差，得到第一重建误差分布图；
根据所述第一重建误差分布图确定目标物体是否为残次物体；
其中，所述目标物体识别模型基于以下物体识别模型的训练方法得到：
初始物体识别模型包括：预设的特征提取模型、预设的第一自编码器和预设的第二自编码器，所述方法包括：
获取训练样本，其中，所述训练样本是非残次物体图像；
根据所述特征提取模型提取所述训练样本的第一特征图，其中，所述第一特征图包括多个特征向量；
根据所述第一自编码器对所述第一特征图中的多个特征向量进行编码和解码，得到多个编码向量和多个解码向量；
根据所述多个特征向量的位置组合每个特征向量对应的编码向量，得到第二特征图；
根据所述第二自编码器对所述第二特征图进行图像重建，得到第三特征图；
根据所述训练样本和所述第一特征图训练所述特征提取模型，以及根据所述第一特征图和所述多个解码向量训练所述第一自编码器，以及根据所述第二特征图和所述第三特征图训练所述第二自编码器，得到目标物体识别模型。
2.根据权利要求1所述的方法，其特征在于，所述特征提取模型包括DenseNet模型或者ResNet模型。
3.根据权利要求1所述的方法，其特征在于，所述第一自编码器包括全连接自编码器，所述第二自编码器包括卷积自编码器。
4.根据权利要求1-3任意一项所述的方法，其特征在于，所述计算所述第五特征图与所述第六特征图中的向量的重建误差，得到第一重建误差分布图，包括：
计算所述第五特征图与所述第六特征图中的向量的重建误差，得到第二重建误差分布图；
保留所述第二重建误差分布图中大于或等于预设误差阈值的重建误差，得到第一重建误差分布图。
5.根据权利要求1-3任意一项所述的方法，其特征在于，所述根据所述第一重建误差分布图确定目标物体是否为残次物体，包括：
根据图像二值化算法和边缘检测算法对所述重建误差分布图进行区域检测，确定所述目标物体是否存在残次区域。
6.一种物体识别装置，其特征在于，所述装置包括：
获取模块，用于获取目标物体图像；
提取模块，用于根据目标物体识别模型中的特征提取模型提取所述目标物体图像的第四特征图，其中，所述第四特征图包括多个特征向量；
编码模块，用于根据所述目标物体识别模型中的第一自编码器对所述第四特征图中的多个特征向量进行编码，得到多个编码向量；
组合模块，用于根据所述多个特征向量的位置组合每个特征向量对应的编码向量，得到第五特征图；
重建模块，用于根据所述目标物体识别模型中的第二自编码器对所述第五特征图进行图像重建，得到第六特征图；
计算模块，用于计算所述第五特征图与所述第六特征图中的向量的重建误差，得到第一重建误差分布图；
确定模块，用于根据所述第一重建误差分布图确定目标物体是否为残次物体；
其中，所述目标物体识别模型基于以下物体识别模型的训练方法得到：
初始物体识别模型包括：预设的特征提取模型、预设的第一自编码器和预设的第二自编码器，所述方法包括：
获取训练样本，其中，所述训练样本是非残次物体图像；
根据所述特征提取模型提取所述训练样本的第一特征图，其中，所述第一特征图包括多个特征向量；
根据所述第一自编码器对所述第一特征图中的多个特征向量进行编码和解码，得到多个编码向量和多个解码向量；
根据所述多个特征向量的位置组合每个特征向量对应的编码向量，得到第二特征图；
根据所述第二自编码器对所述第二特征图进行图像重建，得到第三特征图；
根据所述训练样本和所述第一特征图训练所述特征提取模型，以及根据所述第一特征图和所述多个解码向量训练所述第一自编码器，以及根据所述第二特征图和所述第三特征图训练所述第二自编码器，得到目标物体识别模型。
7.根据权利要求6所述的物体识别装置，其特征在于，所述特征提取模型包括DenseNet模型或者ResNet模型。
8.根据权利要求6所述的物体识别装置，其特征在于，所述第一自编码器包括全连接自编码器，所述第二自编码器包括卷积自编码器。
9.一种物体识别设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现如权利要求1-5任意一项所述的物体识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-5任意一项所述的物体识别方法。
CN202110421160.3A 2021-04-19 2021-04-19 物体识别方法、装置、设备及存储介质 Active CN113205013B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110421160.3A CN113205013B (zh) 2021-04-19 2021-04-19 物体识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110421160.3A CN113205013B (zh) 2021-04-19 2021-04-19 物体识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113205013A CN113205013A (zh) 2021-08-03
CN113205013B true CN113205013B (zh) 2023-04-07

Family

ID=77027597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110421160.3A Active CN113205013B (zh) 2021-04-19 2021-04-19 物体识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113205013B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507100A (zh) * 2020-01-14 2020-08-07 上海勃池信息技术有限公司 一种卷积自编码器及基于该编码器的词嵌入向量压缩方法
CN112184654A (zh) * 2020-09-24 2021-01-05 上海电力大学 一种基于生成对抗网络的高压线路绝缘子缺陷检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684901B (zh) * 2017-10-19 2023-06-06 富士通株式会社 图像处理装置和图像处理方法
CN109961184A (zh) * 2019-03-22 2019-07-02 哈尔滨工业大学 基于dnn网络的模拟滤波器健康度估计方法
CN110929772A (zh) * 2019-11-15 2020-03-27 北京奇艺世纪科技有限公司 模型训练方法、样本生成方法、装置、电子设备及存储介质
CN112446869A (zh) * 2020-11-27 2021-03-05 鹏城实验室 基于深度学习的无监督工业品缺陷检测方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507100A (zh) * 2020-01-14 2020-08-07 上海勃池信息技术有限公司 一种卷积自编码器及基于该编码器的词嵌入向量压缩方法
CN112184654A (zh) * 2020-09-24 2021-01-05 上海电力大学 一种基于生成对抗网络的高压线路绝缘子缺陷检测方法

Also Published As

Publication number Publication date
CN113205013A (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
CN108764235B (zh) 目标检测方法、设备及介质
CN115546601B (zh) 一种多目标识别模型及其构建方法、装置及应用
CN111179187A (zh) 基于循环生成对抗网络的单幅图像去雨方法
CN115862030B (zh) 清除图像中文本的算法模型及其构建方法、装置及应用
CN116978011A (zh) 一种用于智能目标识别的图像语义通信方法及系统
CN115147632A (zh) 基于密度峰值聚类算法的图像类别自动标注方法及装置
CN116150125A (zh) 结构化数据生成模型的训练方法、装置、设备及存储介质
CN113689383B (zh) 一种图像处理方法、装置、设备及存储介质
CN113205013B (zh) 物体识别方法、装置、设备及存储介质
CN112949785B (zh) 对象检测方法、装置、设备及计算机存储介质
CN112652299B (zh) 时间序列语音识别深度学习模型的量化方法及装置
US20240013516A1 (en) Method and system for deep learning based image feature extraction
KR102305981B1 (ko) 신경망 압축 훈련 방법 및 압축된 신경망을 이용하는 방법
CN117130615A (zh) 页面数据生成方法、装置、设备及存储介质
CN115905702A (zh) 基于用户需求分析的数据推荐方法及系统
CN115345806A (zh) 对象检测方法、装置、电子设备及可读存储介质
CN116229098A (zh) 一种基于掩模轮廓跟踪的图像识别方法及相关产品
CN116306610A (zh) 模型训练方法及装置、自然语言处理方法及装置
CN114943655A (zh) 基于循环深度卷积生成对抗网络结构的图像修复系统
CN113283450A (zh) 图像识别方法、装置、设备及计算机存储介质
CN115512693A (zh) 音频识别方法、声学模型训练方法、装置和存储介质
WO2022074840A1 (ja) ドメイン特徴抽出器学習装置、ドメイン予測装置、学習方法、学習装置、クラス識別装置及びプログラム
CN111291602A (zh) 视频检测方法、装置、电子设备及计算机可读存储介质
CN113392859A (zh) 一种确定城市功能区域的类型的方法及装置
CN117351232B (zh) 膝关节关键点检测方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant