CN115170471A - 基于图像识别模型的部件识别方法及装置 - Google Patents

基于图像识别模型的部件识别方法及装置 Download PDF

Info

Publication number
CN115170471A
CN115170471A CN202210603045.2A CN202210603045A CN115170471A CN 115170471 A CN115170471 A CN 115170471A CN 202210603045 A CN202210603045 A CN 202210603045A CN 115170471 A CN115170471 A CN 115170471A
Authority
CN
China
Prior art keywords
feature
feature map
image
component
loading tool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210603045.2A
Other languages
English (en)
Inventor
侯嘉悦
郭双双
蒋哲兴
龚星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210603045.2A priority Critical patent/CN115170471A/zh
Publication of CN115170471A publication Critical patent/CN115170471A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种基于图像识别模型的部件识别方法及装置，模型包括：第一特征提取层、第二特征提取层、第一特征融合层、第二特征融合层及部件识别层，方法包括：通过第一特征提取层对包括装载工具的待识别图像进行特征提取，得到全局特征图及概率特征图；通过第一特征融合层对全局特征图及概率特征图进行特征融合，得到中间特征图；通过第二特征提取层对中间特征图进行特征提取，得到各部件的边缘特征图、主体特征图及装载工具的背景特征图；通过第二特征融合层对边缘特征图、主体特征图及背景特征图进行特征融合，得到目标特征图；基于目标特征图，通过部件识别层进行部件识别，得到部件识别结果。如此，能够提高装载工具上部件的识别效率及精度。

Description

基于图像识别模型的部件识别方法及装置
技术领域
本申请涉及人工智能技术，尤其涉及一种试题分类模型的训练方法及装置。
背景技术
随着科学技术的进步和国家进出口贸易的增加，物流运输行业处于逐年迅速发展和需求大量提升的环境，在运输过程中对装载工具的需求量也是逐年增加。当装载工具的一些零部件发生丢失或破损，都会一定程度地影响装载工具的继续使用及货物的成功运输，因此为了确保货物在运输途中的安全，需要对装载工具上的部件进行质量检测，来确保相应装载工具没有损伤，然而，装载工具上部件的种类繁多，降低了在对装载工具上的部件进行质量检测的过程中对相应部件进行识别的效率以及准确性。
发明内容
本申请实施例提供一种基于图像识别模型的部件识别方法、装置、电子设备、计算机可读存储介质及计算机程序产品，能够提高装载工具上部件的识别效率及精度。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种基于图像识别模型的部件识别方法，所述图像识别模型包括第一特征提取层、第二特征提取层、第一特征融合层、第二特征融合层以及部件识别层，包括：
通过所述第一特征提取层，对包括装载工具的待识别图像进行图像特征提取，得到所述装载工具对应的全局特征图，并对所述待识别图像进行概率特征提取，得到用于指示至少两个部件间连接概率的概率特征图；
其中，所述装载工具包括至少两个部件，所述至少两个部件具有固定的部件连接关系；
通过所述第一特征融合层，对所述全局特征图以及所述概率特征图进行特征融合，得到中间特征图；
通过所述第二特征提取层，对所述中间特征图进行特征提取，得到各所述部件的边缘特征图、各所述部件的主体特征图以及所述装载工具的背景特征图；
通过所述第二特征融合层，对所述边缘特征图、所述主体特征图以及所述背景特征图进行特征融合，得到目标特征图；
基于所述目标特征图，通过所述部件识别层，对所述待识别图像中所述装载工具包括的各部件进行识别，得到对应的部件识别结果。
本申请实施例提供一种基于图像识别模型的训练方法，所述图像识别模型包括第一特征提取层、第二特征提取层、第一特征融合层、第二特征融合层以及部件识别层，包括：
通过所述第一特征提取层，对携带标签的、包括装载工具的图像训练样本进行图像特征提取，得到所述装载工具对应的全局特征图，并对所述图像训练样本进行概率特征提取，得到用于指示至少两个部件间连接概率的概率特征图；
其中，所述装载工具包括至少两个部件，所述至少两个部件具有固定的部件连接关系；
通过所述第一特征融合层，对所述全局特征图以及所述概率特征图进行特征融合，得到中间特征图；
通过所述第二特征提取层，对所述中间特征图进行特征提取，得到各所述部件的边缘特征图、各所述部件的主体特征图以及所述装载工具的背景特征图；
通过所述第二特征融合层，对所述边缘特征图、所述主体特征图以及所述背景特征图进行特征融合，得到目标特征图；
基于所述目标特征图，通过所述部件识别层，对所述图像训练样本中所述装载工具包括的各部件进行识别，得到对应的部件识别结果；
获取所述部件识别结果与所述标签的差异，并基于所述差异训练所述图像识别模型；
所述训练得到的图像识别模型用于，对包括目标装载工具的待识别图像中所述目标装载工具的各部件进行识别，所述目标装载工具与所述装载工具具有相同的部件结构。
本申请实施例提供一种基于图像识别模型的部件识别装置，所述图像识别模型包括第一特征提取层、第二特征提取层、第一特征融合层、第二特征融合层以及部件识别层，包括：
第一特征提取模块，用于通过所述第一特征提取层，对包括装载工具的待识别图像进行图像特征提取，得到所述装载工具对应的全局特征图，并对所述待识别图像进行概率特征提取，得到用于指示至少两个部件间连接概率的概率特征图；其中，所述装载工具包括至少两个部件，所述至少两个部件具有固定的部件连接关系；
第一特征融合模块，用于通过所述第一特征融合层，对所述全局特征图以及所述概率特征图进行特征融合，得到中间特征图；
第二特征提取模块，用于通过所述第二特征提取层，对所述中间特征图进行特征提取，得到各所述部件的边缘特征图、各所述部件的主体特征图以及所述装载工具的背景特征图；
第二特征融合模块，用于通过所述第二特征融合层，对所述边缘特征图、所述主体特征图以及所述背景特征图进行特征融合，得到目标特征图；
识别模块，用于基于所述目标特征图，通过所述部件识别层，对所述待识别图像中所述装载工具包括的各部件进行识别，得到对应的部件识别结果。
在上述方案中，所述第一特征提取层包括全局特征提取层以及概率特征提取层；所述第一特征提取模块，还用于通过所述全局特征提取层，对包括装载工具的待识别图像进行图像特征提取，得到所述装载工具对应的全局特征图；通过所述概率特征提取层，对所述待识别图像进行概率特征提取，得到用于指示至少两个部件间连接概率的概率特征图。
在上述方案中，所述第一特征提取模块，还用于通过所述全局特征提取层，对包括装载工具的待识别图像进行图像特征提取，得到至少两个全局子特征图；其中，各所述全局子特征图的尺寸不同；对各所述全局子特征图进行特征拼接，得到所述装载工具对应的全局特征图。
在上述方案中，所述第一特征提取模块，还用于通过所述概率特征提取层，对所述待识别图像进行特征提取，得到各所述部件的部件特征图、以及用于指示所述至少两个部件间的连接关系的连接性特征图；对各所述部件的部件特征图以及所述连接性特征图进行特征融合，得到用于指示至少两个部件间连接概率的概率特征图。
在上述方案中，所述第一特征提取模块，还用于针对各所述部件，对所述部件的部件特征图、以及所述部件的连接性特征图进行特征融合，得到所述部件的中间概率特征图；其中，所述中间概率特征图，用于指示所述部件与除所述部件外任意一个其它部件间的连接概率；对各所述部件的中间概率特征图进行特征拼接，得到用于指示至少两个部件间连接概率的概率特征图。
在上述方案中，所述第一特征融合模块，还用于通过所述第一特征融合层，对所述全局特征图以及所述概率特征图进行乘积处理，得到乘积特征图；将所述乘积特征图作为所述中间特征图。
在上述方案中，所述第二特征提取层包括装载工具特征提取层、部件主体特征提取层以及部件边缘特征提取层；所述第二特征提取模块，还用于通过所述部件主体特征提取层，对所述中间特征图进行特征提取，得到各所述部件的主体特征图；通过所述部件边缘特征提取层，对所述中间特征图进行特征提取，得到各所述部件的边缘特征图；通过所述装载工具特征提取层，对所述中间特征图进行特征提取，得到所述装载工具的背景特征图。
在上述方案中，所述装置还包括图像采集模块，所述图像采集模块，用于获取通过图像采集装置对所述装载工具进行图像采集所得到的图像，作为所述待识别图像。
在上述方案中，所述装置还包括检测模块，所述检测模块，用于基于所述部件识别结果，对识别出的各部件进行缺陷检测，得到检测结果；当所述检测结果表征所述至少两个部件中目标部件存在缺陷时，输出所述目标部件对应的缺陷提示信息。
本申请实施例提供一种图像识别模型的训练装置，所述图像识别模型包括第一特征提取层、第二特征提取层、第一特征融合层、第二特征融合层以及部件识别层，包括：
第一特征提取模块，用于通过所述第一特征提取层，对携带标签的、包括装载工具的图像训练样本进行图像特征提取，得到所述装载工具对应的全局特征图，并对所述图像训练样本进行概率特征提取，得到用于指示至少两个部件间连接概率的概率特征图；其中，所述装载工具包括至少两个部件，所述至少两个部件具有固定的部件连接关系；
第一特征融合模块，用于通过所述第一特征融合层，对所述全局特征图以及所述概率特征图进行特征融合，得到中间特征图；
第二特征提取模块，用于通过所述第二特征提取层，对所述中间特征图进行特征提取，得到各所述部件的边缘特征图、各所述部件的主体特征图以及所述装载工具的背景特征图；
第二特征融合模块，用于通过所述第二特征融合层，对所述边缘特征图、所述主体特征图以及所述背景特征图进行特征融合，得到目标特征图；
识别模块，用于基于所述目标特征图，通过所述部件识别层，对所述图像训练样本中所述装载工具包括的各部件进行识别，得到对应的部件识别结果；
训练模块，获取所述部件识别结果与所述标签的差异，并基于所述差异训练所述图像识别模型；所述训练得到的图像识别模型用于，对包括目标装载工具的待识别图像中所述目标装载工具的各部件进行识别，所述目标装载工具与所述装载工具具有相同的部件结构。
本申请实施例提供一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的基于图像识别模型的部件识别方法。
本申请实施例提供一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的图像识别模型的训练方法。
本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本申请实施例提供的基于图像识别模型的部件识别方法。
本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本申请实施例提供的图像识别模型的训练方法。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行本申请实施例提供的基于图像识别模型的部件识别方法。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行本申请实施例提供的图像识别模型的训练方法。
本申请实施例具有以下有益效果：
首先对待识别图像进行特征提取，得到装载工具的全局特征图、以及装载工具上部件的概率特征图，然后再对将全局特征图和概率特征图融合得到特征图进行特征提取，得到各部件的边缘特征图、主体特征图以及所述装载工具的背景特征图，从而基于将各部件的边缘特征图、主体特征图以及装载工具的背景特征图融合得到的特征图进行部件识别，得到部件识别结果。如此，通过两次特征提取过程，得到装载工具对应的多维度特征，以依据多维度特征对装载工具上的部件进行识别，能够提高所获取特征的全面性，从而提高了装载工具上部件的识别效率以及识别精度。
附图说明
图1是本申请实施例提供的采集到的多个待识别图像的示意图；
图2是本申请实施例提供的集装箱的板面结构的示意图；
图3是本申请实施例提供的集装箱的角柱结构和横梁结构的示意图；
图4是本申请实施例提供的集装箱的门锁杆结构和角件结构的示意图；
图5是本申请实施例提供的基于图像识别模型的部件识别系统100的架构示意图；
图6是本申请实施例提供的电子设备的结构示意图；
图7是本申请实施例提供的基于图像识别模型的部件识别方法的流程示意图；
图8是本申请实施例提供的图像识别模型的结构示意图；
图9是本申请实施例提供的摄像头采集到的包括装载工具的待识别图像的示意图；
图10是本申请实施例提供的基于第一特征提取层确定装载工具对应的全局特征图以及概率特征图的流程示意图；
图11是本申请实施例提供的第一特征提取层的结构示意图；
图12是本申请实施例提供的全局特征提取层的结构示意图；
图13是本申请实施例提供的概率特征提取层的结构示意图；
图14是本申请实施例提供的第一特征融合层的结构示意图；
图15是本申请实施例提供的第二特征提取层的结构示意图；
图16是本申请实施例提供的各部件的主体特征图与待识别图像的对比示意图；
图17是本申请实施例提供的各部件的边缘特征图与待识别图像的对比示意图；
图18是本申请实施例提供的装载工具的背景特征图与待识别图像的对比示意图；
图19是本申请实施例提供的第二特征融合层的结构示意图；
图20是本申请实施例提供的一个图像识别模型的训练方法的流程示意图；
图21是本申请实施例提供的基于图像识别模型的部件识别方法的流程示意图；
图22是本申请实施例提供的基于图像识别模型的部件识别方法的流程示意图；
图23是本申请实施例提供的注意力机制模块的处理示意图；
图24是本申请实施例提供的全局特征提取模块的处理示意图；
图25是本申请实施例提供的三分支的网络输出结构的处理示意图；
图26是本申请实施例提供的图像训练模型的训练装置2600的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。在以下的描述中，所涉及的术语“多个”是指至少两个。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)固定连接结构，一种用于装载工具上部件之间连接的固定结构，如集装箱上的门把手与门锁杆之间的连接结构，或者集装箱上的角件与角柱的之间的连接结构等等。
2)集装箱部件，用于组装集装箱的部件，如波纹板面、门锁杆、门把手、角柱、角件、底横梁和地板等，不同的部件大小结构不同。
3)客户端，终端中运行的用于提供各种服务的应用程序，例如视频客户端、即时通讯客户端、浏览器客户端、教育客户端、部件识别客户端等。
4)注意力机制(Attention Mechanism)，一种多用于自然语言处理的优化结构，近来在视觉领域也有较好的优化效果，通过直接学习像素间的直接作用权重等信息，来更准确地显示图像的区块间的关系，更有利于像素的分割。
5)全局池化(Global Pool)，一种卷积神经网络中常见的池化操作，用于帮助获取感受野最大的特征图，从而便于后续特征图有更好的全局特征。
6)感受野(Receptive Field)，卷积神经网络每一层输出的特征图上的像素点在输入图片上映射的区域大小，即特征图上的每一个点对应输入图上的区域。
7)卷积神经网络(Convolutional Neural Network，CNN)：一种前馈神经网络，一般由一个或者多个卷积层(采用卷积数学运算的网络层)和末端的全连接层组成，其网络内部的神经元可以响应输入图像的部分区域，一般在视觉图像处理领域有着较为出色的表现。
全球化经济的兴盛加深了各国间商品的流通，集装箱作为海上流通时主要商品的装载工具被广泛使用在港口、铁路等多种交通运输场景中。集装箱是一种标准化钢制箱，其结构统一且便于机械化装卸。而集装箱的质量检测是保证集装箱能够持续长久使用的重要环节，当集装箱的一些零部件发生丢失或破损时，都会一定程度地影响集装箱的继续使用及货物的成功运输。然而，集装箱不同的部件有不同的质量把控准则，这使得集装箱的整体质量检测包括各部件的缺陷检测种类繁多且要求复杂，需要投入大量人力资源，并且效率不高。具体地，在对集装箱进行质量检测中，存在以下三个难点，第一，在通过拍摄集装箱的图像对集装箱进行部件识别时，由于图像采集设备的移动性、视角不固定以及位置不固定等问题，使得采集到的图像中集装箱的形态多种多样，同一部件的大小角度也各不相同，如图1所示，图1是本申请实施例提供的采集到的多个待识别图像的示意图；并且，除了图像中的待验集装箱区域，还有多种多样的背景区域，如地面、天空，甚至其他堆放的各种集装箱等等。因此，集装箱本身及背景的多样性都加大了手持设备采集图像中集装箱部件识别的难度；第二，集装箱是一种标准化、精细化的装载工具，零部件众多，达到上百种，且大小不一，形状颜色相异，如气窗、门上凸轮头等零件结构复杂且精细；而集装箱的波纹板面、地板和门板等面积较大，板面结构简单，如图2所示，图2是本申请实施例提供的集装箱的板面结构的示意图，而角柱和横梁等四周棱边又呈现长条状，如图3所示，图3是本申请实施例提供的集装箱的角柱结构和横梁结构的示意图，而门锁杆和角件又结构精细，边缘的分割很难达到精确地边界，同时也容易混入其它类别的区块如板面区块，如图4所示，图4是本申请实施例提供的集装箱的门锁杆结构和角件结构的示意图；第三，集装箱的部件因为结构和功能的差异而对出现缺陷的容忍标准有很大的不同，因此同一缺陷如变形在不同部件上要求也不同，因此部件识别的精确度是这一问题的前提，也即对部件识别提出更高的精度要求。
基于此，本申请实施例提供一种基于图像识别模型的部件识别方法、装置、电子设备、计算机可读存储介质及计算机程序产品，通过一种移动端的手持拍照设备获取集装箱的照片，然后通过深度学习图像分割算法对采集照片中集装箱主体的各类部件区域进行像素级别识别，为后续部件上进一步的缺陷检测等相关任务提供具体的部件位置等信息，如此，能够节约人力、物力并进一步提升质量检测效率以及精度。
参见图5，图5是本申请实施例提供的基于图像识别模型的部件识别系统100的架构示意图，为实现基于图像识别模型的部件识别的应用场景(例如，基于图像识别模型的部件识别的应用场景可以是部件识别APP在进行集装箱部件识别的应用场景，比如用户用手持拍摄设备对集装箱进行拍摄，从而基于该部件识别APP对拍摄得到的集装箱图像进行部件识别，以确定集装箱上的部件)，终端(示例性示出了终端400)通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。
终端400用于供用户使用客户端401，在显示界面401-1显示。终端400和服务器200通过有线或者无线网络相互连接。
终端400用于，获取包括装载工具的待识别图像，并将待识别图像发送至服务器200；
服务器200用于，接收终端400发送的包括装载工具的待识别图像；通过第一特征提取层，对包括装载工具的待识别图像进行图像特征提取，得到装载工具对应的全局特征图，并对待识别图像进行概率特征提取，得到用于指示至少两个部件间连接概率的概率特征图；其中，装载工具包括至少两个部件，至少两个部件具有固定的部件连接关系；通过第一特征融合层，对全局特征图以及概率特征图进行特征融合，得到中间特征图；通过第二特征提取层，对中间特征图进行特征提取，得到各部件的边缘特征图、各部件的主体特征图以及装载工具的背景特征图；通过第二特征融合层，对边缘特征图、主体特征图以及背景特征图进行特征融合，得到目标特征图；基于目标特征图，通过部件识别层，对待识别图像中装载工具包括的各部件进行识别，得到对应的部件识别结果；；并将待识别图像对应的部件识别结果发送至终端400。
终端400用于，接收服务器200发送的待识别图像对应的部件识别结果，从而在显示界面401-1中呈现对应的部件识别结果。
一些实施例中，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN，ContentDeliver Network)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端400可以是智能手机、平板电脑、笔记本电脑、台式计算机、机顶盒、智能语音交互设备、智能家电、车载终端、飞行器、以及移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备，智能音箱及智能手表)等，但并不局限于此。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例中不做限制。
参见图6，图6是本申请实施例提供的电子设备的结构示意图，在实际应用中，电子设备可以为图5示出的服务器200或终端400，参见图6，图6所示的电子设备包括：至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。终端400中的各个组件通过总线系统440耦合在一起。可理解，总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统440。
处理器410可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器450可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。
存储器450包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本申请实施例描述的存储器450旨在包括任意适合类型的存储器。
在一些实施例中，存储器450能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统451，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块452，用于经由一个或多个(有线或无线)网络接口420到达其他计算设备，示例性的网络接口420包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
呈现模块453，用于经由一个或多个与用户接口430相关联的输出装置431(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
输入处理模块454，用于对一个或多个来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本申请实施例提供的基于图像识别模型的部件识别装置可以采用软件方式实现，图6示出了存储在存储器450中的基于图像识别模型的部件识别装置455，其可以是程序和插件等形式的软件，包括以下软件模块：第一特征提取模块4551、第一特征融合模块4552、第二特征提取模块4553、第二特征融合模块4554以及识别模块4555，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。
在另一些实施例中，本申请实施例提供的基于图像识别模型的部件识别装置可以采用硬件方式实现，作为示例，本申请实施例提供的基于图像识别模型的部件识别装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的基于图像识别模型的部件识别方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable LogicDevice)、复杂可编程逻辑器件(CPLD，Complex ProgrammableLogic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
在一些实施例中，终端或服务器可以通过运行计算机程序来实现本申请实施例提供的基于图像识别模型的部件识别方法。举例来说，计算机程序可以是操作系统中的原生程序或软件模块；可以是本地(Native)应用程序(APP，Application)，即需要在操作系统中安装才能运行的程序，如即时通信APP、网页浏览器APP；也可以是小程序，即只需要下载到浏览器环境中就可以运行的程序；还可以是能够嵌入至任意APP中的小程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。
基于上述对本申请实施例提供的基于图像识别模型的部件识别系统及电子设备的说明，下面说明本申请实施例提供的基于图像识别模型的部件识别方法。在实际实施时，本申请实施例提供的基于图像识别模型的部件识别方法可以由终端或服务器单独实现，或者由终端及服务器协同实现，以由图5中的服务器200单独执行本申请实施例提供的基于图像识别模型的部件识别方法为例进行说明。参见图7，图7是本申请实施例提供的基于图像识别模型的部件识别方法的流程示意图，需要说明的是，图像识别模型包括第一特征提取层、第二特征提取层、第一特征融合层、第二特征融合层以及部件识别层，参见图8，图8是本申请实施例提供的图像识别模型的结构示意图，结合图7和图8对示出的步骤进行说明。
步骤101，服务器通过第一特征提取层，对包括装载工具的待识别图像进行图像特征提取，得到装载工具对应的全局特征图，并对待识别图像进行概率特征提取，得到用于指示至少两个部件间连接概率的概率特征图。
其中，装载工具包括至少两个部件，至少两个部件具有固定的部件连接关系。
在实际实施时，包括装载工具的待识别图像可以是预先存储于本地的，也可以是从外界(如互联网)中获取得到的，还可以是将通过图像采集装置对装载工具进行图像采集所得到的图像，作为待识别图像。
作为一个示例，装载工具可以是箱式结构，如集装箱等，而图像采集装置可以是摄像头。摄像头可以是单目摄像头、双目摄像头、深度摄像头、三维(3D，3Dimensions)摄像头等。在实际实施时，调用摄像头开启扫描模式，实时扫描摄像头视野中的装载工具，并按照指定帧率生成图像，如图9所示，图9是本申请实施例提供的摄像头采集到的包括装载工具的待识别图像的示意图。
作为另一个示例，图像采集装置也可以是激光雷达、毫米波雷达等雷达设备。激光雷达是通过发射激光束探测装载工具的位置、速度、姿态、形状等特征数据的雷达设备。毫米波雷达是在毫米波波段探测的雷达设备。雷达设备实时向装载工具发射探测信号，接收装载工具反射回来的回波信号，基于探测信号与回波信号之间的差异，确定目标对象的特征数据。雷达设备采用多个发射器和接收器，由此获取的图像为三维点云图像。
需要说明的是，图像采集装置可以位于移动端，从而基于移动端设备进行图像采集，并进行相应部件识别，如此，移动端设备的灵活性及低成本能够大大提高对装载工具的部件进行识别的可用性和便利性。
在实际实施时，在获取包括装载工具的待识别图像后，参见图10，图10是本申请实施例提供的基于第一特征提取层确定装载工具对应的全局特征图以及概率特征图的流程示意图，这里，第一特征提取层包括全局特征提取层以及概率特征提取层，参见图11，图11是本申请实施例提供的第一特征提取层的结构示意图，基于图10和图11，步骤101还可以通过如下方式实现：
步骤1011，通过全局特征提取层，对包括装载工具的待识别图像进行图像特征提取，得到装载工具对应的全局特征图。
在实际实施时，由于装载工具的左右板、地板等部件的面积较大，因此在待识别图像中占比较大，而为了提高这类部件的识别准确性，降低区块识别误差，即通过全局特征提取层，对包括装载工具的待识别图像进行图像特征提取，得到装载工具对应的全局特征图，参见图12，图12是本申请实施例提供的全局特征提取层的结构示意图，基于图12，通过全局特征提取层，对包括装载工具的待识别图像进行图像特征提取，得到装载工具对应的全局特征图的过程，具体包括，通过全局特征提取层，对包括装载工具的待识别图像进行图像特征提取，得到至少两个全局子特征图；其中，各所述全局子特征图的尺寸不同；然后对各全局子特征图进行特征拼接，得到装载工具对应的全局特征图。
作为示例，待识别图像的大小为H*W*C，其中，H、W和C分别为长、宽和通道的值，这里的待识别图像经过全局特征提取层的图像特征提取后，分别生成1*1*C大小的全局子特征图和2*2*C大小的全局子特征图，然后通过的对生成的两个全局子特征图进行特征拼接，得到H*W*2C大小的全局特征图。
如此，针对面积较大的部件，为减少该部件识别区域上出现其它区块的误检的情况，通过获取多尺度的全局特征图，从而提升在识别相应部件的过程中该类部件的感受野，减低了相关噪声的干扰。
步骤1012，通过概率特征提取层，对待识别图像进行概率特征提取，得到用于指示至少两个部件间连接概率的概率特征图。
在实际实施时，由于装载工具是一种固定连接的结构工具，部件之间具有固定的连接结果，如门把手只连接在门锁杆上，胶条只在门上面等等。因此，对于不同的两个部件间，连接关系也存在差异，这样，可以通过确定任意两个部件间的相关性从而对部件进行识别，具体地，参见图13，图13是本申请实施例提供的概率特征提取层的结构示意图，基于图13，通过所述概率特征提取层，对待识别图像进行特征提取，得到各部件的部件特征图、以及用于指示至少两个部件间的连接关系的连接性特征图；对各部件的部件特征图以及连接性特征图进行特征融合，得到用于指示至少两个部件间连接概率的概率特征图。
需要说明的是，在确定各部件的部件特征图、以及用于指示至少两个部件间的连接关系的连接性特征图之后，需要针对各单一部件，确定该部件与其它部件间的连接关系，也即该部件与其它部件之间连接的概率，具体地，针对各部件，对部件的部件特征图、以及部件的连接性特征图进行特征融合，得到部件的中间概率特征图；其中，中间概率特征图，用于指示部件与除该部件外任意一个其它部件间的连接概率；对各部件的中间概率特征图进行特征拼接，得到用于指示至少两个部件间连接概率的概率特征图。
在实际实施时，针对各部件，确定部件的中间概率特征图的过程具体包括，首先基于部件的部件特征图与部件的连接性特征图，确定对应部件的至少一个内积；基于至少一个内积，确定该部件与其它部件之间的相关度；对各相关度进行求和处理，得到对应该部件的相关度之和；确定各相关度与相关度之和的比值；基于至少一个比值，确定部件的中间概率特征图。示例性地，假设待识别图像的大小为H*W*C，针对相同通道，待识别图像中的部件的集合为X＝{x1，x2，…，xM}，其中，M＝H*W，而该部件为Xt，部件的部件特征图为Vxt，部件的连接性特征为Uxc，则该部件的中间概率特征图为
Figure BDA0003669971600000171
其中，S为对应该部件的至少一个内积，即
Figure BDA0003669971600000172
而
Figure BDA0003669971600000173
为该部件与其它部件之间的相关度。
如此，由于集装箱是一种较为规则的六面体，每一面上都有特定的部件，互相之间位置信息较为固定，因此基于该固定连接结构，通过计算相邻部件间可能连接的连接性概率，能够更好地学习部件之间的关联性，从而减少非相连部件的误检情况，得到更稳定的部件识别结果。
步骤102，通过第一特征融合层，对全局特征图以及概率特征图进行特征融合，得到中间特征图。
参见图14，图14是本申请实施例提供的第一特征融合层的结构示意图，基于图14，在得到全局特征图和概率特征图后，通过第一特征融合层，对全局特征图以及概率特征图进行乘积处理，得到乘积特征图；将乘积特征图作为中间特征图。
如此，在得到全局特征图以及概率特征图后，通过将全局特征图以及概率特征图进行融合，从而进行相应部件的识别，从而更好的利用了部件之间的固定连接结构信息，减少了非关联区块的误识别情况，最终提高了部件识别的准确率。
需要说明的是，当装载工具只包括一个部件时，由于不存在其它部件，因此该部件与其它部件之间连接的概率为0，也即用于指示部件与除该部件外任意一个其它部件间的连接概率的中间概率特征图为0，也即用于指示至少两个部件间连接概率的概率特征图的概率特征图为0，从而通过第一特征融合层，对全局特征图以及概率特征图进行特征融合，得到的中间特征图也即该部件的全局特征图。
步骤103，通过第二特征提取层，对中间特征图进行特征提取，得到各部件的边缘特征图、各部件的主体特征图以及装载工具的背景特征图。
在实际实施时，第二特征提取层包括装载工具特征提取层、部件主体特征提取层以及部件边缘特征提取层，参见图15，图15是本申请实施例提供的第二特征提取层的结构示意图，基于图15，通过第二特征提取层，对中间特征图进行特征提取，得到各部件的边缘特征图、各部件的主体特征图以及装载工具的背景特征图的过程，具体包括，通过部件主体特征提取层，对中间特征图进行特征提取，得到各部件的主体特征图；通过部件边缘特征提取层，对中间特征图进行特征提取，得到各部件的边缘特征图；通过装载工具特征提取层，对中间特征图进行特征提取，得到装载工具的背景特征图。
需要说明的是，由于装载工具的部件的种类繁多，达到上百种，结合部件损坏的概率及视觉特征的相似度等因素考虑，因此通过部件主体特征提取层对装载工具上的部件如顶板、门板、左右板、前板、门锁杆、大支架、凸轮头、铰链板、门上胶条、前底梁、侧底梁、底部梁、门上横梁、角件等进行像素级别的精细识别，示例性地，参见图16，图16是本申请实施例提供的各部件的主体特征图与待识别图像的对比示意图，基于图16，图16中左侧是采集得到的待识别图像，右侧是相应待识别图像中部件的主体特征图。
需要说明的是，对于装载工具而言，除了波纹板和地板等大块部件外，还包括门把手、铰链板等精细小巧的部件，该类部件在图像中往往占比较小，且边界分辨率不够清晰，因此通过部件边缘特征提取层，对装载工具上的精细部件如门把手、大支架、小支架、气窗、胶条等进行边缘特征提取，得到相应部件的边缘特征图，以提高识别部件的边界的精细程度，示例性地，参见图17，图17是本申请实施例提供的各部件的边缘特征图与待识别图像的对比示意图，基于图17，图17中上方是采集得到的待识别图像，下方是相应待识别图像中部件的边缘特征图。
需要说明的是，由于在通过采集设备采集包括装载工具的待识别图像时，会包含很多复杂的背景，如天空、地面和其它装载工具等，因此，为了只对图像中待验装载工具上的部件进行识别，并排除背景中其它装载工具的干扰，通过将装载工具与背景进行二分类的识别，即通过装载工具特征提取层，对中间特征图进行特征提取，得到装载工具的背景特征图，示例性地，参见图18，图18是本申请实施例提供的装载工具的背景特征图与待识别图像的对比示意图，基于图18，图18中左侧是采集得到的待识别图像，右侧是相应待识别图像中装载工具的背景特征图，这里，黑色区域为相较于待验装载工具的背景区域，灰色区域为待验装载工具的主体区域。
如此，结合了复杂的背景以及精细部件，设计三分支的特征提取结构，进一步促进了部件的主体区域与边缘区域的识别效果，并且降低了背景因素以及其他装载工具的干扰，提高了对相应装载工具的部件识别的精确度。
步骤104，通过第二特征融合层，对边缘特征图、主体特征图以及背景特征图进行特征融合，得到目标特征图。
参见图19，图19是本申请实施例提供的第二特征融合层的结构示意图，基于图19，在确定各部件的边缘特征图、各部件的主体特征图以及装载工具的背景特征图之后，通过第二特征融合层，对边缘特征图、主体特征图以及背景特征图进行特征融合，得到目标特征图。
步骤105，基于目标特征图，通过部件识别层，对待识别图像中装载工具包括的各部件进行识别，得到对应的部件识别结果。
在实际实施时，在得到目标特征图后，可以通过部件识别层，先对目标特征图进行降维处理，得到对应的降维目标特征图，基于降维目标特征图，对待识别图像中装载工具包括的各部件进行识别，得到对应的部件识别结果，这里，部件识别结果的呈现形式可以是图片，也可以是文字等，对此，本申请实施例不做限制。需要说明的是，这里的降维处理可以是通过对目标特征图进行全局平均池化的处理，从而将多维的目标特征图转换为一维的目标特征图。
在一些实施例中，在确定对应的部件识别后，可以基于部件识别结果，对识别出的各部件进行缺陷检测，得到检测结果；当检测结果表征至少两个部件中目标部件存在缺陷时，输出目标部件对应的缺陷提示信息。
需要说明的是，这里的缺陷提示信息可以是用于提醒用户维修相应部件，或者可以是用于提醒用户替换相应部件，具体地，基于检测结果，对至少两个部件中目标部件所存在的缺陷进行评分，得到评分结果；将评分结果与预先设定的分数阈值进行比对，得到比对结果；当比对结果表征评分结果大于或等于分数阈值时，输出用于提醒用户维修相应部件的提示信息；当比对结果表征评分结果小于分数阈值时，输出用于提醒用户维修相应部件的提示信息。需要说明的是，还可以将评分结果当作缺陷提示信息，从而直接对评分结果进行输出，以使得用户基于输出的评分结果确定是否维修或替换相应部件。
在一些实施例中，在基于图像识别模型进行部件识别之前，首先对图像识别模型进行训练，参见图20，图20是本申请实施例提供的一个图像识别模型的训练方法的流程示意图，接下来，将结合图20示出的步骤进行说明。
步骤201，服务器通过第一特征提取层，对携带标签的、包括装载工具的图像训练样本进行图像特征提取，得到装载工具对应的全局特征图，并对图像训练样本进行概率特征提取，得到用于指示至少两个部件间连接概率的概率特征图。
其中，装载工具包括至少两个部件，至少两个部件具有固定的部件连接关系，而标签用于指示图像训练样本包括的装载工具上实际存在的部件。
步骤202，通过第一特征融合层，对全局特征图以及概率特征图进行特征融合，得到中间特征图。
步骤203，通过第二特征提取层，对中间特征图进行特征提取，得到各部件的边缘特征图、各部件的主体特征图以及装载工具的背景特征图。
步骤204，通过第二特征融合层，对边缘特征图、主体特征图以及背景特征图进行特征融合，得到目标特征图。
步骤205，基于目标特征图，通过部件识别层，对图像训练样本中装载工具包括的各部件进行识别，得到对应的部件识别结果。
步骤206，获取部件识别结果与标签的差异，并基于差异训练所述图像识别模型。
其中，训练得到的图像识别模型用于，对包括目标装载工具的待识别图像中目标装载工具的各部件进行识别，目标装载工具与装载工具具有相同的部件结构。
在实际实施时，首先获取分类模型对应的损失函数如交叉熵函数等，然后基于得到的识别结果与标签的差异确定损失函数的值，从而基于损失函数的值更新分类模型的模型参数。
示例性地，这里的交叉熵函数可以是
Figure BDA0003669971600000211
其中，Loss表示交叉熵损失函数，R表示图像训练样本中样本的总数，r表示图像训练样本中样本的序号，z(r)表示图像训练样本中第r个样本对应的标签，s(r)表示将图像训练样本中第r个样本输入模型中识别部件的概率。
应用本申请上述实施例，首先对待识别图像进行特征提取，得到装载工具的全局特征图、以及装载工具上部件的概率特征图，然后再对将全局特征图和概率特征图融合得到特征图进行特征提取，得到各部件的边缘特征图、主体特征图以及所述装载工具的背景特征图，从而基于将各部件的边缘特征图、主体特征图以及装载工具的背景特征图融合得到的特征图进行部件识别，得到部件识别结果。如此，通过两次特征提取过程，得到装载工具对应的多维度特征，以依据多维度特征对装载工具上的部件进行识别，能够提高所获取特征的全面性，从而提高了装载工具上部件的识别效率以及识别精度。
下面，继续对本申请实施例提供的基于图像识别模型的部件识别方法进行介绍，图21是本申请实施例提供的基于图像识别模型的部件识别方法的流程示意图，参见图21，本申请实施例提供的基于图像识别模型的部件识别方法由客户端、服务器协同实施。
步骤301，客户端响应于针对图像训练样本的上传操作，获取多个包括装载工具的图像训练样本以及对应的标签。
这里，客户端可以是设置于终端的对装载工具的部件进行识别的识别客户端，图像训练样本可以由用户基于该客户端的人机交互界面，触发人机交互界面中的上传功能项使客户端在人机交互界面呈现图像选择界面，用户则基于该图像选择界面，从终端本地上传图像训练样本，从而使得客户端获得上传的图像训练样本。
在一些实施例中，图像训练样本还可以是由与终端通信连接的摄像头拍摄得到，摄像头在拍摄得到图像训练样本后，将该图像训练样本传输给终端并由终端自动上传至客户端。
步骤302，客户端发送图像训练样本及对应的标签至服务器。
步骤303，服务器将接收到的图像训练样本输入至图像识别模型。
步骤304，输出针对图像训练样本的部件识别结果。
步骤305，获取部件识别结果与标签的差异，并基于差异训练图像识别模型。
在实际实施时，服务器通过迭代上述训练过程，直至损失函数达到收敛，完成对图像识别模型的训练。
步骤306，服务器生成图像识别模型训练完成的提示消息。
步骤307，服务器发送提示消息至客户端。
步骤308，客户端响应于针对包括目标装载工具的待识别图像的上传操作，获取待识别图像。
需要说明的是，待识别图像还可以由与终端通信连接的其他设备发送至客户端；目标装载工具与装载工具具有相同的部件结构。
步骤309，客户端响应于针对待识别图像的识别指令，发送待识别图像至服务器。
在实际实施时，待识别图像的识别指令可以是由一定的触发条件由客户端自动生成，例如客户端获取到待识别图像后则自动生成针对该待识别图像的识别指令，还可以是由与终端通信连接的其他设备发送给客户端，还可以是由用户基于客户端的人机交互界面，触发相应的部件识别功能项后生成。
步骤310，服务器将接收到的待识别图像输入至图像识别模型，以使图像识别模型对待识别图像进行部件识别，得到针对待识别图像包括的目标装载工具上部件的目标部件识别结果。
步骤311，服务器发送目标部件识别结果至客户端。
步骤312，客户端输出接收到的目标部件识别结果。
在实际实施时，客户端可以在该客户端的人机交互界面中呈现针对该待识别图像的部件识别结果，还可以该部件识别结果保存至终端本地，还可以将该部件识别结果发送至与终端通信连接的其他设备等。
应用本申请上述实施例，首先对待识别图像进行特征提取，得到装载工具的全局特征图、以及装载工具上部件的概率特征图，然后再对将全局特征图和概率特征图融合得到特征图进行特征提取，得到各部件的边缘特征图、主体特征图以及所述装载工具的背景特征图，从而基于将各部件的边缘特征图、主体特征图以及装载工具的背景特征图融合得到的特征图进行部件识别，得到部件识别结果。如此，通过两次特征提取过程，得到装载工具对应的多维度特征，以依据多维度特征对装载工具上的部件进行识别，能够提高所获取特征的全面性，从而提高了装载工具上部件的识别效率以及识别精度。
下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。
集装箱是一种广泛使用的标准化的运输包装或无包装货的一种组成工具，对集装箱的整理、统计、质量检测和缺陷检测等是非常重要的环节。智能化地实现对集装箱的这些操作，能大大地提升效率且降低人力成本。然而，相关技术中在对集装箱的质量进行检测中都只是采用传统的图像处理方法对采集到的集装箱图像中的多个集装箱进行简单的分割成多个单独集装箱的图像，具体地，根据接收到的集装箱的扫描图像计算图像阈值；根据图像阈值将扫描图像进行二值化处理，以得到二值化图像；在检测到二值化图像的图像轮廓中具有分割点的情况下，根据分割点对扫描图像执行分割操作，以得到多个单集装箱图像，然而，这样的识别效果较粗糙，且无法有效提取集装箱的部件并进一步提供相应的部件信息。
基于此，本申请实施例提供一种基于图像识别模型的部件识别方法、装置、电子设备、计算机可读存储介质及计算机程序产品，以实现在集装箱的智能化验箱中，通过手持移动设备采集待验箱图片，并结合计算机视觉领域的深度学习图像分割技术和传统的图像处理技术对集装箱的各类部件进行精细的像素级识别，能大大提高验箱的灵活度，降低成像成本，且易于推广，为后续各部件的缺陷检测提供坚实的基础。具体而言，参见图22，图22是本申请实施例提供的基于图像识别模型的部件识别方法的流程示意图，基于图22，通过步骤401至步骤406实现本申请上述基于图像识别模型的部件识别方法，具体地，首先将输入图片(待识别图像)输入至骨架网络以得到输入特征，然后基于全局特征提取模块(全局特征提取层)得到图像特征(全局特征图)，并基于注意力机制模块(概率特征提取层)，得到目标特征(部件特征)及连接性特征(连接性特征图)，以基于目标特征与连接性特征得到连接性概率(概率特征图)，接着对图像特征以及连接性概率进行拼接，得到拼接特征(中间特征图)，从而基于三分支的网络输出结构(第二特征提取层)，得到对应部件边缘区域的特征(边缘特征图)、对应部件主体区域的特征(主体特征图)、以及对应集装箱主体以及背景区域的特征(背景特征图)，最后基于对应部件边缘区域的特征、对应部件主体区域的特征、以及对应集装箱主体以及背景区域的特征，得到最终的识别图像(部件识别结果)。
对于基于注意力机制模块，得到目标特征及连接性特征，以基于目标特征与连接性特征得到连接性概率的过程，参见图23，图23是本申请实施例提供的注意力机制模块的处理示意图，基于图23，在得到目标特征及连接性特征后，将目标特征和可能的连接性特征进行两两点乘，得到相互间的连接性概率，即通过上述公式(1)计算目标特征与其它特征间的相关性表示，来衡量部件间的连接可能性。
对于基于全局特征提取模块，得到图像特征，从而基于图像特征与连接性概率，得到拼接特征的过程，参见图23，基于图23，在得到图像特征与连接性概率后，将图像特征与连接性概率进行相乘，得到拼接特征，从而将具有连接性的特征之间的关联性提高，降低非关联性特征的大小，最后输出拼接特征。
需要说明的是，由于集装箱的左右板、地板等部件的面积较大，在图片中占比较大，为提高这类部件的分割准确性，降低区块识别误差，因此，需要在全局特征提取模块中存在用于输出不同大小的特征图的池化模块，示例性地，参见图24，图24是本申请实施例提供的全局特征提取模块的处理示意图，基于图24，在全局特征提取模块中存在两个不同尺度的池化层，基于大小为H*W*C的输入特征图，通过这两个池化层分别生成1*1*C和2*2*C大小的特征图，然后分别对两个特征图进行卷积，并上采样到原特征图大小即H*W*C，最后将两个特征图在通道层面进行拼接，得到H*W*2C大小的全局特征图即图像特征，这里，H、W和C分别为长、宽和通道的值。
如此，由于集装箱是一种较为规则的六面体，每一面上都有特定的部件，互相之间位置信息较为固定，因此本申请基于该固定连接结构，设计了一种根据部件间位置连接性关系的注意力机制模块，以通过该模块计算相邻部件间可能连接的连接性概率；并且针对面积较大的部件，为减少该部件识别区域上出现其它区块的误检的情况，本申请设计了一种全局的特征提取模块计算总体的图像特征，以提升该类部件的感受野，减低了相关噪声的干扰；同时，在得到连接性概率以及总体的图像特征后，将连接性概率加权到总体的图像特征上去，从而更好的利用了部件之间的固定连接结构信息，有助于提高部件分割的精确度。
对于基于三分支的网络输出结构，为了更好地识别待验集装箱的各种部件，消除背景中集装箱部件的干扰，以及提高面积较小、结构精细的部件的识别效果，这里设计了一种三分支的网络输出结构，参见图25，图25是本申请实施例提供的三分支的网络输出结构的处理示意图，基于图25，对于对应部件主体区域的特征，由于装载工具的部件的种类繁多，达到上百种，结合部件损坏的概率及视觉特征的相似度等因素考虑，因此对装载工具上的部件如顶板、门板、左右板、前板、门锁杆、大支架、凸轮头、铰链板、门上胶条、前底梁、侧底梁、底部梁、门上横梁、角件等进行像素级别的精细识别，示例性地，参见图16，图16中左侧是采集得到的输入图像，右侧是相应输入图像中对应部件主体区域的特征图。
基于图25，对于对应部件边缘区域的特征，对于集装箱而言，除了波纹板和地板等大块部件外，还包括门把手、铰链板等精细小巧的部件，该类部件在图像中往往占比较小，且边界分辨率不够清晰，因此对集装箱上的精细部件如门把手、大支架、小支架、气窗、胶条等进行边缘分割，得到相应部件的边缘线的分割结果，以提高识别部件的边界的精细程度，示例性地，参见图17，图17中上方是采集得到的输入图像，下方是相应输入图像中对应相应部件边缘区域的特征图。
基于图25，对于对应集装箱主体以及背景区域的特征，由于在手持设备采集包括集装箱图片时，会包含很多复杂的背景，如天空、地面和其它集装箱等，因此，为了只对图片中待验集装箱上的部件进行识别，并排除背景中其它集装箱的干扰，通过将集装箱与背景进行二分类的分割，示例性地，参见图18，图18中左侧是采集得到的集装箱图片，右侧是相应集装箱图片中对应集装箱主体以及背景区域的特征图，这里，黑色区域为相较于待验装载工具的背景区域，灰色区域为待验装载工具的主体区域。
在实际实施时，在得到对应部件边缘区域的特征、对应部件主体区域的特征、以及对应集装箱主体以及背景区域的特征后，通过对对应部件边缘区域的特征、对应部件主体区域的特征、以及对应集装箱主体以及背景区域的特征进行特征融合，从而得到最终的识别图像。
需要说明的是，由于背景中的集装箱同样包含有左右波纹板、横梁、角件角柱等部件，为了提升标注效率并降低这些部件的识别干扰，在相应模型的训练过程中，背景区域中所有像素均不参与和部件识别有关分支的损失计算及梯度回传，该分支中的背景区域将由集装箱主体以及背景区域对应的分支给出。
如此，在利用手持设备拍摄的集装箱图片中对集装箱的各个部件进行识别，其区域定位的平均准确率达到89％；同时，针对识别结果，在后续任务中对不同部件分别进行缺陷检测及报告缺陷位置提供了前提条件；同时，手机拍摄的灵活性及低成本大大提高了该技术方案的可用性及便利性。
应用本申请上述实施例，首先对待识别图像进行特征提取，得到装载工具的全局特征图、以及装载工具上部件的概率特征图，然后再对将全局特征图和概率特征图融合得到特征图进行特征提取，得到各部件的边缘特征图、主体特征图以及所述装载工具的背景特征图，从而基于将各部件的边缘特征图、主体特征图以及装载工具的背景特征图融合得到的特征图进行部件识别，得到部件识别结果。如此，通过两次特征提取过程，得到装载工具对应的多维度特征，以依据多维度特征对装载工具上的部件进行识别，能够提高所获取特征的全面性，从而提高了装载工具上部件的识别效率以及识别精度。
下面继续说明本申请实施例提供的基于图像识别模型的部件识别装置455的实施为软件模块的示例性结构，其中，所述图像识别模型包括第一特征提取层、第二特征提取层、第一特征融合层、第二特征融合层以及部件识别层，在一些实施例中，如图6所示，存储在存储器440的基于图像识别模型的部件识别装置455中的软件模块可以包括：
第一特征提取模块4551，用于通过所述第一特征提取层，对包括装载工具的待识别图像进行图像特征提取，得到所述装载工具对应的全局特征图，并对所述待识别图像进行概率特征提取，得到用于指示至少两个部件间连接概率的概率特征图；其中，所述装载工具包括至少两个部件，所述至少两个部件具有固定的部件连接关系；
第一特征融合模块4552，用于通过所述第一特征融合层，对所述全局特征图以及所述概率特征图进行特征融合，得到中间特征图；
第二特征提取模块4553，用于通过所述第二特征提取层，对所述中间特征图进行特征提取，得到各所述部件的边缘特征图、各所述部件的主体特征图以及所述装载工具的背景特征图；
第二特征融合模块4554，用于通过所述第二特征融合层，对所述边缘特征图、所述主体特征图以及所述背景特征图进行特征融合，得到目标特征图；
识别模块4555，用于基于所述目标特征图，通过所述部件识别层，对所述待识别图像中所述装载工具包括的各部件进行识别，得到对应的部件识别结果。
在一些实施例中，所述第一特征提取层包括全局特征提取层以及概率特征提取层；所述第一特征提取模块4551，还用于通过所述全局特征提取层，对包括装载工具的待识别图像进行图像特征提取，得到所述装载工具对应的全局特征图；通过所述概率特征提取层，对所述待识别图像进行概率特征提取，得到用于指示至少两个部件间连接概率的概率特征图。
在一些实施例中，所述第一特征提取模块4551，还用于通过所述全局特征提取层，对包括装载工具的待识别图像进行图像特征提取，得到至少两个全局子特征图；其中，各所述全局子特征图的尺寸不同；对各所述全局子特征图进行特征拼接，得到所述装载工具对应的全局特征图。
在一些实施例中，所述第一特征提取模块4551，还用于通过所述概率特征提取层，对所述待识别图像进行特征提取，得到各所述部件的部件特征图、以及用于指示所述至少两个部件间的连接关系的连接性特征图；对各所述部件的部件特征图以及所述连接性特征图进行特征融合，得到用于指示至少两个部件间连接概率的概率特征图。
在一些实施例中，所述第一特征提取模块4551，还用于针对各所述部件，对所述部件的部件特征图、以及所述部件的连接性特征图进行特征融合，得到所述部件的中间概率特征图；其中，所述中间概率特征图，用于指示所述部件与除所述部件外任意一个其它部件间的连接概率；对各所述部件的中间概率特征图进行特征拼接，得到用于指示至少两个部件间连接概率的概率特征图。
在一些实施例中，所述第一特征融合模块4552，还用于通过所述第一特征融合层，对所述全局特征图以及所述概率特征图进行乘积处理，得到乘积特征图；将所述乘积特征图作为所述中间特征图。
在一些实施例中，所述第二特征提取层包括装载工具特征提取层、部件主体特征提取层以及部件边缘特征提取层；所述第二特征提取模块4553，还用于通过所述部件主体特征提取层，对所述中间特征图进行特征提取，得到各所述部件的主体特征图；通过所述部件边缘特征提取层，对所述中间特征图进行特征提取，得到各所述部件的边缘特征图；通过所述装载工具特征提取层，对所述中间特征图进行特征提取，得到所述装载工具的背景特征图。
在一些实施例中，所述装置还包括图像采集模块，所述图像采集模块，用于获取通过图像采集装置对所述装载工具进行图像采集所得到的图像，作为所述待识别图像。
在一些实施例中，所述装置还包括检测模块，所述检测模块，用于基于所述部件识别结果，对识别出的各部件进行缺陷检测，得到检测结果；当所述检测结果表征所述至少两个部件中目标部件存在缺陷时，输出所述目标部件对应的缺陷提示信息。
下面，说明本申请实施例提供的图像训练模型的训练装置2600的实施为软件模块的示例性结构，在一些实施例中，参见图26，图26是本申请实施例提供的图像训练模型的训练装置2600的结构示意图，如图26所示，存储在存储器440的图像训练模型的训练装置2600中的软件模块可以包括：
第一特征提取模块2610，用于通过所述第一特征提取层，对携带标签的、包括装载工具的图像训练样本进行图像特征提取，得到所述装载工具对应的全局特征图，并对所述图像训练样本进行概率特征提取，得到用于指示至少两个部件间连接概率的概率特征图；其中，所述装载工具包括至少两个部件，所述至少两个部件具有固定的部件连接关系；
第一特征融合模块2620，用于通过所述第一特征融合层，对所述全局特征图以及所述概率特征图进行特征融合，得到中间特征图；
第二特征提取模块2630，用于通过所述第二特征提取层，对所述中间特征图进行特征提取，得到各所述部件的边缘特征图、各所述部件的主体特征图以及所述装载工具的背景特征图；
第二特征融合模块2640，用于通过所述第二特征融合层，对所述边缘特征图、所述主体特征图以及所述背景特征图进行特征融合，得到目标特征图；
识别模块2650，用于基于所述目标特征图，通过所述部件识别层，对所述图像训练样本中所述装载工具包括的各部件进行识别，得到对应的部件识别结果；
训练模块2660，获取所述部件识别结果与所述标签的差异，并基于所述差异训练所述图像识别模型；所述训练得到的图像识别模型用于，对包括目标装载工具的待识别图像中所述目标装载工具的各部件进行识别，所述目标装载工具与所述装载工具具有相同的部件结构。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例上述的基于图像识别模型的部件识别方法。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例上述的图像识别模型的训练方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的基于图像识别模型的部件识别方法，例如，如图3示出的基于图像识别模型的部件识别方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的图像识别模型的训练方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述，通过本申请实施例能够实现以下技术效果：
(1)通过两次特征提取过程，得到装载工具对应的多维度特征，以依据多维度特征对装载工具上的部件进行识别，能够提高所获取特征的全面性，从而提高了装载工具上部件的识别效率以及识别精度。
(2)针对面积较大的部件，为减少该部件识别区域上出现其它区块的误检的情况，通过获取多尺度的全局特征图，从而提升在识别相应部件的过程中该类部件的感受野，减低了相关噪声的干扰。
(3)由于集装箱是一种较为规则的六面体，每一面上都有特定的部件，互相之间位置信息较为固定，因此基于该固定连接结构，通过计算相邻部件间可能连接的连接性概率，能够更好地学习部件之间的关联性，从而减少非相连部件的误检情况，得到更稳定的部件识别结果。
(4)在得到全局特征图以及概率特征图后，通过将全局特征图以及概率特征图进行融合，从而进行相应部件的识别，从而更好的利用了部件之间的固定连接结构信息，减少了非关联区块的误识别情况，最终提高了部件识别的准确率。
(5)结合了复杂的背景以及精细部件，设计三分支的特征提取结构，进一步促进了部件的主体区域与边缘区域的识别效果，并且降低了背景因素以及其他装载工具的干扰，提高了对相应装载工具的部件识别的精确度。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (12)

1.一种基于图像识别模型的部件识别方法，其特征在于，所述图像识别模型包括第一特征提取层、第二特征提取层、第一特征融合层、第二特征融合层以及部件识别层，所述方法包括：
通过所述第一特征提取层，对包括装载工具的待识别图像进行图像特征提取，得到所述装载工具对应的全局特征图，并对所述待识别图像进行概率特征提取，得到用于指示至少两个部件间连接概率的概率特征图；
其中，所述装载工具包括至少两个部件，所述至少两个部件具有固定的部件连接关系；
通过所述第一特征融合层，对所述全局特征图以及所述概率特征图进行特征融合，得到中间特征图；
通过所述第二特征提取层，对所述中间特征图进行特征提取，得到各所述部件的边缘特征图、各所述部件的主体特征图以及所述装载工具的背景特征图；
通过所述第二特征融合层，对所述边缘特征图、所述主体特征图以及所述背景特征图进行特征融合，得到目标特征图；
基于所述目标特征图，通过所述部件识别层，对所述待识别图像中所述装载工具包括的各部件进行识别，得到对应的部件识别结果。
2.如权利要求1所述的方法，其特征在于，所述第一特征提取层包括全局特征提取层以及概率特征提取层，所述通过所述第一特征提取层，对包括装载工具的待识别图像进行图像特征提取，得到所述装载工具对应的全局特征图，包括：
通过所述全局特征提取层，对包括装载工具的待识别图像进行图像特征提取，得到所述装载工具对应的全局特征图；
所述对所述待识别图像进行概率特征提取，得到用于指示至少两个部件间连接概率的概率特征图，包括：
通过所述概率特征提取层，对所述待识别图像进行概率特征提取，得到用于指示至少两个部件间连接概率的概率特征图。
3.如权利要求2所述的方法，其特征在于，所述通过所述全局特征提取层，对包括装载工具的待识别图像进行图像特征提取，得到所述装载工具对应的全局特征图，包括：
通过所述全局特征提取层，对包括装载工具的待识别图像进行图像特征提取，得到至少两个全局子特征图；其中，各所述全局子特征图的尺寸不同；
对各所述全局子特征图进行特征拼接，得到所述装载工具对应的全局特征图。
4.如权利要求2所述的方法，其特征在于，所述通过所述概率特征提取层，对所述待识别图像进行概率特征提取，得到用于指示至少两个部件间连接概率的概率特征图，包括：
通过所述概率特征提取层，对所述待识别图像进行特征提取，得到各所述部件的部件特征图、以及用于指示所述至少两个部件间的连接关系的连接性特征图；
对各所述部件的部件特征图以及所述连接性特征图进行特征融合，得到用于指示至少两个部件间连接概率的概率特征图。
5.如权利要求4所述的方法，其特征在于，所述对各所述部件的部件特征图以及所述连接性特征图进行特征融合，得到用于指示至少两个部件间连接概率的概率特征图，包括：
针对各所述部件，对所述部件的部件特征图、以及所述部件的连接性特征图进行特征融合，得到所述部件的中间概率特征图；
其中，所述中间概率特征图，用于指示所述部件与除所述部件外任意一个其它部件间的连接概率；
对各所述部件的中间概率特征图进行特征拼接，得到用于指示至少两个部件间连接概率的概率特征图。
6.如权利要求1所述的方法，其特征在于，所述通过所述第一特征融合层，对所述全局特征图以及所述概率特征图进行特征融合，得到中间特征图，包括：
通过所述第一特征融合层，对所述全局特征图以及所述概率特征图进行乘积处理，得到乘积特征图；
将所述乘积特征图作为所述中间特征图。
7.如权利要求1所述的方法，其特征在于，所述第二特征提取层包括装载工具特征提取层、部件主体特征提取层以及部件边缘特征提取层，所述通过所述第二特征提取层，对所述中间特征图进行特征提取，得到各所述部件的边缘特征图、各所述部件的主体特征图以及所述装载工具的背景特征图，包括：
通过所述部件主体特征提取层，对所述中间特征图进行特征提取，得到各所述部件的主体特征图；
通过所述部件边缘特征提取层，对所述中间特征图进行特征提取，得到各所述部件的边缘特征图；
通过所述装载工具特征提取层，对所述中间特征图进行特征提取，得到所述装载工具的背景特征图。
8.如权利要求1所述的方法，其特征在于，所述通过所述第一特征提取层，对包括装载工具的待识别图像进行图像特征提取之前，所述方法还包括：
获取通过图像采集装置对所述装载工具进行图像采集所得到的图像，作为所述待识别图像。
9.如权利要求1所述的方法，其特征在于，所述基于所述目标特征图，通过所述部件识别层，对所述待识别图像中所述装载工具包括的各部件进行识别，得到对应的部件识别结果之后，所述方法还包括：
基于所述部件识别结果，对识别出的各部件进行缺陷检测，得到检测结果；
当所述检测结果表征所述至少两个部件中目标部件存在缺陷时，输出所述目标部件对应的缺陷提示信息。
10.一种图像识别模型的训练方法，其特征在于，所述图像识别模型包括第一特征提取层、第二特征提取层、第一特征融合层、第二特征融合层以及部件识别层，所述方法包括：
通过所述第一特征提取层，对携带标签的、包括装载工具的图像训练样本进行图像特征提取，得到所述装载工具对应的全局特征图，并对所述图像训练样本进行概率特征提取，得到用于指示至少两个部件间连接概率的概率特征图；
其中，所述装载工具包括至少两个部件，所述至少两个部件具有固定的部件连接关系；
通过所述第一特征融合层，对所述全局特征图以及所述概率特征图进行特征融合，得到中间特征图；
通过所述第二特征提取层，对所述中间特征图进行特征提取，得到各所述部件的边缘特征图、各所述部件的主体特征图以及所述装载工具的背景特征图；
通过所述第二特征融合层，对所述边缘特征图、所述主体特征图以及所述背景特征图进行特征融合，得到目标特征图；
基于所述目标特征图，通过所述部件识别层，对所述图像训练样本中所述装载工具包括的各部件进行识别，得到对应的部件识别结果；
获取所述部件识别结果与所述标签的差异，并基于所述差异训练所述图像识别模型；
所述训练得到的图像识别模型用于，对包括目标装载工具的待识别图像中所述目标装载工具的各部件进行识别，所述目标装载工具与所述装载工具具有相同的部件结构。
11.一种基于图像识别模型的部件识别装置，其特征在于，所述图像识别模型包括第一特征提取层、第二特征提取层、第一特征融合层、第二特征融合层以及部件识别层，所述装置包括：
第一特征提取模块，用于通过所述第一特征提取层，对包括装载工具的待识别图像进行图像特征提取，得到所述装载工具对应的全局特征图，并对所述待识别图像进行概率特征提取，得到用于指示至少两个部件间连接概率的概率特征图；其中，所述装载工具包括至少两个部件，所述至少两个部件具有固定的部件连接关系；
第一特征融合模块，用于通过所述第一特征融合层，对所述全局特征图以及所述概率特征图进行特征融合，得到中间特征图；
第二特征提取模块，用于通过所述第二特征提取层，对所述中间特征图进行特征提取，得到各所述部件的边缘特征图、各所述部件的主体特征图以及所述装载工具的背景特征图；
第二特征融合模块，用于通过所述第二特征融合层，对所述边缘特征图、所述主体特征图以及所述背景特征图进行特征融合，得到目标特征图；
识别模块，用于基于所述目标特征图，通过所述部件识别层，对所述待识别图像中所述装载工具包括的各部件进行识别，得到对应的部件识别结果。
12.一种图像识别模型的训练装置，其特征在于，所述图像识别模型包括第一特征提取层、第二特征提取层、第一特征融合层、第二特征融合层以及部件识别层，所述装置包括：
第一特征提取模块，用于通过所述第一特征提取层，对携带标签的、包括装载工具的图像训练样本进行图像特征提取，得到所述装载工具对应的全局特征图，并对所述图像训练样本进行概率特征提取，得到用于指示至少两个部件间连接概率的概率特征图；其中，所述装载工具包括至少两个部件，所述至少两个部件具有固定的部件连接关系；
第一特征融合模块，用于通过所述第一特征融合层，对所述全局特征图以及所述概率特征图进行特征融合，得到中间特征图；
第二特征提取模块，用于通过所述第二特征提取层，对所述中间特征图进行特征提取，得到各所述部件的边缘特征图、各所述部件的主体特征图以及所述装载工具的背景特征图；
第二特征融合模块，用于通过所述第二特征融合层，对所述边缘特征图、所述主体特征图以及所述背景特征图进行特征融合，得到目标特征图；
识别模块，用于基于所述目标特征图，通过所述部件识别层，对所述图像训练样本中所述装载工具包括的各部件进行识别，得到对应的部件识别结果；
训练模块，获取所述部件识别结果与所述标签的差异，并基于所述差异训练所述图像识别模型；所述训练得到的图像识别模型用于，对包括目标装载工具的待识别图像中所述目标装载工具的各部件进行识别，所述目标装载工具与所述装载工具具有相同的部件结构。
CN202210603045.2A 2022-05-30 2022-05-30 基于图像识别模型的部件识别方法及装置 Pending CN115170471A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210603045.2A CN115170471A (zh) 2022-05-30 2022-05-30 基于图像识别模型的部件识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210603045.2A CN115170471A (zh) 2022-05-30 2022-05-30 基于图像识别模型的部件识别方法及装置

Publications (1)

Publication Number Publication Date
CN115170471A true CN115170471A (zh) 2022-10-11

Family

ID=83483586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210603045.2A Pending CN115170471A (zh) 2022-05-30 2022-05-30 基于图像识别模型的部件识别方法及装置

Country Status (1)

Country Link
CN (1) CN115170471A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503694A (zh) * 2023-06-28 2023-07-28 宁德时代新能源科技股份有限公司 模型训练方法、图像分割方法、装置和计算机设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503694A (zh) * 2023-06-28 2023-07-28 宁德时代新能源科技股份有限公司 模型训练方法、图像分割方法、装置和计算机设备
CN116503694B (zh) * 2023-06-28 2023-12-08 宁德时代新能源科技股份有限公司 模型训练方法、图像分割方法、装置和计算机设备

Similar Documents

Publication Publication Date Title
CN111709409B (zh) 人脸活体检测方法、装置、设备及介质
US10032072B1 (en) Text recognition and localization with deep learning
CN109960742B (zh) 局部信息的搜索方法及装置
US20210295047A1 (en) Systems and methods for augmented reality navigation
CN107067003B (zh) 感兴趣区域边界的提取方法、装置、设备和计算机存储介质
CN111259889A (zh) 图像文本识别方法、装置、计算机设备及计算机存储介质
CN110728209A (zh) 一种姿态识别方法、装置、电子设备及存储介质
CN115457531A (zh) 用于识别文本的方法和装置
CN112989995B (zh) 文本检测方法、装置及电子设备
CN113569840A (zh) 基于自注意力机制的表单识别方法、装置及存储介质
WO2022247823A1 (zh) 图像检测方法、设备和存储介质
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
CN114550051A (zh) 一种车损检测方法、装置、计算机设备及存储介质
CN111522979B (zh) 图片排序推荐方法、装置、电子设备、存储介质
CN115810197A (zh) 一种多模态电力表单识别方法及装置
CN112052730A (zh) 一种3d动态人像识别监控设备及方法
CN115170471A (zh) 基于图像识别模型的部件识别方法及装置
CN115797291B (zh) 回路端子的识别方法、装置、计算机设备和存储介质
CN109543716B (zh) 一种基于深度学习的k线形态图像识别方法
CN116580026A (zh) 精密零部件外观缺陷自动光学检测方法、设备及存储介质
CN116798041A (zh) 图像识别方法、装置和电子设备
CN114550179B (zh) 对手写汉字黑板板书进行指导的方法、系统及设备
CN116994024A (zh) 集装箱图像中的部件识别方法、装置、设备、介质及产品
CN114494678A (zh) 文字识别方法和电子设备
CN114529912A (zh) 图形验证码识别方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination