CN112396083A - 图像识别、模型训练与构建、检测方法、系统及设备 - Google Patents

图像识别、模型训练与构建、检测方法、系统及设备 Download PDF

Info

Publication number
CN112396083A
CN112396083A CN201910764780.XA CN201910764780A CN112396083A CN 112396083 A CN112396083 A CN 112396083A CN 201910764780 A CN201910764780 A CN 201910764780A CN 112396083 A CN112396083 A CN 112396083A
Authority
CN
China
Prior art keywords
units
unit
features
combination
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910764780.XA
Other languages
English (en)
Other versions
CN112396083B (zh
Inventor
陈想
魏溪含
李虹杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910764780.XA priority Critical patent/CN112396083B/zh
Publication of CN112396083A publication Critical patent/CN112396083A/zh
Application granted granted Critical
Publication of CN112396083B publication Critical patent/CN112396083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种图像识别、模型训练与构建、检测方法、系统及设备。其中，方法包括：对组合对象图像进行拆分，得到多个单元各自对应的单元图像；其中，所述组合对象由所述多个单元组成；将所述多个单元各自对应的单元图像输入神经网络模型，获得有关所述多个单元中各单元是否满足预设条件的识别结果；其中，所述神经网络模型用于：分别对所述多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征；根据所述组合对象的组合方式及所述多个单元各自对应的单元特征，获得所述识别结果。本申请实施例提供的技术方案是先关注每个单元以提取合适的单元特征，在此基础上再引入组合件的组合方式，可有效提高识别准确率。

Description

图像识别、模型训练与构建、检测方法、系统及设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像识别、模型训练与构建、检测方法、系统及设备。
背景技术
近年来，人工智能算法被广泛应用在工业领域，以实现工业自动识别与检测，提高生产效率以及降低生产成本。
以组合件的瑕疵检测为例：组合件是由多个单元拼接组合构成，质检合格了的单元可能会由于组合方式不对等原因产生组合型瑕疵。在组合型瑕疵的质检过程中，不仅要关注单个单元的状况，还需要关注整体组合之后的状况。
目前的工业图像瑕疵检测系统普遍使用基于CNN(ConvolutionalNeuralNetworks，卷积神经网络)的图像检测技术实现工业瑕疵的检测。具体地，将组合件的图像输入到神经网络中进行检测，得到检测结果。而目前这种检测方式得到的检测结果的准确度较低，急需一种改进的检测方法来提高检测准确度。
发明内容
鉴于上述问题，提出了本申请以提供一种解决上述问题或至少部分地解决上述问题的图像识别、模型训练与构建、检测方法、系统及设备。
于是，在本申请的一个实施例中，提供了一种图像识别方法。该方法包括：
对组合对象图像进行拆分，得到多个单元各自对应的单元图像；其中，所述组合对象由所述多个单元组成；
将所述多个单元各自对应的单元图像输入神经网络模型，获得有关所述多个单元中各单元是否满足预设条件的识别结果；
其中，所述神经网络模型用于：分别对所述多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征；根据所述组合对象的组合方式及所述多个单元各自对应的单元特征，获得所述识别结果。
在本申请的另一实施例中，提供了一种模型训练方法。该方法，包括：
对样本组合对象图像进行拆分，得到多个单元各自对应的单元图像；其中，所述样本组合对象由所述多个单元组成；
将所述多个单元各自对应的单元图像输入神经网络模型，获得有关所述多个单元中各单元是否满足预设条件的预测识别结果；
根据所述预测识别结果及所述样本组合对象图像对应的期望识别结果，对所述神经网络模型进行参数优化；
其中，所述神经网络模型用于：分别对所述多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征；根据所述样本组合对象的组合方式及所述多个单元各自对应的单元特征，获得所述预测识别结果。
在本申请的另一实施例中，提供了一种模型构建方法。该方法，包括：
构建至少一个第一网络层和至少一个第二网络层；
连接所述至少一个第一网络层和所述至少一个第二网络层，获得用于进行图像识别的神经网络模型；
其中，所述至少一个第一网络层用于：分别对多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征；所述多个单元各自对应的单元图像是通过拆分组合对象图像得到的；所述组合对象由所述多个单元组成；
所述至少一个第二网络层用于：根据所述组合对象的组合方式及所述多个单元各自对应的单元特征，获得有关所述多个单元中各单元是否满足预设条件的识别结果。
在本申请的另一实施例中，提供了一种神经网络系统。该系统，包括：至少一个第一网络层和至少一个第二网络层；其中，
所述至少一个第一网络层用于：分别对所述多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征；所述多个单元各自对应的单元图像是通过拆分组合对象图像得到的；所述组合对象由所述多个单元组成；
所述至少一个第二网络层用于：根据所述组合对象的组合方式及所述多个单元各自对应的单元特征，获得有关所述多个单元中各单元是否满足预设条件的识别结果。
在本申请的又一个实施例中，提供了一种图像识别方法。该方法包括：
对组合对象图像进行拆分，得到多个单元各自对应的单元图像；其中，所述组合对象由所述多个单元组成；
分别对所述多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征；
根据所述组合对象的组合方式及所述多个单元各自对应的单元特征，从所述多个单元中识别出满足预设条件的单元。
在本申请的又一个实施例中，提供了一种光伏组件检测方法。该方法包括：
对光伏组件图像进行拆分，得到多个电池单元各自对应的单元图像；其中，所述光伏组件由所述多个电池单元组成；
将所述多个电池单元各自对应的单元图像输入神经网络模型，获得有关所述多个电池单元中各电池单元是否满足预设条件的检测结果；
其中，所述神经网络模型用于：分别对所述多个电池单元各自对应的单元图像进行特征提取，得到所述多个电池单元各自对应的单元特征；根据所述光伏组件的组合方式及所述多个电池单元各自对应的单元特征，获得所述检测结果。
在本申请的又一个实施例中，提供了一种光伏组件检测方法。该方法包括：
对光伏组件图像进行拆分，得到多个电池单元各自对应的单元图像；其中，所述光伏组件由所述多个电池单元组成；
分别对所述多个电池单元各自对应的单元图像进行特征提取，得到所述多个电池单元各自对应的单元特征；
根据所述光伏组件的组合方式及所述多个电池单元各自对应的单元特征，从所述多个电池单元中检测出满足预设条件的电池单元。
在本申请的又一个实施例中，提供了一种电子设备。该电子设备包括：存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
对组合对象图像进行拆分，得到多个单元各自对应的单元图像；其中，所述组合对象由所述多个单元组成；
将所述多个单元各自对应的单元图像输入神经网络模型，获得有关所述多个单元中各单元是否满足预设条件的识别结果；
其中，所述神经网络模型用于：分别对所述多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征；根据所述组合对象的组合方式及所述多个单元各自对应的单元特征，获得所述识别结果。
在本申请的又一个实施例中，提供了一种电子设备。该电子设备包括：存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
对样本组合对象图像进行拆分，得到多个单元各自对应的单元图像；其中，所述样本组合对象由所述多个单元组成；
将所述多个单元各自对应的单元图像输入神经网络模型，获得有关所述多个单元中各单元是否满足预设条件的预测识别结果；
根据所述预测识别结果及所述样本组合对象图像对应的期望识别结果，对所述神经网络模型进行参数优化；
其中，所述神经网络模型用于：分别对所述多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征；根据所述样本组合对象的组合方式及所述多个单元各自对应的单元特征，获得所述预测识别结果。
在本申请的又一个实施例中，提供了一种电子设备。该电子设备包括：存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
构建至少一个第一网络层和至少一个第二网络层；
连接所述至少一个第一网络层和所述至少一个第二网络层，获得用于进行图像识别的神经网络模型；
其中，所述至少一个第一网络层用于：分别对多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征；所述多个单元各自对应的单元图像是通过拆分组合对象图像得到的；所述组合对象由所述多个单元组成；
所述至少一个第二网络层用于：根据所述组合对象的组合方式及所述多个单元各自对应的单元特征，获得有关所述多个单元中各单元是否满足预设条件的识别结果。
在本申请的又一个实施例中，提供了一种电子设备。该电子设备包括：存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
对组合对象图像进行拆分，得到多个单元各自对应的单元图像；其中，所述组合对象由所述多个单元组成；
分别对所述多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征；
根据所述组合对象的组合方式及所述多个单元各自对应的单元特征，从所述多个单元中识别出满足预设条件的单元。
在本申请的又一个实施例中，提供了一种电子设备。该电子设备包括：存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
对光伏组件图像进行拆分，得到多个电池单元各自对应的单元图像；其中，所述光伏组件由所述多个电池单元组成；
将所述多个电池单元各自对应的单元图像输入神经网络模型，获得有关所述多个电池单元中各电池单元是否满足预设条件的检测结果；
其中，所述神经网络模型用于：分别对所述多个电池单元各自对应的单元图像进行特征提取，得到所述多个电池单元各自对应的单元特征；根据所述光伏组件的组合方式及所述多个电池单元各自对应的单元特征，获得所述检测结果。
在本申请的又一个实施例中，提供了一种电子设备。该电子设备包括：存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
对光伏组件图像进行拆分，得到多个电池单元各自对应的单元图像；其中，所述光伏组件由所述多个电池单元组成；
分别对所述多个电池单元各自对应的单元图像进行特征提取，得到所述多个电池单元各自对应的单元特征；
根据所述光伏组件的组合方式及所述多个电池单元各自对应的单元特征，从所述多个电池单元中检测出满足预设条件的电池单元。
在本申请的又一实施例中提供了一种图像识别方法。该方法，包括：
获取组合对象图像；其中，所述组合对象由多个单元组成；
对组合对象图像进行拆分，得到多个拆分图像；所述多个拆分图像中各拆分图像中包含有所述多个单元中部分单元影像；
分别对所述多个拆分图像进行特征提取，得到所述多个拆分图像各自对应的图像特征；
根据所述多个拆分图像组合成所述组合对象图像的组合方式及所述多个拆分图像各自对应的图像特征，从所述多个单元中识别出满足预设条件的单元。
本申请实施例提供的技术方案，先将组合对象图像拆分成多个单元各自对应的单元图像，分别对每个单元对应的单元图像进行特征提取，得到每个单元对应的单元特征；再根据组合对象的组合方式及每个单元对应的单元特征，来识别出满足预设条件的单元。可见，本申请实施例提供的技术方案是先关注每个单元以提取合适的单元特征，在此基础上再引入组合件的组合方式，可有效提高识别准确率。
本申请实施例提供的技术方案，将复杂的图像划分成若干个简单的拆分图像。这样，针对简单的拆分图像进行特征提取时，可降低提取难度，且能够很好地提取到每个拆分图像中的特征。后续再引入多个拆分图像组合成组合对象图像的组合方式，实现了对组合对象的整体检测。这样一来，可有效提高识别率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为本申请一实施例提供的图像识别方法的示意图；
图1b为本申请一实施例提供的图像识别方法的流程示意图；
图1c为一组合对象图像进行卷积运算的示意图；
图1d为光伏组件图像；
图1e为本申请一实施例提供的图像识别方法的流程示意图；
图2为本申请另一实施例提供的图像识别方法的流程示意图；
图3为本申请另一实施例提供的模型训练方法的流程示意图；
图4为本申请另一实施例提供的模型构建方法的流程示意图；
图5为本申请另一实施例提供的光伏组件检测方法的流程示意图；
图6为本申请另一实施例提供的光伏组件检测方法的流程示意图；
图7为本申请另一实施例提供的图像识别装置的结构框图；
图8为本申请另一实施例提供的模型训练装置的结构框图；
图9为本申请另一实施例提供的模型构建装置的结构框图；
图10为本申请另一实施例提供的图像识别装置的结构框图；
图11为本申请另一实施例提供的光伏组件检测装置的结构框图；
图12为本申请另一实施例提供的光伏组件检测装置的结构框图；
图13为本申请另一实施例提供的电子设备的结构框图。
具体实施方式
目前，工业图像瑕疵检测或分割效果最好的方法都是基于CNN的。目前主流的图像检测、分割算法有Mask-RCNN、RefineNet、SSD(Single ShotMultiBox Detector)、YOLO(YouOnly Look Once)等。现有技术中，针对组合型瑕疵，将组合件图像作为上述算法的输入，有问题的单元作为学习目标，进行检测或者分割的学习。
发明人在实现本申请技术方案的过程中研究发现，现有方法中存在以下几个问题：
1、将组合件图像直接作为神经网络模型的输入，由于权值共享，神经网络模型在对组合件图像的不同位置处进行卷积时使用相同的卷积核。例如：图1b是3*4组合件的图像进行卷积运算的示意图，第一个虚线框1(位于单元内)和第二个虚线框2(跨多个单元)表示两个不同位置处的卷积核，由于CNN权值共享，这两个位置处的卷积核为同一个。对于组合件，第一个虚线框1和第二个虚线框2表示位置的意义是不一样的，一个位于单元内部，一个跨在多个单元上。在人工质检场景中，质检员工对这两个区域的关注也是不同的。使用相同卷积来处理这两种不同的位置，显然是不合适的，使得这两种不同位置处的特征得不到很好的提取，必然会影响组合型瑕疵检测准确率。
2、现有方法在实现方式上属于暴力求解，没有将单个单元的特点发挥出来，影响检测准确率。
3、现有方法对瑕疵检测的位置会发生一定的偏移。
此外，发明人分析发现：在组合型瑕疵的人工质检过程中，人工首先会默认整张图是由多个单元组成的，这个信息在实际检测过程中是很重要的先决条件，如果图像瑕疵检测系统在组合型瑕疵检测算法中加入多个单元的拼接信息，相对于现有方法，必然会提高算法精度。
据此，发明人提出一种组合型瑕疵检测框架，引入组合方式等信息，对于组合型瑕疵检测准确率有明显提高。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
此外，在本申请的说明书、权利要求书及上述附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
图1b示出了本申请一实施例提供的图像识别方法的流程示意图。如图1所示，该方法包括：
101、对组合对象图像进行拆分，得到多个单元各自对应的单元图像。
其中，所述组合对象由所述多个单元组成。
102、分别对所述多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征。
103、根据所述组合对象的组合方式及所述多个单元各自对应的单元特征，从所述多个单元中识别出满足预设条件的单元。
上述101中，在一实例中，组合对象可以是由多个单元按照阵列的组合方式组成。阵列具体可以为矩形阵列，该矩形阵列的行数和列数中的至少一个大于1。此外，每个单元的单元尺寸、形状可相同。
在一实例中，每个单元的形状均为矩形且尺寸相同，组合对象可以是由多个单元按照矩形阵列的组合方式拼接而成。
在一实际应用场景中，组合对象可以为光伏组件，组合对象图像即光伏组件图像。光伏组件由多个电池单元(即电池片)组成，具体地，由多个电池单元以矩形阵列的组合方式组成，如图1d所示。光伏组件中，每个电池单元的形状均为矩形形状，且尺寸均相同。
对组合对象图像进行拆分，得到多个单元各自对应的单元图像。每个单元图像中包含对应单元的影像。在实际应用时，为了降低人工操作成本，可对组合对象图像进行自动拆分，具体拆分方式将在下述各实施例中详细介绍。
上述102中，可采用机器学习模型来对每个单元对应的单元图像进行特征提取。可依次或并行对多个单元各自对应的单元图像进行特征提取。并行处理可有效节省特征提取所占用的时间，提高图像识别效率。
在一实例中，可采用神经网络模型来对每个单元对应的单元图像进行特征提取。采用神经网络模型提取特征，可有效提高图像识别准确率。
具体地，可将多个单元各自对应的单元图像依次输入至神经网络模型中，由神经网络模型依次对多个单元各自对应的单元图像进行卷积处理，依次获得多个单元各自对应的单元特征。或者，可将多个单元各自对应的单元图像一次性输入至神经网络模型中，由神经网络模型并行对多个单元各自对应的单元图像进行卷积处理，获得多个单元各自对应的单元特征。每个单元对应的单元图像所对应的过滤器(即卷积核)是共享的，这样，可确保神经网络模型采用等同的特征提取方式对每个单元对应的单元图像进行特征提取，有利于提高图像识别准确度。
上述103中，组合对象的组合方式指的是多个单元组成组合对象的组合方式，其中，按照所述组合方式，能够唯一确定地将所述多个单元组合成所述组合对象。该组合方式中可表明：多个单元中各单元之间的相对位置。具体地，当组合对象由多个单元按照阵列的组合方式组成时，该组合对象的组合方式中包括：阵列形状、阵列的行列信息以及各单元在阵列中的位置(即各单元在阵列中所在行和所在列)。例如：当组合对象由多个单元按照矩形阵列的组合方式组成时，组合对象的组合方式中包括：矩形阵列、矩形阵列的行列数以及各单元在矩形阵列中的位置(即各单元在矩形阵列中所在行和所在列)。
在判断组合对象中的单元是否满足预设条件时，不仅要考虑单元本身情况，还需要考虑单元周边情况以及组合对象的整体情况。
以检测光伏组件中是否存在混档瑕疵为例：如图1d所示的光伏组件是由72个电池单元以6行12列(即6*12结构)的矩形阵列的组合方式拼接而成。图1d中第一实线框3、第二实线框4和第三实线框5框出的电池单元均为亮混档瑕疵，第四实线框6框出的电池单元为暗混档瑕疵。其中，混档主要和每个模块的亮度有关，同时也和周边亮度以及光伏组件的整体亮度有关，但是不存在明确的关系标准，有经验的质检员工只要凭感觉即可检测出来。
具体实施时，可将所述组合对象的组合方式及所述多个单元各自对应的单元特征输入到神经网络模型中，神经网络模型通过学习，不仅可了解到每个单元的单元特征，还可了解到每个单元周边有哪些单元及这些周边单元的单元特征、组合对象的整体特征。神经网络模型根据了解到的这些特征，即可确定出组合对象中满足预设条件的单元。采用神经网络模型可有效提高检测准确率。
需要说明的是，在实际应用时，除了神经网络模型，还可采用其他机器学习模型来学习出满足预设条件的单元，本实施例对此不做具体限定。
本申请实施例提供的技术方案，先将组合对象图像拆分成多个单元各自对应的单元图像，分别对每个单元对应的单元图像进行特征提取，得到每个单元对应的单元特征；再根据组合对象的组合方式及每个单元对应的单元特征，来识别出满足预设条件的单元。可见，本申请实施例提供的技术方案是先关注每个单元以提取合适的单元特征，在此基础上再引入组合件的组合方式，可有效提高识别准确率。
实际应用时，上述102中“分别对所述多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征”和103中“根据所述组合对象的组合方式及所述多个单元各自对应的单元特征，从所述多个单元中识别出满足预设条件的单元”可利用同一个神经网络模型中的不同网络结构来执行，例如：由神经网络模型中的特征提取网络来提取单元特征，由神经网络模型中的分类网络来识别得到识别结果。这样，训练时，特征提取和识别步骤所涉及到的网络参数一起进行优化，优化更加合理，有助于提高神经网络模型的识别准确度。
在一种可实现的方案中，上述102中“根据所述组合对象的组合方式及所述多个单元各自对应的单元特征，从所述多个单元中识别出满足预设条件的单元”，具体可采用如下步骤来实现：
1021、根据所述组合对象的组合方式，拼接所述多个单元各自对应的单元特征，得到拼接特征。
1022、基于所述拼接特征，从所述多个单元中识别出满足预设条件的单元。
上述1021中，所述多个单元中各单元对应的单元特征在所述拼接特征中的拼接位置与所述各单元在所述组合对象中的组合位置相对应。也即是，所述多个单元中各单元对应的单元特征在所述拼接特征中的拼接位置与所述各单元的单元图像在所述组合对象图像中的位置相对应。
在一实例中，所述组合对象由所述多个单元按照矩形阵列的组合方式组成。上述1021中“根据所述组合对象的组合方式，拼接所述多个单元各自对应的单元特征，得到拼接特征”，具体为：按照所述矩形阵列的组合方式，拼接所述多个单元各自对应的单元特征，得到拼接特征。其中，所述多个单元各自对应的单元特征在所述拼接特征中以所述矩形阵列的方式排布。
举例来说：如图1d所示，组合对象由多个单元以M行N列的矩形阵列的组合方式拼接在一起。同样的，按照以M行N列的矩形阵列的组合方式拼接这多个单元各自对应的单元特征，得到拼接特征。这多个单元中的任一单元在组合对象中的组合位置由i和j这两个参数来确定，其中，i表示相应单元所在行和j表示相应单元所在列。组合对象中处于第i行、第j列的单元对应的单元特征也位于拼接特征中的第i行、第j列的位置。其中，第i行、第j列的位置也即是该单元的单元特征在拼接特征中的拼接位置。其中，i的取值为[1，M]范围内的整数，j的取值为[1，N]范围内的整数。
具体地，所述单元特征为具有长、宽和通道三个维度的单元特征图；
所述“按照所述矩形阵列的组合方式，拼接所述多个单元各自对应的单元特征，得到拼接特征”，具体为：按照所述矩形阵列的组合方式，在长和宽两个维度上，依次拼接所述多个单元各自对应的单元特征图，得到拼接特征。
其中，拼接特征为具有长、宽和通道三个维度的拼接特征图。
通常，特征图具有多个通道，单元特征图的通道数与拼接特征图的通道数一致。假设单元特征图的长宽尺寸为：h*w(即长为h，宽为w)，组合对象由多个单元以M行N列的矩形阵列的组合方式组成，则拼接特征图的长宽尺寸为Mh*Nw(即长为Mh，宽为Nw)。在实际应用时，h为2，w也为2，第一特征图的尺寸为2*2。
下面将以矩形阵列为例进行详细说明：按照所述组合对象的组合方式，将位于矩形阵列中同一行的多个单元对应的第一特征图在宽这个维度上进行拼接，得到多个行特征；按照所述组合对象的组合方式，将多个行特征在长这个维度上进行拼接，得到拼接特征。或者，按照所述组合对象的组合方式，将位于矩形阵列中同一列的多个单元对应的第一特征图在长这个维度上进行拼接，得到多个列特征；按照所述组合对象的组合方式，将多个列特征在宽这个维度上进行拼接，得到拼接特征。
上述拼接步骤可通过神经网络层中的连接层(Concat层)来实现特征的拼接。
上述1022中，在组合对象瑕疵检测场景中，一个单元是否为瑕疵单元，不仅要考虑该单元本身的情况，还要考虑该单元周边的情况以及组合对象的整体情况。拼接特征中不仅包含有每个单元各自对应的单元特征，还融合有组合对象的组合方式，也即是在拼接特征中表明了每个单元本身的情况，还表明了每个单元周边的情况以及组合对象的整体情况。基于所述拼接特征，可从所述多个单元中识别出满足预设条件的单元。
在一实例中，上述1022具体可采用如下步骤来实现：
a、对所述拼接特征进行特征提取，得到组合特征。
b、根据所述组合特征，分别对所述多个单元中各单元进行分类；
c、根据分类结果，从所述多个单元中识别出满足预设条件的单元。
在上述步骤102中，只是提取到了每个单元各自对应的单元特征，并没有提取到组合对象在组合维度上的组合特征。在组合对象瑕疵检测场景中，一个单元是否为瑕疵单元，不仅要考虑该单元本身的情况，还要考虑该单元周边的情况以及组合对象的整体情况。因此，还需要对所述拼接特征进行整体的特征提取，得到组合特征。对拼接特征进行特征提取，主要是提取出单元交界处特征以及组合对象整体特征。具体地，可对所述拼接特征进行卷积处理，得到组合特征。其中，卷积处理可包含一次或多次卷积操作。
在一实例中，可利用训练好的神经网络模型来对所述拼接特征进行特征提取，得到组合特征，具体可利用神经网络模型中的至少一个卷积层对拼接特征进行特征提取，可有效提高图像识别准确率。
现有技术中，将单元内部特征和单元交界处特征的提取任务放在一起进行，难以提取到有效特征。而在本申请实施例中，将复杂的特征提取任务分成了两个简单的子任务，先提取单元内部的特征，单元内部特征提取到之后，再提取单元交界处特征以及组合对象整体特征，有助于提高特征提取效果。
上述b中，可根据实际应用场景，预先设置多个类别。以光伏组件混档瑕疵检测场景为例，可设置混档和正常这两个类别。由于混档还分亮混档和暗混档，因此，可设置亮混档、暗混档和正常这三个类别。
上述多个单元中包括第一单元，所述第一单元指代的是上述多个单元中任一单元。根据所述组合特征，对第一单元进行分类，也即是：根据所述组合特征，分别预测所述第一单元属于预先设置的多个类别中各类别的概率。
与现有技术相比，无需执行检测框检测这种计算复杂且耗时的操作，只需要对多个单元进行分类即可，可有效提升识别速度。
以组合对象由多个单元按照矩形阵列的组合方式组成为例，上述矩形阵列包含M行和N列。组合特征为一特征图，该特征图包括k个通道图(其中，k为总类别数)，各通道图的长均为M，宽均为N。这k个通道图与k个类别一一对应。k的数值具体可根据实际应用场景来设定。以光伏组件混档瑕疵检测场景为例，存在亮混档、暗混档以及正常这三个类别，则k等于3。其中，M和N均为大于或等于1的整数，M和N不同时等于1。
根据k个通道图中各通道图中第i行第j列的特征值，计算组合对象中位于上述矩形阵列中第i行第j列的单元属于多个类别中各类别的概率。上述c中，根据所述第一单元属于预先设置的多个类别中各类别的概率，将概率最大的类别确定为所述第一单元所属类别。满足预设条件的单元也即是所属类别满足预设条件的单元。
以光伏组件混档瑕疵检测场景为例，预设条件中包括：亮混档和暗混档。若某个单元所属类别为亮混档或暗混档，则该单元满足预设条件。
在一种可实现的方案中，上述步骤b可由神经网络模型中的归一化指数层(即softmax层)来实现。
下面将介绍两种方式来实现对组合对象图像的拆分：
在方式1中，上述101中“对组合对象图像进行拆分，得到多个单元各自对应的单元图像”，具体可采用如下步骤来实现：
1011a、获取所述组合对象的组合信息。
1012a、根据所述组合信息，对所述组合对象图像进行拆分，得到多个单元各自对应的单元图像。
其中，所述组合信息中包括组合参数及所述组合方式。组合参数可包括：所述组合对象和所述多个单元的形状信息、所述组合对象和所述多个单元在组合对象图像中的影像尺寸信息等。组合参数中还可包括：单元与单元之间的间隔尺寸。
可根据组合参数及组合方式，可自动确定出多条分割线；根据多条分割线，对组合对象图像进行拆分，得到多个单元各自对应的单元图像。
方式2：上述101中“对组合对象图像进行拆分，得到多个单元各自对应的单元图像”，具体可采用如下步骤来实现：
1011b、将所述组合对象图像输入训练好的图像分割模型，获得分割线。
1012b、根据所述分割线，拆分所述组合对象图像，得到多个单元各自对应的单元图像。
其中，所述图像分割模型是根据样本组合对象图像及其期望分割线训练得到的。
在实际应用时，图像分割模型可基于边缘检测以及局部二值化来实现，具体的实现方式和实现原理可参照现有技术，在此不再详述。
进一步的，上述方法，还可包括：
104、在所述组合对象图像中标注所述满足预设条件的单元。
105、输出标注后的所述组合对象图像。
上述104中，可结合组合对象的组合信息，在组合对象图像中自动确定出满足预设条件的单元所处位置，并自动采用标注框在组合对象图像中框出满足预设条件的单元。由于结合了组合对象的组合信息，标注框的位置不会发生偏移，提高了定位精准度。
上述104中，可在显示屏上显示标注后的组合对象图像。
图2示出了本申请实施例提供的图像识别方法的流程示意图。如图2所示，该方法包括：
201、对组合对象图像进行拆分，得到多个单元各自对应的单元图像。
202、将所述多个单元各自对应的单元图像输入神经网络模型，获得有关所述多个单元中各单元是否满足预设条件的识别结果。
其中，所述组合对象由所述多个单元组成；所述神经网络模型用于：分别对所述多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征；根据所述组合对象的组合方式及所述多个单元各自对应的单元特征，获得所述识别结果。
上述202中，神经网络模型可包括至少一个第一网络层和至少一个第二网络层。其中，至少一个第一网络层用于：分别对所述多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征。至少一个第二网络层用于：根据所述组合对象的组合方式及所述多个单元各自对应的单元特征，获得所述识别结果。
上述至少一个第一网络层构成上述特征提取网络，上述至少一个第二网络层构成上述分类网络。在一实例中，上述神经网络模型可以为卷积神经网络模型。需要说明的是，本申请上述各实施例和下述各实施例中的网络层均为神经网络层。
上述201和202的具体实现可参见上述各实施例中相应内容，在此不再赘述。
现有技术中，将单元内部特征和单元交界处特征的提取任务放在一起进行，即采用相同的卷积核来提取这两种特征，这必然是不合理的，难以提取到有效特征。而本申请实施例中，将复杂的特征提取任务分成了两个简单的子任务，先提取单元内部的特征，单元内部特征提取到之后，再提取单元交界处特征以及组合对象整体特征，有助于提高特征提取效果。也即是将单元内部特征以及单元交界处特征分开进行提取，这样有助于神经网络模型学习到适合提取单元内部特征的卷积核，以及适合提取单元交界处特征的卷积核。
上述神经网络模型是根据样本组合对象图像及其期望识别结果训练得到的。
本申请实施例提供的技术方案，神经网络模型先将组合对象图像拆分成多个单元各自对应的单元图像，分别对每个单元对应的单元图像进行特征提取，得到每个单元对应的单元特征；再根据组合对象的组合方式及每个单元对应的单元特征，来识别出满足预设条件的单元。可见，本申请实施例提供的技术方案是先关注每个单元以提取合适的单元特征，在此基础上再引入组合件的组合方式，可有效提高识别准确率。
进一步的，神经网络模型所执行的步骤“根据所述组合对象的组合方式及所述多个单元各自对应的单元特征，获得所述识别结果”，其具体可采用如下步骤来实现：
2011、根据所述组合对象的组合方式，拼接所述多个单元各自对应的单元特征，得到拼接特征。
2012、基于所述拼接特征，获得所述识别结果。
上述2011中，所述多个单元中各单元对应的单元特征在所述拼接特征中的拼接位置与所述各单元在所述组合对象中的组合位置相对应。
在一实例中，所述组合对象由所述多个单元按照矩形阵列的组合方式组成；上述2011中“根据所述组合对象的组合方式，拼接所述多个单元各自对应的单元特征，得到拼接特征”，具体为：按照所述矩形阵列的组合方式，拼接所述多个单元各自对应的单元特征，得到拼接特征；其中，所述多个单元各自对应的单元特征在所述拼接特征中以所述矩形阵列的方式排布。
具体地，所述单元特征为具有长、宽和通道三个维度的单元特征图。所述“按照所述矩形阵列的组合方式，拼接所述多个单元各自对应的单元特征，得到拼接特征”，具体为：按照所述矩形阵列的组合方式，在长和宽两个维度上，依次拼接所述多个单元各自对应的单元特征图，得到拼接特征。
拼接的具体实现可参见上述各实施例中相应内容，在此不再赘述。
具体实施时，可通过神经网络模型中的连接层(Concat层)来实现特征的拼接。也即上述至少一个第二网络层中包括连接层。连接层实现特征拼接的具体步骤可参见上述各实施例中相应内容，在此不再赘述。
上述2012的具体实现可参见上述各实施例中相应内容，在此不再赘述。
在一实例中，上述2012中“基于所述拼接特征，获得所述识别结果”，具体可采用如下步骤来实现：
A1、对所述拼接特征进行特征提取，得到组合特征。
B1、根据所述组合特征，分别对所述多个单元中各单元进行分类，获得所述识别结果。
上述A1中，可对所述拼接特征进行卷积处理，得到组合特征。
可通过神经网络模型中的至少一个卷积层来实现。也即上述至少一个第二网络层中包括至少一个卷积层。至少一个卷积层实现特征提取的具体步骤可参见上述各实施例中相应内容，在此不再赘述。
上述分类的具体实现可参见上述各实施例中相应内容，在此不再赘述。
上述分类操作可由神经网络模型中的归一化指数层(即softmax层)来实现，即上述至少一个第二网络层中包括归一化指数层。
在一实例中，上述步骤201中“对组合对象图像进行拆分，得到多个单元各自对应的单元图像”，具体可采用如下步骤来实现：
2011a、获取所述组合对象的组合信息。
其中，所述组合信息中包括组合参数及所述组合方式。
2012a、根据所述组合信息，对所述组合对象图像进行拆分，得到多个单元各自对应的单元图像。
上述步骤2011a和2012a的具体实现可参见上述各实施例中相应内容。
在另一实例中，上述步骤201中“对组合对象图像进行拆分，得到多个单元各自对应的单元图像”，具体可采用如下步骤来实现：
2011b、将所述组合对象图像输入训练好的图像分割模型，获得分割线。
2012b、根据所述分割线，拆分所述组合对象图像，得到多个单元各自对应的单元图像。
其中，所述图像分割模型是根据样本组合对象图像及其期望分割线训练得到的。
上述步骤2011b和2012b的具体实现可参见上述各实施例中相应内容，在此不再赘述。
进一步的，上述方法，还可包括：
204、在所述组合对象图像中标注所述满足预设条件的单元。
205、输出标注后的所述组合对象图像。
上述204中，可结合组合对象的组合信息，在组合对象图像中自动确定出满足预设条件的单元所处位置，并自动采用标注框在组合对象图像中框出满足预设条件的单元。由于结合了组合对象的组合信息，标注框的位置不会发生偏移，提高了定位精准度。
上述204中，可在显示屏上显示标注后的组合对象图像。
这里需要说明的是：本申请实施例提供的所述方法中各步骤未尽详述的内容可参见上述实施例中的相应内容，此处不再赘述。此外，本申请实施例提供的所述方法中除了上述各步骤以外，还可包括上述各实施例中其他部分或全部步骤，具体可参见上述各实施例相应内容，在此不再赘述。
下面将结合图3介绍一种上述神经网络模型的训练方法。如图3所示，该方法包括：
301、对样本组合对象图像进行拆分，得到多个单元各自对应的单元图像。
302、将所述多个单元各自对应的单元图像输入神经网络模型，获得有关所述多个单元中各单元是否满足预设条件的预测识别结果。
303、根据所述预测识别结果及所述样本组合对象图像对应的期望识别结果，对所述神经网络模型进行参数优化。
其中，所述样本组合对象由所述多个单元组成；所述神经网络模型用于：分别对所述多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征；根据所述样本组合对象的组合方式及所述多个单元各自对应的单元特征，获得所述预测识别结果。
上述301中，对样本组合对象图像进行拆分的具体实现可参照上述各实施例中对组合对象图像进行拆分的具体实现，在此不再赘述。
上述302中，神经网络模型根据所述多个单元各自对应的单元图像，得到预测识别结果的具体实现可参照上述各实施例中神经网络模型根据多个单元各自对应的单元图像，得到识别结果的相应内容，在此不再赘述。
上述303中，所述多个单元中包括第一单元；所述第一单元指代的是多个单元中的任一单元。所述预测识别结果可包括第一单元属于多个类别中各类别对应的概率。期望识别结果中包括：第一单元所属真实类别。
在实际应用时，可采用损失函数来计算所述预测识别结果及所述样本组合对象图像对应的期望识别结果之间损失值，根据损失值来对神经网络模型进行参数优化。其中，损失函数可根据实际需要来选择，例如：交叉熵损失函数。根据损失值来优化参数的具体实现可参见现有技术，在此不再详述。
可见，整个神经网络模型使用端到端end2end方式进行训练，最终每个瑕疵单元的分类结果是网络学习的唯一监督信息。
本申请实施例提供的技术方案，神经网络模型先将组合对象图像拆分成多个单元各自对应的单元图像，分别对每个单元对应的单元图像进行特征提取，得到每个单元对应的单元特征；再根据组合对象的组合方式及每个单元对应的单元特征，来识别出满足预设条件的单元。可见，本申请实施例提供的技术方案是先关注每个单元以提取合适的单元特征，在此基础上再引入组合件的组合方式，可有效提高识别准确率。
进一步的，神经网络模型所执行的步骤“根据所述样本组合对象的组合方式及所述多个单元各自对应的单元特征，获得所述预测识别结果”，可采用如下步骤来实现：
3021、根据所述样本组合对象的组合方式，拼接所述多个单元各自对应的单元特征，得到拼接特征。
3022、基于所述拼接特征，获得所述识别结果。
其中，所述多个单元中各单元对应的单元特征在所述拼接特征中的拼接位置与所述各单元在所述样本组合对象中的组合位置相对应。
上述步骤3021、3022和3023的具体实现，可参照上述各实施例中相应内容，在此不再赘述。
这里需要说明的是：本申请实施例提供的所述方法中各步骤未尽详述的内容可参见上述实施例中的相应内容，此处不再赘述。此外，本申请实施例提供的所述方法中除了上述各步骤以外，还可包括上述各实施例中其他部分或全部步骤，具体可参见上述各实施例相应内容，在此不再赘述。
下面将结合图4介绍一种上述神经网络模型的构建方法。如图4所示，该方法包括：
401、构建至少一个第一网络层和至少一个第二网络层。
402、连接所述至少一个第一网络层和所述至少一个第二网络层，获得用于进行图像识别的神经网络模型。
其中，所述至少一个第一网络层用于：分别对多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征；所述多个单元各自对应的单元图像是通过拆分组合对象图像得到的；所述组合对象由所述多个单元组成；
所述至少一个第二网络层用于：根据所述组合对象的组合方式及所述多个单元各自对应的单元特征，获得有关所述多个单元中各单元是否满足预设条件的识别结果。
上述至少一个第一网络层和至少一个第二网络层的具体处理过程可参见上述各实施例相应内容，在此不再赘述。
本申请实施例提供的技术方案，神经网络模型先将组合对象图像拆分成多个单元各自对应的单元图像，分别对每个单元对应的单元图像进行特征提取，得到每个单元对应的单元特征；再根据组合对象的组合方式及每个单元对应的单元特征，来识别出满足预设条件的单元。可见，本申请实施例提供的技术方案是先关注每个单元以提取合适的单元特征，在此基础上再引入组合件的组合方式，可有效提高识别准确率。
这里需要说明的是：本申请实施例提供的所述方法中各步骤未尽详述的内容可参见上述实施例中的相应内容，此处不再赘述。此外，本申请实施例提供的所述方法中除了上述各步骤以外，还可包括上述各实施例中其他部分或全部步骤，具体可参见上述各实施例相应内容，在此不再赘述。
下面将介绍一种神经网络系统。该系统包括：至少一个第一网络层和至少一个第二网络层；其中，
所述至少一个第一网络层用于：分别对所述多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征；所述多个单元各自对应的单元图像是通过拆分组合对象图像得到的；所述组合对象由所述多个单元组成；
所述至少一个第二网络层用于：根据所述组合对象的组合方式及所述多个单元各自对应的单元特征，获得有关所述多个单元中各单元是否满足预设条件的识别结果。
上述至少一个第一网络层和至少一个第二网络层的具体处理过程可参见上述各实施例相应内容，在此不再赘述。
本申请实施例提供的技术方案，神经网络模型先将组合对象图像拆分成多个单元各自对应的单元图像，分别对每个单元对应的单元图像进行特征提取，得到每个单元对应的单元特征；再根据组合对象的组合方式及每个单元对应的单元特征，来识别出满足预设条件的单元。可见，本申请实施例提供的技术方案是先关注每个单元以提取合适的单元特征，在此基础上再引入组合件的组合方式，可有效提高识别准确率。
这里需要说明的是：本申请实施例提供的所述系统中各网络层所执行的步骤未尽详述的内容可参见上述实施例中的相应内容，此处不再赘述。
综上所述，本申请实施例针对组合型瑕疵，提出一种组合型瑕疵检测方法，引入了组合方式，针对组合型瑕疵检测的准确率有明显提高。并且每个单元的特征提取可并行处理，便于GPU并行处理，检测效率也有明显提升。先关注每个单元，以提取合适特征，再以每个单元的单元特征为基础进行组合瑕疵识别，这样很好的引入了组合对象的组合方式等信息，也和人工检测组合型瑕疵的流程比较近似，对组合型瑕疵识别精度更高。并且这样做不需要进行检测框的检测，最终只需要对输出的M*N(组合对象的行列数)个点进行分类，有效提升了算法速度。
本申请实施例提供的技术方案引入了组合对象的组合方式等信息，并对每个单元进行分类，对瑕疵定位更加精确。使用特征提取网络和分类网络级联的端到端(end2end)方法，先对组合对象的各单元分别提取特征，然后再识别组合型瑕疵，即模块内部(即单元特征)使用特征提取网络来运算得到，提取到合适的单元特征之后，单元之间使用分类网络进行运算，逻辑上更加合理，更加符合人工检测组合型瑕疵的流程，识别效果更加准确。由于特征提取网络单独作用于每个单元，每个单元的特征得到了很好的提取，有利于识别效果的提升。
图5示出了本申请又一实施例提供的光伏组件检测方法的流程示意图。该方法，包括：
501、对光伏组件图像进行拆分，得到多个电池单元各自对应的单元图像。
其中，所述光伏组件由所述多个电池单元组成。
502、分别对所述多个电池单元各自对应的单元图像进行特征提取，得到所述多个电池单元各自对应的单元特征。
503、根据所述光伏组件的组合方式及所述多个电池单元各自对应的单元特征，从所述多个电池单元中检测出满足预设条件的电池单元。
上述501中，通常，光伏组件由多个电池单元以矩形阵列的组合方式组成，如图1d所示。
上述501、502和503的具体实现可参见上述各实施例中相应内容，在此不再赘述。
本申请实施例提供的技术方案，先将光伏组件图像拆分成多个电池单元各自对应的单元图像，分别对每个电池单元对应的单元图像进行特征提取，得到每个电池单元对应的单元特征；再根据光伏组件的组合方式及每个电池单元对应的单元特征，来识别出满足预设条件的电池单元。可见，本申请实施例提供的技术方案是先关注每个电池单元以提取合适的单元特征，在此基础上再引入组合件的组合方式，可有效提高识别准确率。
这里需要说明的是：本申请实施例提供的所述方法中各步骤未尽详述的内容可参见上述实施例中的相应内容，此处不再赘述。此外，本申请实施例提供的所述方法中除了上述各步骤以外，还可包括上述各实施例中其他部分或全部步骤，具体可参见上述各实施例相应内容，在此不再赘述。
图1e示出了本申请一实施例提供的图像识别方法的流程示意图。如图1e所示，该方法，包括：
130、获取组合对象图像。
其中，所述组合对象由多个单元组成。
131、对组合对象图像进行拆分，得到多个拆分图像。
各拆分图像中包含有所述多个单元中部分单元影像。
132、分别对所述多个拆分图像进行特征提取，得到所述多个拆分图像各自对应的图像特征。
133、根据所述多个拆分图像组合成所述组合对象图像的组合方式及所述多个拆分图像各自对应的图像特征，从所述多个单元中识别出满足预设条件的单元。
上述130中，组合对象图像可以为用户输入或用户上传的。在一实例中，组合对象可以是由多个单元按照阵列的组合方式组成。阵列具体可以为矩形阵列，该矩形阵列的行数和列数中的至少一个大于1。此外，每个单元的单元尺寸、形状可相同。
在一实例中，每个单元的形状均为矩形且尺寸相同，组合对象可以是由多个单元按照矩形阵列的组合方式拼接而成。
在一实际应用场景中，组合对象可以为光伏组件，组合对象图像即光伏组件图像。光伏组件由多个电池单元(即电池片)组成，具体地，由多个电池单元以矩形阵列的组合方式组成，如图1d所示。
上述131中，对组合对象图像进行拆分，得到多个拆分图像。各拆分图像中包含有所述多个单元中部分单元影像，具体地，各拆分图像中可包含有所述多个单元中至少一个单元影像。各拆分图像中所包含的至少一个单元影像的数量可相等或不相等，本申请对此不做具体限定。
需要补充的是，各拆分图像中可均包含一个单元影像，这样，各拆分图像也即是上述各实施例中的单元图像。
以组合对象为3×4矩形阵列的光伏组件为例，如图1c所示，可沿着图1c中的虚线将组合对象图像拆分成四个拆分图像：第一拆分图像f1中包含四个单元影像；第二拆分图像f2中包含四个单元影像；第三拆分图像f3中包含两个单元影像；第四拆分图像f4中包含两个单元影像。
在实际应用时，为了降低人工操作成本，可对组合对象图像进行自动拆分，具体拆分方式将在下述各实施例中详细介绍。
上述132中，由于拆分图像中所包含的信息明显少于组合对象图像中所包含的信息，信息量越少，特征提取难度就越小，越有利于机器学习模型学习到有用的特征，例如：学习到单元内部的有效特征以及每个拆分图像中单元交界处的有效特征。
可采用机器学习模型分别对所述多个拆分图像进行特征提取，得到所述多个拆分图像各自对应的图像特征。可依次或并行对多个单元各自对应的单元图像进行特征提取。并行处理可有效节省特征提取所占用的时间，提高图像识别效率。
上述133中，在判断组合对象中的单元是否满足预设条件时，不仅要考虑单元本身情况，还需要考虑单元周边情况以及组合对象的整体情况。
可将所述多个拆分图像组合成所述组合对象图像的组合方式及所述多个拆分图像各自对应的图像特征输入至机器学习模型中，以由机器学习模型继续学习到各拆分图像的交界处的特征以及组合对象的整体情况，以从所述多个单元中识别出满足预设条件的单元。
在上述132中已经很好地提取出每个拆分图像中的特征，这样，在上述133中，只需提取出各拆分图像的交界处的特征以及组合对象的整体情况即可，提取任务简单，有利于提高特征提取效果。也就是说，本申请实施例提高的技术方案中，是将复杂的特征提取任务拆分成两个简单的特征提取子任务来实现，不仅可降低特征提取难度，还有利于提高特征提取效果，进而提高最终的识别准确率。
本申请实施例提供的技术方案，将复杂的图像划分成若干个简单的拆分图像。这样，针对简单的每个拆分图像进行特征提取时，可降低提取难度，且能够很好地提取到每个拆分图像中的特征。后续再引入多个拆分图像组合成组合对象图像的组合方式，实现了对组合对象的整体检测。这样一来，可有效提高识别率。
在一实例中，上述机器学习模型具体可以为神经网络模型，以提供图像识别准确率。具体地，由神经网络模型来执行上述步骤132和133。
在一种可实现的方案中，上述133中“根据所述多个拆分图像组合成所述组合对象图像的组合方式及所述多个拆分图像各自对应的图像特征，从所述多个单元中识别出满足预设条件的单元”，具体可采用如下步骤来实现：
1331、根据所述组合方式，拼接所述多个拆分图像各自对应的图像特征，得到拼接特征。
1332、基于所述拼接特征，从所述多个单元中识别出满足预设条件的单元。
上述1331，按照所述多个拆分图像组合成所述组合对象图像的组合方式，拼接多个拆分图像各自对应的图像特征。所述多个拆分图像各自对应的图像特征在所述拼接特征中的拼接位置与所述多个拆分图像在所述组合对象图像中的位置相对应。具体地，所述图像特征为具有长、宽和通道三个维度的特征图。可按照所述多个拆分图像组合成所述组合对象图像的组合方式，在长和宽这两个维度上对多个拆分图像各自对应的图像特征进行拼接，得到拼接特征。
上述拼接步骤可通过神经网络层中的连接层(Concat层)来实现特征拼接。
上述1332中，拼接特征中不仅包含有每个单元内部特征以及各拆分图像中各单元交界处的特征，还融合有多个拆分图像组合成组合对象图像的组合方式。也即是在拼接特征中表明了每个单元本身的情况，还表明了每个单元周边的情况以及组合对象的整体情况。基于所述拼接特征，可从所述多个单元中识别出满足预设条件的单元。
在一实例中，上述1332具体可采用如下步骤来实现：
A、对所述拼接特征进行特征提取，得到组合特征。
B、根据所述组合特征，分别对所述多个单元中各单元进行分类；
C、根据分类结果，从所述多个单元中识别出满足预设条件的单元。
上述A中，对所述拼接特征进行特征提取，目的是为了进一步提取得到各拆分图像交界处的特征。
上述B和C的具体实现可参见上述各实施例中相应内容，在此不再赘述。
下面将介绍一种方式来实现对组合对象图像的拆分：上述131中“对组合对象图像进行拆分，得到多个拆分图像”，具体可采用如下步骤来实现：
1311、获取预设拆分规则以及组合对象的组合信息。
1312、根据所述预设拆分规则以及组合对象图像的组合信息，对组合对象图像进行拆分，得到多个拆分图像。
其中，所述组合信息中包括组合参数及所述多个单元的组合方式。
预设拆分规则可根据实际需要来设定，本实施例对此不做具体限定。例如：预设拆分规则可以为均匀拆分，即每个拆分图像中单元影像的数量均相等；再例如：预设拆分规则为非均匀拆分，即每个拆分图像中单元影像的数量不同。
这里需要说明的是：本申请实施例提供的所述方法中各步骤未尽详述的内容可参见上述实施例中的相应内容，此处不再赘述。此外，本申请实施例提供的所述方法中除了上述各步骤以外，还可包括上述各实施例中其他部分或全部步骤，具体可参见上述各实施例相应内容，在此不再赘述。
下面将介绍本实施例中神经网络模型的训练方法。该方法包括：获取样本组合对象图像。其中，所述样本组合对象由所述多个单元组成。对样本组合对象图像进行拆分，得到多个拆分图像；各拆分图像中包含有所述多个单元中部分单元影像；将所述多个拆分图像输入神经网络模型，获得有关所述多个单元中各单元是否满足预设条件的预测识别结果；根据所述预测识别结果及所述样本组合对象图像对应的期望识别结果，对所述神经网络模型进行参数优化；其中，所述神经网络模型用于：分别对所述多个拆分图像进行特征提取，得到所述多个拆分图像各自对应的图像特征；根据所述多个拆分图像组合成所述样本组合对象图像的组合方式及所述多个拆分图像各自对应的图像特征，获得所述预测识别结果。
本实施例中，对样本组合对象图像进行拆分得到多个拆分图像的步骤可参照上述各实施例中对组合对象图像进行拆分得到多个拆分图像的步骤，在此不再赘述。上述神经网络模型在训练阶段的向前计算过程与其在应用阶段的向前计算过程相同，故在此不再赘述。
上述步骤“根据所述多个拆分图像组合成所述样本组合对象图像的组合方式及所述多个拆分图像各自对应的图像特征，获得所述预测识别结果”的具体实现可参见上述各实施例中相应内容，在此不再赘述。
这里需要说明的是：本申请实施例提供的所述方法中各步骤未尽详述的内容可参见上述实施例中的相应内容，此处不再赘述。此外，本申请实施例提供的所述方法中除了上述各步骤以外，还可包括上述各实施例中其他部分或全部步骤，具体可参见上述各实施例相应内容，在此不再赘述。
在一实际应用场景中，可提供给用户两个选项，一个是不拆分识别方法对应的选项，另一个为上述图1e所展示的拆分识别方法对应的选项，以由用户来选择，以满足用户的不同需求。具体地，
步骤1：在界面显示不拆分识别方法对应的第一选项和拆分识别方法对应的第二选项。
步骤2：响应于用户针对所述第二选项的触控操作，获取组合对象图像；其中，所述组合对象由多个单元组成；对组合对象图像进行拆分，得到多个拆分图像；所述多个拆分图像中各拆分图像中包含有所述多个单元中部分单元影像；分别对所述多个拆分图像进行特征提取，得到所述多个拆分图像各自对应的图像特征；并根据所述多个拆分图像组合成所述组合对象图像的组合方式及所述多个拆分图像各自对应的图像特征，从所述多个单元中识别出满足预设条件的单元。
步骤3：响应于用户针对所述第一选项的触控操作，获取组合对象图像；将组合对象图像输入至训练好的现有神经网络模型中，获得识别结果。
上述步骤2和3中，触控操作可以为点击、双击或长按等操作。
上述步骤2中处理步骤的具体实现可参见上述各实施例中相应内容，在此不再赘述。
上述步骤3中处理步骤的具体实现可参见现有技术，在此不再详述。
图6示出了本申请又一实施例提供的光伏组件检测方法的流程示意图。该方法，包括：
601、对光伏组件图像进行拆分，得到多个电池单元各自对应的单元图像。
其中，所述光伏组件由所述多个电池单元组成。
602、将所述多个电池单元各自对应的单元图像输入神经网络模型，获得有关所述多个电池单元中各电池单元是否满足预设条件的检测结果。
其中，所述神经网络模型用于：分别对所述多个电池单元各自对应的单元图像进行特征提取，得到所述多个电池单元各自对应的单元特征；根据所述光伏组件的组合方式及所述多个电池单元各自对应的单元特征，获得所述检测结果。
上述601和602的具体实现可参见上述各实施例中相应内容，在此不再赘述。
上述神经网络模型是根据样本光伏组件图像及其期望识别结果训练得到的。本申请实施例提供的技术方案，神经网络模型先将光伏组件图像拆分成多个电池单元各自对应的单元图像，分别对每个电池单元对应的单元图像进行特征提取，得到每个电池单元对应的单元特征；再根据光伏组件的组合方式及每个电池单元对应的单元特征，来识别出满足预设条件的电池单元。可见，本申请实施例提供的技术方案是先关注每个电池单元以提取合适的单元特征，在此基础上再引入组合件的组合方式，可有效提高识别准确率。
进一步的，神经网络模型执行步骤“根据所述光伏组件的组合方式及所述多个电池单元各自对应的单元特征，获得所述检测结果“，具体可采用如下步骤来实现：
6021、根据所述光伏组件的组合方式，拼接所述多个电池单元各自对应的单元特征，得到拼接特征。
6022、基于所述拼接特征，获得所述检测结果。
其中，所述多个电池单元中各电池单元对应的单元特征在所述拼接特征中的拼接位置与所述各电池单元在所述所述光伏组件中的组合位置相对应。
上述6021、6022的具体实现可参见上述各实施例中相应内容，在此不再赘述。
这里需要说明的是：本申请实施例提供的所述方法中各步骤未尽详述的内容可参见上述实施例中的相应内容，此处不再赘述。此外，本申请实施例提供的所述方法中除了上述各步骤以外，还可包括上述各实施例中其他部分或全部步骤，具体可参见上述各实施例相应内容，在此不再赘述。
下面将结合图1a对本申请实施例提供的技术方案进行详细介绍：
待识别的光伏组件由12个电池单元以3行4列的矩形阵列的组合方式组成，位于第2行第3列的电池单元为组合瑕疵单元。将光伏组件像拆分成12个电池单元各自对应的单元图像。将12个单元图像输入至CNN1(由上述各实施例中提及的至少一个第一网络层组成)中，进行特征提取得到12个电池单元各自对应的单元特征。按照光伏组件的组合方式，拼接这12个电池单元各自对应的单元特征，得到拼接特征。将拼接特征输入至CNN2(由上述各实施例中提及的至少一个第二网络层组成)中，该CNN2输出识别结果，即识别矩阵。该矩阵的第2行第3列的数值为1，表明组合对象中第2行第3列的电池单元为组合瑕疵单元。矩阵其他位置的数值均为0，表明其他电池单元均为正常电池单元。最后可采用标注框在官府组件图像中标注出组合瑕疵单元。
上述实施例中的光伏组件检测方法不仅可应用于光伏组件出厂前的质量检测，以确保出厂品质。另外，在光伏组件投入使用之后，因为受到环境、产品寿命等各方面的影响，会导致光伏组件中部分电池片出现异常，这些异常是也是需要进行检测的，故上述实施例中的光伏组件检测方法还可应用于检测光伏组件在使用过程(即发电过程)中是否发生损坏。
具体地，可采用无人机对光伏发电站正在使用的光伏组件进行拍摄得到光伏组件图像。后续采用上述各实施例中提供的方法对无人机拍摄到的光伏组件图像进行检测，得到检测结果。根据检测结果来判断是否存在异常或损坏的电池片。
图7示出了本申请一实施例提供的图像识别装置的结构示意图。如图7所示，所述图像识别装置包括：第一拆分模块701和第一输入模块702。其中，
第一拆分模块701，用于对组合对象图像进行拆分，得到多个单元各自对应的单元图像；其中，所述组合对象由所述多个单元组成；
第一输入模块702，用于将所述多个单元各自对应的单元图像输入神经网络模型，获得有关所述多个单元中各单元是否满足预设条件的识别结果；
其中，所述神经网络模型用于：分别对所述多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征；根据所述组合对象的组合方式及所述多个单元各自对应的单元特征，获得所述识别结果。
本申请实施例提供的技术方案，神经网络模型先将组合对象图像拆分成多个单元各自对应的单元图像，分别对每个单元对应的单元图像进行特征提取，得到每个单元对应的单元特征；再根据组合对象的组合方式及每个单元对应的单元特征，来识别出满足预设条件的单元。可见，本申请实施例提供的技术方案是先关注每个单元以提取合适的单元特征，在此基础上再引入组合件的组合方式，可有效提高识别准确率。
进一步的，所述第一拆分模块701，具体用于：
获取所述组合对象的组合信息；其中，所述组合信息中包括组合参数及所述组合方式；
根据所述组合信息，对所述组合对象图像进行拆分，得到多个单元各自对应的单元图像。
进一步的，所述第一拆分模块701，具体用于：
将所述组合对象图像输入训练好的图像分割模型，获得分割线；
根据所述分割线，拆分所述组合对象图像，得到多个单元各自对应的单元图像；
其中，所述图像分割模型是根据样本组合对象图像及其期望分割线训练得到的。
进一步的，上述装置，还包括：
标注模块，用于在所述组合对象图像中标注所述满足预设条件的单元；
输出模块，用于输出标注后的所述组合对象图像。
进一步的，所述组合对象由所述多个单元按照矩形阵列的组合方式组成。
这里需要说明的是：上述实施例提供的图像识别装置可实现上述各方法实施例中描述的技术方案，上述各模块、神经网络模型具体实现及原理可参见上述各方法实施例中的相应内容，此处不再赘述。
图8示出了本申请一实施例提供的模型训练装置的结构示意图。如图8所示，所述装置包括：第二拆分模块801、第二输入模块802和优化模块803。其中，
第二拆分模块801，用于对样本组合对象图像进行拆分，得到多个单元各自对应的单元图像；
第二输入模块802，用于将所述多个单元各自对应的单元图像输入神经网络模型，获得有关所述多个单元中各单元是否满足预设条件的预测识别结果；
优化模块803，用于根据所述预测识别结果及所述样本组合对象图像对应的期望识别结果，对所述神经网络模型进行参数优化；
其中，所述样本组合对象由所述多个单元组成；所述神经网络模型用于：分别对所述多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征；根据所述样本组合对象的组合方式及所述多个单元各自对应的单元特征，获得所述预测识别结果。
本申请实施例提供的技术方案，神经网络模型先将组合对象图像拆分成多个单元各自对应的单元图像，分别对每个单元对应的单元图像进行特征提取，得到每个单元对应的单元特征；再根据组合对象的组合方式及每个单元对应的单元特征，来识别出满足预设条件的单元。可见，本申请实施例提供的技术方案是先关注每个单元以提取合适的单元特征，在此基础上再引入组合件的组合方式，可有效提高识别准确率。
这里需要说明的是：上述实施例提供的模型训练装置可实现上述各方法实施例中描述的技术方案，上述各模块、神经网络模型具体实现及原理可参见上述各方法实施例中的相应内容，此处不再赘述。
图9示出了本申请一实施例提供的模型构建装置的结构示意图。如图9所示，所述装置包括：构建模块901、连接模块902。其中，
构建模块901，用于构建至少一个第一网络层和至少一个第二网络层；
连接模块902，用于连接所述至少一个第一网络层和所述至少一个第二网络层，获得用于进行图像识别的神经网络模型；
其中，所述至少一个第一网络层用于：分别对多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征；所述多个单元各自对应的单元图像是通过拆分组合对象图像得到的；所述组合对象由所述多个单元组成；
所述至少一个第二网络层用于：根据所述组合对象的组合方式及所述多个单元各自对应的单元特征，获得有关所述多个单元中各单元是否满足预设条件的识别结果。
本申请实施例提供的技术方案，神经网络模型先将组合对象图像拆分成多个单元各自对应的单元图像，分别对每个单元对应的单元图像进行特征提取，得到每个单元对应的单元特征；再根据组合对象的组合方式及每个单元对应的单元特征，来识别出满足预设条件的单元。可见，本申请实施例提供的技术方案是先关注每个单元以提取合适的单元特征，在此基础上再引入组合件的组合方式，可有效提高识别准确率。
这里需要说明的是：上述实施例提供的模型构建装置可实现上述各方法实施例中描述的技术方案，上述各模块、所述至少一个第一网络层和至少一个第二网络层具体实现及原理可参见上述各方法实施例中的相应内容，此处不再赘述。
图10示出了本申请一实施例提供的图像识别装置的结构示意图。如图10所示，所述装置包括：第三拆分模块1001、第一提取模块1002和第一识别模块1003。其中，
第三拆分模块1001，用于对组合对象图像进行拆分，得到多个单元各自对应的单元图像；其中，所述组合对象由所述多个单元组成；
第一提取模块1002，用于分别对所述多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征；
第一识别模块1003，用于根据所述组合对象的组合方式及所述多个单元各自对应的单元特征，从所述多个单元中识别出满足预设条件的单元。
本申请实施例提供的技术方案，先将组合对象图像拆分成多个单元各自对应的单元图像，分别对每个单元对应的单元图像进行特征提取，得到每个单元对应的单元特征；再根据组合对象的组合方式及每个单元对应的单元特征，来识别出满足预设条件的单元。可见，本申请实施例提供的技术方案是先关注每个单元以提取合适的单元特征，在此基础上再引入组合件的组合方式，可有效提高识别准确率。
进一步的，第一识别模块1003，具体用于：
根据所述组合对象的组合方式，拼接所述多个单元各自对应的单元特征，得到拼接特征；
基于所述拼接特征，从所述多个单元中识别出满足预设条件的单元；
其中，所述多个单元中各单元对应的单元特征在所述拼接特征中的拼接位置与所述各单元在所述组合对象中的组合位置相对应。
进一步的，第一识别模块1003，具体用于：
对所述拼接特征进行特征提取，得到组合特征；
根据所述组合特征，分别对所述多个单元中各单元进行分类；
根据分类结果，从所述多个单元中识别出满足预设条件的单元。
进一步的，上述装置，还包括：
标注模块，用于在所述组合对象图像中标注所述满足预设条件的单元；
输出模块，用于输出标注后的所述组合对象图像。
这里需要说明的是：上述实施例提供的图像识别装置可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。
图11示出了本申请一实施例提供的光伏组件检测装置的结构示意图。如图11所示，所述图像识别装置包括：第四拆分模块1201和第三输入模块1202。其中，
第四拆分模块1201，用于对光伏组件图像进行拆分，得到多个电池单元各自对应的单元图像；其中，所述光伏组件由所述多个电池单元组成；
第三输入模块1202，用于将所述多个电池单元各自对应的单元图像输入神经网络模型，获得有关所述多个电池单元中各电池单元是否满足预设条件的检测结果；
其中，所述神经网络模型用于：分别对所述多个电池单元各自对应的单元图像进行特征提取，得到所述多个电池单元各自对应的单元特征；根据所述光伏组件的组合方式及所述多个电池单元各自对应的单元特征，获得所述检测结果。
本申请实施例提供的技术方案，神经网络模型先将光伏组件图像拆分成多个电池单元各自对应的单元图像，分别对每个电池单元对应的单元图像进行特征提取，得到每个电池单元对应的单元特征；再根据光伏组件的组合方式及每个电池单元对应的单元特征，来识别出满足预设条件的电池单元。可见，本申请实施例提供的技术方案是先关注每个电池单元以提取合适的单元特征，在此基础上再引入组合件的组合方式，可有效提高识别准确率。
进一步的，上述装置，还包括：
标注模块，用于在所述光伏组件图像中标注所述满足预设条件的电池单元；
输出模块，用于输出标注后的所述光伏组件图像。
这里需要说明的是：上述实施例提供的光伏组件检测装置可实现上述各方法实施例中描述的技术方案，上述各模块、神经网络模型具体实现及原理可参见上述各方法实施例中的相应内容，此处不再赘述。
图12示出了本申请一实施例提供的光伏组件检测装置的结构示意图。如图12所示，所述图像识别装置包括：第五拆分模块1301、第二提取模块1302和第二识别模块1303。其中，
第五拆分模块1301，用于对光伏组件图像进行拆分，得到多个电池单元各自对应的单元图像；其中，所述光伏组件由所述多个电池单元组成；
第二提取模块1302，用于分别对所述多个电池单元各自对应的单元图像进行特征提取，得到所述多个电池单元各自对应的单元特征；
第二识别模块1303，用于根据所述光伏组件的组合方式及所述多个电池单元各自对应的单元特征，从所述多个电池单元中检测出满足预设条件的电池单元。
本申请实施例提供的技术方案，先将光伏组件图像拆分成多个电池单元各自对应的单元图像，分别对每个电池单元对应的单元图像进行特征提取，得到每个电池单元对应的单元特征；再根据光伏组件的组合方式及每个电池单元对应的单元特征，来识别出满足预设条件的电池单元。可见，本申请实施例提供的技术方案是先关注每个电池单元以提取合适的单元特征，在此基础上再引入组合件的组合方式，可有效提高识别准确率。
进一步的，上述装置，还包括：
标注模块，用于在所述光伏组件图像中标注所述满足预设条件的电池单元；
输出模块，用于输出标注后的所述光伏组件图像。
这里需要说明的是：上述实施例提供的光伏组件检测装置可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。
图13示出了本申请一实施例提供的电子设备的结构示意图。如图13所示，所述电子设备包括存储器1101以及处理器1102。存储器1101可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令。存储器1101可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
所述存储器1101，用于存储程序；
所述处理器1102，与所述存储器1101耦合，用于执行所述存储器1101中存储的所述程序，以实现上述各方法实施例提供的图像识别方法、模型训练方法、模型构建方法或光伏组件检测方法。
进一步，如图9所示，电子设备还包括：通信组件1103、显示器1104、电源组件1105、音频组件1106等其它组件。图13中仅示意性给出部分组件，并不意味着电子设备只包括图13所示组件。
相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时能够实现上述各方法实施例提供的图像识别方法、模型训练方法、模型构建方法、光伏组件检测方法中各方法的步骤或功能。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (26)

1.一种图像识别方法，其特征在于，包括：
对组合对象图像进行拆分，得到多个单元各自对应的单元图像；其中，所述组合对象由所述多个单元组成；
将所述多个单元各自对应的单元图像输入神经网络模型，获得有关所述多个单元中各单元是否满足预设条件的识别结果；
其中，所述神经网络模型用于：分别对所述多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征；根据所述组合对象的组合方式及所述多个单元各自对应的单元特征，获得所述识别结果。
2.根据权利要求1所述的方法，其特征在于，根据所述组合对象的组合方式及所述多个单元各自对应的单元特征，获得所述识别结果，包括：
根据所述组合对象的组合方式，拼接所述多个单元各自对应的单元特征，得到拼接特征；
基于所述拼接特征，获得所述识别结果；
其中，所述多个单元中各单元对应的单元特征在所述拼接特征中的拼接位置与所述各单元在所述组合对象中的组合位置相对应。
3.根据权利要求2所述的方法，其特征在于，所述组合对象由所述多个单元按照矩形阵列的组合方式组成；
根据所述组合对象的组合方式，拼接所述多个单元各自对应的单元特征，得到拼接特征，包括：
按照所述矩形阵列的组合方式，拼接所述多个单元各自对应的单元特征，得到拼接特征；
其中，所述多个单元各自对应的单元特征在所述拼接特征中以所述矩形阵列的方式排布。
4.根据权利要求3所述的方法，其特征在于，所述单元特征为具有长、宽和通道三个维度的单元特征图；
按照所述矩形阵列的组合方式，拼接所述多个单元各自对应的单元特征，得到拼接特征，包括：
按照所述矩形阵列的组合方式，在长和宽两个维度上，依次拼接所述多个单元各自对应的单元特征图，得到拼接特征。
5.根据权利要求2至4中任一项所述的方法，其特征在于，基于所述拼接特征，获得所述识别结果，包括：
对所述拼接特征进行特征提取，得到组合特征；
根据所述组合特征，分别对所述多个单元中各单元进行分类，获得所述识别结果。
6.根据权利要求1至4中任一项所述的方法，其特征在于，对组合对象图像进行拆分，得到多个单元各自对应的单元图像，包括：
获取所述组合对象的组合信息；其中，所述组合信息中包括组合参数及所述组合方式；
根据所述组合信息，对所述组合对象图像进行拆分，得到多个单元各自对应的单元图像。
7.根据权利要求1至4中任一项所述的方法，其特征在于，对组合对象图像进行拆分，得到多个单元各自对应的单元图像，包括：
将所述组合对象图像输入训练好的图像分割模型，获得分割线；
根据所述分割线，拆分所述组合对象图像，得到多个单元各自对应的单元图像；
其中，所述图像分割模型是根据样本组合对象图像及其期望分割线训练得到的。
8.根据权利要求1至4中任一项所述的方法，其特征在于，还包括：
在所述组合对象图像中标注所述满足预设条件的单元；
输出标注后的所述组合对象图像。
9.一种模型训练方法，其特征在于，包括：
对样本组合对象图像进行拆分，得到多个单元各自对应的单元图像；其中，所述样本组合对象由所述多个单元组成；
将所述多个单元各自对应的单元图像输入神经网络模型，获得有关所述多个单元中各单元是否满足预设条件的预测识别结果；
根据所述预测识别结果及所述样本组合对象图像对应的期望识别结果，对所述神经网络模型进行参数优化；
其中，所述神经网络模型用于：分别对所述多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征；根据所述样本组合对象的组合方式及所述多个单元各自对应的单元特征，获得所述预测识别结果。
10.根据权利要求9所述的方法，其特征在于，根据所述样本组合对象的组合方式及所述多个单元各自对应的单元特征，获得所述预测识别结果，包括：
根据所述样本组合对象的组合方式，拼接所述多个单元各自对应的单元特征，得到拼接特征；
基于所述拼接特征，获得所述识别结果；
其中，所述多个单元中各单元对应的单元特征在所述拼接特征中的拼接位置与所述各单元在所述样本组合对象中的组合位置相对应。
11.一种模型构建方法，其特征在于，包括：
构建至少一个第一网络层和至少一个第二网络层；
连接所述至少一个第一网络层和所述至少一个第二网络层，获得用于进行图像识别的神经网络模型；
其中，所述至少一个第一网络层用于：分别对多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征；所述多个单元各自对应的单元图像是通过拆分组合对象图像得到的；所述组合对象由所述多个单元组成；
所述至少一个第二网络层用于：根据所述组合对象的组合方式及所述多个单元各自对应的单元特征，获得有关所述多个单元中各单元是否满足预设条件的识别结果。
12.一种神经网络系统，其特征在于，包括：至少一个第一网络层和至少一个第二网络层；其中，
所述至少一个第一网络层用于：分别对所述多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征；所述多个单元各自对应的单元图像是通过拆分组合对象图像得到的；所述组合对象由所述多个单元组成；
所述至少一个第二网络层用于：根据所述组合对象的组合方式及所述多个单元各自对应的单元特征，获得有关所述多个单元中各单元是否满足预设条件的识别结果。
13.一种图像识别方法，其特征在于，包括：
对组合对象图像进行拆分，得到多个单元各自对应的单元图像；其中，所述组合对象由所述多个单元组成；
分别对所述多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征；
根据所述组合对象的组合方式及所述多个单元各自对应的单元特征，从所述多个单元中识别出满足预设条件的单元。
14.根据权利要求13所述的方法，其特征在于，根据所述组合对象的组合方式及所述多个单元各自对应的单元特征，从所述多个单元中识别出满足预设条件的单元，包括：
根据所述组合对象的组合方式，拼接所述多个单元各自对应的单元特征，得到拼接特征；
基于所述拼接特征，从所述多个单元中识别出满足预设条件的单元；
其中，所述多个单元中各单元对应的单元特征在所述拼接特征中的拼接位置与所述各单元在所述组合对象中的组合位置相对应。
15.根据权利要求14所述的方法，其特征在于，基于所述拼接特征，从所述多个单元中识别出满足预设条件的单元，包括：
对所述拼接特征进行特征提取，得到组合特征；
根据所述组合特征，分别对所述多个单元中各单元进行分类；
根据分类结果，从所述多个单元中识别出满足预设条件的单元。
16.一种光伏组件检测方法，其特征在于，包括：
对光伏组件图像进行拆分，得到多个电池单元各自对应的单元图像；其中，所述光伏组件由所述多个电池单元组成；
将所述多个电池单元各自对应的单元图像输入神经网络模型，获得有关所述多个电池单元中各电池单元是否满足预设条件的检测结果；
其中，所述神经网络模型用于：分别对所述多个电池单元各自对应的单元图像进行特征提取，得到所述多个电池单元各自对应的单元特征；根据所述光伏组件的组合方式及所述多个电池单元各自对应的单元特征，获得所述检测结果。
17.根据权利要求16所述的方法，其特征在于，根据所述光伏组件的组合方式及所述多个电池单元各自对应的单元特征，获得所述检测结果，包括：
根据所述光伏组件的组合方式，拼接所述多个电池单元各自对应的单元特征，得到拼接特征；
基于所述拼接特征，获得所述检测结果；
其中，所述多个电池单元中各电池单元对应的单元特征在所述拼接特征中的拼接位置与所述各电池单元在所述所述光伏组件中的组合位置相对应。
18.一种光伏组件检测方法，其特征在于，包括：
对光伏组件图像进行拆分，得到多个电池单元各自对应的单元图像；其中，所述光伏组件由所述多个电池单元组成；
分别对所述多个电池单元各自对应的单元图像进行特征提取，得到所述多个电池单元各自对应的单元特征；
根据所述光伏组件的组合方式及所述多个电池单元各自对应的单元特征，从所述多个电池单元中检测出满足预设条件的电池单元。
19.一种电子设备，其特征在于，包括：存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
对组合对象图像进行拆分，得到多个单元各自对应的单元图像；其中，所述组合对象由所述多个单元组成；
将所述多个单元各自对应的单元图像输入神经网络模型，获得有关所述多个单元中各单元是否满足预设条件的识别结果；
其中，所述神经网络模型用于：分别对所述多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征；根据所述组合对象的组合方式及所述多个单元各自对应的单元特征，获得所述识别结果。
20.一种电子设备，其特征在于，包括：存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
对样本组合对象图像进行拆分，得到多个单元各自对应的单元图像；其中，所述样本组合对象由所述多个单元组成；
将所述多个单元各自对应的单元图像输入神经网络模型，获得有关所述多个单元中各单元是否满足预设条件的预测识别结果；
根据所述预测识别结果及所述样本组合对象图像对应的期望识别结果，对所述神经网络模型进行参数优化；
其中，所述神经网络模型用于：分别对所述多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征；根据所述样本组合对象的组合方式及所述多个单元各自对应的单元特征，获得所述预测识别结果。
21.一种电子设备，其特征在于，包括：存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
构建至少一个第一网络层和至少一个第二网络层；
连接所述至少一个第一网络层和所述至少一个第二网络层，获得用于进行图像识别的神经网络模型；
其中，所述至少一个第一网络层用于：分别对多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征；所述多个单元各自对应的单元图像是通过拆分组合对象图像得到的；所述组合对象由所述多个单元组成；
所述至少一个第二网络层用于：根据所述组合对象的组合方式及所述多个单元各自对应的单元特征，获得有关所述多个单元中各单元是否满足预设条件的识别结果。
22.一种电子设备，其特征在于，包括：存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
对组合对象图像进行拆分，得到多个单元各自对应的单元图像；其中，所述组合对象由所述多个单元组成；
分别对所述多个单元各自对应的单元图像进行特征提取，得到所述多个单元各自对应的单元特征；
根据所述组合对象的组合方式及所述多个单元各自对应的单元特征，从所述多个单元中识别出满足预设条件的单元。
23.一种电子设备，其特征在于，包括：存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
对光伏组件图像进行拆分，得到多个电池单元各自对应的单元图像；其中，所述光伏组件由所述多个电池单元组成；
将所述多个电池单元各自对应的单元图像输入神经网络模型，获得有关所述多个电池单元中各电池单元是否满足预设条件的检测结果；
其中，所述神经网络模型用于：分别对所述多个电池单元各自对应的单元图像进行特征提取，得到所述多个电池单元各自对应的单元特征；根据所述光伏组件的组合方式及所述多个电池单元各自对应的单元特征，获得所述检测结果。
24.一种电子设备，其特征在于，包括：存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
对光伏组件图像进行拆分，得到多个电池单元各自对应的单元图像；其中，所述光伏组件由所述多个电池单元组成；
分别对所述多个电池单元各自对应的单元图像进行特征提取，得到所述多个电池单元各自对应的单元特征；
根据所述光伏组件的组合方式及所述多个电池单元各自对应的单元特征，从所述多个电池单元中检测出满足预设条件的电池单元。
25.一种图像识别方法，其特征在于，包括：
获取组合对象图像；其中，所述组合对象由多个单元组成；
对组合对象图像进行拆分，得到多个拆分图像；所述多个拆分图像中各拆分图像中包含有所述多个单元中部分单元影像；
分别对所述多个拆分图像进行特征提取，得到所述多个拆分图像各自对应的图像特征；
根据所述多个拆分图像组合成所述组合对象图像的组合方式及所述多个拆分图像各自对应的图像特征，从所述多个单元中识别出满足预设条件的单元。
26.根据权利要求25所述的方法，其特征在于，根据所述多个拆分图像组合成所述组合对象图像的组合方式及所述多个拆分图像各自对应的图像特征，从所述多个单元中识别出满足预设条件的单元，包括：
根据所述组合方式，拼接所述多个拆分图像各自对应的图像特征，得到拼接特征；
基于所述拼接特征，从所述多个单元中识别出满足预设条件的单元。
CN201910764780.XA 2019-08-19 2019-08-19 图像识别、模型训练与构建、检测方法、系统及设备 Active CN112396083B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910764780.XA CN112396083B (zh) 2019-08-19 2019-08-19 图像识别、模型训练与构建、检测方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910764780.XA CN112396083B (zh) 2019-08-19 2019-08-19 图像识别、模型训练与构建、检测方法、系统及设备

Publications (2)

Publication Number Publication Date
CN112396083A true CN112396083A (zh) 2021-02-23
CN112396083B CN112396083B (zh) 2024-02-20

Family

ID=74603402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910764780.XA Active CN112396083B (zh) 2019-08-19 2019-08-19 图像识别、模型训练与构建、检测方法、系统及设备

Country Status (1)

Country Link
CN (1) CN112396083B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116302294A (zh) * 2023-05-18 2023-06-23 安元科技股份有限公司 一种界面化自动识别组件属性的方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2386920C2 (ru) * 2008-07-10 2010-04-20 Республиканское унитарное предприятие "Конструкторское бюро "Дисплей" (РУП КБ "Дисплей") Автоматизированный дистанционно управляемый комплекс огневого поражения
CN103279939B (zh) * 2013-04-27 2016-01-20 北京工业大学 一种图像拼接处理系统
CN107871103B (zh) * 2016-09-23 2021-10-19 北京眼神科技有限公司 一种人脸认证方法和装置
CN107831173A (zh) * 2017-10-17 2018-03-23 哈尔滨工业大学（威海） 光伏组件缺陷检测方法及系统
CN109325501B (zh) * 2018-08-14 2021-12-03 王斌 基于吉他背板图像的材质识别方法、装置及可读存储介质
CN109145871B (zh) * 2018-09-14 2020-09-15 广州杰赛科技股份有限公司 心理行为识别方法、装置与存储介质
CN109871890A (zh) * 2019-01-31 2019-06-11 北京字节跳动网络技术有限公司 图像处理方法和装置
CN109993283B (zh) * 2019-04-12 2023-02-28 南京吉相传感成像技术研究院有限公司 基于光电计算阵列的深度卷积生成式对抗网络的加速方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116302294A (zh) * 2023-05-18 2023-06-23 安元科技股份有限公司 一种界面化自动识别组件属性的方法及系统
CN116302294B (zh) * 2023-05-18 2023-09-01 安元科技股份有限公司 一种界面化自动识别组件属性的方法及系统

Also Published As

Publication number Publication date
CN112396083B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN111307727B (zh) 基于时序遥感影像的水体水色异常识别方法和装置
CN111398176B (zh) 基于像元尺度特征的水体水色异常遥感识别方法和装置
CN106530305A (zh) 语义分割模型训练和图像分割方法及装置、计算设备
CN111814850A (zh) 缺陷检测模型训练方法、缺陷检测方法及相关装置
CN111192377B (zh) 一种图像处理方法及装置
CN114842019B (zh) 一种电池板表面缺陷检测方法、系统、存储介质及设备
CN111008561A (zh) 一种牲畜的数量确定方法、终端及计算机存储介质
CN113298058A (zh) 基于无人机高光谱图像的水质预测反演方法及系统
CN110910360B (zh) 电网图像的定位方法和图像定位模型的训练方法
CN111310826A (zh) 样本集的标注异常检测方法、装置及电子设备
CN115578585A (zh) 工业图像异常检测方法、系统、计算机设备和存储介质
CN115631132A (zh) 网络训练方法、缺陷检测方法、装置、存储介质和设备
CN116823793A (zh) 设备缺陷检测方法、装置、电子设备和可读存储介质
CN117437227B (zh) 一种图像生成及缺陷检测方法、装置、介质、设备及产品
CN111311546A (zh) 集装箱检测方法、装置及计算机可读存储介质
CN112396083B (zh) 图像识别、模型训练与构建、检测方法、系统及设备
CN111079645A (zh) 一种基于AlexNet网络的绝缘子自爆识别方法
CN111931721A (zh) 年检标签颜色和个数的检测方法、装置及电子设备
CN113592859B (zh) 一种基于深度学习的用于显示面板缺陷的分类方法
CN115937079A (zh) 一种基于YOLO v3的输电线路缺陷快速检测方法
CN116188374A (zh) 插座检测方法、装置、计算机设备及存储介质
CN114331987A (zh) 一种接线端子锈蚀全景监控图像的边缘侧轻量化处理方法
CN114757941A (zh) 变电站设备缺陷的识别方法、装置、电子设备及存储介质
CN113570003A (zh) 基于注意力机制的特征融合缺陷检测方法及装置
CN111275682A (zh) 集装箱检测方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant