CN111539456A - 一种目标识别方法及设备 - Google Patents

一种目标识别方法及设备 Download PDF

Info

Publication number
CN111539456A
CN111539456A CN202010254375.6A CN202010254375A CN111539456A CN 111539456 A CN111539456 A CN 111539456A CN 202010254375 A CN202010254375 A CN 202010254375A CN 111539456 A CN111539456 A CN 111539456A
Authority
CN
China
Prior art keywords
target
network model
category
determining
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010254375.6A
Other languages
English (en)
Other versions
CN111539456B (zh
Inventor
余睿
朱辉
韩雪超
李晶
周璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Huaray Technology Co Ltd
Original Assignee
Zhejiang Huaray Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Huaray Technology Co Ltd filed Critical Zhejiang Huaray Technology Co Ltd
Priority to CN202010254375.6A priority Critical patent/CN111539456B/zh
Publication of CN111539456A publication Critical patent/CN111539456A/zh
Application granted granted Critical
Publication of CN111539456B publication Critical patent/CN111539456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种目标识别方法及设备，由于采用的网络模型为根据深度检测网络模型和深度语义分割网络模型确定，其中深度语义分割网络模型可以将图像的学习精确到像素层级，对边缘精细背景的干扰较少，且对不规则目标具有更高的鲁棒性，所以在将两类网络模型相结合，可以提高对复杂目标的识别能力，准确地区分相似的陷特征，从而可以提高识别和检测结果的准确度，降低漏检率。并且，本发明实施例提供的方法中首先根据网络模型确定待检测图像中的目标以及目标的位置信息，之后再根据目标的位置信息识别目标的类型，从而可以在提高目标识别的准确率的同时，提高目标识别的效率。

Description

一种目标识别方法及设备
技术领域
本发明涉及图像处理技术领域，尤指一种目标识别方法及设备。
背景技术
目前由于液晶电路板的应用领域不断扩展，缺陷类型也不断增多，更多的缺陷特征之间愈加相似。并且，由于生产厂家的不断增多，对缺陷检测的要求也不断提升。
然而，对于传统的图像处理算法而言，一般是通过缺陷特征的几何特征、灰度特征的描述对缺陷进行检测，而该种检测方法难以准确地区分相似的陷特征，难以识别复杂的缺陷特征，造成漏检率增加，检测的准确度大大降低。
因此，如何准确地区分相似的陷特征，识别复杂的缺陷特征，降低漏检率，提高检测的准确度，是本领域技术人员亟待解决的技术问题。
发明内容
本发明实施例提供了一种目标识别方法及设备，用以准确地区分相似的陷特征，识别复杂的缺陷特征，降低漏检率，提高检测和识别的准确度。
第一方面，本发明实施例提供了一种目标识别方法，包括：
根据预先确定出的网络模型，确定待检测图像中的目标以及所述目标的位置信息；其中，所述网络模型根据预设的深度检测网络模型和预设的深度语义分割网络模型确定；
根据所述目标的位置信息，对所述目标的类别进行识别。
可选地，在本发明实施例中，根据所述目标的位置信息，对所述目标的类别进行识别，包括：
根据所述目标的位置信息，确定所述目标的类别和对应的置信度。
可选地，在本发明实施例中，在确定所述目标的类别和对应的置信度之后，还包括：
根据所述目标对应的置信度，对所述目标的类别是否为已知类别进行评估处理，并根据处理结果确定所述目标的类别。
可选地，在本发明实施例中，根据所述目标对应的置信度，对所述目标的类别是否为已知类别进行评估处理，并根据处理结果确定所述目标的类别，包括：
判断所述目标对应的置信度是否大于预设阈值；
若是，则保持所述目标类别的识别结果不变；
若否，则根据预设的参考目标和所述预设阈值，继续判断所述目标的类别是否为已知类别；
若是，则保持所述目标类别的识别结果不变；
若否，则将所述目标类别的识别结果调整为未知类别。
可选地，在本发明实施例中，所述参考目标具有多个；
根据预设的参考目标和所述预设阈值，继续判断所述目标的类别是否为已知类别，包括：
确定预设的各所述参考目标分别与所述目标之间的相似度，得到多个计算结果；
从得到的所述多个计算结果中选择出相似度的最大值，并判断该最大值是否大于所述预设阈值；
若是，则确定所述目标的类别为已知类别；
若否，则确定所述目标的类别不是已知类别。
可选地，在本发明实施例中，所述网络模型采用以下方式确定：
根据所述深度检测网络模型和所述深度语义分割网络模型，搭建中间网络模型的结构；
采用预先建立的训练样本集合，对搭建后的所述中间网络模型进行训练；其中，所述训练样本集合包括多个第二样本图像，且所述第二样本图像为：对采集到的第一样本图像中的特征信息进行扩充处理后得到的，所述特征信息包括目标特征和背景特征；
将训练后的所述中间网络模型确定为所述网络模型。
可选地，在本发明实施例中，所述训练样本集合具体采用以下建立：
采集多张具有目标的第一样本图像；
对各所述第一样本图像进行分割处理，得到各所述第一样本图像中的目标特征和背景特征；
根据预设的交集、并集和差集处理规则，对各所述目标特征和各所述背景特征进行扩充处理，得到多个处理后的目标特征和多个处理后的背景特征；其中，所述处理后的目标特征的数量大于处理前的所述目标特征的数量，所述处理后的背景特征的数量大于处理前的所述背景特征的数量；
对各所述处理后的目标特征和各所述处理后的背景特征进行组合处理，得到多个第二样本图像；
根据各所述第二样本图像，建立所述训练样本集合。
第二方面，本发明实施例提供了一种目标识别设备，包括：
第一单元，用于根据预先确定出的网络模型，确定待检测图像中的目标以及所述目标的位置信息；其中，所述网络模型根据深度检测网络模型和深度语义分割网络模型确定；
第二单元，用于根据所述目标的位置信息，对所述目标的类别进行识别。
第三方面，本发明实施例提供了一种目标识别设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的所述程序指令，按照获得的程序执行：
根据预先确定出的网络模型，确定待检测图像中的目标以及所述目标的位置信息；其中，所述网络模型根据深度检测网络模型和深度语义分割网络模型确定；
根据所述目标的位置信息，对所述目标的类别进行识别。
第四方面，本发明实施例提供了一种可读性存储介质，所述可读性存储介质存储有可执行指令，所述可执行指令用于上述目标识别方法。
本发明有益效果如下：
本发明实施例提供的一种目标识别方法及设备，由于采用的网络模型为根据深度检测网络模型和深度语义分割网络模型确定，其中深度语义分割网络模型可以将图像的学习精确到像素层级，对边缘精细背景的干扰较少，且对不规则目标具有更高的鲁棒性，所以在将两类网络模型相结合，可以提高对复杂目标的识别能力(例如但不限于液晶电路板中的复杂缺陷的识别能力)，准确地区分相似的陷特征，从而可以提高识别和检测结果的准确度，降低漏检率。
并且，本发明实施例提供的方法中首先根据网络模型确定待检测图像中的目标以及目标的位置信息，之后再根据目标的位置信息识别目标的类型，从而可以在提高目标识别的准确率的同时，提高目标识别的效率。
附图说明
图1为本发明实施例中提供的一种目标识别方法的流程图；
图2为本发明实施例中提供的一个具体实施例的流程图；
图3为本发明实施例中提供的确定目标的位置信息的过程的示意图；
图4为本发明实施例中提供的建立训练样本集合的流程图；
图5为本发明实施例中提供的建立训练样本集合的过程的示意图；
图6为本发明实施例中提供的一种目标识别设备的结构示意图；
图7为本发明实施例中提供的另一种目标识别设备的结构示意图。
具体实施方式
下面将结合附图，对本发明实施例提供的一种目标识别方法及设备的具体实施方式进行详细地说明。需要说明的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种目标识别方法，如图1所示，可以包括：
S101、根据预先确定出的网络模型，确定待检测图像中的目标以及目标的位置信息；其中，网络模型根据预设的深度检测网络模型和预设的深度语义分割网络模型确定；
可选地，在本发明实施例中，待检测图像可以是显示设备显示的图像，对应地，目标可以是图像中的缺陷，也就是说，该目标识别方法可以应用于图像中的缺陷检测的应用场景中。
当然，在实际情况中，该目标识别方法还可以应用于其他应用场景中，下面以应用至图像中的缺陷检测为例进行说明。
说明一点，在此步骤中，目的是要从待检测图像中提取出的目标，以及确定出目标在待检测图像中的位置，换句话说，是要从图像中提取出缺陷特征，并确定缺陷特征在图像中的位置。其中，在此步骤中，并不会确定出提取出的目标的所属类别，这里只是确定出待检测图像中存在的目标即可，对目标的类别可以在下一个步骤进行确定和识别。
并且，确定出的目标的位置信息，可以理解为：
包含目标的位置信息的第一图像，且该第一图像为待检测图像的一部分。
通过第一图像，可以方便后期对目标类型的识别，使得目标识别过程更加的简单、快捷和高效。
S102、根据目标的位置信息，对目标的类别进行识别。
如此，在本发明实施例中，由于采用的网络模型为根据深度检测网络模型和深度语义分割网络模型确定，其中深度语义分割网络模型可以将图像的学习精确到像素层级，对边缘精细背景的干扰较少，且对不规则目标具有更高的鲁棒性，所以在将两类网络模型相结合，可以提高对复杂目标的识别能力(例如但不限于液晶电路板中的复杂缺陷的识别能力)，准确地区分相似的陷特征，从而可以提高识别和检测结果的准确度，降低漏检率。
并且，本发明实施例提供的方法中首先根据网络模型确定待检测图像中的目标以及目标的位置信息，之后再根据目标的位置信息识别目标的类型，从而可以在提高目标识别的准确率的同时，提高目标识别的效率。
在具体实施时，在本发明实施例中，根据目标的位置信息，对目标的类别进行识别，包括：
根据目标的位置信息，确定目标的类别和对应的置信度。
其中，可选地，在根据目标的位置信息，确定目标的类别和对应的置信度时，可以具体采用以下方式：
步骤1：采用残差网络模型，进行特征提取；
其中，在进行特征提取时，可以是从前述内容中提及的第一图像中提取目标特征。
并且，采用的残差网络模型，可以是本领域技术人员所熟知的任何可以实现特征提取的模型，在此并不限定；并且，具体的提取过程可以参见现有技术，在此不再详述。
步骤2：采用全连接网络模型，对目标特征进行识别，输出目标的类别和该目标对应的置信度。
其中，采用的全连接网络模型，可以是本领域技术人员所熟知的任何可以实现目标分类的模型，在此并不限定；并且，具体的识别过程可以参见现有技术，在此不再详述。
如此，通过置信度，可以用于后续判断识别出的类别为已知类别、还是未知类型，不仅有利于增加识别结果的稳定性，还有利于解决目前不能对未知类别进行识别辨认的问题，从而有利于提高在不同应用场景下的泛化性能和通用能力，大大拓宽该目标识别方法的应用范围。
可选地，在本发明实施例中，在确定目标的类别和对应的置信度之后，还包括：
根据目标对应的置信度，对目标的类别是否为已知类别进行评估处理，并根据处理结果确定目标的类别。
由于存在未知类别的可能性，所以通过置信度可以判断识别出的类别为已知类别、还是未知类型，不仅增加了识别结果的稳定性，还可以解决目前不能对未知类别进行识别辨认的问题，从而提高了在不同应用场景下的泛化性能和通用能力，大大拓宽了该目标识别方法的应用范围。
具体地，在本发明实施例中，根据目标对应的置信度，对目标的类别是否为已知类别进行评估处理，并根据处理结果确定目标的类别，包括：
判断目标对应的置信度是否大于预设阈值；
若是，则保持目标类别的识别结果不变；
若否，则根据预设的参考目标和预设阈值，继续判断目标的类别是否为已知类别；
若是，则保持目标类别的识别结果不变；
若否，则将目标类别的识别结果调整为未知类别。
其中，若目标对应的置信度大于预设阈值，说明置信度较高，也即确定出的该目标类别的可信度较高，所以可以保持确定出的目标类别的识别结果不变并输出目标类别；
若目标对应的置信度不大于预设阈值，说明置信度并不高，也即确定出的该目标类别可能是已知类别，也可能是未知类别，所以还需要进一步地判断，进而可以根据预设的参考目标(可以理解为预先设置的标准的目标，以图像中的缺陷为例，参考目标则可以理解为标准的缺陷)进行进一步地判断。
说明一点，在实际情况中，预设阈值可以根据实际情况进行设置，在此并不做具体限定，只要能够根据预设阈值确定出目标类别是已知类别或未知类别即可。
如此，可以进一步地确定出已经确定出的目标的类别为已知类别，还是为未知类别，从而解决目前不能对未知类别进行识别辨认的问题，提高在不同应用场景下的泛化性能和通用能力。
具体地，在本发明实施例中，参考目标具有多个；
根据预设的参考目标和预设阈值，继续判断目标的类别是否为已知类别，包括：
确定预设的各参考目标分别与目标之间的相似度，得到多个计算结果；
从得到的多个计算结果中选择出相似度的最大值，并判断该最大值是否大于预设阈值；
若是，则确定目标的类别为已知类别；
若否，则确定目标的类别不是已知类别。
其中，以识别图像中的缺陷这一应用场景为例，在计算相似度时，可以采用但并不限于以下方式：
将第一图像和任一个标准的缺陷图像，同时输入到预设的卷积网络模型中，得到下采样处理后的两个特征向量，然后计算两个特征向量之间的欧式距离，将得到的计算结果作为第一图像和该标准的缺陷图像之间的相识度。
之后，由于具有多个参考目标，所以需要每一个参考分别与第一图像计算相似度，得到多个相似度，再从得到的这些相似度中找出最大值，比较该最大值与预设阈值之间的大小关系，从而判断出目标的类别是否为已知类别。如此，不仅可以使得判断目标的类别是否为已知类别的过程更加简单、快捷和高效，还有利于提高整个目标识别过程的效率。
下面以具体实施例，针对根据目标的位置信息，对目标类别的识别过程进行说明。
结合图2所示的流程图。
S201、根据目标的位置信息，确定目标的类别和对应的置信度；
S202、判断目标对应的置信度是否大于预设阈值；若是，执行S203；若否，执行S204；
S203、保持目标类别的识别结果不变；结束流程；
S204、确定预设的各参考目标分别与目标之间的相似度，得到多个计算结果；
S205、从得到的多个计算结果中选择出相似度的最大值；
S206、判断该最大值是否大于预设阈值；若是，执行S203；若否，执行S207；
S207、将目标类别的识别结果调整为未知类别。
在具体实施时，在本发明实施例中，网络模型可以采用以下方式确定：
根据深度检测网络模型和深度语义分割网络模型，搭建中间网络模型的结构；
采用预先建立的训练样本集合，对搭建后的中间网络模型进行训练；其中，训练样本集合包括多个第二样本图像，且所述第二样本图像为：对采集到的第一样本图像中的特征信息进行扩充处理后得到的，所述特征信息包括目标特征和背景特征；
将训练后的中间网络模型确定为网络模型。
其中，深度网络的学习是一种监督式的学习模式，需要在足够的数据量上进行学习，从而获取准确的特征表达能力，因此建立的训练样本集合非常重要。
由于本发明实施例中的训练样本集合中的第二样本图像，是对采集到的第一样本图像中包括的目标特征和背景特征进行扩充处理后得到的，所以得到的训练样本集合更加丰富，可以有利于提高在根据网络模型确定目标的位置信息时的准确率，从而有利于提高目标识别的准确率。
说明一点，可选地，在搭建中间网络模型的结构、以及采样训练样本集合进行训练时，具体的过程可以参见现有技术，在此并不做具体限定。
可选地，在本发明实施例中，在根据确定出的网络模型，确定目标的位置信息时，如图3所示，可以包括以下过程：
过程1：将待检测图像输入至骨干网络模型中，并根据骨干网络模型，对待检测图像进行特征提取处理，得到特征图像；
其中，如图3所示，骨干网络模型可以但不限于为共享卷积结构，且可以但不限于采用4个残差网络模版实现特征提取。
过程2：将特征图像分别输入至深度检测网络模型和深度语义分割网络模型中；
过程3：采用深度检测网络模型和深度语义分割网络模型，分别对特征图像进行处理，得到包含目标的位置信息的第一图像并输出。
其中，在采用深度语义分割网络模型对特征图像进行处理时，卷积层可以采用3×3卷积+1×1卷积+3×3卷积的结构组成，且在进行处理时可以采用特征金字塔结构。
具体地，上一个卷积层输出的第一结果需要输出至下一个卷积层，下一个卷积层输出的第二结果需要输出至再下一个卷积层，同时第二结果还需要输出至上采样层，对第二结果的分辨率等参数进行调整，以使通过上采样层输出的第二结果与上一个卷积层输出的第一结果可以进行拼接，以增强对不同尺度的目标特征的检测能力；最后通过检测模块回归相应的目标坐标，输出深度语义分割网络模型的处理结果。
其中，采用深度语义分割网络模型对特征图像进行处理的具体过程，可以参见现有技术，在此不再详述。
可选地，对于深度语义分割网络模型而言，在训练过程中，采用的损失函数(如E)可以如下：
Figure BDA0002436710840000101
Figure BDA0002436710840000102
K＝l(x)；
其中，x表示图像中的某一个像素点，l(x)表示x这个像素点对应的类别，Pk (x)表示在x这个像素点对应的类别为k时的softmax的激活值，w(x)表示为x这个像素点分配的权值，Ω表示经过卷积处理后输出的图像，ak(x)表示输出的图像中x这个像素点的激活值，k表示特征的通道数。
说明一点，在实际情况中，采用深度语义分割网络模型对特征图像进行处理的过程，以及如何有损失函数进行训练深度语义分割网络模型的过程，均可以参见现有技术，在此不再详述。
在采用深度检测网络模型对特征图像进行处理时，深度检测网络模型采用了带有注意力机制的编码器-解码器结构，该结构可以将多尺度的特征进行拼接，再通过对不同尺度的信息分配不同的注意力权重，从而提高了对图像中缺陷目标像素的检测能力。
其中，采用深度检测网络模型对特征图像进行处理的具体过程，可以参见现有技术，在此不再详述。
可选地，对于深度检测网络模型而言，在训练过程中，采用的损失函数包括：分类损失函数和位置回归损失函数；其中：
分类损失函数(用L1表示)，可以采用交叉熵损失函数，具体如下：
Figure BDA0002436710840000111
其中，y表示当前输出结果为目标的概率，i代表第i个第二样本图像，N代表第二样本图像的数量。
位置回归损失函数(用L2表示)具体如下：
Figure BDA0002436710840000112
其中，x表示输出结果与真实结果之间的差值。
因此，对于深度检测网络模型而言，若最终的损失函数用L表示，那么：
L＝L1+λ*L2；
其中，λ为一固定值，可以据实际场景进行调节，且取值范围0-1，在本发明实施例中，λ的取值可以为1。
说明一点，在根据目标的位置信息，对目标的类别进行识别时，采用的模型在训练时采用的损失函数，可以为交叉熵损失函数，只是在类别的数量大于2时，在函数的最后一层输出前采用softmax进行处理，则softmax损失函数可以为：
Figure BDA0002436710840000121
其中，yj表示输出结果属于当前类别的概率，sj表示输出结果中第j个类别对应的输出结果，T表示类别的数量。
还需要说明的是，在本发明实施例中，不管训练哪个模型，采用的对应损失函数并不限于上述内容，还可以是其他可以训练目的的算是损失函数，上述内容只是举例说明而已，在此并不做具体限定。
可选地，在本发明实施例中，结合图4和图5所示，训练样本集合具体采用以下建立：
S401、采集多张具有目标的第一样本图像；
其中，在采集第一样本图像时，可以通过摄像头等拍照设备进行采集。
S402、对各第一样本图像进行分割处理，得到各第一样本图像中的目标特征和背景特征；
例如，若采集到N张具有目标的第一样本图像，且每个第一样本图像中仅存在一个目标特征时，那么在经过分割处理之后，得到N个目标特征和N个背景特征。
在具体实施时，具体的分割处理过程可以参见现有技术，在此并不做具体限定。
可选地，在进行分割处理之前，还可以包括以下过程：
对各第一样本图像进行预处理。
其中，具体的预处理过程可以包括：
对各第一样本图像的尺寸大小进行一致化处理；
将各第一样本图像转换为可处理的特征向量。
如此，可以使得各第一样本图像的尺寸大小一致，便于后续分割处理，提高分割处理结果的准确性，减少误差。
S403、根据预设的交集、并集和差集处理规则，对各目标特征和各背景特征进行扩充处理，得到多个处理后的目标特征和多个处理后的背景特征；其中，处理后的目标特征的数量大于处理前的目标特征的数量，处理后的背景特征的数量大于处理前的背景特征的数量；
例如，同样地，若采集到N张具有目标的第一样本图像，且每个第一样本图像中仅存在一个目标特征时，在经过扩充处理后，可以得到M个目标特征和P个背景特征，其中，M和P均大于N，M和P可以相等，也可以不相等，从而增加目标特征和背景特征的数量，以达到丰富训练样本集合的目的。
可选地，在经过扩充处理时，可以对N个目标特征和N个背景特征，随意地进行交集、并集和差集处理操作，以丰富目标特征和背景特征，从而增加目标特征和背景特征的数量。
S404、对各处理后的目标特征和各处理后的背景特征进行组合处理，得到多个第二样本图像；
其中，在进行组合处理时，可以根据需要，将目标特征和背景特征进行随意地叠加组合。
S405、根据各第二样本图像，建立训练样本集合。
如此，通过上述方法建立训练样本集合，可以扩增目标的分布范围，如扩增缺陷的分布范围，能适应到液晶电路板的各个生产环节当中，从而适用于更多的应用场景。
基于同一发明构思，本发明实施例提供了一种目标识别设备，该设备的实现原理与前述一种目标识别方法的实现原理类似，该设备的具体实现方式可以参见前述方法的实施例，重复之处不再赘述。
具体地，本发明实施例提供的一种目标识别设备，如图6所示，可以包括：
第一单元601，用于根据预先确定出的网络模型，确定待检测图像中的目标以及目标的位置信息；其中，网络模型根据深度检测网络模型和深度语义分割网络模型确定；
第二单元602，用于根据目标的位置信息，对目标的类别进行识别。
可选地，在本发明实施例中，第二单元602具体用于：
根据目标的位置信息，确定目标的类别和对应的置信度。
可选地，在本发明实施例中，第二单元602还用于：
在确定目标的类别和对应的置信度之后，根据目标对应的置信度，对目标类别是否为已知类别进行评估处理，并根据处理结果确定目标的类别。
可选地，在本发明实施例中，第二单元602具体用于：
判断目标对应的置信度是否大于预设阈值；
若是，则保持目标类别的识别结果不变；
若否，则根据预设的参考目标和预设阈值，继续判断目标的类别是否为已知类别；
若是，则保持目标类别的识别结果不变；
若否，则将目标类别的识别结果调整为未知类别。
可选地，在本发明实施例中，参考目标具有多个；
第二单元602具体用于：
确定预设的各参考目标分别与目标之间的相似度，得到多个计算结果；
从得到的多个计算结果中选择出相似度的最大值，并判断该最大值是否大于预设阈值；
若是，则确定目标的类别为已知类别；
若否，则确定目标的类别不是已知类别。
可选地，在本发明实施例中，如图6所示，还包括第三单元603，用于：根据预设的深度检测网络模型和预设的深度语义分割网络模型，预先确定网络模型。
可选地，在本发明实施例中，第三单元603具体用于：
根据深度检测网络模型和深度语义分割网络模型，搭建中间网络模型的结构；
采用预先建立的训练样本集合，对搭建后的中间网络模型进行训练；其中，训练样本集合为：根据采集到的样本图像中包括的目标特征和背景特征进行扩充处理后建立的；
将训练后的中间网络模型确定为网络模型。
可选地，在本发明实施例中，第三单元603还用于：预先建立训练样本集合。
可选地，在本发明实施例中，第三单元603具体用于：
采集多张具有目标的第一样本图像；
对各第一样本图像进行分割处理，得到各第一样本图像中的目标特征和背景特征；
根据预设的交集、并集和差集处理规则，对各目标特征和各背景特征进行扩充处理，得到多个处理后的目标特征和多个处理后的背景特征；其中，处理后的目标特征的数量大于处理前的目标特征的数量，处理后的背景特征的数量大于处理前的背景特征的数量；
对各处理后的目标特征和各处理后的背景特征进行组合处理，得到多个第二样本图像；
根据各第二样本图像，建立训练样本集合。
基于同一发明构思，本发明实施例提供了一种目标识别设备，如图7所示，所述设备包括：
存储器701，用于存储程序指令；
处理器702，用于调用所述存储器701中存储的所述程序指令，按照获得的程序执行：
根据预先确定出的网络模型，确定待检测图像中的目标以及所述目标的位置信息；其中，所述网络模型根据深度检测网络模型和深度语义分割网络模型确定；
根据所述目标的位置信息，对所述目标的类别进行识别。
基于同一发明构思，本发明实施例提供了一种可读性存储介质，所述可读性存储介质存储有可执行指令，所述可执行指令用于执行上述目标识别方法。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种目标识别方法，其特征在于，所述方法包括：
根据预先确定出的网络模型，确定待检测图像中的目标以及所述目标的位置信息；其中，所述网络模型根据预设的深度检测网络模型和预设的深度语义分割网络模型确定；
根据所述目标的位置信息，对所述目标的类别进行识别。
2.如权利要求1所述的方法，其特征在于，根据所述目标的位置信息，对所述目标的类别进行识别，包括：
根据所述目标的位置信息，确定所述目标的类别和对应的置信度。
3.如权利要求2所述的方法，其特征在于，在所述确定所述目标的类别和对应的置信度之后，还包括：
根据所述目标对应的置信度，对所述目标的类别是否为已知类别进行评估处理，并根据处理结果确定所述目标的类别。
4.如权利要求3所述的方法，其特征在于，根据所述目标对应的置信度，对所述目标的类别是否为已知类别进行评估处理，并根据处理结果确定所述目标的类别，包括：
判断所述目标对应的置信度是否大于预设阈值；
若是，则保持所述目标类别的识别结果不变；
若否，则根据预设的参考目标和所述预设阈值，继续判断所述目标的类别是否为已知类别；
若是，则保持所述目标类别的识别结果不变；
若否，则将所述目标类别的识别结果调整为未知类别。
5.如权利要求4所述的方法，其特征在于，所述参考目标具有多个；
根据预设的参考目标和所述预设阈值，继续判断所述目标的类别是否为已知类别，包括：
确定预设的各所述参考目标分别与所述目标之间的相似度，得到多个计算结果；
从得到的所述多个计算结果中选择出相似度的最大值，并判断该最大值是否大于所述预设阈值；
若是，则确定所述目标的类别为已知类别；
若否，则确定所述目标的类别不是已知类别。
6.如权利要求1所述的方法，其特征在于，所述网络模型采用以下方式确定：
根据所述深度检测网络模型和所述深度语义分割网络模型，搭建中间网络模型的结构；
采用预先建立的训练样本集合，对搭建后的所述中间网络模型进行训练；其中，所述训练样本集合包括多个第二样本图像，且所述第二样本图像为：对采集到的第一样本图像中的特征信息进行扩充处理后得到的，所述特征信息包括目标特征和背景特征；
将训练后的所述中间网络模型确定为所述网络模型。
7.如权利要求6所述的方法，其特征在于，所述训练样本集合具体采用以下建立：
采集多张具有目标的所述第一样本图像；
对各所述第一样本图像进行分割处理，得到各所述第一样本图像中的目标特征和背景特征；
根据预设的交集、并集和差集处理规则，对各所述目标特征和各所述背景特征进行扩充处理，得到多个处理后的目标特征和多个处理后的背景特征；其中，所述处理后的目标特征的数量大于处理前的所述目标特征的数量，所述处理后的背景特征的数量大于处理前的所述背景特征的数量；
对各所述处理后的目标特征和各所述处理后的背景特征进行组合处理，得到多个所述第二样本图像；
根据各所述第二样本图像，建立所述训练样本集合。
8.一种目标识别设备，其特征在于，所述设备包括：
第一单元，用于根据预先确定出的网络模型，确定待检测图像中的目标以及所述目标的位置信息；其中，所述网络模型根据深度检测网络模型和深度语义分割网络模型确定；
第二单元，用于根据所述目标的位置信息，对所述目标的类别进行识别。
9.一种目标识别设备，其特征在于，所述设备包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的所述程序指令，按照获得的程序执行：
根据预先确定出的网络模型，确定待检测图像中的目标以及所述目标的位置信息；其中，所述网络模型根据深度检测网络模型和深度语义分割网络模型确定；
根据所述目标的位置信息，对所述目标的类别进行识别。
10.一种可读性存储介质，其特征在于，所述可读性存储介质存储有可执行指令，所述可执行指令用于执行权利要求1-7任一项所述的目标识别方法。
CN202010254375.6A 2020-04-02 2020-04-02 一种目标识别方法及设备 Active CN111539456B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010254375.6A CN111539456B (zh) 2020-04-02 2020-04-02 一种目标识别方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010254375.6A CN111539456B (zh) 2020-04-02 2020-04-02 一种目标识别方法及设备

Publications (2)

Publication Number Publication Date
CN111539456A true CN111539456A (zh) 2020-08-14
CN111539456B CN111539456B (zh) 2024-03-01

Family

ID=71977024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010254375.6A Active CN111539456B (zh) 2020-04-02 2020-04-02 一种目标识别方法及设备

Country Status (1)

Country Link
CN (1) CN111539456B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528690A (zh) * 2020-11-19 2021-03-19 西安交通大学 非接触式物品材质和形状识别方法、存储介质及计算设备
CN112598070A (zh) * 2020-12-25 2021-04-02 创新奇智(广州)科技有限公司 目标检测方法、装置、电子设备及存储介质
CN112633297A (zh) * 2020-12-28 2021-04-09 浙江大华技术股份有限公司 目标对象的识别方法、装置、存储介质以及电子装置

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060120590A1 (en) * 2004-12-07 2006-06-08 Lockheed Martin Corporation Automatic scene correlation and identification
CN101496035A (zh) * 2006-07-28 2009-07-29 Iee国际电子工程股份公司 模式分类方法
CN104346620A (zh) * 2013-07-25 2015-02-11 佳能株式会社 对输入图像中的像素分类的方法和装置及图像处理系统
CN104915926A (zh) * 2014-03-10 2015-09-16 佳能株式会社 图像处理设备和图像处理方法
JP2016099716A (ja) * 2014-11-19 2016-05-30 キヤノン株式会社 システム、識別装置、識別モデル生成装置、情報処理方法及びプログラム
US20180012463A1 (en) * 2016-07-11 2018-01-11 Google Inc. Methods and Systems for Person Detection in a Video Feed
CN108985214A (zh) * 2018-07-09 2018-12-11 上海斐讯数据通信技术有限公司 图像数据的标注方法和装置
WO2019046820A1 (en) * 2017-09-01 2019-03-07 Percipient.ai Inc. IDENTIFICATION OF INDIVIDUALS IN A DIGITAL FILE USING MULTIMEDIA ANALYSIS TECHNIQUES
CN109492552A (zh) * 2018-10-25 2019-03-19 西安电子科技大学 一种道路遗撒物体检测方法、装置、设备及可读存储介质
CN109522967A (zh) * 2018-11-28 2019-03-26 广州逗号智能零售有限公司 一种商品定位识别方法、装置、设备以及存储介质
CN109871730A (zh) * 2017-12-05 2019-06-11 杭州海康威视数字技术股份有限公司 一种目标识别方法、装置及监控设备
CN109977780A (zh) * 2019-02-26 2019-07-05 广东工业大学 一种基于深度学习算法的硅藻的检测与识别方法
CN110009622A (zh) * 2019-04-04 2019-07-12 武汉精立电子技术有限公司 一种显示面板外观缺陷检测网络及其缺陷检测方法
CN110110773A (zh) * 2019-04-25 2019-08-09 武汉精立电子技术有限公司 一种图像语义分割目标的置信度计算方法
CN110210483A (zh) * 2019-06-13 2019-09-06 上海鹰瞳医疗科技有限公司 医疗图像病变区域分割方法、模型训练方法和设备
CN110276477A (zh) * 2019-05-29 2019-09-24 河海大学 一种基于分层贝叶斯网络和增量学习的洪水预报方法
CN110472544A (zh) * 2019-08-05 2019-11-19 上海英迈吉东影图像设备有限公司 一种物品识别模型的训练方法及系统
CN110555338A (zh) * 2018-05-30 2019-12-10 北京三星通信技术研究有限公司 对象识别方法和装置、神经网络生成方法和装置
WO2020006964A1 (zh) * 2018-07-06 2020-01-09 北京字节跳动网络技术有限公司 图像检测方法和装置
CN110675399A (zh) * 2019-10-28 2020-01-10 上海悦易网络信息技术有限公司 屏幕外观瑕疵检测方法及设备
CN110866526A (zh) * 2018-08-28 2020-03-06 北京三星通信技术研究有限公司 图像分割方法、电子设备及计算机可读存储介质

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060120590A1 (en) * 2004-12-07 2006-06-08 Lockheed Martin Corporation Automatic scene correlation and identification
CN101496035A (zh) * 2006-07-28 2009-07-29 Iee国际电子工程股份公司 模式分类方法
CN104346620A (zh) * 2013-07-25 2015-02-11 佳能株式会社 对输入图像中的像素分类的方法和装置及图像处理系统
CN104915926A (zh) * 2014-03-10 2015-09-16 佳能株式会社 图像处理设备和图像处理方法
JP2016099716A (ja) * 2014-11-19 2016-05-30 キヤノン株式会社 システム、識別装置、識別モデル生成装置、情報処理方法及びプログラム
US20180012463A1 (en) * 2016-07-11 2018-01-11 Google Inc. Methods and Systems for Person Detection in a Video Feed
WO2019046820A1 (en) * 2017-09-01 2019-03-07 Percipient.ai Inc. IDENTIFICATION OF INDIVIDUALS IN A DIGITAL FILE USING MULTIMEDIA ANALYSIS TECHNIQUES
CN109871730A (zh) * 2017-12-05 2019-06-11 杭州海康威视数字技术股份有限公司 一种目标识别方法、装置及监控设备
CN110555338A (zh) * 2018-05-30 2019-12-10 北京三星通信技术研究有限公司 对象识别方法和装置、神经网络生成方法和装置
WO2020006964A1 (zh) * 2018-07-06 2020-01-09 北京字节跳动网络技术有限公司 图像检测方法和装置
CN108985214A (zh) * 2018-07-09 2018-12-11 上海斐讯数据通信技术有限公司 图像数据的标注方法和装置
CN110866526A (zh) * 2018-08-28 2020-03-06 北京三星通信技术研究有限公司 图像分割方法、电子设备及计算机可读存储介质
CN109492552A (zh) * 2018-10-25 2019-03-19 西安电子科技大学 一种道路遗撒物体检测方法、装置、设备及可读存储介质
CN109522967A (zh) * 2018-11-28 2019-03-26 广州逗号智能零售有限公司 一种商品定位识别方法、装置、设备以及存储介质
CN109977780A (zh) * 2019-02-26 2019-07-05 广东工业大学 一种基于深度学习算法的硅藻的检测与识别方法
CN110009622A (zh) * 2019-04-04 2019-07-12 武汉精立电子技术有限公司 一种显示面板外观缺陷检测网络及其缺陷检测方法
CN110110773A (zh) * 2019-04-25 2019-08-09 武汉精立电子技术有限公司 一种图像语义分割目标的置信度计算方法
CN110276477A (zh) * 2019-05-29 2019-09-24 河海大学 一种基于分层贝叶斯网络和增量学习的洪水预报方法
CN110210483A (zh) * 2019-06-13 2019-09-06 上海鹰瞳医疗科技有限公司 医疗图像病变区域分割方法、模型训练方法和设备
CN110472544A (zh) * 2019-08-05 2019-11-19 上海英迈吉东影图像设备有限公司 一种物品识别模型的训练方法及系统
CN110675399A (zh) * 2019-10-28 2020-01-10 上海悦易网络信息技术有限公司 屏幕外观瑕疵检测方法及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FEIYANG CHENG 等: "Leveraging semantic segmentation with learning-based confidence measure", 《NEUROCOMPUTING》, vol. 329, 31 December 2019 (2019-12-31) *
刘恒: "基于全卷积网络的手机液晶面板缺陷检测算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 January 2020 (2020-01-15) *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528690A (zh) * 2020-11-19 2021-03-19 西安交通大学 非接触式物品材质和形状识别方法、存储介质及计算设备
CN112528690B (zh) * 2020-11-19 2022-06-07 西安交通大学 非接触式物品材质和形状识别方法、存储介质及计算设备
CN112598070A (zh) * 2020-12-25 2021-04-02 创新奇智(广州)科技有限公司 目标检测方法、装置、电子设备及存储介质
CN112598070B (zh) * 2020-12-25 2023-07-28 创新奇智(广州)科技有限公司 目标检测方法、装置、电子设备及存储介质
CN112633297A (zh) * 2020-12-28 2021-04-09 浙江大华技术股份有限公司 目标对象的识别方法、装置、存储介质以及电子装置
CN112633297B (zh) * 2020-12-28 2023-04-07 浙江大华技术股份有限公司 目标对象的识别方法、装置、存储介质以及电子装置

Also Published As

Publication number Publication date
CN111539456B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
CN112990432B (zh) 目标识别模型训练方法、装置及电子设备
CN110610166B (zh) 文本区域检测模型训练方法、装置、电子设备和存储介质
CN113436169B (zh) 一种基于半监督语义分割的工业设备表面裂纹检测方法及系统
CN105574550A (zh) 一种车辆识别方法及装置
CN111539456B (zh) 一种目标识别方法及设备
CN111680706A (zh) 一种基于编码和解码结构的双通道输出轮廓检测方法
CN112766218B (zh) 基于非对称联合教学网络的跨域行人重识别方法和装置
CN113516650B (zh) 基于深度学习的电路板塞孔缺陷检测方法及装置
CN111046971A (zh) 图像识别方法、装置、设备及计算机可读存储介质
CN111008576A (zh) 行人检测及其模型训练、更新方法、设备及可读存储介质
WO2019167784A1 (ja) 位置特定装置、位置特定方法及びコンピュータプログラム
CN114842343A (zh) 一种基于ViT的航空图像识别方法
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
CN113870254B (zh) 目标对象的检测方法、装置、电子设备及存储介质
WO2022222036A1 (zh) 车位确定方法及装置
CN111582057B (zh) 一种基于局部感受野的人脸验证方法
CN111967383A (zh) 年龄估计方法、年龄估计模型的训练方法和装置
CN115346051A (zh) 一种光学遥感图像检测方法及装置
CN114927236A (zh) 一种面向多重目标图像的检测方法及系统
CN114005017A (zh) 目标检测方法、装置、电子设备及存储介质
CN112070060A (zh) 识别年龄的方法、年龄识别模型的训练方法和装置
CN112465821A (zh) 一种基于边界关键点感知的多尺度害虫图像检测方法
CN112990145B (zh) 一种基于组稀疏年龄估计方法及电子设备
CN115810020B (zh) 一种基于语义引导的由粗到细的遥感图像分割方法及系统
CN117237683B (zh) 基于改进神经网络的芯片缺陷智慧检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: C10, No. 1199 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Zhejiang Huarui Technology Co.,Ltd.

Address before: C10, No. 1199 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant before: ZHEJIANG HUARAY TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant