CN112699888A - 图像识别方法、目标对象的提取方法、装置、介质及设备 - Google Patents

图像识别方法、目标对象的提取方法、装置、介质及设备 Download PDF

Info

Publication number
CN112699888A
CN112699888A CN202011626224.5A CN202011626224A CN112699888A CN 112699888 A CN112699888 A CN 112699888A CN 202011626224 A CN202011626224 A CN 202011626224A CN 112699888 A CN112699888 A CN 112699888A
Authority
CN
China
Prior art keywords
target object
image
information
stacking
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011626224.5A
Other languages
English (en)
Inventor
殷允杰
王欢
周骥
冯歆鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NextVPU Shanghai Co Ltd
Original Assignee
NextVPU Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NextVPU Shanghai Co Ltd filed Critical NextVPU Shanghai Co Ltd
Priority to CN202011626224.5A priority Critical patent/CN112699888A/zh
Publication of CN112699888A publication Critical patent/CN112699888A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了图像识别方法、目标对象的提取方法、装置、介质及设备，其中图像识别方法包括：获取待识别图像，其中，待识别图像中包括至少一个目标对象；将待识别图像输入至预先训练的识别模型中，基于识别模型的输出结果确定待识别图像中各目标对象的位置信息以及各目标对象的层叠信息，其中，识别模型基于目标对象的样本图像和样本图像中各目标对象的层叠标签和位置标签训练得到。通过具有位置信息和层叠信息识别功能的识别模型对待识别图像进行处理，得到各目标对象的位置信息和层叠信息，通过层叠信息辅助位置信息，对各目标对象进行定位，提高定位信息的准确性，同时基于层叠信息确定目标对象的被遮挡情况，便于对目标对象进行高精度的提取。

Description

图像识别方法、目标对象的提取方法、装置、介质及设备
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及图像识别方法、目标对象的提取方法、装置、介质及设备。
背景技术
在诸如茶叶、花瓣等能够层叠放置的物体的处理过程中，包括对分布的上述物体进行回收提取的过程，目前的技术方案中，主要是通过对上述分布的物体进行图像定位的方式，确定各物体的位置，以对各物体进行回收提取。
但是目前的图像定位方式，存在定位精度差导致上述物体回收率低的问题。
发明内容
本发明提供一种图像识别方法、装置、存储介质及电子设备，以实现目标对象的精准定位。
第一方面，本发明实施例提供了一种图像识别方法，包括：
获取待识别图像，其中，所述待识别图像中包括至少一个目标对象；
将所述待识别图像输入至预先训练的识别模型中，基于所述识别模型的输出结果确定所述待识别图像中各目标对象的位置信息以及各所述目标对象的层叠信息，其中，所述识别模型基于目标对象的样本图像和所述样本图像中各目标对象的层叠标签和位置标签训练得到。
第二方面，本发明实施例还提供了一种目标对象的提取方法，包括：
获取至少一个目标对象的第一图像；
将所述第一图像输入至预先训练的识别模型中，基于所述识别模型的输出结果确定所述第一图像中各目标对象的位置信息以及各所述目标对象的层叠信息；
基于各所述目标对象的位置信息和层叠信息对各目标对象进行提取。
第三方面，本发明实施例还提供了一种图像识别装置，包括：
第一图像获取模块，用于获取待识别图像，其中，所述待识别图像中包括至少一个目标对象；
第一图像识别模块，用于将所述待识别图像输入至预先训练的识别模型中，基于所述识别模型的输出结果确定所述待识别图像中各目标对象的位置信息以及各所述目标对象的层叠信息，其中，所述识别模型基于目标对象的样本图像和所述样本图像中各目标对象的层叠标签和位置标签训练得到。
第四方面，本发明实施例还提供了一种目标对象的提取装置，包括：
第二图像获取模块，用于获取至少一个目标对象的第一图像；
第二图像识别模块，用于将所述第一图像输入至预先训练的识别模型中，基于所述识别模型的输出结果确定所述第一图像中各目标对象的位置信息以及各所述目标对象的层叠信息；
目标对象提取模块，用于基于各所述目标对象的位置信息和层叠信息对各目标对象进行提取。
第五方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任一实施例提供的图像识别方法，或目标对象的提取方法。
第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例提供的图像识别方法，或目标对象的提取方法。
本发明实施例提供的技术方案，通过具有位置信息和层叠信息识别功能的识别模型对待识别图像进行处理，得到待识别图像中各目标对象的位置信息和层叠信息，通过层叠信息辅助位置信息，对各目标对象进行定位，提高定位信息的准确性，同时基于层叠信息确定目标对象的被遮挡情况，便于对目标对象进行高精度的提取。
附图说明
图1为本发明实施例一提供的一种图像识别方法的流程示意图；
图2是本发明实施例提供的一种识别模型的结构示意图；
图3是本发明实施例提供的另一种识别模型的结构示意图；
图4是本发明实施例二提供的一种目标对象的提取方法的流程示意图；
图5是本发明实施例三提供的一种图像识别装置的结构示意图；
图6是本发明实施例四提供的一种目标对象的提取装置的结构示意图；
图7为本发明实施例五提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种图像识别方法的流程示意图，本实施例可适用于通过识别图像确定目标对象的位置和层叠信息的情况，该方法可以由本发明实施例提供的图像识别装置来执行，该装置可集成在诸如计算机或者手机等的电子设备中。该方法具体包括如下步骤：
S110、获取待识别图像，其中，所述待识别图像中包括至少一个目标对象。
S120、将所述待识别图像输入至预先训练的识别模型中，基于所述识别模型的输出结果确定所述待识别图像中各目标对象的位置信息以及各所述目标对象的层叠信息，其中，所述识别模型基于目标对象的样本图像和所述样本图像中各目标对象的层叠标签和位置标签训练得到。
其中，目标对象可以是包括但不限于植物叶片、花瓣、书本等具有层叠关系或者能够层叠放置的物体，采集包括至少一个目标对象的图像，作为待识别图像，通过对待识别图像进行处理，得到待识别图像中各目标图像的定位信息。
本实施例中，预先训练具有定位功能的识别模型，可识别出待识别图像中各个目标对象的位置信息和层叠信息。其中，层叠信息用于表征目标对象是否被其他对象遮挡，可选的，所述层叠信息包括顶层和底层，其中，层叠信息为顶层表征目标对象未被遮挡，层叠信息为底层表征目标对象被遮挡，需要说明的是，层叠信息为底层的目标对象可以是被一个或多个遮挡对象遮挡。层叠信息辅助位置信息共同对目标对象进行定位，提高对目标对象定位的准确性，便于在提取目标对象时确定正确的提取策略，以保证目标对象提取的有效性。示例性的，对于层叠信息为顶层的目标对象可基于位置信息进行直接提取，对于层叠信息为底层的目标对象可通过移动遮挡对象或者提取遮挡对象之后，再提取该目标对象。
本实施例中，通过训练具有位置信息和层叠信息同步识别功能的识别模型，对待识别图像进行处理，同步得到各目标对象的位置信息和层叠信息，在提高各目标对象定位信息的准确性的基础上，提高了待识别图像的识别效率。
在一些实施例中，识别模型的输出结果为标记有检测框的待识别图像。该检测框为目标对象的外接框，该检测框可以是矩形、圆形、或者其他规则多边形，通过对待识别图像中各目标对象设置检测框确定各目标对象的位置信息，相应的，目标对象的位置信息为包括所述目标对象的检测框位置信息。其中，检测框位置信息包括检测框的中心点坐标和该检测框尺寸。
在一些实施例中，目标对象的位置信息包括目标对象的中心位置，相应的，目标对象的中心位置可以是包括该目标对象的检测框的中心位置。
需要说明的是，识别模型的输出结果还包括目标对象的层叠信息，例如，top或1表征层叠信息为顶层，bottom或2表征层叠信息为底层。
在上述实施例的基础上，识别模型可以是诸如深度学习神经网络模型等的机器学习模型，可选的，识别模型包括特征提取模块和定位模块，其中，所述特征提取模块用于提取所述待识别图像中的特征图，所述定位模块基于所述特征图确定各目标对象的位置信息和层叠信息。其中，特征提取模块中可以包括预设数量的卷积块，各卷积块依次连接，用于提起待识别图像的不同尺度的特征信息。其中，各卷积块中可以包括至少一个卷积层，各卷积层之后可以连接有激活函数层、池化层、归一化层中的至少一项，可选的，卷积块还可以是残差块。在一些实施例中，特征提取模块为resnet50网络模块。
定位模块可以包括预设数量的卷积块，各卷积块依次连接，各卷积块中可以包括至少一个卷积层，各卷积层之后可以连接有激活函数层、池化层、归一化层中的至少一项。定位模块用于对特征提取模块输出的特征信息进行识别，确定位置信息和层叠信息。
在上述实施例的基础上，识别模型为基于目标对象的样本图像和所述样本图像中各目标对象的层叠标签和位置标签训练得到。具体的，采集目标对象的样本图像，对样本图像中的各目标对象设置层叠标签和位置标签，其中，位置标签可以是通过目标对象的检测框，即目标对象的最小外接框。层叠标签可以是在目标对象未被遮挡时设置为顶层(例如top或者1)，在目标对象被遮挡时设置为底层(例如bottom或2)。
相应的，识别模型的训练方法包括：基于样本图像和所述样本图像中各目标对象的层叠标签和位置标签对待训练的识别模型进行迭代训练，直到达到收敛状态或者满足预设识别精度：将所述样本图像输入至待训练的识别模型中，得到预测位置信息和预测层叠信息；基于预测位置信息和位置标签确定第一损失函数，基于预测层叠信息和层叠标签确定第二损失函数，并基于所述第一损失函数与所述第二损失函数进行加权处理，得到目标损失函数。基于所述目标损失函数对调节所述待训练的识别模型中的网络参数。
示例性的，目标对象的预测位置信息为L1(x1,y1,w1,h1)，其中，x1与y1分别为目标对象的预测检测框的中心位置的横纵坐标，w1为目标对象的预测检测框的宽度信息，h1为目标对象的预测检测框的宽度信息，其中该目标对象检测框为矩形框。目标对象的位置标签为L0(x0,y0,w0,h0)，相应的，x0和y0别为目标对象的标准检测框的中心位置的横纵坐标，w0为目标对象的标准检测框的宽度信息，h0为目标对象的标准检测框的宽度信息。
可选的，基于预测位置信息和位置标签确定的第一损失函数可以是：
Figure BDA0002877530100000071
其中，L1i为目标对象的预测位置信息中的i类数值，L0i为目标对象的位置标签中的i类数值，其中，i分别为横坐标x、纵坐标y、高度信息h和宽度信息y。
其中，
Figure BDA0002877530100000072
此处m为任一类数值的差值，即mi＝L1i-L0i。
可选的，基于预测层叠信息和层叠标签确定的第二损失函数可以是：
Figure BDA0002877530100000073
其中，yi可以是预测层叠信息，
Figure BDA0002877530100000074
可以是层叠标签，示例性的，yi与
Figure BDA0002877530100000075
可以分别为1(即顶层)和2(即底层)。
需要说明的是，上述第一损失函数和第二损失函数仅为可选示例，在其他实施例中，还可以是其他形式的损失函数，可根据用户需求设置。
通过对第一损失函数与第二损失函数进行加权处理，得到目标损失函数，并将目标损失函数反向输入至待训练的识别模型中，基于梯度下降法调节识别模型中的网络参数，其中，网络参数至少包括网络权重。迭代执行上述训练过程，直到满足训练条件，即直到达到收敛状态或者满足预设识别精度，确定识别模型训练完成。
本实施例的技术方案，通过具有位置信息和层叠信息识别功能的识别模型对待识别图像进行处理，得到待识别图像中各目标对象的位置信息和层叠信息，通过层叠信息辅助位置信息，对各目标对象进行定位，提高定位信息的准确性，同时基于层叠信息确定目标对象的被遮挡情况，便于对目标对象进行高精度的提取。
在上述实施例的基础上，在确定各目标对象的位置信息和层叠信息之后，基于各目标对象的位置信息和层叠信息，确定被遮挡的目标对象的遮挡状态。例如遮挡状态可以是交叉和交叠，其中，交叉可以是目标对象被遮挡范围小于预设比例，交叠可以是目标对象被遮挡范围大于预设比例。具体的，可以是基于层叠信息为底层的目标对象的检测框被遮挡面积确定遮挡状态。
在一些实施例中，可以是在根据层叠信息将检测框分为两类的基础上，调用soft-NMS算法对识别出的各目标对象的检测框进行筛选过滤，使得同类检测框中其他框中与被选中建议框有明显重叠的框被抑制，确定被遮挡的目标对象的遮挡状态，避免大面积被遮挡的目标对象被遗漏的问题。
在上述技术方案的基础上，所述识别模型还包括分割模块，所述分割模块用于从所述待识别图像中分割各目标对象的轮廓分割区域，其中，目标对象的轮廓分割区域为目标对象轮廓范围内的图像区域，基于目标对象的轮廓分割得到。该分割模块可以是神经网络模块，例如可以包括预设数量的卷积块，各卷积块依次连接，各卷积块中可以包括至少一个卷积层，各卷积层之后可以连接有激活函数层、池化层、归一化层中的至少一项。
参见图2和图3，图2和图3分别是本发明实施例提供的一种识别模型的结构示意图。其中，图3中特征提取模块、定位模块和分割模块依次连接，分割模块对定位模块输出的各检测框区域进行目标对象的分割，得到各目标对象的轮廓分割区域，减少检测框区域以外区域的干扰。图3中定位模块和分割模块分别与特征提取模块连接，分割模块基于特征提取模块输出的特征信息对各目标对象进行分割，得到各目标对象的轮廓分割区域。
在上述实施例的基础上，通过各目标对象的轮廓分割区域对目标对象的位置信息进行更新。根据定位模块输出的目标对象的位置信息基于目标对象的检测框确定，其中，该检测框中包括目标对象以外的空白区域或其他目标对象的轮廓分割区域，在后续对目标对象进行提取时，易存在提取位置偏差导致提取失败的情况，本实施例中，通过分割模块输出的目标对象的轮廓分割区域，更新位置信息，其中，更新的位置信息可以是位于目标对象的轮廓分割区域内，或者目标对象的轮廓分割区域的中心点位置，以提高该位置信息的准确性，进一步提高后续目标对象提取的成功率。
在上述实施例的基础上，分割模块的输出结果还包括所述目标对象的轮廓分割区域中各像素点的像素预测值。通过确定轮廓分割区域中像素点的像素值，将预测出的轮廓分割区域与背景区域进行区别显示，便于直观确定各目标对象的分布位置。进一步的，通过轮廓分割区域的像素预测值与待识别图像中的像素真实值进行比对，以对识别模型进行进一步的训练，以提高识别模型的训练精度。
相应的，基于样本图像和所述样本图像中各目标对象的层叠标签和位置标签对待训练的识别模型进行迭代训练，直到达到收敛状态或者满足预设识别精度：将所述样本图像输入至待训练的识别模型中，得到预测位置信息和预测层叠信息；基于预测位置信息和位置标签确定第一损失函数，基于预测层叠信息和层叠标签确定第二损失函数，基于目标对象的轮廓分割区域的像素预测值与目标对象的像素真实值确定第三损失函数，并基于所述第一损失函数、所述第二损失函数和第三损失函数进行加权处理，得到目标损失函数。基于所述目标损失函数对调节所述待训练的识别模型中的网络参数。
示例性的，基于目标对象的轮廓分割区域的像素预测值与目标对象的像素真实值确定的第三损失函数可以是：
loss_fenge＝-ytruelog(ypred)-(1-ytrue)log(1-ypred)，其中，ytrue为目标对象的轮廓分割区域中的像素真实值，ypred为目标对象的轮廓分割区域中像素预测值。需要说明的是，目标对象的轮廓分割区域在目标对象的检测框区域内，即目标对象的轮廓分割区域为检测框区域中的前景区域，像素预测值与像素真实值分别为该检测框区域中前景像素预测值与前景(即目标对象)像素真实值，以排除背景像素点的干扰。
其中，所述第一损失函数、所述第二损失函数和第三损失函数进行加权处理的权重值可以是预先设置的，可根据用户需求分别设置。
本实施例的技术方案，通过设置分割模块输出的目标分割区域，对目标对象的位置信息进行更新，以进一步提高目标对象的定位精度。
实施例二
图4是本发明实施例二提供的一种目标对象的提取方法的流程示意图，本实施例可适用于通过确定图像中目标对象定位信息对目标对象进行提取的情况，该方法可以由本发明实施例提供的目标对象的提取装置来执行，该装置可集成在诸如计算机或者手机等的电子设备中。该方法具体包括如下步骤：
S210、获取至少一个目标对象的第一图像。
S220、将所述第一图像输入至预先训练的识别模型中，基于所述识别模型的输出结果确定所述第一图像中各目标对象的位置信息以及各所述目标对象的层叠信息。
S230、基于各所述目标对象的位置信息和层叠信息对各目标对象进行提取。
在本实施例中，目标对象可以是片状物料。在片状物料在传输带进行传输的过程中，采集传输带上分布的片状物料的第一图像。示例性的，可以在传输带的上方设置有图像采集装置，根据预设时间间隔采集传输带分布的片状物料的图像。图像采集装置例如摄像头，该摄像头可以是深度摄像头，相应的，采集的待识别图像为包括深度信息的图像。
通过识别模型确定各目标对象(即片状物料)的位置信息和层叠信息，通过层叠信息辅助位置信息各目标对象进行定位，提高目标对象的定位精度，便于在提取过程中准确对各目标对象进行提取，以提高目标对象的提取成功率。
层叠信息包括顶层和底层，可以先对层叠信息为顶层的目标对象进行提取，在层叠信息为底层的目标对象进行提取，以保证每一个模板目标对象在提取时不被遮挡，避免被遮挡的目标对象由于遮挡对象导致提取失败的问题。
在一些实施例中，基于各所述目标对象的位置信息和层叠信息对各目标对象进行提取，包括：根据各所述目标对象的层叠信息，确定各所述目标对象的提取顺序；基于各所述目标对象的位置信息，确定各所述目标对象的提取位置；基于各所述目标对象的提取顺序和所述提取位置依次对各所述目标对象进行提取。
本实施例中，可以是基于各目标对象的提取顺序，将各目标对象的位置信息进行排序，以控制提取设备基于上述位置信息的排序，依次到达各位置信息，并在达到各位置信息后控制提取设备进行目标对象的提取操作。
在一些实施例中，根据各所述目标对象的层叠信息，确定各所述目标对象的提取顺序，包括：根据预设方向(例如从上到下，且从左到右)遍历第一图像对应的目标对象分布区域，对于任一遍历位置，该遍历位置的提取范围内存在目标对象时，将层叠信息为顶层的目标对象的提取顺序确定为前一提取顺序，层叠信息为底层的目标对象的提取顺序确定为后一提取顺序，再确定下一遍历位置的目标对象的提取顺序。其中，下一遍历位置的目标对象的提取顺序在上一遍历位置的目标对象的提取顺序之后。需要说明的是，若任一遍历位置仅存在层叠信息为顶层的目标对象，则该目标对象的提取顺序为在上一遍历位置的目标对象的提取顺序之后。若任一遍历位置存在两个以上的目标对象，则基于层叠顺序依次确定提取顺序。
在一些实施例中，目标对象的层叠关系不局限于两层，还可以是两层以上，对于存在两层以上层叠关系的分布情况，被遮挡的目标对象之间的层叠关系不明显，定位难度大，进一步导致目标对象提取成功率差。
针对上述问题，根据各所述目标对象的层叠信息，确定各所述目标对象的提取顺序，可以包括：将所述层叠信息为顶层的目标对象确定为第一批次目标对象；将所述层叠信息为底层的目标对象确定为第二批次目标对象。其中，被遮挡的两层或两层以上的目标对象的层叠信息均为底层。
本实施例中，通过将分布的目标对象根据层叠信息划分为两个批次，对于层叠信息为顶层的第一批次目标对象，第一批次目标对象的提取顺序可以是基于各目标对象的位置信息确定，例如基于预设方向(例如从上到下，且从左到右)依次遍历排序得到。对于层叠信息为底层的第二批次目标对象，在一些实施例中，其提取顺序同样可以是基于各目标对象的位置信息确定，例如基于预设方向(例如从上到下，且从左到右)依次遍历排序得到。
在一些实施例中，对于层叠信息为底层的第二批次目标对象，还可以是对第二批次目标对象重新进行层叠信息的识别，便于在第二批次目标对象中仍存在层叠情况时，准确提取各个第二批次目标对象。
相应的，基于各所述目标对象的提取顺序和所述提取位置依次对各所述目标对象进行提取，包括：基于所述第一批次目标对象的位置信息依次提取各所述第一批次目标对象；采集所述第二批次目标对象的第二图像，基于所述识别模型确定所述第二图像中各所述第二批次目标对象的位置信息和层叠信息；基于各所述第二批次目标对象的位置信息和层叠信息确定各所述第二批次目标对象提取顺序和所述提取位置，并基于所述各所述第二批次目标对象提取顺序和所述提取位置进行所述第二批次目标对象的提取。
通过对第二批次目标对象重新采集第二图像，并确定第二批次目标对象中的层叠信息，基于第二批次目标对象中的层叠信息和位置信息，对第二批次目标对象确定提取顺序和提取位置，对第二批次目标对象进行高成功率的提取，适应于对多重层叠的目标对象进行提取的情况。
在上述实施例从基础上，识别模型还用于对从所述第一图像中确定各目标对象的轮廓分割区域，相应的，在所述基于各所述目标对象的位置信息和层叠信息对各目标对象进行提取之前，所述方法还包括：基于各所述目标对象的轮廓分割区域更新所述各目标对象的位置信息。
本实施例中，目标对象的提取设备可以是吸头，该吸头顶端面积小，目标对象的位置信息的准确性是目标对象提取成功的重要影响因素。在识别模型的定位模块输出位置信息为目标对象的外接检测框信息确定，其中，目标对象的外接检测框区域中包括空白区域或其他目标对象的重叠区域，当吸头落在目标对象的外接检测框的空白区域或其他目标对象的重叠区域时，无法对目标对象进行提取，导致目标对象提取失败，或者，当吸头落在目标对象的边缘位置时，同样存在提取失败的风险。
本实施例中，通过分割模块输出的目标对象的轮廓分割区域，更新位置信息，其中，更新的位置信息可以是位于目标对象的轮廓分割区域内，或者目标对象的轮廓分割区域的中心点位置，以提高该位置信息的准确性，进一步提高后续目标对象提取的成功率。
本实施例提供的技术方案，通过图像识别方式确定各目标对象的位置信息和层叠信息，通过层叠信息辅助位置信息，提高对目标对象的定位精度，并通过层叠信息辅助确定目标对象的提取顺序，避免目标对象在被遮挡的情况下提取失败的情况，提高了目标对象的提取成功率。
在上述实施例的基础上，还提供的一种优选实例，该优选实例具体为，通过片状物料传输带上方的摄像头采集片状物料分布图像(配置为待识别图像)，将片状物料分布图像输入至预先训练的识别模型中，输出片状物料分布图像中各片状物料的位置检测框(配置为位置信息)、层叠信息以及各片状物料的轮廓分割区域(配置为目标对象的轮廓分割区域)，通过各片状物料的轮廓分割区域和位置检测框更新各片状物料的位置信息，基于各片状物料的层叠信息和位置信息依次对各片状物料从传输带上进行提取。各片状物料的提取可以是先提取层叠信息为顶层(top)的片状物料，再提取层叠信息为底层(bottom)的片状物料，以提高片状物料的回收率。
实施例三
图5是本发明实施例三提供的一种图像识别装置的结构示意图，该装置包括：
第一图像获取模块310，用于获取待识别图像，其中，所述待识别图像中包括至少一个目标对象；
第一图像识别模块320，用于将所述待识别图像输入至预先训练的识别模型中，基于所述识别模型的输出结果确定所述待识别图像中各目标对象的位置信息以及各所述目标对象的层叠信息，其中，所述识别模型基于目标对象的样本图像和所述样本图像中各目标对象的层叠标签和位置标签训练得到。
可选的，所述识别模型包括特征提取模块和定位模块，其中，所述特征提取模块用于提取所述待识别图像中的特征图，所述定位模块基于所述特征图确定各目标对象的位置信息和层叠信息。
可选的，所述位置信息包括目标对象的中心位置，或者，所述位置信息为包括所述目标对象的检测框位置信息；所述层叠信息包括顶层和底层。
可选的，该装置还包括：
模型训练模块，用于基于样本图像和所述样本图像中各目标对象的层叠标签和位置标签对待训练的识别模型进行迭代训练，直到达到收敛状态或者满足预设识别精度：
将所述样本图像输入至待训练的识别模型中，得到预测位置信息和预测层叠信息；
基于预测位置信息和位置标签确定第一损失函数，基于预测层叠信息和层叠标签确定第二损失函数，并基于所述第一损失函数与所述第二损失函数进行加权处理，得到目标损失函数。
基于所述目标损失函数对调节所述待训练的识别模型中的网络参数。
可选的，所述识别模型还包括分割模块，所述分割模块用于从所述待识别图像中分割各目标对象的轮廓分割区域。
可选的，该装置还包括：
位置信息更新模块，用于根据所述目标对象的轮廓分割区域的位置信息更新对应目标对象的位置信息。
可选的，所述分割模块的输出结果还包括所述目标对象的轮廓分割区域中各像素点的像素预测值。
可选的，模型训练模块还包括：
在基于所述第一损失函数与所述第二损失函数进行加权处理，得到目标损失函数之前，基于目标对象的轮廓分割区域的像素预测值与目标对象的像素真实值确定第三损失函数。
相应的，模型训练模块具体用于：
基于所述第一损失函数、所述第二损失函数和第三损失函数进行加权处理，得到目标损失函数。
上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
实施例四
图6是本发明实施例四提供的一种目标对象的提取装置的结构示意图，该装置包括：
第二图像获取模块410，用于获取至少一个目标对象的第一图像；
第二图像识别模块420，用于将所述第一图像输入至预先训练的识别模型中，基于所述识别模型的输出结果确定所述第一图像中各目标对象的位置信息以及各所述目标对象的层叠信息；
目标对象提取模块430，用于基于各所述目标对象的位置信息和层叠信息对各目标对象进行提取。
可选的，目标对象提取模块430包括：
提取顺序确定单元，用于根据各所述目标对象的层叠信息，确定各所述目标对象的提取顺序；
提取位置确定模块，用于基于各所述目标对象的位置信息，确定各所述目标对象的提取位置；
目标对象提取单元，用于基于各所述目标对象的提取顺序和所述提取位置依次对各所述目标对象进行提取。
可选的，提取顺序确定单元用于：
将所述层叠信息为顶层的目标对象确定为第一批次目标对象；
将所述层叠信息为底层的目标对象确定为第二批次目标对象。
可选的，目标对象提取单元用于：
基于所述第一批次目标对象的位置信息依次提取各所述第一批次目标对象；
采集所述第二批次目标对象的第二图像，基于所述识别模型确定所述第二图像中各所述第二批次目标对象的位置信息和层叠信息；
基于各所述第二批次目标对象的位置信息和层叠信息确定各所述第二批次目标对象提取顺序和所述提取位置，并基于所述各所述第二批次目标对象提取顺序和所述提取位置进行所述第二批次目标对象的提取。
可选的，所述识别模型还用于对从所述第一图像中确定各目标对象的轮廓分割区域；
相应的，该装置还包括：
位置更新模块，用于在所述基于各所述目标对象的位置信息和层叠信息对各目标对象进行提取之前，基于各所述目标对象的轮廓分割区域更新所述各目标对象的位置信息。
上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
实施例五
图7为本发明实施例五提供的一种电子设备的结构示意图。图7示出了适于用来实现本发明实施方式的电子设备12的框图。图7显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。设备12典型的是承担图像分类功能的电子设备。
如图7所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器16，存储装置28，连接不同系统组件(包括存储装置28和处理器16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory，CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储装置28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块26的程序36，可以存储在例如存储装置28中，这样的程序模块26包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块26通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、摄像头、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器16通过运行存储在存储装置28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的图像识别方法，或目标对象的提取方法。
实施例六
本发明实施例六提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的图像识别方法，或目标对象的提取方法。
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的图像识别方法，或目标对象的提取方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的源代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的源代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机源代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。源代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种图像识别方法，其特征在于，包括：
获取待识别图像，其中，所述待识别图像中包括至少一个目标对象；
将所述待识别图像输入至预先训练的识别模型中，基于所述识别模型的输出结果确定所述待识别图像中各目标对象的位置信息以及各所述目标对象的层叠信息，其中，所述识别模型基于目标对象的样本图像和所述样本图像中各目标对象的层叠标签和位置标签训练得到。
2.根据权利要求1所述的方法，其特征在于，所述识别模型包括特征提取模块和定位模块，其中，所述特征提取模块用于提取所述待识别图像中的特征图，所述定位模块基于所述特征图确定各目标对象的位置信息和层叠信息。
3.根据权利要求1-2任一所述的方法，其特征在于，所述识别模型还包括分割模块，所述分割模块用于从所述待识别图像中确定各目标对象的轮廓分割区域；
所述方法还包括：
根据所述目标对象的轮廓分割区域的位置信息更新对应目标对象的位置信息。
4.一种目标对象的提取方法，其特征在于，包括：
获取至少一个目标对象的第一图像；
将所述第一图像输入至预先训练的识别模型中，基于所述识别模型的输出结果确定所述第一图像中各目标对象的位置信息以及各所述目标对象的层叠信息；
基于各所述目标对象的位置信息和层叠信息对各目标对象进行提取。
5.根据权利要求4所述的方法，其特征在于，所述基于各所述目标对象的位置信息和层叠信息对各目标对象进行提取，包括：
根据各所述目标对象的层叠信息，确定各所述目标对象的提取顺序；
基于各所述目标对象的位置信息，确定各所述目标对象的提取位置；
基于各所述目标对象的提取顺序和所述提取位置依次对各所述目标对象进行提取。
6.根据权利要求5所述的方法，其特征在于，所述根据各所述目标对象的层叠信息，确定各所述目标对象的提取顺序，包括：
将所述层叠信息为顶层的目标对象确定为第一批次目标对象；
将所述层叠信息为底层的目标对象确定为第二批次目标对象。
7.一种图像识别装置，其特征在于，包括：
第一图像获取模块，用于获取待识别图像，其中，所述待识别图像中包括至少一个目标对象；
第一图像识别模块，用于将所述待识别图像输入至预先训练的识别模型中，基于所述识别模型的输出结果确定所述待识别图像中各目标对象的位置信息以及各所述目标对象的层叠信息，其中，所述识别模型基于目标对象的样本图像和所述样本图像中各目标对象的层叠标签和位置标签训练得到。
8.一种目标对象的提取装置，其特征在于，包括：
第二图像获取模块，用于获取至少一个目标对象的第一图像；
第二图像识别模块，用于将所述第一图像输入至预先训练的识别模型中，基于所述识别模型的输出结果确定所述第一图像中各目标对象的位置信息以及各所述目标对象的层叠信息；
目标对象提取模块，用于基于各所述目标对象的位置信息和层叠信息对各目标对象进行提取。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-3中任一所述的图像识别方法或权利要求4-6中任一所述的目标对象的提取方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一所述的图像识别方法或权利要求4-6中任一所述的目标对象的提取方法。
CN202011626224.5A 2020-12-31 2020-12-31 图像识别方法、目标对象的提取方法、装置、介质及设备 Pending CN112699888A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011626224.5A CN112699888A (zh) 2020-12-31 2020-12-31 图像识别方法、目标对象的提取方法、装置、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011626224.5A CN112699888A (zh) 2020-12-31 2020-12-31 图像识别方法、目标对象的提取方法、装置、介质及设备

Publications (1)

Publication Number Publication Date
CN112699888A true CN112699888A (zh) 2021-04-23

Family

ID=75513238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011626224.5A Pending CN112699888A (zh) 2020-12-31 2020-12-31 图像识别方法、目标对象的提取方法、装置、介质及设备

Country Status (1)

Country Link
CN (1) CN112699888A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344055A (zh) * 2021-05-28 2021-09-03 北京百度网讯科技有限公司 图像识别方法、装置、电子设备和介质
CN113537309A (zh) * 2021-06-30 2021-10-22 北京百度网讯科技有限公司 一种对象识别方法、装置及电子设备
WO2023125491A1 (zh) * 2021-12-30 2023-07-06 青岛海尔电冰箱有限公司 特定轮廓食材管理方法、存储介质以及冰箱

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180129865A1 (en) * 2016-11-08 2018-05-10 Nec Laboratories America, Inc. Action recognition system with landmark localization on objects in images using convolutional neural networks
CN110401977A (zh) * 2019-06-21 2019-11-01 湖南大学 一种基于Softmax回归多分类识别器的多楼层室内定位方法
CN111080628A (zh) * 2019-12-20 2020-04-28 湖南大学 图像篡改检测方法、装置、计算机设备和存储介质
CN111242954A (zh) * 2020-01-20 2020-06-05 浙江大学 一种带有双向连接和遮挡处理的全景分割方法
CN111598091A (zh) * 2020-05-20 2020-08-28 北京字节跳动网络技术有限公司 图像识别方法、装置、电子设备及计算可读存储介质
CN112085775A (zh) * 2020-09-17 2020-12-15 北京字节跳动网络技术有限公司 图像处理的方法、装置、终端和存储介质
CN112149687A (zh) * 2020-08-07 2020-12-29 武汉万集信息技术有限公司 目标识别的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180129865A1 (en) * 2016-11-08 2018-05-10 Nec Laboratories America, Inc. Action recognition system with landmark localization on objects in images using convolutional neural networks
CN110401977A (zh) * 2019-06-21 2019-11-01 湖南大学 一种基于Softmax回归多分类识别器的多楼层室内定位方法
CN111080628A (zh) * 2019-12-20 2020-04-28 湖南大学 图像篡改检测方法、装置、计算机设备和存储介质
CN111242954A (zh) * 2020-01-20 2020-06-05 浙江大学 一种带有双向连接和遮挡处理的全景分割方法
CN111598091A (zh) * 2020-05-20 2020-08-28 北京字节跳动网络技术有限公司 图像识别方法、装置、电子设备及计算可读存储介质
CN112149687A (zh) * 2020-08-07 2020-12-29 武汉万集信息技术有限公司 目标识别的方法
CN112085775A (zh) * 2020-09-17 2020-12-15 北京字节跳动网络技术有限公司 图像处理的方法、装置、终端和存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344055A (zh) * 2021-05-28 2021-09-03 北京百度网讯科技有限公司 图像识别方法、装置、电子设备和介质
CN113344055B (zh) * 2021-05-28 2023-08-22 北京百度网讯科技有限公司 图像识别方法、装置、电子设备和介质
CN113537309A (zh) * 2021-06-30 2021-10-22 北京百度网讯科技有限公司 一种对象识别方法、装置及电子设备
CN113537309B (zh) * 2021-06-30 2023-07-28 北京百度网讯科技有限公司 一种对象识别方法、装置及电子设备
WO2023125491A1 (zh) * 2021-12-30 2023-07-06 青岛海尔电冰箱有限公司 特定轮廓食材管理方法、存储介质以及冰箱

Similar Documents

Publication Publication Date Title
CN108229303B (zh) 检测识别和检测识别网络的训练方法及装置、设备、介质
CN112699888A (zh) 图像识别方法、目标对象的提取方法、装置、介质及设备
US20200026907A1 (en) Object detection based on joint feature extraction
CN113139543B (zh) 目标对象检测模型的训练方法、目标对象检测方法和设备
CN111460927B (zh) 对房产证图像进行结构化信息提取的方法
WO2021238548A1 (zh) 区域识别方法、装置、设备及可读存储介质
US20210049357A1 (en) Electronic document segmentation using deep learning
CN111079638A (zh) 基于卷积神经网络的目标检测模型训练方法、设备和介质
CN110349138B (zh) 基于实例分割框架的目标物体的检测方法及装置
CN113256583A (zh) 图像质量检测方法及装置、计算机设备和介质
US8467607B1 (en) Segmentation-based feature pooling for object models
CN113420648B (zh) 一种具有旋转适应性的目标检测方法及系统
CN113378764B (zh) 基于聚类算法的视频人脸采集方法、装置、设备及介质
CN114241197A (zh) 一种基于图像的数显式仪表智能识别方法及设备
CN113989604A (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN113887481A (zh) 一种图像处理方法、装置、电子设备及介质
CN113076889A (zh) 集装箱铅封识别方法、装置、电子设备和存储介质
CN112857746A (zh) 一种灯光检测仪的追踪方法、装置、电子设备及存储介质
CN116385527A (zh) 基于多源传感器的物体定位方法、装置和介质
CN115631426A (zh) 一种遥感图像中基于关键点定位的目标检测方法
CN113159193B (zh) 模型训练方法、图像识别方法、存储介质及程序产品
US11580666B2 (en) Localization and mapping method and moving apparatus
Wu et al. A new framework for container code recognition by using segmentation-based and hmm-based approaches
CN113850238A (zh) 文档检测方法、装置、电子设备及存储介质
CN114120305A (zh) 文本分类模型的训练方法、文本内容的识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination