CN111626187A - 一种身份标注方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明涉及一种身份标注方法、装置、电子设备及存储介质，所述身份标注方法包括：获取多个目标对象通过检测通道时采集的深度图像序列、每个目标对象的身份标识及通过时间段；利用图像分割模型对所述深度图像序列中的每个深度图像进行图像分割，得到标识有目标对象的头部连通域和背部连通域的分割图像；若所述分割图像中的头部连通域和所述背部连通域满足预设条件，存储所述深度图像；若存储所述深度图像的存储时刻与任一目标对象通过所述检测通道的通过时间段匹配，利用该目标对象的身份标识标注所述深度图像的身份。本发明实施例能够确定深度图像序列中每个深度图像的身份，对目标对象无伤害，且标注效率高，成本低。

Description

一种身份标注方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种身份标注方法、装置、电子设备及存储介质。

背景技术

随着我国经济的不断发展、人们生活水平的不断提高，人们的消费观念和消费水平也有了很大的转变与提升，对于食品质量的要求越来越高。为了保证食品的安全，农牧行业逐步开始引入一种新的种植养殖方式，即数字农牧。

数字农牧与AI人工智能密切相关，智能化养殖已经越来越成为一种趋势。在智能化养牛的场景中，为了保证牛只的健康，但又不伤害牛只，可以搭建一个智能监测站，在牛只行走的过程中进行拍照，然后可以根据采集到的图片对牛进行智能化无应激的估重、体况评分和步态评分。在不同牛只相继经过检测站的过程中，每一牛只都会被拍摄多张图像，如何区分不同牛只的图像是一个非常重要的问题。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种身份标注方法、装置、电子设备及存储介质。

第一方面，本申请提供了一种身份标注方法，所述方法包括：

获取多个目标对象通过检测通道时采集的深度图像序列、每个目标对象的身份标识及通过时间段；

利用图像分割模型对所述深度图像序列中的每个深度图像进行图像分割，得到标识有目标对象的头部连通域和背部连通域的分割图像；

若所述分割图像中的头部连通域和所述背部连通域满足预设条件，存储所述深度图像；

若存储所述深度图像的存储时刻与任一目标对象通过所述检测通道的通过时间段匹配，利用该目标对象的身份标识标注所述深度图像的身份。

可选的，所述图像分割模型包括：依次连接的编码网络和解码网络，所述编码网络与所述解码网络的网络结构对称；

所述编码网络对所述深度图像进行编码操作，得到特征图；

所述解码网络对所述特征图进行解码操作，得到标识有目标对象的头部连通域和背部连通域的分割图像。

可选的，所述编码网络包括：一个或多个卷积池化组，多个所述卷积池化组依次连接，每个卷积池化组包括至少两个第一卷积层和一个池化层，不同所述卷积池化组中第一卷积层对应的特征维度不同；

每个所述卷积池化组中的第一卷积层对输入的特征图进行特征提取；

每个所述卷积池化组中的池化层对输入的特征图进行下采样操作。

可选的，所述解码网络包括：一个或多个卷积上池化组，多个所述卷积上池化组依次连接，每个卷积上池化组包括至少两个第二卷积层和一个上池化层，不同所述卷积上池化组中第二卷积层对应的特征维度不同；

每个所述卷积上池化组中的第二卷积层对输入的特征图进行尺寸还原；

每个所述卷积上池化组中的上池化层对输入的特征图进行上采样操作。

可选的，所述图像分割模型的训练方法，包括：

获取多个训练对象通过检测通道时采集的深度训练图像；

获取在所述深度训练图像中标记训练对象的头部区域和背部区域的标签图像；

将所述深度训练图像输入所述图像分割模型中，输出标识有训练对象的头部连通域和背部连通域的分割预测图像；

根据所述分割预测图像和所述标签图像计算损失函数；

不断反向传播损失函数直至所述图像分割模型收敛，得到所述图像分割模型。

可选的，所述方法还包括：

计算所述分割图像中所述头部连通域的第一面积和所述背部连通域的第二面积；

若所述第一面积小于预设第一大面积阈值且大于预设第一小面积阈值，且，所述第二面积小于预设第二大面积阈值且大于预设第二小面积阈值，基于所述头部连通域和所述背部连通域，生成外接所述头部连通域的头部检测框和外接所述背部连通域的背部检测框；

确定所述头部检测框的第一中心点和所述背部检测框的第二中心点；

沿目标对象通过所述检测通道的方向，若所述第一中心点位于所述第二中心点的前方，确定所述头部连通域的轮廓线和所述背部连通域的轮廓线是否不存在交叉；

若所述头部连通域的轮廓线和所述背部连通域的轮廓线不存在交叉，则确定所述分割图像中的头部连通域和所述背部连通域满足预设条件。

可选的，所述方法还包括：

若所述第一面积小于预设第一小面积阈值，或者，所述第二面积小于预设第二小面积阈值，则确定检测到不完整的目标对象，结束处理；

或者，若所述第一面积大于预设第一大面积阈值，或者，所述第二面积大于预设第二大面积阈值，则确定检测到多个目标对象，结束处理；

或者，若所述头部连通域的轮廓线和所述背部连通域的轮廓线存在交叠，则确定检测到不完整的目标对象，结束处理。

第二方面，本申请提供了一种身份标注装置，包括：

获取模块，用于获取多个目标对象通过检测通道时采集的深度图像序列、每个目标对象的身份标识及通过时间段；

图像分割模块，用于利用图像分割模型对所述深度图像序列中的每个深度图像进行图像分割，得到标识有目标对象的头部连通域和背部连通域的分割图像；

存储模块，用于若所述分割图像中的头部连通域和所述背部连通域满足预设条件，存储所述深度图像；

标注模块，用于若存储所述深度图像的存储时刻与任一目标对象通过所述检测通道的通过时间段匹配，利用该目标对象的身份标识标注所述深度图像的身份。

第三方面，本申请提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的身份标注方法。

第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有身份标注方法的程序，所述身份标注方法的程序被处理器执行时实现第一方面任一所述的身份标注方法的步骤。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：

本发明实施例通过首先获取多个目标对象通过检测通道时采集的深度图像序列、每个目标对象的身份标识及通过时间段，然后利用图像分割模型对所述深度图像序列中的每个深度图像进行图像分割，得到标识有目标对象的头部连通域和背部连通域的分割图像，若所述分割图像中的头部连通域和所述背部连通域满足预设条件，存储所述深度图像，若存储所述深度图像的存储时刻与任一目标对象通过所述检测通道的通过时间段匹配，可以利用该目标对象的身份标识标注所述深度图像的身份。

本发明实施例通过图像分割模型对深度图像进行图像分割，得到用于选择深度图像存储的依据，再通过得到的头部连通域与背部连通域是否与预设条件匹配，选择连通域符合预设条件的深度图像并存储，再通过存储时刻及通过时间段进行时间维度上的匹配，由于每个目标对象的通过时间段已经获取到，所以可以基于匹配结果得到每个深度图像所属的目标对象，再利用目标对象的身份标识对深度图像进行标注，进而实现确定深度图像序列中每个深度图像的身份，对目标对象无伤害，且标注效率高，成本低。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种身份标注方法的一种流程图；

图2为本申请实施例提供的一种图像分割模型的网络结构示意图；

图3为本申请实施例提供的一种图像分割模型的训练方法的流程图；

图4为本申请实施例提供的一种身份标注方法的另一种流程图；

图5为本申请实施例提供的一种身份标注装置的结构图；

图6为本申请实施例提供的一种电子设备的结构图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

由于现有技术中，数字农牧与AI人工智能密切相关，智能化养殖已经越来越成为一种趋势。在智能化养牛的场景中，为了保证牛只的健康，但又不伤害牛只，可以搭建一个智能监测站，在牛只行走的过程中进行拍照，然后可以根据采集到的图片对牛进行智能化无应激的估重、体况评分和步态评分。在不同牛只相继经过检测站的过程中，每一牛只都会被拍摄多张图像，如何区分不同牛只的图像是一个非常重要的问题。为此，本发明实施例提供了一种身份标注方法、装置、电子设备及存储介质，所述身份标注方法可以由电子设备执行，如图1所示，身份标注方法包括以下步骤：

步骤S101，获取多个目标对象通过检测通道时采集的深度图像序列、每个目标对象的身份标识及通过时间段；

在本发明实施例中，检测通道可以指供目标对象通过的通道，一般情况下，检测通道的宽度允许一个目标对象通过，但是在目标对象比较瘦小时，也可能存在两个或两个以上的目标对象同时的走入检测通道的情况，为了便于获取深度图像，可以在检测通道的上方设置深度相机，示例性的，深度相机可以指TOF相机等，深度图像是指以从深度相机到场景中各点的距离(深度)作为像素值的图像，在有目标对象从检测通道通过时，深度图像中会包含深度相机到目标对象身上未被遮挡部分的各点的距离，目标对象可以指通过检测通道的被检测对象，如：猪、牛、羊、鸡、鸭或鹅等等。

为了确定每个目标对象通过检测通道的通过时间段，可以在每个目标对象身上的指定位置佩戴RFID标签，RFID标签内预先写入该目标对象的身份标识，在检测通道较短时，可以在检测通道的中部设置RFID阅读器，由于RFID阅读器的检测范围是固定的，所以可以记录RFID阅读器能够读取到RFID的时间段，将该时间段作为通过时间段；或者，如果检测通道较长，也可以在检测通道的入口和出口处分别设置RFID阅读器，这样，可以从设置于入口处的RFID阅读器读取到RFID标签的时刻开始计时，从设置于出口处的RFID阅读器停止读取到RFID标签的时刻停止计时，将计时得到的时间段确定为通过时间段。

在该步骤中，可以获取用于采集深度图像的深度相机在目标对象通过检测通道过程中连续采集的深度图像，所以每个目标对象可能会采集到至少一张深度图像，在多个目标对象连续通过检测通道时，深度相机会连续采集多个目标对象的多张深度图像，所以最后会获取到包含多张深度图像的图像序列，而且获取每个目标对象通过检测通道时记录的通道时间段。

由于获取到的是深度图像序列，所以此时并不知晓深度图像序列中的每个深度图像是哪个目标对象的。

步骤S102，利用图像分割模型对所述深度图像序列中的每个深度图像进行图像分割，得到标识有目标对象的头部连通域和背部连通域的分割图像；

在本发明实施例中，图像分割模型是预先利用深度训练图像及标识有目标对象的头部连通域和背部连通域的标签图像训练完成的，训练完成的图像分割模型可以在实际应用过程中，输入深度图像时，自动输出标识有目标对象的头部连通域和背部连通域的分割图像。

头部连通域可以指包含目标对象的头部的闭合像素区域，背部连通域可以指包含目标图像的背部的闭合像素区域。

在将深度图像输入图像分割模型之前，可以将获取到的深度图像序列中的每个深度图像预先缩小至224x224大小，因为深度图像中需要计算像素矩阵中元素数量减少，所以，可以减小图像分割模型的运算量，进而可以提高图像分割模型输出分割图像的速度，减少图像分割消耗的时间。

步骤S103，若所述分割图像中的头部连通域和所述背部连通域满足预设条件，存储所述深度图像；

在该步骤中，可以将头部连通域的面积大小，背部连通域的面积大小，头部连通域的最小外接矩形和背部连通域的最小外接矩形之间的位置关系，及，头部连通域的轮廓线和背部连通域的轮廓线之间的交叉关系等，分别与对应的预设条件对比，若头部连通域的面积大小，背部连通域的面积大小，头部连通域的最小外接矩形和背部连通域的最小外接矩形之间的位置关系，及，头部连通域的轮廓线和背部连通域的轮廓线之间的交叉关系等均满足对应的预设条件，则可以确定割图像中的头部连通域和背部连通域满足预设条件，将该分割图像来源于的深度图像进行存储。

步骤S104，若存储所述深度图像的存储时刻与任一目标对象通过所述检测通道的通过时间段匹配，利用该目标对象的身份标识标注所述深度图像的身份。

在本发明的一种实施方式中，在图像分割模型在输入深度图像后可以实时输出分割图像时，若存储时刻位于任一通过时间段内，可以确定存储时刻与该通过时间段匹配。

在本发明的另一种实施方式中，在图像分割模型在输入深度图像后需要一定的时间才能输出分割图像时，为了保证身份标注的准确度，可以首先对通过时间段进行补偿，具体的补偿值可以根据图像分割模型进行图像分割所需的平均时间来确定，例如2秒，可以将通过时间段的起始时刻和结束时刻分别增加补偿时间，例如，通过时间段的起始时刻为10：01：00，结束时刻为10：01：30，则在补偿后，通过时间段的起始时刻为10：01：02，结束时刻为10：01：32，若存储时刻位于补偿后的通过时间段后，可以确定存储时刻与该通过时间段匹配。

在该步骤中，在确定存储时刻与任一目标对象通过检测通道的通过时间段匹配时，可以利用该通过检测通道的目标对象的身份标识对深度图像进行身份标注，示例性的，可以在深度图像上直接标注该身份标识，也可以将身份标识与该深度图像建立对应关系等等。

本发明实施例通过首先获取多个目标对象通过检测通道时采集的深度图像序列、每个目标对象的身份标识及通过时间段，然后利用图像分割模型对所述深度图像序列中的每个深度图像进行图像分割，得到标识有目标对象的头部连通域和背部连通域的分割图像，若所述分割图像中的头部连通域和所述背部连通域满足预设条件，存储所述深度图像，若存储所述深度图像的存储时刻与任一目标对象通过所述检测通道的通过时间段匹配，可以利用该目标对象的身份标识标注所述深度图像的身份。

本发明实施例通过图像分割模型对深度图像进行图像分割，得到用于选择深度图像存储的依据，再通过得到的头部连通域与背部连通域是否与预设条件匹配，选择连通域符合预设条件的深度图像并存储，再通过存储时刻及通过时间段进行时间维度上的匹配，由于每个目标对象的通过时间段已经获取到，所以可以基于匹配结果得到每个深度图像所属的目标对象，再利用目标对象的身份标识对深度图像进行标注，进而实现确定深度图像序列中每个深度图像的身份，对目标对象无伤害，且标注效率高，成本低。

在本发明的又一实施例中，如图2所示，所述图像分割模型包括：依次连接的编码网络和解码网络，所述编码网络与所述解码网络的网络结构对称；

所述编码网络对所述深度图像进行编码操作，得到特征图；

在本发明实施例中，该编码操作主要包括降维(也称，下采样)操作，编码操作的目的在于通过将深度图像降维，以提取出深度图像中的宏观特征结构，从而便于对深度图像中头部连通域和背部连通域进行划分。

所述解码网络对所述特征图进行解码操作，得到标识有目标对象的头部连通域和背部连通域的分割图像。

在本发明实施例中，解码操作主要包括升维(也称，上采样)操作，解码操作的目的在于补充在对深度图像进行编码操作过程中所丢失的微观特征结构，即将特征图进行还原，得到标识有目标对象的头部连通域和背部连通域的分割图像。

本发明实施例通过编码网络对深度图像进行编码操作，得到特征图，通过解码网络对所述特征图进行解码操作，得到标识有目标对象的头部连通域和背部连通域的分割图像，实现对深度图像的分割。

在本发明的又一实施例中，如图2所示，所述编码网络包括：一个或多个卷积池化组，示例性的，编码网络包括5个卷积池化组，多个所述卷积池化组依次连接，每个卷积池化组包括至少两个第一卷积层和一个池化层，示例性的，每个卷积池化组中第一卷积层的数量为两个或三个，假设编码网络中的5个卷积池化组分别为第一卷积池化组stage11、第二卷积池化组stage21、第三卷积池化组stage31、第四卷积池化组stage41和第五卷积池化组stage51，则stage11中包含两个第一卷积层和一个池化层，stage21中包含两个第一卷积层和一个池化层，stage31中包含三个第一卷积层和一个池化层，stage41中包含三个第一卷积层和一个池化层，stage51中包含三个第一卷积层和一个池化层，每个卷积池化组中设置较少数量(两个或三个)的第一卷积层和池化层，可以减少网络参数，减小模型计算量，进而提高模型计算速度，其中卷积核为3x3大小，不同所述卷积池化组中第一卷积层对应的特征维度不同；

每个所述卷积池化组中的第一卷积层对输入的特征图进行特征提取；

每个所述卷积池化组中的池化层对输入的特征图进行下采样操作。

在编码网络包括5个卷积池化组时，最终特征为原始图像下采样32倍的结果，特征通道数可以设置为大于或者等于128的数，为加快运算速度，在本发明实施例中，特征通道数可以设置为128。

本发明实施例能够通过每个所述卷积池化组中的第一卷积层对输入的特征图进行特征提取；每个所述卷积池化组中的池化层对输入的特征图进行下采样操作，通过将深度图像降维，实现快速提取出深度图像中的宏观特征结构。

在本发明的又一实施例中，如图2所示，所述解码网络包括：一个或多个卷积上池化组，示例性的，解码网络包括5个卷积上池化组，多个所述卷积上池化组依次连接，每个卷积上池化组包括至少两个第二卷积层和一个上池化层，示例性的，每个卷积上池化组中第二卷积层的数量为两个或三个，假设编码网络中的5个卷积上池化组分别为第一卷积上池化组stage12、第二卷积上池化组stage22、第三卷积上池化组stage32、第四卷积上池化组stage42和第五卷积上池化组stage52，则stage12中包含两个第二卷积层和一个上池化层，stage22中包含两个第二卷积层和一个上池化层，stage32中包含三个第二卷积层和一个上池化层，stage42中包含三个第二卷积层和一个上池化层，stage52中包含三个第二卷积层和一个上池化层，每个卷积上池化组中设置较少数量(两个或三个)的第二卷积层和上池化层，可以减少网络参数，减小模型计算量，进而提高模型计算速度，其中卷积核为3x3大小，不同所述卷积上池化组中第二卷积层对应的特征维度不同；

每个所述卷积上池化组中的第二卷积层对输入的特征图进行尺寸还原；

每个所述卷积上池化组中的上池化层对输入的特征图进行上采样操作。

在解码网络包括5个卷积上池化组时，最终将特征图还原成原始图像大小，得到标识有目标对象的头部连通域和背部连通域的分割图像。

本发明实施例能够通过每个所述卷积上池化组中的第二卷积层对输入的特征图进行尺寸还原；每个所述卷积上池化组中的上池化层对输入的特征图进行上采样操作，通过补充在对深度图像进行编码操作过程中所丢失的微观特征结构，即将特征图进行快速还原，得到标识有目标对象的头部连通域和背部连通域的分割图像。

在本发明的又一实施例中，如图3所示，所述图像分割模型的训练方法，包括：

步骤S201，获取多个训练对象通过检测通道时采集的深度训练图像；

在本发明实施例中，深度训练图像可以指预先令多个训练对象通过检测通道时采集的，训练对象可以与目标对象相同，也可以与目标对象不同；深度训练图像中仅存在一个完整的训练对象，为了提高训练速度，深度训练图像可以预先缩小至224x224大小。

步骤S202，获取在所述深度训练图像中标记训练对象的头部区域和背部区域的标签图像；

在本发明实施例中，可以通过打标签工具PixelAnnotationTool将训练对象的头部对应的像素及训练对象的背部对应的像素分别进行标记，示例性的，将训练对象的头部对应的像素标记为1，将训练对象的背部对应的像素标记为2，然后将标签图像缩小至224x224大小。为了便于在深度图像中区分训练对象和背景，还可以将深度训练图像中的背景区域对应的像素进行标记，示例性的，可以将背景区域对应的像素标记为0。

步骤S203，将所述深度训练图像输入所述图像分割模型中，输出标识有训练对象的头部连通域和背部连通域的分割预测图像；

通过编码网络提取图像特征。在编码网络包含5个卷积池化组时，经过编码网络的处理，得到的特征图为原始图像下采样32倍的结果，为加快速度，特征通道数可以设置为128；编码之后为解码过程，解码网络与编码网络互为对称，最终将特征图还原到原始图像大小，得到标识有训练对象的头部连通域和背部连通域的分割预测图像。

步骤S204，根据所述分割预测图像和所述标签图像计算损失函数；

在本发明实施例中，损失函数可以指交叉熵损失函数。

步骤S205，不断反向传播损失函数直至所述图像分割模型收敛，得到所述图像分割模型。

本发明实施例能够通过训练图像分割模型，直至图像分割模型收敛，得到图像分割模型，可以便于利用训练完成的图像分割模型进行图像分割。

在本发明的又一实施例中，如图4所示，所述方法还包括：

步骤S301，计算所述分割图像中所述头部连通域的第一面积和所述背部连通域的第二面积；

在本发明实施例中，第一面积和第二面积可以指像素面积等。

步骤S302，若所述第一面积小于预设第一大面积阈值且大于预设第一小面积阈值，且，所述第二面积小于预设第二大面积阈值且大于预设第二小面积阈值，基于所述头部连通域和所述背部连通域，生成外接所述头部连通域的头部检测框和外接所述背部连通域的背部检测框；

第一小面积阈值可以在预先令多个目标对象通过与前述实施例中同样的检测通道时，使用与前述实施例同样的深度相机，并且深度相机的设置位置相同的情况下，统计的每个目标对象的头部的平均面积确定，第一大面积阈值可以根据两个目标对象的头部的平均面积确定。

第二小面积阈值可以在令多个目标对象通过与前述实施例中同样的检测通道时，使用与前述实施例同样的深度相机，并且深度相机的设置位置相同的情况下，统计的每个目标对象的背部的平均面积确定，第二大面积阈值可以根据两个目标对象的背部的平均面积确定。

第一面积小于预设第一大面积阈值且大于预设第一小面积阈值，说明深度图像中不存在半个目标对象的头部，且不存在第二个目标对象的头部。

第二面积小于预设第二大面积阈值且大于预设第二小面积阈值，说明深度图像中不存在半个目标对象的背部，且不存在第二个目标对象的背部。

在该步骤中，可以通过OpenCV基础函数取头部连通域和所述背部连通域的最小外接所述头部连通域的头部检测框和最小外接所述背部连通域的背部检测框。

步骤S303，确定所述头部检测框的第一中心点和所述背部检测框的第二中心点；

由于头部检测框和背部检测框分别为矩形，所以可以取矩形的对角线中心，作为第一中心点和第二中心点。

步骤S304，沿目标对象通过所述检测通道的方向，若所述第一中心点位于所述第二中心点的前方，确定所述头部连通域的轮廓线和所述背部连通域的轮廓线是否不存在交叉；

若所述第一中心点位于所述第二中心点的前方，可以确定目标对象的头部在目标对象的背部的前方，此时，可以确定所述头部连通域的轮廓线和所述背部连通域的轮廓线是否不存在交叉。

步骤S305，若所述头部连通域的轮廓线和所述背部连通域的轮廓线不存在交叉，则确定所述分割图像中的头部连通域和所述背部连通域满足预设条件。

若所述头部连通域的轮廓线和所述背部连通域的轮廓线不存在交叉，说明深度图像中，存在完整的目标对象，则确定所述分割图像中的头部连通域和所述背部连通域满足预设条件。

本发明实施例可以确定当前的深度图像中仅包括一个目标对象，且该目标对象的身体区域是完整的，进而可以确定该深度图像满足选帧条件，需要存储。

在本发明的又一实施例中，所述方法还包括：

若所述第一面积小于预设第一小面积阈值，或者，所述第二面积小于预设第二小面积阈值，则确定检测到不完整的目标对象，结束处理；

或者，若所述第一面积大于预设第一大面积阈值，或者，所述第二面积大于预设第二大面积阈值，则确定检测到多个目标对象，结束处理；

或者，若所述头部连通域的轮廓线和所述背部连通域的轮廓线存在交叠，则确定检测到不完整的目标对象，结束处理。

本发明实施例能够在检测到不完整的目标对象、检测到多个目标对象或者检测到不完整的目标对象时，结束处理，即丢弃该深度图像，便于在确定每个深度图像的身份后的后续流程中使用。

在本发明的又一实施例中，还提供一种身份标注装置，如图5所示，所述装置包括：

获取模块11，用于获取多个目标对象通过检测通道时采集的深度图像序列、每个目标对象的身份标识及通过时间段；

图像分割模块12，用于利用图像分割模型对所述深度图像序列中的每个深度图像进行图像分割，得到标识有目标对象的头部连通域和背部连通域的分割图像；

存储模块13，用于若所述分割图像中的头部连通域和所述背部连通域满足预设条件，存储所述深度图像；

标注模块14，用于若存储所述深度图像的存储时刻与任一目标对象通过所述检测通道的通过时间段匹配，利用该目标对象的身份标识标注所述深度图像的身份。

在本发明的又一实施例中，还提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现前述方法实施例所述的身份标注方法。

本发明实施例提供的电子设备，处理器通过执行存储器上所存放的程序实现了获取多个目标对象通过检测通道时采集的深度图像序列、每个目标对象的身份标识及通过时间段，利用图像分割模型对所述深度图像序列中的每个深度图像进行图像分割，得到标识有目标对象的头部连通域和背部连通域的分割图像，若所述分割图像中的头部连通域和所述背部连通域满足预设条件，存储所述深度图像，若存储所述深度图像的存储时刻与任一目标对象通过所述检测通道的通过时间段匹配，可以利用该目标对象的身份标识标注所述深度图像的身份。本发明实施例通过图像分割模型对深度图像进行图像分割，得到用于选择深度图像存储的依据，再通过得到的头部连通域与背部连通域是否与预设条件匹配，选择连通域符合预设条件的深度图像并存储，再通过存储时刻及通过时间段进行时间维度上的匹配，由于每个目标对象的通过时间段已经获取到，所以可以基于匹配结果得到每个深度图像所属的目标对象，再利用目标对象的身份标识对深度图像进行标注，进而实现确定深度图像序列中每个深度图像的身份，对目标对象无伤害，且标注效率高，成本低。

上述电子设备提到的通信总线1140可以是外设部件互连标准(PeripheralComponentInterconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture，简称EISA)总线等。该通信总线1140可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口1120用于上述电子设备与其他设备之间的通信。

存储器1130可以包括随机存取存储器(RandomAccessMemory，简称RAM)，也可以包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器1110可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明的又一实施例中，还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有身份标注方法的程序，所述身份标注方法的程序被处理器执行时实现前述方法实施例所述的身份标注方法的步骤。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种身份标注方法，其特征在于，所述方法包括：

获取多个目标对象通过检测通道时采集的深度图像序列、每个所述目标对象的身份标识及通过时间段；

利用图像分割模型对所述深度图像序列中的每个所述深度图像进行图像分割，得到标识有所述目标对象的头部连通域和背部连通域的分割图像；

若所述分割图像中的所述头部连通域和所述背部连通域满足预设条件，存储所述深度图像；

若存储所述深度图像的存储时刻与任一所述目标对象通过所述检测通道的所述通过时间段匹配，利用所述目标对象的所述身份标识标注所述深度图像的身份。

2.根据权利要求1所述的身份标注方法，其特征在于，所述图像分割模型包括：依次连接的编码网络和解码网络，所述编码网络与所述解码网络的网络结构对称；

所述编码网络对所述深度图像进行编码操作，得到特征图；

所述解码网络对所述特征图进行解码操作，得到标识有所述目标对象的所述头部连通域和所述背部连通域的所述分割图像。

3.根据权利要求2所述的身份标注方法，其特征在于，所述编码网络包括：一个或多个卷积池化组，多个所述卷积池化组依次连接，每个所述卷积池化组包括至少两个第一卷积层和一个池化层，不同所述卷积池化组中所述第一卷积层对应的特征维度不同；

每个所述卷积池化组中的所述第一卷积层对输入的所述特征图进行特征提取；

每个所述卷积池化组中的所述池化层对输入的所述特征图进行下采样操作。

4.根据权利要求2所述的身份标注方法，其特征在于，所述解码网络包括：一个或多个卷积上池化组，多个所述卷积上池化组依次连接，每个所述卷积上池化组包括至少两个第二卷积层和一个上池化层，不同所述卷积上池化组中所述第二卷积层对应的特征维度不同；

每个所述卷积上池化组中的所述第二卷积层对输入的所述特征图进行尺寸还原；

每个所述卷积上池化组中的所述上池化层对输入的所述特征图进行上采样操作。

5.根据权利要求2至4任一所述的身份标注方法，其特征在于，所述图像分割模型的训练方法，包括：

获取多个训练对象通过所述检测通道时采集的深度训练图像；

获取在所述深度训练图像中标记所述训练对象的头部区域和背部区域的标签图像；

将所述深度训练图像输入所述图像分割模型中，输出标识有所述训练对象的所述头部连通域和所述背部连通域的分割预测图像；

根据所述分割预测图像和所述标签图像计算损失函数；

不断反向传播所述损失函数直至所述图像分割模型收敛，得到所述图像分割模型。

6.根据权利要求1所述的身份标注方法，其特征在于，所述方法还包括：

计算所述分割图像中所述头部连通域的第一面积和所述背部连通域的第二面积；

若所述第一面积小于预设第一大面积阈值且大于预设第一小面积阈值，且，所述第二面积小于预设第二大面积阈值且大于预设第二小面积阈值，基于所述头部连通域和所述背部连通域，生成外接所述头部连通域的头部检测框和外接所述背部连通域的背部检测框；

确定所述头部检测框的第一中心点和所述背部检测框的第二中心点；

沿所述目标对象通过所述检测通道的方向，若所述第一中心点位于所述第二中心点的前方，确定所述头部连通域的轮廓线和所述背部连通域的轮廓线是否不存在交叉；

若所述头部连通域的轮廓线和所述背部连通域的轮廓线不存在交叉，则确定所述分割图像中的头部连通域和所述背部连通域满足预设条件。

7.根据权利要求6所述的身份标注方法，其特征在于，所述方法还包括：

若所述第一面积小于所述预设第一小面积阈值，或者，所述第二面积小于所述预设第二小面积阈值，则确定检测到不完整的所述目标对象，结束处理；

或者，若所述第一面积大于所述预设第一大面积阈值，或者，所述第二面积大于所述预设第二大面积阈值，则确定检测到多个所述目标对象，结束处理；

或者，若所述头部连通域的轮廓线和所述背部连通域的轮廓线存在交叠，则确定检测到不完整的所述目标对象，结束处理。

8.一种身份标注装置，其特征在于，包括：

获取模块，用于获取多个目标对象通过检测通道时采集的深度图像序列、每个所述目标对象的身份标识及通过时间段；

图像分割模块，用于利用图像分割模型对所述深度图像序列中的每个所述深度图像进行图像分割，得到标识有所述目标对象的头部连通域和背部连通域的分割图像；

存储模块，用于若所述分割图像中的所述头部连通域和所述背部连通域满足预设条件，存储所述深度图像；

标注模块，用于若存储所述深度图像的存储时刻与任一所述目标对象通过所述检测通道的所述通过时间段匹配，利用所述目标对象的所述身份标识标注所述深度图像的身份。

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1～7任一所述的身份标注方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有身份标注方法的程序，所述身份标注方法的程序被处理器执行时实现权利要求1-7任一所述的身份标注方法的步骤。

Images