CN111738062B - 一种基于嵌入式平台的自动再识别系统 - Google Patents

Abstract

本发明实施例提供一种基于嵌入式平台的自动再识别方法及系统，包括：获取待识别躯干数据和目标躯干数据，通过轻量级检测模型标识所述待识别躯干数据中的躯干，得到待识别图像；以及，通过轻量级检测模型检测并提取出所述目标躯干数据的躯干，得到目标图像；其中，所述躯干为人体的头部和上半身躯干，和/或，动物的躯干部位；将所述待识别图像与所述目标图像进行比对，得到所述待识别图像与所述目标图像的相似度，根据相似度判断待识别图像是否与目标图像内相匹配。只检测和再识别生物的躯干具有速度快、效果好、且能在嵌入式设备这种小载体上运行，从而突破了目前检测和再识别必须使用主机和服务器的限制。

Description

一种基于嵌入式平台的自动再识别系统

技术领域

本发明涉及图像处理技术，计算机视觉技术和深度学习领域，具体涉及一种基于嵌入式平台的自动再识别方法及系统。

背景技术

随着计算机，人工智能和互联网技术的发展，图像处理已经变得越来越普遍。人脸识别，行人识别，车辆识别等应用在深度学习算法的推动下，效果变得越来越好，也在生活中发挥着日益重要的作用。这些算法，由于其应用场景广泛，越来越多的开发者参与完善，已经在业界变得相对成熟。例如，人脸识别和行人识别算法已经在安防领域取得实际应用，在一些可以获得人脸图像的场合，通过人脸识别可以找出危险嫌疑人物；而在无法获得人脸的时候，相关安防部门可以通过对多个监控设备抓拍到的图像采用行人再识别的方法来找出危险嫌疑人物。因此，行人再识别(也称人体再识别)算法在安防领域有非常重要的作用。

现有的人体再识别方法主要有基于表征学习的再识别方法、基于度量学习的再识别方法和基于局部特征的再识别方法等。基于表征学习的再识别方法是一类非常常用的人体再识别方法，这主要得益于深度学习，尤其是卷积神经网络(Convolutional neuralnetwork,CNN)的快速发展，由于CNN可以自动从原始图像数据中根据任务需求自动提取出表征特征(Representation feature)，所以有些研究者把人体再识别问题看做分类(Classification)问题或者验证(Verification)问题：分类问题是指利用行人的ID或者属性等作为训练标签来训练分类模型；验证问题是指输入若干张行人图片，让网络来学习这若干张图片是否属于同一个行人。基于度量学习的方法主要是将度量学习用于人体再识别。度量学习(Metric learning)是一种广泛用于图像检索领域的方法，不同于表征学习，度量学习旨在通过网络学习出两张图片的相似度，使得相同行人的相似度尽可能高，不同行人的相似度尽可能低。以上两种方案大多是基于全局特征来进行识别的，属于人体再识别中比较早期的思路，具有一定的瓶颈。因此，研究人员提出了基于局部特征的人体再识别技术。常见的局部特征提取主要包括图片切块，利用骨架关键点定位以及姿态矫正等来获得人体不同部位，针对不同部位的局部颜色和形状特征进行精准分析，并将这些信息融合成全局特征和多个尺度的局部信息进行人体再识别。

在实现本发明过程中，申请人发现现有技术中至少存在如下问题：

上述三类方法中绝大部分算法和研究都是基于具有大算力的平台实现的，如高性能主机，服务器等等，很难在小功耗、低算力的平台上实现，如无人机，微型机器人等，因此，很难在实际场景中取得广泛的应用。

发明内容

本发明实施例提供一种基于嵌入式平台的自动再识别方法及系统，只检测和再识别生物的躯干具有速度快、效果好、且能在嵌入式设备这种小载体上运行，从而突破了目前检测和再识别必须使用主机和服务器的限制。

为达上述目的，一方面，本发明实施例提供一种基于嵌入式平台的自动再识别方法，其特征在于，包括：

获取待识别躯干数据和目标躯干数据，通过轻量级检测模型标识所述待识别躯干数据中的躯干，得到待识别图像；以及，通过轻量级检测模型检测并提取出所述目标躯干数据的躯干，得到目标图像；其中，所述躯干为人体的头部和上半身躯干，和/或，动物的躯干部位；

将所述待识别图像与所述目标图像进行比对，得到所述待识别图像与所述目标图像的相似度，根据相似度判断待识别图像是否与目标图像内相匹配。

优选地，所述通过轻量级检测模型标识所述待识别躯干数据中的躯干，得到待识别图像；具体包括：

将所述待识别躯干数据缩放至指定像素，将指定像素的图像进行增强操作，得到增强后的图像；

通过轻量级检测模型标识所述增强后的图像的躯干数据，得到候选图像；

将置信度满足设定阈值的候选图像设为待识别图像。

优选地，所述待识别图像还包括：该生物的位置信息和标签名。

优选地，所述将所述待识别图像与所述目标图像进行比对，得到所述待识别图像与所述目标图像的相似度，根据相似度判断待识别图像是否与目标图像内相匹配，具体包括：

提取所述待识别图像的颜色特征，以及，提取所述目标图像的颜色特征；

将所述待识别图像的颜色特征与所述目标图像的颜色特征进行比对，得到待识别图像的第一相似度；

如果待识别图像的第一相似度不满足预设的第一阈值，则所述待识别图像与所述目标图像不匹配；

如果只有一幅待识别图像的第一相似度满足预设的第一阈值，则判定该待识别图像与所述目标图像相匹配。

优选地，在提取所述待识别图像的颜色特征，提取所述目标图像的颜色特征之前，还包括：将每个待识别图像和所述目标图像缩放至指定像素；

所述提取所述待识别图像的颜色特征，以及，提取所述目标图像的颜色特征；将所述待识别图像的颜色特征与所述目标图像的颜色特征进行比对，得到待识别图像的第一相似度；具体包括：

提取所述指定像素的待识别图像的RGB颜色直方特征向量，将所述指定像素的待识别图像的RGB颜色直方特征向量展开，得到所述待识别图像的RGB颜色一维向量；以及，

提取所述指定像素的目标图像的RGB颜色直方特征向量，将所述目标图像的RGB颜色直方特征向量展开，得到所述目标图像的RGB颜色一维向量；其中，所述待识别图像的RGB颜色一维向量和所述目标图像的RGB颜色一维向量具有相同的长度；

计算所述待识别图像的RGB颜色一维向量与所述目标图像的RGB颜色一维向量的夹角余弦值，得到待识别图像的第一相似度。

优选地，还包括：如果至少两幅待识别图像的第一相似度满足预设的第一阈值，则：

针对第一相似度满足预设的第一阈值的待识别图像，提取每幅所述待识别图像内的形状特征；以及，提取所述目标图像内的形状特征；

根据所述待识别图像的颜色特征和形状特征的得到所述待识别图像的联合特征，根据所述目标图像的颜色特征与形状特征得到所述目标图像的联合特征；

将所述待识别图像的联合特征与所述目标图像的联合特征进行比对，得到待识别图像的第二相似度；

将待识别图像的第二相似度与预设的第二阈值进行比较，选取满足预设的第二阈值的第二相似度的最高值所对应的待识别图像作为与目标图像相匹配的图像；否则不存在与目标图像相匹配的待识别图像。

优选地，所述根据所述待识别图像的颜色特征和形状特征得到所述待识别图像的联合特征，根据所述目标图像的颜色特征与形状特征得到所述目标图像的联合特征；将所述待识别图像的联合特征与所述目标图像的联合特征进行比对，得到待识别图像的第二相似度；包括：

提取所述指定像素的待识别图像的RGB颜色直方特征向量，将所述指定像素的待识别图像的RGB颜色直方特征向量展开，得到所述待识别图像的RGB颜色一维向量；提取所述指定像素的待识别图像形状特征的HOG方向梯度特征向量，将所述待识别图像的HOG方向梯度特征向量展开，得到所述待识别图像的HOG方向一维向量；计算每幅待识别图像的RGB颜色一维向量和HOG方向一维向量的乘积，得到待识别图像的联合特征向量；以及，

提取所述指定像素的目标图像的RGB颜色直方特征向量，将所述目标图像的RGB颜色直方特征向量展开，得到所述目标图像的RGB颜色一维向量；提取所述指定像素的目标图像形状特征的HOG方向梯度特征向量，将所述目标图像的HOG方向梯度特征向量展开，得到所述目标图像的HOG方向一维向量；计算所述目标图像的RGB颜色一维向量和HOG方向一维向量的乘积，得到目标图像的联合特征向量；其中，所述待识别图像的RGB颜色一维向量和所述目标图像的RGB颜色一维向量具有相同的长度，所述待识别图像的HOG方向一维向量和所述目标图像的HOG方向一维向量具有相同的长度；

分别计算每幅待识别图像的联合特征向量与目标图像的联合特征向量的夹角余弦值，得到第二相似度。

优选地，在获取待识别躯干数据和目标躯干数据之前，还包括：

获取训练用躯干数据集，所述数据集包括：视频和图片，标识训练用躯干数据集中的躯干，得到标识后的训练用躯干集；

通过轻量级检测网络模型训练所述标识后的训练用躯干集，得到轻量级检测模型。

优选地，所述通过轻量级检测网络模型训练所述标识后的训练用躯干集，得到轻量级检测模型，具体包括：

将轻量级检测模型训练成功时，转化所述轻量级检测模型的数据格式，得到适用于基于嵌入式平台的网络格式的轻量级检测模型。

另一方面，本发明还提供一种基于嵌入式平台的自动再识别系统，包括：处理器、存储器、具有深度神经网络推理运算能力的深度学习边缘计算设备，以及存储在存储器上的执行前述任一基于嵌入式平台的自动再识别方法的程序，程序内包含轻量级检测模型，用于检测待识别躯干数据；

所述深度学习边缘计算设备数据连接于执行前述任一基于嵌入式平台的自动再识别方法的程序；

启动前述任一基于嵌入式平台的自动再识别方法的程序，所述基于嵌入式平台的自动再识别方法的程序调用深度学习边缘计算设备内的深度神经网络；

采用深度学习边缘计算设备内的深度神经网络，将所述待识别图像与所述目标图像进行比对，得到所述待识别图像与所述目标图像的相似度，根据相似度判断待识别图像是否为目标图像相匹配。

上述技术方案具有如下有益效果：采用轻量级检测模型针对人体或动物体等检测，只检测主要躯干部分，针对人体只包含人体上半身躯干和以上的部分(头部和脖子)，而不是检测整个人体所有区域，从而所得到的图像中非全部人体，所以使用的推理网络层数少，网络结构更有效率，计算复杂度低，加快检测速度，得到待识别图像。并且实现检测精度达到要求的情况下还能在嵌入式设备上运行的需求，因此轻量级检测模型对设备性能要求相对较低、适用范围广。当确定待识别图像后，与所述目标图像进行比对，因为只是再识别的待识别图像只具有躯干，所以，每个待识别图像内的再识别数据信息少，干扰少，再识别速度快，对设备性能要求低，适用范围广，比如，可以应用到安防无人机领域。从而突破了目前再识别必须使用主机和服务器的限制。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的基于嵌入式平台的自动再识别方法的流程图；

图2是本发明实施例的基于嵌入式平台的自动再识别系统的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，结合本发明的实施例，提供一种基于嵌入式平台的自动再识别方法，能够检测和再识别人体、动物等，是一种低复杂度低功耗的轻型深度网络检测和识别方法，包括：

获取待识别躯干数据和目标躯干数据，通过轻量级检测模型标识(标注出)所述待识别躯干数据中的躯干，得到待识别图像；以及，通过轻量级检测模型检测并提取出所述目标躯干数据的躯干，得到目标图像，也就是从目标躯干图像内将躯干框出，形成图像并保存；其中，所述躯干为人体的头部和上半身躯干，和/或，动物的躯干部位；针对人体检测，只检测人体主要躯干部分，即包含人体上半身躯干和以上的部分(头部和脖子)，而不是检测整个人体所有区域，从而所得到的图像中非全部人体，避免了背景和其他目标对人体再识别结果的干扰，提高再识别精度。

目前的行人检测算法基本都是采用把整个人(包括头部、躯干、手部、腿部等)完整地检测出来。虽然检测结果能够完整地把人体所有部位都检测出来，但同时检测得到的人体图像也会包含很多其他非人体内容，比如背景和其他目标。因为不同时期拍摄到的人体图像场景基本上是不一样的，所以这些多余的背景或其他目标部分会对后续的人体再识别效果产生不利影响，增大再识别成本和难度。

而本发明采用在训练用躯干数据集的每张图像中标识行人的躯干，即包含人体上半身躯干和以上的部分(头部和脖子)图像、动物躯干图像的算法，最大化减少了检测结果人体不相干部分的出现，在人体再识别时干扰少、识别效果更好；同时，识别难度降低、识别成本降低。

将所述待识别图像与所述目标图像进行比对，得到所述待识别图像与所述目标图像的相似度，根据相似度判断识别待识别图像是否与目标图像内相匹配。因为针对人体，只检测获取到人体的头部和上半身躯干的部分，或者是动物的躯干部位，所以每个待识别图像中用于再识别的数据信息少，干扰少，所以在再识别时的识别速度快，对设备性能要求低，所以适用范围广，比如，可以应用到安防无人机领域。

本发明通过只采用识别人体躯干的再识别算法，具有速度快、识别效果好、且能在嵌入式设备这种小载体上运行的优点，从而突破了目前人体再识别必须使用主机和服务器的限制，降低成本，从而扩大使用范围。并且还是通过动物的躯干部位实现再识别动物。

优选地，所述通过轻量级检测模型标识所述待识别躯干数据中的躯干，得到待识别图像；具体包括：

将所述待识别躯干数据缩放至指定像素，将指定像素的图像进行增强操作，得到增强后的图像；通过轻量级检测模型标识所述增强后的图像的躯干数据，得到候选图像；将置信度满足设定阈值的候选图像设为待识别图像，并且将这些置信度满足设定阈值的候选图像映射回原图大小。其中，置信度表示该图像是人的可能性，比如，100％是人，有90％的可能性是人。为进一步提高检测和再识别效果和速度，在调用轻量级检测模型以获得躯干前，先对待识别躯干数据进行一定预处理。首先需对待识别躯干数据的图像进行缩放，将各图像缩至300*300像素大小。所以无论待识别躯干数据的图像起始输入尺寸多大，均可以保证轻量级检测模型推理检测速度。然后对缩放后的各图像进行图像增强操作，比如：增加对比度、换用不同的色域、改变颜色等，从而提高图像对比度，以提高生物体再图像中的辨认度。经过此预处理后的图像就可以调用轻量级检测模型进行推理，得到输出信息，包括的置信度，置信度是指待识别躯干数据图像内的各个目标是生物体躯干的可能性。然后对推理后的输出信息后处理：通过推理后的输出信息的置信度(可能性)来判断躯干数据图像内的各目标是目标生物种类的可能性；选择置信度值高于0.5的躯干数据图像的生物进行输出，并将置信度高于0.5的躯干数据从300*300像素的图像映射回原图，从而实现轻量级检测模型网络对躯干数据图像中生物的检测。

优选地，所述待识别图像还包括：该生物的位置信息和标签名，也就是经过此预处理后的图像调用轻量级检测模型进行推理得到输出信息还包括躯干所对应生物的位置信息标签名。

优选地，所述将所述待识别图像与所述目标图像进行比对，得到所述待识别图像与所述目标图像的相似度，根据相似度判断待识别图像是否与目标图像内相匹配，具体包括：

对待识别图像的躯干进行再识别，首先考虑人的或动物等生物颜色，比如人的服饰，动物的毛色或服饰颜色，因为也就是考虑到不同躯干具有服饰穿着的颜色、图案或动物毛色的差异，所以提取所述待识别图像的颜色特征，以及，提取所述目标图像的颜色特征；将所述待识别图像的颜色特征与所述目标图像的颜色特征进行比对，得到待识别图像的第一相似度；如果待识别图像的第一相似度不满足预设的第一阈值，则所述待识别图像与所述目标图像不匹配；如果只有一幅待识别图像的第一相似度满足预设的第一阈值，则判定该待识别图像与所述目标图像相匹配。也就是，该待识别图像内的生物是所述目标图像内的生物，从而达到再识别的目的：从所有的待检测的行人或动物等生物中找出与目标图像中最相似的生物。

优选地，在提取所述待识别图像的颜色特征，提取所述目标图像的颜色特征之前，还包括：将每个待识别图像和所述目标图像缩放至指定像素；统一使待识别图像转为64*128的像素大小，同时对目标图像也缩放，统转为64*128的像素大小。

所述提取所述待识别图像的颜色特征，以及，提取所述目标图像的颜色特征；将所述待识别图像的颜色特征与所述目标图像的颜色特征进行比对，得到待识别图像的第一相似度；具体包括：

提取所述指定像素的待识别图像的RGB颜色直方特征向量，将所述指定像素的待识别图像的RGB颜色直方特征向量展开，得到RGB单颜色特征向量：红、绿、蓝，即得到所述待识别图像的RGB颜色一维向量。

提取所述指定像素的目标图像的RGB颜色直方特征向量，将所述目标图像的RGB颜色直方特征向量展开，得到所述目标图像的RGB颜色一维向量；其中，所述待识别图像的RGB颜色一维向量和所述目标图像的RGB颜色一维向量具有相同的长度，如果展开后的目标图像的RGB颜色一维向量和待识别图像的RGB颜色一维向量长度不同，根据现有方法则将二者处理成相同的长度。

计算所述待识别图像的RGB颜色一维向量与所述目标图像的RGB颜色一维向量的夹角余弦值，得到待识别图像的第一相似度。该再识别方法既满足了再识别匹配的精度需求；又因为识别的数据少，而能够满足能够在嵌入式设备平台上运行，达到根据具体情况来进行实时匹配，而不必一定在大型计算能的服务设备运行。

其中，对所有待识别图像的GRB颜色一维向量和目标图像的GRB颜色一维向量分别求其向量夹角的余弦值的公式为：

其中，为待识别图像的颜色一维向量；/>为目标图像的颜色一维向量，/>为待识别图像的颜色一维向量A的模长，/>为目标图像的颜色一维向量B的模长。cosθ的取值范围为0～1，cosθ值越小代表相似性越低，cosθ值越大代表相似性越高。根据大量的前期实验得出，采用RGB颜色一维向量识别生物体时，待识别图像的第一相似度大于0.75可以判断待识别图像内的生物就是为目标图像内的生物。

优选地，如前所述，对待识别图像的躯干进行再识别，首先考虑人的或动物等生物颜色，比如人的服饰，动物的毛色或服饰颜色，因为也就是考虑到不同躯干具有服饰穿着的颜色、图案或动物毛色的差异，然后就是生物体的形状特征(也可成形状轮廓，即人体长相、形体方面、动物的形体)的差异。也就是要综合考虑不同生物体躯干的主要区别在于服饰、图案和人体长相、形体方面(或者动物的毛色、服饰颜色、形状特征)的差异。

如果至少两幅待识别图像的第一相似度满足预设的第一阈值，则：

针对第一相似度满足预设的第一阈值的待识别图像，提取每幅所述待识别图像内的形状特征；以及，提取所述目标图像内的形状特征；

根据所述待识别图像的颜色特征和形状特征的得到所述待识别图像的联合特征，根据所述目标图像的颜色特征与形状特征得到所述目标图像的联合特征；

将所述待识别图像的联合特征与所述目标图像的联合特征进行比对，得到待识别图像的第二相似度；

将待识别图像的第二相似度与预设的第二阈值进行比较，选取满足预设的第二阈值的第二相似度的最高值所对应的待识别图像作为与目标图像相匹配的图像；否则不存在与目标图像相匹配的待识别图像。利用待识别图像内的颜色特征和形状特征的得到待识别图像的联合特征，进一步提高保证再识别匹配正确度的要求。

也就是可以先比较第二相似度，得第二相似度的最高值，然后比较待识别图像的第二相似度的最高值与预设的第二阈值，因为一张图像中只能有一个目标对象，所以采用这种比较方式可以减少比较次数；如果待识别图像的第二相似度的最高值满足预设的第二阈值，则最高值的第二相似度的待识别图像与所述目标图像相匹配；那么该待识别图像内的生物是所述目标图像内的生物。如果第二相似度的最高值不满足预设的第二阈值，则所有待识别图像与所述目标图像不匹配，也就是，该待识别图像内的生物不是所述目标图像内生物。

另外，在具体实施过程中也可以先逐个将第二相似度与第二阈值进行比较，若满足第二阈值的第二相似度的数量多于一个，再比较满足第二阈值的第二相似度，得到第二相似度的最高值。

优选地，所述根据所述待识别图像的颜色特征和形状特征的得到所述待识别图像的联合特征，根据所述目标图像的颜色特征与形状特征得到所述目标图像的联合特征；将所述待识别图像的联合特征与所述目标图像的联合特征进行比对，得到待识别图像的第二相似度；包括：

提取所述指定像素的待识别图像的RGB颜色直方特征向量，将所述指定像素的待识别图像的RGB颜色直方特征向量展开，得到所述待识别图像的RGB颜色一维向量；提取所述指定像素的待识别图像形状特征的HOG方向梯度特征向量，也就是提取待识别图像的形状特征的HOG方向梯度特征向量，将所述待识别图像的HOG方向梯度特征向量展开，得到所述待识别图像的HOG方向一维向量；计算每幅待识别图像的RGB颜色一维向量和HOG方向一维向量的乘积，得到待识别图像的联合特征向量；以及，

提取所述指定像素的目标图像的RGB颜色直方特征向量，将所述目标图像的RGB颜色直方特征向量展开，得到所述目标图像的RGB颜色一维向量；提取所述指定像素的目标图像形状特征的HOG方向梯度特征向量，将所述目标图像的HOG方向梯度特征向量展开，得到所述目标图像的HOG方向一维向量；计算所述目标图像的RGB颜色一维向量和HOG方向一维向量的乘积，得到目标图像的联合特征向量；其中，所述待识别图像的RGB颜色一维向量和所述目标图像的RGB颜色一维向量具有相同的长度，所述待识别图像的HOG方向一维向量和所述目标图像的HOG方向一维向量具有相同的长度；

分别计算每幅待识别图像的联合特征向量与目标图像的联合特征向量的夹角余弦值，得到第二相似度。

设RGB颜色一维向量为设HOG方向一维向量为/>那么最终用来比较相似性的联合特征向量/>表示为：

采用乘积方法结合RGB颜色一维向量和HOG方向一维向量的乘积的好处有：1)使得RGB颜色向量和HOG方向向量的数学相关性更强，必须两者同时满足要求才能做出相似性的判定。2)根据前期实验，发现这种结合方式具有良好的再识别效果良好，能够满足再识别的要求。

然后求得待识别图像的联合特征向量和目标图像的联合特征向量/>的向量夹角余弦值：

其中，为待识别图像的联合特征向量；/>为目标图像的联合特征向量，/>为待识别图像的联合特征向量C1的模长，/>为目标图像的联合特征向量C2的模长。

根据大量的前期实验，在采用RGB颜色一维向量HOG方向一维向量结合的联合特征向量时，待识别图像的第二相似度大于0.68可判断待识别图像内的生物为目标人物图像内的生物。

从所有余弦值中选择出最高的并与预先设定的第二阈值进行比较，从而确定待识别图像是否与目标图像相匹配。如果最高余弦值不小于预设的第二阈值，则具有最高余弦值度的待识别图像内的生物是目标人物图像内的生物；否则，如果最高余弦值小于预设的第二阈值，则所有待识别图像内的生物不是目标人物图像内的生物。

基于采用RGB颜色直方图特征和HOG特征对的颜色特征、服饰上的图像、人外貌、形体或者动物的毛色、服饰、形状特征等进行表征，最后通过比较待识别图像与目标图像在两种特征的相似度关系，从而确定出哪幅待识别图像是与目标人物图像内的生物相一致的。计算量小，实现简单，效果好，并且可以在比如树莓派这样的嵌入式设备上实时运行。该算法相比于现有其他基于深度学习的人体再识别算法相比，更具有实用价值，比如，应用到安防无人机领域。

优选地，在获取待识别躯干数据和目标躯干数据之前，还包括：获取训练用躯干数据集，所述数据集包括：视频和图片，标识训练用躯干数据集中的躯干，得到标识后的训练用躯干集；可采用LabelImg开源工具进行标注躯干。通过轻量级检测网络模型训练所述标识后的训练用躯干集，得到轻量级检测模型。

训练前，先获取训练用躯干数据集，所述数据集包括：视频和图片，标识训练用躯干数据集中的躯干部位，得到标识后的训练用躯干图像集；在做标注后会生成的对应的标注文件(label)。其中选择一定数量用作训练轻量级检测网络模型，另一部分用于测试集，在测试集里的数据具有日常生活中的代表性，涵盖了大部分的场景。

接着，通过轻量级检测网络模型训练所述标识后的训练用躯干图像集，得到轻量级检测网络模型。

轻量级检测网络模型可为轻量级检测网络模型MobileNet-SSD，通过Caffe框架训练MobileNet-SSD，轻量级检测网络模型MobileNet-SSD为深度学习网络模型，对该轻量级检测网络模型进行训练，利用该模型每次训练时找出的部分来调整网络权重，一遍一遍如此反复，使该网络最终学习到能准确识别图像中的躯干。训练好的轻量级检测网络模型采用测试集测试生物再识别效果，然后根据再识别效果调整超参数后再次训练，如此反复直到得到效果最好的躯干检测网络模型。其中，超参数是神经网络中的一些参数，主要是各种阈值。比如当检测出的可能性大于多少认为是目标物体。这个可能性阈值就是超参数之一。

轻量级检测网络模型Mobilenet-SSD框架的网络层数不深，网络结构更有效率，所以使用的参数少，使得训练得到的模型很小，计算复杂度低。所以能够实现检测精度达到要求的情况下还能在嵌入式设备上运行的需求，并且轻量级检测网络模型对设备性能要求相对较低、适用范围广。

优选地，所述通过轻量级检测网络模型训练所述标识后的训练用躯干集，得到轻量级检测模型，具体包括：将轻量级检测模型训练成功时，转化所述轻量级检测模型的数据格式，得到适用于基于嵌入式平台的网络格式的轻量级检测模型。

在轻量级检测网络模型训练成功时，便于将该训练好的轻量级检测网络模型移植到其他的平台上，比如嵌入式设备上。转化轻量级检测网络模型的躯干数据格式，目的为了能够运行该轻量级检测网络模型，从而得到适用于嵌入式平台、或者是低功耗边缘计算设备的网络格式的轻量级检测网络模型，躯干数据格式为视频包括mp4格式，avi，mkv等多种格式，因为每个嵌入式平台、或者是低功耗边缘计算设备支持的神经网络格式不同，所以具体情况具体安排。

结合本发明的实施例，还提供一种基于嵌入式平台的自动再识别设备，包括处理器、存储器、以及存储在存储器上的执行前述的基于嵌入式平台的自动识别方法的程序。

将轻量级检测网络模型安装在基于嵌入式平台设备内，能够扩大轻量级检测网络模型的使用方范围。

如图2所示，结合本发明的实施例，还提供一种基于嵌入式平台的自动再识别系统，包括：处理器、存储器、具有深度神经网络推理运算能力的深度学习边缘计算设备，以及存储在存储器上的执行前述任一基于嵌入式平台的自动再识别方法的程序，程序内包含轻量级检测模型，用于检测待识别躯干数据；所述深度学习边缘计算设备数据连接于执行前述任一基于嵌入式平台的自动再识别方法的程序；启动前述任一基于嵌入式平台的自动再识别方法的程序，所述基于嵌入式平台的自动再识别方法的程序调用深度学习边缘计算设备内的深度神经网络；采用深度学习边缘计算设备内的深度神经网络，将所述待识别图像与所述目标图像进行比对，得到所述待识别图像与所述目标图像的相似度，根据相似度判断待识别图像是否为目标图像相匹配。

其中，深度学习边缘计算设备和存储器上的执行前述任一基于嵌入式平台的自动再识别方法的程序的装置在物理安装关系上是固定的，或是不固定的。比如基于嵌入式平台的自动再识别方法的程序的装置采用低功耗的树莓派(Raspberrypi)，树莓派是一种微型嵌入式计算机(类似小型电脑)，其本身不具有实时运行人体检测算法的能力，可以通过外接深度学习边缘计算设备(比如英特尔二代计算棒(Intel Neural Compute Stick 2，简称NCS2))完成生物体的自动再识别。NCS 2是一种USB接口的深度学习边缘计算设备，功耗很低，但是每秒可以进行超过1万亿次深度神经网络推理。同理，也可将NCS 2直接插到其他安装有基于嵌入式平台的自动再识别方法的程序的工控机、嵌入式控制板等处理器设备上运行。采用英特尔二代计算棒和树莓派相结合的方式运行轻量级检测网络模型，成本低，扩展性强，通用性好，再识别准确率高。

另外，当采用Caffe框架格式的网络训练轻量级检测网络模型时，因为英特尔二代计算棒不支持直接使用Caffe框架，因此在训练成功时，通过英特尔的OpenViNO Toolkit工具将训练时使用轻量级检测网络模型的网络格式进行转换，转换成英特尔二代计算棒支撑的网络格式。比如：在配置好OpenVINO Toolkit的环境后，运行转换工具OpenViNOToolkit，将使用Caffe框架格式的轻量级检测网络模型MobileNet-SSD模型转换成英特尔二代计算棒所支持的网络模型格式文件，放置于树莓派中保存以便调用。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于嵌入式平台的自动再识别系统，其特征在于，包括：嵌入式处理器设备和具有深度神经网络推理运算能力的深度学习边缘计算设备，所述嵌入式处理器设备包括处理器和存储器，所述深度学习边缘计算设备具有USB接口，通过所述USB接口直接插到所述嵌入式处理器设备；所述嵌入式处理器设备是指：安装有基于嵌入式平台的自动再识别方法的程序的工控机或者嵌入式控制板；

所述嵌入式处理器设备还包括存储在存储器上的执行基于嵌入式平台的自动再识别方法的程序，程序内包含轻量级检测模型，用于检测待识别躯干数据；

所述深度学习边缘计算设备数据连接于执行所述基于嵌入式平台的自动再识别方法的程序；

启动运行所述基于嵌入式平台的自动再识别方法的程序，所述基于嵌入式平台的自动再识别方法的程序调用深度学习边缘计算设备内的深度神经网络；

采用深度学习边缘计算设备内的深度神经网络，将待识别图像与目标图像进行比对，得到所述待识别图像与所述目标图像的相似度，根据相似度判断待识别图像是否为目标图像相匹配；

所述的基于嵌入式平台的自动再识别方法，包括：

获取待识别躯干数据和目标躯干数据，通过轻量级检测模型，调用深度学习边缘计算设备内的深度神经网络，标识所述待识别躯干数据中的躯干，得到待识别图像；以及，通过轻量级检测模型检测并提取出所述目标躯干数据的躯干，得到目标图像；其中，所述躯干为人体的头部和上半身躯干，和/或，动物的躯干部位；

将所述待识别图像与所述目标图像进行比对，得到所述待识别图像与所述目标图像的相似度，根据相似度判断待识别图像是否与目标图像相匹配；

所述将所述待识别图像与所述目标图像进行比对，得到所述待识别图像与所述目标图像的相似度，根据相似度判断待识别图像是否与目标图像相匹配，具体包括：

提取所述待识别图像的颜色特征，以及，提取所述目标图像的颜色特征；

将所述待识别图像的颜色特征与所述目标图像的颜色特征进行比对，得到待识别图像的第一相似度；

如果待识别图像的第一相似度不满足预设的第一阈值，则所述待识别图像与所述目标图像不匹配；

如果只有一幅待识别图像的第一相似度满足预设的第一阈值，则判定该待识别图像与所述目标图像相匹配；

所述的基于嵌入式平台的自动再识别系统，还包括：如果至少两幅待识别图像的第一相似度满足预设的第一阈值，则：

针对第一相似度满足预设的第一阈值的待识别图像，提取每幅所述待识别图像内的形状特征；以及，提取所述目标图像内的形状特征；

根据所述待识别图像的颜色特征和形状特征得到所述待识别图像的联合特征，根据所述目标图像的颜色特征与形状特征得到所述目标图像的联合特征；

将所述待识别图像的联合特征与所述目标图像的联合特征进行比对，得到待识别图像的第二相似度；

将待识别图像的第二相似度与预设的第二阈值进行比较，选取满足预设的第二阈值的第二相似度的最高值所对应的待识别图像作为与目标图像相匹配的图像；否则不存在与目标图像相匹配的待识别图像。

2.根据权利要求1所述的基于嵌入式平台的自动再识别系统，其特征在于，所述通过轻量级检测模型标识所述待识别躯干数据中的躯干，得到待识别图像；具体包括：

将所述待识别躯干数据缩放至指定像素，将指定像素的图像进行增强操作，得到增强后的图像；

通过轻量级检测模型标识所述增强后的图像的躯干数据，得到候选图像；

将置信度满足设定阈值的候选图像设为待识别图像。

3.根据权利要求2所述的基于嵌入式平台的自动再识别系统，其特征在于，所述待识别图像还包括：生物的位置信息和标签名。

4.根据权利要求1所述的基于嵌入式平台的自动再识别系统，其特征在于，在提取所述待识别图像的颜色特征，提取所述目标图像的颜色特征之前，还包括：将每个待识别图像和所述目标图像缩放至指定像素；

所述提取所述待识别图像的颜色特征，以及，提取所述目标图像的颜色特征；将所述待识别图像的颜色特征与所述目标图像的颜色特征进行比对，得到待识别图像的第一相似度；具体包括：

提取所述指定像素的待识别图像的RGB颜色直方特征向量，将所述指定像素的待识别图像的RGB颜色直方特征向量展开，得到所述待识别图像的RGB颜色一维向量；以及，

提取所述指定像素的目标图像的RGB颜色直方特征向量，将所述目标图像的RGB颜色直方特征向量展开，得到所述目标图像的RGB颜色一维向量；其中，所述待识别图像的RGB颜色一维向量和所述目标图像的RGB颜色一维向量具有相同的长度；

计算所述待识别图像的RGB颜色一维向量与所述目标图像的RGB颜色一维向量的夹角余弦值，得到待识别图像的第一相似度。

5.根据权利要求1所述的基于嵌入式平台的自动再识别系统，其特征在于，所述根据所述待识别图像的颜色特征和形状特征得到所述待识别图像的联合特征，根据所述目标图像的颜色特征与形状特征得到所述目标图像的联合特征；将所述待识别图像的联合特征与所述目标图像的联合特征进行比对，得到待识别图像的第二相似度；包括：

提取指定像素的待识别图像的RGB颜色直方特征向量，将所述指定像素的待识别图像的RGB颜色直方特征向量展开，得到所述待识别图像的RGB颜色一维向量；提取所述指定像素的待识别图像形状特征的HOG方向梯度特征向量，将所述待识别图像的HOG方向梯度特征向量展开，得到所述待识别图像的HOG方向一维向量；计算每幅待识别图像的RGB颜色一维向量和HOG方向一维向量的乘积，得到待识别图像的联合特征向量；以及，

提取所述指定像素的目标图像的RGB颜色直方特征向量，将所述目标图像的RGB颜色直方特征向量展开，得到所述目标图像的RGB颜色一维向量；提取所述指定像素的目标图像形状特征的HOG方向梯度特征向量，将所述目标图像的HOG方向梯度特征向量展开，得到所述目标图像的HOG方向一维向量；计算所述目标图像的RGB颜色一维向量和HOG方向一维向量的乘积，得到目标图像的联合特征向量；其中，所述待识别图像的RGB颜色一维向量和所述目标图像的RGB颜色一维向量具有相同的长度，所述待识别图像的HOG方向一维向量和所述目标图像的HOG方向一维向量具有相同的长度；

分别计算每幅待识别图像的联合特征向量与目标图像的联合特征向量的夹角余弦值，得到第二相似度。

6.根据权利要求1所述的基于嵌入式平台的自动再识别系统，其特征在于，在获取待识别躯干数据和目标躯干数据之前，还包括：

获取训练用躯干数据集，所述数据集包括：视频和图片，标识训练用躯干数据集中的躯干，得到标识后的训练用躯干集；

通过轻量级检测网络模型训练所述标识后的训练用躯干集，得到轻量级检测模型。

7.根据权利要求6所述的基于嵌入式平台的自动再识别系统，其特征在于，所述通过轻量级检测网络模型训练所述标识后的训练用躯干集，得到轻量级检测模型，具体包括：

将轻量级检测模型训练成功时，转化所述轻量级检测模型的数据格式，得到适用于基于嵌入式平台的网络格式的轻量级检测模型。