CN113011435A - 目标对象的图像处理方法、装置及电子设备 - Google Patents

Abstract

本发明提供了一种目标对象的图像处理方法、装置及电子设备，涉及机器学习技术领域，上述目标对象的图像处理方法包括：获取图像传感器采集的目标图像，基于预先训练得到的神经网络模型对目标图像进行目标检测，得到目标图像的目标检测结果；将目标对象图像的特征与目标检测结果的特征进行匹配，得到目标对象图像与目标检测结果的相似度。本发明能够将目标对象图像与不同拍摄角度下或跨镜头下的目标图像自动进行目标匹配，提升了目标匹配的准确率及目标匹配效率。

Description

目标对象的图像处理方法、装置及电子设备

技术领域

本发明涉及机器学习技术领域，尤其是涉及一种目标对象的图像处理方法、装置及电子设备。

背景技术

随着社会的发展，公共安全成为全社会的一个共同话题，视频监控系统也得到了普及。视频监控系统能够直观地进行场景再现，可以作为强有力的事实证据，然而，当摄像头采集的多张图像中目标对象的拍摄角度产生较大的变化时，或者，在跨境头垮场景下跟踪目标对象时，由于视频监控系统中包括多个图像传感器，各个图像传感器可能存在拍摄角度不同或图像分辨率不同的问题，难以从目标对象不同拍摄角度的图像中或不同摄像头拍摄的图像中匹配出同一目标对象的图像，导致目标匹配准确率较低，为了保证不同拍摄角度下或跨境头下目标匹配的准确率，现有的跨境头跨场景下的目标匹配主要依靠人工观察监控录像进行目标检索，导致目标匹配效率较低。

发明内容

有鉴于此，本发明的目的在于提供一种目标对象的图像处理方法、装置及电子设备，能够将目标对象图像与不同拍摄角度下或跨镜头下的目标图像自动进行目标匹配，提升了目标匹配的准确率及目标匹配效率。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种目标对象的图像处理方法，包括：获取图像传感器采集的目标图像，基于预先训练得到的神经网络模型对所述目标图像进行目标检测，得到所述目标图像的目标检测结果；将目标对象图像的特征与所述目标检测结果的特征进行匹配，得到目标对象图像与所述目标检测结果的相似度。

进一步，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述目标检测结果包括目标框；所述将目标对象图像的特征与所述目标检测结果的特征进行匹配，得到目标对象图像与所述目标检测结果的相似度的步骤，包括：将所述目标检测结果中各目标框内的图像分别作为待匹配图像；对所述目标对象图像的特征及各所述待匹配图像的特征进行全局匹配及局部匹配，得到目标对象图像与各所述待匹配图像的相似度。

进一步，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述对所述目标对象图像的特征及各所述待匹配图像的特征进行全局匹配及局部匹配，得到目标对象图像与各所述待匹配图像的相似度的步骤，包括：步骤a，基于预设的匹配模块将所述目标对象图像的特征与各所述待匹配图像的特征进行全局匹配及局部匹配，得到各所述待匹配图像对应的相似度分数；步骤b，基于各所述待匹配图像对应的相似度分数更新所述预设的匹配模块的权重；步骤c，重复执行上述步骤a～步骤b，直至达到预设的匹配次数，得到各所述待匹配图像对应的最终相似度。

进一步，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述基于预设的匹配模块将所述目标对象图像的特征与各所述待匹配图像的特征进行全局匹配及局部匹配，得到各所述待匹配图像对应的相似度分数的步骤，包括：基于所述目标对象图像及各所述待匹配图像的全局特征计算所述目标对象图像与各所述待匹配图像的全局相似度；基于所述目标对象图像及各所述待匹配图像的局部特征确定所述目标对象图像与各所述待匹配图像的局部相似度；其中，所述局部特征由所述全局特征划分得到；基于所述全局相似度和所述局部相似度确定各所述待匹配图像对应的相似度分数。

进一步，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述神经网络模型包括胶囊网络；所述基于预先训练得到的神经网络模型对所述目标图像进行目标检测，得到所述目标图像的目标检测结果的步骤，包括：基于预设训练得到的胶囊网络对所述目标图像进行特征提取，得到特征提取结果；对所述特征提取结果依次进行一阶目标检测和二阶目标检测，得到所述目标图像的目标检测结果。

进一步，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述对所述特征提取结果依次进行一阶目标检测和二阶目标检测，得到所述目标图像的目标检测结果的步骤，包括：基于预设的目标检测算法获取所述特征提取结果对应的多个尺度的特征图，将各所述特征图分别作为预测层；对各所述预测层进行二阶目标检测，得到所述目标图像的目标检测结果。

进一步，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述对各所述预测层进行二阶目标检测，得到所述目标图像的目标检测结果的步骤，包括：在各所述预测层上基于区域候选网络生成候选框；获取所述预测层的图像特征及所述预测层上候选框的图像特征，将所述预测层的图像特征及所述预测层上候选框的图像特征进行特征融合，基于融合后的特征确定所述目标图像中的各目标类别及目标框位置。

进一步，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述图像传感器包括多个摄像头；所述方法还包括：基于所述目标对象图像与所述目标检测结果的相似度，确定拍摄到所述目标对象的目标摄像头以及所述目标对象在所述目标摄像头中的位置变化信息；基于所述目标对象在所述目标摄像头中的位置变化信息及各所述目标摄像头的位置确定所述目标对象的运动轨迹。

第二方面，本发明实施例还提供了一种目标对象的跟踪装置，包括：目标检测模块，用于获取各图像传感器采集的目标图像，基于预先训练得到的神经网络模型对各所述目标图像进行目标识别，得到各所述目标图像的目标检测结果；目标重识别模块，用于将目标对象图像的特征与所述目标检测结果的特征进行匹配，得到目标对象图像与所述目标检测结果的相似度。

第三方面，本发明实施例提供了一种电子设备，包括：处理器和存储装置；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面任一项所述的方法。

本发明实施例提供了一种目标对象的图像处理方法、装置及电子设备，该方法包括：获取图像传感器采集的目标图像，基于预先训练得到的神经网络模型对目标图像进行目标检测，得到目标图像的目标检测结果；将目标对象图像的特征与目标检测结果的特征进行匹配，得到目标对象图像与目标检测结果的相似度。上述目标对象的跟踪方法，通过对图像传感器采集的目标图像进行图像识别，并将目标图像与目标检测结果进行匹配，可以准确匹配到图像传感器采集的目标图像中的目标对象，提升了目标匹配的准确率，通过将目标对象图像与不同拍摄角度下或跨镜头下目标图像的目标检测结果自动进行目标匹配，提升了目标匹配效率。

本发明实施例的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明实施例的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种目标对象的跟踪方法流程图；

图2示出了本发明实施例所提供的一种多层次匹配流程示意图；

图3示出了本发明实施例所提供的一种目标识别流程示意图；

图4示出了本发明实施例所提供的一种目标对象的跟踪装置结构示意图；

图5示出了本发明实施例所提供的一种电子设备结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

目前，视频监控系统可以直观的再现目标场景，由于摄像头的分辨率等硬件缺陷，很难得到清晰的人身图像，使得现有的人脸识别技术难以解决多拍摄角度下或跨摄像头跨场景下行人的匹配与检索。为改善此问题，本发明实施例提供的一种目标对象的图像处理方法、装置及电子设备，该技术可应用于提升了跨境头下的目标跟踪效率和跟踪准确率。以下对本发明实施例进行详细介绍。

本实施例提供了一种目标对象的跟踪方法，该方法可以应用于连接有图像传感器的计算机等电子设备，参见图1所示的目标对象的跟踪方法流程图，该方法主要包括以下步骤S102～步骤S104：

步骤S102，获取各图像传感器采集的目标图像，基于预先训练得到的神经网络模型对各目标图像进行目标检测，得到各目标图像的目标检测结果。

上述图像传感器可以是需要进行目标对象检索的区域内所设置的一个或多个摄像头，将摄像头在预设时间内采集的图像作为目标图像，将目标图像输入预设训练得到的神经网络模型中进行目标识别，得到目标图像对应的目标检测结果，该目标检测结果可以包括各目标图像中每个目标的目标类型及目标框坐标。

步骤S104，将目标对象图像的特征与目标检测结果的特征进行匹配，得到目标对象图像与目标检测结果的相似度。

上述目标对象可以是需要进行目标匹配的行人或物体，获取目标对象图像(即目标对象的图像)，上述目标对象图像可以是从预先建立的数据库中获取的，也可以是从图像传感器采集的目标图像中获取的任意一个需要进行目标匹配的对象的图像，将数据库中预存或从目标图像中剪切的目标对象图像的特征与目标检测结果的特征进行特征匹配，得到目标对象与目标检测结果中各目标的相似度。诸如，当上述图像传感器位于工作园区内时，上述预先建立的数据库可以是通过获取企业工作人员的人脸信息和行人图像信息建立的，通过将数据库中的任意需要进行目标匹配的目标对象图像与摄像头采集的目标图像中的各个目标进行特征匹配，可以判断摄像头采集的目标图像中是否包括要搜索的目标对象，也可以判断不同摄像头监控视频中的目标是否为同一个目标。

本实施例提供的上述目标对象的跟踪方法，通过对图像传感器采集的目标图像进行图像识别，并将目标对象图像的特征与目标检测结果的特征进行匹配，可以准确匹配到图像传感器采集的目标图像中的目标对象，提升了目标匹配的准确率，通过将目标对象图像与不同拍摄角度下或跨镜头下的目标图像自动进行目标匹配，提升了目标匹配效率。

为了提升目标匹配的准确性，本实施例提供了将目标对象图像的特征与目标检测结果的特征进行匹配，得到目标对象图像与目标检测结果的相似度的实施方式，具体可参照如下步骤(1)～步骤(2)执行：

步骤(1)：将目标检测结果中各目标框内的图像分别作为待匹配图像。

上述目标检测结果包括目标框(目标框的各顶点坐标)及目标框内的目标类别，为了从各个图像传感器采集的目标图像中找出与目标对象相同的目标，将上述得到的目标图像中的各个目标检测结果分别作为待匹配目标，即将目标检测结果中目标框内的图像作为待匹配图像，以便判断目标框内的图像是否与目标对象为同一个目标。

步骤(2)：对目标对象图像的特征及各待匹配图像的特征进行全局匹配及局部匹配，得到目标对象图像与各待匹配图像的相似度。

通过将目标对象图像的特征与各个待匹配图像的特征进行全局匹配和局部匹配，可以得到目标对象与各待匹配图像的相似度，根据该相似度大小可以判断各待匹配图像中是否包括目标对象的图像。具体可参照如下步骤a～步骤c执行：

步骤a：基于预设的匹配模块将目标对象图像的特征与各待匹配图像的特征进行全局匹配及局部匹配，得到各待匹配图像对应的相似度分数。

基于预设的匹配模块分别对目标对象图像及各待匹配图像进行图像特征提取，得到目标对象图像及各待匹配图像的全局特征(该全局特征包括从图像中提取的全部特征)，基于目标对象图像及各待匹配图像的全局特征计算目标对象图像与各待匹配图像的全局相似度。上述预设的匹配模块可以包括卷积神经网络，将上述目标对象图像和任意一个待匹配图像输入预设的匹配模块中，基于卷积神经网络分别对目标对象图像及待匹配图像进行图像特征提取，得到每个图像对应的全局特征，参见如图2所示的多层次匹配流程示意图，对目标对象图像的全局特征以及待匹配图像的全局特征进行特征匹配，得到目标对象图像与各待匹配图像的全局相似度 Similary_global。

上述图像的全局特征可以划分为两部分或两部分以上的局部特征，基于目标对象图像及各待匹配图像的局部特征确定目标对象图像与各待匹配图像的局部相似度。将目标对象图像的全局特征和待匹配对象的全局特征同时划分为相同数量(两部分或两部分以上)的局部特征，分别对各个局部特征进行特征匹配，并将各个局部特征匹配结果进行加权求和，得到目标对象图像与待匹配图像的局部相似度。

诸如，如图2所示，可以将目标对象图像的全局特征划分为两部分，记为A1和A2，将待匹配图像的全局特征划分为两部分，记为B1和B2。计算局部特征A1与局部特征B1的相似度Similary_2-part1，计算局部特征 A2与局部特征B2的相似度Similary_2-part2，将两部分局部特征之和作为目标对象图像与待匹配图像的局部相似度 Similary_local＝Similary_2-part＝Similary_2-part1+Similary_2-part2。

在另一种实施方式中，上述全局图像特征的特征划分方式可以同时包括多种，诸如，可以分别将目标对象图像的全局图像特征和待匹配图像的全局图像特征划分为m部分和n部分，计算将全局图像特征划分为m部分时，目标对象图像与待匹配图像的局部相似度Similary_m-part，计算将全局图像特征划分为n部分时目标对象图像与待匹配图像的局部相似度 Similary_n-part，将多种划分方式下得到的局部相似度之和作为目标对象图像与待匹配图像的局部相似度 Similary_local＝Similary_m-part+Similary_n-part。在另一种实施方式中，Similary_local＝a*Similary_m-part+b*Similary_n-part，其中，a和b分别为权重值，a+b＝1，a和b值可以根据预设的匹配模块进行设置。

基于全局相似度和局部相似度确定各待匹配图像对应的相似度分数。将目标对象图像与待匹配图像的全局相似度和局部相似度进行加权求和，得到目标对象图像与待匹配图像的相似度分数，即待匹配图像对应的相似度分数。遍历上述待匹配图像，以计算每一个待匹配图像与目标对象图像的全局相似度和局部相似度，进而得到目标对象图像与每一个待匹配图像的相似度分数，即各待匹配图像对应的相似度分数。

在一种实施方式中，上述目标对象图像与待匹配图像的相似度分数的计算算式为：

Similary_score＝Similary_global+Similary_local

在另一种实施方式中，还可以为待匹配图像与目标对象图像的全局相似度和局部相似度分别设置权重：

Similary_score＝x*Similary_global+y*Similary_local

其中，x和y分别为常数，x+y＝1，x和y值可以根据预设的匹配模块进行设置。

步骤b：基于各待匹配图像对应的相似度分数更新预设的匹配模块的权重。

上述预设的匹配模块中包括多个卷积层，卷积层的功能是对输入图像数据进行特征提取，其内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数，通过基于各待匹配图像对应的相似度分数对卷积层中的权重系数进行更新，可以使更新后的卷积层提升真正与目标对象相匹配的待匹配图像对应的相似度分数，抑制与目标对象不匹配的待匹配图像对应的相似度分数。

步骤c：重复执行上述步骤a～步骤b，直至达到预设的匹配次数，得到各所待匹配图像对应的最终相似度。

重复执行上述步骤a～步骤b，即基于更新权重系数后的卷积层多次计算待匹配图像对应的相似度分数，并基于每次计算得到的待匹配图像对应的相似度分数更新卷积层的权重系数，直至计算每个待匹配图像对应的相似度分数的次数达到预设的匹配次数，将最后一次计算得到的各待匹配图像对应的相似度分数作为各待匹配图像对应的最终相似度。上述预设的匹配次数可以根据预设的匹配模块的计算准确度进行设置，诸如可以是 20～100次之间的任意值。

为了提升对目标图像的目标识别准确性，本实施例提供了基于预先训练得到的神经网络模型对各目标图像进行目标识别，得到各目标图像的目标检测结果的实施方式，具体可参照如下步骤1～步骤2执行：

步骤1：基于预设训练得到的胶囊网络对各目标图像进行特征提取，得到特征提取结果。

将胶囊网络作为目标识别的主干网络，对预先建立的数据库中的图像样本进行目标标记，将标记后的图像样本输入胶囊网络中进行网络训练，得到训练后的胶囊网络。胶囊是一组神经元，可以学习检测给定区域(例如一个矩形)图像的特定目标，并输出一个向量(例如一个八维向量)，向量的长度代表目标存在的概率估计，并可以对姿态参数(例如精确的位置、旋转等等)定向编码(例如8D空间)。如果目标对象有轻微的变化(例如移位、旋转、改变大小等)，胶囊将输出相同长度但方向略有不同的向量，因此，胶囊是等变化的。

由于同一目标在不同摄像头下呈现不同的角度、姿态，传统的CNN算法对于目标的这种形变是不鲁棒的，当图片角度发生变化，就会无法识别； CNN通过数据增强将图片进行翻转、旋转等操作时，会造成数据量变得非常大，降低训练速度。本实施例使用预先训练得到的胶囊网络对各个图像传感器采集的目标图像进行目标特征提取，相比CNN网络，胶囊网络对物体的形变更加鲁棒，提升了目标识别的准确率。

步骤2：对特征提取结果依次进行一阶目标检测和二阶目标检测，得到各目标图像的目标检测结果。

基于预设的目标检测算法获取特征提取结果对应的多个尺度的特征图，将各特征图分别作为预测层。上述预设的目标检测算法包括SSD(Single Shot MultiBox Detector)算法或YOLO(You Only Look Once)算法等一阶目标检测算法。

参见如图3所示的目标识别流程示意图，将各图像传感器采集的目标图像输入预先训练得到的胶囊网络进行特征提取，得到特征提取结果，基于SSD算法或YOLO算法在胶囊网络提取的特征上产生不同尺度的特征图作为目标检测的预测层。现有的目标检测技术是在SSD算法得到的不同尺度的特征图上设置不同大小和长宽比的先验框，计算先验框与人工标注的矩形框的交并比从而确定正负样本，由于大多数的先验框都是负样本，容易造成正负样本之间的不平衡的问题，因此，如图3所示，本实施例提供的方法丢弃了先验框的机制，在每个预测特征层上采用了二阶目标检测器的思想。

对各预测层进行二阶目标检测，得到目标图像中的各目标类别及目标框位置。在各预测层上基于区域候选网络(Region Proposal Network，RPN) 生成候选框；获取预测层的图像特征及预测层上候选框的图像特征，将预测层的图像特征及预测层上候选框的图像特征进行特征融合，即将全局特征与局部特征进行特征拼接，基于融合后的特征确定目标图像中的各目标类别及目标框位置(包括各个顶点坐标)。

如图3所示，采用RPN网络在各预测层上产生候选框，将候选框和对应的预测层进行归一化处理，由于预测层上产生的候选框的图像特征为局部特征，各预测层的图像特征为全局特征，通过将预测层的图像特征及预测层上候选框的图像特征进行特征融合，实现了全局特征与局部特征的特征融合，基于各个预测层对应的融合后的特征对目标图像进行目标识别，以预测目标类别和目标位置。

在一种具体的实施方式中，上述图像传感器包括多个摄像头；本实施例提供的方法还包括以下步骤：

首先，基于目标对象图像与目标检测结果的相似度，确定拍摄到目标对象的目标摄像头以及目标对象在目标摄像头中的位置变化信息。上述目标对象图像与目标检测结果的相似度为各待匹配图像对应的最终相似度，将最终相似度大于预设相似度的各待匹配图像作为目标待匹配图像，其中，目标待匹配图像中包括目标对象的图像。

根据各待匹配图像对应的最终相似度值，从待匹配图像中筛选出包括目标对象的待匹配图像，当待匹配图像对应的最终相似度大于预设相似度时，确定该待匹配图像中包括目标对象(即目标对象图像与该待匹配图像中的目标为同一个行人或物体)，将包括目标对象的待匹配图像作为目标待匹配图像。由于各待匹配图像是从各目标图像中获取得到的，将拍摄目标待匹配图像所属目标图像的摄像头作为目标摄像头，即将拍摄到目标对象的摄像头作为目标摄像头。上述预设相似度可以根据最终相似度的取值范围确定，诸如，当最终相似度的取值范围为[0，1]时，上述预设相似度可以是0.75～1之间的任意值。

在实际应用中，为了便于溯源目标对象对应的目标摄像头，可以对各摄像头采集的目标图像进行编号，诸如，将摄像头1采集的k张目标图像编号为1-1,1-2，…1-k，将摄像头2采集的j张目标图像编号为2-1,2-2，…2-j，以此类推。对各目标图像上各目标框内的待匹配图像进行编号，诸如，将目标图像1-1上t个目标框内的待匹配图像编号为：1-1-1,1-1-2，…1-1-t，以此类推，当上述待匹配图像1-1-2为最终相似度大于预设相似度的目标待匹配图像时，根据目标待匹配图像1-1-2可以确定目标对象对应的目标图像传感器包括摄像头1，即摄像头1拍摄到了目标对象。

由于上述目标摄像头可以采集到目标对象的连续帧图像，根据目标摄像头采集的连续帧图像中目标对象的位置变化信息，可以确定目标对象在目标摄像头中的位置变化信息，诸如，该位置变化信息可以是目标对象在目标摄像头中从第一位置行驶至第二位置(第一位置和第二位置可以是实际位置信息，诸如可以是路灯或者路口等参照物位置，还可以是目标摄像头采集图像中的像素坐标位置)。

其次，基于目标对象在目标摄像头中的位置变化信息及各目标摄像头的位置确定目标对象的运动轨迹。根据目标对象在目标摄像头中的位置变化信息可以得到目标对象在目标摄像头下的轨迹，将全部拍摄到目标对象的目标摄像头下目标对象的轨迹，按照时间先后关系关联起来，得到目标对象的完整运行轨迹。

本实施例提供的上述目标对象的图像处理方法，通过将胶囊网络作为图像特征提取的主干网络，并在目标检测时将全局特征和局部特征进行融合，提升了目标识别及定位的精度，通过在匹配阶段使用由粗到细的多层次匹配，提升了匹配结果的准确性，进而可以准确获取到同一目标在不同图像传感器之间的运行轨迹。

在前述实施例的基础上，本实施例提供了一种应用前述目标对象的图像处理方法获取行人运动轨迹的示例，具体可参照如下步骤1)～步骤3) 执行：

步骤1)：基于预设的目标检测模型对各摄像头采集的图像进行目标检测，将各摄像头采集的图像中的行人提取出来。

上述预设的目标检测模型包括胶囊网络，基于预设训练得到的胶囊网络对各摄像头采集的图像进行特征提取，得到行人特征提取结果，对行人特征提取结果依次进行一阶目标检测和二阶目标检测，得到各个摄像头采集图像中的多个行人识别结果(即用目标框框出图像中的各个行人)。

步骤2)：根据目标重识别模块计算不同摄像头下任意两个行人之间的相似度，根据相似度判断是否为同一个行人。

对不同摄像头采集图像中的任意两个行人识别结果进行多层次特征匹配，得到任意两个行人识别结果的相似度，当相似度大于预设相似度时，确定两个摄像头采集图像中的行人为同一个行人。

步骤3)：基于目标跟踪模块确定同一行人在不同摄像头之间的运动轨迹。

获取各个摄像头的位置，将采集到同一行人图像的摄像头按照采集时间的先后顺序进行位置串联，得到行人的运行轨迹。

本实施例提供的上述行人跟踪方法，通过对摄像头中的目标进行检测提取目标的特征，然后将目标的特征和数据库中的物体的特征进行匹配(及重识别)得到相应的匹配结果，最后利用跨摄像头的目标跟踪技术得到同一个行人在不同摄像头之间的运动轨迹。

对应于上述实施例所提供的目标对象的跟踪方法，本发明实施例提供了一种目标对象的跟踪装置，参见图4所示的一种目标对象的跟踪装置结构示意图，该装置包括以下模块：

目标检测模块41，用于获取各图像传感器采集的目标图像，基于预先训练得到的神经网络模型对各目标图像进行目标识别，得到各目标图像的目标检测结果。

目标重识别模块42，用于将目标对象图像的特征与目标检测结果的特征进行匹配，得到匹配结果；其中，匹配结果包括与目标对象属于同一目标的目标检测结果。

本实施例提供的上述目标对象的跟踪装置，通过对图像传感器采集的目标图像进行图像识别，并将目标对象图像的特征与目标检测结果的特征进行匹配，可以准确匹配到图像传感器采集的目标图像中的目标对象，提升了目标匹配的准确率，通过将目标对象图像与不同拍摄角度下或跨镜头下的目标图像自动进行目标匹配，提升了目标匹配效率。

在一种实施方式中，上述图像传感器包括多个摄像头；上述装置还包括：

目标跟踪模块，用于基于目标对象图像与目标检测结果的相似度，确定拍摄到目标对象的目标摄像头以及目标对象在目标摄像头中的位置变化信息；基于目标对象在目标摄像头中的位置变化信息及各目标摄像头的位置确定目标对象的运动轨迹。

在一种实施方式中，上述目标检测结果包括目标框；上述目标重识别模块42，进一步用于将目标检测结果中各目标框内的图像分别作为待匹配图像；对目标对象图像的特征及各待匹配图像的特征进行全局匹配及局部匹配，得到目标对象图像与各待匹配图像的相似度。

在一种实施方式中，上述目标重识别模块42，进一步用于执行以下步骤：步骤a，基于预设的匹配模块将目标对象图像的特征与各待匹配图像的特征进行全局匹配及局部匹配，得到各待匹配图像对应的相似度分数；步骤b，基于各待匹配图像对应的相似度分数更新预设的匹配模块的权重；步骤c，重复执行上述步骤a～步骤b，直至达到预设的匹配次数，得到各待匹配图像对应的最终相似度。

在一种实施方式中，上述目标重识别模块42，进一步基于目标对象图像及各待匹配图像的全局特征计算目标对象图像与各待匹配图像的全局相似度；基于目标对象图像及各待匹配图像的局部特征确定目标对象图像与各待匹配图像的局部相似度；其中，局部特征由全局特征划分得到；基于全局相似度和局部相似度确定各待匹配图像对应的相似度分数。

在一种实施方式中，上述神经网络模型包括胶囊网络；上述目标检测模块41，进一步用于基于预设训练得到的胶囊网络对目标图像进行特征提取，得到特征提取结果；对特征提取结果依次进行一阶目标检测和二阶目标检测，得到目标图像的目标检测结果。

在一种实施方式中，上述目标检测模块41，进一步用于基于预设的目标检测算法获取特征提取结果对应的多个尺度的特征图，将各特征图分别作为预测层；对各预测层进行二阶目标检测，得到目标图像的目标检测结果。

在一种实施方式中，上述目标检测模块41，进一步用于在各预测层上基于区域候选网络生成候选框；获取预测层的图像特征及预测层上候选框的图像特征，将预测层的图像特征及预测层上候选框的图像特征进行特征融合，基于融合后的特征确定目标图像中的各目标类别及目标框。

本实施例提供的上述目标对象的跟踪装置，通过将胶囊网络作为图像特征提取的主干网络，并在目标检测时将全局特征和局部特征进行融合，提升了目标识别及定位的精度，通过在匹配阶段使用由粗到细的多层次匹配，提升了匹配结果的准确性，进而可以准确获取到同一目标在不同图像传感器之间的运行轨迹。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本发明实施例提供了一种电子设备，如图5所示的电子设备结构示意图，电子设备包括处理器51、存储器52，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例提供的方法的步骤。

参见图5，电子设备还包括：总线54和通信接口53，处理器51、通信接口53和存储器52通过总线54连接。处理器51用于执行存储器52中存储的可执行模块，例如计算机程序。

其中，存储器52可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口53(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线54可以是ISA(Industry Standard Architecture，工业标准体系结构) 总线、PCI(Peripheral Component Interconnect，外设部件互连标准)总线或 EISA(Extended Industry Standard Architecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5 中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器52用于存储程序，所述处理器51在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器51中，或者由处理器51实现。

处理器51可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器51中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器51可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等。还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器52，处理器51读取存储器52中的信息，结合其硬件完成上述方法的步骤。

本发明实施例提供了一种计算机可读介质，其中，所述计算机可读介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使所述处理器实现上述实施例所述的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。

本发明实施例所提供的目标对象的图像处理方法、装置及电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种目标对象的图像处理方法，其特征在于，包括：

获取图像传感器采集的目标图像，基于预先训练得到的神经网络模型对所述目标图像进行目标检测，得到所述目标图像的目标检测结果；

将目标对象图像的特征与所述目标检测结果的特征进行匹配，得到所述目标对象图像与所述目标检测结果的相似度。

2.根据权利要求1所述的方法，其特征在于，所述目标检测结果包括目标框；所述将目标对象图像的特征与所述目标检测结果的特征进行匹配，得到所述目标对象图像与所述目标检测结果的相似度的步骤，包括：

将所述目标检测结果中各目标框内的图像分别作为待匹配图像；

对所述目标对象图像的特征及各所述待匹配图像的特征进行全局匹配及局部匹配，得到所述目标对象图像与各所述待匹配图像的相似度。

3.根据权利要求2所述的方法，其特征在于，所述对所述目标对象图像的特征及各所述待匹配图像的特征进行全局匹配及局部匹配，得到所述目标对象图像与各所述待匹配图像的相似度的步骤，包括：

步骤a，基于预设的匹配模块将所述目标对象图像的特征与各所述待匹配图像的特征进行全局匹配及局部匹配，得到各所述待匹配图像对应的相似度分数；

步骤b，基于各所述待匹配图像对应的相似度分数更新所述预设的匹配模块的权重；

步骤c，重复执行上述步骤a～步骤b，直至达到预设的匹配次数，得到各所述待匹配图像对应的最终相似度。

4.根据权利要求3所述的方法，其特征在于，所述基于预设的匹配模块将所述目标对象图像的特征与各所述待匹配图像的特征进行全局匹配及局部匹配，得到各所述待匹配图像对应的相似度分数的步骤，包括：

基于所述目标对象图像及各所述待匹配图像的全局特征计算所述目标对象图像与各所述待匹配图像的全局相似度；

基于所述目标对象图像及各所述待匹配图像的局部特征确定所述目标对象图像与各所述待匹配图像的局部相似度；其中，所述局部特征由所述全局特征划分得到；

基于所述全局相似度和所述局部相似度确定各所述待匹配图像对应的相似度分数。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述神经网络模型包括胶囊网络；所述基于预先训练得到的神经网络模型对所述目标图像进行目标检测，得到所述目标图像的目标检测结果的步骤，包括：

基于预设训练得到的胶囊网络对所述目标图像进行特征提取，得到特征提取结果；

对所述特征提取结果依次进行一阶目标检测和二阶目标检测，得到所述目标图像的目标检测结果。

6.根据权利要求5所述的方法，其特征在于，所述对所述特征提取结果依次进行一阶目标检测和二阶目标检测，得到所述目标图像的目标检测结果的步骤，包括：

基于预设的目标检测算法获取所述特征提取结果对应的多个尺度的特征图，将各所述特征图分别作为预测层；

对各所述预测层进行二阶目标检测，得到所述目标图像的目标检测结果。

7.根据权利要求6所述的方法，其特征在于，所述对各所述预测层进行二阶目标检测，得到所述目标图像的目标检测结果的步骤，包括：

在各所述预测层上基于区域候选网络生成候选框；

获取所述预测层的图像特征及所述预测层上候选框的图像特征，将所述预测层的图像特征及所述预测层上候选框的图像特征进行特征融合，基于融合后的特征确定所述目标图像中的各目标类别及目标框。

8.根据权利要求1所述的方法，其特征在于，所述图像传感器包括多个摄像头；所述方法还包括：

基于所述目标对象图像与所述目标检测结果的相似度，确定拍摄到所述目标对象的目标摄像头以及所述目标对象在所述目标摄像头中的位置变化信息；

基于所述目标对象在所述目标摄像头中的位置变化信息及各所述目标摄像头的位置确定所述目标对象的运动轨迹。

9.一种目标对象的跟踪装置，其特征在于，包括：

目标检测模块，用于获取各图像传感器采集的目标图像，基于预先训练得到的神经网络模型对各所述目标图像进行目标识别，得到各所述目标图像的目标检测结果；

目标重识别模块，用于将目标对象图像的特征与所述目标检测结果的特征进行匹配，得到所述目标对象图像与所述目标检测结果的相似度。

10.一种电子设备，其特征在于，包括：处理器和存储装置；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至8任一项所述的方法。

Images