CN110688873A - 多目标追踪方法及人脸识别方法 - Google Patents

Abstract

本发明提供一种多目标追踪方法及人脸识别方法。所述多目标追踪方法包括：获取待处理视频图像，所述待处理视频图像包括多个帧图像；分别对每个帧图像进行目标识别处理以获取每个帧图像中每个目标的位置相关信息和特征信息，至少其中一个帧图像中包括多个目标；分别对每个帧图像中的每个目标进行分析处理以判断每个目标是否属于特定目标；当所述目标属于特定目标时，根据特征信息或者同时根据位置相关信息以及特征信息进行再识别处理。本发明可以实现多目标追踪的高准确率。

Description

多目标追踪方法及人脸识别方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种多目标追踪方法、人脸识别方法、计算机可读存储介质以及计算机设备。

背景技术

视频追踪技术作为计算机视觉应用中的重要部分，广泛用于环境监控、人机交互、机器人导航等，其主要目的是通过对摄像头获得的图像序列进行分析，计算出运动目标在每一帧图像上的位置，并根据不同的特征值，将图像序列中连续帧之间的同一运动目标关联起来，得到每帧图像中目标的运动参数以及相邻帧图像间运动目标的对应关系，进一步得到运动目标完整的运动轨迹。

在解决多目标追踪问题时，为了节省计算成本，通常分为两步：

第一步，分别对每个帧图像进行目标识别处理以获取每个帧图像中每个目标的位置相关信息和特征信息；

第二步，对每个帧图像中的每个目标进行再识别(ReID)处理，即将图像中某个物体与其他图像中物体进行比对，判断是否属于同一物体，并据此为每帧图像中的每个物体分配ID，同一物体在不同帧图像中的ID相同。换句话说，对于视频的某一帧，检测得到的结果有N个det，即表明画面中有N个物体；同时之前匹配帧的结果有M个Trk，即M个追踪ID，ReID的过程就是将N个det和M个Trk匹配的过程。

在ReID过程中最常用的两种参数是：位置相关信息X(包括位置、大小，速度等与检测物的位置信息或其倒数等相关的变量)和特征信息F(经过神经网络模型提取的检测物体的特征向量)。通常在ReID过程中，用上述一种或两种参数构建成本矩阵(cost matrix)，从而进行匹配过程。

现有技术中成本矩阵具体构建方式有如下四种：

(1)只使用位置相关信息X进行一步ReID，此时速度较快，但是匹配准确率低，对探测要求高；

(2)只使用特性信息F进行一步ReID，此时匹配准确率较高，但速度慢，特别难以实现多目标的实时追踪；

(3)同时使用位置相关信息X和特征信息F进行一步ReID(比如通过一定权重λ混合两个参数来构建cost matrix：X+λF)，此时可以进一步提高匹配精度，但速度受限于特征信息F的计算时间，难以实时。

(4)首先利用位置相关信息X进行第一次ReID，匹配未成功的再启动特征信息F进行第二次ReID，此时可以让大部分的匹配过程利用位置相关信息X计算，达到省时的效果，当匹配不成功的情况再启用特征信息F能完善匹配精度，达到兼顾计算效率和匹配精度的目的。但是其缺点是优先进行位置相关信息X的匹配将导致位置相关信息X匹配错误影响特征信息F的匹配集合。也就是说特征信息F的计算无法纠正第一次ReID匹配中位置相关信息X带来的错误。这种情况在多目标追踪，特别是多个目标有重叠交错的情况，利用位置相关信息X匹配将可能出错，并且特征信息F也无法修复。

上述无论是一步还是两步ReID过程，对于同一视频中的物体的匹配逻辑都是固定的。其中第(4)种方式优于前三种方式，是目前多目标追踪过程中普遍采用的技术方案，但是如何在不影响计算效率的前提下，提高匹配精度已成为本领域技术人员亟待解决的技术问题。

发明内容

本发明解决的问题是如何实现高速且高准确率的多目标追踪。

为解决上述问题，本发明提供一种多目标追踪方法，包括：

获取待处理视频图像，所述待处理视频图像包括多个帧图像；

分别对每个帧图像进行目标识别处理以获取每个帧图像中每个目标的位置相关信息和特征信息，至少其中一个帧图像中包括多个目标；

分别对每个帧图像中的每个目标进行分析处理以判断每个目标是否属于特定目标；

当所述目标属于特定目标时，根据特征信息或者同时根据位置相关信息以及特征信息进行再识别处理。

可选地，所述分析处理包括：利用同一帧图像中不同目标之间的位置相关信息来判断当前帧是否属于特定情况；和/或，利用不同帧图像中同一目标之间的位置相关信息来判断所述目标是否属于特定目标。

可选地，所述分析处理包括：分别计算同一帧图像中两两目标之间的重叠面积比例，当所述重叠面积比例大于第一预设值时，则大于第一预设值的所述重叠面积比例对应的两个目标为特定目标。

可选地，第i-1帧图像包括M个目标，第i帧图像包括N个目标，所述分析处理包括：计算第i-1帧图像中每个目标与第i帧图像中每个目标的位置相关信息的差值，当第i帧图像中一目标与第i-1帧图像中M个目标的所述差值均大于第二设定值，则所述目标为特定目标。

可选地，所述方法还包括：分别对每个帧图像进行敏感物体识别，并获取敏感物体的位置相关信息；所述分析处理包括：计算每帧图像中每个目标与所述帧图像中敏感物体的空间距离，将空间距离小于第三预设值对应的所述目标判断为特定目标。

可选地，所述方法还包括：分别对每个帧图像进行敏感物体识别，并获取敏感物体的位置相关信息；所述分析处理包括：计算所述目标与所述帧图像中敏感物体的重叠面积比例，当所述重叠面积比例大于第四预设值时，判断所述目标为特定目标。

可选地，所述方法还包括：当所述目标不属于特定目标时，先根据位置相关信息进行第一次再识别处理，当匹配不成功时，再根据特征信息进行第二次再识别处理。

为解决上述技术问题，本发明还提供了一种人脸识别方法，采用上述方法进行人脸追踪。

为解决上述技术问题，本发明还提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现上述方法的步骤。

为解决上述技术问题，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行如上述方法的步骤。

与现有技术相比，本发明的技术方案具有以下优点：

本发明在目标识别处理之后且在再识别处理之前，增加了对每个帧图像中每个目标进行分析处理以判断每个目标是否属于特定目标的步骤，基于准确性考虑特定目标不适于直接采用位置相关信息进行再识别处理，从而当所述目标属于特定目标时，根据特征信息或者同时根据位置相关信息以及特征信息进行再识别处理，最终实现多目标追踪的高准确率。

进一步，所述分析处理只是根据目标的位置相关信息进行特定目标的判断，从而计算简单，速度较快，同时实现了高准确率和高效率。

进一步，当所述目标不属于特定目标时，先根据位置相关信息进行第一次再识别处理，当匹配不成功时，才根据特征信息进行第二次再识别处理，此时可以让大部分的匹配过程利用位置相关信息X计算，达到省时的效果，当匹配不成功的情况再启用特征信息F能完善匹配精度，达到兼顾计算效率和匹配精度的目的。

附图说明

通过阅读以下结合附图对非限定性实施例的描述，本发明的其它目的、特征和优点将变得更为明显和突出。

图1是本发明实施方式提供的多目标追踪方法的流程示意图；

图2是本发明实施方式提供的多目标追踪装置的结构示意图；

其中，相同或相似的附图标记表示相同或相似的步骤特征/装置(模块)。

具体实施方式

如背景技术部分所述，现有技术的ReID处理逻辑都是固定不变的，在对帧图像进行目标识别处理之后先利用位置相关信息进行第一次ReID，匹配未成功的再启动特征信息进行第二次ReID。由于图像拍摄的时间、地点随机，且光线、角度、姿态不同，再加上物体容易受到检测精度、遮挡等因素的影响，因此此种方式的匹配精度比较低。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

本实施例的方法主要通过计算机设备来实现；所述计算机设备包括但不限于网络设备和用户设备。所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机；所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。所述用户设备包括但不限于PC机、平板电脑、智能手机、PDA、IPTV等。

需要说明的是，所述计算机设备和网络仅为举例，其他现有的或今后可能出现的计算机设备或网络如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

参见图1所示，本实施方式提供了一种多目标追踪方法，具体包括以下步骤：

步骤S1，获取待处理视频图像，所述待处理视频图像包括多个帧图像；

步骤S2，分别对每个帧图像进行目标识别处理以获取每个帧图像中每个目标的位置相关信息和特征信息，至少其中一个帧图像中包括多个目标；

步骤S3，分别对每个帧图像中的每个目标进行分析处理以判断每个目标是否属于特定目标，当所述目标属于特定目标时，执行步骤S4；当所述目标不属于特定目标时，执行步骤S5；

步骤S4，根据特征信息或者同时根据位置相关信息以及特征信息进行再识别处理，执行步骤S8；

步骤S5，先根据位置相关信息进行第一次再识别处理，并执行步骤S6；

步骤S6，判断是否匹配成功，当匹配失败时，执行步骤S7；当匹配成功时，执行步骤S8。

步骤S7，根据特征信息进行第二次再识别处理；

步骤S8，结束。

本发明在目标识别处理之后且在再识别处理之前，增加了对每个帧图像中每个目标进行分析处理以判断每个目标是否属于特定目标的步骤，基于准确性考虑特定目标不适于直接采用位置相关信息进行再识别处理，从而当所述目标属于特定目标时，根据特征信息或者同时根据位置相关信息以及特征信息进行再识别处理，从而实现对视频中不同物体不同情形的动态ReID方案，修正现有技术中匹配准确率低的问题，提升追踪匹配的灵活性和准确率。

首先执行步骤S1，获取待处理视频图像。

所述待处理视频图像可以是实时拍摄的，也可以是预先存储的任意视频图像，且其格式不限定。

所述待处理视频图像包括多个帧图像，每个帧图像对应不同的时刻。

接着执行步骤S2，分别对每个帧图像进行目标识别处理。

本实施例中可以采用R-CNN，Fast R-CNN，Faster R-CNN，R-FCN，YOLO或SSD等方法进行目标识别处理。

作为一个具体例子，可以先识别获得目标类别以及位置信息(即目标在图像上的位置，如：坐标、大小等)，然后通过判断(比如结合多帧图像追踪结果进行判断)获得速度、加速度等其它位置相关信息，并在识别过程中或识别后通过提取处理等获得特征信息。

需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何能够获取帧图像中目标的位置相关信息和特征信息的目标识别处理均应包含在本发明的保护范围内。

所述位置相关信息包括：位置、大小、速度等与目标的位置信息或其倒数等相关的变量，当所述位置相关信息采用不同的变量时，所述目标识别处理可以采用不同的方法。

所述特征信息包括通过神经网络模型提取的物体的特征向量，其也可以包括通过其它方式提取的物体的特征向量，其对于本领域技术人员是熟知的，在此不再赘述。

接着执行步骤S3，分别对每个帧图像中的每个目标进行分析处理以判断每个目标是否属于特定目标。

发明人经过创造性劳动发现：对于特定目标，如果直接采用位置相关信息进行第一次再识别处理，即使匹配不成功时改用特征信息进行第二次再识别处理最终也会导致多目标追踪的准确率非常低，而采用现有的两步ReID处理则可以非常准确地再识别非特定目标。

本发明中的分析处理既可以利用同一帧图像中不同目标之间的位置相关信息来判断当前帧是否属于特定情况，也可以利用不同帧图像中同一目标之间的位置相关信息来判断所述目标是否属于特定目标，还可以结合前述两种方式来判断所述目标是否属于特定目标，其都是利用不同目标之间的位置相关信息来进行判断，由于位置相关信息的计算比较简单，因此速度较快，同时实现了高准确率和高效率。

下面举例进行详细说明。

在第一个例子中，所述分析处理可以包括：分别计算同一帧图像中两两目标之间的重叠面积比例，当所述重叠面积比例大于第一预设值时，则大于第一预设值的所述重叠面积比例对应的两个目标为特定目标。而所述重叠面积比例小于第一预设值时，则小于第一预设值的所述重叠面积比例对应的两个目标为非特定目标。

发明人经过创造性劳动发现：同一时刻的图像中两个物体之间的重叠面积比例太大时，此时根据位置相关信息X会导致对这两个物体的追踪匹配失败，即此时针对的主要是物体之间重叠交错的问题导致的匹配失败。为此，本实施例采用横向比较的方式，即通过对同一时刻图像中两个不同目标之间的位置相关信息—重叠面积比例的计算和判断，来将重叠面积比例太大的两个物体作为特定目标处理，其余则作为非特定目标处理。

由于重叠面积比例的计算和判断计算简单，速度较快，因此同时实现了高准确率和高效率。

需要说明的是，当采用上述方式，一个目标既被判定为特定目标，又被判定为非特定目标时，则该目标最终仍作为特定目标处理。如：当一个目标A与目标B的重叠面积比例大于第一预设值，但目标A与目标C的重叠面积比例小于第一预设值时，则目标A和目标B均为特定目标，而目标C为非特定目标。

需要说明的是，对于所述重叠面积比例等于所述第一预设值的情况，既可以将对应的两个目标判断为特定目标，也可以判断为非特定目标，其都在本发明的保护范围内。

所述两两目标之间的重叠面积比例的具体计算可以采用多种方式，其对于本领域技术人员是熟知的，在此不再赘述。

本实施例中所述第一预设值的取值范围可以包括：0.3-0.8，如：0.3、0.4、0.5、0.55、0.6、0.7或0.8等。所述第一预设值的取值不能太大，否则对位置相关信息X的约束太小，无法在合适的情况下引入特征信息进行再识别，无法凸显算法的优势；所述第一预设值的取值也不能太小，否则对位置相关信息X的约束太大，导致距离比较远的两个物体也需要进行特征信息运算再识别，增加了运算成本。

在第二个例子中，第i-1帧图像包括M个目标，第i帧图像包括N个目标，所述分析处理包括：计算第i-1帧图像中每个目标与第i帧图像中每个目标的位置相关信息的差值，当第i帧图像中一目标与第i-1帧图像中M个目标的所述差值均大于第二设定值，则所述目标为特定目标。其中，i、M和N都是正整数，且M和N的取值不同。

发明人经过创造性劳动发现：在特定应用场景下，比如在视频追踪多人且在人物交错、相遇的情况下，又比如在体育比赛中目标速度和路径的突然转变的情况下，此时根据位置相关信息X匹配很可能出错。为此，本实施例采用纵向比较的方式，即通过对相邻两个不同时刻图像中目标的位置相关信息X的突变，来将突变太大的目标(即当前帧中与前一帧图像中所有目标的位置相关信息的差值均大于第二预设值的目标)作为特定目标处理，其余则作为非特定目标处理。

由于位置相关信息X的差值计算简单，速度较快，因此同时实现了高准确率和高效率。

需要说明的是，当采用上述方式，只有当前帧中目标D与前一帧图像中所有(而非部分)目标的位置相关信息的差值均大于第二预设值时，才将目标D判断为特定目标。

需要进一步说明的是，对于所述差值等于所述第二预设值的情况，既可以采用小于第二预设值的处理方式，也可以采用大于第二预设值的处理方式，其都在本发明的保护范围内。

由于位置相关信息X可以包括多个参数，因此位置相关信息的差值也可以采用多种方式，其都在本发明的保护范围内，如：计算位置、大小、速度等的距离，所述距离既可以是位置绝对距离，或位置矢量的欧氏距离，或位置矢量的余弦距离。

当所述距离为位置矢量的余弦距离(即采用位置信息作为矢量的向量变化夹角余弦距离)时，所述第二预设值的取值范围可以包括0.1-0.35，如：0.1、0.15、0.2、0.25、0.3和0.35等。

当所述距离为位置绝对距离或者所述位置矢量的欧氏距离时，所述第二预设值的取值范围与应用场景直接相关，比如：画面是近景时，目标之间的距离可以比较大，从而第二预设值的取值范围相应增大；画面是远景时，目标之间的距离可以比较小，从而第二预设值的取值范围相应减小。

所述第二预设值的取值不能太大，否则对位置相关信息X的约束太小，起不到作用，无法在合适的时机引入特征信息；所述第二预设值的取值也不能太小，否则对位置信息信息X的约束太大，将以很大概率引入特征信息计算，增加计算成本。

上面两个例子中，都是仅利用相同帧或不同帧中目标之间的位置相关信息来进行特定目标的判断。此外，本实施方式的方法还可以对每个帧图像增加敏感物体识别的步骤，进而结合敏感物体的位置相关信息来进行特定目标的判断，具体参见下面三个例子。

在第三个例子中，所述方法还包括：分别对每个帧图像进行敏感物体识别，并获取敏感物体的位置相关信息；所述分析处理包括：计算每帧图像中每个目标与所述帧图像中敏感物体的空间距离，将空间距离小于第三预设值对应的所述目标判断为特定目标。

所述敏感物体可以包括出入口、障碍物等物体。

发明人经过创造性劳动发现：在某些应用场景下，比如在视频追踪多人目标的情况下，如果摄像头的追踪画面包括一个出入口(如：电梯口、楼栋门口、地铁口等)，经常出现新的人，此时根据位置相关信息X匹配很可能出错。为此，本实施例先识别出敏感物体(如：出入口)，然后计算每个目标与敏感物体的空间距离，如果距离太小，则目标在出入口一定范围内出现，则不能依靠位置相关信息X进行判断，即将与敏感物体的空间距离太小的目标判定为特定目标。

由于在识别目标的同时可以识别敏感物体，而空间距离的计算又很简单，速度较快，因此同时实现了高准确率和高效率。

所述空间距离既可以是位置绝对距离，或位置矢量的欧氏距离，或位置矢量的余弦距离。需要说明的是，对于所述空间距离等于所述第三预设值的情况，既可以采用小于第三预设值的处理方式，也可以采用大于第三预设值的处理方式，其都在本发明的保护范围内。

由于位置相关信息X可以包括多个参数，因此位置相关信息的差值也可以采用多种方式，其都在本发明的保护范围内，如：计算位置、大小、速度等的距离，所述距离既可以是位置绝对距离，或位置矢量的欧氏距离，或位置矢量的余弦距离。

当所述距离为位置矢量的余弦距离(即采用位置信息作为矢量的向量变化夹角余弦距离)时，所述第三预设值的取值范围可以包括0.1-0.35，如：0.1、0.15、0.2、0.25、0.3和0.35等。

当所述距离为位置绝对距离或者所述位置矢量的欧氏距离时，所述第三预设值的取值范围与应用场景直接相关，比如：画面是近景时，目标之间的距离可以比较大，从而第三预设值的取值范围相应增大；画面是远景时，目标之间的距离可以比较小，从而第三预设值的取值范围相应减小。

所述第三预设值的取值不能太大，否则对位置相关信息X的约束太小，起不到作用，无法在合适的时机引入特征信息；所述第三预设值的取值也不能太小，否则对位置信息信息X的约束太大，将以很大概率引入特征信息计算，增加计算成本。请注意，所述第三预设值的具体取值可以与所述第二预设值的取值相同，也可以不同，其不限制本发明的保护范围。

需要说明的是，所述敏感物体的位置可以是通过检测算法自动输出的，也可以是手动标注的，比如：一个固定摄像头的监控，其面对的障碍物可能是固定的，此时手动标注效果更好。

在第四个例子中，所述方法还包括：分别对每个帧图像进行敏感物体识别，并获取敏感物体的位置相关信息；所述分析处理包括：计算所述目标与所述帧图像中敏感物体的重叠面积比例，当所述重叠面积比例大于第四预设值时，判断所述目标为特定目标。

发明人经过创造性劳动发现：在某些应用场景下，比如在视频追踪多人目标的情况下，如果有一个敏感物体(如：障碍物)会阻挡目标的特征，此时根据位置相关信息X匹配很可能出错。为此，本实施例先识别出敏感物体，然后计算每个目标与敏感物体的重叠面积比例，如果比例太大，则目标的一定比例被障碍物遮挡，此时不能依靠位置相关信息X进行判断，即将与敏感物体的重叠面积比例太大的目标判定为特定目标。

由于在识别目标的同时可以识别敏感物体，而重叠面积比例的计算又很简单，速度较快，因此同时实现了高准确率和高效率。

需要说明的是，对于所述重叠面积比例等于所述第四预设值的情况，既可以采用小于第四预设值的处理方式，也可以采用大于第四预设值的处理方式，其都在本发明的保护范围内。

所述第四预设值的取值范围可以包括：0.3-0.8，如：0.3、0.4、0.5、0.55、0.6、0.7或0.8等。所述第四预设值的取值不能太大，否则对位置相关信息X的约束太小，无法在合适的情况下引入特征信息进行再识别，无法凸显算法的优势；所述第四预设值的取值也不能太小，否则对位置相关信息X的约束太大，导致距离比较远的两个物体也需要进行特征信息运算再识别，增加了运算成本。

请注意，所述第四预设值的具体取值可以与所述第一预设值的取值相同，也可以不同，其不限制本发明的保护范围。

需要说明的是，所述敏感物体的位置可以是通过检测算法自动输出的，也可以是手动标注的。

需要说明的是，本发明还可以将上述四个例子的处理方式任两个、任三个甚至四个结合进行使用，其都在本发明的保护范围之中，如下面第五个例子。

第五个例子，其结合第三个例子和第四个例子，所述方法还包括：分别对每个帧图像进行敏感物体识别，并获取敏感物体的位置相关信息；所述分析处理包括：计算每帧图像中每个目标与所述帧图像中敏感物体的空间距离，将空间距离小于第三预设值对应的所述目标判断为特定目标；对于空间距离大于第三预设值对应的所述目标，计算其与所述帧图像中敏感物体的重叠面积比例，当所述重叠面积比例大于第四预设值时，判断所述目标为特定目标；将所述空间距离大于第三预设值且所述重叠面积比例小于第四预设值的目标判断为非特定目标。

此时更符合实际应用场景，而且同样计算简单，速度较快，因此同时实现了高准确率和高效率。

第五个例子的具体处理过程可以参考第三个例子和第四个例子的具体处理过程，在此不再赘述。

至此，可以明确判断出每帧图像中每个目标是特定目标或者是非特定目标(即不属于特定目标)。

对于特定目标，接着执行步骤S4，根据特征信息F或者同时根据位置相关信息以及特征信息进行再识别处理。

当仅根据特征信息F进行再识别处理时，具体可以采用以下方法：通过神经网络提取目标物体的特征向量，与上一帧(或者上n帧)中所有(或部分)追踪目标的特征向量匹配，计算相似度或距离(欧氏距离或余弦距离)，得到cost matrix，利用cost matrix匹配方法可以利用匈牙利算法或其他相似算法其具体再识别处理的过程对于本领域技术人员是熟知的，在此不再赘述。

当同时根据位置相关信息以及特征信息进行再识别处理时，可以通过一定权重λ混合两个参数来构建成本矩阵：X+λF，λ大于0，具体可以采用以下方法：……，其具体再识别处理的过程对于本领域技术人员是熟知的，在此不再赘述。

对于非特定目标，后续依次执行以下步骤：先根据位置相关信息进行第一次再识别处理，并判断是否匹配成功，当匹配失败时，根据特征信息进行第二次再识别处理。

所述第一次再识别处理具体可以采用以下方法：利用探测物体的空间位置和前n帧的追踪结果预测得到的位置的速度进行再识别，如SORT算法其具体再识别处理的过程对于本领域技术人员是熟知的，在此不再赘述。

所述第二次再识别处理具体可以采用以下方法：利用神经网络提取目标物体的特征，与上一帧(或者上n帧)中所有(或部分)追踪目标的特征向量匹配，计算相似度或距离(欧氏距离或余弦距离)，得到cost matrix，利用cost matrix匹配方法可以利用匈牙利算法或其他相似算法(具体如DeepSORT算法中的部分操作)，其具体再识别处理的过程对于本领域技术人员也是熟知的，在此不再赘述。

当执行步骤S4之后、步骤S6匹配成功之后以及步骤S7之后，均执行步骤S8，结束。

需要注意的是，步骤S8中的结束指的是再识别处理的结束，后续根据多目标追踪方法的需要继续执行再识别处理后的其它步骤，其与现有技术相同，在此不再赘述。

需要特别说明的是，对于非特定目标的再识别处理还可以采用其它的方法实现，本发明仅对特定目标的判断以及再识别处理进行限定，而对非特定目标的再识别处理不作任何限制。

本方法在ReID处理中，根据视觉图像的位置相关信息，实现动态调整和平衡位置相关信息和特性信息的使用，从而实现高速计算与高准确率的匹配过程，具体体现如下：

1)实现了不同det在ReID过程中动态逻辑的切换，主要体现在两点：追踪视野的变化和det的位置变化。也就是说，根据场景和det的位置变化自动实现ReID逻辑的动态调整，实现追踪算法速度和准确率的折中；

2)只根据位置相关信息X的计算和匹配计算消耗小，新增步骤不会引入额外的计算量；

3)可以根据位置相关信息判断有risk的情况，直接选择适合的匹配计算分类来提高精度跳转的情况可以有各个预设值等来调整，从而实现速度和准确率的折中；

4)位置信息的判断可以分2个种情况分别进行，或者两者有机的结合：

第一种，det与det的位置、速度情况；

第二种，det与全局位置：比如det与图像中固定障碍物的相对距离。

本实施方式还提供了一种人脸识别方法，其采用上面多目标追踪方法进行多人脸追踪，具体包括以下步骤：

获取待处理视频图像，所述待处理视频图像包括多个帧图像；

分别对每个帧图像进行人脸识别处理以获取每个帧图像中每个人脸的位置相关信息和特征信息，至少其中一个帧图像中包括多个人脸；

分别对每个帧图像中的每个人脸进行分析处理以判断每个人脸是否属于特定人脸；

当所述目标属于特定人脸时，根据特征信息或者同时根据位置相关信息以及特征信息进行再识别处理。

各个步骤的具体实现方式请参考上面的多目标追踪方法的对应步骤，在此不再赘述。

本方法可以同时实现人脸识别的高准确率和高效率。

本实施方式还提供了一种智能问答方法，其采用上述人脸识别方法进行用户识别，从而可以直接提取识别出的用户的历史信息和/或属性信息，以结合用户的历史信息和/或属性信息为用户提供答案。

本方法可以准确高效地对用户进行自动识别，且在后续提供答案时结合识别到的用户的历史信息和/或属性信息，从而答案更符合用户需要。

参考图2所示，本实施方式还提供了一种多目标追踪装置，包括：

图像提供模块10，用于获取待处理视频图像，所述待处理视频图像包括多个帧图像；

目标识别处理模块30，用于分别对每个帧图像进行目标识别处理以获取每个帧图像中每个目标的位置相关信息和特征信息，至少其中一个帧图像中包括多个目标；

分析处理模块50，用于分别对每个帧图像中的每个目标进行分析处理以判断每个目标是否属于特定目标；

再识别处理模块70，用于当所述目标属于特定目标时，根据特征信息或者同时根据位置相关信息以及特征信息进行再识别处理。

其中，所述分析处理模块50可以利用同一帧图像中不同目标之间的位置相关信息来判断当前帧是否属于特定情况；和/或，可以利用不同帧图像中同一目标之间的位置相关信息来判断所述目标是否属于特定目标。

作为一个例子，所述分析处理模块50可以包括：

重叠面积比例计算单元，用于分别计算同一帧图像中两两目标之间的重叠面积比例；

判断单元，用于当所述重叠面积比例大于第一预设值时，则大于第一预设值的所述重叠面积比例对应的两个目标为特定目标。

此时可以参考上述方法中的第一个例子，在此不再赘述。

作为另一个例子，第i-1帧图像包括M个目标，第i帧图像包括N个目标，所述分析处理模块50可以包括：

差值计算单元，用于计算第i-1帧图像中每个目标与第i帧图像中每个目标的位置相关信息的差值；

判断单元，用于当第i帧图像中一目标与第i-1帧图像中M个目标的所述差值均大于第二设定值，则所述目标为特定目标。

此时可以参考上述方法中的第二个例子，在此不再赘述。

再一个例子中，所述装置还包括：敏感物体识别模块(图中未示出)，用于分别对每个帧图像进行敏感物体识别，并获取敏感物体的位置相关信息；所述分析处理模块50可以包括：

空间距离计算单元，用于计算每帧图像中每个目标与所述帧图像中敏感物体的空间距离；

判断单元，用于将空间距离小于第三预设值对应的所述目标判断为特定目标。

此时可以参考上述方法中的第三个例子，在此不再赘述。

另一个例子中，所述装置还包括：敏感物体识别模块(图中未示出)，用于分别对每个帧图像进行敏感物体识别，并获取敏感物体的位置相关信息；所述分析处理模块50可以包括：

重叠面积比例单元，用于计算所述目标与所述帧图像中敏感物体的重叠面积比例；

判断单元，用于当所述重叠面积比例大于第四预设值时，判断所述目标为特定目标。

此时可以参考上述方法中的第四个例子，在此不再赘述。

作为一个优选例子，所述装置还包括：敏感物体识别模块(图中未示出)，用于分别对每个帧图像进行敏感物体识别，并获取敏感物体的位置相关信息；所述分析处理模块50可以包括：

空间距离计算单元，用于计算每帧图像中每个目标与所述帧图像中敏感物体的空间距离；

重叠面积比例计算单元，用于对于空间距离大于第三预设值对应的所述目标，计算其与所述帧图像中敏感物体的重叠面积比例；

判断单元，用于将空间距离小于第三预设值对应的所述目标判断为特定目标，且当所述重叠面积比例大于第四预设值时，判断所述目标为特定目标；将所述空间距离大于第三预设值且所述重叠面积比例小于第四预设值的目标判断为非特定目标。

此时可以参考上述方法中的第五个例子，在此不再赘述。

此外，所述装置还可以包括：

位置相关信息再识别处理模块(图中未示出)，用于当所述目标不属于特定目标时，根据位置相关信息进行第一次再识别处理；

匹配判断模块(图中未示出)，用于判断第一次再识别处理的结果是否匹配成功；

特征信息处理模块(图中未示出)，用于当匹配不成功时，根据特征信息进行第二次再识别处理。

本装置的具体工作过程请参考上述对应的方法，在此不再重复。

本实施方式还提供一种人脸识别装置，其包括上述多目标追踪装置。

本实施方式还提供一种机器人，至少用于智能问答，其包括上述多目标追踪装置。

本实施方式还提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现上述方法的步骤。

本发明实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、只读存储器(Read OnlyMemory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、无线电频率(RadioFrequency，RF)等等，或者上述的任意合适的组合。

本实施方式还提供了一种计算机设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述所述方法的步骤。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

应当理解，虽然以上描述了本发明实施方式的一种实现形式可以是计算机程序产品，但是本发明的实施方式的方法或装置可以被依软件、硬件、或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的方法和设备可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的方法和装置可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

应当理解，尽管在上文的详细描述中提及了装置的若干模块或单元，但是这种划分仅仅是示例性而非强制性的。实际上，根据本发明的示例性实施方式，上文描述的两个或更多模块/单元的特征和功能可以在一个模块/单元中实现，反之，上文描述的一个模块/单元的特征和功能可以进一步划分为由多个模块/单元来实现。此外，上文描述的某些模块/单元在某些应用场景下可被省略。

应当理解，为了不模糊本发明的实施方式，说明书仅对一些关键、未必必要的技术和特征进行了描述，而可能未对一些本领域技术人员能够实现的特征做出说明。

任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与

修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (10)

1.一种多目标追踪方法，其特征在于，包括：

获取待处理视频图像，所述待处理视频图像包括多个帧图像；

分别对每个帧图像进行目标识别处理以获取每个帧图像中每个目标的位置相关信息和特征信息，至少其中一个帧图像中包括多个目标；

分别对每个帧图像中的每个目标进行分析处理以判断每个目标是否属于特定目标；

当所述目标属于特定目标时，根据特征信息或者同时根据位置相关信息以及特征信息进行再识别处理。

2.如权利要求1所述的方法，其特征在于，所述分析处理包括：利用同一帧图像中不同目标之间的位置相关信息来判断当前帧是否属于特定情况；和/或，利用不同帧图像中同一目标之间的位置相关信息来判断所述目标是否属于特定目标。

3.如权利要求2所述的方法，其特征在于，所述分析处理包括：分别计算同一帧图像中两两目标之间的重叠面积比例，当所述重叠面积比例大于第一预设值时，则大于第一预设值的所述重叠面积比例对应的两个目标为特定目标。

4.如权利要求2所述的方法，其特征在于，第i-1帧图像包括M个目标，第i帧图像包括N个目标，所述分析处理包括：计算第i-1帧图像中每个目标与第i帧图像中每个目标的位置相关信息的差值，当第i帧图像中一目标与第i-1帧图像中M个目标的所述差值均大于第二设定值，则所述目标为特定目标。

5.如权利要求1所述的方法，其特征在于，所述方法还包括：分别对每个帧图像进行敏感物体识别，并获取敏感物体的位置相关信息；所述分析处理包括：计算每帧图像中每个目标与所述帧图像中敏感物体的空间距离，将空间距离小于第三预设值对应的所述目标判断为特定目标。

6.如权利要求1所述的方法，其特征在于，所述方法还包括：分别对每个帧图像进行敏感物体识别，并获取敏感物体的位置相关信息；所述分析处理包括：计算所述目标与所述帧图像中敏感物体的重叠面积比例，当所述重叠面积比例大于第四预设值时，判断所述目标为特定目标。

7.如权利要求1所述的方法，其特征在于，所述方法还包括：当所述目标不属于特定目标时，先根据位置相关信息进行第一次再识别处理，当匹配不成功时，再根据特征信息进行第二次再识别处理。

8.一种人脸识别方法，其特征在于，采用如权利要求1-7中任一项所述的方法进行人脸追踪。

9.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时实现如权利要求1-8中任一项所述方法的步骤。

10.一种计算机设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1-8任一项所述方法的步骤。

Images