CN109977823A - 行人识别跟踪方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请提出一种行人识别跟踪方法、装置、计算机设备和存储介质，其中，方法包括：对摄像组件采集的图像进行行人重识别特征检测，确定图像中包括的各行人分别对应的各特征向量；判断每个行人对应的特征向量是否与特征库中任一特征向量匹配；若第一特征向量与特征库中的第二特征向量间的匹配度大于或等于阈值，则根据采集图像的摄像组件的位置及图像的第一采集时刻，对第二特征向量对应的行人的轨迹进行更新。该方法利用行人的特征向量对行人进行跟踪，大大提高了跟踪的稳定性和可靠性。

Description

行人识别跟踪方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种行人识别跟踪方法、装置、计算机设备和存储介质。

背景技术

在无人便利店、商场等监控环境下，往往需要对行人的身份和行为进行跟踪识别。目前，通常通过人脸检测算法识别行人身份，用一个跟踪器来持续跟踪目标的位置，直到行人走出监控画面为止。

但是，由于行人的脸部图像获取时，极易受外界坏境影响，比如行人背对摄像头或者脸部被遮挡，从而导致利用人脸特征进行行人跟踪的方式，很难保证跟踪的稳定性和可靠性。

发明内容

本申请提出一种行人识别跟踪方法、装置、计算机设备和存储介质，用于解决相关技术中利用人脸特征对行人进行跟踪的方法，存在稳定性和可靠性差的问题。

本申请一方面实施例提出了一种行人识别跟踪方法，包括：

对摄像组件采集的图像进行行人重识别特征检测，确定所述图像中包括的各行人分别对应的各特征向量；

判断每个行人对应的特征向量是否与特征库中任一特征向量匹配；

若第一特征向量与所述特征库中的第二特征向量间的匹配度大于或等于阈值，则根据采集所述图像的摄像组件的位置及所述图像的第一采集时刻，对第二特征向量对应的行人的轨迹进行更新。

本申请实施例的行人识别跟踪方法，通过对摄像组件采集的图像进行行人重识别特征检测，确定图像中包括的各行人分别对应的各特征向量，判断每个行人对应的特征向量是否与特征库中任一特征向量匹配，若第一特征向量与特征库中的第二特征向量间的匹配度大于或等于阈值，则根据采集所述图像的摄像组件的位置及图像的第一采集时刻，对第二特征向量对应的行人的轨迹进行更新，由此利用行人的特征向量对行人进行跟踪，大大提高了跟踪的稳定性和可靠性。

本申请另一方面实施例提出了一种行人识别跟踪装置，包括：

第一确定模块，用于对摄像组件采集的图像进行行人重识别特征检测，确定所述图像中包括的各行人分别对应的各特征向量；

判断模块，用于判断每个行人对应的特征向量是否与特征库中任一特征向量匹配；

更新模块，用于当第一特征向量与所述特征库中的第二特征向量间的匹配度大于或等于阈值时，根据采集所述图像的摄像组件的位置及所述图像的第一采集时刻，对第二特征向量对应的行人的轨迹进行更新。

本申请实施例的行人识别跟踪装置，通过对摄像组件采集的图像进行行人重识别特征检测，确定图像中包括的各行人分别对应的各特征向量，判断每个行人对应的特征向量是否与特征库中任一特征向量匹配，若第一特征向量与特征库中的第二特征向量间的匹配度大于或等于阈值，则根据采集所述图像的摄像组件的位置及图像的第一采集时刻，对第二特征向量对应的行人的轨迹进行更新，由此利用行人的特征向量对行人进行跟踪，大大提高了跟踪的稳定性和可靠性。

本申请另一方面实施例提出了一种计算机设备，包括处理器和存储器；

其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如上述一方面实施例所述的行人识别跟踪方法。

本申请另一方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述一方面实施例所述的行人识别跟踪方法。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例提供的一种行人识别跟踪方法的流程示意图；

图2为本申请实施例提供的另一种行人识别跟踪方法的流程示意图；

图3为本申请实施例提供的又一种行人识别跟踪方法的流程示意图；

图4为本申请实施例提供的一种确定图像中包括的各行人分别对应的各特征向量的方法的流程示意图；

图5为本申请实施例提供的一种确定每个行人对应的局部特征向量的方法的流程示意图；

图6为本申请实施例提供的另一种确定图像中包括的各行人分别对应的各特征向量的方法的流程示意图；

图7为本申请实施例提供的一种利用预设的网络模型进行行人重识别特征检测的过程示意图；

图8为本申请实施例提供的一种获取预设的网络模型的方法的流程示意图；

图9为本申请实施例提供的一种行人识别跟踪装置的结构示意图；

图10示出了适于用来实现本申请实施方式的示例性计算机设备的框图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的行人识别跟踪方法、装置、计算机设备和存储介质。

本申请实施例针对相关技术中，利用人脸特征对行人进行跟踪的方法，由于人脸图像的采集极易受到外界的影响，使得跟踪的稳定性和可靠性差的问题，提出一种行人识别跟踪方法。

图1为本申请实施例提供的一种行人识别跟踪方法的流程示意图。

如图1所示，该行人识别跟踪方法包括：

步骤101，对摄像组件采集的图像进行行人重识别特征检测，确定图像中包括的各行人分别对应的各特征向量。

本实施例中，在监控区域内布置多个摄像组件，例如在无人商店中布置多个摄像头，并记录每个摄像组件的在监控区域中的位置信息，利用摄像组件采集监控范围内的行人的图像。针对每个摄像组件，对摄像组件采集的图像进行人体检测，如果检测到行人，则对包含行人的图像进行行人重识别特征检测，确定图像中包括的各行人分别对应的各特征向量。

其中，特征向量用于表征行人的特征，如全局特征和局部特征，其中，全局特征用于描述行人的整体信息，局部特征用于描述行人的某部分的特征，即细节信息，如人脸特征等。

可以理解的是，摄像组件采集的图像中包含行人时，可能包含一个行人，也可能包含多个行人。当包含一个行人时，对图像进行行人重识别特征检测，获取该行人对应的特征向量。当包含多个行人时，分别对每个行人所在图像区域进行行人重识别特征检测，获取每个行人对应的特征向量。

步骤102，判断每个行人对应的特征向量是否与特征库中任一特征向量匹配。

本实施例中，设置有一特征库，特征库用于存储监控区域内行人对应的特征向量。在获取图像中各行人对应的特征向量后，将每个行人对应的特征向量与特征库中的特征向量进行比较。具体地，可计算每个行人对应的特征向量与特征库中的特征向量之间的距离，如欧式距离、曼哈顿距离等，利用距离衡量特征向量之间的匹配度，距离越大说明两特征向量的匹配度越小。

步骤103，若第一特征向量与特征库中的第二特征向量间的匹配度大于或等于阈值，则根据采集图像的摄像组件的位置及图像的第一采集时刻，对第二特征向量对应的行人的轨迹进行更新。

本实施例中，若第一特征向量与特征库中的第二特征向量间的匹配度大于或等于阈值，可以认为第一特征向量对应的行人是重新出现，那么可根据采集图像的摄像组件的位置，确定行人的位置所属的区域，然后记录采集图像的时间和行人出现的区域，或者确定行人的位置，记录采集图像的时间和行人的位置。这里的区域是指布置有摄像组件的地理区域，例如商店的各类商品区域等。

例如，在某无人商店内，行人A当前的轨迹为12：01分进入店内、12点05分出现在水果区域，12点20出现在蔬菜区域，若通过12点30分米粮区域一摄像头采集图像中人的特征向量，确定图像中该人的特征向量与特征库中行人A的特征向量匹配，则行人A的轨迹更新为12：01分进入店、12点05分出现在水果区域、12点20出现在蔬菜区域、12点30出现在米粮区域。

在本申请的一个实施例中，若第三特征向量与特征库中所有特征向量间的匹配度均小于阈值，可以认为第三特征向量对应的行人之前未被检测到，则将第三特征向量加入特征库中，并启动与第三特征向量对应的行人对应的跟踪线程。

进一步地，在将第三特征向量加入特征库中之前，还可根据记录的各摄像组件的位置信息，确定采集当前检测的图像的摄像组件的位置，若确定采集图像的摄像组件的位置为监控区域的入口位置，即图像是入口处的摄像组件采集的图像，可以确定第三特征向量对应的行人是新进来的行人，则将第三特征向量加入特征库，并启动该行人对应的跟踪线程，以对该行人进行跟踪。

在实际应用中，可能由于拍摄角度、拍摄距离等因素，对跟踪的行人，根据某时刻摄像组件采集的图像获取的该行人对应的特征向量，与特征库中的每个特征向量之间的匹配度可能会均小于阈值，从而出现跟踪的行人在某时刻突然消失的情况。

基于此，在本申请的一个实施例中，若第三特征向量与特征库中所有特征向量间的匹配度均小于阈值，且图像的摄像组件为监控区域的非入口位置，可对第三特征向量进行修正。下面结合图2进行说明，图2为本申请实施例提供的另一种行人识别跟踪方法的流程示意图。

如图2所示，该行人识别跟踪方法包括：

步骤201，对摄像组件采集的图像进行行人重识别特征检测，确定图像中包括的各行人分别对应的各特征向量。

步骤202，判断每个行人对应的特征向量是否与特征库中任一特征向量匹配。

本实施例中，步骤201-步骤202与上述步骤101-步骤102类似，故在此不再赘述。

步骤203，若第三特征向量与特征库中所有特征向量间的匹配度均小于阈值，且图像的摄像组件的位置为监控区域的非入口位置，根据采集图像的摄像组件的位置及其他各摄像组件的设置位置，确定参考摄像组件。

本实施例中，若第三特征向量与特征库中所有特征向量间的匹配度均小于阈值，且图像的摄像组件的位置为监控区域的非入口位置，说明第三特征向量对应的行人不是新进的行人。

由于行人的移动是连续性的，该摄像组件周边的其他摄像组件可能也采集到该行人的图像，那么第三特征向量必然与其周边的摄像组件采集的图像中行人对应的特征向量有关，因此可将采集图像的摄像组件的位置的预设范围内的其他摄像组件，作为参考摄像组件。

其中，参考摄像组件可以是一个，也可以是多个。

步骤204，根据参考摄像组件在第二采集时刻采集的图像中包含的各行人分别对应的参考特征向量，对第三特征向量进行修正。

其中，第二采集时刻是第一采集时刻相邻的前一时刻。

本实施例中，获取参考摄像组件在第二采集时刻采集的图像中包含的各行人对应的参考特征向量，将第三特征向量分别与参考特征向量进行比较，可将匹配度最高的参考特征向量，作为第三特征向量，以修正第三特征向量。

若参考摄像组件有多个，可将第三特征向量与所有参考组件在第二采集时刻采集的图像中包含的各行人对应的参考特征向量进行比较，将匹配度最高的参考特征向量，代替第三特征向量，即将匹配度最高的参考特征向量作为第三参考向量。

或者，根据匹配度最高的参考特征向量和第三特征向量，对第三特征向量进行修正。例如，将匹配度最高的特征向量与第三特征向量进行相加，并将相加得到的向量中每个元素除以0.5，将得到的特征向量，作为修正后第三特征向量。

在获取修正后的第三特征向量，将修正后的第三特征向量，再与特征库中的特征向量进行比较，以判断修正后的第三特征向量是否与特征库中任一特征向量匹配，以判断第三特征向量对应的行人是否已经存在特征库中。

在实际应用中，若第三特征向量与特征库中所有特征向量间的匹配度均小于阈值，说明第三特征向量对应的行人没有在特征库中，那么正常情况下应该启动该行人对应的跟踪线程进行跟踪。由于图像的摄像组件的位置为监控区域的非入口位置，在开启跟踪线程的同时必然会有历史跟踪的行人的轨迹在第一采样时刻突然消失了。对此，本申请实施例中，若图像的摄像组件的位置为监控区域的非入口位置，在第三特征向量与特征库中所有特征向量间的匹配度均小于阈值后，通过确定摄像装置的参考摄像组件，根据参考摄像组件在相邻的前一时刻采集的图像中各行人对应的特征向量，修正第三特征向量，实现对跟踪进行纠正，通过回溯避免了上述情况的发生，保证了跟踪的连续性，进一步提高了跟踪的稳定性和可靠性。

在实际应用中，比如商场中，由于行人较多，摄像组件采集的图像中可能会包含多个行人，为了获取每个行人对应的特征向量，在对摄像组件采集的图像进行行人重识别特征检测之前，可先根据图像中的行人对图像进行分割。下面结合图3进行说明，图3为本申请实施例提供的又一种行人识别跟踪方法的流程示意图。

在对摄像组件采集的图像进行行人重识别特征检测之前，如图3所示，该行人识别跟踪方法还包括：

步骤301，对摄像组件采集的图像进行行人识别，以确定图像中各行人所在位置。

当摄像组件采集到图像后，利用人体检测方法检测对图像中是否存在行人，若存在，则确定图像中每个行人在图像中的位置。

步骤302，根据每个行人所在的位置，将图像进行分割处理，以获取每个行人所在的局部图像。

本实施例中，根据每个行人在图像中所在的位置，确定每个行人在图像中所在的区域，然后根据每个行人在图像中所在区域，将图像进行分割处理，得到每个行人所在的局部图像。或者，根据每个行人在图像中的位置和轮廓，对图像进行分割处理。可见，每个局部图像中包含有一个行人。

例如，经过识别确定图像中有两个人，则根据这两个人在图像中的位置，对图像进行分割，得到两张分别包含两人的局部图像。

步骤303，对每个行人所在的局部图像进行行人重识别特征检测。

在对图像进行分割后，针对每张局部图像，进行行人重识别特征检测，从而可以获得每张局部图像中行人对应的特征向量，由此，可以得到摄像组件采集的图像中各个行人对应的特征向量。

本申请实施例的行人识别跟踪方法，当摄像组件采集的图像中包含多个行人时，可根据图像中每个行人的位置，对图像进行分割，得到仅包含一个行人的多个局部图像，然后对每个局部图像进行行人重识别特征检测，得到每个行人对应的特征向量，由此，通过分割图像利用局部图像获取行人的特性向量，可以避免在获取特征向量时行人之间的干扰，提高了获取的行人对应的特征向量的准确性。

相关技术中，在进行行人识别和跟踪时，主要通过人脸特征进行跟踪，人脸特征是行人的一个局部特征，由于人脸图像采集极易受到外界影响，因此，得到行人的人脸特征的准确性和可靠性较差。在本申请的一个实施例中，可提取每个行人的全局特征向量和局部特征向量，基于全局特征向量和局部特征向量，获取行人对应的特征向量。下面结合图4进行说明，图4为本申请实施例提供的一种确定图像中包括的各行人分别对应的各特征向量的方法的流程示意图。

如图4所示，上述确定图像中包括的各行人分别对应的各特征向量的方法包括：

步骤401，对每个行人所在的局部图像进行特征提取，确定每个行人对应的底层特征。

本实施例中，可利用卷积神经网络对每个行人所在的局部图像进行特征提取，获取每个行人的对应的底层特征。其中，底层特征包括但不限于颜色特征、形状特征、纹理特征、人脸特征、指纹特征、虹膜特征等等。

步骤402，对每个行人对应的底层特征进行全局特征识别处理，确定每个行人对应的全局特征向量。

在每个行人对应的获取底层特征后，也可通过神经网络模型对底层特征进行全局特征识别处理，得到每个行人的对应的全局特征向量。

其中，全局特征包括颜色特征、形状特征、纹理特征等。其中，颜色特征描述了图像中行人的表面属性，通常是基于像素点的特征，颜色特征包括颜色直方图和分布特征(主要指图像的颜色和灰度分布)；形状特征是比较容易用于描述图像中的行人，可通过图像的二值图像获取行人的形状图特征；纹理特征是一种不依赖于颜色特征的反映图像中同质物体的底层特征，可在包含多个像素点的区域中进行统计计算，行人对应的纹理特征包含图像中行人表面的结构组织排列和与周围环境的关系。

本实施例中，在获取每个行人对应的底层特征后，对底层特征进行全局特征识别处理，可获取行人对应的全局特征向量，根据行人对应的全局特征向量，全局特征向量表征了行人的整体信息。

步骤403，对每个行人对应的底层特征进行局部特征识别处理，确定每个行人对应的局部特征向量。

在对每个行人对应的底层特征进行全局特征识别处理的同时，也可通过相应的神经网络对底层特征进行局部特征的识别处理，确定行人对应的局部特征向量。其中，局部特征是基于图像的某个区域提取的图像描述符，如尺度不变特征(Scale Invariant FeatureTransform，SIFT)，局部特征的区分力强。

在具体实现时，可将每个局部图像分割为不同的区域，按照分割方式对底层特征进行局部特征识别处理，得到每个行人对应的多个局部子特征向量。例如，将局部图像中的行人按照水平方向分割为5部分，那么对底层特征进行识别处理后，可得到行人对应的5个局部子特征向量，5个局部子特征向量进行拼接，得到行人对应的局部特征向量。

本实施例中，通过对每个行人对应的底层特征进行局部特征识别处理，可以得到每个行人对应的局部特征向量，即获取图像中每个行人的细节信息。

步骤404，根据每个行人对应的全局特征向量及局部特征向量，确定每个行人对应的特征向量。

本实施例中，对每个行人对应的底层特征分别进行全局特征识别处理和局部特征识别处理，得到每个行人对应的全局特征向量和局部特征向量，将每个行人对应的全局特征向量和局部特征向量进行拼接，拼接后的向量作为该行人对应的特征向量。由此，可以得到图像中各个行人对应的特征向量。

本申请实施例中，通过对每个局部图像进行特征提取，得到每个行人对应的底层特征，通过将提取的每个行人对应的底层特征分别进行全局特征识别处理和局部特征识别处理，得到每个行人对应的全局特征向量和局部特征特征向量，根据全局特征向量和局部特征特征向量，确定每个行人对应的特征向量，使得最终得到的图像中每个行人对应的特征向量能覆盖到行人的整体信息和细节信息，从而提高了行人特征向量的准确性和可靠性。

在本申请的一个实施例中，在根据底层特征确定行人对应的局部特征向量时，可通过如图5所示的方法获取。图5为本申请实施例提供的一种确定每个行人对应的局部特征向量的方法的流程示意图。

如图5所示，上述对每个行人对应的底层特征进行局部特征识别处理，确定每个行人对应的局部特征向量，包括：

步骤501，采用预设的分割模式，对每个行人对应的底层特征进行局部特征识别处理，确定每个行人对应的N个局部子特征向量。

本实施例中，可采用预设的分割模式，对每个行人对应的底层特征进行局部特征识别处理。其中，预设的分割模式是指对图像进行分割的方式，例如，在行方向上将局部图像等分为N个子图像，或者在列方向上将局部图像等分为N个子图像。若将局部图像分为N个子图像，那么每个行人对应的对底层特征进行局部特征识别处理，可以得到每个子图像对应的局部子特征向量，即获取局部图像中行人对应的N个局部子特征向量。

步骤502，将每个行人对应的N个局部子特征向量进行拼接处理，确定每个行人对应的局部特征向量。

在获取N个局部子特征向量后，将N个局部子特征向量进行拼接，拼接后的向量作为行人对应的局部特征向量。

通过上述方式获取每个行人对应的局部特征向量后，将每个行人对应的全局特征向量和局部特征向量进行拼接，得到图像中每个行人对应的特征向量。

本申请实施例中，在获取每个行人对应的局部特征向量时，通过预设的分割模式对局部图像进行分割，可以获取与分割后的子图像数量相同的局部子特征向量，由此，可以通过灵活设定分割模式，得到每个行人对应的局部特征向量。

在本申请的一个实施例中，可以采用多种分割模式对图像进行分割，得到多种分割模式对应的局部特征向量，进而得到每个行人对应的多个特征向量。图6为本申请实施例提供的另一种确定图像中包括的各行人分别对应的各特征向量的方法的流程示意图。

如图6所示，该确定图像中包括的各行人分别对应的各特征向量的方法包括：

步骤601，对每个行人所在的局部图像进行特征提取，确定每个行人对应的底层特征。

步骤602，对每个行人对应的底层特征进行全局特征识别处理，确定每个行人对应的全局特征向量。

本实施例中，步骤601-步骤602，与上述步骤401-步骤402类似，故在此不再赘述。

步骤603，采用至少两种分割模式，对每个行人对应的底层特征进行局部特征识别处理，确定每个行人对应的至少两个局部特征向量。

本实施例中，可预设至少两种分割模式，利用至少两种分割模式对每个行人所在的局部图像进行分割，然后分别利用每种分割模式，对每个行人对应的底层特征进行局部识别处理，得到每种分割模式下每个行人对应的局部特征向量。

步骤604，根据每个行人对应的至少两个局部特征向量及行人对应的全局特征向量，确定每个行人对应的至少两个特征向量。

本实施例中，将每个行人对应的至少两个局部特征向量中的每个局部特征向量，与每个行人对应的全局特征向量进行拼接，得到每个行人对应的至少两个特征向量。

例如，局部图像的分割模式包括对局部图像进行5等分和6等分两种，那么根据两种分割模式可得到两种局部特征向量，其中，一个局部特征向量由5个局部子特征向量拼接得到，另一个局部特征向量由6个局部子特征向量拼接得到。然后，将两种局部特征向量分别与全局特征向量进行拼接，可确定行人对应的两个特征向量。

需要说明的是，在对每个行人所在的局部图像进行分割时，可以采用相同的分割模式，可以采用不同的分割模式，采用的分割模式的数量可以相同，也可以不同，由此得到的图像中各行人对应的特征向量数量可能相同，也可能不同。

本申请实施例的行人特征识别方法，通过将每个行人对应的底层特征分别进行全局特征识别处理和局部特征识别处理，在局部特征识别处理时，通过多种分割模式得到多个局部特征向量，进而得到每个行人对应的多个特征向量，由此，采用两分支结合多种分割方式，可以自由分割为若干部分并进行组合，扩展性好，同时，可根据实际应用场景计算量的约束，可以适当增减分割模式的数量，达到计算量与准确性之间的平衡。

在实际应用中，可通过预设的网络模型对摄像组件采集的图像进行行人重识别特征检测。下面结合图7进行说明，图7为本申请实施例提供的一种利用预设的网络模型进行行人重识别特征检测的过程示意图。

如图7所示，预设的网络模型包括特征提取层、全局特征识别子网络、局部特征识别子网络。其中，特征提取层分别与全局特征识别子网络及局部特征识别子网络连接，特征提取层可以为通用的识别网络ResNet50，其中，ResNet为残差神经网络。

将包含行人的图像输入至预设的网络模型中，若摄像组采集的图像中包含多个行人，则对图像进行分割后，将每个行人所在的局部图像输入至预设的网络模型中，首先由预设的网络模型的特征提取层对每个局部图像进行特征提取，得到每个行人对应的底层特征。之后，将每个行人对应的底层特征分别输入至全局特征识别子网络和局部特征识别子网络，由全局识别子网络对底层特征进行处理，得到每个行人对应的全局特征向量，由局部特征识别子网络对底层特征进行处理，得到每个行人对应的局部特征。

图7中，全局特征识别子网络和局部特征识别子网络由两个卷积层(如Res conv4x和Res conv5x，其中，conv4x表示卷积层有4个卷积核，conv5x表示卷积层有5个卷积核)、全局池化层、1*1的卷积层构成；局部特征识别子网络为3个。具体而言，由特征提取层对图像进行提取得到每个行人对应的底层特征，每个行人对应的底层特征经过全局特征识别子网络，得到每个行人对应的全局特征向量；同时，采用3种分割模式，使底层特征分别经过3个局部特征识别子网络，得到3种局部特征向量，也就是，每种分割模式对应一个局部特征识别子网络。然后，将行人对应的3个局部特征向量分别与行人对应的全局特征向量进行拼接，得到行人对应的3个特征向量。

本实施例中，对包含行人的图像在进行分割时，可以水平划分，也可垂直划分，也可扩展到其他角度的划分方式。采用多种分割模式，可以很好的解决零售场景下，摄像组件过近(如2m左右)造成的人体在画面中出现的角度倾斜的问题。

本实施例中，可以对每个行人所在的局部图像采用多种分割模式，得到每个行人对应的多个局部特征向量，在实际应用中，可根据实际应用场景计算量的约束，适当增减局部识别子网络的个数，达到计算量与准确性之间的平衡。

在上述利用预设的网络模型，对摄像组件采集的图像进行行人重识别特征检测之前，可通过如下方式得到预设的网络模型。图8为本申请实施例提供的一种获取预设的网络模型的方法的流程示意图。

如图8所示，该获取预设的网络模型的方法包括：

步骤701，获取包含多个数据组的训练数据集，其中，每个数据组中包括：M个行人的至少M+1张图像及每张图像对应的用户标识。

其中，M为大于或等于2的正整数。

本实施例中，每个数据组中包括M个行人的至少M+1张图像及每张图像对应的用户标识，说明每个数据组中包含至少两个行人的图像，这些图像中有些行人的图像可以不止一张图像，每张图像中包含一个行人。

需要说明的是，每个数据组中包含的图像数量及用户标识可以相同也可以不同。

步骤702，将每个数据组输入初始网络模型中，以获取M+1张图像中每张图像对应的全局特征向量及局部特征向量。

本实施例中，初始网络模型包含特征提取层、全局特征识别子网络、局部特征识别子网络。在训练时，可以数据组的形式输入图像，将每个数据组输入初始网络模型中，获取M+1张图像中每张图像对应的全局特征向量和局部特征向量。

例如，某数据组中包括行人a的图像A和图像B，包含行人b的图像C，将该数据组输入至初始网络模型中，获取图像A的全局特征向量Fa和两个局部特征向量，获取图像B的全局特征向量Fb和两个局部特征向量，获取图像C的全局特征向量Fc和两个局部特征向量，以及每张图像对应的用户标识匹配的概率。

步骤703，根据每张图像对应的全局特征向量与用户标识匹配的概率及M个用户标识对应的全局特征向量间的距离，对初始网络模型中的特征提取层及全局特征识别子网络进行修正。

如图7所示，每个子网络都对应一个triplet损失函数和softmax损失函数。本实施例中，可将每张图像对应的用户标识匹配的概率中最大的概率对应的用户标识作为图像对应的用户标识。然后，计算M个用户标识对应的全局特征向量间的距离。其中，M个用户标识对应的全局特征向量间的距离包括同一用户标识对应的两个全局特征向量的类内距离，及不同用户标识对应的两个全局特征向量间的类间距离。

之后，利用计算的距离和初始网络模型中的全局识别子网络对应的triplet损失函数，对初始网络模型中特征提取层和全局识别子网络进行修正，即利用对网络模型进行反馈监督。

可以理解的是，两个行人的全局特征向量间的距离，应该越远越好。由此，通过迭代训练使得网络模型输出的同一行人的全局特征向量间的距离越来越近，不同行人的全局特征向量间的距离越来越远。

步骤704，根据每张图像对应的局部特征向量与用户标识匹配的概率及M个用户标识对应的局部特征向量间的距离，对初始网络模型中的特征提取层及局部特征识别子网络进行修正，以得到预设的网络模型。

如图7所示，每个子网络通过一个全连接层连接softmax损失函数。本实施例中，可将每张图像对应的用户标识匹配的概率中最大的概率对应的用户标识作为图像对应的用户标识。然后，计算M个用户标识对应的局部特征向量间的距离。其中，M个用户标识对应的局部特征向量间的距离包括同一用户标识对应的局部特征向量的类内距离，及不同用户标识对应的局部特征向量间的类间距离。

之后，利用计算的距离和初始网络模型中的局部识别子网络对应的softmax损失函数，对初始网络模型中特征提取层和局部识别子网络进行修正，得到预设的网络模型。

然后，可以利用得到的预设的网络模型对包含行人的图像进行识别，得到行人的特征向量。

需要说明的是，仅在训练时用到了两个损失函数，在利用预设的网络模型获取行人的特征向量时，直接利用全局识别子网络和局部识别子网络输出的全局特征向量和局部特征向量。

本申请实施例中，通过利用用户标识对应的全局特征向量间的距离，对初始网络的特征提取层和全局特征识别子网络进行修正，利用用户标识对应的局部特征向量间的距离，对初始网络模型的特征提取层和局部特征识别子网络进行修正，得到预设的网络模型，从而就得到了检索和分类结合的机制，即结合了triplet损失函数和softmax损失函数，利用预设的网络模型获取行人对应的特征向量具有较强的准确性和可靠性。

为了实现上述实施例，本申请实施例还提出一种行人识别跟踪装置。图9为本申请实施例提供的一种行人识别跟踪装置的结构示意图。

如图9所示，该行人识别跟踪装置包括：第一确定模块810、判断模块820、更新模块830。

第一确定模块810，用于对摄像组件采集的图像进行行人重识别特征检测，确定图像中包括的各行人分别对应的各特征向量；

判断模块820，用于判断每个行人对应的特征向量是否与特征库中任一特征向量匹配；

更新模块830，用于当第一特征向量与所述特征库中的第二特征向量间的匹配度大于或等于阈值时，根据采集图像的摄像组件的位置及图像的第一采集时刻，对第二特征向量对应的行人的轨迹进行更新。

在本申请实施例一种可能的实现方式中，该装置还包括：

启动模块，用于当第三特征向量与特征库中所有特征向量间的匹配度均小于阈值时，将第三特征向量加入特征库中，并启动与第三特征向量对应的行人对应的跟踪线程。

在本申请实施例一种可能的实现方式中，该装置还包括：

第二确定模块，用于确定图像的摄像组件的位置为监控区域的入口位置。

在本申请实施例一种可能的实现方式中，若所述图像的摄像组件的位置为监控区域的非入口位置；该装置还包括：

第三确定模块，用于根据采集图像的摄像组件的位置及其他各摄像组件的设置位置，确定参考摄像组件；

第一修正模块，用于根据参考摄像组件在第二采集时刻采集的图像中包含的各行人分别对应的参考特征向量，对第三特征向量进行修正，其中，第二采集时刻为与第一采集时刻相邻的前一时刻。

在本申请实施例一种可能的实现方式中，该装置还可包括：

第四确定模块，用于对摄像组件采集的图像进行行人识别，以确定图像中各行人所在位置；

第一获取模块，用于根据每个行人所在的位置，将图像进行分割处理，以获取每个行人所在的局部图像；

上述第一确定模块810，还用于：对每个行人所在的局部图像进行行人重识别特征检测。

在本申请实施例一种可能的实现方式中，上述第一确定模块810，包括：

第一确定单元，用于对每个行人所在的局部图像进行特征提取，确定每个行人对应的底层特征；

第二确定单元，用于对每个行人对应的底层特征进行全局特征识别处理，确定每个行人对应的全局特征向量；

第三确定单元，用于对每个行人对应的底层特征进行局部特征识别处理，确定每个行人对应的局部特征向量；

第四确定单元，用于根据每个行人对应的全局特征向量及局部特征向量，确定每个行人对应的特征向量。

在本申请实施例一种可能的实现方式中，上述第三确定单元具体用于：

采用预设的分割模式，对每个行人对应的底层特征进行局部特征识别处理，确定每个行人对应的N个局部子特征向量，其中，N为根据预设的分割模式将图像分割后获得的子图像数量；

将每个行人对应的N个局部子特征向量进行拼接处理，确定每个行人对应的局部特征向量。

在本申请实施例一种可能的实现方式中，上述第三确定单元还用于：采用至少两种分割模式，对每个行人对应的底层特征进行局部特征识别处理，确定每个行人对应的至少两个局部特征向量；

上述第四确定单元，还用于：根据每个行人对应的至少两个局部特征向量及行人对应的全局特征向量，确定每个行人对应的至少两个特征向量。

在本申请实施例一种可能的实现方式中，上述第一确定模块810，具体用于：

利用预设的网络模型，对摄像组件采集的图像进行行人重识别特征检测，确定图像中包括的各行人分别对应的各特征向量。

在本申请实施例一种可能的实现方式中，预设的网络模型，包括特征提取层、分别与特征提取层连接的全局特征识别子网络及局部特征识别子网络；该装置还可包括：

第二获取模块，用于获取包含多个数据组的训练数据集，其中，每个数据组中包括：M个行人的至少M+1张图像及每张图像对应的用户标识，M为大于或等于2的正整数；

第三获取模块，用于将每个数据组输入初始网络模型中，以获取M+1张图像中每张图像对应的全局特征向量及局部特征向量；

第二修正模块，用于根据每张图像对应的全局特征向量与用户标识匹配的概率及M个用户标识对应的全局特征向量间的距离，对初始网络模型中的特征提取层及全局特征识别子网络进行修正；

第三修正模块，用于根据每张图像对应的局部特征向量与用户标识匹配的概率及M个用户标识对应的局部特征向量间的距离，对初始网络模型中的特征提取层及局部特征识别子网络进行修正，以得到预设的网络模型。

需要说明的是，上述对行人识别跟踪方法实施例的解释说明，也适用于该实施例的行人识别跟踪装置，故在此不再赘述。

本申请实施例的行人识别跟踪装置，通过对摄像组件采集的图像进行行人重识别特征检测，确定图像中包括的各行人分别对应的各特征向量，判断每个行人对应的特征向量是否与特征库中任一特征向量匹配，若第一特征向量与特征库中的第二特征向量间的匹配度大于或等于阈值，则根据采集所述图像的摄像组件的位置及图像的第一采集时刻，对第二特征向量对应的行人的轨迹进行更新，由此利用行人的特征向量对行人进行跟踪，大大提高了跟踪的稳定性和可靠性。

为了实现上述实施例，本申请实施例还提出一种计算机设备，包括处理器和存储器；

其中，处理器通过读取存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如上述实施例所述的行人识别跟踪方法。

图10示出了适于用来实现本申请实施方式的示例性计算机设备的框图。图10显示的计算机设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图10所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。

计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图10未显示，通常称为“硬盘驱动器”)。尽管图10中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。

为了实现上述实施例，本申请实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例所述的行人识别跟踪方法。

在本说明书的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (13)

1.一种行人识别跟踪方法，其特征在于，包括：

对摄像组件采集的图像进行行人重识别特征检测，确定所述图像中包括的各行人分别对应的各特征向量；

判断每个行人对应的特征向量是否与特征库中任一特征向量匹配；

若第一特征向量与所述特征库中的第二特征向量间的匹配度大于或等于阈值，则根据采集所述图像的摄像组件的位置及所述图像的第一采集时刻，对第二特征向量对应的行人的轨迹进行更新。

2.如权利要求1所述的方法，其特征在于，所述判断每个行人对应的特征向量是否与特征库中任一特征向量匹配之后，还包括：

若第三特征向量与所述特征库中所有特征向量间的匹配度均小于阈值，则将所述第三特征向量加入所述特征库中，并启动与所述第三特征向量对应的行人对应的跟踪线程。

3.如权利要求2所述的方法，其特征在于，所述将所述第三特征向量加入所述特征库中之前，还包括：

确定所述图像的摄像组件的位置为监控区域的入口位置。

4.如权利要求3所述的方法，其特征在于，若所述图像的摄像组件的位置为监控区域的非入口位置；

所述第三特征向量与所述特征库中所有特征向量间的匹配度均小于阈值之后，还包括：

根据采集所述图像的摄像组件的位置及其他各摄像组件的设置位置，确定参考摄像组件；

根据所述参考摄像组件在第二采集时刻采集的图像中包含的各行人分别对应的参考特征向量，对所述第三特征向量进行修正，其中，第二采集时刻为与所述第一采集时刻相邻的前一时刻。

5.如权利要求1-4任一所述的方法，其特征在于，所述对摄像组件采集的图像进行行人重识别特征检测之前，还包括：

对摄像组件采集的图像进行行人识别，以确定所述图像中各行人所在位置；

根据每个行人所在的位置，将所述图像进行分割处理，以获取每个行人所在的局部图像；

所述对摄像组件采集的图像进行行人重识别特征检测，包括：

对每个行人所在的局部图像进行行人重识别特征检测。

6.如权利要求5所述的方法，其特征在于，所述对摄像组件采集的图像进行行人重识别特征检测，确定所述图像中包括的各行人分别对应的各特征向量，包括：

对每个行人所在的局部图像进行特征提取，确定每个行人对应的底层特征；

对所述每个行人对应的底层特征进行全局特征识别处理，确定每个行人对应的全局特征向量；

对所述每个行人对应的底层特征进行局部特征识别处理，确定每个行人对应的局部特征向量；

根据每个行人对应的全局特征向量及局部特征向量，确定每个行人对应的特征向量。

7.如权利要求6所述的方法，其特征在于，所述对每个行人对应的底层特征进行局部特征识别处理，确定每个行人对应的局部特征向量，包括：

采用预设的分割模式，对每个行人对应的底层特征进行局部特征识别处理，确定每个行人对应的N个局部子特征向量，其中，N为根据所述预设的分割模式将所述图像分割后获得的子图像数量；

将每个行人对应的N个局部子特征向量进行拼接处理，确定每个行人对应的局部特征向量。

8.如权利要求6或7所述的方法，其特征在于，所述对每个行人对应的底层特征进行局部特征识别处理，确定每个行人对应的局部特征向量，包括：

采用至少两种分割模式，对每个行人对应的底层特征进行局部特征识别处理，确定每个行人对应的至少两个局部特征向量；

所述根据每个行人对应的全局特征向量及局部特征向量，确定每个行人对应的特征向量，包括：

根据每个行人对应的至少两个局部特征向量及所述行人对应的全局特征向量，确定每个行人对应的至少两个特征向量。

9.如权利要求5所述的方法，其特征在于，所述对摄像组件采集的图像进行行人重识别特征检测，确定所述图像中包括的各行人分别对应的各特征向量，包括：

利用预设的网络模型，对所述摄像组件采集的图像进行行人重识别特征检测，确定所述图像中包括的各行人分别对应的各特征向量。

10.如权利要求9所述的方法，其特征在于，所述预设的网络模型，包括特征提取层、分别与所述特征提取层连接的全局特征识别子网络及局部特征识别子网络；

所述利用预设的网络模型，对所述摄像组件采集的图像进行行人重识别特征检测之前，还包括：

获取包含多个数据组的训练数据集，其中，每个数据组中包括：M个行人的至少M+1张图像及每张图像对应的用户标识，M为大于或等于2的正整数；

将每个数据组输入初始网络模型中，以获取M+1张图像中每张图像对应的全局特征向量及局部特征向量；

根据每张图像对应的全局特征向量与用户标识匹配的概率及M个用户标识对应的全局特征向量间的距离，对所述初始网络模型中的特征提取层及全局特征识别子网络进行修正；

根据每张图像对应的局部特征向量与用户标识匹配的概率及M个用户标识对应的局部特征向量间的距离，对所述初始网络模型中的特征提取层及局部特征识别子网络进行修正，以得到所述预设的网络模型。

11.一种行人识别跟踪装置，其特征在于，包括：

第一确定模块，用于对摄像组件采集的图像进行行人重识别特征检测，确定所述图像中包括的各行人分别对应的各特征向量；

判断模块，用于判断每个行人对应的特征向量是否与特征库中任一特征向量匹配；

更新模块，用于当第一特征向量与所述特征库中的第二特征向量间的匹配度大于或等于阈值时，根据采集所述图像的摄像组件的位置及所述图像的第一采集时刻，对第二特征向量对应的行人的轨迹进行更新。

12.一种计算机设备，其特征在于，包括处理器和存储器；

其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-10中任一所述的行人识别跟踪方法。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一所述的行人识别跟踪方法。