CN113436229A

CN113436229A - 一种多目标跨摄像机行人轨迹路径的生成方法

Info

Publication number: CN113436229A
Application number: CN202110987604.XA
Authority: CN
Inventors: 王曼
Original assignee: Shenzhen Kim Dai Intelligence Innovation Technology Co ltd
Current assignee: Shenzhen Kim Dai Intelligence Innovation Technology Co ltd
Priority date: 2021-08-26
Filing date: 2021-08-26
Publication date: 2021-09-24

Abstract

一种多目标跨摄像机行人轨迹路径的生成方法，包括步骤：S1、设定摄像机安装位置，将其定位坐标进行记录；S2、从摄像机采集到的视频图片中识别出行人；S3、对识别中的行人进行特征提取；S4、同一个行人在不相交摄像机视图下的行人图片进行关联；S5、根据摄像机位置坐标作为行人的位置坐标，实现对目标的定位；S6、将采集到的选定行人的各个定位点按照时间顺序进行连线，获得选定行人的行动轨迹路径。本发明将行人检测算法和行人重识别算法相结合，提出一种多目标跨摄像头跟踪算法，调整模型结构以提取更具有判别力的特征；其次，对行人精准定位，可实现行人轨迹路径的生成。

Description

一种多目标跨摄像机行人轨迹路径的生成方法

技术领域

本发明公开一种摄像机生成路径的方法，特别是一种多目标跨摄像机行人轨迹路径的生成方法，属于视频监控应用技术领域。

背景技术

随着经济的发展和人们对安全需求的日益加强，越来越多的监控摄像机被安装在医院、火车站、机场和学校等大型公共场所。传统的监控摄像机仅有录制视频、存储视频、播放视频的功能，若要对异常状况进行实时监控和报警往往需要监控人员不间断地注视屏幕，这极其耗时耗力。同时，各地部署的摄像机每天会产生海量的监控视频，仅仅依靠人工难以处理。

随着海量摄像机的部署，其产生的巨量监控视频除了用于安防之外，还有很多可用作商业用途，如行为人的轨迹分析、行为分析，从而可进一步推导出其可预期的商业行为，以提升摄像机的利用价值。采用视频监控对行为人进行轨迹分析、行为分析等时，需要用到跨摄像头跟踪技术，主流的算法通常有基于图模型的联合优化方法、使用卷积神经网络为每个追踪对象提取鲁棒的深度特征、增量相机链接模型、使用贝叶斯公式在非重叠摄像机网络中进行路径重建等，常用的几种算法在实际应用的效果各有千秋，但是其普遍存在运算量较大，系统资源消耗严重等问题。

发明内容

针对上述提到的现有技术中的跨摄像头跟踪计算方法消耗系统资源较大的缺点，本发明提供一种多目标跨摄像机行人轨迹路径的生成方法，其通过多摄像机联合图像采集配合摄像机定位，可对行人轨迹路径进行精准生成。

本发明解决其技术问题采用的技术方案是：一种多目标跨摄像机行人轨迹路径的生成方法，该方法包括下述步骤：

步骤S1、摄像机坐标定位：设定摄像机安装位置，将其定位坐标进行记录；

步骤S2、行人检测：从摄像机采集到的视频图片中识别出行人；

步骤S3、行人特征提取：对识别中的行人进行特征提取；

步骤S4、行人重识别：同一个行人在不相交摄像机视图下的行人图片进行关联；

步骤S5、目标定位：根据摄像机位置坐标作为行人的位置坐标，实现对目标的定位；

步骤S6、行动轨迹路径生成：将采集到的选定行人的各个定位点按照时间顺序进行连线，获得选定行人的行动轨迹路径。

本发明解决其技术问题采用的技术方案进一步还包括：

所述的摄像机坐标定位根据摄像机安装时位置具体设定，封闭式摄像机定位采用相对定位的方式，设定一个位置作为基准坐标原点，摄像机的定位是相对于基准坐标原点的相对定位，定位时可采用XY轴坐标系的定位方式；开放式摄像机定位采用经纬度定位的方式。

所述的步骤S2行人检测时采用背景建模算法提取出运动中的前景目标，然后利用分类器对运动目标进行分类。

所述的步骤S2行人检测时采用梯度方向直方图，其包括下述子步骤：

步骤S2-1、网格划分：根据摄像机采集到的图像大小对采集到的图像进行网格划分；

步骤S2-2、计算梯度朝向和强度：对步骤S2-1中划分出来的各个网格点分别计算每个点处的梯度朝向和大小，通过使用Sobel算子过滤图像来计算水平梯度和垂直梯度，Sobel算子包含两组3x3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值：

其中，A代表原始图像，Gx及Gy分别代表经横向及纵向边缘检测的图像，图像的每一个网格点的横向及纵向梯度近似值可用以下的公式结合，来计算梯度的大小：

可用以下公式计算梯度方向：

；

步骤S2-3、生成分布直方图：将步骤S2-2的所计算出的梯度朝向和强度连起来形成网格内的所有网格点的梯度方向分布直方图；

步骤S2-4、将步骤S2-3生成的分布直方图汇总起来，形成整个图像的直方图特征；

步骤S2-5、行人识别：得到整个图像的直方图后，采用了滑动窗口技术，用设定大小的窗口扫描整个图像，然后对每一个窗口进行前景和背景的二分类，获得图像中行人信息。

所述的行人识别时对图像窗口大小进行缩放。

所述的步骤S3中行人特征提取时，采用人脸识别算法配合人体识别算法进行提取，包括下述子步骤：

步骤S3-1、建立人脸识别基础数据库：对于进入视频采集系统的行人进行人脸识别，并将特征存入数据库中，形成人脸识别基础数据库；

步骤S3-2、建立人体识别基础数据库：对于进入视频采集系统的行人进行人体识别，并将特征存入数据库中，形成人体识别基础数据库；

步骤S3-3、将同一视频图像中同一行人的人脸识别结果和人体识别结果相关联，生成该行人特征，并存入数据库中，以供其他摄像机调用；

步骤S3-4、不同摄像机根据视频图像中的行人特征识别出同一行人。

所述的人脸识别算法包括下述子步骤：

步骤S3-1-1、从视频图像中取得行人人脸影像；

步骤S3-1-2、分析该行人人脸影像以得到脸部特征，根据行人脸影像的脸部五官以得到不同的脸部区域，再计算出人脸部的眼睛部位、鼻子部位及嘴巴部位的特征值；

步骤S3-1-3、将该分析得到的人脸脸部特征与人脸识别基础数据库中现存的人脸影像的脸部特征进行比对，如果相似度超过设定阈值，则认为该人脸信息已经存在该数据库中，如果相似度小于设定阈值，则认为该人脸信息未存入该数据库中，此时则将其当作一个新的行人存入人脸识别基础数据库中。

所述的人体识别算法包括下述步骤：

步骤S3-2-1、获取目标人体图像：在视频采集图像中获取人体图像，在获取到行人图像上使用检测框框选出目标人体图像，获取目标人体图像，此处检测框的形状为矩形，使用检测框框选该行人的人体图像，获取目标人体图像；

步骤3-2-2、将目标人体图像输入人体识别模型中的部件分割模块，得到目标人体图像包括的各人体部件的特征图像；

步骤S3-2-3、基于人体部件的特征图像，确定切分的特征图像；

步骤S3-2-4、基于所述切分的特征图像和所述人体识别模型中的识别模块，进行人体识别处理。

所述的行人重识别包括下述子步骤：

步骤S4-1、对行人进行特征识别，特征识别时包括人脸识别和人体识别，人脸识别和人体识别的识别结果为唯一的行人，则与之相匹配；人脸识别和人体识别的识别结果与之前数据库中的数据比对，能够识别出两个以上的行人，则需要进行进一步判断；

步骤S4-2、找到数据库中识别出来的相应行人最后消失的摄像机的定位，并且比对该摄像机与重识别摄像机之间的定位，判断二者之间是否存在其他相机以及其他相机是否存在盲区，如果存在其他相机且不存在盲区，则可判断为该行人为新出现在监控系统中的行人；如果不存在其他相机或存在盲区，则需要进一步进行判断；

步骤S4-3、根据该行人最后消失的摄像机的定位与最后消失的时间和重识别的时间之间的关系，判断出最可能的行人。

本发明的有益效果是：本发明将行人检测算法和行人重识别算法相结合，提出一种多目标跨摄像头跟踪算法，调整模型结构以提取更具有判别力的特征；其次，对行人精准定位，可实现行人轨迹路径的生成。

下面将结合附图和具体实施方式对本发明做进一步说明。

附图说明

图1为本发明流程图。

图2为本发明梯度方向直方图获得行人信息流程图。

图3为本发明行人特征提取流程图。

图4为本发明人脸识别流程图。

图5为本发明人体识别流程图。

图6为本发明行人重识别流程图。

具体实施方式

本实施例为本发明优选实施方式，其他凡其原理和基本结构与本实施例相同或近似的，均在本发明保护范围之内。

本发明结合摄像机坐标定位、行人检测与重识别算法、摄像机定位算法以及路径生成算法等，通过视频采集、目标定位等生成行为人行动轨迹路径，以作为其他用途。

请结合参看附图1至附图6，本发明主要包括下述步骤：

步骤S1、摄像机坐标定位：设定摄像机安装位置，将其定位坐标进行记录，并上传至服务器数据库，进行存储；

步骤S3、行人特征提取：对识别中的行人进行特征提取；

步骤S5、目标定位：根据摄像机位置坐标大致判断行人位置坐标，本实施例中，可将摄像机位置坐标作为行人坐标位置，实现对目标的定位；

本实施例中，摄像机坐标定位根据摄像机安装时位置具体设定，设定方式主要有两种：（1）、封闭式摄像机设置，如商场、写字楼、工厂、工业区等固定的封闭区域内，摄像机定位可采用相对定位的方式，即设定一个位置作为基准坐标原点，摄像机的定位是相对于基准坐标原点的相对定位，定位时可采用XY轴坐标系的定位方式；（2）、开放式摄像机设置，如公安系统的天网等，其随时可在选定位置增设相应的摄像机，此种摄像机定位可采用经纬度定位的方式，也可以将其定义为绝对定位方式。

本实施例中，行人检测用背景建模算法提取出运动中的前景目标，然后利用分类器对运动目标进行分类，判断是否包含行人。背景建模算法可采用现有技术中常用的高斯混合模型（Mixture of Gaussian model）、ViBe算法、帧查分算法、SACON（样本一致性建模算法）或PBAS算法等，背景建模算法的思路基本上都是通过前面的帧学习得到一个背景模型。

背景模型获得后，要在实时采集的图片信息中获得行人信息，本实施例中，采用梯度方向直方图，梯度方向直方图（即HOG）是一种边缘特征，它利用了边缘的朝向和强度信息，其包括下述子步骤：

步骤S2-1、网格划分：根据摄像机采集到的图像大小对采集到的图像进行网格划分，即根据实际需要将图像划分成矩阵分布的N个小格，最小的划分单元为1像素，实际应用中，可根据识别精度需要进行具体划分，以其能够足以识别设定大小的人像轮廓为准，当图像中的行人大小小于设定值时，则进行丢弃；

步骤S2-2、计算梯度朝向和强度：对步骤S2-1中划分出来的各个网格点分别计算每个点处的梯度朝向和大小，首先需要计算水平和垂直梯度，可以通过使用Sobel算子过滤图像来实现，分别用于计算水平梯度和垂直梯度，Sobel算子包含两组3x3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值：

可用以下公式计算梯度方向：

步骤S2-5、行人识别：得到整个图像的直方图后，采用了滑动窗口技术，用设定大小的窗口扫描整个图像，然后对每一个窗口进行前景和背景的二分类，获得图像中行人信息，为了检测不同大小的行人，需要对图像窗口大小进行缩放。

本实施例中，采用梯度方向直方图可以很好的描述行人的形状、外观信息，且该特征对光照变化和小量的空间平移不敏感。

行人特征提取时，采用人脸识别配合人体识别算法进行提取，本实施例中，其包括下述子步骤：

步骤S3-1、建立人脸识别基础数据库：对于进入视频采集系统的行人进行人脸识别，并将特征存入数据库中，形成人脸识别基础数据库，封闭式摄像机系统，则从第一次采集到行人信息时，将其识别出来的人脸特征存入数据库，如果是开放式摄像机系统，则可以采用现有数据库，如：天网系统数据库等；建立人脸识别基础数据库时，包括下述子步骤：

步骤S3-1-1、从视频图像中取得行人人脸影像；

步骤S3-1-2、分析该行人人脸影像以得到脸部特征，本实施例中，脸部分析时，可以根据行人脸影像的脸部五官以得到不同的脸部区域，再计算出人脸部的眼睛部位、鼻子部位及嘴巴部位等脸部五官的特征值；

步骤S3-1-3、将该分析得到的人脸脸部特征与人脸识别基础数据库中现存的人脸影像的脸部特征进行比对，如果相似度超过设定阈值，则认为该人脸信息已经存在该数据库中，如果相似度小于设定阈值，则认为该人脸信息未存入该数据库中，此时则将其当作一个新的行人存入人脸识别基础数据库中，人脸特征对比时可通过余弦相似性或欧氏距离等技术进行比对，设定阈值可选取0.6~0.75；

步骤S3-2、建立人体识别基础数据库：对于进入视频采集系统的行人进行人体识别，并将特征存入数据库中，形成人体识别基础数据库，封闭式摄像机系统，则从第一次采集到行人信息时，将其识别出来的人体特征存入数据库，如果是开放式摄像机系统，则可以采用现有数据库，如：天网系统数据库等；建立人体识别基础数据库时，包括下述子步骤：

步骤S3-2-1、获取目标人体图像：在视频采集图像中获取人体图像，本实施例中，在获取到行人图像上使用检测框框选出目标人体图像，获取目标人体图像，此处检测框的形状一般为矩形，使用检测框框选该行人的人体图像，获取目标人体图像。

本实施例中，将视频中某一视频帧的行人的特征图像与该视频帧以前的出现过的行人的特征图像进行对比，获得识别结果，该识别结果为视频中某一视频帧的行人是否为该视频帧以前的出现过的行人。在识别过程中，是将人体识别模型输出的特征图像与人体库中的每个特征图像进行打分，识别结果为人体识别基础库中的特征图像与人体识别模型输出的特征图像的分数。

步骤3-2-2、将目标人体图像输入人体识别模型中的部件分割模块，得到目标人体图像包括的各人体部件的特征图像。

其中，部件分割模块为机器训练模型，可以将目标人体图像分割成目标人体图像中各人体部件的特征图像，以便用于后续的操作。人体部件可以包括胳膊、腿和头部等部位，此处不做限定。

本实施例中，将获取到的目标人体图像输入人体识别模型中的部件分割模块，进行部件分割，获得部件分割后的各人体部件的特征图像，如人体、头部、上半身，下半身以及鞋子分别对应的特征图像。

目标人体图像输入部件分割模块中的特征提取子模块进行特征提取，得到人体特征图像。将人体特征图像输入部件分割模块中的部件分割子模块进行部件分割，得到所述目标人体图像包括的各人体部件的初始特征图像；将各人体部件的初始特征图像，分别与所述人体特征图像中对应位置的区域图像进行叠加，得到各人体部件的特征图像。

将目标人体图像输入特征提取模块，进行特征提取，得到该目标人体图像对应的人体特征图像，人体特征图像的尺寸为7*7*2048，其中，第一特征图像为长为7个像素，宽为7个像素，通道数为2048的特征图像，通道数与卷积次数有关，例如，卷积1次，通道数为1。将人体特征图像输入部件分割模块中的部件分割子模块进行部件分割，再通过损失函数迭代，获取到5个初始特征图像，再将5个初始特征图像叠加在人体特征图像上，得到各人体部件的特征图像，此时，该特征图像的尺寸为7*7*10240。其中，各人体部件的特征图像分别对应人体、头部、上半身、下半身以及鞋子。

通过确定目标人体图像中任一人体部件的全部像素，来实现目标图像中各个人体部件的分割。例如，通过获取头部位置的全部像素来获取头部的特征图像。

在本实施例中，通过部件分割模块中的部件分割子模块进行部件的模糊分割，在将获得各人体部件的初始特征图像，再通过损失函数迭代，进而可以精确划分出人体部件的初始特征图像，提升了部件软划分的精度。在将采用将各人体部件的初始特征图像，分别与人体特征图像中对应位置的区域图像的对齐方法，进行行人部件区域划分，充分考虑了部件对齐后的特征精细化比对，使得划分出的人体部件的特征图像包括的背景的特征图像较少，且人体部件区域划分的更加准确。

进一步的，将包含有行人的人体图像输入到部件分割模块中，并输出人体图像包含有各人体部件的特征图像，将该人体图像包含有各人体部件的特征图像与相应的人体图像的各人体部件的基准特征图像作比对，利用损失函数计算该人体图像包含有各人体部件的特征图像与相应的人体图像的各人体部件的基准特征图像的差异信息，并根据该差异信息和预设的训练算法，确定部件分割模块中的参数的调整值，进而对部件分割模块的参数进行数值调整，从而完成一次训练。然后再获取样本训练集中其他行人的人体图像，重复上述过程。

当在目标人体图像上暴露目标行人的部分身体时，例如，行人的下半身被建筑为遮挡，通过上述部件分割模块对目标人体图像进行部件分割，可以去掉目标人体图像中存在的大量对识别目标行人无用的背景信息，提高了识别行人的准确率。

步骤S3-2-3，基于人体部件的特征图像，确定切分的特征图像。

其中，切分可以是将特征图像进行等面积的切分，也可以是将特征图像进行面积不等的切分。通过对人体部件的特征图像进行切分，达到提高小尺度特征所占权重的目的，从而达到提取到更多的特征进行人体识别。例如，在对整个人体特征图像进行分析时，由于切分前，提取到上半身的颜色的特征所占权重较高，而提取到用户所穿衣服上的logo所占权重较低，在特征对比过程中，一般会对比上半身图像中的颜色的特征，而忽略掉用户所穿衣服上的logo的特征。在切分之后，获得的上半身特征图像中，用户所穿衣服上的logo的特征的权重相对于未切分之前行人所穿衣服上的logo的特征的权重高，进而起到强调到行人所穿衣服上的logo的特征的作用，从而实现将小尺度特征提取出来以进行人体识别。

在实施例中，将获取到的人体，头部，上半身，下半身以及鞋子分别对应的特征图像进行切分，从而获取到切分之后的特征图像。

将获取到的人体、头部、上半身、下半身以及鞋子分别对应的特征图像分别进行一等分、二等分以及三等分，从而确定人体、头部、上半身、下半身以及鞋子分别对应切分之后的特征图像。

在切分人体部件的特征图像之前，可以对人体部件的特征图像进行放大处理，相应的步骤如下：基于像素填充方式对人体部件的特征图像进行放大处理，得到至少一个放大特征图像，对所述放大特征图像进行切分处理，得到切分处理后的特征图像。

其中，上述放大处理可以是以一定的方式向人体部件的特征图像中填充一定数量的像素，从而实现对人体部件的特征图像的放大处理。像素填充方式可以将特征图像输入空洞卷积模块中，实现对人体部件的特征图像的像素填充，也可以是在特征图像中每间隔一定的像素数目，便填充一定数目的像素，例如，在尺寸大小为5*5(单位：像素)的特征图像中的每一行的像素中，每间隔2个像素便填充1个像素，也可以是在特征图像中的固定的位置上填充一定数目的像素。

上述像素是通过上采样池化获得的，上采样池化是通过采样特征图像中的像素，根据这些像素的值确定出填充像素，并对特征图像进行填充。例如：可以采样填充像素所在位置的领域的像素，将在所有像素中为最大值的像素作为填充像素，并将该填充像素填充到特征图像中。

在本实施例中，获取到目标人体图像包含的各人体部件的特征图像，并基于像素填充的方式，对各人体部件的特征图像进行放大处理，得到至少一个放大特征图像，再对这些放大特征图像进行切分处理，得到切分处理后的特征图像。

将所述人体部件的特征图像分别输入多个不同空洞率的空洞卷积模块，得到多个放大特征图像。空洞卷积是一种像素填充的方式，通过将人体部件的特征图像分别输入到不同空洞率的空洞卷积中，从而得到不同尺度的人体部件的特征图像。例如，将一张尺寸大小为7*7的特征图像，分别输入到空洞率为1、2以及3的空洞卷积中，获取到尺寸大小为9*9、11*11以及13*13的特征图像。其中，空洞率越大，则放大后的特征图像越大。

本实施例中，将尺寸大小为7*7*10240的人体部件的特征图像分别输入到空洞率为1、2和3的空洞卷积中，获取到尺寸大小分别为9*9*10240、11*11*10240以及13*13*10240的人体部件的特征图像。此时，可以将同一尺寸的人体部件的特征图像作为同一分支，共形成3个分支的人体部件的特征图像。将同一分支的人体部件的特征图像分别进行一等分，二等分以及三等分，每个分支分别得到1个完整的人体部件的特征图像，2个二等分的人体部件的特征图像以及3个三等分的人体部件的特征图像，再对上述每个分支切分后的特征图像进行处理。

在切分人体部件的特征图像之前，以及在将人体部件的特征图像放大处理之后，可以将所述放大特征图像输入自注意力筛选模块，得到处理后的特征图像，对所述处理后的特征图像进行切分处理，得到切分的特征图像。

自注意特征筛选模块用于对经过放大处理之后的人体与背景的边缘信息进行精细的修复，抑制噪声，突出行人结果，从而得到更加准确的人体部件的特征图像，同时，自注意特征筛选模块可以增强大、中、小尺度特征的显著性，提取的特征具有尺度唯一性。

此步骤可以认为是一级特征金字塔，一级特征金字塔可以通过将各人体部件的特征图像进行不同尺度的放大，再通过自注意特征筛选模块通过增强不同尺度的特征图像的显著性来提取不同尺度的特征图像粗粒度特征。

步骤S3-2-4：基于所述切分的特征图像和所述人体识别模型中的识别模块，进行人体识别处理。

其中，识别模块通过计算行人特征与特定的某个行人的特征之间的相似度，来达到识别特定的某个行人的目的。其中，相似度可以通过计算行人特征与特定的某个行人的特征之间的余弦距离来确定，也可以通过计算行人特征与特定的某个行人的特征之间的欧式距离来确定，此处确定两个特征之间的相似度的方式并不做限定。在实际实施中，识别结果为是否为特定的某个行人。在测试过程中，人体识别结果为分数，该分数用于表示人体识别模型输出的特征信息与人体库中每个人体图像对应的特征信息的相似程度。

识别模块可以将切分后的特征图像进行二次特征提取后，将二次特征提取后的特征图像降为一维的特征图像后，将这些特征向量进行拼接，并将拼接后的特征向量与预先存储的特征向量进行对比，进而得到识别结果。

在本实施例中，将切分后的特征图像输入到人体识别模型中的识别模块，进行识别处理。

基于所述切分的特征图像、所述人体部件的特征图像和所述人体识别模型中的识别模块，进行人体识别处理，包括：将所述切分的特征图像、所述人体部件的特征图像，分别输入所述人体识别模型中的特征提取模块，得到对应的特征向量；对所有特征向量进行合并，得到合并特征向量；基于所述合并特征向量和所述人体识别模型中的识别模块，进行人体识别处理。

将所述切分的特征图像、所述人体部件的特征图像，分别输入人体识别模型中的特征提取模块，进行二次特征提取，得到对应的特征向量。对所有特征向量进行合并，得到合并特征向量。基于所述合并特征向量和所述人体识别模型中的识别模块，进行人体识别处理。

其中二次特征提取的目的是提取出切分之后的特征图像中的小尺度特征，提高人体识别的准确度。

具体的，将上述每个分支分别得到1个完整的人体部件的特征图像，2个二等分的人体部件的特征图像以及3个三等分的人体部件的特征图像，分别输入特征提取模块中，进行二次特征提取，获取特征提取之后的特征向量，并对该向量进行降维处理，获取每个人体部件的特征图像分别对应的一维向量，并将这些特征向量进行合并，将合并后的特征向量输入到识别模块，获取人体识别结果。将合并后的特征向量输入到识别模块之后，获得识别结果。在实际实施过程中，将合并后的特征向量输入到识别模块之后，将该特征向量与已有的特征向量进行对比，获得识别结果。在训练过程中，将合并后的特征向量输入到识别模块之后，根据该特征向量与人体库中的全部特征向量的相似度进行打分，进而获得识别结果。

此步骤可以认为是二级特征金字塔，二级特征金字塔可以通过对不同尺度的特征图像进行切分，再经过二次特征提取，进而达到提取不同尺度的特征图像的细粒特征，来提高识别行人的准确度。

在本实施例中，通过一级特征金字塔提取出的粗粒特征和二级特征金字塔提出的细粒特征，来进一步提高识别目标特征图像的准确度。

步骤S3-4、不同摄像机根据视频图像中的行人特征识别出同一行人，并根据该行人在不同摄像机中出现的时间顺序，判断其行动轨迹和方向。

本实施例中，正常状态下，行人会在不同摄像机之间运动，在没有视频监控盲区的情况下，当行人在一个摄像机的监控视频中消失之前，必然会出现在另一个摄像机的监控范围之内，即两个摄像机的监控范围存在相交之处。当行人在不相交的两个摄像机间行走时，即行人进入监控盲区，需要进行行人重识别，即行人完全消失在某个或某几个摄像机的图像采集范围，后又重新出现在相关联的其他摄像机的图像采集范围内。行人重识别方法包括下述子步骤：

步骤S4-1、对行人进行特征识别，特征识别时包括人脸识别和人体识别，人脸识别和人体识别的算法可参看之前步骤，此处不再赘述，通过人脸识别和人体识别可识别判断出该行人为之前摄像机视频图像中出现的行人，则对该行人继续进行监控，本实施例中，此时的人脸识别和人体识别存在几种情况：（1）人脸识别和人体识别的识别结果与之前数据库中的数据相似度都非常高，且与之前数据库中的数据比对，可识别出唯一的行人，则与之相匹配；（2）根据人脸识别和人体识别的识别结果与之前数据库中的数据比对，可识别出两个以上的行人，则需要进行进一步判断；

步骤S4-3、根据该行人最后消失的摄像机的定位与最后消失的时间和重识别的时间之间的关系，判断出最可能的行人，由于各个可能的行人最后消失的摄像机的定位是固定的，其各个摄像机与重识别摄像机之间的距离也是固定的，而各个可能的行人最后消失的时间也是固定的，根据距离/时间，可大致（由于其行人位置坐标并不是精确值，所以行动速度也只是大致速度）计算出各个行人的行动速度，正常人的运动速度一般为每秒钟1~10米，大部分时间段集中在每秒钟1~2米，根据各个行人的行动速度与正常人的行动速度进行对比，找出最接近正常人行动速度的人，判断其为重识别的行人。

本发明可应用如超市、工厂、写字楼等民用领域，也可用于安防监控等公安领域。

本发明将行人检测算法和行人重识别算法相结合，提出一种多目标跨摄像头跟踪算法，调整模型结构以提取更具有判别力的特征；其次，对行人精准定位，可实现行人轨迹路径的生成。

Claims

1.一种多目标跨摄像机行人轨迹路径的生成方法，其特征是：所述的方法包括下述步骤：

步骤S1、摄像机坐标定位：设定摄像机安装位置，将其定位坐标进行记录，所述的摄像机坐标定位根据摄像机安装时位置具体设定，封闭式摄像机定位采用相对定位的方式，设定一个位置作为基准坐标原点，摄像机的定位是相对于基准坐标原点的相对定位，定位时采用XY轴坐标系的定位方式；开放式摄像机定位采用经纬度定位的方式；

步骤S3、行人特征提取：对识别中的行人进行特征提取；

2.根据权利要求1所述的多目标跨摄像机行人轨迹路径的生成方法，其特征是：所述的步骤S2行人检测时采用背景建模算法提取出运动中的前景目标，然后利用分类器对运动目标进行分类。

3.根据权利要求1所述的多目标跨摄像机行人轨迹路径的生成方法，其特征是：所述的步骤S2行人检测时采用梯度方向直方图，其包括下述子步骤：

步骤S2-2、计算梯度朝向和强度：对步骤S2-1中划分出来的各个网格点分别计算每个点处的梯度朝向和大小，通过使用Sobel算子过滤图像来计算水平梯度和垂直梯度，Sobel算子包含两组3x3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即分别得出横向及纵向的亮度差分近似值：

其中，A代表原始图像，Gx及Gy分别代表经横向及纵向边缘检测的图像，图像的每一个网格点的横向及纵向梯度近似值用以下的公式结合来计算梯度的大小：

用以下公式计算梯度方向：

；

4.根据权利要求3所述的多目标跨摄像机行人轨迹路径的生成方法，其特征是：所述的行人识别时对图像窗口大小进行缩放。

5.根据权利要求1所述的多目标跨摄像机行人轨迹路径的生成方法，其特征是：所述的步骤S3中行人特征提取时，采用人脸识别算法配合人体识别算法进行提取，包括下述子步骤：

6.根据权利要求5所述的多目标跨摄像机行人轨迹路径的生成方法，其特征是：所述的人脸识别算法包括下述子步骤：

步骤S3-1-1、从视频图像中取得行人人脸影像；

7.根据权利要求5所述的多目标跨摄像机行人轨迹路径的生成方法，其特征是：所述的人体识别算法包括下述步骤：

步骤S3-2-2、将目标人体图像输入人体识别模型中的部件分割模块，得到目标人体图像包括的各人体部件的特征图像；

8.根据权利要求1所述的多目标跨摄像机行人轨迹路径的生成方法，其特征是：所述的行人重识别包括下述子步骤：

步骤S4-2、找到数据库中识别出来的相应行人最后消失的摄像机的定位，并且比对该摄像机与重识别摄像机之间的定位，判断二者之间是否存在其他相机以及其他相机是否存在盲区，如果存在其他相机且不存在盲区，则判断为该行人为新出现在监控系统中的行人；如果不存在其他相机或存在盲区，则需要进一步进行判断；