CN108805911A - 一种多个摄像机监控网络中跟踪目标再识别系统 - Google Patents

Abstract

本发明一种多个摄像机监控网络中跟踪目标再识别系统，该系统包括视频图像采集模块、跟踪目标检测与再识别模块和报警模块。本发明能够实时检测监控设备拍摄的视频图像，并将其与外部存储器中目标图像集中的图像进行分析，判断监控画面中的行人是否与目标图像集中的跟踪人物一致，若一致，该监控画面中的行为即为警方待抓捕的犯罪嫌疑人，并立即生成报警信号发送至报警模块，警方接收到报警信号并展开抓捕。与现有技术相比，本发明不仅具有传统视频监控的功能，并且具有针对视频图像中的行人进行图像处理的功能，智能寻找跟踪目标，实现了对跟踪目标的实时检测和识别的功能。

Description

一种多个摄像机监控网络中跟踪目标再识别系统

技术领域

本发明涉及机器视觉技术领域，具体涉及一种多个摄像机监控网络中跟踪目标再识别系统。

背景技术

国家经济高速发展，科技水平日新月异，人们的生活质量也在不断提高，公共安全问题却日益突出。在公共安全问题中，社会安全问题发生得越来越频繁，规模和破坏性也越来越大，造成了严重的后果和巨大的损失，成为了社会的不稳定因素。

视频监控广泛应用，为公安机关寻找嫌犯踪迹、侦查破案提供了有力的线索，但需要安保人员持续观看监控画面来辨别可疑人物，效率较低。如何提高安保人员的工作效率和对可疑人物的识别率，成为目前需要解决的一个难题。

发明内容

针对上述问题，本发明提供一种多个摄像机监控网络中跟踪目标再识别系统。

本发明的目的采用以下技术方案来实现：

一种多个摄像机监控网络中跟踪目标再识别系统，该系统包括视频图像采集模块、跟踪目标检测与再识别模块和报警模块；

视频图像采集模块包括基于摄像头的监控设备，对监控范围内进行视频图像采集，并将采集的视频图像传输至跟踪目标检测与再识别模块中；

跟踪目标检测与再识别模块包括嵌入式处理器与外部存储器；外部存储器用于存储视频图像采集模块传输过来的视频图像和包含跟踪目标身份信息的目标图像集；

嵌入式处理器用于对采集的视频图像和目标图像集中的图像进行处理，判断采集的视频图像中的行人信息与目标图像集中的跟踪目标是否一致，若一致，则采集的视频图像中的行人即为跟踪目标，并生成相应的报警信号传输至报警模块，若不一致，则采集的视频图像中的行人不是跟踪目标；

报警模块，用于接收来自跟踪目标检测再识别模块的报警信号并进行报警。

本发明的有益效果为：本发明通过对监控画面的实时处理对于警方寻找、抓捕犯罪嫌疑人具有重要作用。通过将监控画面中的行人与目标图像集中的跟踪人物进行分析，判断监控画面中的行人是否与目标图像集中的跟踪人物一致，若一致，该监控画面中的行为即为警方待抓捕的犯罪嫌疑人，并立即生成报警信号发送至报警模块，警方接收到报警信号并展开抓捕。

与现有技术相比，本发明不仅具有传统视频监控的功能，并且具有针对视频图像中的行人进行图像处理的功能，智能寻找跟踪目标，实现了对跟踪目标的实时检测和识别的功能。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是本发明的原理图；

图2是本发明嵌入式处理器的框架结构图。

附图标记：视频图像采集模块1；跟踪目标检测与再识别模块2；报警模块3；嵌入式处理器4；外部存储器5；单片机6；显示单元7；警示灯8；预处理单元9；超图构建单元10；超图识别单元11；前景提取子单元12；过分割子单元13；视觉超图构建子单元14；空间超图构建子单元15。

具体实施方式

结合以下实施例对本发明作进一步描述。

一种多个摄像机监控网络中跟踪目标再识别系统，该系统包括视频图像采集模块1、跟踪目标检测与再识别模块2和报警模块3；

视频图像采集模块1包括基于摄像头的监控设备，对监控范围内进行视频图像采集，并将采集的视频图像传输至跟踪目标检测与再识别模块中；

跟踪目标检测与再识别模块2包括嵌入式处理器4与外部存储器5；外部存储器5用于存储视频图像采集模块1传输过来的视频图像和包含跟踪目标身份信息的目标图像集；

嵌入式处理器4用于对采集的视频图像和目标图像集中的图像进行处理，判断采集的视频图像中的行人信息与目标图像集中的跟踪目标是否一致，若一致，则采集的视频图像中的行人即为跟踪目标，并生成相应的报警信号传输至报警模块3，若不一致，则采集的视频图像中的行人不是跟踪目标；

报警模块3，用于接收来自跟踪目标检测再识别模块2的报警信号并进行报警。

本发明的有益效果为：本发明通过对监控画面的实时处理对于警方寻找、抓捕犯罪嫌疑人具有重要作用。通过将监控画面中的行人与目标图像集中的跟踪人物进行分析，判断监控画面中的行人是否与目标图像集中的跟踪人物一致，若一致，该监控画面中的行为即为警方待抓捕的犯罪嫌疑人，并立即生成报警信号发送至报警模块，警方接收到报警信号并展开抓捕。

与现有技术相比，本发明不仅具有传统视频监控的功能，并且具有针对视频图像中的行人进行图像处理的功能，智能寻找跟踪目标，实现了对跟踪目标的实时检测和识别的功能。

作为优选，报警模块3包括单片机6、显示单元7、警示灯8；所述单片机6接收所述报警信号，并根据报警信号是否含有监控设备的编码判断是否为报警信号，若是报警信号，则单片机6控制警示灯8亮起，并同时控制显示单元7显示相应的内容。。

作为优选，嵌入式处理器4包括预处理单元9、超图构建单元10和超图识别单元11；

预处理单元9，用于对采集的视频图像和目标图像集中的图像进行预处理，其中，采集的视频图像和目标图像集中的图像构成一个图像集合式中，P是目标图像集中的图像数，I_p表示第p张图像；

超图构建单元10，用于通过构建超图模型描述预处理后的图像集合W中的图像之间的关联性；

超图识别单元11，用于根据构建的超图模型，识别视频图像中的行人是否与目标图像集中的跟踪目标是否一致，若已知，并进一步确认视频图像中的行人身份信息；

作为优选，预处理单元9包括前景提取子单元12和过分割子单元13；

前景提取子单元12用于从图像集合W的每张图像中提取包含行人轮廓信息的前景图片，并将提取得到的前景图片加入集合其中I_p ^f是图像I_p对应的前景图片，p＝1,2,…,P+1；

过分割单元11用于对得到的前景图片I_p ^f进行过分割处理，将得到的前景图片I_p ^f划分为互不重叠的子区域，并将得到的子区域加入公共子区域集合R，其中其中N_r是集合中的P+1张前景图片分割得到的子区域的数量，r_n是第n个子区域。

作为优选，从图像集合W的每张图像中提取包含人员轮廓信息的前景图片，具体是：

(1)将I_p中的像素点进行初始化分类，得到初始前景像素点集合和初始背景像素点集合

(2)利用概率函数对I_p中的所有像素点属于前景像素点和背景像素点的概率进行估计；其中，计算像素点属于前景像素点的概率函数为：

式中，P_fore(kl)是像素点kl隶属于前景像素点的概率值，I^f是初始前景像素点的个数，G(k)是像素点kl的灰度值，G(k_i)是像素点k_i的灰度值，C(kl)是像素点kl的坐标，C(k_i)是像素点k_i的坐标，‖C(kl)-C(k_i)‖是像素点kl和像素点k_i的欧式距离，是κ₁、κ₂是设定的参数，ε₁、ε₂是权重因子，满足ε₁+ε₂＝1，且ε₁＞0，ε₂＞0；

计算像素点属于背景像素点的概率函数为：

式中，P_back(kl)是像素点kl隶属于背景像素点的概率值，J^b是初始背景像素点的个数，G(k)是像素点kl的灰度值，G(m_j)是像素点m_j的灰度值，C(kl)是像素点kl的坐标，C(m_j)是像素点m_j的坐标,||C(kl)-C(m_j)||是像素点kl和像素点m_j的欧式距离，κ₃、κ₄是设定的参数，ε₃、ε₄是权重因子，满足ε₃+ε₄＝1，且ε₃＞0，ε₄＞0；

计算图片I_p中所有像素点隶属于前景像素点的概率值和隶属于背景像素点的概率值，并比较P_fore(kl)和P_back(kl)的概率值大小，如果P_fore(kl)≥P_back(kl)，则像素点kl属于前景像素点，并将像素点kl划分至前景像素点集合；如果P_fore(kl)＜P_back(kl)，则像素点k属于背景像素点，并将像素点kl划分至背景像素点集合，遍历图片I_p所有像素点，按照上述规则对像素点进行分类，得到更新后的前景像素点集合和背景像素点集合；

(3)根据更新后的前景像素点集合和背景像素点集合，利用步骤(2)中的概率函数，重新计算P_fore(kl)和P_back(kl)，并进行比较，如果P_fore(kl)≥P_back(kl)，像素点kl属于前景像素点，并将像素点kl加入到前景像素点集合中；如果P_fore(kl)＜P_back(kl)，像素点kl属于背景像素点，并将像素点kl加入到背景像素点集合中，遍历图像I_p中所有像素点，实现对前景像素点集合和背景像素点集合的更新，重复步骤3，直至收敛，得到前景像素点集合；

(4)对前景像素点集合进行二值图像闭操作处理，经过二值图像闭操作处理后的前景像素点构成的集合即是前景图片。

有益效果：利用上述算法，该算法分别计算了图像中每个像素点属于前景像素点或者背景像素点的概率值，并根据得到的概率值对像素点进行分类，进而细化图片中的行人主体外观特征，有效消除图片中的背景信息，保留图片中行人的主体外观，为后续工作奠定了基础，且该算法自适应的调整分类信息，通过不断迭代优化前景提取的结果，细化前景图片的轮廓信息，得到准确度高的前景图片。

作为优选，一个由多个顶点和超边构成的图称之为超图，可表示为GR_H＝(V,Ex_H,wx_H)，其中，V为超图中所有顶点的集合，Ex_H为超图中所有超边的集合，wx_H是超图中所有超边的权重值构成的集合。

作为优选，超图构建单元10包括视觉超图构建子单元14和空间超图构建子单元13；

视觉超图构建子单元14，用于根据子区域之间的视觉特征联系构建视觉超图；

空间超图构建子单元15，用于根据子区域之间空间位置关系构建空间超图；

作为优选，根据所述子区域之间的视觉特征联系构建视觉超图，具体是：

(1)选取前景图像I_p ^f中的子区域r_d作为顶点，其中，d＝1,2,…,DL，DL是前景图像I_p ^f中的子区域的个数；

(2)根据选取的子区域r_d，计算子区域r_d与除I_p ^f以外的剩余P张前景图像的子区域的视觉特征相似度值，将与子区域r_d视觉特征相似度值最高的Q个子区域进行连接，得到关于子区域r_d的视觉超边，其中Q为系统自定义的参数，其中，视觉特征相似度值的计算公式为：

式中，Sim(r_d,r_g)是子区域r_d与子区域r_g的视觉特征相似度值，η₁、η₂和η₃是权重因子，且满足η₁+η₂+η₃＝1，D₁(r_d)是子区域r_d的颜色特征向量，D₁(r_g)是子区域r_g的颜色特征向量，D₂(r_d)是子区域r_d的纹理特征向量，D₂(r_g)是子区域r_g的纹理特征向量，D₃(r_d)是子区域r_d的形状特征向量，D₃(r_g)是子区域r_g的形状特征向量；

(3)选取公共子区域集合R中的每一个子区域作为顶点，重复步骤(1)和步骤(2)，得到一个包含K条视觉超边的集合E_H＝{e₁,e₂,…,e_k,…,e_K},K为视觉超边的条数；

(4)计算每条视觉超边的权重值，并将计算的每条视觉超边的权重值加入到集合w_H中，其中，计算各条视觉超边的权重值的式子如下：

式中，ω(e_k)是视觉超边e_k的权重值，Sim(r_a,r_b)是子区域r_a和子区域r_b的视觉特征相似度值，θ₁是所有子区域视觉特征相似度的平均值；

(5)根据得到的J、E_H和w_H构建视觉超图B_H＝(J,E_H,w_H)，其中，J表示视觉超图中所有顶点构成的集合，E_H表示所有视觉超边构成的集合，w_H表示所有视觉超边的权重值构成的集合。

有益效果：通过从颜色、纹理、形状三个方面考虑行人图片的视觉特征，进而构建视觉超图，从视觉特征层面表达了不同子区域之间的高阶联系，该算法能够有效应对复杂多变的跨摄像机差异和行人姿态变化，有利于后续对目标人物的再识别。

作为优选，根据所述子区域之间空间位置联系构建空间超图，具体构建过程是：

(1)将集合R中每一个子区域作为一个顶点，并选取任一子区域作为中心顶点并连接除自身所在前景图像之外的其余前景图像中空间位置上最近邻子区域形成空间超边，将得到的空间超边加入空间超边集合Y_S中，其中，Y_S＝{y₁,y₁,…y_s,…y_s,}，S是空间超边的条数；

(2)利用下式计算各个空间超边的权重值；

式中，ω(y_s)是空间超边y_s的权重值，Div_s(r_u,r_v)是子区域r_u和子区域r_v的空间位置距离，θ₂是所有顶点间的平均空间距离；

(3)根据得到的J、Y_S和w_S构建空间超图O_H＝(J,Y_S,w_S)，其中，J表示空间超图中所有顶点构成的集合，Y_S表示所有空间超边构成的集合，w_S表示所有空间超边的权重值构成的集合,S是空间超边的条数。

有益效果：利用子区域之间的空间位置关系，构建空间超图，该空间超图的构建过程考虑了在实际监控过程中，由于摄像机之间的视觉差异和行人姿态变化会使行人的身体区域发生不可预知的位移的影响，通过构建该空间超图，获取不同图片中空间位置相对稳定的子区域，该做法有利于提升再识别的准确度。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (5)

1.一种多个摄像机监控网络中跟踪目标再识别系统，其特征是，视频图像采集模块、跟踪目标检测与再识别模块和报警模块；

所述视频图像采集模块包括基于摄像头的监控设备，对监控范围内进行视频图像采集，并将采集的视频图像传输至所述跟踪目标检测与再识别模块中；

所述跟踪目标检测与再识别模块包括嵌入式处理器与外部存储器；所述外部存储器用于存储所述视频图像采集模块传输过来的视频图像和包含跟踪目标身份信息的目标图像集；

所述嵌入式处理器用于对采集的视频图像和所述目标图像集中的图像进行处理，判断采集的视频图像中的行人信息与所述目标图像集中的跟踪目标是否一致，若一致，则采集的视频图像中的行人即为跟踪目标，并生成相应的报警信号传输至所述报警模块，若不一致，则采集的视频图像中的行人不是跟踪目标；

所述报警模块，用于接收来自所述跟踪目标检测再识别模块的报警信号并进行报警。

2.根据权利要求1所述的跟踪目标再识别系统，其特征在于，所述报警模块包括单片机、显示模块、警示灯；所述单片机接收所述报警信号，并根据报警信号是否含有监控设备的编码判断是否为报警信号，若是报警信号，则单片机控制警示灯亮起，并同时控制显示模块显示相应的内容。

3.根据权利要求2所述的跟踪目标再识别系统，其特征在于，所述嵌入式处理器包括预处理单元、超图构建单元和超图识别单元；

所述预处理单元，用于对采集的视频图像和所述目标图像集中的图像进行预处理，其中，所述采集的视频图像和所述目标图像集中的图像构成一个图像集合式中，P是所述目标图像集中的图像数，I_p表示第p张图像；

所述超图构建单元，用于通过构建超图模型描述经预处理后的图像集合W中的图像之间的关联性；

所述超图识别单元，用于根据构建的超图模型，识别所述视频图像中的行人是否与所述目标图像集中的跟踪目标是否一致，若已知，并进一步确认所述视频图像中的行人身份信息。

4.根据权利要求3所述的跟踪目标再识别系统，其特征在于，所述预处理单元包括前景提取子单元和过分割子单元；

所述前景提取子单元用于从图像集合W的每张图像中提取包含行人轮廓信息的前景图片，并将提取得到的前景图片加入集合其中I_p ^f是图像I_p对应的前景图片，p＝1,2,…,P+1；

所述过分割单元用于对得到的前景图片I_p ^f进行过分割处理，将得到的前景图片I_p ^f划分为互不重叠的子区域，并将得到的子区域加入公共子区域集合R，其中其中N_r是集合中的P+1张前景图片分割得到的子区域的数量，r_n是第n个子区域。

5.根据权利要求4所述的跟踪目标再识别系统，其特征是，所述从图像集合W的每张图像中提取包含人员轮廓信息的前景图片，具体是：

(1)将I_p中的像素点进行初始化分类，得到初始前景像素点集合和初始背景像素点集合

(2)利用概率函数对I_p中的所有像素点属于前景像素点和背景像素点的概率进行估计；其中，计算像素点属于前景像素点的概率函数为：

式中，P_fore(kl)是像素点kl隶属于前景像素点的概率值，I^f是初始前景像素点的个数，G(k)是像素点kl的灰度值，G(k_i)是像素点k_i的灰度值，C(kl)是像素点kl的坐标，C(k_i)是像素点k_i的坐标，‖C(kl)-C(k_i)‖是像素点kl和像素点k_i的欧式距离，是κ₁、κ₂是设定的参数，ε₁、ε₂是权重因子，满足ε₁+ε₂＝1，且ε₁＞0，ε₂＞0；

计算像素点属于背景像素点的概率函数为：

式中，P_back(kl)是像素点kl隶属于背景像素点的概率值，I^b是初始背景像素点的个数，G(k)是像素点kl的灰度值，G(m_j)是像素点m_j的灰度值，C(kl)是像素点kl的坐标，C(m_j)是像素点m_j的坐标,||C(kl)-C(m_j)||是像素点kl和像素点m_j的欧式距离，κ₃、κ₄是设定的参数，ε₃、ε₄是权重因子，满足ε₃+ε₄＝1，且ε₃＞0，ε₄＞0；

计算图片I_p中所有像素点隶属于前景像素点的概率值和隶属于背景像素点的概率值，并比较P_fore(kl)和P_back(kl)的概率值大小，如果P_fore(kl)≥P_back(kl)，则像素点kl属于前景像素点，并将像素点kl划分至前景像素点集合；如果P_fore(kl)＜P_back(kl)，则像素点k属于背景像素点，并将像素点kl划分至背景像素点集合，遍历图片I_p所有像素点，按照上述规则对像素点进行分类，得到更新后的前景像素点集合和背景像素点集合；

(3)根据更新后的前景像素点集合和背景像素点集合，利用步骤(2)中的概率函数，重新计算P_fore(kl)和P_back(kl)，并进行比较，如果P_fore(kl)≥P_back(kl)，像素点kl属于前景像素点，并将像素点kl加入到前景像素点集合中；如果P_fore(kl)＜P_back(kl)，像素点kl属于背景像素点，并将像素点kl加入到背景像素点集合中，遍历图像I_p中所有像素点，实现对前景像素点集合和背景像素点集合的更新，重复步骤3，直至收敛，得到前景像素点集合；

(4)对前景像素点集合进行二值图像闭操作处理，经过二值图像闭操作处理后的前景像素点构成的集合即是前景图片。