CN107992795B - 基于人口信息库与实名通话记录的团伙及其头目识别方法 - Google Patents

Abstract

本发明公开了一种基于人口信息库与实名通话记录的团伙及团伙头目的识别方法，该方法包括：(1)对监控中的人群场景分析，监控视频中移动的行人和静止人群进行小群体(团伙)分割，确定团伙群体目标；对团伙群体目标进行人脸检测；(2)分别通过确定团伙成员之间的跟随关系、确定人脸方向持续时间进行基于视频信息的团伙头目检测；(3)基于人口信息库，通过深度学习卷积神经网络算法实现人像比对，确定团伙成员身份信息；(4)结合通讯数据库，确定团伙内部实名通话时间及次数记录，以及团伙与外部异常通话时间、次数记录，实现基于通话记录的团伙头目检测；(5)综合分析视频信息及通话记录关系，实现犯罪团伙头目和成员的识别。

Description

基于人口信息库与实名通话记录的团伙及其头目识别方法

技术领域

本发明属于监控视频中人脸识别、移动通信数据挖掘、犯罪地理学技术领域，具体设计是对监控视频人脸识别和实名通话记录数据分析对团伙及团伙头目精确识别的方法。

背景技术

在当前城市犯罪的案情报告中，团伙性质作案的数目和比例呈现逐年递增趋势，犯罪形势严峻。团伙化犯罪其人数规模大、组织形式多样、危害程度高、团伙抓捕难度大等特点越来越多的构成了对社会公共安全、平安城市的较大威胁。对充分把握破案的主动权，完善犯罪团伙的分析需求不断上升。

现阶段，随着监控视频系统的普及，移动通信技术的发展，深度学习卷积神经网络算法在人脸识别等图像处理领域优秀计算能力，大量的监控视频卡口数据、行人轨迹、人口信息数据库、实名通讯数据库等大数据为及时快速的判断犯罪团伙规模、定位和识别犯罪团伙提供了技术契机。

发明内容

针对现有技术中存在的(1)理论性强，缺少实际场景的应用；(2)容易造成团伙犯罪的部分团伙成员漏网；(3)未考虑团伙成员频繁联系的潜在犯罪分子；(4)未充分利用人口信息库以及实名通话记录数据库等问题，本发明提出了一种针对实际应用监控视频场景下，运用人口信息数据库和通讯数据库等大数据，对团伙及团伙头目进行人脸识别。和现有技术相比，本发明根据人口信息库与深度学习卷积神经网络算法识别出来的团伙个人信息，结合通讯数据库的实名通话记录分析，确定团伙关联活动网络，进而实现对犯罪团伙及团伙头目团伙和外部异常成员的精确识别和打击。

基于人口信息库与实名通话记录的团伙及团伙头目的识别，其特征包括以下步骤：

步骤1：对监控中的人群场景分析，监控视频中移动的行人和静止人群进行小群体(团伙)分割，确定团伙群体目标；针对以上两种情况对监控视频的群体进行人脸检测。

步骤2：分别通过确定监控视频中移动团伙成员之间的跟随关系、监控视频中静止小群体团伙人脸方向持续时间，进行基于视频信息的团伙头目检测。

步骤3：基于人口信息库，通过深度学习卷积神经网络算法实现人像比对，确定团伙成员身份信息。

步骤4：结合通讯数据库，确定团伙内部实名通话时间及次数记录，以及团伙与外部异常通话时间、次数记录，实现基于通话记录的团伙头目检测。

步骤5：综合分析视频信息及通话记录关系，实现犯罪团伙头目和成员和团伙外部异常成员的识别。

进一步地，步骤1包括以下步骤：

步骤：1.1：运动小群体KLT特征点：采用Kanade-Lucas-Tomasi(KLT)算法，获得运动小群体特征点的位置，小群体特征点跟踪得到运动轨迹；t时刻对应的某一帧图像F(x,y,t),t+τ时刻对应的图像为G(x,y,t+τ),灰度值平方差和(sum of squared differences,SSD)最小化d:

d＝∫∫w·[G(x+d)-F(x)]²dx (1-1)

其中，F(x)、G(x+d)代表相邻两帧的关系，w为权值。位移量

为每一帧的特征点在空间上的位移

步骤1.2：小群体前景提取：使用M个混合高斯模型表征图像的像素点的特征，在下一帧中更新混合高斯模型。通过对比前后两帧像素点和混合高斯模型的匹配度，匹配背景像素点和前景像素点。前景像素点为二进制掩膜，连通区域为U_k，帧图像F由小群体前景块构成的集合U_F＝{U₁,U₂,U₃,…,U_k}，表示帧图像F包含的连通的小群体前景块。

步骤1.3：按照空间位置对静止小群体划分：通过连通的小群体前景块的边界位置，由其坐标值划分矩形区域，同时获得边界坐标。根据特征点是否在小群体前景块划分特征点位置，在空间上相近的个体划分为同一个小群体。

步骤1.4：按照时间顺序在运动小群体划分：特征点运动方向与x轴的夹角α

其中，

为特征点在x、y轴上的位移；将夹角12等分，确定12个方向，为D_dirc赋值：

通过计算帧与帧图像之间特征点的运动关系D_dirc，将小群体块U_F再次划分为特征点集U_F＝{V}，其中V＝{C₁,C₂,C₃,…,C_k}。此时运动方向一致的特征点被标记为一个群体即分割团伙目标。

步骤1.5：使用已训练的基于Haar-like特征的Adaboost人脸检测器模型对小群体(团伙)分割后的行人进行人脸检测。

进一步地，步骤2包括以下步骤：

步骤2.1：确定运动团伙成员之间的跟随关系：

其中，归一化因子

d_ab为团伙成员轨迹上的欧氏距离。

步骤2.2：确定静止团伙成员之间的头目-成员关系：

其中，n个人中第i个团伙成员面朝目标团伙头目j的最大时间为t_i,j。

进一步地，上述步骤3包括以下步骤：

步骤3.1：将检测到的小群体目标人脸图像和人口信息数据库中图像逐一输入到已训练好的GoogLenet卷积神经网络模型中，通过反向传播迭代产生更新后的卷积神经网络特征；

步骤3.2：获取GoogLenet卷积神经网络模型提取的4096维特征，输入到softmax损失层，其中网络中有Loss1、Loss2、Loss3共三个softmax损失函数，假设函数：

其中x⁽ⁱ⁾∈Rⁿ⁺¹,θ为训练好的模型参数，能够最小化代价函数：

步骤3.3：采用余弦距离度量方式对特征进行匹配，逐一计算目标图像和人口信息数据库中图像特征之间的余弦距离，将距离从小到大排序，选择排序靠前的一组图像作为识别结果，得到包括小群体团伙头目及团伙成员的个人信息。

进一步地，上述步骤4包括以下步骤：

步骤4.1：团伙内部实名通话时间及通话次数：根据人口信息库和基于CNN的人像比对获得团伙内部成员身份信息，根据通讯数据库，统计团伙内部头目和成员之间通话时间表示：

其中，t_i,j为n个小群体团伙中第i个团伙成员和团伙头目j的通话时间，

为所有团伙成员和团伙头目通话总时间；

为团伙头目所有通话总时间。

团伙内部头目和成员之间通话次数，公式如下：

其中，n为群体团伙成员总人数；c_i,j为第i个团伙成员和团伙头目j的通话次数，

为团伙成员和团伙头目通话总次数；

为团伙头目所有通话总次数。

综合分析团伙内部通话时间、通话次数记录：

g_i＝max[m_t+μ·m_c] (4-3)

其中，μ为团伙内部通话次数的阈值。

步骤4.2：团伙同外部成员通话时间及通话次数：对于团伙中每一个成员n，其联系人列表为n₁,…,n_q，在τ时间节点上的通话时间：

其中，n为团伙内部成员总人数,p为团伙外部成员人数；t_τ,e,n为第e个团伙外部成员和团伙成员n在τ时间节点上的通话时间；

为团伙成员与团伙外部成员在τ时间节点上的通话总时间；

为团伙成员和其所有联系人在τ时间节点上的通话总时间。

团伙内部成员和团伙外部成员之间在τ时间节点上的通话次数：

其中，c_τ,e,n为第n个团伙成员和第e个团伙外部成员在τ时间节点上的通话次数，

为团伙成员n和总数为p的团伙外部成员在τ时间节点上的通话总次数；

为团伙成员n在τ时间节点上所有通话总次数。

综合分析团伙内部成员和团伙外部成员通话时间、通话次数记录：

e_o＝max[e_t+ω·e_c] (4-6)

其中，ω为团伙内部成员和团伙外部成员在τ时间节点上通话次数的阈值；结合人口信息库和通讯数据库确定团伙外部异常成员名单和个人信息。

进一步地，上述步骤5所述包括以下步骤：结合视频信息的团伙头目检测和基于通话时间、通话次数的团伙及团伙头目和外部成员检测分析，确定团伙头目、团伙成员及团伙外部异常成员名单和个人信息，实现对整个团伙的精确识别:

p＝α(g_i+e_o)+β(f+d_t) (4-7)。

附图说明

图1为本发明的流程图；

图2为小群体分割示意图；

图3为GoogLenet卷积神经网络结构图；

图4为团伙成员和团伙头目、团伙成员和团伙外部异常成员在τ时间节点上通话记录网络图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1-4所示，本发明的基于人口信息库与实名通话记录的团伙及团伙头目的识别方法，包括如下步骤：

步骤1：对监控中的人群场景分析，监控视频中移动的行人和静止人群进行小群体(团伙)分割，确定团伙群体目标；针对以上两种情况对监控视频的群体进行人脸检测。

子步骤如下：

步骤1.1：对监控视频中移动的行人进行提取运动小群体KLT特征点：采用Kanade-Lucas-Tomasi(KLT)算法，获得运动小群体特征点的位置，小群体特征点跟踪得到运动轨迹；t时刻对应的某一帧图像F(x,y,t),t+τ时刻对应的图像为G(x,y,t+τ),灰度值平方差和(sum of squared differences,SSD)最小化d:

d＝∫∫w·[G(x+d)-F(x)]²dx (1-1)

其中，F(x)、G(x+d)代表相邻两帧的关系，w为权值。位移量

为每一帧的特征点在空间上的位移。

步骤1.2：根据群体团伙的时间和空间运动区域一致性和邻近性，通过时空信息约束算法，分别针对运动小群体(团伙)分割和静止小群体(团伙)分割确定团伙目标，通过构建混合高斯模型来确定前景点和背景点，确定连通斑块获得前景集合U_F＝{U₁,U₂,U₃,…,U_k}。目的是把前景集合从视频图像中分离出来。

使用M个混合高斯模型表征图像的像素点的特征，在下一帧中更新混合高斯模型。通过对比前后两帧像素点和混合高斯模型的匹配度，可以匹配为背景像素点，否则为前景像素点。前景像素点为二进制掩膜，连通区域为U_k，帧图像F由小群体前景块构成的集合U_F＝{U₁,U₂,U₃,…,U_k}，表示帧图像F包含的连通的小群体前景块。

步骤1.3：按照空间位置对静止小群体划分，在空间位置上，将分离出来的所有前景聚类划分为小群体。通过连通的小群体前景块的边界位置，由其坐标值划分矩形区域，同时获得边界坐标。根据特征点是否在小群体前景块划分特征点位置，在空间上相近的个体划分为同一个小群体。

步骤1.4：按照时间顺序在运动小群体划分：特征点运动方向与x轴的夹角α：

其中，

为特征点在x、y轴上的位移；将夹角12等分，确定12个方向，为D_dirc赋值：

通过帧与帧之间的运动关系确定方向聚类划分小群体，进一步完成小群体分割。将小群体块U_F再次划分为特征点集U_F＝{V}，其中V＝{C₁,C₂,C₃,…,C_k}。此时运动方向一致的特征点被标记为一个群体即确定团伙目标。

步骤1.5：使用已训练的基于Haar-like特征的Adaboost人脸检测器模型对小群体(团伙)分割后的行人进行人脸检测。

步骤2.1：分析团伙运动轨迹和运动方向，采用时空滞后法确定团伙成员之间的跟随关系：

其中，归一化因子

d_ab为团伙成员轨迹上的欧氏距离。

步骤2.2：确定静止团伙成员之间的头目-成员关系：

其中，n个人中第i个团伙成员面朝目标团伙头目j的最大时间为t_i,j。

步骤3.1：将团伙头目及成员的识别问题转化为目标人群人口信息数据库检索问题，从而能够利用GoogLenet卷积神经网络强大的分类能力，将检测到的目标图像和人口信息数据库中图像逐一输入到已训练好的GoogLenet卷积神经网络模型中，通过反向传播迭代产生更新后的卷积神经网络特征。GoogLenet卷积神经网络是22层的深度卷积神经网络结构，分别包括inception结构分别为1×1,3×3,5×5的卷积核用来处理多姿态多尺度人脸识别的问题。

步骤3.2：获取隐藏层最后输出的4096维特征，输入到softmax层，其中网络中有Loss1、Loss2、Loss3共三个softmax损失函数，Loss1和Loss2加快了网络收敛速度，增加了特征多样性。假设函数：

其中x⁽ⁱ⁾∈Rⁿ⁺¹,θ为训练好的模型参数，能够最小化代价函数：

步骤3.3：采用余弦距离度量方式对特征进行匹配，逐一计算目标图像和人口信息数据库中图像特征之间的余弦距离，将距离从小到大排序，选择排序靠前的一组图像作为识别结果，得到小群体团伙头目及团伙成员的个人信息。

步骤4：结合通讯数据库，确定团伙内部实名通话时间及次数记录，以及团伙与外部异常通话时间、次数记录，实现基于通话记录的团伙头目检测，子步骤如下：

步骤4.1：团伙内部实名通话时间及通话次数：根据人口信息库和基于CNN的人像比对获得团伙内部成员身份信息，根据通讯数据库，统计团伙内部头目和成员之间通话时间表示：

其中，t_i,j为n个小群体团伙中第i个团伙成员和团伙头目j的通话时间，

为所有团伙成员和团伙头目通话总时间；

为团伙头目所有通话总时间。

统计分析团伙内部头目和成员之间通话次数：

其中，n为群体团伙成员总人数；c_i,j为第i个团伙成员和团伙头目j的通话次数，

为团伙成员和团伙头目通话总次数；

为团伙头目所有通话总次数。

综合分析团伙内部通话时间、通话次数记录：

g_i＝max[m_t+μ·m_c] (4-3)

其中，μ为团伙内部通话次数的阈值。

步骤4.2：团伙同外部成员通话时间及通话次数：对于团伙中每一个成员n，其联系人列表为n₁,…,n_q，在τ时间节点上的通话时间：

其中，n为团伙内部成员总人数,p为团伙外部成员人数；t_τ,e,n为第e个团伙外部成员和团伙成员n在τ时间节点上的通话时间；

为团伙成员与团伙外部成员在τ时间节点上的通话总时间；

为团伙成员和其所有联系人在τ时间节点上的通话总时间。

团伙内部成员和团伙外部成员之间在τ时间节点上的通话次数：

其中，c_τ,e,n为第n个团伙成员和第e个团伙外部成员在τ时间节点上的通话次数，

为团伙成员n和总数为p的团伙外部成员在τ时间节点上的通话总次数；

为团伙成员n在τ时间节点上所有通话总次数。

综合分析团伙内部成员和团伙外部成员通话时间、通话次数记录：

e_o＝max[e_t+ω·e_c] (4-6)

其中，ω为团伙内部成员和团伙外部成员在τ时间节点上通话次数的阈值；结合人口信息库和通讯数据库确定团伙外部异常成员名单和个人信息。

步骤5.1：结合视频信息的团伙头目检测和基于通话时间、通话次数的团伙及团伙头目和外部成员检测分析，确定团伙头目、团伙成员及团伙外部异常成员名单和个人信息，实现对整个团伙的精确识别:

p＝α(g_i+e_o)+β(f+d_t) (4-7)

α、β分别为基于通话记录的团伙检测、视频信息的团伙检测在团伙头目及成员检测中的权重系数。

Claims (5)

1.基于人口信息库与实名通话记录的团伙及团伙头目的识别，其特征包括以下步骤：

步骤1：对监控中的人群场景分析，监控视频中移动的行人和静止人群进行小群体团伙分割，确定团伙群体目标；针对以上两种情况对监控视频的群体进行人脸检测；

步骤2：分别通过确定监控视频中移动团伙成员之间的跟随关系、监控视频中静止小群体团伙人脸方向持续时间，进行基于视频信息的团伙头目检测；

步骤3：基于人口信息库，通过深度学习卷积神经网络算法实现人像比对，确定团伙成员身份信息；

步骤4：结合通讯数据库，确定团伙实名通话时间及次数记录，以及团伙与外部异常通话时间、次数记录，实现基于通话记录的团伙头目检测；

步骤5：综合分析视频信息及通话记录关系，实现犯罪团伙头目和成员和团伙外部异常成员的识别；

上述步骤4中具体步骤如下：

步骤4.1：团伙实名通话时间及通话次数：根据人口信息库和基于CNN的人像比对获得团伙成员身份信息，根据通讯数据库，统计团伙头目和成员之间通话时间表示：

其中，t_i,j为r个小群体团伙中第i个团伙成员和团伙头目j的通话时间，

为所有团伙成员和团伙头目通话总时间；

为团伙头目所有通话总时间；

团伙头目和成员之间通话次数，公式如下：

其中，n为团伙成员总人数；c_i,j为第i个团伙成员和团伙头目j的通话次数，

为团伙成员和团伙头目通话总次数；

为团伙头目所有通话总次数；

综合分析团伙内部通话时间、通话次数记录：

g_i＝max[m_t+μ·m_c] (4-3)

其中，μ为团伙内部通话次数的阈值；

步骤4.2：团伙同外部成员通话时间及通话次数：对于团伙中每一个成员n，其联系人列表为n₁,…,n_q，在τ时间节点上的通话时间：

其中，n为团伙成员总人数,p为团伙外部成员人数；t_τ,e,n为第e个团伙外部成员和团伙成员n在τ时间节点上的通话时间；

为团伙成员与团伙外部成员在τ时间节点上的通话总时间；

为团伙成员和其所有联系人在τ时间节点上的通话总时间；

团伙成员和团伙外部成员之间在τ时间节点上的通话次数：

其中，c_τ,e,n为第n个团伙成员和第e个团伙外部成员在τ时间节点上的通话次数，

为团伙成员n和总数为p的团伙外部成员在τ时间节点上的通话总次数；

为团伙成员n在τ时间节点上所有通话总次数；

综合分析团伙成员和团伙外部成员通话时间、通话次数记录：

e_o＝max[e_t+ω·e_c] (4-6)

其中，ω为团伙成员和团伙外部成员在τ时间节点上通话次数的阈值；结合人口信息库和通讯数据库确定团伙外部异常成员名单和个人信息。

2.根据权利要求1所述的基于人口信息库与实名通话记录的团伙及团伙头目的识别，其特征在于：上述步骤1中具体步骤如下：

步骤：1.1：运动小群体KLT特征点：采用Kanade-Lucas-Tomasi(KLT)算法，获得运动小群体特征点的位置，小群体特征点跟踪得到运动轨迹；t时刻对应的某一帧图像F(x,y,t),t+τ时刻对应的图像为G(x,y,t+τ),灰度值平方差和(sum of squared differences,SSD)最小化d:

d＝∫∫w·[G(x+d)-F(x)]²dx (1-1)

其中，F(x)、G(x+d)代表相邻两帧的关系，w为权值；位移量

为每一帧的特征点在空间上的位移；

步骤1.2：小群体前景提取：使用M个混合高斯模型表征图像的像素点的特征，在下一帧中更新混合高斯模型；通过对比前后两帧像素点和混合高斯模型的匹配度，匹配背景像素点和前景像素点；前景像素点为二进制掩膜，连通区域为U_k，帧图像F由小群体前景块构成的集合U_F＝{U₁,U₂,U₃,…,U_k}，表示帧图像F包含的连通的小群体前景块；

步骤1.3：按照空间位置对静止小群体划分：通过连通的小群体前景块的边界位置，由其坐标值划分矩形区域，同时获得边界坐标；根据特征点是否在小群体前景块划分特征点位置，在空间上相近的个体划分为同一个小群体；

步骤1.4：按照时间顺序在运动小群体划分：特征点运动方向与x轴的夹角α

其中，

为特征点在x、y轴上的位移；将夹角12等分，确定12个方向，为D_dirc赋值：

通过计算帧与帧图像之间特征点的运动关系D_dirc，将小群体块U_F再次划分为特征点集U_F＝{V}，其中V＝{C₁,C₂,C₃,…,C_k}；此时运动方向一致的特征点被标记为一个群体即分割团伙目标；

步骤1.5：使用已训练的基于Haar-like特征的Adaboost人脸检测器模型对小群体团伙分割后的行人进行人脸检测。

3.根据权利要求1所述的基于人口信息库与实名通话记录的团伙及团伙头目的识别，其特征在于：上述步骤2中具体步骤如下：

步骤2.1：确定运动团伙成员之间的跟随关系：

其中，归一化因子

d_ab为团伙成员轨迹上的欧氏距离；

步骤2.2：确定静止团伙成员之间的头目-成员关系：

其中，n个人中第i个团伙成员面朝目标团伙头目j的最大时间为t_i,j。

4.根据权利要求1所述的基于人口信息库与实名通话记录的团伙及团伙头目的识别，其特征在于：上述步骤3中具体步骤如下：

步骤3.1：将检测到的小群体目标人脸图像和人口信息数据库中图像逐一输入到已训练好的GoogLenet卷积神经网络模型中，通过反向传播迭代产生更新后的卷积神经网络特征；

步骤3.2：获取GoogLenet卷积神经网络模型提取的4096维特征，输入到softmax损失层，其中网络中有Loss1、Loss2、Loss3共三个softmax损失函数，假设函数：

其中x⁽ⁱ⁾∈Rⁿ⁺¹,θ为训练好的模型参数，能够最小化代价函数：

步骤3.3：采用余弦距离度量方式对特征进行匹配，逐一计算目标图像和人口信息数据库中图像特征之间的余弦距离，将距离从小到大排序，选择排序靠前的一组图像作为识别结果，得到包括小群体团伙头目及团伙成员的个人信息。

5.根据权利要求3所述的基于人口信息库与实名通话记录的团伙及团伙头目的识别，其特征在于：上述步骤5，结合视频信息的团伙头目检测和基于通话时间、通话次数的团伙及团伙头目和外部成员检测分析，确定团伙头目、团伙成员及团伙外部异常成员名单和个人信息，实现对整个团伙的精确识别:

p＝α(g_i+e_o)+β(f+d_t) (4-7)

α、β分别为基于通话记录的团伙检测、视频信息的团伙检测在团伙头目及成员检测中的权重系数。

Images