CN103237201B - 一种基于社会化标注的案件视频研判方法 - Google Patents

Abstract

本发明涉及一种基于社会化标注的案件视频研判方法，其包括如下步骤：S1、采集视频信息，将所述包含嫌疑对象的线索截图以及嫌疑对象属性特征的标签数据存储于线索数据库中；S2、对线索数据库中嫌疑对象的标签数据进行聚类，得到若干相似嫌疑对象集合；S3、输入目标嫌疑对象的属性特征，将目标嫌疑对象的标签数据与线索数据库中的相似嫌疑对象集合进行分析比较；S4、根据相似嫌疑对象集合包含的运动轨迹信息，输出每个手机号码的轨迹；S5、所述手机号码轨迹与目标嫌疑对象的运动轨迹通过GIS方式输出视频研判结果。本发明提高视频研判的效率，融合多源信息，适应公共安全，研判信息安全可靠，研判结果显示直观。

Description

一种基于社会化标注的案件视频研判方法

技术领域

本发明涉及一种视频分析方法，尤其是一种基于社会化标注的案件视频研判方法，具体地说是利用视频图像技术对原始视频监控数据进行处理，基于社会化标注系统对视频线索截图进行嫌疑对象的属性标注，然后利用数据挖掘技术对标签数据进行聚类分析，最终将多源信息进行数据融合来研判案件的方法，属于案件研判的技术领域。

背景技术

物联网和视频监控技术在智慧城市、平安城市等各类信息化建设中得到广泛应用。公安部门在进行案件侦查过程中，监控视频已成为重要依据和线索来源，视频侦查已逐步成为继刑侦，技侦，网侦之后的第四大侦查手段。然而在大量案件视频数据里，梳理有价值的线索信息并不是一件容易的事情。在现实公安视频侦查过程中，由于技术手段和经费支持等原因，使得案件侦破过程存在一些问题：

1、从案发现场及附近采集来的原始视频数据编码格式不统一，数据量巨大，在播放和查阅时不是很方便。

2、对案件视频的分析和查阅，依然采用人工观看，单兵作战，不能形成视频信息集中研判战斗力。

3、在视频分析过程中依旧采用个人经验来研判，没能充分利用先进的信息技术手段来处理。

4、在研判结果上，也没有一个直观的展示手段。

发明内容

本发明的目的是克服现有技术中存在的不足，提供一种基于社会化标注的案件视频研判标注方法，其操作方便，提高视频研判的效率，融合信息，适应范围广，研判结果显示直观，安全可靠。

按照本发明提供的技术方案，所述基于社会化标注的案件视频研判方法，所述案件视频研判方法包括如下步骤：

S1、采集来自案发现场及附近区域的视频数据，并将所述视频数据剪切成若干线索截图，以对所述线索截图中的嫌疑对象进行属性标注，得到嫌疑对象的标签数据，且将所述包含嫌疑对象的线索截图以及嫌疑对象的标签数据存储于线索数据库中；

S2、对线索数据库中嫌疑对象的属性标签数据进行聚类，将线索数据库中包含的相似嫌疑对象聚合在一起，得到若干相似嫌疑对象集合；

S3、输入目标嫌疑对象的属性特征，将目标嫌疑对象的标签数据与线索数据库中的相似嫌疑对象集合进行分析比较；当线索数据库中的相似嫌疑对象集合与目标嫌疑对象的属性标签数据匹配时，根据相似嫌疑对象集合包含的运动轨迹信息输出目标嫌疑对象的运动轨迹信息；

S4、根据相似嫌疑对象集合包含的运动轨迹信息，获取具备相同时间、相同地理的手机信号信息；将所获取的手机信号信息按照手机号码进行分类，每个手机号码按照时间顺序进行排序，输出每个手机号码的轨迹；

S5、将上述每个手机号码的轨迹与目标嫌疑对象的运动轨迹进行对比，输出最匹配的手机号码轨迹，并将所述手机号码轨迹与目标嫌疑对象的运动轨迹通过GIS方式输出视频研判结果。

所述步骤S1中，标注嫌疑对象属性特征的标签数据时，社会化标注系统的关系元素包括标注者、嫌疑对象以及标签数据集。

所述步骤S1中，采集来自案发现场及附近区域的视频数据后，还包括对视频数据的编码格式标准化、视频图像清晰化以及视频浓缩步骤，以获取包含嫌疑对象的线索截图。

本发明的优点：

1）、通过社会化标注系统对案件视频进行标注和管理，将原始案件视频数据和嫌疑对象的标签数据统一存在远程服务器，分开存储。一方面保护了原始数据的安全和完整性，另一方面对嫌疑对象标签数据进行统一处理提高了挖掘研判效率。

2）、利用图像和视频处理技术，减少人力工作量和办案时间。

3）、融合多源数据，标签数据挖掘结果、案件视频拍摄像头坐标信息和案发现场及附近手机信号移动信息，方便确认嫌疑对象身份信息。

4）、在地图以嫌疑对象移动轨迹的方式，直观展示研判结果。

附图说明

图1为本发明进行视频案件研判系统的结构框图。

图2为本发明案件视频与嫌疑对象属性标签数据的关系示意图。

图3为本发明的流程示意图。

图4为本发明中标注者、嫌疑对象、标签数据集的关系图。

具体实施方式

下面结合具体附图和实施例对本发明作进一步说明。

随着社会化网络发展，对海量数据的社会化标注系统的理论研究和实践应用取得一定进展。尤其在图像和视频这种机器理解比较困难的数据，社会化标注具有先天的自然语义智能，辅助一定图像视频处理技术，可以快速有效进行视频分析。标签是一种元数据，是对视频数据中嫌疑对象的一种描述形式，是数据的数据。对案件视频数据这种原始数据通过标签数据进行标注，一方面保护的原始数据，另一方面标签数据更有利于数据挖掘处理。结合拍摄视频的摄像头坐标位置信息，可以在地图上直观展示研判结果。融合案发现场及附近的手机信号移动轨迹，对比研判结果，可以方便确定嫌疑目标的身份。

如图3所示：本发明基于社会化标注的案件视频研判方法包括如下步骤：

S1、采集来自案发现场及附近区域的视频信息，并将所述视频信息剪切成若干线索截图，以对所述线索截图中的嫌疑对象进行属性标注，得到嫌疑对象的属性标签数据，且将所述包含嫌疑对象的线索截图以及嫌疑对象的属性标签数据存储于线索数据库中；

如图1所示：为了能够实现本发明的研判方法，包括若干本地计算机，本地计算机通过网络与远程服务器连接。采集来自案发现场及附近区域的视频信息均存储在本地计算机内，通过本地计算机对案件视频进行必要的处理，所述处理包括编码格式标准化、视频图像清晰化、视频浓缩和线索截图。具体地，

编码格式标准化是对收集到的原始案件视频数据进行一系列的标准化处理，包括时间校对、视频码流的转码处理，以确保提取的所有视频时间的一致性。为保证后期视频播放的通用可处理性，通过视频格式转换技术，解码后重新编码，将各厂家自有视频格式的文件转换成通用格式视频文件；或者对视频进行翻录，一边播放，一边录制，这是针对格式特别罕见的编码视频，方便快捷进行编码格式标准化。

视频图像清晰化是对视频数据进行简单预处理，在频域分析技术和视频信息数字处理技术的基础上，重点解决图像清晰化的问题，使得视频辨识度增强。由于天气，光照，昼夜，设备等原因，案件视频数据都存在图像不清晰问题，难以辨认，这给公安部门的破案都带来了极大的麻烦。可通过各种图像处理的算法（锐化、去噪、去雾、去曝光、图像增强）实现图像的清晰化，从而改善图像质量，丰富信息量，增强图像的视觉效果，满足公安可以进行视频分析研判的需要。

视频浓缩就是将没有嫌疑对象的空白数据剪掉，只保留有价值的视频数据。即数据清洗就是剔除脏数据，使得数据内容更有价值。监控视频数据的具有存储量大，存储时间长等特点，通过查看视频寻找线索，获取证据线索的传统做法，更是要耗费大量的人力、物力以及时间。对原始案件视频进行浓缩，可针对重要的视频片段进行剪辑，剪切没有目标内容的空白数据，保留与案情相关的图像信息。

线索截图是将浓缩后的视频，采用模式识别或视频结构探测方法，获取能够被计算机直接处理，或能够被人的感官直接感觉到的信息，通过图像分析算法抽取代表帧图，将识别到的嫌疑对象从视频里剪切出截图，以线索截图形式保存到线索数据库。

如图2和图4所示：对上述线索截图后的线索截图需要进行标注，以便对线索截图进行分类、聚合的操作。本发明实施例中，对线索截图或线索截图进行标注时，采用机器标注，人工标注，半结构化的多维标签输入框。

所述半结构化的多维标签是指，描述每个目标嫌疑对象的属性标签维度是固定的，一部分标签是词汇受限的，只能选择，一部分标签词汇是不受限的，根据具体情况来标注。

机器标注简单嫌疑对象标签信息，利用图像处理技术对目标嫌疑对象进行处理识别，机器自动标注相关属性信息，比如目标嫌疑对象的头发颜色，上身衣服颜色，下身衣服颜色等。

人工标注，又可以称之为自然智能标注，是利用人类自身感知能力进行识别标注。在视频图像这种机器理解比较困难的数据，人工协同标注具有先天的自然语义智能。人工辅助标注嫌疑对象标签信息，对于机器标注的进行检验，对于机器无法识别标注的属性信息进行补充，比如民族，衣服款式等信息。

在本地计算机进行上述操作后，需要将采集的视频信息、嫌疑对象的标签数据、线索截图通过网络传输到远程服务器内，由远处服务器进行存储。通过远程服务器、本地计算机分布式的结构，能够保证针对同一视频信息或不同的视频信息进行不同的标注或操作，然后通过远程服务器进行聚合，提高对海量视频数据处理的效率。

S2、对线索数据库中嫌疑对象的标签数据进行聚类，将线索数据库中包含的相似嫌疑对象聚合在一起，得到若干相似嫌疑对象集合；

为对线索截图中的嫌疑对象进行轨迹挖掘，分析嫌疑对象属性标签数据的数据特性，即嫌疑对象属性特征，并依据属性类型对高维数据划分子空间。本发明实施例中，对特定子空间进行相似度计算，分析子空间置信度并赋予所需权值，进而求加权平均值，即可得到嫌疑对象之间的相似性矩阵。

嫌疑对象Pi，嫌疑对象Pj的相似度计算公式：

$\left[\mathrm{Sim}(\mathrm{Pi},\mathrm{Pj})\right]=\frac{\mathrm{\α}[\mathrm{Sim}\_\mathrm{Con}(\mathrm{Pi},\mathrm{Pj})]+\mathrm{\β}[\mathrm{Sim}\_\mathrm{Boo}(\mathrm{Pi},\mathrm{Pj})]+\mathrm{\γ}[\mathrm{Sim}\_\mathrm{Enu}(\mathrm{Pi},\mathrm{Pj})]}{\mathrm{\α}+\mathrm{\β}+\mathrm{\γ}}---\left(1\right)$

其中：Sim(Pi,Pj)是嫌疑对象Pi和Pj的整体相似度，Sim_Con(Pi,Pj)、Sim_Boo(Pi,Pj)、Sim_Enu(Pi,Pj)分别为连续型子空间、布尔型子空间、枚举型子空间的相似度，α、β、γ为三个子空间的权重赋值。通过Sim_Con(Pi,Pj)、Sim_Boo(Pi,Pj)、Sim_Enu(Pi,Pj)以及对应的权重赋值来得到相似度计算结果。

连续型子空间的相似度计算公式：

$\mathrm{Sim}\_\mathrm{Con}(\mathrm{Pi},\mathrm{Pj})=\frac{\stackrel{\→}{\mathrm{Pi}}\·\stackrel{\→}{\mathrm{Pj}}}{\left|\right|\stackrel{\→}{\mathrm{Pi}}\left|\right|\·\left|\right|\stackrel{\→}{\mathrm{Pj}}\left|\right|}---\left(2\right)$

$\stackrel{\→}{\mathrm{Pi}}\·\stackrel{\→}{\mathrm{Pj}}=\underset{1}{\overset{m}{\mathrm{\Σ}}}\mathrm{Xi}*\mathrm{Yj}=X1Y1+X2Y2+\·\·\·+\mathrm{XmYm}---\left(3\right)$

$\left|\right|\stackrel{\→}{\mathrm{Pi}}\left|\right|\·\left|\right|\stackrel{\→}{\mathrm{Pj}}\left|\right|=\sqrt{{X1}^2+{X2}^2+\·\·\·+{\mathrm{Xm}}^2}*\sqrt{{Y1}^2+{Y2}^2+\·\·\·+{\mathrm{Ym}}^2}---\left(4\right)$

其中：Xi和Yj分别是是Pi和Pj的连续型标签数据，m是连续型标签个数

布尔型子空间的相似度计算公式：

其中：一个布尔型变量只有两个状态0或1，0和1分别表示一种状态，比如1代表男性，0代表女性。a是嫌疑对象Pi和Pj值都取1的变量数目，b是嫌疑对象Pi值为0且Pj值为1的变量数目，c是嫌疑对象Pi值为1且Pj值为0的变量数目，d是嫌疑对象值都取0的变量数目。Q=a+b+c+d是变量总数，sum是求和结果。

布尔型子空间的相似度可以通过下述表格得到，具体为：

枚举型子空间的相似度计算计算公式：

$\mathrm{Sim}\_\mathrm{Enu}(\mathrm{Pi},\mathrm{Pj})=\frac{\mathrm{Sime}\_\mathrm{num}}{e}---\left(7\right)$

其中：Sime_num是Pi和Pj具有相同枚举型变量的个数，e是非空标签数。

已知n个嫌疑对象Pi，i取值为[1,n]，输入目标嫌疑对象之间的相似性矩阵[sim(Pi,Pj)]，i、j取值为[1,n]，通过凝聚式层次聚类算法计算，输出若干组相似嫌疑对象集合，本发明实施例中，聚类的终止条件相似度大于80%。

所述凝聚式聚类层次算法是，输入嫌疑对象之间相似性矩阵[sim(Pi,Pj)],按相似度降序排列两两嫌疑对象；初始时每个嫌疑对象指派为单独一簇；选取相似度最高的两个嫌疑对象,合并两个嫌疑对象为同一簇；如果相似度最高的两个嫌疑对象在同一簇中，将其中一个嫌疑对象所在的簇中的所有嫌疑对象合并到另一个嫌疑对象所在的簇中，此时当前的簇数减一个，循环执行合并过程，直至终止条件相似度小于80%，输出嫌疑对象集合。即能得到若干相似对象集合。

S3、输入目标嫌疑对象的属性标签数据，将目标嫌疑对象的属性标签数据与线索数据库中的相似嫌疑对象集合进行分析比较；当线索数据库中的相似嫌疑对象集合与目标嫌疑对象的属性标签数据匹配时，根据相似嫌疑对象包含的运动轨迹信息输出目标嫌疑对象的运动轨迹信息；

当输入目标嫌疑对象的属性标签数据时，本地计算机将所述目标嫌疑对象的属性标签数据传输到远程服务器内，触发远程服务器将目标嫌疑对象的属性标签数据与相似嫌疑对象集合的分析比较，然后远程服务器向本地计算机输出具备相似属性标签数据的一组嫌疑对象。根据所述相似嫌疑对象集合内包含的时间信息、位置信息能够输出目标嫌疑对象的运动轨迹信息。本发明实施中，远程服务器能输出相似度前三的三组相似嫌疑对象集合，对每一组的相似目标集合根据时间顺序，排出位置变化，即能得到目标嫌疑对象的三条可能轨迹。

S4、根据相似嫌疑对象集合包含的运动轨迹信息，获取具备相同时间、相同地理的手机信号信息；将所获取的手机信号信息按照手机号码进行分类，每个手机号码按照时间顺序进行排序，输出每个手机号码的轨迹；

在确定嫌疑对象可能运动轨迹的基础上，办案人员需要联系电信部门，以目标嫌疑对象出现的位置和出现的时间为突破口，收集某个位置一定范围内的相同时间的手机信号。然后对收集信号进行手机号码分类，依据时间顺序进行轨迹描绘，即锁定相关收集信号的移动轨迹。本发明实施例中，收集的手机信号信息也需要本地计算机通过网络传输到远程服务器，由远处服务器进行信息的比较判断。

时空共现，是指两种嫌疑对象实例在时间和空间处于近邻；轨迹共现，就是两种嫌疑对象轨迹处于近邻。本发明实施例中，研究轨迹共现是研究目标嫌疑对象的轨迹和手机信号的轨迹的共现问题。对前面计算得来的目标嫌疑对象的轨迹和手机信号的轨迹，进行轨迹共现度的计算。

手机信号轨迹本身具有连续型，但是在被离散的目标嫌疑对象分割成若干离散点。由于噪声数据等原因，手机信号轨迹的离散点与嫌疑对象轨迹的离散点并不完全重合。可以两种嫌疑对象轨迹的离散点重合个数来计算轨迹的相似度，轨迹共现度（Sim_T）就等于手机信号轨迹的离散点（M_p_n）除以嫌疑对象轨迹的离散点（O_p_n）：

Sim_T=M_p_n/O_p_n（8）

离散轨迹由折线构成，连续的折线形成轨迹，在二维地图上，不重合的折线会形成闭合区域。可以通过计算两条离散轨迹直接闭合区域的面积大小来确定轨迹的相似度。闭合区域越小，相似度越大。

当警方已知目标嫌疑对象的某条可能轨迹，收集描绘相关手机信号的轨迹，继而对目标嫌疑对象轨迹与手机信号轨迹集合进行轨迹相似度计算，排出最相似的三条轨迹，即表明，这三个手机信号很可能是目标嫌疑对象的。确认目标嫌疑对象手机号码，进而确认目标嫌疑对象身份信息。警方也可以直接在地图上分析离散轨迹闭合区域的大小来定性研判轨迹的相似性。

S5、将上述每个手机号码的轨迹与目标嫌疑对象的运动轨迹进行对比，输出最匹配的手机号码轨迹，并将所述手机号码轨迹与目标嫌疑对象的运动轨迹通过GIS（GeographicInformationSystem或Geo－Informationsystem，GIS）方式输出视频研判结果。

当远程服务器在对目标嫌疑对象的运动轨迹以及手机信号轨迹判断后，将对应的匹配结构传输返回到本地计算机内，在本地计算机内通过GIS的形式输出，即以地图的形式输出目标嫌疑对象的运动轨迹。结合地图数据和摄像头坐标信息，展示目标嫌疑对象可能的移动轨迹。同时展示案发现场和附近相同时间、相同位置的手机信号移动轨迹。直观融合对比，确定目标嫌疑对象的身份信息。

本发明通过社会化标注系统对案件视频进行标注和管理，将原始案件视频数据分布式存在不同地方，将嫌疑对象属性的标签数据统一存在远程服务器的线索数据库里。一方面保护了原始数据的安全和完整性，另一方面对嫌疑对象属性的标签数据进行处理提高了挖掘研判效率。

利用图像和视频处理技术，减少人力工作量和办案时间。融合多源数据，标签数据挖掘结果、案件视频拍摄像头坐标信息和案发现场及附近手机信号移动信息，方便确认嫌疑对象身份信息。在地图以嫌疑对象移动轨迹的方式，直观展示研判结果。

Claims (1)

1.一种基于社会化标注的案件视频研判方法，其特征是，所述案件视频研判方法包括如下步骤：

（S1）、采集来自案发现场及附近区域的视频信息，并将所述视频信息剪切成若干线索截图，以对所述线索截图中的嫌疑对象进行属性标注，得到嫌疑对象属性的标签数据，且将所述包含嫌疑对象的线索截图以及嫌疑对象属性的标签数据存储于线索数据库中；

（S2）、对线索数据库中嫌疑对象的属性标签数据进行聚类，将线索数据库中包含的相似嫌疑对象聚合在一起，得到若干相似嫌疑对象集合；

（S3）、输入目标嫌疑对象的属性标签数据，将目标嫌疑对象的属性标签数据与线索数据库中的相似嫌疑对象集合进行分析比较；当线索数据库中的相似嫌疑对象集合与目标嫌疑对象的属性标签数据匹配时，根据相似嫌疑对象集合包含的运动轨迹信息输出目标嫌疑对象的运动轨迹信息；

（S4）、根据相似嫌疑对象集合包含的运动轨迹信息，获取具备相同时间、相同地理的手机信号信息；将所获取的手机信号信息按照手机号码进行分类，每个手机号码按照时间顺序进行排序，输出每个手机号码的轨迹；

（S5）、将上述每个手机号码的轨迹与目标嫌疑对象的运动轨迹进行对比，输出最匹配的手机号码轨迹，并将所述手机号码轨迹与目标嫌疑对象的运动轨迹通过GIS方式输出视频研判结果；

所述步骤S1中，标注嫌疑对象属性特征的标签数据时，社会化标注系统的关系元素包括标注者、嫌疑对象以及标签数据集；

所述步骤S1中，采集来自案发现场及附近区域的视频数据后，还包括对视频数据的编码格式标准化、视频图像清晰化以及视频浓缩步骤，以获取包含嫌疑对象的线索截图。