CN107688830B - 一种用于案件串并的现勘视觉信息关联图层生成方法 - Google Patents

Abstract

本发明公开了一种用于案件串并的现勘视觉信息关联图层的生成方法，解决现有现勘图像特征提取方法由于采用封闭式或模板式的特征导致细节和异常信息丢失和淹没的缺陷。实现步骤为：利用区域生成网络提取现勘图像（或视频关键帧）的小目标块；设计现勘视觉信息树，包括图像层和衍生层，衍生层具有放大细节的功能，将现勘视觉信息树训练为卷积神经网络分类器，利用分类器将小目标块表征为现勘元素矩阵；通过计算元素矩阵的相似度，生成关联图层；利用阈值的方法，筛选与当前案件关联的案件，以此方式展开生成新的关联图层。关联图层能够全面、完整描述案件关系，能够发散式、立体式的关联更多信息，从而提高了智能串并案方法在线索挖掘方面的能力。

Description

一种用于案件串并的现勘视觉信息关联图层生成方法

技术领域

本发明属于图像处理和机器学习技术领域，涉及一种用于案件串并的现勘视觉信息关联图层生成方法，可用于海量案件的信息关联，实现案件的串并。

背景技术

随着现在交通和信息传播的高速发展，技术型团伙作案有向深层方向发展趋势。串并案的实现有利于加强跨地区的刑侦合作，共享犯罪信息资源以及主动出击，预防犯罪。在许多系列案件中,作案时间、作案地点、作案手段、侵害目标等都具有相对的稳定性和规律性,尤其指纹、足迹、工痕等现勘数据具有高度的一致性和相关性，而且现场勘验的时效性和精确度的要求非常高，所以基于现勘数据的智能串并案是高速破案的关键，也是趋势所在。

串案和并案(简称串并案)是侦破系列案件非常有效的方法。所谓系列案件的串并是指把不同地域或不同时间发生的多起案件，通过对案件中发现的各种痕迹、线索进行分析，认为这些案件可能为同一犯罪主体所为，因而把这些案件进行合并侦查的办案手段。系列案件的串并可以把看似无关联的线索、物证进行综合分析，找出足够的证据锁定犯罪嫌疑人。串并案件有利于从多方面获取犯罪证据，并及时掌握犯罪分子的全部罪行。对串并案而言，一般是根据已发案件的某些特征，到案件数据中进行检索，找到相关联的案件，将其串并在一起从而获得更多的线索。

随着成像设备的普及和图像处理和模式识别技术的发展，利用各种自动化分析技术逐渐成为刑侦破案的一种重要手段。基于现勘图像的信息化破案技术也越来越受到办案人员的重视，现勘图像所携带的二维的犯罪现场信息提供了丰富、真实、完整的破案线索，它在信息化破案中具有潜在优势。如果能将这些信息智能串并在一起，有望可以实现以下数据分析任务：发掘人眼未能识别的线索，自动检测异常事件的发生，以及在大数据库中关联相关信息，这些不仅是对破案非常的有用，而且是基层办案人员在短时间内无法人工完成的。

现实案件侦破过程中，案件的串并主要依靠物证检验技术人员对痕迹物证进行甄别和挖掘串并条件，依据串并条件认定为同一犯罪主体就可以进行串并案。在模式识别研究领域中，系列案件的智能串并分析其实是信息的分类和检索问题，串并条件的确定对应特征提取问题，这两个都是的模式识别里的经典问题。传统的方法分成两个步骤来实现：(a)特征提取；(b)分类器的构造。但是，实际的案件侦破工作不同于以往传统的模式识别研究的问题，线索是破案的根本，找到串并条件是实现串并破案的核心。由于线索的未知性、稀缺性不稳定性等特点，串并条件又不同于特征提取。可见，智能串并案分析问题可以借鉴经典的模式识别的方法，但是又具有新的挑战。智能串并案分析目前存在主要问题列举如下：

目前的智能串并案分析研究基本上是利用现有的案件关键词。韩等人利用FCM的聚类算法可以实现自动串并案分析模型，从而实现系列案件的自动聚类，参见参考文献“韩宁,陈巍.基于聚类分析的串并案研究.中国人民公安大学学报(自然科学版)，2012，1(1)：53-58”。采用聚类操作以后，将数据库中的案件按照一定的判断标准分成若干类。因为韩等人采用的是本文特征词的文本分析方法，而特征词来自办案人员的主观录入的简要案情。类似的方法还有郑等人2017年提出的发明专利“一种串并识别方法”，张等人2016年提出的发明专利“一种案件关键字符串串并的检测方法”。这些关键词本身就是人对当前案件在短时间内的理解，而且这些关键词通常是一些格式化的语义描述，即便是办案人员对犯罪现场有了一定深度的了解，而在办案人员的对案情进行录入的时候，又会对一些信息进行过滤，格式化的特征词还不能完全反映人对场景、细节等信息的理解。

目前的基于图像内容的智能串并案研究是基于图像全局特征的。例如，刘等人于2010年获得的发明专利“一种信息是案件的串并案智能分析方法”对图像提取多维特征提取，用一个一维特征向量描述一幅图像，类似的方法如2016年袁等人提出的发明专利“移动式视频侦查方法”同样是提取一幅图像中的运动目标，对其进行表征。刑侦案件中采集的图像和视频往往具有以下三个特点：(a)多目标；(b)背景复杂；(c)最有价值破案线索往往是局部异常信息。在数据录入阶段，现有的技术需要录入现场勘验采集到的图像信息，视频信息，时间信息等犯罪现场信息，在后期分析阶段，需要对这些生数据进行加工，特征提取，进行编码以及填写标签等操作。而现有的分析系统大多是依赖这些加工后的辅助信息才能完成信息的检索，极少数的方法是基于图像内容对现勘数据实现分类以及自动识别等功能。也就是说多数基于现勘图像的自动分析技术往往是基于宏观特征的，例如，现在数据库中检索一把匕首，检索的结果是将数据库中的所有匕首都检索出来，这样的关联结果对于数据的管理具有非常重要的意义，但是对于挖掘新线索是没有意义的，现勘图像中最有价值破案线索往往是局部异常信息，例如这把匕首的特殊形状或者残缺、指纹图像的脊线以及交通工具的碰撞痕迹等细节信息。

基于固定的模板和格式的特征无法表征案件的异常信息。例如，2016年王等人提出发明专利“在案件串并和嫌疑人排查中的数据挖掘方法”采用了固定的标签模板，2014年向等人提出的发明专利“一种案件特征串并的分析方法”采用了串并项打分模板，王等人2016年公开的发明专利“一种串并案分类方法及串并案分类系统”采用6维特征信息描述当前案件。然而，在刑侦破案过程中，最有价值破案线索往往是局部异常信息，这些异常信息无法用模板进行表达。每一个案件的情况千差万别，所需要检测的对象也形形色色，在录入模板信息时一定会加入人主观的理解。而且在真实场景中的异常检测，容易受环境因素的影响。被检测的目标通常处于变化无常的背景中。在所有影响异常检测结果的因素中，最主要的三个因素是拍摄的角度和尺度的变化，光照的变化和被检测对象的平移和旋转等变化。这些因素都能影响异常的判定，导致将正常状态误判为异常。

综上所述，现有的案件的智能串并方法没有考虑实际案件中采集的现勘图像的多目标性，以及忽略了细节信息在案件串并中的作用，从而限制了图像处理及机器学习的方法在刑侦破案方面的应用。因此，如何有效的表征现勘视觉信息的局部信息，以及如何更为有效度量少量细节信息的关联程度，成为实现高效、准确的串并案件的关键问题。

发明内容

为了克服上述现有技术的不足，本发明的目的是提供一种用于案件串并的现勘视觉信息关联图层生成方法，考虑到真实案件的信息的繁多，复杂和无边界性，以及很难用模板、标签表示的特点，从真实的现勘视觉信息中自动构建无边界，多层的现勘元素库来表征案件，利用基于学习的方法度量多个案件的元素库之间的相似度，从而估计与新案件的关联程度，生成现勘信息关联图层，实现发散式、立体多角度的关联更多信息，达到串并案件的目的，由于区域生成网络的目标识别方法能够有效检测出图像当中的细节和小目标信息，因此串并条件不再是整幅图像，宏观信息，固定长度的特征向量，或者人工标签等，而是由细节和小目标信息构成的多层现勘元素矩阵，因此可以将现勘元素矩阵作为无边界的串并条件；由于作为串并条件的细节和局部信息的拍摄条件、模态、光照和角度等都不同，因此可以利用基于卷积神经网络的图像块的相似度学习方法来度量现勘元素的关联程度。

为了实现上述目的，本发明采用的技术方案是：

一种用于案件串并的现勘视觉信息关联图层生成方法，包括以下步骤：

1)构建现勘视觉信息小目标库。输入案件现勘视觉信息库，对其中的现勘图像和监控视频按照案件编号分类，i表示案件的索引号，案件x表示当前待检索案件，提取每个案件中的样本的小目标块，构建以往案件i的小目标库

以及案件x小目标库

1≤n≤M_x，其中M_i和M_x为分别由案件i和案件x生成的小目标的个数；

2)生成现勘元素矩阵。设计现勘视觉信息树，任意小目标库

包括图像信息层和衍生信息层，衍生信息层包括时空信息层、目标信息层、运动关系层、属性信息层以及细节信息层，依据现勘视觉信息树生成现勘元素矩阵，任意案件i和案件x的现勘元素矩阵分别表示为

和

3)计算现勘元素矩阵

和

的相似度，量化来自两个不同案件的小目标块

和

的关联程度；

4)生成案件x与以往案件库中的案件i的相关图层Map_xi。案件x表示为现勘元素矩阵的集合

同理，案件库中的任意案件i案件也表示为

将

和

按照(3)的方法，得到两个现勘元素矩阵的相似度，用Score表示，将Score赋值给案件x与案件i的相关图层的Map_xi(n,m)，最终得到的Map_xi的大小为M_x×M_i；

5)利用关联图层实现案件的串并；

5a)在关联图层Map_xi上，采用阈值平面的方法确定第i个案件是否与案件x关联，其中i表示案件的索引号，即：

通过调整Threshold的大小控制筛选点[i^*]的个数，可以限制串并案件的数量和范围；

5b)如果确定案件i与案件案件x关联，计算案件i与已有案件库中的案件j的相关图层Map_ij，查看是否存在阈值平面以上的点，如果存在，保存当前案件j；

5c)以此方式扩展，即可以生成由案件x中的单一线索关联到多个案件的多条线索，以当前案件x为出发点，首先生成案件x与已有案件库中的案件i的相关图层Map_xi，然后生成案件i与已有案件库中的案件j的相关图层Map_ij，依次生成案件j与已有案件库中的案件k的相关图层Map_jk，等等，最终获得案件x的关联图层{Map_xi,Map_ij,Map_jk,…}。

具体实现步骤如下：

1)所述的构建当前案件的现勘样本集，当前案件记为案件x，首先定义以下数据结构：

<案件>

{二维/三维视觉信息；

拍摄时间；

拍摄地点；

}

2)对案件x中所有的视觉信息样本按时间顺序编号{s_index}，其中index＝1,2,…,N_x，表示案件x采集的现勘视觉信息的序号，N_x表示案件x采集的视觉信息的个数。对案件x的样本集{s_index}中的每一个样本s_index的视觉信息块进行预处理，包括现勘图像样本集构建，图像质量优化。读取现勘样本，得到样本s_index的视觉信息块的空间矩阵维度[R,L,T]，对视频和图像样本分类别进行处理。T＞1为视频序列，T＝1，为图像。

2a)图像样本集构建。利用变化检测的方法对视频序列进行分段与，输入视频序列，利用滑窗的方法得到变化曲线C(t)，选取阈值H，[t*]＝arg(C(t)＞H)，[t*]向量的长度即为视频序列变化的次数n*，向量[t*]的数值即为视频发生重大变化的时刻，从而实现将视频分割为n*段子序列

对应的序列长度为

从子序列的第一帧开始均匀的选取5帧图像。即在子序列中，选取以下帧构成现勘视频序列图像样本集：

然后将得到的视频关键帧和直接采集的图像集合并，并更新编号，构成新的案件x的现勘图像集合{s_index}，其中index＝1,2,…,N_x，表示案件x的现勘图像的序号，N_x更新为案件x的图像样本集中二维图像信息的个数。

2b)现勘图像质量优化。不同模态的图像采用的不同的图像处理方式，需对现勘图像数据库进行初分类。采用VGG16网络的卷积神经网络的分类器，将现勘数据库分为自然光图像、红外图像和X光安检图像。输入现勘图像样本集，对每一幅图像进行预处理。对于自然光现勘图像的预处理过程分为三个步骤：(1)利用直方图均衡化对低照度图像亮度拉伸；(2)清晰化处理；(3)细节信息锐化。对X光安检图像，利用显著性提取算法，对图像的主要目标区域进行剪裁。对于数量较少的红外图像进行人工处理，包括图像剪裁，旋转，显著性提取等。

3)利用基于区域生成网络对现勘图像进行多目标检测和识别。

将由预处理后的现勘图像集输入区域生成网络，第index幅图像产生n_indcx个小目标块，案件x一共产生

个小目标块，构成案件x的小目标库

其中n表示案件x中小目标块的索引。

按照步骤(1)-(3)同样的方法，可以得到案件库中的任意案件i的表目标库

其中i表示案件的索引号，其中m表示以往案件i中小目标块的索引。

4)根据现勘视觉信息树构建现勘元素矩阵。现勘视觉信息树具有以下结构：

4a)将现勘视觉信息树实现为多层分类器模型。采用的卷积神经网络的结构分为三部分。第一部分，卷积层采用64个3×3的滤波器，激活层Relu函数，以及2×2的最大迟化下采样。第二部分和第三部分在卷积层分别采用128个3×3的滤波器和256个3×3的滤波器，激活层和池化层均与第一部分一样。方便起见，记这一卷积神经网络结构为CB_CNN。将案件库中的小目标块

和不同层的标签

输入到CB_CNN中，依次训练以下分类器：

目标信息层分类器Model_O，将小目标库分为l_O类；

运动关系层分类器Model_R，将小目标库分为l_R类；

属性信息层的三个分类器：颜色分类器Model_C，将小目标库分为l_C类；形状分类器IModel_H，将小目标库分为l_H类；形状分类器IIModel_S，将小目标库分为l_S类；

细节信息层的两个分类器：数字分类器Model_N，将小目标库分为l_N类；残损分类器Model_D，将小目标库分为l_D类。

4b)构建案件x现勘元素矩阵衍生信息层。建立一个大小为5×L的全零矩阵B，B将构成现勘元素矩阵的衍生层，其中L为训练多层分类器时各层人工标签个数的最大值。

4b.1)提取案件x的拍摄时间属性，按照月、日、年、星期、时、分、秒按行排列。提取案件x的拍摄地点属性，区域内标“1”，区域外标“0”。将地点标签续在时间属性之后，赋值给矩阵B第一行的前8个元素，即构成时空信息层。

4b.2)将

中的样本输入上述训练好的分类器Model_O中，得到的小目标块属于各类的概率向量，赋值给矩阵B第二行的前l_o个元素，即构成目标信息层。

4b.3)将

中的样本输入上述训练好的分类器Model_R中，得到的小目标块存在各种运动关系的概率向量，赋值给矩阵B第三行的前l_R个元素，即构成运动关系层。

4b.4)将

中的样本分别输入上述训练好的分类器Model_C，Model_H和Model_S中，得到的小目标块属于各种颜色的概率向量，为形状属性I概率向量，和为形状属性II概率向量，将三个向量级联，赋值给矩阵B_n第四行的前l_C+l_H+l_S个元素，即构成属性信息层。

4b.5)将

中的样本分别输入上述训练好的分类器Model_N和Model_D中，得到的小目标块存在0-9数字或其它的概率向量，以及存在残损的概率，将两个向量级联，赋值给矩阵B第五行的前l_N+l_D，即构成细节信息层。

4c)案件x现勘元素矩阵的第n小目标块的现勘元素矩阵由小目标的图像信息和现勘元素矩阵衍生层构成，

因为现勘元素矩阵的两层大小不一样，cell(*)表示将矩阵元素打包作为一个元素存储在现勘元素矩阵中。同理，以往案件库中的任意案件在录入时，按照上述方法生成案件的现勘元素矩阵，在案件库建立初期可以调用现成的分类器模型生成衍生信息层。

5)利用基于卷积神经网络的图像块的相似度学习方法度量任意两个现勘元素矩阵的相似度。度量矩阵的相似度是建立在已经训练好的滤波器参数的基础上的。

5a)输入已知是否存在关联关系的小目标块对应的现勘元素矩阵对，如果它们关联，关联标记为“1”，如果不关联，关联标记为“-1”。将元素矩阵拆分为图像信息层和现勘元素矩阵衍生层。将图像层和关联标记输入学习信息块相似度的卷积神经网络结构中，该网络包含64个3×3滤波器的卷积层，激活层为Tanh函数，以及下采样层的网络。然后再将下采样的输出继续输入卷积层，重复三次，得到的网络记为Model_ScoreI。

5b)将衍生信息层和关联标记输入包含64个1×3滤波器的卷积层，激活层为Tanh函数，以及下采样层的网络。然后再将下采样的输出继续输入卷积层，重复三次，得到的网络记为Model_ScoreD。

5c)将来自两个案件的一对现勘元素矩阵输入训练好的Model_ScoreI和Model_ScoreD，得到两个得分ScoreI和ScoreD，最后这一对现勘元素矩阵的关联程度定义为Score＝max(ScoreI,ScoreD)。

6)生成案件x与已有案件库中的案件i的关联图层Map_xi。案件x表示为现勘元素矩阵的集合

同理，案件库中的任意案件i案件也表示为

将

和

按照(5)的方法，得到两个现勘元素矩阵的相似度，用Score表示，将Score赋值给案件x与案件i的关联图层的Map_xi(n,m)，最终得到的Map_xi的大小为M_x×M_i。

7)利用关联图层实现案件的串并。

7a)在关联图层Map_xi上，采用阈值平面的方法确定第i个案件是否与案件x关联，其中i表示案件的索引号，即：

通过调整Threshold的大小控制筛选点[i^*]的个数，可以限制串并案件的数量和范围。

7b)如果确定案件i与案件案件x关联，计算案件i与已有案件库中的案件j的关联图层Map_ij。检查是否存在阈值平面以上的点，如果存在，保存当前案件j。

7c)以此方式扩展，即可以生成由案件x中的单一线索关联到多个案件的多条线索。以当前案件x为出发点，首先生成案件x与已有案件库中的案件i的关联图层Map_xi，然后生成案件i与已有案件库中的案件j的关联图层Map_ij，依次生成案件j与已有案件库中的案件k的关联图层Map_jk，等等。最终获得案件x的关联图层{Map_xi,Map_ij,Map_jk,…}。

本发明的有益效果是：

1)本发明通过区域生成网络的方法提取现勘图像的多个小目标信息，获得了良好的局部细节特征，将现勘视觉信息中的小目标块作为表征案件的元素，避免了目前以宏观特征为串并条件引起的细节信息丢失的问题，以及案件描述信息模式化表征带来异常信息丢失问题。

2)本发明设计了现勘视觉信息树，在小目标块上针对破案需求生成衍生信息层，它具有放大细节信息的功能，目的更明确，从而避免了目前常用的图像特征提取方法出现的细节信息被淹没的现象。

3)本发明与现有的智能串并案方法相比，构建视觉信息关联图层不但能够完整、全面表述案件间的关系，并且能够发散式、立体多角度的关联更多信息，极大的提高了智能串并案方法在线索挖掘方面的能力。

附图说明

图1为本发明的用于案件串并的现勘视觉信息关联图层生成方法的流程图。

图2为本发明的用于构建现勘元素库的现勘图像多目标识别的算法示意图。

图3为本发明的现勘元素矩阵之间的相似度度量方法的流程图。

图4为利用现勘视觉信息关联图层实现案件串并的示意图。

图5为在现勘图像中检测到的小目标块的结果图。

图6为利用关联图层串并案件的仿真结果图。

具体实施方式

下面通过具体实施例对本发明做进一步说明：

参照图1，本发明的现勘信息关联图层的生成方法，步骤如下：

步骤1：构建当前案件的现勘样本集，当前案件记为案件x。

对案件x中所有的现勘视觉信息样本(包括监控视频和现勘图像)按采集时间顺序编号，构建样本集{s_index},index＝1,2,…,N_x，N_x为案件x采集的现勘视觉信息样本的总数，定义以下数据结构：

<案件>

{二维/三维视觉信息；

拍摄时间；

拍摄地点；

}

步骤2：提取案件x的样本集{s_index}中的每一个样本s_index的视觉信息部分，即监控视频和现勘图像，进行预处理，包括现勘图像样本集构建，图像质量优化。

2.1)读取现勘信息，得到样本s_index的空间矩阵维度[R,L,T]，对视频和图像样本分类别进行处理。T＞1为视频序列，T＝1，为图像序列。

2.2)视频序列的分段与图像样本集构建。

2.2.1)对于矩阵维度为[R,L,T]的视频信息(长度为T，每帧图像尺寸为R×L)，提取两帧之间的运动向量场，输入现勘视频对应的运动向量场序列，使窗宽为2t_w的时间滑窗从序列起始位置开始移动，每次滑动的步长为1帧。

2.2.2)以滑窗的起始位置第在t时刻为例(0＜t≤T-2t_w,t_w＜＜T)，滑窗内对应的向量场序列按时间分成前后两个子序列，分别记为S₁(t)和S₂(t)，长度都为t_w帧。分别计算S₁(t)和S₂(t)在时空域{R×L×(t,…,t+t_w-1)}和{R×L×(t+t_w,…,t+2t_w-1)}的时空统计特征f₁(t)和f₂(t)，这一特征能够反映视频序列的运动、形态和局部信息，在实施例中，本发明采用了基于局部向量差的统计特征，详见参考文献“Wang Qian,Du Jiuling,Li Na,Robust description and recognition of various viewpoint dynamictextures.Journal of Systems Engineering and Electronics,2016,27(4):920”。

2.2.3)度量当前滑窗内的前后极光视频序列的差异。计算f₁(t)和f₂(t)的chi-square统计距离，

其中g表示时空统计向量的f₁(t)和f₂(t)的向量元素索引。

将值赋给C_t(t+t_w)。然后，C(t)＝C_t(t+t_w)，反映了视频随着时间场景，人物和活动等的变化情况。

2.2.4)基于变化检测实现视频分段。选取阈值H，[t*]＝arg(C(t)＞H)，向量[t*]的长度即为视频序列变化的次数n*，向量[t*]的数值即为视频发生重大变化的时刻，从而实现将视频分割为n*段子序列

对应的序列长度为

2.2.5)构建视频序列图像样本集。因为

是基于变化检测得到的，每一段子序列内的人物、场景、运动等都是相似的，且变化检测出的局域峰值前后都为关键帧。因此从子序列的第一帧开始均匀的选取5帧图像。即在子序列中，选取以下帧构成现勘视频序列图像样本集：

2.3)现勘图像质量优化。

2.3.1)现勘信息采集的途径多种多样，图像的模态，拍摄方式的不同，采用的图像处理方式也不相同，所以需要对现勘图像数据库进行初分类。在具体实施例中，本发明采用VGG16网络的卷积神经网络的分类器，将现勘数据库分为自然光图像、红外图像和X光安检图像，识别率可以达到100％。

2.3.2)输入现勘图像样本集，对每一幅图像进行预处理。对于自然光现勘图像的预处理过程分为三个步骤：(1)利用直方图均衡化对低照度图像亮度拉伸；(2)清晰化处理；(3)细节信息锐化。对X光安检图像，利用显著性提取算法，对图像的主要目标区域进行剪裁。对于数量较少的红外图像，对其进行人工矫正，包括图像剪裁，旋转，显著性提取等。

步骤3：如图2，利用基于区域生成网络(RPN)对现勘图像进行目标检测和识别。本发明采用目标检测领军人物Ross Girshick团队提出的Faster RCNN的方法，详见参考文献“Ren,Shaoqing,et al.Faster R-CNN:Towards real-time object detection withregion proposal networks.Advances in Neural Information ProcessingSystems.2015 91-99”。目标检测由以下四个基本步骤实现：特征提取，候选区域生成，窗口分类和位置精修，以及目标识别。

3.1)输入一张任意尺寸的现勘图像，调用ImageNet的训练好的分类网络，可以得到现勘图像对应的特征图(feature map)，特征图的大小不同于原图大小，深度取决与卷积层滤波器的个数D，空间维度记为H×W×D，特征图上的每一个点可以映射回原图。如图2所示，因为特征提取的卷积层参数和之后的识别网络是共享的，所以称此训练好的分类网络为共享卷积层。

3.2)在生成的特征图上，为每一个像素点，选取三种不同尺寸和三种不同长宽比例的滑窗，本发明选取的长宽比例为1：1，1：2，2：1，称为anchor。如图2所示，有9种不同的anchor在feature map上滑动，但是与原图做卷积。那么特征图的每一个点上可以得到9个候选框区域。

3.3)对于每一种候选区域，特征图经过分类层可以得到每一个像素点是属于目标，还是属于背景的概率。那么有9种候选区域，就有9张关于是目标还是背景的概率分布图。最优的目标框在9层中选取概率最大的。在特征图上的每一个点，可以映射回原图。那么对于一种候选区域，都有四个在原图上的位置参数。根据前面选取的最优值，选择对应候选框的位置参数。

3.4)最后，利用识别层对选取的小目标进行识别，这一网络参数与特征图提取的网络共享。

步骤4：根据现勘视觉信息树构建现勘元素矩阵库。

4.1)训练多层分类器模型。案件库是一个逐步积累的过程，现勘元素库也是在案件积累的过程基于步骤1-3逐步建立起来的。对于当前的案件库按照步骤1-3的方法得到小目标库，案件i的小目标库为

i表示案件索引号，1≤m≤M_i，M_i为按照步骤1-3从案件i所有现勘图像(或从视频提取的关键帧)得到的小目标块的个数。

4.1.1)训练目标信息层分类器。首先，人工标记已有案件的小目标库。目标信息在步骤3中已经得到，但是因为是直接调用VGG16的分类器模型，目标信息属于大范畴的分类，例如，人，交通牌，匕首等。这些标签对于破案关联的意义不大，但是可以对现有的小目标库进行大致分类。因此，在目标信息层，标记的标签是根据当前案件库已有内容进行标记。在本发明实施例中，采用的人工标签有鞋印、指纹、路标，帽子等这些刑侦案件中的常见目标，标签的个数记为l_o。然后将小目标

和对应的目标信息标签

输入卷积神经网络模型。我们采用的卷积神经网络的结构如下：第一块，卷积层采用64个3×3的滤波器，激活层Relu函数，以及2×2的最大迟化下采样。第二块和第三块在卷积层分别采用128个3×3的滤波器和256个3×3的滤波器，激活层和池化层均与第一块一样。方便起见，记这一卷积神经网络结构为CB_CNN，将得到的分类器模型记为Model_O

4.1.2)训练运动关系层分类器。在运动关系层，标记的人工标签有跑动、骑行、步行、戴帽等，标签的个数记为l_R。然后小目标

和对应的运动关系标签

输入上述的CB_CNN网络结构中进行训练，得到分类器模型即为Model_R。

4.1.3)训练属性信息层分类器。在属性信息层，有三个分类器：颜色分类器，形状分类器I和形状分类器II。颜色分类器的标记的人工标签有红、黄、蓝、绿等，标签的个数记为l_C。然后小目标

和对应的颜色标签

输入上述的CB_CNN网络结构中进行训练，得到分类器模型即为Model_C。形状分类器I的标记的人工标签有长/高，短/矮，标签的个数记为l_H。然后小目标

和对应的形状属性标签

输入上述的CB_CNN网络结构中进行训练，得到分类器模型即为Model_H。形状分类器II的标记的人工标签有方形、圆形、三角形和其他，标签的个数记为l_S。然后小目标

和对应的形状属性标签

输入上述的CB_CNN网络结构中进行训练，得到分类器模型即为Model_S。

4.1.4)训练细节信息层分类器。在细节信息层，有两个分类器，数字分类器和残损分类器。对于有清晰数字的现勘视觉信息在信息录入的时候，已经录入完整的信息。本发明在细节信息层设计数字分类器是为了识别个别、不完整的数字信息。对于所以数字分类器，需要对小目标库标记0-9的数字标签以及其他，标签的个数记为l_N。然后将小目标

和对应的数字标签

输入上述的CB_CNN网络结构中进行训练，得到分类器模型即为Model_N。对于残损分类器，人工标签为有/无残损，标签的个数记为l_D。然后将小目标

和对应的残损标签

输入上述的CB_CNN网络结构中进行训练，得到分类器模型即为Model_D。

4.2)构建任意案件x现勘元素矩阵衍生层。为小目标库

中的每一个图像块

M_X为案件x由步骤1-3得到的小目标块的个数。建立一个大小为5×L的全零矩阵B，B将构成现勘元素矩阵的衍生信息层，其中L为训练多层分类器时各层人工标签个数的最大值。在本发明实施例中，L＝max(8,l_O,l_R,l_C+l_H+l_S,l_N+l_D)，L会随着现勘案件库的累积而递增。

4.2.1)提取当前的案件x的拍摄时间属性，按照月、日、年、星期、时、分、秒按行排列。提取案件x的拍摄地点属性，区域内标“1”，区域外标“0”。将地点标签续在时间属性之后，赋值给矩阵B第一行的前8个元素，即构成时空信息层。

4.2.2)将

中的样本输入上述训练好的分类器Model_O中，得到的小目标块属于各类的概率向量，赋值给矩阵B第二行的前l_o个元素，即构成目标信息层。

4.2.3)将

中的样本输入上述训练好的分类器Model_R中，得到的小目标块存在各种运动关系的概率向量，赋值给矩阵B_n第三行的前l_R个元素，即构成运动关系层。

4.2.4)将

中的样本分别输入上述训练好的分类器Model_C，Model_H和Model_S中，得到的小目标块属于各种颜色的概率向量，为形状属性1概率向量，和为形状属性2概率向量，将三个向量级联，赋值给矩阵B_n第四行的前l_C+l_H+l_S个元素，即构成属性信息层。

4.2.5)将

中的样本分别输入上述训练好的分类器Model_N和Model_D中，得到的小目标块存在0-9数字和其他的概率向量，以及存在残损的概率，将两个向量级联，赋值给矩阵B_n第五行l_N+l_D，即构成细节信息层。

4.3)最后，案件x现勘元素矩阵的第n个小目标块的现勘元素矩阵由小目标的图像信息和衍生信息层构成，

因为现勘元素矩阵的两层大小不一样，cell()表示将矩阵元素打包作为一个元素存储在现勘元素矩阵中。以往案件库的现勘元素矩阵也是按照上述方法逐步生成。

步骤5：利用基于卷积神经网络的图像块的相似度学习方法度量任意两个现勘元素矩阵的相似度。度量矩阵的相似度是建立在已经训练好的滤波器参数的基础上的。

5.1)参照图3，在训练阶段，输入已知是否存在关联关系的小目标块对应的现勘元素矩阵对，如果它们关联，关联标记为“1”，如果不关联，关联标记为“-1”。

5.1.1)将元素矩阵拆分为图像信息层和现勘元素矩阵衍生层。

5.1.2)将图像层和关联标记输入Sergey提出学习信息块相似度的卷积神经网络结构中，详见参考文献“Zagoruyko,Sergey,and Nikos Komodakis.Learning to compareimage patches via convolutional neural networks.Proceedings of the IEEEConference on Computer Vision and Pattern Recognition.2015,4353-4361”。其中包含64个3×3滤波器的卷积层，激活层为Tanh函数，以及下采样层的网络。然后在将下采样的输出继续输入卷积层，重复三次，得到的网络记为Model_ScoreI。在案件积累初期，可以直接调用Sergey的预训练模型。

5.1.3)将衍生层和关联标记输入包含64个1×3滤波器的卷积层，激活层为Tanh函数，以及下采样层的网络。然后在将下采样的输出继续输入卷积层，重复三次，得到的网络记为Model_ScoreD。

5.2)在测试阶段，将来自两个案件的一对现勘元素矩阵输入训练好的Model_ScoreI和Model_ScoreD，得到两个得分ScoreI和ScoreD，最后这一对现勘元素矩阵的关联程度定义为Score＝max(ScoreI,ScoreD)。

步骤6：生成案件x与已有案件库中的案件i的关联图层Map_xi。如图1，案件x按照以上步骤已经拆分为M_x个现勘元素，其中M_x为从案件x所有现勘图像(或从视频提取的关键帧)得到的小目标块的个数。案件x表示为现勘元素矩阵的集合

同理，案件库中的任意案件i案件也表示为

将

和

按照步骤5的方法，即可得到

和

的相似度，记为Score，将Score赋值给案件x与案件i的关联图层的Map_xi(n,m)。遍历1≤n≤M_x，1≤m≤M_i，即得到案件x与已有案件库中的案件i的关联图层Map_xi。最终得到的Map_xi的大小为M_x×M_i。

步骤7：利用关联图层实现案件的串并。

7.1)如图4所示，按照步骤1-6可以计算当前案件x与案件库中任意案件案件i的关联图层Map_xi。在关联图层Map_xi上，采用阈值平面的方法确定第i个案件是否与案件x关联，其中i表示案件的索引号，即：

在本发明实施例中门限Threshold选取为固定的数值，但在实际应用中，可以调整Threshold的大小控制筛选点的个数，从而限制串并案件的范围。

7.2)如果确定案件i与案件案件x关联，计算案件i与已有案件库中的案件j的关联图层Map_ij。筛选是否存在阈值平面以上的点，如果存在，保存当前案件j。

7.3)以此方式扩展，即可以生成由案件x中的单一线索关联到多个案件的多条线索。如图4所示，从当前案件x为出发点，首先生成案件x与已有案件库中的案件i的关联图层Map_xi，然后生成案件i与已有案件库中的案件j的关联图层Map_ij，依次生成案件j与已有案件库中的案件k的关联图层Map_jk，等等。最终获得案件x的关联图层{Map_xi,Map_ij,Map_jk,…}。

本发明的效果可以通过以下仿真实验进一步说明：

实验条件：实验用到了5个真实案件，当前待检索案件记为案件x，其他记为案件1，案件2，案件3，案件4，现勘视觉信息包括现场采集的现勘图像和调取的监控视频。案件x以及案件1-案件4分别包含现勘信息数据为21，30，30，40，20个。图5所示为其中四个样本，(a)和(b)为从不同角度拍摄的红色汽车的现勘图像；(c)和(d)为不同摄像头拍下的嫌疑人的监控视频图像。

实验内容：本实验将显示本发明在关联多目标，多尺度，多角度图像细节信息的效果。实验分成两个阶段。第一阶段显示本发明提取局部信息的结果，以及基于细节信息在光照，角度、尺度变化和形变等情况下度量小目标块的关联程度的效果。第二阶段显示利用阈值平面的方法拆选关联案件的结果图。

案件x和案件1-4经过区域生成网络得到的有效小目标个数分别为57，69，60，74，55。图5为在现勘图像中检测到的小目标块的结果图。如图5所示的现勘图像中，(a)检测出了4个小目标区域(一种检测出9个区域，删除大块区域5个)，包括车牌上的数字，中文汽车标志、英文汽车标志，手，这些区域反映了现勘图像的局部信息，这些都是破案的关键信息。图5(b)只显示了汽车的局部信息，检测出了3个有效的小目标区域，车牌，汽车颜色，墙上数字，这些都是破案的关键信息。双向箭头显示了小目标区域的相似度。图5(c)和(d)中都同时检测出了身穿褐色衣服的行人，他们的相似度达到91.0％。可见，尽管存在形变，光照、尺度和角度的变化，本专利依旧能够识别出它们存在高度相关性。

图6为利用关联图层串并案件的仿真结果图。在案件x和案件1的关联图层Map_x1上，坐标位于(3，6)的值超过门限的值(0.8)。这意味着通过案件x的第6个小目标块可以关联到案件1的第3个小目标块，案件x与案件1可能存在关联，案件x的第6个小目标块所包含的细节信息成为了破案的关键线索。那么可以继续计算案件1与其他案件的关联图层，案件1中的所有信息都可以成为关联下一层关联图层，发掘新线索的有效信息。

Claims (3)

1.一种用于案件串并的现勘视觉信息关联图层生成方法，包括如下步骤：

1.1)构建现勘视觉信息小目标库，输入案件现勘视觉信息库，对其中的现勘图像和监控视频按照案件编号分类，i表示案件的索引号，案件x表示当前待检索案件，提取每个案件中的样本的小目标块，构建以往案件i的小目标库

以及案件x小目标库

其中M_i和M_x为分别由案件i和案件x生成的小目标的个数；

1.2)生成现勘元素矩阵，设计现勘视觉信息树，任意小目标库

包括图像信息层和衍生信息层，衍生信息层包括时空信息层、目标信息层、运动关系层、属性信息层以及细节信息层，依据现勘视觉信息树生成现勘元素矩阵，任意案件i和案件x的现勘元素矩阵分别表示为

和

所述的现勘元素矩阵的生成方法，按如下步骤进行：

1.2a)对于案件库中的任意案件i的图像块，构成案件i的小目标库

其中i表示案件的索引号，将现勘视觉信息树实现为多层分类器模型，采用的卷积神经网络的结构分为三部分，第一部分，卷积层采用64个3×3的滤波器，激活层采用Relu函数，以及2×2的最大池化下采样，第二部分和第三部分在卷积层分别采用128个3×3的滤波器和256个3×3的滤波器，激活层和池化层均与第一部分一样，方便起见，记这一卷积神经网络结构为CB_CNN，将案件库中的小目标块

和不同层的标签

输入到CB_CNN中，依次训练以下分类器：

目标信息层分类器Model_O，将小目标库分为l_O类；

运动关系层分类器Model_R，将小目标库分为l_R类；

属性信息层的三个分类器：颜色分类器Model_C，将小目标库分为l_C类；形状分类器IModel_H，将小目标库分为l_H类；形状分类器IIModel_S，将小目标库分为l_S类；

细节信息层的两个分类器：数字分类器Model_N，将小目标库分为l_N类；残损分类器Model_D，将小目标库分为l_D类；

1.2b)构建任意案件x现勘元素矩阵衍生层，建立一个大小为5×L的全零矩阵B，B将构成现勘元素矩阵的衍生层，其中L为训练多层分类器时各层人工标签个数的最大值；

提取当前的案件i的拍摄时间属性，按照月、日、年、星期、时、分、秒按行排列，提取案件x的拍摄地点属性，区域内标“1”，区域外标“0”，将地点标签续在时间属性之后，赋值给矩阵B第一行的前8个元素，即构成时空信息层；

将

中的样本输入上述训练好的分类器Model_O中，得到的小目标块属于各类的概率向量，赋值给矩阵B第二行的前l_o个元素，即构成目标信息层；

将

中的样本输入上述训练好的分类器Model_R中，得到的小目标块存在各种运动关系的概率向量，赋值给矩阵B第三行的前l_R个元素，即构成运动关系层；

将

中的样本分别输入上述训练好的分类器Model_C，IModel_H和IIModel_S中，得到的小目标块属于各种颜色的概率向量，为形状属性I概率向量，和为形状属性II概率向量，将三个向量级联，赋值给矩阵B第四行的前l_C+l_H+l_S个元素，即构成属性信息层；

将

中的样本分别输入上述训练好的分类器Model_N和Model_D中，得到的小目标块存在0-9数字或其它的概率向量，以及存在残损的概率，将两个向量级联，赋值给矩阵B第五行的前l_N+l_D，即构成细节信息层；

1.2c)案件x现勘元素矩阵的第n小目标块的现勘元素矩阵由小目标的图像信息和衍生信息层构成，

因为现勘元素矩阵的两层大小不一样，cell(*)表示将矩阵元素打包作为一个元素存储在现勘元素矩阵中；同理，以往案件库中的任意案件在录入时，按照上述方法生成现勘元素矩阵，在案件库建立初期可以调用现成的分类器模型生成衍生信息层；

1.3)计算现勘元素矩阵

和

的相似度，量化来自两个不同案件的小目标块

和

的关联程度；

1.4)生成案件x与以往案件库中的案件i的相关图层Map_xi；案件x表示为现勘元素矩阵的集合

同理，案件库中的任意案件i案件也表示为

将

和

按照步骤1.3)的方法，得到两个现勘元素矩阵的相似度，用Score表示，将Score赋值给案件x与案件i的相关图层的Map_xi(n,m)，最终得到的Map_xi的大小为M_x×M_i；

1.5)利用关联图层实现案件的串并；

1.5a)在关联图层Map_xi上，采用阈值平面的方法确定第i个案件是否与案件x关联，其中i表示案件的索引号，即：

通过调整Threshold的大小控制筛选点[i^*]的个数，可以限制串并案件的数量和范围；

1.5b)如果确定案件i与案件x关联，计算案件i与已有案件库中的案件j的相关图层Map_ij，查看是否存在阈值平面以上的点，如果存在，保存当前案件j；

1.5c)以此方式扩展，即可以生成由案件x中的单一线索关联到多个案件的多条线索，以当前案件x为出发点，首先生成案件x与已有案件库中的案件i的相关图层Map_xi，然后生成案件i与已有案件库中的案件j的相关图层Map_ij，依次生成案件j与已有案件库中的案件k的相关图层Map_jk，最终获得案件x的关联图层{Map_xi,Map_ij,Map_jk,…}。

2.根据权利要求1所述的用于案件串并的现勘视觉信息关联图层生成方法，其中步骤1.1)所述的现勘视觉信息小目标库的构建方法，按如下步骤进行：

2.1)构建当前案件的现勘样本集，当前案件记为案件x，首先定义以下数据结构：

<案件>

{二维/三维视觉信息；

拍摄时间；

拍摄地点；

}

2.2)对案件x中所有的视觉信息样本按时间顺序编号{S_index}，其中index＝1,2,…,N_x，表示案件x采集的现勘视觉信息的序号，N_x表示案件x采集的视觉信息的个数，对案件x的样本集{S_index}中的每一个样本S_index的视觉信息块进行预处理，包括现勘图像样本集构建，图像质量优化；读取现勘样本，得到样本S_index的视觉信息块的空间矩阵维度[H,W,T]，对视频和图像样本分类别进行处理，T＞1为视频序列，T＝1，为图像；

2.3)图像样本集构建，利用变化检测的方法对视频序列进行分段，从而实现构建图像样本集，输入视频序列，利用滑窗的方法得到变化曲线C(t)，选取阈值H'，[t*]＝arg(C(t)＞H')，向量[t*]的长度即为视频序列变化的次数n*，向量[t*]的数值即为视频发生重大变化的时刻，从而实现将视频分割为n*段子序列[f₁*,f₂*,…,f_n**]，对应的序列长度为[t₁*,t₂*,…,t_n**]，从子序列的第一帧开始均匀的选取5帧图像，即在子序列中，选取以下帧构成现勘视频序列图像样本集：

然后将得到的视频关键帧和直接采集的图像集合并，并更新编号，构成新的案件x的现勘图像集合{s_index}，其中index＝1,2,…,N_x，表示案件x的现勘图像的序号，N_x更新为案件x对应的现勘图像集中二维图像的个数；

2.4)现勘图像质量优化；不同模态的图像采用的不同的图像处理方式，需对现勘图像数据库进行初分类，采用VGG16网络的卷积神经网络的分类器，将现勘数据库分为自然光图像、红外图像和X光安检图像，输入现勘图像样本集，对每一幅图像进行预处理，对于自然光现勘图像的预处理过程分为三个步骤：(1)利用直方图均衡化对低照度图像亮度拉伸；(2)清晰化处理；(3)细节信息锐化；对X光图像，利用显著性提取算法，剪裁图像空白区域，对于数量较少的红外图像进行人工处理，包括图像剪裁，旋转，显著性提取；

2.5)利用基于区域生成网络对现勘图像进行多目标检测和识别，将由预处理后的现勘图像集输入区域生成网络，第index幅图像产生n_indcx个小目标块，案件x一共产生

个小目标块，构成案件x的小目标库

同理，可以得到以往案件i的小目标库

M_i为案件i产生的小目标块的个数。

3.根据权利要求1所述的用于案件串并的现勘视觉信息关联图层生成方法，其中步骤1.3)所述的现勘元素矩阵的的相似度计算方法，按如下步骤进行：

3.1)输入已知是否存在相关关系的小目标块对应的现勘元素矩阵对，如果它们相关，相关标记为“1”，如果不相关，相关标记为“-1”，将元素矩阵拆分为图像信息层和衍生信息层，将图像层和相关标记输入学习信息块相似度的卷积神经网络结构中，该网络包含64个3×3滤波器的卷积层，激活层为Tanh函数，以及下采样层的网络，然后再将下采样的输出继续输入卷积层，重复三次，得到的网络记为Model_ScoreI；

3.2)将衍生信息层和相关标记输入包含64个1×3滤波器的卷积层，激活层为Tanh函数，以及下采样层的网络，然后再将下采样的输出继续输入卷积层，重复三次，得到的网络记为Model_ScoreD；

3.3)将来自两个案件的一对现勘元素矩阵输入训练好的Model_ScoreI和Model_ScoreD，得到两个得分ScoreI和ScoreD，最后这一对现勘元素矩阵的关联程度定义为Score＝max(ScoreI,ScoreD)。

Images