CN102842078A - 一种基于社群特征分析的电子邮件取证分析方法 - Google Patents

Abstract

本发明设计提出了一种基于社群网络分析和文件内容分析的海量电子邮件取证分析方案。目前还没有利用邮件的收发地址进行社群结构分析并领用文本和附件内同对社群进行取证分析的方案。本发明对Outlook、OE和Foxmail客户端的邮件数据文件进行自动解析，提取其中包含的收发地址、附件、正文、主题、发送方式等信息，并提取出的根据邮件收发地址和收发次数构建的邮件通联关系网络，然后利用WCMN算法对通联关系网络进行社群结构提取，最后实现了一种可疑度计算算法根据邮件和附件内容对社群可疑度进行分析计算。本发明方案充分利用了邮件的地址信息和内容信息，不仅提取出了邮件地址间所包含的社群结构并给出了社群可疑度供办案人员参考。

Description

一种基于社群特征分析的电子邮件取证分析方法

技术领域

本发明属于信息安全与计算机应用技术领域，提出了一种基于社群网络分析和文本分析的方法，通过对海量邮件的收发地址信息中隐含的社群结构进行挖掘，并通过邮件和附件内容对社群的可疑度进行分析。 

背景技术

随着社会经济和信息技术的发展，通过高科技手段进行犯罪的事件和纠纷日渐增多，针对利用计算机进行犯罪的司法取证技术已成为一个重要而又紧迫的问题。计算机取证分析的目的是找到可靠有说服力的电子证据或犯罪调查的线索，因此，计算机取证是涉及计算机、网络、通讯和司法学等诸多领域的综合性交叉学科，受到了越来越多的关注。尤其是随着信息网络的高速发展，电子邮件作为一种方便快捷的交流方式，已经与人们的日常工作和生活息息相关。电子邮件作为当前人们最重要的通讯工具之一，电子邮件蕴含着丰富的个人信息，也蕴含着大量与外界的通信信息，作为取证分析的数据源可以提供大量嫌疑人的社交信息和活动信息，能为调查取证提供有力的线索。 

邮件数据中蕴含着大量重要并且有价值的信息，人们在利用邮件通讯的同时，把社会关系也隐含在了电子邮件中，邮件不但记录了人们之间的关系，而且提供了通讯频率、通讯时间、社交范围、通信内容等特征，利用这些特征可以构建有权的邮件通联关系网络；通过对邮件记录内容进行文本分析和挖掘，可以按照不同类型的社会关系进行分类；通过对邮件时间、签名等信息可以提取用户的工作时间和工作单位以及其它敏感信息。 

目前，对邮件的分析取证主要是针对单个用户的收发邮件的内容进行分析，而没有对多用户的海量邮件间的关联关系和通信内容进行综合挖掘分析，提取潜在的犯罪证据和犯罪线索，供办案人员参考。 

发明内容

技术问题：本发明的目的是实现一种基于电子邮件地址间社群特征分析的Email取证分析方案，特别针对来源于不同用户的计算机或邮件服务器中的Email数据内敏感信息的分析提取。 

技术方案：本发明是设计了一种在海量Email文件数据解析的基础上，对邮件的各个属性和内容进行挖掘分析，提取可能的犯罪组织关系的方案。该方案主要由Email文件分析提取、通联关系网络构建、社群提取分析等步骤完成。 

1）Email文件分析提取，主要针对Pst、Dbx、Box和Eml格式的邮件存储文档，从中提取已收发邮件的收发账户的邮件地址、主题、发送时间、邮件内容和附件信息，并将得到的邮件信息存入到邮件信息数据库中； 

对存在附件的邮件，要对邮件的附件进行解析，如果附件为压缩文件，首先要对附件解压缩后再进行分析；主要对一些常见文档进行分析，包括PDF、DOC、XLS、PPT、TXT，将这些文档进行格式转换，统一存储为文本格式；

再对Email文件提取分析的过程中会根据邮件地址的黑、白名单和基于主题字段的关键字匹配，对一些广告垃圾邮件和订阅邮件进行过滤，只提取具有取证价值的邮件地址和邮件；

2）通联关系网络构建，根据提取出的邮件的通信地址关系，构建邮件通联关系网络，利用图G=(V，E)代表邮件通联关系网络，其中V是通联关系中所有出现的邮件地址的集合，即V={v_i|v_i为出现过的邮件地址}；E为有向边的集合，即E={<v_i,v_j>|v_i成功发送邮件给v_i,i≠j}，接下来，计算每一条边的权重，邮件通信次数的高低则体现了邮件地址之间关系的紧密程度，同时，邮件中收件人和抄送人的数量也会影响到收件地址与发件地址之间的紧密程度；因此综合考虑通信次数和收件地址个数两个因素来定义邮件地址v_i和邮件地址v_j之间的权重为：

$W_{\mathrm{ij}}=\underset{k}{\mathrm{\&Sigma;}}\frac{1}{1+\&PartialD;\&times;(n_{\mathrm{ij}}^k-1)}$

其中 

权重调整系数， 为邮件地址v_i发送给邮件地址v_j的邮件k中收件地址和抄送地址的个数。最后通过邻接矩阵对图进行描述和存储；

3）社群提取分析，通过寻找最佳社群结构的凝聚算法对邮件通联关系网络进行社群划分；

社群划分完成后，提取社群内的所有通联邮件进行分析。

首先，对邮件主题、邮件内容和附件内容进行分词，与敏感词库进行智 能匹配，提取出邮件中所出现的敏感词的次数，则定义该邮件含有的犯罪信息为： 

$h=-\underset{f}{\mathrm{\&Sigma;}}\log \frac{{\mathrm{\&sigma;}}_f{t}_f}{L}$

其中L为邮件的总长度，σ_f为邮件中敏感词f的权重，n_f为邮件中敏感词f出现的次数；设定一个阀值，当邮件中含有的犯罪信息大于阀值时，认为该邮件为是犯罪成员间通信的敏感邮件，

对所有的邮件分析完成后，统计计算出该社群内所有的敏感邮件的数量，社群可能为犯罪组织的可疑度为：

$P=\frac{H}{N}$

其中H为社群成员间敏感邮件的数量，N为社群成员间的邮件总数。

有益效果：本发明将邮件数据解析、邮件地址社群结构分析、邮件内容分析相结合，实现了一种对海量电子邮件数据只能分析挖掘的取证方案，该方案具有以下优点： 

能够自动从Email原始数据文件中解析出电子邮件，对电子邮件的各个域的内容进行自动提取，对压缩的附件格式自动解压，对pdf、doc、excel、html等格式的附件的内容转换为text格式存储。 

能够充分利用电子邮件的地址和发送方式构建邮件通联关系网络，并利用WCMN算法挖掘出网络中的社群结构。 

能够根据邮件内容分析社群为潜在的犯罪组织的可疑度，提供给用户参考。

附图说明

图1是Email文件解析流程图。 

图2是社群分析流程。 

具体实施方式

整个方案的实施要经过Email文件分析和数据提取、邮件通联关系网络构建、社群提取分析三个阶段，下面将重点阐述着三个阶段的工作流程。 

1、Email文件分析提取，主要针对Microsoft Outlook、Outlook Express和Foxmail的三种软件客户端软件的复合文档，即Pst、Dbx和Box三种格式的 邮件存储文档，并对这些文档进行解析，解析成以单个邮件为存储单元的Eml格式文档，然后再以Eml格式文档为分析对象，从中提取已收发邮件的收发账户的邮件地址、主题、发送时间、邮件内容和附件等信息，并将得到的邮件信息存入到邮件信息数据库中。整个Email文件的处理流程如图1，如下： 

1）提取邮件原始数据文件所在文件夹，作为邮件解析的原始数据；

2）判定邮件数据文件格式，然后调用响应的解析程序进行解析，并将提取出的邮件存储为统一的Eml格式的文档。

对Eml文档内邮件的特征属性(发件地址、收件地址、抄送地址、发送时间、发送方式、附件名)进行提取，并根据邮件地址的黑、白名单和基于主题字段的关键字匹配，对一些广告垃圾邮件和订阅邮件进行过滤，只提取具有取证价值的邮件信息存储到邮件信息数据库中，将邮件正文以Text格式存储。 

对存在附件的邮件，要对邮件的附件进行解析，如果附件为压缩文件，首先要对附件解压缩后再进行分析。主要对一些常见文档进行分析，包括PDF、DOC、XLS、PPT、TXT等，将这些文档进行格式转换，统一存储为文本文档。 

2、邮件通联关系网络阶段是根据邮件的通信地址关系，构建邮件通联关系网络。利用图G=(V，E)表示邮件通联关系网络，其中V是通联关系中所有出现的邮件地址的集合，即V={v_i|v_i为出现过的邮件地址}；E为有向边(邮件收发关系)的集合，即E＝{<v_i,v_j>|v_i成功发送邮件给v_i,i≠j}。接着计算图中每一条边的权重，权重大小体现了邮件地址之间关系的紧密程度。邮件地址v_i和邮件地址v_j之间的权重为： 

$W_{\mathrm{ij}}=\underset{k}{\mathrm{\&Sigma;}}\frac{1}{1+\&PartialD;\&times;(n_{\mathrm{ij}}^k-1)}$

其中 

权重调整系数， 

为邮件地址v_i发送给邮件地址v_j的邮件k中收件地址和抄送地址的个数。

根据电子邮件地址数据直接构造出一个网络图，图中顶点代表邮件地址，顶点之间的连线表示这两个邮件地址间具有相互关系。通过设定阈值，选取收(发)件数量大于阈值的邮件地址作为为基本地址集合，构造出通联关系网络图， 通过邻接矩阵对图进行描述和存储。 

3、社群结构提取与分析阶段主要通过WCMN算法(开源igraph算法包中提供的一种用于加权社群网络分析的算法)对构建的邮件通联关系网络进行挖掘，提取其中包含的社群结构，并通过对社群结构内部地址之间的通信邮件数据集进行数据分析，计算出社群结构是犯罪组织的可能性。其处理流程如图2所示。 

如果通联关系网络图中子集满足每个子集各自的定点之间有许多连线，而该子集与其它子集之间几乎没有连线，则该子集便具有社群结构： 

本发明方案中利用WCMN算法对邮件通联关系网络进行挖掘，提取邮件通联关系网络中的社群。

社群划分完成后，提取社群内的所有通联邮件进行分析。 

首先，对邮件主题、邮件内容和附件内容进行分词，与敏感词库进行智能匹配，提取出邮件中所出现的敏感词的次数，则定义该邮件含有的犯罪信息为： 

$h=-\underset{f}{\mathrm{\&Sigma;}}\log \frac{{\mathrm{\&sigma;}}_f{t}_f}{L}$

其中L为邮件的总长度，σ_f为邮件中敏感词f的权重n_f为邮件中敏感词f出现的次数。设定一个阀值，当邮件中含有的犯罪信息大于阀值是，认为该邮件为是犯罪成员间通信的敏感邮件。

对所有的邮件分析完成后，统计计算出该社群内所有的敏感邮件的数量，社群可能为犯罪组织的可疑度为： 

$P=\frac{H}{N}$

其中H为社群成员间敏感邮件的数量，N为社群成员间的邮件总数。

4、最后根据社群划分结果和社群的可疑度计算结果，完成取证报告。 

Claims (1)

1.一种基于社群特征分析的电子邮件取证分析方法，其特征在于该方法包括以下步骤：

1）Email文件分析提取，主要针对Pst、Dbx、Box和Eml格式的邮件存储文档，从中提取已收发邮件的收发账户的邮件地址、主题、发送时间、邮件内容和附件信息，并将得到的邮件信息存入到邮件信息数据库中；

对存在附件的邮件，要对邮件的附件进行解析，如果附件为压缩文件，首先要对附件解压缩后再进行分析；主要对一些常见文档进行分析，包括PDF、DOC、XLS、PPT、TXT，将这些文档进行格式转换，统一存储为文本格式；

再对Email文件提取分析的过程中会根据邮件地址的黑、白名单和基于主题字段的关键字匹配，对一些广告垃圾邮件和订阅邮件进行过滤，只提取具有取证价值的邮件地址和邮件；

2）通联关系网络构建，根据提取出的邮件的通信地址关系，构建邮件通联关系网络，利用图                                                

代表邮件通联关系网络，其中

是通联关系中所有出现的邮件地址的集合，即

；

为有向边的集合，即

，接下来，计算每一条边的权重，邮件通信次数的高低则体现了邮件地址之间关系的紧密程度，同时，邮件中收件人和抄送人的数量也会影响到收件地址与发件地址之间的紧密程度；因此综合考虑通信次数和收件地址个数两个因素来定义邮件地址

和邮件地址

之间的权重为：

其中权重调整系数，

为邮件地址

发送给邮件地址

的邮件

中收件地址和抄送地址的个数；

最后通过邻接矩阵对图进行描述和存储；

3）社群提取分析，通过寻找最佳社群结构的凝聚算法对邮件通联关系网络进行社群划分；

社群划分完成后，提取社群内的所有通联邮件进行分析；

首先，对邮件主题、邮件内容和附件内容进行分词，与敏感词库进行智能匹配，提取出邮件中所出现的敏感词的次数，则定义该邮件含有的犯罪信息为：

其中

为邮件的总长度，

为邮件中敏感词

的权重，

为邮件中敏感词出现的次数；设定一个阀值，当邮件中含有的犯罪信息大于阀值时，认为该邮件为是犯罪成员间通信的敏感邮件，

对所有的邮件分析完成后，统计计算出该社群内所有的敏感邮件的数量，社群可能为犯罪组织的可疑度为：

其中

为社群成员间敏感邮件的数量，

为社群成员间的邮件总数。

Images