CN101364955B - 一种分析和提取电子邮件客户端证据的方法 - Google Patents

Abstract

本发明涉及一种分析和提取电子邮件客户端证据的方法。目前还没有完备的分析和提取电子邮件客户端证据的方法。本发明方法具体步骤：首先读取Email客户端数据文件，对指定的Email客户端程序和用户账号进行取证；对数据文件进行解析和预处理，将Email客户端存储数据文件进行解析；利用邮件的会话内容等进行成组分类；利用关键词进行智能搜索；对相关的邮件、邮件线程和涉及的用户进行内容分析；生成最终Email取证报告供用户浏览。本发明运行速度快，并且能够搜索匹配出调查员输入的敏感关键词及其各种变形相关的邮件、邮件线索和涉及用户，对原始证据访问采用只读方式，不破坏现场。

Description

一种分析和提取电子邮件客户端证据的方法

技术领域

本发明属于信息安全与计算机应用技术领域，涉及一种Email(电子邮件)数据的取证方法，特别是一种对用户计算机中Email客户端数据的证据分析和提取方法。

背景技术

随着社会经济和技术的发展，高科技领域的计算机网络刑事犯罪和司法纠纷日渐突出，相关的司法取证工作已成为一个重要而又紧迫的课题。打击计算机犯罪的关键是找到充分可靠有说服力的电子证据，因此，涉及计算机、网络、通讯和法学等诸多领域的交叉综合性学科——计算机取证(computer forensics)受到了越来越多的关注。而这方面的基础研究和相应的技术手段是国际信息安全和司法界的热点问题。与此同时，计算机取证的实用技术得到了广泛应用。现在美国至少有70％的法律部门拥有自己的计算机取证实验室取证专家在实验室内分析从犯罪现场获取的计算机、外部设备和网络设施中，试图找出谁在什么时间从哪里怎样地进行了什么非法活动。而随着Internet的普及，Email由于其方便、快捷、低成本的特点逐渐取代了传统的通信方式，成为现代社会主要通讯方式之一和互联网上最重要、最普及的应用之一，大大方便了人们生活、工作和学习。与此同时，与Email相关的犯罪案件也与日俱增。许多民事和刑事案件都面临着电子邮件数据的取证问题。

目前，国内外在此领域的研究刚刚起步，早期的相关研究比较零散，如从Cache中提取数字证据，对原始二进制文件进行无损拷贝形成映像文件等，目前还没有形成一个较完备的体系。国际上比较著名的取证工具软件有Encase、FBI、FTK、TCT等，但都不够完善，还没有形成一个既可信度高又便于管理的通用平台。目前的取证软件主要是通用型的辅助工具，主要功能集中在磁盘取证分析。而其他分析工作几乎依赖于取证专家人工进行。而Email证据作为重要的数字证据之一，除了具有一般数字证据的特性(如易失性)还有其特殊性：(1)信息量大；(2)存储结构随应用程序的不同而变化，而且其附件可以携带各种复杂数据形式的文件，如图片、Word、Pdf、视频、音频和可执行程序等；(3)Email的头结构带有大量丰富的信息，但同时由于技术原因头信息很容易被伪造和篡改；(4)Email信息可以反映用户的社会角色特性，比如用户社会关系、行为习惯模式等。

据文献检索，目前Email分析技术主要集中在垃圾邮件分析、邮件自动分类和Email用户行为分析等方面。例如美国专利(专利号：6,832,244)：《Graphical e-mail contentan alyser and prioritizer includinghierarchical email classification system in an email》，该发明以用户自定义搜索参数和可能的值对接收到的Email进行识别、成组与分类。另外与一个专利(申请号：200410063953.9)，微软公司的《用于阻止垃圾邮件的源/目的地的特征和列表》。该发明包括一种易于从消息中提取用于垃圾邮件过滤的数据的系统和方法。所提取的数据可以是特征的形式，其能够与机器学习系统一同使用，以便建立和改进过滤器。示范性的特征包括一个email地址、IP地址、URL、指向URL的一个嵌入式图像、以及/或者其中的一部分。该发明的侧重点是垃圾邮件识别和过滤。

发明内容

本发明的目的是在于克服现有技术中的不足，针对计算机取证的独特性，提供一种Email数据的取证方法，特别是一种对用户计算机中Email客户端数据的证据分析和提取方法。能面向计算机勘查、侦破、取证工作的需要，对用户计算机中Email客户端数据进行分析、搜索，寻找犯罪的证据。

本发明的方法具体步骤如下：

步骤1：读取Email客户端数据文件，先根据计算机中的操作系统、Email客户端软件、以及待取证用户信息，获取Email客户端数据的存放位置，然后读取相应的Email数据文件；读取时，取证机构操作人员根据取证调查的具体需要，对指定的Email客户端程序和用户账号进行取证。

步骤2：对数据文件进行解析和预处理，将Email客户端存储数据文件进行解析，分离出每一封邮件，然后解析、解码出每封邮件的头部、邮件正文、内嵌资源和附件信息，并将得到的各个信息分别存放到邮件记录相应变量中；预处理时，对邮件中解析出来的文本信息，若为html格式则转化为Text格式；对邮件中解析出来的附件，若为压缩格式则先解压缩，若为Word、PDF和html格式文件则转化成text格式。

步骤3：利用邮件的会话内容、相互回复与引用关系进行成组分类，就是以Message-ID、In-Reply-To、References、Subject以及邮件内容引用的信息构建邮件会话线程。

步骤4：利用取证人员输入的关键词进行智能搜索相关邮件。采用现有的智能搜索算法搜索匹配出敏感关键词及其变形。如输入的关键词为“法轮功”、则智能搜索算法可以自动匹配出“法轮功”、“法*轮功”、“fa轮功”、……等，并记录匹配的位置和次数。

步骤5：对相关的邮件、邮件线程和涉及的用户进行内容分析，根据步骤4中智能搜索得到的结果，根据匹配的位置和次数对相关邮件进行相关程度计算，并按与敏感关键词的相关程度进行排序；根据线程中与敏感关键词相关的邮件个数、比率、以及涉及邮件的相关程度，计算邮件会话线程与关键词的相关程度，并按与敏感关键词的相关程度对线程进行排序；对相关的用户，根据该用户涉及的匹配邮件数量、比率、以及参与程度等信息进行相关程度计算，并按与敏感关键词的相关程度对涉及用户进行排序。

步骤6：生成最终Email取证报告供用户浏览；生成的Email取证报告包括按相关程度排序的Email、Email线程和涉及的用户。

本发明根据取证感兴趣的敏感关键词，对用户计算机中所有的邮件进行线程构建、智能搜索和内容分析等取证工作，而不仅仅是对邮件进行成组、分类。本发明从总体上提供了一种分析与提取Email数字证据的解决方案，能够快速、高效地分析和提取出取证人员感兴趣的Email、Email会谈线程以及涉及的用户信息，并按相关程度自动排序。具体来说，实现了以下几个目标：

能够从原始证据文件中提取Email客户端程序相关数据，并对特定格式的Email数据文件文件进行解析和预处理；

能够把数量巨大、分布零散且涉及多用户的邮件数据按照会话内容、相互回复与引用关系进行成组分类，方便用户查看；

能够搜索匹配出调查员输入的敏感关键词及其各种变形相关的邮件、邮件线索和涉及用户，并能对搜索结果按相关性进行排序；

能够在取证分析结束后生成Email取证报告，详细介绍取证的过程、结果和相应的细节信息。

具体的实施效果：(1)运行速度快，能在短时间内搜索出带有敏感信息的邮件、邮件线索和涉及用户，并给出相关系数，可实现Email的快速现场取证；(2)能够搜索匹配出调查员输入的敏感关键词及其各种变形相关的邮件、邮件线索和涉及用户。如输入的关键词为“法轮功”、则智能搜索算法可以自动匹配出“法轮功”、“法*轮功”、“fa轮功”、……等，并记录匹配的位置和次数。(3)无须在待搜索的目标机上事先安装就可使用，对原始证据访问采用只读方式，不破坏现场。

附图说明

图1本发明的Email数据文件解析与预处理流程图；

图2本发明的Email内容编解码处理流程图；

图3本发明的邮件会话线程构建流程图；

图4本发明的智能搜索流程图；

图5本发明的邮件内容分析流程图。

具体的实施方式

分析和提取电子邮件客户端证据的方法包括：

读取Email客户端数据文件，先根据计算机中的操作系统、Email客户端软件、以及待取证用户信息，获取Email客户端数据的存放位置，然后读取相应的Email数据文件；读取时，取证机构操作人员根据取证调查的具体需要，对指定的Email客户端程序和用户账号进行取证。

图1给出的是Email数据文件的解析和预处理的流程图。从图中可以看出Email数据文件的解析和预处理包括以下几个步骤：

(1)Email数据文件的输入。如果需要处理的是Outlook Express(OE)的邮件，那么它的邮件数据和一些系统设置都存放在后缀名为.dbx的文件里，每个邮件夹就是一个.dbx文件，但并不是所有的.dbx文件就是一个邮件夹。为了对硬盘上已有的邮件进行分析，要关注的只有以下两种类型的.dbx文件：(a)Folders.dbx是OE中所有文件夹的索引，记录着整个文件夹的结构，如：你的OE中共有多少个邮件夹、多少个新闻组、有哪些新闻账号、同步文件夹的设定以及Hotmail的资料夹等。(b)收件箱.dbx、发件箱.dbx、已删除邮件.dbx、已发送邮件.dbx、草稿.dbx。这5个.dbx文件是OE系统预设的邮件夹，邮件message就保存在这些文件里。默认情况下，OE的邮件存储路径保存在％　　　　　　UserProfile％\LocalSettings\ApplicationData\Identities\％WindowsUserID％Microsoft\Outlook Express中，当然也可以通过HKEY_CURRENT_USER\Identities\％WindowsUserID％\Software\Microsoft\OutlookExpress\5.0的“Store Root”更改这个路径。其中的％WindowsUserID％可以通过注册表中的HKEY_CURRENT_USER\Identities下的子键Default User ID的值获取。而对于FoxMail保存的数据，是由两个文件组成.Ind和.Box的文件，Ind文件主要记录简单信息，以及详细信息在.Box文件中的起始位置。mail文件夹中的子目录对应Foxmail账号。进入某个帐号所对应的文件夹，文件夹中的in、out、send和trash等文件分别对应收件夹、发件夹、已发送文件夹和废件箱。

(2)解析Email数据文件。对于OE的数据文件，采用微软提供的MSOEAPI接口函数可以从数据文件中分离出独立的邮件；而对于Foxmail数据文件则利用每个邮件头的十六进制格式串：″10 10 10 10 10 10 10 11 11 11 11 11 1153 0D 0A″来分离出独立的邮件。

(3)对邮件利用第一个空行分离出邮件头和邮件体。

(4)解析和解码邮件头中的各项域信息。解析Message-ID、In-Reply-ToReFerences、Subject、Content-Type等邮件头中的各项域信息，并将它们存放入邮件记录相应的内存变量中。头信息的有些域解析的时候可能会遇到编码和字符集问题，如含有中文的Subject，此时需要先根据编码信息进行解码(based64或Quoted-printable解码)，然后将字符集编码转化成gb2312。

(5)若第(4)步中解析出的邮件体的内容类型为文本类型(即Content-Type＝text/plain)则转(6)，否则邮件体内容为Multipart，转(7)；

(6)若编码为based64或Quoted-printable则进行相应的解码，然后若字符集为非ASCII码则转换成Gb2312，最后将文本信息存储在邮件记录中的文本变量中转(10)。

(7)分离出正文部分；若编码为based64或Quoted-printable则进行相应的解码；然后若字符集为非ASCII码则转换成Gb2312；若为html格式则去除html标签；最后将文本信息存储在邮件记录中的文本变量。

(8)若正文部分存在未处理的内嵌资源，则进行解码处理；若内嵌资源的文件名为非ASCII，则转化成GB2312；然后将内嵌资源的文件名和数据内容保存在邮件记录相应的变量中；若仍有未处理内嵌资源则转(8)继续处理，否则转(9).

(9)若邮件体存在未处理的附件，则进行解码处理；若附件的文件名为非ASCII，则转化成GB2312；若附件数据是压缩格式，则解压缩；若附件数据为WORD、PDF和HTML格式，则转换成TEXT格式；然后将附件的文件名和数据内容保存在邮件记录相应的变量中；若仍有未处理内附件则转(9)，否则(10).

(10)将邮件记录插入到数据库中到Email表中，若数据文件中仍有邮件信息未处理则转(2)，否则结束邮件数据文件的解析与预处理。

图2给出的是数据文件解析与预处理过程中的数据编解码处理流程图。

(1)若数据由Content-Transfer-Encoding指定编码方式，则利用对应的方式解码(Base64或QP解码)；

(2)若数据由Charset指定的中文编码不是GB2312，则将其编码转化成GB2312。

图3给出的是邮件的会话线程构建的流程图。从图中可以看出邮件的会话线程构建包括以下几个步骤：

(1)邮件记录预处理。根据邮件的Message-ID过滤掉数据库Email表中重复的邮件记录；对于无Message-ID的邮件，若能找到其对应的含有Message-ID的邮件，则删除无Message-ID的邮件，否则保留它。将过滤后的记录按邮件头中的日期信息进行排序。

(2)创建空表Mesg_table，用以保存每封邮件的Message-ID和与其相关信息Message object：Date、From、To、Subject。

(3)创建空表Parent/Child_table，用以保存每封邮件的Message-ID与此封邮件父邮件的Message-ID。

(4)自有序邮件记录表中取一条记录，获取邮件的Message-ID、References、In-Reply-To字段信息及其它相关信息Message object。若此记录无Message-ID，则为其分配一个唯一的Message-ID。

(5)依次将当前邮件记录的References中的Message-ID插入到表Mesg_table中，并为每个Message-ID分配一个空的Message object。若在表中已存在相同的Message-ID项，则不插入。

(6)依次将当前邮件记录的References中的Message-ID插入表Parent/Child_table中，并将每个ID的前一ID作为其父邮件的Message-ID。若Message-ID处于References的首位，则令其父邮件Message-ID为空。若在表Parent/Child_table中已存在相同Message-ID项，则不插入。

(7)将当前邮件记录的Message-ID与Message object插入表Mesg_table，若发现表中已有相同的Message-ID项，则不插入，用新的Message object代替原有的。

(8)将当前邮件记录的Message-ID插入表Parent/Child_table中，将记录的References的最后一个Message-ID作为其父邮件的Message-ID。若无References，则认为其无父邮件。若表中已有相同的Message-ID项，则用新的父邮件Message-ID代替原来的。

(9)根据Parent/Child_table中的邮件Message-ID的父子关系建立邮件线程树，树结点中保存了每封邮件的Message-ID与Message object信息，并保存两个结点指针分别指向其父亲与第一个兄弟。其根结点为空邮件，每棵子树是一个邮件线程。

(10)遍历线程树，根据结点信息为人工分配Message-ID的邮件找回真实Message-ID，并找回其真实结点位置。

(11)遍历所有子线程树，若一子线程树中有结点的Subject与其父结点的Subject不一样，则分割这棵子树成为两棵，为根结点增加一个孩子。

(12)遍历根结点所有的孩子，根据它们的Subject，将一致的结点所代表的子线程树进行合并。

图4给出的是智能搜索流程图。从图中可以看出智能搜索包括以下几个步骤：

(1)搜索关键词获取与预处理。获取搜索关键词T，记录此词所含的汉字个数n，根据关键词T所含的汉字生成汉字集{S_i}，及各汉字对应的拼音集{U_i}，0<i<n+1。初始化计数变量：count←0。

(2)自数据库Email表中读取一条邮件记录的Subject、Body、Attachment信息放入内存变量。

(3)标记此信息变量的起始位置P，初始化循环变量：j←1，相关系数c＝0。

(4)自P位置开始，取length(S_j)长度的文本内容与S_j比较，若结果一致，P←P+length(S_j)，j++，转(6)；否则转(5)。

(5)自P位置开始，取length(U_j)长度的文本内容与U_j比较，若结果一致，P←P+length(U_j)，j++，转(6)；否则P++，若P位置内容代表汉字内码，重置j＝1，转(6)。

(6)若j<n+1直接转(7)，否则认为搜索到一个关键词，令计数变量count加1，判断P所处的位置，分别统计并记录关键词在Subject/Body/Attachment中匹配出现的次数。

(7)若P未指向信息变量的末尾，则转(4)继续检索；否则保存该邮件匹配的次数、位置和相关系数c并结束此条邮件信息检索，判断Email数据表中记录是否取完，若未取完则转(2)，否则智能搜索结束。

图5给出的是内容分析流程流程图。从图中可以看出内容分析包括以下几个步骤：

(1)输入智能搜索得到的匹配Email数据库表；

(2)计算匹配Email表中每个邮件记录与敏感关键词的相关系数，ce＝(w_s×n_s+w_b×n_b+w_a×n_a)/(n_s+n_b+n_a)，其中w_s、w_b和w_a分别是赋给不同关键词出现在Subject/Body/Attachment三个位置对应的权值(如：0.5、0.3、0.2)，而n_s、n_b和n_a分别是关键词在这三个位置匹配的次数。

(3)对匹配Email表中的记录按其相关系数进行排序，并计算得到至少与关键词匹配一次的Email记录数N；

(4)对每个线程t计算与敏感关键词的相关系数，计算公式为 $c_t=(m/N)\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{\mathrm{ce}}_i,$ 其中m为该线程中至少与关键词匹配一次的邮件数，ce_i为该线程中第i封邮件的相关系数；

(5)对相关线程按相关程度进行排序；

(6)对匹配Email表中的每个用户计算u与敏感关键词相关系数，计算公式为 $c_u=(n/N)\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{ce}}_i,$ 其中n为该用户u至少与关键词匹配一次的邮件数，ce_i为该用户的第i封邮件的相关系数；

(7)对相关用户按相关程度进行排序。

生成Email取证报表：

(1)将相关系数大于预设域值的Email的关键信息按序输出(收件人、发件人、主题、日期、大小、相关系数)，对细节信息利用超链接方式给出，在所有匹配出现的位置用显著的颜色标明；

(2)将相关系数大于预设域值的线程的关键信息(Subject、起止时间、涉及用户、邮件数、匹配次数、相关系数)按序输出，对细节信息利用超链接方式给出，在所有匹配出现的位置用显著的颜色标明；

(3)将相关系数大于预设域值的用户关键信息(用户名、Email地址、涉及敏感关键词的起止时间、相关系数)按序输出；对细节信息利用超链接方式给出，在所有匹配出现的位置用显著的颜色标明。

Claims (1)

1.一种分析和提取电子邮件客户端证据的方法，其特征在于该方法包括以下步骤：

步骤(1)读取电子邮件客户端数据文件，先根据计算机中的操作系统、电子邮件客户端软件、以及待取证用户信息，获取电子邮件客户端数据的存放位置，然后读取相应的电子邮件数据文件；读取时，取证机构操作人员根据取证调查的具体需要，对指定的电子邮件客户端程序和用户账号进行取证；

步骤(2)对数据文件进行解析和预处理，将电子邮件客户端存储数据文件进行解析，分离出每一封邮件，然后解析、解码出每封邮件的头部、邮件正文、内嵌资源和附件信息，并将得到的各个信息分别存放到邮件记录相应变量中；预处理时，对邮件中解析出来的文本信息，若为html格式则转化为Text格式；对邮件中解析出来的附件，若为压缩格式则先解压缩，若为Word、PDF和html格式文件则转化成text格式；

步骤(3)利用邮件的会话内容、相互回复与引用关系进行成组分类，就是以Message-ID、In-Reply-To、References、Subject以及邮件内容引用的信息构建邮件会话线程；

步骤(4)利用取证人员输入的关键词进行智能搜索相关邮件，采用智能搜索算法搜索匹配出敏感关键词及其变形；所述的智能搜索算法的步骤是：

①搜索关键词获取与预处理：获取搜索关键词T，记录此词所含的汉字个数n，根据关键词T所含的汉字生成汉字集{S_i}，及各汉字对应的拼音集{U_i}，0＜i＜n+1；初始化计数变量：count←0；

②自数据库Email表中读取一条邮件记录的Subject、Body、Attachment信息放入内存变量；

③标记此信息变量的起始位置P，初始化循环变量：j←1，相关系数c＝0；

④自P位置开始，取length(S_j)长度的文本内容与S_j比较，若结果一致，P←P+length(S_j)，j++，转⑥；若结果不一致则转⑤；

⑤自P位置开始，取length(U_j)长度的文本内容与U_j比较，若结果一致，P←P+length(U_j)，j++，转⑥；否则P++，若P位置内容代表汉字内码，重置j＝1，转⑥；

⑥若j＜n+1直接转⑦，若j≥n+1则认为搜索到一个关键词，令计数变量count加1，判断P所处的位置，分别统计并记录关键词在Subject/Body/Attachment中匹配出现的次数；

⑦若P未指向信息变量的末尾，则转④继续检索；否则保存该邮件匹配的次数、位置和相关系数c并结束此条邮件信息检索，判断Email数据表中记录是否取完，若未取完则转②，否则智能搜索结束；

步骤(5)对相关的邮件、邮件线程和涉及的用户进行内容分析，根据步骤(4)中智能搜索得到的结果，根据匹配的位置和次数对相关邮件进行相关程度计算，并按与敏感关键词的相关程度进行排序；根据线程中与敏感关键词相关的邮件个数、比率、以及涉及邮件的相关程度，计算邮件会话线程与关键词的相关程度，并按与敏感关键词的相关程度对线程进行排序；对相关的用户，根据该用户涉及的匹配邮件数量、比率、以及参与程度等信息进行相关程度计算，并按与敏感关键词的相关程度对涉及用户进行排序；

步骤(6)生成最终电子邮件取证报告供用户浏览；生成的电子邮件取证报告包括按相关程度排序的电子邮件、电子邮件线程和涉及的用户。

Images