CN102130973A - 对电子邮件实施自动批量网络取证的系统和方法 - Google Patents

Abstract

本发明提供一种对电子邮件实施自动批量网络取证的系统和方法，包括取证前端子系统、存储子系统、取证后端子系统，还提供一种对电子邮件实施自动批量网络取证系统的取证方法为：1)利用webmail访问自学习模块进行一次人工辅助学习取得webmail访问模式；2)利用HTTP通信模块按照webmail访问自学习模块学习到的访问模式实现自动批量的邮件取证并自动恢复邮件状态实现事前取证的隐蔽性；其中随机延时访问防止邮件服务系统对被取证邮件的帐号临时访问禁止，该系统及方法能在不破坏、不影响该用户正常使用该邮件账号的情况下，达到隐蔽性取证的目的。

Description

对电子邮件实施自动批量网络取证的系统和方法

技术领域

本发明涉及一种通过网络自动获取指定用户账号的电子邮件的系统和方法，该系统和方法适用于现有的提供webmail邮件服务的邮件系统，而不受其后台邮件服务协议采用POP3或IMAP4或其他服务协议的局限。

背景技术

现有的邮件取证有下列几种方法：

1、通过本地操作和访问，直接从邮件服务器上获取指定邮件账号的邮件信息。即通过本地访问邮件服务器上的数据文件和数据库数据来获取特定邮件帐户的邮件，从而实现取证。该技术的缺陷在于如果无法直接控制和本地访问邮件服务器，就无法实施取证。另外，该技术只能针对特定邮件服务系统上注册的邮件帐户实施取证，不具有普适性。

2、通过实现POP3(Post Office Protocol)或IMAP4(Interactive mail access protocol)协议，从支持POP3或IMAP4协议的邮件服务器上获取需要取证的邮件帐户的邮件，例如使用现有的微软的OUTLOOK软件或FOXMAIL软件。该技术缺点在于：只能针对支持POP3或IMAP4邮件协议的邮件系统取证，而对webmail不具有普适性。另外，该技术在针对POP3邮件系统时，会影响指定邮件帐户的邮件的读取状态，从而不符合事前取证的隐蔽性要求。

3、通过直接使用浏览器访问实施取证。对于提供webmail服务的邮件系统的邮件帐号，可以通过使用浏览器直接访问邮件服务系统的主页，从而获取指定邮件帐号的邮件信息。该技术存在的缺陷在于：一是只能人工手动访问，速度慢，效率低；二是由于人工访问的时间差可能引起邮件读取状态的变化或恢复不及时，导致被被取证人发现，从而导致取证不能继续实施。

发明内容

本发明目的为提供一种对电子邮件实施自动批量网络取证的系统和方法，该系统及方法能在不破坏、不影响该用户正常使用该邮件账号的情况下，达到隐蔽性取证的目的。

本发明的技术方案如下：

一种对电子邮件实施自动批量网络取证的系统，包括取证前端子系统、存储子系统、取证后端子系统；

所述取证前端子系统，用于针对指定的邮件帐号，定时、自动、批量下载对应邮件帐号存储在互联网上的邮件服务系统中的尚未取证的所有邮件，存储到本地存储器中，并保持邮件服务系统中的邮件状态不发生变化；

所述存储子系统，对取证前端子系统下载的邮件分类按多层次目录存储，同时存储下载邮件的索引；

所述取证后端子系统，分析和呈现所有被取证邮件的内容，提供邮件的关键字搜索、排序功能，提供对取证前端子系统参数设置的功能。

所述取证前端子系统包括：webmail访问自学习模块、HTTP通信模块、web行为控制模块；所述webmail访问自学习模块，通过记录和学习人工在浏览器中访问指定的邮件服务系统的webmail帐号登录、打开邮件箱行为的通信过程和内容，形成并记载该邮件服务系统的访问模式，该访问模式用于后续对该邮件服务系统上的指定邮件帐号的自动批量邮件取证的通信过程；所述HTTP通信模块，依据通过学习得到的访问模式，完成定时自动登录邮件帐号、自动打开邮件箱、批量下载需取证邮件、自动恢复邮件状态的HTTP通信过程；所述web行为控制模块，设置需HTTP通信模块要取证的邮件帐号以及取证过程中的行为特点(定时、循环取证、随机延时)，更使得自动取证过程具备智能适应能力。

所述存储子系统包括：邮件存储模块，本地邮件存储器，所述邮件存储模块负责邮件的本地存储或过渡存储；所有下载的邮件存储到本地邮件存储器中，并建立相应的索引。

所述取证后端子系统包括：邮件内容呈现模块，邮件内容解析模块，系统管理模块；

所述邮件内容呈现模块负责以图形交互界面向用户呈现存储在本地邮件存储器中的被取证的所有邮件；

所述邮件内容解析模块负责从邮件中解析提取出邮件的发件人、收件人、发送时间、邮件标题、邮件正文、邮件附件；

所述系统管理模块负责管理和设置下列内容：添加、修改、删除要取证的邮件帐号；设置行为控制选项值；整理本地邮件存储器中存储的邮件；取证邮件的查找、排序。

所述存储子系统采用标准格式.eml格式存储文件，所述的邮件内容解析模块按照标准定义的格式解析邮件，解析得到的内容中邮件正文和附件采用超文本格式，其他部分采用纯文本格式。

一种对电子邮件实施自动批量网络取证系统的取证方法，取证方法如下：

1)利用webmail访问自学习模块进行一次人工辅助学习取得webmail访问模式；

2)利用HTTP通信模块按照webmail访问自学习模块学习到的访问模式实现自动批量的邮件取证并自动恢复邮件状态实现(向被取证邮件帐户的服务器端发送邮件状态恢复请求，如把被取证邮件状态由“已读”修改为“未读”)事前取证的隐蔽性；其中随机延时访问防止邮件服务系统对被取证邮件的帐号临时访问禁止。

所述webmail访问自学习模块学习方法如下：

步骤一在webmail访问自学习模块提供的浏览器引擎中，输入该邮件服务系统的web访问地址，进入该邮件服务系统的主页面；

步骤二在浏览器引擎显示的主页面中，输入测试用的邮件帐号和密码，登录该邮件服务系统，webmail访问自学习模块包含的HTTP协议分析器记载该登录过程的网络传输内容；

步骤三登录成功后，依次打开收件箱、草稿箱、发件箱、已删除邮件箱、垃圾箱，webmail访问自学习模块包含的HTTP协议分析器记载上述操作过程的网络传输内容；

步骤四退出邮件服务系统，webmail访问自学习模块包含的HTTP协议分析器记载退出过程的网络传输内容；

步骤五HTTP协议分析器分析上述记载的通信过程，获得针对该邮件服务系统的HTTP访问模式，存入访问模式表。

所述利用HTTP通信模块实现自动批量的邮件取证及自动状态恢复实现事前取证的隐蔽性的方法如下：

步骤一接收WEB行为控制模块指定的要取证的邮件帐号信息；

步骤二通过分析邮件帐号获取对应的邮件服务系统的域名；

步骤三从访问模式表中取得对应邮件服务系统的访问模式；

步骤四按照访问模式填写好登录对应邮件服务系统的HTTP通信报文，自动登录邮件服务系统；

步骤五按照访问模式表依次打开该邮件帐号的所有邮箱，下载邮箱中未下载过的每一封邮件，并在下载后向邮件服务器端发送状态设置请求命令，将该封邮件状态重新设置为原来的状态；由于频繁快速下载邮件可能会导致某些服务器端暂时禁止该邮件帐户的访问，因此软件会在下载一封邮件后，随机延时一段时间再下载下一封邮件；下载过的邮件通知web行为控制模块建立索引；

步骤六按照访问模式表填写好退出对应邮件服务系统的HTTP通信报文，退出该邮件服务系统。

本发明的技术效果在于：

本发明上述方法和系统，既满足了自动批量对互联网邮件实施取证的要求，同时由于其自动化和智能化的访问行为，不影响被取证邮件用户正常访问其邮件系统，满足了事前取证的隐蔽性要求。

附图说明

图1为本发明所述对电子邮件实施自动批量网络取证的系统和方法结构示意图。

图2为本发明所述系统流程图。

具体实施方式

以下结合附图对本发明做进一步说明。

如图1所示，本发明一种对电子邮件实施自动批量网络取证的系统，包括取证前端子系统、存储子系统、取证后端子系统；所述取证前端子系统包括：webmail访问自学习模块、HTTP通信模块、web行为控制模块；所述存储子系统包括：邮件存储模块，本地邮件存储器，所述邮件存储模块负责邮件的本地存储或过渡存储；所有下载的邮件存储到本地邮件存储器中，并建立相应的索引；所述取证后端子系统包括：邮件内容呈现模块，邮件内容解析模块，系统管理模块。(系统运行流程参见图2)

1、本发明实施需要至少以下硬件环境和设备的支持。

●CPU：1GHz 32位(x86)或64位(x64)

●内存：512MB系统内存及以上

●显卡：标准VGA，24位真彩色

●网卡：10/100/1000Mbps自适应

●网络环境：家庭宽带/ADSL/企业网/校园网/无线网

●其它：光驱、鼠标

2、本实施例所需要的软件环境

●操作系统：Windows XP sp3系统

●开发支持环境：Microsoft.NET Framework 3.5sp1；

●开发环境：Sharp Develop 3.2

3、邮件帐号列表

邮件帐号列表采用文本文件.txt存储。格式定义为：用户名，密码。如：

zhouzl2010@grnail.com，123456

test12010@yahoo.com，12345678

每个邮件帐号独占一行。

HTTP通信模块处理邮件帐号时，首先识别帐号中@符号后面的部分(如gamil.com，yahoo.com)，以确定HTTP访问连接的邮件服务系统的域名。

4、行为控制选项

采用.ini文件存储，每个选项独占一行，格式定义为：选项名＝选项值。控制选项包括：

TIMER＝0

SLEEP＝10

MIN＝10

MAX＝25

TEMIER用于配置邮件收取端是否定时自动收取邮件。0，表示关闭定时启动功能，1，表示开启定时启动功能。

SLEEP用于设置自上一次自动收取邮件结束后，再次启动收取邮件的间隔时间，该时间以分钟为单位。

MIN和MAX选项用于设置两次下载邮件中间随机延时的间隔，以秒为单位。为使既能尽快下载邮件，又不会因频繁访问而被某些邮件服务系统临时禁止访问，延时时间最好设置在10到25秒之间。

5、已获取邮件索引

按照不同邮件服务系统分别索引，以邮件ID作为索引号，以SQLite数据库文件保存。

6、WEB行为控制模块

WEB行为控制模块执行的步骤为：

步骤一打开邮件帐号列表文件.txt、行为控制选项文件.ini，根据控制选项设置好全局控制变量值；将邮件帐号列表中的每一行的用户名、密码存储到待处理邮件帐号列表变量中；

步骤二传递帐号列表中的第一个邮件帐号给HTTP通信模块，由HTTP通信模块负责完成对该邮件帐号的登录、邮件下载、帐号退出等操作，这些操作完成后，HTTP通信模块通知WEB行为控制模块；

步骤三待一个邮件帐号处理完后，WEB行为控制模块取邮件帐号列表变量中的下一个邮件帐号传递给HTTP通信模块，继续取证操作；

步骤四如果邮件帐号列表中所有帐号都已经处理完，WEB行为控制模块判断TIMER选项的值，如为0，则结束取证操作，退出，如为1，则在计时等待由SLEEP选项指定的时间后，再从邮件列表变量中的第一个邮件帐号开始，重复步骤二和步骤三；

步骤五在循环模式下，WEB行为控制模块循环上述取证过程，直到被强制停止结束。

7、webmail访问自学习模块

当针对某个邮件帐号取证的邮件服务系统是首次被取证时(即以前从未针对该邮件服务系统的类似邮件帐号实施取证)，或发现某次针对该邮件服务系统取证失败时(失败的原因可能是邮件服务系统更新升级)，需要使用本模块针对该邮件服务系统进行自学习过程。

Webmail访问自学习模块由三部分构成：浏览器引擎、HTTP协议分析器和访问模式表。

针对某个邮件服务系统的学习过程步骤为：

步骤一在本模块提供的浏览器引擎中，输入该邮件服务系统的web访问地址，进入该邮件服务系统的主页面。

步骤二在浏览器引擎显示的主页面中，输入测试用的邮件帐号和密码，登录该邮件服务系统。本模块包含的HTTP协议分析器记载该登录过程的网络传输内容。

步骤三登录成功后，依次打开收件箱、草稿箱、发件箱、已删除邮件箱、垃圾箱。本模块包含的HTTP协议分析器记载上述操作过程的网络传输内容。

步骤四退出邮件服务系统，本模块包含的HTTP协议分析器记载退出过程的网络传输内容。

步骤五HTTP协议分析器分析上述记载的通信过程，获得针对该邮件服务系统的HTTP访问模式，存入访问模式表。

一次学习完成后，HTTP通信模块就可以利用学习到的访问模式在后续的取证过程中自动访问该邮件服务系统，收取邮件，而无须人工干预。

8、HTTP通信模块

对于指定取证的邮件帐号，HTTP通信模块按照web自学习模块学习到的访问模式，自动通过HTTP协议访问相应的邮件服务系统，完成自动批量邮件取证下载工作。

针对某个邮件帐号的HTTP通信模块的实现步骤如下：

步骤一接收WEB行为控制模块指定的要取证的邮件帐号信息；

步骤二通过分析邮件帐号获取对应的邮件服务系统的域名；

步骤三从访问模式表中取得对应邮件服务系统的访问模式；

步骤四按照访问模式填写好登录对应邮件服务系统的HTTP通信报文(包括邮件帐号，密码)，自动登录邮件服务系统；

步骤五按照访问模式表依次打开该邮件帐号的所有邮箱，下载邮箱中未下载过的每一封邮件。邮件下载后，邮件服务器端会自动将“未读”邮件状态设置成“已读”，HTTP通信模块要向邮件服务器端服务软件发送命令，要求服务器端重新将该邮件状态设置成“未读”，即可实现在下载后恢复该封邮件状态为原来的“未读”状态。两封连续的邮件下载中间HTTP通信模块要随机产生一个延时时间(值处于行为控制选项的MIN和MAX之间)，延时后再继续下载下一封邮件。下载过的邮件通知web行为控制模块建立索引；

步骤六按照访问模式表填写好退出对应邮件服务系统的HTTP通信报文，退出该邮件服务系统。

9、邮件存储模块和本地邮件存储器

邮件存储模块负责邮件的本地存储或过渡存储。所有下载的邮件存储到本地邮件存储器中，并建立相应的索引。

邮件存储时，按照不同的邮件服务商、邮件帐号、邮箱三个层次分类存储到不同的本地存储目录中。每封邮件都存储成标准的.eml格式的文件。

10、邮件内容解析模块

邮件存储文件.eml格式是一种公开格式的标准，按照标准定义的格式解析，即可以从文件中提取出邮件的发件人、收件人、发送时间、邮件标题、邮件正文、邮件附件。其中，邮件正文和附件允许是超文本格式，其他部分为纯文本格式。

11、邮件内容呈现模块

本模块负责以图形交互界面向用户呈现存储在本地邮件存储器中的被取证的所有邮件。

呈现步骤为：

步骤一由系统用户指定本地邮件存储器的目录地址；

步骤二读取指定的目录地址中的内容，按照目录下的所有邮件服务系统的类型建立一级树结点，在图形界面中显示这些一级树结点内容；

步骤三读取指定目录地址中的内容，按照目录下各邮件服务系统下的邮件帐号建立二级树结点，在图形界面中显示这些二级树结点内容；

步骤三读取指定目录地址中的内容，按照目录下各邮件服务系统下的邮件帐号下的邮箱建立三级树结点，在图形界面中显示这些三级树结点内容；

步骤四当用户点击图形界面中的一、二级树结点时，展开下一级树结点；当用户点击图形界面中三级树结点时，在图形界面的列表中显示本地存储的对应邮箱中的所有邮件的摘要信息。包括：发件人、收件人、发送时间、邮件标题、是否有附件；

步骤四当用户点击图形界面中的列表中的某封邮件时，弹出独立的页面，在独立页面中显示该封邮件的所有摘要和正文内容。

12、系统管理模块

系统管理模块负责管理和设置下列内容：添加、修改、删除要取证的邮件帐号；设置行为控制选项值；整理本地邮件存储器中存储的邮件；取证邮件的查找、排序。

本发明存在以下的特点：

1)普适性：无论被取证邮件服务系统是采用POP3、IMAP4还是其他协议，只要其邮件服务系统提供WEB访问方式的服务，就适用于本发明的方法和系统。

2)取证过程自动化、智能化。设置好需取证的邮件帐户后，后续的取证过程无需人工干预，可以长时间的循环自动取证。智能化地调整对同一个邮件帐户的服务系统的访问频度，避免了由于频繁访问而被临时封锁帐户的可能。智能化地识别邮件帐号中的信箱的数量，避免遗漏。智能化地识别未取证邮件和已取证邮件，避免重复取证。

3)批量取证：只要把要取证的所有邮件帐户设置到邮件帐号列表中，本发明的系统就可以依次处理所有设置的帐户，自动将帐户中收件箱、发件箱、垃圾箱等信箱中的未取证邮件下载到本地存储器中。无需人工手动自挨个邮件取证下载。

4)不影响被取证邮件帐户用户的正常使用，隐蔽性好。本发明的系统在自动下载邮件后，若该封邮件下载后状态发生变化，即向邮件服务器端自动发送邮件状态修改请求命令，恢复邮件的原来状态，如从“已读”恢复成“未读”，这种恢复操作间隔时间同人工操作相比较，几乎可以忽略不计。因此，即使在取证过程中，被取证邮件帐户的用户正同时使用浏览器登录邮件服务器端访问该邮件帐户，浏览该邮件帐户邮箱中的邮件，也不能发现被取证邮件的这种状态上的瞬时变化，从而不会对取证过程有所察觉。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种对电子邮件实施自动批量网络取证的系统，其特征在于：包括取证前端子系统、存储子系统、取证后端子系统；

所述取证前端子系统，用于针对指定的邮件帐号，定时、自动、批量下载对应邮件帐号存储在互联网上的邮件服务系统中的尚未取证的所有邮件，存储到本地存储器中，并保持邮件服务系统中的邮件状态不发生变化；

所述存储子系统，对取证前端子系统下载的邮件分类按多层次目录存储，同时存储下载邮件的索引；

所述取证后端子系统，分析和呈现所有被取证邮件的内容，提供邮件的关键字搜索、排序功能，提供对取证前端子系统参数设置的功能。

2.根据权利要求1所述的对电子邮件实施自动批量网络取证的系统，其特征在于：所述取证前端子系统包括：webmail访问自学习模块、HTTP通信模块、web行为控制模块；

所述webmail访问自学习模块，通过记录和学习人工在浏览器中访问指定的邮件服务系统的webmail帐号登录、打开邮件箱行为的通信过程和内容，形成并记载该邮件服务系统的访问模式，该访问模式用于后续对该邮件服务系统上的指定邮件帐号的自动批量邮件取证的通信过程；

所述HTTP通信模块，依据通过学习得到的访问模式，完成定时自动登录邮件帐号、自动打开邮件箱、批量下载需取证邮件、自动恢复邮件状态的HTTP通信过程；

所述web行为控制模块，设置需HTTP通信模块要取证的邮件帐号以及取证过程中的行为特点。

3.根据权利要求1所述的对电子邮件实施自动批量网络取证的系统，其特征在于：所述存储子系统包括：邮件存储模块，本地邮件存储器，所述邮件存储模块负责邮件的本地存储或过渡存储；所有下载的邮件存储到本地邮件存储器中，并建立相应的索引。

4.根据权利要求1所述的对电子邮件实施自动批量网络取证的系统，其特征在于：所述取证后端子系统包括：邮件内容呈现模块，邮件内容解析模块，系统管理模块；

所述邮件内容呈现模块负责以图形交互界面向用户呈现存储在本地邮件存储器中的被取证的所有邮件；

所述邮件内容解析模块负责从邮件中解析提取出邮件的发件人、收件人、发送时间、邮件标题、邮件正文、邮件附件；

所述系统管理模块负责管理和设置下列内容：添加、修改、删除要取证的邮件帐号；设置行为控制选项值；整理本地邮件存储器中存储的邮件；取证邮件的查找、排序。

5.根据权利要求3或4所述的对电子邮件实施自动批量网络取证的系统，其特征在于：所述存储子系统采用标准格式.eml格式存储文件，所述的邮件内容解析模块按照标准定义的格式解析邮件，解析得到的内容中邮件正文和附件采用超文本格式，其他部分采用纯文本格式。

6.如权利要求1所述的一种对电子邮件实施自动批量网络取证系统的取证方法，其特征在于：取证方法如下：

1)利用webmail访问自学习模块进行一次人工辅助学习取得webmail访问模式；

2)利用HTTP通信模块按照webmail访问自学习模块学习到的访问模式实现自动批量的邮件取证并自动恢复邮件状态实现事前取证的隐蔽性；其中随机延时访问防止邮件服务系统对被取证邮件的帐号临时访问禁止。

7.根据权利要求5所述的对电子邮件实施自动批量网络取证系统的取证方法，其特征在于：所述webmail访问自学习模块学习方法如下：

步骤一在webmail访问自学习模块提供的浏览器引擎中，输入该邮件服务系统的web访问地址，进入该邮件服务系统的主页面；

步骤二在浏览器引擎显示的主页面中，输入测试用的邮件帐号和密码，登录该邮件服务系统，webmail访问自学习模块包含的HTTP协议分析器记载该登录过程的网络传输内容；

步骤三登录成功后，依次打开收件箱、草稿箱、发件箱、已删除邮件箱、垃圾箱，webmail访问自学习模块包含的HTTP协议分析器记载上述操作过程的网络传输内容；

步骤四退出邮件服务系统，webmail访问自学习模块包含的HTTP协议分析器记载退出过程的网络传输内容；

步骤五HTTP协议分析器分析上述记载的通信过程，获得针对该邮件服务系统的HTTP访问模式，存入访问模式表。

8.根据权利要求5所述的对电子邮件实施自动批量网络取证系统的取证方法，其特征在于：所述利用HTTP通信模块实现自动批量的邮件取证及自动状态恢复实现事前取证的隐蔽性的方法如下：

步骤一接收WEB行为控制模块指定的要取证的邮件帐号信息；

步骤二通过分析邮件帐号获取对应的邮件服务系统的域名；

步骤三从访问模式表中取得对应邮件服务系统的访问模式；

步骤四按照访问模式填写好登录对应邮件服务系统的HTTP通信报文，自动登录邮件服务系统；

步骤五按照访问模式表依次打开该邮件帐号的所有邮箱，下载邮箱中未下载过的每一封邮件，并在下载后恢复该封邮件状态为原来的状态，下载过的邮件通知web行为控制模块建立索引；

步骤六按照访问模式表填写好退出对应邮件服务系统的HTTP通信报文，退出该邮件服务系统。

Images