CN107992508B - 一种基于机器学习的中文邮件签名提取方法及系统 - Google Patents

Abstract

本发明提供一种基于机器学习的中文邮件签名提取方法，包括以下步骤：通过正则切分方式，对待处理的中文邮件进行签名提取，获取一部分签名数据；提取样本签名数据的行特征，将所述行特征输入SVM进行训练获得训练模型；对于通过正则切分方式无法提取获得签名数据的中文邮件数据，通过训练模型，识别中文邮件中的签名行，对签名行进行合并后获得另一部分签名数据。能够从中文邮件数据中准确地提出发件人的个人信息，从而解决了在对邮件数据的数据挖掘中，经常挖掘到邮箱就无法继续深入的难题。且提取结果具有较高的准确率，具有很高的泛用性。同时提供对应上述方法的系统。

Description

一种基于机器学习的中文邮件签名提取方法及系统

技术领域

本发明涉及计算机操作软件设计领域，尤其涉及文本挖掘及信息整合系统，具体涉及一种基于机器学习的中文邮件签名提取方法及系统。

背景技术

电子邮件是新的刑诉法规定的电子数据类证据，在涉网案件侦办中的作用越来越重要。而作为侦查办案人员，面对海量的电子邮件，尤其是中文邮件作为证据时，如何快速清理出人物和事件的脉络，查找到重要的涉案数据和嫌疑人员，是一个值得持续研究的问题。

在对中文邮件数据进行处理时，签名在中文邮件数据中，作为少数能够将邮件与现实中的人对应起来的信息，在对中文邮件数据分析中尤为重要。但由于目前绝大部分的中文邮件签名的格式没有固定统一格式，造成目前几乎无法从中文邮件数据中通过某种特定规则来完全将邮件签名提取出来。

目前存在的关于中文邮件的签名提取相关技术大致有两类，以下分别介绍这两类方法的核心思路及缺点。

第一类为传统的中文邮件签名提取方法，往往是基于中文邮件的已有的标准签名格式，通过正则、与已有数据库进行比对等方式进行签名提取。如：形如“————————”的标准签名格式。

该方法具有一定的局限性，往往只能适用于格式比较标准的中文邮件签名提取，而且往往会由于存在格式不对、签名的位置不对等因素，造成最终无法正确提取出签名。

第二类是近年出现的一种通过对中文邮件进行自然语言处理(NLP)，来判断该内容是否为签名的方法。这种方法通过对中文邮件全文进行分词，并根据每个词的前后文的特征，通过机器学习的算法来判断当前词是否为签名的一种判断方式，来提取出模型判定为签名的部分内容。

该方法的准确率相对较高，但由于对中文邮件全文进行自然语言处理，对中文邮件全文进行形态素解析、构文解析等自然语言处理的操作，造成计算量非常大，而且对于一些包含不常见词汇的中文邮件，无法达到理想的提取效果。

发明内容

针对现有技术存在的不足，本发明的核心目的在于提供一种基于机器学习的中文邮件签名提取方法及系统。能够从中文邮件数据中准确地提出发件人的个人信息，从而解决了在对邮件数据的数据挖掘中，经常挖掘到邮箱就无法继续深入的难题。且提取结果具有较高的准确率，具有很高的泛用性。

为实现上述目的，本发明采取的技术方案是：

一种基于机器学习的中文邮件签名提取方法，包括以下步骤：

通过正则切分方式，对待处理的中文邮件进行签名提取，获取一部分签名数据；

提取样本签名数据的行特征，将所述行特征输入SVM进行训练获得训练模型；

对于通过正则切分方式无法提取获得签名数据的中文邮件数据，通过训练模型，识别中文邮件中的签名行，对签名行进行合并后获得另一部分签名数据。

进一步地，所述待处理的中文邮件的文件格式为.eml，文字编码为UTF-8。

进一步地，所述正则包括以下模式：

模式1:------------------------------------；

模式2:********************；

模式3:祝好。

进一步地，所述一部分签名数据为标准格式邮件的签名信息。

进一步地，以邮件正文中的行为单位，对每行提取行特征，以每次提取针对的行为目标行。

进一步地，所述行特征包括：目标行的特征、目标行以上的行的特征及目标行以下的行的特征。

进一步地，所述目标行的特征包括：该行是否带有指定关键字，该行是否为最后一行，该行是否为倒数第二行；

所述目标行以上的行的特征包括：该行是否为标点符号开始，该行的内容是否为空；

所述目标行以下的行的特征包括：该行是否为最后一行，该行是否为标点符号开始。

进一步地，所述训练模型选用LibSVM包来对待识别数据进行分类；训练模型的参数选择为线性，训练模型的验证方式选择为5交叉验证。

一种存储计算机程序的可读存储介质，所述计算机程序包括指令，所述指令用以执行上述方法中的各个步骤。

一种基于机器学习的中文邮件签名提取系统，包括：

正则提取模块，用以通过正则切分方式，对待处理的中文邮件进行签名提取，获取一部分签名数据；

样本特征提取模块，用以提取样本签名数据的行特征；

SVM训练模块，以行特征作为输入进行训练获得训练模型；对于通过正则切分方式无法提取获得签名数据的中文邮件数据，通过训练模型，识别中文邮件中的签名行，对签名行进行合并后获得另一部分签名数据。

本发明首先以传统的正则切分方式提取待处理邮件中的签名数据，从而高效地筛除大部分可以通过传统方式提取签名的待处理邮件。对于剩余的邮件，则以邮件中的每行为判断对象，判断各行是否为组成签名的签名行；通过对邮件行与行之间的深度思考及试验，总结出了确认有效的判断目标行是否为签名行的有效特征；并根据使用场景，选择了机器学习中的SVM作为建模方法。确保能够准确地从剩余邮件中提取出签名数据。

根据签名数据即可以从邮件数据中准确地提出发件人的个人信息(如姓名、电话、地址、公司、职务等)，从而解决了在对邮件数据的数据挖掘中，经常挖掘到邮箱就无法继续深入的难题。经过对网上公开的中文邮件数据的签名提取实验中，提取结果的准确率高达90％以上，并同时具有很高的泛用性。

附图说明

图1为一封电子邮件内容示意图。

图2为本发明是一实施例中基于机器学习的中文邮件签名提取方法的流程示意图。

具体实施方式

相关术语解释：

中文邮件签名：主要指在中文邮件的末尾处的签名，通常有姓名、电话、Email、公司、地址等个人信息。如图1所描绘的为一封邮件正文的示例，图中框选部分即为签名。

机器学习：属于人工智能领域，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。机器学习主要是对能通过经验自动改进的计算机算法的研究。

支持向量机(Support Vector Machine，常简称为SVM)：是在分类与回归分析中分析数据的监督式学习模型与相关的学习算法。

支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。

支持向量机方法是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度，Accuracy)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折衷，以期获得最好的推广能力(或称泛化能力)。

工作原理：

通过分析现有技术的不足点，本申请根据对中文邮件签名提取的探索和理解，基于机器学习，通过如下的思路实施技术方案：

首先，传统的正则切分方法，拥有着高效性的优点。本申请延用正则提取方法对标准中文邮件签名格式抽取。而那些通过正则切分无法适用的不规则的签名格式中文邮件，则采用机器学习算法来处理。

其次，机器学习拥有准确性强、泛用性广等特点，本申请的核心构思在于决定选择机器学习算法。本申请选用的是机器学习算法中，被广泛使用在自然语言处理等领域的SVM。可以解决对中文邮件格式的要求，能够提取出大量的非标准签名格式的中文邮件数据。

最后，再采用以行为单位，对行进行各种特征提取，并以此为依据，来训练并判断该行是否为签名行。对相临的，同被判定为签名行的数据进行合并，作为签名提取的最终结果。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。

如图2所示，在一实施例中，提供的基于机器学习的中文邮件签名提取方法，其流程如下：

步骤1：收集中文邮件数据，以.eml的标准中文邮件格式进行签名提取。

步骤2：通过传统正则切分方式，对该中文邮件进行签名提取。

步骤3：对正则无法提取签名的中文邮件，进行行特征提取和训练。

步骤4：通过使用机器学习算法SVM，以中文邮件正文中的行为单位，进行判断是否为签名。

更具体的实现方式：

(一)收集中文邮件数据

在此步骤，需要先将即将要分析的邮件数据进行收集，并对格式及文字编码进行统一。目前主要用于测试的中文邮件格式为“.eml”文件格式，文字编码主要为”UTF-8”。

(二)中文邮件的正则提取

通过对中文邮件数据签名格式的大量调查和分析，确定将以下几种模式作为提取签名的正则。

模式1:------------------------------------；

模式2:********************；

模式3:祝好。

基于这三种提取签名模式，将邮件进行第一次筛选，并将提取出的签名汇总到签名数据中。

(三)行特征提取

对于无法通过正则提取出签名的不规范邮件，使用机器学习算法，来进行处理。通过分析大量的阅读带有签名的中文邮件，确认中文邮件的签名都是以行为单位，可参考图1中框选的签名部分所是示意的格式。

因此本申请以邮件正文中的“行”为判断的最小单位，对每行进行特征提取，用于之后的签名判别模型的判别依据。

下面介绍比较重要的3个维度提取行的特征。

1)目标行的特征：

例如：该行是否带有指定关键字，该行是否为最后一行，该行是否为倒数第二行等。

2)目标行以上的行的特征：

例如：上一行是否为标点符号开始，上一行的内容是否为空等。

3)目标行以下的行的特征：

例如：目标行的下一行是否为最后一行，目标行的下一行是否为标点符号开始等。

(四)机器学习建模(SVM)

本申请采用SVM对行特征进行学习训练，并使用训练后的模型对邮件正文中的每一行进行是否为签名行的判断，如若为签名行，则将每封邮件中的签名行内容进行合并，并输出。

关于SVM建模，本例选用的是python程序中比较常用的的LibSVM包来对当前数据进行分类。SVM的模型参数选择的是线性，训练模型的方式选择5交叉验证的方式。

显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (7)

1.一种基于机器学习的中文邮件签名提取方法，包括以下步骤：

通过正则切分方式，对待处理的中文邮件进行签名提取，获取一部分签名数据；

提取样本签名数据的行特征，将所述行特征输入SVM进行训练获得训练模型；其中以邮件正文中的行为单位，对每行提取行特征，以每次提取针对的行为目标行；所述行特征包括：目标行的特征、目标行以上的行的特征及目标行以下的行的特征；所述目标行的特征包括：该行是否带有指定关键字，该行是否为最后一行，该行是否为倒数第二行；所述目标行以上的行的特征包括：该行是否为标点符号开始，该行的内容是否为空；所述目标行以下的行的特征包括：该行是否为最后一行，该行是否为标点符号开始；

对于通过正则切分方式无法提取获得签名数据的中文邮件数据，通过训练模型，识别中文邮件中的签名行，对签名行进行合并后获得另一部分签名数据。

2.如权利要求1所述的基于机器学习的中文邮件签名提取方法，其特征在于，所述待处理的中文邮件的文件格式为.eml，文字编码为UTF-8。

3.如权利要求1或2所述的基于机器学习的中文邮件签名提取方法，其特征在于，所述正则包括以下模式：

模式1：由多个-组成的行；

模式2：由多个*组成的行；

模式3：祝好。

4.如权利要求1所述的基于机器学习的中文邮件签名提取方法，其特征在于，所述一部分签名数据为标准格式邮件的签名信息。

5.如权利要求1所述的基于机器学习的中文邮件签名提取方法，其特征在于，所述训练模型选用LibSVM包来对待识别数据进行分类；训练模型的参数选择为线性，训练模型的验证方式选择为5交叉验证。

6.一种存储计算机程序的可读存储介质，所述计算机程序包括指令，所述指令用以执行权利要求1至5任一项所述方法中的各个步骤。

7.一种基于机器学习的中文邮件签名提取系统，其特征在于，包括：

正则提取模块，用以通过正则切分方式，对待处理的中文邮件进行签名提取，获取一部分签名数据；

样本特征提取模块，用以提取样本签名数据的行特征；其中以邮件正文中的行为单位，对每行提取行特征，以每次提取针对的行为目标行；所述行特征包括：目标行的特征、目标行以上的行的特征及目标行以下的行的特征；所述目标行的特征包括：该行是否带有指定关键字，该行是否为最后一行，该行是否为倒数第二行；所述目标行以上的行的特征包括：该行是否为标点符号开始，该行的内容是否为空；所述目标行以下的行的特征包括：该行是否为最后一行，该行是否为标点符号开始；

SVM训练模块，以行特征作为输入进行训练获得训练模型；对于通过正则切分方式无法提取获得签名数据的中文邮件数据，通过训练模型，识别中文邮件中的签名行，对签名行进行合并后获得另一部分签名数据。

Images