CN105825138B - 一种敏感数据识别的方法和装置 - Google Patents

Abstract

本发明公开了一种敏感数据识别的方法和装置。本发明的方法包括：基于爬虫原理从数据库表结构中的数据库表中提取变更内容；对提取的变更内容，根据预先制定的敏感字段识别规则识别出敏感字段，并将包含敏感字段的数据标记为疑似敏感数据；根据预先设置的数据类型与业务属性的对应关系，对所述疑似敏感数据依次进行识别。本技术方案通过结合数据库爬虫技术实现对数据库系统的无损探伤，对从数据库表中提取的变更内容根据敏感字段识别规则进行是否为疑似敏感数据的判断，保证敏感数据检测的完整性；并结合预先设置的数据类型与业务属性的对应关系，准确的判断出敏感数据以及敏感数据的数据类型，确保敏感数据识别的准确性。

Description

一种敏感数据识别的方法和装置

技术领域

本发明涉及计算机信息安全技术领域，特别涉及一种对数据库系统中含有的敏感数据识别的方法和装置。

背景技术

随着信息安全技术的不断发展，安全防护逐渐由被动响应向主动防御转变，由事后追溯、事中控制向事前预防方向发展。对于数据安全防护来讲，传统的发生敏感数据泄露后通过审计系统、水印系统等查找发生数据泄露原因的被动防御模式，已经逐渐演进为在敏感数据泄露事件发生前，及时发现敏感数据信息、及时定制敏感数据防护策略、及时监控敏感数据的流转和使用，从源头上降低敏感数据泄露机会的主动防御模式。而及时发现敏感数据信息至关重要，因为该功能可以决定“敏感数据是什么、敏感数据在哪里”的问题，可以帮助安全管理者有的放矢的制定安全防护策略、实施安全防护措施。

现有的敏感数据信息发现技术主要是在敏感数据检测和分析过程中首先通过数据库扫描系统等相关功能的设备扫描数据库系统，获取数据库表结构信息，然后提取疑似敏感数据关键字段(比如139、10000元等)，通过预先设置的敏感字段识别规则与已经建立的敏感数据词典进行对比，如果吻合，则判断为敏感数据，如果不吻合，则为非敏感数据。

现有的敏感数据信息发现技术至少存在以下缺陷：

一是数据库表结构的获取方式存在将数据库系统锁死的风险，这对于类似电信运营商的BOSS(Business&Operation Support System，业务运营支撑系统)、CRM(CustomerRelationship Management，客户关系管理)等处理大数据量的数据库系统是无法接受的，并且该方式不能全面的检测出发生变更的数据内容；

二是现有技术处理逻辑过于死板，没有因敏感数据的业务属性不同，而制定不同的判别规则，比如对于电信运营商而言，详单数据的业务属性和客户资料的业务属性是不同的，即使通过词典对比判断出敏感数据，也无法判断该敏感数据的数据类型。

发明内容

本发明提供了一种敏感数据识别的方法和装置，能够有效地提高敏感数据检测的准确性。

为达到上述目的，本发明的技术方案是这样实现的：

一方面，本发明提供了一种敏感数据识别的方法，包括：

基于爬虫原理从数据库表结构中的数据库表中提取变更内容；

对提取的变更内容，根据预先制定的敏感字段识别规则识别出敏感字段，并将包含敏感字段的数据标记为疑似敏感数据；

根据预先设置的数据类型与业务属性的对应关系，对所述疑似敏感数据依次进行识别，若所述疑似敏感数据的数据类型对应的业务属性的字段全部在该疑似敏感数据包含的敏感字段中，则将该疑似敏感数据标记为敏感数据。

优选地，所述基于爬虫原理从数据库表结构中的数据库表中获取变更内容，包括：

生成数据库表结构的检测脚本集，由所述检测脚本集组成爬虫工具；

采用爬虫工具对数据库表结构中的数据库表进行初始检测，得到第一次输出结果；

采用爬虫工具定期循环检测所述数据库表结构中的数据库表，得到以后的每次输出结果；

采用爬虫工具对每次输出结果与上一次输出结果的区别进行分析，得到数据库表结构中的数据库表的变更内容。

优选地，所述方法还包括：

基于爬虫原理对数据库表结构中的数据库表的原始内容进行敏感数据识别。

其中预先设置数据类型与业务属性的对应关系包括：

预先确定出不同的数据类型包含的全部业务属性，每种业务属性对应一个字段；

设置由全部业务属性确定出数据类型的判断规则。

优选地，所述方法还包括：

根据识别出的敏感字段记录每个敏感数据的各项业务属性；

根据全部业务属性确定出数据类型的判断规则，确定出每个敏感数据的数据类型。

另一方面，本发明提供了一种敏感数据识别的装置，包括：

变更内容提取单元，用于基于爬虫原理从数据库表结构中的数据库表中提取变更内容；

疑似敏感数据识别单元，用于对提取的变更内容，根据预先制定的敏感字段识别规则识别出敏感字段，并将包含敏感字段的数据标记为疑似敏感数据；

敏感数据识别单元，用于根据预先设置的数据类型与业务属性的对应关系，对所述疑似敏感数据依次进行识别，若所述疑似敏感数据的数据类型对应的业务属性的字段全部在该疑似敏感数据包含的敏感字段中，则将该疑似敏感数据标记为敏感数据。

优选地，所述变更内容提取单元包括：

所述变更内容提取单元包括：

脚本生成模块，用于生成数据库表结构的检测脚本集，由所述检测脚本集组成爬虫工具；

初始检测模块，用于采用爬虫工具对数据库表结构中的数据库表进行初始检测，得到第一次输出结果；

定期检测模块，用于采用爬虫工具定期循环检测所述数据库表结构中的数据库表，得到以后的每次输出结果；

变更获取模块，用于采用爬虫工具对每次输出结果与上一次输出结果的区别进行分析，得到数据库表结构中的数据库表的变更内容。

优选地，所述装置还包括：

识别单元，用于基于爬虫原理对数据库表结构中的数据库表的原始内容进行敏感数据识别。

优选地，所述装置还包括：

所述敏感数据识别单元包括数据类型与业务属性对应关系的设置模块；

所述设置模块，用于预先确定出不同的数据类型包含的全部业务属性，每种业务属性对应一个字段；设置由全部业务属性确定出数据类型的判断规则。

本发明的有益效果：本发明实施例提供了一种敏感数据识别的方法和装置，通过结合数据库爬虫技术实现对数据库系统的无损探伤，从数据库表结构中的数据库表中提取变更内容，对变更的数据内容初步判断出疑似敏感数据，保证敏感数据检测的完整性；在此基础上，进一步结合预先设置的数据类型与业务属性的对应关系，准确的判断出敏感数据以及敏感数据的数据类型，确保敏感数据识别的准确性。

附图说明

图1为本发明实施例提供的敏感数据识别的方法的流程图；

图2为本发明实施例提供的识别敏感数据流程图；

图3为本发明实施例提供的敏感数据识别的装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

图1为本发明提供的敏感数据识别的方法的流程图，包括：

步骤S11，基于爬虫原理从数据库表结构中的数据库表中提取变更内容。

该步骤具体包括：生成数据库表结构的检测脚本集，由检测脚本集组成爬虫工具；采用爬虫工具对数据库表结构中的数据库表进行初始检测，得到第一次输出结果；采用爬虫工具定期循环检测数据库表结构中的数据库表，得到以后的每次输出结果；采用爬虫工具对每次输出结果与上一次输出结果的区别进行分析，得到数据库表结构中的数据库表的变更内容。需要说明的是，在该步骤S11之前，本发明还包括基于爬虫原理对数据库表结构中的数据库表的原始内容进行敏感数据识别。

步骤S12，对提取的变更内容，根据预先制定的敏感字段识别规则识别出敏感字段，并将包含敏感字段的数据标记为疑似敏感数据。

其中，敏感字段识别规则指识别出疑似敏感数据的数据类型的定义，比如数据中存在11位数字(手机号码)、18位数字(身份证号码)、4位、6位、8位字符(2字、3字、4字姓名)等。

字段是数据库表中描述某数据的一个名词，比如数据库表中由时间字段，手机号码字段，姓名字段等。一类业务属性对应一个字段。

步骤S13，根据预先设置的数据类型与业务属性的对应关系，对疑似敏感数据依次进行识别，若疑似敏感数据的数据类型对应的业务属性的字段全部在该疑似敏感数据包含的敏感字段中，则将该疑似敏感数据标记为敏感数据。

其中预先设置数据类型与业务属性的对应关系包括：

预先确定出不同的数据类型包含的全部业务属性，每种业务属性对应一个字段；设置由全部业务属性确定出数据类型的判断规则。这是因为根据敏感字段可以判断该字段的业务属性，比如识别出133XXXXXXXX，可以识别出为手机号码。

以详单数据为例，详单包括的全部业务属性为：姓名、主叫号码、被叫号码、时间、移动业务(通信、短信、彩信等)，则设置由全部业务属性确定出详单数据类型的判断规则为：必须同时满足：姓名、主叫号码、被叫号码、时间、移动业务(通信、短信、彩信等)的数据为详单。

优选地，在步骤S13之后还可以包括：根据识别出的敏感字段记录每个敏感数据的各项业务属性；根据全部业务属性确定出数据类型的判断规则，确定出每个敏感数据的数据类型。

本发明实施例中，识别敏感数据的具体过程如下：

首先，在基于爬虫原理从发生变更的数据库表中提取变更内容时，基于爬虫原理生成数据库表结构的检测脚本集，由所述检测脚本集组成爬虫工具。使用数据库系统的管理员DBA身份登陆数据库(使用DBA身份获得的结果是最完整的，因为DBA身份权限最高)，对数据库表结构中的数据库表进行初始检测采集数据库表的信息，例如对数据表的表名、字段名、表空间、表的行数等信息进行初始检测，得到第一次输出结果后，对第一次输出的数据库表的信息，根据预先制定的敏感字段识别规则，进行敏感字段识别；之后采用爬虫工具定期循环检测所述数据库表结构中的数据库表，例如通过远程或本地登录所述数据库系统，定期运行所述数据库表结构的检测脚本集，比如按秒、分、小时、天、周、月、年细粒度周期或者按月度以及季度定期的运行所述检测脚本集，得到每一次输出结果，采用爬虫工具对每一次输出结果与上一次输出结果的区别进行分析，得到数据库表结构的变更内容。

得到数据库表结构的变更内容后，对提取的变更内容，根据上述制定的敏感字段识别规则识别出敏感字段，并将包含敏感字段的数据标记为疑似敏感数据；假如提取的变更内容中的一条数据同时出现“姓”、“名”、“身份证号码”、“账号”、“电话号码”等字段，则将该数据定义为疑似敏感数据。

接着，根据预先设置的数据类型与业务属性的对应关系，具体地，是预先确定出不同的数据类型包含的全部业务属性(每种业务属性对应一个字段)；并设置由全部业务属性确定出数据类型的判断规则。必要时可以对该判断规则进行数据化描述。

例如，下述表1中包括“详单”和“客户资料”两种数据类型，其中“详单”对应的业务属性包括“主叫号码”、“被叫号码”、“通信时间”、“时长”四类业务属性，识别“详单”这种数据类型的判断规则为在“详单”的数据库中发现包含所有这四类业务属性的字段，则为敏感数据；而识别“客户资料”这种数据类型的判断规则为在“客户资料”的数据库中发现全部包含“客户编号”、“身份证号码”、“手机号码”、“工作单位”、“家庭住址”这五类业务属性的字段，则为敏感数据。

表1：

最后根据上述设置的数据类型与业务属性的对应关系，对上述标记为疑似敏感数据的敏感字段依次进行识别，若疑似敏感数据的数据类型对应的业务属性的字段全部在该疑似敏感数据包含的敏感字段中，则将该疑似敏感数据标记为敏感数据。之后还可以根据识别出的敏感字段记录每个敏感数据的各项业务属性，根据全部业务属性确定出数据类型的判断规则，确定出每个敏感数据的数据类型，并输出敏感数据的数据类型列表，同时标记每个敏感数据的各项业务属性，以备下次制定判断规则时参考。

图2为本发明实施例提供的识别敏感数据过程的流程图，包括：

S201，从发生变更的数据库表中提取出的变更内容，分析得到相关的敏感字段，例如“身份证号码”、“手机号码”、“金额”等。

S202，判断上述敏感字段是否符合敏感字段识别规则。

S203，若上述敏感字段符合敏感字段识别规则，将相应的数据标记为疑似敏感数据，否则执行步骤S206，将相应的数据标记为非敏感数据。

S204，根据预先设置的数据类型与业务属性的对应关系判断所述疑似敏感数据是否为敏感数据。

以详单数据举例说明：详单数据的判定规则是必须同时满足：姓名、主叫号码、被叫号码、时间、移动业务(通信、短信、彩信等)的数据为详单。对采集到一张数据库表，如下格式：

通过系统扫描字段内容，可以得出：

字段内容1：姓名

字段内容2：时间

字段内容3：手机号码

字段内容4：手机号码

字段内容5：业务

与规则相匹配，那么可以得出结论：该数据库表为详单。

S205，若所述疑似敏感数据的敏感字段包括全部的该种数据类型对应的业务属性的字段，则将该疑似敏感数据标记为敏感数据，否则执行步骤S206，将相应的数据标记为非敏感数据。

S207，根据识别出的敏感数据的敏感字段记录其相应的各项业务属性。

S208，判断是否所有的疑似敏感数据都已完成检测。

S209，若所有的疑似敏感数据都已完成检测，则输出敏感数据的数据类型列表，否则执行步骤S204。

图3为本发明实施例提供的敏感数据识别的装置的结构示意图，该敏感数据识别的装置包括：变更内容提取单元31、疑似敏感数据识别单元32以及敏感数据识别单元33。

变更内容提取单元31，用于基于爬虫原理从数据库表结构中的数据库表中提取变更内容。

所述变更内容提取单元31包括：

脚本生成模块，用于生成数据库表结构的检测脚本集，由检测脚本集组成爬虫工具；

初始检测模块，用于采用爬虫工具对数据库表结构中的数据库表进行初始检测，得到第一次输出结果；

定期检测模块，用于采用爬虫工具定期循环检测所述数据库表结构中的数据库表，得到以后的每次输出结果；

变更获取模块，用于采用爬虫工具对每次输出结果与上一次输出结果的区别进行分析，得到数据库表结构中的数据库表的变更内容。

需要说明的是，在变更内容提取单元31从数据库表中提取变更内容之前，本实施例的装置还包括识别单元，用于基于爬虫原理对数据库表结构中的数据库表的原始内容进行敏感数据识别。

疑似敏感数据识别单元32，用于对提取的变更内容，根据预先制定的敏感字段识别规则识别出敏感字段，并将包含敏感字段的数据标记为疑似敏感数据。

其中，敏感字段识别规则指识别出疑似敏感数据的数据类型的定义，比如数据中存在11位数字(手机号码)、18位数字(身份证号码)、4位、6位、8位字符(2字、3字、4字姓名)等。

字段是数据库表中描述某数据的一个名词，比如数据库表中由时间字段，手机号码字段，姓名字段等。一类业务属性对应一个字段。

敏感数据识别单元33，用于根据预先设置的数据类型与业务属性的对应关系，对疑似敏感数据依次进行识别，若疑似敏感数据的数据类型对应的业务属性的字段全部在该疑似敏感数据包含的敏感字段中，则将该疑似敏感数据标记为敏感数据。

其中敏感数据识别单元33通过设置模块设置数据类型与业务属性对应关系；该设置模块，用于预先确定出不同的数据类型包含的全部业务属性，每种业务属性对应一个字段；设置由全部业务属性确定出数据类型的判断规则。这是因为根据敏感字段可以判断该字段的业务属性，比如识别出133XXXXXXXX，可以识别出为手机号码。

以详单数据为例，详单包括的全部业务属性为：姓名、主叫号码、被叫号码、时间、移动业务(通信、短信、彩信等)，则设置由全部业务属性确定出详单数据类型的判断规则为：必须同时满足：姓名、主叫号码、被叫号码、时间、移动业务(通信、短信、彩信等)的数据为详单。

本实施例优选地，在通过敏感数据识别单元33识别出敏感数据后，该敏感数据识别的装置进一步根据业务属性记录单元和数据类型确定单元确定出每个敏感数据的数据类型。

具体的，业务属性记录单元，用于根据识别出的敏感字段记录每个敏感数据的各项业务属性；

数据类型确定单元，用于根据全部业务属性确定出数据类型的判断规则，确定出每个敏感数据的数据类型。

综上所述，发明实施例提供了一种敏感数据识别的方法和装置，通过结合数据库爬虫技术实现对数据库系统的无损探伤，从数据库表结构中的数据库表中提取变更内容，对变更的数据内容初步判断出疑似敏感数据，保证敏感数据检测的完整性；在此基础上，进一步结合预先设置的数据类型与业务属性的对应关系，准确的判断出敏感数据以及敏感数据的数据类型，确保敏感数据识别的准确性。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.一种敏感数据识别的方法，其特征在于，包括：

基于爬虫原理从数据库表结构中的数据库表中提取变更内容；

对提取的变更内容，根据预先制定的敏感字段识别规则识别出敏感字段，并将包含敏感字段的数据标记为疑似敏感数据；

根据预先设置的数据类型与业务属性的对应关系，对所述疑似敏感数据依次进行识别，若所述疑似敏感数据的数据类型对应的业务属性的字段全部在该疑似敏感数据包含的敏感字段中，则将该疑似敏感数据标记为敏感数据；

所述基于爬虫原理从数据库表结构中的数据库表中获取变更内容，包括：

生成数据库表结构的检测脚本集，由所述检测脚本集组成爬虫工具；

采用爬虫工具对数据库表结构中的数据库表进行初始检测，得到第一次输出结果；

采用爬虫工具定期循环检测所述数据库表结构中的数据库表，得到以后的每次输出结果；

采用爬虫工具对每次输出结果与上一次输出结果的区别进行分析，得到数据库表结构中的数据库表的变更内容。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于爬虫原理对数据库表结构中的数据库表的原始内容进行敏感数据识别。

3.根据权利要求1所述的方法，其特征在于，其中预先设置数据类型与业务属性的对应关系包括：

预先确定出不同的数据类型包含的全部业务属性，每种业务属性对应一个字段；

设置由全部业务属性确定出数据类型的判断规则。

4.根据权利要求3所述的方法，其特征在于，所述的方法进一步包括：

根据识别出的敏感字段记录每个敏感数据的各项业务属性；

根据全部业务属性确定出数据类型的判断规则，确定出每个敏感数据的数据类型。

5.一种敏感数据识别的装置，其特征在于，包括：

变更内容提取单元，用于基于爬虫原理从数据库表结构中的数据库表中提取变更内容；

疑似敏感数据识别单元，用于对提取的变更内容，根据预先制定的敏感字段识别规则识别出敏感字段，并将包含敏感字段的数据标记为疑似敏感数据；

敏感数据识别单元，用于根据预先设置的数据类型与业务属性的对应关系，对所述疑似敏感数据依次进行识别，若所述疑似敏感数据的数据类型对应的业务属性的字段全部在该疑似敏感数据包含的敏感字段中，则将该疑似敏感数据标记为敏感数据；

所述变更内容提取单元包括：

脚本生成模块，用于生成数据库表结构的检测脚本集，由所述检测脚本集组成爬虫工具；

初始检测模块，用于采用爬虫工具对数据库表结构中的数据库表进行初始检测，得到第一次输出结果；

定期检测模块，用于采用爬虫工具定期循环检测所述数据库表结构中的数据库表，得到以后的每次输出结果；

变更获取模块，用于采用爬虫工具对每次输出结果与上一次输出结果的区别进行分析，得到数据库表结构中的数据库表的变更内容。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

识别单元，用于基于爬虫原理对数据库表结构中的数据库表的原始内容进行敏感数据识别。

7.根据权利要求5所述的装置，其特征在于，所述敏感数据识别单元包括数据类型与业务属性对应关系的设置模块；

所述设置模块，用于预先确定出不同的数据类型包含的全部业务属性，每种业务属性对应一个字段；设置由全部业务属性确定出数据类型的判断规则。

8.根据权利要求7所述的装置，其特征在于，所述的装置进一步包括：

业务属性记录单元，用于根据识别出的敏感字段记录每个敏感数据的各项业务属性；

数据类型确定单元，用于根据全部业务属性确定出数据类型的判断规则，确定出每个敏感数据的数据类型。