CN106959955A - 一种数据库的数据处理方法及装置 - Google Patents
一种数据库的数据处理方法及装置 Download PDFInfo
- Publication number
- CN106959955A CN106959955A CN201610014839.XA CN201610014839A CN106959955A CN 106959955 A CN106959955 A CN 106959955A CN 201610014839 A CN201610014839 A CN 201610014839A CN 106959955 A CN106959955 A CN 106959955A
- Authority
- CN
- China
- Prior art keywords
- data
- tables
- target
- sensitive
- utilization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/219—Managing data history or versioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Abstract
本发明提供了一种数据库的数据处理方法及装置，该方法包括：从用户所需使用的目标数据中识别出敏感数据；对识别出的敏感数据按照数据特征进行分段处理；根据每一区段敏感数据的数据特征，按照与数据特征对应的预定脱敏算法，对每一区段敏感数据进行数据脱敏。本发明的方案，根据数据的特征对数据进行分段，并针对数据不同区段的不同特征进行恰当的转换，确保数据转换后既保证原有的数据特征又去除数据本身的敏感性，防止了敏感信息的泄漏。
Description
技术领域
本发明涉及数据安全技术领域，尤其涉及一种数据库的数据处理方法及装置。
背景技术
生产库数据库的敏感数据泄漏问题，已经引起了数据库厂商的重视，各个厂商都提供了生产库数据对外使用时的脱敏方案，其中代表性的就是Oracle的数据屏蔽包(Data Masking Pack)。
作为Oracle企业管理器(Enterprise Manager)中的一个产品包，DataMasking Pack内嵌丰富的数据修改规则，通过各种算法，可批量快速完成对敏感数据的修改，从而保证克隆出来的数据库的数据量完全等同于生产库的数据量，敏感数据又做了伪装，如身份证号，电话号码，信用卡号码，姓名，日期，家庭住址，工资等，看起来是真数据实际上是假数据，从而消除了敏感数据的泄露隐患。
但是，目前已有的数据库脱敏算法存在以下缺点：
第一点：数据库厂商的屏蔽方案只针对自身数据库有效，不支持其它厂家的数据库，造成投资的增加；
第二点：现有的数据库厂家在脱敏数据时更多使用符号“***”来代替敏感数据或用简单数据替换脱敏规则进行脱敏，但是对于银行卡号或身份证号这类有校验标识的数据无法满足脱敏后的数据可用性的要求；
第三点：未提供自动或批处理机制，即现有方案基本都是需要靠管理员人工对数据源进行指定并逐步制定转换策略，所以，当任务多达上万甚至十万以上张数据表时，管理员对数据表逐一设置模糊规则非常耗时和单调，可能形成误差。
发明内容
为了克服现有技术中存在的上述问题，本发明实施例提供了一种数据库的数据处理方法及装置，根据数据的特征对数据进行分段，并针对数据不同区段的不同特征进行恰当的转换，支持多种数据库，不仅确保数据转换后既保证原有的数据特征又去除数据本身的敏感性，而且减少了管理员审批所带来的人力成本。
为了解决上述技术问题，本发明采用如下技术方案：
依据本发明实施例的一个方面，提供了一种数据库的数据处理方法，包括：
从用户所需使用的目标数据中识别出敏感数据；
对识别出的所述敏感数据按照数据特征进行分段处理；
根据每一区段所述敏感数据的数据特征，按照与所述数据特征对应的预定脱敏算法，对每一区段所述敏感数据进行数据脱敏。
其中，上述方案中，所述从用户所需使用的目标数据中识别出敏感数据的步骤之前，还包括：
获取用户提交的数据使用申请，并按照所述数据使用申请从数据源中提取用户所需使用的目标数据。
其中，上述方案中，所述数据使用申请中携带有用户身份信息、所述目标数据所在的生产库、所述目标数据所在的数据表、数据过滤条件以及数据使用目的信息，其中，所述数据源包括多个生产库；
所述按照所述数据使用申请从数据源中提取用户所需使用的目标数据，包括：
按照所述数据使用申请中携带的所述用户身份信息和所述数据使用目的信息，对所述数据使用申请进行合法性判断；
当判断所述数据使用目的信息符合预定使用规则，且所述用户身份信息合法时，所述数据使用申请合法；
按照合法的所述数据使用申请中携带的所述目标数据所在的生产库、所述目标数据所在的数据表和所述数据过滤条件，从所述目标数据所在的生产库中提取所述目标数据所在的数据表，并从所述数据表中获取所述目标数据。
其中，上述方案中，所述目标数据所在的数据表包括第一数据表和至少一个第二数据表；
所述从所述目标数据所在的生产库中提取所述目标数据所在的数据表之后，还包括：
获取所述第一数据表和至少一个所述第二数据表之间的依赖和约束关系。
其中，上述方案中，所述根据每一区段所述敏感数据的数据特征，按照与所述数据特征对应的预定脱敏算法，对每一区段所述数据进行数据脱敏，包括：
按照所述第一数据表中每一区段所述敏感数据的数据特征对应的预定脱敏算法，获得每一区段所述敏感数据的第一替换数据，并利用所述第一替换数据替换对应区段的所述敏感数据；
将与所述第一数据表具有依赖和约束关系的至少一个所述第二数据表中包括的，与所述第一数据表中相同区段的所述敏感数据，利用对应的所述第一替换数据进行替换。
其中，上述方案中，所述数据使用申请中还携带有所述目标数据进行数据脱敏后所要导入的测试库；
对每一区段所述敏感数据进行数据脱敏之后，还包括：
根据所述数据使用申请，将数据脱敏后的所述第一数据表和至少一个所述第二数据表按照所述依赖和约束关系，逐个导入到所述测试库中。
其中，上述方案中，
所述从用户所需使用的目标数据中识别出敏感数据的步骤，具体为：
根据所述数据使用申请中携带的所述数据使用目的信息，从提取出的所述目标数据中识别出敏感数据。
依据本发明实施例的另一个方面，还提供了一种数据库的数据处理装置，包括：
识别模块，用于从用户所需使用的目标数据中识别出敏感数据；
分段模块，用于对所述识别模块识别出的所述敏感数据按照数据特征进行分段处理；
脱敏模块，用于根据所述分段模块得到的每一区段所述敏感数据的数据特征，按照与所述数据特征对应的预定脱敏算法，对每一区段所述敏感数据进行数据脱敏。
其中，上述方案中，还包括：
提取模块，用于获取用户提交的数据使用申请，并按照所述数据使用申请从数据源中提取用户所需使用的目标数据。
其中，上述方案中，所述数据使用申请中携带有用户身份信息、所述目标数据所在的生产库、所述目标数据所在的数据表、数据过滤条件以及数据使用目的信息，其中，所述数据源包括多个生产库；
所述提取模块包括：
审批单元，用于按照所述数据使用申请中携带的所述用户身份信息和所述数据使用目的信息，对所述数据使用申请进行合法性判断；
确定单元，用于当判断所述数据使用目的信息符合预定使用规则，且所述用户身份信息合法时，所述数据使用申请合法；
提取单元，用于按照合法的所述数据使用申请中携带的所述目标数据所在的生产库、所述目标数据所在的数据表和所述数据过滤条件，从所述目标数据所在的生产库中提取所述目标数据所在的数据表，并从所述数据表中获取所述目标数据。
其中，上述方案中，所述目标数据所在的数据表包括第一数据表和至少一个第二数据表；
所述提取模块还包括：
获取单元，用于获取所述第一数据表和至少一个所述第二数据表之间的依赖和约束关系。
其中，上述方案中，所述脱敏模块包括：
第一脱敏单元，用于按照所述第一数据表中每一区段所述敏感数据的数据特征对应的预定脱敏算法，获得每一区段所述敏感数据的第一替换数据，并利用所述第一替换数据替换对应区段的所述敏感数据；
第二脱敏单元，用于将与所述第一数据表具有依赖和约束关系的至少一个所述第二数据表中包括的，与所述第一数据表中相同区段的所述敏感数据，利用对应的所述第一替换数据进行替换。
其中，上述方案中，所述数据使用申请中还携带有所述目标数据进行数据脱敏后所要导入的测试库；
所述装置还包括：
导出模块，用于根据所述数据使用申请，将数据脱敏后的所述第一数据表和至少一个所述第二数据表按照所述依赖和约束关系，逐个导入到所述测试库中。
其中，上述方案中，所述识别模块具体用于：根据所述数据使用申请中携带的所述数据使用目的信息，从提取出的所述目标数据中识别出敏感数据。
本发明实施例的有益效果是：
本发明实施例的数据库的数据处理方法及装置，从用户所需使用的目标数据中识别出敏感数据，并将识别出的敏感数据按照数据特征进行分段处理，进而按照每一区段敏感数据的数据特征对应的预定脱敏算法，对各个区段的敏感数据进行数据脱敏。因此，本发明实施例的数据库的处理方法及装置支持多种数据库，确保了数据转换后既保证原有的数据特征又去除数据本身的敏感性，防止了敏感信息的泄漏，而且减少了管理员审批所带来的人力成本。
附图说明
图1表示本发明实施例的数据库的数据处理方法流程图；
图2表示本发明实施例的数据库的数据处理装置的结构框图之一；
图3表示本发明实施例的数据库的数据处理装置的结构框图之二；
图4表示本发明实施例的数据库的处理装置应用流程示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
第一实施例
依据本发明实施例的一个方面，提供了一种数据库的数据处理方法，该方法首先，从用户所需使用的目标数据中识别出敏感数据；接着，对识别出的所述敏感数据按照数据特征进行分段处理；最后，根据每一区段所述敏感数据的数据特征，按照与所述数据特征对应的预定脱敏算法，对每一区段所述敏感数据进行数据脱敏。因此，本发明实施例的数据库的处理方法，确保了数据转换后既保证原有的数据特征又去除数据本身的敏感性，防止了敏感信息的泄漏。
如图1所示，该方法包括：
步骤S11、从用户所需使用的目标数据中识别出敏感数据。
用户由于业务数据分析或软件功能测试的原因，需要从数据源中提取所需要的数据。因此，在步骤S11之前还包括：
获取用户提交的数据使用申请，并按照所述数据使用申请从数据源中提取用户所需使用的目标数据。
也就是说，用户需要进入到数据库的申请界面提交一个数据使用申请，并在该数据申请中说明自己的身份信息、所需使用的目标数据所在的生产库(仅授权范围内)、所需使用的目标数据所在的数据表、数据过滤条件以及数据使用目的。其中，数据源包括多个生产库，所以为了确定所需使用的数据要从哪个生产库导出，还需要在数据使用申请中指出所需使用的目标数据所在的生产库。
数据使用申请提交后，当数据库系统根据管理员提供的数据库实例名和登录密码，通过开放数据库互连(Open Database Connectivity，ODBC)方式连接数据源后，系统会自动对用户提交的数据使用申请进行合法性判断，即进行审批，大大减小了数控库系统管理员的工作强度。当然，可以理解的是，对于某些特殊或者非常重要的数据使用申请，还可仍然由管理员来进行审批，从而保证这类数据使用申请的处理更佳合理。
其中，对于审批的具体过程，主要是数据使用申请中携带的用户身份信息是否合法，以及数据使用目的信息是否符合预定使用规则。当用户身份信息合法，且数据使用目的信息符合预定使用规则时，则该数据使用申请合法。那么，可以按照合法的所述数据使用申请中携带的所述目标数据所在的生产库、所述目标数据所在的数据表和所述数据过滤条件，从所述目标数据所在的生产库中提取所述目标数据所在的数据表，并从所述数据表中获取所述目标数据。
另外，由于在数据库中数据是以数据表的形式进行存储，所以，用户所需使用的目标数据会分布在一个或多个数据表中。例如某一用户所需使用的目标数据分布于数据表A、表B和表C中。但是，表A、表B和表C中除了包括用户所需使用的目标数据之外，还包括其他数据。其中，这些其他数据中可能包括例如身份证号、电话号码、信用卡号码、姓名、日期、家庭住址、工资等这样对于用户而言的隐私数据。而且，这些隐私数据某些情况下并不是该用户必须使用的数据。所以，这些隐私数据则属于敏感数据。
其中，在数据库系统中，一般会默认几种类型的数据属于敏感数据。但是，对于同一数据源而言，可能在某一使用目的下，属于敏感数据，然而，在另一使用目的下，则不属于敏感数据。所以，在本发明实施例的数据库的数据处理方法中，还可根据数据使用申请中携带的数据使用目的信息，从用户所需使用的目标数据中识别出具体哪些数据对于本次申请的使用目的而言属于敏感数据。所以，本发明实施例的数据库的数据处理方法，能够可对同一个数据源，根据最终使用者及其使用目的分配不同的处理规则，实现灵活脱敏。
步骤S13、对识别出的所述敏感数据按照数据特征进行分段处理。
其中，对于识别出的敏感数据，往往不同数据区段具有不同的数据特。例如，若识别出银行卡号属于敏感数据，且银行卡号的第1～6位属于银行代代码，第7～15位属于个人信息，第16位为校验位。也就是说一个银行卡号就包括了分别具有不同数据特征的数据区段。所以，为了能够对这些不同数据区段进行区分，可以将该银行卡号按照数据特征分为三个区段，即第一区段为第1～6位；第二区段为第7～15位；第三区段为第16位。
步骤S15、根据每一区段所述敏感数据的数据特征，按照与所述数据特征对应的预定脱敏算法，对每一区段所述敏感数据进行数据脱敏。
当按照步骤S13将识别出的敏感数据按照数据特征进行分段处理后，获得多个数据区段。所以，为了保证脱敏后的数据具有原数据的特征，可以对不同的数据区段根据其所属于的数据特征采用不同的数据脱敏算法进行数据脱敏。其中，具体的数据脱敏算法举例如下：
固定值替换，即将数据列内容替换为固定数字、字符串、时间等；
随机生成值替换，即随机生成指定类型的数据进行替换；
随机列表值替换，即从预设的值列表中随机选择进行替换；
行混淆，即将同列不同行的数据随机互换；
值转换，使用不可逆算法将原值替换为计算结果；
用户自定义，用户自定义一个函数生成数值。
所以，数据库系统的管理员可预先根据不同的数据特征设定对应的脱敏算法，那么，当通过步骤S13获得具有不同数据特征的数据区段后，系统可自动为各个数据区段分配对应的预定脱敏算法。(当然，可以理解的是，有些脱敏算法也可以在识别出敏感数据后制定。)
例如，对于上述分段处理后的银行卡号，由于第一区段属于银行代代码，第二区段属于个人信息，第三区段为校验位，所以第一区段银行代码可采用样本数据替换(设定各银行的代码样本库)，第二区段采用第1位到第4位用其他数字模糊，第三段采用校验算法。
所以，本发明实施例的数据库的数据处理方法，能够支持脱敏的同时保持部分数据特性，如年龄、性别、地区等；能保持脱敏结果的唯一性，保持数据脱敏后的关联关系；能保持脱敏后数据格式本身的合法性，如身份证和银行卡的较验；支持算法可以回溯或不可回溯；有比较丰富、完善的算法，支持常见的敏感信息脱敏。
另外，由于从生产库中提取的目标数据其实是以数据表的形式存在的。也就是说，根据用户提交的数据使用申请从生产库中提取的实际是一个或多个数据表。当提取出的只是一个数据表时，则可通过识别该数据表中属于敏感数据的字段，然后，对该字段下的敏感数据进行分段处理，进而对获得的各个区段的敏感数据根据其所属于的数据特征，采用对应的预定脱敏算法获得替换数据，并替换对应区段的敏感数据。
然而，若提取出的数据表不止一个时，例如包括数据表A、表B和表C，且这三个数据表之间具有依赖和约束关系。例如，表B和表A之间具有主外键关联关系，表C和表A之间具有值约束关系，那么当从生产库中提取表A、表B和表C后，还需要进一步获取表A、表B及表C之间的依赖和约束关系。接着，首先将A表中的敏感数据采用步骤S15中的方法进行数据脱敏，然后，针对表B和表C，直接按照表A中数据脱敏过程中的数据替换方式，替换掉表B和表C中与表A中相同区段的敏感数据。从而在一定程度上简化数据运算过程，增大数据处理速度。
另外，当数据脱敏处理完毕后，可将脱敏处理后的数据导出到所要导出的测试库。其中，可将所要导出的测试库作为数据使用申请的携带信息。其中，在导出到测试库时，对于不同类型的数据库，可以采取不同的优化手段，例如对于Oracle数据库，导出可以在测试库上使用数据库连接(DATABASE LINK)实现。导出功能会检查表依赖关系，按照一定的顺序逐个导出，防止因为外键关联导致导出失败。
综上所述，本发明实施例的数据库的数据处理方法，一方面，根据数据特征对敏感数据进行分段，针对数据不同区段的不同数据特征进行恰当的转换，并且可对同一个数据源，根据最终使用者及其使用目的分配不同的处理规则，实现灵活脱敏，确保数据转换后既保证原有的数据特征又去除数据本身的敏感性，防止敏感信息泄漏安全；另一方面，能够支持多种数据库，并且可以减少管理员审批所带来的人力成本，为数据脱敏工作提供更为高效、强大的服务模式，提高了公司信息安全管理控水平，大大降低了出现信息安全事件的概率。
第二实施例
依据本发明实施例的另一个方面，还提供了一种数据库的数据处理装置，如图2所示，该装置200包括：
识别模块203，用于从用户所需使用的目标数据中识别出敏感数据；
分段模块205，用于对所述识别模块203识别出的所述敏感数据按照数据特征进行分段处理；
脱敏模块207，用于根据所述分段模块205得到的每一区段所述敏感数据的数据特征，按照与所述数据特征对应的预定脱敏算法，对每一区段所述敏感数据进行数据脱敏。
可选地，如图3所示，还包括：
提取模块201，用于获取用户提交的数据使用申请，并按照所述数据使用申请从数据源中提取用户所需使用的目标数据。
可选地，所述数据使用申请中携带有用户身份信息、所述目标数据所在的生产库、所述目标数据所在的数据表、数据过滤条件以及数据使用目的信息，其中，所述数据源包括多个生产库；
所述提取模块201包括：
审批单元2011，用于按照所述数据使用申请中携带的所述用户身份信息和所述数据使用目的信息，对所述数据使用申请进行合法性判断；
确定单元2012，用于当判断所述数据使用目的信息符合预定使用规则，且所述用户身份信息合法时，所述数据使用申请合法；
提取单元2013，用于按照合法的所述数据使用申请中携带的所述目标数据所在的生产库、所述目标数据所在的数据表和所述数据过滤条件，从所述目标数据所在的生产库中提取所述目标数据所在的数据表，并从所述数据表中获取所述目标数据。
可选地，所述目标数据所在的数据表包括第一数据表和至少一个第二数据表；
所述提取模块201还包括：
获取单元2014，用于获取所述第一数据表和至少一个所述第二数据表之间的依赖和约束关系。
可选地，所述脱敏模块207包括：
第一脱敏单元2071，用于按照所述第一数据表中每一区段所述敏感数据的数据特征对应的预定脱敏算法，获得每一区段所述敏感数据的第一替换数据，并利用所述第一替换数据替换对应区段的所述敏感数据；
第二脱敏单元2072，用于将与所述第一数据表具有依赖和约束关系的至少一个所述第二数据表中包括的，与所述第一数据表中相同区段的所述敏感数据，利用对应的所述第一替换数据进行替换。
可选地，所述数据使用申请中还携带有所述目标数据进行数据脱敏后所要导入的测试库；
所述装置还包括：
导出模块209，用于根据所述数据使用申请，将数据脱敏后的所述第一数据表和至少一个所述第二数据表按照所述依赖和约束关系，逐个导入到所述测试库中。
可选地，所述识别模块203具体用于：根据所述数据使用申请中携带的所述数据使用目的信息，从提取出的所述目标数据中识别出敏感数据。
综上所示，如图4所示，数据库系统的管理员预先配置针对不同数据特征的脱敏算法保存该数据库的数据处理装置中。当用户向该数据库的数据处理装置提交数据使用申请时，该数据库的数据处理装置的数据申请阶段的审批单元2011和确定单元2012，对该数据使用申请进行审批，审批通过后，将数据使用申请中携带的信息传递到数据处理阶段的提取单元2013，从而从生产库中导出所需使用的目标数据所在的数据表，然后通过数据处理阶段的识别模块203识别出敏感数据，并通过分段模块205进行分段处理，进而通过脱敏模块207对识别出的敏感数据进行脱敏，最后将脱敏后的数据导出到测试库，供用户使用。
因此，本发明实施例的数据库的数据处理装置支持多种数据库，确保了数据转换后既保证原有的数据特征又去除数据本身的敏感性，防止了敏感信息的泄漏，而且减少了管理员审批所带来的人力成本。
以上所述的是本发明的优选实施方式，应当指出对于本技术领域的普通人员来说，在不脱离本发明所述的原理前提下还可以作出若干改进和润饰，这些改进和润饰也在本发明的保护范围内。
Claims (14)
1.一种数据库的数据处理方法，其特征在于，包括：
从用户所需使用的目标数据中识别出敏感数据；
对识别出的所述敏感数据按照数据特征进行分段处理；
根据每一区段所述敏感数据的数据特征，按照与所述数据特征对应的预定脱敏算法，对每一区段所述敏感数据进行数据脱敏。
2.如权利要求1所述的方法，其特征在于，所述从用户所需使用的目标数据中识别出敏感数据的步骤之前，还包括：
获取用户提交的数据使用申请，并按照所述数据使用申请从数据源中提取用户所需使用的目标数据。
3.如权利要求2所述的方法，其特征在于，所述数据使用申请中携带有用户身份信息、所述目标数据所在的生产库、所述目标数据所在的数据表、数据过滤条件以及数据使用目的信息，其中，所述数据源包括多个生产库；
所述按照所述数据使用申请从数据源中提取用户所需使用的目标数据，包括：
按照所述数据使用申请中携带的所述用户身份信息和所述数据使用目的信息，对所述数据使用申请进行合法性判断；
当判断所述数据使用目的信息符合预定使用规则，且所述用户身份信息合法时，所述数据使用申请合法；
按照合法的所述数据使用申请中携带的所述目标数据所在的生产库、所述目标数据所在的数据表和所述数据过滤条件，从所述目标数据所在的生产库中提取所述目标数据所在的数据表，并从所述数据表中获取所述目标数据。
4.如权利要求3所述的方法，其特征在于，所述目标数据所在的数据表包括第一数据表和至少一个第二数据表；
所述从所述目标数据所在的生产库中提取所述目标数据所在的数据表之后，还包括：
获取所述第一数据表和至少一个所述第二数据表之间的依赖和约束关系。
5.如权利要求4所述的方法，其特征在于，所述根据每一区段所述敏感数据的数据特征，按照与所述数据特征对应的预定脱敏算法，对每一区段所述数据进行数据脱敏，包括：
按照所述第一数据表中每一区段所述敏感数据的数据特征对应的预定脱敏算法，获得每一区段所述敏感数据的第一替换数据，并利用所述第一替换数据替换对应区段的所述敏感数据；
将与所述第一数据表具有依赖和约束关系的至少一个所述第二数据表中包括的，与所述第一数据表中相同区段的所述敏感数据，利用对应的所述第一替换数据进行替换。
6.如权利要求4所述的方法，其特征在于，所述数据使用申请中还携带有所述目标数据进行数据脱敏后所要导入的测试库；
对每一区段所述敏感数据进行数据脱敏之后，还包括：
根据所述数据使用申请，将数据脱敏后的所述第一数据表和至少一个所述第二数据表按照所述依赖和约束关系，逐个导入到所述测试库中。
7.如权利要求3所述的方法，其特征在于，所述从用户所需使用的目标数据中识别出敏感数据的步骤，具体为：
根据所述数据使用申请中携带的所述数据使用目的信息，从提取出的所述目标数据中识别出敏感数据。
8.一种数据库的数据处理装置，其特征在于，包括：
识别模块，用于从用户所需使用的目标数据中识别出敏感数据；
分段模块，用于对所述识别模块识别出的所述敏感数据按照数据特征进行分段处理；
脱敏模块，用于根据所述分段模块得到的每一区段所述敏感数据的数据特征，按照与所述数据特征对应的预定脱敏算法，对每一区段所述敏感数据进行数据脱敏。
9.如权利要求8所述的装置，其特征在于，还包括：
提取模块，用于获取用户提交的数据使用申请，并按照所述数据使用申请从数据源中提取用户所需使用的目标数据。
10.如权利要求9所述的装置，其特征在于，所述数据使用申请中携带有用户身份信息、所述目标数据所在的生产库、所述目标数据所在的数据表、数据过滤条件以及数据使用目的信息，其中，所述数据源包括多个生产库；
所述提取模块包括：
审批单元，用于按照所述数据使用申请中携带的所述用户身份信息和所述数据使用目的信息，对所述数据使用申请进行合法性判断；
确定单元，用于当判断所述数据使用目的信息符合预定使用规则，且所述用户身份信息合法时，所述数据使用申请合法；
提取单元，用于按照合法的所述数据使用申请中携带的所述目标数据所在的生产库、所述目标数据所在的数据表和所述数据过滤条件，从所述目标数据所在的生产库中提取所述目标数据所在的数据表，并从所述数据表中获取所述目标数据。
11.如权利要求10所述的装置，其特征在于，所述目标数据所在的数据表包括第一数据表和至少一个第二数据表；
所述提取模块还包括：
获取单元，用于获取所述第一数据表和至少一个所述第二数据表之间的依赖和约束关系。
12.如权利要求11所述的装置，其特征在于，所述脱敏模块包括：
第一脱敏单元，用于按照所述第一数据表中每一区段所述敏感数据的数据特征对应的预定脱敏算法，获得每一区段所述敏感数据的第一替换数据，并利用所述第一替换数据替换对应区段的所述敏感数据；
第二脱敏单元，用于将与所述第一数据表具有依赖和约束关系的至少一个所述第二数据表中包括的，与所述第一数据表中相同区段的所述敏感数据，利用对应的所述第一替换数据进行替换。
13.如权利要求11所述的装置，其特征在于，所述数据使用申请中还携带有所述目标数据进行数据脱敏后所要导入的测试库；
所述装置还包括：
导出模块，用于根据所述数据使用申请，将数据脱敏后的所述第一数据表和至少一个所述第二数据表按照所述依赖和约束关系，逐个导入到所述测试库中。
14.如权利要求10所述的装置，其特征在于，所述识别模块具体用于：根据所述数据使用申请中携带的所述数据使用目的信息，从提取出的所述目标数据中识别出敏感数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610014839.XA CN106959955A (zh) | 2016-01-11 | 2016-01-11 | 一种数据库的数据处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610014839.XA CN106959955A (zh) | 2016-01-11 | 2016-01-11 | 一种数据库的数据处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106959955A true CN106959955A (zh) | 2017-07-18 |
Family
ID=59481148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610014839.XA Pending CN106959955A (zh) | 2016-01-11 | 2016-01-11 | 一种数据库的数据处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106959955A (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107679418A (zh) * | 2017-09-30 | 2018-02-09 | 武汉汉思信息技术有限责任公司 | 数据脱敏方法、服务器及存储介质 |
| CN107798253A (zh) * | 2017-10-31 | 2018-03-13 | 新华三大数据技术有限公司 | 数据脱敏方法及装置 |
| CN107944295A (zh) * | 2017-11-28 | 2018-04-20 | 中国农业银行股份有限公司 | 一种交易报文的敏感信息脱敏方法及系统 |
| CN108289095A (zh) * | 2018-01-02 | 2018-07-17 | 诚壹泰合（北京）科技有限公司 | 一种敏感数据存储方法、装置及系统 |
| CN109271807A (zh) * | 2018-08-20 | 2019-01-25 | 深圳萨摩耶互联网金融服务有限公司 | 数据库的数据安全处理方法及系统 |
| CN109308301A (zh) * | 2018-09-28 | 2019-02-05 | 中国银行股份有限公司 | 测试数据的获得方法及装置 |
| CN109409121A (zh) * | 2018-09-07 | 2019-03-01 | 阿里巴巴集团控股有限公司 | 脱敏处理方法、装置和服务器 |
| CN109815742A (zh) * | 2019-02-22 | 2019-05-28 | 蔷薇智慧科技有限公司 | 数据脱敏方法及装置 |
| CN109902509A (zh) * | 2019-01-25 | 2019-06-18 | 中译语通科技股份有限公司 | 一种基于阿拉伯数字遮蔽的中文地址数据脱敏方法及装置 |
| WO2019210758A1 (zh) * | 2018-05-02 | 2019-11-07 | 中兴通讯股份有限公司 | 数据保护方法、装置及存储介质 |
| CN110515974A (zh) * | 2019-07-15 | 2019-11-29 | 金蝶软件（中国）有限公司 | 数据抽取方法、装置、计算机设备和存储介质 |
| CN110889129A (zh) * | 2019-11-29 | 2020-03-17 | 中国银行股份有限公司 | 银行数据安全控制方法及装置 |
| CN111274149A (zh) * | 2020-02-06 | 2020-06-12 | 中国建设银行股份有限公司 | 测试数据的处理方法及装置 |
| CN111310232A (zh) * | 2020-03-17 | 2020-06-19 | 杭州数梦工场科技有限公司 | 数据脱敏方法及装置、电子设备、存储介质 |
| CN111625845A (zh) * | 2020-04-17 | 2020-09-04 | 沈阳派客动力科技有限公司 | 大数据的安全管理方法、装置和设备 |
| CN112000980A (zh) * | 2020-07-06 | 2020-11-27 | 拉卡拉支付股份有限公司 | 数据处理方法及装置 |
| CN113642036A (zh) * | 2021-07-07 | 2021-11-12 | 阿里巴巴新加坡控股有限公司 | 数据处理方法、装置及系统 |
| CN114021199A (zh) * | 2022-01-04 | 2022-02-08 | 北京安华金和科技有限公司 | 一种基于预定规则的敏感数据发现方法和装置 |
| WO2022048464A1 (zh) * | 2020-09-01 | 2022-03-10 | 华为技术有限公司 | 数据脱敏方法、数据脱敏装置以及存储设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120044183A1 (en) * | 2004-03-07 | 2012-02-23 | Nuance Communications, Inc. | Multimodal aggregating unit |
| CN102594548A (zh) * | 2012-03-22 | 2012-07-18 | 山东泰信电子有限公司 | 一种实现数据分段加密、解密的方法 |
| CN103906039A (zh) * | 2012-12-27 | 2014-07-02 | 中国移动通信集团福建有限公司 | 一种防止手机号码泄露的方法和装置 |
| CN104270465A (zh) * | 2014-10-23 | 2015-01-07 | 成都双奥阳科技有限公司 | 一种云存储的保护系统 |
-
2016
- 2016-01-11 CN CN201610014839.XA patent/CN106959955A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120044183A1 (en) * | 2004-03-07 | 2012-02-23 | Nuance Communications, Inc. | Multimodal aggregating unit |
| CN102594548A (zh) * | 2012-03-22 | 2012-07-18 | 山东泰信电子有限公司 | 一种实现数据分段加密、解密的方法 |
| CN103906039A (zh) * | 2012-12-27 | 2014-07-02 | 中国移动通信集团福建有限公司 | 一种防止手机号码泄露的方法和装置 |
| CN104270465A (zh) * | 2014-10-23 | 2015-01-07 | 成都双奥阳科技有限公司 | 一种云存储的保护系统 |
Non-Patent Citations (2)
| Title |
|---|
| 李小华等: "《医院信息系统数据库技术与应用》", 31 October 2015, 中山大学出版社 * |
| 沈钧毅等: "《数据库系统原理》", 28 February 2014, 西安交通大学出版社 * |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107679418A (zh) * | 2017-09-30 | 2018-02-09 | 武汉汉思信息技术有限责任公司 | 数据脱敏方法、服务器及存储介质 |
| CN107798253A (zh) * | 2017-10-31 | 2018-03-13 | 新华三大数据技术有限公司 | 数据脱敏方法及装置 |
| CN107944295B (zh) * | 2017-11-28 | 2020-04-03 | 中国农业银行股份有限公司 | 一种交易报文的敏感信息脱敏方法及系统 |
| CN107944295A (zh) * | 2017-11-28 | 2018-04-20 | 中国农业银行股份有限公司 | 一种交易报文的敏感信息脱敏方法及系统 |
| CN108289095A (zh) * | 2018-01-02 | 2018-07-17 | 诚壹泰合（北京）科技有限公司 | 一种敏感数据存储方法、装置及系统 |
| EP3789900A4 (en) * | 2018-05-02 | 2021-12-29 | ZTE Corporation | Data protection method and device and storage medium |
| WO2019210758A1 (zh) * | 2018-05-02 | 2019-11-07 | 中兴通讯股份有限公司 | 数据保护方法、装置及存储介质 |
| US11392586B2 (en) | 2018-05-02 | 2022-07-19 | Zte Corporation | Data protection method and device and storage medium |
| CN109271807A (zh) * | 2018-08-20 | 2019-01-25 | 深圳萨摩耶互联网金融服务有限公司 | 数据库的数据安全处理方法及系统 |
| CN109409121A (zh) * | 2018-09-07 | 2019-03-01 | 阿里巴巴集团控股有限公司 | 脱敏处理方法、装置和服务器 |
| CN109308301A (zh) * | 2018-09-28 | 2019-02-05 | 中国银行股份有限公司 | 测试数据的获得方法及装置 |
| CN109902509A (zh) * | 2019-01-25 | 2019-06-18 | 中译语通科技股份有限公司 | 一种基于阿拉伯数字遮蔽的中文地址数据脱敏方法及装置 |
| CN109815742A (zh) * | 2019-02-22 | 2019-05-28 | 蔷薇智慧科技有限公司 | 数据脱敏方法及装置 |
| CN110515974A (zh) * | 2019-07-15 | 2019-11-29 | 金蝶软件（中国）有限公司 | 数据抽取方法、装置、计算机设备和存储介质 |
| CN110889129B (zh) * | 2019-11-29 | 2022-02-11 | 中国银行股份有限公司 | 银行数据安全控制方法及装置 |
| CN110889129A (zh) * | 2019-11-29 | 2020-03-17 | 中国银行股份有限公司 | 银行数据安全控制方法及装置 |
| CN111274149A (zh) * | 2020-02-06 | 2020-06-12 | 中国建设银行股份有限公司 | 测试数据的处理方法及装置 |
| CN111310232A (zh) * | 2020-03-17 | 2020-06-19 | 杭州数梦工场科技有限公司 | 数据脱敏方法及装置、电子设备、存储介质 |
| CN111625845A (zh) * | 2020-04-17 | 2020-09-04 | 沈阳派客动力科技有限公司 | 大数据的安全管理方法、装置和设备 |
| CN112000980A (zh) * | 2020-07-06 | 2020-11-27 | 拉卡拉支付股份有限公司 | 数据处理方法及装置 |
| WO2022048464A1 (zh) * | 2020-09-01 | 2022-03-10 | 华为技术有限公司 | 数据脱敏方法、数据脱敏装置以及存储设备 |
| CN113642036A (zh) * | 2021-07-07 | 2021-11-12 | 阿里巴巴新加坡控股有限公司 | 数据处理方法、装置及系统 |
| CN113642036B (zh) * | 2021-07-07 | 2023-07-28 | 阿里巴巴华北技术有限公司 | 数据处理方法、装置及系统 |
| CN114021199A (zh) * | 2022-01-04 | 2022-02-08 | 北京安华金和科技有限公司 | 一种基于预定规则的敏感数据发现方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106959955A (zh) | 一种数据库的数据处理方法及装置 | |
| CN109816397B (zh) | 一种欺诈判别方法、装置及存储介质 | |
| US11630918B2 (en) | Systems and methods of determining compromised identity information | |
| US9971898B2 (en) | Method and system for providing anonymized data from a database | |
| EP2565802B1 (en) | Data masking setup | |
| CN105825138B (zh) | 一种敏感数据识别的方法和装置 | |
| CN108989150A (zh) | 一种登录异常检测方法及装置 | |
| CN108038052A (zh) | 自动化测试管理方法、装置、终端设备及存储介质 | |
| CN110493181A (zh) | 用户行为检测方法、装置、计算机设备及存储介质 | |
| CN112417492A (zh) | 基于数据分类分级的服务提供方法 | |
| CN112036995A (zh) | 基于区块链的大型企业财务数据管理方法、系统和可读存储介质 | |
| CN112734177A (zh) | 一种智能分流自动决策的风控系统及方法 | |
| CN111639179A (zh) | 一种银行前端查询系统批量客户信息隐私控制方法和装置 | |
| CN107609179A (zh) | 一种数据处理方法及设备 | |
| CN114036549A (zh) | 一种基于数据标签的数据库访问控制方法及装置 | |
| CN112016317A (zh) | 基于人工智能的敏感词识别方法、装置及计算机设备 | |
| CN110457009B (zh) | 基于数据分析的软件安全需求推荐模型的实现方法 | |
| CN101702168A (zh) | 基于二代身份证关键信息的信息查询方法 | |
| CN107464091B (zh) | 用于司法鉴定/法庭科学机构的智能化案件委托管理方法 | |
| CN113657902B (zh) | 基于图数据库的金融安全管理方法、系统及存储介质 | |
| CN113065323B (zh) | 合同模板数据的导入方法、装置、设备以及存储介质 | |
| TW201539217A (zh) | 文件分析系統、文件分析方法、以及文件分析程式 | |
| CN109583210A (zh) | 一种水平权限漏洞的识别方法、装置及其设备 | |
| CN114090076A (zh) | 应用程序的合规性判别方法和装置 | |
| CN112765641A (zh) | 一种高效脱敏方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170718 |
|
| RJ01 | Rejection of invention patent application after publication |