CN112000969A - 大数据高效异同步解密处理方法、模块及系统 - Google Patents

大数据高效异同步解密处理方法、模块及系统 Download PDF

Info

Publication number
CN112000969A
CN112000969A CN202010838939.0A CN202010838939A CN112000969A CN 112000969 A CN112000969 A CN 112000969A CN 202010838939 A CN202010838939 A CN 202010838939A CN 112000969 A CN112000969 A CN 112000969A
Authority
CN
China
Prior art keywords
data
decryption
asynchronous
module
decrypted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010838939.0A
Other languages
English (en)
Inventor
刘跃红
曾国江
郭倩
李雨峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yinsheng Payment Service Co Ltd
Original Assignee
Yinsheng Payment Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yinsheng Payment Service Co Ltd filed Critical Yinsheng Payment Service Co Ltd
Priority to CN202010838939.0A priority Critical patent/CN112000969A/zh
Publication of CN112000969A publication Critical patent/CN112000969A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种大数据高效异同步解密处理方法、模块及系统，包括：将数据同步推送至Kafka集群；使用Kafka消费端对相应Topic进行ETL处理；若同一LastUpDateTime对应数据条数小于等于设定的N条，则实时同步解密；若同一LastUpDateTime对应数据条数大于设定的N条的，则存临时库将数据直接保存至分布式数据库中数仓指定表；设定定时任务，每时间间隔读取临时库中存放的待解密数据，解密完成后保存至分布式数据库中数仓指定表；异步解密程序持续运行，以确保待解密数据均可完成业务解密需求。此种大数据高效异同步解密处理方法、模块及系统根据业务特点同时兼容同步与异步解密方式，满足大吞吐量性能要求；解决性能瓶颈，增加容错机制，能满足大批量事务解密需求。

Description

大数据高效异同步解密处理方法、模块及系统
技术领域
本发明涉及大数据解密领域，特别涉及一种大数据高效异同步解密处理方法、模块及系统。
背景技术
数据安全对企业生存发展有着举足轻重的影响，数据资产的外泄、破坏都会导致企业无可挽回的经济损失和核心竞争力缺失，而往往绝大多数中小企业侧重的是业务的快速发展，忽略了数据安全重要性。数据安全控制一直是数据治理的重要环节，数据脱敏属于数据安全控制的范畴。对互联网公司、传统行业来说，数据安全一直是极为重视和敏感的话题。数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。涉及客户安全数据或者一些商业性敏感数据，如身份证号、手机号、卡号、客户号等个人信息按照监管部门规定，都需要进行数据脱敏。在真实业务场景中，开发人员在业务系统中根据监管及数据安全需求，均维护一套加解密系统，对于业务数据根据不同的特点采用不同加解密方法保存数据。
而企业在实际运行中，部分场景需要未加密的全明文场景，如监管取数需求、报送人行相关信息；部分场景需要已加密字段解密后做数据分析；部分场景中，如商户需下载对账单等信息数据，交易库中保存的信息均为脱敏信息。应对类似举例场景中大批量数据时，若采用临时实时解密的方式，明显存在严重性能瓶颈，无法短时间内响应大量需求。
发明内容
为了克服现有技术的不足，本发明提供一种大数据高效异同步解密处理方法、模块及系统。
本发明解决其技术问题所采用的技术方案是：
一种大数据高效异同步解密处理方法，包括：
S1、将数据同步推送至Kafka集群；
S2、使用Kafka消费端对相应Topic进行ETL处理；
S3、若同一LastUpDateTime对应数据条数小于等于设定的N条，则实时同步解密；
S4、若同一LastUpDateTime对应数据条数大于设定的N条的，则存临时库将数据直接保存至分布式数据库中数仓指定表，以保证数据高效处理而不被阻塞；
S5、设定定时任务，每时间间隔读取临时库中存放的待解密数据，每次读取设定的M条，并使用多线程并发机制进行解密，解密完成后保存至分布式数据库中数仓指定表；
S6、异步解密程序持续运行，以确保待解密数据均可完成业务解密需求。
进一步地，所述步骤S3及步骤S4中：所述设定的N条为1000条。
进一步地，所述步骤S5中：所述每时间间隔设定为每分钟。
进一步地，所述步骤S5中：所述设定的M条为5000条。
进一步地，所述步骤S2包括：
S2.1、先判断分析拉取数据的LastUpDateTime。
进一步地，在步骤S2.1之后还包括：
S2.2、对相同LastUpDateTime进行聚合计算。
本发明还公开了一种大数据高效异同步解密处理模块，包括：
同步模块，用于将数据同步推送至Kafka集群；
ETL处理模块，用于使用Kafka消费端对相应Topic进行ETL处理；
判断模块，用于判断同一LastUpDateTime对应数据条数与设定的数值N条的大小；
定时模块，用于设定定时任务，每时间间隔读取临时库中存放的待解密数据；
同步解密模块，用于同步解密；
异步解密模块，用于异步解密。
进一步地，所述设定的数值N条为1000条。
本发明还公开了一种大数据高效异同步解密处理系统，包括：
数据源，用于提供要解密的数据；
Kafka集群，用于对相应Topic进行ETL处理；
临时库，若同一LastUpDateTime对应数据条数大于设定的N条的，则将待解密数据存临时库；
分布式数据库，用于将解密完成后的数据保存至分布式数据库中。
进一步地，所述设定的N条为1000条。
本发明的有益效果是：
a、实时解密，随时应对业务需求；
b、满足大吞吐量性能要求；
c、根据业务特点同时兼容同步与异步解密方式；
d、解决性能瓶颈，增加容错机制，能满足大批量事务解密需求；
e、落地分布式数据库数仓，应对数据分析需求。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明一种大数据高效异同步解密处理系统的结构流程图；
图2是本发明一种大数据高效异同步解密处理方法的步骤流程图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。另外，专利中涉及到的所有联接/连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接结构。本发明创造中的各个技术特征，在不互相矛盾冲突的前提下可以交互组合。
参考图1以及图2，本发明解决其技术问题所采用的技术方案是：
一种大数据高效异同步解密处理方法，包括：
S1、将数据同步推送至Kafka集群，采用同步技术，比如：Oracle可使用Ogg，Mysql可使用Cannal；
S2、使用Kafka消费端对相应Topic进行ETL处理：
S2.1、先判断分析拉取数据的LastUpDateTime；
S2.2、对相同LastUpDateTime进行聚合计算；
S3、若同一LastUpDateTime对应数据条数小于等于设定的N条(所述设定的N条为1000条)，则实时同步解密；
S4、若同一LastUpDateTime对应数据条数大于设定的N条的(所述设定的N条为1000条)，则存临时库将数据直接保存至分布式数据库中数仓指定表，以保证数据高效处理而不被阻塞；
S5、设定定时任务，每时间间隔(所述每时间间隔设定为每分钟)读取临时库中存放的待解密数据，为防止单次拉取数据过大，导致内存溢出，读取数据时，引入分页机制，通过lastUpTime进行聚合计算，判断聚合量是否大于M(真实使用场景设定为5000条)，大于M则进行分页处理，每次只处理M条，并使用多线程并发机制进行解密，解密完成后保存至分布式数据库中数仓指定表；
S6、若外部环境问题持续，导致异步解密程序也出现异常，则发出警告，此时需人工介入排查外部环境问题，排查修复完外部环境问题，需对出现异常的时间段在进行脱敏处理，可通过异步解密程序的对指定时间段进行处理。异步解密程序持续运行，以确保待解密数据均可完成业务解密需求。
本发明还公开了一种大数据高效异同步解密处理模块，包括：
同步模块，用于将数据同步推送至Kafka集群；
ETL处理模块，用于使用Kafka消费端对相应Topic进行ETL处理；
判断模块，用于判断同一LastUpDateTime对应数据条数与设定的数值N条的大小(所述设定的数值N条为1000条)；
定时模块，用于设定定时任务，每时间间隔读取临时库中存放的待解密数据；
同步解密模块，用于同步解密；
异步解密模块，用于异步解密。
本发明还公开了一种大数据高效异同步解密处理系统，包括：
数据源，用于提供要解密的数据；
Kafka集群，用于对相应Topic进行ETL处理；
临时库，若同一LastUpDateTime对应数据条数大于设定的N条的(所述设定的N条为1000条)，则将待解密数据存临时库；
分布式数据库，用于将解密完成后的数据保存至分布式数据库中。
本发明的有益效果是：
a、实时解密，随时应对业务需求；
b、满足大吞吐量性能要求；
c、根据业务特点同时兼容同步与异步解密方式；
d、解决性能瓶颈，增加容错机制，能满足大批量事务解密需求；
e、落地分布式数据库数仓，应对数据分析需求。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种大数据高效异同步解密处理方法，其特征在于，包括：
S1、将数据同步推送至Kafka集群；
S2、使用Kafka消费端对相应Topic进行ETL处理；
S3、若同一LastUpDateTime对应数据条数小于等于设定的N条，则实时同步解密；
S4、若同一LastUpDateTime对应数据条数大于设定的N条的，则存临时库将数据直接保存至分布式数据库中数仓指定表，以保证数据高效处理而不被阻塞；
S5、设定定时任务，每时间间隔读取临时库中存放的待解密数据，每次读取设定的M条，并使用多线程并发机制进行解密，解密完成后保存至分布式数据库中数仓指定表；
S6、异步解密程序持续运行，以确保待解密数据均可完成业务解密需求。
2.根据权利要求1所述的一种大数据高效异同步解密处理方法，其特征在于，所述步骤S3及步骤S4中：所述设定的N条为1000条。
3.根据权利要求1所述的一种大数据高效异同步解密处理方法，其特征在于，所述步骤S5中：所述每时间间隔设定为每分钟。
4.根据权利要求1所述的一种大数据高效异同步解密处理方法，其特征在于，所述步骤S5中：所述设定的M条为5000条。
5.根据权利要求1所述的一种大数据高效异同步解密处理方法，其特征在于，所述步骤S2包括：
S2.1、先判断分析拉取数据的LastUpDateTime。
6.根据权利要求5所述的一种大数据高效异同步解密处理方法，其特征在于，在步骤S2.1之后还包括：
S2.2、对相同LastUpDateTime进行聚合计算。
7.一种大数据高效异同步解密处理模块，其特征在于，包括：
同步模块，用于将数据同步推送至Kafka集群；
ETL处理模块，用于使用Kafka消费端对相应Topic进行ETL处理；
判断模块，用于判断同一LastUpDateTime对应数据条数与设定的数值N条的大小；
定时模块，用于设定定时任务，每时间间隔读取临时库中存放的待解密数据；
同步解密模块，用于同步解密；
异步解密模块，用于异步解密。
8.根据权利要求7所述的一种大数据高效异同步解密处理模块，其特征在于：所述设定的数值N条为1000条。
9.一种大数据高效异同步解密处理系统，其特征在于，包括：
数据源，用于提供要解密的数据；
Kafka集群，用于对相应Topic进行ETL处理；
临时库，若同一LastUpDateTime对应数据条数大于设定的N条的，则将待解密数据存临时库；
分布式数据库，用于将解密完成后的数据保存至分布式数据库中。
10.根据权利要求9所述的一种大数据高效异同步解密处理系统，其特征在于：所述设定的N条为1000条。
CN202010838939.0A 2020-08-19 2020-08-19 大数据高效异同步解密处理方法、模块及系统 Pending CN112000969A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010838939.0A CN112000969A (zh) 2020-08-19 2020-08-19 大数据高效异同步解密处理方法、模块及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010838939.0A CN112000969A (zh) 2020-08-19 2020-08-19 大数据高效异同步解密处理方法、模块及系统

Publications (1)

Publication Number Publication Date
CN112000969A true CN112000969A (zh) 2020-11-27

Family

ID=73474054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010838939.0A Pending CN112000969A (zh) 2020-08-19 2020-08-19 大数据高效异同步解密处理方法、模块及系统

Country Status (1)

Country Link
CN (1) CN112000969A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860412A (zh) * 2021-03-12 2021-05-28 网易（杭州）网络有限公司 业务数据处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101556678A (zh) * 2009-05-21 2009-10-14 中国建设银行股份有限公司 一种批处理业务的处理方法、系统及业务处理控制设备
CN108038207A (zh) * 2017-12-15 2018-05-15 暴风集团股份有限公司 一种日志数据处理系统、方法和服务器
CN110633302A (zh) * 2019-09-19 2019-12-31 北京中电普华信息技术有限公司 一种海量结构化数据的处理方法及装置
CN111125260A (zh) * 2020-01-21 2020-05-08 重庆文理学院 一种基于SQL Server的数据同步方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101556678A (zh) * 2009-05-21 2009-10-14 中国建设银行股份有限公司 一种批处理业务的处理方法、系统及业务处理控制设备
CN108038207A (zh) * 2017-12-15 2018-05-15 暴风集团股份有限公司 一种日志数据处理系统、方法和服务器
CN110633302A (zh) * 2019-09-19 2019-12-31 北京中电普华信息技术有限公司 一种海量结构化数据的处理方法及装置
CN111125260A (zh) * 2020-01-21 2020-05-08 重庆文理学院 一种基于SQL Server的数据同步方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860412A (zh) * 2021-03-12 2021-05-28 网易（杭州）网络有限公司 业务数据处理方法、装置、电子设备及存储介质
CN112860412B (zh) * 2021-03-12 2023-10-20 网易（杭州）网络有限公司 业务数据处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11544794B2 (en) Claim settlement method and apparatus employing blockchain technology
CN110069495A (zh) 数据存储方法、装置和终端设备
CN107622060B (zh) 订单跟踪分析方法及装置
CN104699723A (zh) 数据交换适配器、异构系统之间数据同步系统和方法
CN105677691A (zh) 巨量串流数据实时处理方法及其装置与应用系统
CN103235811A (zh) 一种数据存储方法及装置
CN107592223A (zh) 一种基于大数据的智能告警处理方法
CN112000969A (zh) 大数据高效异同步解密处理方法、模块及系统
CN116205396A (zh) 一种基于数据中台的数据全景监控方法及系统
CN111125719B (zh) 一种提升代码安全检测效率的方法、装置、计算机设备、和可读存储介质
CN114077518A (zh) 数据快照方法、装置、设备及存储介质
CN111930746A (zh) 基于离线数据处理的风险交易管控方法、装置及系统
CN101923624B (zh) 基于管道流的rfid事件处理方法
CN114428818A (zh) 数据处理系统、数据处理方法、可读存储介质
Wang et al. Research on productization and development trend of data desensitization technology
CN110515978B (zh) 一种状态数据库交易验签实现方法
CN113761082A (zh) 一种数据可视化方法、装置和系统
CN108932284B (zh) 通用逻辑调度方法、电子设备及可读存储介质
CN111062673A (zh) 基于区块链的物流安全监管方法及系统
CN104052852A (zh) 通信方法及装置
CN115952200B (zh) 一种基于mpp架构的多源异构数据聚合查询方法及装置
CN114584616B (zh) 一种消息推送方法、装置、电子设备及存储介质
CN115658434A (zh) 批量任务中异常处理方法、装置、计算机设备与存储介质
CN117874137A (zh) 数据处理方法、装置、计算机设备及存储介质
CN115115433A (zh) 订单数据处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination