CN113420334A - 一种依据授权期限按字段清除过期信息的数据保护方法 - Google Patents

一种依据授权期限按字段清除过期信息的数据保护方法 Download PDF

Info

Publication number
CN113420334A
CN113420334A CN202110822576.6A CN202110822576A CN113420334A CN 113420334 A CN113420334 A CN 113420334A CN 202110822576 A CN202110822576 A CN 202110822576A CN 113420334 A CN113420334 A CN 113420334A
Authority
CN
China
Prior art keywords
data
clearing
expiration
protection method
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110822576.6A
Other languages
English (en)
Inventor
孟艳冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sinobase Technology Development Co ltd
Original Assignee
Beijing Sinobase Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sinobase Technology Development Co ltd filed Critical Beijing Sinobase Technology Development Co ltd
Priority to CN202110822576.6A priority Critical patent/CN113420334A/zh
Publication of CN113420334A publication Critical patent/CN113420334A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/219—Managing data history or versioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Storage Device Security (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种依据授权期限按字段清除过期信息的数据保护方法，包括步骤一、对数据库与业务系统内的数据进行交互处理；步骤二、数据存储：所述数据存储单元在消费Kafka中数据进行处理，会分别产生两种数据对象：数据轨迹对象和数据过期对象；步骤三、数据清除。本发明属于隐私数据保护、数据存储、消息队列技术领域，具体是提供了一种实现了按字段清除数据的方式，同时对外提供基于消息队列或接口形式的高并发数据输入输出接口，依据授权期限时间返回上次数据记录，可以按批次指定数据的过期时间的依据授权期限按字段清除过期信息的数据保护方法。

Description

一种依据授权期限按字段清除过期信息的数据保护方法
技术领域
本发明属于隐私数据保护、数据存储、消息队列技术领域，具体是指一种依据授权期限按字段清除过期信息的数据保护方法。
背景技术
数据隐私的保护已经是企业的基本职责，满足客户对数据的隐私要求、满足客户按期限保存数据已经成为数据管理类产品的必备功能，现有技术一般是通过创建时间或更新时间统一整体删除已存储数据完成此功能。
现有技术的客观缺点如下：
1)无法按不同批次的数据授权时间有区分的进行数据清除；
2)无法实现按列内容的授权期限进行数据清除；
3)清除过期数据时，无法回滚到上一个未过期的版本。
发明内容
针对上述情况，为克服现有技术的缺陷，本发明提供了一种记录每一个字段的每一次变更，包括新增，修改，清空，实现了按字段清除数据的方式，同时对外提供基于消息队列或接口形式的高并发数据输入输出接口，依据授权期限时间返回上次数据记录，可以按批次指定数据的过期时间的依据授权期限按字段清除过期信息的数据保护方法。
本发明采取的技术方案如下：本发明一种依据授权期限按字段清除过期信息的数据保护方法，包括以下步骤：
步骤一、对数据库与业务系统内的数据进行交互处理：数据库连接有数据接入单元、数据存储单元和定期清楚数据单元，所述数据接入单元用于在业务数据入数据库的同时将数据推送到Kafka消息队列中；
步骤二、数据存储：所述数据存储单元在消费Kafka中数据进行处理，会分别产生两种数据对象：数据轨迹对象和数据过期对象；
步骤三、数据清除：所述定期清楚数据单元用于定时扫描数据库内的数据，匹配出最新数据并且未过期的数据推送到业务系统，从而恢复业务数据到上一个版本。
进一步地，所述数据存储包括如下具体步骤：隐私数据通过高并发通道发送至Kafka消息队列中、通过HTTP普通传输发送至API接口，并按批次接收数据，并生成数据对象，通过对象标识为隐私数据主键与当前时间戳生成数据轨迹对象，通过对象标记为过期时间、隐私数据主键与当前时间戳生成数据过期对象。
进一步地，所述数据清除包括如下具体步骤：
S1每天定时任务清除数据过期对象；
S2判断过期时间是否为今天，如果否，则退出，如果是，则根据入库时间进行降序排列；
S3根据数据轨迹对象，识别要过期的字段、以及入库时间的最新字段，并将结果数据以单字段的形式输出；
S4将结果数据集合，通过Kafka或API方式输出给业务系统。
进一步地，所述隐私数据包括授权时间。
本方案一种依据授权期限按字段清除过期信息的数据保护方法，采用上述方案本发明取得的有益效果如下：
1、实现按字段级别的数据记录功能，同时可保留字段的N多个版本记录；
2、实现基于通用的接口方式与Kafka消息队列方式的数据接入功能，方便第三方数据入库；
3、实现了数据定时自动推送历史数据功能，方便第三方对接数据回写入库。
附图说明
图1为本发明一种依据授权期限按字段清除过期信息的数据保护方法的系统交互流程图；
图2为本发明一种依据授权期限按字段清除过期信息的数据保护方法的数据存储逻辑图；
图3为本发明一种依据授权期限按字段清除过期信息的数据保护方法的数据清除逻辑图。
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1-3所示，本发明一种依据授权期限按字段清除过期信息的数据保护方法，包括以下步骤：
步骤一、对数据库与业务系统内的数据进行交互处理：数据库连接有数据接入单元、数据存储单元和定期清楚数据单元，所述数据接入单元用于在业务数据入数据库的同时将数据推送到Kafka消息队列中；
步骤二、数据存储：所述数据存储单元在消费Kafka中数据进行处理，会分别产生两种数据对象：数据轨迹对象和数据过期对象；
步骤三、数据清除：所述定期清楚数据单元用于定时扫描数据库内的数据，匹配出最新数据并且未过期的数据推送到业务系统，从而恢复业务数据到上一个版本。
进一步地，所述数据存储包括如下具体步骤：隐私数据通过高并发通道发送至Kafka消息队列中、通过HTTP普通传输发送至API接口，并按批次接收数据，并生成数据对象，通过对象标识为隐私数据主键与当前时间戳生成数据轨迹对象，通过对象标记为过期时间、隐私数据主键与当前时间戳生成数据过期对象。
进一步地，所述数据清除包括如下具体步骤：
S1每天定时任务清除数据过期对象；
S2判断过期时间是否为今天，如果否，则退出，如果是，则根据入库时间进行降序排列；
S3根据数据轨迹对象，识别要过期的字段、以及入库时间的最新字段，并将结果数据以单字段的形式输出；
S4将结果数据集合，通过Kafka或API方式输出给业务系统。
其中，所述隐私数据包括授权时间。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (4)

1.一种依据授权期限按字段清除过期信息的数据保护方法，其特征在于：包括以下步骤：
步骤一、对数据库与业务系统内的数据进行交互处理：数据库连接有数据接入单元、数据存储单元和定期清楚数据单元，所述数据接入单元用于在业务数据入数据库的同时将数据推送到Kafka消息队列中；
步骤二、数据存储：所述数据存储单元在消费Kafka中数据进行处理，会分别产生两种数据对象：数据轨迹对象和数据过期对象；
步骤三、数据清除：所述定期清楚数据单元用于定时扫描数据库内的数据，匹配出最新数据并且未过期的数据推送到业务系统，从而恢复业务数据到上一个版本。
2.根据权利要求1所述的一种依据授权期限按字段清除过期信息的数据保护方法，其特征在于：所述数据存储包括如下具体步骤：隐私数据通过高并发通道发送至Kafka消息队列中、通过HTTP普通传输发送至API接口，并按批次接收数据，并生成数据对象，通过对象标识为隐私数据主键与当前时间戳生成数据轨迹对象，通过对象标记为过期时间、隐私数据主键与当前时间戳生成数据过期对象。
3.根据权利要求1所述的一种依据授权期限按字段清除过期信息的数据保护方法，其特征在于，所述数据清除包括如下具体步骤：
S1每天定时任务清除数据过期对象；
S2判断过期时间是否为今天，如果否，则退出，如果是，则根据入库时间进行降序排列；
S3根据数据轨迹对象，识别要过期的字段、以及入库时间的最新字段，并将结果数据以单字段的形式输出；
S4将结果数据集合，通过Kafka或API方式输出给业务系统。
4.根据权利要求2所述的一种依据授权期限按字段清除过期信息的数据保护方法，其特征在于：所述隐私数据包括授权时间。
CN202110822576.6A 2021-07-21 2021-07-21 一种依据授权期限按字段清除过期信息的数据保护方法 Pending CN113420334A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110822576.6A CN113420334A (zh) 2021-07-21 2021-07-21 一种依据授权期限按字段清除过期信息的数据保护方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110822576.6A CN113420334A (zh) 2021-07-21 2021-07-21 一种依据授权期限按字段清除过期信息的数据保护方法

Publications (1)

Publication Number Publication Date
CN113420334A true CN113420334A (zh) 2021-09-21

Family

ID=77721431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110822576.6A Pending CN113420334A (zh) 2021-07-21 2021-07-21 一种依据授权期限按字段清除过期信息的数据保护方法

Country Status (1)

Country Link
CN (1) CN113420334A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101055591A (zh) * 2007-05-25 2007-10-17 中兴通讯股份有限公司 一种全内存数据库的数据存取方法
CN106484906A (zh) * 2016-10-21 2017-03-08 焦点科技股份有限公司 一种分布式对象存储系统闪回方法及装置
CN109491987A (zh) * 2018-11-01 2019-03-19 恒生电子股份有限公司 数据管理方法与装置
CN110069506A (zh) * 2018-07-27 2019-07-30 阿里巴巴集团控股有限公司 业务数据的维护方法、装置及服务器
CN111400298A (zh) * 2020-04-17 2020-07-10 Oppo广东移动通信有限公司 数据处理方法及装置、计算机可读存储介质
CN111414389A (zh) * 2020-03-19 2020-07-14 北京字节跳动网络技术有限公司 一种数据处理方法、装置、电子设备及存储介质
US20200244797A1 (en) * 2019-01-30 2020-07-30 Rapidsos, Inc. Emergency Data Statistics Aggregation with Data Privacy Protection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101055591A (zh) * 2007-05-25 2007-10-17 中兴通讯股份有限公司 一种全内存数据库的数据存取方法
CN106484906A (zh) * 2016-10-21 2017-03-08 焦点科技股份有限公司 一种分布式对象存储系统闪回方法及装置
CN110069506A (zh) * 2018-07-27 2019-07-30 阿里巴巴集团控股有限公司 业务数据的维护方法、装置及服务器
CN109491987A (zh) * 2018-11-01 2019-03-19 恒生电子股份有限公司 数据管理方法与装置
US20200244797A1 (en) * 2019-01-30 2020-07-30 Rapidsos, Inc. Emergency Data Statistics Aggregation with Data Privacy Protection
CN111414389A (zh) * 2020-03-19 2020-07-14 北京字节跳动网络技术有限公司 一种数据处理方法、装置、电子设备及存储介质
CN111400298A (zh) * 2020-04-17 2020-07-10 Oppo广东移动通信有限公司 数据处理方法及装置、计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
程懋泰 等主编: "《大数据与人工智能应用导论》", vol. 7, 北京：中国纺织出版社, pages: 155 - 162 *

Similar Documents

Publication Publication Date Title
US11726966B1 (en) Information management system
US8214445B2 (en) Methods, systems, and computer program products for managing electronic subscriptions
CN100541492C (zh) 使用外部数据库表的数据可扩展性
US7941384B2 (en) Canonical model to normalize disparate persistent data sources
CN107688645B (zh) 一种保单数据处理方法及终端设备
US20040230565A1 (en) System and method for obtaining alternate contact information
US20160210290A1 (en) System and Methods For Generating Optimal Post Times For Social Networking Sites
CN101013486A (zh) 访问被拒绝的事件邀请的方法与系统
Kalman et al. Filing, piling, and everything in between: The dynamics of E‐mail inbox management
CN101997894A (zh) 一种信息推送方法及其系统和网络系统
Leemis Nonparametric estimation and variate generation for a nonhomogeneous Poisson process from event count data
Lesk Big data, big brother, big money
CN105320722A (zh) 确保分布式存储系统中导出数据的一致性
CN101452556A (zh) 一种客户信息处理系统及方法
US20010056371A1 (en) System and method for aggregating information over a wide area network
CN103246975A (zh) 任务数据共享系统和方法
CN113420334A (zh) 一种依据授权期限按字段清除过期信息的数据保护方法
Kamatula E-government and e-records: challenges and prospects for African records managers and archivists
CN102708111A (zh) 一种群体用户自身指数展示系统及方法
CN114706862A (zh) 酒店房态预测方法、装置、设备及存储介质
Ranjbari et al. What is the Right Size for a Residential Building Parcel Locker?
Sampson The myth of diminishing firms
JP6528297B1 (ja) アカウント名寄せシステム
US20180121184A1 (en) System and method for service matching of instant message software
JP2019109742A (ja) アカウント名寄せシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination