CN111597173A - 一种数据仓库系统 - Google Patents

一种数据仓库系统 Download PDF

Info

Publication number
CN111597173A
CN111597173A CN202010255706.8A CN202010255706A CN111597173A CN 111597173 A CN111597173 A CN 111597173A CN 202010255706 A CN202010255706 A CN 202010255706A CN 111597173 A CN111597173 A CN 111597173A
Authority
CN
China
Prior art keywords
data
module
storage
service
warehouse system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010255706.8A
Other languages
English (en)
Inventor
王颂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Handpal Information Technology Service Co ltd
Original Assignee
Shanghai Handpal Information Technology Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Handpal Information Technology Service Co ltd filed Critical Shanghai Handpal Information Technology Service Co ltd
Priority to CN202010255706.8A priority Critical patent/CN111597173A/zh
Publication of CN111597173A publication Critical patent/CN111597173A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/604—Tools and structures for managing or administering access control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种数据仓库系统，包括一数据手机单元、一数据存储单元和一数据访问单元。通过本技术方案，能够向企业，特别是互联网企业的内部各业务系统提供安全的数据存储和访问服务，各业务系统相关的业务数据都可以上送到数据仓库系统，由数据仓库系统进行统一的清洗和存储，各业务系统访问这些数据时会进行统一的鉴权处理，并具备多种防窃取的数据交互方式，一方面能够实现企业内部系统最大限度的数据共享，另一方面能够满足对外隐私数据的最大保护需求，具有极佳的适用性和可推广性。

Description

一种数据仓库系统
技术领域
本发明涉及数据存储管理领域，尤其涉及一种数据仓库系统。
背景技术
随着网络爬虫、撞库等黑客技术盛行，各类企业，特别是互联网企业的移动端应用程序、网站、公众号、小程序内的隐私数据缺都乏统一有效的管控。大多数企业的数据都是存储在Oracle或MySQL等关系型数据库中，前端应用程序只是进行了简单是用户身份校验后，就可以访问几乎所有的用户数据和业务数据，很容易被不法分子窃取和利用，进而损害企业和企业用户的权益，如何提高数据仓库存储调用过程中的安全性是目前亟需解决的主要问题。
CN102411599A提出了一种数据仓库中异常行为的处理方法及监测服务器，通过检测服务器根据数据仓库中系统表中记录的人物信息来判断ETL过程是否出现异常，并在出现异常时将异常行为信息记录到数据仓库的异常信息表中并将异常行为信息发送到运维监测设备，以使运维人员及时获取到异常行为信息，进而及时采取相应处理措施。该技术方案与现有技术相比虽然无需运维人员频繁地去查询数据仓库就可以及时获知异常行为信息，一定程度上提升了数据仓库的安全性，但运维人员仅能通过该技术方案获悉异常行为信息，系统无法针对异常行为信息给出自动化解决方案并进行处理，难以及时有效地对异常行为做出有效响应。
于现有技术的基础上，为了有效地解决上述现有问题，需要提供一种高效安全的数据存储管理系统，一方面能够统一进行数据的清洗存储和访问控制，在保障日常数据存储效率的同时极大程度上增加不法分子窃取数据的难度，另一方面能够实现对数据访问轨迹有效追溯，在数据发生泄露时能够第一时间进行排查和跟踪，针对不同应用场景制定多种防窃取的数据交互方式，进一步提升数据仓库的智能化和安全性。
发明内容
针对现有技术中存在的上述问题，现提供一种数据仓库系统，具体技术方案如下所示：
一种数据仓库系统，该种数据仓库系统分别远程连接多个外部的业务系统，业务系统包括线上交易系统、网络请求系统和风险管控系统；
数据仓库系统包括：
一数据接收单元，用于收集每个业务系统上传的业务数据，并对业务数据进行预处理，输出相应的待存储数据；
一数据存储单元，连接数据接收单元，数据存储单元包括多个子存储模块，每个子存储模块对应一预设的存储类别，数据存储单元用于接收待存储数据并作为存储数据存储至相应的子存储模块中；
一数据访问单元，连接数据存储单元，数据访问单元预先设置有多个不同的数据交互模型，用于根据业务系统发布的数据访问请求指令，从数据存储单元提取相应的存储数据并选择相应的数据交互模型进行数据交互。
优选的，该种数据仓库系统，其中数据接收单元进一步包括：
代理模块，用于接收并解析业务数据；
缓存模块，连接代理模块，用于对业务数据进行分类缓存和并发输出，缓存模块包括多个数据队列，每个数据队列对应一存储类别，业务数据缓存于对应的数据队列中；
清洗模块，连接缓存模块，清洗模块包括多个清洗子模块，每个清洗子模块对应一存储类别，用于对数据队列中的业务数据进行数据清洗，输出待存储数据。
优选的，该种数据仓库系统，其中清洗模块采用Flink流式计算进行数据清洗。
优选的，该种数据仓库系统，其中数据接收单元还包括一通知模块；
通知模块连接清洗模块，当清洗模块输出待存储数据时向预先订阅通知的业务系统发送数据收集完成通知。
优选的，该种数据仓库系统，其中数据接收单元对业务数据的接收支持套接字传输协议和/或超文本传输协议和/或日志收集传输协议和/或文件传输协议。
优选的，该种数据仓库系统，其中业务数据包括业务系统收集的用户数据和订单数据。
优选的，该种数据仓库系统，其中数据存储单元进一步包括：
一快照模块，用于获取待存储数据对应的数据快照；
一搜索模块，连接快照模块，用于存储数据快照，并可根据外部的用户指令对数据快照进行提取和分析。
优选的，该种数据仓库系统，其中数据访问单元进一步包括：
一第二存储模块，用于存储多个数据交互模型；
一鉴权模块，用于对数据访问请求指令进行访问权限鉴权，并输出一鉴权结果；
一数据交互模块，分别连接鉴权模块和第二存储模块，用于根据鉴权结果，当鉴权结果为通过时，根据数据访问请求指令提取相应的存储数据和数据交互模型并使用数据交互模型对存储数据进行数据交互。
优选的，该种数据仓库系统，其中数据访问单元提供统一的API接口供每个业务系统发起数据访问请求指令。
优选的，该种数据仓库系统，其中数据交互模型包括：
加密传输模型，用于对待数据交互的存储数据进行动态加密；
阅后即焚模型，用于将待数据交互的存储数据转化为图片格式数据进行输出并于初次访问后的一预设时间后删除图片格式数据；
脱敏模型，用于对待数据交互的存储数据进行脱敏处理；
高频拦截模型，用于判断一用户设备或IP地址的访问频次是否高于一预设阈值，并当访问频次高于预设阈值时切断于用户设备或IP地址的访问连接。
上述技术方案具有如下优点或有益效果：
通过本技术方案，能够向企业，特别是互联网企业的内部各业务系统提供安全的数据存储和访问服务，各业务系统相关的业务数据都可以上送到数据仓库系统，由数据仓库系统进行统一的清洗和存储，各业务系统访问这些数据时会进行统一的鉴权处理，并具备多种防窃取的数据交互方式，一方面能够实现企业内部系统最大限度的数据共享，另一方面能够满足对外隐私数据的最大保护需求，具有极佳的适用性和可推广性。
附图说明
图1为本发明一种数据仓库系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
针对现有技术中存在的上述问题，现提供一种数据仓库系统，具体技术方案如下所示：
一种数据仓库系统，如图1所示，该种数据仓库系统分别远程连接多个外部的业务系统0，业务系统包括线上交易系统、网络请求系统和风险管控系统；
数据仓库系统1包括：
一数据接收单元11，用于收集每个业务系统上传的业务数据，并对业务数据进行预处理，输出相应的待存储数据；
一数据存储单元12，连接数据接收单元11，数据存储单元12包括多个子存储模块120，每个子存储模块120对应一预设的存储类别，数据存储单元12用于接收待存储数据并作为存储数据存储至相应的子存储模块120中；
一数据访问单元13，连接数据存储单元12，数据访问单元13预先设置有多个不同的数据交互模型，用于根据业务系统发布的数据访问请求指令，从数据存储单元12提取相应的存储数据并选择相应的数据交互模型进行数据交互。
作为优选的实施方式，该种数据仓库系统，其中数据接收单元11进一步包括：
代理模块111，用于接收并解析业务数据；
缓存模块112，连接代理模块111，用于对业务数据进行分类缓存和并发输出，缓存模块包括多个数据队列，每个数据队列对应一存储类别，业务数据缓存于对应的数据队列中；
清洗模块113，连接缓存模块112，清洗模块113包括多个清洗子模块，每个清洗子模块对应一存储类别，用于对数据队列中的业务数据进行数据清洗，输出待存储数据。
在本发明的另一较佳实施例中，通过缓存模块112实现对业务数据的低延迟高吞吐的并发处理，于本较佳实施例中，采用Kafka Cluster队列实现缓存模块112的相关功能。
作为优选的实施方式，该种数据仓库系统，其中清洗模块113采用Flink流式计算进行数据清洗。
在本发明的另一较佳实施例中，清洗模块113采用Flink流式计算对通过缓存模块112的数据进行清洗，剔除重复数据、冗余数据、恶意数据等需清洗数据项，使得数据仓库中存储的业务数据更具有代表性和参考价值。
作为优选的实施方式，该种数据仓库系统，其中数据接收单元11还包括一通知模块114；
通知模块114连接清洗模块113，当清洗模块113输出待存储数据时向预先订阅通知的业务系统0发送数据收集完成通知。
在本发明的另一较佳实施例中，数据接收单元11还包括一通知模块114，能够使得做出订阅通知的业务系统及其使用者在第一时间了解到业务数据于数据仓库中的存储情况，提升了用户的使用体验。
作为优选的实施方式，该种数据仓库系统，其中数据接收单元11对业务数据的接收支持套接字传输协议和/或超文本传输协议和/或日志收集传输协议和/或文件传输协议。
在本发明的另一较佳实施例中，数据接收单元11能够支持多种数据传输协议，通过代理模块111进行相应解析，便于不同形式业务系统的介入和数据上送。
作为优选的实施方式，该种数据仓库系统，其中业务数据包括业务系统收集的用户数据和订单数据。
作为优选的实施方式，该种数据仓库系统，其中数据存储单元12进一步包括：
一快照模块121，用于获取待存储数据对应的数据快照；
一搜索模块122，连接快照模块121，用于存储数据快照，并可根据外部的用户指令对数据快照进行提取和分析。
在本发明的另一较佳实施例中，对于待存储数据进行数据快照的获取，以便在后续操作中对于相关历史数据的统计，于本较佳实施例中将快照数据存储在Redis存储系统和/或ElasticSearch搜索服务器中，能够满足后续数据统计的便捷化需求。
作为优选的实施方式，该种数据仓库系统，其中数据访问单元13进一步包括：
一第二存储模块131，用于存储多个数据交互模型；
一鉴权模块132，用于对数据访问请求指令进行访问权限鉴权，并输出一鉴权结果；
一数据交互模块133，分别连接鉴权模块131和第二存储模块132，用于根据鉴权结果，当鉴权结果为通过时，根据数据访问请求指令提取相应的存储数据和数据交互模型并使用数据交互模型对存储数据进行数据交互。
作为优选的实施方式，该种数据仓库系统，其中数据访问单元13提供统一的API接口供每个业务系统发起数据访问请求指令。
在本发明的另一较佳实施例中，提供统一的API接口给各业务系统来进行数据访问，并对不同的业务系统按需求开放不同的数据访问权限，能够在实现企业内部系统最大限度的数据共享的同时提高数据交互的安全性。
作为优选的实施方式，该种数据仓库系统，其中数据交互模型包括：
加密传输模型，用于对待数据交互的存储数据进行动态加密；
阅后即焚模型，用于将待数据交互的存储数据转化为图片格式数据进行输出并于初次访问后的一预设时间后删除图片格式数据；
脱敏模型，用于对待数据交互的存储数据进行脱敏处理；
高频拦截模型，用于判断一用户设备或IP地址的访问频次是否高于一预设阈值，并当访问频次高于预设阈值时切断于用户设备或IP地址的访问连接。
在本发明的另一较佳实施例中，数据交互模型包括加密传输、阅后即焚、敏感信息隐藏、高频拦截等数据交互模型，其中加密传输对待交互的业务数据进行动态加密后再进行传输，数据使用者获取到动态秘钥对数据进行解密和展示，能够有效防止黑客网络抓包获取用户隐私信息；阅后即焚能够根据待交互的业务数据生成一图片格式数据，数据使用者在拿到图片格式数据的地址并第一次访问后，此图片格式数据会在预先设定的时间内删除，能有效防止数据被拷贝转发；数据脱敏能够对带交互的业务数据中的相关敏感信息进行脱敏处理后在进行传输，敏感信息包括用户身份信息、家庭住址等，通过该种数据交互模型能够有效防止用户隐私信息泄露；高频拦截能够对同一个用户设备或IP地址的访问频次进行限制，将超频次的访问请求进行拒绝和隔绝，进而实现对网络爬虫数据抓取活动的禁止。
于上述较佳实施例中，根据定制化的业务系统还能够实现轨迹跟踪与泄漏检索的数据交互模型建立：数据使用者安装定制化的业务系统来进行数据获取的请求，此业务系统会定期上送使用者的位置、数据的展示时长、是否对数据进行拷贝操作、是否对数据进行编辑操作，是否截屏等数据操作轨迹信息；本数据仓库系统通过获取上述操作轨迹信息并对可疑的轨迹数据导用各搜索引擎进行关键字检索，通过对检索结果和原始数据进行相似度比对，相生成可能存在的数据泄漏报表以供数据管理者参考。
现提供一具体实施例对本技术方案进行进一步阐释和说明：
在本发明的第一实施例中，针对电子商务系统的风控拦截应用场景使用本发明提供的技术方案进行有效的数据仓库支持：于日常使用过程中，业务系统包括一电子商城系统和一风险控制系统，电子商城系统采用超文本传输协议将采集到的用户数据和订单数据全部上送至本技术方案的数据仓库系统中进行存储；在存储过程中，由于每日的用户数据和订单数据是十分庞杂的，需要应用数据接收单元中的缓存模块以实现高吞吐低延迟的数据采集，并对采集到的用户数据和订单数据进行数据清洗，剔除恶意刷单、黄牛党等对应的用户数据和订单数据，使得采集并存储至数据仓库中的数据更能体现电子商城系统的正常流水情况；当用户需要发起订单交易时，风险控制系统相数据仓库发送存储数据的读取请求，希望根据数据仓库中的部分特定项立式存储数据进行本次交易的风险评估，此时数据仓库系统先通过鉴权模块对于本次数据访问请求进行鉴权，待鉴权通过后将相关请求发送至数据交互模块，数据交互模块根据预设的数据交互规则，从第二存储模块中提取加密传输模型和脱敏模型，对待提取的相关数据进行动态加密和敏感信息剔除，并将完成上述操作的相关数据发送给风险控制系统以供风险评估使用；风险控制系统根据从数据仓库中提取到的数据完成风险评估后，将评估结果直接反馈给电子商城系统以完成本次风控拦截。
综上所述，通过本技术方案，能够向企业，特别是互联网企业的内部各业务系统提供安全的数据存储和访问服务，各业务系统相关的业务数据都可以上送到数据仓库系统，由数据仓库系统进行统一的清洗和存储，各业务系统访问这些数据时会进行统一的鉴权处理，并具备多种防窃取的数据交互方式，一方面能够实现企业内部系统最大限度的数据共享，另一方面能够满足对外隐私数据的最大保护需求，具有极佳的适用性和可推广性。
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (10)

1.一种数据仓库系统，其特征在于，所述数据仓库系统分别远程连接多个外部的业务系统，所述业务系统包括线上交易系统、网络请求系统和风险管控系统；
所述数据仓库系统包括：
一数据接收单元，用于收集每个所述业务系统上传的业务数据，并对所述业务数据进行预处理，输出相应的待存储数据；
一数据存储单元，连接所述数据接收单元，所述数据存储单元包括多个子存储模块，每个所述子存储模块对应一预设的存储类别，所述数据存储单元用于接收所述待存储数据并作为存储数据存储至相应的所述子存储模块中；
一数据访问单元，连接所述数据存储单元，所述数据访问单元预先设置有多个不同的数据交互模型，用于根据所述业务系统发布的数据访问请求指令，从所述数据存储单元提取相应的存储数据并选择相应的数据交互模型进行数据交互。
2.如权利要求1所述的数据仓库系统，其特征在于，所述数据接收单元进一步包括：
代理模块，用于接收并解析所述业务数据；
缓存模块，连接所述代理模块，用于对所述业务数据进行分类缓存和并发输出，所述缓存模块包括多个数据队列，每个所述数据队列对应一所述存储类别，所述业务数据缓存于对应的所述数据队列中；
清洗模块，连接所述缓存模块，所述清洗模块包括多个清洗子模块，每个清洗子模块对应一所述存储类别，用于对所述数据队列中的所述业务数据进行数据清洗，输出所述待存储数据。
3.如权利要求2所述的数据仓库系统，其特征在于，所述清洗模块采用Flink流式计算进行数据清洗。
4.如权利要求2所述的数据仓库系统，其特征在于，所述数据接收单元还包括一通知模块；
所述通知模块连接所述清洗模块，当所述清洗模块输出所述待存储数据时向预先订阅通知的业务系统发送数据收集完成通知。
5.如权利要求1所述的数据仓库系统，其特征在于，所述数据接收单元对所述业务数据的接收支持套接字传输协议和/或超文本传输协议和/或日志收集传输协议和/或文件传输协议。
6.如权利要求1所述的数据仓库系统，其特征在于，所述业务数据包括所述业务系统收集的用户数据和订单数据。
7.如权利要求1所述的数据仓库系统，其特征在于，所述数据存储单元进一步包括：
一快照模块，用于获取所述待存储数据对应的数据快照；
一搜索模块，连接所述快照模块，用于存储所述数据快照，并可根据外部的用户指令对所述数据快照进行提取和分析。
8.如权利要求1所述的数据仓库系统，其特征在于，所述数据访问单元进一步包括：
一第二存储模块，用于存储多个所述数据交互模型；
一鉴权模块，用于对所述数据访问请求指令进行访问权限鉴权，并输出一鉴权结果；
一数据交互模块，分别连接所述鉴权模块和所述第二存储模块，用于根据所述鉴权结果，当所述鉴权结果为通过时，根据所述数据访问请求指令提取相应的所述存储数据和所述数据交互模型并使用所述数据交互模型对所述存储数据进行数据交互。
9.如权利要求1所述的数据仓库系统，其特征在于，所述数据访问单元提供统一的API接口供每个所述业务系统发起所述数据访问请求指令。
10.如权利要求1所述的数据仓库系统，其特征在于，所述数据交互模型包括：
加密传输模型，用于对待数据交互的所述存储数据进行动态加密；
阅后即焚模型，用于将待数据交互的所述存储数据转化为图片格式数据进行输出并于初次访问后的一预设时间后删除所述图片格式数据；
脱敏模型，用于对待数据交互的所述存储数据进行脱敏处理；
高频拦截模型，用于判断一用户设备或IP地址的访问频次是否高于一预设阈值，并当所述访问频次高于所述预设阈值时切断于所述用户设备或所述IP地址的访问连接。
CN202010255706.8A 2020-04-02 2020-04-02 一种数据仓库系统 Pending CN111597173A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010255706.8A CN111597173A (zh) 2020-04-02 2020-04-02 一种数据仓库系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010255706.8A CN111597173A (zh) 2020-04-02 2020-04-02 一种数据仓库系统

Publications (1)

Publication Number Publication Date
CN111597173A true CN111597173A (zh) 2020-08-28

Family

ID=72185454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010255706.8A Pending CN111597173A (zh) 2020-04-02 2020-04-02 一种数据仓库系统

Country Status (1)

Country Link
CN (1) CN111597173A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112380564A (zh) * 2020-11-19 2021-02-19 河南海融软件有限公司 一种数据安全管理系统
CN112579581A (zh) * 2020-11-30 2021-03-30 贵州力创科技发展有限公司 一种数据分析引擎的数据接入方法及系统
CN112671845A (zh) * 2020-12-11 2021-04-16 国汽(北京)智能网联汽车研究院有限公司 数据处理方法、装置、电子设备、存储介质及云端系统
CN112732962A (zh) * 2021-01-12 2021-04-30 南京大学 基于深度学习与Flink的线上实时预测垃圾图片类别方法
CN113434488A (zh) * 2021-08-26 2021-09-24 中国电子信息产业集团有限公司 一种基于数据流通的数据要素操作系统及操作方法
CN114064582A (zh) * 2021-10-13 2022-02-18 宁波三星智能电气有限公司 一种数据交互方法及使用该方法的智能终端
CN117472967A (zh) * 2023-12-28 2024-01-30 江西铜锐信息技术有限公司 一种基于数据使用热度的数据生命周期管理方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104066060A (zh) * 2014-06-26 2014-09-24 福州大学 移动终端即时通信的消息阅时保护与阅后即焚实现方法
CN106339509A (zh) * 2016-10-26 2017-01-18 国网山东省电力公司临沂供电公司 一种基于大数据技术的电网运营数据共享系统
CN106548085A (zh) * 2015-09-17 2017-03-29 中国移动通信集团甘肃有限公司 一种数据的处理方法及装置
CN109376147A (zh) * 2018-11-26 2019-02-22 浙江中智达科技有限公司 一种数据处理方法及系统
CN109597850A (zh) * 2018-11-22 2019-04-09 四川省烟草公司成都市公司 烟草综合信息数据加工储存平台及数据加工方法
CN110109987A (zh) * 2018-04-03 2019-08-09 中建材信息技术股份有限公司 一种敏捷数据仓库架构及其构建方法和应用
CN110297869A (zh) * 2019-05-30 2019-10-01 北京百度网讯科技有限公司 一种ai数据仓库平台及操作方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104066060A (zh) * 2014-06-26 2014-09-24 福州大学 移动终端即时通信的消息阅时保护与阅后即焚实现方法
CN106548085A (zh) * 2015-09-17 2017-03-29 中国移动通信集团甘肃有限公司 一种数据的处理方法及装置
CN106339509A (zh) * 2016-10-26 2017-01-18 国网山东省电力公司临沂供电公司 一种基于大数据技术的电网运营数据共享系统
CN110109987A (zh) * 2018-04-03 2019-08-09 中建材信息技术股份有限公司 一种敏捷数据仓库架构及其构建方法和应用
CN109597850A (zh) * 2018-11-22 2019-04-09 四川省烟草公司成都市公司 烟草综合信息数据加工储存平台及数据加工方法
CN109376147A (zh) * 2018-11-26 2019-02-22 浙江中智达科技有限公司 一种数据处理方法及系统
CN110297869A (zh) * 2019-05-30 2019-10-01 北京百度网讯科技有限公司 一种ai数据仓库平台及操作方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
周文琼;: "大数据环境下的电力客户服务数据分析系统" *
江樱;黄慧;卢文达;骆伟艺;: "基于大数据技术的电力全业务数据运营管理平台研究" *
邹保平;周亮;: "电网企业数据服务研究" *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112380564A (zh) * 2020-11-19 2021-02-19 河南海融软件有限公司 一种数据安全管理系统
CN112579581A (zh) * 2020-11-30 2021-03-30 贵州力创科技发展有限公司 一种数据分析引擎的数据接入方法及系统
CN112671845A (zh) * 2020-12-11 2021-04-16 国汽(北京)智能网联汽车研究院有限公司 数据处理方法、装置、电子设备、存储介质及云端系统
CN112671845B (zh) * 2020-12-11 2023-12-29 国汽(北京)智能网联汽车研究院有限公司 数据处理方法、装置、电子设备、存储介质及云端系统
CN112732962A (zh) * 2021-01-12 2021-04-30 南京大学 基于深度学习与Flink的线上实时预测垃圾图片类别方法
CN112732962B (zh) * 2021-01-12 2023-10-13 南京大学 基于深度学习与Flink的线上实时预测垃圾图片类别方法
CN113434488A (zh) * 2021-08-26 2021-09-24 中国电子信息产业集团有限公司 一种基于数据流通的数据要素操作系统及操作方法
CN114064582A (zh) * 2021-10-13 2022-02-18 宁波三星智能电气有限公司 一种数据交互方法及使用该方法的智能终端
CN117472967A (zh) * 2023-12-28 2024-01-30 江西铜锐信息技术有限公司 一种基于数据使用热度的数据生命周期管理方法及系统
CN117472967B (zh) * 2023-12-28 2024-05-03 江西铜锐信息技术有限公司 一种基于数据使用热度的数据生命周期管理方法及系统

Similar Documents

Publication Publication Date Title
CN111597173A (zh) 一种数据仓库系统
CN111600856B (zh) 数据中心运维的安全系统
CN107733863B (zh) 一种分布式hadoop环境下的日志调试方法和装置
CN101901315B (zh) 一种usb移动存储介质安全隔离与监控管理系统
CN102722576B (zh) 一种云计算环境下数据库加密保护系统和加密保护方法
US20160164893A1 (en) Event management systems
CN105450636A (zh) 一种云计算管理系统及云计算管理系统的管理方法
CN103391216A (zh) 一种违规外联报警及阻断方法
US9723013B2 (en) Secondary asynchronous background authorization (SABA)
US20130219511A1 (en) Methods, Media, and Systems for Monitoring Access to Computer Environments
US11528205B2 (en) Tunneled monitoring service and method
CN109600395A (zh) 一种终端网络接入控制系统的装置及实现方法
CN111740973A (zh) 一种区块链服务与应用的智能防御系统及方法
CN113037736A (zh) 一种认证鉴权方法、装置、系统及计算机存储介质
CN112511513A (zh) 基于Tor网络业务的威胁情报接入工具箱
KR101370511B1 (ko) 메타데이터 분류를 이용한 패킷 검사 방법 및 그 장치
Lin Survey on cloud based mobile security and a new framework for improvement
CN108134781B (zh) 一种重要信息数据保密监控系统
CN110933064A (zh) 确定用户行为轨迹的方法及其系统
Guido et al. Generating a corpus of mobile forensic images for masquerading user experimentation
Zhao et al. Privacy sensitive resource access monitoring for android systems
CN111292838A (zh) 一种用于医院的电子胶片系统及打印方法
CN110830439A (zh) 一种避免隐私泄露的个人信息验证方法
Shanjun et al. Research on fast forensic analysis method of fraud cases based on social software
CN104702451A (zh) 基于关键字提取策略对发送公共邮件风险监测的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination