CN110851847A - 一种异构数据处理系统、方法、装置和存储介质 - Google Patents

一种异构数据处理系统、方法、装置和存储介质 Download PDF

Info

Publication number
CN110851847A
CN110851847A CN201911085251.3A CN201911085251A CN110851847A CN 110851847 A CN110851847 A CN 110851847A CN 201911085251 A CN201911085251 A CN 201911085251A CN 110851847 A CN110851847 A CN 110851847A
Authority
CN
China
Prior art keywords
data
heterogeneous
unit
user
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911085251.3A
Other languages
English (en)
Other versions
CN110851847B (zh
Inventor
黄海波
高羽茜
杨杰
鞠远
张晓帆
赵凯丽
周瑞坤
赵阳光
刚占慧
朱丽娜
杨安
汪礼俊
张洪
陈皓
孙立立
赵慧
李俊
陈雪鸿
杨帅锋
李耀兵
江浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Industrial Control Systems Cyber Emergency Response Team
Original Assignee
China Industrial Control Systems Cyber Emergency Response Team
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Industrial Control Systems Cyber Emergency Response Team filed Critical China Industrial Control Systems Cyber Emergency Response Team
Priority to CN201911085251.3A priority Critical patent/CN110851847B/zh
Publication of CN110851847A publication Critical patent/CN110851847A/zh
Application granted granted Critical
Publication of CN110851847B publication Critical patent/CN110851847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/604—Tools and structures for managing or administering access control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本发明提出了一种异构数据处理系统、方法、装置和存储介质，用以实现异构系统之间的数据交互和共享。所述异构数据处理方法，包括：在接收到用户提交的数据处理指令之后，根据所述数据处理指令从各异构数据库中读取相应的原始数据；根据所述数据处理指令对原始数据进行分解处理；根据预先配置的数据处理策略对所述原始数据和分解后的数据进行集成；利用预设算法对集成后的数据进行分析，确定用户常用的异构数据组合并存储。

Description

一种异构数据处理系统、方法、装置和存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种异构数据处理系统、方法、装置和存储介质。
背景技术
随着网络技术、信息技术的高速发展，企业信息化程度不断提高。越来越多的企业采用信息化系统增强对财务、办公、人员等的管理能力，提升了企业的竞争力。
但是，在信息化发展初期，由于缺乏统一的信息系统建设规划且信息系统独立建设，导致各信息系统中的数据相对封闭，而且不同的信息系统数据存储结构不同，难以实现不同信息系统之间的数据流动共享。
因此，如何在已有信息系统的基础上，实现异构系统之间的数据共享和交互，成为现有技术中亟待解决的技术问题之一。
发明内容
本发明实施例提供一种异构数据处理系统、方法、装置和存储介质，用以实现异构系统之间的数据交互和共享。
第一方面，提供一种异构数据处理系统，包括用户交互模块、分析处理模块、数据对接模块、安全模块和本地数据库，所述用户交互模块至少包括策略配置单元和权限配置单元，所述分析处理模块至少包括数据分解单元、数据集成单元和行为分析单元，所述数据对接模块至少包括数据读取单元，所述安全模块至少包括访问控制单元，所述本地数据库至少包括配置库、缓存库和用户信息库，其中：
所述策略配置单元，用于根据用户提交的策略配置指令，针对异构系统中存在的数据属性冲突、数据命名冲突以及数据结构冲突配置的数据处理策略并存储至所述配置库中；
所述权限配置单元，用于根据用户提交的权限配置指令，针对不同的用户组配置不同的访问权限并存储至所述用户信息库中；
所述访问控制单元，用于根据所述用户信息库中存储的不同用户组对应的访问权限，控制当前登录用户数据访问操作权限；
所述数据读取单元，用于在接收到用户提交的数据处理指令之后，根据所述数据处理指令从各异构数据库中读取相应的原始数据发送给所述数据分解单元和所述集成单元；
所述数据分解单元，用于根据所述数据处理指令对原始数据进行分解处理；将分解后的数据发送给所述数据集成单元；
所述数据集成单元，用于根据所述配置库中存储的数据处理策略对接收到的原始数据以及所述数据分解单元分解后的数据进行集成并发送给所述行为分析单元；
所述行为分析单元，用于针对所述数据集成单元输出的数据，利用预设算法进行分析确定用户常用的异构数据组合，并存储至所述缓存库中。
在一种实施方式中，所述安全模块还包括数据脱敏单元；
所述数据脱敏单元，用于根据所述用户信息库中存储的不同用户组对应的访问权限，对所述数据集成单元当前处理的数据中用户无权访问的数据进行动态脱敏；或者对用户当前访问数据中包含的预设敏感数据进行脱敏处理。
在一种实施方式中，所述本地数据库中还包括接口库；
所述接口库，用于存储针对各异构数据库提供的访问接口，通过各异构数据库对应的访问接口访问各异构数据库。
在一种实施方式中，所述安全模块还包括数据加密单元；
所述数据加密单元，用于采用对称加密技术或者非对称加密技术对远程传输的数据进行加密处理。
在一种实施方式中，所述用户交互模块还包括数据呈现单元；其中：
所述数据分解单元，具体用于根据用户提交的数据查询指令、统计指令或者搜索指令从各异构数据库中读取满足条件的数据；将读取的数据分解后发送给所述数据集成单元；
所述数据集成单元，具体用于根据所述配置库中存储的数据处理策略对接收到所述数据分解单元分解后的数据进行集成后发送给所述数据呈现单元；
所述数据呈现单元，用于对接收到数据进行编排后进行可视化展现。
在一种实施方式中，所述缓存库，还用于在存储的异构数据组合数量达到存储空间上限时，根据存储时间或者使用频率进行替换；其中，针对用户设置的异构数据组合，设定有效时间为永久存储；以及在检测到所述异构数据组合中的源数据发生更新时，从相应的异构数据中获取更新后的数据替换异构数据组合中的旧数据。
第二方面，提供一种异构数据处理方法，应用于上述任一异构数据处理系统中，所述方法，包括：
在接收到用户提交的数据处理指令之后，根据所述数据处理指令从各异构数据库中读取相应的原始数据；
根据所述数据处理指令对原始数据进行分解处理；
根据预先配置的数据处理策略对所述原始数据和分解后的数据进行集成；
利用预设算法对集成后的数据进行分析，确定用户常用的异构数据组合并存储。
在一种实施方式中，根据所述数据处理指令从各异构数据库中读取相应的原始数据，具体包括：
根据所述数据处理指令，调用预先存储的各异构数据库访问接口，从各异构数据库中读取相应的原始数据。
第三方面，提供一种计算装置，所述计算装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述任一异构数据处理方法所述的步骤。
第四方面，提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一异构数据处理方法所述的步骤。
采用上述技术方案，本发明至少具有下列优点：
本发明所述异构数据处理系统、方法、装置和存储介质，用户通过策略配置单元为各异构系统存储的数据中可能存在的数据属性冲突、数据命名冲突以及数据结构冲突等配置相应的数据处理策略，这样，可以根据配置的数据处理策略对于从异构数据系统中读取的异构数据冲突进行处理，由此可以对异构数据中存储的数据进行集成得到异构数据组合提供给用户，从而实现了异构数据系统中数据交互和共享。
附图说明
图1为根据本发明实施方式的异构数据处理系统结构示意图；
图2为根据本发明实施方式的异构数据处理方法的实施流程示意图。
具体实施方式
为更进一步阐述本发明为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明进行详细说明如后。
需要说明的是，本发明实施例中的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。
在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
如图1所示，其为本发明实施例提供的异构数据处理系统的结构示意图，包括：包括用户交互模块10、分析处理模块12、数据对接模块16、安全模块18和本地数据库14，所述用户交互模块10至少包括策略配置单元103和权限配置单元102，所述分析处理模块12至少包括数据分解单元121、数据集成单元122和行为分析单元123，所述数据对接模块16至少包括数据读取单元161，所述安全模块18至少包括访问控制单元181，所述本地数据库14至少包括配置库141、缓存库142和用户信息库144，其中：
所述策略配置单元103，用于根据用户提交的策略配置指令，针对异构系统中存在的数据属性冲突、数据命名冲突以及数据结构冲突配置的数据处理策略并存储至所述配置库141中；
所述权限配置单元102，用于根据用户提交的权限配置指令，针对不同的用户组配置不同的访问权限并存储至所述用户信息库144中；
所述访问控制单元181，用于根据所述用户信息库144中存储的不同用户组对应的访问权限，控制当前登录用户数据访问操作权限；
所述数据读取单元161，用于在接收到用户提交的数据处理指令之后，根据所述数据处理指令从各异构数据库中读取相应的原始数据发送给所述数据分解单元121和所述数据集成单元122；
所述数据分解单元121，用于根据所述数据处理指令对原始数据进行分解处理；将分解后的数据发送给所述数据集成单元122；
所述数据集成单元122，用于根据所述配置库141中存储的数据处理策略对接收到的原始数据以及所述数据分解单元121分解后的数据进行集成并发送给所述行为分析单元123；
所述行为分析单元123，用于针对所述数据集成单元122输出的数据，利用预设算法进行分析确定用户常用的异构数据组合，并存储至所述缓存库142中。
具体实施时，通过策略配置单元，用户可以根据实际需要配置相应的数据处理策略，以对各异构数据库中读取的数据进行重新搭配整合，实现对数据的综合运用。通过策略配置，由用户主动解决异构数据中可能存在的数据属性冲突、数据命名冲突和数据结构冲突等问题，保证得到数据的一致性和唯一性。
具体实施时，相关配置情况采用名称、概述(具体内容可以由用户编辑)将以标签化形式展示，方便用户选择。配置的策略将作为分析处理模块12处理数据的依据和本地数据库14配置库中的内容。
具体实施时，本地数据库中还包括接口库，用于存储针对各异构数据库提供的访问接口，通过各异构数据库对应的访问接口访问各异构数据库。
具体地，接口库143中存在本系统中支持的各异构数据库接口，接口种类及版本由软件开发商提供，接口库由软件开发商维护，实现对接口的增加、删除和更新等操作。接口至少支持与Mysql、Oracle、SQLServer、PostgreSQL、MongoDB、Redis、Nosql等主流结构化和非结构化数据库对接。
数据对接模块16提供对外数据接口，根据接口库143中的接口，实现对异构数据库的对接。数据对接模块16为插件化模块，是实现异构数据处理的基础，可以根据用户实际使用的数据库进行选择配置，具体地，数据读取单元161根据用户提交的数据通过接口库143中存储的异构数据系统的接口，从相应的数据库中读取原始数据，本发明实施例中，数据读取单元161支持实时的热读取和停机时的读取。具体实施时，数据对接模块16还包括数据写入模块162，用于根据用户提交的指令，通过接口库143中提供的接口，对相应的数据库执行数据的写操作，实现对数据的添加、修改、删除等功能。数据写入单元162同时支持实时的热写入和停机时写入操作。
分析处理模块12主要用于实现对异构数据的分析处理。其中，数据分解单元121根据用户提交的数据处理指令对各个异构数据系统的数据进行分解，使得分解出的数据为用户需要操作的数据，分解得到的数据作为数据集成单元122的输入内容之一。
数据集成单元122主要用于对各异构数据系统中的原始数据和数据分解单元分解得到的数据进行集成，在数据集成过程中，按照配置库中存储的数据处理策略，解决异构数据系统中存在的数据属性冲突、数据命名冲突以及数据结构冲突等问题，将集成的数据发送给行为分析单元123。
具体实施时，对于已经存在的不存在歧义的策略，直接进行数据集成，对于统一操作存在不同策略的，若当前操作用户设置了相关的数据处理策略，则按照用户设置的数据操作策略执行，否则提示该用户配置或者选择使用合适的数据处理策略，对于未配置相关处理策略的冲突数据，能够终止集成并提示用户进行相关合理配置。
行为分析单元123根据数据集成单元122输出的数据，利用机器学习等大数据分析技术对用户对于异构数据的操作行为习惯进行分析，确定用户常用的异构数据组合并存储至缓存库中，提高用户的查询效率，降低系统负担。
具体实施时，为了提高数据访问的安全性，本发明实施例中，用户交互模块10中还可以,包括权限配置单元102，用于根据用户提交的权限配置指令，针对不同的用户组配置不同的访问权限并存储至所述用户信息库中。具体第，通过权限配置单元，确保数据能够按照最小化原则只在一定范围内共享，其中，涉及到的权限配置具体指管理员和/或有相应权限的用户配置用户组、角色对特定的读、写、执行权限，以及配置单个用户所在的组合所拥有的角色。权限配置信息将存储在用户信息库144中。
具体实施时，用户信息库中还可以存储用户信息，例如，用户姓名、角色、部门、所在群组、联系方式等信息，由系统管理员负责维护。
另外，本发明实施中，还通过安全模块18来保障数据访问安全。具体地，安全模块18包括访问控制单元181，数据加密单元182、数据脱敏单元183，安全审计单元184、安全日志单元185和安全接入单元186，其中，访问控制单元181根据所述用户信息库中存储的不同用户组对应的访问权限，控制当前登录用户数据访问操作权限，具体地，访问控制单元181采用访问控制技术，以用户角色及其所在用户组为依据，放置用户对系统资源进行未授权的访问和实用。数据加密单元182用于采用对称加密技术或者非对称加密技术对远程传输的数据进行加密处理，保证远程输出过程中的数据安全。数据脱敏单元183用于根据所述用户信息库中存储的不同用户组对应的访问权限，对所述数据集成单元当前处理的数据中用户无权访问的数据进行动态脱敏；或者对用户当前访问数据中包含的预设敏感数据进行脱敏处理，保护数据访问安全。具体地，数据脱敏单元183可以采用数据动态脱敏技术，根据用户访问权限，对敏感数据进行脱敏处理，避免数据泄露和传播，预设敏感数据可以包括身份证号、手机号、卡号等用户隐私信息以及客户信息、产品工艺、生产计划等生产数据。
安全审计单元184：对系统的相关事件、记录和日志等进行安全审计。通过详细记录与系统安全有关的行为，进行行为分析审计，发现系统中的不安全的因素，为用户进行整改提供依据；实现对受损的系统提供信息帮助以进行损失评估和系统恢复，追溯发生问题的原因帮助用户定责。
安全日志单元185：能够完整记录开关机、系统运行、用户操作、系统报错等相关信息，帮助用户查询审计。
安全接入单元186：对新接入系统的异构数据库、数据接口等进行验证与识别，避免未授权的异构数据库、数据接口接入系统中，保障系统的整体安全。
本发明实施例中，用户交互模块还可以包括数据呈现单元101，其中：所述数据分解单元，具体用于根据用户提交的数据查询指令、统计指令或者搜索指令从各异构数据库中读取满足条件的数据；将读取的数据分解后发送给所述数据集成单元；所述数据集成单元，具体用于根据所述配置库中存储的数据处理策略对接收到所述数据分解单元分解后的数据进行集成后发送给所述数据呈现单元；所述数据呈现单元，用于对接收到数据进行编排后进行可视化展现。
具体实施时，数据呈现单元101用于将用户提交的数据操作指令发送给分析处理模块12执行，同时对搜索、统计等执行结果进行编排并可视化展现。
本发明实施例中，缓存库142，用于存储行为分析单元123输出的用户常用的异构数据组合，该缓存库为动态数据库，数据组合时间是其必要属性，用于表面形成该组合数据的时间，在存储的异构数据组合数量达到存储空间上限时，根据存储时间或者使用频率进行替换；其中，针对用户设置的异构数据组合，设定有效时间为永久存储；以及在检测到所述异构数据组合中的源数据发生更新时，从相应的异构数据中获取更新后的数据替换异构数据组合中的旧数据。
具体地，还可以通过以下策略确定存储的时间组合：当用户手动设置习惯的数据组合时，该组合将长期保存；当系统监测到用户新增使用习惯时，则自动增加响应的数据组合，一般的，如果数据组合数达到系统上限，则有限替换最不常用的数据组合。数据组合内容可能通过以下策略更新：当数据组合中相应的源数据库更新时，同步更新数据组合，此策略适合源数据库更新不频繁的情况；当用户登录时，根据已存储的该用户的使用习惯，实时跟新相关数据组合，以备用户随时查询。
本发明实施例体感的异构数据处理系统，实现对异构数据的实时交互，同时支持非实时交互，满足用户的不同需求。采用动态的脱敏技术，用户在实时操作异构数据过程中能够根据其权限对数据进行脱敏，保护数据安全。该系统为企业及应用，采用一种轻量级的实现方式降低系统部署负责度和成本。该系统采用插件式接口，结合需要交互的异构数据类型定制化相关接口，实现与财务审计管理、业务管理、库存管理等信息系统进行对接。利用大数据分析技术对用户的操作行为习惯进行分析，存储常用异构数据组合并实现异步更新。采用用户配置与智能化处理相结合的方式，支持用户根据业务需求配置相关操作策略，系统根据配置进行数据分解与集成，智能化处置属性冲突，命名冲突和结构冲突等问题。按照业务流程及安全需求，综合使用访问控制、数据加密、安全审计、安全日志、接入控制、动态脱敏等安全技术实现整体的系统安全机制。
本发明实施例提供的异构数据处理系统中，用户通过策略配置单元为各异构系统存储的数据中可能存在的数据属性冲突、数据命名冲突以及数据结构冲突等配置相应的数据处理策略，这样，可以根据配置的数据处理策略对于从异构数据系统中读取的异构数据冲突进行处理，由此可以对异构数据中存储的数据进行集成得到异构数据组合提供给用户，从而实现了异构数据系统中数据交互和共享。
本发明提供的异构数据处理系统，针对当前企业转型升级过程中各生产、管理环节数据打通的需求，在尽量减少变更、减轻企业负担的基础上，实现对现有各类信息系统中异构数据实时交互，同时，利用动态脱敏技术，依据用户的权限对敏感的数据进行动态脱敏处理，避免信息的泄露扩散。该系统为轻量级系统，面向对象为企业，采用配置方面、操作简单的插件式数据接口，企业可以根据实际需要采用响应的数据接口实现异构数据交互，进一步降低企业投入成本，便于产品推广。同时，通过人工智能相关技术分析用户操作行为习惯，采用异步方式提前处理存储用户可能需要的异构数据组合，提高用户请求响应速率。
基于相同的技术构思，本发明实施例还提供了一种异构数据处理方法，如图2所示，可以包括以下步骤：
S21、在接收到用户提交的数据处理指令之后，根据所述数据处理指令从各异构数据库中读取相应的原始数据；
S22、根据所述数据处理指令对原始数据进行分解处理；
S23、根据预先配置的数据处理策略对所述原始数据和分解后的数据进行集成；
S24、利用预设算法对集成后的数据进行分析，确定用户常用的异构数据组合并存储。
在一种实施方式中，根据所述数据处理指令从各异构数据库中读取相应的原始数据，具体包括：
根据所述数据处理指令，调用预先存储的各异构数据库访问接口，从各异构数据库中读取相应的原始数据。
基于相同的技术构思，本发明实施例还提供了一种计算装置，所述计算装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述任一异构数据处理方法所述的步骤。
基于相同的技术构思，本发明实施例还提供了一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一异构数据处理方法所述的步骤。
通过具体实施方式的说明，应当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图示仅是提供参考与说明之用，并非用来对本发明加以限制。

Claims (10)

1.一种异构数据处理系统，其特征在于，包括用户交互模块、分析处理模块、数据对接模块、安全模块和本地数据库，所述用户交互模块至少包括策略配置单元和权限配置单元，所述分析处理模块至少包括数据分解单元、数据集成单元和行为分析单元，所述数据对接模块至少包括数据读取单元，所述安全模块至少包括访问控制单元，所述本地数据库至少包括配置库、缓存库和用户信息库，其中：
所述策略配置单元，用于根据用户提交的策略配置指令，针对异构系统中存在的数据属性冲突、数据命名冲突以及数据结构冲突配置的数据处理策略并存储至所述配置库中；
所述权限配置单元，用于根据用户提交的权限配置指令，针对不同的用户组配置不同的访问权限并存储至所述用户信息库中；
所述访问控制单元，用于根据所述用户信息库中存储的不同用户组对应的访问权限，控制当前登录用户数据访问操作权限；
所述数据读取单元，用于在接收到用户提交的数据处理指令之后，根据所述数据处理指令从各异构数据库中读取相应的原始数据发送给所述数据分解单元和所述数据集成单元；
所述数据分解单元，用于根据所述数据处理指令对原始数据进行分解处理；将分解后的数据发送给所述数据集成单元；
所述数据集成单元，用于根据所述配置库中存储的数据处理策略对接收到的原始数据以及所述数据分解单元分解后的数据进行集成并发送给所述行为分析单元；
所述行为分析单元，用于针对所述数据集成单元输出的数据，利用预设算法进行分析确定用户常用的异构数据组合，并存储至所述缓存库中。
2.根据权利要求1所述的系统，其特征在于，所述安全模块还包括数据脱敏单元；
所述数据脱敏单元，用于根据所述用户信息库中存储的不同用户组对应的访问权限，对所述数据集成单元当前处理的数据中用户无权访问的数据进行动态脱敏；或者对用户当前访问数据中包含的预设敏感数据进行脱敏处理。
3.根据权利要求1所述的系统，其特征在于，所述本地数据库中还包括接口库；
所述接口库，用于存储针对各异构数据库提供的访问接口，通过各异构数据库对应的访问接口访问各异构数据库。
4.根据权利要求1所述的系统，其特征在于，所述安全模块还包括数据加密单元；
所述数据加密单元，用于采用对称加密技术或者非对称加密技术对远程传输的数据进行加密处理。
5.根据权利要求1所述的系统，其特征在于，所述用户交互模块还包括数据呈现单元；其中：
所述数据分解单元，具体用于根据用户提交的数据查询指令、统计指令或者搜索指令从各异构数据库中读取满足条件的数据；将读取的数据分解后发送给所述数据集成单元；
所述数据集成单元，具体用于根据所述配置库中存储的数据处理策略对接收到所述数据分解单元分解后的数据进行集成后发送给所述数据呈现单元；
所述数据呈现单元，用于对接收到数据进行编排后进行可视化展现。
6.根据权利要求1～5任一权利要求所述的系统，其特征在于，
所述缓存库，还用于在存储的异构数据组合数量达到存储空间上限时，根据存储时间或者使用频率进行替换；其中，针对用户设置的异构数据组合，设定有效时间为永久存储；以及在检测到所述异构数据组合中的源数据发生更新时，从相应的异构数据中获取更新后的数据替换异构数据组合中的旧数据。
7.一种异构数据处理方法，其特征在于，所述方法应用于权利要求1～6任一项所述的系统中；
所述方法，包括：
在接收到用户提交的数据处理指令之后，根据所述数据处理指令从各异构数据库中读取相应的原始数据；
根据所述数据处理指令对原始数据进行分解处理；
根据预先配置的数据处理策略对所述原始数据和分解后的数据进行集成；
利用预设算法对集成后的数据进行分析，确定用户常用的异构数据组合并存储。
8.根据权利要求7所述的方法，其特征在于，根据所述数据处理指令从各异构数据库中读取相应的原始数据，具体包括：
根据所述数据处理指令，调用预先存储的各异构数据库访问接口，从各异构数据库中读取相应的原始数据。
9.一种计算装置，其特征在于，所述计算装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求7或8所述的方法的步骤。
10.一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求7或8所述方法的步骤。
CN201911085251.3A 2019-11-08 2019-11-08 一种异构数据处理系统、方法、装置和存储介质 Active CN110851847B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911085251.3A CN110851847B (zh) 2019-11-08 2019-11-08 一种异构数据处理系统、方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911085251.3A CN110851847B (zh) 2019-11-08 2019-11-08 一种异构数据处理系统、方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN110851847A true CN110851847A (zh) 2020-02-28
CN110851847B CN110851847B (zh) 2023-09-12

Family

ID=69599245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911085251.3A Active CN110851847B (zh) 2019-11-08 2019-11-08 一种异构数据处理系统、方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN110851847B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814000A (zh) * 2020-07-10 2020-10-23 东软集团（上海）有限公司 一种基于模板过滤的异构数据分析方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105677710A (zh) * 2015-12-28 2016-06-15 曙光信息产业(北京)有限公司 大数据的处理方法和系统
CN106844485A (zh) * 2016-12-23 2017-06-13 航天星图科技（北京）有限公司 一种企业异构数据库智能集成的系统及方法
CN107656951A (zh) * 2016-12-23 2018-02-02 航天星图科技（北京）有限公司 一种同步异构数据库系统中实时数据的方法
US20190163928A1 (en) * 2017-11-27 2019-05-30 Accenture Global Solutions Limited System and method for managing enterprise data
CN110069932A (zh) * 2019-05-08 2019-07-30 济南浪潮高新科技投资发展有限公司 一种基于智能合约的数据湖融合数据安全分析方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105677710A (zh) * 2015-12-28 2016-06-15 曙光信息产业(北京)有限公司 大数据的处理方法和系统
CN106844485A (zh) * 2016-12-23 2017-06-13 航天星图科技（北京）有限公司 一种企业异构数据库智能集成的系统及方法
CN107656951A (zh) * 2016-12-23 2018-02-02 航天星图科技（北京）有限公司 一种同步异构数据库系统中实时数据的方法
US20190163928A1 (en) * 2017-11-27 2019-05-30 Accenture Global Solutions Limited System and method for managing enterprise data
CN110069932A (zh) * 2019-05-08 2019-07-30 济南浪潮高新科技投资发展有限公司 一种基于智能合约的数据湖融合数据安全分析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
耿玉水;寇纪淞;: "云计算下异构数据集成模型的构建", 济南大学学报(自然科学版) *
赵小利,文本颖: "基于Web的电力异构系统信息综合查询的设计与实现", 继电器 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814000A (zh) * 2020-07-10 2020-10-23 东软集团（上海）有限公司 一种基于模板过滤的异构数据分析方法及系统

Also Published As

Publication number Publication date
CN110851847B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
US11397744B2 (en) Systems and methods for data storage and processing
EP2849098B1 (en) Cross system analytics for in memory data warehouse
US9734221B2 (en) In memory database warehouse
US10536483B2 (en) System and method for policy generation
US11870882B2 (en) Data processing permits system with keys
US20210141920A1 (en) Dynamic view for implementing data access control policies
US8510794B1 (en) Methods and apparatus for a unified identity management interface across internal and shared computing applications
US9773048B2 (en) Historical data for in memory data warehouse
US20210081358A1 (en) Background dataset maintenance
US11640476B2 (en) Methods for big data usage monitoring, entitlements and exception analysis
CN108694189A (zh) 共同所有权的数据库系统的管理
US9646170B2 (en) Secure endpoint file export in a business environment
US20230110220A1 (en) Cloud least identity privilege and data access framework
Varga et al. Introducing Microsoft SQL Server 2016: Mission-Critical Applications, Deeper Insights, Hyperscale Cloud
Gorman et al. Introducing Microsoft SQL Server 2019: Reliability, scalability, and security both on premises and in the cloud
CN115242644A (zh) 一种微服务开发治理系统
JP2022525479A (ja) ライセンス分析のためのシステムおよび方法
CN110851847B (zh) 一种异构数据处理系统、方法、装置和存储介质
CN112925666A (zh) 一种基于groovy脚本技术的第三方API集成管理方法
US20200195651A1 (en) Account lifecycle management
US20140215581A1 (en) Proxy data views for administrative credentials
CN113342775B (zh) 基于云的计算环境中的集中式多租户即服务
JP7409735B1 (ja) 運用設計資料作成装置
Shashi Google Cloud SQL
US20230306000A1 (en) Data asset sharing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant