CN105912950A - 一种数据共享发布系统及方法 - Google Patents

一种数据共享发布系统及方法 Download PDF

Info

Publication number
CN105912950A
CN105912950A CN201610228562.0A CN201610228562A CN105912950A CN 105912950 A CN105912950 A CN 105912950A CN 201610228562 A CN201610228562 A CN 201610228562A CN 105912950 A CN105912950 A CN 105912950A
Authority
CN
China
Prior art keywords
data
database
user
module
delivery system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610228562.0A
Other languages
English (en)
Other versions
CN105912950B (zh
Inventor
董传晔
夏虎
金晖
朱晓婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoxin Youe Data Co Ltd
Original Assignee
Sic Youe Data Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sic Youe Data Co ltd filed Critical Sic Youe Data Co ltd
Priority to CN201610228562.0A priority Critical patent/CN105912950B/zh
Publication of CN105912950A publication Critical patent/CN105912950A/zh
Application granted granted Critical
Publication of CN105912950B publication Critical patent/CN105912950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioethics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Storage Device Security (AREA)

Abstract

本发明提供了一种数据共享发布系统及方法，包括：授权管理模块、数据预处理模块、数据安全级别设置模块、原始数据库、基础数据库、综合数据库、共享数据库、发布数据库；所述的授权管理模块，用于设置用户清单、用户权限配置规则，规范用户标识符并对用户权限进行配置；所述的数据预处理模块，用于将原始数据复制到基础数据库并进行预处理；所述的数据安全级别设置模块，用于设置数据安全级别；所述的原始数据库，用于存储由外部获取的各类数据资源的未经加工的原始数据；所述的基础数据库，用于存储经过数据预处理单元处理后数据。

Description

一种数据共享发布系统及方法
技术领域
本发明涉及数据处理领域，尤其涉及数据共享发布领域。
背景技术
随着计算机技术及不断深入，可以被利用的数据越来越多，各种数据源也不断增多，为了实现数据的最大价值，数据的开放共享是时代的必然，但由于数据源的分布性、异构性、自治性及数据格式多样性等问题，数据量的指数增长为各种数据的关联组合及有效利用带来一系列问题。
发明内容
本发明所要解决的技术问题是实现基于海量各类外部数据，高效、安全的按需提供数据共享及发布功能。
为此目的，本发明提供一种数据共享发布系统，包括：授权管理模块、数据预处理模块、数据安全级别设置模块、原始数据库、基础数据库、综合数据库、共享数据库、发布数据库；
所述的授权管理模块，用于设置用户清单、用户权限配置规则，规范用户标识符并对用户权限进行配置；
所述的数据预处理模块，用于将原始数据复制到基础数据库并进行预处理；
所述的数据安全级别设置模块，用于设置数据安全级别；
所述的原始数据库，用于存储由外部获取的各类数据资源的未经加工的原始数据；
所述的基础数据库，用于存储经过数据预处理模块处理后数据；
所述的综合数据库，用于存储对基础数据库中的数据进行加工处理后生成新的数据，新的数据为结果数据；
所述的共享数据库，用于按用户需求对综合数据库中的结果数据或基础数据库中经过预处理后的数据进行封装和分发，将不同安全级别的数据提交给具有相应权限的用户；
所述的发布数据库，用于面向社会公众提供数据发布服务，发布数据库与互联网相连。
优选的，所述数据预处理模块，包括页面分析单元、中文词识别单元、数据清洗单元、特征抽取单元、数据集成单元、复杂网络分析单元。
优选的，所述的数据共享发布系统，所述的加工处理为：统计汇总、派生指标计算、分析模型运算。
优选的，所述的数据共享发布系统，所述的共享数据库，具有数据查询及分析接口。
优选的，所述的安全级别分为非公开、半公开、全公开；
所述的发布数据库仅包含安全级别为全公开的数据。
本发明还提供一种适用于数据共享发布系统的数据共享发布方法,该方法包括以下步骤：
S101：将外部数据不经任何加工处理存储至原始数据库；
S102：将原始数据复制到基础数据库并利用数据预处理模块进行预处理；
S103：通过数据安全级别设置模块，设置预处理后的数据安全级别；
S104：将符合相应安全级别的预处理后的数据按需镜像到共享数据库或发布数据库；
S105：共享数据库按用户需求将数据封装和分发给具有相应权限的用户，发布数据库将需要发布的数据面向社会公众发布。
本发明还提供一种适用于数据共享发布系统的数据共享发布方法,该方法包括以下步骤：
S201：将外部数据不经任何加工处理存储至原始数据库；
S202：将原始数据复制到基础数据库并利用数据预处理模块进行预处理；
S203：将预处理后的数据进一步加工处理，从中产生新的数据并存储于综合数据库，新的数据为结果数据；
S204：通过数据安全级别设置模块，设置综合数据库中结果数据安全级别；
S205：将符合相应安全级别的结果数据按需镜像到共享数据库或发布数据库；
S206：共享数据库按用户需求将数据封装和分发给具有相应权限的用户，发布数据库将需要发布的数据面向社会公众发布。
有益效果：
本发明所述的数据共享及发布系统及方法，对数据的加工处理均不在原始数据库中操作，即原始数据库中可分布式存储大量未经加工的原貌数据，因而避免了因多方同时对原始数据进行操作而导致冲突问题；
本发明所述的数据共享及发布系统及方法，可按需进行相关的数据处理、加工及共享发布，节约了集中存储大量无意义数据的成本；
本发明所述的数据共享及发布系统及方法，对用户权限及数据安全等级均进行了相应的设置，提高了数据共享及发布的安全性。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1示出了本发明实施例中的一种数据共享发布系统及方法的结构图示意图。
具体实施方式
下面将结合附图对本发明的实施例进行详细描述。
如图1所示，本发明实施例中提供了一种数据共享发布系统，包括：授权管理模块100、数据预处理模块200、数据安全级别设置模块300、原始数据库400、基础数据库500、综合数据库600、共享数据库700、发布数据库800；
所述的授权管理模块100，用于设置用户清单、用户权限配置规则，规范用户标识符并对用户权限进行配置；
所述的数据预处理模块200，用于将原始数据复制到基础数据库500并进行预处理；
所述的数据安全级别设置模块300，用于设置数据安全级别；
所述的原始数据库400，用于存储由外部获取的各类数据资源的未经加工的原始数据；
所述的基础数据库500，用于存储经过数据预处理模块200处理后数据；
所述的综合数据库600，用于存储对基础数据库500中的数据进行加工处理后生成新的数据，新的数据为结果数据；
所述的共享数据库700，用于按用户需求对综合数据库600中的结果数据或基础数据库500中经过预处理后的数据进行封装和分发，将不同安全级别的数据提交给具有相应权限的用户；
所述的发布数据库800，用于面向社会公众提供数据发布服务，发布数据库800与互联网相连。
优选的，所述数据预处理模块200，包括页面分析单元、中文词识别单元、数据清洗单元、特征抽取单元、数据集成单元、复杂网络分析单元。
优选的，所述的数据共享发布系统，所述的加工处理为：统计汇总、派生指标计算、分析模型运算。
优选的，所述的数据共享发布系统，所述的共享数据库700，具有数据查询及分析接口。
优选的，所述的安全级别分为非公开、半公开、全公开；
所述的发布数据库800仅包含安全级别为全公开的数据。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (7)

1.一种数据共享发布系统，其特征在于包括：授权管理模块、数据预处理模块、数据安全级别设置模块、原始数据库、基础数据库、综合数据库、共享数据库、发布数据库；
所述的授权管理模块，用于设置用户清单、用户权限配置规则，规范用户标识符并对用户权限进行配置；
所述的数据预处理模块，用于将原始数据复制到基础数据库并进行预处理；
所述的数据安全级别设置模块，用于设置数据安全级别；
所述的原始数据库，用于存储由外部获取的各类数据资源的未经加工的原始数据；
所述的基础数据库，用于存储经过数据预处理单元处理后数据；
所述的综合数据库，用于存储对基础数据库中的数据进行加工处理后生成新的数据，新的数据为结果数据；
所述的共享数据库，用于按用户需求对综合数据库中的结果数据或基础数据库中经过预处理后的数据进行封装和分发，将不同安全级别的数据提交给具有相应权限的用户；
所述的发布数据库，用于面向社会公众提供数据发布服务，发布数据库与互联网相连。
2.根据权利要求1所述的数据共享发布系统，其特征在于：
所述数据预处理模块，包括页面分析单元、中文词识别单元、数据清洗单元、特征抽取单元、数据集成单元、复杂网络分析单元。
3.根据权利要求1所述的数据共享发布系统，其特征在于：
所述的加工处理为：统计汇总、派生指标计算、分析模型运算。
4.根据权利要求1所述的数据共享发布系统，其特征在于：
所述的共享数据库，具有数据查询及分析接口。
5.根据权利要求1所述数据共享发布系统，其特征在于：
所述的安全级别分为非公开、半公开、全公开；
所述的发布数据库仅包含安全级别为全公开的数据。
6.一种适用于数据共享发布系统的数据共享发布方法,其特征在于包括以下步骤：
S101：将外部数据不经任何加工处理存储至原始数据库；
S102：将原始数据复制到基础数据库并利用数据预处理模块进行预处理；
S103：通过数据安全级别设置模块，设置预处理后的数据安全级别；
S104：将符合相应安全级别的预处理后的数据按需镜像到共享数据库或发布数据库；
S105：共享数据库按用户需求将数据封装和分发给具有相应权限的用户，发布数据库将需要发布的数据面向社会公众发布。
7.一种适用于数据共享发布系统的数据共享发布方法,其特征在于包括以下步骤：
S201：将外部数据不经任何加工处理存储至原始数据库；
S202：将原始数据复制到基础数据库并利用数据预处理模块进行预处理；
S203：将预处理后的数据进一步加工处理，从中产生新的数据并存储于综合数据库，新的数据为结果数据；
S204：通过数据安全级别设置模块，设置综合数据库中结果数据安全级别；
S205：将符合相应安全级别的结果数据按需镜像到共享数据库或发布数据库；
S206：共享数据库按用户需求将数据封装和分发给具有相应权限的用户，发布数据库将需要发布的数据面向社会公众发布。
CN201610228562.0A 2016-04-13 2016-04-13 一种数据共享发布系统及方法 Active CN105912950B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610228562.0A CN105912950B (zh) 2016-04-13 2016-04-13 一种数据共享发布系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610228562.0A CN105912950B (zh) 2016-04-13 2016-04-13 一种数据共享发布系统及方法

Publications (2)

Publication Number Publication Date
CN105912950A true CN105912950A (zh) 2016-08-31
CN105912950B CN105912950B (zh) 2019-03-26

Family

ID=56746831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610228562.0A Active CN105912950B (zh) 2016-04-13 2016-04-13 一种数据共享发布系统及方法

Country Status (1)

Country Link
CN (1) CN105912950B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106547914A (zh) * 2016-11-25 2017-03-29 国信优易数据有限公司 一种数据采集管理系统及其方法
CN107945560A (zh) * 2017-12-21 2018-04-20 大连海事大学 一种公交智能电子站牌信息显示控制方法及系统
CN109408536A (zh) * 2018-10-11 2019-03-01 温州你创我帮网络科技有限公司 一种云平台数据管理方法
CN109471898A (zh) * 2018-12-19 2019-03-15 华迪计算机集团有限公司 一种用于对数据进行共享分发的方法及系统
CN109815717A (zh) * 2019-01-17 2019-05-28 平安科技（深圳）有限公司 数据权限管理方法、数据访问方法、装置、设备及介质
WO2020098336A1 (zh) * 2018-11-16 2020-05-22 京东城市(南京)科技有限公司 数据共享方法、装置、数字网关及计算机可读存储介质
WO2020168692A1 (zh) * 2019-02-22 2020-08-27 全球能源互联网研究院有限公司 海量数据共享方法、开放共享平台及电子设备
CN111726377A (zh) * 2019-03-19 2020-09-29 百度在线网络技术（北京）有限公司 基于公有云的数据处理方法及其装置
CN112052467A (zh) * 2020-09-01 2020-12-08 华中农业大学 一种食品安全大数据共享方法
CN112632592A (zh) * 2021-03-05 2021-04-09 江苏荣泽信息科技股份有限公司 一种基于tee技术的区块链可信隐私计算能力提升系统
CN113326241A (zh) * 2021-07-06 2021-08-31 深圳市炆石数据有限公司 基于数据中立国的数据安全共享方法、系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102318327A (zh) * 2009-03-31 2012-01-11 株式会社Ntt都科摩 数据共享系统、共享数据管理装置、共享数据管理装置的控制方法
CN102521716A (zh) * 2011-12-31 2012-06-27 成都信息工程学院 一体化专业气象服务集成系统
CN103136249A (zh) * 2011-11-30 2013-06-05 北京航天长峰科技工业集团有限公司 多模态异构数据整合系统及方法
CN104156395A (zh) * 2014-07-14 2014-11-19 上海东方延华节能技术服务股份有限公司 数据存储系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102318327A (zh) * 2009-03-31 2012-01-11 株式会社Ntt都科摩 数据共享系统、共享数据管理装置、共享数据管理装置的控制方法
US20120072971A1 (en) * 2009-03-31 2012-03-22 Ntt Docomo, Inc. Data sharing system, shared data management aparatus, and control method of shared data management apparatus
CN103136249A (zh) * 2011-11-30 2013-06-05 北京航天长峰科技工业集团有限公司 多模态异构数据整合系统及方法
CN102521716A (zh) * 2011-12-31 2012-06-27 成都信息工程学院 一体化专业气象服务集成系统
CN104156395A (zh) * 2014-07-14 2014-11-19 上海东方延华节能技术服务股份有限公司 数据存储系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106547914A (zh) * 2016-11-25 2017-03-29 国信优易数据有限公司 一种数据采集管理系统及其方法
CN106547914B (zh) * 2016-11-25 2020-08-18 国信优易数据有限公司 一种数据采集管理系统及其方法
CN107945560A (zh) * 2017-12-21 2018-04-20 大连海事大学 一种公交智能电子站牌信息显示控制方法及系统
CN109408536A (zh) * 2018-10-11 2019-03-01 温州你创我帮网络科技有限公司 一种云平台数据管理方法
WO2020098336A1 (zh) * 2018-11-16 2020-05-22 京东城市(南京)科技有限公司 数据共享方法、装置、数字网关及计算机可读存储介质
CN109471898A (zh) * 2018-12-19 2019-03-15 华迪计算机集团有限公司 一种用于对数据进行共享分发的方法及系统
CN109815717A (zh) * 2019-01-17 2019-05-28 平安科技（深圳）有限公司 数据权限管理方法、数据访问方法、装置、设备及介质
WO2020168692A1 (zh) * 2019-02-22 2020-08-27 全球能源互联网研究院有限公司 海量数据共享方法、开放共享平台及电子设备
CN111726377A (zh) * 2019-03-19 2020-09-29 百度在线网络技术（北京）有限公司 基于公有云的数据处理方法及其装置
CN112052467A (zh) * 2020-09-01 2020-12-08 华中农业大学 一种食品安全大数据共享方法
CN112632592A (zh) * 2021-03-05 2021-04-09 江苏荣泽信息科技股份有限公司 一种基于tee技术的区块链可信隐私计算能力提升系统
CN112632592B (zh) * 2021-03-05 2021-07-06 江苏荣泽信息科技股份有限公司 一种基于tee技术的区块链可信隐私计算能力提升系统
CN113326241A (zh) * 2021-07-06 2021-08-31 深圳市炆石数据有限公司 基于数据中立国的数据安全共享方法、系统及存储介质

Also Published As

Publication number Publication date
CN105912950B (zh) 2019-03-26

Similar Documents

Publication Publication Date Title
CN105912950A (zh) 一种数据共享发布系统及方法
CN104112026B (zh) 一种短信文本分类方法及系统
WO2018226404A1 (en) Machine reasoning based on knowledge graph
CN102937901B (zh) 多租户架构设计方法
CN104620241B (zh) 多语言文档聚类
CN106934068A (zh) 机器人基于环境上下文的语义理解的方法
CN112860872A (zh) 基于自学习的配电网操作票语义合规性的校验方法及系统
Choi et al. SPIDER: a system for scalable, parallel/distributed evaluation of large-scale RDF data
CN109658126B (zh) 基于产品推广的数据处理方法、装置、设备及存储介质
CN102426603A (zh) 一种文字信息地域识别方法及装置
CN102402548A (zh) 一种应用系统的数据查询控制方法及系统
CN102760143A (zh) 一种在数据库系统中动态整合执行结构的方法和装置
CN104239660B (zh) 云制造模式下基于动态本体的知识融合方法
CN102207945A (zh) 基于知识网络的文本标引系统及其方法
CN107194270A (zh) 一种实现数据脱敏的系统及方法
CN110928963B (zh) 针对运维业务数据表的列级权限知识图谱构建方法
CN103838837A (zh) 基于语义模板的遥感元数据集成方法
CN109063114B (zh) 能源云平台的异构数据集成方法、装置、终端及存储介质
KR101637504B1 (ko) 비정형 데이터 처리 시스템 및 방법
CN104462351A (zh) 一种面向MapReduce范型的数据查询模型与方法
US20150381579A1 (en) Method and server for handling of personal information
CN107291851B (zh) 基于属性加密的密文索引构造方法及其查询方法
CN105677745A (zh) 一种通用高效自助数据查询系统及实现方法
CN106095772A (zh) 一种http协议信息提取的方法和装置
Maté et al. An integrated multidimensional modeling approach to access big data in business intelligence platforms

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 100070, No. 101-8, building 1, 31, zone 188, South Fourth Ring Road, Beijing, Fengtai District

Patentee after: Guoxin Youyi Data Co., Ltd

Address before: 1508-040, 12 / F, building 4, No. 128, nansihuan West Road, Fengtai District, Beijing 100070 (Park)

Patentee before: SIC YOUE DATA Co.,Ltd.

CP03 Change of name, title or address