CN110059123A - 一种数据可用不可见的政务数据开发方法及系统 - Google Patents
一种数据可用不可见的政务数据开发方法及系统 Download PDFInfo
- Publication number
- CN110059123A CN110059123A CN201910298645.0A CN201910298645A CN110059123A CN 110059123 A CN110059123 A CN 110059123A CN 201910298645 A CN201910298645 A CN 201910298645A CN 110059123 A CN110059123 A CN 110059123A
- Authority
- CN
- China
- Prior art keywords
- data
- developer
- government
- tool
- resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011161 development Methods 0.000 title claims abstract description 18
- 238000013459 approach Methods 0.000 title claims abstract description 7
- 238000012360 testing method Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 7
- 238000004519 manufacturing process Methods 0.000 claims description 17
- 244000035744 Hura crepitans Species 0.000 claims description 13
- 238000010200 validation analysis Methods 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 7
- 238000000586 desensitisation Methods 0.000 claims description 3
- 238000005538 encapsulation Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 abstract description 5
- 238000004458 analytical method Methods 0.000 abstract description 2
- 238000007418 data mining Methods 0.000 abstract description 2
- 230000010354 integration Effects 0.000 abstract description 2
- 230000007246 mechanism Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/20—Software design
- G06F8/22—Procedural
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Tourism & Hospitality (AREA)
- Databases & Information Systems (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种数据可用不可见的政务数据开发方法及系统。所述方法包括：（1）开发者使用政务样例数据开发：系统发布供开发者使用的资源、工具及政务数据资源目录申请并搭建开发环境；开发者在开发环境开发，并向系统提交逻辑、代码及模型，申请验证；（2）系统验证阶段：系统对开发者提交物进行安全性测试，而后系统导入部分真实政务数据，运行开发者程序并输出API结果；（3）系统运行阶段：系统正式环境部署开发者程序，运行发布API。本发明保证了政务数据可以在安全可控的数据开发环境中被社会企业及高校应用，支撑政务数据同社会化数据能够深度融合，使得输出的融合分析结果不涉及政务原始的敏感数据，能够满足社会化应用需求，且用途可控，发挥政务数据潜在价值，激发不同类数据融合的价值核聚变。
Description
技术领域
本发明涉及政务数据开放、数据安全等领域，尤其涉及一种数据可用不可见的政务数据开发方法及系统。
背景技术
由于担负经济发展、社会管理和公共服务职能，政府及相关机构拥有的如人社、统计、治安、税收、环境、交通、就业等较高价值的数据，政务数据的安全开放及有效开发能够提升社会管理水平、推动产业升级创新、促进科技创新等等，释放巨大的经济和社会价值。
目前政务数据在开放过程中，数据的效用有待提高。当前主要通过RESTful API形式，excel文档直接下载等方式进行政务数据的开放，支撑社会化开发，由于API方式仅能支持数据的验证和简单查询，无法实现多方数据的融合，深度挖掘各方数据融合产生的价值。此外，当前开放方式缺乏持续性，缺少持续更新的数据集，难以支撑持续性的数据应用。
政务数据开放的过程中，数据安全的挑战尤为严峻。由于有价值的政务数据较为敏感，不能直接对社会企业、高校开放使用，其价值难以被挖掘，不能有效支持社会化应用。更关键的是，政务数据的应用领域和使用用途难以监控。政务数据在支撑社会化应用的过程中，其用途不受控，常常被用在申请用途以外的领域。
发明内容
本发明的目的在于解决政务数据开放中数据效用与数据安全的挑战，而提供一种数据可用不可见的政务数据开发方法及系统。
为实现上述目的，本发明的技术方案是：一种数据可用不可见的政务数据开发方法，包括如下步骤：
步骤S1、开发者使用政务样例数据开发：
系统发布供开发者使用的资源、工具及政务数据资源目录，开发者申请资源、工具构建开发环境，并根据政务数据资源目录申请样例数据，而后系统将样例数据下发至开发者数据库中；开发者使用申请的资源、工具和样例数据进行建模开发，并向系统提交逻辑、代码及模型，申请验证；
步骤S2、系统验证阶段：
系统对开发者提交物进行安全性验证，对输出结果进行涉敏核验，系统部署开发者程序并导入部分真实政务数据，系统运行开发者程序并输出API结果；
步骤S3、系统运行阶段：
系统导入真实数据，并在正式环境部署开发者程序，运行开发者程序发布API。
在本发明一实施例中，所述步骤S1中，所述工具包括ETL工具、API封装工具。
本发明还提供了一种基于上述所述方法的数据可用不可见的政务数据开发系统，包括：门户模块、沙箱开发模块、系统验证测试模块、运行生产模块、运维管理模块；
所述门户模块包括数据目录、工具目录、资源目录，供开发者查询和申请；
所述沙箱开发管理模块支持服务申请管理、开发版本管理、验证测试申请，支持开发者申请资源、样例数据及工具，并在沙箱环境中开发并管理版本，沙箱开发完成后支持验证测试申请；
所述系统验证测试模块支持对开发程序进行版本管理，对程序输出的涉敏数据进行检测，并支持验证测试结果的反馈；
所述运行生产模块支持对运行生产程序的版本进行管理，对程序输出的涉敏数据进行检测，并将挖掘生产数据返回支撑生产应用；
所述运维管理模块支持对资源、数据、工具的目录进行管理，支持脱敏和涉敏数据检测规则的配置，支持通过镜像方式实现开发程序在验证测试和运行生产环境的部署。
相较于现有技术，本发明具有以下有益效果：
（1）本发明实现安全可控的政务数据开放开发，支持持续稳定的数据更新、代码托管、运维监控、数据安全等服务。应用正则表达式、及关键字适配等方式实现涉敏数据的检测规则；在开发者不接触原始政务数据的前提下，实现政务数据同社会数据深度融合加工，使得更多政务数据能够被社会深度应用，激发其潜在价值；
（2）本发明实现可控下的自动化。系统并非自动化一切，而是基于企业既有软件生产制度，以自动化为辅助手段，降低人为操作风险，提升质量与效率；
（3）本发明支持全面的开发运营便捷一体化，基于Kubernetes技术制作镜像，实现开发程序从开发沙箱中移植至验证测试环境、及运行生产环境，降低了系统验证、生产部署的难度；覆盖产品、项目全生命周期，提供需求管理、架构管理、代码管理、持续集成、自动部署、流水线协作等全方位能力。
附图说明
图1为本发明系统应用架构图；
图2为本发明系统运行机制说明图。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
本发明提供了一种数据可用不可见的政务数据开发方法，包括如下步骤：
1）开发者使用政务样例数据开发；
2）系统验证阶段；
3）系统运行阶段；
所述的步骤1）包括系统发布供开发者使用的资源、工具及政务数据资源目录，开发者申请并搭建开发环境。开发者申请其应用所需的开发环境，包括基础资源、API、批量数据、开发工具等；开发者根据平台数据目录，申请平台提供的样例数据，系统自动将样例数据下发至开发者数据库中；开发者结合自有数据进行融合数据开发，提交逻辑、代码及模型至系统，并申请验证；
所述的步骤2）包括系统验证测试。系统对开发者提交物进行安全性测试，对输出结果涉敏进行核验系统部署开发者程序并导入部分真实政务数据，系统运行开发者程序并输出API结果；
所述的步骤3）包括系统正式环境部署开发者程序，运行发布API。
本发明还提供了如图1所示的一种基于上述所述方法的数据可用不可见的政务数据开发系统，包括：门户模块、沙箱开发模块、系统验证测试模块、运行生产模块、运维管理模块；
所述门户模块包括数据目录、工具目录、资源目录，供开发者查询和申请；
所述沙箱开发管理模块支持服务申请管理、开发版本管理、验证测试申请，支持开发者申请资源、样例数据及工具，并在沙箱环境中开发并管理版本，沙箱开发完成后支持验证测试申请；
所述系统验证测试模块支持对开发程序进行版本管理，对程序输出的涉敏数据进行检测，并支持验证测试结果的反馈；
所述运行生产模块支持对运行生产程序的版本进行管理，对程序输出的涉敏数据进行检测，并将挖掘生产数据返回支撑生产应用；
所述运维管理模块支持对资源、数据、工具的目录进行管理，支持脱敏和涉敏数据检测规则的配置，支持通过镜像方式实现开发程序在验证测试和运行生产环境的部署。
以下为本发明一具体实施例。
实施例
图2显示了一种数据可用不可见的政务数据开发系统运行机制的具体实施例。
一、开发者使用政务样例数据开发
1) 系统发布供开发者使用的资源、工具及政务数据资源目录；
2)开发者在系统申请资源（HBASE）、工具（ETL工具、API封装工具），构建开发环境；
3)开发者根据平台数据目录，申请平台提供的样例数据（社保发放历史数据和殡葬历史数据），并说明用途；
4)系统自动将样例数据下发至开发者HBASE数据库中；
5)开发者使用ETL工具和申请的样例数据进行建模，构建疑似死亡冒领社保分析模型；
6)开发者使用API工具将建模输出结果封装成API，输出疑似死亡冒领社保人员名单；
7)开发者提交逻辑、代码及模型，并申请验证。
二、系统验证阶段
1)系统对开发者提交物进行安全性测试，对输出结果涉敏进行核验；
2)系统部署开发者程序并导入部分真实政务数据，如社保发放历史数据和殡葬历史数据；
3)系统运行开发者程序并输出API结果；
4)开发者对输出结果进行确认，认可其结果为期望结果。
三、系统运行阶段
1)系统正式环境部署开发者程序，运行发布API；
2)开发者应用数据API发布结果（按月份输出疑似死亡冒领人员名单），获得每月疑似死亡冒领人员名单。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
Claims (3)
1.一种数据可用不可见的政务数据开发方法，其特征在于，包括如下步骤：
步骤S1、开发者使用政务样例数据开发：
系统发布供开发者使用的资源、工具及政务数据资源目录，开发者申请资源、工具构建开发环境，并根据政务数据资源目录申请样例数据，而后系统将样例数据下发至开发者数据库中；开发者使用申请的资源、工具和样例数据进行建模开发，并提交逻辑、代码及模型至系统，申请验证；
步骤S2、系统验证阶段：
系统对开发者提交物进行安全性验证，对输出结果进行涉敏核验，系统部署开发者程序并导入部分真实政务数据，系统运行开发者程序并输出API结果；
步骤S3、系统运行阶段：
系统导入真实数据，并在正式环境部署开发者程序，运行开发者程序发布API。
2.根据权利要求1所述的一种数据可用不可见的政务数据开发方法，其特征在于，所述步骤S1中，所述工具包括ETL工具、API封装工具。
3.一种基于权利要求1或2任一所述方法的数据可用不可见的政务数据开发系统，其特征在于，包括：门户模块、沙箱开发模块、系统验证测试模块、运行生产模块、运维管理模块；
所述门户模块包括数据目录、工具目录、资源目录，供开发者查询和申请；
所述沙箱开发管理模块支持服务申请管理、开发版本管理、验证测试申请，支持开发者申请资源、样例数据及工具，并在沙箱环境中开发并管理版本，沙箱开发完成后支持验证测试申请；
所述系统验证测试模块支持对开发程序进行版本管理，对程序输出的涉敏数据进行检测，并支持验证测试结果的反馈；
所述运行生产模块支持对运行生产程序的版本进行管理，对程序输出的涉敏数据进行检测，并将挖掘生产数据返回支撑生产应用；
所述运维管理模块支持对资源、数据、工具的目录进行管理，支持脱敏和涉敏数据检测规则的配置，支持通过镜像方式实现开发程序在验证测试和运行生产环境的部署。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910298645.0A CN110059123A (zh) | 2019-04-15 | 2019-04-15 | 一种数据可用不可见的政务数据开发方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910298645.0A CN110059123A (zh) | 2019-04-15 | 2019-04-15 | 一种数据可用不可见的政务数据开发方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110059123A true CN110059123A (zh) | 2019-07-26 |
Family
ID=67317592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910298645.0A Pending CN110059123A (zh) | 2019-04-15 | 2019-04-15 | 一种数据可用不可见的政务数据开发方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110059123A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112394918A (zh) * | 2021-01-21 | 2021-02-23 | 国汽智控(北京)科技有限公司 | 一种自动驾驶应用的开发方法及处理方法、系统 |
| CN112528272A (zh) * | 2020-12-04 | 2021-03-19 | 浪潮云信息技术股份公司 | 一种基于公共开放数据的安全隐私集成防护系统及其方法 |
| CN113434854A (zh) * | 2021-08-26 | 2021-09-24 | 中国电子信息产业集团有限公司 | 一种基于沙箱环境生成数据元件的方法及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130219217A1 (en) * | 2012-02-17 | 2013-08-22 | Serve Virtual Enterprises, Inc. | System and method for automated test configuration and evaluation |
| CN104391690A (zh) * | 2014-11-04 | 2015-03-04 | 中国石油天然气股份有限公司 | 一种应用开发系统及方法 |
| CN105095970A (zh) * | 2014-04-25 | 2015-11-25 | 阿里巴巴集团控股有限公司 | 第三方应用的执行方法及系统 |
| CN109167764A (zh) * | 2018-08-17 | 2019-01-08 | 广州韵成通信科技有限公司 | 一种电子政务系统网络感知分析平台系统 |
-
2019
- 2019-04-15 CN CN201910298645.0A patent/CN110059123A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130219217A1 (en) * | 2012-02-17 | 2013-08-22 | Serve Virtual Enterprises, Inc. | System and method for automated test configuration and evaluation |
| CN105095970A (zh) * | 2014-04-25 | 2015-11-25 | 阿里巴巴集团控股有限公司 | 第三方应用的执行方法及系统 |
| CN104391690A (zh) * | 2014-11-04 | 2015-03-04 | 中国石油天然气股份有限公司 | 一种应用开发系统及方法 |
| CN109167764A (zh) * | 2018-08-17 | 2019-01-08 | 广州韵成通信科技有限公司 | 一种电子政务系统网络感知分析平台系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112528272A (zh) * | 2020-12-04 | 2021-03-19 | 浪潮云信息技术股份公司 | 一种基于公共开放数据的安全隐私集成防护系统及其方法 |
| CN112394918A (zh) * | 2021-01-21 | 2021-02-23 | 国汽智控(北京)科技有限公司 | 一种自动驾驶应用的开发方法及处理方法、系统 |
| CN113434854A (zh) * | 2021-08-26 | 2021-09-24 | 中国电子信息产业集团有限公司 | 一种基于沙箱环境生成数据元件的方法及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110059123A (zh) | 一种数据可用不可见的政务数据开发方法及系统 | |
| US7716649B2 (en) | Activity-based software traceability management method and apparatus | |
| Fisher et al. | Utilizing Atlassian JIRA for large-scale software development management | |
| CN108805426A (zh) | 实验室资源协作共享管理系统 | |
| CN103955429B (zh) | 确定回归测试范围的方法及装置 | |
| Rapos et al. | Examining the co-evolution relationship between Simulink models and their test cases | |
| CN104572439A (zh) | 回归警告方法和系统 | |
| Winget et al. | A web-based system for managing and co-ordinating multiple multisite studies | |
| Chamanara et al. | BEXIS2: A FAIR-aligned data management system for biodiversity, ecology and environmental data | |
| CN114911773A (zh) | 一种通用元模型设计方法 | |
| Zein et al. | The innovative national rural land administration information system of Ethiopia | |
| West et al. | EMERALD: A web application for seismic event data processing | |
| Romo et al. | Towards an automation of the traceability of bugs from development logs: A study based on open source software | |
| CN112308508A (zh) | 一种信息统一管理系统 | |
| Salger | Software architecture evaluation in global software development projects | |
| Mohanty et al. | Importance of Transparency and Traceability in Building a Safety Case for High‐Level Nuclear Waste Repositories | |
| Comoretto et al. | Documentation automation for the verification and validation of Rubin Observatory software | |
| Dey et al. | Replication package for representation of developer expertise in open source software | |
| Shirvani et al. | Application of design science research to design a modelling approach for procurement of infrastructure systems | |
| Sudradjat et al. | MVC Concept in the Development of Information System for Rental Office Utilities Cost | |
| Chimiak-Opoka et al. | Use of OCL in a Model Assessment Framework: An experience report | |
| JP2002090370A (ja) | 検体検査システムの検査結果検証サーバ | |
| Tuusjärvi et al. | Migrating a Legacy System to a Microservice Architecture | |
| Quadt et al. | Atarrabi-A Workflow System for the Publication of Environmental Data | |
| Marchbanks | A Review and Assessment of Materials Property Databases with Particular References to Concrete Material Systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190726 |