CN118152390A - 一种基于数据模型的数据采集及发布方法 - Google Patents
一种基于数据模型的数据采集及发布方法 Download PDFInfo
- Publication number
- CN118152390A CN118152390A CN202211550504.1A CN202211550504A CN118152390A CN 118152390 A CN118152390 A CN 118152390A CN 202211550504 A CN202211550504 A CN 202211550504A CN 118152390 A CN118152390 A CN 118152390A
- Authority
- CN
- China
- Prior art keywords
- data
- interface
- generating
- acquisition
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013499 data model Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000013500 data storage Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000007726 management method Methods 0.000 claims abstract description 16
- 238000012216 screening Methods 0.000 claims abstract description 7
- 238000013480 data collection Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 4
- PNAAEIYEUKNTMO-UHFFFAOYSA-N S-Seven Chemical compound C=1C=CC=CC=1P(=S)(OCC)OC1=CC=C(Cl)C=C1Cl PNAAEIYEUKNTMO-UHFFFAOYSA-N 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000009960 carding Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及油田数据采集及发布技术领域，提供一种基于数据模型的数据采集及发布方法；包括构建数据存储表，从分析数据库管理系统中提取数据模型，根据数据模型构建数据采集列表及采集字段表单、生成数据发布界面，通过所述数据发布界面发布所述数据采集列表及采集字段表单并添加数据处理逻辑，进行数据录入或导入，通过数据发布界面，发布数据库中所存储数据，并生成数据筛选条件和错误反馈接口；本发明根据工作中所需的业务数据存储需求，自动化的生成数据采集接口及实现数据展示，能够满足现场应用的需求。
Description
技术领域
本发明涉及油田数据采集及发布技术领域，提供一种基于数据模型的数据采集及发布方法。
背景技术
油田EPBP及源头数据库、应用数据库对于业务数据采集，能满足一定的需要，但在当前企业数字化转型及油藏经营管理改革的新时期，不能满足业务发展对主题数据库灵活方便扩展的需要，更不能满足对时效有要求的需求。业务人员的主题数据主要在个人电脑中存储，共享、共用，及时交流等数据管理没有高效手段。此外，数据库中的数据质量提升没有好的手段，基于这样的问题，建设主题业务数据库平台，面向业务人员，实现方便快捷对岗位数据查询、管理，加快岗位业务数据全面入库、共享管理，提供一个高效工具。
通过对采油厂业务岗位工作内容和业务流程的梳理，分析完善了数据流，研发了一套适用于主题业务数据建库后，方便加载自建岗位主题数据录入，方便查询库中数据的管理平台。通过数据管理平台，可实现自建主体库表快速挂接、自动生成采集程序模块及查询程序模块在平台上自动部署，可以实现油田源头库、EPBP专项视图的挂接并实现查询程序自动部署。
系统为了保证入库数据质量，一是自动加载数据时，有对数据的效验功能。二是数据查询过程中发现错误数据，具备一键错误反馈功能，错误记录在公告页面自动发布。
发明内容
本发明的目的是为了解决现有技术的缺点，而提出的一种基于数据模型的数据采集及发布方法。
为了实现上述目的，本发明采用了如下技术方案：
一种基于数据模型的数据采集及发布方法，包括构建数据存储表，从分析数据库管理系统中提取数据模型，根据数据模型构建数据采集列表及采集字段表单、生成数据发布界面，通过所述数据发布界面发布所述数据采集列表及采集字段表单并添加数据处理逻辑，进行数据录入或导入，通过数据发布界面，发布数据库中所存储数据，并生成数据筛选条件和错误反馈接口。
优选的，包括如下具体步骤：
S1，根据相关业务数据需求及逻辑关系，在关系数据库中建立相关数据存储表；
S2，分析数据库管理系统所存储的数据字典元数据，提取相关数据模型；
S3，根据提取的数据模型信息，通过后台程序自动生成数据采集列表及采集字段表单；
S4，根据数据模型信息，通过后台程序自动分析和处理，并生成数据发布界面；
S5，通过后台程序自动化发布数据采集表单，并添加数据处理逻辑，实现数据录入或批量导入数据；
S6，通过数据发布界面，自动化发布数据库中所存储数据，并生成数据筛选条件和错误反馈接口。
优选的，所述步骤S1包括：
根据业务活动和数据的使用情况，形成用户需求规约；
通过分析系统对生成数据流程图；
建立概念数据模型；
将概念数据模型设计为数据库的逻辑模式及逻辑子模式；
根据特定数据库管理系统所提供的多种存储结构和存取方法选定物理存储结构、存取方法和存取路径，生成物理数据库。
优选的，所述步骤S2包括：
通过分析物理数据库中数据存储的数据字典，提取相关物理数据库的逻辑结构信息，并生成数据模型。
优选的，所述步骤S3包括：
根据S2中提取数据模型信息，分析相关数据字典字段名称、数据存储类型、数据存储精度等信息，通过程序自动化生成针对各个数据表的数据采集表单。
优选的，所述步骤S4包括：
根据S2中提取数据模型信息，分析相关数据字典字段名称、数据存储类型、数据存储精度等信息，通过程序自动化生成针对各个数据表的数据发布界面。
优选的，所述步骤S5包括：
通过发布的数据录入表单，自动生成数据录入接口和数据导入接口。
优选的，所述步骤S6包括：
通过发布的数据展示界面，实现数据库数据的自动化发布。
本发明有益效果如下：
根据工作中所需的业务数据存储需求，自动化的生成数据采集接口及实现数据展示，能够满足现场应用的需求。
附图说明
图1为本发明中基于数据模型的数据采集及发布方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例一：
一种基于数据模型的数据采集及发布方法，如图1所示，为本发明的基于数据模型的数据采集及发布方法流程图，该方法包含：
S1，生成物理模型，调查和分析业务活动和数据的使用情况，抽象出概念数据模型，进一步将概念数据模型设计成数据库的一种逻辑模式，最后生成物理数据库模型。具体步骤分为：
生成概念模型；
生成逻辑模型；
生成物理模型。
S2，提取数据模型，根据不同的数据库管理系统，分析其数据字典结构，首先提取其数据表属性信息，然后分析数据表各个字段的属性信息，最终提取数据表信息和数据表字段信息两个数据模型。具体实现方式为：
提取DBMS底层数据表基本信息数据字典，分析相关数据表的代码、存储、备注等信息，获得所需信息列表，经过加工处理生成目标信息，存储到系统数据表（数据表基本信息表）中；
提取DBMS底层数据列基本信息数据字典，分析相关数据列的代码、存储、数据类型、备注等信息，获得所需信息列表，经过加工处理生成目标信息，存储到系统数据表（数据项基本信息表）中；
加工生成其它所需信息，如系统权限、外键、事件、触发器等信息。
S3，生成数据采集表单，通过提取的数据模型信息，根据不同的数据库管理系统，编写对应的程序代码，实现自动化的数据采集界面组织功能，封装成最后的终端采集界面。具体实现方式为：
提取数据表基本信息表中信息，加工生成数据采集信息列表，并附加录入相关采集权限、事件等信息；
提取数据项基本信息表中信息，加工生成每个数据表的数据项列表，通过后台程序自动生成每一个表的采集字段列表，通过界面展示；
通过后台程序，对数据表、数据项、权限、事件等信息进行整合处理，生成最终采集表单。
S4，生成数据发布界面，通过提取的数据模型信息，根据不同的数据库管理系统，编写对应的程序代码，实现自动化的数据发布界面组织功能，封装成最后的终端发布界面。具体实现方式为：
（1）提取数据表基本信息表中信息，加工生成数据采集信息列表，通过后台程序自动化生成数据发布列表；
（2）提取数据项基本信息表中信息，加工生成每个数据表的数据项列表，通过后台程序自动生成每一个表的字段列表，并根据列宽、数据类型等信息生成数据查询和发布界面。
S5，录入或导入数据，根据发布的用户采集界面，通过单字段录入或者数据批量导入功能，把业务数据入库，在此阶段会通过数据模型信息对数据进行初步校验，验证通过写入物理数据库。具体实现方式为：
对界面中数据表格中数据进行变动分析，获取增加、删除、修改信息列表，组织生成数据处理逻辑信息；
通过后台程序，自动生成数据采集表相对应的采集模板，可下载使用，录入表格后进行批量上传；
把数据处理逻辑信息进一步加工，生成与当前数据库管理系统相匹配的物理操作预警，送入数据库最终执行。
S6，数据发布，通过程序自动生成的数据发布界面，展示物理数据库中的数据，并实现数据浏览时对数据质量问题进行记录及反馈。具体实现方式为：
提取数据库中存储的数据信息，并结合S4中生成的显示界面，通过表格形式展示数据；
通过S4中生成的查询条件，进一步优化处理，实现对提取数据筛选功能；
在数据发布界面，添加数据反馈接口逻辑，获取用户反馈信息并记录；
生成数据反馈公告及反馈结果跟踪记录表，通过此过程保证数据入库质量。
综上所述，本发明的基于数据模型的数据采集及发布方法为不同岗位业务数据的存储、查询提供了新的思路，解决了业务数据在存储、发布、质量检查困难的固有问题。
实施例二：
一种基于数据模型的数据采集及自动化发布方法，具体步骤如下：
S1，根据相关业务数据需求及逻辑关系，在关系数据库中建立相关数据存储表；
S2，分析数据库管理系统所存储的数据字典元数据，提取相关数据模型；
S3，根据提取的数据模型信息，通过后台程序自动生成数据采集列表及采集字段表单；
S4，根据数据模型信息，通过后台程序自动分析和处理，并生成数据发布界面；
S5，通过后台程序自动化发布数据采集表单，并添加数据处理逻辑，实现数据录入或批量导入数据；
S6，通过数据发布界面，自动化发布数据库中所存储数据，并生成数据筛选条件和错误反馈接口；
所述步骤S1，调查和分析业务活动和数据的使用情况，弄清所用数据的种类、范围、数量，确定用户对数据库系统的使用要求和各种约束条件等，形成用户需求规约。通过自顶向下，逐步分解的方法分析系统，分析的结果采用数据流程图(DFD)进行图形化的描述。通过分类、聚集和概括，建立抽象的概念数据模型，并将所建立的模型用一种抽象的形式表示出来。进一步将概念数据模型设计成数据库的一种逻辑模式，与此同时，可能还需为各种数据处理应用领域产生相应的逻辑子模式。根据特定数据库管理系统所提供的多种存储结构和存取方法等依赖于具体计算机结构的各项物理设计措施，对具体的应用任务选定最合适的物理存储结构(包括文件类型、索引结构和数据的存放次序与位逻辑等)、存取方法和存取路径等，生成物理数据库。
所述步骤S2，本发明通过分析物理数据库中数据存储的数据字典，提取相关物理数据库的逻辑结构信息，并生成所需的数据模型。
所述步骤S3，根据S2中提取数据模型信息，分析相关数据字典字段名称、数据存储类型、数据存储精度等信息，通过程序自动化生成针对各个数据表的数据采集表单。
所述步骤S4，根据S2中提取数据模型信息，分析相关数据字典字段名称、数据存储类型、数据存储精度等信息，通过程序自动化生成针对各个数据表的数据发布界面。
所述步骤S5，通过发布的数据录入表单，自动生成数据录入接口和数据导入接口。
所述步骤S6，通过发布的数据展示界面，实现数据库数据的自动化发布。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种基于数据模型的数据采集及发布方法，其特征在于，包括构建数据存储表，从分析数据库管理系统中提取数据模型，根据数据模型构建数据采集列表及采集字段表单、生成数据发布界面，通过所述数据发布界面发布所述数据采集列表及采集字段表单并添加数据处理逻辑，进行数据录入或导入，通过数据发布界面，发布数据库中所存储数据，并生成数据筛选条件和错误反馈接口。
2.根据权利要求1所述的一种基于数据模型的数据采集及发布方法，其特征在于，包括如下具体步骤：
S1，根据相关业务数据需求及逻辑关系，在关系数据库中建立相关数据存储表；
S2，分析数据库管理系统所存储的数据字典元数据，提取相关数据模型；
S3，根据提取的数据模型信息，通过后台程序自动生成数据采集列表及采集字段表单；
S4，根据数据模型信息，通过后台程序自动分析和处理，并生成数据发布界面；
S5，通过后台程序自动化发布数据采集表单，并添加数据处理逻辑，实现数据录入或批量导入数据；
S6，通过数据发布界面，自动化发布数据库中所存储数据，并生成数据筛选条件和错误反馈接口。
3.根据权利要求2所述的一种基于数据模型的数据采集及发布方法，其特征在于，所述步骤S1包括：
根据业务活动和数据的使用情况，形成用户需求规约；
通过分析系统对生成数据流程图；
建立概念数据模型；
将概念数据模型设计为数据库的逻辑模式及逻辑子模式；
根据特定数据库管理系统所提供的多种存储结构和存取方法选定物理存储结构、存取方法和存取路径，生成物理数据库。
4.根据权利要求2所述的一种基于数据模型的数据采集及发布方法，其特征在于，所述步骤S2包括：通过分析物理数据库中数据存储的数据字典，提取相关物理数据库的逻辑结构信息，并生成数据模型。
5.根据权利要求2所述的一种基于数据模型的数据采集及发布方法，其特征在于，所述步骤S3包括：根据S2中提取数据模型信息，分析相关数据字典字段名称、数据存储类型、数据存储精度等信息，通过程序自动化生成针对各个数据表的数据采集表单。
6.根据权利要求2所述的一种基于数据模型的数据采集及发布方法，其特征在于，所述步骤S4包括：根据S2中提取数据模型信息，分析相关数据字典字段名称、数据存储类型、数据存储精度等信息，通过程序自动化生成针对各个数据表的数据发布界面。
7.根据权利要求2所述的一种基于数据模型的数据采集及发布方法，其特征在于，所述步骤S5包括：通过发布的数据录入表单，自动生成数据录入接口和数据导入接口。
8.根据权利要求2所述的一种基于数据模型的数据采集及发布方法，其特征在于，所述步骤S6包括：通过发布的数据展示界面，实现数据库数据的自动化发布。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211550504.1A CN118152390A (zh) | 2022-12-05 | 2022-12-05 | 一种基于数据模型的数据采集及发布方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211550504.1A CN118152390A (zh) | 2022-12-05 | 2022-12-05 | 一种基于数据模型的数据采集及发布方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118152390A true CN118152390A (zh) | 2024-06-07 |
Family
ID=91295329
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211550504.1A Pending CN118152390A (zh) | 2022-12-05 | 2022-12-05 | 一种基于数据模型的数据采集及发布方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118152390A (zh) |
-
2022
- 2022-12-05 CN CN202211550504.1A patent/CN118152390A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8606803B2 (en) | Translating a relational query to a multidimensional query | |
| US8671084B2 (en) | Updating a data warehouse schema based on changes in an observation model | |
| CN111611458B (zh) | 大数据治理中基于元数据和数据分析技术实现系统数据架构梳理的方法 | |
| US20110161132A1 (en) | Method and system for extracting process sequences | |
| US8280907B2 (en) | System and method for managing access to data in a database | |
| CN112199433A (zh) | 一种用于城市级数据中台的数据治理系统 | |
| CN110119395B (zh) | 大数据治理中基于元数据实现数据标准与数据质量关联处理的方法 | |
| US20090259455A1 (en) | Method and system for automatic tracking of a computerized process using a relationship model | |
| US7610299B2 (en) | Method of processing data | |
| Tsoury et al. | A conceptual framework for supporting deep exploration of business process behavior | |
| CN112163017A (zh) | 一种知识挖掘系统及方法 | |
| US20070282804A1 (en) | Apparatus and method for extracting database information from a report | |
| CN111125045B (zh) | 一种轻量级etl处理平台 | |
| Hinrichs et al. | An ISO 9001: 2000 Compliant Quality Management System for Data Integration in Data Warehouse Systems. | |
| CN118152390A (zh) | 一种基于数据模型的数据采集及发布方法 | |
| Harezlak et al. | Performance aspects of migrating a web application from a relational to a NoSQL Database | |
| CN112380117A (zh) | 一种软件测试基础用例的生产方法、装置和电子设备 | |
| Bano et al. | Database-Less Extraction of Event Logs from Redo Logs | |
| Paneva-Marinova et al. | Intelligent Data Curation in Virtual Museum for Ancient History and Civilization | |
| Asroni et al. | Dashboard-based Alumni Tracer Study Report Using Normalized Data Store Architecture | |
| CN109739835A (zh) | 一种数据版本保存方法及装置 | |
| Silva et al. | Assisting Data Warehousing Populating Processes Design through Modelling using Coloured Petri Nets. | |
| US20020178140A1 (en) | Method for characterizing and storing data analyses in an analysis database | |
| Koszela et al. | Concept and assumptions about the temporal graph database | |
| Li et al. | A Model-based Framework to Automatically Generate Semi-real Data for Evaluating Data Analysis Techniques. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |