CN110134669A - 一种数据模型监控方法 - Google Patents

一种数据模型监控方法 Download PDF

Info

Publication number
CN110134669A
CN110134669A CN201910386412.6A CN201910386412A CN110134669A CN 110134669 A CN110134669 A CN 110134669A CN 201910386412 A CN201910386412 A CN 201910386412A CN 110134669 A CN110134669 A CN 110134669A
Authority
CN
China
Prior art keywords
data
model
data model
information
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910386412.6A
Other languages
English (en)
Inventor
赖宏鑫
赖宏祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Meimei Network Technology Co Ltd
Original Assignee
Shenzhen Meimei Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Meimei Network Technology Co Ltd filed Critical Shenzhen Meimei Network Technology Co Ltd
Priority to CN201910386412.6A priority Critical patent/CN110134669A/zh
Publication of CN110134669A publication Critical patent/CN110134669A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G06F16/212—Schema design and management with details for data modelling support

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种数据模型监控方法，包括以下监控步骤：获取数据模型，从数据中心中建立数据模型，并确定数据模型的数据格式，数据模型转换，使用规定的数据模型转换单元将获取的数据模型转换成具有统一数据格式的数据模型。本发明中，在对数据模型监控时同时对数据模型的代码关系和模型关系进行获取，在数据模型出现问题时，可以通过获取的数据模型代码关系和模型关系对数据模型进行恢复，使得该数据模型监控方法可以对数据模型进行恢复，在使用时更加的方便，可以满足工作人员更多的需求。

Description

一种数据模型监控方法
技术领域
本发明涉及数据模型监控技术领域，尤其涉及一种数据模型监控方法。
背景技术
数据模型(Data Model)是数据特征的抽象，数据(Data)是描述事物的符号记录，模型(Model)是现实世界的抽象。数据模型从抽象层次上描述了系统的静态特征、动态行为和约束条件，为数据库系统的信息表示与操作提供了一个抽象的框架，数据库技术发展至今，主要有三种数据模型：层次数据模型、网状数据模型、关系数据模型。层次模型发展最早，它以树结构为基本结构，典型代表是IMS模型。由于多数实际问题中数据间关系不简单地是树型结构，层次型数据模型渐被淘汰。网状数据模型通过网状结构表示数据间联系，开发较早且有一定优点，目前使用仍较多，典型代表是DBTG模型。关系模型开发较晚，它是通过满足一定条件的二维表格来表示实体集合以及数据间联系的一种模型，具有坚实的数学基础与理论基础，使用灵活方便，适应面广，所以发展十分迅速。
数据模型监控方法用于多数据模型进行监控，目前使用的数据模型监控方法仅仅实现对数据模型进行监控预警，但是缺少多数据模型的恢复措施，无法满足工作人员的需求。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种数据模型监控方法。
为了实现上述目的，本发明采用了如下技术方案：一种数据模型监控方法，包括以下监控步骤：
(1)：获取数据模型，从数据中心中建立数据模型，并确定数据模型的数据格式；
(2)：数据模型转换，使用规定的数据模型转换单元将获取的数据模型转换成具有统一数据格式的数据模型；
(3)：获取数据模型的信息，监控数据模型的数据信息，且同时获取数据模型的代码关系和模型关系；
(4)：数据模型监控分析，根据获取的数据模型数据信息对数据模型的性能指标进行分析，得到数据模型的性能指标；
(5)：数据模型预警和报警，通过获取的数据模型性能指标和数据信息对数据模型的性能进行预警和报警；
(6)：信息储存和数据模型恢复，将获取的数据模型的代码关系和模型关系通过信息储存单元进行储存，通过数据模型恢复单元读取储存的数据模型代码关系和模型关系对数据模型进行恢复。
作为上述技术方案的进一步描述：
所述步骤(3)中代码关系包括代码领域信息、代码的模块信息；
所述步骤(3)中模型关系包括模型间依赖关系和模型组件信息。
作为上述技术方案的进一步描述：
所述步骤(3)对数据模型的数据信息进行监控分析，数据模型的数据信息包括数据结构、数据操作、数据约束；
所述数据结构描述数据的类型、内容、性质以及数据间的联系，是数据目标类型的集合；
所述数据操作描述在相应的数据结构上的操作类型和操作方式；
所述数据约束描述数据结构内数据间的语法、词义联系、他们之间的制约和依存关系，以及数据动态变化的规则，以保证数据的正确、有效和相容。
作为上述技术方案的进一步描述：
所述步骤(3)中代码关系包括代码领域信息、代码的模块信息；
所述步骤(3)中模型关系包括模型间依赖关系和模型组件信息。
作为上述技术方案的进一步描述：
所述性能指标包括LOG-LOSS模型评价指标、精准率模型评价指标，召回率模型评价指标；
所述LOG-LOSS模型评价指标表示该记录所属的数据其对应的类别的置信度，且LOG-LOSS模型评价指标用于二分类模型的评价；
所述精准率模型评价指标是指分类器分类正确的正样本的个数占该分类器所有分类为正样本个数的比例；
所述召回率模型评价指标是指分类器分类正确的正样本的个数占所有的正样本个数的比例。
作为上述技术方案的进一步描述：
所述步骤(6)中信息储存单元包括第一信息储存模块和第二信息储存模块；
所述第一信息储存模块用于储存数据模型的代码关系；
所述第二信息储存模块用于储存数据模型的模型关系；
所述第一信息储存模块中储存的数据模型的代码关系和第二信息储存模块中储存的数据模型的模型关系关于时间段相互对应。
作为上述技术方案的进一步描述：
所述数据模型恢复单元根据数据模型的任一代码的所述领域信息、代码模块信息和模型组件信息以及模型间依赖关系，恢复得到数据模型的数据模型架构并进行恢复数据。
有益效果
本发明提供了一种数据模型监控方法。具备以下有益效果：
(1)：该数据模型监控方法在对数据模型监控时同时对数据模型的代码关系和模型关系进行获取，在数据模型出现问题时，可以通过获取的数据模型代码关系和模型关系对数据模型进行恢复，使得该数据模型监控方法可以对数据模型进行恢复，在使用时更加的方便，可以满足工作人员更多的需求。
(2)：该数据模型监控方法通过在获取数据模型时可以对数据模型进行转换，从而可以将获取的不同格式数据模型转换成统一数据格式的数据模型，在对数据模型检修监控时更加的方便。
附图说明
图1为本发明提出的一种数据模型监控方法的流程框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1，一种数据模型监控方法，包括以下监控步骤：
(1)：获取数据模型，从数据中心中建立数据模型，并确定数据模型的数据格式；
(2)：数据模型转换，使用规定的数据模型转换单元将获取的数据模型转换成具有统一数据格式的数据模型；
(3)：获取数据模型的信息，监控数据模型的数据信息，且同时获取数据模型的代码关系和模型关系；
(4)：数据模型监控分析，根据获取的数据模型数据信息对数据模型的性能指标进行分析，得到数据模型的性能指标；
(5)：数据模型预警和报警，通过获取的数据模型性能指标和数据信息对数据模型的性能进行预警和报警；
(6)：信息储存和数据模型恢复，将获取的数据模型的代码关系和模型关系通过信息储存单元进行储存，通过数据模型恢复单元读取储存的数据模型代码关系和模型关系对数据模型进行恢复。
步骤(2)中数据模型转换单元包括数据模型分选模块和数据模型转换模块，数据模型分选模块将步骤(1)获取的数据模型中数据格式不符合标准的数据模型提取，然后通过数据模型转换模块将不符合标准的数据模型转换成统一数据格式的数据模型。
步骤(3)对数据模型的数据信息进行监控分析，数据模型的数据信息包括数据结构、数据操作、数据约束；
数据结构描述数据的类型、内容、性质以及数据间的联系，是数据目标类型的集合；
数据操作描述在相应的数据结构上的操作类型和操作方式；
数据约束描述数据结构内数据间的语法、词义联系、他们之间的制约和依存关系，以及数据动态变化的规则，以保证数据的正确、有效和相容。
步骤(3)中代码关系包括代码领域信息、代码的模块信息；
步骤(3)中模型关系包括模型间依赖关系和模型组件信息。
性能指标包括LOG-LOSS模型评价指标、精准率模型评价指标，召回率模型评价指标；
LOG-LOSS模型评价指标表示该记录所属的数据其对应的类别的置信度，且LOG-LOSS模型评价指标用于二分类模型的评价；
精准率模型评价指标是指分类器分类正确的正样本的个数占该分类器所有分类为正样本个数的比例；
召回率模型评价指标是指分类器分类正确的正样本的个数占所有的正样本个数的比例。
步骤(6)中信息储存单元包括第一信息储存模块和第二信息储存模块；
第一信息储存模块用于储存数据模型的代码关系；
第二信息储存模块用于储存数据模型的模型关系；
第一信息储存模块中储存的数据模型的代码关系和第二信息储存模块中储存的数据模型的模型关系关于时间段相互对应。
数据模型恢复单元根据数据模型的任一代码的领域信息、代码模块信息和模型组件信息以及模型间依赖关系，恢复得到数据模型的数据模型架构并进行恢复数据。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料过着特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种数据模型监控方法，其特征在于，包括以下监控步骤：
(1)：获取数据模型，从数据中心中建立数据模型，并确定数据模型的数据格式；
(2)：数据模型转换，使用规定的数据模型转换单元将获取的数据模型转换成具有统一数据格式的数据模型；
(3)：获取数据模型的信息，监控数据模型的数据信息，且同时获取数据模型的代码关系和模型关系；
(4)：数据模型监控分析，根据获取的数据模型数据信息对数据模型的性能指标进行分析，得到数据模型的性能指标；
(5)：数据模型预警和报警，通过获取的数据模型性能指标和数据信息对数据模型的性能进行预警和报警；
(6)：信息储存和数据模型恢复，将获取的数据模型的代码关系和模型关系通过信息储存单元进行储存，通过数据模型恢复单元读取储存的数据模型代码关系和模型关系对数据模型进行恢复。
2.根据权利要求1所述的一种数据模型监控方法，其特征在于，所述步骤(2)中数据模型转换单元包括数据模型分选模块和数据模型转换模块，数据模型分选模块将步骤(1)获取的数据模型中数据格式不符合标准的数据模型提取，然后通过数据模型转换模块将不符合标准的数据模型转换成统一数据格式的数据模型。
3.根据权利要求1所述的一种数据模型监控方法，其特征在于，所述步骤(3)对数据模型的数据信息进行监控分析，数据模型的数据信息包括数据结构、数据操作、数据约束；
所述数据结构描述数据的类型、内容、性质以及数据间的联系，是数据目标类型的集合；
所述数据操作描述在相应的数据结构上的操作类型和操作方式；
所述数据约束描述数据结构内数据间的语法、词义联系、他们之间的制约和依存关系，以及数据动态变化的规则，以保证数据的正确、有效和相容。
4.根据权利要求1所述的一种数据模型监控方法，其特征在于，所述步骤(3)中代码关系包括代码领域信息、代码的模块信息；
所述步骤(3)中模型关系包括模型间依赖关系和模型组件信息。
5.根据权利要求1所述的一种数据模型监控方法，其特征在于，所述性能指标包括LOG-LOSS模型评价指标、精准率模型评价指标，召回率模型评价指标；
所述LOG-LOSS模型评价指标表示该记录所属的数据其对应的类别的置信度，且LOG-LOSS模型评价指标用于二分类模型的评价；
所述精准率模型评价指标是指分类器分类正确的正样本的个数占该分类器所有分类为正样本个数的比例；
所述召回率模型评价指标是指分类器分类正确的正样本的个数占所有的正样本个数的比例。
6.根据权利要求1所述的一种数据模型监控方法，其特征在于，所述步骤(6)中信息储存单元包括第一信息储存模块和第二信息储存模块；
所述第一信息储存模块用于储存数据模型的代码关系；
所述第二信息储存模块用于储存数据模型的模型关系；
所述第一信息储存模块中储存的数据模型的代码关系和第二信息储存模块中储存的数据模型的模型关系关于时间段相互对应。
7.根据权利要求1所述的一种数据模型监控方法，其特征在于，所述数据模型恢复单元根据数据模型的任一代码的所述领域信息、代码模块信息和模型组件信息以及模型间依赖关系，恢复得到数据模型的数据模型架构并进行恢复数据。
CN201910386412.6A 2019-05-09 2019-05-09 一种数据模型监控方法 Pending CN110134669A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910386412.6A CN110134669A (zh) 2019-05-09 2019-05-09 一种数据模型监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910386412.6A CN110134669A (zh) 2019-05-09 2019-05-09 一种数据模型监控方法

Publications (1)

Publication Number Publication Date
CN110134669A true CN110134669A (zh) 2019-08-16

Family

ID=67576909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910386412.6A Pending CN110134669A (zh) 2019-05-09 2019-05-09 一种数据模型监控方法

Country Status (1)

Country Link
CN (1) CN110134669A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112579565A (zh) * 2020-11-30 2021-03-30 贵州力创科技发展有限公司 一种数据分析引擎的数据模型管理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105204867A (zh) * 2015-10-12 2015-12-30 用友网络科技股份有限公司 数据模型恢复方法和数据模型恢复装置
CN108090678A (zh) * 2017-12-19 2018-05-29 马上消费金融股份有限公司 一种数据模型监控方法、系统、设备及计算机存储介质
CN108563768A (zh) * 2018-04-19 2018-09-21 中国平安财产保险股份有限公司 不同数据模型的数据转换方法、装置、设备及存储介质
CN109165249A (zh) * 2018-08-07 2019-01-08 阿里巴巴集团控股有限公司 数据处理模型构建方法、装置、服务器和用户端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105204867A (zh) * 2015-10-12 2015-12-30 用友网络科技股份有限公司 数据模型恢复方法和数据模型恢复装置
CN108090678A (zh) * 2017-12-19 2018-05-29 马上消费金融股份有限公司 一种数据模型监控方法、系统、设备及计算机存储介质
CN108563768A (zh) * 2018-04-19 2018-09-21 中国平安财产保险股份有限公司 不同数据模型的数据转换方法、装置、设备及存储介质
CN109165249A (zh) * 2018-08-07 2019-01-08 阿里巴巴集团控股有限公司 数据处理模型构建方法、装置、服务器和用户端

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112579565A (zh) * 2020-11-30 2021-03-30 贵州力创科技发展有限公司 一种数据分析引擎的数据模型管理方法及系统

Similar Documents

Publication Publication Date Title
CN105653444B (zh) 基于互联网日志数据的软件缺陷故障识别方法和系统
Bell et al. Cross-national comparison of internal migration
CN110033132B (zh) 基于深度目标检测和数值天气预报的热带气旋预报方法
CN107944472B (zh) 一种基于迁移学习的空域运行态势计算方法
CN111521990B (zh) 一种基于多层雷达回波数据的降雨量分析方法
CN106096644B (zh) 基于概率工作流的相似度度量方法及装置
CN111428558A (zh) 一种基于改进YOLOv3方法的车辆检测方法
CN107656987A (zh) 一种基于lda模型的地铁站点功能挖掘方法
CN109665399A (zh) 一种矿井提升机无线传输的故障诊断系统及方法
CN113163353B (zh) 一种电源车的智能健康服务系统及其数据传输方法
CN108090515A (zh) 一种基于数据融合的环境等级评估方法
CN108717875A (zh) 一种基于大数据的慢性疾病智能管理系统
CN114003791A (zh) 基于深度图匹配的医疗数据元自动化分类方法及系统
CN109840561A (zh) 一种可用于垃圾分类的垃圾图像自动生成方法
CN110134669A (zh) 一种数据模型监控方法
CN113742357A (zh) 一种跨平台设计数据自动归集并关联的方法和系统
Guofan et al. Functional classifications of coastal barrier island vegetation
CN115237923A (zh) 一种基于云平台的数字数据库存储方法
CN115168490A (zh) 一种基于区块链的农业面源污染溯源和预警系统
Brook et al. Aggregation of selected three-day periods to estimate annual and seasonal wet deposition totals for sulfate, nitrate, and acidity. Part I: A synoptic and chemical climatology for eastern North America
CN113447931A (zh) 一种基于多普勒雷达数据的短时强降水识别方法
CN110955804B (zh) 一种针对用户时空数据行为检测的Adaboost方法
CN112268554A (zh) 一种基于路径轨迹分析的区域范围徘徊检测方法及系统
CN104134106A (zh) 水利智能决策支持系统及智能决策方法
CN109871903A (zh) 一种基于端到端深度网络与对抗学习的目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190816