CN112579565B - 一种数据分析引擎的数据模型管理方法及系统 - Google Patents
一种数据分析引擎的数据模型管理方法及系统 Download PDFInfo
- Publication number
- CN112579565B CN112579565B CN202011373931.8A CN202011373931A CN112579565B CN 112579565 B CN112579565 B CN 112579565B CN 202011373931 A CN202011373931 A CN 202011373931A CN 112579565 B CN112579565 B CN 112579565B
- Authority
- CN
- China
- Prior art keywords
- data
- model
- analysis engine
- analyzing
- constraint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
- G06F16/212—Schema design and management with details for data modelling support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Fuzzy Systems (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种数据分析引擎的数据模型管理方法及系统，其方法包括以下步骤，S1，采集数据并结构化，形成数据模型；S2，基于数据分析引擎对所述数据模型进行分析，得到所述数据模型的数据约束条件和数据操作类型；S3，根据所述数据约束条件和所述数据操作类型对所述数据模型进行管理。本发明一种数据分析引擎的数据模型管理方法及系统通过数据结构化形成数据模型，并基于数据分析引擎进行分析得到数据约束条件和数据操作类型，根据数据约束条件和数据操作类型对数据模型进行管理，从而可以很方便的管理数据模型，提高数据模型管理效率。
Description
技术领域
本发明涉及数据管理领域，具体涉及一种数据分析引擎的数据模型管理方法及系统。
背景技术
数据模型是数据特征的抽象，它从抽象层次上描述了系统的静态特征、动态行为和约束条件，为数据库系统的信息表示与操作提供一个抽象的框架。随着大数据的发展，数据模型越来越复杂化，从而使得数据模型的管理也越来越困难。
发明内容
本发明所要解决的技术问题是提供一种数据分析引擎的数据模型管理方法及系统，可以很容易的管理数据模型，提高数据管理效率。
本发明解决上述技术问题的技术方案如下：一种数据分析引擎的数据模型管理方法，包括以下步骤，
S1，采集数据并结构化，形成数据模型；
S2，基于数据分析引擎对所述数据模型进行分析，得到所述数据模型的数据约束条件和数据操作类型；
S3，根据所述数据约束条件和所述数据操作类型对所述数据模型进行管理。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述S1具体为，
S11，采集多源数据，并按更新时间尺度将所述多源数据分为静态数据和动态数据；
S12，分别为所述静态数据和所述动态数据配置结构化头部信息；
S13，根据所述结构化头部信息分析所述静态数据和所述动态数据的组成要素和组织结构，分别建立静态数据结构化模型和动态数据结构化模型；
S14，将所述静态数据结构模型和所述动态数据结构化模型进行标准化，得到所述数据模型。
进一步，所述S2具体为，
S21，基于数据分析引擎，利用规则知识库对所述数据模型进行挖掘分析，得到多个数据特征向量；
S22，根据所有所述数据特征向量分析出所述数据模型的数据约束条件和数据操作类型。
进一步，所述S22具体为，
S221，根据所有所述数据特征向量选取约束中心点；
S222，计算出所述约束中心点分别到每个所述数据特征向量之间的加权欧氏距离；
S223，将所述约束中心点分别到每个所述数据特征向量之间的加权欧氏距离作为所述数据约束条件；
S224，对所有所述数据特征向量和对应的所述数据约束条件进行综合分析，得到所述数据操作类型。
进一步，在所述S3中，对所述数据模型进行管理具体包括数据读操作、数据写操作、数据修改操作和数据更新操作中的一项或多项。
基于上述一种数据分析引擎的数据模型管理方法，本发明还提供一种数据分析引擎的数据模型管理系统。
一种数据分析引擎的数据模型管理系统，包括以下模块，
数据模型生成模块，其用于采集数据并结构化，形成数据模型；
模型分析模块，其用于基于数据分析引擎对所述数据模型进行分析，得到所述数据模型的数据约束条件和数据操作类型；
模型管理模块，其用于根据所述数据约束条件和所述数据操作类型对所述数据模型进行管理。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述数据模型生成模块具体用于，
采集多源数据，并按更新时间尺度将所述多源数据分为静态数据和动态数据；
分别为所述静态数据和所述动态数据配置结构化头部信息；
根据所述结构化头部信息分析所述静态数据和所述动态数据的组成要素和组织结构，分别建立静态数据结构化模型和动态数据结构化模型；
将所述静态数据结构模型和所述动态数据结构化模型进行标准化，得到所述数据模型。
进一步，所述模型分析模块具体包括挖掘单元和分析单元，
所述挖掘单元，其用于基于数据分析引擎，利用规则知识库对所述数据模型进行挖掘分析，得到多个数据特征向量；
所述分析单元，其用于根据所有所述数据特征向量分析出所述数据模型的数据约束条件和数据操作类型。
进一步，所述分析单元具体用于，
根据所有所述数据特征向量选取约束中心点；
计算出所述约束中心点分别到每个所述数据特征向量之间的加权欧氏距离；
将所述约束中心点分别到每个所述数据特征向量之间的加权欧氏距离作为所述数据约束条件；
对所有所述数据特征向量和对应的所述数据约束条件进行综合分析，得到所述数据操作类型。
进一步，在所述模型管理模块中，对所述数据模型进行管理具体包括数据读操作、数据写操作、数据修改操作和数据更新操作中的一项或多项。
本发明的有益效果是：本发明一种数据分析引擎的数据模型管理方法及系统通过数据结构化形成数据模型，并基于数据分析引擎进行分析得到数据约束条件和数据操作类型，根据数据约束条件和数据操作类型对数据模型进行管理，从而可以很方便的管理数据模型，提高数据模型管理效率。
附图说明
图1为本发明一种数据分析引擎的数据模型管理方法的流程图；
图2为本发明一种数据分析引擎的数据模型管理系统的结构框图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种数据分析引擎的数据模型管理方法，包括以下步骤，
S1，采集数据并结构化，形成数据模型；
S2，基于数据分析引擎对所述数据模型进行分析，得到所述数据模型的数据约束条件和数据操作类型；
S3，根据所述数据约束条件和所述数据操作类型对所述数据模型进行管理。
在本具体实施例中，还具有如下优选方案：
优选的，所述S1具体为，
S11，采集多源数据，并按更新时间尺度将所述多源数据分为静态数据和动态数据；
S12，分别为所述静态数据和所述动态数据配置结构化头部信息；
S13，根据所述结构化头部信息分析所述静态数据和所述动态数据的组成要素和组织结构，分别建立静态数据结构化模型和动态数据结构化模型；
S14，将所述静态数据结构模型和所述动态数据结构化模型进行标准化，得到所述数据模型。
在数据结构化的过程中，分为动态数据和静态数据，方便结构化，另外配置结构化头部信息，可以有针对性的进行数据结构化，最后进行标准化，形成统一的数据模型，数据模型简单、形象，可以为简化后续模型管理的难度。
优选的，所述S2具体为，
S21，基于数据分析引擎，利用规则知识库对所述数据模型进行挖掘分析，得到多个数据特征向量；
S22，根据所有所述数据特征向量分析出所述数据模型的数据约束条件和数据操作类型。
优选的，所述S22具体为，
S221，根据所有所述数据特征向量选取约束中心点；
S222，计算出所述约束中心点分别到每个所述数据特征向量之间的加权欧氏距离；
S223，将所述约束中心点分别到每个所述数据特征向量之间的加权欧氏距离作为所述数据约束条件；
S224，对所有所述数据特征向量和对应的所述数据约束条件进行综合分析，得到所述数据操作类型。
在本具体实施例中，基于数据分析引擎，利用规则知识库对所述数据模型进行挖掘分析，同时将加权欧氏距离作为数据约束条件，并基于数据约束条件分析出数据操作类型，数据约束条件和数据操作类型可以为数据模型管理提供精准的管理策略。
优选的，在所述S3中，对所述数据模型进行管理具体包括数据读操作、数据写操作、数据修改操作和数据更新操作中的一项或多项。
基于上述一种数据分析引擎的数据模型管理方法，本发明还提供一种数据分析引擎的数据模型管理系统。
如图2所示，一种数据分析引擎的数据模型管理系统，包括以下模块，数据模型生成模块，其用于采集数据并结构化，形成数据模型；
模型分析模块，其用于基于数据分析引擎对所述数据模型进行分析，得到所述数据模型的数据约束条件和数据操作类型；
模型管理模块，其用于根据所述数据约束条件和所述数据操作类型对所述数据模型进行管理。
在本具体实施例中，还具有如下优选方案：
优选的，所述数据模型生成模块具体用于，
采集多源数据，并按更新时间尺度将所述多源数据分为静态数据和动态数据；
分别为所述静态数据和所述动态数据配置结构化头部信息；
根据所述结构化头部信息分析所述静态数据和所述动态数据的组成要素和组织结构，分别建立静态数据结构化模型和动态数据结构化模型；
将所述静态数据结构模型和所述动态数据结构化模型进行标准化，得到所述数据模型。
优选的，所述模型分析模块具体包括挖掘单元和分析单元，
所述挖掘单元，其用于基于数据分析引擎，利用规则知识库对所述数据模型进行挖掘分析，得到多个数据特征向量；
所述分析单元，其用于根据所有所述数据特征向量分析出所述数据模型的数据约束条件和数据操作类型。
优选的，所述分析单元具体用于，
根据所有所述数据特征向量选取约束中心点；
计算出所述约束中心点分别到每个所述数据特征向量之间的加权欧氏距离；
将所述约束中心点分别到每个所述数据特征向量之间的加权欧氏距离作为所述数据约束条件；
对所有所述数据特征向量和对应的所述数据约束条件进行综合分析，得到所述数据操作类型。
优选的，在所述模型管理模块中，对所述数据模型进行管理具体包括数据读操作、数据写操作、数据修改操作和数据更新操作中的一项或多项。
本发明一种数据分析引擎的数据模型管理方法及系统通过数据结构化形成数据模型，并基于数据分析引擎进行分析得到数据约束条件和数据操作类型，根据数据约束条件和数据操作类型对数据模型进行管理，从而可以很方便的管理数据模型，提高数据模型管理效率。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种数据分析引擎的数据模型管理方法，其特征在于：包括以下步骤，
S1，采集数据并结构化，形成数据模型；
S2，基于数据分析引擎对所述数据模型进行分析，得到所述数据模型的数据约束条件和数据操作类型；
S3，根据所述数据约束条件和所述数据操作类型对所述数据模型进行管理；
所述S2具体为，
S21，基于数据分析引擎，利用规则知识库对所述数据模型进行挖掘分析，得到多个数据特征向量；
S22，根据所有所述数据特征向量分析出所述数据模型的数据约束条件和数据操作类型；
所述S22具体为，
S221，根据所有所述数据特征向量选取约束中心点；
S222，计算出所述约束中心点分别到每个所述数据特征向量之间的加权欧氏距离；
S223，将所述约束中心点分别到每个所述数据特征向量之间的加权欧氏距离作为所述数据约束条件；
S224，对所有所述数据特征向量和对应的所述数据约束条件进行综合分析，得到所述数据操作类型。
2.根据权利要求1所述的数据分析引擎的数据模型管理方法，其特征在于：所述S1具体为，
S11，采集多源数据，并按更新时间尺度将所述多源数据分为静态数据和动态数据；
S12，分别为所述静态数据和所述动态数据配置结构化头部信息；
S13，根据所述结构化头部信息分析所述静态数据和所述动态数据的组成要素和组织结构，分别建立静态数据结构化模型和动态数据结构化模型；
S14，将所述静态数据结构模型和所述动态数据结构化模型进行标准化，得到所述数据模型。
3.根据权利要求1或2所述的数据分析引擎的数据模型管理方法，其特征在于：在所述S3中，对所述数据模型进行管理具体包括数据读操作、数据写操作、数据修改操作和数据更新操作中的一项或多项。
4.一种数据分析引擎的数据模型管理系统，其特征在于：包括以下模块，
数据模型生成模块，其用于采集数据并结构化，形成数据模型；
模型分析模块，其用于基于数据分析引擎对所述数据模型进行分析，得到所述数据模型的数据约束条件和数据操作类型；
模型管理模块，其用于根据所述数据约束条件和所述数据操作类型对所述数据模型进行管理；
所述模型分析模块具体包括挖掘单元和分析单元，
所述挖掘单元，其用于基于数据分析引擎，利用规则知识库对所述数据模型进行挖掘分析，得到多个数据特征向量；
所述分析单元，其用于根据所有所述数据特征向量分析出所述数据模型的数据约束条件和数据操作类型；
所述分析单元具体用于，
根据所有所述数据特征向量选取约束中心点；
计算出所述约束中心点分别到每个所述数据特征向量之间的加权欧氏距离；
将所述约束中心点分别到每个所述数据特征向量之间的加权欧氏距离作为所述数据约束条件；
对所有所述数据特征向量和对应的所述数据约束条件进行综合分析，得到所述数据操作类型。
5.根据权利要求4所述的数据分析引擎的数据模型管理系统，其特征在于：所述数据模型生成模块具体用于，
采集多源数据，并按更新时间尺度将所述多源数据分为静态数据和动态数据；
分别为所述静态数据和所述动态数据配置结构化头部信息；
根据所述结构化头部信息分析所述静态数据和所述动态数据的组成要素和组织结构，分别建立静态数据结构化模型和动态数据结构化模型；
将所述静态数据结构模型和所述动态数据结构化模型进行标准化，得到所述数据模型。
6.根据权利要求4或5所述的数据分析引擎的数据模型管理系统，其特征在于：在所述模型管理模块中，对所述数据模型进行管理具体包括数据读操作、数据写操作、数据修改操作和数据更新操作中的一项或多项。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011373931.8A CN112579565B (zh) | 2020-11-30 | 2020-11-30 | 一种数据分析引擎的数据模型管理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011373931.8A CN112579565B (zh) | 2020-11-30 | 2020-11-30 | 一种数据分析引擎的数据模型管理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112579565A CN112579565A (zh) | 2021-03-30 |
| CN112579565B true CN112579565B (zh) | 2023-04-18 |
Family
ID=75126424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011373931.8A Active CN112579565B (zh) | 2020-11-30 | 2020-11-30 | 一种数据分析引擎的数据模型管理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112579565B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101216952A (zh) * | 2008-01-17 | 2008-07-09 | 大连大学 | 用于人体运动捕捉数据的动态时空耦合降噪处理方法 |
| CN106815296A (zh) * | 2016-12-09 | 2017-06-09 | 中电科华云信息技术有限公司 | 面向领域数据模型的结构化和非结构化的融合系统及方法 |
| CN108984761A (zh) * | 2018-07-19 | 2018-12-11 | 南昌工程学院 | 一种基于模型和领域知识驱动的信息处理系统 |
| CN109444728A (zh) * | 2018-09-21 | 2019-03-08 | 国网河南省电力公司济源供电公司 | 一种基于动态加权混合聚类算法的断路器故障诊断方法 |
| CN110377648A (zh) * | 2018-04-11 | 2019-10-25 | 西安邮电大学 | 一种面向智能制造的多源异构数据分析平台 |
| CN110941904A (zh) * | 2019-11-28 | 2020-03-31 | 西安工业大学 | 一种基于不同作战天气下的感知设备组合搭配方法 |
| KR20200062609A (ko) * | 2018-11-27 | 2020-06-04 | 소프트온넷(주) | Uld에 항공 화물 적재시 최적화 시스템 및 그 방법 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7089542B2 (en) * | 2002-12-13 | 2006-08-08 | International Business Machines Corporation | Method and apparatus for finding errors in software programs using satisfiability of constraints |
| CN101377757A (zh) * | 2007-08-28 | 2009-03-04 | 国际商业机器公司 | 基于约束模式进行约束故障分析的方法和装置 |
| US11010593B2 (en) * | 2013-12-15 | 2021-05-18 | 7893159 Canada Inc. | Method and system for comparing 3D models |
| CN105045869B (zh) * | 2015-07-14 | 2018-07-27 | 国家信息中心 | 基于多数据中心的自然资源地理空间数据组织方法和系统 |
| CN107316343B (zh) * | 2016-04-26 | 2020-04-07 | 腾讯科技（深圳）有限公司 | 一种基于数据驱动的模型处理方法及设备 |
| CN106570081A (zh) * | 2016-10-18 | 2017-04-19 | 同济大学 | 基于语义网的大规模离线数据分析框架 |
| US11221986B2 (en) * | 2017-05-31 | 2022-01-11 | Hitachi, Ltd. | Data management method and data analysis system |
| CN110134669A (zh) * | 2019-05-09 | 2019-08-16 | 深圳美美网络科技有限公司 | 一种数据模型监控方法 |
| CN111950708B (zh) * | 2020-08-11 | 2023-10-03 | 华中师范大学 | 一种发现大学生日常生活习惯的神经网络结构与方法 |
-
2020
- 2020-11-30 CN CN202011373931.8A patent/CN112579565B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101216952A (zh) * | 2008-01-17 | 2008-07-09 | 大连大学 | 用于人体运动捕捉数据的动态时空耦合降噪处理方法 |
| CN106815296A (zh) * | 2016-12-09 | 2017-06-09 | 中电科华云信息技术有限公司 | 面向领域数据模型的结构化和非结构化的融合系统及方法 |
| CN110377648A (zh) * | 2018-04-11 | 2019-10-25 | 西安邮电大学 | 一种面向智能制造的多源异构数据分析平台 |
| CN108984761A (zh) * | 2018-07-19 | 2018-12-11 | 南昌工程学院 | 一种基于模型和领域知识驱动的信息处理系统 |
| CN109444728A (zh) * | 2018-09-21 | 2019-03-08 | 国网河南省电力公司济源供电公司 | 一种基于动态加权混合聚类算法的断路器故障诊断方法 |
| KR20200062609A (ko) * | 2018-11-27 | 2020-06-04 | 소프트온넷(주) | Uld에 항공 화물 적재시 최적화 시스템 및 그 방법 |
| CN110941904A (zh) * | 2019-11-28 | 2020-03-31 | 西安工业大学 | 一种基于不同作战天气下的感知设备组合搭配方法 |
Non-Patent Citations (2)
| Title |
|---|
| 杨浩等.网络中隐蔽信道数据安全检测模型研究与仿真.计算机仿真.2016,(10),280-283. * |
| 米晓萍等.基于信息融合度传递的频域徙动入侵特征挖掘算法.计算机科学.2015,(03),229-232+237. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112579565A (zh) | 2021-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110659173A (zh) | 一种运维系统及方法 | |
| CN112668968B (zh) | 一种基于领域驱动设计的仓储管理建模方法及系统 | |
| CN111813661B (zh) | 一种全局业务数据驱动自动测试方法、装置、设备和介质 | |
| US20060229931A1 (en) | Device, system, and method of data monitoring, collection and analysis | |
| CN111159157B (zh) | 一种企业报表数据的指标化处理方法及装置 | |
| CN112633822B (zh) | 基于数字孪生技术的资产管理方法、存储介质和移动终端 | |
| US20080183422A1 (en) | Process for software support resource allocation based on analysis of categorized field problems | |
| CN107729469A (zh) | 用户挖掘方法、装置、电子设备及计算机可读存储介质 | |
| CN109828750A (zh) | 自动配置数据埋点的方法、装置、电子设备及存储介质 | |
| CN112579565B (zh) | 一种数据分析引擎的数据模型管理方法及系统 | |
| CN110049108A (zh) | 一种网联车辆事件生成方法及装置 | |
| CN110334001A (zh) | 一种批量自动生成回声测试的方法和装置 | |
| CN110046150A (zh) | 一种人力资源监控分析方法及系统 | |
| CN114971547A (zh) | 一种零部件产品级借用分析方法和系统 | |
| CN115169578A (zh) | 一种基于元宇宙数据标记的ai模型生产方法及系统 | |
| CN110096292B (zh) | 一种自适应刷新服务器bios固件的方法及系统 | |
| CN116962407B (zh) | 分布式链路标签的处理方法和装置、分布式链路追踪系统及分布式系统 | |
| CN113537942A (zh) | 一种提高样本标记数量的方法及系统 | |
| CN113627774A (zh) | 基于区块链技术的公路构件质量管理跟踪方法 | |
| CN110389955A (zh) | 一种数据仓库调度文件自动生成系统及生成方法 | |
| CN109615308A (zh) | 产出统计方法、装置、设备及可读存储介质 | |
| CN112395371B (zh) | 一种金融机构资产分类处理方法、装置及可读介质 | |
| CN111562904B (zh) | 一种基于SysML系统模型的可靠性框图RBD辅助建模方法 | |
| US20230385036A1 (en) | Mapping data models to facilitate code generation | |
| CN116756011A (zh) | 面向数据库自治优化的自动化测试方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |