CN117807074A - 基于数据模型的模型动态解析及数据分析方法及系统 - Google Patents
基于数据模型的模型动态解析及数据分析方法及系统 Download PDFInfo
- Publication number
- CN117807074A CN117807074A CN202311455876.0A CN202311455876A CN117807074A CN 117807074 A CN117807074 A CN 117807074A CN 202311455876 A CN202311455876 A CN 202311455876A CN 117807074 A CN117807074 A CN 117807074A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- analysis
- field
- managing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013499 data model Methods 0.000 title claims abstract description 87
- 238000007405 data analysis Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000004458 analytical method Methods 0.000 title claims abstract description 25
- 238000013500 data storage Methods 0.000 claims abstract description 10
- 238000013523 data management Methods 0.000 claims abstract description 9
- 238000007726 management method Methods 0.000 claims description 20
- 230000003213 activating effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 3
- 230000008676 import Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012550 audit Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
Abstract
本发明公开了基于数据模型的模型动态解析及数据分析方法及系统，属于数据处理技术领域，要解决的技术问题为如何高效的处理多维数据。包括如下步骤：配置并管理数据模型：根据数据管理需求设置相应的数据模型，所述数据模型能够支持多种数据格式；配置并管理数据字段模板：根据数据模型、设置并导入相应的数据字段模板，生成对应的数据库表；上传数据：对于需要上传的数据，管理需要上传的数据并按照对应的数据字段模板对数据进行格式化，得到格式化的数据；数据存储：对于格式化的数据，将数据存储至对应数据库表中；数据分析：基于预配置的数据分析工具对存储于数据库表中的数据进行多维分析和查询。
Description
技术领域
本发明涉及数据处理技术领域，具体地说是基于数据模型的模型动态解析及数据分析方法及系统。
背景技术
在数据应用过程中，通常需要从多个源端采集数据并对采集的数据进行分析处理。但是不同源端的数据格式不同，从而影响了大量数据的分析和处理效率、
如何高效的处理多维数据，是需要解决的技术问题。
发明内容
本发明的技术任务是针对以上不足，提供基于数据模型的模型动态解析及数据分析方法及系统，来解决如何高效的处理多维数据的技术问题。
第一方面，本发明一种基于数据模型的模型动态解析及数据分析方法，用于将采集的数据上传业务系统，包括如下步骤：
配置并管理数据模型：根据数据管理需求设置相应的数据模型，所述数据模型能够支持多种数据格式；
配置并管理数据字段模板：根据数据模型、设置并导入相应的数据字段模板，生成对应的数据库表；
上传数据：对于需要上传的数据，管理需要上传的数据并按照对应的数据字段模板对数据进行格式化，得到格式化的数据；
数据存储：对于格式化的数据，将数据存储至对应数据库表中；
数据分析：基于预配置的数据分析工具对存储于数据库表中的数据进行多维分析和查询。
作为优选，数据模型支持的数据格式包括数字、文本、浮点以及时间序列。
作为优选，管理数据模型包括对数据模型进行新增操作、启用操作、停用操作、生成操作以及建表操作。
作为优选，管理数据字段模板包括维护模版信息、字段列、字段类型及长度。
作为优选，管理需要上传的数据包括上传对应模型文件、维护数据周期参数、以及解析数据。
第二方面，本发明一种基于数据模型的模型动态解析及数据分析系统，用于通过如第一方面任一项所述的基于数据模型的模型动态解析及数据分析方法实现数据分析，所述系统包括数据模型配置管理模块、数据字段模板配置管理模块、数据上传模块、数据存储模块以及数据分析模块；
数据模型配置管理模块用于执行如下：根据数据管理需求设置相应的数据模型，所述数据模型能够支持多种数据格式；
数据字段模板配置管理模块用于执行如下：根据数据模型、设置并导入相应的数据字段模板，生成对应的数据库表；
数据上传模块用于执行如下：对于需要上传的数据，管理需要上传的数据并按照对应的数据字段模板对数据进行格式化，得到格式化的数据；
数据存储模块用于执行如下：对于格式化的数据，将数据存储至对应数据库表中；
数据分析模块用于执行如下：基于预配置的数据分析工具对存储于数据库表中的数据进行多维分析和查询。
作为优选，数据模型支持的数据格式包括数字、文本、浮点以及时间序列。
作为优选，数据模型配置管理模块用于对数据模型进行新增操作、启用操作、停用操作、生成操作以及建表操作。
作为优选，对于数据字段模板，数据字段模板配置管理模块用于维护模版信息、字段列、字段类型及长度。
作为优选，对于需要上传的数据，数据上传模块用于上传对应模型文件、维护数据周期参数、以及解析数据。
本发明的基于数据模型的模型动态解析及数据分析方法及系统具有以下优点：大大提高了数据上传的速度和效率，可以快速地处理多维数据，提高了数据处理和分析的速度和效率，可广泛应用于各种数据分析领域，从而为实时的数据分析和决策提供更加准确和有用的信息。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
下面结合附图对本发明进一步说明。
图1为实施例1一种基于数据模型的模型动态解析及数据分析方法的流程框图；
图2为实施例1一种基于数据模型的模型动态解析及数据分析方法中管理数据模型的界面示意图；
图3为实施例1一种基于数据模型的模型动态解析及数据分析方法中管理数据字段模板的界面示意图；
图4为实施例1一种基于数据模型的模型动态解析及数据分析方法中数据上传的界面示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
本发明实施例提供基于数据模型的模型动态解析及数据分析方法及系统，用于解决如何高效的处理多维数据的技术问题。
实施例1：
本发明一种基于数据模型的模型动态解析及数据分析方法，包括配置并管理数据模型、配置并管理数据字段模板、上传数据、数据存储以及数据分析五个步骤。
步骤S100配置并管理数据模型：根据数据管理需求设置相应的数据模型，所述数据模型能够支持多种数据格式。
本实施例中，用户根据自己的数据管理需求，设计相应的数据模型，数据模型支持多种不同的数据格式，包括数字、文本、浮点、时间序列等。
在管理数据模型时，对数据模型进行新增操作、启用操作、停用操作、生成操作以及建表操作。
步骤S200配置并管理数据字段模板：根据数据模型、设置并导入相应的数据字段模板，生成对应的数据库表。
本实施例中，根据数据模型设计，维护导入相应的数据字段模版，生成对应的数据库表。可以根据实际情况进行数据模型的调整和修改，以更好地描述数据之间的关系和特性。
其中，管理数据字段模板包括维护模版信息、字段列、字段类型及长度。
步骤S300上传数据：对于需要上传的数据，管理需要上传的数据并按照对应的数据字段模板对数据进行格式化，得到格式化的数据。
本实施例中，管理需要上传的数据包括上传对应模型文件、维护数据周期参数、以及解析数据。
用户将需要上传的数据按照对应的数据字段模版进行格式化，并上传到系统中。采用数据模型来格式化数据，可以动态解析和处理数据，避免了静态编码的限制，提高了数据处理的灵活性和效率。
步骤S400数据存储：对于格式化的数据，将数据存储至对应数据库表中。
本实施例将上传对应模板格式数据存入对应的数据库表中，实现数据的存储和管理。使用高效的算法和数据结构，可以实现对大量数据的实时分析和处理。
步骤S500数据分析：基于预配置的数据分析工具对存储于数据库表中的数据进行多维分析和查询。
本实施例中调用现有的数据分析工具或者改进的数据分析工具，对存储的数据进行多维分析和查询。
本实施例的方法通过维护导入数据字段模板来生成对应的数据库表，然后将对应模板格式的数据存入对应的数据库表中。这种方法可以根据实际情况动态调整数据模型，并且可以根据不同的数据格式进行不同的处理和分析。
本实施例的方法可以根据实际情况动态调整数据模型，使其能够更好地描述数据之间的关系和特性，并可以根据不同的数据格式进行不同的处理和分析。
实施例2：
本发明一种基于数据模型的模型动态解析及数据分析系统，包括数据模型配置管理模块、数据字段模板配置管理模块、数据上传模块、数据存储模块以及数据分析模块，该系统可执行实施例1公开的方法进行数据分析。
数据模型配置管理模块用于执行如下：根据数据管理需求设置相应的数据模型，所述数据模型能够支持多种数据格式。
本实施例中，数据模型配置模块通过数据模型配置界面与用户交互，支持用户根据自己的数据管理需求，设计相应的数据模型，数据模型支持多种不同的数据格式，包括数字、文本、浮点、时间序列等。
在管理数据模型时，通过数据模型配置界面支持用户对数据模型进行新增操作、启用操作、停用操作、生成操作以及建表操作。
数据字段模板配置管理模块用于执行如下：根据数据模型、设置并导入相应的数据字段模板，生成对应的数据库表。
本实施例中，数据字段模板配置管理模块通过数据字段模板配置管理界面与用户交互，支持以用户根据数据模型设计，维护导入相应的数据字段模版，以生成对应的数据库表。其中，数据模型配置模块支持用户根据实际情况进行数据模型的调整和修改，以更好地描述数据之间的关系和特性。
其中，管理数据字段模板包括维护模版信息、字段列、字段类型及长度。
数据上传模块用于执行如下：对于需要上传的数据，管理需要上传的数据并按照对应的数据字段模板对数据进行格式化，得到格式化的数据。
本实施例中，数据上传模块通过数据上传界面与用户交互，支持用户管理需要上传的数据，包括上传对应模型文件、维护数据周期参数、以及解析数据。
用户将需要上传的数据按照对应的数据字段模版进行格式化，并上传到系统中。采用数据模型来格式化数据，可以动态解析和处理数据，避免了静态编码的限制，提高了数据处理的灵活性和效率。
数据存储模块用于执行如下：对于格式化的数据，将数据存储至对应数据库表中。
数据分析模块用于执行如下：基于预配置的数据分析工具对存储于数据库表中的数据进行多维分析和查询。
本实施例数据分析模块可调用现有的数据分析工具或者改进的数据分析工具，对存储的数据进行多维分析和查询。
本实施例的系统通过维护导入数据字段模板生成对应数据库表，通过上传对应模板格式数据存入对应的数据库表中，从而实现数据的快速存储和分析。
上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。
Claims (10)
1.一种基于数据模型的模型动态解析及数据分析方法，其特征在于，用于将采集的数据上传业务系统，包括如下步骤：
配置并管理数据模型：根据数据管理需求设置相应的数据模型，所述数据模型能够支持多种数据格式；
配置并管理数据字段模板：根据数据模型、设置并导入相应的数据字段模板，生成对应的数据库表；
上传数据：对于需要上传的数据，管理需要上传的数据并按照对应的数据字段模板对数据进行格式化，得到格式化的数据；
数据存储：对于格式化的数据，将数据存储至对应数据库表中；
数据分析：基于预配置的数据分析工具对存储于数据库表中的数据进行多维分析和查询。
2.根据权利要求1所述的基于数据模型的模型动态解析及数据分析方法，其特征在于，数据模型支持的数据格式包括数字、文本、浮点以及时间序列。
3.根据权利要求1所述的基于数据模型的模型动态解析及数据分析方法，其特征在于，管理数据模型包括对数据模型进行新增操作、启用操作、停用操作、生成操作以及建表操作。
4.根据权利要求1所述的基于数据模型的模型动态解析及数据分析方法，其特征在于，管理数据字段模板包括维护模版信息、字段列、字段类型及长度。
5.根据权利要求1所述的基于数据模型的模型动态解析及数据分析方法，其特征在于，管理需要上传的数据包括上传对应模型文件、维护数据周期参数、以及解析数据。
6.一种基于数据模型的模型动态解析及数据分析系统，其特征在于，用于通过如权利要求1-5任一项所述的基于数据模型的模型动态解析及数据分析方法实现数据分析，所述系统包括数据模型配置管理模块、数据字段模板配置管理模块、数据上传模块、数据存储模块以及数据分析模块；
数据模型配置管理模块用于执行如下：根据数据管理需求设置相应的数据模型，所述数据模型能够支持多种数据格式；
数据字段模板配置管理模块用于执行如下：根据数据模型、设置并导入相应的数据字段模板，生成对应的数据库表；
数据上传模块用于执行如下：对于需要上传的数据，管理需要上传的数据并按照对应的数据字段模板对数据进行格式化，得到格式化的数据；
数据存储模块用于执行如下：对于格式化的数据，将数据存储至对应数据库表中；
数据分析模块用于执行如下：基于预配置的数据分析工具对存储于数据库表中的数据进行多维分析和查询。
7.根据权利要求6所述的基于数据模型的模型动态解析及数据分析系统，其特征在于，数据模型支持的数据格式包括数字、文本、浮点以及时间序列。
8.根据权利要求6所述的基于数据模型的模型动态解析及数据分析系统，其特征在于，数据模型配置管理模块用于对数据模型进行新增操作、启用操作、停用操作、生成操作以及建表操作。
9.根据权利要求6所述的基于数据模型的模型动态解析及数据分析系统，其特征在于，对于数据字段模板，数据字段模板配置管理模块用于维护模版信息、字段列、字段类型及长度。
10.根据权利要求6所述的基于数据模型的模型动态解析及数据分析系统，其特征在于，对于需要上传的数据，数据上传模块用于上传对应模型文件、维护数据周期参数、以及解析数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311455876.0A CN117807074A (zh) | 2023-11-03 | 2023-11-03 | 基于数据模型的模型动态解析及数据分析方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311455876.0A CN117807074A (zh) | 2023-11-03 | 2023-11-03 | 基于数据模型的模型动态解析及数据分析方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117807074A true CN117807074A (zh) | 2024-04-02 |
Family
ID=90418867
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311455876.0A Pending CN117807074A (zh) | 2023-11-03 | 2023-11-03 | 基于数据模型的模型动态解析及数据分析方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117807074A (zh) |
-
2023
- 2023-11-03 CN CN202311455876.0A patent/CN117807074A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103500196B (zh) | 多并发大数据量环境下excel数据导出方法及其导出装置 | |
| JP2019523462A (ja) | マルチタスクスケジューリング方法、システム、アプリケーションサーバ及びコンピュータの読み取り可能な記憶媒体 | |
| CN105447122A (zh) | 一种基于多表关联可自主创建档案系统的实现方法 | |
| CN106844307B (zh) | 一种基于标记实现Excel转Word的系统及方法 | |
| JP2010524060A (ja) | 分散コンピューティングにおけるデータマージング | |
| CN104035754A (zh) | 一种基于xml的自定义代码生成方法及生成器 | |
| CN109766529B (zh) | 一种报表的生成方法及设备 | |
| CN107506383B (zh) | 一种审计数据处理方法和计算机设备 | |
| CN103218263A (zh) | MapReduce参数的动态确定方法及装置 | |
| CN103309904A (zh) | 一种生成数据仓库etl 代码的方法及装置 | |
| CN107329765B (zh) | 程序文件处理方法及装置 | |
| CN111797604A (zh) | 报表生成方法、装置、设备及计算机可读存储介质 | |
| CN111444682A (zh) | 一种系统动力学模型转换为xml文件的方法 | |
| CN107133044B (zh) | 数据维护型页面的快速开发方法和系统 | |
| CN109617944B (zh) | Web参数管理方法、装置、计算机存储介质及设备 | |
| CN103309849A (zh) | 一种基于OpenXML的docx文档创建和修改方法 | |
| CN117807074A (zh) | 基于数据模型的模型动态解析及数据分析方法及系统 | |
| CN111401023B (zh) | 一种报表生成方法、装置、服务器及存储介质 | |
| CN116150099A (zh) | 一种基于kettle自动化生成ktr文件的方法 | |
| CN107480186B (zh) | 一种业务模型数据处理方法和计算机设备 | |
| CN114297994A (zh) | 一种参数化报表生成的方法、系统、装置及存储介质 | |
| CN111782608B (zh) | 文件自动生成方法、装置、电子设备及存储介质 | |
| CN113282279A (zh) | 一种电力系统调控云的后台推送的曲线组件及实现方法 | |
| CN112115694A (zh) | 一种基于多元组数据结构的仿真报告生成方法及装置 | |
| CN112131051A (zh) | 基于参数化配置的数据备份方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |