CN116340321A - 一种数据管理方法、装置、电子设备及存储介质 - Google Patents
一种数据管理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116340321A CN116340321A CN202310309224.XA CN202310309224A CN116340321A CN 116340321 A CN116340321 A CN 116340321A CN 202310309224 A CN202310309224 A CN 202310309224A CN 116340321 A CN116340321 A CN 116340321A
- Authority
- CN
- China
- Prior art keywords
- data
- schema
- current
- historical
- format
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000013523 data management Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000013500 data storage Methods 0.000 claims abstract description 19
- 238000004458 analytical method Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012827 research and development Methods 0.000 abstract description 7
- 238000013507 mapping Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2219—Large Object storage; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种数据管理方法、装置、电子设备及存储介质，该方法在获取到目标设备发送的数据之后，确定所获取到数据的当前Schema；判断当前Schema相较于历史Schema是否发生变化；历史Schema是从关系型数据库中查询到存储目标设备数据的数据存储表的历史Schema；若是则更新关系型数据库中的Schema数据，即本案使用关系型数据库管理数据Schema，在数据结构发生变化时动态更改存储表，避免了因新能源设备升级变更带来数据变更导致的表结构重新设计，与历史数据转化为新的数据结构后重新导入表的操作，解决了现有方式处理海量数据会带来数据处理周期长、资源占用高、研发周期与程序迭代周期长的问题。
Description
技术领域
本发明涉及数据管理技术领域，具体涉及一种数据管理方法、装置、电子设备及存储介质。
背景技术
随着新能源的快速发展，新能源设备的使用数量呈指数增长，海量设备的投入使用意味着海量数据的计算使用与管理。但是，新能源领域的高速发展，使得设备更新换代快，需要采集的设备数据结构频繁变更，而变更后的数据结构在程序设计之初是不可预知的，因此设备升级变更就会导致对应数据处理程序需要频繁设计、更改表存储结构，同时需要将已有表中的历史数据修改为最新的数据结构重新导入新表中。
此种方式处理海量数据，会带来数据处理周期长、资源占用高、研发周期与程序迭代周期长的问题。
发明内容
有鉴于此，本发明实施例提供一种数据管理方法、装置、电子设备及存储介质，以解决现有方式处理海量数据会带来数据处理周期长、资源占用高、研发周期与程序迭代周期长的问题。
为实现上述目的，本发明实施例提供如下技术方案：
本发明实施例第一方面公开一种数据管理方法，包括：
在获取到目标设备发送的数据之后，确定所获取到数据的当前Schema；
判断所述当前Schema相较于历史Schema是否发生变化；所述历史Schema是从关系型数据库中查询到存储所述目标设备数据的数据存储表的历史Schema；
若判断出所述当前Schema相较于历史Schema发生变化，则更新所述关系型数据库中的Schema数据。
可选地，在上述的数据管理方法中，确定所获取到数据的当前Schema，包括：
判断所获取到的数据的格式是否与预设格式相同；
若判断出所获取到的数据的格式与预设格式不同，则将所获取到数据补全为格式满足所述预设格式的数据，并基于补全后的数据进行预设数据处理，确定出所述当前Schema；
若判断出所获取到的数据的格式与预设格式相同，则基于所获取到的数据进行所述预设数据处理，确定出所述当前Schema。
可选地，在上述的数据管理方法中，所述预设数据处理过程具体为：
对与所述预设格式相同的数据进行解析，得到解析数据；
基于所述解析数据推断出数据名称和数据类型，得到目标转化数据；
对所述目标转化数据进行转化，得到所述当前Schema。
可选地，在上述的数据管理方法中，还包括：
将与所述预设格式相同的数据进行结构化处理，并将结构化处理后的数据以预设文件格式进行存储。
可选地，在上述的数据管理方法中，判断所述当前Schema相较于历史Schema是否发生变化，包括：
判断所述当前Schema的名称和类型是否与所述历史Schema的名称和类型相同；
若判断出所述当前Schema的名称和类型与所述历史Schema的名称和类型相同，则判定所述当前Schema相较于历史Schema未发生变化；
若判断出所述当前Schema的名称和类型与所述历史Schema的名称和类型不相同，则判定所述当前Schema相较于历史Schema发生变化。
本发明实施例第二方面公开一种数据管理装置，包括：
确定单元，用于在获取到目标设备发送的数据之后，确定所获取到数据的当前Schema；
判断单元，用于判断所述当前Schema相较于历史Schema是否发生变化；所述历史Schema是从关系型数据库中查询到存储所述目标设备数据的数据存储表的历史Schema；
更新单元，用于若判断出所述当前Schema相较于历史Schema发生变化，则更新所述关系型数据库中的Schema数据。
可选地，在上述的数据管理装置中，所述确定单元在用于确定所获取到数据的当前Schema的过程中，具体用于：
判断所获取到的数据的格式是否与预设格式相同；
若判断出所获取到的数据的格式与预设格式不同，则将所获取到数据补全为格式满足所述预设格式的数据，并基于补全后的数据进行预设数据处理，确定出所述当前Schema；
若判断出所获取到的数据的格式与预设格式相同，则基于所获取到的数据进行所述预设数据处理，确定出所述当前Schema。
可选地，在上述的数据管理装置中，所述预设数据处理过程具体为：
对与所述预设格式相同的数据进行解析，得到解析数据；
基于所述解析数据推断出数据名称和数据类型，得到目标转化数据；
对所述目标转化数据进行转化，得到所述当前Schema。
可选地，在上述的数据管理装置中，还包括：
处理存储单元，用于将与所述预设格式相同的数据进行结构化处理，并将结构化处理后的数据以预设文件格式进行存储。
可选地，在上述的数据管理装置中，所述判断单元具体用于：
判断所述当前Schema的名称和类型是否与所述历史Schema的名称和类型相同；
若判断出所述当前Schema的名称和类型与所述历史Schema的名称和类型相同，则判定所述当前Schema相较于历史Schema未发生变化；
若判断出所述当前Schema的名称和类型与所述历史Schema的名称和类型不相同，则判定所述当前Schema相较于历史Schema发生变化。
本发明实施例第三方面公开一种电子设备，包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述计算机程序，具体用于实现如第一方面公开的任意一项所述的数据管理方法。
本发明实施例第四方面公开一种计算机存储介质，用于存储计算机程序，所述计算机程序被执行时，具体用于实现如第一方面公开的任意一项所述的数据管理方法。
基于上述本发明实施例提供的一种数据管理方法，包括：在获取到目标设备发送的数据之后，确定所获取到数据的当前Schema；判断当前Schema相较于历史Schema是否发生变化；历史Schema是从关系型数据库中查询到存储目标设备数据的数据存储表的历史Schema；若判断出当前Schema相较于历史Schema发生变化，则更新关系型数据库中的Schema数据，也即本申请使用关系型数据库管理数据Schema，进而在数据结构发生变化时动态更改存储表，避免了因新能源设备升级变更带来数据变更导致的表结构重新设计，与历史数据转化为新的数据结构后重新导入表的操作，解决了现有方式处理海量数据会带来数据处理周期长、资源占用高、研发周期与程序迭代周期长的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种数据管理方法的流程图；
图2为本发明实施例提供的一种确定所获取到数据的当前Schema的流程图；
图3为本发明实施例提供的一种判断当前Schema相较于历史Schema是否发生变化的流程图；
图4为本发明实施例提供的另一种数据管理方法的流程图；
图5为本发明实施例提供的一种数据管理装置的结构示意图；
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本申请实施例提供了一种数据管理方法，以解决现有方式处理海量数据会带来数据处理周期长、资源占用高、研发周期与程序迭代周期长的问题。
请参见图1，该数据管理方法主要包括如下步骤：
S101、在获取到目标设备发送的数据之后，确定所获取到数据的当前Schema。
实际应用中，目标设备可以是需要进行数据管理的设备，比如可以是新能源领域任意的数据采集设备或数据管理设备；当然，并不仅限于此，还可视应用环境和用户需求确定，本申请不作具体限定，均在本申请的保护范围之内。
需要说明的是，目标设备发送的数据可以是测点数据，当然，并不仅限于此，还可视具体应用环境和用户需求确定，本申请对其不作具体限定，均在本申请的保护范围之内。
实际应用中，执行步骤S101中确定所获取到数据的当前Schema的具体过程可如图2所示，可以包括步骤S201至S203：
S201、判断所获取到的数据的格式是否与预设格式相同。
其中，预设格式可以是Json格式；当然，并不仅限于此，还可视具体应用环境和用户需求确定，本申请对其不作限定，均在本申请的保护范围之内。
若判断出所获取到的数据的格式与预设格式不同，则可以执行步骤S202；若判断出所获取到的数据的格式与预设格式相同，则可以执行步骤S203。
S202、将所获取到数据补全为格式满足预设格式的数据，并基于补全后的数据进行预设数据处理，确定出当前Schema。
S203、基于所获取到的数据进行预设数据处理，确定出当前Schema。
其中，预设数据处理的具体过程可以为：首先，对与预设格式相同的数据进行解析，得到解析数据；其次，基于解析数据推断出数据名称和数据类型，得到目标转化数据；最后，对目标转化数据进行转化，得到当前Schema。
具体的，与预设格式相同的数据可以是Json数据。其中，该数据可以是将所获取到的非Json格式的数据自动以column1，column2……columnX为字段名称将数据补全为Json数据，也可以直接是所获取到为Json格式的数据。
结合上述，假设预设格式为Json格式，则对数据进行预设数据处理，确定出当前Schema的具体过程可以为：
步骤1：判断所获取到的数据是否为Json格式的数据；若非Json格式的数据，则自动以column1，column2……columnX为字段名称将数据补全为Json格式的数据；若为Json格式的数据则可以直接使用。
步骤2：将Json格式的数据解析为JsonNode，并从JsonNode中自动推断出数据名称和数据类型，得到RowType(column_name,column_type)。
步骤3：将RowType(column_name,column_type)转化为当前Schema。
S102、判断当前Schema相较于历史Schema是否发生变化。
其中，历史Schema是从关系型数据库中查询到存储目标设备数据的数据存储表的历史Schema。
实际应用中，执行步骤S102、判断当前Schema相较于历史Schema是否发生变化的具体过程可如图3所示，主要包括步骤S301和S303：
S301、判断当前Schema的名称和类型是否与历史Schema的名称和类型相同。
实际应用中，可以从关系型数据库中查询到存储目标设备数据的数据存储表的历史Schema，然后将当前Schema的名称和类型与历史Schema的名称和类型与一一进行比对，都相同说明存储目标设备数据的数据存储表的Schema未发生变化，反映出数据结构未变化；若有不同，则说明存储目标设备数据的数据存储表的Schema发生变化，反映出数据结构发生变化。
若判断出当前Schema的名称和类型与历史Schema的名称和类型相同，则可以执行步骤S302；若判断出当前Schema的名称和类型是否与历史Schema的名称和类型不相同，则可以执行步骤S303。
S302、判定当前Schema相较于历史Schema未发生变化。
实际应用中，若判断出当前Schema的名称和类型与历史Schema的名称和类型相同，则可以判定当前Schema相较于历史Schema未发生变化，也即说明数据结果未变化。
S303、判定当前Schema相较于历史Schema发生变化。
实际应用中，若判断出当前Schema的名称和类型是否与历史Schema的名称和类型不相同，则可以判定当前Schema相较于历史Schema发生变化，也即说明数据结构发生变化。
若判断出当前Schema相较于历史Schema发生变化，则可以执行步骤S103。
S103、更新关系型数据库中的Schema数据。
实际应用中，若判断出当前Schema相较于历史Schema发生变化，则可以更新关系型数据库中的Schema数据。由于Schema数据实际上就是一个Json数据，Json数据中记录了字段的名称、数据类型、数据长度、默认值，更新Schema数据可以理解为更新Json数据。
能够理解的是，通过更新关系型数据中的Schema数据，能够在关系型数据库中修改存储目标设备数据的数据存储表，从而能够保证在后续进行数据查询时可直接通过查询目标设备的数据存储表得到。
需要说明的是，实际中还可以在关系型数据库中存储并管理Schema，具体过程可以为：存储数据存储路径与数据的Schema映射关系，当进行查询时，以数据存储表的路径映射到Schema数据。当进行查询时如果未能映射查询到Schema，则新建一个映射关系存储到关系型数据库。当Schema发生变化时，使用所述数据最新Schema替换历史Schema。
基于上述原理，本实施例提供的数据管理方法，包括：在获取到目标设备发送的数据之后，确定所获取到数据的当前Schema；判断当前Schema相较于历史Schema是否发生变化；历史Schema是从关系型数据库中查询到存储目标设备数据的数据存储表的历史Schema；若判断出当前Schema相较于历史Schema发生变化，则更新关系型数据库中的Schema数据，也即本申请使用关系型数据库管理数据Schema，进而在数据结构发生变化时动态更改存储表，避免了因新能源设备升级变更带来数据变更导致的表结构重新设计，与历史数据转化为新的数据结构后重新导入表的操作，解决了现有方式处理海量数据会带来数据处理周期长、资源占用高、研发周期与程序迭代周期长的问题。
此外，还解决了新能源设备更新换代快，数据结构变更频繁导致历史数据不可直接使用、原有程序需要频繁更新的问题，节省程序研发成本并降低了程序迭代周期。
可选地，在本申请提供的另一实施例中，该数据管理方法还包括：将与预设格式相同的数据进行结构化处理，并将结构化处理后的数据以预设文件格式进行存储。
其中，预设文件格式可以parquet文件格式；当然，并不仅限于此，还可视具体应用环境和用户需求确定，本申请对其不作具体限定，均在本申请的保护范围之内。
实际应用中，假设与预设格式相同的数据为Json数据，则将Json数据结构化为avro数据，再将avro数据以parquet文件格式存储。
由于avro数据是一个数据行列式存储格式，parquet文件格式是一个数据列存储格式，parquet文件格式能够存储数据的Schema信息，因此将Json数据结构化为avro数据，再将avro数据以parquet文件格式存储，能够保证最新的数据使用行式存储，因为最新的数据肯定是最新的schema，而历史数据使用parquet格式存储，在读取时就可以知道这个历史数据当时的schema，当时schema没有的字段就可以根据最新的schema自动给他补全。
在本实施例中，将目标设备的数据转化为avro数据并以parquet文件格式进行存储，不仅能够方便查询历史schema，还能够基于历史schema存储的数据对最新的schema进行补全，实现了历史海量数据兼容查询，赋予业务横向扩展的强大能力，此外还能够有效减少存储数据所占空间，能提高数据查找时的扫描耗时。
基于上述实施例提供的数据管理方法，结合图4，本发明具有如下实施过程：
步骤1：获取设备/用户发送的数据。
首先启动程序，实时收集设备/用户发送的测点数据。
步骤2：将步骤1获取到的数据判断是否为Json格式的数据，若非Json数据，则自动以column1，column2……columnX为字段名称将数据补全为Json数据；若数据为Json数据则直接使用。
步骤3：将步骤2判断处理后的Json数据解析为JsonNode并从JsonNode中自动推断出数据名称和数据类型，得到RowType(column_name,column_type)。
步骤4：将步骤3得到的RowType(column_name,column_type)转化为Schema，根据Schema将步骤2判断处理后的Json数据结构化为avro数据。
步骤5：从关系型数据库中查询到数据存储表的历史Schema，与步骤4提取的最新Schema的name和type一一比对，都相同时说明Schema未发生变化，反映出数据结构未变化；有不同时说明Schema发生变化，反映出数据结构发生变化。
步骤6：根据步骤5的Schema比对结果，若步骤4转化后的Schema发生变化则更新关系型数据库中的Schema数据。
步骤7：将步骤4结构化后的avro数据以parquet文件格式存储。
还需要说明的是，上述仅仅是本发明示出的一个具体应用实例，在实际应用中，数据管理方法的具体实现过程，还可视具体应用环境和用户需求确定，只要思想及原理与本申请提供的数据管理方法相同，均在本申请的保护范围之内。
与上述本发明实施例提供的一种数据管理方法相对应，请参见图5，本申请另一实施例还提供了一种数据管理装置，该装置主要包括：
确定单元101，用于在获取到目标设备发送的数据之后，确定所获取到数据的当前Schema。
判断单元102，用于判断当前Schema相较于历史Schema是否发生变化；所述历史Schema是从关系型数据库中查询到存储目标设备数据的数据存储表的历史Schema。
更新单元103，用于若判断出当前Schema相较于历史Schema发生变化，则更新关系型数据库中的Schema数据。
在具体实现中，确定单元101在用于确定所获取到数据的当前Schema的过程中，具体用于：
判断所获取到的数据的格式是否与预设格式相同；若判断出所获取到的数据的格式与预设格式不同，则将所获取到数据补全为格式满足预设格式的数据，并基于补全后的数据进行预设数据处理，确定出当前Schema；若判断出所获取到的数据的格式与预设格式相同，则基于所获取到的数据进行预设数据处理，确定出当前Schema。
在具体实现中，预设数据处理过程具体为：
对与预设格式相同的数据进行解析，得到解析数据；基于解析数据推断出数据名称和数据类型，得到目标转化数据；对目标转化数据进行转化，得到当前Schema。
在具体实现中，数据管理装置还包括：处理存储单元，用于将与预设格式相同的数据进行结构化处理，并将结构化处理后的数据以预设文件格式进行存储。
在具体实现中，判断单元102具体用于：
判断当前Schema的名称和类型是否与历史Schema的名称和类型相同；若判断出当前Schema的名称和类型与历史Schema的名称和类型相同，则判定当前Schema相较于历史Schema未发生变化；若判断出当前Schema的名称和类型与历史Schema的名称和类型不相同，则判定当前Schema相较于历史Schema发生变化。
基于上述，本实施提供的数据管理装置，可以通过确定单元101用于在获取到目标设备发送的数据之后，确定所获取到数据的当前Schema；判断单元102用于判断当前Schema相较于历史Schema是否发生变化；历史Schema是从关系型数据库中查询到存储目标设备数据的数据存储表的历史Schema。更新单元103用于若判断出当前Schema相较于历史Schema发生变化，则更新关系型数据库中的Schema数据，也即本申请使用关系型数据库管理数据Schema，进而在数据结构发生变化时动态更改存储表，避免了因新能源设备升级变更带来数据变更导致的表结构重新设计，与历史数据转化为新的数据结构后重新导入表的操作，解决了现有方式处理海量数据会带来数据处理周期长、资源占用高、研发周期与程序迭代周期长的问题。
可选地，本申请另一实施例还提供了一种电子设备，请参见图6，包括存储器601和处理器602；
存储器601用于存储计算机程序；
处理器602用于执行计算机程序，具体用于实现如本申请任一实施例所提供的数据管理方法。
需要说明的是，关于数据管理方法的相关说明可参见上述实施例，此处不再赘述。
可选地，本申请实施例还提供一种计算机存储介质，用于存储计算机程序，计算机程序被执行时，具体用于实现本申请任一实施例提供的数据管理方法。
需要说明的是，关于数据管理方法的相关说明可参见上述实施例，此处不再赘述。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
需要说明的是，本申请涉及的信息(包括但不仅限于用户设备信息、用户个人信息)和数据(包括但不仅限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
Claims (12)
1.一种数据管理方法，其特征在于，包括：
在获取到目标设备发送的数据之后，确定所获取到数据的当前Schema；
判断所述当前Schema相较于历史Schema是否发生变化；所述历史Schema是从关系型数据库中查询到存储所述目标设备数据的数据存储表的历史Schema；
若判断出所述当前Schema相较于历史Schema发生变化，则更新所述关系型数据库中的Schema数据。
2.根据权利要求1所述的数据管理方法，其特征在于，确定所获取到数据的当前Schema，包括：
判断所获取到的数据的格式是否与预设格式相同；
若判断出所获取到的数据的格式与预设格式不同，则将所获取到数据补全为格式满足所述预设格式的数据，并基于补全后的数据进行预设数据处理，确定出所述当前Schema；
若判断出所获取到的数据的格式与预设格式相同，则基于所获取到的数据进行所述预设数据处理，确定出所述当前Schema。
3.根据权利要求2所述的数据管理方法，其特征在于，所述预设数据处理过程具体为：
对与所述预设格式相同的数据进行解析，得到解析数据；
基于所述解析数据推断出数据名称和数据类型，得到目标转化数据；
对所述目标转化数据进行转化，得到所述当前Schema。
4.根据权利要求3所述的数据管理方法，其特征在于，还包括：
将与所述预设格式相同的数据进行结构化处理，并将结构化处理后的数据以预设文件格式进行存储。
5.根据权利要求1所述的数据管理方法，其特征在于，判断所述当前Schema相较于历史Schema是否发生变化，包括：
判断所述当前Schema的名称和类型是否与所述历史Schema的名称和类型相同；
若判断出所述当前Schema的名称和类型与所述历史Schema的名称和类型相同，则判定所述当前Schema相较于历史Schema未发生变化；
若判断出所述当前Schema的名称和类型与所述历史Schema的名称和类型不相同，则判定所述当前Schema相较于历史Schema发生变化。
6.一种数据管理装置，其特征在于，包括：
确定单元，用于在获取到目标设备发送的数据之后，确定所获取到数据的当前Schema；
判断单元，用于判断所述当前Schema相较于历史Schema是否发生变化；所述历史Schema是从关系型数据库中查询到存储所述目标设备数据的数据存储表的历史Schema；
更新单元，用于若判断出所述当前Schema相较于历史Schema发生变化，则更新所述关系型数据库中的Schema数据。
7.根据权利要求6所述的数据管理装置，其特征在于，所述确定单元在用于确定所获取到数据的当前Schema的过程中，具体用于：
判断所获取到的数据的格式是否与预设格式相同；
若判断出所获取到的数据的格式与预设格式不同，则将所获取到数据补全为格式满足所述预设格式的数据，并基于补全后的数据进行预设数据处理，确定出所述当前Schema；
若判断出所获取到的数据的格式与预设格式相同，则基于所获取到的数据进行所述预设数据处理，确定出所述当前Schema。
8.根据权利要求7所述的数据管理装置，其特征在于，所述预设数据处理过程具体为：
对与所述预设格式相同的数据进行解析，得到解析数据；
基于所述解析数据推断出数据名称和数据类型，得到目标转化数据；
对所述目标转化数据进行转化，得到所述当前Schema。
9.根据权利要求8所述的数据管理装置，其特征在于，还包括：
处理存储单元，用于将与所述预设格式相同的数据进行结构化处理，并将结构化处理后的数据以预设文件格式进行存储。
10.根据权利要求6所述的数据管理装置，其特征在于，所述判断单元具体用于：
判断所述当前Schema的名称和类型是否与所述历史Schema的名称和类型相同；
若判断出所述当前Schema的名称和类型与所述历史Schema的名称和类型相同，则判定所述当前Schema相较于历史Schema未发生变化；
若判断出所述当前Schema的名称和类型与所述历史Schema的名称和类型不相同，则判定所述当前Schema相较于历史Schema发生变化。
11.一种电子设备，其特征在于，包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述计算机程序，具体用于实现如权利要求1至5任意一项所述的数据管理方法。
12.一种计算机存储介质，其特征在于，用于存储计算机程序，所述计算机程序被执行时，具体用于实现如权利要求1至5任意一项所述的数据管理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310309224.XA CN116340321A (zh) | 2023-03-27 | 2023-03-27 | 一种数据管理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310309224.XA CN116340321A (zh) | 2023-03-27 | 2023-03-27 | 一种数据管理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116340321A true CN116340321A (zh) | 2023-06-27 |
Family
ID=86885392
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310309224.XA Pending CN116340321A (zh) | 2023-03-27 | 2023-03-27 | 一种数据管理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116340321A (zh) |
-
2023
- 2023-03-27 CN CN202310309224.XA patent/CN116340321A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109144997A (zh) | 数据关联方法、装置及存储介质 | |
| CN111061766A (zh) | 一种业务数据的处理方法、装置、计算机设备及存储介质 | |
| CN109450969B (zh) | 从第三方数据源服务器中获取数据的方法、装置和服务器 | |
| CN103336792A (zh) | 数据分区方法和装置 | |
| CN110134738A (zh) | 分布式存储系统资源预估方法、装置 | |
| CN113568924B (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
| CN111767314A (zh) | 数据缓存及查询方法、装置、懒缓存系统及存储介质 | |
| US9760836B2 (en) | Data typing with probabilistic maps having imbalanced error costs | |
| CN108154024B (zh) | 一种数据检索方法、装置及电子设备 | |
| CN111309868A (zh) | 一种知识图谱构建、检索方法及装置 | |
| CN108874304B (zh) | 一种缓存系统的规则配置方法和装置 | |
| CN110647542A (zh) | 一种数据获取方法和装置 | |
| CN111046081A (zh) | 一种工业时序数据的访问方法及系统 | |
| CN110321367A (zh) | 一种数据存储方法、数据查询方法及相关装置、电子设备 | |
| CN111310076B (zh) | 地理位置查询方法、装置、介质及电子设备 | |
| CN112579682A (zh) | 数据模型变更的通知方法、装置、电子设备及存储介质 | |
| CN112486985A (zh) | 一种锅炉数据的查询方法、装置、设备及存储介质 | |
| CN116340321A (zh) | 一种数据管理方法、装置、电子设备及存储介质 | |
| CN116450607A (zh) | 数据处理方法、设备及存储介质 | |
| CN110955460A (zh) | 一种服务进程启动方法、装置、电子设备和存储介质 | |
| CN114268608A (zh) | 一种地址段检索方法、装置、电子设备及存储介质 | |
| CN114020766A (zh) | 数据查询方法、装置及终端设备 | |
| CN109150993B (zh) | 一种获取网络请求切面的方法、终端装置及存储介质 | |
| CN112883064A (zh) | 一种自适应采样与查询方法及系统 | |
| US9495413B2 (en) | Systems and methods for accessing data from a database |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |