CN111352973A - 数据处理方法、装置、电子设备和计算机可读存储介质 - Google Patents

数据处理方法、装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN111352973A
CN111352973A CN202010136053.1A CN202010136053A CN111352973A CN 111352973 A CN111352973 A CN 111352973A CN 202010136053 A CN202010136053 A CN 202010136053A CN 111352973 A CN111352973 A CN 111352973A
Authority
CN
China
Prior art keywords
data
level
cache
time
time resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010136053.1A
Other languages
English (en)
Other versions
CN111352973B (zh
Inventor
黄启义
朱涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Zoncare Bio Medical Electronics Co ltd
Original Assignee
Wuhan Zoncare Bio Medical Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Zoncare Bio Medical Electronics Co ltd filed Critical Wuhan Zoncare Bio Medical Electronics Co ltd
Priority to CN202010136053.1A priority Critical patent/CN111352973B/zh
Publication of CN111352973A publication Critical patent/CN111352973A/zh
Application granted granted Critical
Publication of CN111352973B publication Critical patent/CN111352973B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2477—Temporal data queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种数据处理方法、装置、电子设备和计算机可读存储介质，涉及数据处理领域。该数据处理方法应用于电子设备，包括：获取多个数据点；为每个数据点添加时间分辨率标记，获取时间分辨率数据集合；将用户的数据查看需求与时间分辨率数据集合进行匹配，以获取目标趋势数据；数据查看需求用于确定目标趋势数据的目标显示条件，目标趋势数据为时间分辨率数据集合中，符合目标显示条件的多个数据在第一时间段内的变化趋势。通过对数据点进行标记，当接收到数据查看需求时，在时间分辨率集合中获取符合目标显示条件的目标趋势数据，根据对数据重要性集合的管理，能分析和存储最重要的、最关注的目标趋势数据。

Description

数据处理方法、装置、电子设备和计算机可读存储介质
技术领域
本发明涉及数据处理领域，具体而言，涉及一种数据处理方法、装置、电子设备和计算机可读存储介质。
背景技术
随着社会的发展以及智能化的普及，每天产生的数据逐渐增加。数据的总量增加，对每个数据进行查看和使用极为不便，因此，将在不同时间点的同类数据进行处理，以便获取数据在不同时间点的变化趋势是目前常用的方法。
目前的技术方案中，有一种高效的历史趋势数据存储方法，其通过人工选择过滤规则，过滤技术采用的是区间过滤技术、采样值过滤技术或斜率过滤技术；对于每个接收源数据进行手工区间定义；对于每个接收源数据进行拐点识别；完成过滤后将历史趋势数据进行存储，可以有效减少大容量数据在应用中的存储空间，提高系统运行效率。
现有方案通过使用过滤的方式来减少数据存储，达到提高性能和效率的目的，但是，其有损数据精确性和准确性；而且，各种过滤技术会导致数据丢失，进而造成趋势数据的趋势不完整问题，还可能丢失重要趋势数据。
发明内容
有鉴于此，本发明的目的在于提供一种数据处理方法、装置、电子设备和计算机可读存储介质。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，实施例提供一种数据处理方法，应用于电子设备，所述方法包括：获取多个数据点；所述数据点包括数据和采集所述数据的时间信息；为每个所述数据点添加时间分辨率标记，获取时间分辨率数据集合；所述时间分辨率标记用于确定所述数据的显示条件；将用户的数据查看需求与所述时间分辨率数据集合进行匹配，以获取目标趋势数据；所述数据查看需求用于确定所述目标趋势数据的目标显示条件，所述目标趋势数据为所述时间分辨率数据集合中，符合所述目标显示条件的多个数据在第一时间段内的变化趋势。
在可选的实施方式中，所述电子设备还包括一级缓存和二级缓存，在所述获取多个数据点之后，所述方法还包括：将多个所述数据点存储至所述一级缓存；当所述一级缓存的存储区域被多个所述数据点填充完整时，判断所述一级缓存中存储的第一数据与所述二级缓存中存储的第二数据是否一致；若不一致，则将所述第一数据存储到所述二级缓存并清空所述一级缓存中存储的所述第一数据。
在可选的实施方式中，所述电子设备包括数据库，在所述为每个所述数据点添加时间分辨率标记，获取时间分辨率数据集合之后，所述方法还包括：将所述时间分辨率数据集合存储至所述数据库。
在可选的实施方式中，所述为每个所述数据点添加时间分辨率标记，获取时间分辨率数据集合，包括：确定采集所述数据时，所述数据对应的事件信息；根据所述数据的事件信息，确定所述数据的重要性级别；所述重要性级别用于确定多个所述数据点中，符合预设时间分辨率的至少一个有效数据点；将与所述重要性级别对应的预设时间分辨率标记添加至所述有效数据点，以获取所述时间分辨率数据集合。
在可选的实施方式中，所述电子设备包括存储定时器、数据库和二级缓存，所述数据库包括多个所述数据点以及每个所述数据的所述重要性级别，所述方法还包括：当所述存储定时器达到预设周期时，将所述二级缓存的存储数据存储至所述数据库。
第二方面，本发明提供一种数据处理装置，包括：获取模块和处理模块。所述获取模块用于获取多个数据点；所述数据点包括数据和采集所述数据的时间信息；所述处理模块用于为每个所述数据点添加时间分辨率标记，获取时间分辨率数据集合；所述时间分辨率标记用于确定所述数据的显示条件；所述处理模块还用于将用户的数据查看需求与所述时间分辨率数据集合进行匹配，以获取目标趋势数据；所述数据查看需求用于确定所述目标趋势数据的目标显示条件，所述目标趋势数据为所述时间分辨率数据集合中，符合所述目标显示条件的多个数据在第一时间段内的变化趋势。
在可选的实施方式中，所述数据处理装置还包括一级缓存和二级缓存，所述处理模块还用于将多个所述数据点存储至所述一级缓存；所述处理模块还用于当所述一级缓存的存储区域被多个所述数据点填充完整时，判断所述一级缓存中存储的第一数据与所述二级缓存中存储的第二数据是否一致；所述处理模块还用于若所述一级缓存中存储的第一数据与所述二级缓存中存储的第二数据不一致，将所述第一数据存储到所述二级缓存并清空所述一级缓存中存储的所述第一数据。
在可选的实施方式中，所述数据处理装置包括数据库，所述处理模块还用于将所述时间分辨率数据集合存储至所述数据库。
在可选的实施方式中，所述处理模块还用于确定采集所述数据时，所述数据对应的事件信息；所述处理模块还用于根据所述数据的事件信息，确定所述数据的重要性级别；所述重要性级别用于确定多个所述数据点中，符合预设时间分辨率的至少一个有效数据点；所述处理模块还用于将与所述重要性级别对应的预设时间分辨率标记添加至所述有效数据点，以获取所述时间分辨率数据集合。
在可选的实施方式中，所述数据处理装置包括存储定时器、数据库和二级缓存，所述处理模块还用于当所述存储定时器达到预设周期时，将所述二级缓存的存储数据存储至所述数据库。
在可选的实施方式中，当所述数据点还包括所述数据的初始重要性级别时，所述将与所述重要性级别对应的预设时间分辨率标记添加至所述有效数据点，包括：判断所述重要性级别是否大于或等于所述初始重要性级别；若是，则将所述预设时间分辨率标记添加至所述有效数据点；若否，则在所述有效数据点保持所述初始重要性级别对应的时间分辨率标记。
第三方面，本发明提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式中的任一项所述的方法。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述实施方式中的任一项所述的方法。
相较于现有技术，本发明提出一种数据处理方法、装置、电子设备和计算机可读存储介质，涉及数据处理领域。该数据处理方法应用于电子设备，所述方法包括：获取多个数据点；所述数据点包括数据和采集所述数据的时间信息；为每个所述数据点添加时间分辨率标记，获取时间分辨率数据集合；所述时间分辨率标记用于确定所述数据的显示条件；将用户的数据查看需求与所述时间分辨率数据集合进行匹配，以获取目标趋势数据；所述数据查看需求用于确定所述目标趋势数据的目标显示条件，所述目标趋势数据为所述时间分辨率数据集合中，符合所述目标显示条件的多个数据在第一时间段内的变化趋势。通过对数据点进行标记，当接收到数据查看需求时，在时间分辨率集合中获取符合目标显示条件的目标趋势数据，根据对数据重要性集合的管理，能分析和存储最重要的、最关注的目标趋势数据。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种电子设备的方框示意图；
图2为本发明实施例提供的一种数据处理方法的流程示意图；
图3为本发明实施例提供的另一种数据处理方法的流程示意图；
图4为本发明实施例提供的另一种数据处理方法的流程示意图；
图5为本发明实施例提供的另一种数据处理方法的流程示意图；
图6为本发明实施例提供的另一种数据处理方法的流程示意图；
图7为本发明实施例提供的另一种数据处理方法的流程示意图；
图8为本发明实施例提供的一种数据处理装置的方框示意图。
图标：40-数据处理装置，41-获取模块，42-处理模块，60-电子设备，61-存储器，62-处理器，63-通信接口。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
有一种高效的历史趋势数据存储方法，其通过人工选择过滤规则，过滤技术采用的是区间过滤技术、采样值过滤技术或斜率过滤技术；对于每个接收源数据进行手工区间定义；对于每个接收源数据进行拐点识别；完成过滤后将历史趋势数据进行存储，可以有效减少大容量数据在应用中的存储空间，提高系统运行效率。现有方案通过数据过滤和数据衰减来达到减少数据存储空间和提高性能的目的，但是，其有损数据精确性和准确性；而且，各种过滤技术会导致数据丢失，进而造成趋势数据的趋势不完整问题，还可能丢失重要趋势数据。
为了解决上述问题，本发明实施例提供一种数据处理方法，该数据处理方法应用于电子设备，请参见图1，图1为本发明实施例提供的一种电子设备的方框示意图。该电子设备60包括存储器61、处理器62和通信接口63。该存储器61、处理器62和通信接口63相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器61可用于存储软件程序及模块，如本申请实施例所提供的数据处理方法对应的程序指令/模块，处理器62通过执行存储在存储器61内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口63可用于与其他节点设备进行信令或数据的通信。在本申请中该电子设备60可以具有多个通信接口63。
其中，存储器61可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器62可以是一种集成电路芯片，具有信号处理能力。该处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
电子设备60可以实现本申请提供的任一种数据处理方法。该电子设备60可以是，但不限于，手机、平板电脑、笔记本电脑、服务器或其它具有处理能力的电子设备。
下面在图1示出的电子设备60的基础上，为了解决上述的问题和背景技术提出的不足，本发明实施例提供一种数据处理方法，请参见图2，图2为本发明实施例提供的一种数据处理方法的流程示意图。该数据处理方法包括：
S31、获取多个数据点。
该数据点包括数据和采集数据的时间信息。应理解，上述数据可以是多个传感器或采集模块采集的一个或多个数据，每个传感器或采集模块可以通过不同的通信线路将上述数据传输到电子设备，以便电子设备执行后续的数据处理。
S32、为每个数据点添加时间分辨率标记，获取时间分辨率数据集合。时间分辨率标记用于确定数据的显示条件。
S33、将用户的数据查看需求与时间分辨率数据集合进行匹配，以获取目标趋势数据。
该数据查看需求用于确定目标趋势数据的目标显示条件；目标趋势数据为时间分辨率数据集合中，符合目标显示条件的多个数据在第一时间段内的变化趋势。需要注意的是，第一时间段是多个数据点对应的时间信息所处的所有时间段内，可选择的任何时段；该第一时间段可以有用户的数据查看需求确定。例如，目标趋势数据可以包括所有时间段内的实时数据，还可以是第一时间段内的数据，具体时间段的确定可以根据用户需求进行确定或调整。
通过对数据点进行标记，当接收到数据查看需求时，在时间分辨率集合中获取符合目标显示条件的目标趋势数据，根据对数据重要性集合的管理，能分析和存储最重要的、最关注的目标趋势数据。
例如，通过上述的时间分辨率标记，可以针对任何数据点进行标记；由于电子设备的屏幕显示像素是一定的，那么一定的像素内，只能显示一定的趋势数据；若时间分辨率较大(如数据点的显示条件为每秒都需要显示)，而电子设备的屏幕显示像素较小(如仅具有1024个显示像素点)时，当数据查看需求为查看最近一小时内的趋势数据(即需要查看3600个数据点构成的目标趋势数据)，需要查询多余的数据点，然后进行处理和显示，这样会使得获取目标趋势数据的效率低下；此外，通过时间分辨率标记来确定数据点的显示条件，每次获取目标趋势数据时，就可以通过数据查看需求的限定，确定第一时间段内需要显示的数据点，不需要通过获取整个时间段的数据就可展示最重要的趋势数据信息，更加智能化、自动化；另外，在获取到目标趋势数据后，还可以通过调整时间分辨率获取某段时间的详尽趋势数据。可以理解的，为数据点添加时间分辨率标记时，可以在获取到该数据点时就进行动态添加，以便实现对数据点的实时标记，可以提高数据处理的效率；在另一种情况，还可以为一个数据点添加一个或多个时间分辨率标记，以使该数据点为比较重要的数据点时，可以在不同的目标显示条件下均可以在目标趋势数据中，展示给用户。
在可选的实施方式中，获取数据点的时候，一般使用数据库存储数据点，而数据库接收数据一般会存在数据时延，另外，数据库接收数据还可能会出现接收数据不完整的问题，为了获取上述的数据点，在图2的基础上，以电子设备还包括一级缓存和二级缓存为例，请参见图3，图3为本发明实施例提供的另一种数据处理方法的流程示意图。在上述的S31之后，该数据处理方法还可以包括：
S34、将多个数据点存储至一级缓存。
当一级缓存的存储区域被多个数据点填充完整时，则执行S35。例如，可以通过一个填充标记来判断一级缓存中的数据点是否填充完整，当一级缓存(L1Cache)未填充完成时，则继续存储数据点至一级缓存(L1Cache)，以使一级缓存(L1Cache)填充完整后再执行S35。
S35、判断一级缓存中存储的第一数据与二级缓存中存储的第二数据是否一致。
若一致，则返回执行S35；若不一致，则执行S36。
S36、将第一数据存储到二级缓存并清空一级缓存中存储的第一数据。
应理解，使用一级缓存(L1Cache)和二级缓存(L2Cache)对数据点进行存储和接收，有效的解决了数据时延和接收数据不完整的问题。例如，一级缓存(L1Cache)实时接收数据，二级缓存(L2Cache)定时更新变更数据，并延续使用上一次一级缓存L1Cache的数据来替代当前时间周期内，由于时延导致的一级缓存中不完整的数据。
在可选的实施方式中，为了维护时间分辨率数据集合，在图3的基础上，以电子设备包括数据库为例，请参见图4，图4为本发明实施例提供的另一种数据处理方法的流程示意图。在上述的S32之后，该数据处理方法还可以包括：
S37、将时间分辨率数据集合存储至数据库。
应理解，还可以将目标趋势数据也存储到数据库中。可以预见的，为了获取每个数据点存储到数据库中的时间信息，可以在数据库中创建基于数据点存储时间的索引。
通过设置数据库，将数据点以及其对应的时间分辨率标记存储，还可以对数据库中的重复数据点进行去重。可以理解的，相较于现有的获取趋势数据的方案：现有技术采用过滤技术会导致数据丢失，进而导致趋势数据的趋势不完整，甚至会损失掉重要的趋势数据；使用本发明实施例提供的数据处理方法，将所有的原始数据点和目标趋势数据都存储在数据库中，避免数据的丢失，提高趋势数据的存储安全性。
在可选的实施方式中，采集每个数据点时，数据点会对应一个事件的发生，在电子设备的显示屏像素不足够目标显示条件下的所有数据时，需要对数据点进行筛选，选取相对有效或重要的来生成目标趋势数据，在图2的基础上，给出一种可能的实现方式，请参见图5，图5为本发明实施例提供的另一种数据处理方法的流程示意图。上述的S32可以包括：
S321、确定采集数据时，数据对应的事件信息。
S322、根据数据的事件信息，确定数据的重要性级别。
该重要性级别用于确定多个数据点中，符合预设时间分辨率的至少一个有效数据点。
S323、将与重要性级别对应的预设时间分辨率标记添加至有效数据点，以获取时间分辨率数据集合。
例如，如果当前二级缓存中的数据重要性级别低于原有数据重要性级别，保持原有索引标记与时间戳，该时间戳用于确定在一个时间分辨率周期内的重要或有效的数据；如果之前数据不存在数据重要性级别，则将当前时间赋值给二级缓存的时间戳，此时相当于该分辨率周期内的该时间点被标记。
在可选的实施方式中，为了实现数据库对数据点和趋势数据的存储，在图5的基础上，以电子设备包括存储定时器、数据库和二级缓存为例，请参见图6，图6为本发明实施例提供的另一种数据处理方法的流程示意图。该数据处理方法还可以包括：
S38、当存储定时器达到预设周期时，将二级缓存的存储数据存储至数据库。
应理解，上述的存储定时器可以是一个定时器线程，也可以是预先设置的一个固定存储节点，当完成该固定存储节点对应的事件时，将二级缓存的存储数据存储至数据库。通过设置存储定时器，可以有效的将数据持久化存储到数据库中，以避免二级缓存失去电源导致数据丢失。
在可选的实施方式中，当所述数据点还包括所述数据的初始重要性级别时，对该数据点是否添加时间分辨率标记，以便确认该数据点的显示条件，在图5的基础上，给出一种可能的实现方式，请参见图7，图7为本发明实施例提供的另一种数据处理方法的流程示意图。该数据处理方法中，上述的S323可以包括：
S323a、判断所述重要性级别是否大于或等于所述初始重要性级别。
若是，则执行S323b；若否，则执行S323c。
S323b、将所述预设时间分辨率标记添加至所述有效数据点。
S323c、在所述有效数据点保持所述初始重要性级别对应的时间分辨率标记。
例如，以时间戳作为数据表内数据点的唯一性标记作为主键，实时动态更新标记；如，每一时间分辨率分别使用一个时间戳来标记，当实时数据点更新时，若实时数据点的重要性或优先级较高，则使用当前时间戳来替换上一时间戳；否则数据点的时间戳(初始重要性级别对应的时间分辨率标记)不变，直至该分辨率时间周期结束，更新该时间戳对应标记即可。当分辨率下一周期开始，则更新时间戳为当前时间戳，并添加时间分辨率标记。应理解，当更新时间分辨率标记之后，若数据点对应事件的优先级或重要性发生变化，还可以继续更新数据点的当前时间戳(时间分辨率标记)。
为了便于理解上述任一项的数据处理方法，本发明实施例给出一种可能的具体实现方式：
根据数据查看需求与数据收取频率，定义一个趋势数据存储时间TI(TI可以精确到毫秒)；其中数据收取频率是单位时间内，将目标趋势数据存储到数据库中的次数。假设数据点的接收时间为T；在具有N个时间分辨率的情况下，不同时间分辨率趋势图索引标记集合为NS，其中，N个时间分辨率包含了最小时间分辨率的实时数据存储单元，NS中对每个时间分辨率均赋予了不同的索引标记，共具有N个时间分辨率趋势图索引标记。假设数据点的重要性级别或事件级别索引标记集合为LS，LS中对每个数据点均赋予了不同的索引标记，共具有N个重要性级别或事件级别索引标记。假设时间分辨率时长集合为SS，SS中为每个时间分辨率赋予了不同的时长，共具有N个时间分辨率时长。假设不同时间分辨率时间戳存储集合为TS；假设不同时间分辨率索引标记存储集合为MS；假设不同分辨率周期内数据点数集合为PS。上述的时间分辨率可以认为是一个时间周期，可以理解的，在该时间周期内，随着数据点的不断新增，以及数据点对应的事件重要性级别改变，可以对新增数据点进行重要性级别的判断，并对该新增数据点进行动态标记时间分辨率等。
开启存储定时器，数据存储时间间隔为TR；赋值当前电子设备的时间为T＝TC，使用一级L1Cache、二级缓存L2Cache的双缓存方式，解决数据时延与数据接收不完整问题。将接受到的数据点存入L1Cache，将L1Cache与L2Cache比较，两者数据不同时，则将L1Cache中的数据合并到L2Cache；其中，通过一个填充标记判断L1Cache中的数据是否完整，继续填充L1Cache直至填充完整再做比较，否则等待。
若电子设备的当前时间TC-TR>＝TI，则将二级缓存中的数据实时存储数据到数据库，并令周期内(该时间分辨率内)的数据点数PSi加一，下标i表示其中某一分辨率集合对应参数。
分类索引标记，更新索引标记集合及时间集合：若电子设备的当前时间TC-TR>＝TI，遍历LS集合(数据重要性级别或事件级别索引标记集合)，如果当前L2Cache中的数据重要性级别高于原有数据重要性级别，时间戳存储集合赋值TSi＝T，其中，索引标记存储集MSi＝NSi；对多种时间分辨率的同一标记时刻索引标记对存储缓存集合做去重处理。通过数据库时间戳TSi查询原有索引标记，与MSi合并，同时更新数据重要性存储索引标记。
单个分辨率周期内数据点数为：SSi/TI；如果当前L2Cache中的数据重要性级别低于原有数据重要性级别，保持原有索引标记与时间戳。如果之前数据不存在数据重要性级别(TSi判零)，并且PSi>＝SSi/TI时，则使用最新的时间赋值给时间戳TSi，此时相当于该分辨率周期内该时间点被标记。更新数据存储标记时，可使用多线程技术附加一系列事务信息，不影响整体性能。
若电子设备的当前时间TC-TR>＝TI，在索引标记检测完成之后，索引标记实时存储到数据库。
当分辨率周期点数到达上限PSi>＝SSi/TI时，将不同时间分辨率时间戳存储集合TS，以及不同分辨率周期内数据点数集合PS清零。
达到存储定时器的预设周期时，开始下一个数据接收、分析处理、存储过程。当查询数据达到指定条数，删除旧数据即可。
通过起始时间、分辨率标记索引就能够在数据库快速查询到精准的趋势数据。
可以理解的，使用本发明实施例提供的数据处理方法，能够实现多模块或多路数据在任何一时间点或时间段内的联动查询和监测；将多个模块或多路数据进行了实时存储，采集每个数据的时间信息都是确定的，可以通过任意时间点或时间段的用户需求限定，查询任何模块的在同一分辨率下，与用户需求对应的时间点或是时间段的趋势数据信息；该趋势数据信息可以包括，但不限于数据在某一时间点的具体情况、数据在任一时间段内的变化情况、电子设备依据数据点进行的告警、以及数据的重要性等事件信息。应理解，使用本发明实施例提供的数据处理方法，可以提高数据之间的联动性，以便对同一时间点或时间段的多个数据进行综合分析或查阅。
为了实现上述的数据处理方法，本发明实施例提供一种数据处理装置，请参见图8，图8为本发明实施例提供的一种数据处理装置的方框示意图。该数据处理装置40包括：获取模块41和处理模块42。
获取模块41用于获取多个数据点。数据点包括数据和采集数据的时间信息。处理模块42用于为每个数据点添加时间分辨率标记，获取时间分辨率数据集合。时间分辨率标记用于确定数据的显示条件。
处理模块42还用于将用户的数据查看需求与时间分辨率数据集合进行匹配，以获取目标趋势数据。数据查看需求用于确定目标趋势数据的目标显示条件，目标趋势数据为时间分辨率数据集合中，符合目标显示条件的多个数据在第一时间段内的变化趋势。
在可选的实施方式中，数据处理装置还包括一级缓存和二级缓存，处理模块42还用于将多个数据点存储至一级缓存。处理模块42还用于当一级缓存的存储区域被多个数据点填充完整时，判断一级缓存中存储的第一数据与二级缓存中存储的第二数据是否一致。处理模块42还用于若一级缓存中存储的第一数据与二级缓存中存储的第二数据不一致，将第一数据存储到二级缓存并清空一级缓存中存储的第一数据。
在可选的实施方式中，数据处理装置包括数据库，处理模块42还用于将时间分辨率数据集合存储至数据库。
在可选的实施方式中，处理模块42还用于确定采集数据时，数据对应的事件信息。处理模块42还用于根据数据的事件信息，确定数据的重要性级别。重要性级别用于确定多个数据点中，符合预设时间分辨率的至少一个有效数据点。处理模块42还用于将与重要性级别对应的预设时间分辨率标记添加至有效数据点，以获取时间分辨率数据集合。
在可选的实施方式中，数据处理装置包括存储定时器、数据库和二级缓存，处理模块42还用于当存储定时器达到预设周期时，将二级缓存的存储数据存储至数据库。
应理解，获取模块41和处理模块42可以协同实现上述的S31～S38及其可能的子步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本发明提出一种数据处理方法、装置、电子设备和计算机可读存储介质，涉及数据处理领域。该数据处理方法应用于电子设备，包括：获取多个数据点；数据点包括数据和采集数据的时间信息；为每个数据点添加时间分辨率标记，获取时间分辨率数据集合；时间分辨率标记用于确定数据的显示条件；将用户的数据查看需求与时间分辨率数据集合进行匹配，以获取目标趋势数据；数据查看需求用于确定目标趋势数据的目标显示条件，目标趋势数据为时间分辨率数据集合中，符合目标显示条件的多个数据在第一时间段内的变化趋势。通过对数据点进行标记，当接收到数据查看需求时，在时间分辨率集合中获取符合目标显示条件的目标趋势数据，根据对数据重要性集合的管理，能分析和存储最重要的、最关注的目标趋势数据。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，应用于电子设备，所述方法包括：
获取多个数据点；所述数据点包括数据和采集所述数据的时间信息；
为每个所述数据点添加时间分辨率标记，获取时间分辨率数据集合；所述时间分辨率标记用于确定所述数据的显示条件；
将用户的数据查看需求与所述时间分辨率数据集合进行匹配，以获取目标趋势数据；所述数据查看需求用于确定所述目标趋势数据的目标显示条件，所述目标趋势数据为所述时间分辨率数据集合中，符合所述目标显示条件的多个数据在第一时间段内的变化趋势。
2.根据权利要求1所述的方法，其特征在于，所述电子设备还包括一级缓存和二级缓存，在所述获取多个数据点之后，所述方法还包括：
将多个所述数据点存储至所述一级缓存；
当所述一级缓存的存储区域被多个所述数据点填充完整时，判断所述一级缓存中存储的第一数据与所述二级缓存中存储的第二数据是否一致；
若不一致，则将所述第一数据存储到所述二级缓存并清空所述一级缓存中存储的所述第一数据。
3.根据权利要求2所述的方法，其特征在于，所述电子设备包括数据库，在所述为每个所述数据点添加时间分辨率标记，获取时间分辨率数据集合之后，所述方法还包括：
将所述时间分辨率数据集合存储至所述数据库。
4.根据权利要求1所述的方法，其特征在于，所述为每个所述数据点添加时间分辨率标记，获取时间分辨率数据集合，包括：
确定采集所述数据时，所述数据对应的事件信息；
根据所述数据的事件信息，确定所述数据的重要性级别；所述重要性级别用于确定多个所述数据点中，符合预设时间分辨率的至少一个有效数据点；
将与所述重要性级别对应的预设时间分辨率标记添加至所述有效数据点，以获取所述时间分辨率数据集合。
5.根据权利要求4所述的方法，其特征在于，所述电子设备包括存储定时器、数据库和二级缓存，所述数据库包括多个所述数据点以及每个所述数据的所述重要性级别，所述方法还包括：
当所述存储定时器达到预设周期时，将所述二级缓存的存储数据存储至所述数据库。
6.根据权利要求4所述的方法，其特征在于，当所述数据点还包括所述数据的初始重要性级别时，所述将与所述重要性级别对应的预设时间分辨率标记添加至所述有效数据点，包括：
判断所述重要性级别是否大于或等于所述初始重要性级别；
若是，则将所述预设时间分辨率标记添加至所述有效数据点；
若否，则在所述有效数据点保持所述初始重要性级别对应的时间分辨率标记。
7.一种数据处理装置，其特征在于，包括：获取模块和处理模块；
所述获取模块，用于获取多个数据点；所述数据点包括数据和采集所述数据的时间信息；
所述处理模块，用于为每个所述数据点添加时间分辨率标记，获取时间分辨率数据集合；所述时间分辨率标记用于确定所述数据的显示条件；
所述处理模块还用于将用户的数据查看需求与所述时间分辨率数据集合进行匹配，以获取目标趋势数据；所述数据查看需求用于确定所述目标趋势数据的目标显示条件，所述目标趋势数据为所述时间分辨率数据集合中，符合所述目标显示条件的多个数据在第一时间段内的变化趋势。
8.根据权利要求7所述的数据处理装置，其特征在于，所述数据处理装置还包括一级缓存和二级缓存，所述处理模块还用于将多个所述数据点存储至所述一级缓存；
所述处理模块还用于当所述一级缓存的存储区域被多个所述数据点填充完整时，判断所述一级缓存中存储的第一数据与所述二级缓存中存储的第二数据是否一致；
所述处理模块还用于若所述一级缓存中存储的第一数据与所述二级缓存中存储的第二数据不一致，将所述第一数据存储到所述二级缓存并清空所述一级缓存中存储的所述第一数据。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-6任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
CN202010136053.1A 2020-03-02 2020-03-02 数据处理方法、装置、电子设备和计算机可读存储介质 Active CN111352973B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010136053.1A CN111352973B (zh) 2020-03-02 2020-03-02 数据处理方法、装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010136053.1A CN111352973B (zh) 2020-03-02 2020-03-02 数据处理方法、装置、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111352973A true CN111352973A (zh) 2020-06-30
CN111352973B CN111352973B (zh) 2023-11-03

Family

ID=71194133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010136053.1A Active CN111352973B (zh) 2020-03-02 2020-03-02 数据处理方法、装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111352973B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150213462A1 (en) * 2014-01-24 2015-07-30 Go Daddy Operating Company, LLC Highlighting business trends
CN106663258A (zh) * 2014-02-26 2017-05-10 威图数据研究公司 通过混合的基于统计和用户测量方法测量多屏幕互联网用户概况、交易行为和用户群体结构
US20170139908A1 (en) * 2015-11-13 2017-05-18 Institute For Information Industry Technology trend predicting method and system and non-transitory computer readable storage medium
CN108509774A (zh) * 2018-04-09 2018-09-07 北京顶象技术有限公司 一种数据处理方法、装置、电子设备及存储介质
CN108803502A (zh) * 2017-04-27 2018-11-13 横河电机株式会社 数据收集装置及系统、数据服务器、数据收集方法及计算机可读取的非易失性的记录介质
CN109062507A (zh) * 2018-07-18 2018-12-21 武汉中旗生物医疗电子有限公司 心电数据的处理储存方法及装置
CN109509114A (zh) * 2018-09-19 2019-03-22 中国电力科学研究院有限公司 一种区域风电出力波动趋势预测方法及系统
CN110598553A (zh) * 2019-08-09 2019-12-20 中国科学院南京地理与湖泊研究所 基于遥感影像与地形数据的原真地貌采矿破坏区探测方法
WO2020001349A1 (zh) * 2018-06-25 2020-01-02 中兴通讯股份有限公司 一种数据采集方法、装置和计算机可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150213462A1 (en) * 2014-01-24 2015-07-30 Go Daddy Operating Company, LLC Highlighting business trends
CN106663258A (zh) * 2014-02-26 2017-05-10 威图数据研究公司 通过混合的基于统计和用户测量方法测量多屏幕互联网用户概况、交易行为和用户群体结构
US20170139908A1 (en) * 2015-11-13 2017-05-18 Institute For Information Industry Technology trend predicting method and system and non-transitory computer readable storage medium
CN108803502A (zh) * 2017-04-27 2018-11-13 横河电机株式会社 数据收集装置及系统、数据服务器、数据收集方法及计算机可读取的非易失性的记录介质
CN108509774A (zh) * 2018-04-09 2018-09-07 北京顶象技术有限公司 一种数据处理方法、装置、电子设备及存储介质
WO2020001349A1 (zh) * 2018-06-25 2020-01-02 中兴通讯股份有限公司 一种数据采集方法、装置和计算机可读存储介质
CN109062507A (zh) * 2018-07-18 2018-12-21 武汉中旗生物医疗电子有限公司 心电数据的处理储存方法及装置
CN109509114A (zh) * 2018-09-19 2019-03-22 中国电力科学研究院有限公司 一种区域风电出力波动趋势预测方法及系统
CN110598553A (zh) * 2019-08-09 2019-12-20 中国科学院南京地理与湖泊研究所 基于遥感影像与地形数据的原真地貌采矿破坏区探测方法

Also Published As

Publication number Publication date
CN111352973B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
CN110428091B (zh) 基于数据分析的风险识别方法及相关设备
CN110910665B (zh) 信号灯控制方法、装置以及计算机设备
JP6708219B2 (ja) ログ分析システム、方法およびプログラム
CN106815125A (zh) 一种日志审计方法及平台
CN111078755A (zh) 时序数据的存储查询方法、装置、服务器及存储介质
US20210056073A1 (en) Block data storage system in an event historian
CN111352969B (zh) 一种埋点数据分析方法、装置及电子设备
WO2021002780A1 (ru) Система мониторинга качества и процессов на базе машинного обучения
CN111858274B (zh) 一种大数据评分系统稳定性监控方法
CN112800061B (zh) 一种数据存储方法、装置、服务器及存储介质
CN110659289B (zh) 一种物资质量检测试验报告管理方法及系统
CN111258819A (zh) MySQL数据库备份文件的数据获取方法、装置和系统
CN109510857B (zh) 数据存储方法、装置、服务器和系统
CN113127472B (zh) 一种针对大上报量的司机数量实时去重统计的方法及系统
CN110543509B (zh) 用户访问数据的监控系统、方法、装置及电子设备
CN111352973A (zh) 数据处理方法、装置、电子设备和计算机可读存储介质
CN107544785A (zh) 一种应用程序更新方法及装置
CN116777256A (zh) 一种企业合规管理量化评价系统与方法
CN113949590B (zh) 一种安全告警事件等级确定方法、系统及终端
CN112289024B (zh) 一种交通事件信息的识别方法、装置、设备及存储介质
CN110209575A (zh) 测试文档生成方法、装置、电子设备及存储介质
CN111368207B (zh) 数据处理方法及系统、候选数据池、电子设备、计算机可读存储介质
CN110928868A (zh) 车辆数据检索方法、装置及计算机可读存储介质
CN112559805A (zh) 一种索引优化方法及装置
CN110856040A (zh) 客户端中监控数据的处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant