CN115344207A - 数据处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种数据处理方法、装置、电子设备及存储介质，其中，该方法包括：接收待存储业务数据，并确定待存储业务数据的数据量是否超过预设数据量存储阈值；若是，则基于目标处理引擎，确定与待存储业务数据相关联的至少一个存储节点；将待存储业务数据分别存储至对应的存储节点中，以在同时接收到多个数据处理请求时，基于各数据处理请求，分别调取相应的目标业务数据。本发明实施例的技术方案，实现了在大数据环境下，对业务数据的快速存取的效果，通过多进程和多线程的方法，达到了高并发、高性能和高可用的目标。

Description

数据处理方法、装置、电子设备及存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

随着新能源仪器检测领域的迅速发展，需要处理的检测结果数据也从之前的兆字节增长到了太字节。对于数据存储这一环节，通常是将数据存储到工控机上某一磁盘的某一目录文件下，这种方式可以直接操作文件，无需过多配置，即可实现数据的存和取。

然而，当数据量仅限于几兆字节或几十兆字节时，这种方式方可应对；若数据量增长过快，同时又要求对数据进行快速读和取，采用这种方式将会导致机器CPU和内存的持续飙升，进而导致整个检测环节崩溃、数据丢失，甚至机器宕机的风险。

发明内容

本发明提供了一种数据处理方法、装置、电子设备及存储介质，以实现在大数据环境下，对业务数据的快速存取，达到了高并发、高性能和高可用的目标。

根据本发明的一方面，提供了一种数据处理方法，该方法包括：

接收待存储业务数据，并确定所述待存储业务数据的数据量是否超过预设数据量存储阈值；

若是，则基于目标处理引擎，确定与所述待存储业务数据相关联的至少一个存储节点；

将所述待存储业务数据分别存储至对应的存储节点中，以在同时接收到多个数据处理请求时，基于各所述数据处理请求，分别调取相应的目标业务数据。

根据本发明的另一方面，提供了一种数据处理装置，该装置包括：

待存储业务数据接收模块，用于接收待存储业务数据，并确定所述待存储业务数据的数据量是否超过预设数据量存储阈值；

存储节点确定模块，用于若是，则基于目标处理引擎，确定与所述待存储业务数据相关联的至少一个存储节点；

目标业务数据调取模块，用于将所述待存储业务数据分别存储至对应的存储节点中，以在同时接收到多个数据处理请求时，基于各所述数据处理请求，分别调取相应的目标业务数据。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的数据处理方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数据处理方法。

本发明实施例的技术方案，通过接收待存储业务数据，并确定待存储业务数据的数据量是否超过预设数据量存储阈值，进一步的，若是，则基于目标处理引擎，确定与待存储业务数据相关联的至少一个存储节点，最后，将待存储业务数据分别存储至对应的存储节点中，以在同时接收到多个数据处理请求时，基于各数据处理请求，分别调取相应的目标业务数据，实现了在大数据环境下，对业务数据的快速存取的效果，通过多进程和多线程的方法，达到了高并发、高性能和高可用的目标。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种数据处理方法的流程图；

图2是根据本发明实施例一所适用的分布式数据处理系统的架构图；

图3是根据本发明实施例二提供的一种数据处理装置的结构示意图；

图4是根据本发明实施例二提供的一种数据处理装置的结构示意图；

图5是实现本发明实施例的数据处理方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供了一种数据处理方法的流程图，本实施例可适用于大量业务数据的存储和读取的情况，该方法可以由数据处理装置来执行，该数据处理装置可以采用硬件和/或软件的形式实现，该数据处理装置可配置于终端和/或服务器中。如图1所示，该方法包括：

S110、接收待存储业务数据，并确定待存储业务数据的数据量是否超过预设数据量存储阈值。

在本实施例中，当新能源车辆运行一段时间后，可以通过仪器检测设备对车辆的电池包、通信设备以及其他设备进行检测，并获取相应的数据，并且，可以将这些数据存储至服务器中，以使服务器可以对其进行数据分析处理，可以将这些数据作为待存储业务数据。可选的，待存储业务数据可以包括电池的电压数据、电流数据、温度数据、通信设备的通信数据以及车辆用户的用户信息等。预设数据量存储阈值可以为预先设置的，用于确定待存储业务数据是否可以在单机环境下进行处理的数据量阈值。预设数据量阈值可以为任意值，可选的，可以为100太字节、200太字节或500太字节等。

在实际应用中，通过仪器检测设备对新能源车辆的相关设备进行数据采集之后，还可以将采集后的数据存储至服务器中，在接收到待存储业务数据后，可以确定这些待存储业务数据的数据量是否大于预设数据量阈值。这样设置的好处在于：可以根据待存储业务数据的数据量判断这些待存储业务数据是要在单机环境下进行处理，还是在分布式多机环境下进行处理，以提高数据的处理效率。

S120、若是，则基于目标处理引擎，确定与待存储业务数据相关联的至少一个存储节点。

在本实施例中，目标处理引擎可以为对待存储业务数据进行分类处理的引擎。可选的，目标处理引擎可以为实时流处理引擎。本领域技术人员可以理解，根据数据处理的时效性，大数据处理系统可分为批式大数据和流式大数据两类，其中，批式大数据又被称为历史大数据，流式大数据又被称为实时大数据。在实际应用中，系统会实时接收来自不同设备的不同数据，此时，则可以通过实时流处理引擎来对这些数据进行处理。存储节点可以为集群系统中任意一台服务器，也可以为任意一台服务器中的任意一个数据库。

在实际应用中，若待存储业务数据的数据量大于预设数据量阈值，则可以基于分布式数据处理系统对待存储数据进行处理，通过分布式数据系统中的目标处理引擎对待存储业务数据进行数据分析，以确定该待存储业务数据的存储位置。

可选的，基于目标处理引擎，确定与待存储业务数据相关联的至少一个存储节点，包括：基于目标处理引擎，确定与待存储业务数据相对应的数据属性；基于数据属性，确定至少一个存储节点。

在本实施例中，数据属性可以包括数据查询次数、数据变更次数以及数据类型中的至少一种。其中，数据类型可以分为关系型数据或非关系型数据。需要说明的是，基于数据属性可以确定待存储业务数据的活跃度，并且，根据待存储业务数据的活跃度将其进行对应存储。示例性的，由于电池的电压数据、电流数据和温度数据与车辆的动力性能密切相关，需要周期性地确定各项数据是否处于正常范围内，因此，这些数据的数据查询次数相对频繁，并且，这些数据在每次查询之后，需要同时更新当前的数据，因此，这些数据的数据变更次数也相对较多；然而，对于车辆用户的用户信息，在初次存储至数据库中之后，在一般情况下，是不会被查询的，并且，也不需要经常变更，因此，这些数据则属于活跃度较低的数据。

需要说明的是，在集群系统中，为了提高数据的处理效率，且当用户访问某项数据时，可以快速调取，可以在接收到需要存储的业务数据时，对这些业务数据进行分类，并将分类后的各项业务数据分别存储至对应的服务器中。存储节点可以与数据属性相对应。

在具体实施中，在确定待存储业务数据可以在分布式数据处理系统中进行处理时，由于待存储业务数据中包括多个设备同时传输的多种数据，为了对待存储数据进行分类处理，可以基于分布式处理系统中的目标处理引擎确定待存储业务数据中所包含的全部数据的数据属性，从而可以基于每种数据的数据属性，确定相应的存储节点。

需要说明的是，存储节点可以为一个或多个。当待存储业务数据中包括不同数据属性的业务数据时，其对应的存储节点可以为多个；然而，当待存储业务数据中仅包括同种数据属性的业务数据时，其对应的存储节点可以为一个。

还需说明的是，根据存储数据的数据类型，在每一存储节点中包括两种数据库，分别为关系型数据库和非关系型数据库。在确定待存储数据的存储节点之后，对于各存储节点，可以根据当前存储节点中待存储数据的数据类型，确定相应的数据库，从而可以将待存储数据存储起来。在本实施例中，关系型数据库可以为数据仓库架构，非关系型数据库可以为HBase。

示例性的，当接收到的待存储业务数据中包括用户信息、电池的电压数据、电流数据和温度数据时，可以通过目标处理引擎将待存储业务数据划分为活跃度较高的电压数据、电流数据和温度数据以及活跃度较低的用户信息两大类，并确定与这两大类数据相对应的存储服务器，从而可以将待存储数据进行分流存储。这样设置的好处在于：当用户访问活跃度高的数据时，可以直接在相应的存储节点中进行调取，从而提高了数据调取效率。

S130、将待存储业务数据分别存储至对应的存储节点中，以在同时接收到多个数据处理请求时，基于各数据处理请求，分别调取相应的目标业务数据。

在本实施例中，数据处理请求可以为预先设置的一段程序代码，该代码用于实现对目标业务数据的处理。目标业务数据可以为预先存储在存储节点中的业务数据。目标业务数据可以与数据处理请求相对应，不同的数据处理请求可以对应调取不同的目标业务数据。

在实际应用中，在确定与待存储业务数据相关联的多个存储节点后，可以将待存储业务数据中的各项业务数据分别存储至相应的存储节点中，以便可以在同时接收多个数据处理请求时，可以通过对各数据处理请求进行分析后，确定与各数据处理请求对应的存储节点，从而可以从相应的存储节点中调取与数据处理请求对应的目标业务数据。

可选的，基于各数据处理请求，分别调取相应的目标业务数据，包括：针对各数据处理请求，确定与当前数据处理请求相对应的请求处理数据；基于各请求处理数据，确定相应的存储节点，以基于各存储节点，调取相应的目标业务数据。

在本实施例中，请求处理数据可以为与数据处理请求相对应的业务数据，也可以为数据处理请求中请求处理的业务数据。示例性的，当数据处理请求为获取电池包的用电规律曲线时，其对应的请求处理数据可以为与电池包相关的业务数据。

在实际应用中，对于各数据处理请求，对当前数据处理请求进行数据分析，确定相应的请求处理数据，进一步的，可以基于请求处理数据，确定相应的存储节点，以基于存储节点调取相应的目标业务数据，以使分布式数据处理系统可以根据数据处理请求对目标业务数据进行数据处理，从而最终得到与数据处理请求相对应的数据处理结果。

需要说明的是，在调取目标业务数据，并对该目标业务数据进行数据分析时，可以根据系统中预先构建的深度学习网络模型对目标业务数据进行处理，从而可以提高数据处理效率以及准确率。

在上述技术方案的基础上，还包括：确定与各数据处理请求相对应的至少一个数据处理模型；针对各所述数据处理模型，将目标业务数据输入至当前数据处理模型中，得到数据规律预测结果；根据各数据规律预测结果，确定相应的规律预测图，并将规律预测曲线显示在相应的用户终端。

其中，各数据处理模型是基于历史业务数据训练完成的。

在本实施例中，数据处理模型可以为预先训练完成的，用于对业务数据进行处理，以得到相应的被检测仪器的使用情况发展趋势的神经网络模型。在本实施例中，数据处理模型可以基于Spark的机器学习库中所包括的机器学习算法或深度学习算法实现。数据规律预测结果可以为目标业务数据的变化趋势。数据规律预测结果包括不同时间维度下的至少一项目标业务数据。规律预测图可以为用于反映目标业务数据变化趋势的图形。示例性的，规律预测图可以为折线图、饼状图或柱状图等。用户终端可以为发出数据处理请求的终端设备。

在具体实施中，当分布式数据处理系统接收到与各数据处理请求相对应的目标业务数据后，可以将各目标业务数据发送至该系统中的数据处理模块中，从而可以根据各数据处理请求在数据处理模块中，确定预先存储的至少一个数据处理模型，针对各数据处理模型，将目标业务数据输入至当前数据处理模型中，即可得到与目标业务数据相对应的数据规律预测结果，进一步的，为了使用户可以更加清晰的对目标业务数据的发展趋势进行分析，可以将数据规律预测结果转换为图形形式，即可最终生成与目标业务数据相对应的规律预测图，以使用户可以根据各规律预测图随时掌握各项目标业务数据在之后一段时间内的发展趋势，以便可以及时采取相应的应对措施。

需要说明的是，在各项目标业务处理过程中或者待存储业务数据的存储过程中，可以会检测到某些业务数据存在数据异常的问题，为了可以后续对异常业务数据进行异常分析，可以在检测到异常业务数据时，将其发送至相应的运维平台，以便可以在全部业务数据处理完成后，对异常业务数据进行异常分析。

在上述技术方案的基础上，还包括：当检测到与至少一个存储节点相关联的目标业务数据存在异常数据时，则将异常数据上报至数据运维平台；基于数据运维平台对异常数据进行处理，生成异常数据报表并展示。

在本实施例中，异常数据可以为数据内容为空值的数据，或者，数据中显示的数值超过预设安全阈值的数据等。数据运维平台可以为分布式数据处理系统中运维管理平台。异常数据报表可以为用于表征异常数据具体情况的特定格式的统计表格。

需要说明的是，数据运维平台可以保障集群的稳定性和高效性，具体表现在如下几个方面：1、保障各存储节点的可用性；2、保障计算、存储网络等资源的合理分配以及集群资源利用率，便于集群中程序的顺利执行；3、对Shell脚本进行管理；4、可以及时统计关键指标点，并进行报表展现；5、对相关程序执行过程以及存储过程程序进行监控，保障程序正常运行。

在具体实施中，当检测到与各存储节点相对应的目标业务数据中存在异常数据时，则可以将异常数据发送至数据运维平台，以使数据运维平台在接收到异常数据后，对其进行分析处理，并通过图表的形式整理出来，并生成预定格式的报表，以使运维人员可以根据该报表中显示的数据信息及时掌握异常数据的具体情况。

需要说明的是，当待存储业务数据的数据量超过预设数据量存储阈值时，则可以基于分布式数据处理系统对待存储业务数据进行处理，然而，当待存储业务数据的数据量未超过预设数据量存储阈值时，则可以在基于单一服务器对待存储业务数据进行处理。

基于此，在上述技术方案的基础上，还包括：若否，则确定与待存储业务数据相对应的目标服务器，以基于目标服务器对待存储业务数据进行存储。

在本实施例中，目标服务器可以为采集待存储业务数据的服务器。

在实际应用中，当待存储业务数据的数据量未超过预设数据量存储阈值时，则可以将当前接收待存储业务数据的服务器作为目标服务器，从而基于该目标服务器对待存储业务数据进行相应处理。

可选的，基于目标服务器对待存储业务数据进行存储，包括：获取目标服务器中预先设置的数据存储映射表，以基于数据存储映射表对待存储业务数据进行存储。

在本实施例中，数据存储映射表可以为用于对业务数据进行存储或读取的数据结构。需要说明的是，若当前存储方式为文件存储时，其对应的数据存储映射表可以为基于哈希表构建的数据结构；若当前存储方式为数据库存储时，其对应的数据存储映射表可以为基于Pandas工具构建的数据结构。

本领域技术人员可以理解，基于哈希表构建数据结构以及基于Pandas工具构建数据结构均属于本领域常用技术方法，本实施例在此不再具体赘述。

在实际应用中，可以首先确定待存储业务数据的数据存储方式，并基于数据存储方式从目标服务器中获取相应的数据存储映射表，从而可以根据数据存储映射表将待存储业务数据填充进去，以实现待存储业务数据的存储。这样设置的好处在于：可以加快数据存取的效率，结合多线程或多进程的方式，可以实现高并发、高可用和高性能。

需要说明的是，本实施例所提供的技术方案可以基于分布式数据处理系统来实现，示例性的，如图2所示，分布式数据处理系统可以包括：安全管控模块、数据仓库架构、实时流处理引擎、HBase、数据处理模块、中间件集合模块、数据运维平台以及资源分配模块。其中，安全管控模块，用于进行存储节点管理、节点对外接口管理、业务数据访问权限管理以及用户权限管理等；数据仓库架构，用于存储业务数据中的关系型数据，具体为通过db2本地数据接口，将待存储业务数据传入数据库中，之后调用中间件集合模块中的sqoop以及flume组件进行数据的采集抽取，并根据数据维度进行汇总划分，当需要对数据仓库架构中的业务数据进行处理时，将其上传至HDFS，再次进行相关的数据抽取、数据转换以及数据加载操作；实时流处理引擎，用于根据数据活跃度对待存储业务数据进行分类，以将待存储业务数据分配至不同的存储节点；HBase，用于存储非关系型的数据，位于结构化存储层；数据处理模块，用于对目标业务数据进行处理，以对目标业务数据的发展趋势进行预测，其中包括多个数据处理模型。中间件集合模块，用于为整个分布式数据处理系统提供相应的服务；中间件集合模块包括调度管理子模块、HDFS、zookeeper、消息队列组件、sqoop以及flume；其中，调度管理子模块，用于对数据仓库架构中的各个程序、shell脚本运行状态进行管理，同时了解各个存储节点的运行状态；HDFS为HBase提供较高的底层存储支持以及高性能计算能力；zookeeper，用于分配集群中各存储节点的存储资源，同时负责各个模块之间的通信；消息队列组件，可以为kafka组件，用于当待存储业务数据在多台服务器节点中传输时暂时保存待存储业务数据，以实现待存储业务数据的中继；数据运维平台，用于对异常业务数据进行处理；资源分配模块，用于确定各个存储节点的存储资源、计算资源以及内存资源。

本发明实施例的技术方案，通过接收待存储业务数据，并确定待存储业务数据的数据量是否超过预设数据量存储阈值，进一步的，若是，则基于目标处理引擎，确定与待存储业务数据相关联的至少一个存储节点，最后，将待存储业务数据分别存储至对应的存储节点中，以在同时接收到多个数据处理请求时，基于各数据处理请求，分别调取相应的目标业务数据，实现了在大数据环境下，对业务数据的快速存取的效果，通过多进程和多线程的方法，达到了高并发、高性能和高可用的目标。

实施例二

图3为本发明实施例二提供的一种数据处理装置的结构示意图。图4为本发明实施例二提供的一种数据处理装置的结构示意图。如图3所示，该装置包括：待存储业务数据接收模块210、存储节点确定模块220和目标业务数据调取模块230。

待存储业务数据接收模块210，用于接收待存储业务数据，并确定所述待存储业务数据的数据量是否超过预设数据量存储阈值；

存储节点确定模块220，用于若是，则基于目标处理引擎，确定与所述待存储业务数据相关联的至少一个存储节点；

目标业务数据调取模块230，用于将所述待存储业务数据分别存储至对应的存储节点中，以在同时接收到多个数据处理请求时，基于各所述数据处理请求，分别调取相应的目标业务数据。

本发明实施例的技术方案，通过接收待存储业务数据，并确定待存储业务数据的数据量是否超过预设数据量存储阈值，进一步的，若是，则基于目标处理引擎，确定与待存储业务数据相关联的至少一个存储节点，最后，将待存储业务数据分别存储至对应的存储节点中，以在同时接收到多个数据处理请求时，基于各数据处理请求，分别调取相应的目标业务数据，实现了在大数据环境下，对业务数据的快速存取的效果，通过多进程和多线程的方法，达到了高并发、高性能和高可用的目标。

可选的，存储节点确定模块220包括数据属性确定单元和存储节点确定单元。(如图4所示)

数据属性确定单元，用于基于所述目标处理引擎，确定与所述待存储业务数据相对应的数据属性；

存储节点确定单元，用于基于所述数据属性，确定至少一个存储节点；其中，数据属性包括数据查询次数、数据变更次数以及数据类型中的至少一种。

可选的，目标业务数据调取模块230包括请求处理数据确定单元和目标业务数据调取单元。(如图4所示)

请求处理数据确定单元，用于针对各所述数据处理请求，确定与当前数据处理请求相对应的请求处理数据；

目标业务数据调取单元，用于基于各所述请求处理数据，确定相应的存储节点，以基于各所述存储节点，调取相应的目标业务数据。

可选的，所述装置还包括：数据处理模型确定模块、数据规律预测结果确定模块和规律预测曲线确定模块。(如图4所示)

数据处理模型确定模块，用于确定与各所述数据处理请求相对应的至少一个数据处理模型，其中，各数据处理模型是基于历史业务数据训练完成的；

数据规律预测结果确定模块，用于针对各所述数据处理模型，将所述目标业务数据输入至当前数据处理模型中，得到数据规律预测结果，其中，所述数据规律预测结果包括不同时间维度下的业务数据；

规律预测曲线确定模块，用于根据各所述数据规律预测结果，确定相应的规律预测曲线，并将所述规律预测曲线显示在相应的用户终端。

可选的，所述装置还包括：异常数据检测模块和异常数据处理模块。(如图4所示)

异常数据检测模块，用于当检测到与至少一个存储节点相关联的目标业务数据存在异常数据时，则将所述异常数据上报至数据运维平台；

异常数据处理模块，用于基于所述数据运维平台对所述异常数据进行处理，生成异常数据报表并展示。

可选的，所述装置还包括：目标服务器确定模块。(如图4所示)

目标服务器确定模块，用于若否，则确定与所述待存储业务数据相对应的目标服务器，以基于所述目标服务器对所述待存储业务数据进行存储。

可选的，目标服务器确定模块，具体用于获取所述目标服务器中预先设置的数据存储映射表，以基于所述数据存储映射表对所述待存储业务数据进行存储。

本发明实施例所提供的数据处理装置可执行本发明任意实施例所提供的数据处理方法，具备执行方法相应的功能模块和有益效果。

实施例三

图5示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如数据处理方法。

在一些实施例中，数据处理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的数据处理方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

接收待存储业务数据，并确定所述待存储业务数据的数据量是否超过预设数据量存储阈值；

若是，则基于目标处理引擎，确定与所述待存储业务数据相关联的至少一个存储节点；

将所述待存储业务数据分别存储至对应的存储节点中，以在同时接收到多个数据处理请求时，基于各所述数据处理请求，分别调取相应的目标业务数据。

2.根据权利要求1所述的方法，其特征在于，所述基于目标处理引擎，确定与所述待存储业务数据相关联的至少一个存储节点，包括：

基于所述目标处理引擎，确定与所述待存储业务数据相对应的数据属性；

基于所述数据属性，确定至少一个存储节点；

其中，数据属性包括数据查询次数、数据变更次数以及数据类型中的至少一种。

3.根据权利要求1所述的方法，其特征在于，所述基于各所述数据处理请求，分别调取相应的目标业务数据，包括：

针对各所述数据处理请求，确定与当前数据处理请求相对应的请求处理数据；

基于各所述请求处理数据，确定相应的存储节点，以基于各所述存储节点，调取相应的目标业务数据。

4.根据权利要求1所述的方法，其特征在于，还包括：

确定与各所述数据处理请求相对应的至少一个数据处理模型，其中，各数据处理模型是基于历史业务数据训练完成的；

针对各所述数据处理模型，将所述目标业务数据输入至当前数据处理模型中，得到数据规律预测结果，其中，所述数据规律预测结果包括不同时间维度下的业务数据；

根据各所述数据规律预测结果，确定相应的规律预测曲线，并将所述规律预测曲线显示在相应的用户终端。

5.根据权利要求1所述的方法，其特征在于，还包括：

当检测到与至少一个存储节点相关联的目标业务数据存在异常数据时，则将所述异常数据上报至数据运维平台；

基于所述数据运维平台对所述异常数据进行处理，生成异常数据报表并展示。

6.根据权利要求1所述的方法，其特征在于，还包括：

若否，则确定与所述待存储业务数据相对应的目标服务器，以基于所述目标服务器对所述待存储业务数据进行存储。

7.根据权利要求6所述的方法，其特征在于，所述基于所述目标服务器对所述待存储业务数据进行存储，包括：

获取所述目标服务器中预先设置的数据存储映射表，以基于所述数据存储映射表对所述待存储业务数据进行存储。

8.一种数据处理装置，其特征在于，包括：

待存储业务数据接收模块，用于接收待存储业务数据，并确定所述待存储业务数据的数据量是否超过预设数据量存储阈值；

存储节点确定模块，用于若是，则基于目标处理引擎，确定与所述待存储业务数据相关联的至少一个存储节点；

目标业务数据调取模块，用于将所述待存储业务数据分别存储至对应的存储节点中，以在同时接收到多个数据处理请求时，基于各所述数据处理请求，分别调取相应的目标业务数据。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的数据处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的数据处理方法。

Images