CN109376004A - 基于集群计算的数据批处理方法、装置、电子设备及介质 - Google Patents
基于集群计算的数据批处理方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN109376004A CN109376004A CN201810947775.8A CN201810947775A CN109376004A CN 109376004 A CN109376004 A CN 109376004A CN 201810947775 A CN201810947775 A CN 201810947775A CN 109376004 A CN109376004 A CN 109376004A
- Authority
- CN
- China
- Prior art keywords
- data
- batch
- pending data
- cache server
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 152
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000009826 distribution Methods 0.000 claims abstract description 13
- 238000003860 storage Methods 0.000 claims description 60
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000012856 packing Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 abstract description 21
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008521 reorganization Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000010923 batch production Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请涉及计算机虚拟化服务技术领域，公开了一种基于集群计算的数据批处理方法、装置、电子设备及介质，其中，基于集群计算的数据批处理方法包括：获取批量待处理数据；将获取到的批量待处理数据中的各个待处理数据按照预设的分发规则分别发送至对应的缓存服务器，以使得各缓存服务器对批量待处理数据进行并行处理；接收各缓存服务返回的数据处理结果。本申请实施例的方法，使得各缓存服务器对批量待处理数据进行并行处理，不仅提高了缓存服务器的使用效率，而且极大提高了大批量数据情况下的数据处理响应速度，有效避免了中心服务器处理批量数据导致的响应延时的问题，极大提升用户体验。
Description
技术领域
本申请涉及计算虚拟化服务技术领域，具体而言，本申请涉及一种基于集群计算的数据批处理方法、装置、电子设备及介质。
背景技术
随着大数据时代的来临，大数据的批处理也吸引了越来越多的关注，已被广泛的运用在企业运营的各个方面的数据处理中，企业对于大数据处理需求也越来越多样化。
批处理是批量数据处理的环境，可以支持整批的数据处理进程，通常是在自动控制流程中递交批处理的作业，用来处理数据库或文件的批量访问或更新。在自动控制流程完善的条件下，整个批处理过程可以无需人工干预的完成。
但是在现有技术下实现大数据的批处理，需要通过命令行的形式逐条输入操作命令，以在中心服务器中进行大数据的批处理操作，但是中心服务器的处理能力毕竟有限，面对数据量比较大的批量待处理数据，不仅存在处理效率低下、处理便利性差的缺点，而且会出现响应延时的问题，导致用户需要等候较长时间之后才能获取到批量操作的返回结果，极大降低了用户体验。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一，特别是处理效率低下、处理便利性差及出现响应延时的技术缺陷。
第一方面，提供了一种基于集群计算的数据批处理方法，包括：
获取批量待处理数据；
将获取到的批量待处理数据中的各个待处理数据按照预设的分发规则分别发送至对应的缓存服务器，以使得各缓存服务器对批量待处理数据进行并行处理；
接收各缓存服务返回的数据处理结果。
第二方面，提供了一种基于集群计算的数据批处理装置，包括：
获取模块，用于获取批量待处理数据；
处理模块，用于将获取到的批量待处理数据中的各个待处理数据按照预设的分发规则分别发送至对应的缓存服务器，以使得各缓存服务器对批量待处理数据进行并行处理；
接收模块，用于接收各缓存服务返回的数据处理结果。
第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述程序时实现上述的基于集群计算的数据批处理方法。
第四方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述的基于集群计算的数据批处理方法。
本申请实施提供的基于集群计算的数据批处理方法，获取批量待处理数据，为后续批量待处理数据的处理操作奠定基础，将获取到的批量待处理数据中的各个待处理数据按照预设的分发规则分别发送至对应的缓存服务器，以使得各缓存服务器对批量待处理数据进行并行处理，使得中心服务器不对批量待处理数据进行任何实质性处理，而由各缓存服务器并行执行批量待处理数据的具体处理，不仅提高了缓存服务器的使用效率，而且极大提高了大批量数据情况下的数据处理响应速度，有效避免了中心服务器处理批量数据导致的响应延时的问题，极大提升用户体验。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例的基于集群计算的数据批处理方法的流程示意图；
图2为本申请实施例的基于集群计算的数据批处理装置的基本结构示意图；
图3为本申请实施例的基于集群计算的数据批处理装置的详细结构示意图；
图4为本申请实施例的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在现有技术下实现大数据的批处理，需要通过命令行的形式逐条输入操作命令，以在中心服务器中进行大数据的批处理操作，但是中心服务器的处理能力毕竟有限，面对数据量比较大的批量待处理数据，不仅存在处理效率低下、处理便利性差的缺点，而且会出现响应延时的问题，导致用户需要等候较长时间之后才能获取到批量操作的返回结果，极大降低了用户体验。
本申请提供的基于集群计算的数据批处理方法、装置、电子设备和介质，旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
实施例一
本申请实施例提供了一种基于集群计算的数据批处理方法，如图1所示，包括：
步骤S100，获取批量待处理数据。
具体地，中心服务器获取客户端发送的批量待处理数据，其中，中心服务器处于业务层，与客户端直接进行信息交互，客户端为用户提供本地服务的程序，客户端具体可以安装于台式电脑、笔记本电脑或触控屏手机等终端设备上的应用程序。
步骤S200，将获取到的批量待处理数据中的各个待处理数据按照预设的分发规则分别发送至对应的缓存服务器，以使得各缓存服务器对批量待处理数据进行并行处理。
具体地，处于业务层的中心服务器与若干台缓存服务器连接，构成一星形拓扑结构的服务器集群，其中，用户可以通过客户端直接与中心服务器建立连接，但是无法通过客户端直接与各缓存服务器建立连接，而只能先通过客户端与中心服务器建立连接，再通过中心服务器来与各缓存服务器间接建立连接，即中心服务器相当于是各缓存服务器的代理，用来处理对外的“数据沟通”，也即中心服务器和各缓存服务器的关系类似于代理与被代理的关系。
进一步地，中心服务器中的临时数据保存在其内存中，各缓存服务器中的数据业务采用基于redis的内存数据库(即redis数据库)来存储，其中，redis数据库是一个Key-Value(键-值)数据库，即数据业务通过键-值的方式存储于各缓存服务器中。
进一步地，中心服务器获取到批量待处理数据后，由于中心服务器的处理能力有限，故中心服务器并不对该批量待处理数据进行任何实质性的处理操作，而是将获取到的批量待处理数据中的各个待处理数据按照预设的分发规则分别发送至对应的缓存服务器中，由各缓存服务器对批量待处理数据进行并行处理，即由缓存服务器执行批量待处理数据的具体处理操作，不仅提高了缓存服务器的使用效率，而且极大提高了大批量数据情况下的数据处理响应速度，有效避免了中心服务器处理批量数据导致的响应延时的问题，提升了用户体验。
步骤S300，接收各缓存服务返回的数据处理结果。
具体地，各缓存服务器对分发给它的待处理数据进行处理后，将处理结果反馈给中心服务器，即中心服务器接收各缓存服务返回的数据处理结果。
本申请实施例提供的基于集群计算的数据批处理方法，与现有技术相比，获取批量待处理数据，为后续批量待处理数据的处理操作奠定基础，将获取到的批量待处理数据中的各个待处理数据按照预设的分发规则分别发送至对应的缓存服务器，以使得各缓存服务器对批量待处理数据进行并行处理，使得中心服务器不对批量待处理数据进行任何实质性处理，而由各缓存服务器并行执行批量待处理数据的具体处理，不仅提高了缓存服务器的使用效率，而且极大提高了大批量数据情况下的数据处理响应速度，有效避免了中心服务器处理批量数据导致的响应延时的问题，极大提升用户体验。
实施例二
本申请实施例提供了另一种可能的实现方式，在实施例一的基础上，还包括实施例二所示的方法，其中，
步骤S100包括步骤S101(图中未标注)与步骤S102(图中未标注)，其中，
步骤S101：接收客户端发送的数据处理信息。
步骤S102：根据数据处理信息，获取批量待处理数据。
其中，数据处理信息包括以下任一项：批量待处理数据；携带批量待处理数据的数据处理请求；携带批量待处理数据的至少一个存储地址的数据处理请求。
具体地，处于业务层的中心服务器与客户端直接进行信息交互，例如接收客户终端的请求、接着对接收到的请求进行处理，接着将处理结果返回给客户终端。其中，用户可以通过台式电脑、笔记本电脑或触控屏手机等终端设备的客户端，向中心服务器发送数据处理信息，也可以通过客户端的网页发送数据处理信息至中心服务器，以启动批量数据处理操作。数据处理信息具体可包含文件夹新建、转存或删除等请求。
进一步地，中心服务器可以通过接收到的客户端发送的数据处理信息，获取批量待处理数据，也可以直接接收客户端发送的批量待处理数据。其中，客户端发送的数据处理信息可以携带批量待处理数据，也可以携带批量待处理数据的存储路径，即数据处理信息包括批量待处理数据、携带批量待处理数据的数据处理请求以及携带批量待处理数据的至少一个存储地址的数据处理请求中的任一项。
进一步地，当数据处理信息中携带批量待处理数据时，中心服务器通过对数据处理信息进行解析，直接得到该批量待处理数据，当数据处理信息中携带的是批量待处理数据的存储地址时，中心服务器通过对数据处理信息进行解析，得到批量待处理数据的存储地址，进而根据该存储地址获取批量待处理数据。
进一步地，当数据处理信息中携带的是批量待处理数据的存储地址且每个待处理数据均对应一个存储地址时，由于中心服务器并不对该批量待处理数据进行实质性的处理操作，故中心服务器可以不预先从存储地址中获取出各个待处理数据，而是直接将各个待处理数据分别对应的存储地址分发给对应的各个缓存服务器，由各个缓存服务器从存储地址中获取相应的待处理数据，从而进一步减少中心服务器的工作量，提高处理数据效率。
对于本申请实施例，通过接收到的数据处理信息来获取批量待处理数据，使得中心服务器可以根据多种可行方式来获取批量待处理数据，增加了获取批量待处理数据的灵活性。
实施例三
本申请实施例提供了另一种可能的实现方式，在实施例二的基础上，还包括实施例三所示的方法，其中，
步骤S200包括步骤S202(图中未标注)：当数据处理信息包括批量待处理数据或者数据处理请求中携带批量待处理数据时，确定批量待处理数据中的各个待处理数据的键值；以及根据CRC16算法确定各键值分别对应的缓存服务器标识码；以及依据各缓存服务器标识码确定对应的缓存服务器，并将各个待处理数据分别发送至查找到的对应缓存服务器。
在步骤S202之前还包括步骤S201(图中未标注)：保存批量待处理数据中的各个待处理数据在逻辑关系上的先后执行顺序。
具体地，当数据处理信息包括批量待处理数据或者数据处理请求中携带批量待处理数据时，即中心服务器预先获取到了批量待处理数据，此时中心服务器可以将获取到的批量待处理数据分发至相应的缓存服务器，以由相应的缓存服务器对批量待处理数据进行并行处理。
进一步地，中心服务器将接收到的批量待处理数据均转换成统一内部格式，其中，统一内部格式包括数据操作类型、操作地址标识、数据所属的表名、多个数据列，数据列包括一个或多个键值(例如主键与外键)，从而得到批量待处理数据中的各个待处理数据分别对应的键值key。
进一步地，中心服务器根据CRC16(Cyclical Redundancy Check，循环冗余码校验)算法确定各键值key分别对应的缓存服务器标识码，并基于缓存服务器标识码从预设数据库中查找对应的缓存服务器，从而将缓存服务器标识码对应的待处理数据分发到相应的缓存服务器中，以使得各缓存服务器对相应的待处理数据进行并行数据处理操作，例如缓存服务器1处理待处理数据1，缓存服务器2处理待处理数据2，…，缓存服务器N处理待处理数据N，其中，各个缓存服务器同时进行数据处理操作，相互之间不会产生影响。另外，预设数据库中预先存储有缓存服务器标识码与缓存服务器的一一对应关系，例如缓存服务器标识码1对应缓存服务器1，缓存服务器标识码2对应缓存服务器2，…，缓存服务器标识码N对应缓存服务器N。
进一步地，在将缓存服务器标识码对应的待处理数据分发到相应的缓存服务器的过程中，也可以将缓存服务器标识码对应的待处理数据的键值一共发送给相应的缓存服务器，各缓存服务器接收到待处理数据的键值后，根据CRC16算法确定该键值key对应的缓存服务器标识码是否为其本身的缓存服务器标识码，如果是，则继续对该待处理数据进行处理，如果不是，则将待处理数据返回给中心服务器，由中心服务器重新确定对应的缓存服务器。
进一步地，在基于缓存服务器标识码将各键值对应的待处理数据分发到相应的缓存服务器的过程中，中心服务器保存批量待处理数据中的各个待处理数据的逻辑执行顺序，以使得后续基于该逻辑执行顺序，对各缓存服务器的处理结果进行组合、打包等处理。其中，逻辑执行顺序是指各待处理数据在逻辑关系上的先后执行顺序，例如待处理数据1的处理应该在待处理数据2之前，待处理数据2的处理应该在待处理数据3之前等。
对于本申请实施例，中心服务器根据数据键值及CRC16算法，可以快速、准确地确定出各个待处理数据分别对应的缓存服务器，从而降低分发各个待处理数据的时间开销，由各缓存服务器并行执行批量待处理数据的具体处理，不仅提高了缓存服务器的使用效率，而且极大提高了大批量数据情况下的数据处理响应速度，有效避免了中心服务器处理批量数据导致的响应延时的问题，极大提升用户体验。
实施例四
本申请实施例提供了另一种可能的实现方式，在实施例三的基础上，还包括实施例四所示的方法，其中，
步骤S200包括步骤S204(图中未标注)：当数据处理请求中携带批量待处理数据的多个存储地址时，根据各个存储地址确定各个待处理数据对应的缓存服务器，以使得各缓存服务器从对应的存储地址中获取待处理数据。
在步骤S204之前还包括步骤S203(图中未标注)：保存各个存储地址的先后排列顺序。
具体地，当中心服务器接收到客户端发送的数据处理信息且该数据处理信息中携带的是批量待处理数据的存储地址时，若存储地址有多个，例如每个待处理数据均对应一个存储地址，此时中心服务器可以不从存储地址中获取批量待处理数据，而是根据存储地址与缓存服务器的预设对应关系，确定出各存储地址分别对应的缓存服务器，由各缓存服务器从与其对应的存储地址中获取待处理数据并进行相应处理。此时，中心服务器记录数据处理信息中携带的批量待处理数据的存储路径的先后排列顺序，例如存储路径1在存储路径2之前，存储路径2在存储路径3之前，以使得后续基于该存储路径的先后排列顺序，对各缓存服务器的处理结果进行组合、打包等。
进一步地，若批量待处理数据的存储地址只有1个，则无法根据存储地址确定批量待处理数据分别对应的缓存服务器，此时中心服务器可以先根据存储地址获取到批量待处理数据，再根据批量待处理数据中的各个待处理数据分别对应的键值key，确定各键值key分别对应的缓存服务器，由各个缓存服务器并行处理相应的待处理数据，具体请见上述实施三的相关说明，在此不再赘述。
进一步地，当批量待处理数据的存储地址只有1个时，无法根据存储地址确定批量待处理数据分别对应的缓存服务器，此时若存储地址中存储有批量待处理数据以及该批量待处理数据中的各个待处理数据的数据标识，则可以根据数据标识与缓存服务器的预设对应关系，确定出各数据标识分别对应的缓存服务器，由各缓存服务器根据数据标识从该数据标识对应的存储地址中获取待处理数据并进行相应处理。此时，中心服务器记录数据处理信息中携带的批量待处理数据的存储路径的先后排列顺序，例如存储路径1在存储路径2之前，存储路径2在存储路径3之前，以使得后续基于该存储路径的先后排列顺序，对各缓存服务器的处理结果进行组合、打包等。
对于本申请实施例，中心服务器根据各个待处理数据的存储地址或批量待处理数据的存储地址中存储的各个待处理数据的数据标识，同样可以快速、准确地确定出各个待处理数据分别对应的缓存服务器，从而降低分发各个待处理数据的时间开销，由各缓存服务器并行执行批量待处理数据的具体处理，不仅提高了缓存服务器的使用效率，而且极大提高了大批量数据情况下的数据处理响应速度，有效避免了中心服务器处理批量数据导致的响应延时的问题，极大提升用户体验。
实施例五
本申请实施例提供了另一种可能的实现方式，在实施例四的基础上，还包括实施例五所示的方法，其中，
步骤S300之后还包括步骤S301(图中未标注)、S302(图中未标注)与S303(图中未标注)，其中，
步骤S301：基于各个待处理数据在逻辑关系上的先后执行顺序或者各个存储地址的先后排列顺序，对接收到的各缓存服务器返回的数据处理结果进行重新组合。
步骤S302：将重新组合后的数据处理结果作为整体进行打包处理，得到数据包。
步骤S303：向客户端发送所述数据包。
具体地，各缓存服务器对分发给它的待处理数据进行处理后，将处理结果反馈给中心服务器，即中心服务器接收各缓存服务器返回的数据处理结果。中心服务器接收到各缓存服务器返回的数据处理结果之后，基于先前保存的各个待处理数据的逻辑执行顺序或存储地址的先后排列顺序，对各缓存服务器反馈的处理结果进行重新组合，并将组合后的处理结果作为整体进行数据打包，得到数据包，并将该数据包发送给客户终端，以响应客户终端的数据处理请求。
进一步地，中心服务器可以通过定时读取各缓存服务器中的处理结果的方式，来获取缓存服务器的处理结果。
进一步地，中心服务器可以通过定时读取各缓存服务器中的处理结果的方式，来解析计算批量待处理数据的处理进度，并将处理进度返回给客户端，以呈现给用户。
对于本申请实施例，根据各个待处理数据的逻辑执行顺序或存储地址的先后排列顺序，对各缓存服务器反馈的处理结果进行重新组合，确保了组合后的处理结果与接收到的批量待处理数据的先后顺序完全匹配，进而向客户端返回准确无误的处理结果。
实施例六
图2为本申请实施例提供的一种基于集群计算的数据批处理装置的结构示意图，如图2所示，该装置20可以包括获取模块21、处理模块22与接收模块23，其中，
获取模块21用于获取批量待处理数据；
处理模块22用于将获取到的批量待处理数据中的各个待处理数据按照预设的分发规则分别发送至对应的缓存服务器，以使得各缓存服务器对批量待处理数据进行并行处理；
接收模块23用于接收各缓存服务返回的数据处理结果。
进一步地，获取模块21包括信息接收子模块211与数据获取子模块212，如图3所示，其中，
信息接收子模块211用于接收客户端发送的数据处理信息；
数据获取子模块212用于根据数据处理信息，获取批量待处理数据；
其中，数据处理信息包括以下任一项：批量待处理数据；携带批量待处理数据的数据处理请求；携带批量待处理数据的至少一个存储地址的数据处理请求。
进一步地，当数据处理信息包括批量待处理数据或者数据处理请求中携带批量待处理数据时，处理模块包括键值确定子模块221，标识码确定子模块222及数据发送子模块223，如图3所示，其中，
键值确定子模块221用于确定批量待处理数据中的各个待处理数据的键值；
标识码确定子模块222用于根据CRC16算法确定各键值分别对应的缓存服务器标识码；
数据发送子模块223用于依据各缓存服务器标识码确定对应的缓存服务器，并将各个待处理数据分别发送至查找到的对应缓存服务器。
进一步地，当数据处理请求中携带批量待处理数据的多个存储地址时，处理模块22具体用于根据各个存储地址确定各个待处理数据对应的缓存服务器，以使得各缓存服务器从对应的存储地址中获取待处理数据。
进一步地，该装置还包括第一保存模块24，如图3所示，第一保存模块24用于保存批量待处理数据中的各个待处理数据在逻辑关系上的先后执行顺序。
进一步地，该装置还包括第二保存模块25，如图3所示，第二保存模块26用于保存各个存储地址的先后排列顺序。
进一步地，该装置还包括数据重组模块26、打包处理模块27与发送模块28，如图3所示，其中，
数据重组模块26用于基于各个待处理数据在逻辑关系上的先后执行顺序或者各个存储地址的先后排列顺序，对接收到的各缓存服务器返回的数据处理结果进行重新组合；
打包处理模块27用于将重新组合后的数据处理结果作为整体进行打包处理，得到数据包；
发送模块28用于向客户端发送数据包。
本申请实施例提供的装置，与现有技术相比，获取批量待处理数据，为后续批量待处理数据的处理操作奠定基础，将获取到的批量待处理数据中的各个待处理数据按照预设的分发规则分别发送至对应的缓存服务器，以使得各缓存服务器对批量待处理数据进行并行处理，使得中心服务器不对批量待处理数据进行任何实质性处理，而由各缓存服务器并行执行批量待处理数据的具体处理，不仅提高了缓存服务器的使用效率，而且极大提高了大批量数据情况下的数据处理响应速度，有效避免了中心服务器处理批量数据导致的响应延时的问题，极大提升用户体验。
实施例七
本申请实施例提供了一种电子设备，如图4所示，图4所示的电子设备400包括：处理器401和存储器403。其中，处理器401和存储器403相连，如通过总线402相连。进一步地，电子设备400还可以包括收发器404。需要说明的是，实际应用中收发器404不限于一个，该电子设备400的结构并不构成对本申请实施例的限定。
其中，处理器401应用于本申请实施例中，用于实现图2所示的第一处理模块的功能。收发器404包括接收机和发射机，收发器404应用于本申请实施例中，用于实现图2所示的获取模块的功能。
处理器401可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器401也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线402可包括一通路，在上述组件之间传送信息。总线402可以是PCI总线或EISA总线等。总线402可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器403可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器403用于存储执行本申请方案的应用程序代码，并由处理器401来控制执行。处理器401用于执行存储器403中存储的应用程序代码，以实现图2所示实施例提供的基于集群计算的数据批处理装置的动作。
本申请实施例提供的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，与现有技术相比，可实现：获取批量待处理数据，为后续批量待处理数据的处理操作奠定基础，将获取到的批量待处理数据中的各个待处理数据按照预设的分发规则分别发送至对应的缓存服务器，以使得各缓存服务器对批量待处理数据进行并行处理，使得中心服务器不对批量待处理数据进行任何实质性处理，而由各缓存服务器并行执行批量待处理数据的具体处理，不仅提高了缓存服务器的使用效率，而且极大提高了大批量数据情况下的数据处理响应速度，有效避免了中心服务器处理批量数据导致的响应延时的问题，极大提升用户体验。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现实施例一所示的方法。与现有技术相比，获取批量待处理数据，为后续批量待处理数据的处理操作奠定基础，将获取到的批量待处理数据中的各个待处理数据按照预设的分发规则分别发送至对应的缓存服务器，以使得各缓存服务器对批量待处理数据进行并行处理，使得中心服务器不对批量待处理数据进行任何实质性处理，而由各缓存服务器并行执行批量待处理数据的具体处理，不仅提高了缓存服务器的使用效率，而且极大提高了大批量数据情况下的数据处理响应速度，有效避免了中心服务器处理批量数据导致的响应延时的问题，极大提升用户体验。
本申请实施例提供的计算机可读存储介质适用于上述方法的任一实施例。在此不再赘述。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种基于集群计算的数据批处理的方法，其特征在于，包括：
获取批量待处理数据；
将获取到的批量待处理数据中的各个待处理数据按照预设的分发规则分别发送至对应的缓存服务器，以使得各缓存服务器对所述批量待处理数据进行并行处理；
接收各缓存服务返回的数据处理结果。
2.根据权利要求1所述的方法，其特征在于，所述获取批量待处理数据，包括：
接收客户端发送的数据处理信息；
根据所述数据处理信息，获取批量待处理数据；
所述数据处理信息包括以下任一项：
批量待处理数据；
携带批量待处理数据的数据处理请求；
携带批量待处理数据的至少一个存储地址的数据处理请求。
3.根据权利要求2所述的方法，其特征在于，当数据处理信息包括批量待处理数据或者所述数据处理请求中携带批量待处理数据时，所述将获取到的批量待处理数据中的各个待处理数据按照预设的分发规则分别发送至对应的缓存服务器，包括：
确定批量待处理数据中的各个待处理数据的键值；
根据CRC16算法确定各键值分别对应的缓存服务器标识码；
依据各缓存服务器标识码确定对应的缓存服务器，并将各个待处理数据分别发送至查找到的对应缓存服务器。
4.根据权利要求2所述的方法，其特征在于，当所述数据处理请求中携带批量待处理数据的多个存储地址时，所述将获取到的批量待处理数据中的各个待处理数据按照预设的分发规则分别发送至对应的缓存服务器，包括：
根据各个存储地址确定各个待处理数据对应的缓存服务器，以使得各缓存服务器从对应的存储地址中获取待处理数据。
5.根据权利要求3所述的方法，其特征在于，在将各个待处理数据分别发送至查找到的对应缓存服务器之前，还包括：
保存批量待处理数据中的各个待处理数据在逻辑关系上的先后执行顺序。
6.根据权利要求4所述的方法，其特征在于，在将各个存储地址分别发送给查找到的对应缓存服务器之前，还包括：
保存各个存储地址的先后排列顺序。
7.根据权利要求5或6所述的方法，其特征在于，在接收各缓存服务器返回的数据处理结果之后，还包括：
基于各个待处理数据在逻辑关系上的先后执行顺序或者各个存储地址的先后排列顺序，对接收到的各缓存服务器返回的数据处理结果进行重新组合；
将重新组合后的数据处理结果作为整体进行打包处理，得到数据包；
向客户端发送所述数据包。
8.一种基于集群计算的数据批处理的装置，其特征在于，包括：
获取模块，用于获取批量待处理数据；
处理模块，用于将获取到的批量待处理数据中的各个待处理数据按照预设的分发规则分别发送至对应的缓存服务器，以使得各缓存服务器对所述批量待处理数据进行并行处理；
接收模块，用于接收各缓存服务返回的数据处理结果。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7任一项所述的基于集群计算的数据批处理的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现权利要求1-7任一项所述的基于集群计算的数据批处理的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810947775.8A CN109376004A (zh) | 2018-08-20 | 2018-08-20 | 基于集群计算的数据批处理方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810947775.8A CN109376004A (zh) | 2018-08-20 | 2018-08-20 | 基于集群计算的数据批处理方法、装置、电子设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109376004A true CN109376004A (zh) | 2019-02-22 |
Family
ID=65404695
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810947775.8A Pending CN109376004A (zh) | 2018-08-20 | 2018-08-20 | 基于集群计算的数据批处理方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109376004A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110247977A (zh) * | 2019-06-17 | 2019-09-17 | 中国联合网络通信集团有限公司 | 一种基于边缘计算的数据融合的方法和系统 |
| CN110795255A (zh) * | 2019-10-16 | 2020-02-14 | 金蝶软件（中国）有限公司 | 数据批量值调整方法、装置、可读存储介质和设备 |
| CN110955461A (zh) * | 2019-11-22 | 2020-04-03 | 北京达佳互联信息技术有限公司 | 计算任务的处理方法、装置、系统、服务器和存储介质 |
| CN111124352A (zh) * | 2019-12-24 | 2020-05-08 | 苏州思必驰信息科技有限公司 | 一种gsc计算方法、引擎、装置、设备及介质 |
| CN111221634A (zh) * | 2019-11-21 | 2020-06-02 | 望海康信(北京)科技股份公司 | 合并请求的处理方法、装置、设备及存储介质 |
| CN111767275A (zh) * | 2020-06-28 | 2020-10-13 | 北京林克富华技术开发有限公司 | 数据的处理方法及装置、数据处理系统 |
| CN112291212A (zh) * | 2020-10-16 | 2021-01-29 | 北京锐安科技有限公司 | 静态规则的管理方法、装置、电子设备和存储介质 |
| CN112615928A (zh) * | 2020-12-24 | 2021-04-06 | 上海优扬新媒信息技术有限公司 | 数据的处理方法、设备以及存储介质 |
| CN112748855A (zh) * | 2019-10-30 | 2021-05-04 | 北京沃东天骏信息技术有限公司 | 处理高并发数据请求的方法和装置 |
| CN113407429A (zh) * | 2021-06-23 | 2021-09-17 | 中国建设银行股份有限公司 | 一种任务处理方法和装置 |
| CN113486061A (zh) * | 2021-06-30 | 2021-10-08 | 平安证券股份有限公司 | 数据处理方法、装置、终端设备及存储介质 |
| CN113630408A (zh) * | 2021-08-03 | 2021-11-09 | Oppo广东移动通信有限公司 | 数据处理方法、装置、存储介质及服务器 |
| CN113901008A (zh) * | 2021-11-10 | 2022-01-07 | 上海意略明数字科技股份有限公司 | 数据处理方法及装置、存储介质、计算设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105740063A (zh) * | 2014-12-08 | 2016-07-06 | 杭州华为数字技术有限公司 | 一种数据处理方法及装置 |
| CN106330987A (zh) * | 2015-06-15 | 2017-01-11 | 交通银行股份有限公司 | 动态负荷均衡方法 |
| CN108337275A (zh) * | 2017-01-19 | 2018-07-27 | 百度在线网络技术（北京）有限公司 | 用于分发服务器的任务分发方法、装置以及设备 |
-
2018
- 2018-08-20 CN CN201810947775.8A patent/CN109376004A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105740063A (zh) * | 2014-12-08 | 2016-07-06 | 杭州华为数字技术有限公司 | 一种数据处理方法及装置 |
| CN106330987A (zh) * | 2015-06-15 | 2017-01-11 | 交通银行股份有限公司 | 动态负荷均衡方法 |
| CN108337275A (zh) * | 2017-01-19 | 2018-07-27 | 百度在线网络技术（北京）有限公司 | 用于分发服务器的任务分发方法、装置以及设备 |
Non-Patent Citations (3)
| Title |
|---|
| 程一航: "移动互联网流量采集系统优化与用户移动性分析", 中国优秀硕士学位论文全文数据库信息科技辑（月刊）, no. 03, 15 March 2018 (2018-03-15), pages 136 - 1088 * |
| 闫光，等: "飞机载荷谱实测数据并行统计处理算法", 吉林大学学报（工学版）, vol. 42, no. 3, 31 May 2012 (2012-05-31), pages 683 - 685 * |
| 陈琳: "作业管理系统的研究与实现", 中国优秀博硕士学位论文全文数据库（硕士）信息科技辑（月刊）, no. 04, 15 April 2005 (2005-04-15), pages 138 - 112 * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110247977A (zh) * | 2019-06-17 | 2019-09-17 | 中国联合网络通信集团有限公司 | 一种基于边缘计算的数据融合的方法和系统 |
| CN110795255A (zh) * | 2019-10-16 | 2020-02-14 | 金蝶软件（中国）有限公司 | 数据批量值调整方法、装置、可读存储介质和设备 |
| CN110795255B (zh) * | 2019-10-16 | 2022-07-08 | 金蝶软件（中国）有限公司 | 数据批量值调整方法、装置、可读存储介质和设备 |
| CN112748855B (zh) * | 2019-10-30 | 2024-03-01 | 北京沃东天骏信息技术有限公司 | 处理高并发数据请求的方法和装置 |
| CN112748855A (zh) * | 2019-10-30 | 2021-05-04 | 北京沃东天骏信息技术有限公司 | 处理高并发数据请求的方法和装置 |
| CN111221634A (zh) * | 2019-11-21 | 2020-06-02 | 望海康信(北京)科技股份公司 | 合并请求的处理方法、装置、设备及存储介质 |
| CN110955461B (zh) * | 2019-11-22 | 2024-01-12 | 北京达佳互联信息技术有限公司 | 计算任务的处理方法、装置、系统、服务器和存储介质 |
| CN110955461A (zh) * | 2019-11-22 | 2020-04-03 | 北京达佳互联信息技术有限公司 | 计算任务的处理方法、装置、系统、服务器和存储介质 |
| CN111124352A (zh) * | 2019-12-24 | 2020-05-08 | 苏州思必驰信息科技有限公司 | 一种gsc计算方法、引擎、装置、设备及介质 |
| CN111124352B (zh) * | 2019-12-24 | 2022-07-15 | 思必驰科技股份有限公司 | 一种gsc计算方法、引擎、装置、设备及介质 |
| CN111767275B (zh) * | 2020-06-28 | 2024-04-19 | 北京林克富华技术开发有限公司 | 数据的处理方法及装置、数据处理系统 |
| CN111767275A (zh) * | 2020-06-28 | 2020-10-13 | 北京林克富华技术开发有限公司 | 数据的处理方法及装置、数据处理系统 |
| CN112291212A (zh) * | 2020-10-16 | 2021-01-29 | 北京锐安科技有限公司 | 静态规则的管理方法、装置、电子设备和存储介质 |
| CN112291212B (zh) * | 2020-10-16 | 2023-02-28 | 北京锐安科技有限公司 | 静态规则的管理方法、装置、电子设备和存储介质 |
| CN112615928A (zh) * | 2020-12-24 | 2021-04-06 | 上海优扬新媒信息技术有限公司 | 数据的处理方法、设备以及存储介质 |
| CN112615928B (zh) * | 2020-12-24 | 2023-09-05 | 度小满科技(北京)有限公司 | 数据的处理方法、设备以及存储介质 |
| CN113407429A (zh) * | 2021-06-23 | 2021-09-17 | 中国建设银行股份有限公司 | 一种任务处理方法和装置 |
| CN113486061A (zh) * | 2021-06-30 | 2021-10-08 | 平安证券股份有限公司 | 数据处理方法、装置、终端设备及存储介质 |
| CN113630408B (zh) * | 2021-08-03 | 2023-06-16 | Oppo广东移动通信有限公司 | 数据处理方法、装置、存储介质及服务器 |
| CN113630408A (zh) * | 2021-08-03 | 2021-11-09 | Oppo广东移动通信有限公司 | 数据处理方法、装置、存储介质及服务器 |
| CN113901008B (zh) * | 2021-11-10 | 2022-09-27 | 上海意略明数字科技股份有限公司 | 数据处理方法及装置、存储介质、计算设备 |
| CN113901008A (zh) * | 2021-11-10 | 2022-01-07 | 上海意略明数字科技股份有限公司 | 数据处理方法及装置、存储介质、计算设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109376004A (zh) | 基于集群计算的数据批处理方法、装置、电子设备及介质 | |
| CN107241281B (zh) | 一种数据处理方法及其装置 | |
| CN107317887B (zh) | 一种负载均衡方法、装置和系统 | |
| CN105045607A (zh) | 一种实现多种大数据计算框架统一接口的方法 | |
| US20200285508A1 (en) | Method and Apparatus for Assigning Computing Task | |
| CN109543080B (zh) | 一种缓存数据处理方法、装置、电子设备及存储介质 | |
| US11303509B2 (en) | Resource allocation to reduce correlated failures | |
| CN110019125A (zh) | 数据库管理的方法和装置 | |
| CN111124589B (zh) | 一种服务发现系统、方法、装置及设备 | |
| US11405328B2 (en) | Providing on-demand production of graph-based relationships in a cloud computing environment | |
| CN109800236A (zh) | 支持多节点的分布式缓存方法及设备 | |
| CN111858586B (zh) | 一种数据处理的方法和装置 | |
| CN107426300A (zh) | 订阅数据的发送、接收方法、装置及系统 | |
| CN102457578A (zh) | 一种基于事件机制的分布式网络监控方法 | |
| CN110413419A (zh) | 一种规则执行的方法和装置 | |
| CN106911760A (zh) | 用于电信设备的数据传送 | |
| CN113704245A (zh) | 一种数据库主键生成方法、分表定位方法和装置 | |
| CN108124021A (zh) | 网际协议ip地址获取、网站访问的方法、装置及系统 | |
| CN111831503A (zh) | 一种基于监控代理的监控方法和监控代理装置 | |
| CN113783912A (zh) | 请求分发方法、装置及存储介质 | |
| CN113055350B (zh) | 数据传输方法、装置、设备及可读存储介质 | |
| CN113127550A (zh) | 信息处理方法、装置、电子设备及存储介质 | |
| CN113760262A (zh) | 任务处理方法、装置、计算机系统和计算机可读存储介质 | |
| Li et al. | Distributed nosql storage for extreme-scale system services | |
| US20230315541A1 (en) | Tightly coupled parallel applications on a serverless computing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |