CN110297578B - 批量处理海量数据中部分数据的方法、装置及电子设备 - Google Patents

Abstract

本申请实施例提供了批量处理海量数据中部分数据的方法、装置及电子设备，通过判断所述目标选项的当前勾选状态是否为选中，如果是，将所述目标选项加入到预设第一数据库中，如果不是，将所述目标选项加入到预设第二数据库中，预设第一数据库以及预设第二数据库的使用，可以解决数据过多时，导致占用内存过高，出现卡顿、无响应、以及卡死的现象，最后对第一数据库中的数据批量处理，实现了减少批量处理海量数据中部分数据的操作时间，方便用户操作的路径，优化操作步骤，提高用户体验。

Description

批量处理海量数据中部分数据的方法、装置及电子设备

技术领域

本申请涉及信息处理技术领域，特别是涉及批量处理海量数据中部分数据的方法、装置及电子设备。

背景技术

批量处理海量数据中部分数据的应用越来越广泛，例如在电商网站、电信网站当中有成千上万条商品数据，需要对某一些商品数据或用户批量操作，例如：多个商品需要一起修改商品价格，或者需要对一项商品进行批量的下架，上架，批量删除；或者ERP(Enterprise Resource Planning，企业资源计划)系统中业务的应用，ERP系统包含了财务、供应链和制造等多种业务功能，每种业务功能都有大量的数据需要进行处理，例如，ERP列表的提交、审核操作等。

通常批量处理海量数据中部分数据的处理方法为使用下拉菜单选项处理数据，使用下拉菜单选项批量处理数据需要在页面将数据一个一个选中，然后进行处理处理，当数据比较多时，使用下拉菜单选项批量处理数据会导致占用内存过高，存在页面卡顿，页面无响应，处理超时，严重会造成电脑死机的问题。

发明内容

本申请实施例的目的在于提供批量处理海量数据中部分数据的方法、装置、电子设备、存储介质及包含指令的计算机程序产品，以解决数据比较多时内存占用过高的问题。具体技术方案如下：

第一方面，本申请实施例提供了一种批量处理海量数据中部分数据的方法，包括：

根据待处理数据，生成下拉菜单的各选项，其中，所述各选项中默认勾选的选项的勾选状态为选中，所述下拉菜单每次展示预设数量的选项；

在获取到用户针对目标选项的指定操作时，变更所述目标选项的勾选状态，得到所述目标选项的当前勾选状态，其中，所述目标选项为所述各选项中的选项；

判断所述目标选项的当前勾选状态是否为选中，如果是，将所述目标选项加入到预设第一数据库中，如果不是，将所述目标选项加入到预设第二数据库中；

对所述第一数据库中的选项进行第一操作。

可选的，所述预设数量的选项占用的内存小于预设内存阈值。

可选的，所述根据待处理数据，生成下拉菜单的各选项，包括：

根据预设指令，生成下拉菜单的各选项。

可选的，所述方法还包括：

对比所述第一数据库和所述第二数据库中的选项，将所述第一数据库和所述第二数据库中均包含的选项进行删除处理，得到处理后的所述第一数据库和所述第二数据库。

可选的，所述方法还包括：

对所述第二数据库中的选项进行第二操作。

第二方面，本申请实施例提供了一种批量处理海量数据中部分数据的装置，包括：

生成模块，用于根据待处理数据，生成下拉菜单的各选项，其中，所述各选项中默认勾选的选项的勾选状态为选中，所述下拉菜单每次展示预设数量的选项；

变更模块，用于在获取到用户针对目标选项的指定操作时，变更所述目标选项的勾选状态，得到所述目标选项的当前勾选状态，其中，所述目标选项为所述各选项中的选项；

判断模块，用于判断所述目标选项的当前勾选状态是否为选中，如果是，将所述目标选项加入到预设第一数据库中，如果不是，将所述目标选项加入到预设第二数据库中；

第一处理模块，用于对所述第一数据库中的选项进行第一操作。

可选的，所述预设数量的选项占用的内存小于预设内存阈值。

可选的，所述根据待处理数据，生成下拉菜单的各选项，包括：

根据预设指令，生成下拉菜单的各选项。

可选的，所述装置还包括：

去重模块，用于对比所述第一数据库和所述第二数据库中的选项，将所述第一数据库和所述第二数据库中均包含的选项进行删除处理，得到处理后的所述第一数据库和所述第二数据库。

可选的，所述装置还包括：

第二处理模块，用于对所述第二数据库中的选项进行第二操作。

第三方面，本申请实施例提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，

所述处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一项所述的批量处理海量数据中部分数据的方法。

第四方面，本申请实施例提供了一种存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的批量处理海量数据中部分数据的方法。

第五方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面任一所述的批量处理海量数据中部分数据的方法。

本申请实施例提供的批量处理海量数据中部分数据的方法、装置、电子设备、存储介质及包含指令的计算机程序产品，通过判断所述目标选项的当前勾选状态是否为选中，如果是，将所述目标选项加入到预设第一数据库中，如果不是，将所述目标选项加入到预设第二数据库中，预设第一数据库以及预设第二数据库的使用，可以解决数据过多时，导致占用内存过高，出现卡顿、无响应、以及卡死的现象，最后对第一数据库中的数据批量处理，实现了减少批量处理海量数据中部分数据的操作时间，方便用户操作的路径，优化操作步骤，提高用户体验。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的批量处理海量数据中部分数据的方法的一种示意图；

图2为本申请实施例的批量处理海量数据中部分数据的装置的一种示意图；

图3为本申请实施例的电子设备的一种示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例公开了一种批量处理海量数据中部分数据的方法、装置、电子设备、存储介质及包含指令的计算机程序产品，以下分别进行说明。

本申请实施例提供了批量处理海量数据中部分数据的方法，参见图1，图1为本申请实施例的批量处理海量数据中部分数据的方法的一种示意图，包括如下步骤：

步骤110，根据待处理数据，生成下拉菜单的各选项，其中，上述各选项中默认勾选的选项的勾选状态为选中，上述下拉菜单每次展示预设数量的选项。

本申请实施例的批量处理海量数据中部分数据的方法可以通过电子设备实现，具体的，该电子设备可以为服务器。

电子设备根据待处理数据，生成下拉菜单的各选项，其中，上述各选项中默认勾选的选项的勾选状态为选中。例如：在电商网站，需要对1000个商品中的600个商品一起修改价格，电子设备根据上述1000个商品，生成下拉菜单的各选项。上述下拉菜单选项每次展示的选项数量为预先设置的。下拉菜单默认条数，最大的限制在于电子设备所能承受限制，和电子设备的配置有关，为了防止出现选项过多导致设备卡顿，严重会卡死的现象，使得操作更加流畅，上述下拉菜单选项每次展示的选项数量为预先设置的，例如：上述下拉菜单选项每次展示的选项数量为20条。

对于勾选状态为选中的选项，如果生成下拉菜单的各选项中包含勾选状态为选中的选项，那么上述生成下拉菜单的各选项默认勾选上述勾选状态为选中的选项。

例如：需要对1000个商品中的600个商品一起修改价格，选项A为1000个商品中的一个商品，选项A勾选状态为选中，上述下拉菜单选项展示的选项数量为20条，当20条选项中再次出现选项A时，上述下拉菜单默认勾选选项A，即选项A在20条选项中勾选状态为选中。再例如，搜索1000个商品中的水果类商品，上述下拉菜单会展示搜索1000个商品中的水果类商品的模糊查找对应的选项，其中B商品为模糊查找对应的选项中的选项，如果选项B勾选状态为选中，当20条选项中再次出现选项B时，上述下拉菜单默认勾选选项B。

上述下拉菜单选项默认勾选勾选状态为选中的选项，可以实现减少批量处理海量数据中部分数据的操作时间，方便用户操作的路径，优化操作步骤，提高用户体验。

在一种可能的实施方式中，上述预设数量的各选项占用的内存小于预设内存阈值。

预先设置上述下拉菜单选项每次展示的选项数量可以防止选项过多时，导致占用内存过高，出现卡顿、无响应、以及卡死的现象，提高用户体验。

步骤120，在获取到用户针对目标选项的指定操作时，变更上述目标选项的勾选状态，得到上述目标选项的当前勾选状态，其中，上述目标选项为上述各选项中的选项。

上述下拉菜单中的各选项，勾选状态可以为选中，也可以为非选中，在获取到用户针对目标选项的指定操作时，变更上述目标选项的勾选状态，将得到上述目标选项的当前勾选状态。例如：上述下拉菜单默认展示了20条选项，其中有5条为选中，其余15条为非选中。当需要对上述5条为选中选项中的一条选项进行操作，例如选项C进行操作时，即选项C为上述目标选项，选项C的勾选状态为选中，对选项C执行操作后，选项C的当前勾选状态将变为非选中；当需要对上述15条为非选中选项中的一条选项，例如选项D进行操作时，即选项D为上述目标选项，选项D的勾选状态为非选中，对选项D执行操作后，选项D的当前勾选状态将变为选中。

步骤130，判断上述目标选项的当前勾选状态是否为选中，如果是，将上述目标选项加入到预设第一数据库中，如果不是，将上述目标选项加入到预设第二数据库中。

例如，需要对商品中的部分商品，例如选项1、选项2、选项3，进行批量上架，对选项1、选项2、选项3进行操作，选项1、选项2、选项3的当前勾选状态为选中，则将选项1、选项2，选项3加入到预设第一数据库中，上述预设第一数据库为内存数据库。

再例如，需要对已选中的商品中的部分数据进行批量删除，例如选项a、选项b、选项c勾选状态为选中，对选项a、选项b、选项c进行操作，选项a、选项b、选项c的当前勾选状态为非选中，则将选项a、选项b、选项c加入到预设第二数据库中，上述预设第一数据库为内存数据库。

例如：需要对1000个商品中的600个商品一起修改价格，上述下拉菜单选项展示的选项数量为20条，上述20条数据默认勾选的选项中的选项有5条，目标选项为选项E，判断预设第一数据库中是否包含选项E，判断选项E是否为上述默认勾选的5条选项中的选项；

如果选项E不在上述第一数据库中，且选项E不是上述默认勾选的5条选项中的选项，则针对选项E的指定操作时，变更选项E的勾选状态，选项E当前的勾选状态为选中，则将选项E加入到第一数据库；

如果选项E在上述第一数据库中，或者：

选项E为上述默认勾选的5条选项中的选项，则针对选项E的指定操作时，变更选项E的勾选状态，选项E当前的勾选状态为非选中，则将选项E加入到上述第二数据库。

预设第一数据库以及预设第二数据库的使用，可以解决数据过多时，导致占用内存过高，出现卡顿、无响应、以及卡死的现象，提高用户体验。

步骤140，对上述第一数据库中的选项进行第一操作。

例如，需要对商品中的部分商品进行批量上架，例如选项1、选项2、选项3，对选项1、选项2、选项3进行操作，选项1、选项2、选项3的当前勾选状态为选中，则将选项1、选项2，选项3加入到预设第一数据库中，对上述第一数据库的选项进行批量上架。对上述第一数据库中的选项进行第一操作可以减少用户批量操作的时间，提高用户体验。

在一种可能的实施方式中，上述根据待处理数据，生成下拉菜单的各选项，包括：

根据预设指令，生成下拉菜单的各选项。

上述预设指令可以为刷新指令等，例如：预设指令为刷新指令，需要对1000个商品中的600个商品一起修改价格，上述下拉菜单选项展示的选项数量为20条，当20条选项中只有选项D为目标选项，上述下拉菜单勾选选项D，并根据上述预设指令刷新，重新获取新的展示选项，比如下拉菜单选项刷新后展示的20条选项中，选项E、选项F为目标选项，以此，获得所有需要批量处理的选项。

在一种可能的实施方式中，上述方法还包括：

对比上述第一数据库和上述第二数据库中的选项，将上述第一数据库和上述第二数据库中均包含的选项进行删除处理，得到处理后的上述第一数据库和上述第二数据库。

如果对同样一条选项进行多次操作、那么同样一条选项的当前状态就会从非选中变为选中、选中变为非选中，此条选项就会同时存在上述第一数据库和上述第二数据库中。例如：上述下拉菜单默认展示了20条选项，其中有5条为选中，选项F为5条中的一条，对选项F执行操作，选项F的当前勾选状态变为非选中，将选项F加入上述第二数据库中。刷新上述下拉菜单，此时选项F状态为非选中，对选项F执行操作，选项F的当前勾选状态变为选中，将选项F加入上述第一数据库中，此时，上述第一数据库及上述第二数据库中均包含选项F，需要对上述第一数据库及上述第二数据库中去重处理，将上述第一数据库及上述第二数据库中都包含的选项进行都删除，得到到处理后的上述第一数据库和上述第二数据库。这样可以防止误操作，提高用户体验。在一种可能的实施方式中，上述方法还包括：

对上述第二数据库中的选项进行第二操作。

例如，需要对已选中的商品中的部分数据进行批量删除，例如选项a、选项b、选项c勾选状态为选中，对选项a、选项b、选项c进行操作，选项a、选项b、选项c的当前勾选状态为非选中，则将选项a、选项b、选项c加入到预设第二数据库中，对上述第二数据库的选项进行批量删除。

通过上述批量处理海量数据中部分数据的方法，通过判断上述目标选项的当前勾选状态是否为选中，如果是，将上述目标选项加入到预设第一数据库中，如果不是，将上述目标选项加入到预设第二数据库中，将上述第一数据库和上述第二数据库中均包含的选项进行删除处理，得到处理后的上述第一数据库和上述第二数据库，预设第一数据库以及预设第二数据库的使用，将需要批量处理的选项加入到预设数据库中，可以有效的解决数据比较多时，页面内存占用过高的问题，最后批量操作第一数据库或第二数据库中的选项，实现了减少批量处理海量数据中部分数据的操作时间，方便用户操作的路径，优化操作步骤，提高用户体验。

本申请实施例还提供了批量处理海量数据中部分数据的装置，参见图2，图2为本申请实施例的批量处理海量数据中部分数据的装置的一种示意图，包括：

生成模块210，用于根据待处理数据，生成下拉菜单的各选项，其中，上述各选项中默认勾选的选项的勾选状态为选中，上述下拉菜单项每次展示预设数量的选项；

变更模块220，用于在获取到用户针对目标选项的指定操作时，变更上述目标选项的勾选状态，得到上述目标选项的当前勾选状态，其中，上述目标选项为上述各选项中的选项；

判断模块230，用于判断上述目标选项的当前勾选状态是否为选中，如果是，将上述目标选项加入到预设第一数据库中，如果不是，将上述目标选项加入到预设第二数据库中；

第一处理模块240，用于对上述第一数据库中的选项进行第一操作。

在一种可能的实施方式中，上述预设数量的选项占用的内存小于预设内存阈值。

在一种可能的实施方式中，上述根据待处理数据，生成下拉菜单的各选项，包括：

根据预设指令，生成下拉菜单的各选项。

在一种可能的实施方式中，上述装置还包括：

去重模块，用于对比上述第一数据库和上述第二数据库中的选项，将上述第一数据库和上述第二数据库中均包含的选项进行删除处理，得到处理后的上述第一数据库和上述第二数据库。

在一种可能的实施方式中，上述装置还包括：

第二处理模块，用于对上述第二数据库中的选项进行第二操作。

本申请实施例还提供了一种电子设备，参见图3，图3为本申请实施例的电子设备的一种示意图，包括：处理器310、通信接口320、存储器330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信，

上述存储器330，用于存放计算机程序；

上述处理器310，用于执行上述存储器330存放的计算机程序时，实现如下步骤：

根据待处理数据，生成下拉菜单的各选项，其中，上述各选项中默认勾选的选项的勾选状态为选中，上述下拉菜单每次展示预设数量的选项；

在获取到用户针对目标选项的指定操作时，变更上述目标选项的勾选状态，得到上述目标选项的当前勾选状态，其中，上述目标选项为上述各选项中的选项；

判断上述目标选项的当前勾选状态是否为选中，如果是，将上述目标选项加入到预设第一数据库中，如果不是，将上述目标选项加入到预设第二数据库中；

对上述第一数据库中的选项进行第一操作。

可选的，处理器310，用于执行存储器330上所存放的程序时，还可以实现上述任一批量处理海量数据中部分数据的方法。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本申请实施例中，还提供了一种存储介质，该存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的批量处理海量数据中部分数据的方法。

在本申请实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的批量处理海量数据中部分数据的方法。

需要说明的是，在本文中，各个可选方案中的技术特征只要不矛盾均可组合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (10)

1.一种批量处理海量数据中部分数据的方法，其特征在于，包括：

根据待处理数据，生成下拉菜单的各选项，其中，所述各选项中默认勾选的选项的勾选状态为选中，所述下拉菜单每次展示预设数量的选项；

在获取到用户针对目标选项的指定操作时，变更所述目标选项的勾选状态，得到所述目标选项的当前勾选状态，其中，所述目标选项为所述各选项中的选项；

判断所述目标选项的当前勾选状态是否为选中，如果是，将所述目标选项加入到预设第一数据库中，如果不是，将所述目标选项加入到预设第二数据库中；

对比所述第一数据库和所述第二数据库中的选项，将所述第一数据库和所述第二数据库中均包含的选项进行删除处理，得到处理后的所述第一数据库和所述第二数据库；

对所述第一数据库中的选项进行第一操作。

2.根据权利要求1所述的方法，其特征在于，所述预设数量的选项占用的内存小于预设内存阈值。

3.根据权利要求1所述的方法，其特征在于，所述根据待处理数据，生成下拉菜单的各选项，包括：

根据预设指令，生成下拉菜单的各选项。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述第二数据库中的选项进行第二操作。

5.一种批量处理海量数据中部分数据的装置，其特征在于，包括：

生成模块，用于根据待处理数据，生成下拉菜单的各选项，其中，所述各选项中默认勾选的选项的勾选状态为选中，所述下拉菜单每次展示预设数量的选项；

变更模块，用于在获取到用户针对目标选项的指定操作时，变更所述目标选项的勾选状态，得到所述目标选项的当前勾选状态，其中，所述目标选项为所述各选项中的选项；

判断模块，用于判断所述目标选项的当前勾选状态是否为选中，如果是，将所述目标选项加入到预设第一数据库中，如果不是，将所述目标选项加入到预设第二数据库中；

去重模块，用于对比所述第一数据库和所述第二数据库中的选项，将所述第一数据库和所述第二数据库中均包含的选项进行删除处理，得到处理后的所述第一数据库和所述第二数据库；

第一处理模块，用于对所述第一数据库中的选项进行第一操作。

6.根据权利要求5所述的装置，其特征在于，所述预设数量的选项占用的内存小于预设内存阈值。

7.根据权利要求5所述的装置，其特征在于，所述根据待处理数据，生成下拉菜单的各选项，包括：

根据预设指令，生成下拉菜单的各选项。

8.根据权利要求5所述的装置，其特征在于，所述装置还包括：

第二处理模块，用于对所述第二数据库中的选项进行第二操作。

9.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，

所述处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-4中任一项所述的批量处理海量数据中部分数据的方法。

10.一种存储介质，其特征在于，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一项所述的批量处理海量数据中部分数据的方法。

Images