CN105681252B - 一种基于客户端侧数据的处理方法及装置 - Google Patents

Abstract

本发明提供了一种基于客户端侧数据的处理方法及装置，该处理方法包括：获取查询条件信息和/或客户端屏幕可显示的数据量信息；根据查询条件信息和/或数据量信息，向服务端发送查询请求；接收服务端根据查询请求分批返回的数据，其中首批返回的数据的数据量大于或等于客户端屏幕可显示的数据量；显示首批返回的数据，并对分批返回的数据进行建模存储，本发明的处理方法能提高客户端处理大数据的能力，从而保证客户端实施大数据操作时，服务端零负荷和带宽零浪费。

Description

一种基于客户端侧数据的处理方法及装置

技术领域

本发明涉及通信技术领域，特别涉及一种基于客户端侧数据的处理方法及装置。

背景技术

在C/S架构的系统中，客户端承担着大量的数据展示任务，通用的应用场景是客户端从服务端获取数据，展示到客户端，并提供排序、筛选和导出文件的功能。由于客户端的内存有限，当服务端返回数据量超过一定量级，便可能造成客户端内存溢出。为了解决这个问题，采用过如下的处理方式：方式一，限定客户端展示的数据条数。当服务器返回的数据量超过固定条数限制后，便提示用户超出了客户端处理能力，要求用户重新提交请求或者缩小查询范围，但这种方式降低了软件的易用性，用户无法查看请求的全部数据。方式二，分页展示服务器返回的数据，默认显示第一页数据，用户点击“下一页”或者“上一页”查看数据时，构造请求到服务端获取该页数据，但这种方式增加了服务器的压力，也造成通信资源的浪费。方式三，单页显示服务器返回的数据，但是只将视野范围的数据放入缓存，当用户拖动到视野外时，构建请求到服务端动态获取新视野范围的数据，该方式也增加了服务器压力和通信资源的浪费。

发明内容

本发明的目的在于提供了一种基于客户端侧数据的处理方法及装置，能保证客户端实施大数据操作时，服务端零负荷和带宽零浪费。

为了达到上述目的，本发明的实施例提供了一种基于客户端侧数据的处理方法，上述处理方法包括：

获取查询条件信息和/或客户端屏幕可显示的数据量信息；

根据查询条件信息和/或数据量信息，向服务端发送查询请求；

接收服务端根据查询请求分批返回的数据，其中首批返回的数据的数据量大于或等于客户端屏幕可显示的数据量；

显示首批返回的数据，并对分批返回的数据进行建模存储。

其中，对分批返回的数据进行建模存储的步骤包括：

将分批返回的数据的每列作为一个单独的索引项数据模型存储，索引项数据模型包括索引项数据、相异基数、索引项数据哈希码以及记录号，其中索引项数据为索引项数据模型对应列的数据，索引项数据哈希码为索引项数据经过哈希函数得到的值，记录号为索引项数据进入客户端的顺序号，相异基数表征索引项数据行与行之间的相异程度。

其中，对分批返回的数据进行建模存储的步骤之后，处理方法还包括：

获取用户输入的请求，并根据用户输入的请求，对存储的索引项数据进行操作。

其中，获取用户输入的请求，并根据用户输入的请求，对存储的索引项数据进行操作的步骤包括：

获取当前视野数据请求信息，当前视野为客户端当前显示的索引项数据范围；

根据当前视野数据请求信息，计算所需要的索引项数据范围信息；

将计算后的索引项数据范围信息转换为视野记录号列表；

根据视野记录号列表显示索引项数据。

其中，获取用户输入的请求，并根据用户输入的请求，对存储的索引项数据进行操作的步骤包括：

获取用户输入的对存储的索引项数据的指定列的第一次排序请求；

根据第一次排序请求，获取第一次排序请求所指定列的索引项数据模型，并对该索引项数据模型的索引项数据哈希码进行排序；

根据第一次排序后的索引项数据哈希码生成第一排序记录号列表以及第一排序记录号和第一相异基数的对应关系；

根据第一排序记录号列表显示索引项数据。

其中，在第一次排序之后，处理方法还包括n次排序，n为大于或等于1的整数，n次排序的第i次排序的步骤为：

获取用户输入的对存储的索引项数据的指定列的第i次排序请求，其中i大于1且小于或等于n；

根据第i-1次排序生成的记录号列表和第i次排序请求，获取第i次排序请求所指定列的索引项数据模型的索引项数据哈希码；

将第i次排序请求所指定列的索引项数据模型的索引项数据哈希码放入第i-1次排序生成的第i-1排序记录号和第i-1相异基数的对应关系中，并检测第i-1相异基数的相异程度；

若第i-1相异基数相同，则对第i次排序请求所指定列的索引项数据模型的索引项数据哈希码进行排序；

根据第i次排序后的索引项数据哈希码生成第i排序记录号列表以及第i排序记录号和第i相异基数的对应关系；

根据第i排序记录号列表显示索引项数据；

若第i-1相异基数不相同，则根据第i-1次排序生成的记录号列表显示索引项数据。

其中，获取用户输入的请求，并根据用户输入的请求，对存储的索引项数据进行操作的步骤包括：

获取用户输入的对存储的索引项数据的第一次筛选信息；

根据第一次筛选信息，通过多个线程筛选存储的索引项数据；

根据第一次筛选后的索引项数据，生成筛选后的第一筛选记录号列表；

根据第一筛选记录号列表显示索引项数据。

其中，在第一次筛选之后，处理方法还包括m次筛选，m为大于或等于1的整数，m次筛选的第j次筛选的步骤为：

获取用户输入的对存储的索引项数据的第j次筛选信息，其中j大于1且小于或等于m；

根据第j-1次筛选生成的记录号列表，获取第j-1次筛选后的索引项数据；

根据第j次筛选信息，通过多个线程筛选第j-1次筛选后的索引项数据；

根据第j次筛选后的索引项数据，生成筛选后的第j筛选记录号列表；

根据第j筛选记录号列表显示索引项数据。

其中，获取用户输入的请求，并根据用户输入的请求，对存储的索引项数据进行操作的步骤包括：

获取导出请求信息；

根据导出请求信息，获取相应的索引项数据，并导出相应的索引项数据。

本发明实施例还提供了一种基于客户端侧数据的处理装置，上述处理装置包括：

获取模块，用于获取查询条件信息和/或客户端屏幕可显示的数据量信息；

发送模块，用于根据查询条件信息和/或数据量信息，向服务端发送查询请求；

接收模块，用于接收服务端根据查询请求分批返回的数据，其中首批返回的数据的数据量大于或等于客户端屏幕可显示的数据量；

处理模块，用于显示首批返回的数据，并对分批返回的数据进行建模存储。

其中，处理模块包括：

建模单元，用于将分批返回的数据的每列作为一个单独的索引项数据模型存储，索引项数据模型包括索引项数据、相异基数、索引项数据哈希码以及记录号，其中索引项数据为索引项数据模型对应列的数据，索引项数据哈希码为索引项数据经过哈希函数得到的值，记录号为索引项数据进入客户端的顺序号，相异基数表征索引项数据行与行之间的相异程度。

其中，处理装置还包括：

操作模块，用于获取用户输入的请求，并根据用户输入的请求，对存储的索引项数据进行操作。

其中，操作模块包括：

第一单元，用于获取当前视野数据请求信息，当前视野为客户端当前显示的索引项数据范围；

第二单元，用于根据当前视野数据请求信息，计算所需要的索引项数据范围信息；

第三单元，用于将计算后的索引项数据范围信息转换为视野记录号列表；

第四单元，用于根据视野记录号列表显示索引项数据。

其中，操作模块包括：

第五单元，用于获取用户输入的对存储的索引项数据的指定列的第一次排序请求；

第六单元，用于根据第一次排序请求，获取第一次排序请求所指定列的索引项数据模型，并对该索引项数据模型的索引项数据哈希码进行排序；

第七单元，用于根据第一次排序后的索引项数据哈希码生成第一排序记录号列表以及第一排序记录号和第一相异基数的对应关系；

第八单元，用于根据第一排序记录号列表显示索引项数据。

其中，在操作模块执行第一次排序之后，操作模块还用于执行n次排序，n为大于或等于1的整数，操作模块执行n次排序的第i次排序时包括：

第九单元，用于获取用户输入的对存储的索引项数据的指定列的第i次排序请求，其中i大于1且小于或等于n；

第十单元，用于根据第i-1次排序生成的记录号列表和第i次排序请求，获取第i次排序请求所指定列的索引项数据模型的索引项数据哈希码；

第十一单元，用于将第i次排序请求所指定列的索引项数据模型的索引项数据哈希码放入第i-1次排序生成的第i-1排序记录号和第i-1相异基数的对应关系中，并检测第i-1相异基数的相异程度；

第十二单元，用于若第i-1相异基数相同，则对第i次排序请求所指定列的索引项数据模型的索引项数据哈希码进行排序；

第十三单元，用于根据第i次排序后的索引项数据哈希码生成第i排序记录号列表以及第i排序记录号和第i相异基数的对应关系；

第十四单元，用于根据第i排序记录号列表显示索引项数据；

第十五单元，用于若第i-1相异基数不相同，则根据第i-1次排序生成的记录号列表显示索引项数据。

其中，操作模块包括：

第十六单元，用于获取用户输入的对存储的索引项数据的第一次筛选信息；

第十七单元，用于根据第一次筛选信息，通过多个线程筛选存储的索引项数据；

第十八单元，用于根据第一次筛选后的索引项数据，生成筛选后的第一筛选记录号列表；

第十九单元，用于根据第一筛选记录号列表显示索引项数据。

其中，在操作模块执行第一次筛选之后，操作模块还用于执行m次筛选，m为大于或等于1的整数，操作模块执行m次筛选的第j次筛选时包括：

第二十单元，用于获取用户输入的对存储的索引项数据的第j次筛选信息，其中j大于1且小于或等于m；

第二十一单元，用于根据第j-1次筛选生成的记录号列表，获取第j-1次筛选后的索引项数据；

第二十二单元，用于根据第j次筛选信息，通过多个线程筛选第j-1次筛选后的索引项数据；

第二十三单元，用于根据第j次筛选后的索引项数据，生成筛选后的第j筛选记录号列表；

第二十四单元，用于根据第j筛选记录号列表显示索引项数据。

其中，操作模块包括：

第二十五单元，用于获取导出请求信息；

第二十六单元，用于根据导出请求信息，获取相应的索引项数据，并导出相应的索引项数据。

本发明的上述方案的有益效果如下：

在本发明实施例的基于客户端侧数据的处理方法中，客户端接收服务端根据客户端的查询请求分批返回的数据，并对该数据进行建模存储，同时客户端在收到首批返回的数据时，立即显示该首批返回的数据，这样不仅保证了客户端显示的快速响应，还保证了客户端实施大数据操作时，服务端零负荷和带宽零浪费。

附图说明

图1为本发明实施例中基于客户端侧数据的处理方法的步骤流程图；

图2为本发明实施例中视野切换的步骤流程图；

图3为本发明实施例中索引项数据排序的步骤流程图；

图4为本发明实施例中索引项数据筛选的步骤流程图；

图5为本发明实施例中基于客户端侧数据的处理装置的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有技术中客户端向服务端构建排序、筛选、页面切换等请求获取数据时，既增加服务端的压力，同时，也造成通信资源浪费的问题，提供了一种基于客户端侧数据的处理方法及装置，能保证客户端实施大数据操作时，服务端零负荷和带宽零浪费。

如图1所示，本发明实施例提供了一种基于客户端侧数据的处理方法，该处理方法包括：

步骤11，获取查询条件信息和/或客户端屏幕可显示的数据量信息；

步骤12，根据查询条件信息和/或数据量信息，向服务端发送查询请求；

步骤13，接收服务端根据查询请求分批返回的数据，其中首批返回的数据的数据量大于或等于客户端屏幕可显示的数据量；

步骤14，显示首批返回的数据，并对分批返回的数据进行建模存储。

其中，在本发明的上述实施例中，步骤14中的对分批返回的数据进行建模存储的步骤为：将分批返回的数据的每列作为一个单独的索引项数据模型存储，索引项数据模型包括索引项数据、相异基数、索引项数据哈希码以及记录号，其中索引项数据为索引项数据模型对应列的数据，索引项数据哈希码为索引项数据经过哈希函数得到的值，记录号为索引项数据进入客户端的顺序号，相异基数表征索引项数据行与行之间的相异程度。

在本发明的具体实施例中，客户端向服务端发送包括用户查询条件和初始化显示数据容量即该客户端屏幕可显示的数据量的查询请求，服务端收到查询请求后，首先根据用户查询条件只查询初始化显示数据，并立刻返回，然后查询余下其他数据并分批返回；客户端接收到首批返回的数据即初始化显示的数据后，立刻显示。其中，初始化显示数据和后续分批到达的数据，都需要调用物理存储单元的服务完成大数据管理建模，建模存储介质为对象数据库。而当服务器返回最后一批数据后，服务端的工作结束，此后的大数据操作和管理全部由客户端完成。所谓大数据管理建模就是当原始数据进入物理存储单元时，按照排序或筛选高效算法的要求，将原始数据各个列单独存储，每个列都作为一个单独的索引项数据模型。存储时统一按照进入物理存储单元的顺序编号，称为记录号。每一索引项数据模型包括索引项数据、记录号、索引项数据哈希码、相异基数，其中，索引项数据哈希码根据索引项数据生成，不同的索引项数据生成的哈希码不同；相异基数默认为0，即默认任务记录之间没有差异；索引项数据为原始数据的单列数据，举例来说，如果原始数据是一个网管的稳定性事件，包括流水号、资源类型、事件源位置、事件类型、事件码等列，那么索引项数据就是流水号或者其他某一列数据，另外，本发明实施例中的存储介质的对象数据库支持分布式部署，以便于跨多客户端协同。

举例来说，如果需要查找网管中某个网元所有的告警信息，客户端屏幕显示200条数据，则查询请求包括：查询条件为某网元所有的告警信息，初始化显示数据容量为200条。该请求执行初始化数据的步骤为：

服务端根据客户端的查询请求，构建查询语句到数据库查询初始化显示数据，数据库可以是关系型数据库，也可以是对象数据库，本发明的实施例并不限定数据库的类型；

数据库向服务端返回查询结果；

服务端根据查询请求的初始化显示数据范围，立刻向客户端返回最前面相应条数的数据，例如立刻返回200条数据；

客户端缓存该初始化数据，同时，缓存记录号列表，记录号列表的下标是显示的行号，值是记录号。例如，初始状态下记录号列表应该是0,1,2….，第一行显示记录号为0的数据，第二行显示记录号为1的数据,第三行显示记录号为2的数据……以此类推。某列排序后可能是1,2,0……,也就是第一行显示记录号为1的数据,第二行显示记录号为2的数据,第三行显示记录号为0的数据……；

客户端显示初始化数据；

物理存储单元持久化初始化数据，物理存储单元存储原始数据前，首先需要进行索引项建模，具体来说，每条记录都需要一个唯一的记录号，例如从1到2^31-1，同时需要构建一个索引项数据对象，包括：记录号、索引项数据哈希码、相异基数和索引项数据。然后再分别存储到对象数据库，存储时单列数据有一个单独的数据库实例，单列数据内部一个批次为一个存储单元；

服务端构建查询后续数据请求到数据库；数据库返回后续数据；服务端分批返回后续数据，当然在本发明实施例中，单一批次的数据条数是固定数，可以是400条，也可以是1000条；

物理存储单元持久化初始化后续数据。持久化初始化化同时缓存记录号信息，添加到缓存的记录号列表。

在本发明的上述实施例中，在步骤14之后，上述处理方法还包括：

获取用户输入的请求，并根据用户输入的请求，对存储的索引项数据进行操作。

在本发明的具体实施例中，用户输入的请求包括视野切换、索引项数据排序、索引项数据筛选、索引项数据导出以及个性化配置等请求。

如图2所示，在本发明的上述实施例中，视野切换的具体步骤为：

步骤21，获取当前视野数据请求信息，当前视野为客户端当前显示的索引项数据范围；

步骤22，根据当前视野数据请求信息，计算所需要的索引项数据范围信息；

步骤23，将计算后的索引项数据范围信息转换为视野记录号列表；

步骤24，根据视野记录号列表显示索引项数据。

在本发明的具体实施例中，视野指拥有开始行和结束行的局部数据，通常等同于一个客户端屏幕显示的数据。客户端当前显示的数据范围称为当前视野，数据初始化即完成当前视野的初始化。视野切换是指用户通过鼠标或者键盘滚动显示当前视野外数据，为了提高显示效率，客户端还引入缓存视野，缓存视野的数据范围大于当前视野的数据范围(通过统计认为用户查看数据的高概率行为是鼠标或键盘小幅移动视野，而不总是大幅切换视野，因此缓存当前视野附近范围数据)。在视野切换时根据切换行数多少分三种情况处理：第一种，当前视野没有超过缓存视野，不需要处理；第二种，当前视野部分溢出，这种情况下，需要计算缓存视野范围，调用物理存储单元的服务获取范围数据并更新缓存视野；第三种，当前视野全部溢出，这种情况下需要根据新请求重新创建缓存视野。

在本发明的具体实施例中，举例来说，视野切换的步骤为：

客户端获取用户输入的当前视野数据的请求；

在本发明的具体实施例中，当前视野数据的请求只有当前行号。具体来说是当前视野最上面一条的行号。例如第一页的当前行号就是1。而一页显示100条记录的话，第二页的当前行号就是101。

根据当前视野数据的请求，计算所需数据；

将计算后的所需数据转换为记录号，通过物理存储单元获取原始数据；

物理存储单元返回所需数据，同时缓存返回数据，释放缓存视图以外的缓存数据；

客户端展现当前视野数据。

在本发明的具体实施例中，确定所需数据有具体的方法，分为判断当前视野是否溢出和计算所需数据两种，判断是否溢出的方法为：

如果当前行号减去视野容量小于缓存视野开始行号，或者当前行号加上视野容量大于缓存视野结束行号，则认为是溢出；反之，认为不溢出；

在溢出这种情况下，如果当前行号减去单页缓存视野容量还大于缓存视野结束行号，或者当前行号加上单页缓存视野容量还小于缓存视野开始行号，则认为是完全溢出；

反之，则认为是部分溢出。

例如：如果当前行号是600，视野容量是200,单页缓存视野容量是400，那么缓存数据范围应该是200到1000，200为缓存视野开始行号(计算方法为600-400)，1000为缓存视野结束行号(计算方法为600+400)。

如果向下拖到700行，此时当前行号为700，当前行号加上视野容量200后为900，小于缓存视野结束行号1000，则认为没有溢出。

如果向下拖到900行,此时当前行号为900，当前行号加上视野容量200后为1100，大于缓存视野结束行号1000，则认为是溢出了。但是当前行号900减去单页缓存视野容量400小于缓存视野结束行号1000,而且当前行号900加上单页缓存视野容量400大于缓存视野开始行号200，所以认为是部分溢出。

如果向下拖到1401行，此时当前行号是1401，当前行号加上视野容量200后为1601，大于缓存视野结束行号1000，则认为是溢出了。同时，当前行号1401减去单页缓存视野容量400也大于缓存视野结束行号1000，则认为是全部溢出。其中，如果计算时出现负数，则结果为0，而超过总行数，则结果为总行数。

根据溢出情况，计算所需数据，具体计算方法为：

如果部分溢出，则需要根据是向上还是向下溢出分别判断，如果是向上溢出，需要的数据为当前行号减去单页缓存视野容量到缓存视野开始行号的数据，同时更新缓存视野的开始和结束行号为：开始行号等于当前行号减去单页缓存视野容量，结束行号等于当前行号加上单页缓存视野容量；如果是向下溢出，需要的数据为缓存视野结束行号到当前行号加上单页缓存视野容量的数据，同时更新缓存视野的开始和结束行号为：开始行号等于当前行号减去单页缓存视野容量，结束行号等于当前行号加上单页缓存视野容量。

如果是全部溢出，则不需要区分是向上还是向下溢出，需要的数据为当前行号减去单页缓存视野容量到当前行号加上单页缓存视野容量，同时更新缓存视野的开始和结束行号为：开始行号等于当前行号减去单页缓存视野容量，结束行号等于当前行号加上单页缓存视野容量。

未溢出场景下不需要计算所需数据。

仍然以前一个例子为例说明，前一个例子中，向下拖动到900行，部分溢出的场景下，需要获取的数据为：1000到1300(900+400)行的数据，同时清空200到500(900-400)行的数据。最后更新缓存视野的开始和结束行号为500和1300。

向下拖动到1401行，全部溢出的场景下，需要获取的数据为：1001(1401-400)到1801(1401+400)行的数据，同时清空200到1000行的数据。最后更新缓存视野的开始和结束行号为1001和1801。

如图3所示，在本发明的上述实施例中，索引项数据排序的步骤为：

步骤31，获取用户输入的对存储的索引项数据的指定列的第一次排序请求；

步骤32，根据第一次排序请求，获取第一次排序请求所指定列的索引项数据模型，并对该索引项数据模型的索引项数据哈希码进行排序；

步骤33，根据第一次排序后的索引项数据哈希码生成第一排序记录号列表以及第一排序记录号和第一相异基数的对应关系；

步骤34，根据第一排序记录号列表显示索引项数据。

其中，在本发明的上述实施例中，在执行完步骤34之后，有可能还需要进行n次排序，n为大于或等于1的整数，n次排序的第i次排序的步骤为：获取用户输入的对存储的索引项数据的指定列的第i次排序请求，其中i大于1且小于或等于n；根据第i-1次排序生成的记录号列表和第i次排序请求，获取第i次排序请求所指定列的索引项数据模型的索引项数据哈希码；将第i次排序请求所指定列的索引项数据模型的索引项数据哈希码放入第i-1次排序生成的第i-1排序记录号和第i-1相异基数的对应关系中，并检测第i-1相异基数的相异程度；若第i-1相异基数相同，则对第i次排序请求所指定列的索引项数据模型的索引项数据哈希码进行排序；根据第i次排序后的索引项数据哈希码生成第i排序记录号列表以及第i排序记录号和第i相异基数的对应关系；根据第i排序记录号列表显示索引项数据；若第i-1相异基数不相同，则根据第i-1次排序生成的记录号列表显示索引项数据。

在本发明的具体实施例中，索引项数据排序理论分为单列索引项数据排序和多列复合排序，本发明的实施例支持多列复合排序，包含了单列排序。多列复合排序在第一列排序时，首先通过物理存储单元将该列索引项数据哈希码取出，对索引项数据哈希码进行快速排序，排序完成后，生成排序后的记录号列表，同时生成记录号和相异基数关联列表。排序完成后，并根据排序生成的记录号列表自动切换回第一个默认视野。第二列排序时首先通过物理存储单元将该列索引项数据哈希码取出，同时获取第一列排序后的记录号和相异基数的关联列表，然后通过第一列排序生成的记录号获取第二列索引项数据哈希码，放入前一列的记录号和相异基数的关联列表中，再进行快速排序，排序时如果相异基数不同，则认为前一列已经排序完成，如果相异基数相同，则比较第二列的索引项数据哈希码，排序完成后，生成第二列排序后的记录号列表，同时生成记录号和相异基数列表，排序完成后，并根据排序生成的记录号列表自动切换回第一个默认视野。后续各列的排序方法等同于第二列排序。

在本发明的具体实施例中，排序请求包括：排序列、升序或降序标记。

根据排序请求中的排序列从物理存储单元服务获取排序数据包括：索引项数据哈希码，相异基数和记录号。

在本发明的具体实施例中，排序算法是一个经过修改的合并排序算法，大小判断通过一个比较器来确定，方法如下：

如果前一个对象的相异基数不等于后一个对象的相异基数，则认为前一个对象等于后一个对象机表明前一列已经排好了；

反之，相异基数相等的情况下，如果前一个对象的索引项数据哈希码小于后一个对象的索引项数据哈希码，则认为前一个对象小于后一个对象；而如果前一个对象的索引项数据哈希码等于后一个对象的索引项数据哈希吗，则认为前一个对象等于后一个对象；而如果前一个对象的索引项数据大于后一个对象的索引项数据，则认为前一个对象大于后一个对象。

在本发明的具体实施例中，如果为第一次以后的排序，在进行快速排序前，需要先获取上一次排序结果，上一次排序结果包括：记录号、相异基数和顺序即记录号列表的下标，后续排序开始前，需要通过记录号将后续排序列的索引项数据替换上一次排序结果。这样也就利用了排序的“继承”特性，让上一次排序的结果自然继承到下一次。在每一次排序完成之后，缓存排序后的记录号列表，列表下标为界面显示的顺序，而值是记录号，根据记录号可以获取原始数据。同时，还需要缓存本次排序结果的记录号和相异基数的对应关系。且在排序完成之后释放从物理存储单元获取的索引项数据哈希码。其中，相异基数的计算有一个具体的方法：相异基数初始值为0，相同值个数计数初始值为1,如果后一条数据和前一条数据值相同，则相异基数不变，且相同值个数计数加1,如果后一条数据和前一条数据不同，则相异基数为:前一条数据的相异基数+相同值个数，处理完后相同值个数值恢复为初始化值。举例来说，如果存在1,1,2,4,5这几个排序后的值，那么排序后的相异基数为0,0,2,3,4；如果存在1,1,1,4,5这几个排序后的值，那么排序后的相异基数为0,0,0,3,4。

如图4所示，在本发明的上述实施例中，索引项数据筛选的步骤为：

步骤41，获取用户输入的对存储的索引项数据的第一次筛选信息；

步骤42，根据第一次筛选信息，通过多个线程筛选存储的索引项数据；

步骤43，根据第一次筛选后的索引项数据，生成筛选后的第一筛选记录号列表；

步骤44，根据第一筛选记录号列表显示索引项数据。

其中，在本发明的上述实施例中，在第一次筛选之后，还有可能进行m次筛选，m为大于或等于1的整数，m次筛选的第j次筛选的步骤为：获取用户输入的对存储的索引项数据的第j次筛选信息，其中j大于1且小于或等于m；根据第j-1次筛选生成的记录号列表，获取第j-1次筛选后的索引项数据；根据第j次筛选信息，通过多个线程筛选第j-1次筛选后的索引项数据；根据第j次筛选后的索引项数据，生成筛选后的第j筛选记录号列表；根据第j筛选记录号列表显示索引项数据。

在本发明的具体实施例中，索引项数据筛选理论上分为单列筛选和多列复合筛选，本发明实施例支持多列复合筛选，包含了单列筛选。其中，多列复合筛选第一列筛选时，首先通过物理存储单元将索引项数据取出，通过多线程遍历筛选出满足筛选条件的数据，且遍历完一条记录后即清空该记录缓存，筛选完成后，生成筛选后的记录号列表，并根据筛选生成的来记录号列表自动切换回第一个默认视野。当第二列筛选时，首先根据前一次筛选的记录号列表，通过物理存储单元将记录号对应的索引项数据取出，通过多线程遍历筛选出满足第二列筛选条件的数据，且遍历完一条记录后即清空该记录缓存，筛选完成后，生成筛选后的记录号列表，并根据筛选生成的记录号列表自动切换回第一个默认视野。后续各列筛选方法等同于第二列筛选。

在本发明的具体实施例中，筛选信息包括：筛选列、筛选数据，该筛选数据包括：索引项数据，记录号。

在本发明的具体实施例中，从物理存储单元获取的筛选数据后，客户端会根据不同的批量分别存放在不同的临时缓存里，并根据临时缓存个数同时启动多个线程，分别并行遍历筛选目标数据。以10万条数据为例，物理存储单元获取的筛选数据分10个临时缓存存储，每个临时缓存存储1万条数据，同时启动10个线程，一个线程负责一个临时缓存过滤，过滤结果合并到一起。且筛选时采用筛选一条释放一条的策略，筛选完一条数据后即释放该条数据的临时缓存。

在本发明的具体实施例中，筛选可能是第一次筛选，也可能是后续筛选，如果是后续筛选，则仅需根据之前筛选后记录号列表，获取对应的索引项数据，然后继续筛选即可。筛选后的记录号列表的下标为界面显示的顺序，而值是记录号，根据记录号可以获取原始数据。

在本发明的上述实施例中，当用户输入的请求是导出索引项的请求时的具体步骤为：获取导出请求信息；根据导出请求信息，获取相应的索引项数据，并导出相应的索引项数据。

在本发明的具体实施例中，索引项数据导出通过一个后台任务自动完成，且分批导出，导出文件支持xls,csv,txt,pdf,html等常用的文件格式。导出开始时，首先根据单次导出数据量计算需要导出的批次数；导出时，首先通过物理存储单元将该批次原始数据取出，再导出到目标文件；导出完成后，清理该批次临时缓存；后续各批次数据依次导出；导出目标文件达到预定阈值后，自动生成新的目标文件；整个导出流程结束后，提示用户导出完成。其中，如果总数据量除以单批次导出数据量正好整除，则批次数为总数据量除以单批次导出数据量的商，反之，则是总数据量除以单批次导出数据量的商加1。

在本发明的上述实施例中，当用户输入的请求是个性化配置时，客户端会配置不同的个性化信息，该个性化信息包括：视野范围，即客户端单屏可显示的记录数；缓存视野范围，缓存单元缓存的记录数，缓存视野范围应该大于视野范围以避免缓存频繁刷新；导出单个文件大小，客户端导出数据超过单个文件显示限制时，进行分批导出的阈值；单次导出数据量，根据内存情况配置。当然个性化配置提供一个默认值，当用户不做配置时使用默认配置值。

在本发明的具体实施例中，个性化信息可以是一个Properties文件，也可以是一个XML文件，本发明的实施例中并不限定个性化信息的格式。以Properties文件举例来说，格式如下：#视野容量Client.view.size＝200#缓存视野容量Client.cache.view.size＝400#导出单批次大小Client.export.batchsize＝1000。

为了更好的实现上述目的，如图5所示，本发明实施例还提供了一种基于客户端侧数据的处理装置50，上述处理装置50包括：

获取模块51，用于获取查询条件信息和/或客户端屏幕可显示的数据量信息；

发送模块52，用于根据查询条件信息和/或数据量信息，向服务端发送查询请求；

接收模块53，用于接收服务端根据查询请求分批返回的数据，其中首批返回的数据的数据量大于或等于客户端屏幕可显示的数据量；

处理模块54，用于显示首批返回的数据，并对分批返回的数据进行建模存储。

其中，处理模块54包括：

建模单元，用于将分批返回的数据的每列作为一个单独的索引项数据模型存储，索引项数据模型包括索引项数据、相异基数、索引项数据哈希码以及记录号，其中索引项数据为索引项数据模型对应列的数据，索引项数据哈希码为索引项数据经过哈希函数得到的值，记录号为索引项数据进入客户端的顺序号，相异基数表征索引项数据行与行之间的相异程度。

其中，处理装置50还包括：

操作模块，用于获取用户输入的请求，并根据用户输入的请求，对存储的索引项数据进行操作。

其中，操作模块包括：

第一单元，用于获取当前视野数据请求信息，当前视野为客户端当前显示的索引项数据范围；

第二单元，用于根据当前视野数据请求信息，计算所需要的索引项数据范围信息；

第三单元，用于将计算后的索引项数据范围信息转换为视野记录号列表；

第四单元，用于根据视野记录号列表显示索引项数据。

其中，操作模块包括：

第五单元，用于获取用户输入的对存储的索引项数据的指定列的第一次排序请求；

第六单元，用于根据第一次排序请求，获取第一次排序请求所指定列的索引项数据模型，并对该索引项数据模型的索引项数据哈希码进行排序；

第七单元，用于根据第一次排序后的索引项数据哈希码生成第一排序记录号列表以及第一排序记录号和第一相异基数的对应关系；

第八单元，用于根据第一排序记录号列表显示索引项数据。

其中，在操作模块执行第一次排序之后，操作模块还用于执行n次排序，n为大于或等于1的整数，操作模块执行n次排序的第i次排序时包括：

第九单元，用于获取用户输入的对存储的索引项数据的指定列的第i次排序请求，其中i大于1且小于或等于n；

第十单元，用于根据第i-1次排序生成的记录号列表和第i次排序请求，获取第i次排序请求所指定列的索引项数据模型的索引项数据哈希码；

第十一单元，用于将第i次排序请求所指定列的索引项数据模型的索引项数据哈希码放入第i-1次排序生成的第i-1排序记录号和第i-1相异基数的对应关系中，并检测第i-1相异基数的相异程度；

第十二单元，用于若第i-1相异基数相同，则对第i次排序请求所指定列的索引项数据模型的索引项数据哈希码进行排序；

第十三单元，用于根据第i次排序后的索引项数据哈希码生成第i排序记录号列表以及第i排序记录号和第i相异基数的对应关系；

第十四单元，用于根据第i排序记录号列表显示索引项数据；

第十五单元，用于若第i-1相异基数不相同，则根据第i-1次排序生成的记录号列表显示索引项数据。

其中，操作模块包括：

第十六单元，用于获取用户输入的对存储的索引项数据的第一次筛选信息；

第十七单元，用于根据第一次筛选信息，通过多个线程筛选存储的索引项数据；

第十八单元，用于根据第一次筛选后的索引项数据，生成筛选后的第一筛选记录号列表；

第十九单元，用于根据第一筛选记录号列表显示索引项数据。

其中，在操作模块执行第一次筛选之后，操作模块还用于执行m次筛选，m为大于或等于1的整数，操作模块执行m次筛选的第j次筛选时包括：

第二十单元，用于获取用户输入的对存储的索引项数据的第j次筛选信息，其中j大于1且小于或等于m；

第二十一单元，用于根据第j-1次筛选生成的记录号列表，获取第j-1次筛选后的索引项数据；

第二十二单元，用于根据第j次筛选信息，通过多个线程筛选第j-1次筛选后的索引项数据；

第二十三单元，用于根据第j次筛选后的索引项数据，生成筛选后的第j筛选记录号列表；

第二十四单元，用于根据第j筛选记录号列表显示索引项数据。

其中，操作模块包括：

第二十五单元，用于获取导出请求信息；

第二十六单元，用于根据导出请求信息，获取相应的索引项数据，并导出相应的索引项数据。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (16)

1.一种基于客户端侧数据的处理方法，其特征在于，包括：

获取查询条件信息和/或客户端屏幕可显示的数据量信息；

根据所述查询条件信息和/或所述数据量信息，向服务端发送查询请求；

接收所述服务端根据所述查询请求分批返回的数据，其中首批返回的数据的数据量大于或等于所述客户端屏幕可显示的数据量；

显示所述首批返回的数据，并对所述分批返回的数据进行建模存储；

所述对所述分批返回的数据进行建模存储的步骤包括：

将所述分批返回的数据的每列作为一个单独的索引项数据模型存储，所述索引项数据模型包括索引项数据、相异基数、索引项数据哈希码以及记录号，其中所述索引项数据为所述索引项数据模型对应列的数据，所述索引项数据哈希码为所述索引项数据经过哈希函数得到的值，所述记录号为所述索引项数据进入客户端的顺序号，所述相异基数表征所述索引项数据行与行之间的相异程度。

2.如权利要求1所述的处理方法，其特征在于，所述对所述分批返回的数据进行建模存储的步骤之后，所述处理方法还包括：

获取用户输入的请求，并根据所述用户输入的请求，对存储的索引项数据进行操作。

3.如权利要求2所述的处理方法，其特征在于，所述获取用户输入的请求，并根据所述用户输入的请求，对存储的索引项数据进行操作的步骤包括：

获取当前视野数据请求信息，所述当前视野为所述客户端当前显示的索引项数据范围；

根据所述当前视野数据请求信息，计算所需要的索引项数据范围信息；

将计算后的索引项数据范围信息转换为视野记录号列表；

根据所述视野记录号列表显示索引项数据。

4.如权利要求2所述的处理方法，其特征在于，所述获取用户输入的请求，并根据所述用户输入的请求，对存储的索引项数据进行操作的步骤包括：

获取用户输入的对存储的索引项数据的指定列的第一次排序请求；

根据所述第一次排序请求，获取所述第一次排序请求所指定列的索引项数据模型，并对该索引项数据模型的索引项数据哈希码进行排序；

根据第一次排序后的索引项数据哈希码生成第一排序记录号列表以及第一排序记录号和第一相异基数的对应关系；

根据所述第一排序记录号列表显示索引项数据。

5.如权利要求4所述的处理方法，其特征在于，在第一次排序之后，所述处理方法还包括n次排序，所述n为大于或等于1的整数，所述n次排序的第i次排序的步骤为：

获取用户输入的对存储的索引项数据的指定列的第i次排序请求，其中所述i大于1且小于或等于n；

根据第i-1次排序生成的记录号列表和所述第i次排序请求，获取所述第i次排序请求所指定列的索引项数据模型的索引项数据哈希码；

将所述第i次排序请求所指定列的索引项数据模型的索引项数据哈希码放入第i-1次排序生成的第i-1排序记录号和第i-1相异基数的对应关系中，并检测第i-1相异基数的相异程度；

若第i-1相异基数相同，则对所述第i次排序请求所指定列的索引项数据模型的索引项数据哈希码进行排序；

根据第i次排序后的索引项数据哈希码生成第i排序记录号列表以及第i排序记录号和第i相异基数的对应关系；

根据所述第i排序记录号列表显示索引项数据；

若第i-1相异基数不相同，则根据第i-1次排序生成的记录号列表显示索引项数据。

6.如权利要求2所述的处理方法，其特征在于，所述获取用户输入的请求，并根据所述用户输入的请求，对存储的索引项数据进行操作的步骤包括：

获取用户输入的对存储的索引项数据的第一次筛选信息；

根据所述第一次筛选信息，通过多个线程筛选存储的索引项数据；

根据第一次筛选后的索引项数据，生成筛选后的第一筛选记录号列表；

根据所述第一筛选记录号列表显示索引项数据。

7.如权利要求6所述的处理方法，其特征在于，在第一次筛选之后，所述处理方法还包括m次筛选，所述m为大于或等于1的整数，所述m次筛选的第j次筛选的步骤为：

获取用户输入的对存储的索引项数据的第j次筛选信息，其中所述j大于1且小于或等于m；

根据所述第j-1次筛选生成的记录号列表，获取第j-1次筛选后的索引项数据；

根据所述第j次筛选信息，通过多个线程筛选所述第j-1次筛选后的索引项数据；

根据第j次筛选后的索引项数据，生成筛选后的第j筛选记录号列表；

根据所述第j筛选记录号列表显示索引项数据。

8.如权利要求2所述的处理方法，其特征在于，所述获取用户输入的请求，并根据所述用户输入的请求，对存储的索引项数据进行操作的步骤包括：

获取导出请求信息；

根据所述导出请求信息，获取相应的索引项数据，并导出所述相应的索引项数据。

9.一种基于客户端侧数据的处理装置，其特征在于，包括：

获取模块，用于获取查询条件信息和/或客户端屏幕可显示的数据量信息；

发送模块，用于根据所述查询条件信息和/或所述数据量信息，向服务端发送查询请求；

接收模块，用于接收所述服务端根据所述查询请求分批返回的数据，其中首批返回的数据的数据量大于或等于所述客户端屏幕可显示的数据量；

处理模块，用于显示所述首批返回的数据，并对所述分批返回的数据进行建模存储；

所述处理模块包括：

建模单元，用于将所述分批返回的数据的每列作为一个单独的索引项数据模型存储，所述索引项数据模型包括索引项数据、相异基数、索引项数据哈希码以及记录号，其中所述索引项数据为所述索引项数据模型对应列的数据，所述索引项数据哈希码为所述索引项数据经过哈希函数得到的值，所述记录号为所述索引项数据进入客户端的顺序号，所述相异基数表征所述索引项数据行与行之间的相异程度。

10.如权利要求9所述的处理装置，其特征在于，所述处理装置还包括：

操作模块，用于获取用户输入的请求，并根据所述用户输入的请求，对存储的索引项数据进行操作。

11.如权利要求10所述的处理装置，其特征在于，所述操作模块包括：

第一单元，用于获取当前视野数据请求信息，所述当前视野为所述客户端当前显示的索引项数据范围；

第二单元，用于根据所述当前视野数据请求信息，计算所需要的索引项数据范围信息；

第三单元，用于将计算后的索引项数据范围信息转换为视野记录号列表；

第四单元，用于根据所述视野记录号列表显示索引项数据。

12.如权利要求10所述的处理装置，其特征在于，所述操作模块包括：

第五单元，用于获取用户输入的对存储的索引项数据的指定列的第一次排序请求；

第六单元，用于根据所述第一次排序请求，获取所述第一次排序请求所指定列的索引项数据模型，并对该索引项数据模型的索引项数据哈希码进行排序；

第七单元，用于根据第一次排序后的索引项数据哈希码生成第一排序记录号列表以及第一排序记录号和第一相异基数的对应关系；

第八单元，用于根据所述第一排序记录号列表显示索引项数据。

13.如权利要求12所述的处理装置，其特征在于，在所述操作模块执行第一次排序之后，所述操作模块还用于执行n次排序，所述n为大于或等于1的整数，所述操作模块执行所述n次排序的第i次排序时包括：

第九单元，用于获取用户输入的对存储的索引项数据的指定列的第i次排序请求，其中所述i大于1且小于或等于n；

第十单元，用于根据第i-1次排序生成的记录号列表和所述第i次排序请求，获取所述第i次排序请求所指定列的索引项数据模型的索引项数据哈希码；

第十一单元，用于将所述第i次排序请求所指定列的索引项数据模型的索引项数据哈希码放入第i-1次排序生成的第i-1排序记录号和第i-1相异基数的对应关系中，并检测第i-1相异基数的相异程度；

第十二单元，用于若第i-1相异基数相同，则对所述第i次排序请求所指定列的索引项数据模型的索引项数据哈希码进行排序；

第十三单元，用于根据第i次排序后的索引项数据哈希码生成第i排序记录号列表以及第i排序记录号和第i相异基数的对应关系；

第十四单元，用于根据所述第i排序记录号列表显示索引项数据；

第十五单元，用于若第i-1相异基数不相同，则根据第i-1次排序生成的记录号列表显示索引项数据。

14.如权利要求10所述的处理装置，其特征在于，所述操作模块包括：

第十六单元，用于获取用户输入的对存储的索引项数据的第一次筛选信息；

第十七单元，用于根据所述第一次筛选信息，通过多个线程筛选存储的索引项数据；

第十八单元，用于根据第一次筛选后的索引项数据，生成筛选后的第一筛选记录号列表；

第十九单元，用于根据所述第一筛选记录号列表显示索引项数据。

15.如权利要求14所述的处理装置，其特征在于，在所述操作模块执行第一次筛选之后，所述操作模块还用于执行m次筛选，所述m为大于或等于1的整数，所述操作模块执行所述m次筛选的第j次筛选时包括：

第二十单元，用于获取用户输入的对存储的索引项数据的第j次筛选信息，其中所述j大于1且小于或等于m；

第二十一单元，用于根据所述第j-1次筛选生成的记录号列表，获取第j-1次筛选后的索引项数据；

第二十二单元，用于根据所述第j次筛选信息，通过多个线程筛选所述第j-1次筛选后的索引项数据；

第二十三单元，用于根据第j次筛选后的索引项数据，生成筛选后的第j筛选记录号列表；

第二十四单元，用于根据所述第j筛选记录号列表显示索引项数据。

16.如权利要求10所述的处理装置，其特征在于，所述操作模块包括：

第二十五单元，用于获取导出请求信息；

第二十六单元，用于根据所述导出请求信息，获取相应的索引项数据，并导出所述相应的索引项数据。

Images