CN110647557B - 海量数据统计方法、装置及设备 - Google Patents

Abstract

本说明书实施例公开了一种海量数据统计方法、装置及设备。其中海量数据统计方案，包括：确定待统计的海量数据对应的数值范围；根据所述数值范围的上限值和预设的统计误差，确定所述上限值将落在的统计区间的组距，所述组距包括不大于所述上限值与所述统计误差之积的数；根据所述组距和所述统计误差，按预设的组距策略将所述数值范围划分为至少两个统计区间，以及确定每个统计区间所采用的直方图的组数，所述组数与所述组距之积不小于所述上限值与所述统计误差之积，所述组距策略包括不同统计区间的组距不相同的策略；将每个所述海量数据统计在对应的统计区间的直方图中。

Description

海量数据统计方法、装置及设备

技术领域

本说明书涉及计算机技术领域，尤其涉及一种海量数据统计方法、装置及设备。

背景技术

在海量数据的统计分析中，比如后台监控、大数据处理等，常常需要对海量的数据进行统计，来得出这些海量数据对应的统计数值的分布情况，以便后续使用这些海量数据。

目前，鉴于计算能力有限，且不同场景，待统计数据的分布特点也各不相同，比如在数据量特别大(如100万个样本)的场景中，场景一可能是数据分布比较均匀，场景二可能是数据分布集中于某些区域，场景三可能是数据分布非常不均匀等等，这时由于数据量庞大，通常为了获得较好的统计效果，往往需要付出巨大的统计成本，比如大量存储空间，高成本的计算设备(如高速的硬件设备、高性能的大数据平台)，庞大计算资源(如处理器资源、计算力资源)，有时还需要牺牲误差要求(如容忍误差大一些，甚至误差不可控)等。但即使这样，当场景发生变化时，可能又需要对统计方案进行改进，必然又需要投入更多的统计成本，因而统计成本已制约了海量数据的统计应用。

因此，亟需一种海量数据的统计方案。

发明内容

有鉴于此，本说明书实施例提供了一种海量数据统计方法、装置及设备，以适应不同场景下对海量数值数据进行统计。

本说明书实施例采用下述技术方案：

本说明书实施例提供一种海量数据统计方法，包括：

确定待统计的海量数据对应的数值范围；

根据所述数值范围的上限值和预设的统计误差，确定所述上限值将落在的统计区间的组距，所述组距包括不大于所述上限值与所述统计误差之积的数；

根据所述组距和所述统计误差，按预设的组距策略将所述数值范围划分为至少两个统计区间，以及确定每个统计区间所采用的直方图的组数，所述组数与所述组距之积不小于所述上限值与所述统计误差之积，所述组距策略包括不同统计区间的组距不相同的策略；

将每个所述海量数据统计在对应的统计区间的直方图中。

本说明书实施例还提供一种海量数据统计装置，包括第一确定模块、第二确定模块、划分模块和统计模块；

所述第一确定模块用于确定待统计的海量数据对应的数值范围；

所述第二确定模块用于根据所述数值范围的上限值和预设的统计误差，确定所述上限值将落在的统计区间的组距，所述组距包括不大于所述上限值与所述统计误差之积的数；

所述划分模块用于根据所述组距和所述统计误差，按预设的组距策略将所述数值范围划分为至少两个统计区间，以及确定每个统计区间所采用的直方图的组数，所述组数与所述组距之积不小于所述上限值与所述统计误差之积，所述组距策略包括不同统计区间的组距不相同的策略；

所述统计模块用于将每个所述海量数据统计在对应的统计区间的直方图中。

本说明书实施例还提供一种用于统计海量数据的电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

确定待统计的海量数据对应的数值范围；

根据所述数值范围的上限值和预设的统计误差，确定所述上限值将落在的统计区间的组距，所述组距包括不大于所述上限值与所述统计误差之积的数；

根据所述组距和所述统计误差，按预设的组距策略将所述数值范围划分为至少两个统计区间，以及确定每个统计区间所采用的直方图的组数，所述组数与所述组距之积不小于所述上限值与所述统计误差之积，所述组距策略包括不同统计区间的组距不相同的策略；

将每个所述海量数据统计在对应的统计区间的直方图中。

本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：通过利用直方图的统计方式来节约大量的存储空间，又通过设定每个统计区间中的组距，使得每个组距能够保证每个统计区间的精度，还通过划分统计区间进行直方图统计，可快速地将统计的数据落在对应的统计区间的直方图中，实现快速地、准确地将统计数据排序，保证了统计速度。因此，本说明书提供的海量数据统计方案，能有效地平衡好海量数据的统计中所需的存储空间、统计速度和精度，统计成本较低，也可应对不同场景下海量数据的统计。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书实施例提供的一种海量数据统计方法的整体思路示意图。

图2为本说明书实施例提供的一种海量数据统计方法的流程图。

图3为本说明书实施例提供的一种海量数据统计方法中组数确定流程图。

图4为本说明书实施例提供的一种海量数据统计方法中划分统计区间的示意图。

图5为本说明书实施例提供的一种海量数据统计方法中基于划分统计区间进行统计的效果示意图。

图6为本说明书实施例提供的一种海量数据统计方法中海量数据将落入第几个统计区间的确定流程图。

图7为本说明书实施例提供的一种海量数据统计装置的组成示意图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

目前，由于计算能力有限，而数据量又过于庞大，现有统计方案需要很高的统计成本，也很难适应不同场景的海量数据统计。

例如，采用TreeMap(树图)结果集合来统计的方案。虽然TreeMap是一种能够实现自动排序的数据结构，可根据统计数据(如监控的数据)的key值(键值)，将数据插入到相关节点中，并能够根据key值的大小实现自动排序，从而在遍历整个TreeMap结果时，就可得到根据key值进行排序的数据，这样可做到精准统计，且监控中未出现的key可不占用任何存储空间，从而可节约大量的空间，但其缺点非常明显，如数据结构过于复杂，统计中计算速度非常慢，非常不适合用于统计海量数据。

又例如，采用直方图进行统计的方案，通过采用固定的组距，能够节省大量存储空间，也能够做到快捷统计等，但其统计误差比较大，甚至不可控，从而很难在统计精度和存储空间之间做到有效平衡。比如，在以5为固定组距的标准直方图统计中，虽然能够节约80％的存储空间，但在统计某一数据时，假如该数据的统计值应为res＝14，但在使用该组距统计时，只能得出模糊结果，如res落在[10-14]的区域中,如果将res统计为10，则误差将为28.57％(误差＝(14-10)/14＊100％)，即使是按照折中输出，比如将res统计为res＝12，这时误差仍达14.28％(误差＝(14-12)/14＊100％)，这样大的统计误差，基本是用户所无法接受的，因而也不适用于对误差有要求的很多场合。

再例如，采用数组来统计数据的方案，由于数组通常是连续的一段空间，这时若统计的数据分布很不均匀，比如统计数据对应的数值范围为0～1000000(以下简记为100w)之间的整数，且数据的统计命中值可能主要为以下几个点值：[1，1，1，50w，50w，100w]，这时若开辟的数组为连续的100w个空间，则空间浪费非常严重。因此，由于数组使用的是连续空间，且对于未出现的key同样需要空间，因而也很难适用于数值阈大的海量数据的统计。

因此，亟需一种投入的统计成本比较低，又能适用于统计不同场景的海量数据的处理方案。

基于此，本说明书实施例提供一种海量数据统计方法、装置及设备。其中，海量数据统计方案的整体思路可如图1所示，假设需要统计的海量数据对应的数值范围包括0～K，即统计的海量数值数据中，命中的统计值最小值可能为0，最大可能为K(通常K为很大的数，比如100w)，这时可将统计命中数值范围分段，形成若干段(也叫数段)，比如0～k1、k1～k2、k2～k3，直至ki～km等，其中K落在ki～km数段中，即通常km≥K，这样每个数段作为一个统计区间，并在每个统计区间中采用一种组距来进行直方图统计，即同一个统计区间中的直方图，其组距相同，而不同统计区间中的直方图，其组距不同，比如0～k1作为第一个统计区间，采用第一组距进行直方图统计，k1～k2作为第二个统计区间，采用第二组距进行直方图统计，k2～k3作为第三个统计区间，采用第三组距进行直方图统计，ki～km作为第N个统计区间，采用第N组距进行直方图统计，而且这些组距均不相同。

需要说明的是，为说明方便，这里每个统计区间的上限值不包含在该统计区间中，而下限值包含在该统计区间中，比如前述的统计区间0～k1和k1～k2，其中k1不包含在0～k1的统计区间中，而是包含在k1～k2的统计区间中；还有，为节省空间，关于最后一个统计区间ki～km，通常可设置为ki～K，即把K～km的那一段省略。

通过采用如图1所示的统计方式，可利用直方图的统计方式来节约大量的存储空间，又通过设定每个统计区间中的组距，使得每个组距能够保证每个统计区间的精度，还有通过分统计区间进行直方图统计，可快速地将统计的数据落在对应的统计区间的直方图中，实现快速地将统计数据排序，保证统计速度。因此，本说明书提供的海量数据统计方案，能有效地平衡好海量数据的统计中所需的存储空间、统计速度和精度，统计成本较低，也可应对不同场景下海量数据的统计。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图2为本说明书实施例提供的一种海量数据统计方法的流程图。

如图2所示，所述海量数据统计方法可包括如下步骤：

步骤S102、确定待统计的海量数据对应的数值范围。

其中，待统计的海量数据对应的数值范围，是指在统计中，将这些海量数据应统计在对应的数值上，也就是海量数据对应的统计命中值，这样所述数值范围的下限就为这些数值中的最小值、上限就为这些数值中的最大值，从而下限和上限就构成所述数值范围。

比如，待统计的海量数据中，这些海量数据应统计在对应的数值上，且这些数值中最小值为0、最大值为100w，则所述数值范围就记为0～100w。

具体实施中，数值范围也可为预设的数值范围，还可为通过配置选项调整设置的数值范围，这里不对数值范围的设置实施方式进行具体限定。

步骤S104、根据所述数值范围的上限值和预设的统计误差，确定所述上限值将落在的统计区间的组距。

其中，所述组距包括不大于所述上限值与所述统计误差之积的数。

具体实施中，所述统计误差包括百分比误差，其中百分比误差用于表征待统计的海量数据在统计区间中，统计的偏差范围与该统计区间的基数的比值，例如某一统计区间的基数为100，统计的最大偏差为±2，则百分比误差≤2％。

具体实施中，组距是指一个统计区间中每组直方图的统计数据的最大值与最小值之间的距离，即每一组直方图的两个端点之差，所以组距可视为直方图中的统计间距，这样在进行分组统计时，组距的大小可根据统计的数值范围以及统计误差等因素来确定，其中组距越小，统计精度越高。

示例：假如待统计的海量数据，统计命中数值的最大值为100w，最小值为0，即所述数值范围为0～100w，统计误差要求不大于千分之一。

这时，统计误差与数值范围的上限值之积的最大值就为1000，因此所述上限值将落在的统计区间的组距将不大于1000。

步骤S106、根据所述组距和所述统计误差，按预设的组距策略将所述数值范围划分为至少两个统计区间，以及确定每个统计区间所采用的直方图的组数。

其中，所述组数与所述组距之积不小于所述上限值与所述统计误差之积，所述组距策略包括不同统计区间的组距不同的策略。

具体实施中，组数是指在统计区间中，把数据按照不同的范围划分成几个组，以便于进行直方图统计，所划分成的组的数量就称为直方图的组数，这样组数就取为正整数。

具体实施中，为了构建直方图，通常第一步是将前述的数值范围进行分段，即将整个数值范围分成一系列统计区间，其中这些统计区间通常被指定为连续的、不重叠的统计区间。然后利用不同组距，确定统计区间的直方图的组数，以在存储空间、计算速度和精度之间进行平衡，以实现快速、准确地将统计数据落在相应的直方图中。

具体实施中，组距策略可根据统计的实际需要进行预设，比如为了简便，可将各个统计区间的组距以步进方式变化，如按步进为1变化，按以2为底数、自然数为指数的结果依次作为对应统计区间的组距。

通过采用不同组距，进行分段直方图统计，可快速地、直观地、准确地将海量数据落在对应的统计区间的直方图中，获得数据的分布情况。

步骤S108、将每个所述海量数据统计在对应的统计区间的直方图中。

具体实施中，通过将海量数据落在对应的统计区间的直方图中，以实现对海量数据的统计，即获得数据的分布情况。

根据上述步骤S102～S108，可利用直方图的统计方式节约大量的存储空间，通过设定每个统计区间中的组距，可保证每个统计区间的精度，通过分统计区间进行直方图统计，可快速地将统计的数据落在对应的统计区间的直方图中，以实现快速、准确地将统计数据进行排序。因此，本说明书提供的海量数据统计方法，能在海量数据的统计中所需的存储空间、统计速度和精度进行平衡，从而降低了统计成本，使得统计方法可应对不同场景下海量数据的统计。

在一个实施方式中，所述方法可应用于大数据平台中，具体实施中，所述方法可作为大数据平台的独立程序或者辅助程序来对海量数据进行统计。

在一个实施方式中，大数据平台可包括大数据处理平台ODPS(Open DataProcessing Service，分布式的海量数据处理平台)，这样通过ODPS来收集所述海量数据，进而利用所述方法对收集到的海量数据进行统计。

在一个实施方式中，还可将所述方法在大数据平台中的处理逻辑形成处理引擎，以便于作为一种嵌入在应用程序(比如大数据平台的统计应用程序)中的组件，使得应用程序能够一边收集数据，一边对收集的数据进行统计，以提高海量数据的统计效率。

具体实施中，在满足所述组距不大于所述上限值与所述统计误差之积的前提下，还可根据统计的实际情况来选取合适的所述组距，进而确定需要划分的统计区间的数量、每个统计区间的直方图的组数等，以进一步在存储空间、计算速度和精度之间取得更好的平衡，来降低统计成本，提高统计效率。

因此，通过选取合适的所述组距，进而通过合适的组距策略，来快速地确定划分的统计区间的数量、每个统计区间的直方图的组数。

在一个实施方式中，所述组距包括不大于所述上限值与所述统计误差之积的正整数，从而采用正整数作为所述组距，以便于根据对应的组距策略来对所述数值范围进行划分。

以所举的示例为例，这时所述组距可以为2～1000中的任意一个整数。

在一个实施方式中，所述组距包括以2为底数、以自然数为指数的、不大于所述上限值与所述统计误差之积的数。

以所举的示例为例，这时所述组距可以为512、256、128、64、32、16、8、4、2等之中的任意一个数。

在一个实施方式中，所述组距可为以2为底数、以自然数为指数的、不大于所述上限值与所述统计误差之积的、又距离所述之积最近的数。

以所举的示例为例，这时所述组距优选为512。

在一个实施方式中，所述组距策略包括将后一个统计区间的组距设置为前一个统计区间的组距的两倍的策略。

以所举的示例为例，比如当所述组距(即所述上限值将落在的统计区间的组距)优选512时，则根据所述组距策略，所述上限值将落在的统计区间的前一个统计区间的组距将为256，其他统计区间可依次类推，不再赘述。

在一个实施方式中，在确定所述组距为以2底数、以自然数为指数的数后，可按图3所示的流程图，确定每个统计区间所采用的直方图的组数。即：确定每个统计区间所采用的直方图的组数的步骤可包括：

步骤S201、获取所述上限值对应的二进制数的位数，记为第一目标数；

步骤S203、获取所述上限值将落在的统计区间的组距对应的二进制数的位数，记为第二目标数；

步骤S205、获取所述第一目标数和所述第二目标数之差，记为第三目标数；

步骤S207、以2为底数、以所述第三目标数为指数确定第一组数，所述第一组数用于表征最后一个统计区间所采用的直方图的组数，所述最后一个统计区间为所述上限值将落在的统计区间；

步骤S209、根据所述第一组数，按预设的组数策略确定其他统计区间的直方图的组数。

具体实施中，所述组数策略可根据统计的实际需要进行设置，比如每个统计区间所采用的直方图的组数都相同，又或者是，这些统计区间所采用的直方图的组数按一定规律变化。

在一个实施方式中，为简化组数策略的设置以及方便分析，所述组数策略可包括将除第一个统计区间外，所述其他统计区间所采用的直方图的组数设置为所述第一组数，以及将所述第一个统计区间所采用的直方图的组数设置为所述第一组数的两倍的策略。

为便于理解，下面仍以所举的示例为例进行说明。假如所述组距优选为512，这时512对应的二进制数为“1000000000”，共10位，即第二目标数为10；另外，因为100w对应的二进制数为“11110100001001000000”，共20位，即第一目标数为20。这时，第三目标数就为10，所以最后一个统计区间即所述上限值将落在的统计区间的组数(即第一组数)就为1024(其中1024＝2¹⁰)，进而根据组数策略，比如除第一个统计区间的组数为其他统计区间的组数的两倍外，其他统计区间都相同，且为第一组数，那么第一个统计区间的组数就为2048，其余的统计区间的组数均为1024。

图4为一实施例中，对海量数据进行统计时，划分所得的各个统计区间、组距及组数，图5为该实施例中各个统计区间的统计最大偏离值、最大统计误差以及空间占用等情况的效果示意图。其中，在该实施例中，通过以2为底数、自然数为指数构成每个统计区间的组距，以及以第一个统计区间所采用的直方图的组数为2048，其余统计区间的组数为1024，将数值范围0～100w划分为10个统计区间，其中除100w外，每个统计区间的上限值属于下一个统计区间。

因此，采用该实施例的所述方法后，存储空间仅需11264个，可节约98.8736％的存储空间数量，且各个统计区间的统计的最大误差均小于1‰，满足了示例中的误差要求。

具体实施中，在满足所述组数与所述组距之积不小于所述上限值与所述统计误差之积的前提下，还可根据统计的实际情况来选取合适的组数，以进一步在存储空间、计算速度和精度之间取得更好的平衡，来降低统计成本，提高统计效率。

在一个实施方式中，为了方便将每个海量数据落入到对应的直方图中，所述组数包括以2为底数、以自然数为指数的、不小于所述上限值与所述统计误差之积的数。

在一个实施方式中，所述组数为以2为底数、以自然数为指数的、不小于所述上限值与所述统计误差之积、又距离所述之积最近的数。

在一个实施方式中，在前述各个实施例中的组数和组距满足各自条件下，还可将组数、组距进行组合，比如组数为以2为底数、以自然数为指数的数，和/或，组距为以2为底数、以自然数为指数的数，可进一步基于二进制运算来提高统计速度。

具体实施中，还可以根据实际的统计需要，通过优选相应的数据结构，使用优选的数据结构来存放所述海量数据的统计命中值，以进一步降低统计成本，提高统计效率。

在一个实施方式中，可优选数组形式的数据结构，进而通过数组的下标来记录统计命中值，既可以提高统计的计算速度，还可节约存储空间。

数组是一段连续的空间，数组本身具有有序的特点，从而可根据数组的下标来快速地、准确地将海量数据对应的统计数值落在对应的直方图中，即采用数组，可提高统计速度、准确性。

具体地，在划分若干统计区间和确定每个统计区间所采用的直方图的组数后，所述方法还包括：根据所述每个统计区间所采用的直方图的组数和所述待统计的海量数据，创建数组。其中创建的数组，用于记录海量数对应的统计数值(即统计命中值)。

具体实施中，所述数组可为一维数组，也可为多维数组，具体可根据实际需要来决定。

在使用数组进行统计时，前述步骤S108，即所述将每个所述海量数据统计在对应的统计区间的直方图中的步骤可包括：按预设的寻址策略将每个所述海量数据统计在对应的所述数组中，所述寻址策略包括根据所述海量数据，确定所述海量数据将落在的统计区间的直方图在所述数组中对应的数组下标的策略。

具体实施中，所述寻址策略可根据创建的数组、所述海量数据对应的统计命中数值等进行预设。

例如，当海量数据为数值型数据，且其对应的统计命中数值就为其本身，比如需要对0～100w中的数值数据进行统计，这时在按前述任一实施例中确定的组数、组距、统计区间、组距策略、组数策略等参数后，所述寻址策略就进行相应预设。

在一个实施方式中，组距策略包括以1为步进变化的策略，这时寻址策略可通过以下算法寻址到该海量数据对应的直方图，即对应的数组的位置：

其中，index用于表征所述海量数据将落在的统计区间的直方图在所述数组中对应的数组下标，part用于表征所述海量数据将落在第几个统计区间，不同的buf_i与part对应，用于表征part对应的统计区间的直方图的组数。

在一个实施方式中，还可利用二进制运算，来快速地确定出数组的下标。具体地，所述组距为以2为底数、以自然数为指数的、不大于所述上限值与所述统计误差之积的、又距离所述之积最近的数，所述上限值将落在的统计区间的直方图的组数为以2为底数、以自然数为指数、且不小于所述上限值与所述统计误差之积、又距离所述之积最近的数，除第一个统计区间的直方图的组数为所述上限值将落在的统计区间的直方图的组数的两倍外，其余统计区间的直方图的组数与所述上限值将落在的统计区间的直方图的组数相同；

以及所述数组优选一维数组，这时所述寻址策略可包括以下关系：

index＝part×k+temp

其中，index用于表征所述海量数据将落在的统计区间的直方图在所述数组中对应的数组下标，part用于表征所述海量数据将落在第几个统计区间，k用于表征所述上限值将落在的统计区间的直方图的组数，temp用于表征将所述海量数据按二进制形式进行无符号右移part位逻辑运算所得的数。

进一步，可采用如图6所示的流程图，确定所述海量数据将落在第几个统计区间，即确定参数part的步骤可包括：

步骤S301、获取所述海量数据对应的二进制数的位数，记为第四目标数；

步骤S303、获取所述第一个统计区间的直方图的组数对应的二进制数的位数，记为第五目标数；

步骤S305、获取所述第四目标数与所述第五目标数之差；

步骤S307、根据所述之差确定所述海量数据将落在的统计区间的编号。

需要说明的是，为便于数数，统计区间的编号从1起算，即第一个统计区间的编号设置为1、第二个统计区间的区间编号设置为2，依次类推，从而可确定出区间编号，即参数part，不再赘述。因此，步骤S307中，在根据所述之差确定所述海量数据将落在的统计区间的编号时，就将所述之差加一的结果作为所述海量数据将落在的统计区间的编号。

具体实施中，part、index等参数可通过以下算法示意流程进行确定：

在一个实施方式中，所述方法还可包括：展示所述海量数据的统计结果。这样可一边对海量数据进行统计，一边将统计结果以直方图的形式直观地展示处理，以便于观察数据。

基于同一个发明构思，本说明书实施例还提供用于统计海量数据的装置、系统、电子设备以及非易失性计算机存储介质。

图7为本说明书提供的一种海量数据统计装置的结构示意图，其中虚线方框表示可选的模块。

如图7所示，海量数据统计装置10包括第一确定模块11、第二确定模块12、划分模块13和统计模块14。其中，第一确定模块11用于确定待统计的海量数据对应的数值范围；第二确定模块12用于根据所述数值范围的上限值和预设的统计误差，确定所述上限值将落在的统计区间的组距，所述组距包括不大于所述上限值与所述统计误差之积的数；划分模块13用于根据所述组距和所述统计误差，按预设的组距策略将所述数值范围划分为至少两个统计区间，以及确定每个统计区间所采用的直方图的组数，所述组数与所述组距之积不小于所述上限值与所述统计误差之积，所述组距策略包括不同统计区间的组距不相同的策略；统计模块14用于将每个所述海量数据统计在对应的统计区间的直方图中。

可选地，所述组距包括以2为底数、以自然数为指数的、不大于所述上限值与所述统计误差之积的数；

和/或，所述组数包括以2为底数、以自然数为指数的、不小于所述上限值与所述统计误差之积的数。

可选地，所述组距为以2为底数、以自然数为指数的、不大于所述上限值与所述统计误差之积的、又距离所述之积最近的数；

和/或，所述组数为以2为底数、以自然数为指数的、不小于所述上限值与所述统计误差之积、又距离所述之积最近的数。

可选地，所述组距策略包括将后一个统计区间的组距设置为前一个统计区间的组距的两倍的策略。

可选地，在划分模块13中，确定每个统计区间所采用的直方图的组数的步骤包括：

获取所述上限值对应的二进制数的位数，记为第一目标数；

获取所述上限值将落在的统计区间的组距对应的二进制数的位数，记为第二目标数；

获取所述第一目标数和所述第二目标数之差，记为第三目标数；

以2为底数、以所述第三目标数为指数确定第一组数，所述第一组数用于表征最后一个统计区间所采用的直方图的组数，所述最后一个统计区间为所述上限值将落在的统计区间；

根据所述第一组数，按预设的组数策略确定其他统计区间的直方图的组数。

可选地，所述组数策略包括将除第一个统计区间外，所述其他统计区间所采用的直方图的组数设置为所述第一组数，以及将所述第一个统计区间所采用的直方图的组数设置为所述第一组数的两倍的策略。

可选地，海量数据统计装置10还包括数组模块15。其中，数组模块15用于在划分若干统计区间和确定每个统计区间所采用的直方图的组数后，根据所述每个统计区间所采用的直方图的组数和所述待统计的海量数据，创建数组；统计模块14用于按预设的寻址策略将每个所述海量数据统计在对应的所述数组中，所述寻址策略包括根据所述海量数据，确定所述海量数据将落在的统计区间的直方图在所述数组中对应的数组下标的策略。

可选地，所述组距为以2为底数、以自然数为指数的、不大于所述上限值与所述统计误差之积的、又距离所述之积最近的数，所述上限值将落在的统计区间的直方图的组数为以2为底数、以自然数为指数、且不小于所述上限值与所述统计误差之积、又距离所述之积最近的数，除第一个统计区间的直方图的组数为所述上限值将落在的统计区间的直方图的组数的两倍外，其余统计区间的直方图的组数与所述上限值将落在的统计区间的直方图的组数相同；

所述数组包括一维数组，所述寻址策略包括以下关系：

index＝part×k+temp

其中，index用于表征所述海量数据将落在的统计区间的直方图在所述数组中对应的数组下标，part用于表征所述海量数据将落在第几个统计区间，k用于表征所述上限值将落在的统计区间的直方图的组数，temp用于表征将所述海量数据按二进制形式进行无符号右移part位逻辑运算所得的数。

可选地，确定所述海量数据将落在第几个统计区间的步骤包括：

获取所述海量数据对应的二进制数的位数，记为第四目标数；

获取所述第一个统计区间的直方图的组数对应的二进制数的位数，记为第五目标数；

获取所述第四目标数与所述第五目标数之差；

根据所述之差确定所述海量数据将落在的统计区间的编号。

可选地，海量数据统计装置10还包括展示模块16。其中，展示模块16用于展示所述海量数据的统计结果。

本说明书实施例还提供一种用于统计海量数据的电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

确定待统计的海量数据对应的数值范围；

根据所述数值范围的上限值和预设的统计误差，确定所述上限值将落在的统计区间的组距，所述组距包括不大于所述上限值与所述统计误差之积的数；

根据所述组距和所述统计误差，按预设的组距策略将所述数值范围划分为至少两个统计区间，以及确定每个统计区间所采用的直方图的组数，所述组数与所述组距之积不小于所述上限值与所述统计误差之积，所述组距策略包括不同统计区间的组距不相同的策略；

将每个所述海量数据统计在对应的统计区间的直方图中。

本说明书实施例还提供一种用于统计海量数据的非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：

确定待统计的海量数据对应的数值范围；

根据所述数值范围的上限值和预设的统计误差，确定所述上限值将落在的统计区间的组距，所述组距包括不大于所述上限值与所述统计误差之积的数；

根据所述组距和所述统计误差，按预设的组距策略将所述数值范围划分为至少两个统计区间，以及确定每个统计区间所采用的直方图的组数，所述组数与所述组距之积不小于所述上限值与所述统计误差之积，所述组距策略包括不同统计区间的组距不相同的策略；

将每个所述海量数据统计在对应的统计区间的直方图中。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例侧重说明的都是与其他实施例的不同之处。尤其，对于系统、装置、设备、非易失性计算机存储介质实施例而言，由于其与方法是对应的，描述比较简单，相关之处参见方法实施例的部分说明即可。

本说明书实施例提供的系统、装置、设备、非易失性计算机存储介质与方法是对应的，它们也具有与对应方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述对应的系统、装置、设备、非易失性计算机存储介质的有益技术效果。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (20)

1.一种海量数据统计方法，包括：

确定待统计的海量数据对应的数值范围；

根据所述数值范围的上限值和预设的统计误差，确定所述上限值将落在的统计区间的组距，所述组距包括不大于所述上限值与所述统计误差之积的数；所述统计误差包括百分比误差，所述百分比误差用于表征所述待统计的海量数据在所述统计区间中，统计的偏差范围与所述统计区间的基数的比值；

根据所述组距和所述统计误差，按预设的组距策略将所述数值范围划分为至少两个统计区间，以及确定每个统计区间所采用的直方图的组数，所述组数与所述组距之积不小于所述上限值与所述统计误差之积，所述组距策略包括不同统计区间的组距不相同的策略；

将每个所述海量数据统计在对应的统计区间的直方图中。

2.如权利要求1所述的方法，所述组距包括以2为底数、以自然数为指数的、不大于所述上限值与所述统计误差之积的数；

和/或，所述组数包括以2为底数、以自然数为指数的、不小于所述上限值与所述统计误差之积的数。

3.如权利要求2所述的方法，所述组距为以2为底数、以自然数为指数的、不大于所述上限值与所述统计误差之积的、又距离所述之积最近的数；

和/或，所述组数为以2为底数、以自然数为指数的、不小于所述上限值与所述统计误差之积、又距离所述之积最近的数。

4.如权利要求1所述的方法，所述组距策略包括将后一个统计区间的组距设置为前一个统计区间的组距的两倍的策略。

5.如权利要求1所述的方法，确定每个统计区间所采用的直方图的组数的步骤包括：

获取所述上限值对应的二进制数的位数，记为第一目标数；

获取所述上限值将落在的统计区间的组距对应的二进制数的位数，记为第二目标数；

获取所述第一目标数和所述第二目标数之差，记为第三目标数；

以2为底数、以所述第三目标数为指数确定第一组数，所述第一组数用于表征最后一个统计区间所采用的直方图的组数，所述最后一个统计区间为所述上限值将落在的统计区间；

根据所述第一组数，按预设的组数策略确定其他统计区间的直方图的组数。

6.如权利要求5所述的方法，所述组数策略包括将除第一个统计区间外，所述其他统计区间所采用的直方图的组数设置为所述第一组数，以及将所述第一个统计区间所采用的直方图的组数设置为所述第一组数的两倍的策略。

7.如权利要求1所述的方法，在划分若干统计区间和确定每个统计区间所采用的直方图的组数后，所述方法还包括：

根据所述每个统计区间所采用的直方图的组数和所述待统计的海量数据，创建数组；

所述将每个所述海量数据统计在对应的统计区间的直方图中包括：

按预设的寻址策略将每个所述海量数据统计在对应的所述数组中，所述寻址策略包括根据所述海量数据，确定所述海量数据将落在的统计区间的直方图在所述数组中对应的数组下标的策略。

8.如权利要求7所述的方法，所述组距为以2为底数、以自然数为指数的、不大于所述上限值与所述统计误差之积的、又距离所述之积最近的数，所述上限值将落在的统计区间的直方图的组数为以2为底数、以自然数为指数、且不小于所述上限值与所述统计误差之积、又距离所述之积最近的数，除第一个统计区间的直方图的组数为所述上限值将落在的统计区间的直方图的组数的两倍外，其余统计区间的直方图的组数与所述上限值将落在的统计区间的直方图的组数相同；

所述数组包括一维数组，所述寻址策略包括以下关系：

index＝part×k+temp

其中，index用于表征所述海量数据将落在的统计区间的直方图在所述数组中对应的数组下标，part用于表征所述海量数据将落在第几个统计区间，k用于表征所述上限值将落在的统计区间的直方图的组数，temp用于表征将所述海量数据按二进制形式进行无符号右移part位逻辑运算所得的数。

9.如权利要求8所述的方法，确定所述海量数据将落在第几个统计区间的步骤包括：

获取所述海量数据对应的二进制数的位数，记为第四目标数；

获取所述第一个统计区间的直方图的组数对应的二进制数的位数，记为第五目标数；

获取所述第四目标数与所述第五目标数之差；

根据所述之差确定所述海量数据将落在的统计区间的编号。

10.如权利要求1所述的方法，所述方法还包括：展示所述海量数据的统计结果。

11.一种海量数据统计装置，包括第一确定模块、第二确定模块、划分模块和统计模块；

所述第一确定模块用于确定待统计的海量数据对应的数值范围；

所述第二确定模块用于根据所述数值范围的上限值和预设的统计误差，确定所述上限值将落在的统计区间的组距，所述组距包括不大于所述上限值与所述统计误差之积的数；所述统计误差包括百分比误差，所述百分比误差用于表征所述待统计的海量数据在所述统计区间中，统计的偏差范围与所述统计区间的基数的比值；

所述划分模块用于根据所述组距和所述统计误差，按预设的组距策略将所述数值范围划分为至少两个统计区间，以及确定每个统计区间所采用的直方图的组数，所述组数与所述组距之积不小于所述上限值与所述统计误差之积，所述组距策略包括不同统计区间的组距不相同的策略；

所述统计模块用于将每个所述海量数据统计在对应的统计区间的直方图中。

12.如权利要求11所述的装置，所述组距包括以2为底数、以自然数为指数的、不大于所述上限值与所述统计误差之积的数；

和/或，所述组数包括以2为底数、以自然数为指数的、不小于所述上限值与所述统计误差之积的数。

13.如权利要求12所述的装置，所述组距为以2为底数、以自然数为指数的、不大于所述上限值与所述统计误差之积的、又距离所述之积最近的数；

和/或，所述组数为以2为底数、以自然数为指数的、不小于所述上限值与所述统计误差之积、又距离所述之积最近的数。

14.如权利要求11所述的装置，所述组距策略包括将后一个统计区间的组距设置为前一个统计区间的组距的两倍的策略。

15.如权利要求11所述的装置，在所述划分模块中，确定每个统计区间所采用的直方图的组数的步骤包括：

获取所述上限值对应的二进制数的位数，记为第一目标数；

获取所述上限值将落在的统计区间的组距对应的二进制数的位数，记为第二目标数；

获取所述第一目标数和所述第二目标数之差，记为第三目标数；

以2为底数、以所述第三目标数为指数确定第一组数，所述第一组数用于表征最后一个统计区间所采用的直方图的组数，所述最后一个统计区间为所述上限值将落在的统计区间；

根据所述第一组数，按预设的组数策略确定其他统计区间的直方图的组数。

16.如权利要求15所述的装置，所述组数策略包括将除第一个统计区间外，所述其他统计区间所采用的直方图的组数设置为所述第一组数，以及将所述第一个统计区间所采用的直方图的组数设置为所述第一组数的两倍的策略。

17.如权利要求11所述的装置，所述装置还包括数组模块；

所述数组模块用于在划分若干统计区间和确定每个统计区间所采用的直方图的组数后，根据所述每个统计区间所采用的直方图的组数和所述待统计的海量数据，创建数组；

所述统计模块用于按预设的寻址策略将每个所述海量数据统计在对应的所述数组中，所述寻址策略包括根据所述海量数据，确定所述海量数据将落在的统计区间的直方图在所述数组中对应的数组下标的策略。

18.如权利要求17所述的装置，所述组距为以2为底数、以自然数为指数的、不大于所述上限值与所述统计误差之积的、又距离所述之积最近的数，所述上限值将落在的统计区间的直方图的组数为以2为底数、以自然数为指数、且不小于所述上限值与所述统计误差之积、又距离所述之积最近的数，除第一个统计区间的直方图的组数为所述上限值将落在的统计区间的直方图的组数的两倍外，其余统计区间的直方图的组数与所述上限值将落在的统计区间的直方图的组数相同；

所述数组包括一维数组，所述寻址策略包括以下关系：

index＝part×k+temp

其中，index用于表征所述海量数据将落在的统计区间的直方图在所述数组中对应的数组下标，part用于表征所述海量数据将落在第几个统计区间，k用于表征所述上限值将落在的统计区间的直方图的组数，temp用于表征将所述海量数据按二进制形式进行无符号右移part位逻辑运算所得的数。

19.如权利要求18所述的装置，确定所述海量数据将落在第几个统计区间的步骤包括：

获取所述海量数据对应的二进制数的位数，记为第四目标数；

获取所述第一个统计区间的直方图的组数对应的二进制数的位数，记为第五目标数；

获取所述第四目标数与所述第五目标数之差；

根据所述之差确定所述海量数据将落在的统计区间的编号。

20.一种用于统计海量数据的电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

确定待统计的海量数据对应的数值范围；

根据所述数值范围的上限值和预设的统计误差，确定所述上限值将落在的统计区间的组距，所述组距包括不大于所述上限值与所述统计误差之积的数；所述统计误差包括百分比误差，所述百分比误差用于表征所述待统计的海量数据在所述统计区间中，统计的偏差范围与所述统计区间的基数的比值；

根据所述组距和所述统计误差，按预设的组距策略将所述数值范围划分为至少两个统计区间，以及确定每个统计区间所采用的直方图的组数，所述组数与所述组距之积不小于所述上限值与所述统计误差之积，所述组距策略包括不同统计区间的组距不相同的策略；

将每个所述海量数据统计在对应的统计区间的直方图中。

Images