CN109558432A - 数据处理方法及装置 - Google Patents
数据处理方法及装置 Download PDFInfo
- Publication number
- CN109558432A CN109558432A CN201710888490.7A CN201710888490A CN109558432A CN 109558432 A CN109558432 A CN 109558432A CN 201710888490 A CN201710888490 A CN 201710888490A CN 109558432 A CN109558432 A CN 109558432A
- Authority
- CN
- China
- Prior art keywords
- data
- condition
- tables
- statistical
- static fields
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据处理方法及装置，可以获得需要处理的数据表；确定所述数据表中的统计字段，并获取各统计字段的取值；获得至少一个统计字段的取值组合，其中，位于同一取值组合中的各取值对应的统计字段不同，且各取值组合均不同；将每一个取值组合作为一个查询条件，对每个查询条件：对所述数据表中的数据记录进行查询，确定满足该查询条件的数据记录的数量。由于本发明可以获得各统计字段的取值组合对应的数据记录的数量，因此后续再需要对数据表中的数据记录的数量进行统计时，只需要根据本发明获得的满足查询条件的数据记录的数量即可得到，无需查询数据表中的各条数据记录，方便快捷，减少了系统负担。
Description
技术领域
本发明涉及数据处理技术领域，尤其是涉及一种数据处理方法及装置。
背景技术
随着大数据技术的发展和应用，对数据进行统计、分析等处理的需求越来越多。
现有的数据处理技术直接对数据表进行处理，由于数据表中存储有大量数据，因此现有技术在每次进行数据处理时都需要在数据表存储的大量数据中查找需要进行处理的数据，耗时较多，也增加了系统负担。
例如：表1记录了某市的人口信息：
表1
| 编号 | 身份证 | 姓名 | 市辖区 | 学历 | 性别 |
| 0000000001 | 110100…001 | 张三 | a区 | 本科 | 男 |
| 0000000002 | 110101…975 | 李四 | b区 | 专科 | 女 |
| … | … | … | … | … | … |
| 0021718532 | 110105…321 | 王五 | d区 | 博士 | 男 |
该表1中共有两千多万条数据记录，表1共有六个字段，分别为：编号、身份证、姓名、市辖区、学历和性别。
当需要查询该市的人口中学历为本科及以上的人口数量时，现有技术需要遍历表1中的每条数据记录，才能统计得到该市的人口中学历为本科及以上的人口数量。而当需要查询该市a区的女性人口数量及男性人口数量时，现有技术仍需要再次遍历表1中的每条数据记录，才能统计得到该市a区的女性人口数量及男性人口数量。
可见，现有技术在每次进行数据处理时都需要在数据表存储的大量数据中查找需要进行处理的数据，耗时较多，也增加了系统负担。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据处理方法及装置，技术方案如下：
一种数据处理方法，所述方法包括：
获得需要处理的数据表；
确定所述数据表中的统计字段，并获取各统计字段的取值；
获得至少一个统计字段的取值组合，其中，位于同一取值组合中的各取值对应的统计字段不同，且各取值组合均不同；
将每一个取值组合作为一个查询条件，对每个查询条件：对所述数据表中的数据记录进行查询，确定满足该查询条件的数据记录的数量。
可选的，所述方法还包括：
获得对所述数据表进行统计的统计条件；
确定与所述统计条件匹配的查询条件；
根据满足与所述统计条件匹配的查询条件的数据记录的数量获得与所述统计条件匹配的统计结果。
可选的，所述确定与所述统计条件匹配的查询条件，包括：
确定所述统计条件包含的字段的取值及所述统计条件包含的各字段的取值的逻辑关系；
将包含所述统计条件包含的至少一个字段的取值且满足所述逻辑关系的查询条件确定为与所述统计条件匹配的查询条件。
可选的，所述根据满足与所述统计条件匹配的查询条件的数据记录的数量获得与所述统计条件匹配的统计结果，包括：
将满足与所述统计条件匹配的查询条件的数据记录的数量进行求和计算，将计算结果作为与所述统计条件匹配的统计结果。
可选的，所述方法还包括：
将各查询条件及满足所述查询条件的各数据记录的数量对应保存在第一数据表中。
可选的，所述确定所述数据表中的统计字段，包括：
对所述数据表中每个字段：确定该字段在所述数据表中的各取值是否与各条数据记录具有一一对应关系，如果否，则将该字段确定为统计字段。
一种数据处理装置，所述装置包括：数据表获取单元、统计字段确定单元、取值组合获取单元和数据记录确定单元，
所述数据表获取单元，用于获得需要处理的数据表；
所述统计字段确定单元，用于确定所述数据表中的统计字段，并获取各统计字段的取值；
所述取值组合获取单元，用于获得至少一个统计字段的取值组合，其中，位于同一取值组合中的各取值对应的统计字段不同，且各取值组合均不同；
所述数据记录确定单元，用于将每一个取值组合作为一个查询条件，对每个查询条件：对所述数据表中的数据记录进行查询，确定满足该查询条件的数据记录的数量。
可选的，所述装置还包括：统计条件获取单元、查询条件确定单元和统计结果获取单元，
所述统计条件获取单元，用于获得对所述数据表进行统计的统计条件；
所述查询条件确定单元，用于确定与所述统计条件匹配的查询条件；
所述统计结果获取单元，用于根据满足与所述统计条件匹配的查询条件的数据记录的数量获得与所述统计条件匹配的统计结果。
一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述的任一种数据处理方法。
一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述的任一种数据处理方法。
借由上述技术方案，本发明提供的一种数据处理方法及装置，可以获得需要处理的数据表；确定所述数据表中的统计字段，并获取各统计字段的取值；获得至少一个统计字段的取值组合，其中，位于同一取值组合中的各取值对应的统计字段不同，且各取值组合均不同；将每一个取值组合作为一个查询条件，对每个查询条件：对所述数据表中的数据记录进行查询，确定满足该查询条件的数据记录的数量。由于本发明可以获得各统计字段的取值组合对应的数据记录的数量，因此后续再需要对数据表中的数据记录的数量进行统计时，只需要根据本发明获得的满足查询条件的数据记录的数量即可得到，无需查询数据表中的各条数据记录，方便快捷，减少了系统负担。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种数据处理方法的流程图；
图2示出了本发明实施例提供的另一种数据处理方法的流程图；
图3示出了本发明实施例提供的一种数据处理装置的结构示意图；
图4示出了本发明实施例提供的另一种数据处理装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
如图1所示，本发明实施例提供的一种数据处理方法，可以包括：
S100、获得需要处理的数据表；
其中，本发明实施例提供的一种数据处理方法可以应用于数据库中，也可以应用于数据处理软件或数据处理网络平台中。
可选的，图1所示方法可以应用于服务器中，需要处理的数据表可以是服务器预先存储的数据表，也可以是由用户设备上传至所述服务器的数据表，也可以是本发明服务器从其他设备处获取的数据表。
具体的，步骤S100获取的需要处理的数据表可以为任意数量个数据表，在需要处理的数据表为至少两个时，本发明可以对每一个需要处理的数据表均执行一次步骤S200至步骤S400。
S200、确定所述数据表中的统计字段，并获取各统计字段的取值；
其中，数据表中可以具有很多字段，但并不是所有的字段都具有统计意义，例如字段“身份证”，由于每条数据记录中的身份证号都是不同的，因此当需要统计具有某些身份证号的人口数量时，可以直接将这些身份证号的数量作为统计结果，可见，字段“身份证”不具有统计意义。而对于字段“性别”，由于每条数据记录中的性别可能是相同或不同的，因此字段“性别”具有统计意义。本发明将具有统计意义的字段称为统计字段，具体的，本发明可以通过如下方法确定所述数据表中的统计字段，该方法具体包括：
对所述数据表中每个字段：确定该字段在所述数据表中的各取值是否与各条数据记录具有一一对应关系，如果否，则将该字段确定为统计字段。
当该字段在所述数据表中的各取值与各条数据记录具有一一对应关系时，则说明每条数据记录中的该字段的取值均不同(例如：身份证在数据表中的各身份证号在每条数据记录中均不同)，因此该字段不具有统计意义。
当该字段在所述数据表中的各取值与各条数据记录不具有一一对应关系时，则说明各条数据记录中的该字段的取值中的至少两个取值是相同的，因此该字段具有统计意义，可以被确定为统计字段。对表1中的六个字段进行上述处理后，可以确定字段：姓名、市辖区、学历、性别为统计字段。
其中，在确定统计字段后，获得统计字段的取值的方式可以有多种：
例如：可以通过遍历需要处理的数据表中该统计字段在各条数据记录中的取值来获得统计字段的取值。
再如：可以根据预设的与统计字段对应的取值来直接获得统计字段的取值。可以理解的是，部分统计字段的取值只有很少的几种，如：性别、学历、年龄、婚姻状态、民族等。对于这些统计字段，本发明可以预先为它们设置对应的取值，这样后续处理后就可以直接获得这些统计字段的取值。
当然，上述统计字段的取值的获得方式仅仅是示例性的举出，本发明的统计字段的获得方式并不限于上述的几种。
S300、获得至少一个统计字段的取值组合，其中，位于同一取值组合中的各取值对应的统计字段不同，且各取值组合均不同；
可选的，步骤S300可以包括：
获得至少一个统计字段组合，其中，同一统计字段组合中各统计字段不同；
对每一个统计字段组合：将该统计字段组合中各统计字段的各取值进行组合，获得该统计字段组合对应的统计字段的取值组合，其中，位于同一取值组合中的各取值对应的统计字段的组合即为该统计字段组合，且各取值组合均不同。
在实际应用中，本发明可以获得所有的统计字段组合，例如：统计字段有三个，分别为A、B和C，则所有的统计字段组合包括：AB、AC、BC和ABC四个。当然，本发明也可以仅获得由全部统计字段构成的一个统计字段组合，例如：统计字段有三个，分别为A、B和C，则本发明也可以仅获得由全部统计字段构成的一个统计字段组合：ABC。
其中，本发明可以根据由全部统计字段构成的一个统计字段组合来获得最小统计粒度下的数据记录的数量，其他统计粒度下的数据记录的数量都可以将最小统计粒度下的数据记录的数量进行叠加得到。当然，当本发明获得所有的统计字段组合时，本发明可以获得多个不同统计粒度下的数据记录的数量。后续再需要某些统计粒度下的数据记录的数量时，本发明可以直接在已获得的多个不同统计粒度下的数据记录的数量中查找，如果查找到，则输出即可，如果未查找到，本发明可以根据将部分已获得的多个不同统计粒度下的数据记录的数量进行叠加得到所需的数据记录的数量并输出即可。
在本发明获得统计字段组合后，本发明还可以获得统计字段的取值组合，例如：统计字段有三个，分别为A、B和C，步骤S200获取的A的取值有A1和A2两个，步骤S200获取的B的取值有B1和B2两个，步骤S200获取的C的取值有C1和C2两个。则由全部统计字段构成的统计字段组合ABC对应的统计字段的取值组合可以包括：A1B1C1、A1B2C1、A1B1C2、A1B2C2、A2B1C1、A2B2C1、A2B1C2和A2B2C2。其他统计字段组合对应的统计字段的取值组合请参照ABC对应的统计字段的取值组合，不再赘述。
S400、将每一个取值组合作为一个查询条件，对每个查询条件：对所述数据表中的数据记录进行查询，确定满足该查询条件的数据记录的数量。
其中，在取值组合作为查询条件时，该取值组合中各取值在进行查询时的逻辑关系为“且”。例如：A1B1C1作为查询条件时，在对数据表中的数据记录进行查询，确定满足该查询条件的数据记录的数量的含义为：
在对数据表中的数据记录进行查询，确定同时满足字段A为A1、字段B为B1和字段C为C1的数据记录的数量。
以表1为例进行说明，设A为市辖区，B为学历，C为性别。设A1为a区，B1为本科，C1为男。则A1B1C1作为查询条件时，在对数据表中的数据记录进行查询，确定满足该查询条件的数据记录的数量的含义为：
在对数据表中的数据记录进行查询，确定同时满足市辖区为a区、学历为本科和性别为男的数据记录的数量。
可以理解的是，由于本发明可以获得各统计字段的取值组合对应的数据记录的数量，因此后续再需要对数据表中的数据记录的数量进行统计时，只需要根据本发明步骤S400获得的满足查询条件的数据记录的数量即可得到，无需查询数据表中的各条数据记录，方便快捷，减少了系统负担。
其中，在步骤S400获得满足查询条件的数据记录的数量后，后续再需要对数据表中的数据记录的数量进行统计时，只需要根据本发明步骤S400获得的满足查询条件的数据记录的数量即可得到，无需查询数据表中的各条数据记录。
可选的，在本发明另一实施例中，图1所示方法还可以包括：
将各查询条件及满足所述查询条件的各数据记录的数量对应保存在第一数据表中。
可以理解的是，第一数据表中的数据量较小，后续再需要对数据表中的数据记录的数量进行统计时，只需要对第一数据表中存储的部分数据记录的数量进行叠加即可得到统计结果。
如图2所示，本发明实施例提供的另一种数据处理方法，还可以包括：
S500、获得对所述数据表进行统计的统计条件；
其中，统计条件可以是用户提供的，统计条件可以由至少一个字段的取值构成，以表1为例，统计条件可以为：该市的人口中学历为本科及以上的人口数量；或，该市a区的女性人口数量。
S600、确定与所述统计条件匹配的查询条件；
由于本发明的查询条件为统计字段的取值组合，而统计条件也由字段的取值构成，因此本发明可以通过对比查询条件及统计条件中的取值确定与统计条件匹配的查询条件。
具体的，步骤S600可以包括：
确定所述统计条件包含的字段的取值及所述统计条件包含的各字段的取值的逻辑关系；
将包含所述统计条件包含的至少一个字段的取值且满足所述逻辑关系的查询条件确定为与所述统计条件匹配的查询条件。
例如：统计条件为：A为A2且C为C1，则当查询条件包括：A1B1C1、A1B2C1、A1B1C2、A1B2C2、A2B1C1、A2B2C1、A2B1C2和A2B2C2时，本发明可以确定与该统计条件匹配的查询条件包括：A2B1C1和A2B2C1。
S700、根据满足与所述统计条件匹配的查询条件的数据记录的数量获得与所述统计条件匹配的统计结果。
其中，步骤S700可以包括：
将满足与所述统计条件匹配的查询条件的数据记录的数量进行求和计算，将计算结果作为与所述统计条件匹配的统计结果。
本发明提供的一种数据处理方法，可以获得需要处理的数据表；确定所述数据表中的统计字段，并获取各统计字段的取值；获得至少一个统计字段的取值组合，其中，位于同一取值组合中的各取值对应的统计字段不同，且各取值组合均不同；将每一个取值组合作为一个查询条件，对每个查询条件：对所述数据表中的数据记录进行查询，确定满足该查询条件的数据记录的数量。由于本发明可以获得各统计字段的取值组合对应的数据记录的数量，因此后续再需要对数据表中的数据记录的数量进行统计时，只需要根据本发明获得的满足查询条件的数据记录的数量即可得到，无需查询数据表中的各条数据记录，方便快捷，减少了系统负担。
与上述方法实施例相对应，本发明实施例还提供了一种数据处理装置。
如图3所示，本发明实施例还提供了一种数据处理装置，可以包括：数据表获取单元100、统计字段确定单元200、取值组合获取单元300和数据记录确定单元400，
所述数据表获取单元100，用于获得需要处理的数据表；
所述统计字段确定单元200，用于确定所述数据表中的统计字段，并获取各统计字段的取值；
所述取值组合获取单元300，用于获得至少一个统计字段的取值组合，其中，位于同一取值组合中的各取值对应的统计字段不同，且各取值组合均不同；
所述数据记录确定单元400，用于将每一个取值组合作为一个查询条件，对每个查询条件：对所述数据表中的数据记录进行查询，确定满足该查询条件的数据记录的数量。
其中，本发明实施例提供的一种数据处理装置可以应用于数据库中，也可以应用于数据处理软件或数据处理网络平台中。
可选的，所述需要处理的数据表可以是服务器预先存储的数据表，也可以是由用户设备上传至所述服务器的数据表，也可以是本发明服务器从其他设备处获取的数据表。
其中，数据表中可以具有很多字段，但并不是所有的字段都具有统计意义，本发明将具有统计意义的字段称为统计字段。具体的，本发明的统计字段确定单元200可以具体用于：
对所述数据表中每个字段：确定该字段在所述数据表中的各取值是否与各条数据记录具有一一对应关系，如果否，则将该字段确定为统计字段，并获取各统计字段的取值。
当该字段在所述数据表中的各取值与各条数据记录具有一一对应关系时，则说明每条数据记录中的该字段的取值均不同(例如：身份证在数据表中的各身份证号在每条数据记录中均不同)，因此该字段不具有统计意义。
当该字段在所述数据表中的各取值与各条数据记录不具有一一对应关系时，则说明各条数据记录中的该字段的取值中的至少两个取值是相同的，因此该字段具有统计意义，可以被确定为统计字段。
其中，在确定统计字段后，获得统计字段的取值的方式可以有多种。
当然，上述统计字段的取值的获得方式仅仅是示例性的举出，本发明的统计字段的获得方式并不限于上述的几种。
具体的，对每一个统计字段组合：将该统计字段组合中各统计字段的各取值进行组合，获得该统计字段组合对应的统计字段的取值组合，其中，位于同一取值组合中的各取值对应的统计字段的组合即为该统计字段组合，且各取值组合均不同。
在实际应用中，本发明可以获得所有的统计字段组合。
其中，本发明可以根据由全部统计字段构成的一个统计字段组合来获得最小统计粒度下的数据记录的数量，其他统计粒度下的数据记录的数量都可以将最小统计粒度下的数据记录的数量进行叠加得到。当然，当本发明获得所有的统计字段组合时，本发明可以获得多个不同统计粒度下的数据记录的数量。后续再需要某些统计粒度下的数据记录的数量时，本发明可以直接在已获得的多个不同统计粒度下的数据记录的数量中查找，如果查找到，则输出即可，如果未查找到，本发明可以根据将部分已获得的多个不同统计粒度下的数据记录的数量进行叠加得到所需的数据记录的数量并输出即可。
在本发明获得统计字段组合后，本发明还可以获得统计字段的取值组合。
其中，在取值组合作为查询条件时，该取值组合中各取值在进行查询时的逻辑关系为“且”。
可以理解的是，由于本发明可以获得各统计字段的取值组合对应的数据记录的数量，因此后续再需要对数据表中的数据记录的数量进行统计时，只需要根据本发明获得的满足查询条件的数据记录的数量即可得到，无需查询数据表中的各条数据记录，方便快捷，减少了系统负担。
其中，本发明在获得满足查询条件的数据记录的数量后，后续再需要对数据表中的数据记录的数量进行统计时，只需要根据本发明获得的满足查询条件的数据记录的数量即可得到，无需查询数据表中的各条数据记录。
可选的，在本发明另一实施例中，图3所示的数据处理装置还可以包括：保存单元，用于将各查询条件及满足所述查询条件的各数据记录的数量对应保存在第一数据表中。
可以理解的是，第一数据表中的数据量较小，后续再需要对数据表中的数据记录的数量进行统计时，只需要对第一数据表中存储的部分数据记录的数量进行叠加即可得到统计结果。
如图4所示，本发明实施例还提供了另一种数据处理装置，还可以包括：统计条件获取单元500、查询条件确定单元600和统计结果获取单元700，
所述统计条件获取单元500，用于获得对所述数据表进行统计的统计条件；
其中，统计条件可以是用户提供的，统计条件可以由至少一个字段的取值构成。
所述查询条件确定单元600，用于确定与所述统计条件匹配的查询条件；
由于本发明的查询条件为统计字段的取值组合，而统计条件也由字段的取值构成，因此本发明可以通过对比查询条件及统计条件中的取值确定与统计条件匹配的查询条件。
具体的，所述查询条件确定单元600可以具体用于确定所述统计条件包含的字段的取值及所述统计条件包含的各字段的取值的逻辑关系，将包含所述统计条件包含的至少一个字段的取值且满足所述逻辑关系的查询条件确定为与所述统计条件匹配的查询条件。
所述统计结果获取单元700，用于根据满足与所述统计条件匹配的查询条件的数据记录的数量获得与所述统计条件匹配的统计结果。
具体的，统计结果获取单元700可以具体用于将满足与所述统计条件匹配的查询条件的数据记录的数量进行求和计算，将计算结果作为与所述统计条件匹配的统计结果。
本发明提供的一种数据处理装置，可以获得需要处理的数据表；确定所述数据表中的统计字段，并获取各统计字段的取值；获得至少一个统计字段的取值组合，其中，位于同一取值组合中的各取值对应的统计字段不同，且各取值组合均不同；将每一个取值组合作为一个查询条件，对每个查询条件：对所述数据表中的数据记录进行查询，确定满足该查询条件的数据记录的数量。由于本发明可以获得各统计字段的取值组合对应的数据记录的数量，因此后续再需要对数据表中的数据记录的数量进行统计时，只需要根据本发明获得的满足查询条件的数据记录的数量即可得到，无需查询数据表中的各条数据记录，方便快捷，减少了系统负担。
所述数据处理装置包括处理器和存储器，上述数据表获取单元、统计字段确定单元、取值组合获取单元和数据记录确定单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现数据处理。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述数据处理方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述数据处理方法。
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：
一种数据处理方法，所述方法包括：
获得需要处理的数据表；
确定所述数据表中的统计字段，并获取各统计字段的取值；
获得至少一个统计字段的取值组合，其中，位于同一取值组合中的各取值对应的统计字段不同，且各取值组合均不同；
将每一个取值组合作为一个查询条件，对每个查询条件：对所述数据表中的数据记录进行查询，确定满足该查询条件的数据记录的数量。
可选的，所述方法还包括：
获得对所述数据表进行统计的统计条件；
确定与所述统计条件匹配的查询条件；
根据满足与所述统计条件匹配的查询条件的数据记录的数量获得与所述统计条件匹配的统计结果。
可选的，所述确定与所述统计条件匹配的查询条件，包括：
确定所述统计条件包含的字段的取值及所述统计条件包含的各字段的取值的逻辑关系；
将包含所述统计条件包含的至少一个字段的取值且满足所述逻辑关系的查询条件确定为与所述统计条件匹配的查询条件。
可选的，所述根据满足与所述统计条件匹配的查询条件的数据记录的数量获得与所述统计条件匹配的统计结果，包括：
将满足与所述统计条件匹配的查询条件的数据记录的数量进行求和计算，将计算结果作为与所述统计条件匹配的统计结果。
可选的，所述方法还包括：
将各查询条件及满足所述查询条件的各数据记录的数量对应保存在第一数据表中。
可选的，所述确定所述数据表中的统计字段，包括：
对所述数据表中每个字段：确定该字段在所述数据表中的各取值是否与各条数据记录具有一一对应关系，如果否，则将该字段确定为统计字段。
本文中的设备可以是服务器、PC、PAD、手机等。
本发明还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：
一种数据处理方法，所述方法包括：
获得需要处理的数据表；
确定所述数据表中的统计字段，并获取各统计字段的取值；
获得至少一个统计字段的取值组合，其中，位于同一取值组合中的各取值对应的统计字段不同，且各取值组合均不同；
将每一个取值组合作为一个查询条件，对每个查询条件：对所述数据表中的数据记录进行查询，确定满足该查询条件的数据记录的数量。
可选的，所述方法还包括：
获得对所述数据表进行统计的统计条件；
确定与所述统计条件匹配的查询条件；
根据满足与所述统计条件匹配的查询条件的数据记录的数量获得与所述统计条件匹配的统计结果。
可选的，所述确定与所述统计条件匹配的查询条件，包括：
确定所述统计条件包含的字段的取值及所述统计条件包含的各字段的取值的逻辑关系；
将包含所述统计条件包含的至少一个字段的取值且满足所述逻辑关系的查询条件确定为与所述统计条件匹配的查询条件。
可选的，所述根据满足与所述统计条件匹配的查询条件的数据记录的数量获得与所述统计条件匹配的统计结果，包括：
将满足与所述统计条件匹配的查询条件的数据记录的数量进行求和计算，将计算结果作为与所述统计条件匹配的统计结果。
可选的，所述方法还包括：
将各查询条件及满足所述查询条件的各数据记录的数量对应保存在第一数据表中。
可选的，所述确定所述数据表中的统计字段，包括：
对所述数据表中每个字段：确定该字段在所述数据表中的各取值是否与各条数据记录具有一一对应关系，如果否，则将该字段确定为统计字段。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。
Claims (10)
1.一种数据处理方法，其特征在于，包括：
获得需要处理的数据表；
确定所述数据表中的统计字段，并获取各统计字段的取值；
获得至少一个统计字段的取值组合，其中，位于同一取值组合中的各取值对应的统计字段不同，且各取值组合均不同；
将每一个取值组合作为一个查询条件，对每个查询条件：对所述数据表中的数据记录进行查询，确定满足该查询条件的数据记录的数量。
2.根据权利要求1所述的方法，其特征在于，还包括：
获得对所述数据表进行统计的统计条件；
确定与所述统计条件匹配的查询条件；
根据满足与所述统计条件匹配的查询条件的数据记录的数量获得与所述统计条件匹配的统计结果。
3.根据权利要求2所述的方法，其特征在于，所述确定与所述统计条件匹配的查询条件，包括：
确定所述统计条件包含的字段的取值及所述统计条件包含的各字段的取值的逻辑关系；
将包含所述统计条件包含的至少一个字段的取值且满足所述逻辑关系的查询条件确定为与所述统计条件匹配的查询条件。
4.根据权利要求2所述的方法，其特征在于，所述根据满足与所述统计条件匹配的查询条件的数据记录的数量获得与所述统计条件匹配的统计结果，包括：
将满足与所述统计条件匹配的查询条件的数据记录的数量进行求和计算，将计算结果作为与所述统计条件匹配的统计结果。
5.根据权利要求1至4中任一项所述的方法，其特征在于，还包括：
将各查询条件及满足所述查询条件的各数据记录的数量对应保存在第一数据表中。
6.根据权利要求1至4中任一项所述的方法，其特征在于，所述确定所述数据表中的统计字段，包括：
对所述数据表中每个字段：确定该字段在所述数据表中的各取值是否与各条数据记录具有一一对应关系，如果否，则将该字段确定为统计字段。
7.一种数据处理装置，其特征在于，所述装置包括：数据表获取单元、统计字段确定单元、取值组合获取单元和数据记录确定单元，
所述数据表获取单元，用于获得需要处理的数据表；
所述统计字段确定单元，用于确定所述数据表中的统计字段，并获取各统计字段的取值；
所述取值组合获取单元，用于获得至少一个统计字段的取值组合，其中，位于同一取值组合中的各取值对应的统计字段不同，且各取值组合均不同；
所述数据记录确定单元，用于将每一个取值组合作为一个查询条件，对每个查询条件：对所述数据表中的数据记录进行查询，确定满足该查询条件的数据记录的数量。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：统计条件获取单元、查询条件确定单元和统计结果获取单元，
所述统计条件获取单元，用于获得对所述数据表进行统计的统计条件；
所述查询条件确定单元，用于确定与所述统计条件匹配的查询条件；
所述统计结果获取单元，用于根据满足与所述统计条件匹配的查询条件的数据记录的数量获得与所述统计条件匹配的统计结果。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1至6中任一项所述的数据处理方法。
10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行如权利要求1至6中任一项所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710888490.7A CN109558432A (zh) | 2017-09-27 | 2017-09-27 | 数据处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710888490.7A CN109558432A (zh) | 2017-09-27 | 2017-09-27 | 数据处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109558432A true CN109558432A (zh) | 2019-04-02 |
Family
ID=65863713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710888490.7A Pending CN109558432A (zh) | 2017-09-27 | 2017-09-27 | 数据处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109558432A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112925792A (zh) * | 2021-03-26 | 2021-06-08 | 北京中经惠众科技有限公司 | 数据存储控制方法、装置、计算设备及介质 |
| CN113505121A (zh) * | 2021-05-25 | 2021-10-15 | 北京达佳互联信息技术有限公司 | 数据处理方法、装置、服务器及存储介质 |
| CN113642309A (zh) * | 2020-04-27 | 2021-11-12 | 北京国双科技有限公司 | 数据对比方法及相关装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105354272A (zh) * | 2015-10-28 | 2016-02-24 | 中通服公众信息产业股份有限公司 | 一种基于维度组合的指标计算方法和系统 |
| CN106202412A (zh) * | 2016-07-11 | 2016-12-07 | 浪潮软件集团有限公司 | 一种数据检索方法及装置 |
| CN106202280A (zh) * | 2016-06-29 | 2016-12-07 | 联想(北京)有限公司 | 一种信息处理方法及服务器 |
| US20160371288A1 (en) * | 2015-06-16 | 2016-12-22 | Business Objects Software, Ltd. | Use of context-dependent statistics to suggest next steps while exploring a dataset |
| CN106557498A (zh) * | 2015-09-25 | 2017-04-05 | 北京国双科技有限公司 | 数据存储方法和装置以及数据查询方法和装置 |
-
2017
- 2017-09-27 CN CN201710888490.7A patent/CN109558432A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160371288A1 (en) * | 2015-06-16 | 2016-12-22 | Business Objects Software, Ltd. | Use of context-dependent statistics to suggest next steps while exploring a dataset |
| CN106557498A (zh) * | 2015-09-25 | 2017-04-05 | 北京国双科技有限公司 | 数据存储方法和装置以及数据查询方法和装置 |
| CN105354272A (zh) * | 2015-10-28 | 2016-02-24 | 中通服公众信息产业股份有限公司 | 一种基于维度组合的指标计算方法和系统 |
| CN106202280A (zh) * | 2016-06-29 | 2016-12-07 | 联想(北京)有限公司 | 一种信息处理方法及服务器 |
| CN106202412A (zh) * | 2016-07-11 | 2016-12-07 | 浪潮软件集团有限公司 | 一种数据检索方法及装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113642309A (zh) * | 2020-04-27 | 2021-11-12 | 北京国双科技有限公司 | 数据对比方法及相关装置 |
| CN112925792A (zh) * | 2021-03-26 | 2021-06-08 | 北京中经惠众科技有限公司 | 数据存储控制方法、装置、计算设备及介质 |
| CN112925792B (zh) * | 2021-03-26 | 2024-01-05 | 北京中经惠众科技有限公司 | 数据存储控制方法、装置、计算设备及介质 |
| CN113505121A (zh) * | 2021-05-25 | 2021-10-15 | 北京达佳互联信息技术有限公司 | 数据处理方法、装置、服务器及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10776398B2 (en) | Platform data lifecycle management | |
| US10430727B1 (en) | Systems and methods for privacy-preserving generation of models for estimating consumer behavior | |
| Moeyersoms et al. | Comprehensible software fault and effort prediction: A data mining approach | |
| US11321722B2 (en) | Assortment optimization using incremental swapping with demand transference | |
| CN109558432A (zh) | 数据处理方法及装置 | |
| AU2022254512A1 (en) | System and method for privacy-preserving analytics on disparate data sets | |
| CN110457182A (zh) | 一种负载均衡集群实例运行指标监控系统 | |
| US10558985B2 (en) | Pathing and attribution in marketing analytics | |
| US8768879B2 (en) | Method of storing and analysing data produced from interactions between external agents and a system | |
| CN108460038A (zh) | 规则匹配方法及其设备 | |
| US20120331051A1 (en) | System and method for designing and managing social media campaigns | |
| CN104424220A (zh) | 一种数据处理方法及装置 | |
| CN110020016A (zh) | 数据可视化展示方法和装置 | |
| CN110020298A (zh) | 参数展示方法和装置 | |
| Angelini et al. | The complex dynamics of products and its asymptotic properties | |
| CN109582834B (zh) | 数据风险预测方法及装置 | |
| CN106294700A (zh) | 一种日志的存储与读取方法及装置 | |
| CN108241652A (zh) | 关键词聚类方法及装置 | |
| US20140297367A1 (en) | Smart design system providing mobile application design and simulation function, business model having the same, and operating method of smart design system | |
| Gupta et al. | Continuous reachability for unordered data Petri nets is in PTime | |
| CN110019544A (zh) | 数据查询方法及系统 | |
| CN110069695A (zh) | 标签处理方法和装置 | |
| CN110427558B (zh) | 资源处理事件的推送方法及装置 | |
| CN108241989A (zh) | 差异性数据获取方法及装置 | |
| CN106909499A (zh) | 测试方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 100080 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing Applicant after: Beijing Guoshuang Technology Co.,Ltd. Address before: 100086 Beijing city Haidian District Shuangyushu Area No. 76 Zhichun Road cuigongfandian 8 layer A Applicant before: Beijing Guoshuang Technology Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190402 |