CN104598551B - 一种数据统计方法及装置 - Google Patents
一种数据统计方法及装置 Download PDFInfo
- Publication number
- CN104598551B CN104598551B CN201410855001.4A CN201410855001A CN104598551B CN 104598551 B CN104598551 B CN 104598551B CN 201410855001 A CN201410855001 A CN 201410855001A CN 104598551 B CN104598551 B CN 104598551B
- Authority
- CN
- China
- Prior art keywords
- point
- data
- statistics
- timing statistics
- latest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Security & Cryptography (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种数据统计方法及装置,方法为,当当前系统时间到达进行数据统计的时间点时,获取当前数据统计时间段内的采集数据;对当前系统时间进行时间点对齐处理,以获取当前数据统计时间段对应的最早统计时间点和最晚统计时间点;根据该最早统计时间点和最晚统计时间点,以及各个采集数据对应的生成时间点,对所有采集数据进行筛选,获取完整性采集数据,并输出该完整性采集数据。采用本发明技术方案,无须预设延迟时间,当当前系统时间到达进行数据统计的时间点时,业务系统仅对获取到的采集数据进行数据完整性筛选,即可获取当前数据统计时间段内数据完整性统计结果,从而保证了统计结果的准确性。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据统计方法及装置。
背景技术
在业务系统中,数据统计为进行业务分析的基础,例如,统计每天的话务量,每隔5分钟统计网络时延,登录业务成功率等,根据统计的数据确定网络通信质量等信息。
参阅图1所示,以下以业务系统对通话话单统计过程为例,详细介绍对通话话单数据的统计过程:
1、在业务系统中通话话单生成周期为5分钟,当前时间9:50生成通话话单包含话单生成时间为9:45-9:50的通话话单数据。
在上述生成通话话单的业务系统中,由于每一个呼叫结束后生成一条通话记录,通话话单实时追加到一个固定文件名的文件(文件A)中,该文件A中包含的所有通话记录即为通话话单,因此,文件A是在不停的动态变化的。并且,文件A有占用存储空间大小和时间双重限制,即当文件A所占用存储空间的大小满足预设阈值,或者当前时间到达话单生成时间点时,文件A均需要转化为文件B。
2、话单处理系统对通话话单数据的处理周期为5分钟,如9:52开始处理9:50的通话话单,将通话话单转换为统计中心能够处理的格式,9:53完成通话话单处理。
3、统计中心中的数据采集部件的数据采集周期为5分钟,如9:55分数据采集系统从话单处理系统获取处理后的通话话单,此时获取的最新通话话单为9:50分的通话话单,网络传输2分钟并将上述处理后的通话话单存储至数据库中,即在9:57分时处理后的通话话单存储至统计中心的数据库中。
4、统计中心中的统计计算部件对上述处理后的通话话单的统计计算周期为一个小时,如在10:00开始统计前一个小时的通话话单数据,此时数据库中最新的通话话单数据时间为9:50。统计中心计算出来得到(9:00,10:00]统计数据存在误差,即遗漏了9:50~10:00之间10分钟的通话话单数据。
由此可见,在业务系统中,由于各个数据处理环节造成的延时,导致最终统计的数据缺失的问题;为了保证业务系统获取的数据的准确性,通常需要在业务系统中预设延迟时间,统计计算部件在到达统计计算周期时滞后预设延迟时间,进行数据统计操作,从而保证统计数据的准确性。但是,由于在不同应用场景中,预设延迟时间不一定能够晚于或等于当前业务系统中各个数据处理环节造成的总时延,此时,将仍然存在统计数据缺失的问题。
综上所述,目前在业务系统对数据进行统计的过程中,存在统计结果不准确的问题。
发明内容
本发明实施例提供一种数据统计方法及装置,用以解决目前在业务系统对数据进行统计的过程中,存在统计结果不准确的问题。
本发明实施例提供的具体技术方案如下:
第一方面,提供一种数据统计方法,包括:获取当前数据统计时间段内的采集数据;并根据预设的数据统计周期,对当前系统时间进行时间点对齐处理;并基于时间点对齐处理后的当前系统时间,获取当前数据统计时间段对应的最早统计时间点和最晚统计时间点;根据所述最早统计时间点和所述最晚统计时间点,对所述采集数据进行数据完整性筛选,获取完整性采集数据;根据所述当前数据统计时间段中包含的数据统计时间点,从获取的完整性采集数据中依次输出每一个数据统计时间点对应的完整性采集数据。
结合第一方面,在第一种可能的实现方式中,获取当前系统时间;获取在所述当前系统时间之前,距离所述当前系统时间最近的对齐时间点;其中,所述对齐时间点为以预设时间点为起点,以所述数据统计周期为步长得到的各个时间点;将所述当前系统时间向前对齐至所述对齐时间点。
结合第一方面的第一种可能的实现方式,在第二种可能的实现方式中,当所述时间点对齐处理为首次时间点对齐处理时,获取所述采集数据中生成时间点最早的采集数据对应的生成时间点,并将所述生成时间点最早的采集数据对应的生成时间点向后对齐至距离所述生成时间点最近的对齐时间点,将所述对齐时间点向后延迟一个数据统计周期后的时间点确定为最早统计时间点;或者,将预设统计时间点,确定为最早统计时间点;当所述时间点对齐处理为非首次时间点对齐处理时,获取当前数据统计时间段之前的上一个数据统计时间段对应的最晚统计时间点,将所述最晚统计时间点向后推延所述数据统计周期得到推迟时间点,并将得到的推迟时间点确定为最早统计时间点。
结合第一方面的第一种可能的实现方式,在第三种可能的实现方式中,将所述当前数据统计时间段对应的对齐时间点确定为第一最晚统计时间点;将当前数据统计时间段中所有采集数据中生成时间点最晚的采集数据对应的生成时间点进行对齐处理,将对齐处理后的所述生成时间点确定为第二最晚统计时间点;将所述第一最晚统计时间点和所述第二最晚统计时间点中,较小的时间点确定为采集数据对应的最晚统计时间点。
结合第一方面的第一种可能的实现方式至第三种可能的实现方式中的任一项,在第四种可能的实现方式中,当所述最早统计时间点早于或者等于所述最晚统计时间点时,若存在任意一采集数据对应的生成时间点晚于所述最晚统计时间点,则将所述采集数据中生成时间点位于所述最早统计时间点减去一个数据统计周期后对应的时间点和所述最晚统计时间点之间的采集数据,确定为完整性采集数据;若当前统计时间段内所有采集数据中最晚生成时间点等于所述最晚统计时间点,则当存在任意一采集数据对应的生成时间点等于所述最晚统计时间点时,若所述采集数据为离散型数据,则将所述采集数据中生成时间点位于所述最早统计时间点减去一个数据统计周期后对应的时间点和所述最晚统计时间点之间的采集数据,确定为完整性采集数据;若所述采集数据为连续型数据,则获取所述当前数据统计周期时间段对应的最晚统计时间点之前的一个数据统计时间点,将所述采集数据中生成时间点位于所述最早统计时间点减去一个数据统计周期对应的时间点和所述最晚统计时间点之前的一个数据统计时间点之间的采集数据,确定为完整性采集数据;当所述最早统计时间点晚于所述最晚统计时间点时,确定在当前数据统计时间段内不存在完整性采集数据。
第二方面,提供一种数据统计装置,包括:第一获取单元,用于获取当前数据统计时间段内的采集数据;对齐单元,用于根据预设的数据统计周期,对当前系统时间进行时间点对齐处理;第二获取单元,用于基于对齐单元进行时间点对齐处理后的当前系统时间,获取当前数据统计时间段对应的最早统计时间点和最晚统计时间点;第三获取单元,用于根据第二获取单元获取的所述最早统计时间点和所述最晚统计时间点,对所述采集数据进行数据完整性筛选,获取完整性采集数据;输出单元,用于根据所述当前数据统计时间段中包含的数据统计时间点,从第三获取单元获取的完整性采集数据中依次输出每一个数据统计时间点对应的完整性采集数据。
结合第二方面,在第一种可能的实现方式中,所述对齐单元,具体用于:获取当前系统时间;获取在所述当前系统时间之前,距离所述当前系统时间最近的对齐时间点;其中,所述对齐时间点为以预设时间点为起点,以所述数据统计周期为步长得到的各个时间点;将所述当前系统时间向前对齐至所述对齐时间点。
结合第二方面的第一种可能的实现方式,在第二种可能的实现方式中,所述第二获取单元,具体用于:当所述时间点对齐处理为首次时间点对齐处理时,获取所述采集数据中生成时间点最早的采集数据对应的生成时间点,并将所述生成时间点最早的采集数据对应的生成时间点向后对齐至距离所述生成时间点最近的对齐时间点,将所述对齐时间点向后延迟一个数据统计周期后的时间点,确定为最早统计时间点;或者,将预设统计时间点确定为最早统计时间点;当所述时间点对齐处理为非首次时间点对齐处理时,获取当前数据统计时间段之前的上一个数据统计时间段对应的最晚统计时间点,将所述最晚统计时间点向后推延所述数据统计周期得到推迟时间点,并将得到的推迟时间点确定为最早统计时间点。
结合第二方面的第一种可能的实现方式,在第三种可能的实现方式中,所述第二获取单元,具体用于:将所述当前数据统计时间段对应的对齐时间点确定为第一最晚统计时间点;将当前数据统计时间段中所有采集数据中生成时间点最晚的采集数据对应的生成时间点进行对齐处理,将对齐处理后的所述生成时间点确定为第二最晚统计时间点;将所述第一最晚统计时间点和所述第二最晚统计时间点中,较小的时间点确定为采集数据对应的最晚统计时间点。
结合第二方面的第一种可能的实现方式至第三种可能的实现方式中的任一项,在第四种可能的实现方式,所述第三获取单元,具体用于:当所述最早统计时间点早于或者等于所述最晚统计时间点时,若存在任意一采集数据对应的生成时间点晚于所述最晚统计时间点,则将所述采集数据中生成时间点位于所述最早统计时间点减去一个数据统计周期后对应的时间点和所述最晚统计时间点之间的采集数据,确定为完整性采集数据;若当前统计时间段内所有采集数据中最晚生成时间点等于所述最晚统计时间点,则当存在任意一采集数据对应的生成时间点等于所述最晚统计时间点时,若所述采集数据为离散型数据,则将所述采集数据中生成时间点位于所述最早统计时间点减去一个数据统计周期后对应的时间点和所述最晚统计时间点之间的采集数据,确定为完整性采集数据;若所述采集数据为连续型数据,则获取所述当前数据统计周期时间段对应的最晚统计时间点之前的一个数据统计时间点,将所述采集数据中生成时间点位于所述最早统计时间点减去一个数据统计周期对应的时间点和所述最晚统计时间点之前的一个数据统计时间点之间的采集数据,确定为完整性采集数据;当所述最早统计时间点晚于所述最晚统计时间点时,确定在当前数据统计时间段内不存在完整性采集数据。
本发明实施例中,当当前系统时间到达进行数据统计的时间点时,获取当前数据统计时间段内的采集数据;对当前系统时间进行时间点对齐处理,以获取当前数据统计时间段对应的最早统计时间点和最晚统计时间点;根据该最早统计时间点和最晚统计时间点,以及各个采集数据对应的生成时间点,对所有采集数据进行筛选,获取完整性采集数据,并输出该完整性采集数据。采用本发明技术方案,无须预设延迟时间,当当前系统时间到达进行数据统计的时间点时,业务系统仅对获取到的采集数据进行数据完整性筛选,即可获取当前数据统计时间段内数据完整性统计结果,从而保证了统计结果的准确性。
附图说明
图1为现有技术中数据统计示意图;
图2为本发明实施例中业务系统网络架构示意图;
图3为本发明实施例中数据统计流程图;
图4为本发明实施例中具体应用场景下数据统计流程图;
图5为本发明实施例中数据统计装置结构示意图一;
图6为本发明实施例中数据统计装置结构示意图二;
图7为本发明实施例中数据统计装置各个单元之间的信息交互示意图;
图8为本发明实施例中数据统计设备结构示意图。
具体实施方式
为了解决目前在业务系统对数据进行统计的过程中,存在统计结果不准确的问题。本发明实施例中,当当前系统时间到达进行数据统计的时间点时,获取当前数据统计时间段内的采集数据;对当前系统时间进行时间点对齐处理,以获取当前数据统计时间段对应的最早统计时间点和最晚统计时间点;根据该最早统计时间点和最晚统计时间点,以及各个采集数据对应的生成时间点,对所有采集数据进行筛选,获取完整性采集数据,并输出该完整性采集数据。采用本发明技术方案,无须预设延迟时间,业务系统仅对获取到的采集数据进行数据完整性筛选,即可获取当前数据统计时间段内具备数据完整性的统计结果,从而保证了统计结果的准确性。
参阅图2所示,为本发明实施例中数据统计系统架构示意图,该数据统计系统包括数据生成服务器,数据处理服务器,数据采集服务器,以及数据统计服务器;其中,数据生成服务器,用于根据初始数据,生成相应的待统计数据,如初始数据为通话记录,则生成的待统计数据即为话单数据;数据处理服务器,用于对该待统计数据进行格式转换,生成数据采集服务器以及数据统计服务器能够处理的数据格式;数据采集服务器,用于采集格式转换后的数据(以下简称采集数据);数据统计服务器,用于从数据采集服务器中获取采集数据,并对采集数据进行统计。在上述过程中,数据采集服务器可以通过文件传输协议(FileTransfer Protocol,FTP)或者安全文件传送协议(Secure File Transfer Protocol,SFTP)采集待统计数据;数据采集服务器和数据统计服务器可以通过一个实体设备实现,也可以通过两个独立的实体设备实现,本发明以数据采集服务器和数据统计服务器通过两个独立的实体设备实现详细介绍数据统计的过程。
下面结合说明书附图,对本发明实施例作进一步详细描述。
参阅图3所示,本发明实施例中,数据统计服务器进行数据统计过程包括:
步骤300:获取当前数据统计时间段内的采集数据。
本发明实施例中,数据统计服务器按照数据统计周期通知数据采集服务器从数据处理服务器中获取采集数据;或者,数据采集服务器按照自身的数据采集周期从数据处理服务器中获取采集数据,并将该采集数据保存至本地数据库中,数据统计服务器按照数据统计周期从数据采集服务器中的数据库中,获取采集数据,其中,数据采集服务器能够通过Java数据库连接(Java Data Base Connectivity,JDBC)或者开放数据库连接(Open DataBase Connectivity,ODBC)将采集数据保存至数据库中。
可选的,数据统计服务器的数据统计周期大于或等于数据采集服务器的数据采集周期。较佳的,数据统计服务器的数据统计周期与数据采集服务器的数据采集周期相同,从而保证数据统计周期能够在数据采集服务器采集得到采集数据之后,尽快对该采集数据进行处理。其中,一个数据统计时间段包含一个或者多个数据统计周期;当前数据采集操作为首次采集时,数据统计时间段即为采集数据中生成时间点最早的采集数据对应的生成时间点至当前系统时间之间的时间段,或者,数据统计周期为将预设统计时间点与当前系统时间之间的时间段;当当前数据采集操作为非首次采集时,数据统计时间段即为上一个数据统计时间段所采集到的生成时间点最晚采集数据对应的生成时间点与当前系统时间之间的时间段。
在到达进行数据统计的时间点时,获取当前统计时间段内的采集数据;其中,上述进行数据统计的时间点即为当前系统时间。
步骤310:根据数据统计周期,对当前系统时间进行时间点对齐处理,并基于时间点对齐处理后的当前系统时间,获取当前数据统计时间段对应的最早统计时间点和最晚统计时间点。
本发明实施例中,数据统计服务器获取到当前数据统计时间段内的采集数据之后,即解析每一个采集数据,并获取相应的采集数据中包含的生成时间点,该生成时间点即为数据生成服务器生成数据的时间。例如,当数据为话单数据时,话单数据的格式为|话单生成时间|手机号|通话起始时间|通话结束时间|…,从该话单数据中提取话单生成时间作为该话单数据的生成时间点。
具体的,数据统计服务器根据数据统计周期,对当前系统时间进行时间点对齐处理的方法,包括:数据统计服务器获取当前系统时间;获取在该当前系统时间之前,距离该当前系统时间最近的对齐时间点;其中,对齐时间点为以预设时间点为起点,以该数据统计周期为步长得到的各个时间点,预设时间点通常为整点,例如,当预设时间点为00:00:00时,数据统计周期为5分钟,则对齐时间点为00:00:05、00:00:10等;将该当前系统时间向前对齐至上述对齐时间点。
例如,当前系统时间为08:07:08,数据统计周期为5分钟,且最早采集数据的生成时间点为00:00:00,因此,当前系统时间之前距离该当前系统时间最近的对齐时间点即为08:05:00,因此,对该当前系统时间进行对齐处理后,得到的对齐后的当前系统时间即为08:05:00。又例如,当前系统时间为08:07:08,数据统计周期为1小时,且最早采集数据的生成时间点为00:00:00,因此,当前系统时间之前距离该当前系统时间最近的对齐时间点即为08:00:00,因此,对当前系统时间进行对齐处理后,得到的对齐后的当前系统时间即为08:00:00。又例如,当前系统时间为2014年11月2日,08:07:08,数据统计周期为24小时,且最早采集数据的生成时间点以2014年11月2日,00:00:00,因此,当前系统时间之前距离该当前系统时间最近的对齐时间点即为2014年11月2日,00:00:00,因此,对该当前系统时间进行对齐处理后,得到的对齐后的当前系统时间即为2014年11月2日,00:00:00。
采用上述技术方案,对当前系统时间进行时间点对齐处理,以获取当前数据统计时间段对应的最早统计时间和最晚统计时间,使在后续对采集数据进行完整性筛选时,能够更加便于统计计算,避免了对采集数据统计过程中由于时间点混乱出现错误的情况。
本发明实施例中,数据统计服务器获取当前数据统计时间段对应的最早统计时间点的方法,包括:当时间点对齐处理为首次时间点对齐处理时,获取采集数据中生成时间点最早的采集数据对应的生成时间点,并将该生成时间点最早的采集数据对应的生成时间点向后对齐至距离所述生成时间点最近的对齐时间点,将该对齐时间点向后延迟一个数据统计周期后的时间点,确定为最早统计时间点,或者,将预设统计时间点确定为最早统计时间点;当时间点对齐处理为非首次时间点对齐处理时,获取当前时刻之前的上一个数据统计时间段对应的最晚统计时间点,将该最晚统计时间点与采集周期之和,确定为最早统计时间点。例如,当时间点对齐处理为首次时间点对齐处理时,数据统计周期为5分钟,采集数据中最早生成时间点为07:56:00,则将该最早生成时间向后对齐至距离该最早生成时间点最近的对齐时间点(08:00:00),并将该对齐时间点向后延迟一个数据统计周期(5分钟),因此,该当前数据统计时间段对应的最早统计时间点即为08:05:00。
其中,当所述时间点对齐处理为非首次时间点对齐处理时,需要获取当前数据统计时间段之前的上一个数据统计时间段对应的最晚统计时间点。该上一个数据统计时间段对应的最晚统计时间点,即为上一个数据统计时间段实际进行统计的最晚时间点,包含了完整性筛选的结果。例如,在上一个数据统计时间段内,确定最早统计时间点为8:00,最晚统计时间点为8:10,但完整性筛选的采集数据为实际最晚统计时间点为8:05,那么当前数据统计时间段对应的最早统计时间点为8:05+5分钟,而不是8:10+5分钟。进一步的,上一个数据统计周期或者追溯到前几个数据统计周期可能都没有完整性采集数据,此时,上一次筛选得到完整性采集数据的数据统计时间段对应的最晚统计时间点一直不变化,以最后生成统计结果的最晚时间点为准。例如,在系统时间为08:03,统计08:00的数据,本地数据统计时间段对应的最晚统计时间点为8:00;在系统时间为08:08,无完整性采集数据,上一个数据统计时间段对应的最晚统计时间点为08:00;在系统时间为08:13,仍无完整性采集数据,上一个数据统计时间段对应的最晚统计时间点仍为08:00;在系统时间为08:18,包含完整性采集数据,且当前数据统计时间段对应的最晚统计时间点为08:15,那么当前数据统计时间段对应的最早统计时间点为08:05,最晚统计时间点为08:15。
进一步的,数据统计服务器获取当前数据统计时间段对应的最晚统计时间点的方法,包括:将当前数据统计时间段对应的对齐时间点,将该对齐时间点作为第一最晚统计时间点;将当前数据统计时间段中所有采集数据中生成时间点最晚的采集数据对应的生成时间点进行对齐处理,将对齐处理后的生成时间点确定为第二最晚统计时间点;将第一最晚统计时间点和第二最晚统计时间点中,较小的时间点确定为采集数据对应的最晚统计时间点。如若当前数据统计时间段对应的第一最晚统计时间点为08:12:00;当第二最晚统计时间点为08:05:00时,由于第二最晚统计时间点早于第一最晚统计时间点,因此,将第二最晚统计时间点08:05:00确定为最晚统计时间点。
步骤320:根据最早统计时间点和最晚统计时间点,对采集数据进行数据完整性筛选,获取完整性采集数据。
本发明实施例中,由于采集数据分为离散型数据和连续型数据,不同采集数据对应的完整性筛选方式不同,因此,可选的,当采集数据为离散型数据时,由于在一个生成时间点内,可能仅存在一个采集数据,当采集数据为连续型数据时,由于一个生成时间点内,存在多个采集数据,如对于话单数据,一个时间点上可能存在多条话单,因此,在对采集数据进行采集时,需要根据采集数据的类型,采用不同形式对采集数据进行完整性筛选。
数据统计服务器对采集数据进行数据完整性筛选,以获取完整性采集数据的过程,包括以下三种情况:
第一种情况:当最早统计时间点早于或者等于最晚统计时间点时,若采集数据为连续型数据,则当存在任意一采集数据对应的生成时间点晚于最晚统计时间点时,将采集数据中生成时间点位于最早统计时间点减去一个数据统计周期对应的时间点和最晚统计时间点之前的一个数据统计时间点之间的采集数据,确定为完整性采集数据;例如,当数据统计周期为5分钟,当前数据统计时间段对应的最晚统计时间点为08:05:00,在当前数据统计时间段内所有采集数据中最晚采集数据对应的生成时间点为08:07:00;此时,由于在采集数据中最晚采集数据对应的生成时间点为08:07:00,晚于最晚统计时间点08:05:00,因此,表明当前数据统计时间段对应的采集数据中,08:05:00之前的采集数据为完整性采集数据,而08:05:00之后的采集数据不是完整性采集数据。当最晚采集数据对应的生成时间点等于最晚统计时间点,获取当前数据统计周期时间段对应的最晚统计时间点之前的一个数据统计时间点,将采集数据中生成时间点位于最早统计时间点减去一个数据统计周期对应的时间点和最晚统计时间点之前的一个数据统计时间点之间的采集数据,确定为完整性采集数据。例如,当连续型数据中最晚生成时间点采集数据对应的生成时间为08:05:00,数据统计周期为5分钟时,最早统计时间点为08:00:00,最晚统计时间点为08:05:00,由于该连续型数据中最晚生成时间点采集数据对应的生成时间与最晚统计时间点相等,因此,确定时间点8:00:00之前的采集数据为完整性采集数据。特殊的,当采集数据为连续型数据,最晚采集数据对应的生成时间点等于最晚统计时间点,且最早统计时间点等于最晚统计时间点时,此时将无法获取完整性采集数据。
若该采集数据为离散型数据,则当存在任意一采集数据对应的生成时间点早于或等于最晚统计时间点时,将该采集数据中生成时间点位于最早统计时间点和最晚统计时间点之间的采集数据,确定为完整性采集数据。例如,当离散型数据中最晚采集数据对应的生成时间为08:05:00,数据统计周期为5分钟时,最早统计时间点为08:00:00,最晚统计时间点为08:05:00,由于该离散型数据中最晚生成时间点采集数据对应的生成时间与最晚统计时间点相等,因此,确定时间点8:05:00之前的数据为完整性采集数据。
进一步的,数据统计服务器在本地保存每一个数据统计时间段对应的最晚统计时间点。特殊的,当采集数据为连续型数据,且所有采集数据中最晚生成时间点对应的生成时间点等于最晚统计时间点,将最晚统计时间点之前的一个数据统计时间点作为当前统计时间段对应的最晚统计时间点进行保存。
第二种情况:当最早统计时间点晚于最晚统计时间点时,确定在当前数据统计时间段内的所有采集数据中不存在完整性采集数据。
采用上述技术方案,对采集数据进行完整性筛选,进而获取完整性采集数据,避免了在数据统计过程中出现的数据缺失问题;并且,由于最晚统计时间点和最早统计时间点根据采集数据对应的生成时间点获取,因此,根据最晚统计时间点和最早统计时间点对采集数据进行完整性筛选,使数据统计服务器能够根据采集数据对应的生成时间点动态调整延迟时间,无须人工设置延迟时间,避免了由于延时时间设置有误所造成的统计得到的采集数据不完整的问题,进一步保证了统计结果的准确性。
可选的,数据统计服务器除了对采集数据进行完整性筛选时,还可以按照预设规则,对采集数据进行筛选,例如,该预设规则为筛选指定地区的采集数据等。
步骤330:根据当前数据统计时间段中包含的数据统计时间点,从获取的完整性采集数据中依次输出每一个数据统计时间点对应的完整性采集数据。
本发明实施例中,基于上述对采集数据进行完整性筛选的结果,数据统计服务器根据当前数据统计时间段中包含的数据统计时间点,依次输出每一个数据统计时间点对应的完整性采集数据,包括以下三种情况:
第一种情况:当最早统计时间点早于最晚统计时间点时,若采集数据为离散型数据,则表明当前数据统计时间段中包含多个数据统计时间点,数据统计服务器获取当前数据统计时间段中包含的至少两个数据统计时间点,并根据各个完整性采集数据分别对应的生成时间点,获取每一个数据统计时间点对应的完整性采集数据进行输出;若采集数据为连续型数据,则表明当前数据统计时间段内包含一个或者多个数据统计时间点,数据统计获取当前数据统计时间段中包含所有数据统计时间点,并根据各个完整性采集数据分别对应的生成时间点,获取每一个数据统计时间点对应的完整性采集数据进行输出。例如,最早统计时间点为08:05:00,最晚统计时间点为08:15:00,数据统计周期为5分钟,则当前数据统计时间段中包含的数据统计时间点为08:05:00,08:10:00,以及08:15:00,此时,输出的统计结果即为数据统计时间点08:05:00对应的完整性采集数据(08:00,8:05],数据统计时间点08:10:00对应的完整性采集数据(08:05,8:10],以及数据统计时间点08:15对应的完整性采集数据(08:10,8:15]。
第二种情况:当最早统计时间点等于最晚统计时间点时,若采集数据为离散型数据,则数据统计服务器获取当前数据统计时间段中包含的一个数据统计时间点,并获取该数据统计时间点对应的完整性采集数据进行输出;若采集数据为连续型数据,则表明当前数据统计时间段中包含一个数据统计时间点或者不包含数据统计时间点,当当前数据统计时间段中包含一个数据统计时间点时,数据统计服务器获取当前数据统计时间段中包含的一个数据统计时间点,并获取该数据统计时间点对应的完整性采集数据进行输出,当当前数据统计时间段中不包含任何数据统计时间点时,数据统计服务器将不输出任何数据;例如,最早统计时间点为08:05:00,最晚统计时间点为08:05:00,统计周期为5分钟,则当前数据统计时间段中包含的数据统计时间点为08:05:00,此时,输出的统计结果为生成时间点为(08:00,08:05]的完整性采集数据。
第三种情况:当最早统计时间点晚于最晚统计时间点时,表明当前数据统计时间段内不包含任何完整性采集数据,此时,数据统计服务器在当前数据统计时间段不输出任何采集数据。可选的,数据统计服务器还可以进一步输出提示信息,提示当前数据统计时间段内不包含完整性采集数据;例如,最早统计时间点为08:05:00,最晚统计时间点为08:00:00,数据统计周期为5分钟,此时,数据统计服务器不输出任何统计结果。
可选的,上述数据统计时间点为对齐处理后的时间点。
采用上述技术方案,数据统计服务器能够自适应调整延迟时间,从而达到实时统计的效果;并且,数据统计服务器对当前数据统计时间段中的所有采集数据进行完整性筛选,将当前数据统计时间段内不完整以及多余的采集数据进行剔除,从而保证了统计结果的准确性。
基于上述技术方案,参阅图4所示,下面结合具体应用场景,以采集数据为话单数据为例,详细描述数据统计过程:
1、数据生成服务器在09:50输出话单数据;数据统计服务器在09:57获得该09:50的话单数据,由于09:50的数据完整(假定存在09:50后的数据),数据统计服务器在09:57输出09:50的话单数据。
2、数据生成服务器在09:55输出话单数据;数据统计服务器在10:02获取该09:55分的话单数据,由于09:55的数据完整,数据统计服务器在10:02输出09:55的话单数据。
3、由于数据生成服务器在09:58业务繁忙,提前2分钟输出了话单数据,下次话单输出在5分钟后,即在10:03分输出下一次的话单数据;数据统计服务器在10:07只能获取9:58的话单数据,并针对该数据进行完整性判断,由于10:00的话单数据不完整,因此数据统计系统在10:07分不输出统计数据。
4、数据生成系统在10:03输出了话单数据,并在10:07输出下一次话单数据(提前一分钟),由于话单处理系统恰好在10:07分开始处理生成的话单数据,因此,上述10:03的话单数据和10:07的话单数据均能被处理,数据统计服务器在10:12采集到上述话单数据;并对10:12获取的话单数据进行统计,得到当前数据统计时间段对应的最早统计时间点为10:00(上次未统计),最晚统计时间点为10:05,因此,数据统计服务器在当前数据统计时间段输出两个统计值,即话单数据生成时间为10:00和10:05的统计值。
本发明实施例中,数据统计服务器对应的延迟时间能够根据采集数据对应的生成时间点动态变化,如最大统计时延为12分钟(10:12输出10:00统计结果),最小统计时延为7分钟(数据统计系统中各个设备的时延之和),因此,采用上述技术方案,能够达到实时统计效果,且最大延迟时间和采集数据的延迟时间本身的抖动而成正比,如果采集数据的延迟时间抖动不超过一个数据统计周期,则最大时延相对实时统计的延迟时间也不超过一个周期。
基于上述技术方案,参阅图5所示,本发明实施例还提供一种数据统计装置,包括第一获取单元50,对齐单元51,第二获取单元52,第三获取单元53,以及输出单元54,其中:
第一获取单元50,用于获取当前数据统计时间段内的采集数据;
对齐单元51,用于根据预设的数据统计周期,对当前系统时间进行时间点对齐处理;
第二获取单元52,用于基于对齐单元51进行时间点对齐处理后的当前系统时间,获取当前数据统计时间段对应的最早统计时间点和最晚统计时间点;
第三获取单元53,用于根据第二获取单元52获取的所述最早统计时间点和所述最晚统计时间点,对所述采集数据进行数据完整性筛选,获取完整性采集数据;
输出单元54,用于根据所述当前数据统计时间段中包含的数据统计时间点,从第三获取单元53获取的完整性采集数据中依次输出每一个数据统计时间点对应的完整性采集数据。
可选的,所述对齐单元51,具体用于:获取当前系统时间;获取在所述当前系统时间之前,距离所述当前系统时间最近的对齐时间点;其中,所述对齐时间点为以预设时间点为起点,以所述数据统计周期为步长得到的各个时间点;将所述当前系统时间向前对齐至所述对齐时间点。
可选的,所述第二获取单元52,具体用于:当所述时间点对齐处理为首次时间点对齐处理时,获取所述采集数据中生成时间点最早的采集数据对应的生成时间点,并将所述生成时间点最早的采集数据对应的生成时间点向后对齐至距离所述生成时间点最近的对齐时间点,将所述对齐时间点向后延迟一个数据统计周期后的时间点,确定为最早统计时间点;或者,将预设统计时间点确定为最早统计时间点;当所述时间点对齐处理为非首次时间点对齐处理时,获取当前数据统计时间段之前的上一个数据统计时间段对应的最晚统计时间点,将所述最晚统计时间点向后推延所述数据统计周期得到推迟时间点,并将得到的推迟时间点确定为最早统计时间点。
可选的,所述第二获取单元52,具体用于:将所述当前数据统计时间段对应的对齐时间点确定为第一最晚统计时间点;将当前数据统计时间段中所有采集数据中生成时间点最晚的采集数据对应的生成时间点进行对齐处理,将对齐处理后的所述生成时间点确定为第二最晚统计时间点;将所述第一最晚统计时间点和所述第二最晚统计时间点中,较小的时间点确定为采集数据对应的最晚统计时间点。
可选的,所述第三获取单元53,具体用于:当所述最早统计时间点早于或者等于所述最晚统计时间点时,若存在任意一采集数据对应的生成时间点晚于所述最晚统计时间点,则将所述采集数据中生成时间点位于所述最早统计时间点减去一个数据统计周期后对应的时间点和所述最晚统计时间点之间的采集数据,确定为完整性采集数据;若当前统计时间段内所有采集数据中最晚生成时间点等于所述最晚统计时间点,则当存在任意一采集数据对应的生成时间点等于所述最晚统计时间点时,若所述采集数据为离散型数据,则将所述采集数据中生成时间点位于所述最早统计时间点减去一个数据统计周期后对应的时间点和所述最晚统计时间点之间的采集数据,确定为完整性采集数据;若所述采集数据为连续型数据,则获取所述当前数据统计周期时间段对应的最晚统计时间点之前的一个数据统计时间点,将所述采集数据中生成时间点位于所述最早统计时间点减去一个数据统计周期对应的时间点和所述最晚统计时间点之前的一个数据统计时间点之间的采集数据,确定为完整性采集数据;当所述最早统计时间点晚于所述最晚统计时间点时,确定在当前数据统计时间段内不存在完整性采集数据。
基于上述技术方案,参阅图6所示,本发明实施例还提供另外一种数据统计装置,该数据统计装置包括统计任务调度单元60,数据采集单元61,数据提取单元62,时间点对齐单元63,数据筛选单元64,数据转换单元65,以及数据统计单元66,其中:
统计任务调度单元60,用于按照数据统计周期通知数据采集单元61进行数据采集;
数据采集单元61,用于基于统计任务调度单元60的指令,进行数据采集;
数据提取单元62,用于从数据采集单元61中提取采集数据;
时间点对齐单元63,用于对各类需要进行对齐处理的时间点进行对齐处理;
数据筛选单元64,用于根据时间点对齐单元63得到的对齐后的时间点,进行数据筛选,以获取完整性采集数据;
数据转换单元65,用于对数据筛选单元64得到的完整性采集数据进行格式转换,以生成数据统计单元66能够统计的数据格式;
数据统计单元66,用于对数据转换单元65得到的数据进行统计,并输出。
参阅图7所示,为图6所示数据统计装置中各个单元之间的信令交互示意图。
基于上述技术方案,参阅图8所示,本发明实施例还提供一种数据统计设备,该数据统计设备包括收发器80,存储器81,以及处理器82,其中:
收发器80,用于接收当前数据统计时间段内的采集数据;
存储器81,用于存储应用程序;
处理器82,用于运行存储器81中包含的应用程序,执行如下操作:
根据预设的数据统计周期,对当前系统时间进行时间点对齐处理;并基于时间点对齐处理后的当前系统时间,获取当前数据统计时间段对应的最早统计时间点和最晚统计时间点;根据所述最早统计时间点和所述最晚统计时间点,对所述采集数据进行数据完整性筛选,获取完整性采集数据;根据所述当前数据统计时间段中包含的数据统计时间点,从获取的完整性采集数据中依次输出每一个数据统计时间点对应的完整性采集数据。
可选的,处理器82,还用于:获取当前系统时间;获取在所述当前系统时间之前,距离所述当前系统时间最近的对齐时间点;其中,所述对齐时间点为以预设时间点为起点,以所述数据统计周期为步长得到的各个时间点;将所述当前系统时间向前对齐至所述对齐时间点。
可选的,处理器82,还用于:当所述时间点对齐处理为首次时间点对齐处理时,获取所述采集数据中生成时间点最早的采集数据对应的生成时间点,并将所述生成时间点最早的采集数据对应的生成时间点向后对齐至距离所述生成时间点最近的对齐时间点,将所述对齐时间点向后延迟一个数据统计周期后的时间点,确定为最早统计时间点;或者,将预设统计时间点确定为最早统计时间点;当所述时间点对齐处理为非首次时间点对齐处理时,获取当前数据统计时间段之前的上一个数据统计时间段对应的最晚统计时间点,将所述最晚统计时间点向后推延所述数据统计周期得到推迟时间点,并将得到的推迟时间点确定为最早统计时间点。
可选的,处理器82,还用于:将所述当前数据统计时间段对应的对齐时间点确定为第一最晚统计时间点;将当前数据统计时间段中所有采集数据中生成时间点最晚的采集数据对应的生成时间点进行对齐处理,将对齐处理后的所述生成时间点确定为第二最晚统计时间点;将所述第一最晚统计时间点和所述第二最晚统计时间点中,较小的时间点确定为采集数据对应的最晚统计时间点。
可选的,处理器82,还用于:当所述最早统计时间点早于或者等于所述最晚统计时间点时,若存在任意一采集数据对应的生成时间点晚于所述最晚统计时间点,则将所述采集数据中生成时间点位于所述最早统计时间点减去一个数据统计周期后对应的时间点和所述最晚统计时间点之间的采集数据,确定为完整性采集数据;若当前统计时间段内所有采集数据中最晚生成时间点等于所述最晚统计时间点,则当存在任意一采集数据对应的生成时间点等于所述最晚统计时间点时,若所述采集数据为离散型数据,则将所述采集数据中生成时间点位于所述最早统计时间点减去一个数据统计周期后对应的时间点和所述最晚统计时间点之间的采集数据,确定为完整性采集数据;若所述采集数据为连续型数据,则获取所述当前数据统计周期时间段对应的最晚统计时间点之前的一个数据统计时间点,将所述采集数据中生成时间点位于所述最早统计时间点减去一个数据统计周期对应的时间点和所述最晚统计时间点之前的一个数据统计时间点之间的采集数据,确定为完整性采集数据;当所述最早统计时间点晚于所述最晚统计时间点时,确定在当前数据统计时间段内不存在完整性采集数据。
综上所述,获取当前数据统计时间段内的采集数据;根据数据统计周期,对当前系统时间进行时间点对齐处理,并基于时间点对齐处理后的当前系统时间,获取当前数据统计时间段对应的最早统计时间点和最晚统计时间点;根据最早统计时间点和最晚统计时间点,对采集数据进行数据完整性筛选,获取完整性采集数据;根据当前数据统计时间段中包含的数据统计时间点,从获取的完整性采集数据中依次输出每一个数据统计时间点对应的完整性采集数据。采用本发明技术方案,无须预设延迟时间,业务系统仅对获取到的采集数据进行数据完整性筛选,即可获取当前数据统计时间段内具备数据完整性的统计结果,从而保证了统计结果的准确性。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样,倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种数据统计方法,其特征在于,包括:
获取当前数据统计时间段内的采集数据;并
根据预设的数据统计周期,对当前系统时间进行时间点对齐处理;并
基于时间点对齐处理后的当前系统时间,获取当前数据统计时间段对应的最早统计时间点和最晚统计时间点;
根据所述最早统计时间点和所述最晚统计时间点,对所述采集数据进行数据完整性筛选,获取完整性采集数据;具体的,当所述最早统计时间点早于或者等于所述最晚统计时间点时,若存在任意一采集数据对应的生成时间点晚于所述最晚统计时间点,则将所述采集数据中生成时间点位于所述最早统计时间点减去一个数据统计周期后对应的时间点和所述最晚统计时间点之间的采集数据,确定为完整性采集数据;
根据所述当前数据统计时间段中包含的数据统计时间点,从获取的完整性采集数据中依次输出每一个数据统计时间点对应的完整性采集数据。
2.如权利要求1所述的方法,其特征在于,根据数据统计周期,对当前系统时间进行时间点对齐处理,具体包括:
获取当前系统时间;
获取在所述当前系统时间之前,距离所述当前系统时间最近的对齐时间点;其中,所述对齐时间点为以预设时间点为起点,以所述数据统计周期为步长得到的各个时间点;
将所述当前系统时间向前对齐至所述对齐时间点。
3.如权利要求1或2所述的方法,其特征在于,获取当前数据统计时间段对应的最早统计时间点,具体包括:
当所述时间点对齐处理为首次时间点对齐处理时,获取所述采集数据中生成时间点最早的采集数据对应的生成时间点,并将所述生成时间点最早的采集数据对应的生成时间点向后对齐至距离所述生成时间点最近的对齐时间点,将所述对齐时间点向后延迟一个数据统计周期后的时间点,确定为最早统计时间点;或者,将预设统计时间点确定为最早统计时间点;
当所述时间点对齐处理为非首次时间点对齐处理时,获取当前数据统计时间段之前的上一个数据统计时间段对应的最晚统计时间点,将所述最晚统计时间点向后推延所述数据统计周期得到推迟时间点,并将得到的推迟时间点确定为最早统计时间点。
4.如权利要求1或2所述的方法,其特征在于,获取当前数据统计时间段对应的最晚统计时间点,具体包括:
将所述当前数据统计时间段对应的对齐时间点确定为第一最晚统计时间点;
将当前数据统计时间段中所有采集数据中生成时间点最晚的采集数据对应的生成时间点进行对齐处理,将对齐处理后的所述生成时间点确定为第二最晚统计时间点;
将所述第一最晚统计时间点和所述第二最晚统计时间点中,较小的时间点确定为采集数据对应的最晚统计时间点。
5.如权利要求1-2任一项所述的方法,其特征在于,所述获取完整性采集数据还包括:
若当前统计时间段内所有采集数据中最晚生成时间点等于所述最晚统计时间点,则当存在任意一采集数据对应的生成时间点等于所述最晚统计时间点时,若所述采集数据为离散型数据,则将所述采集数据中生成时间点位于所述最早统计时间点减去一个数据统计周期后对应的时间点和所述最晚统计时间点之间的采集数据,确定为完整性采集数据;若所述采集数据为连续型数据,则获取所述当前数据统计周期时间段对应的最晚统计时间点之前的一个数据统计时间点,将所述采集数据中生成时间点位于所述最早统计时间点减去一个数据统计周期对应的时间点和所述最晚统计时间点之前的一个数据统计时间点之间的采集数据,确定为完整性采集数据;
当所述最早统计时间点晚于所述最晚统计时间点时,确定在当前数据统计时间段内不存在完整性采集数据。
6.一种数据统计装置,其特征在于,包括:
第一获取单元,用于获取当前数据统计时间段内的采集数据;
对齐单元,用于根据预设的数据统计周期,对当前系统时间进行时间点对齐处理;
第二获取单元,用于基于对齐单元进行时间点对齐处理后的当前系统时间,获取当前数据统计时间段对应的最早统计时间点和最晚统计时间点;
第三获取单元,用于根据第二获取单元获取的所述最早统计时间点和所述最晚统计时间点,对所述采集数据进行数据完整性筛选,获取完整性采集数据;当所述最早统计时间点早于或者等于所述最晚统计时间点时,若存在任意一采集数据对应的生成时间点晚于所述最晚统计时间点,则将所述采集数据中生成时间点位于所述最早统计时间点减去一个数据统计周期后对应的时间点和所述最晚统计时间点之间的采集数据,确定为完整性采集数据;
输出单元,用于根据所述当前数据统计时间段中包含的数据统计时间点,从第三获取单元获取的完整性采集数据中依次输出每一个数据统计时间点对应的完整性采集数据。
7.如权利要求6所述的装置,其特征在于,所述对齐单元,具体用于:
获取当前系统时间;获取在所述当前系统时间之前,距离所述当前系统时间最近的对齐时间点;其中,所述对齐时间点为以预设时间点为起点,以所述数据统计周期为步长得到的各个时间点;将所述当前系统时间向前对齐至所述对齐时间点。
8.如权利要求6或7所述的装置,其特征在于,所述第二获取单元,具体用于:
当所述时间点对齐处理为首次时间点对齐处理时,获取所述采集数据中生成时间点最早的采集数据对应的生成时间点,并将所述生成时间点最早的采集数据对应的生成时间点向后对齐至距离所述生成时间点最近的对齐时间点,将所述对齐时间点向后延迟一个数据统计周期后的时间点,确定为最早统计时间点;或者,将预设统计时间点确定为最早统计时间点;当所述时间点对齐处理为非首次时间点对齐处理时,获取当前数据统计时间段之前的上一个数据统计时间段对应的最晚统计时间点,将所述最晚统计时间点向后推延所述数据统计周期得到推迟时间点,并将得到的推迟时间点确定为最早统计时间点。
9.如权利要求6或7所述的装置,其特征在于,所述第二获取单元,具体用于:
将所述当前数据统计时间段对应的对齐时间点确定为第一最晚统计时间点;将当前数据统计时间段中所有采集数据中生成时间点最晚的采集数据对应的生成时间点进行对齐处理,将对齐处理后的所述生成时间点确定为第二最晚统计时间点;将所述第一最晚统计时间点和所述第二最晚统计时间点中,较小的时间点确定为采集数据对应的最晚统计时间点。
10.如权利要求6-7任一项所述的装置,其特征在于,所述第三获取单元还用于:
若当前统计时间段内所有采集数据中最晚生成时间点等于所述最晚统计时间点,则当存在任意一采集数据对应的生成时间点等于所述最晚统计时间点时,若所述采集数据为离散型数据,则将所述采集数据中生成时间点位于所述最早统计时间点减去一个数据统计周期后对应的时间点和所述最晚统计时间点之间的采集数据,确定为完整性采集数据;若所述采集数据为连续型数据,则获取所述当前数据统计周期时间段对应的最晚统计时间点之前的一个数据统计时间点,将所述采集数据中生成时间点位于所述最早统计时间点减去一个数据统计周期对应的时间点和所述最晚统计时间点之前的一个数据统计时间点之间的采集数据,确定为完整性采集数据;当所述最早统计时间点晚于所述最晚统计时间点时,确定在当前数据统计时间段内不存在完整性采集数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410855001.4A CN104598551B (zh) | 2014-12-31 | 2014-12-31 | 一种数据统计方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410855001.4A CN104598551B (zh) | 2014-12-31 | 2014-12-31 | 一种数据统计方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104598551A CN104598551A (zh) | 2015-05-06 |
CN104598551B true CN104598551B (zh) | 2018-06-05 |
Family
ID=53124336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410855001.4A Active CN104598551B (zh) | 2014-12-31 | 2014-12-31 | 一种数据统计方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104598551B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105991965A (zh) * | 2015-01-27 | 2016-10-05 | 上海天跃科技股份有限公司 | 安防监控系统中的录像数据完整性检查方法 |
CN106649059B (zh) * | 2015-10-30 | 2019-08-09 | 北京国双科技有限公司 | 数据统计方法及装置 |
CN106202280B (zh) * | 2016-06-29 | 2020-06-23 | 联想(北京)有限公司 | 一种信息处理方法及服务器 |
CN107733805B (zh) * | 2016-08-12 | 2021-04-16 | 腾讯科技(深圳)有限公司 | 业务负载调度方法和装置 |
CN106951360B (zh) * | 2017-03-27 | 2020-08-04 | 网宿科技股份有限公司 | 数据统计完整度计算方法和系统 |
CN107704373B (zh) * | 2017-10-31 | 2021-08-27 | 北京奇艺世纪科技有限公司 | 一种数据处理方法及装置 |
CN110136452A (zh) * | 2018-02-08 | 2019-08-16 | 杭州海康威视数字技术股份有限公司 | 一种车辆统计方法及装置 |
CN108805778B (zh) * | 2018-04-28 | 2023-11-24 | 平安科技(深圳)有限公司 | 电子装置、采集征信数据的方法及存储介质 |
CN110737389B (zh) * | 2018-07-19 | 2023-05-16 | 杭州海康威视系统技术有限公司 | 存储数据的方法和装置 |
CN112765223B (zh) * | 2021-01-26 | 2023-07-14 | 红云红河烟草(集团)有限责任公司 | 一种基于队列的设备参数数据对齐方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1304249A (zh) * | 2000-03-11 | 2001-07-18 | 深圳市中兴通讯股份有限公司 | 话务采集及话务量计算的实现方法 |
CN101459544A (zh) * | 2009-01-05 | 2009-06-17 | 中兴智能交通系统(北京)有限公司 | 一种采集性能数据的方法及系统 |
US7725339B1 (en) * | 2003-07-07 | 2010-05-25 | Ac2 Solutions, Inc. | Contact center scheduling using integer programming |
CN102612058A (zh) * | 2012-02-22 | 2012-07-25 | 大唐移动通信设备有限公司 | 一种性能指标统计结果确定方法及装置 |
CN103095492A (zh) * | 2012-12-28 | 2013-05-08 | 中兴通讯股份有限公司 | 一种数据采集方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2863175A1 (fr) * | 2003-12-03 | 2005-06-10 | Ela Medical Sa | Dispositif medicale implantable actif a fonctions d'enregistrement holter |
-
2014
- 2014-12-31 CN CN201410855001.4A patent/CN104598551B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1304249A (zh) * | 2000-03-11 | 2001-07-18 | 深圳市中兴通讯股份有限公司 | 话务采集及话务量计算的实现方法 |
US7725339B1 (en) * | 2003-07-07 | 2010-05-25 | Ac2 Solutions, Inc. | Contact center scheduling using integer programming |
CN101459544A (zh) * | 2009-01-05 | 2009-06-17 | 中兴智能交通系统(北京)有限公司 | 一种采集性能数据的方法及系统 |
CN102612058A (zh) * | 2012-02-22 | 2012-07-25 | 大唐移动通信设备有限公司 | 一种性能指标统计结果确定方法及装置 |
CN103095492A (zh) * | 2012-12-28 | 2013-05-08 | 中兴通讯股份有限公司 | 一种数据采集方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN104598551A (zh) | 2015-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104598551B (zh) | 一种数据统计方法及装置 | |
CN104580284B (zh) | 业务分配装置和业务分配方法 | |
CN110347708A (zh) | 一种数据处理方法以及相关设备 | |
CN106874087A (zh) | 一种区块链智能合约定时任务调度方法 | |
CN108572907A (zh) | 一种告警方法、装置、电子设备及计算机可读存储介质 | |
CN106557497A (zh) | 一种数据同步方法和装置 | |
CN108228363A (zh) | 一种消息发送方法及装置 | |
CN109460962A (zh) | 基于全在线设计平台的设计任务众包管理系统及方法 | |
CN106020777A (zh) | 一种数据处理方法、装置及系统 | |
CN107360117A (zh) | 数据处理的方法、装置及系统 | |
CN109905412A (zh) | 一种网络数据并行加解密处理方法、装置和介质 | |
CN101931986B (zh) | 网络能效指示方法、指示器及系统 | |
CN104883705B (zh) | 一种数据业务投诉的问题定位方法及装置 | |
CN107924345A (zh) | 用于度量的聚合测量结果的数据存储区 | |
CN114401158A (zh) | 流量计费方法、装置、电子设备及存储介质 | |
CN114757639A (zh) | 数据处理方法、装置、设备和存储介质 | |
CN107423122A (zh) | 一种复杂运维作业编排与调度系统及其方法 | |
CN106951360A (zh) | 数据统计完整度计算方法和系统 | |
CN103384205B (zh) | 一种海量告警数据并行采集系统、装置及方法 | |
CN107181601B (zh) | 一种流量提醒方法及装置 | |
CN103034953A (zh) | 统一积分装置、系统及方法 | |
CN104462166A (zh) | 一种报表生成方法和系统 | |
CN102612058B (zh) | 一种性能指标统计结果确定方法及装置 | |
CN106712880A (zh) | 一种通讯管理系统 | |
CN105656706B (zh) | 业务数据的处理方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20200205 Address after: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen Patentee after: HUAWEI TECHNOLOGIES Co.,Ltd. Address before: 210012 HUAWEI Nanjing base, 101 software Avenue, Yuhuatai District, Jiangsu, Nanjing Patentee before: Huawei Technologies Co.,Ltd. |
|
TR01 | Transfer of patent right |