CN110995524B - 流量数据监控方法、装置、电子设备和计算机可读介质 - Google Patents
流量数据监控方法、装置、电子设备和计算机可读介质 Download PDFInfo
- Publication number
- CN110995524B CN110995524B CN201911032908.XA CN201911032908A CN110995524B CN 110995524 B CN110995524 B CN 110995524B CN 201911032908 A CN201911032908 A CN 201911032908A CN 110995524 B CN110995524 B CN 110995524B
- Authority
- CN
- China
- Prior art keywords
- flow data
- current
- link
- flow
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Alarm Systems (AREA)
Abstract
本申请实施例公开了流量数据监控方法、装置、电子设备和计算机可读介质。该方法的实施例包括:基于当前时段的类别,确定当前时段对应的基准时段;获取所当前时段的当前流量数据和基准时段的历史流量数据;基于历史流量数据,确定当前流量数据是否异常;若异常,则对影响流量数据的各环节中的因素进行检测,确定造成当前流量数据异常的目标因素。该实施方式提高了流量数据的监控结果及异常情况下的归因结果的准确性。
Description
技术领域
本申请实施例涉及计算机技术领域,具体涉及流量数据监控方法、装置、电子设备和计算机可读介质。
背景技术
流量数据在经历生产上报、解析存储以及调用等过程中,易出现异常问题,由此导致流量数据结果不准确,甚至导致指标波动异常,用户分析结论无法得到准确的数据支持。
现有的方式,通常是通过人工设定波动阈值范围的方式判断当前流量数据是否符合要求,在判定当前流量数据异常时,通过人工分析造成异常数据的因素,得出归因结论。然而,这种人工监控及分析流量数据的方式需要依赖人工经验,存在着流量数据的监控结果及异常情况下的归因结果不够准确的问题。
发明内容
本申请实施例提出了流量数据监控方法、装置、电子设备和计算机可读介质,以解决现有技术中流量数据的监控结果及异常情况下的归因结果不够准确的技术问题。
第一方面,本申请实施例提供了一种流量数据监控方法,该方法包括:基于当前时段的类别,确定当前时段对应的基准时段;获取所当前时段的当前流量数据和基准时段的历史流量数据;基于历史流量数据,确定当前流量数据是否异常;若异常,则对影响流量数据的各环节中的因素进行检测,确定造成当前流量数据异常的目标因素。
第二方面,本申请实施例提供了一种流量数据监控装置,该装置包括:第一确定单元,被配置成基于当前时段的类别,确定当前时段对应的基准时段;获取单元,被配置成获取所当前时段的当前流量数据和基准时段的历史流量数据;第二确定单元,被配置成基于历史流量数据,确定当前流量数据是否异常;第三确定单元,被配置成若异常,则对影响流量数据的各环节中的因素进行检测,确定造成当前流量数据异常的目标因素。
第三方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上述流量数据监控方法。
第四方面,本申请实施例提供了一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如上述流量数据监控方法。
本申请实施例提供的流量数据监控方法、装置、电子设备和计算机可读介质,首先基于当前时段的类别,确定当前时段对应的基准时段,而后获取所当前时段的当前流量数据和基准时段的历史流量数据,之后基于历史流量数据,确定当前流量数据是否异常,从而在当前流量数据异常的情况下,对影响流量数据的各环节中的因素进行检测,确定造成当前流量数据异常的目标因素。一方面,由于不同类型的时段下的流量大小通常不同,而在判断当前流量数据是否异常时使用与当前时段对应的基准数据,能够针对不同类别的时段进行流量数据是否异常的判断,相较于人工设定固定的阈值范围的方式,提高了流量数据的监控结果准确性。另一方面,通过对影响流量数据的各环节中的因素进行检测,针对各环节确定造成当前流量数据异常的目标因素,相较于现有技术中人工依据经验进行归因的方式,可提高归因结果的准确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是根据本申请的流量数据监控方法的一个实施例的流程图;
图2是根据本申请的流量数据监控方法的又一个实施例的流程图;
图3是根据本申请的流量数据监控装置的一个实施例的结构示意图;
图4是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请参考图1,其示出了根据本申请的流量数据监控方法的一个实施例的流程100。该流量数据监控方法,包括以下步骤:
步骤101,基于当前时段的类别,确定当前时段对应的基准时段。
在本实施例中,流量数据监控方法的执行主体(如服务器等电子设备)可以基于将当前时段(如当前日、周、月)的类别,确定当前时段对应的基准时段。其中,基准时段中的流量数据可以作为当前时段的流量数据的比较基准。
实践中,时段的类别可以包括但不限于:工作日、休息日,或者常规日、特殊日等。需要说明的是,本申请实施例对时段的类别划分方式不作限定。
在本实施例的一些可选的实现方式中,时段的类别可以包括但不限于常规日、特殊日等。其中,特殊日可以包括但不限于节假日、活动日。其中,节假日可以是五一劳动节假期、国庆节假期、春节假期等。活动日可以是双十一、双十二及平台(如电商平台、团购平台、订餐平台等)举办活动的日期。此时,上述执行主体可以通过如下步骤确定当前时段对应的基准时段:
首先,确定当前时段的类别。例如,若当前时段为2019年10月2日(处于国庆节假期),则可以确定当前时段为特殊日。若当前时段为2019年9月27日,则可以确定当前时段为普通日。
之后,若确定出当前时段的类别为常规日,则可以将预设的基期(如上一年)中的常规日作为上述当前时段对应的基准时段。
在一种实现方式中,可以将基期的同一常规日作为当前时段对应的基准时段。例如,若当前时段为2019年9月27日,若2018年9月27日也同为常规日,则可以将2018年9月27日作为基准时段。
在另一种实现方式中,可以将基期中于当前月相同月份的常规日作为基准时段。例如,若当前时段为2019年9月27日,则可以将2018年9月份的常规日均作为基准时段。此时,在进行基准时段的流量数据获取时,可以确定该基准时段的日平均流量数据。
需要说明的是,若确定出当前时段的类别为特殊日,则可以将上述基期中与上述当前时段对应的特殊日作为上述当前时段对应的基准时段。作为示例,若当前时段为2019年10月2日(处于国庆节假期第二天),则可以将2018年10月2日(同处于国庆节假期第二天)作为基准时段。作为又一示例,若当前时段为中秋节,则可以将2018年的重阳节所在日作为基准时段。
步骤102,获取所当前时段的当前流量数据和基准时段的历史流量数据。
在本实施例中,上述执行主体可以获取当前时段内所监控到的流量数据,并获取预先存储的基准时段内的流量数据。而后,将当前时段内的流量数据作为当前流量数据,同时,将基准时段的流量数据作为历史流量数据。实践中,当前流量数据即为待检测是否异常的流量数据。
需要说明的是,流量数据可以包括对客户端流量统计分析后的流量指标。例如,可以包括但不限于以下任一项:访问量、访问次数、访问质量(如平均访问时长)、转化率等。
步骤103,基于历史流量数据,确定当前流量数据是否异常。
在本实施例中,由于基准时段是与当前时段的类型相对应的时段,因而,可以将基准时段内的历史流量数据可以作为基准,基于当前流量数据,确定当前流量数据是否异常。若当前流量数据与历史流量数据的差异在预设范围内,则可以确定当前流量数据正常。若当前流量数据与历史流量数据的差异在该预设范围之外,则可以确定当前流量数据异常。
以流量指标为访问量为例,可以设定访问量的偏差范围(如5%)。若当前流量数据中的访问量(可称为当前访问量)与上述历史流量数据中的访问量(可称为历史访问量)的偏差在该偏差范围内(如当前访问量为历史访问量的103%),则可以确定当前访问量正常。若当前访问量与历史访问量的偏差在该偏差范围以外(如当前访问量为历史访问量的93%),则可以确定当前访问量异常。
需要说明的是,当流量指标为访问次数、访问质量、转化率等其他指标时,对当前流量数据异常判定方式可参照以访问量为流量指标时的判定方式,此处不再赘述。
需要指出的是,当流量数据包含多个指标时,上述执行主体可以结合各项指标的异常判定结果,确定当前流量数据是否异常。例如,若各项指标均正常,则可以确定当前流量数据正常;反之,可以确定当前数据流量异常。或者,若异常指标项数少于预设数量,则可以确定当前流量数据正常;反之,可以确定当前数据流量异常。
此外,本申请实施例不限于通过采用设定偏差范围的方式确定当前流量数据是否异常,还可以采用或结合其他方式判定。例如,可以结合流量数据的P-控制图(p chart,不合格品率控制图)、X-MR(单值移动极差)控制图等方式进行判断,此处不作限定。
在本实施例的一些可选的实现方式中,上述执行主体可以通过如下步骤确定当前流量数据是否异常:
第一步,对上述历史流量数据进行统计,确定流量阈值上限和流量阈值下限。
具体地,可以将基准时段内的历史流量数据可以作为基准,首先获取预设的偏差范围。而后,将该偏差范围内的最大值作为流量阈值上限,将该偏差范围内的最小值作为流量阈值下限。
以流量指标为访问量为例,若访问量的偏差范围为5%,则可以将历史访问量的105%作为访问量阈值上限,将历史访问量的95%作为访问量阈值下限。
第二步,基于上述流量阈值上限和流量阈值下限,设置流量波动区间。
需要说明的是,此处的流量波动区间即为不大于上述流量阈值上限且不小于上述流量阈值下限的数值所构成的数值区间。继续上述示例,若历史访问量为1000,则流量波动区间可以是[950,1050]。
第三步,若当前流量处于上述流量波动区间,则确定上述当前流量数据正常;若当前流量未处于上述流量波动区间,则确定上述当前流量数据异常。
步骤104,若异常,则对影响流量数据的各环节中的因素进行检测,确定造成当前流量数据异常的目标因素。
在本实施例中,上述执行主体在确定当前流量数据异常后,可以对影响流量数据的各环节中的因素进行检测,确定造成当前流量数据异常的目标因素。
实践中,在用户使用客户端的过程中,存在多个导致数据流量异常的环节。作为示例,在客户端的功能部署环节中,客户端部署的某功能(如新版本客户端新增的功能)可能会对流量数据产生影响。如某个功能给客户造成使用不便时,则可能会导致用户减少对该客户端的使用,从而导致当前流量数据与历史流量数据差异较大。作为又一示例,在产生流量数据之后,在对流量数据的收集环节、统计环节等,可能存在数据收集遗漏、统计遗漏等因素,导致当前流量数据与历史流量数据差异较大。
由此,上述执行主体可以对影响流量数据的各环节中的因素(如客户端中的功能、数据收集结果、数据结果)进行检测。若某因素造成当前流量数据异常,则可以将该因素确定为目标因素。
在本实施例的一些可选的实现方式中,影响流量数据的环节可以包括但产品功能使用环节和至少一个流量数据处理环节。其中,上述产品功能使用环节中影响流量数据的因素包括产品功能配置信息。此处,产品功能配置信息可以用于表征客户端的产品功能配置情况。此时,上述执行主体可以对该环节中的产品功能配置情况和各流量数据处理环节中的因素进行检测,确定造成上述当前流量数据异常的目标因素。具体可通过如下步骤执行:
第一步,基于上述产品功能配置信息,确定上述产品功能使用环节中造成上述当前流量数据异常的目标产品功能。
例如,对于某一个产品功能,若部署有该产品功能的客户端的平均流量(如平均访问量)与未部署有该产品功能的客户端的平均流量相近,则可以确定该产品功能未造成当前流量数据异常。反之,若该产品功能的客户端的平均流量与未部署有该产品功能的客户端的平均流量具有较大差异,则可以确定该产品功能造成当前流量数据异常。
第二步,检测各流量数据处理环节中造成上述当前流量数据异常的因素。
第三步,将上述目标产品功能和所检测出的因素确定为造成上述当前流量数据异常的目标因素。
在本实施例的一些可选的实现方式中,上述流量数据处理环节可以包括但不限于流量数据上报环节、流量数据解析存储环节、流量数据调用环节。此处,上述流量数据上报环节中影响流量数据的因素包括流量数据的上报率。上述流量数据解析存储环节中影响流量数据的因素包括流量数据的解析率和存储率。上述流量数据调用环节中影响流量数据的因素包括实际调用的流量数据与理论调用的流量数据的差值率。
本申请的上述实施例提供的方法,首先基于当前时段的类别,确定当前时段对应的基准时段,而后获取所当前时段的当前流量数据和基准时段的历史流量数据,之后基于历史流量数据,确定当前流量数据是否异常,从而在当前流量数据异常的情况下,对影响流量数据的各环节中的因素进行检测,确定造成当前流量数据异常的目标因素。一方面,由于不同类型的时段下的流量大小通常不同,而在判断当前流量数据是否异常时使用与当前时段对应的基准数据,能够针对不同类别的时段进行流量数据是否异常的判断,相较于人工设定固定的阈值范围的方式,提高了流量数据的监控结果准确性。另一方面,通过对影响流量数据的各环节中的因素进行检测,确定造成当前流量数据异常的目标因素,相较于现有技术中人工依据经验进行归因的方式,可提高归因结果的准确性。
进一步参考图2,其示出了流量数据监控方法的又一个实施例的流程200。该流量数据监控方法的流程200,包括以下步骤:
步骤201,确定当前时段的类别。
在本实施例中,流量数据监控方法的执行主体(如服务器等电子设备)可以确定当前时段的类别。
实践中,时段的类别可以包括但不限于常规日、特殊日等。其中,特殊日可以包括但不限于节假日、活动日。其中,节假日可以是五一劳动节假期、国庆节假期、春节假期等。活动日可以是双十一、双十二及平台(如电商平台、团购平台、订餐平台等)举办活动的日期。
步骤202,若当前时段的类别为常规日,则将预设的基期中的常规日作为当前时段对应的基准时段。
在本实施例中,若确定出当前时段的类别为常规日,则可以将预设的基期(如上一年)中的常规日作为上述当前时段对应的基准时段。
作为示例,可以将基期的同一常规日作为当前时段对应的基准时段。例如,若当前时段为2019年9月27日,若2018年9月27日也同为常规日,则可以将2018年9月27日作为基准时段。
作为又一示例,可以将基期中于当前月相同月份的常规日作为基准时段。例如,若当前时段为2019年9月27日,则可以将2018年9月份的常规日均作为基准时段。此时,在进行基准时段的流量数据获取时,可以确定该基准时段的日平均流量数据。
步骤203,若当前时段的类别为特殊日,则将基期中与当前时段对应的特殊日作为当前时段对应的基准时段。
在本实施例中,若确定出当前时段的类别为特殊日,则可以将上述基期中与上述当前时段对应的特殊日作为上述当前时段对应的基准时段。作为示例,若当前时段为2019年10月2日(处于国庆节假期第二天),则可以将2018年10月2日(同处于国庆节假期第二天)作为基准时段。作为又一示例,若当前时段为中秋节,则可以将2018年的重阳节所在日作为基准时段。
步骤204,获取所当前时段的当前流量数据和基准时段的历史流量数据。
本实施例中的步骤204可参见图1实施例中的步骤101,此处不再赘述。
步骤205,基于历史流量数据,确定当前流量数据是否异常。
本实施例中的步骤205可参见图1实施例中的步骤103,此处不再赘述。
需要说明的是,若确定当前流量数据异常,可执行如下步骤206-步骤208的操作。
步骤206,若异常,基于产品功能配置信息,确定产品功能使用环节中造成当前流量数据异常的目标产品功能。
在本实施例中,影响流量数据的环节可以包括产品功能使用环节和至少一个流量数据处理环节。影响流量数据的环节可以包括但产品功能使用环节和至少一个流量数据处理环节。其中,上述产品功能使用环节中影响流量数据的因素包括产品功能配置信息。
由此,若确定当前流量数据异常,上述执行主体可以首先基于上述产品功能配置信息,确定上述产品功能使用环节中造成上述当前流量数据异常的目标产品功能。例如,对于某一个产品功能,若部署有该产品功能的客户端的平均流量(如平均访问量)与未部署有该产品功能的客户端的平均流量相近,则可以确定该产品功能未造成当前流量数据异常。反之,若该产品功能的客户端的平均流量与未部署有该产品功能的客户端的平均流量具有较大差异,则可以确定该产品功能造成当前流量数据异常。
在本实施例的一些可选的实现方式中,可以预先在部分客户端中部署埋点工具。上述埋点工具可以用于采集流量数据。上述部分客户端可以是预先选取的目标用户所使用的客户端。例如,目标用户可以是定位地点位于某城市(如北京)且年龄处于20-30岁的女性。此时,上述执行主体可以按照如下步骤确定目标产品功能:
首先,将目标用户所使用的客户端作为目标客户端。
而后,从配置有待检测产品功能的目标客户端中,获取上述埋点工具采集的流量数据,并作为第一流量数据。此外,从未配置有上述待检测产品功能的目标客户端中,获取上述埋点工具采集的流量数据,作为第二流量数据。
之后,基于上述第一流量数据和上述第二流量数据的比较,确定上述待检测产品功能是否造成上述当前流量数据异常。例如,若两者相近,则可判定待检测产品功能未造成当前流量数据异常;反之,可判定待检测产品功能造成当前流量数据异常。
最后,在对各个待检测产品功能执行如上操作后,即可将造成上述当前流量数据异常的待检测产品功能确定为目标产品功能。
在本实施例的一些可选的实现方式中,可以预先在全部客户端中均部署埋点工具。此时,上述执行主体可以按照如下步骤确定目标产品功能:
首先,从各用户所使用的客户端中获取流量数据。
而后,基于预设的人群配置信息,确定目标用户。其中,人群配置信息可以配置有用于筛选用户的至少一个属性(如地域、年龄等)。
之后,可以将目标用户所使用的客户端作为目标客户端,从所获取的流量数据中,提取配置有待检测产品功能的目标客户端的第一流量数据和未配置有上述待检测产品功能的目标客户端的第二流量数据。
然后,可以基于上述第一流量数据和上述第二流量数据的比较,确定上述待检测产品功能是否造成上述当前流量数据异常。
最后,可以将造成上述当前流量数据异常的待检测产品功能确定为目标产品功能。
步骤207,检测各流量数据处理环节中造成当前流量数据异常的因素。
在本实施例中,上述执行主体可以检测各流量数据处理环节中造成上述当前流量数据异常的因素。
此处,上述流量数据处理环节可以包括但不限于流量数据上报环节、流量数据解析存储环节、流量数据调用环节。上述流量数据上报环节中影响流量数据的因素包括流量数据的上报率。上述流量数据解析存储环节中影响流量数据的因素包括流量数据的解析率和存储率。上述流量数据调用环节中影响流量数据的因素包括实际调用的流量数据与理论调用的流量数据的差值率。上述执行主体可以对各因素进行检测,确定各因素处于正常范围内。
步骤208,将目标产品功能和所检测出的因素确定为造成当前流量数据异常的目标因素。
从图2中可以看出,与图1对应的实施例相比,本实施例中的流量数据监控方法的流程200涉及了对产品功能使用环节、流量数据上报环节、流量数据解析存储环节、流量数据调用环节中影响流量数据的因素进行检测的步骤。由此,本实施例描述的方案可以通过对影响流量数据的各环节中的因素进行检测,针对各环节确定造成当前流量数据异常的目标因素,相较于现有技术中人工依据经验进行归因的方式,可提高归因结果的准确性。
进一步参考图3,作为对上述各图所示方法的实现,本申请提供了一种流量数据监控装置的一个实施例,该装置实施例与图1所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图3所示,本实施例所述的流量数据监控装置300包括:第一确定单元301,被配置成基于当前时段的类别,确定当前时段对应的基准时段;获取单元302,被配置成获取所当前时段的当前流量数据和上述基准时段的历史流量数据;第二确定单元303,被配置成基于上述历史流量数据,确定上述当前流量数据是否异常;第三确定单元304,被配置成若异常,则对影响流量数据的各环节中的因素进行检测,确定造成上述当前流量数据异常的目标因素。
在本实施例的一些可选的实现方式中,上述第一确定单元301,进一步被配置成:确定当前时段的类别;若上述当前时段的类别为常规日,则将预设的基期中的常规日作为上述当前时段对应的基准时段;若上述当前时段的类别为特殊日,则将上述基期中与上述当前时段对应的特殊日作为上述当前时段对应的基准时段,其中,上述特殊日包括以下至少一项:节假日、活动日。
在本实施例的一些可选的实现方式中,上述第二确定单元303,进一步被配置成:对上述历史流量数据进行统计,确定流量阈值上限和流量阈值下限;基于上述流量阈值上限和流量阈值下限,设置流量波动区间;若当前流量处于上述流量波动区间,则确定上述当前流量数据正常;若当前流量未处于上述流量波动区间,则确定上述当前流量数据异常。
在本实施例的一些可选的实现方式中,影响流量数据的环节包括产品功能使用环节和至少一个流量数据处理环节,上述产品功能使用环节中影响流量数据的因素包括产品功能配置信息;以及上述第三确定单元304,进一步被配置成:基于上述产品功能配置信息,确定上述产品功能使用环节中造成上述当前流量数据异常的目标产品功能;检测各流量数据处理环节中造成上述当前流量数据异常的因素;将上述目标产品功能和所检测出的因素确定为造成上述当前流量数据异常的目标因素。
在本实施例的一些可选的实现方式中,上述第三确定单元304,进一步被配置成:将目标用户所使用的客户端作为目标客户端,上述目标客户端预先部署有用于采集流量数据的埋点工具;从配置有待检测产品功能的目标客户端中,获取上述埋点工具采集的第一流量数据,并从未配置有上述待检测产品功能的目标客户端中,获取上述埋点工具采集的第二流量数据;基于上述第一流量数据和上述第二流量数据的比较,确定上述待检测产品功能是否造成上述当前流量数据异常;将造成上述当前流量数据异常的待检测产品功能确定为目标产品功能。
在本实施例的一些可选的实现方式中,上述第三确定单元304,进一步被配置成:从各用户所使用的客户端中获取流量数据,上述各用户所使用的客户端预先部署有预先部署有用于采集流量数据的埋点工具;基于预设的人群配置信息,确定目标用户;将目标用户所使用的客户端作为目标客户端,从所获取的流量数据中,提取配置有待检测产品功能的目标客户端的第一流量数据和未配置有上述待检测产品功能的目标客户端的第二流量数据;基于上述第一流量数据和上述第二流量数据的比较,确定上述待检测产品功能是否造成上述当前流量数据异常;将造成上述当前流量数据异常的待检测产品功能确定为目标产品功能。
在本实施例的一些可选的实现方式中,上述流量数据处理环节包括以下至少一项:流量数据上报环节、流量数据解析存储环节、流量数据调用环节;其中,上述流量数据上报环节中影响流量数据的因素包括流量数据的上报率,上述流量数据解析存储环节中影响流量数据的因素包括流量数据的解析率和存储率,上述流量数据调用环节中影响流量数据的因素包括实际调用的流量数据与理论调用的流量数据的差值率。
本申请的上述实施例提供的装置,首先基于当前时段的类别,确定当前时段对应的基准时段,而后获取所当前时段的当前流量数据和基准时段的历史流量数据,之后基于历史流量数据,确定当前流量数据是否异常,从而在当前流量数据异常的情况下,对影响流量数据的各环节中的因素进行检测,确定造成当前流量数据异常的目标因素。一方面,由于不同类型的时段下的流量大小通常不同,而在判断当前流量数据是否异常时使用与当前时段对应的基准数据,能够针对不同类别的时段进行流量数据是否异常的判断,相较于人工设定固定的阈值范围的方式,提高了流量数据的监控结果准确性。另一方面,通过对影响流量数据的各环节中的因素进行检测,针对各环节确定造成当前流量数据异常的目标因素,相较于现有技术中人工依据经验进行归因的方式,可提高归因结果的准确性。
下面参考图4,其示出了适于用来实现本申请实施例的电子设备的计算机系统400的结构示意图。图4示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图4所示,计算机系统400包括中央处理单元(CPU)401,其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中,还存储有系统400操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
以下部件连接至I/O接口405:包括键盘、鼠标等的输入部分406;包括诸如液晶显示器(LCD)等以及扬声器等的输出部分407;包括硬盘等的存储部分408;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器410上,以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分409从网络上被下载和安装,和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的装置中所包含的;也可以是单独存在,而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该装置执行时,使得该装置:基于当前时段的类别,确定当前时段对应的基准时段;获取所当前时段的当前流量数据和基准时段的历史流量数据;基于历史流量数据,确定当前流量数据是否异常;若异常,则对影响流量数据的各环节中的因素进行检测,确定造成当前流量数据异常的目标因素。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (9)
1.一种流量数据监控方法,其特征在于,所述方法包括:
基于当前时段的类别,确定当前时段对应的基准时段;
获取所述当前时段的当前流量数据和所述基准时段的历史流量数据;
基于所述历史流量数据,确定所述当前流量数据是否异常;
若异常,则对在用户使用客户端的过程中影响流量数据的各环节中的因素进行检测,确定造成所述当前流量数据异常的目标因素;
其中,所述影响流量数据的各环节包括产品功能使用环节和至少一个流量数据处理环节,所述产品功能使用环节中影响流量数据的因素包括产品功能配置信息;以及
所述对影响流量数据的各环节中的因素进行检测,确定造成所述当前流量数据异常的目标因素,包括:
基于所述产品功能配置信息,确定所述产品功能使用环节中造成所述当前流量数据异常的目标产品功能,所述产品功能配置信息用于表征客户端的产品功能配置情况,其中,对于一个产品功能,若部署有该产品功能的客户端的平均流量与未部署有该产品功能的客户端的平均流量相近,则确定该产品功能未造成当前流量数据异常;若部署有产品功能的客户端的平均流量与未部署有该产品功能的客户端的平均流量具有较大差异,确定该产品功能造成当前流量数据异常;
检测各流量数据处理环节中造成所述当前流量数据异常的因素,包括:确定各流量数据处理环节中影响流量数据的因素是否处于正常范围内;所述流量数据处理环节包括以下至少一项:流量数据上报环节、流量数据解析存储环节、流量数据调用环节,所述流量数据上报环节中影响流量数据的因素包括流量数据的上报率,所述流量数据解析存储环节中影响流量数据的因素包括流量数据的解析率和存储率,所述流量数据调用环节中影响流量数据的因素包括实际调用的流量数据与理论调用的流量数据的差值率;
将所述目标产品功能和所检测出的因素确定为造成所述当前流量数据异常的目标因素。
2.根据权利要求1所述的方法,其特征在于,所述基于当前时段的类别,确定当前时段对应的基准时段,包括:
确定当前时段的类别;
若所述当前时段的类别为常规日,则将预设的基期中的常规日作为所述当前时段对应的基准时段;
若所述当前时段的类别为特殊日,则将所述基期中与所述当前时段对应的特殊日作为所述当前时段对应的基准时段,其中,所述特殊日包括以下至少一项:节假日、活动日。
3.根据权利要求1所述的方法,其特征在于,所述基于所述历史流量数据,确定所述当前流量数据是否异常,包括:
对所述历史流量数据进行统计,确定流量阈值上限和流量阈值下限;
基于所述流量阈值上限和流量阈值下限,设置流量波动区间;
若当前流量处于所述流量波动区间,则确定所述当前流量数据正常;
若当前流量未处于所述流量波动区间,则确定所述当前流量数据异常。
4.根据权利要求1所述的方法,其特征在于,所述基于所述产品功能配置信息,确定所述产品功能使用环节中造成所述当前流量数据异常的目标产品功能,包括:
将目标用户所使用的客户端作为目标客户端,所述目标客户端预先部署有用于采集流量数据的埋点工具;
从配置有待检测产品功能的目标客户端中,获取所述埋点工具采集的第一流量数据,并从未配置有所述待检测产品功能的目标客户端中,获取所述埋点工具采集的第二流量数据;
基于所述第一流量数据和所述第二流量数据的比较,确定所述待检测产品功能是否造成所述当前流量数据异常;
将造成所述当前流量数据异常的待检测产品功能确定为目标产品功能。
5.根据权利要求1所述的方法,其特征在于,所述基于所述产品功能配置信息,确定所述产品功能使用环节中造成所述当前流量数据异常的目标产品功能,包括:
从各用户所使用的客户端中获取流量数据,所述各用户所使用的客户端预先部署有预先部署有用于采集流量数据的埋点工具;
基于预设的人群配置信息,确定目标用户;
将目标用户所使用的客户端作为目标客户端,从所获取的流量数据中,提取配置有待检测产品功能的目标客户端的第一流量数据和未配置有所述待检测产品功能的目标客户端的第二流量数据;
基于所述第一流量数据和所述第二流量数据的比较,确定所述待检测产品功能是否造成所述当前流量数据异常;
将造成所述当前流量数据异常的待检测产品功能确定为目标产品功能。
6.根据权利要求1所述的方法,其特征在于,所述流量数据处理环节包括以下至少一项:流量数据上报环节、流量数据解析存储环节、流量数据调用环节;
其中,所述流量数据上报环节中影响流量数据的因素包括流量数据的上报率,所述流量数据解析存储环节中影响流量数据的因素包括流量数据的解析率和存储率,所述流量数据调用环节中影响流量数据的因素包括实际调用的流量数据与理论调用的流量数据的差值率。
7.一种流量数据监控装置,其特征在于,所述装置包括:
第一确定单元,被配置成基于当前时段的类别,确定当前时段对应的基准时段;
获取单元,被配置成获取所当前时段的当前流量数据和所述基准时段的历史流量数据;
第二确定单元,被配置成基于所述历史流量数据,确定所述当前流量数据是否异常;
第三确定单元,被配置成若异常,则对在用户使用客户端的过程中影响流量数据的各环节中的因素进行检测,确定造成所述当前流量数据异常的目标因素;其中,所述影响流量数据的各环节包括产品功能使用环节和至少一个流量数据处理环节,所述产品功能使用环节中影响流量数据的因素包括产品功能配置信息;以及
所述第三确定单元包括:第四确定单元,被配置成基于所述产品功能配置信息,确定所述产品功能使用环节中造成所述当前流量数据异常的目标产品功能;所述产品功能配置信息用于表征客户端的产品功能配置情况,其中,对于一个产品功能,若部署有该产品功能的客户端的平均流量与未部署有该产品功能的客户端的平均流量相近,则确定该产品功能未造成当前流量数据异常;若部署有产品功能的客户端的平均流量与未部署有该产品功能的客户端的平均流量具有较大差异,确定该产品功能造成当前流量数据异常;
检测单元,被配置成检测各流量数据处理环节中造成所述当前流量数据异常的因素,包括:确定各流量数据处理环节中影响流量数据的因素是否处于正常范围内;所述流量数据处理环节包括以下至少一项:流量数据上报环节、流量数据解析存储环节、流量数据调用环节,所述流量数据上报环节中影响流量数据的因素包括流量数据的上报率,所述流量数据解析存储环节中影响流量数据的因素包括流量数据的解析率和存储率,所述流量数据调用环节中影响流量数据的因素包括实际调用的流量数据与理论调用的流量数据的差值率;
第五确定单元,被配置成将所述目标产品功能和所检测出的因素确定为造成所述当前流量数据异常的目标因素。
8.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
9.一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911032908.XA CN110995524B (zh) | 2019-10-28 | 2019-10-28 | 流量数据监控方法、装置、电子设备和计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911032908.XA CN110995524B (zh) | 2019-10-28 | 2019-10-28 | 流量数据监控方法、装置、电子设备和计算机可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110995524A CN110995524A (zh) | 2020-04-10 |
CN110995524B true CN110995524B (zh) | 2022-06-14 |
Family
ID=70082498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911032908.XA Active CN110995524B (zh) | 2019-10-28 | 2019-10-28 | 流量数据监控方法、装置、电子设备和计算机可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110995524B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111858704A (zh) * | 2020-06-29 | 2020-10-30 | 口碑(上海)信息技术有限公司 | 一种数据监控方法、装置、电子设备以及存储介质 |
CN112994978B (zh) * | 2021-02-25 | 2023-01-24 | 网宿科技股份有限公司 | 一种网络流量监测方法及装置 |
CN113037595B (zh) * | 2021-03-29 | 2022-11-01 | 北京奇艺世纪科技有限公司 | 异常设备检测方法、装置、电子设备及存储介质 |
CN114741377B (zh) * | 2022-04-01 | 2023-07-21 | 深圳市爱路恩济能源技术有限公司 | 识别天然气异常数据并对其处理的方法和装置 |
CN116938769B (zh) * | 2023-09-15 | 2023-12-05 | 深圳开鸿数字产业发展有限公司 | 流量异常检测方法、电子设备和计算机可读存储介质 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103678090A (zh) * | 2013-12-11 | 2014-03-26 | 北京国双科技有限公司 | 数据处理的监控方法和装置 |
CN105045631A (zh) * | 2015-07-30 | 2015-11-11 | 北京奇虎科技有限公司 | 一种升级客户端侧应用程序的方法和装置 |
CN105447323A (zh) * | 2015-12-11 | 2016-03-30 | 百度在线网络技术(北京)有限公司 | 一种数据异常波动检测方法和装置 |
CN105512009A (zh) * | 2014-09-22 | 2016-04-20 | 腾讯科技(深圳)有限公司 | 应用程序运行状态的检测方法和装置 |
CN105589917A (zh) * | 2015-09-17 | 2016-05-18 | 广州市动景计算机科技有限公司 | 浏览器日志信息的分析方法和装置 |
CN106921536A (zh) * | 2015-12-25 | 2017-07-04 | 北京奇虎科技有限公司 | 基于客户端版本信息的数据处理方法及装置 |
CN107154880A (zh) * | 2016-03-03 | 2017-09-12 | 阿里巴巴集团控股有限公司 | 系统监控方法及装置 |
CN108133021A (zh) * | 2017-12-26 | 2018-06-08 | 北京奇艺世纪科技有限公司 | 一种数据异常检测方法及装置 |
CN108346011A (zh) * | 2018-05-15 | 2018-07-31 | 阿里巴巴集团控股有限公司 | 指标波动分析方法及装置 |
CN108459951A (zh) * | 2017-02-21 | 2018-08-28 | 腾讯科技(深圳)有限公司 | 测试方法和装置 |
CN108647891A (zh) * | 2018-05-14 | 2018-10-12 | 口口相传(北京)网络技术有限公司 | 数据异常归因分析方法及装置 |
CN108683530A (zh) * | 2018-04-28 | 2018-10-19 | 北京百度网讯科技有限公司 | 多维度数据的数据分析方法、装置及存储介质 |
CN108876479A (zh) * | 2018-07-18 | 2018-11-23 | 口口相传(北京)网络技术有限公司 | 对象实体的渠道归因方法及装置 |
CN109088775A (zh) * | 2018-08-29 | 2018-12-25 | 阿里巴巴集团控股有限公司 | 异常监控方法、装置以及服务器 |
CN109740099A (zh) * | 2018-12-30 | 2019-05-10 | 北京奇艺世纪科技有限公司 | 一种数据异常定位方法和装置 |
CN109831357A (zh) * | 2019-01-30 | 2019-05-31 | 北京大米科技有限公司 | 一种服务验证方法、装置、存储介质及服务器 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100488102C (zh) * | 2005-11-03 | 2009-05-13 | 华为技术有限公司 | 在WiMAX系统中监控负流量的方法及计费系统 |
EP3149893A4 (en) * | 2014-05-29 | 2018-03-07 | Causam Energy, Inc. | System, method, and data packets for messaging for electric power grid elements over a secure internet protocol network |
CN105553769B (zh) * | 2015-12-15 | 2019-03-05 | 北京奇虎科技有限公司 | 一种数据采集分析系统和方法 |
CN107395382A (zh) * | 2016-05-16 | 2017-11-24 | 中兴通讯股份有限公司 | 一种网络质量性能展示方法及装置、系统 |
CN106850558A (zh) * | 2016-12-24 | 2017-06-13 | 国网江苏省电力公司信息通信分公司 | 基于季节模型时间序列的智能电表状态异常检测方法 |
-
2019
- 2019-10-28 CN CN201911032908.XA patent/CN110995524B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103678090A (zh) * | 2013-12-11 | 2014-03-26 | 北京国双科技有限公司 | 数据处理的监控方法和装置 |
CN105512009A (zh) * | 2014-09-22 | 2016-04-20 | 腾讯科技(深圳)有限公司 | 应用程序运行状态的检测方法和装置 |
CN105045631A (zh) * | 2015-07-30 | 2015-11-11 | 北京奇虎科技有限公司 | 一种升级客户端侧应用程序的方法和装置 |
CN105589917A (zh) * | 2015-09-17 | 2016-05-18 | 广州市动景计算机科技有限公司 | 浏览器日志信息的分析方法和装置 |
CN105447323A (zh) * | 2015-12-11 | 2016-03-30 | 百度在线网络技术(北京)有限公司 | 一种数据异常波动检测方法和装置 |
CN106921536A (zh) * | 2015-12-25 | 2017-07-04 | 北京奇虎科技有限公司 | 基于客户端版本信息的数据处理方法及装置 |
CN107154880A (zh) * | 2016-03-03 | 2017-09-12 | 阿里巴巴集团控股有限公司 | 系统监控方法及装置 |
CN108459951A (zh) * | 2017-02-21 | 2018-08-28 | 腾讯科技(深圳)有限公司 | 测试方法和装置 |
CN108133021A (zh) * | 2017-12-26 | 2018-06-08 | 北京奇艺世纪科技有限公司 | 一种数据异常检测方法及装置 |
CN108683530A (zh) * | 2018-04-28 | 2018-10-19 | 北京百度网讯科技有限公司 | 多维度数据的数据分析方法、装置及存储介质 |
CN108647891A (zh) * | 2018-05-14 | 2018-10-12 | 口口相传(北京)网络技术有限公司 | 数据异常归因分析方法及装置 |
CN108346011A (zh) * | 2018-05-15 | 2018-07-31 | 阿里巴巴集团控股有限公司 | 指标波动分析方法及装置 |
CN108876479A (zh) * | 2018-07-18 | 2018-11-23 | 口口相传(北京)网络技术有限公司 | 对象实体的渠道归因方法及装置 |
CN109088775A (zh) * | 2018-08-29 | 2018-12-25 | 阿里巴巴集团控股有限公司 | 异常监控方法、装置以及服务器 |
CN109740099A (zh) * | 2018-12-30 | 2019-05-10 | 北京奇艺世纪科技有限公司 | 一种数据异常定位方法和装置 |
CN109831357A (zh) * | 2019-01-30 | 2019-05-31 | 北京大米科技有限公司 | 一种服务验证方法、装置、存储介质及服务器 |
Also Published As
Publication number | Publication date |
---|---|
CN110995524A (zh) | 2020-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110995524B (zh) | 流量数据监控方法、装置、电子设备和计算机可读介质 | |
CN107153971B (zh) | 用于识别app推广中设备作弊的方法及装置 | |
CN109634941B (zh) | 医疗数据处理方法、装置、电子设备及存储介质 | |
CN111402017A (zh) | 一种基于大数据的信用评分方法和系统 | |
CN113570396A (zh) | 时间序列数据异常检测方法、装置、设备及存储介质 | |
CN110689395B (zh) | 用于推送信息的方法和装置 | |
CN113033722B (zh) | 传感器数据融合方法、装置、存储介质及计算设备 | |
CN110490132B (zh) | 数据处理方法和装置 | |
CN109658643B (zh) | 支付风险告警方法、服务器及智能pos | |
CN114356703A (zh) | 一种根因分析方法及装置 | |
CN113869599A (zh) | 鱼类疫病发展预测方法、系统、设备及介质 | |
CN113360359A (zh) | 指标异常数据溯源方法、装置、设备及存储介质 | |
CN112506901A (zh) | 一种数据质量测量方法、装置及介质 | |
CN114938339A (zh) | 一种数据处理方法和相关装置 | |
CN112966971B (zh) | 一种项目工作量评估方法和装置 | |
CN115344495A (zh) | 批量任务测试的数据分析方法、装置、计算机设备及介质 | |
CN115293735A (zh) | 一种无人工厂工业互联网平台监测管理方法及系统 | |
CN110084298B (zh) | 用于检测图像相似度的方法及装置 | |
CN111275466B (zh) | 一种超期单量预警的方法和装置 | |
WO2002099756A1 (fr) | Procede unifie d'evaluation de l'efficacite de systemes a grande echelle et dispositif automatise permettant la mise en oeuvre dudit procede | |
CN112132722A (zh) | 政务热线数量趋势异常确定方法、装置、电子设备及介质 | |
CN110727590A (zh) | 异常试验方案的确定方法、设备及计算机可读存储介质 | |
CN112884497A (zh) | 确定用户类型的方法、装置、电子设备和存储介质 | |
CN115329148B (zh) | 一种基于多重大数据处理的数据筛选整合方法及系统 | |
CN117479219B (zh) | 一种手机流量卡套餐监测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |