CN111970150A - 日志信息的处理方法、装置、服务器及存储介质 - Google Patents

Abstract

本公开关于一种日志信息的处理方法、装置、服务器及存储介质。该方法包括：根据数据的规模等级确定采样比例，并根据采样比例，采用预设选取方式选取用户设备，作为目标用户设备；获取目标用户设备的日志信息，并将日志信息同步至消息队列；从消息队列中，获取采用预设选取方式选取的目标用户设备的日志信息，并确定与日志信息对应的采样日志信息规模；根据采样日志信息规模以及采样比例，确定所有用户设备的日志信息规模。本公开通过根据选取的目标用户设备的日志信息以及采样比例确定日志信息规模，实现了准确获取日志信息，且不需要大量存储资源、计算资源、以及网络传输资源的同时真实反映日志信息规模的效果。

Description

日志信息的处理方法、装置、服务器及存储介质

技术领域

本公开实施例涉及数据处理技术，尤其涉及一种日志信息的处理方法、装置、服务器及存储介质。

背景技术

随着网络技术的发展，用户在生活中对网络的依赖性越来越大，产生的数据也越来越多，尤其是在一些大型活动中，比如春节联欢晚会中，会出现日志信息突增，难以为数据消费方提供稳定可靠实时的日志信息规模。

相关技术中，采用全量日志上传方案，按照指定维度，实时计算全量日志的日志信息规模。需要大量的网络传输资源、存储资源以及计算资源保证数据无延迟以及日志信息规模计算准确。

发明内容

本公开实施例提供一种日志信息的处理方法、装置、服务器及存储介质，以至少解决相关技术中确定日志信息规模时需要消耗大量资源的问题。本公开实施例的技术方案如下：

根据本公开实施例的第一方面，提供一种日志信息的处理方法，包括：

根据数据的规模等级确定采样比例，并根据所述采样比例，采用预设选取方式选取用户设备，作为目标用户设备；

获取所述目标用户设备的日志信息，并将所述日志信息同步至消息队列；

从所述消息队列中，获取采用所述预设选取方式选取的目标用户设备的日志信息，并确定与所述日志信息对应的采样日志信息规模；

根据所述采样日志信息规模以及所述采样比例，确定所有用户设备的日志信息规模。

可选的，所述根据所述采样比例，采用预设选取方式选取用户设备，作为目标用户设备步骤包括：

获取用户设备的设备标识，并确定所述设备标识对应的第一哈希值；

确定所述第一哈希值对预设第一步长的第一余数，并根据所述预设第一步长以及所述采样比例，确定第二步长；

根据所述第二步长从所述第一余数中选取余数作为备选余数，并确定与所述备选余数对应的设备标识，将与确定的设备标识对应的用户设备作为所述目标用户设备；

相应的，所述从所述消息队列中，获取采用所述预设选取方式选取的目标用户设备的日志信息步骤包括：

获取所述消息队列中日志信息对应的设备标识，并确定所述设备标识对应的第二哈希值；

确定所述第二哈希值对所述预设第一步长的第二余数，从所述第二余数中确定所述备选余数匹配的目标余数，并确定所述目标余数对应的目标设备标识；

从所述消息队列中，获取与所述目标设备标识对应的日志信息。

可选的，所述根据所述预设第一步长以及所述采样比例，确定第二步长步骤包括：

确定所述预设第一步长与所述采样比例的乘积为所述第二步长；

相应的，所述根据所述第二步长从所述第一余数中选取余数作为备选余数步骤包括：

将所有第一余数按照大小顺序排序，并在排序后的所有第一余数中选取与所述第二步长对应个数的余数段，将所述余数段中的余数作为所述备选余数。

可选的，所述设备标识为用户设备ID。

可选的，所述日志信息为所述用户设备与服务器之间的数据流产生的日志；

相应的，所述确定与所述日志信息对应的采样日志信息规模步骤包括：

将所述日志信息按照分钟粒度以及统计指标维度确定对应的采样日志信息规模；

其中，所述统计指标维度包括下述至少一项：用户在线量、视频播次数、视频点赞量、产品收藏量、或者产品购买量。

可选的，在根据所述采样日志信息规模以及所述采样比例，确定所有用户设备的日志信息规模步骤之后，所述日志信息的处理方法还包括：

将所述日志信息规模传输至管理者设备，以向管理者展示所述日志信息规模。

可选的，所述根据所述采样日志信息规模以及所述采样比例，确定所有用户设备的日志信息规模步骤包括：

将所述采样日志信息规模除以所述采样比例，以计算得到所述日志信息规模。

可选的，所述根据数据的规模等级确定采样比例步骤包括：

若检测到数据的规模等级为设定大流量的规模等级，则选取小于100％的值作为采样比例；

若检测到数据的规模等级为常规流量的规模等级，则将100％作为采样比例。

可选的，在所述根据所述采样日志信息规模以及所述采样比例，确定所有用户设备的日志信息规模步骤之后，所述日志信息的处理方法还包括：

根据所述日志信息规模将与所述日志信息规模对应的推荐信息进行推荐顺序调整。

根据本公开实施例的第二方面，提供一种日志信息的处理装置，包括：

选取单元，被配置为执行根据数据的规模等级确定采样比例，并根据所述采样比例，采用预设选取方式选取用户设备，作为目标用户设备；

同步单元，被配置为执行获取所述目标用户设备的日志信息，并将所述日志信息同步至消息队列；

第一确定单元，被配置为执行从所述消息队列中，获取采用所述预设选取方式选取的目标用户设备的日志信息，并确定与所述日志信息对应的采样日志信息规模；

第二确定单元，被配置为执行根据所述采样日志信息规模以及所述采样比例，确定所有用户设备的日志信息规模。

可选的，所述选取单元，包括：

第一获取子单元，被配置为执行获取用户设备的设备标识，并确定所述设备标识对应的第一哈希值；

第一确定子单元，被配置为执行确定所述第一哈希值对预设第一步长的第一余数，并根据所述预设第一步长以及所述采样比例，确定第二步长；

第一选取子单元，被配置为执行根据所述第二步长从所述第一余数中选取余数作为备选余数，并确定与所述备选余数对应的设备标识，将与确定的设备标识对应的用户设备作为所述目标用户设备；

相应的，所述第一确定单元，包括：

第二确定子单元，被配置为执行获取所述消息队列中日志信息对应的设备标识，并确定所述设备标识对应的第二哈希值；

第三确定子单元，被配置为执行确定所述第二哈希值对所述预设第一步长的第二余数，从所述第二余数中确定所述备选余数匹配的目标余数，并确定所述目标余数对应的目标设备标识；

第二获取子单元，被配置为执行从所述消息队列中，获取与所述目标设备标识对应的日志信息。

可选的，所述第一确定子单元，具体被配置为执行：

确定所述预设第一步长与所述采样比例的乘积为所述第二步长；

相应的，所述第一选取子单元具体被配置为执行：

将所有第一余数按照大小顺序排序，并在排序后的所有第一余数中选取与所述第二步长对应个数的余数段，将所述余数段中的余数作为所述备选余数。

可选的，所述设备标识为用户设备ID。

可选的，所述日志信息为所述用户设备与服务器之间的数据流产生的日志；

相应的，所述第一确定单元，包括：

第四确定子单元，被配置为执行将所述日志信息按照分钟粒度以及统计指标维度确定对应的采样日志信息规模；

其中，所述统计指标维度包括下述至少一项：用户在线量、视频播次数、视频点赞量、产品收藏量、或者产品购买量。

可选的，所述日志信息的处理装置，还包括：

传输单元，被配置为在根据所述采样日志信息规模以及所述采样比例，确定所有用户设备的日志信息规模步骤之后，执行将所述日志信息规模传输至管理者设备，以向管理者展示所述日志信息规模。

可选的，所述第二确定单元包括：

计算子单元，被配置为执行将所述采样日志信息规模除以所述采样比例，以计算得到所述日志信息规模。

可选的，所述选取单元包括：

第二选取子单元，被配置为执行若检测到数据的规模等级为设定大流量的规模等级，则选取小于100％的值作为采样比例；

第三选取子单元，被配置为执行若检测到数据的规模等级为常规流量的规模等级，则将100％作为采样比例。

可选的，所述日志信息的处理装置，还包括：

调整单元，被配置为在所述根据所述采样日志信息规模以及所述采样比例，确定所有用户设备的日志信息规模步骤之后，执行根据所述日志信息规模将与所述日志信息规模对应的推荐信息进行推荐顺序调整。

根据本公开实施例的第三方面，提供一种服务器，包括：

处理器；

用于存储所述处理器的可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现本公开任意实施例所述的日志信息的处理方法。

根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由服务器的处理器执行时，使得所述服务器能够执行本公开任意实施例所述的日志信息的处理方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，当所述计算机程序产品中的指令由服务器的处理器执行时，实现本公开任意实施例所述的日志信息的处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：通过按照数据的规模等级对应的采样比例以及预设选取方式选取目标用户设备的日志信息进行上报，并根据选取的目标用户设备的日志信息以及采样比例确定日志信息规模，实现了准确获取日志信息，且不需要大量存储资源、计算资源、以及网络传输资源的同时真实反映日志信息规模的效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种日志信息的处理方法的流程图。

图2是根据一示例性实施例示出的又一种日志信息的处理方法的流程图。

图3是根据一示例性实施例示出的又一种日志信息的处理方法的流程图。

图4是根据一示例性实施例示出的一种日志信息的处理装置框图。

图5是根据一示例性实施例示出的一种服务器的结构框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种日志信息的处理方法的流程图，如图1所示，日志信息的处理方法用于服务器中，包括以下步骤：

在步骤110中，根据数据的规模等级确定采样比例，并根据采样比例，采用预设选取方式选取用户设备，作为目标用户设备。

其中，数据的规模等级的划分方式可以是多样的。例如，数据的规模等级可以是根据流量数据划分的，当流量数据的大小满足不同的阈值时，可以划分为不同的规模等级。或者，数据的规模等级可以是根据预先设置的活动等级以及活动时间划分的，在活动时间内根据活动等级划分数据的规模等级。其中，活动等级越高数据的规模等级越高，活动等级可以根据活动的规模程度以及预期的参与人数确定。

采样比例可以是小于等于100％的比例值，例如10％，20％，30％等。可以根据数据的规模等级确定采样比例，例如，在指定活动时间，用户参与多造成流量数据偏大时，可以选取比例值较小的采样比例，如20％、25％或者30％等。进一步的，根据采样比例采用本公开实施例的技术方案确定日志信息规模后，可以根据确定的日志信息规模再确定采样比例。例如，确定的日志信息规模远小于预期数据的规模等级时，可以增大采样比例，如40％，45％，或者50％等，可以使确定的日志信息规模更加准确，更能真实反映数据大小情况，并能够为数据消费方提供稳定可靠的数据支撑；确定的日志信息规模远大于预期数据的规模等级时，可以减小采样比例，如10％，或者15％等，可以减少网络传输资源、存储资源以及计算资源的占用，节省资源为数据消费方提供稳定可靠的数据支撑，保证数据链路的稳定可靠。

预设选取方式可以是按照用户标识以采样比例进行选取的方式。其中，用户标识可以是用户设备的设备标识、用户设备的互联网协议(Internet Protocol Address，IP)地址、或者用户号等具有数字编号或者可以转换为数字编号的标识信息。可以按照采样比例选取用户标识，例如，采样比例为20％时，可以在用户标识中选取20％的末尾、后两位、或者后三位数字编号。示例的，可以选取末尾数字编号为1和5的用户标识；或者，后两位数字编号为10至19的用户标识。

用户设备可以是用户使用的智能手机、可穿戴设备、平板电脑或者台式电脑等。可以将按照采样比例以及预设选取方式选取的用户设备作为目标用户设备。

在步骤120中，获取目标用户设备的日志信息，并将日志信息同步至消息队列。

其中，目标用户设备的日志信息的获取方式可以是经目标用户设备授权后，用户设备主动上传至服务器，或者服务器根据用户设备的操作生成并存储的。目标用户设备的授权可以是在用户参与指定活动前，或者使用指定应用程序(Application，APP)前，提示用户自愿进行选择的。用户授权后可以正常参与指定活动或者正常使用指定APP。

在本发明实施例的一个实施方式中，可选的，日志信息为用户设备与服务器之间的数据流产生的日志。示例性的，用户参与春节联欢晚会时，观看某节目时与服务器之间的观看次数、点赞次数、或者评论次数等数据流产生的日志。或者，用户参与商品促销活动时，购买商品时与服务器之间的浏览量、收藏量、点赞量、或者购买数量等数据流产生的日志。

消息队列可以是暂时存储日志信息的容器。消息队列可以是先进先出的。用户设备的日志信息可以不断在消息队列中进行写入存储，服务器可以不断在消息队列中读取用户设备的日志信息。在本公开实施例中，用户设备的日志信息同步至消息队列时，可以只同步按照采样比例以及预设选取方式选取的目标用户设备与服务器之间的数据流产生的日志信息。可以减少消息队列中的日志信息，避免占用大量网络传输资源、存储资源。

在步骤130中，从消息队列中，获取采用预设选取方式选取的目标用户设备的日志信息，并确定与日志信息对应的采样日志信息规模。

其中，从消息队列中读取日志信息时，可以采用预设选取方式选取目标用户设备，获取选取的目标用户设备的日志信息进行读取。可以避免直接读取消息队列中全部日志信息时，将非选取的目标用户设备的日志信息选取出来。例如，由于数据通信延时导致的消息队列中存在部分非选取的目标用户设备的日志信息时，造成日志信息获取不准确，进而造成确定的日志信息规模不准确。其中，采样日志信息规模是指根据采样的日志信息确定的数据量大小。例如，根据采样的日志信息确定用户是否通过用户设备观看某一视频，确定的采样中该视频的播放数据量大小。

在本公开实施例的一个实施方式中，可选的，确定与日志信息对应的采样日志信息规模步骤包括：将日志信息按照分钟粒度以及统计指标维度确定对应的采样日志信息规模；其中，统计指标维度包括下述至少一项：用户在线量、视频播次数、视频点赞量、产品收藏量、或者产品购买量。

其中，对于从消息队列中读取的日志信息，可以按照分钟粒度进行读取，例如，可以获取日志信息中的时间戳信息，根据时间戳信息确定某分钟或者某几分钟时不同统计指标维度下的采样日志信息规模。统计指标维度可以是与用户参与的活动相关的数据观测维度。比如，某一产品上线时产生的用户在线量，用户观看某一视频时产生的视频播放次数，对于某一视频点赞产生的视频点赞量，对于某一产品收藏或者加购产生的产品收藏量或者产品购买量等。

示例性的，可以从消息队列中读取目标用户设备的日志信息，根据读取的日志信息确定活动开始后的前3分钟内某一产品的产品购买量。再根据确定的产品购买量以及采样比例确定该产品的产品购买总量。其中，产品购买量可以是采样日志信息规模中的一项，产品购买总量是日志信息规模中的一项。日志信息规模中还可以包括其他统计指标维度对应的数据量大小，比如产品收藏总量、视频播放总量或者视频点赞总量等。

在步骤140中，根据采样日志信息规模以及采样比例，确定所有用户设备的日志信息规模。

其中，日志信息规模是指根据日志信息确定的数据量大小。例如，根据所有的日志信息确定用户是否通过用户设备观看某一视频，确定的该视频的播放数据量大小。采样日志信息规模可以反映采样的日志信息的某一数据量大小。根据采样日志信息规模以及采样比例，可以确定所有日志信息的某一数据量大小。

在本公开实施例的一个实施方式中，可选的，根据采样日志信息规模以及采样比例，确定所有用户设备的日志信息规模步骤包括：将采样日志信息规模除以采样比例，以计算得到日志信息规模。

其中，可以根据采样日志信息规模除以采样比例，计算得到日志信息规模。例如，活动开始后的前3分钟内某一产品的产品购买量是15万个，采样比例是20％，确定的该产品的产品购买总量是15÷20％＝75万个。通过本公开实施例的方式确定的日志信息规模可以准确获取日志信息，真实反映数据量大小，同时不需要大量的资源，保证活动期间内数据无延迟、计算无故障，节省成本。尤其适用于举办几小时或者几天大型活动时，产生大量数据流的场景，无需提前购置大量资源，即可提供可靠且实时的日志信息规模，真实反应数据量大小。

通过采样日志信息规模以及采样比例确定全部的日志信息规模时，由于对消息队列中的日志信息进行了准去选取，可以避免造成确定的日志信息规模存在骤增或骤降情况，保证数据链路稳定可靠且真实反映日志信息规模。

在本公开实施例的一个实施方式中，可选的，在根据采样日志信息规模以及采样比例，确定所有用户设备的日志信息规模步骤之后，日志信息的处理方法还包括：将日志信息规模传输至管理者设备，以向管理者展示日志信息规模。

其中，管理者可以是需要了解日志信息规模的用户，比如活动举办方或者产品销售方等。管理者设备可以是管理者使用的设备。展示日志信息规模的方式可以是柱形图、条形图或者折线图等方式。可以使管理者直观了解日志信息规模，便于进一步的根据日志信息规模做出决策。例如，增加产品可销售量，或者依据日志信息规模进一步增大宣传力度，或者依据日志信息规模改进当前的销售方案等。

示例性的，可以将不同时间段确定的用户在线量、视频播次数、视频点赞量、产品收藏量、或者产品购买量生成实时动态变化的数据，比如以分钟为单位进行实时刷新，可以使管理者实时观测日志信息规模。

在本公开实施例的一个实施方式中，可选的，在根据采样日志信息规模以及采样比例，确定所有用户设备的日志信息规模步骤之后，日志信息的处理方法还包括：根据日志信息规模将与日志信息规模对应的推荐信息进行推荐顺序调整。

其中，日志信息规模可以是播放量、销售量、点赞量或者收藏量等。根据日志信息规模进行推荐顺序调整，可以是将日志信息规模的降序顺序进行推荐信息的排序。例如，推荐信息为多个视频，日志信息规模为各视频的播放量或者点赞量时，可以根据日志信息规模的降序顺序，对各视频进行排序，将播放量或者点赞量大的视频排在前面，可以使用户及时观看到受欢迎的视频。再如，推荐信息为多种产品，日志信息规模为各产品的销售量或者收藏量时，可以根据日志信息规模的升序顺序，对各产品进行排序，将销售量或者收藏量小的产品排在前面，可以加大低销量产品的推广力度。在本公开实施例中，也可以是按照日志信息规模的其他排序顺序进行推荐信息排序，本实施对此不做具体限定。

本实施例中，通过根据数据的规模等级确定采样比例，并根据采样比例，采用预设选取方式选取用户设备，作为目标用户设备；获取目标用户设备的日志信息，并将日志信息同步至消息队列；从消息队列中，获取采用预设选取方式选取的目标用户设备的日志信息，并确定与日志信息对应的采样日志信息规模；根据采样日志信息规模以及采样比例，确定所有用户设备的日志信息规模，解决了相关技术中确定日志信息规模时需要消耗大量资源的问题，实现了准确获取日志信息，不需要大量存储资源、计算资源、以及网络传输资源的同时真实反映日志信息规模，可以保证数据链路稳定可靠的效果。

图2是根据一示例性实施例示出的又一种日志信息的处理方法的流程图，本实施例的技术方案是对上述技术方案的细化，可以与上述一个或多个实施方式进行结合。如图2所示，日志信息的处理方法用于服务器中，包括以下步骤：

在步骤210中，获取用户设备的设备标识，并确定设备标识对应的第一哈希值。

其中，在本公开实施例的一个实施方式中，可选的，设备标识为用户设备身份标识号码(Identity，ID)。可以避免一些用户采用游客身份登录APP参与活动时，无法获取到用户号等设备标识时，无法选取到游客类用户设备的日志信息，导致确定的日志信息规模出现偏差，不能真实反映数据大小的情况。

第一哈希值可以是指根据哈希算法将用户设备的设备标识映射为较短的唯一数据，该唯一数据即为设备标识对应的第一哈希值。其中，哈希算法可以是消息摘要算法(Message-Digest Algorithm，MD5)算法或者密码散列函数(Secure Hash Algorithm 1，SHA-1)算法等。

在步骤220中，确定第一哈希值对预设第一步长的第一余数，并根据预设第一步长以及采样比例，确定第二步长。

其中，预设第一步长可以是选取的便于采样用户设备的日志信息的数值，例如，100，200，或者300等。第一余数可以是通过第一哈希值对预设第一步长进行取余计算获得。示例性的，可以将用户设备的设备ID取第一哈希值，将第一哈希值对100进行取余计算，确定第一余数。其中，确定的第一余数时，可以将取余得到的余数中重复的余数可以进行剔除。

其中，根据预设第一步长以及采样比例确定第二步长，可以是将采样比例的倒数作为第二步长。也可以是将预设第一步长以及采样比例的乘积作为第二步长。示例性的，预设第一步长为100，采样比例为20％，可以确定第二步长为1÷20％＝5；也可以确定第二步长为100×20％＝20。

在步骤230中，根据第二步长从第一余数中选取余数作为备选余数，并确定与备选余数对应的设备标识，将与确定的设备标识对应的用户设备作为目标用户设备。

其中，当第二步长为采样比例的倒数时，可以确定预设第一步长与采样比例的乘积为第二步长对应的预选取数。可以在第一余数中以第二步长为选取间距，选取预选取数个余数，作为备选余数。示例性的，预设第一步长为100，采样比例为20％，可以确定第二步长为1÷20％＝5，第二步长对应的预选取数为100×20％＝20。例如，第一余数为0，1，2，3，……，99共100个数，可以在第一余数中，以5为选取间距，选取20个余数，作为备选余数。例如，备选余数可以是0，5，10，15，……，95。

或者，当将预设第一步长以及采样比例的乘积作为第二步长时，可以在第一余数中选取第二步长对应个数的余数段，将余数段中的余数作为备选余数。示例性的，预设第一步长为100，采样比例为20％，可以确定第二步长为100×20％＝20。例如，第一余数为0，1，2，3，……，99共100个数，可以在第一余数中，选取第二步长对应个数的余数段，例如，余数段为区间[X，X+19]，其中，X为0至80的任意整数。可以确定在区间[X，X+19]的余数为备选余数。例如，备选余数可以是0，1，2，……，19。

当用户设备的设备标识对应的第一哈希值对预设第一步长去取余得到的余数属于备选余数中的余数时，可以用户设备的设备标识为备选余数对应的设备标识，该用户设备为目标用户设备。示例性的，备选余数为0，1，2，……，19，用户设备的设备标识对应的第一哈希值对预设第一步长去取余得到的余数为5，该用户设备的设备标识为备选余数对应的设备标识，该用户设备为目标用户设备。

通过用户设备的设备标识，例如设备ID的第一哈希值取余方式进行目标用户设备的选取可以实现目标用户设备选取的均匀化，可以减少人为选取方式造成的采样不均，不能反映日志信息规模的问题。按照第一哈希值对100取余进行目标用户设备的选取，便于操作采样更具有代表性。

在本公开实施例的一个实施方式中，可选的，根据预设第一步长以及采样比例，确定第二步长步骤包括：确定预设第一步长与采样比例的乘积为第二步长；相应的，根据第二步长从第一余数中选取余数作为备选余数步骤包括：将所有第一余数按照大小顺序排序，并在排序后的所有第一余数中选取与第二步长对应个数的余数段，将余数段中的余数作为备选余数。

其中，确定的第一余数可以是将取余得到的重复余数进行剔除的。为了便于备选余数的确定，可以将第一余数按照大小顺序排序，在排序后的第一余数中任意选取一个长度为第二步长的余数段。可以理解为将用户设备的设备标识对应的第一哈希值对预设第一步长取余得到余数在选取的余数段范围中时，确定为用户设备为目标用户设备。

示例性的，余数段为[X，X+19]，其中，X为0至80的任意整数，用户设备的设备标识对应的第一哈希值对预设第一步长100取余得到余数为X+5，在余数段[X，X+19]范围中，该用户设备为目标用户设备。

在步骤240中，获取目标用户设备的日志信息，并将日志信息同步至消息队列。

在步骤250中，获取消息队列中日志信息对应的设备标识，并确定设备标识对应的第二哈希值。

其中，确定设备标识对应的第二哈希值时，采用的哈希算法与步骤210中确定设备标识对应的第一哈希值时采用的哈希算法一致，可以保证进行日志信息规模确定的日志信息是预先选取的目标用户设备的日志信息，可以保证日志信息获取准确。可以避免确定日志信息规模时采用了目标用户设备之外的其他用户设备的日志信息，造成日志信息规模出现较大抖动，不能真实反映日志信息规模大小。

在步骤260中，确定第二哈希值对预设第一步长的第二余数，从第二余数中确定备选余数匹配的目标余数，并确定目标余数对应的目标设备标识。

其中，第二余数可能是与备选余数一致的余数，也可能包含备选余数之外其他的余数，比如，配置生效延迟时，消息队列中日志信息中包括除与备选余数对应的设备标识之外的其他设备标识对应的用户设备产生的日志信息。

示例性的，预设第一步长为100，备选余数为区间[X，X+19]中的余数，其中，X为0至80的任意整数。选取目标余数时，可以是将第二余数在区间[X，X+19]中的余数作为目标余数。例如从消息队列中获取的用户设备标识对应的第二哈希值对100取余后为X+5，在区间[X，X+19]中，X+5为目标余数，X+5对应的设备标识为目标设备标识。

在步骤270中，从消息队列中，获取与目标设备标识对应的日志信息。

其中，通过获取与目标设备标识对应的日志信息，可以避免确定日志信息规模时采用了目标用户设备之外的其他用户设备的日志信息，造成日志信息规模出现较大抖动，不能真实反映数据大小。

在步骤280中，将日志信息按照分钟粒度以及统计指标维度确定对应的采样日志信息规模，并将采样日志信息规模除以采样比例，以计算得到日志信息规模。

其中，统计指标维度包括下述至少一项：用户在线量、视频播次数、视频点赞量、产品收藏量、或者产品购买量。

在步骤290中，将日志信息规模传输至管理者设备，以向管理者展示日志信息规模。

在实际中，按照采样比例，采用预设选取方式选取用户设备时，可能存在配置生效延迟时，造成消息队列中的日志信息一部分是按照采样比例同步的，而另一部分是没有采样同步的。此时，如果直接按照消息队列中的日志信息进行日志信息规模的确定会使日志信息获取不准确，从而日志信息规模存在抖动，比如数据大小曲线在某一分钟相比其他时间出现陡增现象，不能真实反映数据量大小情况。

示例性的，存在配置生效延迟的现象可以是多台服务器进行日志信息获取，采样比例以及预设选取方式生成指令下发至各服务器，可能需要几分钟各服务器才能完全按照采样比例以及预设选取方式进行用户设备的选取。在这几分钟内，可能一部分服务器按照采样比例以及预设选取方式选取用户设备，将选取的用户设备的日志信息上传至消息队列，而另一部分服务器直接将所有用户设备的日志信息同步至消息队列。造成消息队列中的日志信息不满足采样比例，比如采样比例为20％时，消息队列中的日志信息比例为20％-100％。如果没有对消息队列中的日志信息进行选取，直接进行日志信息规模确定时，会造成数据大小抖动，这几分钟的日志信息规模会远高于之后时间的日志信息规模。

因此，本公开实施例将消息队列中的日志信息按照采样比例，采用预设选取方式确定目标用户设备的日志信息后再进行日志信息规模确定，可以准确获取日志信息，可以避免出现数据量大小抖动的问题，可以真实反映数据量大小情况。

本实施例中，通过获取用户设备的设备标识，并确定设备标识对应的第一哈希值；确定第一哈希值对预设第一步长的第一余数，并根据预设第一步长以及采样比例，确定第二步长；根据第二步长从第一余数中选取余数作为备选余数，并确定与备选余数对应的设备标识，将与确定的设备标识对应的用户设备作为目标用户设备；获取目标用户设备的日志信息，并将日志信息同步至消息队列；获取消息队列中日志信息对应的设备标识，并确定设备标识对应的第二哈希值；确定第二哈希值对预设第一步长的第二余数，从第二余数中确定备选余数匹配的目标余数，并确定目标余数对应的目标设备标识；从消息队列中，获取与目标设备标识对应的日志信息；将日志信息按照分钟粒度以及统计指标维度确定对应的采样日志信息规模，并将采样日志信息规模除以采样比例，以计算得到日志信息规模；将日志信息规模传输至管理者设备，以向管理者展示日志信息规模，解决了相关技术中确定日志信息规模时需要消耗大量资源的问题，可以减少需要处理的日志信息，准确获取需要进行处理的日志信息，实现了不需要大量存储资源、计算资源以及网络传输资源的同时真实反映数据量大小，可以保证数据传输链路稳定可靠，以及可以便于管理者获取可靠的数据量大小并做出决策的效果。

图3是根据一示例性实施例示出的又一种日志信息的处理方法的流程图，本实施例的技术方案是对上述技术方案的细化，可以与上述一个或多个实施方式进行结合。如图3所示，日志信息的处理方法用于服务器中，包括以下步骤：

在步骤310中，检测数据的规模等级，若检测到数据的规模等级为设定大流量的规模等级，执行步骤320；若检测到数据的规模等级为常规流量的规模等级，执行步骤330。

其中，检测数据的规模等级的方式可以是多样的，比如举办大型活动时，可以检测是否达到预设活动时间。如果达到预设活动时间或者即将达到预设活动时间，可以确定数据的规模等级为设定大流量的规模等级；在未到预设活动时间或者预设活动结束后，可以确定数据的规模等级为常规流量的规模等级。再如，可以通过消息队列中的日志信息确定日志信息规模，如果日志信息规模超过预设大流量的规模等级，可以确定检测到的数据的规模等级为设定大流量的规模等级；如果日志信息规模小于预设大流量的规模等级，可以确定检测到的数据的规模等级为常规流量的规模等级。

需说明的是，对于设定大流量的规模等级可以设定为多种规模等级，不同的规模等级可以采用不同的采样比例。例如，大型活动可以采用的采样比例为10％，中型活动可以采用的采样比例为20％，小型活动可以采用的采样比例为30％。对数据的规模等级进行具体的划分，可以实现采样比例确定更合理化，避免确定的日志信息规模不准确。

在步骤320中，选取小于100％的值作为采样比例，并根据采样比例，采用预设选取方式选取用户设备，作为目标用户设备，执行步骤340。

其中，数据的规模等级为设定大流量的规模等级时，可以选取小于100％的值作为采样比例，例如10％，20％，或者30％等。可以在指定活动时间，或者极端大流量场景下，降级采样日志信息，减少需要进行处理的日志信息，保证数据传输链路稳定可靠，实时确定日志信息规模。

在步骤330中，将100％作为采样比例，并根据采样比例，采用预设选取方式选取用户设备，作为目标用户设备，执行步骤340。

其中，当数据的规模等级为常规流量的规模等级时，可以选取100％作为采样比例，即采用全量日志上报方案，可以在数据量少时，保证数据的完整性，保证日志信息规模确定的准确性。

在步骤340中，获取目标用户设备的日志信息，并将日志信息同步至消息队列。

在步骤350中，从消息队列中，获取采用预设选取方式选取的目标用户设备的日志信息，并确定与日志信息对应的采样日志信息规模。

在步骤360中，根据采样日志信息规模以及采样比例，确定所有用户设备的日志信息规模。

本实施例中，通过检测数据的规模等级，根据数据的规模等级确定采样比例，根据采样比例，采用预设选取方式选取用户设备，作为目标用户设备；获取目标用户设备的日志信息，并将日志信息同步至消息队列；从消息队列中，获取采用预设选取方式选取的目标用户设备的日志信息，并确定与日志信息对应的采样日志信息规模；根据采样日志信息规模以及采样比例，确定所有用户设备的日志信息规模，解决了在指定活动中确定数日志信息规模时需要消耗大量资源的问题，实现了在指定活动中准确获取日志信息，不需要大量存储资源、计算资源以及网络传输资源，节省成本的同时真实反映日志信息规模；在非指定活动中保证数据的完整性，保证日志信息规模确定的准确性的效果。

图4是根据一示例性实施例示出的一种日志信息的处理装置框图。参照图4，该装置可以用于服务器中，包括：选取单元410，同步单元420，第一确定单元430和第二确定单元440。

其中，选取单元410，被配置为执行根据数据的规模等级确定采样比例，并根据采样比例，采用预设选取方式选取用户设备，作为目标用户设备；

同步单元420，被配置为执行获取目标用户设备的日志信息，并将日志信息同步至消息队列；

第一确定单元430，被配置为执行从所述消息队列中，获取采用预设选取方式选取的目标用户设备的日志信息，并确定与日志信息对应的采样日志信息规模；

第二确定单元440，被配置为执行根据采样日志信息规模以及采样比例，确定所有用户设备的日志信息规模。

可选的，选取单元410，包括：

第一获取子单元，被配置为执行获取用户设备的设备标识，并确定设备标识对应的第一哈希值；

第一确定子单元，被配置为执行确定第一哈希值对预设第一步长的第一余数，并根据预设第一步长以及采样比例，确定第二步长；

第一选取子单元，被配置为执行根据第二步长从第一余数中选取余数作为备选余数，并确定与备选余数对应的设备标识，将与确定的设备标识对应的用户设备作为目标用户设备；

相应的，第一确定单元430，包括：

第二确定子单元，被配置为执行获取消息队列中日志信息对应的设备标识，并确定设备标识对应的第二哈希值；

第三确定子单元，被配置为执行确定第二哈希值对预设第一步长的第二余数，从第二余数中确定备选余数匹配的目标余数，并确定目标余数对应的目标设备标识；

第二获取子单元，被配置为执行从消息队列中，获取与目标设备标识对应的日志信息。

可选的，第一确定子单元，具体被配置为执行：

确定预设第一步长与采样比例的乘积为第二步长；

相应的，第一选取子单元具体被配置为执行：

将所有第一余数按照大小顺序排序，并在排序后的所有第一余数中选取与第二步长对应个数的余数段，将余数段中的余数作为备选余数。

可选的，设备标识为用户设备ID。

可选的，日志信息为用户设备与服务器之间的数据流产生的日志。

相应的，第一确定单元430，包括：

第四确定子单元，被配置为执行将日志信息按照分钟粒度以及统计指标维度确定对应的采样日志信息规模；

其中，统计指标维度包括下述至少一项：用户在线量、视频播次数、视频点赞量、产品收藏量、或者产品购买量。

可选的，该日志信息的处理装置，还包括：

传输单元，被配置为在根据采样日志信息规模以及采样比例，确定所有用户设备的日志信息规模步骤之后，执行将日志信息规模传输至管理者设备，以向管理者展示日志信息规模。

可选的，第二确定单元440包括：

计算子单元，被配置为执行将采样日志信息规模除以采样比例，以计算得到日志信息规模。

可选的，选取单元410包括：

第二选取子单元，被配置为执行若检测到数据的规模等级为设定大流量的规模等级，则选取小于100％的值作为采样比例；

第三选取子单元，被配置为执行若检测到数据的规模等级为常规流量的规模等级，则将100％作为采样比例。

可选的，日志信息的处理装置，还包括：

调整单元，被配置为在根据采样日志信息规模以及采样比例，确定所有用户设备的日志信息规模步骤之后，执行根据日志信息规模将与日志信息规模对应的推荐信息进行推荐顺序调整。

关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图5是根据一示例性实施例示出的一种服务器的结构框图。如图5所示，该服务器包括处理器51；用于存储处理器51的可执行指令的存储器52，存储器52可以包括随机存取存储器(Random Access Memory，RAM)和只读存储器(Read-Only Memory，ROM)；其中，处理器51被配置为执行所述指令，以实现上述方法。

在示例性实施例中，还提供了一种包括指令的存储介质，例如存储可执行指令的存储器，上述指令可由电子设备(服务器或智能终端)的处理器执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品，当该计算机程序产品中的指令由电子设备(服务器或智能终端)的处理器执行时，实现上述方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种日志信息的处理方法，其特征在于，包括：

根据数据的规模等级确定采样比例，并根据所述采样比例，采用预设选取方式选取用户设备，作为目标用户设备；

获取所述目标用户设备的日志信息，并将所述日志信息同步至消息队列；

从所述消息队列中，获取采用所述预设选取方式选取的目标用户设备的日志信息，并确定与所述日志信息对应的采样日志信息规模；

根据所述采样日志信息规模以及所述采样比例，确定所有用户设备的日志信息规模。

2.根据权利要求1所述的日志信息的处理方法，其特征在于，所述根据所述采样比例，采用预设选取方式选取用户设备，作为目标用户设备步骤包括：

获取用户设备的设备标识，并确定所述设备标识对应的第一哈希值；

确定所述第一哈希值对预设第一步长的第一余数，并根据所述预设第一步长以及所述采样比例，确定第二步长；

根据所述第二步长从所述第一余数中选取余数作为备选余数，并确定与所述备选余数对应的设备标识，将与确定的设备标识对应的用户设备作为所述目标用户设备；

相应的，所述从所述消息队列中，获取采用所述预设选取方式选取的目标用户设备的日志信息步骤包括：

获取所述消息队列中日志信息对应的设备标识，并确定所述设备标识对应的第二哈希值；

确定所述第二哈希值对所述预设第一步长的第二余数，从所述第二余数中确定所述备选余数匹配的目标余数，并确定所述目标余数对应的目标设备标识；

从所述消息队列中，获取与所述目标设备标识对应的日志信息。

3.根据权利要求2所述的日志信息的处理方法，其特征在于，所述根据所述预设第一步长以及所述采样比例，确定第二步长步骤包括：

确定所述预设第一步长与所述采样比例的乘积为所述第二步长；

相应的，所述根据所述第二步长从所述第一余数中选取余数作为备选余数步骤包括：

将所有第一余数按照大小顺序排序，并在排序后的所有第一余数中选取与所述第二步长对应个数的余数段，将所述余数段中的余数作为所述备选余数。

4.根据权利要求1所述的日志信息的处理方法，其特征在于，所述日志信息为所述用户设备与服务器之间的数据流产生的日志；

相应的，所述确定与所述日志信息对应的采样日志信息规模步骤包括：

将所述日志信息按照分钟粒度以及统计指标维度确定对应的采样日志信息规模；

其中，所述统计指标维度包括下述至少一项：用户在线量、视频播次数、视频点赞量、产品收藏量、或者产品购买量。

5.根据权利要求4所述的日志信息的处理方法，其特征在于，在根据所述采样日志信息规模以及所述采样比例，确定所有用户设备的日志信息规模步骤之后，所述日志信息的处理方法还包括：

将所述日志信息规模传输至管理者设备，以向管理者展示所述日志信息规模。

6.根据权利要求1所述的日志信息的处理方法，其特征在于，所述根据所述采样日志信息规模以及所述采样比例，确定所有用户设备的日志信息规模步骤包括：

将所述采样日志信息规模除以所述采样比例，以计算得到所述日志信息规模。

7.根据权利要求1所述的日志信息的处理方法，其特征在于，所述根据数据的规模等级确定采样比例步骤包括：

若检测到数据的规模等级为设定大流量的规模等级，则选取小于100％的值作为采样比例；

若检测到数据的规模等级为常规流量的规模等级，则将100％作为采样比例。

8.一种日志信息的处理装置，其特征在于，包括：

选取单元，被配置为执行根据数据的规模等级确定采样比例，并根据所述采样比例，采用预设选取方式选取用户设备，作为目标用户设备；

同步单元，被配置为执行获取所述目标用户设备的日志信息，并将所述日志信息同步至消息队列；

第一确定单元，被配置为执行从所述消息队列中，获取采用所述预设选取方式选取的目标用户设备的日志信息，并确定与所述日志信息对应的采样日志信息规模；

第二确定单元，被配置为执行根据所述采样日志信息规模以及所述采样比例，确定所有用户设备的日志信息规模。

9.一种服务器，其特征在于，包括：

处理器；

用于存储所述处理器的可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的日志信息的处理方法。

10.一种存储介质，其特征在于，当所述存储介质中的指令由服务器的处理器执行时，使得所述服务器能够执行如权利要求1至7中任一项所述的日志信息的处理方法。

Images