CN111464820A - 拉取消息记录的采样方法、装置、电子设备及存储介质 - Google Patents

拉取消息记录的采样方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111464820A
CN111464820A CN202010242837.2A CN202010242837A CN111464820A CN 111464820 A CN111464820 A CN 111464820A CN 202010242837 A CN202010242837 A CN 202010242837A CN 111464820 A CN111464820 A CN 111464820A
Authority
CN
China
Prior art keywords
sampling
message record
probability
target
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010242837.2A
Other languages
English (en)
Other versions
CN111464820B (zh
Inventor
尹树成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202010242837.2A priority Critical patent/CN111464820B/zh
Publication of CN111464820A publication Critical patent/CN111464820A/zh
Application granted granted Critical
Publication of CN111464820B publication Critical patent/CN111464820B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开实施例公开了一种拉取消息记录的采样方法、装置、电子设备及存储介质。该方法包括：获取客户端的拉取消息记录；确定目标采样概率；根据所述目标采样概率对所述拉取消息记录进行随机采样。通过本公开实施例的技术方案，可以改善直播间中拉取消息记录数量较多而加重服务器的数据处理压力的问题，实现减少统计下游需要承载的计算流量的效果。

Description

拉取消息记录的采样方法、装置、电子设备及存储介质
技术领域
本公开实施例涉及互联网技术，尤其涉及一种拉取消息记录的采样方法、装置、电子设备及存储介质。
背景技术
消息是直播互动的载体，看播用户、主播和后端系统的交互大多都需要通过消息服务完成。流经消息系统的原始数据主要有两种：
1、写入的消息数据(是对写入消息的记录)，可得到消息在什么时候发、消息类型以及发送内容等信息；
2、拉取消息的拉取数据(也可称为ack数据，是对拉取消息的记录)，可得到消息在什么时候被拉取以及被谁拉取等信息。
目前实现看播时长统计的方案是在业务代码中进行埋点，通过埋点确定用户进入直播间的时间以及离开直播间的时间，从而确定用户的看播时长。通常情况下，用户拉取消息的拉取频率是1秒钟拉取1次，对于在线人数在十万甚至百万以上的热门直播间，这样的拉取频率会产生大量的拉取数据，导致上述基于用户行为变化的统计方案中，服务器每秒要处理十万甚至成百上千万数量级的拉取数据，服务器的数据处理压力较大。
发明内容
本公开实施例提供一种拉取消息记录的采样方法、装置、电子设备及存储介质，可以改善直播间中拉取消息数量较多而加重服务器的数据处理压力的问题。
第一方面，本公开实施例提供了一种拉取消息记录的采样方法，包括：
获取客户端的拉取消息记录；
确定目标采样概率；
根据所述目标采样概率对所述拉取消息记录进行随机采样。
第二方面，本公开实施例还提供了一种拉取消息记录的采样装置，该装置包括：
消息记录获取模块，用于获取客户端的拉取消息记录；
采样概率确定模块，用于确定目标采样概率；
消息记录采样模块，用于根据所述目标采样概率对所述拉取消息记录进行随机采样。
第三方面，本公开实施例还提供了一种电子设备，该电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本公开实施例提供的拉取消息记录的采样方法。
第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开实施例提供的拉取消息记录的采样方法。
本公开实施例提供一种拉取消息记录的采样方案，通过获取客户端的拉取消息记录，确定目标采样概率，并根据目标采样概率对所获取的拉取消息记录进行随机采样，可以改善直播间中拉取消息记录数量较多而加重服务器的数据处理压力的问题，实现减少统计下游需要承载的计算流量的效果。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为本公开实施例提供的一种直播系统架构图；
图2为本公开实施例提供的一种拉取消息记录的采样方法的流程图；
图3为本公开实施例提供的另一种拉取消息记录的采样方法的流程图；
图4为本公开实施例提供的一种拉取消息记录的采样方法中计算增量观播数据的方法的流程图；
图5为本公开实施例提供的一种拉取消息记录的采样装置的结构框图；
图6为本公开实施例提供的一种电子设备的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
为了便于理解，首先对本公开实施例中可能出现的名词进行解释。
离线阈值，如果用户在离线阈值规定的时间段未出现消息拉取，则认为用户已经离线。也可以认为是用户超过离线阈值规定的时间无消息拉取请求，则认为该用户不在观看直播。
拉取间隔，用户拉取消息的时间间隔，例如，拉取间隔是1秒，则离线阈值为20秒的目标时间段内有20次拉取消息。若针对每次消息的拉取消息数据采样，则有20次采样机会。
拉取时间，用户拉取消息的时间戳，例如，1573199595，表示2019/11/815:53:15。
采样概率，预期每个用户的拉取消息记录被采样到的概率。例如，采样概率1/5表示预期每个用户拉取消息记录被采样的概率是5次中采中1次。
图1为本公开实施例提供的一种直播系统架构图。如图1所示，直播系统框架包括业务接入层110、消息服务接入层120、在线处理层130、数据存储层140和离线业务层150等。其中，业务接入层110属于外网，提供数据写入和数据拉取两个独立的通道。消息服务接入层120和在线处理层130属于内网。消息服务接入层120包括消息写入入口和消息拉取入口等。在线处理层130包括分布式消息系统和数据通道等。离线业务层150包括实时流式计算、Trace系统和SaaS平台等。数据存储层140包括Redis(Remote Dictionary Server，远程字典服务)、ES(ElasticSearch，搜索服务器)、HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)、hive(数据仓库分析系统)和MySQL(数据库)等。
对于客户端的一个写入消息，经过直播业务的系统架构中的业务接入层到达内网业务的消息服务接入层中的消息写入入口(goim)，然后，透传至底层的分布式消息系统SDIM，进而，写入数据存储层。对于写入消息，通常会设置写入频控，即直播间每秒写入的消息条数不应超过写入频控指示的条数。
对于客户端的一个拉取消息的请求，经过直播业务的系统架构中的业务接入层到达内网业务的消息服务接入层中的消息拉取入口(proxyserver)，然后，透传至底层的分布式消息系统SDIM，由分布式消息系统SDIM获取消息数据。这样业务接入层的流量就是消息数据量*在线人数，即读取消息的数量被放大。
由于消息服务是直播系统的基石，所有直播间内的互动都是以消息作为载体，故由通过消息得到的数据相对于其它来源可以提供更为可靠、准确和实时的结果，因此，可以使用消息数据统计出用户连续观播的准确时间。
图2为本公开实施例提供的一种拉取消息记录的采样方法的流程图，该方法可以由拉取消息记录的采样装置来执行，该装置可由硬件和/或软件组成，并一般可以被集成于服务器等电子设备。如图2所示，该方法包括：
步骤210、获取客户端的拉取消息记录。
其中，在客户端接收消息的流程中，客户端定时由服务端拉取直播间显示所需的除流数据之外的数据。为了获得这些数据，客户端向服务端发送消息拉取请求。在拉取消息请求中会携带在线用户的关键信息，比如用户标识、直播间标识以及拉取时间等。消息拉取请求包含的关键信息可以作为拉取消息记录。例如，针对某一直播间中每个新写入的写入消息，该直播间的所有用户的客户端均会由服务端拉取该写入消息对应的数据，进而，在服务端生成多条拉取消息记录。对于一个超过十万用户的直播间，若所有用户的客户端每秒拉取一次消息，则对于每条写入消息，均有超过十万的客户端向服务端发送消息拉取请求，进而，在服务端形成超过十万的拉取消息记录。
步骤220、确定目标采样概率。
需要说明的是，在采用不同采样概率对拉取消息记录进行随机采样时，由于离线阈值不同，最终的采样误差也不相同。可以预先设置多个采样概率，作为备选采样概率。离线阈值可以是预先设定的，用于表示对同一用户的相邻两条消息拉取请求的最大容忍时间间隔。如果在离线阈值规定的时间段内未接收到某一用户的消息拉取请求，则认为该用户已经离线。例如，如果超过连续的20秒一直未接收到某一个用户A的消息拉取请求，且离线阈值设置为20s，则确定用户A已经离线。如果离线阈值设置为30s，则连续20秒未接收到某一个用户A的消息拉取请求，并不能确定该用户A已经离线。
其中，目标采样概率是实际用来进行拉取消息记录采样的采样概率，可以通过各个备选采样概率和离线阈值计算采样误差，进而从多个备选采样概率中确定与离线阈值匹配的目标采样概率。
示例性的，获取离线阈值和备选采样概率。根据该离线阈值和备选采样概率计算各个备选采样概率对应的采样误差。根据采样误差从多个备选采样概率中确定目标采样概率。其中，根据离线阈值和备选采样概率采用如下公式计算各个备选采样概率的采样误差：
采样误差＝(1-备选采样概率)离线阈值。
表1为根据不同备选采样概率和离线阈值计算的采样误差表。
Figure BDA0002433121600000071
假设统计开始时间为s秒，离线阈值是20秒，则在目标时间段(s，s+20]，中有20次采样机会，用户的拉取消息记录只要被采样到至少一次，则不同出现统计时间丢失。其中，s可以是任何小于20的自然数。对于采用概率1/5，20秒内一次都未被采样到(或称为未被统计)的概率为(1-1/5)20＝1.15％。对于采用概率1/10，20秒内一次都未被采样到(或称为未被统计)的概率为(1-1/10)20＝12.16％。对于采用概率1/15，20秒内一次都未被采样到(或称为未被统计)的概率为(1-1/15)20＝25.14％。对于采用概率5％，20秒内一次都未被采样到(或称为未被统计)的概率为(1-1/20)20＝35.85％。采用同样的方法分别计算离线阈值是30秒及60秒的采样误差。
根据上述计算结果可知，同一离线阈值而采样概率不同，则随着采样概率减少，采样误差增大；同一采样概率而离线阈值不同，则随着离线阈值的增加，采样误差减小。需要说明的是，离线阈值越大，可能会将用户未实际观看直播的时间统计在用户连续在线时长内。例如，假设离线阈值为60s，在用户退出直播间之后，在60s内再次进入该直播间观看直播，则会将未观看直播的时间也统计在用户连续观播时间内。因此，仅依据采样误差确定目标采用概率可能因为离线阈值太大而将用户未观看直播的时间也统计在内，影响统计准确度。
示例性的，根据采样误差和离线阈值从多个备选采样概率中确定与离线阈值匹配的目标采样概率。即在确定目标采样概率时，可以结合采样误差和离线阈值确定目标采样概率。也就是说，目标采样概率可能并不是采样误差最小的采样概率，而是将采样误差较小且离线阈值也不太大的采样概率作为目标采样概率。例如，假设离线阈值是30秒，则目标采样概率选择为采样误差最小值对应的备选采样概率(即表1中的1/5)。假设离线阈值是60秒，采样误差最小值是0.0002％已经趋近于零，虽然采样误差最小，但是会引入较大的统计误差，因此不选择其对应的备选采样概率作为目标采样概率，而是选择次最小值对应的备选采样概率(即表1中的1/10)作为目标采样概率。
步骤230、根据所述目标采样概率对所述拉取消息记录进行随机采样。
本实施例中，对拉取消息记录进行采样可以是从数量庞大的拉取消息记录中选择部分拉取消息记录作为样本数据，以根据样本数据确定直播间的在线用户数。
示例性的，对拉取消息记录进行随机采样可以是按照目标采样概率对拉取消息记录进行随机采样。对于每个被采样的拉取消息记录，获取用户标识、直播间标识和拉取时间等信息作为该条拉取消息记录对应的样本数据。
由于在线用户数统计是按照预设周期统计直播间内的在线用户数的，以统计开始时间和预设周期确定每次更新拉取消息记录的更新时间，进而，将更新时间作为每次采样的开始时间，根据该开始时间和离线阈值确定进行随机采样的目标时间段。然后，基于目标采样概率对目标时间段内的拉取消息记录进行随机采样。以表1为例，目标时间段是开始时间s和离线阈值构成的时间区间，例如，目标时间段可以是(s，s+20]、(s，s+30]或(s，s+60]等。
本公开实施例的技术方案，通过获取客户端对每条消息的拉取消息记录，根据采样误差由预先设置的多个备选采样概率中确定目标采样概率，根据目标采样概率对拉取消息记录进行随机采样，可以改善直播间中拉取消息记录数量较多而加重服务器的数据处理压力的问题，实现减少统计下游需要承载的计算流量的效果。
图3为本公开实施例提供的另一种拉取消息记录的采样方法的流程图，如图3所示，该方法包括：
步骤310、获取客户端的拉取消息记录。
步骤320、获取离线阈值和备选采样概率。
步骤330、根据所述离线阈值和备选采样概率计算各个所述备选采样概率对应的采样误差。
步骤340、根据所述采样误差和离线阈值从所述备选采样概率中确定目标采样概率。
步骤350、根据统计开始时间和所述离线阈值确定目标时间段，根据所述目标采样概率对所述目标时间段内的拉取消息记录进行随机采样。
步骤360、基于随机采样结果判断在所述目标时间段内是否采样到用户的新的拉取消息记录，若是，则执行步骤370，否则执行步骤380。
示例性的，拉取消息记录包括用户标识、直播间标识和拉取时间。若某一用户最后一次拉取消息记录的拉取时间之后，超过离线阈值对应的时间仍然未出现该用户的新的拉取消息记录，则执行步骤370，否则执行步骤380。
步骤370、确定采样到拉取消息记录的用户是在线用户，根据所述在线用户在当前直播间的最后一次拉取消息记录更新统计结束时间，根据所述统计结束时间和当前直播间的第一次拉取消息记录确定用户在线时长。
步骤380、确定未采样到拉取消息记录的目标用户是离线用户，根据所述离线用户在最后访问的直播间的最后一次拉取消息记录和第一次拉取消息记录确定历史在线时长。
需要说明的是，用户可以包括在线用户和离线用户。可以将在直播间内连续浏览的用户称为在线用户，而将离开直播间(即未在任意直播间浏览)的用户称为离线用户。相应地，用户在至少一个直播间内连续观看直播的时间长度是用户在线时长。需要说明的是，用户在线时长可能是在一个直播间内连续观看直播的时间长度，也可能是分别在多个直播间内连续观看直播的时间长度的集合。通过不同类型的数据库存储用户实时连续观播时长和历史观播时长。示例性的，对于在多个直播间内连续观看直播的情况，可以将用户在当前直播间的连续观播时长作为用户实时连续观播时长，而在其它直播间内的连续观播时长作为历史观播时长。
图4为本公开实施例提供的一种拉取消息记录的采样方法中计算增量观播数据的方法的流程图。计算增量观播数据的方法如下：
数据收集——通过proxyserver，即客户端拉取数据的服务器，将ack数据写入kafka，这个数据是需要保留全量。
通过Flink进行基于窗口的增量数据计算。
1.以10s为一个计算周期，以每个user_id为key存储ack数据；
2.定义30s为离线阈值，如果超过30s未接收到该user_id的新的拉取消息数据，则视该用户离线；
3.找到在该计算周期内fetch_time最小和最大的ack数据，分别用start_ack和end_ack表示在该计算周期第一次和最后一次拉取消息记录，两者可能相同；
4.在Flink中记录了每个用户的在线时长信息。
5.如果该用户在Flink没有记录，则设置onlineTime为end_ack.fetch_time-start_ack.fatch_time；
6.如果该用户在Flink有记录，则设置onlineTime为零；
7.更新lastUpdate为end_ack的fetch_time，设置onlineTime为fetch_time-start_ack.fatch_time。
如图4所示，Proxyserver获取消息拉取记录，通过Flink计算增量观播数据，增量观播数据通过consumer消费处理，将最新连续观播数据存入redis，将历史连续观播数据存储到hive，并且，将redis中的次新连续观播数据迁移至hive进行保存。其中，次新连续观播数据可以是用户切换直播间前访问的直播间的观播数据。例如，假如用户在A房间连续停留了一段时间，然后切换到了B房间观看直播，则在A房间的观播数据就是次新连续观播数据，B房间的观播数据就是当前的连续观播数据。
另外，web服务提供的API可以由redis实时读取用户当前在某个直播间内的连续观播数据，并发送连续观播数据给订阅了在线时长统计结果的服务器。其中，订阅了在线时长统计结果的服务器根据该连续观播数据向该用户提供其它服务。例如，观播时长超过设定阈值的用户，可以获得奖励或参加某些活动等。
本公开实施例的技术方案，通过对直播间的所有用户每次拉取消息的拉取消息记录进行随机采样，减少了基于拉取消息记录计算用户连续在线时长或历史采样时长的服务器所承载的计算流量，提升了系统性能。
图5为本公开实施例提供的一种拉取消息记录的采样装置的结构框图，所述装置可以通过执行拉取消息记录的采样方法减轻服务器的数据处理压力。该装置可由软件和/或硬件实现，并通常集成于服务器等电子设备中。如图5所示，该装置包括：
消息记录获取模块510，用于获取客户端的拉取消息记录；
采样概率确定模块520，用于确定目标采样概率；
消息记录采样模块530，用于根据所述目标采样概率对所述拉取消息记录进行随机采样。
本公开实施例提供的拉取消息记录的采样装置为实现拉取消息记录的采样方法，该拉取消息记录的采样装置的实现原理与技术效果与拉取消息记录的采样方法类似，此处不再赘述。
图6为本公开实施例提供的一种电子设备的结构框图。下面参考图6，其示出了适于用来实现本公开实施例的电子设备600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置606加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置606；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置606被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取客户端对每条消息的拉取消息记录；确定目标采样概率，根据所述目标采样概率对所述拉取消息记录进行随机采样。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，提供了一种拉取消息记录的采样方法，其中，确定目标采样概率，根据所述目标采样概率对所述拉取消息记录进行随机采样，包括：
获取离线阈值和备选采样概率；
根据所述离线阈值和备选采样概率计算各个所述备选采样概率对应的采样误差；
根据所述采样误差从所述备选采样概率中确定所述目标采样概率。
根据本公开的一个或多个实施例，提供了一种拉取消息记录的采样方法，其中，根据所述离线阈值和备选采样概率采用如下公式计算各个所述备选采样概率对应的采样误差：
采样误差＝(1-备选采样概率)离线阈值。
根据本公开的一个或多个实施例，提供了一种拉取消息记录的采样方法，其中，根据所述采样误差从所述备选采样概率中确定所述目标采样概率，包括：
根据所述采样误差和离线阈值从所述备选采样概率中确定目标采样概率。
根据本公开的一个或多个实施例，提供了一种拉取消息记录的采样方法，其中，根据所述目标采样概率对所述拉取消息记录进行随机采样，包括：
根据统计开始时间和所述离线阈值确定目标时间段，根据所述目标采样概率对所述目标时间段内的拉取消息记录进行随机采样。
根据本公开的一个或多个实施例，提供了一种拉取消息记录的采样方法，在根据所述目标采样概率对所述目标时间段内的拉取消息记录进行随机采样之后，还包括：
基于随机采样结果判断在所述目标时间段内是否采样到用户的新的拉取消息记录；
若是，则确定采样到新的拉取消息记录的用户是在线用户，根据所述在线用户在当前直播间的最后一次拉取消息记录更新统计结束时间，根据所述统计结束时间和当前直播间的第一次拉取消息记录确定用户在线时长；
若否，则确定未采样到新的拉取消息记录的用户是离线用户，根据所述离线用户在最后访问的直播间的最后一次拉取消息记录和第一次拉取消息记录确定历史在线时长。
根据本公开的一个或多个实施例，提供了一种拉取消息记录的采样装置，其中，采样概率确定模块包括：
概率获取子模块，用于获取离线阈值和备选采样概率；
采样误差计算子模块，用于根据所述离线阈值和所述备选采样概率计算各个所述备选采样概率对应的采样误差；
采样概率确定子模块，用于根据所述采样误差从所述备选采样概率中确定所述目标采样概率。
根据本公开的一个或多个实施例，提供了一种拉取消息记录的采样装置，其中，根据所述离线阈值和备选采样概率采用如下公式计算各个所述备选采样概率对应的采样误差：
采样误差＝(1-备选采样概率)离线阈值。
根据本公开的一个或多个实施例，提供了一种拉取消息记录的采样装置，其中，采样概率确定子模块具体用于：
根据所述采样误差和所述离线阈值从所述备选采样概率中确定目标采样概率。
根据本公开的一个或多个实施例，提供了一种拉取消息记录的采样装置，其中，消息记录采样模块具体用于：
根据统计开始时间和所述离线阈值确定目标时间段，根据所述目标采样概率对所述目标时间段内的拉取消息记录进行随机采样。
根据本公开的一个或多个实施例，提供了一种拉取消息记录的采样装置，其中，该装置还包括：
在线时长确定模块，用于在根据所述目标采样概率对所述目标时间段内的拉取消息记录进行随机采样之后，基于随机采样结果判断在所述目标时间段内是否采样到用户的新的拉取消息记录；
若是，则确定采样到新的拉取消息记录的用户是在线用户，根据所述在线用户在当前直播间的最后一次拉取消息记录更新统计结束时间，根据所述统计结束时间和当前直播间的第一次拉取消息记录确定用户在线时长；
若否，则确定未采样到新的拉取消息记录的用户是离线用户，根据所述离线用户在最后访问的直播间的最后一次拉取消息记录和第一次拉取消息记录确定历史在线时长。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (13)

1.一种拉取消息记录的采样方法，其特征在于，包括：
获取客户端的拉取消息记录；
确定目标采样概率；
根据所述目标采样概率对所述拉取消息记录进行随机采样。
2.根据权利要求1所述的方法，其特征在于，确定目标采样概率，包括：
获取离线阈值和备选采样概率；
根据所述离线阈值和所述备选采样概率计算各个所述备选采样概率对应的采样误差；
根据所述采样误差从所述备选采样概率中确定所述目标采样概率。
3.根据权利要求2所述的方法，其特征在于，根据所述离线阈值和备选采样概率采用如下公式计算各个所述备选采样概率对应的采样误差：
采样误差＝(1-备选采样概率)离线阈值。
4.根据权利要求2所述的方法，其特征在于，根据所述采样误差从所述备选采样概率中确定所述目标采样概率，包括：
根据所述采样误差和所述离线阈值从所述备选采样概率中确定所述目标采样概率。
5.根据权利要求4所述的方法，其特征在于，根据所述目标采样概率对所述拉取消息记录进行随机采样，包括：
根据统计开始时间和所述离线阈值确定目标时间段，根据所述目标采样概率对所述目标时间段内的拉取消息记录进行随机采样。
6.根据权利要求5所述的方法，其特征在于，在根据所述目标采样概率对所述目标时间段内的拉取消息记录进行随机采样之后，还包括：
基于随机采样结果判断在所述目标时间段内是否采样到用户的新的拉取消息记录；
若是，则确定采样到新的拉取消息记录的用户是在线用户，根据所述在线用户在当前直播间的最后一次拉取消息记录更新统计结束时间，根据所述统计结束时间和当前直播间的第一次拉取消息记录确定用户在线时长；
若否，则确定未采样到新的拉取消息记录的用户是离线用户，根据所述离线用户在最后访问的直播间的最后一次拉取消息记录和第一次拉取消息记录确定历史在线时长。
7.一种拉取消息记录的采样装置，其特征在于，包括：
消息记录获取模块，用于获取客户端的拉取消息记录；
采样概率确定模块，用于确定目标采样概率；
消息记录采样模块，用于根据所述目标采样概率对所述拉取消息记录进行随机采样。
8.根据权利要求6所述的装置，其特征在于，所述采样概率确定模块包括：
概率获取子模块，用于获取离线阈值和备选采样概率；
采样误差计算子模块，用于根据所述离线阈值和所述备选采样概率计算各个所述备选采样概率对应的采样误差；
采样概率确定子模块，用于根据所述采样误差从所述备选采样概率中确定所述目标采样概率。
9.根据权利要求8所述的装置，其特征在于，所述采样概率确定子模块具体用于：
根据所述采样误差和所述离线阈值从所述备选采样概率中确定所述目标采样概率。
10.根据权利要求9所述的装置，其特征在于，所述消息记录采样模块具体用于：
根据统计开始时间和所述离线阈值确定目标时间段，根据所述目标采样概率对所述目标时间段内的拉取消息记录进行随机采样。
11.根据权利要求10所述的装置，其特征在于，还包括：
在线时长确定模块，用于在根据所述目标采样概率对所述目标时间段内的拉取消息记录进行随机采样之后，基于随机采样结果判断在所述目标时间段内是否采样到用户的新的拉取消息记录；
若是，则确定采样到新的拉取消息记录的用户是在线用户，根据所述在线用户在当前直播间的最后一次拉取消息记录更新统计结束时间，根据所述统计结束时间和当前直播间的第一次拉取消息记录确定用户在线时长；
若否，则确定未采样到新的拉取消息记录的用户是离线用户，根据所述离线用户在最后访问的直播间的最后一次拉取消息记录和第一次拉取消息记录确定历史在线时长。
12.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一项所述的拉取消息记录的采样方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一项所述的拉取消息记录的采样方法。
CN202010242837.2A 2020-03-31 2020-03-31 拉取消息记录的采样方法、装置、电子设备及存储介质 Active CN111464820B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010242837.2A CN111464820B (zh) 2020-03-31 2020-03-31 拉取消息记录的采样方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010242837.2A CN111464820B (zh) 2020-03-31 2020-03-31 拉取消息记录的采样方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111464820A true CN111464820A (zh) 2020-07-28
CN111464820B CN111464820B (zh) 2022-05-10

Family

ID=71678462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010242837.2A Active CN111464820B (zh) 2020-03-31 2020-03-31 拉取消息记录的采样方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111464820B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113422969A (zh) * 2021-05-25 2021-09-21 北京达佳互联信息技术有限公司 信息拉取方法、装置及服务器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170193109A1 (en) * 2015-12-31 2017-07-06 Yahoo! Inc. On-line content sampling
CN109688421A (zh) * 2018-12-28 2019-04-26 广州华多网络科技有限公司 请求消息处理方法、装置及系统、服务器、存储介质
CN110493075A (zh) * 2019-08-01 2019-11-22 京信通信系统（中国）有限公司 设备在线时长监测的方法、装置及系统
CN110708237A (zh) * 2019-10-30 2020-01-17 北京字节跳动网络技术有限公司 消息交互方法、装置、可读介质及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170193109A1 (en) * 2015-12-31 2017-07-06 Yahoo! Inc. On-line content sampling
CN109688421A (zh) * 2018-12-28 2019-04-26 广州华多网络科技有限公司 请求消息处理方法、装置及系统、服务器、存储介质
CN110493075A (zh) * 2019-08-01 2019-11-22 京信通信系统（中国）有限公司 设备在线时长监测的方法、装置及系统
CN110708237A (zh) * 2019-10-30 2020-01-17 北京字节跳动网络技术有限公司 消息交互方法、装置、可读介质及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113422969A (zh) * 2021-05-25 2021-09-21 北京达佳互联信息技术有限公司 信息拉取方法、装置及服务器
CN113422969B (zh) * 2021-05-25 2023-08-08 北京达佳互联信息技术有限公司 信息拉取方法、装置及服务器

Also Published As

Publication number Publication date
CN111464820B (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
CN111372130B (zh) 一种用户在线时长统计方法、装置、电子设备及存储介质
CN111414516A (zh) 一种直播间消息处理方法、装置、电子设备及存储介质
CN111339495B (zh) 直播间在线人数的统计方法、装置、电子设备及存储介质
CN112559475A (zh) 数据实时捕获和传输方法及系统
CN113760674A (zh) 信息生成方法、装置、电子设备和计算机可读介质
CN111163336B (zh) 视频资源推送方法、装置、电子设备及计算机可读介质
CN114461792A (zh) 告警事件关联方法、装置、电子设备、介质及程序产品
CN111464820B (zh) 拉取消息记录的采样方法、装置、电子设备及存储介质
CN113760982B (zh) 一种数据处理方法和装置
CN112330059A (zh) 用于生成预测分数的方法、装置、电子设备和介质
CN111225255B (zh) 目标视频推送播放方法、装置、电子设备及存储介质
CN110737691B (zh) 用于处理访问行为数据的方法和装置
CN114579416B (zh) 一种指标确定方法、装置、服务器和介质
CN114257521B (zh) 流量预测方法、装置、电子设备和存储介质
CN111405323B (zh) 拉取消息记录的采样方法、装置、电子设备及介质
CN111949678A (zh) 跨时间窗口的非累加指标的处理方法和装置
CN109408716B (zh) 用于推送信息的方法和设备
CN113762581A (zh) 活动人数预测模型生成方法、装置、电子设备和介质
CN109982143B (zh) 一种确定视频播放时延的方法、装置、介质及设备
CN112115154A (zh) 数据处理和数据查询方法、装置、设备和计算机可读介质
CN112749204A (zh) 一种读取数据的方法和装置
CN110875949A (zh) 用于推送信息的方法和装置
CN117692672B (zh) 基于快照的视频信息发送方法、装置、电子设备和介质
CN113190745B (zh) 信息发送方法、装置、电子设备和计算机可读介质
CN113573106B (zh) 用于多媒体信息的模型更新方法、装置及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant