CN110309141B - 一种直播间数据量统计方法、存储介质、设备及系统 - Google Patents

Abstract

本发明公开了一种直播间数据量统计方法、存储介质、设备及系统，涉及数据统计技术领域，该方法包括以下步骤：捕捉直播间实时搜索行为数据；记录每次出现实时搜索行为数据时，实时搜索行为数据对应的当前时间戳；结合当前时间戳，对实时搜索行为数据添加时间标记，时间标记用于表示实时搜索行为数据所对应的当前时间戳；利用哈希表存储当前时间戳；统计哈希表中在预设的数据统计时间段内当前时间戳所对应的实时搜索行为数据的个数。本发明能够快速进行数据量的统计，提高工作效率，缩短工作所消耗的时间。

Description

一种直播间数据量统计方法、存储介质、设备及系统

技术领域

本发明涉及数据统计技术领域，具体涉及一种直播间数据量统计方法、存储介质、设备及系统。

背景技术

随着网络技术的发展，直播行业也迎来了兴盛，由于直播领域种类繁多，实时时间区间统计的需求是必不可少的，从而对直播间的数据情况进行了解；

传统的统计方式是去实时去查落地的弹幕表或者搜索行为表，根据时间戳进行聚合，进而进行统计；

传统的统计方式可以实现功能，但是效率低下，且对数据库的压力较大，尤其是若对每个直播间进行实时展示时，那么此时巨大的查询流量会对数据库产出较大的工作负担，使得直播工作受到影响。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种直播间数据量统计方法、存储介质、设备及系统，能够快速进行数据量的统计，提高工作效率，缩短工作所消耗的时间。

为达到以上目的，本发明采取的技术方案是：

一种直播间数据量统计方法，该方法包括以下步骤：

捕捉直播间实时搜索行为数据；

记录每次出现所述实时搜索行为数据时，所述实时搜索行为数据对应的当前时间戳；

结合所述当前时间戳，对所述实时搜索行为数据添加时间标记，所述时间标记用于表示所述实时搜索行为数据所对应的所述当前时间戳；

利用哈希表存储所述当前时间戳；

统计所述哈希表中在预设的数据统计时间段内当前时间戳所对应的所述实时搜索行为数据的个数；

所述统计所述哈希表中在预设的数据统计时间段内当前时间戳所对应的所述实时搜索行为数据的个数中，包括以下步骤：

创建一搜索行为统计数据，其配置一定位时间戳，所述搜索行为统计数据用于记录所述实时搜索行为数据的个数；

将所述实时搜索行为数据所对应的所述当前时间戳与所述搜索行为统计数据对应的所述定位时间戳进行比对；

若两者相等，则对所述搜索行为统计数据的数值进行加一操作；

若两者不相等，则利用所述实时搜索行为数据所对应的所述当前时间戳对应的时间值更新所述定位时间戳，清零所述搜索行为统计数据的数值并进行加一操作。

在上述技术方案的基础上，该方法在统计所述实时搜索行为数据的个数前还包括以下步骤：

判断所述当前时间戳的合法性。

在上述技术方案的基础上，添加所述时间标记具体包括以下步骤：

将所述数据统计时间段的时长记作N，将所述当前时间戳对N取模，获得数值x，所述x为所述时间标记的值。

在上述技术方案的基础上，获取所述时间标记的公式为：

x＝timestamp％N；

所述x为所述时间标记，所述timestamp为所述时间戳的时间数值，所述％代表做取模计算。

本发明还公开了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述直播间数据量统计方法的步骤。

本发明还公开了一种直播间数据量统计设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述直播间数据量统计方法的步骤。

本发明还公开了一种直播间数据量统计系统，该系统包括：

搜索行为捕捉单元，其用于捕捉直播间实时搜索行为数据；

时间记录单元，其用于记录每次出现所述实时搜索行为数据时，所述实时搜索行为数据对应的当前时间戳；

时间标记单元，其用于结合所述当前时间戳，对所述实时搜索行为数据添加时间标记，所述时间标记用于表示所述实时搜索行为数据所对应的所述当前时间戳；

时间戳存储单元，其用于利用哈希表存储所述当前时间戳；

数量统计单元，其用于统计所述哈希表中满足预设的数据统计时间段的所述当前时间戳所对应的所述实时搜索行为数据的个数；

所述数量统计单元还用于创建一搜索行为统计数据，其配置一定位时间戳，所述搜索行为统计数据用于记录所述实时搜索行为数据的个数；

所述数量统计单元还用于将所述实时搜索行为数据所对应的所述当前时间戳与所述搜索行为统计数据对应的所述定位时间戳进行比对，若两者相等，则对所述搜索行为统计数据的数值进行加一操作，若两者不相等，则利用所述实时搜索行为数据所对应的所述当前时间戳对应的时间值更新所述定位时间戳，清零所述搜索行为统计数据的数值并进行加一操作。

在上述技术方案的基础上，所述系统还包括：

时间合法判断单元，其用于判断所述当前时间戳的合法性。

在上述技术方案的基础上，所述时间标记单元在添加所述时间标记时，将所述数据统计时间段的时长记作N，将所述当前时间戳对N取模，获得数值x，所述x为所述时间标记的值。

在上述技术方案的基础上，所述时间标记单元内存储有用于获取所述时间标记的公式，所述公式为：

x＝timestamp％N；

所述x为所述时间标记，所述timestamp为所述时间戳的时间数值，所述％代表做取模计算。

与现有技术相比，本发明的优点在于：

(1)本发明记录各实时搜索行为数据所对应的当前时间戳，并结合当前时间戳对各实时搜索行为数据添加时间标记，进而只需要统计在预设的数据统计时间段内的当前时间戳所对应的实时搜索行为数据的个数，即可对直播间的数据量进行统计；

与现有技术相比，本发明能够快速进行数据量的统计，提高工作效率，缩短工作所消耗的时间。

(2)本发明利用哈希表存储当前时间戳，便于在直播间的数据量较大时，进行快速的统计；

与现有技术相比，本发明使得数据统计时，数据处理过程更迅速，从而提高了工作效率。

附图说明

图1为本发明实施例中直播间数据量统计方法的流程图；

图2为本发明实施例中直播间综合评价设备的结构框图；

图3为本发明实施例中直播间综合评价系统的结构框图。

具体实施方式

以下结合附图对本发明的实施例作进一步详细说明。

参见图1所示，本发明实施例提供一种直播间数据量统计方法，包括以下步骤：

S1、捕捉直播间实时搜索行为数据；

S2、记录每次出现实时搜索行为数据时，实时搜索行为数据对应的当前时间戳；

S3、结合当前时间戳，对实时搜索行为数据添加时间标记，时间标记用于表示实时搜索行为数据所对应的当前时间戳；

S4、利用哈希表存储当前时间戳；

S5、统计哈希表中在预设的数据统计时间段内当前时间戳所对应的实时搜索行为数据的个数。

本发明记录各实时搜索行为数据所对应的当前时间戳，并结合当前时间戳对各实时搜索行为数据添加时间标记，进而只需要统计在预设的数据统计时间段内的当前时间戳所对应的实时搜索行为数据的个数，即可对直播间的数据量进行统计，并且本发明利用哈希表存储当前时间戳，便于在直播间的数据量较大时，进行快速的统计；

本发明结合实时搜索对应的当前时间戳配合哈希表，快速进行数据量的统计，提高工作效率，缩短工作所消耗的时间。

其中，reids是一种高效的缓存数据技术，读写频率较高，而其哈希表使得数据统计时，数据处理过程更迅速，从而提高工作效率。

本实施例中，该方法在统计实时搜索行为数据的个数前还包括以下步骤：

判断当前时间戳的合法性。

本实施例中，添加时间标记具体包括以下步骤：

将数据统计时间段的时长记作N，将当前时间戳对N取模，获得数值x，x为时间标记的值。

本实施例中，获取时间标记的公式为：

x＝timestamp％N；

x为时间标记，timestamp为时间戳的时间数值，％代表做取模计算。

其中，假设需要统计直播间N分钟实时搜索量，当一条实时搜索行为数据流入storm后，首先用当前时间戳timestamp(UNIX时间戳)对N取模，得到数据下标x，公式如下：

x＝timestamp％N；

此时，x的值必定是在区间[0-N-1]中，利用这个特性，可以将所有实时数据落在这个区间中，然后根据x值判定数据哪一分钟的数据，然后对分钟级别的数据进行累加处理。

需要说明的是，本发明利用Redis的hash结构即哈希表存储x对应的时间戳，每个直播间因为要统计最近N分钟的数据，故而需要判定时间合法性，假定当前时间戳为timastamp，而判断时间合法性的Redis伪代码如下(其中room_id假设为直播间Id)：

HSET{room_id}_X_timestamp x timestamp

在判断timestamp时间合法性后，利用Redis的string结构，对数据进行加1，算法伪代码如下：

该段算法简要说明如下：

首先该房间x时期的定位时间戳为r_timestamp，然后和当前数据发生时间的时间戳timestamp进行对比，如果不相等，说明距离上次x时期已经过完一个时间周期N，则更新房间x时期的时间戳为当前的时间戳timestamp，并采用Redis的原子操作SETEX将当前房间的流水数据设置为1，同时设置过期时间为300秒；如果相等，则认为是同一个时间段发生的数据行为，则直接在当前房间流水数据上加1。

上述为实时用户行为数据落入时间区间的算法操作，该算法保证数据实时区间统计精确的基础上，屏蔽了客户端(即数据提取方)的时间处理操作。

另外，在直播间客户端提取数据时无需计算当前时间和取数时间范围，利用简单的Redis命令即可方便提取数据，公式如下：

∑MGET{room_id}_0{room_id}_1{room_id}_2{room_id}_3{room_id}_4；

公式说明：MGET是Redis中进行批量查询字符串类型key的值的命令，而{room_id}_0{room_id}_1{room_id}_2{room_id}_3{room_id}_4则分别是距离当前时刻最近五分钟的每分钟的数据流水量的Redis key，其值为具体的数据量。

此公式为N＝5时的情况，当N为其他值时则进行类推：∑MGET{room_id}_0{room_id}_1{room_id}_2...{room_id}_N-1。

基于此，一套基于流数据的实时时间区间数据统计的架构已经完成，这套架构以消息队列和storm流处理框架为数据接入基础，结合Redis和string和hash数据结构，并提出基于时间戳取模定位下标算法，实时、高效的统计的用户实时行为次数，并依据算法本身的优势提供了轻量级的客户端api，使用方便，同时易于扩展，可根据功能需求实时改变取模的因子，动态扩充时间区间，基于Redis非关系型数据库，面对海量数据时，也可以通过Redis分片，提高数据容量和处理能力。

需要说明的是，首先用户的实时行为、如弹幕、搜索、点击等，在落入mysql数据库前，需写入消息队列如Kafka或RocketMQ，并对每种行为建立独立topic，在Storm的spout数据接入层，接入消息队列的topic，此时完成了实时消息的接入，从而便于获取实时搜索行为数据；

其中，Kafka、RocketMQ是消息中间件，在生产者消费者模型中充当消息从产出到被消费的一个中间托管平台；topic是Kafka或RocketMQ的消息主题，每条消息一定会有个主题，方便消费者订阅消费；Storm是流式消息处理框架，用于从消息中间件接入源源不断的消息并进行处理，spout则是Storm的数据接入组件。

在数据量统计时，最主要的是消息的处理和存储数据结构和算法的考量，由于是实时区间数据，且历史数据无需进行统计和留存，最重要的是处理性能强，数据提取方便；

本发明采用Redis的hash结构来存储时间戳，string结构存储实时数据。

本发明实施例还提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述直播间数据量统计方法的步骤。

参见图2所示，本发明实施例还提供一种直播间数据量统计设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，处理器执行计算机程序时实现上述直播间数据量统计方法的步骤。

参见图3所示，本发明实施例还提供一种直播间数据量统计系统，该系统包括：

搜索行为捕捉单元，其用于捕捉直播间实时搜索行为数据；

时间记录单元，其用于记录每次出现实时搜索行为数据时，实时搜索行为数据对应的当前时间戳；

时间标记单元，其用于结合当前时间戳，对实时搜索行为数据添加时间标记，时间标记用于表示实时搜索行为数据所对应的当前时间戳；

时间戳存储单元，其用于利用哈希表存储当前时间戳；

数量统计单元，其用于统计哈希表中在预设的数据统计时间段内当前时间戳所对应的实时搜索行为数据的个数。

本发明利用搜索行为捕捉单元捕捉各直播间实时搜索行为数据，利用时间记录单元记录各实时搜索行为数据所对应的当前时间戳，并通过时间标记单元结合当前时间戳对各实时搜索行为数据添加时间标记，进而数量统计单元只需要统计在预设的数据统计时间段内的当前时间戳所对应的实时搜索行为数据的个数，即可对直播间的数据量进行统计，并且本发明利用哈希表存储当前时间戳，便于在直播间的数据量较大时，进行快速的统计；

本发明结合实时搜索对应的当前时间戳配合哈希表，快速进行数据量的统计，提高工作效率，缩短工作所消耗的时间。

本实施例中，系统还包括：

时间合法判断单元，其用于判断当前时间戳的合法性。

本实施例中，时间标记单元在添加时间标记时，将数据统计时间段的时长记作N，将当前时间戳对N取模，获得数值x，x为时间标记的值。

本实施例中，时间标记单元内存储有用于获取时间标记的公式，公式为：

x＝timestamp％N；

x为时间标记，timestamp为时间戳的时间数值，％代表做取模计算。

其中，假设需要统计直播间N分钟实时搜索量，当一条实时搜索行为数据流入storm后，首先用当前时间戳timestamp(UNIX时间戳)对N取模，得到数据下标x，公式如下：

x＝timestamp％N；

此时，x的值必定是在区间[0-N-1]中，利用这个特性，可以将所有实时数据落在这个区间中，然后根据x值判定数据哪一分钟的数据，然后对分钟级别的数据进行累加处理。

需要说明的是，本发明利用Redis的hash结构即哈希表存储x对应的时间戳，每个直播间因为要统计最近N分钟的数据，故而需要判定时间合法性，假定当前时间戳为timastamp，而判断时间合法性的Redis伪代码如下(其中room_id假设为直播间Id)：

HSET{room_id}_X_timestamp x timestamp

在判断timestamp时间合法性后，利用Redis的string结构，对数据进行加1，算法伪代码如下：

该段算法简要说明如下：

首先该房间x时期的定位时间戳为r_timestamp，然后和当前数据发生时间的时间戳timestamp进行对比，如果不相等，说明距离上次x时期已经过完一个时间周期N，则更新房间x时期的时间戳为当前的时间戳timestamp，并采用Redis的原子操作SETEX将当前房间的流水数据设置为1，同时设置过期时间为300秒；如果相等，则认为是同一个时间段发生的数据行为，则直接在当前房间流水数据上加1。

上述为实时用户行为数据落入时间区间的算法操作，该算法保证数据实时区间统计精确的基础上，屏蔽了客户端(即数据提取方)的时间处理操作。

另外，在直播间客户端提取数据时无需计算当前时间和取数时间范围，利用简单的Redis命令即可方便提取数据，公式如下：

∑MGET{room_id}_0{room_id}_1{room_id}_2{room_id}_3{room_id}_4；此公式为N＝5时的情况，当N为其他值时则进行类推：∑MGET{room_id}_0{room_id}_1{room_id}_2...{room_id}_N-1。

公式说明：MGET是Redis中进行批量查询字符串类型key的值的命令，而{room_id}_0{room_id}_1{room_id}_2{room_id}_3{room_id}_4则分别是距离当前时刻最近五分钟的每分钟的数据流水量的Redis key，其值为具体的数据量。

基于此，一套基于流数据的实时时间区间数据统计的架构已经完成，这套架构以消息队列和storm流处理框架为数据接入基础，结合Redis和string和hash数据结构，并提出基于时间戳取模定位下标算法，实时、高效的统计的用户实时行为次数，并依据算法本身的优势提供了轻量级的客户端api，使用方便，同时易于扩展，可根据功能需求实时改变取模的因子，动态扩充时间区间，基于Redis非关系型数据库，面对海量数据时，也可以通过Redis分片，提高数据容量和处理能力。

需要说明的是：上述实施例提供的系统在实现直播间数据量统计系统操作时，仅以上述各功能模块的划分进行举例说明，实际应用中，可根据需要而将上述功能分配由不同功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

本发明不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。

本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (10)

1.一种直播间数据量统计方法，其特征在于，该方法包括以下步骤：

捕捉直播间实时搜索行为数据；

记录每次出现所述实时搜索行为数据时，所述实时搜索行为数据对应的当前时间戳；

结合所述当前时间戳，对所述实时搜索行为数据添加时间标记，所述时间标记用于表示所述实时搜索行为数据所对应的所述当前时间戳；

利用哈希表存储所述当前时间戳；

统计所述哈希表中在预设的数据统计时间段内当前时间戳所对应的所述实时搜索行为数据的个数；

所述统计所述哈希表中在预设的数据统计时间段内当前时间戳所对应的所述实时搜索行为数据的个数中，包括以下步骤：

创建一搜索行为统计数据，其配置一定位时间戳，所述搜索行为统计数据用于记录所述实时搜索行为数据的个数；

将所述实时搜索行为数据所对应的所述当前时间戳与所述搜索行为统计数据对应的所述定位时间戳进行比对；

若两者相等，则对所述搜索行为统计数据的数值进行加一操作；

若两者不相等，则利用所述实时搜索行为数据所对应的所述当前时间戳对应的时间值更新所述定位时间戳，清零所述搜索行为统计数据的数值并进行加一操作。

2.如权利要求1所述的直播间数据量统计方法，其特征在于，该方法在统计所述实时搜索行为数据的个数前还包括以下步骤：

判断所述当前时间戳的合法性。

3.如权利要求1所述的直播间数据量统计方法，其特征在于，添加所述时间标记具体包括以下步骤：

将所述数据统计时间段的时长记作N，将所述当前时间戳对N取模，获得数值x，所述x为所述时间标记的值。

4.如权利要求3所述的直播间数据量统计方法，其特征在于，获取所述时间标记的公式为：

x＝timestamp％N；

所述x为所述时间标记，所述timestamp为所述时间戳的时间数值，所述％代表做取模计算。

5.一种存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现上述权利要求1至4中任一项所述方法的步骤。

6.一种直播间数据量统计设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现上述权利要求1至4中任一项所述方法的步骤。

7.一种直播间数据量统计系统，其特征在于，该系统包括：

搜索行为捕捉单元，其用于捕捉直播间实时搜索行为数据；

时间记录单元，其用于记录每次出现所述实时搜索行为数据时，所述实时搜索行为数据对应的当前时间戳；

时间标记单元，其用于结合所述当前时间戳，对所述实时搜索行为数据添加时间标记，所述时间标记用于表示所述实时搜索行为数据所对应的所述当前时间戳；

时间戳存储单元，其用于利用哈希表存储所述当前时间戳；

数量统计单元，其用于统计所述哈希表中满足预设的数据统计时间段的所述当前时间戳所对应的所述实时搜索行为数据的个数；

所述数量统计单元还用于创建一搜索行为统计数据，其配置一定位时间戳，所述搜索行为统计数据用于记录所述实时搜索行为数据的个数；

所述数量统计单元还用于将所述实时搜索行为数据所对应的所述当前时间戳与所述搜索行为统计数据对应的所述定位时间戳进行比对，若两者相等，则对所述搜索行为统计数据的数值进行加一操作，若两者不相等，则利用所述实时搜索行为数据所对应的所述当前时间戳对应的时间值更新所述定位时间戳，清零所述搜索行为统计数据的数值并进行加一操作。

8.如权利要求7所述的直播间数据量统计系统，其特征在于，所述系统还包括：

时间合法判断单元，其用于判断所述当前时间戳的合法性。

9.如权利要求7所述的直播间数据量统计系统，其特征在于：所述时间标记单元在添加所述时间标记时，将所述数据统计时间段的时长记作N，将所述当前时间戳对N取模，获得数值x，所述x为所述时间标记的值。

10.如权利要求9所述的直播间数据量统计系统，其特征在于，所述时间标记单元内存储有用于获取所述时间标记的公式，所述公式为：

x＝timestamp％N；

所述x为所述时间标记，所述timestamp为所述时间戳的时间数值，所述％代表做取模计算。

Images