CN103324696B - 一种数据日志收集与统计分析系统和方法 - Google Patents

Abstract

本发明提出一种数据的日志收集与统计分析系统和方法，根据不同附加数据类型发送日志；并对其中的特定类型的日志进行数据汇总，将数据汇总结果插入到日志数据库；根据数据汇总结果，更新附加数据的下一个预定时间的预投放量。附加数据可以是广告、节目预告、观看提示、休息提醒等。本发明提供的技术方案能够更加准确的对按效果投放的附加数据进行投放量的预估和控制；可以更合理的安排附加数据投放资源，使附加数据资源最大化；可以对网站的附加数据投放效果进行分析与统计从而进一步完善附加数据的投放。

Description

一种数据日志收集与统计分析系统和方法

技术领域

本发明涉及网络流媒体领域，具体涉及一种数据日志信息收集与统计分析系统和方法。

背景技术

在互联网视频中嵌套附加数据已经成为一种主流技术。附加数据可以包括文字、图片、其他视频等，例如，可以在一段视频的播放过程中、暂停播放时，在该视频中插入辅助性的文字、图片、其他视频来对该视频进行解释，或者是用于说明该视频的其他相关信息，当然，附加数据的内容可以是诸如广告、节目预告等等。实际应用当中，需要对附加数据所产生的点击率（或者说是曝光率）进行数据汇总，从而来控制该附加数据的展示次数，已达到整个网站资源的合理配置。

在大型网站的视频系统中，如何解决更高效的记录附加数据的容量（可以投放的附加数据数量）、曝光效果（真实投放的附加数据的数量）、点击（用户点击事件）以及快速对这些附加数据进行分析，如何通过日志的记录和分析来动态的调整附加数据的预投放量，成为网站视频系统的稳定运营中不可避免的问题。

发明内容

针对现有技术中存在的缺陷以及实际应用的需要，本发明的目的在于提供针对视频网站中附加数据的日志收集和统计分析的方法和系统。按不同类型的附加数据进行附加数据容量/效果/播放完成/点击日志的收集，并按照不同的附加数据类型用不同的服务器组对日志进行切割、分析和汇总，最后以数据的形式存放到数据库中，计算当前时间已完成的任务以及对未完成的任务进行拆分。解决按效果分配附加数据的计算和任务分配的问题。

为实现上述目的，本发明采用的技术方案之一为：一种附加数据的日志收集与统计分析系统，包括附加数据系统前端机、附加数据日志服务器、附加数据主服务器、附加数据系统数据库、附加数据日志数据库；附加数据系统前端机向特定的附加数据日志服务器发送附加数据日志数据；附加数据日志服务器收集附加数据系统前端机发送过来的日志文件、并对收集到的日志文件进行切割，在规定的周期内对新增的日志文件进行数据汇总，将数据汇总结果保存到附加数据日志数据库。

进一步，附加数据日志服务器将汇总后的日志发送到附加数据日志数据库，在此之后，设置下一个周期需要投放的附加数据的预投放量，将任务分配发送至附加数据系统数据库。

更进一步，附加数据系统前端机启动时，加载每种附加数据类型所对应的日志服务器的ip和日志存储路径，当附加数据系统前端机收到附加数据主服务器的附加数据查找请求后，往指定的日志服务器的指定端口发送请求内容；所述请求内容根据日志类型不同分为容量/效果/点击/曝光日志，日志内容由前端机进行构建。

更为优选地，附加数据系统的前端机以UDP数据包的形式向指定的附加数据类型的日志服务器发送附加数据日志，该附加数据日志数据至少包括以下信息：容量、效果、点击、播放完成；附加数据日志服务器通过配置文件，对指定的端口进行监控，当附加数据日志服务器通过指定的端口接收到数据后，日志收集服务将文件写在不同的目录，并以预定时间为单位进行文件切割。

此外，所述附加数据日志服务器收集到不同的日志文件后，通过定时任务对这些文件进行分析和处理，将结果保存到附加数据日志数据库。

本发明还提供一种附加数据的日志收集与统计分析方法，包括以下步骤：

步骤100：根据不同附加数据类型发送日志；

步骤200：接收步骤100中发送而来的日志，并对其中的特定类型的日志进行数据汇总，将数据汇总结果插入到日志数据库；

步骤300：根据步骤200中的数据汇总结果，更新附加数据的下一个预定时间的预投放量。

进一步，所述步骤200中，由附加数据日志服务器接收附加数据日志，附加数据日志服务器将汇总后的日志发送到附加数据日志数据库，在此之后，设置下一个周期需要投放的附加数据的预投放量，将任务分配发送至附加数据系统数据库。

优选地，在所述步骤100中，发送方式为：以UDP数据包的形式向指定的附加数据类型的日志服务器发送附加数据日志；所述附加数据日志数据至少包括以下信息：容量、效果、点击、播放完成。

更进一步，所述步骤200进一步包括：步骤210：附加数据日志服务器通过配置文件，对指定的端口进行监控；步骤220：当接收到数据后，日志收集服务将文件写在不同的目录，并以预定时间为单位进行文件切割。

所述附加数据是下列数据之一或其组合：视频附加数据、文本附加数据、图片附加数据；所述附加数据的内容是下列内容之一或其组合：广告、节目预告、观看提示、休息提醒。

本发明提供的技术方案能够更加准确的对按效果投放的附加数据进行投放量的预估和控制；可以更合理的安排附加数据投放资源，使附加数据资源最大化；可以对网站的附加数据投放效果进行分析与统计从而进一步完善附加数据的投放。

附图说明

图1为本发明附加数据的日志收集与统计分析系统的示意图；

图2为本发明对附加数据的日志收集的流程图；

图3为本发明对附加数据的日志分析的流程图。

具体实施方式

下面结合说明书附图与具体实施方式对本发明做进一步的详细说明。

在优选的第一实施方式中，本发明提出了一种附加数据的日志收集与统计分析方法。该方法包括以下步骤：

首先，根据不同附加数据类型通过附加数据前端机向日志服务器发送日至请求；其次，日志服务器定时对某种类型的日志进行数据汇总，并插入到日志汇总数据库；第三，更新附加数据系统数据库相关附加数据投放的下一个小时预投放量。

更为优选地，所述附加数据是视频附加数据、文本附加数据、图片附加数据等，所述附加数据的内容是广告、节目预告、观看提示、休息提醒等。

进一步参见附图1，本发明进一步提出了一种附加数据的日志收集与统计分析系统。该系统包括：附加数据系统前端机、附加数据日志服务器、附加数据主服务器、附加数据系统数据库、附加数据日志数据库。

其中，附加数据系统前端机负责根据数据请求的类型找到对应的数据接收服务器IP以及接收端口，通过UDP协议向特定的附加数据日志服务器的端口发送容量、效果、点击、播放完成的附加数据日志数据。附加数据日志服务器收集附加数据系统前端机发送过来的日志文件、并对收集到的日志文件按照不同的数据类型以每小时进行切割，在规定的周期内对新增的日志文件进行数据汇总，将数据汇总结果按照不同的数据类型以小时为单位保存到附加数据日志数据库。所述规定的周期可以是1分钟、一小时、一天等等。

如前所述，附加数据日志服务器对日志进行汇总后，将汇总后的日志发送到附加数据日志数据库，在此之后，附加数据日志服务器根据规则设置下一个周期需要投放的附加数据的预投放量，将任务分配发送至附加数据系统数据库。

附加数据前端机还用于附加数据的任务分配，并将该任务分配的命令发送到附加数据主服务器。

附加数据系统进一步包括至少一个前端机（例如前贴前端机、页面前端机等等），和至少一个后端机（例如后贴前端机）。

附加数据系统前端机负责根据一定的规则通过UDP协议向特定的附加数据日志服务器的端口发送容量、效果、点击、播放完成的附加数据日志数据；附加数据日志服务器收集到的日志文件按照一定规则进行切割，在规定的周期内对新增的日志文件进行数据汇总，将结果按照一定的规则保存到日志数据库。

附加数据日志服务器汇总日志到日志数据库后根据规则设置下一个周期需要投放的附加数据的预投放量。

参见附图2，附图2示出了本发明对附加数据的日志收集的过程。

附加数据系统不同的前端机集群向指定的附加数据类型的日志服务器的特定端口发送UDP数据包，在附加数据系统前端机启动时会加载每种附加数据类型所对应的日志服务器的ip和日志存储路径，当附加数据系统收到附加数据请求并查找附加数据后，会往指定的日志服务器的指定端口发送请求内容。请求内容根据日志类型不同分为容量/效果/点击/曝光日志，日志内容由前端机进行构建。

在附加数据日志服务器上启动日志记录服务，通过配置文件，对指定的端口进行监控。当附加数据日志服务器通过指定的端口接收到数据后，日志收集服务将文件写在不同的目录，并以预定时间为单位进行文件切割，优选地，该预定时间为一小时。日志收集服务会通过配置文件查找该端口所对应的日志所在目录是否有当前小时的文件。如果当前小时没有文件则创建一个文件，文件名以配置文件中定义好的文件名前缀加当前小时命名。

参见附图3，附图3示出了本发明对附加数据的日志分析的过程。附加数据日志服务器收集到不同的日志文件后，会通过定时任务对这些文件进行分析和处理，将结果保存到附加数据日志数据库，日志分析任务包括但不限于：（1）按附加数据类型区分容量和效果任务；（2）容量日志任务统计每个服务器上当前小时的容量日志，并且按照”省份|城市|分类|子分类|是否长视频|”作为key进行分组，将在这个分组下的容量进行统计，作为一个记录插入到相应附加数据类型的数据库中；（3）效果日志任务统计每个服务器上当前小时的效果日志，并且按照“附加数据ID|素材ID|省份|城市|分类|子分类|投放位置”作为key进行分组，将在这个分组下的效果/点击/完成数据进行统计，作为一个记录插入到相应附加数据类型的数据库中；（4）调用每千次展示（CPM）投放量更新程序，通过已投放的数据和流量曲线进行每个附加数据素材预投放量的更新。

在本发明的一个示意性的实施方式中，说明了对附加数据投放量预估。例如一个附加数据一天的预投放量为100个CPM，通过网站流量曲线和服务器数量可以得出24个小时的流量分布。比如根据一天的流量曲线可以预估在10点时需要完成的投放量是15个CPM，通过日志收集及分析可以获得在今天该投放10点之前已经完成了30个CPM的投放，当天还剩下70个CPM投放，系统会将剩下的70个CPM投放按剩余小时数和剩余小时的流量曲线重新进行流量划分。

在本发明的另一个实施方式中，描述了针对定向地区的附加数据的日志分析。例如，需要统计该附加数据素材在某些地区或者分类效果，可以通过日志分析会产生的日志附加数据进行分析得知。比如附加数据投放在了北京地区，电影分类，通过日志数据可以得知一段时间内该附加数据在北京地区电影分类所产生的效果，以及点击率。并且通过该附加数据所产生的效果在整体北京地区电影分类效果的比重，来调整附加数据的优先级别来进一步优化附加数据投放。

本发明提供的技术方案能够更加准确的对按效果投放的附加数据进行投放量的预估和控制；可以更合理的安排附加数据投放资源，使附加数据资源最大化；可以对网站的附加数据投放效果进行分析与统计从而进一步完善附加数据的投放。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种数据的日志收集与统计分析系统，包括附加数据系统前端机、附加数据日志服务器、附加数据主服务器、附加数据系统数据库、附加数据日志数据库；其特征在于：

附加数据系统前端机向特定的附加数据日志服务器发送附加数据日志数据；附加数据日志服务器收集附加数据系统前端机发送过来的日志文件、并对收集到的日志文件进行切割，在规定的周期内对新增的日志文件进行数据汇总，将数据汇总结果保存到附加数据日志数据库，

附加数据日志服务器将汇总后的日志发送到附加数据日志数据库，在此之后，设置下一个周期需要投放的附加数据的预投放量，将任务分配发送至附加数据系统数据库，

附加数据系统前端机启动时，加载每种附加数据类型所对应的日志服务器的ip和日志存储路径，当附加数据系统前端机收到附加数据主服务器的附加数据查找请求后，往指定的日志服务器的指定端口发送请求内容；所述请求内容根据日志类型不同分为容量/效果/点击/曝光日志，日志内容由前端机进行构建。

2.如权利要求1所述的数据的日志收集与统计分析系统，其特征在于：

附加数据系统的前端机以UDP数据包的形式向指定的附加数据类型的日志服务器发送附加数据日志，该附加数据日志数据至少包括以下信息：容量、效果、点击、播放完成；附加数据日志服务器通过配置文件，对指定的端口进行监控，当附加数据日志服务器通过指定的端口接收到数据后，日志收集服务将文件写在不同的目录，并以预定时间为单位进行文件切割。

3.如权利要求1所述的数据的日志收集与统计分析系统，其特征在于：

所述附加数据是下列数据之一或其组合：视频附加数据、文本附加数据、图片附加数据；

所述附加数据的内容是下列内容之一或其组合：广告、节目预告、观看提示、休息提醒；

所述附加数据日志服务器收集到不同的日志文件后，通过定时任务对这些文件进行分析和处理，将结果保存到附加数据日志数据库。

4.一种数据日志收集与统计分析方法，包括以下步骤：

步骤100：根据不同附加数据类型发送日志；

步骤200：接收步骤100中发送而来的日志，并对其中的特定类型的日志进行数据汇总，将数据汇总结果插入到日志数据库；

步骤300：根据步骤200中的数据汇总结果，更新附加数据的下一个预定时间的预投放量，

所述步骤200中，由附加数据日志服务器接收附加数据日志，附加数据日志服务器将汇总后的日志发送到附加数据日志数据库，在此之后，设置下一个周期需要投放的附加数据的预投放量，将任务分配发送至附加数据系统数据库，

附加数据系统前端机启动时，加载每种附加数据类型所对应的日志服务器的ip和日志存储路径，当附加数据系统前端机收到附加数据主服务器的附加数据查找请求后，往指定的日志服务器的指定端口发送请求内容；所述请求内容根据日志类型不同分为容量/效果/点击/曝光日志，日志内容由前端机进行构建。

5.如权利要求4所述的数据日志收集与统计分析方法，其特征在于，在所述步骤100中，发送方式为：以UDP数据包的形式向指定的附加数据类型的日志服务器发送附加数据日志；所述附加数据日志数据至少包括以下信息：容量、效果、点击、播放完成。

6.如权利要求4所述的数据日志收集与统计分析方法，其特征在于，所述步骤200进一步包括：

步骤210：附加数据日志服务器通过配置文件，对指定的端口进行监控；

步骤220：当接收到数据后，日志收集服务将文件写在不同的目录，并以预定时间为单位进行文件切割。

7.如权利要求4所述的数据日志收集与统计分析方法，其特征在于：

所述附加数据是下列数据之一或其组合：视频附加数据、文本附加数据、图片附加数据；所述附加数据的内容是下列内容之一或其组合：广告、节目预告、观看提示、休息提醒。