CN102769782B

CN102769782B - 数字电视收视率回传方法

Info

Publication number: CN102769782B
Application number: CN201210257788.5A
Authority: CN
Inventors: 赵志峰; 张卫; 蔡伟; 梅梅
Original assignee: Wasu Media & Network Co Ltd
Current assignee: Wasu Media & Network Co Ltd
Priority date: 2012-07-24
Filing date: 2012-07-24
Publication date: 2016-01-20
Anticipated expiration: 2032-07-24
Also published as: CN102769782A

Abstract

本发明公开了数字电视收视率回传方法，包括如下步骤:机顶盒开机后立刻触发采集功能模块，开始进行数据采集工作；时时监视用户对机顶盒进行操作，机顶盒通过电平参数变化及取的往返地址获得收视数据，当机顶盒收视状态发生变化时立即记录并保存收视数据，机顶盒根据协议对保存的收视数据进行协议封装，根据一定的时间间隔将封装后的收视数据通过机顶盒协议专用接口发送到指定的系统服务器；系统服务器实时端口探测，实时捕获所有机顶盒发送的收视率数据，并在获得采集数据后主动反馈确认数据报文；系统服务器对上传的收视数据进行数据挖掘处理，形成收视行为分析原始样本数据源，并跟进样本结构入库储存，实现数据采集整理的目的。

Description

数字电视收视率回传方法

技术领域

本发明涉及数字电视的收视率回传方法。

背景技术

数字电视的出现改变了观众的收视方式，增强了观众收看电视的主动性，观众可以选择自己想看的节目，以及节目何时播放。以点播、时移、轮播为代表的个性化数字电视服务彻底改变了以往观众必须按照电视台的节目时间表来收视的情况。因此，为了更好地为媒体决策和广告主的媒体选择提供依据，需要一种更加精确的收视率调查系统，将各时段节目的收视率和观众阶层准确地及时地统计出来，不仅可以动态观察观众收视动向，及时发现问题，给节目编导改进节目提供方向，而且也为广告商确定各时段的广告价位和对企业选择时段做广告提供极其重要的参考依据。

发明内容

针对上述技术问题，本发明提出数字电视的一种收视率回传方法。

为了解决上述技术问题，本发明的技术方案如下：

数字电视收视率回传方法，包括如下步骤:机顶盒开机后立刻触发采集功能模块，开始进行数据采集工作；时时监视用户对机顶盒进行操作，机顶盒通过电平参数变化及取的往返地址获得收视数据，当机顶盒收视状态发生变化时立即记录并保存收视数据，机顶盒根据协议对保存的收视数据进行协议封装，根据一定的时间间隔将封装后的收视数据通过机顶盒协议专用接口发送到指定的系统服务器；所述系统服务器实时端口探测，实时捕获所有机顶盒发送的收视率数据，并在获得采集数据后主动反馈确认数据报文；所述系统服务器对上传的收视数据进行数据挖掘处理，形成收视行为分析原始样本数据源，并跟进样本结构入库储存。

进一步的，如果用户进行连续切换频道操作，两次之间的操作间隔时间小于4秒，则前一次收视操作视为无效，前一条记录不记录。

进一步的，所述机顶盒获取的收视数据包括：机顶盒显示开机画面操作和时间、机顶盒进入EPG首页、分级页面、点播页面的操作和时间、机顶盒退出EPG首页进入直播全频道操作和时间、机顶盒待机操作和时间、机顶盒唤醒操作和时间、用户电视频道切换成功操作和时间、机顶盒开机操作和时间。

进一步的，所述机顶盒与所述系统服务器之间的接口通信包括收视数据封装和收视数据通信两部分，收视数据封装将采用XML协议进行描述，收视数据通信将采用TCP协议进行交互，通信流程包括如下步骤：

41）机顶盒底层驱动处理收视数据并将其封装；

42）通过通信协议栈将收视数据发送给系统服务器的数据采集服务器；

所述数据采集服务器将整理好的收视数据传送给系统服务器的数据分析服务器进行收视数据分析。

进一步的，当所述机顶盒和所述系统服务器无法连接时，所述机顶盒将收视数据存储在缓存中，当缓存存满且仍无法连接所述系统服务器，则将所述机顶盒在采集时间段中，在非黄金时段采集的收视数据丢弃。

进一步的，所述机顶盒当缓存中收视数据存满时，即使时间间隔尚未到设置的固定时间，也仍然上传收视数据。

进一步的，当所述机顶盒突然断电时采集数据将保存在机顶盒缓存中，待下次开机后自动封装发送到系统服务器。

本发明的有益效果在于：该方法主要实现对机顶盒用户在直播频道下的收视习惯、开机时间等行为的检测，来达到数据采集整理的目的。采集到的数据通过机顶盒网口回传给系统服务器，由系统服务器进行数据整理与。该技术创新的实现了机顶盒终端自适应处理的全智能方式，全时全向的全程跟踪处理用户视频观看行为，可智能区分无效行为及有效行为信息，合理记录自动回传，准确高效无丢失无误差的真是呈现每个个体的实际收视习惯。完全摒弃了传统的电话回访，外设记录等方式，误差率高，真实度低，采集数据延时大等问题。

附图说明

图1为本发明的收视数据上传流程图；

图2为本发明的系统拓扑图；

图3为本发明的机顶盒和服务器的接口通信方框图。

具体实施方式

下面将结合附图和具体实施例对本发明做进一步的说明。

如图2所示，如下是收视率回传的系统拓扑图，该系统功能主要实现对机顶盒用户在直播频道下的收视习惯、开机时间等行为的检测，来达到数据采集整理的目的。采集到的数据通过机顶盒网口回传给系统服务器，由系统服务器进行数据整理与分析。

数据回传实现流程：用户对机顶盒进行切换频道、待机等操作；机顶盒通过电平参数变化及取的往返地址获得收视数据（以下简称数据）；机顶盒对数据进行协议封装；机顶盒将封装后的数据通过机顶盒协议专用接口发送到指定的系统服务器；系统服务器实时探测端口，实时捕获所有机顶盒发送的收视率数据，并在获得采集数据后主动反馈确认数据报文，所述系统服务器对上传的收视数据进行数据挖掘处理，形成收视行为分析原始样本数据源，并跟进样本结构入库储存。

例如：机顶盒开机3分钟后，开始进行数据采集工作；机顶盒收视状态发生变化（如频道切换成功等）时立即记录并保存数据；机顶盒每隔10分钟一次将收视数据回传给系统服务器；机顶盒待机时立即将当前机顶盒采集和保存的数据回传给系统服务器；当如果用户连续切换频道，两次之间的间隔时间＜4秒，则前一次收视行为视为无效，前一条记录不记录。

机顶盒将完成以下状态的数据采集上报：

1、机顶盒显示开机画面操作和时间

2、机顶盒进入EPG首页操作和时间

3、机顶盒退出EPG首页进入直播全频道操作和时间

4、机顶盒待机操作和时间

5、机顶盒唤醒操作和时间

6、用户电视频道切换成功操作和时间

7、机顶盒开机操作和时间

8、分级页面、点播页面的操作和时间

通过上述数据采集，实现了全时段所有观看类型的行为数据采集，实现了直播、互动、WEB浏览全业务的采集，以及各业务中特定行为时间数据的准确采集。完全突破了传统采集仅针对于直播频道停留时间单一采集方式。完全与电视视频服务的业务发展形态相匹配。

规范概述：

本规范的制定是在充分考虑终端管理系统整体规划的基础上，本着：功能实用；终端和系统开发快捷；具备一定的扩展性等原则确定的。

经过分析对目前比较成熟的网络管理协议：DM协议、TR069协议和SNMP协议的分析，这些协议在终端管理系统上有一定的集成开发优点：可以将DM、SNMP等客户端移植到机顶盒内；可以保证：协议成熟、扩展性强。

但也有一些缺点：开发过程中出现与客户端相关的问题不易排查；开发完成后的后续维护和完善往往会花费很多的时间；在有些资源相对紧张的机顶盒上移植有一定困难。

充分考虑上述因素，参考上述网络管理协议，采用自定义基于TR069、TCP协议进行协议开发，该协议针对TR069、TCP协议进行裁剪，去除终端管理侧的大量底层应用管理协议，主要扩展开发数据接口、终端远程数据采集、数据分级处理机制，开发数据采集及处理数据新机制，具体如下：

收视率协议格式：

命名规则

本处讲的文件名规则是指上传到服务器后保存的文件命名的规则，终端以什么文件名存储由终端自行决定。

收视率文件名称stbidYYMMDDhhmmss.aud

说明：

stbid机顶盒的ID

.文件名和扩展名分隔符号，半角的句点

aud文件扩展名

文件头记录格式定义

域间使用|+|字符串间隔，而且以|+|字符串结尾，每行行尾用\r\n换行

域	域名	属性	格式	数据类型	备注
						1	日期	n8	YYYYMMDD	ASCII
2	STBID	an..26		ASCII	终端ID
							记录数	n..FileRecordLimit		ASCII	采集到的记录数统计

文件体记录格式定义

域	域名	属性	格式	数据类型	备注
						1	FLAGWORD	an..4		ASCII	标志字
2	ONID	n..4		ASCII	原始网络ID(Original Network ID)，杭州为8201,IP互动采集填0000
						3	TSID	n..5		ASCII	传输流(也称频点)ID(Transport Stream) 由运营商自行选择，IP互动采集填00000
4	SID	n..6		ASCII	服务ID(Service ID) 由运营商自行选择，IP互动采集填000000
						5	STARTTIME	n12	YYMMDDhhmmss	ASCII	开始时间
6	ENDTIME/栏目号信息	n12/an	YYMMDDhhmmss/栏目号信息	ASCII	当是频道采集时为结束时间，当是IP互动采集时，此域填栏目号信息

文件格式例子

20100415|+|11040010100052544C1A009D|+|2|+|0001|+|8201|+|1701|+|3307|+|100415201501|+|100415211459|+|000A|+|0000|+|00000|+|000000|+|100415202030|+|hangzh-Tvportal,0,hz_stb_01_115,0,10,1.page|+|

上面记录的是STBID为11040010100052544C1A009D的设备，第一条是频道采集的结果，第二条采集的IP互动的结果。

标志字

标志字	说明
		0001	直播或音频广播
000A	IP互动

文件上传协议

目前收视率文件采用FTP协议上传。

文件上传流程：

如图1所示，文件上传流程图

流程描述

机顶盒在采集过程中，或者采集由开启转为关闭时，需要上传文件，平台对终端上传收视率采集文件作了规范，设置了以下7个参数：

采集开启关闭（RequestRecord）

文件存储记录数上限(FileRecordLimit)

文件上传时间间隔(UpLoadTimeLimit)

采集关闭时间(CloseRecordTime)

文件上传地址（URL）

上传用用户名（UserName）

上传用密码(Password)

1、采集过程中当文件体记录数到达FileRecordLimit值时，依据参数URL，UserName和Password上传到FTP服务器上，并按文件名命名规则命名，上传成功后清空本地缓存；

2、当上传时间间隔到达参数UpLoadTimeLimit值时，依据参数URL，UserName和Password上传到FTP服务器上，并按文件名命名规则命名，上传成功后清空本地缓存；

3、当采集由开启转为关闭时，应立即依据参数URL，UserName和Password上传到FTP服务器上，并按文件名命名规则命名，上传成功后清空本地缓存。

文件传输差错处理机制

收视率数据通过FTP上传，可能存在网络繁忙的情况，或者FTP服务器瘫痪，这个时候终端是无法上传文件的，因为需要一个差错处理机制，使采集尽量满足采集原则，要求机顶盒作如下处理：

断电的处理

出现机顶盒突然断电时采集数据将保存在机顶盒缓存中，待下次开机后自动封装发送到服务器，以上机制充分考虑到采集保障机能，创新的实现多模式采集方式，实现了采集数据高效、可靠、详实、稳定的发送。以上机制的基准点均实现了可配置可管理，摆脱了嵌入式固化设定的不合理方式。

连接FTP服务

当终端连接FTP服务器失败时，重连3次，重连3次后仍然失败时，等待30分钟后重连，30分钟内上传条件忽略。

数据驻留机制

当3次连接仍然失败时，比较缓存中记录数有没有达到上限，当记录数小于FileRecordLimit值时，等待下次上传条件到达再上传。

数据丢弃最少机制

当30分钟后连接仍然失败，不管记录数是否超出上限，仍继续存储，直到缓存满，当缓存满时，需要丢弃老数据来存新数据，丢弃数据应遵从采集原则，所以综合考虑采集原则和终端采集能力存在的冲突（终端不写文件与数据精确性原则存在冲突），丢弃数据时，依据定义的采集时间段中非黄金时段来丢弃，比如采集时间17:00:00~22:00:00，则非黄金时段在21:00:00~22:00:00，因此丢弃数据时应从缓存的最新数据开始丢弃。采集时段中的非黄金时段可以按下面方法划分，并建议了丢弃数据的方法；

上午时段，丢弃缓存中最新数据（采集时段7:00:00~9:00:00）

中午时段，丢弃缓存中最老数据（采集时段11:00:00~13:00:00）

晚间时段，丢弃缓存中最新数据（采集时段17:00:00~22:00:00）

其他时段，丢弃缓存中最新数据（华数自定义）

如果是采集一天或多天的数据，丢弃缓存中最老的数据

完成收视率回传和终端管理系统的开发，这样做有如下优点：

与成熟的网络管理协议没有过多的差异；机顶盒和系统端开发更快；系统整体更容易后续的完善和维护

机顶盒与系统端的接口通信框架：

如图3所示，下为机顶盒和服务器的接口通信方框图。收视率回传系统中，机顶盒与服务器之间的接口通信将由两部分作成：

数据封装

数据通信

数据封装将采用XML进行描述，机顶盒底层驱动处理收视率信息并将其封装，

通过通信协议栈将数据送给系统服务器端的数据采集服务器，数据采集服务器将整理好的数据传送给系统服务器端的数据分析服务器进行数据分析。

机顶盒与系统端的通信协议：

下面将对通信协议的端口、命令原语等作出规定：

通信协议：

机顶盒与服务器之间采用私有协议进行数据通信。

通信端口：

机顶盒与服务器之间的通信端口为8150。

机顶盒与系统服务器之间的接口命令：

根据收视率回传系统技术需求，我们可以用一条命令完成数据回传，定义如下：机顶盒数据上报命令格式：send+length+databody

所有数据构成，数据length(不包含命令及length自身)都是以字符串形式发送如果数据上报时服务器无响应，机顶盒会重新再发送一次，当失败两次后，机顶盒应丢弃当前数据包。STB发送成功后，服务器使用TCPACK进行确认。

参考数据包格式:“send1234<Node><NodeName>……….”

机顶盒与服务器之间的数据格式：

机顶盒和服务器之间的通信数据具体以如下的数据格式来表示：

<Node>

<Node>

<NodeName>StbID</NodeName>

<Item>

<STBID>string...</STBID>

</Item>

</Node>

<Node>

<NodeName>StbOperation</NodeName>

<Item>

<Pkt>string...</Pkt>

</Item>

</Node>

该数据格式含义如下：

1)定义的Xml标签区分大小写。

2)机顶盒终端数据格式，为一棵包含2个子节点的树:StbID,StbOperation.

3)从机顶盒采集的数据被封装到xml树里面，通过TCP协议传送到服务器，其中各个子节点数据可以被单独传送给服务器，也可以组合传送给服务器，无节点顺序要求。

4)StbOperation封装了收视率相关信息，数据格式为string，具体的数据信息如下定义：

其中每个数据包的组成如下：

收视率回传的数据格式

以下对数据回传时的各个状态进行一一说明

(a)机顶盒显示开机画面操作和时间：操作码=FFF6

<Node>

<Node>

<NodeName>StbID</NodeName>

<Item>

<STBID>string...</STBID>

</Item>

</Node>

<Node>

<NodeName>StbOperation</NodeName>

<Item>

<Pkt>string...</Pkt>

</Item>

</Node>

$

0000

FFF6

104506

0

这个数据包表示在10:45:06这个时刻,机顶盒显示开机画面的操作被执行

(b)机顶盒进入EPG首页操作和时间:操作码=FFFF

$

0000

FFFF

100608

0

这个数据包表示在10:06:08这个时刻,机顶盒进入EPG首页

(c)机顶盒退出EPG首页进入直播全频道操作和时间:操作码=FFF1

$

0000

FFF1

100608

0

这个数据包表示在10:06:08这个时刻,机顶盒进入DVB直播全频道

(d)机顶盒待机操作和时间:操作码0000

$

0000

100608

0

这个数据包表示在10:06:08这个时刻,机顶盒待机操作被执行

(e)机顶盒唤醒操作和时间:操作码=0001

$

0000

0001

100608

0

这个数据包表示在10:06:08这个时刻,机顶盒被唤醒。

(f)用户电视频道切换成功操作和时间:操作码=0000

$

Service id

0000

100608

0

这个数据包表示在10:06:08这个时刻,机顶盒切换到了某个频道。

(g)机顶盒开机操作和时间:操作码=0002

$

0000

0002

100608

0

这个数据包表示在10:06:08这个时刻,机顶盒开机。

本发明主要实现对机顶盒用户在直播频道下的收视习惯、开机时间等行为的检测，来达到数据采集整理的目的。采集到的数据通过机顶盒网口回传给系统服务器，由系统服务器进行数据整理与。该技术创新的实现了机顶盒终端自适应处理的全智能方式，全时全向的全程跟踪处理用户视频观看行为，可智能区分无效行为及有效行为信息，合理记录自动回传，准确高效无丢失无误差的真是呈现每个个体的实际收视习惯。完全摒弃了传统的电话回访，外设记录等方式，误差率高，真实度低，采集数据延时大等问题。针对调查到达率依据不同的需求，可便利设置这一条件将会得到不同的到达率和接触度。例如，广告商可能对“至少收看1次”的接触度不感兴趣，通常会认为至少看过3次以上才可能记住广告的内容，因此，这一条件会被设定为“至少收看过3次以上”，在此条件下得到的到达率和接触度，通常会被称为“N+有效到达（接触）”。N可以是3次，也可以是其他数字。在分析中对到达率的设置可进行合理定义。例如，用户对一般意义上的到达率并不感兴趣，他们更想知道的是当收视行为发生时，30分钟的节目有多少人收看了至少15分钟，也就是说至少收看了某个节目一半时长的人有多少。因此到达条件的设置需要视具体情况而定，在分析中应清楚地注明到达条件的设置，以方便用户的理解。实现收视数据处理流程包括以下三个环节：第一，在收视率调查原始数据输入计算机（仅限日记卡法，测量仪法不需要数据录入）后，要进行数据的净化，以确保原始数据的完整及合理；第二，净化后的收视数据与样本背景资料库及节目资料库合并形成一个完整的“收视率资料库”；第三，在“收视率资料库”的基础上，以性别、年龄等为加权变量，对原始数据进行各种加权计算，便产生各种收视率数据。

全面支持丰富多样的采集抽样方式，指样本的抽取分为几个阶段完成的多阶段抽样、多阶段抽样又称为多阶抽样。分层抽样：对总体单位分层，然后在每一层中都采用一定的方法随机抽取部分单位构成样本的一种抽样方式。等距抽样：将总体所有单位按一定标志排列后，从一个随机起点开始，按固定的顺序和间距抽选样本单位的抽样方法。概率与规模成比例抽样：某一总体单位被抽中的概率与该单位的规模成正比，规模越大，该单位中选概率就越高。PPS抽样由于其抽样效果较好，所以在实践中有较多的应用。通过PPS方法可以产生自加权样本，这样可以避免事后加权。整群抽样：先将总体单位划分为若干个群，然后从中随机抽取部分群并对抽中群内全部单位进行调查的一种抽样方式

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。

Claims

1.数字电视收视率回传方法，其特征在于，包括如下步骤:机顶盒开机后立刻触发采集功能模块，开始进行数据采集工作；时时监视用户对机顶盒进行操作，机顶盒通过电平参数变化及取的往返地址获得收视数据，当机顶盒收视状态发生变化时立即记录并保存收视数据，机顶盒根据协议对保存的收视数据进行协议封装，根据一定的时间间隔将封装后的收视数据通过机顶盒协议专用接口发送到指定的系统服务器；所述系统服务器实时端口探测，实时捕获所有机顶盒发送的收视率数据，并在获得采集数据后主动反馈确认数据报文；所述系统服务器对上传的收视数据进行数据挖掘处理，形成收视行为分析原始样本数据源，并跟进样本结构入库储存。

2.根据权利要求1所述的数字电视收视率回传方法，其特征在于，如果用户进行连续切换频道操作，两次之间的操作间隔时间小于4秒，则前一次收视操作视为无效，前一条记录不记录。

3.根据权利要求1所述的数字电视收视率回传方法，其特征在于，所述机顶盒获取的收视数据包括：机顶盒显示开机画面操作和时间、机顶盒进入EPG首页、分级页面、点播页面的操作和时间、机顶盒退出EPG首页进入直播全频道操作和时间、机顶盒待机操作和时间、机顶盒唤醒操作和时间、用户电视频道切换成功操作和时间、机顶盒开机操作和时间。

4.根据权利要求1所述的数字电视收视率回传方法，其特征在于，所述机顶盒与所述系统服务器之间的接口通信包括收视数据封装和收视数据通信两部分，收视数据封装将采用XML协议进行描述，收视数据通信将采用TCP协议进行交互，通信流程包括如下步骤：

41）机顶盒底层驱动处理收视数据并将其封装；

5.根据权利要求1所述的数字电视收视率回传方法，其特征在于，当所述机顶盒和所述系统服务器无法连接时，所述机顶盒将收视数据存储在缓存中，当缓存存满且仍无法连接所述系统服务器，则将所述机顶盒在采集时间段中，在非黄金时段采集的收视数据丢弃。

6.根据权利要求1所述的数字电视收视率回传方法，其特征在于，所述机顶盒当缓存中收视数据存满时，即使时间间隔尚未到设置的固定时间，也仍然上传收视数据。

7.根据权利要求1所述的数字电视收视率回传方法，其特征在于，当所述机顶盒突然断电时采集数据将保存在机顶盒缓存中，待下次开机后自动封装发送到系统服务器。