CN103106615A - 基于电视观看日志挖掘的用户行为分析方法 - Google Patents

Abstract

本发明提出一种基于电视观看日志挖掘的用户行为分析方法，根据用户观看电视节目的特性，尤其是时间冗余性和用户冗余性，通过多级低秩模型，首先消除时间冗余提取用户个人观看模式，再根据大量用户个人观看模式，消除用户冗余，提取全局观看模式。用户个人观看模式可通过全局观看模式线性表示。表示结果可用于对用户分类。我们分析用户观看模式从而可推断出用户家庭结构。此外，基于本发明提出的观看模式和用户人口普查数据们可以仿真IPTV系统，合成IPTV系统运行参数。

Description

基于电视观看日志挖掘的用户行为分析方法

技术领域

本发明涉及的是一种数据挖掘领域的方法，具体地说，涉及的是一种基于电视观看日志挖掘的用户行为分析方法。

背景技术

用户行为的分析和建模在现今的混合网络，尤其是社会网络的研究中具有重要意义。无处不在的低成本计算和通信技术使得人们以前所未有的规模访问和共享信息。如此大量的数据需要新的基于用户行为的分析研究以帮助我们理解这些内容。此外，受欢迎的网站与复杂的媒体的分享和通知功能允许用户和朋友和亲人保持联系；这些网站和通讯媒体也帮助用户形成显性和隐性的社会团体。这些社会群体是组织和管理多媒体数据的一个重要的信息来源。因此，针对用户群体行为的分析研究工作是重要而又必需的。

网络社交平台，如国外的Facebook、Twitter、Linkin以及国内的腾讯、网易微博、人人网等，容易上传、标签、分享和互动内容以及与其他用户交流；而另一些媒体平台，如IPTV、SITV、广播网，由媒体单向地向用户提供信息，用户之间、用户与媒体平台之间的交互较少或者没有。虽然各具特点，但这些媒体平台都提供了共享和交流的平台，导致文化以及相应的文化现象的迅速出现和传播，并形成各种社会群体。从这些社交媒体平台而来的信息——关于用户个人、他们在社交网络的交互，以及所属的社会结构——是理解复杂的网络社会现象的宝贵的资源。基于这些数据，我们可以提取用户行为模式，寻找相同用户，对用户进行分类，并根据这些分析结果加深对于人类行为和网络的理解和认识。

在过去几年中，对IPTV系统基础结构建设和服务的快速发展已经成为全球范围的趋势。为了优化IPTV系统，并保持市场的繁荣，基于用户个人的行为提供个性化服务，已经越来越重要。

大致上讲，用户可以按照他们不同的行为活动来分类。一个合适的用户活动模型可以准确表现用户行为，这对系统的设计和仿真很有意义。在关于社会网络的研究工作中，对用户活动建模已经有一批研究成果。DonaldE.Smith在《IEEE INFOCOM2007proceedings》的第2546页至第2550页发表的“IPTV Bandwidth Demand：Multicast andChannel Surfing”基于假设的用户模型，对整个系统的性能进行了分析。TongqingQiu等人在《Proceedings of the 9^th ACM SIGCOMM conference on Internet measurementconference》的第430页至第441页发表的“Modeling User Activities in a Large IPTVSystem”针对IPTV系统进行分析。关于IPTV系统，包括频道访问频率，频道受欢迎程度，机顶盒的切换频率等特性，都已经被应用于分析用户的特性。以往的方法都遵循了以下思路：用户观看电视节目的行为被作为一种随机过程来进行建模；通过统计观看数据，从而估计这个随机过程的分布，然后分析用户行为；而检验模型的合理性时，是通过对比真实数据和生产模型分别产生的合成数据的统计相似度。

这种思路对系统的时变性能的建模是有用的，例如驻留时间，用户切换电视频道的频率，打开电视和关闭电视的时间，对某些电视频道的偏好等。但是，这些系统的时变特性不能够表示用户个人的行为。因此，以上的研究工作是针对于整个系统的性能的建模，而不是用户行为的建模。为了分析用户的行为，而非系统的时变特性，应更多地考虑用户的特性，并对用户稳定的特性和变化的特性建模。

另一方面，IPTV系统关于用户观看行为的记录数据属于高维度。对高维度数据进行聚类的方法有K-means、RANSAC、稀疏表示等。这些方法都需要事先知道数据应该被分为几个子空间，每个子空间的维度是多少。Liu等人在《IEEE Transaction on PatternAnalysis and Machine Intelligence》第35卷第1期的第171页至第184页发表的“Robustrecovery of subspace structures by low-rank representation”提出一种基于低秩的聚类方法，可以达到对数据的鲁棒的和广义的聚类。

发明内容

针对现有技术中的缺陷，本发明的目的在于提出一种以用户观看电视节目行为特性为基础的用户行为分析方法，该方法根据用户观看电视节目的时间冗余和用户冗余特性，基于多级低秩模型，通过数据挖掘，更好地实现用户个人的行为分析，可用于对用户分类、用户家庭结构分析以及IPTV系统仿真。

本发明是通过以下技术方案实现的：

一种基于电视观看日志挖掘的用户行为分析方法，包括以下步骤：

第一步、根据节目类别以及用户观看时间，对用户观看电视记录的原始数据进行处理，处理后的数据为矩阵形式；

第二步、基于低秩模型提取用户个人观看模式，消除用户观看行为的时间冗余。

第三步、基于低秩模型提取用户全局观看模式，消除用户观看行为的用户冗余。

第四步、根据用户观看特性对观看模式进行分类。

第五步、将用户个人观看模式用全局观看模式线性表示，结合表示结果和第四步中的观看模式分类结果，建立用户行为与用户家庭结构的关系，并进行系统仿真。

本发明的原理是，根据用户观看电视节目的特性，尤其是时间冗余性和用户冗余性，通过多级低秩模型，首先消除时间冗余提取用户个人观看模式，再根据大量用户个人观看模式，消除用户冗余，提取全局观看模式。用户个人观看模式可通过全局观看模式线性表示。表示结果可用于对用户分类以及家庭结构推断。此外，基于本发明提出的观看模式和用户人口普查数据，可以仿真IPTV系统，合成IPTV系统运行参数。

与现有技术相比，本发明具有以下有益效果：

本发明提出多级低秩模型以分析IPTV系统用户行为，解决了IPTV系统中的单个用户账号是由单个家庭中的多个成员共同使用，单个用户的行为是由多个人的行为组合而成这一复杂问题。本发明重点建模时间平稳观看模式及其与IPTV用户账号所代表的家庭的结构和人口特征之间的关系。

根据本发明上述的方法，对于已经搭建IPTV系统的地区，通过本发明所述方法可根据该地区IPTV系统的收视情况估计该地区的人口信息；对于未搭建IPTV的地区，可根据该地区的人口信息估计可能的收视情况，对所需要搭建的系统的带宽需求，接入速率需求，内容设置等指标进行评估，从而更有针对性地设计IPTV系统。本发明方法的结果还可以应用于人口普查研究领域、IPTV业务新市场的开拓和评估等领域。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明方法的系统流程图；

图2是本发明方法中IPTV用户数据矩阵示意图；

图3是本发明方法中观看模式提取方法流程图；

图4是系统仿真结果示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

实施例：

第一步、根据节目类别以及用户观看时间，将原始数据改写为矩阵形式。

所述的原始数据为用户M天的观看电视记录。

所述的将原始数据改写为矩阵形式是指，对用户i的第m天记录，将其写入矩阵d_im∈R^T×N，m＝1，...，M，T为一天被分割成的时间段的数量，N为电视节目被分类的数量，d_im的元素d_im(x，y)取值区间为[0，1]，在数值上表示在第x个时间段内用户观看第y类电视节目的时间占该时间段时间的比例。其中，x＝1，…T，y＝1，…，N。

所述矩阵形式是指，定义L＝T×N，将d_im写为向量形式，记为

对用户i的M天记录，则有如图2所示。其中，M的值为原始数据中用户观看电视记录的天数，由原始数据确定；T为一天被分割成的时间段的数量；N为电视节目被分类的数量。

本实施例中，原始数据对应90天的观看记录，故M=90。将每一天按照小时划分，故T=24。将电视节目分为如下13类：广告、卡通、老人节目、科教、娱乐、财经、生活、军事、音乐、电影、新闻、体育、电视剧，故N=13。但在其他实施例中，不限于上述取值。

第二步、基于低秩模型提取用户个人观看模式，消除用户观看行为的时间冗余。

所述低秩模型，是指通过求解下述最优化问题得到用户i的观测数据的一个低秩估计。

${\hat{L}}_i=\arg {\min }_{L_i}{\left|\right|L_i\left|\right|}_{*}+\mathrm{\λ}{\left|\right|D_i-L_i\left|\right|}_1.$

其中||·||_*为矩阵核范数，是矩阵奇异值之和，||·||₁表示矩阵元素绝对值之和，L_i为D_i的低秩估计；λ＞0，为朗格朗日乘子，用于控制稀疏项的权重。所述矩阵的秩是指矩阵中非零奇异值的个数。所述低秩是指矩阵

的非零奇异值个数远小于的行数和列数。

所述提取个人观看模式，消除用户观看行为的时间冗余是指，对于秩为K_i的矩阵

通过下述方法估计出K_i个向量用于表示用户个人的观看模式。

所述个人观看模式记为 $P_i=[p_{i1},...,p_{{\mathrm{ik}}_i}]\∈R^{L\×K_i}.$

1）对于

中的第一列，求出其与其他列的残差；

2）将残差小于γ的列聚为一类，对其求均值，得到p_ik。

3）再将这些列从

中剔除，得到新的

4）重复上述步骤K_i次，得到 $P_i=[p_{i1},...,p_{{\mathrm{ik}}_i}]\∈R^{L\×K_i}.$

γ对应聚类结果的中心到其边界的最大距离。

详细方法如图3所示。

本实施例选取参数λ＝0.5，使得稀疏项和低秩项的值可比。γ＝0.25，保证残差在大多数情况下小于

中每一列的模值。但本发明不限于如此取值。对用户i的M天数据，个人模式p_ik出现的次数，记为w_ik。按照w_ik递减对P_i的列进行排序，k＝1，…，K_i。用户i的主要个人观看模式记为p_i1，第二个人观看模式记为p_i2，依次类推。

第三步、基于低秩模型提取用户全局观看模式，消除用户观看行为的用户冗余。

所述低秩模型，是指通过求解下述最优化问题得到用户全局观测数据的一个低秩估计。

$\hat{B}=\arg {\min }_B{\left|\right|B\left|\right|}_{*}+\mathrm{\λ}{\left|\right|P_I-B\left|\right|}_1.$

其中||·||_*为矩阵核范数，是矩阵奇异值之和，||·||₁表示矩阵元素绝对值之和，此处λ的物理含义与第二步中所述相同。P_I表示I个用户的个人观看模式所组成的矩阵，记为P_I＝[P₁，...，P_i]。所述矩阵的秩是指矩阵中非零奇异值的个数。所述低秩是指矩阵的非零奇异值个数远小于

的行数和列数。

所述提取全局观看模式，消除用户观看行为的用户冗余是指，对于秩为K的矩阵

通过与第二步所述相同的方法估计出K个向量用于表示用户全局观看模式。所述用户全局观看模式记为B＝[b₁，...，b_K]∈R^L×K。

根据参数λ，γ的配置，本实施例最终得到24种全局观看模式（K=24）。

第四步、根据用户观看特性对全局观看模式进行分类。

所述用户观看特性是指，对于全局观看模式B＝[b₁，…，b_s，…，b_K]∈R^L×K，定义“峰值位置”表示主要用来观看电视的时间段；“主要节目”表示占据了一天之中主要观看时间的电视节目类型。根据每个全局观看模式b_s的峰值位置和主要节目将全局观看模分为不同类别。

在本实施例中，将全局观看模式的主要节目类型分为7类，包括电视剧、动画片、综艺节目、新闻、科教节目、体育节目、其他。但本发明不限于如此分类。在本实施例中，将一天24小时划分为四个部分，即中午（10:01-14:00）、下午（14:01-19:00）、黄金时间（19:01-23:00）、夜间至次日上午（23:01-10:00）。但本发明不限于如此分类。

第五步、将用户个人观看模式用全局观看模式线性表示，结合表示结果和第四步中的分类结果，建立用户行为与用户家庭结构的关系，并进行系统仿真。

所述将用户个人观看模式用全局观看模式线性表示是指，对于用户i的个人观看模式P_i，提取其主要观看模式p_i1，通过求解下述最优化问题得到其对应的全局观看模式b_s，s＝1，…，K：

$\hat{s}=\arg \underset{s}{\min }{\left|\right|p_{i1}-b_s\left|\right|}_2$

所述结合表示结果和第四步中的分类结果，建立用户行为与用户家庭结构的关系是指，根据用户的主要观看模式对应的全局观看模式，找到用户观看行为的特性，如主要的观看节目、主要的观察时间段，即峰值位置以及用户的个人观看模式的个数。根据用户观看行为的特性，推断用户的家庭结构。

本实施例中，用户主要观看模式与用户家庭结构的对应关系表如表1所示。但本发明不限于表中所示关系的确定。

所述系统仿真是指，在建立了用户主要观看模式与用户家庭结构的对应关系之后，可以根据地区的人口普查结果，得到该地区的用户家庭结构的分布情况，进而推断出用户的观看模式，即观看IPTV的行为，对系统的特性进行仿真。

所述系统特性是指，能够反映系统所特有的性质，如在线用户数以及不同节目的观看人数随时间变化的曲线。在本实施例中，系统在线用户数以及广告、动画、电视剧的观看人数的时间变化曲线，如图4所示。但本发明的使用目的不限于描述上述系统特性。

实施效果

依据上述步骤，对中国电信IPTV上海地区用户2012年3月1日至2012年5月29日观看电视节目行为记录数据进行分析。该数据覆盖40余万用户。对其提取用户个人观看模式、用户全局观看模式并对用户分类。软件平台：MATLAB。系统流程如图1所示。

实验结果为：

用户主要观看模式与用户家庭结构的对应关系表如表1所示。表1中同时给出了真实的用户家庭结构在区域人口的比例与根据用户行为估计出的比例值的比较结果。

表1

家庭结构	个人观看模式个数	对应的观看模式特性	估计比例	真实比例
					单身男性	1	b19-24为主要观看模式	8.2％	8.9％
单身女性	1	b1-10，b15-18为主要观看模式	0.43％	8.3％
					夫妻	2-3	b11-14不是主要观看模式	10.9％	18.6％
夫妻+老人	4-5	b11-14不是主要观看模式	25.7％	24.8％
					夫妻+儿童	4-5	b11-14为主要观看模式	7.9％	7.3％
夫妻+儿童+老人	5+	峰值时段不处于夜间和次日上午时段	11.6％	16.7％

系统仿真结果举例说明如图4所示，所有节目类型的实际值与仿真结果值的均方差（MSE）都在10^-3数量级。该仿真结果说明，对于已经搭建IPTV系统的地区，通过本发明所述方法可根据该地区IPTV系统的收视情况估计该地区的人口信息；对于未搭建IPTV的地区，可根据该地区的人口信息估计可能的收视情况，对所需要搭建的系统的带宽需求，接入速率需求，内容设置等指标进行评估，从而更有针对性地设计IPTV系统。

与现有技术相比，本发明着重分析用户行为与用户家庭结构、社会属性之间的关系。同时提出用户观看电视节目行为的时间冗余和用户冗余特性，并根据该特性建立多级低秩模型，提出的模型不仅可以推断用户家庭结构，同时可用于系统仿真。

本发明提出多级低秩模型以分析IPTV系统用户行为，解决了IPTV系统中的单个用户账号是由单个家庭中的多个成员共同使用，单个用户的行为是由多个人的行为组合而成这一复杂问题。本发明重点建模时间平稳观看模式及其与IPTV用户账号所代表的家庭的结构和人口特征之间的关系。

本发明在人口普查研究领域的应用为，利用IPTV用户观看节目记录数据，分析某地域人口的家庭结构，并达到更快速实时的人口普查追踪。

本发明在工业领域的应用为，若计划开拓IPTV业务新市场，已知新市场所在地区的人口普查结果，则通过本发明所提出的方法，基于用户全局观看模式及其与用户家庭结构的关系，即可仿真得到该地区IPTV系统的主要参数和运行情况，为IPTV业务新市场的开拓和评估提供有效的数据支持。

本发明也同时提出并验证了如下方法，对某工业产品或业务，基于本发明提出的算法，得到其用户的使用行为模式及其与用户人口特征之间的关系，则一方面可根据用户对该产品或业务的使用记录数据，达到快速实时的人口普查追踪，另一方面可根据某地区的人口普查数据，仿真得到该地区用户使用此产品或业务的主要参数和运行情况，为市场的开拓和评估提供有效的数据支持。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种基于电视观看日志挖掘的用户行为分析方法，其特征在于，包括以下步骤：

第一步、根据节目类别以及用户观看时间，对用户观看电视记录的原始数据进行处理，处理后的数据为矩阵形式；

第二步、基于低秩模型提取用户个人观看模式，消除用户观看行为的时间冗余；

第三步、基于低秩模型提取用户全局观看模式，消除用户观看行为的用户冗余；

第四步、根据用户观看特性对观看模式进行分类；

第五步、将用户个人观看模式用全局观看模式线性表示，结合表示结果和第四步中观看模式的分类结果，建立用户行为与用户家庭结构的关系，并进行系统仿真。

2.根据权利要求1所述的基于电视观看日志挖掘的用户行为分析方法，其特征是，所述第一步，具体实现为：设原始数据为用户M天的观看电视记录，对用户i的第m天记录，将其写入矩阵d_im∈R^T×N，m＝1，…，M，T为一天被分割成的时间段的数量，N为电视节目被分类的数量，d_im的元素d_im(x，y)取值区间为[0，1]，在数值上表示在第x个时间段内用户观看第y类电视节目的时间占该时间段时间的比例，其中，x＝1，…T，y＝1，…，N；

定义L＝T×N，将d_im写为向量形式，记为

对用户i的M天记录，则有 $D_i=[{\hat{d}}_{i1},...,{\hat{d}}_{\mathrm{iM}}]\∈R^{L\×N}.$

3.根据权利要求2所述的基于电视观看日志挖掘的用户行为分析方法，其特征是，第二步中，所述低秩模型，是指通过求解下述最优化问题，得到用户i的观测数据的一个低秩估计，

${\hat{L}}_i=\arg \underset{L_i}{\min }{\left|\right|L_i\left|\right|}_{*}+\mathrm{\λ}{\left|\right|D_i-L_i\left|\right|}_1$

其中||·||_*为矩阵核范数，是矩阵奇异值之和，||·||₁表示矩阵元素绝对值之和；L_i为D_i的低秩估计；λ＞0，为朗格朗日乘子，用于控制稀疏项的权重；矩阵的秩是指矩阵中非零奇异值的个数；低秩是指矩阵

的非零奇异值个数远小于

的行数和列数。

4.根据权利要求3所述的基于电视观看日志挖掘的用户行为分析方法，其特征是，第二步中，所述提取个人观看模式，消除用户观看行为的时间冗余，是指：对于秩为K_i的矩阵

通过下述方法估计出K_i个向量用于表示用户个人的观看模式，所述个人观看模式记为 $P_i=[p_{i1},...,p_{{\mathrm{ik}}_i}]\∈R^{L\×K_i};$

1）对于

中的第一列，求出其与其他列的残差；

2）将残差小于γ的列聚为一类，对其求均值，得到p_ik；

3）再将这些列从

中剔除，得到新的

4）重复上述步骤K_i次，得到 $P_i=[p_{i1},...,p_{{\mathrm{ik}}_i}]\∈R^{L\×K_i};$

γ对应聚类结果的中心到其边界的最大距离；

对用户i的M天数据，个人模式p_ik出现的次数，记为w_ik，按照w_ik递减对P_i的列进行排序，k＝1，…，K_i，用户i的主要个人观看模式记为p_i1，第二个人观看模式记为p_i2，依次类推。

5.根据权利要求1所述的基于电视观看日志挖掘的用户行为分析方法，其特征是，所述第三步，所述低秩模型，是指通过求解下述最优化问题，得到用户全局观测数据的一个低秩估计：

$\hat{B}=\arg \underset{B}{\min }{\left|\right|B\left|\right|}_{*}+\mathrm{\λ}{\left|\right|P_I-B\left|\right|}_1$

其中||·||_*为矩阵核范数，是矩阵奇异值之和，||·||₁表示矩阵元素绝对值之和；λ＞0，为朗格朗日乘子，用于控制稀疏项的权重；P_I表示I个用户的个人观看模式所组成的矩阵，记为P_I＝[P₁，…，P_i]；矩阵的秩是指矩阵中非零奇异值的个数；低秩是指矩阵

的非零奇异值个数远小于

的行数和列数；

所述提取全局观看模式，消除用户观看行为的用户冗余是指，对于秩为K的矩阵

通过与第二步所述相同的方法估计出K个向量用于表示用户全局观看模式，所述用户全局观看模式记为B＝[b₁，…，b_K]∈R^L×K，L＝T×N，T为一天被分割成的时间段的数量，N为电视节目被分类的数量。

6.根据权利要求1所述的基于电视观看日志挖掘的用户行为分析方法，其特征是，第四步中，所述用户观看特性是指，对于全局观看模式B＝[b₁，…，b_K]∈R^L×K，L＝T×N，T为一天被分割成的时间段的数量，N为电视节目被分类的数量，K个向量用于表示用户全局观看模式；定义“峰值位置”表示主要用来观看电视的时间段；定义“主要节目”表示占据了一天之中主要观看时间的电视节目类型；根据每个全局观看模式b_k的峰值位置和主要节目将定义分为不同类别。

7.根据权利要求1-6任一项所述的基于电视观看日志挖掘的用户行为分析方法，其特征是，第五步中，所述将用户个人观看模式用全局观看模式线性表示是指：对于用户i的个人观看模式P_i，提取其主要观看模式p_i1，通过求解下述最优化问题，得到其对应的全局观看模式b_s：

$\hat{s}=\arg \underset{s}{\min }{\left|\right|p_{i1}-b_s\left|\right|}_2$

其中，s对应全局观看模式的下标；b_s为用户全局观看模式B＝[b₁，…，b_K]中的第s个，s＝1，…，K；K个向量用于表示用户全局观看模式。

8.根据权利要求1-6任一项所述的基于电视观看日志挖掘的用户行为分析方法，其特征是，第五步中，所述结合表示结果和第四步中的分类结果，建立用户行为与用户家庭结构的关系是指：根据用户的主要观看模式对应的全局观看模式，找到用户观看行为的特性，如主要的观看节目、主要的观察时间段，即峰值位置以及用户的个人观看模式的个数，根据用户观看行为的特性，推断用户的家庭结构。

9.根据权利要求1-6任一项所述的基于电视观看日志挖掘的用户行为分析方法，其特征是，第五步中，所述系统仿真是指，在建立了用户主要观看模式与用户家庭结构的对应关系之后，根据地区的人口普查结果，得到该地区的用户家庭结构的分布情况，进而推断出用户的观看模式，即观看IPTV的行为，对系统的特性进行仿真。

10.根据权利要求1-6任一项所述的基于电视观看日志挖掘的用户行为分析方法，其特征是，第五步中，所述系统特性是指，系统中在线用户数以及不同节目的观看人数随时间变化的曲线。

Images