CN103313108A - 一种基于情景感知的智能电视节目推荐方法 - Google Patents

Abstract

本发明公开了一种基于情景感知的智能电视节目推荐方法，其包括以下步骤：包括采集当前用户人数、身份，捕捉用户表情、动作和语言信息以及用户操作记录的信息数据采集步骤；包括将所述信息数据采集步骤采集的信息数据进行分析，将所述信息数据转化为能直接用于推荐算法之算法数据的情景感知数据处理步骤；包括使用所述算法数据进行分析后，向当前用户推荐最佳节目列表的服务器推荐步骤。对用户兴趣的粒度更加细化，细化到用户在观看电视时的情绪信息和对电视节目的评论信息，从而根据这些信息针对用户群推荐适合用户观看的最佳节目列表，方便了用户操作，提高了用户体验，使用户更愉悦的观赏电视节目。

Description

一种基于情景感知的智能电视节目推荐方法

技术领域

本发明涉及一种基于情景感知的智能电视节目推荐方法。 

背景技术

随着技术的发展，人们对于电视的要求已经不仅仅局限于被动的去接受，而是要求像互联网一样进行自己去筛选或定制，得到符合个人兴趣的个性化服务，在这种技术背景下，智能电视应运而生。 

目前的情景感知应用，大多是针对单个用户的当前情景。对于电视用户来说，感知单个用户则会忽略其他用户的情景信息；在多用户观看电视的情况下，如果推荐的节目只符合单个用户的兴趣，则会无法推荐出符合大多数人的电视节目。现有技术中的电视不能使用图像处理技术识别并识别出用户的身份，不能得出当前用户表情相对应的情绪信息，也不能处理用户的音频信息，得到音频中的用户对电视评价的内容和语义信息，更无法根据使用用户的情绪信息和语言信息建立用户的兴趣模型，对用户做出最佳的推荐。 

因此，现有技术有待于更进一步的改进和发展。 

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供一种基于情景感知的智能电视节目推荐方法，对用户兴趣的粒度更加细化，能针对用户群进行推荐最佳的节目列表，提高用户体验。 

为解决上述技术问题，本发明技术方案包括： 

一种基于情景感知的智能电视节目推荐方法，其包括以下步骤： 

包括采集当前用户人数、身份，捕捉用户表情、动作和语言信息以及用户操作记录的信息数据采集步骤； 

包括将所述信息数据采集步骤采集的信息数据进行分析，将所述信息数据转化为能直接用于推荐算法之算法数据的情景感知数据处理步骤； 

包括使用所述算法数据进行分析后，向当前用户推荐最佳节目列表的服务器推荐步骤。 

所述的智能电视节目推荐方法，其中，所述信息数据采集步骤包括： 

通过智能电视机的摄像头和语音收集器来检测当前用户的人数与身份、捕捉当前用户的表情和动作以及语音信息、收集用户的操作记录；所述摄像头能从一张大图中智能识别人脸，并从人脸图像中抽取包含主要特征小图像；所述语音识别器识别出当前用户的语音内容，并与所述摄像头配合将语音与说话者身份对应；所述智能电视机收集用户操作记录。 

所述的智能电视节目推荐方法，其中，所述用户操作记录包括用户查看电影的记录、用户观看电影的记录、用户对观看电影评论的记录、用户搜索电影的记录、用户打标签或创建标签电影的记录、用户关注好友电影或被好友关注电影的记录、用户分享电影记录、用户收藏电影和喜欢电影的记录、用户不喜欢电影的记录、用户对节目推荐列表操作的记录、用户添加影评的记录和用户参加社区和小组的记录。 

所述的智能电视节目推荐方法，其中，所述用户观看电影的记录通过 

算式进行评价，其中，L为观看时长，T为节目的总长度，FN为快进次数，BN为快退次数，所述t_ij的范围为0-5，其对应关系如下： 

${\mathrm{value}}_{\mathrm{ij}}=\left\{\begin{array}{cc}0& t_{\mathrm{ij}}=0\\ 1& t_{\mathrm{ij}}\∈\left(\mathrm{0,0.2}\right]\\ 2& t_{\mathrm{ij}}\∈\left(\mathrm{0.2,0.4}\right]\\ 3& t_{\mathrm{ij}}\∈\left(\mathrm{0.4,0.6}\right]\\ 4& t_{\mathrm{ij}}\∈\left(\mathrm{0.6,0.8}\right]\\ 5& t_{\mathrm{ij}}\∈(0.8,+\∞]\end{array}\right..$

所述的智能电视节目推荐方法，其中，所述情景感知数据处理步骤包括：采用人工神经网络算法根据人脸图像识别用户身份；将当前用户语言信息转化为用户对电影的评价数据； 

若当前用户为多个，则使用矩阵分解的方法将多个用户的混杂音频信息分离成多个单独用户的音频信息。； 

将上述处理结果转化为所述算法数据。 

所述的智能电视节目推荐方法，其中，所述服务器推荐步骤包括：根据所述算法数据分析用户的兴趣模型，得到的用户兴趣模型保存到一个数据库表中或者保存到一个文件当中，以供在线算法调用。 

所述的智能电视节目推荐方法，其中，所述服务器推荐步骤包括：根据用户兴趣模型和当前用户的动态数据通过在线推荐算法对用户实时推荐最佳节目列表。 

所述的智能电视节目推荐方法，其中，所述在线推荐算法通过 

算式进行推荐，其中，θ_k为对于第k个推荐算法的结果rec_k(u,i)的权值；α_uk代表用户u在算法k上的对平均权值θ_k的偏离，用来增加每个用户对 不同算法的适应性，其可以通过结果推荐之后用户的操作数据来动态确定；rec_k(u,i)代表给用户u推荐最佳节目列表i的推荐评分；此算式必须满足

所述的智能电视节目推荐方法，其中，所述在线推荐算法使用梯度下降，降低推荐结果的MAE值，所述MAE的算式如下： 

$\mathrm{MAE}=\frac{{\mathrm{\Σ}}_{r_i\∈R}{\mathrm{\Σ}}_{k=1}^n{\mathrm{\θ}}_k\×|{\mathrm{rec}}_k(u,i)-r_i|}{\left|R\right|}$

其中，r_i为用户u对推荐最佳节目列表i的真实评价，R表示测试集。 

本发明提供的一种基于情景感知的智能电视节目推荐方法，通过对当前用户的信息数据进行采集，然后再将所述信息数据转化为能直接用于推荐算法之算法数据的情景感知数据，最后通过分析向当前用户推荐最佳节目列表，对用户兴趣的粒度更加细化，细化到用户在观看电视时的情绪信息和对电视界面的评论信息，从而根据这些信息针对用户群推荐适合用户观看的最佳节目列表，方便了用户操作，提高了用户体验，使用户更愉悦的观赏电视节目。 

附图说明

图1是本发明中智能电视节目推荐方法的流程示意图； 

图2是本发明中智能电视节目推荐方法一个实施例的流程示意图。 

具体实施方式

本发明提供了一种基于情景感知的智能电视节目推荐方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。 

本发明提供了一种基于情景感知的智能电视节目推荐方法，如图1所示的，其包括以下步骤： 

步骤101：包括采集当前用户人数、身份，捕捉用户表情、动作和语言信息以及用户操作记录的信息数据采集步骤； 

步骤102：包括将所述信息数据采集步骤采集的信息数据进行分析，将所述信息数据转化为能直接用于推荐算法之算法数据的情景感知数据处理步骤； 

步骤103：包括使用所述算法数据进行分析后，向当前用户推荐最佳节目列表的服务器推荐步骤。 

更进一步的，所述信息数据采集步骤包括： 

通过智能电视机的摄像头和语音收集器来检测当前用户的人数与身份、捕捉当前用户的 表情和动作以及语音信息、收集用户的操作记录；所述摄像头能从一张大图中智能识别人脸，并从人脸图像中抽取包含主要特征小图像；所述语音识别器识别出当前用户的语音内容，并与所述摄像头配合将语音与说话者身份对应；所述智能电视机收集用户操作记录。 

在本发明的另一较佳实施例中，所述用户操作记录包括用户查看电影的记录、用户观看电影的记录、用户对观看电影评论的记录、用户搜索电影的记录、用户打标签或创建标签电影的记录、用户关注好友电影或被好友关注电影的记录、用户分享电影记录、用户收藏电影和喜欢电影的记录、用户不喜欢电影的记录、用户对节目推荐列表操作的记录、用户添加影评的记录和用户参加社区和小组的记录。 

更进一步的，所述用户观看电影的记录通过

算式进行评价，其中，L为观看时长，T为节目的总长度，FN为快进次数，BN为快退次数，所述t_ij的范围为0-5，其对应关系如下： 

${\mathrm{value}}_{\mathrm{ij}}=\left\{\begin{array}{cc}0& t_{\mathrm{ij}}=0\\ 1& t_{\mathrm{ij}}\∈\left(\mathrm{0,0.2}\right]\\ 2& t_{\mathrm{ij}}\∈\left(\mathrm{0.2,0.4}\right]\\ 3& t_{\mathrm{ij}}\∈\left(\mathrm{0.4,0.6}\right]\\ 4& t_{\mathrm{ij}}\∈\left(\mathrm{0.6,0.8}\right]\\ 5& t_{\mathrm{ij}}\∈(0.8,+\∞]\end{array}\right..$

在本发明最优选的实施例中，所述情景感知数据处理步骤包括：采用人工神经网络算法根据人脸图像识别用户身份；将当前用户语言信息转化为用户对电影的评价数据； 

若当前用户为多个，则使用矩阵分解方法将多个用户的混杂音频分开为每个用户的单独音频； 

将上述处理结果转化为所述算法数据。 

更进一步的，所述服务器推荐步骤包括：根据所述算法数据分析用户的兴趣模型，得到的用户兴趣模型保存到一个数据库表中或者保存到一个文件当中，以供在线算法调用； 

根据用户兴趣模型和当前用户的动态数据通过在线推荐算法对用户实时推荐最佳节目列表。 

更为具体的是：所述在线推荐算法通过

算式进行推 荐，其中，θ_k为对于第k个推荐算法的结果rec_k(u,i)的权值；α_uk代表用户u在算法k上的对平均权值θ_k的偏离，用来增加每个用户对不同算法的适应性，其可以通过结果推荐之后用户的操作数据来动态确定；rec_k(u,i)代表给用户u推荐最佳节目列表i的推荐评分；此算式必须满足 $\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\θ}}_k=1.$

更进一步的，所述在线推荐算法使用梯度下降，降低推荐结果的MAE值，所述MAE的算式如下： 

$\mathrm{MAE}=\frac{{\mathrm{\Σ}}_{r_i\∈R}{\mathrm{\Σ}}_{k=1}^n{\mathrm{\θ}}_k\×|{\mathrm{rec}}_k(u,i)-r_i|}{\left|R\right|}$

其中，r_i为用户u对推荐最佳节目列表i的真实评价，R表示测试集。 

还可以使用一个决策算法，根据用户的不同情况使用不同的算法结果或者调整算法的权重，算式如下： 

$\∃k:1...\mathrm{nrec}(u,i)={\mathrm{rec}}_k(u,i)$

其中，k代表当前用户的类型。这样可以针对不同用户灵活的变换算法来得到最优的结果。 

为了更进一步描述本发明的智能电视节目推荐方法，以下列举一更为详尽的实施例进行说明。 

用户操作层使用摄像头和语音收集器收集用户的图像信息和音频信息，摄像头应当具有从一张大图中智能识别人脸的功能，并从人脸图像中抽取包含主要特征小图像，以便于网络传输；语音识别器需要识别出当前语音的内容，还要跟摄像头配合将语音与说话者身份对应；智能电视的机顶盒客户端需要有收集用户操作记录的功能，用户操作记录的内容主要针对服务器算法的要求来定制；主要搜集的用户的操作记录有如下一些信息，这些信息如下： 

用户查看的电影信息，即用户查看过详细信息的电影,这些数据代表用户可能感兴趣内容，可以作为任何算法的数据； 

用户观看的电影信息，包括电影本身的信息和用户观看电影时的观看记录，例如快进和快退次数、暂停次数或者二次观看的次数，我们使用一个算式将这些数据转化为用户对此电影的打分，具体算式如下： 

$t_{\mathrm{ij}}=\frac{L}{T}\·(\frac{1}{\mathrm{\π}}\·\mathrm{arctg}\frac{\mathrm{BN}+1}{\mathrm{FN}+1}+0.5)$

其中，L为观看时长，T为节目的总长度，FN为快进次数，BN为快退次数。然后将t_ij转化为范围0-5的范围，对应关系如下： ${\mathrm{value}}_{\mathrm{ij}}=\left\{\begin{array}{cc}0& t_{\mathrm{ij}}=0\\ 1& t_{\mathrm{ij}}\∈\left(\mathrm{0,0.2}\right]\\ 2& t_{\mathrm{ij}}\∈\left(\mathrm{0.2,0.4}\right]\\ 3& t_{\mathrm{ij}}\∈\left(\mathrm{0.4,0.6}\right]\\ 4& t_{\mathrm{ij}}\∈\left(\mathrm{0.6,0.8}\right]\\ 5& t_{\mathrm{ij}}\∈(0.8,+\∞]\end{array}\right..$

这样可以解决推荐系统用户冷启动的问题，即缺少用户打分数据的问题，也能直接导出对应数据。 

用户对电影的打分信息，即用户在看完或者没看完一个电影的时候对电影的打分或者拒绝打分的记录，可以用于协同过滤算法、基于矩阵分解的算法、上下文算法和组推荐算法等多种算法。 

用户搜索电影的记录，即用户搜索电影的关键词信息及搜索次数，可以用于算法中计算用户相似度或者计算电影相似度，适合作为基于相似度的算法的数据。 

用户打标签的记录或者创建标签的记录，即用户给哪个电影打了什么标签或者创建了什么标签，主要用于基于标签的算法，可以用标签来计算用户相似度和电影相似度或者跟用户电影标签三者之间的联系。 

用户关注好友和被关注的记录，即用户关注了哪些好友和用户被哪些好友关注，主要用于基于社交网络的推荐算法，可以用来对用户的社交网络进行分析。 

用户分享电影记录，即用户分享的电影或者转发了好友分享的电影，可以作为等同于用户查看电影的记录，用来计算用户相似度或者作为社交网络推荐的数据。 

用户收藏的电影和喜欢的电影，即用户显式的进行收藏操作的电影和显式的进行喜欢操作的电影，这些用户的显式数据直接代表了用户的喜好，可以用于大部分的算法作为数据使用。 

用户不喜欢的电影，即用户显式的进行不喜欢操作的电影，这些数据代表了用户兴趣的反面，可以用户过滤用户不喜欢的电影类型。 

用户对推荐列表的操作，即用户观看了那些推荐列表中的电影和用户没有点击的推荐列表的电影及其存在时长，主要用于推荐列表的更新，还可以从侧面反映出用户不喜欢的电影类型，从而更新用户的兴趣模型。 

用户添加微影评的记录，即用户进行评论的或者发影评的电影，这些数据代表了用户对 此电影的评价，可以反映出用户对电影的喜爱程度，作为基于内容的算法的数据。 

用户参加的社区和小组的记录，用于组推荐算法。 

以上的收集的用户记录都要加上时间信息，时间精确到秒。更多的用户记录可以根据算法的需要再添加。 

用户操作层将这些用户操作记录加上用户的图像和语音信息发送到情景感知数据处理层进行处理。为了方便网络传输，用户的操作记录封装成Json或者Xml格式发送，图像和音频信息使用二进制流发送。 

情景感知数据处理层将用户操作层收集到的数据转化为推荐算法可以直接处理的数据。 

根据人脸图像识别用户身份，可以使用当前效果最优的人工神经网络算法进行学习并对图像进行识别。 

识别音频的内容，并根据音频内容识别其语义信息，仍然可以使用人工神经网络算法识别音频内容，并使用自然语言处理的统计方法得到其语义信息，将语义信息转化为用户对电影的评价信息（可以用一个打分或者0到1之间的小数代表用户对电影的喜爱程度）。如果音频有多个人声音需要将这些人声分开，可以使用矩阵分解的方法将不同人声分离。并且对图像与语音的识别需要有较高的抗噪音能力，比如手机铃声等噪音。 

上述流程处理完成后将这些数据发送到服务器推荐算法层进行处理。 

在推荐算法层中，分为在线算法模块和离线算法模块。 

离线算法模块需要注重算法的精确度，不需要过分考虑算法的时效性；离线算法根据客户端收集到的各种用户操作记录分析用户的兴趣模型，得到的用户兴趣模型可以保存到一个数据库表中或者保存到一个文件当中，以供在线算法调用；离线算法可以在每天的固定时间运行，比如凌晨服务器不太忙的时候；只根据静态的用户操作记录数据进行推荐而无法根据动态的实时的用户数据给用户推荐电视节目，而且对当前有多人观看电影的情况无法做出推荐。但其与在线算法模块向结合，即可向用户推荐电视节目。 

在线算法模块需要注重算法时间方面的性能，可以使用混合算法根据离线算法生成的用户兴趣模型和动态用户数据对用户做出实时的推荐；当有多个用户观看电影时，在线算法根据多个用户的兴趣模型对多用户做出实时推荐。 

最后通过算法融合策略将离线算法的结果与在线算法的结果进行融合，得到最优的推荐结果，然后将推荐结果发送到客户端，在智能电视上显示供用户选择。 

当前使用最多的推荐算法主要有协同过滤算法、基于内容的算法、基于矩阵分解的算法、基于标签的算法、基于社会网络的算法、上下文算法、组推荐算法和混合算法。协同过滤算法包括基于用户的协同过滤和基于内容的协同过滤，根据相似度算式的变化有很多协同过滤 的变体，其适合作为离线算法。基于矩阵分解的算法主要有奇异值分解方法、LSI、pLSA、LDA等方法，在时间效率上同样适合作为离线算法。基于标签的算法主要根据标签数据进行推荐，主要有张量分解算法、基于Topic Model的算法和基于图的算法等。基于社会网络的算法可以使用社会网络分析的方法对用户之间的关系进行分析；混合算法可以使用不同的策略对多种算法进行融合，我们可以使用以下算式进行融合: 

即在线推荐算法通过

算式进行推荐，其中，θ_k为对于第k个推荐算法的结果rec_k(u,i)的权值；α_uk代表用户u在算法k上的对平均权值θ_k的偏离，用来增加每个用户对不同算法的适应性，其可以通过结果推荐之后用户的操作数据来动态确定；rec_k(u,i)代表给用户u推荐最佳节目列表i的推荐评分；此算式必须满足

更进一步的，所述在线推荐算法使用梯度下降，降低推荐结果的MAE值，所述MAE的算式如下： 

$\mathrm{MAE}=\frac{{\mathrm{\Σ}}_{r_i\∈R}{\mathrm{\Σ}}_{k=1}^n{\mathrm{\θ}}_k\×|{\mathrm{rec}}_k(u,i)-r_i|}{\left|R\right|}$

其中，r_i为用户u对推荐最佳节目列表i的真实评价，R为测试集。 

还可以使用一个决策算法，根据用户的不同情况使用不同的算法结果或者调整算法的权重，算式如下： 

$\∃k:1...\mathrm{nrec}(u,i)={\mathrm{rec}}_k(u,i)$

其中，k代表当前用户的类型。这样可以针对不同用户灵活的变换算法来得到最优的结果。 

当然，以上说明仅仅为本发明的较佳实施例，本发明并不限于列举上述实施例，应当说明的是，任何熟悉本领域的技术人员在本说明书的教导下，所做出的所有等同替代、明显变形形式，均落在本说明书的实质范围之内，理应受到本发明的保护。 

Claims (9)

1.一种基于情景感知的智能电视节目推荐方法，其包括以下步骤：

包括采集当前用户人数、身份，捕捉用户表情、动作和语言信息以及用户操作记录的信息数据采集步骤；

包括将所述信息数据采集步骤采集的信息数据进行分析，将所述信息数据转化为能直接用于推荐算法之算法数据的情景感知数据处理步骤；

包括使用所述算法数据进行分析后，向当前用户推荐最佳节目列表的服务器推荐步骤。

2.根据权利要求1所述的智能电视节目推荐方法，其特征在于，所述信息数据采集步骤包括：

通过智能电视机的摄像头和语音收集器来检测当前用户的人数与身份、捕捉当前用户的表情和动作以及语音信息、收集用户的操作记录；所述摄像头能从一张大图中智能识别人脸，并从人脸图像中抽取包含主要特征小图像；所述语音识别器识别出当前用户的语音内容，并与所述摄像头配合将语音与说话者身份对应；所述智能电视机收集用户操作记录。

3.根据权利要2所述的智能电视节目推荐方法，其特征在于，所述用户操作记录包括用户查看电影的记录、用户观看电影的记录、用户对观看电影评论的记录、用户搜索电影的记录、用户打标签或创建标签电影的记录、用户关注好友电影或被好友关注电影的记录、用户分享电影记录、用户收藏电影和喜欢电影的记录、用户不喜欢电影的记录、用户对节目推荐列表操作的记录、用户添加影评的记录和用户参加社区和小组的记录。

4.根据权利要求3所述的智能电视节目推荐方法，其特征在于，所述用户观看电影的记录通过

算式进行评价，其中，L为观看时长，T为节目的总长度，FN为快进次数，BN为快退次数，所述t_ij的范围为0-5，其对应关系如下：

${\mathrm{value}}_{\mathrm{ij}}=\left\{\begin{array}{cc}0& t_{\mathrm{ij}}=0\\ 1& t_{\mathrm{ij}}\∈\left(\mathrm{0,0.2}\right]\\ 2& t_{\mathrm{ij}}\∈\left(\mathrm{0.2,0.4}\right]\\ 3& t_{\mathrm{ij}}\∈\left(\mathrm{0.4,0.6}\right]\\ 4& t_{\mathrm{ij}}\∈\left(\mathrm{0.6,0.8}\right]\\ 5& t_{\mathrm{ij}}\∈(0.8,+\∞]\end{array}\right..$

5.根据权利要求1所述的智能电视节目推荐方法，其特征在于，所述情景感知数据处理步骤包括：采用人工神经网络算法根据人脸图像识别用户身份；将当前用户语言信息转化为用户对电影的评价数据；

若当前用户为多个，则使用矩阵分解方法将多个用户的混杂音频分开为每个用户的单独音频；

将上述处理结果转化为所述算法数据。

6.根据权利要求5所述的智能电视节目推荐方法，其特征在于，所述服务器推荐步骤包括：根据所述算法数据分析用户的兴趣模型，得到的用户兴趣模型保存到一个数据库表中或者保存到一个文件当中，以供在线算法调用。

7.根据权利要求6所述的智能电视节目推荐方法，其特征在于，所述服务器推荐步骤包括：根据用户兴趣模型和当前用户的动态数据通过在线推荐算法对用户实时推荐最佳节目列表。

8.根据权利要7所述的智能电视节目推荐方法，其特征在于，所述在线推荐算法通过

算式进行推荐，其中，θ_k为对于第k个推荐算法的结果rec_k(u,i)的权值；α_uk代表用户u在算法k上的对平均权值θ_k的偏离，其通过结果推荐之后用户的操作数据来动态确定；rec_k(u,i)代表给用户u推荐最佳节目列表i的推荐评分；此算式必须满足 $\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\θ}}_k=1.$

9.根据权利要求8所述的智能电视节目推荐方法，其特征在于，所述在线推荐算法使用梯度下降，降低推荐结果的MAE值，所述MAE的算式如下：

$\mathrm{MAE}=\frac{{\mathrm{\Σ}}_{r_i\∈R}{\mathrm{\Σ}}_{k=1}^n{\mathrm{\θ}}_k\×|{\mathrm{rec}}_k(u,i)-r_i|}{\left|R\right|}$

其中，r_i为用户u对推荐最佳节目列表i的真实评价，R表示测试集。

Images