CN110990625A

CN110990625A - 影视推荐方法及装置

Info

Publication number: CN110990625A
Application number: CN201911180898.4A
Authority: CN
Inventors: 余杰
Original assignee: Nanjing Skyworth Information Technology Research Institute Co ltd
Current assignee: Nanjing Skyworth Information Technology Research Institute Co ltd
Priority date: 2019-11-27
Filing date: 2019-11-27
Publication date: 2020-04-10

Abstract

本发明提供一种影视推荐方法及装置，通过获取人脸图像数据，并根据所述人脸图像数据和预设的表情识别神经网络模型，获取用户的心情数据；获取历史搜索记录，并根据所述历史搜索记录获取标签数据；获取语音信息，并根据所述语音信息确定语义识别数据；其中，所述语义识别数据为搜索影视类数据；根据所述搜索影视类数据、所述心情数据和所述标签数据，获取影视推荐列表，可以更好的满足用户的需求。

Description

影视推荐方法及装置

技术领域

本发明涉及互联网技术领域，尤其涉及一种影视推荐方法及装置。

背景技术

随着互联网络的大面积普及，科学技术的飞速发展，电视已经从传统意义上单纯收看直播信号，播放视频的产品转换为更贴近用户需求的多媒体智能电视。由于Internet具有信息传输的开放性以及信息覆盖的广泛性等特点，智能电视的资源量以指数规律迅速扩展和增加。从而导致用户闲时不知道播放什么，解决这个问题的关键在于将影视引擎从被动接受用户的请求转化为感知用户的信息需求，实现影视引擎对用户的主动信息服务，为了给人们提供满意的信息和服务，推荐技术应运而生，成为目前众多学者和网络用户关心的核心技术。推荐系统通过预测用户对信息资源的喜好程度来进行信息过滤，根据用户具体需求通过协同过滤等技术进行个性化推荐，根据这一基本原理，推荐系统产生了各种不同算法。

影视推荐根据当前热门视频及用户的个性化数据，为用户提供个性化的视频推荐，从而增加用户粘度，提高语音搜索流量。传统的语音影视搜索推荐方法主要是根据影视热度来综合排序，主要会有以下缺点：

1.用户语音“我要看电影”，推荐出来的列表通常就是最新最热的影片列表，没法做到每个用户推荐的视频不同的效果。

2.传统推荐系统无法做到实时根据用户心情来推荐合适的影片。比如当用户很开心的时候，可能会推荐到很悲伤的电影；当用户心情不好时，推荐到悲伤的电影心情会更坏。

3.传统影视推荐没法记住用户的使用习惯，经常搜的影视标签等。比如用户总会搜索刘德华的动作片，推荐系统就会适当的在推荐影视时候偏向于刘德华主演的电影或者是动作片等标签的影片。

综上所述，现有技术中的推荐系统无法更好的满足用户的需求。

发明内容

本发明实施例提供一种影视推荐方法及装置，可以更好的满足用户的需求。

第一方面，本发明提供一种影视推荐方法，包括：

获取人脸图像数据，并根据所述人脸图像数据和预设的表情识别神经网络模型，获取用户的心情数据；

获取历史搜索记录，并根据所述历史搜索记录获取标签数据；

获取语音信息，并根据所述语音信息确定语义识别数据；其中，所述语义识别数据为搜索影视类数据；

根据所述搜索影视类数据、所述心情数据和所述标签数据，获取影视推荐列表。

可选地，在第一方面的一种可能实现方式中，所述心情数据包括开心数据和不开心数据；

相应地，所述获取人脸图像数据，并根据所述人脸图像数据和预设的表情识别神经网络模型，获取用户的心情数据，包括：

获取所述人脸图像数据，并根据所述人脸图像数据和预设的表情识别神经网络模型，获取用户的开心数据和不开心数据。

可选地，在第一方面的一种可能实现方式中，在所述获取人脸图像数据，并根据所述人脸图像数据和预设的表情识别神经网络模型，获取用户的心情数据之前，还包括：

获取人脸图像数据训练样本和以所述人脸图像数据训练样本产生的心情数据训练样本；

以所述心情数据训练样本为输出量、以所述人脸图像数据训练样本为输入量，对所述预设的表情识别神经网络模型进行训练，获取表情识别神经网络模型。

可选地，在第一方面的一种可能实现方式中，所述获取历史搜索记录，并根据所述历史搜索记录获取标签数据，包括：

获取所述历史搜索记录，根据所述历史搜索记录获取多个关键词数据；

根据多个所述关键词数据，获取所述标签数据。

可选地，在第一方面的一种可能实现方式中，所述根据多个所述关键词数据，获取所述标签数据，包括：

对多个所述关键词数据按照次数进行排序处理，并获取次数最多的关键词数据；

根据所述次数最多的关键词数据，获取所述标签数据。

可选地，在第一方面的一种可能实现方式中，所述关键词数据包括人名数据；

相应地，所述根据多个所述关键词数据，获取所述标签数据，包括：

根据多个所述人名数据，获取所述标签数据。

可选地，在第一方面的一种可能实现方式中，所述关键词数据还包括影视类别数据；

根据多个所述人名数据和所述影视类别数据，获取所述标签数据。

第二方面，本发明提供一种影视推荐装置，包括：

心情模块，用于获取人脸图像数据，并根据所述人脸图像数据和预设的表情识别神经网络模型，获取用户的心情数据；

历史模块，用于获取历史搜索记录，并根据所述历史搜索记录获取标签数据；

语义模块，用于获取语音信息，并根据所述语音信息确定语义识别数据；其中，所述语义识别数据为搜索影视类数据；

推荐模块，用于根据所述搜索影视类数据、所述心情数据和所述标签数据，获取影视推荐列表。

第三方面，本发明提供一种影视推荐设备，包括：存储器、处理器以及计算机程序，所述计算机程序存储在所述存储器中，所述处理器运行所述计算机程序执行本发明第一方面及第一方面各种可能涉及的所述方法。

本发明实施例的第四方面，提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现本发明第一方面及第一方面各种可能涉及的所述方法。

本发明提供的一种影视推荐方法及装置，通过获取人脸图像数据，并根据人脸图像数据和预设的表情识别神经网络模型，获取用户的心情数据，即通过采集电视前用户的人脸数据，然后判断用户的心情，例如可以判断出用户现在处于不开心状态；获取历史搜索记录，并根据所述历史搜索记录获取标签数据，其中，历史搜索记录是用户平时观看电视的搜索记录，例如“播放刘德华的电影”，其中的标签数据可以是“刘德华”，最后获取到用户的语音信息，并根据所述语音信息确定语义识别数据，其中，所述语义识别数据为搜索影视类数据，例如，可以是“我想看电影”，最后，根据所述搜索影视类数据、所述心情数据和所述标签数据，获取影视推荐列表。即本发明将用户的表情和用户影视偏好结合起来，给用户推荐当前最适合用户观看的影视推荐，做到个性化影视推荐的目的，以更好的满足用户的需求。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1为本发明提供的一种影视推荐方法的流程示意图；

图2是本发明提供的一种影视推荐装置的结构框图；

图3是本发明实施例提供的一种影视推荐设备的硬件结构示意图。

通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明的应用场景可以是本发明除可用于电视领域外，还可以用于其他的包括但不限于智能机顶盒、智能电视盒的智能视频的应用场景，在本发明中仅以电视领域进行展开说明，但并不限制此领域。

随着互联网络的大面积普及，科学技术的飞速发展，电视已经从传统意义上单纯收看直播信号，播放视频的产品转换为更贴近用户需求的多媒体智能电视。由于Internet具有信息传输的开放性以及信息覆盖的广泛性等特点，智能电视的资源量以指数规律迅速扩展和增加。从而导致用户闲时不知道播放什么，解决这个问题的关键在于将影视引擎从被动接受用户的请求转化为感知用户的信息需求，实现影视引擎对用户的主动信息服务，为了给人们提供满意的信息和服务，推荐技术应运而生，成为目前众多学者和网络用户关心的核心技术。推荐系统通过预测用户对信息资源的喜好程度来进行信息过滤，根据用户具体需求通过协同过滤等技术进行个性化推荐，根据这一基本原理，推荐系统产生了各种不同算法。影视推荐根据当前热门视频及用户的个性化数据，为用户提供个性化的视频推荐，从而增加用户粘度，提高语音搜索流量。传统的语音影视搜索推荐方法主要是根据影视热度来综合排序，主要会有以下缺点：

为了解决现有技术的如上技术问题，本发明提供一种影视推荐方法及装置，可以更好的满足用户的需求。

下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

图1为本发明提供的一种影视推荐方法流程示意图，图1所示方法的执行主体可以是软件和/或硬件装置。图1所示方法包括步骤S101至步骤S104，具体如下：

S101，获取人脸图像数据，并根据所述人脸图像数据和预设的表情识别神经网络模型，获取用户的心情数据。

具体地，人脸图像数据可以是电视实时采集的电视前的用户的人脸照片数据，然后输入到预设的表情识别神经网络模型中进行处理，来获取到对应的心情数据，例如，此刻用户的心情是“不开心”。在一些实施例中，可以是截取N张摄像机前的用户画面，使用opencv的头像识别，对识别到的人脸进行裁切，处理之后将图像重塑为统一规格的像素，然后利用预设的表情识别神经网络模型对预处理之后的图像进行处理，对多个处理后的画面进行线性加权融合，最终得出预测结果。

在一些实施例中，心情数据包括开心数据和不开心数据，其中的，开心数据即指示用户此刻是心情愉悦的，不开心数据指示用户此刻是心情悲伤的。

其中，预设的表情识别神经网络模型是现有的神经网络模型采用训练样本获取到的，在此不在赘述，例如可以是由多层卷积层和池化层还有全连接层组成的网络模型拓扑结构。

其中，采用训练样本对预设的表情识别神经网络模型进行训练，具体可以是获取人脸图像数据训练样本和以所述人脸图像数据训练样本产生的心情数据训练样本；以所述心情数据训练样本为输出量、以所述人脸图像数据训练样本为输入量，对所述预设的表情识别神经网络模型进行训练，获取表情识别神经网络模型。其中的人脸图像数据训练样本例如可以是kaggle面部表情识别竞赛所使用的fer2013人脸表情数据库。

S102，获取历史搜索记录，并根据所述历史搜索记录获取标签数据。

具体地，历史搜索记录可以是用户平时使用电视是的搜索记录，例如，用户语音说“刘德华的电影”，其中的标签数据可以是提取的搜索记录中的关键词数据，例如可以是“刘德华”。

在一些实施例中，标签数据的获取可以具体是获取所述历史搜索记录，根据所述历史搜索记录获取多个关键词数据，根据多个所述关键词数据，获取所述标签数据。例如，针对“刘德华的电影，要动作片”，可以去除待处理文本内容中的噪声，具体可以是删除文本内容中的标点符号，获得信息为“刘德华的电影要动作片”。然后，提取关键词，例如为：“刘德华”、“电影”、“动作片”，上述的这些关键词就可以作为标签数据。

在另一些实施例中，为了获取到用户偏爱的标签数据，可以对多个关键词数据进行排序，排序的依据可以是在一段时间出现的次数，对多个所述关键词数据按照次数进行排序处理，并获取次数最多的关键词数据，根据所述次数最多的关键词数据，获取所述标签数据。例如，在一周内，“刘德华”出现了7次，其次数最多，那么其就被选定为标签数据。

在一些实施例中，关键词数据包括人名数据，例如“刘德华”、“李连杰”，其中的标签数据可以根据多个所述人名数据获取，例如“刘德华”出现次数7次、“李连杰”出现次数2次，那么“刘德华”被选定为标签数据。在另一些实施例中，关键词数据还包括影视类别数据；相应地，所述根据多个所述关键词数据，获取所述标签数据，包括：根据多个所述人名数据和所述影视类别数据，获取所述标签数据。其中的，影视类别数据例如可以是“动作片”、“爱情片”等。例如统计出用户近一周超过7次搜索刘德华的电影，则得出用户喜爱看的电影是刘德华主演的标签，又可能用户搜索了10次动作片，则用户标签又加上动作片这一类别。即最终的标签可以是“刘德华、动作片”

在实际应用中，可以每天凌晨计算近一周用户语音统计数据，将昨天的日志上传记录，并且删除8天前的语音日志，做到记录中始终有近1周的原始统计日志。

S103，获取语音信息，并根据所述语音信息确定语义识别数据；其中，所述语义识别数据为搜索影视类数据。

具体地，需要根据语音信息对用户的需求进行判断，判断用户的需求是否为影视类需求，例如，用户语音“我想看电影”，那么可以根据所述语音信息确定用户是想搜索影视类数据。而如果用户语音“我想看打游戏”，无法确定出用户是想搜索影视类数据。则不进行其他操作。

S104，根据所述搜索影视类数据、所述心情数据和所述标签数据，获取影视推荐列表。

具体地，例如可以将标签为演员“刘德华”和用户表情“不开心”作为参数，加上从用户的语音信息中识别到搜索影视类数据的时候，可以优先返回刘德华主演的类型为喜剧片的电影，做到了缓解用户不开心的情绪，并且个性化推荐影视的目的。

上述实施例提供的影视推荐方法，通过获取人脸图像数据，并根据人脸图像数据和预设的表情识别神经网络模型，获取用户的心情数据，即通过采集电视前用户的人脸数据，然后判断用户的心情，例如可以判断出用户现在处于不开心状态；获取历史搜索记录，并根据所述历史搜索记录获取标签数据，其中，历史搜索记录是用户平时观看电视的搜索记录，例如“播放刘德华的电影”，其中的标签数据可以是“刘德华”，最后获取到用户的语音信息，并根据所述语音信息确定语义识别数据，其中，所述语义识别数据为搜索影视类数据，例如，可以是“我想看电影”，最后，根据所述搜索影视类数据、所述心情数据和所述标签数据，获取影视推荐列表。即本发明将用户的表情和用户影视偏好结合起来，给用户推荐当前最适合用户观看的影视推荐，做到个性化影视推荐的目的，以更好的满足用户的需求。

图2为本发明提供的一种影视推荐装置的结构示意图，图2所示的影视推荐装置20，包括：

心情模块21，用于获取人脸图像数据，并根据所述人脸图像数据和预设的表情识别神经网络模型，获取用户的心情数据；

历史模块22，用于获取历史搜索记录，并根据所述历史搜索记录获取标签数据；

语义模块23，用于获取语音信息，并根据所述语音信息确定语义识别数据；其中，所述语义识别数据为搜索影视类数据；

推荐模块23，用于根据所述搜索影视类数据、所述心情数据和所述标签数据，获取影视推荐列表。

图2所示实施例的影视推荐装置对应地可用于执行图1所示方法实施例中的步骤，其实现原理和技术效果类似，此处不再赘述。

可选地，所述心情数据包括开心数据和不开心数据；

相应地，所述心情模块21获取人脸图像数据，并根据所述人脸图像数据和预设的表情识别神经网络模型，获取用户的心情数据，包括：

可选地，在所述心情模块21获取人脸图像数据，并根据所述人脸图像数据和预设的表情识别神经网络模型，获取用户的心情数据之前，还包括：

可选地，所述获取历史搜索记录，并根据所述历史搜索记录获取标签数据，包括：

根据多个所述关键词数据，获取所述标签数据。

可选地，所述历史模块22根据多个所述关键词数据，获取所述标签数据，包括：

根据所述次数最多的关键词数据，获取所述标签数据。

可选地，所述关键词数据包括人名数据；

相应地，所述历史模块22根据多个所述关键词数据，获取所述标签数据，包括：

根据多个所述人名数据，获取所述标签数据。

可选地，所述关键词数据还包括影视类别数据；

参见图3，是本发明实施例提供的一种影视推荐设备的硬件结构示意图，该设备30包括：处理器31、存储器32和计算机程序；其中

存储器32，用于存储计算机程序，该存储器还可以是闪存（flash）。计算机程序例如是实现上述方法的应用程序、功能模块等。

处理器31，用于执行所述存储器存储的计算机程序，以实现上述方法中设备执行的各个步骤。具体可以参见前面方法实施例中的相关描述。

可选地，存储器32既可以是独立的，也可以跟处理器31集成在一起。

当所述存储器32是独立于处理器31之外的器件时，所述设备还可以包括：

总线33，用于连接所述存储器32和处理器31。

本发明还提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现上述的各种实施方式提供的方法。

其中，可读存储介质可以是计算机存储介质，也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如，可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(ApplicationSpecific Integrated Circuits，简称：ASIC)中。另外，该ASIC可以位于用户设备中。当然，处理器和可读存储介质也可以作为分立组件存在于通信设备中。可读存储介质可以是只读存储器（ROM）、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。

本发明还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。

在上述设备的实施例中，应理解，处理器可以是中央处理单元（英文：CentralProcessing Unit，简称：CPU），还可以是其他通用处理器、数字信号处理器（英文：DigitalSignal Processor，简称：DSP）、专用集成电路（英文：Application Specific IntegratedCircuit，简称：ASIC）等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种影视推荐方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述心情数据包括开心数据和不开心数据；

3.根据权利要求1所述的方法，其特征在于，在所述获取人脸图像数据，并根据所述人脸图像数据和预设的表情识别神经网络模型，获取用户的心情数据之前，还包括：

4.根据权利要求1所述的方法，其特征在于，所述获取历史搜索记录，并根据所述历史搜索记录获取标签数据，包括：

根据多个所述关键词数据，获取所述标签数据。

5.根据权利要求4所述的方法，其特征在于，所述根据多个所述关键词数据，获取所述标签数据，包括：

根据所述次数最多的关键词数据，获取所述标签数据。

6.根据权利要求5所述的方法，其特征在于，所述关键词数据包括人名数据；

根据多个所述人名数据，获取所述标签数据。

7.根据权利要求6所述的方法，其特征在于，所述关键词数据还包括影视类别数据；

8.一种影视推荐装置，其特征在于，包括：

9.一种影视推荐设备，其特征在于，包括：存储器、处理器以及计算机程序，所述计算机程序存储在所述存储器中，所述处理器运行所述计算机程序执行权利要求1至7任一所述的方法。

10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现权利要求1至7任一所述的方法。