CN109327737A - 电视节目推荐方法、终端、系统及存储介质 - Google Patents
电视节目推荐方法、终端、系统及存储介质 Download PDFInfo
- Publication number
- CN109327737A CN109327737A CN201811355544.4A CN201811355544A CN109327737A CN 109327737 A CN109327737 A CN 109327737A CN 201811355544 A CN201811355544 A CN 201811355544A CN 109327737 A CN109327737 A CN 109327737A
- Authority
- CN
- China
- Prior art keywords
- type
- emotion
- programme
- facial
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
Abstract
本发明公开了一种电视节目推荐方法、终端、系统及存储介质，该方法包括：采集当前用户的第一面部信息；从所述第一面部信息中提取第一面部特征；获取基于深度学习算法生成的预设情绪模型，所述预设情绪模型由若干用户的面部特征样本训练得到，用于基于面部特征反馈对应的情绪类型；将所述第一面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第一情绪类型；基于所述第一情绪类型和预设推荐算法，获取与所述第一情绪类型对应的电视节目，将所述电视节目推荐给用户。本发明实现了根据用户的实时情绪类型为用户推荐相应的电视节目，提高了电视节目推荐的实时性、准确性和智能性。
Description
技术领域
本发明涉及终端应用技术领域，尤其涉及一种电视节目推荐方法、终端、系统及存储介质。
背景技术
正在到来的第四次工业革命，是继机械化、电气化及信息化之后的一次大规模的智能化浪潮。近年来，随着人工智能、物联网、区块链等新兴技术突破式应用和爆发式增长，智能化趋势将愈发明显。电视将不仅仅作为一个终端显示媒体而存在，更需要贴近家庭，成为一名虚拟家庭伴侣，实时感知各家庭成员的心理活动，依托在客厅，卧室，大屏以及更贴近人类生活优势，为每位家庭成员呈现不一样的内容，达到智能化，生活化，人性化。从而为人类更好服务的终极目标。
目前的内容推荐算法主要是在大数据下建立每个用户特征，再对互联网上海量的内容建立各自的特征值，结合用户的使用习惯，推测用户在不同的场景下的使用模型，预估内容推荐给用户。由于机器学习算法的发展，用户花费越多时间使用，算法推荐的内容越能符合用户的预期。但是，机器学习算法强烈依赖于用户长期的使用习惯来修复算法的准确度，不能实时判断用户当前的喜怒哀乐，反映用户的心理状态。需要一个相当长的时间来学习，且不能保证准确性和实时性。
发明内容
本发明的主要目的在于提供一种电视节目推荐方法、终端、系统及存储介质，旨在实现根据用户的实时情绪类型为用户推荐相应的电视节目。
为实现上述目的，本发明提供一种电视节目推荐方法，所述电视节目推荐方法应用于电视终端，所述电视节目推荐方法包括以下步骤：
采集当前用户的第一面部信息；
从所述第一面部信息中提取第一面部特征；
获取基于深度学习算法生成的预设情绪模型，所述预设情绪模型由若干用户的面部特征样本训练得到，用于基于面部特征反馈对应的情绪类型；
将所述第一面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第一情绪类型；
基于所述第一情绪类型和预设推荐算法，获取与所述第一情绪类型对应的电视节目，将所述电视节目推荐给用户。
可选地，所述电视终端集成有深度摄像机或者外挂有深度摄像机，所述采集当前用户的第一面部信息的步骤包括：
利用所述深度摄像机采集所述当前用户的面部图像信息，作为所述第一面部信息。
可选地，所述电视终端连接有内部集成有深度摄像机的移动终端，所述采集当前用户的第一面部信息的步骤包括：
利用所述移动终端采集所述当前用户的面部图像信息，作为所述第一面部信息。
可选地，所述从所述第一面部信息中提取第一面部特征的步骤包括：
基于所述第一面部信息，对当前用户的人脸图像进行特征点定位；
根据特征点定位结果将所述人脸图像分割成若干个人脸区域；
采用所述人脸区域对应的深度网络模型对所述人脸区域进行特征提取；
将从各个人脸区域提取到的特征进行重组，得到所述人脸图像的图像特征，作为所述第一面部特征。
可选地，所述基于所述第一情绪类型和预设推荐算法，获取与所述第一情绪类型对应的电视节目，将所述电视节目推荐给用户的步骤包括：
基于预设推荐算法，获取与所述第一情绪类型对应的电视节目；
显示即将播放所述电视节目的播放提示，并启动计时器，所述播放提示中包括用于取消播放所述电视节目的取消控件；
在所述计时器达到预设时长后，若所述取消控件未被触发，则播放所述电视节目。
可选地，所述在所述电视终端显示即将播放所述电视节目的播放提示，并启动计时器，所述播放提示中包括用于取消播放所述电视节目的取消控件的步骤之后还包括：
若所述取消控件在预设时长内被触发，则取消播放所述电视节目，并对所述电视节目进行标记，用于在再次基于所述第一情绪类型和预设推荐算法进行电视节目推荐时，不将所述被标记的电视节目推荐给用户。
可选地，所述基于所述情绪类型，对所述电视终端进行电视节目推荐的步骤之后还包括：
在预设间隔时间，利用所述面部信息采集装置再次采集的所述当前用户的面部信息，作为第二面部信息；
从所述第二面部信息中提取第二面部特征；
将所述第二面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第二情绪类型；
将所述第二情绪类型与所述第一情绪类型进行比对，判断所述第二情绪类型与所述第一情绪类型是否一致；
若所述第二情绪类型与所述第一情绪类型不一致，则获取与所述第二情绪类型对应的电视节目，将与所述第二情绪类型对应的电视节目推荐给用户。
本发明还提供一种电视终端，其特征在于，所述电视终端包括：
信息获取模块，采集当前用户的第一面部信息；
特征提取模块，从所述第一面部信息中提取第一面部特征；
模型获取模块，获取基于深度学习算法生成的预设情绪模型，所述预设情绪模型由多个用户的面部特征样本训练得到，用于基于面部图像特征反馈对应的情绪类型；
情绪获取模块，将所述第一面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第一情绪类型；
节目推荐模块，基于所述第一情绪类型和预设推荐算法，获取与所述第一情绪类型对应的电视节目，将所述电视节目推荐给用户。
此外，为实现上述目的，本发明还提供一种电视节目推荐系统，所述电视节目推荐系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的电视节目推荐程序，所述电视节目推荐程序被所述处理器执行时实现如上所述电视节目推荐方法的步骤。
此外，为实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有电视节目推荐程序，所述电视节目推荐程序被处理器执行时实现如上所述的电视节目推荐方法的步骤。
本发明提出的电视节目推荐方法、终端、系统及存储介质，通过采集当前用户的第一面部信息；从所述第一面部信息中提取第一面部特征；获取基于深度学习算法生成的预设情绪模型，所述预设情绪模型由若干用户的面部特征样本训练得到，用于基于面部特征反馈对应的情绪类型；将所述第一面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第一情绪类型；基于所述第一情绪类型和预设推荐算法，获取与所述第一情绪类型对应的电视节目，将所述电视节目推荐给用户。本发明实现了根据用户的实时情绪类型为用户推荐相应的电视节目，提高了电视节目推荐的实时性、准确性和智能性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；
图2为本发明的电视终端功能模块示意图；
图3为本发明电视节目推荐方法第一实施例的流程示意图；
图4为本发明播放提示样式一场景示意图。
本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：采集当前用户的第一面部信息；从所述第一面部信息中提取第一面部特征；获取基于深度学习算法生成的预设情绪模型，所述预设情绪模型由若干用户的面部特征样本训练得到，用于基于面部特征反馈对应的情绪类型；将所述第一面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第一情绪类型；基于所述第一情绪类型和预设推荐算法，获取与所述第一情绪类型对应的电视节目，将所述电视节目推荐给用户。本发明实现了根据用户的实时情绪类型为用户推荐相应的电视节目，提高了电视节目推荐的实时性、准确性和智能性。
由于现有技术中内容推荐算法主要是在大数据下建立每个用户特征，再对互联网上海量的内容建立各自的特征值，结合用户的使用习惯，推测用户在不同的场景下的使用模型，预估内容推荐给用户。由于机器学习算法的发展，用户花费越多时间使用，算法推荐的内容越能符合用户的预期。但是，机器学习算法强烈依赖于用户长期的使用习惯来修复算法的准确度，不能实时判断用户当前的喜怒哀乐，反映用户的心理状态。需要一个相当长的时间来学习，且不能保证准确性和实时性。
本发明实施例提出一种解决方案，可以实现根据用户的实时情绪类型为用户推荐相应的电视节目。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端为电视终端。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在终端设备移动到耳边时，关闭显示屏和/或背光。当然，终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作终端、网络通信模块、用户接口模块以及电视节目推荐程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的电视节目推荐程序，并执行以下操作：
采集当前用户的第一面部信息；
从所述第一面部信息中提取第一面部特征；
获取基于深度学习算法生成的预设情绪模型，所述预设情绪模型由若干用户的面部特征样本训练得到，用于基于面部特征反馈对应的情绪类型；
将所述第一面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第一情绪类型；
基于所述第一情绪类型和预设推荐算法，获取与所述第一情绪类型对应的电视节目，将所述电视节目推荐给用户。
进一步地，处理器1001可以调用存储器1005中存储的电视节目推荐程序，还执行以下操作：
利用所述深度摄像机采集所述当前用户的面部图像信息，作为所述第一面部信息。
进一步地，处理器1001可以调用存储器1005中存储的电视节目推荐程序，还执行以下操作：
利用所述移动终端采集所述当前用户的面部图像信息，作为所述第一面部信息。
进一步地，处理器1001可以调用存储器1005中存储的电视节目推荐程序，还执行以下操作：
基于所述第一面部信息，对当前用户的人脸图像进行特征点定位；
根据特征点定位结果将所述人脸图像分割成若干个人脸区域；
采用所述人脸区域对应的深度网络模型对所述人脸区域进行特征提取；
将从各个人脸区域提取到的特征进行重组，得到所述人脸图像的图像特征，作为所述第一面部特征。
进一步地，处理器1001可以调用存储器1005中存储的电视节目推荐程序，还执行以下操作：
基于预设推荐算法，获取与所述第一情绪类型对应的电视节目；
显示即将播放所述电视节目的播放提示，并启动计时器，所述播放提示中包括用于取消播放所述电视节目的取消控件；
在所述计时器达到预设时长后，若所述取消控件未被触发，则播放所述电视节目。
进一步地，处理器1001可以调用存储器1005中存储的电视节目推荐程序，还执行以下操作：
若所述取消控件在预设时长内被触发，则取消播放所述电视节目，并对所述电视节目进行标记，用于在再次基于所述第一情绪类型和预设推荐算法进行电视节目推荐时，不将所述被标记的电视节目推荐给用户。
进一步地，处理器1001可以调用存储器1005中存储的电视节目推荐程序，还执行以下操作：
在预设间隔时间，利用所述面部信息采集装置再次采集的所述当前用户的面部信息，作为第二面部信息；
从所述第二面部信息中提取第二面部特征；
将所述第二面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第二情绪类型；
将所述第二情绪类型与所述第一情绪类型进行比对，判断所述第二情绪类型与所述第一情绪类型是否一致；
若所述第二情绪类型与所述第一情绪类型不一致，则获取与所述第二情绪类型对应的电视节目，将与所述第二情绪类型对应的电视节目推荐给用户。
本发明提供的技术方案，所述电视节目推荐终端通过处理器1001调用存储器1005中存储的电视节目推荐程序，以实现步骤：采集当前用户的第一面部信息；从所述第一面部信息中提取第一面部特征；获取基于深度学习算法生成的预设情绪模型，所述预设情绪模型由若干用户的面部特征样本训练得到，用于基于面部特征反馈对应的情绪类型；将所述第一面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第一情绪类型；基于所述第一情绪类型和预设推荐算法，获取与所述第一情绪类型对应的电视节目，将所述电视节目推荐给用户。本发明实现了根据用户的实时情绪类型为用户推荐相应的电视节目，提高了电视节目推荐的实时性、准确性和智能性。
参加图2，图2为本发明的电视终端功能模块示意图。
本发明还提供一种电视终端，所述电视终端包括：
信息获取模块10，采集当前用户的第一面部信息；
特征提取模块20，从所述第一面部信息中提取第一面部特征；
模型获取模块30，获取基于深度学习算法生成的预设情绪模型，所述预设情绪模型由多个用户的面部特征样本训练得到，用于基于面部图像特征反馈对应的情绪类型；
情绪获取模块40，将所述第一面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第一情绪类型；
节目推荐模块50，基于所述第一情绪类型和预设推荐算法，获取与所述第一情绪类型对应的电视节目，将所述电视节目推荐给用户。
本发明电视终端具体实施方式与电视节目推荐方法各实施例基本相同，在此不再赘述。
本发明提供了一种存储介质，所述存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的电视节目推荐方法的步骤。
本发明存储介质具体实施方式与电视节目推荐方法各实施例基本相同，在此不再赘述。
基于上述硬件结构，提出本发明电视节目推荐方法实施例。
参照图3，图3为本发明电视节目推荐方法第一实施例的流程示意图。
如图3所示，本发明第一实施例提供一种电视节目推荐方法，所述电视节目推荐方法应用于电视终端，所述电视节目推荐方法包括以下步骤：
步骤S1，采集当前用户的第一面部信息；
可以理解的是，本发明提出的电视节目推荐方法，适用于终端应用技术领域。
在本实施例中，通过面部信息采集装置采集当前用户的第一面部信息，面部信息采集装置包括深度摄像机。深度摄像机区别于我们平时用到的传统二维相机，与传统相机的不同之处在于该深度摄像机可同时拍摄景物的灰阶影像资讯及包含深度的三维资讯。其设计原理系针对待测场景发射一参考光束，藉由计算回光的时间差或相位差，来换算被拍摄景物的距离，以产生深度资讯，此外再结合传统的相机拍摄，以获得二维影像资讯。目前主流的深度摄像机技术包括结构光、飞行时间(TOF，time of flight)和双目立体成像。
在本实施例中，深度摄像机所采用的深度摄像机技术包括结构光、飞行时间和双目立体成像中的至少一项。
深度摄像机可以集成于电视终端内部，也可以外挂于在电视终端外部，还可以是集成于移动终端内部的。
在本实施例中，是根据用户面部表情来识别用户的情绪类型，再根据用户的情绪类型来为用户推荐相应的电视节目的。因此首先需要利用面部信息采集装置获取当前用户的面部信息，该获取操作是由用户开启电视终端触发，或者是在电视终端开启后预设间隔时间触发的。
步骤S2，从所述第一面部信息中提取第一面部特征；
在利用面部信息采集装置采集到当前用户的第一面部信息之后，由于面部信息中包括了大量的与情绪识别关联不大的数据，因此需要从面部信息中筛选过滤出能表征用户情绪的面部特征。
具体地，从面部信息中提取出用户嘴巴、眼睛、鼻子、脸部特定肌肉群、脸部轮廓等能够表征用户情绪的面部特征。
步骤S3，获取基于深度学习算法生成的预设情绪模型，所述预设情绪模型由若干用户的面部特征样本训练得到，用于基于面部特征反馈对应的情绪类型；
在本实施例中，基于深度学习算法的预设情绪模型的生成和以及更新过程可以在电视终端本地进行，也可以在云服务器中进行，当预设情绪模型生成完毕或者更新完毕之后，可以发送至电视终端本地数据库进行存储，也可以存储在云服务器，等待电视终端的主动获取。
相应的，该步骤S3包括：从本地数据库或者云服务器获取基于深度学习算法生成的预设情绪模型。其中，深度学习算法包括但不限于受限玻尔兹曼机(RestrictedBoltzmann Machine)、深度信念网络(Deep Belief Networks)、卷积神经网络(Convolutional Neural Networks)和堆栈式自动编码器(Stacked Auto-encoders)中的一种或者多种。
在本实施例中，对若干用户的面部特征样本的来源和数量不作限定。例如，训练样本可以是该电视终端和/或与该电视终端绑定的移动终端用户的历史面部特征信息，也可以是目标用户群组的历史面部特征信息，该目标用户群组可以是与电视终端用户具有相同或相似面部特征的多个用户，面部特征包括但不限于嘴巴、眼睛、眉毛、鼻子、脸部特定肌肉群、脸部轮廓等能够表征用户情绪的面部特征。可以理解的是，对于预设情绪模型来说，一般样本的数量越大，模型的输出结果越准确。例如，人类的嘴巴在悲伤时嘴角下撇，快乐时嘴角提升，愤怒时咬牙切齿，愤怒痛苦时咬住下唇。
将历史用户的面部特征作为预设情绪模型的输入，情绪类型作为预设情绪类型的输出，对历史用户的面部特征样本进行训练，生成预设情绪模型。对于该预设情绪模型，在电视终端从面部信息中提取到面部特征之后，通过将面部特征输入值该预设情绪模型，即可输出该面部特征对应的情绪类型。
其中，情绪类型包括但不限于快乐、愤怒、悲伤和平静中的至少一项。
步骤S4，将所述第一面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第一情绪类型；
在获取到预设情绪模型之后，将当前用户的第一面部信息输入至该预设情绪模型中，得到预设情绪模型输出的第一情绪类型，该第一情绪类型为当前用户的实时情绪类型。
步骤S5，基于所述第一情绪类型和预设推荐算法，获取与所述第一情绪类型对应的电视节目，将所述电视节目推荐给用户。
在本实施例中，在获取到当前用户的第一情绪类型之后，根据预设推荐算法获取相应类型的电视节目，并将其推荐给当前用户。
为辅助理解，列举一具体实例：若当前用户的情绪类型为愤怒，则可以向用户推荐拳击比赛、摇滚歌曲等有助于用户发泄愤怒情绪的电视节目；若当前用户情绪为悲伤，则可以向用户推荐笑话集锦、励志电影等有助于用户缓解悲伤情绪的电视节目；若当前用户的情绪类型为快乐，则可以为用户推荐体育比赛、实时新闻等电视节目。
通过本实施例提出的电视节目推荐方法，实现了通过面部信息采集装置实时获取用户的面部信息，从该面部信息中提取出能够表征情绪的面部特征，再将该面部特征输入预设情绪模型中，得到当前用户的实时情绪类型，再根据用户的实时情绪类型推荐相应的电视节目。从而无需依赖于用户的使用习惯，也无需用户花费较长的时间来手动选择节目，进一步提高了电视节目推荐的实时性、准确性和智能性。
进一步地，基于上述图3所示的第一实施例，提出本发明电视节目推荐方法第二实施例，在本实施例中，所述电视终端集成有深度摄像机或者外挂有深度摄像机，上述步骤S1包括：
步骤S11，利用所述深度摄像机采集所述当前用户的面部图像信息，作为所述第一面部信息。
在本实施例中，面部信息采集装置包括深度摄像机。深度摄像机区别于我们平时用到的传统二维相机，与传统相机的不同之处在于该深度摄像机可同时拍摄景物的灰阶影像资讯及包含深度的三维资讯。其设计原理系针对待测场景发射一参考光束，藉由计算回光的时间差或相位差，来换算被拍摄景物的距离，以产生深度资讯，此外再结合传统的相机拍摄，以获得二维影像资讯。目前主流的深度摄像机技术包括结构光、飞行时间(TOF，timeof flight)和双目立体成像。
在本实施例中，深度摄像机所采用的深度摄像机技术包括结构光、飞行时间和双目立体成像中的至少一项。
深度摄像机可以集成于电视终端内部，也可以外挂于在电视终端外部。
在电视终端接收到用户或者运维人员的开机指令，或者在电视终端开启后预设间隔时间时，集成于电视终端内部或者外挂于在电视终端外部的深度摄像机采集当前用户的面部信息，作为第一面部信息。
进一步地，所述电视终端连接有内部集成有深度摄像机的移动终端，上述步骤S1包括：
步骤S12，利用所述移动终端采集所述当前用户的面部图像信息，作为所述第一面部信息。
面部信息采集装置还可以是内部集成有深度摄像机的移动终端，在电视终端接收到用户或者运维人员的开机指令，或者在电视终端开启后预设间隔时间时，内部集成有深度摄像机的移动终端采集当前用户的面部信息，作为第一面部信息。
以上两种面部信息采集装置可以单独实施，也可以组合在一起实施。
进一步地，上述步骤S2包括：
步骤S21，基于所述第一面部信息，对当前用户的人脸图像进行特征点定位；
步骤S22，根据特征点定位结果将所述人脸图像分割成若干个人脸区域；
步骤S23，采用所述人脸区域对应的深度网络模型对所述人脸区域进行特征提取；
步骤S24，将从各个人脸区域提取到的特征进行重组，得到所述人脸图像的图像特征，作为所述第一面部特征。
在本实施例中，首先基于第一脸部信息，对当前用户的人脸图像进行特征点定位，根据特征点定位结果将人脸图像的脸部图像分割成若干个人脸区域，对于每一个人脸区域，采用该人脸区域对应的深度网络模型对该人脸区域进行特征提取，然后将从各个人脸区域提取的特征进行重组，即可得到人脸图像的图像特征。人脸图像中的特征点是指人脸中诸如双眼的中心、鼻尖、两侧嘴角之类的特征点。特征点定位结果可采用特征点向量进行表示，特征点向量中包括各个特征点的坐标。对于各个不同的人脸区域，预先分别训练相应的深度网络。深度网络模型用于从人脸区域中提取图像特征，深度网络模型可采用深度卷积神经网络。在本发明实施例中，采用基于深度学习的人脸识别算法获取人脸图像的图像特征，相较于其它人脸识别算法，识别准确度更高。另外，可以针对不同的人脸区域(如眼部区域、鼻子区域、嘴部区域等)，分别训练各自对应的深度网络模型，并采用各自对应的深度网络模型进行特征提取，充分确保特征提取的准确度。
通过本实施例提出的电视节目推荐方法，通过面部信息采集装置实时获取用户的面部信息，采用基于深度学习的人脸识别算法从该面部信息中提取出能够表征情绪的面部特征，充分确保了面部特征提取的准确度。
进一步地，基于上述图3所示的第一实施例，提出本发明电视节目推荐方法第三实施例，在本实施例中，上述步骤S5包括：
步骤S51，基于预设推荐算法，获取与所述第一情绪类型对应的电视节目；
步骤S52，显示即将播放所述电视节目的播放提示，并启动计时器，所述播放提示中包括用于取消播放所述电视节目的取消控件；
在本实施例中，为了避免电视终端根据用户面部信息推荐了不符合用户情绪的电视节目，在获取到当前用户的第一情绪类型之后，根据预设推荐算法从本地数据库或者云服务器获取相应类型的电视节目，在获取到相应类型的电视节目后，电视终端显示即将播放该类型电视节目的播放提示，以提示用户或者运维人员是否取消电视终端播放该类型电视节目的操作。该播放提示中包括用于取消播放该类型电视节目的取消控件。参照图4，终端屏幕显示播放提示P1，在播放提示P1中显示播放提示文本，例如播放提示文本P2可为“即将播放拳击比赛节目，请确认是否取消播放”，在播放提示P1上可显示取消控件P3，当用户或测试研发人员触发取消控件P3后，终端将取消播放拳击比赛节目。
步骤S53，在所述计时器达到预设时长后，若所述取消控件未被触发，则控制所述电视终端播放所述电视节目。
在计时器达到预设时长后，若取消控件未被触发，则播放与第一情绪类型对应的电视节目。预设时长可为数秒至一分钟不等。从而，在实现电视终端用户未确认时的自动播放功能，同时提供一种可取消播放的播放提示相关界面，避免播放与用户当前情绪不相应的电视节目。
进一步地，上述步骤S52之后还包括：
步骤S54，若所述取消控件在预设时长内被触发，则取消播放所述电视节目，并对所述电视节目进行标记，用于在再次基于所述第一情绪类型和预设推荐算法进行电视节目推荐时，不将所述被标记的电视节目推荐给用户。
在计时器达到预设时长前，若取消控件被触发，则取消播放与第一情绪类型对应的电视节目，并且对该电视节目进行标记，用于在再次基于该第一情绪类型和预设推荐算法进行电视节目推荐时，不将该被标记的电视节目推荐给用户，从而修复算法的准确度。
进一步地，上述步骤S5之后还包括：
步骤S61，在预设间隔时间，利用所述面部信息采集装置再次采集的所述当前用户的面部信息，作为第二面部信息；
步骤S62，从所述第二面部信息中提取第二面部特征；
步骤S63，将所述第二面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第二情绪类型；
步骤S64，将所述第二情绪类型与所述第一情绪类型进行比对，判断所述第二情绪类型与所述第一情绪类型是否一致；
步骤S65，若所述第二情绪类型与所述第一情绪类型不一致，则获取与所述第二情绪类型对应的电视节目，将与所述第二情绪类型对应的电视节目推荐给用户。
在本实施例中，用户或者运维人员在观看电视节目的过程中，可能因为一些外界的干扰产生情绪的变化。例如，用户的第一情绪类型是快乐，电视终端相应播放欢乐的电视节目，但在观看过程中，若用户因为亲人的突然离去情绪类型变成了悲伤，此时再继续播放欢乐的电视节目，显然不再合适。
为了避免这种情况的发生，电视终端可以每隔一段时间利用面部信息采集装置再次采集的当前用户的面部信息，作为第二面部信息，从第二面部信息中提取出第二面部特征，将所述第二面部特征输入预设情绪模型中，获取预设情绪模型输出的第二情绪类型，将第二情绪类型与第一情绪类型进行比对，若二者一致，则继续播放与第以情绪类型对应的电视节目，若第二情绪类型与第一情绪类型不一致，说明用户的情绪发生了变化，则获取与第二情绪类型对应的电视节目，将与第二情绪类型对应的电视节目推荐给用户。
其中，预设间隔时间可为数十分钟至三小时不等。
通过本实施例提出的电视节目推荐方法，实现了通过每隔预设间隔时间获取用户的实时情绪类型，判断用户的情绪类型是否发生了变化，提高了电视节目推荐的智能性和实时性。
通过本发明实施例提出的技术方案，解决了现有技术中的内容推荐算法主要是在大数据下建立每个用户特征，再对互联网上海量的内容建立各自的特征值，结合用户的使用习惯，推测用户在不同的场景下的使用模型，预估内容推荐给用户。由于机器学习算法的发展，用户花费越多时间使用，算法推荐的内容越能符合用户的预期。但是，机器学习算法强烈依赖于用户长期的使用习惯来修复算法的准确度，不能实时判断用户当前的喜怒哀乐，反映用户的心理状态。需要一个相当长的时间来学习，且不能保证准确性和实时性。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种电视节目推荐方法，其特征在于，所述电视节目推荐方法应用于电视终端，所述电视节目推荐方法包括以下步骤：
采集当前用户的第一面部信息；
从所述第一面部信息中提取第一面部特征；
获取基于深度学习算法生成的预设情绪模型，所述预设情绪模型由若干用户的面部特征样本训练得到，用于基于面部特征反馈对应的情绪类型；
将所述第一面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第一情绪类型；
基于所述第一情绪类型和预设推荐算法，获取与所述第一情绪类型对应的电视节目，将所述电视节目推荐给用户。
2.如权利要求1所述的电视节目推荐方法，其特征在于，所述电视终端集成有深度摄像机或者外挂有深度摄像机，所述采集当前用户的第一面部信息的步骤包括：
利用所述深度摄像机采集所述当前用户的面部图像信息，作为所述第一面部信息。
3.如权利要求1所述的电视节目推荐方法，其特征在于，所述电视终端连接有内部集成有深度摄像机的移动终端，所述采集当前用户的第一面部信息的步骤包括：
利用所述移动终端采集所述当前用户的面部图像信息，作为所述第一面部信息。
4.如权利要求1所述的电视节目推荐方法，其特征在于，所述从所述第一面部信息中提取第一面部特征的步骤包括：
基于所述第一面部信息，对当前用户的人脸图像进行特征点定位；
根据特征点定位结果将所述人脸图像分割成若干个人脸区域；
采用所述人脸区域对应的深度网络模型对所述人脸区域进行特征提取；
将从各个人脸区域提取到的特征进行重组，得到所述人脸图像的图像特征，作为所述第一面部特征。
5.如权利要求1所述的电视节目推荐方法，其特征在于，所述基于所述第一情绪类型和预设推荐算法，获取与所述第一情绪类型对应的电视节目，将所述电视节目推荐给用户的步骤包括：
基于预设推荐算法，获取与所述第一情绪类型对应的电视节目；
显示即将播放所述电视节目的播放提示，并启动计时器，所述播放提示中包括用于取消播放所述电视节目的取消控件；
在所述计时器达到预设时长后，若所述取消控件未被触发，则播放所述电视节目。
6.如权利要求5所述的电视节目推荐方法，其特征在于，所述在所述电视终端显示即将播放所述电视节目的播放提示，并启动计时器，所述播放提示中包括用于取消播放所述电视节目的取消控件的步骤之后还包括：
若所述取消控件在预设时长内被触发，则取消播放所述电视节目，并对所述电视节目进行标记，用于在再次基于所述第一情绪类型和预设推荐算法进行电视节目推荐时，不将所述被标记的电视节目推荐给用户。
7.如权利要求1所述的电视节目推荐方法，其特征在于，所述基于所述情绪类型，对所述电视终端进行电视节目推荐的步骤之后还包括：
在预设间隔时间，利用所述面部信息采集装置再次采集的所述当前用户的面部信息，作为第二面部信息；
从所述第二面部信息中提取第二面部特征；
将所述第二面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第二情绪类型；
将所述第二情绪类型与所述第一情绪类型进行比对，判断所述第二情绪类型与所述第一情绪类型是否一致；
若所述第二情绪类型与所述第一情绪类型不一致，则获取与所述第二情绪类型对应的电视节目，将与所述第二情绪类型对应的电视节目推荐给用户。
8.一种电视终端，其特征在于，所述电视终端包括：
信息获取模块，采集当前用户的第一面部信息；
特征提取模块，从所述第一面部信息中提取第一面部特征；
模型获取模块，获取基于深度学习算法生成的预设情绪模型，所述预设情绪模型由多个用户的面部特征样本训练得到，用于基于面部图像特征反馈对应的情绪类型；
情绪获取模块，将所述第一面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第一情绪类型；
节目推荐模块，基于所述第一情绪类型和预设推荐算法，获取与所述第一情绪类型对应的电视节目，将所述电视节目推荐给用户。
9.一种电视节目推荐系统，其特征在于，所述电视节目推荐系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的电视节目推荐程序，所述电视节目推荐程序被所述处理器执行时实现如权利要求1至7中任一项所述的电视节目推荐方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有电视节目推荐程序，所述电视节目推荐程序被处理器执行时实现如权利要求1至7中任一项所述的电视节目推荐方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811355544.4A CN109327737B (zh) | 2018-11-14 | 2018-11-14 | 电视节目推荐方法、终端、系统及存储介质 |
| PCT/CN2018/119179 WO2020098013A1 (zh) | 2018-11-14 | 2018-12-04 | 电视节目推荐方法、终端、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811355544.4A CN109327737B (zh) | 2018-11-14 | 2018-11-14 | 电视节目推荐方法、终端、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109327737A true CN109327737A (zh) | 2019-02-12 |
| CN109327737B CN109327737B (zh) | 2021-04-16 |
Family
ID=65257646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811355544.4A Active CN109327737B (zh) | 2018-11-14 | 2018-11-14 | 电视节目推荐方法、终端、系统及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109327737B (zh) |
| WO (1) | WO2020098013A1 (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110971948A (zh) * | 2019-12-19 | 2020-04-07 | 深圳创维－Rgb电子有限公司 | 一种智能电视的控制方法、装置、智能电视及介质 |
| CN111222044A (zh) * | 2019-12-31 | 2020-06-02 | 深圳Tcl数字技术有限公司 | 基于情绪感知的信息推荐方法、设备及存储介质 |
| CN111414883A (zh) * | 2020-03-27 | 2020-07-14 | 深圳创维－Rgb电子有限公司 | 一种基于人脸情绪的节目推荐方法、终端及存储介质 |
| CN111417024A (zh) * | 2020-03-30 | 2020-07-14 | 深圳创维－Rgb电子有限公司 | 一种基于场景识别的节目推荐方法、系统及存储介质 |
| CN112073764A (zh) * | 2019-06-10 | 2020-12-11 | 海信视像科技股份有限公司 | 一种显示设备 |
| CN112115756A (zh) * | 2020-03-22 | 2020-12-22 | 张冬梅 | 用于内容分析的区块链管理平台 |
| CN113055748A (zh) * | 2019-12-26 | 2021-06-29 | 佛山市云米电器科技有限公司 | 基于电视节目的灯光调节方法、设备、系统及存储介质 |
| CN113852861A (zh) * | 2021-09-23 | 2021-12-28 | 深圳Tcl数字技术有限公司 | 节目推送方法、装置、存储介质及电子设备 |
| CN114461319A (zh) * | 2021-12-28 | 2022-05-10 | 北京达佳互联信息技术有限公司 | 一种信息展现方法、装置以及信息处理方法、装置 |
| CN114827728A (zh) * | 2022-06-23 | 2022-07-29 | 中国传媒大学 | 节目数据推荐方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110184899A1 (en) * | 2007-10-17 | 2011-07-28 | Motorola, Inc. | Method and system for generating recommendations of content items |
| CN105635824A (zh) * | 2014-08-08 | 2016-06-01 | Tcl美国研究所 | 个性化频道推荐方法和系统 |
| CN105721936A (zh) * | 2016-01-20 | 2016-06-29 | 中山大学 | 一种基于情景感知的智能电视节目推荐系统 |
| CN105956059A (zh) * | 2016-04-27 | 2016-09-21 | 乐视控股（北京）有限公司 | 基于情绪识别的信息推荐方法和装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107392124A (zh) * | 2017-07-10 | 2017-11-24 | 珠海市魅族科技有限公司 | 情绪识别方法、装置、终端及存储介质 |
| CN108509941B (zh) * | 2018-04-20 | 2020-09-01 | 京东数字科技控股有限公司 | 情绪信息生成方法和装置 |
-
2018
- 2018-11-14 CN CN201811355544.4A patent/CN109327737B/zh active Active
- 2018-12-04 WO PCT/CN2018/119179 patent/WO2020098013A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110184899A1 (en) * | 2007-10-17 | 2011-07-28 | Motorola, Inc. | Method and system for generating recommendations of content items |
| CN105635824A (zh) * | 2014-08-08 | 2016-06-01 | Tcl美国研究所 | 个性化频道推荐方法和系统 |
| CN105721936A (zh) * | 2016-01-20 | 2016-06-29 | 中山大学 | 一种基于情景感知的智能电视节目推荐系统 |
| CN105956059A (zh) * | 2016-04-27 | 2016-09-21 | 乐视控股（北京）有限公司 | 基于情绪识别的信息推荐方法和装置 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11706485B2 (en) | 2019-06-10 | 2023-07-18 | Hisense Visual Technology Co., Ltd. | Display device and content recommendation method |
| CN112073764A (zh) * | 2019-06-10 | 2020-12-11 | 海信视像科技股份有限公司 | 一种显示设备 |
| CN112073766A (zh) * | 2019-06-10 | 2020-12-11 | 海信视像科技股份有限公司 | 一种显示设备 |
| CN110971948A (zh) * | 2019-12-19 | 2020-04-07 | 深圳创维－Rgb电子有限公司 | 一种智能电视的控制方法、装置、智能电视及介质 |
| CN113055748A (zh) * | 2019-12-26 | 2021-06-29 | 佛山市云米电器科技有限公司 | 基于电视节目的灯光调节方法、设备、系统及存储介质 |
| CN111222044A (zh) * | 2019-12-31 | 2020-06-02 | 深圳Tcl数字技术有限公司 | 基于情绪感知的信息推荐方法、设备及存储介质 |
| CN112115756A (zh) * | 2020-03-22 | 2020-12-22 | 张冬梅 | 用于内容分析的区块链管理平台 |
| CN111414883A (zh) * | 2020-03-27 | 2020-07-14 | 深圳创维－Rgb电子有限公司 | 一种基于人脸情绪的节目推荐方法、终端及存储介质 |
| CN111417024A (zh) * | 2020-03-30 | 2020-07-14 | 深圳创维－Rgb电子有限公司 | 一种基于场景识别的节目推荐方法、系统及存储介质 |
| CN113852861A (zh) * | 2021-09-23 | 2021-12-28 | 深圳Tcl数字技术有限公司 | 节目推送方法、装置、存储介质及电子设备 |
| CN114461319A (zh) * | 2021-12-28 | 2022-05-10 | 北京达佳互联信息技术有限公司 | 一种信息展现方法、装置以及信息处理方法、装置 |
| CN114827728A (zh) * | 2022-06-23 | 2022-07-29 | 中国传媒大学 | 节目数据推荐方法及系统 |
| CN114827728B (zh) * | 2022-06-23 | 2022-09-13 | 中国传媒大学 | 节目数据推荐方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109327737B (zh) | 2021-04-16 |
| WO2020098013A1 (zh) | 2020-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109327737A (zh) | 电视节目推荐方法、终端、系统及存储介质 | |
| CN109391792B (zh) | 视频通信的方法、装置、终端及计算机可读存储介质 | |
| CN105378742B (zh) | 所管理的生物计量身份 | |
| US20190033957A1 (en) | Information processing system, client terminal, information processing method, and recording medium | |
| CN105141587B (zh) | 一种虚拟玩偶互动方法及装置 | |
| CN108986192B (zh) | 用于直播的数据处理方法及装置 | |
| KR20230059828A (ko) | 스마트 미러들을 통한 다중화된 통신들 및 디스플레이를 이용한 비디오 스트리밍 | |
| CN108933723B (zh) | 消息展示方法、装置及终端 | |
| CN106303354B (zh) | 一种脸部特效推荐方法及电子设备 | |
| CN108734557A (zh) | 用于生成服饰推荐信息的方法、装置和系统 | |
| CN105726045A (zh) | 一种情绪监控方法及其移动终端 | |
| CN112199016B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN110691279A (zh) | 一种虚拟直播的方法、装置、电子设备及存储介质 | |
| JP2020039029A (ja) | 動画配信システム、動画配信方法、及び動画配信プログラム | |
| CN106161939A (zh) | 一种照片拍摄方法及终端 | |
| CN110390705A (zh) | 一种生成虚拟形象的方法及装置 | |
| CN112905074B (zh) | 交互界面展示方法、交互界面生成方法、装置及电子设备 | |
| CN110162667A (zh) | 视频生成方法、装置及存储介质 | |
| CN112261481B (zh) | 互动视频的创建方法、装置、设备及可读存储介质 | |
| CN114390193B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN110033502B (zh) | 视频制作方法、装置、存储介质及电子设备 | |
| CN107925799A (zh) | 用于生成视频内容的方法和设备 | |
| CN109523461A (zh) | 显示目标图像的方法、装置、终端及存储介质 | |
| CN109819167A (zh) | 一种图像处理方法、装置和移动终端 | |
| KR20180011664A (ko) | 얼굴 표현 및 심리 상태 파악과 보상을 위한 얼굴 정보 분석 방법 및 얼굴 정보 분석 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |