CN115052193B - 视频推荐方法、系统、装置及存储介质 - Google Patents

视频推荐方法、系统、装置及存储介质 Download PDF

Info

Publication number
CN115052193B
CN115052193B CN202210575753.XA CN202210575753A CN115052193B CN 115052193 B CN115052193 B CN 115052193B CN 202210575753 A CN202210575753 A CN 202210575753A CN 115052193 B CN115052193 B CN 115052193B
Authority
CN
China
Prior art keywords
classification result
information
emotion
emotion classification
context
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210575753.XA
Other languages
English (en)
Other versions
CN115052193A (zh
Inventor
郝德禄
肖冠正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iMusic Culture and Technology Co Ltd
Original Assignee
iMusic Culture and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iMusic Culture and Technology Co Ltd filed Critical iMusic Culture and Technology Co Ltd
Priority to CN202210575753.XA priority Critical patent/CN115052193B/zh
Publication of CN115052193A publication Critical patent/CN115052193A/zh
Application granted granted Critical
Publication of CN115052193B publication Critical patent/CN115052193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4665—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms involving classification methods, e.g. Decision trees
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了视频推荐方法、系统、装置及存储介质，本发明根据眼球信息与预设规则进行匹配处理，得到第一情绪分类结果，利用眼球信息确定第一情绪分类结果，准确性高；从上下文信息中提取脸部信息，将脸部信息以及上下文信息输入至网络模型，得到第二情绪分类结果，根据第一情绪分类结果以及第二情绪分类结果进行分析，得到情绪类型，将基于眼球信息分析的第一情绪分类结果与基于上下文信息分析的第二情绪分类结果结合得到情绪类型，进一步提高情绪类型的准确性；根据情绪类型确定目标视频并进行推荐，进行针对性的视频推荐，有利于舒缓、改善用户当前的情绪，适用性强，本发明可广泛应用于人工智能技术领域。

Description

视频推荐方法、系统、装置及存储介质
技术领域
本发明涉及人工智能领域，尤其是一种视频推荐方法、系统、装置及存储介质。
背景技术
目前的视频推送模式，一般不分类而一起大批量推送，根据用户点击的视频类别，分析用户的兴趣，后台处理器学习用户的兴趣之后，会按一定频率推送相似的视频，例如用户多次点击电影类短视频，后方数据端检测后，就推送电影类相关短视频。
但是，该种推送方式无法适用于各种特定情况，例如当用户处于不同情绪时无法根据用户当前的情绪进行推荐，因此可能出现以下情况：当用户觉得无聊时，推荐枯燥的知识类视频使得用户更无聊；当用户心情激动时，推荐激进的视频另用户冲动；当用户情绪低落时，推送消极、恐怖视频，更加影响用户的心情，因此需要寻求解决方案。
发明内容
有鉴于此，为了解决上述技术问题，本发明的目的是提供一种视频推荐方法、装置、设备及存储介质，进行针对性的视频推荐。
本发明实施例采用的技术方案是：
视频推荐方法，包括：
获取用户数据；所述用户数据包括眼球信息以及上下文信息，所述上下文信息由背景以及脸部信息所构成；
根据所述眼球信息与预设规则进行匹配处理，得到第一情绪分类结果；
从所述上下文信息中提取所述脸部信息，将所述脸部信息以及所述上下文信息输入至网络模型，得到第二情绪分类结果；
根据所述第一情绪分类结果以及所述第二情绪分类结果进行分析，得到情绪类型；
根据所述情绪类型确定目标视频并进行推荐。
进一步，所述根据所述眼球信息与预设规则进行匹配处理，得到第一情绪分类结果，包括：
生成所述眼球信息的扫描图像；
对所述扫描图像进行分析，得到瞳孔状态；
将所述瞳孔状态与预设规则进行匹配，得到第一情绪分类结果；
所述预设规则包括瞳孔收缩表征消极情绪，瞳孔放大表征兴奋或者恐惧，瞳孔无变化表征无聊。
进一步，所述将所述脸部信息以及所述上下文信息输入至网络模型之前还包括：
将所述脸部信息进行第一预处理，得到第一预处理后的脸部信息；
将所述上下文信息进行第二预处理，得到第二预处理后的上下文信息；
所述第一预处理与所述第二预处理包括裁剪以及缩放，所述脸部信息的尺寸小于所述上下文信息的尺寸。
进一步，所述从所述上下文信息中提取所述脸部信息，将所述脸部信息以及所述上下文信息输入至网络模型，得到第二情绪分类结果，包括：
将所述上下文信息输入至上下文RNN，得到上下文特征；
将所述脸部信息输入至人脸RNN，通过所述人脸RNN根据所述脸部信息以及所述上下文特征得到第二情绪分类结果；
所述网络模型包括所述上下文RNN以及所述人脸RNN，所述上下文RNN与所述上下文RNN与注意力机制存在级联关系。
进一步，所述人脸RNN包括若干CNN单元以及LSTM单元；所述通过所述人脸RNN根据所述脸部信息以及所述上下文特征得到第二情绪分类结果，包括：
通过所述CNN单元对所述脸部信息进行编码，并根据编码结果与所述上下文特征基于注意力机制的注意操作，得到LSTM上下文向量；
根据所述上下文向量通过所述LSTM单元输出第二情绪分类结果。
进一步，所述根据所述第一情绪分类结果以及所述第二情绪分类结果进行分析，得到情绪类型，包括：
当所述第一情绪分类结果与所述第二情绪分类结果相同，将所述第一情绪分类结果或者所述第二情绪分类结果作为情绪类型；
或者，
当所述第一情绪分类结果与所述第二情绪分类结果不同，根据预设优先级从所述第一情绪分类结果和所述第二情绪分类结果中确定优先级更高的目标情绪分类结果作为情绪类型。
进一步，所述根据所述情绪类型确定目标视频并进行推荐，包括：
获取视频资源；
对所述视频资源进行分类，得到不同视频类型的视频；
将与所述情绪类型相反的视频类型的视频确定为目标视频并进行推荐。
本发明实施例还提供一种视频推荐系统，包括：
获取模块，用于获取用户数据；所述用户数据包括眼球信息以及上下文信息，所述上下文信息由背景以及脸部信息所构成；
处理模块，用于根据所述眼球信息与预设规则进行匹配处理，得到第一情绪分类结果；
分类模块，用于从所述上下文信息中提取所述脸部信息，将所述脸部信息以及所述上下文信息输入至网络模型，得到第二情绪分类结果；
分析模块，用于根据所述第一情绪分类结果以及所述第二情绪分类结果进行分析，得到情绪类型；
推荐模块，用于根据所述情绪类型确定目标视频并进行推荐。
本发明实施例还提供一种视频推荐装置，所述视频推荐装置包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现所述方法。
本发明实施例还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现所述方法。
本发明的有益效果是：通过眼球信息以及上下文信息、所述上下文信息由背景以及脸部信息所构成；根据所述眼球信息与预设规则进行匹配处理，得到第一情绪分类结果，利用眼球信息确定第一情绪分类结果，准确性高；从所述上下文信息中提取所述脸部信息，将所述脸部信息以及所述上下文信息输入至网络模型，得到第二情绪分类结果，根据所述第一情绪分类结果以及所述第二情绪分类结果进行分析，得到情绪类型，将基于眼球信息分析的第一情绪分类结果与基于上下文信息分析的第二情绪分类结果结合得到情绪类型，进一步提高情绪类型的准确性；根据所述情绪类型确定目标视频并进行推荐，进行针对性的视频推荐，有利于舒缓、改善用户当前的情绪，适用性强。
附图说明
图1为本发明视频推荐方法的步骤流程示意图；
图2为本发明具体实施例视频推荐方法的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
如图1所示，本发明实施例提供一种视频推荐方法，包括步骤S100-S500：
S100、获取用户数据。
本发明实施例中，用户数据包括眼球信息以及上下文信息，上下文信息由背景以及脸部信息所构成。研究表明，包括周围环境和人体在内的环境信息可以为更准确地识别情感提供额外的线索，因此本发明实施例采集上下文信息。需要说明的是，当获取用户数据时会先询问用户的许可，在获得用户的许可之后打开用户终端的摄像头，通过摄像头拍摄一张或多张图片，又或者拍摄一定时间长度的视频片段，从而获取到用户数据。示例性地，本发明实施例中以拍摄视频片段为例，可以获取多张图片构成的图片序列，用于后续的处理。
S200、根据眼球信息与预设规则进行匹配处理，得到第一情绪分类结果。
可选地，步骤S200包括步骤S210-S230。
S210、生成眼球信息的扫描图像。
可选地，根据实时采集的用户数据或者刚采集的用户数据进行实时的扫描捕捉，生成眼球信息对应的扫描图像。
S220、对扫描图像进行分析，得到瞳孔状态。
可选地，可以通过事先构建的眼球分析模型或者表情分析软件对扫描图像进行分析，从而确定瞳孔状态。需要说明的是，瞳孔状态包括但不限于瞳孔向左侧移动、瞳孔向右侧移动、瞳孔收缩、瞳孔放大或者瞳孔无变化。
S230、将瞳孔状态与预设规则进行匹配，得到第一情绪分类结果。
可选地，预设规则包括但不限于瞳孔收缩表征消极情绪(如厌恶的刺激、惹人生气、讨厌、低落、悲伤、难过、沮丧等)，瞳孔放大表征兴奋(如愉悦、喜爱、激动等)或者恐惧(例如遇到令人心情愉快的刺激时，瞳孔便会自动放大，当主体感到恐慌、兴奋时，瞳孔会放大到平常的4倍)，瞳孔无变化表征无聊(如平淡、漠不关心、无念无想等)，瞳孔向左侧移动表征回忆，孔向右侧移动表征思考。一些实施例中，可以将回忆、思考归类为无聊、消极情绪、兴奋或者恐惧的其中一种，可以根据不同情况设置。需要说明的是，上述预设规则适用于百分之九十的人群，因此分析的准确性高。
可选地，步骤S200之后、S300之前还包括步骤S240-S250:
S240、将脸部信息进行第一预处理，得到第一预处理后的脸部信息。
本发明实施例中，脸部信息作为人脸流(face stream)，包括视频片段中每一帧原始帧中检测到的脸部信息，即脸部信息的序列，对该脸部信息进行第一预处理，具体地，对该脸部信息进行裁剪和缩放至第一尺寸，得到第一预处理后的脸部信息，示例性地第一尺寸为128×128，其他实施例中可以为其他尺寸。
S250、将上下文信息进行第二预处理，得到第二预处理后的上下文信息。
本发明实施例中，上下文信息作为上下文流(context stream)，上下文流包括视频片段的每一帧原始帧，对该上下文信息进行第二预处理，具体地，对该上下文信息进行中心裁剪和缩放至第二尺寸，得到第二预处理后的脸部信息，示例性地第二尺寸为224×224，其他实施例中可以为其他尺寸。
S300、从上下文信息中提取脸部信息，将脸部信息以及上下文信息输入至网络模型，得到第二情绪分类结果。
可选地，从上下文信息单独提取出脸部信息。如图2所示，可选地，网络模型采用CACA-RNN，即具有上下文感知能力的级联式、基于注意力的RNN，该网络模型采用级联结构，由两个神经网络组成，分别是人脸RNN和上下文RNN，述上下文RNN与上下文RNN与注意力机制(attention)之间存在级联关系，注意力机制可以定位上下文RNN中相关的上下文信息。
步骤S300包括步骤S310-S320：
S310、将上下文信息输入至上下文RNN，得到上下文特征。
S320、将脸部信息输入至人脸RNN，通过人脸RNN根据脸部信息以及上下文特征得到第二情绪分类结果。
可选地，上下文RNN与人脸RNN的结构相同，均包括若干个RNN单元以及LSTM单元。具体地，上下文信息输入至上下文RNN中，上下文RNN中的若干个RNN单元分别对输入的上下文信息即不同帧(t＝1-4)的图像进行处理，并将处理结果输入至上下文RNN中的各个LSTM单元中，各个LSTM单元输出相应的上下文特征。其中，将脸部信息即不同帧(t＝1-4)对应的包含脸部信息的图像进行处理输入至人脸RNN，通过人脸RNN中的CNN单元对脸部信息进行编码，并根据编码结果与上下文特征基于注意力机制的注意操作，得到输入至人脸RNN中的LSTM单元的LSTM上下文向量，然后根据上下文向量通过LSTM单元输出第二情绪分类结果，如图2所示输出的“笑脸”即代表第二情绪分类结果为兴奋(如愉悦、喜爱、激动等)。
本发明实施例中，人脸RNN处理过程中利用条件概率
其中，yi是在输出时间i生成的预测，h(·)为非线性函数，是人脸RNN以时间步长从1到i读取的脸部信息的序列，/>是人脸RNN的隐藏状态，表示为：
其中，f(·)为非线性函数，是在输出时间i-1的人脸RNN的隐藏状态，/>是LSTM
上下文向量，表示为：
其中，T为总时间步长，score()为计算得分的函数，是LSTM上下文向量在t时刻的隐藏状态，表示为：
其中，是LSTM上下文向量在t-1时刻的隐藏状态，上下文RNN以时间步长从1到T读取上下文特征序列/>进入一个LSTM上下文向量 为t时刻提取到的上下文特征。
S400、根据第一情绪分类结果以及第二情绪分类结果进行分析，得到情绪类型。
可选地，步骤S400包括步骤S410或者S420：
S410、当第一情绪分类结果与第二情绪分类结果相同，将第一情绪分类结果或者第二情绪分类结果作为情绪类型。
具体地，当第一情绪分类结果与第二情绪分类结果相同，例如均为消极情绪(如厌恶的刺激、惹人生气、讨厌、低落、悲伤、沮丧等)，此时将第一情绪分类结果和第二情绪分类结果的其中之一作为情绪类型，得到情绪类型为消极情绪。
S420、当第一情绪分类结果与第二情绪分类结果不同，根据预设优先级从第一情绪分类结果和第二情绪分类结果中确定优先级更高的目标情绪分类结果作为情绪类型。
具体地，当第一情绪分类结果与第二情绪分类结果不同，可以根据预设优先级确定目标情绪分类结果作为情绪类型。例如，预设优先级可以为：
1)、第一情绪分类结果的优先级高于第二情绪分类结果的优先级，确定第一情绪分类结果为目标情绪分类结果作为情绪类型；
2)、第二情绪分类结果的优先级高于第一情绪分类结果的优先级，确定第二情绪分类结果为目标情绪分类结果作为情绪类型；
3)、设置优先级程度由高至低为：消极情绪、兴奋或者恐惧、无聊，例如第一情绪分类结果为无聊，第二情绪分类结果为消极情绪，此时将第二情绪分类结果即消极情绪作为情绪类型。
S500、根据情绪类型确定目标视频并进行推荐。
可选地，步骤S500包括步骤S510-S530：
S510、获取视频资源。
具体地，用户的终端或者用户所使用的软件、小程序、网页等可以获取网络上的视频资源。
S520、对视频资源进行分类，得到不同视频类型的视频。
具体地，可以通过识别视频资源中各个视频的标签对视频进行分类，得到不同视频类型的视频，或者将视频资源通过人工智能算法进行处理，识别出各个视频的类型，从而得到不同视频类型的视频。
S530、将与情绪类型相反的视频类型的视频确定为目标视频并进行推荐。
需要说明的是，情绪类型相反的视频类型指的是与情绪类型相反的能够帮助用户改善当前情绪类型的视频类型，然后将该与情绪类型相反的视频类型的视频确定为目标视频并向用户进行推荐，待用户点击后改善、舒缓用户的情绪。例如：
当情绪类型为无聊时，对应的推荐的视频类型为新奇、有趣，使用户不感到无聊，可以达到放松的目的；
当情绪类型为激动时，对应的推荐的视频类型为平静、冷静，让用户可以平静下情绪；
当情绪类型为恐慌时，对应的推荐的视频类型为安慰、温暖、正能量，安抚用户的恐慌情绪；
当情绪类型为悲伤、难过时，对应的推荐的视频类型为愉快、轻松、搞笑，使用户在观看过推荐的视频后，负面的心情得到舒缓；
当情绪类型为沮丧，对应的推荐的视频类型为愉快、轻松、搞笑、励志，使用户在观看过推荐的视频后，放松、重新树立信心，给精神注入活力，积极的面对生活。
本发明实施例还提供一种视频推荐系统，包括：
获取模块，用于获取用户数据；用户数据包括眼球信息以及上下文信息，上下文信息由背景以及脸部信息所构成；
处理模块，用于根据眼球信息与预设规则进行匹配处理，得到第一情绪分类结果；
分类模块，用于从上下文信息中提取脸部信息，将脸部信息以及上下文信息输入至网络模型，得到第二情绪分类结果；
分析模块，用于根据第一情绪分类结果以及第二情绪分类结果进行分析，得到情绪类型；
推荐模块，用于根据情绪类型确定目标视频并进行推荐。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本发明实施例还提供了一种视频推荐装置，视频推荐装置包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现前述实施例的视频推荐方法。本发明实施例的视频推荐装置包括但不限于手机、平板电脑、电脑及车载电脑等任意智能终端。
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本发明实施例还提供一种计算机可读存储介质，存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现前述实施例的视频推荐方法。
本发明实施例还提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前述实施例的视频推荐方法。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (8)

1.视频推荐方法，其特征在于，包括：
获取用户数据；所述用户数据包括眼球信息以及上下文信息，所述上下文信息由背景以及脸部信息所构成；
根据所述眼球信息与预设规则进行匹配处理，得到第一情绪分类结果；
从所述上下文信息中提取所述脸部信息，将所述脸部信息以及所述上下文信息输入至CACA-RNN模型，得到第二情绪分类结果；所述CACA-RNN模型为具有上下文感知能力的级联式、基于注意力的RNN，将所述脸部信息以及所述上下文信息输入至CACA-RNN模型之前还包括：
将所述脸部信息进行第一预处理，得到第一预处理后的脸部信息；
将所述上下文信息进行第二预处理，得到第二预处理后的上下文信息；
所述第一预处理与所述第二预处理包括裁剪以及缩放，所述脸部信息的尺寸小于所述上下文信息的尺寸；
根据所述第一情绪分类结果以及所述第二情绪分类结果进行分析，得到情绪类型；
根据所述情绪类型确定目标视频并进行推荐，包括：
获取视频资源；
对所述视频资源进行分类，得到不同视频类型的视频；
将与所述情绪类型相反的视频类型的视频确定为目标视频并进行推荐。
2.根据权利要求1所述视频推荐方法，其特征在于：所述根据所述眼球信息与预设规则进行匹配处理，得到第一情绪分类结果，包括：
生成所述眼球信息的扫描图像；
对所述扫描图像进行分析，得到瞳孔状态；
将所述瞳孔状态与预设规则进行匹配，得到第一情绪分类结果；
所述预设规则包括瞳孔收缩表征消极情绪，瞳孔放大表征兴奋或者恐惧，瞳孔无变化表征无聊。
3.根据权利要求1或2所述视频推荐方法，其特征在于：所述从所述上下文信息中提取所述脸部信息，将所述脸部信息以及所述上下文信息输入至网络模型，得到第二情绪分类结果，包括：
将所述上下文信息输入至上下文RNN，得到上下文特征；
将所述脸部信息输入至人脸RNN，通过所述人脸RNN根据所述脸部信息以及所述上下文特征得到第二情绪分类结果；
所述网络模型包括所述上下文RNN以及所述人脸RNN，所述上下文RNN与所述上下文RNN与注意力机制存在级联关系。
4.根据权利要求3所述视频推荐方法，其特征在于：所述人脸RNN包括若干CNN单元以及LSTM单元；所述通过所述人脸RNN根据所述脸部信息以及所述上下文特征得到第二情绪分类结果，包括：
通过所述CNN单元对所述脸部信息进行编码，并根据编码结果与所述上下文特征基于注意力机制的注意操作，得到LSTM上下文向量；
根据所述上下文向量通过所述LSTM单元输出第二情绪分类结果。
5.根据权利要求1所述视频推荐方法，其特征在于：所述根据所述第一情绪分类结果以及所述第二情绪分类结果进行分析，得到情绪类型，包括：
当所述第一情绪分类结果与所述第二情绪分类结果相同，将所述第一情绪分类结果或者所述第二情绪分类结果作为情绪类型；
或者，
当所述第一情绪分类结果与所述第二情绪分类结果不同，根据预设优先级从所述第一情绪分类结果和所述第二情绪分类结果中确定优先级更高的目标情绪分类结果作为情绪类型。
6.一种视频推荐系统，其特征在于，应用如权利要求1-5中任一项所述视频推荐方法，包括：
获取模块，用于获取用户数据；所述用户数据包括眼球信息以及上下文信息，所述上下文信息由背景以及脸部信息所构成；
处理模块，用于根据所述眼球信息与预设规则进行匹配处理，得到第一情绪分类结果；
分类模块，用于从所述上下文信息中提取所述脸部信息，将所述脸部信息以及所述上下文信息输入至CACA-RNN模型，得到第二情绪分类结果；所述CACA-RNN模型为具有上下文感知能力的级联式、基于注意力的RNN；
分析模块，用于根据所述第一情绪分类结果以及所述第二情绪分类结果进行分析，得到情绪类型；
推荐模块，用于根据所述情绪类型确定目标视频并进行推荐。
7.一种视频推荐装置，其特征在于，所述视频推荐装置包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-5中任一项所述方法。
8.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-5中任一项所述方法。
CN202210575753.XA 2022-05-25 2022-05-25 视频推荐方法、系统、装置及存储介质 Active CN115052193B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210575753.XA CN115052193B (zh) 2022-05-25 2022-05-25 视频推荐方法、系统、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210575753.XA CN115052193B (zh) 2022-05-25 2022-05-25 视频推荐方法、系统、装置及存储介质

Publications (2)

Publication Number Publication Date
CN115052193A CN115052193A (zh) 2022-09-13
CN115052193B true CN115052193B (zh) 2023-07-18

Family

ID=83159023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210575753.XA Active CN115052193B (zh) 2022-05-25 2022-05-25 视频推荐方法、系统、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115052193B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021217912A1 (zh) * 2020-04-28 2021-11-04 深圳壹账通智能科技有限公司 基于人脸识别的信息生成方法、装置、计算机设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423707A (zh) * 2017-07-25 2017-12-01 深圳帕罗人工智能科技有限公司 一种基于复杂环境下的人脸情绪识别方法
CN109376621A (zh) * 2018-09-30 2019-02-22 北京七鑫易维信息技术有限公司 一种样本数据生成方法、装置以及机器人
CN109376304A (zh) * 2018-11-30 2019-02-22 维沃移动通信有限公司 一种信息推荐方法及装置
CN111339847B (zh) * 2020-02-14 2023-04-14 福建帝视信息科技有限公司 一种基于图卷积神经网络的人脸情绪识别方法
KR102504722B1 (ko) * 2020-06-24 2023-02-28 영남대학교 산학협력단 감정 표현 영상 생성을 위한 학습 장치 및 방법과 감정 표현 영상 생성 장치 및 방법
CN113723359A (zh) * 2021-09-16 2021-11-30 未鲲(上海)科技服务有限公司 用户情绪识别方法、装置、计算机设备及可读存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021217912A1 (zh) * 2020-04-28 2021-11-04 深圳壹账通智能科技有限公司 基于人脸识别的信息生成方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN115052193A (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
US11393133B2 (en) Emoji manipulation using machine learning
CN110837579B (zh) 视频分类方法、装置、计算机以及可读存储介质
Hussain et al. Automatic understanding of image and video advertisements
CN110147711B (zh) 视频场景识别方法、装置、存储介质和电子装置
US20170098122A1 (en) Analysis of image content with associated manipulation of expression presentation
CN108197592B (zh) 信息获取方法和装置
CN107305557A (zh) 内容推荐方法及装置
CN112528150A (zh) 直播推荐方法、装置、电子设备及存储介质
CN110719525A (zh) 弹幕表情包的生成方法、电子设备和可读存储介质
CN113392236A (zh) 一种数据分类方法、计算机设备及可读存储介质
CN110351580B (zh) 基于非负矩阵分解的电视节目专题推荐方法及系统
Sharma et al. Emotion-based music recommendation system
CN114567693B (zh) 视频生成方法、装置和电子设备
CN113900522A (zh) 一种虚拟形象的互动方法、装置
CN118132828A (zh) 信息推荐方法、装置、电子设备及存储介质
CN115052193B (zh) 视频推荐方法、系统、装置及存储介质
CN113573128A (zh) 一种音频处理方法、装置、终端以及存储介质
CN111859165A (zh) 一种基于用户行为的实时个性化信息流推荐方法
CN113407772A (zh) 视频推荐模型的生成方法、视频推荐方法、装置
Balfaqih A Hybrid Movies Recommendation System Based on Demographics and Facial Expression Analysis using Machine Learning.
CN113761281B (zh) 虚拟资源处理方法、装置、介质及电子设备
CN117036765A (zh) 图像分类模型处理及图像分类方法、装置和计算机设备
Pijani et al. Inferring attributes with picture metadata embeddings
CN114064969A (zh) 基于情感曲线的动态图片联动展示装置
WO2022002865A1 (en) A system and a method for personalized content presentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant