CN111177459A - 信息推荐方法、装置、电子设备及计算机可读存储介质 - Google Patents

信息推荐方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111177459A
CN111177459A CN201911287188.1A CN201911287188A CN111177459A CN 111177459 A CN111177459 A CN 111177459A CN 201911287188 A CN201911287188 A CN 201911287188A CN 111177459 A CN111177459 A CN 111177459A
Authority
CN
China
Prior art keywords
feature
information
emotion
emotional
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911287188.1A
Other languages
English (en)
Inventor
陈向军
刘璐
吴饶金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201911287188.1A priority Critical patent/CN111177459A/zh
Publication of CN111177459A publication Critical patent/CN111177459A/zh
Priority to PCT/CN2020/124765 priority patent/WO2021114936A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请适用于电子设备人工智能(Artificial Intelligence，AI)领域，具体和信息处理领域相关，提供了一种信息推荐方法，包括：通过获取用户当前的情绪特征信息和所述用户当前所处环境的场景特征信息；获取与所述情绪特征信息相关联的信息；基于所述情绪特征信息和所述场景特征信息确定所述信息的推荐值，将推荐值最高的前L个信息推荐给所述用户，通过结合情绪特征信息和场景特征信息为用户推荐满足其个性化需求的信息，使得所推荐的信息与用户的真实情绪反馈更为接近，提高信息推荐的精准度，具有较强的易用性和实用性。

Description

信息推荐方法、装置、电子设备及计算机可读存储介质
技术领域
本申请属于电子设备人工智能(Artificial Intelligence，AI)领域，具体和信息处理领域相关，尤其涉及信息推荐方法、装置、电子设备及计算机可读存储介质信息。
背景技术
现有基于主动式反馈的信息推荐方式，需要获取用户的主动式反馈信息，例如点击、评论、分享、点赞等才能做个性化推荐。然而大部分用户只提供极少的主动式反馈，因而导致对主动式反馈比较少的用户很难做到精准的个性化推荐。
另外，主动式反馈很难深层次刻画出用户的真实反馈，例如：用户点击了一篇新闻，但该新闻的内容引起了用户强烈的反感，仅仅是点击行为的反馈无法体现出用户其实是反感该新闻内容的。
因此，现有基于主动式反馈的信息推荐方式无法满足用户对推荐精准度的需求。
发明内容
本申请实施例提供了信息推荐方法、装置、电子设备及计算机可读存储介质信息，可以提高信息推荐的精准度。
第一方面，本申请实施例提供了一种信息推荐方法，包括：
在第一方面的第一种可能的实现方式中，获取用户当前的情绪特征信息和所述用户当前所处环境的场景特征信息；
获取与所述情绪特征信息相关联的信息；
基于所述情绪特征信息和所述场景特征信息确定所述信息的推荐值，将推荐值最高的前L个信息推荐给所述用户，所述L为大于零的整数。
应理解，情绪特征信息为能够反馈用户当前情绪的特征信息，场景特征信息为能够反馈用户当前所处环境也即物理实体环境的特征信息，通过结合两者，能够为用户推荐更为符合其个性化需求的信息，提高信息推荐的精确度。
在第一方面的第二种可能实现方式中，获取用户当前的情绪特征信息和所述用户当前所处环境的场景特征信息，包括：
在检测到用户预设行为时，获取所述用户预设行为对应的M组用户图像，所述M为大于零的整数；
对所述M组用户图像进行预处理得到M组第一图像和M组第二图像，所述第一图像为包含人脸数据的图像，所述第二图像为包含背景数据的图像；
将所述M组第一图像输入预设的第一神经网络模型进行处理，获得情绪特征信息；
将所述M组第二图像输入预设的第二神经网络模型进行处理，获得第一场景特征信息。
示例性的，用户预设行为具体为电子设备用户点击预设链接并浏览相关内容的行为。这里所指的预设链接包括但不限于当前浏览页面的URL链接、视频链接。
应理解，场景特征信息除了可以通过摄像头采集的背景数据来获取，还可以通过录音传感器同步记录用户所处环境的声音背景，结合声音背景数据和图像背景数据完善用户所处环境的场景特征信息，从而实现为用户推荐适合其个性化需求的信息。
应理解，通过结合用户所处环境的场景特征信息，使得推荐的信息与用户当前的情绪以及其所处的环境更为匹配，提高推荐效果，使得用户体验更好。
在第一方面的第三种可能实现方式中，将所述M组第一图像输入预设的第一神经网络模型进行处理，获得情绪特征信息，包括：
将所述M组第一图像中的每一组第一图像输入预设的第一神经网络模型进行处理，获得M组情绪化特征数列，对所述M组情绪化特征数列进行拼接处理，将拼接处理后的情绪化特征数列作为所述情绪特征信息。
示例性的，将所述M组第一图像中的每一组第一图像输入预设的第一神经网络模型进行处理；
将每个所述第一图像输入至所述第一神经网络模型，获得所述第一神经网络模型输出的正向情绪数值或的负向情绪数值，并从所述第一神经网络模型的最后一层卷积层中提取一个维度为1*N的特征列，所述N为大于零的整数；
将所述维度为1*N的特征列和所述正向情绪数值组合为情绪正向化特征数列，或将所述维度为1*N的特征列和所述负向情绪数值组合为情绪负向化特征数列；
从一组第一图像对应的情绪正向化特征数列和/或情绪负向化特征数列中，抽取正向情绪数值最大对应的情绪正向化特征数列和/或负向情绪数值最小对应的情绪负向化特征数列作为一组情绪化特征数列。
应理解，每个第一图像对应一个维度为1*N的特征列，一组第一图像对应一组维度为1*N的特征列。正向情绪数值和负向情绪数值反映用户极端化的情绪特征，通过用户预设行为对应的一组用户图像得到的一组情绪化特征数列，可以准确地反映用户当前的情绪。
在第一方面的第四种可能实现方式中，所述将所述M组第一图像输入预设的第一神经网络模型进行处理，获得情绪特征信息还包括：
将所述M组情绪化特征数列的维度为1*N的特征列进行拼接，得到一个维度为2M*N的情绪化特征数列；
将所述M组情绪化特征数列对应的正向情绪数值累加求平均值，得到一个维度为1的情绪正向化特征；
将所述M组情绪化特征数列对应的负向情绪数值累加求平均值，得到一个维度为1的情绪负向化特征；
将所述维度为2M*N的情绪化特征数列、所述1维的情绪正向化特征和所述1维的情绪负向化特征进行拼接，得到一个维度为2M*N+2的情绪化特征数列，并将所述维度为2M*N+2的情绪化特征数列作为所述情绪特征信息。
在第一方面的第五种可能实现方式中，所述将所述M组第一图像输入预设的第一神经网络模型进行处理，获得情绪特征信息包括：
将每个所述第一图像输入至所述第一神经网络模型，从所述第一神经网络模型的卷积层中提取一个维度为1*N的特征列，所述N为大于零的整数；
聚合从一组第一图像中提取的所有维度为1*N的特征列，得到聚合特征列，并通过预设公式求解所述聚合特征列的重心；
从所述聚合特征列中，查找与所述重心距离最远的一个特征列；
根据与所述重心距离最远的一个特征列，从所述聚合特征列中取2P个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列，并将所述维度为(2P+1)*N的一组情绪化特征数列作为所述情绪特征信息，所述P为大于零的整数。
在第一方面的第六种可能实现方式中，所述根据与所述重心距离最远的一个特征列，从所述聚合特征列中取2P个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列包括：
如果在与所述重心距离最远的一个特征列的前后的特征列的个数均大于或等于P，则从在与所述重心距离最远的一个特征列的前后特征列中各取P个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列。
在第一方面的第七种可能实现方式中，所述根据与所述重心距离最远的一个特征列，从所述聚合特征列中取2P个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列包括：
如果在与所述重心距离最远的一个特征列之前的特征列的个数Q小于P，则从在与所述重心距离最远的一个特征列之后的特征列中取2P-Q个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列。
在第一方面的第八种可能实现方式中，所述根据与所述重心距离最远的一个特征列，从所述聚合特征列中取2P个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列包括：
如果在与所述重心距离最远的一个特征列之后的特征列的个数R小于P，则从在与所述重心距离最远的一个特征列之前的特征列中取2P-R个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列。
在第一方面的第九种可能实现方式中，所述根据与所述重心距离最远的一个特征列，从所述聚合特征列中取2P个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列包括：
如果与所述重心距离最远的一个特征列为所述聚合特征列中的第一个特征列，则从在与所述重心距离最远的一个特征列之后的特征列中取2P个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列。
在第一方面的第十种可能实现方式中，所述根据与所述重心距离最远的一个特征列，从所述聚合特征列中取2P个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列包括：
如果与所述重心距离最远的一个特征列为所述聚合特征列中的最后一个特征列，则从在与所述重心距离最远的一个特征列之前的特征列中取2P个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列。
示例性，在所述在检测到用户预设行为时，获取所述用户预设行为对应的一组用户图像中，还包括：
获取所述用户预设行为对应的一组音频信息和/或视频信息。
将所述音频信息和/或视频信息输入预设的第三神经网络模型进行处理，获得第二场景特征信息。
相应的，所述基于所述情绪特征信息和所述场景特征信息确定所述信息的推荐值，将推荐值最高的前L个信息推荐给所述用户基于所述情绪特征信息和所述场景特征信息对所述信息流进行优化排序，并将排序在前的信息流推荐给用户包括：
基于所述情绪特征信息、所述第一场景特征信息和所述第二场景特征信息确定所述信息的推荐值，将推荐值最高的前L个信息推荐给所述用户。
在第一方面的第十一种可能实现方式中，所述获取与所述情绪特征信息相关联的信息包括：
对所述情绪特征信息进行数据预处理，去除所述情绪特征信息中的用户信息；
根据去除用户信息后的情绪特征信息，生成情绪请求参数信息，并将所述情绪请求参数信息发送至云服务器，以指示所述云服务器查找与所述情绪请求参数信息相关联的信息；
接收所述云服务器返回的与所述情绪请求参数信息相关联的信息。
在第一方面的第十二种可能实现方式中，所述基于所述情绪特征信息和所述场景特征信息确定所述信息的推荐值，将推荐值最高的前L个信息推荐给所述用户，所述L为大于零的整数包括：
按照时间窗口的方式将所述情绪特征信息和所述场景特征信息拼接，根据拼接结果确定所述信息的推荐值，并将推荐值最高的前L个信息推荐给所述用户
第二方面，本申请实施例提供了一种信息推荐装置，包括：
特征信息获取单元，用于获取用户的情绪特征信息和用户所处环境的场景特征信息；
信息获取单元，用于获取与所述情绪特征信息相关联的信息；
信息推荐单元，用于基于所述情绪特征信息和所述场景特征信息确定所述信息的推荐值，将推荐值最高的前L个信息推荐给所述用户，所述L为大于零的整数。
第三方面，本申请实施例提供了一种电子设备，包括：
特征信息获取单元，用于获取用户的情绪特征信息和用户所处环境的场景特征信息；
信息获取单元，用于获取与所述情绪特征信息相关联的信息；
信息推荐单元，用于基于所述情绪特征信息和所述场景特征信息确定所述信息的推荐值，将推荐值最高的前L个信息推荐给所述用户，所述L为大于零的整数。
第四方面，本申请实施例提供了一种计算机可读存储介质，包括：
特征信息获取单元，用于获取用户的情绪特征信息和用户所处环境的场景特征信息；
信息获取单元，用于获取与所述情绪特征信息相关联的信息；
信息推荐单元，用于基于所述情绪特征信息和所述场景特征信息确定所述信息的推荐值，将推荐值最高的前L个信息推荐给所述用户，所述L为大于零的整数。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面中任一项所述的信息推荐方法。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
本申请实施例与现有技术相比存在的有益效果是：通过获取用户当前的情绪特征信息和所述用户当前所处环境的场景特征信息；获取与所述情绪特征信息相关联的信息；基于所述情绪特征信息和所述场景特征信息确定所述信息的推荐值，将推荐值最高的前L个信息推荐给所述用户，通过结合情绪特征信息和场景特征信息为用户推荐满足其个性化需求的信息，使得所推荐的信息与用户的真实情绪反馈更为接近，提高信息推荐的精准度，具有较强的易用性和实用性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种信息推荐方法的实现流程图；
图2是本申请实施例提供的一种获取情绪特征信息和场景特征信息的方法的具体实现流程图；
图3是本申请实施例提供的一种根据第一图像获取情绪特征信息的方法的具体实现流程图；
图4是本申请实施例提供的另一种根据第一图像获取情绪特征信息的方法的具体实现流程图；
图5是本申请实施例提供的另一种根据第一图像获取情绪特征信息的方法的具体实现流程图；
图6是本申请实施例提供的一种信息推荐装置的结构示意图；
图7是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例提供的信息推荐方法可以应用于电子设备。该电子设备可以是任意具有图像采集、语音采集、传感器数据采集等功能的设备，包括但不限于智能手机、智能家电、平板电脑、车载设备、可穿戴设备以及增强现实(Augmented Reality，AR)/虚拟现实设备(virtual reality，VR)等。本申请提供的信息推荐方法具体可以以应用程序或软件的形式存储于电子设备，电子设备通过执行该应用程序或软件，实现本申请提供的信息推荐方法。
请参考图1，图1示出了本申请实施例提供的一种信息流推荐方法的实现流程，详述如下：
在步骤S101中，获取用户当前的情绪特征信息和所述用户当前所处环境的场景特征信息。
在本申请实施例中，情绪特征信息为能够反馈用户情绪的特征信息，场景特征信息为能够反馈用户所处环境也即物理实体环境的特征信息。
需要说明的是，所述情绪特征信息可以包括用户的面部表情、声音(如声音的音调信息、速度信息、振幅信息和频率信息等中的至少一种)和/或体征(如体温信息、脉搏信息、呼吸信息、血压信息、血氧信息和心率信息等中的至少一种)等信息。
示例性的，可以通过电子设备的摄像头采集用户的人脸图像以确定所述用户的面部表情，可以通过电子设备的麦克风采集用户的声音信息，可以通过电子设备探测体温的温度传感器、探测心率的心率传感器、探测脉搏的脉搏传感器、探测呼吸频率的呼吸传感器、探测血氧的血液传感器等传感器采集用户的体征信息。
示例性的，所述场景特征信息可以根据电子设备的摄像头采集的图像信息和/或麦克风采集的环境音确定。
在本申请的一些实施例中，在检测到用户的一个操作行为，比如用户点击某一新闻的链接时，由于用户的面部特征能够准确地反馈用户的情绪，通过摄像头开始采集用户图像，在用户的下一个操作行为之前，间隔预设时间比如T秒采集一次用户图像，将会得到一组用户在两个操作行为之间的采集的用户图像，在根据所采集的用户图像来获取用户的情绪特征信息。
需要说明的是，所采集的用户图像的个数一般大于2，以便于能够根据所采集的用户图像获取用户的情绪特征信息，一般情况下，比如用户点击某一新闻的链接后又迅速退出，这时摄像头所采集的用户图像有可能少于2甚至于为零，因所采集的用户图像过少而无法获取用户的情绪特征信息，此时，不对此次的操作行为进行情绪特征分析。
在本申请的一些实施例中，场景特征信息除了可以通过摄像头采集的背景数据来获取，还可以通过录音传感器同步记录用户所处环境的声音背景，结合声音背景数据和图像背景数据完善用户所处环境的场景特征信息，从而实现为用户推荐适合其个性化需求的信息。
请参考图2，图2示出了本申请实施例提供的一种获取情绪特征信息和场景特征信息的方法的具体实现步骤，详述如下：
在步骤S201中，在检测到用户预设行为时，获取所述用户预设行为对应的M组用户图像。
在本申请实施例中，所述M为大于零的整数。
作为示例而非限定，用户预设行为具体为电子设备用户点击预设链接并浏览相关内容的行为。这里所指的预设链接包括但不限于当前浏览页面的URL链接、视频链接。每个用户预设行为对应有M组用户图像，每一组用户图像为在检测到用户预设行为后，通过摄像头在该用户预设行为持续时间之内，间隔预设时间采集的一组用户图像。
比如，电子设备在检测到的用户预设行为之后，直至检测到下一用户预设行为之前比如用户退出当前浏览页面或者点击另一URL链接时，启动摄像头并间隔预设时间采集一组用户图像。电子设备在检测到下一用户预设行为后，所采集的用户图像为该下以用户预设行为对应的一组用户图像。
需要说明的是，用户预设行为对应的M组用户图像，包括但不限于基于当前的用户预设行为所采集的一组用户图像。比如还可以包括基于在当前的用户预设行为之前或之后的其他用户预设行为所采集的多组用户图像。
比如，在本申请的一个具体实施例中，通过滑动窗口的方式获取M个用户预设行为对应的M组用户图像，并基于该M组用户图像获取对应的M组情绪化特征数列。
可以理解的是，M组情绪化特征数列可以为基于在当前用户预设行为之前的M个用户预设行为分析得到的情绪化特征数列。在获取M组情绪化特征数列之后，根据该M组情绪化特征数列确定用户当前的情绪特征信息。
可以理解的是，为保证信息推荐的精准度，所采集的一组用户图像中的图像个数优选为大于或等于2的数值，也即每一组用户图像中包含至少两个用户图像。
在步骤S202中，对所述M组用户图像进行预处理得到M组第一图像和M组第二图像。
在本申请实施例中，第一图像为包含人脸数据的图像，第二图像为包含背景数据的图像。
具体地，在采集到一组用户图像后，对该组用户图像中的每个用户图像进行人脸识别，提取所述用户图像中的人脸数据并进行裁剪得到仅包含人脸数据的图像即第一图像，再对裁剪人脸数据后的图像进行数据补全，得到仅包含背景数据的图像即第二图像。
可以理解的是，第一图像和第二图像的个数与所采集的一组用户图像的数量相同，即有多少个用户图像，对应就有多少个第一图像和第二图像。
在步骤S203中，将所述M组第一图像输入预设的第一神经网络模型进行处理，获得情绪特征信息。
在本申请实施例中，预设的第一神经网络模型为预先训练好的卷积神经网络模型。
作为示例而非限定，对卷积神经网络模型的训练，可以在电子设备这一侧(端侧)进行，也可以在云服务器这一侧(云侧)进行，通过大量的包含极端情绪标签或者多样化情绪标签的图像的训练，使得该卷积神经网络模型能够正确识别并提取相应的情绪特征信息。
需要说明的是，当预设的第一神经网络模型设置在端侧时，为了提高卷积神经网络训练的效率和特征提取的准确率，一般由云侧定期对卷积神经网络进行训练，并将训练好的卷积神经网络模型同步更新至端侧，以提高端侧对用户的情绪特征提取的准确率，从而实现为端侧的用户提供精准且符合其个性化需求的信息推荐。
还需要说明的是，由于用户隐式反馈是极其敏感的隐私数据，如果将用户隐私数据上传到云侧进行解析处理，将有可能导致用户隐私泄露，降低了用户的体验，而在本申请中，通过将预设的第一神经网络模型和预设的第二神经网络模型均设置在端侧以获取用户当前的情绪特征信息和用户当前所处环境的场景特征信息，使得从端侧获取的用户信息比如用户图像并不需要上传到云侧进行特征分析及提取，从而使得用户的隐私数据不需要上传到云侧，保证了用户隐私的安全性，达到了包含用户隐私的目的。
在本申请的一个具体实施例中，该卷积神经网络模型训练有一个带有正向化数值标签和负向化数值标签的回归模型，可以根据回归模型最终输出的数值确定用户情绪的正负向化程度。
比如，在将第一图像输入至该卷积神经网络模型后，该卷积神经网络模型将会输出一个确定用户情绪的正负向化程度的数值，如果将反映用户情绪正向化程度的数值设定为正向情绪数值，将反映用户情绪负向化程度的数值设定为负向情绪数值，那么根据每一个第一图像将会对应得到一个正向情绪数值或一个负向情绪数值，相应的一组第一图像对应得到一组正向情绪数值和负向情绪数值。
需要说明的是，正向情绪数值越大，说明用户的情绪越趋向于正向的情绪比如高兴、开心等，负向情绪数值越大，说明用户的情绪越趋向于负向的情绪比如痛苦、伤心等，也即该训练有一个带有正向化数值标签和负向化数值标签的回归模型的卷积神经网络模型为用于识别并提取用户极端化的情绪特征信息的神经网络模型。
作为示例而非限定，步骤S203包括：
将所述M组第一图像中的每一组第一图像输入预设的第一神经网络模型进行处理，获得M组情绪化特征数列，对所述M组情绪化特征数列进行拼接处理，将拼接处理后的情绪化特征数列作为所述情绪特征信息。
在本申请实施例中，当用户情绪处于极端化时，为了提高情绪特征信息的准确率，获取至少两组情绪化特征数列进行拼接处理，并将拼接处理后的情绪特征数列作为情绪特征信息。
请参考图3，图3示出了本申请实施例提供的一种根据第一图像获取情绪特征信息的方法的具体实现步骤，详述如下：
在步骤S301中，将每个所述第一图像输入至所述第一神经网络模型，或所述第一神经网络模型输出正向情绪数值或负向情绪数值，并从所述第一神经网络模型的卷积层中提取一个维度为1*N的特征列。
在本申请实施例中，N为大于零的整数，在将每一组第一图像输入卷积神经网络模型进行回归数值预测时，每个第一图像对应得到一个正向情绪数值或一个负向情绪数值，卷积神经网络模型最终输出的正向情绪数值或负向情绪数值作为最终的回归预测数值。
具体的，卷积神经网络的最后一层卷积层包含有N个神经元，在提取用户的情绪特征信息时，从该N个神经元中抽取出一个维度为1*N的特征列比如X部分(Xi1,Xi2,Xi3,Xi4,…,Xin)T。其中i表示为第i张第一图像对应的特征列，n＝N。
在步骤S302中，将所述维度为1*N的特征列和所述正向情绪数值组合为情绪正向化特征数列，或将所述维度为1*N的特征列和所述负向情绪数值组合为情绪负向化特征数列。
在本申请实施例中，将最终的回归预测数值作为Y部分，第i张第一图像对应的最终的回归预设数值表示为Yi，这时，情绪正向化特征数列或情绪负向化特征数列可以表示为[Xi1,Xi2,Xi3,Xi4,…,Xin|Yi]。
作为示例而非限定，一组数量为i的第一图像对应的特征数列(该特征数列由不同数值的情绪正向化特征数列和情绪负向化特征数列组成)具体如下：
Figure BDA0002318340270000091
可以理解的是，每个第一图像都对应有一个情绪正向化特征数列或一个情绪负向化特征数列，即每个第一图像都对应有一个维度为1*N的特征(X部分)和一个正向情绪数值或负向情绪数值(Y部分)。
在步骤S303中，从一组第一图像对应的情绪正向化特征数列和/或情绪负向化特征数列中，抽取正向情绪数值最大对应的情绪正向化特征数列和/或负向情绪数值最小对应的情绪负向化特征数列作为一组情绪化特征数列。
在本申请实施例中，从一组用户图像对应的特征数列即一组第一图像对应的特征数列中，抽取正向情绪数值最大的一个情绪正向化特征数列和一个负向情绪数值最小的一个情绪负向化特征数列作为一组情绪化特征数列，具体如下：
Figure BDA0002318340270000092
需要说明的是，上述一组情绪化特征数列为反映当前用户预设行为对应的情绪特征信息，然而，为了进一步精确的判断用户的情绪，获取更为精准的情绪特征信息，本申请实施例提供了另一种根据第一图像获取情绪特征信息的方法。
请参考图4，图4示出了本申请实施例提供的一种根据第一图像获取情绪特征信息的方法的具体实现步骤，详述如下：
在步骤S401中，将所述M组情绪化特征数列的维度为1*N的特征列进行拼接，得到一个维度为2M*N的情绪化特征数列。
在本申请实施例中，将M组情绪化特征数列中的维度为1*N的特征列进行拼接，得到如下的情绪化特征数列：
Figure BDA0002318340270000093
需要说明的是，在上述维度为2M*N的情绪化特征数列中，m＝M。
在步骤S402中，将所述M组情绪化特征数列对应的正向情绪数值累加求平均值，得到一个维度为1的情绪正向化特征。
在本申请实施例中，将M组情绪化特征数列中的所有正向情绪数值累加求平均值，将计算得到的平均值作为一个维度为1的情绪正向化特征。
其中，计算得到的平均值具体如下：
Figure BDA0002318340270000101
在步骤S403中，将所述M组情绪化特征数列对应的负向情绪数值累加求平均值，得到一个维度为1的情绪负向化特征。
在本申请实施例中，将M组情绪化特征数列中的所有负向情绪数值累加求平均值，将计算得到的平均值作为一个维度为1的情绪负向化特征。
其中，计算得到的平均值具体如下：
Figure BDA0002318340270000102
在步骤S404中，将所述维度为2M*N的情绪化特征数列、所述1维的情绪正向化特征和所述1维的情绪负向化特征进行拼接，组成一个维度为2M*N+2的情绪特征信息，并将所述维度为2M*N+2的情绪化特征数列作为所述情绪特征信息。
在本申请实施例中，维度为2M*N+2的情绪特征信息具体表现如下：
Figure BDA0002318340270000103
需要说明的是，维度为2M*N+2的情绪特征信息可以理解为反映用户当前情绪的情绪特征信息，通过该情绪特征信息能够精确地反映用户当前的情绪，从而可以根据用户当前的情绪查找到相关联的信息为用户推荐。
还需要说明的是，图3和图4所获取的情绪特征信息为基于极端化的情绪特征信息，比如在用户极度高兴或极度伤心时获取的情绪特征信息。
在本申请的另一个具体实施例中，该卷积神经网络模型为训练有一个带有多种情绪化标签的分类模型的神经网络模型，在获得一组第一图像后，通过该分类模型对该一组第一图像中的每个第一图像进行特征提取，从该卷积神经网络模型的最后一层卷积层提取一个预设维度的特征列作为第一图像对应的特征列，再根据所提取一组第一图像对应的特征列，得到用户的情绪特征信息。
具体的，根据所提取的一组第一图像对应的特征列，得到用户的情绪特征信息为聚合该一组第一图像对应的特征列，将聚合后的特征列视为欧式空间系，通过欧式公式确定该欧式空间系的欧式重心，再从聚合后的特征列中查找与该欧式重心对应的特征列最远的一个特征列，该特征列与其他特征列存在较大的区别，再在该最远的特征列附近选取2P个特征列拼接以得到能够准确反映用户当前情绪的情绪特征信息。
需要说明的是，确定聚合后的特征例的重心还可以通过类似于其他距离公式比如马氏距离公式来确定聚合特征列的重心，这里不做具体限定。
请参考图5，图5示出了本申请实施例提供的另一种根据第一图像获取情绪特征信息的方法的具体实现步骤，详述如下：
在步骤S501中，将每个所述第一图像输入至所述第一神经网络模型，从所述第一神经网络模型的最后一层卷积层中提取一个维度为1*N的特征列。
在本申请实施例中，卷积神经网络的最后一层卷积层包含有N个神经元，在提取用户的情绪特征信息时，从该N个神经元中抽取出一个维度为1*N的特征列比如X部分(Xi1,Xi2,Xi3,Xi4,…,Xin)T。其中i表示为第i张第一图像对应的特征列，n＝N。
在步骤S502中，聚合从一组第一图像中提取的所有维度为1*N的特征列，得到聚合特征列，并通过预设公式求解所述聚合特征列的重心。
在本申请实施例中，将所提取的一组维度为1*N的特征列聚合在一起形成聚合特征列，该聚合特征列即构成欧式空间系，通过欧式公式可以求解该欧式空间系的重心，将该重心对应所在的特征列视为该聚合特征列的欧式重心。
在步骤S503中，从所述聚合特征列中，查找与所述重心距离最远的一个特征列。
在本申请实施例中，距离欧式重心最远的一个特征列，实际为该聚合特征列最不相似的一个特征列，即该特征列与聚合特征列中的其他特征列的相似度最低。
可以理解的是，在波动变化的情绪中，最不相同的一个情绪其实能够更好地反映用户的情绪变化，通过距离欧式重心最远的一个特征列来确定用户的情绪特征信息，可以实现为用户推荐更为精准的信息。
在步骤S504中，根据与所述重心距离最远的一个特征列，从所述聚合特征列中取2P个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列，并将所述维度为(2P+1)*N的一组情绪化特征数列作为所述情绪特征信息。
在本申请实施例中，P为大于零的整数。优选的，P为不大于3的整数。
为进一步提高推荐的精准度，在确定距离欧式重心最远的一个特征列之后，将获取在该特征列附近的2P个特征列，并对2P+1个特征列拼接，以准确获取用户的情绪特征信息，从而提供为用户推荐信息的精准度。
在本申请的一个具体实施例中，如果在与所述重心距离最远的一个特征列的前后的特征列的个数均大于或等于P，则从在与所述重心距离最远的一个特征列的前后特征列中各取P个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列。
需要说明的是，在维度为(2P+1)*N的一组情绪化特征数列中，与所述重心距离最远的一个特征列为该组情绪化特征数列中的中心特征列，与该中心特征列前后2P个特征列为与该中心特征列相邻的特征列。
在本申请的另一个具体实施例中，如果在与所述重心距离最远的一个特征列之前的特征列的个数Q小于P，则从在与所述重心距离最远的一个特征列之后的特征列中取2P-Q个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列。
在本申请的另一个具体实施例中，如果在与所述重心距离最远的一个特征列之后的特征列的个数R小于P，则从在与所述重心距离最远的一个特征列之前的特征列中取2P-R个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列。
在本申请的另一个具体实施例中，如果与所述重心距离最远的一个特征列为所述聚合特征列中的第一个特征列，则从在与所述重心距离最远的一个特征列之后的特征列中取2P个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列。
在本申请的另一个具体实施例中，如果与所述重心距离最远的一个特征列为所述聚合特征列中的最后一个特征列，则从在与所述重心距离最远的一个特征列之前的特征列中取2P个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列。
在本申请实施例中，基于上一个用户预设行为得到的维度为(2P+1)*N的一组情绪化特征数列可以作为用户的情绪特征信息，使得电子设备可以根据该情绪特征信息为用户推荐更为符合其情绪的信息。
在步骤S204中，将所述M组第二图像输入预设的第二神经网络模型进行处理，获得第一场景特征信息。
在本申请实施例中，第一场景特征信息为反映用户所处环境的特征信息，根据用户当前所处的环境，可以实现为用户推荐更为精准的信息。
比如，当根据用户预设行为确定用户当前情绪为悲伤，且用户持续浏览的信息为伤感类的文章，如果用户所处环境为寝室，则可以为用户推荐同一类型的文章，以使得用户能够释放其压抑的心情；如果用户所处环境为户外，则可以为用户推荐相对轻松或搞笑的文章，避免用户在户外出现情绪过于激动的状态。
可选的，为了获取更为准确的场景特征信息，在检测到用户预设行为时，还同步获取该用户预设行为对应的一组音频信息和/或视频信息，并根据该一组音频信息和/或视频信息获取第二场景特征信息，即在步骤S201时，还包括：
获取所述用户预设行为对应的一组音频信息和/或视频信息。
将所述音频信息和/或视频信息输入预设的第三神经网络模型进行处理，获得第二场景特征信息。
在本申请实施例中，音频信息或视频信息用于补充完善用户所处环境的场景特征信息，用以进一步提高对用户所传环境判断的准确率，从而提高信息推荐的精准度。
相应的，步骤S103具体为：
基于所述情绪特征信息、所述第一场景特征信息和所述第二场景特征信息确定所述信息的推荐值，将推荐值最高的前L个信息推荐给所述用户。
在步骤S102中，获取与所述情绪特征信息相关联的信息。
在本申请实施例中，情绪特征信息为具有不同情绪化标签的特征信息，根据情绪特征信息可以确定用户当前的情绪，因此，可以根据情绪特征信息所反馈的情绪，获取与该情绪特征信息相关联的信息。
在一种可能的实现方式中，端侧可以根据情绪特征信息从其数据库中查找与该情绪特征信息所反馈的情绪相对应的信息，比如当前用户情绪为开心，即可以查找具有开心标签的信息推荐给用户。
在另一种可能的实现方式中，为避免端侧的数据库的信息内容过少或者更新不及时，导致无法为用户提供多样化的信息以满足用户的需求的问题，端侧将情绪特征信息所包含的用户信息比如用户ID、用户账号等敏感信息去除后，生成仅包含情绪的情绪请求参数信息，并将该情绪请求参数信息发送给云侧，由云侧根据该情绪参数信息查找与用户当前情绪相关联的信息并将该信息发送回给端侧。
需要说明的是，由于发送给云侧的情绪请求参数并不包含用户信息，因此云侧并不进行个性化数据挖掘，仅做群体特征的数据挖掘，比如热度和基于情绪的内容分析，并对情绪反馈和信息内容关联性进行分析，建立情绪化标签的倒排索引，以从全量的信息中触发尽可能多的正确结果并将结果返回给端侧。
还需要说明的是，由于包含用户信息的情绪特征信息在去除敏感数据后再上传到云侧，减少了用户信息泄露的可能性，保证了用户隐私的安全性。
具体地，步骤S102包括：
步骤S1021，对所述情绪特征信息进行数据预处理，去除所述情绪特征信息中的用户信息。
在本申请实施例中，对情绪特征信息进行数据预处理为对情绪特征信息进行数据脱敏处理，去除情绪特征信息中的敏感信息即用户信息，比如用户账号信息、用户ID信息等。
步骤S1022，根据去除用户信息后的情绪特征信息，生成情绪请求参数信息，并将所述情绪请求参数信息发送至云服务器，以指示所述云服务器查找与所述情绪请求参数信息情绪特征信息相关联的信息流信息。
在本申请实施例中，情绪请求参数信息为基于对情绪特征信息进行数据脱敏后生成的仅包含情绪的参数信息，用于指示云服务器查找与该情绪特征信息相关联的信息。
步骤S1023，接收所述云服务器返回的与所述情绪请求参数信息相关联的信息。
在本申请实施例中，由于从云侧获取的信息并没有用户隐私数据，如果直接将云服务器查找的信息推荐给用户，推荐的精确度并不高，无法实现为用户进行个性化推荐。因此，端侧还需要对云服务器发送的信息进行推荐值计算后再将推荐值最高的前L个信息推荐给用户。
在步骤S103中，基于所述情绪特征信息和所述场景特征信息确定所述信息的推荐值，将推荐值最高的前L个信息推荐给所述用户。
在本申请实施例中，L为大于零的整数，推荐值为端侧决策引擎根据情绪特征信息和场景特征信息对获取的信息进行打分后得到的一个推荐值。比如根据情绪关联程度、场景符合程度等进行综合评分得到的一个数值为推荐值。
在一种可能的实现方式中，步骤S103具体为：
按照时间窗口的方式将所述情绪特征信息和所述场景特征信息拼接，根据拼接结果确定所述信息的推荐值，并将推荐值最高的前L个信息推荐给所述用户。
在本申请实施例中，端侧采用时间窗口的方式将情绪特征信息和场景特征信息拼接，可以为用户推荐符合用户当前所处环境以及符合其情绪变化的信息，提高信息推荐的精准度，并满足用户的个性化需求。
在本申请实施例中，通过获取用户当前的情绪特征信息和所述用户当前所处环境的场景特征信息；获取与所述情绪特征信息相关联的信息；基于所述情绪特征信息和所述场景特征信息确定所述信息的推荐值，将推荐值最高的前L个信息推荐给所述用户，通过结合情绪特征信息和场景特征信息为用户推荐满足其个性化需求的信息，使得所推荐的信息与用户的真实情绪反馈更为接近，提高信息推荐的精准度，具有较强的易用性和实用性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的信息推荐方法，图6示出了本申请实施例提供的信息推荐装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图6，该装置包括：
特征信息获取单元61，用于获取用户的情绪特征信息和用户所处环境的场景特征信息；
信息获取单元62，用于获取与所述情绪特征信息相关联的信息；
信息推荐单元63，用于基于所述情绪特征信息和所述场景特征信息确定所述信息的推荐值，将推荐值最高的前L个信息推荐给所述用户，所述L为大于零的整数。
在一种可能的实现方式中，所述特征信息获取单元61包括：
用户图像获取子单元，用于在检测到用户预设行为时，获取所述用户预设行为对应的一组用户图像；
图像预处理子单元，用于对所述M组用户图像进行预处理得到M组第一图像和M组第二图像，所述第一图像为包含人脸数据的图像，所述第二图像为包含背景数据的图像；
情绪特征信息获取子单元，用于将所述M组第一图像输入预设的第一神经网络模型进行处理，获得情绪特征信息；
第一场景特征信息获取子单元，用于将所述M组第二图像输入预设的第二神经网络模型进行处理，获得第一场景特征信息。
在另一种可能的实现方式中，所述情绪特征信息获取子单元具体用于：
将所述M组第一图像中的每一组第一图像输入预设的第一神经网络模型进行处理，获得M组情绪化特征数列，对所述M组情绪化特征数列进行拼接处理，将拼接处理后的情绪化特征数列作为所述情绪特征信息。
示例性的，所述情绪特征信息获取子单元具体用于：
将每个所述第一图像输入至所述第一神经网络模型进行获得所述第一神经网络模型输出正向情绪数值或负向情绪数值，并从所述第一神经网络模型的卷积层中提取一个维度为1*N的特征列，所述N为大于零的整数；
将所述维度为1*N的特征列和所述正向情绪数值组合为情绪正向化特征数列，或将所述维度为1*N的特征列和所述负向情绪数值组合为情绪负向化特征数列；
从一组第一图像对应的情绪正向化特征数列和/或情绪负向化特征数列中，抽取正向情绪数值最大对应的情绪正向化特征数列和/或负向情绪数值最小对应的情绪负向化特征数列组合为一组情绪化特征数列。
在另一种可能的实现方式中，所述情绪特征信息获取子单元还具体用于：
将所述M组情绪化特征数列的维度为1*N的特征列进行拼接，得到一个维度为2M*N的情绪化特征数列；
将所述M组情绪化特征数列对应的正向情绪数值累加求平均值，得到一个维度为1的情绪正向化特征；
将所述M组情绪化特征数列对应的负向情绪数值累加求平均值，得到一个维度为1的情绪负向化特征；
将所述维度为2M*N的情绪化特征数列、所述1维的情绪正向化特征和所述1维的情绪负向化特征进行拼接，得到一个维度为2M*N+2的情绪特征信息，并将所述维度为2M*N+2的情绪化特征数列作为所述情绪特征信息。
在另一种可能的实现方式中，所述情绪特征信息获取子单元具体还用于：
将每个所述第一图像输入至所述第一神经网络模型进行情绪特征提取，从所述第一神经网络模型的卷积层中提取一个维度为1*N的特征列，所述N为大于零的整数；
聚合从一组第一图像中提取的所有维度为1*N的特征列，得到聚合特征列，并通过预设公式求解所述聚合特征列的重心；
从所述聚合特征列中，查找与所述重心距离最远的一个特征列；
根据与所述重心距离最远的一个特征列，从所述聚合特征列中取2P个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列，所述P为大于零的整数；
将所述维度为(2P+1)*N的一组情绪化特征数列组合为所述情绪特征信息。
在另一种可能的实现方式中，所述情绪特征信息获取子单元具体还用于：
如果在与所述重心距离最远的一个特征列的前后的特征列的个数均大于或等于P，则从在与所述重心距离最远的一个特征列的前后特征列中各取P个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列。
在另一种可能的实现方式中，所述情绪特征信息获取子单元具体还用于：
如果在与所述重心距离最远的一个特征列之前的特征列的个数Q小于P，则从在与所述重心距离最远的一个特征列之后的特征列中取2P-Q个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列。
在另一种可能的实现方式中，所述情绪特征信息获取子单元具体还用于：
如果在与所述重心距离最远的一个特征列之后的特征列的个数R小于P，则从在与所述重心距离最远的一个特征列之前的特征列中取2P-R个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列。
在另一种可能的实现方式中，所述情绪特征信息获取子单元具体还用于：
如果与所述重心距离最远的一个特征列为所述聚合特征列中的第一个特征列，则从在与所述重心距离最远的一个特征列之后的特征列中取2P个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列。
在另一种可能的实现方式中，所述情绪特征信息获取子单元具体还用于：
如果与所述重心距离最远的一个特征列为所述聚合特征列中的最后一个特征列，则从在与所述重心距离最远的一个特征列之前的特征列中取2P个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列。
在一种可能的实现方式中，所述特征信息获取单元61还包括：
获取所述用户预设行为对应的一组音频信息和/或视频信息。
将所述音频信息和/或视频信息输入预设的第三神经网络模型进行处理，获得第二场景特征信息。
所述信息获取单元62，具体用于：
对所述情绪特征信息进行数据预处理，去除所述情绪特征信息中的用户信息；
根据去除用户信息后的情绪特征信息，生成情绪请求参数信息，并将所述情绪请求参数信息发送至云服务器，以指示所述云服务器查找与所述情绪请求参数信息相关联的信息；
接收所述云服务器返回的与所述情绪请求参数信息相关联的信息。
在本申请实施例中，通过获取用户当前的情绪特征信息和所述用户当前所处环境的场景特征信息；获取与所述情绪特征信息相关联的信息；基于所述情绪特征信息和所述场景特征信息确定所述信息的推荐值，将推荐值最高的前L个信息推荐给所述用户，通过结合情绪特征信息和场景特征信息为用户推荐满足其个性化需求的信息，使得所推荐的信息与用户的真实情绪反馈更为接近，提高信息推荐的精准度，具有较强的易用性和实用性。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图7为本申请实施例提供的电子设备的结构示意图。如图7所示，该实施例的电子设备7包括：至少一个处理器70(图7中仅示出一个)处理器、存储器71以及存储在所述存储器71中并可在所述至少一个处理器70上运行的计算机程序72，所述处理器70执行所述计算机程序72时实现上述任意各个信息推荐方法实施例中的步骤。或者，所述处理器70执行所述计算机程序72时实现上述各装置实施例中各单元的功能，例如图6所示单元61至63的功能。
所述电子设备7可以是手机、桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该电子设备7可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是电子设备7的举例，并不构成对电子设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，该处理器70还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71在一些实施例中可以是所述电子设备7的内部存储单元，例如电子设备7的硬盘或内存。所述存储器71在另一些实施例中也可以是所述电子设备7的外部存储设备，例如所述电子设备7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括所述电子设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/电子设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-ONlyMeMory)、随机存取存储器(RAM，RaNdoM AccessMeMory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (16)

1.一种信息推荐方法，其特征在于，包括：
获取用户当前的情绪特征信息和所述用户当前所处环境的场景特征信息；
获取与所述情绪特征信息相关联的信息；
基于所述情绪特征信息和所述场景特征信息确定所述信息的推荐值，将推荐值最高的前L个信息推荐给所述用户，所述L为大于零的整数。
2.如权利要求1所述的方法，其特征在于，所述获取用户当前的情绪特征信息和所述用户当前所处环境的场景特征信息包括：
在检测到用户预设行为时，获取所述用户预设行为对应的M组用户图像，所述M为大于零的整数；
对所述M组用户图像进行预处理得到M组第一图像和M组第二图像，所述第一图像为包含人脸数据的图像，所述第二图像为包含背景数据的图像；
将所述M组第一图像输入预设的第一神经网络模型进行处理，获得情绪特征信息；
将所述M组第二图像输入预设的第二神经网络模型进行处理，获得第一场景特征信息。
3.如权利要求2所述的方法，其特征在于，将所述M组第一图像输入预设的第一神经网络模型进行处理，获得情绪特征信息，包括：
将所述M组第一图像中的每一组第一图像输入预设的第一神经网络模型进行处理，获得M组情绪化特征数列，对所述M组情绪化特征数列进行拼接处理，将拼接处理后的情绪化特征数列作为所述情绪特征信息。
4.如权利要求3所述的方法，其特征在于，将所述M组第一图像中的每一组第一图像输入预设的第一神经网络模型进行处理，包括：
将每个所述第一图像输入至所述第一神经网络模型，获得所述第一神经网络模型输出的正向情绪数值或负向情绪数值，并从所述第一神经网络模型的卷积层中提取一个维度为1*N的特征列，所述N为大于零的整数；
将所述维度为1*N的特征列和所述正向情绪数值组合为情绪正向化特征数列，或将所述维度为1*N的特征列和所述负向情绪数值组合为情绪负向化特征数列；
从一组第一图像对应的情绪正向化特征数列和/或情绪负向化特征数列中，抽取正向情绪数值最大对应的情绪正向化特征数列和/或负向情绪数值最小对应的情绪负向化特征数列作为一组情绪化特征数列。
5.如权利要求3所述的方法，其特征在于，所述对所述M组情绪化特征数列进行拼接处理，将拼接处理后的情绪化特征数列作为所述情绪特征信息，包括：
将所述M组情绪化特征数列的维度为1*N的特征列进行拼接，得到一个维度为2M*N的情绪化特征数列；
将所述M组情绪化特征数列对应的正向情绪数值累加求平均值，得到一个维度为1的情绪正向化特征；
将所述M组情绪化特征数列对应的负向情绪数值累加求平均值，得到一个维度为1的情绪负向化特征；
将所述维度为2M*N的情绪化特征数列、所述1维的情绪正向化特征和所述1维的情绪负向化特征进行拼接，得到一个维度为2M*N+2的情绪化特征数列，并将所述维度为2M*N+2的情绪化特征数列作为所述情绪特征信息。
6.如权利要求2所述的方法，其特征在于，将所述M组第一图像输入预设的第一神经网络模型进行处理，获得情绪特征信息，包括：
将每个所述第一图像输入至所述第一神经网络模型，从所述第一神经网络模型的卷积层中提取一个维度为1*N的特征列，所述N为大于零的整数；
聚合从一组第一图像中提取的所有维度为1*N的特征列，得到聚合特征列，并通过预设公式求解所述聚合特征列的重心；
从所述聚合特征列中，查找与所述重心距离最远的一个特征列；
根据与所述重心距离最远的一个特征列，从所述聚合特征列中取2P个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列，并将所述维度为(2P+1)*N的一组情绪化特征数列作为所述情绪特征信息，所述P为大于零的整数。
7.如权利要求6所述的方法，其特征在于，所述根据与所述重心距离最远的一个特征列，从所述聚合特征列中取2P个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列包括：
如果在与所述重心距离最远的一个特征列的前后的特征列的个数均大于或等于P，则从在与所述重心距离最远的一个特征列的前后特征列中各取P个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列。
8.如权利要求6所述的方法，其特征在于，所述根据与所述重心距离最远的一个特征列，从所述聚合特征列中取2P个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列包括：
如果在与所述重心距离最远的一个特征列之前的特征列的个数Q小于P，则从在与所述重心距离最远的一个特征列之后的特征列中取2P-Q个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列。
9.如权利要求6所述的方法，其特征在于，所述根据与所述重心距离最远的一个特征列，从所述聚合特征列中取2P个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列包括：
如果在与所述重心距离最远的一个特征列之后的特征列的个数R小于P，则从在与所述重心距离最远的一个特征列之前的特征列中取2P-R个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列。
10.如权利要求6所述的方法，其特征在于，所述根据与所述重心距离最远的一个特征列，从所述聚合特征列中取2P个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列包括：
如果与所述重心距离最远的一个特征列为所述聚合特征列中的第一个特征列，则从在与所述重心距离最远的一个特征列之后的特征列中取2P个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列。
11.如权利要求6所述的方法，其特征在于，所述根据与所述重心距离最远的一个特征列，从所述聚合特征列中取2P个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列包括：
如果与所述重心距离最远的一个特征列为所述聚合特征列中的最后一个特征列，则从在与所述重心距离最远的一个特征列之前的特征列中取2P个特征列，和与所述重心距离最远的一个特征列组成一个维度为(2P+1)*N的一组情绪化特征数列。
12.如权利要求2所述的方法，其特征在于，在检测到用户预设行为时，还包括：
获取所述用户预设行为对应的一组音频信息和/或视频信息；
将所述音频信息和/或视频信息输入预设的第三神经网络模型进行处理，获得第二场景特征信息；
相应的，所述基于所述情绪特征信息和所述场景特征信息确定所述信息的推荐值，将推荐值最高的前L个信息推荐给所述用户包括：
基于所述情绪特征信息、所述第一场景特征信息和所述第二场景特征信息确定所述信息的推荐值，将推荐值最高的前L个信息推荐给所述用户。
13.如权利要求1至12任一所述的方法，其特征在于，所述获取与所述情绪特征信息相关联的信息，包括：
对所述情绪特征信息进行数据预处理，去除所述情绪特征信息中的用户信息；
根据去除用户信息后的情绪特征信息，生成情绪请求参数信息，并将所述情绪请求参数信息发送至云服务器，以指示所述云服务器查找与所述情绪请求参数信息相关联的信息；
接收所述云服务器返回的与所述情绪请求参数信息相关联的信息。
14.一种信息推荐装置，其特征在于，包括：
特征信息获取单元，用于获取用户当前的情绪特征信息和所述用户当前所处环境的场景特征信息；
信息获取单元，用于获取与所述情绪特征信息相关联的信息；
信息推荐单元，基于所述情绪特征信息和所述场景特征信息确定所述信息的推荐值，将推荐值最高的前L个信息推荐给所述用户，所述L为大于零的整数基于所述情绪特征信息和所述场景特征信息确定所述信息的推荐值，将推荐值最高的前L个信息推荐给所述用户，所述L为大于零的整数。
15.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至13任一项所述的方法。
16.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至13任一项所述的方法。
CN201911287188.1A 2019-12-14 2019-12-14 信息推荐方法、装置、电子设备及计算机可读存储介质 Pending CN111177459A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911287188.1A CN111177459A (zh) 2019-12-14 2019-12-14 信息推荐方法、装置、电子设备及计算机可读存储介质
PCT/CN2020/124765 WO2021114936A1 (zh) 2019-12-14 2020-10-29 信息推荐方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911287188.1A CN111177459A (zh) 2019-12-14 2019-12-14 信息推荐方法、装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111177459A true CN111177459A (zh) 2020-05-19

Family

ID=70650230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911287188.1A Pending CN111177459A (zh) 2019-12-14 2019-12-14 信息推荐方法、装置、电子设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN111177459A (zh)
WO (1) WO2021114936A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881348A (zh) * 2020-07-20 2020-11-03 百度在线网络技术（北京）有限公司 信息处理方法、装置、设备以及存储介质
CN111870961A (zh) * 2020-08-12 2020-11-03 网易（杭州）网络有限公司 游戏中的信息推送方法、装置、电子设备及可读存储介质
CN112398952A (zh) * 2020-12-09 2021-02-23 英华达（上海）科技有限公司 电子资源推送方法、系统、设备及存储介质
WO2021114936A1 (zh) * 2019-12-14 2021-06-17 华为技术有限公司 信息推荐方法、装置、电子设备及计算机可读存储介质
CN113010725A (zh) * 2021-03-17 2021-06-22 平安科技（深圳）有限公司 演奏乐器的选择方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197185A (zh) * 2017-12-26 2018-06-22 努比亚技术有限公司 一种音乐推荐方法、终端及计算机可读存储介质
CN108509660A (zh) * 2018-05-29 2018-09-07 维沃移动通信有限公司 一种播放对象推荐方法及终端设备
CN109145871A (zh) * 2018-09-14 2019-01-04 广州杰赛科技股份有限公司 心理行为识别方法、装置与存储介质
CN110321477A (zh) * 2019-05-24 2019-10-11 平安科技（深圳）有限公司 信息推荐方法、装置、终端及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2938672A1 (fr) * 2008-11-19 2010-05-21 Alcatel Lucent Procede et dispositif d'enregistrement de donnees representatives de sentiments ressentis par des personnes dans des lieux localisables, et serveur associe
US10937064B2 (en) * 2015-06-08 2021-03-02 Samsung Electronics Co.. Ltd. Method and apparatus for providing content
CN105005777B (zh) * 2015-07-30 2021-02-02 科大讯飞股份有限公司 一种基于人脸的音视频推荐方法及系统
CN110139025A (zh) * 2018-09-29 2019-08-16 广东小天才科技有限公司 一种基于拍照行为的社交用户推荐方法及可穿戴设备
CN111177459A (zh) * 2019-12-14 2020-05-19 华为技术有限公司 信息推荐方法、装置、电子设备及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197185A (zh) * 2017-12-26 2018-06-22 努比亚技术有限公司 一种音乐推荐方法、终端及计算机可读存储介质
CN108509660A (zh) * 2018-05-29 2018-09-07 维沃移动通信有限公司 一种播放对象推荐方法及终端设备
CN109145871A (zh) * 2018-09-14 2019-01-04 广州杰赛科技股份有限公司 心理行为识别方法、装置与存储介质
CN110321477A (zh) * 2019-05-24 2019-10-11 平安科技（深圳）有限公司 信息推荐方法、装置、终端及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021114936A1 (zh) * 2019-12-14 2021-06-17 华为技术有限公司 信息推荐方法、装置、电子设备及计算机可读存储介质
CN111881348A (zh) * 2020-07-20 2020-11-03 百度在线网络技术（北京）有限公司 信息处理方法、装置、设备以及存储介质
CN111870961A (zh) * 2020-08-12 2020-11-03 网易（杭州）网络有限公司 游戏中的信息推送方法、装置、电子设备及可读存储介质
CN111870961B (zh) * 2020-08-12 2023-11-03 网易（杭州）网络有限公司 游戏中的信息推送方法、装置、电子设备及可读存储介质
CN112398952A (zh) * 2020-12-09 2021-02-23 英华达（上海）科技有限公司 电子资源推送方法、系统、设备及存储介质
CN113010725A (zh) * 2021-03-17 2021-06-22 平安科技（深圳）有限公司 演奏乐器的选择方法、装置、设备及存储介质
CN113010725B (zh) * 2021-03-17 2023-12-26 平安科技（深圳）有限公司 演奏乐器的选择方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2021114936A1 (zh) 2021-06-17

Similar Documents

Publication Publication Date Title
CN111177459A (zh) 信息推荐方法、装置、电子设备及计算机可读存储介质
US20180336193A1 (en) Artificial Intelligence Based Method and Apparatus for Generating Article
US20210004402A1 (en) Method for making music recommendations and related computing device, and medium thereof
CN110837579A (zh) 视频分类方法、装置、计算机以及可读存储介质
CN109325148A (zh) 生成信息的方法和装置
CN101346718A (zh) 用于向用户提供选定内容项的方法
CN106874253A (zh) 识别敏感信息的方法及装置
CN108959323B (zh) 视频分类方法和装置
CN110619064A (zh) 一种基于深度学习的案件研判方法及装置
CN113392236A (zh) 一种数据分类方法、计算机设备及可读存储介质
CN112148702B (zh) 一种文件检索的方法及设备
KR20210107608A (ko) 기계 학습을 사용하여 애니메이션 미디어 컨텐츠 아이템에서 시간 정보를 추출하기 위한 시스템 및 방법
US11537636B2 (en) System and method for using multimedia content as search queries
CN114138960A (zh) 用户意图识别方法、装置、设备及介质
CN114329004A (zh) 数字指纹生成、数据推送方法、装置和存储介质
CN111259225A (zh) 新媒体信息展示方法、装置、电子设备及计算机可读介质
CN113869063A (zh) 数据推荐方法、装置、电子设备及存储介质
CN103440307A (zh) 媒体信息提供方法及装置
CN110032685A (zh) 馈送优化
CN116738057A (zh) 信息推荐方法、装置、计算机设备及存储介质
CN106446696A (zh) 一种信息处理方法及电子设备
CN110442767B (zh) 一种确定内容互动平台标签的方法、装置及可读存储介质
CN110909130B (zh) 文本主题提取分析方法、装置及计算机可读存储介质
CN114329049A (zh) 视频搜索方法、装置、计算机设备和存储介质
CN111310016B (zh) 标签挖掘方法、装置、服务器和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination