CN111222044A - 基于情绪感知的信息推荐方法、设备及存储介质 - Google Patents
基于情绪感知的信息推荐方法、设备及存储介质 Download PDFInfo
- Publication number
- CN111222044A CN111222044A CN201911425966.9A CN201911425966A CN111222044A CN 111222044 A CN111222044 A CN 111222044A CN 201911425966 A CN201911425966 A CN 201911425966A CN 111222044 A CN111222044 A CN 111222044A
- Authority
- CN
- China
- Prior art keywords
- information
- user
- historical
- emotion
- recommendation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 169
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000008447 perception Effects 0.000 title claims abstract description 50
- 239000013598 vector Substances 0.000 claims abstract description 129
- 230000006399 behavior Effects 0.000 claims abstract description 125
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 230000015654 memory Effects 0.000 claims description 19
- 238000013145 classification model Methods 0.000 claims description 18
- 230000002996 emotional effect Effects 0.000 claims description 16
- 238000003062 neural network model Methods 0.000 claims description 15
- 238000000513 principal component analysis Methods 0.000 claims description 7
- 230000008921 facial expression Effects 0.000 abstract description 6
- 230000008909 emotion recognition Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 239000011435 rock Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于情绪感知的信息推荐方法、设备及存储介质。本发明通过获取用户的行为数据；对所述行为数据进行特征提取，获得情绪特征向量；将所述情绪特征向量输入已训练的信息推荐模型中，获得推荐信息；所述信息推荐模型是基于所述情绪特征向量与所述推荐信息的对应关系训练得到的。其中，通过获取用户的行为数据，并基于该行为数据控制设备，为用户推荐适合其情绪的内容，不需要监控用户的面部表情，也不需要分析用户的谈话内容，保护了用户的隐私安全。
Description
技术领域
本发明涉及智能家电技术领域，尤其涉及基于情绪感知的信息推荐方法、设备及存储介质。
背景技术
随着人类消费需求和人工智能技术的不断发展，人们对于家用电器的智能化要求日益增加，市场上智能家用电器的种类也更加丰富，比如空调、加湿器、电暖器、灯具及电视机等。
为了实现对这些家用电器的智能控制，通常需要在用户家中安装摄像头和录音设备等设备，通过对用户面部表情分析和对说话内容的理解来对空调的温度、加湿器的湿度、灯具的光线明暗、电视机的音量大小等进行控制。
由于需要安装摄像头对用户面部表情进行监控，和需要录音设备录音后分析谈话内容，严重影响了用户的隐私安全。
发明内容
本发明的主要目的在于提供一种基于情绪感知的信息推荐方法、设备及存储介质，旨在解决现有技术中需要通过摄像录音等设备控制家用电器影响了用户的隐私安全的技术问题。
为实现上述目的，本发明提供一种基于情绪感知的信息推荐方法，所述方法包括以下步骤：
获取用户的行为数据；
对所述行为数据进行特征提取，获得情绪特征向量；
将所述情绪特征向量输入已训练的信息推荐模型中，获得推荐信息；其中，所述信息推荐模型是基于所述情绪特征向量与所述推荐信息的对应关系训练得到的。
优选地，所述对所述行为数据进行特征提取，获得情绪特征向量的步骤，包括：
对所述行为数据进行特征提取，获得行为特征；
对所述行为特征进行主成分分析，获取情绪特征向量。
优选地，所述获取用户的行为数据的步骤之前，所述方法还包括：
检测是否存在所述用户的历史行为数据；
当不存在所述用户的历史行为数据时，获取历史用户的历史用户信息及所述用户的用户信息；
将所述用户信息与所述历史用户信息进行匹配，将匹配的历史用户信息对应的用户作为匹配用户，并获取所述匹配用户的第一历史情绪特征向量及所述第一历史情绪特征向量对应的第一历史推荐信息；
将所述第一历史情绪特征向量及所述第一历史推荐信息作为训练数据训练信息推荐模型，获得已训练的信息推荐模型。
优选地，所述将所述第一历史情绪特征向量及所述第一历史推荐信息作为训练数据训练信息推荐模型的步骤之后，所述方法还包括：
检测是否有所述用户的新增行为数据；
在有所述新增行为数据时，获取所述新增行为数据对应的新增情绪特征向量；
将所述新增情绪特征向量输入所述信息推荐模型中继续训练，获得已训练的信息推荐模型。
优选地，所述检测是否存在所述用户的历史行为数据的步骤之后，所述方法还包括：
当存在所述用户的历史行为数据时，获取所述用户的历史行为数据及所述历史行为数据对应的第二历史推荐信息；
对所述历史行为数据进行特征提取，获得所述用户的第二历史情绪特征向量；
将所述第二历史情绪特征向量及所述第二历史推荐信息作为训练数据训练信息推荐模型，获得已训练的信息推荐模型。
优选地，所述对所述历史行为数据进行特征提取，获得所述用户的第二历史情绪特征向量的步骤之后，所述方法还包括：
检测所述用户是否对所述第二历史推荐信息进行调整；
在所述用户对所述第二历史推荐信息进行调整后，将所述第二历史情绪特征向量及调整后的推荐信息作为训练数据训练信息推荐模型，获得已训练的信息推荐模型。
优选地，所述推荐信息包括节目形式及节目种类，所述信息推荐模型是多标签分类模型；其中，所述多标签分类模型是基于所述节目形式及节目种类与所述情绪特征向量的对应关系训练得到的；
所述将所述情绪特征向量输入已训练的信息推荐模型中，获得推荐信息的步骤，包括：
将所述情绪特征向量输入已训练的多标签分类模型中，获得节目形式及节目种类。
优选地，所述推荐信息包括待控制设备的工作状态，所述信息推荐模型是回归模型或神经网络模型；其中，所述回归模型或所述神经网络模型是基于所述待控制设备的工作状态与所述情绪特征向量的对应关系训练得到的；
所述将所述情绪特征向量输入已训练的信息推荐模型中，获得推荐信息的步骤，包括：
将所述情绪特征向量输入已训练的回归模型或神经网络模型中，获得待控制设备的工作状态。
此外，为实现上述目的，本发明还提供一种基于情绪感知的信息推荐设备，所述基于情绪感知的信息推荐设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于情绪感知的信息推荐程序，所述基于情绪感知的信息推荐程序配置为实现如上所述的基于情绪感知的信息推荐方法的步骤。
此外，为实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有基于情绪感知的信息推荐程序，所述基于情绪感知的信息推荐程序被处理器执行时实现如上所述的基于情绪感知的信息推荐方法的步骤。
本发明通过获取用户的行为数据；对所述行为数据进行特征提取，获得情绪特征向量；将所述情绪特征向量输入已训练的信息推荐模型中，获得推荐信息；所述信息推荐模型是基于所述情绪特征向量与所述推荐信息的对应关系训练得到的。其中，通过获取用户的行为数据，并基于该行为数据控制设备，为用户推荐适合其情绪的内容，不需要监控用户的面部表情，也不需要分析用户的谈话内容，保护了用户的隐私安全。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的基于情绪感知的信息推荐设备结构示意图；
图2为本发明基于情绪感知的信息推荐方法一实施例的流程示意图；
图3为本发明基于情绪感知的信息推荐方法另一实施例的流程示意图；
图4为本发明基于情绪感知的信息推荐方法又一实施例流程示意图；
图5为本发明基于情绪感知的信息推荐方法又一实施例流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的基于情绪感知的信息推荐设备结构示意图。
如图1所示，该基于情绪感知的信息推荐设备可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对基于情绪感知的信息推荐设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于情绪感知的信息推荐程序。
在图1所示的基于情绪感知的信息推荐设备中，网络接口1004主要用于与外部网络进行数据通信；用户接口1003主要用于接收用户的输入指令；所述基于情绪感知的信息推荐设备通过处理器1001调用存储器1005中存储的基于情绪感知的信息推荐程序，并执行以下操作：
获取用户的行为数据；
对所述行为数据进行特征提取，获得情绪特征向量；
将所述情绪特征向量输入已训练的信息推荐模型中，获得推荐信息；其中，所述信息推荐模型是基于所述情绪特征向量与所述推荐信息的对应关系训练得到的。
进一步地，处理器1001可以调用存储器1005中存储的基于情绪感知的信息推荐程序，还执行以下操作：
对所述行为数据进行特征提取，获得行为特征；
对所述行为特征进行主成分分析，获取情绪特征向量。
进一步地，处理器1001可以调用存储器1005中存储的基于情绪感知的信息推荐程序，还执行以下操作：
检测是否存在所述用户的历史行为数据；
当不存在所述用户的历史行为数据时，获取历史用户的历史用户信息及所述用户的用户信息；
将所述用户信息与所述历史用户信息进行匹配，将匹配的历史用户信息对应的用户作为匹配用户，并获取所述匹配用户的第一历史情绪特征向量及所述第一历史情绪特征向量对应的第一历史推荐信息；
将所述第一历史情绪特征向量及所述第一历史推荐信息作为训练数据训练信息推荐模型，获得已训练的信息推荐模型。
进一步地，处理器1001可以调用存储器1005中存储的基于情绪感知的信息推荐程序，还执行以下操作：
检测是否有所述用户的新增行为数据；
在有所述新增行为数据时，获取所述新增行为数据对应的新增情绪特征向量；
将所述新增情绪特征向量输入所述信息推荐模型中继续训练，获得已训练的信息推荐模型。
进一步地，处理器1001可以调用存储器1005中存储的基于情绪感知的信息推荐程序，还执行以下操作：
当存在所述用户的历史行为数据时，获取所述用户的历史行为数据及所述历史行为数据对应的第二历史推荐信息；
对所述历史行为数据进行特征提取，获得所述用户的第二历史情绪特征向量；
将所述第二历史情绪特征向量及所述第二历史推荐信息作为训练数据训练信息推荐模型，获得已训练的信息推荐模型。
进一步地，处理器1001可以调用存储器1005中存储的基于情绪感知的信息推荐程序，还执行以下操作：
检测所述用户是否对所述第二历史推荐信息进行调整；
在所述用户对所述第二历史推荐信息进行调整后，将所述第二历史情绪特征向量及调整后的推荐信息作为训练数据训练信息推荐模型，获得已训练的信息推荐模型。
进一步地，处理器1001可以调用存储器1005中存储的基于情绪感知的信息推荐程序，还执行以下操作：
将所述情绪特征向量输入已训练的多标签分类模型中，获得节目形式及节目种类。
进一步地，处理器1001可以调用存储器1005中存储的基于情绪感知的信息推荐程序，还执行以下操作：
将所述情绪特征向量输入已训练的回归模型或神经网络模型中，获得待控制设备的工作状态。
本实施例通过获取用户的行为数据；对所述行为数据进行特征提取，获得情绪特征向量；将所述情绪特征向量输入已训练的信息推荐模型中，获得推荐信息；所述信息推荐模型是基于所述情绪特征向量与所述推荐信息的对应关系训练得到的。其中，通过获取用户的行为数据，并基于该行为数据控制设备，为用户推荐适合其情绪的内容，不需要监控用户的面部表情，也不需要分析用户的谈话内容，保护了用户的隐私安全。
基于上述硬件结构，提出本发明基于情绪感知的信息推荐方法实施例。
参照图2，图2为本发明基于情绪感知的信息推荐方法一实施例的流程示意图。
在一实施例中，所述基于情绪感知的信息推荐方法包括以下步骤：
S10：获取用户的行为数据；
可以理解的是，行为数据，指用户执行的操作或动作，包括对设备执行的操作，或用户的动作，可以为用户在键盘上的打字速度和按压力度、关门力度、说话分贝、开车速度等数据，本实施例对此不加以限制。
需要说明的是，获取上述行为数据，可以通过感知设备从输入设备中获取，如通过力度感知设备获取按压键盘、鼠标、遥控器的力度和关门力度，通过声音分贝感知设备获取说话分贝，通过速度感知设备获取开车速度等。基于行为数据分析用户的情绪，降低了用户对摄像录音设备、定位设备等的顾虑，从而能够获得大量真实的行为数据，提高了分析结果的准确性。
S20：对所述行为数据进行特征提取，获得情绪特征向量；
在具体实现中，可以对所述行为数据进行特征提取，获得行为特征；对所述行为特征进行主成分分析，获取情绪特征向量。
可理解的是，情绪特征向量指情绪相关的特征向量，主成分分析是一种统计方法，可以从原始变量中导出少数几个主成分，使它们尽可能多地保留原始变量的信息，且彼此间互不相关。通过对行为数据进行特征提取，可以获得多个行为特征，通过主成分分析可以将多个行为特征进行降维处理，获得其中的情绪特征向量。
S30：将所述情绪特征向量输入已训练的信息推荐模型中，获得推荐信息；其中，所述信息推荐模型是基于所述情绪特征向量与所述推荐信息的对应关系训练得到的。
应当理解的是，推荐信息指当用户在发生行为数据的预设时间内，待控制设备的工作状态或工作状态的变化信息，如当用户发生关门力度较大的行为数据时，若需要控制空调降低温度，则推荐信息为空调温度。其中，待控制设备可以为空调、加湿器、去湿器、电暖器、灯具或电视等。
在具体实现中，可以根据用户对不同待控制设备的控制需要建立不同的信息推荐模型，比如可以建立温度、湿度、光线、音量或电视节目推荐模型，将情绪特征向量输入每个模型中，利用每个模型的预测结果来控制相关的待控制设备。
本实施例通过获取用户的行为数据；对所述行为数据进行特征提取，获得情绪特征向量；将所述情绪特征向量输入已训练的信息推荐模型中，获得推荐信息；所述信息推荐模型是基于所述情绪特征向量与所述推荐信息的对应关系训练得到的。其中，通过获取获取用户的行为数据，并基于该行为数据控制设备，为用户推荐适合其情绪的内容，不需要监控用户的面部表情，也不需要分析用户的谈话内容，保护了用户的隐私安全。
进一步地，如图3所示，基于一实施例提出本发明基于情绪感知的信息推荐方法另一实施例，在本实施例中，在步骤S10之前，所述方法还包括：
S01：检测是否存在所述用户的历史行为数据；
需要说明的是，历史行为数据指在获取用户的行为数据之前该用户产生的行为数据。当不存在用户的历史行为数据时，说明该用户为新用户，由于并没有使用待控制设备，无法获得其行为数据，当存在用户的历史行为数据时，说明该用户是老用户，可以获得该用户的历史行为数据，因此，对于新用户和老用户，可以采用不同的策略获得预设模型。
S021：当不存在所述用户的历史行为数据时，获取历史用户的历史用户信息及所述用户的用户信息；
应当理解的是，历史用户指与用户使用同一待控制设备的其他用户，用户信息指用户操作待控制设备前输入的信息，可以为用户的性别、年龄、家庭成员、地理位置、当地天气等，本实施例对此不加以限制，历史用户信息指历史用户的用户信息。
S031：将所述用户信息与所述历史用户信息进行匹配，将匹配的历史用户信息对应的用户作为匹配用户，并获取所述匹配用户的第一历史情绪特征向量及所述第一历史情绪特征向量对应的第一历史推荐信息；
需要说明的是，匹配用户指历史用户信息中与该用户的用户信息相匹配的历史用户信息对应的用户；第一历史情绪特征向量指匹配用户的历史特征向量，第一历史推荐信息指匹配用户的历史特征向量对应的历史推荐信息。
S041：将所述第一历史情绪特征向量及所述第一历史推荐信息作为训练数据训练信息推荐模型，获得已训练的信息推荐模型。
应当理解的是，当用户为新用户时，可以从与其相似度较高的匹配用户的历史行为数据中获取匹配用户的第一历史情绪特征向量及与第一历史情绪特征对应的历史推荐信息，并将该第一历史情绪特征向量及第一历史推荐信息作为训练数据训练信息推荐模型。
在训练信息推荐模型的过程中，可以检测是否有所述用户的新增行为数据；在有所述新增行为数据时，获取所述新增行为数据对应的新增情绪特征向量；将所述新增情绪特征向量输入所述信息推荐模型中继续训练，获得已训练的信息推荐模型。
需要说明的是，新增行为数据指历史行为数据中没有的数据，当新用户开始操作待控制设备时，会检测到新增行为数据，通过对新增行为数据进行特征提取，可以获得所述新增行为数据对应的新增情绪特征向量。在训练模型的过程中，当获得一条新增情绪特征向量时，可以将该新增情绪特征向量输入模型中继续训练，随着用户的新增行为数据的增加，可以只保留该用户的行为数据对应的情绪特征向量作为训练数据。
另外，在步骤S01之后，所述方法还包括：
S022：当存在所述用户的历史行为数据时，获取所述用户的历史行为数据及所述历史行为数据对应的第二历史推荐信息；
S032：对所述历史行为数据进行特征提取，获得所述用户的第二历史情绪特征向量；
S042：将所述第二历史情绪特征向量及所述第二历史推荐信息作为训练数据训练信息推荐模型，获得已训练的信息推荐模型。
应当理解的是，第二历史情绪特征向量指存在用户的历史行为数据对应的历史特征向量，第二历史推荐信息指用户的历史特征向量对应的历史推荐信息。当用户是老用户时，可以直接从其历史行为数据中获取用户的第二历史情绪特征向量及其对应的第二历史推荐信息，并根据该历史情绪特征向量及历史推荐信息训练信息推荐模型。
当然，在获得所述用户的第二历史情绪特征向量之后，还可以检测所述用户是否对所述第二历史推荐信息进行调整；在所述用户对所述第二历史推荐信息进行调整后，将所述第二历史情绪特征向量及调整后的推荐信息作为训练数据训练信息推荐模型，获得已训练的信息推荐模型。
应当理解的是，当存在用户的历史行为数据时，根据用户对第二历史推荐信息的调整来优化信息推荐模型，可以获得更加准确的预测结果。
本实施例通过检测是否存在用户的历史行为数据，在不存在用户的历史行为数据时根据与其匹配的匹配用户的第一历史情绪特征向量及第一历史推荐信息训练信息推荐模型，在存在用户的历史行为数据时直接根据该用户的第二历史情绪特征向量及第二历史推荐信息训练信息推荐模型。其中，根据用户的实际情况建立模型，提高了预测结果的可靠性。
进一步地，如图4所示，基于一实施例提出本发明基于情绪感知的信息推荐方法又一实施例，在本实施例中，所述推荐信息包括节目形式及节目种类，所述信息推荐模型是多标签分类模型，相应地，步骤S30可以替换为：
S31：将所述情绪特征向量输入已训练的多标签分类模型中，获得节目形式及节目种类；其中，所述多标签分类模型是基于所述节目形式及节目种类与所述情绪特征向量的对应关系训练得到的。
应当理解的是，节目形式指待控制设备播放的节目的表现形式，如音乐、新闻和电视剧等，节目种类指不同节目形式下的节目的类别，如音乐节目形式下的流行音乐、摇滚乐和纯音乐等。如果用户打开的家电为电视或播音设备，可以获取该用户的历史观看信息，根据用户的历史观看信息建立节目形式标签和节目种类标签，并根据这两种标签建立多标签分类模型，将历史观看信息和历史情绪特征向量作为模型的输入，利用循环神经网络如长短期记忆网络(Long Short-Term Memory，LSTM)训练该多标签分类模型，以预测用户现在想收看或收听的节目形式和具体的节目种类。
具体地，为了获得更加精准的预测结果，可以根据历史观看信息建立多组标签，如第一类标签为节目形式的标签，比如音乐类、新闻类、电视剧类、电影类和有声类等；第二类标签是在第一类标签的基础上对内容的种类进行划分，即节目种类标签，比如音乐类可以分为流行音乐、摇滚乐、纯音乐和儿歌等；新闻类可以分为国际新闻、国内新闻和搞笑新闻等；电视剧类可以分为喜剧、悲剧、家庭剧、年代剧、古装剧和现代剧等；电影类可以分为动作片和爱情片等；有声类可以分为母婴、生活和科技等。
相应地，该多标签分类模型的第一个目标输出为用户观看的节目形式，比如音乐、新闻、电视机或电影等。第二个目标输出为用户观看的节目种类，比如在音乐内容下面，用户收听的类型为轻音乐、摇滚或宗教音乐等。
当多标签分类模型训练好以后，代入用户当前的情绪特征向量，即可获得与用户当前情绪对应的节目形式及节目种类，进而为用户推荐相应的节目。
本实施例通过将所述情绪特征向量输入已训练的多标签分类模型中，获得节目形式及节目种类；其中，所述多标签分类模型是基于所述情绪特征向量与所述节目形式及节目种类的对应关系训练得到的，提高了为用户推荐的节目内容的精确度。
进一步地，如图5所示，基于一实施例提出本发明基于情绪感知的信息推荐方法又一实施例，在本实施例中，所述推荐信息包括待控制设备的工作状态，所述信息推荐模型是回归模型或神经网络模型，相应地，步骤S30可以替换为：
S32：将所述情绪特征向量输入已训练的回归模型或神经网络模型中，获得待控制设备的工作状态；其中，所述回归模型或所述神经网络模型是基于所述情绪特征向量与所述待控制设备的工作状态的对应关系训练得到的。
应当理解的是，待控制设备指待用户控制的设备，可以为空调、加湿器、去湿器、电暖器、灯具或电视等。如果用户打开的家电是空调、加湿器、去湿气、电暖器或灯具等设备，可以获取待控制设备的工作状态，如空调的历史温度信息、去湿器的历史湿度信息、灯具的历史亮度信息和电视机的历史音量信息等。信息推荐模型可以为回归模型或神经网络模型。作为一实施例，当信息推荐模型为回归模型时，因回归模型形式简单、易于建模，可以缩短模型训练时间，更快地获得预测结果。作为另一实施例，当信息推荐模型为神经网络模型时，可以利用循环神经网络如LSTM或GRU对该模型进行训练。
以待控制设备的工作状态为空调的历史温度信息为例，获取用户操作空调的历史温度信息，根据历史温度信息建立温度模型，根据用户的历史情绪特征向量及该历史情绪特征向量对应的历史温度信息训练温度模型，温度模型的预测结果可以用来控制空调。当获取用户当前的情绪特征向量，并将该情绪特征向量输入温度模型后，可以获得与该情绪特征向量对应的推荐温度信息。
本实施例通过将所述情绪特征向量输入已训练的回归模型或神经网络模型中，获得待控制设备的工作状态；其中，所述回归模型或神经网络模型是基于所述情绪特征向量与所述待控制设备的工作状态的对应关系训练得到的，提高了为用户推荐的待控制设备的工作状态的丰富性及准确性。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于情绪感知的信息推荐程序，所述基于情绪感知的信息推荐程序被处理器执行时实现如下操作：
获取用户的行为数据；
对所述行为数据进行特征提取，获得情绪特征向量；
将所述情绪特征向量输入已训练的信息推荐模型中，获得推荐信息；其中，所述信息推荐模型是基于所述情绪特征向量与所述推荐信息的对应关系训练得到的。
进一步地，所述基于情绪感知的信息推荐程序被处理器执行时还实现如下操作：
对所述行为数据进行特征提取，获得行为特征；
对所述行为特征进行主成分分析，获取情绪特征向量。
进一步地，所述基于情绪感知的信息推荐程序被处理器执行时还实现如下操作：
检测是否存在所述用户的历史行为数据；
当不存在所述用户的历史行为数据时，获取历史用户的历史用户信息及所述用户的用户信息；
将所述用户信息与所述历史用户信息进行匹配，将匹配的历史用户信息对应的用户作为匹配用户，并获取所述匹配用户的第一历史情绪特征向量及所述第一历史情绪特征向量对应的第一历史推荐信息；
将所述第一历史情绪特征向量及所述第一历史推荐信息作为训练数据训练信息推荐模型，获得已训练的信息推荐模型。
进一步地，所述基于情绪感知的信息推荐程序被处理器执行时还实现如下操作：
检测是否有所述用户的新增行为数据；
在有所述新增行为数据时，获取所述新增行为数据对应的新增情绪特征向量；
将所述新增情绪特征向量输入所述信息推荐模型中继续训练，获得已训练的信息推荐模型。
进一步地，所述基于情绪感知的信息推荐程序被处理器执行时还实现如下操作：
当存在所述用户的历史行为数据时，获取所述用户的历史行为数据及所述历史行为数据对应的第二历史推荐信息；
对所述历史行为数据进行特征提取，获得所述用户的第二历史情绪特征向量；
将所述第二历史情绪特征向量及所述第二历史推荐信息作为训练数据训练信息推荐模型，获得已训练的信息推荐模型。
进一步地，所述基于情绪感知的信息推荐程序被处理器执行时还实现如下操作：
检测所述用户是否对所述第二历史推荐信息进行调整；
在所述用户对所述第二历史推荐信息进行调整后，将所述第二历史情绪特征向量及调整后的推荐信息作为训练数据训练信息推荐模型，获得已训练的信息推荐模型。
进一步地，所述基于情绪感知的信息推荐程序被处理器执行时还实现如下操作：
将所述情绪特征向量输入已训练的多标签分类模型中，获得节目形式及节目种类。
进一步地，所述基于情绪感知的信息推荐程序被处理器执行时还实现如下操作：
将所述情绪特征向量输入已训练的回归模型或神经网络模型中，获得待控制设备的工作状态。
本发明计算机可读存储介质的具体实施例与上述基于情绪感知的信息推荐方法各实施例基本相同，在此不作赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于情绪感知的信息推荐方法，其特征在于，所述基于情绪感知的信息推荐方法包括以下步骤：
获取用户的行为数据；
对所述行为数据进行特征提取，获得情绪特征向量；
将所述情绪特征向量输入已训练的信息推荐模型中，获得推荐信息；其中，所述信息推荐模型是基于所述情绪特征向量与所述推荐信息的对应关系训练得到的。
2.如权利要求1所述的基于情绪感知的信息推荐方法，其特征在于，所述对所述行为数据进行特征提取，获得情绪特征向量的步骤，包括：
对所述行为数据进行特征提取，获得行为特征；
对所述行为特征进行主成分分析，获取情绪特征向量。
3.如权利要求2所述的基于情绪感知的信息推荐方法，其特征在于，所述获取用户的行为数据的步骤之前，所述方法还包括：
检测是否存在所述用户的历史行为数据；
当不存在所述用户的历史行为数据时，获取历史用户的历史用户信息及所述用户的用户信息；
将所述用户信息与所述历史用户信息进行匹配，将匹配的历史用户信息对应的用户作为匹配用户，并获取所述匹配用户的第一历史情绪特征向量及所述第一历史情绪特征向量对应的第一历史推荐信息；
将所述第一历史情绪特征向量及所述第一历史推荐信息作为训练数据训练信息推荐模型，获得已训练的信息推荐模型。
4.如权利要求3所述的基于情绪感知的信息推荐方法，其特征在于，所述将所述第一历史情绪特征向量及所述第一历史推荐信息作为训练数据训练信息推荐模型的步骤之后，所述方法还包括：
检测是否有所述用户的新增行为数据；
在有所述新增行为数据时，获取所述新增行为数据对应的新增情绪特征向量；
将所述新增情绪特征向量输入所述信息推荐模型中继续训练，获得已训练的信息推荐模型。
5.如权利要求3所述的基于情绪感知的信息推荐方法，其特征在于，所述检测是否存在所述用户的历史行为数据的步骤之后，所述方法还包括：
当存在所述用户的历史行为数据时，获取所述用户的历史行为数据及所述历史行为数据对应的第二历史推荐信息；
对所述历史行为数据进行特征提取，获得所述用户的第二历史情绪特征向量；
将所述第二历史情绪特征向量及所述第二历史推荐信息作为训练数据训练信息推荐模型，获得已训练的信息推荐模型。
6.如权利要求5所述的基于情绪感知的信息推荐方法，其特征在于，所述对所述历史行为数据进行特征提取，获得所述用户的第二历史情绪特征向量的步骤之后，所述方法还包括：
检测所述用户是否对所述第二历史推荐信息进行调整；
在所述用户对所述第二历史推荐信息进行调整后，将所述第二历史情绪特征向量及调整后的推荐信息作为训练数据训练信息推荐模型，获得已训练的信息推荐模型。
7.如权利要求1至6中任一项所述的基于情绪感知的信息推荐方法，其特征在于，所述推荐信息包括节目形式及节目种类，所述信息推荐模型是多标签分类模型；其中，所述多标签分类模型是基于所述节目形式及节目种类与所述情绪特征向量的对应关系训练得到的；
所述将所述情绪特征向量输入已训练的信息推荐模型中，获得推荐信息的步骤，包括：
将所述情绪特征向量输入已训练的多标签分类模型中，获得节目形式及节目种类。
8.如权利要求1至6中任一项所述的基于情绪感知的信息推荐方法，其特征在于，所述推荐信息包括待控制设备的工作状态，所述信息推荐模型是回归模型或神经网络模型；其中，所述回归模型或所述神经网络模型是基于所述待控制设备的工作状态与所述情绪特征向量的对应关系训练得到的；
所述将所述情绪特征向量输入已训练的信息推荐模型中，获得推荐信息的步骤，包括：
将所述情绪特征向量输入已训练的回归模型或神经网络模型中，获得待控制设备的工作状态。
9.一种基于情绪感知的信息推荐设备，其特征在于，所述基于情绪感知的信息推荐设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于情绪感知的信息推荐程序，所述基于情绪感知的信息推荐程序配置为实现如权利要求1至8中任一项所述的基于情绪感知的信息推荐方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有基于情绪感知的信息推荐程序，所述基于情绪感知的信息推荐程序被处理器执行时实现如权利要求1至8中任一项所述的基于情绪感知的信息推荐方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911425966.9A CN111222044A (zh) | 2019-12-31 | 2019-12-31 | 基于情绪感知的信息推荐方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911425966.9A CN111222044A (zh) | 2019-12-31 | 2019-12-31 | 基于情绪感知的信息推荐方法、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111222044A true CN111222044A (zh) | 2020-06-02 |
Family
ID=70828061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911425966.9A Pending CN111222044A (zh) | 2019-12-31 | 2019-12-31 | 基于情绪感知的信息推荐方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111222044A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112463994A (zh) * | 2020-11-25 | 2021-03-09 | 北京达佳互联信息技术有限公司 | 一种多媒体资源显示方法、装置、系统及存储介质 |
| CN113407583A (zh) * | 2021-06-24 | 2021-09-17 | 山东浪潮科学研究院有限公司 | 一种基于AIot和TinyML技术进行情绪分析和食品推荐的方法 |
| CN113639427A (zh) * | 2021-07-26 | 2021-11-12 | 青岛海尔空调器有限总公司 | 用于控制空调的方法、装置及空调 |
| CN113722601A (zh) * | 2021-09-07 | 2021-11-30 | 南方电网数字电网研究院有限公司 | 电力量测信息推荐方法、装置、计算机设备和存储介质 |
| CN117438065A (zh) * | 2023-11-14 | 2024-01-23 | 杭州亮眼赫姿医疗器械有限公司 | 一种vr视力训练仪的数据处理方法、系统及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107220591A (zh) * | 2017-04-28 | 2017-09-29 | 哈尔滨工业大学深圳研究生院 | 多模态智能情绪感知系统 |
| CN107807947A (zh) * | 2016-09-09 | 2018-03-16 | 索尼公司 | 基于情绪状态检测在电子设备上提供推荐的系统和方法 |
| CN109327737A (zh) * | 2018-11-14 | 2019-02-12 | 深圳创维－Rgb电子有限公司 | 电视节目推荐方法、终端、系统及存储介质 |
| CN109767261A (zh) * | 2018-12-18 | 2019-05-17 | 深圳壹账通智能科技有限公司 | 产品推荐方法、装置、计算机设备和存储介质 |
| US20200364457A1 (en) * | 2017-08-15 | 2020-11-19 | Boe Technology Group Co., Ltd. | Emotion recognition-based artwork recommendation method and device, medium, and electronic apparatus |
-
2019
- 2019-12-31 CN CN201911425966.9A patent/CN111222044A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107807947A (zh) * | 2016-09-09 | 2018-03-16 | 索尼公司 | 基于情绪状态检测在电子设备上提供推荐的系统和方法 |
| CN107220591A (zh) * | 2017-04-28 | 2017-09-29 | 哈尔滨工业大学深圳研究生院 | 多模态智能情绪感知系统 |
| US20200364457A1 (en) * | 2017-08-15 | 2020-11-19 | Boe Technology Group Co., Ltd. | Emotion recognition-based artwork recommendation method and device, medium, and electronic apparatus |
| CN109327737A (zh) * | 2018-11-14 | 2019-02-12 | 深圳创维－Rgb电子有限公司 | 电视节目推荐方法、终端、系统及存储介质 |
| CN109767261A (zh) * | 2018-12-18 | 2019-05-17 | 深圳壹账通智能科技有限公司 | 产品推荐方法、装置、计算机设备和存储介质 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112463994A (zh) * | 2020-11-25 | 2021-03-09 | 北京达佳互联信息技术有限公司 | 一种多媒体资源显示方法、装置、系统及存储介质 |
| CN112463994B (zh) * | 2020-11-25 | 2023-08-08 | 北京达佳互联信息技术有限公司 | 一种多媒体资源显示方法、装置、系统及存储介质 |
| CN113407583A (zh) * | 2021-06-24 | 2021-09-17 | 山东浪潮科学研究院有限公司 | 一种基于AIot和TinyML技术进行情绪分析和食品推荐的方法 |
| CN113639427A (zh) * | 2021-07-26 | 2021-11-12 | 青岛海尔空调器有限总公司 | 用于控制空调的方法、装置及空调 |
| CN113722601A (zh) * | 2021-09-07 | 2021-11-30 | 南方电网数字电网研究院有限公司 | 电力量测信息推荐方法、装置、计算机设备和存储介质 |
| CN117438065A (zh) * | 2023-11-14 | 2024-01-23 | 杭州亮眼赫姿医疗器械有限公司 | 一种vr视力训练仪的数据处理方法、系统及存储介质 |
| CN117438065B (zh) * | 2023-11-14 | 2024-06-21 | 杭州亮眼赫姿医疗器械有限公司 | 一种vr视力训练仪的数据处理方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111222044A (zh) | 基于情绪感知的信息推荐方法、设备及存储介质 | |
| CN105471705B (zh) | 一种基于即时通讯的智能控制方法、设备及系统 | |
| CN108489031B (zh) | 空调机组的控制方法、空调机组及存储介质 | |
| US10650816B2 (en) | Performing tasks and returning audio and visual feedbacks based on voice command | |
| CN110933490B (zh) | 一种画质和音质的自动调整方法、智能电视机及存储介质 | |
| CN111683263B (zh) | 直播指导方法、装置、设备及计算机可读存储介质 | |
| US11816968B2 (en) | Automatic presence simulator for security systems | |
| US9191914B2 (en) | Activating devices based on user location | |
| US20150317353A1 (en) | Context and activity-driven playlist modification | |
| US20130219417A1 (en) | Automated Personalization | |
| EP3759932A1 (en) | Device setting adjustment based on content recognition | |
| CN108881649B (zh) | 用于提供语音服务的方法和装置 | |
| CN109891405B (zh) | 基于用户装置的消费模式来修改视频内容在用户装置上的呈现的方法、系统和介质 | |
| CN108419098B (zh) | 电视机的控制方法以及电视机 | |
| CN108932947B (zh) | 语音控制方法及家电设备 | |
| CN104217718A (zh) | 依据环境参数及群体趋向数据的语音识别方法和系统 | |
| CN112135170A (zh) | 一种显示设备、服务器及视频推荐方法 | |
| CN109922376A (zh) | 一种模式设置方法、装置、电子设备及存储介质 | |
| US20190132645A1 (en) | Electronic apparatus and controlling method thereof | |
| CN111552794A (zh) | 提示语生成方法、装置、设备和存储介质 | |
| CN113593582B (zh) | 智能设备的控制方法和装置、存储介质及电子设备 | |
| CN113056066B (zh) | 基于电视节目的灯光调节方法、设备、系统及存储介质 | |
| CN114613368A (zh) | 一种云端服务器、基于多设备的身份认证方法和系统 | |
| CN110786019A (zh) | 显示装置及其控制方法 | |
| KR102347065B1 (ko) | 인공지능형 멀티미디어 컨텐츠 추천 및 도우미 방법과 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |