CN110490152A - 基于图像识别的信息分享方法及电子设备 - Google Patents

基于图像识别的信息分享方法及电子设备 Download PDF

Info

Publication number
CN110490152A
CN110490152A CN201910780065.5A CN201910780065A CN110490152A CN 110490152 A CN110490152 A CN 110490152A CN 201910780065 A CN201910780065 A CN 201910780065A CN 110490152 A CN110490152 A CN 110490152A
Authority
CN
China
Prior art keywords
information
user
image
sample
sharing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910780065.5A
Other languages
English (en)
Inventor
李绍斌
房远志
宋德超
陈翀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai, Zhuhai Lianyun Technology Co Ltd filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN201910780065.5A priority Critical patent/CN110490152A/zh
Publication of CN110490152A publication Critical patent/CN110490152A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及信息分享领域,具体涉及一种基于图像识别的信息分享方法及电子设备,通过对用户相同时刻的脑电波信号和用户图像分别进行识别,以得到与脑电波信号对应的心里状态信息和与用户图像对应的表情状态信息,将心理状态信息与表情状态信息进行融合处理以得到融合状态信息,并根据预设数据库得到与融合状态信息对应的待分享信息,并进行分享,从而使得电子设备能够基于用户的喜好或心情进行信息分享,从而有效提高了电子设备的交互能力。

Description

基于图像识别的信息分享方法及电子设备
技术领域
本发明涉及信息分享技术领域,特别地涉及一种基于图像识别的信息分享方法及电子设备。
背景技术
目前,个人的综合素质成为成功就业的关键,关注个人身心成为一个严重的社会问题,如何让学生综合素质提高成为成功关键。
现有的电视、电脑等电子设备通常只具备单向输出能力,即,电子设备只能在用户的手动输入选择下,输出视频或音频等信息,因此,存在交互能力差,不够智能的问题。因此,提出一种能够在学生看电视节目过程中能够根据用户的需求和喜好进行分享交互,是亟待解决的技术问题。
发明内容
本发明提供一种基于图像识别的信息分享方法及电子设备,通过对用户的心理状态信息和表情状态信息进行融合得到融合状态信息,以及与融合状态信息获得待分享信息,以对待分享信息进行分享,以使用户能够获知待分享信息,进而实现根据用户的需求和喜好进行分享交互。
为解决上述技术问题,本发明实施例提出如下技术方案:
一种基于图像识别的信息分享方法,所述方法包括:
获得用户在相同时刻的脑电波信号和用户图像;
对所述脑电波信号和用户图像分别进行识别,以得到与该脑电波信号对应的心理状态信息,以及与该用户图像对应的表情状态信息;
对所述心理状态信息和所述表情状态信息进行融合处理以得到融合状态信息;
根据预设数据库得到与所述融合状态信息对应的待分享信息,并将所述待分享信息进行分享,以使用户能够获知所述待分享信息。
可选的,在上述基于图像识别的信息分享方法中,对用户图像进行识别,以得到与该用户图像对应的表情状态信息的步骤包括:
对所述用户图像进行人脸检测,以根据检测结果将用户图像划分为面部图像和身体图像;
对所述面部图像进行分析得到面部表情信息,对所述身体图像进行分析以得到身段表情信息;
对所述身段表情信息和所述面部表情信息进行融合以得到表情状态信息。
可选的,在上述基于图像识别的信息分享方法中,在执行获得用户在相同时刻的脑电波信号和用户图像的步骤之前,所述方法还包括:
获取用户的多个用户样本信息,其中,所述用户样本信息包括用户样本图像和与该用户样本图像对应的表情状态信息,该表情状态信息包括身段表情信息和面部表情信息;
针对每个用户样本图像,对该用户样本信息分别进行人脸检测,以根据人脸检测结果将该用户样本图像划分为人脸样本图像和身体样本图像;
对多个所述人脸样本图像及与每个人脸样本图像对应的面部表情信息进行训练,以得到面部表情分析模型,对多个所述身体样本图像和与每个身体样本图像对应的身段表情信息进行训练,以得到身体状态分析模型;
对所述面部图像进行分析得到面部表情信息,对所述身体图像进行分析以得到身段表情信息的步骤包括:
对所述面部图像采用面部表情分析模型进行分析得到面部表情信息,对所述身体图像采用身体状态分析模型进行分析以得到身段表情信息。
可选的,在上述基于图像识别的信息分享方法中,所述心理状态信息包括情绪状态信息,所述情绪状态信息包括积极状态、消极状态或平缓状态,所述表情状态信息包括喜欢状态、伤心状态、愤怒状态和/或平和状态。
可选的,在上述基于图像识别的信息分享方法中,在执行获得用户在相同时刻的脑电波信号和用户图像的步骤之前,所述方法还包括:
获取用户的多个脑电波样本信息,其中,所述脑电波样本信息包括脑电波样本图像和与该脑电波样本图像对应的脑电波信息;
对所述多个脑电波样本信息进行训练以得到脑电波预测模型;
对脑电波信号进行识别,以得到与该脑电波信号对应的心理状态信息的步骤包括:
采用所述脑电波预测模型对所述脑电波信号进行分析,以得到与该脑电波信号对应的心理状态信息。
可选的,在上述基于图像识别的信息分享方法中,在执行获得用户在相同时刻的脑电波信号和用户图像之前,所述方法还包括:
获取多个融合样本信息,其中,所述融合样本信息中包括融合状态信息和与该融合状态信息对应的待分享信息;
对所述融合样本信息进行训练得到信息推荐模型,并将所述信息推荐模型添加至所述预设数据库;
根据预设数据库得到与所述融合状态信息对应的待分享信息的步骤包括:
根据预设数据库中的信息推荐模型对所述融合状态信息进行处理,以得到与该融合状态信息对应的待分享信息。
可选的,在上述基于图像识别的信息分享方法中,对脑电波信息和表情状态信息进行融合处理,以得到融合状态信息的步骤包括:
对所述表情状态信息和所述心理状态信息分别进行参数化处理,以得到与表情状态信息对应的用户状态参数和与心理状态信息对应的心理状态参数;
获得与所述心理状态参数对应的第一权重值和与所述用户状态参数对应的第二权重值,并根据所述用户状态参数、心理状态参数、第一权重值以及第二权重值得到融合状态信息。
可选的,在上述基于图像识别的信息分享方法中,获得用户在相同时刻的脑电波信号和用户图像的步骤包括:
获得用户在观看视频时相同时刻的脑电波信号和用户图像,以及获得用户观看的视频信息;
根据预设数据库得到与所述融合状态信息对应的待分享信息的步骤包括:
对所述视频信息进行分析以得到视频类型信息,其中,所述视频类型信息包括学习类视频信息和娱乐类视频信息;
根据所述视频类型信息和所述融合状态信息从所述预设数据库中获得待分享信息。
可选的,在上述基于图像识别的信息分享方法中,所述方法还包括:
获得用户输入的包括提问问题的语音信息,并对所述语音信息进行分析得到问题信息;
从所述预设数据库中查找与所述问题信息对应的答案信息,并将所述答案信息进行分享,以使用户能够获知所述答案信息。
本发明还提供一种电子设备,包括存储器和处理器,所述存储器上存储有计算机程序,该计算机程序被处理器执行时,执行如上述的基于图像识别的信息分享方法。
本发明提供的基于图像识别的信息分享方法及电子设备,与现有技术相比,至少具备有以下有益效果:
本发明提供的基于图像识别的信息分享方法及电子设备,通过对用户相同时刻的脑电波信号和用户图像分别进行识别,以得到与脑电波信号对应的心里状态信息和与用户图像对应的表情状态信息,将心理状态信息与表情状态信息进行融合处理以得到融合状态信息,并根据预设数据库得到与融合状态信息对应的待分享信息,并进行分享,从而使得电子设备能够基于用户的喜好或心情进行信息分享,从而有效提高了电子设备的交互能力。
附图说明
在下文中将基于实施例并参考附图来对本发明进行更详细的描述。
图1为本发明实施例提供的一种基于图像识别的信息分享方法的流程示意图。
图2为本发明实施例提供的一种基于图像识别的信息分享方法的另一流程示意图。
图3为图1中步骤S120的流程示意图。
图4为本发明实施例提供的一种基于图像识别的信息分享方法的另一流程示意图。
图5为图1中步骤S130的流程示意图。
图6为本发明实施例提供的一种基于图像识别的信息分享方法的另一流程示意图。
在附图中,相同的部件使用相同的附图标记,附图并未按照实际的比例绘制。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式,借此对本发明如何应用技术手段来解决技术问题,并达到相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征,在不相冲突前提下可以相互结合,所形成的技术方案均在本发明的保护范围之内。
请参阅图1,本发明实施例提供了一种可应用于电子设备的基于图像识别的信息分享方法,该电子设备可以是但不限于电脑、手机或电视等,该方法应用于电子设备时,执行步骤S110至步骤S140:
步骤S110:获得用户在相同时刻的脑电波信号和用户图像。
其中,上述步骤具体可以是,获得用户在观看视频、听音乐、学习状态或休息状态,且在一个或多个相同时刻下图像采集设备对用户进行图像采集得到的用户图像和脑电波检测模块对用户进行脑电波检测到的脑电波信号,可以理解,所述脑电波监测模块各所述图像采集设备可以分别内置于所述电子设备,也可以是单独设置,在此不做具体限定,根据实际需求进行设置即可。
其中,所述用户图像可以包括用户的面部图像、用户的身体图像以及用户的言语表情图像中的至少一种。需要说明的是,面部表情是面部肌肉活动所组成的模式,能细致的表现出人的不同的情绪和情感;所述身段表情是指身体动作上的表现,包括手势和身体的姿势;所述言语表情是在说话时的音调、速度和节奏上的表现。可选的,在本实施例中,所述用户图像包括面部图像和身体图像。
步骤S120:对所述脑电波信号和用户图像分别进行识别,以得到与该脑电波信号对应的心理状态信息,以及与该用户图像对应的表情状态信息。
其中,对所述脑电波信号进行识别以得到该脑电波信号对应的心理状态信息的方式可以是:根据预存的不同频段的脑电波信号与不同心理状态的对应关系得到所述用户的脑电波信号对应的心理状态信息,也可以是采用神经网络算法进行脑电波信号识别以得到对应的心理状态信息,在此不做具体限定,根据实际需求进行设置即可。
请结合图2,在本实施例中,在执行步骤S110之前,所述方法还包括步骤S210和步骤S220。
步骤S210:获取用户的多个脑电波样本信息,其中,所述脑电波样本信息包括脑电波样本图像和与该脑电波样本图像对应的脑电波信息。
步骤S220:对所述多个脑电波样本信息进行训练以得到脑电波预测模型。
其中,对所述多个脑电波样本信息进行训练的方式可以是采用分类算法进行训练,也可以是采用神经网络算法进行训练,在此不作具体限定,根据实际需求进行设置即可。
上述步骤S120中,对脑电波信号进行识别,以得到与该脑电波信号对应的心理状态信息的步骤包括:采用所述脑电波预测模型对所述脑电波信号进行分析,以得到与该脑电波信号对应的心理状态信息。
其中,对用户图像进行识别的方式可以是,将用户图像划分为人脸图像和肢体状态图像(身体图像),并对人脸图像和肢体图像分别进行识别以得到与所述人脸图像对应的面部表情信息和与所述身体图像对应的身段表情信息,将所述面部表情信息和所述身段表情信息进行融合以得到用户表情信息。
请结合图3,在本实施例中,上述步骤S120中,对用户图像进行识别,以得到该用户图像对应的表情信息的步骤包括:
步骤S122:对所述用户图像进行人脸检测,以根据检测结果将用户图像划分为面部图像和身体图像。
步骤S124:对所述面部图像进行分析得到面部表情信息,对所述身体图像进行分析以得到身段表情信息。
具体的,对人脸图像进行识别以得到与所述人脸图像对应的面部表情信息的方式可以是:将人脸图像采用神经网络算法进行识别以得到与用户的人脸图像对应的面部表情信息,或者根据用户的人脸图像和预设人脸图像与面部表情信息之间的对应关系得到与用户的人脸图像对应的面部表情信息;对肢体图像进行识别以得到与所述身体图像对应的身段表情信息的方式可以是:将身体图像采用神经网络算法进行识别以得到与用户的身体图像对应的身段表情信息,或者根据用户的身体图像和预设身体图像与身段表情信息之间的对应关系得到与用户的身段图像对应的身段表情信息。
步骤S126:对所述身段表情信息和所述面部表情信息进行融合以得到表情状态信息。
将所述身段表情信息和面部表情信息进行融合的方式可以是,将所述面部表情信息和身段表情信息分别进行参数化处理,并为所述面部表情信息和身段表情信息分别分配不同的权重值,从而根据参数化处理后面部表情信息及其对应的权重值,和参数化处理后的身段表情信息及其对应的权重值得到所述表情状态信息。
其中,所述表情状态信息可以包括但不限于喜欢状态、伤心状态、愤怒状态和/或平和状态,可以理解,不同的表情状态可以对应有不同的等级,不同的表情状态对应的有不同的参数值。
请结合图4,在本实施例中,在执行步骤S110之前,所述方法还包括步骤S310至步骤S330。
步骤S310:获取用户的多个用户样本信息。
其中,所述用户样本信息包括用户样本图像和与该用户样本图像对应的表情状态信息,该表情状态信息包括身段表情信息和面部表情信息。可以理解,四所述多个用户样本信息中应当包括用户在不同表情下的身体图片及对应的表情。
步骤S320:针对每个用户样本图像,对该用户样本信息分别进行人脸检测,以根据人脸检测结果将该用户样本图像划分为人脸样本图像和身体样本图像。
步骤S330:对多个所述人脸样本图像及与每个人脸样本图像对应的面部表情信息进行训练,以得到面部表情分析模型,对多个所述身体样本图像和与每个身体样本图像对应的身段表情信息进行训练,以得到身体状态分析模型。
其中,对多个所述人脸样本图像及与每个人脸样本图像对应的面部表情信息进行训练的方式可以是采用分类算法进行训练以得到分类器,也可以是采用神经网络算法进行训练,在此不作具体限定,根据实际需求进行设置即可。
所述步骤S124包括:对所述面部图像采用面部表情分析模型进行分析得到面部表情信息,对所述身体图像采用身体状态分析模型进行分析以得到身段表情信息。
步骤S130:对所述心理状态信息和所述表情状态信息进行融合处理以得到融合状态信息。
请结合图5,在本实施例中,所述步骤S130包括步骤S132和步骤S134。
步骤S132:对所述表情状态信息和所述心理状态信息分别进行参数化处理,以得到与表情状态信息对应的用户状态参数和与心理状态信息对应的心理状态参数。
步骤S134:获得与所述心理状态参数对应的第一权重值和与所述用户状态参数对应的第二权重值,并根据所述用户状态参数、心理状态参数、第一权重值以及第二权重值得到融合状态信息。
其中,获得第一权重值和第二权重值的方式可以是用户输入的,也可以是根据损失函数计算得到的,当采用损失函数计算得到时,例如,可以设定一损失函数Loss,其中,predict=w1Sface+w2SEEG,Sface为表情参数值,SEEG为心理状态参数值,w1为表情参数值的权重系数,w2为心理状态参数值的权重系数,通过获取实际内心情绪参数值predict,该实际内心情绪参数值通过实验者填写真实的自我情绪评定表后最终得到的数据直接获取;并根据实际内心情绪参数值求出损失函数Loss的值最小时对应的系数w1和w2,得到w1和w2的初值;将求得的w1和w2的初值分别覆盖原w1和w2的值,更新损失函数Loss;通过随机梯度下降算法对更新后的损失函数Loss进行迭代更新处理,不断迭代更新Loss函数,直至得到最小化的损失函数Loss;求出最小化的损失函数Loss的值最小时对应的系数w1和w2,得到w1和w2的最终值,以将w1的最终值作为表情参数值的最终权重系数,将w2的最终值作为心理参数值的最终权重系数。
步骤S140:根据预设数据库得到与所述融合状态信息对应的待分享信息,并将所述待分享信息进行分享,以使用户能够获知所述待分享信息。
其中,所述预设数据库中可以存储有不同的融合状态信息对应的待分享信息,所述待分享信息为心理专家设置的用于根据不同的融合状态信息设置的对用户起到激励作用、调节情绪作用、提高思维能力、提高情感表达方式以及提升心理健康等能够起到良好引导作用的音频或视频信息。
其中,每种待分享信息包括待分享类型和待分享内容,所述待分享内容可以是待分享音乐、待分享视频或待分享故事等能够调节用户的心理状态和情绪意志,以及能够提高用户的思维能力、表达方式以及引导用户心理的信息,在此不做具体限定,根据实际需求进行设置即可。
请结合图参阅图6,在本实施例中,为使获得的待分享信息更可靠,在本实施例中,在执行步骤S110之前,所述方法还包括步骤S410和步骤S420。
步骤S410:获取多个融合样本信息,其中,所述融合样本信息中包括融合状态信息和与该融合状态信息对应的待分享信息。
步骤S410:对所述融合样本信息进行训练得到信息推荐模型,并将所述信息推荐模型添加至所述预设数据库。
上述步骤S140中根据预设数据库得到与所述融合状态信息对应的待分享信息的步骤包括:根据预设数据库中的信息推荐模型对所述融合状态信息进行处理,以得到与该融合状态信息对应的待分享信息。
需要说明的是,心理状态信息包括情绪状态信息,情绪状态信息是人对客观外界事物的态度的体现,是人脑对客观外界事物与肢体之间关系的反应,情绪是指情感反应的过程,也就是人脑的活动过程,表情状态信息是通过表情或动作等描述具有深刻的社会意义的情感,因此情感代表的是感情内容,即人对外界事物的体验和感受。
通常情况下,情绪和感受(情绪状态信息和表情状态信息)可以构成一个基本的动机系统,从而驱动有机体(用户)从事活动,提高人的活动效率,此外,情绪和感受对其他心理活动也具有组织活动,积极的情绪和情感对活动起着协调和促进的作用,消极的情绪和情感对活动有着瓦解和破坏作用。具体的,满足需要的或肯定的情绪和感受都是积极的,具有增力的,能够提高人的活动能力;不能满足需要的或否定的情绪和感受都是消极的,具有减力的,会降低人的活动能力;例如,喜悦的时候,人觉得轻松,精神饱满,对周围发生事件格外关系,因此表现出积极参与的倾向;悲伤的时候,人觉得沉重,提不起精神,表现出对周围的事物冷漠,无心参与。
因此,通过根据获得的情绪状态信息和表情状态信息进行融合处理后的得到融合状态信息,并根据融合状态信息从预设数据库中获得待分享信息,以将待分享信息分享给用户,从而可以调节用户的情绪状态和心理状态,进而对用户起到良好的引导作用和激励作用,从而使得所述电子设备能够基于用户的需求和喜好进行分享交互,以提高所述电子设备的交互能力。
为使获得的融合信息更符合用户的需求,在本实施例中,当获得脑电波信号和用户图像时,用户在观看视频,则所述步骤S110包括:获得用户在观看视频时相同时刻的脑电波信号和用户图像,以及获得用户观看的视频信息。所述步骤S140包括:对所述视频信息进行分析以得到视频类型信息,其中,所述视频类型信息包括学习类视频信息和娱乐类视频信息;根据所述视频类型信息和所述融合状态信息从所述预设数据库中获得待分享信息。
通过上述设置,可以有效保障用户基于脑电波信号和用户图像获得的用户的融合状态信息的可靠性,并基于获得的融合状态信息从预设数据库中获取与该融合状态信息对应的待分享信息,并将该待分享信息分享给用户从而使得所述电子设备具有交互能力,并起到调节用户的情绪,激励用户的意志,同时还能够提高用户的思维能力、情感表达方式、心理健康等综合素质的作用。
为进一步提高所述电子设备的交互能力,在本实施例中,所述方法的还包括步骤S160和步骤S170。
步骤S160:获得用户输入的包括提问问题的语音信息,并对所述语音信息进行分析得到问题信息。
其中,获得语音信息的方式可以是接受外部的音频识别设备输入的语音信息,也可以是所述电子设备包括音频模块,以获得该音频模块识别到的语音信息,在此不作具体限定,根据实际需求进行设置即可。
对所述语音信息进行分析的方式可以是对语音信息进行语义分析,并获取关键字段,并根据关键字段得到问题信息。
步骤S170:从所述预设数据库中查找与所述问题信息对应的答案信息,并将所述答案信息进行显示或播放,以使用户能够获知所述答案信息。
可以理解,所述预设数据库中存储有不同的问题信息对应的答案信息。
通过上述设置,以使用户可以在观看视频或听音频的过程中提出问题,且电子设备在获知问题时能够及时给出相应的答案,进而有效提高所述电子设备的交互能力,同时,还可以有效缓解用户存在沟通障碍的问题。
在上述基础上,本发明还提供一种电子设备,所述电子设备包括存储器和处理器,所述存储器上存储有计算机程序,该计算机程序被处理器执行时,执行如上述的基于图像识别的信息分享方法。
所述电子设备可以是但不限于手机、电脑、电视或平板电脑,可选的,在本实施例中,所述电子设备为电视。
由于所述电子设备能够执行上述的基于图像识别的信息分享方法,因此,所述电子设备具有与上述基于图像识别的信息分享方法相同或相应的技术特征并能达到相同或相应的技术效果,在此不作一一赘述。
综上,本发明提供的一种基于图像识别的信息分享方法及电子设备,通过根据用户在相同时刻的脑电波信号和用户图像得到与脑电波信号对应的心理状态信息,以及与用户图像对应的表情状态信息,并将心理状态信息和表情状态信息进行融合处理以得到融合状态信息,从而根据预设数据库得到与融合状态信息对应的待分享信息并进行分享,以有效提高了电子设备的交互能力,并能够基于所述待分享信息调节用户的情绪状态和激发用户的意志,进而能够对用户起到激励作用。
虽然本发明所揭露的实施方式如上,但所述的内容只是为了便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属技术领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种基于图像识别的信息分享方法,其特征在于,所述方法包括:
获得用户在相同时刻的脑电波信号和用户图像;
对所述脑电波信号和用户图像分别进行识别,以得到与该脑电波信号对应的心理状态信息,以及与该用户图像对应的表情状态信息;
对所述心理状态信息和所述表情状态信息进行融合处理以得到融合状态信息;
根据预设数据库得到与所述融合状态信息对应的待分享信息,并将所述待分享信息进行分享,以使用户能够获知所述待分享信息。
2.根据权利要求1所述的基于图像识别的信息分享方法,其特征在于,对用户图像进行识别,以得到与该用户图像对应的表情状态信息的步骤包括:
对所述用户图像进行人脸检测,以根据检测结果将用户图像划分为面部图像和身体图像;
对所述面部图像进行分析得到面部表情信息,对所述身体图像进行分析以得到身段表情信息;
对所述身段表情信息和所述面部表情信息进行融合以得到表情状态信息。
3.根据权利要求2所述的基于图像识别的信息分享方法,其特征在于,在执行获得用户在相同时刻的脑电波信号和用户图像的步骤之前,所述方法还包括:
获取用户的多个用户样本信息,其中,所述用户样本信息包括用户样本图像和与该用户样本图像对应的表情状态信息,该表情状态信息包括身段表情信息和面部表情信息;
针对每个用户样本图像,对该用户样本信息分别进行人脸检测,以根据人脸检测结果将该用户样本图像划分为人脸样本图像和身体样本图像;
对多个所述人脸样本图像及与每个人脸样本图像对应的面部表情信息进行训练,以得到面部表情分析模型,对多个所述身体样本图像和与每个身体样本图像对应的身段表情信息进行训练,以得到身体状态分析模型;
对所述面部图像进行分析得到面部表情信息,对所述身体图像进行分析以得到身段表情信息的步骤包括:
对所述面部图像采用面部表情分析模型进行分析得到面部表情信息,对所述身体图像采用身体状态分析模型进行分析以得到身段表情信息。
4.根据权利要求1所述的基于图像识别的信息分享方法,其特征在于,所述心理状态信息包括情绪状态信息,所述情绪状态信息包括积极状态、消极状态或平缓状态,所述表情状态信息包括喜欢状态、讨厌状态、伤心状态、愤怒状态和/或平和状态。
5.根据权利要求1所述的基于图像识别的信息分享方法,其特征在于,在执行获得用户在相同时刻的脑电波信号和用户图像的步骤之前,所述方法还包括:
获取用户的多个脑电波样本信息,其中,所述脑电波样本信息包括脑电波样本图像和与该脑电波样本图像对应的脑电波信息;
对所述多个脑电波样本信息进行训练,以得到脑电波预测模型;
对脑电波信号进行识别,以得到与该脑电波信号对应的心理状态信息的步骤包括:
采用所述脑电波预测模型对所述脑电波信号进行分析,以得到与该脑电波信号对应的心理状态信息。
6.根据权利要求1所述的基于图像识别的信息分享方法,其特征在于,在执行获得用户在相同时刻的脑电波信号和用户图像之前,所述方法还包括:
获取多个融合样本信息,其中,所述融合样本信息中包括融合状态信息和与该融合状态信息对应的待分享信息;
对所述融合样本信息进行训练得到信息推荐模型,并将所述信息推荐模型添加至所述预设数据库;
根据预设数据库得到与所述融合状态信息对应的待分享信息的步骤包括:
根据预设数据库中的信息推荐模型对所述融合状态信息进行处理,以得到与该融合状态信息对应的待分享信息。
7.根据权利要求1所述的基于图像识别的信息分享方法,其特征在于,对脑电波信息和表情状态信息进行融合处理,以得到融合状态信息的步骤包括:
对所述表情状态信息和所述心理状态信息分别进行参数化处理,以得到与表情状态信息对应的用户状态参数和与所述心理状态信息对应的心理状态参数;
获得与所述心理状态参数对应的第一权重值和与所述用户状态参数对应的第二权重值,并根据所述用户状态参数、心理状态参数、第一权重值以及第二权重值得到融合状态信息。
8.根据权利要求1所述的基于图像识别的信息分享方法,其特征在于,获得用户在相同时刻的脑电波信号和用户图像的步骤包括:
获得用户在观看视频时相同时刻的脑电波信号和用户图像,以及获得用户观看的视频信息;
根据预设数据库得到与所述融合状态信息对应的待分享信息的步骤包括:
对所述视频信息进行分析以得到视频类型信息,其中,所述视频类型信息包括学习类视频信息和娱乐类视频信息;
根据所述视频类型信息和所述融合状态信息从所述预设数据库中获得待分享信息。
9.根据权利要求1所述的基于图像识别的信息分享方法,其特征在于,所述方法还包括:
获得用户输入的包括提问问题的语音信息,并对所述语音信息进行分析得到问题信息;
从所述预设数据库中查找与所述问题信息对应的答案信息,并将所述答案信息进行显示或播放,以使用户能够获知所述答案信息。
10.一种电子设备,其特征在于,包括存储器和处理器,所述存储器上存储有计算机程序,该计算机程序被处理器执行时,执行如权利要求1-9任意一项所述的基于图像识别的信息分享方法。
CN201910780065.5A 2019-08-22 2019-08-22 基于图像识别的信息分享方法及电子设备 Pending CN110490152A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910780065.5A CN110490152A (zh) 2019-08-22 2019-08-22 基于图像识别的信息分享方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910780065.5A CN110490152A (zh) 2019-08-22 2019-08-22 基于图像识别的信息分享方法及电子设备

Publications (1)

Publication Number Publication Date
CN110490152A true CN110490152A (zh) 2019-11-22

Family

ID=68553008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910780065.5A Pending CN110490152A (zh) 2019-08-22 2019-08-22 基于图像识别的信息分享方法及电子设备

Country Status (1)

Country Link
CN (1) CN110490152A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956059A (zh) * 2016-04-27 2016-09-21 乐视控股(北京)有限公司 基于情绪识别的信息推荐方法和装置
CN106250553A (zh) * 2016-08-15 2016-12-21 珠海市魅族科技有限公司 一种服务推荐方法及终端
CN106648082A (zh) * 2016-12-09 2017-05-10 厦门快商通科技股份有限公司 一种模拟真人互动的智能服务设备及方法
CN106886792A (zh) * 2017-01-22 2017-06-23 北京工业大学 一种基于分层机制构建多分类器融合模型的脑电情感识别方法
CN106919251A (zh) * 2017-01-09 2017-07-04 重庆邮电大学 一种基于多模态情感识别的虚拟学习环境自然交互方法
CN107463874A (zh) * 2017-07-03 2017-12-12 华南师范大学 情绪识别方法及系统、及应用该方法的智能看护系统
CN109241336A (zh) * 2018-08-23 2019-01-18 珠海格力电器股份有限公司 音乐推荐方法和装置
CN109271599A (zh) * 2018-08-13 2019-01-25 百度在线网络技术(北京)有限公司 数据分享方法、设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956059A (zh) * 2016-04-27 2016-09-21 乐视控股(北京)有限公司 基于情绪识别的信息推荐方法和装置
CN106250553A (zh) * 2016-08-15 2016-12-21 珠海市魅族科技有限公司 一种服务推荐方法及终端
CN106648082A (zh) * 2016-12-09 2017-05-10 厦门快商通科技股份有限公司 一种模拟真人互动的智能服务设备及方法
CN106919251A (zh) * 2017-01-09 2017-07-04 重庆邮电大学 一种基于多模态情感识别的虚拟学习环境自然交互方法
CN106886792A (zh) * 2017-01-22 2017-06-23 北京工业大学 一种基于分层机制构建多分类器融合模型的脑电情感识别方法
CN107463874A (zh) * 2017-07-03 2017-12-12 华南师范大学 情绪识别方法及系统、及应用该方法的智能看护系统
CN109271599A (zh) * 2018-08-13 2019-01-25 百度在线网络技术(北京)有限公司 数据分享方法、设备和存储介质
CN109241336A (zh) * 2018-08-23 2019-01-18 珠海格力电器股份有限公司 音乐推荐方法和装置

Similar Documents

Publication Publication Date Title
US9724824B1 (en) Sensor use and analysis for dynamic update of interaction in a social robot
Picard et al. Toward agents that recognize emotion
JP2021514514A (ja) 感情コンピューティングユーザインターフェースに基づく感性的インタラクションシステム、装置及び方法
CN102149319B (zh) 阿尔茨海默氏症认知使能器
CN106992013A (zh) 语音情感修改
Ma et al. ElderReact: a multimodal dataset for recognizing emotional response in aging adults
CN115004308A (zh) 用于提供活动推荐的接口的方法和系统
CN113287175B (zh) 互动式健康状态评估方法及其系统
CN105105771B (zh) 潜能值测验的认知指标分析方法
US20170344713A1 (en) Device, system and method for assessing information needs of a person
CN109278051A (zh) 基于智能机器人的交互方法及系统
Elkins et al. Predicting users' perceived trust in Embodied Conversational Agents using vocal dynamics
KR102552220B1 (ko) 정신건강 진단 및 치료를 적응적으로 수행하기 위한 컨텐츠 제공 방법, 시스템 및 컴퓨터 프로그램
Bilalpur et al. EEG-based evaluation of cognitive workload induced by acoustic parameters for data sonification
CN116578731A (zh) 多媒体信息处理方法、系统、计算机设备和存储介质
Aurup User preference extraction from bio-signals: An experimental study
CN111654752B (zh) 多媒体信息播放方法、装置、电子设备及存储介质
Le Maitre et al. Self-talk discrimination in human–robot interaction situations for supporting social awareness
CN112860213B (zh) 音频的处理方法和装置、存储介质及电子设备
CN109550230A (zh) 一种交互体验装置和方法
CN115473864B (zh) 机器人聊天方法、计算机设备及存储介质
CN110490152A (zh) 基于图像识别的信息分享方法及电子设备
CN110349461A (zh) 基于儿童专用智能设备的教育与娱乐结合方法及系统
Purabi et al. As you are, so shall you move your head: a system-level analysis between head movements and corresponding traits and emotions
Hossain et al. Cognitive load measurement using galvanic skin response for listening tasks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191122