CN112560945B - 一种基于情绪识别的设备控制方法及系统 - Google Patents
一种基于情绪识别的设备控制方法及系统 Download PDFInfo
- Publication number
- CN112560945B CN112560945B CN202011474651.6A CN202011474651A CN112560945B CN 112560945 B CN112560945 B CN 112560945B CN 202011474651 A CN202011474651 A CN 202011474651A CN 112560945 B CN112560945 B CN 112560945B
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- emotion
- sampling
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 18
- 230000008451 emotion Effects 0.000 claims abstract description 119
- 238000001931 thermography Methods 0.000 claims abstract description 61
- 238000010586 diagram Methods 0.000 claims abstract description 21
- 238000009826 distribution Methods 0.000 claims abstract description 20
- 239000003086 colorant Substances 0.000 claims abstract description 11
- 230000004927 fusion Effects 0.000 claims description 67
- 238000005070 sampling Methods 0.000 claims description 65
- 238000001514 detection method Methods 0.000 claims description 52
- 230000006870 function Effects 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 14
- 238000007499 fusion processing Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000036651 mood Effects 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 4
- 230000004630 mental health Effects 0.000 abstract description 4
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 208000019901 Anxiety disease Diseases 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 210000003414 extremity Anatomy 0.000 description 3
- 230000036760 body temperature Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y10/00—Economic sectors
- G16Y10/80—Homes; Buildings
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/10—Detection; Monitoring
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/20—Analytics; Diagnosis
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/30—Control
- G16Y40/35—Management of things, i.e. controlling in accordance with a policy or in order to achieve specified objectives
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Architecture (AREA)
- Civil Engineering (AREA)
- Structural Engineering (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种基于情绪识别的设备控制方法及系统，其中方法包括：获取用户的人体热成像图，所述人体热成像图通过不同颜色表示不同温度；根据所述人体热成像图中的颜色分布确定所述用户的情绪信息；根据所述情绪信息生成控制信息；通过所述控制信息对智能设备进行控制。本申请实施例提供的方法，可以通过人体热成像图获取用户的情绪，同时，基于用户情绪确定对智能设备的控制信息，可以起到通过智能设备运行，对环境信息的改变，达到缓解用户情绪的目的，可以有效保障用户的身心健康，提高用户的使用体验。
Description
技术领域
本申请涉及人工智能领域，尤其涉及一种基于情绪识别的设备控制方法及系统。
背景技术
近年来，随着物联网的发展，智能家居设备越来越多的进入了大众的生产生活中。
相关技术中的智能家居设备，都是用于接收控制指令，或者通过简单的语音、手势等控制方式对各个家居设备进行控制。因此存在控制方式单一，且无法自动控制运行参数的问题。
针对相关技术中存在的诸多技术问题，目前尚未提供有效的解决方案。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种基于情绪识别的设备控制方法及系统。
第一方面，本申请实施例提供了一种基于情绪识别的设备控制方法，包括：
获取用户的人体热成像图，所述人体热成像图通过不同颜色表示不同温度；
根据所述人体热成像图中的颜色分布确定所述用户的情绪信息；
根据所述情绪信息生成控制信息；
通过所述控制信息对智能设备进行控制。
可选的，如前述的方法，所述根据所述人体热成像图中的颜色分布确定所述用户的情绪信息，包括：
将所述用户识别图像依次通过预设的卷积层以及池化层进行处理之后，得到图像尺度符合预设大小的原始特征图像；
对所述原始特征图像进行预设的下采样操作，得到至少一个下采样特征图像以及最小下采样特征图像；所述下采样特征图像的图像尺度大于所述最小下采样特征图像；
通过对所述最小下采样特征图像进行上采样操作，得到上采样特征图像集；
根据所述原始特征图像、下采样特征图像以及上采样特征图像中的颜色分布，确定所述用户的情绪信息。
可选的，如前述的方法，所述根据所述原始特征图像、下采样特征图像以及上采样特征图像中的颜色分布，确定所述用户的情绪信息，包括：
在所述上采样特征图像集中确定与所述下采样特征图像的图像尺度相同的第一上采样特征图像，以及在所述上采样特征图像集中确定与原始特征图像的图像尺度相同的第二上采样特征图像；
将所述第一上采样特征图像与下采样特征图像进行特征融合处理，以及将所述第二上采样特征图像与原始特征图像进行特征融合处理，得到第一特征融合图像集；对所述最小下采样特征图像进行上采样操作，得到图像尺度满足所述预设大小的第二特征融合图像；
分别对所述第一特征融合图像集合中的各个第一特征融合图像进行上采样操作，得到图像尺度满足所述预设大小的第三特征融合图像；
分别对所述第二特征融合图像以及第三特征融合图像进行分类函数预测后，得到所述情绪信息。
可选的，如前述的方法，所述进行特征融合处理，包括：
分别在图像尺度相同的第一特征图像以及第二特征图像中，确定所述第一特征图像中各个像素的第一RGB值，以及所述第二特征图像中各个像素的第二RGB值；
通过所述第一RGB值以及第二RGB值，计算得到所述第一特征图像以及所述第二特征图像相同位置像素的RGB均值；
根据所述相同位置像素的RGB均值，确定所述第一特征融合图像中各个像素的RGB值。
可选的，如前述的方法，所述分别对所述第二特征融合图像以及第三特征融合图像进行分类函数预测后，得到所述情绪信息，包括：
通过所述分类函数分别预测得到所述第二特征融合图像以及第三特征融合图像中各个像素的预测权重；
通过所述预测权重，分析得到所述情绪信息。
可选的，如前述的方法，所述获取用户的人体热成像图，包括：
通过红外探测成像单元对检测区域进行红外探测，获取区域探测热成像图；
根据所述区域探测热成像图进行人体识别，确定与所述用户对应的人体热成像图。
可选的，如前述的方法，所述根据所述情绪信息生成控制信息，包括：
匹配得到与所述情绪信息对应的温度值以及音乐类型；
查询得到所述音乐类型对应的歌曲；
根据所述温度值生成对温度控制单元进行控制的温度控制信息，以及根据所述歌曲生成对音频播放单元进行控制的播放控制信息；
根据所述温度控制信息以及播放控制信息得到所述控制信息。
可选的，如前述的方法，所述匹配得到与所述情绪信息对应的温度值以及音乐类型，包括：
在所述用户存在多个时，分别确定各个用户的情绪信息；
在各个所述情绪信息确定优先级最高的情绪信息；
匹配得到与所述优先级最高的情绪信息对应的温度值以及音乐类型。
第二方面，本申请实施例提供了一种基于情绪识别的设备控制装置，包括：
获取模块，用于获取用户的用户识别图像；
情绪确定模块，用于根据所述用户识别图像确定所述用户的情绪信息；
控制信息生成模块，用于根据所述情绪信息生成控制信息；
控制模块，用于通过所述控制信息对终端设备进行控制。
第三方面，本申请实施例提供了一种基于情绪识别的设备控制系统，包括：红外探测成像单元、控制单元以及智能设备；控制单元分别与红外探测成像单元以及智能设备连接；
所述红外探测成像单元，用于对检测区域进行红外探测，获取区域探测热成像图，将所述区域探测热成像图传输至所述控制单元；
所述控制单元，用于根据所述区域探测热成像图进行人体识别，确定与用户对应的人体热成像图，所述人体热成像图通过不同颜色表示不同温度；根据所述人体热成像图中的颜色分布确定所述用户的情绪信息；根据所述情绪信息生成控制信息；将所述控制信息发送至所述智能设备；
所述智能设备，用于根据所述控制信息接受所述控制单元的控制。
第四方面，本申请实施例提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，所述处理器、通信接口和存储器通过通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述计算机程序时，实现如前述任一项所述的方法。
第五方面，本申请实施例提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时执行如前任一项所述的方法。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
本申请实施例提供的方法，可以通过人体热成像图获取用户的情绪，同时，基于用户情绪确定对智能设备的控制信息，可以起到通过智能设备运行，对环境信息的改变，达到缓解用户情绪的目的，可以有效保障用户的身心健康，提高用户的使用体验。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于情绪识别的设备控制方法的流程图；
图2为本申请另一实施例提供的一种基于情绪识别的设备控制方法的流程图；
图3为本申请实施例提供的一种基于情绪识别的设备控制装置的框图；
图4为本申请实施例提供的一种基于情绪识别的设备控制系统的框图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例提供的一种基于情绪识别的设备控制方法，包括如下所述步骤S1至S4：
步骤S1，获取用户的人体热成像图，人体热成像图通过不同颜色表示不同温度。
具体的，人体热成像图，可以是通过对目标环境进行红外探测得到的图像信息中，用户对应的热成像图；并且一般情况下，在热成像图中，不同位置的不同温度，可以通过不同的颜色进行表示，一般的，不同颜色的温度具有如下所述关系：红色>黄色>蓝色。
步骤S2，根据人体热成像图中的颜色分布确定用户的情绪信息。
具体的，在不同的情绪下，人体的不同部位的温度会发生变化，举例的：
当情绪为愤怒时，人体上下半身的温度形成鲜明对比，上半身体温明显升高。
当情绪为恐惧，胸腔温度升高，与愤怒不同的是，四肢温度很低。
当情绪为厌恶，咽喉部温度最高。
当情绪为幸福，全身洋溢着代表温暖的红黄色。
当情绪为悲伤，四肢温度低，只有胸腔一小部分温度高一些。
当情绪为惊奇，头部和胸腔温度稍高。
当情绪为中立，在人体热成像图中几乎全身呈黑色，没有明显体温波动。
当情绪为焦虑，胸腔温度特别高。
当情绪为爱，除了双腿，其他部位温度都明显升高。
当情绪为沮丧，四肢温度格外低，咽喉部温度也偏低。
当情绪为轻蔑，头部和双手温度较高，臀部(盆腔)温度偏低。
当情绪为骄傲，头部胸腔温度极高。
当情绪为害羞，头部尤其是两颊温度较高。
当情绪为嫉妒，头部尤其是眼部温度稍高一点。
在得到人体热成像图之后，可以通过对颜色分布进行分析，确定用户的情绪信息。
可选的，情绪信息，可以是通过分析得到的一个分类结果；并且，不同的分类结果用于表征不同的情绪。
步骤S3，根据情绪信息生成控制信息。
具体的，在得到情绪信息之后，可以生成与情绪信息对应的控制信息。
可选的，当本地的计算设备具有足够的数据分析能力时，可以在本地端对人体热成像图进行分析，得到情绪信息；当本地的计算设备数据分析能力不足时，可以通过将人体热成像图发送至云端服务器进行分析，得到情绪信息，或者情绪信息以及控制信息之后，下发至本地端。
控制信息，可以是用于对智能设备进行控制的信息，一般情况下，在通过控制信息对智能设备进行控制之后，智能设备的运行状态更利于提高用户正向的情绪状态，例如：愉悦、平静等。
步骤S4，通过控制信息对智能设备进行控制。
具体的，在获得控制信息之后，可以通过将控制信息发送至智能设备，使智能设备按照控制信息运行，即可达到通过外部环境对用户的情绪进行调节的目的。
通过本实施例中的方法，可以通过人体热成像图获取用户的情绪，同时，基于用户情绪确定对智能设备的控制信息，可以起到通过智能设备运行，对环境信息的改变，达到缓解用户情绪的目的，可以有效保障用户的身心健康，提高用户的使用体验。
如图2所示，在一些实施例中，如前述的方法，所述步骤S2根据人体热成像图中的颜色分布确定用户的情绪信息，包括如下所述步骤S21至S24：
步骤S21，将用户识别图像依次通过预设的卷积层以及池化层进行处理之后，得到图像尺度符合预设大小的原始特征图像。
具体的，将用户识别图像通过卷积层以及池化层进行处理之后，进而对用户识别图像进行维度以及尺度的调整，并得到符合预设大小的原始特征图像。预设大小对应的尺寸可以根据后续分析所需的图像尺度进行选择，例如：4×4，8×8等等。
卷积层，用于局部感知：对于图片中的每一个特征首先局部感知，然后更高层次对局部进行综合操作，从而得到全局信息。
池化(Pooling)层：也称为欠采样层或下采样层。主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的容错性。
步骤S22，对原始特征图像进行预设的下采样操作，得到至少一个下采样特征图像以及最小下采样特征图像；下采样特征图像的图像尺度大于最小下采样特征图像。
具体的，可以通过预设大小的卷积层达到对原始特征图像进行下采样的目的。举例的，当原始特征图像为尺度大小为8×8的特征图像时，对8×8的特征图像通过3×3的卷积层以两个单位的尺度步长进行下采样操作，获取尺度大小为4×4的下采样特征图像，对得到的4×4特征图像进行同样的下采样处理，即通过3×3的卷积层以两个单位的尺度步长进行下采样操作，再获得尺度大小为2×2的下采样特征图像；对得到的2×2特征图像进行同样的下采样处理，即通过3×3的卷积层以两个单位的尺度步长进行下采样操作，获得尺度大小为1×1的最小下采样特征图像。
步骤S23，通过对最小下采样特征图像进行上采样操作，得到上采样特征图像集。
具体的，其中一种可选的实现方式可以是：通过双线性差值法对最小下采样图像进行上采样操作，得到一个或多个上采样特征图像，并根据所有的上采样特征图像得到上采样特征图像集。
并且，可选的，可以通过对最小下采样特征图像进行不同倍数的上采样操作，得到尺度不同的上采样特征图像。
举例的：可以对1×1的下采样特征图像直接利用双线性插值法进行8倍的上采样操作，获得8×8的上采样特征图像，
也可以对1×1的最小下采样特征图像利用双线性插值法进行2倍的上采样操作，得到2×2的上采样特征图像。
步骤S24，根据原始特征图像、下采样特征图像以及上采样特征图像中的颜色分布，确定用户的情绪信息。
具体的，原始特征图像、下采样特征图像以及上采样特征图像中的颜色分布，可以是下采样特征图像以及上采样特征图像中各个像素对应的颜色信息，例如RGB值；
可以通过对原始特征图像、下采样特征图像和上采样特征图像分别进行分析后得到情绪信息，也可以通过对下采样特征图像以及上采样特征图像同时进行分析后得到情绪信息。
在一些实施例中，如前述的方法，所述步骤S24根据原始特征图像、下采样特征图像以及上采样特征图像中的颜色分布，确定用户的情绪信息，包括如下所述步骤S241至S245：
步骤S241，在上采样特征图像集中确定与下采样特征图像的图像尺度相同的第一上采样特征图像，以及在上采样特征图像集中确定与原始特征图像的图像尺度相同的第二上采样特征图像。
具体的，由于通过步骤S23可以得到至少一个下采样特征图像，且通过步骤S23得到了上采样特征图像集；并且，可选的，在进行下采样以及上采样时，可以预先约定，得到的每个下采样特征图像都需上采样与其图像尺寸相同的第一上采样特征图像，且需上采样得到与原始特征图像的图像尺寸相同的第二上采样特征图像。
具体的，以步骤S22所举示例为例：当对图像尺度大小为8×8的原始特征图像下采样得到4×4的下采样特征图像，2×2的下采样特征图像以及1×1的最小下采样特征图像之后；可以通过对最小下采样特征图像进行2倍上采样操作得到2×2的第一上采样特征图像，然后对2×2的上采样特征图像再次进行2倍上采样操作得到4×4的第一上采样特征图像；最后再对4×4的上采样特征图像再次进行2倍上采样操作得到8×8的第二上采样特征图像。
因此，可以得到与下采样特征图像的图像尺度一致的第一上采样特征图像，以及与原始特征图像的图像尺度一致的第二上采样特征图像。
步骤S242，将第一上采样特征图像与下采样特征图像进行特征融合处理，以及将第二上采样特征图像与原始特征图像进行特征融合处理，得到第一特征融合图像集。
具体的，将前一步骤中，已确定图像尺度相同的第一上采样特征图像与下采样特征图像，以及图像尺度相同的原始特征图像与第二上采样特征图像，因此，在将各组图像进行特征融合之后，即可得到至少包括两个第一特征融合图像的第一特征融合图像集合。
步骤S243，对最小下采样特征图像进行上采样操作，得到图像尺度满足预设大小的第二特征融合图像。
具体的，在前述步骤S241的基础上，可以通过对1×1的特征图像直接利用双线性插值法进行8倍的上采样操作，获得8×8的第二特征融合图像。
步骤S244，分别对各个第一特征融合图像进行上采样操作，得到图像尺度满足预设大小的第三特征融合图像。
具体的，由于按照前述步骤S242已得到至少两个第一特征融合图像，且各个第一特征融合图像的图像尺寸各不相同，因此，可以分别采用不同倍数的上采样操作，得到满足预设大小的第三特征融合图像。
在前述示例的基础上，将图像尺度大小为2×2的第一特征融合图像，4×4的第一特征融合图像，分别采用4倍上采样操作，2倍上采样操作，得到8×8的第三特征融合图像。
步骤S245，分别对第二特征融合图像以及第三特征融合图像进行分类函数预测后，得到情绪信息。
其中一种可选的实现方式中，如前述的方法，分别对第二特征融合图像以及第三特征融合图像进行分类函数预测后，得到情绪信息，包括：
通过分类函数分别预测得到第二特征融合图像以及第三特征融合图像中各个像素的预测权重；
通过预测权重，分析得到情绪信息。
具体的，可以将第二特征融合图像以及第三特征融合图像的每个像素进行Softmax分类函数预测，即获取每个分割区域得分(即每个像素的得分)，然后通过对各个第二特征融合图像以及第三特征融合图像的分割区域得分进行综合分析后，得到情绪信息。
可选的，可以预先获取多个训练图像，并确定训练图像对应的情绪信息，并采用本申请中方法得到对应的第二特征融合图像以及第三特征融合图像，将上述信息作为训练数据输入待训练Softmax分类函数进行训练，当通过验证图像判定训练后Softmax分类函数满足预设的精度要求(例如：99％等等)时，得到可用于进行预测的Softmax分类函数。
本实施例方法相对于现有技术可以对人的情绪进行识别并播放音乐缓解人的情绪，相对于现有方法需要进行人为播放音乐缓解情绪，本实施例方法更加智能化及便捷化，可以有效保障用户的身心健康，提高用户的使用体验。
在一些实施例中，如前述的方法，所述步骤S242进行特征融合处理，包括如下所述步骤S2421至S2423：
步骤S2421，分别在图像尺度相同的第一特征图像以及第二特征图像中，确定第一特征图像中各个像素的第一RGB值，以及第二特征图像中各个像素的第二RGB值。
具体的，用于进行特征融合的第一特征图像以及第二特征图像需要满足图像尺度相同的要求，即：当第一特征图像的图像尺度为2×2时，第二特征图像的图像尺度也需为2×2。
RGB是指光学三原色：R是红色(Red)、G是绿色(Green)、B是蓝色(Blue)。RGB值是指各个颜色的亮度，用整数从0、1、2……直到255来表示。其中，255亮度最大，0也是数值之一，表示亮度为0，因此，R、G、B都各有256级亮度。
步骤S2422，通过第一RGB值以及第二RGB值，计算得到第一特征图像以及第二特征图像相同位置像素的RGB均值。
也就是说，对第一特征图像以及第二特征图像中相同位置的RGB值进行平均数计算，当第一特征图像中，像素(1,1)的RGB值为(202,199,210)，且第二特征图像中，像素(1,1)的RGB值为(198,201,200)时，得到的RGB均值则为(200,200,205)。
步骤S2423，根据相同位置像素的RGB均值，确定第一特征融合图像中各个像素的RGB值。
具体的，在得到各个相同位置像素的RGB均值之后，将其赋值给第一特征融合图像中各个像素。
在一些实施例中，如前述的方法，所述步骤S1获取用户的人体热成像图，包括如下所述步骤S11和S12：
步骤S11，通过红外探测成像单元对检测区域进行红外探测，获取区域探测热成像图。步骤S12，根据区域探测热成像图进行人体识别，确定与用户对应的人体热成像图。
具体的，检测区域，可以是需要通过红外探测成像单元进行红外探测的区域；区域探测热成像图，可以是检测区域对应的热成像图。可选的，进行红外探测的频率可以根据调解的精度进行选择。
在得到区域热成像图之后，可以通过预设的网络对区域探测热成像图进行人体识别，以得到用户对应的人体热成像。
通过本实施例中的方法，可以排除区域探测热成像图中无用的信息，进而可以使情绪信息更加准确。
在一些实施例中，如前述的方法，所述步骤S3根据情绪信息生成控制信息，包括如下所述步骤S31至S34：
步骤S31，匹配得到与情绪信息对应的温度值以及音乐类型。
具体的，可以预先确定不同的情绪信息与温度值，以及音乐类型之间的对应关系。其中一种可选的实现方式中，情绪信息与音乐类型之间的对应关系可以如下所述：(1)焦虑状态：音乐播放列表推荐播放舒缓音乐；(2)愤怒状态：音乐播放列表推荐播放宁静音乐；(3)恐惧状态：音乐播放列表推荐播放自然轻松音乐；(4)悲伤状态：音乐播放列表推荐播放欢快音乐；(5)沮丧状态：音乐播放列表推荐播放积极健康音乐；(6)幸福状态：音乐播放列表推荐播放典雅音乐；(7)紧张状态：音乐播放列表推荐播放轻音乐；由此，通过的用户情绪实现对场景音乐的智能播放。
步骤S32，查询得到音乐类型对应的歌曲。
具体的，可以通过互联网或者本地端查询的方式，获取每种音乐类型对应的歌曲，进一步的，可以将音乐类型的歌曲的地址加入播放列表中，以通过相关的音频播放单元对各首歌曲进行播放。
步骤S33，根据温度值生成对温度控制单元进行控制的温度控制信息，以及根据歌曲生成对音频播放单元进行控制的播放控制信息。
具体的，温度控制单元可以是空调、新风系统等能够对温度进行控制的设备，音频播放单元可以是音响等能够进行音频播放的设备。
通过温度控制信息，可以对温度控制单元的目标温度进行设置。
通过播放控制信息，可以对音频播放单元播放的歌曲进行控制。步骤S34，根据温度控制信息以及播放控制信息得到控制信息。
具体的，控制信息中包括温度控制信息以及播放控制信息。
进而，通过本实施例中的方法，可以达到对用户所处环境中的温度以及音乐进行控制的目的。
在一些实施例中，如前述的方法，所述步骤S31匹配得到与情绪信息对应的温度值以及音乐类型，包括如下所述步骤S311至S313：
步骤S311，在用户存在多个时，分别确定各个用户的情绪信息。
步骤S312，在各个情绪信息确定优先级最高的情绪信息。
步骤S313，匹配得到与优先级最高的情绪信息对应的温度值以及音乐类型。
具体的，当用户存在多个时，分别按照前述实施例中的方法，确定各个用户的情绪信息。
权重可以是预先设定的与各种情绪信息对应的评分，用于确定不同情绪信息的优先级。举例的，当情绪信息包括焦虑状态、愤怒状态以及紧张状态时，且分别对应的优先级为4、1、5时，由于愤怒状态的情绪最差，对目标环境中其他人员的情绪的影响也最大，因此愤怒状态的优先级最高，优先舒缓愤怒状态的用户的情绪。
在进行温度值以及音乐类型确定过程中，根据愤怒状态去匹配到对应的温度值以及音乐类型。
通过本实施例中的方法，通过对不同的情绪进行优先级确认，可以对检测环境中情绪最差的用户进行情绪缓解，进而可以最有效的改善当前环境中的整体用户的情绪。
如图3所示，根据本申请另一方面的一个实施例，还提供了一种基于情绪识别的设备控制装置，包括：
获取模块11，用于获取用户的用户识别图像；
情绪确定模块12，用于根据用户识别图像确定用户的情绪信息；
控制信息生成模块13，用于根据情绪信息生成控制信息；
控制模块14，用于通过控制信息对终端设备进行控制。
具体的，本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。
如图4所示，根据本申请另一方面的一个实施例，还提供了能够基于情绪识别的设备控制系统，包括：红外探测成像单元2、控制单元1以及智能设备3；控制单元1分别与红外探测成像单元2以及智能设备3连接；
红外探测成像单元2，用于对检测区域进行红外探测，获取区域探测热成像图，将区域探测热成像图传输至控制单元1；
控制单元1，用于根据区域探测热成像图进行人体识别，确定与用户对应的人体热成像图，人体热成像图通过不同颜色表示不同温度；根据人体热成像图中的颜色分布确定用户的情绪信息；根据情绪信息生成控制信息；将控制信息发送至智能设备3；
智能设备3，用于根据控制信息接受控制单元1的控制。
智能设备3可以包括：温度控制单元以及音频播放单元；
当红外探测成像单元对检测区域内的用户进行检测，得到区域探测热成像图，并传输至控制单元，由控制单元获取人体热成像图，并按照前述实施例中的方法获取用户的情绪信息，然后根据情绪信息生成控制信息，并将控制信息传递至空调等温度控制单元以及音频播放单元；以根据用户情绪实现温度的调控及匹配情绪的音乐播放。
根据本申请的另一个实施例，还提供一种电子设备，包括：如图5所示，电子设备可以包括：处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信。
存储器1503，用于存放计算机程序；
处理器1501，用于执行存储器1503上所存放的程序时，实现上述方法实施例的步骤。
上述电子设备提到的总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供一种存储介质，存储介质包括存储的程序，其中，程序运行时执行上述方法实施例的方法步骤。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于情绪识别的设备控制方法，其特征在于，包括：
获取用户的人体热成像图，所述人体热成像图通过不同颜色表示不同温度；
根据所述人体热成像图中的颜色分布确定所述用户的情绪信息；
根据所述情绪信息生成控制信息；
通过所述控制信息对智能设备进行控制；
所述根据所述人体热成像图中的颜色分布确定所述用户的情绪信息，包括：将所述用户识别图像依次通过预设的卷积层以及池化层进行处理之后，得到图像尺度符合预设大小的原始特征图像；对所述原始特征图像进行预设的下采样操作，得到至少一个下采样特征图像以及最小下采样特征图像；所述下采样特征图像的图像尺度大于所述最小下采样特征图像；通过对所述最小下采样特征图像进行上采样操作，得到上采样特征图像集；根据所述原始特征图像、下采样特征图像以及上采样特征图像中的颜色分布，确定所述用户的情绪信息；
所述根据所述原始特征图像、下采样特征图像以及上采样特征图像中的颜色分布，确定所述用户的情绪信息，包括：在所述上采样特征图像集中确定与所述下采样特征图像的图像尺度相同的第一上采样特征图像，以及在所述上采样特征图像集中确定与原始特征图像的图像尺度相同的第二上采样特征图像；将所述第一上采样特征图像与下采样特征图像进行特征融合处理，以及将所述第二上采样特征图像与原始特征图像进行特征融合处理，得到第一特征融合图像集；对所述最小下采样特征图像进行上采样操作，得到图像尺度满足所述预设大小的第二特征融合图像；分别对所述第一特征融合图像集合中的各个第一特征融合图像进行上采样操作，得到图像尺度满足所述预设大小的第三特征融合图像；分别对所述第二特征融合图像以及第三特征融合图像进行分类函数预测后，得到所述情绪信息。
2.根据权利要求1所述的方法，其特征在于，所述进行特征融合处理，包括：
分别在图像尺度相同的第一特征图像以及第二特征图像中，确定所述第一特征图像中各个像素的第一RGB值，以及所述第二特征图像中各个像素的第二RGB值；
通过所述第一RGB值以及第二RGB值，计算得到所述第一特征图像以及所述第二特征图像相同位置像素的RGB均值；
根据所述相同位置像素的RGB均值，确定所述第一特征融合图像中各个像素的RGB值。
3.根据权利要求1所述的方法，其特征在于，所述分别对所述第二特征融合图像以及第三特征融合图像进行分类函数预测后，得到所述情绪信息，包括：
通过所述分类函数分别预测得到所述第二特征融合图像以及第三特征融合图像中各个像素的预测权重；
通过所述预测权重，分析得到所述情绪信息。
4.根据权利要求1所述的方法，其特征在于，所述获取用户的人体热成像图，包括：
通过红外探测成像单元对检测区域进行红外探测，获取区域探测热成像图；
根据所述区域探测热成像图进行人体识别，确定与所述用户对应的人体热成像图。
5.根据权利要求1所述的方法，其特征在于，所述根据所述情绪信息生成控制信息，包括：
匹配得到与所述情绪信息对应的温度值以及音乐类型；
查询得到所述音乐类型对应的歌曲；
根据所述温度值生成对温度控制单元进行控制的温度控制信息，以及根据所述歌曲生成对音频播放单元进行控制的播放控制信息；
根据所述温度控制信息以及播放控制信息得到所述控制信息。
6.根据权利要求5所述的方法，其特征在于，所述匹配得到与所述情绪信息对应的温度值以及音乐类型，包括：
在所述用户存在多个时，分别确定各个用户的情绪信息；
在各个所述情绪信息确定优先级最高的情绪信息；
匹配得到与所述优先级最高的情绪信息对应的温度值以及音乐类型。
7.一种基于情绪识别的设备控制装置，其特征在于，包括：
获取模块，用于获取用户的用户识别图像；
情绪确定模块，用于根据所述用户识别图像确定所述用户的情绪信息；
控制信息生成模块，用于根据所述情绪信息生成控制信息；
控制模块，用于通过所述控制信息对终端设备进行控制；
所述情绪确定模块，具体用于：将所述用户识别图像依次通过预设的卷积层以及池化层进行处理之后，得到图像尺度符合预设大小的原始特征图像；对所述原始特征图像进行预设的下采样操作，得到至少一个下采样特征图像以及最小下采样特征图像；所述下采样特征图像的图像尺度大于所述最小下采样特征图像；通过对所述最小下采样特征图像进行上采样操作，得到上采样特征图像集；根据所述原始特征图像、下采样特征图像以及上采样特征图像中的颜色分布，确定所述用户的情绪信息；
所述情绪确定模块，还用于：在所述上采样特征图像集中确定与所述下采样特征图像的图像尺度相同的第一上采样特征图像，以及在所述上采样特征图像集中确定与原始特征图像的图像尺度相同的第二上采样特征图像；将所述第一上采样特征图像与下采样特征图像进行特征融合处理，以及将所述第二上采样特征图像与原始特征图像进行特征融合处理，得到第一特征融合图像集；对所述最小下采样特征图像进行上采样操作，得到图像尺度满足所述预设大小的第二特征融合图像；分别对所述第一特征融合图像集合中的各个第一特征融合图像进行上采样操作，得到图像尺度满足所述预设大小的第三特征融合图像；分别对所述第二特征融合图像以及第三特征融合图像进行分类函数预测后，得到所述情绪信息。
8.一种基于情绪识别的设备控制系统，其特征在于，包括：红外探测成像单元、控制单元以及智能设备；控制单元分别与红外探测成像单元以及智能设备连接；
所述红外探测成像单元，用于对检测区域进行红外探测，获取区域探测热成像图，将所述区域探测热成像图传输至所述控制单元；
所述控制单元，用于根据所述区域探测热成像图进行人体识别，确定与用户对应的人体热成像图，所述人体热成像图通过不同颜色表示不同温度；根据所述人体热成像图中的颜色分布确定所述用户的情绪信息；根据所述情绪信息生成控制信息；将所述控制信息发送至所述智能设备；
所述智能设备，用于根据所述控制信息接受所述控制单元的控制；
所述控制单元，具体用于：将所述用户识别图像依次通过预设的卷积层以及池化层进行处理之后，得到图像尺度符合预设大小的原始特征图像；对所述原始特征图像进行预设的下采样操作，得到至少一个下采样特征图像以及最小下采样特征图像；所述下采样特征图像的图像尺度大于所述最小下采样特征图像；通过对所述最小下采样特征图像进行上采样操作，得到上采样特征图像集；根据所述原始特征图像、下采样特征图像以及上采样特征图像中的颜色分布，确定所述用户的情绪信息；
所述控制单元，还用于：在所述上采样特征图像集中确定与所述下采样特征图像的图像尺度相同的第一上采样特征图像，以及在所述上采样特征图像集中确定与原始特征图像的图像尺度相同的第二上采样特征图像；将所述第一上采样特征图像与下采样特征图像进行特征融合处理，以及将所述第二上采样特征图像与原始特征图像进行特征融合处理，得到第一特征融合图像集；对所述最小下采样特征图像进行上采样操作，得到图像尺度满足所述预设大小的第二特征融合图像；分别对所述第一特征融合图像集合中的各个第一特征融合图像进行上采样操作，得到图像尺度满足所述预设大小的第三特征融合图像；分别对所述第二特征融合图像以及第三特征融合图像进行分类函数预测后，得到所述情绪信息。
9.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，所述处理器、通信接口和存储器通过通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述计算机程序时，实现权利要求1-6任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011474651.6A CN112560945B (zh) | 2020-12-14 | 2020-12-14 | 一种基于情绪识别的设备控制方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011474651.6A CN112560945B (zh) | 2020-12-14 | 2020-12-14 | 一种基于情绪识别的设备控制方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112560945A CN112560945A (zh) | 2021-03-26 |
| CN112560945B true CN112560945B (zh) | 2024-08-09 |
Family
ID=75063462
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011474651.6A Active CN112560945B (zh) | 2020-12-14 | 2020-12-14 | 一种基于情绪识别的设备控制方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112560945B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107272607A (zh) * | 2017-05-11 | 2017-10-20 | 上海斐讯数据通信技术有限公司 | 一种智能家居控制系统及方法 |
| CN110135242A (zh) * | 2019-03-28 | 2019-08-16 | 福州大学 | 基于低分辨率红外热成像深度感知的情绪识别装置及方法 |
| CN110619668A (zh) * | 2019-08-21 | 2019-12-27 | 深圳信息职业技术学院 | 一种图像抽象方法、装置及终端设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110060262A (zh) * | 2019-04-18 | 2019-07-26 | 北京市商汤科技开发有限公司 | 一种图像分割方法及装置、电子设备和存储介质 |
| CN110210350B (zh) * | 2019-05-22 | 2021-12-21 | 北京理工大学 | 一种基于深度学习的快速停车位检测方法 |
| CN110853045B (zh) * | 2019-09-24 | 2022-02-11 | 西安交通大学 | 基于核磁共振图像的血管壁分割方法、设备及存储介质 |
| CN110991414B (zh) * | 2019-12-21 | 2023-04-25 | 武汉中海庭数据技术有限公司 | 一种交通要素高精度分割方法、电子设备及存储介质 |
-
2020
- 2020-12-14 CN CN202011474651.6A patent/CN112560945B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107272607A (zh) * | 2017-05-11 | 2017-10-20 | 上海斐讯数据通信技术有限公司 | 一种智能家居控制系统及方法 |
| CN110135242A (zh) * | 2019-03-28 | 2019-08-16 | 福州大学 | 基于低分辨率红外热成像深度感知的情绪识别装置及方法 |
| CN110619668A (zh) * | 2019-08-21 | 2019-12-27 | 深圳信息职业技术学院 | 一种图像抽象方法、装置及终端设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112560945A (zh) | 2021-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7537060B2 (ja) | 情報生成方法、装置、コンピュータ機器、記憶媒体及びコンピュータプログラム | |
| CN110580516B (zh) | 一种基于智能机器人的交互方法及装置 | |
| CN110570383B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN109918630A (zh) | 文本生成方法、装置、计算机设备及存储介质 | |
| KR102452055B1 (ko) | 큐레이션 기반 화장품 추천 시스템 및 방법 | |
| CN112534449A (zh) | 信息处理系统、信息处理方法和记录介质 | |
| CN107609487B (zh) | 一种用户头像的生成方法和装置 | |
| CN112200844A (zh) | 生成图像的方法、装置、电子设备及介质 | |
| CN112529149A (zh) | 一种数据处理方法及相关装置 | |
| CN116071452A (zh) | 一种风格图像生成方法、装置、计算机设备和存储介质 | |
| CN114375466A (zh) | 视频评分方法、装置、存储介质及电子设备 | |
| CN109359675B (zh) | 图像处理方法及设备 | |
| JP6970641B2 (ja) | 感情推測方法、感情推測装置及びプログラム | |
| CN112767038B (zh) | 基于美学特征的海报ctr预测方法及装置 | |
| JP6408729B1 (ja) | 画像評価装置、画像評価方法及びプログラム | |
| CN112560945B (zh) | 一种基于情绪识别的设备控制方法及系统 | |
| CN108596094A (zh) | 人物风格检测系统、方法、终端及介质 | |
| CN104598866B (zh) | 一种基于人脸的社交情商促进方法及系统 | |
| KR102208685B1 (ko) | 데이터 증강 기반 공간 분석 모델 학습 장치 및 방법 | |
| JP2001195579A (ja) | 画像評価装置 | |
| US12079267B2 (en) | Method and system for image searching and evaluation using tags | |
| CN115438246A (zh) | 内容评测方法、装置、存储介质以及电子设备 | |
| CN115457015A (zh) | 一种基于视觉交互感知双流网络的图像无参考质量评估方法及装置 | |
| CN108038496A (zh) | 基于大数据与深度学习的婚恋对象匹配数据处理方法、装置、计算机设备和存储介质 | |
| CN108985456B (zh) | 层数增减深度学习神经网络训练方法、系统、介质和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |