CN108039988A - 设备控制处理方法及装置 - Google Patents
设备控制处理方法及装置 Download PDFInfo
- Publication number
- CN108039988A CN108039988A CN201711062745.0A CN201711062745A CN108039988A CN 108039988 A CN108039988 A CN 108039988A CN 201711062745 A CN201711062745 A CN 201711062745A CN 108039988 A CN108039988 A CN 108039988A
- Authority
- CN
- China
- Prior art keywords
- user
- emotion
- degrees
- sound
- photo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 3
- 230000008451 emotion Effects 0.000 claims abstract description 97
- 238000000034 method Methods 0.000 claims abstract description 63
- 238000012549 training Methods 0.000 claims abstract description 4
- 238000011156 evaluation Methods 0.000 claims description 57
- 230000008569 process Effects 0.000 claims description 24
- 230000036651 mood Effects 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 abstract description 12
- 230000002996 emotional effect Effects 0.000 abstract description 9
- 230000008921 facial expression Effects 0.000 description 9
- 230000001755 vocal effect Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008844 regulatory mechanism Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2805—Home Audio Video Interoperability [HAVI] networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L2012/2847—Home automation networks characterised by the type of home appliance used
- H04L2012/2849—Audio/video appliances
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Biology (AREA)
- Child & Adolescent Psychology (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种设备控制处理方法及装置。其中，该设备控制方法包括：获取用户的信息，其中，信息包括以下至少之一：通过摄像设备拍摄到的用户的照片、通过音频设备接收到的用户的声音；使用模型评估信息对应的用户的情绪级别，其中，模型是根据多组数据训练得到的，多组数据中的每一组数据均包括：用户的照片和/或声音、以及用来标识该照片和/或声音所代表的情绪级别的标签；根据情绪级别发送控制命令，其中，控制命令用于指示设备进行预定操作。本发明解决了相关技术中家居系统并不能满足用户对家居系统的智能化程度的需求的技术问题。
Description
技术领域
本发明涉及智能家居领域，具体而言，涉及一种设备控制处理方法及装置。
背景技术
随着科学技术的发展，尤其是，人工智能的快速发展，使得人工智能快速地与各个领域结合，其中，人们在日常生活中能够感受到的就是各种家用设备的智能化。例如，用户可以利用手势对其进行控制，也可以通过语音实现对电视机的开启或者关闭。但是，目前市场上出售的家用设备的智能化程度，在一定程度上，并不能满足用户的需求。
针对上述相关技术中家居系统并不能满足用户对家居系统的智能化程度的需求的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种设备控制处理方法及装置，以至少解决相关技术中家居系统并不能满足用户对家居系统的智能化程度的需求的技术问题。
根据本发明实施例的一个方面，提供了一种设备控制处理方法，包括：获取用户的信息，其中，所述信息包括以下至少之一：通过摄像设备拍摄到的所述用户的照片、通过音频设备接收到的所述用户的声音；使用模型评估所述信息对应的所述用户的情绪级别，其中，所述模型是根据多组数据训练得到的，所述多组数据中的每一组数据均包括：所述用户的照片和/或声音、以及用来标识该照片和/或声音所代表的情绪级别的标签；根据所述情绪级别发送控制命令，其中，所述控制命令用于指示设备进行预定操作。
进一步地，在使用所述模型评估所述信息对应的所述用户的情绪级别之前，所述方法还包括：将所述用户的照片和/或声音发送给与其他用户；获取所述其他用户为所述用户的照片和/或声音添加的所述标签。
进一步地，获取所述其他用户为所述用户的照片和/或声音添加的所述标签包括以下至少之一：将所述用户的照片和/或声音，以及可以选择的多个情绪级别发送给所述其他用户；接收所述其他用户从所述多个情绪级别中选择出的情绪级别作为所述标签；获取所述其他用户对所述用户的照片和/或声音的评价，从所述评价中提取情绪级别作为所述标签，其中，所述评价包括以下至少之一：自然语言的评价、语音的评价。
进一步地，在使用所述模型评估所述信息对应的所述用户的情绪级别之前，所述方法还包括：在获取到所述用户的照片和/或声音之后，根据所述用户的照片和/或声音向所述用户进行提问；根据所述用户对提问的问题的回答提取所述用户的照片和/或声音所对应的情绪级别。
进一步地，根据所述情绪级别发送所述控制命令包括：在所述情绪级别与预定级别相匹配的情况下，发送所述控制命令，其中，所述控制命令用于控制所述设备执行以下操作的至少之一：播放与所述情绪级别对应的音乐，播放与所述情绪级别对应的视频。
根据本发明实施例的另外一个方面，还提供了一种设备控制处理装置，包括：第一获取单元，用于获取用户的信息，其中，所述信息包括以下至少之一：通过摄像设备拍摄到的所述用户的照片、通过音频设备接收到的所述用户的声音；评估单元，用于使用模型评估所述信息对应的所述用户的情绪级别，其中，所述模型是根据多组数据训练得到的，所述多组数据中的每一组数据均包括：所述用户的照片和/或声音、以及用来标识该照片和/或声音所代表的情绪级别的标签；第一发送单元，用于根据所述情绪级别发送控制命令，其中，所述控制命令用于指示设备进行预定操作。
进一步地，所述装置还包括：第二发送单元，用于在使用所述模型评估所述信息对应的所述用户的情绪级别之前，将所述用户的照片和/或声音发送给与其他用户；第二获取单元，用于获取所述其他用户为所述用户的照片和/或声音添加的所述标签。
进一步地，所述第二获取单元包括以下至少之一：第一发送模块，用于将所述用户的照片和/或声音，以及可以选择的多个情绪级别发送给所述其他用户；接收所述其他用户从所述多个情绪级别中选择出的情绪级别作为所述标签；提取模块，用于获取所述其他用户对所述用户的照片和/或声音的评价，从所述评价中提取情绪级别作为所述标签，其中，所述评价包括以下至少之一：自然语言的评价、语音的评价。
进一步地，所述装置还包括：提问单元，用于在使用所述模型评估所述信息对应的所述用户的情绪级别之前，在获取到所述用户的照片和/或声音之后，根据所述用户的照片和/或声音向所述用户进行提问；提取单元，用于根据所述用户对提问的问题的回答提取所述用户的照片和/或声音所对应的情绪级别。
进一步地，所述第一发送单元包括：第二发送模块，用于在所述情绪级别与预定级别相匹配的情况下，发送所述控制命令，其中，所述控制命令用于控制所述设备执行以下操作的至少之一：播放与所述情绪级别对应的音乐，播放与所述情绪级别对应的视频。
根据本发明实施例的另外一个方面，还提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序执行上述任意一项所述的设备控制处理方法。
根据本发明实施例的另外一个方面，还提供了一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行上述任意一项所述的设备控制处理方法。
在本发明实施例中，可以获取用户的信息，其中，信息包括以下至少之一：通过摄像设备拍摄到的用户的照片、通过音频设备接收到的用户的声音；使用模型评估信息对应的用户的情绪级别，其中，模型是根据多组数据训练得到的，多组数据中的每一组数据均包括：用户的照片和/或声音、以及用来标识该照片和/或声音所代表的情绪级别的标签；根据情绪级别发送控制命令，其中，控制命令用于指示设备进行预定操作。通过本发明实施例提供的设备控制处理方法实现了根据获取的用户的情绪对上述智能家居系统进行控制的目的，达到了让用户体验现代科技带来的快乐提高生活质量的技术效果，进而解决了相关技术中家居系统并不能满足用户对家居系统的智能化程度的需求的技术问题，提升了用户体验。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的设备控制处理方法的流程图；
图2是根据本发明实施例的智能家居系统的调节机制的流程图；以及
图3是根据本发明实施例的设备控制装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为方便用户理解本发明，下面对本发明实施例中涉及的部分术语或名词进行解释：
像素：是计算机屏幕上所能显示的最小单位，用来表示图像的单位，指可以显示出的水平和垂直像素的数组，屏幕中的像素点越多，画面的分辨率越高，图像就越细腻逼真。
像素点：指像素的数值。
二值化：对摄像头拍摄的图片，大多数是彩色图像，彩色图像所含信息量巨大，对于图片的内容，可以简单的分为前景与背景，先对彩色图进行处理，使图片只有前景信息与背景信息，可以简单的定义前景信息为黑色，背景信息为白色，这就是二值化图了。
神经网络算法：是指根据逻辑规则进行推理的过程，它是先将信息化成概念，并用户符号表示，然后，根据符号运算按串行模式进行逻辑推理；这一过程可以写成串行的指令，让计算机执行。
声纹：是用电声学仪器显示的携带有言语信息的声波频谱。
声纹识别：是生物识别技术的一种。也称为说话人识别，有两种，即说话人辨认和说话人确认，不同的任务和应用会使用不同的声纹识别技术，如缩小刑侦范围时可能需要辨认技术，而银行交易时则需要确认技术。
以下实施例可以用于各种电器设备中，对于电器设备的类型不做具体限定，包括但不限于：洗衣机、空调、冰箱等，上述各种电器设备组成了本发明实施例中的智能家居系统，下面对本发明实施例进行详细说明。
根据本发明实施例，提供了一种设备控制处理方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的设备控制处理方法的流程图，如图1所示，该设备控制处理方法包括如下步骤：
步骤S102，获取用户的信息，其中，信息包括以下至少之一：通过摄像设备拍摄到的用户的照片、通过音频设备接收到的用户的声音。
在步骤S102中，一个方面，可以在用户的家里安装一个或多个摄像头，用于拍摄用户的照片，在本发明实施例中对于摄像头的设置位置不做具体限定，可以包括但不限于：用户家里的每个房间的门口、天花板等，通过设置在不同位置的摄像头可以分别采集用户的照片。其中，在利用上述一个或多个摄像头拍摄用户的照片时，可以是每个预定时间段对用户进行拍摄，然后分析图像中用户的情绪。在本发明实施例中对拍摄的图像的类别不做具体限定，可以包括但不限于：黑白图像(灰度图像)、彩色图像(RGB图像)。在分析图像时，可以根据二值化图像处理方式分析图像中的信息，具体地，在分析时，可以对图像中的多个像素点与历史图像中的像素点位置进行比较，以确定出存在差异的像素点，然后将存在差异的像素点区分出来，进而可以从利用摄像设备拍摄得到的图像中提取出用户的信息。
另外一个方面，还可以在用户的家里安装有一个或者多个音频设备(也即是上下文中的声音传感器)，用于接收用户的声音，在本发明实施例中对于音频设备的安装位置不做具体限定，可以包括但不限于：用户家里的每一个房间的门口处、天花板等位置，不过为了方便接收用户的语音，可以将上述音频设备安装在用户经常活动且位置与人体的身高相当的位置处。其中，上述语音设备中包含有语音模型库，该语音模型库中存储有一个家庭中的各个成员的声纹。其中，一个家庭中的每个成员可以对着该语音设备发出语音，该语音设备可以进行特征提取，将不同成员的声纹存储到语音模型库中。当该家庭中的某个成员发出语音时，该语音设备可以对该成员的语音进行特征提取，得到该成员的声纹，然后将该成员的声纹与语音模型库中存储的声纹进行匹配，然后识别出该声纹对应的家庭成员，进而得到该成员对应的信息。
步骤S104，使用模型评估信息对应的用户的情绪级别，其中，模型是根据多组数据训练得到的，多组数据中的每一组数据均包括：用户的照片和/或声音、以及用来标识该照片和/或声音所代表的情绪级别的标签。
其中，上述模型可以是利用摄像头在历史预定时间段中拍摄的图像，利用音频设备接收到的历史预定时间段内的用户的声音以及用来标识该照片和/或声音所代表的情绪级别的标签进行学习训练得到的。
步骤S106，根据情绪级别发送控制命令，其中，控制命令用于指示设备进行预定操作。
通过上述步骤，在智能家居系统运行时，可以使用模型对用户的信息进行评估得到对应的用户的情绪级别，然后根据评估得到的情绪级别向智能家居系统发送控制命令。通过本发明实施例提供的设备控制处理方法实现了根据获取的用户的情绪对上述智能家居系统进行控制的目的，达到了让用户体验现代科技带来的快乐提高生活质量的技术效果，进而解决了相关技术中家居系统并不能满足用户对家居系统的智能化程度的需求的技术问题，提升了用户体验。
在本发明一个可选的实施例中，在智能家居系统的人工智能终端，利用摄像头捕捉用户当前的面部表情以及肢体动作，结合图像识别技术，进行用户面部表情以及肢体动作的记录，通过神经网络算法进行对比、判断、反馈、学习；同时，利用声音传感器接收用户的声音，并进行用户声音变化的记录，通过神经网络算法对比、判断、反馈、学习。通过观察记录用户日常生活表现出的面部表情、肢体动作、声音变化、判断、反馈、学习，得到用户在各种形态下的情绪状态方程，并以此为判别标准。其中，该情绪状态方程为：f(面部表情，肢体动作，声音……外界刺激)＝用户(情绪级别)，其中，自变量：面部表情，肢体动作，声音……外界刺激等；因变量：用户当前情绪级别；在这里不同程度的面部表情，肢体动作，声音……外界刺激等，对应用户不同的当前情绪级别。
需要说明的是，用来标识该照片和/或声音所代表的情绪级别的标签可以从多个方面获取。
一方面，在本发明一个可选的实施例中，在使用模型评估信息对应的用户的情绪级别之前，上述设备控制处理方法还可以包括：将用户的照片和/或声音发送给与其他用户；获取其他用户为用户的照片和/或声音添加的标签。
在上述实施例中，获取其他用户为用户的照片和/或声音添加的标签可以包括以下至少之一：将用户的照片和/或声音，以及可以选择的多个情绪级别发送给其他用户；接收其他用户从多个情绪级别中选择出的情绪级别作为标签；获取其他用户对用户的照片和/或声音的评价，从评价中提取情绪级别作为标签，其中，评价包括以下至少之一：自然语言的评价、语音的评价。例如，在必要的情况下，智能家居系统会向用户的亲朋好友(也即是上下文中的其他用户)发送用户的照片或者声音，该用户的亲朋好友会对接收的该用户的照片或者声音与该用户历史时间段的情绪进行比较，然后为该用户的照片和/或声音添加标签，比如，该用户由于工作压力大而比较郁闷，或者，在外面遇到了不开心的事情而比较烦恼等等；当然，也可以通过该用户的亲朋好友对接收到的该用户的照片和/或声音直接做出评价，智能家居系统会从该用户的亲朋好友的评价中提取情绪级别作为标签，其中，上述评价可以包括但不限于：该用户的亲朋好友的发送的一段评价性文字(也即是上下文中的自然语言评价)，一段评价性的语音(也即是上下文中的语音的评价)。
另外一个方面，在使用模型评估信息对应的用户的情绪级别之前，该设备控制处理方法还可以包括：在获取到用户的照片和/或声音之后，根据用户的照片和/或声音向用户进行提问；根据用户对提问的问题的回答提取用户的照片和/或声音所对应的情绪级别。例如，上述智能家居系统可以通过对话式的方式获取用户的情绪级别，该智能家居系统接收到用户的照片和/或声音之后，会向用户提出问题，假如，该智能家居系统提出问题：“今天心情如何”；用户回答：“工作压力太大了，比较烦躁”；那么该智能家居系统会从用户的回答中提取该用户对应的情绪级别。
在本发明一个可选的实施例中，为了更好地了解用户，服务用户，该智能家居系统还可以进行自校正。例如，通过用户的亲朋好友得到的用户的情绪级别为烦恼，而通过对话式的方式得到该用户的情绪级别为开心，那么该智能家居系统会结合上述从其他人员那里得到的用户的情绪级别以及通过对话的方式从用户自己那里得到的情绪级别，判断偏差，并进行修正，不断学习改进。
在本发明一个可选的实施例中，根据情绪级别发送控制命令可以包括：在情绪级别与预定级别相匹配的情况下，发送控制命令，其中，控制命令用于控制设备执行以下操作的至少之一：播放与情绪级别对应的音乐，播放与情绪级别对应的视频。
下面对本发明一个完整的实施例进行详细说明。
首先，用户打开智能家居系统，该智能家居系统通过观察并记录用户的日常生活，与用户互动交流，对比、判断、反馈、学习用户情绪；其中，交流方式可以包括但不限于：语音与系统对话，如内心独白、文字记录、面部表情以及肢体动作等。在这里有一个条件就是，用户需要对该智能家居系统开放，尽可能地向该智能家居系统输入自己的比较全面的个人信息。当用户的情绪出现异常时，智能家居系统会根据自己的决策，通过外在的手段(例如，播放音乐、视频等)，调节用户的情绪。另外，上述智能家居系统还可以通过询问的方式查找得到导致用户产生负面情绪的原因，进而可以有针对性地采取对该用户的情绪进行缓解的措施。例如，上述智能家居系统中存储有与用户当前情绪类似的历史情绪时，那么可以在该智能家居系统中查找该历史情绪对应的历史解决方案，进而可以参考或者直接采用该历史解决方案来缓解用户的情绪。其中，在上述智能家居系统中没有找到与用户当前的情绪类似的历史情绪时，上述智能家居系统当然也就不会存储有用于解决用户当前情绪的参考解决方案，此时，智能家居系统可以在网络上搜有与用户当前情绪相似度达到一定阈值的相似情绪，并在网络上搜索该相似情绪的解决方案，然后上述智能家居系统可以参考在网络上搜索到的解决方案对用户的当前情绪采取缓解措施。其中，图2是根据本发明实施例的智能家居系统的调节机制的流程图，具体如图2所示，上述智能家居系统在使用过程中或者是出厂前可以将用户可能呈现的面部表情，肢体动作以及声音等存储到该智能家居系统中。另外，在上述智能家居系统使用的过程中，在识别到用户的情绪变化、信息交流等用户反馈过去的信息时，可以将上述信息记录下来，然后与之前存储在智能家居系统中的面部表情，肢体动作以及声音进行对比，判断以及学习的处理，得到用户缓解用户情绪的解决方案，例如可以播放对应的音乐或者视频等，从而来缓解用户的情绪。
根据本发明实施例的另外一个方面，还提供了一种设备控制处理装置，图3是根据本发明实施例的设备控制装置的示意图，如图3所示，该设备控制装置包括：第一获取单元31，评估单元33以及第一发送单元35。下面对该设备控制装置进行详细说明。
第一获取单元31，用于获取用户的信息，其中，信息包括以下至少之一：通过摄像设备拍摄到的用户的照片、通过音频设备接收到的用户的声音。
评估单元33，与所述第一获取单元31连接，用于使用模型评估信息对应的用户的情绪级别，其中，模型是根据多组数据训练得到的，多组数据中的每一组数据均包括：用户的照片和/或声音、以及用来标识该照片和/或声音所代表的情绪级别的标签。
第一发送单元35，与所述评估单元33连接，用于根据情绪级别发送控制命令，其中，控制命令用于指示设备进行预定操作。
在上述实施例中，在智能家居系统运行时，采用第一获取单元31，用于获取用户的信息，其中，信息包括以下至少之一：通过摄像设备拍摄到的用户的照片、通过音频设备接收到的用户的声音；评估单元33，用于使用模型评估信息对应的用户的情绪级别，其中，模型是根据多组数据训练得到的，多组数据中的每一组数据均包括：用户的照片和/或声音、以及用来标识该照片和/或声音所代表的情绪级别的标签；第一发送单元35，用于根据情绪级别发送控制命令，其中，控制命令用于指示设备进行预定操作。通过本发明实施例提供的设备控制装置实现了根据获取的用户的情绪对上述智能家居系统进行控制的目的，达到了让用户体验现代科技带来的快乐提高生活质量的技术效果，进而解决了相关技术中家居系统并不能满足用户对家居系统的智能化程度的需求的技术问题，提升了用户体验。
在本发明一个可选的实施例中，该设备控制处理装置还包括：第二发送单元，用于在使用模型评估信息对应的用户的情绪级别之前，将用户的照片和/或声音发送给与其他用户；第二获取单元，用于获取其他用户为用户的照片和/或声音添加的标签。
在本发明一个可选的实施例中，第二获取单元包括以下至少之一：第一发送模块，用于将用户的照片和/或声音，以及可以选择的多个情绪级别发送给其他用户；接收其他用户从多个情绪级别中选择出的情绪级别作为标签；提取模块，用于获取其他用户对用户的照片和/或声音的评价，从评价中提取情绪级别作为标签，其中，评价包括以下至少之一：自然语言的评价、语音的评价。
在本发明一个可选的实施例中，该设备控制处理装置还包括：提问单元，用于在使用模型评估信息对应的用户的情绪级别之前，在获取到用户的照片和/或声音之后，根据用户的照片和/或声音向用户进行提问；提取单元，用于根据用户对提问的问题的回答提取用户的照片和/或声音所对应的情绪级别。
在本发明一个可选的实施例中，第一发送单元包括：第二发送模块，用于在情绪级别与预定级别相匹配的情况下，发送控制命令，其中，控制命令用于控制设备执行以下操作的至少之一：播放与情绪级别对应的音乐，播放与情绪级别对应的视频。
根据本发明实施例的另外一个方面，还提供了一种存储介质，存储介质包括存储的程序，其中，程序执行上述任意一项的设备控制处理方法。
根据本发明实施例的另外一个方面，还提供了一种处理器，其特征在于，处理器用于运行程序，其中，程序运行时执行上述任意一项的设备控制处理方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (12)
1.一种设备控制处理方法，其特征在于，包括：
获取用户的信息，其中，所述信息包括以下至少之一：通过摄像设备拍摄到的所述用户的照片、通过音频设备接收到的所述用户的声音；
使用模型评估所述信息对应的所述用户的情绪级别，其中，所述模型是根据多组数据训练得到的，所述多组数据中的每一组数据均包括：所述用户的照片和/或声音、以及用来标识该照片和/或声音所代表的情绪级别的标签；
根据所述情绪级别发送控制命令，其中，所述控制命令用于指示设备进行预定操作。
2.根据权利要求1所述的方法，其特征在于，在使用所述模型评估所述信息对应的所述用户的情绪级别之前，所述方法还包括：
将所述用户的照片和/或声音发送给与其他用户；
获取所述其他用户为所述用户的照片和/或声音添加的所述标签。
3.根据权利要求2所述的方法，其特征在于，获取所述其他用户为所述用户的照片和/或声音添加的所述标签包括以下至少之一：
将所述用户的照片和/或声音，以及可以选择的多个情绪级别发送给所述其他用户；接收所述其他用户从所述多个情绪级别中选择出的情绪级别作为所述标签；
获取所述其他用户对所述用户的照片和/或声音的评价，从所述评价中提取情绪级别作为所述标签，其中，所述评价包括以下至少之一：自然语言的评价、语音的评价。
4.根据权利要求1所述的方法，其特征在于，在使用所述模型评估所述信息对应的所述用户的情绪级别之前，所述方法还包括：
在获取到所述用户的照片和/或声音之后，根据所述用户的照片和/或声音向所述用户进行提问；
根据所述用户对提问的问题的回答提取所述用户的照片和/或声音所对应的情绪级别。
5.根据权利要求1所述的方法，其特征在于，根据所述情绪级别发送所述控制命令包括：
在所述情绪级别与预定级别相匹配的情况下，发送所述控制命令，其中，所述控制命令用于控制所述设备执行以下操作的至少之一：播放与所述情绪级别对应的音乐，播放与所述情绪级别对应的视频。
6.一种设备控制处理装置，其特征在于，包括：
第一获取单元，用于获取用户的信息，其中，所述信息包括以下至少之一：通过摄像设备拍摄到的所述用户的照片、通过音频设备接收到的所述用户的声音；
评估单元，用于使用模型评估所述信息对应的所述用户的情绪级别，其中，所述模型是根据多组数据训练得到的，所述多组数据中的每一组数据均包括：所述用户的照片和/或声音、以及用来标识该照片和/或声音所代表的情绪级别的标签；
第一发送单元，用于根据所述情绪级别发送控制命令，其中，所述控制命令用于指示设备进行预定操作。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第二发送单元，用于在使用所述模型评估所述信息对应的所述用户的情绪级别之前，将所述用户的照片和/或声音发送给与其他用户；
第二获取单元，用于获取所述其他用户为所述用户的照片和/或声音添加的所述标签。
8.根据权利要求7所述的装置，其特征在于，所述第二获取单元包括以下至少之一：
第一发送模块，用于将所述用户的照片和/或声音，以及可以选择的多个情绪级别发送给所述其他用户；接收所述其他用户从所述多个情绪级别中选择出的情绪级别作为所述标签；
提取模块，用于获取所述其他用户对所述用户的照片和/或声音的评价，从所述评价中提取情绪级别作为所述标签，其中，所述评价包括以下至少之一：自然语言的评价、语音的评价。
9.根据权利要求6所述的装置，其特征在于，所述装置还包括：
提问单元，用于在使用所述模型评估所述信息对应的所述用户的情绪级别之前，在获取到所述用户的照片和/或声音之后，根据所述用户的照片和/或声音向所述用户进行提问；
提取单元，用于根据所述用户对提问的问题的回答提取所述用户的照片和/或声音所对应的情绪级别。
10.根据权利要求6所述的装置，其特征在于，所述第一发送单元包括：
第二发送模块，用于在所述情绪级别与预定级别相匹配的情况下，发送所述控制命令，其中，所述控制命令用于控制所述设备执行以下操作的至少之一：播放与所述情绪级别对应的音乐，播放与所述情绪级别对应的视频。
11.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1至5中任意一项所述的设备控制处理方法。
12.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至5中任意一项所述的设备控制处理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711062745.0A CN108039988B (zh) | 2017-10-31 | 2017-10-31 | 设备控制处理方法及装置 |
| PCT/CN2018/100489 WO2019085585A1 (zh) | 2017-10-31 | 2018-08-14 | 设备控制处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711062745.0A CN108039988B (zh) | 2017-10-31 | 2017-10-31 | 设备控制处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108039988A true CN108039988A (zh) | 2018-05-15 |
| CN108039988B CN108039988B (zh) | 2021-04-30 |
Family
ID=62093587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711062745.0A Active CN108039988B (zh) | 2017-10-31 | 2017-10-31 | 设备控制处理方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN108039988B (zh) |
| WO (1) | WO2019085585A1 (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109118626A (zh) * | 2018-08-08 | 2019-01-01 | 腾讯科技（深圳）有限公司 | 锁具的控制方法、装置、存储介质及电子装置 |
| CN109634129A (zh) * | 2018-11-02 | 2019-04-16 | 深圳慧安康科技有限公司 | 主动关怀的实现方法、系统及装置 |
| WO2019085585A1 (zh) * | 2017-10-31 | 2019-05-09 | 格力电器（武汉）有限公司 | 设备控制处理方法及装置 |
| CN109766776A (zh) * | 2018-12-18 | 2019-05-17 | 深圳壹账通智能科技有限公司 | 操作执行方法、装置、计算机设备和存储介质 |
| CN109948780A (zh) * | 2019-03-14 | 2019-06-28 | 江苏集萃有机光电技术研究所有限公司 | 基于人工智能的辅助决策方法、装置及设备 |
| CN110096707A (zh) * | 2019-04-29 | 2019-08-06 | 北京三快在线科技有限公司 | 生成自然语言的方法、装置、设备及可读存储介质 |
| CN110197677A (zh) * | 2019-05-16 | 2019-09-03 | 北京小米移动软件有限公司 | 一种播放控制方法、装置及播放设备 |
| CN110262413A (zh) * | 2019-05-29 | 2019-09-20 | 深圳市轱辘汽车维修技术有限公司 | 智能家居控制方法、控制装置、车载终端及可读存储介质 |
| CN110412885A (zh) * | 2019-08-30 | 2019-11-05 | 北京青岳科技有限公司 | 一种基于计算机视觉的家居智能控制系统 |
| CN110491425A (zh) * | 2019-07-29 | 2019-11-22 | 恒大智慧科技有限公司 | 一种智能音乐播放装置 |
| CN111447124A (zh) * | 2020-04-02 | 2020-07-24 | 张瑞华 | 基于生物特征识别的智能家居控制方法及智能控制设备 |
| CN112180747A (zh) * | 2020-09-28 | 2021-01-05 | 上海连尚网络科技有限公司 | 一种用于调节智能家居设备的方法与设备 |
| CN112464018A (zh) * | 2020-12-10 | 2021-03-09 | 山西慧虎健康科技有限公司 | 一种智能情绪识别调节方法及系统 |
| CN113589697A (zh) * | 2020-04-30 | 2021-11-02 | 青岛海尔多媒体有限公司 | 用于家电设备的控制方法及装置、智能家电 |
| US11423895B2 (en) * | 2018-09-27 | 2022-08-23 | Samsung Electronics Co., Ltd. | Method and system for providing an interactive interface |
| CN115047824A (zh) * | 2022-05-30 | 2022-09-13 | 青岛海尔科技有限公司 | 数字孪生多模态设备控制方法、存储介质及电子装置 |
| US11749270B2 (en) * | 2020-03-19 | 2023-09-05 | Yahoo Japan Corporation | Output apparatus, output method and non-transitory computer-readable recording medium |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114446325A (zh) * | 2022-03-11 | 2022-05-06 | 平安普惠企业管理有限公司 | 基于情绪识别的信息推送方法、装置、计算机设备及介质 |
| CN115209048A (zh) * | 2022-05-19 | 2022-10-18 | 广东逸动科技有限公司 | 影像数据处理方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103024521A (zh) * | 2012-12-27 | 2013-04-03 | 深圳Tcl新技术有限公司 | 节目筛选方法、系统及具有该系统的电视 |
| US20140192229A1 (en) * | 2013-01-04 | 2014-07-10 | Samsung Electronics Co., Ltd. | Apparatus and method for providing user's emotional information in electronic device |
| CN106919821A (zh) * | 2015-12-25 | 2017-07-04 | 阿里巴巴集团控股有限公司 | 用户验证方法和装置 |
| CN107272607A (zh) * | 2017-05-11 | 2017-10-20 | 上海斐讯数据通信技术有限公司 | 一种智能家居控制系统及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108039988B (zh) * | 2017-10-31 | 2021-04-30 | 珠海格力电器股份有限公司 | 设备控制处理方法及装置 |
-
2017
- 2017-10-31 CN CN201711062745.0A patent/CN108039988B/zh active Active
-
2018
- 2018-08-14 WO PCT/CN2018/100489 patent/WO2019085585A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103024521A (zh) * | 2012-12-27 | 2013-04-03 | 深圳Tcl新技术有限公司 | 节目筛选方法、系统及具有该系统的电视 |
| US20140192229A1 (en) * | 2013-01-04 | 2014-07-10 | Samsung Electronics Co., Ltd. | Apparatus and method for providing user's emotional information in electronic device |
| CN106919821A (zh) * | 2015-12-25 | 2017-07-04 | 阿里巴巴集团控股有限公司 | 用户验证方法和装置 |
| CN107272607A (zh) * | 2017-05-11 | 2017-10-20 | 上海斐讯数据通信技术有限公司 | 一种智能家居控制系统及方法 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019085585A1 (zh) * | 2017-10-31 | 2019-05-09 | 格力电器（武汉）有限公司 | 设备控制处理方法及装置 |
| CN109118626A (zh) * | 2018-08-08 | 2019-01-01 | 腾讯科技（深圳）有限公司 | 锁具的控制方法、装置、存储介质及电子装置 |
| CN109118626B (zh) * | 2018-08-08 | 2022-09-13 | 腾讯科技（深圳）有限公司 | 锁具的控制方法、装置、存储介质及电子装置 |
| US11423895B2 (en) * | 2018-09-27 | 2022-08-23 | Samsung Electronics Co., Ltd. | Method and system for providing an interactive interface |
| CN109634129B (zh) * | 2018-11-02 | 2022-07-01 | 深圳慧安康科技有限公司 | 主动关怀的实现方法、系统及装置 |
| CN109634129A (zh) * | 2018-11-02 | 2019-04-16 | 深圳慧安康科技有限公司 | 主动关怀的实现方法、系统及装置 |
| CN109766776A (zh) * | 2018-12-18 | 2019-05-17 | 深圳壹账通智能科技有限公司 | 操作执行方法、装置、计算机设备和存储介质 |
| CN109948780A (zh) * | 2019-03-14 | 2019-06-28 | 江苏集萃有机光电技术研究所有限公司 | 基于人工智能的辅助决策方法、装置及设备 |
| CN110096707A (zh) * | 2019-04-29 | 2019-08-06 | 北京三快在线科技有限公司 | 生成自然语言的方法、装置、设备及可读存储介质 |
| CN110197677A (zh) * | 2019-05-16 | 2019-09-03 | 北京小米移动软件有限公司 | 一种播放控制方法、装置及播放设备 |
| CN110262413A (zh) * | 2019-05-29 | 2019-09-20 | 深圳市轱辘汽车维修技术有限公司 | 智能家居控制方法、控制装置、车载终端及可读存储介质 |
| CN110491425A (zh) * | 2019-07-29 | 2019-11-22 | 恒大智慧科技有限公司 | 一种智能音乐播放装置 |
| CN110412885A (zh) * | 2019-08-30 | 2019-11-05 | 北京青岳科技有限公司 | 一种基于计算机视觉的家居智能控制系统 |
| US11749270B2 (en) * | 2020-03-19 | 2023-09-05 | Yahoo Japan Corporation | Output apparatus, output method and non-transitory computer-readable recording medium |
| CN111447124A (zh) * | 2020-04-02 | 2020-07-24 | 张瑞华 | 基于生物特征识别的智能家居控制方法及智能控制设备 |
| CN113589697A (zh) * | 2020-04-30 | 2021-11-02 | 青岛海尔多媒体有限公司 | 用于家电设备的控制方法及装置、智能家电 |
| CN112180747A (zh) * | 2020-09-28 | 2021-01-05 | 上海连尚网络科技有限公司 | 一种用于调节智能家居设备的方法与设备 |
| CN112464018A (zh) * | 2020-12-10 | 2021-03-09 | 山西慧虎健康科技有限公司 | 一种智能情绪识别调节方法及系统 |
| WO2022121113A1 (zh) * | 2020-12-10 | 2022-06-16 | 山西慧虎健康科技有限公司 | 一种智能情绪识别调节方法及系统 |
| CN115047824A (zh) * | 2022-05-30 | 2022-09-13 | 青岛海尔科技有限公司 | 数字孪生多模态设备控制方法、存储介质及电子装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108039988B (zh) | 2021-04-30 |
| WO2019085585A1 (zh) | 2019-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108039988A (zh) | 设备控制处理方法及装置 | |
| Vinola et al. | A survey on human emotion recognition approaches, databases and applications | |
| Bilakhia et al. | The MAHNOB Mimicry Database: A database of naturalistic human interactions | |
| CN112699774B (zh) | 视频中人物的情绪识别方法及装置、计算机设备及介质 | |
| EP3740898A1 (en) | Systems and methods for evaluating individual, group, and crowd emotion engagement and attention | |
| Churamani et al. | Teaching emotion expressions to a human companion robot using deep neural architectures | |
| CN109389005A (zh) | 智能机器人及人机交互方法 | |
| KR20100001928A (ko) | 감정인식에 기반한 서비스 장치 및 방법 | |
| KR101738142B1 (ko) | 감성 기반의 대화가 가능한 디지털 생명체 생성 시스템 및 그 제어방법 | |
| Alshammari et al. | Robotics utilization in automatic vision-based assessment systems from artificial intelligence perspective: A systematic review | |
| Min et al. | Predicting Dialogue Acts for Intelligent Virtual Agents with Multimodal Student Interaction Data. | |
| Häuselmann | Disciplines of AI: An Overview of Approaches and Techniques | |
| Churamani et al. | Affect-driven modelling of robot personality for collaborative human-robot interactions | |
| Karyotis et al. | An intelligent framework for monitoring students Affective Trajectories using adaptive fuzzy systems | |
| KR102285482B1 (ko) | 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 방법 및 장치 | |
| Hou | Deep learning-based human emotion detection framework using facial expressions | |
| Khorrami | How deep learning can help emotion recognition | |
| US20230290505A1 (en) | Context Aware Assessment | |
| Zhang et al. | Quantification of advanced dementia patients’ engagement in therapeutic sessions: An automatic video based approach using computer vision and machine learning | |
| US12011828B2 (en) | Method for controlling a plurality of robot effectors | |
| Karpouzis et al. | Induction, recording and recognition of natural emotions from facial expressions and speech prosody | |
| Chiba et al. | Cluster-based approach to discriminate the user’s state whether a user is embarrassed or thinking to an answer to a prompt | |
| Liu et al. | Using sensory time-cue to enable unsupervised multimodal meta-learning | |
| CN111144735B (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
| KR101997161B1 (ko) | 물리적 공간의 센서 데이터와 온라인 메신저 사용 데이터를 이용한 사용자 퍼소나 분류 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |