CN114283804A - 家用电器输出视听信息的控制方法、装置、存储介质及处理器 - Google Patents
家用电器输出视听信息的控制方法、装置、存储介质及处理器 Download PDFInfo
- Publication number
- CN114283804A CN114283804A CN202111603630.4A CN202111603630A CN114283804A CN 114283804 A CN114283804 A CN 114283804A CN 202111603630 A CN202111603630 A CN 202111603630A CN 114283804 A CN114283804 A CN 114283804A
- Authority
- CN
- China
- Prior art keywords
- information
- emotion
- image
- voice
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000008451 emotion Effects 0.000 claims abstract description 178
- 230000002996 emotional effect Effects 0.000 claims abstract description 36
- 238000012937 correction Methods 0.000 claims abstract description 17
- 238000004590 computer program Methods 0.000 claims description 14
- 230000008921 facial expression Effects 0.000 claims description 11
- 230000004048 modification Effects 0.000 claims description 10
- 238000012986 modification Methods 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 8
- 239000003999 initiator Substances 0.000 claims description 7
- 230000036651 mood Effects 0.000 claims 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000036772 blood pressure Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 208000001431 Psychomotor Agitation Diseases 0.000 description 1
- 206010038743 Restlessness Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种家用电器输出视听信息的控制方法、装置、存储介质及处理器。其中,该方法包括:获取目标对象的语音信息、图像信息,对语音信息、图像信息中的一个进行识别,得到第一情绪信息,根据语音信息、图像信息中的另一个,利用修正模型对第一情绪信息进行修正,得到第二情绪信息,基于第二情绪信息输出与第二情绪信息相匹配的视听信息。本发明解决了相关技术的家用电器无法准确地根据用户当前的情绪状态输出视听信息的技术问题。
Description
技术领域
本发明涉及智能家用电器设备技术领域,具体而言,涉及一种家用电器输出视听信息的控制方法、装置、存储介质及处理器。
背景技术
随着互联网和物联网的快速发展,家用电器等终端越来越智能化,与用户的交互更加简便,并且能够根据用户当前的状态输出视听信息。如智能冰箱的显示屏能够在用户施厨的同时输出视听信息,智能音响的麦克风组件能够播放适宜的音乐,家用电器输出的视听信息能随用户的情绪变化。人们对智能家电的越发关注要求家用电器在输出视听信息的同时,也能自适应地根据用户当前的情绪状态输出适宜的视听信息。但现有技术中的家用电器通常通过获取用户的面部信息以确定情绪状态,根据当前的情绪状态输出视听信息。当环境光线不好或存在遮挡物时,获取信息存在着不及时的问题。并且智能家用电器单一地通过一种方式控制输出视听信息,输出的视听信息并极有可能不符合用户当前的情绪状态,从而使得用户的情绪状态更加糟糕,针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种家用电器输出视听信息的控制方法、装置、存储介质及处理器,以至少解决相关技术的家用电器无法准确地根据用户当前的情绪状态输出视听信息的技术问题。
根据本发明其中一实施例,提供了一种家用电器输出视听信息的控制方法,包括:获取目标对象的语音信息、图像信息,语音信息用于控制家电设备执行预设动作,图像信息至少包括:目标对象的面部表情信息;对语音信息、图像信息中的一个进行识别,得到第一情绪信息,根据语音信息、图像信息中的另一个,利用修正模型对第一情绪信息进行修正,得到第二情绪信息,其中,第一情绪信息包括目标对象的至少一种第一情绪状态,第二情绪信息包括目标对象的至少一种第二情绪状态;基于第二情绪信息输出与第二情绪信息相匹配的视听信息,其中,视听信息包括至少如下之一:影像信息、光线信息、音频信息。
进一步地,对语音信息进行识别,得到第一情绪信息;根据图像信息,利用修正模型对第一情绪信息进行修正,得到第二情绪信息。
可选地,对语音信息进行识别,得到第一情绪信息,包括:提取语音信息中的音频特征,其中,音频特征至少包括如下之一:音调、音色、响度。
可选地,对语音信息进行识别,得到第一情绪信息,还包括:利用语义识别模型提取语音信息中的语气词,其中,语气词包括用于表征目标对象情绪状态的文字;基于音频特征、语气词确定第一情绪信息。
可选地,根据图像信息,采用修正模型对第一情绪信息进行修正,得到第二情绪信息,包括:将图像信息与预存图像信息进行比对,获得比对结果;根据比对结果确定是否利用修正模型对第一情绪信息进行修正。
可选地,利用修正模型对第一情绪信息进行修正,得到第二情绪信息,还包括:基于图像信息生成图像情绪信息;判断图像情绪信息与第一情绪信息是否相同,在确定图像情绪信息与第一情绪信息相同的情况下,确定图像情绪信息、第一情绪信息中的一个为第二情绪信息;在确定图像情绪信息与第一情绪信息不相同的情况下,在预设时间段内重新采集语音信息,基于重新采集的语音信息生成第三情绪信息,确定第三情绪信息为第一情绪信息。
可选地,对语音信息进行识别,得到第一情绪信息之前,包括:提取语音信息中的声纹特征;将声纹特征与预设声纹特征进行匹配;根据匹配结果判断语音信息的发起者是否具有访问权限,在确定发起者具有访问权限的情况下,对语音信息进行识别。
根据本发明其中一实施例,还提供了一种家用电器视听信息输出装置,包括:获取模块,用于获取目标对象的语音信息、图像信息,语音信息用于控制家电设备执行预设动作,图像信息至少包括:目标对象的面部表情信息;确定模块,用于对语音信息、图像信息中的一个进行识别,得到第一情绪信息,根据语音信息、图像信息中的另一个,利用修正模型对第一情绪信息进行修正,得到第二情绪信息,其中,第一情绪信息包括目标对象的至少一种第一情绪状态,第二情绪信息包括目标对象的至少一种第二情绪状态;控制模块,用于基于第二情绪信息输出与第二情绪信息相匹配的视听信息,其中,视听信息包括至少如下之一:影像信息、光线信息、音频信息。
根据本发明其中一实施例,还提供了一种非易失性存储介质,存储介质中存储有计算机程序,其中,计算机程序被设置为运行时执行前述任一项中的家用电器输出视听信息的控制方法。
根据本发明其中一实施例,还提供了一种处理器,处理器用于运行程序,其中,程序被设置为运行时执行前述任一项中的家用电器输出视听信息的控制方法。
在本发明实施例中,获取目标对象的语音信息、图像信息,对语音信息、图像信息中的一个进行识别,得到第一情绪信息,根据语音信息、图像信息中的另一个,利用修正模型对第一情绪信息进行修正,得到第二情绪信息,基于第二情绪信息输出与第二情绪信息相匹配的视听信息,使得家用电器能够根据用户的语音信息和图像信息控制输出与用户情绪状态匹配的视听信息,输出的视听信息与用户情绪状态的匹配度高,不会出现无法输出合适的视听信息或输出的视听信息与用户的情绪状态匹配度极低的情况,达到了家用电器精确地输出视听信息以改善用户的情绪状态的技术效果,进而解决了相关技术的家用电器无法准确地根据用户当前的情绪状态输出视听信息的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明其中一实施例的家用电器输出视听信息的控制方法的计算机终端的硬件结构框图;
图2是根据本发明其中一可选实施例的家用电器输出视听信息的控制方法的流程图;
图3是根据本发明其中一实施例的家用电器输出视听信息控制装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例所提供的方法实施例可以在计算机终端、计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例,图1是本发明实施例的一种家用电器输出视听信息的控制方法的计算机终端的硬件结构框图。如图1所示,计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,在一个示例性实施例中,上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述计算机终端的结构造成限定。例如,计算机终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的家用电器输出视听信息的控制方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
本实施例中提供了一种运行于上述计算机终端的家用电器输出视听信息的控制方法,图2是根据本发明其中一实施例的家用电器输出视听信息的控制方法的流程图,如图2所示,该流程包括如下步骤:
步骤S31,获取目标对象的语音信息、图像信息,语音信息用于控制家电设备执行预设动作,图像信息至少包括:目标对象的面部表情信息;
步骤S32,对语音信息、图像信息中的一个进行识别,得到第一情绪信息,根据语音信息、图像信息中的另一个,利用修正模型对第一情绪信息进行修正,得到第二情绪信息,其中,第一情绪信息包括目标对象的至少一种第一情绪状态,第二情绪信息包括目标对象的至少一种第二情绪状态;
语音信号是一种非平稳的时变信号,在语音编码、语音合成、语音识别和语音增强方面均需要提取语音中包含的各种信息,举例来说,第一情绪状态包括:喜悦、悲伤、愤怒、痛苦。家用电器采集到用户的语音信息后,对语音信息进行预处理后进行识别,得到用户当前的第一情绪状态。
步骤S33,基于第二情绪信息输出与第二情绪信息相匹配的视听信息,其中,视听信息包括至少如下之一:影像信息、光线信息、音频信息。
采集目标对象的图像信息包括通过摄像头、视频采集卡、图像传感器等方式进行图像信息的采集。图像信息至少包括目标对象的面部表情信息;家用电器对目标对象的面部表情进行识别以读取图像信息中包括的用户的情绪状态。
通过上述步骤,获取目标对象的语音信息、图像信息,对语音信息、图像信息中的一个进行识别,得到第一情绪信息,根据语音信息、图像信息中的另一个,利用修正模型对第一情绪信息进行修正,得到第二情绪信息,基于第二情绪信息输出与第二情绪信息相匹配的视听信息,使得家用电器能够根据用户的语音信息和图像信息控制输出与用户情绪状态匹配的视听信息,输出的视听信息与用户情绪状态的匹配度高,不会出现无法输出合适的视听信息或输出的视听信息与用户的情绪状态匹配度极低的情况,达到了家用电器精确地输出视听信息以改善用户的情绪状态的技术效果,进而解决了相关技术的家用电器无法准确地根据用户当前的情绪状态输出视听信息的技术问题。
在一个示例性实施例中,方法包括:对图像信息进行识别,得到第一情绪信息;根据语音信息,利用修正模型对第一情绪信息进行修正,得到第二情绪信息。
进一步地,方法包括:对语音信息进行识别,得到第一情绪信息;根据图像信息,利用修正模型对第一情绪信息进行修正,得到第二情绪信息。
在一个示例性实施例中,对语音信息进行识别,得到第一情绪信息还包括以下执行步骤:提取语音信息中的音频特征,其中,音频特征至少包括如下之一:音调、音色、响度。
需要说明的是,音调用于表征声音的频率的高低,响度用于表征声音的强弱,音色用于表征不同声音表现在波形方便不同的特性。采集语音信息的采样频率可根据实际情况进行配置。
在一个示例性实施例中,对语音信息进行识别,得到第一情绪信息,还包括以下执行步骤:利用语义识别模型提取语音信息中的语气词,其中,语气词包括用于表征目标对象情绪状态的文字;基于音频特征、语气词确定第一情绪信息。
语气词包括“唉”、“哼”、“烦”。举例来说,当检测到语气词“唉”时,确定用户此时的情绪状态为悲伤,当检测到用户的音调过高时,确定用户的情绪状态为愤怒,当同时检测到语气词“唉”和用户音调过高时,在预设时间内重新采集语音信号并基于重新采集的语音信号确定第一情绪信息。
在一个示例性实施例中,根据图像信息,采用修正模型对第一情绪信息进行修正,得到第二情绪信息,包括以下执行步骤:将图像信息与预存图像信息进行比对,获得比对结果;根据比对结果确定是否利用修正模型对第一情绪信息进行修正。
举例来说,当采集到的图像信息包括含有喜悦情绪状态的笑脸时,将该图像信息与预存图像信息(笑脸)进行比对,当两者相似度满足预设条件时,比对结果为是,当两者相似度不满足预设条件时,对比结果为否。
在一个示例性实施例中,利用修正模型对第一情绪信息进行修正,得到第二情绪信息,包括以下执行步骤:
基于图像信息生成图像情绪信息;
判断图像情绪信息与第一情绪信息是否相同,在确定图像情绪信息与第一情绪信息相同的情况下,确定图像情绪信息、第一情绪信息中的一个为第二情绪信息;
举例来说,图像情绪信息为悲伤,第一情绪信息也包括用户的情绪状态为悲伤,则确定图像情绪信息、第一情绪信息中的一个为第二情绪信息,家用电器输出有助于舒缓悲伤情绪的歌曲。
在确定图像情绪信息与第一情绪信息不相同的情况下,在预设时间段内重新采集语音信息,基于重新采集的语音信息得到第三情绪信息,确定第三情绪信息为第一情绪信息。
在一个可选的实施例中,预设时间段为5s,重新采集语音信息的家用电器可以是智能家居系统下任意的家用电器,并通过短距离无线传输技术传输语音信息。
在一个示例性实施例中,对语音信息进行识别,得到第一情绪信息之前,包括以下步骤:提取语音信息中的声纹特征;将声纹特征与预设声纹特征进行匹配;根据匹配结果判断语音信息的发起者是否具有访问权限,在确定发起者具有访问权限的情况下,对语音信息进行识别。这样设置有利于方式家用电器误识别其它声源(如电视人声),通过提取语音信息中的声纹特征,将声纹特征与预设声纹特征进行匹配的方式,并且根据匹配结果判断语音信息的发起者是否具有访问权限,能够在家用电器在进行语音信息的识别前,增加鉴权验证,从而避免家用电器不必要的工作量,从而提高家用电器的工作效率。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
在本实施例中还提供了一种智能家用电器的权限控制装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本发明其中一实施例的家用电器视听信息输出装置的结构框图,如图3所示,该装置包括:获取模块42,用于获取目标对象的语音信息、图像信息,所述语音信息用于控制家电设备执行预设动作,所述图像信息至少包括:所述目标对象的面部表情信息;确定模块44,用于对所述语音信息、所述图像信息中的一个进行识别,得到第一情绪信息,根据所述语音信息、所述图像信息中的另一个,利用修正模型对所述第一情绪信息进行修正,得到第二情绪信息,其中,所述第一情绪信息包括所述目标对象的至少一种第一情绪状态,所述第二情绪信息包括所述目标对象的至少一种第二情绪状态;控制模块46,用于基于所述第二情绪信息输出与所述第二情绪信息相匹配的视听信息,其中,所述视听信息包括至少如下之一:影像信息、光线信息、音频信息
通过上述装置,获取目标对象的语音信息、图像信息,对语音信息、图像信息中的一个进行识别,得到第一情绪信息,根据语音信息、图像信息中的另一个,利用修正模型对第一情绪信息进行修正,得到第二情绪信息,基于第二情绪信息输出与第二情绪信息相匹配的视听信息,使得家用电器能够根据用户的语音信息和图像信息控制输出与用户情绪状态匹配的视听信息,输出的视听信息与用户情绪状态的匹配度高,不会出现无法输出合适的视听信息或输出的视听信息与用户的情绪状态匹配度极低的情况,达到了家用电器精确地输出视听信息以改善用户的情绪状态的技术效果,进而解决了相关技术的家用电器无法准确地根据用户当前的情绪状态输出视听信息的技术问题。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
步骤S1,获取目标对象的语音信息、图像信息,语音信息用于控制家电设备执行预设动作,图像信息至少包括:目标对象的面部表情信息;
步骤S2,对语音信息、图像信息中的一个进行识别,得到第一情绪信息,根据语音信息、图像信息中的另一个,利用修正模型对第一情绪信息进行修正,得到第二情绪信息,其中,第一情绪信息包括目标对象的至少一种第一情绪状态,第二情绪信息包括目标对象的至少一种第二情绪状态;
步骤S3,基于第二情绪信息输出与第二情绪信息相匹配的视听信息,其中,视听信息包括至少如下之一:影像信息、光线信息、音频信息。可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种处理器,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
步骤S1,获取目标对象的语音信息、图像信息,语音信息用于控制家电设备执行预设动作,图像信息至少包括:目标对象的面部表情信息;
步骤S2,对语音信息、图像信息中的一个进行识别,得到第一情绪信息,根据语音信息、图像信息中的另一个,利用修正模型对第一情绪信息进行修正,得到第二情绪信息,其中,第一情绪信息包括目标对象的至少一种第一情绪状态,第二情绪信息包括目标对象的至少一种第二情绪状态;
步骤S3,基于第二情绪信息输出与第二情绪信息相匹配的视听信息,其中,视听信息包括至少如下之一:影像信息、光线信息、音频信息。可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
在一个示例性的实施例中,在通过图像信息或语音信息中的一个确定情绪信息的基础上,利用图像信息或语音信息中的另一个对确定的情绪信息进行修正,能够更加精确地识别用户的情绪状态。
可选地,应用本申请的技术方案的一种实施方式如下:第一、识别用户的面部表情活动获得面部信息,根据面部信息确定当前的第一情绪信息。第二、(1)对语音音频进行语意识别,识别预设关键词,其中,预设关键词包括预设的语气关键词(“唉”、“哼”等语气用语)、预设的用户常见语气词库,以及笑声或哭声等。(2)对语音音频进行语音分析,对采集到的语音信号输入至服务器中并对该音频的音调、频率、音色、响度,并利用预设规则进行评估,或设备基于机器学习对语音进行处理和评估。(3)利用互联的智能家居如手环,血压检测仪等,获取用户的生命体征信息,生命体征信息包括用户的心率信息,瞳孔信息,血压信息。基于上述三种方式综合确定第二情绪状态,当第一情绪信息与第二情绪信息至少一个满足情绪预设条件时,智能家居自适应的输出缓解用户情绪的视听信息。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种家用电器输出视听信息的控制方法,其特征在于,包括:
获取目标对象的语音信息、图像信息,所述语音信息用于控制家电设备执行预设动作,所述图像信息至少包括:所述目标对象的面部表情信息;
对所述语音信息、所述图像信息中的一个进行识别,得到第一情绪信息,根据所述语音信息、所述图像信息中的另一个,利用修正模型对所述第一情绪信息进行修正,得到第二情绪信息,其中,所述第一情绪信息包括所述目标对象的至少一种第一情绪状态,所述第二情绪信息包括所述目标对象的至少一种第二情绪状态;
基于所述第二情绪信息输出与所述第二情绪信息相匹配的视听信息,其中,所述视听信息包括至少如下之一:影像信息、光线信息、音频信息。
2.根据权利要求1所述的家用电器输出视听信息的控制方法,其特征在于,所述方法包括:
对所述语音信息进行识别,得到所述第一情绪信息;
根据所述图像信息,利用所述修正模型对所述第一情绪信息进行修正,得到所述第二情绪信息。
3.根据权利要求2所述的家用电器输出视听信息的控制方法,其特征在于,对所述语音信息进行识别,得到所述第一情绪信息,包括:
提取所述语音信息中的音频特征,其中,所述音频特征至少包括如下之一:音调、音色、响度。
4.根据权利要求3所述的家用电器输出视听信息的控制方法,其特征在于,对所述语音信息进行识别,得到所述第一情绪信息,还包括:
利用语义识别模型提取所述语音信息中的语气词,其中,所述语气词包括用于表征目标对象情绪状态的文字;
基于所述音频特征、所述语气词确定所述第一情绪信息。
5.根据权利要求2所述的家用电器输出视听信息的控制方法,其特征在于,根据所述图像信息,利用所述修正模型对所述第一情绪信息进行修正,得到第二情绪信息,包括:
将所述图像信息与预存图像信息进行比对,获得比对结果;
根据所述比对结果确定是否利用所述修正模型对所述第一情绪信息进行修正。
6.根据权利要求2所述的家用电器输出视听信息的控制方法,其特征在于,根据所述图像信息,利用所述修正模型对所述第一情绪信息进行修正,得到第二情绪信息,还包括:
基于所述图像信息生成图像情绪信息;
判断所述图像情绪信息与所述第一情绪信息是否相同,在确定所述图像情绪信息与所述第一情绪信息相同的情况下,确定所述图像情绪信息、所述第一情绪信息中的一个为所述第二情绪信息;
在确定所述图像情绪信息与所述第一情绪信息不相同的情况下,在预设时间段内重新采集所述语音信息,基于重新采集的所述语音信息生成第三情绪信息,确定所述第三情绪信息为所述第一情绪信息。
7.根据权利要求2所述的家用电器输出视听信息的控制方法,其特征在于,对所述语音信息进行识别,得到第一情绪信息之前,包括:
提取所述语音信息中的声纹特征;
将所述声纹特征与预设声纹特征进行匹配;
根据匹配结果判断所述语音信息的发起者是否具有访问权限,在确定发起者具有访问权限的情况下,对所述语音信息进行识别。
8.一种家用电器视听信息输出装置,其特征在于,包括:
获取模块,用于获取目标对象的语音信息、图像信息,所述语音信息用于控制家电设备执行预设动作,所述图像信息至少包括:所述目标对象的面部表情信息;
确定模块,用于对所述语音信息、所述图像信息中的一个进行识别,得到第一情绪信息,根据所述语音信息、所述图像信息中的另一个,利用修正模型对所述第一情绪信息进行修正,得到第二情绪信息,其中,所述第一情绪信息包括所述目标对象的至少一种第一情绪状态,所述第二情绪信息包括所述目标对象的至少一种第二情绪状态;
控制模块,用于基于所述第二情绪信息输出与所述第二情绪信息相匹配的视听信息,其中,所述视听信息包括至少如下之一:影像信息、光线信息、音频信息。
9.一种非易失性存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的家用电器输出视听信息的控制方法。
10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序被设置为运行时执行所述权利要求1至7任一项中所述的家用电器输出视听信息的控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111603630.4A CN114283804A (zh) | 2021-12-24 | 2021-12-24 | 家用电器输出视听信息的控制方法、装置、存储介质及处理器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111603630.4A CN114283804A (zh) | 2021-12-24 | 2021-12-24 | 家用电器输出视听信息的控制方法、装置、存储介质及处理器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114283804A true CN114283804A (zh) | 2022-04-05 |
Family
ID=80875425
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111603630.4A Pending CN114283804A (zh) | 2021-12-24 | 2021-12-24 | 家用电器输出视听信息的控制方法、装置、存储介质及处理器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114283804A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115047824A (zh) * | 2022-05-30 | 2022-09-13 | 青岛海尔科技有限公司 | 数字孪生多模态设备控制方法、存储介质及电子装置 |
-
2021
- 2021-12-24 CN CN202111603630.4A patent/CN114283804A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115047824A (zh) * | 2022-05-30 | 2022-09-13 | 青岛海尔科技有限公司 | 数字孪生多模态设备控制方法、存储介质及电子装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110459214B (zh) | 语音交互方法及装置 | |
CN108039988B (zh) | 设备控制处理方法及装置 | |
US11475897B2 (en) | Method and apparatus for response using voice matching user category | |
CN107147618B (zh) | 一种用户注册方法、装置及电子设备 | |
US20200126566A1 (en) | Method and apparatus for voice interaction | |
CN112634897B (zh) | 设备唤醒方法、装置和存储介质及电子装置 | |
CN102404278A (zh) | 一种基于声纹识别的点歌系统及其应用方法 | |
US10657960B2 (en) | Interactive system, terminal, method of controlling dialog, and program for causing computer to function as interactive system | |
CN109065051B (zh) | 一种语音识别处理方法及装置 | |
CN112382287B (zh) | 语音交互方法、装置、电子设备和存储介质 | |
CN111105796A (zh) | 无线耳机控制装置及控制方法、语音控制设置方法和系统 | |
CN110265011A (zh) | 一种电子设备的交互方法及其电子设备 | |
CN109710799B (zh) | 语音交互方法、介质、装置和计算设备 | |
CN110442867A (zh) | 图像处理方法、装置、终端及计算机存储介质 | |
CN110148393B (zh) | 音乐生成方法、装置和系统以及数据处理方法 | |
CN111413877A (zh) | 控制家电设备的方法及装置 | |
CN110931018A (zh) | 智能语音交互的方法、装置及计算机可读存储介质 | |
CN114283804A (zh) | 家用电器输出视听信息的控制方法、装置、存储介质及处理器 | |
CN113129893B (zh) | 一种语音识别方法、装置、设备及存储介质 | |
CN111128127A (zh) | 一种语音识别处理方法及装置 | |
CN115047824A (zh) | 数字孪生多模态设备控制方法、存储介质及电子装置 | |
CN117975957A (zh) | 一种基于人工智能的交互系统及装置 | |
CN112672120B (zh) | 一种带语音分析功能的投影仪及个人健康数据生成方法 | |
CN110288996A (zh) | 一种语音识别装置和语音识别方法 | |
US20160163313A1 (en) | Information processing method and electronic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |