CN106354034A - 一种通过情感控制的控制开关 - Google Patents
一种通过情感控制的控制开关 Download PDFInfo
- Publication number
- CN106354034A CN106354034A CN201610620792.1A CN201610620792A CN106354034A CN 106354034 A CN106354034 A CN 106354034A CN 201610620792 A CN201610620792 A CN 201610620792A CN 106354034 A CN106354034 A CN 106354034A
- Authority
- CN
- China
- Prior art keywords
- command information
- unit
- emotion
- emotional
- recognition result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种通过情感控制的控制开关,其特征是,包括控制开关和与控制开关相连的情感控制系统,所述控制开关包括:接收单元,用于通过无线网络接收指令信息,所述指令信息包括电器件的身份标识和命令信息;判断单元,用于根据所述接收单元接收到的指令信息判断所述电器件与自身是否有线连接;若是,则执行控制单元;若否,则执行通知单元;控制单元,用于按照所述接收单元接收到的指令信息对所述电器件进行相应的控制;通知单元,用于将所述指令信息通知其它控制开关。本发明无需考虑对电器件与控制开关之间的距离进行重新设置,降低了场所中布置电线材料和安装工程的成本。
Description
技术领域
本发明涉及控制开关领域,具体涉及一种通过情感控制的控制开关。
背景技术
控制开关极大的方便了人们的生活,但是安装复杂的问题一直没有得到较好的解决。
情感在人们相互交际过程中起着极其重要的作用。借助情感表达所伴随着的外在表现信息,如情感化的语音信号或面部表情,人们可以很方便地相互沟通、相互了解。对于人类情感方面的研究,一直是生理学、神经学、心理学等领域的重要研究方向,近几年来倍受工程领域研究者的关注。当前,对于单模态情感研究较多,但是对于多模态情感融合的研究较为有限。
发明内容
针对上述问题,本发明提供一种通过情感控制的控制开关。
本发明的目的采用以下技术方案来实现:
一种通过情感控制的控制开关,其特征是,包括控制开关和与控制开关相连的情感控制系统,所述控制开关包括:
接收单元,用于通过无线网络接收指令信息,所述指令信息包括电器件的身份标识和命令信息;
判断单元,用于根据所述接收单元接收到的指令信息判断所述电器件与自身是否有线连接;若是,则执行控制单元;若否,则执行通知单元;
控制单元,用于按照所述接收单元接收到的指令信息对所述电器件进行相应的控制;
通知单元,用于将所述指令信息通知其它控制开关。
优选地,所述通知单元,还用于通知其它控制开关所述电器件的状态指示信息,所述状态指示信息为所述电器件状态按照命令信息进行控制后的状态。
优选地,所述接收单元接收到的指令信息中的命令信息包括开关设定、等级设定和/或场景设定。
本发明的有益效果为:无需考虑对电器件与控制开关之间的距离进行重新设置,降低了场所中布置电线材料和安装工程的成本。
附图说明
利用附图对本发明作进一步说明,但附图中的实施例不构成对本发明的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。
图1是本发明控制开关的结构示意图;
图2是本发明情感控制系统的结构示意图。
附图标记:
语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3、控制模块4、声学特征提取子模块11、声学特征降维子模块12、语音情感分类处理子模块13、表情特征提取子模块21、表情特征降维子模块22、表情情感分类处理子模块23。
具体实施方式
结合以下实施例对本发明作进一步描述。
应用场景1
参见图1、图2,本应用场景中的一个具体实施例一种通过情感控制的控制开关,其特征是,包括控制开关和与控制开关相连的情感控制系统,所述控制开关包括:
接收单元,用于通过无线网络接收指令信息,所述指令信息包括电器件的身份标识和命令信息;
判断单元,用于根据所述接收单元接收到的指令信息判断所述电器件与自身是否有线连接;若是,则执行控制单元;若否,则执行通知单元;
控制单元,用于按照所述接收单元接收到的指令信息对所述电器件进行相应的控制;
通知单元,用于将所述指令信息通知其它控制开关。
优选地,所述通知单元,还用于通知其它控制开关所述电器件的状态指示信息,所述状态指示信息为所述电器件状态按照命令信息进行控制后的状态。
本优选实施例无需考虑对电器件与控制开关之间的距离进行重新设置,降低了场所中布置电线材料和安装工程的成本。
优选地,所述接收单元接收到的指令信息中的命令信息包括开关设定、等级设定和/或场景设定。
本优选实施例客户体验更好。
优选地,所述情感控制系统包括语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3和控制模块4:
(1)语音情感识别处理模块1,用于获取用户的语音信号,并对语音信号进行处理,最终输出语音情感识别结果,其包括声学特征提取子模块11、声学特征降维子模块12和语音情感分类处理子模块13;所述声学特征提取子模块11用于提取声学特征数据;所述声学特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理;所述语音情感分类处理子模块13用于采用已训练好的支持向量机作为语音情感识别分类器,对降维后的声学特征数据进行情感识别并输出语音情感识别结果,支持向量机的核函数采用高斯核函数;
(2)表情情感识别处理模块2,用于获取用户的表情图像,并对表情图像特征进行处理,最终生成表情情感识别结果,其包括表情特征提取子模块21、表情特征降维子模块22和表情情感分类处理子模块23;所述表情特征提取子模块21用于采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取;所述表情特征降维子模块22用于采用所述改进的局部线性嵌入方法对所述表情特征数据进行降维处理,并采用形态学处理方法做滤波处理;所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识别分类器,对降维、滤波处理后的表情特征数据进行情感识别并输出表情情感识别结果;
(3)多模态情感融合识别处理模块3,用于基于所述语音情感识别结果和表情情感识别结果,根据预定的多模态情感融合策略生成用户情感识别结果;
(4)控制模块,用于根据所述用户情感识别结果,在验证用户身份的前提下控制控制开关执行相应的操作。
本优选实施例设置多模态情感融合识别处理模块3,基于所述语音情感识别结果和表情情感识别结果,增强了识别结果的可靠性。
优选地,所述用户情感识别结果包括高级别和低级别的褒义情感,中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型。
所述在验证用户身份的前提下控制控制开关执行相应的操作,具体为:所述控制模块基于预先设置的语音特征数据库,匹配所述用户的语音信号的语音特征,从而进行用户身份验证,若验证通过,控制模块控制控制开关执行相应的操作。
所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理,包括:
(1)将提取的声学特征数据中的声学特征向量看成是高维空间中的样本数据点,设M维的N个样本数据点为Xi,Xi∈RM,i∈[1,N],类别号为Ci,嵌入输出的N个m维的降维数据点为Yi,Yi∈Rm,i∈[1,N],m≤M,且m值的范围为[2,20],对每个样本数据点Xi确定其邻域点的数目K,邻域点的距离公式为:
式中,L′是结合样本数据点类别信息计算后的距离,L是忽略样本数据点类别信息的原始欧氏距离,参数λ用来防止L过快增长,max(L)表示最大欧氏距离,min(L)表示最小欧式距离,常数因子δ1、δ2(0≤δ1、δ2≤1),共同控制距离计算时样本数据点类别信息的结合数量程度;
(2)利用每个样本数据点Xi的邻域点计算出样本数据点的局部重建权值矩阵Wij,要求最小化下列损失函数:
式中,Wij为Xi与Xj之间的权值,且需满足对Xi的非邻域点,Wij=0;
(3)计算各样本数据点Xi的K个邻域点的权重之和:
其中,
式中,Zij为各邻域点之间的加权矩阵,d(Xi,Xj)表示样本数据点间的Fisher投影距离,ξ为可调参数;
(4)利用该样本数据点的局部重建权值矩阵Wij以及其邻域点计算出该样本数据点的输出值,具体是将所有的样本数据点Xi映射嵌入到低维空间中,并使得低维重构的误差达到最小,要求最小化下列损失函数:
式中,需满足 其中构建一个稀疏矩阵M=(I-W)T(I-W),通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点Xi的嵌入输出值。
所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为:
式中,α、β分别表示核函数的方向和频率大小,α、β按照按如下方法设置:当表情图像质量较好时,选取三个中心频率β={0,1,2}和六个方向α={0,1,…,5}组成的18个Gabor滤波器用于特征提取;当表情图像受到腐蚀、遮挡时,选取四个中心频率β={0,1…,3}和八个方向α={0,1,…,7}组成的32个Gabor滤波器用于特征提取;
σ表示采用高斯函数窗口的大小,用来决定滤波器的带宽,σ能够根据参数设置进行自适应调整:将表情图像分成v×v子块,根据每个子块特征数目选择σ,特征数目大的子块设定σ=π,特征数目少的子块设定σ=2π;
kα,β为小波矢量,其中,kβ和分别表示Gabor滤波器在频率和方向空间的采样方式。
所述预定的多模态情感融合策略为:
设已经计算出一个测试样本x对于c类的分类情况下,采用n个分类器进行分类得到的后验概率集合为{pij(x),i=1,2,…,n,j=1,2,…,c},对n个分类器取得的后验概率按照方差规则集成得到一个新的后验概率集合{qj(x),j=1,2,…,c},从中按照预定的挑选规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果;
对于j类测试样本,按照方差规则获得的新的后验概率qj(x)可表示为:
式中,
对于j类测试样本,最终所获得的识别类别可表示为:
ρ(x)=argmaxj(qj(x))
其中,所述预定的挑选规则为:将所述新的后验概率集合中的后验概率值按照从大到小顺序进行排列的前3个后验概率值为qj(x)max,qj(x)max-1,qj(x)max-2,若 选择qj(x)max作为合适的后验概率值,否则选择qj(x)max-1作为合适的后验概率值,其中Qq为设定的后验概率权值,取值范围为[1.4,1.6]。
本优选实施例设置改进的局部线性嵌入方法,需要确定的参数比较少,只有邻域数k和输出维数d,大大减少了运算量,且可以学习出任意维数的低维流形,提高了识别速度;采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取,具有旋转、平移以及伸缩变换条件下不变的性质,而且能得到一个解析的全局最优解;在声学特征降维子模块12对声学特征数据进行降维处理的过程中,计算各样本数据点Xi的K个邻域点的权重之和,并将其考虑到低维重构的损失函数中,降低了噪声的影响和数据样本外点对降维的干扰,进一步提高了情感识别的精度;设置预定的多模态情感融合策略,并根据多模态情感融合策略生成用户情感识别结果,使识别结果更加可靠准确。
本应用场景设定后验概率权值为Qq=1.4,识别精度相对提高了12%。
应用场景2
参见图1、图2,本应用场景中的一个具体实施例一种通过情感控制的控制开关,其特征是,包括控制开关和与控制开关相连的情感控制系统,所述控制开关包括:
接收单元,用于通过无线网络接收指令信息,所述指令信息包括电器件的身份标识和命令信息;
判断单元,用于根据所述接收单元接收到的指令信息判断所述电器件与自身是否有线连接;若是,则执行控制单元;若否,则执行通知单元;
控制单元,用于按照所述接收单元接收到的指令信息对所述电器件进行相应的控制;
通知单元,用于将所述指令信息通知其它控制开关。
优选地,所述通知单元,还用于通知其它控制开关所述电器件的状态指示信息,所述状态指示信息为所述电器件状态按照命令信息进行控制后的状态。
本优选实施例无需考虑对电器件与控制开关之间的距离进行重新设置,降低了场所中布置电线材料和安装工程的成本。
优选地,所述接收单元接收到的指令信息中的命令信息包括开关设定、等级设定和/或场景设定。
本优选实施例客户体验更好。
优选地,所述情感控制系统包括语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3和控制模块4:
(1)语音情感识别处理模块1,用于获取用户的语音信号,并对语音信号进行处理,最终输出语音情感识别结果,其包括声学特征提取子模块11、声学特征降维子模块12和语音情感分类处理子模块13;所述声学特征提取子模块11用于提取声学特征数据;所述声学特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理;所述语音情感分类处理子模块13用于采用已训练好的支持向量机作为语音情感识别分类器,对降维后的声学特征数据进行情感识别并输出语音情感识别结果,支持向量机的核函数采用高斯核函数;
(2)表情情感识别处理模块2,用于获取用户的表情图像,并对表情图像特征进行处理,最终生成表情情感识别结果,其包括表情特征提取子模块21、表情特征降维子模块22和表情情感分类处理子模块23;所述表情特征提取子模块21用于采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取;所述表情特征降维子模块22用于采用所述改进的局部线性嵌入方法对所述表情特征数据进行降维处理,并采用形态学处理方法做滤波处理;所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识别分类器,对降维、滤波处理后的表情特征数据进行情感识别并输出表情情感识别结果;
(3)多模态情感融合识别处理模块3,用于基于所述语音情感识别结果和表情情感识别结果,根据预定的多模态情感融合策略生成用户情感识别结果;
(4)控制模块,用于根据所述用户情感识别结果,在验证用户身份的前提下控制控制开关执行相应的操作。
本优选实施例设置多模态情感融合识别处理模块3,基于所述语音情感识别结果和表情情感识别结果,增强了识别结果的可靠性。
优选地,所述用户情感识别结果包括高级别和低级别的褒义情感,中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型。
所述在验证用户身份的前提下控制控制开关执行相应的操作,具体为:所述控制模块基于预先设置的语音特征数据库,匹配所述用户的语音信号的语音特征,从而进行用户身份验证,若验证通过,控制模块控制控制开关执行相应的操作。
所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理,包括:
(1)将提取的声学特征数据中的声学特征向量看成是高维空间中的样本数据点,设M维的N个样本数据点为Xi,Xi∈RM,i∈[1,N],类别号为Ci,嵌入输出的N个m维的降维数据点为Yi,Yi∈Rm,i∈[1,N],m≤M,且m值的范围为[2,20],对每个样本数据点Xi确定其邻域点的数目K,邻域点的距离公式为:
式中,L′是结合样本数据点类别信息计算后的距离,L是忽略样本数据点类别信息的原始欧氏距离,参数λ用来防止L过快增长,max(L)表示最大欧氏距离,min(L)表示最小欧式距离,常数因子δ1、δ2(0≤δ1、δ2≤1),共同控制距离计算时样本数据点类别信息的结合数量程度;
(2)利用每个样本数据点Xi的邻域点计算出样本数据点的局部重建权值矩阵Wij,要求最小化下列损失函数:
式中,Wij为Xi与Xj之间的权值,且需满足对Xi的非邻域点,Wij=0;
(3)计算各样本数据点Xi的K个邻域点的权重之和:
其中,
式中,Zij为各邻域点之间的加权矩阵,d(Xi,Xj)表示样本数据点间的Fisher投影距离,ξ为可调参数;
(4)利用该样本数据点的局部重建权值矩阵Wij以及其邻域点计算出该样本数据点的输出值,具体是将所有的样本数据点Xi映射嵌入到低维空间中,并使得低维重构的误差达到最小,要求最小化下列损失函数:
式中,需满足其中构建一个稀疏矩阵M=(I-W)T(I-W),通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点Xi的嵌入输出值。
所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为:
式中,α、β分别表示核函数的方向和频率大小,α、β按照按如下方法设置:当表情图像质量较好时,选取三个中心频率β={0,1,2}和六个方向α={0,1,…,5}组成的18个Gabor滤波器用于特征提取;当表情图像受到腐蚀、遮挡时,选取四个中心频率β={0,1…,3}和八个方向α={0,1,…,7}组成的32个Gabor滤波器用于特征提取;
σ表示采用高斯函数窗口的大小,用来决定滤波器的带宽,σ能够根据参数设置进行自适应调整:将表情图像分成v×v子块,根据每个子块特征数目选择σ,特征数目大的子块设定σ=π,特征数目少的子块设定σ=2π;
kα,β为小波矢量,其中,kβ和分别表示Gabor滤波器在频率和方向空间的采样方式。
所述预定的多模态情感融合策略为:
设已经计算出一个测试样本x对于c类的分类情况下,采用n个分类器进行分类得到的后验概率集合为{pij(x),i=1,2,…,n,j=1,2,…,c},对n个分类器取得的后验概率按照方差规则集成得到一个新的后验概率集合{qj(x),j=1,2,…,c},从中按照预定的挑选规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果;
对于j类测试样本,按照方差规则获得的新的后验概率qj(x)可表示为:
式中,
对于j类测试样本,最终所获得的识别类别可表示为:
ρ(x)=argmaxj(qj(x))
其中,所述预定的挑选规则为:将所述新的后验概率集合中的后验概率值按照从大到小顺序进行排列的前3个后验概率值为qj(x)max,qj(x)max-1,qj(x)max-2,若 选择qj(x)max作为合适的后验概率值,否则选择qj(x)max-1作为合适的后验概率值,其中Qq为设定的后验概率权值,取值范围为[1.4,1.6]。
本优选实施例设置改进的局部线性嵌入方法,需要确定的参数比较少,只有邻域数k和输出维数d,大大减少了运算量,且可以学习出任意维数的低维流形,提高了识别速度;采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取,具有旋转、平移以及伸缩变换条件下不变的性质,而且能得到一个解析的全局最优解;在声学特征降维子模块12对声学特征数据进行降维处理的过程中,计算各样本数据点Xi的K个邻域点的权重之和,并将其考虑到低维重构的损失函数中,降低了噪声的影响和数据样本外点对降维的干扰,进一步提高了情感识别的精度;设置预定的多模态情感融合策略,并根据多模态情感融合策略生成用户情感识别结果,使识别结果更加可靠准确。
本应用场景设定后验概率权值为Qq=1.45,识别精度相对提高了10%。
应用场景3
参见图1、图2,本应用场景中的一个具体实施例一种通过情感控制的控制开关,其特征是,包括控制开关和与控制开关相连的情感控制系统,所述控制开关包括:
接收单元,用于通过无线网络接收指令信息,所述指令信息包括电器件的身份标识和命令信息;
判断单元,用于根据所述接收单元接收到的指令信息判断所述电器件与自身是否有线连接;若是,则执行控制单元;若否,则执行通知单元;
控制单元,用于按照所述接收单元接收到的指令信息对所述电器件进行相应的控制;
通知单元,用于将所述指令信息通知其它控制开关。
优选地,所述通知单元,还用于通知其它控制开关所述电器件的状态指示信息,所述状态指示信息为所述电器件状态按照命令信息进行控制后的状态。
本优选实施例无需考虑对电器件与控制开关之间的距离进行重新设置,降低了场所中布置电线材料和安装工程的成本。
优选地,所述接收单元接收到的指令信息中的命令信息包括开关设定、等级设定和/或场景设定。
本优选实施例客户体验更好。
优选地,所述情感控制系统包括语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3和控制模块4:
(1)语音情感识别处理模块1,用于获取用户的语音信号,并对语音信号进行处理,最终输出语音情感识别结果,其包括声学特征提取子模块11、声学特征降维子模块12和语音情感分类处理子模块13;所述声学特征提取子模块11用于提取声学特征数据;所述声学特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理;所述语音情感分类处理子模块13用于采用已训练好的支持向量机作为语音情感识别分类器,对降维后的声学特征数据进行情感识别并输出语音情感识别结果,支持向量机的核函数采用高斯核函数;
(2)表情情感识别处理模块2,用于获取用户的表情图像,并对表情图像特征进行处理,最终生成表情情感识别结果,其包括表情特征提取子模块21、表情特征降维子模块22和表情情感分类处理子模块23;所述表情特征提取子模块21用于采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取;所述表情特征降维子模块22用于采用所述改进的局部线性嵌入方法对所述表情特征数据进行降维处理,并采用形态学处理方法做滤波处理;所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识别分类器,对降维、滤波处理后的表情特征数据进行情感识别并输出表情情感识别结果;
(3)多模态情感融合识别处理模块3,用于基于所述语音情感识别结果和表情情感识别结果,根据预定的多模态情感融合策略生成用户情感识别结果;
(4)控制模块,用于根据所述用户情感识别结果,在验证用户身份的前提下控制控制开关执行相应的操作。
本优选实施例设置多模态情感融合识别处理模块3,基于所述语音情感识别结果和表情情感识别结果,增强了识别结果的可靠性。
优选地,所述用户情感识别结果包括高级别和低级别的褒义情感,中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型。
所述在验证用户身份的前提下控制控制开关执行相应的操作,具体为:所述控制模块基于预先设置的语音特征数据库,匹配所述用户的语音信号的语音特征,从而进行用户身份验证,若验证通过,控制模块控制控制开关执行相应的操作。
所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理,包括:
(1)将提取的声学特征数据中的声学特征向量看成是高维空间中的样本数据点,设M维的N个样本数据点为Xi,Xi∈RM,i∈[1,N],类别号为Ci,嵌入输出的N个m维的降维数据点为Yi,Yi∈Rm,i∈[1,N],m≤M,且m值的范围为[2,20],对每个样本数据点Xi确定其邻域点的数目K,邻域点的距离公式为:
式中,L′是结合样本数据点类别信息计算后的距离,L是忽略样本数据点类别信息的原始欧氏距离,参数λ用来防止L过快增长,max(L)表示最大欧氏距离,min(L)表示最小欧式距离,常数因子δ1、δ2(0≤δ1、δ2≤1),共同控制距离计算时样本数据点类别信息的结合数量程度;
(2)利用每个样本数据点Xi的邻域点计算出样本数据点的局部重建权值矩阵Wij,要求最小化下列损失函数:
式中,Wij为Xi与Xj之间的权值,且需满足对Xi的非邻域点,Wij=0;
(3)计算各样本数据点Xi的K个邻域点的权重之和:
其中,
式中,Zij为各邻域点之间的加权矩阵,d(Xi,Xj)表示样本数据点间的Fisher投影距离,ξ为可调参数;
(4)利用该样本数据点的局部重建权值矩阵Wij以及其邻域点计算出该样本数据点的输出值,具体是将所有的样本数据点Xi映射嵌入到低维空间中,并使得低维重构的误差达到最小,要求最小化下列损失函数:
式中,需满足其中构建一个稀疏矩阵M=(I-W)T(I-W),通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点Xi的嵌入输出值。
所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为:
式中,α、β分别表示核函数的方向和频率大小,α、β按照按如下方法设置:当表情图像质量较好时,选取三个中心频率β={0,1,2}和六个方向α={0,1,…,5}组成的18个Gabor滤波器用于特征提取;当表情图像受到腐蚀、遮挡时,选取四个中心频率β={0,1…,3}和八个方向α={0,1,…,7}组成的32个Gabor滤波器用于特征提取;
σ表示采用高斯函数窗口的大小,用来决定滤波器的带宽,σ能够根据参数设置进行自适应调整:将表情图像分成v×v子块,根据每个子块特征数目选择σ,特征数目大的子块设定σ=π,特征数目少的子块设定σ=2π;
kα,β为小波矢量,其中,kβ和分别表示Gabor滤波器在频率和方向空间的采样方式。
所述预定的多模态情感融合策略为:
设已经计算出一个测试样本x对于c类的分类情况下,采用n个分类器进行分类得到的后验概率集合为{pij(x),i=1,2,…,n,j=1,2,…,c},对n个分类器取得的后验概率按照方差规则集成得到一个新的后验概率集合{qj(x),j=1,2,…,c},从中按照预定的挑选规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果;
对于j类测试样本,按照方差规则获得的新的后验概率qj(x)可表示为:
式中,
对于j类测试样本,最终所获得的识别类别可表示为:
ρ(x)=argmaxj(qj(x))
其中,所述预定的挑选规则为:将所述新的后验概率集合中的后验概率值按照从大到小顺序进行排列的前3个后验概率值为qj(x)max,qj(x)max-1,qj(x)max-2,若 选择qj(x)max作为合适的后验概率值,否则选择qj(x)max-1作为合适的后验概率值,其中Qq为设定的后验概率权值,取值范围为[1.4,1.6]。
本优选实施例设置改进的局部线性嵌入方法,需要确定的参数比较少,只有邻域数k和输出维数d,大大减少了运算量,且可以学习出任意维数的低维流形,提高了识别速度;采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取,具有旋转、平移以及伸缩变换条件下不变的性质,而且能得到一个解析的全局最优解;在声学特征降维子模块12对声学特征数据进行降维处理的过程中,计算各样本数据点Xi的K个邻域点的权重之和,并将其考虑到低维重构的损失函数中,降低了噪声的影响和数据样本外点对降维的干扰,进一步提高了情感识别的精度;设置预定的多模态情感融合策略,并根据多模态情感融合策略生成用户情感识别结果,使识别结果更加可靠准确。
本应用场景设定后验概率权值为Qq=1.5,识别精度相对提高了15%。
应用场景4
参见图1、图2,本应用场景中的一个具体实施例一种通过情感控制的控制开关,其特征是,包括控制开关和与控制开关相连的情感控制系统,所述控制开关包括:
接收单元,用于通过无线网络接收指令信息,所述指令信息包括电器件的身份标识和命令信息;
判断单元,用于根据所述接收单元接收到的指令信息判断所述电器件与自身是否有线连接;若是,则执行控制单元;若否,则执行通知单元;
控制单元,用于按照所述接收单元接收到的指令信息对所述电器件进行相应的控制;
通知单元,用于将所述指令信息通知其它控制开关。
优选地,所述通知单元,还用于通知其它控制开关所述电器件的状态指示信息,所述状态指示信息为所述电器件状态按照命令信息进行控制后的状态。
本优选实施例无需考虑对电器件与控制开关之间的距离进行重新设置,降低了场所中布置电线材料和安装工程的成本。
优选地,所述接收单元接收到的指令信息中的命令信息包括开关设定、等级设定和/或场景设定。
本优选实施例客户体验更好。
优选地,所述情感控制系统包括语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3和控制模块4:
(1)语音情感识别处理模块1,用于获取用户的语音信号,并对语音信号进行处理,最终输出语音情感识别结果,其包括声学特征提取子模块11、声学特征降维子模块12和语音情感分类处理子模块13;所述声学特征提取子模块11用于提取声学特征数据;所述声学特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理;所述语音情感分类处理子模块13用于采用已训练好的支持向量机作为语音情感识别分类器,对降维后的声学特征数据进行情感识别并输出语音情感识别结果,支持向量机的核函数采用高斯核函数;
(2)表情情感识别处理模块2,用于获取用户的表情图像,并对表情图像特征进行处理,最终生成表情情感识别结果,其包括表情特征提取子模块21、表情特征降维子模块22和表情情感分类处理子模块23;所述表情特征提取子模块21用于采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取;所述表情特征降维子模块22用于采用所述改进的局部线性嵌入方法对所述表情特征数据进行降维处理,并采用形态学处理方法做滤波处理;所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识别分类器,对降维、滤波处理后的表情特征数据进行情感识别并输出表情情感识别结果;
(3)多模态情感融合识别处理模块3,用于基于所述语音情感识别结果和表情情感识别结果,根据预定的多模态情感融合策略生成用户情感识别结果;
(4)控制模块,用于根据所述用户情感识别结果,在验证用户身份的前提下控制控制开关执行相应的操作。
本优选实施例设置多模态情感融合识别处理模块3,基于所述语音情感识别结果和表情情感识别结果,增强了识别结果的可靠性。
优选地,所述用户情感识别结果包括高级别和低级别的褒义情感,中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型。
所述在验证用户身份的前提下控制控制开关执行相应的操作,具体为:所述控制模块基于预先设置的语音特征数据库,匹配所述用户的语音信号的语音特征,从而进行用户身份验证,若验证通过,控制模块控制控制开关执行相应的操作。
所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理,包括:
(1)将提取的声学特征数据中的声学特征向量看成是高维空间中的样本数据点,设M维的N个样本数据点为Xi,Xi∈RM,i∈[1,N],类别号为Ci,嵌入输出的N个m维的降维数据点为Yi,Yi∈Rm,i∈[1,N],m≤M,且m值的范围为[2,20],对每个样本数据点Xi确定其邻域点的数目K,邻域点的距离公式为:
式中,L′是结合样本数据点类别信息计算后的距离,L是忽略样本数据点类别信息的原始欧氏距离,参数λ用来防止L过快增长,max(L)表示最大欧氏距离,min(L)表示最小欧式距离,常数因子δ1、δ2(0≤δ1、δ2≤1),共同控制距离计算时样本数据点类别信息的结合数量程度;
(2)利用每个样本数据点Xi的邻域点计算出样本数据点的局部重建权值矩阵Wij,要求最小化下列损失函数:
式中,Wij为Xi与Xj之间的权值,且需满足对Xi的非邻域点,Wij=0;
(3)计算各样本数据点Xi的K个邻域点的权重之和:
其中,
式中,Zij为各邻域点之间的加权矩阵,d(Xi,Xj)表示样本数据点间的Fisher投影距离,ξ为可调参数;
(4)利用该样本数据点的局部重建权值矩阵Wij以及其邻域点计算出该样本数据点的输出值,具体是将所有的样本数据点Xi映射嵌入到低维空间中,并使得低维重构的误差达到最小,要求最小化下列损失函数:
式中,需满足其中构建一个稀疏矩阵M=(I-W)T(I-W),通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点Xi的嵌入输出值。
所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为:
式中,α、β分别表示核函数的方向和频率大小,α、β按照按如下方法设置:当表情图像质量较好时,选取三个中心频率β={0,1,2}和六个方向α={0,1,…,5}组成的18个Gabor滤波器用于特征提取;当表情图像受到腐蚀、遮挡时,选取四个中心频率β={0,1…,3}和八个方向α={0,1,…,7}组成的32个Gabor滤波器用于特征提取;
σ表示采用高斯函数窗口的大小,用来决定滤波器的带宽,σ能够根据参数设置进行自适应调整:将表情图像分成v×v子块,根据每个子块特征数目选择σ,特征数目大的子块设定σ=π,特征数目少的子块设定σ=2π;
kα,β为小波矢量,其中,kβ和分别表示Gabor滤波器在频率和方向空间的采样方式。
所述预定的多模态情感融合策略为:
设已经计算出一个测试样本x对于c类的分类情况下,采用n个分类器进行分类得到的后验概率集合为{pij(x),i=1,2,…,n,j=1,2,…,c},对n个分类器取得的后验概率按照方差规则集成得到一个新的后验概率集合{qj(x),j=1,2,…,c},从中按照预定的挑选规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果;
对于j类测试样本,按照方差规则获得的新的后验概率qj(x)可表示为:
式中,
对于j类测试样本,最终所获得的识别类别可表示为:
ρ(x)=argmaxj(qj(x))
其中,所述预定的挑选规则为:将所述新的后验概率集合中的后验概率值按照从大到小顺序进行排列的前3个后验概率值为qj(x)max,qj(x)max-1,qj(x)max-2,若 选择qj(x)max作为合适的后验概率值,否则选择qj(x)max-1作为合适的后验概率值,其中Qq为设定的后验概率权值,取值范围为[1.4,1.6]。
本优选实施例设置改进的局部线性嵌入方法,需要确定的参数比较少,只有邻域数k和输出维数d,大大减少了运算量,且可以学习出任意维数的低维流形,提高了识别速度;采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取,具有旋转、平移以及伸缩变换条件下不变的性质,而且能得到一个解析的全局最优解;在声学特征降维子模块12对声学特征数据进行降维处理的过程中,计算各样本数据点Xi的K个邻域点的权重之和,并将其考虑到低维重构的损失函数中,降低了噪声的影响和数据样本外点对降维的干扰,进一步提高了情感识别的精度;设置预定的多模态情感融合策略,并根据多模态情感融合策略生成用户情感识别结果,使识别结果更加可靠准确。
本应用场景设定后验概率权值为Qq=1.55,识别精度相对提高了10%。
应用场景5
参见图1、图2,本应用场景中的一个具体实施例一种通过情感控制的控制开关,其特征是,包括控制开关和与控制开关相连的情感控制系统,所述控制开关包括:
接收单元,用于通过无线网络接收指令信息,所述指令信息包括电器件的身份标识和命令信息;
判断单元,用于根据所述接收单元接收到的指令信息判断所述电器件与自身是否有线连接;若是,则执行控制单元;若否,则执行通知单元;
控制单元,用于按照所述接收单元接收到的指令信息对所述电器件进行相应的控制;
通知单元,用于将所述指令信息通知其它控制开关。
优选地,所述通知单元,还用于通知其它控制开关所述电器件的状态指示信息,所述状态指示信息为所述电器件状态按照命令信息进行控制后的状态。
本优选实施例无需考虑对电器件与控制开关之间的距离进行重新设置,降低了场所中布置电线材料和安装工程的成本。
优选地,所述接收单元接收到的指令信息中的命令信息包括开关设定、等级设定和/或场景设定。
本优选实施例客户体验更好。
优选地,所述情感控制系统包括语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3和控制模块4:
(1)语音情感识别处理模块1,用于获取用户的语音信号,并对语音信号进行处理,最终输出语音情感识别结果,其包括声学特征提取子模块11、声学特征降维子模块12和语音情感分类处理子模块13;所述声学特征提取子模块11用于提取声学特征数据;所述声学特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理;所述语音情感分类处理子模块13用于采用已训练好的支持向量机作为语音情感识别分类器,对降维后的声学特征数据进行情感识别并输出语音情感识别结果,支持向量机的核函数采用高斯核函数;
(2)表情情感识别处理模块2,用于获取用户的表情图像,并对表情图像特征进行处理,最终生成表情情感识别结果,其包括表情特征提取子模块21、表情特征降维子模块22和表情情感分类处理子模块23;所述表情特征提取子模块21用于采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取;所述表情特征降维子模块22用于采用所述改进的局部线性嵌入方法对所述表情特征数据进行降维处理,并采用形态学处理方法做滤波处理;所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识别分类器,对降维、滤波处理后的表情特征数据进行情感识别并输出表情情感识别结果;
(3)多模态情感融合识别处理模块3,用于基于所述语音情感识别结果和表情情感识别结果,根据预定的多模态情感融合策略生成用户情感识别结果;
(4)控制模块,用于根据所述用户情感识别结果,在验证用户身份的前提下控制控制开关执行相应的操作。
本优选实施例设置多模态情感融合识别处理模块3,基于所述语音情感识别结果和表情情感识别结果,增强了识别结果的可靠性。
优选地,所述用户情感识别结果包括高级别和低级别的褒义情感,中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型。
所述在验证用户身份的前提下控制控制开关执行相应的操作,具体为:所述控制模块基于预先设置的语音特征数据库,匹配所述用户的语音信号的语音特征,从而进行用户身份验证,若验证通过,控制模块控制控制开关执行相应的操作。
所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理,包括:
(1)将提取的声学特征数据中的声学特征向量看成是高维空间中的样本数据点,设M维的N个样本数据点为Xi,Xi∈RM,i∈[1,N],类别号为Ci,嵌入输出的N个m维的降维数据点为Yi,Yi∈Rm,i∈[1,N],m≤M,且m值的范围为[2,20],对每个样本数据点Xi确定其邻域点的数目K,邻域点的距离公式为:
式中,L′是结合样本数据点类别信息计算后的距离,L是忽略样本数据点类别信息的原始欧氏距离,参数λ用来防止L过快增长,max(L)表示最大欧氏距离,min(L)表示最小欧式距离,常数因子δ1、δ2(0≤δ1、δ2≤1),共同控制距离计算时样本数据点类别信息的结合数量程度;
(2)利用每个样本数据点Xi的邻域点计算出样本数据点的局部重建权值矩阵Wij,要求最小化下列损失函数:
式中,Wij为Xi与Xj之间的权值,且需满足对Xi的非邻域点,Wij=0;
(3)计算各样本数据点Xi的K个邻域点的权重之和:
其中,
式中,Zij为各邻域点之间的加权矩阵,d(Xi,Xj)表示样本数据点间的Fisher投影距离,ξ为可调参数;
(4)利用该样本数据点的局部重建权值矩阵Wij以及其邻域点计算出该样本数据点的输出值,具体是将所有的样本数据点Xi映射嵌入到低维空间中,并使得低维重构的误差达到最小,要求最小化下列损失函数:
式中,需满足其中构建一个稀疏矩阵M=(I-W)T(I-W),通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点Xi的嵌入输出值。
所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为:
式中,α、β分别表示核函数的方向和频率大小,α、β按照按如下方法设置:当表情图像质量较好时,选取三个中心频率β={0,1,2}和六个方向α={0,1,…,5}组成的18个Gabor滤波器用于特征提取;当表情图像受到腐蚀、遮挡时,选取四个中心频率β={0,1…,3}和八个方向α={0,1,…,7}组成的32个Gabor滤波器用于特征提取;
σ表示采用高斯函数窗口的大小,用来决定滤波器的带宽,σ能够根据参数设置进行自适应调整:将表情图像分成v×v子块,根据每个子块特征数目选择σ,特征数目大的子块设定σ=π,特征数目少的子块设定σ=2π;
kα,β为小波矢量,其中,kβ和分别表示Gabor滤波器在频率和方向空间的采样方式。
所述预定的多模态情感融合策略为:
设已经计算出一个测试样本x对于c类的分类情况下,采用n个分类器进行分类得到的后验概率集合为{pij(x),i=1,2,…,n,j=1,2,…,c},对n个分类器取得的后验概率按照方差规则集成得到一个新的后验概率集合{qj(x),j=1,2,…,c},从中按照预定的挑选规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果;
对于j类测试样本,按照方差规则获得的新的后验概率qj(x)可表示为:
式中,
对于j类测试样本,最终所获得的识别类别可表示为:
ρ(x)=argmaxj(qj(x))
其中,所述预定的挑选规则为:将所述新的后验概率集合中的后验概率值按照从大到小顺序进行排列的前3个后验概率值为qj(x)max,qj(x)max-1,qj(x)max-2,若 选择qj(x)max作为合适的后验概率值,否则选择qj(x)max-1作为合适的后验概率值,其中Qq为设定的后验概率权值,取值范围为[1.4,1.6]。
本优选实施例设置改进的局部线性嵌入方法,需要确定的参数比较少,只有邻域数k和输出维数d,大大减少了运算量,且可以学习出任意维数的低维流形,提高了识别速度;采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取,具有旋转、平移以及伸缩变换条件下不变的性质,而且能得到一个解析的全局最优解;在声学特征降维子模块12对声学特征数据进行降维处理的过程中,计算各样本数据点Xi的K个邻域点的权重之和,并将其考虑到低维重构的损失函数中,降低了噪声的影响和数据样本外点对降维的干扰,进一步提高了情感识别的精度;设置预定的多模态情感融合策略,并根据多模态情感融合策略生成用户情感识别结果,使识别结果更加可靠准确。
本应用场景设定后验概率权值为Qq=1.6,识别精度相对提高了8%。
最后应当说明的是,以上实施例仅用以说明本发明的技术方案,而非对本发明保护范围的限制,尽管参照较佳实施例对本发明作了详细地说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的实质和范围。
Claims (3)
1.一种通过情感控制的控制开关,其特征是,包括控制开关和与控制开关相连的情感控制系统,所述控制开关包括:
接收单元,用于通过无线网络接收指令信息,所述指令信息包括电器件的身份标识和命令信息;
判断单元,用于根据所述接收单元接收到的指令信息判断所述电器件与自身是否有线连接;若是,则执行控制单元;若否,则执行通知单元;
控制单元,用于按照所述接收单元接收到的指令信息对所述电器件进行相应的控制;
通知单元,用于将所述指令信息通知其它控制开关。
2.根据权利要求1所述的一种通过情感控制的控制开关,其特征是,所述通知单元,还用于通知其它控制开关所述电器件的状态指示信息,所述状态指示信息为所述电器件状态按照命令信息进行控制后的状态。
3.根据权利要求2所述的一种通过情感控制的控制开关,其特征是,所述接收单元接收到的指令信息中的命令信息包括开关设定、等级设定和/或场景设定。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610620792.1A CN106354034A (zh) | 2016-07-30 | 2016-07-30 | 一种通过情感控制的控制开关 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610620792.1A CN106354034A (zh) | 2016-07-30 | 2016-07-30 | 一种通过情感控制的控制开关 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106354034A true CN106354034A (zh) | 2017-01-25 |
Family
ID=57843599
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610620792.1A Pending CN106354034A (zh) | 2016-07-30 | 2016-07-30 | 一种通过情感控制的控制开关 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106354034A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201589951U (zh) * | 2009-09-25 | 2010-09-22 | 南京信息工程大学 | 具有语音识别功能的插座式电源开关 |
CN103176434A (zh) * | 2011-12-23 | 2013-06-26 | 科汇工业有限公司 | 一种控制开关及控制开关组 |
CN103383544A (zh) * | 2013-06-28 | 2013-11-06 | 三一汽车制造有限公司 | 一种远程控制系统及工程车辆 |
JP2013235548A (ja) * | 2012-05-08 | 2013-11-21 | Linfops Kk | 脳型感情表現ロボットの制御方法 |
CN104834232A (zh) * | 2014-02-07 | 2015-08-12 | 上海推晋科技发展有限公司 | 一种用于远程控制电子设备的系统 |
-
2016
- 2016-07-30 CN CN201610620792.1A patent/CN106354034A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201589951U (zh) * | 2009-09-25 | 2010-09-22 | 南京信息工程大学 | 具有语音识别功能的插座式电源开关 |
CN103176434A (zh) * | 2011-12-23 | 2013-06-26 | 科汇工业有限公司 | 一种控制开关及控制开关组 |
JP2013235548A (ja) * | 2012-05-08 | 2013-11-21 | Linfops Kk | 脳型感情表現ロボットの制御方法 |
CN103383544A (zh) * | 2013-06-28 | 2013-11-06 | 三一汽车制造有限公司 | 一种远程控制系统及工程车辆 |
CN104834232A (zh) * | 2014-02-07 | 2015-08-12 | 上海推晋科技发展有限公司 | 一种用于远程控制电子设备的系统 |
Non-Patent Citations (2)
Title |
---|
王庆军: "基于流形学习子空间的人脸识别方法研究", 《中国优秀博士学位论文全文数据库 信息科技辑》 * |
赵惠: "融合面部表情的语音情感识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3627499B1 (en) | Image processing apparatus and method | |
US11437032B2 (en) | Image processing apparatus and method | |
CN104882144B (zh) | 基于声谱图双特征的动物声音识别方法 | |
CN110970018B (zh) | 语音识别方法和装置 | |
CN110796199B (zh) | 一种图像处理方法、装置以及电子医疗设备 | |
CN106019973A (zh) | 一种具有情感识别功能的智能家居 | |
CN106778444B (zh) | 一种基于多视图卷积神经网络的表情识别方法 | |
CN110175526A (zh) | 狗情绪识别模型训练方法、装置、计算机设备及存储介质 | |
CN110674875A (zh) | 一种基于深度混合模型的行人运动模式识别方法 | |
Halkias et al. | Classification of mysticete sounds using machine learning techniques | |
CN108154156B (zh) | 基于神经主题模型的图像集成分类方法及装置 | |
CN112016450A (zh) | 机器学习模型的训练方法、装置和电子设备 | |
CN111274955A (zh) | 一种基于视听特征相关性融合的情感识别方法及系统 | |
CN106054682A (zh) | 一种带有控制系统的家庭影院 | |
CN109841221A (zh) | 基于语音识别的参数调节方法、装置及健身设备 | |
CN114495916B (zh) | 背景音乐的插入时间点确定方法、装置、设备和存储介质 | |
CN113053361B (zh) | 语音识别方法、模型训练方法、装置、设备及介质 | |
CN113177118A (zh) | 文本分类模型、文本分类的方法以及装置 | |
CN106239533A (zh) | 一种通过情感控制的机器人 | |
CN117193524A (zh) | 一种基于多模态特征融合的人机交互系统及方法 | |
CN106354034A (zh) | 一种通过情感控制的控制开关 | |
CN111967326A (zh) | 一种基于轻量化多尺度特征提取的步态识别方法 | |
CN112420063A (zh) | 一种语音增强方法和装置 | |
CN104166837B (zh) | 采用最相关的兴趣点的各组的选择的视觉语音识别方法 | |
DE112018007850T5 (de) | Spracherkennungssystem |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170125 |
|
RJ01 | Rejection of invention patent application after publication |