CN113807290A - 用于家用电器的感应开关及其工作方法 - Google Patents

用于家用电器的感应开关及其工作方法 Download PDF

Info

Publication number
CN113807290A
CN113807290A CN202111121295.4A CN202111121295A CN113807290A CN 113807290 A CN113807290 A CN 113807290A CN 202111121295 A CN202111121295 A CN 202111121295A CN 113807290 A CN113807290 A CN 113807290A
Authority
CN
China
Prior art keywords
infrared
matrix
feature
feature map
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111121295.4A
Other languages
English (en)
Other versions
CN113807290B (zh
Inventor
杨林炯
杨丽莉
罗秋萍
沈雅文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Lanbaoli Electronics Co ltd
Original Assignee
Shenzhen Lanbaoli Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Lanbaoli Electronics Co ltd filed Critical Shenzhen Lanbaoli Electronics Co ltd
Priority to CN202111121295.4A priority Critical patent/CN113807290B/zh
Publication of CN113807290A publication Critical patent/CN113807290A/zh
Application granted granted Critical
Publication of CN113807290B publication Critical patent/CN113807290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03KPULSE TECHNIQUE
    • H03K17/00Electronic switching or gating, i.e. not by contact-making and –breaking
    • H03K17/94Electronic switching or gating, i.e. not by contact-making and –breaking characterised by the way in which the control signals are generated
    • H03K17/941Electronic switching or gating, i.e. not by contact-making and –breaking characterised by the way in which the control signals are generated using an optical detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Radiation Pyrometers (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种用于家用电器的感应开关及其工作方法,其中,所述感应开关以红外探测器阵列作为传感单元来检测用户的手势控制信息,并利用基于深度神经网络的算法来提高手势控制信息的识别的准确率从而提高对家用电器的控制的准确性。特别地,在设计算法时为了提高分类精度,在高维特征空间中以全局转换矩阵、线性偏置和非线性激活对特征图进行全局转换,以消除烹饪过程中所产生的蒸汽和油烟的影响。

Description

用于家用电器的感应开关及其工作方法
技术领域
本发明涉及智能感应的领域,且更为具体地,涉及一种用于家用电器的感应开关及其工作方法。
背景技术
经常下厨的人都知道,在烹饪过程中,双手往往需要频繁地与食物进行接触,因此保持手部的卫生变得尤其重要。在炒菜过程中,根据灶具火力、食材,以及烹饪手法的不同,用户时常需要用手去触碰吸油烟机,以达到调节吸油烟机吸排效果或照明灯亮度的目的。由于目前市场上所有的烟机操控基本都需要人手与产品相接触,因此,用户每次在调节吸油烟机时,经常需要通过洗手或擦手的方式来保持双手的干净卫生,并且每一次洗手不仅是过程繁琐,而且还是对水资源和时间的浪费,不利于节能环保。
目前,现有的一些设备都是利用红外信号收发电路,通过对人手或运动物体在红外信号收发电路前方的运动过程产生的光信号变化来进行模式识别给产品下发控制指令,以便达到操控产品或机器的目的。但在实际的操作过程中,由于环境因素的影响,例如烹饪过程中所产生的蒸汽和油烟的影响,会使得通过接收到的红外信号的信息来对手势进行模式识别的精准度较低。并且,每个用户在移动人手时,其幅度和移动方式都略有不同,难以区分细微的差异。
因此,为了提高对手势模式识别的精准度,期望一种用于家用电器的感应开关。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种用于家用电器的感应开关及其工作方法,其中,所述感应开关以红外探测器阵列作为传感单元来检测用户的手势控制信息,并利用基于深度神经网络的算法来提高手势控制信息的识别的准确率从而提高对家用电器的控制的准确性。特别地,在设计算法时为了提高分类精度,在高维特征空间中以全局转换矩阵、线性偏置和非线性激活对特征图进行全局转换,以消除烹饪过程中所产生的蒸汽和油烟的影响。
根据本申请的一个方面,提供了一种用于家用电器的感应开关,其包括:
红外检测信息获取单元,用于通过感光开关的红外收发器阵列中各个红外收发器获得被检测对象的红外检测信息,其中,所述红外收发器阵列中每个红外收发器以预定方向发射红外检测信号并接收从所述被检测对象反射回来的红外检测信号,所述红外检测信息为所述红外收发器的发射的红外检测信号和接收的红外检测信号之间的相位差;
矩阵构造单元,用于将各个所述红外收发器所采集的红外检测信息基于所述红外收发器阵列的排布方式构造为红外信号矩阵;
神经网络单元,用于将所述红外信号矩阵输入卷积神经网络以通过所述卷积神经网络对所述红外信号矩阵进行显式空间编码,以获得用于表示所述待检测对象的高维红外图像特征的第一特征图;
全局转换单元,用于使用包含多个级联的全局转换矩阵层的全局转换模型对所述第一特征图的各个特征矩阵进行处理以获得第二特征图;
修正单元,用于对所述第二特征图进行基于饱和蒸汽的线性修正以获得第三特征图,其中,基于饱和蒸汽的线性修正基于所述第二特征图中各个位置的特征值和各个所述红外收发器的温度值进行;
分类单元,用于将所述第三特征图通过分类器以获得用于确定手势类型的分类结果;以及
感应控制单元,用于基于所述分类结果,对与所述感应开关通信的家用电器进行控制。
在上述用于家用电器的感应开关中,所述神经网络单元,进一步用于对所述红外信号矩阵中各个位置的特征值进行基于最大值的归一化处理;以及,将归一化处理后的所述红外信号矩阵输入卷积神经网络以通过所述卷积神经网络对所述红外信号矩阵进行显式空间编码,以获得所述第一特征图。
在上述用于家用电器的感应开关中,所述全局转换单元,进一步用于使用包含多个级联的全局转换矩阵层的全局转换模型以如下公式对所述第一特征图的各个特征矩阵进行处理以获得所述第二特征图;所述公式为:
F2i=Sigmoid(Mi×F1i+Bi)
其中,F1i为经过每层时的转化之前的特征矩阵,F2i为经过每层时的转化之后的特征矩阵,Mi为每层的转换矩阵,且Bi为每层的偏置矩阵,Sigmoid(·)表示Sigmoid激活函数。
在上述用于家用电器的感应开关中,所述修正单元,进一步用于对所述第二特征图进行基于如下公式的饱和蒸汽的线性修正以获得所述第三特征图;所述公式为:
Figure BDA0003277284650000031
其中fi,j为所述第二特征图的每个位置的特征值,f′i,j为所述第三特征图的每个位置的特征值,且T是每个所述红外收发器的温度值。
在上述用于家用电器的感应开关中,所述分类单元,包括:编码子单元,用于使用所述分类器的至少一个全连接层对所述第三特征图进行全连接编码以获得分类特征向量;概率子单元,用于将所述分类特征向量输入Softmax分类函数以获得所述分类特征向量分别归属于多个手势类型标签的多个概率值;以及,确定子单元,用于将所述多个概率值中最大者对应的手势类型标签确定为所述分类结果。
在上述用于家用电器的感应开关中,所述家用电器为智能油烟机,其中,所述手势标签包括增大吸力、减小吸力、增大亮度、减小亮度、关机、开机和暂停。
根据本申请的另一方面,一种用于家用电器的感应开关的工作方法,其包括:
通过感光开关的红外收发器阵列中各个红外收发器获得被检测对象的红外检测信息,其中,所述红外收发器阵列中每个红外收发器以预定方向发射红外检测信号并接收从所述被检测对象反射回来的红外检测信号,所述红外检测信息为所述红外收发器的发射的红外检测信号和接收的红外检测信号之间的相位差;
将各个所述红外收发器所采集的红外检测信息基于所述红外收发器阵列的排布方式构造为红外信号矩阵;
将所述红外信号矩阵输入卷积神经网络以通过所述卷积神经网络对所述红外信号矩阵进行显式空间编码,以获得用于表示所述待检测对象的高维红外图像特征的第一特征图;
使用包含多个级联的全局转换矩阵层的全局转换模型对所述第一特征图的各个特征矩阵进行处理以获得第二特征图;
对所述第二特征图进行基于饱和蒸汽的线性修正以获得第三特征图,其中,基于饱和蒸汽的线性修正基于所述第二特征图中各个位置的特征值和各个所述红外收发器的温度值进行;
将所述第三特征图通过分类器以获得用于确定手势类型的分类结果;以及
基于所述分类结果,对与所述感应开关通信的家用电器进行控制。
在上述用于家用电器的感应开关的工作方法中,将所述红外信号矩阵输入卷积神经网络以通过所述卷积神经网络对所述红外信号矩阵进行显式空间编码,以获得用于表示所述待检测对象的高维红外图像特征的第一特征图,包括:对所述红外信号矩阵中各个位置的特征值进行基于最大值的归一化处理;以及,将归一化处理后的所述红外信号矩阵输入卷积神经网络以通过所述卷积神经网络对所述红外信号矩阵进行显式空间编码,以获得所述第一特征图。
在上述用于家用电器的感应开关的工作方法中,使用包含多个级联的全局转换矩阵层的全局转换模型对所述第一特征图的各个特征矩阵进行处理以获得第二特征图,包括:用于使用包含多个级联的全局转换矩阵层的全局转换模型以如下公式对所述第一特征图的各个特征矩阵进行处理以获得所述第二特征图;所述公式为:
F2i=Sigmoid(Mi×F1i+Bi)
其中,F1i为经过每层时的转化之前的特征矩阵,F2i为经过每层时的转化之后的特征矩阵,Mi为每层的转换矩阵,且Bi为每层的偏置矩阵,Sigmoid(·)表示Sigmoid激活函数。
在上述用于家用电器的感应开关的工作方法中,对所述第二特征图进行基于饱和蒸汽的线性修正以获得第三特征图,其中,基于饱和蒸汽的线性修正基于所述第二特征图中各个位置的特征值和各个所述红外收发器的温度值进行,包括:对所述第二特征图进行基于如下公式的饱和蒸汽的线性修正以获得所述第三特征图;所述公式为:
Figure BDA0003277284650000041
其中fi,j为所述第二特征图的每个位置的特征值,f′i,j为所述第三特征图的每个位置的特征值,且T是每个所述红外收发器的温度值。
在上述用于家用电器的感应开关的工作方法中,将所述第三特征图通过分类器以获得用于确定手势类型的分类结果,包括:使用所述分类器的至少一个全连接层对所述第三特征图进行全连接编码以获得分类特征向量;将所述分类特征向量输入Softmax分类函数以获得所述分类特征向量分别归属于多个手势类型标签的多个概率值;以及,将所述多个概率值中最大者对应的手势类型标签确定为所述分类结果。
在上述用于家用电器的感应开关的工作方法中,所述家用电器为智能油烟机,其中,所述手势标签包括增大吸力、减小吸力、增大亮度、减小亮度、关机、开机和暂停。
与现有技术相比,本申请提供的用于家用电器的感应开关及其工作方法,其中,所述感应开关以红外探测器阵列作为传感单元来检测用户的手势控制信息,并利用基于深度神经网络的算法来提高手势控制信息的识别的准确率从而提高对家用电器的控制的准确性。特别地,在设计算法时为了提高分类精度,在高维特征空间中以全局转换矩阵、线性偏置和非线性激活对特征图进行全局转换,以消除烹饪过程中所产生的蒸汽和油烟的影响。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的用于家用电器的感应开关的应用场景图。
图2为根据本申请实施例的用于家用电器的感应开关的框图。
图3为根据本申请实施例的用于家用电器的感应开关中分类单元的框图。
图4为根据本申请实施例的用于家用电器的感应开关的工作方法的流程图。
图5为根据本申请实施例的用于家用电器的感应开关的工作方法的架构示意图。
图6为根据本申请实施例的电子设备的框图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
场景概述
如前所述,现有的一些设备都是利用红外信号收发电路,通过对人手或运动物体在红外信号收发电路前方的运动过程产生的光信号变化来进行模式识别给产品下发控制指令,以便达到操控产品或机器的目的。但在实际的操作过程中,由于环境因素的影响,例如烹饪过程中所产生的蒸汽和油烟的影响,会使得通过接收到的红外信号的信息来对手势进行模式识别的精准度较低。并且,每个用户在移动人手时,其幅度和移动方式都略有不同,难以区分细微的差异。因此,为了提高对手势模式识别的精准度,期望一种用于家用电器的感应开关。
基于此,为了能够提高手势识别的精度,在本申请的技术方案中采用阵列红外收发器,也就是,该阵列红外收发器包含以矩阵形式排列的多个红外收发器,每个红外收发器以预定方向发射红外信号并接收返回的红外信号,这样,针对待检测的对象,就可以得到红外信号矩阵,例如,矩阵的每个位置的值是阵列中的一个红外收发器的发送信号与接收信号之间的相位差。
这样,将相位差矩阵输入卷积神经网络,就可以得到用于表示待检测对象的高维红外图像特征的第一特征图。这里,由于第一特征图是基于卷积神经网络得到的红外图像的局部特征,而为了消除烹饪过程中所产生的蒸汽和油烟的影响,考虑到这些影响是针对红外图像的全局特征,因此进一步对第一特征图进行全局转化。
具体地,使用包括多个级联的全局转换矩阵层的全局转换模型来对第一特征图进行处理,其中在每一层,将该层的全局转换矩阵乘以第一特征图中的每个特征矩阵以得到转换后的特征矩阵,且增加线性偏置和进行非线性激活以进一步提取全局特征。这样,就获得了第二特征图,其关系例如可以表示为
F2i=sigmoid(Mi×F1i+Bi)
其中,F1i为经过每层时的转化之前的特征矩阵,F2i为经过每层时的转化之后的特征矩阵,Mi为每层的转换矩阵,且Bi为每层的偏置矩阵,sigmoid(·)表示sigmoid激活函数。
然后,针对第二特征图进行基于饱和蒸汽的修正以得到第三特征图,即:
Figure BDA0003277284650000071
其中fi,j为第二特征图的每个位置的特征值,f′i,j为第三特征图的每个位置的特征值,且T是温度,可以通过温度传感器获得。
最后,将第三特征图通过分类器,获得用于确定手势类型的分类结果。
基于此,本申请提出了一种用于家用电器的感应开关,其包括:红外检测信息获取单元,用于通过感光开关的红外收发器阵列中各个红外收发器获得被检测对象的红外检测信息,其中,所述红外收发器阵列中每个红外收发器以预定方向发射红外检测信号并接收从所述被检测对象反射回来的红外检测信号,所述红外检测信息为所述红外收发器的发射的红外检测信号和接收的红外检测信号之间的相位差;矩阵构造单元,用于将各个所述红外收发器所采集的红外检测信息基于所述红外收发器阵列的排布方式构造为红外信号矩阵;神经网络单元,用于将所述红外信号矩阵输入卷积神经网络以通过所述卷积神经网络对所述红外信号矩阵进行显式空间编码,以获得用于表示所述待检测对象的高维红外图像特征的第一特征图;全局转换单元,用于使用包含多个级联的全局转换矩阵层的全局转换模型对所述第一特征图的各个特征矩阵进行处理以获得第二特征图;修正单元,用于对所述第二特征图进行基于饱和蒸汽的线性修正以获得第三特征图,其中,基于饱和蒸汽的线性修正基于所述第二特征图中各个位置的特征值和各个所述红外收发器的温度值进行;分类单元,用于将所述第三特征图通过分类器以获得用于确定手势类型的分类结果;以及,感应控制单元,用于基于所述分类结果,对与所述感应开关通信的家用电器进行控制。
图1图示了根据本申请实施例的用于家用电器的感应开关的应用场景图。如图1所示,在该应用场景中,首先,通过感光开关(例如,如图1中所示意的T)的红外收发器阵列中各个红外收发器(例如,如图1中所示意的B1-Bn)获得被检测对象的红外检测信息,其中,所述红外收发器阵列中每个红外收发器以预定方向发射红外检测信号并接收从所述被检测对象反射回来的红外检测信号,所述红外检测信息为所述红外收发器的发射的红外检测信号和接收的红外检测信号之间的相位差,并且所述被检测的对象为用户的手势。
然后,将获得的所述红外检测信息输入至部署有用于家用电器的感应开关算法的服务器中(例如,如图1中所示意的S),其中,所述服务器能够以用于家用电器的感应开关算法对所述红外检测信息进行处理,以生成用于确定用户手势类型的分类结果,进而,再基于所述分类结果,对与所述感光开关通信的家用电器(例如,如图1中所示意的M)进行控制。
特别地,在该应用场景中,所述家用电器为智能油烟机,并且所述手势标签包括但不局限于增大吸力、减小吸力、增大亮度、减小亮度、关机、开机和暂停等。在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图2图示了根据本申请实施例的用于家用电器的感应开关的框图。如图2所示,根据本申请实施例的用于家用电器的感应开关200,包括:红外检测信息获取单元210,用于通过感光开关的红外收发器阵列中各个红外收发器获得被检测对象的红外检测信息,其中,所述红外收发器阵列中每个红外收发器以预定方向发射红外检测信号并接收从所述被检测对象反射回来的红外检测信号,所述红外检测信息为所述红外收发器的发射的红外检测信号和接收的红外检测信号之间的相位差;矩阵构造单元220,用于将各个所述红外收发器所采集的红外检测信息基于所述红外收发器阵列的排布方式构造为红外信号矩阵;全局转换单元230,用于将所述红外信号矩阵输入卷积神经网络以通过所述卷积神经网络对所述红外信号矩阵进行显式空间编码,以获得用于表示所述待检测对象的高维红外图像特征的第一特征图;全局转换单元240,用于使用包含多个级联的全局转换矩阵层的全局转换模型对所述第一特征图的各个特征矩阵进行处理以获得第二特征图;修正单元250,用于对所述第二特征图进行基于饱和蒸汽的线性修正以获得第三特征图,其中,基于饱和蒸汽的线性修正基于所述第二特征图中各个位置的特征值和各个所述红外收发器的温度值进行;分类单元260,用于将所述第三特征图通过分类器以获得用于确定手势类型的分类结果;以及,感应控制单元270,用于基于所述分类结果,对与所述感应开关通信的家用电器进行控制。
具体地,在本申请实施例中,所述红外检测信息获取单元210和所述矩阵构造单元220,用于通过感光开关的红外收发器阵列中各个红外收发器获得被检测对象的红外检测信息,其中,所述红外收发器阵列中每个红外收发器以预定方向发射红外检测信号并接收从所述被检测对象反射回来的红外检测信号,所述红外检测信息为所述红外收发器的发射的红外检测信号和接收的红外检测信号之间的相位差,并将各个所述红外收发器所采集的红外检测信息基于所述红外收发器阵列的排布方式构造为红外信号矩阵。如上所述,由于每个用户在移动人手以对家用电器进行智能控制时,其幅度和移动方式都略有不同,这样就会使得所述智能家用电器难以区分其细微的差异。因此,为了对所述家用电器实现更加精准智能的控制,在本申请的技术方案中,选择通过接收到的红外信号的信息来对手势进行精确的模式识别。
更具体地,在本申请实施例中,首先,通过感光开关的红外收发器阵列中各个红外收发器获得被检测对象,也就是用户手势的红外检测信息。应可以理解,为了能够提高手势识别的精度,在本申请的技术方案中,采用阵列红外收发器,也就是,所述阵列红外收发器包含以矩阵形式排列的多个红外收发器,且每个所述红外收发器以预定方向发射红外检测信号并接收从所述被检测对象反射回来的红外检测信号,值得一提的是,这里,所述红外检测信息为所述红外收发器的发射的红外检测信号和接收的红外检测信号之间的相位差。然后,再将各个所述红外收发器所采集的红外检测信息基于所述红外收发器阵列的排布方式构造为红外信号矩阵,值得一提的是,这里,所述红外信号矩阵的每个位置的值是所述红外收发器阵列中的一个红外收发器的发送信号与接收信号之间的相位差。
具体地,在本申请实施例中,所述全局转换单元230,用于将所述红外信号矩阵输入卷积神经网络以通过所述卷积神经网络对所述红外信号矩阵进行显式空间编码,以获得用于表示所述待检测对象的高维红外图像特征的第一特征图。也就是,将获得的所述红外信号矩阵输入卷积神经网络中进行处理,以通过所述卷积神经网络对所述红外信号矩阵进行显式空间编码,从而提取出所述红外信号矩阵中的局部特征在高维空间中的特征分布表示,以获得第一特征图。值得一提的是,这里,所述第一特征图用于表示所述待检测对象的高维红外图像特征。应可以理解,在本申请的技术方案中,采用所述阵列传感器所获得的红外相位图来基于所述卷积神经网络进行手势的识别,可以提高手势识别的精度。
具体地,在本申请实施例中,所述全局转换单元240,用于使用包含多个级联的全局转换矩阵层的全局转换模型对所述第一特征图的各个特征矩阵进行处理以获得第二特征图。应可以理解,由于所述第一特征图是基于卷积神经网络得到的所述红外图像的局部特征,而为了消除烹饪过程中所产生的蒸汽和油烟的影响,同时考虑到这些影响是针对所述红外图像的全局特征,因此,在本申请的技术方案中,进一步对所述第一特征图进行全局转化。也就是,使用包括多个级联的全局转换矩阵层的全局转换模型来对所述第一特征图的各个特征矩阵进行处理。在一个具体示例中,在所述全局转换模型的每一层,将该层的全局转换矩阵乘以所述第一特征图中的每个特征矩阵以得到转换后的特征矩阵,特别地,还增加了线性偏置和进行非线性激活以进一步提取全局特征,从而得到第二特征图。
更具体地,在本申请实施例中,所述全局转换单元,进一步用于:使用包含多个级联的全局转换矩阵层的全局转换模型以如下公式对所述第一特征图的各个特征矩阵进行处理以获得所述第二特征图;
所述公式为:
F2i=Sigmoid(Mi×F1i+Bi)
其中,F1i为经过每层时的转化之前的特征矩阵,F2i为经过每层时的转化之后的特征矩阵,Mi为每层的转换矩阵,且Bi为每层的偏置矩阵,Sigmoid(·)表示Sigmoid激活函数。
具体地,在本申请实施例中,所述修正单元250,用于对所述第二特征图进行基于饱和蒸汽的线性修正以获得第三特征图,其中,基于饱和蒸汽的线性修正基于所述第二特征图中各个位置的特征值和各个所述红外收发器的温度值进行。应可以理解,由于环境因素的影响,例如烹饪过程中所产生的蒸汽和油烟的影响,会使得通过接收到的所述红外信号的信息来对手势进行模式识别的精准度较低。因此,在本申请的技术方案中,在将通过所述卷积神经网络所获得的所述第一特征图进行基于所述转换矩阵的全局转换后,再进行基于饱和蒸汽的线性修正,以进一步地考虑烹饪时的环境因素的影响,从而使得生成的分类特征图中包含的用于分类的信息更加准确,以提高分类的精度。
更具体地,在本申请实施例中,所述修正单元,进一步用于:对所述第二特征图进行基于如下公式的饱和蒸汽的线性修正以获得所述第三特征图;
所述公式为:
Figure BDA0003277284650000101
其中fi,j为所述第二特征图的每个位置的特征值,f′i,j为所述第三特征图的每个位置的特征值,且T是每个所述红外收发器的温度值,在本申请的具体示例中,可以通过温度传感器获得。
具体地,在本申请实施例中,所述分类单元260和所述感应控制单元270,用于将所述第三特征图通过分类器以获得用于确定手势类型的分类结果,并基于所述分类结果,对与所述感应开关通信的家用电器进行控制。也就是,在进行提高手势识别的精度处理和基于环境因素的修正处理后,得到了用于分类的所述第三特征图,然后,再对所述第三特征图进行分类操作,从而获得用于确定手势类型的分类结果,最后,基于所述分类结果,对与所述感应开关通信的家用电器进行控制。值得一提的是,在一个具体示例中,所述家用电器为智能油烟机,所述智能油烟机与所述感光开关之间相互通信,并且所述手势标签包括但不局限于增大吸力、减小吸力、增大亮度、减小亮度、关机、开机和暂停等。当然,在别的具体示例中,所述家用电器还可以为别的智能家居,对此并不为本申请所局限。
更具体地,在本申请实施例中,所述分类单元,包括:编码子单元,用于使用所述分类器的至少一个全连接层对所述第三特征图进行全连接编码以获得分类特征向量;概率子单元,用于将所述分类特征向量输入Softmax分类函数以获得所述分类特征向量分别归属于多个手势类型标签的多个概率值;以及,确定子单元,用于将所述多个概率值中最大者对应的手势类型标签确定为所述分类结果。其中,所述Softmax分类函数为:P=exp(xi)/∑iexp(xi),xi表示所述分类特征向量中各个位置的特征值。
图3图示了根据本申请实施例的用于家用电器的感应开关中分类单元的框图。如图3所示,所述分类单元260,包括:编码子单元261,用于使用所述分类器的至少一个全连接层对所述第三特征图进行全连接编码以获得分类特征向量;概率子单元262,用于将所述分类特征向量输入Softmax分类函数以获得所述分类特征向量分别归属于多个手势类型标签的多个概率值;以及,确定子单元263,用于将所述多个概率值中最大者对应的手势类型标签确定为所述分类结果。
综上,基于本申请实施例的所述用于家用电器的感应开关200被阐明,其采用阵列传感器所获得的红外相位图来基于卷积神经网络进行手势的识别,以提高手势识别的精度,并且还通过将卷积神经网络所获得的特征图进行基于转移矩阵的全局转换,同时进行基于饱和蒸汽的修正,这样能够进一步地考虑烹饪时的环境因素影响,以使得分类特征图中包含的用于分类的信息更加准确,从而能够提高分类的精度。
如上所述,根据本申请实施例的用于家用电器的感应开关200可以实现在各种终端设备中,例如用于家用电器的感应开关算法的服务器等。在一个示例中,根据本申请实施例的用于家用电器的感应开关200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如,该用于家用电器的感应开关200可以是该终端设备的操作系统中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序;当然,该用于家用电器的感应开关200同样可以是该终端设备的众多硬件模块之一。
替换地,在另一示例中,该用于家用电器的感应开关200与该终端设备也可以是分立的设备,并且该用于家用电器的感应开关200可以通过有线和/或无线网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。
示例性方法
图4图示了用于家用电器的感应开关的工作方法的流程图。如图4所示,根据本申请实施例的用于家用电器的感应开关的工作方法,包括步骤:S110,通过感光开关的红外收发器阵列中各个红外收发器获得被检测对象的红外检测信息,其中,所述红外收发器阵列中每个红外收发器以预定方向发射红外检测信号并接收从所述被检测对象反射回来的红外检测信号,所述红外检测信息为所述红外收发器的发射的红外检测信号和接收的红外检测信号之间的相位差;S120,将各个所述红外收发器所采集的红外检测信息基于所述红外收发器阵列的排布方式构造为红外信号矩阵;S130,将所述红外信号矩阵输入卷积神经网络以通过所述卷积神经网络对所述红外信号矩阵进行显式空间编码,以获得用于表示所述待检测对象的高维红外图像特征的第一特征图;S140,使用包含多个级联的全局转换矩阵层的全局转换模型对所述第一特征图的各个特征矩阵进行处理以获得第二特征图;S150,对所述第二特征图进行基于饱和蒸汽的线性修正以获得第三特征图,其中,基于饱和蒸汽的线性修正基于所述第二特征图中各个位置的特征值和各个所述红外收发器的温度值进行;S160,将所述第三特征图通过分类器以获得用于确定手势类型的分类结果;以及,S170,基于所述分类结果,对与所述感应开关通信的家用电器进行控制。
图5图示了根据本申请实施例的用于家用电器的感应开关的工作方法的架构示意图。如图5所示,在所述用于家用电器的感应开关的工作方法的网络架构中,首先,将获得的各个所述红外收发器所采集的红外检测信息(例如,如图5中所示意的IN)基于所述红外收发器阵列的排布方式构造为红外信号矩阵(例如,如图5中所示意的M);接着,将所述红外信号矩阵输入卷积神经网络(例如,如图5中所示意的CNN)以通过所述卷积神经网络对所述红外信号矩阵进行显式空间编码,以获得用于表示所述待检测对象的高维红外图像特征的第一特征图(例如,如图5中所示意的F1);然后,使用包含多个级联的全局转换矩阵层的全局转换模型对所述第一特征图的各个特征矩阵进行处理以获得第二特征图(例如,如图5中所示意的F2);接着,对所述第二特征图进行基于饱和蒸汽的线性修正以获得第三特征图(例如,如图5中所示意的F3);然后,将所述第三特征图通过分类器(例如,如图5中所示意的分类器)以获得用于确定手势类型的分类结果;以及,最后,基于所述分类结果,对与所述感应开关通信的家用电器进行控制。
更具体地,在步骤S110和S120中,通过感光开关的红外收发器阵列中各个红外收发器获得被检测对象的红外检测信息,其中,所述红外收发器阵列中每个红外收发器以预定方向发射红外检测信号并接收从所述被检测对象反射回来的红外检测信号,所述红外检测信息为所述红外收发器的发射的红外检测信号和接收的红外检测信号之间的相位差,并将各个所述红外收发器所采集的红外检测信息基于所述红外收发器阵列的排布方式构造为红外信号矩阵。也就是,首先,通过感光开关的红外收发器阵列中各个红外收发器获得被检测对象,也就是用户手势的红外检测信息。应可以理解,为了能够提高手势识别的精度,在本申请的技术方案中,采用阵列红外收发器,也就是,所述阵列红外收发器包含以矩阵形式排列的多个红外收发器,且每个所述红外收发器以预定方向发射红外检测信号并接收从所述被检测对象反射回来的红外检测信号,值得一提的是,这里,所述红外检测信息为所述红外收发器的发射的红外检测信号和接收的红外检测信号之间的相位差。然后,再将各个所述红外收发器所采集的红外检测信息基于所述红外收发器阵列的排布方式构造为红外信号矩阵,值得一提的是,这里,所述红外信号矩阵的每个位置的值是所述红外收发器阵列中的一个红外收发器的发送信号与接收信号之间的相位差。
更具体地,在步骤S130中,将所述红外信号矩阵输入卷积神经网络以通过所述卷积神经网络对所述红外信号矩阵进行显式空间编码,以获得用于表示所述待检测对象的高维红外图像特征的第一特征图。也就是,将获得的所述红外信号矩阵输入卷积神经网络中进行处理,以通过所述卷积神经网络对所述红外信号矩阵进行显式空间编码,从而提取出所述红外信号矩阵中的局部特征在高维空间中的特征分布表示,以获得第一特征图。值得一提的是,这里,所述第一特征图用于表示所述待检测对象的高维红外图像特征。应可以理解,在本申请的技术方案中,采用所述阵列传感器所获得的红外相位图来基于所述卷积神经网络进行手势的识别,可以提高手势识别的精度。
更具体地,在步骤S140中,使用包含多个级联的全局转换矩阵层的全局转换模型对所述第一特征图的各个特征矩阵进行处理以获得第二特征图。也就是,使用包括多个级联的全局转换矩阵层的全局转换模型来对所述第一特征图的各个特征矩阵进行处理。在一个具体示例中,在所述全局转换模型的每一层,将该层的全局转换矩阵乘以所述第一特征图中的每个特征矩阵以得到转换后的特征矩阵,特别地,还增加了线性偏置和进行非线性激活以进一步提取全局特征,从而得到第二特征图。
更具体地,在步骤S150中,对所述第二特征图进行基于饱和蒸汽的线性修正以获得第三特征图,其中,基于饱和蒸汽的线性修正基于所述第二特征图中各个位置的特征值和各个所述红外收发器的温度值进行。也就是,在将通过所述卷积神经网络所获得的所述第一特征图进行基于所述转换矩阵的全局转换后,再进行基于饱和蒸汽的线性修正,以进一步地考虑烹饪时的环境因素的影响,从而使得生成的分类特征图中包含的用于分类的信息更加准确,以提高分类的精度。
更具体地,在步骤S160和步骤S170中,将所述第三特征图通过分类器以获得用于确定手势类型的分类结果,并基于所述分类结果,对与所述感应开关通信的家用电器进行控制。也就是,在进行提高手势识别的精度处理和基于环境因素的修正处理后,得到了用于分类的所述第三特征图,然后,再对所述第三特征图进行分类操作,从而获得用于确定手势类型的分类结果,最后,基于所述分类结果,对与所述感应开关通信的家用电器进行控制。值得一提的是,在一个具体示例中,所述家用电器为智能油烟机,所述智能油烟机与所述感光开关之间相互通信,并且所述手势标签包括但不局限于增大吸力、减小吸力、增大亮度、减小亮度、关机、开机和暂停等。当然,在别的具体示例中,所述家用电器还可以为别的智能家居,对此并不为本申请所局限。
综上,基于本申请实施例的所述用于家用电器的感应开关的工作方法被阐明,其采用阵列传感器所获得的红外相位图来基于卷积神经网络进行手势的识别,以提高手势识别的精度,并且还通过将卷积神经网络所获得的特征图进行基于转移矩阵的全局转换,同时进行基于饱和蒸汽的修正,这样能够进一步地考虑烹饪时的环境因素影响,以使得分类特征图中包含的用于分类的信息更加准确,从而能够提高分类的精度。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种用于家用电器的感应开关,其特征在于,包括:
红外检测信息获取单元,用于通过感光开关的红外收发器阵列中各个红外收发器获得被检测对象的红外检测信息,其中,所述红外收发器阵列中每个红外收发器以预定方向发射红外检测信号并接收从所述被检测对象反射回来的红外检测信号,所述红外检测信息为所述红外收发器的发射的红外检测信号和接收的红外检测信号之间的相位差;
矩阵构造单元,用于将各个所述红外收发器所采集的红外检测信息基于所述红外收发器阵列的排布方式构造为红外信号矩阵;
神经网络单元,用于将所述红外信号矩阵输入卷积神经网络以通过所述卷积神经网络对所述红外信号矩阵进行显式空间编码,以获得用于表示所述待检测对象的高维红外图像特征的第一特征图;
全局转换单元,用于使用包含多个级联的全局转换矩阵层的全局转换模型对所述第一特征图的各个特征矩阵进行处理以获得第二特征图;
修正单元,用于对所述第二特征图进行基于饱和蒸汽的线性修正以获得第三特征图,其中,基于饱和蒸汽的线性修正基于所述第二特征图中各个位置的特征值和各个所述红外收发器的温度值进行;
分类单元,用于将所述第三特征图通过分类器以获得用于确定手势类型的分类结果;以及
感应控制单元,用于基于所述分类结果,对与所述感应开关通信的家用电器进行控制。
2.根据权利要求1所述的用于家用电器的感应开关,其中,所述神经网络单元,进一步用于对所述红外信号矩阵中各个位置的特征值进行基于最大值的归一化处理;以及,将归一化处理后的所述红外信号矩阵输入卷积神经网络以通过所述卷积神经网络对所述红外信号矩阵进行显式空间编码,以获得所述第一特征图。
3.根据权利要求2所述的用于家用电器的感应开关,其中,所述全局转换单元,进一步用于使用包含多个级联的全局转换矩阵层的全局转换模型以如下公式对所述第一特征图的各个特征矩阵进行处理以获得所述第二特征图;
所述公式为:
F2i=Sigmoid(Mi×F1i+Bi)
其中,F1i为经过每层时的转化之前的特征矩阵,F2i为经过每层时的转化之后的特征矩阵,Mi为每层的转换矩阵,且Bi为每层的偏置矩阵,Sigmoid(·)表示Sigmoid激活函数。
4.根据权利要求3所述的用于家用电器的感应开关,其中,所述修正单元,进一步用于对所述第二特征图进行基于如下公式的饱和蒸汽的线性修正以获得所述第三特征图;
所述公式为:
Figure FDA0003277284640000021
其中fi,j为所述第二特征图的每个位置的特征值,f′i,j为所述第三特征图的每个位置的特征值,且T是每个所述红外收发器的温度值。
5.根据权利要求4所述的用于家用电器的感应开关,其中,所述分类单元,包括:
编码子单元,用于使用所述分类器的至少一个全连接层对所述第三特征图进行全连接编码以获得分类特征向量;
概率子单元,用于将所述分类特征向量输入Softmax分类函数以获得所述分类特征向量分别归属于多个手势类型标签的多个概率值;以及
确定子单元,用于将所述多个概率值中最大者对应的手势类型标签确定为所述分类结果。
6.根据权利要求5所述的用于家用电器的感应开关,其中,所述家用电器为智能油烟机,其中,所述手势标签包括增大吸力、减小吸力、增大亮度、减小亮度、关机、开机和暂停。
7.一种用于家用电器的感应开关的工作方法,其特征在于,包括:
通过感光开关的红外收发器阵列中各个红外收发器获得被检测对象的红外检测信息,其中,所述红外收发器阵列中每个红外收发器以预定方向发射红外检测信号并接收从所述被检测对象反射回来的红外检测信号,所述红外检测信息为所述红外收发器的发射的红外检测信号和接收的红外检测信号之间的相位差;
将各个所述红外收发器所采集的红外检测信息基于所述红外收发器阵列的排布方式构造为红外信号矩阵;
将所述红外信号矩阵输入卷积神经网络以通过所述卷积神经网络对所述红外信号矩阵进行显式空间编码,以获得用于表示所述待检测对象的高维红外图像特征的第一特征图;
使用包含多个级联的全局转换矩阵层的全局转换模型对所述第一特征图的各个特征矩阵进行处理以获得第二特征图;
对所述第二特征图进行基于饱和蒸汽的线性修正以获得第三特征图,其中,基于饱和蒸汽的线性修正基于所述第二特征图中各个位置的特征值和各个所述红外收发器的温度值进行;
将所述第三特征图通过分类器以获得用于确定手势类型的分类结果;和基于所述分类结果,对与所述感应开关通信的家用电器进行控制。
8.根据权利要求7所述的用于家用电器的感应开关的工作方法,其中,将所述红外信号矩阵输入卷积神经网络以通过所述卷积神经网络对所述红外信号矩阵进行显式空间编码,以获得用于表示所述待检测对象的高维红外图像特征的第一特征图,包括:
对所述红外信号矩阵中各个位置的特征值进行基于最大值的归一化处理;以及
将归一化处理后的所述红外信号矩阵输入卷积神经网络以通过所述卷积神经网络对所述红外信号矩阵进行显式空间编码,以获得所述第一特征图。
9.根据权利要求7所述的用于家用电器的感应开关的工作方法,其中,使用包含多个级联的全局转换矩阵层的全局转换模型对所述第一特征图的各个特征矩阵进行处理以获得第二特征图,包括:
用于使用包含多个级联的全局转换矩阵层的全局转换模型以如下公式对所述第一特征图的各个特征矩阵进行处理以获得所述第二特征图;
所述公式为:
F2i=Sigmoid(Mi×F1i+Bi)
其中,F1i为经过每层时的转化之前的特征矩阵,F2i为经过每层时的转化之后的特征矩阵,Mi为每层的转换矩阵,且Bi为每层的偏置矩阵,Sigmoid(·)表示Sigmoid激活函数。
10.根据权利要求7所述的用于家用电器的感应开关的工作方法,其中,对所述第二特征图进行基于饱和蒸汽的线性修正以获得第三特征图,其中,基于饱和蒸汽的线性修正基于所述第二特征图中各个位置的特征值和各个所述红外收发器的温度值进行,包括:
对所述第二特征图进行基于如下公式的饱和蒸汽的线性修正以获得所述第三特征图;
所述公式为:
Figure FDA0003277284640000041
其中fi,j为所述第二特征图的每个位置的特征值,f′i,j为所述第三特征图的每个位置的特征值,且T是每个所述红外收发器的温度值。
CN202111121295.4A 2021-09-24 2021-09-24 用于家用电器的感应开关及其工作方法 Active CN113807290B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111121295.4A CN113807290B (zh) 2021-09-24 2021-09-24 用于家用电器的感应开关及其工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111121295.4A CN113807290B (zh) 2021-09-24 2021-09-24 用于家用电器的感应开关及其工作方法

Publications (2)

Publication Number Publication Date
CN113807290A true CN113807290A (zh) 2021-12-17
CN113807290B CN113807290B (zh) 2024-04-09

Family

ID=78940314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111121295.4A Active CN113807290B (zh) 2021-09-24 2021-09-24 用于家用电器的感应开关及其工作方法

Country Status (1)

Country Link
CN (1) CN113807290B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107742095A (zh) * 2017-09-23 2018-02-27 天津大学 基于卷积神经网络的汉语手语识别方法
US20180357542A1 (en) * 2018-06-08 2018-12-13 University Of Electronic Science And Technology Of China 1D-CNN-Based Distributed Optical Fiber Sensing Signal Feature Learning and Classification Method
CN110107188A (zh) * 2019-06-12 2019-08-09 广东工业大学 一种智能窗系统
CN112733785A (zh) * 2021-01-20 2021-04-30 成都莉娣扬科技有限公司 基于层深度和感受野的信息化设备的稳定性检测方法
CN113076966A (zh) * 2020-01-06 2021-07-06 字节跳动有限公司 图像处理方法及装置、神经网络的训练方法、存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107742095A (zh) * 2017-09-23 2018-02-27 天津大学 基于卷积神经网络的汉语手语识别方法
US20180357542A1 (en) * 2018-06-08 2018-12-13 University Of Electronic Science And Technology Of China 1D-CNN-Based Distributed Optical Fiber Sensing Signal Feature Learning and Classification Method
CN110107188A (zh) * 2019-06-12 2019-08-09 广东工业大学 一种智能窗系统
CN113076966A (zh) * 2020-01-06 2021-07-06 字节跳动有限公司 图像处理方法及装置、神经网络的训练方法、存储介质
CN112733785A (zh) * 2021-01-20 2021-04-30 成都莉娣扬科技有限公司 基于层深度和感受野的信息化设备的稳定性检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王龙;刘辉;王彬;李鹏举;: "结合肤色模型和卷积神经网络的手势识别方法", 计算机工程与应用, no. 06 *

Also Published As

Publication number Publication date
CN113807290B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
Erden et al. Hand gesture based remote control system using infrared sensors and a camera
EP1487341B1 (en) Real-time eye detection and tracking under various light conditions
CN108361780B (zh) 基于微波雷达手势识别技术的抽油烟机控制器及控制方法
US9671872B2 (en) Gesture recognition method, gesture recognition system, terminal device and wearable device
CN105353634A (zh) 利用手势识别控制操作的家电设备与方法
CN105042789B (zh) 一种智能空调的控制方法及系统
Irie et al. Construction of an intelligent room based on gesture recognition: operation of electric appliances with hand gestures
TWI460396B (zh) 利用超音波之物體偵測方法
US9237635B2 (en) Intelligent lighting control apparatus and method
Lai et al. Integration of IoT energy management system with appliance and activity recognition
CN110287937A (zh) 基于知识图谱的设备状态提示方法、控制设备及控制系统
CN103956036A (zh) 一种应用于家电的非触碰式遥控器
Liu et al. mTransSee: Enabling environment-independent mmWave sensing based gesture recognition via transfer learning
CN114821450B (zh) 太阳能电池板加工用层压机及其控制方法
CN109602264A (zh) 一种基于卷积神经网络的食物识别智能烹饪控制方法
Wojtczuk et al. PIR sensor array for hand motion recognition
CN106708333A (zh) 一种基于空间识控技术的控制模块
Rashid et al. Gesture control of ZigBee connected smart home Internet of Things
CN110336719A (zh) 一种实时视频家居环境设备识别交互的远程智能家居控制方法
CN113807290A (zh) 用于家用电器的感应开关及其工作方法
Fakhrurroja et al. Hand state combination as gesture recognition using kinect v2 sensor for smart home control systems
Ma et al. Enabling cognitive pyroelectric infrared sensing: From reconfigurable signal conditioning to sensor mask design
CN106791030A (zh) 一种智能手表的控制方法和装置
CN103838402B (zh) Rs232接口专用光电有线鼠标及其使用方法
US20230222769A1 (en) Identifying stored products in domestic storage devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant