CN113432276A - 自动调节空调的方法、设备和空调 - Google Patents

Abstract

提供了一种自动调节空调的设备，包括：热红外图像检测装置，根据预设的深度学习模型对室内用户的红外图像进行检测，并获取室内用户的特征信息；麦克风阵列，通过对用户声音信号进行空时处理，获取室内发出声音用户的方向信息；确定装置，根据室内用户特征信息和所述方向信息，确定发出空调调节语音命令的用户的位置信息；调节装置，根据所述特征信息和所述语音命令来调节所述空调的参数。还提供了一种自动调节空调的方法和空调。本发明的方案实能够通过实时过滤掉其他角度传来的声音来提高语音的唤醒率和识别率，并且能够使得用户与空调进行人机交互，使空调更加智能化。

Description

自动调节空调的方法、设备和空调

技术领域

本发明涉及智能控制领域，更具体地涉及自动调节空调的方法、设备和空调。

背景技术

在目前这样一个高速发展的社会中，随着生活节奏的加快和生活质量的提高，对各类电器的要求已经无法满足于简单的使用功能，安全和智能化以及决定产品口碑的体验感已成为人们选择生活电器时必不可少的考虑因素。

在新冠肺炎疫情出现前，红外图像热成像技术已在军用、边检等领域进行了广泛应用，因其非接触、无感、筛查速度快的特点，红外热成像体温检测仪迅速成为快速筛查人群体温的优选方案，针对人群密集场所的人脸追踪、车牌识别、实名乘车均具备了丰富的行业经验和技术积累。疫情之下的2020年，“健康”成为家电领域的年度关键词之一，因此具有除菌、新风净化、提高含氧量等功能的室内空气调节类空调产品的热度不断提高，关注户用的体验感及健康舒适感已成为空调行业新一轮转型和发展的新动力。

在智能家居的实际场景中,当室内噪音过大无法唤醒语音空调或者唤醒后也容易误识别，目前的技术主要是利用可见光图像通过人脸识别技术实现用户身份确认，利用红外图像完成用户识别的相关技术较少，同时因红外图像相较于可见光图像特征信息大量丢失，给红外图像识别的过程带来了巨大挑战性。因此，急需基于热红外图像识别与麦克风阵列相结合的带有语音功能的自动调节的空调设备。

上述在背景部分公开的信息仅用于对本发明的背景做进一步的理解，因此它可以包含对于本领域普通技术人员已知的不构成现有技术的信息。

发明内容

本发明提供了一种自动调节空调的方法、设备，能够实时过滤掉其他角度传来的声音来提高语音的唤醒率和识别率，并且通过语音识别使得用户与空调进行有效的人机交互。

为解决现有技术的上述问题，本发明的提供了一种自动调节空调的方法、设备和空调。

本发明的第一方面提供了一种自动调节空调的设备，包括：热红外图像检测装置，根据预设的深度学习模型对室内用户的红外图像进行检测，并获取室内用户的特征信息；麦克风阵列，通过对用户声音信号进行空时处理，获取室内发出声音用户的方向信息；确定装置，根据室内用户特征信息和所述方向信息，确定发出空调调节语音命令的用户的位置信息；调节装置，根据所述特征信息和所述语音命令来调节所述空调的参数。

根据本发明的一个实施例，其中所述室内用户的特征信息至少包括室内用户相对于空调的角度和方位信息。

根据本发明的一个实施例，其中室内用户的特征信息包括室内用户相对于空调的角度和方位信息、以及室内用户的温度信息、身份信息中的至少一种。

根据本发明的一个实施例，其中，所述确定装置对室内用户相对于空调的角度和方位信息以及室内发出声音用户的方向信息进行匹配，如果没有相同的角度和方位，就过滤掉麦克风阵列采集到的所有的声音；如果确定室内用户相对空调的角度和方位中存在麦克风阵列采集到各个室内声源的角度和方位时，则确定采集到用户方位的声音，过滤掉其他方位的声音。

根据本发明的一个实施例，所述身份信息至少包括用户的性别和年龄，所述温度信息为用户脸部和/或躯干部的温度。

根据本发明的一个实施例，其中所述热红外图像检测装置使用红外图像帧间差分来检测室内的运动目标，并且所述深度学习模型的结构为YOLOv5网络。

本发明的第二方面提供了一种基于热红外图像识别的空调自动调节方法，一种自动调节空调的方法，包括：根据预设的深度学习模型对室内用户的红外图像进行检测，并获取室内用户的特征信息；由麦克风阵列通过对用户声音信号进行空时处理，获取室内发出声音用户的方向信息；根据室内用户特征信息和所述方向信息，确定发出空调调节语音命令的用户的位置信息；根据所述特征信息和所述语音命令来调节所述空调的参数。

根据本发明的一个实施例，确定发出空调调节语音命令的用户的位置信息包括：对室内用户相对于空调的角度和方位信息以及室内发出声音用户的方向信息进行匹配，如果没有相同的角度和方位，就过滤掉麦克风阵列采集到的所有的声音；如果确定室内用户相对空调的角度和方位中存在麦克风阵列采集到各个室内声源的角度和方位时，则确定采集到用户方位的声音，过滤掉其他方位的声音。

本发明的第三方面提供了一种空调，其采用了本发明的空调自动调节的方法，或包括本发明的空调自动调节的设备。

本发明的方案采用麦克风阵列对不同空间方向的声音信号进行空时处理，实现噪声抑制、混响去除、人声干扰抑制、声源跟踪等功能，进而提高语音信号处理质量。本发明中方案中的声源跟踪功能，是远距离环境中通过计算到达不同麦克风阵元间的时间差对用户声源到达方向进行估计，结合热红外识别用户并判断用户与麦克风阵列判断声源角度是否在同一个区域，假如红外识别到用户所在的区域与麦克风阵列所判断声源的区域在同一位置时，麦克风实时过滤掉其他角度传来的声音来提高语音的唤醒率和识别率，进一步让空调识别正在说话的用户的需求。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图进行简单介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明的一个示例性的本发明的本发明麦克风阵列能量收集及定位的示意图。

图2是根据本发明的一个示例性的实施例的本发明的本发明收集声音中的近场远场波形示意图。

图3是根据本发明的一个示例性的实施例的本发明的基于波束形成的声源定位算法示意图。

图4是根据本发明的一个示例性的实施例的本发明的热红外图像识别流程图。

图5是根据本发明的一个示例性的实施例的本发明的外图像差分模块图。

图6是根据本发明的一个示例性的实施例的本发明的用户特征信息识别判断模块框图。

图7是根据本发明的一个示例性的实施例的本发明的自动调节空调的设备框图。

图8是根据本发明的一个示例性的实施例的本发明的自动调节空调的方法的流程图。

具体实施例

如在本文中所使用的，词语“第一”、“第二”等可以用于描述本发明的示例性实施例中的元件。这些词语只用于区分一个元件与另一元件，并且对应元件的固有特征或顺序等不受该词语的限制。除非另有定义，本文中使用的所有术语(包括技术或科学术语)具有与本发明所属技术领域的普通技术人员通常理解的含意相同的含意。如在常用词典中定义的那些术语被解释为具有与相关技术领域中的上下文含意相同的含意，而不被解释为具有理想或过于正式的含意，除非在本发明中被明确定义为具有这样的含意。

本领域的技术人员将理解的是，本文中描述的且在附图中说明的本发明的装置和方法是非限制性的示例性实施例，并且本发明的范围仅由权利要求书限定。结合一个示例性实施例所说明或描述的特征可与其他实施例的特征组合。这种修改和变化包括在本发明的范围内。

下文中，将参考附图详细描述本发明的示例性实施例。在附图中，省略相关已知功能或配置的详细描述，以避免不必要地遮蔽本发明的技术要点。另外，通篇描述中，相同的附图标记始终指代相同的电路、模块或单元，并且为了简洁，省略对相同电路、模块或单元的重复描述。

此外，应当理解一个或多个以下方法或其方面可以通过至少一个控制单元或控制器执行。术语“控制单元”，“控制器”,“控制模块”或者“主控模块”可以指代包括存储器和处理器的硬件设备，术语“空调”可以指代类似于空调的设备。存储器或者计算机可读存储介质配置成存储程序指令，而处理器具体配置成执行程序指令以执行将在以下进一步描述的一个或更多进程。而且，应当理解，正如本领域普通技术人员将意识到的，以下方法可以通过包括处理器并结合一个或多个其他部件来执行。

图1是根据本发明的一个示例性的本发明的本发明麦克风阵列能量收集及定位的示意图。如图1所示，通过麦克风阵列收集声音能力，可以计算出声源相对麦克风角度和方位。

图2是根据本发明的一个示例性的实施例的本发明的本发明收集声音中的近场远场波形示意图。如图2所示，根据距离麦克风阵列的距离分为近场模型和远场模型。近场模型将声波看成球面波，它考虑麦克风阵元接收信号间的幅度差；远场模型则将声波看成平面波，它忽略各阵元接收信号间的幅度差，近似认为各接收信号之间是简单的时延关系。

图3是根据本发明的一个示例性的实施例的本发明的基于波束形成的声源定位算法示意图。如图3所示，过声源到达麦克风的时间差等参数计算声源的角度。

图4是根据本发明的一个示例性的实施例的本发明的热红外图像识别流程图。

如图4所示，将红外图像图进行图像预处理，也即红外图像前端降噪，即随着时间变化也会发生变化的噪声即时域噪声。随着图像的帧数的增加，图像中的目标可能会产生模糊或者拖影的情况，如何滤除这个拖尾和模糊的情况就是要如何去除时域噪声。如果要滤除时域上的噪声需要做运动检测。其中检测运动物体，通常做法就是使用帧间差分去实现。5是根据本发明的一个示例性的实施例的本发明的外图像差分模块图。如图5所示，如果场景(帧)内没有运动目标，则连续帧的变化很微弱，如果存在运动目标，则连续的帧和帧之间会有明显地变化，通过阈值处理输出去除噪声的红外图像。其中，帧间差分比较典型的又有两帧差分或者三帧差分。

图4中的两副图表示通过热红外人脸识别检测得到用户人脸并得人脸框的温度,其中左边的图表示检测到包括人联以及相关背景中的温度参数，其中Min表示框中最小温度值，Avg表示框中检测到的平均温度值，Max表示检测到的最大温度值(也即检测到人脸的最大温度值)。右图表示在检测到的人脸的耳朵处的最大温度值，即36.3度，右图中右侧的条表示在红外检中温度值对应的颜色。

将经过预处理后的红外图像导入到热红外图像识别模块，热红外模型结构是将YOLOv5网络中的残差层替换为密集卷积块，构建含有5个不同尺度卷积层的特征金字塔，将特征金字塔与深度密集网络进行融合，利用Softmax函数对融合的特征进行分类，形成深度融合的快速目标检测模型。

图6是根据本发明的一个示例性的实施例的本发明的用户特征信息识别判断模块框图。如图4和图6所示，对于通过红外探测成像单元所获取的用户人体热成像图，首先进行维度与尺度调整。根据本发明的一个或多个实施例，通过卷积层与池化层的处理得到尺度大小为单通道的8×8的特征图像，对8×8的特征图像通过3×3的卷积层以两个单位的尺度步长进行下采样操作并融合8×8的特征图像信息，目的是减少图像下采样导致红外图像信息丢失，然后获取尺度大小为4×4的特征图像，对得到的4×4特征图像进行同样的下采样处理，直至获得尺度大小为1×1的特征图像。对1×1的特征图像直接利用双线性插值法进行8倍的上采样操作，并对获取的上采样图像每个像素进行Softmax分类函数预测，即获取每个分割区域得分；同时对1×1的特征图像利用双线性插值法进行2倍的上采样操作，将获取的上采样图像与下采样获取的同尺度2×2特征图像进行特征逐点相加的特征融合操作，对通过上述过程获取的图像进行4倍的上采样操作，并对获取的上采样图像每个像素进行Softmax分类函数预测，即获取每个分割区域得分；同上述操作对2×2的特征图像利用双线性插值法进行2倍的上采样操作，将获取的上采样图像与下采样获取的同尺度4×4特征图像进行特征逐点相加的特征融合操作，对通过上述过程获取的图像进行2倍的上采样操作，并对获取的上采样图像每个像素进行Softmax分类函数预测，即获取每个分割区域得分；对4×4的特征图像利用双线性插值法进行2倍的上采样操作，将获取的上采样图像与下采样获取的同尺度8×8特征图像进行特征逐点相加的特征融合操作，并对获取的图像每个像素进行Softmax分类函数预测，即获取每个分割区域得分。最终通过对上述四个特征图的Softmax分类函数预测得分进行综合分析，对用户特征信息(包括身份、温度、方位、区域、角度)进行综合识别得出判断结果。其中，红外热图像检测主要目的是先识别热图中是否有用户以及用户的相关属性，然后得到用户相对空调的角度和方位，为后续获得用户的方位和角度做准备。识别用户的同时通过识别用户的框的位置信息来得到用户相对空调计算出用户的方位和角度。该过程可以通过红外摄像头与麦克风阵列进行标定，主要是当用户处于红外图像中间值时就相当于与麦克风阵列判断用户处于零度值处，当用户呈现到红外图像左侧或者右侧都能有相应的偏角值。通过这样的方式得到用户的方位和角度，然后得到用户的方位和角度等参数导入到确定装置，确定装置来实现组合降噪功能，得到室内发出语音命令的用户的相关准确位置信息。

根据本申请的一个或多个实施例，还包括麦克风阵列，利用麦克风阵列的多个阵元收到的时间差，基于声源定位算法对声源仲裁判断及进定位，即通过对用户声音信号进行空时处理，获取室内发出声音用户的方向信息。

如本申请的图1-3所示，假设入射波形是平行的，如果入射角度不与麦克风阵列垂直(90度)，那么声源叨叨每个麦克风就会有延时，延时大小由入射角度而定。基于波束形成的声源定位算法将各阵元采集来的信号进行加权求和形成波束算成声源位置。根据本发明的一个或多个实施例，由于2个麦克风之间的位置信息已经固定并形成麦克风阵列,通过声音方向和2个麦克风基线形成一定的夹角就能够判断声源方向，所以2个麦克风就可以判断出声源方向，图1和图3示出可以通过2个麦克风判定声源方向。在实际操作中，可以使用多个麦克风组成的麦克风阵列获取更加准确的用户方向和位置。

确定装置来实现组合降噪功能，得到室内发出语音命令的用户的相关准确位置信息，其中麦克风阵列具有声源跟踪功能，通过远距离环境中通过计算到达不同麦克风阵元间的时间差对用户声源到达方向进行估计，通过结合热红外图像检测得到的用户的特征新，从而并判断用户与麦克风阵列判断声源角度是否在同一个区域，红外识别可以通过红外摄像头或者热电堆来实现，热红外图像检测装置判断出用户在室内各个所处在的位置信息并传递给麦克风阵列的语音模块系统，通过麦克风阵列计算(如图3所示的基于波束形成的声源定位算法)出各个声源位置信息，通过已知的用户的位置信息来提取用户的声源位置信息，并对其余角度位置的声源进行过滤，这样降噪方法能够有效提高语音的唤醒率和识别率。通过热红外图像识别与麦克风阵列语音识别系统深度融合，能够让用户提出一些需求，比如：“唤醒词(例如××空调)，我的温度有多少”，然后语音系统会触发热红外图像检测装置来提取用户的温度，并通过语音系统告诉用户的温度有多少，通过用户实时温度，空调也会实时自动调节空调送风模式和送风方向。

根据本发明的实施例，自动调节空调的设备主要需要的参数是热红外识别用户以及用户的角度和方位，麦克风获取各个声源的角度和方位，热红外图像检测装置中的热红外摄像头获得角度实时去判断麦克风获得各个声源的角度是否有相同的角度和方位，如果没有相同的角度和方位，语音识别模型(深度学习模型)就过滤掉麦克风采集所有的声音；当热红外识别到用户相对空调的角度和方位存在麦克风采用到各个声源的角度和方位时，热红外图像检测装置中的语音识别模块就采集用户方位的声音，其他方位的声音讲被过滤掉。也即确定装置实现了通过热红外图像检测装置和麦克风阵列进行组合降噪的功能。

本发明的方案通过热红外图像检测装置中的热红外图像识别来具体实现以下功能：

(1)用户识别

通过热红外图像识别模型对用户性别判断、年龄进行识别实现个性化送风、调温，实现风避人、风随人动；通过性别判断、年龄识别进行精细化送风，不同性别以及年龄阶段用户对温度的敏感度不同，不同的温度会让不同人群感受到舒适性；热红外图进行实时判断用户在热红外图的视场范围那个位置并进行精确位置送风或避风。

根据本发明的一个或多个实施例，不同性别、年龄阶段的用户对温度及风的大小感受有一定差异，假如识别到小孩、老人等所感受温度稍微比中年人感受温度高一点才让这些群体感受到舒适。

(2)用户舒适性

在第(1)步的基础上已经知道用户性别、年龄阶段等形象，对用户体感温度进行识别，对温度偏高或偏低进行空调自动调温，确保用户的体感温度保持舒适状态；利用红外摄像头识别到用户的脸或者躯干的温度较高时，空调会自动调节温度。

(3)用户的健康信息

通过上面(1)和(2)得到用户不同区域温度值，判断人体器官部位温度与正常值相比是否长期偏高，制定个性化健康服务信息，通过APP进行信息推送。识别到用户的脸部、躯干部位的温度值。

(4)用户所处区域的位置信息

红外热图像检测主要目的是先识别热图像中是否有用户以及用户的相关属性，然后得到用户相对空调的角度和方位，为后续与麦克风阵列获得用户的方位和角度做匹配确定的准备。

图7是根据本发明的一个示例性的实施例的本发明的自动调节空调的设备框图。

如图7所示，其中自动调节空调的设备包括热红外图像检测装置，麦克风阵列，确定装置和调节装置。

其中，热红外图像检测装置，根据预设的深度学习模型对室内用户的红外图像进行检测，并获取室内用户的特征信息；麦克风阵列，通过对用户声音信号进行空时处理，获取室内发出声音用户的方向信息；确定装置，根据室内用户特征信息和所述方向信息，确定发出空调调节语音命令的用户的位置信息；调节装置，根据所述特征信息和所述语音命令来调节所述空调的参数。

图8是根据本发明的一个示例性的实施例的本发明的自动调节空调的方法的流程图。

如图8所示，在步骤S1处，根据预设的深度学习模型对室内用户的红外图像进行检测，并获取室内用户的特征信息；

在步骤S2处，由麦克风阵列通过对用户声音信号进行空时处理，获取室内发出声音用户的方向信息；

在步骤S3处，根据室内用户特征信息和所述方向信息，确定发出空调调节语音命令的用户的位置信息；

在步骤S4处，根据所述特征信息和所述语音命令来调节所述空调的参数。

根据本发明的一个或多个实施例，本发明的空调自动调节的设备中的控制逻辑可以使用存储在非暂时性计算机和/或机器可读介质(例如硬盘驱动器、闪存、只读存储器、光盘、数字多功能磁盘、高速缓存、随机存取存储器和/或任何其他存储设备或存储磁盘)上的编码的指令(例如，计算机和/或机器可读指令)来实现如本发明以上所述自动调节方案的处理，在非暂时性计算机和/或机器可读介质中存储任何时间期间(例如，延长的时间段、永久的、短暂的实例、临时缓存和/或信息高速缓存)的信息。如本文所使用的，术语“非暂时性计算机可读介质”被明确定义为包括任何类型的计算机可读存储设备和/或存储盘，并且排除传播信号并排除传输介质。

根据本发明的一个或多个实施例，本发明的空调自动调节的设备的控制电路、(控制逻辑、主控系统或控制模块)可以包含一个或多个处理器，也可以在内部包含有非暂时性计算机可读介质。具体地，在智能装置中(主控系统或控制模块)可以包括微控制器MCU，其布置在空调中，用于自动调节方法的各种操作和实施多种功能。用于实现本发明基于热红外图像识别的空调自动调节功能的处理器可以诸如但不限于一个或多个单核或多核处理器。(一个或多个)处理器可包括通用处理器和专用处理器(例如，图形处理器、应用处理器等)的任何组合。处理器可与其耦接和/或可包括计存储器/存储装置，并且可被配置为执行存储在存储器/存储装置中的指令，以实现在本发明中控制器上运行的各种应用和/或操作系统。

作为本发明示例的上文涉及的附图和本发明的详细描述，用于解释本发明，但不限制权利要求中描述的本发明的含义或范围。因此，本领域技术人员可以很容易地从上面的描述中实现修改。此外，本领域技术人员可以删除一些本文描述的组成元件而不使性能劣化，或者可以添加其它的组成元件以提高性能。此外，本领域技术人员可以根据工艺或设备的环境来改变本文描述的方法的步骤的顺序。因此，本发明的范围不应该由上文描述的实施例来确定，而是由权利要求及其等同形式来确定。

尽管本发明结合目前被认为是可实现的实施例已经进行了描述，但是应当理解本发明并不限于所公开的实施例，而相反的，意在覆盖包括在所附权利要求的精神和范围内的各种修改和等同配置。

Claims (12)

1.一种自动调节空调的设备，包括：

热红外图像检测装置，根据预设的深度学习模型对室内用户的红外图像进行检测，并获取室内用户的特征信息；

麦克风阵列，通过对用户声音信号进行空时处理，获取室内发出声音用户的方向信息；

确定装置，根据室内用户特征信息和所述方向信息，确定发出空调调节语音命令的用户的位置信息；

调节装置，根据所述特征信息和所述语音命令来调节所述空调的参数。

2.根据权利要求1所述的设备，其中所述室内用户的特征信息至少包括室内用户相对于空调的角度和方位信息。

3.根据权利要求1所述的设备，其中室内用户的特征信息包括室内用户相对于空调的角度和方位信息、以及室内用户的温度信息、身份信息中的至少一种。

4.根据权利要求2所述的设备，其中，所述确定装置对室内用户相对于空调的角度和方位信息以及室内发出声音用户的方向信息进行匹配，如果没有相同的角度和方位，就过滤掉麦克风阵列采集到的所有的声音；如果确定室内用户相对空调的角度和方位中存在麦克风阵列采集到各个室内声源的角度和方位时，则确定采集到用户方位的声音，过滤掉其他方位的声音。

5.根据权利要求3所述的设备，所述身份信息至少包括用户的性别和年龄，所述温度信息为用户脸部和/或躯干部的温度。

6.根据权利要求1所述的设备，其中所述热红外图像检测装置使用红外图像帧间差分来检测室内的运动目标，并且所述深度学习模型的结构为YOLOv5网络。

7.一种自动调节空调的方法，包括：

根据预设的深度学习模型对室内用户的红外图像进行检测，并获取室内用户的特征信息；

由麦克风阵列通过对用户声音信号进行空时处理，获取室内发出声音用户的方向信息；

根据室内用户特征信息和所述方向信息，确定发出空调调节语音命令的用户的位置信息；

根据所述特征信息和所述语音命令来调节所述空调的参数。

8.根据权利要求7所述的方法，其中室内用户的特征信息包括室内用户相对于空调的角度和方位信息、以及室内用户的温度信息和身份信息中的至少一种。

9.根据权利要求8所述的方法，其中，确定发出空调调节语音命令的用户的位置信息包括：

对室内用户相对于空调的角度和方位信息以及室内发出声音用户的方向信息进行匹配，如果没有相同的角度和方位，就过滤掉麦克风阵列采集到的所有的声音；

如果确定室内用户相对空调的角度和方位中存在麦克风阵列采集到各个室内声源的角度和方位时，则确定采集到用户方位的声音，过滤掉其他方位的声音。

10.根据权利要求8所述的方法，所述身份信息至少包括用户的性别和年龄，所述温度信息为用户脸部和/或躯干部的温度。

11.根据权利要求7所述的方法，其中所述获取室内用户的特征信息包括：使用红外图像帧间差分来检测室内的运动目标，并且所述深度学习模型的结构为YOLOv5网络。

12.一种空调，其采用权利要求7-11中任一项所述的方法，或包括权利要求1-6任一项所述的设备。

Images