CN111568388A - 一种非接触式口呼吸检测装置、方法及存储介质 - Google Patents

Abstract

本发明公开了一种非接触式口呼吸检测装置、方法及存储介质，包括：使用热成像仪模块进行非接触式采集待测目标脸部不同位置温度并生成红外热像图序列；使用舵机模块接收处理器的脉冲信号，调节热成像仪模块的采集方向；处理器接收热成像仪模块的红外热像图序列并定位出人脸在红外热像图中的位置，调整热成像仪模块的采集方向使待测人脸位于检测区域内，从人脸红外热像图中定位出鼻孔和嘴部两个感兴趣区域，根据提取出的鼻孔和嘴部的温度数据时间序列判断待测目标是否进行口呼吸以及口呼吸强度，生成呼吸报告。本发明能区分待测目标是口呼吸还是鼻呼吸，能生成待测目标睡眠期间的呼吸报告，不会对用户睡眠造成影响。

Description

一种非接触式口呼吸检测装置、方法及存储介质

技术领域

本发明涉及口呼吸检测技术领域，具体而言，涉及一种非接触式口呼吸检测装置、方法及存储介质。

背景技术

口呼吸是不良呼吸习惯，长期的口呼吸会影响牙颌面的正常发育，形成腺样体面容，引起睡眠呼吸障碍，语言障碍，影响健康。及时发现并阻断口呼吸非常重要，儿童的3-5岁为最佳矫治时间。

现有的口呼吸检测装置多为接触式，非智能的物理设备。而口呼吸症状多于睡眠中发生，或者在睡眠时会加重。接触式的检测装置会影响睡眠，给用户造成不适，不能准确反映日常睡眠时的呼吸情况。而且非智能检测设备需要依赖人工记录，给使用者增加额外的工作量。

公开号为CN102499664B的发明专利，公开了一种基于视频图像的非接触式生命体征检测方法，该发明检测呼吸的方式是通过检测胸腔的运动来实现的，这种方法无法区分待测目标是口呼吸还是鼻呼吸。

发明内容

为了克服上述问题或者至少部分地解决上述问题，本发明实施例提供一种非接触式口呼吸检测装置、方法及存储介质，能区分待测目标是口呼吸还是鼻呼吸，能自动生成待测目标睡眠期间的呼吸报告，且由于是非接触式的，不会对用户睡眠造成影响。

本发明的实施例是这样实现的：

一种非接触式口呼吸检测装置，包括：热成像仪模块，所述热成像仪模块用于非接触式采集待测目标脸部不同位置温度并生成红外热像图序列；舵机模块，所述舵机模块用于接收处理器的脉冲信号，根据脉冲信号调节所述热成像仪模块的采集方向；处理器，所述处理器包括人脸识别模块、脸部特征点识别模块和信号处理模块；所述人脸识别模块用于接收热成像仪模块的红外热像图序列并定位出待测人脸在红外热像图中的位置，若待测人脸偏离预设的检测区域，则所述处理器发送脉冲信号给舵机模块以控制舵机模块调整采集方向使待测人脸位于检测区域内，当检测区域内的待测人脸能被热成像仪模块完整捕捉时，人脸识别模块将识别出的人脸红外热像图裁剪出来发送至脸部特征点识别模块；所述脸部特征点识别模块用于从人脸红外热像图中定位出鼻孔和嘴部两个感兴趣区域，并将鼻孔和嘴部两个感兴趣区域的平均温度发送到信号处理模块；所述信号处理模块用于提供一个缓冲区来储存鼻孔和嘴部的平均温度数据和对应的时间戳，当平均温度数据数量达到预设量时，所述信号处理模块提取出鼻孔和嘴部的温度数据时间序列，并根据提取出的鼻孔和嘴部的温度数据时间序列判断待测目标是否进行口呼吸以及口呼吸强度，生成呼吸报告。

在本发明的一些实施例中，一种非接触式口呼吸检测装置，装置还设有传输模块，传输模块与移动终端连接，移动终端用于控制装置的启停和获取呼吸报告。

在本发明的一些实施例中，一种非接触式口呼吸检测装置，呼吸报告中记录的内容至少包括待测目标的呼吸状态是口呼吸、鼻呼吸、口呼吸和鼻呼吸并存，以及口呼吸、鼻呼吸、口呼吸和鼻呼吸并存分别对应的时间以及强度。

在本发明的一些实施例中，一种非接触式口呼吸检测装置，人脸识别模块是基于用于图像语义分割的全连接卷积神经网络(Fully Convolutional Network，FCN)实现人脸识别，人脸识别模块用一个预先训练好的红外热像图人脸分割模型，对输入的红外热像图进行预测，输出一个像素级别的分类图，把原图中的每个像素分为脸部区域或非脸部区域。

在本发明的一些实施例中，一种非接触式口呼吸检测装置，脸部特征点识别模块是基于主动表观模型(Active Appearance Model,AAM)实现脸部特征点识别，脸部特征点识别模块用一个预先训练好的红外热像图脸部特征点标注模型，对人脸识别模块输出的人脸红外热像图进行标注，输出鼻孔和嘴部的位置和平均温度值。

在本发明的一些实施例中，一种非接触式口呼吸检测装置，其特征在于，信号处理模块以鼻孔和嘴部两个区域的平均温度值作为输入，在缓冲区记录输入的鼻孔和嘴部两个区域的平均温度数据和对应的时间戳，当缓冲区积累的数据量达到预设数据量时，信号处理模块对鼻孔和嘴部的温度数值时间序列进行平滑、滤波和频域分析的处理，并通过比较和衡量鼻孔和嘴部的呼吸信号，生成口呼吸强度估计，从而生成用户的呼吸报告。

一种非接触式口呼吸检测方法，应用于非接触式口呼吸检测装置，方法包括：使用热成像仪模块进行非接触式采集待测目标脸部不同位置温度并生成红外热像图序列；使用舵机模块接收处理器的脉冲信号，根据脉冲信号调节热成像仪模块的采集方向；使用处理器接收热成像仪模块的红外热像图序列并定位出待测人脸在红外热像图中的位置，若待测人脸偏离预设的检测区域，则处理器发送脉冲信号给舵机模块以控制舵机模块调整采集方向使待测人脸位于检测区域内，裁剪出检测区域内的人脸红外热像图，从人脸红外热像图中定位出鼻孔和嘴部两个感兴趣区域，记录鼻孔和嘴部两个感兴趣区域的平均温度数据和对应的时间戳，当平均温度数据的数量达到预设量时，提取出鼻孔和嘴部的温度数据时间序列，根据提取出的鼻孔和嘴部的温度数据时间序列判断待测目标是否进行口呼吸以及口呼吸强度，生成呼吸报告。

在本发明的一些实施例中，一种非接触式口呼吸检测方法，方法还包括装置与移动终端连接，移动终端用于控制装置的启停和获取呼吸报告。

一种存储介质，存储介质存储计算机程序，计算机程序使处理器执行非接触式口呼吸检测方法。

本发明实施例至少具有如下优点或有益效果：

1.能区分待测目标是口呼吸还是鼻呼吸，既能及时发现自己或孩子的口呼吸症状，从而及时就医，避免未来对容貌、口腔、睡眠以及语言系统的负面影响；本发明的装置亦可用于监控口呼吸矫正的效果。

2.与现用的接触式口呼吸检测装置相比，本发明可在对用户睡眠产生极小影响的情况下进行使用，使用时亦无需用户进行额外操作。

3.能自动生成待测目标睡眠期间的呼吸报告，以供医护人员查看，以便于医护人员针对性的制定恢复方案。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明一种非接触式口呼吸检测装置的系统框图；

图2为本发明一种非接触式口呼吸检测装置中人脸识别模块调整方向的示意图；

图3为本发明一种非接触式口呼吸检测方法的流程图；

图4为本发明一种非接触式口呼吸检测装置中原呼吸信号示意图；

图5为本发明一种非接触式口呼吸检测装置中滤波后的呼吸信号示意图；

图6为本发明一种非接触式口呼吸检测装置中呼吸信号的时频图。

图标：1-待测人脸，2-检测区域。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

实施例

请参照图1-2，本实施例提供一种非接触式口呼吸检测装置，包括：

热成像仪模块，热成像仪模块包括热成像仪，热成像仪用于非接触式采集待测目标脸部不同位置温度并生成红外热像图序列；本发明采用的热成像仪优选长波红外热成像仪，可检测波长范围为8到14微米，分辨率为80*60像素，采集帧率为9赫兹。

舵机模块，舵机模块包括舵机，舵机上装配有热成像仪，热成像仪跟随舵机转动，舵机接收脉冲信号后调整方向，具体的，舵机接收处理器的脉冲信号，根据脉冲信号调节自身的角度，从而调节热成像仪模块的采集方向。本发明采用的舵机可通过脉冲宽度调制来控制角度。舵机上装配有热成像仪，舵机的转动可带动热成像仪转动，从而改变热成像仪的检测区域2。

处理器，处理器与热成像仪模块和舵机模块连接，处理器可对热成像仪模块发送控制信号，控制热成像仪的开启、关闭、传送图像等功能，处理器可通过给舵机模块发送脉冲信号，控制舵机的角度，从而改变热成像仪的检测范围。处理器中包括三个模块：人脸识别模块、脸部特征点识别模块和信号处理模块；当处理器接收到热成像仪生成的红外热像图序列时，会先传送给人脸识别模块检测人脸位置，人脸识别模块用于接收热成像仪模块的红外热像图序列并定位出待测人脸1在红外热像图中的位置，若待测人脸1偏离预设的检测区域2，则处理器发送脉冲信号给舵机模块以控制舵机模块调整采集方向使待测人脸1位于检测区域2内，当检测区域2内的待测人脸1能被热成像仪模块完整捕捉时，人脸识别模块将识别出的人脸1红外热像图裁剪出来传送到脸部特征点识别模块；脸部特征点识别模块会在人脸1红外热像图中定位出鼻孔和嘴部两个感兴趣区域，也就是ROI(Region ofInterest)区域，并将鼻孔和嘴部两个感兴趣区域的平均温度发送到信号处理模块；信号处理模块提供了一个缓冲区来储存鼻孔和嘴部的平均温度数据和对应的时间戳，当平均温度数据数量达到预设量时，信号处理模块对鼻孔和嘴部的温度数值时间序列进行平滑、滤波和频域分析的处理，信号处理模块提取出鼻孔和嘴部的温度数据时间序列，并通过比较和衡量鼻孔和嘴部的呼吸信号，可以与标准的鼻孔和嘴部的呼吸信号作对比，生成口呼吸强度估计，从而生成用户的呼吸报告。具体的，请参考图4，图4为原呼吸信号示意图，由于器材、环境变化、人体晃动等因素，信号波形具有噪声干扰。所以信号处理第一步为滤波，由于普通人夜间呼吸频率一般低于每秒1次，所以信号先通过截止频率为0.2-0.85Hz的带通滤波器。滤波后的呼吸信号示意图请参考图5，接着，对滤波后的呼吸信号进行短时傅里叶变换分析，请参考图6，图6为时频图，图6上半部分图片为频谱图，下半部分图片为频谱图平均值，横轴为时间，纵轴为频率，数值为对每个短期局部时间的频率成分的能量估计。然后，对时频图也就是图6中每个短期局部时间的0-1Hz处的能量数值相加，若其强度大于预设阈值，则判定该短期局部时间内信号符合呼吸信号的特点，否则不符合呼吸信号。对鼻孔区域的信号和嘴部区域的信号做同样的处理，通过判断两种信号是否符合呼吸信号的特点，来判断使用者当前呼吸状态是鼻呼吸、口呼吸，还是鼻呼吸和口呼吸并存，并通过信号波形的振幅，来估计鼻呼吸和口呼吸的强度。

进一步的，装置还设有传输模块，传输模块与移动终端连接，移动终端用于控制装置的启停和获取呼吸报告。请参考图1，用户可通过手机或电脑的WIFI模块与处理器进行连接，控制口呼吸检测程序的开启、关闭和获取呼吸报告。

进一步的，呼吸报告中记录的内容至少包括待测目标的呼吸状态是口呼吸、鼻呼吸、口呼吸和鼻呼吸并存，以及口呼吸、鼻呼吸、口呼吸和鼻呼吸并存分别对应的时间以及强度。

进一步的，人脸识别模块是基于用于图像语义分割的全连接卷积神经网络(FullyConvolutional Network，FCN)实现人脸1识别，人脸识别模块用一个预先训练好的红外热像图人脸1分割模型，对输入的红外热像图进行预测，输出一个像素级别的分类图，把原图中的每个像素分为脸部区域或非脸部区域。

进一步的，脸部特征点识别模块是基于主动表观模型(Active AppearanceModel，AAM)实现脸部特征点识别，脸部特征点识别模块用一个预先训练好的红外热像图脸部特征点标注模型，对人脸识别模块输出的人脸1红外热像图进行标注，输出鼻孔和嘴部的位置和平均温度值。

请参考图3，本实施例还提供一种非接触式口呼吸检测方法，应用于非接触式口呼吸检测装置，方法包括：

S10:使用热成像仪模块进行非接触式采集待测目标脸部不同位置温度并生成红外热像图序列；

S11:使用舵机模块接收处理器的脉冲信号，根据脉冲信号调节热成像仪模块的采集方向；

S12:使用处理器接收热成像仪模块的红外热像图序列并定位出待测人脸1在红外热像图中的位置，若待测人脸1偏离预设的检测区域2，则处理器发送脉冲信号给舵机模块以控制舵机模块调整采集方向使待测人脸1位于检测区域2内，裁剪出检测区域2内的人脸1红外热像图，从人脸1红外热像图中定位出鼻孔和嘴部两个感兴趣区域，记录鼻孔和嘴部两个感兴趣区域的平均温度数据和对应的时间戳，当平均温度数据的数量达到预设量时，提取出鼻孔和嘴部的温度数据时间序列，根据提取出的鼻孔和嘴部的温度数据时间序列判断待测目标是否进行口呼吸以及口呼吸强度，生成呼吸报告。

在本发明的一些实施例中，一种非接触式口呼吸检测方法，方法还包括装置与移动终端连接，移动终端用于控制装置的启停和获取呼吸报告。

本实施例还提供一种存储介质，存储介质存储计算机程序，计算机程序使处理器执行非接触式口呼吸检测方法，例如执行S10:使用热成像仪模块进行非接触式采集待测目标脸部不同位置温度并生成红外热像图序列；S11:使用舵机模块接收处理器的脉冲信号，根据脉冲信号调节热成像仪模块的采集方向；S12:使用处理器接收热成像仪模块的红外热像图序列并定位出待测人脸1在红外热像图中的位置，若待测人脸1偏离预设的检测区域2，则处理器发送脉冲信号给舵机模块以控制舵机模块调整采集方向使待测人脸1位于检测区域2内，裁剪出检测区域2内的人脸1红外热像图，从人脸1红外热像图中定位出鼻孔和嘴部两个感兴趣区域，记录鼻孔和嘴部两个感兴趣区域的平均温度数据和对应的时间戳，当平均温度数据的数量达到预设量时，提取出鼻孔和嘴部的温度数据时间序列，根据提取出的鼻孔和嘴部的温度数据时间序列判断待测目标是否进行口呼吸以及口呼吸强度，生成呼吸报告。

综上，本发明的实施例提供一种非接触式口呼吸检测装置、方法及存储介质，主要采用低分辨率热成像仪传感器对脸部温度进行非接触式检测；处理器对脸部红外热像图图像序列进行处理时，当检测到人脸1偏离热成像仪检测区域2时，会控制舵机转动，追踪人脸1，保证人脸1处于热成像仪检测范围内；处理器中运行的脸部识别模块会识别出红外热像图中人脸1的位置，之后传送到脸部特征点识别模块，得到人脸1的鼻孔和嘴部两个感兴趣区域，接着将这两个区域的平均温度序列传送到信号处理模块，信号处理模块从两个感兴趣区域的温度变化序列中提取呼吸信号，生成呼吸检测报告，保存在处理器中。用户可通过手机或电脑的无线连接模块(WIFI)连接到处理器，获取呼吸报告。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (9)

1.一种非接触式口呼吸检测装置，其特征在于，包括：

热成像仪模块，所述热成像仪模块用于非接触式采集待测目标脸部不同位置温度并生成红外热像图序列；

舵机模块，所述舵机模块用于接收处理器的脉冲信号，根据脉冲信号调节所述热成像仪模块的采集方向；

处理器，所述处理器包括人脸识别模块、脸部特征点识别模块和信号处理模块；

所述人脸识别模块用于接收热成像仪模块的红外热像图序列并定位出待测人脸在红外热像图中的位置，若待测人脸偏离预设的检测区域，则所述处理器发送脉冲信号给舵机模块以控制舵机模块调整采集方向使待测人脸位于检测区域内，当检测区域内的待测人脸能被热成像仪模块完整捕捉时，人脸识别模块将识别出的人脸红外热像图裁剪出来发送至脸部特征点识别模块；

所述脸部特征点识别模块用于从人脸红外热像图中定位出鼻孔和嘴部两个感兴趣区域，并将鼻孔和嘴部两个感兴趣区域的平均温度发送到信号处理模块；

所述信号处理模块用于提供一个缓冲区来储存鼻孔和嘴部的平均温度数据和对应的时间戳，当平均温度数据数量达到预设量时，所述信号处理模块提取出鼻孔和嘴部的温度数据时间序列，并根据提取出的鼻孔和嘴部的温度数据时间序列判断待测目标是否进行口呼吸以及口呼吸强度，生成呼吸报告。

2.根据权利要求1所述的一种非接触式口呼吸检测装置，其特征在于，所述装置还设有传输模块，所述传输模块与移动终端连接，所述移动终端用于控制所述装置的启停和获取呼吸报告。

3.根据权利要求1所述的一种非接触式口呼吸检测装置，其特征在于，所述呼吸报告中记录的内容至少包括待测目标的呼吸状态是口呼吸、鼻呼吸、口呼吸和鼻呼吸并存，以及口呼吸、鼻呼吸、口呼吸和鼻呼吸并存分别对应的时间以及强度。

4.根据权利要求1所述的一种非接触式口呼吸检测装置，其特征在于，所述人脸识别模块是基于用于图像语义分割的全连接卷积神经网络实现人脸识别，所述人脸识别模块用一个预先训练好的红外热像图人脸分割模型，对输入的红外热像图进行预测，输出一个像素级别的分类图，把原图中的每个像素分为脸部区域或非脸部区域。

5.根据权利要求1所述的一种非接触式口呼吸检测装置，其特征在于，所述脸部特征点识别模块是基于主动表观模型实现脸部特征点识别，所述脸部特征点识别模块用一个预先训练好的红外热像图脸部特征点标注模型，对人脸识别模块输出的人脸红外热像图进行标注，输出鼻孔和嘴部的位置和平均温度值。

6.根据权利要求1所述的一种非接触式口呼吸检测装置，其特征在于，所述信号处理模块以鼻孔和嘴部两个区域的平均温度值作为输入，在缓冲区记录输入的鼻孔和嘴部两个区域的平均温度数据和对应的时间戳，当缓冲区积累的数据量达到预设数据量时，所述信号处理模块对鼻孔和嘴部的温度数值时间序列进行平滑、滤波和频域分析的处理，并通过比较和衡量鼻孔和嘴部的呼吸信号，生成口呼吸强度估计，从而生成用户的呼吸报告。

7.一种非接触式口呼吸检测方法，其特征在于，应用于权利要求1-5任一所述的装置，所述方法包括：

使用热成像仪模块进行非接触式采集待测目标脸部不同位置温度并生成红外热像图序列；

使用舵机模块接收处理器的脉冲信号，根据脉冲信号调节所述热成像仪模块的采集方向；

使用处理器接收热成像仪模块的红外热像图序列并定位出待测人脸在红外热像图中的位置，若待测人脸偏离预设的检测区域，则所述处理器发送脉冲信号给舵机模块以控制舵机模块调整采集方向使待测人脸位于检测区域内，裁剪出检测区域内的人脸红外热像图，从人脸红外热像图中定位出鼻孔和嘴部两个感兴趣区域，记录鼻孔和嘴部两个感兴趣区域的平均温度数据和对应的时间戳，当平均温度数据的数量达到预设量时，提取出鼻孔和嘴部的温度数据时间序列，根据提取出的鼻孔和嘴部的温度数据时间序列判断待测目标是否进行口呼吸以及口呼吸强度，生成呼吸报告。

8.根据权利要求7所述的一种非接触式口呼吸检测方法，其特征在于，所述方法还包括所述装置与移动终端连接，所述移动终端用于控制所述装置的启停和获取呼吸报告。

9.一种存储介质，其特征在于，所述存储介质存储计算机程序，所述计算机程序使处理器执行如权利要求7或8所述的非接触式口呼吸检测方法。

Images