CN116030051A - 一种呼吸训练检测评价方法及装置 - Google Patents
一种呼吸训练检测评价方法及装置 Download PDFInfo
- Publication number
- CN116030051A CN116030051A CN202310301149.2A CN202310301149A CN116030051A CN 116030051 A CN116030051 A CN 116030051A CN 202310301149 A CN202310301149 A CN 202310301149A CN 116030051 A CN116030051 A CN 116030051A
- Authority
- CN
- China
- Prior art keywords
- roi
- width
- height
- breath
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000029058 respiratory gaseous exchange Effects 0.000 title claims abstract description 73
- 238000001514 detection method Methods 0.000 title claims abstract description 62
- 238000012549 training Methods 0.000 title claims abstract description 56
- 238000011156 evaluation Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000001931 thermography Methods 0.000 claims abstract description 24
- 238000013210 evaluation model Methods 0.000 claims abstract description 12
- 230000000241 respiratory effect Effects 0.000 claims description 59
- 230000006399 behavior Effects 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 27
- 210000000214 mouth Anatomy 0.000 claims description 25
- 238000010606 normalization Methods 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 25
- 230000009471 action Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 210000003019 respiratory muscle Anatomy 0.000 description 5
- 210000003205 muscle Anatomy 0.000 description 4
- 230000003187 abdominal effect Effects 0.000 description 3
- 210000003489 abdominal muscle Anatomy 0.000 description 2
- 238000007664 blowing Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012854 evaluation process Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000004199 lung function Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 206010003694 Atrophy Diseases 0.000 description 1
- 206010007558 Cardiac failure chronic Diseases 0.000 description 1
- 206010021143 Hypoxia Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000004676 abdominal muscle contraction Effects 0.000 description 1
- 230000037444 atrophy Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000007954 hypoxia Effects 0.000 description 1
- 230000003434 inspiratory effect Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009943 skeletal muscle blood flow Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种呼吸训练检测评价方法及装置，方法包括以下步骤：通过热成像和彩色相机捕获人体面部热成像和彩色图像；基于捕获的图像，分割出人体面部上与呼吸相关的感兴趣区域即ROI区域；对ROI区域进行归一化处理；将归一化后的结果输入至呼吸训练检测评价模型，输出训练的评价和呼吸训练参数。通过彩色图像和热成像分别评价用户的呼吸行为和呼吸量，综合评价用户的呼吸训练过程，该方法相较于传统技术手段采用非接触方式实现评价呼吸训练，无需耗材也避免了佩戴设备的麻烦，方面用户在居家或者社区环境使用。
Description
技术领域
本发明属于医疗设备技术领域，特别是一种呼吸训练检测评价方法和装置。
背景技术
呼吸训练的好处有强化呼吸肌、改善肺功能、改善低通气、改善低氧血症等。可以强化呼吸肌：对于慢性心力衰竭患者，呼吸训练可以起到预防，或者延缓吸气肌萎缩的作用，增加其心排血量和骨骼肌血流量，进而使呼吸肌、运动肌能量需求得到满足，从而强化呼吸肌；对于健康或者非健康人群，呼吸训练均可以使呼吸肌和腹肌得到锻炼，核心肌群力量提高，胸廓稳定性增加，膈肌运动的协调性改善，肺组织弹性增加，从而改善肺功能。
专利（CN202220745244.2）公开了一种缩唇呼吸训练器，其使用的是包括咬嘴、管内气流检测的方式进行的。它使用的还是吹气式的装置，使用时，吹气咬嘴属于消耗品；其次，这种接触式的装置使用不卫生；最后，它只检测嘴唇呼气过程，对鼻吸气过程无法测量。
专利（CN202111524772.1）介绍了一种基于热成像方法的心率呼吸分析处理方法，该方法通过对特定区域（前额）的血管区域灰度值构建基于时间序列的动态呼吸、心跳序列。这个方法通过对特定区域灰度值的长时间分析，得到一个时间段内的心率和呼吸率，但这种方法主要用于计算用户的呼吸频率，不能用于对呼吸的定量化分析，无法辅助用户进行呼吸训练，特别是纠正用户的呼吸过程及呼吸方式。
目前现有技术在进行缩唇呼吸时，不能很好的控制呼出气体的速率和气体呼出量，一个完整的缩唇呼吸过程中，所锻炼的肌肉群顺序正确与否，锻炼量也无法有效检测和评价，尤其是居家环境，现有的医用设备或者使用不够便利，或者无法达到准确检测、纠正呼吸训练的目标。
发明内容
本发明的目的在于针对上述现有技术存在的问题，提供一种用于用户的呼气训练的便携式检测评价方法与装置，主要用于量化用户的呼吸参数，评价用户呼吸的状态，从而评价用户的整个呼吸过程，进而达到纠正呼吸方式的目标。
实现本发明目的的技术解决方案为：一种呼吸训练检测评价方法，所述方法包括以下步骤：
步骤1，通过热成像和彩色相机捕获人体面部热成像和彩色图像；
步骤2，基于步骤1捕获的图像，分割出人体面部上与呼吸相关的感兴趣区域即ROI区域；
步骤3，对 ROI区域进行归一化处理；
步骤4，将归一化后的结果输入至呼吸训练检测评价模型，输出训练的评价和呼吸训练参数。
进一步地，步骤2中ROI区域包括鼻周ROI区域和口腔周ROI区域；
步骤3所述对ROI区域进行归一化处理，具体包括：
（1）鼻周ROI区域归一化
目标鼻周ROI区域为矩形区域widthtarg1*heighttarg1，基于鼻中线特征点、鼻水平线特征点，通过查找交叉点的方式，确定鼻周中心点坐标centernose(x01,y01)及实测鼻周区域widthnose*heightnose，实际测量的脸部区域ROI：widthface*heightface ；
默认横向坐标以鼻周中心点成中轴线对称分布；
纵向以鼻周中心点按比例分布，其中鼻周中心点以上占比α1，中心点以下占比β1，α1+β1=1；
目标鼻周ROI区域与实际测量到的ROI区域比例系数为γw1，γh1；
则归一化后的鼻周ROI区域为：
左上角点坐标：(x01-widthnose/2,y01-heightnose*α1)；
左下角点坐标：(x01-widthnose/2,y01+heightnose*β1)；
右上角点坐标：(x01+widthnose/2,y01+heightnose*α1)；
右下角点坐标：(x01+widthnose/2,y01+heightnose*β1)；
widthtarg1=γw1* widthface
heighttarg1=γh1 *heightface；
（2）口腔周ROI区域归一化
目标口腔周ROI区域为矩形区域为widthtarg2*heighttarg2，通过口腔周区域的特征点确定口腔周中心点centermouse(x02,y02)及实测鼻周区域widthmouse*heightmouse；
默认横向坐标以口腔周中心点成中轴线对称分布；
纵向以口腔周中心点按比例分布，口腔周中心点以上占比α2，中心点以下占比β2，α2+β2=1；
目标口腔周ROI区域与实际测量到的ROI区域比例系数为γw2，γh2；
则归一化后的口腔周ROI区域为：
左上角点坐标：(x02-widthmouse/2,y02-heightmouse*α2)；
左下角点坐标：(x02-widthmouse/2,y02+heightmouse*β2)；
右上角点坐标：(x02+widthmouse/2,y02+heightmouse*α2)；
右下角点坐标：(x02+widthmouse/2,y02+heightmouse*β2)；
widthtarg2=γw2* widthface；
heighttarg2=γh2*heightface。
进一步地，步骤4中所述呼吸训练检测评价模型包括呼吸行为检测网络模型、呼吸量检测网络模型和激活函数；
所述呼吸行为检测网络模型，用于根据彩色相机采集的呼吸动态视频序列，检测呼吸动作行为，包括鼻吸气、嘴呼气；
所述呼吸量检测网络模型，用于基于热成像图像对ROI区域进行椭圆形高斯拟合，之后基于拟合结果计算呼吸量；
所述激活函数，用于融合拼接上述两个模型的结果，输出最终的呼吸评价结果。
进一步地，所述呼吸行为检测模型和呼吸量检测网络模型均采用CNN卷积网络，其中呼吸行为检测模型为二维CNN网络，呼吸量检测网络模型为一维CNN网络，这两个网络的对应层网络卷积核尺度相同。
进一步地，所述呼吸行为检测网络模型、呼吸量检测网络模型输出的信号输入激活函数前，需进行对齐操作，具体为：两个模型输出的信号输入对比损失函数，输出对齐后的信号；
所述对比损失函数为：
式中，为呼吸行为X和呼吸量Y的对比损失函数，为(X,Y)序列相似度函数的梯度，为两个序列的代价矩阵，，其中是可微的代价函数，是相对于（X,Y）的Jacobian矩阵，为系统的时间损失函数，n为时间序列下表，N为输入模型的序列长度，为预设阈值；时，在对齐过程中启动偏移约束。
进一步地，所述偏移约束为两个信号最大偏移量。
进一步地，所述基于拟合结果计算呼吸量，计算公式为：
其中，为t时刻的呼吸量，分别对应ROI区域的宽度和高度，为t时刻ROI区域中位置的像素值，为ROI区域拟合值，为像素与呼吸值相关系数，，为ROI区域的中心位置，width、height分别为ROI区域的宽和高。
本发明与现有技术相比，其显著优点为：
1）通过彩色图像和热成像分别评价用户的呼吸行为和呼吸量，综合评价用户的呼吸训练过程，该方法相较于传统技术手段采用非接触方式实现评价呼吸训练，无需耗材也避免了佩戴设备的麻烦，方便用户在居家或者社区环境使用。
2）实施过程中在常用的脸部特征识别方法的技术上，开发了针对口鼻周的归一化方法，能够实现对这些感兴趣区域（ROI）的稳定跟踪，避免因为对ROI区域跟踪的不稳定而导致后续对呼吸量化评价的偏差变大，同时结合鼻周及口腔周围的呼吸量分布特点，该方法认为这种呼吸分布近似为一种椭圆分布，结合呼吸量分布方式（如呼气时候椭圆的中间呼吸量的热成像图分布高、周围低；吸气时候中间呼吸量的热成像图分布低、周围高），该方法认为该分布为近似高斯分布，综合设计了一种高斯分布的呼吸量拟合指数，核函数为椭圆核函数，获得的呼吸量更加准确。
3）在进行呼吸行为和呼吸量融合之前，对二者的输出参数进行对齐操作，以保证二者之间的评价输出是对同一阶段的呼吸训练进行的评价。
4）通过拼接特征的方式，对呼吸量进行约束，主要目的是通过呼吸行为来纠正因为噪声引起对呼吸量计算时候导致的呼气、吸气的误判，将纠正后的呼吸量和呼吸行为通过特征融合后池化操作，输入激活函数进行综合评价，评价结果更加准确。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为一个实施例中呼吸训练检测评价方法的原理示意图。
图2为一个实施例中人体呼吸过程中鼻周和口腔周热图，其中图2中的（a）为吸气过程，图2中的（b）为呼气过程。
图3为一个实施例中ROI区域（鼻周、口腔周）归一化处理特征点图。
图4为一个实施例中缩唇呼吸训练检测评价模型原理示意图。
图5为一个实施例中典型行为检测CNN网络示意图。
图6为一个实施例中呼吸行为和呼吸量对齐原理图。
图7为一个实施例中ROI区域拟合方法原理图。
图8为一个实施例中呼吸行为和呼吸量融合原理图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
需要说明，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
在一个实施例中，针对典型性的缩唇呼吸，其评价过程包括两个子评价方法：（1）呼吸训练口鼻动作顺序评价；（2）呼吸训练过程中的呼吸量量化评价过程。最终通过融合评价法，综合评定一次完整的缩唇呼吸训练过程。结合图1，提供了一种呼吸训练检测评价方法，所述方法包括以下步骤：
步骤1，通过热成像和彩色相机捕获人体面部热成像和彩色图像；
步骤2，基于步骤1捕获的图像，分割出人体面部上与呼吸相关的感兴趣区域即ROI区域；
步骤3，对 ROI区域进行归一化处理；
步骤4，将归一化后的结果输入至呼吸训练检测评价模型，输出训练的评价和呼吸训练参数。
进一步地，在其中一个实施例中，步骤2中ROI区域包括鼻周ROI区域和口腔周ROI区域（鼻周、口腔周热图如图2所示）；
本方法中需要对鼻周、口腔周的建立长时间的跟踪分析，用户在使用过程中由于位置变化、头部姿态变化等因素会引起ROI区域位置和尺寸变化，引起输入模型的特征区域不确定，导致输出的呼吸训练评价参数和呼吸参数（吸气量、吸气速率、呼气量、呼气速率等）不准确。实际使用中的ROI区域分割方法（以dlib为例），其划分的ROI区域是动态调整的，其获取的尺寸、位置、宽高比均是时刻变化的，因而需要对输出的ROI区域进行预处理（类似归一化处理），以达到对固定ROI区域的RGB图像和热力学图像进行跟踪。
步骤3所述对ROI区域进行归一化处理，结合图3，具体包括：
（1）鼻周ROI区域归一化
目标鼻周ROI区域为矩形区域widthtarg1*heighttarg1，基于鼻中线特征点、鼻水平线特征点（如图3中的特征点28~31,32~36），通过查找交叉点的方式，确定鼻周中心点坐标centernose(x01,y01)及实测鼻周区域widthnose*heightnose，实际测量的脸部区域ROI：widthface*heightface ；
默认横向坐标以鼻周中心点成中轴线对称分布；
纵向以鼻周中心点按比例分布，其中鼻周中心点以上占比α1，中心点以下占比β1，α1+β1=1；
目标鼻周ROI区域与实际测量到的ROI区域比例系数为γw1，γh1；
则归一化后的鼻周ROI区域为：
左上角点坐标：(x01-widthnose/2,y01-heightnose*α1)；
左下角点坐标：(x01-widthnose/2,y01+heightnose*β1)；
右上角点坐标：(x01+widthnose/2,y01+heightnose*α1)；
右下角点坐标：(x01+widthnose/2,y01+heightnose*β1)；
widthtarg1=γw1* widthface
heighttarg1=γh1 *heightface；
（2）口腔周ROI区域归一化
目标口腔周ROI区域为矩形区域为widthtarg2*heighttarg2，通过口腔周区域的特征点（如图3中的特征点49~67）确定口腔周中心点centermouse(x02,y02)及实测鼻周区域widthmouse*heightmouse；
默认横向坐标以口腔周中心点成中轴线对称分布；
纵向以口腔周中心点按比例分布，口腔周中心点以上占比α2，中心点以下占比β2，α2+β2=1；
目标口腔周ROI区域与实际测量到的ROI区域比例系数为γw2，γh2；
则归一化后的口腔周ROI区域为：
左上角点坐标：(x02-widthmouse/2,y02-heightmouse*α2)；
左下角点坐标：(x02-widthmouse/2,y02+heightmouse*β2)；
右上角点坐标：(x02+widthmouse/2,y02+heightmouse*α2)；
右下角点坐标：(x02+widthmouse/2,y02+heightmouse*β2)；
widthtarg2=γw2* widthface；
heighttarg2=γh2*heightface。
进一步地，在其中一个实施例中，缩唇呼吸过程包括两个方面的评价：（1）鼻吸气，嘴呼气，含有时间顺序的呼吸动作规范性检测；（2）呼吸过程中吸气量和呼气量的定量检测。最后是这两个方面的一致性评价，即动作和定量检测时间序列上是一致的。
结合图4，步骤4中所述呼吸训练检测评价模型包括呼吸行为检测网络模型、呼吸量检测网络模型和激活函数；
所述呼吸行为检测网络模型，用于根据彩色相机采集的呼吸动态视频序列，检测呼吸动作行为，包括鼻吸气、嘴呼气；
所述呼吸量检测网络模型，用于基于热成像图像对ROI区域进行椭圆形高斯拟合，之后基于拟合结果计算呼吸量；
所述激活函数，用于对上述两个模型的结果进行融合拼接（如图8所示，Ycat表示拼接两通道的特征图，Ysum表示两个通道输出特征叠加），输出最终的呼吸评价结果。
这里优选地，所述呼吸行为检测模型采用CNN卷积网络（典型的行为检测CNN网络如图5所示），可兼容常用的backbone网络（包括ResNet、C3D、I3D等），LSTM，全连接层映射，输出评价结果（当前动作行为：鼻呼气、鼻吸气、嘴呼气、嘴吸气等）。
这里优选地，所述呼吸行为检测模型和呼吸量检测网络模型均采用CNN卷积网络，其中呼吸行为检测模型为二维CNN网络，呼吸量检测网络模型为一维CNN网络，这两个网络的对应层网络卷积核尺度相同（例如第一层：行为检测，CNN，3x3；呼吸量，CNN，1x3）。
进一步地，在其中一个实施例中，呼吸量检测网络模型输出的是一个实时的回归曲线，呼吸行为检测网络模型输出的是当前的行为状态，因此二者在输入激活函数时，需要对输入特征进行时间上的对齐。结合图6，具体为：两个模型输出的信号输入对比损失函数，输出对齐后的信号；
所述对比损失函数为：
式中，为呼吸行为X和呼吸量Y的对比损失函数，为(X,Y)序列相似度函数的梯度，为两个序列的代价矩阵，，其中是可微的代价函数，是相对于（X,Y）的Jacobian矩阵，为系统的时间损失函数，n为时间序列下表，N为输入模型的序列长度，为预设阈值；时，在对齐过程中启动偏移约束。
进一步地，在其中一个实施例中，所述基于拟合结果计算呼吸量，具体为：对ROI区域进行椭圆形高斯拟合，其中高斯拟合的重心点为所计算的ROI区域中心点，统计其纳入呼吸定量计算像素，则呼吸量计算公式为：
其中，为t时刻的呼吸量，分别对应ROI区域的宽度和高度，为t时刻ROI区域中位置的像素值，为ROI区域拟合值，为像素与呼吸值相关系数，（呼吸量的近高斯分布拟合，如图7所示），为ROI区域的中心位置，width、height分别为ROI区域的宽和高。
在一个实施例中，提供了一种呼吸训练检测评价装置，所述装置包括：
第一模块，用于通过热成像和彩色相机捕获人体面部彩色和热成像图像；
第二模块，用于第一模块捕获的图像，分割出人体面部上与呼吸相关的感兴趣区域即ROI区域；
第三模块，用于对 ROI区域进行归一化处理；
第四模块，用于将归一化后的结果输入至呼吸训练检测评价模型，输出训练的评价和呼吸训练参数。
关于呼吸训练检测评价装置的具体限定可以参见上文中对于呼吸训练检测评价方法的限定，在此不再赘述。上述呼吸训练检测评价装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
步骤1，通过热成像和彩色相机捕获人体面部热成像和彩色图像；
步骤2，基于步骤1捕获的图像，分割出人体面部上与呼吸相关的感兴趣区域即ROI区域；
步骤3，对 ROI区域进行归一化处理；
步骤4，将归一化后的结果输入至呼吸训练检测评价模型，输出训练的评价和呼吸训练参数。
关于每一步的具体限定可以参见上文中对于呼吸训练检测评价方法的限定，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
步骤1，通过热成像和彩色相机捕获人体面部热成像和彩色图像；
步骤2，基于步骤1捕获的图像，分割出人体面部上与呼吸相关的感兴趣区域即ROI区域；
步骤3，对 ROI区域进行归一化处理；
步骤4，将归一化后的结果输入至呼吸训练检测评价模型，输出训练的评价和呼吸训练参数。
关于每一步的具体限定可以参见上文中对于呼吸训练检测评价方法的限定，在此不再赘述。
上述实施例是针对缩唇呼吸，上述方法也同样适用于：
1.腹式呼吸锻炼
腹式呼吸过程包括三个方面的评价：（1）含有时间顺序的呼吸动作规范性检测；（2）呼吸过程中吸气量和呼气量的定量检测；（3）腹部呼吸过程中的动作评价（腹肌扩张过程、腹肌收缩过程）。最后是这三个方面的一致性评价，即动作和定量检测时间序列上是一致的。
模型同上述缩唇呼吸过程，同时通过行为检测模型分析其腹部的动作行为。
2.结合运动的呼吸锻炼
包含动作的呼吸过程包括三个方面的评价：（1）含有时间顺序的呼吸动作规范性检测；（2）呼吸过程中吸气量和呼气量的定量检测；（3）过程中主要肢体动作质量评价。其中呼吸动作规范性和呼吸过程中的定量检测模型与前文所述一致，过程中的动作质量评价。
方法与缩唇呼吸训练模型相同，同时分析其肢体动作分析（具体与行为分析相同，输入为用户肢体图像）。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种呼吸训练检测评价方法，其特征在于，所述方法包括以下步骤：
步骤1，通过热成像和彩色相机捕获人体面部热成像和彩色图像；
步骤2，基于步骤1捕获的图像，分割出人体面部上与呼吸相关的感兴趣区域即ROI区域；
步骤3，对 ROI区域进行归一化处理；
步骤4，将归一化后的结果输入至呼吸训练检测评价模型，输出训练的评价和呼吸训练参数。
2.根据权利要求1所述的呼吸训练检测评价方法，其特征在于，步骤2中ROI区域包括鼻周ROI区域和口腔周ROI区域；
步骤3所述对ROI区域进行归一化处理，具体包括：
（1）鼻周ROI区域归一化
目标鼻周ROI区域为矩形区域widthtarg1*heighttarg1，基于鼻中线特征点、鼻水平线特征点，通过查找交叉点的方式，确定鼻周中心点坐标centernose(x01,y01)及实测鼻周区域widthnose*heightnose，实际测量的脸部区域ROI：widthface*heightface ；
默认横向坐标以鼻周中心点成中轴线对称分布；
纵向以鼻周中心点按比例分布，其中鼻周中心点以上占比α1，中心点以下占比β1，α1+β1=1；
目标鼻周ROI区域与实际测量到的ROI区域比例系数为γw1，γh1；
则归一化后的鼻周ROI区域为：
左上角点坐标：(x01-widthnose/2,y01-heightnose*α1)；
左下角点坐标：(x01-widthnose/2,y01+heightnose*β1)；
右上角点坐标：(x01+widthnose/2,y01+heightnose*α1)；
右下角点坐标：(x01+widthnose/2,y01+heightnose*β1)；
widthtarg1=γw1*widthface
heighttarg1=γh1 *heightface；
（2）口腔周ROI区域归一化
目标口腔周ROI区域为矩形区域为widthtarg2*heighttarg2，通过口腔周区域的特征点确定口腔周中心点centermouse(x02,y02)及实测鼻周区域widthmouse*heightmouse；
默认横向坐标以口腔周中心点成中轴线对称分布；
纵向以口腔周中心点按比例分布，口腔周中心点以上占比α2，中心点以下占比β2，α2+β2=1；
目标口腔周ROI区域与实际测量到的ROI区域比例系数为γw2，γh2；
则归一化后的口腔周ROI区域为：
左上角点坐标：(x02-widthmouse/2,y02-heightmouse*α2)；
左下角点坐标：(x02-widthmouse/2,y02+heightmouse*β2)；
右上角点坐标：(x02+widthmouse/2,y02+heightmouse*α2)；
右下角点坐标：(x02+widthmouse/2,y02+heightmouse*β2)；
widthtarg2=γw2* widthface；
heighttarg2=γh2*heightface。
3.根据权利要求2所述的呼吸训练检测评价方法，其特征在于，步骤4中所述呼吸训练检测评价模型包括呼吸行为检测网络模型、呼吸量检测网络模型和激活函数；
所述呼吸行为检测网络模型，用于根据彩色相机采集的呼吸动态视频序列，检测呼吸动作行为，包括鼻吸气、嘴呼气；
所述呼吸量检测网络模型，用于基于热成像图像对ROI区域进行椭圆形高斯拟合，之后基于拟合结果计算呼吸量；
所述激活函数，用于对上述两个模型的结果进行融合拼接，输出最终的呼吸评价结果。
4.根据权利要求3所述的呼吸训练检测评价方法，其特征在于，所述呼吸行为检测模型和呼吸量检测网络模型均采用CNN卷积网络，其中呼吸行为检测模型为二维CNN网络，呼吸量检测网络模型为一维CNN网络，这两个网络的对应层网络卷积核尺度相同。
5.根据权利要求3所述的呼吸训练检测评价方法，其特征在于，所述呼吸行为检测网络模型、呼吸量检测网络模型输出的信号输入激活函数前，需进行对齐操作，具体为：两个模型输出的信号输入对比损失函数，输出对齐后的信号；
所述对比损失函数通过计算X、Y的偏移量，进行信号对齐，具体为：
式中，为呼吸行为X和呼吸量Y的对比损失函数，为(X,Y)序列相似度函数的梯度，为两个序列的代价矩阵，，其中是可微的代价函数，是相对于（X,Y）的Jacobian矩阵，为系统的时间损失函数，n为时间序列下表，N为输入模型的序列长度，为预设阈值；时，在对齐过程中启动偏移约束。
6.根据权利要求5所述的呼吸训练检测评价方法，其特征在于，所述偏移约束为两个信号最大偏移量。
7.根据权利要求3所述的呼吸训练检测评价方法，其特征在于，所述基于拟合结果计算呼吸量，计算公式为：
其中，为t时刻的呼吸量，分别对应ROI区域的宽度和高度，为t时刻ROI区域中位置的像素值，为ROI区域拟合值，为像素与呼吸值相关系数，，为ROI区域的中心位置，width、height分别为ROI区域的宽和高。
8.基于权利要求1至7任意一项所述方法的呼吸训练检测评价装置，其特征在于，所述装置包括：
第一模块，用于通过热成像和彩色相机捕获人体面部彩色和热成像图像；
第二模块，用于第一模块捕获的图像，分割出人体面部上与呼吸相关的感兴趣区域即ROI区域；
第三模块，用于对 ROI区域进行归一化处理；
第四模块，用于将归一化后的结果输入至呼吸训练检测评价模型，输出训练的评价和呼吸训练参数。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310301149.2A CN116030051B (zh) | 2023-03-27 | 2023-03-27 | 一种呼吸训练检测评价方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310301149.2A CN116030051B (zh) | 2023-03-27 | 2023-03-27 | 一种呼吸训练检测评价方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116030051A true CN116030051A (zh) | 2023-04-28 |
| CN116030051B CN116030051B (zh) | 2023-07-07 |
Family
ID=86070928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310301149.2A Active CN116030051B (zh) | 2023-03-27 | 2023-03-27 | 一种呼吸训练检测评价方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116030051B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116531663A (zh) * | 2023-05-08 | 2023-08-04 | 肇庆学院 | 一种呼吸机能监测、调控与干预方法、装置及存储介质 |
| CN117831379A (zh) * | 2024-03-06 | 2024-04-05 | 天津市胸科医院 | 一种数据处理的呼吸训练医用机器人系统 |
| CN117831379B (zh) * | 2024-03-06 | 2024-06-04 | 天津市胸科医院 | 一种数据处理的呼吸训练医用机器人系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111568388A (zh) * | 2020-04-30 | 2020-08-25 | 清华大学 | 一种非接触式口呼吸检测装置、方法及存储介质 |
| CN113793300A (zh) * | 2021-08-19 | 2021-12-14 | 合肥工业大学 | 一种基于红外热像仪的非接触式呼吸率检测方法 |
| CN114758400A (zh) * | 2022-04-29 | 2022-07-15 | 中国科学院长春光学精密机械与物理研究所 | 一种非接触式人体血氧饱和度检测方法、装置及设备 |
-
2023
- 2023-03-27 CN CN202310301149.2A patent/CN116030051B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111568388A (zh) * | 2020-04-30 | 2020-08-25 | 清华大学 | 一种非接触式口呼吸检测装置、方法及存储介质 |
| CN113793300A (zh) * | 2021-08-19 | 2021-12-14 | 合肥工业大学 | 一种基于红外热像仪的非接触式呼吸率检测方法 |
| CN114758400A (zh) * | 2022-04-29 | 2022-07-15 | 中国科学院长春光学精密机械与物理研究所 | 一种非接触式人体血氧饱和度检测方法、装置及设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116531663A (zh) * | 2023-05-08 | 2023-08-04 | 肇庆学院 | 一种呼吸机能监测、调控与干预方法、装置及存储介质 |
| CN116531663B (zh) * | 2023-05-08 | 2023-11-10 | 肇庆学院 | 一种呼吸机能监测、调控与干预方法、装置及存储介质 |
| CN117831379A (zh) * | 2024-03-06 | 2024-04-05 | 天津市胸科医院 | 一种数据处理的呼吸训练医用机器人系统 |
| CN117831379B (zh) * | 2024-03-06 | 2024-06-04 | 天津市胸科医院 | 一种数据处理的呼吸训练医用机器人系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116030051B (zh) | 2023-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190246949A1 (en) | Systems and methods to determine a patient's responsiveness to an alveolar recruitment maneuver | |
| Que et al. | Phonospirometry for noninvasive measurement of ventilation: methodology and preliminary results | |
| RU2700981C2 (ru) | Неинвазивная оценка внутриплеврального давления и/или вычисление работы дыхания на основании неинвазивной оценки внутриплеврального давления | |
| US20170055878A1 (en) | Method and system for respiratory monitoring | |
| CN111013104B (zh) | 一种运动状态下呼吸肌训练系统及其使用方法 | |
| CN116030051B (zh) | 一种呼吸训练检测评价方法及装置 | |
| CN111242931A (zh) | 一种单肺叶的小气道病变判断方法和装置 | |
| CN112156301A (zh) | 一种基于电阻抗成像的呼吸机peep自动优化设置方法 | |
| JP2017516567A (ja) | 抜管失敗を評価するための方法、システムおよびソフトウェア | |
| CN111655126B (zh) | 在移动设备上估计身体成分 | |
| CN106308839A (zh) | Ct兼容呼吸训练及自主调节装置及其使用方法 | |
| US20170100059A1 (en) | Lung function monitoring | |
| US11944464B2 (en) | Methods and system for detecting inhalations and extracting measures of neural respiratory drive from an EMG signal | |
| Liu et al. | Tidal volume estimation using portable ultrasound imaging system | |
| CN115399839A (zh) | 信息处理方法及相关装置 | |
| US20230414889A1 (en) | Automatic detection of a diaphragm in time-motion data using ventilator waveforms | |
| CN206333905U (zh) | Ct兼容呼吸训练及自主调节装置 | |
| US11491271B2 (en) | Method for controlling a device for extracorporeal blood gas exchange, device for extracorporeal blood gas exchange, as well as control device for controlling a device for extracorporeal blood gas exchange | |
| US20240023926A1 (en) | Model-stabilized diaphragm ultrasonography monitoring | |
| WO2020009638A1 (en) | Non-invasive estimation of hemodynamic parameters during mechanical ventilation | |
| CN116803342B (zh) | 用于抗荷训练的阻抗数据处理方法及相关训练系统 | |
| US20240165353A1 (en) | Systems and methods for ultrasound-based assessment of regional respiratory parameters to guide lung protective ventilation | |
| CN113808078B (zh) | 一种基于电阻抗断层成像识别无效吸气努力的方法 | |
| Liu et al. | Universal Modeling Method of Electrical Impedance Response During Respiration | |
| CN115399840A (zh) | 信息处理方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |