CN117831379A - 一种数据处理的呼吸训练医用机器人系统 - Google Patents
一种数据处理的呼吸训练医用机器人系统 Download PDFInfo
- Publication number
- CN117831379A CN117831379A CN202410255198.1A CN202410255198A CN117831379A CN 117831379 A CN117831379 A CN 117831379A CN 202410255198 A CN202410255198 A CN 202410255198A CN 117831379 A CN117831379 A CN 117831379A
- Authority
- CN
- China
- Prior art keywords
- subject
- respiratory
- training
- sound
- acquisition equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 82
- 230000029058 respiratory gaseous exchange Effects 0.000 title claims abstract description 66
- 238000012545 processing Methods 0.000 title claims abstract description 26
- 230000000241 respiratory effect Effects 0.000 claims abstract description 57
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 230000005236 sound signal Effects 0.000 claims abstract description 29
- 230000003183 myoelectrical effect Effects 0.000 claims abstract description 8
- 210000001331 nose Anatomy 0.000 claims description 18
- 210000000214 mouth Anatomy 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 9
- 208000037656 Respiratory Sounds Diseases 0.000 claims description 8
- 238000009432 framing Methods 0.000 claims description 8
- 230000033001 locomotion Effects 0.000 claims description 8
- 230000005237 high-frequency sound signal Effects 0.000 claims description 7
- 210000003128 head Anatomy 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 210000003019 respiratory muscle Anatomy 0.000 claims description 4
- 241001456553 Chanodichthys dabryi Species 0.000 claims description 3
- 210000003127 knee Anatomy 0.000 claims description 3
- 238000012886 linear function Methods 0.000 claims description 3
- 210000003928 nasal cavity Anatomy 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 claims description 2
- 210000000115 thoracic cavity Anatomy 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 8
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 17
- 230000036544 posture Effects 0.000 description 13
- 230000006399 behavior Effects 0.000 description 11
- 238000000034 method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 5
- 206010006322 Breath holding Diseases 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 239000004642 Polyimide Substances 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 239000004205 dimethyl polysiloxane Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 229920000435 poly(dimethylsiloxane) Polymers 0.000 description 2
- 229920000728 polyester Polymers 0.000 description 2
- 229920001721 polyimide Polymers 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- -1 polydimethylsiloxane Polymers 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000004202 respiratory function Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Abstract
本发明涉及医疗机器人与人工智能技术领域，公开了一种数据处理的呼吸训练医用机器人系统，包括数据采集模块，设置于支撑轴上端的声音采集设备、图像采集设备以及用于检测受试者的若干可穿戴式传感器，传感器包括表面肌电传感器、触觉传感器以及气流传感器，图像采集设备包括可见光采集设备以及红外采集设备；呼吸检测模块用于将采集的受试者的呼吸声音、图像以及传感器信息输入至预训练的多模态呼吸训练模型，检测得到受试者的呼吸训练结果；显示模块设置于支撑轴的中端，用于引导受试者呼吸训练以及显示受试者的呼吸训练结果。本发明根据声音信号、姿态、口鼻区域、呼吸量以及呼吸流速等检测受试者的呼吸状况，提高了用户体验和呼吸训练效果。
Description
技术领域
本发明涉及医疗机器人与人工智能技术领域，具体涉及一种基于数据处理的呼吸训练医用机器人系统。
背景技术
现在涉及胸部、腹部的医学检查，很多都需要在检查前给予呼吸训练，尤其是涉及胸部腹部的医学影像学检查，例如X线片、CT、MR、胸部穿刺活检、介入等检查及治疗过程。这项训练的目的是消除被检查者呼吸运动导致的呼吸运动伪影，很多检查需要患者规律的平静吸气（不能太多，也不能太少）-屏住呼吸（不吸气也不呼气）-一次检查后恢复正常平静呼吸。很多检查过程甚至要求患者多次进行这种吸气后屏气的过程，被检查者的优质的医学影像学图像，往往需要患者很好的呼吸屏气配合，所以检查前，往往需要医院工作者人工去训练被检者，并主观判断被检者是否能很好的完成配合吸气屏气，从而增加了人力成本和时间成本，尤其在大型医疗检查机构，人流量很大的检查前呼吸训练，大大增加了检查者的工作量；反而如果检查者不去好好训练并确认被检者是否可以完成很好的呼吸屏气过程，直接去进行检查，很多被检者往往在检查中会因为不知道如何配合，而出现害怕、惊慌失措等配合不佳的情况，就会发生在医学影像检查设备采集图像过程中，被检者惊慌失措未屏气，从而图像多发运动伪影，最终获得不好的医学影像图像质量，从而影响医学影像图像质量。
因此，本发明提出一种呼吸屏气机器人，在检查前，首先机器人会被告知如何配合，面向机器人并平静呼吸，然后对被检者进行一次或数次的吸气屏气模拟训练，并且判断被检者是否能够屏住气（在喊出憋住口令时，被检者保持不吸气也不呼气的状态，维持1分钟，直到听到可以呼吸的命令），如果被检者听到憋住口令仍然不能配合，那么机器人指出被检者的错误，要再次进行一次训练，直到符合要求。通过训练的被检者会给与训练成功的纸条，拿着纸条可以进行他所需要的医学影像学检查了。机器人的应用可以大幅度降低人工成本，并且提高医学影像学检查质量。也可以用于肺部术后患者通过呼吸训练来逐步恢复患者的呼吸功能等其他医学用途。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述全部或至少一部分问题的数据处理的呼吸训练医用机器人系统。
根据本发明的一个方面，提供了一种基于数据处理的呼吸训练医用机器人系统，包括底座、与所述底座垂直的支撑轴以及驱动所述底座的伺服驱动模块，所述伺服驱动模块根据受试者的面部朝向自动驱动所述底座移动或转向；
呼吸训练引导模块，通过视频或声音信号引导受试者进行呼吸训练；
数据采集模块，包括设置于所述支撑轴上端的声音采集设备、图像采集设备以及用于检测受试者的若干可穿戴式传感器，所述传感器包括表面肌电传感器、触觉传感器以及气流传感器，所述图像采集设备包括可见光采集设备以及红外采集设备；
呼吸检测模块，用于将采集的所述受试者的呼吸声音、图像以及传感器信息输入至预训练的多模态呼吸训练模型，检测得到所述受试者的呼吸训练结果；
显示模块，设置于所述支撑轴的中端，用于引导所述受试者呼吸训练以及显示所述受试者的呼吸训练结果。
更进一步地，所述穿戴式传感器通过弹性橡胶粘附在所述受试者的胸腔部位，所述表面肌电传感器和所述触觉传感器通过弹性橡胶粘附在所述受试者的呼吸肌表面，所述气流传感器设置在所述受试者的口鼻腔附近，测量所述受试者的气体流速信号。
更进一步地，对所述图像采集设备采集的所述受试者的影像进行图像识别，得到所述受试者的姿态，所述受试者的姿态包括以下多者中的至少一者：头部后仰、头部倾斜或前伸、高低肩、躯干旋转或倾斜、身体驼背、侧移以及膝关节屈曲。
更进一步地，对所述图像采集设备采集的所述受试者的红外图像进行分割，得到鼻区域以及口腔区域；
对各个周期的所述鼻区域以及口腔区域进行高斯拟合，根据拟合的结果计算得到呼吸量。
更进一步地，所述对各个周期的所述鼻区域以及口腔区域进行高斯拟合的计算公式为：
，
其中，为t时刻的呼吸量，/> 分别为鼻区域或口腔区域的宽度和高度，为t时刻鼻区域或口腔区域中位置/>的像素值，/>为像素点的噪音值，为/>时刻鼻区域或口腔区域中位置/>的像素值，/>分别为像素点的横坐标与纵坐标，/>为鼻区域或口腔区域的拟合值，/>为像素与呼吸量的相关系数。
更进一步地，所述鼻区域或口腔区域的拟合值的计算公式为：
其中，为鼻区域或口腔区域的中心位置坐标，/>，/>分别为第/>个尺度的鼻区域或口腔区域的宽度和高度，/> 为像素点/>的sigmoid函数，/>为尺度的数量。
更进一步地，所述多模态呼吸训练模型融合呼吸行为检测网络、呼吸声音检测网络以及呼吸量与呼吸流速检测网络。
更进一步地，所述呼吸行为检测网络的输出与输入序列的表达式为：
其中，为呼吸行为的输出，/>为输入序列，/>为受试者的姿态，/>为隐藏层网络的姿态函数，/>为姿态函数/>的加权函数，W为斜率或权重，b为偏置项，/>为卷积核数量，/>为逐点卷积后的通道数，/>、/>分别为输入特征图的宽度和高度；
所述呼吸声音检测网络的卷积表达式为：
，
其中，为输入序列中第i个元素的卷积结果，/>为第/>层卷积的卷积核，/>为超参数，/>为输入的声音信号向量，/>为卷积方向，/>为卷积的层数；
所述呼吸流速检测网络的输出表达式为：
，
其中，为输出，/>为输入的呼吸流速向量，/>为激活函数，/>为/>的线性关系函数，/>为深度可分离卷积模块。
更进一步地，通过滤波器对所述声音采集设备采集的声音信号进行高频处理，所述滤波器为：
，
其中，为得到的高频声音信号，/>为声音信号的采样点数，/>为采样点的声音信号，/>为采样点/>的声音信号，/>为预设阈值，/> 为时间参数，/>为频率参数，/>为虚数单位，/>为圆周率，/>为以e为底的指数函数。
更进一步地，将所述得到的高频声音信号划分为时长为t的多个帧S(q)，其中，q=0,1,…,Q-1，q为分帧后的帧数，Q为帧的大小；
通过非矩形窗对所述多个帧S(q)进行信号变换得到多个帧W(q)，所述信号变换的计算公式为：
，
其中，为预设阈值，/>为分帧后的帧数，Q为帧的大小。
根据本发明提供的方案，包括底座、与所述底座垂直的支撑轴以及驱动所述底座的伺服驱动模块，所述伺服驱动模块根据受试者的面部朝向自动驱动所述底座移动或转向；数据采集模块，包括设置于所述支撑轴上端的声音采集设备、图像采集设备以及用于检测受试者的若干可穿戴式传感器，所述传感器包括表面肌电传感器、触觉传感器以及气流传感器，所述图像采集设备包括可见光采集设备以及红外采集设备；呼吸检测模块，用于将采集的所述受试者的声音、图像以及传感器信息输入至预训练的多模态呼吸训练模型，检测得到所述受试者的呼吸训练结果；显示模块，设置于所述支撑轴的中端，用于引导所述受试者呼吸训练以及显示所述受试者的呼吸训练结果。本发明根据声音信号、姿态、口鼻区域、呼吸量以及呼吸流速等检测受试者的呼吸状况，提高了用户体验和呼吸训练效果。
有益效果
（1）根据声音信号、姿态、口鼻区域、呼吸量以及呼吸流速等检测受试者的呼吸状况，进一步提高了用户体验和呼吸训练效果。
（2）本发明提供的呼吸训练机器人系统基于现有的计算机处理系统、显示系统以及传感器系统，结构简洁，精细灵活、成本低、可靠性高。
（3）采用的多模态呼吸训练模型融合了呼吸行为检测网络、呼吸声音检测网络以及呼吸量与呼吸流速检测网络，聚合了多源数据信息，模型学习到的表示更加完备。
（4）在呼吸声音信号的低信噪比情况下，通过滤波器和非矩形窗技术极大提升了声音信号的高频部分，进一步提升了呼吸训练识别的准确率。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例的基于数据处理的呼吸训练医用机器人系统的流程示意图；
图2示出了本发明实施例的数据处理的呼吸训练医用机器人系统的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
图1示出了本发明实施例的基于数据处理的呼吸训练医用机器人系统的流程示意图。本方法根据声音信号、姿态、口鼻区域、呼吸量以及呼吸流速等检测受试者的呼吸状况，提高了用户体验和呼吸训练效果。
本发明实施例的基于数据处理的呼吸训练医用机器人系统包括底座、与所述底座垂直的支撑轴以及驱动所述底座的伺服驱动模块，所述伺服驱动模块根据受试者的面部朝向自动驱动所述底座移动或转向。
本实施例中，可以通过多个伺服电机与伺服驱动模块的伺服驱动器相连，伺服驱动器与可编程逻辑控制器（PLC）相连，通过PLC控制电机的转向和转速，PLC与中央处理器（CPU）相连。PLC用于自动化控制的数字逻辑控制器，可以将控制指令随时加载存储器内存储与运行，由内部CPU，指令及数据存储器、输入输出单元、电源模块、数字模拟等单元所模块化组合成。伺服驱动模块根据采集的受试者的面部图像并进行分析处理，得到面部朝向，根据受试者可穿戴设备中的定位装置通过人工或自动驱动底座移动或转向，也可以通过其他方式自动驱动底座移动或转向，本文对此不加以限定。
如图2所示，呼吸训练引导模块210，通过视频或声音信号引导受试者进行呼吸训练（步骤S101）。在检查前，首先机器人会被告知如何配合，面向机器人并平静呼吸，然后对被检者（本文也称为受试者）进行一次或数次的吸气屏气模拟训练，并且判断被检者是否能够屏住气（在喊出憋住口令时，被检者保持不吸气也不呼气的状态，维持1分钟，直到听到可以呼吸的命令），如果被检者听到憋住口令仍然不能配合，那么机器人通过呼吸检测模块判断被检者的训练动作，根据判断结果指出被检者的错误，被检测者需再次进行一次训练，直到符合要求。
数据采集模块220，采集受试者的如声音、图像以及传感器等呼吸参数信息（步骤S102），数据采集模块包括设置于所述支撑轴上端的声音采集设备（如麦克风）、图像采集设备（如摄像头）以及用于检测受试者的若干可穿戴式传感器。可穿戴式传感器通过利用各种物理、化学和生物传感器以无创或微创方式实时、连续地采集生理（生物物理和/或生化）信息，为临床诊断提供了替代途径。可选地，可穿戴式传感器采用柔性传感器（如多功能柔性传感器），柔性传感器通常采用聚酰亚胺（PI）、聚酯(PET)、聚二甲基硅氧烷（PDMS）等材料制成，在宽工作范围内具有高灵敏度以及超低检测极限，可以对包括脉搏、呼吸等不同生理信号进行实时监测，可以实现对生理信号更高的监测精度，发现更小的信号波动从而可以对信号进行更精细的判断和匹配，进一步提升可穿戴传感器的监测准确性。同时，柔性传感器经过组合和处理后可以进一步提高传感器集成度、降低制作成本，有助于实时监测呼吸状况。所述传感器包括表面肌电传感器、触觉传感器以及气流传感器，所述图像采集设备包括可见光采集设备以及红外采集设备。可选地，还包括惯性传感器，可以通过弹性橡胶粘附在受试者的运动关节，用于检测和测量加速度、倾斜、冲击、振动、旋转和多自由度运动，例如，测量躯干旋转或倾斜、侧移等生理参数。表面肌电传感器是体积十分小巧的无线 肌电信号（EMG）传感器，传感器的机身通常小于5 cm³，非常适用呼吸运动训练。触觉传感器可以通过弹性橡胶粘附在受试者的呼吸肌表面，可以实现机器与人之间的友好交互，重量轻、成本低。气流传感器用于测量受试者的呼吸气体流速信号，根据各种不同呼吸气体流速波形曲线特征指导调节呼吸训练。图像采集设备包括可见光采集设备以及红外采集设备，可以对红外-可见光图像进行融合，红外图像能够体现温度显著性，温度越高的目标像素值越大。而可见光图像独有的信息为纹理细节信息。
呼吸检测模块230，用于将采集的所述受试者的呼吸参数信息输入至预训练的多模态呼吸训练模型，检测得到所述受试者的呼吸训练结果（步骤S103）。
本实施例中，多模态呼吸训练模型包括图像信息、声音信息以及触觉信息等，聚合了多源多模态数据信息（如红外、加速度等多种传感器，每一种传感器都可以称为一种模态），模型学习到的特征表示更加完备。
显示模块240，设置于所述支撑轴的中端，用于引导所述受试者呼吸训练以及显示或打印所述受试者的呼吸训练结果（步骤S104）。
例如，通过播放呼吸训练的引导音频和引导视频，以引导受试者进行呼吸训练。
更进一步地，所述穿戴式传感器通过弹性橡胶粘附在所述受试者的胸腔部位，所述表面肌电传感器和所述触觉传感器通过弹性橡胶粘附在所述受试者的呼吸肌表面，所述气流传感器设置在所述受试者的口鼻腔附近，测量所述受试者的气体流速信号。
本实施例中，穿戴式传感器可设置于智能服装的各个部分，来探测各种呼吸信号，以对呼吸活动进行实时检测。通过穿脱智能服装简化了穿戴式传感器的安装流程，更加方便、易用。其中，气体流速信号包括鼻吸气、嘴呼气的气体流速信号。
更进一步地，对所述图像采集设备采集的所述受试者的影像进行图像识别，得到所述受试者的姿态，所述受试者的姿态包括以下多者中的至少一者：头部后仰、头部倾斜或前伸、高低肩、躯干旋转或倾斜、身体驼背、侧移以及膝关节屈曲。
本实施例中，一方面，可以根据受试者的姿态检测呼吸训练效果，另一方面，还可以根据受试者的姿态得到呼吸姿态识别报告，以纠正不标准的呼吸训练动作。
更进一步地，对所述图像采集设备采集的所述受试者的红外图像进行分割，得到鼻区域以及口腔区域；
对各个周期的所述鼻区域以及口腔区域进行高斯拟合，根据拟合的结果计算得到呼吸量。
本实施例中，鼻区域为矩形区域，可以基于鼻中线特征点、鼻水平线特征点，通过查找交叉点的方式，测量鼻区域的宽度与高度。口腔区域为矩形区域，可以通过口腔区域的特征点确定口腔区域。高斯拟合跟多项式拟合类似，不同的是多项式拟合是用幂函数系，而高斯拟合用的是高斯函数系，使用高斯函数拟合来进行拟合，计算简单、快捷。
更进一步地，所述对各个周期的所述鼻区域以及口腔区域进行高斯拟合的计算公式为：
，
其中，为t时刻的呼吸量，/> 分别为鼻区域或口腔区域的宽度和高度，为t时刻鼻区域或口腔区域中位置/>的像素值，/>为像素点的噪音值，为/>时刻鼻区域或口腔区域中位置/>的像素值，x，y分别为像素点的横坐标与纵坐标，/>为鼻区域或口腔区域的拟合值，/>为像素与呼吸量的相关系数。
本实施例中，考虑了时间和空间上的像素变化，能够更准确反映呼吸量的变化。对于包含鼻和口腔区域的图像，通过上述公式计算其呼吸量。例如，鼻区域的宽度为100像素，鼻区域的高度为80像素，当前时间t与位置(x,y)的像素值为120，像素点的噪音值为5，时间t+∆t和t的像素值分别为110和120，代入上述公式计算得到鼻区域的高斯拟合值为0.8，其中，像素与呼吸量的相关系数为0.5。
更进一步地，所述鼻区域或口腔区域的拟合值的计算公式为：
，
其中，为鼻区域或口腔区域的中心位置坐标，/>第/>个尺度的鼻区域或口腔区域的宽度和高度，/> 为像素点/>的sigmoid函数，n为尺度的数量。
本实施例中，对鼻区域或口腔区域内的每个像素点应用sigmoid函数，并根据其与区域的中心位置的距离进行加权。不仅考虑了像素点与中心的距离，还考虑了不同尺度的区域大小，能够更好地处理大小不一的鼻或口腔区域，提高了拟合的准确性。
更进一步地，所述多模态呼吸训练模型融合呼吸行为检测网络、呼吸声音检测网络以及呼吸量与呼吸流速检测网络。
更进一步地，所述呼吸行为检测网络的输出与输入序列的表达式为：
，
其中，为呼吸行为的输出，/>为输入序列，/>为受试者的姿态，/>为隐藏层网络的姿态函数，/>为姿态函数/>的加权函数，W为斜率或权重，b为偏置项，/>为卷积核数量，/>为逐点卷积后的通道数，/>分别为输入特征图的宽度和高度；
所述呼吸声音检测网络的卷积表达式为：
，
其中，为输入序列中第i个元素的卷积结果，/>为第/>层卷积的卷积核，d为超参数，s为输入的声音信号向量，/>为卷积方向，/>为卷积的层数；
所述呼吸流速检测网络的输出表达式为：
，
其中，为输出，/>为输入的呼吸流速向量，/>为激活函数，/>为/>的线性关系函数，/>为深度可分离卷积模块。
本实施例中，通过引入隐藏层网络的姿态函数和加权函数W，能够处理不同姿态下的呼吸行为，并减少噪声和干扰对结果的影响。例如，对于包含100个样本的呼吸行为数据集，每个样本有3个通道，宽度和高度均为5像素的特征图，将其作为输入序列输入到网络中。通过不断调整权重矩阵W和偏置项b，以最小化预测误差。
以及，通过超参数d控制卷积的方向，能够更好地捕捉输入信号中的复杂模式，能够适应不同的场景。通过使用深度可分离卷积模块能够提取更加有用的特征，以适应不同的呼吸流速数据。例如，每个样本有10个特征的呼吸流速向量，将其作为输入之后，通过不断调整深度可分离卷积模块、线性关系函数和激活函数，可以最小化预测误差。其中深度可分离卷积模块通过将卷积操作分解为深度卷积和逐点卷积等步骤，能够有效地减少模型的参数数量，提高计算效率。在深度卷积步骤中，卷积核在输入特征图上进行卷积操作，以提取特征。在逐点卷积步骤中，每个输入通道都与一个共享的卷积核进行卷积操作，以增加网络的非线性。通过使用深度可分离卷积模块，呼吸流速检测网络能够在保持较小模型规模的同时，提取到更多的特征信息。深度可分离卷积模块可以通过如TensorFlow、PyTorch等框架实现。此外，深度可分离卷积模块还可以与其他网络结构结合使用，如残差连接、批归一化等，以提高网络的性能和稳定性。
更进一步地，通过滤波器对所述声音采集设备采集的声音信号进行高频处理，所述滤波器为：
，
其中，为得到的高频声音信号，/>为声音信号的采样点数，/>为采样点的声音信号，/>为采样点/>的声音信号，/>为预设阈值，/>，t为时间参数，f为频率参数，j为虚数单位，/>为圆周率，/>为以e为底的指数函数。
本实施例中，滤波器通过积分操作能够有效地提取声音信号中的高频成分（如呼吸声中的高频噪声）。可选地，通过频谱分析或模式识别分析该高频声音信号以提取更多呼吸行为的特征。
本实施例中，声音采集设备采集的原始声音信号通常存在环境噪音，对每段声音信号通过采用滤波器消除环境噪音，提升原始声音信号中的高频部分。
更进一步地，将所述得到的高频声音信号划分为时长为t的多个帧S(q)，其中，q=0,1,…,Q-1，q为分帧后的帧数，Q为帧的大小；
通过非矩形窗对所述多个帧S(q)进行信号变换得到多个帧W(q)，所述信号变换的计算公式为：
，
其中，为预设阈值，/>，/>，q=0,1,…,Q-1，q为分帧后的帧数，Q为帧的大小。
本实施例中，如果分帧后的信号的时间长度不是周期的整数倍，分帧后的信号将会存在泄漏。为了将泄漏误差减少到最低程度，通过非矩形窗函数进行加权。也可以采用汉宁窗、哈明窗、布拉克曼窗和凯塞窗等函数，本文对此不加以限定。
根据本发明提供的方案，包括底座、与所述底座垂直的支撑轴以及驱动所述底座的伺服驱动模块，所述伺服驱动模块根据受试者的面部朝向自动驱动所述底座移动或转向；数据采集模块，包括设置于所述支撑轴上端的声音采集设备、图像采集设备以及用于检测受试者的若干可穿戴式传感器，所述传感器包括表面肌电传感器、触觉传感器以及气流传感器，所述图像采集设备包括可见光采集设备以及红外采集设备；呼吸检测模块，用于将采集的所述受试者的声音、图像以及传感器信息输入至预训练的多模态呼吸训练模型，检测得到所述受试者的呼吸训练结果；显示模块，设置于所述支撑轴的中端，用于引导所述受试者呼吸训练以及显示所述受试者的呼吸训练结果。本发明根据声音信号、姿态、口鼻区域、呼吸量以及呼吸流速等检测受试者的呼吸状况，提高了用户体验和呼吸训练效果。以及，根据声音信号、姿态、口鼻区域、呼吸量以及呼吸流速等检测受试者的呼吸状况，进一步提高了用户体验和呼吸训练效果。多模态呼吸训练模型融合了呼吸行为检测网络、呼吸声音检测网络以及呼吸量与呼吸流速检测网络，聚合了多源数据信息，模型学习到的表示更加完备。通过滤波器和非矩形窗技术极大提升了声音信号的高频部分，进一步提升了呼吸训练识别的准确率。以及，由于仅利用现有的计算机处理系统、显示系统以及传感器系统即可，本发明提供的呼吸训练机器人系统，结构简洁，精细灵活、成本低、可靠性高。
Claims (10)
1.一种基于数据处理的呼吸训练医用机器人系统，包括底座、与所述底座垂直的支撑轴以及驱动所述底座的伺服驱动模块，所述伺服驱动模块根据受试者的面部朝向自动驱动所述底座移动或转向，其特征在于，所述呼吸训练医用机器人还包括：
呼吸训练引导模块，用于通过视频或声音信号引导受试者进行呼吸训练；
数据采集模块，包括设置于所述支撑轴上端的声音采集设备、图像采集设备以及用于检测受试者的若干可穿戴式传感器，所述传感器包括表面肌电传感器、触觉传感器以及气流传感器，所述图像采集设备包括可见光采集设备以及红外采集设备；
呼吸检测模块，用于将采集的所述受试者的呼吸声音、图像以及传感器信息输入至预训练的多模态呼吸训练模型，检测得到所述受试者的呼吸训练结果；
显示模块，设置于所述支撑轴的中端，用于引导所述受试者的呼吸训练以及显示或打印所述受试者的呼吸训练结果。
2.根据权利要求1所述的基于数据处理的呼吸训练医用机器人系统，其特征在于，所述穿戴式传感器通过弹性橡胶粘附在所述受试者的胸腔部位，所述表面肌电传感器和所述触觉传感器通过弹性橡胶粘附在所述受试者的呼吸肌表面，所述气流传感器设置在所述受试者的口鼻腔附近，测量所述受试者的气体流速信号。
3.根据权利要求1或2所述的基于数据处理的呼吸训练医用机器人系统，其特征在于，对所述图像采集设备采集的所述受试者的影像进行图像识别，得到所述受试者的姿态，所述受试者的姿态包括以下多者中的至少一者：头部后仰、头部倾斜或前伸、高低肩、躯干旋转或倾斜、身体驼背、侧移以及膝关节屈曲。
4.根据权利要求3所述的基于数据处理的呼吸训练医用机器人系统，其特征在于，对所述图像采集设备采集的所述受试者的红外图像进行分割，得到鼻区域以及口腔区域；
对各个周期的所述鼻区域以及口腔区域进行高斯拟合，根据拟合的结果计算得到呼吸量。
5.根据权利要求4所述的基于数据处理的呼吸训练医用机器人系统，其特征在于，所述对各个周期的所述鼻区域以及口腔区域进行高斯拟合的计算公式为：
，
其中，为t时刻的呼吸量，/>，/>分别为鼻区域或口腔区域的宽度和高度，为t时刻鼻区域或口腔区域中位置/>的像素值，/>为像素点的噪音值，为/>时刻鼻区域或口腔区域中位置/>的像素值，/>分别为像素点的横坐标与纵坐标，/>为鼻区域或口腔区域的拟合值，/>为像素与呼吸量的相关系数。
6.根据权利要求5所述的基于数据处理的呼吸训练医用机器人系统，其特征在于，所述鼻区域或口腔区域的拟合值的计算公式为：
，
其中，为鼻区域或口腔区域的中心位置坐标，/>，/>分别为第/>个尺度的鼻区域或口腔区域的宽度和高度，/> 为像素点/>的sigmoid函数，/>为尺度的数量。
7.根据权利要求1所述的基于数据处理的呼吸训练医用机器人系统，其特征在于，所述多模态呼吸训练模型融合呼吸行为检测网络、呼吸声音检测网络以及呼吸量与呼吸流速检测网络。
8.根据权利要求7所述的基于数据处理的呼吸训练医用机器人系统，其特征在于，所述呼吸行为检测网络的输出与输入序列的表达式为：
，
其中，为呼吸行为的输出，/>为输入序列，/>为受试者的姿态，/>为隐藏层网络的姿态函数，/>为姿态函数/>的加权函数，W为斜率或权重，b为偏置项，/>为卷积核数量，/>为逐点卷积后的通道数，/>、/>分别为输入特征图的宽度和高度；
所述呼吸声音检测网络的卷积表达式为：
，
其中，为输入序列中第i个元素的卷积结果，/>为第/>层的卷积核，/>为超参数，/>为输入的声音信号向量，/>为卷积方向，/>为卷积的层数；
所述呼吸流速检测网络的输出表达式为：
，
其中，为输出，/>为输入的呼吸流速向量，/>为激活函数，/>为/>的线性关系函数，/>为深度可分离卷积模块。
9.根据权利要求1所述的基于数据处理的呼吸训练医用机器人系统，其特征在于，通过滤波器对所述声音采集设备采集的声音信号进行高频处理，所述滤波器为：
，
其中，为得到的高频声音信号，/>为声音信号的采样点数，/>为采样点/>的声音信号，/>为采样点/>的声音信号，/>为预设阈值，/>，/>为时间参数，/>为频率参数，/>为虚数单位，/>为圆周率，/>为以e为底的指数函数。
10.根据权利要求9所述的基于数据处理的呼吸训练医用机器人系统，其特征在于，将所述得到的高频声音信号划分为时长为t的多个帧S(q)，其中，q=0,1,…,Q-1，q为分帧后的帧数，Q为帧的大小；
通过非矩形窗对所述多个帧S(q)进行信号变换得到多个帧W(q)，所述信号变换的计算公式为：
，
其中，为预设阈值，/>，/>，q=0,1,…,Q-1，q为分帧后的帧数，Q为帧的大小。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410255198.1A CN117831379A (zh) | 2024-03-06 | 2024-03-06 | 一种数据处理的呼吸训练医用机器人系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410255198.1A CN117831379A (zh) | 2024-03-06 | 2024-03-06 | 一种数据处理的呼吸训练医用机器人系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117831379A true CN117831379A (zh) | 2024-04-05 |
Family
ID=90506220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410255198.1A Pending CN117831379A (zh) | 2024-03-06 | 2024-03-06 | 一种数据处理的呼吸训练医用机器人系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117831379A (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN205994970U (zh) * | 2016-04-14 | 2017-03-08 | 上海乃欣电子科技有限公司 | 一种肌电反馈呼吸训练服 |
| CN106920452A (zh) * | 2017-03-31 | 2017-07-04 | 张小来 | 一种运用虚拟仿真呼吸机的教学训练系统及方法 |
| KR20180095255A (ko) * | 2017-02-17 | 2018-08-27 | 순천제일대학산학협력단 | 호흡 및 발성 훈련용 시각적 피드백 장치 |
| CN111199675A (zh) * | 2020-02-24 | 2020-05-26 | 广州医科大学附属肿瘤医院 | 一种呼吸训练的计算机模拟监控系统 |
| CN112354153A (zh) * | 2020-10-20 | 2021-02-12 | 苏波 | 一种数字化呼吸训练系统及方法 |
| CN113017600A (zh) * | 2021-04-20 | 2021-06-25 | 浙江大学医学院附属邵逸夫医院 | 一种用于医学影像检查的训练评估系统及方法 |
| KR20210126172A (ko) * | 2020-04-09 | 2021-10-20 | 주식회사 애드에이블 | 호흡 훈련장치 |
| CN215691455U (zh) * | 2021-08-03 | 2022-02-01 | 中国人民解放军空军军医大学 | 一种视听引导式深吸气屏气呼吸训练仪 |
| CN215900877U (zh) * | 2021-09-02 | 2022-02-25 | 上海市闵行区肿瘤医院 | 一种智能呼吸训练监测器 |
| DE102021208986A1 (de) * | 2021-08-17 | 2023-02-23 | Psa Automobiles Sa | Wellnessanordnung zur Anleitung einer Atemübung, Fahrzeug mit der Wellnessanordnung und Verfahren zur Anleitung einer Atemübung |
| CN116030051A (zh) * | 2023-03-27 | 2023-04-28 | 中国科学院苏州生物医学工程技术研究所 | 一种呼吸训练检测评价方法及装置 |
| WO2023114494A1 (en) * | 2021-12-16 | 2023-06-22 | Breezee, Inc. | Device and methods for monitoring and training breathing |
| CN219462450U (zh) * | 2022-09-26 | 2023-08-04 | 东莞市人民医院 | 呼吸训练器 |
| CN116850546A (zh) * | 2020-09-02 | 2023-10-10 | 北京海思瑞格科技有限公司 | 交互式呼吸训练装置及利用其进行的交互式呼吸训练方法 |
-
2024
- 2024-03-06 CN CN202410255198.1A patent/CN117831379A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN205994970U (zh) * | 2016-04-14 | 2017-03-08 | 上海乃欣电子科技有限公司 | 一种肌电反馈呼吸训练服 |
| KR20180095255A (ko) * | 2017-02-17 | 2018-08-27 | 순천제일대학산학협력단 | 호흡 및 발성 훈련용 시각적 피드백 장치 |
| CN106920452A (zh) * | 2017-03-31 | 2017-07-04 | 张小来 | 一种运用虚拟仿真呼吸机的教学训练系统及方法 |
| CN111199675A (zh) * | 2020-02-24 | 2020-05-26 | 广州医科大学附属肿瘤医院 | 一种呼吸训练的计算机模拟监控系统 |
| KR20210126172A (ko) * | 2020-04-09 | 2021-10-20 | 주식회사 애드에이블 | 호흡 훈련장치 |
| CN116850546A (zh) * | 2020-09-02 | 2023-10-10 | 北京海思瑞格科技有限公司 | 交互式呼吸训练装置及利用其进行的交互式呼吸训练方法 |
| CN112354153A (zh) * | 2020-10-20 | 2021-02-12 | 苏波 | 一种数字化呼吸训练系统及方法 |
| CN113017600A (zh) * | 2021-04-20 | 2021-06-25 | 浙江大学医学院附属邵逸夫医院 | 一种用于医学影像检查的训练评估系统及方法 |
| CN215691455U (zh) * | 2021-08-03 | 2022-02-01 | 中国人民解放军空军军医大学 | 一种视听引导式深吸气屏气呼吸训练仪 |
| DE102021208986A1 (de) * | 2021-08-17 | 2023-02-23 | Psa Automobiles Sa | Wellnessanordnung zur Anleitung einer Atemübung, Fahrzeug mit der Wellnessanordnung und Verfahren zur Anleitung einer Atemübung |
| CN215900877U (zh) * | 2021-09-02 | 2022-02-25 | 上海市闵行区肿瘤医院 | 一种智能呼吸训练监测器 |
| WO2023114494A1 (en) * | 2021-12-16 | 2023-06-22 | Breezee, Inc. | Device and methods for monitoring and training breathing |
| CN219462450U (zh) * | 2022-09-26 | 2023-08-04 | 东莞市人民医院 | 呼吸训练器 |
| CN116030051A (zh) * | 2023-03-27 | 2023-04-28 | 中国科学院苏州生物医学工程技术研究所 | 一种呼吸训练检测评价方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 刘立红;伍晓六;刘品霓;钟华;: "呼吸训练和心理干预对双源螺旋CT冠状动脉造影成像质量的影响", 齐齐哈尔医学院学报, no. 08, 17 March 2015 (2015-03-17) * |
| 贺莉;李曦;程巍;孙家喻;陈玉成;游桂英;: "病房内呼吸训练对心脏增强磁共振图像质量评价的影响", 四川大学学报(医学版), no. 03, 15 May 2015 (2015-05-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Murthy et al. | Noncontact measurement of breathing function | |
| CN108968996A (zh) | 运动门控医学成像 | |
| KR102054213B1 (ko) | 열화상 카메라를 이용한 호흡 측정 시스템 | |
| CN108135487A (zh) | 用于获得对象的生命体征信息的设备、系统和方法 | |
| WO2009036312A1 (en) | Device and method for assessing physiological parameters | |
| CN110087540A (zh) | 用于肺功能测试的方法和设备 | |
| Li et al. | Image-guided navigation of a robotic ultrasound probe for autonomous spinal sonography using a shadow-aware dual-agent framework | |
| CN114999646B (zh) | 新生儿运动发育评估系统、方法、装置及存储介质 | |
| CN112826458B (zh) | 脉诊系统和脉诊方法 | |
| Wang et al. | An intelligent wearable device for human’s cervical vertebra posture monitoring | |
| CN110811638A (zh) | 一种用于监测睡眠的svm分类器构建方法、系统及方法 | |
| Adami et al. | A method for classification of movements in bed | |
| CN110693510A (zh) | 一种注意力缺陷多动障碍辅助诊断装置及其使用方法 | |
| Diao et al. | Unobtrusive smart mat system for sleep posture recognition | |
| CN117831379A (zh) | 一种数据处理的呼吸训练医用机器人系统 | |
| CN115474951B (zh) | 用于控制对象的医学成像检查的方法、医学成像系统和计算机可读数据存储介质 | |
| Wang et al. | Vision analysis in detecting abnormal breathing activity in application to diagnosis of obstructive sleep apnoea | |
| Liu et al. | Tidal volume estimation using portable ultrasound imaging system | |
| TWI577338B (zh) | 基於影像為基礎之即時呼吸率量測技術之方法 | |
| KR20220072484A (ko) | 얼굴표정 분석기반 자폐 스펙트럼 장애 평가 방법 | |
| Sümbül et al. | Estimating the value of the volume from acceleration on the diaphragm movements during breathing | |
| Chyliński et al. | Design and Implementation of an Embedded System for Respiratory Rate Examinations | |
| TW202145254A (zh) | 一種資訊處理系統及其方法 | |
| Chen et al. | Quantitative assessment of lower limbs gross motor function in children with cerebral palsy based on surface EMG and inertial sensors | |
| KR20190084663A (ko) | 생체 신호 수집 및 보정 시스템과, 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |