CN108433727A - 一种监测婴儿呼吸的方法及装置 - Google Patents

一种监测婴儿呼吸的方法及装置 Download PDF

Info

Publication number
CN108433727A
CN108433727A CN201810214751.1A CN201810214751A CN108433727A CN 108433727 A CN108433727 A CN 108433727A CN 201810214751 A CN201810214751 A CN 201810214751A CN 108433727 A CN108433727 A CN 108433727A
Authority
CN
China
Prior art keywords
baby
video
video file
breathing
amplitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810214751.1A
Other languages
English (en)
Inventor
陈子韬
黄馨韵
吴梓杰
冯忠伦
杨淑伶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201810214751.1A priority Critical patent/CN108433727A/zh
Publication of CN108433727A publication Critical patent/CN108433727A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/04—Babies, e.g. for SIDS detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Abstract

本发明实施例公开了一种监测婴儿呼吸的方法及装置，其中方法包括：S1、获取摄像头采集的第一视频文件中待检测的视频文件；S2、对所述待检测的视频文件中婴儿和被褥的运动通过欧拉视频放大法进行放大，得到放大后的视频帧；S3、将所述放大后的视频帧合成为第二视频文件；S4、通过已训练的Mask‑RCNN对所述第二视频文件的视频帧中的婴儿和被褥进行实例分割；S5、跟踪所述第二视频文件的视频帧中的婴儿部分，获得婴儿呼吸的频率和幅值；S6、判断所述婴儿呼吸的频率和幅值是否均在预置频率基准范围和预置幅值基准范围之内，若否，则发送提醒指令至对应的指令执行终端，使得所述指令执行终端执行与所述提醒指令对应的提醒操作。

Description

一种监测婴儿呼吸的方法及装置
技术领域
本发明涉及视频监测技术领域，尤其涉及一种监测婴儿呼吸的方法及装置。
背景技术
对于父母来说，婴儿的降临除了带来喜悦之外，随之而来的还有碎片式的睡眠。婴儿在夜间不自觉的惊醒以及新生婴儿呼吸的各种异常，都值得家长引起足够的重视。
对于婴儿来说，呼吸频率是衡量婴儿是否健康的重要标准。很多新生儿易发疾病，例如哮喘以及支气管炎等发病症状，都会通过新生儿的异常呼吸来表现出来。但现在的实际情况却是大多数父母很容易忽视新生儿的呼吸异常。
现有的监测睡眠状况的设备当中，主要采用需要外部设备充电，电池在无充电时放电提供电能的传感器设备，但是该类设备的开发主要的面向对象是承认，成人使用的可穿戴设备能够时刻监测婴儿睡眠状况。但对于婴儿来说，即便是大人们觉得再柔软舒适的可穿戴设备，他们也会觉得不舒服。此外，传感设备的带来的电磁辐射大小，充电电流的磁场对婴儿休息时的脑电波的干扰，均对婴儿的健康有一定程度的影响。
因此，需要提出一种监测婴儿呼吸的方法及装置以解决现有的婴儿睡眠监测设备会导致婴儿不舒服，同时传感设备的带来的电磁辐射大小，充电电流的磁场对婴儿休息时的脑电波的干扰，均对婴儿的健康有一定程度的影响的技术问题。
发明内容
本发明提供了一种监测婴儿呼吸的方法及装置，解决了现有的婴儿睡眠监测设备会导致婴儿不舒服，同时传感设备的带来的电磁辐射大小，充电电流的磁场对婴儿休息时的脑电波的干扰，均对婴儿的健康有一定程度的影响的技术问题。
本发明提供了一种监测婴儿呼吸的方法，包括：
S1、获取摄像头采集的第一视频文件中待检测的视频文件；
S2、对所述待检测的视频文件中婴儿和被褥的运动通过欧拉视频放大法进行放大，得到放大后的视频帧；
S3、将所述放大后的视频帧合成为第二视频文件；
S4、通过已训练的Mask-RCNN对所述第二视频文件的视频帧中的婴儿和被褥进行实例分割；
S5、跟踪所述第二视频文件的视频帧中的婴儿部分，获得婴儿呼吸的频率和幅值；
S6、判断所述婴儿呼吸的频率和幅值是否均在预置频率基准范围和预置幅值基准范围之内，若否，则发送提醒指令至对应的指令执行终端，使得所述指令执行终端执行与所述提醒指令对应的提醒操作。
可选地，所述步骤S2具体包括：
将所述待检测的视频文件的视频序列信号通过拉普拉斯金字塔分解成不同的空间频率带；
通过时域滤波器对所有所述空间频率带进行滤波，得到滤波后的空间频率带；
将所述滤波后的空间频率带乘以预置放大因子后，与对应的所述视频序列信号相加，得到放大后的视频序列信号；
将所述放大后的视频序列信号转换为放大后的视频帧。
可选地，所述步骤S3具体为：
将所述放大后的视频帧合成与所述第一视频文件的视频帧率一致的第二视频文件
或
将所述放大后的视频帧合成为按照预置幅值低于所述第一视频文件的视频帧率的第二视频文件。
可选地，所述步骤S4具体包括：
将所述第二视频文件逐帧转换为RGB图像；
将所述RGB图像依次输入至已训练的Mask-RCNN中，对所述RGB图像中的婴儿和被褥进行实例分割，得到已训练的Mask-RCNN输出的对应所述RGB图像中婴儿部分的二值掩膜。
可选地，所述步骤S5具体包括：
根据第一帧的所述RGB图像中婴儿部分的二值掩膜，确定跟踪点坐标与数量；
依次根据由除第一帧以外的其余所述RGB图像中婴儿部分的二值掩膜得到的跟踪点坐标，得到婴儿呼吸的幅值的离散变化函数；
通过最小二乘法将所述幅值的离散变化函数拟合为幅值的连续变化函数，并根据所述幅值的连续变化函数确定婴儿呼吸的频率。
本发明提供了一种监测婴儿呼吸的装置，包括：
获取单元，用于获取摄像头采集的第一视频文件中待检测的视频文件；
放大单元，用于对所述待检测的视频文件中婴儿和被褥的运动通过欧拉视频放大法进行放大，得到放大后的视频帧；
合成单元，用于将所述放大后的视频帧合成为第二视频文件；
实例分割单元，用于通过已训练的Mask-RCNN对所述第二视频文件的视频帧中的婴儿和被褥进行实例分割；
跟踪单元，用于跟踪所述第二视频文件的视频帧中的婴儿部分，获得婴儿呼吸的频率和幅值；
判断单元，用于判断所述婴儿呼吸的频率和幅值是否均在预置频率基准范围和预置幅值基准范围之内，若否，则发送提醒指令至对应的指令执行终端，使得所述指令执行终端执行与所述提醒指令对应的提醒操作。
可选地，所述放大单元具体包括：
分解子单元，用于将所述待检测的视频文件的视频序列信号通过拉普拉斯金字塔分解成不同的空间频率带；
滤波子单元，用于通过时域滤波器对所有所述空间频率带进行滤波，得到滤波后的空间频率带；
放大子单元，用于将所述滤波后的空间频率带乘以预置放大因子后，与对应的所述视频序列信号相加，得到放大后的视频序列信号；
第一转换子单元，用于将所述放大后的视频序列信号转换为放大后的视频帧。
可选地，所述合成单元，还用于将所述放大后的视频帧合成与所述第一视频文件的视频帧率一致的第二视频文件
或
还用于将所述放大后的视频帧合成为按照预置幅值低于所述第一视频文件的视频帧率的第二视频文件。
可选地，所述实例分割单元具体包括：
第二转换子单元，用于将所述第二视频文件逐帧转换为RGB图像；
分割子单元，用于将所述RGB图像依次输入至已训练的Mask-RCNN中，对所述RGB图像中的婴儿和被褥进行实例分割，得到已训练的Mask-RCNN输出的对应所述RGB图像中婴儿部分的二值掩膜。
可选地，所述跟踪单元具体包括：
坐标确定子单元，用于根据第一帧的所述RGB图像中婴儿部分的二值掩膜，确定跟踪点坐标与数量；
函数生成子单元，用于依次根据由除第一帧以外的其余所述RGB图像中婴儿部分的二值掩膜得到的跟踪点坐标，得到婴儿呼吸的幅值的离散变化函数；
函数拟合子单元，用于通过最小二乘法将所述幅值的离散变化函数拟合为幅值的连续变化函数，并根据所述幅值的连续变化函数确定婴儿呼吸的频率。
从以上技术方案可以看出，本发明具有以下优点：
本发明提供了一种监测婴儿呼吸的方法，包括：S1、获取摄像头采集的第一视频文件中待检测的视频文件；S2、对所述待检测的视频文件中婴儿和被褥的运动通过欧拉视频放大法进行放大，得到放大后的视频帧；S3、将所述放大后的视频帧合成为第二视频文件；S4、通过已训练的Mask-RCNN对所述第二视频文件的视频帧中的婴儿和被褥进行实例分割；S5、跟踪所述第二视频文件的视频帧中的婴儿部分，获得婴儿呼吸的频率和幅值；S6、判断所述婴儿呼吸的频率和幅值是否均在预置频率基准范围和预置幅值基准范围之内，若否，则发送提醒指令至对应的指令执行终端，使得所述指令执行终端执行与所述提醒指令对应的提醒操作。
本发明中，通过摄像头对婴儿睡眠状态进行监测，对监测到的视频文件进行分析，放大视频文件中的婴儿和被褥部分，再通过Mask-RCNN对放大后的婴儿和被褥部分进行实例分割，最终通过跟踪视频文件中的婴儿部分，得到婴儿呼吸的频率和幅值，从而判断婴儿呼吸的频率和幅值是否在对应的预置基准范围之内，监测到异常即立刻发出警告信息，达到监测婴儿睡眠时呼吸的目的，解决了现有的婴儿睡眠监测设备会导致婴儿不舒服，同时传感设备的带来的电磁辐射大小，充电电流的磁场对婴儿休息时的脑电波的干扰，均对婴儿的健康有一定程度的影响的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明提供的一种监测婴儿呼吸的方法的一个实施例的流程示意图；
图2为本发明提供的一种监测婴儿呼吸的方法的另一个实施例的流程示意图；
图3为本发明提供了一种监测婴儿呼吸的装置的一个实施例的结构示意图；
图4为本发明提供了一种监测婴儿呼吸的装置的另一个实施例的结构示意图。
具体实施方式
本发明实施例提供了一种监测婴儿呼吸的方法及装置，解决了现有的婴儿睡眠监测设备会导致婴儿不舒服，同时传感设备的带来的电磁辐射大小，充电电流的磁场对婴儿休息时的脑电波的干扰，均对婴儿的健康有一定程度的影响的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，本发明提供了一种监测婴儿呼吸的方法的一个实施例，包括：
101、获取摄像头采集的第一视频文件中待检测的视频文件；
102、对待检测的视频文件中婴儿和被褥的运动通过欧拉视频放大法进行放大，得到放大后的视频帧；
103、将放大后的视频帧合成为第二视频文件；
104、通过已训练的Mask-RCNN对第二视频文件的视频帧中的婴儿和被褥进行实例分割；
105、跟踪第二视频文件的视频帧中的婴儿部分，获得婴儿呼吸的频率和幅值；
106、判断婴儿呼吸的频率和幅值是否均在预置频率基准范围和预置幅值基准范围之内，若否，则发送提醒指令至对应的指令执行终端，使得指令执行终端执行与提醒指令对应的提醒操作。
本发明实施例中，通过摄像头对婴儿睡眠状态进行监测，对监测到的视频文件进行分析，放大视频文件中的婴儿和被褥部分，再通过Mask-RCNN对放大后的婴儿和被褥部分进行实例分割，最终通过跟踪视频文件中的婴儿部分，得到婴儿呼吸的频率和幅值，从而判断婴儿呼吸的频率和幅值是否在对应的预置基准范围之内，监测到异常即立刻发出警告信息，达到监测婴儿睡眠时呼吸的目的，解决了现有的婴儿睡眠监测设备会导致婴儿不舒服，同时传感设备的带来的电磁辐射大小，充电电流的磁场对婴儿休息时的脑电波的干扰，均对婴儿的健康有一定程度的影响的技术问题。
以上是对本发明提供的一种监测婴儿呼吸的方法的一个实施例进行的说明，以下将对本发明提供的一种监测婴儿呼吸的方法的另一个实施例进行说明。
请参阅图2，本发明提供了一种监测婴儿呼吸的方法的另一个实施例，包括：
201、获取摄像头采集的第一视频文件中待检测的视频文件；
需要说明的是，使用普通摄像头或者高清摄像头采集第一视频文件后，获取摄像头采集的第一视频文件中待检测的视频文件。
202、将待检测的视频文件的视频序列信号通过拉普拉斯金字塔分解成不同的空间频率带；
需要说明的是，将待检测的视频文件的视频序列信号通过拉普拉斯金字塔分解成不同的空间频率带，具体过程如下：
Li表示拉普拉斯金字塔的第i层，它也是一个图像；UP(·)操作是将源图像中位置为(x,y)的像素映射到目标图像的(2x+1,2y+1)位置，即在进行向上取样；需要注意的是，上采样会减小图像的尺寸，所以金字塔每一层的尺寸在上采样过程中会变小；Gi表示表示第i层的图像；g5×5表示的是高斯卷积内。
综上所述，总结拉普拉斯金字塔分解的过程：
1、上采样(up-sampling)；即式中的UP(·)；
2、高斯内核卷积滤波；
3、用原来第i层的图像减去滤除的成分，得到拉普拉斯金字塔的第i层，这一层只有某一频率带的图像信息。
得到的空间频率带的不同体现于：经过拉普拉斯金字塔分解后，频率高的金字塔层保留了尖锐的信息，例如物体的轮廓，而频率低的金字塔层保留了较为平滑的信息。
203、通过时域滤波器对所有空间频率带进行滤波，得到滤波后的空间频率带；
需要说明的是，在得到不同的空间频率带后，通过相同的时域滤波器对所有空间频率带进行滤波，得到滤波后的空间频率带。
204、将滤波后的空间频率带乘以预置放大因子后，与对应的视频序列信号相加，得到放大后的视频序列信号；
需要说明的是，得到滤波后的空间频率带后，将滤波后的空间频率带乘以预置放大因子后，再与对应的视频序列信号相加，得到放大后的视频序列信号，具体如下：
I(x,t)表示在位置x和时间t下的图像灰度值，位移函数δ(t)，处理后的信号为当t＝0时，δ(0)＝0。
假定
I(x,0)＝f(x) (1)
则
I(x,t)＝f(x+δ(t)) (2)
式(2)中的信号并没有放大，引入放大因子α，对位置x和时间t下的图像灰度值进行放大：
用一阶泰勒级数展开近似计算，我们把图像在时间t，f(x+δ(t))关于x的一阶泰勒展开写为：
由式(3)、(4)，得到处理后的信号：
结合式(4)、(5)，得到:
假设对于放大的较大的扰动，一阶泰勒展开成立，(1+α)δ(t)，我们可以把时间带通信号的放大与运动放大联系起来。处理后的输出简化为
式(7)是一个重要的结论。
在所述的步骤S2中，对于被处理信号，希望其近似等于真实放大的运动，即：
展开得到：
取f(x)＝cos(ωx)，对于放大运动有放大系数α，作为空间波长的函数λ。对于在我们得到的范围内的空间带，放大因子α是固定不变的，并且对于较高的空间频率呈线性衰减，符合式(10)所述的关系。
因此，只要满足式(10)的信号，均可以对该信号进行欧拉放大。
205、将放大后的视频序列信号转换为放大后的视频帧；
需要说明的是，得到放大后的视频序列信号后，将放大后的视频序列信号转换为放大后的视频帧。
206、将放大后的视频帧合成与第一视频文件的视频帧率一致的第二视频文件；
或
207、将放大后的视频帧合成为按照预置幅值低于第一视频文件的视频帧率的第二视频文件；
需要说明的是，帧率的选取受到计算设备的配置高低的影响；对于配置较低的设备而言，若采用与第一视频文件中相同的视频帧率，则由于设备无法承受对其本身而言较大的计算量，而导致无法实时。
理论上而言，在设备配置适应使用要求时，帧率一致和帧率低对后面的步骤的结果，在工程允许的误差范围内，可认为无影响。
208、将第二视频文件逐帧转换为RGB图像；
需要说明的是，将得到的第二视频文件逐帧转换为RGB图像，即彩色图像。
209、将RGB图像依次输入至已训练的Mask-RCNN中，对RGB图像中的婴儿和被褥进行实例分割，得到已训练的Mask-RCNN输出的对应RGB图像中婴儿部分的二值掩膜；
需要说明的是，将RGB图像依次输入至已训练的Mask-RCNN中，经过RoIAlign层对RGB图像进行池化的操作，再将池化的图像进行多次的卷积运算，输出婴儿部分的二值掩膜。
210、根据第一帧的RGB图像中婴儿部分的二值掩膜，确定跟踪点坐标与数量；
需要说明的是，根据第一帧的RGB图像中婴儿部分的二值掩膜，确定跟踪点坐标n为跟踪点的数量。
211、依次根据由除第一帧以外的其余RGB图像中婴儿部分的二值掩膜得到的跟踪点坐标，得到婴儿呼吸的幅值的离散变化函数；
需要说明的是，依次根据由除第一帧以外的其余RGB图像中婴儿部分的二值掩膜得到的跟踪点坐标其中k为视频的帧数，k＝2,3,4…，得到婴儿呼吸的幅值关于视频帧k的离散变化函数F＝F(k)。
212、通过最小二乘法将幅值的离散变化函数拟合为幅值的连续变化函数，并根据幅值的连续变化函数确定婴儿呼吸的频率；
需要说明的是，由于k是离散的，需要通过最小二乘法将幅值的离散变化函数拟合为幅值的连续变化函数，并根据幅值的连续变化函数来确定婴儿呼吸的频率。
213、判断婴儿呼吸的频率和幅值是否均在预置频率基准范围和预置幅值基准范围之内，若否，则发送提醒指令至对应的指令执行终端，使得指令执行终端执行与提醒指令对应的提醒操作；
需要说明的是，判断婴儿呼吸的频率和幅值是否均在预置频率基准范围和预置幅值基准范围之内，若否，则发送提醒指令至对应的指令执行终端，使得指令执行终端执行与提醒指令对应的提醒操作，例如振动、响铃或消息提示等。
本发明实施例中，通过摄像头对婴儿睡眠状态进行监测，对监测到的视频文件进行分析，放大视频文件中的婴儿和被褥部分，再通过Mask-RCNN对放大后的婴儿和被褥部分进行实例分割，最终通过跟踪视频文件中的婴儿部分，得到婴儿呼吸的频率和幅值，从而判断婴儿呼吸的频率和幅值是否在对应的预置基准范围之内，监测到异常即立刻发出警告信息，达到监测婴儿睡眠时呼吸的目的，解决了现有的婴儿睡眠监测设备会导致婴儿不舒服，同时传感设备的带来的电磁辐射大小，充电电流的磁场对婴儿休息时的脑电波的干扰，均对婴儿的健康有一定程度的影响的技术问题。
以上是对本发明提供的一种监测婴儿呼吸的方法另一个实施例进行的说明，以下将对本发明提供的一种监测婴儿呼吸的装置的一个实施例进行说明。
请参阅图3，本发明提供了一种监测婴儿呼吸的装置的一个实施例，包括：
获取单元301，用于获取摄像头采集的第一视频文件中待检测的视频文件；
放大单元302，用于对待检测的视频文件中婴儿和被褥的运动通过欧拉视频放大法进行放大，得到放大后的视频帧；
合成单元303，用于将放大后的视频帧合成为第二视频文件；
实例分割单元304，用于通过已训练的Mask-RCNN对第二视频文件的视频帧中的婴儿和被褥进行实例分割；
跟踪单元305，用于跟踪第二视频文件的视频帧中的婴儿部分，获得婴儿呼吸的频率和幅值；
判断单元306，用于判断婴儿呼吸的频率和幅值是否均在预置频率基准范围和预置幅值基准范围之内，若否，则发送提醒指令至对应的指令执行终端，使得指令执行终端执行与提醒指令对应的提醒操作。
本发明实施例中，通过摄像头对婴儿睡眠状态进行监测，对监测到的视频文件进行分析，通过放大单元302放大视频文件中的婴儿和被褥部分，再通过实例分割单元304中Mask-RCNN对放大后的婴儿和被褥部分进行实例分割，最终通过跟踪单元305跟踪视频文件中的婴儿部分，得到婴儿呼吸的频率和幅值，从而判断单元306判断婴儿呼吸的频率和幅值是否在对应的预置基准范围之内，监测到异常即立刻发出警告信息，达到监测婴儿睡眠时呼吸的目的，解决了现有的婴儿睡眠监测设备会导致婴儿不舒服，同时传感设备的带来的电磁辐射大小，充电电流的磁场对婴儿休息时的脑电波的干扰，均对婴儿的健康有一定程度的影响的技术问题。
以上是对本发明提供的一种监测婴儿呼吸的装置的一个实施例进行的说明，以下将对本发明提供的一种监测婴儿呼吸的装置的另一个实施例进行说明。
请参阅图4，本发明提供了一种监测婴儿呼吸的装置的一个实施例，包括：
获取单元401，用于获取摄像头采集的第一视频文件中待检测的视频文件；
放大单元402，用于对待检测的视频文件中婴儿和被褥的运动通过欧拉视频放大法进行放大，得到放大后的视频帧；
放大单元402具体包括：
分解子单元4021，用于将待检测的视频文件的视频序列信号通过拉普拉斯金字塔分解成不同的空间频率带；
滤波子单元4022，用于通过时域滤波器对所有空间频率带进行滤波，得到滤波后的空间频率带；
放大子单元4023，用于将滤波后的空间频率带乘以预置放大因子后，与对应的视频序列信号相加，得到放大后的视频序列信号；
第一转换子单元4024，用于将放大后的视频序列信号转换为放大后的视频帧；
合成单元403，用于将放大后的视频帧合成为第二视频文件；
合成单元403，还用于将放大后的视频帧合成与第一视频文件的视频帧率一致的第二视频文件
或
还用于将放大后的视频帧合成为按照预置幅值低于第一视频文件的视频帧率的第二视频文件；
实例分割单元404，用于通过已训练的Mask-RCNN对第二视频文件的视频帧中的婴儿和被褥进行实例分割；
实例分割单元404具体包括：
第二转换子单元4041，用于将第二视频文件逐帧转换为RGB图像；
分割子单元4042，用于将RGB图像依次输入至已训练的Mask-RCNN中，对RGB图像中的婴儿和被褥进行实例分割，得到已训练的Mask-RCNN输出的对应RGB图像中婴儿部分的二值掩膜。
跟踪单元405，用于跟踪第二视频文件的视频帧中的婴儿部分，获得婴儿呼吸的频率和幅值；
跟踪单元405具体包括：
坐标确定子单元4051，用于根据第一帧的RGB图像中婴儿部分的二值掩膜，确定跟踪点坐标与数量；
函数生成子单元4052，用于依次根据由除第一帧以外的其余RGB图像中婴儿部分的二值掩膜得到的跟踪点坐标，得到婴儿呼吸的幅值的离散变化函数；
函数拟合子单元4053，用于通过最小二乘法将幅值的离散变化函数拟合为幅值的连续变化函数，并根据幅值的连续变化函数确定婴儿呼吸的频率；
判断单元406，用于判断婴儿呼吸的频率和幅值是否均在预置频率基准范围和预置幅值基准范围之内，若否，则发送提醒指令至对应的指令执行终端，使得指令执行终端执行与提醒指令对应的提醒操作。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种监测婴儿呼吸的方法，其特征在于，包括：
S1、获取摄像头采集的第一视频文件中待检测的视频文件；
S2、对所述待检测的视频文件中婴儿和被褥的运动通过欧拉视频放大法进行放大，得到放大后的视频帧；
S3、将所述放大后的视频帧合成为第二视频文件；
S4、通过已训练的Mask-RCNN对所述第二视频文件的视频帧中的婴儿和被褥进行实例分割；
S5、跟踪所述第二视频文件的视频帧中的婴儿部分，获得婴儿呼吸的频率和幅值；
S6、判断所述婴儿呼吸的频率和幅值是否均在预置频率基准范围和预置幅值基准范围之内，若否，则发送提醒指令至对应的指令执行终端，使得所述指令执行终端执行与所述提醒指令对应的提醒操作。
2.根据权利要求1所述的监测婴儿呼吸的方法，其特征在于，所述步骤S2具体包括：
将所述待检测的视频文件的视频序列信号通过拉普拉斯金字塔分解成不同的空间频率带；
通过时域滤波器对所有所述空间频率带进行滤波，得到滤波后的空间频率带；
将所述滤波后的空间频率带乘以预置放大因子后，与对应的所述视频序列信号相加，得到放大后的视频序列信号；
将所述放大后的视频序列信号转换为放大后的视频帧。
3.根据权利要求1所述的监测婴儿呼吸的方法，其特征在于，所述步骤S3具体为：
将所述放大后的视频帧合成与所述第一视频文件的视频帧率一致的第二视频文件
或
将所述放大后的视频帧合成为按照预置幅值低于所述第一视频文件的视频帧率的第二视频文件。
4.根据权利要求1所述的监测婴儿呼吸的方法，其特征在于，所述步骤S4具体包括：
将所述第二视频文件逐帧转换为RGB图像；
将所述RGB图像依次输入至已训练的Mask-RCNN中，对所述RGB图像中的婴儿和被褥进行实例分割，得到已训练的Mask-RCNN输出的对应所述RGB图像中婴儿部分的二值掩膜。
5.根据权利要求4所述的监测婴儿呼吸的方法，其特征在于，所述步骤S5具体包括：
根据第一帧的所述RGB图像中婴儿部分的二值掩膜，确定跟踪点坐标与数量；
依次根据由除第一帧以外的其余所述RGB图像中婴儿部分的二值掩膜得到的跟踪点坐标，得到婴儿呼吸的幅值的离散变化函数；
通过最小二乘法将所述幅值的离散变化函数拟合为幅值的连续变化函数，并根据所述幅值的连续变化函数确定婴儿呼吸的频率。
6.一种监测婴儿呼吸的装置，其特征在于，包括：
获取单元，用于获取摄像头采集的第一视频文件中待检测的视频文件；
放大单元，用于对所述待检测的视频文件中婴儿和被褥的运动通过欧拉视频放大法进行放大，得到放大后的视频帧；
合成单元，用于将所述放大后的视频帧合成为第二视频文件；
实例分割单元，用于通过已训练的Mask-RCNN对所述第二视频文件的视频帧中的婴儿和被褥进行实例分割；
跟踪单元，用于跟踪所述第二视频文件的视频帧中的婴儿部分，获得婴儿呼吸的频率和幅值；
判断单元，用于判断所述婴儿呼吸的频率和幅值是否均在预置频率基准范围和预置幅值基准范围之内，若否，则发送提醒指令至对应的指令执行终端，使得所述指令执行终端执行与所述提醒指令对应的提醒操作。
7.根据权利要求6所述的监测婴儿呼吸的装置，其特征在于，所述放大单元具体包括：
分解子单元，用于将所述待检测的视频文件的视频序列信号通过拉普拉斯金字塔分解成不同的空间频率带；
滤波子单元，用于通过时域滤波器对所有所述空间频率带进行滤波，得到滤波后的空间频率带；
放大子单元，用于将所述滤波后的空间频率带乘以预置放大因子后，与对应的所述视频序列信号相加，得到放大后的视频序列信号；
第一转换子单元，用于将所述放大后的视频序列信号转换为放大后的视频帧。
8.根据权利要求6所述的监测婴儿呼吸的装置，其特征在于，所述合成单元，还用于将所述放大后的视频帧合成与所述第一视频文件的视频帧率一致的第二视频文件
或
还用于将所述放大后的视频帧合成为按照预置幅值低于所述第一视频文件的视频帧率的第二视频文件。
9.根据权利要求6所述的监测婴儿呼吸的装置，其特征在于，所述实例分割单元具体包括：
第二转换子单元，用于将所述第二视频文件逐帧转换为RGB图像；
分割子单元，用于将所述RGB图像依次输入至已训练的Mask-RCNN中，对所述RGB图像中的婴儿和被褥进行实例分割，得到已训练的Mask-RCNN输出的对应所述RGB图像中婴儿部分的二值掩膜。
10.根据权利要求9所述的监测婴儿呼吸的装置，其特征在于，所述跟踪单元具体包括：
坐标确定子单元，用于根据第一帧的所述RGB图像中婴儿部分的二值掩膜，确定跟踪点坐标与数量；
函数生成子单元，用于依次根据由除第一帧以外的其余所述RGB图像中婴儿部分的二值掩膜得到的跟踪点坐标，得到婴儿呼吸的幅值的离散变化函数；
函数拟合子单元，用于通过最小二乘法将所述幅值的离散变化函数拟合为幅值的连续变化函数，并根据所述幅值的连续变化函数确定婴儿呼吸的频率。
CN201810214751.1A 2018-03-15 2018-03-15 一种监测婴儿呼吸的方法及装置 Pending CN108433727A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810214751.1A CN108433727A (zh) 2018-03-15 2018-03-15 一种监测婴儿呼吸的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810214751.1A CN108433727A (zh) 2018-03-15 2018-03-15 一种监测婴儿呼吸的方法及装置

Publications (1)

Publication Number Publication Date
CN108433727A true CN108433727A (zh) 2018-08-24

Family

ID=63194572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810214751.1A Pending CN108433727A (zh) 2018-03-15 2018-03-15 一种监测婴儿呼吸的方法及装置

Country Status (1)

Country Link
CN (1) CN108433727A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110960218A (zh) * 2019-10-31 2020-04-07 山东大学 一种基于图像的人体呼吸状态监测装置及方法
CN111387959A (zh) * 2020-03-25 2020-07-10 南京信息工程大学 一种基于ippg的非接触式生理参数检测方法
CN111476715A (zh) * 2020-04-03 2020-07-31 三峡大学 一种基于图像变形技术的拉格朗日视频运动放大方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102499687A (zh) * 2011-11-17 2012-06-20 江苏大学 一种基于机器视觉的猪的呼吸频率检测方法及装置
CN103126655A (zh) * 2013-03-14 2013-06-05 浙江大学 一种非约束目标的非接触式脉搏波采集系统及采集方法
CN204147031U (zh) * 2014-04-03 2015-02-11 上海伟赛智能科技有限公司 无干扰式智能呼吸侦测装置
CN104834946A (zh) * 2015-04-09 2015-08-12 清华大学 一种非接触式睡眠监测方法及系统
CN105723417A (zh) * 2013-11-19 2016-06-29 高通股份有限公司 用非静止装置检测对象的变化特征
CN105989357A (zh) * 2016-01-18 2016-10-05 合肥工业大学 一种基于人脸视频处理的心率检测方法
CN106657713A (zh) * 2016-12-30 2017-05-10 华中科技大学 一种视频运动放大方法
CN107529646A (zh) * 2017-05-02 2018-01-02 广东工业大学 一种基于欧拉影像放大的无接触式心率测量方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102499687A (zh) * 2011-11-17 2012-06-20 江苏大学 一种基于机器视觉的猪的呼吸频率检测方法及装置
CN103126655A (zh) * 2013-03-14 2013-06-05 浙江大学 一种非约束目标的非接触式脉搏波采集系统及采集方法
CN105723417A (zh) * 2013-11-19 2016-06-29 高通股份有限公司 用非静止装置检测对象的变化特征
CN204147031U (zh) * 2014-04-03 2015-02-11 上海伟赛智能科技有限公司 无干扰式智能呼吸侦测装置
CN104834946A (zh) * 2015-04-09 2015-08-12 清华大学 一种非接触式睡眠监测方法及系统
CN105989357A (zh) * 2016-01-18 2016-10-05 合肥工业大学 一种基于人脸视频处理的心率检测方法
CN106657713A (zh) * 2016-12-30 2017-05-10 华中科技大学 一种视频运动放大方法
CN107529646A (zh) * 2017-05-02 2018-01-02 广东工业大学 一种基于欧拉影像放大的无接触式心率测量方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QUOC-VIET TRAN，等: "Real-time non-contact breath detection from video using adaboost and Lucas-Kanade algorithm", 《2017 JOINT 17TH WORLD CONGRESS OF INTERNATIONAL FUZZY SYSTEMS ASSOCIATION AND 9TH INTERNATIONAL CONFERENCE ON SOFT COMPUTING AND INTELLIGENT SYSTEMS (IFSA-SCIS)》 *
WU, HAO-YU，等: "Eulerian Video Magnification for Revealing Subtle Changes in the World", 《ACM TRANSACTIONS ON GRAPHICS》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110960218A (zh) * 2019-10-31 2020-04-07 山东大学 一种基于图像的人体呼吸状态监测装置及方法
CN111387959A (zh) * 2020-03-25 2020-07-10 南京信息工程大学 一种基于ippg的非接触式生理参数检测方法
CN111476715A (zh) * 2020-04-03 2020-07-31 三峡大学 一种基于图像变形技术的拉格朗日视频运动放大方法

Similar Documents

Publication Publication Date Title
CN111887861B (zh) 一种基于毫米波雷达的室内人员安全一体化监测方法
CN108433727A (zh) 一种监测婴儿呼吸的方法及装置
US8532737B2 (en) Real-time video based automated mobile sleep monitoring using state inference
CN105520735B (zh) 用于从视频确定呼吸速率的系统和方法
EP2523625B1 (en) Multivariate residual-based health index for human health monitoring
EP3133515A1 (en) Interactive remote patient monitoring and condition management intervention system
CN102451008A (zh) 全方位老年人健康和行动监护系统
US11234675B2 (en) Sonar-based contactless vital and environmental monitoring system and method
WO2021248882A1 (zh) 睡眠状态检测模型构建、睡眠状态检测方法及装置
CN109887238A (zh) 一种基于视觉和人工智能的跌倒检测系统及检测报警方法
CN113657150A (zh) 一种跌倒检测方法、装置和计算机可读存储介质
JP2023058446A (ja) 無線センシング、モニタリング及びトラッキングのための方法、装置及びシステム
CN108024760A (zh) 可穿戴式呼吸疾病监测设备
De Raeve et al. Bluetooth-low-energy-based fall detection and warning system for elderly people in nursing homes
Signorini et al. Antepartum fetal monitoring through a wearable system and a mobile application
CN106618527A (zh) 远程探测人体生命体征的监控装置及方法
CN113963424B (zh) 一种基于单阶人脸定位算法的婴儿窒息或猝死预警方法
Kempfle et al. Towards breathing as a sensing modality in depth-based activity recognition
US20210169378A1 (en) Method for processing an accelerometric signal
CN114241270A (zh) 一种家庭护理智能监督方法、系统及装置
CN107241243A (zh) 智能家居安全监控系统
Guo et al. Emergency semantic feature vector extraction from WiFi signals for in-home monitoring of elderly
JP2004024898A (ja) 在席装置
CN109862828B (zh) 用于热量摄入检测的装置、系统和方法
CN111450369A (zh) 具有脱落检测报警的新生儿呼吸传感系统及传感方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180824