CN114170201A - 基于边缘光流信息的非接触式呼吸率检测方法及系统 - Google Patents
基于边缘光流信息的非接触式呼吸率检测方法及系统 Download PDFInfo
- Publication number
- CN114170201A CN114170201A CN202111516269.1A CN202111516269A CN114170201A CN 114170201 A CN114170201 A CN 114170201A CN 202111516269 A CN202111516269 A CN 202111516269A CN 114170201 A CN114170201 A CN 114170201A
- Authority
- CN
- China
- Prior art keywords
- optical flow
- image
- area
- edge
- respiration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000029058 respiratory gaseous exchange Effects 0.000 title claims abstract description 85
- 230000003287 optical effect Effects 0.000 title claims abstract description 67
- 238000001514 detection method Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 75
- 210000001015 abdomen Anatomy 0.000 claims abstract description 11
- 230000033001 locomotion Effects 0.000 claims description 39
- 230000008859 change Effects 0.000 claims description 34
- 230000000241 respiratory effect Effects 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 12
- 230000036387 respiratory rate Effects 0.000 claims description 9
- 230000036961 partial effect Effects 0.000 claims description 8
- 230000003068 static effect Effects 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000011161 development Methods 0.000 claims description 3
- 230000018109 developmental process Effects 0.000 claims description 3
- 230000002401 inhibitory effect Effects 0.000 claims description 2
- 230000003434 inspiratory effect Effects 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 abstract description 12
- 238000005520 cutting process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 9
- 210000000038 chest Anatomy 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000001914 filtration Methods 0.000 description 6
- 230000003187 abdominal effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000000115 thoracic cavity Anatomy 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 208000023504 respiratory system disease Diseases 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000002612 cardiopulmonary effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000003707 image sharpening Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000001308 synthesis method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000004199 lung function Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000013186 photoplethysmography Methods 0.000 description 1
- 230000001766 physiological effect Effects 0.000 description 1
- 230000004224 protection Effects 0.000 description 1
- 230000036391 respiratory frequency Effects 0.000 description 1
- 230000036412 respiratory physiology Effects 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000037384 skin absorption Effects 0.000 description 1
- 231100000274 skin absorption Toxicity 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于边缘光流信息的非接触式呼吸率检测方法及系统，本发明通过边缘算法及代数掩膜的方法获取图像中各个区域边缘信息，并对信息进行稀疏光流编码；将图像变为二进制图像减除图像中不必要的颜色干扰，通过线条及掩膜轨迹追踪确定感兴趣区域；通过背景图像差分的方式来剪除无效区域，并获取胸腹呼吸感兴趣区域，进而判断人体呼吸率。
Description
技术领域
本发明属于呼吸率检测技术领域，具体涉及一种基于边缘光流信息的非接触式呼吸率检测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
呼吸是人体与外界进行气体交换以保证正常机体功能运转的最基本生理活动。通过呼吸作用，可以直接反映人体代谢活力与心肺功能状态。呼吸频率是呼吸生理学的主要参数，是呼吸疾病的敏感指标之一，同时也是急性功能性呼吸障碍的重要指标。定期检测呼吸率能尽早发现并预防呼吸系统以及心脑血管等方面的病变，因此已广泛用于肺功能检查、心肺耦合判定、重症监护等领域，具有极为重要的临床价值。传统呼吸率检测多为接触式装置，即通过传感器探测呼吸引起的物理变化进行呼吸估计，该方式需在被测者身上粘贴传感器，给被测者带来身体和心理上的不适。近年来，计算机辅助的视频图像处理技术已用于医疗领域，在临床诊断和健康检测等方面发挥了重要作用。基于视频的呼吸率检测方法是视频图像处理在医学领域的典型应用之一，在呼吸疾病预防等方面具有重要意义。基于视频的呼吸率检测方法可以提供长时间、自动化的呼吸率检测模式，相比于医护人员的人工检测方法更具优势，是未来家庭呼吸率检测的重要方式之一。
目前，适用于普通摄像头的呼吸率视频检测方法主要有提取成像式光电容积描记技术(Imaging Photoplethys-mography，IPPG)信号法和呼吸运动起伏检测两种。IPPG是将自然环境光和皮肤组织反射光的混合信号变换为点信号，然后量化成图像，即人脸视频记录了一段时间内的皮肤吸收光照强度的波动，再进行基于IPPG信号特征的呼吸频率估计来获取其中蕴含的呼吸信号。呼吸运动起伏的检测方法则是基于呼吸引起的胸腔及其他部分起伏所导致的图像灰度值的周期型变化来计算呼吸运动频率。无论是哪种检测算法，其核心在于呼吸发生感兴趣区域(Region of Interest，ROI)的选择定与呼吸信息的有效提取。其中呼吸起伏算法多以寻找呼吸起伏的明显区域为主，因此选择合适呼吸起伏区域对后期呼吸信号的提取十分重要。另外，在信号提取方面，单一的像素平均操作己无法满足对呼吸数据的准确提取，如何提升呼吸有效数据成为后期呼吸估计是否准确的关键；最后，睡眠检测、背景噪声、摄像机抖动复杂等场景下的呼吸率检测，现有方法也无法具有足够的鲁棒性。
发明内容
本发明为了解决上述问题，提出一种基于边缘光流信息的非接触式呼吸率检测方法及系统，本发明通过边缘算法及代数掩膜的方法获取图像中各个区域边缘信息，并对信息进行稀疏光流编码；将图像变为二进制图像减除图像中不必要的颜色干扰，通过线条及掩膜轨迹追踪确定ROI区域；通过背景图像差分的方式来剪除无效区域，并获取胸腹呼吸ROI区域，进而判断人体呼吸率。
根据一些实施例，本发明采用如下技术方案：
一种基于边缘光流信息的非接触式呼吸率检测方法，包括以下步骤：
对获取的视频进行边缘化提取，并进行图像中物体边缘表述，得到边缘信息；
对所述边缘信息进行分割，得到边缘线条；
利用光流法计算出边缘线条上各点的光流值，得出各点的光流，对光流进行阈值分割，区分出前景与背景，得到运动目标区域；
根据运动目标区域的帧间光流变化路线图，采用帧间差分法，确定图像中设定区域为呼吸运动感兴趣区域；
判断呼吸运动感兴趣区域大小的变化情况，以呼吸运动感兴趣区域外扩大小与区域中心点之间的距离变化绘制呼吸波形，根据呼吸波形峰值检测计算出呼吸率。
作为可选择的实施方式，对获取的视频进行边缘化提取前，先对视频图像进行平滑处理和锐化。
作为可选择的实施方式，对获取的视频进行边缘化提取，并进行图像中物体边缘表述的具体过程包括：计算图像中每个像素点的梯度强度和方向，将当前像素的梯度强度与沿正负梯度方向上的两个像素进行比较，如果当前像素的梯度强度与另外两个像素相比最大，则该像素点保留为边缘点，否则该像素点将被抑制；在跨越梯度方向的两个相邻像素之间使用线性插值以得到要比较的像素梯度，通过抑制孤立的弱边缘最终完成边缘检测。
作为可选择的实施方式，对所述边缘信息进行分割的具体过程包括：对图像中获得的边缘信息进行分割，按照整条连接线进行等分处理，在各个方向上把具有相似性质的像素集合起来构成一个区域。
作为进一步的限定，在每个分割区域找一个种子像素作为发展的起点，再将种子像素周围邻域中与种子像素两侧有相同或相似性质的像素合并到种子像素所在区域中；将新像素当做新的种子像素继续进行上述合并过程，直到再没有满足条件的像素可以被合并进来。
作为可选择的实施方式，利用光流法计算出边缘线条上各点的光流值，得出各点的光流，对光流进行阈值分割，区分出前景与背景，得到运动目标区域的具体过程为
光流场可以简单的理解为物体的速度矢量场，包括x方向速度分量vx、y方向速度分量vy。光流约束方程为Ixvx+Iyvy+It＝0，
式中Ix是I在x方向上的偏导，Iy是I在y方向上的偏导，It是对时间t的偏导。其中Ix、Iy、It可以直接从图像序列中估算出来。根据约束条件求得vx、vy。光流法计算得到每个像素点运动速度的x、y方向分量vx、vy，使用速度合成法便可得到速度大小与方向。
作为可选择的实施方式，确定视频图像中胸腹区域为呼吸感兴趣区域，并提取呼吸感兴趣区域静止、运动和抖动三种状态的区域大小。
作为进一步的限定，当摄像设备与人体画面同为静止时，仅有因为呼吸而引起的胸腹部变化会带来相应位置的光流变化，获得静止的呼吸感兴趣区域。
作为进一步的限定，当被检测对象出现摆头或摆臂动作时，通过采用带通滤波器，筛除图像中超过设定剧烈程度的变化，保留相对强度小于设定阈值的呼吸感兴趣区域。
作为进一步的限定，当摄像设备出现抖动的情况时，采用帧间对比出平行光流轨迹，并采用差分法进行删除，保留下其他运动方向的特征点，检测所述特征点的密度和范围，选取密度和区域大于相应设定值，且帧数超过预定阈值的区域作为呼吸感兴趣区域。
作为可选择的实施方式，判断呼吸运动感兴趣区域大小的变化情况的具体过程包括：以预定的模板帧的呼吸感兴趣区域边界为0始点，判断呼吸感兴趣区域范围的变化情况，呼吸感兴趣区域区域扩大缩小运动表示当前的呼吸情况，呼吸感兴趣区域最大时理解为吸气末期，呼吸感兴趣区域最小时理解为呼气末期。
一种基于边缘光流信息的非接触式呼吸率检测系统，包括：
边缘提取模块，被配置为对获取的视频进行边缘化提取，并进行图像中物体边缘表述，得到边缘信息；
分割模块，被配置为对所述边缘信息进行分割，得到边缘线条；
光流计算模块，被配置为利用光流法计算出边缘线条上各点的光流值，得出各点的光流，对光流进行阈值分割，区分出前景与背景，得到运动目标区域；
感兴趣区域确定模块，被配置为根据运动目标区域的帧间光流变化路线图，采用帧间差分法，确定图像中设定区域为呼吸运动感兴趣区域；
呼吸率检测模块，被配置为判断呼吸运动感兴趣区域大小的变化情况，以呼吸运动感兴趣区域外扩大小与区域中心点之间的距离变化绘制呼吸波形，根据呼吸波形的各峰值检测计算出呼吸率。
与现有技术相比，本发明的有益效果为：
本发明超低功耗、基于视觉计算的非接触式检测方法，利用边缘信息计算光流路线，分析呼吸运动对应的感兴趣区域，并根据感兴趣区域大小变化计算呼吸率，可操作性及实用性很强。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本实施例的流程示意图；
图2为本实施例光流法原理示意图；
图3为本实施例的光流路线以及划定的感兴趣区域示意图。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
针对当前技术无法解决的摄像机抖动、背景灰度差异等对最终检测结果的影响，本实施例提供了一种非接触式呼吸率检测方法，本实施例通过边缘算法及代数掩膜的方法获取图像中各个区域边缘信息，并对信息进行稀疏光流编码，将图像变为二进制图像减除图像中不必要的颜色干扰，通过线条及掩膜轨迹追踪确定感兴趣(ROI)区域。最终通过背景图像差分的方式来剪除无效区域，并获取胸腹呼吸RO I区域，进而判断人体呼吸率。
具体包括以下五个部分：
图像边缘信息提取、基于代数掩码的图像特征点确定、基于光流的运动目标检测、ROI区域划取、呼吸率的测取。
在本实施例中，如图1所示，利用非接触检测患者呼吸时胸腹部的起伏变化来检测生命体征。用摄像机采取视频图像后，对视频进行图像处理，根据光流法获取患者呼吸时胸腹部轮廓特征，并寻找胸腹部轮廓运动范围的最大位置，选取ROI区域最大时为吸气末期作为呼吸起始点，ROI区域最小时理解为呼气末期。测取ROI区域外扩大小与区域中心点之间的距离作为波形纵坐标。即可得到呼吸波形，根据峰值检测每一分钟的峰值，即可得到呼吸率。
具体每个部分详细介绍如下：
(1)视频图像边缘检测信息提取：
首先对视频图像进行平滑处理，去除会影响图片精度的噪声。
在本实施例中，采用高斯滤波和中值滤波结合的方式进行平滑处理。对于高斯滤波来说图像上的每一个像素点的值，都由其本身和邻域内其他像素点的值经过加权平均后得到。
具体操作是，用一个核(又称为卷积核、掩模、矩阵)扫描图像中每一个像素点，将邻域内各个像素值与对应位置的权值相称并求和。从数学的角度来看，高斯滤波的过程是图像与高斯正态分布做卷积操作，因此能够非常有效的抑制服从正态分布的噪声。中值滤波降噪的原理为使用噪点的某一个邻域内的中值代替该噪点，邻域范围越大则边缘保留效果越差，从视觉上来看，即更加模糊，但降噪效果明显。
其次对所得图像进行锐化。
经过上面的图像降噪处理以后，已经对目标图像进行了平滑化处理，去掉了图像中的噪声，并使图像灰度级变得足够平整。然而，也引入了新的问题，即使图像中图像的轮廓变得模糊了些。图像的锐化可以增强图像中灰度变换的地方来提高图像的显示，突出图像中物体的边缘部分和某些线性特征，因此又可以被称为图像的边缘增强。
图像进行锐化增强的方法有很多种，在本实施例中，采用的是拉普拉斯锐化法。拉普拉斯算子具有各向同性，在一般的图像锐化增强过程中，可以有效地检测出图像中的对象的边缘。
在本实施例中，假设图像为f(x，y)的话，则拉普拉斯算子对图像的作用为：
则图像的拉普拉斯锐化公式为：
g(m,n)＝(1+4α)f(m,n)-α[f(m+1,n)]+f[(m-1),n]+f(m,n+1)+f(m,n-1) (2)
其中，α为锐化的强度系数，一般为正值，且α与锐化的强度成正比。
当然，在本发明的其他实施方式中，平滑处理(去噪)和/或锐化处理的过程可以使用其他算法或方法实现。
第三步是采用边缘检测算法对图像中物体边缘进行描述。
本实施例以canny算法为例，采用canny算法来计算图像中每个像素点的梯度强度和方向。应用非极大值抑制，以消除边缘检测带来的杂散响应。非极大值抑制则可以帮助将局部最大值之外的所有梯度值抑制为0。将当前像素的梯度强度与沿正负梯度方向上的两个像素进行比较。如果当前像素的梯度强度与另外两个像素相比最大，则该像素点保留为边缘点，否则该像素点将被抑制。
在本实施例中，为了更加精确的计算，在跨越梯度方向的两个相邻像素之间使用线性插值来得到要比较的像素梯度。应用双阈值检测来确定真实的和潜在的边缘。通过抑制孤立的弱边缘最终完成边缘检测。
当然，在其他实施例中，可以选用其他已有边缘检测算法对图像中物体边缘进行描述。
(2)基于代数掩码的图像特征点确定
对上一步图像中获得的边缘信息进行分割，按照整条连接线进行等分处理，在各个方向上把具有相似性质的像素集合起来构成一个区域。
在本实施例中，分割的方法为：在每个分割区域找一个种子像素作为发展的起点，再将种子像素周围邻域中与种子像素两侧有相同或相似性质的像素(根据某种事先确定的生长或相似准则判定)合并到种子像素所在区域中。将这些新像素当做新的种子像素继续进行上面的过程，直到再没有满足条件的像素可被包括进来。
整幅图像中所有的像素点分为两类：己检测过的像素点和未被检测过的像素点。首先选择目标区域中一个或多个点(种子区域)加入到已生长区域，并以此作为扩展起点，计算已扩展区域中所有像素点灰度值平均值和标准差，接着判断目前区域的邻域中是否有符合扩展准则的像素点，如果存在就将其划分入已扩展区域，这样就完成一次迭代。第一次迭代完成后，重复上述步骤，直到没有满足条件的邻域像素点划分入己扩展区域为止，区域扩展算法结束。这样就可以把图像中边缘信息进行分割，并获取了边缘信息旁边的有用信息。
当然，在其他实施例中，可以选用其他切割方法。
(3)基于光流的运动目标检测
光流法将一段视频或连续图像的每一时刻每一个像素灰度值构成的集合看做一个三维矩阵，如图2所示。
通过离散函数I(x,y,t)完成任意像素位置与时刻到对应灰度值的映射，例如：I(x,y,t)表示第y行第x列的像素在时刻的灰度值。
根据假设，一个像素在经过时间后，灰度值并不发生变化，即：
I(x,y,t)＝I(x+dx,y+dy,t+dt) (3)
因为dx,dy,dt都足够小，在忽略高阶无穷小时，可得到近似等式：
其中Ix为灰度值对x的偏导，为Iy灰度值对y的偏导，It为灰度值对t的偏导，
为像素点在x方向的瞬时速度，
为像素点在y方向的瞬时速度。
其中，基于光流运动目标检测是在对摄像机采集到的图像序列进行重采样和去噪预处理后，光流法计算得到每个像素点运动速度的x、y方向分量u、v，使用速度合成法便可得到速度大小与方向。利用光流法计算出各点的光流值，得出各点的光流；然后对光流进行阈值分割，区分出前景与背景，得到运动目标区域；还可以再采用形态学滤波中的开、闭运算滤除孤立噪声点，最后经过区域连通便可识别出目标区域并统计其特征信息。
光流速度场中对应的像素点可以分为3类：静止点、呼吸运动点和干扰点。静止点包括背景点和人只呼吸时躯干上保持静止的像素点；呼吸运动点是人只呼吸时腹部起伏区域的像素点；干扰点是由于图像噪声、光线变化等因素产生的系统误差点，呼吸运动点的速度远小于干扰点，并大于静止点；根据上述特点筛选出呼吸运动点。
(4)ROI区域划取：
通过上述检测出的光流线条在视频中的变化路线图，采用帧间差分法，确定图像中胸腹区域为感兴趣区域，如图3所示。在进行人体摄像测取的时候可以分为静止、运动、抖动三种情况，分别对应不同的划分方法：
当摄像机与人体画面同为静止时，仅有因为呼吸而引起的胸腹部变化会带来相应位置的光流变化，此时可以获得静止的胸腹部ROI区域。
当摄像机静止而人体出现摆头、摆臂等动作时，在人体运动部位也会出现相对胸腹部而言更加剧烈的帧间光流变化路线图，特点在于其变化范围远比呼吸时更加剧烈，因此，可以通过采用带通滤波器，筛除图像中过于剧烈的变化，保留相对强度较低胸腹部ROI区域。
当摄像头出现抖动的情况时，人体上静止不动的特征点会画出平行的光流轨迹，而在胸腹部区域的特征点会由于本身存在的运动而存在向其他方向的位移，导致光流轨迹出现偏移，不能与安静特征点的光流轨迹平行。因此，可以采用帧间对比出平行光流轨迹，并采用差分法进行删除，保留下其他运动方向的点。然后检测这些特征点的密度和范围，选取密度和区域较大，且帧数多的一块作为呼吸ROI区域。这个做法可以由于排除风吹或者偶然抖动引起的个别点光流运动轨迹变化所带来的干扰。
当摄像头出现抖动的情况时，人体出现摆头、摆臂等动作时，在人体运动部位也会出现相对胸腹部而言更加剧烈的帧间光流变化路线图，特点在于其变化范围远比呼吸时更加剧烈，而人体上静止不动的特征点会画出平行的光流轨迹。因此，需要同样设置带通滤波器，筛除图像中过于剧烈的变化，保留相对强度较低ROI区域。
(5)呼吸率的测取
首先确定初始模板帧，并划取其中的胸腹ROI区域。规定以模板帧的ROI区域边界为0始点，判断ROI区域范围的变化情况。ROI区域扩大缩小运动表示当前的呼吸情况，ROI区域最大时理解为吸气末期，ROI区域最小时理解为呼气末期。
因此可以得到呼吸波形的绘制，选取ROI区域最大时为吸气末期作为呼吸起始点，ROI区域最小时理解为呼气末期。测取ROI区域外扩大小与区域中心点之间的距离作为波形纵坐标。
通过以上步骤，得到呼吸波形，通过使用峰值检测对呼吸波形进行检测。根据呼吸波形峰值检测计算出呼吸率。可获得较现有非接触呼吸率检测方法准确性更好的结果，基于此便可以准确地计算出呼吸率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于边缘光流信息的非接触式呼吸率检测方法，其特征是：包括以下步骤：
对获取的视频进行边缘化提取，并进行图像中物体边缘表述，得到边缘信息；
对所述边缘信息进行分割，得到边缘线条；
利用光流法计算出边缘线条上各点的光流值，得出各点的光流，对光流进行阈值分割，区分出前景与背景，得到运动目标区域；
根据运动目标区域的帧间光流变化路线图，采用帧间差分法，确定图像中设定区域为呼吸运动感兴趣区域；
判断呼吸运动感兴趣区域大小的变化情况，以呼吸运动感兴趣区域外扩大小与区域中心点之间的距离变化绘制呼吸波形，根据呼吸波形峰值检测计算出呼吸率。
2.如权利要求1所述的一种基于边缘光流信息的非接触式呼吸率检测方法，其特征是：对获取的视频进行边缘化提取前，先对视频图像进行平滑处理和锐化。
3.如权利要求1所述的一种基于边缘光流信息的非接触式呼吸率检测方法，其特征是：对获取的视频进行边缘化提取，并进行图像中物体边缘表述的具体过程包括：计算图像中每个像素点的梯度强度和方向，将当前像素的梯度强度与沿正负梯度方向上的两个像素进行比较，如果当前像素的梯度强度与另外两个像素相比最大，则该像素点保留为边缘点，否则该像素点将被抑制；在跨越梯度方向的两个相邻像素之间使用线性插值以得到要比较的像素梯度，通过抑制孤立的弱边缘最终完成边缘检测。
4.如权利要求1所述的一种基于边缘光流信息的非接触式呼吸率检测方法，其特征是：对所述边缘信息进行分割的具体过程包括：对图像中获得的边缘信息进行分割，按照整条连接线进行等分处理，在各个方向上把具有相似性质的像素集合起来构成一个区域。
5.如权利要求4所述的一种基于边缘光流信息的非接触式呼吸率检测方法，其特征是：在每个分割区域找一个种子像素作为发展的起点，再将种子像素周围邻域中与种子像素两侧有相同或相似性质的像素合并到种子像素所在区域中；将新像素当做新的种子像素继续进行上述合并过程，直到再没有满足条件的像素可以被合并进来。
6.如权利要求1所述的一种基于边缘光流信息的非接触式呼吸率检测方法，其特征是：利用光流法计算出边缘线条上各点的光流值，得出各点的光流，对光流进行阈值分割，区分出前景与背景，得到运动目标区域的具体过程为：
光流场为物体的速度矢量场，包括x方向速度分量vx、y方向速度分量vy；光流约束方程为Ixvx+Iyvy+It＝0；
式中Ix是I在x方向上的偏导，Iy是I在y方向上的偏导，It是对时间t的偏导，其中Ix、Iy、It直接从图像序列中计算得到，根据约束条件求得vx、vy，光流法计算得到每个像素点运动速度的x、y方向分量vx、vy，使用速度合成法得到速度大小与方向。
7.如权利要求1所述的一种基于边缘光流信息的非接触式呼吸率检测方法，其特征是：确定视频图像中胸腹区域为呼吸感兴趣区域，并提取呼吸感兴趣区域静止、运动和抖动三种状态的区域大小。
8.如权利要求7所述的一种基于边缘光流信息的非接触式呼吸率检测方法，其特征是：当摄像设备与人体画面同为静止时，仅有因为呼吸而引起的胸腹部变化会带来相应位置的光流变化，获得静止的呼吸感兴趣区域；
或，当被检测对象出现摆头或摆臂动作时，通过采用带通滤波器，筛除图像中超过设定剧烈程度的变化，保留相对强度小于设定阈值的呼吸感兴趣区域；
或，当摄像设备出现抖动的情况时，采用帧间对比出平行光流轨迹，并采用差分法进行删除，保留下其他运动方向的特征点，检测所述特征点的密度和范围，选取密度和区域大于相应设定值，且帧数超过预定阈值的区域作为呼吸感兴趣区域。
9.如权利要求1所述的一种基于边缘光流信息的非接触式呼吸率检测方法，其特征是：判断呼吸运动感兴趣区域大小的变化情况的具体过程包括：以预定的模板帧的呼吸感兴趣区域边界为0始点，判断呼吸感兴趣区域范围的变化情况，呼吸感兴趣区域区域扩大缩小运动表示当前的呼吸情况，呼吸感兴趣区域最大时理解为吸气末期，呼吸感兴趣区域最小时理解为呼气末期。
10.一种基于边缘光流信息的非接触式呼吸率检测系统，其特征是：包括：
边缘提取模块，被配置为对获取的视频进行边缘化提取，并进行图像中物体边缘表述，得到边缘信息；
分割模块，被配置为对所述边缘信息进行分割，得到边缘线条；
光流计算模块，被配置为利用光流法计算出边缘线条上各点的光流值，得出各点的光流，对光流进行阈值分割，区分出前景与背景，得到运动目标区域；
感兴趣区域确定模块，被配置为根据运动目标区域的帧间光流变化路线图，采用帧间差分法，确定图像中设定区域为呼吸运动感兴趣区域；
呼吸率检测模块，被配置为判断呼吸运动感兴趣区域大小的变化情况，以呼吸运动感兴趣区域外扩大小与区域中心点之间的距离变化绘制呼吸波形，根据呼吸波形的各峰值检测计算出呼吸率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111516269.1A CN114170201B (zh) | 2021-12-08 | 2021-12-08 | 基于边缘光流信息的非接触式呼吸率检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111516269.1A CN114170201B (zh) | 2021-12-08 | 2021-12-08 | 基于边缘光流信息的非接触式呼吸率检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114170201A true CN114170201A (zh) | 2022-03-11 |
| CN114170201B CN114170201B (zh) | 2024-04-26 |
Family
ID=80485959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111516269.1A Active CN114170201B (zh) | 2021-12-08 | 2021-12-08 | 基于边缘光流信息的非接触式呼吸率检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114170201B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114383668A (zh) * | 2022-03-24 | 2022-04-22 | 北京航空航天大学 | 一种基于可变背景的流场测量装置及方法 |
| CN115761616A (zh) * | 2022-10-13 | 2023-03-07 | 深圳市芯存科技有限公司 | 一种基于存储空间自适应的控制方法及系统 |
| CN116740621A (zh) * | 2023-08-14 | 2023-09-12 | 中国科学院长春光学精密机械与物理研究所 | 一种非接触式呼吸检测方法、设备及介质 |
| CN117084684A (zh) * | 2023-10-19 | 2023-11-21 | 山东大学齐鲁医院 | 基于心磁电流密度图扩展场的特征参数提取方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190060243A (ko) * | 2017-11-24 | 2019-06-03 | 연세대학교 산학협력단 | 열화상 카메라를 이용한 호흡 측정 시스템 |
| CN110772286A (zh) * | 2019-11-05 | 2020-02-11 | 王宁 | 一种基于超声造影识别肝脏局灶性病变的系统 |
| CN110991348A (zh) * | 2019-12-05 | 2020-04-10 | 河北工业大学 | 基于光流梯度幅值特征的人脸微表情检测方法 |
| CN113361526A (zh) * | 2021-07-16 | 2021-09-07 | 合肥工业大学 | 一种融合肩部和胸部区域信息的非接触式呼吸率监测方法 |
-
2021
- 2021-12-08 CN CN202111516269.1A patent/CN114170201B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190060243A (ko) * | 2017-11-24 | 2019-06-03 | 연세대학교 산학협력단 | 열화상 카메라를 이용한 호흡 측정 시스템 |
| CN110772286A (zh) * | 2019-11-05 | 2020-02-11 | 王宁 | 一种基于超声造影识别肝脏局灶性病变的系统 |
| CN110991348A (zh) * | 2019-12-05 | 2020-04-10 | 河北工业大学 | 基于光流梯度幅值特征的人脸微表情检测方法 |
| CN113361526A (zh) * | 2021-07-16 | 2021-09-07 | 合肥工业大学 | 一种融合肩部和胸部区域信息的非接触式呼吸率监测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 马淼;李贻斌;: "基于多级图像序列和卷积神经网络的人体行为识别", 吉林大学学报(工学版), no. 04 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114383668A (zh) * | 2022-03-24 | 2022-04-22 | 北京航空航天大学 | 一种基于可变背景的流场测量装置及方法 |
| CN115761616A (zh) * | 2022-10-13 | 2023-03-07 | 深圳市芯存科技有限公司 | 一种基于存储空间自适应的控制方法及系统 |
| CN115761616B (zh) * | 2022-10-13 | 2024-01-26 | 深圳市芯存科技有限公司 | 一种基于存储空间自适应的控制方法及系统 |
| CN116740621A (zh) * | 2023-08-14 | 2023-09-12 | 中国科学院长春光学精密机械与物理研究所 | 一种非接触式呼吸检测方法、设备及介质 |
| CN116740621B (zh) * | 2023-08-14 | 2023-10-31 | 中国科学院长春光学精密机械与物理研究所 | 一种非接触式呼吸检测方法、设备及介质 |
| CN117084684A (zh) * | 2023-10-19 | 2023-11-21 | 山东大学齐鲁医院 | 基于心磁电流密度图扩展场的特征参数提取方法及系统 |
| CN117084684B (zh) * | 2023-10-19 | 2024-02-02 | 山东大学齐鲁医院 | 基于心磁电流密度图扩展场的特征参数提取方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114170201B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114170201B (zh) | 基于边缘光流信息的非接触式呼吸率检测方法及系统 | |
| CN109431531B (zh) | 基于灌注成像的血管分割方法及装置和计算机装置 | |
| JP6564018B2 (ja) | 放射線画像の肺野セグメンテーション技術及び骨減弱技術 | |
| CN102831606B (zh) | 在医学影像中获取发音器官轮廓的方法 | |
| CN111839519B (zh) | 非接触式呼吸频率监测方法及系统 | |
| CN109028226A (zh) | 基于双区域图像采集进行油烟浓度判断的油烟机 | |
| Osma-Ruiz et al. | Segmentation of the glottal space from laryngeal images using the watershed transform | |
| CN109028237A (zh) | 基于双区域图像采集进行风速调节的油烟机 | |
| Agarwal et al. | A combination of bias-field corrected fuzzy c-means and level set approach for brain MRI image segmentation | |
| CN109431532A (zh) | 基于灌注成像的动静脉分离方法及装置和计算机装置 | |
| He et al. | 3-D B-spline wavelet-based local standard deviation (BWLSD): its application to edge detection and vascular segmentation in magnetic resonance angiography | |
| Wei et al. | Remote photoplethysmography and heart rate estimation by dynamic region of interest tracking | |
| Dikkala et al. | A comprehensive analysis of morphological process dependent retinal blood vessel segmentation | |
| WO2017047734A1 (ja) | 計測装置 | |
| Cheng et al. | Motion-robust respiratory rate estimation from camera videos via fusing pixel movement and pixel intensity information | |
| CN112712540B (zh) | 一种基于ct影像的肺部支气管提取方法 | |
| Umadevi et al. | Enhanced Segmentation Method for bone structure and diaphysis extraction from x-ray images | |
| CN107169978A (zh) | 超声图像边缘检测方法及系统 | |
| CN113361526B (zh) | 一种融合肩部和胸部区域信息的非接触式呼吸率监测方法 | |
| CN113011333B (zh) | 基于近红外图像获取最佳静脉穿刺点和方向的系统及方法 | |
| Choy et al. | Extracting endocardial borders from sequential echocardiographic images | |
| CN208998282U (zh) | 空调 | |
| Lin et al. | Automatic human target detection and remote respiratory rate monitoring | |
| Chiusano et al. | Unsupervised tissue segmentation from dynamic contrast-enhanced magnetic resonance imaging | |
| CN108269258B (zh) | 从oct角膜图像分割角膜结构的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |