CN113628205A - 基于深度图像的非接触呼吸频率检测方法 - Google Patents
基于深度图像的非接触呼吸频率检测方法 Download PDFInfo
- Publication number
- CN113628205A CN113628205A CN202110981415.1A CN202110981415A CN113628205A CN 113628205 A CN113628205 A CN 113628205A CN 202110981415 A CN202110981415 A CN 202110981415A CN 113628205 A CN113628205 A CN 113628205A
- Authority
- CN
- China
- Prior art keywords
- human body
- depth image
- image
- respiratory
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 57
- 230000036391 respiratory frequency Effects 0.000 title claims abstract description 35
- 230000000241 respiratory effect Effects 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 230000029058 respiratory gaseous exchange Effects 0.000 claims abstract description 21
- 210000000038 chest Anatomy 0.000 claims abstract description 18
- 238000000513 principal component analysis Methods 0.000 claims abstract description 11
- 230000036387 respiratory rate Effects 0.000 claims description 28
- 210000000323 shoulder joint Anatomy 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 13
- 210000000115 thoracic cavity Anatomy 0.000 claims description 11
- 238000009499 grossing Methods 0.000 claims description 9
- 230000007704 transition Effects 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 5
- 230000009191 jumping Effects 0.000 claims description 3
- 238000011272 standard treatment Methods 0.000 claims description 3
- 230000036544 posture Effects 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 6
- 230000035565 breathing frequency Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000006698 induction Effects 0.000 description 3
- 230000036541 health Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 206010035664 Pneumonia Diseases 0.000 description 1
- 206010049418 Sudden Cardiac Death Diseases 0.000 description 1
- 208000006673 asthma Diseases 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 230000010247 heart contraction Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000009531 respiratory rate measurement Methods 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000014221 sudden cardiac arrest Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度图像的非接触呼吸频率检测方法，包括以下步骤：采集原始深度图像，获取人物位置定位并采集深度信息；利用最大距离限制法和最大外轮廓提取算法分别消除所述原始深度图像中空洞噪声和近距离干扰物的影响，创建人体掩膜图像并得到人体深度图像；利用人体胸腔区域与人体骨架关节点的相关性进行呼吸区域的定位；利用主成分分析算法提取胸腔区域深度图像所包含的呼吸信号数据；通过峰值检测法获得人体呼吸频率。本发明通过在获取人体深度图像的时候消除空洞噪声和干扰物体的影响，从而得到数据精确的人体呼吸频率，而且本发明所用设备方便携带，价格也能够达到广泛应用的水平。
Description
技术领域
本发明涉及呼吸频率监测领域，具体是基于深度图像的非接触呼吸频率检测方法。
背景技术
随着现代工业社会的快速发展，人民生活水平提高的同时，环境污染程度也逐渐加剧，人们对自身的健康状况越来越重视。呼吸作为一种人体最基本且重要的生命体征信号，呼吸生理信号所包含的节律、强度和频率等信息能有效地反映呼吸系统器官、心脑系统器官等部位的病变。呼吸频率作为呼吸生理信号的一项重要参数，是对肺炎、哮喘、心搏骤停等多种慢性疾病诊断的重要生理指标。通过对人体呼吸频率的检测，不仅可以监测人体身体健康状态，而且可有效预防并及时发现相关疾病。因此，如何有效且便捷地实现对人体呼吸频率的日常检测越发被人们所重视。
呼吸频率检测方法主要可分成接触式和非接触式两类。接触式方法因其较长的发展历史目前在市场上具有较高的占有率，由于接触式检测方法需要将人体与复杂的检测设备相连接，该方法存在佩戴不方便、舒适性较差，设备价格高昂等问题。近些年，非接触式呼吸频率检测方法因其非侵入性、方便快捷、满足医学诊断的“双盲准则”等特点逐渐成为众多研究人员的研究热点。
发明内容
本发明的目的在于克服现有技术在大规模应用进行呼吸频率检测的时候由于空洞噪声和近距离干扰物的影响导致收集到的数据精确度不高的不足，提供了一种基于深度图像的非接触呼吸频率检测方法，通过获取人体深度图像的方式，避免接触式检测的设备影响，并且在获取的人体深度图像上消除空洞噪声和近距离干扰物体的影响，更加有效的提取到所需要的呼吸信息，从而得到数据精确的人体呼吸频率。
本发明的目的主要通过以下技术方案实现：
基于深度图像的非接触呼吸频率检测方法，包括以下步骤：
S1：采集原始深度图像，获取人物位置定位并采集深度信息；
S2：利用最大距离限制法和最大外轮廓提取算法分别消除所述原始深度图像中空洞噪声和近距离干扰物的影响，创建人体掩膜图像并得到人体深度图像；
S3：利用人体胸腔区域与人体骨架关节点的相关性进行呼吸区域的定位；
S4：利用主成分分析算法提取胸腔区域深度图像所包含的呼吸信号数据；
S5：通过峰值检测法获得人体呼吸频率。
目前，在现有技术中，采用的非接触式呼吸频率检测方法主要分为三种：第一种，通过多普勒雷达所产生的多普勒效应对人体呼吸率进行检测，这种方法精确度较高，但所需的雷达设备体积巨大，往往需要专业人士操作，所以应用范围得不到普及；第二种，利用磁感应对生物阻抗变化进行测量，提出了磁感应式呼吸信号测量方法，这种方法方便快捷，但测量精度易受心脏跳动的干扰，同时磁感应材料的成本较高；第三种，在普通摄像头获取的图像视频的基础上，通过计算胸腔呼吸区域内图像平均亮度的变化率进行呼吸频率的检测，这种方法易于实现，但易受外界光照环境的影响，所以精确度不高；本发明首先利用深度相机对人体的原始信息进行采集，采集到的原始深度图像、人物位置信息和深度信息，其主要原理是通过计算投射与返回的红外编码光斑的畸变程度实现对人物位置的定位与深度信息的采集；由于实际测量中相机易受各种干扰因素影响，红外编码光斑存在无法正常到达与返回的现象，深度图像中包含许多空洞噪声，同时相机视野范围内往往还存在许多近距离干扰物体，这些都不利于后续对人体深度图像的分析与处理，因此本发明需消除空洞噪声与干扰物体的影响以有效提取人体深度图像，所述空洞噪声即为影响人体深度图像精确度的像素值为零的区域，深度图像中的空洞噪声会对后期的图像处理带来很多困难，而近距离干扰物即为距离人体很近的其他被拍摄的物品，本发明通过利用最大距离限制法和最大外轮廓提取算法分别消除所述原始深度图像中空洞噪声和近距离干扰物的影响，继而达到创建人体掩膜图像并得到人体深度图像的目的；由于经图像预处理后的人体深度图像仍存在许多冗余区域，为有效获取呼吸信号有关图像，需进一步对人体相关区域进行定位，人体呼吸频率与人体胸腔区域的上下振动频率成正相关，因此通过对胸腔区域定位可实现对人体呼吸区域定位，所以本发明利用人体胸腔区域与人体骨架关节点的相关性进行呼吸区域的定位；由于定位后的呼吸区域深度图像是一个二维数组，其数据维度很高，包含较多的冗余信息，为有效提取人体呼吸信号数据，本发明通过运用主成分分析算法对呼吸区域深度数据进行降维处理同时去除数据间的相关性；利用峰值信号，并通过峰值检测法获得人体呼吸频率；本发明通过获取人体深度图像的方式，避免接触式检测的设备影响，并且在获取的人体深度图像上消除空洞噪声和干扰物体的影响，更加有效的提取到所需要的呼吸信息，从而得到数据精确的人体呼吸频率，而且本发明所用设备方便携带，价格也能够达到广泛应用的水平。
进一步的，所述最大距离限制法包括以下步骤：
S2.1：在进行人体深度图像采集前，采集人体未入镜时整体背景的背景深度图像；
S2.2：计算人体未入镜时当前背景图像的最大距离值；
S2.3：在进行人体深度图像采集时，将人体深度图像中大于所述步骤S2.2中的最大距离值的全部像素值均设置为0。
由于这些空洞噪声主要存在人体图像的边缘或内部，同时形态多变且随机。为有效去除深度图像的空洞噪声，本发明提出了一种在相机采集人体深度图像时进行最大距离限制法。本发明在进行人体深度图像采集前，采集人体未入镜时整体背景的背景深度图像，能够有效的得到背景的图像信息，避免了人体进入后带来的干扰，也能够使得人体进入后所获得的信息更加准确，本发明通过计算人体未入镜时当前背景图像的最大距离值，得到了环境的信息，从而能够通过对图像信息的修正避免空洞噪声，将人体深度图像中大于所述步骤S2.2中的最大距离值的全部像素值均设置为0，这样能够充分利用空洞噪声的产生原理与分布特点，通过最大距离限制有效去除深度图像中的空洞噪声，且具有较强的环境自适应性。
进一步的，在所述步骤S2.2中，计算步骤S2.1中的背景深度图像中心点3*3邻域内的平均深度值，将所述深度值减去100mm得到所述最大距离值。
在本发明中，对中心点3*3邻域像素求平均值是为了得到一个相对稳定代表背景距离的值，减少噪声干扰。将深度值减去100mm是为了留有余量，避免背景中某些点的值比中心点小，使得能够有效去除空洞噪声，在深度图中像素值与距离值相对应，因此减去的是100mm对应的像素值，本发明中100mm的深度值减去量是通过经验得到。
进一步的，所述最大外轮廓提取算法包括以下步骤：
S2.4：将去除空洞噪声后的所述原始深度图像进行二值化处理，得到过渡图像；
S2.5：通过外轮廓提取算法提取过渡图像中的所有轮廓；
S2.6：分别计算所述步骤S2.5中提取的各个轮廓所包含的面积，并确定面积最大的轮廓为人体外轮廓；
S2.7：通过人体外轮廓创建掩膜，并从所述原始深度图像中分割出人体深度图像。
在通过最大距离限制法去除空洞噪声后，还需进一步去除干扰物体图像以获取准确的人体深度图像。由于人体深度图像是整个深度图像的主体部分，相比于其他干扰物体深度图像其所占面积要更大。本发明充分利用图像空间大小特征，提出了最大外轮廓提取算法，将人体深度图像从背景中分割出来。本发明中对去除空洞噪声后的原始深度图像进行二值化处理，使得整体图像出现明显的黑白效果，将此图像作为过渡图像，通过外轮廓提取算法提取过渡图像中的所有轮廓，得到包含所有外轮廓的图像，此时通过计算保留下最大面积的轮廓，作为人体外轮廓，通过人体外轮廓创建掩膜，并从所述原始深度图像中分割出人体深度图像，所述掩膜为用选定的图像、图形或物体，对处理的图像进行遮挡，来控制图像处理的区域或处理过程，所以在本发明中，创建掩膜后，用掩膜遮挡的方式进行分割，从而得到人体深度图像，这样得到的人体深度图像由于去点了空洞噪声和近距离干扰物，所以精确度较高。
进一步的，所述外轮廓提取算法包括以下步骤：
A1：设输入图像F={fij}，当前跟踪边界的编号NBD=1，即将输入图像F的第一行作为第一个边界；
对图像F进行光栅扫描，当扫描到某个像素点的灰度值满足fij=1，fi，j-1=0条件，则这个像素点（i，j）是外边界起始点，令NBD=NBD+1，（i2，j2）←（i，j-1），其中，i，j分别表示图像中像素的第i行和第j列；
其他情况，转至步骤A7；
A2：以外边界起始点（i，j）为中心，（i2，j2）为起始点，按顺时针方向，搜索（i，j）周围8邻域中是否存在非0像素点；
若存在，则令（i2，j2）为第一个非0像素点；否则令fij=-NBD，并转至步骤A7；
A3：令（i2，j2）←（i1，j1），（i3，j3）←（i，j）；
A4：以（i3，j3）为中心，（i2，j2）的下一个点为起始点，按逆时针方向，搜索（i3，j3）周围8邻域的非0像素点，令（i4，j4）为第一个非0像素点；
A5：如果（i3，j3+1）是0像素点，且已在步骤A4中搜索过，则fi3，j3←-NBD；如果（i3，j3+1）不在步骤A4中搜索过，且fi3，j3=1，则fi3，j3←-NBD；其他情况，fi3，j3不改变；
A6：如果（i4，j4）=（i，j），（i3，j3）=（i1，j1），则跳转至步骤A7；
否则令（i2，j2）←（i3，j3），（i3，j3）←（i4，j4），跳转至步骤A4；
A7：如果fij≠1，则令LNBD←|fij|，从点(i，j+1)继续光栅扫描，直到扫描至图像的右下角最后一个元素为止；
A8：将提取的所有外轮廓填充为二值图像，并统计每个外轮廓范围内的非零元素个数，提取其中包含非零元素最多的外轮廓作为人体外轮廓；
其中，NBD为当前追踪边界的编号，LNBD为上一个边界的编号。
进一步的，所述步骤S3包括：
S3.1：从所述步骤S2中获得的人体深度图像中提取人体外轮廓，并通过傅里叶描述子对人体外轮廓进行平滑去噪处理；
S3.2：对平滑去噪后的人体外轮廓进行二值化填充；
S3.3：通过Zhang-Suen细化算法提取人体骨架；
S3.4：对人体掩膜图像进行光栅扫描，将人体骨架与左、右肩关节点所在水平线的交叉点作为颈下脊椎关节点，定位得到人体胸腔区域。
在本发明中，获取人体深度图像的过程是对图像的预处理，经图像预处理后的人体深度图像仍存在许多冗余区域，为有效获取呼吸信号有关图像，需进一步对人体相关区域进行定位；人体呼吸频率与人体胸腔区域的上下振动频率成正相关，因此通过对胸腔区域定位可实现对人体呼吸区域定位；本发明中在定位人体胸腔区域的时候，先采取傅里叶描述子对人体外轮廓进行平滑去噪处理由于后续对人体骨架提取的细化算法容易受人体外轮廓边界噪声的不良影响，提取后的骨架极易产生“虚假”的骨架，这不利于对胸腔区域定位，所以需要先对人体外轮廓去噪；在人体外轮廓去噪后，为了方便人体骨架的提取，对去噪后的人体外轮廓进行了二值化填充，即将人体外轮廓内图像像素点设置为1，人体外轮廓外像素点设置为0；在此后，通过Zhang-Suen细化算法提取人体骨架，Zhang-Suen算法是一种经典的针对二值图像的并行、迭代细化算法。因其较快的求解速度，对原图像直线、拐角、交叉点等图形结构的精确保持，Zhang-Suen算法被广泛应用在图像图形的骨架细化提取中。Zhang-Suen算法的主要思想为：在每次迭代中根据特定条件对图像中像素点进行判断，若满足条件则删除该像素点，以此不断由外向内地逐渐腐蚀图像，使得图像变得越来越细，直至上一次迭代后图像在当前迭代中没有满足条件的新腐蚀像素点产生为止；通过对人体掩膜图像进行光栅扫描，将人体骨架与左、右肩关节点所在水平线的交叉点作为颈下脊椎关节点；完成人体胸腔区域定位。
进一步的，所述步骤S3.1包括以下步骤：
S3.1.1：将人体外轮廓的坐标信息转换为复数序列形式，并对复数序列进行傅里叶变换；
S3.1.2：选取前K个傅里叶系数；
S3.1.3：通过傅里叶反变换进行复数序列的重建，即得到经平滑去噪后的人体轮廓复数序列；
S3.1.4：将复数序列的实部和虚部恢复成人体外轮廓坐标形式，得到平滑去噪后的人体外轮廓。
进一步的，所述步骤S3.4包括以下步骤：
S3.4.1：对所述人体掩膜图像进行光栅扫描，统计人体掩膜图像中非零像素点个数总和作为人体总像素数L，含非零像素点的行数作为人体高度h；
S3.4.2：根据实际人体比例，计算人体肩宽w，
w=L/h+10；
S3.4.3：对人体掩膜图像再次进行光栅扫描，统计每行非零像素点个数，将首次出现非零像素点个数大于人体肩宽w的行作为左右肩关节点所在水平线；
S3.4.4：结合所述人体肩宽w，得到左右肩关节点的定位；
S3.4.5：将人体骨架与左、右肩关节点所在水平线的交叉点作为颈下脊椎关节点，定位得到人体胸腔区域。
本发明为有效且全面地涵盖人体胸腔部位图像，选择脊椎中点、左肩、右肩和颈下脊椎这四个关节点所围成区域作为人体胸腔区域。脊椎中点存在于人体骨架交叉点中，因此本发明需先定位人体骨架交叉点。对人体骨架图像进行光栅扫描以过滤符合条件的骨架像素点，使得人体骨架中两个像素点之间至少间隔一个零像素点。通过对经初步过滤后的人体骨架图像叠加卷积核进一步筛选出人体骨架交叉点。将卷积范围内非零像素点个数大于交叉点阈值的像素点标记为人体骨架交叉点，即脊椎中点。
左肩关节点与右肩关节点可通过实际人体比例关系来大致确定。本发明对人体掩膜图像进行光栅扫描，统计图像中非零像素点个数总和作为人体总像素数L，含非零像素点的行数作为人体高度h。根据实际人体比例，人体肩宽w可表示为w=L/h+10。再对人体掩膜图像进行光栅扫描，统计每行非零像素点个数，将首次出现非零像素点个数大于人体肩宽w的行作为左右肩关节点所在水平线，结合人体肩宽w可以大致定位左肩关节点与右肩关节点。
由于在图像坐标系中，颈下脊椎关节点与左肩关节点与右肩关节点均处在同一水平线上。本发明通过对人体掩膜图像进行光栅扫描，将人体骨架与左、右肩关节点所在水平线的交叉点作为颈下脊椎关节点，完成人体胸腔区域定位。
进一步的，所述步骤S4中主成分分析算法包括：
将呼吸区域深度图像数据定义为m×n的矩阵Amn，Amn为m个样本和n个特征值的变量数据表，即Amn=(a1，a2，…，am)，ai=(A1i，A2i，…，Ani)T；
S4.1：对Amn进行标准化处理，
其中，āj为aj的均值，sj为aj的标准差，i=1，2，…，m，j=1，2，…，n；
S4.2：求解标准化数据矩阵
的协方差矩阵V；
S4.3：计算V的前q个特征值λ1≥λ2≥…≥λq及对应的特征向量U=(u1，u2，…，uq)；
S4.4：选择前q个主成分：
Y= 
U
其中，Y=(y1，y2，…，yq)；Y为经过降维后的呼吸矩阵，矩阵变量的维度如下： 
为m×n，V为n×n，U为n×q，Y为m×q。
完成人体胸腔区域定位后的呼吸区域深度图像是一个二维数组，其数据维度很高，包含较多的冗余信息；为有效提取人体呼吸信号数据，本发明通过运用PCA算法，即主成分分析算法，对呼吸区域深度数据进行降维处理同时去除数据间的相关性，提取最能表征人体呼吸信息的主要成分，得到降维后的呼吸矩阵Y。
进一步的，所述步骤S5中的峰值检测法包括：
S5.1：对所述呼吸信号Y进行傅里叶变换，保留前P个低频系数，并将高频系数置为零；
S5.2：再次进行傅里叶变换，得到平滑去噪后的呼吸信号波形；
S5.3：对时间段T内的呼吸数据序列进行峰值检测并计算呼吸频率，得到呼吸信号峰值检测图；
S5.4：在呼吸信号峰值检测图中搜寻满足一阶导数为零、二阶导数小于零的坐标点，记录T内的所有峰值点个数并记为N，将T内的第一个峰值点到最后一个峰值点之间的时间作为计算时间T1，呼吸频率R为：
因个体的性别、年龄和生理状态等因素，人体呼吸频率相互间存在明显差异，但人体呼吸频率大致集中在5次/每分~100次/每分，因此呼吸信号是典型的低频信号。对于呼吸信号中的高频噪声，本发明通过采用低通滤波器对呼吸信号进行去噪处理；并且，为根据呼吸信号有效地计算人体呼吸频率，本发明还对时间段T内的呼吸数据序列进行峰值检测并计算呼吸频率，最终通过在呼吸信号峰值检测图中搜寻满足一阶导数为零、二阶导数小于零的坐标点，记录T内的所有峰值点个数并记为N，将T内的第一个峰值点到最后一个峰值点之间的时间作为计算时间T1，得到呼吸频率R为：
综上所述，本发明与现有技术相比具有以下有益效果：
（1）本发明通过获取人体深度图像的方式，避免接触式检测的设备影响，并且在获取的人体深度图像上消除空洞噪声和干扰物体的影响，更加有效的提取到所需要的呼吸信息，从而得到数据精确的人体呼吸频率，而且本发明所用设备方便携带，价格也能够达到广泛应用的水平。
（2）在本发明中，创建掩膜后，用掩膜遮挡的方式进行分割，从而得到人体深度图像，这样得到的人体深度图像由于去点了空洞噪声和近距离干扰物，所以精确度较高。
（3）本发明通过对人体掩膜图像进行光栅扫描，将人体骨架与左、右肩关节点所在水平线的交叉点作为颈下脊椎关节点，完成人体胸腔区域定位。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明流程示意图；
图2为本发明深度图像示意图；
图3为本发明所有外轮廓图；
图4为本发明人体外轮廓图；
图5为本发明人体深度图像；
图6为本发明人体胸腔区域定位图；
图7为本发明去噪前后呼吸信号波形图；
图8为本发明呼吸信号峰值检测图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例：
如图1~5所示，基于深度图像的非接触呼吸频率检测方法，包括以下步骤：
S1：采集原始深度图像，获取人物位置定位并采集深度信息；
S2：利用最大距离限制法和最大外轮廓提取算法分别消除所述原始深度图像中空洞噪声和近距离干扰物的影响，创建人体掩膜图像并得到人体深度图像；
S2.1：在进行人体深度图像采集前，采集人体未入镜时整体背景的背景深度图像；
S2.2：计算人体未入镜时当前背景图像的最大距离值；计算步骤S2.1中的背景深度图像中心点3*3邻域内的平均深度值，将所述深度值减去100mm得到所述最大距离值；
S2.3：在进行人体深度图像采集时，将人体深度图像中大于所述步骤S2.2中的最大距离值的全部像素值均设置为0。
S2.4：将去除空洞噪声后的所述原始深度图像进行二值化处理，得到过渡图像；
S2.5：通过外轮廓提取算法提取过渡图像中的所有轮廓；
S2.6：分别计算所述步骤S2.5中提取的各个轮廓所包含的面积，并确定面积最大的轮廓为人体外轮廓；
S2.7：通过人体外轮廓创建掩膜，并从所述原始深度图像中分割出人体深度图像。
S3：利用人体胸腔区域与人体骨架关节点的相关性进行呼吸区域的定位；
S3.1：从所述步骤S2中获得的人体深度图像中提取人体外轮廓，并通过傅里叶描述子对人体外轮廓进行平滑去噪处理；
S3.1.1：将人体外轮廓的坐标信息转换为复数序列形式，并对复数序列进行傅里叶变换；
S3.1.2：选取前K个傅里叶系数；
S3.1.3：通过傅里叶反变换进行复数序列的重建，即得到经平滑去噪后的人体轮廓复数序列；
S3.1.4：将复数序列的实部和虚部恢复成人体外轮廓坐标形式，得到平滑去噪后的人体外轮廓；
S3.2：对平滑去噪后的人体外轮廓进行二值化填充；
S3.3：通过Zhang-Suen细化算法提取人体骨架；
S3.4：对人体掩膜图像进行光栅扫描，将人体骨架与左、右肩关节点所在水平线的交叉点作为颈下脊椎关节点，定位得到人体胸腔区域，如图6所示。
S3.4.1：对所述人体掩膜图像进行光栅扫描，统计人体掩膜图像中非零像素点个数总和作为人体总像素数L，含非零像素点的行数作为人体高度h；
S3.4.2：根据实际人体比例，计算人体肩宽w，
w=L/h+10；
S3.4.3：对人体掩膜图像再次进行光栅扫描，统计每行非零像素点个数，将首次出现非零像素点个数大于人体肩宽w的行作为左右肩关节点所在水平线；
S3.4.4：结合所述人体肩宽w，得到左右肩关节点的定位；
S3.4.5：将人体骨架与左、右肩关节点所在水平线的交叉点作为颈下脊椎关节点，定位得到人体胸腔区域。
S4：利用主成分分析算法提取胸腔区域深度图像所包含的呼吸信号数据；
将呼吸区域深度图像数据定义为m×n的矩阵Amn，Amn为m个样本和n个特征值的变量数据表，即Amn=(a1，a2，…，am)，ai=(A1i，A2i，…，Ani)T；
S4.1：对Amn进行标准化处理，
其中，āj为aj的均值，sj为aj的标准差，i=1，2，…，m，j=1，2，…，n；
S4.2：求解标准化数据矩阵
的协方差矩阵V；
S4.3：计算V的前q个特征值λ1≥λ2≥…≥λq及对应的特征向量U=(u1，u2，…，uq)；
S4.4：选择前q个主成分：
Y= 
U
其中，Y=(y1，y2，…，yq)；Y为经过降维后的呼吸矩阵，矩阵变量的维度如下： 
为m×n，V为n×n，U为n×q，Y为m×q；
S5：通过峰值检测法获得人体呼吸频率，如图7所示；
S5.1：对所述呼吸信号Y进行傅里叶变换，保留前P个低频系数，并将高频系数置为零；
S5.2：再次进行傅里叶变换，得到平滑去噪后的呼吸信号波形；
S5.3：对时间段T内的呼吸数据序列进行峰值检测并计算呼吸频率，得到呼吸信号峰值检测图；
S5.4：在呼吸信号峰值检测图中搜寻满足一阶导数为零、二阶导数小于零的坐标点，记录T内的所有峰值点个数并记为N，将T内的第一个峰值点到最后一个峰值点之间的时间作为计算时间T1，呼吸频率R为：
所述外轮廓提取算法包括以下步骤：
A1：设输入图像F={fij}，当前跟踪边界的编号NBD=1，即将输入图像F的第一行作为第一个边界；
对图像F进行光栅扫描，当扫描到某个像素点的灰度值满足fij=1，fi，j-1=0条件，则这个像素点（i，j）是外边界起始点，令NBD=NBD+1，（i2，j2）←（i，j-1），其中，i，j分别表示图像中像素的第i行和第j列；
其他情况，转至步骤A7；
A2：以外边界起始点（i，j）为中心，（i2，j2）为起始点，按顺时针方向，搜索（i，j）周围8邻域中是否存在非0像素点；
若存在，则令（i2，j2）为第一个非0像素点；否则令fij=-NBD，并转至步骤A7；
A3：令（i2，j2）←（i1，j1），（i3，j3）←（i，j）；
A4：以（i3，j3）为中心，（i2，j2）的下一个点为起始点，按逆时针方向，搜索（i3，j3）周围8邻域的非0像素点，令（i4，j4）为第一个非0像素点；
A5：如果（i3，j3+1）是0像素点，且已在步骤A4中搜索过，则fi3，j3←-NBD；如果（i3，j3+1）不在步骤A4中搜索过，且fi3，j3=1，则fi3，j3←-NBD；其他情况，fi3，j3不改变；
A6：如果（i4，j4）=（i，j），（i3，j3）=（i1，j1），则跳转至步骤A7；
否则令（i2，j2）←（i3，j3），（i3，j3）←（i4，j4），跳转至步骤A4；
A7：如果fij≠1，则令LNBD←|fij|，从点(i，j+1)继续光栅扫描，直到扫描至图像的右下角最后一个元素为止；
A8：将提取的所有外轮廓填充为二值图像，并统计每个外轮廓范围内的非零元素个数，提取其中包含非零元素最多的外轮廓作为人体外轮廓；
其中，NBD为当前追踪边界的编号，LNBD为上一个边界的编号。
在本实施例中，以室内环境作为实验环境进行测试实验，实验均在Inteli5-24002.1-GHz的个人计算机硬件基础上，借助于OpenCV计算机视觉库和Tkinter图形开发界面库，使用python编程语言进行的。
实验以白色墙面为背景，将Realsense深度相机固定在电脑显示屏上方，相机以15fps的帧率采集分辨率为640x480的深度图像，实际中仅能达到每秒7张图像。随机选取8名实验者，实验者面朝深度相机。考虑到实验者身体姿态对呼吸频率检测的影响，在本实施例中令实验者分别处于坐立手臂自然下垂姿态、站立手臂伸展姿态、站立手臂自然下垂姿态、站立手臂放置身后姿态，各采集100帧实验者在这四种身体姿态下的深度图像作为实验数据。
为客观地评价实验效果，本实施例分别从平均绝对误差Me、均方根误差和皮尔逊相关系数r这三个方面进行实验结果分析。
所述平均绝对误差Me为：
；
所述均方根误差可表达为RMSE：
；
所述皮尔逊相关系数r为：
；
其中，n为实验样本个数，RR为基于本文方法检测的呼吸频率，Rt为实际呼吸频率，RRi为基于本文方法检测的第i个呼吸频率，Rti为第i个实际呼吸频率，σRR为基于本实施例检测的呼吸频率的标准差，σRi为实际呼吸频率的标准差。
由此，本实施例中的实验能够有效得到呼吸频率检测效果图和呼吸信号波形图。根据呼吸频率检测效果图和呼吸信号波形图能够直观的得到本实施例中实验能有效将人体深度图像从空洞噪声与背景干扰图像中分割出来，完成对人体骨架的提取，进一步实现对人体呼吸区域的定位。统计的得到本实验的四种身体姿态下八位实验者的呼吸频率检测具体结果和相对于真实呼吸频率的呼吸频率检测比对结果。
表1-呼吸频率检测具体结果 (次/min)
表2-呼吸频率检测比对结果
由表1和表2可知，针对不同实验个体、不同身体姿态，本实施例基于深度图像的非接触呼吸频率检测方法的检测结果与真实呼吸频率最大误差为2次/min，最大误差在合理范围之内，说明本发明所提方法具有一定的准确性；基于本实施例的呼吸频率测量结果的平均误差不超过0.38次/min，RMSE小于0.80次/min，相比与现有技术要更低，本发明具有较高的准确性；皮尔逊相关系数极其逼近于1，说明本实施例检测结果与真实呼吸频率相关性极高。
本实施例通过提出的最大距离限制法与最大外轮廓提取算法实现对人体深度图像的有效提取。并运用Zhang-Suen细化算法获取人体骨架，通过骨架关节点分析进一步定位人体呼吸区域。最后，通过PCA算法降维提取呼吸信号数据，并利用傅里叶变换对呼吸信号波形进行平滑去噪，利用峰值检测法求解人体呼吸频率。经实验结果验证，本实施例的平均误差不超过0.38次/min，RMSE小于0.80次/min，具有较高的测量准确度，皮尔逊相关系数高达0.9971，极其接近真实呼吸频率。所以本发明不仅可以避免与人体的直接接触，而且能够便捷且有效地实现对人体呼吸频率的准确测量，可用于人体呼吸频率的日常检测。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于深度图像的非接触呼吸频率检测方法，包括以下步骤：
S1：采集原始深度图像，获取人物位置定位并采集深度信息；
其特征在于，还包括以下步骤：
S2：利用最大距离限制法和最大外轮廓提取算法分别消除所述原始深度图像中空洞噪声和近距离干扰物的影响，创建人体掩膜图像并得到人体深度图像；
S3：利用人体胸腔区域与人体骨架关节点的相关性进行呼吸区域的定位；
S4：利用主成分分析算法提取胸腔区域深度图像所包含的呼吸信号数据；
S5：通过峰值检测法获得人体呼吸频率。
2.根据权利要求1所述的基于深度图像的非接触呼吸频率检测方法，其特征在于，所述最大距离限制法包括以下步骤：
S2.1：在进行人体深度图像采集前，采集人体未入镜时整体背景的背景深度图像；
S2.2：计算人体未入镜时当前背景图像的最大距离值；
S2.3：在进行人体深度图像采集时，将人体深度图像中大于所述步骤S2.2中的最大距离值的全部像素值均设置为0。
3.根据权利要求2所述的基于深度图像的非接触呼吸频率检测方法，其特征在于，在所述步骤S2.2中，计算步骤S2.1中的背景深度图像中心点3*3邻域内的平均深度值，将所述深度值减去100mm得到所述最大距离值。
4.根据权利要求1所述的基于深度图像的非接触呼吸频率检测方法，其特征在于，所述最大外轮廓提取算法包括以下步骤：
S2.4：将去除空洞噪声后的所述原始深度图像进行二值化处理，得到过渡图像；
S2.5：通过外轮廓提取算法提取过渡图像中的所有轮廓；
S2.6：分别计算所述步骤S2.5中提取的各个轮廓所包含的面积，并确定面积最大的轮廓为人体外轮廓；
S2.7：通过人体外轮廓创建掩膜，并从所述原始深度图像中分割出人体深度图像。
5.根据权利要求4所述的基于深度图像的非接触呼吸频率检测方法，其特征在于，所述外轮廓提取算法包括以下步骤：
A1：设输入图像F={fij}，当前跟踪边界的编号NBD=1，即将输入图像F的第一行作为第一个边界；
对图像F进行光栅扫描，当扫描到某个像素点的灰度值满足fij=1，fi，j-1=0条件，则这个像素点（i，j）是外边界起始点，令NBD=NBD+1，（i2，j2）←（i，j-1），其中，i，j分别表示图像中像素的第i行和第j列；
其他情况，转至步骤A7；
A2：以外边界起始点（i，j）为中心，（i2，j2）为起始点，按顺时针方向，搜索（i，j）周围8邻域中是否存在非0像素点；
若存在，则令（i2，j2）为第一个非0像素点；否则令fij=-NBD，并转至步骤A7；
A3：令（i2，j2）←（i1，j1），（i3，j3）←（i，j）；
A4：以（i3，j3）为中心，（i2，j2）的下一个点为起始点，按逆时针方向，搜索（i3，j3）周围8邻域的非0像素点，令（i4，j4）为第一个非0像素点；
A5：如果（i3，j3+1）是0像素点，且已在步骤A4中搜索过，则fi3，j3←-NBD；如果（i3，j3+1）不在步骤A4中搜索过，且fi3，j3=1，则fi3，j3←-NBD；其他情况，fi3，j3不改变；
A6：如果（i4，j4）=（i，j），（i3，j3）=（i1，j1），则跳转至步骤A7；
否则令（i2，j2）←（i3，j3），（i3，j3）←（i4，j4），跳转至步骤A4；
A7：如果fij≠1，则令LNBD←|fij|，从点(i，j+1)继续光栅扫描，直到扫描至图像的右下角最后一个元素为止；
A8：将提取的所有外轮廓填充为二值图像，并统计每个外轮廓范围内的非零元素个数，提取其中包含非零元素最多的外轮廓作为人体外轮廓；
其中，NBD为当前追踪边界的编号，LNBD为上一个边界的编号。
6.根据权利要求1所述的基于深度图像的非接触呼吸频率检测方法，其特征在于，所述步骤S3包括：
S3.1：从所述步骤S2中获得的人体深度图像中提取人体外轮廓，并通过傅里叶描述子对人体外轮廓进行平滑去噪处理；
S3.2：对平滑去噪后的人体外轮廓进行二值化填充；
S3.3：通过Zhang-Suen细化算法提取人体骨架；
S3.4：对人体掩膜图像进行光栅扫描，将人体骨架与左、右肩关节点所在水平线的交叉点作为颈下脊椎关节点，定位得到人体胸腔区域。
7.根据权利要求6所述的基于深度图像的非接触呼吸频率检测方法，其特征在于，所述步骤S3.1包括以下步骤：
S3.1.1：将人体外轮廓的坐标信息转换为复数序列形式，并对复数序列进行傅里叶变换；
S3.1.2：选取前K个傅里叶系数；
S3.1.3：通过傅里叶反变换进行复数序列的重建，即得到经平滑去噪后的人体轮廓复数序列；
S3.1.4：将复数序列的实部和虚部恢复成人体外轮廓坐标形式，得到平滑去噪后的人体外轮廓。
8.根据权利要求6所述的基于深度图像的非接触呼吸频率检测方法，其特征在于，所述步骤S3.4包括以下步骤：
S3.4.1：对所述人体掩膜图像进行光栅扫描，统计人体掩膜图像中非零像素点个数总和作为人体总像素数L，含非零像素点的行数作为人体高度h；
S3.4.2：根据实际人体比例，计算人体肩宽w，
w=L/h+10；
S3.4.3：对人体掩膜图像再次进行光栅扫描，统计每行非零像素点个数，将首次出现非零像素点个数大于人体肩宽w的行作为左右肩关节点所在水平线；
S3.4.4：结合所述人体肩宽w，得到左右肩关节点的定位；
S3.4.5：将人体骨架与左、右肩关节点所在水平线的交叉点作为颈下脊椎关节点，定位得到人体胸腔区域。
9.根据权利要求1所述的基于深度图像的非接触呼吸频率检测方法，其特征在于，所述步骤S4中主成分分析算法包括：
将呼吸区域深度图像数据定义为m×n的矩阵Amn，Amn为m个样本和n个特征值的变量数据表，即Amn=(a1，a2，…，am)，ai=(A1i，A2i，…，Ani)T；
S4.1：对Amn进行标准化处理，
其中，āj为aj的均值，sj为aj的标准差，i=1，2，…，m，j=1，2，…，n；
S4.2：求解标准化数据矩阵
的协方差矩阵V；
S4.3：计算V的前q个特征值λ1≥λ2≥…≥λq及对应的特征向量U=(u1，u2，…，uq)；
S4.4：选择前q个主成分：
Y=
U
其中，Y=(y1，y2，…，yq)；Y为经过降维后的呼吸矩阵，矩阵变量的维度如下：
为m×n，
V为n×n，U为n×q，Y为m×q。
10.根据权利要求9所述的基于深度图像的非接触呼吸频率检测方法，其特征在于，所述步骤S5中的峰值检测法包括：
S5.1：对所述呼吸信号Y进行傅里叶变换，保留前P个低频系数，并将高频系数置为零；
S5.2：再次进行傅里叶变换，得到平滑去噪后的呼吸信号波形；
S5.3：对时间段T内的呼吸数据序列进行峰值检测并计算呼吸频率，得到呼吸信号峰值检测图；
S5.4：在呼吸信号峰值检测图中搜寻满足一阶导数为零、二阶导数小于零的坐标点，记录T内的所有峰值点个数并记为N，将T内的第一个峰值点到最后一个峰值点之间的时间作为计算时间T1，呼吸频率R为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110981415.1A CN113628205B (zh) | 2021-08-25 | 2021-08-25 | 基于深度图像的非接触呼吸频率检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110981415.1A CN113628205B (zh) | 2021-08-25 | 2021-08-25 | 基于深度图像的非接触呼吸频率检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113628205A true CN113628205A (zh) | 2021-11-09 |
| CN113628205B CN113628205B (zh) | 2022-05-20 |
Family
ID=78387693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110981415.1A Active CN113628205B (zh) | 2021-08-25 | 2021-08-25 | 基于深度图像的非接触呼吸频率检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113628205B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103971135A (zh) * | 2014-05-05 | 2014-08-06 | 中国民航大学 | 基于头肩深度信息特征的人体目标检测方法 |
| CN105005992A (zh) * | 2015-07-07 | 2015-10-28 | 南京华捷艾米软件科技有限公司 | 一种基于深度图的背景建模和前景提取的方法 |
| CN105869144A (zh) * | 2016-03-21 | 2016-08-17 | 常州大学 | 一种基于深度图像数据的非接触式呼吸监测方法 |
| CN107169456A (zh) * | 2017-05-16 | 2017-09-15 | 湖南巨汇科技发展有限公司 | 一种基于坐姿深度图像的坐姿检测方法 |
| CN107301408A (zh) * | 2017-07-17 | 2017-10-27 | 成都通甲优博科技有限责任公司 | 人体掩膜提取方法及装置 |
| CN108399632A (zh) * | 2018-03-02 | 2018-08-14 | 重庆邮电大学 | 一种联合彩色图像的rgb-d相机深度图像修复方法 |
| CN109887034A (zh) * | 2019-03-13 | 2019-06-14 | 安徽大学 | 一种基于深度图像的人体定位方法 |
| CN110367950A (zh) * | 2019-07-22 | 2019-10-25 | 西安爱特眼动信息科技有限公司 | 非接触式生理信息检测方法及系统 |
| CN110648367A (zh) * | 2019-08-15 | 2020-01-03 | 大连理工江苏研究院有限公司 | 一种基于多层深度与彩色视觉信息的几何体目标定位方法 |
| CN111402201A (zh) * | 2020-02-23 | 2020-07-10 | 中国科学院西安光学精密机械研究所 | 一种抗运动干扰的非接触呼吸信号测量方法 |
| CN111387959A (zh) * | 2020-03-25 | 2020-07-10 | 南京信息工程大学 | 一种基于ippg的非接触式生理参数检测方法 |
| US20200242790A1 (en) * | 2019-01-28 | 2020-07-30 | Covidien Lp | Edge handling methods for associated depth sensing camera devices, systems, and methods |
| CN112365434A (zh) * | 2020-11-10 | 2021-02-12 | 大连理工大学 | 一种基于双掩膜图像分割的无人机狭窄通道检测方法 |
-
2021
- 2021-08-25 CN CN202110981415.1A patent/CN113628205B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103971135A (zh) * | 2014-05-05 | 2014-08-06 | 中国民航大学 | 基于头肩深度信息特征的人体目标检测方法 |
| CN105005992A (zh) * | 2015-07-07 | 2015-10-28 | 南京华捷艾米软件科技有限公司 | 一种基于深度图的背景建模和前景提取的方法 |
| CN105869144A (zh) * | 2016-03-21 | 2016-08-17 | 常州大学 | 一种基于深度图像数据的非接触式呼吸监测方法 |
| CN107169456A (zh) * | 2017-05-16 | 2017-09-15 | 湖南巨汇科技发展有限公司 | 一种基于坐姿深度图像的坐姿检测方法 |
| CN107301408A (zh) * | 2017-07-17 | 2017-10-27 | 成都通甲优博科技有限责任公司 | 人体掩膜提取方法及装置 |
| CN108399632A (zh) * | 2018-03-02 | 2018-08-14 | 重庆邮电大学 | 一种联合彩色图像的rgb-d相机深度图像修复方法 |
| US20200242790A1 (en) * | 2019-01-28 | 2020-07-30 | Covidien Lp | Edge handling methods for associated depth sensing camera devices, systems, and methods |
| CN109887034A (zh) * | 2019-03-13 | 2019-06-14 | 安徽大学 | 一种基于深度图像的人体定位方法 |
| CN110367950A (zh) * | 2019-07-22 | 2019-10-25 | 西安爱特眼动信息科技有限公司 | 非接触式生理信息检测方法及系统 |
| CN110648367A (zh) * | 2019-08-15 | 2020-01-03 | 大连理工江苏研究院有限公司 | 一种基于多层深度与彩色视觉信息的几何体目标定位方法 |
| CN111402201A (zh) * | 2020-02-23 | 2020-07-10 | 中国科学院西安光学精密机械研究所 | 一种抗运动干扰的非接触呼吸信号测量方法 |
| CN111387959A (zh) * | 2020-03-25 | 2020-07-10 | 南京信息工程大学 | 一种基于ippg的非接触式生理参数检测方法 |
| CN112365434A (zh) * | 2020-11-10 | 2021-02-12 | 大连理工大学 | 一种基于双掩膜图像分割的无人机狭窄通道检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| SIMPLICITY_: "《opencv之轮廓检测findContours》", 《HTTPS://BLOG.CSDN.NET/HENSONWELLS/ARTICLE/DETAILS/119778248》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113628205B (zh) | 2022-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Dilated-inception net: multi-scale feature aggregation for cardiac right ventricle segmentation | |
| Barmpoutis | Tensor body: Real-time reconstruction of the human body and avatar synthesis from RGB-D | |
| CN109993068B (zh) | 一种基于心率和面部特征的非接触式的人类情感识别方法 | |
| Mahapatra et al. | MRF-based intensity invariant elastic registration of cardiac perfusion images using saliency information | |
| CN112070785A (zh) | 一种基于计算机视觉的医学图像分析方法 | |
| TW202023467A (zh) | 眼底圖像定量分析的前置處理方法及存放裝置 | |
| CN111178369A (zh) | 一种医学影像的识别方法及系统、电子设备、存储介质 | |
| CN111914925B (zh) | 一种基于深度学习的患者行为多模态感知与分析系统 | |
| JP2022546344A (ja) | 脳卒中特徴取得のための画像処理 | |
| CN111062936B (zh) | 用于面部变形诊疗效果的量化指标评估方法 | |
| Jaiswal et al. | rPPG-FuseNet: Non-contact heart rate estimation from facial video via RGB/MSR signal fusion | |
| Guo et al. | Robust fovea localization based on symmetry measure | |
| Hsu | A hybrid approach for brain image registration with local constraints | |
| CN113628205B (zh) | 基于深度图像的非接触呼吸频率检测方法 | |
| CN112162629A (zh) | 基于外接矩形的实时瞳孔定位方法 | |
| Li et al. | A novel method for low-contrast and high-noise vessel segmentation and location in venipuncture | |
| JP5740403B2 (ja) | 網膜の異常を検出するためのシステムおよび方法 | |
| CN113011333B (zh) | 基于近红外图像获取最佳静脉穿刺点和方向的系统及方法 | |
| Waghulde et al. | Detection of skin cancer lesions from digital images with image processing techniques | |
| CN114792296A (zh) | 一种核磁共振图像与超声图像融合方法与系统 | |
| Wang et al. | Segmentation of intravascular ultrasound images based on convex–concave adjustment in extreme regions | |
| Goyal | Gaussian filtering based image integration for improved disease diagnosis and treatment planning | |
| Shetty et al. | Melanoma decision support system for dermatologist | |
| Zhang et al. | Liver segmentation in ultrasound images based on FCM_I | |
| Treigys et al. | Automated positioning of overlapping eye fundus images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |