CN111407245A - 一种基于摄像头的非接触式心率、体温测量方法 - Google Patents

一种基于摄像头的非接触式心率、体温测量方法 Download PDF

Info

Publication number
CN111407245A
CN111407245A CN202010197862.3A CN202010197862A CN111407245A CN 111407245 A CN111407245 A CN 111407245A CN 202010197862 A CN202010197862 A CN 202010197862A CN 111407245 A CN111407245 A CN 111407245A
Authority
CN
China
Prior art keywords
heart rate
body temperature
image
model
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010197862.3A
Other languages
English (en)
Other versions
CN111407245B (zh
Inventor
谢世朋
袁柱柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Haoyan Jingjing Intelligent Technology Co ltd
Original Assignee
Nanjing Haoyan Jingjing Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Haoyan Jingjing Intelligent Technology Co ltd filed Critical Nanjing Haoyan Jingjing Intelligent Technology Co ltd
Priority to CN202010197862.3A priority Critical patent/CN111407245B/zh
Publication of CN111407245A publication Critical patent/CN111407245A/zh
Priority to PCT/CN2020/103087 priority patent/WO2021184620A1/zh
Application granted granted Critical
Publication of CN111407245B publication Critical patent/CN111407245B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Pulmonology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于摄像头的非接触式心率、体温测量方法，该方法通过对原始视频图像进行颜色校正，去除光线带来的干扰，最大程度上降低了测量过程中光线强度对测量结果的影响，该方法使用深度学习的方法获取心电曲线，无需对人脸的关键部位进行定位，只需将人脸轮廓图像输入构建好的模型中，即可得到心电曲线，整个测量过程简单便捷，在测得心率的基础上，还可以进一步利用心率值计算到待测者的体温数据，整个方法不仅测量精度大大提高，功能也更加齐全，更能满足实际心率、体温测量需求。

Description

一种基于摄像头的非接触式心率、体温测量方法
技术领域
本发明涉及非接触式体征监测和图像处理技术领域，更具体的说是涉及一种基于摄像头的非接触式心率、体温测量方法。
背景技术
目前，随着心脑血管疾病的发病率不断提高，人们的健康意识也逐渐增强，对心率、体温等体征参数的检测意识也不断提高。心率是人体新陈代谢和功能活动重要的生理参数之一。传统的心率测量最准确的方法是心电图法，但心电图法需将电极粘在受测者皮肤上，这种方法使用起来较复杂不太方便，而且这种方法需要和皮肤直接接触，使用场景比较受局限，例如对于婴儿以及运动员在运动过程中的心率及体温测量。
为此，图像PPG(Photo plethysmography)技术应运而生，PPG即光电容积脉搏波描记法，是一种利用光电手段在活体组织中无创检测血液容积变化的方法，它通过测量经活体组织吸收后的反射光强度，描记血液容积脉冲(BVP)信号后计算心率。傅明哲等人最早提出利用普通网络摄像头的非接触式心率检测方法，该方法利用独立成分分析(ICA)将三个平均的颜色踪迹分离为三个基源信号，通过分析第二个基源信号的功率谱估计心率。以上方法都需要测试者处于合作情况以及需要光线充足的情况下测量，而在光线较弱时，这种方法很难提取出干净的BVP信号，会包含多余的噪声，对检测结果造成严重的影响，由于测量条件的严苛以及测量误差影响，上述方法并未得到广泛应用。
因此，如何提供一种实用性强、测量精度高且稳定可靠的非接触式心率、体温测量方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于摄像头的非接触式心率、体温测量方法，该方法测量心率和体温的过程受光线影响小，对测量条件要求低，测得的结果更加准确，解决了现有的非接触式心率测量方法对测量条件要去严苛、测量结果误差大的问题。
为了实现上述目的，本发明采用如下技术方案：
一种基于摄像头的非接触式心率、体温测量方法，该方法包括：
S1：在普通可见光条件下，通过摄像头采集待测者面部区域的视频图像，并对采集到的视频图像进行颜色校正；
S2：对颜色校正后的每一帧视频图像分别进行人脸识别，并从识别出的人脸区域中截取人脸轮廓图像；
S3：对一段连续的视频图像中截取的人脸轮廓图像分别进行深度学习，并求取心电曲线；
S4：对得到的心电曲线进行消除基线漂移以及强化R波处理，通过每分钟内R波出现的次数计算得到待测者的心率值；
S5：根据人体正常心率基准与得到的心率值的关系，计算待测者的体温值。
本发明的有益效果是：该方法通过对原始视频图像进行颜色校正，去除光线带来的干扰，最大程度上降低了测量过程中光线强度对测量结果的影响，该方法使用深度学习的方法获取心电曲线，无需对人脸的关键部位进行定位，只需将人脸轮廓图像输入构建好的模型中，即可得到心电曲线，整个测量过程简单便捷，在测得心率的基础上，还可以进一步利用心率值计算到待测者的体温数据，整个方法不仅测量精度大大提高，功能也更加齐全，更能满足实际心率、体温测量需求。
进一步地，步骤S1中，对采集到的视频图像进行颜色校正，具体包括：
S101：建立非彩色模型，假设平均图像是非彩色的；
S102：获取每一帧视频图像的RGB值，将每一帧视频图像的RGB值分别代入所述非彩色模型进行颜色校正。
进一步地，所述非彩色模型为：
Figure BDA0002418270390000031
其中，
Figure BDA0002418270390000032
为校正后的颜色分量，k为比例系数，取值为：
Figure BDA0002418270390000033
其中，V＝2N-1，0＜N＜225。
为了避免测量环境中的光照变化对测量结果的影响，本发明的方法通过转换图像中每个像素点的RGB值来去除光照变换的影响。
进一步地，步骤S2具体包括：
S201：分别构建SegNet语义分割模型、U-net语义分割模型以及Faster-RCNN与数字抠图耦合的语义分割模型；
S202：分别使用构建好的SegNet语义分割模型、U-net语义分割模型和Faster-RCNN与数字抠图相耦合的语义分割模型对颜色校正后的每一帧视频图像进行人脸识别和语义分割，得到三组识别结果；
S203：将得到的三组识别结果进行加权平均得到最终的人脸轮廓图像。
采用上述技术方案的有益效果是：使用三种分割模型加权平均的方法获取人脸轮廓图像，相比于直接采用边缘检测直接获得人脸轮廓的方式，本发明得到的人脸轮廓更接近实际人脸形状。
进一步地，步骤S3具体包括：
S301：构建特征融合残差网络，选取多个测试者佩戴心电采集设备获得的心电图像以及同时刻拍摄的视频图像经所述步骤S2处理后得到的人脸轮廓图像作为测试集，对特征融合残差网络进行训练，得到心电检测模型；
S302：将步骤S2获得的一段视图图像中的人脸轮廓图像输入心电检测模型，输出得到心电曲线。
采用上述进一步方案的有益效果是：通过多组测试集数据对特征融合残差网络进行训练，得到心电检测模型，模型输入量为一段连续的人脸轮廓图像，输出为心电曲线，这样心电曲线在获取过程中，不需要对人脸轮廓进行关键部位提取，直接通过人脸轮廓图像就可以得到心电曲线。
进一步地，步骤S5具体包括：
S501：构建深度学习网络，选取多组不同试验者在同一条件下的心率与体温的对应数据，对深度学习网络进行训练，得到心率体温换算模型；
S502：将得到的待测者的心率值输入心率体温换算模型，输出得到待测者的体温值。
通过构建深度学习网络对多组心率与体温对应数据进行训练，获得心率体温换算关系，进而将待测者的心率数据作为输入值输入模型后，输出对应的体温值，实现体温的测量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的一种基于摄像头的非接触式心率、体温测量方法的流程示意图；
图2附图为本发明实施例中对采集到的视频图像进行颜色校正过程的流程示意图；
图3附图为本发明实施例中获取人脸轮廓图像过程的流程示意图；
图4附图为本发明实施例中SegNet网络结构示意图；
图5附图为本发明实施例中U-Net网络结构示意图；
图6附图为本发明实施例中获取心电曲线过程的流程示意图；
图7附图为本发明实施例中特征融合残差网络结构示意图；
图8附图为本发明实施例中EDSR和WDSR网络结构示意图；
图9附图为本发明实施例中RSDB中使用的卷积核大小及WDSR中使用的卷积核大小示意图；
图10附图为本发明实施例中根据人体正常心率基准与得到的心率值的关系，计算待测者的体温值过程的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见附图1，本发明实施例公开了一种基于摄像头的非接触式心率、体温测量方法，该方法包括：
S1：在普通可见光条件下，通过摄像头采集待测者面部区域的视频图像，并对采集到的视频图像进行颜色校正；
S2：对颜色校正后的每一帧视频图像分别进行人脸识别，并从识别出的人脸区域中截取人脸轮廓图像；
S3：对一段连续的视频图像中截取的人脸轮廓图像分别进行深度学习，并求取心电曲线；
S4：对得到的心电曲线进行消除基线漂移以及强化R波处理，通过每分钟内R波出现的次数计算得到待测者的心率值；S5：根据人体正常心率基准与得到的心率值的关系，计算待测者的体温值。
在一个具体的实施例中，参见附图2，步骤S1中，对采集到的视频图像进行颜色校正，具体包括：
S101：建立非彩色模型，假设平均图像是非彩色的；
S102：获取每一帧视频图像的RGB值，将每一帧视频图像的RGB值分别代入非彩色模型进行颜色校正。
在一个具体的实施例中，非彩色模型为：
Figure BDA0002418270390000061
其中，
Figure BDA0002418270390000062
为校正后的颜色分量，k为比例系数，取值为：
Figure BDA0002418270390000063
其中，V＝2N-1，0＜N＜225。
为了避免测量环境中的光照变化对测量结果的影响，本实施例的方法通过转换图像中每个像素点的RGB值来去除光照变换的影响。
在一个具体的实施例中，参见附图3，步骤S2具体包括：
S201：分别构建SegNet语义分割模型、U-net语义分割模型以及Faster-RCNN与数字抠图耦合的语义分割模型；
S202：分别使用构建好的SegNet语义分割模型、U-net语义分割模型和Faster-RCNN与数字抠图相耦合的语义分割模型对颜色校正后的每一帧视频图像进行人脸识别和语义分割，得到三组识别结果；
S203：将得到的三组识别结果进行加权平均得到最终的人脸轮廓图像。
下面对上述的三个分割模型分别做对应的说明，内容如下：
(1)SegNet语义分割模型
SegNet是Cambridge提出的图像语义分割深度网络，开放源码，基于caffe框架。SegNet是基于FCN，修改VGG-16网络得到的语义分割网络。该网络结构清晰易懂，训练快速坑少，SegNet网络结构是编码器-解码器的结构，SegNet做语义分割时通常在末端加入CRF模块做后处理，旨在进一步精修边缘的分割结果。
SegNet的新颖之处在于解码器对其较低分辨率的输入特征图进行上采样的方式。具体地说，解码器使用了在相应编码器的最大池化步骤中计算的池化索引来执行非线性上采样。这种方法消除了学习上采样的需要。经上采样后的特征图是稀疏的，因此随后使用可训练的卷积核进行卷积操作，生成密集的特征图。SegNet在解码器中使用去池化对特征图进行上采样，并在分割中保持高频细节的完整性。编码器不使用全连接层(和FCN一样进行卷积)，因此是拥有较少参数的轻量级网络。编码器中的每一个最大池化层的索引都存储了起来，用于之后在解码器中使用那些存储的索引来对相应特征图进行去池化操作。这有助于保持高频信息的完整性，但当对低分辨率的特征图进行去池化时，会忽略邻近的信息。SegNet网络结构图如图4所示。
SegNet语义分割模型包含了卷积层、批标准化层、激活层、池化层、上采样层以及Softmax层，其中卷积层和激活层都与基于patch的CNN分类模型中的一样，池化层和上采样层针对信息丢失做了相应处理，使用Soflmax函数做分类。
批标准化(Batch Normalization，BN)操作通过变换重构，加快了模型的收敛，大大提高了训练的速度，并且提高了网络的泛化能力，抑制过拟合的情况。可用于激活函数前，将上一层输出的数据进行标准化，使输出的不同维度的值均值为0，方差为1。
池化(Pooling)的本质就是采样，对输入的特征图进行某种压缩，减小了特征图，简化网络计算复杂度；对小范围的像素偏移有了更好的适应，使网络更加鲁棒。常用的池化操作有Max Pooling，在每个区域中寻找最大值。
(2)上采样(Upsampling)是池化操作的逆过程，通过在池化层中记录的索引位置，可以将特征图的数据放回池化操作时对应的位置，在其他的位置补上0值。
(2)U-net语义分割
(3)U-Net网络结构非常简单，前半部分作用是特征提取，后半部分是上采样。也可称作编码器-解码器结构。由于此网络整体结构类似于大写的英文字母U，故得名U-Net。U-Net与其他常见的分割网络有一点非常不同的地方：U-Net采用了完全不同的特征融合方式：拼接，U-Net采用将特征在通道维度拼接在一起，形成更厚的特征。而FCN融合时使用的对应点相加，并不形成更厚的特征。
(4)根据U-Net的结构，它能够结合底层和高层的信息。底层(深层)信息：经过多次下采样后的低分辨率信息。能够提供分割目标在整个图像中上下文语义信息，可理解为反应目标和它的环境之间关系的特征。这个特征有助于物体的类别判断(所以分类问题通常只需要低分辨率/深层信息，不涉及多尺度融合)高层(浅层)信息：经过concatenate操作从编码器直接传递到同高度解码器上的高分辨率信息。能够为分割提供更加精细的特征，如梯度等。U-Net有很多优点，最大特点就是它可以在小数据集上也能训练出一个好的模型，这个优点对于本项目任务来说可缩短标注训练样本过程。而且，U-Net在训练速度上也是非常快的。
(5)U-Net的网络结构图如图5所示。图中可以看出，原始U-Net包含18个3×3的卷积层，1个1×1的卷积层，4个2×2的下采样层，4个2×2的上采样层，使用ReLU作为激活函数。通常，池化操作会损失图像中的高频成分，产生钝化模糊的图像块，并丢失位置信息。为了恢复原始图像结构特征，U-Net使用了4次跳跃连接方式来连接低层与高层的特征图。U-Net实际是一个全卷积神经网络，输入和输出均为图像，省略了全连接层。较浅的层用来解决像素定位问题，较深的层用来解决像素分类问题。
(6)按照标准的卷积神经网络框架，逐层进行转换，结构的最后一层是和原始图像同样大小的预测输出图，输出图中的每一像素点是代表类别的整数值。与原始U-Net结构相比，本实施例采用的网络结构拥有更多的卷积层，并在卷积层和反卷积层前都做了批标准化操作，采用最大池化，激活函数采用的是ELU。把网络中“批标准化+卷积/解卷积+ELU激活”连续操作称为一次“超卷积”。整个网络实际上是由一系列的超卷积、池化、连接和最后的像素级分类操作组成的。
(7)卷积操作中，卷积过滤器尺寸为3×3×64，单位步长，零填充；反卷积操作中，过滤器尺寸均为2×2×64，输出尺寸是输入尺寸的2倍，步长为2，零填充；池化操作中，过滤器尺寸均为2×2，步长也为2。所有过滤器的权值用服从截断高斯分布的随机值来初始化，零均值，方差设成0.1。所有偏置均用0.1m初始化。值得注意的是，在原始U-Net中，过滤器深度从64逐层增加至1024，而本实施例公开的网络把过滤器的深度统一设置为64。如果参照原始U-Net中的过滤器深度，网络不易收敛，分割准确率较低。本实施例改进后的网络具有如下优点：
①数据集中类别数和待识别特征数均较少，网络池化操作中丢失掉的信息可以通过“反卷积”和“跳跃连接”重新获取。
②设计统一的过滤器数量，可以降低时间和空间复杂度。
③使用更深的网络，有利用提高分割精度。
(3)基于Faster RCNN与交互式数字抠图相耦合的分割模型
该模型构建方法具体为：
首先，获取人脸图像；然后，对应人脸标注方框位置、图片和标注文件按比例分为训练集和测试集；接着，将处理后的图片集送入卷积神经网络进行训练；在通过特征提取模块进行特征提取的过程中，特征提取网络基于ZF网络，采用区域建议网络生成区域建议框；同时使用Faster-RCNN网络作为检测框架。
RCNN类的方法可以细分为四个步骤：生成候选区域、特征提取、建议区域分类、坐标回归。在RCNN中候选区域的生成使用Selective Search，然后使用卷积网络进行特征提取，最后通过SVM将提取到的特征进行分类并通过回归网络对位置进行精修。在Fast RCNN中，将特征提取、SVM、回归网络合并在一个卷积神经网络，极大地提升了运行速度。但是在Fast RCNN中，对于每个候选区域都需要进行卷积特征提取，存在大量的重复计算。但是在Faster RCNN中将候选区域生成也通过卷积网络完成并将生成候选区域的特征提取部分的网络和分类部分的特征提取网络相合并。除此之外，Faster RCNN使用ROI pooling，将生成的候选区域位置映射在最后一层特征层上，免去了大量的重复计算。从网络结构上看，可以将Faster RCNN视为RPN网络和Fast RCNN网络结合。
通过Faster-RCNN网络检测过程中，对于存在损失的图像，本项目通过损失函数:
Figure BDA0002418270390000101
其中，i是建议框的索引号，Pi是建议框中含有典型天气要素的概率；
Figure BDA0002418270390000111
通过人工标记的标签来计算，人工标记的标签若含有典型人脸要素，即为1，不含则为0；ti是代表建议框坐标的四维向量，而
Figure BDA0002418270390000112
是代表人工标记人脸要素坐标的四维向量(即矩形框坐标表示)；分类损失函数定义为：
Figure BDA0002418270390000113
其中，建议框回归损失函数Lreg定义为：
Figure BDA0002418270390000114
其中R是鲁棒的损失函数smoothL1定义为：
Figure BDA0002418270390000115
为了得到高质量的人脸抠图，基于前景和背景亮度平滑变化引入了一个代价函数，演示了如何消除前景和背景亮度获得一个二次代价函数，原理如下:
假设得到的人脸图片为由前景亮度F和前景亮度B组成的图像I，采用图像抠图算法对图像I进行处理，即将图像I作为输入；可得第i个像素的亮度是对应前景亮度和背景亮度的组合:
Ii＝αiFi+(1-αi)Bi
其中，αi是像素前景不透明部分。
为了最终获得一个良好的抠图，本实施例中采用闭合形式方案从人脸图像中提取抠图；具体的，从前景亮度F和背景亮度B上的局部平滑中得到一个代价函数为：
Ii＝αiFi+(1-αi)Bi
从结果的表达式来看，可以消除前景亮度F和背景亮度B，生成一个α的二次代价函数；并通过解稀疏线性方程组的方法得到二次代价函数的全局最优解；本实施例只需要直接计算α，而不需要估计前景亮度F和背景亮度B，同时用户输入少，可以在一定程度上减少计算量，最后得到高质量的抠图；并对得到的抠图采用闭合形式公式检验稀疏矩阵的特征向量理解和预测方案的特征。
由于此先推导一个灰度图像的抠图闭合形式方案,且抠图是一个严重的欠约束问题，因此，需要对前景亮度F、背景亮度B和/或α进行假设操作。
具体的，假设前景亮度F和背景亮度B是每个像素附近小窗口上的近似常量，并设定前景亮度F和背景亮度B局部平滑；在本实施例中，前景亮度F和背景亮度B局部平滑并不意味着输入的图像I是局部平滑的，α不连续意味着I不连续；由此可对公式(1-4)Ii＝αiFi+(1-αi)Bi进行重写得到α表示成图像I的线性函数：
Figure BDA0002418270390000121
其中,
Figure BDA0002418270390000122
和W是小的图像窗口。
在此，需要求解出α、a和b，本项目通过最小化代价函数进行求解，公式如下：
Figure BDA0002418270390000123
其中，Wj是像素j附近的小窗口。此外，为了保证通过代价函数得到的数值具有稳定性，本实施例在代价函数中对a的进行正则化项操作。
优选的，在本实施例中，使用3×3像素的窗口实现上述操作，具体在每个像素周围放一个窗口，这样代价函数中的窗口Wj会重叠在一起，以保证相邻像素间的信息重叠，保证最后得到高质量的alpha抠图；当然，对于使用的像素窗口，本实施例并未进行限制和固定，可根据实际情况进行选择。这样，由于代价函数(1-6)是α，a和b的二次函数，在实际情况中，对一个有N个像素的图像，即公有3N个未知数；此时，为了得到只含有N个未知数的二次代价函数，即像素的alpha值，本实施例通过如下方式消除a和b。
在实施例中，通过基于深度学习的区域定位只能定位出人脸要素的位置，根据上述关于使用深度学习的定位过程可知当α＝0时的背景亮度B，以及α＝1时的前景亮度F；这样，就可以通过解如下方程：
α＝argminαTLα，s.t.αi＝si
s是笔刷像素集，si是笔刷所指的值实现α的提取操作，具体的，采用3×3的窗口定义拉普拉斯抠图矩阵，在其他实施例中，当前景亮度F和背景亮度B分布不是很复杂时，可用更宽的窗口；同时，为了保证使用更宽窗口的计算时间减少，本实施例采用与图像I的α磨砂通道的线性系数:
Figure BDA0002418270390000131
即用一个较宽的窗口在一个更精细的分辨率上得到的系数与从一个粗糙的图像上一个较小的窗口中获得相似，由此计算粗糙图像的线性系数；随后对线性系数插值，将其应用在一个更精细的分辨率图像上；从而获得的α磨砂通道与用更宽的窗口在更精细的图像上直接求解抠图系统时相似的，即得到α值，获得高质量的图片。
本发明使用了三种分割模型，模型也会采取不同参数去训练和预测，那么就会得到很多预测分割图，这样三种智能识别模型的识别结果为每个像素点是人脸的概率。接下来基于人工智能的方法对这三种识别模型的识别结果确定权重系数。方法为：利用人工智能的方法对这三种识别模型的历史识别正确率进行学习训练，通过智能学习训练得到每个识别模型的权重，最后通过加权平均得到每个像素点上某种气象要素发生的概率，当发生的概率大于某个阈值时(如80％)，则判别是人脸图像，从而得到准确的人脸轮廓图像。
在一个具体的实施例中，参见附图6，步骤S3具体包括：
S301：构建特征融合残差网络，选取多个测试者佩戴心电采集设备获得的心电图像以及同时刻拍摄的视频图像经所述步骤S2处理后得到的人脸轮廓图像作为测试集，对特征融合残差网络进行训练，得到心电检测模型；
S302：将步骤S2获得的一段视图图像中的人脸轮廓图像输入心电检测模型，输出得到心电曲线。
下面对本实施例中提到的特征融合残差网络结构做具体说明。
特征融合残差网络(FFRN)是基于超分辨网络EDSR和WDSR整合得到的，该网络适用于稀疏CT图像重建，FFRN网络架构如图7所示。首先EDSR和WDSR的提出在其相关领域都取得了巨大的进步，也为图像重建方向提供了重要的思路，二者均采用残差块，WDSR也对残差块进行了改进，减少了网络的参数，同时增加了准确性。但二者均没有充分利用RB中的特征信息。因此，我们提出采用RSDB作为网络浅层的构建模块。局部特征融合层在构建模块的两层卷积层后。RSDB跳过式的连接两个构建模块中局部特征融合层，前一个模块特征融合结果作为后一个模块的输入。而后堆叠局部特征融合后的特征，利用残差学习来整合特征信息，形成网络基本架构。
从图8可以看到，EDSR和WDSR均在网络末端使用上采样(pixel shuffl)，这种方法可以减少计算而不会损失模型容量，大幅提高运行速度。而WDSR采用的新型上采样方法(pixel shuffle)对网络准确性定影响不大。图像的缩放操作不会增加图像的信息，因此图像的质量将不可避免的下降，特征信息也会受到影响。而医学影像校正任务是对密集像素进行预测，对于特征信息量大小非常敏感，因此FFRN网络选择舍弃上采样方法，网络中图像大小保持不变的进行端到端学习。
当使用卷积提取图像特征时，卷积核的大小将确定卷积的感受野，并且还会影响模型的参数量。为了减少计算开销和参数，WDSR-B选择增加ReLU激活层前面的卷积核个数，并减少ReLU激活层之后的卷积核个数。WDSR-A在激活层前后使用3×3大小卷积核，而WDSR-B在ReLU激活层前后使用1×1大小卷积核进一步扩大激活层前通道数，获得更宽泛的特征图，如图9所示。当WDSR-B训练以RB为网络构建模块的深度神经网络时。网络达到一定深度后，精度没有明显提高。其CT图像伪影去除性能甚至不如WDSR-A。因此，我们提出的RSDB中均使用3×3小卷积核。这种形式可以增加卷积感受野，同时又避免了使用大卷积核提取太多毫无意义的特征。将3×3卷积核拆分为3×1和1×3卷积核具有与3×3卷积核相同的效果，并加快了操作速度。网络最后层为全连接层，与输出心电曲线耦合。
在本实施例中，由于心电信号所有的信息波段中，R波最明显，所以通过检测每分钟内R波出现的次数可以计算待测者的心率。
在一个具体的实施例中，参见附图10，步骤S5具体包括：
S501：构建深度学习网络，选取多组不同试验者在同一条件下的心率与体温的对应数据，对深度学习网络进行训练，得到心率体温换算模型；
S502：将得到的待测者的心率值输入心率体温换算模型，输出得到待测者的体温值。
通过构建深度学习网络对多组心率与体温对应数据进行训练，获得心率体温换算关系，进而将待测者的心率数据作为输入值输入模型后，输出对应的体温值，实现体温的测量。
在一些实施例中，还可以通过现有的心率与体温的对应关系，对体温数据进行估算，方法如下：
1)将得到的待测者的心率值与正常心率基准进行做差计算，得到心率差值；
2)根据得到的心率差值以及心率与体温的变换关系，计算体温差值；
3)将得到的体温差值与正常体温基准进行求和计算，得到待测者的体温值。
由于人体的体温每上升1℃心率会增加10次/分,正常人在平静状态下的心率一般在60-90次/分之间，由此可以得到体温与心率大致的换算关系，进而可以通过心率值对体温值进行估算。
综上所述，本发明实施例提供的方法，与现有技术相比，具有如下优点：
1、通过对原始视频图像进行颜色校正，去除光线带来的干扰；
2、该方法使用深度学习的方法获取心电曲线，无需对人脸的关键部位进行定位，只需将人脸轮廓图像输入构建好的模型中，即可得到心电曲线，整个测量过程简单便捷；
3、在测得心率的基础上，还可以进一步利用心率值计算到待测者的体温数据，整个方法不仅测量精度大大提高，功能也更加齐全，更能满足实际心率、体温测量需求。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种基于摄像头的非接触式心率、体温测量方法，其特征在于，包括：
S1：在普通可见光条件下，通过摄像头采集待测者面部区域的视频图像，并对采集到的视频图像进行颜色校正；
S2：对颜色校正后的每一帧视频图像分别进行人脸识别，并从识别出的人脸区域中截取人脸轮廓图像；
S3：对一段连续的视频图像中截取的人脸轮廓图像分别进行深度学习，并求取心电曲线；
S4：对得到的心电曲线进行消除基线漂移以及强化R波处理，通过每分钟内R波出现的次数计算得到待测者的心率值；
S5：根据人体正常心率基准与得到的心率值的关系，计算待测者的体温值。
2.根据权利要求1所述的一种基于摄像头的非接触式心率、体温测量方法，其特征在于，步骤S1中，对采集到的视频图像进行颜色校正，具体包括：
S101：建立非彩色模型，假设平均图像是非彩色的；
S102：获取每一帧视频图像的RGB值，将每一帧视频图像的RGB值分别代入所述非彩色模型进行颜色校正。
3.根据权利要求2所述的一种基于摄像头的非接触式心率、体温测量方法，其特征在于，所述非彩色模型为：
Figure FDA0002418270380000011
其中，
Figure FDA0002418270380000012
为校正后的颜色分量，k为比例系数，取值为：
Figure FDA0002418270380000013
其中，V＝2N-1，0＜N＜225。
4.根据权利要求1所述的一种基于摄像头的非接触式心率、体温测量方法，其特征在于，步骤S2具体包括：
S201：分别构建SegNet语义分割模型、U-net语义分割模型以及Faster-RCNN与数字抠图耦合的语义分割模型；
S202：分别使用构建好的SegNet语义分割模型、U-net语义分割模型和Faster-RCNN与数字抠图相耦合的语义分割模型对颜色校正后的每一帧视频图像进行人脸识别和语义分割，得到三组识别结果；
S203：将得到的三组识别结果进行加权平均得到最终的人脸轮廓图像。
5.根据权利要求1所述的一种基于摄像头的非接触式心率、体温测量方法，其特征在于，步骤S3具体包括：
S301：构建特征融合残差网络，选取多个测试者佩戴心电采集设备获得的心电图像以及同时刻拍摄的视频图像经所述步骤S2处理后得到的人脸轮廓图像作为测试集，对特征融合残差网络进行训练，得到心电检测模型；
S302：将步骤S2获得的一段视图图像中的人脸轮廓图像输入心电检测模型，输出得到心电曲线。
6.根据权利要求1所述的一种基于摄像头的非接触式心率、体温测量方法，其特征在于，步骤S5具体包括：
S501：构建深度学习网络，选取多组不同试验者在同一条件下的心率与体温的对应数据，对深度学习网络进行训练，得到心率体温换算模型；
S502：将得到的待测者的心率值输入心率体温换算模型，输出得到待测者的体温值。
CN202010197862.3A 2020-03-19 2020-03-19 一种基于摄像头的非接触式心率、体温测量方法 Expired - Fee Related CN111407245B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010197862.3A CN111407245B (zh) 2020-03-19 2020-03-19 一种基于摄像头的非接触式心率、体温测量方法
PCT/CN2020/103087 WO2021184620A1 (zh) 2020-03-19 2020-07-20 一种基于摄像头的非接触式心率、体温测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010197862.3A CN111407245B (zh) 2020-03-19 2020-03-19 一种基于摄像头的非接触式心率、体温测量方法

Publications (2)

Publication Number Publication Date
CN111407245A true CN111407245A (zh) 2020-07-14
CN111407245B CN111407245B (zh) 2021-11-02

Family

ID=71485210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010197862.3A Expired - Fee Related CN111407245B (zh) 2020-03-19 2020-03-19 一种基于摄像头的非接触式心率、体温测量方法

Country Status (2)

Country Link
CN (1) CN111407245B (zh)
WO (1) WO2021184620A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001122A (zh) * 2020-08-26 2020-11-27 合肥工业大学 基于端到端生成对抗网络的非接触式生理信号测量方法
CN112381011A (zh) * 2020-11-18 2021-02-19 中国科学院自动化研究所 基于人脸图像的非接触式心率测量方法、系统及装置
WO2021184620A1 (zh) * 2020-03-19 2021-09-23 南京昊眼晶睛智能科技有限公司 一种基于摄像头的非接触式心率、体温测量方法
CN113449653A (zh) * 2021-06-30 2021-09-28 广东电网有限责任公司 心率检测方法、系统、终端设备及存储介质
CN113496482A (zh) * 2021-05-21 2021-10-12 郑州大学 一种毒驾试纸图像分割模型、定位分割方法及便携式装置
CN113538350A (zh) * 2021-06-29 2021-10-22 河北深保投资发展有限公司 一种基于多摄像头识别基坑深度的方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887444B (zh) * 2021-10-08 2024-07-26 财悠悠科技(深圳)有限公司 一种图文印模正反立卷积神经网络深度处理方法
CN114305355B (zh) * 2022-01-05 2023-08-22 北京科技大学 基于毫米波雷达的呼吸心跳检测方法、系统及装置
CN114495213A (zh) * 2022-01-11 2022-05-13 南京邮电大学 基于人脸视频的心率估计方法及装置
CN115049918A (zh) * 2022-06-14 2022-09-13 中国科学院沈阳自动化研究所 一种用于水下机器人的图像目标快速检测方法及装置
CN114758363B (zh) * 2022-06-16 2022-08-19 四川金信石信息技术有限公司 一种基于深度学习的绝缘手套佩戴检测方法和系统
CN115375626B (zh) * 2022-07-25 2023-06-06 浙江大学 基于物理分辨率的医学图像分割方法、系统、介质及设备
CN116594061B (zh) * 2023-07-18 2023-09-22 吉林大学 一种基于多尺度u形注意网络的地震数据去噪方法
CN116889388B (zh) * 2023-09-11 2023-11-17 长春理工大学 一种基于rPPG技术的智能检测系统及方法

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7801591B1 (en) * 2000-05-30 2010-09-21 Vladimir Shusterman Digital healthcare information management
CN102902967A (zh) * 2012-10-16 2013-01-30 第三眼（天津）生物识别科技有限公司 基于人眼结构分类的虹膜和瞳孔的定位方法
CN105125181A (zh) * 2015-09-23 2015-12-09 广东小天才科技有限公司 一种测量用户体温的方法及装置
CN106447184A (zh) * 2016-09-21 2017-02-22 中国人民解放军国防科学技术大学 基于多传感器测量与神经网络学习的无人机操作员状态评估方法
CN106580294A (zh) * 2016-12-30 2017-04-26 上海交通大学 基于多模态成像技术的生理信号远程监控系统及应用
CN106845395A (zh) * 2017-01-19 2017-06-13 北京飞搜科技有限公司 一种基于人脸识别进行活体检测的方法
CN107692997A (zh) * 2017-11-08 2018-02-16 清华大学 心率检测方法及装置
CN107770490A (zh) * 2017-09-30 2018-03-06 广东博媒广告传播有限公司 一种led广告识别监控系统
US20180096457A1 (en) * 2016-09-08 2018-04-05 Carnegie Mellon University Methods and Software For Detecting Objects in Images Using a Multiscale Fast Region-Based Convolutional Neural Network
CN108596248A (zh) * 2018-04-23 2018-09-28 上海海洋大学 一种基于改进深度卷积神经网络的遥感影像分类模型
CN108665496A (zh) * 2018-03-21 2018-10-16 浙江大学 一种基于深度学习的端到端的语义即时定位与建图方法
CN108921163A (zh) * 2018-06-08 2018-11-30 南京大学 一种基于深度学习的包装喷码检测方法
CN109044297A (zh) * 2018-09-11 2018-12-21 管桂云 贴身小护士健康监控系统
CN109166130A (zh) * 2018-08-06 2019-01-08 北京市商汤科技开发有限公司 一种图像处理方法及图像处理装置
CN109190449A (zh) * 2018-07-09 2019-01-11 北京达佳互联信息技术有限公司 年龄识别方法、装置、电子设备及存储介质
CN109829892A (zh) * 2019-01-03 2019-05-31 众安信息技术服务有限公司 一种预测模型的训练方法、使用该模型的预测方法及装置
US20190205758A1 (en) * 2016-12-30 2019-07-04 Konica Minolta Laboratory U.S.A., Inc. Gland segmentation with deeply-supervised multi-level deconvolution networks
US20190371147A1 (en) * 2018-05-31 2019-12-05 Boe Technology Group Co., Ltd. Fire alarming method and device
CN110892408A (zh) * 2017-02-07 2020-03-17 迈恩德玛泽控股股份有限公司 用于立体视觉和跟踪的系统、方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8360986B2 (en) * 2006-06-30 2013-01-29 University Of Louisville Research Foundation, Inc. Non-contact and passive measurement of arterial pulse through thermal IR imaging, and analysis of thermal IR imagery
JP5949008B2 (ja) * 2012-03-16 2016-07-06 富士通株式会社 睡眠深度判定装置及び制御方法
CN105310667A (zh) * 2015-11-09 2016-02-10 北京体育大学 人体核心温度监测方法、运动预警方法及运动预警系统
KR101866883B1 (ko) * 2015-11-13 2018-06-12 금오공과대학교 산학협력단 비접촉 방식의 생체신호 측정방법 및 이를 이용한 생체신호 측정장치
CN107358220A (zh) * 2017-07-31 2017-11-17 江西中医药大学 一种人体心率与呼吸的非接触式测量方法
CN107802245A (zh) * 2017-09-26 2018-03-16 深圳市赛亿科技开发有限公司 一种脉搏监测机器人及其监测方法
CN109247923B (zh) * 2018-11-15 2020-12-15 中国科学院自动化研究所 基于视频的非接触式脉搏实时估计方法及设备
CN109846469B (zh) * 2019-04-16 2021-05-04 合肥工业大学 一种基于卷积神经网络的非接触式心率测量方法
CN110276271A (zh) * 2019-05-30 2019-09-24 福建工程学院 融合ippg和深度信息抗噪声干扰的非接触心率估计法
CN110236508A (zh) * 2019-06-12 2019-09-17 云南东巴文健康管理有限公司 一种无创血压连续监测方法
CN110384491A (zh) * 2019-08-21 2019-10-29 河南科技大学 一种基于普通摄像头的心率检测方法
CN111407245B (zh) * 2020-03-19 2021-11-02 南京昊眼晶睛智能科技有限公司 一种基于摄像头的非接触式心率、体温测量方法

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7801591B1 (en) * 2000-05-30 2010-09-21 Vladimir Shusterman Digital healthcare information management
CN102902967A (zh) * 2012-10-16 2013-01-30 第三眼（天津）生物识别科技有限公司 基于人眼结构分类的虹膜和瞳孔的定位方法
CN105125181A (zh) * 2015-09-23 2015-12-09 广东小天才科技有限公司 一种测量用户体温的方法及装置
US20180096457A1 (en) * 2016-09-08 2018-04-05 Carnegie Mellon University Methods and Software For Detecting Objects in Images Using a Multiscale Fast Region-Based Convolutional Neural Network
CN106447184A (zh) * 2016-09-21 2017-02-22 中国人民解放军国防科学技术大学 基于多传感器测量与神经网络学习的无人机操作员状态评估方法
CN106580294A (zh) * 2016-12-30 2017-04-26 上海交通大学 基于多模态成像技术的生理信号远程监控系统及应用
US20190205758A1 (en) * 2016-12-30 2019-07-04 Konica Minolta Laboratory U.S.A., Inc. Gland segmentation with deeply-supervised multi-level deconvolution networks
CN106845395A (zh) * 2017-01-19 2017-06-13 北京飞搜科技有限公司 一种基于人脸识别进行活体检测的方法
CN110892408A (zh) * 2017-02-07 2020-03-17 迈恩德玛泽控股股份有限公司 用于立体视觉和跟踪的系统、方法和装置
CN107770490A (zh) * 2017-09-30 2018-03-06 广东博媒广告传播有限公司 一种led广告识别监控系统
CN107692997A (zh) * 2017-11-08 2018-02-16 清华大学 心率检测方法及装置
CN108665496A (zh) * 2018-03-21 2018-10-16 浙江大学 一种基于深度学习的端到端的语义即时定位与建图方法
CN108596248A (zh) * 2018-04-23 2018-09-28 上海海洋大学 一种基于改进深度卷积神经网络的遥感影像分类模型
US20190371147A1 (en) * 2018-05-31 2019-12-05 Boe Technology Group Co., Ltd. Fire alarming method and device
CN108921163A (zh) * 2018-06-08 2018-11-30 南京大学 一种基于深度学习的包装喷码检测方法
CN109190449A (zh) * 2018-07-09 2019-01-11 北京达佳互联信息技术有限公司 年龄识别方法、装置、电子设备及存储介质
CN109166130A (zh) * 2018-08-06 2019-01-08 北京市商汤科技开发有限公司 一种图像处理方法及图像处理装置
CN109044297A (zh) * 2018-09-11 2018-12-21 管桂云 贴身小护士健康监控系统
CN109829892A (zh) * 2019-01-03 2019-05-31 众安信息技术服务有限公司 一种预测模型的训练方法、使用该模型的预测方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
VIJAY BADRINARAYANAN: "《SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation》", 《IEEE》 *
姜慧明: "《改进U型卷积网络的细胞核分割方法》", 《西安交通大学学报》 *
陈继祥: "《临床物理诊断手册》", 31 December 1996 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021184620A1 (zh) * 2020-03-19 2021-09-23 南京昊眼晶睛智能科技有限公司 一种基于摄像头的非接触式心率、体温测量方法
CN112001122A (zh) * 2020-08-26 2020-11-27 合肥工业大学 基于端到端生成对抗网络的非接触式生理信号测量方法
CN112001122B (zh) * 2020-08-26 2023-09-26 合肥工业大学 基于端到端生成对抗网络的非接触式生理信号测量方法
CN112381011A (zh) * 2020-11-18 2021-02-19 中国科学院自动化研究所 基于人脸图像的非接触式心率测量方法、系统及装置
CN112381011B (zh) * 2020-11-18 2023-08-22 中国科学院自动化研究所 基于人脸图像的非接触式心率测量方法、系统及装置
CN113496482A (zh) * 2021-05-21 2021-10-12 郑州大学 一种毒驾试纸图像分割模型、定位分割方法及便携式装置
CN113496482B (zh) * 2021-05-21 2022-10-04 郑州大学 一种毒驾试纸图像分割模型、定位分割方法及便携式装置
CN113538350A (zh) * 2021-06-29 2021-10-22 河北深保投资发展有限公司 一种基于多摄像头识别基坑深度的方法
CN113449653A (zh) * 2021-06-30 2021-09-28 广东电网有限责任公司 心率检测方法、系统、终端设备及存储介质

Also Published As

Publication number Publication date
WO2021184620A1 (zh) 2021-09-23
CN111407245B (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN111407245B (zh) 一种基于摄像头的非接触式心率、体温测量方法
CN108830155B (zh) 一种基于深度学习的心脏冠状动脉分割及识别的方法
CN110288597B (zh) 基于注意力机制的无线胶囊内窥镜视频显著性检测方法
CN111862044B (zh) 超声图像处理方法、装置、计算机设备和存储介质
CN110675335B (zh) 基于多分辨率残差融合网络的浅表静脉增强方法
CN110706826B (zh) 一种基于视频图像的非接触式的实时多人心率和血压测量方法
TW202014984A (zh) 一種圖像處理方法、電子設備及存儲介質
CN113298780B (zh) 一种基于深度学习的儿童骨龄评估方法及系统
CN112465905A (zh) 基于深度学习的磁共振成像数据的特征脑区定位方法
Bourbakis Detecting abnormal patterns in WCE images
CN116681636B (zh) 基于卷积神经网络的轻量化红外与可见光图像融合方法
CN112669959B (zh) 一种基于图像的白癜风病情自动评估方法
CN118096584B (zh) 基于上下文感知和多尺度扩散网络的超声图像增强方法
Zhou et al. A perceptual framework for infrared–visible image fusion based on multiscale structure decomposition and biological vision
Zheng et al. Heart rate prediction from facial video with masks using eye location and corrected by convolutional neural networks
CN111488912B (zh) 一种基于深度学习神经网络的喉部疾病诊断系统
CN118097160B (zh) 基于视觉技术的危急重症病患状态监测系统
Dresp-Langley et al. Using the quantization error from Self‐Organizing Map (SOM) output for fast detection of critical variations in image time series
CA3147017C (en) System and method for classifying dermatological images using machine learning
CN116109818A (zh) 一种基于面部视频的中医脉候判别系统及方法和装置
CN113160151B (zh) 基于深度学习及注意力机制的全景片龋齿深度识别方法
Mohamed et al. On analyzing various density functions of local binary patterns for optic disc segmentation
CN111754503B (zh) 基于两通道卷积神经网络的肠镜退镜超速占比监测方法
CN116453171A (zh) 白睛区域内血脉颜色的检测方法、装置、电子设备和介质
CN114627136B (zh) 一种基于特征金字塔网络的舌象分割与对齐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211102

CF01 Termination of patent right due to non-payment of annual fee