CN116109818B - 一种基于面部视频的中医脉候判别系统及方法和装置 - Google Patents

一种基于面部视频的中医脉候判别系统及方法和装置 Download PDF

Info

Publication number
CN116109818B
CN116109818B CN202310379090.9A CN202310379090A CN116109818B CN 116109818 B CN116109818 B CN 116109818B CN 202310379090 A CN202310379090 A CN 202310379090A CN 116109818 B CN116109818 B CN 116109818B
Authority
CN
China
Prior art keywords
pulse
face
neural network
signal
time sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310379090.9A
Other languages
English (en)
Other versions
CN116109818A (zh
Inventor
许强
李炜弘
赵智慧
温川飙
高原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu University of Traditional Chinese Medicine
Original Assignee
Chengdu University of Traditional Chinese Medicine
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu University of Traditional Chinese Medicine filed Critical Chengdu University of Traditional Chinese Medicine
Priority to CN202310379090.9A priority Critical patent/CN116109818B/zh
Publication of CN116109818A publication Critical patent/CN116109818A/zh
Application granted granted Critical
Publication of CN116109818B publication Critical patent/CN116109818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4854—Diagnosis based on concepts of traditional oriental medicine
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Cardiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Mathematical Physics (AREA)
  • Alternative & Traditional Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于面部视频的中医脉候判别系统及方法和装置，涉及医疗及信息技术领域，方法包括：S1.视频采集模块采集用户的原始面部视频数据；S2.ROI侦测单元从原始面部视频数据中的每帧图片中提取面部感兴趣区域，得出面部可计算区域；S3.信号提取单元提取面部可计算区域的绿色光谱，通过对输出的光线均衡权重进行加权求和，得到时序特征信号X；S4.滤波单元对时序特征信号X进行过滤得到脉候波形信号；S5.脉候判别模块通过神经网络对脉候波形信号进行训练，得出脉候类型。本发明解决了脉候波形信号纯净度低导致脉候类型判别准确率低的不足。

Description

一种基于面部视频的中医脉候判别系统及方法和装置
技术领域
本发明涉及医疗及信息技术领域，特别涉及一种基于面部视频的中医脉候判别系统及方法和装置。
背景技术
脉诊为中医四诊中历史悠久且独树一帜的诊法之一，但传统医生诊脉给人“在心易了，指下难明”的困惑。如何借助现代科技手段，实现脉诊客观化记录及诊断，已成为中医脉诊行业发展的客观需求。近年来，随着现代科技的突破，脉诊客观化也得到突飞猛进的发展，但当前脉诊客观化具有高度的设备依赖性，即广泛地依赖脉搏传感器，如压力传感器、光纤脉搏传感器、超声多普勒等，应用场景受限。
近年来，基于面部视频的非接触生理健康参数检测是当前生物信息学的研究热点。由于人体血管血容量随心脏跳动而变化，血管中的血红蛋白会吸收某个频段的光导致反射光周期性变化，通过摄像头这一非接触式设备记录人脸面部视频信息以捕捉周期性变化的反射光信号，从而检测诸多生理健康参数。但当前生理参数多聚焦于心率、血压、血糖等指标，中医脉候检测产品较少。从通识经验上讲，心率血压与中医脉候同为血流动力学相关指标，通过面部视频能够检测心率血压，理论上则可通过面部视频判别中医脉候。
如一种非接触式中医脉象检测方法及装置(申请号：CN202110761753.4)、基于人脸视频实时显示脉象波形的方法和系统(申请号：CN201911249939.0)等专利所示，基于面部视频的非接触式脉象检测，目前主要使用的技术方案如下：(1)通过摄像头采集患者的面部视频；(2)通过信号处理方法提取脉候波波形；目前使用的技术方案存在如下问题和缺陷：(1)目前方案均是通过面部视频提取脉象即脉候波形，无法直接判别脉候类型，无法直接给专业医生提供脉诊结果；(2)基于面部视频提取脉候波形往往存在大量噪声，传统去噪方法提取纯净脉候波形能力有限。
发明内容
本发明目的在于克服现有技术中脉候波形信号纯净度低导致脉候类型判别准确率低的不足，提供一种基于面部视频的中医脉候判别系统及方法和装置。
为了实现上述发明目的，本发明提供了以下技术方案：
一种基于面部视频的中医脉候判别方法，包括以下步骤：
S1.视频采集模块采集用户的原始面部视频数据；
S2.ROI侦测单元从所述原始面部视频数据中的每帧图片中提取面部感兴趣区域，得出面部可计算区域；
S3.信号提取单元提取所述面部可计算区域的绿色光谱，通过对输出的光线均衡权重进行加权求和，得到时序特征信号X；
S4.滤波单元对所述时序特征信号X进行过滤得到脉候波形信号；
S5.脉候判别模块通过神经网络对所述脉候波形信号进行训练，得出脉候类型。
优选地，还包括：
S6.多任务联合学习单元将心率、血压与所述脉候类型进行联合训练，通过神经网络权重共享对神经网络模型进行优化；
S7.勘误修正单元对所述神经网络模型判定为错误的所述原始面部视频数据进行反馈修正，并送入所述神经网络模型重新训练，实现所述神经网络模型闭环优化。
优选地，在步骤S2中，所述ROI侦测单元从所述原始面部视频数据中的每帧图片中提取面部感兴趣区域，得出面部可计算区域，是通过循环神经网络实现的，所述循环神经网络嵌套U-Net网络，并且对接收到的所述原始面部视频数据中的每帧图片进行处理，得到人脸位置坐标、人脸像素分类、蓝色通道平均值或红色通道平均值，还使用混合损失对所述循环神经网络进行训练，以确定每帧图片中的所述面部可计算区域。
优选地，所述混合损失包括人脸侦测损失、面部皮肤分割掩码损失、面部光线平滑损失，对所述人脸侦测损失、所述面部皮肤分割掩码损失、所述面部光线平滑损失进行加权求和得到所述混合损失，
所述人脸侦测损失根据所述人脸位置坐标计算得出，计算公式如下：
其中，LPOS为人脸侦测损失，N为训练批次大小，Y为人脸位置坐标，T为标签位置；
所述面部皮肤分割掩码损失根据所述人脸像素分类计算得出，计算公式如下：
其中，Lcls为面部皮肤分割掩码损失，N为训练批次大小，M为每张图片像素数量，m为图片的序号，j为人脸像素分类，pj为第j个像素的归类，pj为OneHot表达形式，其中0为背景像素，1为面部皮肤像素；
所述面部光线平滑损失根据所述蓝色通道平均值或红色通道平均值计算得出，计算公式如下：
其中，Lblue/red为面部光线平滑损失，N为训练批次大小，m为图片的序号，P为蓝色或红色通道值，为蓝色通道平均值或红色通道平均值；
所述混合损失的计算公式如下：
L＝αLpos+βLcls+γLblue/red，
其中，α为人脸侦测损失的权重、β为面部皮肤分割掩码损失的权重、γ为面部光线平滑损失的权重。
优选地，在步骤S3中，所述信号提取单元提取所述面部可计算区域的绿色光谱，通过对输出的光线均衡权重进行加权求和，得到时序特征信号X，包括以下步骤：
S31.所述信号提取单元对所述面部可计算区域进行RGB颜色通道分离，通过调用opencv工具库提取R，G，B三个颜色光谱，再从中提取绿色光谱，得到绿色通道信息；
S32.通过对输出的光线均衡权重进行加权求和，得到每一帧的时序特征信号xi，所述每一帧的时序特征信号xi的计算公式如下：
其中，M为每张图片像素数量，αblue/red为蓝色或红色通道光照强度权重，通过Attention神经网络模型训练得到，rgreen为绿色通道信息；
S33.将全部帧的时序特征信号进行整合，得到所述时序特征信号X，所述时序特征信号X的表达式如下：
X＝{xt-n，xt-n+1，xt-n+2，…，xt}，
其中，t为获取视频总帧数，n为选择信号的帧数。
优选地，在步骤S41中，所述使用汉明窗卷积滤波器对所述时序特征信号X进行低频信号的过滤，包括以下步骤：
S411.使用步长为λ的汉明窗卷积滤波器对所述时序特征信号X做卷积操作得到滤波后的时序特征信号Xfilter，并且后移5个单位与所述时序特征信号X对齐。汉明窗卷积滤波器的卷积计算方式如下：
Hamming＝1-α-αcos(2Πi/(N-1))，0≤i≤N-1，α＝0.46，
s412.将对齐后的时序特征信号Xsource减去滤波后的时序特征信号Xfilter得到不含低频信号的时序特征信号Znew，即
Znew＝Xsource-Xfilter＝{Zt-n，Zt-n+1，Zt-n+2，…，Zt}，
其中，t为获取视频总帧数，n为选择信号的帧数。
优选地，在步骤S42中，所述使用深度一维卷积神经网络训练中通滤波器以过滤所述时序特征信号X的中频信号，包括以下步骤：
S421.在0.8Hz～1.8Hz范围内构建m个h信号，将所述m个h信号加和，得到H信号，即
S422.在08Hz～1.8Hz范围外构建n个g信号，将所述n个g信号加和，得到G信号，即
S423.将所述H信号与所述G信号加和得到D信号，即
D＝H+G，
S424.将所述D信号作为输入，所述H信号和所述G信号作为输出，训练中通滤波器。
优选地，在步骤S5中，所述脉候判别模块通过神经网络对所述脉候波形信号X进行训练，得出脉候类型，所述神经网络选择ResNet神经网络，并引入轻量级注意力，采用数据驱动策略构建以所述脉候波形信号为输入，脉候类型为输出的ResNet神经网络模型。
优选地，在步骤S6中，所述多任务联合学习单元将心率、血压与脉候类型进行联合训练，通过神经网络权重共享对神经网络模型进行优化，包括以下步骤：
S61.将脉候类型对应的判别任务与心率、血压判别任务共享一个网络，实现权重共享，其中心率信息标签和血压信息标签都是通过人工采集得到；
S62.将所述判别任务对应的损失函数进行叠加，构成最终的共享网络损失函数Ltotal，共享网络损失函数Ltotal的计算公式如下：
Ltotal＝∑λiLi+Lheart+Lbp，
其中，Li为每个脉候判别任务对应的损失函数，λi为损失函数的平衡系数，Lheart为心率预测对应的损失，Lbp为血压预测对应的损失。
优选地，在步骤S7中，所述勘误修正单元对所述神经网络模型判定为错误的所述原始面部视频数据进行反馈修正，并送入所述神经网络模型重新训练，实现所述神经网络模型闭环优化，包括以下步骤：
S71.向所述神经网络模型输入脉候波形信号A，所述神经网络模型判断所述脉候波形信号对应的脉候类型B；
S72.专家判断所述脉候波形信号A对应的脉候类型B’；
S73.判断脉候类型B与脉候类型B’是否一致，若不一致，将所述原始面部视频数据送入所述神经网络模型中重新进行迭代训练。
一种基于面部视频的中医脉候判别系统，包括视频采集模块、信号处理模块、脉候判别模块，
所述视频采集模块用于采集用户的原始面部视频数据，并将所述原始面部视频数据发送给所述信号处理模块，所述视频采集模块在自然光、白炽灯(色温在3000～4000K)或日光灯(色温在6000～6500K)环境下进行拍摄(白天采集选择自然光，夜晚采集选择白炽灯或日光灯)，采集设备为手机或移动设备摄像头，像素分辨率大于544pixel×960pixel，帧频大于25frame/s，采集时长大于15s，采集过程中受试者静坐在正对手机摄像头并与之水平相距70cm左右的位置，保持安静状态拍摄，
所述信号处理模块包括ROI侦测单元、信号提取单元和滤波单元，所述ROI侦测单元接收所述原始面部视频数据，并从所述原始面部视频数据中的每帧图片中提取面部感兴趣区域，得到面部可计算区域，并将所述面部可计算区域发送给所述信号提取单元，ROI是region ofinterest的缩写，也就是感兴趣区域，ROI侦测单元也就是感兴趣区域侦测单元，
所述信号提取单元提取所述面部可计算区域的绿色光谱，通过对输出的光线均衡权重进行加权求和，得到时序特征信号X，并将所述时序特征信号X发送给所述滤波单元，
所述滤波单元对所述时序特征信号X进行过滤，得到脉候波形信号，并将所述脉候波形信号发送给所述脉候判别模块，
所述脉候判别模块通过神经网络对所述脉候波形信号进行训练，得出脉候类型。
优选地，还包括模型升级模块，所述模型升级模块包括多任务联合学习单元和勘误修正单元，所述多任务联合学习单元将心率、血压与脉候类型进行联合训练，通过神经网络权重共享对神经网络模型进行优化，所述勘误修正单元对所述神经网络模型判定为错误的原始面部视频数据进行反馈修正并送入所述神经网络模型重新训练，从而实现所述神经网络模型闭环优化。
优选地，脉候类型包括脉位、脉数、脉长、脉宽、脉紧张度、脉力度、脉流利度、脉均匀度，所述脉位包括浮脉、沉脉、适中脉，所述脉数包括迟脉、数脉、适中脉，所述脉长包括长脉、短脉、适中脉，所述脉宽包括宽脉、细脉、适中脉，所述脉紧张度包括紧张脉、松驰脉、柔和脉，所述脉力度包括有力脉、无力脉，所述脉均匀度包括均匀脉、非均匀脉，所述脉流利度是指脉管的紧急与弛缓程度。
一种基于面部视频的中医脉候判别装置，包含至少一个处理器和至少一个与处理器通信连接的存储器，所述存储器存储有可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使至少一个处理器能够执行所述方法或所述系统的任意步骤或操作。
与现有技术相比，本发明的有益效果：
本发明通过摄像头采集用户面部视频，用神经网络根据脉候波形信号直接确定脉候类型，节约了时力，形成非接触式的信息采集与脉象检测解决方案，替代中医医生或传统脉诊仪的脉象采集与分析过程，可用于中医移动医疗、居家健康监测场景，另外ROI侦测单元提高了面部感兴趣区域的提取准确率，滤波单元过滤脉候波形信号中的低频信号和中频信号，提高了脉候波形信号的纯净度，进而提高了脉候类型的判别准确率，相应地提高了诊断准确率。
附图说明
图1为本发明基于面部视频的中医脉候判别系统结构框图；
图2为本发明确定的面部感兴趣区域；
图3为本发明信号处理模块流程；
图4为本发明中ROI侦测单元使用的神经网络。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
如图1所示，一种基于面部视频的中医脉候判别系统，包括视频采集模块、信号处理模块、脉候判别模块，模型升级模块，信号处理模块包括ROI侦测单元、信号提取单元和滤波单元，模型升级模块包括多任务联合学习单元和勘误修正单元。
本实施例以一位患者进行面部视频录入并进行中医脉候判别来详细说明本发明操作流程。
患者按页面信息提示进行注册，并填写个人信息，包括姓名、性别、年龄等，之后登录系统进入测试。首先进行面部视频拍摄，患者取站立位，在白天自然光下进行拍摄，采集设备为手机后者摄像头(Apple公司生产的iPhone XR手机后置摄像头)，像素分辨率为3840pixel×2160pixel，帧频为60frame/s，采集时长20s。采集过程中受试者静坐在正对手机摄像头并与之水平相距70cm左右的位置，双手持手机保持安静状态拍摄，尽量避免手机晃动。
如图3所示，信号处理模块对上述采集的视频进行信号处理，包括面部感兴趣区域侦测、信号提取及滤波。应用神经网络提取三个面部感兴趣区域如图2所示，椭圆代表整张人脸，三个感兴趣区分别是：(1)左颊部：面部左侧方框；(2)右颊部：面部右侧方框，(3)人脸最大裸露皮肤区域：除左颊部、右颊部外的面部区域。为加快检测的实时性和准确性，ROI侦测单元以循环神经网络为主干，嵌套U-Net网络，ROI侦测单元使用的神经网络的结构图如图4所示，给定面部视频对应的每帧图像信息，经过神经网络前向传播，输出人脸位置坐标、人脸像素分类、蓝色通道平均值，使用包括人脸侦测损失、面部皮肤分割掩码损失、面部光线平滑损失在内的混合损失进行循环神经网络训练，信号提取单元提取每帧图片面部感兴趣区域的绿色光谱，通过光线均衡权重加权求和转变成时序特征信号，最后使用两个滤波器对上述信号进行去噪，从而提取可反应中医脉候的脉候波形信号。
循环神经网络训练的具体过程如下：
首先人工采集人脸位置坐标及人脸像素分类。通过labelimg矩形标注工具和labelme多边形标注工具分别标注出人脸位置坐标和人脸像素分类。人脸位置坐标主要包括中心点横纵坐标以及区域框的宽高四个元素。在循环神经网络前向推理阶段，通过引入三个全连接层作为head层，分别用于输出人脸位置坐标、人脸像素分类、蓝色通道平均值，如图4所示，并与先前采集的数据标签进行混合损失计算，运用误差反向传播学习算法，对模型权重以及偏置进行训练优化。在训练过程中，会采用Adam优化器进行梯度更新以寻求网络参数的全局最优解。
在循环神经网络预测推理阶段，由于本模型采用的是多任务联合学习的方式，所以引入了三个head层输出最终的人脸可计算区域。即当循环神经网络的参数确定后，输入的视频帧图像经底层神经网络提取特征，再输送到顶层网络的三个head头，这三个head头分别输出人脸位置坐标、人脸像素分类、蓝色通道平均值，此时得到的三个结果就是可以被视作为准确、有效的人脸可计算区域信息。以上的人脸可计算区域信息就可以为后续信号提取等步骤做好准备。
进一步地，ROI侦测单元具体的处理过程如下：
设置训练批次大小N＝32，人脸侦测损失计算如下，Y为人脸位置坐标，T为标签位置：
面部皮肤分割掩码损失是为人脸中每个像素进行归类，是一个OneHot表达形式。由于每帧图片中，低频信号远多于高频信号，但切割的主要对象是高频信号，这导致的样本不均衡问题会极大程度降低分割精度，故使用困难样本训练损失FocalLoss作为像素分类损失信号。设置训练批次大小N＝32，M为每张图片像素数量，m为图片序号，在当前iPhoneXR后置摄像头拍摄下ROI像素数量为2300×1300＝2.99×106，j为人脸像素分类，pj为第j个像素的归类，设置为0.3，pj为OneHot表达形式，其中0为背景像素，1为面部皮肤像素，面部皮肤分割掩码损失计算公式为：
所述面部光线平滑损失公式如下，对上述ROI侦测单元通过RGB颜色通道分离技术分离出蓝色通道，计算蓝色通道平均值，让光线均衡输出靠近该平均值，计算出每个像素的光照强度的权重。
其中，P为蓝色通道值，蓝色通道平均值，m为图片序号。
最后，将人脸侦测损失、面部皮肤分割掩码损失和面部光线平滑损失三部分损失进行加权求和，得到总损失，设置人脸侦测损失的权重α＝0.4，面部皮肤分割掩码损失的权重β＝0.4，面部光线平滑损失的权重γ＝0.2：
L＝0.4×Lpos+0.4×Lcls+0.2×Lblue，
在上述训练获取每帧人脸可计算区域后，进入信号提取单元。对图像进行RGB颜色通道分离，提取绿色光谱，得到绿色通道信息。RGB通道信息是图像本身自带的特征信息，因此通过调用opencv工具库可实现R，G，B三通道信息特征的分离和提取，进而实现绿色(G)通道信息的获取。
通过深度神经网络输出的光线均衡权重进行加权求和得到每一帧的信号xi，xi的表达式如下：
其中，M为每张图片像素数量，αblue为蓝色通道光照强度权重，rgreen为绿色通道信息；
将全部帧的信号整合在一起，得到完整的时序信号X，时序特征信号X的表达式如下：
X＝{xt-n，xt-n+1，xt-n+2，…，xt}，
其中，t为获取视频总帧数，n为选择信号的帧数。
蓝色通道光照强度权重αblue的获取是通过Attention深度神经网络计算输出得到。Attention深度神经网络的输入主要包括Q(查询矩阵)、K(键矩阵)、V(值矩阵)，Q和K乘积再经softmax函数输出后即可获得权重值。将Q设置为蓝色通道信息特征，K为绿色通道信息，训练好的权重值即为蓝色或红色通道光照强度权重。
最后进入滤波单元。首先使用一个步长为11的汉明窗卷积滤波器对原始信号做卷积操作得到滤波后的时序特征信号Xfilter，然后后移5个单位与原始信号对齐。汉明窗卷积滤波器的卷积计算方式如下：
Hamming＝1-α-αcos(2πi/(N-1))，0≤i≤N-1，α＝01.46，
将对齐后的时序特征信号Xsource减去滤波后的时序特征信号Zfilter得到不含低频信号的时序特征信号Znew，即
Znew＝Xsource-Xfilter＝{Zt-n，Zt-n+1，Zt-n+2，…，Zt}，
其中，t为获取视频总帧数，n为选择信号的帧数。
然后使用深度一维卷积神经网络过滤器对信号再次过滤。该过滤器训练过程如下：通过程序任意的构建0.8Hz～1.8Hz的任意10000个h信号，然后再构建这段频率以外的任意20000个g信号。将这些信号叠加，得到新的信号D。
D＝H+G，
然后以D信号作为输入，H和G信号为输出，训练出一个中通滤波器。并用该过滤器对脉候波形信号再次过滤，得到较纯净的脉候波形信号。
脉候判别模块以ResNet为主干网络，引入轻量级注意力对脉候波形进行训练，从而得出脉候类型，脉候类型包括脉位、脉数、脉长、脉宽、脉紧张度、脉力度、脉流利度、脉均匀度，脉位包括浮脉、沉脉、适中脉，脉数包括迟脉、数脉、适中脉，所述脉长包括长脉、短脉、适中脉，脉宽包括宽脉、细脉、适中脉，脉紧张度包括紧张脉、松驰脉、柔和脉，脉力度包括有力脉、无力脉，脉均匀度包括均匀脉、非均匀脉，脉流利度是指脉管的紧急与弛缓程度。具体来讲，在模型训练阶段，通过人工将脉候波形信号打上各种脉候类型标签，使用ResNet-Attention模型实现脉候波形信号与脉候类型之间的关系学习与捕获。当模型损失收敛后，即可通过不同的脉候波形信号来辨别不同的脉候类型。
模型升级模块包括多任务联合学习单元和勘误修正单元。多任务联合学习单元引入心率血压与脉候进行联合训练，训练过程中采用脉位、脉数、脉长、脉宽、脉紧张度、脉力度、脉流利度、脉均匀度8个脉候维度判别任务共享同一个网络，实现权重共享，设置脉位、脉数、脉长、脉宽、脉紧张度、脉力、脉流利度、脉均匀度的损失函数平衡系数为0.15、0.15、0.1、0.1、0.15、0.15、0.1、0.1，分别与对应的损失相乘在叠加，构成共享网络损失函数，再与心率预测对应损失Lheart及血压预测对应损失Lbp相加，即为总损失：
Ltotal＝0.15×L脉位+0.15×L脉数+0.1×L脉长+0.1xL脉宽+0.15×l脉紧张度+0.15×L脉力+0.1×L脉流利度+0.1×L脉均匀度+Lheart+Lbp，
由于心率、血压与脉候之间存在密不可分的联系，所以通过引入Lheart和Lbp帮助模型提高对脉候的分类准确率。具体做法是在ResNet-Attention脉候判别模型的基础上，新增模型顶层的两个分支输出(即多任务联合学习单元)。该多任务联合学习单元同样以视频帧信号为输入，然后将新增的两个模型输出与人工标注好的心率信息标签和血压信息标签进行损失计算，分别得到Lheart和Lbp。在误差反向传播的过程中，总损失会影响到ResNet等底层神经网络权重参数的更新，进而影响模型对脉候类型的判断。
当输入特定的脉候波形A经神经网络模型判别得出最终脉候类型B与专家对该脉候波形A判别的脉候类型B’不一致时，需进入勘误修正单元。将面部视频数据送入神经网络模型重新进行迭代训练，从而持续优化神经网络模型的分类准确率。
一种基于面部视频的中医脉候判别装置，采用Corei7-12700处理器，存储器采用三星980PRO1T的固态硬盘。
本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于面部视频的中医脉候判别方法，其特征在于，包括以下步骤：
S1.视频采集模块采集用户的原始面部视频数据；
S2.ROI侦测单元从所述原始面部视频数据中的每帧图片中提取面部感兴趣区域，得出面部可计算区域；
S3.信号提取单元提取所述面部可计算区域的绿色光谱，通过对输出的光线均衡权重进行加权求和，得到时序特征信号X；
S4.滤波单元对所述时序特征信号X进行过滤得到脉候波形信号，包括以下步骤：
S41.使用汉明窗卷积滤波器对所述时序特征信号X进行低频信号的过滤；
S42.使用深度一维卷积神经网络训练中通滤波器以过滤所述时序特征信号X的中频信号；
S5.脉候判别模块通过神经网络对所述脉候波形信号进行训练，得出脉候类型。
2.根据权利要求1所述的一种基于面部视频的中医脉候判别方法，其特征在于，还包括：
S6.多任务联合学习单元将心率、血压与所述脉候类型进行联合训练，通过神经网络权重共享对神经网络模型进行优化；
S7.勘误修正单元对所述神经网络模型判定为错误的所述原始面部视频数据进行反馈修正，并送入所述神经网络模型重新训练，实现所述神经网络模型闭环优化。
3.根据权利要求1所述的一种基于面部视频的中医脉候判别方法，其特征在于，在步骤S2中，所述ROI侦测单元从所述原始面部视频数据中的每帧图片中提取面部感兴趣区域，得出面部可计算区域，是通过循环神经网络实现的，所述循环神经网络嵌套U-Net网络，并且对接收到的所述原始面部视频数据中的每帧图片进行处理，得到人脸位置坐标、人脸像素分类、蓝色通道平均值或红色通道平均值，还使用混合损失对所述循环神经网络进行训练，以确定每帧图片中的所述面部可计算区域。
4.根据权利要求1所述的一种基于面部视频的中医脉候判别方法，其特征在于，在步骤S3中，所述信号提取单元提取所述面部可计算区域的绿色光谱，通过对输出的光线均衡权重进行加权求和，得到时序特征信号X，包括以下步骤：
S31.所述信号提取单元对所述面部可计算区域进行RGB颜色通道分离，提取绿色光谱，得到绿色通道信息；
S32.通过对输出的光线均衡权重进行加权求和，得到每一帧的时序特征信号xi，所述每一帧的时序特征信号xi的计算公式如下：
其中，M为每张图片像素数量，αblue/red为蓝色或红色通道光照强度权重，rgreen为绿色通道信息；
S33.将全部帧的时序特征信号进行整合，得到所述时序特征信号X，所述时序特征信号X的表达式如下：
X＝{xt-n，xt-n+1，xt-n+2，…，xt}其中，t为获取视频总帧数，n为选择信号的帧数。
5.一种基于面部视频的中医脉候判别系统，其特征在于，包括视频采集模块、信号处理模块、脉候判别模块，
所述视频采集模块用于采集用户的原始面部视频数据，并将所述原始面部视频数据发送给所述信号处理模块，
所述信号处理模块包括ROI侦测单元、信号提取单元和滤波单元，所述ROI侦测单元接收所述原始面部视频数据，并从所述原始面部视频数据中的每帧图片中提取面部感兴趣区域，得到面部可计算区域，并将所述面部可计算区域发送给所述信号提取单元，
所述信号提取单元提取所述面部可计算区域的绿色光谱，通过对输出的光线均衡权重进行加权求和，得到时序特征信号X，并将所述时序特征信号X发送给所述滤波单元，
所述滤波单元对所述时序特征信号X进行过滤，得到脉候波形信号，并将所述脉候波形信号发送给所述脉候判别模块，
所述脉候判别模块通过神经网络对所述脉候波形信号进行训练，得出脉候类型。
6.根据权利要求5所述的一种基于面部视频的中医脉候判别系统，其特征在于，还包括模型升级模块，所述模型升级模块包括多任务联合学习单元和勘误修正单元，所述多任务联合学习单元将心率、血压与脉候类型进行联合训练，通过神经网络权重共享对所述神经网络模型进行优化，所述勘误修正单元对所述神经网络模型判定为错误的所述原始面部视频数据进行反馈修正并送入所述神经网络模型重新训练，从而实现所述神经网络模型闭环优化。
7.根据权利要求5所述的一种基于面部视频的中医脉候判别系统，其特征在于，脉候类型包括脉位、脉数、脉长、脉宽、脉紧张度、脉力度、脉流利度和脉均匀度，所述脉位包括浮脉、沉脉和适中脉，所述脉数包括迟脉、数脉和适中脉，所述脉长包括长脉、短脉和适中脉，所述脉宽包括宽脉、细脉和适中脉，所述脉紧张度包括紧张脉、松驰脉和柔和脉，所述脉力度包括有力脉和无力脉，所述脉均匀度包括均匀脉和非均匀脉，所述脉流利度是指脉管的紧急与弛缓程度。
8.一种基于面部视频的中医脉候判别装置，其特征在于，包含至少一个处理器和至少一个与处理器通信连接的存储器，所述存储器存储有可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使至少一个处理器能够执行权利要求1-4任一项所述方法的任意步骤，或权利要求5-7任一项所述系统的任意操作。
CN202310379090.9A 2023-04-11 2023-04-11 一种基于面部视频的中医脉候判别系统及方法和装置 Active CN116109818B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310379090.9A CN116109818B (zh) 2023-04-11 2023-04-11 一种基于面部视频的中医脉候判别系统及方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310379090.9A CN116109818B (zh) 2023-04-11 2023-04-11 一种基于面部视频的中医脉候判别系统及方法和装置

Publications (2)

Publication Number Publication Date
CN116109818A CN116109818A (zh) 2023-05-12
CN116109818B true CN116109818B (zh) 2023-07-28

Family

ID=86256477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310379090.9A Active CN116109818B (zh) 2023-04-11 2023-04-11 一种基于面部视频的中医脉候判别系统及方法和装置

Country Status (1)

Country Link
CN (1) CN116109818B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117423041B (zh) * 2023-12-13 2024-03-08 成都中医药大学 一种基于计算机视觉的面部视频判别中医气血系统
CN117671572A (zh) * 2024-02-02 2024-03-08 深邦智能科技集团(青岛)有限公司 一种多平台联动的道路图像模型处理系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1242693A (zh) * 1997-08-26 2000-01-26 精工爱普生株式会社 脉波诊断装置、运动指标检测装置、运动强度检测装置、心输出量检测装置、每搏输出量检测装置、心功能诊断装置及其检测方法
CN103845043A (zh) * 2014-03-12 2014-06-11 天津大学 一种快速脉象采集装置及控制方法
CN103845042A (zh) * 2012-11-29 2014-06-11 沈阳工业大学 一种脉象采集装置及控制方法
CN103932687A (zh) * 2014-04-22 2014-07-23 北京印刷学院 一种脉象信号预处理方法和装置
CN103932686A (zh) * 2014-04-22 2014-07-23 北京印刷学院 一种脉象信号的提取方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2247504Y (zh) * 1995-11-03 1997-02-19 乔元勋 心动监测器
CN102293639B (zh) * 2011-06-30 2013-03-13 芜湖圣美孚科技有限公司 一种脉象信号时域特征提取方法
CN105011911B (zh) * 2015-08-19 2018-09-04 之医（上海）健康科技有限公司 一种基于网络的中医健康咨询系统
CN108334868A (zh) * 2018-03-21 2018-07-27 华南师范大学 一种基于ppg信号和图像增强的脉象分析方法
CN110772235A (zh) * 2019-08-22 2020-02-11 天津森宇科技股份有限公司 基于云计算和移动平台的中医智能健康分析系统
CN112949349B (zh) * 2019-12-09 2022-08-05 南宁莲现健康科技有限公司 基于人脸视频实时显示脉象波形的方法和系统
CN111027485A (zh) * 2019-12-11 2020-04-17 南京邮电大学 一种基于人脸视频检测与色度模型的心率检测方法
CN112151149B (zh) * 2020-09-18 2024-06-07 南宁莲现健康科技有限公司 基于人脸视频辅助中医智能诊断的方法
CN112826458B (zh) * 2021-01-08 2022-11-01 广州中医药大学(广州中医药研究院) 脉诊系统和脉诊方法
CN113488162A (zh) * 2021-07-06 2021-10-08 李颖 一种非接触式中医脉象检测方法及装置
CN113542600B (zh) * 2021-07-09 2023-05-12 Oppo广东移动通信有限公司 一种图像生成方法、装置、芯片、终端和存储介质
CN114693653A (zh) * 2022-04-01 2022-07-01 桂林电子科技大学 基于人体浅表动脉视频精确提取脉搏波的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1242693A (zh) * 1997-08-26 2000-01-26 精工爱普生株式会社 脉波诊断装置、运动指标检测装置、运动强度检测装置、心输出量检测装置、每搏输出量检测装置、心功能诊断装置及其检测方法
CN103845042A (zh) * 2012-11-29 2014-06-11 沈阳工业大学 一种脉象采集装置及控制方法
CN103845043A (zh) * 2014-03-12 2014-06-11 天津大学 一种快速脉象采集装置及控制方法
CN103932687A (zh) * 2014-04-22 2014-07-23 北京印刷学院 一种脉象信号预处理方法和装置
CN103932686A (zh) * 2014-04-22 2014-07-23 北京印刷学院 一种脉象信号的提取方法和装置

Also Published As

Publication number Publication date
CN116109818A (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN116109818B (zh) 一种基于面部视频的中医脉候判别系统及方法和装置
CN109247923B (zh) 基于视频的非接触式脉搏实时估计方法及设备
CN111407245B (zh) 一种基于摄像头的非接触式心率、体温测量方法
Gudi et al. Real-time webcam heart-rate and variability estimation with clean ground truth for evaluation
CN113017630B (zh) 一种视觉感知情绪识别方法
CN111839489B (zh) 非接触式生理心理健康检测系统
US20160317041A1 (en) System and methods for measuring physiological parameters
CN112001122B (zh) 基于端到端生成对抗网络的非接触式生理信号测量方法
CN106682616A (zh) 基于双通道特征深度学习的新生儿疼痛表情识别方法
CN112949349B (zh) 基于人脸视频实时显示脉象波形的方法和系统
CN106793962A (zh) 用于使用视频图像来连续估计人体血压的方法和装置
Wang et al. Detail-preserving pulse wave extraction from facial videos using consumer-level camera
Hsu et al. A deep learning framework for heart rate estimation from facial videos
Hassan et al. Novel health monitoring method using an RGB camera
CN106491117A (zh) 一种基于ppg心率测量技术的信号处理方法及装置
Karthick et al. Analysis of vital signs using remote photoplethysmography (RPPG)
CN110060225A (zh) 一种基于快速有限剪切波变换与稀疏表示的医学图像融合法
CN116758619B (zh) 基于面部视频的情感分类方法、系统、存储介质及设备
Hamoud et al. Contactless oxygen saturation detection based on face analysis: an approach and case study
CN115374831B (zh) 多模态配准和时空特征注意的动静结合速度想象分类方法
CN116189884A (zh) 一种基于面部视觉的多模态融合中医体质判别方法及系统
Yang et al. Heart rate estimation from facial videos based on convolutional neural network
JPWO2020158804A1 (ja) 血圧測定装置、モデル設定装置、および血圧測定方法
Ben Salah et al. Contactless heart rate estimation from facial video using skin detection and multi-resolution analysis
Kuang et al. Remote photoplethysmography signals enhancement based on generative adversarial networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant