CN114241582A - 血液微循环热力图获取方法、装置、电子设备及存储介质 - Google Patents
血液微循环热力图获取方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114241582A CN114241582A CN202210037248.XA CN202210037248A CN114241582A CN 114241582 A CN114241582 A CN 114241582A CN 202210037248 A CN202210037248 A CN 202210037248A CN 114241582 A CN114241582 A CN 114241582A
- Authority
- CN
- China
- Prior art keywords
- value
- sliding window
- face
- image sequence
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004089 microcirculation Effects 0.000 title claims abstract description 99
- 239000008280 blood Substances 0.000 title claims abstract description 98
- 210000004369 blood Anatomy 0.000 title claims abstract description 98
- 238000010586 diagram Methods 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 59
- 239000011159 matrix material Substances 0.000 claims abstract description 130
- 238000012545 processing Methods 0.000 claims abstract description 55
- 230000000873 masking effect Effects 0.000 claims description 29
- 238000012937 correction Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000009467 reduction Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 9
- 230000000737 periodic effect Effects 0.000 claims description 8
- 239000000126 substance Substances 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 abstract description 22
- 210000001508 eye Anatomy 0.000 description 44
- 230000008569 process Effects 0.000 description 18
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 17
- 230000009466 transformation Effects 0.000 description 17
- 238000005070 sampling Methods 0.000 description 8
- 210000004709 eyebrow Anatomy 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 230000008081 blood perfusion Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 210000002565 arteriole Anatomy 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000010412 perfusion Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000000264 venule Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4854—Diagnosis based on concepts of traditional oriental medicine
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Physiology (AREA)
- Hematology (AREA)
- Cardiology (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Alternative & Traditional Medicine (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请属于图像处理技术领域，公开了一种血液微循环热力图获取方法、装置、电子设备及存储介质，通过获取被测者的面部视频信息；对面部视频信息中的图像序列进行第一掩膜处理，得到第一面部图像序列；通过滑窗方式获取第一面部图像序列的第一AC值矩阵；提取最大的第一AC值作为AC值阈值；对面部视频信息中的图像序列进行第二掩膜处理，得到第二面部图像序列；通过滑窗方式获取第二面部图像序列的第二AC值矩阵；对比第二AC值矩阵中各第二AC值与AC值阈值以修正第二AC值矩阵；根据修正后的第二AC值矩阵生成血液微循环热力图；从而可得到能够清晰看出面部不同区域的血液微循环状态的图像。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种血液微循环热力图获取方法、装置、电子设备及存储介质。
背景技术
血液微循环是微动脉和微静脉间的血液循环，其功能障碍或者血液微循环血流灌注量减少时，会导致组织代谢需求中的营养物质和氧气不足，进而导致器官功能不全或者衰竭，成为疾病发生的重要原因。现代医学认为血液微循环不通是万病之源，所以方便有效地检测微循环状态有重要意义的。
现有观察血液微循环的手段是对人脸使用脉冲幅度映射图(Pulse amplitudemapping)技术成像，缺点是得到的图像的像素较低，准确率不高，难以清晰看出面部不同区域的血液微循环状态。
发明内容
本申请的目的在于提供一种血液微循环热力图获取方法、装置、电子设备及存储介质，可得到能够清晰看出面部不同区域的血液微循环状态的图像。
第一方面，本申请提供了一种血液微循环热力图获取方法，用于获取人面的血液微循环热力图，包括步骤：
A1.获取被测者的面部视频信息；
A2.对所述面部视频信息中的图像序列进行第一掩膜处理，得到去除眼部区域和嘴巴区域且缩小边缘的第一面部图像序列；
A3.通过滑窗方式获取所述第一面部图像序列中对应每个滑窗窗口区域的像素点的第一IPPG信号的第一AC值，得到第一AC值矩阵；
A4.提取所述第一AC值矩阵的最大值作为AC值阈值；
A5.对所述面部视频信息中的图像序列进行第二掩膜处理，得到保留眼部区域和嘴巴区域且缩小边缘的第二面部图像序列；
A6.通过滑窗方式获取所述第二面部图像序列中对应每个滑窗窗口区域的像素点的第二IPPG信号的第二AC值，得到第二AC值矩阵；
A7.对比所述第二AC值矩阵中各所述第二AC值与所述AC值阈值以修正所述第二AC值矩阵；
A8.根据修正后的所述第二AC值矩阵生成血液微循环热力图。
该血液微循环热力图获取方法，由于IPPG信号中的交流分量(AC, alternatingcomponent)能够有效地反映面部的血流灌注量，将面部按照区域分割，并把各区域的AC值通过热力图的形式展现，该热力图可以清晰显示出面部不同区域的血液微循环状态；此外，由于面部边缘容易出现高能量的噪声，人的眼睛、嘴巴容易出现轻微移动而造成高能量的噪声，因此通过掩膜处理时通过缩小边缘去除面部边缘部分，在进行第一掩膜处理时先去掉眼睛、嘴巴部分，以获取AC值阈值，并在第二掩膜处理后用该AC值阈值进行第二AC值矩阵的修正，从而可减小由于眼睛、嘴巴轻微移动造成的噪声，提高分辨率，使血液微循环热力图更加干净、包含更多有效信息，进而能够更加清晰显示出面部不同区域的血液微循环状态。
优选地，步骤A2包括：
对所述面部视频信息中的图像序列的图像进行语义分割，以提取面部各部分的位置数据；
根据所述位置数据生成第一掩膜，所述第一掩膜中与所述面部各部分对应的位置的值为1，其它部分的值为0；
对所述第一掩膜进行边缘缩小处理和去除眼部区域和嘴巴区域的处理，得到处理后的第一掩膜；
用所述处理后的第一掩膜对所述面部视频信息中的图像序列进行掩膜操作，得到所述第一面部图像序列。
通过该第一掩膜对面部视频信息中的图像序列进行掩膜操作，能够有效地去除图像序列中的面部边缘部分、眼睛部分和嘴巴部分，从而有效减小噪声。
优选地，步骤A3包括：
用预设步长对所述第一面部图像序列的各图像进行滑窗扫描，计算各滑窗窗口区域的有效像素点的像素均值；所述有效像素点为像素值非零的像素点；
以所述第一面部图像序列的各图像的同一滑窗窗口区域的所述像素均值为第一IPPG信号值，获取每个所述滑窗窗口区域的第一IPPG信号；
提取所述第一IPPG信号的波峰值数据集和波谷值数据集；
通过以下公式计算各所述滑窗窗口区域的有效像素点的第一AC值，并把各所述滑窗窗口区域的非有效像素点的第一AC值设为0，得到所述第一AC值矩阵：
其中，
为第j个所述滑窗窗口区域的有效像素点的第一AC值，
为第j个所述滑窗窗口区域的所述第一IPPG信号的波峰值数据集里的第i个波峰值，
为第j个所述滑窗窗口区域的所述第一IPPG信号的波谷值数据集里的第i个波谷值，
为第j个所述滑窗窗口区域的所述第一IPPG信号的周期波数量。
优选地，步骤A5包括：
对所述面部视频信息中的图像序列的图像进行语义分割，以提取面部各部分的位置数据；
根据所述位置数据生成第二掩膜，所述第二掩膜中与所述面部各部分对应的位置的值为1，其它部分的值为0；
对所述第二掩膜进行边缘缩小处理，得到处理后的第二掩膜；
用所述处理后的第二掩膜对所述面部视频信息中的图像序列进行掩膜操作，得到所述第二面部图像序列。
通过该第二掩膜对面部视频信息中的图像序列进行掩膜操作，能够有效地去除图像序列中的面部边缘部分，并保留眼睛部分和嘴巴部分的信息。
优选地，步骤A6包括：
用预设步长对所述第二面部图像序列的各图像进行滑窗扫描，计算各滑窗窗口区域的有效像素点的像素均值；所述有效像素点为像素值非零的像素点；
以所述第二面部图像序列的各图像的同一滑窗窗口区域的所述像素均值为第二IPPG信号值，获取每个所述滑窗窗口区域的第二IPPG信号；
提取所述第二IPPG信号的波峰值数据集和波谷值数据集；
通过以下公式计算各所述滑窗窗口区域的有效像素点的第二AC值，并把各所述滑窗窗口区域的非有效像素点的第二AC值设为0，得到所述第二AC值矩阵：
其中，
为第k个所述滑窗窗口区域的有效像素点的第二AC值，
为第k个所述滑窗窗口区域的所述第二IPPG信号的波峰值数据集里的第m个波峰值，
为第k个所述滑窗窗口区域的所述第二IPPG信号的波谷值数据集里的第m个波谷值，
为第k个所述滑窗窗口区域的所述第二IPPG信号的周期波数量。
优选地，步骤A7包括：
把所述第二AC值矩阵中大于所述AC值阈值的所述第二AC值乘以预设修正系数；所述预设修正系数大于0且小于1。
通过把过大的第二AC值按比例缩小，可使血液微循环热力图中过大的AC值在正常范围内，避免得到显示异常的血液微循环热力图。
优选地，步骤A8包括：
以修正后的所述第二AC值矩阵中的各所述第二AC值为各像素点的像素值生成所述血液微循环热力图。
第二方面，本申请提供了一种血液微循环热力图获取装置，用于获取人面的血液微循环热力图，包括：
第一获取模块，用于获取被测者的面部视频信息；
第一掩膜模块，用于对所述面部视频信息中的图像序列进行第一掩膜处理，得到去除眼部区域和嘴巴区域且缩小边缘的第一面部图像序列；
第一计算模块，用于通过滑窗方式获取所述第一面部图像序列中对应每个滑窗窗口区域的像素点的第一IPPG信号的第一AC值，得到第一AC值矩阵；
提取模块，用于提取所述第一AC值矩阵的最大值作为AC值阈值；
第二掩膜模块，用于对所述面部视频信息中的图像序列进行第二掩膜处理，得到保留眼部区域和嘴巴区域且缩小边缘的第二面部图像序列；
第二计算模块，用于通过滑窗方式获取所述第二面部图像序列中对应每个滑窗窗口区域的像素点的第二IPPG信号的第二AC值，得到第二AC值矩阵；
修正模块，用于对比所述第二AC值矩阵中各所述第二AC值与所述AC值阈值以修正所述第二AC值矩阵；
生成模块，用于根据修正后的所述第二AC值矩阵生成血液微循环热力图。
该血液微循环热力图获取装置，由于IPPG信号中的交流分量(AC, alternatingcomponent)能够有效地反映面部的血流灌注量，将面部按照区域分割，并把各区域的AC值通过热力图的形式展现，该热力图可以清晰显示出面部不同区域的血液微循环状态；此外，由于面部边缘容易出现高能量的噪声，人的眼睛、嘴巴容易出现轻微移动而造成高能量的噪声，因此通过掩膜处理时通过缩小边缘去除面部边缘部分，在进行第一掩膜处理时先去掉眼睛、嘴巴部分，以获取AC值阈值，并在第二掩膜处理后用该AC值阈值进行第二AC值矩阵的修正，从而可减小由于眼睛、嘴巴轻微移动造成的噪声，提高分辨率，使血液微循环热力图更加干净、包含更多有效信息，进而能够更加清晰显示出面部不同区域的血液微循环状态。
第三方面，本申请提供了一种电子设备，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如前文所述血液微循环热力图获取方法中的步骤。
第四方面，本申请提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如前文所述血液微循环热力图获取方法中的步骤。
有益效果：
本申请提供的血液微循环热力图获取方法、装置、电子设备及存储介质，通过获取被测者的面部视频信息；对所述面部视频信息中的图像序列进行第一掩膜处理，得到去除眼部区域和嘴巴区域且缩小边缘的第一面部图像序列；通过滑窗方式获取所述第一面部图像序列中对应每个滑窗窗口区域的像素点的第一IPPG信号的第一AC值，得到第一AC值矩阵；提取所述第一AC值矩阵的最大值作为AC值阈值；对所述面部视频信息中的图像序列进行第二掩膜处理，得到保留眼部区域和嘴巴区域且缩小边缘的第二面部图像序列；通过滑窗方式获取所述第二面部图像序列中对应每个滑窗窗口区域的像素点的第二IPPG信号的第二AC值，得到第二AC值矩阵；对比所述第二AC值矩阵中各所述第二AC值与所述AC值阈值以修正所述第二AC值矩阵；根据修正后的所述第二AC值矩阵生成血液微循环热力图；从而可得到能够清晰看出面部不同区域的血液微循环状态的图像。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请了解。
附图说明
图1为本申请实施例提供的血液微循环热力图获取方法的流程图。
图2为本申请实施例提供的血液微循环热力图获取装置的结构示意图。
图3为本申请实施例提供的电子设备的结构示意图。
图4为现有的51点模型中的人脸特征点的分布位置示意图。
图5为示例性的人面的血液微循环热力图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1是本申请一些实施例中的一种血液微循环热力图获取方法，用于获取人面的血液微循环热力图，包括步骤：
A1.获取被测者的面部视频信息；
A2.对面部视频信息中的图像序列进行第一掩膜处理，得到去除眼部区域和嘴巴区域且缩小边缘的第一面部图像序列；
A3.通过滑窗方式获取第一面部图像序列中对应每个滑窗窗口区域的像素点的第一IPPG信号的第一AC值，得到第一AC值矩阵；
A4.提取第一AC值矩阵的最大值作为AC值阈值；
A5.对面部视频信息中的图像序列进行第二掩膜处理，得到保留眼部区域和嘴巴区域且缩小边缘的第二面部图像序列；
A6.通过滑窗方式获取第二面部图像序列中对应每个滑窗窗口区域的像素点的第二IPPG信号的第二AC值，得到第二AC值矩阵；
A7.对比第二AC值矩阵中各第二AC值与AC值阈值以修正第二AC值矩阵；
A8.根据修正后的第二AC值矩阵生成血液微循环热力图。
该血液微循环热力图获取方法，由于IPPG信号中的交流分量(AC, alternatingcomponent)能够有效地反映面部的血流灌注量，将面部按照区域分割，并把各区域的AC值通过热力图的形式展现，该热力图可以清晰显示出面部不同区域的血液微循环状态；此外，由于面部边缘容易出现高能量的噪声，人的眼睛、嘴巴容易出现轻微移动而造成高能量的噪声，因此通过掩膜处理时通过缩小边缘去除面部边缘部分，在进行第一掩膜处理时先去掉眼睛、嘴巴部分，以获取AC值阈值，并在第二掩膜处理后用该AC值阈值进行第二AC值矩阵的修正，从而可减小由于眼睛、嘴巴轻微移动造成的噪声，提高分辨率，使血液微循环热力图更加干净、包含更多有效信息，进而能够更加清晰显示出面部不同区域的血液微循环状态。
在一些实施方式中，该血液微循环热力图获取方法可应用于具有环形光源的面诊仪上，该面诊仪具有头部定位机构，以使被测者的头部固定，避免头部移动而影响血液微循环热力图的准确性。其中，环形光源为亮度固定且发光波长固定的光源以使被测者面部的各个区域受到均匀的光照。从而由该面诊仪的摄像头采集被测者的面部视频信息，优选地，在采集被测者的面部视频信息的时候，视频信息的采样率要在被测者的心率的20倍以上，例如20 fps 、24fps等，采样时长要至少5s，这样可以保证提取至少5个心跳周期，即使去除第一个周期和最后一个周期的信息，还有至少三个周期的信息可用作分析，从而保证最终得到的血液微循环热力图的准确性。
在一些优选实施方式中，步骤A1之后和步骤A2之前，还包括步骤：
A9.提取面部视频信息中的图像序列中每一帧图像的不动特征点的位置数据；不动特征点包括人中处的特征点、鼻梁处的特征点和眉毛两端的特征点；
A10.以不动特征点为锚点对面部视频信息中的图像序列中每一帧图像进行仿射变换。
与人脸的其它特征点相比，人中处的特征点、鼻梁处的特征点和眉毛两端的特征点的位置随面部表情变化的变化较小，以这些特征点作为锚点进行仿射变换，可避免仿射变换后的图像出现较大程度的变形和缩放。通过仿射变换后的各帧图像的面部五官位置相同，从而进一步保证后续的得到的血液微循环热力图的准确性。
其中，在一些实施例中，步骤A9包括：基于51点模型提取各帧图像中的人脸特征点（人脸特征点的分布位置见图4）的位置数据，剔除不动特征点以外的人脸特征点的位置数据（见图4，人中处的特征点包括34号点，鼻梁处的特征点包括28、29、30和31号点，眉毛两端的特征点包括18、22、23和27号点）。
其中，步骤A10中，可用第一帧图像为仿射变换的目标，对其它图像进行仿射变换，其中，仿射变换的具体过程为现有技术，此处不对其进行详述。
在一些实施方式中，步骤A2包括：
A201.对面部视频信息中的图像序列的图像进行语义分割，以提取面部各部分的位置数据；
A202.根据位置数据生成第一掩膜，第一掩膜中与面部各部分对应的位置的值为1，其它部分的值为0；
A203.对第一掩膜进行边缘缩小处理和去除眼部区域和嘴巴区域的处理，得到处理后的第一掩膜；
A204.用处理后的第一掩膜对面部视频信息中的图像序列进行掩膜操作，得到第一面部图像序列。
通过该第一掩膜对面部视频信息中的图像序列进行掩膜操作，能够有效地去除图像序列中的面部边缘部分、眼睛部分和嘴巴部分，从而有效减小噪声。
其中，对图像进行语义分割以提取面部各部分的位置数据的具体方法为现有技术，此处不对其进行详述。实际应用中，也可通过其它现有的图像识别方法来提取面部各部分的位置数据。
其中，步骤A202中，生成的第一掩膜包括一个第一掩膜矩阵，该第一掩膜矩阵的尺寸与面部视频信息中的图像序列中的各图像的像素尺寸相同，例如，图像包含n1行m1列像素（即图像的像素尺寸为n1*m1），则第一掩膜矩阵包含n1行m1列元素（即第一掩膜矩阵的尺寸为n1*m1）。其中，第一掩膜矩阵的每个元素与图像的每个像素点相对应（例如第一掩膜矩阵中的（i，j）号元素对应图像的（i，j）号像素点），第一掩膜矩阵中与图像中面部区域的像素点对应的元素的值为1，其它元素的值为0。
其中，步骤A203包括：以面部视频信息中的图像序列的图像的面部边缘线以内的预设像素宽度（预设像素宽度可以为固定的预设值，例如40个像素点；预设像素宽度也可以是面部边缘线的最大像素距离的预设比例值，其中，面部边缘线的最大像素距是指面部边缘线上任意两个像素点之间的距离的最大值，预设比例值一般为2%-5%）的环带区域（该面部边缘线为该环带区域的外边界线）为缩减区域，把第一掩膜矩阵中与该缩减区域对应的元素的值改为0，并把第一掩膜矩阵中与眼部区域和嘴巴区域对应的元素的值改为0。
其中，步骤A204包括：用面部视频信息中的图像序列的各帧图像中的各像素点的像素值分别乘以第一掩膜矩阵中对应的元素值，得到与各帧图像对应的新的像素矩阵，根据各帧图像对应的新的像素矩阵生成相应的各帧第一面部图像，得到第一面部图像序列。即，并非直接改变面部视频信息中的图像序列的各帧图像的像素值，而是通过掩膜操作得到新的图像序列（第一面部图像序列），面部视频信息中的图像序列的各帧图像的像素值保持不变。
在一些优选实施方式中，步骤A3包括：
A301.用预设步长对第一面部图像序列的各图像进行滑窗扫描，计算各滑窗窗口区域的有效像素点的像素均值；有效像素点为像素值非零的像素点；
A302.以第一面部图像序列的各图像的同一滑窗窗口区域的像素均值为第一IPPG信号值，获取每个滑窗窗口区域的第一IPPG信号；
A303.提取第一IPPG信号的波峰值数据集和波谷值数据集；
A304.通过以下公式计算各滑窗窗口区域的有效像素点的第一AC值，并把各滑窗窗口区域的非有效像素点（即像素值为0的像素点）的第一AC值设为0，得到第一AC值矩阵：
其中，
为第j个滑窗窗口区域的有效像素点的第一AC值，
为第j个滑窗窗口区域的第一IPPG信号的波峰值数据集里的第i个波峰值，
为第j个滑窗窗口区域的第一IPPG信号的波谷值数据集里的第i个波谷值，
为第j个滑窗窗口区域的第一IPPG信号的周期波数量。
其中，滑窗窗口的尺寸要与滑动步长（即前述的预设步长）相同，其中，滑窗窗口的横向尺寸、纵向尺寸分别与横向滑动步长、纵向滑动步长（即预设步长包括预设横向步长和预设纵向步长）相等。其中，预设步长的大小（也是滑窗窗口的尺寸大小）可根据实际需要设置。
例如，第一面部图像序列中包括100帧图像，则每帧图像的第一个滑窗窗口区域的像素均值为分别为p1、p2…p100，则这些像素均值按时序排序形成的数据集合即为第一个滑窗窗口区域的第一IPPG信号。
优选地，步骤A302之后和步骤A303之前，还包括步骤：
对各滑窗窗口区域的第一IPPG信号进行滑动平均处理和低通滤波处理（例如滤除2Hz以下的信号）。
从而可去除低频干扰成分，提高第一AC值计算结果的准确性。
其中，第一IPPG信号包含多个周期的数据，每个周期包括一个波峰值和一个波谷值，提取各周期的波峰值形成波峰值数据集，提取各周期的波谷值形成波谷值数据集。
优选地，步骤A303包括：对提取的波峰值数据集和波谷值数据集进行离群值剔除。其中，离群值剔除的具体方法为现有技术，此处不对其进行详述。其中，波峰值数据集中每剔除一个离群值，都需要把波谷值数据集中对应的波谷值剔除，相应地，波谷值数据集中每剔除一个离群值，都需要把波峰值数据集中对应的波谷值剔除。其中，每剔除一对离群值（波峰值和对应的波谷值），则
减1。
在一些实施方式中，步骤A5包括：
A501.对面部视频信息中的图像序列的图像进行语义分割，以提取面部各部分的位置数据；
A502.根据位置数据生成第二掩膜，第二掩膜中与面部各部分对应的位置的值为1，其它部分的值为0；
A503.对第二掩膜进行边缘缩小处理，得到处理后的第二掩膜；
A504.用处理后的第二掩膜对面部视频信息中的图像序列进行掩膜操作，得到第二面部图像序列。
通过该第二掩膜对面部视频信息中的图像序列进行掩膜操作，能够有效地去除图像序列中的面部边缘部分，并保留眼睛部分和嘴巴部分的信息。
其中，步骤A501具体参考步骤A201。步骤A502具体参考步骤A202。步骤A503包括：以面部视频信息中的图像序列的图像的面部边缘线以内的预设像素宽度（该预设像素宽度与步骤A203中的预设像素宽度相同）的环带区域（该面部边缘线为该环带区域的外边界线）为缩减区域，把第二掩膜矩阵中与该缩减区域对应的元素的值改为0。步骤A504具体参考步骤A204。
在一些优选实施方式中，步骤A6包括：
A601.用预设步长（与前文的预设步长相同）对第二面部图像序列的各图像进行滑窗扫描，计算各滑窗窗口区域的有效像素点的像素均值；有效像素点为像素值非零的像素点；
A602.以第二面部图像序列的各图像的同一滑窗窗口区域的像素均值为第二IPPG信号值，获取每个滑窗窗口区域的第二IPPG信号；
A603.提取第二IPPG信号的波峰值数据集和波谷值数据集；
A604.通过以下公式计算各滑窗窗口区域的有效像素点的第二AC值，并把各滑窗窗口区域的非有效像素点的第二AC值设为0，得到第二AC值矩阵：
其中，
为第k个滑窗窗口区域的有效像素点的第二AC值，
为第k个滑窗窗口区域的第二IPPG信号的波峰值数据集里的第m个波峰值，
为第k个滑窗窗口区域的第二IPPG信号的波谷值数据集里的第m个波谷值，
为第k个滑窗窗口区域的第二IPPG信号的周期波数量。
其中，滑窗窗口的尺寸要与滑动步长相同，其中，滑窗窗口的横向尺寸、纵向尺寸分别与横向滑动步长、纵向滑动步长相等。其中，预设步长的大小（也是滑窗窗口的尺寸大小）可根据实际需要设置。
例如，第二面部图像序列中包括100帧图像，则每帧图像的第一个滑窗窗口区域像素均值为分别为q1、q2…q100，则这些像素均值按时序排序形成的数据集合即为第一个滑窗窗口区域的第二IPPG信号。
优选地，步骤A602之后和步骤A603之前，还包括步骤：
对各滑窗窗口区域的第二IPPG信号进行滑动平均处理和低通滤波处理（例如滤除2Hz以下的信号）。
从而可去除低频干扰成分，提高第二AC值计算结果的准确性。
其中，第二IPPG信号包含多个周期的数据，每个周期包括一个波峰值和一个波谷值，提取各周期的波峰值形成波峰值数据集，提取各周期的波谷值形成波谷值数据集。
优选地，步骤A603包括：对提取的波峰值数据集和波谷值数据集进行离群值剔除。其中，离群值剔除的具体方法为现有技术，此处不对其进行详述。其中，波峰值数据集中每剔除一个离群值，都需要把波谷值数据集中对应的波谷值剔除，相应地，波谷值数据集中每剔除一个离群值，都需要把波峰值数据集中对应的波谷值剔除。其中，每剔除一对离群值（波峰值和对应的波谷值），则
减1。
具体地，步骤A7包括：
把第二AC值矩阵中大于AC值阈值的第二AC值乘以预设修正系数；预设修正系数大于0且小于1。
通过把过大的第二AC值按比例缩小，可使血液微循环热力图中过大的AC值在正常范围内，避免得到显示异常的血液微循环热力图。
其中，预设修正系数可根据实际需要设置，能够把过大的第二AC值修正到一般皮肤的AC值水平即可，一般可在0.1-0.8之间取值，例如0.12；实际应用中，对于大部分被测者，该预设修正系数在0.1-0.2之间取值就能得到比较好的修正效果，对于部分年龄较大的被测者，有时候需要使用较大的预设修正系数（0.2-0.8之间）才能取得较好的修正效果。
在本实施例中，步骤A8包括：
以修正后的第二AC值矩阵中的各第二AC值为各像素点的像素值生成血液微循环热力图。
例如，第二AC值矩阵的尺寸为n2*m2（即第二AC值矩阵有n2行m2列元素），则生成一个像素尺寸为n2*m2的血液微循环热力图（即该血液微循环热力图中有n2行m2列像素点），该血液微循环热力图中的像素点的像素值等于第二AC值矩阵中对应的元素的元素值（血液微循环热力图中的像素点中任意（i，j）号的像素点的像素值等于第二AC值矩阵中对应的（i，j）号元素的元素值）。
例如，图5为示例性的人面的血液微循环热力图，在获取该血液微循环热力图时，被测者的面部视频信息的采样频率为20 fps、采样时长为5s，对第一掩膜和第二掩膜进行边缘缩小处理时的预设像素宽度为面部边缘线的最大像素距离的3%，预设修正系数为0.12。从该图中可以清晰看出面部不同区域的血液微循环状态。
由上可知，该血液微循环热力图获取方法，通过获取被测者的面部视频信息；对面部视频信息中的图像序列进行第一掩膜处理，得到去除眼部区域和嘴巴区域且缩小边缘的第一面部图像序列；通过滑窗方式获取第一面部图像序列中对应每个滑窗窗口区域的像素点的第一IPPG信号的第一AC值，得到第一AC值矩阵；提取第一AC值矩阵的最大值作为AC值阈值；对面部视频信息中的图像序列进行第二掩膜处理，得到保留眼部区域和嘴巴区域且缩小边缘的第二面部图像序列；通过滑窗方式获取第二面部图像序列中对应每个滑窗窗口区域的像素点的第二IPPG信号的第二AC值，得到第二AC值矩阵；对比第二AC值矩阵中各第二AC值与AC值阈值以修正第二AC值矩阵；根据修正后的第二AC值矩阵生成血液微循环热力图；从而可得到能够清晰看出面部不同区域的血液微循环状态的图像。
请参考图2，本申请提供了一种血液微循环热力图获取装置，用于获取人面的血液微循环热力图，包括：
第一获取模块1，用于获取被测者的面部视频信息；
第一掩膜模块2，用于对面部视频信息中的图像序列进行第一掩膜处理，得到去除眼部区域和嘴巴区域且缩小边缘的第一面部图像序列；
第一计算模块3，用于通过滑窗方式获取第一面部图像序列中对应每个滑窗窗口区域的像素点的第一IPPG信号的第一AC值，得到第一AC值矩阵；
提取模块4，用于提取第一AC值矩阵的最大值作为AC值阈值；
第二掩膜模块5，用于对面部视频信息中的图像序列进行第二掩膜处理，得到保留眼部区域和嘴巴区域且缩小边缘的第二面部图像序列；
第二计算模块6，用于通过滑窗方式获取第二面部图像序列中对应每个滑窗窗口区域的像素点的第二IPPG信号的第二AC值，得到第二AC值矩阵；
修正模块7，用于对比第二AC值矩阵中各第二AC值与AC值阈值以修正第二AC值矩阵；
生成模块8，用于根据修正后的第二AC值矩阵生成血液微循环热力图。
该血液微循环热力图获取装置，由于IPPG信号中的交流分量(AC, alternatingcomponent)能够有效地反映面部的血流灌注量，将面部按照区域分割，并把各区域的AC值通过热力图的形式展现，该热力图可以清晰显示出面部不同区域的血液微循环状态；此外，由于面部边缘容易出现高能量的噪声，人的眼睛、嘴巴容易出现轻微移动而造成高能量的噪声，因此通过掩膜处理时通过缩小边缘去除面部边缘部分，在进行第一掩膜处理时先去掉眼睛、嘴巴部分，以获取AC值阈值，并在第二掩膜处理后用该AC值阈值进行第二AC值矩阵的修正，从而可减小由于眼睛、嘴巴轻微移动造成的噪声，提高分辨率，使血液微循环热力图更加干净、包含更多有效信息，进而能够更加清晰显示出面部不同区域的血液微循环状态。
在一些实施方式中，该血液微循环热力图获取装置可应用于具有环形光源的面诊仪上，该面诊仪具有头部定位机构，以使被测者的头部固定，避免头部移动而影响血液微循环热力图的准确性。其中，环形光源为亮度固定且发光波长固定的光源以使被测者面部的各个区域受到均匀的光照。从而由该面诊仪的摄像头采集被测者的面部视频信息，优选地，在采集被测者的面部视频信息的时候，视频信息的采样率要在被测者的心率的20倍以上，例如20 fps 、24fps等，采样时长要至少5s，这样可以保证提取至少5个心跳周期，即使去除第一个周期和最后一个周期的信息，还有至少三个周期的信息可用作分析，从而保证最终得到的血液微循环热力图的准确性。
在一些优选实施方式中，该血液微循环热力图获取装置还包括：
特征点提取模块，用于提取面部视频信息中的图像序列中每一帧图像的不动特征点的位置数据；不动特征点包括人中处的特征点、鼻梁处的特征点和眉毛两端的特征点；
仿射变换模块，用于以不动特征点为锚点对面部视频信息中的图像序列中每一帧图像进行仿射变换。
与人脸的其它特征点相比，人中处的特征点、鼻梁处的特征点和眉毛两端的特征点的位置随面部表情变化的变化较小，以这些特征点作为锚点进行仿射变换，可避免仿射变换后的图像出现较大程度的变形和缩放。通过仿射变换后的各帧图像的面部五官位置相同，从而进一步保证后续的得到的血液微循环热力图的准确性。
其中，在一些实施例中，特征点提取模块用于在提取面部视频信息中的图像序列中每一帧图像的不动特征点的位置数据的时候，执行：
基于51点模型提取各帧图像中的人脸特征点（人脸特征点的分布位置见图4）的位置数据，剔除不动特征点以外的人脸特征点的位置数据（见图4，人中处的特征点包括34号点，鼻梁处的特征点包括28、29、30和31号点，眉毛两端的特征点包括18、22、23和27号点）。
其中，仿射变换模块可用第一帧图像为仿射变换的目标，对其它图像进行仿射变换，其中，仿射变换的具体过程为现有技术，此处不对其进行详述。
在一些实施方式中，第一掩膜模块2用于在对面部视频信息中的图像序列进行第一掩膜处理，得到去除眼部区域和嘴巴区域且缩小边缘的第一面部图像序列的时候，执行：
对面部视频信息中的图像序列的图像进行语义分割，以提取面部各部分的位置数据；
根据位置数据生成第一掩膜，第一掩膜中与面部各部分对应的位置的值为1，其它部分的值为0；
对第一掩膜进行边缘缩小处理和去除眼部区域和嘴巴区域的处理，得到处理后的第一掩膜；
用处理后的第一掩膜对面部视频信息中的图像序列进行掩膜操作，得到第一面部图像序列。
通过该第一掩膜对面部视频信息中的图像序列进行掩膜操作，能够有效地去除图像序列中的面部边缘部分、眼睛部分和嘴巴部分，从而有效减小噪声。
其中，对图像进行语义分割以提取面部各部分的位置数据的具体方法为现有技术，此处不对其进行详述。实际应用中，也可通过其它现有的图像识别方法来提取面部各部分的位置数据。
其中，第一掩膜模块2生成的第一掩膜包括一个第一掩膜矩阵，该第一掩膜矩阵的尺寸与面部视频信息中的图像序列中的各图像的像素尺寸相同，例如，图像包含n1行m1列像素（即图像的像素尺寸为n1*m1），则第一掩膜矩阵包含n1行m1列元素（即第一掩膜矩阵的尺寸为n1*m1）。其中，第一掩膜矩阵的每个元素与图像的每个像素点相对应（例如第一掩膜矩阵中的（i，j）号元素对应图像的（i，j）号像素点），第一掩膜矩阵中与图像中面部区域的像素点对应的元素的值为1，其它元素的值为0。
其中，第一掩膜模块2在对第一掩膜进行边缘缩小处理和去除眼部区域和嘴巴区域的处理，得到处理后的第一掩膜的时候，执行：以面部视频信息中的图像序列的图像的面部边缘线以内的预设像素宽度（预设像素宽度可以为固定的预设值，例如40个像素点；预设像素宽度也可以是面部边缘线的最大像素距离的预设比例值，其中，面部边缘线的最大像素距是指面部边缘线上任意两个像素点之间的距离的最大值，预设比例值一般为2%-5%）的环带区域（该面部边缘线为该环带区域的外边界线）为缩减区域，把第一掩膜矩阵中与该缩减区域对应的元素的值改为0，并把第一掩膜矩阵中与眼部区域和嘴巴区域对应的元素的值改为0。
其中，第一掩膜模块2在用处理后的第一掩膜对面部视频信息中的图像序列进行掩膜操作，得到第一面部图像序列的时候，执行：用面部视频信息中的图像序列的各帧图像中的各像素点的像素值分别乘以第一掩膜矩阵中对应的元素值，得到与各帧图像对应的新的像素矩阵，根据各帧图像对应的新的像素矩阵生成相应的各帧第一面部图像，得到第一面部图像序列。即，并非直接改变面部视频信息中的图像序列的各帧图像的像素值，而是通过掩膜操作得到新的图像序列（第一面部图像序列），面部视频信息中的图像序列的各帧图像的像素值保持不变。
在一些优选实施方式中，第一计算模块3用于在通过滑窗方式获取第一面部图像序列中对应每个滑窗窗口区域的像素点的第一IPPG信号的第一AC值，得到第一AC值矩阵的时候，执行：
用预设步长对第一面部图像序列的各图像进行滑窗扫描，计算各滑窗窗口区域的有效像素点的像素均值；有效像素点为像素值非零的像素点；
以第一面部图像序列的各图像的同一滑窗窗口区域的像素均值为第一IPPG信号值，获取每个滑窗窗口区域的第一IPPG信号；
提取第一IPPG信号的波峰值数据集和波谷值数据集；
通过以下公式计算各滑窗窗口区域的有效像素点的第一AC值，并把各滑窗窗口区域的非有效像素点（即像素值为0的像素点）的第一AC值设为0，得到第一AC值矩阵：
其中，
为第j个滑窗窗口区域的有效像素点的第一AC值，
为第j个滑窗窗口区域的第一IPPG信号的波峰值数据集里的第i个波峰值，
为第j个滑窗窗口区域的第一IPPG信号的波谷值数据集里的第i个波谷值，
为第j个滑窗窗口区域的第一IPPG信号的周期波数量。
其中，滑窗窗口的尺寸要与滑动步长（即前述的预设步长）相同，其中，滑窗窗口的横向尺寸、纵向尺寸分别与横向滑动步长、纵向滑动步长（即预设步长包括预设横向步长和预设纵向步长）相等。其中，预设步长的大小（也是滑窗窗口的尺寸大小）可根据实际需要设置。
例如，第一面部图像序列中包括100帧图像，则每帧图像的第一个滑窗窗口区域的像素均值为分别为p1、p2…p100，则这些像素均值按时序排序形成的数据集合即为第一个滑窗窗口区域的第一IPPG信号。
优选地，第一计算模块3在获取每个滑窗窗口区域的第一IPPG信号之后和提取第一IPPG信号的波峰值数据集和波谷值数据集之前，还执行：
对各滑窗窗口区域的第一IPPG信号进行滑动平均处理和低通滤波处理（例如滤除2Hz以下的信号）。
从而可去除低频干扰成分，提高第一AC值计算结果的准确性。
其中，第一IPPG信号包含多个周期的数据，每个周期包括一个波峰值和一个波谷值，提取各周期的波峰值形成波峰值数据集，提取各周期的波谷值形成波谷值数据集。
优选地，第一计算模块3在提取第一IPPG信号的波峰值数据集和波谷值数据集的时候，执行：对提取的波峰值数据集和波谷值数据集进行离群值剔除。其中，离群值剔除的具体方法为现有技术，此处不对其进行详述。其中，波峰值数据集中每剔除一个离群值，都需要把波谷值数据集中对应的波谷值剔除，相应地，波谷值数据集中每剔除一个离群值，都需要把波峰值数据集中对应的波谷值剔除。其中，每剔除一对离群值（波峰值和对应的波谷值），则
减1。
在一些实施方式中，第二掩膜模块5用于在对面部视频信息中的图像序列进行第二掩膜处理，得到保留眼部区域和嘴巴区域且缩小边缘的第二面部图像序列的时候，执行：
对面部视频信息中的图像序列的图像进行语义分割，以提取面部各部分的位置数据；
根据位置数据生成第二掩膜，第二掩膜中与面部各部分对应的位置的值为1，其它部分的值为0；
对第二掩膜进行边缘缩小处理，得到处理后的第二掩膜；
用处理后的第二掩膜对面部视频信息中的图像序列进行掩膜操作，得到第二面部图像序列。
通过该第二掩膜对面部视频信息中的图像序列进行掩膜操作，能够有效地去除图像序列中的面部边缘部分，并保留眼睛部分和嘴巴部分的信息。
其中，对面部视频信息中的图像序列的图像进行语义分割，以提取面部各部分的位置数据的具体过程参考第一掩膜模块2的对应操作过程。
其中，用处理后的第二掩膜对面部视频信息中的图像序列进行掩膜操作，得到第二面部图像序列的具体过程参考第一掩膜模块2的对应操作过程。
其中，第二掩膜模块5在对第二掩膜进行边缘缩小处理，得到处理后的第二掩膜的时候，执行：以面部视频信息中的图像序列的图像的面部边缘线以内的预设像素宽度（该预设像素宽度与第一掩膜模块2使用的预设像素宽度相同）的环带区域（该面部边缘线为该环带区域的外边界线）为缩减区域，把第二掩膜矩阵中与该缩减区域对应的元素的值改为0。
其中，用处理后的第二掩膜对面部视频信息中的图像序列进行掩膜操作，得到第二面部图像序列的具体过程参考第一掩膜模块2的对应操作过程。
在一些优选实施方式中，第二计算模块6用于在通过滑窗方式获取第二面部图像序列中对应每个滑窗窗口区域的像素点的第二IPPG信号的第二AC值，得到第二AC值矩阵的时候，执行：
用预设步长（与前文的预设步长相同）对第二面部图像序列的各图像进行滑窗扫描，计算各滑窗窗口区域的有效像素点的像素均值；有效像素点为像素值非零的像素点；
以第二面部图像序列的各图像的同一滑窗窗口区域的像素均值为第二IPPG信号值，获取每个滑窗窗口区域的第二IPPG信号；
提取第二IPPG信号的波峰值数据集和波谷值数据集；
通过以下公式计算各滑窗窗口区域的有效像素点的第二AC值，并把各滑窗窗口区域的非有效像素点的第二AC值设为0，得到第二AC值矩阵：
其中，
为第k个滑窗窗口区域的有效像素点的第二AC值，
为第k个滑窗窗口区域的第二IPPG信号的波峰值数据集里的第m个波峰值，
为第k个滑窗窗口区域的第二IPPG信号的波谷值数据集里的第m个波谷值，
为第k个滑窗窗口区域的第二IPPG信号的周期波数量。
其中，滑窗窗口的尺寸要与滑动步长相同，其中，滑窗窗口的横向尺寸、纵向尺寸分别与横向滑动步长、纵向滑动步长相等。其中，预设步长的大小（也是滑窗窗口的尺寸大小）可根据实际需要设置。
例如，第二面部图像序列中包括100帧图像，则每帧图像的第一个滑窗窗口区域的像素均值为分别为q1、q2…q100，则这些像素均值按时序排序形成的数据集合即为第一个滑窗窗口区域的第二IPPG信号。
优选地，第二计算模块6在获取每个滑窗窗口区域的第二IPPG信号之后和提取第二IPPG信号的波峰值数据集和波谷值数据集之前，还执行：
对各滑窗窗口区域的第二IPPG信号进行滑动平均处理和低通滤波处理（例如滤除2Hz以下的信号）。
从而可去除低频干扰成分，提高第二AC值计算结果的准确性。
其中，第二IPPG信号包含多个周期的数据，每个周期包括一个波峰值和一个波谷值，提取各周期的波峰值形成波峰值数据集，提取各周期的波谷值形成波谷值数据集。
优选地，第二计算模块6在提取第二IPPG信号的波峰值数据集和波谷值数据集的时候，执行：对提取的波峰值数据集和波谷值数据集进行离群值剔除。其中，离群值剔除的具体方法为现有技术，此处不对其进行详述。其中，波峰值数据集中每剔除一个离群值，都需要把波谷值数据集中对应的波谷值剔除，相应地，波谷值数据集中每剔除一个离群值，都需要把波峰值数据集中对应的波谷值剔除。其中，每剔除一对离群值（波峰值和对应的波谷值），则
减1。
具体地，修正模块7用于在对比第二AC值矩阵中各第二AC值与AC值阈值以修正第二AC值矩阵的时候，执行：
把第二AC值矩阵中大于AC值阈值的第二AC值乘以预设修正系数；预设修正系数大于0且小于1。
通过把过大的第二AC值按比例缩小，可使血液微循环热力图中过大的AC值在正常范围内，避免得到显示异常的血液微循环热力图。
其中，预设修正系数可根据实际需要设置，能够把过大的第二AC值修正到一般皮肤的AC值水平即可，一般可在0.1-0.8之间取值，例如0.12；实际应用中，对于大部分被测者，该预设修正系数在0.1-0.2之间取值就能得到比较好的修正效果，对于部分年龄较大的被测者，有时候需要使用较大的预设修正系数（0.2-0.8之间）才能取得较好的修正效果。
在本实施例中，生成模块8用于在根据修正后的第二AC值矩阵生成血液微循环热力图的时候，执行：
以修正后的第二AC值矩阵中的各第二AC值为各像素点的像素值生成血液微循环热力图。
例如，第二AC值矩阵的尺寸为n2*m2（即第二AC值矩阵有n2行m2列元素），则生成一个像素尺寸为n2*m2的血液微循环热力图（即该血液微循环热力图中有n2行m2列像素点），该血液微循环热力图中的像素点的像素值等于第二AC值矩阵中对应的元素的元素值（血液微循环热力图中的像素点中任意（i，j）号的像素点的像素值等于第二AC值矩阵中对应的（i，j）号元素的元素值）。
例如，图5为示例性的人面的血液微循环热力图，在获取该血液微循环热力图时，被测者的面部视频信息的采样频率为20 fps、采样时长为5s，对第一掩膜和第二掩膜进行边缘缩小处理时的预设像素宽度为面部边缘线的最大像素距离的3%，预设修正系数为0.12。从该图中可以清晰看出面部不同区域的血液微循环状态。
由上可知，该血液微循环热力图获取装置，通过获取被测者的面部视频信息；对面部视频信息中的图像序列进行第一掩膜处理，得到去除眼部区域和嘴巴区域且缩小边缘的第一面部图像序列；通过滑窗方式获取第一面部图像序列中对应每个滑窗窗口区域的像素点的第一IPPG信号的第一AC值，得到第一AC值矩阵；提取第一AC值矩阵的最大值作为AC值阈值；对面部视频信息中的图像序列进行第二掩膜处理，得到保留眼部区域和嘴巴区域且缩小边缘的第二面部图像序列；通过滑窗方式获取第二面部图像序列中对应每个滑窗窗口区域的像素点的第二IPPG信号的第二AC值，得到第二AC值矩阵；对比第二AC值矩阵中各第二AC值与AC值阈值以修正第二AC值矩阵；根据修正后的第二AC值矩阵生成血液微循环热力图；从而可得到能够清晰看出面部不同区域的血液微循环状态的图像。
请参照图3，图3为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当电子设备运行时，处理器301执行该计算机程序，以执行上述实施例的任一可选的实现方式中的血液微循环热力图获取方法，以实现以下功能：获取被测者的面部视频信息；对面部视频信息中的图像序列进行第一掩膜处理，得到去除眼部区域和嘴巴区域且缩小边缘的第一面部图像序列；通过滑窗方式获取第一面部图像序列中对应每个滑窗窗口区域的像素点的第一IPPG信号的第一AC值，得到第一AC值矩阵；提取第一AC值矩阵的最大值作为AC值阈值；对面部视频信息中的图像序列进行第二掩膜处理，得到保留眼部区域和嘴巴区域且缩小边缘的第二面部图像序列；通过滑窗方式获取第二面部图像序列中对应每个滑窗窗口区域的像素点的第二IPPG信号的第二AC值，得到第二AC值矩阵；对比第二AC值矩阵中各第二AC值与AC值阈值以修正第二AC值矩阵；根据修正后的第二AC值矩阵生成血液微循环热力图。
本申请实施例提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的血液微循环热力图获取方法，以实现以下功能：获取被测者的面部视频信息；对面部视频信息中的图像序列进行第一掩膜处理，得到去除眼部区域和嘴巴区域且缩小边缘的第一面部图像序列；通过滑窗方式获取第一面部图像序列中对应每个滑窗窗口区域的像素点的第一IPPG信号的第一AC值，得到第一AC值矩阵；提取第一AC值矩阵的最大值作为AC值阈值；对面部视频信息中的图像序列进行第二掩膜处理，得到保留眼部区域和嘴巴区域且缩小边缘的第二面部图像序列；通过滑窗方式获取第二面部图像序列中对应每个滑窗窗口区域的像素点的第二IPPG信号的第二AC值，得到第二AC值矩阵；对比第二AC值矩阵中各第二AC值与AC值阈值以修正第二AC值矩阵；根据修正后的第二AC值矩阵生成血液微循环热力图。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static RandomAccess Memory, 简称SRAM），电可擦除可编程只读存储器（Electrically ErasableProgrammable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（ErasableProgrammable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种血液微循环热力图获取方法，用于获取人面的血液微循环热力图，其特征在于，包括步骤：
A1.获取被测者的面部视频信息；
A2.对所述面部视频信息中的图像序列进行第一掩膜处理，得到去除眼部区域和嘴巴区域且缩小边缘的第一面部图像序列；
A3.通过滑窗方式获取所述第一面部图像序列中对应每个滑窗窗口区域的像素点的第一IPPG信号的第一AC值，得到第一AC值矩阵；
A4.提取所述第一AC值矩阵的最大值作为AC值阈值；
A5.对所述面部视频信息中的图像序列进行第二掩膜处理，得到保留眼部区域和嘴巴区域且缩小边缘的第二面部图像序列；
A6.通过滑窗方式获取所述第二面部图像序列中对应每个滑窗窗口区域的像素点的第二IPPG信号的第二AC值，得到第二AC值矩阵；
A7.对比所述第二AC值矩阵中各所述第二AC值与所述AC值阈值以修正所述第二AC值矩阵；
A8.根据修正后的所述第二AC值矩阵生成血液微循环热力图。
2.根据权利要求1所述的血液微循环热力图获取方法，其特征在于，步骤A2包括：
对所述面部视频信息中的图像序列的图像进行语义分割，以提取面部各部分的位置数据；
根据所述位置数据生成第一掩膜，所述第一掩膜中与所述面部各部分对应的位置的值为1，其它部分的值为0；
对所述第一掩膜进行边缘缩小处理和去除眼部区域和嘴巴区域的处理，得到处理后的第一掩膜；
用所述处理后的第一掩膜对所述面部视频信息中的图像序列进行掩膜操作，得到所述第一面部图像序列。
3.根据权利要求1所述的血液微循环热力图获取方法，其特征在于，步骤A3包括：
用预设步长对所述第一面部图像序列的各图像进行滑窗扫描，计算各滑窗窗口区域的有效像素点的像素均值；所述有效像素点为像素值非零的像素点；
以所述第一面部图像序列的各图像的同一滑窗窗口区域的所述像素均值为第一IPPG信号值，获取每个所述滑窗窗口区域的第一IPPG信号；
提取所述第一IPPG信号的波峰值数据集和波谷值数据集；
通过以下公式计算各所述滑窗窗口区域的有效像素点的第一AC值，并把各所述滑窗窗口区域的非有效像素点的第一AC值设为0，得到所述第一AC值矩阵：
其中，
为第j个所述滑窗窗口区域的有效像素点的第一AC值，
为第j个所述滑窗窗口区域的所述第一IPPG信号的波峰值数据集里的第i个波峰值，
为第j个所述滑窗窗口区域的所述第一IPPG信号的波谷值数据集里的第i个波谷值，
为第j个所述滑窗窗口区域的所述第一IPPG信号的周期波数量。
4.根据权利要求1所述的血液微循环热力图获取方法，其特征在于，步骤A5包括：
对所述面部视频信息中的图像序列的图像进行语义分割，以提取面部各部分的位置数据；
根据所述位置数据生成第二掩膜，所述第二掩膜中与所述面部各部分对应的位置的值为1，其它部分的值为0；
对所述第二掩膜进行边缘缩小处理，得到处理后的第二掩膜；
用所述处理后的第二掩膜对所述面部视频信息中的图像序列进行掩膜操作，得到所述第二面部图像序列。
5.根据权利要求1所述的血液微循环热力图获取方法，其特征在于，步骤A6包括：
用预设步长对所述第二面部图像序列的各图像进行滑窗扫描，计算各滑窗窗口区域的有效像素点的像素均值；所述有效像素点为像素值非零的像素点；
以所述第二面部图像序列的各图像的同一滑窗窗口区域的所述像素均值为第二IPPG信号值，获取每个所述滑窗窗口区域的第二IPPG信号；
提取所述第二IPPG信号的波峰值数据集和波谷值数据集；
通过以下公式计算各所述滑窗窗口区域的有效像素点的第二AC值，并把各所述滑窗窗口区域的非有效像素点的第二AC值设为0，得到所述第二AC值矩阵：
其中，
为第k个所述滑窗窗口区域的有效像素点的第二AC值，
为第k个所述滑窗窗口区域的所述第二IPPG信号的波峰值数据集里的第m个波峰值，
为第k个所述滑窗窗口区域的所述第二IPPG信号的波谷值数据集里的第m个波谷值，
为第k个所述滑窗窗口区域的所述第二IPPG信号的周期波数量。
6.根据权利要求1所述的血液微循环热力图获取方法，其特征在于，步骤A7包括：
把所述第二AC值矩阵中大于所述AC值阈值的所述第二AC值乘以预设修正系数；所述预设修正系数大于0且小于1。
7.根据权利要求1所述的血液微循环热力图获取方法，其特征在于，步骤A8包括：
以修正后的所述第二AC值矩阵中的各所述第二AC值为各像素点的像素值生成所述血液微循环热力图。
8.一种血液微循环热力图获取装置，用于获取人面的血液微循环热力图，其特征在于，包括：
第一获取模块，用于获取被测者的面部视频信息；
第一掩膜模块，用于对所述面部视频信息中的图像序列进行第一掩膜处理，得到去除眼部区域和嘴巴区域且缩小边缘的第一面部图像序列；
第一计算模块，用于通过滑窗方式获取所述第一面部图像序列中对应每个滑窗窗口区域的像素点的第一IPPG信号的第一AC值，得到第一AC值矩阵；
提取模块，用于提取所述第一AC值矩阵的最大值作为AC值阈值；
第二掩膜模块，用于对所述面部视频信息中的图像序列进行第二掩膜处理，得到保留眼部区域和嘴巴区域且缩小边缘的第二面部图像序列；
第二计算模块，用于通过滑窗方式获取所述第二面部图像序列中对应每个滑窗窗口区域的像素点的第二IPPG信号的第二AC值，得到第二AC值矩阵；
修正模块，用于对比所述第二AC值矩阵中各所述第二AC值与所述AC值阈值以修正所述第二AC值矩阵；
生成模块，用于根据修正后的所述第二AC值矩阵生成血液微循环热力图。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如权利要求1-7任一项所述血液微循环热力图获取方法中的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一项所述血液微循环热力图获取方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210037248.XA CN114241582B (zh) | 2022-01-13 | 2022-01-13 | 血液微循环热力图获取方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210037248.XA CN114241582B (zh) | 2022-01-13 | 2022-01-13 | 血液微循环热力图获取方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114241582A true CN114241582A (zh) | 2022-03-25 |
| CN114241582B CN114241582B (zh) | 2024-05-10 |
Family
ID=80746507
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210037248.XA Active CN114241582B (zh) | 2022-01-13 | 2022-01-13 | 血液微循环热力图获取方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114241582B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016158624A1 (ja) * | 2015-03-30 | 2016-10-06 | 国立大学法人東北大学 | 生体情報計測装置、生体情報計測方法、生体情報表示装置及び生体情報表示方法 |
| US20180005085A1 (en) * | 2016-06-29 | 2018-01-04 | Niramai Health Analytix Pvt. Ltd. | Blood vessel extraction in two-dimensional thermography |
| US20180174490A1 (en) * | 2016-12-15 | 2018-06-21 | The Brigham And Women's Hospital, Inc. | Methods and systems for generating fluid simulation models |
| US20190008402A1 (en) * | 2014-10-04 | 2019-01-10 | Government Of The United States, As Represented By The Secretary Of The Air Force | Non-Contact Assessment of Cardiovascular Function using a Multi-Camera Array |
| CN110353700A (zh) * | 2019-07-29 | 2019-10-22 | 苏州市高事达信息科技股份有限公司 | 非接触式血氧饱和度检测方法 |
| US20200302609A1 (en) * | 2019-03-19 | 2020-09-24 | Arizona Board Of Regents On Behalf Of Arizona State University | Detecting abnormalities in vital signs of subjects of videos |
| CN113450329A (zh) * | 2021-06-29 | 2021-09-28 | 广州医软智能科技有限公司 | 一种微循环图像血管分支红细胞流速计算方法及系统 |
-
2022
- 2022-01-13 CN CN202210037248.XA patent/CN114241582B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190008402A1 (en) * | 2014-10-04 | 2019-01-10 | Government Of The United States, As Represented By The Secretary Of The Air Force | Non-Contact Assessment of Cardiovascular Function using a Multi-Camera Array |
| WO2016158624A1 (ja) * | 2015-03-30 | 2016-10-06 | 国立大学法人東北大学 | 生体情報計測装置、生体情報計測方法、生体情報表示装置及び生体情報表示方法 |
| US20180005085A1 (en) * | 2016-06-29 | 2018-01-04 | Niramai Health Analytix Pvt. Ltd. | Blood vessel extraction in two-dimensional thermography |
| US20180174490A1 (en) * | 2016-12-15 | 2018-06-21 | The Brigham And Women's Hospital, Inc. | Methods and systems for generating fluid simulation models |
| US20200302609A1 (en) * | 2019-03-19 | 2020-09-24 | Arizona Board Of Regents On Behalf Of Arizona State University | Detecting abnormalities in vital signs of subjects of videos |
| CN110353700A (zh) * | 2019-07-29 | 2019-10-22 | 苏州市高事达信息科技股份有限公司 | 非接触式血氧饱和度检测方法 |
| CN113450329A (zh) * | 2021-06-29 | 2021-09-28 | 广州医软智能科技有限公司 | 一种微循环图像血管分支红细胞流速计算方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 赵彦涛;付美玲;王斌;张旭光;李小俚;: "基于主成分分析和重叠直方图统计的视频信号心率测量", 中国生物医学工程学报, no. 03, 20 June 2016 (2016-06-20), pages 284 - 291 * |
| 陈辉;郑秀娟;倪宗军;张昀;杨晓梅;: "基于面部视频分析的生命体征检测", 北京航空航天大学学报, no. 09, pages 1770 - 1777 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114241582B (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9710907B2 (en) | Diagnosis support system using panoramic radiograph and diagnosis support program using panoramic radiograph | |
| CN107292877B (zh) | 一种基于眼底图像特征的左右眼识别方法 | |
| McDuff et al. | Fusing partial camera signals for noncontact pulse rate variability measurement | |
| US20180350080A1 (en) | Analysis method and system of digital subtraction angiographic images | |
| Feng et al. | Motion artifacts suppression for remote imaging photoplethysmography | |
| WO2019110312A1 (en) | A system and method for detecting motion sickness | |
| Kumari et al. | Blood vessel extraction using wiener filter and morphological operation | |
| Newman et al. | Automatic nystagmus detection and quantification in long-term continuous eye-movement data | |
| CN113920119B (zh) | 一种基于热成像技术的心率呼吸分析处理方法 | |
| Dikkala et al. | A comprehensive analysis of morphological process dependent retinal blood vessel segmentation | |
| Escorcia-Gutierrez et al. | Convexity shape constraints for retinal blood vessel segmentation and foveal avascular zone detection | |
| Cho et al. | Reduction of motion artifacts from remote photoplethysmography using adaptive noise cancellation and modified HSI model | |
| Mehta et al. | Heart rate estimation from RGB facial videos using robust face demarcation and VMD | |
| JP4302180B2 (ja) | 局所血流動態に関するインデックスを演算する方法及び装置 | |
| CN114241582B (zh) | 血液微循环热力图获取方法、装置、电子设备及存储介质 | |
| Lopes et al. | A deep learning approach to detect hyoid bone in ultrasound exam | |
| Lian et al. | Research on non-contact multi-person heart rate measurement method for intelligent education | |
| CN113361480A (zh) | 基于人脸视频的人体脉搏波获取方法 | |
| Pansare et al. | Heart Rate Measurement from Face and Wrist Video | |
| Gambi et al. | Sensitivity of the contactless videoplethysmography-based heart rate detection to different measurement conditions | |
| Napier et al. | A CAD system for brain haemorrhage detection in head CT scans | |
| Pursche et al. | Multi-person remote heart-rate measurement from human faces-a cnn based approach | |
| CN111626974A (zh) | 冠状动脉造影图像序列的质量评分方法和装置 | |
| Aloudat et al. | Histogram analysis for automatic blood vessels detection: First step of IOP | |
| Kiyama et al. | Development of robust video-oculography system for non-invasive autonomic nerve quantification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |