CN117542127A - 基于多光谱偏振光的皮肤检测方法及装置 - Google Patents
基于多光谱偏振光的皮肤检测方法及装置 Download PDFInfo
- Publication number
- CN117542127A CN117542127A CN202410026538.3A CN202410026538A CN117542127A CN 117542127 A CN117542127 A CN 117542127A CN 202410026538 A CN202410026538 A CN 202410026538A CN 117542127 A CN117542127 A CN 117542127A
- Authority
- CN
- China
- Prior art keywords
- polarized light
- skin
- pixel information
- image
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 54
- 239000011159 matrix material Substances 0.000 claims abstract description 47
- 230000010287 polarization Effects 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000010586 diagram Methods 0.000 claims abstract description 21
- 238000000605 extraction Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims 1
- 229910000672 PPGI Inorganic materials 0.000 abstract description 11
- 238000012544 monitoring process Methods 0.000 abstract description 8
- 238000004458 analytical method Methods 0.000 abstract description 3
- 230000000052 comparative effect Effects 0.000 description 10
- 238000005388 cross polarization Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000001727 in vivo Methods 0.000 description 6
- 230000028161 membrane depolarization Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002028 premature Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000008081 blood perfusion Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010412 perfusion Effects 0.000 description 1
- 238000013186 photoplethysmography Methods 0.000 description 1
- 230000036211 photosensitivity Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4848—Monitoring or testing the effects of treatment, e.g. of medication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/58—Extraction of image or video features relating to hyperspectral data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Cardiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Dermatology (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了基于多光谱偏振光的皮肤检测方法及装置，包括：通过光源交替发射第一偏振光和第二偏振光照射皮肤，采集对应图像，其中所述第一偏振光与所述第二偏振光的偏振方向不同；提取所述图像的像素信息；对所述像素信息进行降采样处理，并获取所述像素信息的差值矩阵；可视化转换所述差值矩阵，得到皮肤热力图；相比现有的PPGI活体皮肤检测方法，利用偏振滤除皮肤表面反射光，为分析提供更深层、更准确的信息，从而提高活体皮肤检测和生理监测的准确性和实时性。
Description
技术领域
本发明涉及计算机视觉和图像处理领域，尤其涉及基于多光谱偏振光的皮肤检测方法及装置。
背景技术
人体对于光的反射、折射、吸收等，使得许多生理参数可以通过非接触的方式来完成。目前，生命体征相机已经被用于检测来自人体面部或身体的生理信号，其概念及可行性也在真实的医院场景，如ICU、NICU、睡眠医学中心等得到证明。然而，生命体征相机对于生理信号的监测，通常需要选取一个皮肤区域用于生理信号的提取，所被选取皮肤区域即为RoI（Region of Interest）。传统的基于机器学习的方法在选取皮肤时，会包含头发、眉毛等无生理特征意义的区域，无法保证检测区域的生理特性。因此，基于活体皮肤检测选取RoI的方法被广泛关注。
目前方法中，基于光电容积脉搏波成像技术(Photo-Plethysmography imaging,PPGI)用于活体皮肤检测的皮肤灌注图法被大量使用，此方法不仅可以有效判断活体皮肤，辅助选取RoI，而且其活体检测能力可用于辅助提高防欺诈系统成功率。但在实施时，此方法需要连续测量至少2-3个心脏周期的稳定的PPG信号以获得可供分析的信号，这限制了实际应用的部署，例如：NICU活跃的新生儿难以保持长时间静止使得生理监测持续有效，机场自动识别也无法要求乘客等相当一段时间进行测量和识别。因此，新的方法急需提出，来保证实现实时和准确的生理检测和活体检测，同时还可以真正部署到在实际应用中。
所以，目前对于活体皮肤检测的方法仍有待于进一步改进。
发明内容
本发明提出了基于多光谱偏振光的皮肤检测方法及装置，解决了现有的基于PPGI的活体皮肤检测方法中不具实时性，以及录活体主体的视频也会产生PPG信号干扰而无法完全确认是活体的技术问题。
为了解决上述问题，本发明提出以下技术方案：
本发明提供一种基于多光谱偏振光的皮肤检测方法及装置。
一方面，本发明提供了基于多光谱偏振光的皮肤检测方法，包括：
通过光源交替发射第一偏振光和第二偏振光照射皮肤，采集所述第一偏振光照射在所述皮肤上的第一图像和所述第二偏振光照射在所述皮肤上的第二图像，其中所述第一偏振光与所述第二偏振光的偏振方向不同；
提取所述第一图像的第一像素信息和所述第二图像的第二像素信息；
对所述第一像素信息和所述第二像素信息进行降采样处理，并获取所述第一像素信息和所述第二像素信息的差值矩阵；
可视化转换所述差值矩阵，得到皮肤热力图。
在此技术方案基础上，进一步优选地，所述第一偏振光的偏振方向与所述第二偏振光的偏振方向垂直。
在此技术方案基础上，进一步优选地，所述通过光源交替发射第一偏振光和第二偏振光照射皮肤，采集所述第一偏振光照射在所述皮肤上的第一图像和所述第二偏振光照射在所述皮肤上的第二图像，包括：
以1:1的发射时间向所述皮肤交替发射所述第一偏振光和所述第二偏振光；
拍摄所述第一偏振光和所述第二偏振光照射在所述皮肤上的图像，获取所述第一图像和所述第二图像。
在此技术方案基础上，进一步优选地，所述提取所述第一图像的第一像素信息和所述第二图像的第二像素信息，包括：获取所述第一图像的RGB通道像素值作为所述第一像素信息，获取所述第二图像的RGB通道像素值作为所述第二像素信息。
在此技术方案基础上，进一步优选地，所述对所述第一像素信息和所述第二像素信息进行降采样处理，并获取所述第一像素信息和所述第二像素信息的差值矩阵，包括：
以0.1的降采样比例处理所述第一像素信息和所述第二像素信息，以盒式核作为插值核对所述第一像素信息和所述第二像素信息进行降采样处理，得到处理后的第一像素信息和处理后的第二像素信息；
获取所述处理后的第一像素信息中R通道像素值和G通道像素值的比值为第一R/G值，获取所述处理后的第二像素信息中R通道像素值和G通道像素值的比值为第二R/G值；
用所述第二R/G值减去所述第一R/G值，获得所述差值矩阵，其中，R通道为红色通道，G通道为绿色通道。
在此技术方案基础上，进一步优选地，所述可视化转换所述差值矩阵，得到皮肤热力图，包括：
将所述差值矩阵中小于0的区域设为0，得到裁剪后的差值矩阵；
将所述裁剪后的差值矩阵以1为标准差进行高斯滤波处理得到处理后的差值矩阵；
基于所述处理后的差值矩阵中的RGB通道像素值，可视化转换得到所述皮肤热力图。
在此技术方案基础上，进一步优选地，基于所述第一像素信息和所述第二像素信息，确定所述第一图像和所述第二图像中的皮肤区域，并通过所述差值矩阵获得所述皮肤区域的所述皮肤热力图。
第二方面，本发明还提供了一种基于多光谱偏振光的皮肤检测装置，所述基于多光谱偏振光的皮肤检测装置包括：
图像采集模块，用于通过光源交替发射第一偏振光和第二偏振光照射皮肤，采集所述第一偏振光照射在所述皮肤上的第一图像和所述第二偏振光照射在所述皮肤上的第二图像，其中所述第一偏振光为平行偏振光，与所述第二偏振光为交叉偏振光的偏振方向不同；
信息提取模块，用于提取所述第一图像的第一像素信息和所述第二图像的第二像素信息；
图像处理模块，用于对所述第一像素信息和所述第二像素信息进行降采样处理，并获取所述第一像素信息和所述第二像素信息的差值矩阵；
图像生成模块，用于可视化转换所述差值矩阵，得到皮肤热力图。
在此技术方案基础上，进一步优选地，所述图像采集模块包括所述光源、采光器件和偏振片，其中所述光源为时分复用多路LED提供的LED光源，所述采光器件为相机，所述偏振片设置于所述采光器件与所述皮肤之间。
在此技术方案基础上，进一步优选地，所述图像处理模块包括降采样单元，获取单元和计算单元。
所述降采样单元以盒式核作为插值核对所述第一像素信息和所述第二像素信息进行降采样处理；所述获取单元获取所述处理后的第一像素信息中R通道像素值和G通道像素值的比值为第一R/G值，获取所述处理后的第二像素信息中R通道像素值和G通道像素值的比值为第二R/G值；所述计算单元用所述第二R/G值减去所述第一R/G值，获得所述差值矩阵。
与现有技术相比，本发明所能达到的技术效果包括：
本发明同时结合多光谱技术和偏振光技术，不仅获取物体在不同光谱波段上的光学特性，还分析偏振光对光谱的影响，利用偏振滤除皮肤表面反射光，为分析提供更深层、更准确的信息，从而提高活体皮肤检测和生理监测的准确性和实时性，并提出新颖简单的算法，完成活体皮肤检测。
本发明提出的基于多光谱偏振光的皮肤检测装置，利用去极化效果的波长依赖性，多波长皮肤去极化，MSD算法仅需平行和交叉偏振下产生的两张图片作为输入，在20帧/秒的摄像机下，活皮肤检测的总持续时间原则上可以小于0.1秒，应用简单。
附图说明
图 1为本发明所述基于多光谱偏振光的皮肤检测方法流程图；
图2为本发明实施例1基于多光谱偏振光的活体皮肤检测结果示意图；
图 3为本发明实施例2所述基于多光谱偏振光的皮肤检测装置图；
图4为本发明对比例1基于PPGI的活体皮肤检测结果示意图；
图5为本发明实施例2和对比例2对新生儿重症监护病房早产儿的活体皮肤分割示意图；
图6为本发明实施例2和对比例2对ICU患者的活体皮肤分割示意图。
具体实施方式
下面将结合本发明实施例中的附图，对实施例中的技术方案进行清楚、完整地描述。显然，以下将描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下，基于本发明权利要求所属技术所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，在此本发明实施例说明书中所使用的术语仅是出于描述特定实施例的目的而并不意在限制本发明实施例。如在本发明实施例说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
在基于光的远程检测中，无论是人体生理参数监测还是活体检测，都存在着皮肤反射光带来伪影和噪声数据的问题。此外，目前的生理监测和活体检测方法由于其不实时性，难以转化到实际应用。而使用两个互相交叉的偏振片可以有效去除皮肤表面的镜面反射，从而有效提高生命体征相机提取PPG的质量，并假设皮肤组织的去极化，可以使每个通道的光灵敏度转移到其传感范围内的较长波长部分，从而导致皮肤色度和血容量脉搏特征的变化。
基于以上发现和假设，本发明提出了基于多光谱偏振光的活体皮肤检测方法及应用，依据不同波长光子的不同皮肤穿透性，通过皮肤组织在R、G、B波长下的去极化程度的不同，从而区分皮肤和非皮肤像素。此外，还提出了一种新的算法分割核心算法（MSD），仅依靠平行偏振状态和交叉偏振状态下的两张图片，即可分析其R/G对比度的活皮肤像素，实现活体皮肤检测。基于上述MSD算法的活体皮肤检测，可以帮助生理信号提取时，更准确实时的选取合适的RoI，由偏振光去除皮肤镜面反射也能有效减少运动伪影，提高生理信号的鲁棒性。
如图1，为所述基于多光谱偏振光的皮肤检测方法流程图，因此，本实施例1提供了基于多光谱偏振光的皮肤检测方法，具体还包括：
步骤1，通过光源交替发射第一偏振光和第二偏振光照射皮肤，采集所述第一偏振光照射在所述皮肤上的第一图像和所述第二偏振光照射在所述皮肤上的第二图像，其中所述第一偏振光与所述第二偏振光的偏振方向不同。
步骤2，提取所述第一图像的第一像素信息和所述第二图像的第二像素信息。
步骤3，对所述第一像素信息和所述第二像素信息进行降采样处理，并获取所述第一像素信息和所述第二像素信息的差值矩阵。
步骤4，可视化转换所述差值矩阵，得到皮肤热力图。
其中，所述第一偏振光的偏振方向与所述第二偏振光的偏振方向垂直，所述第一偏振光的偏振方向与偏振片的方向平行。
所述通过光源交替发射第一偏振光和第二偏振光照射皮肤，采集所述第一偏振光照射在所述皮肤上的第一图像和所述第二偏振光照射在所述皮肤上的第二图像，包括：
以1:1的发射时间向所述皮肤交替发射所述第一偏振光和所述第二偏振光。
拍摄所述第一偏振光和所述第二偏振光照射在所述皮肤上的图像，获取所述第一图像和所述第二图像。
所述提取所述第一图像的第一像素信息和所述第二图像的第二像素信息，包括：获取所述第一图像的RGB通道像素值作为所述第一像素信息，获取所述第二图像的RGB通道像素值作为所述第二像素信息。
所述对所述第一像素信息和所述第二像素信息进行降采样处理，并获取所述第一像素信息和所述第二像素信息的差值矩阵，包括：
以0.1的降采样比例处理所述第一像素信息和所述第二像素信息，以盒式核作为插值核对所述第一像素信息和所述第二像素信息进行降采样处理，得到处理后的第一像素信息和处理后的第二像素信息；其中降采样预处理包括将盒式核作为插值核，不但可在像素信息中降低噪声影响，有助于提高对像素信息的处理效率。
获取所述处理后的第一像素信息中R通道像素值和G通道像素值的比值为第一R/G值，获取所述处理后的第二像素信息中R通道像素值和G通道像素值的比值为第二R/G值。
用所述第二R/G值减去所述第一R/G值，获得所述差值矩阵，其中，R通道为红色通道，G通道为绿色通道。
所述可视化转换所述差值矩阵，得到皮肤热力图，包括：
将所述差值矩阵中小于0的区域设为0，得到裁剪后的差值矩阵。
将所述裁剪后的差值矩阵以1为标准差进行高斯滤波处理得到处理后的差值矩阵。
基于所述处理后的差值矩阵中的RGB通道像素值，可视化转换得到所述热力图。
较佳实施方式中，上述步骤3和步骤4，还包括另一种实施方式，即所述MSD算法，具体还包括：
S1，通过切换平行偏振模式和交叉偏振模式，获取各自的图像，以0.1为降采样比例，盒式核为插值方法，分别进行降采样预处理，从而得到两张降采样后的图像；
S2，将降采样后交叉偏振模式的图像的R/G值，减去同样将降采样后平行偏振模式的图像的R/G值，得到两张图像以像素值为单位形成的差值的矩阵H；
S3，将矩阵H中小于0的区域设为0，得到裁剪后的矩阵H；
S4，将裁剪后的H以1为标准差进行高斯滤波处理；
S5，最终得到的H以热力图的方式展示。
即为，
输入：获取平行偏振模式和交叉偏振模式的和/>，/> (默认)：
：
：
：
：
：
输出：皮肤热力图：
其中，为平行图像，/>为交叉图像，/>为缩小的比例，/>为高斯滤波器的标准差，/>为盒式核。
最后经过高斯滤波器处理后，可视化转换，这样得到皮肤热力图会更加平滑。
根据上述方法选取 10 名不同肤色的成年受试者作为测试对象，测试对象坐在椅子上，距离相机 3 米，位于平行位置前方；同时在测试对象旁边放置了一个可欺骗系统的玩偶脸和玩偶躯干，其皮肤色调和外观类似。
结果：本实施例基于多光谱偏振光的生理信号提取过程，在极化从平行切换到交叉时，皮肤表面的镜面反射明显减少，皮肤的色度发生变化，面部看起来“更红”，RGB信号（AC/DC）的脉动强度增强，RGB通道之间的相对PPG幅度发生变化，例如血容量脉动特征从[0.4, 0.5, 0.6]修改为[0.3, 0.8, 0.5]。由于PPG信号获得方式是对原始信号的滤波、合成，原始信号的增强和RGB各通道间对比度的增强，促使获得更具鲁棒性的PPG信号。
图2可见，实施例1的基于多光谱偏振光的皮肤检测方法，能够识别欺骗系统的玩偶及玩偶躯干，提示本实施例的方法通过皮肤组织在R、G、B波长下的去极化程度的不同，有效区分皮肤（测试对象）和非皮肤像素（即玩偶及玩偶躯干）；并且仅依靠平行偏振状态和垂直偏振状态下的两张图片，即可分析其R/G对比度的活皮肤像素，实现活体皮肤检测，并且ROI提取更准确。
实施例2
一种基于多光谱偏振光的皮肤检测装置，如图3，包括图像采集模块10、信息提取模块20、图像处理模块30和图像生成模块40，具体还包括：
图像采集模块，用于通过光源交替发射第一偏振光和第二偏振光照射皮肤，采集所述第一偏振光照射在所述皮肤上的第一图像和所述第二偏振光照射在所述皮肤上的第二图像，其中所述第一偏振光为平行偏振光，与所述第二偏振光为交叉偏振光的偏振方向不同。
所述图像采集模块包括所述光源、采光器件和偏振片，其中所述光源为时分复用多路LED提供的LED光源，所述采光器件为相机，所述偏振片设置于所述采光器件与所述皮肤之间；所述光源发出任一单色激光，照向活体表面。
为了便于不同类型偏振光连续发射，在现有光源基础上，本实施例采用时分复用多路LED板，来提供LED光源，时分复用多路LED板依次发射两种类型偏振光，进而实现在较短时间的间隔内，照射活体皮肤表面；每个受试者的面部皮肤录制持续 2 分钟，平行偏振录制 1 分钟，交叉偏振录制 1 分钟，即在录制过程中旋转相机偏振器 90°切换偏振模式；录制环境均在环境光照条件下进行，并未对背景照明有所控制，偏振光与室内光混合，这样，本实施例的皮肤检测装置在日常环境下也可实现。
信息提取模块，用于提取所述第一图像的第一像素信息和所述第二图像的第二像素信息。
图像处理模块，用于对所述第一像素信息和所述第二像素信息进行降采样处理，并获取所述第一像素信息和所述第二像素信息的差值矩阵；所述图像处理模块包括降采样单元，获取单元和计算单元。
所述降采样单元以盒式核作为插值核对所述第一像素信息和所述第二像素信息进行降采样处理；所述获取单元获取所述处理后的第一像素信息中R通道像素值和G通道像素值的比值为第一R/G值，获取所述处理后的第二像素信息中R通道像素值和G通道像素值的比值为第二R/G值；所述计算单元用所述第二R/G值减去所述第一R/G值，获得所述差值矩阵。
图像生成模块，用于可视化转换所述差值矩阵，得到皮肤热力图。
采用本实施例所述的装置对20 名患者进行检测，其中 10 名来自 NICU，出生时长从 10 分钟到 8 天，10 名来自 ICU，年龄从 5 个月到 88 岁。
其中，NICU 和 ICU 进行的录制都是在环境光照条件下进行的，没有对背景照明进行控制，因此偏振光与室内光混合。在NICU 进行录制时，婴儿躺在保温箱里，眼睛被遮住。录制设置（相机和光源）放置在保温箱上方，从顶部俯视拍摄婴儿；生理监测过程在医院环境光照条件下进行，在 ICU 进行录制时，患者躺在床上，由设置从顶部俯视进行录制。ICU 的录制方式与 NICU 相似，但患者处于病床上。
对比例1
一种活体皮肤检测方法，与实施例1的区别在于，采用现有的基于PPGI进行活体皮肤检测，具体包括以下步骤：
首先，利用Lucas-Kanade光流法对图像序列进行特征点动态跟踪，通过仿射变换对图像进行校正，减少运动伪影，改善IPPG信号质量。
然后，采用滑动窗口遍历图像，获取各个窗口空间像素平均信号与整张图像空间像素平均信号的斯皮尔曼相关系数，并进行相关性地形图成像，以获取皮肤血液灌注分布图像。
结果：图2、图4分别为实施例1和对比例1的活体皮肤检测方法检测结果，图2中最后一栏的MSD (R/G)是实施例1采取的方法，图4为对比例1通过PPGI和MSD (R/B或R/G)获得10名被试的活体皮肤热图，热图中较亮的颜色表示皮肤区域。
可看出，与对比例1的PPGI相比较，实施例1的基于多光谱偏振光的皮肤检测方法，仅依靠平行偏振状态和垂直偏振状态下的两张图片，即可处理其R/G对比度的活皮肤像素，而经过所述处理后的差值矩阵中的RGB通道像素值，可视化转换得到所述的皮肤热力图，进而实现活体皮肤检测，并且ROI提取更准确。
对比例2
一种基于PPGI进行活体皮肤检测装置，与实施例2的区别在于，采用现有PPGI的检测装置进行活体皮肤检测。
结果：图5-6分别为实施例2和对比例2的活体皮肤检测装置在活体皮肤分割的结果，图5为PPGI 和MSD (R/G)对新生儿重症监护病房早产儿的影响；可看出，实施例2，基于MSD (R/G)算法的活体皮肤检测，可以帮助生理信号提取时，更准确实时地选取合适的ROI，由偏振光去除皮肤镜面反射也能有效减少运动伪影，提高生理信号的鲁棒性；
图6为PPGI 和MSD (R/G)对ICU病情恶化患者的评价；可看出对比例2，即现有的方法提取生理信号，选取皮肤的ROI时，包含头发、眉毛等无生理特征意义的区域，无法保证检测区域的生理特性；而实施例2利用偏振滤除皮肤表面反射光，为分析提供更深层、更准确的信息，从而提高生理监测的准确性和实时性。
综上所述，本发明提供了一种基于多光谱偏振光的活体皮肤检测方法及装置，通过结合多光谱技术和偏振光技术，利用RGB波长的皮肤组织不同程度的去极化来区分皮肤和非皮肤像素，用所提出的MSD算法来检测基于平行极化和交叉极化之间的R/G对比度的皮肤像素；其中MSD算法选取ROI将会更加高效实时，所得到的PPG信号由于去除了皮肤镜面反射光的影响并得到了更多皮肤深层信息，将更具鲁棒性。另外，MSD算法仅需平行和交叉偏振下产生的两张图片作为输入，在20帧/秒的摄像机下，活皮肤检测的总持续时间原则上可以小于0.1秒，应用简单。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于多光谱偏振光的皮肤检测方法，其特征在于，包括：
通过光源交替发射第一偏振光和第二偏振光照射皮肤，采集所述第一偏振光照射在所述皮肤上的第一图像和所述第二偏振光照射在所述皮肤上的第二图像，其中所述第一偏振光与所述第二偏振光的偏振方向不同；
提取所述第一图像的第一像素信息和所述第二图像的第二像素信息；
对所述第一像素信息和所述第二像素信息进行降采样处理，并获取所述第一像素信息和所述第二像素信息的差值矩阵；
可视化转换所述差值矩阵，得到皮肤热力图。
2.如权利要求1所述的基于多光谱偏振光的皮肤检测方法，其特征在于，所述第一偏振光的偏振方向与所述第二偏振光的偏振方向垂直。
3.如权利要求2所述的基于多光谱偏振光的皮肤检测方法，其特征在于，所述通过光源交替发射第一偏振光和第二偏振光照射皮肤，采集所述第一偏振光照射在所述皮肤上的第一图像和所述第二偏振光照射在所述皮肤上的第二图像，包括：
以1:1的发射时间向所述皮肤交替发射所述第一偏振光和所述第二偏振光；
拍摄所述第一偏振光和所述第二偏振光照射在所述皮肤上的图像，获取所述第一图像和所述第二图像。
4.如权利要求2所述的基于多光谱偏振光的皮肤检测方法，其特征在于，所述提取所述第一图像的第一像素信息和所述第二图像的第二像素信息，包括：获取所述第一图像的RGB通道像素值作为所述第一像素信息，获取所述第二图像的RGB通道像素值作为所述第二像素信息。
5.如权利要求4所述的基于多光谱偏振光的皮肤检测方法，其特征在于，所述对所述第一像素信息和所述第二像素信息进行降采样处理，并获取所述第一像素信息和所述第二像素信息的差值矩阵，包括：
以0.1的降采样比例处理所述第一像素信息和所述第二像素信息，以盒式核作为插值核对所述第一像素信息和所述第二像素信息进行降采样处理，得到处理后的第一像素信息和处理后的第二像素信息；
获取所述处理后的第一像素信息中R通道像素值和G通道像素值的比值为第一R/G值，获取所述处理后的第二像素信息中R通道像素值和G通道像素值的比值为第二R/G值；
用所述第二R/G值减去所述第一R/G值，获得所述差值矩阵，其中，R通道为红色通道，G通道为绿色通道。
6.如权利要求5所述的基于多光谱偏振光的皮肤检测方法，其特征在于，所述可视化转换所述差值矩阵，得到皮肤热力图，包括：
将所述差值矩阵中小于0的区域设为0，得到裁剪后的差值矩阵；
将所述裁剪后的差值矩阵以1为标准差进行高斯滤波处理得到处理后的差值矩阵；
基于所述处理后的差值矩阵中的RGB通道像素值，可视化转换得到所述皮肤热力图。
7.如权利要求6所述的基于多光谱偏振光的皮肤检测方法，其特征在于，还包括：基于所述第一像素信息和所述第二像素信息，确定所述第一图像和所述第二图像中的皮肤区域，并通过所述差值矩阵获得所述皮肤区域的所述皮肤热力图。
8.一种基于多光谱偏振光的皮肤检测装置，其特征在于，所述基于多光谱偏振光的皮肤检测装置包括：
图像采集模块，用于通过光源交替发射第一偏振光和第二偏振光照射皮肤，采集所述第一偏振光照射在所述皮肤上的第一图像和所述第二偏振光照射在所述皮肤上的第二图像，其中所述第一偏振光为平行偏振光，与所述第二偏振光为交叉偏振光的偏振方向不同；
信息提取模块，用于提取所述第一图像的第一像素信息和所述第二图像的第二像素信息；
图像处理模块，用于对所述第一像素信息和所述第二像素信息进行降采样处理，并获取所述第一像素信息和所述第二像素信息的差值矩阵；
图像生成模块，用于可视化转换所述差值矩阵，得到皮肤热力图。
9.如权利要求8所述的基于多光谱偏振光的皮肤检测装置，其特征在于，所述图像采集模块包括所述光源、采光器件和偏振片，其中所述光源为时分复用多路LED提供的LED光源，所述采光器件为相机，所述偏振片设置于所述采光器件与所述皮肤之间。
10.如权利要求8所述的基于多光谱偏振光的皮肤检测装置，其特征在于，所述图像处理模块包括降采样单元，获取单元和计算单元，
所述降采样单元以盒式核作为插值核对所述第一像素信息和所述第二像素信息进行降采样处理；
所述获取单元获取所述处理后的第一像素信息中R通道像素值和G通道像素值的比值为第一R/G值，获取所述处理后的第二像素信息中R通道像素值和G通道像素值的比值为第二R/G值；
所述计算单元用所述第二R/G值减去所述第一R/G值，获得所述差值矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410026538.3A CN117542127B (zh) | 2024-01-09 | 2024-01-09 | 基于多光谱偏振光的皮肤检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410026538.3A CN117542127B (zh) | 2024-01-09 | 2024-01-09 | 基于多光谱偏振光的皮肤检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117542127A true CN117542127A (zh) | 2024-02-09 |
| CN117542127B CN117542127B (zh) | 2024-05-24 |
Family
ID=89782669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410026538.3A Active CN117542127B (zh) | 2024-01-09 | 2024-01-09 | 基于多光谱偏振光的皮肤检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117542127B (zh) |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060092315A1 (en) * | 2004-10-29 | 2006-05-04 | Johnson & Johnson Consumer Companies, Inc. | Skin Imaging system with probe |
| CN103268499A (zh) * | 2013-01-23 | 2013-08-28 | 北京交通大学 | 基于多光谱成像的人体皮肤检测方法 |
| CN105877711A (zh) * | 2016-04-26 | 2016-08-24 | 中国科学院苏州生物医学工程技术研究所 | 一种皮肤疾病多模态成像检测系统 |
| US20160314585A1 (en) * | 2015-04-24 | 2016-10-27 | Canfield Scientific, Incorporated | Dermatological feature tracking over multiple images |
| US20170132447A1 (en) * | 2015-09-11 | 2017-05-11 | JENETRIC GmbH | Device and method for optical imaging of prints of skin parts with blood circulation |
| CN107506687A (zh) * | 2017-07-17 | 2017-12-22 | 广东欧珀移动通信有限公司 | 活体检测方法及相关产品 |
| CN109008970A (zh) * | 2018-07-19 | 2018-12-18 | 上海试美网络科技有限公司 | 一种带有人工智能的皮肤检测仪 |
| CN209388364U (zh) * | 2019-03-07 | 2019-09-13 | 义乌市悦美科技有限公司 | 一种皮肤图像检测装置以及基于该装置的皮肤图像分析系统 |
| CN111488756A (zh) * | 2019-01-25 | 2020-08-04 | 杭州海康威视数字技术股份有限公司 | 基于面部识别的活体检测的方法、电子设备和存储介质 |
| US20200280661A1 (en) * | 2017-01-10 | 2020-09-03 | Donald Michael Barnes | Systems and methods for spectral imaging with compensation functions |
| US20200330034A1 (en) * | 2019-04-18 | 2020-10-22 | Vanderbilt University | Method and apparatus for intraoperative nerve visualization using polarized diffuse reflectance spectroscopy and applications of same |
| CN112107296A (zh) * | 2020-09-10 | 2020-12-22 | 深圳安道客网络科技有限公司 | 皮肤信息检测系统及检测方法 |
| CN112292071A (zh) * | 2018-06-19 | 2021-01-29 | 皇家飞利浦有限公司 | 用于对包括对象的场景的图像的图像分割的设备、系统和方法 |
| CN112274110A (zh) * | 2020-10-10 | 2021-01-29 | 苏州万微光电科技有限公司 | 一种基于皮肤荧光图像的毛孔检测系统、装置及方法 |
| US20210174965A1 (en) * | 2019-12-06 | 2021-06-10 | X Development Llc | Hyperspectral scanning to determine skin health |
| CN113205057A (zh) * | 2021-05-13 | 2021-08-03 | 北京百度网讯科技有限公司 | 人脸活体检测方法、装置、设备及存储介质 |
| CN113963425A (zh) * | 2021-12-22 | 2022-01-21 | 北京的卢深视科技有限公司 | 人脸活体检测系统的测试方法、装置及存储介质 |
| CN116172513A (zh) * | 2023-02-17 | 2023-05-30 | 上海卓妤科技有限公司 | 一种皮肤检测系统及检测方法 |
-
2024
- 2024-01-09 CN CN202410026538.3A patent/CN117542127B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060092315A1 (en) * | 2004-10-29 | 2006-05-04 | Johnson & Johnson Consumer Companies, Inc. | Skin Imaging system with probe |
| CN103268499A (zh) * | 2013-01-23 | 2013-08-28 | 北京交通大学 | 基于多光谱成像的人体皮肤检测方法 |
| US20160314585A1 (en) * | 2015-04-24 | 2016-10-27 | Canfield Scientific, Incorporated | Dermatological feature tracking over multiple images |
| US20170132447A1 (en) * | 2015-09-11 | 2017-05-11 | JENETRIC GmbH | Device and method for optical imaging of prints of skin parts with blood circulation |
| CN105877711A (zh) * | 2016-04-26 | 2016-08-24 | 中国科学院苏州生物医学工程技术研究所 | 一种皮肤疾病多模态成像检测系统 |
| US20200280661A1 (en) * | 2017-01-10 | 2020-09-03 | Donald Michael Barnes | Systems and methods for spectral imaging with compensation functions |
| CN107506687A (zh) * | 2017-07-17 | 2017-12-22 | 广东欧珀移动通信有限公司 | 活体检测方法及相关产品 |
| CN112292071A (zh) * | 2018-06-19 | 2021-01-29 | 皇家飞利浦有限公司 | 用于对包括对象的场景的图像的图像分割的设备、系统和方法 |
| CN109008970A (zh) * | 2018-07-19 | 2018-12-18 | 上海试美网络科技有限公司 | 一种带有人工智能的皮肤检测仪 |
| CN111488756A (zh) * | 2019-01-25 | 2020-08-04 | 杭州海康威视数字技术股份有限公司 | 基于面部识别的活体检测的方法、电子设备和存储介质 |
| CN209388364U (zh) * | 2019-03-07 | 2019-09-13 | 义乌市悦美科技有限公司 | 一种皮肤图像检测装置以及基于该装置的皮肤图像分析系统 |
| US20200330034A1 (en) * | 2019-04-18 | 2020-10-22 | Vanderbilt University | Method and apparatus for intraoperative nerve visualization using polarized diffuse reflectance spectroscopy and applications of same |
| US20210174965A1 (en) * | 2019-12-06 | 2021-06-10 | X Development Llc | Hyperspectral scanning to determine skin health |
| CN112107296A (zh) * | 2020-09-10 | 2020-12-22 | 深圳安道客网络科技有限公司 | 皮肤信息检测系统及检测方法 |
| CN112274110A (zh) * | 2020-10-10 | 2021-01-29 | 苏州万微光电科技有限公司 | 一种基于皮肤荧光图像的毛孔检测系统、装置及方法 |
| CN113205057A (zh) * | 2021-05-13 | 2021-08-03 | 北京百度网讯科技有限公司 | 人脸活体检测方法、装置、设备及存储介质 |
| CN113963425A (zh) * | 2021-12-22 | 2022-01-21 | 北京的卢深视科技有限公司 | 人脸活体检测系统的测试方法、装置及存储介质 |
| CN116172513A (zh) * | 2023-02-17 | 2023-05-30 | 上海卓妤科技有限公司 | 一种皮肤检测系统及检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| WENJIN WANG 等: "Living-Skin Classification via Remote-PPG", IEEE TRANSACTIONS ON BIO-MEDICAL ENGINEERING, vol. 64, no. 12, 31 December 2017 (2017-12-31), pages 2781 * |
| 杨笑笑 等: "中国年轻女性油性皮肤分类方法与特点研究", 日 用 化 学 工 业（中英文）, vol. 53, no. 12, 31 December 2023 (2023-12-31), pages 1412 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117542127B (zh) | 2024-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3414739B1 (en) | Device, system and method for pulsatility detection | |
| US9706929B2 (en) | Method and apparatus for imaging tissue topography | |
| CN108471989B (zh) | 用于生成承载对象的生命体征信息的光体积描记图像的设备、系统和方法 | |
| JP6899537B2 (ja) | 人体検出装置 | |
| Blackford et al. | Effects of frame rate and image resolution on pulse rate measured using multiple camera imaging photoplethysmography | |
| Zhang et al. | Heart rate extraction based on near-infrared camera: Towards driver state monitoring | |
| CA2934659A1 (en) | System and methods for measuring physiological parameters | |
| Fan et al. | Non-contact remote estimation of cardiovascular parameters | |
| Rubins et al. | Real-time photoplethysmography imaging system | |
| EP3809950B1 (en) | Device, system and method for image segmentation of an image of a scene including a subject | |
| Blackford et al. | Remote spectral measurements of the blood volume pulse with applications for imaging photoplethysmography | |
| Würtenberger et al. | Optimum wavelengths in the near infrared for imaging photoplethysmography | |
| CN117542127B (zh) | 基于多光谱偏振光的皮肤检测方法及装置 | |
| Sahin et al. | Non-contact heart rate monitoring from face video utilizing color intensity | |
| CN106073801A (zh) | 一种体外鼻咽腔体静脉血氧饱和度成像方法和装置 | |
| CN116012820A (zh) | 一种非接触式驾驶员心率检测方法 | |
| CN115474930A (zh) | 一种基于高光谱图像重建的无创血红蛋白检测方法 | |
| Pasquadibisceglie et al. | A personal healthcare system for contact-less estimation of cardiovascular parameters | |
| CN114387479A (zh) | 一种基于人脸视频的非接触式心率测量方法及系统 | |
| Malafaya et al. | Domain adaptation for heart rate extraction in the neonatal intensive care unit | |
| Chan et al. | Estimating SpO 2 with Deep Oxygen Desaturations from Facial Video Under Various Lighting Conditions: A Feasibility Study | |
| Randeberg et al. | Hyperspectral imaging of blood perfusion and chromophore distribution in skin | |
| Anusree et al. | A noncontact vital sign monitoring algorithm using a camera | |
| Li | Pulse rate variability measurement with camera-based photoplethysmography | |
| Wang et al. | Multispectral Depolarization Based Living-Skin Detection: A New Measurement Principle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |