CN110321781A - 一种用于无接触式测量的信号处理方法及装置 - Google Patents
一种用于无接触式测量的信号处理方法及装置 Download PDFInfo
- Publication number
- CN110321781A CN110321781A CN201910370929.6A CN201910370929A CN110321781A CN 110321781 A CN110321781 A CN 110321781A CN 201910370929 A CN201910370929 A CN 201910370929A CN 110321781 A CN110321781 A CN 110321781A
- Authority
- CN
- China
- Prior art keywords
- signal
- skin pixels
- target position
- pulse frequency
- image information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 230000002596 correlated effect Effects 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000001815 facial effect Effects 0.000 claims abstract description 18
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 239000000284 extract Substances 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 34
- 238000001914 filtration Methods 0.000 claims description 28
- 238000009432 framing Methods 0.000 claims description 23
- 238000010606 normalization Methods 0.000 claims description 23
- 238000012952 Resampling Methods 0.000 claims description 19
- 230000004927 fusion Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 210000001367 artery Anatomy 0.000 claims 1
- 210000003462 vein Anatomy 0.000 claims 1
- 238000005259 measurement Methods 0.000 abstract description 22
- 210000003128 head Anatomy 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000005070 sampling Methods 0.000 description 8
- 210000000887 face Anatomy 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000004513 sizing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明实施例公开了一种用于无接触式测量的信号处理方法及装置，涉及计算机图像和视觉技术领域，能够实现非接触式的人体体征信号的远程测量。本发明包括：从拍摄到的图像中识别人脸，并提取脸部特征点；跟踪人脸中的目标位置，得到所述目标位置的图像信息，所述目标位置包括：所述脸部特征点所在位置；从目标位置的图像信息中提取根据所提取的皮肤像素，根据皮肤像素得到脉率相关特征信号；对得到的脉率相关特征信号进行信号融合，并利用融合后的脉率相关特征信号进行脉率计算。本发明适用于非接触式的人体体征信号测量。
Description
技术领域
本发明涉及计算机图像和视觉技术领域，尤其涉及一种用于无接触式测量 的信号处理方法及装置。
背景技术
目前，基于非接触式的人体体征特征信号检测，例如脉率(心跳)测量， 是学术界和工业界的科技研究的方向之一。通过非接触式获取人体心跳在医疗、 金融和交通等领域有广泛的业务需求和商业价值。
在业界，目前通常采用心电图(ECG)和光电容积脉搏波(PPG)的方式完 成脉率测量。但这两种脉率测量方式均要求在被测者皮肤表面安放传感器(电 极或PPG光感传感器)，即测量仪器需要极为靠近或者接触被测者，主要原因在 于检测仪器所采集的信号的处理方式的限制，决定了必须使用接触式的传感器， 而接触式的测量方案，始终存在使用不便的问题。
发明内容
本发明的实施例提供一种用于无接触式测量的信号处理方法及装置，能够 实现人体体征信号(脉率)的远程采集处理，从而实现非接触式的脉率测量。
为达到上述目的，本发明的实施例采用如下技术方案：
从拍摄到的图像中识别人脸，并提取脸部特征点；
跟踪人脸中的目标位置，得到所述目标位置的图像信息，所述目标位置包 括：所述脸部特征点所在位置；
从目标位置的图像信息中提取根据所提取的皮肤像素，根据皮肤像素得到 脉率相关特征信号；
对得到的脉率相关特征信号进行信号融合，并利用融合后的脉率相关特征 信号进行脉率计算。
具体还包括了：
在得到所述目标位置的图像信息后，根据目标位置的图像信息，获取感兴 趣区域(ROI)；
定位每个ROI网格，并确认每个ROI网格内的皮肤像素；
获取每个ROI网格中的皮肤像素的平均像素强度和皮肤像素点个数。
所述对得到的脉率相关特征信号进行信号融合，包括：
利用在R、G和B三个信道的信号，获取同一ROI网格内的皮肤像素的强度平 均；
对强度平均后的R、G和B三个信道的信号，分别进行均匀重采样，得到采样 频率规整化的信号；
将采样频率规整化的R、G和B三个信道的信号，进行归一化处理，并将归一 化后的R、G和B三个信道的信号合成为两个信号，包括J信号和K信号，这两个信 号属于(J,K)信号组；
对(J,K)信号组进行零相位滤波，并根据完成零相位滤波的(J,K)信号 组生成信号G，将所述信号G作为融合后的信号。
所述获取同一ROI网格内的皮肤像素的强度平均，包括：
对同一ROI网格内的皮肤像素，分别在R、G、B三个信道下，求强度平均
其中，I代表单个信道下的像素强度值，(x,y)代表像素2维坐标，N代表 该ROI网格内的皮肤像素数量。
所述进行归一化处理，包括：
分别在R、G和B信道进行归一化计算：
其中，M代表归一化前的信号，即为R、G、B信道之一，K代表时间序列的 长度，M_new代表归一化后的信号。
所述将归一化后的R、G和B三个信道的信号合成为两个信号，包括：
将归一化后的3个信道R、G、B的信号合成为2个信号(J，K)，其中：J＝3R-2G， K＝1.5R+G-1.5B。
所述根据完成零相位滤波的(J,K)信号组生成信号G，包括：
利用(J,K)信号组生成信号G，其中，std为协方差算子。
本实施例中基于摄像头的人脸识别，通过对面部图像的像素进行分析，测 得被测对象的脉率，无需其他辅助硬件，也不需要被测者携带任何贴身传感器， 实现了人体体征信号(脉率)的远程采集处理，从而实现非接触式的脉率测量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要 使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一 些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还 可以根据这些附图获得其它的附图。
图1为本发明实施例提供的系统架构示意图；
图2为本发明实施例提供的方法流程示意图；
图3、图4、图5为本发明实施例提供的具体实例的示意图；
图6为本发明实施例提供的装置结构的示意图；
图7为本发明实施例提供的具体实例中样本自动选择的流程图。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体 实施方式对本发明作进一步详细描述。下文中将详细描述本发明的实施方式， 所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同 或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方 式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本技术领 域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、 “所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书 中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件， 但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组 件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件 时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这 里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/ 或”包括一个或更多个相关联的列出项的任一单元和全部组合。本技术领域技 术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学 术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应 该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的 上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于 正式的含义来解释。
本实施例中的方法流程，具体可以执行在一种如图1所示的系统中，其中包 括：图像采集设备、云端服务器。
本实施例中所述的图像采集设备，可以是一种具有独立拍摄功能的摄像机 设备，且该摄像机设备具备通信模块，可以与云端服务器进行通信，例如目前 常见的安防摄像头。摄像头具体安装在指定的区域，比如安装在安检位置，并 用于拍摄被检人员的面部图像；再比如：安装在云台上，用于拍摄人群中每个 人的面部图像，云台可以安装在建筑物内或者户外，具体的系统可以采用目前 一些城市中所使用的“天网”系统。
图像采集设备，具体可以采用数字摄像头或者模拟摄像头。其中，数字摄 像头可以将拍摄的模拟视频信号转换成数字信号，进而传输至与摄像头连接的 云端服务器。模拟摄像头捕捉到的视频信号，经过视频采集卡将模拟信号转换 成数字模式，并加以压缩后传输至与摄像头连接的云端服务器。并且本实施例 的具体方案也可以应用在多种摄像头上，比如纯彩色摄像头(RGB摄像头)、纯 近红外(Near Infrared，NIR)摄像头和深度摄像头等。
本实施例中所揭示的云端服务器，具体可以是刀片机、工作站、超级计算 机等设备，或者是由多个服务器设备组成的一种用于数据处理的服务器集群系 统。云端服务器可以通过移动无线网络或者互联网的方式，与检测终端进行数 据交互，具体的数据交互方式或者通信方式，采用目前已有的网络标准和通信 方案即可，本实施例中不做赘述。
本实施例提供一种用于无接触式测量的信号处理方法，如图2所示的，包括：
S101、从拍摄到的图像中识别人脸，并提取脸部特征点。
S102、跟踪人脸中的目标位置，得到所述目标位置的图像信息。
其中，所述目标位置包括：所述脸部特征点所在位置。
具体的，由于真实的脉率信号很弱小，单个ROI网格不足以高质量的提取其 脉率信号，因此需对信号质量优秀的网格所生成的脉率特征信号进行权值加和 以生成更高信噪比的脉率信号，其计算公式可表述为：
其中，Sfinal表示融合后的信号，Si表示单个ROI网格的信号p()表示融合函数， 其中，融合函数可以采用目前已有的信号处理、融合算法，N为大于1的整数。
S103、从目标位置的图像信息中提取根据所提取的皮肤像素，根据皮肤像 素得到脉率相关特征信号。
S104、对得到的脉率相关特征信号进行信号融合，并利用融合后的脉率相 关特征信号进行脉率计算。
其中，针对已生成的脉率信号进行脉率求解计算，具体为在其对应的概率 谱密度(PSD)中，搜索频率最大值f_peak，对应的脉率则是f_peak乘以60，物 理解释为每分钟心跳数。进一步的，可以根据应用场景，在需要实时连接跟踪 脉率的应用中，根据脉率历史时间序列和趋势，采用平滑滤波技术进行二次处 理，以便于及时纠正脉率计算错误的单点。
相对于现有技术中通过在被测者皮肤表面安放传感器(电极或PPG光感传感 器)，即测量仪器需要极为靠近或者解除被测者的方案。本实施例中基于摄像头 的人脸识别，通过对面部图像的像素进行分析，测得被测对象的脉率，无需其 他辅助硬件，也不需要被测者携带任何贴身传感器，实现了非接触式的人体体 征信号(脉率)的远程测量。并且进一步的，由于无需安置体表传感器，脉率 测量直接依靠摄像头作为唯一的信号采集硬件设备，本实施例的方案还适合在 多人同时进行脉率测量，可以基于目前已经建设的视频监控系统进行部署，从 而节约了硬件的建设成本。
本实施例中，在得到所述目标位置的图像信息后，还包括：根据目标位置 的图像信息，获取感兴趣区域(ROI)。定位每个ROI网格，并确认每个ROI网格 内的皮肤像素；获取每个ROI网格中的皮肤像素的平均像素强度和皮肤像素点个 数。
其中，所述从所述ROI内的像素中，识别所述皮肤像素，包括：定位每个ROI 网格，并确认每个ROI网格内的皮肤像素。获取每个ROI网格中的皮肤像素的平 均像素强度和皮肤像素点个数。具体的，在皮肤像素在每个ROI网格内已被确认 后，特征信号提取以每个网格为单位，分别计录皮肤像素的平均像素强度以及 皮肤像素点个数。
具体的，在所述提取脉率相关特征信号的过程中：
当所述目标位置的图像信息为近红外帧时，对ROI网格中的皮肤像素的平均 像素强度，依次进行重采样、归一化和滤波处理。
当所述目标位置的图像信息为彩色帧时，组合RGB三色信号生成色度信号， 再对所述色度信号依次进行混合、重采样、动态去势(detrending)和滤波处 理。
具体的，在脉率特征信号处理的过程中，需要对每个ROI网格内采集的平均 像素强度和皮肤像素数进行进一步信号处理。平均像素强度的特征处理，对于 近红外帧，是系统依次进行重采样、归一化和滤波。对于彩色图像，多了一步 额外处理：组合RGB三色信号生成色度信号:S＝g(R,G,B)，其中函数g()负责对 RGB信号进行混合、重采样、动态去势(detrending)、滤波等信号处理流程。 皮肤像素数的特征处理是生成皮肤像素数变化统计，即计算其一阶导数和对应 的四分位距(IQR)。
所述对得到的脉率相关特征信号进行信号融合，包括：
利用在R、G和B三个信道的信号，获取同一ROI网格内的皮肤像素的强度平 均。
对强度平均后的R、G和B三个信道的信号，分别进行均匀重采样，得到采样 频率规整化的信号。
将采样频率规整化的R、G和B三个信道的信号，进行归一化处理，并将归一 化后的R、G和B三个信道的信号合成为两个信号，包括J信号和K信号，这两个信 号属于(J,K)信号组。
对(J,K)信号组进行零相位滤波，并根据完成零相位滤波的(J,K)信号 组生成信号G，将所述信号G作为融合后的信号。
在本实施例中，均匀重采样的目的是规整化信号的采样频率。通过将原始的 摄像头硬件非均匀采样率转化为均匀采样，这样在后期的频域计算脉率时，可 以有效消除非均匀采样带来的误差和噪声。重采样用到了spline样条曲线，通 过现有的采样时间序列(X0，Y0)，以及生成的均匀采样点X_new,计算得出新的 重采样时间序列(X_new,Y_new)。重采样在R、G、B这3个信道上分别计算， 最终得到3个均匀时间序列。
对(J,K)信号组进行零相位滤波的目的是，对生成的(J,K)信号组进行零 相位滤波，滤波器采用4阶Butterworth IIR滤波器，具体实现为Direct-Form 2的2个2阶串联形式。
像素平均的目的是，对同一ROI网格内的皮肤像素，分别在R、G、B3个信 道下，求强度平均。
均匀重采样目的是，规整化信号的采样频率，将原始的摄像头硬件非均匀采 样率转化为均匀采样，这样在后期的频域计算脉率时，可以有效消除非均匀采 样带来的误差和噪声。
归一化的目的是，消除R、G、B强度信号的不同基线。
信号合成的目的是，将归一化后的3个信道合成为2个信号(J，K)。
零相位滤波的目的是，对生成的(J,K)信号组进行零相位滤波。
信号合成的目的是，利用(J,K)信号组生成信号G。
具体的，所述获取同一ROI网格内的皮肤像素的强度平均，包括：
对同一ROI网格内的皮肤像素，分别在R、G、B三个信道下，求强度平均
其中，I代表单个信道下的像素强度值，(x,y)代表像素2维坐标，N代表 该ROI网格内的皮肤像素数量。
所述进行归一化处理，包括：
分别在R、G和B信道进行归一化计算：
其中，M代表归一化前的信号，即为R、G、B信道之一，K代表时间序列的 长度，M_new代表归一化后的信号。归一化的目的是消除R、G、B强度信号的不 同基线，该归一化操作在R、G、B信道分别计算。
所述将归一化后的R、G和B三个信道的信号合成为两个信号，包括：
将归一化后的3个信道R、G、B的信号合成为2个信号(J，K)，其中：J＝3R-2G， K＝1.5R+G-1.5B。
所述根据完成零相位滤波的(J,K)信号组生成信号G，包括：
利用(J,K)信号组生成信号G，其中，std为协方差算子。
进一步的，还包括：统计每个ROI网格中的皮肤像素的皮肤像素点个数的变 化情况，得到每个ROI网格的四分位距(interquartile range,IQR)。
获取每个ROI网格的IQR和信噪比，并剔除IQR高于最大IQR门限，且信噪比 低于最小信噪比门限的ROI网格，从而筛选出样本点。
在本实施例中，对于每一个ROI网格，有一些网格的脉率特征信号，因为被 测人移动、表情、光照变化等因素，受到干扰，因为需要系统自动识别并加以 剔除。可以通过如图7所示的样本自动选择流程。最终自动排除样被系统认为是 噪声较大，不适宜提取脉率信号的ROI样本，剩余的样本子集用于下一步的信号 融合。具体通过IQR和每一个网格的信噪比进行聚类运算，自动剔除IQR高、信 噪比低的网格。
本实施例中基于摄像头的人脸识别，通过对面部图像的像素进行分析，测 得被测对象的脉率，无需其他辅助硬件，也不需要被测者携带任何贴身传感器， 实现了人体体征信号(脉率)的远程采集处理，从而实现非接触式的脉率测量。
在本实施例中，在根据所提取的皮肤像素，提取脉率相关特征信号之前， 还通过以下流程，来确定用于提取的皮肤像素的目标位置：
S201、从拍摄到的图像中识别人脸，并提取脸部特征点。
其中，本实施例中对于人脸区域的识别，可以采用目前已有的人脸识别技 术。而本实施例的方案重点在于对识别出的人脸的区域，进行进一步的图像特 征提取和分析。用于拍摄人脸图像的摄像头可以由多种，并且可以集成在多种 终端设备中，例如：
图像采集设备也可以是集成在检测终端上的摄像头，比如：智能手机上的 摄像头(目前的智能手机已经实现了多摄像头拍摄，并且已经应用了纯彩色摄 像头(RGB摄像头)、纯近红外(NIR)摄像头、广角摄像头和深度摄像头等)。
检测终端，具体可以实做成单独一台装置，或整合于各种用户的个人终端 设备，包括：智能手机、平板电脑(Tablet Personal Computer)、膝上型电脑 (LaptopComputer)、个人数字助理(personal digital assistant，简称PDA) 或可穿戴式设备(Wearable Device)等；检测终端也可以整合于专门的记录仪 器中。其中操作记录仪包括了便携摄像头和存储设备，例如目前常用的行车记 录仪或者直播用的摄像机等。
本实施例中采用的人脸识别模块，原则上可以使用任何主流的人脸识别引 擎。例如：可以采用Viola Jones算法定位和标注人脸(支持多个人脸)，通过 DRMF算法完成人脸特征点定位，以及KLT(Kanade-Lucas-Tomasi Tracking Method，跟踪算法)方法结合MSAC算法完成特征点的实时跟踪。
S202、跟踪人脸中的目标位置，得到所述目标位置的图像信息。
其中，所述目标位置包括：所述脸部特征点所在位置。
其中，通过持续跟踪人脸中的目标位置一段时间后，得到所述目标位置的 连续动态变化的图像帧，所得的图像帧即作为所述目标位置的图像信息。在本 实施例中，“某一位置的图像帧”可以理解为在图像采集设备所拍摄的完整的 图像帧中，从目标位置所在的点或者进一步细化的区域中所提取的图像，这种 所提取的图像属于完整的图像帧中的一部分。
具体的，目标位置包括：所述脸部特征点所在位置。其中，脸部特征点， 指的是通过脸特征点识别算法，定位人脸的特征部位，如：眉毛、眼睛、鼻子、 嘴、脸轮廓等。可选的，所述目标位置还包括头部位置和目光位置。通过头部 识别算法和目光识别算法，分别势必得到头部位置和目光位置。
具体的，皮肤像素指的是所拍摄图像中的、人脸所在区域内的且识别为皮 肤区域的像素。
之后，利用所提取的皮肤像素，获取脉率相关特征信号，根据持续生成的 脉率相关特征信号得到脉率时间序列，并输出测量结果。
其中，脉率时间序列中记录了持续得到的脉率数值，脉率时间序列本身就 可以作为测量结果并输出。也可以对脉率时间序列进行进一步的数据加工，即 通过脉率时间序列进一步得到可视化程度更高的结果，比如：“最大脉率的X％”、 “心跳过快”等文字信息，以便于用户查看。
并且，本实施例中对输出测量结果的具体形式并不限定，可以依据具体的 应用场景而定，比如：可以直接输出至用户的智能终端的屏幕上，或者输出至 云端服务器，并作为用户本人的生理数据由云端服务器记录。
在本实施例中，提取脸部特征点的具体方式，可以包括：
在所采集的图像信息中定位人脸位置。之后，依据所述人脸位置，获取所 述脸部特征点所在位置。例如以彩色摄像头(RGB摄像头)为例，通过RGB摄像 头进行人脸识别和脸部特征点的过程包括了：
记录摄像头拍摄到的彩色帧(RGB)。
可选的，还可以对彩色帧进行预处理提供图像质量，例如白平衡，曝光补 偿等。很多摄像头采集的图像信息已经经过硬件内部处理，所以此步骤为可选 步骤。
采用人脸识别算法，定位图像中的人脸，并标注框图(bounding box)
采用人脸特征点识别算法，定位人脸的特征部位：眉毛、眼睛、鼻子、嘴、 脸轮廓等。
动态实时跟踪人脸特征点，同时估算头部位置、目光位置。头部位置和目 光位置为可选模块。
本实施例应用在不同的摄像头硬件设备上时，可以按照摄像头类型可分解 为3类子方案：
其一、基于彩色摄像头(RGB摄像头)或近红外摄像头的脉率测量，如图3 所示的：
彩色摄像头(RGB摄像头)采集的图像信息。其中，所述彩色摄像头采集的 图像信息包括：彩色帧。
或者，获取近红外(NIR)摄像头采集的图像信息，所述近红外摄像头采集 的图像信息包括近红外帧。
所述利用所述目标位置的图像信息提取皮肤像素，包括：根据所述目标位 置的图像信息，获取感兴趣区域(ROI)。从所述ROI内的像素中，识别所述皮肤 像素。具体的，本实施例中采用的ROI处理方式，大致包括了：
根据人脸位置、人脸特征点位置以及其他辅助信息如头部位置、人脸动态 跟踪位移矩阵等，实时计算感兴趣区域(ROI)。
识别ROI内的像素是否为人体皮肤像素，剔除包括眼镜、头发等对应的非皮 肤像素。
ROI计算还包括背景的提取。背景信息有助于提升脉率特征计算信号质量。 该步骤可以根据业务场景配置，为可选的。在本实施例中，背景提取对于非深 度摄像头使用基于2维图像的算法，如Distance Regularized level Set Evolution(DRLSE)；对于深度摄像头，利用其景深帧直接剔除前景影像部分， 得到背景图像。
在本实施例中，彩色摄像头(RGB摄像头)拍摄得到的彩色帧，通常表现为 多个颜色信道的信号形式，比如：3个信道(红、绿、蓝)，每个信道是一个长* 宽的2维矩阵，就是像素矩阵，比如1920*1080，每一个像素值的范围一般来 说在0-255，通常为8比特的精确度。
而红外帧与彩色帧不同的就是：红外帧只有一个信道的像素矩阵，每个像 素值在0-255取值范围内，通常也为8比特的精确度。因此本实施例中对于彩色 摄像头(RGB摄像头)拍摄得到的彩色帧，以及近红外(NIR)摄像头采集的红 外帧处理的逻辑流程是基本一致的，区别在于彩色摄像头(RGB摄像头)与近红 外(NIR)摄像头在皮肤识别、脉率特征处理环节所使用的算法(计算模型)有 所不同。
在本实施例中，ROI的计算方式，大致包括：根据在人脸识别模块标注的人 脸矩形框，将其切割为20像素长和20像素宽一个个矩形小网格，网格大小可配 置。ROI的区域为前额和脸颊部位。当使用深度摄像头时，网格大小依据景深和 人脸矩形框的面积关系自动计算，以达到指定的网格数量。ROI网格跟踪则利用 人脸特征点跟踪的变换矩阵计算得出，即新ROI向量＝A*旧ROI向量，这里的 “*”为矩阵乘法运算，A为变换矩阵。
ROI网格计算方式为ROI1…N＝f(bbox,w,h,landmark1…Md)，其中bbox代表 人脸识别模块标注的人脸矩形框方位，w和h分别代表网格的宽度和高度，单位 为像素，d代表景深帧，landmark代表人脸特征点的位置，M和N都是大于1的正 整数。
在得到ROI网格后，系统进行皮肤识别计算，即判断对每一个网格内的像素 点是否为皮肤。对彩色摄像头，皮肤识别逻辑在RGB颜色空间和YCbCr颜色空间 实现；对近红外摄像头，皮肤识别通过Bayesian模型和距离模型 (distance-based prior probability)共同获取和计算灰度图下皮肤像素的 统计规律，进而实现皮肤识别；对于深度摄像头，皮肤识别可依据彩色帧或近 红外帧单独计算，若彩色帧和近红外帧同时存在，还可通过近红外帧几何映射 到彩色帧的方式间接得出。
其二、在基于彩色摄像头(RGB摄像头)或近红外摄像头的脉率测量的基础 上，进一步应用深度摄像头，还包括了：获取深度摄像头采集的图像信息，所 述深度摄像头采集的图像信息包括景深帧。其中，彩色摄像头和近红外摄像头 与深度摄像头，在硬件上是相互独立运作的。检测终端也可以仅基于景深帧进 行脉率测量，在优选方案中则采用基于彩色帧+景深帧，或者是基于近红外帧+ 景深帧的测量方式。
其中，可以将深度摄像头采集的结构光参数，导入ROI处理方式过程。具体 的，由于基于结构光的深度摄像头通常同时含有彩色帧、近红外帧和景深帧。因 此，参照前述的技术方案，基于结构光深度摄像头的脉率测量信号处理流程即 支持以彩色帧为主要图像信息源，近红外帧和景深帧辅助、也支持以近红外图 像为主要图像信息源，彩色帧和景深帧辅助。如图4所示的，基于结构光的技术 方案在ROI计算、皮肤识别、背景提取，以及脉率计算内核中的脉率特征处理和 信号融合这些子模块算法中，同时利用彩色帧、近红外帧和景深帧信息，输出 抗干扰性更佳的结果，从而提升最终脉率测量的准确度和鲁棒性。
所述利用所述目标位置的图像信息提取皮肤像素的过程，则包括：
根据所述目标位置的图像信息和所述深度摄像头采集的景深帧，获取感兴 趣区域(ROI)。利用所述深度摄像头采集的景深帧，从所述ROI内的像素中，识 别所述皮肤像素。
即图像采集设备采集的是彩色帧+景深帧，或者是近红外帧+景深帧。并且 在ROI计算和皮肤识别阶段加入了景深帧，也应用了彩色帧或近红外帧
其三、在基于双彩色摄像头(RGB摄像头)或双近红外摄像头的脉率测量的 基础上，进一步应用深度摄像头，包括了：
获取双彩色摄像头采集的图像信息，所述双彩色摄像头采集的图像信息包 括：第一彩色帧和第二彩色帧。
或者，获取双近红外摄像头采集的图像信息，所述双近红外摄像头采集的 图像信息包括第一近红外帧和第二近红外帧。
其中，基于双目深度摄像头或TOF深度摄像头的技术方案与单目摄像头类似， 区别在于深度摄像头提供了景深信息，如图5所示，将该信息输入到ROI计算， 以提升背景提取和皮肤识别算法的性能。
所述利用所述目标位置的图像信息提取皮肤像素的过程，则包括：
根据所述目标位置的图像信息和所述深度摄像头采集的景深帧，获取感兴 趣区域(ROI)。从所述ROI内的像素中，识别所述皮肤像素。
其中，所述目标位置的图像信息是从双彩色摄像头或者双近红外摄像头采 集的。即图像采集设备采集的是双路的彩色帧+景深帧，或者是双路的近红外帧 +景深帧。并且在ROI计算阶段加入了景深帧，也应用了彩色帧或近红外帧。
在本实施例中，所述利用持续生成的脉率相关特征信号得到脉率时间序列， 包括：
根据所提取的皮肤像素，按照时间维度提取脉率相关特征信号。
具体的，可以针对ROI中的皮肤像素，按照时间维度提取脉率相关特征信号。 针对提取的脉率特征信号进行包括重采样、降噪、滤波和信号合成等一系列信 号处理。进一步的，脉率特征信号处理可利用背景相关特征信号，有助于提高 脉率特征信号处理质量。基于背景的特征提取和处理为可选辅助模块。
从所提取的脉率相关特征信号中选取样本点，并根据所选取的样本点进行 信号融合。
其中，根据各个特征的信号质量自动进行样本点选取。根据选定的样本点 进行信号融合，以提高信号质量
根据融合后的脉率相关特征信号进行脉率计算，得到持续生成的脉率时间 序列。
其中，在根据融合的信号进行脉率计算，得到持续生成的脉率时间序列后。 进一步对持续生成的脉率时间序列进行平滑和噪点纠错处理。
本实施例所提供的非接触式、多人同时进行的远程脉率测量系统，基于摄像 头测量脉率，系统不仅支持传统单目摄像头(RGB和NIR)，也支持所有主流深 度摄像头结构(双目、TOF、结构光)。扩展了脉率测量的业务场景边界，应用 场景广泛，适用于医疗、安防、交通和金融等多个行业领域。
本实施例还提供一种用于无接触式测量的信号合成处理装置，该装置具体 可以通过计算机程序编写相应的功能模块，并运行在检测终端上；也可以由摄 像头将拍摄到的图像数据传输至云端服务器，直接由云端服务器进行分析处理， 即该装置也可以实现为一种线上程序，摄像头仅作为前端的拍摄工具，本实施 例中的方法流程在云端服务器上执行，目前基于5G的技术框架下，这种前端摄 像头+云端处理的方式，已经逐渐成熟。该装置如图6所示的，包括：
预处理模块，用于从拍摄到的图像中识别人脸，并提取脸部特征点，并跟 踪人脸中的目标位置，得到所述目标位置的图像信息，所述目标位置包括：所 述脸部特征点所在位置；
图像处理模块，用于从目标位置的图像信息中提取根据所提取的皮肤像素， 根据皮肤像素得到脉率相关特征信号；
分析模块，用于对得到的脉率相关特征信号进行信号融合；
计算模块，用于利用融合后的脉率相关特征信号进行脉率计算。
其中，所述分析模块，具体用于利用在R、G和B三个信道的信号，获取同一 ROI网格内的皮肤像素的强度平均；对强度平均后的R、G和B三个信道的信号， 分别进行均匀重采样，得到采样频率规整化的信号；将采样频率规整化的R、G 和B三个信道的信号，进行归一化处理，并将归一化后的R、G和B三个信道的信 号合成为两个信号，包括J信号和K信号，这两个信号属于(J,K)信号组；对(J,K) 信号组进行零相位滤波，并根据完成零相位滤波的(J,K)信号组生成信号G， 将所述信号G作为融合后的信号。
所述图像处理模块，具体用于当所述目标位置的图像信息为近红外帧时， 对ROI网格中的皮肤像素的平均像素强度，依次进行重采样、归一化和滤波处理；
当所述目标位置的图像信息为彩色帧时，组合RGB三色信号生成色度信号， 再对所述色度信号依次进行混合、重采样、动态去势(detrending)和滤波处 理。
相对于现有技术中通过在被测者皮肤表面安放传感器(电极或PPG光感传感 器)，即测量仪器需要极为靠近或者解除被测者的方案。本实施例中基于摄像头 的人脸识别，通过对面部图像的像素进行分析，测得被测对象的脉率，无需其 他辅助硬件，也不需要被测者携带任何贴身传感器，实现了非接触式的人体体 征信号(脉率)的远程测量。并且进一步的，由于无需安置体表传感器，脉率 测量直接依靠摄像头作为唯一的信号采集硬件设备，本实施例的方案还适合在 多人同时进行脉率测量，可以基于目前已经建设的视频监控系统进行部署，从 而节约了硬件的建设成本。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相 似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。 尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较 简单，相关之处参见方法实施例的部分说明即可。以上所述，仅为本发明的具 体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术 人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发 明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (12)
1.一种用于无接触式测量的信号处理方法，其特征在于，包括：
从拍摄到的图像中识别人脸，并提取脸部特征点；
跟踪人脸中的目标位置，得到所述目标位置的图像信息，所述目标位置包括：所述脸部特征点所在位置；
从目标位置的图像信息中提取根据所提取的皮肤像素，根据皮肤像素得到脉率相关特征信号；
对得到的脉率相关特征信号进行信号融合，并利用融合后的脉率相关特征信号进行脉率计算。
2.根据权利要求1所述的方法，其特征在于，还包括：
在得到所述目标位置的图像信息后，根据目标位置的图像信息，获取感兴趣区域(ROI)；
定位每个ROI网格，并确认每个ROI网格内的皮肤像素；
获取每个ROI网格中的皮肤像素的平均像素强度和皮肤像素点个数。
3.根据权利要求2所述的方法，其特征在于，所述对得到的脉率相关特征信号进行信号融合，包括：
利用在R、G和B三个信道的信号，获取同一ROI网格内的皮肤像素的强度平均；
对强度平均后的R、G和B三个信道的信号，分别进行均匀重采样，得到采样频率规整化的信号；
将采样频率规整化的R、G和B三个信道的信号，进行归一化处理，并将归一化后的R、G和B三个信道的信号合成为两个信号，包括J信号和K信号，这两个信号属于(J,K)信号组；
对(J,K)信号组进行零相位滤波，并根据完成零相位滤波的(J,K)信号组生成信号G，将所述信号G作为融合后的信号。
4.根据权利要求3所述的方法，其特征在于，所述获取同一ROI网格内的皮肤像素的强度平均，包括：
对同一ROI网格内的皮肤像素，分别在R、G、B三个信道下，求强度平均
其中，I代表单个信道下的像素强度值，(x,y)代表像素2维坐标，N代表该ROI网格内的皮肤像素数量。
5.根据权利要求3所述的方法，其特征在于，所述进行归一化处理，包括：
分别在R、G和B信道进行归一化计算：
其中，M代表归一化前的信号，即为R、G、B信道之一，K代表时间序列的长度，M_new代表归一化后的信号。
6.根据权利要求5所述的方法，其特征在于，所述将归一化后的R、G和B三个信道的信号合成为两个信号，包括：
将归一化后的3个信道R、G、B的信号合成为2个信号(J，K)，其中：J＝3R-2G，K＝1.5R+G-1.5B。
7.根据权利要求6所述的方法，其特征在于，所述根据完成零相位滤波的(J,K)信号组生成信号G，包括：
利用(J,K)信号组生成信号G，其中，std为协方差算子。
8.根据权利要求2所述的方法，其特征在于，所述根据皮肤像素得到脉率相关特征信号，包括：
当所述目标位置的图像信息为近红外帧时，对ROI网格中的皮肤像素的平均像素强度，依次进行重采样、归一化和滤波处理；
当所述目标位置的图像信息为彩色帧时，组合RGB三色信号生成色度信号，再对所述色度信号依次进行混合、重采样、动态去势(detrending)和滤波处理。
9.根据权利要求8所述的方法，其特征在于，还包括：
统计每个ROI网格中的皮肤像素的皮肤像素点个数的变化情况，得到每个ROI网格的四分位距(interquartile range,IQR)；
获取每个ROI网格的IQR和信噪比，并剔除IQR高于最大IQR门限，且信噪比低于最小信噪比门限的ROI网格。
10.一种用于无接触式测量的信号合成处理装置，其特征在于，包括：
预处理模块，用于从拍摄到的图像中识别人脸，并提取脸部特征点，并跟踪人脸中的目标位置，得到所述目标位置的图像信息，所述目标位置包括：所述脸部特征点所在位置；
图像处理模块，用于从目标位置的图像信息中提取根据所提取的皮肤像素，根据皮肤像素得到脉率相关特征信号；
分析模块，用于对得到的脉率相关特征信号进行信号融合；
计算模块，用于利用融合后的脉率相关特征信号进行脉率计算。
11.根据权利要求10所述的装置，其特征在于，所述分析模块，具体用于利用在R、G和B三个信道的信号，获取同一ROI网格内的皮肤像素的强度平均；对强度平均后的R、G和B三个信道的信号，分别进行均匀重采样，得到采样频率规整化的信号；将采样频率规整化的R、G和B三个信道的信号，进行归一化处理，并将归一化后的R、G和B三个信道的信号合成为两个信号，包括J信号和K信号，这两个信号属于(J,K)信号组；对(J,K)信号组进行零相位滤波，并根据完成零相位滤波的(J,K)信号组生成信号G，将所述信号G作为融合后的信号。
12.根据权利要求10所述的装置，其特征在于，所述图像处理模块，具体用于当所述目标位置的图像信息为近红外帧时，对ROI网格中的皮肤像素的平均像素强度，依次进行重采样、归一化和滤波处理；
当所述目标位置的图像信息为彩色帧时，组合RGB三色信号生成色度信号，再对所述色度信号依次进行混合、重采样、动态去势(detrending)和滤波处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910370929.6A CN110321781B (zh) | 2019-05-06 | 2019-05-06 | 一种用于无接触式测量的信号处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910370929.6A CN110321781B (zh) | 2019-05-06 | 2019-05-06 | 一种用于无接触式测量的信号处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110321781A true CN110321781A (zh) | 2019-10-11 |
| CN110321781B CN110321781B (zh) | 2021-10-26 |
Family
ID=68113339
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910370929.6A Active CN110321781B (zh) | 2019-05-06 | 2019-05-06 | 一种用于无接触式测量的信号处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110321781B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111241917A (zh) * | 2019-12-25 | 2020-06-05 | 杭州中威电子股份有限公司 | 一种自适应非接触生理采集云台摄像机装置及方法 |
| WO2021238344A1 (zh) * | 2020-05-25 | 2021-12-02 | 浙江大学 | 一种基于视频的人体心率及面部血容积精确检测方法和系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104173051A (zh) * | 2013-05-28 | 2014-12-03 | 天津点康科技有限公司 | 非接触式自动呼吸测量系统及测量方法 |
| CN108805087A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的时序语义融合关联判断子系统 |
| CN108937905A (zh) * | 2018-08-06 | 2018-12-07 | 合肥工业大学 | 一种基于信号拟合的非接触式心率检测方法 |
| CN109008964A (zh) * | 2018-06-27 | 2018-12-18 | 浏阳市安生智能科技有限公司 | 一种生理信号提取的方法及装置 |
-
2019
- 2019-05-06 CN CN201910370929.6A patent/CN110321781B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104173051A (zh) * | 2013-05-28 | 2014-12-03 | 天津点康科技有限公司 | 非接触式自动呼吸测量系统及测量方法 |
| CN108805087A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的时序语义融合关联判断子系统 |
| CN109008964A (zh) * | 2018-06-27 | 2018-12-18 | 浏阳市安生智能科技有限公司 | 一种生理信号提取的方法及装置 |
| CN108937905A (zh) * | 2018-08-06 | 2018-12-07 | 合肥工业大学 | 一种基于信号拟合的非接触式心率检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 李铁军等: "运用视觉和主成分分析的非接触式心率测量", 《机床与液压》 * |
| 马良等: "自然光条件下使用普通摄像头实现心率测量", 《信号处理》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111241917A (zh) * | 2019-12-25 | 2020-06-05 | 杭州中威电子股份有限公司 | 一种自适应非接触生理采集云台摄像机装置及方法 |
| CN111241917B (zh) * | 2019-12-25 | 2023-08-22 | 杭州中威电子股份有限公司 | 一种自适应非接触生理采集云台摄像机装置及方法 |
| WO2021238344A1 (zh) * | 2020-05-25 | 2021-12-02 | 浙江大学 | 一种基于视频的人体心率及面部血容积精确检测方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110321781B (zh) | 2021-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105147274B (zh) | 一种从可见光谱段人脸视频信号中提取心率的方法 | |
| CN106022213B (zh) | 一种基于三维骨骼信息的人体动作识别方法 | |
| CN106355603B (zh) | 人体跟踪方法和人体跟踪装置 | |
| CN113408508B (zh) | 基于Transformer的非接触式心率测量方法 | |
| CN108549884A (zh) | 一种活体检测方法及装置 | |
| CN103211605B (zh) | 一种心理测试系统及心理测试方法 | |
| CN110197169A (zh) | 一种非接触式的学习状态监测系统及学习状态检测方法 | |
| CN108090428B (zh) | 一种人脸识别方法及其系统 | |
| CN106491117A (zh) | 一种基于ppg心率测量技术的信号处理方法及装置 | |
| CN104361574B (zh) | 一种基于稀疏表示的无参考彩色图像质量评价方法 | |
| CN106037651A (zh) | 一种心率检测方法及系统 | |
| CN109508755B (zh) | 一种基于图像认知的心理测评方法 | |
| CN104063871B (zh) | 可穿戴设备的图像序列场景分割方法 | |
| CN111914643A (zh) | 一种基于骨骼关键点检测的人体动作识别方法 | |
| CN111829661A (zh) | 一种基于人脸解析的额温测量方法及系统 | |
| CN109784230A (zh) | 一种人脸视频图像质量寻优方法、系统及设备 | |
| CN111429345A (zh) | 一种超低功耗视觉计算心率及心率变异性方法 | |
| CN110321781A (zh) | 一种用于无接触式测量的信号处理方法及装置 | |
| CN106529441A (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
| CN110321782A (zh) | 一种检测人体特征信号的系统 | |
| CN106096544B (zh) | 基于二阶盲辨识的非接触式眨眼与心率联合检测系统及方法 | |
| CN110279406B (zh) | 一种基于摄像头的无接触式的脉率测量方法及装置 | |
| KR20120117604A (ko) | 피부 상태 분석 방법 및 장치 | |
| Napolean et al. | Heart rate estimation in intense exercise videos | |
| CN115568823B (zh) | 一种人体平衡能力评估的方法、系统和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 210042 No.1, Suning Avenue, Xuanwu District, Nanjing City, Jiangsu Province Patentee after: Shanghai Star Map Financial Services Group Co.,Ltd. Address before: 210042 No.1, Suning Avenue, Xuanwu District, Nanjing City, Jiangsu Province Patentee before: Suning Financial Services (Shanghai) Co.,Ltd. |
|
| TR01 | Transfer of patent right |
Effective date of registration: 20240621 Address after: The 7th, 8th, 9th, 27th, 28th, and 29th floors of Building 4, No. 248 Lushan Road, Jianye District, Nanjing City, Jiangsu Province, 210000, and the 1st and 2nd floors of the podium of Building 4 Patentee after: Jiangsu Sushang Bank Co.,Ltd. Country or region after: China Address before: 210042 No.1, Suning Avenue, Xuanwu District, Nanjing City, Jiangsu Province Patentee before: Shanghai Star Map Financial Services Group Co.,Ltd. Country or region before: China |