CN115089150A - 一种基于无人机的脉搏波检测方法、装置、电子设备及存储介质 - Google Patents
一种基于无人机的脉搏波检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115089150A CN115089150A CN202210596044.XA CN202210596044A CN115089150A CN 115089150 A CN115089150 A CN 115089150A CN 202210596044 A CN202210596044 A CN 202210596044A CN 115089150 A CN115089150 A CN 115089150A
- Authority
- CN
- China
- Prior art keywords
- points
- pulse
- aerial vehicle
- unmanned aerial
- pulse wave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 230000033001 locomotion Effects 0.000 claims abstract description 64
- 230000001815 facial effect Effects 0.000 claims abstract description 21
- 230000004886 head movement Effects 0.000 claims abstract description 11
- 230000008859 change Effects 0.000 claims abstract description 10
- 230000002441 reversible effect Effects 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 34
- 239000013598 vector Substances 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 13
- 239000008280 blood Substances 0.000 claims description 12
- 210000004369 blood Anatomy 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000010521 absorption reaction Methods 0.000 claims description 5
- 238000007920 subcutaneous administration Methods 0.000 claims description 5
- 210000003205 muscle Anatomy 0.000 claims description 4
- 238000013139 quantization Methods 0.000 claims description 4
- 230000002269 spontaneous effect Effects 0.000 claims description 4
- 230000002401 inhibitory effect Effects 0.000 claims description 3
- 239000000758 substrate Substances 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 9
- 230000002829 reductive effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 210000002615 epidermis Anatomy 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000031700 light absorption Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013186 photoplethysmography Methods 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 210000003491 skin Anatomy 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 244000025254 Cannabis sativa Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 125000004429 atom Chemical group 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 229910052731 fluorine Inorganic materials 0.000 description 1
- 125000001153 fluoro group Chemical group F* 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7228—Signal modulation applied to the input signal sent to patient or subject; demodulation to recover the physiological signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
Abstract
本发明公开了一种基于无人机的脉搏波检测方法、装置、电子设备及存储介质，属于视频图像处理技术领域。该方法对于无人机晃动产生的干扰，利用角点检测视频流中不同帧图像的脸部特征背景区域，获得所述背景区域的特征点；提取所述背景区域特征点的运动信息，对当前图像进行反向补偿，来消除无人机晃动产生的全局干扰，再输出清晰的视频序列；对于人体头部运动造成的干扰，采用人脸特征模型，通过定位及跟踪面部的标志点来去除局部干扰，从而实现全局干扰和局部干扰的有效去除，降低了外部环境和受试者头部运动、表情变化等不稳定因素对所拍摄视频造成的影响，使得提取到的脉搏波信号更加准确、有效。
Description
技术领域
本发明属于视频图像处理技术领域，尤其涉及一种基于无人机的脉搏波检测方法、装置、电子设备及存储介质。
背景技术
受灾地区的人员搜救常常因道路堵塞、搜救人员不足等原因导致救援不及时造成人员伤亡，随着无人机应用的快速发展，人们逐渐开始利用无人机搭载摄像机进行生命体征检测，使得利用无人机进行人员辅助搜救、辅助检测人员生命体征成为了可能。
在人员搜救过程中，脉搏波是四大生命体征之一，是维持机体正常活动的支柱。传统的脉搏信号检测方法主要包括压电法、阻抗法和光电容积描记法，这些方法不仅存在检测精度不够、受环境干扰严重等不足，还需要与人体直接接触，并不适用于特殊场景下的脉搏波检测。现有的成像式光电容积描记法(imaging Photoplethysmography,IPPG)是计算机视觉领域的一种新型脉搏波检测技术，因皮下血液容积在心动周期的波动会引发血液对环境光吸收率的变化，IPPG技术利用成像设备采集人体表皮的视频信号，通过信号处理技术探测环境光吸收率差异导致的表皮色彩强度微弱变化，从而实现脉搏波检测。
而上述方法当采用无人机拍摄视频时，无人机悬停拍摄视频的时候还会受到气流以及马达的干扰导致自身的抖动，由于无人机抖动造成的干扰会对视频的信号检测造成严重影响，存在着识别检测脉搏信号的精度差、虚假目标信号干扰等问题。
发明内容
针对的脉搏信号检测过程中无人机抖动造成的干扰会对视频的信号造成严重影响的问题，本发明提供一种基于无人机的脉搏波检测方法，对于无人机晃动产生的全局性干扰，利用角点检测视频流中不同帧图像的脸部特征背景区域，获得所述背景区域的特征点；提取所述背景区域特征点的运动信息，对当前图像进行反向补偿，来消除无人机晃动产生的全局干扰，再输出清晰的视频序列；对于人体头部运动造成的干扰，采用人脸特征模型，通过定位及跟踪面部的标志点来去除局部干扰，继而将全局干扰和局部干扰的有效去除，降低了外部环境和受试者头部运动、表情变化等不稳定因素对所拍摄视频造成的影响，使得提取到的脉搏波信号更加准确、有效。
为解决上述问题，本发明采用如下的技术方案。
本发明第一方面提供一种基于无人机的脉搏波检测方法，所述方法包括：
获取包含目标物脸部特征的视频流，识别出所述目标物的脸部特征位置；
利用角点检测所述视频流中不同帧图像的脸部特征背景区域，获得所述脸部背景区域的特征点；
提取所述背景区域特征点的运动信息，根据所述运动信息对当前图像进行反向补偿；
抑制当前图像中目标物运动干扰，提取脸部感兴趣区域；
检测所述脸部感兴趣区域的脉搏信号，输出所述脉搏信号。
作为一个示例，所述提取所述背景区域特征点的运动信息步骤包括：
匹配所述视频流中相邻帧图像的特征点，计算相邻帧图像的特征点的像素位移；
提取两幅相邻帧图像中两个关键点(特征点)集，根据所述关键点集的描述符向量进行匹配，所述描述符向量主要由相邻关键点的梯度大小和方向构成；
以像素点为单位计算两个相邻匹配关键点的像素坐标集合之间的运动，获取所述背景区域特征点运动信息。
作为一个示例，所述提取所述背景区域特征点的运动信息步骤还包括：
基于几何变换的离群值剔除方法，检测并去除匹配不准确的关键点对应的离群值关系，消除相邻帧图像的特征点错误匹配。
作为一个示例，所述根据所述运动信息对当前图像进行反向补偿步骤包括：
选择所述视频流中未发生抖动前的背景图像作为固定参考帧；
计算当前图像相对于固定参考帧的运动补偿参数；
根据运动补偿参数直接补偿当前图像,输出清晰的视频序列，其中每次补偿时，直接估计待稳定图像与固定参考帧的全局运动矢量。
作为一个示例，所述检测所述脸部感兴趣区域的脉搏信号步骤包括：
根据所述脸部感兴趣区域中皮下血液对不同波长入射光的吸收特性，选取相应的色度特征来描述脉搏信号；获取对应的脉搏信号；
根据脉搏信号的稀疏编码，学习所述脉搏信号中由血液容积变化引起的本质基底成分；
屏蔽脉搏信号中由肌肉自发性运动、量化误差等因素引起的次要基底成分；
利用学习得到的基底对脉搏信号的基本结构进行重建，去除干扰信号，得到稳定的脉搏波。
作为一个示例，所述根据脉搏信号的稀疏编码，构建字典学习所述脉搏信号中由血液容积变化引起的本质基底成分步骤包括：
在字典学习阶段，对于n个长度为i的脉搏信号S＝{x1,x2…xn}i×n，其字典学习的目标函数构建如下：
其中D＝{d1，d2…dj}i×j表示脉搏信号字典(dj表示第j个基底向量)；A＝{a1，a2…an}j×n表示S在字典D上的编码系数矩阵；x1，x2…xn表示训练集中第n个脉搏信号；目标函数的第一项为保真项；第二项为稀疏正则项；λ1为正则项系数；通过将稀疏正则项的0范数近似替换为1范数，||A||0→||A||1，使目标函数可以转化为一个凸优化问题。
本发明第二方面提供一种基于无人机的脉搏波检测装置，包括：
识别模块，其用于获取包含目标物脸部特征的视频流，识别出所述目标物的脸部特征位置；
第一检测模块，其用于利用角点检测所述视频流中每帧图像的脸部特征背景区域，获得所述背景区域的特征点；
第一提取模块，其用于提取所述背景区域特征点的运动信息，根据运动信息对当前图像进行反向补偿；
第二提取模块，其用于抑制当前图像中头部运动造成的干扰，获得稳定人脸区域图像，提取脸部感兴趣区域(ROI)；
检测模块，其用于检测所述脸部感兴趣区域(ROI)的脉搏信号，输出所述脉搏信号。
作为一个示例，所述的第一提取模块包括：
匹配单元，其用于匹配所述视频流相邻帧图像的特征点，计算相邻帧图像的特征点的像素位移；
提取单元，其用于提取两幅相邻帧图像中两个关键点集，根据所述关键点集的描述符向量进行匹配，所述描述符向量主要由相邻关键点的梯度大小和方向构成；
去除单元，其用于基于几何变换的离群值剔除方法，检测并去除匹配不准确的关键点对应的离群值关系，从而去除相邻帧图像的特征点错误匹配。
计算单元，其用于以像素为单位计算两个相邻匹配关键点的像素坐标集合之间的运动，获取所述背景区域特征点运动信息。
本发明第三方面提供一种电子设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器依次连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述的方法。
本发明第四方面提供一种可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述的方法。
相比于现有技术，本发明的有益效果为：
(1)本发明示例对于无人机晃动产生的全局性干扰，利用角点检测视频流中不同帧图像的脸部特征背景区域，获得所述背景区域的特征点；提取所述背景区域特征点的运动信息，对当前图像进行反向补偿，来消除无人机晃动产生的全局干扰，再输出清晰的视频序列；对于人体头部运动造成的干扰，采用人脸特征模型，通过定位及跟踪面部的标志点来去除局部干扰，继而将全局干扰和局部干扰的有效去除，降低了外部环境和受试者头部运动、表情变化等不稳定因素对所拍摄视频造成的影响，使得提取到的脉搏波信号更加准确、有效。
(2)本发明示例针对无人机抖动造成提取脉搏波中存在干扰信号的问题提出脉搏信号的稀疏编码方法，通过对脉搏信号数据库进行稀疏编码，学习信号中由血液容积变化引起的本质基底成分，同时屏蔽信号中由肌肉自发性运动、量化误差等因素引起的次要基底成分，在此基础上，利用学习得到的基底对脉搏信号的基本结构进行重建，增强了对复杂波形特征的描述能力，并结合抗噪学习能力实现运动失真下脉搏信号的复原，有效的提高了使用无人机场景下脉搏波检测的准确性和鲁棒性。
(3)本发明针对灾害现场环境恶劣，医护人员难以进入等场景，仅需使用无人机搭载摄像头拍摄灾害环境下的伤员面部视频即可实现脉搏波检测，及时确定伤员受伤情况，实现了高效率、广范围的脉搏波检测，为灾害现场紧急救援及时提供患者健康信息，提高救援效率。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。附图中：
图1为本发明实施例提供的一种基于无人机载视频的脉搏波检测方法流程图；
图2为本发明实施例提供的一种基于无人机载视频的脉搏波检测装置框图；
图3为本发明实施例提供的一种基于无人机载视频的脉搏波检测应用示意图；
图4图示了根据本申请实施例的电子设备的框图；
图5是本发明实施例提供的脉搏信号稀疏编码网络模型框图
图6是本发明实施例提取出的脉搏信号波形图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
示例性方法
参考图1和图3，本示例提供一种基于无人机的脉搏波检测方法，包括如下步骤：
S110：获取包含目标物脸部特征的视频流，识别出所述目标物的脸部特征位置。
具体的，本示例中目标物指的是人体，由于人体的面部皮肤基本不会被衣物包裹，因此本示例采集人体脸部表皮的视频信号，根据IPPG技术利用成像设备采集人体表皮的视频信号，通过信号处理技术探测环境光吸收率差异导致的表皮色彩强度微弱变化，从而实现脉搏波检测。应当理解，此处的目标物还可以是其他动物。
由于本示例需要人体面部的图像，因此在包含脸部特征的视频流中，可以利用视觉特征标记出人脸位置，便于后续步骤对脸部图像的去干扰处理。如图3所示，在具体应用过程中，无人机摄像头的参数设置为1280*1080分辨率，帧率fs为60FPS，生成的视频图像是RGB图像。
S120：利用角点检测所述视频流中不同帧图像的脸部特征背景区域，获得所述脸部背景区域的特征点。
应当理解，在上述步骤S110中无人机拍摄到的视频图像存在干扰，干扰原因包括无人机晃动造成的全局干扰和人体头部运动造成的局部干扰，对此本示例利用下述步骤来去除干扰，提升图像质量用于检测脉搏信息。
具体的，利用Harris角点检测上述视频流中不同帧图像的脸部特征背景区域获得角点作为对应的特征点，如图3所示，此处的背景区域主要指人脸附近的地面、草地等其它物体。
考察上述不同帧图像上的像素是否为角点，在该像素周围设置大小为5*5的滑动窗口，窗口实际是两个指针之间形成的区域，其大小是固定的。当滑动窗口同时向x(水平)和y(垂直)两个方向移动时，计算滑动窗口内部的像素值变化量E(x,y)；对每一帧画面都计算其对应的角点响应函数R；然后对该函数进行阈值处理，如果R>threshold,表示该滑动窗口有一个角点特征。
上述Harris角点数学模型为：
式中u和v为滑动窗口分别向x和y方向移动的位移，M为梯度的协方差矩阵，其表示为：
w(x,y)为滑动窗口函数，Ix和Iy分别为滑动窗口处于某位置的x和y的像素灰度值。
通过判定角点响应函数R大小来判断像素是否为角点，其中R定义为：
R＝λ1λ2-k(λ1+λ2)2 (3)
λ1和λ2是矩阵M的特征值，k是一个经验常数，对于角点|R|很大，平坦区域|R|很小，边缘R为负值。
本示例中Harris角点检测的结果是带有这些分数R的灰度图像，设定一个阈值，分数大于这个阈值的像素就是对应的角点(特征点)，从而实现了背景区域的特征点检测。
S130：提取所述脸部背景区域特征点的运动信息，根据所述运动信息对当前图像进行反向补偿。
具体的，本示例获取背景区域特征点的运动信息步骤包括：匹配视频流中相邻帧图像的特征点，计算相邻帧图像的特征点的像素位移；提取两幅相邻帧图像中两个关键点(特征点)集，根据所述关键点集的描述符向量进行匹配，所述描述符向量主要由相邻关键点的梯度大小和方向构成；以像素为单位计算两个相邻匹配关键点的像素坐标集合之间的运动，获取所述背景区域特征点运动信息。需要说明的是这里的关键点是指上述提取的特征点，或者是特征点中的重要点集。
作为一种可能的实施方式，利用KLT(Kanade-Lucas-Tomasi)追踪算法来对上述背景区域进行运动估计。首先对视频流中相邻帧图像的特征点进行匹配，计算相邻帧的像素位移。从两幅连续的图像中提取出两个关键点集，根据它们的描述符向量进行匹配，这里的描述符向量主要由相邻关键点的梯度大小和方向构成，如下面式(4)和(5)。
其中m(x,y)为梯度幅度，θ(x,y)为每个相邻像素的方向，L表示像素强度，x表示像素横坐标，y表示像素纵坐标。
再以图像的像素为单位，计算两个相邻帧图像匹配关键点的像素坐标集合之间的运动，即计算背景区域特征点的运动转移矩阵，获取所述背景区域特征点运动信息，用于消除无人机的晃动。
作为一个变化例，提取所述脸部背景区域特征点的运动信息步骤还包括：基于几何变换的离群值剔除方法，检测并去除匹配不准确的关键点对应的离群值关系，消除相邻帧图像的特征点错误匹配。
具体的，考虑相邻帧图像的关键点匹配会存在误匹配的情况，因此引入基于几何变换方法的离群值剔除方法，该方法能够有效拟合存在噪声模型下的拟合函数，其核心在于将点划分为“内点”和“外点”。在一组包含“外点”的数据集中，采用不断迭代的方法，寻找最优参数模型，符合最优参数模型的点，被定义为“内点”；不符合最优模型的点，被定义为“外点”。
该方法的在本示例中具体表述为：假设Ki和Ki+1是两幅连续图像i和i+1中匹配关键点的像素坐标集合，它们之间的关系可表示为：
Ki＝T·Ki+1 (6)
式(6)中T是将第i个图像坐标映射到测量位置的第i+1个图像坐标的变换矩阵；式(7)中s表示缩放系数、θ表示旋转角度、Δx、Δy表示平移量。根据仿射变换方程可以确定T矩阵，T矩阵就是通过几何变换方法的离群值剔除方法找到的最优的参数模型。一旦形成矩阵T，就可以使得两幅连续图像i和i+1中匹配关键点的像素坐标集合用该矩阵表示，而误匹配的点就被排除在外，实现对误匹配点的去除。丢弃错误匹配后，得到更为准确的关键点匹配信息，接着以像素为单位计算两个集合Ki和Ki+1之间的运动，获得更加准确运动信息，那么这两个集合也是背景区域的运动信息。
根据运动信息得到的运动信息进行反向补偿即可以消除无人机的运动，在具体实施过程中：首先选择上述视频流序列第一帧或者未发生抖动前的背景图像作为固定参考帧；然后计算其他图像相对于参考帧的全局运动参数,即为运动补偿参数；最后根据补偿参数直接稳定当前图像,输出清晰的视频序列，到此，基本实现了对无人机晃动产生的干扰消除。注意每次补偿时,只需直接估计待稳定图像与参考帧的全局运动矢量即可,不需要更替参考帧和累积全局参数,避免了累积误差产生的风险。
S140：抑制当前图像中目标物运动干扰，提取脸部感兴趣区域。
具体的，基于上述步骤S130实现了去除无人机晃动造成的全局干扰，在此基础上提出步骤S140再实现精准的头部运动扼制，去除局部干扰。在去除无人机晃动造成的干扰的基础上，再对人体头部运动，包括人体面部表情变化做抑制。
本示例采用人脸特征检测模型，人脸特征检测模型可以采用维奥拉-琼斯(Viola-Jones)人脸检测算法得到，通过该算法检测视频每一帧中的人脸位置，并通过判别响应图拟合(Discriminative Response Map Fitting)算法检测人脸得66个特征点位置。在此基础上，采用卡耐德-卢卡斯-托马西(Kanade-Lucas-Tomasi)算法跟踪66个面部特征点在视频中随时间的运动轨迹，抵消人脸刚性运动干扰，至此，基本得到了稳定的人脸区域视频。在该视频基础上，通过人脸检测以及皮肤检测，选择人脸中脉搏信号相对突出和稳定的区域，实现对脸部感兴趣区域(ROI)的选择，并通过使用基于一组特征点或对象的跟踪算法，逐帧更新ROI的位置。需要说明的是，步骤S130和S140结合实现更好的去干扰效果，二者顺序不可调换，前者全局干扰，后者局部干扰。
S150：检测所述脸部感兴趣区域的脉搏信号，输出所述脉搏信号。
具体的，本示例根据IPPG技术利用成像设备采集人体表皮的视频信号，通过信号处理技术探测环境光吸收率差异导致的表皮色彩强度微弱变化，从而实现脉搏波检测。
应当理解，脉搏信号中仍然存在无人机抖动产生的干扰信号，为了得到更稳定的脉搏波，本示例利用下面的步骤处理：
分析脸部感兴趣区域皮下血液对不同波长入射光的吸收特性，选取相应的色度特征来描述脉搏信号；获取对应的脉搏信号。
具体的，本示例通过分析人脸皮下血液对不同波长入射光的吸收特性，选取相应的色度特征来描述脉搏信号。考虑Red-Green-Blue(RGB)是最为常用的色度模型，红绿蓝三个颜色通道均不同程度地包含脉搏信号，通过线性组合从三个颜色通道构建两个正交色度信号X和Y，脉搏信号S可以估计为：
S＝X-αY (8)
其中α＝σ(X)/σ(Y)，σ(X)是X的标准差，σ(Y)是Y的标准差；S表示脉搏信号。
通过对脉搏信号的稀疏编码去除无人机抖动产生的干扰信号，得到稳定的脉搏波，脉搏信号稀疏编码网络模型如图5所示。首先根据脉搏信号的稀疏编码，学习所述脉搏信号中由血液容积变化引起的本质基底成分；这里的基底是字典里的每一个原子。
本示例中脉搏信号的稀疏编码包括字典学习和稀疏重建这两个阶段，在字典学习阶段，对于n个长度为i的脉搏信号S＝{x1，x2…xn}i×n，其字典学习的目标函数构建如下：
其中D＝{d1，d2…dj}i×j表示脉搏信号字典，dj表示第j个基底向量；A＝{a1，a2…an}j×n表示S在字典D上的编码系数矩阵；x1，x2…xn表示。目标函数(9)的第一项为保真项；第二项为稀疏正则项；λ1为正则项系数。通过将稀疏正则项的0范数近似替换为1范数，||A||0→||A||1，目标函数(9)可以转化为一个凸优化问题。
屏蔽脉搏信号中由肌肉自发性运动、量化误差等因素引起的次要基底成分；利用学习得到的基底对脉搏信号的基本结构进行重建，去除干扰信号，得到稳定的脉搏波。
具体的，在稀疏重建阶段，对于一个新的脉搏信号s，利用字典对其进行重建的过程可以描述为如下数学模型：
其中，
表示脉搏信号s的重建形式，如图6所示去除干扰后的稳定脉搏信号。
示例性装置
如图2所示，一种基于无人机的脉搏波检测装置，包括：识别模块20，其用于获取包含目标物脸部特征的视频流，识别出所述目标物的脸部特征位置；
第一检测模块30，其用于利用角点检测所述视频流中每帧图像的脸部特征背景区域，获得所述背景区域的特征点；
第一提取模块40，其用于提取所述背景区域特征点的运动信息，根据运动信息对当前图像进行反向补偿；
第二提取模块50，其用于抑制当前图像中头部运动造成的干扰，获得稳定人脸区域图像，提取脸部感兴趣区域；
检测模块60，其用于检测所述脸部感兴趣区域的脉搏信号，输出所述脉搏信号。
进一步的，所述的第一提取模块30包括：匹配单元，其用于匹配所述视频流相邻帧图像的特征点，计算相邻帧图像的特征点的像素位移；
提取单元，其用于提取两幅相邻帧图像中两个关键点集，根据所述关键点集的描述符向量进行匹配，所述描述符向量主要由相邻关键点的梯度大小和方向构成；
去除单元，其用于基于几何变换的离群值剔除方法，检测并去除匹配不准确的关键点对应的离群值关系，从而去除相邻帧图像的特征点错误匹配；
计算单元，其用于以像素为单位计算两个相邻匹配关键点的像素坐标集合之间的运动，获取所述背景区域特征点运动信息。
示例性电子设备
下面，参考图4来描述根据本申请实施例的电子设备。该电子设备可以是可移动设备本身，或与其独立的单机设备，该单机设备可以与可移动设备进行通信，以从它们接收所采集到的输入信号，并向其发送所选择的目标决策行为。
图4图示了根据本申请实施例的电子设备的框图。
如图4所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的决策行为决策方法以及/或者其他期望的功能。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。例如，该输入设备13可以包括例如车载诊断系统(OBD)、统一诊断服务(UDS)、惯性测量单元(IMU)、摄像头、激光雷达、毫米波雷达、超声波雷达、车载通信(V2X)等各种设备。该输入设备13还可以包括例如键盘、鼠标等等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图4中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的决策行为决策方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的决策行为决策方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种基于无人机的脉搏波检测方法，其特征在于，所述方法包括：
获取包含目标物脸部特征的视频流，识别出所述目标物的脸部特征位置；
利用角点检测所述视频流中不同帧图像的脸部特征背景区域，获得所述脸部背景区域的特征点；
提取所述背景区域特征点的运动信息，根据所述运动信息对当前图像进行反向补偿；
抑制当前图像中目标物运动干扰，提取脸部感兴趣区域；
检测所述脸部感兴趣区域的脉搏信号，输出所述脉搏信号。
2.根据权利要求1所述的一种基于无人机的脉搏波检测方法，其特征在于，所述提取背景区域特征点的运动信息步骤包括：
匹配所述视频流中相邻帧图像的特征点，计算相邻帧图像的特征点的像素位移；
提取两幅相邻帧图像中两个关键点集，根据所述关键点集的描述符向量进行匹配，所述描述符向量主要由相邻关键点的梯度大小和方向构成；
以像素点为单位计算两个相邻匹配关键点的像素坐标集合之间的运动，获取所述背景区域特征点运动信息。
3.根据权利要求2所述的一种基于无人机的脉搏波检测方法，其特征在于，所述提取背景区域特征点的运动信息步骤还包括：
基于几何变换的离群值剔除方法，检测并去除匹配不准确的关键点对应的离群值关系，消除相邻帧图像的特征点错误匹配。
4.根据权利要求1所述的一种基于无人机的脉搏波检测方法，其特征在于，所述根据所述运动信息对当前图像进行反向补偿步骤包括：
选择所述视频流中未发生抖动前的背景图像作为固定参考帧；
计算当前图像相对于固定参考帧的运动补偿参数；
根据运动补偿参数直接补偿当前图像,输出清晰的视频序列，其中每次补偿时,直接估计待稳定图像与固定参考帧的全局运动矢量。
5.根据权利要求1所述的一种基于无人机的脉搏波检测方法，其特征在于，所述检测脸部感兴趣区域的脉搏信号步骤包括：
根据所述脸部感兴趣区域中皮下血液对不同波长入射光的吸收特性，选取相应的色度特征来描述脉搏信号，获取对应的脉搏信号；
根据脉搏信号的稀疏编码，学习所述脉搏信号中由血液容积变化引起的字典基底成分；
屏蔽脉搏信号中由肌肉自发性运动、量化误差引起的次要字典基底成分；
利用学习得到的字典基底对脉搏信号的结构进行重建，去除干扰信号，得到稳定的脉搏波。
6.根据权利要求5所述的一种基于无人机的脉搏波检测方法，其特征在于，所述根据脉搏信号的稀疏编码，学习所述脉搏信号中由血液容积变化引起的字典基底成分步骤包括：
在字典学习阶段，对于n个长度为i的脉搏信号S＝(x1，x2...xn}i×n，其字典学习的目标函数构建如下：
其中D＝{d1,d2…dj}i×j表示脉搏信号字典，dj表示第j个基底向量；A＝{a1,a2…an}j×n表示S在字典D上的编码系数矩阵；目标函数的第一项为保真项；第二项为稀疏正则项；λ1为正则项系数，x1,x2…xn表示训练集中第n个脉搏信号。
7.一种基于无人机的脉搏波检测装置，其特征在于，包括：
识别模块，其用于获取包含目标物脸部特征的视频流，识别出所述目标物的脸部特征位置；
第一检测模块，其用于利用角点检测所述视频流中每帧图像的脸部特征背景区域，获得所述背景区域的特征点；
第一提取模块，其用于提取所述背景区域特征点的运动信息，根据运动信息对当前图像进行反向补偿；
第二提取模块，其用于抑制当前图像中头部运动造成的干扰，获得稳定人脸区域图像，提取脸部感兴趣区域(ROI)；
检测模块，其用于检测所述脸部感兴趣区域(ROI)的脉搏信号，输出所述脉搏信号。
8.根据权利要求1所述的一种基于无人机的脉搏波检测装置，其特征在于，所述的第一提取模块包括：
匹配单元，其用于匹配所述视频流相邻帧图像的特征点，计算相邻帧图像的特征点的像素位移；
提取单元，其用于提取两幅相邻帧图像中两个关键点集，根据所述关键点集的描述符向量进行匹配，所述描述符向量主要由相邻关键点的梯度大小和方向构成；
去除单元，其用于基于几何变换的离群值剔除方法，检测并去除匹配不准确的关键点对应的离群值关系，从而去除相邻帧图像的特征点错误匹配。
计算单元，其用于以像素为单位计算两个相邻匹配关键点的像素坐标集合之间的运动，获取所述背景区域特征点运动信息。
9.一种电子设备，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器依次连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-7任一项所述的方法。
10.一种可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210596044.XA CN115089150A (zh) | 2022-05-30 | 2022-05-30 | 一种基于无人机的脉搏波检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210596044.XA CN115089150A (zh) | 2022-05-30 | 2022-05-30 | 一种基于无人机的脉搏波检测方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115089150A true CN115089150A (zh) | 2022-09-23 |
Family
ID=83288364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210596044.XA Pending CN115089150A (zh) | 2022-05-30 | 2022-05-30 | 一种基于无人机的脉搏波检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115089150A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115553745A (zh) * | 2022-11-02 | 2023-01-03 | 济南大学 | 基于机器学习的血液容积脉搏波信号增强方法及系统 |
| CN116310146A (zh) * | 2023-05-16 | 2023-06-23 | 北京邃芒科技有限公司 | 人脸图像重演方法、系统、电子设备、存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102156995A (zh) * | 2011-04-21 | 2011-08-17 | 北京理工大学 | 一种运动相机下的视频运动前景分割方法 |
| US20150055821A1 (en) * | 2013-08-22 | 2015-02-26 | Amazon Technologies, Inc. | Multi-tracker object tracking |
| WO2016158624A1 (ja) * | 2015-03-30 | 2016-10-06 | 国立大学法人東北大学 | 生体情報計測装置、生体情報計測方法、生体情報表示装置及び生体情報表示方法 |
| KR20170095505A (ko) * | 2016-02-15 | 2017-08-23 | 성균관대학교산학협력단 | 드론으로 수집한 영상을 이용한 구조 정보 생성 방법 |
| CN107967941A (zh) * | 2017-11-24 | 2018-04-27 | 中南大学 | 一种基于智能视觉重构的无人机人体健康监控方法与系统 |
| CN108937905A (zh) * | 2018-08-06 | 2018-12-07 | 合肥工业大学 | 一种基于信号拟合的非接触式心率检测方法 |
| CN113052115A (zh) * | 2021-04-06 | 2021-06-29 | 合肥工业大学 | 一种基于视频法的无人机机载生命体征探测方法 |
| CN113361480A (zh) * | 2021-07-06 | 2021-09-07 | 浙江大学 | 基于人脸视频的人体脉搏波获取方法 |
| US20210386307A1 (en) * | 2017-09-15 | 2021-12-16 | University Of Maryland, College Park | System and method for heart rate measurement using facial video |
-
2022
- 2022-05-30 CN CN202210596044.XA patent/CN115089150A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102156995A (zh) * | 2011-04-21 | 2011-08-17 | 北京理工大学 | 一种运动相机下的视频运动前景分割方法 |
| US20150055821A1 (en) * | 2013-08-22 | 2015-02-26 | Amazon Technologies, Inc. | Multi-tracker object tracking |
| WO2016158624A1 (ja) * | 2015-03-30 | 2016-10-06 | 国立大学法人東北大学 | 生体情報計測装置、生体情報計測方法、生体情報表示装置及び生体情報表示方法 |
| KR20170095505A (ko) * | 2016-02-15 | 2017-08-23 | 성균관대학교산학협력단 | 드론으로 수집한 영상을 이용한 구조 정보 생성 방법 |
| US20210386307A1 (en) * | 2017-09-15 | 2021-12-16 | University Of Maryland, College Park | System and method for heart rate measurement using facial video |
| CN107967941A (zh) * | 2017-11-24 | 2018-04-27 | 中南大学 | 一种基于智能视觉重构的无人机人体健康监控方法与系统 |
| CN108937905A (zh) * | 2018-08-06 | 2018-12-07 | 合肥工业大学 | 一种基于信号拟合的非接触式心率检测方法 |
| CN113052115A (zh) * | 2021-04-06 | 2021-06-29 | 合肥工业大学 | 一种基于视频法的无人机机载生命体征探测方法 |
| CN113361480A (zh) * | 2021-07-06 | 2021-09-07 | 浙江大学 | 基于人脸视频的人体脉搏波获取方法 |
Non-Patent Citations (3)
| Title |
|---|
| 周前飞;丁树庆;冯月贵;张慎如;王会方;任诗波;: "大型起重机金属结构无人机智能视觉检测系统研究", 内燃机与配件, no. 19, 15 October 2018 (2018-10-15), pages 230 - 234 * |
| 戚刚;杨学志;吴秀;霍亮;: "非合作面部晃动情况下的心率检测", 中国图象图形学报, no. 01, 16 January 2017 (2017-01-16), pages 130 - 140 * |
| 杨昭;杨学志;霍亮;刘雪南;李江山;: "抗运动干扰的人脸视频心率估计", 电子与信息学报, no. 06, 9 April 2018 (2018-04-09), pages 79 - 86 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115553745A (zh) * | 2022-11-02 | 2023-01-03 | 济南大学 | 基于机器学习的血液容积脉搏波信号增强方法及系统 |
| CN116310146A (zh) * | 2023-05-16 | 2023-06-23 | 北京邃芒科技有限公司 | 人脸图像重演方法、系统、电子设备、存储介质 |
| CN116310146B (zh) * | 2023-05-16 | 2023-10-27 | 北京邃芒科技有限公司 | 人脸图像重演方法、系统、电子设备、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110532970B (zh) | 人脸2d图像的年龄性别属性分析方法、系统、设备和介质 | |
| CN113408508B (zh) | 基于Transformer的非接触式心率测量方法 | |
| CN112766160A (zh) | 基于多级属性编码器和注意力机制的人脸替换方法 | |
| CN107958246A (zh) | 一种基于新型端到端人脸超分辨率网络的图像对齐方法 | |
| US20220180534A1 (en) | Pedestrian tracking method, computing device, pedestrian tracking system and storage medium | |
| CN109685045B (zh) | 一种运动目标视频跟踪方法及系统 | |
| CN104915649A (zh) | 一种应用于人脸识别的活体检测方法 | |
| CN109684969B (zh) | 凝视位置估计方法、计算机设备及存储介质 | |
| CN107766864B (zh) | 提取特征的方法和装置、物体识别的方法和装置 | |
| CN112036339A (zh) | 人脸检测的方法、装置和电子设备 | |
| CN113610046B (zh) | 一种基于深度视频联动特征的行为识别方法 | |
| CN111445496B (zh) | 一种水下图像识别跟踪系统及方法 | |
| Cai et al. | Maneuvering target recognition method based on multi-perspective light field reconstruction | |
| CN115089150A (zh) | 一种基于无人机的脉搏波检测方法、装置、电子设备及存储介质 | |
| CN111222459A (zh) | 一种视角无关的视频三维人体姿态识别方法 | |
| CN111488779A (zh) | 视频图像超分辨率重建方法、装置、服务器及存储介质 | |
| Chung et al. | Domain generalized rppg network: Disentangled feature learning with domain permutation and domain augmentation | |
| CN111144220B (zh) | 适于大数据的人员检测方法、装置、设备和介质 | |
| CN117133041A (zh) | 一种基于深度学习的三维重建网络人脸识别方法、系统、设备及介质 | |
| CN116994310A (zh) | 一种基于rPPG信号的远程心率检测方法 | |
| Brieva et al. | Non-contact breathing rate monitoring system using a magnification technique and convolutional networks | |
| CN112418399B (zh) | 训练姿态估计模型的方法、装置、姿态估计的方法及装置 | |
| CN115089162A (zh) | 一种基于无人机视频的呼吸率检测方法及装置 | |
| CN110232378B (zh) | 一种图像兴趣点检测方法、系统及可读存储介质 | |
| JP2023512359A (ja) | 関連対象検出方法、及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |