CN113100748B - 一种呼吸频率确定方法及装置 - Google Patents

一种呼吸频率确定方法及装置 Download PDF

Info

Publication number
CN113100748B
CN113100748B CN202110343408.9A CN202110343408A CN113100748B CN 113100748 B CN113100748 B CN 113100748B CN 202110343408 A CN202110343408 A CN 202110343408A CN 113100748 B CN113100748 B CN 113100748B
Authority
CN
China
Prior art keywords
processed
signal
target
video
respiratory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110343408.9A
Other languages
English (en)
Other versions
CN113100748A (zh
Inventor
陈旭杰
田疆
刘莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202110343408.9A priority Critical patent/CN113100748B/zh
Publication of CN113100748A publication Critical patent/CN113100748A/zh
Application granted granted Critical
Publication of CN113100748B publication Critical patent/CN113100748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816Measuring devices for examining respiratory frequency

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pulmonology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Physiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请实施例公开了一种呼吸频率确定方法,该方法包括:获取针对目标对象的第一待处理视频;其中,目标对象包括具有目标人脸的对象;对第一待处理视频进行处理,确定第一待处理视频的图像的目标人脸中满足目标条件的目标关键点的参数;基于目标关键点的参数和第一待处理视频的图像在第一待处理视频中的时间,生成第一待处理视频对应的待处理信号;对待处理信号进行处理,确定目标对象的第一呼吸频率。本申请实施例同时还公开了一种呼吸频率确定装置。

Description

一种呼吸频率确定方法及装置
技术领域
本申请涉及图像处理领域的呼吸频率确定技术,尤其涉及一种呼吸频率确定方法及装置。
背景技术
呼吸频率,即人在一分钟内呼吸的次数,是判断呼吸是否正常的重要指标,对呼吸频率进行快捷方便的测量具有重要的临床意义。目前,主要采用非接触式测量技术对呼吸频率进行测量,具体可以通过拍摄被测人上半身视频来检测胸部的运动(起伏程度)来确定被测人的呼吸频率;但是,被测人胸部运动容易受到人的衣物等外界环境的影响,导致测量的呼吸频率不准确。
发明内容
为解决上述技术问题,本申请实施例期望提供一种呼吸频率确定方法及装置,解决了相关技术中确定呼吸频率不准确的问题,提高了确定呼吸频率的准确率。
为达到上述目的,本申请的技术方案是这样实现的:
一种呼吸频率确定方法,所述方法包括:
获取针对目标对象的第一待处理视频;其中,所述目标对象包括具有目标人脸的对象;
对所述第一待处理视频进行处理,确定所述第一待处理视频的图像的目标人脸中满足目标条件的目标关键点的参数;
基于所述目标关键点的参数和所述第一待处理视频的图像在所述第一待处理视频中的时间,生成所述第一待处理视频对应的待处理信号;
对所述待处理信号进行处理,确定所述目标对象的第一呼吸频率。
上述方案中,所述获取针对目标对象的第一待处理视频,包括:
对第二待处理视频进行运动放大处理,得到第三待处理视频;
基于第一时间间隔对所述第三待处理视频进行分割处理,确定所述第一待处理视频。
上述方案中,所述对所述第一待处理视频进行处理,确定所述第一待处理视频的图像的目标人脸中满足目标条件的目标关键点的参数,包括:
对所述第一待处理视频的图像进行识别处理,得到所述图像中的目标人脸;
基于所述目标条件对所述图像中的目标人脸进行关键点检测,得到所述目标关键点的参数。
上述方案中,所述基于所述目标关键点的参数和所述第一待处理视频的图像在所述第一待处理视频中的时间,生成所述第一待处理视频对应的待处理信号,包括:
基于所述第一待处理视频的图像的目标人脸中满足目标条件的目标关键点的参数,确定针对所述图像的参考值;
基于所述参考值和所述时间,生成所述第一待处理视频对应的第一信号和第二信号;
基于所述第一信号、所述第二信号和第二时间间隔,确定所述待处理信号。
上述方案中,所述基于所述第一信号、所述第二信号和所述第二时间间隔,确定所述待处理信号,包括:
基于所述时间和第二时间间隔,分别对所述第一信号和所述第二信号进行插值处理,得到第一路插值信号和第二路插值信号;
对所述第一路插值信号进行归一化处理得到第一路归一化信号,并对所述第二路插值信号进行归一化处理得到第二路归一化信号;
对所述第一路归一化信号进行滑动平均滤波处理得到第一路待处理信号;
对所述第二路归一化信号进行滑动平均滤波处理得到第二路待处理信号;其中,所述待处理信号包括所述第一路待处理信号和所述第二路待处理信号。
上述方案中,所述对所述待处理信号进行处理,确定所述目标对象的第一呼吸频率,包括:
基于所述待处理信号和目标呼吸频率,确定多个待选呼吸频率;
对所述多个待选呼吸频率进行筛选,确定所述目标对象的第一呼吸频率。
上述方案中,所述基于所述待处理信号和目标呼吸频率,确定多个待选呼吸频率,包括:
基于目标频段,分别对所述第一路待处理信号和所述第二路待处理信号进行分解处理,得到多个第一频段信号和多个第二频段信号;其中,每一所述第一频段信号对应的频段不同;每一所述第二频段信号对应的频段不同;
确定所述第一频段信号的信噪比和所述第二频段信号的信噪比;
基于所述目标呼吸频率、目标信噪比和所述第一频段信号的信噪比,对所述第一频段信号进行处理得到第一滤除信号;
基于所述目标呼吸频率、所述目标信噪比和所述第二频段信号的信噪比,对所述第二频段信号进行处理得到第二滤除信号;
基于所述第一滤除信号和所述第二滤除信号,得到所述多个待选呼吸频率。
上述方案中,所述对所述多个待选呼吸频率进行筛选,确定所述目标对象的第一呼吸频率,包括:
基于目标离群值对所述多个待选呼吸频率进行处理,得到待处理呼吸频率;
基于所述待处理呼吸频率,确定所述第一呼吸频率。
上述方案中,所述基于所述待处理呼吸频率,确定所述第一呼吸频率,包括:
对所述待处理呼吸频率进行处理,确定第二呼吸频率;
基于所述第一待处理视频的图像中所述目标人脸的关键点的参数,确定所述图像中血红蛋白对应的光学参数;
基于所述血红蛋白对应的光学参数,确定所述目标对象的心率信号;
基于所述目标对象的心率信号,确定所述目标对象的备选呼吸频率;
基于所述备选呼吸频率对所述第二呼吸频率进行修正处理,得到所述第一呼吸频率。
一种呼吸频率确定装置,所述装置包括:
获取单元,用于获取针对目标对象的第一待处理视频;其中,所述目标对象包括具有目标人脸的对象;
处理单元,用于对所述第一待处理视频进行处理,确定所述第一待处理视频的图像的目标人脸中满足目标条件的目标关键点的参数;
所述处理单元,还用于对多个所述待处理信号进行处理,确定所述目标对象的第一呼吸频率。
本申请实施例所提供的呼吸频率确定方法及装置,获取针对目标对象的第一待处理视频;其中,目标对象包括具有目标人脸的对象;对第一待处理视频进行处理,确定第一待处理视频的图像的目标人脸中满足目标条件的目标关键点的参数;基于目标关键点的参数和第一待处理视频的图像在第一待处理视频中的时间,生成第一待处理视频对应的待处理信号;对待处理信号进行处理,确定目标对象的第一呼吸频率;如此,便可以基于目标人脸的不易受外界因素影响的目标关键点的参数和第一待处理视频的图像在第一待处理视频中的时间,确定目标对象的第一呼吸频率,提高了确定呼吸频率的准确率。
附图说明
图1为本申请实施例提供的一种呼吸频率确定方法的流程示意图;
图2为本申请实施例提供的另一种呼吸频率确定方法的流程示意图;
图3为本申请实施例提供的一种呼吸频率确定装置的结构示意图;
图4为本申请实施例提供的一种呼吸频率确定设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
本申请实施例提供一种呼吸频率确定方法,该方法应用于呼吸频率确定设备,如图1所示,该方法包括以下步骤:
S101、获取针对目标对象的第一待处理视频。
其中,目标对象包括具有目标人脸的对象。
在本申请实施例中,呼吸频率确定设备可以为具有图像采集和处理能力的设备;第一待处理视频可以是呼吸频率确定设备针对目标对象的目标人脸采集的视频;第一待处理视频的数量可以包括一个,也可以包括多个。其中,当第一待处理视频的数量包括多个时,每一个第一待处理视频中存在相同的视频信息或不同的视频信息,第一待处理视频可以是对采集到的初始视频进行处理后得到的视频,还可以是根据预设时间间隔多次采集到的视频。
在一种可行的实现方式中,以第一待处理视频的时长为30S,第一待处理视频的数量为十一个为例进行说明:每个第一待处理视频均可以是时长为20S的视频;其中,每一个待处理视频可以是从一个视频时长为30S的初始视频中提取出来的视频,如此第一个第一待处理视频可以是初始视频中0-20S的视频,第二个第一待处理视频可以是初始视频中1-21S的视频,第三个第一待处理视频可以是初始视频中2-22S的视频,第十一个第一待处理视频可以是初始视频中10-30S的视频,其中,每一个第一待处理视频中存在相同的视频信息。
需要说明的是,可以基于目标人脸距离图像采集部件的距离和/或目标人脸的角度确定是否采集针对目标对象的目标人脸的第一待处理视频;其中,在图像采集部件与目标对象之间的距离小于预设距离时,可以使用图像采集部件采集针对目标对象的目标人脸的第一待处理视频;在目标人脸角度满足预设角度时,可以使用图像采集部件采集针对目标对象的目标人脸的第一待处理视频。
在一种可行的实现方式中,在目标对象距离图像采集部件的距离小于预设距离,且目标人脸角度满足预设角度时,图像采集部件采集针对目标对象的目标人脸的第一待处理视频;若目标对象距离图像采集部件的距离不满足预设距离和/或目标人脸角度不满足预设角度时,则发出提醒信息以提醒目标对象调整自身的位置,提高采集的第一待处理视频中的目标人脸的清晰度。
S102、对第一待处理视频进行处理,确定第一待处理视频的图像的目标人脸中满足目标条件的目标关键点的参数。
在本申请实施例中,满足目标条件的目标关键点指的是受人脸表情影响较小的关键点;在一种可行的实现方式中,满足目标条件的目标关键点可以是目标人脸中目标区域的关键点。其中,目标关键点的参数可以为目标关键点的坐标和目标关键点的像素值;第一待处理视频的图像可以指的是第一待处理视频中的每一帧图像,还可以是第一待处理视频中的部分帧图像。
在一种可行的实现方式中,可以对第一待处理视频中的每一帧图像进行关键点检测,得到每一帧图像中目标人脸的目标关键点的坐标;在另一种可行的实现方式中,呼吸频率确定设备基于预设时间间隔,从第一待处理视频中提取部分帧图像,并对第一待处理视频中部分帧图像进行关键点检测,得到部分帧图像中目标人脸的目标关键点的坐标。
S103、基于目标关键点的参数和第一待处理视频的图像在第一待处理视频中的时间,生成第一待处理视频对应的待处理信号。
其中,第一待处理视频的图像在第一待处理视频中的时间可以为目标关键点所在的图像在第一待处理视频中的时间。
在本申请实施例中,呼吸频率确定设备可以基于第一待处理视频中的多帧图像的多个目标关键点的坐标,以及多帧图像中每一帧图像所在第一待处理视频中的时间,生成时间与坐标的对应关系并基于该对应关系来生成待处理信号。
在一种可行的实现方式中,若多帧图像为第一待处理视频中的N帧图像,则可以基于N帧图像中的每一帧图像的多个目标关键点的坐标和每一帧图像在第一待处理视频中的时间来生成时间与坐标的对应关系,之后基于N帧图像对应的N组时间与坐标的对应关系来生成待处理信号。
S104、对待处理信号进行处理,确定目标对象的第一呼吸频率。
在本申请实施例中,呼吸频率确定设备可以对待处理信号进行分析,得到多个待选呼吸频率,之后对多个待选呼吸频率进行筛选,基于筛选结果来确定目标对象的第一呼吸频率。
需要说明的是,相关技术中通过拍摄目标对象的上半身视频,检测目标对象的胸部的运动来确定目标对象的第一呼吸频率,但由于目标对象的身材和服装等因素会造成目标对象的胸部特征不明显,导致通过检测目标对象的胸部的运动来确定第一呼吸频率的准确率低;而本申请技术方案中采用目标人脸的目标关键点的参数和第一待处理视频的图像在第一待处理视频中的时间,来确定第一呼吸频率,目标对象的脸部(目标人脸)特征不易受服装等外界因素的影响,提高了确定第一呼吸频率的准确率,而且本申请技术方案中目标关键点的参数为满足目标条件的受人脸表情影响较小的关键点的参数,进一步地保证了确定的第一呼吸频率的准确率。
本申请实施例所提供的呼吸频率确定方法,获取针对目标对象的第一待处理视频;其中,目标对象包括具有目标人脸的对象;对第一待处理视频进行处理,确定第一待处理视频的图像的目标人脸中满足目标条件的目标关键点的参数;基于目标关键点的参数和第一待处理视频的图像在第一待处理视频中的时间,生成第一待处理视频对应的待处理信号;对待处理信号进行处理,确定目标对象的第一呼吸频率;如此,便可以基于目标人脸的不易受外界因素影响的目标关键点的参数和第一待处理视频的图像在第一待处理视频中的时间,确定目标对象的第一呼吸频率,提高了确定呼吸频率的准确率。
基于前述实施例,本申请实施例提供一种呼吸频率确定方法,参照图2所示,该方法包括以下步骤:
S201、呼吸频率确定设备对第二待处理视频进行运动放大处理,得到第三待处理视频。
在本申请实施例中,可以采用运动放大的相关算法来对第二待处理视频进行运动放大处理;在一种可行的实现方式中,可以采用运动放大算法对预设放大模型进行训练得到运动放大模型,之后将第二待处理视频输入至运动放大模型中,通过运动放大模型对第二待处理视频进行运动放大处理,得到第三待处理视频。
需要说明的是,第二待处理视频可以为针对目标对象采集到的视频。对第二待处理视频进行运动放大处理的目的在于将第二待处理视频中目标对象的目标人脸的微小运动进行放大,便于后续基于放大后的视频来检测目标人脸的目标关键点的参数的变化来确定目标对象的第一呼吸频率,避免目标人脸上微小运动不易检测影响确定的目标对象的第一呼吸频率的准确率。
S202、呼吸频率确定设备基于第一时间间隔对第三待处理视频进行分割处理,确定第一待处理视频。
其中,第一时间间隔指的是相邻两个第一待处理视频的开始时间之间的时间差,也可以是相邻两个第一待处理视频中前一个第一待处理视频的结束时间和后一个第一待处理视频的开始时间之间的时间差,还可以是每一待处理视频的时长,其中,每一待处理视频的时长均相同。
在一种可行的实现方式中,以多个第一待处理视频中存在相同的视频信息为例,第三待处理视频可以为一个视频时长为30S的视频,第一时间间隔可以为1S,若每一个第一待处理视频的时长为20S,第一待处理视频的数量可以为十一,第一个第一待处理视频可以是第三待处理视频中0-20S的视频,第二个第一待处理视频可以是第三待处理视频中1-21S的视频,第三个第一待处理视频可以是第三待处理视频中2-22S的视频,第十一个第一待处理视频可以是第三待处理视频中10-30S的视频。其中,第一个第一待处理视频和第二个第一待处理视频之间均具有第三待处理视频中1-20S的视频,第二个第一待处理视频和第三个第一待处理视频之间均具有第三待处理视频中2-21S的视频,十一个第一待处理视频中均具有第三待处理视频中11-20S的视频。
在另一种实现方式中,多个第一待处理视频之间不存在相同的视频信息(多个第一待处理视频之间不具有相交的视频部分),第三待处理视频可以为一个视频时长为30S的视频,第一时间间隔可以为5S,若每一个第一待处理视频的时长为5S,第一待处理视频的数量可以为六个;其中,第一个第一待处理视频可以为第三待处理视频中0-5S的视频,第二个第一待处理视频可以为第三待处理视频中5-10S的视频,第六个第一待处理视频可以为第三待处理视频中25-30S的视频。
需要说明的是,多第一待处理视频中存在相同的视频信息时,通过对比多个第一待处理视频可以明显的确定出目标人脸的目标关键点的参数的详细变化,在基于多个第一待处理视频确定第一呼吸频率时准确率更高;当第一待处理视频中不存在相同的视频信息时,对于相同的时长的第三待处理视频而言,第一待处理视频的数量明显减少,可以降低确定第一呼吸频率的计算复杂度。
在本申请实施例中,S203-S209中以第一待处理视频的数量为多个,来进行解释说明。
S203、呼吸频率确定设备对第一待处理视频的图像进行识别处理,得到图像中的目标人脸。
在本申请实施例中,呼吸频率确定设备可以对第一待处理视频的图像进行人脸识别处理,确定第一待处理视频的图像中的至少一个人脸,并计算每一个人脸的面积,将第一待处理视频的图像中人脸的面积的最大值对应的人脸确定为目标人脸。也就是说,确定距离呼吸频率确定设备的图像采集部件最近的人脸为目标人脸。在一种可行的实现方式中,呼吸频率确定设备可以对多个第一待处理视频中每一帧图像进行识别处理,得到每一帧图像中的目标人脸。通过对每一帧图像进行处理,可以精确检测到每一帧图像中目标人脸的目标关键点的参数的变化,进一步地,提高了确定第一呼吸频率的准确率。
S204、呼吸频率确定设备基于目标条件对图像中的目标人脸进行关键点检测,得到目标关键点的参数。
其中,目标条件可以包括对图像中的目标人脸进行关键点检测的区域为目标区域。
在本申请实施例中,呼吸频率确定设备可以对第一待处理视频的图像进行关键点检测,得到目标人脸的多个关键点的参数,之后基于目标条件从多个关键点的参数中确定目标关键点的参数;呼吸频率确定设备还可以基于目标条件直接从目标人脸中确定目标关键点参数。其中,目标关键点参数可以为目标关键点的坐标。
具体地,呼吸频率确定设备可以采用关键点检测模型对多个第一待处理视频中的每帧图像进行处理,得到每帧图像中目标人脸的多个关键点的坐标,之后从目标人脸的多个关键点的坐标中确定目标区域的关键点的坐标,将目标区域的关键点的坐标作为目标关键点的坐标。其中,目标区域可以为目标人脸上眉毛区域、眼角区域和鼻子区域等受人脸表情影响较小的区域。
在一种可行的实现方式中,呼吸频率确定设备采用人脸的68点关键点模型分别对每个第一待处理视频中的每一帧图像中的目标人脸进行检测,最终可以得到每一帧图像中目标人脸的68个关键点的坐标,之后从68个关键点的坐标中选取眉毛区域、眼角区域和鼻子区域对应的23个关键点的坐标。
S205、呼吸频率确定设备基于第一待处理视频的图像的目标人脸中满足目标条件的目标关键点的参数,确定针对图像的参考值。
其中,图像的参考值可以是对目标关键点的参数进行计算得到的。
在本申请实施例中,呼吸频率确定设备可以对多个第一待处理视频中的每一帧图像进行处理,确定每一帧图像中目标区域的关键点的坐标,并对每一帧图像中多个关键点的坐标求均值,得到每一帧图像对应的参考值。
需要说明的是,对每一帧图像中的多个关键点坐标求均值,可以是对多个关键点横坐标和纵坐标分别求均值。在一种可行的实现方式中,对于单帧图像而言,针对23个目标关键点的横坐标求均值得到第一均值,针对23个目标关键点的纵坐标求均值得到第二均值,最终可以得到每一帧图像对应的第一均值和第二均值;其中,图像的参考值包括第一均值和第二均值。
S206、呼吸频率确定设备基于参考值和时间,生成第一待处理视频对应的第一信号和第二信号。
在本申请实施例中,呼吸频率确定设备可以基于图像对应的参考值以及该图像在第一待处理视频中的时间得到参考值与时间的对应关系,并基于多个参考值与时间的对应关系生成第一信号和第二信号。
在一种可行的实现方式中,若第一待处理视频的数量为多个;对于任一第一待处理视频,若该视频中有600帧图像,针对600帧图像中任一帧图像而言,该帧图像在第一待处理视频中的时间t1和该帧图像对应的第一均值x1可以生成第一对应关系,并基于该帧图像在第一待处理视频中的时间t1和该帧图像对应的第二均值y1可以生成第二对应关系,呼吸频率确定设备可以基于600个第一对应关系生成第一信号,并基于600个第二对应关系生成第二信号;对于每个第一待处理视频均可以按照上述过程进行处理,最终可以得到多个第一待处理视频中每个第一待处理视频对应的第一信号和第二信号。
S207、呼吸频率确定设备基于第一信号、第二信号和第二时间间隔,确定待处理信号。
在本申请实施例中,可以以每帧图像的任一顶点(任一帧图像中有4个顶点)来建立二维直角坐标系,每个像素点的坐标均是相对该二维直角坐标系而言的;第一信号可以表征目标对象呼吸时头部在二维直角坐标系的X轴方向运动的信号,第二信号可以表征目标对象呼吸时头部在二维直角坐标系的Y轴方向运动的信号。
在本申请实施例中S207还可以由S207a、S207b、S207c和S207d来实现。
S207a、呼吸频率确定设备基于时间和第二时间间隔,分别对第一信号和第二信号进行插值处理,得到第一路插值信号和第二路插值信号。
在本申请实施例中,呼吸频率确定设备可以基于第二时间间隔来确定第一信号和第二信号中每个信号点对应的目标时间,并基于目标时间来替换第一信号和第二信号中每个信号点的时间,得到第一路插值信号和第二路插值信号。通过对第一信号和第二信号中每个信号点的时间进行调整,使得第一路插值信号和第二路插值信号中任意相邻两个信号点对应的时间间隔相同。以减少呼吸频率确定设备采集视频时帧率不稳定造成的测量误差。
在一种可行的实现方式中,若第二时间间隔为30ms,第一信号中第n个信号点的时间为t1,第n+1个信号点的时间为t2,第n+2个信号点的时间为t3,则呼吸频率确定设备可以调整t2,使得t1和t2之间的时间间隔为30ms,之后调节t3,使得t3和t2之间的时间间隔为30ms,对第一信号中所有信号点对应的时间进行调整后,可以得到第一路插值信号,并对第二信号中所有信号点对应的时间进行调整后,可以得到第二路插值信号。
S207b、呼吸频率确定设备对第一路插值信号进行归一化处理得到第一路归一化信号,并对第二路插值信号进行归一化处理得到第二路归一化信号。
在本申请实施例中,呼吸频率确定设备对第一路插值信号进行归一化处理可以是先计算出第一路插值信号中多个第一均值的平均值,将求得的平均值记为第一目标平均值,之后计算多个第一均值的方差,并将求得的方差记为第一目标方差,用每一个第一均值减去第一目标平均值后再除以第一目标方差得到的值来替换第一均值的值,最终得到第一路归一化信号;对第二路插值信号进行归一化处理可以是先计算出第二路插值信号中多个第二均值的第二目标平均值和多个第二均值的第二目标方差,用每一个第二均值减去第二目标平均值后再除以第二目标方差得到的值来替换第二均值的值,最终可以得到第二路归一化信号。需要说明的是,通过对第一路插值信号和第二路插值信号进行归一化处理,降低后续对信号处理的复杂度。
S207c、呼吸频率确定设备对第一路归一化信号进行滑动平均滤波处理得到第一路待处理信号。
滑动平均滤波处理也可以称之为滑动平均值滤波,滑动平均滤波处理的基本思想是设定一个宽度固定的滑动窗口,该窗口沿着时间序列滑动,同时取窗内数据的算术平均值作为输出值,而由输出值组成另一个数字序列,也就是滤波后的序列。
在本申请实施例中,呼吸频率确定设备可以基于预设滑动窗口,对每个第一待处理视频对应的第一路归一化信号进行滑动平均滤波处理,得到每个第一待处理视频对应的第一路待处理信号。
S207d、呼吸频率确定设备对第二路归一化信号进行滑动平均滤波处理得到第二路待处理信号。
其中,待处理信号包括第一路待处理信号和第二路待处理信号。
在本申请实施例中对第二路归一化信号进行滑动平均滤波处理过程可以参考对S207c步骤的说明,本申请实施例在此不再赘述。
S208、呼吸频率确定设备基于待处理信号和目标呼吸频率,确定多个待选呼吸频率。
在本申请实施例中,可以基于目标呼吸频率确定待处理信号中目标呼吸频率对应的信号,并对目标呼吸频率对应的信号进行分析确定多个待选呼吸频率。
在本申请实施例中,S208还可以由S208a~S208e来实现。
S208a、呼吸频率确定设备基于目标频段,分别对第一路待处理信号和第二路待处理信号进行分解处理,得到多个第一频段信号和多个第二频段信号。
其中,目标频段可以包括多个子频段;每一第一频段信号对应的频段不同;每一第二频段信号对应的频段不同。
在本申请实施例中,呼吸频率确定设备可以基于多个子频段对第一路待处理信号进行分解处理,得到第一路待处理信号对应的多个第一频段信号;并基于多个子频段对第二路待处理信号进行分解处理,得到第二路待处理信号对应的多个第二频段信号。
需要说明的是,呼吸频率确定设备还可以对第一路待处理信号和第二路待处理信号进行自适应分解;在一种可行的实现方式中,呼吸频率确定设备可以采用经验模态分解技术对第一路待处理信号进行自适应分解,以得到多个第一频段信号,其中,每一个第一频段信号对应的频段不同,如第一个第一频段信号可以为0.1-0.5HZ,第二个第一频段可以为0.2-0.8HZ。
S208b、呼吸频率确定设备确定第一频段信号的信噪比和第二频段信号的信噪比。
在本申请实施例中,呼吸频率确定设备可以对每一第一频段信号进行分析,确定每一第一频段信号的信噪比,并对每一第二频段信号进行分析,确定每一第二频段信号的信噪比。
S208c、呼吸频率确定设备基于目标呼吸频率、目标信噪比和第一频段信号的信噪比,对第一频段信号进行处理得到第一滤除信号。
在本申请实施例中,呼吸频率确定设备可以基于目标信噪比从第一频段信号中确定大于或等于目标信噪比的多个待选第一频段信号,之后基于目标呼吸频率从多个待选第一频段信号中确定占比高的待选第一频段信号,并将占比高的待选第一频段信号作为第一目标频段信号,之后将多个第一目标频率信号进行组合得到第一滤除信号。
其中,从多个待选第一频段信号中确定占比高的待选第一频段信号可以通过预设占比来实现,具体可以计算每个待选第一频段信号与目标呼吸频率的占比(也称之为比值或比例),最终可以得到每个待选第一频段信号对应的占比,从多个待选第一频段信号对应的占比中确定大于或等于预设占比的目标占比,并将目标占比对应的待选第一频段信号作为第一目标频段信号;从多个待选第一频段信号中确定占比高的待选第一频段信号还可以通过预设比例数量来实现,当得到每个待选第一频段信号对应的占比时,对多个待选第一频段信号对应的占比进行排序,从占比高的占比中选取预设比例数量的占比作为目标占比,并将目标占比对应的待选第一频段信号作为第一目标频段信号。
在一种可行的实现方式中,若目标呼吸频率为(0.15-0.7)HZ,待选第一频段信号可以为(0-0.4)HZ的信号、(0.1-0.5)HZ的信号、(0.2-0.6)HZ的信号、(0.3-0.8)HZ的信号等其它不同频段的信号,呼吸频率确定设备可以计算(0-0.4)HZ的信号占(0.15-0.7)HZ的比例、之后依次计算其它不同频段的信号占目标呼吸频率的比例,并从计算得到的多个比例中确定大于或等于预设占比的目标占比,并将目标占比对应的待选第一频段信号作为第一目标频段信号。
S208d、呼吸频率确定设备基于目标呼吸频率、目标信噪比和第二频段信号的信噪比,对第二频段信号进行处理得到第二滤除信号。
在本申请实施例中基于目标呼吸频率、目标信噪比和第二频段信号的信噪比,对第二频段信号进行处理的过程,可以参考S208c步骤的说明,本申请实施例在此不再赘述。
S208e、呼吸频率确定设备基于第一滤除信号和第二滤除信号,得到多个待选呼吸频率。
在本申请实施例中,确定多个待选呼吸频率具体可以通过以下过程来实现;
呼吸频率确定设备对第一滤除信号进行频域分析得到第一目标信号,并对第二滤除信号进行频域分析得到第二目标信号;基于第一目标信号的第一频域功率谱和目标呼吸频率,对第一目标信号进行处理得到第一待处理备选呼吸频率;基于第二目标信号的第二频域功率谱和目标呼吸频率,对第二目标信号进行处理得到第二待处理备选呼吸频率;对第一待处理备选呼吸频率和第二待处理备选呼吸频率进行筛选,确定多个待选呼吸频率。
具体地,呼吸频率确定设备可以对第一滤除信号和第二滤除信号进行频域分析,具体可以将第一滤除信号和第二滤除信号分别进行傅里叶变换,得到第一滤除信号对应的第一目标信号,第二滤除信号对应的第二目标信号,之后基于第一目标信号对应的第一频域功率谱、第二目标信号对应的第二频域功率谱和目标呼吸频率频率,寻找第一频域功率谱中信号频谱在目标呼吸频率范围内的最高峰,并将最高峰所对应的频率作为第一待处理备选呼吸频率,并寻找第二频域功率谱中信号频谱在目标呼吸频率范围内的最高峰,并将最高峰所对应的频率作为第二待处理备选呼吸频率,之后判断第一待处理备选呼吸频率和第二待处理备选呼吸频率是否满足预设条件,若满足则将第一待处理备选呼吸频率和/或第二待处理备选呼吸频率作为待选呼吸频率。下述对基于预设条件确定待选呼吸频率进行详细的解释说明。
在一种可行的实现方式中,呼吸频率确定设备从第一频域功率谱中确定目标呼吸频率范围内除最高峰之外的其他峰中的最高峰(第一频域功率谱中目标呼吸频率范围内的次高峰)的高度记为第二高度,并确定第一待处理备选呼吸频率对应的峰值高度(第一频域功率谱中目标频率范围内的最高峰)记为第一高度,之后计算第一高度与第二高度的第一比值,若第一比值大于或等于预设阈值,则将第一待处理备选呼吸频率作为待选呼吸频率,若第一比值小于预设阈值,则去除第一待处理备选呼吸频率,其中,第一高度大于第二高度;同理,呼吸频率确定设备从第二频域功率谱中确定目标呼吸频率范围内除最高峰之外的其他峰中的最高峰(第二频域功率谱中目标呼吸频率范围内的次高峰)的高度记为第四高度,并确定第二待处理备选呼吸频率对应的峰值高度(第二频域功率谱中目标频率范围内的最高峰)记为第三高度,之后计算第三高度与第四高度的第二比值,若第二比值大于或等于预设阈值,则将第二待处理备选呼吸频率作为待选呼吸频率,若第二比值小于预设阈值,则去除第二待处理备选呼吸频率,其中,第三高度大于第四高度。对多个第一待处理视频均作上述的处理,最终可以得到多个第一待处理视频对应的多个待选呼吸频率。
S209、呼吸频率确定设备对多个待选呼吸频率进行筛选,确定目标对象的第一呼吸频率。
在本申请实施例中,为了确保目标对象的第一呼吸频率的准确性,呼吸频率设备可以对多个待选呼吸频率进行处理,并筛选掉频率不符合要求的待选呼吸频率,最终可以得到第一对象的第一目标呼吸频率。
在本申请实施例中,S209可以由S209a和S209b来实现:
S209a、呼吸频率确定设备基于目标离群值对多个待选呼吸频率进行处理,得到待处理呼吸频率。
在本申请实施例中,呼吸频率确定设备可以对多个待选呼吸频率组成的待选呼吸频率数列进行离群值去除,具体可以先确定多个待选呼吸频率数列中的中位数,之后计算每个待选呼吸频率与该中位数的差值,若该差值大于预设差值,则将该差值对应的待选呼吸频率舍去;若差值小于预设差值,则将差值对应的待选呼吸频率保留,最终将保留下来的多个待选呼吸频率作为待处理呼吸频率。
S209b、呼吸频率确定设备基于待处理呼吸频率,确定第一呼吸频率。
在本申请实施例中,呼吸频率确定设备可以对待处理呼吸频率中的多个待选呼吸频率(S209a中保留下来的多个待选呼吸频率)进行分析,以确定第一呼吸频率。S209b还可以通过以下方式来实现:
a、呼吸频率确定设备对待处理呼吸频率进行处理,确定第二呼吸频率。
在本申请实施例中,呼吸频率确定设备可以对待处理呼吸频率中的多个待选呼吸频率求平均值(均值),将求得的平均值作为第二呼吸频率。
b、呼吸频率确定设备基于第一待处理视频的图像中目标人脸的关键点的参数,确定图像中血红蛋白对应的光学参数。
其中,目标人脸的关键点的参数可以为目标人脸的关键点的像素值;血红蛋白对应的光学参数可以为血红蛋白浓度的值。
在本申请实施例中,呼吸频率确定设备可以对第一待处理视频的图像的目标人脸的关键点的像素值进行分析,确定目标人脸上血红蛋白浓度的值。
在一种可行的实现方式中,呼吸频率确定设备可以对第一待处理视频的每一帧图像中目标人脸的关键点的像素值进行分析,得到每一帧图像对应的目标人脸的多个光学参数,之后从多个光学参数中提取每一帧图像对应的目标人脸的血红蛋白浓度的值。
c、呼吸频率确定设备基于血红蛋白对应的光学参数,确定目标对象的心率信号。
在本申请实施例中,呼吸频率确定设备可以基于血红蛋白对应的光学参数,计算血红蛋白对应的光学参数占多个光学参数的比值,来确目标对象的心率信号。多个光学参数包括:血红蛋白浓度的值、黑色素浓度的值和皮肤厚度的值。
在一种可行的实现方式中,针对一帧图像而言,该帧图像中血红蛋白浓度的值记为m,该帧图像中多个光学参数的和值记为n,计算m/n的值;并根据每一帧图像中m/n的值以及每一帧图像在第一待处理视频中的时间来生成目标对象的心率信号。
d、呼吸频率确定设备基于目标对象的心率信号,确定目标对象的备选呼吸频率;
在本申请实施例中,呼吸频率确定设备对心率信号进行分析,并确定心率信号中每一峰值对应的时间t,计算相邻两个时间t对应的差值,以及相邻两个时间t的均值,基于相邻两个时间t对应的差值和相邻两个时间t的均值生成第一待分析信号,对第一待分析信号进行插值处理,得到待处理插值信号,以使得待处理插值信号中任意相邻两个信号点的时间间隔相同,对待处理插值信号进行频域分析,生成第二待分析信号,基于目标呼吸频率,从第二待分析信号中,确定目标对象的备选呼吸频率。
在一种可行的实现方式中,心率信号中任意两个相邻峰值所对应的时间记为t1和t2,确定t1和t2的均值以及t1和t2的差值(时间间隔),基于心率信号中多个相邻峰值确定的均值和差值生成均值和插值的对应关系,并基于均值和插值的对应关系,生成第一待分析信号,对第一待分析信号进行插值处理,得到待处理插值信号,对待处理插值信号进行傅里叶变换,得到第二待分析信号,从第二待分析信号中寻找信号频谱在(0.15-0.7)HZ的最高峰,并将最高峰对应的频率作为目标对象的备选呼吸频率。
e、呼吸频率确定设备基于备选呼吸频率对第二呼吸频率进行修正处理,得到第一呼吸频率。
在本申请实施例中,呼吸频率确定设备可以对备选呼吸频率和第二呼吸频率进行计算,确定备选呼吸频率和第二呼吸频率的平均值,并将该平均值作为第一呼吸频率。如此,通过备选呼吸频率对第二呼吸频率进行修正处理,提高了确定的第一呼吸频率的精确度。
基于前述实施例,本申请实施例提供一种呼吸频率确定方法,该方法还包括以下步骤:
S210、呼吸频率确定设备将目标对象的第一呼吸频率和第三呼吸频率进行匹配。
其中,第三呼吸频率为呼吸异常时人的呼吸频率。
在本申请实施例中,在第一呼吸频率和第二呼吸频率不匹配的情况下,则确定目标对象的第一呼吸频率正常,显示第一呼吸频率至呼吸频率确定设备的显示界面。
S211、在第一目标呼吸频率和第二呼吸频率匹配的情况下,呼吸频率确定设备确定第一呼吸频率异常。
在本申请实施例中,当呼吸频率确定设备确定第一呼吸频率异常时,显示第一呼吸频率至呼吸频率确定设备的显示界面,并发出警示声音,以警示用户及时就医。
本申请实施例所提供的呼吸频率确定方法,基于目标人脸的不易受外界因素影响的目标关键点的参数和第一待处理视频的图像在第一待处理视频中的时间,确定目标对象的第一呼吸频率,提高了确定呼吸频率的准确率。
基于前述实施例,本申请实施例提供一种呼吸频率确定装置,该装置可以应用于图1和图2对应的实施例提供的呼吸频率确定方法中,参照图3所示,该呼吸频率确定装置3包括:
获取单元31,用于获取针对目标对象的第一待处理视频;其中,目标对象包括具有目标人脸的对象;
处理单元32,用于对第一待处理视频进行处理,确定第一待处理视频的图像的目标人脸中满足目标条件的目标关键点的参数;
处理单元32,还用于对多个待处理信号进行处理,确定目标对象的第一呼吸频率。
在本申请实施例中,参考图3,获取单元31还用于执行以下步骤:
对第二待处理视频进行运动放大处理,得到第三待处理视频;
基于第一时间间隔对第三待处理视频进行分割处理,确定第一待处理视频。
在本申请实施例中,参考图3,处理单元32还用于执行以下步骤:
对第一待处理视频的图像进行识别处理,得到图像中的目标人脸;
基于目标条件对图像中的目标人脸进行关键点检测,得到目标关键点的参数。
在本申请实施例中,参考图3,处理单元32还用于执行以下步骤:
基于第一待处理视频的图像的目标人脸中满足目标条件的目标关键点的参数,确定针对图像的参考值;
基于参考值和时间,生成第一待处理视频对应的第一信号和第二信号;
基于第一信号、第二信号和第二时间间隔,确定待处理信号。
在本申请实施例中,参考图3,处理单元32还用于执行以下步骤:
基于时间和第二时间间隔,分别对第一信号和第二信号进行插值处理,得到第一路插值信号和第二路插值信号;
对第一路插值信号进行归一化处理得到第一路归一化信号,并对第二路插值信号进行归一化处理得到第二路归一化信号;
对第一路归一化信号进行滑动平均滤波处理得到第一路待处理信号;
对第二路归一化信号进行滑动平均滤波处理得到第二路待处理信号;其中,待处理信号包括第一路待处理信号和第二路待处理信号。
在本申请实施例中,参考图3,处理单元32还用于执行以下步骤:
基于待处理信号和目标呼吸频率,确定多个待选呼吸频率;
对多个待选呼吸频率进行筛选,确定目标对象的第一呼吸频率。
在本申请实施例中,参考图3,处理单元32还用于执行以下步骤:
基于目标频段,分别对第一路待处理信号和第二路待处理信号进行分解处理,得到多个第一频段信号和多个第二频段信号;其中,每一第一频段信号对应的频段不同;每一第二频段信号对应的频段不同;
确定第一频段信号的信噪比和第二频段信号的信噪比;
基于目标呼吸频率、目标信噪比和第一频段信号的信噪比,对第一频段信号进行处理得到第一滤除信号;
基于目标呼吸频率、目标信噪比和第二频段信号的信噪比,对第二频段信号进行处理得到第二滤除信号;
基于第一滤除信号和第二滤除信号,得到多个待选呼吸频率。
在本申请实施例中,参考图3,处理单元32还用于执行以下步骤:
基于目标离群值对多个待选呼吸频率进行处理,得到待处理呼吸频率;
基于待处理呼吸频率,确定第一呼吸频率。
在本申请实施例中,参考图3,处理单元32还用于执行以下步骤:
对待处理呼吸频率进行处理,确定第二呼吸频率;
基于第一待处理视频的图像中目标人脸的关键点的参数,确定图像中血红蛋白对应的光学参数;
基于血红蛋白对应的光学参数,确定目标对象的心率信号;
基于目标对象的心率信号,确定目标对象的备选呼吸频率;
基于备选呼吸频率对第二呼吸频率进行修正处理,得到第一呼吸频率。
需要说明的是,本申请实施例中各单元之间的交互过程,可以参照图1和图2对应的实施例提供的呼吸频率确定方法的实现过程,此处不再赘述。
本申请实施例所提供的呼吸频率确定装置,基于目标人脸的不易受外界因素影响的目标关键点的参数和第一待处理视频的图像在第一待处理视频中的时间,确定目标对象的第一呼吸频率,提高了确定呼吸频率的准确率。
基于前述实施例,本申请的实施例提供一种呼吸频率确定设备,该呼吸频率确定设备可以应用于图1和图2对应的实施例提供的呼吸频率确定方法中,参照图4所示,该呼吸频率确定设备包括:存储器41、处理器42和通信总线43;
通信总线43用于实现处理器42和存储器41之间的通信连接;
处理器42用于执行存储器41中存储的呼吸频率确定程序,以实现以下步骤:
获取针对目标对象的第一待处理视频;其中,目标对象包括具有目标人脸的对象;
对第一待处理视频进行处理,确定第一待处理视频的图像的目标人脸中满足目标条件的目标关键点的参数;
基于目标关键点的参数和第一待处理视频的图像在第一待处理视频中的时间,生成第一待处理视频对应的待处理信号;
对待处理信号进行处理,确定目标对象的第一呼吸频率。
在本申请的其他实施例中,处理器42,用于执行存储器41中存储的可执行指令,以实现以下步骤:
对第二待处理视频进行运动放大处理,得到第三待处理视频;
基于第一时间间隔对第三待处理视频进行分割处理,确定第一待处理视频。
在本申请的其他实施例中,处理器42,用于执行存储器41中存储的可执行指令,以实现以下步骤:
对第一待处理视频的图像进行识别处理,得到图像中的目标人脸;
基于目标条件对图像中的目标人脸进行关键点检测,得到目标关键点的参数。
在本申请的其他实施例中,处理器42,用于执行存储器41中存储的可执行指令,以实现以下步骤:
基于第一待处理视频的图像的目标人脸中满足目标条件的目标关键点的参数,确定针对图像的参考值;
基于参考值和时间,生成第一待处理视频对应的第一信号和第二信号;
基于第一信号、第二信号和第二时间间隔,确定待处理信号。
在本申请的其他实施例中,处理器42,用于执行存储器41中存储的可执行指令,以实现以下步骤:
基于时间和第二时间间隔,分别对第一信号和第二信号进行插值处理,得到第一路插值信号和第二路插值信号;
对第一路插值信号进行归一化处理得到第一路归一化信号,并对第二路插值信号进行归一化处理得到第二路归一化信号;
对第一路归一化信号进行滑动平均滤波处理得到第一路待处理信号;
对第二路归一化信号进行滑动平均滤波处理得到第二路待处理信号;其中,待处理信号包括第一路待处理信号和第二路待处理信号。
在本申请的其他实施例中,处理器42,用于执行存储器41中存储的可执行指令,以实现以下步骤:
基于待处理信号和目标呼吸频率,确定多个待选呼吸频率;
对多个待选呼吸频率进行筛选,确定目标对象的第一呼吸频率。
在本申请的其他实施例中,处理器42,用于执行存储器41中存储的可执行指令,以实现以下步骤:
基于目标频段,分别对第一路待处理信号和第二路待处理信号进行分解处理,得到多个第一频段信号和多个第二频段信号;其中,每一第一频段信号对应的频段不同;每一第二频段信号对应的频段不同;
确定第一频段信号的信噪比和第二频段信号的信噪比;
基于目标呼吸频率、目标信噪比和第一频段信号的信噪比,对第一频段信号进行处理得到第一滤除信号;
基于目标呼吸频率、目标信噪比和第二频段信号的信噪比,对第二频段信号进行处理得到第二滤除信号;
基于第一滤除信号和第二滤除信号,得到多个待选呼吸频率。
在本申请的其他实施例中,处理器42,用于执行存储器41中存储的可执行指令,以实现以下步骤:
基于目标离群值对多个待选呼吸频率进行处理,得到待处理呼吸频率;
基于待处理呼吸频率,确定第一呼吸频率。
在本申请的其他实施例中,处理器42,用于执行存储器41中存储的可执行指令,以实现以下步骤:
对待处理呼吸频率进行处理,确定第二呼吸频率;
基于第一待处理视频的图像中目标人脸的关键点的参数,确定图像中血红蛋白对应的光学参数;
基于血红蛋白对应的光学参数,确定目标对象的心率信号;
基于目标对象的心率信号,确定目标对象的备选呼吸频率;
基于备选呼吸频率对第二呼吸频率进行修正处理,得到第一呼吸频率。
需要说明的是,本申请实施例中处理器42所执行的步骤的具体实现过程,可以参照图1和图2对应的实施例提供的呼吸频率确定方法中的实现过程,此处不再赘述。
本申请实施例所提供的呼吸频率确定设备,基于目标人脸的不易受外界因素影响的目标关键点的参数和第一待处理视频的图像在第一待处理视频中的时间,确定目标对象的第一呼吸频率,提高了确定呼吸频率的准确率。
基于前述实施例,本申请实施例提供一种计算机可读存储介质,该计算机可读存储介质存储有一个或者多个程序,该一个或者多个程序可被一个或者多个处理器执行,以实现图1和图2对应的实施例提供的呼吸频率确定方法中的步骤。
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
需要说明的是,上述计算机可读存储介质可以是只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory,FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory,CD-ROM)等存储器;也可以是包括上述存储器之一或任意组合的各种电子设备,如移动电话、计算机、平板设备、个人数字助理等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所描述的方法。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (9)

1.一种呼吸频率确定方法,所述方法包括:
获取针对目标对象的第一待处理视频;其中,所述目标对象包括具有目标人脸的对象;
对所述第一待处理视频进行处理,确定所述第一待处理视频的图像的目标人脸中满足目标条件的目标关键点的参数;其中,所述目标关键点的参数表征所述目标关键点的坐标;
基于所述目标关键点的参数和所述第一待处理视频的图像在所述第一待处理视频中的时间,生成所述第一待处理视频对应的待处理信号;
其中,所述基于所述目标关键点的参数和所述第一待处理视频的图像在所述第一待处理视频中的时间,生成所述第一待处理视频对应的待处理信号,包括:
基于所述第一待处理视频的图像的目标人脸中满足目标条件的目标关键点的参数,确定针对所述图像的参考值;
基于所述参考值和所述时间,生成所述第一待处理视频对应的第一信号和第二信号;其中,所述第一信号表征所述目标对象呼吸时头部在二维直角坐标系的X轴方向运动的信号,所述第二信号表征所述目标对象呼吸时头部在二维直角坐标系的Y轴方向的运动信号;
基于所述第一信号、所述第二信号和第二时间间隔,确定所述待处理信号;
对所述待处理信号进行处理,确定所述目标对象的第一呼吸频率。
2.根据权利要求1所述的方法,其特征在于,所述获取针对目标对象的第一待处理视频,包括:
对第二待处理视频进行运动放大处理,得到第三待处理视频;
基于第一时间间隔对所述第三待处理视频进行分割处理,确定所述第一待处理视频。
3.根据权利要求2所述的方法,其特征在于,所述对所述第一待处理视频进行处理,确定所述第一待处理视频的图像的目标人脸中满足目标条件的目标关键点的参数,包括:
对所述第一待处理视频的图像进行识别处理,得到所述图像中的目标人脸;
基于所述目标条件对所述图像中的目标人脸进行关键点检测,得到所述目标关键点的参数。
4.根据权利要求1所述的方法,其特征在于,所述基于所述第一信号、所述第二信号和所述第二时间间隔,确定所述待处理信号,包括:
基于所述时间和第二时间间隔,分别对所述第一信号和所述第二信号进行插值处理,得到第一路插值信号和第二路插值信号;
对所述第一路插值信号进行归一化处理得到第一路归一化信号,并对所述第二路插值信号进行归一化处理得到第二路归一化信号;
对所述第一路归一化信号进行滑动平均滤波处理得到第一路待处理信号;
对所述第二路归一化信号进行滑动平均滤波处理得到第二路待处理信号;其中,所述待处理信号包括所述第一路待处理信号和所述第二路待处理信号。
5.根据权利要求4所述的方法,其特征在于,所述对所述待处理信号进行处理,确定所述目标对象的第一呼吸频率,包括:
基于所述待处理信号和目标呼吸频率,确定多个待选呼吸频率;
对所述多个待选呼吸频率进行筛选,确定所述目标对象的第一呼吸频率。
6.根据权利要求5所述的方法,其特征在于,所述基于所述待处理信号和目标呼吸频率,确定多个待选呼吸频率,包括:
基于目标频段,分别对所述第一路待处理信号和所述第二路待处理信号进行分解处理,得到多个第一频段信号和多个第二频段信号;其中,每一所述第一频段信号对应的频段不同;每一所述第二频段信号对应的频段不同;
确定所述第一频段信号的信噪比和所述第二频段信号的信噪比;
基于所述目标呼吸频率、目标信噪比和所述第一频段信号的信噪比,对所述第一频段信号进行处理得到第一滤除信号;
基于所述目标呼吸频率、所述目标信噪比和所述第二频段信号的信噪比,对所述第二频段信号进行处理得到第二滤除信号;
基于所述第一滤除信号和所述第二滤除信号,得到所述多个待选呼吸频率。
7.根据权利要求5所述的方法,其特征在于,所述对所述多个待选呼吸频率进行筛选,确定所述目标对象的第一呼吸频率,包括:
基于目标离群值对所述多个待选呼吸频率进行处理,得到待处理呼吸频率;
基于所述待处理呼吸频率,确定所述第一呼吸频率。
8.根据权利要求7所述的方法,其特征在于,所述基于所述待处理呼吸频率,确定所述第一呼吸频率,包括:
对所述待处理呼吸频率进行处理,确定第二呼吸频率;
基于所述第一待处理视频的图像中所述目标人脸的关键点的参数,确定所述图像中血红蛋白对应的光学参数;
基于所述血红蛋白对应的光学参数,确定所述目标对象的心率信号;
基于所述目标对象的心率信号,确定所述目标对象的备选呼吸频率;
基于所述备选呼吸频率对所述第二呼吸频率进行修正处理,得到所述第一呼吸频率。
9.一种呼吸频率确定装置,其特征在于,所述装置包括:
获取单元,用于获取针对目标对象的第一待处理视频;其中,所述目标对象包括具有目标人脸的对象;
处理单元,用于对所述第一待处理视频进行处理,确定所述第一待处理视频的图像的目标人脸中满足目标条件的目标关键点的参数;其中,所述目标关键点的参数表征所述目标关键点的坐标;
生成单元,用于基于所述目标关键点的参数和所述第一待处理视频的图像在所述第一待处理视频中的时间,生成所述第一待处理视频对应的待处理信号;
所述生成单元,还用于基于所述第一待处理视频的图像的目标人脸中满足目标条件的目标关键点的参数,确定针对所述图像的参考值;基于所述参考值和所述时间,生成所述第一待处理视频对应的第一信号和第二信号;其中,其中,所述第一信号表征所述目标对象呼吸时头部在二维直角坐标系的X轴方向运动的信号,所述第二信号表征所述目标对象呼吸时头部在二维直角坐标系的Y轴方向的运动信号;基于所述第一信号、所述第二信号和第二时间间隔,确定所述待处理信号;
所述处理单元,还用于对多个所述待处理信号进行处理,确定所述目标对象的第一呼吸频率。
CN202110343408.9A 2021-03-30 2021-03-30 一种呼吸频率确定方法及装置 Active CN113100748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110343408.9A CN113100748B (zh) 2021-03-30 2021-03-30 一种呼吸频率确定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110343408.9A CN113100748B (zh) 2021-03-30 2021-03-30 一种呼吸频率确定方法及装置

Publications (2)

Publication Number Publication Date
CN113100748A CN113100748A (zh) 2021-07-13
CN113100748B true CN113100748B (zh) 2022-11-22

Family

ID=76712863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110343408.9A Active CN113100748B (zh) 2021-03-30 2021-03-30 一种呼吸频率确定方法及装置

Country Status (1)

Country Link
CN (1) CN113100748B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887474B (zh) * 2021-10-15 2022-09-23 深圳市商汤科技有限公司 呼吸率检测方法及装置、电子设备和存储介质
CN115116146A (zh) * 2022-06-02 2022-09-27 支付宝(杭州)信息技术有限公司 活体检测方法、装置、设备及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102309318A (zh) * 2011-07-08 2012-01-11 首都医科大学 基于红外序列图像的人体生理参数检测的方法
EP2963617A1 (en) * 2014-07-04 2016-01-06 Arc Devices (NI) Limited Non-touch optical detection of vital signs
US9990555B2 (en) * 2015-04-30 2018-06-05 Beijing Kuangshi Technology Co., Ltd. Video detection method, video detection system and computer program product
US11154203B2 (en) * 2015-06-14 2021-10-26 Facense Ltd. Detecting fever from images and temperatures
CN107280673B (zh) * 2017-06-02 2019-11-15 南京理工大学 一种基于关键帧提取技术的红外成像呼吸信号检测方法
CN111685730B (zh) * 2020-05-13 2022-10-11 深圳市科思创动科技有限公司 非接触式生理参数检测方法、系统、终端设备及存储介质

Also Published As

Publication number Publication date
CN113100748A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN110660066B (zh) 网络的训练方法、图像处理方法、网络、终端设备及介质
CN113100748B (zh) 一种呼吸频率确定方法及装置
JP5672144B2 (ja) 心拍数・呼吸数検出装置,方法およびプログラム
US10810438B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
EP1725975B1 (en) Method, apparatus and program for detecting an object
JP6957929B2 (ja) 脈波検出装置、脈波検出方法、及びプログラム
US20170086779A1 (en) Eating and drinking action detection apparatus and eating and drinking action detection method
US10255673B2 (en) Apparatus and method for detecting object in image, and apparatus and method for computer-aided diagnosis
EP2544147A1 (en) Biological information management device and method
EP3065072A1 (en) Apparatus and method for providing reliability for computer aided diagnosis
JP2010237872A (ja) 人物領域検出装置、人物領域検出方法、及び人物領域検出プログラム
CN110211021B (zh) 图像处理装置、图像处理方法和存储介质
US20220277498A1 (en) Processing apparatus, system, biometric authentication system, processing method, and computer readable medium
JP2004265267A (ja) 顔認証方法、および顔認証装置。
KR20190008071A (ko) 피부 상태 탐지 방법 및 전자 디바이스
CN111860196A (zh) 手部作业动作评分装置、方法及计算机可读存储介质
CN112750099A (zh) 卵泡测量方法、超声设备以及计算机可读存储介质
US11129539B2 (en) Pulse measuring device and control method thereof
KR102485436B1 (ko) 센서를 이용한 호흡수 추정을 위한 방법 및 장치
JP2016170603A (ja) 移動物体追跡装置
CN108205652B (zh) 一种吃饭动作的识别方法和装置
KR102381204B1 (ko) 열화상을 이용한 호흡 모니터링 장치 및 방법
US10977482B2 (en) Object attribution analyzing method and related object attribution analyzing device
CN113642546A (zh) 一种多人脸跟踪方法及系统
JP2018151685A (ja) 動き量算出プログラム、動き量算出方法、動き量算出装置及び業務支援システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant