CN112788200B - 频谱信息的确定方法及装置、存储介质、电子装置 - Google Patents
频谱信息的确定方法及装置、存储介质、电子装置 Download PDFInfo
- Publication number
- CN112788200B CN112788200B CN202011403729.5A CN202011403729A CN112788200B CN 112788200 B CN112788200 B CN 112788200B CN 202011403729 A CN202011403729 A CN 202011403729A CN 112788200 B CN112788200 B CN 112788200B
- Authority
- CN
- China
- Prior art keywords
- video frame
- target
- super
- source signals
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
Abstract
本发明提供了一种频谱信息的确定方法及装置、存储介质、电子装置,其中,上述方法包括:将目标视频帧输入到目标卷积神经网络模型中,以得到目标视频帧的超分辨率视频帧,其中,目标卷积神经网络模型为使用多组数据通过机器学习训练出的,多组数据中的每组数据均包括:视频帧,以及视频帧对应的超分辨率视频帧;获取目标视频帧对应的超分辨率视频帧中色彩变换信息对应的多个源信号;从多个源信号中选取目标时间段内的部分源信号进行傅里叶变换处理,以确定目标视频帧对应的频谱信息,其中,目标时间段内的部分源信号呈连续状态,采用上述技术方案,解决了相关技术中,由于目标视频帧存在较多的干扰,导致检测的准确率低等问题。
Description
技术领域
本发明涉及通信领域,具体而言,涉及一种频谱信息的确定方法及装置、存储介质、电子装置。
背景技术
随着社会的急速发展,人们对自身身体健康状况的关注也更加密切,因此对日常人体健康监控产品的需求日益增长。此外,由于近些年人们的作息规律、饮食习惯不断改变,导致心血管疾病患者的数量急剧增加,患者年龄也逐渐趋于年轻化。在诊治心血管等多种疾病时,心率是最重要和最基本的生理指标之一,并且在一定程度上能够反映出人的健康状况、压力水平和情绪波动。故而在物联网、大数据以及机器学习和深度学习等技术的驱动下,市场上出现了各种各样日常检测心率的设备。
目前大多数的基于光电容积描记的方法,但相关技术中存在以下不足:1)由于采集到的视频信号受外界干扰较大,采集到的视频分辨率低难以准确描记光电容积额变化等问题;2)多数在处理采集到的信号时采用统计特定时域内的波峰个数和使用傅里叶变换进行频谱分析。但是统计特定时域内波峰个数,更容易受到噪声的影响使得结果不准确,同时进行傅里叶变换进行频谱分析,由于傅里叶变换本身的非局部性,也会造成结果的不准确。
针对相关技术中,由于目标视频帧存在较多的干扰,导致检测的准确率低等问题,尚未提出有效的技术方案。
发明内容
本发明实施例提供了一种频谱信息的确定方法及装置、存储介质、电子装置,以至少解决相关技术中,由于目标视频帧存在较多的干扰,导致检测的准确率低等问题。
根据本发明的一个实施例,提供了一种频谱信息的确定方法,包括:将目标视频帧输入到目标卷积神经网络模型中,以得到所述目标视频帧的超分辨率视频帧,其中,所述目标卷积神经网络模型为使用多组数据通过机器学习训练出的,所述多组数据中的每组数据均包括:视频帧,以及所述视频帧对应的超分辨率视频帧;获取所述目标视频帧对应的超分辨率视频帧中色彩变换信息对应的多个源信号;从所述多个源信号中选取目标时间段内的部分源信号进行傅里叶变换处理,以确定所述目标视频帧对应的频谱信息,其中,所述目标时间段内的部分源信号呈连续状态。
可选地,将目标视频帧输入到目标卷积神经网络模型中,以得到所述目标视频帧的超分辨率视频帧,包括:通过所述目标卷积神经网络模型执行以下操作:对所述目标视频帧进行卷积,得到卷积结果;将所述卷积结果转化为浅层特征集合;对所述浅层特征集合进行非线性映射处理得到所述目标视频帧的非线性特征集合;对所述非线性特征集合进行卷积重建,以得到所述目标视频帧的超分辨率视频帧。
可选地,对所述非线性特征集合进行卷积重建,以得到所述目标视频帧的超分辨率视频帧,包括:获取预设卷积核;将所述目标视频帧与非线性特征集合输入所述预设卷积核,以构建出目标视频帧所对应的超分辨率视频帧。
可选地,将所述目标视频帧与非线性特征集合输入所述预设卷积核,构建出目标视频帧所对应的超分辨率视频帧之后,所述方法还包括:获取预设的超分辨率视频帧的目标转换格式,其中,所述目标转换格式包括:HSV格式;根据所述目标转换格式确定出所述超分辨率视频帧的目标格式视频帧,其中,目标格式视频帧用于将超分辨率视频帧中色彩的变化进行视觉信息化。
可选地,获取所述超分辨率视频帧中色彩变换信息对应的多个源信号,包括:对所述超分辨率视频帧进行色调信息的通道处理,以获取所述超分辨率视频帧中色彩变换信息的色调信息;对所述色调信息进行分析采样,得到所述多个源信号。
可选地,从所述多个源信号中选取目标时间段内的部分源信号进行傅里叶变换处理,以确定所述目标视频帧对应的频谱信息,包括:通过所述傅里叶变换处理将所述多个源信号的时域信息变换为频谱信息,其中,变换过程中的函数为:Wa,b(g)为变换后的频域信息对应的频谱信息,g(t)为源信号,a、b均为改变参数,h为预先定义的权重系数。
根据本发明的一个实施例,提供了一种频谱信息的确定装置,包括:处理模块,用于将目标视频帧输入到目标卷积神经网络模型中,以得到所述目标视频帧的超分辨率视频帧,其中,所述目标卷积神经网络模型为使用多组数据通过机器学习训练出的,所述多组数据中的每组数据均包括:视频帧,以及所述视频帧对应的超分辨率视频帧;获取模块,用于获取所述目标视频帧对应的超分辨率视频帧中色彩变换信息对应的多个源信号;确定模块,用于从所述多个源信号中选取目标时间段内的部分源信号进行傅里叶变换处理,以确定所述目标视频帧对应的频谱信息,其中,所述目标时间段内的部分源信号呈连续状态。
可选地,上述处理模块,还用于通过所述目标卷积神经网络模型执行以下操作:对所述目标视频帧进行卷积,得到卷积结果;将所述卷积结果转化为浅层特征集合;对所述浅层特征集合进行非线性映射处理得到所述目标视频帧的非线性特征集合;对所述非线性特征集合进行卷积重建,以得到所述目标视频帧的超分辨率视频帧。
可选地,上述处理模块,还用于获取预设卷积核;将所述目标视频帧与非线性特征集合输入所述预设卷积核,以构建出目标视频帧所对应的超分辨率视频帧。
可选地,上述装置还包括:转换模块,用于获取预设的超分辨率视频帧的目标转换格式,其中,所述目标转换格式包括:HSV格式;根据所述目标转换格式确定出所述超分辨率视频帧的目标格式视频帧,其中,目标格式视频帧用于将超分辨率视频帧中色彩的变化进行视觉信息化。
可选地,上述获取模块,还用于对所述超分辨率视频帧进行色调信息的通道处理,以获取所述超分辨率视频帧中色彩变换信息的色调信息;对所述色调信息进行分析采样,得到所述多个源信号。
可选地,上述确定模块,还用于通过所述傅里叶变换处理将所述多个源信号的时域信息变换为频谱信息,其中,变换过程中的函数为:Wa,b(g)为变换后的频域信息对应的频谱信息,g(t)为源信号,a、b均为改变参数,h为预先定义的权重系数。
根据本发明的另一个实施例,还提供了一种存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明,将目标视频帧输入到目标卷积神经网络模型中,以得到所述目标视频帧的超分辨率视频帧,其中,所述目标卷积神经网络模型为使用多组数据通过机器学习训练出的,所述多组数据中的每组数据均包括:视频帧,以及所述视频帧对应的超分辨率视频帧;获取所述目标视频帧对应的超分辨率视频帧中色彩变换信息对应的多个源信号;从所述多个源信号中选取目标时间段内的部分源信号进行傅里叶变换处理,以确定所述目标视频帧对应的频谱信息,其中,所述目标时间段内的部分源信号呈连续状态,即通过目标卷积神经网络模型可以快速的完成对目标视频帧的超分辨率视频帧的提取,并通过傅里叶变换处理从超分辨率视频帧中选取的部分源信号,采用上述技术方案,解决了相关技术中,由于目标视频帧存在较多的干扰,导致检测的准确率低等问题,通过目标卷积神经网络模型以及源信号傅里叶小波变换的方式,避免了目标视帧中的外部环境的干扰,更加精准的确定目标视频帧对应的频谱信息来推测心率变化。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例的一种频谱信息的确定方法的计算机终端的硬件结构框图;
图2是根据本发明实施例的频谱信息的确定方法的流程图;
图3是根据本发明可选实施例的心率检测系统的结构示意图;
图4是根据本发明可选实施例的超分辨率预处理模型的网络结构示意图;
图5是根据本发明实施例的频谱信息的确定装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本申请实施例所提供的方法实施例可以在计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例,图1是本发明实施例的一种频谱信息的确定方法的计算机终端的硬件结构框图。如图1所示,计算机终端10可以包括一个或多个(图中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的频谱信息的确定方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
本发明实施例提供了一种频谱信息的确定方法,应用于上述计算机终端中,图2是根据本发明实施例的频谱信息的确定方法的流程图,如图2所示,该流程包括如下步骤:
步骤S202,将目标视频帧输入到目标卷积神经网络模型中,以得到所述目标视频帧的超分辨率视频帧,其中,所述目标卷积神经网络模型为使用多组数据通过机器学习训练出的,所述多组数据中的每组数据均包括:视频帧,以及所述视频帧对应的超分辨率视频帧;
步骤S204,获取所述目标视频帧对应的超分辨率视频帧中色彩变换信息对应的多个源信号;
步骤S206,从所述多个源信号中选取目标时间段内的部分源信号进行傅里叶变换处理,以确定所述目标视频帧对应的频谱信息,其中,所述目标时间段内的部分源信号呈连续状态。
通过上述步骤,将目标视频帧输入到目标卷积神经网络模型中,以得到所述目标视频帧的超分辨率视频帧,其中,所述目标卷积神经网络模型为使用多组数据通过机器学习训练出的,所述多组数据中的每组数据均包括:视频帧,以及所述视频帧对应的超分辨率视频帧;获取所述目标视频帧对应的超分辨率视频帧中色彩变换信息对应的多个源信号;从所述多个源信号中选取目标时间段内的部分源信号进行傅里叶变换处理,以确定所述目标视频帧对应的频谱信息,其中,所述目标时间段内的部分源信号呈连续状态,即通过目标卷积神经网络模型可以快速的完成对目标视频帧的超分辨率视频帧的提取,并通过傅里叶变换处理从超分辨率视频帧中选取的部分源信号,采用上述技术方案,解决了相关技术中,由于目标视频帧存在较多的干扰,导致检测的准确率低等问题,通过目标卷积神经网络模型以及源信号傅里叶小波变换的方式,避免了目标视帧中的外部环境的干扰,更加精准的确定目标视频帧对应的频谱信息来推测心率变化。
需要说明的是,上述目标视频帧为目标对象任意一部位的采集的视频帧的待测试视频帧,是根据实际情况确定的,可能同一目标对象需要根据多个目标视频帧来确定心率变化的频谱信息,来实现更加精细的数据处理,本发明实施例对此不做过多限定。
步骤S202中的对于结构化数据的处理有多种实现方式,可选地,通过所述目标卷积神经网络模型执行以下操作:对所述目标视频帧进行卷积,得到卷积结果;将所述卷积结果转化为浅层特征集合;对所述浅层特征集合进行非线性映射处理得到所述目标视频帧的非线性特征集合;对所述非线性特征集合进行卷积重建,以得到所述目标视频帧的超分辨率视频帧。
可选地,对所述非线性特征集合进行卷积重建,以得到所述目标视频帧的超分辨率视频帧,包括:获取预设卷积核;将所述目标视频帧与非线性特征集合输入所述预设卷积核,以构建出目标视频帧所对应的超分辨率视频帧。
例如,当采集的目标视频帧为目标对象的指尖视频信息可能会存在分辨率较低难以测量血管血容量的变化等问题,因此,需要进行超分辨率预处理,可选的,可使用三层卷积目标卷积神经网络模型,使用大小为f1*f1的卷积核提取视频帧的浅层特征集合,将提取到的浅层特征集合输入给非线性映射层得到目标视频帧的非线性特征集合,最后使用大小为f3*f3的卷积核进行目标视频帧重建,得到目标视频帧的超分辨率视频帧。
可选地,将所述目标视频帧与非线性特征集合输入所述预设卷积核,构建出目标视频帧所对应的超分辨率视频帧之后,所述方法还包括:获取预设的超分辨率视频帧的目标转换格式,其中,所述目标转换格式包括:HSV格式;根据所述目标转换格式确定出所述超分辨率视频帧的目标格式视频帧,其中,目标格式视频帧用于将超分辨率视频帧中色彩的变化进行视觉信息化。
也就是说,为了保证最终获得超分辨率视频帧便于进行傅里叶变换处理,需要获取预设的超分辨率视频帧的目标转换格式,将超分辨率视频帧转换为可以清晰显示超分辨率视频帧中色彩的变化的目标视频帧,使得超分辨率视频帧更加视觉信息化,便于进行观察。
可选地,获取所述超分辨率视频帧中色彩变换信息对应的多个源信号,包括:对所述超分辨率视频帧进行色调信息的通道处理,以获取所述超分辨率视频帧中色彩变换信息的色调信息;对所述色调信息进行分析采样,得到所述多个源信号。
由于超分辨率视频帧的视频帧边缘更容易受到感光元件的干扰和外界环境的影响,因此,可以截取转换完成的目标视频帧中的关于色调信息的目标视频帧信息,来缓解外界环境带来的干扰,同时由于截取目标视频帧信息的色调信息的部分信息,使得计算量将会大大减少,计算速度得到大幅度提升,进一步的对色调信息进行分析采样,得到多个源信号。
可选地,从所述多个源信号中选取目标时间段内的部分源信号进行傅里叶变换处理,以确定所述目标视频帧对应的频谱信息,包括:通过所述傅里叶变换处理将所述多个源信号的时域信息变换为频谱信息,其中,变换过程中的函数为:Wa,b(g)为变换后的频域信息对应的频谱信息,g(t)为源信号,a、b均为改变参数,h为预先定义的权重系数。
传统的傅里叶变换是先天非局部性的,对局部性的信号处理非常的不友好。即在提取频谱信号,就要用到所有时间内的源信号,不能反映出源信号随时间的变化,可选的,在本发明实施例中使用改进的傅里叶变换即小波变换,转换函数为进一步的,预先定义的权重系数h通过以下公式确定:t为目标时间段,σ为尺度参数,a、b均为改变参数,ω为频率参数,从而通过确定在一定范围内的源信号的特定函数逼近一个信号,且特征函数是一个小波函数通过不同尺度的伸缩和平移构成。通过该改变参数a的大小,以改变窗口的大小,以满足不同信号的需求。
为了更好的理解上述频谱信息的确定流程,以下结合可选实施例进行说明,但不用于限定本发明实施例的技术方案。
目前检测心率信号的方法可以分为带有电极的心电图法(Electrocardiogram,简称ECG)和光电容积脉搏波描记法(photoplethysmographic,简称PPG)。其中ECG是最传统也是最精确的心率检测方法,但是其需要受试者佩戴电极,给受试者带来不适。而PPG是一种测量血管血容量变化的技术,它利用光强的变化来测量血液容积脉搏波(Blood VolumePulse,简称BVP),但这种方法需要被测者佩戴一个指架式的仪器,故无法满足人们对检测设备的便捷性需求。因此,诞生了基于图像光电容积(imaging photoplethysmography,简称iPPG)描记生理参数检测技术,由于其便捷性、舒适性、成本低且易于操作等特点,成为了目前研究的热点问题。但是目前大多数基于iPPG方法,如利用采集面部血管的血液容积变化分析受试者心率的方法,但是这类方法存在面部位置难以检测、噪声较大以及受环境光照干扰较大等问题,从而导致检测的准确率较低。
本发明可选实施例提出了一种基于超分辨率预处理的改进型傅里叶心率检测新方法,通过加入超分辨率原训练模型和使用改进的傅里叶变换方法,以提高检测的准确性,进而解决了目前大多数的基于光电容积描记的方法,由于采集到的视频信号受外界干扰较大,采集到的视频分辨率低难以准确描记光电容积额变化等问题,同时也解决了多数在处理采集到的信号时采用统计特定时域内的波峰个数和使用傅里叶变换进行频谱分析。但是统计特定时域内波峰个数,更容易受到噪声的影响使得结果不准确,同时进行傅里叶变换进行频谱分析,由于傅里叶变换本身的非局部性,也会造成结果的不准确等问题。
可选的,基于超分辨率预处理的改进型傅里叶心率检测方法在实际应用时,其心率检测系统结构示意图如图3所示,包含采集指尖视频信息模块30、超分辨率预处理模块32、色彩空间转换及帧采样模块34、改进型傅里叶计算模块36、显示模块38,继而通过采集受试者的指尖视频,随后利用视频超分辨技术提高视频的分辨率并缓解由光照不均匀所带来的干扰,然后对得到指尖视频进行逐帧采样并得到含有脉搏波动的源信号,最后通过改进型的傅里叶变换方法对源信号进行分析从而得到受试者的脉搏波动频率。
需要说明的是,为了解决受试者受检部位难以确定等问题,本发明可选实施例中选择采集受试者的指尖视频信息,即调用设备的摄像头获取受试者指尖视频信息,在获取受试者指尖视频信息时,受试者需要将手指放置于设备摄像头处,此外对照相机的配置进行关键的打开闪光灯常亮和设置其对焦和白平衡等参数的锁定,以保证在检测光电容积变化过程中,不会出现因为摄像设备自动调整参数带来的特征值不稳定等问题,进一步的,采集到的视频帧集合可以定义为:其中Ilr为采集到的未经任何处理的指尖视频帧集合,这里称之为低分辨率视频帧集合。为第n幅低分辨率视频帧。
可选的,本发明可选实施例的超分辨率预处理模型的卷积神经网络构建包含以下步骤:
由于采集到的指尖视频信息,可能会存在分辨率较低难以测量血管血容量的变化等问题。因此需要超分辨率预处理来提高采集到的视频的分辨率,并且缓解视频中存在的噪声等问题。鉴于问题的复杂性,可选择三层的卷积神经网络构建超分辨率预处理模型,即通过多层卷积神经网络结构学习低分辨率视频帧与高分辨视频帧之间的非线性映射。其网络结构如图4所示,具体实现步骤如下:
步骤S1,利用卷积层中的神经元只与输入数据的局部区域有关系等特性,使用大小为f1*f1的卷积核提取视频帧的浅层特征,卷积公式如下:
Ffeature=H1(conv(f1,n1),Ilr),其中,H1(conv(f1,n1),Ilr)代表卷积层第一层的特征提取函数,conv(f1,n1)为n1个大小为f1*f1的卷积核,Ffeature和Ilr分别表示提取的低分辨率的视频帧的特征集合和输入的低分辨率视频帧。
步骤S2,将提取到的浅层特征输入给非线性映射层,在非线性映射层使用大小为f2*f2的卷积核学习低分辨率与高分辨率帧之间的非线性映射关系,卷积公式如下:Fmapping=H2(conv(f2,n2),Ffeature),其中,H2(conv(f2,n2),Ffeature)代表非线性映射函数,conv(f2,n2)为n2个大小为f2*f2的卷积核,Fmapping和Ffeature分别表示经过非线性映射处理后的特征集合和输入的低分辨率视频帧。
步骤S3,使用大小为f3*f3的卷积核进行重建高分辨率视频帧。其整个超分辨率预处理过程如下式:其中,H3(conv(f3,n3),Fmapping)代表重建层的重建函数,conv(f3,n3)为n3个大小为f3*f3的卷积核,Ihr和Ffeature分别表示重建后的高分辨视频帧集合和输入的非线性映射处理后的特征集合。
需要说明的是,通过超分辨率预处理模型的卷积神经网络的处理,重建后的视频帧具有更高的分辨率,使得检测血管血容量的变化更容易。并且由于处理问题的单一性,在每次检测新的PPG信号时,只需加载预训练好的超分辨率预处理模型即可,大大的提高了对视频帧的处理效率。
目前大多数基于PPG的远程心率检测方法,都是直接选择的RGB格式的视频帧作为信号采集对象。但是PPG技术主要是通过检测视频帧中色彩的变化来推算血管血容量变化的方法,而RGB(RGB Color mode,RGB色彩模式,简称RGB)通道并不能很好的反应图像的色彩变化信息。而相对于RGB通道而言HSV通道(Hue-Saturation-Value,别称HSV),参数分别为:色调(H)、饱和度(S)、明度(V),HSV通道能更直观的表达色彩的明暗、色调以及鲜艳程度,也更接近于人的视觉信息,HSV色彩空间是一种六角锥体模型。
可选的,由于H通道反映图像的色调信息,根据实际问题故可只取视频帧的H通道信息进行分析,并且由于采集手指视频信息时,视频帧边缘更容易受到感光元件的干扰和外界环境的影响,还可以截取HSV视频帧的H通道的中间信息。这样不仅可以缓解外界环境带来的干扰,同时由于截取的H通道的部分信息,故计算量将会大大减少,计算速度也会得到大幅度提升。
本发明可选实施例还提供了一种改进的傅里叶转换方式,在分析采样得到源信号时,一般有两种方法分别是在时域统计PPG信号中波峰的个数,另一种是将的得到的PPG信号转换至频域,分析其频域特点。但是在时域处理时,很容易受到采样方法以及外界环境的干扰,出现波峰个数的不准确。同时对于检测波峰个数的算法,也有着较高的要求。故目前多数处理方法是使用傅里叶变换,将时域信号转换至频域分析其特点。傅里叶变换被定义为:
则F(ω)是函数f(t)的傅里叶变换,记为F{f(t)},但是传统的傅里叶变换是先天非局部性的,对局部性的信号处理非常的不友好。即在提取频谱信号F(ω),就要用到所有时间内的源信号,不能反映出源信号随时间的变化。而在进行心率检测时需要某个时间间隔内的PPG信号频谱,即需要一个窗口期内的傅里叶变换,且这个窗口需要随时间的改变进行自适应的调整。
鉴于此使用改进的傅里叶变换即小波变换如下式,将源信号的时域信息变换至频域,进行分析:
其中,Wa,b(g)为变换后的频域信息对应的频谱信息,g(t)为源信号,a、b均为改变参数,h为预先定义的权重系数,可选的,h被定义为:
t为目标时间段,σ为尺度参数,a、b均为改变参数,ω为频率参数,从而通过确定在一定范围内的源信号的特定函数逼近一个信号,且特征函数是一个小波函数通过不同尺度的伸缩和平移构成。通过该改变参数a的大小,以改变窗口的大小,以满足不同信号的需求。
通过本发明可选实施例,首先使用摄像头采集手指信息,省去了追踪面部的过程,故计算性能将会大幅度提升,并且避免了采样位置误差的存在从而能使得精确度更高。同时加入了超分辨率预处理模型,以提高采集视频的分辨率,使得更容易的检测到血管血容量的变化,此外使用改进的傅里叶变换获取特定窗口内源信号的频谱信息,更加精确的推测受试者的心率变化,解决了相关技术中,由于目标视频帧存在较多的干扰,导致检测的准确率低等问题,通过目标卷积神经网络模型以及源信号傅里叶小波变换的方式,避免了目标视帧中的外部环境的干扰,更加精准的确定目标视频帧对应的频谱信息来推测心率变化。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
在本实施例中还提供了一种频谱信息的确定装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本发明实施例的频谱信息的确定装置的结构框图,如图5所示,该装置包括:
处理模块52,用于将目标视频帧输入到目标卷积神经网络模型中,以得到所述目标视频帧的超分辨率视频帧,其中,所述目标卷积神经网络模型为使用多组数据通过机器学习训练出的,所述多组数据中的每组数据均包括:视频帧,以及所述视频帧对应的超分辨率视频帧;
获取模块54,用于获取所述目标视频帧对应的超分辨率视频帧中色彩变换信息对应的多个源信号;
确定模块56,用于从所述多个源信号中选取目标时间段内的部分源信号进行傅里叶变换处理,以确定所述目标视频帧对应的频谱信息,其中,所述目标时间段内的部分源信号呈连续状态。
通过上述装置,将目标视频帧输入到目标卷积神经网络模型中,以得到所述目标视频帧的超分辨率视频帧,其中,所述目标卷积神经网络模型为使用多组数据通过机器学习训练出的,所述多组数据中的每组数据均包括:视频帧,以及所述视频帧对应的超分辨率视频帧;获取所述目标视频帧对应的超分辨率视频帧中色彩变换信息对应的多个源信号;从所述多个源信号中选取目标时间段内的部分源信号进行傅里叶变换处理,以确定所述目标视频帧对应的频谱信息,其中,所述目标时间段内的部分源信号呈连续状态,即通过目标卷积神经网络模型可以快速的完成对目标视频帧的超分辨率视频帧的提取,并通过傅里叶变换处理从超分辨率视频帧中选取的部分源信号,采用上述技术方案,解决了相关技术中,由于目标视频帧存在较多的干扰,导致检测的准确率低等问题,通过目标卷积神经网络模型以及源信号傅里叶小波变换的方式,避免了目标视帧中的外部环境的干扰,更加精准的确定目标视频帧对应的频谱信息来推测心率变化。
需要说明的是,上述目标视频帧为目标对象任意一部位的采集的视频帧的待测试视频帧,是根据实际情况确定的,可能同一目标对象需要根据多个目标视频帧来确定心率变化的频谱信息,来实现更加精细的数据处理,本发明实施例对此不做过多限定。
可选地,上述处理模块,还用于通过所述目标卷积神经网络模型执行以下操作:对所述目标视频帧进行卷积,得到卷积结果;将所述卷积结果转化为浅层特征集合;对所述浅层特征集合进行非线性映射处理得到所述目标视频帧的非线性特征集合;对所述非线性特征集合进行卷积重建,以得到所述目标视频帧的超分辨率视频帧。
可选地,上述处理模块,还用于获取预设卷积核;将所述目标视频帧与非线性特征集合输入所述预设卷积核,以构建出目标视频帧所对应的超分辨率视频帧。
例如,当采集的目标视频帧为目标对象的指尖视频信息可能会存在分辨率较低难以测量血管血容量的变化等问题,因此,需要进行超分辨率预处理,可选的,可使用三层卷积目标卷积神经网络模型,使用大小为f1*f1的卷积核提取视频帧的浅层特征集合,将提取到的浅层特征集合输入给非线性映射层得到目标视频帧的非线性特征集合,最后使用大小为f3*f3的卷积核进行目标视频帧重建,得到目标视频帧的超分辨率视频帧。
可选地,上述装置还包括:转换模块,用于获取预设的超分辨率视频帧的目标转换格式,其中,所述目标转换格式包括:HSV格式;根据所述目标转换格式确定出所述超分辨率视频帧的目标格式视频帧,其中,目标格式视频帧用于将超分辨率视频帧中色彩的变化进行视觉信息化。
也就是说,为了保证最终获得超分辨率视频帧便于进行傅里叶变换处理,需要获取预设的超分辨率视频帧的目标转换格式,将超分辨率视频帧转换为可以清晰显示超分辨率视频帧中色彩的变化的目标视频帧,使得超分辨率视频帧更加视觉信息化,便于进行观察。
可选地,上述获取模块,还用于对所述超分辨率视频帧进行色调信息的通道处理,以获取所述超分辨率视频帧中色彩变换信息的色调信息;对所述色调信息进行分析采样,得到所述多个源信号。
由于超分辨率视频帧的视频帧边缘更容易受到感光元件的干扰和外界环境的影响,因此,可以截取转换完成的目标视频帧中的关于色调信息的目标视频帧信息,来缓解外界环境带来的干扰,同时由于截取目标视频帧信息的色调信息的部分信息,使得计算量将会大大减少,计算速度得到大幅度提升,进一步的对色调信息进行分析采样,得到多个源信号。
可选地,上述确定模块,还用于通过所述傅里叶变换处理将所述多个源信号的时域信息变换为频谱信息,其中,变换过程中的函数为:Wa,b(g)为变换后的频域信息对应的频谱信息,g(t)为源信号,a、b均为改变参数,h为预先定义的权重系数。
传统的傅里叶变换是先天非局部性的,对局部性的信号处理非常的不友好。即在提取频谱信号,就要用到所有时间内的源信号,不能反映出源信号随时间的变化,可选的,在本发明实施例中使用改进的傅里叶变换即小波变换,转换函数为进一步的,预先定义的权重系数h通过以下公式确定:t为目标时间段,σ为尺度参数,a、b均为改变参数,ω为频率参数,从而通过确定在一定范围内的源信号的特定函数逼近一个信号,且特征函数是一个小波函数通过不同尺度的伸缩和平移构成。通过该改变参数a的大小,以改变窗口的大小,以满足不同信号的需求。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1、将目标视频帧输入到目标卷积神经网络模型中,以得到所述目标视频帧的超分辨率视频帧,其中,所述目标卷积神经网络模型为使用多组数据通过机器学习训练出的,所述多组数据中的每组数据均包括:视频帧,以及所述视频帧对应的超分辨率视频帧;
S2、获取所述目标视频帧对应的超分辨率视频帧中色彩变换信息对应的多个源信号;
S3、从所述多个源信号中选取目标时间段内的部分源信号进行傅里叶变换处理,以确定所述目标视频帧对应的频谱信息,其中,所述目标时间段内的部分源信号呈连续状态。
本发明的实施例还提供了一种存储介质,该存储介质包括存储的程序,其中,上述程序运行时执行上述任一项的方法。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1、将目标视频帧输入到目标卷积神经网络模型中,以得到所述目标视频帧的超分辨率视频帧,其中,所述目标卷积神经网络模型为使用多组数据通过机器学习训练出的,所述多组数据中的每组数据均包括:视频帧,以及所述视频帧对应的超分辨率视频帧;
S2、获取所述目标视频帧对应的超分辨率视频帧中色彩变换信息对应的多个源信号;
S3、从所述多个源信号中选取目标时间段内的部分源信号进行傅里叶变换处理,以确定所述目标视频帧对应的频谱信息,其中,所述目标时间段内的部分源信号呈连续状态。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的源则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种频谱信息的确定方法,其特征在于,包括:
将目标视频帧输入到目标卷积神经网络模型中,以得到所述目标视频帧的超分辨率视频帧,其中,所述目标卷积神经网络模型为使用多组数据通过机器学习训练出的,所述多组数据中的每组数据均包括:视频帧,以及所述视频帧对应的超分辨率视频帧;
获取所述目标视频帧对应的超分辨率视频帧中色彩变换信息对应的多个源信号;
从所述多个源信号中选取目标时间段内的部分源信号进行傅里叶变换处理,以确定所述目标视频帧对应的频谱信息,其中,所述目标时间段内的部分源信号呈连续状态。
2.根据权利要求1所述的方法,其特征在于,将目标视频帧输入到目标卷积神经网络模型中,以得到所述目标视频帧的超分辨率视频帧,包括:
通过所述目标卷积神经网络模型执行以下操作:
对所述目标视频帧进行卷积,得到卷积结果;
将所述卷积结果转化为浅层特征集合;
对所述浅层特征集合进行非线性映射处理得到所述目标视频帧的非线性特征集合;
对所述非线性特征集合进行卷积重建,以得到所述目标视频帧的超分辨率视频帧。
3.根据权利要求2所述的方法,其特征在于,对所述非线性特征集合进行卷积重建,以得到所述目标视频帧的超分辨率视频帧,包括:
获取预设卷积核;
将所述目标视频帧与非线性特征集合输入所述预设卷积核,以构建出目标视频帧所对应的超分辨率视频帧。
4.根据权利要求3所述的方法,其特征在于,将所述目标视频帧与非线性特征集合输入所述预设卷积核,构建出目标视频帧所对应的超分辨率视频帧之后,所述方法还包括:
获取预设的超分辨率视频帧的目标转换格式,其中,所述目标转换格式包括:HSV格式;
根据所述目标转换格式确定出所述超分辨率视频帧的目标格式视频帧,其中,目标格式视频帧用于将超分辨率视频帧中色彩的变化进行视觉信息化。
5.根据权利要求1所述的方法,其特征在于,获取所述超分辨率视频帧中色彩变换信息对应的多个源信号,包括:
对所述超分辨率视频帧进行色调信息的通道处理,以获取所述超分辨率视频帧中色彩变换信息的色调信息;
对所述色调信息进行分析采样,得到所述多个源信号。
7.一种频谱信息的确定装置,其特征在于,包括:
处理模块,用于将目标视频帧输入到目标卷积神经网络模型中,以得到所述目标视频帧的超分辨率视频帧,其中,所述目标卷积神经网络模型为使用多组数据通过机器学习训练出的,所述多组数据中的每组数据均包括:视频帧,以及所述视频帧对应的超分辨率视频帧;
获取模块,用于获取所述目标视频帧对应的超分辨率视频帧中色彩变换信息对应的多个源信号;
确定模块,用于从所述多个源信号中选取目标时间段内的部分源信号进行傅里叶变换处理,以确定所述目标视频帧对应的频谱信息,其中,所述目标时间段内的部分源信号呈连续状态。
8.根据权利要求7所述的装置,其特征在于,所述处理模块还用于通过所述目标卷积神经网络模型执行以下操作:对所述目标视频帧进行卷积,得到卷积结果;将所述卷积结果转化为浅层特征集合;对所述浅层特征集合进行非线性映射处理得到所述目标视频帧的非线性特征集合;对所述非线性特征集合进行卷积重建,以得到所述目标视频帧的超分辨率视频帧。
9.一种计算机可读的存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011403729.5A CN112788200B (zh) | 2020-12-04 | 2020-12-04 | 频谱信息的确定方法及装置、存储介质、电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011403729.5A CN112788200B (zh) | 2020-12-04 | 2020-12-04 | 频谱信息的确定方法及装置、存储介质、电子装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112788200A CN112788200A (zh) | 2021-05-11 |
CN112788200B true CN112788200B (zh) | 2022-11-01 |
Family
ID=75750769
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011403729.5A Active CN112788200B (zh) | 2020-12-04 | 2020-12-04 | 频谱信息的确定方法及装置、存储介质、电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112788200B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116074566B (zh) * | 2023-01-13 | 2023-10-20 | 深圳市名动天下网络科技有限公司 | 一种游戏视频精彩画面录制方法、装置、设备及存储介质 |
CN116593408B (zh) * | 2023-07-19 | 2023-10-17 | 四川亿欣新材料有限公司 | 一种重质碳酸钙粉体色度检测方法 |
CN116664154B (zh) * | 2023-07-31 | 2023-10-24 | 山东瑞升智慧医疗科技有限公司 | 基于医疗消毒供应全流程信息追溯方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109360154A (zh) * | 2018-10-29 | 2019-02-19 | 厦门美图之家科技有限公司 | 一种卷积神经网络生成方法及图像的超分辨率方法 |
US10635943B1 (en) * | 2018-08-07 | 2020-04-28 | General Electric Company | Systems and methods for noise reduction in medical images with deep neural networks |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018057753A1 (en) * | 2016-09-21 | 2018-03-29 | Arizona Board Of Regents On Behalf Of Arizona State University | Systems and methods for computer monitoring of remote photoplethysmography based on chromaticity in a converted color space |
US10709390B2 (en) * | 2017-03-02 | 2020-07-14 | Logos Care, Inc. | Deep learning algorithms for heartbeats detection |
US11259710B2 (en) * | 2018-05-16 | 2022-03-01 | Mitsubishi Electric Research Laboratories, Inc. | System and method for remote measurements of vital signs |
-
2020
- 2020-12-04 CN CN202011403729.5A patent/CN112788200B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10635943B1 (en) * | 2018-08-07 | 2020-04-28 | General Electric Company | Systems and methods for noise reduction in medical images with deep neural networks |
CN109360154A (zh) * | 2018-10-29 | 2019-02-19 | 厦门美图之家科技有限公司 | 一种卷积神经网络生成方法及图像的超分辨率方法 |
Non-Patent Citations (2)
Title |
---|
Human Pulse Recognition based on Wavelet Transform and BP Network;Shiru Zhang 等;《2015 IEEE International Conference on Signal Processing, Communications and Computing (ICSPCC)》;20150922;全文 * |
基于小波变换的心室晚电位神经网络检测;杨基海等;《北京生物医学工程》;19990930;第18卷(第03期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112788200A (zh) | 2021-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112788200B (zh) | 频谱信息的确定方法及装置、存储介质、电子装置 | |
US20230131876A1 (en) | Systems and methods of identity analysis of electrocardiograms | |
US11350868B2 (en) | Electrocardiogram information processing method and electrocardiogram workstation system | |
US20190295729A1 (en) | Universal non-invasive blood glucose estimation method based on time series analysis | |
US11783924B2 (en) | ECG information processing method and ECG workstation | |
CN111513735B (zh) | 基于脑机接口和深度学习的重度抑郁症辨识系统及应用 | |
CN105266772A (zh) | 一种生理参数的测量方法 | |
CN111714144A (zh) | 基于视频非接触测量的精神压力分析方法 | |
CN112890792A (zh) | 一种基于网络摄像头的云计算心血管健康监护系统及方法 | |
CN107374646A (zh) | 基于近红外技术的血糖检测装置及方法、电子装置 | |
CN112294282A (zh) | 基于rppg的情绪检测装置的自标定方法 | |
Karthick et al. | Analysis of vital signs using remote photoplethysmography (RPPG) | |
Aziz et al. | Automated cardiac pulse cycle analysis from photoplethysmogram (PPG) signals generated from fingertip videos captured using a smartphone to measure blood hemoglobin levels | |
CN107689040A (zh) | 血糖检测的移动终端 | |
EP3629895B1 (en) | Method and apparatus for light-weight, non-invasive, point of care diabetes screening device | |
CN109036552A (zh) | 中医诊断终端及其存储介质 | |
CN111820870B (zh) | 生物影像处理方法以及生理信息检测装置 | |
CN111278353A (zh) | 一种生命体征信号噪声的检测方法与系统 | |
US11324411B2 (en) | Method and system for determining cardiovascular parameters | |
CN114557691A (zh) | 基于多波长的ppg信号的无创血脂检测方法及系统 | |
CN106361350A (zh) | 基于图像处理的血氧饱和度监测方法 | |
Sun et al. | Adaptive low-power wrist SpO2 monitoring system design using a multi-filtering scheme | |
Martinez et al. | Strategic attention learning for modality translation | |
CN116035548B (zh) | 心律状态检测方法、装置、智能穿戴设备及存储介质 | |
CN112545535B (zh) | 一种基于振幅整合脑电图的睡眠觉醒周期的分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |