发明内容
本发明实施例提供了一种心理调节方法,以解决现有技术中的心理调节方法需要与人体进行接触才能获取到人体的生理状态数据,而导致的结果不准确,且需要专门的医学设备进行,操作起来比较麻烦,可移动性差的技术问题,该方法包括:
步骤1:通过摄像头拍摄测试者的头部图像;
步骤2:从所述头部图像中识别出预先设定的感兴趣区域的图像;
步骤3:将识别出的图像分解为R、G、B三个通道,对分解后的图像进行独立成分分析ICA以去除图像中的噪声,得到脉搏波信号;
步骤4:根据所述脉搏波信号确定当前的脉率;
步骤5:重复执行上述步骤1至步骤4得到预定时间段内测试者的脉率序列;
步骤6:根据所述脉率序列,确定并播放需要向测试者播放的心理调节素材。
在一个实施例中,根据所述脉率序列确定需要播放的心理调节素材,包括:
将所述脉率序列转换为脉率变异序列,其中,所述脉率变异序列是由当前时刻与前一时刻之间脉率的变化组成的序列,用于反映测试者的心理变化;
根据所述脉率变异序列,确定并播放需要向测试者播放的心理调节素材。
在一个实施例中,根据所述脉率变异序列,确定并播放需要向测试者播放的心理调节素材,包括:
根据所述脉冲变异序列,按照预定的公式计算出心理调节参考值;
根据所述心理调节参考值,从预先设定的调节素材对应表中查找出与该参考值对应的心理调节素材;
播放查找出的心理调节素材。
在一个实施例中,上述心理调节方法还包括:
检测是否有测试结束指令;
在检测到测试结束指令的情况下,停止播放心理调节素材,并根据当前已经获取的心理调节参考值计算调节分数。
在一个实施例中,所述对分解后的图像进行独立成分分析以去除图像中的噪声,得到脉搏波信号,包括:
对分解后的图像中的G通道图像,进行独立成分分析,得到一组独立的源信号;
将该源信号作为所述脉搏波信号。
在一个实施例中,所述对分解后的图像进行独立成分分析以去除图像中的噪声,得到脉搏波信号,包括:
对分解后的图像中的R、G、B三个通道图像,进行独立成分分析,得到三组独立的源信号;
从所述三组独立的源信号中指定一组源信号作为所述脉搏波信号。
在一个实施例中,所述摄像头包括以下之一:智能终端上的摄像头、电脑上的摄像头、相机上的摄像头,所述心理调节素材包括以下至少之一:音频、视频、图片。
在一个实施例中,从所述头部图像中识别出预先设定的感兴趣区域的图像,包括:
通过人脸识别算法识别出所述感兴趣区域,其中,所述感兴趣区域包括以下至少之一:前额、鼻子、双眼。
在一个实施例中,根据所述脉搏波信号确定当前的脉率,包括:
根据所述脉搏波信号进行快速傅立叶变换FFT得到功率谱,并将所述功率谱中的最大功率对应的频率作为当前的脉率。
本发明实施例还提供了一种心理调节装置,以解决现有技术中的心理调节方法需要与人体进行接触才能获取到人体的生理状态数据,而导致的结果不准确,且需要专门的医学设备进行,操作起来比较麻烦,可移动性差的技术问题,该装置包括:
头部图像获取单元,用于获取通过摄像头拍摄的测试者的头部图像;
识别单元,用于从所述头部图像中识别出预先设定的感兴趣区域的图像;
独立成分分析单元,用于将识别出的图像分解为R、G、B三个通道,对分解后的图像进行独立成分分析ICA以去除图像中的噪声,得到脉搏波信号;
脉率确定单元,用于根据所述脉搏波信号确定当前的脉率;
播放单元,用于根据得到的预定时间段内测试者的脉率序列,确定并播放需要向测试者播放的心理调节素材。
在本发明实施例中,通过摄像头获取测试者的头部图像,然后识别出其中的感兴趣区域,并将其分解为RGB(红绿蓝)三个通道,此时每个通道中的信号是包含有噪声的,因此可以采用ICA的方法来去除其中的噪声,得到独立的源信号,并根据得到的源信号确定出脉率,通过这种方法便可以获取在一段时间内测试者的心率变化,然后根据确定出的一段时间内的心率变化调整播放的心理调节素材,从而实现对测试者的心理调节,解决了现有技术中的心理调节方法需要与人体进行接触才能获取到人体的生理状态数据,而导致的结果不准确,且需要专门的医学设备进行,操作起来比较麻烦,可移动性差的技术问题,达到了有效提高人体心率测试的准确性和实现方法简单的技术效果。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施方式和附图,对本发明做进一步详细说明。在此,本发明的示意性实施方式及其说明用于解释本发明,但并不作为对本发明的限定。
发明人考虑到,现有的心理调节方法普遍都存在需要与人体进行接触,会影响结果的准确性,且需要专业的医疗设备,成本比较高,操作复杂。为了解决上述问题,发明人想到可以将血容积脉博波与图像处理相结合,提出了一种非接触式、无创、持续、可靠的脉率检测的方法,不仅使用起来较为方便,而且使用者在体验过程中不会产生心理障碍,可以更为真实准确地反映出能够更为真实地反映出使用者的心理状态。
具体的,如图1所示,该心理调节方法,包括以下步骤:
步骤101:通过摄像头拍摄测试者的头部图像;
步骤102:从所述头部图像中识别出预先设定的感兴趣区域的图像;
步骤103:将识别出的图像分解为R、G、B三个通道,对分解后的图像进行ICA(Independent component analysis,独立成分分析)独立成分分析以去除图像中的噪声,得到脉搏波信号;
步骤104:根据所述脉搏波信号确定当前的脉率;
步骤105:重复执行上述步骤101至步骤104得到预定时间段内测试者的脉率序列;
步骤106:根据所述脉率序列,确定并播放需要向测试者播放的心理调节素材。
在上述实施例中,通过摄像头获取测试者的头部图像,然后识别出其中的感兴趣区域,并将其分解为RGB(红绿蓝)三个通道,此时每个通道中的信号是包含有噪声的,因此可以采用ICA的方法来去除其中的噪声,得到独立的源信号,并根据得到的源信号确定出脉率,通过这种方法便可以获取在一段时间内测试者的心率变化,然后根据确定出的一段时间内的心率变化调整播放的心理调节素材,从而实现对测试者的心理调节,解决了现有技术中的心理调节方法需要与人体进行接触才能获取到人体的生理状态数据,而导致的结果不准确,且需要专门的医学设备进行,操作起来比较麻烦,可移动性差的技术问题,达到了有效提高人体心率测试的准确性和实现方法简单的技术效果。
在上述步骤102中,可以是通过人脸识别算法识别出感兴趣区域(ROI),其中,该感兴趣区域可以是:前额、鼻子、嘴巴、双眼等,然而,值得注意的是上述感兴趣区域的例子仅是为了更好地说明本发明,还可以选取头部的其它区域作为感兴趣区域,例如:两颊、嘴唇等。
考虑到图片处理后得到的是一个个脉率的序列,所表示的是一个个时刻的心率,如果需要知道测试者在一段时间内的心理变化,可以用测试者在一段时间内的心率变化趋势来表示,为此,可以先将脉率序列转换为脉率变异序列,其中,脉率变异序列可以是由当前时刻与前一时刻之间脉率的变化组成的序列,用于反映测试者的心理变化,然后再根据脉率变异序列,确定并播放需要向测试者播放的心理调节素材,例如,如果得到的脉率序列为:80、85、90、92、97、85、100、95,那么所对应的脉率变异序列就是:5、5、2、5、-12、15、-5,从而可以根据确定出的该脉率变异序列确定出应该播放的心理调节素材。
具体的,可以根据脉率变异序列按照预定的公式计算出心理调节参考值,其中,心理调节参考值可以是对脉率变异序列求均方差得到的,然后,根据计算出的心理调节参考值,从预先设定的调节素材对应表中查找出与该参考值对应的心理调节素材,例如,心理调节参考值与心理调节素材之间的对应关系可以是采用表格的方式存储的,在获取到一个心理调节参考值后,只要到该表格中进行查找,便可以查找出与该心理调节参考值对应的心理调节素材,从而进行播放和显示,以对测试者进行适合当前心理情况的调节。
上述的心理调节素材可以是一首歌、一段视频或者是一组图片,在播放完当前的一首歌或者是当前的一段视频、一组图片后需要切换至下一个,因此,可以将一首歌的时间、一段视频或者是一组照片的播放时间作为计算心理调节参考值的时间,这样可以根据检测到的当前的心理调节素材调节时的脉率变异序列确定出心理调节参考值,然后确定出需要播放的下一个心理调节素材,只要这样重复下去,便可以实现对测试者进行心理状态调节。
在实现的过程中,还可以对心理状态调节的效果进行一个打分,以体现出在一段时间内或者是当前的心理调节方法对这个测试者的调节效果,例如,检测是否有测试结束指令,在检测到测试结束指令的情况下,停止播放心理调节素材,并根据当前已经获取的心理调节参考值计算调节分数。上述这个结束指令可以是检测者自己触发的,也可以是系统预先设定的,可以按照需要选择。
在上述步骤103中,对分解后的图像进行独立成分分析以去除图像中的噪声,得到脉搏波信号,可以包括以下两种方式:
1)对分解后的图像中的R、G、B三个通道图像,进行独立成分分析,得到三组独立的源信号,从三组独立的源信号中指定一组源信号作为脉搏波信号;
2)对分解后的图像中的G通道图像,进行独立成分分析,得到一组独立的源信号,将该源信号作为所述脉搏波信号。
对于上述第二种方式,主要是考虑到在典型情况下,第二个成分(即G通道)总是比较强的脉博波信号,因此为简单起见,可以直接选择第二个成分作为期望的源信号,而无需对R、G、B三个通道图像都进行独立成分分析,可以有效减少计算量,提高计算速度。
考虑到现有的心理调节方法和系统都需要专业的医学设备,实现起来比较复杂,在本例中,只需要有摄像头获取照片,然后通过处理器进行处理就可以,因此,上述的摄像头可以是:智能终端上的摄像头、电脑上的摄像头、或者是相机上的摄像头都可以,具体的,如果是智能终端上的摄像头,那么通过智能终端上的摄像头获取到头部图片后,便可以直接通过智能终端中预置的程序进行心理状态调节,播放适合的心理调节素材,相应的,如果是电脑上的摄像头也和智能终端一样,直接在电脑进行相应的处理即可。然而,如果是相机上的摄像头,就需要实时将照片传至智能终端或者是电脑上进行处理,具体的选择何种方式可以按照需要或者是当前测试者的实际状况选择,本申请在此不作限定。
在上述104中,可以对脉搏波信号进行FFT(Fast Fourier Transformation,快速傅立叶变换)得到功率谱,并将功率谱中的最大功率对应的频率作为当前的脉率,在本例中是采用FFT确定脉率的,在具体实现的过程中,获取到脉搏波信号后还可以采用其它方法确定脉率,本申请对此不做限定,具体选用何种方式确定脉率可以按照需要选择。
下面结合一个具体实施例对上述心理调节方法进行说明,然而值得注意的是,上述实施例仅是为了更好地说明本发明,并不构成对本发明的不当限定。
在本例中,提出了一种在配备了摄像头的智能终端上通过播放动画来调节心理的方法,主要的是对任一时刻的皮肤表面图像而言,通过图像处理的技术将其分解为三个通道(红绿蓝三原色,每种颜色对应一个通道),再通过ICA(独立成分分析)移除图像中的噪声即可得到三组独立的源信号,最后在指定的源信号上运用FFT(快速傅立叶变换)就可以获得功率谱,而功率谱中的最大功率对应频率就是脉率(即心率),从而心率变异性,并根据当前阶段的心率变异的表现来决定下一段要播放的动画。
具体的,首先,使用摄像头并结合人脸识别技术得到一个待识别区域,可以但不限于是前额、鼻子等区域,然后,提取出该区域的RGB波形,接着通过ICA技术去噪,从而获得代表脉率的波形图,在有了波形图后通过功率谱便可以得到脉率(即心率),从而计算出心率变异。收集一段动画时间内所有的心率变异性序列,得出可以代表此段序列表现的参考值,即通过播放当前段动画时的心率变异的表现情况来判断测试者此时的心理状况,并据此有针对性地从动画素材确定下一段需要播放的动画,从而起到心理调控的作用。在测试结束后可以根据测试者的整体表现给出一个参考分数
下面结合图2至图4对上述心理调节方法进行说明,具体的包括以下两个部分:
1)图像处理:
如图2所示,摄像头拍摄测试者的头像,并结合人脸识别算法识别出ROI(感兴趣区域),其中,ROI可以是前额、鼻子、双眼之间等区域,但并不限于这些区域。
现有的PPG是将光照应用在一个点上,观察透射或反射之后光强的变化从而得出脉率信息,但是由于作用点太小,所以有时透射或反射之后的光强无法捕捉,而在本例中,是将光照应用在一片区域上,这样透射或反射之后的光强不但容易捕捉,而且本身就有了一定的平均去极作用,因此得到的效果也就更为平滑。拍摄得到的图片已经包含了脉率信号的信息,即光照前后的血容积的变化。
如图2和图3所示,图像处理主要包括:将图片分解成RGB(红绿蓝)三个通道,此时每个通道里的信号还是包含了噪声的,在这样的信号中移除噪声属于BSS(盲源分离问题),可以采用ICA(独立成分分析)的方法来解决。ICA是一种线性变换,用于将信号分离成统计独立的非高斯的信号源的线性组合。在本例中,ICA可以使用JADE(特征矩阵的联合近似对角化)算法进行处理,考虑到在一般的典型情况下,第二个成分总是比较强的脉博波信号,因此为了更为简单,总是选择第二个作为期望的源信号,对这个成分做FFT(快速傅立叶变换)即可得到功率谱,然后指定当前的脉率作为功率谱中最大功率对应的频率,在本例中可以将频率范围限定在0.75HZ到4HZ之间,对应的脉率范围就是45bpm至240bpm(每分钟心跳数)。
2)动画流程控制:
如图4所示,在得到当前时刻的脉率(一般而言可以看作心率)之后,两个心率之间的间隙即为心率变异,因此可以获得一段时间内的心率变异序列,通过这段心率变异序列便可以反映出测试者的心理变化,可以通过一定的计算公式得出一个参考值来表示这种变化,这个参考值便可以表示测试者这段时间内的表现。为了达到心理调控的目的,在确定下段应显示何段素材时需要以这个参考值为一定的标准来衡量,在确定并显示以后,重新上述过程直至结束,在结束后可以根据测试者的整体表现得到一个参考分数。
具体的,参考分数可以按照以下方式得到,心理调节素材在正常情况下是顺序播放的,假定按照预定的顺序完成播放是得到的参考分数为100分,时间为ttotal,因为测试者心理波动,导致心理调节素材被重复调用,或者是心理素材或跳回之前播放的心理素材导致当前的心理素材未能完整播放,以其完成部分所在位置的时间序列为tNow,则其参考分数就为:tNow*100/ttotal。
在本例中,无需接触人体便可以获取到心率变异性,从而根据获取的一段时间内的心率变异性有针对性地显示动画,因无需接触人体具有更强的可移动性、便利性和可靠性。因为仅需要摄像头即可,通过人们日常携带的智能终端,例如:手机、平板电脑等就可以实现人体心理状况调节,不需要投影仪等大型播放设备,所以便捷性较高,可以满足用户随时调控的需要,且调控所用的动画素材是可以随时更换的,具有较好地的可扩展性。
进一步的,因采用了ICA技术,能够有效消除在检测过程中因为运动等因素造成的噪声影响,使得采集结果更加可靠。
基于同一发明构思,本发明实施例中还提供了一种心理调节装置,如下面的实施例所述。由于心理调节装置解决问题的原理与心理调节方法相似,因此心理调节装置的实施可以参见心理调节方法的实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。图5是本发明实施例的心理调节装置的一种结构框图,如图5所示,包括:头部图像获取单元501、识别单元502、独立成分分析单元503、脉率确定单元504和播放单元505,下面对该结构进行说明。
头部图像获取单元501,用于获取通过摄像头拍摄的测试者的头部图像;
识别单元502,用于从所述头部图像中识别出预先设定的感兴趣区域的图像;
独立成分分析单元503,用于将识别出的图像分解为R、G、B三个通道,对分解后的图像进行独立成分分析以去除图像中的噪声,得到脉搏波信号;
脉率确定单元504,用于根据所述脉搏波信号确定当前的脉率;
播放单元505,用于根据得到的预定时间段内测试者的脉率序列,确定并播放需要向测试者播放的心理调节素材。
在另外一个实施例中,还提供了一种软件,该软件用于执行上述实施例及优选实施方式中描述的技术方案。
在另外一个实施例中,还提供了一种存储介质,该存储介质中存储有上述软件,该存储介质包括但不限于:光盘、软盘、硬盘、可擦写存储器等。
从以上的描述中,可以看出,本发明实施例实现了如下技术效果:通过摄像头获取测试者的头部图像,然后识别出其中的感兴趣区域,并将其分解为RGB(红绿蓝)三个通道,此时每个通道中的信号是包含有噪声的,因此可以采用ICA的方法来去除其中的噪声,得到独立的源信号,并根据得到的源信号确定出脉率,通过这种方法便可以获取在一段时间内测试者的心率变化,然后根据确定出的一段时间内的心率变化调整播放的心理调节素材,从而实现对测试者的心理调节,解决了现有技术中的心理调节方法需要与人体进行接触才能获取到人体的生理状态数据,而导致的结果不准确,且需要专门的医学设备进行,操作起来比较麻烦,可移动性差的技术问题,达到了有效提高人体心率测试的准确性和实现方法简单的技术效果。
显然,本领域的技术人员应该明白,上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明实施例不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。