CN104545864A - 心理调节方法和装置 - Google Patents
心理调节方法和装置 Download PDFInfo
- Publication number
- CN104545864A CN104545864A CN201410821853.1A CN201410821853A CN104545864A CN 104545864 A CN104545864 A CN 104545864A CN 201410821853 A CN201410821853 A CN 201410821853A CN 104545864 A CN104545864 A CN 104545864A
- Authority
- CN
- China
- Prior art keywords
- image
- psychological
- pulse rate
- tester
- wave signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000003340 mental effect Effects 0.000 title abstract description 6
- 230000033228 biological regulation Effects 0.000 title description 11
- 239000000463 material Substances 0.000 claims abstract description 46
- 238000012880 independent component analysis Methods 0.000 claims abstract description 41
- 210000003128 head Anatomy 0.000 claims description 24
- 238000001228 spectrum Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 10
- 210000001061 forehead Anatomy 0.000 claims description 5
- 230000003750 conditioning effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 9
- 230000008859 change Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 230000035790 physiological processes and functions Effects 0.000 description 8
- 230000017531 blood circulation Effects 0.000 description 6
- 210000004369 blood Anatomy 0.000 description 5
- 239000008280 blood Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008451 emotion Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000031700 light absorption Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 210000005259 peripheral blood Anatomy 0.000 description 2
- 239000011886 peripheral blood Substances 0.000 description 2
- 238000013186 photoplethysmography Methods 0.000 description 2
- 238000004886 process control Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000027534 Emotional disease Diseases 0.000 description 1
- 210000002565 arteriole Anatomy 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000000748 cardiovascular system Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004217 heart function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000028161 membrane depolarization Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 230000004089 microcirculation Effects 0.000 description 1
- 210000004088 microvessel Anatomy 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
- A61B5/024—Measuring pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Cardiology (AREA)
- Psychology (AREA)
- Biophysics (AREA)
- Anesthesiology (AREA)
- Psychiatry (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Pain & Pain Management (AREA)
- Social Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Acoustics & Sound (AREA)
- Hematology (AREA)
- Physiology (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供了一种心理调节方法和装置，其中，该方法包括：通过摄像头拍摄测试者的头部图像；从所述头部图像中识别出预先设定的感兴趣区域的图像；将识别出的图像分解为R、G、B三个通道，对分解后的图像进行独立成分分析以去除图像中的噪声，得到脉搏波信号；根据所述脉搏波信号确定当前的脉率；重复执行上述步骤得到预定时间段内测试者的脉率序列；根据所述脉率序列，确定并播放需要向测试者播放的心理调节素材。本发明解决了现有技术中的心理调节方法操作麻烦、可移动性差的技术问题，达到了使用起来简单方便的技术效果。
Description
技术领域
本发明涉及心理调控技术领域，特别涉及一种心理调节方法和装置。
背景技术
随着生活水平的不断提高，人们在物质资源得到满足的同时，心理压力也变得越来越大，情绪也变得越来越不稳定。生活中的各种矛盾和琐事也会对人造成一定的心理反应，这些反应主要是体现情绪上，即情绪反应。为了对人的心理和情绪进行调节，或者是使得人的情绪推迟发作或发作适可而止，这又与个体对客观的认识和评价以及自我评价密切有关。
所谓心理调控就是运用心理学的方法和手段，对自己的智力、情绪等心理要素进行调节和控制的一种方法，从而可以达到提高智商、情商，开发心理潜能，预防和治疗心理疾病的目的。
然而，为了进行更为精准的心理调控，需要先检测出人的情绪状态，或者是心理状态。PPG(Photo Plethysmo Graphy，光电容积脉搏波描记法，又称为血容积脉博波)是一种借助光电手段在活体组织中检测血液容积变化的一种无创检测方法。主要依据的原理是：当一定波长的光束照射到指端皮肤表面时，光束将通过透射或者反射的方式传送到光电接收器中，在这个过程中，由于受到指端皮肤肌肉和血液的吸收衰减作用，检测器检测到的光强度将减弱，其中，皮肤、肌肉、组织等对光的吸收在整个血液循环中是保持恒定不变的，而皮肤内的血液容积在心脏作用下呈搏动性变化：当心脏收缩时，外周血容量最多，光吸收量也最大，检测到的光强度最小，而在心脏舒张时，正好相反，检测到的光强度最大，使光接收器接收到的光强度随之呈脉动性变化。将此光强度变化信号转换成电信号便可以获得容积脉搏血流的变化。容积脉搏血流中包含有：心搏功能、血液流动等诸多心血管系统的重要生理信息。同时，容积脉搏血流主要存在于外周血管中的微动脉、毛细血管等微血管中，因此容积脉搏血流同样包含有丰富的微循环生理病理信息，是研究人体循环系统重要的信息来源。
通过上述方法获使用者的心率信息后，便可以对使用者进行心理调节，使得使用者或者测试者尽力消除那些不愉快的心理刺激和生活事件，理智接受非个人能力能改变的现实，从而更好地适应环境，并使情绪积极而稳定，保持自我意识良好，达到保持心身健康的目的。
目前，已有的心理调节方法主要有：利用人体的生理状况来动态播放音乐或者视频，但是这些方法一般都是通过医学仪器检测到人体的各种生理状况信号，然后利用这些信号将其反映到用户可以感受的音频或影碟，依据用户的心情动态切换影碟、音频或背景图片。即，通过检测出人体当前的心跳、脉搏、血压等情况，从预先设定的对应不同生理参数的播放文件选取对应的播放文件(影碟、音频、图片等)进行播放。例如：设置一个决策中心，该决策中心对数据进行分析比较，从而定位出需要播放的文件。
然而，现有的心理调节方法都存在一个很大的问题，就是需要与人体进行接触才能获取到人体的生理状态数据，因为需要和人体进行接触，这样很容易对测量结果产生影响，且需要专门的医学设备进行，操作起来比较麻烦，可移动性差。
针对上述问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种心理调节方法，以解决现有技术中的心理调节方法需要与人体进行接触才能获取到人体的生理状态数据，而导致的结果不准确，且需要专门的医学设备进行，操作起来比较麻烦，可移动性差的技术问题，该方法包括：
步骤1：通过摄像头拍摄测试者的头部图像；
步骤2：从所述头部图像中识别出预先设定的感兴趣区域的图像；
步骤3：将识别出的图像分解为R、G、B三个通道，对分解后的图像进行独立成分分析ICA以去除图像中的噪声，得到脉搏波信号；
步骤4：根据所述脉搏波信号确定当前的脉率；
步骤5：重复执行上述步骤1至步骤4得到预定时间段内测试者的脉率序列；
步骤6：根据所述脉率序列，确定并播放需要向测试者播放的心理调节素材。
在一个实施例中，根据所述脉率序列确定需要播放的心理调节素材，包括：
将所述脉率序列转换为脉率变异序列，其中，所述脉率变异序列是由当前时刻与前一时刻之间脉率的变化组成的序列，用于反映测试者的心理变化；
根据所述脉率变异序列，确定并播放需要向测试者播放的心理调节素材。
在一个实施例中，根据所述脉率变异序列，确定并播放需要向测试者播放的心理调节素材，包括：
根据所述脉冲变异序列，按照预定的公式计算出心理调节参考值；
根据所述心理调节参考值，从预先设定的调节素材对应表中查找出与该参考值对应的心理调节素材；
播放查找出的心理调节素材。
在一个实施例中，上述心理调节方法还包括：
检测是否有测试结束指令；
在检测到测试结束指令的情况下，停止播放心理调节素材，并根据当前已经获取的心理调节参考值计算调节分数。
在一个实施例中，所述对分解后的图像进行独立成分分析以去除图像中的噪声，得到脉搏波信号，包括：
对分解后的图像中的G通道图像，进行独立成分分析，得到一组独立的源信号；
将该源信号作为所述脉搏波信号。
在一个实施例中，所述对分解后的图像进行独立成分分析以去除图像中的噪声，得到脉搏波信号，包括：
对分解后的图像中的R、G、B三个通道图像，进行独立成分分析，得到三组独立的源信号；
从所述三组独立的源信号中指定一组源信号作为所述脉搏波信号。
在一个实施例中，所述摄像头包括以下之一：智能终端上的摄像头、电脑上的摄像头、相机上的摄像头，所述心理调节素材包括以下至少之一：音频、视频、图片。
在一个实施例中，从所述头部图像中识别出预先设定的感兴趣区域的图像，包括：
通过人脸识别算法识别出所述感兴趣区域，其中，所述感兴趣区域包括以下至少之一：前额、鼻子、双眼。
在一个实施例中，根据所述脉搏波信号确定当前的脉率，包括：
根据所述脉搏波信号进行快速傅立叶变换FFT得到功率谱，并将所述功率谱中的最大功率对应的频率作为当前的脉率。
本发明实施例还提供了一种心理调节装置，以解决现有技术中的心理调节方法需要与人体进行接触才能获取到人体的生理状态数据，而导致的结果不准确，且需要专门的医学设备进行，操作起来比较麻烦，可移动性差的技术问题，该装置包括：
头部图像获取单元，用于获取通过摄像头拍摄的测试者的头部图像；
识别单元，用于从所述头部图像中识别出预先设定的感兴趣区域的图像；
独立成分分析单元，用于将识别出的图像分解为R、G、B三个通道，对分解后的图像进行独立成分分析ICA以去除图像中的噪声，得到脉搏波信号；
脉率确定单元，用于根据所述脉搏波信号确定当前的脉率；
播放单元，用于根据得到的预定时间段内测试者的脉率序列，确定并播放需要向测试者播放的心理调节素材。
在本发明实施例中，通过摄像头获取测试者的头部图像，然后识别出其中的感兴趣区域，并将其分解为RGB(红绿蓝)三个通道，此时每个通道中的信号是包含有噪声的，因此可以采用ICA的方法来去除其中的噪声，得到独立的源信号，并根据得到的源信号确定出脉率，通过这种方法便可以获取在一段时间内测试者的心率变化，然后根据确定出的一段时间内的心率变化调整播放的心理调节素材，从而实现对测试者的心理调节，解决了现有技术中的心理调节方法需要与人体进行接触才能获取到人体的生理状态数据，而导致的结果不准确，且需要专门的医学设备进行，操作起来比较麻烦，可移动性差的技术问题，达到了有效提高人体心率测试的准确性和实现方法简单的技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1是根据本发明实施例的心理调节方法的方法流程图；
图2是根据本发明实施例的心理调节方法中的图像处理流程图；
图3是根据本发明实施例的心理调节方法中的图像处理的另一流程图；
图4是根据本发明实施例的心理调节方法中的动画流程控制流程图；
图5是根据本发明实施例的心理调节装置的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
发明人考虑到，现有的心理调节方法普遍都存在需要与人体进行接触，会影响结果的准确性，且需要专业的医疗设备，成本比较高，操作复杂。为了解决上述问题，发明人想到可以将血容积脉博波与图像处理相结合，提出了一种非接触式、无创、持续、可靠的脉率检测的方法，不仅使用起来较为方便，而且使用者在体验过程中不会产生心理障碍，可以更为真实准确地反映出能够更为真实地反映出使用者的心理状态。
具体的，如图1所示，该心理调节方法，包括以下步骤：
步骤101：通过摄像头拍摄测试者的头部图像；
步骤102：从所述头部图像中识别出预先设定的感兴趣区域的图像；
步骤103：将识别出的图像分解为R、G、B三个通道，对分解后的图像进行ICA(Independent component analysis，独立成分分析)独立成分分析以去除图像中的噪声，得到脉搏波信号；
步骤104：根据所述脉搏波信号确定当前的脉率；
步骤105：重复执行上述步骤101至步骤104得到预定时间段内测试者的脉率序列；
步骤106：根据所述脉率序列，确定并播放需要向测试者播放的心理调节素材。
在上述实施例中，通过摄像头获取测试者的头部图像，然后识别出其中的感兴趣区域，并将其分解为RGB(红绿蓝)三个通道，此时每个通道中的信号是包含有噪声的，因此可以采用ICA的方法来去除其中的噪声，得到独立的源信号，并根据得到的源信号确定出脉率，通过这种方法便可以获取在一段时间内测试者的心率变化，然后根据确定出的一段时间内的心率变化调整播放的心理调节素材，从而实现对测试者的心理调节，解决了现有技术中的心理调节方法需要与人体进行接触才能获取到人体的生理状态数据，而导致的结果不准确，且需要专门的医学设备进行，操作起来比较麻烦，可移动性差的技术问题，达到了有效提高人体心率测试的准确性和实现方法简单的技术效果。
在上述步骤102中，可以是通过人脸识别算法识别出感兴趣区域(ROI)，其中，该感兴趣区域可以是：前额、鼻子、嘴巴、双眼等，然而，值得注意的是上述感兴趣区域的例子仅是为了更好地说明本发明，还可以选取头部的其它区域作为感兴趣区域，例如：两颊、嘴唇等。
考虑到图片处理后得到的是一个个脉率的序列，所表示的是一个个时刻的心率，如果需要知道测试者在一段时间内的心理变化，可以用测试者在一段时间内的心率变化趋势来表示，为此，可以先将脉率序列转换为脉率变异序列，其中，脉率变异序列可以是由当前时刻与前一时刻之间脉率的变化组成的序列，用于反映测试者的心理变化，然后再根据脉率变异序列，确定并播放需要向测试者播放的心理调节素材，例如，如果得到的脉率序列为：80、85、90、92、97、85、100、95，那么所对应的脉率变异序列就是：5、5、2、5、-12、15、-5，从而可以根据确定出的该脉率变异序列确定出应该播放的心理调节素材。
具体的，可以根据脉率变异序列按照预定的公式计算出心理调节参考值，其中，心理调节参考值可以是对脉率变异序列求均方差得到的，然后，根据计算出的心理调节参考值，从预先设定的调节素材对应表中查找出与该参考值对应的心理调节素材，例如，心理调节参考值与心理调节素材之间的对应关系可以是采用表格的方式存储的，在获取到一个心理调节参考值后，只要到该表格中进行查找，便可以查找出与该心理调节参考值对应的心理调节素材，从而进行播放和显示，以对测试者进行适合当前心理情况的调节。
上述的心理调节素材可以是一首歌、一段视频或者是一组图片，在播放完当前的一首歌或者是当前的一段视频、一组图片后需要切换至下一个，因此，可以将一首歌的时间、一段视频或者是一组照片的播放时间作为计算心理调节参考值的时间，这样可以根据检测到的当前的心理调节素材调节时的脉率变异序列确定出心理调节参考值，然后确定出需要播放的下一个心理调节素材，只要这样重复下去，便可以实现对测试者进行心理状态调节。
在实现的过程中，还可以对心理状态调节的效果进行一个打分，以体现出在一段时间内或者是当前的心理调节方法对这个测试者的调节效果，例如，检测是否有测试结束指令，在检测到测试结束指令的情况下，停止播放心理调节素材，并根据当前已经获取的心理调节参考值计算调节分数。上述这个结束指令可以是检测者自己触发的，也可以是系统预先设定的，可以按照需要选择。
在上述步骤103中，对分解后的图像进行独立成分分析以去除图像中的噪声，得到脉搏波信号，可以包括以下两种方式：
1)对分解后的图像中的R、G、B三个通道图像，进行独立成分分析，得到三组独立的源信号，从三组独立的源信号中指定一组源信号作为脉搏波信号；
2)对分解后的图像中的G通道图像，进行独立成分分析，得到一组独立的源信号，将该源信号作为所述脉搏波信号。
对于上述第二种方式，主要是考虑到在典型情况下，第二个成分(即G通道)总是比较强的脉博波信号，因此为简单起见，可以直接选择第二个成分作为期望的源信号，而无需对R、G、B三个通道图像都进行独立成分分析，可以有效减少计算量，提高计算速度。
考虑到现有的心理调节方法和系统都需要专业的医学设备，实现起来比较复杂，在本例中，只需要有摄像头获取照片，然后通过处理器进行处理就可以，因此，上述的摄像头可以是：智能终端上的摄像头、电脑上的摄像头、或者是相机上的摄像头都可以，具体的，如果是智能终端上的摄像头，那么通过智能终端上的摄像头获取到头部图片后，便可以直接通过智能终端中预置的程序进行心理状态调节，播放适合的心理调节素材，相应的，如果是电脑上的摄像头也和智能终端一样，直接在电脑进行相应的处理即可。然而，如果是相机上的摄像头，就需要实时将照片传至智能终端或者是电脑上进行处理，具体的选择何种方式可以按照需要或者是当前测试者的实际状况选择，本申请在此不作限定。
在上述104中，可以对脉搏波信号进行FFT(Fast Fourier Transformation，快速傅立叶变换)得到功率谱，并将功率谱中的最大功率对应的频率作为当前的脉率，在本例中是采用FFT确定脉率的，在具体实现的过程中，获取到脉搏波信号后还可以采用其它方法确定脉率，本申请对此不做限定，具体选用何种方式确定脉率可以按照需要选择。
下面结合一个具体实施例对上述心理调节方法进行说明，然而值得注意的是，上述实施例仅是为了更好地说明本发明，并不构成对本发明的不当限定。
在本例中，提出了一种在配备了摄像头的智能终端上通过播放动画来调节心理的方法，主要的是对任一时刻的皮肤表面图像而言，通过图像处理的技术将其分解为三个通道(红绿蓝三原色，每种颜色对应一个通道)，再通过ICA(独立成分分析)移除图像中的噪声即可得到三组独立的源信号，最后在指定的源信号上运用FFT(快速傅立叶变换)就可以获得功率谱，而功率谱中的最大功率对应频率就是脉率(即心率)，从而心率变异性，并根据当前阶段的心率变异的表现来决定下一段要播放的动画。
具体的，首先，使用摄像头并结合人脸识别技术得到一个待识别区域，可以但不限于是前额、鼻子等区域，然后，提取出该区域的RGB波形，接着通过ICA技术去噪，从而获得代表脉率的波形图，在有了波形图后通过功率谱便可以得到脉率(即心率)，从而计算出心率变异。收集一段动画时间内所有的心率变异性序列，得出可以代表此段序列表现的参考值，即通过播放当前段动画时的心率变异的表现情况来判断测试者此时的心理状况，并据此有针对性地从动画素材确定下一段需要播放的动画，从而起到心理调控的作用。在测试结束后可以根据测试者的整体表现给出一个参考分数
下面结合图2至图4对上述心理调节方法进行说明，具体的包括以下两个部分：
1)图像处理：
如图2所示，摄像头拍摄测试者的头像，并结合人脸识别算法识别出ROI(感兴趣区域)，其中，ROI可以是前额、鼻子、双眼之间等区域，但并不限于这些区域。
现有的PPG是将光照应用在一个点上，观察透射或反射之后光强的变化从而得出脉率信息，但是由于作用点太小，所以有时透射或反射之后的光强无法捕捉，而在本例中，是将光照应用在一片区域上，这样透射或反射之后的光强不但容易捕捉，而且本身就有了一定的平均去极作用，因此得到的效果也就更为平滑。拍摄得到的图片已经包含了脉率信号的信息，即光照前后的血容积的变化。
如图2和图3所示，图像处理主要包括：将图片分解成RGB(红绿蓝)三个通道，此时每个通道里的信号还是包含了噪声的，在这样的信号中移除噪声属于BSS(盲源分离问题)，可以采用ICA(独立成分分析)的方法来解决。ICA是一种线性变换，用于将信号分离成统计独立的非高斯的信号源的线性组合。在本例中，ICA可以使用JADE(特征矩阵的联合近似对角化)算法进行处理，考虑到在一般的典型情况下，第二个成分总是比较强的脉博波信号，因此为了更为简单，总是选择第二个作为期望的源信号，对这个成分做FFT(快速傅立叶变换)即可得到功率谱，然后指定当前的脉率作为功率谱中最大功率对应的频率，在本例中可以将频率范围限定在0.75HZ到4HZ之间，对应的脉率范围就是45bpm至240bpm(每分钟心跳数)。
2)动画流程控制：
如图4所示，在得到当前时刻的脉率(一般而言可以看作心率)之后，两个心率之间的间隙即为心率变异，因此可以获得一段时间内的心率变异序列，通过这段心率变异序列便可以反映出测试者的心理变化，可以通过一定的计算公式得出一个参考值来表示这种变化，这个参考值便可以表示测试者这段时间内的表现。为了达到心理调控的目的，在确定下段应显示何段素材时需要以这个参考值为一定的标准来衡量，在确定并显示以后，重新上述过程直至结束，在结束后可以根据测试者的整体表现得到一个参考分数。
具体的，参考分数可以按照以下方式得到，心理调节素材在正常情况下是顺序播放的，假定按照预定的顺序完成播放是得到的参考分数为100分，时间为ttotal，因为测试者心理波动，导致心理调节素材被重复调用，或者是心理素材或跳回之前播放的心理素材导致当前的心理素材未能完整播放，以其完成部分所在位置的时间序列为tNow，则其参考分数就为：tNow*100/ttotal。
在本例中，无需接触人体便可以获取到心率变异性，从而根据获取的一段时间内的心率变异性有针对性地显示动画，因无需接触人体具有更强的可移动性、便利性和可靠性。因为仅需要摄像头即可，通过人们日常携带的智能终端，例如：手机、平板电脑等就可以实现人体心理状况调节，不需要投影仪等大型播放设备，所以便捷性较高，可以满足用户随时调控的需要，且调控所用的动画素材是可以随时更换的，具有较好地的可扩展性。
进一步的，因采用了ICA技术，能够有效消除在检测过程中因为运动等因素造成的噪声影响，使得采集结果更加可靠。
基于同一发明构思，本发明实施例中还提供了一种心理调节装置，如下面的实施例所述。由于心理调节装置解决问题的原理与心理调节方法相似，因此心理调节装置的实施可以参见心理调节方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。图5是本发明实施例的心理调节装置的一种结构框图，如图5所示，包括：头部图像获取单元501、识别单元502、独立成分分析单元503、脉率确定单元504和播放单元505，下面对该结构进行说明。
头部图像获取单元501，用于获取通过摄像头拍摄的测试者的头部图像；
识别单元502，用于从所述头部图像中识别出预先设定的感兴趣区域的图像；
独立成分分析单元503，用于将识别出的图像分解为R、G、B三个通道，对分解后的图像进行独立成分分析以去除图像中的噪声，得到脉搏波信号；
脉率确定单元504，用于根据所述脉搏波信号确定当前的脉率；
播放单元505，用于根据得到的预定时间段内测试者的脉率序列，确定并播放需要向测试者播放的心理调节素材。
在另外一个实施例中，还提供了一种软件，该软件用于执行上述实施例及优选实施方式中描述的技术方案。
在另外一个实施例中，还提供了一种存储介质，该存储介质中存储有上述软件，该存储介质包括但不限于：光盘、软盘、硬盘、可擦写存储器等。
从以上的描述中，可以看出，本发明实施例实现了如下技术效果：通过摄像头获取测试者的头部图像，然后识别出其中的感兴趣区域，并将其分解为RGB(红绿蓝)三个通道，此时每个通道中的信号是包含有噪声的，因此可以采用ICA的方法来去除其中的噪声，得到独立的源信号，并根据得到的源信号确定出脉率，通过这种方法便可以获取在一段时间内测试者的心率变化，然后根据确定出的一段时间内的心率变化调整播放的心理调节素材，从而实现对测试者的心理调节，解决了现有技术中的心理调节方法需要与人体进行接触才能获取到人体的生理状态数据，而导致的结果不准确，且需要专门的医学设备进行，操作起来比较麻烦，可移动性差的技术问题，达到了有效提高人体心率测试的准确性和实现方法简单的技术效果。
显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种心理调节方法，其特征在于，包括：
步骤1：通过摄像头拍摄测试者的头部图像；
步骤2：从所述头部图像中识别出预先设定的感兴趣区域的图像；
步骤3：将识别出的图像分解为R、G、B三个通道，对分解后的图像进行独立成分分析ICA以去除图像中的噪声，得到脉搏波信号；
步骤4：根据所述脉搏波信号确定当前的脉率；
步骤5：重复执行上述步骤1至步骤4得到预定时间段内测试者的脉率序列；
步骤6：根据所述脉率序列，确定并播放需要向测试者播放的心理调节素材。
2.如权利要求1所述的方法，其特征在于，根据所述脉率序列确定需要播放的心理调节素材，包括：
将所述脉率序列转换为脉率变异序列，其中，所述脉率变异序列是由当前时刻与前一时刻之间脉率的变化组成的序列，用于反映测试者的心理变化；
根据所述脉率变异序列，确定并播放需要向测试者播放的心理调节素材。
3.如权利要求2所述的方法，其特征在于，根据所述脉率变异序列，确定并播放需要向测试者播放的心理调节素材，包括：
根据所述脉冲变异序列，按照预定的公式计算出心理调节参考值；
根据所述心理调节参考值，从预先设定的调节素材对应表中查找出与该参考值对应的心理调节素材；
播放查找出的心理调节素材。
4.如权利要求3所述的方法，其特征在于，还包括：
检测是否有测试结束指令；
在检测到测试结束指令的情况下，停止播放心理调节素材，并根据当前已经获取的心理调节参考值计算调节分数。
5.如权利要求1所述的方法，其特征在于，所述对分解后的图像进行独立成分分析以去除图像中的噪声，得到脉搏波信号，包括：
对分解后的图像中的G通道图像，进行独立成分分析，得到一组独立的源信号；
将该源信号作为所述脉搏波信号。
6.如权利要求1所述的方法，其特征在于，所述对分解后的图像进行独立成分分析以去除图像中的噪声，得到脉搏波信号，包括：
对分解后的图像中的R、G、B三个通道图像，进行独立成分分析，得到三组独立的源信号；
从所述三组独立的源信号中指定一组源信号作为所述脉搏波信号。
7.如权利要求1所述的方法，其特征在于，所述摄像头包括以下之一：智能终端上的摄像头、电脑上的摄像头、相机上的摄像头，所述心理调节素材包括以下至少之一：音频、视频、图片。
8.如权利要求1至7中任一项所述的方法，其特征在于，从所述头部图像中识别出预先设定的感兴趣区域的图像，包括：
通过人脸识别算法识别出所述感兴趣区域，其中，所述感兴趣区域包括以下至少之一：前额、鼻子、双眼。
9.如权利要求1至7中任一项所述的方法，其特征在于，根据所述脉搏波信号确定当前的脉率，包括：
根据所述脉搏波信号进行快速傅立叶变换FFT得到功率谱，并将所述功率谱中的最大功率对应的频率作为当前的脉率。
10.一种心理调节装置，其特征在于，包括：
头部图像获取单元，用于获取通过摄像头拍摄的测试者的头部图像；
识别单元，用于从所述头部图像中识别出预先设定的感兴趣区域的图像；
独立成分分析单元，用于将识别出的图像分解为R、G、B三个通道，对分解后的图像进行独立成分分析ICA以去除图像中的噪声，得到脉搏波信号；
脉率确定单元，用于根据所述脉搏波信号确定当前的脉率；
播放单元，用于根据得到的预定时间段内测试者的脉率序列，确定并播放需要向测试者播放的心理调节素材。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410821853.1A CN104545864B (zh) | 2014-12-25 | 2014-12-25 | 心理调节方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410821853.1A CN104545864B (zh) | 2014-12-25 | 2014-12-25 | 心理调节方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104545864A true CN104545864A (zh) | 2015-04-29 |
| CN104545864B CN104545864B (zh) | 2017-08-11 |
Family
ID=53063728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410821853.1A Active CN104545864B (zh) | 2014-12-25 | 2014-12-25 | 心理调节方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104545864B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106156757A (zh) * | 2016-08-02 | 2016-11-23 | 中国银联股份有限公司 | 结合活体检测技术的人脸识别方法及人脸识别系统 |
| CN106236061A (zh) * | 2015-06-04 | 2016-12-21 | 松下知识产权经营株式会社 | 人体检测装置 |
| CN107847134A (zh) * | 2015-06-12 | 2018-03-27 | 大金工业株式会社 | 脑活动推定装置 |
| CN107908754A (zh) * | 2017-11-21 | 2018-04-13 | 周调彪 | 一种智能音乐播放方法及可穿戴电子设备 |
| CN109101949A (zh) * | 2018-08-29 | 2018-12-28 | 广州洪荒智能科技有限公司 | 一种基于彩色视频信号频域分析的人脸活体检测方法 |
| CN109117820A (zh) * | 2018-08-30 | 2019-01-01 | 上海爱优威软件开发有限公司 | 一种基于图像的活体识别方法及系统 |
| CN109480808A (zh) * | 2018-09-27 | 2019-03-19 | 深圳市君利信达科技有限公司 | 一种基于ppg的心率检测方法、系统、设备和存储介质 |
| CN110223480A (zh) * | 2019-05-16 | 2019-09-10 | 浙江大学 | 一种用于新生儿监护仪的报警装置 |
| CN110612056A (zh) * | 2017-05-01 | 2019-12-24 | 三星电子株式会社 | 使用基于相机的感测来确定动脉位置 |
| CN112200099A (zh) * | 2020-10-14 | 2021-01-08 | 浙江大学山东工业技术研究院 | 一种基于视频的动态心率检测方法 |
| CN112294282A (zh) * | 2019-08-01 | 2021-02-02 | 天津工业大学 | 基于rppg的情绪检测装置的自标定方法 |
| CN112466471A (zh) * | 2020-12-16 | 2021-03-09 | 丁贤根 | 微智商监测调节的方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1811636A (zh) * | 2004-12-29 | 2006-08-02 | 三星电子株式会社 | 使用皮肤电反应和心率的家庭控制系统及其方法 |
| CN101337103A (zh) * | 2008-08-28 | 2009-01-07 | 北京阳光易德科技发展有限公司 | 一种压力与情绪调节方法、系统及一种生理信号采集装置 |
| CN201379564Y (zh) * | 2008-11-21 | 2010-01-13 | 莲华慧聪国际教育科技(北京)有限公司 | 一种心率变异性测量仪 |
| CN101822863A (zh) * | 2010-01-28 | 2010-09-08 | 深圳先进技术研究院 | 情绪调节装置和方法 |
| CN102198301A (zh) * | 2011-05-20 | 2011-09-28 | 哈尔滨工业大学 | 基于人体特征监测的音乐播放系统 |
| US8298131B2 (en) * | 2008-10-31 | 2012-10-30 | The Hong Kong Polytechnic University | System and method for relaxation |
| CN103111006A (zh) * | 2013-01-31 | 2013-05-22 | 江苏中京智能科技有限公司 | 智能心情调整仪 |
| CN103271734A (zh) * | 2012-12-10 | 2013-09-04 | 中国人民解放军第一五二中心医院 | 一种基于低端成像设备的心率测量方法 |
| WO2014016719A1 (en) * | 2012-07-25 | 2014-01-30 | Koninklijke Philips N.V. | An apparatus for controlling ambient stimuli to a patient |
-
2014
- 2014-12-25 CN CN201410821853.1A patent/CN104545864B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1811636A (zh) * | 2004-12-29 | 2006-08-02 | 三星电子株式会社 | 使用皮肤电反应和心率的家庭控制系统及其方法 |
| CN101337103A (zh) * | 2008-08-28 | 2009-01-07 | 北京阳光易德科技发展有限公司 | 一种压力与情绪调节方法、系统及一种生理信号采集装置 |
| US8298131B2 (en) * | 2008-10-31 | 2012-10-30 | The Hong Kong Polytechnic University | System and method for relaxation |
| CN201379564Y (zh) * | 2008-11-21 | 2010-01-13 | 莲华慧聪国际教育科技(北京)有限公司 | 一种心率变异性测量仪 |
| CN101822863A (zh) * | 2010-01-28 | 2010-09-08 | 深圳先进技术研究院 | 情绪调节装置和方法 |
| CN102198301A (zh) * | 2011-05-20 | 2011-09-28 | 哈尔滨工业大学 | 基于人体特征监测的音乐播放系统 |
| WO2014016719A1 (en) * | 2012-07-25 | 2014-01-30 | Koninklijke Philips N.V. | An apparatus for controlling ambient stimuli to a patient |
| CN103271734A (zh) * | 2012-12-10 | 2013-09-04 | 中国人民解放军第一五二中心医院 | 一种基于低端成像设备的心率测量方法 |
| CN103111006A (zh) * | 2013-01-31 | 2013-05-22 | 江苏中京智能科技有限公司 | 智能心情调整仪 |
Non-Patent Citations (1)
| Title |
|---|
| MING-ZHER POH等: "Non-contact, automated cardiac pulse measurements using video imaging and blind source separation", 《OPTICS EXPRESS》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106236061A (zh) * | 2015-06-04 | 2016-12-21 | 松下知识产权经营株式会社 | 人体检测装置 |
| US11253155B2 (en) | 2015-06-12 | 2022-02-22 | Daikin Industries, Ltd. | Brain activity estimation device |
| CN107847134A (zh) * | 2015-06-12 | 2018-03-27 | 大金工业株式会社 | 脑活动推定装置 |
| CN107847134B (zh) * | 2015-06-12 | 2023-09-01 | 大金工业株式会社 | 脑活动推定装置 |
| CN106156757B (zh) * | 2016-08-02 | 2019-08-09 | 中国银联股份有限公司 | 结合活体检测技术的人脸识别方法及人脸识别系统 |
| CN106156757A (zh) * | 2016-08-02 | 2016-11-23 | 中国银联股份有限公司 | 结合活体检测技术的人脸识别方法及人脸识别系统 |
| CN110612056A (zh) * | 2017-05-01 | 2019-12-24 | 三星电子株式会社 | 使用基于相机的感测来确定动脉位置 |
| CN110612056B (zh) * | 2017-05-01 | 2022-08-09 | 三星电子株式会社 | 使用基于相机的感测来确定动脉位置 |
| CN107908754A (zh) * | 2017-11-21 | 2018-04-13 | 周调彪 | 一种智能音乐播放方法及可穿戴电子设备 |
| CN109101949A (zh) * | 2018-08-29 | 2018-12-28 | 广州洪荒智能科技有限公司 | 一种基于彩色视频信号频域分析的人脸活体检测方法 |
| CN109117820A (zh) * | 2018-08-30 | 2019-01-01 | 上海爱优威软件开发有限公司 | 一种基于图像的活体识别方法及系统 |
| CN109480808A (zh) * | 2018-09-27 | 2019-03-19 | 深圳市君利信达科技有限公司 | 一种基于ppg的心率检测方法、系统、设备和存储介质 |
| CN110223480A (zh) * | 2019-05-16 | 2019-09-10 | 浙江大学 | 一种用于新生儿监护仪的报警装置 |
| CN110223480B (zh) * | 2019-05-16 | 2021-04-09 | 浙江大学 | 一种用于新生儿监护仪的报警装置 |
| CN112294282A (zh) * | 2019-08-01 | 2021-02-02 | 天津工业大学 | 基于rppg的情绪检测装置的自标定方法 |
| CN112200099A (zh) * | 2020-10-14 | 2021-01-08 | 浙江大学山东工业技术研究院 | 一种基于视频的动态心率检测方法 |
| CN112466471A (zh) * | 2020-12-16 | 2021-03-09 | 丁贤根 | 微智商监测调节的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104545864B (zh) | 2017-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104545864B (zh) | 心理调节方法和装置 | |
| US10004410B2 (en) | System and methods for measuring physiological parameters | |
| Huynh et al. | VitaMon: measuring heart rate variability using smartphone front camera | |
| Lam et al. | Robust heart rate measurement from video using select random patches | |
| JP6909741B2 (ja) | 融合アプローチを用いた人の冠動脈疾患の検出のためのシステムおよびその機械可読情報記憶媒体 | |
| Wei et al. | Non-contact, synchronous dynamic measurement of respiratory rate and heart rate based on dual sensitive regions | |
| KR101738278B1 (ko) | 영상을 이용한 감정 인식 방법 | |
| US20210202094A1 (en) | User interface for navigating through physiological data | |
| EP3061391A1 (en) | Apparatus and method for determining blood pressure | |
| JP2011530316A (ja) | 血液分析 | |
| Okada et al. | Monitoring emotion by remote measurement of physiological signals using an RGB camera | |
| WO2019107246A1 (ja) | 生体情報計測装置、生体情報計測プログラム、及び生体情報計測方法 | |
| CN104545950A (zh) | 非接触式测谎方法及其测谎系统 | |
| Shirbani et al. | Effect of ambient lighting and skin tone on estimation of heart rate and pulse transit time from video plethysmography | |
| Montanari et al. | Earset: A multi-modal dataset for studying the impact of head and facial movements on in-ear ppg signals | |
| Mehta et al. | CPulse: Heart rate estimation from RGB videos under realistic conditions | |
| CN113591769B (zh) | 基于光电容积脉搏描记法的非接触式心率检测方法 | |
| CN109770885A (zh) | 一种基于预览帧的快速心率检测方法 | |
| Adelabu et al. | Enhancement of a camera-based continuous heart rate measurement algorithm | |
| Stogiannopoulos et al. | A non-contact SpO 2 estimation using video magnification and infrared data | |
| Lee et al. | Video-based bio-signal measurements for a mobile healthcare system | |
| Ayesha | ReViSe: An end-to-end framework for remote measurement of vital signs | |
| Novita et al. | Development of contactless human vital signs monitoring device with remote-photoplethysmography using adaptive region-of-interest and hybrid processing methods | |
| US20220183580A1 (en) | Method of providing spoken instructions for a device for determining a heartbeat | |
| US20240153304A1 (en) | Method, Computer Software, Non-Transitory Storage Medium, Apparatus and System For Performing A Measurement Of A Physiological Parameter Of A Person From A Series Of Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190530 Address after: 519000 12-storey factory building of Zone A, No. 1 Gangle Road, Tangjiawan Town, Zhuhai High-tech Zone, Guangdong Province Patentee after: ZHUHAI INSTITUTE OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES Co.,Ltd. Address before: Room A-207, Office Building, Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences, No. 1068 Xueyuan Avenue, Shenzhen University Town, Nanshan District, Shenzhen City, Guangdong Province, 518000 Patentee before: Shenzhen advanced science and technology Cci Capital Ltd. Effective date of registration: 20190530 Address after: Room A-207, Office Building, Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences, No. 1068 Xueyuan Avenue, Shenzhen University Town, Nanshan District, Shenzhen City, Guangdong Province, 518000 Patentee after: Shenzhen advanced science and technology Cci Capital Ltd. Address before: 518055 No. 1068, Xue Yuan Avenue, Xili University Town, Nanshan District, Shenzhen, Guangdong Patentee before: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES |