CN110200641A - 一种基于触摸屏测量认知负荷与心理压力的方法及装置 - Google Patents

一种基于触摸屏测量认知负荷与心理压力的方法及装置 Download PDF

Info

Publication number
CN110200641A
CN110200641A CN201910481591.1A CN201910481591A CN110200641A CN 110200641 A CN110200641 A CN 110200641A CN 201910481591 A CN201910481591 A CN 201910481591A CN 110200641 A CN110200641 A CN 110200641A
Authority
CN
China
Prior art keywords
blood vessel
capacity
cognitive load
psychological pressure
photoelectricity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910481591.1A
Other languages
English (en)
Inventor
吕勇强
孟焱
张潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910481591.1A priority Critical patent/CN110200641A/zh
Publication of CN110200641A publication Critical patent/CN110200641A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

本申请提供一种基于触摸屏测量认知负荷与心理压力的方法及装置，该方法包括：通过触摸屏采集用户手指的光电血管容积信号数据；对光电血管容积信号数据进行数据特征预处理得到光电血管容积信号预处理数据；根据认知负荷与心理压力机器学习模型及光电血管容积信号预处理数据，预测得到用户的认知负荷与心理压力。本发明实现了不必要在限定的检测设备条件下，可以满足日常应用的认知负荷与心理压力检测，使得认知负荷与心理压力测量具有实用的价值。

Description

一种基于触摸屏测量认知负荷与心理压力的方法及装置
技术领域
本申请涉及信息技术的技术领域，尤其涉及一种基于触摸屏测量认知负荷与心理压力的方法及装置。
背景技术
随着信息技术的发展，以人为本的智能人机交互是十分重要的，并且拥有广阔的应用前景，而认知负荷与心理压力的评估对于用户行为的研究和人机交互的设计是十分重要的。认知负荷与心理压力是信息处理时学习者所感受到的施加在其认知体系—工作记忆中的载荷。心理投入是指学习者分配给任务的认知容量，反映了认知负荷的实际水平，可以作为认知负荷与心理压力的测量指标。当认知负荷或心理投入超过了学习者的认知容量，就会产生压力，并阻碍学习处理任务。所以负载会影响学习者的行为策略和表现结果，并可以导致学习者生理及心理过程的变化，因此，测量认知负荷与心理压力具有重要的价值。
测量认知负荷与心理压力需要采集人的生理信号，在通常情况下，测量人的皮电、心电、脑电、乃至指夹光电血管容积扫描图(Photoplethysmogram，PPG)信号都需要使用专业的仪器，并且需要为被测试者佩戴很多的检测设备。目前常用的测量PPG信号的方式主要是通过指夹，利用指夹一侧光传感器接收到的另一侧LED光源发出的光的光强变化实现队血管容积的测量。这种方式只能在需要的时候佩戴专门的指夹设备进行测量，无法进行日常的监测。
目前进行认知负荷与心理压力测量的技术也主要是针对特定条件下的认知负荷与心理压力监测，同样是在专门的仪器和特定的环境下进行测量，不具有日常应用的意义。目前常用的方式是基于单个心跳波形的预测，这种方式在波形质量较差的情况下效果不佳。
因此，如何提供一种能够满足日常应用的、实时准确的对认知负荷与心理压力进行测量方案是本领域亟待解决的技术问题。
发明内容
本申请的目的在于提供一种基于触摸屏测量认知负荷与心理压力的方法及装置，解决现有技术中没有能够满足日常应用的、实时准确的对认知负荷与心理压力进行测量的技术问题。
为达到上述目的，本申请提供一种基于触摸屏测量认知负荷与心理压力的方法，包括：
通过触摸屏采集用户手指的光电血管容积信号数据；
对所述光电血管容积信号数据进行数据特征预处理得到光电血管容积信号预处理数据；
根据认知负荷与心理压力机器学习模型及所述光电血管容积信号预处理数据，预测得到所述用户的认知负荷与心理压力。
可选地，其中，对所述光电血管容积信号数据进行数据特征预处理得到光电血管容积信号预处理数据，为：
对所述光电血管容积信号数据进行滤波处理；
将滤波后的所述光电血管容积信号数据进行平滑处理得到稳定的光电血管容积信号预处理数据。
可选地，其中，对所述光电血管容积信号数据进行数据特征预处理得到光电血管容积信号预处理数据，为：
采用滑动窗口的形式对所述光电血管容积信号数据进行切割得到切割的光电血管容积信号数据；
对所述切割的光电血管容积信号数据进行数据特征预处理得到光电血管容积信号预处理数据。
可选地，其中，采用滑动窗口的形式对所述光电血管容积信号数据进行切割得到切割的光电血管容积信号数据，为：
采用动态滑动窗口，把连续的光电血管容积波形信号按照预设的窗口切割策略进行切割，得到一系列连续的光电血管容积波形窗口；
基于统计学的数据调制，处理所述光电血管容积波形窗口得到稳定的窗口输出光电血管容积波形信号数据；
将连续窗口的所述窗口输出光电血管容积波形信号数据，组成所述切割的光电血管容积信号数据。
可选地，其中，根据认知负荷与心理压力机器学习模型及所述光电血管容积信号预处理数据，预测得到所述用户的认知负荷与心理压力，为：
在预设的训练认知负荷与心理压力下，获取大于或等于训练个体数量阈值的训练个体在所述训练认知负荷与心理压力下对应的训练光电血管容积信号数据；
将训练光电血管容积信号数据及训练认知负荷与心理压力对神经网络搭建模型进行训练，得到认知负荷与心理压力机器学习模型；
根据所述认知负荷与心理压力机器学习模型及所述光电血管容积信号预处理数据，预测得到所述用户的认知负荷与心理压力。
另一方面，本发明还提供一种基于触摸屏测量认知负荷与心理压力的装置，包括：光电血管容积信号采集器、光电血管容积信号预处理器及认知负荷与心理压力测量处理器；其中，
所述光电血管容积信号采集器，与所述光电血管容积信号预处理器相连接，通过触摸屏采集用户手指的光电血管容积信号数据；
所述光电血管容积信号预处理器，与所述光电血管容积信号采集器及认知负荷与心理压力测量处理器相连接，对所述光电血管容积信号数据进行数据特征预处理得到光电血管容积信号预处理数据；
所述认知负荷与心理压力测量处理器，与所述光电血管容积信号预处理器相连接，根据认知负荷与心理压力机器学习模型及所述光电血管容积信号预处理数据，预测得到所述用户的认知负荷与心理压力。
可选地，其中，所述光电血管容积信号预处理器，包括：光电血管容积信号滤波处理单元及光电血管容积信号平滑处理单元；其中，
所述光电血管容积信号滤波处理单元，与所述光电血管容积信号采集器及光电血管容积信号平滑处理单元相连接，对所述光电血管容积信号数据进行滤波处理；
所述光电血管容积信号平滑处理单元，与所述光电血管容积信号滤波处理单元及认知负荷与心理压力测量处理器相连接，将滤波后的所述光电血管容积信号数据进行平滑处理得到稳定的光电血管容积信号预处理数据。
可选地，其中，所述光电血管容积信号预处理器，包括：光电血管容积信号切割处理单元及光电血管容积信号数据特征处理单元；其中，
所述光电血管容积信号切割处理单元，与所述光电血管容积信号采集器及光电血管容积信号数据特征处理单元相连接，采用滑动窗口的形式对所述光电血管容积信号数据进行切割得到切割的光电血管容积信号数据；
所述光电血管容积信号数据特征处理单元，与所述光电血管容积信号切割处理单元及认知负荷与心理压力测量处理器相连接，对所述切割的光电血管容积信号数据进行数据特征预处理得到光电血管容积信号预处理数据。
可选地，其中，所述光电血管容积信号切割处理单元，包括：滑动窗口切割处理单元、光电血管容积波形窗口稳定处理单元及切割光电血管容积信号组合处理单元；其中，
所述滑动窗口切割处理单元，与所述光电血管容积信号采集器及光电血管容积波形窗口稳定处理单元相连接，采用动态滑动窗口，把连续的光电血管容积波形信号按照预设的窗口切割策略进行切割，得到一系列连续的光电血管容积波形窗口；
所述光电血管容积波形窗口稳定处理单元，与所述滑动窗口切割处理单元及切割光电血管容积信号组合处理单元相连接，基于统计学的数据调制，处理所述光电血管容积波形窗口得到稳定的窗口输出光电血管容积波形信号数据；
所述切割光电血管容积信号组合处理单元，与所述光电血管容积波形窗口稳定处理单元及认知负荷与心理压力测量处理器相连接，将连续窗口的所述窗口输出光电血管容积波形信号数据，组成所述切割的光电血管容积信号数据。
可选地，其中，所述认知负荷与心理压力测量处理器，包括：机器学习模型数据采集单元、机器学习模型搭建处理单元及认知负荷与心理压力测量处理单元；其中，
所述机器学习模型数据采集单元，与所述光电血管容积信号预处理器及机器学习模型搭建处理单元相连接，在预设的训练认知负荷与心理压力下，获取大于或等于训练个体数量阈值的训练个体在所述训练认知负荷与心理压力下对应的训练光电血管容积信号数据；
所述机器学习模型搭建处理单元，与所述机器学习模型数据采集单元及认知负荷与心理压力测量处理单元相连接，将训练光电血管容积信号数据及训练认知负荷与心理压力对神经网络搭建模型进行训练，得到认知负荷与心理压力机器学习模型；
所述认知负荷与心理压力测量处理单元，与所述机器学习模型搭建处理单元相连接，根据所述认知负荷与心理压力机器学习模型及所述光电血管容积信号预处理数据，预测得到所述用户的认知负荷与心理压力。
本申请的基于触摸屏测量认知负荷与心理压力的方法及装置，实现的有益效果至少如下：
(1)本申请的基于触摸屏测量认知负荷与心理压力的方法及装置，利用触摸屏采集人体的血容积变化信号，不必要在限定的检测设备条件下，可以满足日常应用的认知负荷与心理压力检测，使得认知负荷与心理压力测量具有实用的价值。
(2)本申请的基于触摸屏测量认知负荷与心理压力的方法及装置，利用触摸屏采集人体的血容积变化信号，使用机器学习模型来对PPG信号进行分析，使得认知负荷与心理压力的检测结果更加准确。
(3)本申请的基于触摸屏测量认知负荷与心理压力的方法及装置，创新地采用滑动窗口的方式来对PPG波形进行选取，触摸屏获取到的PPG信号质量相比于指夹等专业设备较低，而本申请中采用滑动窗口的方式能够利用较低质量的PPG信号实现准确的认知负荷与心理压力测量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种基于触摸屏测量认知负荷与心理压力的方法的流程示意图；
图2为本发明实施例中通过触摸屏采集到的一种原始光电血管容积信号数据示意图；
图3为本发明实施例中通过触摸屏滑动窗口进行光电血管容积信号数据采样的原理示意图；
图4为本发明实施例中第二种基于触摸屏测量认知负荷与心理压力的方法的流程示意图；
图5为本发明实施例中第三种基于触摸屏测量认知负荷与心理压力的方法的流程示意图；
图6为本发明实施例中第四种基于触摸屏测量认知负荷与心理压力的方法的流程示意图；
图7为本发明实施例中第五种基于触摸屏测量认知负荷与心理压力的方法的流程示意图；
图8为本发明实施例图8中训练机器学习模型方法举例的示意图；
图9为本发明实施例中一种基于触摸屏测量认知负荷与心理压力的装置的结构示意图；
图10为本发明实施例中第二种基于触摸屏测量认知负荷与心理压力的装置的结构示意图；
图11为本发明实施例中第三种基于触摸屏测量认知负荷与心理压力的装置的结构示意图；
图12为本发明实施例中第四种基于触摸屏测量认知负荷与心理压力的装置的结构示意图；
图13为本发明实施例中第五种基于触摸屏测量认知负荷与心理压力的装置的结构示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如图1至4所示，图1为本实施例中一种基于触摸屏测量认知负荷与心理压力的方法的流程示意图；图2为本实施例中通过触摸屏采集到的一种原始光电血管容积信号数据示意图；图3为本实施例中通过触摸屏滑动窗口进行光电血管容积信号数据采样的原理示意图。着触摸屏技术的发展，使用通过触摸屏采集人体的血容积变化信号成为可能。具体地，本实施例中方法包括步骤：
步骤101、通过触摸屏采集用户手指的光电血管容积信号数据。
通过触摸屏(如智能手机的触摸屏)，采集人体手指处图像的红色通道像素值，以PPG信号的相隔波峰计算心率，并与标准脉搏测量仪器进行数据对比，验证了通过PPG计算人体心率的可行性。
步骤102、对光电血管容积信号数据进行数据特征预处理得到光电血管容积信号预处理数据。
步骤103、根据认知负荷与心理压力机器学习模型及光电血管容积信号预处理数据，预测得到用户的认知负荷与心理压力。再将用户的认知负荷与心理压力的预测结果展示到界面上，或者上传至服务器，甚至是云端服务器进行存储，为后续的数据分析提供原始数据。利用触摸屏来获取PPG信号，简捷、方便，从而使得认知负荷与心理压力测量具有实用价值。
在一些可选的实施例中，如图4所示，为本实施例中第二种基于触摸屏测量认知负荷与心理压力的方法的流程示意图，与图1中不同的是，步骤102、对光电血管容积信号数据进行数据特征预处理得到光电血管容积信号预处理数据，为：
步骤501、对光电血管容积信号数据进行滤波处理。
对光电血管容积信号进行滤波处理，去除由于噪声和测量误差引起的异常点，得到滤波后的光电血管容积信号数据。
步骤502、将滤波后的光电血管容积信号数据进行平滑处理得到稳定的光电血管容积信号预处理数据。
可选地，可以通过线性插值弥补接滤波后的光电血管容积信号数据中的丢包和时延，得到稳定的光电血管容积信号数据。
在一些可选的实施例中，如图5所示，为本实施例中第三种基于触摸屏测量认知负荷与心理压力的方法的流程示意图，与图1中不同的是，步骤102、对光电血管容积信号数据进行数据特征预处理得到光电血管容积信号预处理数据，为：
步骤601、采用滑动窗口的形式对光电血管容积信号数据进行切割得到切割的光电血管容积信号数据。
步骤602、对切割的光电血管容积信号数据进行数据特征预处理得到光电血管容积信号预处理数据。
在一些可选的实施例中，如图6所示，为本实施例中第四种基于触摸屏测量认知负荷与心理压力的方法的流程示意图，与图5中不同的是，步骤601、采用滑动窗口的形式对光电血管容积信号数据进行切割得到切割的光电血管容积信号数据，为：
步骤701、采用动态滑动窗口，把连续的光电血管容积波形信号按照预设的窗口切割策略进行切割，得到一系列连续的光电血管容积波形窗口。
步骤702、基于统计学的数据调制，处理光电血管容积波形窗口得到稳定的窗口输出光电血管容积波形信号数据。
步骤703、将连续窗口的窗口输出光电血管容积波形信号数据，组成切割的光电血管容积信号数据。
可选地，可以调用预设的Z-Score归一化模型对窗口输出光电血管容积波形信号数据进行归一化处理。
在一些可选的实施例中，如图7所示，为本实施例中第五种基于触摸屏测量认知负荷与心理压力的方法的流程示意图，与图1中不同的是，步骤103、根据认知负荷与心理压力机器学习模型及光电血管容积信号预处理数据，预测得到用户的认知负荷与心理压力，为：
步骤801、在预设的训练认知负荷与心理压力下，获取大于或等于训练个体数量阈值的训练个体在训练认知负荷与心理压力下对应的训练光电血管容积信号数据。
步骤802、将训练光电血管容积信号数据及训练认知负荷与心理压力对神经网络搭建模型进行训练，得到认知负荷与心理压力机器学习模型。
步骤803、根据认知负荷与心理压力机器学习模型及光电血管容积信号预处理数据，预测得到用户的认知负荷与心理压力。
进一步地，本申请实施例中，预测得到所述用户的认知负荷与心理压力，具体包括选取当前时刻之前的N个光电血管容积信号预处理数据生成预测结果，利用归一化算法将预测结果归一化至标准范围内，归一化后的结果作为当前时刻的实际认知负荷与心理压力测量值；其中N为正整数；
可选地，归一化至标准范围内可以为将测量结果归一化至0～1范围内，作为最终测量结果。
如图8所示，为本实施例图7中训练机器学习模型方法举例的示意图，根据大量数据训练机器学习模型方法举例示意图。将每个被试的数据分为N份，拿出其中的N-1份来作为训练数据，1份作为测试数据。用N-1份数据输入到预先搭建好的机器学习模型中进行训练，用1份来做验证。反复该过程，最终得到能够准确对认知负荷与心理压力进行预测的机器学习模型。
在一些可选的实施例中，如图9所示，为本实施例中一种基于触摸屏测量认知负荷与心理压力的装置1000的结构示意图，该装置用于实施上述的基于触摸屏测量认知负荷与心理压力的方法。具体地，该装置包括：光电血管容积信号采集器1001、光电血管容积信号预处理器1002及认知负荷与心理压力测量处理器1003。
其中，光电血管容积信号采集器1001，与光电血管容积信号预处理器1002相连接，通过触摸屏采集用户手指的光电血管容积信号数据。
光电血管容积信号预处理器1002，与光电血管容积信号采集器1001及认知负荷与心理压力测量处理器1003相连接，对光电血管容积信号数据进行数据特征预处理得到光电血管容积信号预处理数据。
认知负荷与心理压力测量处理器1003，与光电血管容积信号预处理器1002相连接，根据认知负荷与心理压力机器学习模型及光电血管容积信号预处理数据，预测得到用户的认知负荷与心理压力。
在一些可选的实施例中，如图10所示，为本实施例中第二种基于触摸屏测量认知负荷与心理压力的装置1100的结构示意图，与图9中不同的是，光电血管容积信号预处理器1002，包括：光电血管容积信号滤波处理单元1021及光电血管容积信号平滑处理单元1022。
其中，光电血管容积信号滤波处理单元1021，与光电血管容积信号采集器1001及光电血管容积信号平滑处理单元1022相连接，对光电血管容积信号数据进行滤波处理。
光电血管容积信号平滑处理单元1022，与光电血管容积信号滤波处理单元1021及认知负荷与心理压力测量处理器1003相连接，将滤波后的光电血管容积信号数据进行平滑处理得到稳定的光电血管容积信号预处理数据。
在一些可选的实施例中，如图11所示，为本实施例中第三种基于触摸屏测量认知负荷与心理压力的装置1200的结构示意图，与图10中不同的是，光电血管容积信号预处理器1002，包括：光电血管容积信号切割处理单元1201及光电血管容积信号数据特征处理单元1202。
其中，光电血管容积信号切割处理单元1201，与光电血管容积信号采集器1001及光电血管容积信号数据特征处理单元1202相连接，采用滑动窗口的形式对光电血管容积信号数据进行切割得到切割的光电血管容积信号数据。
光电血管容积信号数据特征处理单元1202，与光电血管容积信号切割处理单元1201及认知负荷与心理压力测量处理器1003相连接，对切割的光电血管容积信号数据进行数据特征预处理得到光电血管容积信号预处理数据。
在一些可选的实施例中，如图12所示，为本实施例中第四种基于触摸屏测量认知负荷与心理压力的装置1300的结构示意图，与图11不同的是，光电血管容积信号切割处理单元1201，包括：滑动窗口切割处理单元1301、光电血管容积波形窗口稳定处理单元1302及切割光电血管容积信号组合处理单元1303。
其中，滑动窗口切割处理单元1301，与光电血管容积信号采集器1001及光电血管容积波形窗口稳定处理单元1302相连接，采用动态滑动窗口，把连续的光电血管容积波形信号按照预设的窗口切割策略进行切割，得到一系列连续的光电血管容积波形窗口。
光电血管容积波形窗口稳定处理单元1302，与滑动窗口切割处理单元1301及切割光电血管容积信号组合处理单元1303相连接，基于统计学的数据调制，处理光电血管容积波形窗口得到稳定的窗口输出光电血管容积波形信号数据。
切割光电血管容积信号组合处理单元1303，与光电血管容积波形窗口稳定处理单元1302及认知负荷与心理压力测量处理器1003相连接，将连续窗口的窗口输出光电血管容积波形信号数据，组成切割的光电血管容积信号数据。
在一些可选的实施例中，如图13所示，为本实施例中第五种基于触摸屏测量认知负荷与心理压力的装置1400的结构示意图，与图10中不同的是，认知负荷与心理压力测量处理器1003，包括：机器学习模型数据采集单元1031、机器学习模型搭建处理单元1032及认知负荷与心理压力测量处理单元1033。
其中，机器学习模型数据采集单元1031，与光电血管容积信号预处理器1002及机器学习模型搭建处理单元1032相连接，在预设的训练认知负荷与心理压力下，获取大于或等于训练个体数量阈值的训练个体在训练认知负荷与心理压力下对应的训练光电血管容积信号数据。
机器学习模型搭建处理单元1032，与机器学习模型数据采集单元1031及认知负荷与心理压力测量处理单元1033相连接，将训练光电血管容积信号数据及训练认知负荷与心理压力对神经网络搭建模型进行训练，得到认知负荷与心理压力机器学习模型；
认知负荷与心理压力测量处理单元1033，与机器学习模型搭建处理单元1032相连接，根据认知负荷与心理压力机器学习模型及光电血管容积信号预处理数据，预测得到用户的认知负荷与心理压力。
采用触摸屏这一新的PPG获取方式，时认知负荷与心理压力测量更具有实际意义。采用滑动窗口的PPG波形切割方式，能够实现在较差的数据中依然准确预测。采用机器学习模型的方式来对PPG波形进行认知负荷与心理压力预测，具有传统方式无法达到的准确率。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种基于触摸屏测量认知负荷与心理压力的方法，其特征在于，包括：
通过触摸屏采集用户手指的光电血管容积信号数据；
对所述光电血管容积信号数据进行数据特征预处理得到光电血管容积信号预处理数据；
根据认知负荷与心理压力机器学习模型及所述光电血管容积信号预处理数据，预测得到所述用户的认知负荷与心理压力。
2.根据权利要求1所述的基于触摸屏测量认知负荷与心理压力的方法，其特征在于，对所述光电血管容积信号数据进行数据特征预处理得到光电血管容积信号预处理数据，为：
对所述光电血管容积信号数据进行滤波处理；
将滤波后的所述光电血管容积信号数据进行平滑处理得到稳定的光电血管容积信号预处理数据。
3.根据权利要求1所述的基于触摸屏测量认知负荷与心理压力的方法，其特征在于，对所述光电血管容积信号数据进行数据特征预处理得到光电血管容积信号预处理数据，为：
采用滑动窗口的形式对所述光电血管容积信号数据进行切割得到切割的光电血管容积信号数据；
对所述切割的光电血管容积信号数据进行数据特征预处理得到光电血管容积信号预处理数据。
4.根据权利要求3所述的基于触摸屏测量认知负荷与心理压力的方法，其特征在于，采用滑动窗口的形式对所述光电血管容积信号数据进行切割得到切割的光电血管容积信号数据，为：
采用动态滑动窗口，把连续的光电血管容积波形信号按照预设的窗口切割策略进行切割，得到一系列连续的光电血管容积波形窗口；
基于统计学的数据调制，处理所述光电血管容积波形窗口得到稳定的窗口输出光电血管容积波形信号数据；
将连续窗口的所述窗口输出光电血管容积波形信号数据，组成所述切割的光电血管容积信号数据。
5.根据权利要求1所述的基于触摸屏测量认知负荷与心理压力的方法，其特征在于，根据认知负荷与心理压力机器学习模型及所述光电血管容积信号预处理数据，预测得到所述用户的认知负荷与心理压力，为：
在预设的训练认知负荷与心理压力下，获取大于或等于训练个体数量阈值的训练个体在所述训练认知负荷与心理压力下对应的训练光电血管容积信号数据；
将训练光电血管容积信号数据及训练认知负荷与心理压力对神经网络搭建模型进行训练，得到认知负荷与心理压力机器学习模型；
根据所述认知负荷与心理压力机器学习模型及所述光电血管容积信号预处理数据，预测得到所述用户的认知负荷与心理压力。
6.根据权利要求1所述的基于触摸屏测量认知负荷与心理压力的方法，其特征在于，预测得到所述用户的认知负荷与心理压力，具体包括选取当前时刻之前的若干个光电血管容积信号预处理数据生成预测结果，利用归一化算法将预测结果归一化至标准范围内，归一化后的结果作为当前时刻的实际认知负荷与心理压力测量值。
7.一种基于触摸屏测量认知负荷与心理压力的装置，其特征在于，包括：光电血管容积信号采集器、光电血管容积信号预处理器及认知负荷与心理压力测量处理器；其中，
所述光电血管容积信号采集器，与所述光电血管容积信号预处理器相连接，通过触摸屏采集用户手指的光电血管容积信号数据；
所述光电血管容积信号预处理器，与所述光电血管容积信号采集器及认知负荷与心理压力测量处理器相连接，对所述光电血管容积信号数据进行数据特征预处理得到光电血管容积信号预处理数据；
所述认知负荷与心理压力测量处理器，与所述光电血管容积信号预处理器相连接，根据认知负荷与心理压力机器学习模型及所述光电血管容积信号预处理数据，预测得到所述用户的认知负荷与心理压力。
8.根据权利要求7所述的基于触摸屏测量认知负荷与心理压力的装置，其特征在于，所述光电血管容积信号预处理器，包括：光电血管容积信号切割处理单元及光电血管容积信号数据特征处理单元；其中，
所述光电血管容积信号切割处理单元，与所述光电血管容积信号采集器及光电血管容积信号数据特征处理单元相连接，采用滑动窗口的形式对所述光电血管容积信号数据进行切割得到切割的光电血管容积信号数据；
所述光电血管容积信号数据特征处理单元，与所述光电血管容积信号切割处理单元及认知负荷与心理压力测量处理器相连接，对所述切割的光电血管容积信号数据进行数据特征预处理得到光电血管容积信号预处理数据。
9.根据权利要求8所述的基于触摸屏测量认知负荷与心理压力的装置，其特征在于，所述光电血管容积信号切割处理单元，包括：滑动窗口切割处理单元、光电血管容积波形窗口稳定处理单元及切割光电血管容积信号组合处理单元；其中，
所述滑动窗口切割处理单元，与所述光电血管容积信号采集器及光电血管容积波形窗口稳定处理单元相连接，采用动态滑动窗口，把连续的光电血管容积波形信号按照预设的窗口切割策略进行切割，得到一系列连续的光电血管容积波形窗口；
所述光电血管容积波形窗口稳定处理单元，与所述滑动窗口切割处理单元及切割光电血管容积信号组合处理单元相连接，基于统计学的数据调制，处理所述光电血管容积波形窗口得到稳定的窗口输出光电血管容积波形信号数据；
所述切割光电血管容积信号组合处理单元，与所述光电血管容积波形窗口稳定处理单元及认知负荷与心理压力测量处理器相连接，将连续窗口的所述窗口输出光电血管容积波形信号数据，组成所述切割的光电血管容积信号数据。
10.根据权利要求7所述的基于触摸屏测量认知负荷与心理压力的装置，其特征在于，所述认知负荷与心理压力测量处理器，包括：机器学习模型数据采集单元、机器学习模型搭建处理单元及认知负荷与心理压力测量处理单元；其中，
所述机器学习模型数据采集单元，与所述光电血管容积信号预处理器及机器学习模型搭建处理单元相连接，在预设的训练认知负荷与心理压力下，获取大于或等于训练个体数量阈值的训练个体在所述训练认知负荷与心理压力下对应的训练光电血管容积信号数据；
所述机器学习模型搭建处理单元，与所述机器学习模型数据采集单元及认知负荷与心理压力测量处理单元相连接，将训练光电血管容积信号数据及训练认知负荷与心理压力对神经网络搭建模型进行训练，得到认知负荷与心理压力机器学习模型；
所述认知负荷与心理压力测量处理单元，与所述机器学习模型搭建处理单元相连接，根据所述认知负荷与心理压力机器学习模型及所述光电血管容积信号预处理数据，预测得到所述用户的认知负荷与心理压力。
CN201910481591.1A 2019-06-04 2019-06-04 一种基于触摸屏测量认知负荷与心理压力的方法及装置 Pending CN110200641A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910481591.1A CN110200641A (zh) 2019-06-04 2019-06-04 一种基于触摸屏测量认知负荷与心理压力的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910481591.1A CN110200641A (zh) 2019-06-04 2019-06-04 一种基于触摸屏测量认知负荷与心理压力的方法及装置

Publications (1)

Publication Number Publication Date
CN110200641A true CN110200641A (zh) 2019-09-06

Family

ID=67790557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910481591.1A Pending CN110200641A (zh) 2019-06-04 2019-06-04 一种基于触摸屏测量认知负荷与心理压力的方法及装置

Country Status (1)

Country Link
CN (1) CN110200641A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111657887A (zh) * 2020-05-27 2020-09-15 中国科学院计算技术研究所 一种近红外浅层皮下组织成像装置及认知负荷分析方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622418A (zh) * 2012-02-21 2012-08-01 北京联合大学 一种基于bp神经网络的预测装置及设备
EP3117762A1 (en) * 2015-07-13 2017-01-18 LG Electronics Inc. Apparatus and method for measuring heartbeat/stress in mobile terminal
CN106933483A (zh) * 2017-02-28 2017-07-07 清华大学 一种可以感知用户感受的触摸交互方式
EP3251592A1 (en) * 2016-06-03 2017-12-06 Tata Consultancy Services Limited Method and system for estimation of stress of a person using photoplethysmography
CN109758141A (zh) * 2019-03-06 2019-05-17 清华大学 一种心理压力监测方法、装置及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622418A (zh) * 2012-02-21 2012-08-01 北京联合大学 一种基于bp神经网络的预测装置及设备
EP3117762A1 (en) * 2015-07-13 2017-01-18 LG Electronics Inc. Apparatus and method for measuring heartbeat/stress in mobile terminal
EP3251592A1 (en) * 2016-06-03 2017-12-06 Tata Consultancy Services Limited Method and system for estimation of stress of a person using photoplethysmography
CN106933483A (zh) * 2017-02-28 2017-07-07 清华大学 一种可以感知用户感受的触摸交互方式
CN109758141A (zh) * 2019-03-06 2019-05-17 清华大学 一种心理压力监测方法、装置及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111657887A (zh) * 2020-05-27 2020-09-15 中国科学院计算技术研究所 一种近红外浅层皮下组织成像装置及认知负荷分析方法
CN111657887B (zh) * 2020-05-27 2021-09-03 中国科学院计算技术研究所 一种近红外浅层皮下组织成像装置及认知负荷分析方法

Similar Documents

Publication Publication Date Title
CN109157202B (zh) 一种基于多生理信号深度融合的心血管疾病预警系统
CN101732050B (zh) 一种基于光电容积波的呼吸率监测方法
CN109222969A (zh) 一种基于多传感器数据融合的可穿戴式人体上肢肌肉运动疲劳检测及训练系统
CN101658425B (zh) 基于心率变异分析的注意力集中程度的检测装置及方法
CN104173043A (zh) 一种适合于移动平台的心电数据分析方法
CN109691994A (zh) 一种基于心电图的心率监测分析方法
CN107890339B (zh) 一种睡眠分期检测方法及可穿戴式睡眠分期检测装置
CN111714144A (zh) 基于视频非接触测量的精神压力分析方法
CN101449973A (zh) 用于心电干扰信号识别的判断指标的生成方法及装置
CN103315753A (zh) 便携式情感分析仪及分析方法
US20240081705A1 (en) Non-contact fatigue detection system and method based on rppg
CN112890792A (zh) 一种基于网络摄像头的云计算心血管健康监护系统及方法
CN104305992B (zh) 一种交互式胎儿心电快速自动提取方法
CN110236508A (zh) 一种无创血压连续监测方法
CN110353704A (zh) 基于穿戴式心电监测的情绪评估方法与装置
CN202950649U (zh) 一种便携式电子健康监护仪器
CN106933483A (zh) 一种可以感知用户感受的触摸交互方式
CN110200642A (zh) 一种认知负荷与心理压力的测量方法及终端
CN115040095A (zh) 适老化多功能自主非侵入式动态生理信号监测分析系统
CN115089179A (zh) 一种心理情绪洞察分析方法及系统
CN110200641A (zh) 一种基于触摸屏测量认知负荷与心理压力的方法及装置
CN208511016U (zh) 一种生命体征综合检测分析系统
CN106096544A (zh) 基于二阶盲辨识的非接触式眨眼与心率联合检测系统及方法
KR102243017B1 (ko) 얼굴 피부 영상을 이용한 우울증 지수 측정 및 진단 방법
CN116548938A (zh) 临床医学用防感染隔离体征状态监测设备及监测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190906

RJ01 Rejection of invention patent application after publication