CN110729047A - 基于人脸视频的心理生理分析与量表测试结合的装置及方法 - Google Patents

基于人脸视频的心理生理分析与量表测试结合的装置及方法 Download PDF

Info

Publication number
CN110729047A
CN110729047A CN201910842517.8A CN201910842517A CN110729047A CN 110729047 A CN110729047 A CN 110729047A CN 201910842517 A CN201910842517 A CN 201910842517A CN 110729047 A CN110729047 A CN 110729047A
Authority
CN
China
Prior art keywords
scale
analysis
index
time
question
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910842517.8A
Other languages
English (en)
Inventor
俞杰
石旭刚
朱伟平
俞江峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OB TELECOM ELECTRONICS CO Ltd
Original Assignee
OB TELECOM ELECTRONICS CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OB TELECOM ELECTRONICS CO Ltd filed Critical OB TELECOM ELECTRONICS CO Ltd
Priority to CN201910842517.8A priority Critical patent/CN110729047A/zh
Publication of CN110729047A publication Critical patent/CN110729047A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于人脸视频的心理生理分析与量表测试结合的装置及方法，其中装置包括摄像头、量表测试器、人脸采集器、血谱心理生理分析器以及综合评估器，人脸采集器用于通过摄像头获取实时视频流、进而进行人脸检测跟踪、人脸特征点位分析、人脸血谱信息提取、将人脸血谱信息打包并发送给血谱心理生理分析器；血谱心理生理分析器用于接收人脸血谱信息包、按照时序组合血谱信息，进行生理指标分析和心理指标分析，将分析出的指标发送给综合评估器；综合评估器用于接收量表测试器发送的量表测试结果，接收血谱心理生理分析器发送的心理生理分析指标，综合展示量表指标及基于人脸视频分析的心理生理分析指标。

Description

基于人脸视频的心理生理分析与量表测试结合的装置及方法
技术领域
本发明属于心理测试技术领域，具体涉及一种基于人脸视频的心理生理分析与量表测试结合的装置及方法。
背景技术
随着社会的快速发展，生活节奏的加快，心理健康越来越得到社会和个体的重视。当前的心理健康的评估都是采用量表测试的方式进行的，国内外都有非常多的已经成熟应用的量表。
对于量表的解释如下，一套量表，包含若干个问题，不同的量表的问题数量不同，每一个问题有若干个答案供被测人员选择，一般为单选题也可能是多选题，一套量表会定义若干个计分因子，每一个问题会归入一个或者若干个计分因子，一个问题的不同答案具有不同的计分权重。根据被测人员的答题得到不同因子的总分。每一个因子的不同分值段具有不同的评估结论，这些评估结论是通过设计量表阶段通过大量的样本测试得到的。被测人员一般采用纸质或者电子文档的方式进行答题。但是量表的答题过程具有一定的主观性，甚至存在部分刻意作假的情况。因此心理健康的评估需要一种客观的通过生理检测来评估的方法。
发明内容
鉴于以上存在的技术问题，本发明用于提供一种基于人脸视频的心理生理分析与量表测试结合的装置及方法，应用于被测人员在进行电子化量表测试，得到量表评估指标的过程中同时通过摄像头进行人脸视频采样，并进行人脸血谱分析，得到客观的基于生理状态的心理评估指标。
为解决上述技术问题，本发明采用如下的技术方案：
本发明的一方面提供了一种基于人脸视频的心理生理分析与量表测试结合的装置，包括摄像头、量表测试器、人脸采集器、血谱心理生理分析器以及综合评估器，其中，
量表测试器包括量表答题模块、量表指标分析模块和量表自适应调节模块；
所述人脸采集器用于通过摄像头获取实时视频流、进而进行人脸检测跟踪、人脸特征点位分析、人脸血谱信息提取、将人脸血谱信息打包并发送给血谱心理生理分析器；
所述血谱心理生理分析器用于接收人脸血谱信息包、按照时序组合血谱信息，进行生理指标分析和心理指标分析，将分析出的指标发送给综合评估器；
所述综合评估器用于接收量表测试器发送的量表测试结果，接收血谱心理生理分析器发送的心理生理分析指标，综合展示量表指标及基于人脸视频分析的心理生理分析指标。
优选地，所述量表答题模块用于在量表测试区按照顺序在问题区块显示每一个问题，在答题区块显示每一个答案选项，被测人员在答题区块选择答案，并提交进入下一个问题，直到整个量表测试结束，并将每一个问题的答案以及每一个问题的开始播放时间，答题时间，提交时间以及所选答案发送给量表指标分析模块。
优选地，所述量表指标分析模块用于负责计算各题的量表因子分值得到量表各因子总分值，并根据各因子总分值返回分析得到的量表结论，在计算每一题的量表因子分值的时候还可以根据答题时间-开始播放时间的差值，以及提交时间-答题时间的差值，形成每一题的答题反应速度指标。
优选地，所述量表自适应调节模块用于首先对该套量表的历史测试记录进行机器学习，学习的内容包括每一个问题的开始播放时间，答题时间，提交时间以及所选答案，得到答题速度、提交速度和所选答案数据，进行大数据分析。
优选地，进行大数据分析包括进行测试记录学习，学习的测试记录包括该套量表的所有测试人员以及每一个测试人员的每一次测试，根据大数据分析结果对原先的量表进行简化，形成精简后的小量表。
优选地，综合展示量表指标及基于人脸视频分析的心理生理分析指标为按总结论展示，展示量表的各因子总分值和各因子的结论，以及整个量表答题过程中的心理生理指标曲线，以及均值、最高、最低、方差以及结论，心理生理指标包括心理压力、心率、呼吸率、血压。
优选地，综合展示量表指标及基于人脸视频分析的心理生理分析指标为按过程展示，按照答题过程的时序进行展示，展示内容包括每一个问题的答案，分值和归属因子以及这个问题整个答题过程中的心理生理指标时序曲线，并在时序上标记问题的出现时间、答题时间、提交时间，心理生理指标曲线包括心理压力、心率、呼吸率、血压。
本发明是又一方面提供了一种基于人脸视频的心理生理分析与量表测试结合的方法，应用于包括摄像头、量表测试器、人脸采集器、血谱心理生理分析器以及综合评估器的测试系统，其中，
量表测试器包括量表答题模块、量表指标分析模块和量表自适应调节模块，采用量表答题模块在量表测试区按照顺序在问题区块显示每一个问题，在答题区块显示每一个答案选项，被测人员在答题区块选择答案，并提交进入下一个问题，直到整个量表测试结束，并将每一个问题的答案以及每一个问题的开始播放时间，答题时间，提交时间以及所选答案发送给量表指标分析模块；采用量表指标分析模块负责计算各题的量表因子分值得到量表各因子总分值，并根据各因子总分值返回分析得到的量表结论，在计算每一题的量表因子分值的时候还可以根据答题时间-开始播放时间的差值，以及提交时间-答题时间的差值，形成每一题的答题反应速度指标；采用量表自适应调节模块首先对该套量表的历史测试记录进行机器学习，学习的内容包括每一个问题的开始播放时间，答题时间，提交时间以及所选答案，得到答题速度、提交速度和所选答案数据，进行大数据分析；
采用人脸采集器通过摄像头获取实时视频流，进而进行人脸检测跟踪、人脸特征点位分析、人脸血谱信息提取、将人脸血谱信息打包并发送给血谱心理生理分析器；
采用血谱心理生理分析器接收人脸血谱信息包、按照时序组合血谱信息，进行生理指标分析和心理指标分析，将分析出的指标发送给综合评估器；
采用综合评估器用于接收量表测试器发送的量表测试结果，接收血谱心理生理分析器发送的心理生理分析指标，综合展示量表指标及基于人脸视频分析的心理生理分析指标。
优选地，综合展示量表指标及基于人脸视频分析的心理生理分析指标为按总结论展示，展示量表的各因子总分值和各因子的结论，以及整个量表答题过程中的心理生理指标曲线，以及均值、最高、最低、方差以及结论，心理生理指标包括心理压力、心率、呼吸率、血压。
优选地，综合展示量表指标及基于人脸视频分析的心理生理分析指标为按过程展示，按照答题过程的时序进行展示，展示内容包括每一个问题的答案，分值和归属因子以及这个问题整个答题过程中的心理生理指标时序曲线，并在时序上标记问题的出现时间、答题时间、提交时间，心理生理指标曲线包括心理压力、心率、呼吸率、血压。
采用本发明具有如下的有益效果：
(1)在一次测试过程中可以同时得到具有一定主观性的量表的分析结论和基于人脸视频分析得到的客观的生理、心理分析结论；
(2)可以对量表结论和人脸视频分析结论进行互相佐证，当两者结论指向一致时结论更加具有说服力；
(3)在人脸视频分析得到的生理、心理分析结论基础上，可以通过专项量表测试进行心理问题的细分筛选；
(4)通过量表自适应调节模块，可以将问题数量较多的量表转换为问题数量少的小量表，减少量表答题时间。
附图说明
图1为本发明实施例的基于人脸视频的心理生理分析与量表测试结合的装置的结构示意图；
图2为本发明实施例的基于人脸视频的心理生理分析与量表测试结合的装置的摄像头、人脸定位区和量表测试区的位置示意图；
图3为本发明实施例的基于人脸视频的心理生理分析与量表测试结合的装置中量表测试器的模块示意图；
图4为本发明实施例的基于人脸视频的心理生理分析与量表测试结合的装置中人脸采集器的工作流程图；
图5为本发明实施例的基于人脸视频的心理生理分析与量表测试结合的装置中血谱心理生理分析器的工作流程图；
图6为本发明实施例的基于人脸视频的心理生理分析与量表测试结合的装置中按总结论展示示意图；
图7为本发明实施例的基于人脸视频的心理生理分析与量表测试结合的装置中按过程展示示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，所示为本发明实施例的基于人脸视频的心理生理分析与量表测试结合的装置的结构示意图，包括摄像头、量表测试器、人脸采集器、血谱心理生理分析器以及综合评估器，其中，量表测试器包括量表答题模块、量表指标分析模块和量表自适应调节模块；人脸采集器用于通过摄像头获取实时视频流、进而进行人脸检测跟踪、人脸特征点位分析、人脸血谱信息提取、将人脸血谱信息打包并发送给血谱心理生理分析器；血谱心理生理分析器用于接收人脸血谱信息包、按照时序组合血谱信息，进行生理指标分析和心理指标分析，将分析出的指标发送给综合评估器；综合评估器用于接收量表测试器发送的量表测试结果，接收血谱心理生理分析器发送的心理生理分析指标，综合展示量表指标及基于人脸视频分析的心理生理分析指标。基于人脸视频的心理生理分析可以在进行量表答题过程中同时进行，也可以在量表答题前或者后单独进行。
其中，以上基于人脸视频的心理生理分析与量表测试结合的装置的硬件组成可以非常灵活，摄像头、量表测试器、人脸采集器、血谱心理生理分析器可以集成在一台硬件设备上，也可以根据需要分别配置或者组合集成在不同的硬件设备上。摄像头可以是独立摄像机也可以是集成在硬件设备上的集成摄像头。比如硬件形态及组成方式一：装置的硬件组成可以是一台带摄像头的平板电脑或者手机，平板电脑或者手机上集成了摄像头并且集成了量表测试器、人脸采集器和综合评估器，另外有一台服务器集成血谱心理生理分析器。硬件形态及组成方式二：一台集成摄像头的PC机集成摄像头、量表测试器、人脸采集器、综合评估器以及血谱心理生理分析器，其中血谱心理生理分析器也可以单独集成在一台服务器中。硬件形态及组成方式三：一个独立摄像头、一台PC机集成量表测试器、人脸采集器和综合评估器以及血谱心理生理分析器，其中血谱心理生理分析器也可以单独集成在一台服务器中。
本装置的摄像头可以是USB摄像头也可以是网络摄像头，可以是100万像素、200万像素或者更高像素的摄像头。
参见图2，在进行测试时候的操作界面，分为人脸定位区和量表测试区，其中人脸定位区显示摄像头实时抓拍的人脸视频，根据需要人脸定位区也可以隐藏在后台不显示。量表测试区主要进行量表测试，一般包括问题区块和答题区块以及其他需要的内容展示。
具体应用实例中，参见图3，量表测试器主要包括量表答题模块、量表指标分析模块、量表自适应调节模块。量表答题模块是在量表测试区按照顺序在问题区块显示每一个问题，在答题区块显示每一个答案选项，被测人员在答题区块选择答案，并提交进入下一个问题，直到整个量表测试结束。并将每一个问题的答案以及每一个问题的开始播放时间，答题时间，提交时间以及所选答案发送给量表指标分析模块。量表指标分析模块，负责计算各题的量表因子分值得到量表各因子总分值，并根据各因子总分值返回分析得到的量表结论。在计算每一题的量表因子分值的时候还可以根据答题时间-开始播放时间的差值，以及提交时间-答题时间的差值，形成每一题的答题反应速度指标(答题速度，提交速度)。量表自适应调节模块，首先对该套量表的历史测试记录进行机器学习，学习的内容包括每一个问题的开始播放时间，答题时间，提交时间以及所选答案，得到答题速度、提交速度和所选答案等数据，进行大数据分析。学习的测试记录包括该套量表的所有测试人员以及每一个测试人员的每一次测试。根据大数据分析结果对原先的量表进行简化，形成精简后的小量表。比如每一个问题所有测试人员都选择同一个答案，并且答题速度和提交速度均比较快，并且答题速度和提交速度的方差比较小，那么这个问题应用在团体测试的时候可以被精简。比如某一个问题某个测试人员历史测试均选择的是同一个答案，并且答题速度和提交速度均比较快，并且答题速度和提交速度的方差比较小，那么这个问题应用在这个测试人员的测试的时候可以被精简。
量表自适应调节可以针对一套量表的团体进行自适应调节，也可以针对一套量表的单个测试人员进行自适应调节。
具体应用实例中，参见图4，人脸采集器的工作流程如下：
获取实时视频流：人脸采集器从摄像头获取实时视频流(每秒30帧或者 25帧、50帧、60帧)；
人脸检测跟踪：进行人脸检测、跟踪，获得每一帧的人脸检测框以及人脸转动的角度；
人脸特征点位分析：进行人脸特征点位分析，获得每一帧人脸的特征点位的坐标值，特征点位包括人脸轮廓、嘴唇、鼻子、眼眶、眉毛、额头等；
人脸血谱信息提取：进行人脸血谱信息提取，对每一帧获取特定区块的 RGB或者灰度值，具体的区块根据生理和心理指标需要选择不同的区块；
人脸血谱信息打包：每一次打包的时长可以根据需要进行定义；判断是否到打包时长，若达到打包时长，则将一定时长的特定区块的RGB或者灰度值按照时间顺序进行排序打包形成血谱信息；若未达到打包时长，则继续进行获取视频流的步骤；
发送给血谱心理生理分析器；
判断是否停止采样，若停止，则流程结束；若不停止，继续进行获取视频流的步骤。
具体应用实例中，参见图5，血谱生理分析仪的具体工作过程如下：
接收人脸血谱信息包：接收人脸采集器发送的打包血谱信息；
按照时序组合血谱信息：将若干个包按照时间顺序拼接组成更长的血谱信息，具体的长度根据心理生理指标的分析要求确定；
生理指标分析：若满足检测时长要求，进行生理指标的分析，包括心率、呼吸、血压等生理指标，具体分析哪些指标根据需要进行定义，比如对于心率生理指标，将上述血谱信息进行多级滤波以及傅里叶频谱分析等方法获得心率该时间段的心率变动曲线；若未满足检测时长要求，继续接收人脸血谱信息包；
心理指标分析：进行心理指标的分析，比如通过心率变异性的频域、时域以及统计类指标进行建模获得这个时间片段内的心理压力综合指标；
发送给综合评估器，结束流程。
综合展示量表指标及基于人脸视频分析的心理生理分析指标，展示方法可以有多种。参见图6和图7，示例性的给出了按总结论和按过程展示。
参见图6，按总结论展示，展示量表的各因子总分值和各因子的结论，以及整个量表答题过程中的心理生理指标曲线，以及均值、最高、最低、方差等以及结论，心理生理指标可以是心理压力、心率、呼吸率、血压等。
参见图7，按过程展示，则按照答题过程的时序进行展示，展示内容包括每一个问题的答案，分值和归属因子以及这个问题整个答题过程中的心理生理指标时序曲线，并在时序上标记问题的出现时间、答题时间、提交时间。心理生理指标曲线可以是心理压力、心率、呼吸率、血压等。
与本发明装置实施例对应的，本发明提供了一种基于人脸视频的心理生理分析与量表测试结合的方法，应用于包括摄像头、量表测试器、人脸采集器、血谱心理生理分析器以及综合评估器的测试系统，其中，
参见图3，量表测试器包括量表答题模块、量表指标分析模块和量表自适应调节模块，采用量表答题模块在量表测试区按照顺序在问题区块显示每一个问题，在答题区块显示每一个答案选项，被测人员在答题区块选择答案，并提交进入下一个问题，直到整个量表测试结束，并将每一个问题的答案以及每一个问题的开始播放时间，答题时间，提交时间以及所选答案发送给量表指标分析模块；采用量表指标分析模块负责计算各题的量表因子分值得到量表各因子总分值，并根据各因子总分值返回分析得到的量表结论，在计算每一题的量表因子分值的时候还可以根据答题时间-开始播放时间的差值，以及提交时间-答题时间的差值，形成每一题的答题反应速度指标；采用量表自适应调节模块首先对该套量表的历史测试记录进行机器学习，学习的内容包括每一个问题的开始播放时间，答题时间，提交时间以及所选答案，得到答题速度、提交速度和所选答案数据，进行大数据分析；采用人脸采集器通过摄像头获取实时视频流，进而进行人脸检测跟踪、人脸特征点位分析、人脸血谱信息提取、将人脸血谱信息打包并发送给血谱心理生理分析器；采用血谱心理生理分析器接收人脸血谱信息包、按照时序组合血谱信息，进行生理指标分析和心理指标分析，将分析出的指标发送给综合评估器；采用综合评估器用于接收量表测试器发送的量表测试结果，接收血谱心理生理分析器发送的心理生理分析指标，综合展示量表指标及基于人脸视频分析的心理生理分析指标。基于人脸视频的心理生理分析可以在进行量表答题过程中同时进行，也可以在量表答题前或者后单独进行。
进一步，具体应用实例中，具体应用实例中，参见图4，人脸采集器的工作流程如下：
获取实时视频流：人脸采集器从摄像头获取实时视频流(每秒30帧或者 25帧、50帧、60帧)；
人脸检测跟踪：进行人脸检测、跟踪，获得每一帧的人脸检测框以及人脸转动的角度；
人脸特征点位分析：进行人脸特征点位分析，获得每一帧人脸的特征点位的坐标值，特征点位包括人脸轮廓、嘴唇、鼻子、眼眶、眉毛、额头等；
人脸血谱信息提取：进行人脸血谱信息提取，对每一帧获取特定区块的 RGB或者灰度值，具体的区块根据生理和心理指标需要选择不同的区块；
人脸血谱信息打包：每一次打包的时长可以根据需要进行定义；判断是否到打包时长，若达到打包时长，则将一定时长的特定区块的RGB或者灰度值按照时间顺序进行排序打包形成血谱信息；若未达到打包时长，则继续进行获取视频流的步骤；
发送给血谱心理生理分析器；
判断是否停止采样，若停止，则流程结束；若不停止，继续进行获取视频流的步骤。
具体应用实例中，参见图5，血谱生理分析仪的具体工作过程如下：
接收人脸血谱信息包：接收人脸采集器发送的打包血谱信息；
按照时序组合血谱信息：将若干个包按照时间顺序拼接组成更长的血谱信息，具体的长度根据心理生理指标的分析要求确定；
生理指标分析：若满足检测时长要求，进行生理指标的分析，包括心率、呼吸、血压等生理指标，具体分析哪些指标根据需要进行定义，比如对于心率生理指标，将上述血谱信息进行多级滤波以及傅里叶频谱分析等方法获得心率该时间段的心率变动曲线；若未满足检测时长要求，继续接收人脸血谱信息包；
心理指标分析：进行心理指标的分析，比如通过心率变异性的频域、时域以及统计类指标进行建模获得这个时间片段内的心理压力综合指标；
发送给综合评估器，结束流程。
综合展示量表指标及基于人脸视频分析的心理生理分析指标，展示方法可以有多种。参见图6和图7，示例性的给出了按总结论和按过程展示。
参见图6，按总结论展示，展示量表的各因子总分值和各因子的结论，以及整个量表答题过程中的心理生理指标曲线，以及均值、最高、最低、方差等以及结论，心理生理指标包括心理压力、心率、呼吸率、血压等。
参见图7，按过程展示，则按照答题过程的时序进行展示，展示内容包括每一个问题的答案，分值和归属因子以及这个问题整个答题过程中的心理生理指标时序曲线，并在时序上标记问题的出现时间、答题时间、提交时间。心理生理指标曲线可以是心理压力、心率、呼吸率、血压等。
应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。

Claims (10)

1.一种基于人脸视频的心理生理分析与量表测试结合的装置，其特征在于，包括摄像头、量表测试器、人脸采集器、血谱心理生理分析器以及综合评估器，其中，
量表测试器包括量表答题模块、量表指标分析模块和量表自适应调节模块；
所述人脸采集器用于通过摄像头获取实时视频流、进而进行人脸检测跟踪、人脸特征点位分析、人脸血谱信息提取、将人脸血谱信息打包并发送给血谱心理生理分析器；
所述血谱心理生理分析器用于接收人脸血谱信息包、按照时序组合血谱信息，进行生理指标分析和心理指标分析，将分析出的指标发送给综合评估器；
所述综合评估器用于接收量表测试器发送的量表测试结果，接收血谱心理生理分析器发送的心理生理分析指标，综合展示量表指标及基于人脸视频分析的心理生理分析指标。
2.如权利要求1所述的基于人脸视频的心理生理分析与量表测试结合的装置，其特征在于，所述量表答题模块用于在量表测试区按照顺序在问题区块显示每一个问题，在答题区块显示每一个答案选项，被测人员在答题区块选择答案，并提交进入下一个问题，直到整个量表测试结束，并将每一个问题的答案以及每一个问题的开始播放时间，答题时间，提交时间以及所选答案发送给量表指标分析模块。
3.如权利要求2所述的基于人脸视频的心理生理分析与量表结合的装置，其特征在于，所述量表指标分析模块用于负责计算各题的量表因子分值得到量表各因子总分值，并根据各因子总分值返回分析得到的量表结论，在计算每一题的量表因子分值的时候还可以根据答题时间-开始播放时间的差值，以及提交时间-答题时间的差值，形成每一题的答题反应速度指标。
4.如权利要求3所述的基于人脸视频的心理生理分析与量表结合的装置，其特征在于，所述量表自适应调节模块用于首先对该套量表的历史测试记录进行机器学习，学习的内容包括每一个问题的开始播放时间，答题时间，提交时间以及所选答案，得到答题速度、提交速度和所选答案数据，进行大数据分析。
5.如权利要求4所述的基于人脸视频的心理生理分析与量表结合的装置，其特征在于，进行大数据分析包括进行测试记录学习，学习的测试记录包括该套量表的所有测试人员以及每一个测试人员的每一次测试，根据大数据分析结果对原先的量表进行简化，形成精简后的小量表。
6.如权利要求1所述的基于人脸视频的心理生理分析与量表结合的装置，其特征在于，综合展示量表指标及基于人脸视频分析的心理生理分析指标为按总结论展示，展示量表的各因子总分值和各因子的结论，以及整个量表答题过程中的心理生理指标曲线，以及均值、最高、最低、方差以及结论，心理生理指标包括心理压力、心率、呼吸率、血压。
7.如权利要求1所述的基于人脸视频的心理生理分析与量表结合的装置，其特征在于，综合展示量表指标及基于人脸视频分析的心理生理分析指标为按过程展示，按照答题过程的时序进行展示，展示内容包括每一个问题的答案，分值和归属因子以及这个问题整个答题过程中的心理生理指标时序曲线，并在时序上标记问题的出现时间、答题时间、提交时间，心理生理指标曲线包括心理压力、心率、呼吸率、血压。
8.一种基于人脸视频的心理生理分析与量表测试结合的方法，其特征在于，应用于包括摄像头、量表测试器、人脸采集器、血谱心理生理分析器以及综合评估器的测试系统，其中，
量表测试器包括量表答题模块、量表指标分析模块和量表自适应调节模块，采用量表答题模块在量表测试区按照顺序在问题区块显示每一个问题，在答题区块显示每一个答案选项，被测人员在答题区块选择答案，并提交进入下一个问题，直到整个量表测试结束，并将每一个问题的答案以及每一个问题的开始播放时间，答题时间，提交时间以及所选答案发送给量表指标分析模块；采用量表指标分析模块负责计算各题的量表因子分值得到量表各因子总分值，并根据各因子总分值返回分析得到的量表结论，在计算每一题的量表因子分值的时候还可以根据答题时间-开始播放时间的差值，以及提交时间-答题时间的差值，形成每一题的答题反应速度指标；采用量表自适应调节模块首先对该套量表的历史测试记录进行机器学习，学习的内容包括每一个问题的开始播放时间，答题时间，提交时间以及所选答案，得到答题速度、提交速度和所选答案数据，进行大数据分析；
采用人脸采集器通过摄像头获取实时视频流，进而进行人脸检测跟踪、人脸特征点位分析、人脸血谱信息提取、将人脸血谱信息打包并发送给血谱心理生理分析器；
采用血谱心理生理分析器接收人脸血谱信息包、按照时序组合血谱信息，进行生理指标分析和心理指标分析，将分析出的指标发送给综合评估器；
采用综合评估器用于接收量表测试器发送的量表测试结果，接收血谱心理生理分析器发送的心理生理分析指标，综合展示量表指标及基于人脸视频分析的心理生理分析指标。
9.如权利要求8所述的基于人脸视频的心理生理分析与量表结合的方法，其特征在于，综合展示量表指标及基于人脸视频分析的心理生理分析指标为按总结论展示，展示量表的各因子总分值和各因子的结论，以及整个量表答题过程中的心理生理指标曲线，以及均值、最高、最低、方差以及结论，心理生理指标包括心理压力、心率、呼吸率、血压。
10.如权利要求8所述的基于人脸视频的心理生理分析与量表结合的方法，其特征在于，综合展示量表指标及基于人脸视频分析的心理生理分析指标为按过程展示，按照答题过程的时序进行展示，展示内容包括每一个问题的答案，分值和归属因子以及这个问题整个答题过程中的心理生理指标时序曲线，并在时序上标记问题的出现时间、答题时间、提交时间，心理生理指标曲线包括心理压力、心率、呼吸率、血压。
CN201910842517.8A 2019-09-06 2019-09-06 基于人脸视频的心理生理分析与量表测试结合的装置及方法 Pending CN110729047A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910842517.8A CN110729047A (zh) 2019-09-06 2019-09-06 基于人脸视频的心理生理分析与量表测试结合的装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910842517.8A CN110729047A (zh) 2019-09-06 2019-09-06 基于人脸视频的心理生理分析与量表测试结合的装置及方法

Publications (1)

Publication Number Publication Date
CN110729047A true CN110729047A (zh) 2020-01-24

Family

ID=69217883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910842517.8A Pending CN110729047A (zh) 2019-09-06 2019-09-06 基于人脸视频的心理生理分析与量表测试结合的装置及方法

Country Status (1)

Country Link
CN (1) CN110729047A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907348A (zh) * 2021-01-14 2021-06-04 中国工商银行股份有限公司 移动终端、线上面审数据处理方法、装置及系统
CN112971746A (zh) * 2021-03-31 2021-06-18 重庆风云际会智慧科技有限公司 一种心理测评系统
CN113080968A (zh) * 2021-03-29 2021-07-09 中国人民解放军联勤保障部队第九六〇医院 基于心率变异性的综合性心理状态测评系统
CN115281675A (zh) * 2022-08-25 2022-11-04 济南大学 一种用于心理测评的作答手柄、心理测评系统及使用方法
CN115607156A (zh) * 2022-10-21 2023-01-17 厦门诸格量科技有限公司 基于多模态的心理认知筛查测评方法、系统及存储介质
CN116030960A (zh) * 2022-12-22 2023-04-28 中国人民解放军海军特色医学中心 一种基于人脸识别技术的生理心理指标分析系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104856704A (zh) * 2015-03-31 2015-08-26 鲍崇智 主客观相结合的心理测评方法及系统
CN105989357A (zh) * 2016-01-18 2016-10-05 合肥工业大学 一种基于人脸视频处理的心率检测方法
CN107273420A (zh) * 2017-05-12 2017-10-20 矩维软件（上海）有限公司 一种支持多维度、可自定义的心理测评量表生成系统
CN108245176A (zh) * 2017-12-07 2018-07-06 江苏大学 基于物联网交互式无接触心理检测治疗装置、系统及方法
KR101911516B1 (ko) * 2017-12-26 2018-10-24 (주)에프앤아이 사용자의 심리 상태 데이터를 획득하고 사용자의 심리 상태를 판단하고 피드백을 제공하는 방법 및 이를 이용한 서버
CN109903096A (zh) * 2019-03-05 2019-06-18 上海硕恩网络科技股份有限公司 一种基于社交平台的金融消费心理测试校验方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104856704A (zh) * 2015-03-31 2015-08-26 鲍崇智 主客观相结合的心理测评方法及系统
CN105989357A (zh) * 2016-01-18 2016-10-05 合肥工业大学 一种基于人脸视频处理的心率检测方法
CN107273420A (zh) * 2017-05-12 2017-10-20 矩维软件（上海）有限公司 一种支持多维度、可自定义的心理测评量表生成系统
CN108245176A (zh) * 2017-12-07 2018-07-06 江苏大学 基于物联网交互式无接触心理检测治疗装置、系统及方法
KR101911516B1 (ko) * 2017-12-26 2018-10-24 (주)에프앤아이 사용자의 심리 상태 데이터를 획득하고 사용자의 심리 상태를 판단하고 피드백을 제공하는 방법 및 이를 이용한 서버
CN109903096A (zh) * 2019-03-05 2019-06-18 上海硕恩网络科技股份有限公司 一种基于社交平台的金融消费心理测试校验方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
都伊林: "《智能安防新发展与应用》", 31 May 2018, 华中科技大学出版社 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907348A (zh) * 2021-01-14 2021-06-04 中国工商银行股份有限公司 移动终端、线上面审数据处理方法、装置及系统
CN113080968A (zh) * 2021-03-29 2021-07-09 中国人民解放军联勤保障部队第九六〇医院 基于心率变异性的综合性心理状态测评系统
CN112971746A (zh) * 2021-03-31 2021-06-18 重庆风云际会智慧科技有限公司 一种心理测评系统
CN115281675A (zh) * 2022-08-25 2022-11-04 济南大学 一种用于心理测评的作答手柄、心理测评系统及使用方法
CN115607156A (zh) * 2022-10-21 2023-01-17 厦门诸格量科技有限公司 基于多模态的心理认知筛查测评方法、系统及存储介质
CN115607156B (zh) * 2022-10-21 2023-06-27 厦门诸格量科技有限公司 基于多模态的心理认知筛查测评方法、系统及存储介质
CN116030960A (zh) * 2022-12-22 2023-04-28 中国人民解放军海军特色医学中心 一种基于人脸识别技术的生理心理指标分析系统及方法

Similar Documents

Publication Publication Date Title
CN110729047A (zh) 基于人脸视频的心理生理分析与量表测试结合的装置及方法
US20230056506A1 (en) Systems and methods for assessing and improving sustained attention
CN107126222B (zh) 一种认知能力测评系统及其测评方法
CN108090688B (zh) 智能健身管理系统
Ognev et al. Validity of cardiometric performance data: an integral part of complex assessment of training session effectiveness
KR101244818B1 (ko) 온라인 기반 인지기능 장애평가 서비스 방법 및 시스템
CN105147304B (zh) 一种人格特质值测验的刺激信息编制方法
CN109983505A (zh) 人物动向记录装置、人物动向记录方法及程序
CN109199410B (zh) 一种基于眼部运动的言语认知评估方法
CN105310703B (zh) 一种基于用户瞳孔直径数据获取主观满意度的方法
CN108171437B (zh) 一种心理学职业能力测评系统
CN112907054A (zh) 一种基于ai与大数据分析的教学质量评估系统
WO2019141017A1 (zh) 一种人体感官数据测量系统及方法
CN115607153B (zh) 一种基于眼动追踪的心理量表回答质量评估系统及方法
CN113647950A (zh) 心理情绪检测方法及系统
CN110876611A (zh) 一种老年人群神经认知障碍远程评测方法
CN105078481B (zh) 一种纳秒级反馈数据采集与统计分析方法
CN117252867A (zh) 一种基于图像识别的vr设备生产产品质量监测分析方法
TW201913546A (zh) 心理與行為狀態評量暨診斷方法及系統
CN107468206A (zh) 一种基于瞳孔直径的立体观看视疲劳预测方法
JP7392259B2 (ja) 学習支援装置、学習支援方法およびプログラム
CN115497621A (zh) 一种老年人认知状况测评系统
CN109009094A (zh) 基于脑电信号kc复杂度的视觉诱导晕动症检测方法
CN104992080B (zh) 一种潜能值测验的刺激信息编制方法
US10342421B2 (en) Method for measuring visual acuity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200124

RJ01 Rejection of invention patent application after publication