CN114305418A - 一种用于抑郁状态智能评估的数据采集系统及方法 - Google Patents
一种用于抑郁状态智能评估的数据采集系统及方法 Download PDFInfo
- Publication number
- CN114305418A CN114305418A CN202111558152.XA CN202111558152A CN114305418A CN 114305418 A CN114305418 A CN 114305418A CN 202111558152 A CN202111558152 A CN 202111558152A CN 114305418 A CN114305418 A CN 114305418A
- Authority
- CN
- China
- Prior art keywords
- data
- obtaining unit
- information
- tester
- evaluation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000003044 adaptive effect Effects 0.000 claims abstract description 20
- 238000011157 data evaluation Methods 0.000 claims abstract description 14
- 238000013500 data storage Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000013480 data collection Methods 0.000 claims abstract description 9
- 238000012360 testing method Methods 0.000 claims description 36
- 238000003062 neural network model Methods 0.000 claims description 30
- 230000008921 facial expression Effects 0.000 claims description 23
- 230000005021 gait Effects 0.000 claims description 14
- 230000004424 eye movement Effects 0.000 claims description 10
- 208000020401 Depressive disease Diseases 0.000 claims description 9
- 239000003086 colorant Substances 0.000 claims description 9
- 230000007935 neutral effect Effects 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 238000000819 phase cycle Methods 0.000 claims description 2
- 238000003745 diagnosis Methods 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 201000010099 disease Diseases 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 208000030814 Eating disease Diseases 0.000 description 1
- 208000019454 Feeding and Eating disease Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 235000014632 disordered eating Nutrition 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007794 irritation Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开一种用于抑郁状态智能评估的数据采集系统及方法，包括数据采集模块、数据评估模块及数据存储模块；数据采集模块用于采集测试者的生理信息数据；数据评估模块对数据进行实时评估并调整数据采集模块的工作模式；数据存储模块用于存储数据供后续进行抑郁状态评估；数据采集模块包括第一特征获得单元、第二特征获得单元、第三特征获得单元、第四特征获得单元和第五特征获得单元；数据评估模块包括第一评估值获得单元、第二评估值获得单元和自适应单元。本发明实时采集测试者的生理信息数据，在数据采集过程中根据已获得的数据实时自适应性地调整数据采集策略，以便获得最能反映测试者真实抑郁状态的数据，提高智能评估的准确性。
Description
技术领域
本发明涉及一种数据采集系统及方法，具体涉及一种用于抑郁状态智能评估的数据采集系统及方法。
背景技术
当前抑郁症已经成为世界第四大疾病，预计将成为仅次于心脏病的人类第二大疾患。
在抑郁症的诊断中，可使用抑郁症自评量表进行简单的自评，但进一步确认必须由医生根据量表或诊断标准询问患者最近2周内的精神状态，并根据经验分析患者状况，或者直接根据患者身体状况的临床表现做出诊断。这些诊断方式以主观评判为主，缺少客观评判标准，容易引起误诊断，需要花费大量的医疗和人力资源。
据有关调查，抑郁症患者在肢体协调、语音语调、表情控制、步态姿势、眼动变化等方面会有较为明显的异于正常人的特征，随着人工智能技术的应用与发展，通过采集抑郁症患者的特定特征数据并进行智能化分析，从而自动判断抑郁症患者的抑郁状态成为可能。现有技术中，出现一些关于抑郁症的诊断或评估系统，结合诊断或评估系统的辅助使用，以便提高医生对患者的抑郁病等级的判断，诊断过程更加客观。例如，申请公布号为CN111743552 A的发明专利申请公开的“心理测量与干预系统及方法”，该系统包括第一评估值获得单元，实时采集被评估者观看多个图像信息时产生的多个眼动轨迹，根据所述多个眼动轨迹获得第一评估值；第二评估值获得单元，实时采集所述被评估者填写多个量表时产生的多个量表信息，根据所述多个量表信息获得第二评估值；中央处理单元，将所述第一评估值与所述第二评估值进行整合获得评估结果；模拟场景输出单元，当所述评估结果反映所述被评估者存在心理问题时，所述中央处理单元输出控制信号控制所述模拟场景输出单元输出对应所述评估结果的模拟场景对所述被评估者进行心理干预。但是现有技术中的诊断、评估系统中，对评估者生理信息数据进行采集时，采用固定的采集顺序或刺激模式来完成，无法根据不同评估者的自身情况进行适应调整，影响后续评估结果的准确性。
发明内容
本发明目的在于克服现有技术的不足，提供一种用于抑郁状态智能评估的数据采集系统，该系统能够实时采集测试者的生理信息数据，并在数据采集过程中根据已获得的数据实时自适应性地调整数据采集策略，以便获得最能反映测试者真实抑郁状态的数据，提高后续智能评估结果的准确性。
本发明的另一个目的在于提供一种用于抑郁状态智能评估的数据采集方法。
本发明的目的通过以下技术方案实现：
一种用于抑郁状态智能评估的数据采集系统，其特征在于，包括数据采集模块、数据评估模块以及数据存储模块；其中，
所述数据采集模块，用于采集测试者在各个测试阶段的生理信息数据，并传送给数据存储模块；
所述数据评估模块用于在数据采集模块采集数据的过程中，对采集到的数据进行实时评估并调整数据采集模块的工作模式；
所述数据存储模块用于存储数据采集模块采集到的数据供后续进行抑郁状态智能评估；
所述数据采集模块包括：
第一特征获得单元，用于实时采集测试者行走时的视频数据，将采集到的视频数据放进预先训练好的神经网络模型中，输出测试者的基础信息并从中提取步态特征；所述基础信息包括年龄和性别；
第二特征获得单元，用于实时采集测试者回答多个问题时产生的音频数据以及回答多个问题时的视频数据，将采集到的音频数据和视频数据放进预先训练好的神经网络模型中，提取语音特征和面部表情特征；
第三特征获得单元，用于实时采集测试者观看多个视频信息时产生的视频数据，将采集到的视频数据放进预先训练好的神经网络模型中提取面部表情特征和肢体动作特征；
第四特征获得单元，用于实时采集测试者观看多个图像信息时产生的视频数据，将采集到的视频数据放进预先训练好的神经网络模型中提取眼动特征；
第五特征获得单元，用于实时采集测试者阅读多个文字信息时产生的音频数据，将采集到的音频数据放进预先训练好的神经网络模型中提取语音特征；
所述数据评估模块包括：
第一评估值获得单元，实时采集测试者填写多个量表时产生的多个量表信息，根据所述多个量表信息获得第一抑郁状态评估值；
第二评估值获得单元，将所述第一特征获得单元的步态特征和第二特征获得单元的语音特征和面部表情特征进行拼接融合，获得第二抑郁状态评估值；
自适应单元，对测试者的基础信息、所述第一抑郁状态评估值以及所述第二抑郁状态评估值进行整合处理，获得自适应评估值；根据自适应评估值调整所述第三特征获得单元、所述第四特征获得单元以及所述第五特征获得单元的工作顺序或/和调整所述第三特征获得单元采集数据时的视频信息、所述第四特征获得单元采集数据时的图像信息以及所述第五特征获得单元采集数据时的文字信息中的一个或多个。
本发明的一个优选方案，其中，所述数据评估模块还包括基础评估值获得单元；
所述基础评估值获得单元，根据所述第一特征获得单元输出的基础信息获得基础评估值；
所述自适应单元根据所述基础评估值，对第二特征获得单元采集数据时的所述多个问题进行调整。
本发明的一个优选方案，所述数据评估模块中的自适应单元，采用加权算法对测试者的基础信息、所述第一抑郁状态评估值以及所述第二抑郁状态评估值进行整合处理。
本发明的一个优选方案，所述自适应评估值包括愉悦、中性、悲伤、愤怒。
优选地，当所述自适应评估值为愉悦或中性时，所述第三特征获得单元采集数据时的视频信息为带有愉悦色彩的视频，所述第四特征获得单元采集数据时的图片信息是以愉悦色彩为主、悲伤色彩为辅的图片，所述第五特征获得单元采集数据时的文字信息为中性内容以确保不会激发测试者改变当前抑郁状态的文字内容。
优选地，当所述自适应评估值为愤怒或悲伤时，测试者测试阶段顺序为：先阅读多个文字信息，再观看多个图像信息，最后观看多个视频信息；所述第三特征获得单元、所述第四特征获得单元以及所述第五特征获得单元的工作顺序为：第五特征获得单元、第四特征获得单元、第三特征获得单元；
并且，所述第五特征获得单元采集数据时的多个文字信息为中性内容以确保不会激发测试者去改变当前抑郁状态值，所述第四特征获得单元采集数据时的多个图片信息分为带有愉悦色彩图片和带有悲伤色彩图片两类，所述第三特征获得单元采集数据时的多个视频信息为带有愉悦色彩的视频。
一种用于抑郁状态智能评估的数据采集方法，其特征在于，包括以下步骤：
(1)实时采集测试者行走时的视频数据，将视频数据放进预先训练好的神经网络模型中，输出测试者的基本信息并从中提取步态特征；所述基本信息包括年龄和性别；
(2)实时采集测试者填写调整后的多个量表时产生的多个量表信息，根据所述多个量表信息获得测试者的第一抑郁状态评估值；
(3)实时采集测试者回答多个问题时产生的音频数据和视频数据，将音频数据和视频数据放进预先训练好的神经网络模型中，提取语音特征和面部表情特征；所述多个问题通过步骤(1)中的所述基本信息匹配获取；
(4)将步骤(1)中提取到的步态特征、步骤(3)中提取得到的语音特征和面部表情特征进行拼接处理，并将拼接结果作为输入放到图像、卷积神经网络中，最后再经过一层softmax层，获得第二抑郁状态评估值；
(5)根据所述第一抑郁状态评估值和所述第二抑郁状态评估值，对测试阶段的顺序或/和测试阶段的内容进行调整，并采集测试者在测试阶段的生理特征；
测试阶段包括观看视频信息阶段、观看图像信息阶段以及阅读文字信息阶段；
观看视频信息阶段，实时采集测试者观看多个视频信息时产生的视频数据，将视频数据放进预先训练好的神经网络模型中提取面部表情特征和肢体动作特征；
观看图像信息阶段，实时采集测试者观看多个图像信息时产生的视频数据，将视频数据放进预先训练好的神经网络模型中提取眼动特征；
阅读文字信息阶段，实时采集测试者阅读多个文字信息时产生的音频数据，将音频数据放进预先训练好的神经网络模型中提取语音特征；
(6)将步骤(1)-步骤(5)中采集到的各项数据进行整合，完成数据采集，并将各项数据传输至抑郁状态智能评估系统中。
本发明与现有技术相比具有以下有益效果：
1、本发明能够对测试者在进行抑郁状态评估过程中进行生理信息数据的实时采集，并根据前期的部分生理信息数据作出的抑郁状态评估值，对后期的测试阶段的顺序或/和测试阶段的内容进行调整，以使得测试者在后期的测试阶段的测试结果更加贴合测试者自身情况，从而有利于提高后续的抑郁状态智能评估结果。
2、本发明先对测试者的基础信息(包括年龄、性别)、回答多个问题时的特征数据(语音特征和面部表情特征)以及多个量表信息进行采集，随后作出作为测试阶段调整依据的第一抑郁状态评估值和第二抑郁状态评估值，以便系统能够根据测试者的当前情绪、当前抑郁状态等实时真实情况，对后续测试阶段进行调整，有利于提高后期测试阶段的调整智能度和准确度，自适应性地调整数据采集策略，以便获得最能反映测试者真实抑郁状态的数据，从而提高后续智能评估结果的准确性。
附图说明
图1为本发明的用于抑郁状态智能评估的数据采集系统的系统框图。
具体实施方式
下面结合实施例和附图对本发明作进一步描述，但本发明的实施方式不仅限于此。
参见图1，本实施例公开一种用于抑郁状态智能评估的数据采集系统，包括中央处理器、数据采集模块、数据评估模块以及数据存储模块等。
所述数据采集模块，用于采集测试者在各个测试阶段的生理信息数据，并通过有线或无线的方式将数据传送给数据存储模块。所述数据评估模块用于在数据采集模块采集数据的过程中，对采集到的数据进行实时评估并调整数据采集模块的工作模式。所述数据存储模块用于存储数据采集模块采集到的数据供后续进行抑郁状态智能评估。
所述数据采集模块包括：
第一特征获得单元，用于实时采集测试者行走时的视频数据，将采集到的视频数据放进预先训练好的神经网络模型中，输出测试者的基础信息并从中提取步态特征；所述基础信息包括年龄、性别、着装服饰、工作内容、日常兴趣、出生地等。其中，所述基础信息的获取，可通过测试者或测试者的陪同人或其他方式真实输入，以确保信息的准确度；基础信息越详细，则能够对后续的测试阶段的调整更有利，测试阶段的内容能够根据基础信息作出合理的调整。
第二特征获得单元，用于实时采集测试者回答多个问题时产生的音频数据以及回答多个问题时的视频数据，将采集到的音频数据和视频数据放进预先训练好的神经网络模型中，提取语音特征和面部表情特征。当测试者进行开放性问题回答时，视频数据与音频数据同时采集，实时地获取测试者在回答多个问题时的语音特征和面部表情特征。本实施例中，在测试者回答多个问题时，多个问题的内容可根据所述基础信息进行适当调整，从而能够通过更加贴合测试者的自身情况的问题反馈得到测试者的抑郁状态，并且能够更加准确地将语音特征和面部表情特征与问题的相关度进行结合。
第三特征获得单元，用于实时采集测试者观看多个视频信息时产生的视频数据，将采集到的视频数据放进预先训练好的神经网络模型中提取面部表情特征和肢体动作特征。
第四特征获得单元，用于实时采集测试者观看多个图像信息时产生的视频数据，将采集到的视频数据放进预先训练好的神经网络模型中提取眼动特征。
第五特征获得单元，用于实时采集测试者阅读多个文字信息时产生的音频数据，将采集到的音频数据放进预先训练好的神经网络模型中提取语音特征。
以上各个特征获得单元，均包括摄像头和录音器，以实现对视频数据的采集和语音数据的采集。
所述数据评估模块包括：
基础评估值获得单元，根据所述第一特征获得单元输出的基础信息获得基础评估值；
第一评估值获得单元，实时采集测试者填写多个量表时产生的多个量表信息，根据所述多个量表信息获得第一抑郁状态评估值。
第二评估值获得单元，将所述第一特征获得单元的步态特征和第二特征获得单元的语音特征和面部表情特征进行拼接融合，获得第二抑郁状态评估值；
自适应单元，根据所述基础评估值，对第二特征获得单元采集数据时的所述多个问题进行调整；同时，对测试者的基础信息、所述第一抑郁状态评估值以及所述第二抑郁状态评估值进行整合处理，获得自适应评估值，该自适应评估值包括愉悦、中性、悲伤、愤怒；根据自适应评估值调整所述第三特征获得单元、所述第四特征获得单元以及所述第五特征获得单元的工作顺序或/和调整所述第三特征获得单元采集数据时的视频信息、所述第四特征获得单元采集数据时的图像信息以及所述第五特征获得单元采集数据时的文字信息中的一个或多个。
上述第一抑郁状态评估值和第二状态评估值主要用于对数据采集模块中的所述第三特征获得单元、所述第四特征获得单元以及所述第五特征获得单元的工作模式(包括顺序和测试内容)进行调整；当然，此时获取得到的第一抑郁状态评估值和第二状态评估值也可作为参考数据，提供给抑郁状态智能评估系统，作为评估的数据之一。
本发明的一个优选方案，所述数据评估模块中的自适应单元，采用加权算法对测试者的基础信息、所述第一抑郁状态评估值以及所述第二抑郁状态评估值进行整合处理。例如，设定基础信息P0权重为10％，设定第一抑郁状态评估值P1权重为20％，第二抑郁状态评估值P2的权重为70％，则通过加权算法整合后得出自适应评估值P。其中，在本实施例中并不对整合算法进行限制，且设定第一抑郁状态评估值P1权重为20％，第二抑郁状态评估值P2的权重为70％仅为示例性的说明，本发明并不对此进行限制，在实际使用中，还可对权重比例根据实际情况进行调节。
进一步地，自适应单元对所述第三特征获得单元、所述第四特征获得单元以及所述第五特征获得单元的工作顺序和测试采集内容进行调整的其中一种具体实施方式如下：
a、当所述自适应评估值为愉悦或中性时，所述第三特征获得单元采集数据时的视频信息为带有愉悦色彩的视频，所述第四特征获得单元采集数据时的图片信息是以愉悦色彩为主、悲伤色彩为辅的图片，所述第五特征获得单元采集数据时的文字信息为中性内容以确保不会激发测试者改变当前抑郁状态的文字内容。
b、当所述自适应评估值为愤怒或悲伤时，测试者测试阶段顺序为：先阅读多个文字信息，再观看多个图像信息，最后观看多个视频信息；所述第三特征获得单元、所述第四特征获得单元以及所述第五特征获得单元的工作顺序为：第五特征获得单元、第四特征获得单元、第三特征获得单元；
并且，所述第五特征获得单元采集数据时的多个文字信息为中性内容以确保不会激发测试者去改变当前抑郁状态值，所述第四特征获得单元采集数据时的多个图片信息分为带有愉悦色彩图片和带有悲伤色彩图片两类，所述第三特征获得单元采集数据时的多个视频信息为带有愉悦色彩的视频。
本实施例还公开了一种用于抑郁状态智能评估的数据采集方法，包括以下步骤：
(1)测试者根据相关指令或预设规划路线或自由地行走，第一特征获得单元实时采集测试者行走时的视频数据，将视频数据放进预先训练好的神经网络模型中，输出测试者的基本信息并从中提取步态特征。具体地，在开始测试时，测试者坐在电脑前打开数据采集系统软件，填写姓名、测试号等个人基本信息，测试要求：顺光，头部信息在视频范围采集系统观测点；第一特征获得单元输出测试者的年龄和性别等基础信息，确保基础信息无误。
(2)根据步骤(1)中的基础信息，从数据库中筛选出多个量表，测试者开始填写。第一评估值获得单元实时采集测试者填写调整后的多个量表时产生的多个量表信息，根据所述多个量表信息获得测试者的第一抑郁状态评估值。具体地，其中的量表可参见《抑郁自评量表(SDS)》或《贝克(beck)抑郁自评量表》或《汉密尔顿抑郁量表(HAMD)》。
(3)第二特征获得单元实时采集测试者回答多个问题时产生的音频数据和视频数据，将音频数据和视频数据放进预先训练好的神经网络模型中，提取语音特征和面部表情特征；所述多个问题的通过步骤(1)中的所述基本信息匹配获取。例如，若测试者为20-50年龄段的女性，则对应的问题如下：你最近是否有突然的哭泣、你最近是否饮食失调、你最近是否时常感到烦躁；若测试者为20-50年龄段的男性，则对应的问题如下：你最近是否容易生气、你最近是否花更多的时间在工作上、你最近是否变得比之前冷漠。
(4)将步骤(1)中提取到的步态特征、步骤(3)中提取得到的语音特征和面部表情特征进行两两拼接处理，并将拼接结果作为输入放到图卷积神经网络中，最后再经过一层softmax层，获得第二抑郁状态评估值。
(5)根据所述基础信息、所述第一抑郁状态评估值和所述第二抑郁状态评估值，对测试阶段的顺序和测试阶段的内容进行调整，并采集测试者在测试阶段的生理特征；其中，测试阶段的顺序和内容的调整，可参见上述一种用于抑郁状态智能评估的数据采集系统。测试阶段包括观看视频信息阶段、观看图像信息阶段以及阅读文字信息阶段；测试阶段的内容包括视频信息内容、图像信息内容和文字信息内容。具体地：
观看视频信息阶段，实时采集测试者观看多个视频信息时产生的视频数据，将视频数据放进预先训练好的神经网络模型中提取面部表情特征和肢体动作特征；
观看图像信息阶段，实时采集测试者观看多个图像信息时产生的视频数据，将视频数据放进预先训练好的神经网络模型中提取眼动特征；
阅读文字信息阶段，实时采集测试者阅读多个文字信息时产生的音频数据，将音频数据放进预先训练好的神经网络模型中提取语音特征。
本步骤中，测试者完成观看视频信息阶段、观看图像信息阶段和阅读文字信息阶段的测试，在测试过程中第三特征获得单元、第四特征获得单元和第五特征获得单元对测试者的各项特征进行采集提取。
(6)最后，将步骤(1)-步骤(5)中采集到的各项数据进行整合，完成数据采集，并将各项数据传输至抑郁状态智能评估系统中。其中的各项数据包括基础信息、步态特征、第一抑郁状态评估值、回答多个问题时的语音特征和面部表情特征、第二抑郁状态评估值、观看视频信息阶段的面部表情特征和肢体动作特征、眼动特征以及语音特征等。
上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所做的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (7)
1.一种用于抑郁状态智能评估的数据采集系统，其特征在于，包括数据采集模块、数据评估模块以及数据存储模块；其中，
所述数据采集模块，用于采集测试者在各个测试阶段的生理信息数据，并传送给数据存储模块；
所述数据评估模块用于在数据采集模块采集数据的过程中，对采集到的数据进行实时评估并调整数据采集模块的工作模式；
所述数据存储模块用于存储数据采集模块采集到的数据供后续进行抑郁状态智能评估；
所述数据采集模块包括：
第一特征获得单元，用于实时采集测试者行走时的视频数据，将采集到的视频数据放进预先训练好的神经网络模型中，输出测试者的基础信息并从中提取步态特征；所述基础信息包括年龄和性别；
第二特征获得单元，用于实时采集测试者回答多个问题时产生的音频数据以及回答多个问题时的视频数据，将采集到的音频数据和视频数据放进预先训练好的神经网络模型中，提取语音特征和面部表情特征；
第三特征获得单元，用于实时采集测试者观看多个视频信息时产生的视频数据，将采集到的视频数据放进预先训练好的神经网络模型中提取面部表情特征和肢体动作特征；
第四特征获得单元，用于实时采集测试者观看多个图像信息时产生的视频数据，将采集到的视频数据放进预先训练好的神经网络模型中提取眼动特征；
第五特征获得单元，用于实时采集测试者阅读多个文字信息时产生的音频数据，将采集到的音频数据放进预先训练好的神经网络模型中提取语音特征；
所述数据评估模块包括：
第一评估值获得单元，实时采集测试者填写多个量表时产生的多个量表信息，根据所述多个量表信息获得第一抑郁状态评估值；
第二评估值获得单元，将所述第一特征获得单元的步态特征和第二特征获得单元的语音特征和面部表情特征进行拼接融合，获得第二抑郁状态评估值；
自适应单元，对测试者的基础信息、所述第一抑郁状态评估值以及所述第二抑郁状态评估值进行整合处理，获得自适应评估值；根据自适应评估值调整所述第三特征获得单元、所述第四特征获得单元以及所述第五特征获得单元的工作顺序或/和调整所述第三特征获得单元采集数据时的视频信息、所述第四特征获得单元采集数据时的图像信息以及所述第五特征获得单元采集数据时的文字信息中的一个或多个。
2.根据权利要求1所述的用于抑郁状态智能评估的数据采集系统，其特征在于，所述数据评估模块还包括基础评估值获得单元；
所述基础评估值获得单元，根据所述第一特征获得单元输出的基础信息获得基础评估值；
所述自适应单元根据所述基础评估值，对第二特征获得单元采集数据时的所述多个问题进行调整。
3.根据权利要求1或2所述的用于抑郁状态智能评估的数据采集系统，其特征在于，所述数据评估模块中的自适应单元，采用加权算法对测试者的基础信息、所述第一抑郁状态评估值以及所述第二抑郁状态评估值进行整合处理。
4.根据权利要求1所述的用于抑郁状态智能评估的数据采集系统，其特征在于，所述自适应评估值包括愉悦、中性、悲伤、愤怒。
5.根据权利要求4所述的用于抑郁状态智能评估的数据采集系统，其特征在于，当所述自适应评估值为愉悦或中性时，所述第三特征获得单元采集数据时的视频信息为带有愉悦色彩的视频，所述第四特征获得单元采集数据时的图片信息是以愉悦色彩为主、悲伤色彩为辅的图片，所述第五特征获得单元采集数据时的文字信息为中性内容以确保不会激发测试者改变当前抑郁状态的文字内容。
6.根据权利要求4所述的用于抑郁状态智能评估的数据采集系统，其特征在于，当所述自适应评估值为愤怒或悲伤时，测试者测试阶段顺序为：先阅读多个文字信息，再观看多个图像信息，最后观看多个视频信息；所述第三特征获得单元、所述第四特征获得单元以及所述第五特征获得单元的工作顺序为：第五特征获得单元、第四特征获得单元、第三特征获得单元；
并且，所述第五特征获得单元采集数据时的多个文字信息为中性内容以确保不会激发测试者去改变当前抑郁状态值，所述第四特征获得单元采集数据时的多个图片信息分为带有愉悦色彩图片和带有悲伤色彩图片两类，所述第三特征获得单元采集数据时的多个视频信息为带有愉悦色彩的视频。
7.一种应用权利要求1-6任一项所述的用于抑郁状态智能评估的数据采集系统的数据采集方法，其特征在于，包括以下步骤：
(1)实时采集测试者行走时的视频数据，将视频数据放进预先训练好的神经网络模型中，输出测试者的基本信息并从中提取步态特征；所述基本信息包括年龄和性别；
(2)实时采集测试者填写调整后的多个量表时产生的多个量表信息，根据所述多个量表信息获得测试者的第一抑郁状态评估值；
(3)实时采集测试者回答多个问题时产生的音频数据和视频数据，将音频数据和视频数据放进预先训练好的神经网络模型中，提取语音特征和面部表情特征；所述多个问题通过步骤(1)中的所述基本信息匹配获取；
(4)将步骤(1)中提取到的步态特征、步骤(3)中提取得到的语音特征和面部表情特征进行拼接处理，并将拼接结果作为输入放到图像、卷积神经网络中，最后再经过一层softmax层，获得第二抑郁状态评估值；
(5)根据所述第一抑郁状态评估值和所述第二抑郁状态评估值，对测试阶段的顺序或/和测试阶段的内容进行调整，并采集测试者在测试阶段的生理特征；
测试阶段包括观看视频信息阶段、观看图像信息阶段以及阅读文字信息阶段；
观看视频信息阶段，实时采集测试者观看多个视频信息时产生的视频数据，将视频数据放进预先训练好的神经网络模型中提取面部表情特征和肢体动作特征；
观看图像信息阶段，实时采集测试者观看多个图像信息时产生的视频数据，将视频数据放进预先训练好的神经网络模型中提取眼动特征；
阅读文字信息阶段，实时采集测试者阅读多个文字信息时产生的音频数据，将音频数据放进预先训练好的神经网络模型中提取语音特征；
(6)将步骤(1)-步骤(5)中采集到的各项数据进行整合，完成数据采集，并将各项数据传输至抑郁状态智能评估系统中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111558152.XA CN114305418B (zh) | 2021-12-16 | 2021-12-16 | 一种用于抑郁状态智能评估的数据采集系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111558152.XA CN114305418B (zh) | 2021-12-16 | 2021-12-16 | 一种用于抑郁状态智能评估的数据采集系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114305418A true CN114305418A (zh) | 2022-04-12 |
| CN114305418B CN114305418B (zh) | 2023-08-04 |
Family
ID=81053250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111558152.XA Active CN114305418B (zh) | 2021-12-16 | 2021-12-16 | 一种用于抑郁状态智能评估的数据采集系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114305418B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115064246A (zh) * | 2022-08-18 | 2022-09-16 | 山东第一医科大学附属省立医院(山东省立医院) | 一种基于多模态信息融合的抑郁症评估系统及设备 |
| CN117219265A (zh) * | 2023-10-07 | 2023-12-12 | 东北大学秦皇岛分校 | 多模态数据分析方法、装置、存储介质和设备 |
| CN118236068A (zh) * | 2024-05-29 | 2024-06-25 | 江西中医药大学 | 基于多维度因素的抑郁情绪程度预估方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106782602A (zh) * | 2016-12-01 | 2017-05-31 | 南京邮电大学 | 基于长短时间记忆网络和卷积神经网络的语音情感识别方法 |
| US20170238858A1 (en) * | 2015-07-30 | 2017-08-24 | South China University Of Technology | Depression assessment system and depression assessment method based on physiological information |
| CN109157231A (zh) * | 2018-10-24 | 2019-01-08 | 阿呆科技（北京）有限公司 | 基于情绪刺激任务的便携式多通道抑郁倾向评估系统 |
| CN109585021A (zh) * | 2018-11-28 | 2019-04-05 | 华南理工大学 | 基于全息投影技术的精神状态评估系统及其工作方法 |
| WO2019184031A1 (zh) * | 2018-03-27 | 2019-10-03 | 中育苑（北京）文化传媒股份有限公司 | 基于图像信息的心理测量与疏导方法及系统 |
| CN111528859A (zh) * | 2020-05-13 | 2020-08-14 | 浙江大学人工智能研究所德清研究院 | 基于多模态深度学习技术的儿童adhd筛查评估系统 |
| CN111671446A (zh) * | 2020-06-19 | 2020-09-18 | 智恩陪心(北京)科技有限公司 | 一种基于深度学习的绘画心理智能分析系统及方法 |
| CN111743552A (zh) * | 2019-03-29 | 2020-10-09 | 北京爱心前行科技有限公司 | 心理测量与干预系统及方法 |
-
2021
- 2021-12-16 CN CN202111558152.XA patent/CN114305418B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170238858A1 (en) * | 2015-07-30 | 2017-08-24 | South China University Of Technology | Depression assessment system and depression assessment method based on physiological information |
| CN106782602A (zh) * | 2016-12-01 | 2017-05-31 | 南京邮电大学 | 基于长短时间记忆网络和卷积神经网络的语音情感识别方法 |
| WO2019184031A1 (zh) * | 2018-03-27 | 2019-10-03 | 中育苑（北京）文化传媒股份有限公司 | 基于图像信息的心理测量与疏导方法及系统 |
| CN109157231A (zh) * | 2018-10-24 | 2019-01-08 | 阿呆科技（北京）有限公司 | 基于情绪刺激任务的便携式多通道抑郁倾向评估系统 |
| CN109585021A (zh) * | 2018-11-28 | 2019-04-05 | 华南理工大学 | 基于全息投影技术的精神状态评估系统及其工作方法 |
| CN111743552A (zh) * | 2019-03-29 | 2020-10-09 | 北京爱心前行科技有限公司 | 心理测量与干预系统及方法 |
| CN111528859A (zh) * | 2020-05-13 | 2020-08-14 | 浙江大学人工智能研究所德清研究院 | 基于多模态深度学习技术的儿童adhd筛查评估系统 |
| CN111671446A (zh) * | 2020-06-19 | 2020-09-18 | 智恩陪心(北京)科技有限公司 | 一种基于深度学习的绘画心理智能分析系统及方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115064246A (zh) * | 2022-08-18 | 2022-09-16 | 山东第一医科大学附属省立医院(山东省立医院) | 一种基于多模态信息融合的抑郁症评估系统及设备 |
| CN115064246B (zh) * | 2022-08-18 | 2022-12-20 | 山东第一医科大学附属省立医院(山东省立医院) | 一种基于多模态信息融合的抑郁症评估系统及设备 |
| CN117219265A (zh) * | 2023-10-07 | 2023-12-12 | 东北大学秦皇岛分校 | 多模态数据分析方法、装置、存储介质和设备 |
| CN118236068A (zh) * | 2024-05-29 | 2024-06-25 | 江西中医药大学 | 基于多维度因素的抑郁情绪程度预估方法及系统 |
| CN118236068B (zh) * | 2024-05-29 | 2024-07-30 | 江西中医药大学 | 基于多维度因素的抑郁情绪程度预估方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114305418B (zh) | 2023-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111816309B (zh) | 基于深度强化学习的康复训练处方自适应推荐方法及系统 | |
| CN114305418B (zh) | 一种用于抑郁状态智能评估的数据采集系统及方法 | |
| JP3310498B2 (ja) | 生体情報解析装置および生体情報解析方法 | |
| CN111225612A (zh) | 基于机器学习的神经障碍识别和监测系统 | |
| US20210338170A1 (en) | Method, device, and program for assessing relevance of respective preventive interventional actions to health in health domain of interest | |
| US20240032852A1 (en) | Cognitive function estimation device, cognitive function estimation method, and storage medium | |
| JP2018190423A (ja) | 画像表示装置、画像表示プログラム及び画像表示方法 | |
| CN108652587A (zh) | 一种认知功能障碍预防监测装置 | |
| CN116570283A (zh) | 一种围手术期患者情绪监测系统及方法 | |
| CN115517681A (zh) | Md患者情绪波动监测和情感障碍状态评估的方法和系统 | |
| CN112599245A (zh) | 心理健康指数评估方法及系统 | |
| CN118044813B (zh) | 基于多任务学习的心理健康状况评估方法及系统 | |
| CN111640496A (zh) | 一种基于人工智能的中医远程会诊系统 | |
| CN208422436U (zh) | 基于中医理论的健康状态监控装置及系统 | |
| JP7337484B2 (ja) | 画像表示装置、画像表示システム、画像表示プログラム及び画像表示方法 | |
| CN112006652B (zh) | 睡眠状态检测方法和系统 | |
| CN114240934B (zh) | 一种基于肢端肥大症的图像数据分析方法及系统 | |
| CN115633961A (zh) | 基于动态加权决策融合恐高情绪识别模型构建方法与系统 | |
| CN115040726A (zh) | 考虑痛感的机器人静脉穿刺方法 | |
| Mantri et al. | Real time multimodal depression analysis | |
| KR102142694B1 (ko) | 뇌신경 질환 진단 시스템 및 방법 | |
| CN113570545A (zh) | 一种视觉识别疼痛分级评估的方法 | |
| JP3721980B2 (ja) | 脳機能検査装置 | |
| US20240065600A1 (en) | Emotion estimating device, emotion estimating system, and emotion estimating method | |
| JP6755059B1 (ja) | 歯科診断プログラム及びシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |