CN111671446A - 一种基于深度学习的绘画心理智能分析系统及方法 - Google Patents

一种基于深度学习的绘画心理智能分析系统及方法 Download PDF

Info

Publication number
CN111671446A
CN111671446A CN202010564625.6A CN202010564625A CN111671446A CN 111671446 A CN111671446 A CN 111671446A CN 202010564625 A CN202010564625 A CN 202010564625A CN 111671446 A CN111671446 A CN 111671446A
Authority
CN
China
Prior art keywords
tester
ppat
features
information
personal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010564625.6A
Other languages
English (en)
Inventor
韩易静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhien Peixin Beijing Technology Co ltd
Original Assignee
Zhien Peixin Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhien Peixin Beijing Technology Co ltd filed Critical Zhien Peixin Beijing Technology Co ltd
Priority to CN202010564625.6A priority Critical patent/CN111671446A/zh
Publication of CN111671446A publication Critical patent/CN111671446A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Neurology (AREA)
  • Artificial Intelligence (AREA)
  • Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Physiology (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Neurosurgery (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的绘画心理智能分析系统及方法。绘画采集模块包括用户端采集单元和数据采集单元，用户端采集单元采集测试者绘制的图像、测试者的个人相关信息和量表测评信息，数据采集单元采集测试者绘制的图像、测试者的个人相关信息和量表测评信息；绘画心理智能分析模块包括绘画特征提取单元、个人信息特征提取单元、特征融合单元和特征分类单元，绘画特征提取单元和个人信息特征提取单元分别与数据采集单元连接，特征融合单元将绘画特征和对应的个人信息特征进行融合，特征分类单元根据融合后的信息确定测试者是否具有抑郁倾向。本发明能够不依赖于PPAT心理学规则，自动地对测试者的心理状态进行分析，得到其抑郁倾向的判断结果。

Description

一种基于深度学习的绘画心理智能分析系统及方法
技术领域
本发明涉及绘画心理智能分析领域，特别是涉及一种基于深度学习的绘画心理智能分析系统及方法。
背景技术
PPAT(PersonPicking anApple from aTree)是依据绘画投射测验设计的一个心理测量工具，其对测试者提出绘制PPAT主题图像的任务，通过研究从PPAT图像到心理状态的映射关系，完成对抑郁症、躁郁症、精神分裂症、老年痴呆和其他认知障碍的识别任务。经心理学家验证，不同类型的心理疾病患者在进行PPAT绘画时，其绘制的图像内容存在一定的差异，因此可以作为区分心理疾病的依据。目前使用的PPAT测量方法，其评价依据来自于根据心理学原理设计的PPAT打分规则，即由专业心理学医师根据PPAT打分规则对测试者绘制的图像进行打分，然后根据分数综合判断测试者是否有抑郁倾向。然而，这套规则是一套人为设计的基于心理学原理的规则，例如从颜色恰当、精力调配等维度进行打分，其维度的选择受限于人对心理学知识的认识水平。并且打分的等级有主观成分，例如在精力调配这个维度中，测试者付出努力的水平等级由心理学医师打分，其得分比较容易受到医师主观因素的影响。因此，如何自动、全面地获取PPAT图像中蕴含的心理状态信息，更好地建立从PPAT图像到人的心理状态的映射，成为一个新的探索方向。
发明内容
本发明的目的是提供一种基于深度学习的绘画心理智能分析系统及方法，能够不依赖于PPAT心理学规则，自动地对测试者的心理状态进行分析，得到其是否有抑郁倾向的判断结果，从而脱离人的认识局限，更全面地分析绘画者的心理状态。
为实现上述目的，本发明提供了如下方案：
一种基于深度学习的绘画心理智能分析系统，包括：绘画采集模块和绘画心理智能分析模块；
所述绘画采集模块包括用户端采集单元和数据采集单元，所述用户端采集单元用于采集测试者绘制的图像、测试者的个人相关信息和量表测评信息，所述数据采集单元与所述用户端采集单元连接，所述数据采集单元用于接收所述测试者绘制的图像、所述测试者的个人相关信息和量表测评信息；
所述绘画心理智能分析模块包括绘画特征提取单元、个人信息特征提取单元、特征融合单元和特征分类单元，所述绘画特征提取单元和所述个人信息特征提取单元分别与所述数据采集单元连接，所述绘画特征提取单元用于从所述数据采集单元中提取绘画特征，所述个人信息特征提取单元用于从所述数据采集单元中提取个人信息特征，所述特征融合单元分别与所述绘画特征提取单元和所述个人信息特征提取单元连接，所述特征融合单元用于将所述绘画特征和对应的个人信息特征进行融合，所述特征分类单元与所述特征融合单元连接，所述特征分类单元用于根据融合后的信息确定所述测试者是否具有抑郁倾向。
可选的，所述用户端采集单元包括平板设备和与所述平板设备配套的手写笔。
可选的，所述个人信息特征提取单元按照信息的语义进行编码，得到4维个人信息特征，所述个人信息特征包括性别、年龄、婚姻状况和学历四个维度。
可选的，所述绘画特征提取单元采用改进后的Sketch-a-Net模型，所述改进后的Sketch-a-Net模型的输入为3通道的PPAT图像，输出为256维PPAT图像特征。
一种基于深度学习的绘画心理智能分析方法，包括：
采集多名测试者绘制的PPAT图像、测试者个人相关信息和对应的量表测评分数；
根据各所述量表测评分数，确定对应的测试者的抑郁倾向二维标签；
将各所述测试者绘制的PPAT图像、所述测试者个人相关信息作为输入，所述测试者的抑郁倾向二维标签作为输出对Sketch-a-Net卷积神经网络模型进行训练，得到训练后的卷积神经网络模型；
获取待识别的测试者绘制的PPAT图像和对应的个人相关信息；
将所述待识别的测试者绘制的PPAT图像和所述个人相关信息作为输入，输入至所述训练后的卷积神经网络模型，得到待识别的测试者的抑郁倾向。
可选的，所述将各所述测试者绘制的PPAT图像、所述测试者个人相关信息作为输入，所述测试者的抑郁倾向二维标签作为输出对Sketch-a-Net卷积神经网络模型进行训练，得到训练后的卷积神经网络模型，具体包括：
输入各所述测试者绘制的PPAT图像和测试者个人相关信息；
对各所述测试者绘制的PPAT图像使用Sketch-a-Net卷积神经网络模型提取PPAT图像特征；
对所述测试者个人相关信息进行编码，得到个人信息特征；
将所述PPAT图像特征和所述个人信息特征进行融合，得到融合特征；
使用2层全连接层对所述融合特征在有抑郁倾向和无抑郁倾向2个类别中进行分类，得到分类结果；
获取测试者的抑郁倾向二维标签；
根据所述分类结果和所述二维标签计算损失函数，根据反向传播算法调整网络参数，得到训练后的卷积神经网络模型。
可选的，所述将所述待识别的测试者绘制的PPAT图像和所述个人相关信息作为输入，输入至所述训练后的卷积神经网络模型，得到待识别的测试者的抑郁倾向，具体包括：
对输入的所述待识别的测试者绘制的PPAT图像使用所述训练后的卷积神经网络模型提取待识别PPAT图像特征；
对输入的所述个人相关信息进行编码，得到待识别个人信息特征；
将所述待识别PPAT图像特征和所述待识别个人信息特征连接，得到待识别融合特征；
使用2层全连接层对所述待识别融合特征在有抑郁倾向和无抑郁倾向2个类别中进行分类，输出分类结果，所述分类结果为待识别的测试者的抑郁倾向。
可选的，所述个人信息特征包括性别特征、年龄特征、婚姻状况特征和学历特征，所述性别特征中，男性为0，女性为1；所述年龄特征为实际年龄/100，特征值大于1的取1；所述婚姻状况特征中，未婚为0，已婚为0.5，离异为1；所述学历特征中，小学学历及以下为0，初中学历为0.25，高中学历为0.5，本科学历为0.75，硕士学历及以上为1。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供一种基于深度学习的绘画心理智能分析系统及方法，对PPAT图像和人的心理状态间的映射关系进行建模，在现有的PPAT规则之外，提出使用人工智能的方法提取PPAT图像中的信息，将其与绘画者的个人信息进行融合并使用融合的特征进行分类，建立一个基于深度学习的绘画心理智能分析系统。其能够不依赖于PPAT心理学规则，自动地对测试者的心理状态进行分析，得到其是否有抑郁倾向的判断结果，从而脱离人的认识局限，更全面地分析绘画者的心理状态。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于深度学习的绘画心理智能分析系统结构图；
图2为本发明基于深度学习的绘画心理智能分析方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于深度学习的绘画心理智能分析系统及方法，能够不依赖于PPAT心理学规则，自动地对测试者的心理状态进行分析，得到其是否有抑郁倾向的判断结果，从而脱离人的认识局限，更全面地分析绘画者的心理状态。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
PPAT(PersonPicking anApple from aTree)是一种依据绘画投射测验设计的心理测量工具，其对测试者提出绘制PPAT主题图像的任务，在测试者绘制图像后，由治疗者在多个维度上对测试者绘制的图像进行打分，从而根据得分识别抑郁症、躁郁症、精神分裂症、老年痴呆和其他认知障碍。
随着人工智能技术的发展，深度学习方法能够自动从图像中提取特征，从而解决复杂的分类识别任务，在图像领域有很多成功的应用。通过历史数据或大数据训练模型，使用深度学习的方法能够减少使用人的先验知识，即能够不依赖于手工设计的规则而直接从图像内容中提取需要的信息，从而更好的对图像进行分类。在许多计算机视觉的任务中，如图像分类、目标检测等，其实验结果均表明，从数据中学习到的特征优于人手工设计的特征。因此，在绘画心理智能分析中使用深度学习技术，并使用特征融合的方式，将绘画者的个人信息融合至分类特征中，将能建立一套独立于现有PPAT规则之外的映射关系，用于分析绘画者的心理状态。
综上所述，可以看出，深度学习技术能够自动地分析图像，提取图像中蕴含的信息，从而不依赖于人手工设计的规则，直接对从图像到心理状态的映射进行建模。将绘画心理测量与智能分析技术相结合的智能心理分析系统具有广阔的应用前景。
首先描述一下基于深度学习的智能绘画心理分析系统与基于PPAT规则评分的智能绘画心理分析系统的共同点和不同点。共同点在于两个系统完成的是同一个任务，都是通过对PPAT任务图像的分析，得出绘画者是否有抑郁倾向的结论。其不同点在于两个系统提取心理状态信息的角度和实现方法都不同；基于PPAT方法，其使用7个维度打分器从图像中提取每个维度对应的图像特征，维度打分器的个数根据PPAT心理测量工具的维度确定，首先每个维度打分器在自己的维度上从PPAT主题图像中提取对应的图像特征，根据对应的图像特征自动计算图像在每个维度上的得分，然后使用分类器对得分再进行分类，从而得到是否抑郁的分类结果；而基于深度学习的方法，其不再根据PPAT进行计算，而是直接对图像中的心理状态信息进行建模，从绘画图像中提取与心理状态相关的特征，将图像特征与绘画者的个人信息特征融合再进行分类，从而得出是否抑郁的分类结果。
图1为本发明基于深度学习的绘画心理智能分析系统结构图。如图1所示，一种基于深度学习的绘画心理智能分析系统包括：绘画采集模块1和绘画心理智能分析模块2。绘画采集模块1是测试者绘制图像所用的绘画系统，使用采集软件从绘画采集设备上采集用户绘制的内容，得到绘制的图像，采集用户填写的用户信息，得到个人信息；该系统同时用于模型训练阶段的数据集采集工作，在采集PPAT图像和个人信息的同时，收集测试者填写的心理学量表(PHQ-9)，根据量表的测量结果得到用户是否有抑郁倾向的分类标签；绘画心理智能分析模块2使用深度学习方法对测试者绘制的图像提取心理状态特征，并对其个人信息进行编码得到个人信息特征，将两个特征融合并进行分类，从而得出该测试者是否有抑郁倾向的判断结果。
通过上述设计，测试者通过操作绘画采集模块绘制PPAT主题的图像并填写相关信息，绘画心理智能分析系统则根据绘画采集模块采集的图像及其个人信息进行分析，得出测试者是否有抑郁倾向的判断结果。
所述绘画采集模块1包括用户端采集单元11和数据采集单元12，所述用户端采集单元11用于采集测试者绘制的图像、测试者的个人相关信息和量表测评信息，所述数据采集单元12与所述用户端采集单元11连接，所述数据采集单元12用于接收所述测试者绘制的图像、所述测试者的个人相关信息和量表测评信息。所述用户端采集单元11包括平板设备和与所述平板设备配套的手写笔。测试者通过做测评量表会得出自身抑郁程度的标签，该标签用于模型训练阶段构建数据集。使用绘画采集模块1预先采集数据作为训练集的训练样本。训练集中的数据包括采集到的PPAT图像，用户填写的相关个人信息，以及根据心理学测评量表得到的抑郁倾向标签。其中，PPAT图像和个人信息是训练集的输入数据，抑郁标签是训练集数据的分类标签。
所述绘画心理智能分析模块2包括绘画特征提取单元21、个人信息特征提取单元22、特征融合单元23和特征分类单元24，所述绘画特征提取单元21和所述个人信息特征提取单元22分别与所述数据采集单元12连接，所述绘画特征提取单元21用于从所述数据采集单元12中提取绘画特征，所述个人信息特征提取单元22用于从所述数据采集单元12中提取个人信息特征，所述特征融合单元23分别与所述绘画特征提取单元21和所述个人信息特征提取单元22连接，所述特征融合单元23用于将所述绘画特征和对应的个人信息特征进行融合，所述特征分类单元24与所述特征融合单元23连接，所述特征分类单元24用于根据融合后的信息确定所述测试者是否具有抑郁倾向。所述个人信息特征提取单元22按照信息的语义进行编码，得到4维个人信息特征，所述个人信息特征包括性别、年龄、婚姻状况和学历四个维度。
所述绘画心理智能分析模块2是一个深度神经网络模型，其能够对输入的图像进行特征提取，融合个人信息特征后进行分类；模型使用深度学习方法在绘画采集模块采集的数据集上进行训练；具体算法流程是：其输入为采集系统采集到的图像和个人信息，使用卷积神经网络对输入的图像提取图像特征，将个人信息进行编码后得到的个人信息特征与图像特征融合，然后对融合的特征进行分类，网络中的卷积层用来提取特征，全连接层用来对融合的特征进行分类，网络的输出为是否有抑郁倾向的分类结果。
绘画特征提取单元21，使用Sketch-a-Net模型作为心理分析卷积神经网络模型的基础，对输入的PPAT图像提取心理状态特征；Sketch-a-Net是一个针对手绘图识别的卷积神经网络模型，其输入为一个黑白的物体手绘图，而采集的图像为PPAT主题的彩色图像，因此，在其原先模型的基础上，保留其针对手绘图特点所设计的模型结构，如扩大第一层感受野等，同时根据任务和输入图像的特点，将其模型的单通道图像输入改为3通道图像输入，从而提取PPAT图像中的颜色信息；所述绘画特征提取单元21采用改进后的Sketch-a-Net模型，所述改进后的Sketch-a-Net模型的输入为3通道的PPAT图像，输出为256维PPAT图像特征。
个人信息特征提取单元22，将采集到的个人信息，包含性别、年龄、婚姻状况和学历四个维度，按照信息的语义进行编码，得到4维个人信息特征，具体规则为：
1.性别：男性为0，女性为1；
2.年龄：实际年龄/100，特征值大于1的取1；
3.婚姻状况：未婚为0，已婚为0.5，离异为1；
4.学历：小学及以下为0，初中为0.25，高中为0.5，本科为0.75，硕士及以上为1。
特征融合单元23和特征分类单元24，将PPAT图像特征和个人信息特征连接进行融合，使用2层全连接层对融合的特征进行分类，其输入为256维图像特征和4维个人信息特征，输出为二维的是否抑郁的分类结果。
图2为本发明基于深度学习的绘画心理智能分析方法流程图。如图2所示，一种基于深度学习的绘画心理智能分析方法包括：
步骤101：采集多名测试者绘制的PPAT图像、测试者个人相关信息和对应的量表测评分数。
步骤102：根据各所述量表测评分数，确定对应的测试者的抑郁倾向二维标签。
步骤103：将各所述测试者绘制的PPAT图像、所述测试者个人相关信息作为输入，所述测试者的抑郁倾向二维标签作为输出对Sketch-a-Net卷积神经网络模型进行训练，得到训练后的卷积神经网络模型，具体包括：
输入各所述测试者绘制的PPAT图像和测试者个人相关信息。
对各所述测试者绘制的PPAT图像使用Sketch-a-Net卷积神经网络模型提取PPAT图像特征。
对所述测试者个人相关信息进行编码，得到个人信息特征；所述个人信息特征包括性别特征、年龄特征、婚姻状况特征和学历特征，所述性别特征中，男性为0，女性为1；所述年龄特征为实际年龄/100，特征值大于1的取1；所述婚姻状况特征中，未婚为0，已婚为0.5，离异为1；所述学历特征中，小学学历及以下为0，初中学历为0.25，高中学历为0.5，本科学历为0.75，硕士学历及以上为1。
将所述PPAT图像特征和所述个人信息特征进行融合，得到融合特征。
使用2层全连接层对所述融合特征在有抑郁倾向和无抑郁倾向2个类别中进行分类，得到分类结果。
获取测试者的抑郁倾向二维标签。
根据所述分类结果和所述二维标签计算损失函数，根据反向传播算法调整网络参数，得到训练后的卷积神经网络模型。
步骤104：获取待识别的测试者绘制的PPAT图像和对应的个人相关信息；
步骤105：将所述待识别的测试者绘制的PPAT图像和所述个人相关信息作为输入，输入至所述训练后的卷积神经网络模型，得到待识别的测试者的抑郁倾向，具体包括：
对输入的所述待识别的测试者绘制的PPAT图像使用所述训练后的卷积神经网络模型提取待识别PPAT图像特征。
对输入的所述个人相关信息进行编码，得到待识别个人信息特征。
将所述待识别PPAT图像特征和所述待识别个人信息特征连接，得到待识别融合特征。
使用2层全连接层对所述待识别融合特征在有抑郁倾向和无抑郁倾向2个类别中进行分类，输出分类结果，所述分类结果为待识别的测试者的抑郁倾向。
在网络模型的训练阶段，整个网络使用绘画采集模块采集的数据集进行端到端训练，训练数据为PPAT图像和个人信息，标签为抑郁倾向标签。由于模型不依赖PPAT规则进行计算，因此所用到的训练数据仅需要抑郁倾向标签，而不需要再标注PPAT心理学规则的各项得分，从而节省了标注成本。
现有PPAT心理测量技术的打分规则和评价规则依靠人的手工设计，受限于人对心理学知识的认识水平。本发明提出的方法能够不依赖于PPAT心理学规则，自动地从测试者绘制的图画中提取信息并进行分析，将其与个人信息结合得出其是否有抑郁倾向的判断结果，从而脱离人的认识局限，更全面地分析绘画者的心理状态。
从14个维度对PPAT图像进行打分，打分的等级为0级至5级，具体打分规则如下表所示。
PPAT打分规则
Figure BDA0002547377520000091
Figure BDA0002547377520000101
Figure BDA0002547377520000111
Figure BDA0002547377520000121
Figure BDA0002547377520000131
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于深度学习的绘画心理智能分析系统，其特征在于，包括：绘画采集模块和绘画心理智能分析模块；
所述绘画采集模块包括用户端采集单元和数据采集单元，所述用户端采集单元用于采集测试者绘制的图像、测试者的个人相关信息和量表测评信息，所述数据采集单元与所述用户端采集单元连接，所述数据采集单元用于接收所述测试者绘制的图像、所述测试者的个人相关信息和量表测评信息；
所述绘画心理智能分析模块包括绘画特征提取单元、个人信息特征提取单元、特征融合单元和特征分类单元，所述绘画特征提取单元和所述个人信息特征提取单元分别与所述数据采集单元连接，所述绘画特征提取单元用于从所述数据采集单元中提取绘画特征，所述个人信息特征提取单元用于从所述数据采集单元中提取个人信息特征，所述特征融合单元分别与所述绘画特征提取单元和所述个人信息特征提取单元连接，所述特征融合单元用于将所述绘画特征和对应的个人信息特征进行融合，所述特征分类单元与所述特征融合单元连接，所述特征分类单元用于根据融合后的信息确定所述测试者是否具有抑郁倾向。
2.根据权利要求1所述的基于深度学习的绘画心理智能分析系统，其特征在于，所述用户端采集单元包括平板设备和与所述平板设备配套的手写笔。
3.根据权利要求1所述的基于深度学习的绘画心理智能分析系统，其特征在于，所述个人信息特征提取单元按照信息的语义进行编码，得到4维个人信息特征，所述个人信息特征包括性别、年龄、婚姻状况和学历四个维度。
4.根据权利要求1所述的基于深度学习的绘画心理智能分析系统，其特征在于，所述绘画特征提取单元采用改进后的Sketch-a-Net模型，所述改进后的Sketch-a-Net模型的输入为3通道的PPAT图像，输出为256维PPAT图像特征。
5.一种基于深度学习的绘画心理智能分析方法，所述方法应用于权利要求1-4任意一项所述的基于深度学习的绘画心理智能分析系统，其特征在于，包括：
采集多名测试者绘制的PPAT图像、测试者个人相关信息和对应的量表测评分数；
根据各所述量表测评分数，确定对应的测试者的抑郁倾向二维标签；
将各所述测试者绘制的PPAT图像、所述测试者个人相关信息作为输入，所述测试者的抑郁倾向二维标签作为输出对Sketch-a-Net卷积神经网络模型进行训练，得到训练后的卷积神经网络模型；
获取待识别的测试者绘制的PPAT图像和对应的个人相关信息；
将所述待识别的测试者绘制的PPAT图像和所述个人相关信息作为输入，输入至所述训练后的卷积神经网络模型，得到待识别的测试者的抑郁倾向。
6.根据权利要求5所述的基于深度学习的绘画心理智能分析方法，其特征在于，所述将各所述测试者绘制的PPAT图像、所述测试者个人相关信息作为输入，所述测试者的抑郁倾向二维标签作为输出对Sketch-a-Net卷积神经网络模型进行训练，得到训练后的卷积神经网络模型，具体包括：
输入各所述测试者绘制的PPAT图像和测试者个人相关信息；
对各所述测试者绘制的PPAT图像使用Sketch-a-Net卷积神经网络模型提取PPAT图像特征；
对所述测试者个人相关信息进行编码，得到个人信息特征；
将所述PPAT图像特征和所述个人信息特征进行融合，得到融合特征；
使用2层全连接层对所述融合特征在有抑郁倾向和无抑郁倾向2个类别中进行分类，得到分类结果；
获取测试者的抑郁倾向二维标签；
根据所述分类结果和所述二维标签计算损失函数，根据反向传播算法调整网络参数，得到训练后的卷积神经网络模型。
7.根据权利要求5所述的基于深度学习的绘画心理智能分析方法，其特征在于，所述将所述待识别的测试者绘制的PPAT图像和所述个人相关信息作为输入，输入至所述训练后的卷积神经网络模型，得到待识别的测试者的抑郁倾向，具体包括：
对输入的所述待识别的测试者绘制的PPAT图像使用所述训练后的卷积神经网络模型提取待识别PPAT图像特征；
对输入的所述个人相关信息进行编码，得到待识别个人信息特征；
将所述待识别PPAT图像特征和所述待识别个人信息特征连接，得到待识别融合特征；
使用2层全连接层对所述待识别融合特征在有抑郁倾向和无抑郁倾向2个类别中进行分类，输出分类结果，所述分类结果为待识别的测试者的抑郁倾向。
8.根据权利要求6所述的基于深度学习的绘画心理智能分析方法，其特征在于，所述个人信息特征包括性别特征、年龄特征、婚姻状况特征和学历特征，所述性别特征中，男性为0，女性为1；所述年龄特征为实际年龄/100，特征值大于1的取1；所述婚姻状况特征中，未婚为0，已婚为0.5，离异为1；所述学历特征中，小学学历及以下为0，初中学历为0.25，高中学历为0.5，本科学历为0.75，硕士学历及以上为1。
CN202010564625.6A 2020-06-19 2020-06-19 一种基于深度学习的绘画心理智能分析系统及方法 Pending CN111671446A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010564625.6A CN111671446A (zh) 2020-06-19 2020-06-19 一种基于深度学习的绘画心理智能分析系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010564625.6A CN111671446A (zh) 2020-06-19 2020-06-19 一种基于深度学习的绘画心理智能分析系统及方法

Publications (1)

Publication Number Publication Date
CN111671446A true CN111671446A (zh) 2020-09-18

Family

ID=72455863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010564625.6A Pending CN111671446A (zh) 2020-06-19 2020-06-19 一种基于深度学习的绘画心理智能分析系统及方法

Country Status (1)

Country Link
CN (1) CN111671446A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591779A (zh) * 2021-08-11 2021-11-02 中国人民解放军总医院第八医学中心 一种基于集成多传感器手写式的投射数据采集系统及方法
CN114305418A (zh) * 2021-12-16 2022-04-12 广东工业大学 一种用于抑郁状态智能评估的数据采集系统及方法
CN114550918A (zh) * 2022-02-23 2022-05-27 中国科学院心理研究所 一种基于绘画特征数据的心理障碍测评方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108392213A (zh) * 2018-03-27 2018-08-14 北京态极科技有限公司 基于绘画心理学的心理分析方法及装置
CN110279425A (zh) * 2019-05-09 2019-09-27 中国科学院自动化研究所 基于智能分析的心理评估方法及系统
CN110391019A (zh) * 2019-07-19 2019-10-29 青岛市妇女儿童医院（青岛市妇幼保健院、青岛市残疾儿童医疗康复中心、青岛市新生儿疾病筛查中心） 一种成年女性心理健康信息处理系统及信息处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108392213A (zh) * 2018-03-27 2018-08-14 北京态极科技有限公司 基于绘画心理学的心理分析方法及装置
CN110279425A (zh) * 2019-05-09 2019-09-27 中国科学院自动化研究所 基于智能分析的心理评估方法及系统
CN110391019A (zh) * 2019-07-19 2019-10-29 青岛市妇女儿童医院（青岛市妇幼保健院、青岛市残疾儿童医疗康复中心、青岛市新生儿疾病筛查中心） 一种成年女性心理健康信息处理系统及信息处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CATHERINE F.S. DAWSON: "A Study of Selected Style and Content Variables in the Drawing of Depressed and Nondepressed Adults", THESES AND DISSERTATIONS *
王宁 等: "团体绘画治疗对青少年抑郁症患者情绪及执行功能的影响", 河北医科大学学报 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591779A (zh) * 2021-08-11 2021-11-02 中国人民解放军总医院第八医学中心 一种基于集成多传感器手写式的投射数据采集系统及方法
CN113591779B (zh) * 2021-08-11 2023-04-28 中国人民解放军总医院第八医学中心 一种基于集成多传感器手写式的投射数据采集系统及方法
CN114305418A (zh) * 2021-12-16 2022-04-12 广东工业大学 一种用于抑郁状态智能评估的数据采集系统及方法
CN114305418B (zh) * 2021-12-16 2023-08-04 广东工业大学 一种用于抑郁状态智能评估的数据采集系统及方法
CN114550918A (zh) * 2022-02-23 2022-05-27 中国科学院心理研究所 一种基于绘画特征数据的心理障碍测评方法及系统

Similar Documents

Publication Publication Date Title
CN111671446A (zh) 一种基于深度学习的绘画心理智能分析系统及方法
CN103268495B (zh) 计算机系统中基于先验知识聚类的人体行为建模识别方法
US9239956B2 (en) Method and apparatus for coding of eye and eye movement data
CN108399376A (zh) 学生课堂学习兴趣智能分析方法及系统
CN110796018B (zh) 一种基于深度图像和彩色图像的手部运动识别方法
CN105739688A (zh) 一种基于情感体系的人机交互方法、装置和交互系统
CN112766173B (zh) 一种基于ai深度学习的多模态情感分析方法及其系统
US20200251217A1 (en) Diagnosis Method Using Image Based Machine Learning Analysis of Handwriting
Areeb et al. Helping hearing-impaired in emergency situations: A deep learning-based approach
Benalcázar et al. Real-time hand gesture recognition based on artificial feed-forward neural networks and EMG
Bu Human motion gesture recognition algorithm in video based on convolutional neural features of training images
CN115064246B (zh) 一种基于多模态信息融合的抑郁症评估系统及设备
More et al. Hand gesture recognition system using image processing
CN113722474A (zh) 文本分类方法、装置、设备及存储介质
Jazouli et al. Automatic detection of stereotyped movements in autistic children using the Kinect sensor
Belissen et al. Dicta-Sign-LSF-v2: remake of a continuous French sign language dialogue corpus and a first baseline for automatic sign language processing
Qiu et al. Egocentric image captioning for privacy-preserved passive dietary intake monitoring
Nasrullah et al. Detection of types of mental illness through the social network using ensembled deep learning model
KR102344144B1 (ko) 손글씨 인식을 통한 유아 학습 시스템
Nasser et al. A review on depression detection and diagnoses based on visual facial cues
CN112116669B (zh) 一种基于颜色和谐和平面构成的图像美学预测方法
Agrawal et al. A Tutor for the hearing impaired (developed using Automatic Gesture Recognition)
CN111739636A (zh) 一种基于ppat的心理智能分析系统
Bhatia et al. A multimodal system to characterise melancholia: cascaded bag of words approach
Nahar et al. A robust model for translating arabic sign language into spoken arabic using deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination