CN114038562A - 一种心理发育评估方法、装置、系统及电子设备 - Google Patents

一种心理发育评估方法、装置、系统及电子设备 Download PDF

Info

Publication number
CN114038562A
CN114038562A CN202111324835.9A CN202111324835A CN114038562A CN 114038562 A CN114038562 A CN 114038562A CN 202111324835 A CN202111324835 A CN 202111324835A CN 114038562 A CN114038562 A CN 114038562A
Authority
CN
China
Prior art keywords
data
analysis
voice
target object
analysis data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111324835.9A
Other languages
English (en)
Inventor
欧建君
沈屹东
崔夕龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Second Xiangya Hospital of Central South University
Original Assignee
Second Xiangya Hospital of Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Second Xiangya Hospital of Central South University filed Critical Second Xiangya Hospital of Central South University
Priority to CN202111324835.9A priority Critical patent/CN114038562A/zh
Publication of CN114038562A publication Critical patent/CN114038562A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training

Abstract

本申请公开一种心理发育评估方法、装置、系统及电子设备，其中的方法包括采集目标监测时间内目标对象相关的语音数据及运动数据；对语音数据分析获得第一分析数据集，对运动数据分析获得第二分析数据集；基于第一分析数据集、第二分析数据集，通过预先构建的心理发育评估模型获得目标对象的心理发育评估结果；本申请以目标对象的语音数据及运动数据相结合的方式，通过构建的心理发育评估模型获得心里发育评估结果，能对目标对象心里发育情况进行全面、准确评估，以实现言语异常、社交困难、注意缺陷和多动等问题的早期发现。

Description

一种心理发育评估方法、装置、系统及电子设备
技术领域
本申请涉及医疗电子系统领域，尤其涉及一种心理发育评估方法、装置、系统及电子设备。
背景技术
注意缺陷多动障碍(Attention Deficit Hyperactive Disorder,ADHD)，俗称“多动症”，是一类高发病率的神经发育性障碍。主要表现为活动过多或冲动，并有与年龄不相称的明显的注意力分散或注意力持续时间短暂，导致学习效率下降或人际交往困难。根据国内的流行病学调查显示，该病的患病率在1.5％-10％之间，男性多于女性，性别比例约为4:1-9:1。AADHD的症状一般在学龄前出现，但早期难以与正常行为相区分，通常需要到9-10岁时，患者因突出的学习困难或因活动增多不能遵守学校的行为规范而就诊，接近一半的患者其病程可持续终身，影响学习、工作和社交的能力，且随着年龄的增加，共患其他精神障碍的比例明显升高。该病给个人、家庭和社会带来沉重的负担。
孤独症(自闭症)谱系障碍(Autism Spectrum Disorder,ASD)，是常见的致残性神经发育性疾病。据美国疾控中心最新的研究显示患病率已高达1.85％(即1/54)；我国的患病率约为0.39％，但该数据很可能低估了真实的患病情况。孤独症谱系障碍通常起病于儿童早期(3岁以前)并会延续终身，主要疾病症状为：持续的社会交流和互动障碍，以及显著的刻板/重复性行为和兴趣。不仅如此，该病还会严重影响儿童的智力和语言发育，且患者通常还会合并多种精神或躯体疾病。除影响个体健康外，孤独症谱系障碍还会对家庭和社会造成沉重的负担。
因此，寻找一种在早期即可对多动症或自闭症进行有效评估以代替人为判断的方法是必需的。
申请内容
本申请的目的在于提供一种心理发育评估方法、装置、系统及电子设备，其能对心理发育问题进行早期的发现，且准确率较高。
为实现上述申请目的，本申请提出了如下技术方案：
第一方面，提供一种心理发育评估方法，所述方法包括：
采集目标监测时间内目标对象相关的语音数据及运动数据；
对所述语音数据分析获得第一分析数据集，对所述运动数据分析获得第二分析数据集；
基于所述第一分析数据集、所述第二分析数据集，通过预先构建的心理发育评估模型获得所述目标对象的心理发育评估结果。
在一种较佳的实施方式中，所述基于所述第一分析数据集、所述第二分析数据集，通过预先构建的心理发育评估模型获得所述目标对象的心理发育评估结果，包括：
基于所述第一分析数据集、所述第二分析数据集，通过预先构建的行为评分模型获得所述目标对象的行为评分结果；
基于所述行为评分结果，通过预先构建的心理发育评估模型获得所述目标对象的心理发育评估结果。
在一种较佳的实施方式中，所述第一分析数据集包括第一语音特征、第二语音特征、第三语音特征及任一语音特征相应的频率；所述对所述语音数据分析获得第一分析数据集，包括：
在所述语音数据中提取所述目标对象的个体发声数据；
基于所述个体发声数据进行语音分析获得第一语音特征及相应的频率；
基于所述个体发声数据进行语调分析获得第二语音特征及相应的频率；
基于所述个体发声数据进行语速分析获得第三语音特征及相应的频率。
在一种较佳的实施方式中，所述第一分析数据集还包括语义特征；所述对所述语音数据分析获得第一分析数据集，还包括：
在所述语音数据中提取除所述目标对象之外所有其他对象发出的非目标对象个体发声数据；
基于所述个体发声数据及所述非目标对象个体发声数据进行语义解析获得相应的语义特征；
基于所述语义特征及相应的持续时间计算所述目标监测时间内所述目标对象的有效社交语言时间占比及相应频率、重复刻板语言时间占比及相应频率。
在一种较佳的实施方式中，所述第二分析数据集包括第一时长占比、第二时长占比、重复刻板动作占比及频率、过度活动占比及频率、异常姿势步态占比及频率；所述对所述运动数据分析获得第二分析数据集，包括：
基于所述运动数据分别识别并获得至少一个肢体大运动、至少一个微小运动及相应的持续时间；
计算所有所述肢体大运动占所述目标监测时间的第一时长占比，以及所有所述微小运动占所述目标监测时间的第二时长占比；
基于所有所述肢体大运动、所有所述微小运动及相应的持续时间计算所述运动数据中存在的重复刻板动作时间占比及相应频率、过度活动时间占比及相应频率、异常姿势步态时间占比及相应频率。
在一种较佳的实施方式中，所述方法还包括：预先构建行为评分模型；包括：
基于预先获取的预设时间阈值内样本对象集中每一样本对象的语音数据样本分析获得相应的第一分析数据样本集，以及基于预先获取的预设时间阈值内样本对象集中每一样本对象的运动数据样本分析获得相应的第二分析数据样本集；
以所述第一分析数据样本集、所述第二分析数据样本集为输入，相应的经验评分结果为输出，训练获得所述行为评分模型。
在一种较佳的实施方式中，所述方法还包括：预先构建心理发育评估模型，包括：
以基于预先获取的预设时间阈值内样本对象集中任一样本对象的语音数据样本、运动数据样本通过预先构建的所述行为评分模型获得的评分结果作为输入，以所述样本对象在多维度的分类结果为输出，基于深度神经网络结合贝叶斯训练获得所述心理发育评估模型。
第二方面，提供一种心理发育评估装置，所述装置包括：
采集模块，用于采集目标监测时间内目标对象相关的语音数据及运动数据；
数据分析模块，用于对所述语音数据分析获得第一分析数据集，对所述运动数据分析获得第二分析数据集；
评估模块，用于基于所述第一分析数据集、所述第二分析数据集，通过预先构建的心理发育评估模型获得所述目标对象的心理发育评估结果。
第三方面，提供一种心理发育评估系统，所述系统包括：可穿戴语音数据获取设备、可穿戴运动数据获取设备及处理组件；
所述可穿戴语音数据获取设备用于采集目标对象相关的语音数据；
所述可穿戴运动数据获取设备用于采集目标对象相关的运动数据；
所述处理组件用于执行如第一方面任意一项所述的方法。
第四方面，提供一种电子设备，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令，所述程序指令在被所述一个或多个处理器读取执行时，执行如第一方面任意一项所述的心理发育评估方法。
与现有技术相比，本申请具有如下有益效果：
本申请提供了一种心理发育评估方法、装置、系统及电子设备，其中的方法包括采集目标监测时间内目标对象相关的语音数据及运动数据；对语音数据分析获得第一分析数据集，对运动数据分析获得第二分析数据集；基于第一分析数据集、第二分析数据集，通过预先构建的心理发育评估模型获得目标对象的心理发育评估结果；本申请以目标对象的语音数据及运动数据相结合的方式，通过构建的心理发育评估模型获得心理发育评估结果，能对目标对象心里发育情况进行全面、准确评估，以实现言语异常、社交困难、注意缺陷和多动等问题的早期发现；
进一步，本申请提供的心理发育评估方法在进行心理发育评估时，通过预先构建的行为评分模型获得所述目标对象的行为评分结果以实现降维评分，并以评分结果为输入获得目标对象的心理发育评估结果，通过增加降维评分的方式减少数据维度和需要的存储空间、节约模型训练计算时间，还能去掉冗余变量，有效提高计算准确度；
需要说明的是，本申请仅需实现上述至少一种技术效果即可。
附图说明
图1是本实施例中心理发育评估方法的流程图；
图2是本实施例中心理发育评估装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
实施例
如图1所示，本实施例提供一种心理发育评估方法，包括如下步骤：
S1、采集目标监测时间内目标对象相关的语音数据及运动数据。
本实施例通过可穿戴语音数据获取设备采集目标对象的语音数据，通过可穿戴运动数据获取设备采集目标对象的运动数据。为避免给目标对象带来不适感，可为目标对象佩戴骨传导耳机(含麦克风)以持续采集语音数据，通过为目标对象的颈部、四肢(本实施例优选设于利手手背和对侧脚踝)部位设置运动传感器以采集所在部位的旋转角度、摆动幅度、速度、角速度、加速度等参数。运动传感器与耳机通过蓝牙连接进行数据传输，且运动传感器所采集的数据实时存储于耳机中。
因此，在本实施例中的目标对象即为可穿戴语音数据获取设备、可穿戴运动数据获取设备的佩戴者。
S2、对语音数据分析获得第一分析数据集，对运动数据分析获得第二分析数据集。在步骤S1完成相关数据采集后，将语音数据、运动数据传输至云数据分析中心进行数据分析。
其中，第一分析数据集包括第一语音特征、第二语音特征、第三语音特征及任一语音特征相应的频率，以及语义特征。具体地，步骤S2包括：
S21、在语音数据中提取目标对象的个体发声数据。
进一步，该步骤S21具体包括：
获取预设子时间阈值内目标对象相关的语音数据，识别目标对象的个体语音特征；基于个体语音特征在目标监测时间内的语音数据中查找目标对象的所有个体发声数据。
更进一步，可以理解的是，由于可穿戴语音数据获取设备是佩戴在目标对象身上，语音数据中收录的目标对象声音的响度、饱和度与清晰度等声音特征与其他对象发出的非个体发声有着显著差异。因此，通过设置声音的响度阈值、饱和度阈值、清晰度阈值等作为识别目标对象个体语音特征的简捷手段。
当然，也可以通过基于深度学习的语音快速人声分离技术，以深度学习技术为基础，构建多层RNN循环神经网络的方法实现将语音数据中不同人声的音频进行拆分且分别保存。
S22、基于个体发声数据进行语音分析获得第一语音特征及相应的频率。
该步骤具体为：在个体发声数据中获取每一时间单位的语音数据，并计算相邻时间单位的语音高度差值，查找语音高度差值落入预设异常语音高度差值阈值范围的时间单位作为可疑语音片段，并计算在目标监测时间内出现可疑语音片段的频率。
S23、基于个体发声数据进行语调分析获得第二语音特征及相应的频率。
该步骤具体为：在个体发声数据中获取每一时间单位的语音数据，并计算相邻时间单位的语调差值，查找语调差值落入预设异常语调差值阈值范围的时间单位作为可疑语音片段，并计算在目标监测时间内出现可疑语音片段的频率。
S24、基于个体发声数据进行语速分析获得第三语音特征及相应的频率。
该步骤具体为：在个体发声数据中获取每一时间单位的语音数据，识别每一时间单位中的音速串并组合成音节，计算每一时间单位中的音节个数作为相应时间单位的语速。将语速落入预设异常语速阈值范围的时间单位作为可疑语音片段，并计算在目标监测时间内出现可疑语音片段的频率。
上述步骤S22～S24先后顺序不限。通过上述步骤S21～S24实现第一分析数据集中语音相关特征的获取。
S25、在语音数据中提取除目标对象之外所有其他对象发出的非目标对象个体发声数据。该步骤的具体方法参照S21的描述，且该步骤与S21可同步执行。
优选地，在步骤S21提取目标对象的个体发声数据以及步骤S25提取非目标对象个体发声数据后，分别打标签区分，且当包括多个非目标对象个体发声数据时分别打不同标签进行区分。
S26、基于个体发声数据及非目标对象个体发声数据进行语义解析获得相应的语义特征。
在一种实施方式中，该步骤S26具体包括：
S261、基于语音数据的时序顺序，根据语音停顿时长将语音数据划分成若干子语音数据。
S262、定位每一子语音数据中语音的端点以确定实际语音片段。该步骤S262具体包括：
基于每一子语音数据的时序顺序，提取每一帧中子语音数据中个体发声数据与非目标对象个体发声数据的语音特征信息，基于语音特征信息，通过预设语言模型生成语音数据的识别结果；根据识别结果和预设静音检测算法初步检测出每一子语音数据的语音端点，以确定实际语音片段。
其中，语音特征信息可包括梅尔频率倒谱系数(MelFrequency CepstrumCoefficient，简称MFCC)以及MFCC的一阶差分和二阶差分等信息。
在获得语音特征信息后，通过语言模型计算每一帧子语音数据在每个建模单元上的似然值，然后通过动态规划算法，得到最优状态转移序列及对应的词序列，并将所得到的最优状态转移序列及对应的词序列作为识别结果。
为了提高语音识别的准确率，本实施例采用基于神经网络(DNN)的语音模型对语音特征信息进行识别。其中，DNN语音模型可通过对大量语音数据进行训练获得，此处不作具体描述。
以及，本实施例中的静音检测算法包括但不限于基于识别结果最优词序列的静音检测算法。
S262、解析每一子语音数据中实际语音片段获得语义解析内容，以获得相应的语义特征，语义特征包括每一子语音数据中的至少一个打标结果及相应的语义解析内容。
在一种较佳的实施方式中，步骤S262包括如下子步骤：
通过长短期记忆神经网络(LSMT)确定实际语音片段的连续实值表示向量以及词序列向量；将连续实值表示向量输入至用于行为分类的第一多层感知网络，确定至少一个行为类型；再将连续实值表示向量以及至少一个行为类型输入至用于实体分类的第二多层感知网络，确定与各行为类型相对应的实体；将配对后的行为/实体、连续实值表示向量以及词序列向量作为输入参数，通过基于编码-解码模型的指针网络，确定与行为/实体相对应的实体值；将已配对的实体值与行为/实体，生成行为类型-实体-实体值三元组确定为实际语音片段即对应子语音数据的语义解析内容。
S27、基于语义特征及相应的持续时间计算目标监测时间内目标对象的有效社交语言时间占比及相应频率、重复刻板语言时间占比相应频率。其中，持续时间即每一子语音数据的时长。
具体地，有效社交语言具有如下特征：主动的来往式对话(不只是一问一答)；对话具有社交意义(并非只是满足个人需求)。重复刻板言语指重复出现的，与当下情境不相符的言语。
上述步骤S21～S24与S25～S27的执行顺序不限。
通过上述步骤S21～S27完成对语音数据分析获得第一分析数据集，以下为对运动数据分析获得第二分析数据集的具体过程，两部分分析过程互不干涉，不分先后，可同步执行。
其中，第二分析数据集包括第一时长占比、第二时长占比、重复刻板动作占比、过度活动占比及异常姿势步态占比。因此，执行步骤S2对运动数据分析获得第二分析数据集，具体包括：
S28、基于运动数据分别识别并获得至少一个肢体大运动、至少一个微小运动及相应的持续时间。
S29、计算所有肢体大运动占目标监测时间的第一时长占比，以及所有微小运动占目标监测时间的第二时长占比。
S30、基于所有肢体大运动、所有微小运动及相应的持续时间计算运动数据中存在的刻板动作时间占比及相应频率、过度活动时间占比及相应频率、异常姿势步态时间占比及相应频率。
具体地，步骤S30包括：
S301、基于预先构建的刻板动作识别模型识别刻板动作。
在一种实施方式中，基于儿童神经发育性障碍特征性运动数据库及大量的肢体动作样本数据预先构建基于深度学习的刻板动作识别模型，该刻板动作识别模型以是否为刻板动作的分类结果为输出。如分为0或1，其中0表示非刻板动作，1表示刻板动作，以实现对刻板动作的识别。
S302、识别连续发生的具有重复性的肢体大运动或微小运动并打相同标签。
S303、基于第一时长占比、第二时长占比之和与预设时长占比阈值判断是否为过度活动。预设时长占比为经验值，如60％或其他。
S304、基于每一肢体大运动、微小运动的旋转角度、摆动幅度、速度、角速度、加速度等参数判断是否为异常姿势步态。在一种实施方式中，对于每一肢体部位的上述参数设置相应的阈值范围。当某一参数超过该阈值范围时则判定为异常姿势步态，并标记。
S305、基于S304的标记结果，计算刻板动作时间占比及相应频率、过度活动时间占比及相应频率、异常姿势步态时间占比及相应频率。
S3、通过上述步骤S2获得第一分析数据、第二分析数据后，基于第一分析数据集、第二分析数据集，通过预先构建的心理发育评估模型获得目标对象的心理发育评估结果。具体地，步骤S3包括：
S31、基于第一分析数据集、第二分析数据集，通过预先构建的行为评分模型获得目标对象的行为评分结果。
本实施例通过行为评分模型对上述的第一语音特征及频率、第二语音特征及频率、第三语音特征及频率、语义特征及频率、第一时长占比、第二时长占比、重复刻板动作时间占比及频率、过度活动时间占比及频率、异常姿势步态时间占比及频率等维度数据进行降维评分，得到不同维度的行为评分结果。
在一种实施方式中，实际上是对异常语音(异常语音音高、异常语调、异常语速)、有效社交语言、重复刻板言语、异常姿势步态等问题行为出现的频率分别予以评分，以及根据肢体大运动和微小运动时间占目标监测时间的比例以及运动发生和持续的模式特征来评分。通常的，评分越高代表问题行为越严重。
S32、基于行为评分结果，通过预先构建的心理发育评估模型获得目标对象的心理发育评估结果。
具体地，将步骤S31中目标对象的降维后维度评分数据输入预先构建的心理发育评估模型进行判断，获得相应的心理发育评估结果，心理发育评估结果包括语言发育、社交、注意力、多动等方面的分类变量。
基于步骤S3，
因此，本实施例中的心理发育评估方法还包括步骤：Sa、预先构建行为评分模型；Sb、预先构建心理发育评估模型，以预先构建上述两个模型。
具体地，步骤Sa包括：
Sa1、基于预先获取的预设时间阈值内样本对象集中每一样本对象的语音数据样本分析获得相应的第一分析数据样本集，以及基于预先获取的预设时间阈值内样本对象集中每一样本对象的运动数据样本分析获得相应的第二分析数据样本集；
Sa2、以所述第一分析数据样本集、所述第二分析数据样本集为输入，相应的经验评分结果为输出，训练获得所述行为评分模型。其中，经验评分结果为儿童精神科医生对每个维度的数据进行经验性赋值评分。
Sa3、评分模型优化。
通过ROC曲线(受试者工作特征曲线)方法来检验每个维度的评分结果是否能够用于很好地区分典型发育儿童、自闭症儿童、多动症儿童这三类儿童。如果评分结果用于分类不理想，则进行模型优化再进行ROC曲线分析，最终实现单一维度评分区分三类儿童的准确性均超过70％。
步骤Sb包括：
以基于预先获取的预设时间阈值内样本对象集中任一样本对象的语音数据样本、运动数据样本通过预先构建的所述行为评分模型获得的评分结果作为输入，以所述样本对象在多维度的分类结果为输出，基于深度神经网络训练获得所述心理发育评估模型。
在一种实施方式中，使用深度神经网络(DNN)结合贝叶斯优化进行深度学习构建心理发育评估模型。
具体地，首先使用贝叶斯优化的方法配置最优的神经网络模型的隐藏层数量、每层的节点数及学习速率等超参数指标，示例性的，隐藏层数量为6，每层节点数为6。在DNN模型中，输入层包括多维度的评分结果(评分模型输出)，隐藏层以ReLU作为激活函数，在输出层中添加一个带有logit分数的回归层，将输出值转换为0到1之间，即输出层最终结果为目标对象是否存在语言发育、社交、注意力、多动等方面问题的分类变量。
另一方面，利用传统的Logistic回归分析建立传统预测模型。以10-fold cross-validation方法划分训练样本集和验证样本集，并对结果进行验证，而后利用ROC曲线计算模型预测的敏感性、特异性、阳性预测值(PPV)、阴性预测值(NPV)等指标。最后，将心理发育评估模型与传统预测模型进行比较，心理发育评估模型显著优于传统模型，并且准确率达到80％以上。
综上，本实施例以目标对象的语音数据及运动数据相结合的方式，通过构建的心理发育评估模型获得心理发育评估结果，能对目标对象心里发育情况进行全面、准确评估，以实现言语异常、社交困难、注意缺陷和多动等问题的早期发现；
进一步，本实施例提供的心理发育评估方法在进行心理发育评估时，通过预先构建的行为评分模型获得所述目标对象的行为评分结果以实现降维评分，并以评分结果为输入获得目标对象的心理发育评估结果，通过增加降维评分的方式减少数据维度和需要的存储空间、节约模型训练计算时间，还能去掉冗余变量，有效提高计算准确度
如图2所示，本实施例还提供一种心理发育评估装置，该装置包括：
采集模块，用于采集目标监测时间内目标对象相关的语音数据及运动数据。
数据分析模块，用于对所述语音数据分析获得第一分析数据集，对所述运动数据分析获得第二分析数据集。
其中：
所述第一分析数据集包括第一语音特征、第二语音特征、第三语音特征及任一语音特征相应的频率，以及语义特征及相应的频率。数据分析模块包括：
提取单元，用于在所述语音数据中提取所述目标对象的个体发声数据；
第一分析单元，用于基于所述个体发声数据进行语音分析获得第一语音特征及相应的频率；
第二分析单元，用于基于所述个体发声数据进行语调分析获得第二语音特征及相应的频率；
第三分析单元，用于基于所述个体发声数据进行语速分析获得第三语音特征及相应的频率。
提取单元还用于在所述语音数据中提取除所述目标对象之外所有其他对象发出的非目标对象个体发声数据；
第四分析单元，用于基于所述个体发声数据及所述非目标对象个体发声数据进行语义解析获得相应的语义特征；基于所述语义特征及相应的持续时间计算所述目标监测时间内所述目标对象的有效社交语言时间占比及相应频率、重复刻板语言时间占比及相应频率。
以及，所述第二分析数据集包括第一时长占比、第二时长占比、重复刻板动作占比、过度活动占比及异常姿势步态占比；数据分析模块还包括：
第五分析单元，用于：
基于所述运动数据分别识别并获得至少一个肢体大运动、至少一个微小运动及相应的持续时间；
计算所有所述肢体大运动占所述目标监测时间的第一时长占比，以及所有所述微小运动占所述目标监测时间的第二时长占比；
基于所有所述肢体大运动、所有所述微小运动及相应的持续时间计算所述运动数据中存在的重复刻板动作时间占比及相应频率、过度活动时间占比及相应频率、异常姿势步态时间占比及相应频率。
评估模块，用于基于所述第一分析数据集、所述第二分析数据集，通过预先构建的心理发育评估模型获得所述目标对象的心理发育评估结果。
具体地，评估模块包括：
第一评估单元，用于基于所述第一分析数据集、所述第二分析数据集，通过预先构建的行为评分模型获得所述目标对象的行为评分结果；
第二评估单元，用于基于所述行为评分结果，通过预先构建的心理发育评估模型获得所述目标对象的心理发育评估结果。
该装置还包括：第一模型构建模块，用于预先构建行为评分模型，包括：
基于预先获取的预设时间阈值内样本对象集中每一样本对象的语音数据样本分析获得相应的第一分析数据样本集，以及基于预先获取的预设时间阈值内样本对象集中每一样本对象的运动数据样本分析获得相应的第二分析数据样本集；
以所述第一分析数据样本集、所述第二分析数据样本集为输入，相应的经验评分结果为输出，训练获得所述行为评分模型。
以及，第二模型构建模块，用于预先构建心理发育评估模型，包括：
以基于预先获取的预设时间阈值内样本对象集中任一样本对象的语音数据样本、运动数据样本通过预先构建的所述行为评分模型获得的评分结果作为输入，以所述样本对象在多维度的分类结果为输出，基于深度神经网络结合贝叶斯训练获得所述心理发育评估模型。
需要说明的是：上述实施例提供的心理发育评估装置在心理发育评估业务时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的心理发育评估装置与心理发育评估方法的实施例属于同一构思，即该系统是基于该方法的，其具体实现过程详见方法实施例，这里不再赘述。
另外，本实施例还提供一种心理发育评估系统，所述系统包括：可穿戴语音数据获取设备、可穿戴运动数据获取设备及处理组件；
所述可穿戴语音数据获取设备用于采集目标对象相关的语音数据；
所述可穿戴运动数据获取设备用于采集目标对象相关的运动数据；
所述处理组件用于执行上述的心理发育评估方法。
以及，本实施例还提供一种电子设备，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令，所述程序指令在被所述一个或多个处理器读取执行时，执行上述的心理发育评估方法。
关于执行程序指令所执行的心理发育评估方法，具体执行细节及相应的有益效果与前述方法中的描述内容是一致的，此处将不再赘述。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，即可将任意多个实施例进行组合，从而获得应对不同应用场景的需求，均在本申请的保护范围内，在此不再一一赘述。
需要说明的是，以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种心理发育评估方法，其特征在于，所述方法包括：
采集目标监测时间内目标对象相关的语音数据及运动数据；
对所述语音数据分析获得第一分析数据集，对所述运动数据分析获得第二分析数据集；
基于所述第一分析数据集、所述第二分析数据集，通过预先构建的心理发育评估模型获得所述目标对象的心理发育评估结果。
2.根据权利要求1所述的评估方法，其特征在于，所述基于所述第一分析数据集、所述第二分析数据集，通过预先构建的心理发育评估模型获得所述目标对象的心理发育评估结果，包括：
基于所述第一分析数据集、所述第二分析数据集，通过预先构建的行为评分模型获得所述目标对象的行为评分结果；
基于所述行为评分结果，通过预先构建的心理发育评估模型获得所述目标对象的心理发育评估结果。
3.根据权利要求2所述的评估方法，其特征在于，所述第一分析数据集包括第一语音特征、第二语音特征、第三语音特征及任一语音特征相应的频率；所述对所述语音数据分析获得第一分析数据集，包括：
在所述语音数据中提取所述目标对象的个体发声数据；
基于所述个体发声数据进行语音分析获得第一语音特征及相应的频率；
基于所述个体发声数据进行语调分析获得第二语音特征及相应的频率；
基于所述个体发声数据进行语速分析获得第三语音特征及相应的频率。
4.根据权利要求3所述的评估方法，其特征在于，所述第一分析数据集还包括语义特征及相应的频率；所述对所述语音数据分析获得第一分析数据集，还包括：
在所述语音数据中提取除所述目标对象之外所有其他对象发出的非目标对象个体发声数据；
基于所述个体发声数据及所述非目标对象个体发声数据进行语义解析获得相应的语义特征；
基于所述语义特征及相应的持续时间计算所述目标监测时间内所述目标对象的有效社交语言时间占比及相应频率、重复刻板语言时间占比及相应频率。
5.根据权利要求2所述的评估方法，其特征在于，所述第二分析数据集包括第一时长占比、第二时长占比、重复刻板动作占比及频率、过度活动占比及频率、异常姿势步态占比及频率；所述对所述运动数据分析获得第二分析数据集，包括：
基于所述运动数据分别识别并获得至少一个肢体大运动、至少一个微小运动及相应的持续时间；
计算所有所述肢体大运动占所述目标监测时间的第一时长占比，以及所有所述微小运动占所述目标监测时间的第二时长占比；
基于所有所述肢体大运动、所有所述微小运动及相应的持续时间计算所述运动数据中存在的重复刻板动作时间占比及相应频率、过度活动时间占比及相应频率、异常姿势步态时间占比及相应频率。
6.根据权利要求2～5任意一项所述的评估方法，其特征在于，所述方法还包括：预先构建行为评分模型；包括：
基于预先获取的预设时间阈值内样本对象集中每一样本对象的语音数据样本分析获得相应的第一分析数据样本集，以及基于预先获取的预设时间阈值内样本对象集中每一样本对象的运动数据样本分析获得相应的第二分析数据样本集；
以所述第一分析数据样本集、所述第二分析数据样本集为输入，相应的经验评分结果为输出，训练获得所述行为评分模型。
7.根据权利要求6所述的评估方法，其特征在于，所述方法还包括：预先构建心理发育评估模型，包括：
以基于预先获取的预设时间阈值内样本对象集中任一样本对象的语音数据样本、运动数据样本通过预先构建的所述行为评分模型获得的评分结果作为输入，以所述样本对象在多维度的分类结果为输出，基于深度神经网络结合贝叶斯训练获得所述心理发育评估模型。
8.一种心理发育评估装置，其特征在于，所述装置包括：
采集模块，用于采集目标监测时间内目标对象相关的语音数据及运动数据；
数据分析模块，用于对所述语音数据分析获得第一分析数据集，对所述运动数据分析获得第二分析数据集；
评估模块，用于基于所述第一分析数据集、所述第二分析数据集，通过预先构建的心理发育评估模型获得所述目标对象的心理发育评估结果。
9.一种心理发育评估系统，其特征在于，所述系统包括：可穿戴语音数据获取设备、可穿戴运动数据获取设备及处理组件；
所述可穿戴语音数据获取设备用于采集目标对象相关的语音数据；
所述可穿戴运动数据获取设备用于采集目标对象相关的运动数据；
所述处理组件用于执行如权利要求1～7任意一项所述的方法。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令，所述程序指令在被所述一个或多个处理器读取执行时，执行如权利要求1～7任意一项所述的心理发育评估方法。
CN202111324835.9A 2021-11-10 2021-11-10 一种心理发育评估方法、装置、系统及电子设备 Pending CN114038562A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111324835.9A CN114038562A (zh) 2021-11-10 2021-11-10 一种心理发育评估方法、装置、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111324835.9A CN114038562A (zh) 2021-11-10 2021-11-10 一种心理发育评估方法、装置、系统及电子设备

Publications (1)

Publication Number Publication Date
CN114038562A true CN114038562A (zh) 2022-02-11

Family

ID=80143766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111324835.9A Pending CN114038562A (zh) 2021-11-10 2021-11-10 一种心理发育评估方法、装置、系统及电子设备

Country Status (1)

Country Link
CN (1) CN114038562A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114420294A (zh) * 2022-03-24 2022-04-29 北京无疆脑智科技有限公司 心理发展水平评估方法、装置、设备、存储介质和系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184661A (zh) * 2011-03-17 2011-09-14 南京大学 儿童孤独症语言训练系统及基于物联网的集中训练中心
CN102354349A (zh) * 2011-10-26 2012-02-15 华中师范大学 提高孤独症儿童社会互动能力的人机互动多模态早期干预系统
CN109381200A (zh) * 2018-10-18 2019-02-26 昆山杜克大学 基于分离重聚范式和计算机视觉的孤独症初级筛查装置
CN109448758A (zh) * 2018-10-19 2019-03-08 昆山杜克大学 语音韵律异常评估方法、装置、计算机设备和存储介质
CN109589562A (zh) * 2018-12-18 2019-04-09 吉林省隆锦科技有限公司 发音康复训练系统
CN110313923A (zh) * 2019-07-05 2019-10-11 昆山杜克大学 基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统
CN110364260A (zh) * 2019-07-05 2019-10-22 昆山杜克大学 基于指示性语言范式的孤独症早期评估装置及系统
CN111081371A (zh) * 2019-11-27 2020-04-28 昆山杜克大学 基于虚拟现实的孤独症早期筛查评估系统及方法
CN112669966A (zh) * 2020-12-14 2021-04-16 北京易华录信息技术股份有限公司 一种基于监控数据的行为分析系统
CN113520395A (zh) * 2021-07-15 2021-10-22 北京心驰智途科技有限公司 一种精神状态的实时评估系统和方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184661A (zh) * 2011-03-17 2011-09-14 南京大学 儿童孤独症语言训练系统及基于物联网的集中训练中心
CN102354349A (zh) * 2011-10-26 2012-02-15 华中师范大学 提高孤独症儿童社会互动能力的人机互动多模态早期干预系统
CN109381200A (zh) * 2018-10-18 2019-02-26 昆山杜克大学 基于分离重聚范式和计算机视觉的孤独症初级筛查装置
CN109448758A (zh) * 2018-10-19 2019-03-08 昆山杜克大学 语音韵律异常评估方法、装置、计算机设备和存储介质
CN109589562A (zh) * 2018-12-18 2019-04-09 吉林省隆锦科技有限公司 发音康复训练系统
CN110313923A (zh) * 2019-07-05 2019-10-11 昆山杜克大学 基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统
CN110364260A (zh) * 2019-07-05 2019-10-22 昆山杜克大学 基于指示性语言范式的孤独症早期评估装置及系统
CN111081371A (zh) * 2019-11-27 2020-04-28 昆山杜克大学 基于虚拟现实的孤独症早期筛查评估系统及方法
CN112669966A (zh) * 2020-12-14 2021-04-16 北京易华录信息技术股份有限公司 一种基于监控数据的行为分析系统
CN113520395A (zh) * 2021-07-15 2021-10-22 北京心驰智途科技有限公司 一种精神状态的实时评估系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
沈屹东，等: "孤独症谱系障碍的早期行为学异常与筛查", 《国际精神病杂志》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114420294A (zh) * 2022-03-24 2022-04-29 北京无疆脑智科技有限公司 心理发展水平评估方法、装置、设备、存储介质和系统

Similar Documents

Publication Publication Date Title
US20200388287A1 (en) Intelligent health monitoring
US11055575B2 (en) Intelligent health monitoring
Sakar et al. A comparative analysis of speech signal processing algorithms for Parkinson’s disease classification and the use of the tunable Q-factor wavelet transform
Travieso et al. Detection of different voice diseases based on the nonlinear characterization of speech signals
CN111951824A (zh) 一种基于声音判别抑郁症的检测方法
CN112200016A (zh) 基于集成学习方法AdaBoost的脑电信号情感识别
Hema et al. Emotional speech recognition using cnn and deep learning techniques
Turan et al. Monitoring Infant's Emotional Cry in Domestic Environments Using the Capsule Network Architecture.
CN113257406A (zh) 基于智能眼镜的灾害救援检伤分类及辅助诊断方法
Chebbi et al. On the use of pitch-based features for fear emotion detection from speech
Zhu et al. Fusion of modulation spectral and spectral features with symptom metadata for improved speech-based COVID-19 detection
Sanjeev et al. Deep learning-based mixed data approach for COVID-19 detection
CN114038562A (zh) 一种心理发育评估方法、装置、系统及电子设备
Feng Toward knowledge-driven speech-based models of depression: Leveraging spectrotemporal variations in speech vowels
Shanthi et al. An integrated approach for mental health assessment using emotion analysis and scales
Reddy et al. End-to-end pathological speech detection using wavelet scattering network
Sabet et al. COVID-19 detection in cough audio dataset using deep learning model
Sharma et al. Classification of children with specific language impairment using pitch-based parameters
Sedaghat et al. Unobtrusive monitoring of COPD patients using speech collected from smartwatches in the wild
Rheault et al. Multimodal techniques for the study of a ect in political videos
Rodriguez et al. Prediction of inter-personal trust and team familiarity from speech: A double transfer learning approach
Aluru et al. Parkinson’s Disease Detection Using Machine Learning Techniques
Kavitha et al. Deep Learning based Audio Processing Speech Emotion Detection
Meghraoui et al. Features dimensionality reduction and multi-dimensional voice processing program to Parkinson disease discrimination
Kumar et al. Parkinson’s Speech Detection Using YAMNet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination