CN110706786B - 非接触式心理参数智能分析与评测系统 - Google Patents

Abstract

本发明公开了一种非接触式心理参数智能分析与评测系统，包括个人信息及数据采集模块、文本数据采集模块、文本数据处理模块、专家诊断临床文本数据模块、文本诊断识别、声音、面部表情数据采集模块；所述个人信息及数据采集模块，用于个人身份认证与管理；所述文本数据采集模块，用于根据诊断专家询问建立询问数据库，采用自动问询方式与患者进行病情在情绪、认知、兴趣、睡眠、食欲中任一或多个方面的数据采集；本发明采用非接触式采集语音情感、面部表情、文本信息作为分析的手段与方法，情绪数据能真实反映患者情绪变化和认知能力，不受患者主观或者客观的原因变化导致差异分析。

Description

非接触式心理参数智能分析与评测系统

技术领域

本发明涉及心理分析测评技术领域，更为具体地，涉及一种非接触式心理参数智能分析与评测系统。

背景技术

目前现有技术解决方案是公布了一种心理测试仪控制方法、装置及计算机可读存储介质，专利申请号CN201910165805.4，该发明公开了在于提供一种心理测试仪控制方法、装置及计算机可读存储介质，旨在解决当前心理测试仪功能单一的技术问题。为实现上述目的，该发明提供一种心理测试仪控制方法，心理测试仪控制方法应用于心理测试仪控制系统，心理测试仪控制系统包括智能控制终端和心理测试仪。在智能控制终端与心理测试仪的PLC连接后，智能控制终端通过PLC获取心理测试仪的心理测试参数；根据心理测试参数确定对应的心理状态水平，基于心理状态水平确定当前受检项目中是否包括阳性项目；在确定当前受检项目中包括阳性项目时，进一步确定受检者的心理健康水平；基于心理状态水平和心理健康水平生成心理测试结果。但是，现有技术存在不能很好反应患者情绪变化和认知能力，且易受环境影响等问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种非接触式心理参数智能分析与评测系统，

采用非接触式采集语音情感、面部表情、文本信息作为分析的手段与方法，情绪数据能真实反映患者情绪变化和认知能力，不受患者主观或者客观的原因变化导致差异分析。

本发明的目的是通过以下技术方案来实现的：

一种非接触式心理参数智能分析与评测系统，包括个人信息及数据采集模块、文本数据采集模块、文本数据处理模块、专家诊断临床文本数据模块、文本诊断识别、声音、面部表情数据采集模块；所述个人信息及数据采集模块，用于个人身份认证与管理；所述文本数据采集模块，用于根据诊断专家询问建立询问数据库，采用自动问询方式与患者进行病情在情绪、认知、兴趣、睡眠、食欲中任一或多个方面的数据采集；所述文本数据处理模块，用于根据不同病例不同病情设立对应映射关键词的逻辑关系，在数据采集中抓取关键词，作为诊断识别的输入要素；所述专家诊断临床文本数据模块，用于根据临床诊断病人的病历数据表现，抓取设定关键词，对不同病例和同一病例不同的病情进行分类管理；所述文本诊断识别模块，用于根据病人在个人身份信息、情绪、认知、兴趣、睡眠、食欲中任一或多个方面的数据，通过映射关系识别诊断情况；所述声音、面部表情数据采集模块，用于实现语音情感和面部表情双模态样本数据采集；基于所述诊断情况和语音情感和面部表情双模态样本数据进行加权统计判断，得到诊断报告。

进一步的，包括询问系统，用于对采集的语音信号，面部表情、以及语音文本内容进行存储，以及数据的处理、统计分析及报表的生成。

进一步的，包括专家智能诊断系统，用于根据患者的个人信息、分项数据库比对与识别的结果，以及根据深度的学习模型和机器算法，得到综合数据库识别的结果；同时患者个人第二次或者更多次进行诊断检查时，当次在采集的声音数据库、面部表情数据库、眼动数据库中任一与患者自己的分项数据库通过深度学习作对比、分析和识别；结合专家综合数据库和个人历史数据库分析识别的两个结果，利用权重不同智能识别最终的分析结果。

进一步的，所述询问系统包括拾音器、摄像头、语音合成终端；拾音器用于采集被试者的声音信号，摄像头用于采集被试者的面部表情，语音合成终端用于对询问内容进行语音转换成文字。

进一步的，包括语音情感和面部表情双模态情感识别系统；

所述语音情感和面部表情双模态情感识别系统包括情感数据的输入及其预处理模块、情感特征提取模块以及特征融合情感识别模块；

所述情感数据的输入及其预处理模块，用于选择和建立所使用的情感数据库，根据不同数据库的数据特征以及不同模态数据的特性选择预处理方法；

所述情感特征提取模块，用于表情特征提取和语音特征提取，所述表情特征包括LBP特征；所述语音特征包括基频特征、短时能量特征、梅尔频率倒谱系数、短时抖动参数、过零率中的一种或多种；

所述特征融合情感识别模块，用于根据特征种类不同进行分类映射，双模态情感特征分为表情特征、语音特征以及表情和语音特征串联而得的串行特征，对每部分特征种类采用不同的核函数进行映射，再通过学习求得每个特征种类对应不同的各个核函数前的权重系数；核函数前的权重系数在学习过程中获得，实现多模态情感特征的识别。

进一步的，包括精神病专业诊断训练数据库；包括患者身份信息采集模块、训练样本情感数据采集模块、分类管理数据加工模块、数据训练模块和数据识别模块；

患者分类管理功能模块，在建立数据库时，对采集的患者根据身份信息进行管理，包括年龄、性别、职业、家庭情况、社会关系；

训练样本情感数据采集模块，用于建立患者的临床症状数据库，包括不同病人的声音情感数据库、面部表情数据库、文本情感数据库；

分类管理数据加工模块，根据临床专家的诊断结论，对不同病人的数据进行标记，以便以后对采集的数据样本进行训练；

数据训练模块，用于对患者采集的数据与训练的数据进行比对，将采集声音数据与训练集中声音数据库进行比对，采集的面部表情数据与训练数据库标注中的面部表情数据库进行比对；

数据识别模块，用于在采集数据库与训练数据库通过标注功能对比后，进行识别得到识别结论。

本发明的有益效果是：

(1)本发明采用非接触式采集语音情感、面部表情、文本信息作为分析的手段与方法，情绪数据能真实反映患者情绪变化和认知能力，不受患者主观或者客观的原因变化导致差异分析。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程示意图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。本说明书中公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路，软件或方法。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在对实施例进行描述之前，需要对一些必要的术语进行解释。例如：

若本申请中出现使用“第一”、“第二”等术语来描述各种元件，但是这些元件不应当由这些术语所限制。这些术语仅用来区分一个元件和另一个元件。因此，下文所讨论的“第一”元件也可以被称为“第二”元件而不偏离本发明的教导。应当理解的是，若提及一元件“连接”或者“联接”到另一元件时，其可以直接地连接或直接地联接到另一元件或者也可以存在中间元件。相反地，当提及一元件“直接地连接”或“直接地联接”到另一元件时，则不存在中间元件。

在本申请中出现的各种术语仅仅用于描述具体的实施方式的目的而无意作为对本发明的限定，除非上下文另外清楚地指出，否则单数形式意图也包括复数形式。

当在本说明书中使用术语“包括”和/或“包括有”时，这些术语指明了所述特征、整体、步骤、操作、元件和/或部件的存在，但是也不排除一个以上其他特征、整体、步骤、操作、元件、部件和/或其群组的存在和/或附加。

如图1所示，一种非接触式心理参数智能分析与评测系统，包括个人信息及数据采集模块、文本数据采集模块、文本数据处理模块、专家诊断临床文本数据模块、文本诊断识别、声音、面部表情数据采集模块；

所述个人信息及数据采集模块，用于个人身份认证与管理；所述文本数据采集模块，用于根据诊断专家询问建立询问数据库，采用自动问询方式与患者进行病情在情绪、认知、兴趣、睡眠、食欲中任一或多个方面的数据采集；

所述文本数据处理模块，用于根据不同病例不同病情设立对应映射关键词的逻辑关系，在数据采集中抓取关键词，作为诊断识别的输入要素；

所述专家诊断临床文本数据模块，用于根据临床诊断病人的病历数据表现，抓取设定关键词，对不同病例和同一病例不同的病情进行分类管理；

所述文本诊断识别模块，用于根据病人在个人身份信息、情绪、认知、兴趣、睡眠、食欲中任一或多个方面的数据，通过映射关系识别诊断情况；

所述声音、面部表情数据采集模块，用于实现语音情感和面部表情双模态样本数据采集；基于所述诊断情况和语音情感和面部表情双模态样本数据进行加权统计判断，得到诊断报告。

进一步的，包括询问系统，用于对采集的语音信号，面部表情、以及语音文本内容进行存储，以及数据的处理、统计分析及报表的生成。

进一步的，包括专家智能诊断系统，用于根据患者的个人信息、分项数据库比对与识别的结果，以及根据深度的学习模型和机器算法，得到综合数据库识别的结果；同时患者个人第二次或者更多次进行诊断检查时，当次在采集的声音数据库、面部表情数据库、眼动数据库中任一与患者自己的分项数据库通过深度学习作对比、分析和识别；结合专家综合数据库和个人历史数据库分析识别的两个结果，利用权重不同智能识别最终的分析结果。

进一步的，所述询问系统包括拾音器、摄像头、语音合成终端；拾音器用于采集被试者的声音信号，摄像头用于采集被试者的面部表情，语音合成终端用于对询问内容进行语音转换成文字。

进一步的，包括语音情感和面部表情双模态情感识别系统；

所述语音情感和面部表情双模态情感识别系统包括情感数据的输入及其预处理模块、情感特征提取模块以及特征融合情感识别模块；

所述情感数据的输入及其预处理模块，用于选择和建立所使用的情感数据库，根据不同数据库的数据特征以及不同模态数据的特性选择预处理方法；

所述情感特征提取模块，用于表情特征提取和语音特征提取，所述表情特征包括LBP特征；所述语音特征包括基频特征、短时能量特征、梅尔频率倒谱系数、短时抖动参数、过零率中的一种或多种；

所述特征融合情感识别模块，用于根据特征种类不同进行分类映射，双模态情感特征分为表情特征、语音特征以及表情和语音特征串联而得的串行特征，对每部分特征种类采用不同的核函数进行映射，再通过学习求得每个特征种类对应不同的各个核函数前的权重系数；核函数前的权重系数在学习过程中获得，实现多模态情感特征的识别。

进一步的，包括精神病专业诊断训练数据库；包括患者身份信息采集模块、训练样本情感数据采集模块、分类管理数据加工模块、数据训练模块和数据识别模块；

患者分类管理功能模块，在建立数据库时，对采集的患者根据身份信息进行管理，包括年龄、性别、职业、家庭情况、社会关系；

训练样本情感数据采集模块，用于建立患者的临床症状数据库，包括不同病人的声音情感数据库、面部表情数据库、文本情感数据库；

分类管理数据加工模块，根据临床专家的诊断结论，对不同病人的数据进行标记，以便以后对采集的数据样本进行训练；

数据训练模块，用于对患者采集的数据与训练的数据进行比对，将采集声音数据与训练集中声音数据库进行比对，采集的面部表情数据与训练数据库标注中的面部表情数据库进行比对；

数据识别模块，用于在采集数据库与训练数据库通过标注功能对比后，进行识别得到识别结论。

实施例一

如图1所示，一种非接触式心理参数智能分析与评测系统，包括个人信息及数据采集模块、文本数据采集模块、文本数据处理模块、专家诊断临床文本数据模块、文本诊断识别、声音、面部表情数据采集模块；个人信息及数据采集模块，用于个人身份认证与管理；文本数据采集模块，用于根据诊断专家询问建立询问数据库，采用自动问询方式与患者进行病情在情绪、认知、兴趣、睡眠、食欲中任一或多个方面的数据采集；文本数据处理模块，用于根据不同病例不同病情设立对应映射关键词的逻辑关系，在数据采集中抓取关键词，作为诊断识别的输入要素；专家诊断临床文本数据模块，用于根据临床诊断病人的病历数据表现，抓取设定关键词，对不同病例和同一病例不同的病情进行分类管理；文本诊断识别模块，用于根据病人在个人身份信息、情绪、认知、兴趣、睡眠、食欲中任一或多个方面的数据，通过映射关系识别诊断情况；声音、面部表情数据采集模块，用于实现语音情感和面部表情双模态样本数据采集；基于诊断情况和语音情感和面部表情双模态样本数据进行加权统计判断，得到诊断报告。

在本实施例中的其余技术特征，本领域技术人员均可以根据实际情况进行灵活选用和以满足不同的具体实际需求。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实现本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的算法，方法或系统等，均在本发明的权利要求书请求保护的技术方案限定技术保护范围之内。

对于前述的方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和单元并不一定是本申请所必须的。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法实现所描述的功能，但是这种实现不应超出本发明的范围。

所揭露的系统、模块和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例，仅仅是示意性的，例如，所述单元的划分，可以仅仅是一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以说通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述分立部件说明的单元可以是或者也可以不收物理上分开的，作为单元显示的部件可以是或者可以不收物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例的方案的目的。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、ROM、RAM等。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (5)

1.一种非接触式心理参数智能分析与评测系统，其特征在于，包括个人信息及数据采集模块、文本数据采集模块、文本数据处理模块、专家诊断临床文本数据模块、文本诊断识别、声音、面部表情数据采集模块；

所述个人信息及数据采集模块，用于个人身份认证与管理；所述文本数据采集模块，用于根据诊断专家询问建立询问数据库，采用自动问询方式与患者进行病情在情绪、认知、兴趣、睡眠、食欲中任一或多个方面的数据采集；

所述文本数据处理模块，用于根据不同病例不同病情设立对应映射关键词的逻辑关系，在数据采集中抓取关键词，作为诊断识别的输入要素；

所述专家诊断临床文本数据模块，用于根据临床诊断病人的病历数据表现，抓取设定关键词，对不同病例和同一病例不同的病情进行分类管理；

所述文本诊断识别模块，用于根据病人在个人身份信息、情绪、认知、兴趣、睡眠、食欲中任一或多个方面的数据，通过映射关系识别诊断情况；

所述声音、面部表情数据采集模块，用于实现语音情感和面部表情双模态样本数据采集；基于所述诊断情况和语音情感和面部表情双模态样本数据进行加权统计判断，得到诊断报告；

还包括专家智能诊断系统，用于根据患者的个人信息、分项数据库比对与识别的结果，以及根据深度的学习模型和机器算法，得到综合数据库识别的结果；同时患者个人第二次或者更多次进行诊断检查时，当次在采集的声音数据库、面部表情数据库、眼动数据库中任一与患者自己的分项数据库通过深度学习作对比、分析和识别；结合专家综合数据库和个人历史数据库分析识别的两个结果，利用权重不同智能识别最终的分析结果。

2.根据权利要求1所述的非接触式心理参数智能分析与评测系统，其特征在于，包括询问系统，用于对采集的语音信号，面部表情、以及语音文本内容进行存储，以及数据的处理、统计分析及报表的生成。

3.根据权利要求2所述的非接触式心理参数智能分析与评测系统，其特征在于，

所述询问系统包括拾音器、摄像头、语音合成终端；拾音器用于采集被试者的声音信号，摄像头用于采集被试者的面部表情，语音合成终端用于对询问内容进行语音转换成文字。

4.根据权利要求1～3任一所述的非接触式心理参数智能分析与评测系统，其特征在于，包括语音情感和面部表情双模态情感识别系统；

所述语音情感和面部表情双模态情感识别系统包括情感数据的输入及其预处理模块、情感特征提取模块以及特征融合情感识别模块；

所述情感数据的输入及其预处理模块，用于选择和建立所使用的情感数据库，根据不同数据库的数据特征以及不同模态数据的特性选择预处理方法；

所述情感特征提取模块，用于表情特征提取和语音特征提取，所述表情特征包括LBP特征；所述语音特征包括基频特征、短时能量特征、梅尔频率倒谱系数、短时抖动参数、过零率中的一种或多种；

所述特征融合情感识别模块，用于根据特征种类不同进行分类映射，双模态情感特征分为表情特征、语音特征以及表情和语音特征串联而得的串行特征，对每部分特征种类采用不同的核函数进行映射，再通过学习求得每个特征种类对应不同的各个核函数前的权重系数；核函数前的权重系数在学习过程中获得，实现多模态情感特征的识别。

5.根据权利要求4所述的非接触式心理参数智能分析与评测系统，其特征在于，包括精神病专业诊断训练数据库；包括患者身份信息采集模块、训练样本情感数据采集模块、分类管理数据加工模块、数据训练模块和数据识别模块；

患者分类管理功能模块，在建立数据库时，对采集的患者根据身份信息进行管理，包括年龄、性别、职业、家庭情况、社会关系；

训练样本情感数据采集模块，用于建立患者的临床症状数据库，包括不同病人的声音情感数据库、面部表情数据库、文本情感数据库；

分类管理数据加工模块，根据临床专家的诊断结论，对不同病人的数据进行标记，以便以后对采集的数据样本进行训练；

数据训练模块，用于对患者采集的数据与训练的数据进行比对，将采集声音数据与训练集中声音数据库进行比对，采集的面部表情数据与训练数据库标注中的面部表情数据库进行比对；

数据识别模块，用于在采集数据库与训练数据库通过标注功能对比后，进行识别得到识别结论。