CN112750518A - 一种基于心理行为特征识别的谈话（询问）方法 - Google Patents

Abstract

一种基于心理行为特征识别的谈话(询问)方法：主要包括语音采集设备、视频采集设备、谈话(询问)终端主机、打印机、显示设备等其他附件。谈话(询问)终端主机包括语音识别模块、情绪特征识别模块、心理行为识别模块、同步录音录像模块、系统管理模块。本发明的目的是解决目前谈话(询问)中，为不可记录的心理行为状态，以及文本数据和音视频数据保存和备份提供一种智能化的技术，为执法、医疗、教育、心理咨询等行业提供了一个智能的谈话(询问)方法。

Description

一种基于心理行为特征识别的谈话(询问)方法

技术领域

本发明涉及情绪分析技术领域，更为具体地，涉及一种基于心理行为特征识别的询问方法。

背景技术

伴随科学技术飞速的发展和人们逐渐对计算机越来越依赖，人类与计算机之间的“沟通”变得更加受科学家们的关注。目前在执法、医疗、教育、心理咨询等行业的谈话(询问)，通过面对面的语音相互交流，采用人工笔记的记录来实现谈话(询问)内容的备案保存和管理，并且不能对谈话(询问)过程的文本和音视频实现同步保存和备份管理；同时对谈话(询问) 的心理行为特征的判断主要是供过人眼的直觉感受判断，以及人的听觉器官对语义的获取再通过大脑的理解，来综合判断对方在谈话(询问)之中的心理行为反应。目前，人们的谈话 (询问)方式的缺点是谈话(询问)内容需要人工笔记记录，笔记记录时间比谈话(询问) 速度慢，影响谈话(询问)的效果，同时现有的谈话(询问)模式，判断谈话(询问)对方的心理行为特征是个人凭大脑的直觉感受来判断，可能存在每个人的大脑直觉判断有所出入，同时在大脑直觉判断上对不同程度的心理行为特征的判断没有一个明确的数据指标。因此，目前谈话(询问)应用场景中没有提出有效的有关心理行为的评价解决方案。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于心理行为特征识别的谈话(询问) 方法应用于谈话(询问)场景，以加强谈话(询问)双方的多途径多方式的心理行为特征的识别。本发明的目的是解决目前谈话(询问)中，为不可记录的心理行为状态提供一种可视化智能化的人工评价技术，为执法、医疗、教育、心理咨询等行业提出了一个智能的谈话(询问)解决方案。

本发明目的是通过以下技术方案来实现：

一种基于心理行为特征识别的谈话(询问)方法：主要包括语音采集设备、视频采集设备、询问终端主机、打印机、显示设备等其他附件。

视频采集设备主要是结合语音采集设备同步实现对实时音视频的信息采集。

询问终端主机主要包括语音识别模块、情绪特征识别模块、心理行为识别模块、同步录音录像模块、系统管理模块等功能。语音识别模块主要功能把谈话内容转换成文本信息，替代人工记录谈话内容。情绪特征识别模块主要包括有语音情感识别功能、人脸面部表情识别功能、文本情感识别、眼动轨迹情感识别、姿态情感识别等功能的一种或者任意多模态的组合；其中姿态情感识别包括头部姿态、形体姿态、手势姿态、步行姿态等其中的一种或者多种。语音情感识别模块主要作用通过语音采集设备采集的语音信息，通过情绪识别模块的语音情感识别功能识别采集的语音情感特征；视频采集设备采集的视频信息通过情绪识别的人脸面部表情识别功能识别人脸面部表情情感特征；文本情感识别功能对语音采集设备采集的语音信息，通过语音识别转换成文本信息后，通过文本情感特征数据库的特征情感识别；眼动轨迹情感识别对视频采集设备采集的眼动轨迹进行情感特征的识别；姿态情感识别根据视频采集的姿态行文信息根据姿态情感数据库进行姿态情感特征识别；情感识别模块根据同步的语音情感特征、面部表情特征、文本情感特征、眼动轨迹情感特征、姿态情感特征的相同情感特征的映射特征融合，通过多核函数和权重的计算，得到语音情感特征、人脸面部表情情感特征、文本情感特征、眼动轨迹情感特征、姿态情感特征等多维度情感特征融合的谈话 (询问)情感状态。心理行为数据库是心理专家根据视频信息的声音压力、语音文本内容、面部表情情感特征、眼动轨迹情感特征、姿态情感特征等多维度实时信息的经验集成判断，建立的心理行为特征的数据库，心理专家也可以结合相关的语音情感识别工具、面部表情识别工具以及语音文本情感识别工具、眼动轨迹情感识别工具、姿态情感识别工具的综合运用，实现对多维度情感特征的专家判断后，结合心理行为数据库的应用，完成多维度谈话(询问) 心理行为数据的标注；例如标注可以是紧张、害怕、犹豫、期待、撒谎、分心、冲突、排斥等，心理行为数据库的主要功能是根据采集识别的多维度情感融合特征识别谈话(询问)心理行为特征。同步录音录像模块，采集谈话(询问)中的视频及音频数据实现同步的数据保存和备份，并与语音识别模块识别的文本数据一起实现对谈话(询问)过程中同步音视频和文本数据的保存和备份。系统管理模块，对数据来源模块经过系统处理后生成的结果进行查看、统计和日志管理，以及数据的输出。

打印设备：对数据结果的接收后打印输出便于纸质文件的保存。

显示设备：主要用于对采集、分析及管理的数据进行显示。

进一步的，包括：

语音采集设备可以是拾音器、麦克风、电话或者其他录音设备；麦克风包括一种矩阵式麦克风，通过内置角色分离算法，把相互谈话人员的声音独立隔离出2路或多路独立的音频，传输给询问终端主机。

本发明的有益效果是：

(1)本发明通过语音识别功能和同步录音录像模块同步记录谈话(询问)的音视频和文本数据，以便保存和备份当次谈话的文本和音视频数据。

(2)本发明通过情感识别模块对谈话(询问)对象实时的情感特征进行识别，通过心理行为特征数据库对识别的情感特征进行心理行为特征识别，以记录谈话(询问)对象在某段谈话(询问)时间内的心理行为特征和对应的心理行为特征值；例如在紧张、害怕、犹豫、期待、撒谎、分心、冲突、排斥等评价指标中的数值来记录与评价其心理行为的活动。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的装置结构框图。

图2为本发明的心理行为特征识别流程图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。本说明书中公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路，软件或方法。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在对实施例进行描述之前，需要对一些必要的术语进行解释。例如：

若本申请中出现使用“第一”、“第二”等术语来描述各种元件，但是这些元件不应当由这些术语所限制。这些术语仅用来区分一个元件和另一个元件。因此，下文所讨论的“第一”元件也可以被称为“第二”元件而不偏离本发明的教导。应当理解的是，若提及一元件“连接”或者“联接”到另一元件时，其可以直接地连接或直接地联接到另一元件或者也可以存在中间元件。相反地，当提及一元件“直接地连接”或“直接地联接”到另一元件时，则不存在中间元件。

在本申请中出现的各种术语仅仅用于描述具体的实施方式的目的而无意作为对本发明的限定，除非上下文另外清楚地指出，否则单数形式意图也包括复数形式。

当在本说明书中使用术语“包括”和/或“包括有”时，这些术语指明了所述特征、整体、步骤、操作、元件和/或部件的存在，但是也不排除一个以上其他特征、整体、步骤、操作、元件、部件和/或其群组的存在和/或附加。

如图1～2所示：

一种基于心理行为特征识别的谈话(询问)方法：主要包括语音采集设备、视频采集设备、询问终端主机、打印机、显示设备等其他附件。

视频采集设备主要是结合语音采集设备同步实现对实时视频的信息采集。

询问终端主机主要包括语音识别模块、情绪特征识别模块、心理行为识别模块、同步录音录像模块、系统管理模块等功能。语音识别模块主要功能把谈话内容转换成文本信息，替代人工记录谈话内容。情绪特征识别模块主要包括有语音情感识别功能、人脸面部表情识别功能、文本情感识别、眼动轨迹情感识别、姿态情感识别等功能的一种或者任意多模态的组合；其中姿态情感识别包括头部姿态、形体姿态、手势姿态、步行姿态等其中的一种或者多种。语音情感识别模块主要作用通过语音采集设备采集的语音信息，通过情绪识别模块的语音情感识别功能识别采集的语音情感特征；视频采集设备采集的视频信息通过情绪识别的人脸面部表情识别功能识别人脸面部表情情感特征；文本情感识别功能对语音采集设备采集的语音信息，通过语音识别转换成文本信息后，通过文本情感特征数据库的特征情感识别；眼动轨迹情感识别对视频采集设备采集的眼动轨迹进行情感特征的识别；姿态情感识别根据视频采集的姿态行文信息根据姿态情感数据库进行姿态情感特征识别；情感识别模块根据同步的语音情感特征、面部表情特征、文本情感特征、眼动轨迹情感特征、姿态情感特征的相同情感特征的映射特征融合，通过多核函数和权重的计算，得到语音情感特征、人脸面部表情情感特征、文本情感特征、眼动轨迹情感特征、姿态情感特征等多维度情感特征融合的谈话 (询问)情感状态。心理行为数据库是心理专家根据视频信息的声音压力、语音文本内容、面部表情情感特征、眼动轨迹情感特征、姿态情感特征等多维度实时信息的经验集成判断，建立的心理行为特征的数据库，心理专家也可以结合相关的语音情感识别工具、面部表情识别工具以及语音文本情感识别工具、眼动轨迹情感识别工具、姿态情感识别工具的综合运用，实现对多维度情感特征的专家判断后，结合心理行为数据库的应用，完成多维度谈话(询问) 心理行为数据的标注；例如标注可以是紧张、害怕、犹豫、期待、撒谎、分心、冲突、排斥等，心理行为数据库的主要功能是根据采集识别的多维度情感融合特征识别谈话(询问)心理行为特征。同步录音录像模块，采集谈话(询问)中的视频及音频数据实现同步的数据保存和备份，并与语音识别模块识别的文本数据一起实现对谈话(询问)过程中同步音视频和文本数据的保存和备份。系统管理模块，对数据来源模块经过系统处理后生成的结果进行查看、统计和日志管理，以及数据的输出。

打印设备：对数据结果的接收后打印输出便于纸质文件的保存。

显示设备：主要用于对采集、分析及管理的数据进行显示。

进一步的，包括：

语音采集设备可以是拾音器、麦克风、电话或者其他录音设备；麦克风包括一种矩阵式麦克风，通过内置角色分离算法，把相互谈话人员的声音独立隔离出2路或多路独立的音频，传输给询问终端主机。

实施例1

如图1～2所示，一种基于心理行为特征识别的询问装置，包括：

语音采集设备、视频采集设备、询问终端主机、打印机、显示设备等其他附件。

视频采集设备主要是结合语音采集设备同步实现对实时视频的信息采集。

询问终端主机主要包括语音识别模块、情绪特征识别模块、心理行为识别模块、同步录音录像模块、系统管理模块等功能。语音识别模块主要功能把谈话内容转换成文本信息，替代人工记录谈话内容。情绪特征识别模块主要包括有语音情感识别功能、人脸面部表情识别功能、文本情感识别、眼动轨迹情感识别、姿态情感识别等功能的一种或者任意多模态的组合；其中姿态情感识别包括头部姿态、形体姿态、手势姿态、步行姿态等其中的一种或者多种。语音情感识别模块主要作用通过语音采集设备采集的语音信息，通过情绪识别模块的语音情感识别功能识别采集的语音情感特征；视频采集设备采集的视频信息通过情绪识别的人脸面部表情识别功能识别人脸面部表情情感特征；文本情感识别功能对语音采集设备采集的语音信息，通过语音识别转换成文本信息后，通过文本情感特征数据库的特征情感识别；眼动轨迹情感识别对视频采集设备采集的眼动轨迹进行情感特征的识别；姿态情感识别根据视频采集的姿态行文信息根据姿态情感数据库进行姿态情感特征识别；情感识别模块根据同步的语音情感特征、面部表情特征、文本情感特征、眼动轨迹情感特征、姿态情感特征的相同情感特征的映射特征融合，通过多核函数和权重的计算，得到语音情感特征、人脸面部表情情感特征、文本情感特征、眼动轨迹情感特征、姿态情感特征等多维度情感特征融合的谈话 (询问)情感状态。心理行为数据库是心理专家根据视频信息的声音压力、语音文本内容、面部表情情感特征、眼动轨迹情感特征、姿态情感特征等多维度实时信息的经验集成判断，建立的心理行为特征的数据库，心理专家也可以结合相关的语音情感识别工具、面部表情识别工具以及语音文本情感识别工具、眼动轨迹情感识别工具、姿态情感识别工具的综合运用，实现对多维度情感特征的专家判断后，结合心理行为数据库的应用，完成多维度谈话(询问) 心理行为数据的标注；例如标注可以是紧张、害怕、犹豫、期待、撒谎、分心、冲突、排斥等，心理行为数据库的主要功能是根据采集识别的多维度情感融合特征识别谈话(询问)心理行为特征。同步录音录像模块，采集谈话(询问)中的视频及音频数据实现同步的数据保存和备份，并与语音识别模块识别的文本数据一起实现对谈话(询问)过程中同步音视频和文本数据的保存和备份。系统管理模块，对数据来源模块经过系统处理后生成的结果进行查看、统计和日志管理，以及数据的输出。

打印设备：对数据结果的接收后打印输出便于纸质文件的保存。

显示设备：主要用于对采集、分析及管理的数据进行显示。

进一步的，包括：

语音采集设备可以是拾音器、麦克风、电话或者其他录音设备；麦克风包括一种矩阵式麦克风，通过内置角色分离算法，把相互谈话人员的声音独立隔离出2路或多路独立的音频，传输给询问终端主机。

在本实施例中的其余技术特征，本领域技术人员均可以根据实际情况进行灵活选用和以满足不同的具体实际需求。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实现本发明。

对于前述的方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和单元并不一定是本申请所必须的。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法实现所描述的功能，但是这种实现不应超出本发明的范围。所揭露的系统、模块和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例，仅仅是示意性的，例如，所述单元的划分，可以仅仅是一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接以说通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述分立部件说明的单元可以是或者也可以不收物理上分开的，作为单元显示的部件可以是或者可以不收物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例的方案的目的。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、 ROM、RAM等。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (8)

1.一种基于心理行为特征识别的谈话(询问)方法，其特征在于，包括语音采集设备、视频采集设备、询问终端主机、打印机、显示设备等其他附件。

2.根据权利要求1所述的一种基于心理行为特征识别的谈话(询问)方法，其特征在于，语音采集设备可以是拾音器、麦克风、电话、录音笔等。

3.根据权利要求1所述的一种基于心理行为特征识别的谈话(询问)方法，其特征在于，询问终端主机包括语音识别模块、情绪特征识别模块、心理行为识别模块、同步录音录像模块、系统管理模块等功能。

4.根据权利要求2所述的一种基于心理行为特征识别的谈话(询问)方法，其特征在于，麦克风包括一种矩阵式麦克风，通过内置角色分离算法，可以把相互谈话人员的声音独立隔离出2路或多路独立的音频，传输给谈话(询问)终端主机。

5.根据权利要求3所述的一种基于心理行为特征识别的谈话(询问)方法，其特征在于，情绪特征识别模块主要包括有语音情感识别功能、人脸面部表情识别功能、文本情感识别、眼动轨迹情感识别、姿态情感识别等功能的一种或者任意多模态的组合。

6.根据权利要求3所述的一种基于心理行为特征识别的谈话(询问)方法，其特征在于，姿态情感识别包括头部姿态、形体姿态、手势姿态、步行姿态等其中的一种或者多种。

7.根据权利要求3所述的一种基于心理行为特征识别的谈话(询问)方法，其特征在于，语音识别模块和同步录音录像模块对谈话(询问)时间内的谈话(询问)的文本数据和实时同步音频视数据实现同步数据的保存和备份。

8.根据权利要求6所述的一种基于心理行为特征识别的谈话(询问)方法，其特征在于心理行为特征可以是紧张、害怕、犹豫、期待、撒谎、分心、冲突、排斥等。

Images