CN110047518A - 一种语音情感分析系统 - Google Patents

Abstract

本发明公开了一种语音情感分析系统，包括语音心理分析模块，用于通过人说话语音进行实时或音视频文件分析，获得被测试者说话片段的多种心理参数，所述心理参数包括害怕、排斥、冲突、期待、压力、兴奋、逻辑、比率、概率、分心、犹豫、认知、紧张、坏感、想象、思考、潜意识、潜在情绪中的一种或多种，并基于此给出综合研判分析结果。本发明可以对任何渠道获得的音频、视频进行分类记录和分析，还可以进行独立的语音情绪的分析和联合内容分析。

Description

一种语音情感分析系统

技术领域

本发明涉及心理分析系统技术领域，更为具体地，涉及一种语音情感分析系统。

背景技术

本申请分析系统是一款为执法机构、信息安全、军队等部门设计的，功能强大的案件辅助分析系统。对目前普通使用的办案手段进行有效辅助与印证，它是我国首次开发具有自主知识产权的应用于检察、公安、监察委、安全、国防以及大型企业和金融行业类安全级声音(语音)类和表情(视频)分析系统。其对案件相关对象在询(讯)问、谈话过程中采用非接触方式，以声音(语音)和表情(视频)为媒介，对心理信息进行采集，测试和分析的一项综合性语音表情心理分析系统。其结果被用于对被测人就广泛事件或特定目的相关心理信息进行探查、推断的行为。

其原理是利用心理信息即个体在受到外来信息源的作用后对刺激做出认知、应激，通过声音和面部表情来判断并形成记忆的刺激源信息。通过语音分析人体大脑皮层的生理反应，利用心理学、生理学、神经科学、电子学、信号分析处理、人工智能等的诸多前沿科技，进行综合的情感分析。被测人在测试时无法通过改变语速、音调来隐藏信息，从提取到语音信息，进而得到被测方更加全面可靠的情绪和心理活动，包括思维、感觉、紧张度、排斥、冲突、期待、关注度、内疚、害怕、反应度等的分析结果，以及画出整个过程同步的心理各项信息的图谱。从声音参数中提取出对应的心理信息，给出分值，并以图谱的形式直观显示出来，与相关的提示信息、视频表情一一对应，客观高效的给出被测试人的可疑点、敏感点，抓住被测人的心理弱点和焦点，为案件突破提供方向。

例如犯罪活动中整个犯罪过程对相关个体而言就是一种外来刺激源，通过感知情绪和心理的变动，以辨别对方的谎言和识别对方的欺诈意图。在调查询问时，它会告诉您被分析的一方说话时的感受，并在需要您关注的话题上给您提醒，使调查人员更快更准确的发现真相。

发明内容

本发明的目的在于克服现有技术的不足，提供一种语音情感分析系统，可以对任何渠道获得的音频、视频进行分类记录和分析，还可以进行独立的语音情绪的分析，也可以联合内容分析。

本发明的目的是通过以下技术方案来实现的：

一种语音情感分析系统，包括：

语音心理分析模块，用于通过人说话语音进行实时或音视频文件分析，获得被测试者说话片段的多种心理参数，所述心理参数包括害怕、排斥、冲突、期待、压力、兴奋、逻辑、比率、概率、分心、犹豫、认知、紧张、坏感、想象、思考、潜意识、潜在情绪中的一种或多种，并基于此给出综合研判分析结果；

面部表情分析模块，用于通过人脸面部图像的实时或视频文件分析，获得被测试者每一时刻或在说话片段中的平静、愉悦、悲哀、愤怒、惊讶、惧怕、厌恶、轻蔑、关注、烦倦、困惑、心率、眼动、微表情强度、唤醒度中的一种或多种参数指标，并基于此抓出异常时刻表情；

生理指标分析模块，用于通过人体的生理指标，包括皮电、呼吸、血氧、指脉、血压、心率、体动中的一种或多种，获得被测试者任一时刻的心理活动以及紧张度；

量表测试模块，用于集成常用量表，并给出分析报告，并同步解读被测试者语音、表情和心理活动中的一种或多种。

进一步的，包括语音采集设备，所述语音采集设备将采集的语音数据输入到语音心理分析模块。

进一步的，包括图像采集设备，所述图像采集设备将采集的图像数据输入到面部表情分析模块。

进一步的，所述语音采集设备包括手机、固定电话和麦克风中的一种或多种。

进一步的，所述图像采集设备包括军队/公安/纪检/敏感职位/心理教学/手机APP中的一种或多种图像应用软件系统。

进一步的，包括显示模块，所述显示模块用于输出量表测试模块的分析结果。

本发明的有益效果是：

(1)本发明可应用于快速排除与案件无关的人员，缩小侦查范围，通过嫌疑人对相关事件的情感变化，还原真实情感，重构事件过程，发现事实真相，通过对异常情感的分析，发现被忽略的线索和事实。本发明是一种全新的综合心理和声音表情分析技术类软件系统，通过分析讲话人大脑皮层的生理反应，这种反应无法改变，被测试人通过智能侦讯的方式，检测分析时不能通过改变语速，音调等影响分析结果，测试准确性高。

(2)本发明具有如下优点：

1)非接触式信息获取，安全、隐蔽、高效、便捷；

2)不受民族、种族、性别、年龄和行为倾向性的限制；

3)能够适应不同的语种以及方言；

4)既可以在线实时分析也可以离线提供深度分析报告；

5)可以对任何渠道获得的音频、视频进行分类记录和分析；

6)可以进行独立的语音情绪的分析，也可以联合内容分析。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的界面示意图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。本说明书中公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路，软件或方法。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在对实施例进行描述之前，需要对一些必要的术语进行解释。例如：

若本申请中出现使用“第一”、“第二”等术语来描述各种元件，但是这些元件不应当由这些术语所限制。这些术语仅用来区分一个元件和另一个元件。因此，下文所讨论的“第一”元件也可以被称为“第二”元件而不偏离本发明的教导。应当理解的是，若提及一元件“连接”或者“联接”到另一元件时，其可以直接地连接或直接地联接到另一元件或者也可以存在中间元件。相反地，当提及一元件“直接地连接”或“直接地联接”到另一元件时，则不存在中间元件。

在本申请中出现的各种术语仅仅用于描述具体的实施方式的目的而无意作为对本发明的限定，除非上下文另外清楚地指出，否则单数形式意图也包括复数形式。

当在本说明书中使用术语“包括”和/或“包括有”时，这些术语指明了所述特征、整体、步骤、操作、元件和/或部件的存在，但是也不排除一个以上其他特征、整体、步骤、操作、元件、部件和/或其群组的存在和/或附加。

如图1所示，一种语音情感分析系统，包括：

语音心理分析模块，用于通过人说话语音进行实时或音视频文件分析，获得被测试者说话片段的多种心理参数，所述心理参数包括害怕、排斥、冲突、期待、压力、兴奋、逻辑、比率、概率、分心、犹豫、认知、紧张、坏感、想象、思考、潜意识、潜在情绪中的一种或多种，并基于此给出综合研判分析结果；

面部表情分析模块，用于通过人脸面部图像的实时或视频文件分析，获得被测试者每一时刻或在说话片段中的平静、愉悦、悲哀、愤怒、惊讶、惧怕、厌恶、轻蔑、关注、烦倦、困惑、心率、眼动、微表情强度、唤醒度中的一种或多种参数指标，并基于此抓出异常时刻表情；

生理指标分析模块，用于通过人体的生理指标，包括皮电、呼吸、血氧、指脉、血压、心率、体动中的一种或多种，获得被测试者任一时刻的心理活动以及紧张度；

量表测试模块，用于集成常用量表，并给出分析报告，并同步解读被测试者语音、表情和心理活动中的一种或多种。

进一步的，包括语音采集设备，所述语音采集设备将采集的语音数据输入到语音心理分析模块。

进一步的，包括图像采集设备，所述图像采集设备将采集的图像数据输入到面部表情分析模块。

进一步的，所述语音采集设备包括手机、固定电话和麦克风中的一种或多种。

进一步的，所述图像采集设备包括军队/公安/纪检/敏感职位/心理教学/手机APP中的一种或多种图像应用软件系统。

进一步的，包括显示模块，所述显示模块用于输出量表测试模块的分析结果。

实施例1

如图1所示，一种语音情感分析系统，包括语音心理分析模块，用于通过人说话语音进行实时或音视频文件分析，获得被测试者说话片段的多种心理参数，所述心理参数包括害怕、排斥、冲突、期待、压力、兴奋、逻辑、比率、概率、分心、犹豫、认知、紧张、坏感、想象、思考、潜意识、潜在情绪中的一种或多种，并基于此给出综合研判分析结果。

面部表情分析模块用于通过人脸面部图像的实时或视频文件分析，获得被测试者每一时刻或在说话片段中的平静、愉悦、悲哀、愤怒、惊讶、惧怕、厌恶、轻蔑、关注、烦倦、困惑、心率、眼动、微表情强度、唤醒度中的一种或多种参数指标，并基于此抓出异常时刻表情；生理指标分析模块，用于通过人体的生理指标，包括皮电、呼吸、血氧、指脉、血压、心率、体动中的一种或多种，获得被测试者任一时刻的心理活动以及紧张度；量表测试模块，用于集成常用量表，并给出分析报告，并同步解读被测试者语音、表情和心理活动中的一种或多种。

在实施例的系统中，本系统的软件由界面展示层，逻辑层和数据支撑层构成。其中，界面展示层负责处理控件的显示和响应，设计简单，能够避免数据的处理。另外设计时应模块化，不同的界面要区分开，避免控件的耦合性。界面展示层包括人员管理、实时数据、统计分析、系统设置五个部分组成。数据层实现数据的存储，主要通过SQLite数据库实现，并对各类接口进行严格、合理的控制，主要的接口有如下五类：

A.用户界面：用户界面是指各子系统与设计人员、用户或维护人员之间的操作约定。同时还指实现这些操作约定的物理部件的功能与性能特性。

B.系统内部接口：系统内部接口是指各子系统在集成为一个总的软件系统时的各种连接约定。

C.标准程序接口：标准程序接口是指各应用子系统与标准子程序库(包括宿主计算机系统已有的库程序)之间的调用约定。

D.设备接口：设备接口是指各子系统与各种设备(包括终端和其他各种输入/输出设备)之间的连接约定。

E.软件接口：软件接口是指各个子系统与宿主计算机上的系统软件以及与调用本软件的其它软件系统之间的连接约定。

在本实施例中，如图1所示，设置有AFE4900模块、CC2640R2F模块和PPG等，通过感知模块感知到加速力的变化，加速力就是当物体在加速过程中作用在物体上的力，比如晃动、跌落、上升、下降等各种移动变化都能被G-sensor转化为电信号，然后通过微处理器的计算分析后，就能够完成程序设计好的功能。

在本实施例中的其余技术特征，本领域技术人员均可以根据实际情况进行灵活选用和以满足不同的具体实际需求。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实现本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的算法，方法或系统等，均在本发明的权利要求书请求保护的技术方案限定技术保护范围之内。

对于前述的方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和单元并不一定是本申请所必须的。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法实现所描述的功能，但是这种实现不应超出本发明的范围。

所揭露的系统、模块和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例，仅仅是示意性的，例如，所述单元的划分，可以仅仅是一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以说通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述分立部件说明的单元可以是或者也可以不收物理上分开的，作为单元显示的部件可以是或者可以不收物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例的方案的目的。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、ROM、RAM等。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (6)

1.一种语音情感分析系统，其特征在于，包括：

语音心理分析模块，用于通过人说话语音进行实时或音视频文件分析，获得被测试者说话片段的多种心理参数，所述心理参数包括害怕、排斥、冲突、期待、压力、兴奋、逻辑、比率、概率、分心、犹豫、认知、紧张、坏感、想象、思考、潜意识、潜在情绪中的一种或多种，并基于此给出综合研判分析结果；

面部表情分析模块，用于通过人脸面部图像的实时或视频文件分析，获得被测试者每一时刻或在说话片段中的平静、愉悦、悲哀、愤怒、惊讶、惧怕、厌恶、轻蔑、关注、烦倦、困惑、心率、眼动、微表情强度、唤醒度中的一种或多种参数指标，并基于此抓出异常时刻表情；

生理指标分析模块，用于通过人体的生理指标，包括皮电、呼吸、血氧、指脉、血压、心率、体动中的一种或多种，获得被测试者任一时刻的心理活动以及紧张度；

量表测试模块，用于集成常用量表，并给出分析报告，并同步解读被测试者语音、表情和心理活动中的一种或多种。

2.根据权利要求1所述的一种语音情感分析系统，其特征在于，包括语音采集设备，所述语音采集设备将采集的语音数据输入到语音心理分析模块。

3.根据权利要求1所述的一种语音情感分析系统，其特征在于，包括图像采集设备，所述图像采集设备将采集的图像数据输入到面部表情分析模块。

4.根据权利要求2所述的一种语音情感分析系统，其特征在于，所述语音采集设备包括手机、固定电话和麦克风中的一种或多种。

5.根据权利要求3所述一种语音情感分析系统，其特征在于，所述图像采集设备包括军队/公安/纪检/敏感职位/心理教学/手机APP中的一种或多种图像应用软件系统。

6.根据权利要求1～5任一种所述的一种语音情感分析系统，其特征在于，包括显示模块，所述显示模块用于输出量表测试模块的分析结果。