CN109171774A

CN109171774A - 基于多通道数据的人格分析方法和系统

Info

Publication number: CN109171774A
Application number: CN201811155547.3A
Authority: CN
Inventors: 孙晓; 洪涛
Original assignee: Hefei University of Technology
Current assignee: Hefei University of Technology
Priority date: 2018-09-30
Filing date: 2018-09-30
Publication date: 2019-01-11
Anticipated expiration: 2038-09-30
Also published as: CN109171774B

Abstract

本发明提供一种基于多通道数据的人格分析方法、系统和存储介质，涉及人格分析技术领域。该方法包括：获取待分析者在观看预设视频过程中的人脸表情图片、语音数据、红外脉搏数据和皮肤电阻数据；将语音数据、红外脉搏数据和皮肤电阻数据分别转换为对应的频谱图；将人脸表情图片、语音数据对应的频谱图、红外脉搏数据对应的频谱图和皮肤电阻数据对应的频谱图分别输入预设的卷积神经网络模型中，得到各自对应的特征数组；其中，每一个特征数组中包括第一预设数量的特征数据；将各个特征数组合并，得到一个总特征数组，并将总特征数组输入人格分析模型中，得到待分析者的各类型人格所占的比例。本发明能够提高人格分析的准确性。

Description

基于多通道数据的人格分析方法和系统

技术领域

本发明涉及人格分析技术领域，具体涉及一种基于多通道数据的人格分析方法、系统、计算机设备、计算机可读存储介质和计算机程序。

背景技术

目前，一般采用填写量表的方式进行人格分析。但是这种方式过于简单、准确率较低，而且量表填写者可以掩饰、伪造，从而不能真实反映量表填写者的人格特点。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于多通道数据的人格分析方法、系统、计算机设备、计算机可读存储介质和计算机程序，能够提高人格分析的准确性。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

第一方面，本发明提供一种基于多通道数据的人格分析方法，该方法包括：

获取待分析者在观看预设视频过程中的人脸表情图片、语音数据、红外脉搏数据和皮肤电阻数据；

将所述语音数据、所述红外脉搏数据和所述皮肤电阻数据分别转换为对应的频谱图；

将所述人脸表情图片、所述语音数据对应的频谱图、所述红外脉搏数据对应的频谱图和所述皮肤电阻数据对应的频谱图分别输入预设的卷积神经网络模型中，得到各自对应的特征数组；其中，每一个特征数组中包括第一预设数量的特征数据；

将各个特征数组合并，得到一个总特征数组，并将所述总特征数组输入人格分析模型中，得到所述待分析者的各类型人格所占的比例；其中，所述人格分析模型包括预先训练的人格分析函数、预设的第一全连接层和预设的激活函数；所述人格分析函数用于根据将所述总特征数组输出第一人格数据，所述第一全连接层用于将所述第一人格数据转换为第二预设数量的第二人格数据，所述第二预设数量为人格类型的数量；所述激活函数用于根据所述第二预设数量的第二人格数据，确定所述待分析者的各类型人格所占的比例。

第二方面，本发明提供一种基于多通道数据的人格分析系统，该系统包括：

数据获取单元，用于获取待分析者在观看预设视频过程中的人脸表情图片、语音数据、红外脉搏数据和皮肤电阻数据；

数据转换单元，用于将所述语音数据、所述红外脉搏数据和所述皮肤电阻数据分别转换为对应的频谱图；

特征确定单元，用于将所述人脸表情图片、所述语音数据对应的频谱图、所述红外脉搏数据对应的频谱图和所述皮肤电阻数据对应的频谱图分别输入预设的卷积神经网络模型中，得到各自对应的特征数组；其中，每一个特征数组中包括第一预设数量的特征数据；

人格确定单元，用于将各个特征数组合并，得到一个总特征数组，并将所述总特征数组输入人格分析模型中，得到所述待分析者的各类型人格所占的比例；其中，所述人格分析模型包括预先训练的人格分析函数、预设的第一全连接层和预设的激活函数；所述人格分析函数用于根据将所述总特征数组输出第一人格数据，所述第一全连接层用于将所述第一人格数据转换为第二预设数量的第二人格数据，所述第二预设数量为人格类型的数量；所述激活函数用于根据所述第二预设数量的第二人格数据，确定所述待分析者的各类型人格所占的比例。

第三方面，本发明提供一种计算机设备，包括：

至少一个存储器；

以及至少一个处理器，其中：

所述至少一个存储器用于存储计算机程序；

所述至少一个处理器用于调用所述至少一个存储器中存储的计算机程序，以执行上述人格分析方法。

第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时可以实现上述人格分析方法。

第五方面，本发明提供一种计算机程序，包括计算机可执行指令，所述计算机可执行指令在被执行时使至少一个处理器执行上述人格分析方法。

(三)有益效果

本发明实施例提供了一种基于多通道数据的人格分析方法、系统、计算机设备、计算机可读存储介质和计算机程序，采集了待分析者的多通道数据-人脸表情图片、语音数据、红外脉搏数据、皮肤电阻数据，并利于卷积神经网络模型提取多通道数据的特征，采用人格分析模型根据特征分析各类型人格所占的比例。由于该方法基于多通道数据进行分析，克服了填写量表的现有方法存在不能真实反映人格类型的问题，提高人格分析的准确性。同时也由于数据类型的多样化，克服单一通道数据比较单一的问题，进一步提高人格分析的准确性。由于多通道数据中的红外脉搏数据和皮肤电阻数据为人的生理数据，不受个体意识的改变，能够更加真实的反映待分析者的人格。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中基于多通道数据的人格分析方法的流程示意图；

图2是本发明一实施例中卷积神经网络模型的结构示意图；

图3是本发明一实施例中基于多通道数据的人格分析系统的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

第一方面，本发明提供一种基于多通道数据的人格分析方法，如图1所示，该人格分析方法包括：

S101、获取待分析者在观看预设视频过程中的人脸表情图片、语音数据、红外脉搏数据和皮肤电阻数据；

可理解的是，上述预设视频可以包括悲伤、愤怒、高兴、惊奇、恐惧、厌恶六种类型中至少一种类型的视频。

可理解的是，上述人脸表情图片可以在待分析者观看预设视频过程中对用户进行拍照得到的图片，也可以是在待分析者观看预设视频过程中对用户进行拍摄得到的视频中选取出来的图片。

在实际应用时，可以在待分析者观看预设视频的现场设置语音采集设备，进而利用语音采集设备采集上述语音数据。

在实际应用时，可以在待分析者身体上安装红外脉搏采集设备和皮肤电阻采集设备，进而可以利用红外脉搏采集设备采集待分析者的红外脉搏数据，利用皮肤电阻数据采集待分析者的皮肤电阻数据。

可理解的是，题目中提到的多通道数据即人脸表情图片、语音数据、红外脉搏数据和皮肤电阻数据。

S102、将所述语音数据、所述红外脉搏数据和所述皮肤电阻数据分别转换为对应的频谱图；

为了方便后续的数据处理过程，这里将语音数据、红外脉搏数据和皮肤电阻数据均转换为频谱图，这样各通道数据均为图片形式。

S103、将所述人脸表情图片、所述语音数据对应的频谱图、所述红外脉搏数据对应的频谱图和所述皮肤电阻数据对应的频谱图分别输入预设的卷积神经网络模型中，得到各自对应的特征数组；其中，每一个特征数组中包括第一预设数量的特征数据；

可理解的是，上述卷积神经网络模型可以对每一通道的数据进行特征提取，进而得到每一通道对应的特征数组。

在具体实施时，所述卷积神经网络模型可以采用多种结构，下面参考图2介绍其中一种结构：卷积神经网络模型包括依次连接的五个卷积单元以及与第五个卷积单元的输出端连接的第二全连接层；其中：每一个卷积单元包括一个卷积层和连接该卷积层输出端的下采样层；所述第二全连接层用于将第五个卷积单元的输出数据的数量转化为第一预设数量。

其中，五个卷积单元中各个卷积单元的结构有多种，例如，如图2所示，第一个卷积单元中的卷积层301a包括96个大小为11*11的卷积核，所述第一个卷积单元中的下采样层301b的采样核的大小为3*3，采样步长为2；再例如，第二个卷积单元中的卷积层302a包括128个大小为5*5的卷积核，所述第二个卷积单元中的下采样层302b的采样核的大小为3*3，采样步长为1；又例如，第三个卷积单元中的卷积层303a包括192个大小为3*3的卷积核，所述第三个卷积单元中的下采样层303b的采样核的大小为3*3，采样步长为1；又例如，第四个卷积单元中的卷积层304a包括192个大小为3*3的卷积核，所述第四个卷积单元中的下采样层304b的采样核的大小为3*3，采样步长为1；又例如，第五个卷积单元中的卷积层305a包括128个大小为3*3的卷积核，所述第五个卷积单元中的下采样层305b的采样核的大小为3*3，采样步长为1。

举例来说，人脸表情图片为彩色图片，包括R、G和B三个颜色通道，因此人脸表情图片相当于一个三维数组，例如大小为6*6*3的三维数组，其中的3代表3个颜色通道，这样的数组可以理解为是三层二维数组的堆叠，因此卷积层对人脸表情图片的卷积处理可以针对每一层二维数组执行，然后将处理后的三层二维数组堆叠，形成一个卷积处理后的三维数组。同样，下采样的处理过程类似。

下面介绍一种对一个二维数组进行卷积处理的原理：

如表1所示，一个二维数组大小为5*5，如下表2所示，卷积处理所采用的卷积核为(1，0，1；0，1，0；1，0，1)。表1中的第1、2、3行和第1、2、3列组成的数组为(1，1，1；0，1，1；0，0，1)，将卷积核和该前三行前三列对应的数组中对应位置的数据相乘，然后将相乘得到的各个数据相加，即1*1+1*0+1*1+0*0+1*1+1*0+0*1+0*0+1*1＝4，则获得第一个输出值。依次类推，可以得到大小为3*3的输出矩阵。

表1

1	1	1	0	0
					0	1	1	1	0
0	0	1	1	1
					0	0	1	1	0
0	1	1	0	0

表2

经过一次卷积处理之后输出矩阵的大小为N*N，其中，N＝(W-F)/S+1。该卷积处理的输入矩阵的大小为W*W，卷积核的大小为F×F，步长为S。

下面介绍一种对一个二维数组进行下采样处理的原理：

将经过卷积处理后得到的三维数组分解为三个二维数组，下表3所示，分解后得到的一个二维数组的大小为4*4，下采样的核大小为2*2，步长为2。表3中第1、2行和第1、2列的数组为(1，1；5，6)，该数组中的最大值为6。由于步长为2，第1、2行和第3、4列的数组为(2、4；7，8)，该数组中的最大值为8。依次类推可以得到如表4所示出的二维数组。

表3

1	1	2	4
				5	6	7	8
3	2	1	0
				1	2	3	4

表4

6	8
		3	4

经过一次下采样处理后得到的输出矩阵的大小为len*len，其中，len＝(X-pool_size)/stride+1。该下采样层的输入矩阵的大小为X*X，下采样层的核的大小为pool_size，步长为stride。

举例来说，一张像素为237*237的人脸表情图片输入卷积神经网络模型中，该人脸表情图片输入到第一个卷积单元后，由于第一个卷积单元中的卷积层包括96个大小为11*11的卷积核，经过该卷积层后得到维度为55*55*96的数组，该数组经过核的大小为3*3且步长为2的下采样后，得到维度为27*27*96的第一三维数组；将第一三维数组输入到上述结构的第二个卷积单元后得到第二三维数组；将第二三维数组输入到上述结构的第三卷积单元后得到第三三维数组；将第三三维数据输入到上述结构的第四卷积单元后得到第四三维数组；将第四三维数组输入到上述结构的第五卷积单元后得到第五三维数组。第五三维数组的大小为6*6*256，将其展开得到大小为1*4096的数组，即得到4096个数据。将1*4096的数组通过输出数据个数为1000的全连接层，得到1000个数据，即大小为1*1000的数组，该1*1000的数组即为像素为237*237的人脸表情图片的特征数组，该特征数组中包括1000个数据。

同样，将所述语音数据对应的频谱图、所述红外脉搏数据对应的频谱图和所述皮肤电阻数据对应的频谱图分别输入上述结构的卷积神经网络模型中，分别得到一个大小为1*1000的特征数组。也就是说，将人脸表情图片、语音数据对应的频谱图、红外脉搏数据对应的频谱图和皮肤电阻数据对应的频谱图分别输入到上述结构的卷积神经网络模型中，得到四个大小为1*1000的特征数组。

S104、将各个特征数组合并，得到一个总特征数组，并将所述总特征数组输入人格分析模型中，得到所述待分析者的各类型人格所占的比例；

举例来说，将上述4个大小为1*1000的特征数组合并成一个大小为1*4000的总特征数组，该总特征数组中包括4000个数据。

其中，所述人格分析模型包括预先训练的人格分析函数、预设的第一全连接层和预设的激活函数；所述人格分析函数用于根据将所述总特征数组输出第一人格数据，所述第一全连接层用于将所述第一人格数据转换为第二预设数量的第二人格数据，所述第二预设数量为人格类型的数量；所述激活函数用于根据所述第二预设数量的第二人格数据，确定所述待分析者的各类型人格所占的比例。

可理解的是，上述人格分析函数、第一全连接层和激活函数依次连接，从而形成人格分析模型。

举例来说，大五人格分为五种类型：开放型、责任心型、外倾性、宜人型、神经质型。针对大五人格分析，上述第二预设数量为5。

在具体实施时，上述人格分析函数可以包括：

F＝W*input+bias

式中，W为权重系数，bias为偏置参数，input为所述总特征数组，F为所述人格分析函数输出的第一人格数据，W和bias通过预先训练确定。

在具体实施时，上述激活函数可以包括：

式中，S_i为所述待分析者的第i类型人格所占的比例，V_i为所述第一全连接层输出的第i个第二人格数据，C为第二预设数量。

可理解的是，针对大五人格分析，C取值为5。

可理解的是，针对大五人格，S₁表示第一类型人格所占的比例，S₂表示第二类型人格所占的比例，S₃表示第三类型人格所占的比例，S₄表示第四类型人格所占的比例，S₅表示第五类型人格所占的比例。

举例来说，第二预设数量为5，将人格分析函数输出的第一人格数据输入至第一全连接层，第一全连接层将第一人格数据转换为5个第二人格数据，从而输出5个第二人格数据，每一个第二人格数据对应一种人格类型。将这5个第二人格数据输入上述激活函数后，可以得到每一类型人格所占的比例。

在具体实施时，上述人格分析函数的预先训练过程即是人格分析函数中W和bias的预先训练过程，该过程具体包括：

a、分别对多个训练对象进行人格类型标记；

可理解的是，上述多个训练对象为多个被测者。

实际应用时，可以采用填写大五人格量表的方式确定每一个训练对象的人格类型，进而对每一个训练对象的人格类型进行标记。

可理解的是，针对大五人格类型的五种人格类型，可以分别用0、1、2、3、4进行标记。

b、分别获取所述多个训练对象在观看预设视频过程中的人脸表情图片、语音数据、红外脉搏数据和皮肤电阻数据；

c、将每一个训练对象的语音数据、红外脉搏数据和皮肤电阻数据分别转化为对应的频谱图；

d、将每一个训练对象的人脸表情图片、语音数据对应的频谱图、红外脉搏数据对应的频谱图和所述皮肤电阻数据对应的频谱图分别输入预设的卷积神经网络模型中，得到各自对应的特征数组；

e、将每一个训练对象对应的各个特征数据合并，得到该训练对象的总特征数组；

f、将所述多个训练对象各自的总特征数组和对所述多个训练对象各自标记的人格类型进行人格分析函数训练，得到人格分析函数。

在步骤f中，进行人格分析函数训练的过程实际是确定人格分析函数中参数W和bias的过程。

可理解的是，对一训练对象标记的人格类型为上述人格分析函数中的输出值F，该训练对象的总特征数组为输入input，通过大量训练对象各自的总特征数据和标记的人格类型进行训练，即可以确定上述公式中的参数W和bias。

可理解的是，上述步骤b～e与上述步骤S101～S104类似，其有关内容的解释、举例、具体实施方式可以参考步骤S101～S104中的相应部分。

可理解的是，数组的大小或维度为a*b表示数组的大小或维度为a行b列，数组的大小或维度为a*b*c表示数组的大小或维度为a行b列c层，也可以理解为长宽高分别为a、b和c。其他之处的“*“表示相乘。

本发明提供的人格分析方法，采集了待分析者的多通道数据-人脸表情图片、语音数据、红外脉搏数据、皮肤电阻数据，并利于卷积神经网络模型提取多通道数据的特征，采用人格分析模型根据特征分析各类型人格所占的比例。由于该方法基于多通道数据进行分析，克服了填写量表的现有方法存在不能真实反映人格类型的问题，提高人格分析的准确性。同时也由于数据类型的多样化，克服单一通道数据比较单一的问题，进一步提高人格分析的准确性。由于多通道数据中的红外脉搏数据和皮肤电阻数据为人的生理数据，不受个体意识的改变，能够更加真实的反映待分析者的人格。

第二方面，本发明提供一种基于多通道数据的人格分析系统，如图3所示，该系统包括：

可理解的是，第二方面提供的人格分析系统与第一方面提供的人格分析方法相对应，其有关内容的解释、举例、具体实施方式和有益效果等部分可以参考第一方面中的相应内容。

第三方面，本发明提供一种计算机设备，该计算机设备包括：

至少一个存储器；

以及至少一个处理器，其中：

所述至少一个存储器用于存储计算机程序；

所述至少一个处理器用于调用所述至少一个存储器中存储的计算机程序，以执行第一方面提供的人格分析方法。

可理解的是，第二方面提供的人格分析系统中各个单元为计算机程序模块，这些计算机程序模块为上述至少一个存储器中存储的计算机程序。

第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时可实现第一方面提供的格分析方法。

第五方面，本发明提供一种计算机程序，包括计算机可执行指令，所述计算机可执行指令在被执行时使至少一个处理器执行第一方面提供的人格分析方法。

可理解的是，第三～五方面提供的计算机设备、计算机可读存储介质和计算机程序中有关内容的解释、具体实施方式、举例、有益效果等内容可以参考第一方面中的相应部分。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种基于多通道数据的人格分析方法，其特征在于，包括：

2.如权利要求1所述的人格分析方法，其特征在于，所述人格分析函数的训练过程包括：

分别对多个训练对象进行人格类型标记；

分别获取所述多个训练对象在观看预设视频过程中的人脸表情图片、语音数据、红外脉搏数据和皮肤电阻数据；

将每一个训练对象的语音数据、红外脉搏数据和皮肤电阻数据分别转化为对应的频谱图；

将每一个训练对象的人脸表情图片、语音数据对应的频谱图、红外脉搏数据对应的频谱图和所述皮肤电阻数据对应的频谱图分别输入预设的卷积神经网络模型中，得到各自对应的特征数组；

将每一个训练对象对应的各个特征数据合并，得到该训练对象的总特征数组；

将所述多个训练对象各自的总特征数组和对所述多个训练对象各自标记的人格类型进行人格分析函数训练，得到人格分析函数。

3.如权利要求1所述的人格分析方法，其特征在于，所述卷积神经网络模型的结构包括依次连接的五个卷积单元以及与第五个卷积单元的输出端连接的第二全连接层；其中：每一个卷积单元包括一个卷积层和连接该卷积层输出端的下采样层；所述第二全连接层用于将第五个卷积单元的输出数据的数量转化为第一预设数量。

4.根据权利要求3所述的人格分析方法，其特征在于，

所述五个卷积单元中第一个卷积单元中的卷积层包括96个11*11的卷积核，所述第一个卷积单元中的下采样层的采样核为3*3，采样步长为2；和/或

所述五个卷积单元中第二个卷积单元中的卷积层包括128个5*5的卷积核，所述第二个卷积单元中的下采样层的采样核为3*3，采样步长为1；和/或

所述五个卷积单元中第三个卷积单元中的卷积层包括192个3*3的卷积核，所述第三个卷积单元中的下采样层的采样核为3*3，采样步长为1；和/或

所述五个卷积单元中第四个卷积单元中的卷积层包括192个3*3的卷积核，所述第三个卷积单元中的下采样层的采样核为3*3，采样步长为1；和/或

所述五个卷积单元中第五个卷积单元中的卷积层包括128个3*3的卷积核，所述第五个卷积单元中的下采样层的采样核为3*3，采样步长为1。

5.如权利要求1～4任一项所述的人格分析方法，其特征在于，所述人格分析函数包括：

F＝W*input+bias

式中，W为权重系数，bias为偏置参数，input为所述总特征数组，F为所述人格分析函数输出的第一人格数据。

6.如权利要求1～4任一项所述的人格分析方法，其特征在于，所述激活函数包括：

7.一种基于多通道数据的人格分析系统，其特征在于，包括：

8.一种计算机设备，其特征在于，包括：

至少一个存储器；

以及至少一个处理器，其中：

所述至少一个存储器用于存储计算机程序；

所述至少一个处理器用于调用所述至少一个存储器中存储的计算机程序，以执行如权利要求1～6任一项所述的人格分析方法。

9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1～6任一项所述的人格分析方法。

10.一种计算机程序，包括计算机可执行指令，所述计算机可执行指令在被执行时使至少一个处理器执行如权利要求1至6中任一项所述的人格分析方法。