CN108038414A - 基于循环神经网络的人物性格分析方法、装置及存储介质 - Google Patents
基于循环神经网络的人物性格分析方法、装置及存储介质 Download PDFInfo
- Publication number
- CN108038414A CN108038414A CN201711061207.XA CN201711061207A CN108038414A CN 108038414 A CN108038414 A CN 108038414A CN 201711061207 A CN201711061207 A CN 201711061207A CN 108038414 A CN108038414 A CN 108038414A
- Authority
- CN
- China
- Prior art keywords
- character
- sample
- analyzed
- mrow
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 56
- 230000000306 recurrent effect Effects 0.000 title claims abstract description 51
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 21
- 239000013598 vector Substances 0.000 claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 42
- 230000001815 facial effect Effects 0.000 claims abstract description 33
- 238000003062 neural network model Methods 0.000 claims abstract description 30
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 14
- 239000000284 extract Substances 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 25
- 230000015654 memory Effects 0.000 claims description 17
- 210000002569 neuron Anatomy 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000002360 preparation method Methods 0.000 claims description 6
- 238000013442 quality metrics Methods 0.000 claims description 6
- 241000208340 Araliaceae Species 0.000 claims 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 3
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 3
- 235000008434 ginseng Nutrition 0.000 claims 3
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000000704 physical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000009223 counseling Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于循环神经网络的人物性格分析方法、装置及计算机可读存储介质。该方法包括以下步骤：收集样本视频并标注性格类型；提取样本视频图像序列的特征向量；构建以Softmax分类器为输出层的循环神经网络模型；用所述特征向量及性格类型标注训练循环神经网络模型，优化训练参数，得到人物性格分析模型；采集待分析对象的面部视频并提取该视频图像序列的特征向量；将提取的特征向量输入人物性格分析模型，得到待分析对象对应每种性格类型的概率值，取概率值最大的性格类型作为该待分析对象的性格类型。利用本发明，可以客观分析人物的性格。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于循环神经网络的人物性格分析方法、装置及存储介质。
背景技术
性格是人格的重要组成部分，了解人物的性格，可以提高人与人的沟通效率，也有助于人们选择理性的思维方式，形成良好的人格特质。
目前，人物性格分析一般是通过问卷调查或语音问答的方式实现的，需要耗费大量的时间和人力资源。如果答卷人或答题者受客观环境影响或不积极配合分析过程，分析结果往往不准确客观。
发明内容
鉴于以上原因，本发明提供一种人物性格分析方法、装置及存储介质，可以通过对人物的面部视频进行识别、分析，客观、准确地判断人物的性格类型。
为实现上述目的，本发明提供一种基于循环神经网络的人物性格分析方法，该方法包括：
样本准备步骤：收集不同性格类型人物的预定时长的面部视频作为样本，为每个样本标注一个性格类型；
样本特征提取步骤：提取每个样本的图像序列的特征向量；
模型构建步骤：构建以Softmax分类器为输出层的循环神经网络模型；
模型训练步骤：定义Softmax损失函数，以各样本的性格标注及图像序列的特征向量为样本数据，对所述循环神经网络模型进行训练，输出各样本对应每种性格类型的概率值，每次训练更新该循环神经网络模型的训练参数，以使所述Softmax损失函数最小化的训练参数作为最终参数，得到人物性格分析模型；及
模型应用步骤：采集待分析对象的预定时长的面部视频，利用所述人物性格分析模型分析该待分析对象的该面部视频，得到该待分析对象对应每种性格类型的概率值，取概率值最大的性格类型作为该待分析对象的性格类型。
优选地，所述样本特征提取步骤还包括：
将所述样本的视频转换为图像序列。
可选地，所述特征向量为HOG特征向量、LBP特征向量、通过卷积神经网络提取的特征向量中的一种或几种。
优选地，所述模型构建步骤包括：
根据所述样本的图像序列长度及每帧图像的特征向量维数设置循环神经网络层数及每层的神经元个数；
根据所述性格类型的数量设置所述Softmax分类器的神经元个数。
优选地，所述Softmax损失函数公式如下：
其中，θ为所述循环神经网络模型的训练参数，Xj表示第j个样本，yj表示第j个样本对应的性格类型的预测概率。
优选地，所述训练参数包括迭代次数。
本发明还提供一种计算装置，包括存储器和处理器，所述存储器中包括人物性格分析程序。该计算装置直接或间接地与摄像装置相连接，摄像装置将拍摄的人物面部视频传送至计算装置。该计算装置的处理器执行存储器中的人物性格分析程序时，实现以下步骤：
样本准备步骤：收集不同性格类型人物的预定时长的面部视频作为样本，为每个样本标注一个性格类型；
样本特征提取步骤：提取每个样本的图像序列的特征向量；
模型构建步骤：构建以Softmax分类器为输出层的循环神经网络模型；
模型训练步骤：定义Softmax损失函数，以各样本的性格标注及图像序列的特征向量为样本数据，对所述循环神经网络模型进行训练，输出各样本对应每种性格类型的概率值，每次训练更新该循环神经网络模型的训练参数，以使所述Softmax损失函数最小化的训练参数作为最终参数，得到人物性格分析模型；及
模型应用步骤：采集待分析对象的预定时长的面部视频，利用所述人物性格分析模型分析该待分析对象的该面部视频，得到该待分析对象对应每种性格类型的概率值，取概率值最大的性格类型作为该待分析对象的性格类型。
优选地，所述样本特征提取步骤还包括：
将所述样本的视频转换为图像序列。
可选地，所述特征向量为HOG特征向量、LBP特征向量、通过卷积神经网络提取的特征向量中的一种或几种。
优选地，所述模型构建步骤包括：
根据所述样本的图像序列长度及每帧图像的特征向量维数设置循环神经网络层数及每层的神经元个数；
根据所述性格类型的数量设置所述Softmax分类器的神经元个数。
优选地，所述Softmax损失函数公式如下：
其中，θ为所述循环神经网络模型的训练参数，Xj表示第j个样本，yj表示第j个样本对应的性格类型的预测概率。
优选地，所述训练参数包括迭代次数。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包括人物性格分析程序，所述人物性格分析程序被处理器执行时，实现如上所述的基于循环神经网络的人物性格分析方法中的任意步骤。
本发明提供的基于循环神经网络的人物性格分析方法、装置及存储介质，通过大量不同性格类型的人物面部视频训练循环神经网络模型，根据Softmax损失函数更新模型的训练参数，以使所述Softmax损失函数的训练参数作为最终参数，得到人物性格分析模型。之后，采集待分析对象的面部视频，提取特征向量，将提取的特征向量输入训练好人物性格分析模型，即可得到该待分析对象对应每种性格特征的概率值，取概率值最大的性格类型作为该待分析对象的性格类型。利用本发明，可以客观、有效地分析人物的性格类型，也降低了人力成本，节省了时间。
附图说明
图1为本发明基于循环神经网络的人物性格分析方法第一较佳实施例的应用环境图。
图2为本发明基于循环神经网络的人物性格分析方法第二较佳实施例的应用环境图。
图3为图1、图2中人物性格分析程序的程序模块图。
图4为本发明基于循环神经网络的人物性格分析方法较佳实施例的流程图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将参考若干具体实施例来描述本发明的原理和精神。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1所示，为本发明基于循环神经网络的人物性格分析方法第一较佳实施例的应用环境图。在该实施例中，摄像装置3通过网络2连接计算装置1，摄像装置3拍摄人物的面部视频，通过网络2传送至计算装置1，计算装置1利用本发明提供的人物性格分析程序10分析所述视频，输出人物对应每种性格类型的概率值，供人们参考。
计算装置1可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有存储和运算功能的终端设备。
该计算装置1包括存储器11、处理器12、网络接口13及通信总线14。
摄像装置3安装于特定场所，如心理咨询室、办公场所、监控区域等，用于拍摄不同性格类型人物的预定时长的面部视频，然后通过网络2将拍摄得到的视频传输至存储器11。网络接口13可以包括标准的有线接口、无线接口(如WI-FI接口)。通信总线14用于实现这些组件之间的连接通信。
存储器11包括至少一种类型的可读存储介质。所述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器等的非易失性存储介质。在一些实施例中，所述可读存储介质可以是所述计算装置1的内部存储单元，例如该计算装置1的硬盘。在另一些实施例中，所述可读存储介质也可以是所述计算装置1的外部存储器11，例如所述计算装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。
在本实施例中，所述存储器11存储所述人物性格分析程序10的程序代码、摄像装置3拍摄的视频，以及处理器12执行人物性格分析程序10的程序代码应用到的数据以及最后输出的数据等。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片。
图1仅示出了具有组件11-14的计算装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
可选地，该计算装置1还可以包括用户接口，用户接口可以包括输入单元比如键盘(Keyboard)、语音输入装置比如麦克风(microphone)等具有语音识别功能的设备、语音输出装置比如音响、耳机等，可选地用户接口还可以包括标准的有线接口、无线接口。
可选地，该计算装置1还可以包括显示器。显示器在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。显示器用于显示计算装置1处理的信息以及可视化的用户界面。
可选地，该计算装置1还包括触摸传感器。所述触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外，这里所述的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且，所述触摸传感器不仅包括接触式的触摸传感器，也可包括接近式的触摸传感器等。此外，所述触摸传感器可以为单个传感器，也可以为例如阵列布置的多个传感器。用户，例如心理咨询师，可以通过触摸启动人物性格分析程序10。
该计算装置1还可以包括射频(Radio Frequency，RF)电路、传感器和音频电路等等，在此不再赘述。
参照图2所示，为本发明基于循环神经网络的人物性格分析方法第二较佳实施例的应用环境图。待分析对象通过终端3实现性格分析过程，终端3的摄像装置30拍摄待分析对象的面部视频，并通过网络2传送至所述计算装置1，计算装置1的处理器12执行存储器11存储的人物性格分析程序10的程序代码，对视频进行分析，输出该待分析对象对应每种性格特征的概率值，供待分析对象或心理咨询师等人参考。
图2中计算装置1的组件，例如图中示出的存储器11、处理器12、网络接口13及通信总线14，以及图中未示出的组件，请参照关于图1的介绍。
所述终端3可以为智能手机、平板电脑、便携计算机、桌上型计算机等具有存储和运算功能的终端设备。
在一些场景中，待分析对象为了达到某种目的，例如获取信任，迷惑对方，不愿接受客观事实等等，会刻意隐藏真实意图，难以通过答卷等形式分析其性格，单靠人为观察分析判断也难免有失客观。此时，利用人物性格分析程序10对待分析对象的大量人脸图像组成的视频进行分析，可以捕捉到细微特征，得到客观结果，供人们参考。
图1、图2中的人物性格分析程序10，在被处理器12执行时，实现以下步骤：
样本准备步骤：收集不同性格类型人物的预定时长的面部视频作为样本，为每个样本标注一个性格类型；
样本特征提取步骤：提取每个样本的图像序列的特征向量；
模型构建步骤：构建以Softmax分类器为输出层的循环神经网络模型；
模型训练步骤：定义Softmax损失函数，以各样本的性格标注及图像序列的特征向量为样本数据，对所述循环神经网络模型进行训练，输出各样本对应每种性格类型的概率值，每次训练更新该循环神经网络模型的训练参数，以使所述Softmax损失函数最小化的训练参数作为最终参数，得到人物性格分析模型；及
模型应用步骤：采集待分析对象的预定时长的面部视频，利用所述人物性格分析模型分析该待分析对象的该面部视频，得到该待分析对象对应每种性格类型的概率值，取概率值最大的性格类型作为该待分析对象的性格类型。
关于上述步骤的详细介绍，请参照下述图3关于人物性格分析程序10的程序模块图及图4基于循环神经网络的人物性格分析方法较佳实施例的流程图的说明。
参照图3所示，为图1、图2中人物性格分析程序10的程序模块图。在本实施例中，人物性格分析程序10被分割为多个模块，该多个模块被存储于存储器11中，并由处理器12执行，以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。
所述人物性格分析程序10可以被分割为：获取模块110、提取模块120、训练模块130及分析模块140。
获取模块110，用于获取不同性格类型人物的预定时长的面部视频。所述面部视频可以是通过图1的摄像装置3或图2的摄像装置30获取的，也可以是从网络信息或视频资料库中选取的性格鲜明的人物的面部视频。将用于模型训练的样本视频标注性格类型，例如：“活泼”、“内向”、“随和”等，将所述性格类型标注映射为one-hot向量。
提取模块120，用于提取面部视频图像序列的特征向量。将获取模块110获取的面部视频转换为图像序列，对每帧图像进行归一化、去除噪声等预处理，提取预处理后图像序列的HOG特征向量或LBP特征向量等底层特征，或直接利用卷积神经网络提取原始图像序列的特征向量。
训练模块130，用于通过迭代训练优化循环神经网络模型。所述面部视频图像序列由一系列单帧图像按时间顺序排列，因此本发明采用循环神经网络模型中的长短期记忆网络(Long Short-Term Memory，LSTM)模型，由于本发明利用LSTM模型输出待分析对象对应每种性格类型的概率值，故该LSTM模型以Softmax分类器作为输出层。
构建LSTM模型时，先根据获取模块110获取的面部视频图像序列长度及每帧图像的特征向量维数定义网络形状，设置循环神经网络层数及每层的神经元个数，根据所述性格类型的数量设置所述Softmax分类器的神经元个数。例如，假设所述面部视频的预定时长为3分钟，每分钟显示帧数为m，则每个视频的图像序列长度记为3*m。假设图像特征向量的维数为k，则该LSTM的形状可用tflearn深度学习库的代码表示成如下形式：
net＝tflearn.input_data(shape＝[None，3*m,k])
然后构建两个隐含层，每层128个神经单元，用tflearn深度学习库的代码表示如下：
net＝tflearn.lstm(net，128)
net＝tflearn.lstm(net，128)
最后，接入Softmax分类器。例如，假设将人物性格分为n类，则Softmax分类器用tflearn深度学习库的代码表示如下：
net＝tflearn.fully_connected(net，n，activation＝‘softmax’)
定义Softmax损失函数公式如下：
LSTM模型及Softmax损失函数构建完成后，设置训练参数。假设迭代次数为100、梯度优化算法为adam、验证集为0.1，则LSTM模型训练用tflearn深度学习库的代码表示如下：
net＝tflearn.regression(net,optimizer＝‘adam’，loss＝‘categorical_crossentropy’，name＝‘output1’)
model＝tflearn.DNN(net,tersorboard_verbose＝2)
model.fit(X,Y,n_epoch＝100,validation_set＝0.1,snapshot_step＝100)
利用样本图像序列的特征向量及性格标注的one-hot向量对LSTM模型进行训练，每次训练更新该LSTM模型的训练参数，以使所述Softmax损失函数最小化的训练参数作为最终参数，得到人物性格分析模型。
分析模块140，用于分析人物对应每种性格类型的概率值，得到待分析对象的性格类型。将获取模块110获取的待分析对象的预定时长的面部视频转换为图像序列，提取该图像序列的特征向量，将得到的特征向量输入训练好的人物性格分析模型，输出待分析对象对应每种性格类型的概率值，取概率值最大的性格类型作为该待分析对象的性格类型。
参照图4所示，为本发明基于循环神经网络的人物性格分析方法较佳实施例的流程图。利用图1或图2所示的架构，启动计算装置1，处理器12执行存储器11中存储的人物性格分析程序10，实现如下步骤：
步骤S10，利用获取模块110获取不同性格类型人物的预定时长的面部视频并标注性格类型。所述面部视频可以是通过图1的摄像装置3或图2的摄像装置30获取的，也可以是从网络信息或视频资料库中选取的性格鲜明的人物的面部视频。所述性格类型标注被表示为one-hot向量的形式，即每个类型所对应的标志位为1，其余位全为0。
步骤S20，利用提取模块120提取面部视频图像序列的特征向量。将所述面部视频转换为图像序列，对图像序列进行归一化、去除噪声等预处理，提取预处理后每帧图像的特征，利用特种筛选算法对所述特征进行筛选。假设样本有n个特征，那么，其有2n-1种可能的特征子集，如果穷举所有2n种可能的特征子集，对于n比较大的情况，计算的代价太大，无法真正实现。因此可以通过一些算法实现特征的选择。这里的特征筛选算法可以为正向搜索/反向搜索(forward/backwardsearch)、过滤特征选择(filter feature selection)，或是其他可用的特征筛选算法。可选地，本实施例可提取图像序列的HOG特征向量或LBP特征向量等底层特征，也可以直接利用卷积神经网络提取原始图像序列的特征向量。
步骤S30，根据图像序列长度、特征向量维数以及性格类型数量利用训练模块130构建循环神经网络模型。根据获取模块110获取的面部视频图像序列长度及每帧图像的特征向量维数设置循环神经网络层数及每层的神经元个数，根据性格类型的数量设置作为网络输出层的Softmax分类器的神经元个数。
步骤S40，根据图像序列的特征向量以及面部视频的性格标注利用训练模块130优化循环神经网络模型，得到训练好的人物性格分析模型。以提取模块120提取特征向量及获取模块110获取的面部视频的性格标注映射成的one-hot向量为样本数据，对循环神经网络模型进行训练，得到训练好的人物性格分析模型。
步骤S50，利用获取模块110采集待分析对象的预定时长的面部视频。该面部视频通过图1的摄像装置3或图2的摄像装置30获取。
步骤S60，利用提取模块120提取待分析对象面部视频图像序列的特征向量。特征向量为HOG特征向量、LBP特征向量、通过卷积神经网络提取的特征向量中的一种或几种。
步骤S70，根据提取的特征向量利用分析模块140得到待分析对象的性格类型。将提取的待分析对象面部视频图像序列的特征向量输入训练好的人物性格分析模型，输出待分析对象对应每种性格类型的概率值，取概率值最大的性格类型作为该待分析对象的性格类型。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器等等中的任意一种或者几种的任意组合。所述计算机可读存储介质中包括样本视频、循环神经网络模型及人物性格分析程序10，所述人物性格分析程序10被处理器执行时实现如下操作：。
样本准备步骤：收集不同性格类型人物的预定时长的面部视频作为样本，为每个样本分配一个性格标注；
样本特征提取步骤：提取每个样本的图像序列的特征向量；
模型构建步骤：构建以Softmax分类器为输出层的循环神经网络模型；
模型训练步骤：定义Softmax损失函数，以各样本的性格标注及图像序列的特征向量为样本数据，对所述循环神经网络模型进行训练，输出各样本对应每种性格类型的概率值，每次训练更新该循环神经网络模型的训练参数，以使所述Softmax损失函数最小化的训练参数作为最终参数，得到人物性格分析模型；及
模型应用步骤：采集待分析对象的预定时长的面部视频，利用所述人物性格分析模型分析该待分析对象的该面部视频，得到该待分析对象对应每种性格类型的概率值，取概率值最大的性格类型作为该待分析对象的性格类型。
本发明之计算机可读存储介质的具体实施方式与上述基于循环神经网络的人物性格分析方法以及计算装置1的具体实施方式大致相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于循环神经网络的人物性格分析方法，其特征在于，该方法包括：
样本准备步骤：收集不同性格类型人物的预定时长的面部视频作为样本，为每个样本标注一个性格类型；
样本特征提取步骤：提取每个样本的图像序列的特征向量；
模型构建步骤：构建以Softmax分类器为输出层的循环神经网络模型；
模型训练步骤：定义Softmax损失函数，以各样本的性格标注及图像序列的特征向量为样本数据，对所述循环神经网络模型进行训练，输出各样本对应每种性格类型的概率值，每次训练更新该循环神经网络模型的训练参数，以使所述Softmax损失函数最小化的训练参数作为最终参数，得到人物性格分析模型；及
模型应用步骤：采集待分析对象的预定时长的面部视频，利用所述人物性格分析模型分析该待分析对象的该面部视频，得到该待分析对象对应每种性格类型的概率值，取概率值最大的性格类型作为该待分析对象的性格类型。
2.如权利要求1所述的人物性格分析方法，其特征在于，所述样本特征提取步骤之前还包括步骤：
将所述样本的视频转换为图像序列。
3.如权利要求1所述的人物性格分析方法，其特征在于，所述特征向量为HOG特征向量、LBP特征向量、通过卷积神经网络提取的特征向量中的一种或几种。
4.如权利要求1所述的人物性格分析方法，其特征在于，所述模型构建步骤包括：
根据所述样本的图像序列长度及每帧图像的特征向量维数设置循环神经网络层数及每层的神经元个数；
根据所述性格类型的数量设置所述Softmax分类器的神经元个数。
5.如权利要求1所述的人物性格分析方法，其特征在于，所述Softmax损失函数公式如下：
<mrow>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>&theta;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mi>n</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<mrow>
<mo>(</mo>
<msub>
<mi>y</mi>
<mi>j</mi>
</msub>
<mi>l</mi>
<mi>o</mi>
<mi>g</mi>
<mo>(</mo>
<mrow>
<msub>
<mi>h</mi>
<mi>&theta;</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>X</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
<mo>+</mo>
<mo>(</mo>
<mrow>
<mn>1</mn>
<mo>-</mo>
<msub>
<mi>y</mi>
<mi>j</mi>
</msub>
</mrow>
<mo>)</mo>
<mi>l</mi>
<mi>o</mi>
<mi>g</mi>
<mo>(</mo>
<mrow>
<mn>1</mn>
<mo>-</mo>
<msub>
<mi>h</mi>
<mi>&theta;</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>X</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
其中，θ为所述循环神经网络模型的训练参数，Xj表示第j个样本，yj表示第j个样本对应的性格类型的预测概率。
6.如权利要求1所述的人物性格分析方法，其特征在于，所述模型训练步骤中的训练参数包括迭代次数。
7.如权利要求1所述的人物性格分析方法，其特征在于，所述模型应用步骤还包括：
将所述待分析对象的面部视频转换为图像序列；
提取该图像序列的特征向量。
8.一种计算装置，包括存储器和处理器，其特征在于，所述存储器中包括人物性格分析程序，所述人物性格分析程序被所述处理器执行时实现如下步骤：
样本准备步骤：收集不同性格类型人物的预定时长的面部视频作为样本，为每个样本标注一个性格类型；
样本特征提取步骤：提取每个样本的图像序列的特征向量；
模型构建步骤：构建以Softmax分类器为输出层的循环神经网络模型；
模型训练步骤：定义Softmax损失函数，以各样本的性格标注及图像序列的特征向量为样本数据，对所述循环神经网络模型进行训练，输出各样本对应每种性格类型的概率值，每次训练更新该循环神经网络模型的训练参数，以使所述Softmax损失函数最小化的训练参数作为最终参数，得到人物性格分析模型；及
模型应用步骤：采集待分析对象的预定时长的面部视频，利用所述人物性格分析模型分析该待分析对象的该面部视频，得到该待分析对象对应每种性格类型的概率值，取概率值最大的性格类型作为该待分析对象的性格类型。
9.如权利要求8所述的计算装置，其特征在于，所述特征向量为HOG特征向量、LBP特征向量、通过卷积神经网络提取的特征向量中的一种或几种。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括人物性格分析程序，所述人物性格分析程序被处理器执行时，实现如权利要求1至7中任一项所述的人物性格分析方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711061207.XA CN108038414B (zh) | 2017-11-02 | 2017-11-02 | 基于循环神经网络的人物性格分析方法、装置及存储介质 |
| PCT/CN2018/076120 WO2019085329A1 (zh) | 2017-11-02 | 2018-02-10 | 基于循环神经网络的人物性格分析方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711061207.XA CN108038414B (zh) | 2017-11-02 | 2017-11-02 | 基于循环神经网络的人物性格分析方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108038414A true CN108038414A (zh) | 2018-05-15 |
| CN108038414B CN108038414B (zh) | 2024-09-13 |
Family
ID=62093519
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711061207.XA Active CN108038414B (zh) | 2017-11-02 | 2017-11-02 | 基于循环神经网络的人物性格分析方法、装置及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN108038414B (zh) |
| WO (1) | WO2019085329A1 (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109259733A (zh) * | 2018-10-25 | 2019-01-25 | 深圳和而泰智能控制股份有限公司 | 一种睡眠中呼吸暂停检测方法、装置和检测设备 |
| CN109325457A (zh) * | 2018-09-30 | 2019-02-12 | 合肥工业大学 | 基于多通道数据和循环神经网络的情感分析方法和系统 |
| CN109409196A (zh) * | 2018-08-30 | 2019-03-01 | 深圳壹账通智能科技有限公司 | 基于人脸的性格预测方法、装置、电子设备 |
| CN109498038A (zh) * | 2018-12-25 | 2019-03-22 | 北京心法科技有限公司 | 自闭症评估方法及装置 |
| CN109524109A (zh) * | 2018-11-26 | 2019-03-26 | 江西科技师范大学 | 一种基于肌肉压力状态的非接触式疲劳监测方法 |
| CN109902645A (zh) * | 2019-03-07 | 2019-06-18 | 百度在线网络技术（北京）有限公司 | 用于输出信息的方法和装置 |
| CN110096145A (zh) * | 2019-04-11 | 2019-08-06 | 湖北大学 | 基于混合现实和神经网络的心理状态显示方法及装置 |
| CN110751126A (zh) * | 2019-10-30 | 2020-02-04 | 王安 | 一种基于人脸特征判断人物性格的分析方法 |
| WO2020093614A1 (zh) * | 2018-11-09 | 2020-05-14 | 深圳壹账通智能科技有限公司 | 面试人员的性格预测方法、装置及计算机可读存储介质 |
| WO2020119563A1 (zh) * | 2018-12-14 | 2020-06-18 | 深圳壹账通智能科技有限公司 | 一种基于神经网络模型的应聘者评估方法及装置 |
| WO2021114688A1 (zh) * | 2019-12-10 | 2021-06-17 | 苏宁云计算有限公司 | 基于深度学习的视频处理方法及装置 |
| CN116739814A (zh) * | 2023-04-23 | 2023-09-12 | 广州市疾病预防控制中心(广州市卫生检验中心、广州市食品安全风险监测与评估中心、广州医科大学公共卫生研究院) | 一种预防疾病传播的方法及社交平台 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110705650B (zh) * | 2019-10-14 | 2023-10-24 | 深制科技(苏州)有限公司 | 一种基于深度学习的钣金布局方法 |
| CN111159501B (zh) * | 2019-11-22 | 2023-09-22 | 杭州蛋壳商务信息技术有限公司 | 一种基于多层神经网络建立判客模型的方法及判客方法 |
| CN111062527B (zh) * | 2019-12-10 | 2023-12-05 | 北京爱奇艺科技有限公司 | 一种视频集流量预测方法及装置 |
| CN111539443B (zh) * | 2020-01-22 | 2024-02-09 | 北京小米松果电子有限公司 | 一种图像识别模型训练方法及装置、存储介质 |
| CN111524557B (zh) * | 2020-04-24 | 2024-04-05 | 腾讯科技（深圳）有限公司 | 基于人工智能的逆合成预测方法、装置、设备及存储介质 |
| CN111582360B (zh) * | 2020-05-06 | 2023-08-15 | 北京字节跳动网络技术有限公司 | 用于标注数据的方法、装置、设备和介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104462454A (zh) * | 2014-12-17 | 2015-03-25 | 上海斐讯数据通信技术有限公司 | 一种性格分析方法 |
| CN105405082A (zh) * | 2015-11-30 | 2016-03-16 | 河北工程大学 | 大数据学生性格分析方法 |
| CN105975497A (zh) * | 2016-04-27 | 2016-09-28 | 清华大学 | 微博话题自动推荐方法及装置 |
| US20170098153A1 (en) * | 2015-10-02 | 2017-04-06 | Baidu Usa Llc | Intelligent image captioning |
| CN106909896A (zh) * | 2017-02-17 | 2017-06-30 | 竹间智能科技（上海）有限公司 | 基于人物性格与人际关系识别的人机交互系统及工作方法 |
-
2017
- 2017-11-02 CN CN201711061207.XA patent/CN108038414B/zh active Active
-
2018
- 2018-02-10 WO PCT/CN2018/076120 patent/WO2019085329A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104462454A (zh) * | 2014-12-17 | 2015-03-25 | 上海斐讯数据通信技术有限公司 | 一种性格分析方法 |
| US20170098153A1 (en) * | 2015-10-02 | 2017-04-06 | Baidu Usa Llc | Intelligent image captioning |
| CN105405082A (zh) * | 2015-11-30 | 2016-03-16 | 河北工程大学 | 大数据学生性格分析方法 |
| CN105975497A (zh) * | 2016-04-27 | 2016-09-28 | 清华大学 | 微博话题自动推荐方法及装置 |
| CN106909896A (zh) * | 2017-02-17 | 2017-06-30 | 竹间智能科技（上海）有限公司 | 基于人物性格与人际关系识别的人机交互系统及工作方法 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109409196A (zh) * | 2018-08-30 | 2019-03-01 | 深圳壹账通智能科技有限公司 | 基于人脸的性格预测方法、装置、电子设备 |
| CN109325457A (zh) * | 2018-09-30 | 2019-02-12 | 合肥工业大学 | 基于多通道数据和循环神经网络的情感分析方法和系统 |
| CN109259733A (zh) * | 2018-10-25 | 2019-01-25 | 深圳和而泰智能控制股份有限公司 | 一种睡眠中呼吸暂停检测方法、装置和检测设备 |
| WO2020093614A1 (zh) * | 2018-11-09 | 2020-05-14 | 深圳壹账通智能科技有限公司 | 面试人员的性格预测方法、装置及计算机可读存储介质 |
| CN109524109A (zh) * | 2018-11-26 | 2019-03-26 | 江西科技师范大学 | 一种基于肌肉压力状态的非接触式疲劳监测方法 |
| WO2020119563A1 (zh) * | 2018-12-14 | 2020-06-18 | 深圳壹账通智能科技有限公司 | 一种基于神经网络模型的应聘者评估方法及装置 |
| CN109498038A (zh) * | 2018-12-25 | 2019-03-22 | 北京心法科技有限公司 | 自闭症评估方法及装置 |
| CN109902645A (zh) * | 2019-03-07 | 2019-06-18 | 百度在线网络技术（北京）有限公司 | 用于输出信息的方法和装置 |
| CN110096145A (zh) * | 2019-04-11 | 2019-08-06 | 湖北大学 | 基于混合现实和神经网络的心理状态显示方法及装置 |
| CN110751126A (zh) * | 2019-10-30 | 2020-02-04 | 王安 | 一种基于人脸特征判断人物性格的分析方法 |
| WO2021114688A1 (zh) * | 2019-12-10 | 2021-06-17 | 苏宁云计算有限公司 | 基于深度学习的视频处理方法及装置 |
| CN116739814A (zh) * | 2023-04-23 | 2023-09-12 | 广州市疾病预防控制中心(广州市卫生检验中心、广州市食品安全风险监测与评估中心、广州医科大学公共卫生研究院) | 一种预防疾病传播的方法及社交平台 |
| CN116739814B (zh) * | 2023-04-23 | 2024-05-14 | 广州市疾病预防控制中心(广州市卫生检验中心、广州市食品安全风险监测与评估中心、广州医科大学公共卫生研究院) | 一种预防疾病传播的方法及社交平台 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108038414B (zh) | 2024-09-13 |
| WO2019085329A1 (zh) | 2019-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108038414A (zh) | 基于循环神经网络的人物性格分析方法、装置及存储介质 | |
| CN108021864A (zh) | 人物性格分析方法、装置及存储介质 | |
| CN105279405B (zh) | 触屏用户按键行为模式构建与分析系统及其身份识别方法 | |
| CN107633207B (zh) | Au特征识别方法、装置及存储介质 | |
| CN108053838B (zh) | 结合音频分析和视频分析的欺诈识别方法、装置及存储介质 | |
| CN108038413A (zh) | 欺诈可能性分析方法、装置及存储介质 | |
| CN109165692B (zh) | 一种基于弱监督学习的用户性格预测装置及方法 | |
| CN110245213A (zh) | 调查问卷生成方法、装置、设备和存储介质 | |
| CN109961009A (zh) | 基于深度学习的行人检测方法、系统、装置及存储介质 | |
| US20180357891A1 (en) | Method of processing passage record and device | |
| CN107862292A (zh) | 人物情绪分析方法、装置及存储介质 | |
| CN107391760A (zh) | 用户兴趣识别方法、装置及计算机可读存储介质 | |
| CN107704495A (zh) | 主题分类器的训练方法、装置及计算机可读存储介质 | |
| CN109471945A (zh) | 基于深度学习的医疗文本分类方法、装置及存储介质 | |
| CN109993057A (zh) | 语义识别方法、装置、设备及计算机可读存储介质 | |
| CN110610193A (zh) | 标注数据的处理方法及装置 | |
| CN111784665B (zh) | 基于傅里叶变换的oct图像质量评估方法、系统及装置 | |
| CN113723159A (zh) | 场景识别模型训练方法、场景识别方法及模型训练装置 | |
| CN109871492B (zh) | 任务处理方法、装置、计算机设备及计算机存储介质 | |
| CN109918641A (zh) | 文章主题成分分解方法、装置、设备和存储介质 | |
| CN110503082A (zh) | 一种基于深度学习的模型训练方法以及相关装置 | |
| CN115953172A (zh) | 一种基于图神经网络的欺诈风险识别方法和装置 | |
| CN115022098A (zh) | 人工智能安全靶场内容推荐方法、装置及存储介质 | |
| CN112200124B (zh) | 融合多任务软生物特征的深度网络掌纹识别方法及系统 | |
| CN108875514B (zh) | 人脸认证方法和系统、以及认证设备和非易失性存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |