CN109165692B - 一种基于弱监督学习的用户性格预测装置及方法 - Google Patents

一种基于弱监督学习的用户性格预测装置及方法 Download PDF

Info

Publication number
CN109165692B
CN109165692B CN201811038824.2A CN201811038824A CN109165692B CN 109165692 B CN109165692 B CN 109165692B CN 201811038824 A CN201811038824 A CN 201811038824A CN 109165692 B CN109165692 B CN 109165692B
Authority
CN
China
Prior art keywords
character
classification
user
training
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811038824.2A
Other languages
English (en)
Other versions
CN109165692A (zh
Inventor
李雷达
祝汉城
李巧月
卢兆林
徐晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN201811038824.2A priority Critical patent/CN109165692B/zh
Publication of CN109165692A publication Critical patent/CN109165692A/zh
Application granted granted Critical
Publication of CN109165692B publication Critical patent/CN109165692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Machine Translation (AREA)

Abstract

一种基于弱监督学习的用户性格预测装置及方法，互联网和社交媒体中机器学习领域。将用户偏好的图像经过深度卷积神经网络得到全局性格特征图；把用户的性格变成十种性格分类，获取分类特征向量，十种性格分类进行全连接操作，进行分类网络训练；得到多性格类激活图；进行点乘得到局部性格特征图，利用全局平均池化得到回归特征向量，然把此特征向量和用户的大五性格维度数值进行连接，进行回归网络训练；通过大量的用户以及其偏好的图像对分类网络和回归网络同时进行训练得到用户大五性格维度数值预测模型。把每幅图像预测得到的大五性格维度数值进行平均最终得到此用户的大五性格维度数值。其步骤简单，预测效果好。

Description

一种基于弱监督学习的用户性格预测装置及方法
技术领域
本发明涉及一种用户性格预测装置及方法，尤其适用于一种互联网和社交媒体中机器学习的基于弱监督学习的用户性格预测装置及方法。
背景技术
随着移动互联网和社交媒体的快速发展，人们之间的交流越来越紧密，在生活中越来越离不开社交网络平台，比如：QQ,微信和Flickr等等。图像和视频作为重要的信息载体，已经成为人们交流的最重要的交流方式。当人们在使用图像表达自己的时候也反映出自己对这些图像的偏好和喜爱。例如，微信上可以对朋友圈的图像进行点赞，Flickr上可以分享自己喜爱的图像。这使得可以通过这些被标记为喜爱的图像来分析和预测人物的性格。因此通过图像来预测用户的性格在广告推广、个性化推荐和心理疾病的预防方法有重要意义。近些年，已经吸引了一些研究人员的关注。
性格心理学的主要目的是通过分析个体的稳定和持续行为习惯来研究这些习惯和性格之间的关系。在性格心理学上，一些研究和实验表明拥有相同的性格的人行为习惯上比较规律，这些现象说明他们行为习惯与心里活动显著相关。人的性格可以分成大五性格维度，即：开放性、责任性、外向性、一致性和情绪不稳定性。传统的性格测试方法主要以调查问卷为主，目前最常用的这种调查问卷的方法是BFI-10。通过测试者回答问题计算测试结果得到对应的大五性格特征分数，但是这种调查问卷方法比较耗时耗力，并且与测试者的知识和文化背景有关。所以研究如何自动计算人的大五性格特征分数的方法显得十分必要。
目前，自动计算人的大五性格特征方法主要分为两个方面：自动性格识别(Automatic Personality Recognition)和自动性格感知(Automatic PersonalityPerception)。第一种方法是测试者评估自己性格特征，第二种方法是测试者通过对某个人的印象评估他人的性格特征。自动性格识别的目的是使得人通过社交媒体平台公开自己性格特征，传递自己的人格信息。自动性格感知的目的是通过用户在社交媒体平台的自发的行为习惯来感知此用户的性格特征。因为自动性格识别的是一种自我评价方法，所以当调查问卷出现一些消极的问题时用户往往会回避真实情况导致测试结果不准。比如，当调查问卷出现问题“我经常对别人比较挑剔”时，人往往选择“不同意”来表明自己容易相处来掩饰自己的真实情况。而自动性格感知是一种感知评价方法，这种方法通过他人对用户的印象评价，所以在人与人之间交流的过程显得非常重要。社会学家通过研究证明人体的社会身份不仅仅由实际性格决定的而且他人的印象同样十分重要。因此，本发明主要研究针对用户的感知性格特征的预测方法。
自动性格感知的测试方法主要有两种：无语言行为和社交媒体。无语言行为主要是通过观察人的在交流时外在表现的表情以及手势等肢体语言来感知性格特征。社交媒体主要是通过人在社交媒体上评论或者图像/视频来感知性格特征。随着近几年社交媒体的迅速发展，我们通过社交媒体获取用户的图像/视频信息十分巨大，所以使得通过用户的图像/视频信息研究用户的性格特征显得可行。针对这一问题，近年来出现了一些方法，文献：S.Fitzgerald,D.C.Evans,and R.K.Green,“Is your profile picture worth1000words？Photo characteristics associated with personality impressionagreement,”in Proc.AAAI Int.Conf.Web.Soc.Media,San Jose,California,USA,2009,pp.327-330.通过自拍照中内容、身体部分、表情、外贸和凝视来预测人感知性格，文献：X.S.Wei,C.L.Zhang,H.Zhang,and J.Wu,“Deep bimodal regression of apparentpersonality traits from short video sequences,”IEEE Trans.Affective Comput.,DOI:10.1109/TAFFC.2017.2762299,2018.通过双峰的深度学习方法来预测一段简短视频中人物的第一印象，此方法主要是通过音频和视频两种形态和大五性格特征进行回归，这个方法获得了ECCV 2016的ChaLearn Looking at People竞赛第一名。文献：M.Cristani,A.Vinciarelli,C.Segalin,and A.Perina.“Unveiling the multimedia unconscious:Implicit cognitive processes and multimedia content analysis,”in Proc.ACMInt.Conf.Multi.,New York,NY,USA,2013,pp.213-222.提出了一种通过用户在社交媒体Flick标记为喜爱的图像通过计数栅模型来预测用户的感知性格方法。PsychoFlickr包含300位用户以及他们标记为喜爱的图像，每一位用户都有200个喜爱图像。每个用户的都通过BFI-10调查问卷的形式来获取他们的感知性格特征。此方法利用图像中的low-level特征(颜色、成分和纹理等)和感知性格特征之间的关系用Lasso建立回归模型来预测性格特征。文献：S.C.Guntuku,J.T.Zhou,S.Roy,W.S.Lin,and I.W.Tsang,“Who likes what,andwhy？Insights into personality modeling based on image‘likes’,”IEEETrans.Affective Comput.,vol.9,no.1,pp.130-143,2018.在图像low-level特征基础上增加了图像high-level语义特征提出了一种性格特征预测方法。这种方法考虑到不同性格的人对图像中包含的人或者内容有不同的偏好，比如，外向的人比较偏好图像中包含人多以及正面的人；神经质的人比较焦躁，所以比较偏好的图像内容比较杂乱。可以取得比较好的效果。
目前，基于图像的用户性格预测方法相对还不是很成熟，如何提取图像更准确的情感语义特征是解决问题的关键。上述用户性格预测方法利用传统的图像特征来预测用户的性格特征，在预测的准确性上有待提高。
发明内容
本发明的目的是针对上述问题，提出一种基于弱监督学习的用户性格预测装置，利用深度卷积神经网络在提取图像语义特征能力强的特性，设计一种弱监督深度学习网络通过用户偏好的图像预测用户性格方法和装置，可以提高对用户性格预测准确性。
为实现上述技术目的，本发明的基于弱监督学习的用户性格预测方法的装置，包括弱监督学习网络和测试单元，弱监督学习网络包括分类网络和回归网络；分类网络包括分类转化单元和分类训练单元，回归网络包括局部性格激活单元和回归训练单元，测试单元为用户性格测试单元，分类网络获取用户的不同性格类别在其偏好图像中的局部关注区域，回归网络用于对用户大五性格维度数值进行预测，测试单元用于对所述弱监督学习网络模型进行用户的大五性格维度数值；
分类转化单元包括顺序连接的提取模块、计算模块和归一化模块；提取模块对大五性格维度的高低提取十种性格分类，计算模块根据大五性格维度数值大小与中值差异大小计算十种性格分类强度；归一化模块保证十种性格分类的概率之和为单位1；
分类训练单元，包括顺序连接的分类训练模块、单性格类激活图模块和多性格类激活图模块，分类训练模块对大量的用户偏好的图像进行分类训练，并利用单性格类激活图模块提取每种性格分类的激活图，多性格类激活图模块根据每种性格分类激活图和其分类概率加权得到多性格的类激活图；
局部性格激活单元，将分类训练得到的多性格的类激活图和图像的全局性格特征图进行叠加，得到图像的局部性格特征图；
回归训练单元，包括相互连接的特征图组合模块和回归训练模块，特征图组合模块对局部性格特征图和全局性格特征图进行组合，并进行全局平均池化得到回归特征向量，回归训练模块根据所述的回归特征向量和大五性格维度数值全连接进行训练，得到训练模型，对局部性格激活单元获得的全局性格特征图和局部性格特征图进行回归训练，得到用户性格预测模型；
用户性格测试单元，利用测试用户偏好的图像通过性格预测模型来预测用户的大五性格维度数值。
一种基于弱监督学习的用户性格预测方法，其步骤如下：
利用调查问卷获取用户的大五性格，包括开放性、责任性、外向性、亲和性和神经质维度数值，用以描述五种性格强度的数值，将大五性格维度数值转化成用于分类训练的分类标签，分类网络使用分类标签进行监督训练；
根据用户的大五性格维度数值的高低可以将用户的大五性格转化为十种性格分类，十种性格分类为五种高类：高开放性、高责任性、高外向性、高亲和性和高神经质，和五种低类：低开放性、低责任性、低外向性、低亲和性和低神经质；
把社交媒体上用户标记为喜欢的一些图像作为用户的偏好图像经过深度卷积神经网络，取卷积层的最后一层作为全局性格特征图，在分类网络中将全局性格特征图分别进行全局最大池化和全局平均池化操作得到两组特征向量，并把两组特征向量进行级联组合得到分类特征向量，然后通过全连接的方式把分类特征向量和需要预测的用户十种性格分类利用全连接操作进行加权连接，同时利用转化得到十种性格分类结果的监督下进行分类网络训练；
然后利用分类网络获取的用户在其偏好图像的多性格类激活图得到对应图像的局部性格特征图，将局部性格特征图和对应的全局性格特征图进行串联组合，并利用全局平均池化得到用户在其偏好图像的回归特征向量，然后通过全连接的方式将回归特征向量和需要预测用户的大五性格维度数值进行连接，并在用户的大五性格维度数值监督下进行回归网络训练；
通过大量用户的偏好图像利用所述的弱监督深度卷积神经网络中的分类网络和回归网络同时进行训练，从而获得训练完成的性格预测模型，再将提取到的测试用户偏好的每幅图像输入性格预测模型，即可得到每幅图像对应的大五性格预测结果，综合每幅图像的预测结果从而得到用户的大五性格维度数值。
所述用户的大五性格维度数值转化成十种性格分类的具体步骤包括：
用户的大五性格维度数值利用BFI-10调查问卷得到，每种性格维度的数值范围在[-4,4]之间，为了便于计算将所述的用户的大五性格维度数值归一化到[0,1]之间得到5维性格向量；
将所述5维性格向量数值减去中值1/2并通过Relu激活函数得到5个高性格向量，将1/2与5维性格向量的差值并通过Relu激活函数得到5个低性格向量，然后串联组合高性格向量和低性格向量得到十个分类性格特征向量，将所述的十个分性格特征向量经过softmax激活函数得到最终十种性格分类，保证每个用户的十种性格分类概率之和为1。转化公式如下：
Cp＝softmax(relu([Rp-0.5,0.5-Rp]))
式中：Rp为用户的大五性格维度数值，Cp为用户的十种性格分类。
所述分类特征向量通过softmax激活函数并和十种性格分类进行全连接操作，并计算十种性格分类预测结果和真实结果之间的交叉熵作为损失函数进行分类网络训练，损失函数Lc的计算公式为：
Figure BDA0001791599550000041
式中：N为训练用户数量，M为每个用户偏好图像数量，ci,j为用户转化得到的十种性格分类真实结果，
Figure BDA0001791599550000042
为分类网络预测结果，通过最小化损失函数进行分类网络训练。
所述局部性格特征图的计算具体步骤包括：
在分类网络训练过程中的分类特征向量通过加权连接得到十种性格分类的预测结果，然后获取分类特征向量和每种性格分类之间连接权重，利用每种性格分类的连接权重和对应分类特征向量在全局平均池化和全局最大池化前的卷积层中的特征图进行加权叠加得到每种性格的类激活图，将所述的十种分类的预测结果和每种性格的类激活图进行加权求和得到多性格类激活图；将所述的用户在其偏好图像中多种性格类激活图与对应图像的全局特征图在回归网络中进行对应位置相乘得到局部性格特征图，局部性格特征图可以有效地提取图像中十种性格分类关注的局部区域。
所述的回归特征向量通过sigmoid激活函数并和大五性格维度数值进行全连接操作，并计算大五性格预测结果和真实结果之间的欧式距离作为损失函数进行回归网络训练，损失函数Lr计算公式为：
Figure BDA0001791599550000043
式中：N为训练用户数量，M为每个用户偏好图像数量，
Figure BDA0001791599550000044
为大五性格预测结果，ri,j为大五性格真实结果，通过最小化损失函数进行回归网络训练。
有益效果：
1、本发明利用弱监督深度卷积神经网络对用户性格进行预测，此弱监督网络包含分类网络和回归网络两个子网络，通过分类网络可以提取的多性格类激活图可以反映出十种性格在图像中的关注区域，利用多性格类激活图在回归网络中生成的局部性格特征图和全局性格特征图对用户的大五性格维度数值建模，提高了预测准确率；
2、分类网络需要分类标签来进行监督训练，但是通过调查问卷的方式仅能获取用户的大五性格维度数值，所以需要把用户的大五性格维度数值转化为分类标签，因此本发明根据用户大五性格维度数值的高低设计一种方法转化成十种性格分类概率，构造了性格分类标签。通过在分类网络仅利用十种性格分类标签就可以获得每种性格分类在图像中关注区域的弱监督结果，这样的弱监督结果可以构造局部性格特征图在回归网络中对大五性格维度数值进行建模；
3、回归网络利用分类网络中获取的十种性格在图像中关注的激活区域叠加到卷积层的特征图生成局部性格特征图，并结合最后一层卷积层的全局性格特征图来预测用户的大五性格维度数值，这样组合得到的特征图不仅可以提取图像的全局特征，而且可以提取十种性格分类在图像中重点关注区域特征；
4、通过用户偏好的图像来预测用户的性格特征，使用大量的用户偏好图像进行训练得到预测模型，是一种端到端的用户性格预测方法，相对以往的用户性格方法需要对五种性格分别建模预测，本发明可以只建立一个模型同时预测用户的五种性格维度数值，并且以往的用户性格预测方法的预测准确率更高。
附图说明
图1是本发明的基于弱监督学习的用户性格预测方法流程图；
图2为本发明的基于弱监督学习的用户性格预测方法原理图；
图3为本发明的基于弱监督学习的用户性格预测的装置图；
图4为本发明的基于弱监督学习的用户性格预测的装置中分类转化单元图；
图5为本发明的基于弱监督学习的用户性格预测的装置中分类训练单元图；
图6为本发明的基于弱监督学习的用户性格预测的装置中回归训练单元图。
具体实施方式
下面将结合附图对本发明的实施例作进一步的描述：
如图3所示，本发明的基于弱监督学习的用户性格预测装置，包括弱监督学习网络和测试单元，弱监督学习网络包括分类网络和回归网络；分类网络包括分类转化单元201和分类训练单元202，回归网络包括局部性格激活单元203和回归训练单元204，测试单元为用户性格测试单元205，分类网络获取用户的不同性格类别在其偏好图像中的局部关注区域，回归网络用于对用户大五性格维度数值进行预测，测试单元用于对所述弱监督学习网络模型进行用户的大五性格维度数值；
如图4所示，分类转化单元201包括顺序连接的提取模块2011、计算模块2012和归一化模块2013；提取模块2011对大五性格维度的高低提取十种性格分类，计算模块2012根据大五性格维度数值大小与中值差异大小计算十种性格分类强度；归一化模块2013保证十种性格分类的概率之和为单位1；
如图5所示，分类训练单元202，包括顺序连接的分类训练模块2021、单性格类激活图模块2022和多性格类激活图模块2023，分类训练模块2021对大量的用户偏好的图像进行分类训练，并利用单性格类激活图模块2022提取每种性格分类的激活图，多性格类激活图模块2023根据每种性格分类激活图和其分类概率加权得到多性格的类激活图；
局部性格激活单元203，将分类训练得到的多性格的类激活图和图像的全局性格特征图进行叠加，得到图像的局部性格特征图；
如图6所示，回归训练单元204，包括相互连接的特征图组合模块2041和回归训练模块2042，特征图组合模块2041对局部性格特征图和全局性格特征图进行组合，并进行全局平均池化得到回归特征向量，回归训练模块2042根据所述的回归特征向量和大五性格维度数值全连接进行训练，得到训练模型，对局部性格激活单元203获得的全局性格特征图和局部性格特征图进行回归训练，得到用户性格预测模型；
用户性格测试单元205，利用测试用户偏好的图像通过性格预测模型来预测用户的大五性格维度数值。
如图1和图2所示，一种基于弱监督学习的用户性格预测方法，步骤如下：
步骤101：弱监督学习网络包括分类网络和回归网络两个子网络，首先把训练用户的偏好图像经过深度卷积神经网络，去掉全连接层并把最后一层卷积层作为全局性格特征图；所述的深度卷积神经网络为VGG-16网络，并把最后一个含有512个通道的卷积层作为全局性格特征图；
步骤102：在分类网络中，对全局性格特征图进行全局最大池化和全局平均池化得到分类特征向量，将分类特征向量和按照用户大五性格维度高低转化得到的十种性格分类利用全连接操作进行连接；所述用户大五性格维度高低转化得到的十种性格分类的计算公式：
Cp＝softmax(relu([Rp-0.5,0.5-Rp]))
其中Rp为用户的大五性格维度数值，Cp为用户的十种性格分类概率；
步骤103：通过softmax激活函数并利用交叉熵计算损失函数进行分类网络训练，把得到的每个分类预测概率和其类激活图加权得到多性格类激活图；所述的类激活图是通过步骤102中的分类特征向量对应的每类连接权重和分类特征向量对应池化前的全局性格特征图加权求和得到的；所述类激活图经过分类网络得到分类概率作为每一种性格类激活图的权重，然后进行加权求和得到多性格的类激活图。
步骤104：将多性格类激活图和步骤101中得到的全局性格特征图进行叠加得到局部性格特征图，然后把局部性格特征图和全局性格特征图进行全局平均池化得到组合的回归特征向量；所述多种性格的类激活图通过点乘和步骤101中的全局性格特征图得到包含局部性格激活区域的特征图，即局部性格特征图；所述的局部性格特征图和全局性格特征图并联成一个性格特征图，并经过全局平均池化得到回归特征向量；
步骤105：然后利用全连接和sigmoid激活函数把回归特征向量和用户的大五性格维度数值进行连接，并利用大五性格维度数值预测结果和真实结果之间的欧式距离作为损失函数进行训练，得到用户大五性格预测模型；
步骤106：对于待测试用户，提取其偏好的每幅图像经过此性格预测模型得到偏好图像的大五性格预测结果，然后对每幅图像的预测结果求平均值得到用的大五性格维度数值。
一种基于弱监督学习的用户性格预测方法，具体步骤如下：
利用调查问卷获取用户的大五性格，包括开放性、责任性、外向性、亲和性和神经质维度数值，用以描述五种性格强度的数值，将大五性格维度数值转化成用于分类训练的分类标签，分类网络使用分类标签进行监督训练；
根据用户的大五性格维度数值的高低可以将用户的大五性格转化为十种性格分类，十种性格分类为五种高类：高开放性、高责任性、高外向性、高亲和性和高神经质，和五种低类：低开放性、低责任性、低外向性、低亲和性和低神经质；
所述用户的大五性格维度数值转化成十种性格分类的具体步骤包括：
用户的大五性格维度数值利用BFI-10调查问卷得到，每种性格维度的数值范围在[-4,4]之间，为了便于计算将所述的用户的大五性格维度数值归一化到[0,1]之间得到5维性格向量；
将所述5维性格向量数值减去中值1/2并通过Relu激活函数得到5个高性格向量，将1/2与5维性格向量的差值并通过Relu激活函数得到5个低性格向量，然后串联组合高性格向量和低性格向量得到十个分类性格特征向量，将所述的十个分性格特征向量经过softmax激活函数得到最终十种性格分类，保证每个用户的十种性格分类概率之和为1。转化公式如下：
Cp＝softmax(relu([Rp-0.5,0.5-Rp]))
式中：Rp为用户的大五性格维度数值，Cp为用户的十种性格分类；
把社交媒体上用户标记为喜欢的一些图像作为用户的偏好图像经过深度卷积神经网络，取卷积层的最后一层作为全局性格特征图，在分类网络中将全局性格特征图分别进行全局最大池化GMP和全局平均池化GAP操作得到两组特征向量，并把两组特征向量进行级联组合得到分类特征向量，然后通过全连接的方式把分类特征向量和需要预测的用户十种性格分类利用全连接操作进行加权连接，同时利用转化得到十种性格分类结果的监督下进行分类网络训练；
所述分类特征向量通过softmax激活函数并和十种性格分类进行全连接操作，并计算十种性格分类预测结果和真实结果之间的交叉熵作为损失函数进行分类网络训练，损失函数Lc的计算公式为：
Figure BDA0001791599550000071
式中：N为训练用户数量，M为每个用户偏好图像数量，ci,j为用户转化得到的十种性格分类真实结果，
Figure BDA0001791599550000072
为分类网络预测结果，通过最小化损失函数进行分类网络训练；
所述的回归特征向量通过sigmoid激活函数并和大五性格维度数值进行全连接操作，并计算大五性格预测结果和真实结果之间的欧式距离作为损失函数进行回归网络训练，损失函数Lr计算公式为：
Figure BDA0001791599550000081
式中：N为训练用户数量，M为每个用户偏好图像数量，
Figure BDA0001791599550000082
为大五性格预测结果，ri,j为大五性格真实结果，通过最小化损失函数进行回归网络训练；
然后利用分类网络获取的用户在其偏好图像的多性格类激活图得到对应图像的局部性格特征图，将局部性格特征图和对应的全局性格特征图进行串联组合，并利用全局平均池化GAP得到用户在其偏好图像的回归特征向量，然后通过全连接的方式将回归特征向量和需要预测用户的大五性格维度数值进行连接，并在用户的大五性格维度数值监督下进行回归网络训练；
通过大量用户的偏好图像利用所述的弱监督深度卷积神经网络中的分类网络和回归网络同时进行训练，从而获得训练完成的性格预测模型，再将提取到的测试用户偏好的每幅图像输入性格预测模型，即可得到每幅图像对应的大五性格预测结果，综合每幅图像的预测结果从而得到用户的大五性格维度数值。
所述局部性格特征图的计算具体步骤包括：
在分类网络训练过程中的分类特征向量通过加权连接得到十种性格分类的预测结果，然后获取分类特征向量和每种性格分类之间连接权重，利用每种性格分类的连接权重和对应分类特征向量在全局平均池化和全局最大池化前的卷积层中的特征图进行加权叠加得到每种性格的类激活图，将所述的十种分类的预测结果和每种性格的类激活图进行加权求和得到多性格类激活图；将所述的用户在其偏好图像中多种性格类激活图与对应图像的全局特征图在回归网络中进行对应位置相乘得到局部性格特征图，局部性格特征图可以有效地提取图像中十种性格分类关注的局部区域。
性能测试和实验分析：
为了更好地验证本发明对用户性格预测的准确性，将方法和其他两种方法在目前已知唯一的根据用户偏好图像来预测其性格的数据库-PsychoFlickr数据库，PsychoFlickr数据库收集了Flickr上300位用户的60000张偏好图像(每位用户200张图像)。并且每个用户的都通过BFI-10调查问卷的方式来获取他们的自我评价性格特征和感知性格特征。BFI-10调查问卷包含10个问题，每个问题的答案从“Strongly Disagree”到“Strongly Agree”五个选项，用户的自我评价性格特征由每个用户自己完成，而用户的感知性格特征由12位独立的观察者对每位用户进行评测并平均结果得到。本发明方法主要是预测300用户的感知性格特征分数，每位用户大五性格特征包含：开放性、责任性、外向性、亲和性和神经质。
文献：M.Cristani,A.Vinciarelli,C.Segalin,and A.Perina.“Unveiling themultimedia unconscious:Implicit cognitive processes and multimedia contentanalysis,”in Proc.ACM Int.Conf.Multi.,New York,NY,USA,2013,pp.213-222.提出了一种通过用户在社交媒体Flick标记为喜爱的图像通过计数栅模型来预测用户的感知性格方法，这种方法主要是通过图像中的low-level特征对用户的性格进行建模来预测用户的性格，记这种方法为“Cristani方法”；文献：S.C.Guntuku,J.T.Zhou,S.Roy,W.S.Lin,andI.W.Tsang,“Who likes what,and why？Insights into personality modeling based onimage‘likes’,”IEEE Trans.Affective Comput.,vol.9,no.1,pp.130-143,2018.在图像low-level特征基础上增加了图像high-level语义特征提出了一种性格特征预测方法，这种方法考虑一些图像内容等high-level对用户性格的影响，记者中方法为“Guntuku方法”。下面就把本发明方法和这两种方法在PsychoFlickr数据库做实验进行对比。
一般地，本文实验随机地把PsychoFlickr数据库上的300用户分成80％训练集和20％的测试集，每次实验取得重复100次的平均结果作为最终结果。测试集的预测性格特征分数和真实性格特征分数之间用均方根误差(Root Mean Square Error,RMSE)和斯皮尔曼相关系数(Spearman Rank Order Correlation Coefficient,SROCC)来衡量三种方法的性能。其中RMSE用于定量度量性格预测结果与真实结果的一致性程度；SROCC用于定量度量性格预测结果与真实结果的单调性；RMSE值越小，SROCC值越大，方法的预测性能越好。
表1给出了三种方法在PsychoFlickr数据库中的实验结果。由表中可以看出，在PsychoFlickr数据库中本发明方法的CC和SROCC均高于另外两种方法，同时RMSE均低于另外两种方法。除了外向性的性格，在对其余四种性格的预测上，本发明方法的SROCC高于其他两种方法10％以上，说明本发明在单调性明显优于另外两种方法。说明了本发明在用户性格预测方面具有很高的准确性。
表1：PsychoFlickr图像数据库实验结果
Figure BDA0001791599550000091
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于弱监督学习的用户性格预测装置，其特征在于：它包括弱监督学习网络和测试单元，弱监督学习网络包括分类网络和回归网络；分类网络包括分类转化单元（201）和分类训练单元（202），回归网络包括局部性格激活单元（203）和回归训练单元（204），测试单元为用户性格测试单元（205），分类网络获取用户的不同性格类别在其偏好图像中的局部关注区域，回归网络用于对用户大五性格维度数值进行预测，测试单元用于对所述弱监督学习网络进行用户的大五性格维度数值预测；
分类转化单元（201）包括顺序连接的提取模块（2011）、计算模块（2012）和归一化模块（2013）；提取模块（2011）对大五性格维度的高低提取十种性格分类，计算模块（2012）根据大五性格维度数值大小与中值差异大小计算十种性格分类强度；归一化模块（2013）保证十种性格分类的概率之和为单位1；
分类训练单元（202），包括顺序连接的分类训练模块（2021）、单性格类激活图模块（2022）和多性格类激活图模块（2023），分类训练模块（2021）对大量的用户偏好的图像进行分类训练，并利用单性格类激活图模块（2022）提取每种性格分类的激活图，多性格类激活图模块（2023）根据每种性格分类激活图和其分类概率加权得到多性格的类激活图；
局部性格激活单元（203），将分类训练得到的多性格的类激活图和图像的全局性格特征图进行叠加，得到图像的局部性格特征图；
回归训练单元（204），包括相互连接的特征图组合模块（2041）和回归训练模块（2042），特征图组合模块（2041）对局部性格特征图和全局性格特征图进行组合，并进行全局平均池化得到回归特征向量，回归训练模块（2042）根据所述的回归特征向量和大五性格维度数值全连接进行训练，得到训练模型，对局部性格激活单元（203）获得的全局性格特征图和局部性格特征图进行回归训练，得到用户性格预测模型；
用户性格测试单元（205），利用测试用户偏好的图像通过性格预测模型来预测用户的大五性格维度数值。
2.一种使用权利要求1所述基于弱监督学习的用户性格预测装置的基于弱监督学习的用户性格预测方法，其特征在于步骤如下：
利用调查问卷获取用户的大五性格，包括开放性、责任性、外向性、亲和性和神经质维度数值，用以描述五种性格强度的数值，将大五性格维度数值转化成用于分类训练的分类标签，分类网络使用分类标签进行监督训练；
根据用户的大五性格维度数值的高低可以将用户的大五性格转化为十种性格分类，十种性格分类为五种高类：高开放性、高责任性、高外向性、高亲和性和高神经质，和五种低类：低开放性、低责任性、低外向性、低亲和性和低神经质；
把社交媒体上用户标记为喜欢的一些图像作为用户的偏好图像经过深度卷积神经网络，取卷积层的最后一层作为全局性格特征图，在分类网络中将全局性格特征图分别进行全局最大池化GMP和全局平均池化GAP操作得到两组特征向量，并把两组特征向量进行级联组合得到分类特征向量，然后通过全连接的方式把分类特征向量和需要预测的用户十种性格分类利用全连接操作进行加权连接，同时利用转化得到十种性格分类结果的监督下进行分类网络训练；
然后利用分类网络获取的用户在其偏好图像的多性格类激活图得到对应图像的局部性格特征图，将局部性格特征图和对应的全局性格特征图进行串联组合，并利用全局平均池化GAP得到用户在其偏好图像的回归特征向量，然后通过全连接的方式将回归特征向量和需要预测用户的大五性格维度数值进行连接，并在用户的大五性格维度数值监督下进行回归网络训练；
通过大量用户的偏好图像利用所述的弱监督学习网络中的分类网络和回归网络同时进行训练，从而获得训练完成的性格预测模型，再将提取到的测试用户偏好的每幅图像输入性格预测模型，即可得到每幅图像对应的大五性格预测结果，综合每幅图像的预测结果从而得到用户的大五性格维度数值。
3.如权利要求2所述的基于弱监督学习的用户性格预测方法，其特征在于，所述用户的大五性格维度数值转化成十种性格分类的具体步骤包括：用户的大五性格维度数值利用BFI-10调查问卷得到，每种性格维度的数值范围在[-4,4]之间，为了便于计算将所述的用户的大五性格维度数值归一化到[0,1]之间得到5维性格向量的数值；
将所述5维性格向量数值减去中值1/2并通过Relu激活函数得到5个高性格向量，将1/2与5维性格向量的差值并通过Relu激活函数得到5个低性格向量，然后串联组合高性格向量和低性格向量得到十个分类性格特征向量，将所述的十个分类性格特征向量经过softmax激活函数得到最终十种性格分类，保证每个用户的十种性格分类概率之和为1；转化公式如下：
Figure DEST_PATH_IMAGE002
式中：
Figure DEST_PATH_IMAGE004
为用户的大五性格维度数值，
Figure DEST_PATH_IMAGE006
为用户的十种性格分类。
4.如权利要求2所述的基于弱监督学习的用户性格预测方法，其特征在于：所述分类特征向量通过softmax激活函数并和十种性格分类进行全连接操作，并计算十种性格分类预测结果和真实结果之间的交叉熵作为损失函数进行分类网络训练，损失函数L c 的计算公式为：
Figure DEST_PATH_IMAGE008
式中：N为训练用户数量，M为每个用户偏好图像数量，C i,j 为用户转化得到的十种性格 分类真实结果，
Figure DEST_PATH_IMAGE010
为分类网络预测结果，通过最小化损失函数进行分类网络训练。
5.如权利要求3所述的基于弱监督学习的用户性格预测方法，其特征在于，所述局部性格特征图的计算具体步骤包括：
在分类网络训练过程中的分类特征向量通过加权连接得到十种性格分类的预测结果，然后获取分类特征向量和每种性格分类之间连接权重，利用每种性格分类的连接权重和对应分类特征向量在全局平均池化和全局最大池化前的卷积层中的特征图进行加权叠加得到每种性格的类激活图，将所述的十种性格分类的预测结果和每种性格的类激活图进行加权求和得到多性格类激活图；将所述的用户在其偏好图像中多种性格类激活图与对应图像的全局特征图在回归网络中进行对应位置相乘得到局部性格特征图，局部性格特征图可以有效地提取图像中十种性格分类关注的局部区域。
6.如权利要求2所述的基于弱监督学习的用户性格预测方法，其特征在于：所述的回归特征向量通过sigmoid激活函数并和大五性格维度数值进行全连接操作，并计算大五性格预测结果和真实结果之间的欧式距离作为损失函数进行回归网络训练，损失函数L r 计算公式为：
Figure DEST_PATH_IMAGE012
式中：N为训练用户数量，M为每个用户偏好图像数量，
Figure DEST_PATH_IMAGE014
为大五性格预测结果，
Figure DEST_PATH_IMAGE016
为大 五性格真实结果，通过最小化损失函数进行回归网络训练。
CN201811038824.2A 2018-09-06 2018-09-06 一种基于弱监督学习的用户性格预测装置及方法 Active CN109165692B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811038824.2A CN109165692B (zh) 2018-09-06 2018-09-06 一种基于弱监督学习的用户性格预测装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811038824.2A CN109165692B (zh) 2018-09-06 2018-09-06 一种基于弱监督学习的用户性格预测装置及方法

Publications (2)

Publication Number Publication Date
CN109165692A CN109165692A (zh) 2019-01-08
CN109165692B true CN109165692B (zh) 2021-06-01

Family

ID=64894382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811038824.2A Active CN109165692B (zh) 2018-09-06 2018-09-06 一种基于弱监督学习的用户性格预测装置及方法

Country Status (1)

Country Link
CN (1) CN109165692B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110766B (zh) * 2019-04-23 2021-08-13 西安交通大学 一种基于运动规划控制特征的在线性格分析方法及装置
CN111026898A (zh) * 2019-12-10 2020-04-17 云南大学 一种基于交叉空间池化策略的弱监督图像情感分类与定位方法
CN111738302B (zh) * 2020-05-28 2023-06-20 华南理工大学 一种基于多模态数据对阿尔茨海默病进行分类诊断的系统
CN111914885B (zh) * 2020-06-19 2024-04-26 合肥工业大学 基于深度学习的多任务人格预测方法和系统
CN111914841B (zh) * 2020-08-07 2023-10-13 温州医科大学 一种ct图像处理方法和装置
US20220108166A1 (en) * 2020-10-05 2022-04-07 Kpn Innovations, Llc. Methods and systems for slot linking through machine learning
CN112214661B (zh) * 2020-10-12 2022-04-08 西华大学 一种面向视频常规评论的情感不稳定用户检测方法
CN112487184A (zh) * 2020-11-26 2021-03-12 北京智源人工智能研究院 用户性格判定方法、装置、存储器和电子设备
CN113095300A (zh) * 2021-05-13 2021-07-09 华南理工大学 一种融合人种信息的年龄预测方法及其系统
CN113705725B (zh) * 2021-09-15 2022-03-25 中国矿业大学 一种基于多模态信息融合的用户人格特征预测方法和装置
CN116486090B (zh) * 2023-06-25 2023-09-05 华南理工大学 肺癌脊柱转移图像处理方法、装置、设备、存储介质
CN117556147B (zh) * 2024-01-11 2024-04-12 中国传媒大学 电商数据分类推荐系统、方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108849A (zh) * 2017-12-31 2018-06-01 厦门大学 一种基于弱监督多模态深度学习的微博情感预测方法
CN108182389A (zh) * 2017-12-14 2018-06-19 华南师范大学 基于大数据与深度学习的用户数据处理方法、机器人系统
CN108399575A (zh) * 2018-01-24 2018-08-14 大连理工大学 一种基于社交媒体文本的大五人格预测方法
CN108399406A (zh) * 2018-01-15 2018-08-14 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182389A (zh) * 2017-12-14 2018-06-19 华南师范大学 基于大数据与深度学习的用户数据处理方法、机器人系统
CN108108849A (zh) * 2017-12-31 2018-06-01 厦门大学 一种基于弱监督多模态深度学习的微博情感预测方法
CN108399406A (zh) * 2018-01-15 2018-08-14 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN108399575A (zh) * 2018-01-24 2018-08-14 大连理工大学 一种基于社交媒体文本的大五人格预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的弱监督分类算法及应用;宋纯锋;《中国优秀硕士学位论文全文数据库信息科技辑》;20170215(第2期);第1-48页 *

Also Published As

Publication number Publication date
CN109165692A (zh) 2019-01-08

Similar Documents

Publication Publication Date Title
CN109165692B (zh) 一种基于弱监督学习的用户性格预测装置及方法
CN108536681B (zh) 基于情感分析的智能问答方法、装置、设备及存储介质
CN110532900B (zh) 基于U-Net和LS-CNN的人脸表情识别方法
Bishay et al. Schinet: Automatic estimation of symptoms of schizophrenia from facial behaviour analysis
CN110472090B (zh) 基于语义标签的图像检索方法以及相关装置、存储介质
CN112270196B (zh) 实体关系的识别方法、装置及电子设备
CN105139237A (zh) 信息推送的方法和装置
CN110222560B (zh) 一种嵌入相似性损失函数的文本人员搜索方法
CN109902912B (zh) 一种基于性格特征的个性化图像美学评价方法
JP5058064B2 (ja) 絵画療法の模様選択及び配列、色塗り分析方法、絵画療法の模様分析による心理症状の診断方法、及びこれを行うためのプログラムを記録した記録媒体
Gu et al. Blind image quality assessment via vector regression and object oriented pooling
CN112687374B (zh) 一种基于文本和图像信息联合计算的心理危机预警方法
CN113705725B (zh) 一种基于多模态信息融合的用户人格特征预测方法和装置
CN110689523A (zh) 基于元学习个性化图像信息评价方法、信息数据处理终端
CN111401105B (zh) 一种视频表情识别方法、装置及设备
CN113111152A (zh) 一种基于知识蒸馏和情绪集成模型的抑郁症检测方法
CN114937182B (zh) 一种基于情感轮和卷积神经网络的图像情感分布预测方法
CN111477328A (zh) 一种非接触式的心理状态预测方法
CN115564194A (zh) 智能电网的计量异常诊断信息生成模型构建方法及系统
CN114511759A (zh) 一种皮肤状态图像的类别识别和特征确定方法及系统
CN110969005B (zh) 一种确定实体语料之间的相似性的方法及装置
JP6802332B1 (ja) 情報処理方法および情報処理装置
Uddin et al. A convolutional neural network for real-time face detection and emotion & gender classification
Amini et al. Word associations contribute to machine learning in automatic scoring of degree of emotional tones in dream reports
Chen et al. Intelligent teaching evaluation system integrating facial expression and behavior recognition in teaching video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant