CN110110671A - 一种性格分析方法、装置及电子设备 - Google Patents

一种性格分析方法、装置及电子设备 Download PDF

Info

Publication number
CN110110671A
CN110110671A CN201910386762.2A CN201910386762A CN110110671A CN 110110671 A CN110110671 A CN 110110671A CN 201910386762 A CN201910386762 A CN 201910386762A CN 110110671 A CN110110671 A CN 110110671A
Authority
CN
China
Prior art keywords
value
estj
picture
personage
analyzed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910386762.2A
Other languages
English (en)
Other versions
CN110110671B (zh
Inventor
谷泽丰
傅秋雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fu Qiuyu
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910386762.2A priority Critical patent/CN110110671B/zh
Publication of CN110110671A publication Critical patent/CN110110671A/zh
Application granted granted Critical
Publication of CN110110671B publication Critical patent/CN110110671B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/162Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种性格分析方法、装置及电子设备,方法包括:获取待分析图片,检测待分析图片中的人脸区域;根据像素间颜色的相似性在人脸区域中划分出多个第一区域,并根据第一区域的视觉属性所满足的第一预设规则从多个第一区域中确定出多个第二区域;根据第二区域的视觉属性所满足的第二预设规则确定待分析图片中人物的心情,并将根据人脸区域确定的心情以第一ESTJ值进行表示,ESTJ值为MBTI人格理论中对人物性格的量化表示;根据第一ESTJ值分析获得待分析图片中人物的性格。本申请利用人物的图片,通过提取图片中人物的脸部特征,并基于MBTI人格理论模型能够对人物性格进行快速准确的分析。

Description

一种性格分析方法、装置及电子设备
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种性格分析方法、装置及电子设备。
背景技术
性格是个性心理特征中的重要部分,是个人稳定的态度系统和行为风格的心理特征。迈尔斯类型指标(Myers-Briggs Type Indicator,MBTI)人格理论提供了一种心理学模型,用以衡量和描述人们在获取信息、作出决策、对待生活等方面的心理活动规律和性格类型,但利用该MBTI人格理论进行性格分析时均是采用在线试题测试的方式,试题较多且耗时较长。
发明内容
本申请实施例的目的在于提供一种性格分析方法、装置及电子设备,通过对图片中的人物的脸部特征进行分析,根据脸部特征的视觉属性对人物的心情进行判断,并基于MBTI人格理论准确分析出人物的性格,从而给定一张拍摄照片即可快速分析出照片中人物的性格。
第一方面,本申请实施例提供了一种性格分析方法,包括:获取待分析图片,检测所述待分析图片中的人脸区域;根据像素间颜色的相似性在所述人脸区域中划分出多个第一区域,并根据所述第一区域的视觉属性所满足的第一预设规则从所述多个第一区域中确定出多个第二区域,每个第二区域对应人脸上的一个功能单元,其中,所述第一预设规则表征所述功能单元所固有的视觉特征;根据所述第二区域的视觉属性所满足的第二预设规则确定所述待分析图片中人物的心情,并将根据人脸区域确定的心情以第一ESTJ值进行表示,其中,所述第二预设规则表征所述功能单元在特定心情下所表现出的视觉特征,ESTJ值为MBTI人格理论中对人物性格的量化表示;根据所述第一ESTJ值分析获得所述待分析图片中人物的性格。
人物在拍摄照片时的心情可以反映人物的性格,而人物的特定心情又可以通过人脸上的功能单元(如眼睛、鼻子等)的视觉特征表现出来,因此,上述方法通过获取与人脸上的功能单元对应的第二区域并分析第二区域的视觉属性就可以获得人物在拍摄照片时的心情,进而估计人物的性格,因此上述方法能够自动、快速地分析人物性格。
在第一方面的一种可能的实施方式中,所述第一区域的视觉属性包括所述第一区域的位置、颜色以及形状方面的属性,所述第二区域的视觉属性包括所述第二区域的位置、颜色以及形状方面的属性。
在第一方面的一种可能的实施方式中,在获取待分析图片之后,所述方法还包括:检测所述待分析图片中的服装区域;获取表征所述服装区域的颜色特征的颜色特征向量,表征所述服装区域的纹理特征的纹理特征向量,以及表征所述服装区域的形状特征的形状特征向量;将获取到的特征向量输入至预训练的分类模型,获得所述分类模型预测的所述待分析图片中人物的心情,并将根据服装区域确定的心情以第二ESTJ值进行表示;所述根据所述第一ESTJ值分析获得所述待分析图片中人物的性格,包括:根据所述第一ESTJ值以及所述第二ESTJ值分析获得所述待分析图片中人物的性格。
由于除了脸部各功能单元所表示出来的视觉特征能够反映人物的心情外,不同服装的视觉特征也能够反映着装者的心情,因此,通过分析人物的服装穿着也能够分析出人物的性格特点,可以结合脸部功能单元的视觉特征进行考虑,获得更加精确的性格评估结果。
在第一方面的一种可能的实施方式中,在获取待分析图片之后,所述方法还包括:获取所述待分析图片中除所述人脸区域和所述服装区域外的背景区域,根据所述背景区域中每一像素的RGB值分别计算所述背景区域的红色通道、绿色通道和蓝色通道的平均值;确定由各通道的平均值组成的新的RGB值所对应的第一颜色,根据所述第一颜色以及颜色与心情的先验关系确定所述待分析图片中人物的心情,并将根据背景区域确定的心情以第三ESTJ值进行表示;所述根据所述第一ESTJ值以及所述第二ESTJ值分析获得所述待分析图片中人物的性格,包括:根据所述第一ESTJ值、所述第二ESTJ值以及所述第三ESTJ值分析获得所述待分析图片中人物的性格。
人物选择的拍摄场景也能在一定程度上反映出人物的情感倾向,比如,在心情处于热情的状态,可能更加偏向于在红色的背景下进行拍照,或者,在心情处于宁静的状态下,可能更加偏向于在绿色的背景下进行拍照,因此,通过分析人物对拍摄场景的偏好也能够分析出人物的性格特点,可以结合脸部功能单元和服装穿着的视觉特征综合考虑,能够提高性格分析的准确率。
在第一方面的一种可能的实施方式中,在获取待分析图片之后,所述方法还包括:响应用户针对所述待分析图片中的人物的心情选择操作,并根据用户选择的心情确定第四ESTJ值;所述根据所述第一ESTJ值、所述第二ESTJ值以及所述第三ESTJ值分析获得所述待分析图片中人物的性格,包括:根据所述第一ESTJ值、所述第二ESTJ值、所述第三ESTJ值以及所述第四ESTJ值分析获得所述待分析图片中人物的性格。
在之前的实施方式中,是根据对人物在图片中表征出的一些视觉特征进行自动分析,并推断出人物在图片中的心情,进而根据人物的心情分析出人物的性格特点,但有时,人物的性格特点并不是完全和这些视觉特征所表现出的内容相吻合,例如,黑色衣服表示不开心,但某个人本来就喜欢穿黑色,穿黑色衣服时反而是他开心的时候,此时基于服装特征分析的性格可能不准确,因此,还可以结合用户针对待分析图片自己选择的心情来对图片中人物的性格进行分析,提高性格分析的准确率。
在第一方面的一种可能的实施方式中,所述根据所述第一ESTJ值、所述第二ESTJ值、所述第三ESTJ值以及所述第四ESTJ值分析获得所述待分析图片中人物的性格,包括:将所述第一ESTJ值、所述第二ESTJ值、所述第三ESTJ值与所述第四ESTJ值加权求和后获得第一总体ESTJ值,其中,加权求和的权重通过遗传算法优化确定,优化的目标被设置为:使根据第二总体ESTJ值分析获得的训练图片中人物的性格接近预标定的性格,所述第二总体ESTJ值为根据所述训练图片计算得到的各ESTJ值加权求和后获得的;利用所述第一总体ESTJ值分析获得所述待分析图片中人物的性格。
上述方案中,第一ESTJ值、第二ESTJ值、第三ESTJ值以及第四ESTJ值分别对应人脸区域、服装区域、背景区域以及真实心情对人物性格的量化表示,不同的特征对于人物的真实性格具有不同的影响率,那么可以通过遗传算法对每一个特征所对应的权重进行优化确定,使得该方法最终分析出的人物性格与真实性格更加接近,准确率更高。
在第一方面的一种可能的实施方式中,获取表征所述服装区域的颜色特征的颜色特征向量,包括:将以RGB色彩模式表示的所述服装区域转换为HSV色彩模式;在HSV色彩模式下计算所述服装区域中每一像素点与多种预设基色的颜色距离;将每个像素点计算出的多个颜色距离中最小的颜色距离对应的预设基色确定为所述像素点从属的预设基色;计算所述服装区域中从属于每一预设基色的像素点的数量占所述服装区域的像素点总数量的比例;根据计算出的比例确定所述颜色特征向量,所述颜色特征向量的每个维度的数值对应计算出的一个比例。
在第一方面的一种可能的实施方式中,所述根据计算出的比例确定所述颜色特征向量,包括:若计算出的比例低于预设阈值,则将所述颜色特征向量中对应于所述比例的维度的数值置零。
在某个比例或某些比例过低时,那么认为服装区域中对应的预设基色中从属的像素点过少,这部分像素点对于人物的心理影响不大,那么将颜色特征向量中对应于该比例的维度的数值置零,能够加快后续的分析运算。
在第一方面的一种可能的实施方式中,获取表征所述服装区域的纹理特征的纹理特征向量,包括:计算所述服装区域在多个设定方向上的灰度共生矩阵;计算每一设定方向上的灰度共生矩阵的特征值,所述特征值包括:熵、同质性、能量、对比度以及相关性;根据计算出的特征值确定表征所述服装区域的纹理特征的纹理特征向量,所述纹理特征向量的每个维度的数值对应计算出的一个特征值。
在第一方面的一种可能的实施方式中,获取表征所述服装区域的形状特征的形状特征向量,包括:将以RGB色彩模式表示的所述服装区域转换为灰度色彩模式;检测所述服装区域中的表示边缘的边缘像素点,并确定每个边缘像素点从属的预设方向区间,其中,所述预设方向区间为将[0°,180°]均匀划分后得到的多个区间中的任意一个,若一个边缘像素点从属的边缘的方向属于一个预设方向区间,则所述边缘像素点从属于所述预设方向区间;计算所述服装区域中从属于每一预设方向区间的边缘像素点的数量占所述服装区域的边缘像素点总数量的比例;根据计算出的比例确定表征所述服装区域的形状特征的形状特征向量,所述形状特征向量的每个维度的数值对应计算出的一个比例。
在以上三种实施方式中,色彩能给予人们最直接、强烈的视觉感受,不同性格的人对于服装的颜色穿着和搭配具有一定的偏好,因此服装区域的颜色特征能够在一定程度上直观反映出人们的心理,并且,服装中的纹理图案、装饰线条等也是能够体现人物心理的一个因素,因此由服装区域所表现出的上述三个视觉特征能够分析出人物选择服装时的心情状态以及性格倾向,有利于确定出人物的性格特点。
在第一方面的一种可能的实施方式中,在获取表征所述服装区域的颜色特征的颜色特征向量,表征所述服装区域的纹理特征的纹理特征向量,以及表征所述服装区域的形状特征的形状特征向量之后,所述方法还包括:利用主成分分析算法确定所述颜色特征向量、所述纹理特征向量和所述形状特征向量的主成分;所述将获取到的特征向量输入至预训练的分类模型,包括:将所述主成分输入至所述分类模型。
在特征向量的维数过多时会增加计算的复杂度,利用主成分分析算法确定上述多种特征向量的主成分,并将获得的主成分输入至分类模型中,从而将原有的复杂的特征向量降维,降低输入至分类模型中的特征向量的维度,降维后的特征向量能够保持向量中主要的特征,简化计算,并且对分析结果不产生明显的影响。
在第一方面的一种可能的实施方式中,所述分类模型为支持向量机SVM模型,所述SVM模型包括第一SVM模型和第二SVM模型,所述第一SVM模型用于预测输入的特征向量是否与人物的情感相关,所述第二SVM模型用于预测输入的特征向量中与人物的情感相关的特征向量所表示的人物的心情。
第二方面,本申请实施例提供了一种性格分析装置,包括:区域检测模块,用于获取待分析图片,检测所述待分析图片中的人脸区域;特征检测模块,用于根据像素间颜色的相似性在所述人脸区域中划分出多个第一区域,并根据所述第一区域的视觉属性所满足的第一预设规则从所述多个第一区域中确定出多个第二区域,每个第二区域对应人脸上的一个功能单元,其中,所述第一预设规则表征所述功能单元所固有的视觉特征;心情分析模块,用于根据所述第二区域的视觉属性所满足的第二预设规则确定所述待分析图片中人物的心情,并将根据人脸区域确定的心情以第一ESTJ值进行表示,其中,所述第二预设规则表征所述功能单元在特定心情下所表现出的视觉特征,ESTJ值为MBTI人格理论中对人物性格的量化表示;性格分析模块,用于根据所述第一ESTJ值分析获得所述待分析图片中人物的性格。
上述装置能够快速、简便地对图片中人物的性格进行分析,用户只需拍摄一张图片,该装置即可自动提取出人物的人脸区域、脸部特征,从而快速分析出图片中人物的性格。
第三方面,本申请实施例提供了一种电子设备,包括:镜头、图像传感器、处理器以及存储器,所述图像传感器以及所述存储器均与所述处理器连接;所述电子设备外部的光信号透过所述镜头后入射到所述图像传感器表面,所述图像传感器将所述光信号转换为电信号后形成待分析图片,并将所述待分析图片发送至所述处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时执行第一方面以及第一方面中任一种可能的实施方式所述的方法。
上述电子设备可以为手机、平板电脑、台式机、笔记本电脑、相机、智能穿戴设备等,通过镜头、图像传感器获取到待分析的图片,并由处理器对待分析的图片进行自动分析,从而快速、简便地获得图片中人物的性格。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请第一实施例提供的性格分析方法的流程图;
图2为本申请第一实施例提供的性格分析方法的另一流程图;
图3为本申请第一实施例提供的颜色特征向量的获取示意图;
图4为本申请第一实施例提供的纹理特征向量的获取示意图;
图5为本申请第一实施例提供的形状特征向量的获取示意图;
图6为本申请第二实施例提供的性格分析装置的示意图;
图7为本申请第三实施例提供的电子设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
第一实施例
本实施例提供一种性格分析方法,可通过获取一张拍摄有人物的待分析图片快速对该图片进行分析,获得图片中人物的性格特点,如图1所示,该方法包括如下步骤:
步骤101:获取待分析图片。
本实施例提供的方法可以运行在手机、平板电脑、台式机、笔记本电脑、相机、智能穿戴设备或服务器等终端上,待分析图片可以是由终端本身所含有的镜头、图像传感器等组件拍摄获得,也可以是由其他终端拍摄上传获得。待分析图片中包含有人物的脸部区域,在拍摄图片时,可以尽量使人物的面部特征清晰可见,且人脸尽量正对镜头方向,避免采用俯仰或向左右侧偏幅度较大的拍照姿态,以提高对人物性格分析的准确率。为简单起见,后文中主要以待分析图片为RGB图片为例进行阐述,但不表示该性格方法只能用于处理RGB图片,该方法的部分步骤,针对非RGB图片进行相应的调整后也是可以适用的,即,RGB图片的例子并不构成对本申请保护范围的限制。
步骤102:检测待分析图片中的人脸区域。
在一种实现方式中,可以先将原本为RGB色彩模式的待分析图片转换为黑白图像,如果图片中某一像素点所代表的颜色与白色的颜色距离更接近,则将该像素点的颜色转换为白色,反之,若与黑色的颜色距离更接近,则将该像素点的颜色转换为黑色,在将图片转换为黑白图像后可利用神经网络模型提取出待分析图片中的人脸区域。或者,也可以直接采用一些现有的人脸检测方法,例如Fast RCNN、Faster RCNN等。
步骤103:根据像素间颜色的相似性在人脸区域中划分出多个第一区域,并根据第一区域的视觉属性所满足的第一预设规则从多个第一区域中确定出多个第二区域。
人脸上不同的功能单元具有不同的视觉特征,每一个功能单元在图像中由于视觉特征的不同和光照情况会与周围的像素间具有较明显的颜色差异,那么可以通过寻找人脸区域中颜色变化明显的区域来将人脸的功能单元检测出来。功能单元可以是人脸上的一个器官,或者具有一定功能的部位。在本实施例中,功能单元包括:头发、眉毛、眼睛、鼻子、嘴巴、脸型。可以理解的,在其他一些实施例中,还可以包括更多或更少的功能单元,例如,将额头作为一个功能单元,等等。
首先,针对图片上的一个像素点,计算该像素点与相邻的像素点之间的颜色距离,若与某一相邻的像素点之间的颜色距离≤50(该取值可根据需求调整),则将这两个像素点归为一个区域,重复执行该过程直至完成对图片中所有像素点的判断,在处理完成之后,可以在人脸区域中获得多个连通域,每一个连通域代表一个上述所指的第一区域,在获得第一区域之后,根据第一区域的视觉属性所满足的第一预设规则获得多个第二区域,每个第二区域对应人脸上的一个功能单元。
第一预设规则是根据第一区域的视觉属性所预先建立的规则,能够表征人脸上功能单元所固有的视觉特征。其中,固有的视觉特征表示某个功能单元所固定不变的视觉属性,例如,人的头发总是位于脸部的上方,眼睛总是位于眉毛下方等等,以下列举出第一预设规则中可能包含的规则:
1)、第一区域位于人脸区域的最上部且占人脸区域横向长度的比例高于第一比值,那么将该第一区域确定为与头发对应的第二区域,例如,第一比值可以设置为80%。
2)、第一区域位于头发下方且为黑色区域,并且横向长度占人脸区域的比例位于第一比值区间内、纵向长度占人脸区域的比例低于第二比值,那么将该第一区域确定为与眉毛对应的第二区域,例如,第一比值区间可以设置为第二比值可以设置为5%。
3)、第一区域位于眉毛下方且为黑色区域,且相邻的第一区域为白色区域,且黑色区域与白色区域之间具有较明显的分界线,那么将该第一区域确定为与眼睛对应的第二区域。
4)、第一区域位于眼睛下方,且第一区域的长宽比值位于第二比值区间内,那么将该第一区域确定为与鼻子对应的第二区域,例如,第二比值区间可以设置为
5)、第一区域位于鼻子下方,且第一区域的长宽比值位于第三比值区间内,那么将该第一区域确定为与嘴巴对应的第二区域,例如,第三比值区间可以设置为[3,5]。
6)、将面积最大的第一区域确定为与脸型对应的第二区域。
根据上述规则可从划分出的多个第一区域中确定出多个能够表征人脸功能单元的第二区域。但是需要注意的是,在划分第一区域的过程中,由像素点的颜色而获得的连通域仅仅是将颜色变化明显的区域划分出来,因此部分连通域可能并不表征人脸的功能单元,仅是无意义的颜色差异,也就是说,如果第一区域的视觉属性不满足第一预设规则中的任意一条,那么则将该第一区域忽略,不对其进行后续分析。
步骤104:根据第二区域的视觉属性所满足的第二预设规则确定待分析图片中人物的心情,并将根据人脸区域确定的心情以第一ESTJ值进行表示。
在获得多个第二区域后,如果第二区域的视觉属性满足第二预设规则中的任意一条,那么可以对应确定出图片中人物的心情状态。第二预设规则是表征人脸上的功能单元在特定心情下所表现出的视觉特征,若某个第二区域的视觉属性或某几个第二区域的视觉属性结合后满足第二预设规则中的条件,那么可以确定此人正处于一个特定的心情。以下列举出第二预设规则中可能包含的规则:
1)、若表征脸型的第二区域为左右上下对称且表征眉毛或眼睛的第二区域不对称,那么人物处于悲哀、痛苦的心情。
2)、若表征嘴巴的第二区域两端的黑色部分的高度低于中间的黑色部分的高度,那么人物处于忧郁、担心、绝望的心情。
3)、若表征嘴巴的第二区域两端的黑色部分的高度高于中间的黑色部分的高度,那么人物处于高兴、喜悦的心情。
4)、若表征眼睛的第二区域中的黑色区域趋于圆形,且黑色区域位于正中间,并且表征眉毛的第二区域的长宽比值低于第三比值,那么人物处于反省、思索的心情,第三比值可以设置为2。
5)、若表征眼睛的第二区域中黑色区域占该第二区域的总面积的比例高于第四比值,那么人物处于失神的心情,第四比值可以设置为70%。
6)、若表征脸型的第二区域的长宽比值低于第五比值,那么人物处于不平的心情,第五比值可以设置为1。
7)、若表征鼻子的第二区域中黑色部分的面积占该第二区域的总面积的比例高于第六比值,且表征嘴巴的第二区域的长宽比值大于第七比值,那么人物处于激怒的心情,第六比值可以设置为45%,第七比值可以设置为10。
8)、若表征嘴巴的第二区域的长宽比值高于第八比值,且表征眼睛的第二区域中黑色区域占该第二区域的总面积的比例高于第九比值,那么人物处于决断的心情。
9)、若表征脸型的第二区域的长宽比值小于第十比值,且该第二区域的正中间为白色,那么人物处于厌恶的心情。
10)、若表征眼睛的第二区域的正中间的最高点为白色,那么人物处于谦卑的心情。
11)、若表征眼睛的第二区域中黑色区域占该第二区域的总面积的比例高于第十一比值,且表征眉毛的第二区域的左右两端的高度高于中间高度,那么人物处于惊异、惊愕的心情,第十一比值可以设置为70%。
12)、若表征眼睛的第二区域中黑色区域趋于圆形,且黑色区域不位于正中间,并且占该第二区域的总面积的比例高于第十二比值,那么人物处于恐怖的心情,第十二比值可以设置为70%。
上述所列举的规则中的比值及比值区间的数值仅作为示例,实际情况中可进行调整。
在根据上述第二预设规则获得待分析图片中人物的心情后,可根据心情与ESTJ值的转换关系将人物的心情以第一ESTJ值进行表示。ESTJ值是MBTI人格理论中对人物性格的一种量化表示,MBTI人格理论中提供了一种性格分析指标,将人物的性格划分为四个维度,如下表一所示:
表一
上述所划分的四个维度可以理解为四把标尺,每个人的性格都会落在标尺上的某个点上,越靠近某个端点,就意味着个体就有哪一方面的偏好,比如在第一个维度上,个体的性格靠近外倾这一端,就偏向于外倾,而且越接近端点,偏好越强,那么在获得ESTJ值之后,可根据ESTJ值中每一维度的数值确定人物在每一个维度上的性格倾向,从而综合确定出人物的性格,因此,将心情以ESTJ值进行表示有利于对图片中人物的性格分析。
心情与ESTJ值之间可以参考下表二所示的对应关系:
心情 E外倾/内倾 S感觉/直觉 T思维/情感 J判断/理解
痛苦、悲伤 -1 1 -1 -1
高兴 1 -1 -1 0
反省 -1 1 1 1
失神 -1 1 -1 -1
不平、愤怒 1 -1 -1 1
厌恶 1 1 -1 1
谦卑 1 0 0 -1
惊异 -1 0 -1 -1
恐怖 0 1 -1 1
不知所措 0 1 1 1
高傲 -1 -1 -1 -1
无情 -1 1 1 1
宁静 -1 0 0 0
表二
例如,人物此时的心情处于高兴的状态,那么参照表二,ESTJ值分别为1、-1、-1、0,如果人物同时处于悲伤和失神的状态,那么将表中两种心情状态的ESTJ值相加,获得的ESTJ值为-2、2、-2、-2,通过表二的对应的关系将由第二预设规则确定的人物心情转换为能够用于性格量化的ESTJ值,以便于根据MBTI人格理论分析获得图片中人物的性格。
步骤105:根据第一ESTJ值分析获得待分析图片中人物的性格。
例如,在ESTJ值为0、1、1、1时,可以分析出人物属于既不外倾也不内倾,接受信息的方式更加偏向于感觉,作出决策的方式更加偏向于思维,且对待不确定性的态度更加偏向于判断,那么根据MBTI人格理论可以获得图片中人物的性格特点大致为:着眼于现实,倾向于观察具体事件,偏好已知事物,倾向于分析性和逻辑性的工作方式,行为简洁,时间观念严谨,倾向于解决问题。另外,如果ESTJ值中某一维度的值越大,那么表示人物在这一维度的偏向就越强烈,在分析性格时人物在这一维度的性格表现也就更加明显。
上述方案中,在获得一张待分析图片后,能够快速提取出图片中人物的人脸区域以及能够表征人脸功能单元的多个区域,通过对人脸功能单元的视觉特征进行分析可获得人物在被拍摄时的心情,并基于MBTI人格理论的性格分析指标即可快速分析出人物的性格特点,此过程中,仅需一张人物拍摄图片即可实现对图片中人物的性格分析,无需耗费用户过多的时间,并且,视觉特征是一种客观标准,不带有主观性,可以避免用户在做在线测试题时反复犹豫,选择不准确造成评估不准的问题。
在一种可能的实施方式中,除了脸部各功能单元所表示出来的视觉特征能够反映人物的心情外,不同服装的视觉特征也能够反映着装者的心情,因此,通过分析人物的服装穿着也对人物的性格分析具有一定的意义,参阅图2,本实施例提供的性格分析方法还包括如下步骤:
步骤201:检测待分析图片中的服装区域。
在获取到待分析图片后,可利用神经网络模型对图片中的服装区域的进行检测提取。
步骤202:获取表征服装区域的颜色特征的颜色特征向量,表征服装区域的纹理特征的纹理特征向量,以及表征服装区域的形状特征的形状特征向量。
色彩能给予人们最直接、强烈的视觉感受,不同性格的人对于服装的颜色穿着和搭配具有一定的偏好,因此服装区域的颜色特征能够在一定程度上直观反映出人们的心理,并且,服装中的纹理图案、装饰线条等也是能够体现人物心理的一个因素,因此由服装区域所表现出的上述三个视觉特征能够分析出人物选择服装时的心情状态以及性格倾向。上述颜色特征向量、纹理特征向量和形状特征向量的具体获取方式在下文进行阐述。
步骤203:将获取到的特征向量输入至预训练的分类模型,获得分类模型预测的待分析图片中人物的心情,并将根据服装区域确定的心情以第二ESTJ值进行表示。
上述获得的三个特征向量可以融合为一个特征向量输入至分类模型中,融合的方式可以为直接拼接,或者是对三个特征向量加权后拼接。
分类模型可以为支持向量机SVM模型,并且,该分类模型中包括第一SVM模型以及第二SVM模型,其中,第一SVM模型用于预测输入的特征向量是否与人物的情感相关,第二SVM模型用于预测输入的特征向量中与人物的情感相关的特征向量所表示的人物的心情。
分类模型是预先建立并训练完成的,在训练前,首先获取若干张训练图像,数量可以尽可能多,比如1000张,这些训练图像所表示的心情和情感相关性已知,然后计算获得这1000张训练图像中每一张训练图像所对应的特征向量,并将特征向量输入至第一SVM模型,利用由这1000张训练图像所形成的样本集对第一SVM模型进行训练,然后将第一SVM预测出的与情感相关的训练图像对应的特征向量再输入至第二SVM模型进行训练,直至两个SVM模型均满足训练结束条件。训练完成后,当将服装区域的特征向量输入至分类模型后,分类模型中的SVM模型将自动预测出人物的心情。
在实际预测时若第一SVM模型判断输入的特征向量与人物的情感无关,那么可将该特征向量去除,不将其再输入至第二SVM模型进行人物心情的预测,在去除掉该特征向量之后,能够使上述方法考虑的条件更加简单,简化运算。
在获得分类模型预测的人物的心情后,将心情根据表二中的对应关系转换为第二ESTJ值。
步骤204:根据由人脸区域确定的第一ESTJ值以及由服装区域确定的第二ESTJ值分析获得待分析图片中人物的性格。
人物的性格可以由脸部特征的视觉表现和服装穿着的选择搭配体现出来,但是两者所表现的视觉特征对于人物的性格应当具有不同的影响率,在获得第一ESTJ值和第二ESTJ值后,需要重新确定一个新的ESTJ值来对人物的性格进行分析,新的ESTJ值由两个ESTJ值以及相对应的权重确定。
在一种实施方式中,步骤202获得颜色特征向量的方法可以参阅图3,包括如下步骤:
步骤2021:在HSV色彩模式下计算服装区域中每一像素点与多种预设基色的颜色距离,将每个像素点计算出的多个颜色距离中最小的颜色距离对应的预设基色确定为像素点从属的预设基色。
由于在待分析图片所采用的RGB色彩模式下,无法给人直观的颜色感觉,当给定一个RGB值,人们无法感知到对应的颜色,很难将其用于颜色情感的数字量化分析,并且HSV色彩模式更加符合人类视觉系统对色彩的理解方式,更接近于人眼观察事物的特征,因此,在获取颜色特征向量之前,需将RGB色彩模式的待分析图片转换为HSV色彩模式,有利于对图片进行情感的感知和分析。
在HSV色彩模式下计算服装区域中每一个像素点的HSV值与多种预设基色间的颜色距离,颜色距离公式如下:
其中,Hm、Sm、Vm表示第m个像素点的HSV值,Hn、Sn、Vn表示多种预设基色中的第n个预设基色的HSV值。
步骤2022:计算服装区域中从属于每一预设基色的像素点的数量占服装区域的像素点总数量的比例。
假若计算得到的比例中,存在某个或某些比例低于预设阈值,则认为服装区域中对应的预设基色中从属的像素点过少,这部分像素点对于人物的心理影响不大,那么将颜色特征向量中对应于该比例的维度的数值置零,能够加快后续的分析运算,该预设阈值可以设置为5%。
步骤2023:根据计算出的比例确定颜色特征向量。
在步骤2021-2023中对服装的颜色特征进行提取时,通过将服装中像素点的颜色聚类到多种预设基色中,然后基于这多种预设基色中所从属的像素点的数量占服装区域的像素点总数量的比例来获得颜色特征向量,颜色特征向量的每个维度的数值对应计算出的一个比例。例如有130种基色,那么最后获得的颜色特征向量的维度也就对应于这130个维度。
在一种实施方式中,步骤202获得纹理特征向量的方法可以参阅图4,包括如下步骤:
步骤2024:计算服装区域在多个设定方向上的灰度共生矩阵。
本实施例利用灰度共生矩阵来表示服装区域中的纹理特征,灰度共生矩阵能够反映出服装区域中灰度级相关性的规律,它表示图像中灰度级为i的像素点在移动(Δx,Δy)后出现灰度级为j的像素点的频度,如果(Δx,Δy)按照多个设定的方向移动,那么能够获得多个相应的灰度共生矩阵。在一种实施方式中,可以使(Δx,Δy)沿着0°、45°、90°和135°这四个方向进行移动,从而在这四个方向上均获得一个灰度共生矩阵。
步骤2025:计算每一设定方向上的灰度共生矩阵的多种特征值。
根据每一个方向上计算得到的灰度共生矩阵可以获得以下几种常见的特征值:熵、同质性、能量、对比度以及相关性,分别通过如下所示的公式计算得到:
F1=-∑ijP(i,j)logP(i,j)
F3=∑i,jP(i,j)2
F4=∑i,j(i-j)2P(i,j);
其中,μi=∑i,ji·P(i,j),μj=∑i,jj·P(i,j), P(i,j)表示灰度共生矩阵,i,j=1,2,3,…L-1,L为灰度级。
这几种特征值中,熵F1用于表示服装区域中的纹理信息量,同质性F2用于表示服装区域的局部平滑性,能量F3用于表示灰度共生矩阵中值的分布情况,对比度F4用于表示服装区域中像素对的灰度差|i-j|的平均值,相关性F5用于表示相邻像素间灰度的线性相关度,由这几种特征值能够准确反映出服装区域的纹理特征。
步骤2026:根据计算出的特征值确定表征服装区域的纹理特征的纹理特征向量。
如果(Δx,Δy)沿着0°、45°、90°和135°这四个方向进行移动,每一个方向上均根据对应的灰度共生矩阵计算出上述五个特征值,那么获得共20个特征值,纹理特征向量的每个维度的数值对应计算出的一个特征值,最终纹理特征向量的维度也就对应于这20个维度。
在一种实施方式中,步骤202获得形状特征向量的方法可以参阅图5,包括如下步骤:
步骤2027:检测服装区域中的表示边缘的边缘像素点,并确定每个边缘像素点从属的方向区间。
人物穿着的服装中包含有条纹、花边、腰带等装饰线,这些线条具有方向性,通过对服装区域中线条方向的分析有利于获得人物的心理倾向,本实施例通过分析服装区域中的方向特性,来获得表征形状特征的形状特征向量。线条方向的范围区间为[0°,180°],将这个区间均匀划分后可得到多个方向区间,例如,均匀划分为10个方向区间,线条方向每变化18°则对应一个方向区间。在确定像素点从属的方向区间的过程中,首先将以RGB色彩模式表示的服装区域转换为灰度色彩模式,然后可以利用canny边缘检测算法(也可以为其他边缘检测算法)检测出服装区域中的边缘,并获得表示边缘的边缘像素点,如果边缘像素点从属的边缘的方向位于划分出的多个方向区间中的一个,那么该边缘像素点也就相应地从属于对应的方向区间。
步骤2028:计算服装区域中从属于每一方向区间的边缘像素点的数量占服装区域的边缘像素点总数量的比例。
步骤2029:根据计算出的比例确定表征服装区域的形状特征的形状特征向量。
根据整个服装区域中边缘像素点所从属的方向区间进行方向统计,由每一个方向区间的边缘像素点数量占边缘像素点总数量的比例可以获得服装区域的方向特性,比如,线条方向位于[0°,18°]、[72°,90°]、[90°,108°]、[162°,180°]这几个方向区间的边缘像素点的比例较大,那么反映出服装区域中线条的方向集中在水平和垂直两个方向上,从而能够反映出服装上的线条方向关系。最后根据每一个方向区间所对应的比例获得形状特征向量,形状特征向量的每个维度的数值对应一个方向区间的比例。
在提取出服装区域中的颜色特征向量、纹理特征向量和形状特征向量之后,可根据这三种特征向量预测出待分析图片中人物的心情,但如果特征向量的维数过多,无疑会增加分析问题的难度与复杂度,比如,提取的颜色特征向量为130维,纹理特征向量为20维,形状特征向量为10维,那么总的向量维数达到了160维,因此本实施例中可以利用主成分分析(principal component analysis,PCA)算法确定上述多种特征向量的主成分,并将获得的主成分输入至分类模型中用于预测人物的心情,从而将原有的复杂的特征向量降维,降低输入至分类模型中的特征向量的维度,降维后的特征向量能够保持向量中主要的特征,简化计算,并且对分析结果不产生明显的影响。
在一种可能的实施方式中,除了人脸功能单元的视觉特征和人物服装穿着外,人物所选择的拍摄场景也能反映出人物的性格倾向,比如,在心情处于热情的状态,可能更加偏向于在红色的背景下进行拍照,或者,在心情处于宁静的状态下,可能更加偏向于在绿色的背景下进行拍照,因此,对于待分析图片中背景区域的分析在一定程度上也能反映出人物的性格。
在该实施方式中,首先获得待分析图片中除去人脸区域和服装区域外的背景区域,并根据背景区域中每一像素点的RGB值分别计算背景区域的红色通道R、绿色通道G和蓝色通道B的平均值,并由这三个通道的平均值重新确定一个新的RGB值,然后,根据这个新的RGB值确定其所表征的颜色,并根据颜色与心情的先验关系(可以通过对大量人群进行统计获得)确定出待分析图片中人物的心情。
颜色与心情的先验关系可以参考下表三所示:
颜色 心情 颜色 心情
红色 热情 绿色 宁静
橙红色 动力 蓝绿 不知所措
橙色 快乐 蓝色 忧郁
橙黄 快乐 天蓝紫 无情
黄色 乐观 紫色 庄严肃穆
黄绿 不愉快 紫红色 高傲
表三
根据表三的对应关系,如果背景区域重新确定的新的颜色为绿色,那么图片中人物的心情处于宁静的状态,并将人物的心情以第三ESTJ值进行表示,最后,根据第一ESTJ值、第二ESTJ值以及第三ESTJ值以及分别对应的权重重新确定新的ESTJ值,并由新的ESTJ值分析获得人物的性格。
本实施例上述所提供的性格分析方法是根据拍摄有人物的图片,对人物表征在图片中的一些视觉特征进行自动分析,并推断出人物在图片中的心情,进而根据人物的心情分析出人物的性格特点,但是由于此过程中对人物心情的预测与人物实际的心情之间不一定是完全一致的,例如,黑色衣服表示不开心,但某个人本来就喜欢穿黑色,穿黑色衣服时反而是他开心的时候,此时基于服装特征分析的性格可能不够准确,因此,在实际中还可以结合人物真实的心情来对其性格进行分析,以进一步提高性格分析的准确率。
例如,该方法运行在一个智能手机中,当用户在使用该智能手机进行拍照的同时,可以要求用户选择自己此时的心情状态,在用户进行选择后,响应用户的心情选择操作,并根据用户真实的心情确定一个第四ESTJ值,再由这四组ESTJ值分析获得用户的性格,其中,确定第四ESTJ值可以参考确定第一ESTJ值的方法,不再重复阐述。
四组ESTJ值根据不同的权重加权求和后可重新获得一个新的ESTJ值,利用新的ESTJ值与MBTI人格理论中的性格分析指标可获得人物的性格特点,每一个ESTJ值对应的权重在实际分析之前已通过遗传算法进行优化确定,优化目标被设置为:使根据新的ESTJ值分析获得的训练图像中人物的性格接近预标定的人物性格,该处新的ESTJ值是根据训练图像计算得到的多个ESTJ值加权求和后获得的,此处优化过程中所采用的训练图像可以是训练SVM模型时所使用的1000张训练图像,也可以是通过其他方式获得的预标定有人物性格的训练图像,预标定的人物性格可以是在获得训练图像时由用户自愿填写的。
第一ESTJ值、第二ESTJ值、第三ESTJ值以及第四ESTJ值分别对应人脸区域、服装区域、背景区域以及真实心情这四类因素对人物性格的量化表示,不同的因素对于人物的真实性格具有不同的影响率。在优化过程中,首先,每个权重值产生一组初始数值,利用估价函数评估单一因素对最终结果影响的百分比,比如,考虑服装区域的第二ESTJ值对应的权重,当此权重为何值时可以达到更接近预标定的人物性格的结果,并利用遗传算法中的交叉、变异的方式产生新的权重值,使得每个权重值不断向更接近预标定的人物性格的方向优化,并最终获得一组最优的权重。
在优化确定每组ESTJ值所对应的权重后,可对四组ESTJ值进行加权计算,获得新的ESTJ值,当用户实际拍摄并未选择真实的心情时,那么只需根据第一ESTJ值、第二ESTJ值以及第三ESTJ值加权确定新的ESTJ值即可,并不影响该方法实际的分析效果。
本实施例所提供的性格分析方法可以应用于商场中对理想客户的分析,或者用于公司招聘时对应聘者的分析,或者还可以用于对最优性格搭配的伴侣的分析,该方法的应用场景广泛,且分析方式简单,只需给定一张人物拍摄图片即可快速分析出人物的性格特点,对于用户而言,也避免了做较多在线试题的繁琐,且减少了耗时。
第二实施例
本实施例提供一种性格分析装置,参阅图6,该装置包括:
区域检测模块301,用于获取待分析图片,检测所述待分析图片中的人脸区域;特征检测模块302,用于根据像素间颜色的相似性在所述人脸区域中划分出多个第一区域,并根据所述第一区域的视觉属性所满足的第一预设规则从所述多个第一区域中确定出多个第二区域,每个第二区域对应人脸上的一个功能单元,其中,所述第一预设规则表征所述功能单元所固有的视觉特征;心情分析模块303,用于根据所述第二区域的视觉属性所满足的第二预设规则确定所述待分析图片中人物的心情,并将根据人脸区域确定的心情以第一ESTJ值进行表示,其中,所述第二预设规则表征所述功能单元在特定心情下所表现出的视觉特征,ESTJ值为MBTI人格理论中对人物性格的量化表示;性格分析模块304,用于根据所述第一ESTJ值分析获得所述待分析图片中人物的性格。
可选地,该装置还包括:第二区域检测模块,用于检测所述待分析图片中的服装区域;第二特征检测模块,用于获取表征所述服装区域的颜色特征的颜色特征向量,表征所述服装区域的纹理特征的纹理特征向量,以及表征所述服装区域的形状特征的形状特征向量;第二心情分析模块,用于将获取到的特征向量输入至预训练的分类模型,获得所述分类模型预测的所述待分析图片中人物的心情,并将根据服装区域确定的心情以第二ESTJ值进行表示;性格分析模块304具体用于根据所述第一ESTJ值以及所述第二ESTJ值分析获得所述待分析图片中人物的性格。
可选地,该装置还包括:第三区域检测模块,用于获取所述待分析图片中除所述人脸区域和所述服装区域外的背景区域,根据所述背景区域中每一像素的RGB值分别计算所述背景区域的红色通道、绿色通道和蓝色通道的平均值;第三心情分析模块,用于确定由各通道的平均值组成的新的RGB值所对应的第一颜色,根据所述第一颜色以及颜色与心情的先验关系确定所述待分析图片中人物的心情,并将根据背景区域确定的心情以第三ESTJ值进行表示;性格分析模块304具体用于根据所述第一ESTJ值、所述第二ESTJ值以及所述第三ESTJ值分析获得所述待分析图片中人物的性格。
本实施例提供的性格分析装置能够快速检测待分析图片中的人脸区域,并能够根据人脸区域中各功能单元的视觉特征快速分析出图片中人物的性格特点。
第三实施例
本实施例提供一种电子设备,参阅图7,包括:镜头401、图像传感器402、处理器403以及存储器404,其中,图像传感器402以及存储器404均与处理器403连接。电子设备外部的光信号透过镜头401后入射到图像传感器402表面,图像传感器402将入射的光信号转换为电信号后形成待分析图片,并将该待分析图片发送至处理器403,由处理器403对该待分析图片进行分析处理,在存储器404中存储有计算机程序,该计算机程序被处理器403执行时执行如第一实施例中的性格分析方法,由于该待分析图片中包含有人物图像,从而处理器403根据该待分析图片能够快速分析出图片中人物的性格特点。
该电子设备可以为手机、平板电脑、台式机、笔记本电脑、相机、智能穿戴设备等具有图片拍摄功能和图像处理功能的终端设备。图像传感器可以是,但不限于CCD、CMOS传感器。
在一种实施方式中,该电子设备还包括显示单元,处理器在执行计算机程序后获得的人物性格分析结果可以存储在存储器中,或者通过显示单元进行显示,上述拍摄得到的待分析图片也可以直接显示在该显示单元的界面上。
在一种实施方式中,该电子设备中还可以包括输入设备,用户可以通过输入设备选择自己被拍摄时的心情,例如可以是按键,或者与显示单元结合形成的触控屏。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种性格分析方法,其特征在于,包括:
获取待分析图片,检测所述待分析图片中的人脸区域;
根据像素间颜色的相似性在所述人脸区域中划分出多个第一区域,并根据所述第一区域的视觉属性所满足的第一预设规则从所述多个第一区域中确定出多个第二区域,每个第二区域对应人脸上的一个功能单元,其中,所述第一预设规则表征所述功能单元所固有的视觉特征;
根据所述第二区域的视觉属性所满足的第二预设规则确定所述待分析图片中人物的心情,并将根据人脸区域确定的心情以第一ESTJ值进行表示,其中,所述第二预设规则表征所述功能单元在特定心情下所表现出的视觉特征,ESTJ值为MBTI人格理论中对人物性格的量化表示;
根据所述第一ESTJ值分析获得所述待分析图片中人物的性格。
2.根据权利要求1所述的方法,其特征在于,所述第一区域的视觉属性包括所述第一区域的位置、颜色以及形状方面的属性,所述第二区域的视觉属性包括所述第二区域的位置、颜色以及形状方面的属性。
3.根据权利要求1所述的方法,其特征在于,在获取待分析图片之后,所述方法还包括:
检测所述待分析图片中的服装区域;
获取表征所述服装区域的颜色特征的颜色特征向量,表征所述服装区域的纹理特征的纹理特征向量,以及表征所述服装区域的形状特征的形状特征向量;
将获取到的特征向量输入至预训练的分类模型,获得所述分类模型预测的所述待分析图片中人物的心情,并将根据服装区域确定的心情以第二ESTJ值进行表示;
所述根据所述第一ESTJ值分析获得所述待分析图片中人物的性格,包括:
根据所述第一ESTJ值以及所述第二ESTJ值分析获得所述待分析图片中人物的性格。
4.根据权利要求3所述的方法,其特征在于,在获取待分析图片之后,所述方法还包括:
获取所述待分析图片中除所述人脸区域和所述服装区域外的背景区域,根据所述背景区域中每一像素的RGB值分别计算所述背景区域的红色通道、绿色通道和蓝色通道的平均值;
确定由各通道的平均值组成的新的RGB值所对应的第一颜色,根据所述第一颜色以及颜色与心情的先验关系确定所述待分析图片中人物的心情,并将根据背景区域确定的心情以第三ESTJ值进行表示;
所述根据所述第一ESTJ值以及所述第二ESTJ值分析获得所述待分析图片中人物的性格,包括:
根据所述第一ESTJ值、所述第二ESTJ值以及所述第三ESTJ值分析获得所述待分析图片中人物的性格。
5.根据权利要求4所述的方法,其特征在于,在获取待分析图片之后,所述方法还包括:
响应用户针对所述待分析图片中的人物的心情选择操作,并根据用户选择的心情确定第四ESTJ值;
所述根据所述第一ESTJ值、所述第二ESTJ值以及所述第三ESTJ值分析获得所述待分析图片中人物的性格,包括:
根据所述第一ESTJ值、所述第二ESTJ值、所述第三ESTJ值以及所述第四ESTJ值分析获得所述待分析图片中人物的性格。
6.根据权利要求5所述的方法,其特征在于,所述根据所述第一ESTJ值、所述第二ESTJ值、所述第三ESTJ值以及所述第四ESTJ值分析获得所述待分析图片中人物的性格,包括:
将所述第一ESTJ值、所述第二ESTJ值、所述第三ESTJ值与所述第四ESTJ值加权求和后获得第一总体ESTJ值,其中,加权求和的权重通过遗传算法优化确定,优化的目标被设置为:使根据第二总体ESTJ值分析获得的训练图片中人物的性格接近预标定的性格,所述第二总体ESTJ值为根据所述训练图片计算得到的各ESTJ值加权求和后获得的;
利用所述第一总体ESTJ值分析获得所述待分析图片中人物的性格。
7.根据权利要求3所述的方法,其特征在于,获取表征所述服装区域的颜色特征的颜色特征向量,包括:
将以RGB色彩模式表示的所述服装区域转换为HSV色彩模式;
在HSV色彩模式下计算所述服装区域中每一像素点与多种预设基色的颜色距离;
将每个像素点计算出的多个颜色距离中最小的颜色距离对应的预设基色确定为所述像素点从属的预设基色;
计算所述服装区域中从属于每一预设基色的像素点的数量占所述服装区域的像素点总数量的比例;
根据计算出的比例确定所述颜色特征向量,所述颜色特征向量的每个维度的数值对应计算出的一个比例。
8.根据权利要求7所述的方法,其特征在于,所述根据计算出的比例确定所述颜色特征向量,包括:
若计算出的比例低于预设阈值,则将所述颜色特征向量中对应于所述比例的维度的数值置零。
9.根据权利要求3所述的方法,其特征在于,获取表征所述服装区域的纹理特征的纹理特征向量,包括:
计算所述服装区域在多个设定方向上的灰度共生矩阵;
计算每一设定方向上的灰度共生矩阵的特征值,所述特征值包括:熵、同质性、能量、对比度以及相关性;
根据计算出的特征值确定表征所述服装区域的纹理特征的纹理特征向量,所述纹理特征向量的每个维度的数值对应计算出的一个特征值。
10.根据权利要求3所述的方法,其特征在于,获取表征所述服装区域的形状特征的形状特征向量,包括:
将以RGB色彩模式表示的所述服装区域转换为灰度色彩模式;
检测所述服装区域中的表示边缘的边缘像素点,并确定每个边缘像素点从属的预设方向区间,其中,所述预设方向区间为将[0°,180°]均匀划分后得到的多个区间中的任意一个,若一个边缘像素点从属的边缘的方向属于一个预设方向区间,则所述边缘像素点从属于所述预设方向区间;
计算所述服装区域中从属于每一预设方向区间的边缘像素点的数量占所述服装区域的边缘像素点总数量的比例;
根据计算出的比例确定表征所述服装区域的形状特征的形状特征向量,所述形状特征向量的每个维度的数值对应计算出的一个比例。
11.根据权利要求3所述的方法,其特征在于,在获取表征所述服装区域的颜色特征的颜色特征向量,表征所述服装区域的纹理特征的纹理特征向量,以及表征所述服装区域的形状特征的形状特征向量之后,所述方法还包括:
利用主成分分析算法确定所述颜色特征向量、所述纹理特征向量和所述形状特征向量的主成分;
所述将获取到的特征向量输入至预训练的分类模型,包括:将所述主成分输入至所述分类模型。
12.根据权利要求3所述的方法,其特征在于,所述分类模型为支持向量机SVM模型,所述SVM模型包括第一SVM模型和第二SVM模型,所述第一SVM模型用于预测输入的特征向量是否与人物的情感相关,所述第二SVM模型用于预测输入的特征向量中与人物的情感相关的特征向量所表示的人物的心情。
13.一种性格分析装置,其特征在于,包括:
区域检测模块,用于获取待分析图片,检测所述待分析图片中的人脸区域;
特征检测模块,用于根据像素间颜色的相似性在所述人脸区域中划分出多个第一区域,并根据所述第一区域的视觉属性所满足的第一预设规则从所述多个第一区域中确定出多个第二区域,每个第二区域对应人脸上的一个功能单元,其中,所述第一预设规则表征所述功能单元所固有的视觉特征;
心情分析模块,用于根据所述第二区域的视觉属性所满足的第二预设规则确定所述待分析图片中人物的心情,并将根据人脸区域确定的心情以第一ESTJ值进行表示,其中,所述第二预设规则表征所述功能单元在特定心情下所表现出的视觉特征,ESTJ值为MBTI人格理论中对人物性格的量化表示;
性格分析模块,用于根据所述第一ESTJ值分析获得所述待分析图片中人物的性格。
14.一种电子设备,其特征在于,包括:镜头、图像传感器、处理器以及存储器,所述图像传感器以及所述存储器均与所述处理器连接;
所述电子设备外部的光信号透过所述镜头后入射到所述图像传感器表面,所述图像传感器将所述光信号转换为电信号后形成待分析图片,并将所述待分析图片发送至所述处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时执行如权利要求1-12任一项所述的方法。
CN201910386762.2A 2019-05-09 2019-05-09 一种性格分析方法、装置及电子设备 Active CN110110671B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910386762.2A CN110110671B (zh) 2019-05-09 2019-05-09 一种性格分析方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910386762.2A CN110110671B (zh) 2019-05-09 2019-05-09 一种性格分析方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110110671A true CN110110671A (zh) 2019-08-09
CN110110671B CN110110671B (zh) 2021-02-05

Family

ID=67489148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910386762.2A Active CN110110671B (zh) 2019-05-09 2019-05-09 一种性格分析方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110110671B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751126A (zh) * 2019-10-30 2020-02-04 王安 一种基于人脸特征判断人物性格的分析方法
CN111539925A (zh) * 2020-04-20 2020-08-14 中国科学院物理研究所 一种基于像素分析的锂电池负极析锂定量测试方法
CN112749668A (zh) * 2021-01-18 2021-05-04 上海明略人工智能(集团)有限公司 目标图像的聚类方法、装置、电子设备和计算机可读介质
CN113420591A (zh) * 2021-05-13 2021-09-21 华东师范大学 基于情感的occ-pad-ocean联邦认知建模方法
CN113762189A (zh) * 2021-09-14 2021-12-07 深圳市南方安创科技有限公司 考勤系统人脸图像优化方法、装置、考勤设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103634680A (zh) * 2013-11-27 2014-03-12 青岛海信电器股份有限公司 一种智能电视的播放控制方法及装置
US20140079297A1 (en) * 2012-09-17 2014-03-20 Saied Tadayon Application of Z-Webs and Z-factors to Analytics, Search Engine, Learning, Recognition, Natural Language, and Other Utilities
CN104881660A (zh) * 2015-06-17 2015-09-02 吉林纪元时空动漫游戏科技股份有限公司 基于gpu加速的人脸表情识别及互动方法
EP3035233A1 (en) * 2014-12-18 2016-06-22 Paul Kobel Assessment method for facial expressions
CN106909896A (zh) * 2017-02-17 2017-06-30 竹间智能科技(上海)有限公司 基于人物性格与人际关系识别的人机交互系统及工作方法
CN108021864A (zh) * 2017-11-02 2018-05-11 平安科技(深圳)有限公司 人物性格分析方法、装置及存储介质
CN108319639A (zh) * 2017-12-20 2018-07-24 北京康得新创科技股份有限公司 服饰搭配的展示方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140079297A1 (en) * 2012-09-17 2014-03-20 Saied Tadayon Application of Z-Webs and Z-factors to Analytics, Search Engine, Learning, Recognition, Natural Language, and Other Utilities
CN103634680A (zh) * 2013-11-27 2014-03-12 青岛海信电器股份有限公司 一种智能电视的播放控制方法及装置
EP3035233A1 (en) * 2014-12-18 2016-06-22 Paul Kobel Assessment method for facial expressions
CN104881660A (zh) * 2015-06-17 2015-09-02 吉林纪元时空动漫游戏科技股份有限公司 基于gpu加速的人脸表情识别及互动方法
CN106909896A (zh) * 2017-02-17 2017-06-30 竹间智能科技(上海)有限公司 基于人物性格与人际关系识别的人机交互系统及工作方法
CN108021864A (zh) * 2017-11-02 2018-05-11 平安科技(深圳)有限公司 人物性格分析方法、装置及存储介质
CN108319639A (zh) * 2017-12-20 2018-07-24 北京康得新创科技股份有限公司 服饰搭配的展示方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HUNG-YUE SUEN 等: "TensorFlow-Based Automatic Personality Recognition Used in Asynchronous Video Interviews", 《IEEE ACCESS》 *
PRASHANT R POLICE PATIL 等: "A General Approach on Facial Feature Extraction and Face Attributes", 《2018 3RD INTERNATIONAL CONFERENCE ON COMPUTATIONAL SYSTEMS AND INFORMATION TECHNOLOGY FOR SUSTAINABLE SOLUTIONS (CSITSS)》 *
聂婕 等: "基于人物图像视觉特征的人物性格隐私分析", 《通信学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751126A (zh) * 2019-10-30 2020-02-04 王安 一种基于人脸特征判断人物性格的分析方法
CN111539925A (zh) * 2020-04-20 2020-08-14 中国科学院物理研究所 一种基于像素分析的锂电池负极析锂定量测试方法
CN111539925B (zh) * 2020-04-20 2023-08-01 中国科学院物理研究所 一种基于像素分析的锂电池负极析锂定量测试方法
CN112749668A (zh) * 2021-01-18 2021-05-04 上海明略人工智能(集团)有限公司 目标图像的聚类方法、装置、电子设备和计算机可读介质
CN113420591A (zh) * 2021-05-13 2021-09-21 华东师范大学 基于情感的occ-pad-ocean联邦认知建模方法
CN113420591B (zh) * 2021-05-13 2023-08-22 华东师范大学 基于情感的occ-pad-ocean联邦认知建模方法
CN113762189A (zh) * 2021-09-14 2021-12-07 深圳市南方安创科技有限公司 考勤系统人脸图像优化方法、装置、考勤设备及存储介质
CN113762189B (zh) * 2021-09-14 2024-03-22 深圳市南方安创科技有限公司 考勤系统人脸图像优化方法、装置、考勤设备及存储介质

Also Published As

Publication number Publication date
CN110110671B (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN110110671A (zh) 一种性格分析方法、装置及电子设备
KR102339915B1 (ko) 셀피를 촬영하도록 사용자를 안내하기 위한 시스템 및 방법
Segalin et al. The pictures we like are our image: continuous mapping of favorite pictures into self-assessed and attributed personality traits
Yao et al. Oscar: On-site composition and aesthetics feedback through exemplars for photographers
KR101140533B1 (ko) 이미지로부터 추정된 피부색에 기초해서 제품을 추천하는 컴퓨터 구현된 방법
EP2481025B1 (en) Estimating aesthetic quality of digital images
Guo et al. Assessment model for perceived visual complexity of painting images
Sartori et al. Who's afraid of itten: Using the art theory of color combination to analyze emotions in abstract paintings
CN104732200B (zh) 一种皮肤类型和皮肤问题的识别方法
Wei et al. How smart does your profile image look? Estimating intelligence from social network profile images
CN107423661A (zh) 获得保养信息的方法、分享保养信息的方法及其电子装置
JP5225870B2 (ja) 情動分析装置
KR20080110064A (ko) 음란성 이미지의 판별 방법과 그 장치
CN111143615B (zh) 一种短视频情感类别的识别装置
CN107392151A (zh) 基于神经网络的人脸影像多维度情感判别系统及方法
CN111008971B (zh) 一种合影图像的美学质量评价方法及实时拍摄指导系统
CN109902912A (zh) 一种基于性格特征的个性化图像美学评价方法
Lienhard et al. How to predict the global instantaneous feeling induced by a facial picture?
KR101343623B1 (ko) 적응적 피부색 검출 방법, 그리고 이를 이용한 얼굴 검출 방법 및 그 장치
TWM592541U (zh) 影像辨識系統
US11699162B2 (en) System and method for generating a modified design creative
CN110543813B (zh) 一种基于场景的人脸画像、目光计数方法及系统
CN112825120A (zh) 人脸光照评价方法、装置、计算机可读存储介质及设备
Lienhard et al. Photo rating of facial pictures based on image segmentation
Zhang et al. An approach of region of interest detection based on visual attention and gaze tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230719

Address after: 6-1, Unit 2, No. 22, Tianba Second Village, Jiulongpo District, Chongqing 400000

Patentee after: Fu Qiuyu

Address before: 400000 building 17, Hengda Dijing, Longmen array Avenue, Zhongliangshan street, Jiulongpo District, Chongqing

Patentee before: Gu Zefeng

Patentee before: Fu Qiuyu

TR01 Transfer of patent right