CN110598546A - 基于图像的目标物生成方法及相关设备 - Google Patents
基于图像的目标物生成方法及相关设备 Download PDFInfo
- Publication number
- CN110598546A CN110598546A CN201910722694.2A CN201910722694A CN110598546A CN 110598546 A CN110598546 A CN 110598546A CN 201910722694 A CN201910722694 A CN 201910722694A CN 110598546 A CN110598546 A CN 110598546A
- Authority
- CN
- China
- Prior art keywords
- image
- portrait
- feature
- features
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000001815 facial effect Effects 0.000 claims abstract description 131
- 210000004709 eyebrow Anatomy 0.000 claims abstract description 70
- 238000013145 classification model Methods 0.000 claims abstract description 57
- 239000011521 glass Substances 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 46
- 238000004590 computer program Methods 0.000 claims description 19
- 238000012795 verification Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 7
- 230000004397 blinking Effects 0.000 description 24
- 230000009471 action Effects 0.000 description 18
- 210000000746 body region Anatomy 0.000 description 11
- 239000000284 extract Substances 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005034 decoration Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 229920000742 Cotton Polymers 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于图像的目标物生成方法及相关设备。所述方法包括：获取包含人物形象的图像；利用训练好的面部动作分类模型识别图像中的人物形象的面部动作特征；根据预设的人像特征从所述图像中确定所述人像特征对应的特征参数，将确定的特征参数与针对所述人像特征预设的阈值进行比较并根据比较结果对所述人物形象的性别特征进行预判得到所述人像特征对应的预判结果，及根据预判结果确定人物形象的性别特征，其中所述人像特征包括眉毛、眼镜或脸部轮廓中至少一者；识别所述图像中的人物形象的服饰特征；及根据识别出的面部动作特征、性别特征及服饰特征确定出目标人物形象供用户选择。
Description
技术领域
本发明涉及计算机动画领域，具体涉及一种基于图像的目标物生成方法及相关设备。
背景技术
现有的人物形象技术能够提供完全虚拟的服饰、场景和人物形象。这些服饰、场景和人物形象的图像由手工绘制，并以静态图像文件、动态图像文件，或者flash、视频、三维动画文件的形式来存储和显示。然而，通过手工绘制生成人物形象不仅费时费力，而且生成的人物形象不够丰富、生动，并且，现有的人物形象生成方式只能是依照已确定的、通过手工绘制成图的形象经过传统的生产流程制作而成，这样一来，大量个性化的、用户期望的人物形象生成需求得不到满足。
发明内容
鉴于以上内容，有必要提出一种基于图像的目标物生成方法、装置、电子设备及存储介质以使根据图像中的人物图像生成人物形象，从而满足用户个性化生成人物形象的需求。
本申请的第一方面提供一种基于图像的目标物生成方法，所述方法包括：
获取包含有人物形象的图像；
利用训练好的面部动作分类模型识别所述图像中的人物形象的面部动作特征；
根据预设的人像特征从所述图像中确定所述人像特征对应的特征参数，将确定的所述特征参数与针对所述人像特征预设的阈值进行比较并根据比较结果对所述人物形象的性别特征进行预判得到所述人像特征对应的预判结果，及根据所述预判结果确定人物形象的性别特征，其中所述人像特征包括眉毛、眼镜或脸部轮廓中至少一者；
识别所述图像中的人物形象的服饰特征；及
根据识别出的所述面部动作特征、所述性别特征及所述服饰特征确定出一个或多个目标人物形象供用户选择。
优选的，所述根据预设的人像特征从所述图像中确定所述人像特征对应的特征参数包括：
当所述人像特征为眉毛时，从所述图像中获取所述人物形象的眉毛长度和眉毛宽度，将所述人物形象的眉毛长度与眉毛宽度的比例确定为所述人像特征对应的特征参数；
当所述人像特征为眼睛时，从所述图像中获取所述人物形象的眉毛到眼睛的距离和眼睛长度，将所述人物形象的眉毛到眼睛的距离与眼睛长度的比例，确定为所述人像特征对应的特征参数；及
当所述人像特征为脸部轮廓时，从所述图像中获取所述人物形象的脸部轮廓线条上的多个关键点；将多个关键点中除位于脸部轮廓线条边缘处的关键点之外的任一关键点设定为第一关键点，针对所述第一关键点，计算所述第一关键点与相邻的两个关键点构成的关键点角度；并将所述关键点角度符合预设角度条件的关键点确定为所述人像特征对应的特征参数。
优选的，所述将确定的所述特征参数与针对所述人像特征预设的阈值进行比较并根据比较结果对所述人物形象的性别特征进行预判得到所述人像特征对应的预判结果包括：
当眉毛对应的特征参数大于眉毛对应的阈值时判断眉毛对应的预判结果为男性，当眉毛对应的特征参数不大于眉毛对应的阈值时判断眉毛对应的预判结果为女性；
当眼睛对应的特征参数小于眼睛对应的阈值时判断眼睛对应的预判结果为男性，当眼睛对应的特征参数不小于眼睛对应的阈值时判断眼睛对应的预判结果为女性；及
当脸部轮廓对应的特征参数大于脸部轮廓对应的阈值时判断脸部轮廓对应的预判结果为男性，当脸部轮廓对应的特征参数不大于脸部轮廓对应的阈值时判断脸部轮廓对应的预判结果为女性。
优选的，所述根据所述预判结果确定人物形象的性别特征包括：
当预设的人像特征只有一个时，将所述人像特征对应的所述预判结果确定为所述用户的性别特征；
当预设的人像特征为多个时时针对每个人像特征预设一占比，其中，所有所述人像特征预设的占比之和为1；
将所述预判结果相同的人像特征对应的占比相加，得到占比之和；及
将数值最大的占比之和对应的所述预判结果确定为人物形象的性别特征。
优选的，所述识别所述图像中的人物形象的服饰特征包括：
根据预先建立的服饰分类模型获取所述图像中服饰穿着区域的信息；
根据预先建立的服饰关键点定位模型对所述图像进行定位关键点的位置标注；
根据所述服饰穿着区域以及定位关键点的位置，提取至少一个所述图像中表示特征区域的图像区域；及
通过区域特征识别模型获取表示所述特征区域的服饰特征，其中，所述区域特征识别模型用于对图像区域进行区域特征识别。
优选的，所述面部动作分类模型的训练过程包括：
获取正样本的面部动作数据及负样本的面部动作数据，并将正样本的面部动作数据标注面部动作特征的类别，以使正样本的面部动作数据携带面部动作特征的类别标签；
将所述正样本的面部动作数据及所述负样本的面部动作数据随机分成第一预设比例的训练集和第二预设比例的验证集，利用所述训练集训练所述面部动作分类模型，并利用所述验证集验证训练后的所述面部动作分类模型的准确率；及
若所述准确率大于或者等于预设准确率时，则结束训练，以训练后的所述面部动作分类模型作为分类器识别所述图像中的面部动作特征的类别；若所述准确率小于预设准确率时，则增加正样本数量及负样本数量以重新训练所述面部动作分类模型直至所述准确率大于或者等于预设准确率。
优选的，所述根据识别出的所述面部动作特征、所述性别特征及所述服饰特征确定出一个或多个目标人物形象供用户选择包括：
根据识别出的面部动作特征、性别特征及服饰特征查找对比关系表确定出与所述面部动作特征、性别特征及服饰特征对应的目标人物形象，其中，所述对应关系表中存储所述面部动作特征、所述性别特征、所述服饰特征及目标人物形象之间的关系。
本申请的第二方面提供一种目标物生成装置，所述装置包括：
图像获取模块，用于获取包含人物形象的图像；
面部特征识别模块，用于利用训练好的面部动作分类模型识别所述图像中的人物形象的面部动作特征；
性别特征确定模块，用于根据预设的人像特征从所述图像中确定所述人像特征对应的特征参数，将确定的所述特征参数与针对所述人像特征预设的阈值进行比较，并根据比较结果对所述人物形象的性别特征进行预判得到所述人像特征对应的预判结果，及根据所述预判结果确定人物形象的性别特征，其中所述人像特征包括眉毛、眼镜或脸部轮廓中至少一者；
服饰特征识别模块，用于识别所述图像中的人物形象的服饰特征；及
推荐模块，用于根据识别出的所述面部动作特征、所述性别特征及所述服饰特征确定出一个或多个目标人物形象供用户选择。
本申请的第三方面提供一种电子设备，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现所述基于图像的目标物生成方法。
本申请的第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于图像的目标物生成方法。
本发明从包含人物形象的图像中，通过图像中人像特征对应的特征参数与预设的人像特征阈值的比较可以较为准确地预判人物形象的性别特征，再结合识别出的面部动作特征、性别特征及服饰特征等多维度的参考信息确定出一个或多个目标人物形象供用户选择，通过上述方式，可随时随地通过人物图像获取对应的人物形象，不仅解决了通过手工绘制生成人物形象费时费力的问题，而且通过多种模型可准确分析出图像中的特征，从而使得生成的目标人物形象丰富、生动，满足用户个性化生成人物形象的需求。
附图说明
图1是本发明一实施方式中基于图像的目标物生成方法的流程图。
图2是本发明一实施方式中基于图像的目标物生成方法的应用环境示意图。
图3是本发明一实施方式中人物形象的脸部轮廓线条上的关键点示意图。
图4是本发明一实施方式中目标物生成装置的结构图。
图5是本发明一实施方式中电子设备的示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
优选地，本发明的基于图像的目标物生成方法应用在一个或者多个电子设备中。所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述电子设备可以是桌上型计算机、笔记本电脑、平板电脑及云端服务器等计算设备。所述设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
实施例1
图1是本发明一实施方式中基于图像的目标物生成方法的流程图。根据不同的需求，所述流程图中步骤的顺序可以改变，某些步骤可以省略。
参阅图1所示，所述服务器访问方法具体包括以下步骤：
步骤S11、获取包含人物形象的图像。
本实施方式中，所述方法应用在用户终端1中。请参考图2，所示为本发明一实施方式中基于图像的目标物生成方法的应用环境示意图。所述用户终端1包括一图像采集单元11。在一实现方式中，所述图像采集单元1可以为2D摄影机或3D摄影机。所述用户终端1通过所述2D摄影机或3D摄影机获取图像。例如，用户终端1通过图像采集单元11对着游戏界面中想要模仿的人物形象进行拍照可获取带有人物形象的图像，或对着用户自己拍照获取带有用户形象的图像。在另一实施方式中，所述用户终端1从本地数据库中或从与所述用户终端1通信连接的服务器2中获取包含有人物形象的图像。本实施方式中，所述用户终端1通过网络3与所述服务器2通信连接。其中，所述网络3可以是有线网络，也可以是无线网络，例如无线电、无线保真(Wireless Fidelity,WIFI)、蜂窝、卫星、广播等。在其他实施方式中，所述用户终端1可以与一外部设备通信连接，并获取外部设备发送的包含有人物形象的图像。所述外部设备可以是笔记本电脑、平板电脑、智能手机等移动装置。
步骤S12、利用训练好的面部动作分类模型识别所述图像中的人物形象的面部动作特征。
本实施方式中，所述用户终端1利用训练好的面部动作分类模型确定图像中人物形象的面部动作。其中，所述面部动作为用户的面部动作特征。在本发明实施方式中，所述面部动作特征的类别包括：眨左眼类别、眨右眼类别、皱眉类别、眨双眼类别、张口类别。本实施方式中，面部动作分类模型包括，但不限于支持向量机(Support Vector Machine，SVM)模型。本实施方式中，将获取的包含有眨左眼、眨右眼、眨双眼、皱眉或张口等面部动作特征的类别的图像作为已训练好的面部动作分类模型的输入，经过面部动作分类模型计算后，输出对应所述图像的面部动作特征的类别。其中，在经过面部动作分类模型计算后将输出的最大概率值所对应的面部动作特征的类别作为所述图像的人物形象的面部动作。
在一实施方式中，所述面部动作分类模型的训练过程包括：
1)获取正样本的面部动作数据及负样本的面部动作数据，并将正样本的面部动作数据标注面部动作特征的类别，以使正样本的面部动作数据携带面部动作特征的类别标签。
例如，分别选取500眨左眼类别、眨右眼类别、皱眉类别、眨双眼类别、张口类别对应的面部动作数据，并对每个面部动作数据标注类别，可以以“1”作为眨左眼的面部动作数据标签，以“2”作为眨右眼的面部动作数据标签，以“3”作为皱眉的面部动作数据标签，以“4”作为眨双眼的面部动作数据标签，以“5”作为张口的面部动作数据标签。
2)将所述正样本的面部动作数据及所述负样本的面部动作数据随机分成第一预设比例的训练集和第二预设比例的验证集，利用所述训练集训练所述面部动作分类模型，并利用所述验证集验证训练后的所述面部动作分类模型的准确率。
先将不同面部动作特征的类别的训练集中的训练样本分发到不同的文件夹里。例如，将眨左眼类别的训练样本分发到第一文件夹里、将眨右眼类别的训练样本分发到第二文件夹里、将皱眉类别的训练样本分发到第三文件夹里、将眨双眼类别训练样本分发到第四文件夹里及将张口类别的训练样本分发到第五文件夹里。然后从不同的文件夹里分别提取第一预设比例(例如，70％)的训练样本作为总的训练样本进行面部动作分类模型的训练，从不同的文件夹里分别取剩余第二预设比例(例如，30％)的训练样本作为总的测试样本对训练完成的面部动作分类模型进行准确性验证。
3)若所述准确率大于或者等于预设准确率时，则结束训练，以训练后的所述面部动作分类模型作为分类器识别所述图像中的面部动作特征的类别；若所述准确率小于预设准确率时，则增加正样本数量及负样本数量以重新训练所述面部动作分类模型直至所述准确率大于或者等于预设准确率。
步骤S13、根据预设的人像特征，从所述图像中确定人像特征对应的特征参数，将确定的特征参数与针对人像特征预设的阈值进行比较并根据比较结果对人物形象的性别特征进行预判得到人像特征对应的预判结果，及根据预判结果确定人物形象的性别特征。
本实施例中，预设的人像特征可以为一个或多个，预设的一个或多个人像特征可以具体包括但不限于眉毛、眼睛或脸部轮廓中至少一者。当预设的人像特征为多个时，分别确定每个人像特征对应的特征参数。本实施方式中，针对不同的人像特征，确定所述人像特征对应的特征参数的过程有所不同。具体的，所述根据预设的人像特征从所述图像中确定人像特征对应的特征参数包括：当人像特征为眉毛时，用户终端1从所述图像中获取人物形象的眉毛长度和眉毛宽度，将所述眉毛长度与眉毛宽度的比例确定为人像特征对应的特征参数。
所述根据预设的人像特征从所述图像中确定人像特征对应的特征参数还包括：当人像特征为眼睛时，用户终端1从所述图像中获取人物形象的眉毛到眼睛的距离和眼睛长度，将所述眉毛到眼睛的距离与眼睛长度的比例，确定为人像特征对应的特征参数。其中，用户终端1获取人物形象的眉毛到眼睛的距离和眼睛长度的方式可采用任意的现有方式。所述根据预设的人像特征从所述图像中确定人像特征对应的特征参数包括：当所述人像特征为脸部轮廓时，从所述图像中获取人物形象的脸部轮廓线条上的多个关键点；将多个关键点中除位于脸部轮廓线条边缘处的关键点之外的任一关键点设定为第一关键点，针对第一关键点，计算所述第一关键点与相邻的两个关键点构成的关键点角度；并将关键点角度符合预设角度条件的关键点确定为所述人像特征对应的特征参数。本实施方式中预设角度条件可根据经验进行设定。例如，预设关键点角度条件可以为角度大于140度。
请参考图3，所示为本发明一实施方式中人物形象的脸部轮廓线条上的关键点示意图。图3中所示的点即为获取到的人物形象的脸部轮廓线条上的关键点。在图3中，除边缘点A点和B点之外的任一一点都可认为是第一关键点。下面以P0点为例进行说明，预设角度条件为角度大于140度。从图3中可知，与P0点相邻的点为P1点和P2点，计算射线L1(P0点到P1点)和射线L2(P0点到P2点)之间的夹角的角度，所述夹角的角度即为以P0点为原点与相邻的两个关键点(P1点和P2点)构成的关键点角度。若所述关键点角度大于140度，则确定所述关键点角度符合预设角度条件，即，确定P0点为角度符合预设关键点角度条件的关键点。
本实施方式中，在确定所述特征参数后，所述用户终端1还将确定的特征参数与针对人像特征预设的阈值进行比较，根据比较结果，对人物形象的性别特征进行预判，得到人像特征对应的预判结果。具体的，用户终端预设人像特征的同时，会针对每个人像特征预设一阈值，所述阈值可根据经验值进行设置。例如，可以将眉毛对应的阈值设置为0.125，将眼睛对应的阈值设置为0.8，将脸部轮廓对应的阈值设置为8。在根据特征参数与针对人像特征预设的阈值的比较结果对人物形象的性别特征进行预判时，也根据经验进行设置。本实施方式中，当眉毛对应的特征参数大于眉毛对应的阈值时判断眉毛对应的预判结果为男性；当眉毛对应的特征参数不大于眉毛对应的阈值时判断眉毛对应的预判结果为女性。当眼睛对应的特征参数小于眼睛对应的阈值时判断眼睛对应的预判结果为男性；当眼睛对应的特征参数不小于眼睛对应的阈值时判断眼睛对应的预判结果为女性。当脸部轮廓对应的特征参数大于脸部轮廓对应的阈值时判断脸部轮廓对应的预判结果为男性；当脸部轮廓对应的特征参数不大于脸部轮廓对应的阈值时判断脸部轮廓对应的预判结果为女性。
本实施方式中，所述根据预判结果确定人物形象的性别特征包括：当预设的人像特征只有一个时，则用户终端1将所述人像特征对应的预判结果确定为所述用户的性别特征；当预设的人像特征为多个时，用户终端1在预设人像特征及人像特征对应的阈值的同时，会针对每个人像特征预设一占比，其中，所有人像特征预设的占比之和为1；将预判结果相同的人像特征对应的占比相加，得到占比之和；将数值最大的占比之和对应的预判结果确定为人物形象的性别特征。例如，预设的人像特征包括：眉毛，眼睛和脸部轮廓。眉毛对应的占比为40％，眼睛对应的占比为30％，脸部轮廓对应的占比为30％。假设，眉毛对应的预判结果为男性，眼睛对应的预判结果为女性，脸部轮廓的预判结果为女性。将预判结果为女性的两个人像特征对应的占比相加，即眼睛对应的占比30％加上脸部轮廓对应的占比30，得到预判结果为女性对应的占比之和为60％，而眉毛对应的占比为40％，也即预判结果为男性对应的占比之和为40％，预判结果为女性对应的占比之和最大，因此可确定所述人物形象的性别特征为女性。
步骤S14、识别所述图像中人物形象的服饰特征。
具体的，识别所述图像中人物形象的服饰特征包括：所述用户终端1根据预先建立的服饰分类模型获取所述图像中服饰穿着区域的信息；根据预先建立的服饰关键点定位模型对所述图像进行定位关键点的位置标注；根据所述服饰穿着区域以及定位关键点的位置，提取至少一个所述图像中表示特征区域的图像区域；及根据与所述特征区域相对应的区域特征识别模型获取表示所述特征区域的服饰特征，其中，所述区域特征识别模型用于对图像区域进行区域特征识别。
本实施方式中，为了从所述图像识别服饰穿着区域，预先训练用于服饰穿着区域分类的服饰分类模型。本实施方式中，所述用户终端1通过预先标注了服饰穿着区域的第一服饰图像训练样本集，训练出用于对图像服饰的穿着区域进行分类的服饰分类模型。本实施方式中，所述服饰分类模型为基于卷积神经网络建立的服饰分类模型。本实施方式中，所述服饰分类模型划分的服饰穿着区域可包括，但不限于，上衣、下装、上下分体全身装和连体装等。
本实施方式中，可通过预先标注了定位关键点以及服饰穿着区域的第二服饰图像训练样本集训练出用于对所述图像定位/标注定位关键点的服饰关键点定位模型。具体的过程为：通过获取已标注服饰穿着区域的样本图像；根据所述样本图像中的服饰穿着区域，对所述样本图像进行定位关键点的标注；利用预设的卷积神经网络参数矩阵对已标注定位关键点的所述样本服饰图像进行训练，得到所述样本服饰图像对应的服饰关键点定位模型。本实施方式中，由于所述服饰分类模型和服饰关键点定位模型涉及的参数特征存在关联，因此可将这两个模型合并为一个，来实现服饰分类和定位关键点的标注。
本实施方式中，用户终端1根据所述服饰穿着区域以及定位关键点的位置，提取至少一个所述图像中表示特征区域的图像区域。具体的，所述特征区域可包括，但不限于，上身区域、下身区域、全身区域、领子区域、胸口区域和袖子区域中的至少一个区域。本实施方式中，根据所述服饰穿着区域确定特征区域。例如，当所述服饰穿着区域为上衣时，所述特征区域包括上身区域，领子区域，胸口区域和袖子区域；又如，当所述服饰穿着区域为裤装时，则所述特征区域为下身区域。本实施方式中，根据定位关键点的位置，提取所述图像中表示特征区域的图像区域。具体的，当所述服饰穿着区域为上衣，可知所述特征区域包括上身区域、领子区域、胸口区域和袖子区域，所述用户终端1根据标注好的五个定位关键点的位置可提取上身区域的图像区域，根据领子处的定位关键点的位置确定并提取领子区域的图像区域，根据左右两肩膀处和左右下摆处的定位关键点的位置确定并提取胸口区域的图像区域，根据左右两肩膀处和左右下摆处的定位关键点的位置确定并提取袖子区域的图像区域。
本实施方式中，在提取出所述图像中表示特征区域的图像区域后，所述用户终端1分别根据与所述特征区域相对应的区域特征识别模型获取表示所述特征区域的服饰特征。具体的，所述用户终端1分别将提取的各图像区域输入所述图像区域表示的特征区域相对应的区域特征识别模型，以获取所述特征区域服饰特征。其中，所述服饰特征可包括服饰类别和/或特征区域的属性的信息。
本实施方式中，当所述图像被识别为上衣时则向上身区域相对应的区域特征识别模型输入上身区域的图像区域，得到上身区域的服饰类别如T恤、衬衫等信息；向领子区域相对应的区域特征识别模型输入表示领子区域的图像区域，得到领子区域的属性，如领型信息；依次类推，将得到胸口区域的属性(颜色、款式等)信息和袖子区域的属性(袖型、袖长等)信息。又如，对于所述图像中的服饰穿着区域为下装的情形，则向下身区域相对应的区域特征识别模型输入表示下身区域的图像区域，得到下身区域的服饰类别(牛仔裤、休闲裤等)和服饰属性(裤型、衣长等)信息。
本实施方式中，识别的所述服饰类别可以是，但不限于，衬衫、T恤、棉衣、西装、连体装、牛仔裤、休闲裤、短裤、秋衣、礼服等。识别的所述特征区域的属性包括衣型、裙型、裤型、领型、袖型、衣长、裙长、裤长和袖长中的至少一个。可以理解，所述特征区域的属性还可以包括其他属性，例如可以是颜色等。其中，每个属性都有自己的属性值。
步骤S15、根据识别出的面部动作特征、性别特征及服饰特征确定出一个或多个目标人物形象供用户选择。
本实施方式中，所述用户终端中1存储有面部动作特征、性别特征、服饰特征及目标人物形象之间的关系的对应关系表。当用户终端1识别出面部动作特征、性别特征及服饰特征后查找所述对比关系表确定出与所述面部动作特征、性别特征及服饰特征对应的目标人物形象，并将所述目标人物形象显示在用户终端1上供用户选择，从而可以根据从图像中识别出来的人物形象的面部特征、性别特征及服饰特征向用户推荐与所述图像的人物形象相似的目标人物形象，不仅解决了通过手工绘制生成人物形象费时费力的问题，而且使得生成的目标人物形象丰富、生动，满足用户个性化生成人物形象的需求。
实施例2
图4为本发明一实施方式中目标物生成装置30的结构图。
在一些实施例中，所述目标物生成装置30运行于电子设备中。所述目标物生成装置30可以包括多个由程序代码段所组成的功能模块。所述目标物生成装置30中的各个程序段的程序代码可以存储于存储器中，并由至少一个处理器所执行，以执行人物形象的推荐功能。
本实施例中，所述电子设备的目标物生成装置30根据其所执行的功能，可以被划分为多个功能模块。参阅图4所示，所述目标物生成装置30可以包括图像获取模块301、面部特征识别模块302、性别特征确定模块303、服饰特征识别模块304及推荐模块305。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在一些实施例中，关于各模块的功能将在后续的实施例中详述。
所述图像获取模块301用于获取包含人物形象的图像。
所述面部特征识别模块302用于利用训练好的面部动作分类模型识别所述图像中的人物形象的面部动作特征。
本实施方式中，所述面部特征识别模块302利用训练好的面部动作分类模型确定图像中人物形象的面部动作。其中，所述面部动作为用户的面部动作特征。在本发明实施方式中，所述面部动作特征的类别包括：眨左眼类别、眨右眼类别、皱眉类别、眨双眼类别、张口类别。本实施方式中，面部动作分类模型包括，但不限于支持向量机(Support VectorMachine，SVM)模型。本实施方式中，将获取的包含有眨左眼、眨右眼、眨双眼、皱眉或张口等面部动作特征的类别的图像作为已训练好的面部动作分类模型的输入，经过面部动作分类模型计算后，输出对应所述图像的面部动作特征的类别。其中，在经过面部动作分类模型计算后将输出的最大概率值所对应的面部动作特征的类别作为所述图像的人物形象的面部动作。
在一实施方式中，所述面部动作分类模型的训练过程包括：
1)获取正样本的面部动作数据及负样本的面部动作数据，并将正样本的面部动作数据标注面部动作特征的类别，以使正样本的面部动作数据携带面部动作特征的类别标签。
例如，分别选取500眨左眼类别、眨右眼类别、皱眉类别、眨双眼类别、张口类别对应的面部动作数据，并对每个面部动作数据标注类别，可以以“1”作为眨左眼的面部动作数据标签，以“2”作为眨右眼的面部动作数据标签，以“3”作为皱眉的面部动作数据标签，以“4”作为眨双眼的面部动作数据标签，以“5”作为张口的面部动作数据标签。
2)将所述正样本的面部动作数据及所述负样本的面部动作数据随机分成第一预设比例的训练集和第二预设比例的验证集，利用所述训练集训练所述面部动作分类模型，并利用所述验证集验证训练后的所述面部动作分类模型的准确率。
先将不同面部动作特征的类别的训练集中的训练样本分发到不同的文件夹里。例如，将眨左眼类别的训练样本分发到第一文件夹里、将眨右眼类别的训练样本分发到第二文件夹里、将皱眉类别的训练样本分发到第三文件夹里、将眨双眼类别训练样本分发到第四文件夹里及将张口类别的训练样本分发到第五文件夹里。然后从不同的文件夹里分别提取第一预设比例(例如，70％)的训练样本作为总的训练样本进行面部动作分类模型的训练，从不同的文件夹里分别取剩余第二预设比例(例如，30％)的训练样本作为总的测试样本对训练完成的面部动作分类模型进行准确性验证。
3)若所述准确率大于或者等于预设准确率时，则结束训练，以训练后的所述面部动作分类模型作为分类器识别所述图像中的面部动作特征的类别；若所述准确率小于预设准确率时，则增加正样本数量及负样本数量以重新训练所述面部动作分类模型直至所述准确率大于或者等于预设准确率。
所述性别特征确定模块303用于根据预设的人像特征，从所述图像中确定人像特征对应的特征参数，将确定的特征参数与针对人像特征预设的阈值进行比较并根据比较结果对人物形象的性别特征进行预判得到人像特征对应的预判结果，及根据预判结果确定人物形象的性别特征。
本实施例中，预设的人像特征可以为一个或多个，预设的一个或多个人像特征可以具体包括但不限于眉毛、眼睛或脸部轮廓中至少一者。当预设的人像特征为多个时，分别确定每个人像特征对应的特征参数。本实施方式中，针对不同的人像特征，确定所述人像特征对应的特征参数的过程有所不同。具体的，所述根据预设的人像特征从所述图像中确定人像特征对应的特征参数包括：当人像特征为眉毛时，所述性别特征确定模块303从所述图像中获取人物形象的眉毛长度和眉毛宽度，将所述眉毛长度与眉毛宽度的比例确定为人像特征对应的特征参数。
所述根据预设的人像特征从所述图像中确定人像特征对应的特征参数还包括：当人像特征为眼睛时，所述性别特征确定模块303从所述图像中获取人物形象的眉毛到眼睛的距离和眼睛长度，将所述眉毛到眼睛的距离与眼睛长度的比例，确定为人像特征对应的特征参数。所述根据预设的人像特征从所述图像中确定人像特征对应的特征参数包括：当所述人像特征为脸部轮廓时，从所述图像中获取人物形象的脸部轮廓线条上的多个关键点；将多个关键点中除位于脸部轮廓线条边缘处的关键点之外的任一关键点设定为第一关键点，针对第一关键点，计算所述第一关键点与相邻的两个关键点构成的关键点角度；并将关键点角度符合预设角度条件的关键点确定为所述人像特征对应的特征参数。本实施方式中预设角度条件可根据经验进行设定。例如，预设关键点角度条件可以为角度大于140度。
本实施方式中，在确定所述特征参数后，所述性别特征确定模块303还将确定的特征参数与针对人像特征预设的阈值进行比较，根据比较结果，对人物形象的性别特征进行预判，得到人像特征对应的预判结果。具体的，所述性别特征确定模块303预设人像特征的同时，会针对每个人像特征预设一阈值，所述阈值可根据经验值进行设置。例如，可以将眉毛对应的阈值设置为0.125，将眼睛对应的阈值设置为0.8，将脸部轮廓对应的阈值设置为8。在根据特征参数与针对人像特征预设的阈值的比较结果对人物形象的性别特征进行预判时，也根据经验进行设置。本实施方式中，当眉毛对应的特征参数大于眉毛对应的阈值时判断眉毛对应的预判结果为男性；当眉毛对应的特征参数不大于眉毛对应的阈值时判断眉毛对应的预判结果为女性。当眼睛对应的特征参数小于眼睛对应的阈值时判断眼睛对应的预判结果为男性；当眼睛对应的特征参数不小于眼睛对应的阈值时判断眼睛对应的预判结果为女性。当脸部轮廓对应的特征参数大于脸部轮廓对应的阈值时判断脸部轮廓对应的预判结果为男性；当脸部轮廓对应的特征参数不大于脸部轮廓对应的阈值时判断脸部轮廓对应的预判结果为女性。
本实施方式中，所述根据预判结果确定人物形象的性别特征包括：当预设的人像特征只有一个时，将所述人像特征对应的预判结果确定为所述用户的性别特征；当预设的人像特征为多个时，所述性别特征确定模块303在预设人像特征及人像特征对应的阈值的同时，会针对每个人像特征预设一占比，其中，所有人像特征预设的占比之和为1；将预判结果相同的人像特征对应的占比相加，得到占比之和；将数值最大的占比之和对应的预判结果确定为人物形象的性别特征。例如，预设的人像特征包括：眉毛，眼睛和脸部轮廓。眉毛对应的占比为40％，眼睛对应的占比为30％，脸部轮廓对应的占比为30％。假设，眉毛对应的预判结果为男性，眼睛对应的预判结果为女性，脸部轮廓的预判结果为女性。将预判结果为女性的两个人像特征对应的占比相加，即眼睛对应的占比30％加上脸部轮廓对应的占比30，得到预判结果为女性对应的占比之和为60％，而眉毛对应的占比为40％，也即预判结果为男性对应的占比之和为40％，预判结果为女性对应的占比之和最大，因此可确定所述人物形象的性别特征为女性。
所述服饰特征识别模块304用于识别所述图像中人物形象的服饰特征。
具体的，识别所述图像中人物形象的服饰特征包括：根据预先建立的服饰分类模型获取所述图像中服饰穿着区域的信息；根据预先建立的服饰关键点定位模型对所述图像进行定位关键点的位置标注；根据所述服饰穿着区域以及定位关键点的位置，提取至少一个所述图像中表示特征区域的图像区域；及根据与所述特征区域相对应的区域特征识别模型获取表示所述特征区域的服饰特征，其中，所述区域特征识别模型用于对图像区域进行区域特征识别。
本实施方式中，为了从所述图像识别服饰穿着区域，预先训练用于服饰穿着区域分类的服饰分类模型。本实施方式中，所述服饰特征识别模块304通过预先标注了服饰穿着区域的第一服饰图像训练样本集，训练出用于对图像服饰的穿着区域进行分类的服饰分类模型。本实施方式中，所述服饰分类模型为基于卷积神经网络建立的服饰分类模型。本实施方式中，所述服饰分类模型划分的服饰穿着区域可包括，但不限于，上衣、下装、上下分体全身装和连体装等。
本实施方式中，可通过预先标注了定位关键点以及服饰穿着区域的第二服饰图像训练样本集训练出用于对所述图像定位/标注定位关键点的服饰关键点定位模型。具体的过程为：通过获取已标注服饰穿着区域的样本图像；根据所述样本图像中的服饰穿着区域，对所述样本图像进行定位关键点的标注；利用预设的卷积神经网络参数矩阵对已标注定位关键点的所述样本服饰图像进行训练，得到所述样本服饰图像对应的服饰关键点定位模型。本实施方式中，由于所述服饰分类模型和服饰关键点定位模型涉及的参数特征存在关联，因此可将这两个模型合并为一个，来实现服饰分类和定位关键点的标注。
本实施方式中，所述服饰特征识别模块304根据所述服饰穿着区域以及定位关键点的位置，提取至少一个所述图像中表示特征区域的图像区域。具体的，所述特征区域可包括，但不限于，上身区域、下身区域、全身区域、领子区域、胸口区域和袖子区域中的至少一个区域。本实施方式中，根据所述服饰穿着区域确定特征区域。例如，当所述服饰穿着区域为上衣时，所述特征区域包括上身区域，领子区域，胸口区域和袖子区域；又如，当所述服饰穿着区域为裤装时，则所述特征区域为下身区域。本实施方式中，根据定位关键点的位置，提取所述图像中表示特征区域的图像区域。具体的，当所述服饰穿着区域为上衣，可知所述特征区域包括上身区域、领子区域、胸口区域和袖子区域，所述服饰特征识别模块304根据标注好的五个定位关键点的位置可提取上身区域的图像区域，根据领子处的定位关键点的位置确定并提取领子区域的图像区域，根据左右两肩膀处和左右下摆处的定位关键点的位置确定并提取胸口区域的图像区域，根据左右两肩膀处和左右下摆处的定位关键点的位置确定并提取袖子区域的图像区域。
本实施方式中，在提取出所述图像中表示特征区域的图像区域后，所述服饰特征识别模块304分别根据与所述特征区域相对应的区域特征识别模型获取表示所述特征区域的服饰特征。具体的，所述服饰特征识别模块304分别将提取的各图像区域输入所述图像区域表示的特征区域相对应的区域特征识别模型，以获取所述特征区域服饰特征。其中，所述服饰特征可包括服饰类别和/或特征区域的属性的信息。
所述推荐模块305用于根据识别出的面部动作特征、性别特征及服饰特征确定出一个或多个目标人物形象供用户选择。
本实施方式中，所述用户终端1中存储有面部动作特征、性别特征、服饰特征及目标人物形象之间的关系的对应关系表。当识别出面部动作特征、性别特征及服饰特征后，所述推荐模块305查找所述对比关系表确定出与所述面部动作特征、性别特征及服饰特征对应的目标人物形象，并将所述目标人物形象显示在用户终端1上供用户选择，从而可以根据从图像中识别出来的人物形象的面部特征、性别特征及服饰特征向用户推荐与所述图像的人物形象相似的目标人物形象，满足用户生成个性化人物形象的需求。
实施例3
图5是本发明一实施方式中电子设备的示意图。
所述电子设备7包括存储器71、处理器72以及存储在所述存储器71中并可在所述处理器72上运行的计算机程序73。所述处理器72执行所述计算机程序73时实现上述基于图像的目标物生成方法实施例中的步骤，例如图1所示的步骤S11～S15。或者，所述处理器72执行所述计算机程序73时实现上述目标物生成装置实施例中各模块/单元的功能，例如图4中的模块301～305。
示例性的，所述计算机程序73可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器71中，并由所述处理器72执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，所述指令段用于描述所述计算机程序73在所述电子设备7中的执行过程。例如，所述计算机程序73可以被分割成图4中的图像获取模块301、面部特征识别模块302、性别特征确定模块303、服饰特征识别模块304及推荐模块305，各模块具体功能参见实施例二。
所述电子设备7与用户终端1为同一装置。在一实施方式中，所述电子设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。本领域技术人员可以理解，所述示意图仅仅是电子设备7的示例，并不构成对电子设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备7还可以包括输入输出设备、网络接入设备、总线等。
所称处理器72可以是中央处理模块(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者所述处理器72也可以是任何常规的处理器等，所述处理器72是所述电子设备7的控制中心，利用各种接口和线路连接整个电子设备7的各个部分。
所述存储器71可用于存储所述计算机程序73和/或模块/单元，所述处理器72通过运行或执行存储在所述存储器71内的计算机程序和/或模块/单元，以及调用存储在存储器71内的数据，实现所述计电子设备7的各种功能。所述存储器71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备7的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述电子设备7集成的模块/单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，所述计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包括的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
在本发明所提供的几个实施例中，应该理解到，所揭露的电子设备和方法，可以通过其它的方式实现。例如，以上所描述的电子设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
另外，在本发明各个实施例中的各功能模块可以集成在相同处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在相同模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他模块或步骤，单数不排除复数。电子设备权利要求中陈述的多个模块或电子设备也可以由同一个模块或电子设备通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种基于图像的目标物生成方法，其特征在于，所述方法包括：
获取包含人物形象的图像；
利用训练好的面部动作分类模型识别所述图像中的人物形象的面部动作特征；
根据预设的人像特征从所述图像中确定所述人像特征对应的特征参数，将确定的所述特征参数与针对所述人像特征预设的阈值进行比较，并根据比较结果对所述人物形象的性别特征进行预判得到所述人像特征对应的预判结果，及根据所述预判结果确定人物形象的性别特征，其中所述人像特征包括眉毛、眼镜或脸部轮廓中至少一者；
识别所述图像中的人物形象的服饰特征；及
根据识别出的所述面部动作特征、所述性别特征及所述服饰特征确定出一个或多个目标人物形象供用户选择。
2.如权利要求1所述的基于图像的目标物生成方法，其特征在于，所述根据预设的人像特征从所述图像中确定所述人像特征对应的特征参数包括：
当所述人像特征为眉毛时，从所述图像中获取所述人物形象的眉毛长度和眉毛宽度，将所述人物形象的眉毛长度与眉毛宽度的比例确定为所述人像特征对应的特征参数；
当所述人像特征为眼睛时，从所述图像中获取所述人物形象的眉毛到眼睛的距离和眼睛长度，将所述人物形象的眉毛到眼睛的距离与眼睛长度的比例，确定为所述人像特征对应的特征参数；及
当所述人像特征为脸部轮廓时，从所述图像中获取所述人物形象的脸部轮廓线条上的多个关键点；将多个关键点中除位于脸部轮廓线条边缘处的关键点之外的任一关键点设定为第一关键点，针对所述第一关键点，计算所述第一关键点与相邻的两个关键点构成的关键点角度；并将所述关键点角度符合预设角度条件的关键点确定为所述人像特征对应的特征参数。
3.如权利要求2所述的基于图像的目标物生成方法，其特征在于，所述将确定的所述特征参数与针对所述人像特征预设的阈值进行比较并根据比较结果对所述人物形象的性别特征进行预判得到所述人像特征对应的预判结果包括：
当眉毛对应的特征参数大于眉毛对应的阈值时判断眉毛对应的预判结果为男性，当眉毛对应的特征参数不大于眉毛对应的阈值时判断眉毛对应的预判结果为女性；
当眼睛对应的特征参数小于眼睛对应的阈值时判断眼睛对应的预判结果为男性，当眼睛对应的特征参数不小于眼睛对应的阈值时判断眼睛对应的预判结果为女性；及
当脸部轮廓对应的特征参数大于脸部轮廓对应的阈值时判断脸部轮廓对应的预判结果为男性，当脸部轮廓对应的特征参数不大于脸部轮廓对应的阈值时判断脸部轮廓对应的预判结果为女性。
4.如权利要求2所述的基于图像的目标物生成方法，其特征在于，所述根据所述预判结果确定人物形象的性别特征包括：
当预设的人像特征只有一个时，将所述人像特征对应的所述预判结果确定为所述用户的性别特征；
当预设的人像特征为多个时针对每个人像特征预设一占比，其中，所有所述人像特征预设的占比之和为1；
将所述预判结果相同的人像特征对应的占比相加，得到占比之和；及
将数值最大的占比之和对应的所述预判结果确定为人物形象的性别特征。
5.如权利要求1所述的基于图像的目标物生成方法，其特征在于，所述识别所述图像中的人物形象的服饰特征包括：
根据预先建立的服饰分类模型获取所述图像中服饰穿着区域的信息；
根据预先建立的服饰关键点定位模型对所述图像进行定位关键点的位置标注；
根据所述服饰穿着区域以及定位关键点的位置，提取至少一个所述图像中表示特征区域的图像区域；及
通过区域特征识别模型获取表示所述特征区域的服饰特征，其中，所述区域特征识别模型用于对图像区域进行区域特征识别。
6.如权利要求1所述的基于图像的目标物生成方法，其特征在于，所述面部动作分类模型的训练过程包括：
获取正样本的面部动作数据及负样本的面部动作数据，并将正样本的面部动作数据标注面部动作特征的类别，以使正样本的面部动作数据携带面部动作特征的类别标签；
将所述正样本的面部动作数据及所述负样本的面部动作数据随机分成第一预设比例的训练集和第二预设比例的验证集，利用所述训练集训练所述面部动作分类模型，并利用所述验证集验证训练后的所述面部动作分类模型的准确率；及
若所述准确率大于或者等于预设准确率时，则结束训练，以训练后的所述面部动作分类模型作为分类器识别所述图像中的面部动作特征的类别；若所述准确率小于预设准确率时，则增加正样本数量及负样本数量以重新训练所述面部动作分类模型直至所述准确率大于或者等于预设准确率。
7.如权利要求1所述的基于图像的目标物生成方法，其特征在于，所述根据识别出的所述面部动作特征、所述性别特征及所述服饰特征确定出一个或多个目标人物形象供用户选择包括：
根据识别出的所述面部动作特征、所述性别特征及所述服饰特征查找对比关系表确定出与所述面部动作特征、性别特征及服饰特征对应的目标人物形象，其中，所述对应关系表中存储所述面部动作特征、所述性别特征、所述服饰特征及目标人物形象之间的关系。
8.一种目标物生成装置，其特征在于，所述装置包括：
图像获取模块，用于获取包含人物形象的图像；
面部特征识别模块，用于利用训练好的面部动作分类模型识别所述图像中的人物形象的面部动作特征；
性别特征确定模块，用于根据预设的人像特征从所述图像中确定所述人像特征对应的特征参数，将确定的所述特征参数与针对所述人像特征预设的阈值进行比较，并根据比较结果对所述人物形象的性别特征进行预判得到所述人像特征对应的预判结果，及根据所述预判结果确定人物形象的性别特征，其中所述人像特征包括眉毛、眼镜或脸部轮廓中至少一者；
服饰特征识别模块，用于识别所述图像中的人物形象的服饰特征；及
推荐模块，用于根据识别出的所述面部动作特征、所述性别特征及所述服饰特征确定出一个或多个目标人物形象供用户选择。
9.一种电子设备，其特征在于：所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-7中任一项所述基于图像的目标物生成方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述基于图像的目标物生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910722694.2A CN110598546B (zh) | 2019-08-06 | 2019-08-06 | 基于图像的目标物生成方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910722694.2A CN110598546B (zh) | 2019-08-06 | 2019-08-06 | 基于图像的目标物生成方法及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110598546A true CN110598546A (zh) | 2019-12-20 |
| CN110598546B CN110598546B (zh) | 2024-06-28 |
Family
ID=68853521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910722694.2A Active CN110598546B (zh) | 2019-08-06 | 2019-08-06 | 基于图像的目标物生成方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110598546B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020070945A1 (en) * | 2000-12-08 | 2002-06-13 | Hiroshi Kage | Method and device for generating a person's portrait, method and device for communications, and computer product |
| CN104637035A (zh) * | 2015-02-15 | 2015-05-20 | 百度在线网络技术（北京）有限公司 | 生成卡通人脸图片的方法、装置及系统 |
| CN105469087A (zh) * | 2015-07-13 | 2016-04-06 | 百度在线网络技术（北京）有限公司 | 识别服饰图片的方法、服饰图片的标注方法及装置 |
| CN106446821A (zh) * | 2016-09-20 | 2017-02-22 | 北京金山安全软件有限公司 | 一种识别用户性别的方法、装置及电子设备 |
| CN107862292A (zh) * | 2017-11-15 | 2018-03-30 | 平安科技（深圳）有限公司 | 人物情绪分析方法、装置及存储介质 |
| CN108596839A (zh) * | 2018-03-22 | 2018-09-28 | 中山大学 | 一种基于深度学习的人脸漫画生成方法及其装置 |
| CN109308682A (zh) * | 2018-10-18 | 2019-02-05 | 杭州数为科技有限公司 | 一种人脸识别与卡通还原方法、装置、介质及系统 |
-
2019
- 2019-08-06 CN CN201910722694.2A patent/CN110598546B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020070945A1 (en) * | 2000-12-08 | 2002-06-13 | Hiroshi Kage | Method and device for generating a person's portrait, method and device for communications, and computer product |
| CN104637035A (zh) * | 2015-02-15 | 2015-05-20 | 百度在线网络技术（北京）有限公司 | 生成卡通人脸图片的方法、装置及系统 |
| CN105469087A (zh) * | 2015-07-13 | 2016-04-06 | 百度在线网络技术（北京）有限公司 | 识别服饰图片的方法、服饰图片的标注方法及装置 |
| CN106446821A (zh) * | 2016-09-20 | 2017-02-22 | 北京金山安全软件有限公司 | 一种识别用户性别的方法、装置及电子设备 |
| CN107862292A (zh) * | 2017-11-15 | 2018-03-30 | 平安科技（深圳）有限公司 | 人物情绪分析方法、装置及存储介质 |
| CN108596839A (zh) * | 2018-03-22 | 2018-09-28 | 中山大学 | 一种基于深度学习的人脸漫画生成方法及其装置 |
| CN109308682A (zh) * | 2018-10-18 | 2019-02-05 | 杭州数为科技有限公司 | 一种人脸识别与卡通还原方法、装置、介质及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110598546B (zh) | 2024-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109359538B (zh) | 卷积神经网络的训练方法、手势识别方法、装置及设备 | |
| CN109670591B (zh) | 一种神经网络的训练方法及图像匹配方法、装置 | |
| CN107633207B (zh) | Au特征识别方法、装置及存储介质 | |
| US10109051B1 (en) | Item recommendation based on feature match | |
| CN105374055B (zh) | 图像处理方法及装置 | |
| CN109409994A (zh) | 模拟用户穿戴服装饰品的方法、装置和系统 | |
| CN106127181B (zh) | 一种虚拟试戴美甲的方法、系统 | |
| CN108229559B (zh) | 服饰检测方法、装置、电子设备、程序和介质 | |
| CN107633206B (zh) | 眼球动作捕捉方法、装置及存储介质 | |
| CN109614925A (zh) | 服饰属性识别方法和装置、电子设备、存储介质 | |
| CN111767817B (zh) | 一种服饰搭配方法、装置、电子设备及存储介质 | |
| CN105426462A (zh) | 一种基于图像元素的图像搜索方法和装置 | |
| EP3591580A1 (en) | Method and device for recognizing descriptive attributes of appearance feature | |
| CN111862116A (zh) | 动漫人像的生成方法及装置、存储介质、计算机设备 | |
| KR20200141375A (ko) | 영상데이터의 외형서술데이터 획득 방법, 장치 및 프로그램 | |
| CN102567716A (zh) | 一种人脸合成系统及实现方法 | |
| US20200320118A1 (en) | Feature-based search | |
| CN113392741A (zh) | 视频片段提取方法、装置、电子设备及存储介质 | |
| Mahmood et al. | A Comparative study of a new hand recognition model based on line of features and other techniques | |
| CN110909746A (zh) | 一种服饰推荐方法、相关装置和设备 | |
| Zhan et al. | Pose-normalized and appearance-preserved street-to-shop clothing image generation and feature learning | |
| CN114723860A (zh) | 虚拟形象的生成方法、装置、设备及存储介质 | |
| JP2014229129A (ja) | 組み合わせ提示装置及びコンピュータプログラム | |
| CN111126179A (zh) | 信息的获取方法和装置、存储介质和电子装置 | |
| CN112395999A (zh) | 基于图像识别的穿戴规范判定方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |