CN110070481A - 用于面部的虚拟物品的图像生成方法、装置、终端及存储介质 - Google Patents

用于面部的虚拟物品的图像生成方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN110070481A
CN110070481A CN201910190013.2A CN201910190013A CN110070481A CN 110070481 A CN110070481 A CN 110070481A CN 201910190013 A CN201910190013 A CN 201910190013A CN 110070481 A CN110070481 A CN 110070481A
Authority
CN
China
Prior art keywords
information
article
face
identified
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910190013.2A
Other languages
English (en)
Other versions
CN110070481B (zh
Inventor
曹占魁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kwai Technology Co.,Ltd.
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201910190013.2A priority Critical patent/CN110070481B/zh
Publication of CN110070481A publication Critical patent/CN110070481A/zh
Application granted granted Critical
Publication of CN110070481B publication Critical patent/CN110070481B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种用于面部的虚拟物品的图像生成方法、装置、终端及存储介质,属于增强现实技术领域。该方法包括:获取待识别图像信息;根据待识别图像信息和预先确定的物品设置规则,确定待放置物品的目标位置信息;根据目标位置信息,结合增强现实功能,生成目标图像,该目标图像包括装饰有待放置物品的待识别面部的图像。因此,根据预设的物品设置规则,对待放置物品的目标位置信息进行优化,使得该待放置物品与待识别面部的边缘对齐,进而提升成像效果的逼真度。

Description

用于面部的虚拟物品的图像生成方法、装置、终端及存储介质
技术领域
本发明属于增强现实技术领域,特别是涉及一种用于面部的虚拟物品的图像生成方法、装置、终端及存储介质。
背景技术
随着技术的发展,具有增强现实(英文:Augmented Reality,缩写:AR)功能的终端被广泛应用,通过该终端的摄像装置采集用户的全身或脸部图像,以在添加虚拟产品后对应生成虚拟画面供用户查看并进行后续选择或者替换,如手机自拍、智能试衣镜等。
在现有技术中,根据AR功能,通过添加虚拟物品,例如是虚拟饰品后的成像,是基于对虚拟饰品预设的放置规则而进行的。在所采集的用户的人脸图像的相关位置和角度均与用于生成放置规则的条件(角度和位置)一致时,虚拟饰品会与成像后的人脸图像较为贴合,成像结果逼真。但是,通常无法完全保持与用于生成放置规则的条件一致,在人脸图像与放置规则存在一定角度或者位置有所偏差时,虚拟饰品与人脸图像之间会出现缝隙或重叠的问题,无法实现图像的逼真效果。
发明内容
有鉴于此,本发明提供一种用于面部的虚拟物品的图像生成方法、装置、终端及存储介质,以便解决现有技术中虚拟物品与面部贴合度较低,成像效果差的问题。
依据本发明实施例的第一方面,提供了一种用于面部的虚拟物品的图像生成方法,应用于具有增强现实功能的终端,该方法可以包括:
获取待识别图像信息,所述待识别图像信息包括待识别面部的图像;
根据所述待识别图像信息和预先确定的物品设置规则,确定待放置物品的目标位置信息,所述待放置物品包括将对所述待识别面部进行装饰的一个或者多个虚拟物品,所述目标位置信息包括与所述待识别面部的边缘对齐的所述待放置物品的位置信息;
根据所述目标位置信息,结合所述增强现实功能,生成目标图像,所述目标图像包括装饰有所述待放置物品的所述待识别面部的图像。
依据本发明实施例的第二方面,提供了一种用于面部的虚拟物品的图像生成装置,应用于具有增强现实功能的终端,该装置可以包括:
信息获取模块,用于获取待识别图像信息,所述待识别图像信息包括待识别面部的图像;
信息确定模块,用于根据所述待识别图像信息和预先确定的物品设置规则,确定待放置物品的目标位置信息,所述待放置物品包括将对所述待识别面部进行装饰的一个或者多个虚拟物品,所述目标位置信息包括与所述待识别面部的边缘对齐的所述待放置物品的位置信息;
图像生成模块,用于根据所述目标位置信息,结合所述增强现实功能,生成目标图像,所述目标图像包括装饰有所述待放置物品的所述待识别面部的图像。
根据本发明实施例的第三方面,提供一种终端,所述终端包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行第一方面任一项所述的用于面部的虚拟物品的图像生成方法。
根据本发明实施例的第四方面,提供一种非临时性计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行第一方面中任一项所述的用于面部的虚拟物品的图像生成方法。
针对在先技术,本发明具备如下优点:
获取待识别图像信息,所述待识别图像信息包括待识别面部的图像;根据所述待识别图像信息和预先确定的物品设置规则,确定待放置物品的目标位置信息,所述待放置物品包括将对所述待识别面部进行装饰的一个或者多个虚拟物品,所述目标位置信息包括与所述待识别面部的边缘对齐的所述待放置物品的位置信息;根据所述目标位置信息,结合所述增强现实功能,生成目标图像,目标图像包括装饰有待放置物品的所述待识别面部的图像。因此,能够根据预设的物品设置规则,对待放置物品的目标位置信息进行优化,使得该待放置物品与待识别面部的边缘对齐,进而提升成像效果的逼真度。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是本发明实施例提供的一种用于面部的虚拟物品的图像生成方法的步骤流程图;
图2是本发明实施例提供的一种用于面部的虚拟物品的图像生成方法的具体步骤流程图;
图3是本发明实施例提供的一种用于面部的虚拟物品的图像生成方法的具体步骤流程图;
图4是本发明实施例提供的一种关键点信息的示意图;
图5是本发明实施例提供的一种用于面部的虚拟物品的图像生成方法的具体步骤流程图;
图6是本发明实施例提供的一种用于面部的虚拟物品的图像生成方法的具体步骤流程图;
图7是本发明实施例提供的一种用于面部的虚拟物品的图像生成方法的具体步骤流程图;
图8是本发明实施例提供的第一位置点和第二位置点示意图;
图9是本发明实施例提供的一种用于面部的虚拟物品的图像生成装置的框图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
图1是本发明实施例提供的一种用于面部的虚拟物品的图像生成方法的步骤流程图,如图1所示,应用于具有增强现实功能的终端,该方法可以包括:
步骤101,获取待识别图像信息。
其中,待识别图像信息包括待识别面部的图像。
示例地,增强现实技术是通过计算机系统提供的信息增加用户对现实世界感知的技术,将虚拟的信息应用到真实世界,并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中,从而实现对现实的增强。在视觉化的增强现实中,可以将真实世界与电脑图形多重合成在一起。因此,终端需要首先获取包括待识别面部的图像以作为待识别图像信息,便于下面步骤进行操作。需要说明的是,本发明所涉及的技术方案优选的应用于人脸,下面的实施例中将以人脸为例进行说明。
步骤102,根据待识别图像信息和预先确定的物品设置规则,确定待放置物品的目标位置信息。
其中,待放置物品包括将对待识别面部进行装饰的一个或者多个虚拟物品,目标位置信息包括与待识别面部的边缘对齐的待放置物品的位置信息。
示例地,待放置物品是任意可放置在待识别面部上的物品,例如帽子、耳环、面具等,且不仅限于对于人脸的装饰,也可以是对于动物的装饰。物品设置规则用于说明根据待放置物品所设置的放置位置,例如帽子在面部的上方,耳环在耳朵上,面具覆盖人脸的部分或者全部区域等,在基于上述步骤所获取到的待识别图像信息,将待放置物品放置在根据物品设置规则所确定的初始位置后,对该初始位置进行优化,例如将本应在面部区域外侧的,但其初始位置位于待识别面部的内侧的待放置物品所对应的点,转移到待识别面部的边缘曲线上,防止出现重叠的情况,以达到成像的逼真效果。
步骤103,根据目标位置信息,结合增强现实功能,生成目标图像。
其中,目标图像包括装饰有待放置物品的待识别面部的图像。
在具体应用中,目标位置信息用于在AR成像时,确定待放置物品的位置,也就是说,将待放置物品放置在目标位置信息所指示的目标位置上,以对待识别面部进行装饰后成像,进而克服由于待放置物品与待识别面部之间出现的重叠或者缝隙而造成的成像效果较差的问题,通过消除重叠或者缝隙区域,将待放置物品与待识别面部的边缘对齐,提升AR成像的逼真度。
需要说明的是,该目标图像可以是待识别面部的静态图像或者是对多帧静态图像连接后生成的动态图像,本发明不做具体限制。
综上所述,本发明提出的用于面部的虚拟物品的图像生成方法,获取待识别图像信息;根据待识别图像信息和预先确定的物品设置规则,确定待放置物品的目标位置信息;根据目标位置信息,结合增强现实功能,生成目标图像。因此,根据预设的物品设置规则,对待放置物品的目标位置信息进行优化,使得该待放置物品与待识别面部的边缘对齐,进而提升成像效果的逼真度。
可选的,在待识别面部包括待识别人脸的情况下,如图2所示,步骤102所述的根据待识别图像信息和预先确定的物品设置规则,确定待放置物品的目标位置信息,包括:
步骤1021,对待识别图像信息进行关键点提取,以获取待识别图像信息中的待识别人脸的关键点信息和姿态信息。
在具体应用中,基于具有AR功能的终端,根据用户的人脸图像,实现虚拟物品的添加时,首先需对待识别人脸的特征信息进行提取,也就是获取当前用户的人脸体征信息,例如是关键点信息和姿态信息,以便于将虚拟物品放置在适合的位置上。其中,关键点信息例如包括下巴所在位置信息、鼻子所在位置信息、两侧眼睛所在位置信息等信息;姿态信息包括待识别人脸的角度信息和位置信息,也就说是,待识别人脸相对于空间平面的角度和位置,如是否为侧脸,或者歪着头的角度信息等。
示例地,本步骤可以采用预先训练好的人脸特征识别模型,对待识别人脸的关键点信息和姿态信息进行获取,所获取到的关键点信息和姿态信息可以是在图像坐标系下的坐标信息。或者是,还可以是以左右脸颊的关键点连线作为X轴,额头与下巴关键点连线作为Y轴,建立二维坐标系,即人脸坐标系,通过将关键点信息和姿态信息从图像坐标系下的坐标信息转换为人脸坐标系下的坐标信息,以便于下面步骤进行准确计算。具体所采用的坐标系本发明不做限制。
步骤1022,根据姿态信息和物品设置规则,确定待放置物品在待识别人脸上的初始位置信息。
示例地,待放置物品可以是基于用户发起的尝试请求而获取到的,如用户想看到试戴帽子、耳环等物品的成像效果时,发出对应的尝试请求,以进行对应操作;或者还可以是基于待识别人脸而生成的推荐物品,例如根据对待识别图像信息进行分析后,终端上的具有AR功能的系统,自动生成与待识别人脸相匹配的物品,并展示给用户,以便用户进行选择。本发明具体不做限制。
需要说明的是,对于每个不同的待放置物品,预先设置有对应的物品设置规则,例如是,耳环放置在人脸左右侧边缘区域向外5厘米的位置处,帽子放置在人脸额头边缘区域上方的位置处等等,因此需根据待放置物品确定其对应的放置位置后,在根据步骤1021所确定的姿态信息,进一步将待放置物品放置在对应位置,以生成AR图像,展示给用户。
步骤1023,根据关键点信息,生成边缘曲线。
其中,边缘曲线包括关键点信息中的边缘关键点。
在具体应用中,由于对于待放置物品,也就是虚拟饰品是在待识别人脸区域以外的位置放置的,且其放置的位置是基于实际的待识别人脸的姿态信息的,也就是说,物品设置规则中设置了每个物品与人脸区域的相对位置,在进行待放置物品的放置时,需要结合待识别人脸的实际的姿态信息进行对应放置。为了实现成像效果的真实性,避免出现缝隙或重叠的情况,结合人脸边缘所形成的曲线对初始位置信息进行调整,也就是对待放置物品与人脸边缘区域出现的缝隙或重叠进行优化,以进一步提升成像效果的逼真程度,有利于AR成像的应用。因此,通过步骤1021所确定的关键点信息,建立由人脸的边缘关键点所组成的边缘曲线,进而降低待放置物品与人脸边缘区域的缝隙或者重叠所造成的影响。
此外,需要说明的是,在步骤1021确定了关键点信息和姿态信息之后,可以同时进行步骤1022和步骤1023的操作,以分别确定边缘曲线和初始位置信息,或者先进行步骤1023再进行步骤1022的操作,本发明不做具体限制。
步骤1024,根据物品设置规则,结合边缘曲线对初始位置信息进行调节,以确定目标位置信息。
示例地,根据步骤1023所确定的边缘曲线,对待放置物品的初始位置进行调节,例如根据物品设置规则,该物品(耳环)应在人脸表面外侧区域上(左右侧耳朵),但实际的初始位置信息表明该物品上的某一个点在边缘曲线的内部,也就是说,在人脸表面内侧区域时,将该物品上的这个点移动到边缘曲线上,即人脸边缘上;对应的,在该物品应在人脸表面内侧区域时,但实际的初始位置信息表明该物品上的某一个点在边缘曲线的外侧,将该物品上的这个点移动到人脸边缘上。
需要说明的是,本步骤所述的位置调整,优选的是对单个待放置物品上的某个点进行,也就是说,在调节时,依次对物品上的每个点进行操作,而非移动整个物品。还可以对AR成像中对待放置物品所生成的用于消除图像多义性而设置的消隐模型上的点进行上述操作,也就是说,对消隐模型上的点,也可进行本步骤的调节,以便于使得AR成像效果更加逼真。此外,对于本发明所提出的技术方案,步骤1021-步骤1024是对所采集到的图像数据中的每帧图像进行的,在每帧图像均完成上述的操作后,再将每帧图像连起来,以进行动态显示,也就是进行步骤103的操作。
可选的,图3是本发明实施例提供的一种用于面部的虚拟物品的图像生成方法的具体步骤流程图,如图3所示,步骤1021所述的对待识别图像信息进行关键点提取,以获取待识别图像信息中的待识别人脸的关键点信息和姿态信息,包括:
步骤10211,根据预设的人脸特征提取模型,确定关键点信息。
其中,关键点信息包括待识别人脸的多个关键点的位置信息。
步骤10212,获取姿态信息。
其中,姿态信息中包括待识别人脸的位置信息和角度信息。
示例地,通过现有的特征提取效果好的模型,对待识别人脸进行特征信息的提取,以获取待识别人脸的关键点信息,如图4所示,其上标出了人脸上的多个特征点的位置信息,如其中标号为27的点到标号为30的点为鼻子走向。
可选的,当待识别面部为非人脸,例如是动物面部时,也可以采用上述图2所述的步骤对待识别面部进行待放置物品的装饰,例如给宠物狗带上帽子,具体操作步骤与上述类似,区别在于,用于提取关键点信息的特征提取模型是基于对宠物狗的样本图像所训练出的狗脸特征提取模型,所生成的关键点信息也与图4所示不同。
可选的,图5是本发明实施例提供的一种用于面部的虚拟物品的图像生成方法的具体步骤流程图,如图5所示,步骤1022所述的根据姿态信息和物品设置规则,确定待放置物品在待识别人脸上的初始位置信息,可以包括:
步骤10221,确定符合物品设置规则的待放置物品的预放置位置。
在具体应用中,预先对每个物品设置有对应的设置规则,即当确定待放置物品后,可以根据物品设置规则确定所对应的预放置位置。例如,物品的预放置位置为如图4上的标号为12的点向外侧延伸10厘米的位置。
步骤10222,根据姿态信息,将待放置物品放置在预放置位置上,以获取初始位置信息。
示例地,由于在步骤10221所确定的预放置位置为相对位置,因此本步骤根据待识别人脸的姿态信息(实际姿态),将物品放置在预放置位置上。也就是说,确定标号为12的点的位置,再根据姿态信息将物品放置在标号为12的点向外延伸10厘米的位置上。
可选的,图6是本发明实施例提供的一种用于面部的虚拟物品的图像生成方法的具体步骤流程图,如图6所示,步骤1023所述的根据关键点信息,生成边缘曲线,可以包括:
步骤10231,获取从关键点信息中所确定的边缘关键点的位置信息。
示例地,如图4中所示的边缘关键点为标号为0-标号为26的点,即确定标号为0-标号为26的点的坐标信息,作为其位置信息。
步骤10232,根据边缘关键点的位置信息和预设的曲线构造算法,将按照预设的连接次序连接边缘关键点后所生成的曲线,作为边缘曲线。
示例地,将标号为0至标号为26的点顺序连接,以生成边缘曲线。可以通过贝塞尔、线性插值等各种方法将标号为0至标号为26的离散的点构造圆滑曲线,以便于下面步骤对初始位置信息进行调节。
可选的,图7是本发明实施例提供的一种用于面部的虚拟物品的图像生成方法的具体步骤流程图,如图7所示,步骤1024所述的根据物品设置规则,结合边缘曲线对初始位置信息进行调节,以确定目标位置信息,可以包括:
步骤10241,确定根据物品设置规则所设置的第一位置点的规定位置信息。
其中,第一位置点是对待放置物品中任一物品所生成的物品模型上的任一点或者是与物品模型所对应的消隐模型上的任一点。
步骤10242,获取初始位置信息中的第一位置点的第一初始位置信息。
步骤10243,将规定位置信息与第一初始位置信息进行比对。
步骤10244,在规定位置信息与第一初始位置信息不在边缘曲线的同侧的情况下,将第一位置点转移至第二位置点,以更新初始位置信息。
其中,第二位置点是边缘曲线上的符合预设转移条件的点。
示例地,根据物品设置规则,第一位置点的规定位置信息在人脸表面外侧区域上(即边缘曲线的外侧),但初始位置信息中第一初始位置信息位于边缘曲线的内侧,也就是说,规定位置信息与第一初始位置信息不在边缘曲线的同侧,则将第一位置点转移至第二位置点,如图8所示。或者根据物品设置规则,第一位置点的规定位置信息在边缘曲线的内侧,但第一初始位置信息位于边缘曲线的外侧时,则也将第一位置点转移至边缘曲线上。由于消隐模型是对应待放置物品的物品模型而生成的,因此,类似于物品模型上的任一点,消隐模型上的任一点也需执行上述步骤的操作,以保证消隐模型的消隐效果和成像逼真度。
需要说明的是,第二位置点的确定方式,或者说是预设转移条件的设置,例如可以采用欧式距离计算,将边缘曲线上与第一位置点之间欧式距离最小的点,作为第二位置点,也就是说,在将第一位置点转移至边缘曲线上的第二位置点上,进而更新初始位置信息,进而将第一位置点的位置信息更新为第二位置点的位置信息。
步骤10245,将第二位置点的位置信息作为目标位置信息。
图9是根据一示例性实施例示出的一种用于面部的虚拟物品的图像生成装置的框图。参照图9,应用于具有增强现实功能的终端,该装置包括:
信息获取模块910,用于获取待识别图像信息,待识别图像信息包括待识别面部的图像。
信息确定模块920,用于根据待识别图像信息和预先确定的物品设置规则,确定待放置物品的目标位置信息,待放置物品包括将对待识别面部进行装饰的一个或者多个虚拟物品,目标位置信息包括与待识别面部的边缘对齐的待放置物品的位置信息。
图像生成模块930,用于根据目标位置信息,结合增强现实功能,生成目标图像,目标图像包括装饰有待放置物品的待识别面部的图像。
可选的,在待识别面部包括待识别人脸的情况下,信息确定模块920,包括:
关键点提取子模块,用于对待识别图像信息进行关键点提取,以获取待识别人脸的关键点信息和姿态信息。
信息确定子模块,用于根据姿态信息和物品设置规则,确定待放置物品在待识别人脸上的初始位置信息。
曲线生成子模块,用于根据关键点信息,生成边缘曲线,边缘曲线包括关键点信息中的多个边缘关键点。
位置调节子模块,用于根据物品设置规则,结合边缘曲线对初始位置信息进行调节,以确定目标位置信息。
可选的,在另一实施例中,该实施例在上述实施例的基础上,关键点提取子模块,包括:
信息确定单元,用于根据预设的人脸特征提取模型,确定关键点信息,关键点信息包括待识别人脸的多个关键点的位置信息;
信息获取单元,用于获取姿态信息,姿态信息中包括待识别人脸的位置信息和角度信息。
可选的,在另一实施例中,该实施例在上述实施例的基础上,信息确定子模块,包括:
位置确定单元,用于确定符合物品设置规则的待放置物品的预放置位置;
物品放置单元,用于根据姿态信息,将待放置物品放置在预放置位置上,以获取初始位置信息。
可选的,在另一实施例中,该实施例在上述实施例的基础上,曲线生成子模块,包括:
信息获取单元,用于获取从关键点信息中所确定的边缘关键点的位置信息;
关键点连接单元,用于根据边缘关键点的位置信息和预设的曲线构造算法,将按照预设的连接次序连接边缘关键点后的曲线,作为边缘曲线。
可选的,在另一实施例中,位置调节子模块,包括:
信息确定单元,用于确定根据物品设置规则所设置的第一位置点的规定位置信息;
信息获取单元,用于获取初始位置信息中的第一位置点的第一初始位置信息;
信息比对单元,用于将规定位置信息与第一初始位置信息进行比对;
位置转移单元,用于在规定位置信息与第一初始位置信息不在边缘曲线的同侧的情况下,将第一位置点转移至第二位置点,以更新初始位置信息;
信息确定单元,还用于将第二位置点的位置信息作为目标位置信息;
其中,第一位置点是对待放置物品中任一物品所生成的物品模型上的任一点或者是与物品模型所对应的消隐模型上的任一点;第二位置点是边缘曲线上的符合预设转移条件的点。
对于上述装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域技术人员易于想到的是:上述各个实施例的任意组合应用都是可行的,故上述各个实施例之间的任意组合都是本发明的实施方案,但是由于篇幅限制,本说明书在此就不一一详述了。
在此提供的用于面部的虚拟物品的图像生成方法不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造具有本发明方案的系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的用于面部的虚拟物品的图像生成方法中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种用于面部的虚拟物品的图像生成方法,其特征在于,应用于具有增强现实功能的终端,所述方法包括:
获取待识别图像信息,所述待识别图像信息包括待识别面部的图像;
根据所述待识别图像信息和预先确定的物品设置规则,确定待放置物品的目标位置信息,所述待放置物品包括将对所述待识别面部进行装饰的一个或者多个虚拟物品,所述目标位置信息包括与所述待识别面部的边缘对齐的所述待放置物品的位置信息;
根据所述目标位置信息,结合所述增强现实功能,生成目标图像,所述目标图像包括装饰有所述待放置物品的所述待识别面部的图像。
2.根据权利要求1所述的方法,其特征在于,在所述待识别面部包括待识别人脸的情况下,所述根据所述待识别图像信息和预先确定的物品设置规则,确定待放置物品的目标位置信息,包括:
对所述待识别图像信息进行关键点提取,以获取所述待识别人脸的关键点信息和姿态信息;
根据所述姿态信息和所述物品设置规则,确定待放置物品在所述待识别人脸上的初始位置信息;
根据所述关键点信息,生成边缘曲线,所述边缘曲线包括所述关键点信息中的多个边缘关键点;
根据所述物品设置规则,结合所述边缘曲线对所述初始位置信息进行调节,以确定所述目标位置信息。
3.根据权利要求2所述的方法,其特征在于,所述对待识别图像信息进行关键点提取,以获取所述待识别人脸的关键点信息和姿态信息,包括:
根据预设的人脸特征提取模型,确定所述关键点信息,所述关键点信息包括所述待识别人脸的多个关键点的位置信息;
获取所述姿态信息,所述姿态信息中包括所述待识别人脸的位置信息和角度信息。
4.根据权利要求2所述的方法,其特征在于,所述根据所述姿态信息和预先确定的物品设置规则,确定待放置物品在所述待识别人脸上的初始位置信息,包括:
确定符合所述物品设置规则的所述待放置物品的预放置位置;
根据所述姿态信息,将所述待放置物品放置在所述预放置位置上,以获取所述初始位置信息。
5.根据权利要求2所述的方法,其特征在于,所述根据所述关键点信息,生成边缘曲线,包括:
获取从所述关键点信息中所确定的所述边缘关键点的位置信息;
根据所述边缘关键点的位置信息和预设的曲线构造算法,将按照预设的连接次序连接所述边缘关键点后生成的曲线,作为所述边缘曲线。
6.根据权利要求2所述的方法,其特征在于,所述根据所述物品设置规则,结合所述边缘曲线对所述初始位置信息进行调节,以确定所述目标位置信息,包括:
确定根据所述物品设置规则所设置的第一位置点的规定位置信息;
获取所述初始位置信息中的所述第一位置点的第一初始位置信息;
将所述规定位置信息与所述第一初始位置信息进行比对;
在所述规定位置信息与所述第一初始位置信息不在所述边缘曲线的同侧的情况下,将所述第一位置点转移至第二位置点;
将所述第二位置点的位置信息作为所述目标位置信息;
其中,所述第一位置点是对所述待放置物品中任一物品所生成的物品模型上的任一点或者是与所述物品模型所对应的消隐模型上的任一点;所述第二位置点是所述边缘曲线上的符合预设转移条件的点。
7.一种用于面部的虚拟物品的图像生成装置,其特征在于,应用于具有增强现实功能的终端,所述装置包括:
信息获取模块,用于获取待识别图像信息,所述待识别图像信息包括待识别面部的图像;
信息确定模块,用于根据所述待识别图像信息和预先确定的物品设置规则,确定待放置物品的目标位置信息,所述待放置物品包括将对所述待识别面部进行装饰的一个或者多个虚拟物品,所述目标位置信息包括与所述待识别面部的边缘对齐的所述待放置物品的位置信息;
图像生成模块,用于根据所述目标位置信息,结合所述增强现实功能,生成目标图像,所述目标图像包括装饰有所述待放置物品的所述待识别面部的图像。
8.根据权利要求7所述的装置,其特征在于,在所述待识别面部包括待识别人脸的情况下,所述信息确定模块,包括:
关键点提取子模块,用于对所述待识别图像信息进行关键点提取,以获取所述待识别人脸的关键点信息和姿态信息;
信息确定子模块,用于根据所述姿态信息和所述物品设置规则,确定待放置物品在所述待识别人脸上的初始位置信息;
曲线生成子模块,用于根据所述关键点信息,生成边缘曲线,所述边缘曲线包括所述关键点信息中的多个边缘关键点;
位置调节子模块,用于根据所述物品设置规则,结合所述边缘曲线对所述初始位置信息进行调节,以确定所述目标位置信息。
9.一种终端,其特征在于,所述终端包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行权利要求1至6中任一项所述的用于面部的虚拟物品的图像生成方法。
10.一种非临时性计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行权利要求1至6中任一项所述的用于面部的虚拟物品的图像生成方法。
CN201910190013.2A 2019-03-13 2019-03-13 用于面部的虚拟物品的图像生成方法、装置、终端及存储介质 Active CN110070481B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910190013.2A CN110070481B (zh) 2019-03-13 2019-03-13 用于面部的虚拟物品的图像生成方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910190013.2A CN110070481B (zh) 2019-03-13 2019-03-13 用于面部的虚拟物品的图像生成方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN110070481A true CN110070481A (zh) 2019-07-30
CN110070481B CN110070481B (zh) 2020-11-06

Family

ID=67366281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910190013.2A Active CN110070481B (zh) 2019-03-13 2019-03-13 用于面部的虚拟物品的图像生成方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN110070481B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827195A (zh) * 2019-10-31 2020-02-21 北京达佳互联信息技术有限公司 虚拟物品添加方法、装置、电子设备及存储介质
CN110910512A (zh) * 2019-11-29 2020-03-24 北京达佳互联信息技术有限公司 虚拟物体自适应调整方法、装置、计算机设备和存储介质
CN113240819A (zh) * 2021-05-24 2021-08-10 中国农业银行股份有限公司 穿戴效果的确定方法、装置和电子设备
WO2021238809A1 (zh) * 2020-05-29 2021-12-02 北京字节跳动网络技术有限公司 人脸模型重构方法、装置、介质和设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413229A (zh) * 2013-08-30 2013-11-27 郝晓伟 试戴佩饰物的效果呈现方法及装置
CN104217350A (zh) * 2014-06-17 2014-12-17 北京京东尚科信息技术有限公司 实现虚拟试戴的方法和装置
CN106357971A (zh) * 2016-08-25 2017-01-25 维沃移动通信有限公司 一种虚拟装饰方法及移动终端
CN108520552A (zh) * 2018-03-26 2018-09-11 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108519816A (zh) * 2018-03-26 2018-09-11 广东欧珀移动通信有限公司 信息处理方法、装置、存储介质及电子设备
CN108764135A (zh) * 2018-05-28 2018-11-06 北京微播视界科技有限公司 图像生成方法、装置,及电子设备
CN108965692A (zh) * 2018-06-15 2018-12-07 Oppo广东移动通信有限公司 贴纸设置方法及装置
US20190019335A1 (en) * 2017-07-12 2019-01-17 NextEv USA, Inc. Camera Pose Estimation Method for Augmented Reality Manual For Cars
US10219736B2 (en) * 2013-04-18 2019-03-05 Digimarc Corporation Methods and arrangements concerning dermatology

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10219736B2 (en) * 2013-04-18 2019-03-05 Digimarc Corporation Methods and arrangements concerning dermatology
CN103413229A (zh) * 2013-08-30 2013-11-27 郝晓伟 试戴佩饰物的效果呈现方法及装置
CN104217350A (zh) * 2014-06-17 2014-12-17 北京京东尚科信息技术有限公司 实现虚拟试戴的方法和装置
CN106357971A (zh) * 2016-08-25 2017-01-25 维沃移动通信有限公司 一种虚拟装饰方法及移动终端
US20190019335A1 (en) * 2017-07-12 2019-01-17 NextEv USA, Inc. Camera Pose Estimation Method for Augmented Reality Manual For Cars
CN108520552A (zh) * 2018-03-26 2018-09-11 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108519816A (zh) * 2018-03-26 2018-09-11 广东欧珀移动通信有限公司 信息处理方法、装置、存储介质及电子设备
CN108764135A (zh) * 2018-05-28 2018-11-06 北京微播视界科技有限公司 图像生成方法、装置,及电子设备
CN108965692A (zh) * 2018-06-15 2018-12-07 Oppo广东移动通信有限公司 贴纸设置方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827195A (zh) * 2019-10-31 2020-02-21 北京达佳互联信息技术有限公司 虚拟物品添加方法、装置、电子设备及存储介质
CN110827195B (zh) * 2019-10-31 2023-09-22 北京达佳互联信息技术有限公司 虚拟物品添加方法、装置、电子设备及存储介质
CN110910512A (zh) * 2019-11-29 2020-03-24 北京达佳互联信息技术有限公司 虚拟物体自适应调整方法、装置、计算机设备和存储介质
CN110910512B (zh) * 2019-11-29 2024-04-30 北京达佳互联信息技术有限公司 虚拟物体自适应调整方法、装置、计算机设备和存储介质
WO2021238809A1 (zh) * 2020-05-29 2021-12-02 北京字节跳动网络技术有限公司 人脸模型重构方法、装置、介质和设备
CN113240819A (zh) * 2021-05-24 2021-08-10 中国农业银行股份有限公司 穿戴效果的确定方法、装置和电子设备

Also Published As

Publication number Publication date
CN110070481B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
US9811894B2 (en) Image processing method and apparatus
CN110070481A (zh) 用于面部的虚拟物品的图像生成方法、装置、终端及存储介质
US10789453B2 (en) Face reenactment
US10599914B2 (en) Method and apparatus for human face image processing
JP5991536B2 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
KR102697772B1 (ko) 메시징 시스템 내의 3d 데이터를 포함하는 증강 현실 콘텐츠 생성기들
US10186084B2 (en) Image processing to enhance variety of displayable augmented reality objects
WO2019024853A1 (zh) 一种图像处理方法、装置及存储介质
CN106021550B (zh) 一种发型设计方法和系统
KR20220051376A (ko) 메시징 시스템에서의 3d 데이터 생성
JP2006163871A (ja) 画像処理装置、画像処理方法、およびプログラム
CN105931178A (zh) 一种图像处理方法及装置
CN109903291A (zh) 图像处理方法及相关装置
CN106200918A (zh) 一种基于ar的信息显示方法、装置和移动终端
CN107609946B (zh) 一种显示控制方法及计算设备
CN113657357B (zh) 图像处理方法、装置、电子设备及存储介质
CN108985132B (zh) 一种人脸图像处理方法、装置、计算设备及存储介质
CN107564085B (zh) 图像扭曲处理方法、装置、计算设备及计算机存储介质
CN108111747A (zh) 一种图像处理方法、终端设备及计算机可读介质
CN111028318A (zh) 一种虚拟人脸合成方法、系统、装置和存储介质
CN110267079B (zh) 待播放视频中人脸的替换方法和装置
CN111640190A (zh) Ar效果的呈现方法、装置、电子设备及存储介质
CN111107264A (zh) 图像处理方法、装置、存储介质以及终端
CN110597397A (zh) 增强现实的实现方法、移动终端及存储介质
CN113837018B (zh) 一种化妆进度检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211015

Address after: 101d1-7, 1st floor, building 1, No. 6, Shangdi West Road, Haidian District, Beijing 100085

Patentee after: Beijing Dajia Internet Information Technology Co.,Ltd.

Patentee after: Beijing Kwai Technology Co.,Ltd.

Address before: 101d1-7, 1st floor, building 1, No. 6, Shangdi West Road, Haidian District, Beijing 100085

Patentee before: Beijing Dajia Internet Information Technology Co.,Ltd.

TR01 Transfer of patent right