CN112258280A - 一种提取多角度头像生成展示视频的方法及系统 - Google Patents

一种提取多角度头像生成展示视频的方法及系统 Download PDF

Info

Publication number
CN112258280A
CN112258280A CN202011139249.2A CN202011139249A CN112258280A CN 112258280 A CN112258280 A CN 112258280A CN 202011139249 A CN202011139249 A CN 202011139249A CN 112258280 A CN112258280 A CN 112258280A
Authority
CN
China
Prior art keywords
head
angle
head portrait
portrait
head rotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011139249.2A
Other languages
English (en)
Other versions
CN112258280B (zh
Inventor
李小波
石矫龙
李昆仑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hengxin Shambala Culture Co ltd
Original Assignee
Hengxin Shambala Culture Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hengxin Shambala Culture Co ltd filed Critical Hengxin Shambala Culture Co ltd
Priority to CN202011139249.2A priority Critical patent/CN112258280B/zh
Priority claimed from CN202011139249.2A external-priority patent/CN112258280B/zh
Publication of CN112258280A publication Critical patent/CN112258280A/zh
Application granted granted Critical
Publication of CN112258280B publication Critical patent/CN112258280B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Finance (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供一种提取多角度头像生成展示视频的方法及系统，该方法包括如下步骤：获取转头过程中的头像视频数据，并从头像视频数据中抽取待识别的头像帧；根据预先建立的头像角度识别模型，获取待识别的头像帧对应的头部转动方向和头部转动角度；根据获取的头像帧对应的头部转动方向和头部转动角度，抽取对称头部转动角度的头像帧；为对称头部转动角度的头像帧匹配相应角度的穿戴体验模型，形成展示图像帧；将展示图像帧依次播放，生成展示视频。本申请提取对称头部转动角度的头像帧,为提取的头像帧匹配对应角度的穿戴体验模型后生成展示视频，提高展示视频的质量和自然度，进而提高沉浸式应用的体验。

Description

一种提取多角度头像生成展示视频的方法及系统
技术领域
本申请涉及数据处理技术领域，尤其涉及一种提取多角度头像生成展示视频的方法及系统。
背景技术
近年来，随着电子商务的快速发展，在线购物因其便捷性已得到广大用户的偏爱。可由于穿戴用品(例如：眼镜、帽子、服饰等)款式差异和用户个人喜好的原因，在线购物的退换货现象十分严重，既耽误买卖家的时间，也造成了运输资源的浪费。因而快速、真实的虚拟穿戴技术呼之欲出，逐渐成为企业和研究机构的研发热点。
现有的穿戴体验过程中，采用的是虚拟的头像模型，并不是用户的真实头像，造成用户穿戴体验的过程中有视觉体验的偏差，使得用户的体验效果不佳。另外，在头像提取的过程中，用户的转头速度无法像机械一样精准控制，很难通过时间精确的提取角度，以致于对后来的沉浸式应用产生不自然的影响。
发明内容
本申请的目的在于提供一种提取多角度头像生成展示视频的方法及系统，此方法提取对称头部转动角度的头像帧,为提取的头像帧匹配对应角度的穿戴体验模型后生成展示视频，提高展示视频的质量和自然度，进而提高沉浸式应用的体验。
为达到上述目的，本申请提供一种提取多角度头像生成展示视频的方法，该方法包括如下步骤：获取转头过程中的头像视频数据，并从头像视频数据中抽取待识别的头像帧；根据预先建立的头像角度识别模型，获取待识别的头像帧对应的头部转动方向和头部转动角度；根据获取的头像帧对应的头部转动方向和头部转动角度，抽取对称头部转动角度的头像帧；为对称头部转动角度的头像帧匹配相应角度的穿戴体验模型，形成展示图像帧；将展示图像帧依次播放，生成展示视频。
如上的，其中，获取头像帧对应的头部转动方向和转动角度的方法包括如下子步骤：获取待识别头像帧；识别头像帧中关键部位的轮廓和关键点的位置；根据识别的关键点的位置，以及关键点的位置和头部转动方向的第一映射关系，获取头像帧的头部转动方向；根据关键部位的轮廓和关键点的位置，计算头像帧相对于已知正脸头像帧的水平偏转程度值；根据计算的水平偏转程度值，以及不同头部转动角度与水平偏转值之间的第二映射关系，获取该待识别头像帧的头部转动角度。
如上的，其中，预先建立头像角度识别模型的方法包括如下步骤：获取头像角度数据；识别头像角度数据中头像帧的关键部位的轮廓和关键点的位置；根据已知的头部转动方向和关键点的位置，建立关键点的位置特征与头部转动方向之间的第一映射关系；根据头像帧中关键部位的轮廓和关键点的位置，计算头像帧相对于已知正脸头像帧的水平偏转程度值；根据头像帧中已知的头部转动角度和计算的水平偏转程度值，建立不同头部转动角度与水平偏转值之间的第二映射关系，以获得头像角度识别模型。
如上的，其中，建立第二映射关系的方法为：计算多个相同头部转动角度对应的水平偏转程度值的平均值，将该平均值作为该头部转动角度的映射值；计算多个相同转动角度对应的水平偏转程度值的方差，将方差作为该头部转动角度的映射值的游动下限和游动上限。
如上的，其中，根据获取的头像帧对应的头部转动方向和头部转动角度，抽取对称头部转动角度的头像帧的方法包括如下子步骤：根据获取的头部转动方向和头部转动角度，获取左转向最大值和右转向最大值；选取左转向最大值和右转向最大值中的较小值作为抽取对称角度的头像帧的左转极限值和右转极限值；根据预设的角度间隔，在左转极限值和右转极限值的范围内通过二分法抽取对称角度的头像帧。
如上的，其中，计算对称头部转动角度的头像帧对应的头像倾斜角度；根据计算的倾斜角度将倾斜的头像调正。
如上的，其中，计算头像倾斜角度的公式为：
Figure BDA0002737754740000031
其中，Q表示头像倾斜角度；arcsin()表示反正弦函数；(x1,y1)表示左眼球关键点的坐标；(x2,y2)表示右眼球关键点的坐标；(x3,y3)表示左嘴角关键点的坐标；(x4,y4)表示右嘴角关键点的坐标。
如上的，其中，为对称头部转动角度的头像帧匹配相应角度的穿戴体验模型的方法包括如下步骤：获取头像帧的头部转动角度和头部转动方向；根据获取的头部转动角度和头部转动方向，获取相应角度的穿戴体验模型；根据穿戴体验模型的类别，获取头像帧中对应的贴合点；将获取的穿戴体验模型的贴合点贴合至头像帧中的贴合点处；识别穿戴体验模型位于头像后方的部分，并隐藏穿戴体验模型位于头像后方的部分。
如上的，其中，隐藏穿戴体验模型位于头像后方的部分的方法包括如下子步骤：获取穿戴体验模型与头像帧中头像的重合区域；识别重合区域位于穿戴体验模型中预先划分为可隐藏区域内的第一区域，重合区域除去第一区域的部分为第二区域；将识别出的第一区域进行隐藏处理，第二区域进行显示处理。
一种提取多角度头像生成展示视频的系统，该系统包括：待识别头像帧获取模块，用于获取转头过程中的头像视频数据，并从头像视频数据中抽取待识别的头像帧；数据获取模块，用于根据预先建立的头像角度识别模型，获取待识别的头像帧对应的头部转动方向和头部转动角度；对称头像帧抽取模块，用于根据获取的头像帧对应的头部转动方向和头部转动角度，抽取对称头部转动角度的头像帧；展示图像帧生成模块，用于为对称头部转动角度的头像帧匹配相应角度的穿戴体验模型，形成展示图像帧；展示视频生成模块，用于将展示图像帧依次播放，生成展示视频。
本申请实现的有益效果如下：
(1)本申请抽取头像视频中的头像帧，自动识别头像帧中的头部转动方向和头部转动角度，并提取对称的头部转动角度的头像帧，为提取对称的头部转动角度的头像帧匹配相应角度的穿戴体验模型后形成展示图像帧，将展示图像帧依次播放形成展示视频，以提高展示视频的自然度和真实度，从而使得用户穿戴体验更好。
(2)本申请对提取的对称头部转动角度的头像帧中倾斜的头像进行调正，从而优化在采集转动头像过程中不可避免的头部倾斜给后续匹配穿戴体验模型造成匹配不精准的问题，提高了头像帧中头像与穿戴体验模型的匹配精准度、自然度和视觉舒适度。
(3)本申请采集用户的真实头像用于穿戴体验，提高用户的穿戴体验的真实感和用户体验效果，本申请不生成三维渲染头像，节省了穿戴体验的反馈时间，使用户无需等待较长时间，体验效果较佳。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请实施例的一种提取多角度头像生成展示视频的方法的流程图。
图2为本申请实施例的获取头像帧的头部转动方向和转动角度的方法的流程图。
图3为本申请实施例的预先建立的头像角度识别模型的方法的流程图。
图4为本申请实施例的抽取对称头部转动角度的头像帧的方法流程图。
图5为本申请实施例的形成展示图像帧的方法流程图。
图6为本申请实施例的一种提取多角度头像生成展示视频的系统的结构示意图。
附图标记：10-待识别头像帧获取模块；20-数据获取模块；30-对称头像帧抽取模块；40-展示图像帧生成模块；50-展示视频生成模块；100-提取多角度头像生成展示视频的系统。
具体实施方式
下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
如图1所示，本申请提供一种提取多角度头像生成展示视频的方法，该方法包括如下步骤：
步骤S1，获取转头过程中的头像视频数据，并从头像视频数据中抽取待识别头像帧。
通过摄像机设备采集用户转头过程中的头像视频数据，按照每秒抽取10帧-20帧的速度从头像视频数据中抽取头像帧。
步骤S2，根据预先建立的头像角度识别模型，获取待识别头像帧对应的头部转动方向和头部转动角度。
如图2所示，获取头像帧的头部转动方向和转动角度的方法包括如下子步骤：
步骤S210，获取待识别头像帧。
步骤S220，识别头像帧中关键部位的轮廓和关键点的位置。
步骤S230，根据识别的关键点的位置，以及关键点的位置和头部转动方向的第一映射关系，获取头像帧的头部转动方向。
步骤S240,根据关键部位的轮廓和关键点的位置，计算头像帧相对于已知正脸头像帧的水平偏转程度值。
其中，头像帧相对于已知正脸头像帧的水平偏转程度值的计算公式为:
Figure BDA0002737754740000071
其中，
Figure BDA0002737754740000072
其中，P表示头像帧相对于已知正脸头像帧的水平偏转程度值；S1表示正脸头像中左眼轮廓内的面积；S2表示正脸头像中右眼轮廓内的面积；S3表示正脸头像中嘴唇轮廓内的面积；K1表示正脸头像帧中左眼轮廓边界的像素点个数；K2表示正脸头像中右眼轮廓边界的像素点个数；K-表示待识别头像帧中左眼轮廓边界的像素点个数；K+表示待识别头像帧中右眼轮廓边界的像素点个数；SM表示待识别头像帧中左眼轮廓内的面积；SN表示待识别头像帧中右眼轮廓内的面积；SH表示待识别头像帧中嘴唇轮廓内的面积；i表示待识别头像帧中左眼轮廓内的第i个像素点；M表示待识别头像帧中左眼轮廓内的像素点总个数；I表示单个像素点的面积；j表示待识别头像帧中右眼轮廓内的第j个像素点；N表示待识别头像帧中右眼轮廓内的像素点总个数；h表示待识别头像帧中嘴唇轮廓内的第h个像素点；H待识别头像帧中嘴唇轮廓内的像素点总个数；O表示正脸头像帧中左眼球关键点距离双眼中心点之间的距离；D表示正脸头像帧中左嘴角关键点距离两嘴角中心点之间的距离；O1表示待识别头像帧中左眼球关键点距离正脸头像帧中双眼中心点之间的距离；O2表示待识别头像帧中右眼球关键点距离正脸头像帧中双眼中心点之间的距离；D1表示待识别头像帧中左嘴角关键点距离正脸头像帧中双嘴角中心点之间的距离；D2表示待识别头像帧中右嘴角关键点距离正脸头像帧中双嘴角中心点之间的距离；λ表示偏转误差因子。
步骤S250，根据计算的水平偏转程度值，以及不同头部转动角度与水平偏转值之间的第二映射关系，获取该待识别头像帧的头部转动角度。
具体的，根据计算的水平偏转程度值，判断该水平偏转程度值落入第二映射关系中的映射域，根据第二映射关系中映射域对应的头部转动角度，将该映射域对应的头部转动角度作为该头像帧的头部转动角度。
根据本发明的一个具体实施例，利用头像角度数据，通过空洞卷积深度神经网络对头像角度识别模型进行训练。空洞卷积深度神经网络在对头像角度数据进行训练的过程中可以获取更大的视野，在非稠密分类任务中，使用空洞卷积可以大大加快模型训练的效率。
其中，空洞卷积深度神经网络的架构包括：输入层、用于提取头像帧中头像特征的空洞卷积层、采用平均池化的池化层、对池化后特征进行融合的融合层和输出头像特征的输出层。
如图3所示，预先建立头像角度识别模型的方法包括如下步骤：
步骤P1，获取头像角度数据。
其中，头像角度训练数据包括不同转动角度的头像帧和其对应的头部转动角度。
其中，标记头像帧中头像的关键部位：包括对关键部位的轮廓进行标示和对关键部位的关键点进行高亮标记。
其中，关键部位包括左眼、右眼、嘴、鼻和耳；关键点包括左眼球、右眼球、嘴角和鼻尖。
步骤P2，识别头像角度数据中头像帧的关键部位的轮廓和关键点的位置。
步骤P3，根据已知的头部转动方向和关键点的位置，建立关键点的位置特征与头部转动方向之间的第一映射关系。
其中，在头像帧的竖直方向上建立竖直中心线，竖直中心线距离头像帧左边缘和右边缘的距离相等。根据关键点中左眼球和右眼球与竖直中心线之间的位置关系，判断头部转动方向。
具体的，第一映射关系为：当左眼球关键点距离竖直中心线的距离大于右眼球关键点距离竖直中心线的距离或无左眼球关键点时，对应的头部转动方向为左转向；当左眼球关键点距离竖直中心线的距离小于右眼球关键点距离竖直中心线的距离或无右眼球关键点时，对应的头部转动方向为右转向；当左眼球距离竖直中心线的距离等于右眼球距离竖直中心线的距离时，对应的为正脸未转向。
步骤P4，根据头像帧中关键部位的轮廓和关键点的位置，计算头像帧相对于已知正脸头像帧的水平偏转程度值。
步骤P5，根据头像帧中已知的头部转动角度和计算的水平偏转程度值，建立不同头部转动角度与水平偏转值之间的第二映射关系，以获得头像角度识别模型。
具体的，建立第二映射关系的方法为：计算多个相同头部转动角度对应的水平偏转程度值的平均值X，将该平均值X作为该头部转动角度的映射值；计算多个相同转动角度对应的水平偏转程度值的方差Y，将方差Y作为该头部转动角度的映射值的游动下限和游动上限；即获得头部转动角度的映射域，第二映射关系中头部转动角度对应的映射域的下限为平均值X-方差Y，映射域的上限为平均值X+方差。
步骤S3，根据获取的头像帧对应的头部转动方向和头部转动角度，抽取对称头部转动角度的头像帧。
如图4所示，步骤S3包括如下子步骤：
步骤S310，根据获取的头部转动方向和头部转动角度，获取左转向最大值和右转向最大值。
步骤S320，选取左转向最大值和右转向最大值中的较小值作为抽取对称头部转动角度的头像帧的左转极限值和右转极限值。
步骤S330，根据预设的角度间隔，在左转极限值和右转极限值的范围内通过二分法抽取对称头部转动角度的头像帧。
根据本发明的一个具体实施例，获取的头部转动方向和头部转动角度包括：-50；-40；-30；-20；-10；0；+10；+15；+20；+30度。其中，“-”表示左转向(或右转向)；“+”表示右转向(或左转向)；“0”表示不转向。按照预设的10度为抽取头像帧的时间间隔，抽取的对称头部转动角度的头像帧的角度为-30；-20；-10；0；+10；+20；+30度。
根据本发明的一个具体实施例，计算对称头部转动角度的头像帧对应的头像倾斜角度，根据计算的头像倾斜角度将倾斜的头像调正。
具体的，将抽取对称头部转动角度的头像帧中的倾斜的头像调正的方法包括如下步骤：计算头像帧对应的头像倾斜角度，根据计算的头像倾斜角度将头像按照与倾斜方向相反的方向转动相等的角度。在头像帧的左下角处建立原点坐标系，标识左眼球关键点、右眼球关键点、左嘴角关键点和右嘴角关键点。
具体的，计算头像倾斜角度的公式为：
Figure BDA0002737754740000111
其中，Q表示头像倾斜角度；arcsin()表示反正弦函数；(x1,y1)表示左眼球关键点的坐标；(x2,y2)表示右眼球关键点的坐标；(x3,y3)表示左嘴角关键点的坐标；(x4,y4)表示右嘴角关键点的坐标。
步骤S4，为对称头部转动角度的头像帧匹配相应角度的穿戴体验模型，形成展示图像帧。
穿戴体验模型包括帽子、眼镜、服饰等。
如图5所示，步骤S4包括如下子步骤：
步骤S410，获取头像帧的头部转动角度和头部转动方向。
步骤S420，根据获取的头部转动角度和头部转动方向，获取相应角度的穿戴体验模型。
步骤S430,根据穿戴体验模型的类别，获取头像帧中对应的贴合点。
其中，不同类别的穿戴体验模型预先建立有贴合点，根据穿戴体验模型预先建立的贴合点对应获取头像帧中的贴合点。
步骤S440，将获取的穿戴体验模型的贴合点贴合至头像帧中的贴合点处。
其中，在穿戴体验模型贴合的过程中，调节穿戴体验模型尺寸以实现穿戴体验模型与头像帧中的头像的精准贴合。
具体的，步骤S440包括如下子步骤：
步骤S441，标识穿戴体验模型和头像帧中的贴合对应点。
步骤S442，将标识出的一对贴合对应点进行贴合固定，作为固定点。
步骤S443，以固定点为基准点，计算穿戴体验模型的缩放比例值。
其中，穿戴体验模型的缩放比例值的计算公式为：
Figure BDA0002737754740000121
其中，l表示穿戴体验模型的缩放比例值；Kt表示头像帧的图上缩放比例系数；v表示第几对贴合对应点；V表示贴合对应点总对数；Cvg表示第v对贴合对应点中穿戴体验模型的贴合点距离固定点的距离；Tvg表示第v对贴合对应点中头像帧中贴合点距离固定点的距离；e表示自然对数的底数，e等于2.718；dtcv表示第v对贴合对应点中穿戴体验模型的贴合点与头像帧中贴合点之间的距离。
步骤S444，根据计算的缩放比例值，以固定点为基准点对穿戴体验模型进行缩放处理。
步骤S445，将穿戴体验模型中的贴合点牵拉至头像帧中对应的贴合点处。
步骤S450,识别穿戴体验模型位于头像后方的部分，并隐藏穿戴体验模型位于头像后方的部分。
其中，穿戴体验模型预先被划分为可隐藏区域和显示区域，可隐藏区域为通常情况下不容易看见的区域；显示区域为容易被看见的区域；可隐藏区域可以被隐藏起来不可见，显示区域不可以被隐藏。
步骤S450包括如下子步骤:
步骤S451,获取穿戴体验模型与头像帧中头像的重合区域。
步骤S452，识别重合区域位于穿戴体验模型中预先划分为可隐藏区域内的第一区域，重合区域除去第一区域的部分为第二区域。
步骤S453，将识别出的第一区域进行隐藏处理，第二区域进行显示处理。
根据本发明的一个具体实施例，佩戴的眼镜在设计时，已经根据该眼镜自身的表面曲率特征将该眼镜的定位特征位置确定，定位特征位置包括左边定位基准点、左边定位耳夹点、右边定位基准点、右边定位耳夹点、左侧鼻支点和右侧鼻支点。左边定位基准点是左桩头，即眼镜镜框与左眼镜腿的交叉位置点。左边定位耳夹点是左眼镜腿与左耳朵相接触的位置点，起到耳朵托起眼镜的作用。右边定位基准点是右桩头，即眼镜镜框与右眼镜腿的交叉位置点。右边定位耳夹点是右眼镜腿与右耳朵相接触的位置点，起到耳朵托起眼镜的作用。
根据本发明的另一个具体实施例，通过测量等方式获取与头像帧中头像贴合后的穿戴体验模型的特征参数，根据获取的特征参数，为用户推荐个性化尺寸的穿戴物品，提高穿戴物品与用户的匹配度，有利于个性化定制的实现，节省用户选择穿戴物品型号的时间。
步骤S5，将展示图像帧依次播放，生成展示视频。
具体的，将展示图像帧按照头部从左转向到右转向依次播放，进而形成展示视频，以展示给用户，供用户进行穿戴体验。
实施例二
如图6所示，本申请提供一种提取多角度头像生成展示视频的系统100，该系统包括：
待识别头像帧获取模块10，用于获取转头过程中的头像视频数据，并从头像视频数据中抽取待识别的头像帧；
数据获取模块20，用于根据预先建立的头像角度识别模型，获取待识别的头像帧对应的头部转动方向和头部转动角度；
对称头像帧抽取模块30，用于根据获取的头像帧对应的头部转动方向和头部转动角度，抽取对称头部转动角度的头像帧；
展示图像帧生成模块40，用于为对称头部转动角度的头像帧匹配相应角度的穿戴体验模型，形成展示图像帧；
展示视频生成模块50，用于将展示图像帧依次播放，生成展示视频。
本申请实现的有益效果如下：
(1)本申请抽取头像视频中的头像帧，自动识别头像帧中的头部转动方向和头部转动角度，并提取对称的头部转动角度的头像帧，为提取对称的头部转动角度的头像帧匹配相应角度的穿戴体验模型后形成展示图像帧，将展示图像帧依次播放形成展示视频，以提高展示视频的自然度和真实度，从而使得用户穿戴体验更好。
(2)本申请对提取的对称头部转动角度的头像帧中倾斜的头像进行调正，从而优化在采集转动头像过程中不可避免的头部倾斜给后续匹配穿戴体验模型造成匹配不精准的问题，提高了头像帧中头像与穿戴体验模型的匹配精准度、自然度和视觉舒适度。
(3)本申请采集用户的真实头像用于穿戴体验，提高用户的穿戴体验的真实感和用户体验效果，本申请不生成三维渲染头像，节省了穿戴体验的反馈时间，使用户无需等待较长时间，体验效果较佳。
上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理的内所做的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。

Claims (10)

1.一种提取多角度头像生成展示视频的方法，其特征在于，该方法包括如下步骤：
获取转头过程中的头像视频数据，并从头像视频数据中抽取待识别的头像帧；
根据预先建立的头像角度识别模型，获取待识别的头像帧对应的头部转动方向和头部转动角度；
根据获取的头像帧对应的头部转动方向和头部转动角度，抽取对称头部转动角度的头像帧；
为对称头部转动角度的头像帧匹配相应角度的穿戴体验模型，形成展示图像帧；
将展示图像帧依次播放，生成展示视频。
2.根据权利要求1所述的提取多角度头像生成展示视频的方法，其特征在于，获取头像帧对应的头部转动方向和转动角度的方法包括如下子步骤：
获取待识别头像帧；
识别头像帧中关键部位的轮廓和关键点的位置；
根据识别的关键点的位置，以及关键点的位置和头部转动方向的第一映射关系，获取头像帧的头部转动方向；
根据关键部位的轮廓和关键点的位置，计算头像帧相对于已知正脸头像帧的水平偏转程度值；
根据计算的水平偏转程度值，以及不同头部转动角度与水平偏转值之间的第二映射关系，获取该待识别头像帧的头部转动角度。
3.根据权利要求1所述的提取多角度头像生成展示视频的方法，其特征在于，预先建立头像角度识别模型的方法包括如下步骤：
获取头像角度数据；
识别头像角度数据中头像帧的关键部位的轮廓和关键点的位置；
根据已知的头部转动方向和关键点的位置，建立关键点的位置特征与头部转动方向之间的第一映射关系；
根据头像帧中关键部位的轮廓和关键点的位置，计算头像帧相对于已知正脸头像帧的水平偏转程度值；
根据头像帧中已知的头部转动角度和计算的水平偏转程度值，建立不同头部转动角度与水平偏转值之间的第二映射关系，以获得头像角度识别模型。
4.根据权利要求3所述的提取多角度头像生成展示视频的方法，其特征在于，建立第二映射关系的方法为：计算多个相同头部转动角度对应的水平偏转程度值的平均值，将该平均值作为该头部转动角度的映射值；计算多个相同转动角度对应的水平偏转程度值的方差，将方差作为该头部转动角度的映射值的游动下限和游动上限。
5.根据权利要求1所述的提取多角度头像生成展示视频的方法，其特征在于，根据获取的头像帧对应的头部转动方向和头部转动角度，抽取对称头部转动角度的头像帧的方法包括如下子步骤：
根据获取的头部转动方向和头部转动角度，获取左转向最大值和右转向最大值；
选取左转向最大值和右转向最大值中的较小值作为抽取对称角度的头像帧的左转极限值和右转极限值；
根据预设的角度间隔，在左转极限值和右转极限值的范围内通过二分法抽取对称角度的头像帧。
6.根据权利要求1所述的提取多角度头像生成展示视频的方法，其特征在于，计算对称头部转动角度的头像帧对应的头像倾斜角度；根据计算的倾斜角度将倾斜的头像调正。
7.根据权利要求6所述的提取多角度头像生成展示视频的方法，其特征在于，计算头像倾斜角度的公式为：
Figure FDA0002737754730000031
其中，Q表示头像倾斜角度；arcsin()表示反正弦函数；(x1,y1)表示左眼球关键点的坐标；(x2,y2)表示右眼球关键点的坐标；(x3,y3)表示左嘴角关键点的坐标；(x4,y4)表示右嘴角关键点的坐标。
8.根据权利要求1所述的提取多角度头像生成展示视频的方法，其特征在于，为对称头部转动角度的头像帧匹配相应角度的穿戴体验模型的方法包括如下步骤：
获取头像帧的头部转动角度和头部转动方向；
根据获取的头部转动角度和头部转动方向，获取相应角度的穿戴体验模型；
根据穿戴体验模型的类别，获取头像帧中对应的贴合点；
将获取的穿戴体验模型的贴合点贴合至头像帧中的贴合点处；
识别穿戴体验模型位于头像后方的部分，并隐藏穿戴体验模型位于头像后方的部分。
9.根据权利要求8所述的提取多角度头像生成展示视频的方法，其特征在于，隐藏穿戴体验模型位于头像后方的部分的方法包括如下子步骤：
获取穿戴体验模型与头像帧中头像的重合区域；
识别重合区域位于穿戴体验模型中预先划分为可隐藏区域内的第一区域，重合区域除去第一区域的部分为第二区域；
将识别出的第一区域进行隐藏处理，第二区域进行显示处理。
10.一种提取多角度头像生成展示视频的系统，其特征在于，该系统包括：
待识别头像帧获取模块，用于获取转头过程中的头像视频数据，并从头像视频数据中抽取待识别的头像帧；
数据获取模块，用于根据预先建立的头像角度识别模型，获取待识别的头像帧对应的头部转动方向和头部转动角度；
对称头像帧抽取模块，用于根据获取的头像帧对应的头部转动方向和头部转动角度，抽取对称头部转动角度的头像帧；
展示图像帧生成模块，用于为对称头部转动角度的头像帧匹配相应角度的穿戴体验模型，形成展示图像帧；
展示视频生成模块，用于将展示图像帧依次播放，生成展示视频。
CN202011139249.2A 2020-10-22 一种提取多角度头像生成展示视频的方法及系统 Active CN112258280B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011139249.2A CN112258280B (zh) 2020-10-22 一种提取多角度头像生成展示视频的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011139249.2A CN112258280B (zh) 2020-10-22 一种提取多角度头像生成展示视频的方法及系统

Publications (2)

Publication Number Publication Date
CN112258280A true CN112258280A (zh) 2021-01-22
CN112258280B CN112258280B (zh) 2024-05-28

Family

ID=

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217350A (zh) * 2014-06-17 2014-12-17 北京京东尚科信息技术有限公司 实现虚拟试戴的方法和装置
CN104881114A (zh) * 2015-05-13 2015-09-02 深圳彼爱其视觉科技有限公司 一种基于3d眼镜试戴的角度转动实时匹配方法
CN105205455A (zh) * 2015-08-31 2015-12-30 李岩 一种移动平台上人脸识别的活体检测方法及系统
CN106570747A (zh) * 2016-11-03 2017-04-19 济南博图信息技术有限公司 结合手势识别的眼镜在线适配方法及系统
CN109598223A (zh) * 2018-11-26 2019-04-09 北京洛必达科技有限公司 基于视频获取目标人物的方法和装置
US20190147237A1 (en) * 2014-11-20 2019-05-16 Wuhan Zhunwofei Science and Technology Co., LTD Human Body Posture Data Acquisition Method and System, and Data Processing Device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217350A (zh) * 2014-06-17 2014-12-17 北京京东尚科信息技术有限公司 实现虚拟试戴的方法和装置
US20190147237A1 (en) * 2014-11-20 2019-05-16 Wuhan Zhunwofei Science and Technology Co., LTD Human Body Posture Data Acquisition Method and System, and Data Processing Device
CN104881114A (zh) * 2015-05-13 2015-09-02 深圳彼爱其视觉科技有限公司 一种基于3d眼镜试戴的角度转动实时匹配方法
CN105205455A (zh) * 2015-08-31 2015-12-30 李岩 一种移动平台上人脸识别的活体检测方法及系统
CN106570747A (zh) * 2016-11-03 2017-04-19 济南博图信息技术有限公司 结合手势识别的眼镜在线适配方法及系统
CN109598223A (zh) * 2018-11-26 2019-04-09 北京洛必达科技有限公司 基于视频获取目标人物的方法和装置

Similar Documents

Publication Publication Date Title
US9665984B2 (en) 2D image-based 3D glasses virtual try-on system
EP2718902B1 (en) Generation of avatar reflecting player appearance
CN105279795B (zh) 基于3d标记的增强现实系统
EP2718903B1 (en) Controlling objects in a virtual environment
US11164378B1 (en) Virtual reality detection and projection system for use with a head mounted display
Giovanni et al. Virtual try-on using kinect and HD camera
CN107958479A (zh) 一种移动端3d人脸增强现实实现方法
US20090202114A1 (en) Live-Action Image Capture
CN109035413B (zh) 一种图像变形的虚拟试穿方法及系统
CN104809638A (zh) 一种基于移动终端的眼镜虚拟试戴方法和系统
US10665024B2 (en) Providing recording guidance in generating a multi-view interactive digital media representation
US11960146B2 (en) Fitting of glasses frames including live fitting
KR101743763B1 (ko) 감성 아바타 이모티콘 기반의 스마트 러닝 학습 제공 방법, 그리고 이를 구현하기 위한 스마트 러닝 학습 단말장치
CN111638784B (zh) 人脸表情互动方法、互动装置以及计算机存储介质
US11869135B2 (en) Creating action shot video from multi-view capture data
CN115803750B (zh) 使用参考框架的眼镜的虚拟试戴系统
CN104750933A (zh) 一种基于互联网的眼镜试戴方法及系统
CN107393018A (zh) 一种利用Kinect实现实时虚拟影像叠加的方法
CN109670440A (zh) 大熊猫脸的识别方法及装置
CN102074033A (zh) 一种动画制作方法和装置
CN106570747A (zh) 结合手势识别的眼镜在线适配方法及系统
CN104299143A (zh) 虚拟试戴方法及装置
US10976829B1 (en) Systems and methods for displaying augmented-reality objects
US11816860B2 (en) Detection device for detecting human-body orientation and detection method for detecting human-body orientation
CN112258280B (zh) 一种提取多角度头像生成展示视频的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant