CN108629824A - 图像生成方法、装置、电子设备及计算机可读介质 - Google Patents

图像生成方法、装置、电子设备及计算机可读介质 Download PDF

Info

Publication number
CN108629824A
CN108629824A CN201810402024.8A CN201810402024A CN108629824A CN 108629824 A CN108629824 A CN 108629824A CN 201810402024 A CN201810402024 A CN 201810402024A CN 108629824 A CN108629824 A CN 108629824A
Authority
CN
China
Prior art keywords
image
face
facial
user
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810402024.8A
Other languages
English (en)
Other versions
CN108629824B (zh
Inventor
赵涛涛
张尧
崔继群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JD Digital Technology Holdings Co Ltd
Jingdong Technology Holding Co Ltd
Original Assignee
Beijing Jingdong Financial Technology Holding Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Financial Technology Holding Co Ltd filed Critical Beijing Jingdong Financial Technology Holding Co Ltd
Priority to CN201810402024.8A priority Critical patent/CN108629824B/zh
Publication of CN108629824A publication Critical patent/CN108629824A/zh
Application granted granted Critical
Publication of CN108629824B publication Critical patent/CN108629824B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种图像生成方法、装置、电子设备及计算机可读介质。涉及计算机信息处理领域,该方法包括:根据用户指令确定待选图像,所述待选图片中包括第一面部图像;实时获取所述用户的面部图像;对所述面部图像进行图像矫正以获取第二面部图像;以及将所述第二面部图像与所述第一面部图像进行图像融合以生成待展示图像。本公开的图像生成方法、装置、电子设备及计算机可读介质,能够增加用户换装后的显示效果,避免图像比例不协调问题以及图像过度处理等问题的出现。

Description

图像生成方法、装置、电子设备及计算机可读介质
技术领域
本公开涉及计算机信息处理领域,具体而言,涉及一种图像生成方法、装置、电子设备及计算机可读介质。
背景技术
虚拟换衣是近年来新兴的一种概念,很多人在买衣服时不喜欢试穿,但又想知道自己身穿这身衣服的效果,虚拟换衣出现是为了解决这一问题。虚拟换衣的出现能够鼓励顾客浏览并试穿更多的衣服,而无需访问更衣室,简化了顾客购买衣服的流程,节省了购衣时间。同时虚拟换衣还能够帮助商店节省库存,店家不再需要为同一件衣服准备多种不同的尺码供顾客试穿,这对小型独立商店或位于地价昂贵地段的商店有重要意义。
在现有技术中,通过体感设备识别人体骨骼信息,然后将衣服以2D图片的形式贴放在人身上的方式以实现虚拟换衣。但是这种换装方式中,2D图片与人体的贴合度不高,容易漏出顾客的真实衣服,换装效果不佳。而且,人体手部与腿部骨骼较灵活,活动范围大。体感设备对其识别的准确度较其他部位的人体骨骼信息低,所以目前以这种技术生产的虚拟换装设备所提供的可更换衣物多为无袖的裙子,或者手提包,眼镜,帽子等小件物品。并且,目前体感设备无法识别人体背面,所以顾客只能看到自己正面的效果,而背面效果无法看到。
在现有技术中,还可例如,通过相机为顾客拍照,截取顾客头替换已有图片中模特头部实现换衣效果。此种方式容易导致最终效果顾客的头与身体比例不协调,头部与衣服交界处有明显ps痕迹。并且顾客需要距离设备一定距离才能有好的拍照效果,而又需要靠近设备对其进行操作,这种方式下顾客体验效果差。
因此,需要一种新的图像生成方法、装置、电子设备及计算机可读介质。
在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解,因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此,本公开提供一种图像生成方法、装置、电子设备及计算机可读介质,能够增加用户换装后的显示效果,避免图像比例不协调问题以及图像过度处理等问题的出现。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的一方面,提出一种图像生成方法,该方法包括:根据用户指令确定待选图像,所述待选图像中包括第一面部图像;实时获取所述用户的面部图像;对所述面部图像进行图像矫正以获取第二面部图像;以及将所述第二面部图像与所述第一面部图像进行图像融合以生成待展示图像。
在本公开的一种示例性实施例中,根据用户指令确定待选图片包括:通过预设体感设备对用户的手势进行识别;以及根据用户的手势确定所述待选图像。
在本公开的一种示例性实施例中,通过预设体感设备对用户的手势进行识别包括:通过预设体感设备识别预定人体骨骼节点;通过所述预定人体骨骼节点生成骨架系统;以及通过所述骨架系统对用户的手势进行识别。
在本公开的一种示例性实施例中,实时获取所述用户的面部图像包括:实时获取所述用户的深度面部图像与彩色面部图像。
在本公开的一种示例性实施例中,对所述面部图像进行图像矫正以获取第二面部图像包括:对所述面部图像进行面部旋转矫正以获取第二面部图像。
在本公开的一种示例性实施例中,对所述面部图像进行面部旋转矫正以获取第二面部图像包括:通过所述深度面部图像确定面部旋转角度;通过所述面部旋转角度对所述面部彩色图像进行面部旋转矫正以获取所述第二面部图像。
在本公开的一种示例性实施例中,通过所述深度面部图像确定面部旋转角度包括:通过所述深度面度图像确定面部中轴线;以及通过所述面部中轴线与头部骨骼点位置对比确定所述面部旋转角度。
在本公开的一种示例性实施例中,将所述第二面部图像与所述第一面部图像进行图像融合以生成待展示图像包括:通过Dlib确定所述第二面部图像中的多个关键点;将所述第二面部图像中的多个关键点与第一面部图像中预设的多个关键点进行图像融合以生成待展示图像。
在本公开的一种示例性实施例中,将所述第二面部图像中的多个关键点与第一面部图像中预设的多个关键点进行图像融合以生成待展示图像包括:通过预定的顺序与第二面部图像中的多个关键点对所述第二面部图像进行分割;通过预定的顺序与第一面部图像中的多个关键点对所述第一面部图像进行分割;以及用所述第二面部图像中的多个关键点替换所述第一面部图像中的多个关键点以生成待展示图像。
在本公开的一种示例性实施例中,还包括:对待展示图像进行图像抓取以生成实时照片。
根据本公开的一方面,提出一种图像生成装置,该装置包括:第一面部图像模块,用于根据用户指令确定待选图像,所述待选图像中包括第一面部图像;实时检测模块,用于实时获取所述用户的面部图像;第二面部图像模块,用于对所述面部图像进行图像矫正以获取第二面部图像;以及图像融合模块,用于将所述第二面部图像与所述第一面部图像进行图像融合以生成待展示图像。
根据本公开的一方面,提出一种电子设备,该电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上文的方法。
根据本公开的一方面,提出一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如上文中的方法。
根据本公开的图像生成方法、装置、电子设备及计算机可读介质,能够增加用户换装后的显示效果,避免图像比例不协调问题以及图像过度处理等问题的出现。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
通过参照附图详细描述其示例实施例,本公开的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本公开的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种图像生成方法及装置的系统框图。
图2是根据一示例性实施例示出的一种图像生成方法的流程图。
图3是根据一示例性实施例示出的一种图像生成方法中体感设备示意图。
图4是根据一示例性实施例示出的一种图像生成方法中体感设备成像原理示意图。
图5是根据一示例性实施例示出的一种图像生成方法中关键点示意图。
图6是根据另一示例性实施例示出的一种图像生成方法中关键点示意图。
图7是根据一示例性实施例示出的一种图像生成装置的框图。
图8是根据一示例性实施例示出的一种图像生成装置的示意图。
图9是根据另一示例性实施例示出的一种图像生成装置的示意图。
图10是根据一示例性实施例示出的一种电子设备的框图。
图11是根据一示例性实施例示出一种计算机可读存储介质示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以多种形式实施,且不应被理解为限于在此阐述的实施例;相反,提供这些实施例使得本公开将全面和完整,并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本公开的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
应理解,虽然本文中可能使用术语第一、第二、第三等来描述各种组件,但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此,下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本文中所使用,术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
本领域技术人员可以理解,附图只是示例实施例的示意图,附图中的模块或流程并不一定是实施本公开所必须的,因此不能用于限制本公开的保护范围。
图1是根据一示例性实施例示出的一种图像生成方法及装置的系统框图。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。终端设备101、102、103上还可以带有能够进行摄影摄像的摄像头装置。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所拍摄实时视频数据提供后台管理服务器。后台管理服务器可以对接收到的实时图像数据进行分析等处理,并将处理结果反馈给终端设备。
终端设备101、102、103可以通过自身的CPU对实时图像进行处理,终端设备101、102、103可以根据用户指令确定待选图像,所述待选图像中包括第一面部图像;终端设备101、102、103可以实时获取所述用户的面部图像;终端设备101、102、103可以对所述面部图像进行图像矫正以获取第二面部图像;终端设备101、102、103可以将所述第二面部图像与所述第一面部图像进行图像融合以生成待展示图像。
还可例如,终端设备101、102、103可以将接收到的实时图像传送到服务器105,由服务器105进行处理。终端设备101、102、103可以根据用户指令确定待选图像,所述待选图像中包括第一面部图像;服务器105可以实时获取所述用户的面部图像;服务器105可以对所述面部图像进行图像矫正以获取第二面部图像;服务器105可以将所述第二面部图像与所述第一面部图像进行图像融合以生成待展示图像。终端设备101、102、103展示待展示的图像。
需要说明的是,本公开实施例所提供的图像生成方法可以由服务器105执行与终端设备101、102、103执行,相应地,图像生成装置可以设置于服务器105与终端设备101、102、103中。而提供给用户进行商品浏览并选择的网页端与进行图像展示的显示端一般位于终端设备101、102、103中。
下面以虚拟换装的实际应用场景为例,对本申请的图像生成方法的具体内容进行详细介绍。然而,本申请中的图像生成方法不仅可以应用在虚拟换装应用场景中,还可例如应用在变换用户发型颜色,变换用户图像背景等等方面,本申请不以此为限。
图2是根据一示例性实施例示出的一种图像生成方法的流程图。图像生成方法20至少包括步骤S202至S208。
如图2所示,在S202中,根据用户指令确定待选图像,所述待选图像中包括第一面部图像。可例如,通过预设体感设备对用户的手势进行识别;以及根据用户的手势确定所述待选图像。预设体感设备可例如为Kinect设备。Kinect是微软开发的一款3D体感外设,可以识别三维空间中玩家的运动,同时他还导入了动态捕捉,影像辨识,麦克风输入,语音辨识等功能。Kinect可以对三维空间中玩家动作的识别,并进行骨骼跟踪,识别玩家手势。
Kinect可以识别多种手势,在一个实施例中,可例如用户通过手势确定待选图像,具体的,该手势可例如为左右挥手,分为右手向左挥与左手向右挥。具体识别方法请见后文中的描述。
在一个实施例中,在确定待选图像之前还可例如通过体感设备进行人体检测,人体检测的目的是判读虚拟换装设备前是否有人。若有人,则进入操作页面。判断的依据是Kinect是否从获得到的深度图像中识别出人体。
在S204中,实时获取所述用户的面部图像。可例如,实时获取所述用户的深度面部图像与彩色面部图像。Kinect有三个摄像头,分别为红外摄像机,彩色摄像头与红外深度摄像头,在本申请中,通过Kinect实时获取所述用户的面部图像中,分别包括上述摄像头获取的用户面部图像。
在S206中,对所述面部图像进行图像矫正以获取第二面部图像。可例如,对所述面部图像进行面部旋转矫正以获取第二面部图像。
在一个实施例中,对所述面部图像进行面部旋转矫正以获取第二面部图像包括:通过所述深度面部图像确定面部旋转角度;通过所述面部旋转角度对所述面部彩色图像进行面部旋转矫正以获取所述第二面部图像。
在一个实施例中,通过所述深度面部图像确定面部旋转角度包括:通过所述深度面度图像确定面部中轴线;以及通过所述面部中轴线与头部骨骼点位置对比确定所述面部旋转角度。
具体的面部图像矫正方法请见后文中的描述。
在S208中,将所述第二面部图像与所述第一面部图像进行图像融合以生成待展示图像。可例如,通过Dlib确定所述第二面部图像中的多个关键点;将所述第二面部图像中的多个关键点与第一面部图像中预设的多个关键点进行图像融合以生成待展示图像。Dlib是一个机器学习的C++库,包含了许多机器学习常用的算法。使得使用者可以通过该库对实时图像进行检测,并对图像中的面部特征进行定位与提取,进而进行后续的操作。
在一个实施例中,将所述第二面部图像中的多个关键点与第一面部图像中预设的多个关键点进行图像融合以生成待展示图像包括:通过预定的顺序与第二面部图像中的多个关键点对所述第二面部图像进行分割;通过预定的顺序与第一面部图像中的多个关键点对所述第一面部图像进行分割;以及用所述第二面部图像中的多个关键点替换所述第一面部图像中的多个关键点以生成待展示图像。
具体的面部图像融合方法请见后文中的描述。
在本公开的一种示例性实施例中,还包括:对待展示图像进行图像抓取以生成实时照片。Kinect拥有三个摄像头,其中红外摄像头与红外深度摄像头用来获取深度图像,而彩色摄像头则用来获取彩色图像。在现有技术中,Kinect虽然能获取彩色图像但不具有拍照功能,在本申请中,采用截图的方式进行图像抓取,以此实现拍照功能。
根据本公开的图像生成方法,通过实时获取用户的面部图像,并将用户面部图像与模特的面部图像进行图像融合得到换装效果图的方式,能够增加用户换装后的显示效果,避免图像比例不协调问题以及图像过度处理等问题的出现。
应清楚地理解,本公开描述了如何形成和使用特定示例,但本公开的原理不限于这些示例的任何细节。相反,基于本公开公开的内容的教导,这些原理能够应用于许多其它实施例。
下面将对上文中的“通过预设体感设备对用户的手势进行识别”进行详细描述。
图3是根据一示例性实施例示出的一种图像生成方法中体感设备示意图。如图3所示,Kinect设备具有三个摄像头,分别为红外摄像机,彩色摄像头与红外深度摄像头。在本申请中,Kinect实现骨骼跟踪依赖的主要是红外摄像机与红外深度摄像头。实现骨骼跟踪首先要对Kinect拍摄到的三维空间生成一副深度图像。
图4是根据一示例性实施例示出的一种图像生成方法中体感设备成像原理示意图。如图4所示,Kinect采用的是Light Coding技术,就是通过光源照明对三维空间进行编码。红外摄像机发射激光,照射到粗糙物体上后会形成衍射光斑,衍射光斑会根据照射的距离不同,会形成不同的形状。但一个物体处在这样的一个三维空间中,只要通过判断物体上的光斑形状,就能知道物体在此三维空间中所处的位置。红外深度摄像头的作用就是分析这些红外线光斑,生成一副可视范围内的物体,人体的深度图像。
生成深度图像后,Kinect优先从靠近Kinect的位置进行扫描,以识别出人体各部位,识别之后,Kinect会通过这些人体部位的位置识别出人体构造骨骼信息的25个关节点,并通过这25个关节点生成一副骨架系统,通过这幅骨架系统,能准确的识别出人体的位置信息以及人体的一些特定动作。
Kinect可以识别多种手势。在一个实施例中,可例如用户通过手势确定待选图像,具体的,该手势可例如为左右挥手,分为右手向左挥与左手向右挥。实现方法为:将kinect识别检测到的骨骼坐标转换为屏幕坐标。以右手为例,若右手尖骨骼坐标的x值大于右手腕坐标x值,则将其视为手心朝向Kinect,若右手尖骨骼坐标的x值小于右手腕坐标x值,则视为手背朝向Kinect。判断当手从手心朝向Kinect状态变为手背朝向Kinect,同时单位时间内手腕部骨骼坐标x值变化达到一定值时,便将其视为用户右手向左挥。同样可判断左手向右挥。
下面将对上文中的“对所述面部图像进行面部旋转矫正以获取第二面部图像”进行据具体描述。
在本申请中,截图保存换装图像时,使用者必须是正对Kinect彩色摄像头,因此在截图时,会先利用Kinect进行正脸检测。前文提Kinect能从深度图像中识别出人体骨骼信息,此外,它还能够从中识别出人脸五官的大体位置。本发明通过五官的位置计算出人脸的中轴线,通过中轴线与人头部骨骼点的位置对比计算出人脸的一个旋转角度,但这个旋转角度是通过深度图像计算出的,由于Kinect彩色摄像头与红外深度摄像头有一定距离,这导致当Kinect检测出人脸正对Kinect时,彩色图像中的人脸却是歪的,因此本发明将人脸的旋转角度进行了一系列坐标转换,以此实现检测彩色图像中的使用者正脸。
下面将对上文中的“将所述第二面部图像与所述第一面部图像进行图像融合以生成待展示图像”进行具体描述。
图5是根据一示例性实施例示出的一种图像生成方法中关键点示意图。如图5所示,将截取到的使用者的脸与模特的脸进行融合,完成虚拟换装的效果。首先进行人脸检测与人脸关键定位,此步骤的实现主要是通过调用Dlib库实现,Dlib是一个开源的使用现代C++技术编写的跨平台的通用库,它包含很多的模块,例如算法,线性代数,贝叶斯网络,机器学习,图像处理等等。其中图像处理模块就有人脸检测和关键点定位的函数。通过调用这个函数便可以从一张图片中检测出人脸,同时可以从人脸中检测出68个人脸关键点。
图6是根据一示例性实施例示出的一种图像生成方法中关键点示意图。如图6所示,在一个实施例中,同时对模特图片与用户脸部截图进行人脸关键点确定,然后分别计算出人脸关键点的坐标。因为三个关键点都可以确定一个三角形,以一定顺序将所有关键点彼此连接,就可以将一张人脸分割成数个小三角形。在本申请中以相同的顺序对两张人脸进行分割,然后只需要将两张图片关键点的坐标进行交换,便能够实现人脸融合的效果。
根据本公开的图像生成方法,用户只需要通过简单手势便可完成整个换装流程,无需频繁靠近,远离设备,操作方便。
根据本公开的图像生成方法,以人脸融合的方式进行换装,不会出现明显的ps痕迹。而且,只对模特脸部细节进行更换,头部大小不会发生变化,避免出现人体比例不协调的现象。
根据本公开的图像生成方法,同时支持线上与线下两种支付方式,用户购买更方便。不仅能为用户减少换衣时间,简化了购买衣服的流程;还能够帮助商家减少库存;同时用户可获得换装图片,有很好的纪念意义。
图7是根据一示例性实施例示出的一种图像生成装置的框图,图8是根据一示例性实施例示出的一种图像生成装置的示意图。下面通过图7与图8对利用本申请中图像生成方法中用户使用过程进行详细描述。
1.换装显示设备在无用户进行操作时,默认循环展示虚拟服装。
2.体感设备检测有用户待进行操作,随后跳转至拍照页面。可例如,通过摄像头识别到有人体存在,即认为有用户待进行操作。
3.体感设备识别用户手势,根据用户手势切换待展示的虚拟服装。用户手势可例如为右手向左挥动,或者左右向右挥动。
4.用户通过手势确定虚拟服装,虚拟服装选择完成后,体感设备开始进行人脸检测。
5.检测到用户的正脸之后,通过图像识别确定人脸位置,进行人脸截图。
6.人脸截图与虚拟服装中的模特的人脸图像进行融合,以生成新的图片。
7.展示融合后图片,用户可根据效果选择是否购买衣服,可直接在店内进行购买,也可以选择扫码进行线上购买。若对效果满意也可扫码收藏图片。当用户不满意时,可挥手回到拍照页面,重新选择衣服进行拍照。
展示给用户的页面主要可分为默认页面,拍照页面,分享页面。默认页面在检测无人时会循环展示服装,有人时跳转到拍照页面。拍照页面的设计可以是一个镜子的形状,给人照镜子换衣服的感觉,这个页面上用户可以随时挥手切换衣服,用户选定衣服后,Kinect开始检测人脸,当检测到正脸,开始拍照,然后进行人脸融合,融合完成进入分享页面。用户可从此页面看到自己的换装效果,扫描二维码获得图片,同时可进行线上支付,选择合适尺码。
本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时,执行本公开提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中,该存储介质可以是只读存储器,磁盘或光盘等。
此外,需要注意的是,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
下述为本公开装置实施例,可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开方法实施例。
图9是根据另一示例性实施例示出的一种图像生成装置的示意图。图像生成装置90包括:第一面部图像模块902,实时检测模块904,第二面部图像模块906,以及图像融合模块908。
第一面部图像模块902用于根据用户指令确定待选图像,所述待选图像中包括第一面部图像。可例如,通过预设体感设备对用户的手势进行识别;以及根据用户的手势确定所述待选图像。预设体感设备可例如为Kinect设备。
实时检测模块904用于实时获取所述用户的面部图像。实时获取所述用户的深度面部图像与彩色面部图像。Kinect有三个摄像头,分别为红外摄像机,彩色摄像头与红外深度摄像头,在本申请中,通过Kinect实时获取所述用户的面部图像中,分别包括上述摄像头获取的用户面部图像。
第二面部图像模块906用于对所述面部图像进行图像矫正以获取第二面部图像。可例如,通过所述深度面部图像确定面部旋转角度;通过所述面部旋转角度对所述面部彩色图像进行面部旋转矫正以获取所述第二面部图像。
图像融合模块908用于将所述第二面部图像与所述第一面部图像进行图像融合以生成待展示图像。可例如,通过Dlib确定所述第二面部图像中的多个关键点;将所述第二面部图像中的多个关键点与第一面部图像中预设的多个关键点进行图像融合以生成待展示图像。
根据本公开的图像生成装置,通过实时获取用户的面部图像,并将用户面部图像与模特的面部图像进行图像融合得到换装效果图的方式,能够增加用户换装后的显示效果,避免图像比例不协调问题以及图像过度处理等问题的出现。
图10是根据一示例性实施例示出的一种电子设备的框图。
下面参照图10来描述根据本公开的这种实施方式的电子设备200。图10显示的电子设备200仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示,电子设备200以通用计算设备的形式表现。电子设备200的组件可以包括但不限于:至少一个处理单元210、至少一个存储单元220、连接不同系统组件(包括存储单元220和处理单元210)的总线230、显示单元240等。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元210执行,使得所述处理单元210执行本说明书上述电子处方流转处理方法部分中描述的根据本公开各种示例性实施方式的步骤。例如,所述处理单元210可以执行如图2中所示的步骤。
所述存储单元220可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)2201和/或高速缓存存储单元2202,还可以进一步包括只读存储单元(ROM)2203。
所述存储单元220还可以包括具有一组(至少一个)程序模块2205的程序/实用工具2204,这样的程序模块2205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线230可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备200也可以与一个或多个外部设备300(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备200交互的设备通信,和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口250进行。并且,电子设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器260可以通过总线230与电子设备200的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备200使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述方法。
图11示意性示出本公开示例性实施例中一种计算机可读存储介质示意图。
参考图11所示,描述了根据本公开的实施方式的用于实现上述方法的程序产品400,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该计算机可读介质实现如下功能:根据用户指令确定待选图像,所述待选图片中包括第一面部图像;实时获取所述用户的面部图像;对所述面部图像进行图像矫正以获取第二面部图像;以及将所述第二面部图像与所述第一面部图像进行图像融合以生成待展示图像。
本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中,也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
通过以上的实施例的描述,本领域的技术人员易于理解,这里描述的示例实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施例的方法。

Claims (13)

1.一种图像生成方法,其特征在于,包括:
根据用户指令确定待选图像,所述待选图像中包括第一面部图像;
实时获取所述用户的面部图像;
对所述面部图像进行图像矫正以获取第二面部图像;以及
将所述第二面部图像与所述第一面部图像进行图像融合以生成待展示图像。
2.如权利要求1所述的方法,其特征在于,根据用户指令确定待选图片包括:
通过预设体感设备对用户的手势进行识别;以及
根据用户的手势确定所述待选图像。
3.如权利要求2所述的方法,其特征在于,通过预设体感设备对用户的手势进行识别包括:
通过预设体感设备识别预定人体骨骼节点;
通过所述预定人体骨骼节点生成骨架系统;以及
通过所述骨架系统对用户的手势进行识别。
4.如权利要求1所述的方法,其特征在于,实时获取所述用户的面部图像包括:
实时获取所述用户的深度面部图像与彩色面部图像。
5.如权利要求4所述的方法,其特征在于,对所述面部图像进行图像矫正以获取第二面部图像包括:
对所述面部图像进行面部旋转矫正以获取第二面部图像。
6.如权利要求5所述的方法,其特征在于,对所述面部图像进行面部旋转矫正以获取第二面部图像包括:
通过所述深度面部图像确定面部旋转角度;
通过所述面部旋转角度对所述面部彩色图像进行面部旋转矫正以获取所述第二面部图像。
7.如权利要求6所述的方法,其特征在于,通过所述深度面部图像确定面部旋转角度包括:
通过所述深度面度图像确定面部中轴线;以及
通过所述面部中轴线与头部骨骼点位置对比确定所述面部旋转角度。
8.如权利要求1所述的方法,其特征在于,将所述第二面部图像与所述第一面部图像进行图像融合以生成待展示图像包括:
通过Dlib确定所述第二面部图像中的多个关键点;
将所述第二面部图像中的多个关键点与第一面部图像中预设的多个关键点进行图像融合以生成待展示图像。
9.如权利要求8所述的方法,其特征在于,将所述第二面部图像中的多个关键点与第一面部图像中预设的多个关键点进行图像融合以生成待展示图像包括:
通过预定的顺序与第二面部图像中的多个关键点对所述第二面部图像进行分割;
通过预定的顺序与第一面部图像中的多个关键点对所述第一面部图像进行分割;以及
用所述第二面部图像中的多个关键点替换所述第一面部图像中的多个关键点以生成待展示图像。
10.如权利要求1所述的方法,其特征在于,还包括:
对待展示图像进行图像抓取以生成实时照片。
11.一种图像生成装置,其特征在于,包括:
第一面部图像模块,用于根据用户指令确定待选图像,所述待选图像中包括第一面部图像;
实时检测模块,用于实时获取所述用户的面部图像;
第二面部图像模块,用于对所述面部图像进行图像矫正以获取第二面部图像;以及
图像融合模块,用于将所述第二面部图像与所述第一面部图像进行图像融合以生成待展示图像。
12.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-10中任一所述的方法。
13.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-10中任一所述的方法。
CN201810402024.8A 2018-04-28 2018-04-28 图像生成方法、装置、电子设备及计算机可读介质 Active CN108629824B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810402024.8A CN108629824B (zh) 2018-04-28 2018-04-28 图像生成方法、装置、电子设备及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810402024.8A CN108629824B (zh) 2018-04-28 2018-04-28 图像生成方法、装置、电子设备及计算机可读介质

Publications (2)

Publication Number Publication Date
CN108629824A true CN108629824A (zh) 2018-10-09
CN108629824B CN108629824B (zh) 2020-07-31

Family

ID=63694918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810402024.8A Active CN108629824B (zh) 2018-04-28 2018-04-28 图像生成方法、装置、电子设备及计算机可读介质

Country Status (1)

Country Link
CN (1) CN108629824B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840059A (zh) * 2019-01-29 2019-06-04 北京字节跳动网络技术有限公司 用于显示图像的方法和装置
CN110837332A (zh) * 2019-11-13 2020-02-25 北京字节跳动网络技术有限公司 面部图像变形方法、装置、电子设备和计算机可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030076318A1 (en) * 2001-10-19 2003-04-24 Ar Card Method of virtual garment fitting, selection, and processing
CN103489107A (zh) * 2013-08-16 2014-01-01 北京京东尚科信息技术有限公司 一种制作虚拟试衣模特图像的方法和装置
CN103971251A (zh) * 2014-05-25 2014-08-06 吴正畦 一种基于模特真实试衣效果影像库的试衣系统
CN104376589A (zh) * 2014-12-04 2015-02-25 青岛华通国有资本运营(集团)有限责任公司 一种替换影视剧人物的方法
CN105843386A (zh) * 2016-03-22 2016-08-10 宁波元鼎电子科技有限公司 一种商场虚拟试衣系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030076318A1 (en) * 2001-10-19 2003-04-24 Ar Card Method of virtual garment fitting, selection, and processing
CN103489107A (zh) * 2013-08-16 2014-01-01 北京京东尚科信息技术有限公司 一种制作虚拟试衣模特图像的方法和装置
CN103971251A (zh) * 2014-05-25 2014-08-06 吴正畦 一种基于模特真实试衣效果影像库的试衣系统
CN104376589A (zh) * 2014-12-04 2015-02-25 青岛华通国有资本运营(集团)有限责任公司 一种替换影视剧人物的方法
CN105843386A (zh) * 2016-03-22 2016-08-10 宁波元鼎电子科技有限公司 一种商场虚拟试衣系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840059A (zh) * 2019-01-29 2019-06-04 北京字节跳动网络技术有限公司 用于显示图像的方法和装置
CN110837332A (zh) * 2019-11-13 2020-02-25 北京字节跳动网络技术有限公司 面部图像变形方法、装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
CN108629824B (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
CN107430437B (zh) 在虚拟现实/增强现实环境中创建真实的抓取体验的系统和方法
Sekhavat Privacy preserving cloth try-on using mobile augmented reality
US10963047B2 (en) Augmented mirror
Adikari et al. Applicability of a Single Depth Sensor in Real‐Time 3D Clothes Simulation: Augmented Reality Virtual Dressing Room Using Kinect Sensor
JP6674192B2 (ja) 画像処理装置と画像処理方法
US9740282B1 (en) Gaze direction tracking
EP3394709B1 (en) Augmented mirror
US9213420B2 (en) Structured lighting based content interactions
CN106127552B (zh) 一种虚拟场景显示方法、装置及系统
US10043317B2 (en) Virtual trial of products and appearance guidance in display device
US20130254066A1 (en) Shared user experiences
CN108304075A (zh) 一种在增强现实设备进行人机交互的方法与设备
CN105556508A (zh) 虚拟镜子的装置、系统和方法
WO2017108703A1 (en) Augmented mirror
CN108846792A (zh) 图像处理方法、装置、电子设备及计算机可读介质
US20170148225A1 (en) Virtual dressing system and virtual dressing method
CN111767817A (zh) 一种服饰搭配方法、装置、电子设备及存储介质
CN108629824A (zh) 图像生成方法、装置、电子设备及计算机可读介质
Treepong et al. Makeup creativity enhancement with an augmented reality face makeup system
CN109147001A (zh) 一种用于呈现虚拟指甲的方法与设备
WO2017108702A1 (en) Augmented mirror
Zhang et al. Application of traditional Chinese elements in visual communication design based on somatosensory interaction parameterisation
Diaz et al. Multimodal sensing interface for haptic interaction
Attallah et al. A Cost-Efficient Approach for Creating Virtual Fitting Room using Generative Adversarial Networks (GANs)
JP2015516629A (ja) 多様な環境における構造化照明ベースのコンテンツ対話

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 221, 2nd floor, Block C, 18 Kechuang 11th Street, Beijing Economic and Technological Development Zone, 100176

Applicant after: JINGDONG DIGITAL TECHNOLOGY HOLDINGS Co.,Ltd.

Address before: Room 221, 2nd floor, Block C, 18 Kechuang 11th Street, Beijing Economic and Technological Development Zone, 100176

Applicant before: BEIJING JINGDONG FINANCIAL TECHNOLOGY HOLDING Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Patentee after: Jingdong Technology Holding Co.,Ltd.

Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Patentee before: Jingdong Digital Technology Holding Co.,Ltd.

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Patentee after: Jingdong Digital Technology Holding Co.,Ltd.

Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Beijing Economic and Technological Development Zone, 100176

Patentee before: JINGDONG DIGITAL TECHNOLOGY HOLDINGS Co.,Ltd.