CN108564612A - 模型显示方法、装置、存储介质及电子设备 - Google Patents

模型显示方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN108564612A
CN108564612A CN201810253018.0A CN201810253018A CN108564612A CN 108564612 A CN108564612 A CN 108564612A CN 201810253018 A CN201810253018 A CN 201810253018A CN 108564612 A CN108564612 A CN 108564612A
Authority
CN
China
Prior art keywords
dimensional
clothing
human body
user
body image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810253018.0A
Other languages
English (en)
Inventor
谭筱
王健
蓝和
邹奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810253018.0A priority Critical patent/CN108564612A/zh
Publication of CN108564612A publication Critical patent/CN108564612A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种模型显示方法、装置、存储介质及电子设备,其中,本申请实施例首先获取用户的第一人体图像集合,其中,第一人体图像集合中任意两个第一人体图像的拍摄角度不同;然后根据第一人体图像集合生成用户的三维人体模型;再将三维人体模型融合至实时拍摄的预览图像中进行显示;再显示衣物选择接口,并通过衣物选择接口接收输入的衣物选择信息;最后获取衣物选择信息对应的三维衣物模型,并将三维衣物模型融合至三维人体模型上进行显示,由此通过虚拟试衣的方式向用户展示其试穿选中衣物的实际效果,并且,将用户的穿衣效果融入到了现实场景中,增强了虚拟试衣的真实效果,从而满足了用户的实际试衣需求,能够帮助用户挑选到合身的衣物。

Description

模型显示方法、装置、存储介质及电子设备
技术领域
本申请涉及图像处理技术领域,具体涉及一种模型显示方法、装置、存储介质及电子设备。
背景技术
目前,人们在购买衣物时,通常存在不方便试衣的情况,使得人们难以挑选到合身的衣物。
比如,在实体店选购衣物时,试衣需要排队,等候试衣需要耗费漫长的等待时间,而且,试衣时也通常需要对衣物进行反复穿脱,浪费大量时间和精力,也不一定能够挑选到合身的衣物。
又比如,在通过网络选购衣物时,将面临无法试衣的境地,通常只能通过商家展示的模特图片来假想自己的穿衣效果,往往难以挑选到合身的衣物。
因此,如何满足用户的试衣需求,是一个亟需解决的问题。
发明内容
本申请实施例提供了一种模型显示方法、装置、存储介质及电子设备,能够满足用户的试衣需求,帮助用户挑选到合身的衣物。
第一方面,本申请实施例了提供了的一种模型显示方法,包括:
获取用户的第一人体图像集合,其中,所述第一人体图像集合中任意两个第一人体图像的拍摄角度不同;
根据所述第一人体图像集合生成所述用户的三维人体模型;
将所述三维人体模型融合至实时拍摄的预览图像中进行显示;
显示衣物选择接口,并通过所述衣物选择接口接收输入的衣物选择信息;
获取所述衣物选择信息对应的三维衣物模型,并将所述三维衣物模型融合至所述三维人体模型上进行显示。
第二方面,本申请实施例了提供了的一种模型显示装置,包括:
图像获取模块,用于获取用户的第一人体图像集合,其中,所述第一人体图像集合中任意两个第一人体图像的拍摄角度不同;
模型生成模块,用于根据所述第一人体图像集合生成所述用户的三维人体模型;
第一显示模块,用于将所述三维人体模型融合至实时拍摄的预览图像中进行显示;
信息输入模块,用于显示衣物选择接口,并通过所述衣物选择接口接收输入的衣物选择信息;
第二显示模块,用于获取所述衣物选择信息对应的三维衣物模型,并将所述三维衣物模型融合至所述三维人体模型上进行显示。
第三方面,本申请实施例提供的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如本申请任一实施例提供的模型显示方法。
第四方面,本申请实施例提供了一种电子设备,包括中央处理器和存储器,所述存储器有计算机程序,所述中央处理器通过调用所述计算机程序,用于执行如本申请任一实施例提供的模型显示方法;
本申请实施例首先获取用户的第一人体图像集合,其中,第一人体图像集合中任意两个第一人体图像的拍摄角度不同;然后根据第一人体图像集合生成用户的三维人体模型;再将三维人体模型融合至实时拍摄的预览图像中进行显示;再显示衣物选择接口,并通过衣物选择接口接收输入的衣物选择信息;最后获取衣物选择信息对应的三维衣物模型,并将三维衣物模型融合至三维人体模型上进行显示,由此通过虚拟试衣的方式向用户展示其试穿选中衣物的实际效果,并且,将用户的穿衣效果融入到了现实场景中,增强了虚拟试衣的真实效果,从而满足了用户的实际试衣需求,能够帮助用户挑选到合身的衣物。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的模型显示方法的应用场景示意图。
图2是本申请实施例提供的模型显示方法的一个流程示意图。
图3是本申请实施例中第一摄像头和第二摄像头的设置位置示意图。
图4是本申请实施例中通过第一摄像头和第二摄像头成像的示意图。
图5是本申请实施例中提供的体型参数输入接口的示例图。
图6是本申请实施例中试衣界面启动接口的设置位置示意图。
图7是本申请实施例中试衣界面的分区示意图。
图8是本申请实施例中显示融合由三维人体模型的预览图像、以及衣物选择接口的示例图。
图9是本申请实施例中融合显示三维衣物模型以及三维人体模型的示例图。
图10是本申请实施例中提供的模型显示方法的另一个流程示意图。
图11是本申请实施例提供的模型显示装置的一结构示意图。
图12是本申请实施例提供的电子设备的一个结构示意图。
图13是本申请实施例提供的电子设备的另一结构示意图。
图14是本申请实施例中图像处理电路的一个细化结构示意图。
图15是本申请实施例中图像处理电路的另一个细化结构示意图。
具体实施方式
请参照图式,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
在以下的说明中,本申请的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明,除非另有述明。因此,这些步骤及操作将有数次提到由计算机执行,本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处,其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置,其具有由该数据格式所定义的特定特性。但是,本申请原理以上述文字来说明,其并不代表为一种限制,本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本文所使用的术语“模块”可看做为在该运算系统上执行的软件对象。本文所述的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文所述的装置及方法可以以软件的方式进行实施,当然也可在硬件上进行实施,均在本申请保护范围之内。
本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块,而是某些实施例还包括没有列出的步骤或模块,或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例提供一种模型显示方法,该模型显示方法的执行主体可以是本申请实施例提供的模型显示装置,或者集成了该模型显示装置的电子设备,其中该模型显示装置可以采用硬件或者软件的方式实现。其中,电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等设备。
请参阅图1,图1为本申请实施例提供的模型显示方法的应用场景示意图,以模型显示装置集成在电子设备中为例,电子设备可以首先获取用户的第一人体图像集合,其中,第一人体图像集合中任意两个第一人体图像的拍摄角度不同;然后根据第一人体图像集合生成用户的三维人体模型;再将三维人体模型融合至实时拍摄的预览图像中进行显示;再显示衣物选择接口,并通过衣物选择接口接收输入的衣物选择信息;最后获取衣物选择信息对应的三维衣物模型,并将三维衣物模型融合至三维人体模型上进行显示。
具体地,请参照图1,以某型号电子设备为例,电子设备首先获取用户的第一人体图像集合,比如,以用户为拍摄对象,电子设备通过摄像头按照不同的拍摄角度对用户进行拍摄,拍摄得到对应用户前、后、左、右共四个不同拍摄角度的第一人体图像,这四个不同拍摄角度的第一人体图像构成第一人体图像集合;在获取到用户的第一人体图像集合之后,电子设备根据第一人体图像集合中的多个拍摄角度不同的第一人体图像,进行三维建模操作,生成用户的三维人体模型;在生成用户的三维人体模型之后,将该三维人体模型融合至实时拍摄的预览图像中进行显示,也即是将用户的三维人体模型融合到显示场景中;之后,若预览图像当前全屏显示,则可以在预览图像的显示界面之上叠加显示衣物选择接口,向用户提供选择试穿衣物的功能,相应的,电子设备通过显示的衣物选择接口接收用户输入的衣物选择信息;在接收到用户选择的衣物选择信息之后,根据该衣物选择信息获取到对应的三维衣物模型,并将该三维衣物模型融合至三维人体模型进行显示,由此实现虚拟试衣的效果,并且,由于将用户的试衣效果与当前的现实场景进行了融合,能够提升虚拟试衣真实效果。
请参照图2,图2为本申请实施例提供的模型显示方法的流程示意图。本申请实施例提供的模型显示方法的具体流程可以如下:
101、获取用户的第一人体图像集合,其中,第一人体图像集合中任意两个第一人体图像的拍摄角度不同。
本申请实施例中,电子设备可以通过摄像头按照不同的拍摄角度对用户进行拍摄,由此得到多个拍摄角度不同的用户的第一人体图像,通过拍摄得到的多个拍摄角度不同的第一人体图像构成第一人体图像集合。需要说明的是,在对用户进行拍摄时,除拍摄角度不同之外,其它的拍摄参数需要相同,包括但不限于拍摄距离以及曝光参数等。
此外,在对用户进行拍摄时,可以通过多种方式来实现对用户不同角度的拍摄,用户可以站定不动,通过移动电子设备的方式来获得不同的拍摄角度;也可以固定电子设备,由用户原地旋转的方式来获得不同的拍摄角度。
比如,在对用户进行拍摄时,被拍摄的用户站定不动,由其他用户手持电子设备在被拍摄用户正面、背面、左面以及右面分别对被拍摄用户进行拍摄,得到四个拍摄角度不同的第一人体图像,由这四个第一人体图像构成第一人体图像集合。
又比如,在对用户进行拍摄时,可由用户将电子设备固定,并设置定时拍摄时间,以及拍摄张数;在完成前述设置之后,用户可以先正面朝向电子设备,待电子设备完成第一拍摄时(此时电子设备将拍摄到用户正面的第一人体图像),用户原地顺时针旋转90度(即身体左面朝向电子设备),待电子设备完成第二次拍摄时(此时电子设备将拍摄到用户左面的第一人体图像),用户再原地顺时针旋转90度(即身体背面朝向电子设备),待电子设备完成第三拍摄时(此时电子设备将拍摄到用户背面的第一人体图像),用户再原地瞬时针旋转90度(即身体右面朝向电子设备),待电子设备完成第四次拍摄,由此,电子设备将同样拍摄到用户正面、背面、左面以及右面共四个不同拍摄角度的第一人体图像,由这四个第一人体图像构成第一人体图像集合。
此外,对于第一人体图像中包括的第一人体图像的数量,本申请实施例不做具体限制,但至少包括两个拍摄角度不同的第一人体图像,而随着不同拍摄角度的第一人体图像数量的增加,将提升后续生成三维人体模型的精度。
102、根据第一人体图像集合生成用户的三维人体模型。
其中,通过对第一人体图像集合中多个第一人体图像进行分析,获取用户的体型参数,体型参数包括但不限于:身高、胸围、臀围、臀围、臂宽以及腿长等参数。
之后,根据获取得到的用户的这些体型参数,进行三维建模,从而生成用户的三维人体模型。
在一实施例中,根据第一人体图像集合生成用户的三维人体模型,包括:
获取第一人体图像集合中第一人体图像的深度信息;
根据第一人体图像及其深度信息生成用户的三维人体模型。
其中,在获取用户的体型参数时,可根据第一人体图像的深度信息进行获取。
具体的,首先获取第一人体图像的深度信息,该深度信息也即是被拍摄的用户的深度信息,该深度信息可以描述第一人体图像中构成“用户”的任一像素点到电子设备的距离。
在获取到第一人体图像的深度信息之后,进一步在第一人体图像中确定与用户的体型参数相关联的人体特征点,这些人体特征点包括但不限于:用户的头顶、胸部、腰部、臀部、左右手腕、以及脚底等。
之后,从第一人体图像的深度信息中提取出这些人体特征点对应的深度信息,从而获取到这些人体特征点在不同第一人体图像中的深度信息,进而根据这些人体特征点在不同第一人体图像中的深度信息,即可计算出用户的体型参数。
可选的,在一实施例中,在对用户进行拍摄时,同步通过深度传感器获取用户在不同拍摄角度的深度信息;
将获取到的多个深度信息分别与拍摄得到的多个第一人体图像进行关联存储;
而第一人体图像的深度信息包括:
获取存储的、与第一人体图像关联的深度信息。
其中,电子设备通过设置的深度传感器接收来自用户发射或反射的光能量,形成有关用户的光能量分布函数,即灰度图像,然后在这些灰度图像的基础上恢复用户的深度信息;或者电子设备通过深度传感器向用户发射能量,然后接收用户对所发射能量的反射能量,形成有关用户的光能量分布函数,即灰度图像,然后在这些灰度图像的基础上恢复拍摄场景的深度信息。
换言之,可以在对用户进行拍摄,获取得到多个拍摄角度不同的第一人体图像的同时,通过深度传感器获取到用户的多个深度信息。
可选的,在一实施例中,请参照图3,电子设备包括第一摄像头和第二摄像头,获取用户的第一人体图像集合,包括:
按照多个不同的拍摄角度,通过第一摄像头对用户进行拍摄,得到用户的第一人体图像集合;
在通过第一摄像头进行拍摄时,同步通过第二摄像头对用户进行拍摄,得到第二人体图像集合;
而获取第一人体图像集合中第一人体图像的深度信息,包括:
根据第一人体图像以及第二人体图像集合中的第二人体图像获取第一人体图像的深度信息。
具体的,电子设备在每次通过第一摄像头对用户进行拍摄,得到第一人体图像的同时,同步通过第二摄像头对用户进行拍摄,得到第二人体图像。比如,当按照四个不同的拍摄角度通过第一摄像头对用户进行拍摄时,将得到四个拍摄角度不同的第一人体图像,并得到第二摄像头拍摄的四个第二人体图像,由于第一摄像头和第二摄像头存在一定的间隔距离,使得同步拍摄的第一人体图像和第二人体图像的拍摄角度也不相同。
之后,根据第一摄像头和第二摄像头同步拍摄得到的第一人体图像和第二人体图像,以及第一摄像头和第二摄像头的距离,通过三角测距算法即可计算得到被拍摄的用户的深度信息,由此得到第一人体图像的深度信息。
以下以计算用户头顶位置的深度信息为例进行说明:
由于第一摄像头和第二摄像头并列设置于电子设备的同一平面,且第一摄像头和第二摄像头之间具有一定的距离,从而导致了这两个摄像头具有视差。根据三角测距算法可以计算得到第一摄像头和第二摄像头同步拍摄到的第一人体图像以及第二人体图像中用户头顶的深度信息,也即是该用户头顶距离第一摄像头和第二摄像头所在平面的距离。
请参照图4,OR表示第一摄像头所在的位置,OT表示第二摄像头所在的位置,第一摄像头和第二摄像头的距离为B,焦平面距离第一摄像头和第二摄像头所在平面的距离为f。
电子设备同步通过第一摄像头和第二摄像头进行拍摄时,第一摄像头将在焦平面成像得到第一人体图像,第二摄像头将在焦平面成像得到第二人体图像。
P表示用户头顶在第一人体图像中的位置,P’表示同一用户头顶在第二人体图像中的位置,其中,P点距离第一人体图像左侧边界的距离为XR,P’距离第二人体图像左侧边界的距离为XT
现假设用户头顶距离第一摄像头和第二摄像头所在平面的距离为Z,则有以下公式:
利用两个三角形相似的原理,进一步得到公式1和公式2,
公式1:B1/Z=(XR’+X1)/(Z-f)
公式2:B2/Z=(XT+X2)/(Z-f)
其中,B1表示第一摄像头到用户头顶投影点的距离,B2表示第二摄像头到用户头顶投影点的距离,XR’表示P点到第一人体图像右侧边界的距离,X1表示第一人体图像右侧边界到用户头顶投影点的距离,X2表示第二人体图像左侧边界到用户头顶投影点的距离。
对公式1与公式2进行加法操作,得到公式3,
公式3:(B1+B2)/Z=(XR’+X1+XT+X2)/(Z-f),
即B/Z=(XR’+X1+XT+X2)/(Z-f)
由于第一摄像头和第二摄像头的焦平面宽度均为2K,则半个焦平面宽度为K,得到公式4和公式5,
公式4:(K+X1)+(X2+K)=B
即B-X1-X2=2K
公式5:XR’+XR=2K
由公式4和公式5,得到公式6,
公式6:B-X1-X2=XR’+XR
即XR’=B-X1-X2-XR
将公式6代入公式3中,得到公式7,
公式7:B/Z=[(B-X1-X2-XR)+X1+XT+X2]/(Z-f)
即B/Z=(B-XR+XT)/(Z-f),得到Z=Bf/(XR-XT)
令(XR-XT)=d,对公式7进行替换,得到公式8,
公式8:Z=Bf/d
其中,d为用户头顶在第一人体图像和第二人体图像中的位置差,即“XR-XT”,B和f均为固定值。
可选的,在一实施例中,为提升生成三维人体模型的精度,根据第一人体图像及其深度信息生成用户的三维人体模型,包括:
根据第一人体图像及其深度信息生成初始三维人体模型;
显示体型参数输入接口,并通过显示的体型参数输入接口接收输入的用户体型参数;
根据接收到的用户体型参数对初始三维人体模型进行调整;
将调整后的初始三维人体模型作为用户的三维人体模型。
其中,根据第一人体图像及其深度信息生成初始三维人体模型的方式可以参照以上相关描述,此处不再赘述。
在生成初始三维人体模型之后,显示体型参数输入接口,以通过该显示的体型参数输入接口来获取到实际的用户体型参数。
比如,请参照图5,图5为显示体型参数输入接口的示例图,如图5所示,该体型参数输入接口以输入框的形式和进度条的形式进行显示,包括身高输入接口、胸围输入接口、臀围输入接口、腰围输入接口、臂宽输入接口以及腿长输入接口,分别用于接收用户的身高、胸围、臀围、腰围、臂宽以及腿长等体型参数。用户在输入时,可以直接在输入框中输入具体的参数数值,也可以通过滑动进度条上滑块的位置来实现具体参数数值的输入,其中,向左滑动可以减小参数数值,向右滑动可以增加参数数值。
在通过显示的体型参数输入接口接收到输入的用户体型参数之后,即可根据接收到的用户体型参数对之前生成的初始三维人体模型进行调整,也即是按照接收到的用户体型参数对初始三维人体模型的身高、胸围、臀围、腰围、臂宽以及腿长等进行调整,使得调整后初始三维人体模型与实际的用户体型参数相符,从而将调整后的初始三维人体模型作为用户的三维人体模型,由此达到提升三维人体模型精度的目的。
103、将用户的三维人体模型融合至实时拍摄的预览图像中进行显示;
需要说明的是,在本申请实施例中,电子设备向用户提供有试衣界面,同时提供有用于触发电子设备显示试衣界面的“启动接口”,此外,本申请实施例对于该启动接口的设置位置以及展现形式等不做具体限制,可由本领域技术人员根据实际需要进行设置,比如,请参照图6,为便于用户快速找到启动接口,可以将启动接口设置在电子设备的桌面,并以“试衣”图标的形式将试衣控件设置在桌面上,用户可以点击试衣图标触发电子设备显示试衣界面。
电子设备在触发显示试衣界面时,通过摄像头实时拍摄,将拍摄得到的预览图像在试衣界面中进行显示。同时,将之前生成的用户三维人体模型融合至实时拍摄的预览图像中进行显示。
其中,在显示时,可以将三维人体模型和预览图像显示在同一图层,也即是将三维人体模型和摄像头拍摄预览图像进行实时合成,再显示合成得到的图像,以此来实现融合显示三维人体模型和预览图像的效果。
在显示时,还可以将三维人体模型和预览图像显示在不同的图层,也即是在显示预览图像的图层之上增加一个图层,并在该新增图层中显示三维人体模型,以此来实现任何显示三维人体模型和预览预览图像的效果。
104、显示衣物选择接口,并通过显示的衣物选择接口接收输入的衣物选择信息;
在将用户的三维人体模型融合显示到实时拍摄的预览图像之后,用户“自身”就变成了试衣的模特,可以选择模特来试穿不同的衣物。为便于用户选择试穿的衣物,电子设备显示进一步显示衣物选择接口。
具体的,在显示时,该衣物选择接口可以滑动选择框的形式展现。比如,请参照图7,电子设备显示的试衣界面包括第一区域和第二区域,其中,第一区域用于显示实时拍摄的预览图像,第二区域用于显示衣物选择接口。
请结合参照图7和图8,试衣界面的第一区域融合显示有实时拍摄到的办公室场景的预览图像以及用户的三维人体模型,第二区域显示有滑动选择框形式的衣物选择接口,用户可以点击选择框中的衣物图标(该衣物图标用于表示不同衣物,分别与对应的三维衣物模型关联,衣物图标和三维衣物模型的关联关系可以储存在电子设备本地)来输入衣物选择信息,并可以在选择框中左/右滑动以切换当前可选的衣物图标,由此来选择期望试穿的衣物。
比如,如图8所示,若用户想要试穿选择框中当前展示的最右侧衣物图标所对应的衣物,则可以直接点击该衣物图标,由此向电子设备输入衣物选择信息。
需要说明的是,在本申请实施例中,衣物包括但不限于上装、下装、帽子以及成套的上装和下装等。
105、获取衣物选择信息对应的三维衣物模型,并将获取到的三维衣物模型融合至三维人体模型上进行显示。
在通过衣物选择接口接收到输入的衣物选择信息之后,电子设备获取到该衣物选择信息所对应的三维衣物模型,也即是触发输入衣物选择信息的衣物图标所关联的三维衣物模型。在获取到衣物选择信息对应的三维衣物模型之后,即可将获取到的三维衣物模型与三维人体模型进行融合,实现给三维人体模型穿衣的效果。比如,请参照图9,示出了三维衣物模型和三维人体模型融合显示的显示效果。其中,对于三维衣物模型和三维人体模型的具体融合方式,此处不做详述,本领域技术人员可以参照三维游戏中的人物换装技术相应实现。
此外,这些三维衣物模型可以储存在电子设备本地,也可以存在云端,以在需要时获取。此外,三维衣物模型可由不同的衣物生产厂家或者衣物卖家按照统一的建模标准,根据实际衣物预先建模得到。
在一实施例中,为进一步提升试衣效果,在将三维衣物模型融合至三维人体模型进行显示之前,还包括以下步骤:
判断三维衣物模型对应的第一衣物尺码参数是否与用户体型参数匹配;
若是,则将三维衣物模型融合至三维人体模型上进行显示;
若否,则按照与用户体型参数匹配的第二衣物尺码参数对三维衣物模型的大小进行调整,并将调整大小后的三维衣物模型融合至三维人体模型上进行显示。
需要说明的是,本申请实施例中的三维人体模型是根据输入的用户体型参数调整后得到的,也即是说,此时的三维人体模型是与用户实际体型一致的。
总所周知,同一款式的衣物通常包括多种不同的衣物尺码参数,分别供不同体型的用户穿着,若用户挑选到的衣物的衣物尺码参数与自身的体型参数不匹配,显然,挑选到的衣物也是不合身的,如图9所述,由于直接将三维衣物模型和三维人体模型进行了融合,导致用户当前试穿的衣物过长,显然是不合身的,降低用户购买实际衣物的欲望。
为避免降低用户购衣欲望情况的发生,本申请实施例中,可以预先据经验设置衣物尺码参数与体型参数的匹配关系,比如,以男性用户为例,腰围72-75、肩宽42、胸围82-85、身高163-167匹配的上装的尺码参数为“S”;又比如,以女性用户为例,腰围62-66、肩宽37、胸围79-82、身高153-177匹配的上装的尺码参数为“S”。其中,可以将设置的衣物尺码参数与体型参数的匹配关系存储在电子设备本地。
电子设备在将三维衣物模型融合至三维人体模型进行显示之前,首先根据本地存储的衣物尺码参数与体型参数的匹配关系、来判断三维衣物模型对应的第一衣物尺码参数是否与用户体型参数匹配,若是,则此时可将三维衣物模型和三维人体模型进行融合,得到合身的试衣效果;若否,则说明直接融合三维衣物模型和三维人体模型将无法得到合身的试衣效果,此时根据衣物尺码参数与体型参数的匹配关系,获取到与用户体型参数所匹配的第二衣物尺码参数,并按照该第二衣物尺码参数对三维衣物模型的大小进行调整,再将调整大小后的三维衣物模型融合至三维人体模型上进行显示,以此获得合身的试衣效果。
由于本申请实施例中,显示的试衣效果始终是合身的试衣效果,为帮助用户挑选到合身的衣物,在本申请实施例中,还包括以下步骤:
获取与用户体型参数匹配的衣物尺码参数;
生成包括第二衣物尺码参数的提示信息,并显示提示信息。
其中,提示信息中除第二衣物尺码参数之外的内容可以根据实际需要进行设置,比如,用户当前试穿的是上装,且获取到的第二衣物尺码参数为S,则可以生成提示信息为:“请选择S码的上装”。
可选的,在一实施例中,将三维衣物模型融合至三维人体模型上进行显示,包括:
获取预览图像的光影信息;
根据获取到的光影信息对三维衣物模型的默认光影效果进行调整;
将调整光影效果后的三维衣物模型融合至三维人体模型上进行显示。
其中,电子设备在进行三维衣物模型和三维人体模型的融合时,首先获取到预览图像的光影信息,该光影信息用于描述预览图像对应的现实场景(即摄像头实时拍摄的现实场景)的光影效果。
在获取到预览图像的光影信息之后,根据该光影信息对三维衣物模型的默认光影效果进行调整,使得三维衣物模型的光影效果与预览图像中现实场景的光影效果一致。
在完成对三维衣物模型的光影效果调整之后,即可将调整光影效果之后的三维衣物模型融合至三维人体模型上进行显示,由此,可以进一步提升虚拟试衣的真实性。
由上可知,本申请实施例首先获取用户的第一人体图像集合,其中,第一人体图像集合中任意两个第一人体图像的拍摄角度不同;然后根据第一人体图像集合生成用户的三维人体模型;再将三维人体模型融合至实时拍摄的预览图像中进行显示;再显示衣物选择接口,并通过衣物选择接口接收输入的衣物选择信息;最后获取衣物选择信息对应的三维衣物模型,并将三维衣物模型融合至三维人体模型上进行显示,由此通过虚拟试衣的方式向用户展示其试穿选中衣物的实际效果,并且,将用户的穿衣效果融入到了现实场景中,增强了虚拟试衣的真实效果,从而满足了用户的实际试衣需求,能够帮助用户挑选到合身的衣物。
下面将在上述实施例描述的方法基础上,对本申请的模型显示方法做进一步介绍。参考图10,该模型显示方法可以包括:
201、按照多个不同的拍摄角度,通过第一摄像头对用户进行拍摄,得到第一人体图像集合,在通过第一摄像头进行拍摄时,同步通过第二摄像头对用户进行拍摄,得到第二人体图像集合。
请参照图3,在本申请实施例中,电子设备包括第一摄像头和第二摄像头。电子设备可以通过第一摄像头按照不同的拍摄角度对用户进行拍摄,由此得到多个拍摄角度不同的用户的第一人体图像,通过拍摄得到的多个拍摄角度不同的第一人体图像构成第一人体图像集合。需要说明的是,在对用户进行拍摄时,除拍摄角度不同之外,其它的拍摄参数需要相同,包括但不限于拍摄距离以及曝光参数等。
此外,在对用户进行拍摄时,可以通过多种方式来实现对用户不同角度的拍摄,用户可以站定不动,通过移动电子设备的方式来获得不同的拍摄角度;也可以固定电子设备,由用户原地旋转的方式来获得不同的拍摄角度。
比如,在对用户进行拍摄时,被拍摄的用户站定不动,由其他用户手持电子设备在被拍摄用户正面、背面、左面以及右面分别对被拍摄用户进行拍摄,得到四个拍摄角度不同的第一人体图像,由这四个第一人体图像构成第一人体图像集合。
又比如,在对用户进行拍摄时,可由用户将电子设备固定,并设置定时拍摄时间,以及拍摄张数;在完成前述设置之后,用户可以先正面朝向电子设备,待电子设备完成第一拍摄时(此时电子设备将拍摄到用户正面的第一人体图像),用户原地顺时针旋转90度(即身体左面朝向电子设备),待电子设备完成第二次拍摄时(此时电子设备将拍摄到用户左面的第一人体图像),用户再原地顺时针旋转90度(即身体背面朝向电子设备),待电子设备完成第三拍摄时(此时电子设备将拍摄到用户背面的第一人体图像),用户再原地瞬时针旋转90度(即身体右面朝向电子设备),待电子设备完成第四次拍摄,由此,电子设备将同样拍摄到用户正面、背面、左面以及右面共四个不同拍摄角度的第一人体图像,由这四个第一人体图像构成第一人体图像集合。
此外,对于第一人体图像中包括的第一人体图像的数量,本申请实施例不做具体限制,但至少包括两个拍摄角度不同的第一人体图像,而随着不同拍摄角度的第一人体图像数量的增加,将提升后续生成三维人体模型的精度。
其中,在通过第一摄像头进行拍摄时,同步通过第二摄像头对用户进行拍摄,得到第二人体图像集合,第二人体图像集合中第二人体图像的数量与第一人体图像集合中第一人体图像的数量相同。
具体的,电子设备在每次通过第一摄像头对用户进行拍摄,得到第一人体图像的同时,同步通过第二摄像头对用户进行拍摄,得到第二人体图像。比如,当按照四个不同的拍摄角度通过第一摄像头对用户进行拍摄时,将得到四个拍摄角度不同的第一人体图像,并得到第二摄像头拍摄的四个第二人体图像,由于第一摄像头和第二摄像头存在一定的间隔距离,使得同步拍摄的第一人体图像和第二人体图像的拍摄角度也不相同。
202、根据第一人体图像集合中的第一人体图像以及第二人体图像集合中的第二人体图像、获取第一人体图像的深度信息。
在获取到第一人体图像集合以及第二人体图像集合之后,根据第一摄像头和第二摄像头同步拍摄得到的第一人体图像和第二人体图像,以及第一摄像头和第二摄像头的距离,通过三角测距算法即可计算得到被拍摄的用户的深度信息,由此得到第一人体图像的深度信息。
以下以计算用户头顶位置的深度信息为例进行说明:
由于第一摄像头和第二摄像头并列设置于电子设备的同一平面,且第一摄像头和第二摄像头之间具有一定的距离,从而导致了这两个摄像头具有视差。根据三角测距算法可以计算得到第一摄像头和第二摄像头同步拍摄到的第一人体图像以及第二人体图像中用户头顶的深度信息,也即是该用户头顶距离第一摄像头和第二摄像头所在平面的距离。
请参照图4,OR表示第一摄像头所在的位置,OT表示第二摄像头所在的位置,第一摄像头和第二摄像头的距离为B,焦平面距离第一摄像头和第二摄像头所在平面的距离为f。
电子设备同步通过第一摄像头和第二摄像头进行拍摄时,第一摄像头将在焦平面成像得到第一人体图像,第二摄像头将在焦平面成像得到第二人体图像。
P表示用户头顶在第一人体图像中的位置,P’表示同一用户头顶在第二人体图像中的位置,其中,P点距离第一人体图像左侧边界的距离为XR,P’距离第二人体图像左侧边界的距离为XT
现假设用户头顶距离第一摄像头和第二摄像头所在平面的距离为Z,则有以下公式:
利用两个三角形相似的原理,进一步得到公式1和公式2,
公式1:B1/Z=(XR’+X1)/(Z-f)
公式2:B2/Z=(XT+X2)/(Z-f)
其中,B1表示第一摄像头到用户头顶投影点的距离,B2表示第二摄像头到用户头顶投影点的距离,XR’表示P点到第一人体图像右侧边界的距离,X1表示第一人体图像右侧边界到用户头顶投影点的距离,X2表示第二人体图像左侧边界到用户头顶投影点的距离。
对公式1与公式2进行加法操作,得到公式3,
公式3:(B1+B2)/Z=(XR’+X1+XT+X2)/(Z-f),
即B/Z=(XR’+X1+XT+X2)/(Z-f)
由于第一摄像头和第二摄像头的焦平面宽度均为2K,则半个焦平面宽度为K,得到公式4和公式5,
公式4:(K+X1)+(X2+K)=B
即B-X1-X2=2K
公式5:XR’+XR=2K
由公式4和公式5,得到公式6,
公式6:B-X1-X2=XR’+XR
即XR’=B-X1-X2-XR
将公式6代入公式3中,得到公式7,
公式7:B/Z=[(B-X1-X2-XR)+X1+XT+X2]/(Z-f)
即B/Z=(B-XR+XT)/(Z-f),得到Z=Bf/(XR-XT)
令(XR-XT)=d,对公式7进行替换,得到公式8,
公式8:Z=Bf/d
其中,d为用户头顶在第一人体图像和第二人体图像中的位置差,即“XR-XT”,B和f均为固定值。
203、根据第一人体图像及其深度信息生成初始三维人体模型。
该深度信息可以描述第一人体图像中构成“用户”的任一像素点到电子设备的距离。
在获取到第一人体图像的深度信息之后,进一步在第一人体图像中确定与用户的体型参数相关联的人体特征点,这些人体特征点包括但不限于:用户的头顶、胸部、腰部、臀部、左右手腕、以及脚底等。
之后,从第一人体图像的深度信息中提取出这些人体特征点对应的深度信息,从而获取到这些人体特征点在不同第一人体图像中的深度信息,进而根据这些人体特征点在不同第一人体图像中的深度信息,即可计算出用户的大概体型参数。
之后,根据获取得到的用户的这些大概体型参数,进行三维建模,从而生成一个初始三维人体模型。
204、显示体型参数输入接口,并通过显示的体型参数输入接口接收输入的用户体型参数。
在生成初始三维人体模型之后,显示体型参数输入接口,以通过该显示的体型参数输入接口来获取到实际的用户体型参数。
比如,请参照图5,图5为显示体型参数输入接口的示例图,如图5所示,该体型参数输入接口以输入框的形式和进度条的形式进行显示,包括身高输入接口、胸围输入接口、臀围输入接口、腰围输入接口、臂宽输入接口以及腿长输入接口,分别用于接收用户的身高、胸围、臀围、腰围、臂宽以及腿长等体型参数。用户在输入时,可以直接在输入框中输入具体的参数数值,也可以通过滑动进度条上滑块的位置来实现具体参数数值的输入,其中,向左滑动可以减小参数数值,向右滑动可以增加参数数值。
205、根据接收到的用户体型参数对初始三维人体模型进行调整,将调整后的初始三维人体模型作为用户的三维人体模型。
在通过显示的体型参数输入接口接收到输入的用户体型参数之后,即可根据接收到的用户体型参数对之前生成的初始三维人体模型进行调整,也即是按照接收到的用户体型参数对初始三维人体模型的身高、胸围、臀围、腰围、臂宽以及腿长等进行调整,使得调整后初始三维人体模型与实际的用户体型参数相符,从而将调整后的初始三维人体模型作为用户的三维人体模型,由此达到提升三维人体模型精度的目的。
206、将用户的三维人体模型融合至实时拍摄的预览图像中进行显示。
需要说明的是,在本申请实施例中,电子设备向用户提供有试衣界面,同时提供有用于触发电子设备显示试衣界面的“启动接口”,此外,本申请实施例对于该启动接口的设置位置以及展现形式等不做具体限制,可由本领域技术人员根据实际需要进行设置,比如,请参照图6,为便于用户快速找到启动接口,可以将启动接口设置在电子设备的桌面,并以“试衣”图标的形式将试衣控件设置在桌面上,用户可以点击试衣图标触发电子设备显示试衣界面。
电子设备在触发显示试衣界面时,通过摄像头实时拍摄,将拍摄得到的预览图像在试衣界面中进行显示。同时,将之前生成的用户三维人体模型融合至实时拍摄的预览图像中进行显示。
其中,在显示时,可以将三维人体模型和预览图像显示在同一图层,也即是将三维人体模型和摄像头拍摄预览图像进行实时合成,再显示合成得到的图像,以此来实现融合显示三维人体模型和预览图像的效果。
在显示时,还可以将三维人体模型和预览图像显示在不同的图层,也即是在显示预览图像的图层之上增加一个图层,并在该新增图层中显示三维人体模型,以此来实现任何显示三维人体模型和预览预览图像的效果。
207、显示衣物选择接口,并通过显示衣物选择接口接收输入的衣物选择信息。
在将用户的三维人体模型融合显示到实时拍摄的预览图像之后,用户“自身”就变成了试衣的模特,可以选择模特来试穿不同的衣物。为便于用户选择试穿的衣物,电子设备显示进一步显示衣物选择接口。
具体的,在显示时,该衣物选择接口可以滑动选择框的形式展现。比如,请参照图7,电子设备显示的试衣界面包括第一区域和第二区域,其中,第一区域用于显示实时拍摄的预览图像,第二区域用于显示衣物选择接口。
请结合参照图7和图8,试衣界面的第一区域融合显示有实时拍摄到的办公室场景的预览图像以及用户的三维人体模型,第二区域显示有滑动选择框形式的衣物选择接口,用户可以点击选择框中的衣物图标(该衣物图标用于表示不同衣物,分别与对应的三维衣物模型关联,衣物图标和三维衣物模型的关联关系可以储存在电子设备本地)来输入衣物选择信息,并可以在选择框中左/右滑动以切换当前可选的衣物图标,由此来选择期望试穿的衣物。
比如,如图8所示,若用户想要试穿选择框中当前展示的最右侧衣物图标所对应的衣物,则可以直接点击该衣物图标,由此向电子设备输入衣物选择信息。
需要说明的是,在本申请实施例中,衣物包括但不限于上装、下装、帽子以及成套的上装和下装等。
208、获取衣物选择信息对应的三维衣物模型,以及获取预览图像的光影信息。
在通过衣物选择接口接收到输入的衣物选择信息之后,电子设备获取到该衣物选择信息所对应的三维衣物模型,也即是触发输入衣物选择信息的衣物图标所关联的三维衣物模型。
其中,这些三维衣物模型可以储存在电子设备本地,也可以存在云端,以在需要时获取。此外,三维衣物模型可由不同的衣物生产厂家或者衣物卖家按照统一的建模标准,根据实际衣物预先建模得到。
此外,除了获取衣物选择信息对应的三维衣物模型之外,电子设备还获取到预览图像的光影信息,该光影信息用于描述预览图像对应的现实场景(即摄像头实时拍摄的现实场景)的光影效果。
209、根据获取到的光影信息对三维衣物模型的默认光影效果进行调整。
在获取到预览图像的光影信息之后,根据该光影信息对三维衣物模型的默认光影效果进行调整,使得三维衣物模型的光影效果与预览图像中现实场景的光影效果一致。
210、将调整光影效果后的三维衣物模型融合至三维人体模型上进行显示。
在完成对三维衣物模型的光影效果调整之后,即可将调整光影效果之后的三维衣物模型融合至三维人体模型上进行显示,由此,可以进一步提升虚拟试衣的真实性。其中,对于三维衣物模型和三维人体模型的具体融合方式,此处不做详述,本领域技术人员可以参照三维游戏中的人物换装技术相应实现。
由上可知,本申请实施例首先获取用户的第一人体图像集合,其中,第一人体图像集合中任意两个第一人体图像的拍摄角度不同;然后根据第一人体图像集合生成用户的三维人体模型;再将三维人体模型融合至实时拍摄的预览图像中进行显示;再显示衣物选择接口,并通过衣物选择接口接收输入的衣物选择信息;最后获取衣物选择信息对应的三维衣物模型,并将三维衣物模型融合至三维人体模型上进行显示,由此通过虚拟试衣的方式向用户展示其试穿选中衣物的实际效果,并且,将用户的穿衣效果融入到了现实场景中,增强了虚拟试衣的真实效果,从而满足了用户的实际试衣需求,能够帮助用户挑选到合身的衣物。
在一实施例中还提供了一种模型显示装置。请参阅图11,图11为本申请实施例提供的模型显示装置的结构示意图。其中该模型显示装置应用于电子设备,该模型显示装置包括图像获取模块401、模型生成模块402、第一显示模块403、信息输入模块404以及第二显示模块405,如下:
图像获取模块401,用于获取用户的第一人体图像集合,其中,第一人体图像集合中任意两个第一人体图像的拍摄角度不同;
模型生成模块402,用于根据第一人体图像集合生成用户的三维人体模型;
第一显示模块403,用于将用户的三维人体模型融合至实时拍摄的预览图像中进行显示;
信息输入模块404,用于显示衣物选择接口,并通过显示的衣物选择接口接收输入的衣物选择信息;
第二显示模块405,用于获取衣物选择信息对应的三维衣物模型,并将获取到的三维衣物模型融合至三维人体模型上进行显示。
在一实施例中,模型生成模块402,具体用于:
获取第一人体图像集合中第一人体图像的深度信息;
根据第一人体图像以及其深度信息生成三维人体模型。
在一实施例中,图像获取模块401,具体用于:
按照多个不同的拍摄角度,通过第一摄像头对用户进行拍摄,得到第一人体图像集合;
图像获取模块401还用于在通过第一摄像头进行拍摄时,同步通过第二摄像头对用户进行拍摄,得到第二人体图像集合;
模型生成模块402具体用于:
根据所述第一人体图像集合中第一人体图像以及第二人体图像集合中的第二人体图像、获取第一人体图像的深度信息。
在一实施例中,模型生成模块402,具体用于:
根据第一人体图像以及其深度信息生成初始三维人体模型;
显示体型参数输入接口,并通过显示的体型参数输入接口接收输入的用户体型参数;
根据接收到的用户体型参数对初始三维人体模型进行调整;
将调整后的初始三维人体模型作为用户的三维人体模型。
在一实施例中,第二显示模块403具体用于:
判断三维衣物模型对应的第一衣物尺码参数是否与用户体型参数匹配;
若是,则将三维衣物模型融合至三维人体模型上进行显示;
若否,则按照与用户体型参数匹配的第二衣物尺码参数对三维衣物模型的大小进行调整,并将调整大小后的三维衣物模型融合至三维人体模型上进行显示。
在一实施例中,模型显示装置还包括提示模块,用于:
生成包括第二衣物尺码参数的提示信息,并显示生成的提示信息。
在一实施例中,第二显示模块403具体用于:
获取预览图像的光影信息;
根据获取到的光影信息对三维衣物模型的默认光影效果进行调整;
将调整光影效果后的三维衣物模型融合至三维人体模型上进行显示。
具体实施时,以上各个模块可以作为独立的实体实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单位的具体实施可参见前面的实施例,在此不再赘述。
由上可知,本实施例模型显示装置可以由图像获取模块401获取用户的第一人体图像集合,其中,第一人体图像集合中任意两个第一人体图像的拍摄角度不同;由模型生成模块402根据第一人体图像集合生成用户的三维人体模型;由第一显示模块403将三维人体模型融合至实时拍摄的预览图像中进行显示;由信息输入模块404显示衣物选择接口,并通过衣物选择接口接收输入的衣物选择信息;由第二显示模块405获取衣物选择信息对应的三维衣物模型,并将三维衣物模型融合至三维人体模型上进行显示,由此通过虚拟试衣的方式向用户展示其试穿选中衣物的实际效果,并且,将用户的穿衣效果融入到了现实场景中,增强了虚拟试衣的真实效果,从而满足了用户的实际试衣需求,能够帮助用户挑选到合身的衣物。
本申请实施例还提供一种电子设备。请参阅图12,电子设备500包括中央处理器501以及存储器502。其中,中央处理器501与存储器502电性连接。
所述中央处理器500是电子设备500的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器502内的计算机程序,以及调用存储在存储器502内的数据,执行电子设备500的各种功能并处理数据,从而实现对用户性别的准确识别。
所述存储器502可用于存储软件程序以及模块,中央处理器501通过运行存储在存储器502的计算机程序以及模块,从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器502还可以包括存储器控制器,以提供中央处理器501对存储器502的访问。
在本申请实施例中,电子设备500中的中央处理器501通过运行存储在存储器502中的计算机程序,执行上述任一实施例中的模型显示方法,比如:首先获取用户的第一人体图像集合,其中,第一人体图像集合中任意两个第一人体图像的拍摄角度不同;然后根据第一人体图像集合生成用户的三维人体模型;再将三维人体模型融合至实时拍摄的预览图像中进行显示;再显示衣物选择接口,并通过衣物选择接口接收输入的衣物选择信息;最后获取衣物选择信息对应的三维衣物模型,并将三维衣物模型融合至三维人体模型上进行显示。
请一并参阅图13,在某些实施方式中,电子设备500还可以包括:显示器503、射频电路504、音频电路505、电源506、图像处理电路507以及图形处理器508。其中,其中,显示器503、射频电路504、音频电路505以及电源506分别与中央处理器501电性连接。
显示器503可以用于显示由用户输入的信息或提供给用户的信息以及各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示器503可以包括显示面板,在某些实施方式中,可以采用液晶显示器(Liquid Crystal Display,LCD)、或者有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板。
射频电路504可以用于收发射频信号,以通过无线通信与网络设备或其他电子设备建立无线通讯,与网络设备或其他电子设备之间收发信号。
音频电路505可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。
电源506可以用于给电子设备500的各个部件供电。在一些实施例中,电源506可以通过电源管理系统与中央处理器501逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
图像处理电路507可以利用硬件和/或软件组件实现,可包括定义ISP(ImageSignal Processing,图像信号处理)管线的各种处理单元,请参照图14,在一实施例中,图像处理电路507包括ISP处理器5071和控制逻辑器5072。摄像头5073捕捉的图像数据首先由ISP处理器5071处理,ISP处理器5071对图像数据进行分析以捕捉可用于确定和/或摄像头5073的一个或多个控制参数的图像统计信息。摄像头5073可包括具有一个或多个透镜50731和图像传感器50732的照相机。图像传感器50732可包括色彩滤镜阵列(如Bayer滤镜),图像传感器50732可获取用图像传感器50732的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器5071处理的一组原始图像数据。传感器5074(如陀螺仪)可基于传感器5074接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器5071。传感器5074接口可以利用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外,图像传感器50732也可将原始图像数据发送给传感器5074,传感器5074可基于传感器5074接口类型把原始图像数据提供给ISP处理器5071,或者传感器5074将原始图像数据存储到图像存储器5075中。
ISP处理器5071按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器5071可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器5071还可从图像存储器5075接收图像数据。例如,传感器5074接口将原始图像数据发送给图像存储器5075,图像存储器5075中的原始图像数据再提供给ISP处理器5071以供处理。图像存储器5075可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器50732接口或来自传感器5074接口或来自图像存储器5075的原始图像数据时,ISP处理器5071可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器5075,以便在被显示之前进行另外的处理。ISP处理器5071从图像存储器5075接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器5071处理后的图像数据可输出给显示器503,以供用户观看和/或由图形引擎或图像处理器507进一步处理。此外,ISP处理器5071的输出还可发送给图像存储器5075,且显示器503可从图像存储器5075读取图像数据。在一个实施例中,图像存储器5075可被配置为实现一个或多个帧缓冲器。此外,ISP处理器5071的输出可发送给编码器/解码器5076,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器503设备上之前解压缩。编码器/解码器5076可由CPU或GPU或协处理器实现。
ISP处理器5071确定的统计数据可发送给控制逻辑器5072单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜50731阴影校正等图像传感器50732统计信息。控制逻辑器5072可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定摄像头5073的控制参数及ISP处理器5071的控制参数。例如,摄像头5073的控制参数可包括传感器5074控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜50731控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜50731阴影校正参数等。
图像处理器508对电子设备需要进行显示的显示数据进行转换驱动,并向显示器503提供行扫描信号,控制显示器503的正确显示。
进一步地,在上述实施例描述的图像处理电路507的基础上,对该图像处理电路507做进一步介绍,请参照图15,与上述实施例的区别在于,摄像头5073包括第一摄像头507301和第二摄像头507302,第一摄像头507301包括第一透镜507311和第一图像传感器507321,第二摄像头507302包括第二透镜507312和第二图像传感器507322。
其中,对第一摄像头507301和第二摄像头507302的性能参数(例如,焦距、光圈大小、解像力等等)不做任何限制。第一摄像头507301和第二摄像头507302可设置于电子设备的同一平面内,比如,同时设置在电子设备的背面或正面。双摄像头在电子设备的安装距离可根据电子设备的尺寸确定和/或拍摄效果等确定,比如,为了使第一摄像头507301和第二摄像头507302拍摄的图像内容重叠度高,可将第一摄像头507301和第二摄像头507302安装得越近越好,例如,10mm以内。
其中,ISP处理器5071、控制逻辑器5072以及其它未示出部分(如传感器、图像存储器等)的功能和单摄摄像头情况的描述相同,此处不再赘述。
在本申请的实施例中,在利用深度传感器进行景深信息获取的实施例中,可以在一个摄像头工作的模式下进行。在需要利用第一摄像头507301和第二摄像头507302采集的图像进行深度信息获取的实施例中,需要两个摄像头同时工作。
本申请实施例还提供一种存储介质,存储介质存储有计算机程序,当计算机程序在计算机上运行时,使得计算机执行上述任一实施例中的模型显示方法,比如:获取用户的第一人体图像集合,其中,第一人体图像集合中任意两个第一人体图像的拍摄角度不同;然后根据第一人体图像集合生成用户的三维人体模型;再将三维人体模型融合至实时拍摄的预览图像中进行显示;再显示衣物选择接口,并通过衣物选择接口接收输入的衣物选择信息;最后获取衣物选择信息对应的三维衣物模型,并将三维衣物模型融合至三维人体模型上进行显示,由此通过虚拟试衣的方式向用户展示其试穿选中衣物的实际效果,并且,将用户的穿衣效果融入到了现实场景中,增强了虚拟试衣的真实效果,从而满足了用户的实际试衣需求,能够帮助用户挑选到合身的衣物。
在本申请实施例中,存储介质可以是磁碟、光盘、只读存储器(Read Only Memory,ROM,)、或者随机存取记忆体(Random Access Memory,RAM)等。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
需要说明的是,对本申请实施例的模型显示方法而言,本领域普通测试人员可以理解实现本申请实施例的模型显示方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,计算机程序可存储于一计算机可读取存储介质中,如存储在电子设备的存储器中,并被该电子设备内的至少一个中央处理器执行,在执行过程中可包括如模型显示方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
对本申请实施例的模型显示装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种模型显示方法、装置、存储介质及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种模型显示方法,其特征在于,包括:
获取用户的第一人体图像集合,其中,所述第一人体图像集合中任意两个第一人体图像的拍摄角度不同;
根据所述第一人体图像集合生成所述用户的三维人体模型;
将所述三维人体模型融合至实时拍摄的预览图像中进行显示;
显示衣物选择接口,并通过所述衣物选择接口接收输入的衣物选择信息;
获取所述衣物选择信息对应的三维衣物模型,并将所述三维衣物模型融合至所述三维人体模型上进行显示。
2.如权利要求1所述的模型显示方法,其特征在于,根据所述第一人体图像集合生成所述用户的三维人体模型,包括:
获取所述第一人体图像集合中第一人体图像的深度信息;
根据所述第一人体图像以及所述深度信息生成所述三维人体模型。
3.如权利要求2所述的模型显示方法,其特征在于,获取用户的第一人体图像集合,包括:
按照多个不同的拍摄角度,通过第一摄像头对所述用户进行拍摄,得到所述第一人体图像集合;
在通过第一摄像头进行拍摄时,同步通过第二摄像头对所述用户进行拍摄,得到第二人体图像集合;
而获取所述第一人体图像集合中第一人体图像的深度信息,包括:
根据所述第一人体图像以及所述第二人体图像集合中的第二人体图像获取所述深度信息。
4.如权利要求2所述的模型显示方法,其特征在于,根据所述第一人体图像以及所述深度信息生成所述三维人体模型,包括:
根据所述第一人体图像以及所述深度信息生成初始三维人体模型;
显示体型参数输入接口,并通过所述体型参数输入接口接收输入的用户体型参数;
根据所述用户体型参数对所述初始三维人体模型进行调整;
将调整后的所述初始三维人体模型作为所述三维人体模型。
5.如权利要求4所述的模型显示方法,其特征在于,将所述三维衣物模型融合至所述三维人体模型上进行显示之前,还包括:
判断所述三维衣物模型对应的第一衣物尺码参数是否与所述用户体型参数匹配;
若是,则将所述三维衣物模型融合至所述三维人体模型上进行显示;
若否,则按照与所述用户体型参数匹配的第二衣物尺码参数对所述三维衣物模型的大小进行调整,并将调整大小后的所述三维衣物模型融合至所述三维人体模型上进行显示。
6.如权利要求5所述的模型显示方法,其特征在于,所述模型显示方法,还包括:
生成包括所述第二衣物尺码参数的提示信息,并显示所述提示信息。
7.如权利要求1-6任一项所述的模型显示方法,其特征在于,将所述三维衣物模型融合至所述三维人体模型上进行显示,包括:
获取所述预览图像的光影信息;
根据所述光影信息对所述三维衣物模型的默认光影效果进行调整;
将调整光影效果后的所述三维衣物模型融合至所述三维人体模型上进行显示。
8.一种模型显示装置,其特征在于,包括:
图像获取模块,用于获取用户的第一人体图像集合,其中,所述第一人体图像集合中任意两个第一人体图像的拍摄角度不同;
模型生成模块,用于根据所述第一人体图像集合生成所述用户的三维人体模型;
第一显示模块,用于将所述三维人体模型融合至实时拍摄的预览图像中进行显示;
信息输入模块,用于显示衣物选择接口,并通过所述衣物选择接口接收输入的衣物选择信息;
第二显示模块,用于获取所述衣物选择信息对应的三维衣物模型,并将所述三维衣物模型融合至所述三维人体模型上进行显示。
9.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1至7任一项所述的模型显示方法。
10.一种电子设备,包括中央处理器和存储器,所述存储器存储有计算机程序,其特征在于,所述中央处理器通过调用所述计算机程序,用于执行如权利要求1-7任一项所述的模型显示方法。
CN201810253018.0A 2018-03-26 2018-03-26 模型显示方法、装置、存储介质及电子设备 Pending CN108564612A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810253018.0A CN108564612A (zh) 2018-03-26 2018-03-26 模型显示方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810253018.0A CN108564612A (zh) 2018-03-26 2018-03-26 模型显示方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN108564612A true CN108564612A (zh) 2018-09-21

Family

ID=63533237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810253018.0A Pending CN108564612A (zh) 2018-03-26 2018-03-26 模型显示方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN108564612A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009446A (zh) * 2019-02-22 2019-07-12 维沃移动通信有限公司 一种显示方法及终端
CN110310167A (zh) * 2019-05-14 2019-10-08 洪岩 基于三维扫描和深度学习的个性化服装尺码匹配方法
CN110489040A (zh) * 2019-08-15 2019-11-22 北京字节跳动网络技术有限公司 特征模型展示的方法及装置、终端和存储介质
CN110941977A (zh) * 2018-09-25 2020-03-31 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN112070575A (zh) * 2020-07-31 2020-12-11 飞诺门阵(北京)科技有限公司 一种虚拟试衣的方法、装置、系统及电子设备
CN112700539A (zh) * 2021-01-05 2021-04-23 恒信东方文化股份有限公司 一种虚拟人台的构建方法和系统
CN112837427A (zh) * 2019-11-25 2021-05-25 京东方科技集团股份有限公司 可变人体模型的处理方法、装置、系统及存储介质
CN113240481A (zh) * 2021-02-09 2021-08-10 飞诺门阵(北京)科技有限公司 模型处理方法、装置、电子设备和可读存储介质
CN113584842A (zh) * 2020-04-30 2021-11-02 云米互联科技(广东)有限公司 风扇控制方法、控制终端及计算机可读存储介质
CN115311060A (zh) * 2022-09-21 2022-11-08 武汉盛爱源科技有限公司 基于3d场景建模下的智能产品推荐方法及装置
CN115457104A (zh) * 2022-10-28 2022-12-09 北京百度网讯科技有限公司 人体信息的确定方法、装置及电子设备
CN115883814A (zh) * 2023-02-23 2023-03-31 阿里巴巴(中国)有限公司 实时视频流的播放方法、装置及设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156810A (zh) * 2011-03-30 2011-08-17 北京触角科技有限公司 增强现实实时虚拟试衣系统及方法
CN104008571A (zh) * 2014-06-12 2014-08-27 深圳奥比中光科技有限公司 基于深度相机的人体模型获取方法及网络虚拟试衣系统
CN104091269A (zh) * 2014-06-30 2014-10-08 京东方科技集团股份有限公司 一种虚拟试衣方法及虚拟试衣系统
CN104766370A (zh) * 2015-04-23 2015-07-08 上海趣搭网络科技有限公司 建立人体模型的方法和装置
CN105205672A (zh) * 2015-07-16 2015-12-30 维沃移动通信有限公司 应用在移动终端的试衣方法及移动终端
CN105631161A (zh) * 2016-01-29 2016-06-01 首都医科大学附属北京安贞医院 一种虚实模型重合的确定方法与装置
CN105825407A (zh) * 2016-03-31 2016-08-03 上海晋荣智能科技有限公司 虚拟试衣镜系统
CN105956912A (zh) * 2016-06-06 2016-09-21 施桂萍 一种网络试衣的实现方法
CN106815825A (zh) * 2016-12-09 2017-06-09 深圳市元征科技股份有限公司 一种试衣信息显示方法及显示设备
CN106910115A (zh) * 2017-02-20 2017-06-30 宁波大学 基于智能终端的虚拟化试衣方法
CN106952302A (zh) * 2017-02-14 2017-07-14 深圳奥比中光科技有限公司 人体模型自动创建方法及三维试衣系统
US20170287210A1 (en) * 2016-02-16 2017-10-05 Ohzone, Inc. System for 3D Clothing Model Creation
CN107393011A (zh) * 2017-06-07 2017-11-24 武汉科技大学 一种基于多结构光视觉技术的快速三维虚拟试衣系统和方法
CN107481082A (zh) * 2017-06-26 2017-12-15 珠海格力电器股份有限公司 一种虚拟试衣方法及其装置、电子设备及虚拟试衣系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156810A (zh) * 2011-03-30 2011-08-17 北京触角科技有限公司 增强现实实时虚拟试衣系统及方法
CN104008571A (zh) * 2014-06-12 2014-08-27 深圳奥比中光科技有限公司 基于深度相机的人体模型获取方法及网络虚拟试衣系统
CN104091269A (zh) * 2014-06-30 2014-10-08 京东方科技集团股份有限公司 一种虚拟试衣方法及虚拟试衣系统
CN104766370A (zh) * 2015-04-23 2015-07-08 上海趣搭网络科技有限公司 建立人体模型的方法和装置
CN105205672A (zh) * 2015-07-16 2015-12-30 维沃移动通信有限公司 应用在移动终端的试衣方法及移动终端
CN105631161A (zh) * 2016-01-29 2016-06-01 首都医科大学附属北京安贞医院 一种虚实模型重合的确定方法与装置
US20170287210A1 (en) * 2016-02-16 2017-10-05 Ohzone, Inc. System for 3D Clothing Model Creation
CN105825407A (zh) * 2016-03-31 2016-08-03 上海晋荣智能科技有限公司 虚拟试衣镜系统
CN105956912A (zh) * 2016-06-06 2016-09-21 施桂萍 一种网络试衣的实现方法
CN106815825A (zh) * 2016-12-09 2017-06-09 深圳市元征科技股份有限公司 一种试衣信息显示方法及显示设备
CN106952302A (zh) * 2017-02-14 2017-07-14 深圳奥比中光科技有限公司 人体模型自动创建方法及三维试衣系统
CN106910115A (zh) * 2017-02-20 2017-06-30 宁波大学 基于智能终端的虚拟化试衣方法
CN107393011A (zh) * 2017-06-07 2017-11-24 武汉科技大学 一种基于多结构光视觉技术的快速三维虚拟试衣系统和方法
CN107481082A (zh) * 2017-06-26 2017-12-15 珠海格力电器股份有限公司 一种虚拟试衣方法及其装置、电子设备及虚拟试衣系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李思屈: "《文化产业概论(第三版)》", 31 January 2014, 浙江大学出版社 *
王守平: "《动画角色与场景设计》", 31 January 2017, 辽宁美术出版社 *
竺梅芳: "《浙江纺织服务职业技术学院学报》", 30 June 2016 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110941977A (zh) * 2018-09-25 2020-03-31 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110009446A (zh) * 2019-02-22 2019-07-12 维沃移动通信有限公司 一种显示方法及终端
CN110310167A (zh) * 2019-05-14 2019-10-08 洪岩 基于三维扫描和深度学习的个性化服装尺码匹配方法
CN110489040A (zh) * 2019-08-15 2019-11-22 北京字节跳动网络技术有限公司 特征模型展示的方法及装置、终端和存储介质
CN112837427A (zh) * 2019-11-25 2021-05-25 京东方科技集团股份有限公司 可变人体模型的处理方法、装置、系统及存储介质
CN113584842A (zh) * 2020-04-30 2021-11-02 云米互联科技(广东)有限公司 风扇控制方法、控制终端及计算机可读存储介质
CN113584842B (zh) * 2020-04-30 2023-12-12 云米互联科技(广东)有限公司 风扇控制方法、控制终端及计算机可读存储介质
CN112070575A (zh) * 2020-07-31 2020-12-11 飞诺门阵(北京)科技有限公司 一种虚拟试衣的方法、装置、系统及电子设备
CN112700539A (zh) * 2021-01-05 2021-04-23 恒信东方文化股份有限公司 一种虚拟人台的构建方法和系统
CN113240481A (zh) * 2021-02-09 2021-08-10 飞诺门阵(北京)科技有限公司 模型处理方法、装置、电子设备和可读存储介质
CN115311060A (zh) * 2022-09-21 2022-11-08 武汉盛爱源科技有限公司 基于3d场景建模下的智能产品推荐方法及装置
CN115457104A (zh) * 2022-10-28 2022-12-09 北京百度网讯科技有限公司 人体信息的确定方法、装置及电子设备
CN115457104B (zh) * 2022-10-28 2023-01-24 北京百度网讯科技有限公司 人体信息的确定方法、装置及电子设备
CN115883814A (zh) * 2023-02-23 2023-03-31 阿里巴巴(中国)有限公司 实时视频流的播放方法、装置及设备

Similar Documents

Publication Publication Date Title
CN108564612A (zh) 模型显示方法、装置、存储介质及电子设备
CN105339841B (zh) 双镜头设备的拍照方法及双镜头设备
US10154246B2 (en) Systems and methods for 3D capturing of objects and motion sequences using multiple range and RGB cameras
CN111052727B (zh) 电子装置及其控制方法
US20190088004A1 (en) Method and system of 3d reconstruction with volume-based filtering for image processing
CN109064390B (zh) 一种图像处理方法、图像处理装置及移动终端
US20160180593A1 (en) Wearable device-based augmented reality method and system
CN111932664B (zh) 图像渲染方法、装置、电子设备及存储介质
CN108259782A (zh) 图像处理装置、摄影系统、图像处理方法
WO2017096866A1 (zh) 高动态范围图像的生成方法和装置
CN106233329A (zh) 3d拉东图像的产生和使用
CN110288534B (zh) 图像处理方法、装置、电子设备以及存储介质
CN109218630B (zh) 一种多媒体信息处理方法及装置、终端、存储介质
CN110278368A (zh) 图像处理装置、摄影系统、图像处理方法
US20140152873A1 (en) Real-time camera view through drawn region for image capture
CN110392202A (zh) 图像处理装置、摄影系统、图像处理方法
TW202117384A (zh) 提供滑動變焦效果的方法以及電子裝置
CN106791809B (zh) 一种测光方法及移动终端
WO2016184285A1 (zh) 物品图像处理方法、装置和系统
CN107111998A (zh) 生成和显示实际大小的交互式对象
CN106657600B (zh) 一种图像处理方法和移动终端
CN106470337A (zh) 用于个性化全方向视频景深的方法、装置和计算机程序产品
CN112511815B (zh) 图像或视频生成方法及装置
CN108282616A (zh) 图像的处理方法、装置、存储介质及电子设备
CN110177216B (zh) 图像处理方法、装置、移动终端以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: OPPO Guangdong Mobile Communications Co., Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: Guangdong OPPO Mobile Communications Co., Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180921