CN114792358A - 图像处理方法、装置、计算机设备和存储介质 - Google Patents
图像处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN114792358A CN114792358A CN202210475959.5A CN202210475959A CN114792358A CN 114792358 A CN114792358 A CN 114792358A CN 202210475959 A CN202210475959 A CN 202210475959A CN 114792358 A CN114792358 A CN 114792358A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- target object
- model
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Processing Or Creating Images (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
Abstract
本申请实施例提供了一种图像处理方法、装置、计算机设备和存储介质,涉及计算机技术领域。该方法包括:获取第一摄像头给目标对象拍摄的第一图像,以及第二摄像头给目标对象拍摄的第二图像;基于所述第一图像、所述第二图像、以及所述目标对象的初始3D模型,获取所述目标对象的目标3D模型;获取第一目标服饰;根据所述目标3D模型和所述第一目标服饰生成并显示第一AR图像,所述第一AR图像为目标对象试穿所述第一目标服饰的AR图像。用于解决用户无法进行虚拟试衣以获知服饰的穿戴效果的问题。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种图像处理方法、装置、计算机设备和存储介质。
背景技术
网上购物已经成为一种非常受用户欢迎的购物方式,基于网络购物平台,用户可以买服饰、生活用品等等。用户在网上够买衣服时,通常是通过输入体重、身高、腰围等等一些身体特征参数,从而选择推荐的衣服。但由于用户的身体特征参数不能完全反应用户的体型,基于上述方法选择的衣服往往不合身。
目前,网络购物平台的一些店家为用户提供了虚拟试衣功能,但若店家没有提供该功能,则用户无法进行虚拟试衣以获知服饰的穿戴效果,用户的体验较差。
发明内容
为了解决现有技术中用户在网上购买服饰时无法获知服饰的穿戴效果的技术问题,本申请提供一种图像处理方法、装置、计算机设备和存储介质。
第一方面,本申请实施例提供一种图像处理方法,该方法应用于终端,所述终端包括第一摄像头和第二摄像头;所述第一摄像头为景深摄像头;所述第二摄像头为广角摄像头;所述方法包括:
获取所述第一摄像头给目标对象拍摄的第一图像;
获取所述第二摄像头给所述目标对象拍摄的第二图像;
基于所述第一图像、所述第二图像、以及所述目标对象的初始3D模型,确定所述目标对象的目标3D模型;
获取第一目标服饰的图像;
根据所述目标3D模型和所述第一目标服饰的图像生成并显示第一AR图像,所述第一AR图像为所述目标对象试穿所述第一目标服饰的AR图像。
在一个实施例中,所述基于所述第一图像、所述第二图像、以及所述目标对象的初始3D模型,确定所述目标对象的目标3D模型,包括:
根据所述第一图像和所述第二图像,获取所述目标对象的3D重建模型;
根据所述初始3D模型和所述3D重建模型,生成所述目标对象的目标3D模型。
在一个实施例中,所述根据所述第一图像和所述第二图像,获取所述目标对象的3D重建模型,包括:
根据所述第一图像和所述第二图像,获取所述目标对象的深度图像;
根据所述第一图像的YUV数据、所述第二图像的YUV数据、以及所述深度图像,构建所述目标对象的3D重建模型。
在一个实施例中,所述根据所述第一图像和所述第二图像,获取所述目标对象的深度图像,包括:
确定所述第一图像中的多个特征点;
根据所述多个特征点将所述第一图像与所述第二图像进行匹配,确定所述多个特征点中的每个特征点在所述第二图像中对应的匹配特征点;
根据所述第一图像中的每个特征点与所述每个特征点在所述第二图像中对应的匹配特征点,获取所述目标对象的深度图像。
在一个实施例中,所述根据所述目标3D模型和所述第一目标服饰的图像生成并显示第一AR图像,包括:
确定所述目标3D模型的特征点和所述第一目标服饰的服饰参数;
基于所述特征点和所述服饰参数将所述目标3D模型与所述第一目标服饰的图像进行匹配,生成所述第一AR图像。
在一个实施例中,在获取所述第一摄像头给目标对象拍摄的第一图像之前,所述方法还包括:
获取用户输入的第一操作;
响应于所述第一操作,启动所述第一摄像头和所述第二摄像头。
在一个实施例中,在根据所述目标3D模型和所述第一目标服饰生成并显示第一AR图像之后,所述方法还包括:
获取所述输入的第二操作;
响应于所述第二操作,将显示的所述第一AR图像切换为第二AR图像;其中,所述第二AR图像为所述目标对象试穿第二目标服饰的AR图像,所述第二目标服饰为基于所述第二操作确定的目标服饰。
第二方面,本申请实施例提供一种图像处理装置,所述装置应用于终端,所述终端包括第一摄像头和第二摄像头;所述第一摄像头为景深摄像头;所述第二摄像头为广角摄像头;所述装置包括:
采集模块,用于获取所述第一摄像头给目标对象拍摄的第一图像;以及获取所述第二摄像头给所述目标对象拍摄的第二图像;
处理模块,用于基于所述第一图像、所述第二图像、以及所述目标对象的初始3D模型,确定所述目标对象的目标3D模型;
获取模块,用于获取第一目标服饰的图像;
显示模块,用于根据所述目标3D模型和所述第一目标服饰的图像生成并显示第一AR图像,所述第一AR图像为所述目标对象试穿所述第一目标服饰的AR图像。
在一个实施例中,所述处理模块具体用于:根据所述第一图像和所述第二图像,获取所述目标对象的3D重建模型;
根据所述初始3D模型和所述3D重建模型,生成所述目标对象的目标3D模型。
在一个实施例中,所述处理模块具体用于:根据所述第一图像和所述第二图像,获取所述目标对象的深度图像;
根据所述第一图像的YUV数据、所述第二图像的YUV数据、以及所述深度图像,构建所述目标对象的3D重建模型。
在一个实施例中,所述处理模块具体用于:确定所述第一图像中的多个特征点;
根据所述多个特征点将所述第一图像与所述第二图像进行匹配,确定所述多个特征点中的每个特征点在所述第二图像中的对应的匹配特征点;
根据所述第一图像中的每个特征点与所述每个特征点在所述第二图像中的对应的匹配特征点,获取所述目标对象的深度图像。
在一个实施例中,所述显示模块具体用于:确定所述目标3D模型的特征点和所述第一目标服饰的服饰参数;
基于所述特征点和所述服饰参数将所述目标3D模型与所述第一目标服饰的图像进行匹配,生成所述第一AR图像。
在一个实施例中,所述获取模块具体用于:在获取所述第一摄像头给目标对象拍摄的第一图像之前,获取用户输入的第一操作;
响应于所述第一操作,启动所述第一摄像头和所述第二摄像头。;
在一个实施例中,所述装置还包括切换模块,在根据所述目标3D模型和所述第一目标服饰生成并显示第一AR图像之后,用于获取用户输入的第二操作;
响应于所述第二操作,将显示的所述第一AR图像切换为第二AR图像;其中,所述第二AR图像为所述目标对象试穿第二目标服饰的AR图像,所述第二目标服饰为基于所述第二操作确定的目标服饰。
第三方面,本申请实施例提供了一种计算机设备,包括:存储器和处理器,存储器用于存储计算机程序;处理器用于在调用计算机程序时执行第一方面或第一方面任一种可选的实施方式所述的图像处理方法的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现第一方面或第一方面任一种可选的实施方式所述的图像处理方法的步骤。
本申请第一方面实施例提供的图像处理方法,通过获取第一摄像头给目标对象拍摄的第一图像,以及第二摄像头给目标对象拍摄的第二图像;基于所述第一图像、所述第二图像、以及所述目标对象的初始3D模型,获取所述目标对象的目标3D模型;基于第一图像和第二图像可以得到目标对象具有深度信息的图像,通过目标对象具有深度信息的图像和初始3D模型,可得到更精确的目标对象的3D模型(目标3D模型)。通过获取第一目标服饰的图像;根据所述目标3D模型和所述第一目标服饰生成并显示第一AR图像,所述第一AR图像为目标对象试穿所述第一目标服饰的AR图像,可使用户直观的感受试穿第一目标服饰的立体效果,明确知道自己选择的服饰是否合身,提高了用户体验。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一个实施例提供的图像处理方法的步骤流程图;
图2为本申请另一个实施例提供的图像处理方法的步骤流程图;
图3为本申请再一个实施例提供的图像处理方法的步骤流程图;
图4为本申请一个实施例中图像处理装置的结构框图;
图5为本申请另一个实施例中图像处理装置的结构框图;
图6为本申请一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请,但本申请还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本申请的一部分实施例,而不是全部的实施例。
本申请的说明书和权利要求书中的术语“第一”和“第二”等是用于区别同步的对象,而不是用于描述对象的特定顺序。例如,第一功能和第二功能是用于区别不同的功能,而不是用于描述功能的特定顺序。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念,此外,在本申请实施例的描述中,除非另有说明,“多个”的含义是指两个或两个以上。
首先,对本申请实施例的应用场景进行示例性描述:用户在网络上购买衣服时,通常是通过输入自己的身高、体重、腰围等特征参数用于匹配衣服的尺码,从而选择推荐的尺码。但基于该方法选择的衣服往往不合身,用户收到衣服进行试穿后,若不合身还要进行退货等操作,浪费用户的时间,造成不好的用户体验。
基于用户的试衣需求,目前有些商家推出了虚拟试衣功能,用户通过输入自己的特征参数创建模特,观看创建的模特的穿衣效果来判断该衣服是否合身。但由于模特也是根据用户输入的特征参数创建的,因此用模特的穿衣效果来判断用户的真实穿衣效果的精确度较低。很多商家并没有提供虚拟试衣功能,在该情况下,用户所使用的终端设备没有AR功能的话则无法进行试衣,给用户造成不好的购物体验。
此外,一些终端设备例如智能手机通过LiDAR激光雷达实现了AR功能,但LiDAR激光雷达芯片成本高;应用于安卓手机上的一些应用程序(Application,APP)也可以实现AR功能,但负载APP会增加安卓手机的功耗,因此如何在不增加安卓手机功耗的情况下实现手机的AR功能,是目前亟待解决的问题。
基于此,本申请实施例提供了一种图像处理方法,用户在购买衣服时,通过摄像头获取用户的图像,结合用户的初始3D模型,生成精确度较高的目标3D模型,通过目标3D模型与衣服生成的AR图像,可使用户感受到真实的三维立体效果,给用户以实体店真实试衣的感受,提高了用户体验。
其中,该方法可通过安装有不同焦距的多个摄像头的终端来实现,该终端可以但不限于为手机、平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、上网本等等终端设备,本申请实施例不进行具体限定。
下面通过几个具体实施例,对本申请提供的图像处理方法进行详细阐述。
图1为本申请一个实施例提供的图像处理方法的流程图,参照图1所示,本实施例提供的图像处理方法包括以下步骤:
S110、获取第一摄像头给目标对象拍摄的第一图像,以及获取第二摄像头给目标对象拍摄的第二图像;
即,第一图像和第二图像分别为通过不同的摄像头获取的图像。目标对象可以但不限于为人,也可以为宠物等等,即本申请实施例不仅适用于用户进行试衣,也适用于为宠物买衣服时进行试衣。
示例性的,用户在为自己购买服饰时,目标对象为用户;用户为自己的宠物买衣服时,目标对象为用户的宠物。
示例性的,第一摄像头为景深摄像头的情况下,第二摄像头可以为广角摄像头;还可以为彩色摄像头。需要说明的是,此处只是对摄像头进行举例说明,本申请实施例中的摄像头并不限于此。
S120、基于第一图像、第二图像、以及目标对象的初始3D模型,确定目标对象的目标3D模型。
其中,目标对象的初始3D模型为根据目标对象的特征参数生成的模特,目标对象的特征参数可包括:目标对象的身高、体重、臂长、跨型等等参数,根据目标对象的特征参数生成初始3D模型的过程属于现有技术,此处不再进行详述。终端设备将生成的初始3D模型保存。
需要说明的是,用户可通过向终端设备输入展示初始3D模型的指令,使终端设备在界面上展示初始3D模型;用户也可以向终端设备输入不展示初始3D模型的指令,使终端设备不对用户展示初始3D模型。或者可进行设置,将终端设备不对用户展示初始3D模型的作为为默认设置,以减小功耗。
基于第一图像、第二图像对目标对象的初始3D模型进行校正,得到精确度更高的目标对象的目标3D模型。
S130、获取第一目标服饰的图像。
其中,第一目标服饰的图像为用户选择的服饰的图像,为终端设备上显示的图像,如购物平台上商家提供的服饰的图片,基于用户的选择确定的服饰的图像。本申请实施例提及的服饰可包括上衣、裤子、帽子、鞋、配饰等等。
获取第一目标服饰的图像可通过用户对终端设备的操作来选择,示例性的,若用户在购物界面通过对服饰的图像进行点击操作、滑动操作、手势操作等等进行选择,将用户选择的服饰的图像确定为第一目标服饰。
S140、根据目标3D模型和第一目标服饰的图像生成并显示第一AR图像。
其中,第一AR图像为目标对象试穿第一目标服饰的AR图像。
可选的,可通过确定目标3D模型的特征点和第一目标服饰的服饰参数;基于特征点和服饰参数将目标3D模型与第一目标服饰的图像进行匹配,生成第一AR图像。
其中,目标3D模型的特征点包括目标3D模型对应的腰围、臂长、肩宽等等参数,第一目标服饰的服饰参数包括第一目标服饰的大小(码数)、尺寸、袖长等等参数。将生成的第一AR图像在终端设备的界面上进行显示。
在本实施例中,通过获取第一摄像头给目标对象拍摄的第一图像,以及第二摄像头给目标对象拍摄的第二图像;基于所述第一图像、所述第二图像、以及所述目标对象的初始3D模型,获取所述目标对象的目标3D模型;基于第一图像和第二图像可以得到目标对象具有深度信息的图像,通过目标对象具有深度信息的图像和初始3D模型,可得到更精确的目标对象的3D模型(目标3D模型)。通过获取第一目标服饰的图像;根据所述目标3D模型和所述第一目标服饰生成并显示第一AR图像,所述第一AR图像为目标对象试穿所述第一目标服饰的AR图像,可使用户直观的感受试穿第一目标服饰的立体效果,明确知道自己选择的服饰是否合身,提高了用户体验。
图2为本申请另一个实施例提供的图像处理方法的流程图,结合图1所示,在图1所示实施例的基础上,步骤S120包括如下步骤S210至S220。本实施例不再对与图1所示实施例相同或类似的步骤进行详细的解释和说明,可参见图1所示实施例中的解释和说明,此处不再赘述。
S210、根据第一图像和第二图像,获取目标对象的3D重建模型。
通过获取第一图像和第二图像分别对应的YUV数据,以及第一图像和第二图像的视差关系,通过调用opencv算法,可得到3D重建模型。
其中,YUV为三个分量,“Y”表示明亮度(Luminance或Luma),即灰度值;“U”和“V”表示色度(Chrominance或Chroma),作用是描述影像色彩及饱和度,用于指定像素的颜色。第一图像的YUV可通过第一摄像头获取,第二图像YUV数据可通过第二摄像头获取。
可选的,获取目标对象的3D重建模型包括:根据第一图像和第二图像,获取目标对象的深度图像;根据第一图像的YUV数据、第二图像的YUV数据、以及深度图像,构建目标对象的3D重建模型。
第一图像和第二图像为终端设备上不同的摄像头获取的图像,因此第一图像的像素的位置和该像素在第二图像中对应的像素的位置存在距离差和角度差,基于距离差和角度差可得到目标对象的深度图像,即含有景深信息。基于第一图像的YUV数据和第二图像的YUV数据可对深度图像中的景深进行调整,使景深信息更为精确。
本实施例中基于YUV数据对深度图像中的景深进行调整,可提高处理效率,减小终端设备的功耗。
可选的,根据第一图像和第二图像,获取目标对象的深度图像,包括:确定第一图像中的多个特征点;根据多个特征点将第一图像与第二图像进行匹配,确定多个特征点中的每个特征点在第二图像中的对应的匹配特征点;根据第一图像中的每个特征点与每个特征点在第二图像中的对应的匹配特征点,获取目标对象的深度图像。
示例性的,确定第一图像中的多个特征点A、B、C、D,根据特征点A、B、C、D的像素区域将第一图像与第二图像进行匹配,得到特征点A在第二图像中对应的匹配特征点A′、特征点B在第二图像中对应的匹配特征点B′、特征点C在第二图像中对应的匹配特征点C′、特征点D在第二图像中的对应的匹配特征点D′,从而根据特征点A和匹配特征点A′的视差关系、特征点B和匹配特征点B′的视差关系、特征点C和匹配特征点C′的视差关系、以及特征点D和匹配特征点D′的视差关系获取到目标对象的深度图像。其中,第一图像中的多个特征点可包括:目标对象的眼睛、耳朵、胳膊等等,此处不再一一列举。
S220、根据初始3D模型和3D重建模型,生成目标对象的目标3D模型。
初始3D模型是根据目标对象的特征参数生成的,3D重建模型是根据获取的目标对象的第一图像和第二图像生成的,将初始3D模型和3D重建模型进行拟合,可起到修正的作用,使得到的目标3D模型更加精确。
图3为本申请另一个实施例提供的图像处理方法的流程图,结合图1所示,在图1所示实施例的基础上,步骤S110之前,还包括以下步骤S310至S320,本实施例不再对与图1所示实施例相同或类似的步骤进行详细的解释和说明,可参见图1所示实施例中的解释和说明,此处不再赘述。
S310、获取用户输入的第一操作。
其中,用户的第一操作为调用或启动第一摄像头和第二摄像头的操作。
以下通过示例性场景对用户的第一操作进行解释说明。
在购物场景中,终端设备的界面上可以显示供用户选择是否进行AR试衣的提示信息,该提示信息对应功能按钮。若用户对提示信息进行了确认操作,则触发对应的功能按钮,调用终端设备的第一摄像头和第二摄像头,分别获取用户的第一图像和第二图像,进而生成用户对应的3D重建模型。
其中,提示信息可以为文字信息,如“是否进入试衣间”,若用户选择“是”,则触发对应的功能按钮,启动终端设备的第一摄像头和第二摄像头。提示信息也可以为向用户发送的语音信息,终端设备的语音拾取器通过获取用户的语音响应信息,确定是否启动终端设备的第一摄像头和第二摄像头。如,若用户输入的语音信息为“是”,则启动终端设备的第一摄像头和第二摄像头,获取用户的第一图像和第二图像,进而生成用户对应的3D重建模型。
进一步的,基于用户的确认操作,终端设备向用户展示选择界面,该选择界面用于供用户选择获取第一图像和第二图像的方式,获取第一图像和第二图像的方式可以包括:第一种方式;实时拍摄图像;第二种方式:获取终端设备存储的图像。若用户选择第一种方式,则启动第一摄像头和第二摄像头,对用户进行拍照。若用户选择第二种方式,则根据用户对存储的图像的确认操作,获取用户选择的图像。需要说明的是,终端设备存储的图像为第一图像的情况下,可同时获取第一图像对应的第二图像数据,终端设备存储的图像为第二图像的情况下,可同时获取第二图像对应的第一图像数据,进而生成用户对应的3D重建模型。
S320、响应于第一操作,启动第一摄像头和第二摄像头。
示例性的,用户在进行购买服饰时,根据页面的显示内容对浏览的服饰的颜色和尺码等进行点击操作,即点击操作是对服饰参数的选择操作,终端设备根据接收的用户的点击操作确定用户选择的第一目标服饰。
或者,用户通过终端设备的显示页面进行输入操作,输入想进行试穿的服饰对应的服饰参数,终端设备根据用户输入的服饰参数第一目标服饰。
可选的,在图3所示的步骤S140之后,还包括:
S330、获取用户输入的第二操作。
S340、响应于第二操作,将显示的第一AR图像切换为第二AR图像。
其中,第二操作用于确定目标服饰的图像,第二AR图像为目标对象试穿第二目标服饰的AR图像,第二目标服饰为基于第二操作确定的目标服饰。示例性的,若终端设备的当前显示界面显示的为第一AR图像,基于用户的第二操作,生成并显示用户试穿第二操作对应的目标服饰的第二AR图像,即切换了显示界面。
即,用户的第二操作是用户选择另一件服饰进行试穿的操作。
示例性的,终端设备显示的第一AR图像为目标3D模型与白色T恤生成的图像,用户输入的第二操作选择的是蓝色衬衫的操作,则将显示界面由第一AR图像切换为目标3D模型与蓝色衬衫生成的第二AR图像,实现了快速试衣的效果。
在本申请实施例中,用于生成终端设备界面上显示的AR图像(第一AR图像和第二AR图像)的目标服饰(第一目标服饰和第二目标服饰)是根据用户的操作进行确定的,因此不会生成用户没有选择的服饰对应的AR图像,可以提高AR图像的生成效率,提高用户的试穿效率。
此外,本申请实施例提供的图像处理方法,无需基于特定的APP实现,因此在使用上更加方便快捷,且减小了终端设备的负载。
基于同一发明构思,作为对上述方法的实现,本申请实施例还提供了一种图像处理装置,该装置实施例与前述方法实施例对应,为便于阅读,本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述,但应当明确,本实施例中的图像处理装置能够对应实现前述方法实施例中的全部内容。
图4为本申请实施例提供的图像处理装置的结构框图,如图4所示,本实施例提供的图像处理装置400包括:
采集模块410,用于获取第一摄像头给目标对象拍摄的第一图像;以及获取第二摄像头给目标对象拍摄的第二图像;
处理模块420,用于基于第一图像、第二图像、以及目标对象的初始3D模型,确定目标对象的目标3D模型;
获取模块430,用于获取第一目标服饰的图像;
显示模块440,用户根据目标3D模型和第一目标服饰的图像生成并显示第一AR图像,第一AR图像为目标对象试穿第一目标服饰的AR图像。
作为本申请实施例一种可选的实施方式,处理模块420具体用于:根据第一图像和第二图像,获取目标对象的3D重建模型;根据初始3D模型和3D重建模型,生成目标对象的目标3D模型。
作为本申请实施例一种可选的实施方式,处理模块420具体用于:根据第一图像和第二图像,获取目标对象的深度图像;根据第一图像的YUV数据、第二图像的YUV数据、以及深度图像,构建目标对象的3D重建模型。
作为本申请实施例一种可选的实施方式,处理模块420具体用于:确定第一图像中的多个特征点;根据多个特征点将所述第一图像与第二图像进行匹配,确定多个特征点中的每个特征点在述第二图像中对应的匹配特征点;根据第一图像中的每个特征点与每个特征点在所述第二图像中对应的匹配特征点,获取目标对象的深度图像。
在一个实施例中,显示模块440具体用于:确定目标3D模型的特征点和第一目标服饰的服饰参数;基于特征点和服饰参数将目标3D模型与第一目标服饰的图像进行匹配,生成第一AR图像。
在一个实施例中,获取模块430具体用于:获取用户输入的第一操作;响应于第一操作,启动所述第一摄像头和第二摄像头。
图5为本申请另一个实施例提供的图像处理装置400的结构框图,参照图5所示,在图4所示装置基础上,该装置还包括:
切换模块510,在根据目标3D模型和第一目标服饰生成并显示第一AR图像之后,用于获取用户输入的第二操作;响应于第二操作,将显示的第一AR图像切换为第二AR图像;其中,第二AR图像为目标对象试穿第二目标服饰的AR图像,第二目标服饰为基于第二操作确定的目标服饰。
本申请实施例提供的图像处理装置通过获取第一摄像头给目标对象拍摄的第一图像,以及第二摄像头给目标对象拍摄的第二图像;基于所述第一图像、所述第二图像、以及所述目标对象的初始3D模型,获取所述目标对象的目标3D模型;基于第一图像和第二图像可以得到目标对象具有深度信息的图像,通过目标对象具有深度信息的图像和初始3D模型,可得到更精确的目标对象的3D模型(目标3D模型)。通过获取第一目标服饰的图像;根据所述目标3D模型和所述第一目标服饰生成并显示第一AR图像,所述第一AR图像为目标对象试穿所述第一目标服饰的AR图像,可使用户直观的感受试穿第一目标服饰的立体效果,明确知道自己选择的服饰是否合身,提高了用户体验。
本实施例提供的图像处理装置可以执行上述方法实施例提供的图像处理方法,其实现原理与技术效果类似,此处不再赘述。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定,在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中,也可以以软件形式存储于电子设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、近场通信(NFC)或其他技术实现。该计算机程序被处理器执行时以实现一种轨道交通站点播报方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的图像处理方法可以实现为一种计算机程序的形式,计算机程序可在如图6所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像处理装置的各个程序模块,比如,图4所示的采集模块410、获取模块430和显示模块440。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像处理方法中的步骤。
在一个实施例中,提供了一种电子设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现以下步骤:获取所述第一摄像头给目标对象拍摄的第一图像;获取所述第二摄像头给所述目标对象拍摄的第二图像;基于所述第一图像、所述第二图像、以及所述目标对象的初始3D模型,确定所述目标对象的目标3D模型;获取第一目标服饰的图像;根据所述目标3D模型和所述第一目标服饰的图像生成并显示第一AR图像,所述第一AR图像为所述目标对象试穿所述第一目标服饰的AR图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据第一图像和第二图像,获取目标对象的3D重建模型;根据初始3D模型和3D重建模型,生成目标对象的目标3D模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据第一图像和第二图像,获取目标对象的深度图像;根据第一图像的YUV数据、第二图像的YUV数据、以及深度图像,构建目标对象的3D重建模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:确定第一图像中的多个特征点;根据多个特征点将第一图像与第二图像进行匹配,确定多个特征点中的每个特征点在第二图像中对应的匹配特征点;根据第一图像中的每个特征点与每个特征点在第二图像中的对应的匹配特征点,获取目标对象的深度图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:确定目标3D模型的特征点和第一目标服饰的服饰参数;基于特征点和服饰参数将目标3D模型与第一目标服饰进行匹配,生成第一AR图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取用户输入的第一操作;响应于第一操作,启动第一摄像头和第二摄像头。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取用户输入的第二操作;响应于第二操作,将显示的第一AR图像切换为第二AR图像;其中,第二AR图像为目标对象试穿第二目标服饰的AR图像,第二目标服饰为基于第二操作确定的目标服饰。
本申请实施例提供的电子设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时,通过获取第一摄像头给目标对象拍摄的第一图像,以及第二摄像头给目标对象拍摄的第二图像;基于第一图像、第二图像、以及目标对象的初始3D模型,获取目标对象的目标3D模型;基于第一图像和第二图像可以得到目标对象具有深度信息的图像,通过目标对象具有深度信息的图像和初始3D模型,可得到更精确的目标对象的3D模型(目标3D模型)。通过获取第一目标服饰的图像;根据目标3D模型和第一目标服饰生成并显示第一AR图像,第一AR图像为目标对象试穿第一目标服饰的AR图像,可使用户直观的感受试穿第一目标服饰的立体效果,明确知道自己选择的服饰是否合身,提高了用户体验。
本实施例提供的电子设备,可以实现上述方法实施例提供的图像处理方法,其实现原理与技术效果类似,此处不再赘述。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:获取所述第一摄像头给目标对象拍摄的第一图像;获取所述第二摄像头给所述目标对象拍摄的第二图像;基于所述第一图像、所述第二图像、以及所述目标对象的初始3D模型,确定所述目标对象的目标3D模型;获取第一目标服饰的图像;根据所述目标3D模型和所述第一目标服饰的图像生成并显示第一AR图像,所述第一AR图像为所述目标对象试穿所述第一目标服饰的AR图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据第一图像和第二图像,获取目标对象的3D重建模型;根据初始3D模型和3D重建模型,生成目标对象的目标3D模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据第一图像和第二图像,获取目标对象的深度图像;根据第一图像的YUV数据、第二图像的YUV数据、以及深度图像,构建目标对象的3D重建模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:确定第一图像中的多个特征点;根据多个特征点将第一图像与第二图像进行匹配,确定多个特征点中的每个特征点在第二图像中对应的匹配特征点;根据第一图像中的每个特征点与每个特征点在第二图像中的对应的匹配特征点,获取目标对象的深度图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:确定目标3D模型的特征点和第一目标服饰的服饰参数;基于特征点和服饰参数将目标3D模型与第一目标服饰进行匹配,生成第一AR图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取用户输入的第一操作;响应于第一操作,启动第一摄像头和第二摄像头。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取用户输入的第二操作;响应于第二操作,将显示的第一AR图像切换为第二AR图像;其中,第二AR图像为目标对象试穿第二目标服饰的AR图像,第二目标服饰为基于第二操作确定的目标服饰。
本申请实施例提供的计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时,通过获取第一摄像头给目标对象拍摄的第一图像,以及第二摄像头给目标对象拍摄的第二图像;基于第一图像、第二图像、以及目标对象的初始3D模型,获取目标对象的目标3D模型;基于第一图像和第二图像可以得到目标对象具有深度信息的图像,通过目标对象具有深度信息的图像和初始3D模型,可得到更精确的目标对象的3D模型(目标3D模型)。通过获取第一目标服饰的图像;根据目标3D模型和第一目标服饰生成并显示第一AR图像,第一AR图像为目标对象试穿第一目标服饰的AR图像,可使用户直观的感受试穿第一目标服饰的立体效果,明确知道自己选择的服饰是否合身,提高了用户体验。
本实施例提供的计算机可读存储介质上存储的计算机程序,可以实现上述方法实施例提供的图像处理方法,其实现原理与技术效果类似,此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(RandomAccess Memory,RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,比如静态随机存取存储器(Static Random Access Memory,SRAM)和动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像处理方法,所述方法应用于终端,所述终端包括第一摄像头和第二摄像头;所述第一摄像头为景深摄像头;所述第二摄像头为广角摄像头;所述方法包括:
获取所述第一摄像头给目标对象拍摄的第一图像;
获取所述第二摄像头给所述目标对象拍摄的第二图像;
基于所述第一图像、所述第二图像、以及所述目标对象的初始3D模型,确定所述目标对象的目标3D模型;
获取第一目标服饰的图像;
根据所述目标3D模型和所述第一目标服饰的图像生成并显示第一AR图像,所述第一AR图像为所述目标对象试穿所述第一目标服饰的AR图像。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一图像、所述第二图像、以及所述目标对象的初始3D模型,确定所述目标对象的目标3D模型,包括:
根据所述第一图像和所述第二图像,获取所述目标对象的3D重建模型;
根据所述初始3D模型和所述3D重建模型,生成所述目标对象的目标3D模型。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一图像和所述第二图像,获取所述目标对象的3D重建模型,包括:
根据所述第一图像和所述第二图像,获取所述目标对象的深度图像;
根据所述第一图像的YUV数据、所述第二图像的YUV数据、以及所述深度图像,构建所述目标对象的3D重建模型。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第一图像和所述第二图像,获取所述目标对象的深度图像,包括:
确定所述第一图像中的多个特征点;
根据所述多个特征点将所述第一图像与所述第二图像进行匹配,确定所述多个特征点中的每个特征点在所述第二图像中对应的匹配特征点;
根据所述第一图像中的每个特征点与所述每个特征点在所述第二图像中对应的匹配特征点,获取所述目标对象的深度图像。
5.根据权利要求1所述的方法,其特征在于,所述根据所述目标3D模型和所述第一目标服饰的图像生成并显示第一AR图像,包括:
确定所述目标3D模型的特征点和所述第一目标服饰的服饰参数;
基于所述特征点和所述服饰参数将所述目标3D模型与所述第一目标服饰的图像进行匹配,生成所述第一AR图像。
6.根据权利要求1-5任一项所述的方法,其特征在于,在获取所述第一摄像头给目标对象拍摄的第一图像之前,所述方法还包括:
获取用户输入的第一操作;
响应于所述第一操作,启动所述第一摄像头和所述第二摄像头。
7.根据权利要求1所述的方法,其特征在于,在根据所述目标3D模型和所述第一目标服饰生成并显示第一AR图像之后,所述方法还包括:
获取用户输入的第二操作;
响应于所述第二操作,将显示的所述第一AR图像切换为第二AR图像;其中,所述第二AR图像为所述目标对象试穿第二目标服饰的AR图像,所述第二目标服饰为基于所述第二操作确定的目标服饰。
8.一种图像处理装置,所述装置应用于终端,所述终端包括第一摄像头和第二摄像头;所述第一摄像头为景深摄像头;所述第二摄像头为广角摄像头;所述装置包括:
采集模块,用于获取所述第一摄像头给目标对象拍摄的第一图像;以及获取所述第二摄像头给所述目标对象拍摄的第二图像;
处理模块,用于基于所述第一图像、所述第二图像、以及所述目标对象的初始3D模型,确定所述目标对象的目标3D模型;
获取模块,用于获取第一目标服饰的图像;
显示模块,用于根据所述目标3D模型和所述第一目标服饰的图像生成并显示第一AR图像,所述第一AR图像为所述目标对象试穿所述第一目标服饰的AR图像。
9.一种计算机设备,其特征在于,包括:存储器和处理器,存储器用于存储计算机程序;处理器用于在调用计算机程序时执行权利要求1-7任一项所述的图像处理方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,计算机程序被处理器执行时实现权利要求1-7任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210475959.5A CN114792358A (zh) | 2022-04-29 | 2022-04-29 | 图像处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210475959.5A CN114792358A (zh) | 2022-04-29 | 2022-04-29 | 图像处理方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114792358A true CN114792358A (zh) | 2022-07-26 |
Family
ID=82462451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210475959.5A Pending CN114792358A (zh) | 2022-04-29 | 2022-04-29 | 图像处理方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114792358A (zh) |
-
2022
- 2022-04-29 CN CN202210475959.5A patent/CN114792358A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111787242B (zh) | 用于虚拟试衣的方法和装置 | |
WO2016078296A1 (zh) | 服装试穿方法及装置 | |
CN107977885B (zh) | 虚拟试穿的方法及装置 | |
CN106412458A (zh) | 一种图像处理方法和装置 | |
WO2022066570A1 (en) | Providing ar-based clothing in messaging system | |
CN107481082A (zh) | 一种虚拟试衣方法及其装置、电子设备及虚拟试衣系统 | |
CN112156465B (zh) | 虚拟角色的显示方法、装置、设备及介质 | |
US10147240B2 (en) | Product image processing method, and apparatus and system thereof | |
CN111767817B (zh) | 一种服饰搭配方法、装置、电子设备及存储介质 | |
CN114285944B (zh) | 视频彩铃生成方法、装置及电子设备 | |
CN108959311B (zh) | 一种社交场景配置方法及装置 | |
KR20170019917A (ko) | 의상의 3차원 모델 생성 장치, 방법 및 이를 위한 컴퓨터 프로그램 | |
CN112184540A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
CN114792358A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN111429209A (zh) | 用于多用户虚拟逛街的方法及装置、服务器 | |
CN116993432A (zh) | 虚拟服饰信息展示方法及电子设备 | |
CN113301243B (zh) | 图像处理方法、交互方法、系统、装置、设备和存储介质 | |
KR102617789B1 (ko) | 픽처 처리 방법 및 디바이스, 저장 매체 그리고 전자 장치 | |
CN114445271A (zh) | 一种生成虚拟试穿3d图像的方法 | |
CN112634339B (zh) | 商品对象信息展示方法、装置及电子设备 | |
CN112785490A (zh) | 图像处理方法、装置及电子设备 | |
CN111754297A (zh) | 图像共享处理方法及电子设备 | |
CN114095647A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
KR20110131404A (ko) | 스마트폰에서 3차원 아바타를 이용하여 의류를 쇼핑하는 방법 | |
CN110610545B (zh) | 形象展示方法、终端、存储介质及处理器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |