CN113240481A - 模型处理方法、装置、电子设备和可读存储介质 - Google Patents

模型处理方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN113240481A
CN113240481A CN202110373786.1A CN202110373786A CN113240481A CN 113240481 A CN113240481 A CN 113240481A CN 202110373786 A CN202110373786 A CN 202110373786A CN 113240481 A CN113240481 A CN 113240481A
Authority
CN
China
Prior art keywords
image
fitting effect
effect image
human body
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110373786.1A
Other languages
English (en)
Inventor
汝聪翀
沈寓实
吴昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fenomen Array Beijing Technology Co ltd
Original Assignee
Fenomen Array Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fenomen Array Beijing Technology Co ltd filed Critical Fenomen Array Beijing Technology Co ltd
Publication of CN113240481A publication Critical patent/CN113240481A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种模型处理方法、装置、电子设备和可读存储介质,属于图像处理领域。该方法包括:获取第一人体图像和衣物图像,将第一人体图像和衣物图像输入初始模型,生成并显示第一试衣效果图像,响应于对第一试衣效果图像的调整操作,生成第二试衣效果图像,根据第二试衣效果图像和第一试衣效果图像之间的差异数据,训练初始模型,得到用于生成试衣效果图像的目标模型。在模型训练过程中,响应于用户对试衣效果图像的调整操作,得到准确的目标图像,根据目标图像和试衣效果图像对模型进行训练,以此可以获取足够数量的训练数据对模型进行训练,可以提高目标模型的性能,生成比较准确的试衣效果图像。

Description

模型处理方法、装置、电子设备和可读存储介质
技术领域
本申请属于图像处理领域,具体涉及一种模型处理方法、装置、电子设备和可读存储介质。
背景技术
在虚拟试衣技术中,电子设备可以获取人体图像和衣物图像,将人体图像和衣物图像输入预先训练得到的目标模型,得到目标模型生成的试衣效果图像即人体图像与衣物图像结合后的图像,用户可以通过试衣效果图像观看试衣效果,完成虚拟试衣。
在模型训练过程中,首先需要获取多个人体图像,以及每个人体图像分别对应的衣物图像和目标图像,目标图像为对换装后的人体进行拍摄得到的图像,然后将每个人体图像和对应的衣物图像输入模型,得到模型输出的试衣效果图像,根据试衣效果图像和对应的目标图像对模型进行训练。
在实现本申请的过程中,发明人发现现有技术中至少存在如下问题:目标图像的获取难度较大,无法获取足够数量的目标图像,导致训练数据较少。在训练数据较少的情况下,训练得到的目标模型的性能不高,无法生成准确的试衣效果图像,试衣效果较差。
发明内容
本申请实施例的目的是提供一种模型处理方法、装置、电子设备和可读存储介质,能够解决目标模型的性能不高,生成的试衣效果图像较差的问题。
为了解决上述技术问题,本申请是这样实现的:
第一方面,本申请实施例提供了一种模型处理方法,该方法包括:
获取第一人体图像和衣物图像;
将所述第一人体图像和所述衣物图像输入初始模型,得到所述初始模型生成的第一试衣效果图像,并显示所述第一试衣效果图像;
响应于对所述第一试衣效果图像的调整操作,生成与所述第一试衣效果图像对应的第二试衣效果图像;
根据所述第二试衣效果图像和所述第一试衣效果图像之间的差异数据,训练所述初始模型,得到用于生成试衣效果图像的目标模型。
第二方面,本申请实施例提供了一种模型处理装置,该装置包括:
获取模块,用于获取第一人体图像和衣物图像;
显示模块,用于将所述第一人体图像和所述衣物图像输入初始模型,得到所述初始模型生成的第一试衣效果图像,并显示所述第一试衣效果图像;
生成模块,用于响应于对所述第一试衣效果图像的调整操作,生成与所述第一试衣效果图像对应的第二试衣效果图像;
训练模块,用于根据所述第二试衣效果图像和所述第一试衣效果图像之间的差异数据,训练所述初始模型,得到用于生成试衣效果图像的目标模型。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
在本申请实施例中,电子设备获取第一人体图像和衣物图像,将第一人体图像和衣物图像输入初始模型,得到初始模型生成的第一试衣效果图像,并显示第一试衣效果图像,响应于对第一试衣效果图像的调整操作,生成与第一试衣效果图像对应的第二试衣效果图像,根据第二试衣效果图像和第一试衣效果图像之间的差异数据,训练初始模型,得到用于生成试衣效果图像的目标模型。在模型训练过程中,响应于用户对试衣效果图像的调整操作,得到准确的目标图像,根据目标图像和试衣效果图像对模型进行训练,以此可以获取足够数量的训练数据对模型进行训练,可以提高目标模型的性能,进而通过目标模型可以生成比较准确的试衣效果图像。
附图说明
图1是根据一示例性实施例提供的一种模型处理方法的步骤流程图;
图2是根据一示例性实施例提供的一种模型处理装置的结构示意图;
图3是根据一示例性实施例提供的一种电子设备的结构示意图;
图4为实现本申请实施例的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的模型处理方法进行详细地说明。
图1是根据一示例性实施例提供的一种模型处理方法的步骤流程图,如图1所示,该方法包括:
步骤101、获取第一人体图像和衣物图像。
其中,模型处理方法可以由电子设备执行,电子设备例如电脑、手机和服务器等设备。
示例的,电子设备可以预先存储人体图像集合,人体图像集合中可以包括多个三维人体图像。在每次训练过程中,电子设备可以从人体图像集合中获取一个三维人体图像作为第一人体图像。同理,电子设备可以预先存储衣物图像集合,衣物图像集合中可以包括多个三维衣物图像,在每次训练过程中,电子设备可以从衣物图像集合中获取一个三维衣物图像作为衣物图像。
在另一个实施例中,第一人体图像可以为实时采集得到的三维人体图像。例如,电子设备可以控制摄像头实时的,从多个角度分别拍摄得到人体的多张二维图像,通过多张二维图像进行三维重建,得到三维的第一人体图像。第一人体图像和衣物图像的具体获取过程可以根据需求设置,本实施例对此不做限制。
步骤102、将第一人体图像和衣物图像输入初始模型,得到初始模型生成的第一试衣效果图像,并显示第一试衣效果图像。
其中,模型为生成模型,用于根据第一人体图像和衣物图像,生成试衣效果图像,模型例如基于特征保持图像的虚拟试穿网络(Characteristic-Preserving image basedVirtual Try-On Network,CP-VTON)。CP-VTON模型包括几何匹配模块(GeometricMatching Module)和试穿模块(Try-on Module),几何匹配模块用于接收输入的人体图像和衣物图像,提取人体图像的形状特征,并根据人体图像的形状特征对衣物图像的形状进行变换,使得衣物图像的形状与人体图像中人体的形状匹配,试穿模块用于将变换后的衣物图像融合到人体图像上,得到试衣效果图像。实际应用中,模型也可以为其他类型的生成模型,例如对抗性损失训练的虚拟衣图像生成器(Virtual Try-on Image GeneratorTrained with Adversarial Loss,VITON-GAN)、基于单视图图像的换装(Image BasedGarment Transfer)模型等,本实施例对此不做限制。
本实施例中,初始模型为训练过程中的模型,结合上述举例,初始模型可可以是预先构建得到CP-VTON模型,通过对CP-VTON模型进行训练,待CP-VTON模型的损失值符合预设条件时,将CP-VTON模型作为目标模型。在获取得到第一人体图像和衣物图像之后,可以将第一人体图像和衣物图像输入初始模型,得到初始模型输出的第一试衣效果图像,并显示第一试衣效果图像。例如,电子设备可以集成有触摸屏,在得到初始模型输出的第一试衣效果图像之后,电子设备可以在触摸屏中显示第一试衣效果图像,方便用户对第一试衣效果图像进行观察。
步骤103、响应于对第一试衣效果图像的调整操作,生成与第一试衣效果图像对应的第二试衣效果图像。
本实施例中,调整操作用于对第一试衣效果图像进行调整,得到调整后的第一试衣效果图像,即第二试衣效果图像。电子设备在得到初始模型输出的第一试衣效果图像之后,可以对第一试衣效果图像进行复制,得到两个第一试衣效果图像,保存其中的一个第一试衣效果图像,并显示另一个第一试衣效果图像。此时,用户可以观察显示的第一试衣效果图像,若发现第一试衣效果图像中的某个位置与实际的试衣效果不同,则可以对该位置的图像的尺寸、轮廓形状和位置等进行调整,即修改该位置的图像,得到修改后的图像,将修改后的图像第二试衣效果图像。
可选的,步骤103可以通过如下方式实现:
响应于对第一试衣效果图像中的第一目标区域图像的调整操作,对第一目标区域图像的形状、尺寸和位置中的一项或多项进行调整,得到第二试衣效果图像。
其中,第一目标区域图像为第一试衣效果图像中任意一个区域内的图像,第一目标区域图像由用户选择确定。
本实施例中,可以直接由用户对显示的第一试衣效果图像进行调整,得到第二试衣效果图像。例如,在触摸屏中显示第一试衣效果图像之后,若用户观察发现第一试衣效果图像中人体的腰部区域尺寸偏大,不符合实际的试衣效果,可以通过双指按腰部区域的两侧,电子设备可以响应于用户的按压操作,确定双指之间预设范围内的图像为第一目标区域图像,并确定双指之间的第一距离。当用户向内并拢双指并停止时,电子设备可以响应于用户的并拢操作,确定双指之间的第二距离,根据第一距离和第二距离之间的差值,将第一目标区域图像缩小对应的尺寸,即缩小腰部区域的尺寸,得到第二试衣效果图像。相反的,若用户发现腰部区域的尺寸偏小,在双指按压腰部区域图像之后,可以向两侧分开双指,电子设备可以响应于用户的双指按压并分开的操作,确定第一距离和第二距离,根据第一距离和第二距离之间的差值,将第一目标区域图像放大对应的尺寸,即放大腰部区域的尺寸,得到第二试衣效果图像。
再例如,若用户发现第一试衣效果图像中的肩部区域偏左,可以单指按压肩部区域,电子设备可以响应于用户的单指按压操作,确定手指按压位置所在的预设范围内的图像为第一目标区域图像,预设范围例如以手指为中心,半径为1厘米的范围。在按压肩部区域之后,用户可以在触摸屏中向右拖动手指至目标位置,电子设备可以响应于用户的拖动操作,将第一目标区域图像向右移动到目标位置,即将肩部区域向右调整一定距离,得到第二试衣效果图像。
再例如,若用户发现第一试衣效果图像中的肩部区域的形状不符合实际的形状,可以通过手指沿肩部区域的轮廓进行滑动,形成闭合的轮廓线,确定轮廓线内的区域肩部区域。此时,用户可以通过拖动、拉伸和挤压等操作,对轮廓线的形状进行调整,电子设备可以响应于用户的拖动、拉伸和挤压等操作,根据调整后的轮廓线的形状,重新调整第一目标区域图像的形状,即肩部区域的形状,得到第二试衣效果图像。
实际应用中,对第一目标区域图像进行调整的具体方法可以根据需求设置,用户可以对多个第一目标区域图像进行调整,也可以对第一目标区域图像的颜色、亮度等参数进行调整,本实施例对此不做限制。
步骤104、根据第二试衣效果图像和第一试衣效果图像之间的差异数据,训练初始模型,得到用于生成试衣效果图像的目标模型。
本实施例中,第二试衣效果图像为训练过程中使用的目标图像,结合步骤103,在得到第二试衣效果图像之后,可以确定保存的第一试衣效果图像与第二试衣效果图像之间的差异数据,根据差异数据对初始模型进行训练。
可选的,步骤104具体可以通过如下方式实现:
循环执行生成第二试衣效果图像的过程,并计算第二试衣效果图像和第一试衣效果图像之间的差异;
根据差异调整初始模型的模型参数,直至差异符合预设条件,得到目标模型。
示例的,在生成第二试衣效果图像之后,电子设备可以将第一试衣效果图像输入预先训练得到的视觉几何组(Visual Geometry Group,VGG)模型,通过VGG模型提取第一试衣效果图像的特征,得到第一试衣效果图像的隐变量。同理,将第二试衣效果图像输入VGG模型,得到第二试衣效果图像的隐变量。计算第一试衣效果图像的隐变量和第二试衣效果图像的隐变量之间距离,如可以计算第一试衣效果图像的隐变量和第二试衣效果图像的隐变量之间的均方误差,得到相似度损失值,相似度损失值表示第一试衣效果图像和第二试衣效果图像之间的差异。然后,根据相似度损失值调整初始模型的模型参数,完成对初始模型的一次训练。重复执行步骤101至步骤104,当初始模型的相似度损失值符合预设条件时,结束训练,将初始模型作为目标模型。其中,预设条件例如初始模型的相似度损失值稳定在预设范围内,预设条件可以根据需求设置,本实施例对此不做限制。需要说明的是,在实际应用中,也可以通过其他方法计算第一试衣效果图像和第二试衣效果图像之间的差异,本实施例对此不做限制。
在得到目标模型之后,电子设备可以实时采集用户的三维人体图像,并结合用户选择的衣物图像,生成并显示试衣效果图像,完成虚拟试衣过程。目标模型的使用方法可以根据需求设置,本实施例对此不做限制。
综上所述,本实施例中,电子设备获取第一人体图像和衣物图像,将第一人体图像和衣物图像输入初始模型,得到初始模型生成的第一试衣效果图像,并显示第一试衣效果图像,响应于对第一试衣效果图像的调整操作,生成与第一试衣效果图像对应的第二试衣效果图像,根据第二试衣效果图像和第一试衣效果图像之间的差异数据,训练初始模型,得到用于生成试衣效果图像的目标模型。在模型训练过程中,响应于用户对试衣效果图像的调整操作,得到准确的目标图像,根据目标图像和试衣效果图像对模型进行训练,以此可以获取足够数量的训练数据对模型进行训练,可以提高目标模型的性能,进而通过目标模型可以生成比较准确的试衣效果图像。
可选的,步骤103可以通过如下方式实现:
步骤1031、响应于对第一人体图像的调整操作,生成与第一人体图像对应的第二人体图像;
步骤1032、将第二人体图像和衣物图像输入初始模型,通过初始模型生成第二试衣效果图像。
本实施例中,可以通过对第一人体图像的调整,实现对第一试衣效果图像的调整,得到第二试衣效果图像。具体的,电子设备首先可以响应于用户对第一人体图像的调整操作,得到调整后的第一人体图像,即第二人体图像。然后将第一人体图像和预先获取得到的衣物图像输入初始模型,通过初始模型生成第二试衣效果图像,也即通过调整后的第一人体图像和衣物图像,重新生成第二试衣效果图像。
可选的,步骤1031可以通过如下方式实现:
响应于对图像采集设备的触发操作,控制图像采集设备采集得到第二人体图像。
本实施例中,电子设备可以通过重新采集的方式,得到第二人体图像。例如,若用户觉得第一试衣效果图像不符合实际试衣效果,可以控制重新拍摄,例如可以点击触摸屏中的重拍按钮,电子设备可以响应于用户的点击操作,控制摄像头动作,重新采集多张二维图像,并通过多张二维图像三维重建得到第二人体图像。在得到第二人体图像之后,电子设备可以将第二人体图像和衣物图像输入初始模型,得到初始模型输出的第二试衣效果图像。若用户觉得重新生成的第二试衣效果图像符合实际试衣效果,可以点击确定按钮,电子设备可以响应于用户的点击操作,根据第一试衣效果图像和第二试衣效果图像对初始模型进行训练。
在实际应用中,用户在控制电子设备采集得到第二人物图像,并生成第二试衣效果图像的过程中,若觉得重新生成的第二试衣效果图像不符合实际试衣效果,可以再次点击重拍按钮,重新采集第二人体图像,并重新生成第二试衣效果图像,直至生成符合实际试衣效果的第二试衣效果图像。
可选的,步骤1031还可以通过如下方式实现:
响应于对第一人体图像中的第二目标区域图像的调整操作,对第二目标区域图像的形状、尺寸和位置中的一项或多项进行调整,得第二人体图像。
其中,第二目标区域图像为第一人体图像中任意一个区域内的图像,第二目标区域图像由用户选择确定。
本实施例中,用户可以直接对采集到的第一人体图像进行调整,得到第二人体图像。结合上述举例,电子设备可以通过触摸屏单独显示第一人体图像,用户可以对第一人体图像中的第二目标区域图像进行调整,得到调整后的第一人体图像,即第二人体图像。对第一人体图像进行调整,得到第二人体图像的过程可参考步骤103中第一试衣效果图像的调整过程,本实施例对此不做赘述。
可选的,步骤103还可以通过如下方式实现:
响应于对衣物图像中的第三目标区域图像的调整操作,对第三目标区域图像的形状、尺寸和位置中的一项或多项进行调整,得到第二衣物图像;
将第二衣物图像和人体图像输入初始模型,通过初始模型生成第二试衣效果图像。
其中,第三目标区域图像为衣物图像中任意一个区域内的图像,第三目标区域图像由用户选择确定。
本实施例中,可以通过对衣物图像的调整,实现对第一试衣效果图像的调整,从而得到第二试衣效果图像。结合上述举例,电子设备可以通过触摸屏单独显示衣物图像,用户可以对衣物图像中的第三目标区域图像进行调整,得到调整后的衣物图像,即第二衣物图像。对第一衣物图像进行调整,得到第二衣物图像的过程可参考步骤103中第一试衣效果图像的调整过程,本实施例对此不做赘述。电子设备在得到第二衣物图像之后,可以将第二衣物图像和人体图像输入初始模型,得到模型输出的第二试衣效果图像。
需要说明的是,本申请实施例提供的模型处理方法,执行主体可以为模型处理装置,或者该模型处理装置中的用于执行模型处理方法的控制模块。本申请实施例中以模型处理装置执行模型处理方法为例,说明本申请实施例提供的模型处理方法。
图2是根据一示例性实施例提供的一种模型处理装置的结构示意图,如图3所示,模型处理装置200包括:获取模块201、显示模块202、生成模块203和训练模块204。
获取模块201用于获取第一人体图像和衣物图像。
显示模块202用于将第一人体图像和衣物图像输入初始模型,得到初始模型生成的第一试衣效果图像,并显示第一试衣效果图像。
生成模块203用于响应于对第一试衣效果图像的调整操作,生成与第一试衣效果图像对应的第二试衣效果图像。
训练模块204用于根据第二试衣效果图像和第一试衣效果图像之间的差异数据,训练初始模型,得到用于生成试衣效果图像的目标模型。
可选的,生成模块203具体用于响应于对第一试衣效果图像中的第一目标区域图像的调整操作,对第一目标区域图像的形状、尺寸和位置中的一项或多项进行调整,得到第二试衣效果图像。
可选的,生成模块203包括:第一生成单元和第一生成单元。
第一生成单元用于响应于对第一人体图像的调整操作,生成与第一人体图像对应的第二人体图像。
第二生成单元用于将第二人体图像和衣物图像输入初始模型,通过初始模型生成第二试衣效果图像。
可选的,第一生成单元具体用于响应于对图像采集设备的触发操作,控制图像采集设备采集得到第二人体图像。
可选的,第一生成单元具体用于响应于对第一人体图像中的第二目标区域图像的调整操作,对第二目标区域图像的形状、尺寸和位置中的一项或多项进行调整,得到第二人体图像。
可选的,生成模块203具体用于响应于对衣物图像中的第三目标区域图像的调整操作,对第三目标区域图像的形状、尺寸和位置中的一项或多项进行调整,得到第二衣物图像;将第二衣物图像和人体图像输入初始模型,通过初始模型生成第二试衣效果图像。
可选的,训练模块204具体用于循环执行生成第二试衣效果图像的过程,并计算第二试衣效果图像和第一试衣效果图像之间的差异;根据差异调整初始模型的模型参数,直至差异符合预设条件,得到目标模型。
综上所述,本实施例中,电子设备获取第一人体图像和衣物图像,将第一人体图像和衣物图像输入初始模型,得到初始模型生成的第一试衣效果图像,并显示第一试衣效果图像,响应于对第一试衣效果图像的调整操作,生成与第一试衣效果图像对应的第二试衣效果图像,根据第二试衣效果图像和第一试衣效果图像之间的差异数据,训练初始模型,得到用于生成试衣效果图像的目标模型。在模型训练过程中,响应于用户对试衣效果图像的调整操作,得到准确的目标图像,根据目标图像和试衣效果图像对模型进行训练,以此可以获取足够数量的训练数据对模型进行训练,可以提高目标模型的性能,进而通过目标模型可以生成比较准确的试衣效果图像。
本申请实施例中的模型处理装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的模型处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的模型处理装置能够实现图1的方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选的,如图3所示,图3是根据一示例性实施例提供的一种电子设备的结构示意图,电子设备300包括处理器301和存储器302,存储在存储器302上并可在所述处理器301上运行的程序或指令,该程序或指令被处理器301执行时实现上述模型处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图4为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备400包括但不限于:射频单元401、网络模块402、音频输出单元403、输入单元404、传感器405、显示单元406、用户输入单元407、接口单元408、存储器409、以及处理器410等部件。
本领域技术人员可以理解,电子设备400还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器410逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图4中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
应理解的是,本申请实施例中,输入单元404可以包括图形处理器(GraphicsProcessing Unit,GPU)4041和麦克风4042,图形处理器4041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元406可包括显示面板4061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板4061。用户输入单元407包括触控面板4071以及其他输入设备4072。触控面板4071,也称为触摸屏。触控面板4071可包括触摸检测装置和触摸控制器两个部分。其他输入设备4072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器409可用于存储软件程序以及各种数据,包括但不限于应用程序和操作系统。处理器410可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器410中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述模型处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述模型处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

Claims (10)

1.一种模型处理方法,其特征在于,包括:
获取第一人体图像和衣物图像;
将所述第一人体图像和所述衣物图像输入初始模型,得到所述初始模型生成的第一试衣效果图像,并显示所述第一试衣效果图像;
响应于对所述第一试衣效果图像的调整操作,生成与所述第一试衣效果图像对应的第二试衣效果图像;
根据所述第二试衣效果图像和所述第一试衣效果图像之间的差异数据,训练所述初始模型,得到用于生成试衣效果图像的目标模型。
2.根据权利要求1所述的方法,其特征在于,所述响应于对所述第一试衣效果图像的调整操作,生成与所述第一试衣效果图像对应的第二试衣效果图像,包括:
响应于对所述第一试衣效果图像中的第一目标区域图像的调整操作,对所述第一目标区域图像的形状、尺寸和位置中的一项或多项进行调整,得到所述第二试衣效果图像。
3.根据权利要求1所述的方法,其特征在于,所述响应于对所述第一试衣效果图像的调整操作,生成与所述第一试衣效果图像对应的第二试衣效果图像,包括:
响应于对所述第一人体图像的调整操作,生成与所述第一人体图像对应的第二人体图像;
将所述第二人体图像和所述衣物图像输入所述初始模型,通过所述初始模型生成所述第二试衣效果图像。
4.根据权利要求3所述的方法,其特征在于,所述响应于对所述第一人体图像的调整操作,生成与所述第一人体图像对应的第二人体图像,包括:
响应于对图像采集设备的触发操作,控制所述图像采集设备采集得到所述第二人体图像。
5.根据权利要求3所述的方法,其特征在于,还包括:显示所述第一人体图像;
所述响应于对所述第一人体图像的调整操作,生成与所述第一人体图像对应的第二人体图像,包括:
响应于对所述第一人体图像中的第二目标区域图像的调整操作,对所述第二目标区域图像的形状、尺寸和位置中的一项或多项进行调整,得到所述第二人体图像。
6.根据权利要求1所述的方法,其特征在于,还包括:显示所述衣物图像,所述响应于对所述第一试衣效果图像的调整操作,生成与所述第一试衣效果图像对应的第二试衣效果图像,包括:
响应于对所述衣物图像中的第三目标区域图像的调整操作,对所述第三目标区域图像的形状、尺寸和位置中的一项或多项进行调整,得到第二衣物图像;
将所述第二衣物图像和所述人体图像输入所述初始模型,通过所述初始模型生成所述第二试衣效果图像。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述根据所述第二试衣效果图像和所述第一试衣效果图像之间的差异数据,训练所述初始模型,得到用于生成试衣效果图像的目标模型,包括:
循环执行生成所述第二试衣效果图像的过程,并计算所述第二试衣效果图像和所述第一试衣效果图像之间的差异;
根据所述差异调整所述初始模型的模型参数,直至所述差异符合预设条件,得到所述目标模型。
8.一种模型处理装置,其特征在于,包括:
获取模块,用于获取第一人体图像和衣物图像;
显示模块,用于将所述第一人体图像和所述衣物图像输入初始模型,得到所述初始模型生成的第一试衣效果图像,并显示所述第一试衣效果图像;
生成模块,用于响应于对所述第一试衣效果图像的调整操作,生成与所述第一试衣效果图像对应的第二试衣效果图像;
训练模块,用于根据所述第二试衣效果图像和所述第一试衣效果图像之间的差异数据,训练所述初始模型,得到用于生成试衣效果图像的目标模型。
9.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-7任一项所述的模型处理方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-7任一项所述的模型处理方法的步骤。
CN202110373786.1A 2021-02-09 2021-04-07 模型处理方法、装置、电子设备和可读存储介质 Pending CN113240481A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2021101784730 2021-02-09
CN202110178473 2021-02-09

Publications (1)

Publication Number Publication Date
CN113240481A true CN113240481A (zh) 2021-08-10

Family

ID=77131181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110373786.1A Pending CN113240481A (zh) 2021-02-09 2021-04-07 模型处理方法、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN113240481A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538368A (zh) * 2021-07-14 2021-10-22 Oppo广东移动通信有限公司 图像选择方法、图像选择装置、存储介质与电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803243A (zh) * 2015-11-21 2017-06-06 周彬 一种基于虚拟实现技术的衣物试穿方法
CN108564612A (zh) * 2018-03-26 2018-09-21 广东欧珀移动通信有限公司 模型显示方法、装置、存储介质及电子设备
CN109214876A (zh) * 2017-06-29 2019-01-15 深圳市掌网科技股份有限公司 一种基于增强现实的试衣方法和系统
CN109902767A (zh) * 2019-04-11 2019-06-18 网易(杭州)网络有限公司 模型训练方法、图像处理方法及装置、设备和介质
CN110021061A (zh) * 2018-01-08 2019-07-16 广东欧珀移动通信有限公司 搭配模型构建方法、服饰推荐方法、装置、介质及终端
CN111784845A (zh) * 2020-06-12 2020-10-16 腾讯科技(深圳)有限公司 基于人工智能的虚拟试穿方法、装置、服务器及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803243A (zh) * 2015-11-21 2017-06-06 周彬 一种基于虚拟实现技术的衣物试穿方法
CN109214876A (zh) * 2017-06-29 2019-01-15 深圳市掌网科技股份有限公司 一种基于增强现实的试衣方法和系统
CN110021061A (zh) * 2018-01-08 2019-07-16 广东欧珀移动通信有限公司 搭配模型构建方法、服饰推荐方法、装置、介质及终端
CN108564612A (zh) * 2018-03-26 2018-09-21 广东欧珀移动通信有限公司 模型显示方法、装置、存储介质及电子设备
CN109902767A (zh) * 2019-04-11 2019-06-18 网易(杭州)网络有限公司 模型训练方法、图像处理方法及装置、设备和介质
CN111784845A (zh) * 2020-06-12 2020-10-16 腾讯科技(深圳)有限公司 基于人工智能的虚拟试穿方法、装置、服务器及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538368A (zh) * 2021-07-14 2021-10-22 Oppo广东移动通信有限公司 图像选择方法、图像选择装置、存储介质与电子设备

Similar Documents

Publication Publication Date Title
US10394334B2 (en) Gesture-based control system
Lv et al. Extending touch-less interaction on vision based wearable device
CN102375542B (zh) 一种肢体遥控电视的方法及电视遥控装置
CN110456907A (zh) 虚拟画面的控制方法、装置、终端设备及存储介质
US20130335318A1 (en) Method and apparatus for doing hand and face gesture recognition using 3d sensors and hardware non-linear classifiers
CN105867603A (zh) 一种眼控方法及装置
CN106127552B (zh) 一种虚拟场景显示方法、装置及系统
CN104040461A (zh) 用户界面设备
CN104656893A (zh) 一种信息物理空间的远程交互式操控系统及方法
CN106909871A (zh) 手势指令识别方法
CN112153281A (zh) 图像处理方法及装置
CN111901518B (zh) 显示方法、装置和电子设备
US10339594B2 (en) Touch sensation interaction method and apparatus in shopping
CN113240481A (zh) 模型处理方法、装置、电子设备和可读存储介质
WO2015127731A1 (zh) 软键盘布局调整方法及装置
CN116452745A (zh) 手部建模、手部模型处理方法、设备和介质
CN115857856A (zh) 信息提示方法、信息提示装置、电子设备和可读存储介质
Gupta et al. Hand gesture based region marking for tele-support using wearables
Li et al. Feature Point Matching for Human-Computer Interaction Multi-Feature Gesture Recognition Based on Virtual Reality VR Technology
CN112927330A (zh) 用于生成虚拟人体图像的方法和系统
CN206178663U (zh) 手势指令判断装置
Zhang et al. Free-hand gesture control with" touchable" virtual interface for human-3DTV interaction
CN112887621B (zh) 控制方法和电子设备
CN114125271B (zh) 图像处理方法、装置及电子设备
CN103793053A (zh) 一种便携式终端的手势投影方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination