CN111742350A - 虚拟试穿系统、虚拟试穿方法、虚拟试穿程序、信息处理装置、以及学习数据 - Google Patents

虚拟试穿系统、虚拟试穿方法、虚拟试穿程序、信息处理装置、以及学习数据 Download PDF

Info

Publication number
CN111742350A
CN111742350A CN201880089852.9A CN201880089852A CN111742350A CN 111742350 A CN111742350 A CN 111742350A CN 201880089852 A CN201880089852 A CN 201880089852A CN 111742350 A CN111742350 A CN 111742350A
Authority
CN
China
Prior art keywords
image
try
unit
data
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880089852.9A
Other languages
English (en)
Inventor
上田弘树
吉冈寿朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Digital Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Digital Solutions Corp filed Critical Toshiba Corp
Publication of CN111742350A publication Critical patent/CN111742350A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

虚拟试穿系统(1)具备学习部(12C)、取得部(12A)、导出部(12D)、生成部(26H)。学习部(12C)通过使用了试穿者的三维数据的机械学习来对学习模型进行学习，该学习模型以教导试穿者图像作为输入数据，以表示由教导试穿者图像呈现的试穿者的体型的体型参数以及教导试穿者图像中的衣物图像的合成位置信息作为输出数据。取得部(26G)取得试穿者图像。导出部(12D)使用试穿者图像和学习模型，导出由试穿者图像呈现的试穿者的输出数据。生成部(26H)使用导出的输出数据，生成对试穿者图像和衣物图像进行合成而得的虚拟试穿图像。

Description

虚拟试穿系统、虚拟试穿方法、虚拟试穿程序、信息处理装置、 以及学习数据
技术领域
本发明的实施方式涉及虚拟试穿系统、虚拟试穿方法、虚拟试穿程序、信息处理装置、以及学习数据。
背景技术
公开有显示表示穿戴了作为试穿对象的衣物的状态的虚拟图像的技术。例如，公开有显示表示用户试穿衣物的状态的合成图像的技术。
现有技术文献
专利文献
专利文献1：日本特开2014-165613号公报
专利文献2：日本特开2016-122411号公报
发明内容
发明所要解决的课题
然而，以往，在进行虚拟试穿图像的显示时，取得与试穿者的三维形状相关的信息，并根据所取得的与三维形状相关的信息来进行变形以及对位，由此来对衣物图像和试穿者图像进行合成。因此，以往，难以通过简单的结构提供高精度地合成了的虚拟试穿图像。
本发明所要解决的课题在于提供一种能够容易地提供高精度地合成了的虚拟试穿图像的虚拟试穿系统、虚拟试穿方法、虚拟试穿程序、信息处理装置、以及学习数据。
用于解决课题的手段
实施方式的虚拟试穿系统具备学习部、取得部、导出部、生成部。学习部通过使用了试穿者的三维数据的机械学习来学习以教导试穿者图像作为输入数据、以表示由上述教导试穿者图像呈现的试穿者的体型的体型参数以及上述教导试穿者图像中的衣物图像的合成位置信息作为输出数据的学习模型。取得部取得试穿者图像。导出部使用上述试穿者图像和上述学习模型导出由上述试穿者图像呈现的试穿者的上述输出数据。生成部使用所导出的上述输出数据生成对上述试穿者图像和衣物图像进行合成而得的虚拟试穿图像。
附图说明
图1是虚拟试穿系统的示意图。
图2是示出主体部与试穿者之间的位置关系的示意图。
图3是信息处理装置以及终端装置的功能框图。
图4是示出学习数据的数据结构的一例的示意图。
图5是合成位置信息的一例的说明图。
图6是示出虚拟试穿图像的一例的示意图。
图7是示出信息处理的次序的一例的流程图。
图8是示出信息处理的次序的一例的流程图。
图9是示出信息处理装置、终端装置、以及外部服务器的硬件结构例的框图。
具体实施方式
以下，参照附图对虚拟试穿系统、虚拟试穿方法、虚拟试穿程序、信息处理装置、以及学习数据的一个实施方式详细地进行说明。
图1是本实施方式的虚拟试穿系统1的示意图。
虚拟试穿系统1具备信息处理装置10、终端装置26、外部服务器28。信息处理装置10、终端装置26、外部服务器28经由通信线路34连接。通信线路34是公知的网络。信息处理装置10、终端装置26、以及外部服务器28通过有线或者无线的方式与通信线路34连接。
另外，在本实施方式中，以虚拟试穿系统1具备1台信息处理装置10、1台外部服务器28、1台终端装置26的情况作为一例进行说明。但是，虚拟试穿系统1只要为具备1台或者多台信息处理装置10、1台或者多台外部服务器28、1台或者多台终端装置26的结构即可。
终端装置26是显示虚拟试穿图像的装置。虚拟试穿图像是指在试穿者的试穿者图像50上合成了衣物图像的合成图像。换言之，虚拟试穿图像是示出试穿者虚拟地试穿衣物的状态的图像。在本实施方式中，终端装置26使用在信息处理装置10中生成的学习模型来生成虚拟试穿图像并显示。学习模型的详细情况后述。
终端装置26由进行虚拟试穿的试穿者操作。终端装置26例如是公知的个人计算机、便携式的移动终端、智能手机等。
试穿者是试穿衣物的对象。试穿者只要是试穿衣物的对象即可，可以是生物、也可以是非生物。生物例如能够举出人物。另外，生物并不限于人物，也可以是狗或猫等人物以外的动物。并且，非生物能够举出模仿人体或动物的形状的模特或其他物体等，但并不限于此。并且，试穿者也可以是穿戴了衣物的状态的生物或非生物。在本实施方式中，对试穿者为人物的情况进行说明。
另外，在本实施方式中，在将试穿者以及试穿者以外的人物作为总称而进行说明的情况下，仅称为用户而进行说明。
衣物是指试穿者能够穿戴的物品。衣物例如能够举出上衣、裙子、裤子、鞋、帽子、饰品、泳衣、假发等。另外，衣物并不限定于上衣、裙子、裤子、鞋、帽子、饰品、泳衣、假发等。
终端装置26具备拍摄部26A、输入部26B、显示部26C。拍摄部26A拍摄试穿者而获得试穿者的试穿者图像51。试穿者图像51是试穿者图像50的一例。试穿者图像51示出由终端装置26拍摄的试穿者图像50。
拍摄部26A是公知的数字照相机。试穿者图像51(试穿者图像50)具体而言为试穿者图像数据。在本实施方式中，为了简化说明，仅称为试穿者图像51(试穿者图像50)而进行说明。
另外，试穿者图像50的数据形式并无限定。例如，试穿者图像50是针对每个像素规定了表示试穿者的颜色或亮度等的像素值的图像。另外，试穿者图像50并不限定于位图图像。
显示部26C显示各种图像。在本实施方式中，显示部26C显示虚拟试穿图像。显示部26C是公知的LCD(Liquid Crystal Display)或有机EL(Electro－Luminescence)等。
输入部26B接受由用户作出的操作指示。输入部26B是键盘、鼠标、输入按钮等。另外，显示部26C和输入部26B也可以构成为一体。在该情况下，显示部26C以及输入部26B以触摸面板来构成即可。
外部服务器28是能够处理衣物图像、大数据的服务器装置。在本实施方式中，外部服务器28将用于虚拟试穿图像的衣物图像和用于识别衣物图像的衣物ID预先建立对应并存储。在外部服务器28中，多个衣物图像与各自的衣物ID建立对应地预先存储。并且，外部服务器28通过对大数据进行处理而对在因特网上的各种服务器装置中蓄积的用户的购买信息等进行分析。
信息处理装置10是用于生成学习模型的装置。学习模型是用于从试穿者图像导出由该试穿者图像呈现的试穿者的体型参数以及合成位置信息的应用程序。学习模型的详细情况后述。信息处理装置10能够从1个或者多个终端装置26访问，提供所学习到的学习模型或从学习模型导出的输出数据等。
信息处理装置10具备信息处理部11和主体部16。信息处理部11具有控制部12和存储部14。控制部12对在信息处理装置10设置的装置各部进行控制。存储部14是存储各种数据的、公知的硬盘器件。
主体部16具备显示部18、拍摄部20、三维数据取得部21、输入部22。
输入部22接受由用户作出的各种操作指示。输入部22例如是键盘、触摸面板、指示装置、鼠标等。
拍摄部20对试穿者进行拍摄而获得试穿者的试穿者图像50。另外，将由设置于信息处理装置10的拍摄部20拍摄到的试穿者图像50称为教导试穿者图像40而进行说明。
教导试穿者图像40是用于在学习模型的生成中使用的试穿者图像50。拍摄部20是能够取得教导试穿者图像40的公知的拍摄装置。拍摄部20例如是数字照相机。
另外，在图1中，作为一例，示出了1台拍摄部20。但是，信息处理装置10也可以构成为具备多个拍摄部20。在该情况下，多个拍摄部20设置在能够从互不相同的拍摄方向拍摄试穿者的位置即可。即、多个拍摄部20的各个只要设置在能够拍摄拍摄角度互不相同的教导试穿者图像40的位置即可。
并且，信息处理装置10也可以构成为具备种类不同的多个种类的拍摄部20。拍摄部20的种类不同意味着视场角、透镜(望远透镜、广角透镜、短焦透镜、变焦透镜、鱼眼透镜等)、拍摄倍率、分辨率、以及拍摄部20的制造商中的至少1个不同。
三维数据取得部21是用于取得试穿者的三维数据的设备。三维数据例如是3D(three－dimensional)特征数据、表面数据、实体数据、3D CAD(computer－aided design)数据、深度图等。
三维数据取得部21是能够获得上述三维数据的公知的设备即可。例如，在三维数据为深度图的情况下，三维数据取得部21是通过拍摄来取得深度图的拍摄装置。深度图有时被称为距离图像。深度图是针对每个像素规定了从三维数据取得部21起的距离的图像。
在本实施方式中，拍摄部20以及三维数据取得部21在相同的时刻拍摄试穿者。拍摄部20以及三维数据取得部21由控制部12控制为在相同的时刻同步地依次进行拍摄。进而，拍摄部20以及三维数据取得部21将通过拍摄而获得的试穿者的教导试穿者图像40以及三维数据依次朝控制部12输出。
在本实施方式中，拍摄部20以及三维数据取得部21从多个拍摄角度拍摄试穿者。因此，拍摄部20获得与多个拍摄角度的各个对应的教导试穿者图像40。并且，三维数据取得部21获得与多个拍摄角度的各个对应的三维数据。
多个拍摄角度只要是互不相同的拍摄角度即可。例如，多个拍摄角度是以试穿者的躯干作为旋转轴而旋转了360°时的、每个预先确定的角度的拍摄角度的各个。具体地说，可以是从0°起每次加上预定角度(例如5°)而直至达到360°为止的拍摄角度的各个。拍摄角度0°例如表示试穿者以正面面向显示部18的方式对峙的状态的拍摄角度。并且，拍摄角度180°例如表示以背部面向显示部18的方式对峙的状态的拍摄角度。
具体地说，在能够从不同的多个拍摄方向的各个拍摄与显示部18的显示面对峙的试穿者的各个位置配置拍摄部20以及三维数据取得部21。进而，拍摄部20以及三维数据取得部21通过获得拍摄到的拍摄图像，获得与多个拍摄角度的各个对应的教导试穿者图像40以及三维数据即可。
并且，当试穿者与显示部18的显示面对峙时，控制部12可以进行控制以便输出促使试穿者摆出预定的姿势的消息。例如，控制部12可以进行控制以便输出促使摆姿势的消息，以便成为表示试穿者通过自己夹持照相机等拍摄部进行拍摄(所谓的自拍)而拍摄到的状态的图像。
例如，控制部12在显示部18显示该消息。并且，例如，也可以形成为主体部16还具备扬声器的结构，控制部12从该扬声器输出该消息。
在该情况下，拍摄部20能够拍摄与自拍时同样的姿势的试穿者，获得该姿势的试穿者的教导试穿者图像40。
并且，拍摄部20以及三维数据取得部21能够通过连续地进行拍摄而获得拍摄时间不同的多个教导试穿者图像40以及三维数据。
显示部18是显示各种图像的装置。显示部18例如是液晶显示装置或有机EL(Electro Luminescence)等公知的显示装置。在本实施方式中，显示部18显示由拍摄部20拍摄到的教导试穿者图像40。因此，与显示部18对峙的试穿者能够以通过镜子目视确认的感觉来目视确认显示部18。并且，显示部18也可以显示由控制部12生成的后述的重叠图像(详细情况后述)。
显示部18例如组装于矩形状的壳体的一个面。在本实施方式中，对显示部18以人物的等身大以上的大小构成的情况进行说明。另外，显示部18的大小并不限定于该大小。
图2是示出本实施方式中的主体部16与试穿者P之间的位置关系的示意图。
控制部12(在图2中省略图示)将试穿者P的教导试穿者图像40、示出试穿者P试穿了各种衣物的状态的重叠图像W等显示于显示部18。在图2中，作为一例，示出教导试穿者图像40与衣物图像42的重叠图像W。人物等试穿者P例如从与该显示部18的显示面对峙的位置目视确认在该显示部18提示的重叠图像W2。另外，拍摄部20以及三维数据取得部21的拍摄位置以及拍摄方向被预先调整以便能够拍摄与显示部18的显示面对峙的试穿者P。
返回图1继续进行说明。接着，对虚拟试穿系统1所包含的信息处理装置10以及终端装置26的功能进行说明。图3是虚拟试穿系统1所包含的信息处理装置10以及终端装置26的功能框图的一例。
首先，对信息处理装置10进行说明。信息处理装置10具备控制部12、拍摄部20、三维数据取得部21、存储部14、显示部18、输入部22。拍摄部20、三维数据取得部21、存储部14、显示部18以及输入部22与控制部12以能够授受数据、信号的方式连接。
存储部14存储各种数据。在本实施方式中，存储部14存储学习数据14A、衣物DB14B、三维数据DB14C。关于学习数据14A的详细情况将在后面叙述。
衣物DB14B将衣物ID与衣物图像建立对应。衣物ID是用于识别对应的衣物图像的识别信息。另外，衣物DB14B也可以被存储于外部服务器28。在本实施方式中，以将多个衣物ID和与多个衣物ID的各个对应的衣物图像建立了对应的衣物DB14B被预先存储于存储部14的情况作为一例进行说明。另外，存储于信息处理装置10的衣物DB14B也可以借助存储于外部服务器28的衣物DB14B而适当地更新。
三维数据DB14C将试穿者的三维数据与教导试穿者图像ID建立对应。教导试穿者图像ID是用于识别教导试穿者图像40的识别信息。即、在本实施方式中，存储部14针对每个教导试穿者图像40而将在该教导试穿者图像40呈现的试穿者的三维数据建立对应地存储。三维数据DB14C由控制部12更新。
控制部12包含取得部12A、通信部12B、学习部12C、导出部12D。学习部12C包含模型学习部12E、扩展图像生成部12G、12G、显示控制部12H、受理部12I、变更部12J。
取得部12A、通信部12B、学习部12C、导出部12D、模型学习部12E、修正部12F、扩展图像生成部12G、显示控制部12H、受理部12I、以及变更部12J的一部分或者全部例如可以通过使CPU(Central Processing Unit)等处理装置执行程序、即由软件实现，也可以由IC(Integrated Circuit)等硬件实现，也可以同时使用软件以及硬件实现。
通信部12B经由通信线路34而与外部服务器28以及终端装置26通信。
取得部12A取得教导试穿者图像40。在本实施方式中，取得部12A从拍摄部20取得教导试穿者图像40。另外，如上所述，拍摄部20有时针对1名试穿者通过拍摄而获得拍摄时间、拍摄角度、在拍摄中使用的拍摄部20的种类、拍摄时的试穿者的姿势中的至少1个不同的多个教导试穿者图像40。在该情况下，取得部12A取得针对1名试穿者的、上述多个种类的教导试穿者图像40。并且，取得部12A也可以取得针对多个试穿者的各个的教导试穿者图像40。并且，取得部12A也可以取得包含多个试穿者的1张教导试穿者图像40。
另外，取得部12A也可以从存储部14或外部服务器28取得教导试穿者图像40。在本实施方式中，以取得部12A从拍摄部20取得教导试穿者图像40的情况作为一例进行说明。
并且，取得部12A取得试穿者的三维数据。在本实施方式中，取得部12A从三维数据取得部21取得由教导试穿者图像40呈现的试穿者的三维数据。
并且，取得部12A取得通过输入部22输入的试穿者的特征信息。
特征信息例如表示试穿者的外观特征以及内在特征。外观特征表示从试穿者的外观推定或者解析的特征。内在特征表示无法从试穿者的外观推定或者解析、或者难以推定以及解析的特征。
特征信息具体地说表示试穿者的肤色、从衣物露出的露出度、发型、国籍、惯用手、性格、推荐拍摄方向、眼睛的颜色、头发的颜色、喜欢的颜色、性别、年龄、推荐姿势中的至少1个。推荐拍摄方向表示试穿者喜好的拍摄方向。从衣物露出的露出度表示所拍摄到的被摄体图像中的、从衣物露出的区域(即、露出至外部的皮肤区域)的位置以及比率。推荐姿势表示拍摄时的试穿者的喜好的姿势(喜好的姿势或动作)。
例如，试穿者通过在由拍摄部20进行的教导试穿者图像40的拍摄时对输入部22进行操作而输入试穿者的特征信息。由此，取得部12A取得由教导试穿者图像40呈现的试穿者P的特征信息。
并且，取得部12A经由通信部12B以及通信线路34而从终端装置26取得由该终端装置26拍摄到的试穿者图像51。并且，取得部12A经由通信部12B以及通信线路34而从终端装置26取得在终端装置26显示的表示虚拟试穿图像的显示结果的显示结果信息。显示结果信息的详细情况后述。
学习部12C对学习模型进行学习。如上所述，学习模型是用于从试穿者图像50导出由该试穿者图像50呈现的试穿者的体型参数以及合成位置信息的应用程序。在本实施方式中，学习模型是以教导试穿者图像40作为输入数据、以表示由教导试穿者图像40呈现的试穿者的体型的体型参数以及教导试穿者图像40中的衣物图像的合成位置信息作为输出数据的学习模型。换言之，学习模型是用于使得能够将教导试穿者图像40与体型参数以及合成位置信息的输入输出关系模型化并进行算出的应用程序。另外，学习模型也可以由函数等数式表示。
在本实施方式中，学习部12C通过使用了试穿者的三维数据的机械学习来对学习模型进行学习。详细地说，学习部12C通过使用了学习数据的机械学习来对学习模型进行学习。
图4是示出学习数据14A的数据结构的一例的示意图。
学习数据14A中登记有多个教导数据60。并且，在学习数据14A中，通过学习部12C的处理，进行新的教导数据60的登记、登记完毕的教导数据60的变更或修正等处理。因此，在学习数据14A中登记有多个种类的教导数据60(例如教导数据60A～教导数据60E)。
教导数据60包含输入数据80和与输入数据80对应的输出数据82。输入数据80是成为对应的输出数据82的预测或判断的主要原因的数据。输出数据82是表示从对应的输入数据80导出的答复的数据。
关于教导数据60，根据教导数据60的种类，教导数据60或输出数据82所包含的数据的种类不同。
首先，对教导数据60A进行说明。教导数据60A的输入数据80包含教导试穿者图像40。另外，1个教导数据60A中包含1个输入数据80、即1个教导试穿者图像40。
并且，输入数据80也可以包含特征信息70。特征信息70是表示试穿者的特征的信息。输入数据80所包含的特征信息70是表示该输入数据80所包含的教导试穿者图像40所呈现的试穿者的特征的信息。
输出数据82包含体型参数72和合成位置信息56。
体型参数72是表示对应的输入数据80所包含的教导试穿者图像40所呈现的试穿者的体型的参数。
体型参数包含1个或者多个参数。参数是人体的1个或者多个部位的测量值。另外，测量值并不限定于实际测量到的值，也包含推测测量值而得的值或与测量值相当的值。
具体地说，体型参数包含胸围、腹围、腰围、身高、以及肩宽的至少1个参数。另外，体型参数所包含的参数并不限定于上述参数。例如，体型参数也可以还包含袖长、下裆等参数。
并且，体型参数可以是表示试穿者的体型本身的信息，也可以是假定试穿者穿戴了符合体型的尺寸的衣物时的、表示该衣物的尺寸的信息。在该情况下，体型参数例如也可以包含衣长、肩宽、衣宽、袖长等参数。在本实施方式中，作为体型参数，对使用衣长、肩宽、衣宽、袖长的情况进行说明。但是，体型参数并不限定于此。
合成位置信息56是表示对应的输入数据80所包含的教导试穿者图像40中的衣物图像的合成位置的信息。合成位置在相对于教导试穿者图像40所包含的表示试穿者的区域(以下称为试穿者区域40A)的、衣物图像的合成时的对位中使用。
合成位置信息56例如可以是表示试穿者的确定的部位(例如肩部)的位置的信息，也可以是表示教导试穿者图像40中的衣物图像的合成对象区域的信息。在本实施方式中，关于合成位置信息，对其是表示教导试穿者图像40中的衣物图像的合成对象区域的信息的情况进行说明。
图5是合成位置信息56的一例的说明图。例如，合成位置信息56是表示教导试穿者图像40中的、包围表示试穿者的试穿者区域40A的矩形状的合成对象区域的信息。另外，合成位置信息56也可以是表示包围试穿者区域40A的矩形的各顶点(56A、56B、56C、56D)的位置的信息。并且，合成位置信息56也可以是表示上述4个顶点内的至少1个顶点的位置的信息。
另外，合成位置信息56并不限于表示矩形状的合成对象区域的信息。例如，合成位置信息56也可以是表示教导试穿者图像40所包含的试穿者区域40A的外形的至少一部分的信息。
并且，合成位置信息56也可以是表示教导试穿者图像40中的试穿者的确定的部位(例如肩部)的信息。
返回图4继续进行说明。另外，输出数据82也可以还包含特征信息70。即、输入数据80以及输出数据82的至少一方也可以还包含特征信息70。
输出数据82所包含的特征信息70是由与该输出数据82对应的输入数据80所包含的教导试穿者图像40呈现的试穿者的特征信息。
关于教导数据60A～教导数据60E将在后面叙述。上述多个种类的教导数据60(教导数据60A～教导数据60E)通过学习部12C的处理而被适当地登记以及更新(详细情况后述)。
返回图3继续进行说明。学习部12C具备模型学习部12E、修正部12F、扩展图像生成部12G、显示控制部12H、受理部12I、变更部12J。
模型学习部12E进行学习数据14A的生成以及更新、和学习模型的生成。
首先，对由模型学习部12E进行的学习数据14A的生成进行说明。模型学习部12E从取得部12A取得教导试穿者图像40、由该教导试穿者图像40呈现的试穿者的三维数据、以及该试穿者的特征信息70。进而，模型学习部12E使用所取得的三维数据导出相对于包含教导试穿者图像40以及特征信息70的输入数据80的输出数据82。
例如，模型学习部12E预先制作用于从三维数据导出由三维数据呈现的体型参数的函数或者模型。在用于从三维数据导出体型参数的函数或者模型的制作中使用公知的方法即可。
进而，模型学习部12E通过将由取得部12A取得的三维数据导入该函数或者该模型而导出体型参数72。
并且，例如，模型学习部12E将教导试穿者图像40中的包围表示试穿者的试穿者区域40A的矩形状的区域作为合成位置信息56导出(一并参照图4)。并且，模型学习部12E获得由取得部12A取得的、该试穿者的特征信息70。
进而，模型学习部12E将导出的体型参数72、合成位置信息56、以及特征信息70生成为输出数据82。
此外，模型学习部12E将教导数据60A登记于学习数据14A，该教导数据60A包含从取得部12A取得的包含教导试穿者图像40以及特征信息70的输入数据80、和使用该输入数据80以及三维数据生成的输出数据82(体型参数72、合成位置信息56、特征信息70)。
在模型学习部12E，取得部12A每当取得教导试穿者图像40、三维数据、以及特征信息70时，使用上述的方法生成教导数据60A。换言之，模型学习部12E每当拍摄部20以及三维数据取得部21通过拍摄取得教导试穿者图像40以及三维数据时，生成教导数据60A。进而，模型学习部12E将生成的教导数据60A登记于学习数据14A。
因此，针对每个教导试穿者图像40生成教导数据60A，并登记于存储部14的学习数据14A。
接着，对学习模型的生成进行说明。模型学习部12E通过使用了包含多个教导数据60的学习数据14A的机械学习来对学习模型进行学习。机械学习可以使用公知的方法。例如，模型学习部12E通过使用了卷积神经网络(Convolutional Neural Network：CNN)或循环神经网络(Recurrent Neural Network：RNN)等算法的深度学习(deep learning)来对学习模型进行学习。
另外，学习部12C也可以对登记于学习数据14A的教导数据60进行修正或者变更。在该情况下，模型学习部12E使用包含修正前的教导数据60(例如教导数据60A)和修正后或者变更后的教导数据60的学习数据14A来对学习模型进行学习即可。并且，学习部12C也可以使用修正后或者变更后的教导数据60对学习模型进行学习。
在本实施方式中，学习部12C的修正部12F根据教导数据60A的输入数据80所包含的特征信息70来对与该输入数据80对应的输出数据82进行修正。
例如，关于修正部12F，特征信息70所表示的从衣物露出的露出度越高，则修正部12F将与包含该特征信息70的输入数据80对应的输出数据82中的体型参数72修正为表示更小尺寸的体型。此时，修正部12F也可以形成为越是特征信息70所表示的人体的从衣物露出的露出度越高的部位(例如背部等)，则将体型参数72修正为表示更小尺寸的体型。
并且，例如，修正部12F根据特征信息70所表示的发型来辨别头发的量。进而，关于修正部12F，头发的量越多，则将与包含该特征信息70的输入数据80对应的输出数据82中的体型参数72修正为表示更小尺寸的体型。此时，修正部12F可以以使得特征信息70所表示的人体的头部呈现更小的尺寸的方式修正体型参数72。
并且，例如，修正部12F也可以根据特征信息70所表示的国籍来修正输出数据82。在该情况下，例如，关于修正部12F，特征信息70所表示的国籍越是表示穿戴的衣物的量或者衣物的层叠数越多的国民的国籍的信息，则将与包含该特征信息70的输入数据80对应的输出数据82中的体型参数72修正为表示更小尺寸的体型。
并且，例如，修正部12F也可以根据特征信息70所表示的性别来修正输出数据82。在该情况下，例如，关于修正部12F，在特征信息70所表示的性别为女性的情况下，将与包含该特征信息70的输入数据80对应的输出数据82中的体型参数72修正为表示更小尺寸的体型。并且，例如，关于修正部12F，在特征信息70所表示的性别为男性的情况下，将与包含该特征信息70的输入数据80对应的输出数据82中的体型参数72修正为表示更大尺寸的体型。
这样，学习部12C的修正部12F可以修正从拍摄部20以及三维数据取得部21取得的教导试穿者图像40、或使用三维数据制作的教导数据60A的输出数据82。
此外，学习部12C也可以生成将登记于学习数据14A的教导数据60所包含的教导试穿者图像40进行扩展后的扩展图像。
在该情况下，学习部12C的扩展图像生成部12G生成扩展图像。扩展图像是通过对登记于学习数据14A的教导试穿者图像40的至少一部分进行变更而生成的图像。通过由扩展图像生成部12G进行的处理，从1个教导试穿者图像40生成与该该教导试穿者图像40类似的多个扩展图像。
扩展图像例如是衣物重叠图像、遮掩图像、切出图像、加工图像、以及变更图像的至少1个。
衣物重叠图像是在教导试穿者图像40所包含的试穿者区域40A上重叠了衣物图像42的图像。例如，扩展图像生成部12G通过生成在登记于学习数据14A的教导试穿者图像40重叠了预先确定的衣物图像42的衣物重叠图像，来生成该教导试穿者图像40的扩展图像。衣物重叠图像的生成使用公知的图像合成方法即可。
遮掩图像是遮掩了教导试穿者图像40的一部分区域的图像。例如，扩展图像生成部12G通过生成将登记于学习数据14A的教导试穿者图像40中的一部分区域变更为黑色或者白色等预先确定的颜色的遮掩图像，来生成该教导试穿者图像40的扩展图像。遮掩图像的生成使用公知的图像处理方法即可。
切出图像是将教导试穿者图像40的一部分区域切出的图像。例如，12G通过生成将登记于学习数据14A的教导试穿者图像40中的一部分区域切出的切出图像，来生成该教导试穿者图像40的扩展图像。切出图像的生成使用公知的图像处理方法即可。
加工图像是对教导试穿者图像40的至少一部分区域进行加工后的图像。在加工中使用加工成写生图像风格、蜡笔图像风格、油画或日本画等绘画风格、线条画·素描图像风格、等画风的公知的加工技术即可。加工图像的生成使用公知的图像处理方法即可。
变更图像是将教导试穿者图像40的至少一部分区域变更为其他图像后的图像。例如，变更图像是将教导试穿者图像40所包含的试穿者区域40A以外的区域即背景区域变更为其他图像后的图像。变更图像的生成使用公知的图像处理方法即可。
进而，扩展图像生成部12G将所生成的扩展图像作为新的教导数据60而登记于学习数据14A。详细地说，扩展图像生成部12G确定包含在扩展图像的生成中使用过的教导试穿者图像40的教导数据60A。进而，扩展图像生成部12G将所确定的教导数据60A所包含的特征信息70与所生成的扩展图像作为新的输入数据80使用。并且，扩展图像生成部12G将所确定的教导数据60A所包含的输出数据82作为与新的输入数据80对应的输出数据82使用。此外，扩展图像生成部12G通过将包含上述新的输入数据80以及输出数据82的教导数据60登记于学习数据14A来对学习数据14A进行更新。
因此，如图4所示，在学习数据14A中，作为输入数据80而包含对教导试穿者图像40进行扩展后的扩展图像52的教导数据60C被登记为新的教导数据60。
在该情况下，模型学习部12E能够使用在学习数据14A登记的多个种类的教导数据60(包含教导数据60A以及教导数据60C)来对学习模型进行学习。
返回图3继续进行说明。并且，学习部12C可以根据通过由用户进行的输入部22的操作指示而被输入的、输出数据82的变更指示，来变更登记于学习数据14A的输出数据82。
在该情况下，学习部12C的显示控制部12H使显示部18显示重叠图像W，该重叠图像W在教导数据60A所包含的教导试穿者图像40上的、由与包含该教导试穿者图像40的输入数据80对应的输出数据82所包含的合成位置信息56表示的合成位置，重叠了根据该输出数据82所包含的体型参数72而变形后的衣物图像42。
根据体型参数72变形后的衣物图像42是指将预先存储的衣物图像42以呈现由体型参数72表示的体型的尺寸的方式放大·缩小·变形的处理。该衣物图像42的变形处理使用公知的技术即可。
因此，例如，在显示部18显示有图2所示的重叠图像W。用户参照在显示部18显示的重叠图像W，输入合成位置信息56以及体型参数72的至少一方的变更指示。变更指示例如包含合成位置信息56的位置、大小、以及范围中的至少1个的变更后的信息、或体型参数72的变更后的信息。于是，学习部12C的受理部12I经由取得部12A而从输入部22受理变更指示。
返回图3继续进行说明。学习部12C的变更部12J将教导数据60A中的、与包含最近一次在显示部18显示的重叠图像W中使用的教导试穿者图像40的输入数据80对应的输出数据82，变更为由利用受理部12I受理的变更指示表示的变更后的信息。
在该情况下，模型学习部12E能够使用在学习数据14A登记的多个种类的教导数据60(包含教导数据60A、变更后的教导数据60A、以及教导数据60C)对学习模型进行学习。
另外，对输入部22进行操作的用户可以输入用于将输出数据82变更为负例的变更指示。在该情况下，学习部12C的受理部12I经由取得部12A而从输入部22受理表示负例信息的变更指示。
于是，学习部12C的变更部12J将学习数据14A中的与包含教导试穿者图像40的输入数据80对应的输出数据82变更为表示负例的输出数据82(参照图4中的教导数据60B)。当输出数据82表示负例的情况下，从对应的输入数据80导出的答复成为负例。这样，变更部12J可以根据由用户进行的输入部22的操作指示而将输出数据82变更为负例。
在该情况下，模型学习部12E能够使用在学习数据14A登记的教导数据60(包含教导数据60A、变更后的教导数据60A、教导数据60B、以及教导数据60C)而对学习模型进行学习。
另外，如上所述，终端装置26使用利用信息处理装置10生成的学习模型生成虚拟试穿图像并进行显示。进而，如上所述，信息处理装置10的取得部12A有时从终端装置26取得表示在终端装置26显示的虚拟试穿图像的显示结果的显示结果信息。
在该情况下，信息处理装置10的学习部12C可以使用从终端装置26取得的显示结果信息而将新的教导数据60登记于学习数据14A。
显示结果信息是表示终端装置26的虚拟试穿图像的显示结果的信息。在本实施方式中，显示结果信息表示第1显示结果信息或者第2显示结果信息。
第1显示结果信息包含表示正例的正例信息、试穿者图像51、以及输出数据82。第1显示结果信息所包含的正例信息是表示该第1显示结果信息所包含的输出数据82为正例的信息。并且，第1显示结果信息所包含的试穿者图像51是在终端装置26中使用该第1显示结果信息所包含的输出数据82合成以及显示的虚拟试穿图像所使用的试穿者图像50。
即、第1显示结果信息是包含在终端装置26进行的虚拟试穿图像的显示中使用的试穿者图像51、输出数据82、表示该输出数据82为正例的正例信息的信息。
第2显示结果信息包含表示负例的负例信息、试穿者图像51、以及输出数据82。第2显示结果信息所包含的负例信息是表示该第2显示结果信息所包含的输出数据82为负例的信息。并且，第2显示结果信息所包含的试穿者图像51是在终端装置26中使用该第2显示结果信息所包含的输出数据82合成以及显示的虚拟试穿图像所使用的试穿者图像50。
即、第2显示结果信息是包含在终端装置26进行的虚拟试穿图像的显示中使用的试穿者图像51、输出数据82、表示该输出数据82为负例的负例信息的信息。
学习部12C的模型学习部12E在利用取得部12A取得了第1显示结果信息的情况下，将对包含该第1显示结果信息所包含的试穿者图像51的输入数据80与该第1显示结果信息所包含的输出数据82建立了对应的新的教导数据60登记于学习数据14A。
因此，如图4所示，在学习数据14A中，将包含第1显示结果信息所包含的试穿者图像51的输入数据80与该第1显示结果信息所包含的输出数据82建立了对应的新的教导数据60D被登记于学习数据14A。教导数据60D是教导数据60的一例。
另一方面，当利用取得部12A取得了第2显示结果信息的情况下，学习部12C的模型学习部12E将对包含该第2显示结果信息所包含的试穿者图像51的输入数据80与包含表示负例的负例信息的输出数据82建立了对应的新的教导数据60登记于学习数据14A。
因此，如图4所示，在学习数据14A中，将包含第2显示结果信息所包含的试穿者图像51的输入数据80与包含负例信息的输出数据82建立了对应的新的教导数据60E登记于学习数据14A。教导数据60E是教导数据60的一例。
在该情况下，模型学习部12E能够使用登记于学习数据14A的教导数据60(包含教导数据60A、变更后的教导数据60A、教导数据60B、以及教导数据60C、教导数据60D、教导数据60E)对学习模型进行学习。
返回图3继续进行说明。接着，对导出部12D进行说明。若取得部12A从终端装置26取得试穿者图像51，则导出部12D使用该试穿者图像51和由学习部12C生成的学习模型，导出由该试穿者图像51表示的试穿者的输出数据82。
导出部12D通过将从终端装置26取得的试穿者图像51作为输入数据80输入至由学习部12C生成的学习模型，由此导出与该试穿者图像51对应的输出数据82。
进而，导出部12D经由通信部12B朝终端装置26发送所导出的输出数据82。因此，信息处理装置10能够将针对从终端装置26受理的虚拟试穿对象的试穿者图像51的输出数据82(体型参数72、合成位置信息56、以及输出数据82)朝该终端装置26发送。
接着，对终端装置26的功能进行说明。
终端装置26具备拍摄部26A、输入部26B、显示部26C、存储部26D、控制部26E。拍摄部26A、输入部26B、显示部26C、以及216D与控制部26E以能够授受数据或信号的方式连接。存储部26D存储各种数据。
控制部26E包含通信部26F、取得部26G、生成部26H、显示控制部26I、受理部26J。控制部26E、通信部26F、取得部26G、生成部26H、显示控制部26I、以及受理部26J的一部分或者全部例如可以通过使CPU等处理装置执行程序、即通过软件实现，也可以由IC等硬件实现，也可以并用软件以及硬件来实现。
通信部26F经由通信线路34而与信息处理装置10或外部服务器28通信。
显示控制部26I在显示部26C生成各种图像。受理部26J从输入部26B受理通过由用户进行的输入部26B的操作指示而被输入的各种信息。取得部26G经由通信部26F以及通信线路34而从信息处理装置10取得输出数据82。
生成部26H生成将试穿者图像51与衣物图像42合成而得的虚拟试穿图像。
例如，假定通过由用户进行的输入部26B的操作指示而输入了虚拟试穿对象的衣物图像42的衣物ID。例如，生成部26H经由通信部26F而朝信息处理装置10发送衣物DB14B的阅览要求。于是，生成部26H经由取得部26G以及通信部26F而从信息处理装置10受理衣物DB14B。进而，显示控制部26I将由所受理的衣物DB14B显示的衣物图像的一览显示于显示部26C。
用户通过一边参照在显示部26C显示的衣物图像的一览一边对输入部26B进行操作，由此来选择试穿对象的衣物图像。于是，受理部26J从输入部26B受理所选择的衣物图像的衣物ID。进而，生成部26H经由通信部26F而朝信息处理装置10发送所受理的衣物ID。
信息处理装置10的通信部12B从衣物DB14B读取与从终端装置26受理的衣物ID对应的衣物图像42并朝终端装置26发送。通过该处理，终端装置26的生成部26H经由取得部26G以及通信部26F而从信息处理装置10取得由用户选择的衣物图像42。
并且，生成部26H经由取得部26G而从拍摄部26A取得试穿者图像51。例如，用户通过对输入部26B进行操作而输入针对拍摄部26A的拍摄指示。于是，拍摄部26A通过拍摄取得试穿者图像51并朝控制部26E输出。
控制部26E的生成部26H经由取得部26G而从拍摄部26A取得虚拟试穿对象的试穿者图像51。另外，生成部26H也可以从存储部26D取得试穿者图像51。
另外，从拍摄部26A或者存储部26D取得的试穿者图像51有时是不包含衣物穿戴区域的图像。
衣物穿戴区域表示试穿者中的、成为穿戴作为虚拟试穿对象的衣物图像42的对象的区域。例如，在衣物图像42为帽子的情况下，衣物穿戴区域是试穿者的头部。并且，在衣物图像42为上衣的情况下，衣物穿戴区域是试穿者的上半身。
在该情况下，生成部26H以使得所取得的试穿者图像51成为包含衣物穿戴区域的图像的方式补全该试穿者图像51。另外，生成部26H也可以以使得成为变更了该试穿者图像51所表示的试穿者的拍摄角度的图像的方式进行补全，以便所取得的试穿者图像51成为包含衣物穿戴区域的图像。进而，生成部26H采用补全后的试穿者图像51作为在虚拟试穿中使用的试穿者图像51即可。
另外，补全使用公知的方法即可。例如，生成部26H预先准备标准的人体形状的人体图像。进而，生成部26H使用在该人体图像上重叠了不包含衣物穿戴区域的图像即试穿者图像51的合成图像作为补全后的试穿者图像51即可。
接着，生成部26H将在虚拟试穿中使用的试穿者图像51经由通信部26F朝信息处理装置10发送。于是，如上所述，信息处理装置10的导出部12D使用从终端装置26取得的试穿者图像51和由学习部12C生成的学习模型，导出由该试穿者图像51表示的试穿者的输出数据82。
信息处理装置10的通信部12B将由导出部12D导出的输出数据82朝终端装置26发送。
因此，终端装置26的生成部26H经由通信部26F而从信息处理装置10取得输出数据82。换言之，生成部26H取得使用虚拟试穿对象的试穿者图像51和学习模型导出的、由该试穿者图像51表示的试穿者的输出数据82。
于是，生成部26H使用虚拟试穿对象的试穿者图像51、和从信息处理装置10取得的由该试穿者图像51表示的试穿者的输出数据82，生成将试穿者图像51和衣物图像42进行合成而得的虚拟试穿图像。
详细地说，生成部26H生成在试穿者图像51中的由使用学习模型导出的输出数据82所包含的合成位置信息56表示的合成位置合成了根据该输出数据82所包含的体型参数72变形后的衣物图像42的虚拟试穿图像。
生成部26H以与由信息处理装置10的学习部12C进行的重叠图像W的生成同样的方式生成虚拟试穿图像即可。即、生成部26H将由对终端装置26进行操作的用户指示的虚拟试穿对象的衣物图像42以使得呈现由所导出的输出数据82所包含的体型参数72表示的体型的尺寸的方式放大·缩小·变形。该处理使用公知的技术即可。
进而，生成部26H通过将变形后的衣物图像42合成至由所导出的输出数据82所包含的合成位置信息56表示的合成位置，由此来生成虚拟试穿图像。另外，朝由合成位置信息56表示的合成位置的合成使用公知的方法即可。
显示控制部26I将由生成部26H生成的虚拟试穿图像显示于显示部26C。
图6是示出在终端装置26的显示部26C显示的虚拟试穿图像54的一例的示意图。如图6所示，在显示部26C显示有虚拟试穿图像54。
如上所述，虚拟试穿图像54是由生成部26H生成的虚拟试穿图像54。因此，在显示部26C显示有：在由使用学习模型导出的输出数据82所包含的合成位置信息56表示的合成位置合成有变形为由该输出数据82所包含的体型参数72表示的体型后的衣物图像42的虚拟试穿图像54。即、在显示部26C，在虚拟试穿图像54的试穿者区域50A上重叠显示有以高精度地贴合试穿者的体型的方式放大·缩小·变形后的衣物图像42。
因此，在虚拟试穿系统1中，能够对用户容易地提供高精度地合成后的虚拟试穿图像54。详细地说，虚拟试穿系统1能够容易地提供以高精度地对位、且高精度地贴合体型的方式修正后的虚拟试穿图像54。
接着，对在虚拟试穿系统1中执行的虚拟试穿处理的次序进行说明。
图7是示出信息处理装置10执行的信息处理的次序的一例的流程图。
首先，取得部12A判断是否从输入部22受理了拍摄指示(步骤S100)。例如，在将教导数据60A登记于信息处理装置10时，与显示部18的前方对峙的用户通过对输入部22进行操作而输入拍摄指示。于是，输入部22从输入部22受理拍摄指示。
若在步骤S100作出肯定判断(步骤S100：是)，则前进至步骤S102。在步骤S102中，拍摄部20以及三维数据取得部21拍摄试穿者而获得试穿者的教导试穿者图像40以及试穿者的三维数据。于是，取得部12A从拍摄部20取得教导试穿者图像40(步骤S104)。并且，取得部12A从三维数据取得部21取得三维数据(步骤S106)。
接着，取得部12A从输入部22取得特征信息70(步骤S108)。例如，与显示部18的前方对峙的试穿者通过对输入部22进行操作而输入特征信息70。于是，输入部22取得由在步骤S104中取得的教导试穿者图像40表示的试穿者的特征信息70。
接着，学习部12C的模型学习部12E使用在步骤S104～步骤S108中取得的教导试穿者图像40、三维数据、特征信息70，生成教导数据60A用的输出数据82(步骤S110)。
详细地说，模型学习部12E通过将在步骤S106中取得的三维数据导入预先生成的函数或者模型而导出体型参数72。并且，例如，模型学习部12E将在步骤S104中取得的教导试穿者图像40中的、包围表示试穿者的试穿者区域40A的矩形状的区域，作为合成位置信息56导出(也参照图4)。
进而，模型学习部12E将所导出的体型参数72、合成位置信息56、以及在步骤S108中取得的特征信息70生成为输出数据82。
接着，模型学习部12E将包含输入数据80和使用该输入数据80以及三维数据生成的输出数据82(体型参数72、合成位置信息56、特征信息70)的教导数据60A登记于学习数据14A，输入数据80包含在步骤S104以及步骤S108中取得的教导试穿者图像40以及特征信息70(步骤S112)。
接着，显示控制部12H使用在步骤S112中登记的教导数据60A生成重叠图像W(步骤S114)。在步骤S114中，显示控制部12H生成在该教导数据60A所包含的教导试穿者图像40上的、由该教导数据60A包含的输出数据82包含的合成位置信息56表示的合成位置，重叠有根据该输出数据82包含的体型参数72变形后的衣物图像42的重叠图像W。进而，显示控制部12H将在步骤S114中生成的重叠图像W显示于显示部18(步骤S116)。
通过步骤S114以及步骤S116的处理，能够提供与生成教导数据60时的试穿者的动作或姿势相匹配地合成后的重叠图像W。
接着，变更部12J判断是否经由取得部12A从输入部22受理了变更指示(步骤S118)。若在步骤S118中作出否定判断(步骤S118：否)，则结束本例程。另一方面，若在步骤S118中作出肯定判断(步骤S118：是)，则前进至步骤S120。
在步骤S120中，变更部12J将在步骤S112中登记的教导数据60A所包含的输出数据82变更为由在步骤S118中受理的变更指示表示的变更后的信息(步骤S120)。通过步骤S120的处理，该教导数据60A所包含的输出数据82的至少一部分信息被变更为由用户指示的变更内容。进而，结束本例程。
另一方面，若在上述步骤S100中作出否定判断(步骤S100：否)，则前进至步骤S122。在步骤S122中，模型学习部12E判断是否生成学习模型(步骤S122)。例如，模型学习部12E在学习数据14A已被更新的情况下判断为生成学习模型。示出学习数据14A被更新的、登记于学习数据14A的教导数据60的至少一部分被变更的情况、或在学习数据14A登记有新的教导数据60的情况。
若在步骤S122中作出肯定判断(步骤S122：是)，则前进至步骤S124。在步骤S124中，模型学习部12E读取存储于存储部14的学习数据14A(步骤S124)。
接着，模型学习部12E通过使用了在步骤S124中读取的学习数据14A的机械学习来对学习模型进行学习(步骤S126)。进而，模型学习部12E将在步骤S126中学习到的学习模型存储于存储部14(步骤S128)。另外，存在在存储部14已存储有学习模型的情况。在该情况下，模型学习部12E将已经存储的学习模型从存储部14删除，并将学习到的最新的学习模型存储于存储部14即可。进而，结束本例程。
另一方面，若在上述步骤S122中作出否定判断(步骤S122：否)，则前进至步骤S130。
在步骤S130中，通信部12B判断是否已从终端装置26取得衣物ID(步骤S130)。若在步骤S130中作出否定判断(步骤S130：否)，则前进至后述的步骤S136。若在步骤S130中作出肯定判断(步骤S130：是)，则前进至步骤S132。在步骤S132中，通信部12B从衣物DB14B读取与在步骤S130中取得的衣物ID对应的衣物图像42(步骤S132)。进而，通信部12B将在步骤S132中读取的衣物图像42朝作为衣物ID的取得源的终端装置26发送(步骤S134)。
接着，导出部12D判断是否已经由通信部12B而从终端装置26取得了试穿者图像51(步骤S136)。若在步骤S136中作出肯定判断(步骤S136：是)，则前进至步骤S138。
在步骤S138中，通过将在步骤S136中取得的试穿者图像51导入存储于存储部14的学习模型，由此导出输出数据82(步骤S138)。
接着，导出部12D经由通信部12B而朝在步骤S136中取得的作为试穿者图像51的发送源的终端装置26发送在步骤S138中导出的输出数据82(步骤S140)。进而，结束本例程。
若在上述步骤S136中作出否定判断(步骤S136：否)，则前进至步骤S142。在步骤S142中，模型学习部12E判断是否已经由取得部12A而从终端装置26取得了第1显示结果信息(步骤S142)。若在步骤S142中作出否定判断(步骤S142：否)，则前进至后述的步骤S146。若在步骤S142中作出肯定判断(步骤S142：是)，则前进至步骤S144。
在步骤S144中，模型学习部12E将包含在步骤S142中取得的第1显示结果信息所包含的试穿者图像51的输入数据80、该第1显示结果信息所包含的输出数据82、教导数据60D登记于学习数据14A(步骤S144)。
接着，模型学习部12E判断是否已经由取得部12A而从终端装置26取得了第2显示结果信息(步骤S146)。若在步骤S146中作出否定判断(步骤S146：否)，则结束本例程。若在步骤S146中作出肯定判断(步骤S146：是)，则前进至步骤S148。在步骤S148中，模型学习部12E将对包含在步骤S146中取得的第2显示结果信息所包含的试穿者图像51的输入数据80与包含表示负例的负例信息的输出数据82建立了对应的新的教导数据60E登记于学习数据14A(步骤S148)。进而，结束本例程。
接着，对终端装置26执行的信息处理的次序的一例进行说明。图8是示出终端装置26执行的信息处理的次序的一例的流程图。
首先，受理部26J从输入部26B受理虚拟试穿对象的衣物图像42的衣物ID(步骤S200)。于是，生成部26H将在步骤S200中受理的衣物ID经由通信部26F朝信息处理装置10发送(步骤202)。进而，生成部26H从信息处理装置10取得与在步骤S200中发送的衣物ID对应的衣物图像42(步骤S204)。
接着，受理部26J直至判断为从输入部26B受理了拍摄指示为止(步骤S206：是)，反复作出否定判断(步骤S206：否)。若判断为受理了拍摄指示(步骤S206：是)，则前进至步骤S208。
在步骤S208中，拍摄部26A对试穿者进行拍摄而取得试穿者图像51(步骤S208)。于是，取得部26G从拍摄部26A取得试穿者图像51(步骤S210)。
接着，生成部26H判断在步骤S210中取得的试穿者图像51是否包含在步骤S204中取得的衣物图像42的衣物穿戴区域(步骤S212)。
当判断为不包含衣物穿戴区域的情况下(步骤S212：否)，前进至步骤S214。在步骤S214中，生成部26H以使得在步骤S210中取得的试穿者图像51成为包含在步骤S204中取得的衣物图像42的衣物穿戴区域的图像的方式对该试穿者图像51进行补全(步骤S214)。在该情况下，生成部26H采用补全后的试穿者图像51作为在虚拟试穿中使用的试穿者图像51。
接着，生成部26H将在步骤S210中取得的试穿者图像51或者在步骤S214中补全后的试穿者图像51经由通信部26F而朝信息处理装置10发送(步骤S216)。于是，如上所述，信息处理装置10的导出部12D使用从终端装置26取得的试穿者图像51和利用学习部12C生成的学习模型，导出由该试穿者图像51表示的试穿者的输出数据82，并朝终端装置26发送。
因此，终端装置26的生成部26H经由通信部26F而从信息处理装置10取得输出数据82(步骤S218)。换言之，生成部26H取得使用虚拟试穿对象的试穿者图像51和学习模型导出的、由该试穿者图像51表示的试穿者的输出数据82。
于是，生成部26H使用在步骤S216中朝信息处理装置10发送的虚拟试穿对象的试穿者图像51、和从信息处理装置10取得的由该试穿者图像51表示的试穿者的输出数据82，生成对试穿者图像51与衣物图像42进行合成而得的虚拟试穿图像54(步骤S220)。
接着，显示控制部26I将在步骤S220中生成的虚拟试穿图像54显示于显示部26C(步骤S222)。因此，在终端装置26的显示部26C显示有高精度的虚拟试穿图像54。
接着，受理部26J判断是否从输入部26B受理了错误信息(步骤S224)。
存在对终端装置26进行操作的用户针对在显示部26C显示的虚拟试穿图像54而感到不协调感的情况。例如，存在虚拟试穿图像54中的试穿者图像51与衣物图像42之间的位置关系、或所显示的衣物图像42的尺寸等与用户的想像不同的情况。在这样的情况下，用户通过对输入部26B进行操作而输入用于使得在该虚拟试穿图像54的生成中使用的输出数据82成为负例的错误信息。于是，受理部26J从输入部22受理错误信息(步骤S224：是)。
若在步骤S224中作出肯定判断(步骤S224：是)，则前进至步骤S226。在步骤S226中，受理部26J包含表示负例的负例信息、在步骤S210中取得的试穿者图像51、以及在步骤S218中取得的输出数据82。将第2显示结果信息经由通信部26F朝信息处理装置10发送(步骤S226)。进而，前进至步骤S228。另外，当在步骤S224中作出否定判断的情况下(步骤S224：否)，前进至步骤S228。
在步骤S228中，受理部26J判断是否从输入部22受理了修正指示(步骤S228)。
例如，存在对终端装置26进行操作的用户针对在显示部26C显示的虚拟试穿图像54而希望进行衣物图像42的合成位置的修正、衣物图像42的大小等的修正的情况。在这样的情况下，用户通过对输入部22进行操作而输入体型参数72以及合成位置信息56的至少一方的修正指示。另外，也存在对终端装置26进行操作的用户针对在显示部26C显示的虚拟试穿图像54而不希望进行修正等变更的情况。在这样的情况下，用户通过对输入部22进行操作而输入表示无修正的指示。
于是，在步骤S228中，受理部26J判断是否从输入部22受理了修正指示。若受理部26J从输入部22受理修正指示(步骤S228：是)，则前进至步骤S230。
在步骤S230中，受理部26J将包含表示正例的正例信息、试穿者图像51、修正为在步骤S228中受理的修正指示所表示的修正内容的输出数据82的第1显示结果信息，经由通信部26F而朝信息处理装置10发送(步骤S230)。另外，该试穿者图像51是在步骤S222中显示于显示部26C的虚拟试穿图像54所使用的试穿者图像51。进而，结束本例程。
另一方面，受理部26J若从输入部26B受理了表示无修正的指示(步骤S228：否)，则前进至步骤S232。在步骤S232中，受理部26J将包含表示正例的正例信息、试穿者图像51、在步骤S218中取得的输出数据82的第1显示结果信息，经由通信部26F而朝信息处理装置10发送(步骤S232)。另外，该试穿者图像51是在步骤S222中显示于显示部26C的虚拟试穿图像54所使用的试穿者图像51。进而，结束本例程。
如以上说明了的那样，本实施方式的虚拟试穿系统1具备学习部12C、取得部12A、导出部12D、生成部26H。学习部12C通过使用了试穿者的三维数据的机械学习来对以教导试穿者图像40作为输入数据80、以表示由教导试穿者图像40表示的试穿者的体型的体型参数72以及教导试穿者图像40中的衣物图像42的合成位置信息56作为输出数据82的学习模型进行学习。取得部26G取得试穿者图像51。导出部12D使用试穿者图像51和学习模型导出由试穿者图像51表示的试穿者的输出数据82。生成部26H使用导出的输出数据82而生成对试穿者图像51和衣物图像42进行合成而得的虚拟试穿图像54。
这样，在本实施方式的虚拟试穿系统1中，使用通过使用了试穿者的三维数据的机械学习而学习到的学习模型，导出由试穿者图像51表示的试穿者的输出数据82(体型参数72以及合成位置信息56)。进而，使用导出的输出数据82，生成对试穿者图像51与衣物图像42进行合成而得的虚拟试穿图像54。
因此，在本实施方式的虚拟试穿系统1中，在显示虚拟试穿图像54时，无需取得与试穿者的三维形状相关的信息，就能够使用使用学习模型导出的体型参数72以及合成位置信息56而生成对试穿者图像51和衣物图像42进行合成而得的虚拟试穿图像54。
因而，在本实施方式的虚拟试穿系统1中，能够容易地提供高精度地合成了的虚拟试穿图像54。
＜变形例＞
另外，在上述实施方式中，以形成为信息处理装置10具备学习部12C以及导出部12D、终端装置26具备生成部26H的结构的情况作为一例而进行了说明。但是，也可以形成为信息处理装置10还具备取得部26G、生成部26H、受理部26J、以及显示控制部26I中的至少1个的结构。并且，也可以形成为终端装置26还具备取得部12A、学习部12C、以及导出部12D中的至少1个的结构。
在该情况下，能够利用1台信息处理装置10或者1台终端装置26执行学习数据14A的生成、学习模型的学习、由试穿者图像51表示的试穿者的输出数据82的导出、虚拟试穿图像54的生成以及显示。
接着，对本实施方式的信息处理装置10、终端装置26、以及外部服务器28的硬件结构进行说明。图9是示出本实施方式的信息处理装置10、终端装置26、以及外部服务器28的硬件结构例的框图。
本实施方式的信息处理装置10、终端装置26、以及外部服务器28形成为显示部91、通信I/F部93、输入部94、CPU86、ROM(Read Only Memory)88、RAM(Random Access Memory)90、以及HDD92等借助总线96相互连接、利用了通常的计算机的硬件结构。
CPU86是对本实施方式的信息处理装置10、终端装置26、以及外部服务器28各自的处理进行控制的运算装置。RAM90存储由CPU86进行的各种处理所需要的数据。ROM88存储实现由CPU86进行的各种处理的程序等。HDD92存储收纳于上述的存储部14以及存储部26D的数据。通信I/F部93是用于经由通信线路等与外部装置或外部终端连接、并在与所连接的外部装置或外部终端之间收发数据的接口。显示部91相当于上述的显示部18以及显示部26C的各个。输入部94接受来自用户的操作指示。94相当于上述的输入部22以及输入部26B。
用于执行由本实施方式的信息处理装置10、终端装置26、以及外部服务器28执行的上述各种处理的程序预先组装于ROM88等而提供。
另外，由本实施方式的信息处理装置10、终端装置26、以及外部服务器28执行的程序也可以构成为利用能够安装于上述装置的形式或者能够由上述装置执行的形式的文件记录于CD－ROM、软盘(FD)、CD－R、DVD(Digital Versatile Disk)等能够由计算机读取的记录介质而进行提供。
并且，也可以构成为将由本实施方式的信息处理装置10、终端装置26、以及外部服务器28执行的程序收纳于连接于因特网等网络的计算机上，并通过经由网络下载来进行提供。并且，也可以构成为经由因特网等网络提供或者发布用于执行本实施方式的信息处理装置10、终端装置26、以及外部服务器28中的上述各处理的程序。
用于执行由本实施方式的信息处理装置10、终端装置26、以及外部服务器28执行的上述各种处理的程序形成为在主存储装置上生成上述的各部。
另外，收纳于上述HDD92的各种信息也可以收纳于外部装置。在该情况下，形成为将该外部装置和CPU86经由网络等连接的结构即可。
另外，上面对本发明的实施方式进行了说明，但上述实施方式只不过是作为例子加以提示，并非意图限定发明的范围。上述新的实施方式能够以其他各种各样的方式加以实施，能够在不脱离发明的主旨的范围进行各种省略、置换、变更。该实施方式及其变形包含于发明的范围或主旨中，并且包含于技术方案所记载的发明及其等同的范围中。

Claims (16)

1.一种虚拟试穿系统，具备：
学习部，通过使用了试穿者的三维数据的机械学习来对学习模型进行学习，上述学习模型以教导试穿者图像作为输入数据，以表示由上述教导试穿者图像呈现的试穿者的体型的体型参数以及上述教导试穿者图像中的衣物图像的合成位置信息作为输出数据；
取得部，取得试穿者图像；
导出部，使用上述试穿者图像和上述学习模型，导出由上述试穿者图像呈现的试穿者的上述输出数据；以及
生成部，使用导出的上述输出数据，生成对上述试穿者图像和衣物图像进行合成而得的虚拟试穿图像。
2.根据权利要求1所述的虚拟试穿系统，其中，
上述生成部生成在上述试穿者图像中的由导出的上述输出数据所包含的上述合成位置信息表示的合成位置合成了根据该输出数据所包含的上述体型参数变形后的衣物图像的上述虚拟试穿图像。
3.根据权利要求1所述的虚拟试穿系统，其中，
上述学习部对在上述输入数据以及上述输出数据的至少一方包含试穿者的特征信息的上述学习模型进行学习。
4.根据权利要求3所述的虚拟试穿系统，其中，
上述特征信息表示试穿者的外观特征以及内在特征的至少一方。
5.根据权利要求3所述的虚拟试穿系统，其中，
上述特征信息表示上述试穿者的肤色、从衣物露出的露出度、发型、国籍、惯用手、性格、以及推荐拍摄方向的至少1个。
6.根据权利要求1所述的虚拟试穿系统，其中，
上述学习部具有生成对上述教导试穿者图像进行扩展后的扩展图像的扩展图像生成部，
使用包含上述教导试穿者图像的上述输入数据以及包含上述扩展图像的上述输入数据来对上述学习模型进行学习。
7.根据权利要求6所述的虚拟试穿系统，其中，
上述扩展图像生成部作为上述扩展图像生成下述图像中的至少1个，即：在上述教导试穿者图像所包含的试穿者区域上重叠了衣物图像的衣物重叠图像、遮掩了上述教导试穿者图像的一部分区域的遮掩图像、将上述教导试穿者图像的一部分区域切出的切出图像、对上述教导试穿者图像的至少一部分区域进行加工后的加工图像。
8.根据权利要求1所述的虚拟试穿系统，其中，
上述输入数据包含拍摄时间、拍摄角度、在拍摄中使用的拍摄部的种类、拍摄时的试穿者的姿势中的至少1个不同的多个上述教导试穿者图像。
9.根据权利要求1所述的虚拟试穿系统，其中，
上述学习部通过使用了学习数据的机械学习来对上述学习模型进行学习，该学习数据包含对包含上述教导试穿者图像的上述输入数据和基于由上述教导试穿者图像呈现的试穿者的三维数据导出的与上述教导试穿者图像对应的上述输出数据建立了对应的多个教导数据。
10.根据权利要求9所述的虚拟试穿系统，其中，
上述输入数据包含上述试穿者的特征信息，
上述学习部包含修正部，该修正部根据上述输入数据所包含的上述特征信息，对上述学习数据中的从上述三维数据导出的上述输出数据进行修正。
11.根据权利要求9所述的虚拟试穿系统，其中，
上述学习部具有：
显示控制部，在显示部显示如下的重叠图像，即：在上述教导试穿者图像上的由与上述学习数据中的包含该教导试穿者图像的上述输入数据对应的上述输出数据所包含的上述合成位置信息表示的合成位置，重叠了根据该输出数据所包含的体型参数变形后的衣物图像的重叠图像；
受理部，受理上述学习数据中的、与所显示的上述重叠图像包含的上述教导试穿者图像对应的上述输出数据的变更指示；以及
变更部，将上述学习数据中的、与包含该教导试穿者图像的上述输入数据对应的上述输出数据，变更为由上述变更指示表示的上述输出数据。
12.根据权利要求9所述的虚拟试穿系统，其中，
上述取得部取得包含表示正例的正例信息、上述试穿者图像、以及上述输出数据的第1显示结果信息、或者包含表示负例的负例信息以及上述试穿者图像的第2显示结果信息，
上述学习部，
当取得了上述第1显示结果信息的情况下，将对包含上述第1显示结果信息所包含的上述试穿者图像的上述输入数据和该第1显示结果信息所包含的上述输出数据建立了对应的新的上述教导数据登记于上述学习数据，
当取得了上述第2显示结果信息的情况下，将包含上述第2显示结果信息所包含的上述试穿者图像的上述输入数据和表示负例的上述输出数据作为新的上述教导数据登记于上述学习数据。
13.一种虚拟试穿方法，具备：
通过使用了试穿者的三维数据的机械学习来对学习模型进行学习的步骤，上述学习模型以教导试穿者图像作为输入数据，以表示由上述教导试穿者图像呈现的试穿者的体型的体型参数以及上述教导试穿者图像中的衣物图像的合成位置信息作为输出数据；
取得试穿者图像的步骤；
使用上述试穿者图像和上述学习模型，导出由上述试穿者图像呈现的试穿者的上述输出数据的步骤；以及
使用导出的上述输出数据，生成对上述试穿者图像和衣物图像进行合成而得的虚拟试穿图像的步骤。
14.一种虚拟试穿程序，用于使计算机执行以下的步骤：
通过使用了试穿者的三维数据的机械学习来对学习模型进行学习的步骤，上述学习模型以教导试穿者图像作为输入数据，以表示由上述教导试穿者图像呈现的试穿者的体型的体型参数以及上述教导试穿者图像中的衣物图像的合成位置信息作为输出数据；
取得试穿者图像的步骤；
使用上述试穿者图像和上述学习模型，导出由上述试穿者图像呈现的试穿者的上述输出数据的步骤；以及
使用导出的上述输出数据，生成对上述试穿者图像和衣物图像进行合成而得的虚拟试穿图像的步骤。
15.一种信息处理装置，具备：
学习部，通过使用了试穿者的三维数据的机械学习来对学习模型进行学习，上述学习模型以教导试穿者图像作为输入数据，以表示由上述教导试穿者图像呈现的试穿者的体型的体型参数以及上述教导试穿者图像中的衣物图像的合成位置信息作为输出数据；
取得部，取得试穿者图像；
导出部，使用上述试穿者图像和上述学习模型，导出由上述试穿者图像呈现的试穿者的上述输出数据；以及
生成部，使用导出的上述输出数据，生成对上述试穿者图像和衣物图像进行合成而得的虚拟试穿图像。
16.一种学习数据，其中，
包含对包含教导试穿者图像的输入数据和基于由上述教导试穿者图像呈现的试穿者的三维数据导出的与上述教导试穿者图像对应的输出数据建立了对应的多个教导数据。
CN201880089852.9A 2018-02-21 2018-11-12 虚拟试穿系统、虚拟试穿方法、虚拟试穿程序、信息处理装置、以及学习数据 Pending CN111742350A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-029041 2018-02-21
JP2018029041A JP6921768B2 (ja) 2018-02-21 2018-02-21 仮想試着システム、仮想試着方法、仮想試着プログラム、および情報処理装置
PCT/JP2018/041860 WO2019163218A1 (ja) 2018-02-21 2018-11-12 仮想試着システム、仮想試着方法、仮想試着プログラム、情報処理装置、および学習データ

Publications (1)

Publication Number Publication Date
CN111742350A true CN111742350A (zh) 2020-10-02

Family

ID=67687622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880089852.9A Pending CN111742350A (zh) 2018-02-21 2018-11-12 虚拟试穿系统、虚拟试穿方法、虚拟试穿程序、信息处理装置、以及学习数据

Country Status (4)

Country Link
US (1) US20200380594A1 (zh)
JP (1) JP6921768B2 (zh)
CN (1) CN111742350A (zh)
WO (1) WO2019163218A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112242007A (zh) * 2020-10-12 2021-01-19 新疆爱华盈通信息技术有限公司 一种虚拟试穿方法
CN112528736A (zh) * 2020-11-01 2021-03-19 泰州市出彩网络科技有限公司 应用定制数据处理的操控简化系统
CN113012303A (zh) * 2021-03-10 2021-06-22 浙江大学 一种可保持服装纹理特征的多种类变尺度虚拟试衣方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020171237A1 (ja) * 2019-02-22 2020-08-27 国立大学法人東京大学 画像処理装置、学習済みモデル、画像収集装置、画像処理方法、および、画像処理プログラム
US11250572B2 (en) * 2019-10-21 2022-02-15 Salesforce.Com, Inc. Systems and methods of generating photorealistic garment transference in images
CN111062777B (zh) * 2019-12-10 2022-06-24 中山大学 一种可保留示例衣服细节的虚拟试穿方法及系统
KR102326902B1 (ko) * 2020-01-10 2021-11-17 (주)내스타일 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템
KR102341763B1 (ko) * 2020-02-04 2021-12-22 엔에이치엔 주식회사 딥러닝 기반의 의류 가상 착용 서비스 방법 및 그 장치
WO2022009821A1 (ja) * 2020-07-07 2022-01-13 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及びプログラム
WO2022137307A1 (ja) * 2020-12-21 2022-06-30 株式会社データグリッド 仮想試着方法、仮想試着システムおよびプログラム
CN112991494B (zh) 2021-01-28 2023-09-15 腾讯科技（深圳）有限公司 图像生成方法、装置、计算机设备及计算机可读存储介质
KR102528960B1 (ko) * 2021-02-18 2023-05-03 엔에이치엔클라우드 주식회사 딥러닝 기반의 의류 가상 착용 방법 및 그 시스템
KR102374141B1 (ko) * 2021-03-03 2022-03-15 (주)내스타일 유연한 가상 피팅 이미지 생성을 위한 의상영역 제거 방법
CN114067088A (zh) * 2021-11-16 2022-02-18 百果园技术(新加坡)有限公司 虚拟穿戴方法、装置、设备、存储介质及程序产品
WO2024043526A1 (ko) * 2022-08-25 2024-02-29 삼성전자 주식회사 디지털 아이템에 대응되는 가상 이미지를 제공하는 방법 및 증강 현실 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100306082A1 (en) * 2009-05-26 2010-12-02 Wolper Andre E Garment fit portrayal system and method
CN103886117A (zh) * 2012-12-20 2014-06-25 上海工程技术大学 一种提高三维试衣软件中虚拟人体建模精度的方法
CN105354876A (zh) * 2015-10-20 2016-02-24 何家颖 一种基于移动终端的实时立体试衣方法
CN105787751A (zh) * 2016-01-06 2016-07-20 湖南拓视觉信息技术有限公司 三维人体虚拟试衣方法和系统
CN107481082A (zh) * 2017-06-26 2017-12-15 珠海格力电器股份有限公司 一种虚拟试衣方法及其装置、电子设备及虚拟试衣系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2327061A4 (en) * 2008-08-15 2016-11-16 Univ Brown METHOD AND DEVICE FOR ESTIMATING BODY SHAPES
GB2515343B (en) * 2013-06-21 2018-02-07 Toshiba Res Europe Limited Methods and systems for generating a three dimensional representation of a subject
CN104978762B (zh) * 2015-07-13 2017-12-08 北京航空航天大学 服装三维模型生成方法及系统
EP3425446B1 (de) * 2017-07-06 2019-10-30 Carl Zeiss Vision International GmbH Verfahren, vorrichtung und computerprogramm zum virtuellen anpassen einer brillenfassung
US11250639B2 (en) * 2018-12-19 2022-02-15 Seddi, Inc. Learning-based animation of clothing for virtual try-on
WO2020171237A1 (ja) * 2019-02-22 2020-08-27 国立大学法人東京大学 画像処理装置、学習済みモデル、画像収集装置、画像処理方法、および、画像処理プログラム
KR20210030747A (ko) * 2019-09-10 2021-03-18 김윤성 가상 피팅 이미지 생성을 위한 이미지 합성 방법 및 시스템
GB201914924D0 (en) * 2019-10-15 2019-11-27 Anthropics Tech Limited Methods of image manipulation for clothing visualisation
EP4078498A1 (en) * 2019-12-17 2022-10-26 Essilor International Apparatus, method, and computer-readable storage medium for contextualized equipment recommendation
KR102341763B1 (ko) * 2020-02-04 2021-12-22 엔에이치엔 주식회사 딥러닝 기반의 의류 가상 착용 서비스 방법 및 그 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100306082A1 (en) * 2009-05-26 2010-12-02 Wolper Andre E Garment fit portrayal system and method
CN103886117A (zh) * 2012-12-20 2014-06-25 上海工程技术大学 一种提高三维试衣软件中虚拟人体建模精度的方法
CN105354876A (zh) * 2015-10-20 2016-02-24 何家颖 一种基于移动终端的实时立体试衣方法
CN105787751A (zh) * 2016-01-06 2016-07-20 湖南拓视觉信息技术有限公司 三维人体虚拟试衣方法和系统
CN107481082A (zh) * 2017-06-26 2017-12-15 珠海格力电器股份有限公司 一种虚拟试衣方法及其装置、电子设备及虚拟试衣系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112242007A (zh) * 2020-10-12 2021-01-19 新疆爱华盈通信息技术有限公司 一种虚拟试穿方法
CN112528736A (zh) * 2020-11-01 2021-03-19 泰州市出彩网络科技有限公司 应用定制数据处理的操控简化系统
CN113012303A (zh) * 2021-03-10 2021-06-22 浙江大学 一种可保持服装纹理特征的多种类变尺度虚拟试衣方法
CN113012303B (zh) * 2021-03-10 2022-04-08 浙江大学 一种可保持服装纹理特征的多种类变尺度虚拟试衣方法

Also Published As

Publication number Publication date
JP2019144890A (ja) 2019-08-29
US20200380594A1 (en) 2020-12-03
WO2019163218A1 (ja) 2019-08-29
JP6921768B2 (ja) 2021-08-18

Similar Documents

Publication Publication Date Title
CN111742350A (zh) 虚拟试穿系统、虚拟试穿方法、虚拟试穿程序、信息处理装置、以及学习数据
JP6490430B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US11450075B2 (en) Virtually trying cloths on realistic body model of user
US10360444B2 (en) Image processing apparatus, method and storage medium
US20220198780A1 (en) Information processing apparatus, information processing method, and program
US10395404B2 (en) Image processing device for composite images, image processing system and storage medium
JP7278724B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
CN107609946B (zh) 一种显示控制方法及计算设备
CN111626105B (zh) 姿态估计方法、装置及电子设备
JP6980097B2 (ja) サイズ測定システム
KR20210065423A (ko) 증강현실 기반의 오프라인 매장에서의 가상 피팅시스템
CN111291746A (zh) 影像处理系统及影像处理方法
US10152827B2 (en) Three-dimensional modeling method and electronic apparatus thereof
CN110533761B (zh) 影像显示方法、电子装置及非瞬时电脑可读取记录媒体
KR102468306B1 (ko) 신체 치수 측정 방법 및 장치
CN110223327A (zh) 用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和系统
JPWO2017150292A1 (ja) 表示システム、情報処理装置、情報処理方法及びプログラム
JP6982203B2 (ja) キャラクタ画像生成装置、キャラクタ画像生成方法及びプログラム
WO2022081745A1 (en) Real-time rendering of 3d wearable articles on human bodies for camera-supported computing devices
JP2019062436A (ja) 画像処理装置、画像処理方法、及びプログラム
KR20220120731A (ko) 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법 및 장치
JP6868875B1 (ja) 姿勢推定学習システム、姿勢推定学習方法及び機械学習用データの作成プログラム
JP2023137370A (ja) 表示方法、及び表示システム
JP7397282B2 (ja) 静止判定システム及びコンピュータプログラム
CN117351148A (zh) 人体数据的智能测量及三维重建方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination