CN105637565A - 试穿支援装置以及方法 - Google Patents

试穿支援装置以及方法 Download PDF

Info

Publication number
CN105637565A
CN105637565A CN201480056173.3A CN201480056173A CN105637565A CN 105637565 A CN105637565 A CN 105637565A CN 201480056173 A CN201480056173 A CN 201480056173A CN 105637565 A CN105637565 A CN 105637565A
Authority
CN
China
Prior art keywords
data
user
image data
try
clothes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480056173.3A
Other languages
English (en)
Inventor
小形宪弘
永田浩造
桥本纯一
川端利郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiren Co Ltd
Original Assignee
Seiren Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiren Co Ltd filed Critical Seiren Co Ltd
Publication of CN105637565A publication Critical patent/CN105637565A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明的目的在于提供一种能够可靠地选择与利用者的姿容相匹配的衣服等服饰物的试穿支援装置以及方法。试穿支援装置具备：基于摄影图像数据来获取与利用者的肤色相关的颜色特性数据的颜色特性处理部(100)；在与利用者的体型数据相对应的三维人体形状数据上基于颜色特性数据进行着色来生成人体图像数据的人体处理部(101)；基于衣服数据来获取与颜色特性数据相对应的花色数据的花色处理部(102)；基于人体图像数据以及花色数据来生成着装图像数据的着装处理部(103)；和将利用者的头部图像数据以及着装图像数据进行合成来生成试穿图像数据的试穿处理部(104)。

Description

试穿支援装置以及方法
技术领域
本发明涉及将在三维人体形状上合成了衣服等服饰物相关的图像数据而得到的三维图像数据与利用者的图像数据进行组合来虚拟显示着装状态的试穿支援装置以及方法。
背景技术
顾客在商店等中购入穿着衣服等服饰物时，一般都是在商店中设置的试穿室等预先试穿所购入的预定的商品，来确认该衣服的尺寸、感觉、或者是否适合自己的姿容。
顾客试穿多个衣服等，为了从其中寻找顾客最中意的衣服，需要在试穿了各件衣服的状态下进行比较，但顾客不得不依赖于进行了试穿时的存储来进行该比较。在成为试穿的对象的衣服较多时，最初试穿时的存储减弱，有可能无法进行充分的比较而导致顾客误选择了中意的衣服或者需要再次进行试穿以致使花费时间。
为了解决这样的试穿相关的课题，提出了虚拟显示着装状态的试穿支援装置。例如，在专利文献1中，记载了一种虚拟试穿系统，其读出与被选为试穿用的衣服(试穿服)对应的衣服纸型信息以及与标准人体模型的体型相关的标准人体信息，基于体型信息、质地信息以及缝制信息来生成表示适合试穿人的体型的衣服的衣服图像，基于所生成的衣服图像以及试穿人的人物图像来生成合成图像(试穿图像)。此外，在专利文献2中，记载了如下内容：构筑将顾客选择的质地的衣服穿着于预先准备的身体部分的数据的三维数据，并且与拍摄顾客自己而得到的头部的二维数据进行组合来显示，由此来简易实现有真实感的试穿模拟。此外，在专利文献3中，记载了如下内容：将穿着想要试穿的服装的模型图像与要进行试穿的人物的人物图像同时显示于显示装置，剪切人物图像的面部图像，使其移动至模型图像的位置并进行合成，来进行试穿模拟。
在先技术文献
专利文献
专利文献1：专利第3314704号公报
专利文献2：JP特开2000-315262号公报
专利文献3：JP特开2001-134745号公报
发明内容
发明要解决的课题
在实际进行试穿的情况下，理想的是选择与利用者的姿容相匹配的，尤其期望选择与利用者的肤色相匹配的色调的衣服。在上述的专利文献中，虽然通过将衣服图像与人体模型的体型进行组合并与利用者的图像数据进行合成，来显示接近于实际的试穿的着装状态，但关于与利用者的姿容相匹配的衣服，则会观看所显示的图像根据利用者的偏好来进行选择。此时，主要从衣服的设计与利用者的体型是否匹配这样的观点出发加以考虑，利用者自己进行从是否是与利用者的肤色相匹配的色调的衣服这样的观点出发的考虑是很困难的。因此，难以从各种各样的观点出发选择与利用者的姿容相匹配的衣服。
因此，本发明的目的在于，提供一种能够可靠地选择与利用者的姿容相匹配的衣服等服饰物的试穿支援装置以及方法。
用于解决课题的手段
本发明所涉及的试穿支援装置具备：摄影部，其拍摄利用者；探测部，其探测利用者的体型；操作部，其进行衣服的选择操作；处理部，其基于从所述摄影部得到的摄影图像数据以及从所述探测部得到的体型数据，来生成与由所述操作部所选择的衣服数据相关的试穿图像数据；和显示部，其显示所生成的所述试穿图像数据，所述处理部具备：颜色特性处理部，其基于所述摄影图像数据来获取与利用者的肤色相关的颜色特性数据；人体处理部，其基于所述体型数据来获取三维人体形状数据，并且基于所述颜色特性数据对该三维人体形状数据进行着色来生成人体图像数据；花色处理部，其基于所述衣服数据来获取与所述颜色特性数据相对应的花色数据；着装处理部，其基于所述人体图像数据以及所述花色数据来生成着装图像数据；和试穿处理部，其基于所述摄影图像数据来获取利用者的头部图像数据，并且将该头部图像数据以及所述着装图像数据进行合成来生成所述试穿图像数据。进而，所述探测部对利用者的姿势进行探测，所述试穿处理部基于所探测到的姿势数据来生成所述试穿图像数据。进而，所述颜色特性处理部基于与所述摄影图像数据的皮肤的部分相关的像素的色相、亮度以及色度来获取所述颜色特性数据。进而，所述试穿处理部嵌入由所述摄影部拍摄到背景图像数据来生成试穿图像数据。
本发明所涉及的试穿支援方法是基于利用者的摄影图像数据以及体型数据来显示与利用者所选择的衣服数据相关的试穿图像数据的试穿支援方法，在所述试穿支援方法中，基于所述摄影图像数据来获取与利用者的肤色相关的颜色特性数据，基于所述体型数据来获取三维人体形状数据并且基于所述颜色特性数据对该三维人体形状数据进行着色来生成人体图像数据，基于所述衣服数据来获取与所述颜色特性数据相对应的花色数据，基于所述人体图像数据以及所述花色数据来生成着装图像数据，基于所述摄影图像数据来获取利用者的头部图像数据并且将该头部图像数据以及所述着装图像数据进行合成来生成所述试穿图像数据。
发明效果
本发明通过具有上述构成，从而能够显示与利用者的肤色相匹配的花色的衣服相关的试穿图像，能够高效地选择与利用者的姿容相匹配的衣服等服饰物。
附图说明
图1是与本发明所涉及的试穿支援装置相关的示意结构图。
图2是与试穿支援装置相关的功能模块构成图。
图3是与试穿支援处理相关的流程。
图4是表示三维人体形状的说明图。
图5是表示人体图像的说明图。
图6是表示操作显示装置的显示画面的一例的说明图。
具体实施方式
以下，使用附图来说明本发明的实施方式。另外，以下说明的实施方式是在实施本发明时优选的具体例，技术上虽然进行了各种限定，但本发明只要在以下的说明中没有特别明确记载对本发明进行限定的意思，便不限定于这些方式。
图1是与本发明所涉及的试穿支援装置相关的示意结构图。试穿支援装置具备：进行用于显示试穿图像的处理的信息处理装置1；显示试穿图像的显示装置2；由利用者操作进行数据输入的操作显示装置3；拍摄利用者的摄影装置4；以及探测利用者的体型的探测传感器5。
作为信息处理装置1，能够使用具备CPU、存储器、硬盘、收发部等的公知的计算机，安装了实现用于对试穿图像进行显示处理的各种功能的程序。显示装置2具备能够显示与利用者的身长相等的试穿图像的液晶显示面板等大型的显示器，站在显示装置2前的利用者能够以站在镜子前面那样的感觉对试穿图像进行目识别。操作显示装置3能够使用平板终端等公知的装置，具备用于进行试穿图像的显示处理所需要的操作的操作显示功能。此外，在操作显示装置3中，登记有用于显示表示花色、衣服的类型的图标的图像数据。摄影装置4能够使用对站在显示装置2前的利用者进行拍摄的摄影照相机，所拍摄到的利用者的彩色图像被发送给信息处理装置1。探测传感器5能够使用红外线深度传感器等，具备探测站在显示装置前的利用者的体型、姿势的功能。
图2是与试穿支援装置相关的功能模块构成图。处理部10作为用于进行装置整体的控制处理并且进行试穿图像的显示处理的功能而具备：颜色特性处理部100、人体处理部101、花色处理部102、着装处理部103以及试穿处理部104。摄影部11向处理部10发送由摄影装置4拍摄到的利用者的彩色图像。探测部12向处理部10发送从探测传感器5得到的探测数据。操作显示部13显示操作所需要的图像并且向处理部10发送利用者的操作信号。此外，保存并显示从处理部10发送的衣服以及花色的选择所需要的数据。显示部14进行从处理部10发送的试穿图像的显示。
存储部15具备：对装置的控制处理以及显示处理所需要的程序以及数据进行存储，并且保存所拍摄到的利用者的摄影图像的摄影信息DB150；保存人体的肤色的解析所需要的数据的颜色特性信息DB151；保存将人体的体型类型化来进行显示的三维人体形状数据的体型信息DB152；保存表示与衣服等服饰物的各种各样的设计相关的三维数据(例如纸型数据等)的衣服数据的衣服信息DB153；保存与衣服等服饰物所使用的花色相关的花色数据的花色信息DB154；以及保存利用者的体型、肤色等属性信息、与以往的试穿状况相关的信息的顾客信息DB155。
颜色特性处理部100基于从摄影部11发送的摄影图像数据，来获取与利用者的肤色相关的颜色特性数据。作为颜色特性数据，例如关于肤色可以获取色相、亮度以及色度这样的数据。基于这些数据，能够将利用者的肤色分为暖色系或冷色系(参考文献：门田真乍子，基于肤色的测量的个人色彩的设计方法-之2：西服的选定方法-，日本色彩学会杂志，1995年5月，日本色彩学会)。在这样的暖色系或冷色系的分类方法中，使用精细彩色图表体系crosscosmos6000(财团法人日本色彩研究所)对色相、亮度以及色度进行了解析。暖色系的肤色是色相偏于黄色的方向的、黄色较强的土黄色系的颜色，冷色系的肤色是色相为淡紫的红、看起来偏蓝的粉红色。在颜色特性处理部100中，获取这样的暖色系或冷色系的肤色的解析数据作为颜色特性数据。
人体处理部101基于从探测部12发送的利用者的体型数据，从体型信息DB152中获取三维人体形状数据，并基于从颜色特性处理部100得到的颜色特性数据对三维人体形状数据进行着色，来生成人体图像数据。关于利用者的体型数据，例如，能够通过将能够照射红外线来探测物体的进深的深度传感器用于探测传感器，来探测利用者的骨格。然后，从体型信息DB152中读出与利用者的骨格相对应的三维人体形状数据。在体型信息DB152中，例如登记了基于按JIS标准规定的9AR、11AT这样的尺寸分类而生成的三维人体形状数据，根据利用者的骨格的特征性部位的尺寸(例：肩宽、身长)决定尺寸分类来获取与利用者的体型接近的三维人体形状数据。在所获取到的三维人体形状数据上基于颜色特性数据进行着色处理来生成人体图像数据。
花色处理部102基于利用者在操作显示部13中选择的衣服数据，从花色信息DB154中获取与从颜色特性处理部100得到的颜色特性数据相对应的花色数据。例如，在作为颜色特性数据而将肤色设定为暖色系或冷色系的情况下，与肤色相对应的花色数据选择以下色调的花色数据。
<女性的情况>
暖色系：象牙色、驼色、红色、棕色、卡其色
冷色系：灰色、炭灰色、黑色、白色、宝蓝色、酒红色
<男性的情况>
暖色系：驼色、深棕色、橄榄绿
冷色系：灰色、炭灰色、宝蓝色
然后，由花色处理部102所获取到的花色数据被发送到操作显示部13进行显示。利用者从操作显示部13所显示的花色数据中选择中意的花色。在该情况下，由于在操作显示部13中，预先选择与利用者的肤色相称的色调的花色来进行了显示，因此利用者能够从与自分的肤色相称的花色中进行选择。关于操作显示部13所显示的花色数据，若是从与肤色相称的花色数据起优先进行显示，则能够提高利用者选择花色数据时的便利性。
着装处理部103从衣服信息DB153中读出与利用者在操作显示部13中所选择的衣服数据相关的三维数据，并在从人体处理部101得到的人体图像数据上基于衣服数据的三维数据来进行图像处理以使得虚拟地穿上。例如，根据衣服数据的布料的力学特性，也进行下垂、褶皱等形状变化的处理。衣服数据的三维数据选择为与在生成人体图像数据时所使用的利用者的尺寸分类一致。然后，针对穿上状态的三维数据基于在操作显示部13中所选择的花色数据来进行着色处理，并将着色后的衣服数据与着色后的人体图像数据叠合来生成着装图像数据。着装图像数据由于叠合与利用者的尺寸分类一致的人体图像数据以及衣服数据，因此能够得到人体图像数据不会从衣服数据中露出的着装图像数据。此外，着装图像数据由于生成为三维图像数据，因此能够得到不仅是从利用者的前方观看还从前后左右各个方向观看的着装图像数据。
试穿处理部104基于从摄影部11得到的摄影图像数据来获取利用者的头部图像数据，并将头部图像数据与从着装处理部103得到的着装图像数据进行合成来生成试穿图像数据。在获取利用者的头部图像数据的情况下，基于与由探测部12所探测到的利用者的位置以及姿势相关的数据，从利用者的脖颈起划定上面的部分的图像区域，来从摄影图像数据中剪切并获取头部图像数据。然后，通过定位于所获取到的头部图像数据来合成着装图像数据，从而生成试穿图像数据。在该情况下，也可以使头部图像数据定位于着装图像数据来合成试穿图像数据。
在显示部14对试穿图像与利用者的位置以及姿势相对应地进行显示处理。因此，在利用者移动了位置或进行了旋转的情况下，会由探测部12实时探测到移动状态、旋转状态并反映在试穿图像数据中。关于利用者的姿势，例如，能够基于来自探测部12的利用者的探测信号来生成骨格数据，基于骨格数据的形状变化来识别利用者的姿势。而且，通过从摄影图像数据中实时地提取头部图像数据，使着装图像数据追随与利用者一致的运动的头部图像数据地进行合成来生成试穿图像数据，从而利用者能够无不适感地对试穿图像进行目识别。通过这样显示试穿图像，从而删除利用者所穿着的衣服而仅将头部图像和与利用者的体型、肤色一致的着装图像进行合成，因此能够以接近于实际的状态显示试穿图像。
此外，通过预先拍摄背景图像作为静止图像，将背景图像与试穿图像进行组合，从而能够在看着镜子那样的真实感觉下确认试穿状态。在利用者的头部图像的一部分包含了背景图像的情况下，通过定位头部图像以使得对准背景图像并将着装图像定位于头部图像来生成试穿图像，从而能够提高试穿状态的真实感。
由于试穿图像以三维图像来显示，因此即使在利用者朝向侧面或朝向后面想要确认试穿的情况下，试穿图像也会与利用者的位置以及姿势相对应地发生变化，从而能够如看着镜子那样地进行目识别。此外，在朝向后面这样的难以目识别的姿势的情况下，通过在朝向后面的状态下在操作显示部13中进行以静止图像进行保存的操作，也能够在进行操作后观看静止图像来确认试穿状态。
这样，利用者能够一边目识别接近于实际的穿着状态的图像数据，一边确认与自己的肤色、风格相称的衣服等服饰物及其色调，能够高效地选择与利用者的姿容相匹配的衣服等服饰物。而且，利用者的体型数据、所选择的衣服数据以及花色数据保存在顾客信息DB155中，在以后利用者使用试穿支援装置时，可作为历史记录信息来灵活运用。
图3是与试穿支援处理相关的流程。首先，利用者站在图1所示的试穿支援装置的显示装置2的前面，并将脚置于规定位置朝向显示装置2直立。在该状态下由摄影装置4对利用者进行拍摄并且由探测传感器5来探测利用者的体型。在将背景图像嵌入试穿图像的情况下，在拍摄利用者之前先由摄影装置4以静止图像拍摄背景图像。
然后，进行从利用者的摄影图像数据中提取肤色的处理(S100)，对所提取到的肤色的数据进行解析来获取颜色特性数据(S101)。肤色可以提取利用者的本色得以表露的耳朵下面、脸颊的位置的颜色。关于提取位置，能够基于利用者的面部的摄影图像，来图像识别并确定眼、鼻、口等部位。
基于来自探测传感器5的探测信号来计算肩宽以及身长这样的体型数据(S102)，基于所计算出的体型数据来获取与利用者的体型接近的尺寸分类的三维人体形状数据(S103)。图4是表示所获取到的三维人体形状数据的说明图。显示了与尺寸分类相对应的标准体型的三维人体形状数据。然后，在所获取到的三维人体形状数据上进行与颜色特性数据相对应的着色处理，如图5所示，生成人体图像数据(S104)。所生成的人体图像数据成为接近利用者的体型以及肤色的图像，利用者在进行试穿时能够确认是否与自分的姿容相称。
接着，在操作显示装置3进行与衣服设计相关的图标显示(S105)，利用者选择所显示的图标来进行衣服设计的选择处理(S106)。然后，针对选择处理的衣服设计，基于颜色特性数据来提取与利用者的肤色相称的花色数据而在操作显示装置3进行图标显示(S107)。图6示出了操作显示装置3的显示画面的一例。在显示画面中，设定了后述的试穿图像的显示区域30、显示衣服设计的图标的显示区域31以及显示花色的图标的显示区域32，在显示区域32中，优先显示与利用者的肤色相称的花色。然后，由利用者对显示区域32进行滚动操作来使花色进行显示，对中意的花色进行选择操作。
通过由利用者对图标显示于操作显示装置3的花色进行选择来进行花色的选择处理(S108)。然后，基于所选择的花色以及衣服设计，使衣服设计的三维数据穿于人体图像数据，并通过花色来进行着色处理，生成着装图像数据(S109)。然后，从由摄影装置4拍摄到的摄影图像数据中对利用者的头部图像数据进行提取处理(S110)，将着装图像数据定位于利用者的头部图像数据并进行合成，生成试穿图像数据(S111)。在嵌入背景图像数据的情况下，通过在将头部图像数据定位于背景图像数据之后将着装图像数据定位于头部图像数据并进行合成，来生成试穿图像数据。
试穿图像基于由探测传感器5所探测到的利用者的位置以及姿势而被显示于显示装置2(S112)。由于实时地探测利用者的位置以及姿势，并按照利用者的位置以及姿势来显示试穿图像，因此利用者能够像看镜子那样目识别试穿状态。通过从利用者的摄影图像数据中实时地提取头部图像数据，并按照头部图像数据的运动对着装图像数据进行定位来合成试穿图像数据，从而能够显示无不适感的试穿状态。此外，由于还能够先保存朝向侧面以及朝向后面的试穿图像，之后使其显示来进行确认，因此能够仔细考虑所选择的衣服设计和花色是否与自分的姿容相称。
检查利用者确认了试穿状态之后，是否选择了其他花色(S113)，在进行了选择操作的情况下，作为变更了花色的情况，返回至步骤S108，进行花色的选择处理。然后，基于所选择的花色来生成着装图像数据。在未选择其他花色的情况下，检查是否选择了其他衣服设计(S114)，在选择了其他衣服设计的情况下，作为变更了衣服设计的情况，返回至步骤S106，进行衣服设计的选择处理。然后，进行基于其他衣服设计的花色的选择处理以及着装图像数据的生成处理。在未选择花色以及衣服设计的情况下，检查是否进行了结束操作(S115)，在进行了结束操作的情况下进行结束处理。
在以上说明的示例中，针对使用衣服等服饰物作为衣服数据的示例进行了说明，但也能够作为事先保存动画、电视剧等的角色的装饰品作为衣服数据并显示虚拟地着装了这样的装饰品的图像的化装支援装置来使用。
符号说明
1···信息处理装置，2···显示装置，3···操作显示装置，4···摄影装置，5···探测传感器。

Claims (5)

1.一种试穿支援装置，具备：
摄影部，其拍摄利用者；
探测部，其探测利用者的体型；
操作部，其进行衣服的选择操作；
处理部，其基于从所述摄影部得到的摄影图像数据以及从所述探测部得到的体型数据，来生成与由所述操作部所选择的衣服数据相关的试穿图像数据；和
显示部，其显示所生成的所述试穿图像数据，
所述处理部具备：
颜色特性处理部，其基于所述摄影图像数据来获取与利用者的肤色相关的颜色特性数据；
人体处理部，其基于所述体型数据来获取三维人体形状数据，并且基于所述颜色特性数据对该三维人体形状数据进行着色来生成人体图像数据；
花色处理部，其基于所述衣服数据来获取与所述颜色特性数据相对应的花色数据；
着装处理部，其基于所述人体图像数据以及所述花色数据来生成着装图像数据；和
试穿处理部，其基于所述摄影图像数据来获取利用者的头部图像数据，并且将该头部图像数据以及所述着装图像数据进行合成来生成所述试穿图像数据。
2.根据权利要求1所述的试穿支援装置，其中，
所述探测部对利用者的姿势进行探测，所述试穿处理部基于所探测到的姿势数据来生成所述试穿图像数据。
3.根据权利要求1或2所述的试穿支援装置，其中，
所述颜色特性处理部基于与所述摄影图像数据的皮肤的部分相关的像素的色相、亮度以及色度来获取所述颜色特性数据。
4.根据权利要求1～3中任一项所述的试穿支援装置，其中，
所述试穿处理部嵌入由所述摄影部拍摄到背景图像数据来生成试穿图像数据。
5.一种试穿支援方法，基于利用者的摄影图像数据以及体型数据来显示与利用者所选择的衣服数据相关的试穿图像数据，在所述试穿支援方法中，
基于所述摄影图像数据来获取与利用者的肤色相关的颜色特性数据，基于所述体型数据来获取三维人体形状数据并且基于所述颜色特性数据对该三维人体形状数据进行着色来生成人体图像数据，基于所述衣服数据来获取与所述颜色特性数据相对应的花色数据，基于所述人体图像数据以及所述花色数据来生成着装图像数据，基于所述摄影图像数据来获取利用者的头部图像数据并且将该头部图像数据以及所述着装图像数据进行合成来生成所述试穿图像数据。
CN201480056173.3A 2013-10-17 2014-09-29 试穿支援装置以及方法 Pending CN105637565A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013216301A JP6341646B2 (ja) 2013-10-17 2013-10-17 試着支援装置及び方法
JP2013-216301 2013-10-17
PCT/JP2014/075786 WO2015056552A1 (ja) 2013-10-17 2014-09-29 試着支援装置及び方法

Publications (1)

Publication Number Publication Date
CN105637565A true CN105637565A (zh) 2016-06-01

Family

ID=52828001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480056173.3A Pending CN105637565A (zh) 2013-10-17 2014-09-29 试穿支援装置以及方法

Country Status (6)

Country Link
US (1) US10147241B2 (zh)
EP (1) EP3059710B1 (zh)
JP (1) JP6341646B2 (zh)
CN (1) CN105637565A (zh)
HK (1) HK1219796A1 (zh)
WO (1) WO2015056552A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489107B (zh) * 2013-08-16 2015-11-25 北京京东尚科信息技术有限公司 一种制作虚拟试衣模特图像的方法和装置
JP5605885B1 (ja) * 2014-02-27 2014-10-15 木下 泰男 仮想試着システムおよび仮想試着プログラム
WO2016070309A1 (en) * 2014-11-03 2016-05-12 Carroll Terrence A Textile matching using color and pattern recognition and methods of use
WO2017030255A1 (en) * 2015-08-18 2017-02-23 Samsung Electronics Co., Ltd. Large format display apparatus and control method thereof
KR102354458B1 (ko) * 2015-08-19 2022-01-21 삼성전자주식회사 디스플레이 장치 및 그의 제어방법
US9940728B2 (en) * 2015-12-15 2018-04-10 Intel Corporation Computer vision assisted item search
JP6362634B2 (ja) * 2016-02-05 2018-07-25 株式会社バンダイナムコエンターテインメント 画像生成システム、ゲーム装置及びプログラム
WO2017141344A1 (ja) * 2016-02-16 2017-08-24 楽天株式会社 ３次元モデル生成システム、３次元モデル生成方法、及びプログラム
US10963812B1 (en) * 2017-03-17 2021-03-30 Amazon Technologies, Inc. Model-based artificial intelligence data mining system for dimension estimation
US10665022B2 (en) * 2017-06-06 2020-05-26 PerfectFit Systems Pvt. Ltd. Augmented reality display system for overlaying apparel and fitness information
JP7072378B2 (ja) * 2017-12-13 2022-05-20 キヤノン株式会社 画像生成装置およびその制御方法、画像生成システム、プログラム
WO2020009066A1 (ja) * 2018-07-02 2020-01-09 株式会社ブルームスキーム 仮想試着装置、仮想試着方法、および仮想試着プログラム
JP7180336B2 (ja) * 2018-12-04 2022-11-30 大日本印刷株式会社 撮影システム
JP6684009B1 (ja) * 2019-10-03 2020-04-22 株式会社クリューシステムズ プログラム、映像処理装置及び認証方法
US11258988B1 (en) * 2020-07-21 2022-02-22 Vivian J. Douglas Dudley Body-viewing camera system
JP7133177B2 (ja) * 2020-12-01 2022-09-08 公紀 岩中 コーディネート用評価サーバ装置、コーディネート用評価サーバ装置の制御方法、およびそれに用いるプログラムおよび記録媒体
DE102021103578B4 (de) * 2021-02-16 2023-06-07 Sikora Aktiengesellschaft Verfahren und System zum Erfassen und Bereitstellen von Daten für einen Kauf eines Bekleidungsartikels

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020059248A1 (en) * 2000-07-20 2002-05-16 Samuel Farchione Method for determining proper color for makeup and clothing

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09106419A (ja) * 1995-08-04 1997-04-22 Sanyo Electric Co Ltd 試着シミュレーション方法
US6148092A (en) * 1998-01-08 2000-11-14 Sharp Laboratories Of America, Inc System for detecting skin-tone regions within an image
JP3314704B2 (ja) 1998-01-20 2002-08-12 東洋紡績株式会社 試着状況を示す画像の合成方法および該方法を用いた仮想試着システム
JP2000315262A (ja) 1999-03-02 2000-11-14 Fujitsu Ltd 画像表示方法およびその装置および記憶媒体
JP2001134745A (ja) 1999-11-05 2001-05-18 Hitachi Information & Control Systems Inc 試着シミュレーション装置
AU2002233646A1 (en) * 2002-02-18 2003-09-04 Li Wu Fashion advising system
US7937253B2 (en) * 2004-03-05 2011-05-03 The Procter & Gamble Company Virtual prototyping system and method
US9646340B2 (en) * 2010-04-01 2017-05-09 Microsoft Technology Licensing, Llc Avatar-based virtual dressing room
JP5722603B2 (ja) * 2010-12-03 2015-05-20 新日鉄住金ソリューションズ株式会社 拡張現実感提示装置、拡張現実感提示方法及びプログラム
US20130097194A1 (en) * 2011-08-05 2013-04-18 New York University Apparatus, method, and computer-accessible medium for displaying visual information
JP5874325B2 (ja) 2011-11-04 2016-03-02 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2013101528A (ja) * 2011-11-09 2013-05-23 Sony Corp 情報処理装置、表示制御方法、およびプログラム
US9280202B2 (en) * 2013-05-10 2016-03-08 Magna Electronics Inc. Vehicle vision system
US9348411B2 (en) * 2013-05-24 2016-05-24 Microsoft Technology Licensing, Llc Object display with visual verisimilitude

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020059248A1 (en) * 2000-07-20 2002-05-16 Samuel Farchione Method for determining proper color for makeup and clothing

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FRÉDÉRIC CORDIER, ET AL.: "From 2D Photos of Yourself to Virtual Try-On Dress on the Web", 《PEOPLE AND COMPUTERS XV-INTERACTION WITHOUT FRONTIERS》 *

Also Published As

Publication number Publication date
HK1219796A1 (zh) 2017-04-13
JP6341646B2 (ja) 2018-06-13
US10147241B2 (en) 2018-12-04
EP3059710B1 (en) 2020-04-01
US20160240002A1 (en) 2016-08-18
EP3059710A1 (en) 2016-08-24
WO2015056552A1 (ja) 2015-04-23
EP3059710A4 (en) 2017-04-19
JP2015079362A (ja) 2015-04-23

Similar Documents

Publication Publication Date Title
CN105637565A (zh) 试穿支援装置以及方法
US10617301B2 (en) Information processing device and information processing method
RU2668408C2 (ru) Устройства, системы и способы виртуализации зеркала
US9928411B2 (en) Image processing apparatus, image processing system, image processing method, and computer program product
CN105528799B (zh) 虚拟试衣装置及其虚拟试衣方法
US9812030B2 (en) Makeup application assistance device, makeup application assistance method, and makeup application assistance program
WO2017130158A1 (en) Virtually trying cloths on realistic body model of user
CN202904582U (zh) 一种基于体感识别装置的虚拟试衣系统
US9218794B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium
JP6373026B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
KR101085762B1 (ko) 증강현실을 이용한 주얼리 착용 모습 디스플레이 장치 및 방법
CN111627117B (zh) 画像展示特效的调整方法、装置、电子设备及存储介质
JP6262105B2 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP2014140097A (ja) 画像表示装置及び画像表示方法
US10453265B1 (en) Method and device for the virtual try-on of garments based on augmented reality with multi-detection
KR101556158B1 (ko) 실사 영상 기반의 스마트 피팅장치를 이용한 소셜 서비스시스템
CN113034219B (zh) 虚拟着装方法、装置、设备及计算机可读存储介质
CN110197420A (zh) 一种智能试衣系统
JPWO2016158896A1 (ja) 衣服デザイン表示システム、衣服製造システム、衣服デザイン出力システム及び衣服デザイン出力方法
CN113240819A (zh) 穿戴效果的确定方法、装置和电子设备
KR101321022B1 (ko) 증강 현실 구현 방법 및 증강 현실을 구현하는 컴퓨팅 장치 및 시스템
JP2020204790A (ja) シミュレーション装置、シミュレーション方法、及びコンピュータプログラム
JP2016162377A (ja) カラーコーディネート支援装置
CN112836545A (zh) 一种3d人脸信息处理方法、装置及终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1219796

Country of ref document: HK

RJ01 Rejection of invention patent application after publication

Application publication date: 20160601

RJ01 Rejection of invention patent application after publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1219796

Country of ref document: HK