CN108886586A - 用于合成图像的方法及其电子设备 - Google Patents

用于合成图像的方法及其电子设备 Download PDF

Info

Publication number
CN108886586A
CN108886586A CN201780020971.4A CN201780020971A CN108886586A CN 108886586 A CN108886586 A CN 108886586A CN 201780020971 A CN201780020971 A CN 201780020971A CN 108886586 A CN108886586 A CN 108886586A
Authority
CN
China
Prior art keywords
user
clothing
incarnation
image
electronic equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780020971.4A
Other languages
English (en)
Other versions
CN108886586B (zh
Inventor
崔善
金善花
李宰荣
崔基琫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108886586A publication Critical patent/CN108886586A/zh
Application granted granted Critical
Publication of CN108886586B publication Critical patent/CN108886586B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种用于合成图像的方法和电子设备。一种电子设备，包括：显示器，被配置为显示由相机拍摄的用户的图像；输入组件，被配置为接收用户输入；通信器，被配置为促进与外部服务器的通信；以及处理器，被配置为在显示器上显示用户的图像，基于接收的用户输入在用户的图像内设置化身区域，生成要在化身区域上显示的化身，并控制显示器以组合化身和用户的图像并显示所得到的合成图像。

Description

用于合成图像的方法及其电子设备
技术领域
根据一个或多个示例性实施例的装置和方法涉及用于合成图像的方法及其电子设备，并且更具体地涉及一种合成图像以虚拟地提供试穿服务的电子设备。
背景技术
根据电子技术的发展，已经开发和分发了各种类型的电子产品，并且使用了具有与提供信息有关的各种功能的电子设备。此外，以前通常仅在室内使用的电子产品已经安装在街道上并被使用。
在这些电子产品中，大型显示器(LFD)设备是商业大型显示器，其被安装和操作以用于宣传和信息传送，并且LFD设备可以被分类为由一个面板和几个面板相互连接的视频墙配置的独立设备。另外，LFD设备可以安装在公司的大厅中以用于品牌和公司宣传，或者可以用于诸如商店的内部、菜单板等的各种目的中的任何一个。最近提供了通过使用LFD设备来虚拟穿戴衣物的服务。当用户通过使用如上所述的方法购买衣物或配饰时，用户可以通过查看由他人(诸如，在LFD设备上显示的化身或模特)穿戴的产品来确定是否购买产品。在这种情况下，可能存在由于用户实际上没有穿戴衣物和配饰而产生的不便，这导致不可预测的结果。另外，可能出现各种问题，即当季节和周遭改变时，所购买的衣物和配饰与用户不匹配。
发明内容
技术问题
本公开中描述的示例性实施例克服了上述缺点和上面未描述的其他缺点。而且，本公开不需要克服上述缺点，并且本公开的示例性实施例可以不克服上述任何问题。
技术方案
至少一个示例性实施例通过从相机拍摄的用户的图像获得与用户有关的身体信息、以及将基于身体信息生成的化身与用户的图像合成并显示，提供自然图像，就好像用户实际穿戴衣物一样。
根据一个或多个示例性实施例的一方面，一种通过使用电子设备合成图像的方法，包括：显示由相机拍摄的用户的图像；基于用户输入设置关于用户的图像的化身区域；生成要在化身区域上显示的化身；以及将化身与用户的图像组合并显示得到的合成图像。
根据一个或多个示例性实施例的另一方面，一种电子设备，包括：显示器，被配置为显示由相机拍摄的用户的图像；输入组件，被配置为接收用户输入；通信器，被配置为促进与外部服务器的通信；以及处理器，被配置为在显示器上显示用户的图像，基于接收的用户输入设置关于用户的图像的化身区域，生成要在化身区域上显示的化身，并控制显示器组合化身与用户的图像，并显示得到的合成图像。
技术效果
根据本公开的各种示例性实施例，电子设备可以通过将显示器分类为显示化身的化身区域和显示用户的实际身材(figure)的镜像区域、并组合和显示化身和由相机拍摄的用户的图像来示出图形，就好像用户实际穿戴衣物一样，从而可以提供逼真且非常适合用户的自然试穿服务。
附图说明
通过参考附图描述某些示例性实施例，上述和/或其他方面将更加明显，其中：
图1示出了根据一个或多个示例性实施例的电子设备的框图；
图2示出了根据示例性实施例的在电子设备中提供虚拟衣物穿戴服务的过程；
图3示出了衣物分析模块的示例性实施例；
图4示出了化身生成模块的示例性实施例；
图5示出了协调推荐模块的操作示例；
图6是根据示例性实施例的电子设备的操作的流程图；
图7示出了用户选择并试穿虚拟衣物的处理；
图8示出了用户抵着他/她的身体握着正在销售的衣物的示例；
图9示出了基于用户输入将显示器划分为镜像区域和化身区域的示例；
图10示出了根据用户输入将显示器的中间区域设置为化身区域的示例；
图11示出另一示例性实施例；以及
图12示出了根据另一示例性实施例的在电子设备中提供试穿服务的示例。
具体实施方式
在下文中，将参考附图描述本公开的各种示例性实施例。然而，要理解，本公开中提及的技术不限于特定示例性实施例，而是包括根据本公开的示例性实施例的所有修改、等同和替换。在整个附图中，类似的组件将由类似的附图标记表示。
在本公开中，诸如“具有”、“可具有”、“包括”、“可包括”等的表述指示相应特征(例如，数值、功能、操作、诸如部件的组件等)的存在，并且不排除附加特征的存在。
在本公开中，表述“A或B”、“A和/或B中的至少一个”、“A和/或B中的一个或多个”等可以包括一起列举的项目的所有可能组合。例如，“A或B”、“A和B中的至少一个”或“A或B中的至少一个”可以指示以下全部：1)包括至少一个A的情况，2)包括至少一个B的情况，或3)包括至少一个A和至少一个B两者的情况。
如在本公开中使用的诸如“第一”、“第二”等的表述可以指示各种组件而与组件的顺序和/或重要性无关，其将仅用于区分一个组件与其他组件，而不限制相应的组件。例如，第一用户设备和第二用户设备可以指示不同的用户设备而与其顺序或重要性无关。例如，在不脱离本公开的范围的情况下，第一组件可以被命名为第二组件，并且第二组件也可以被类似地命名为第一组件。
当提到任何组件(例如，第一组件)(操作性地或通信地)与另一组件(例如，第二组件)耦合/耦合或连接到另一组件(例如，第二组件)时，要理解，任何组件可以直接耦合到另一组件，或者可以经由其它组件(例如，第三组件)耦合到另一组件。相反，当提到任何组件(例如，第一组件)“直接耦合”或“直接连接”到另一组件(例如，第二组件)时，要理解为在该任何组件和该另一组件之间不存在其他组件(例如，第三组件)。
取决于具体情况，如在本公开中使用的表述“配置(或设置)为”可以由诸如“适合于”、“具有…的能力”、“设计为”、“适于”、“使得”或“能够”的表述来代替。术语“配置(或设置)为”可能不一定意味着硬件上“专门设计为”。而是，表述“被配置为…的装置”可以意味着该装置可以与其他装置或组件一起操作。例如，“配置(或设置)为执行A、B和C的处理器”可以意味着用于执行相应操作的专用处理器(例如，嵌入式处理器)、或者通用处理器(例如，中央处理单元(CPU)或应用处理器(AP))，其可以通过执行存储在存储器装置中的一个或多个软件程序来执行相应的操作。
本公开中使用的术语仅可用于描述特定示例性实施例，而不是限制其他示例性实施例的范围。除非上下文另有明确指示，否则单数形式可包括复数形式。本说明书中使用的术语，包括技术和科学术语，具有与本公开所属领域的普通技术人员通常理解的含义相同的含义。本公开中使用的术语中的由一般词典定义的术语可以被解释为与现有技术的上下文中的含义相同或相似的含义，而不被解释为理想的或过于正式的含义，除非在本公开中清晰地定义。在一些情况下，术语可以不被解释为排除本公开的示例性实施例，即使它们在本公开中被定义也如此。
根据本公开的各种示例性实施例的电子设备可包括例如大型平板显示器(LFD)、智能电话、平板个人计算机(PC)、台式个人计算机(PC)和电视中的至少一个。根据本公开的示例性实施例的电子设备不限于上述设备，并且可以根据技术发展包括新电子设备。
在下文中，将结合附图描述根据本公开的各种示例性实施例的电子设备。在本公开中，术语“用户”可以指使用电子设备的人或使用该电子设备的设备(例如，人工智能电子设备)。
图1示出了根据不同示例性实施例的电子设备的框图。
参考图1，电子设备可以包括显示器105、输入部(这里也称为“输入设备”和/或“输入组件”)107、通信器103和处理器101。
显示器105可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、微机电系统(MEMS)显示器或者电子纸显示器中的任何一种。显示器105可以向用户显示例如各种内容(例如，文本、图像、视频、图标、符号等)中的任何内容。具体地，显示器105可以显示基于由相机拍摄的用户的图像和与用户有关的身体信息生成的化身。术语“化身”指的是与用户的身材类似地合成的图形图像，并且这两个术语在整个本公开中可以互换使用。
显示器105可以包括触摸屏，并且可以接收用户输入。例如，显示器105可以经由使用电子笔或触控笔或用户身体的一部分来接收触摸、手势、接近或悬停输入。
显示器105可以显示由相机拍摄的用户的图像。显示器105可以显示图像以及化身。
输入部107可以包括例如触摸板、(数字)笔传感器、键或超声输入设备中的任何一个。触摸板可以使用例如电容型、电阻型、红外型或超声波型中的至少一种类型。此外，触摸板还可以包括控制电路。触摸板还可包括触觉层，以向用户提供触觉反应。
(数字)笔传感器可以包括例如触摸板的一部分，或者可以包括单独的识别片。键可以包括例如物理按钮、光学键或键盘中的任何一个。超声输入设备可以经由麦克风(例如，麦克风288)感测从输入工具生成的超声波，以确认与感测的超声波相对应的数据。
输入部107可以包括运动传感器。运动传感器可以感测用户的运动，并且可以响应于用户的运动输出电信号。例如，运动传感器可以识别用户的手势并输出与识别的手势相对应的电信号。电子设备可以基于电信号执行相应的指令。
通信器103可以执行例如电子设备和外部设备之间的通信，或者电子设备和服务器之间的通信。例如，通信器103可以经由无线通信或有线通信连接到网络，以便与外部设备或服务器通信。
无线通信可以使用例如蜂窝通信协议，诸如例如长期演进(LTE)、高级LTE(LTE-A)、码分多址(CDMA)、宽CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)和/或全球移动通信系统(GSM)中的至少一个。另外，无线通信可以包括例如局域通信。局域通信可以包括例如无线保真(WiFi)、蓝牙和近场通信(NFC)中的至少一个。
有线通信可以包括例如通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐标准232(RS-232)和/或普通老式电话服务(POTS)中的至少一个。
处理器101可以包括中央处理单元(CPU)、应用处理器(AP)和/或通信处理器(CP)中的一个或多个。
处理器101可以执行例如与电子设备的一个或多个其他组件的控制和/或通信有关的操作或数据处理功能。
具体地，处理器101可以在显示器105上显示用户的图像的状态下基于用户输入，将用户的图像的一些区域设置为化身区域，并且可以生成要显示在化身区域上的化身。处理器101可以控制显示器105以将所生成的化身与用户的图像组合并显示所得到的合成图像。处理器101可以获得与用户在化身区域中穿戴的衣物的至少一个项目有关的信息，并且基于与衣物有关的信息从服务器获得化身将要穿戴的到少一条衣物。这里，衣物可以指与化身一起显示的衣物图像。与衣物有关的信息可包括衣物的类别和与衣物有关的颜色信息。例如，衣物的类别可包括上衣、下衣、裙子、裤子、衬衫、休闲衣物和西装中的至少一个。颜色信息可以指衣物的颜色。化身的图形可以基于用户的运动而变化。例如，当用户扭曲他/她的身体时，化身也可以变成扭曲的图形。当用户抬起他/她的手时，化身也可以变成化身抬起他/她的手的图形。
处理器101可以识别与化身区域相邻和/或在其周围的用户的肤色，并且可以基于所识别的肤色来生成化身。
处理器101可以控制显示器105，使得化身将要穿戴的衣物基于用户输入而改变。“化身将要穿戴的衣物”或“在化身上穿的衣物”是指组合化身和衣物图像的图形图像，并且可以在本公开中互换使用。
处理器101可以基于用户输入确定化身将要穿戴的衣物，并控制显示器105将穿戴衣物的化身与用户的图像组合并显示得到的合成图像。
处理器101可以基于所确定的衣物获得与衣物有关的协调信息，基于所获得的协调信息确定与所确定的衣物相对应的第二条衣物，并控制显示器105以组合穿戴第二衣物的化身和用户的图像，并显示得到的合成图像。这里，第二条衣物可包括衣物、鞋子和配饰中的至少一个。
根据示例性实施例，电子设备可包括相机(未示出)。根据示例性实施例，相机是能够拍摄静态图像和/或运动图像的设备，可以包括一个或多个图像传感器(例如，前传感器或后传感器)、透镜、图像信号处理器(ISP)或者闪光灯(例如，LED或氙灯)。
另外，相机可以作为单独的设备提供，并且可以功能性地连接到电子设备以将拍摄的屏幕发送到电子设备。
图2示出根据示例性实施例的在电子设备中提供虚拟衣物穿戴服务的处理。术语“虚拟衣物”可以与“衣物图像”相同。
参考图2，示出了电子设备201、显示器202、相机203、衣物分析模块205、化身生成模块207、协调推荐模块208和客户信息存储器209。
电子设备201可以包括显示器202，并且显示器202可以显示由相机203拍摄的用户的图像。显示器202可以包括触摸板。显示器202可以从用户接收触摸输入。显示器202可以具有足以显示用户的整个身体图像的尺寸，并且例如可以使用大型平板显示器(LFD)。
相机203可以内置在电子设备201中或者以单独的配件形式提供，并且可以功能性地连接到电子设备201。相机203可以拍摄用户并且可以生成用户的图像。电子设备201可以利用由相机203拍摄的用户的图像来识别用户的手势或运动，并且可以执行与识别的手势或运动相对应的指令。例如，当用户站在电子设备201的前面并执行握手的操作时，电子设备201可以响应于上述操作，存储当前显示在显示器202上的屏幕。当用户在电子设备201的前面从左向右移动手时，电子设备201可以响应于手的运动将化身所穿戴的衣物改变为另一条衣物。可以通过利用单独的运动传感器(未示出)来实现用户的运动识别。根据示例性实施例，相机203可包括用于测量拍摄图像的深度值的深度相机。电子设备201可以从拍摄图像的深度值测量用户的面部和身体指数。具体地，电子设备201可以分析拍摄的图像以提取可以在提供试穿服务时使用的用户的面部特征元素。例如，电子设备201可以分析拍摄的图像以提取与以下中的任何一个或多个有关的信息：面部图形(蛋形、倒三角形等)、肤色(黄色调、白色调等)、头发颜色(黑色、棕色、金色等)、发型(长发、短发、短、烫发等)、瞳孔颜色(黑色、棕色、蓝色、灰色等)、眼睛形状(双眼皮、单眼皮等)、眼睛大小和唇色(红色、绿色等)。
另外，电子设备201可以分析拍摄的图像以提取可用于确定要推荐的产品的试穿适合性的身体元素。例如，电子设备可以从拍摄的图像提取关于身体长度(手臂长度、腿长、胸宽、肩宽、大腿围、颈围等)的尺寸和身体长度的部分中的每一个的比例指数(身体长度与手臂或腿长度—例如，比例均匀的身材等)的信息。
另外，电子设备201可以提取可以基于拍摄的图像和传感器预测的每个主体元素的体长和比率、以及关于其数值的信息。
另外，电子设备201可以通过利用深度相机识别三维(3D)运动。
电子设备201可以包括衣物分析模块205、化身生成模块207和协调推荐模块208。衣物分析模块205、化身生成模块207和协调推荐模块208可以以指令代码的形式存储在存储器(未示出)中，并且可以在运行程序以执行相应功能时加载到处理器101中。
衣物分析模块205可以分析由相机203拍摄的用户的图像，从用户的图像中提取与衣物对应的部分，并获得与用户穿戴的衣物有关的信息。关于衣物的信息可以包括衣物的类别和颜色信息。衣物的类别信息可包括例如上衣、下衣、裤子和裙子中的一个或多个。
另外，衣物分析模块205可以确定用户穿戴的衣物是虚拟衣物还是在商店中销售的实际衣物。例如，在标签被附着到商店中正销售的衣物的情况下，当从用户的图像识别出衣物的标签时，衣物分析模块205可以将相应的衣物确定为在商店里销售的实际衣物。下面将参考图3详细提供衣物分析模块205的详细描述。衣物分析模块205也可以在服务器中实现。
化身生成模块207可以分析用户的图像以便测量用户的面部和身体的大小或特征并生成化身。可以基于用户的图像生成化身。可以生成化身作为类似于用户的身材的图形。具体地，化身生成模块207可以基于用户的图像确定身体信息，诸如身高、胸部尺寸、腰围尺寸、臀围尺寸、手臂长度、腿长等，并且基于确定的身体信息生成化身。
下面将参考图4详细提供化身生成模块207的详细描述。化身生成模块207还可以在服务器中实现。
协调推荐模块208可以推荐与用户选择的衣物最匹配的第二条衣物。具体地，协调推荐模块208可以基于用户选择的衣物来确定第二条衣物。协调推荐模块208将从衣物分析模块205加载的对应品牌中选择的衣物与预先登记的与所选择的衣物相关联的配饰(鞋、包、腰带等)的偏好映射，并提供映射结果。
下面将参考图5详细提供协调推荐模块208的详细描述。
客户信息存储器209可以在服务器中实现，并且可以存储与用户有关的各种信息。例如，当用户想要通过使用电子设备211登录在线购物中心时，电子设备211可以通过使用嵌入式相机拍摄用户的面部并且将拍摄的用户的面部图像225发送到服务器以便检索与用户有关的信息。当检索到与用户有关的信息并且识别出用户时，服务器可以批准用户执行的登录操作，并且将存储在服务器中的与用户有关的信息发送到电子设备211。电子设备211可以输出所接收的与用户有关的信息。与用户有关的信息可以包括与用户的化身和用户先前购买的衣物有关的信息。在这方面，当相互比较相机203识别的用户的面部和存储在客户信息存储器209中的与用户的面部有关的信息时，如果它们彼此匹配，则电子设备211可以调用所识别的用户的化身，并且可以在显示器上显示用户的购买历史信息227。
在示例性实施例中，衣物分析模块205、化身生成模块207、协调推荐模块208和客户信息存储器209中的至少一个也可以在服务器中实现。在这种情况下，电子设备211可以经由通信器将由相机203拍摄的用户的图像发送到服务器，并且服务器可以将由衣物分析模块205、化身生成模块207、以及协调推荐模块208计算的结果发送到电子设备。
图3示出了衣物分析模块的示例性实施例。
参考图3，示出了由相机拍摄的用户的图像301、由用户在线选择的衣物虚拟项目321、以及由用户选择的衣物虚拟项目的图像与用户的图像重叠的状态311。
电子设备201可以分析由相机203拍摄的用户的图像301，以便获得与用户穿戴的衣物有关的信息。例如，电子设备201可以从用户的图像301确定用户是否从外衣、上衣、下衣和配饰中穿戴哪种类别的衣物。具体地，电子设备201可以对用户穿戴的衣物的类别和颜色进行分类。例如，电子设备201可以确定用户穿的外衣是夹克并且其颜色是天蓝色，上衣是T恤并且其颜色是白色，下衣是一条长裤并且其颜色为蓝色，并且配饰为手提包并且其颜色为黑色。
如果用户选择衣物虚拟项目，则电子设备201可以分析与衣物虚拟项目321有关的元数据。元数据可以包括衣物产品(裤子、衬衫、裙子等)的产品分类信息、每个产品的切割图案布局、以及产品的独特信息，诸如衣物的颜色、图案和纹理以及织物的纹理(哑光、反光等)。元数据可以在设计相应的产品(衣物)时一起生成，并且可以存储在服务器中。
例如，电子设备201可以将用户选择的衣物虚拟项目的类别识别为连衣裙，并将其颜色识别为红色。在这种情况下，电子设备201可以针对用户选择一个衣物虚拟项目，但是这仅仅是一个示例，并且还可以关于用户选择具有特定类型的多个衣物虚拟项目。
另外，电子设备201可以从服务器接收与衣物有关的协调信息。协调信息可以是封装了与所选择的衣物匹配的产品(上衣、下衣、配饰等)或颜色的产品附加信息。
例如，电子设备201可以从服务器接收诸如无袖、单人穿戴、锁骨链、长袜、鞋和配饰的信息作为与衣物有关的协调信息。电子设备201可以通过使用所接收的协调信息来在用户的图像中合成可用于检查无袖状态的手臂的图形和锁骨链的图像。另外，电子设备201可以通过使用协调信息来从用户的图像合成穿戴长袜的图像。
作为另一示例，在用户搜索并选择针织上衣衣物的情况下，电子设备可以推荐灰色裙子、黑色长袜和黑色鞋子作为协调信息。
因此，电子设备201可以通过使用如上所述的方法来分析用户当前穿戴的衣物和虚拟衣物。
图4示出了化身生成模块的示例性实施例。
参考图4，示出了用户的图像401、颜色表404、要转换为化身的用户的身体部分403、以及化身与用户的图像组合的合成图形图像406。
电子设备201可以基于与用户有关的身体信息来生成化身。用户的身体信息可以包括用户的肤色和用户的身体尺寸。电子设备可以基于诸如针对每个身体部分确定的肤色、每个相应身体部分的长度和厚度等信息来生成化身。在这种情况下，每个身体部分的长度和厚度可以包括通过电子设备201执行预测获得的值。
例如，电子设备201可以分析用户的图像401以观察与要转换为化身的部分相邻和/或在其周围的皮肤区域，例如肤色和面积，并计算肤色的颜色值。可以通过将从用户的图像提取的肤色与存储在电子设备201或服务器中的颜色表404进行比较来获得肤色的颜色值。如果确定了肤色的颜色值，则电子设备201可以将对应于颜色值的颜色应用于化身以便生成化身406。此外，电子设备201可以从用户的图像提取与用户的身体有关的信息403。具体地，电子设备201可以提取要转换为化身的部分的身体信息，并基于提取的身体信息生成化身406。在这种情况下，可以在化身406穿戴用户选择的衣物的状态下生成化身406。
以这种方式，电子设备201可以基于与所分析的用户穿戴的衣物有关的信息、与虚拟衣物有关的信息以及与用户有关的信息来生成化身。
图5示出了协调推荐模块的操作示例。
参考图5，当用户在线选择虚拟衣物501时，电子设备201可以从服务器接收基于虚拟衣物的类别和颜色信息的关于虚拟衣物的协调信息。根据示例性实施例，协调信息可以存储在电子设备201中。
当用户在线选择虚拟衣物时，电子设备201可以确定用户选择的虚拟衣物的类别和颜色。例如，当用户在线选择红色衬衫时，电子设备201可以分析用户选择的虚拟衣物的元数据，以确定用户选择的衣物虚拟项目是衬衫，并且其颜色为红色。关于虚拟衣物的类别和颜色的信息可以存储在服务器或电子设备201中。另外，用户选择的虚拟衣物的元数据可以包括协调信息。电子设备201可以基于协调信息推荐非常适合于用户选择的虚拟衣物的一条或多条衣物。例如，当用户选择的衣物虚拟项目的类别是上衣时，电子设备201可以基于协调信息推荐下衣。当用户选择的衣物虚拟项目的类别是下衣时，电子设备201可以基于协调信息推荐上衣。
协调信息可包括与虚拟衣物匹配的第二衣物信息。具体地，第二衣物信息可包括与上衣、下衣、裤子、裙子、鞋或配饰中的至少一个有关的信息。例如，当用户选择衬衫作为衣物虚拟项目时，电子设备201可以推荐与衬衫匹配的下衣、裙子、长袜和鞋中的任何一个或多个。
电子设备201可以从用户的图像中提取与用户实际穿戴的衣物有关的信息，将提取的信息与基于协调信息推荐的衣物虚拟项目进行比较，并且当用户实际穿戴的衣物与协调信息不同时，将基于与协调信息推荐的虚拟衣物与化身组合。
具体地，当用户在线选择虚拟衣物501时，电子设备201可以将所选择的虚拟衣物501与用户的图像组合以生成部分化身图像511。部分化身图像511可以包括用户在线选择的虚拟衣物501和用户最初穿戴的衣物的图像。电子设备201可以确定用户当前正在穿戴的衣物项目513是否与基于协调信息推荐的虚拟衣物不同。作为确定的结果，当用户穿戴的衣物513与基于协调信息推荐的虚拟衣物不同时，电子设备201可以将用户穿戴的衣物513改变为基于协调信息推荐的衣物虚拟项目523，并且可以在显示器202上显示衣物虚拟项目523。
在示例性实施例中，当用户站在LFD的前面时，电子设备201通过使用相机203拍摄用户以便生成用户的图像。当用户在线选择虚拟衣物501时，电子设备201可以在用户的图像的上半身上显示穿戴虚拟衣物501的化身，并且可以显示在其下半身上穿戴用户最初的牛仔裤的状态。电子设备201可以基于用户选择的虚拟衣物501的协调信息来推荐裙子523，并且可以在显示器202上显示裙子523。
另外，电子设备201可以通过使用衣物目录图像来推荐与用户最匹配的衣物。衣物目录图像包括与最初设计产品时由产品的设计者或协调者选择的最合适的衣物有关的并且在服务器上注册的信息。例如，当用户在电子设备中选择无袖开衫套装时，电子设备可以将当前正在穿戴的牛仔裤的图像与与开衫套装最匹配的灰色裙子组合，并在显示器上显示合成结果。
图6是根据示例性实施例的电子设备的操作的流程图。
在操作601中，电子设备201扫描用户穿戴的衣物。电子设备201可以从由相机203获得的用户的图像扫描用户穿戴的衣物。电子设备201可以扫描用户的衣物以识别用户当前穿戴的衣物的类别和颜色。具体地，电子设备201可以从拍摄的图像扫描和识别用户穿戴的或者由用户在商店中选择的衣物和/或配饰。替代地，电子设备201可以通过使用标记到衣物的传感器等来识别用户的衣物。
例如，电子设备201可以识别出用户穿戴的衣物包括衬衫并且其颜色是红色。
在操作602中，电子设备201可以确定用户穿戴的衣物是否是正在销售的衣物。例如，如果从用户穿戴的衣物的图像中识别出价格标签，则电子设备201可以将用户所穿戴的衣物确定为正在销售的衣物。
如果用户穿戴的衣物被确定为正在销售的衣物(即，操作602中的是)，则电子设备201可以将与用户穿戴的衣物有关的信息与从数据库获得的相关信息(例如，能够从数据库加载三维(3D)图像信息的链接信息)相匹配。(操作611)。数据库可以存储在服务器中。在操作612中，电子设备201获得衣物的3D图像。具体地，电子设备201可以通过利用关于衣物的信息中包括的元数据从服务器检索衣物的3D图像。电子设备201可以将检索的衣物的3D图像与化身和用户的图像组合，并在显示器202上显示合成结果。在操作613中，电子设备201可以分析用户穿戴的衣物。具体地，电子设备201可以分析输入到相机的图像，以识别在与用户当前正在穿戴的衣物匹配时，从数据库获得的3D图像可能重叠或不平衡的区域。
如果确定用户穿戴的衣物不是正在销售的衣物(即，操作602中的否)，则电子设备201可以分析用户穿戴的衣物(操作603)。由于操作603是与操作613相同的操作，因此将省略其详细描述。
在操作604中，电子设备201可以确定用户是否选择虚拟试穿衣物项目。可以通过使用用户输入来确定用户是否选择虚拟试穿衣物项目。例如，在显示器上显示要虚拟试穿的产品的状态下、用户通过执行运动或者通过触摸产品选择要虚拟试穿的产品的情况下，电子设备201可以确定用户选择虚拟试穿衣物项目。
如果确定用户没有选择衣物虚拟项目，则在操作614中，电子设备201可以基于预先登记的用户信息(例如，用户体型)自动选择与用户最匹配的衣物，执行虚拟试穿，并在显示器上显示结果。
如果用户选择虚拟衣物，则电子设备201可以确定衣物之间的匹配是否完成(操作605)。具体地，电子设备201可以分析关于用户选择的衣物的元信息，并且可以基于元信息确定是否满足用户穿戴的衣物之间的匹配。在操作606中，电子设备201可以根据用户选择的衣物与用户穿戴的衣物之间的匹配结果来确定是否存在需要用户的图像中转换的部分。如果存在需要转换的部分(即，操作606中的是)，则电子设备201对用户的图像执行图像处理功能以将其转换为部分化身(操作607)。在操作608中，电子设备201可以确定用户要穿戴的衣物和转换成部分化身的图像是否彼此平衡，并且如果平衡是令人满意的(即，操作608中的是)，则电子设备201可以在显示器上显示转换为部分化身的图像(操作610)。
如果在操作608中确定用户要穿戴的衣物和转换成部分化身的图像彼此不平衡(即，操作608中的否)，则电子设备201可以经由协调推荐模块接收对与用户选择的衣物最匹配的衣物的推荐(操作609)，并且可以在显示器上显示穿戴上述推荐衣物的化身的图像。
图7示出了用户选择并试穿虚拟衣物的处理。
参考图7，示出了电子设备的显示器701、相机702和用户710。电子设备可以是例如LFD。电子设备可以包括相机702。另外，相机702可以以配件的形式单独提供，并且可以电连接到电子设备。
当用户710站在电子设备的前面时，相机702可以拍摄用户并生成用户的图像709。用户的图像709可以显示在显示器701上。在这种情况下，用户的图像709可以包括面部图像706和用户穿戴的衣物的图像707，并且可以基于面部图像706识别用户。
显示器701可以包括镜像区域701a和701c、以及化身区域701b。镜像区域701a和701c指的是显示由相机拍摄的用户的图像的区域，并且可以在以下描述中以相同的方式解释。化身区域701b可以是显示基于用户的身体信息生成的化身的区域。电子设备可以基于用户输入来设置化身区域。在这个方面，用户输入可以指用户的手势或用户直接触摸显示区域。例如，当用户触摸中间区域701b时，电子设备可以将中间区域701设置为化身区域。
作为另一示例，电子设备可以接收用户的手势以将显示器701中的镜像区域和化身区域分类。手势的形状和与手势的形状对应的指令可以在制造电子设备时设置或者可以由用户设置来定义。为了帮助用户设置，电子设备可以提供与用户设置相关联的图形用户界面(GUI)。
如果设置了化身区域701b，则在化身区域701b上显示的用户的图像的一部分可以用化身替换，或者可以将其转换为化身。另外，化身可以在其穿戴虚拟衣物705和708的状态下被显示。具体地，电子设备可以基于用户输入将化身区域701b上显示的虚拟衣物705和708与化身组合，并显示合成的化身。例如，如果用户在左方向上采取手势，则可以在其穿戴虚拟衣物708的状态下显示化身。如果用户在右方向上采取手势，则可以在其穿戴虚拟衣物705的状态下显示化身。
作为另一示例，如果用户在显示器701上显示用户的图像712和虚拟衣物711和712的状态下通过手势选择虚拟衣物711，则可以将所选择的虚拟衣物711显示为在视觉上分离。可以通过使用突出显示、倒置和用其他颜色显示来实现视觉分离。所选择的虚拟衣物711可以与用户的图像组合并且可以显示在显示器701上。在这个方面，可以将来自用户的图像内的对应于手臂、腿部和颈线的区域转换为化身，并且可以在其穿戴所选择的衣物711的状态下显示化身。此外，可以在显示器701上显示用于取消用户指令的按钮714和用于存储穿戴虚拟衣物711的化身的存储按钮717。
图8示出了用户抵着身体握着正在销售的衣物的示例。
参考图8左侧的图(a)，示出了用户806、用户的图像803以及用户选择的衣物的图像804。通常，当用户806在离线商店中购买衣物时，用户806站在镜子的前面并且抵着身体握着将要购买的衣物。当用户站在电子设备的前面时，在用户抵着身体握着衣物的状态下，电子设备可以模拟上述情形，通过使用相机802拍摄用户，以生成抵着身体握着要购买的衣物的状态的用户的图像。
用户806和用户选择的衣物807可以经由相机802显示在电子设备的显示器801上。电子设备的显示器801可以显示用户的图像803和由用户所选择的衣物的图像804。由用户选择的衣物的图像804可以是通过相机拍摄实际衣物807而获得的图像而不是虚拟衣物的图像。
例如，如果在用户抵着身体握着在商店中选择的衣物807的状态下用户806站在电子设备的前面，则相机802可以拍摄用户806和用户选择的衣物807，以便生成用户的图像。显示器801可以显示用户抵着身体握着所选择的衣物804的状态的用户的图像803。另外，显示器801可以显示指示用户执行动作的引导短语805。例如，电子设备可以在显示器801上显示短语“请抵着身体握着衣物并且看镜子”。电子设备可以从显示器801上显示的图像中识别用户803和用户选择的衣物804，并且可以检索与识别的用户选择的衣物804相对应的虚拟衣物。具体地，电子设备可以基于识别的用户选择的衣物来从服务器检索与用户选择的衣物相对应的图像。如果识别出用户选择的衣物804，则电子设备可以经由通信器将关于用户选择的衣物804的信息发送到服务器，并且服务器可以检索与用户选择的衣物804对应的虚拟衣物。服务器可以将检索的虚拟衣物发送到电子设备，并且电子设备可以在显示器801上显示虚拟衣物。
参考图8的中心部分中的图(b)，示出了用户的图像811、与用户选择的衣物对应的虚拟衣物813、以及用户输入按钮815。电子设备可以将检索的虚拟衣物813显示为与用户的图像811重叠。可以将虚拟衣物813显示为在视觉上分离。电子设备可以在显示器801上显示用于接收用户指令的按钮815。电子设备可以在显示器801上显示消息817以指导用户的动作。例如，电子设备可以在显示器801上显示短语“对于握着的衣物，试着虚拟试穿”。如果用户通过执行手势或触摸输入来选择按钮815，则电子设备可以将用户的图像811与虚拟衣物813组合，并显示合成图像。具体地，可以将用户的图像的部分区域改变为穿戴虚拟衣物813的化身并对其进行显示。
参考图8右侧的图(c)，示出了穿戴虚拟衣物的化身821、以及用户输入按钮823和825。化身821可以基于用户的图像811生成，并且可以与用户的实际图像组合并显示在显示器上。当先前生成的化身存储在服务器中时，电子设备不单独生成化身，并且可以在化身穿戴与用户选择的衣物807对应的虚拟衣物的状态下显示存储在服务器中的化身。用户可以通过选择存储按钮825将穿戴虚拟衣物的状态的图像存储在电子设备或服务器中。替代地，用户可以通过按下取消按钮823来执行对另一衣物虚拟项目的改变。
图9示出了基于用户输入将显示器划分为镜像区域和化身区域的示例。
参考图9，示出了电子设备的显示器901和相机903。当用户907站在电子设备的范围内时，相机903可以拍摄用户，并且可以在显示器901上显示由相机903拍摄的用户的图像905。电子设备可以基于用户输入在显示器上显示控制条915，并且可以基于相对于控制条915输入的用户输入来设置化身区域。控制条915可以是镜像区域911和化身区域913之间的边界线，并且可以根据用户的手势在上、下、左和右方向上移动。
例如，如果用户执行举手的手势，则控制条915可以显示在显示器901上。如果用户举手，则控制条可以向上移动，并且如果用户放下手，则控制条可以向下移动。可以通过控制条将显示器901分类为镜像区域911和化身区域913。
电子设备可以基于用户输入设置镜像区域911和化身区域913。例如，用户输入按钮可以显示在镜像区域911和化身区域913上，并且如果用户选择在镜像区域911和化身区域913上显示的按钮中的一个，则可以将所选择的区域设置为化身区域。替代地，根据示例性实施例，也可以设置相反的。
用户图像的部分912可以显示在镜像区域911上。例如，用户的上半身图像可以显示在镜像区域911上。穿戴虚拟衣物的化身914可以显示在化身区域913上。虚拟衣物可以是用户选择的衣物或者从服务器推荐的衣物。如果在显示器901的化身区域913上显示化身的状态下接收到用户输入，则电子设备可以基于用户输入改变化身914所穿戴的虚拟衣物。例如，当用户在左方向或右方向上移动他/她的手时，可以在化身区域923上显示穿戴另一条衣物的化身924。在这种状态下，当用户继续在左方向或右方向上移动他/她的手时，可以在化身区域933上显示穿戴另一条衣物的化身934。
电子设备可以基于由相机903测量的用户体型来控制化身的大小。此外，电子设备可以分析紧密接近控制条的图像以便从用户的图像的部分提取用户穿戴的衣物的边界线，并基于边界线的位置将化身与用户的图像组合。例如，如果控制条的位置在用户的上衣和下衣之间的部分处，则电子设备可以提取用户的上衣部分的边界线并且可以基于该边界线的位置来合成化身。
图10示出了根据用户输入将显示器的中间区域设置为化身区域的示例。具体地，图10示出了将显示器划分为第一镜像区域、化身区域和第二镜像区域的示例。
参考图10，示出了电子设备的显示器1001和相机1003。如果电子设备在显示器1001上显示用户的图像的状态下接收到多个手势，则电子设备可以将识别出多个手势的区域设置为化身区域。例如，如果用户在显示器1001上显示用户的图像的状态下用左手1006和右手1007执行手势，则电子设备可以在显示器1001上显示两个控制条1011和1013，并且可以将控制条1011和控制条1013之间的区域设置为化身区域1014。用户图像的第一部分1016可以显示在控制条1011的上端区域上，并且用户图像的第二部分1018可以显示在控制条1013的下端区域上。第一部分1016可以是例如用户的面部部分的图像。第二部分1018可以是例如用户的腿部的图像。
如果在显示器1001上显示化身1017的状态下接收到用户输入，则电子设备可以基于用户输入改变并显示化身所穿戴的衣物。例如，如果用户在显示器上显示化身1017的状态下在左方向上移动他/她的手，则可以在化身区域1021上显示穿戴另一衣物虚拟项目的化身1022。另外，如果用户在显示器上显示化身1022的状态下在左方向上移动他/她的手，则可以在化身区域1031上显示穿戴另一衣物虚拟项目的化身1032。
图11示出了本公开的另一示例性实施例。
参考图11，化身显示在电子设备的整个显示器1101上。在整个显示器1101被设置为化身区域的状态下，电子设备可以基于用户输入改变和显示化身所穿戴的虚拟衣物。例如，如果用户在显示器上显示化身1103的状态下在左方向或右方向移动手1105，则可以在显示器1101上显示穿戴另一衣物虚拟项目的化身1111。在这种状态下，如果用户在左方向或右方向上移动手1113，则可以在显示器1101上显示仍穿戴另一衣物虚拟项目的化身1121。
在整个显示器1101被设置为化身区域的状态下，电子设备可以基于用户输入将显示器1101的一些区域设置为镜像区域。用户的图像的一部分可以显示在镜像区域上。例如，如果用户在整个显示器1101上显示化身1121的状态下向下移动手，则可以在屏幕上显示控制条1133。控制条1133可以基于用户输入移动到显示器1101的上端或显示器1101的下端。
如果用户在上端方向上移动手，则控制条1133可以在屏幕的上端方向上移动。如果用户在下端方向上移动手，则控制条1133可以在屏幕的下端方向上移动。如果用户通过控制条1133选择显示器1101被分类为两个区域的状态中的任何一个区域，则可以将所选择的区域设置为镜像区域。如果用户接收到在显示器1101上显示控制条1133的状态下选择区域的指令，则电子设备可以将所选择的区域设置为镜像区域。可以在镜像区域上显示由相机拍摄的用户的图像的一部分。例如，如果在整个显示器1101被设置为化身区域的状态下，用户将手背指向天空以在显示器1101的中间部分停止预定时间，则控制条1133可以显示在显示器的中间部分上。在这种状态下，如果用户执行在上端区域部分中握紧拳头的动作以便选择控制条的上端区域，则可以将上端区域部分设置为镜像区域1132，并且可以显示由相机拍摄的用户的图像的上端部分1131。另外，可以将下端区域部分设置为化身区域1134，并且可以在下端部分上显示化身1135。当电子设备识别特定手势时，可以执行用户选择显示器1101的特定区域的指令。由电子设备基于手势识别的指令可以由用户确定，或者可以由电子设备预先设置。例如，如果用户在手掌指向水平方向上的状态下在水平方向上移动手，则可以改变化身1141所穿戴的衣物。
根据又一示例性实施例，如果用户在手掌指向上端方向或下端方向的状态下将手掌保持预定时间量，则控制条1133可显示在显示器1101上。在这种状态下，如果用户在垂直方向上移动手，则控制条1133可以在显示器的上端或下端方向上移动。如果用户在预定的时间量内保持用户在显示器的特定区域中握紧拳头或者手掌指向显示器的状态，则可以选择相应的区域。
可以通过切换操作将用户选择的区域设置为镜像区域或化身区域。例如，如果用户在显示器1101的上端区域被设置为化身区域的状态下执行选择上端区域的操作，则可以将上端区域改变为镜像区域。在这种状态下，如果用户再次采取选择上端区域的操作，则可以将上端区域改变为化身区域。以这种方式，可以基于用户的选择，按照化身区域、镜像区域、化身区域和镜像区域的顺序连续地改变用户选择的区域。
如果基于显示器1101上显示的控制条1133的控制条1133的上端部分被设置为镜像区域1132，并且其下端部分被设置为化身区域1134，则用户的图像显示可以在镜像区域上，并且化身可以显示在化身区域上。通过对其间的边界部分执行图像处理，用户的图像和化身可以自然地显示为一个图像。
在这种状态下，如果用户在左方向或右方向上移动手1137，则可以在化身区域上显示穿戴另一衣物虚拟项目的化身1141。在这方面，可以通过用户的手部操作来改变和显示化身1141所穿戴的衣物。
图12示出根据另一示例性实施例的在电子设备中提供试穿服务的示例。
如果用户在用户穿戴在商店中选择的上衣的状态下站在电子设备的前面，则相机可以拍摄用户以生成用户的图像，并且电子设备可以在显示器1201上显示用户的图像1203。电子设备可以在显示器1201上显示用户的图像1203的状态下接收用户输入，可以基于用户输入1205在显示器1201上显示控制条1215，并且可以基于控制条1215设置镜像区域和化身区域。可以根据用户输入确定镜像区域和化身区域的设置。例如，如果用户在显示器上显示短语“选择你想要被选择为化身区域的区域”的状态下选择下端区域上的按钮，则可以将下端区域设置为化身区域。
如果在镜像区域1211上显示用户的图像1213并且在化身区域1217上显示化身1219的状态下显示器1201接收到用户输入，则电子设备可以基于用户输入将化身1219所穿戴的虚拟衣物改变为另一衣物虚拟项目。例如，如果用户执行在左或右方向执行移动手的操作，则电子设备可以基于手的移动将化身1219所穿戴的裤子改变为不同颜色或不同设计的裤子。
尽管以上已经参考有限的示例性实施例和附图描述了根据本公开的各种示例性实施例的电子设备，但是根据各种示例性实施例的电子设备不限于上述示例性实施例，并且本领域普通技术人员可以对其进行各种改变和修改。
因此，示例性实施例是为了解释和理解所公开的内容而呈现的，并且不限制本公开中公开的技术的范围。因此，本公开的范围应被解释为包括基于本公开的技术精神的所有修改或各种其他示例性实施例。

Claims (15)

1.一种使用电子设备合成图像的方法，该方法包括：
显示由相机拍摄的用户的图像；
基于用户输入设置关于用户的图像的化身区域；
生成要在化身区域上显示的化身；以及
将化身与用户的图像组合并显示得到的合成图像。
2.如权利要求1所述的方法，还包括：
获得与用户在化身区域中穿戴的衣物的第一至少一个项目有关的信息；以及
基于所获得的与衣物的第一至少一个项目有关的信息，从服务器获得化身将要穿戴的衣物的第二至少一个项目。
3.如权利要求2所述的方法，其中，与衣物的第一至少一个项目有关的信息包括与衣物的第一至少一个项目有关的类别信息和颜色信息。
4.如权利要求1所述的方法，其中，生成化身包括：从用户的图像中提取与用户有关的身体信息，并基于提取的身体信息生成与用户相对应的化身。
5.如权利要求4所述的方法，其中，化身具有基于用户的运动而变化的形状。
6.如权利要求4所述的方法，其中，与用户有关的身体信息包括与化身区域相邻的用户的肤色，以及
其中，生成化身包括基于用户的肤色生成化身。
7.如权利要求1所述的方法，还包括：基于用户输入改变化身将要穿戴的衣物的第一至少一个项目的图像。
8.如权利要求7所述的方法，还包括：基于用户输入确定化身将要穿戴的衣物的第一至少一个项目的图像，
其中，合成图像的显示包括将所确定的穿戴衣物的第一至少一个项目的化身的图像与用户的图像组合，并在显示器上显示得到的合成图像。
9.如权利要求8所述的方法，还包括：
基于所确定的衣物的第一至少一个项目获得与衣物的第一至少一个项目有关的协调信息；以及
基于所获得的协调信息确定对应于所确定的衣物的第一至少一个项目的衣物的第二至少一个项目，
其中，合成图像的显示包括将穿戴衣物的第二至少一个项目的化身与用户的图像组合，并在显示器上显示得到的合成图像。
10.如权利要求9所述的方法，其中，所述衣物的第二至少一个项目包括衣物、鞋子和配饰中的至少一个。
11.一种电子设备，包括：
显示器，被配置为显示由相机拍摄的用户的图像；
输入组件，被配置为接收用户输入；
通信器，被配置为促进与外部服务器的通信；以及
处理器，被配置为在显示器上显示用户的图像，基于接收的用户输入设置关于用户的图像的化身区域，生成要在化身区域上显示的化身，并控制显示器组合化身与用户的图像，并显示得到的合成图像。
12.如权利要求11所述的电子设备，其中，所述处理器还被配置为获得与所述用户在所述化身区域中穿戴的衣物的第一至少一个项目有关的信息，并且基于所获得的与衣物的第一至少一个项目有关的信息，从服务器获得要由所述化身穿戴的衣物的第二至少一个项目。
13.如权利要求12所述的电子设备，其中，与衣物的第一至少一个项目有关的信息包括与衣物的第一至少一个项目有关的类别信息和颜色信息。
14.如权利要求11所述的电子设备，其中，处理器还被配置为从用户的图像中提取与用户有关的身体信息，并基于提取的身体信息生成与用户相对应的化身。
15.如权利要求14所述的电子设备，其中，化身具有基于用户的运动而变化的形状。
CN201780020971.4A 2016-03-31 2017-03-30 用于合成图像的方法及其电子设备 Active CN108886586B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020160039092A KR102279063B1 (ko) 2016-03-31 2016-03-31 이미지 합성 방법 및 그 전자장치
KR10-2016-0039092 2016-03-31
PCT/KR2017/003460 WO2017171418A1 (en) 2016-03-31 2017-03-30 Method for composing image and electronic device thereof

Publications (2)

Publication Number Publication Date
CN108886586A true CN108886586A (zh) 2018-11-23
CN108886586B CN108886586B (zh) 2021-10-26

Family

ID=59961102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780020971.4A Active CN108886586B (zh) 2016-03-31 2017-03-30 用于合成图像的方法及其电子设备

Country Status (4)

Country Link
US (2) US10586276B2 (zh)
KR (1) KR102279063B1 (zh)
CN (1) CN108886586B (zh)
WO (1) WO2017171418A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309220A (zh) * 2018-12-11 2020-06-19 阿里巴巴集团控股有限公司 交互方法、图片处理方法及装置
CN113811912A (zh) * 2019-05-12 2021-12-17 Lg电子株式会社 用于使用3d化身提供服装适配服务的方法及其系统

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10248993B2 (en) * 2015-03-25 2019-04-02 Optitex Ltd. Systems and methods for generating photo-realistic images of virtual garments overlaid on visual images of photographic subjects
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
JP7069210B2 (ja) * 2017-03-30 2022-05-17 スノー コーポレーション アイテムの推薦情報提供方法および装置
US10665022B2 (en) * 2017-06-06 2020-05-26 PerfectFit Systems Pvt. Ltd. Augmented reality display system for overlaying apparel and fitness information
US10783567B2 (en) * 2017-06-12 2020-09-22 Disney Enterprises Inc. Retail venue providing automated customer assistance
US10489952B2 (en) * 2017-11-01 2019-11-26 Disney Enterprises, Inc. Cosmetic transformation through image synthesis
CN107993288A (zh) * 2017-12-06 2018-05-04 广州增强信息科技有限公司 一种虚拟增强试妆平板机
EP3756074A4 (en) * 2018-04-19 2021-10-20 Hewlett-Packard Development Company, L.P. INPUTS TO DEVICES WITH VIRTUAL REALITY FROM TOUCH SURFACE DEVICES
KR20240024351A (ko) * 2018-05-07 2024-02-23 애플 인크. 크리에이티브 카메라
WO2020017668A1 (ko) * 2018-07-16 2020-01-23 주식회사 이누씨 다시점 영상 정합을 이용한 아바타 생성 방법 및 장치
US11030813B2 (en) * 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
KR20200046417A (ko) * 2018-10-24 2020-05-07 삼성전자주식회사 보정 이미지 기반 아바타 생성 방법 및 장치
KR20200059525A (ko) * 2018-11-21 2020-05-29 삼성전자주식회사 결제와 연관된 아바타 이미지를 제공하는 전자 장치
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
CN113330484A (zh) 2018-12-20 2021-08-31 斯纳普公司 虚拟表面修改
KR20200093213A (ko) * 2019-01-28 2020-08-05 삼성전자주식회사 전자 장치 및 전자 장치의 그래픽 객체 제어 방법
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
KR102664688B1 (ko) 2019-02-19 2024-05-10 삼성전자 주식회사 가상 캐릭터 기반 촬영 모드를 제공하는 전자 장치 및 이의 동작 방법
USD900831S1 (en) * 2019-03-12 2020-11-03 AIRCAP Inc. Display screen or portion thereof with graphical user interface
US10860190B1 (en) * 2019-04-22 2020-12-08 Amazon Technologies, Inc. Presenting and interacting with composite images on a computing device
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
KR20190095184A (ko) * 2019-07-25 2019-08-14 엘지전자 주식회사 멀티미디어 디바이스 및 그 제어 방법
JP2021022336A (ja) * 2019-07-30 2021-02-18 トヨタ自動車株式会社 情報処理装置、情報処理システム、情報処理方法および車両
US11232646B2 (en) 2019-09-06 2022-01-25 Snap Inc. Context-based virtual object rendering
FR3101989A1 (fr) * 2019-10-11 2021-04-16 Asmodine Fourniture d’une recommandation d’au moins un vetement parmi un catalogue numerique d’une pluralite de vetements
WO2021102417A1 (en) * 2019-11-22 2021-05-27 Lee Haesung Smart mirror system for collecting and visualizing physical appearance information
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
CN112156465B (zh) * 2020-10-22 2023-03-03 腾讯科技（深圳）有限公司 虚拟角色的显示方法、装置、设备及介质
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
CN112401594B (zh) * 2020-11-10 2022-06-10 江苏安全技术职业学院 一种关节型工业机器人
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US11792353B2 (en) * 2020-12-07 2023-10-17 Avaya Management L.P. Systems and methods for displaying users participating in a communication session
USD951275S1 (en) * 2020-12-31 2022-05-10 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
US11734959B2 (en) * 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11978283B2 (en) * 2021-03-16 2024-05-07 Snap Inc. Mirroring device with a hands-free mode
US11798201B2 (en) * 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11908243B2 (en) 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange
US20230206313A1 (en) * 2021-12-23 2023-06-29 Tylmen Llc Digital imaging systems and methods for detecting user-specific apparel fit
US11681376B1 (en) * 2022-08-18 2023-06-20 Universal City Studios Llc System and method for providing feedback to a guest interacting with a display

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110064388A1 (en) * 2006-07-11 2011-03-17 Pandoodle Corp. User Customized Animated Video and Method For Making the Same
CN102298797A (zh) * 2011-08-31 2011-12-28 深圳市美丽同盟科技有限公司 三维虚拟试衣的方法、装置及系统
CN102509349A (zh) * 2011-09-27 2012-06-20 深圳市朵唯志远科技有限公司 基于移动终端的试衣方法、装置及移动终端
CN102982581A (zh) * 2011-09-05 2013-03-20 北京三星通信技术研究有限公司 基于图像的虚拟试穿系统和方法
CN103310342A (zh) * 2012-03-15 2013-09-18 凹凸电子（武汉）有限公司 电子试衣方法和电子试衣装置
CN103489107A (zh) * 2013-08-16 2014-01-01 北京京东尚科信息技术有限公司 一种制作虚拟试衣模特图像的方法和装置
CN103597519A (zh) * 2011-02-17 2014-02-19 麦特尔有限公司 用于生成服装合体性可视化的虚拟身体模型的计算机实现方法和系统
CN103714466A (zh) * 2013-12-24 2014-04-09 中国科学院深圳先进技术研究院 虚拟试衣系统及方法
US20150154691A1 (en) * 2013-12-02 2015-06-04 Scott William Curry System and Method For Online Virtual Fitting Room

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05336445A (ja) * 1992-05-29 1993-12-17 Hitachi Ltd 画像処理方法
US7953648B2 (en) 2001-11-26 2011-05-31 Vock Curtis A System and methods for generating virtual clothing experiences
US20030110099A1 (en) * 2001-12-11 2003-06-12 Philips Electronics North America Corporation Virtual wearing of clothes
EP2131697B1 (en) 2007-03-08 2012-09-12 Hewlett-Packard Development Company, L.P. Method and system for recommending a product based upon skin color estimated from an image
KR20100048733A (ko) * 2008-10-31 2010-05-11 에스케이씨앤씨 주식회사 사용자 고유 디자인을 지원하는 아바타 기반 의류 서비스 시스템 및 그 서비스 방법
KR20110013810A (ko) * 2009-08-03 2011-02-10 (주)플렛디스 디지털 거울 시스템 및 이에 있어서 사용자 체형 검출 방법
US10332176B2 (en) * 2014-08-28 2019-06-25 Ebay Inc. Methods and systems for virtual fitting rooms or hybrid stores
EP2681638A4 (en) 2011-02-28 2016-08-03 Facecake Marketing Technologies Inc VIRTUAL REFLECTION IN REAL TIME
JP5994233B2 (ja) * 2011-11-08 2016-09-21 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US20140032359A1 (en) * 2012-07-30 2014-01-30 Infosys Limited System and method for providing intelligent recommendations
CN103871106A (zh) * 2012-12-14 2014-06-18 韩国电子通信研究院 利用人体模型的虚拟物拟合方法及虚拟物拟合服务系统
KR101707707B1 (ko) * 2012-12-14 2017-02-16 한국전자통신연구원 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템
CN104021590A (zh) 2013-02-28 2014-09-03 北京三星通信技术研究有限公司 虚拟试穿试戴系统和虚拟试穿试戴方法
DE102013205832A1 (de) 2013-04-03 2014-10-23 Friedrich-Alexander-Universität Erlangen-Nürnberg Verfahren zur Erzeugung von Bilddaten
KR20150029798A (ko) 2013-09-09 2015-03-19 (주)불켄유티아이 투명 ｌｃｄ패널을 이용한 가상 피팅 시스템
KR101728588B1 (ko) 2014-03-27 2017-05-02 한국전자통신연구원 디지털 의류를 이용하여 가상 체험 서비스 방법을 제공하는 스마트 단말 및 가상 체험 제공 서버
JP6242768B2 (ja) * 2014-08-08 2017-12-06 株式会社東芝 仮想試着装置、仮想試着方法、およびプログラム
JP6392114B2 (ja) * 2014-12-25 2018-09-19 株式会社東芝 仮想試着システム
US20170069124A1 (en) * 2015-04-07 2017-03-09 Intel Corporation Avatar generation and animations
US20170148089A1 (en) * 2015-11-25 2017-05-25 Yuri Murzin Live Dressing Room

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110064388A1 (en) * 2006-07-11 2011-03-17 Pandoodle Corp. User Customized Animated Video and Method For Making the Same
CN103597519A (zh) * 2011-02-17 2014-02-19 麦特尔有限公司 用于生成服装合体性可视化的虚拟身体模型的计算机实现方法和系统
CN102298797A (zh) * 2011-08-31 2011-12-28 深圳市美丽同盟科技有限公司 三维虚拟试衣的方法、装置及系统
CN102982581A (zh) * 2011-09-05 2013-03-20 北京三星通信技术研究有限公司 基于图像的虚拟试穿系统和方法
CN102509349A (zh) * 2011-09-27 2012-06-20 深圳市朵唯志远科技有限公司 基于移动终端的试衣方法、装置及移动终端
CN103310342A (zh) * 2012-03-15 2013-09-18 凹凸电子（武汉）有限公司 电子试衣方法和电子试衣装置
CN103489107A (zh) * 2013-08-16 2014-01-01 北京京东尚科信息技术有限公司 一种制作虚拟试衣模特图像的方法和装置
US20150154691A1 (en) * 2013-12-02 2015-06-04 Scott William Curry System and Method For Online Virtual Fitting Room
CN103714466A (zh) * 2013-12-24 2014-04-09 中国科学院深圳先进技术研究院 虚拟试衣系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309220A (zh) * 2018-12-11 2020-06-19 阿里巴巴集团控股有限公司 交互方法、图片处理方法及装置
US11928323B2 (en) 2018-12-11 2024-03-12 Alibaba Group Holding Limited Interaction method, picture processing method, and apparatus
CN113811912A (zh) * 2019-05-12 2021-12-17 Lg电子株式会社 用于使用3d化身提供服装适配服务的方法及其系统

Also Published As

Publication number Publication date
US11232512B2 (en) 2022-01-25
US20170287060A1 (en) 2017-10-05
CN108886586B (zh) 2021-10-26
KR102279063B1 (ko) 2021-07-20
US20200175581A1 (en) 2020-06-04
US10586276B2 (en) 2020-03-10
WO2017171418A1 (en) 2017-10-05
KR20170112267A (ko) 2017-10-12

Similar Documents

Publication Publication Date Title
US11232512B2 (en) Method and device for combining an avatar image with a portion of a user's image
US11164240B2 (en) Virtual garment carousel
US10918150B2 (en) Methods and systems for customized garment and outfit design generation
US20220258049A1 (en) System and method for real-time calibration of virtual apparel using stateful neural network inferences and interactive body measurements
CN107924532A (zh) 用于提供服装模型的描绘的方法及设备
WO2015129353A1 (ja) 仮想試着システム、仮想試着プログラム、仮想試着方法および仮想試着プログラムを記憶した記憶媒体
CN105825407A (zh) 虚拟试衣镜系统
KR101720016B1 (ko) 미러 디스플레이를 구비한 특징점 기반 의상 피팅 시스템 및 방법
CN111767817B (zh) 一种服饰搭配方法、装置、电子设备及存储介质
CN111681070A (zh) 线上商品的购买方法、购买装置、存储装置及购买设备
CN105426462A (zh) 一种基于图像元素的图像搜索方法和装置
CN106600375A (zh) 一种可视化服饰裁片的设计制作平台
US20210358190A1 (en) Method of generating item for avatar, recording medium and computing device
KR20160133893A (ko) 맞춤 의류 주문 방법 및 장치
CN105913482A (zh) 基于Kinect人体骨骼识别的方法
KR20230143588A (ko) 3d 아바타 이미지의 가상 착용 상태 제공 소프트웨어 어플리케이션
CN105852530A (zh) 智能推送衣柜及智能推送系统
JP2015179431A (ja) 検索装置、検索方法、及びプログラム
CN112241198A (zh) 增强现实场景的实现方法、装置及存储介质
JP2009266166A (ja) 調和度判定装置、調和度判定方法、調和度判定用プログラム
KR101519123B1 (ko) 키네틱 센서가 구비된 키오스크를 이용한 ３ｄ 의상 피팅 클라우드 시스템 및 그 방법
US11804023B1 (en) Systems and methods for providing a virtual dressing room and a virtual stylist
CN117408766A (zh) 服饰穿搭推荐方法、电视机、介质及设备
KR20220056025A (ko) 게임 캐릭터를 커스터마이즈하는 방법 및 장치
KR20220111010A (ko) 맞춤 의류 주문 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant