CN103678836B - 虚拟试衣系统及方法 - Google Patents

Abstract

一种虚拟试衣系统及方法。该虚拟试衣系统包括：用户模型选择单元，根据衣服模型与穿衣模型和未穿衣模型的匹配程度，来选择穿衣模型和未穿衣模型之一作为用于虚拟试衣的用户模型；合成及渲染单元，根据估计的用户的姿态控制衣服模型和选择的用户模型的动作，并将选择的用户模型与衣服模型的画面进行合成和渲染从而产生试衣效果图像；显示单元，显示所述试衣效果图像。

Description

虚拟试衣系统及方法

技术领域

本发明涉及虚拟试衣技术，尤其涉及一种虚拟试衣系统和方法。

背景技术

随着虚拟现实和增强现实技术的发展，已经研发出能够实现虚拟试衣的诸多方案。通过虚拟试衣系统，用户不必真实地穿上衣服，而仅需要将自己的诸如照片、身材等的信息提供给虚拟试衣系统就能够看到虚拟试衣的效果。虚拟试衣系统的应用十分广泛，比如，设计师可利用虚拟试衣系统来辅助服装设计，而随着网络技术的发展，对于普通顾客而言，这种虚拟试衣系统还特别适用于网络购物、虚拟社区等在线交互系统。

现有的虚拟试衣系统主要分为两类，其中，第一类为基于虚拟现实(VR)的虚拟试衣系统，第二类为基于增强现实(AR)的虚拟试衣系统。

基于虚拟现实的虚拟试衣系统结合试衣者的身材数据(如，身高、体重、三围等)预先构建用户模型，并且可预先构建衣物的模型。这样，可根据用户模型和衣物模型，计算出穿衣后上述两个模型的相对位置关系和变形以将两个模型进行合成，并依据衣物的材质信息进行渲染，即实现虚拟试衣效果。例如，US20030050864号专利申请公开了一种基于虚拟现实的虚拟试衣系统。

基于现实增强的虚拟试衣系统可以根据试衣者所在的实际环境在线或实时构建用户模型。这样，可根据用户模型、衣物模型以及实际环境进行合成并渲染，即现实增强的试衣效果。例如，第201110081204.4号中国专利申请公开了一种基于现实增强的虚拟试衣系统。

基于虚拟现实的虚拟试衣系统能够较为准确的反映试衣者的身材情况，但是不能真实反映试衣者的实际环境以及相貌等特性，现实性相对较差。基于现实增强的虚拟试衣系统可以真实反映试衣者的实际环境以及相貌等特性，但是由于是在线生成，因此存在用户模型准确性的问题，不能很好地反映出适宜效果。

综上所述，在现有的虚拟试穿系统中，仍存在诸多应用限制，因此，需要一种能够克服上述缺点的虚拟试衣系统和方法。

发明内容

本发明的目的在于提供一种虚拟试衣系统和方法，其同时利用了基于现实增强的虚拟试衣系统和基于虚拟现实的虚拟试衣系统的相关技术，并且能够适应性地在这两种试衣技术之间进行切换。

本发明的一方面提供一种虚拟试衣系统，包括：用户模型选择单元，根据衣服模型与穿衣模型和未穿衣模型的匹配程度，选择穿衣模型和未穿衣模型之一作为用于虚拟试衣的用户模型；合成及渲染单元，根据估计的用户的姿态控制衣服模型和选择的用户模型的动作，并将选择的用户模型与衣服模型的画面进行合成和渲染从而产生试衣效果图像；显示单元，显示所述试衣效果图像。

可选地，所述虚拟试衣系统还包括：图像传感器，用于获取用户的图像；姿态估计单元，根据所述图像估计用户的姿态；模型形成单元，用于根据所述图像建立用户的穿衣模型。

可选地，当衣服模型的尺寸大于等于穿衣模型时，用户模型选择单元选择穿衣模型作为用于虚拟试衣的用户模型；当衣服模型的尺寸小于穿衣模型时，用户模型选择单元选择未穿衣模型作为用于虚拟试衣的用户模型。

可选地，当选择穿衣模型作为用于虚拟试衣的用户模型时，合成及渲染单元将穿衣模型、衣服模型以及来自所述图像的场景的画面进行合成和渲染从而产生试衣效果图像。

可选地，当选择未穿衣模型作为用于虚拟试衣的用户模型并且未穿衣模型与衣服模型的合成结果的尺寸大于等于穿衣模型时，合成及渲染单元将未穿衣模型、衣服模型以及来自所述图像的场景的画面进行合成和渲染从而产生试衣效果图像。

可选地，所述虚拟试衣系统还包括：存储单元，用于存储未穿衣模型和衣服模型。

可选地，所述虚拟试衣系统还包括：人体识别单元，用于检测所述图像中的人体；存储单元，用于存储未穿衣模型和衣服模型；登陆注册单元，根据检测的人体从存储单元中搜索与该人体相应的未穿衣模型。

可选地，当登陆注册单元根据检测的人体没有从存储单元中搜索与该人体相应的未穿衣模型时，模型形成单元建立用户的未穿衣模型。

可选地，模型形成单元根据输入的用户的各个身体部分的尺寸和/或特点来调整一基本模型的外形和尺寸，从而形成未穿衣模型。

可选地，模型形成单元根据用户身着紧身衣时通过图像传感器获取用户的图像，形成未穿衣模型。

可选地，模型形成单元根据虚拟现实技术建立用户的未穿衣模型。

可选地，所述虚拟试衣系统还包括：模型形成单元，用于根据增强现实技术建立用户的穿衣模型。

本发明的另一方面提供一种虚拟试衣方法，包括：根据衣服模型与穿衣模型和未穿衣模型的匹配程度，来选择穿衣模型和未穿衣模型之一作为用于虚拟试衣的用户模型；根据估计的用户的姿态控制衣服模型和选择的用户模型的动作，并将选择的用户模型与衣服模型的画面进行合成和渲染从而产生试衣效果图像；显示所述试衣效果图像。

可选地，当衣服模型的尺寸大于等于穿衣模型时，选择穿衣模型作为用于虚拟试衣的用户模型；当衣服模型的尺寸小于穿衣模型时，选择未穿衣模型作为用于虚拟试衣的用户模型。

可选地，所述虚拟试衣方法还包括：获取用户的图像；根据所述图像估计用户的姿态；根据所述图像建立用户的穿衣模型。

可选地，当选择穿衣模型作为用于虚拟试衣的用户模型时，将穿衣模型、衣服模型、以及来自所述图像的场景的画面进行合成和渲染从而产生试衣效果图像。

可选地，当选择未穿衣模型作为用于虚拟试衣的用户模型并且未穿衣模型与衣服模型的合成结果的尺寸大于等于穿衣模型时，将未穿衣模型、衣服模型、以及来自所述图像的场景的画面进行合成和渲染从而产生试衣效果图像。

可选地，所述方法还包括：检测所述图像中的人体；根据检测的人体从存储单元中搜索与该人体相应的未穿衣模型。存储单元用于存储未穿衣模型和衣服模型。

可选地，当根据检测的人体没有从存储单元中搜索与该人体相应的未穿衣模型时，建立用户的未穿衣模型。

可选地，根据输入的用户的各个身体部分的尺寸和/或特点来调整一基本模型的外形和尺寸，从而形成未穿衣模型。

可选地，根据用户身着紧身衣时通过图像传感器获取用户的图像，形成未穿衣模型。

可选地，根据增强现实技术建立用户的穿衣模型。

可选地，根据虚拟现实技术建立用户的未穿衣模型。

根据本发明的虚拟试衣系统和方法，利用了两种用户模型，并且可以适应性地选择用户模型来用于用户的虚拟试衣，避免了可能导致的用户模型与衣服模型不匹配的问题。

将在接下来的描述中部分阐述本发明另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明的实施而得知。

附图说明

通过下面结合附图进行的详细描述，本发明的上述和其它目的、特点和优点将会变得更加清楚，其中：

图1示出根据本发明的虚拟试衣系统的框图；

图2示出根据本发明的虚拟试衣方法的流程图。

具体实施方式

下面将参照附图详细描述本发明的实施例。在附图中，相同的附图标号始终表示相同的结构、特征和元件。

图1示出根据本发明的虚拟试衣系统100的框图。

如在图1中所示，根据本发明的虚拟试衣系统100包括：图像传感器110、姿态估计单元120、模型形成单元130、存储单元140、用户模型选择单元150、合成及渲染单元160、显示单元170。

图像传感器110用于获取用户的图像。图像传感器110可以是各种图像传感器(例如，灰度图像传感器、深度图像传感器等)，获取的图像可以普通灰度图像和/或者深度图像等。

姿态估计单元120根据从图像传感器110获取的图像，估计用户的姿态。当图像传感器110实时地或周期性地获得用户的图像时，姿态估计单元120相应地实时地或周期性地估计用户的姿态。姿态估计单元120可被实现为硬件组件，例如，可使用现场可编程门阵列(FPGA)或专用集成电路(ASIC)来实现姿态估计单元120。此外，通用或专用计算机也可以实现姿态估计单元120。

模型形成单元130根据从图像传感器110获取的图像，产生用户的穿衣模型。换句话说，在线产生用户的穿衣模型。可基于深度图像和/或灰度图像等，利用现有的增强现实技术来在线产生用户的穿衣模型。例如，可以使用第201110081204.4号中国专利申请所公开的人体三维模型模块来实现模型形成单元130。

模型形成单元130可被实现为硬件组件，例如，可使用现场可编程门阵列(FPGA)或专用集成电路(ASIC)来实现模型形成单元130。此外，通用或专用计算机也可以实现模型形成单元130。

此外，模型形成单元130可产生未穿衣模型。未穿衣模型是与用户具有相似的体型、相同的高度、相同的身材的虚拟模型。未穿衣模型可预先产生并存储在存储单元140中。此外，也可以在进行试衣操作时产生未穿衣模型。

通常，可根据现有的虚拟现实技术来通过模型形成单元130产生未穿衣模型。例如，可以预先提供一个未穿衣的基本模型，根据用户输入的身体的各个部分的尺寸和特点来调整该基本模型，从而形成未穿衣模型。

此外，也可以利用生成穿衣模型的方式来产生未穿衣模型。优选地，用户身着紧身的衣服利用这样的方式来产生未穿衣模型。

穿衣模型反映了用户在进行试衣时的外形和相貌状态等，相对于虚拟的未穿衣模型更加逼真。

存储单元140用于存储用户的未穿衣模型以及衣服模型。存储单元140的示例包括硬盘、软盘、磁带、光学介质(例如，CD ROM盘和DVD)、只读存储器(ROM)、随机存取存储器(RAM)、闪存等。

衣服模型能够绑定到未穿衣模型或穿衣模型，并且能够根据未穿衣模型或穿衣模型的姿态的变化而相应地变化。在另一实施例中，衣服模型还可根据下列因素中的至少一个而变化：与未穿衣模型或穿衣模型的碰撞、自身的各个部分之间的碰撞、重力、衣服的内力。

用户模型选择单元150根据待试穿的衣服的衣服模型与用户的穿衣模型和未穿衣模型的匹配程度，来选择穿衣模型和未穿衣模型之一作为用于虚拟试衣的用户模型。用户模型选择单元150可被实现为硬件组件，例如，可使用现场可编程门阵列(FPGA)或专用集成电路(ASIC)来实现模型形成用户模型选择单元150。此外，通用或专用计算机也可以实现用户模型选择单元150。

具体地说，当衣服模型的尺寸大于等于穿衣模型时(即，衣服模型相对穿衣模型合适或宽松时)，选择穿衣模型；当衣服模型的尺寸小于穿衣模型时，选择未穿衣模型。

合成及渲染单元160用于根据姿态估计单元120估计的姿态来控制选择的用户模型(穿衣模型或未穿衣模型)和衣服模型进行动作，将选择的用户模型与衣服模型的画面进行合成和渲染从而产生试衣效果图像。合成及渲染单元160可被实现为硬件组件，例如，可使用现场可编程门阵列(FPGA)或专用集成电路(ASIC)来实现模型形成合成及渲染单元160。此外，通用或专用计算机也可以实现合成及渲染单元160。

当选择了未穿衣模型时，合成及渲染单元160仅是将未穿衣模型和衣服模型进行合成和渲染，这样试衣效果图像仅示出虚拟人体模型和虚拟衣服，而不显示实际场景(即，用户的背景)。当选择了穿衣模型时，合成及渲染单元160可以将未穿衣模型、衣服模型以及来自于图像传感器110获取用户的图像中的实际场景进行合成和渲染。这样，可以将虚拟衣服与实际场景叠加，用户可看到自己穿着虚拟衣服在当前场景下的效果。

可选地，当选择了未穿衣模型时，合成及渲染单元160可将未穿衣模型、衣服模型以及来自于图像传感器110获取用户的图像中的实际场景进行合成和渲染。此外，由于未穿衣模型与穿衣模型之间的尺寸及形状差异，因此可能导致最终的合成渲染结果中出现空白区域。为此，在选择合成实际场景之前，确认未穿衣模型与衣服模型的合成结果的尺寸是否大于等于穿衣模型的尺寸。当所述合成结果的尺寸大于等于穿衣模型的尺寸时，将未穿衣模型、衣服模型以及实际场景进行合成和渲染。当所述合成结果的尺寸小于穿衣模型的尺寸时，仅是将未穿衣模型和衣服模型进行合成和渲染。

显示单元60用于显示合成及渲染单元160输出的试衣效果图像。显示单元60可以被实现为液晶显示器、等离子显示器、阴极射线管等各种显示设备。

在另一实施例中，虚拟试衣系统100还可包括人体识别单元(未示出)和登陆注册单元(未示出)。人体识别单元用于检测图像传感器110获取的图像中是否存在人(例如，用户)。登陆注册单元根据人体识别单元检测到的用户，从存储单元140中寻找与用户相应的未穿衣模型。如果登陆注册单元从存储单元140中没有找到与用户相应的未穿衣模型，则可以通过模型形成单元130产生与用户相应的未穿衣模型。

此外，登陆注册单元可以首先寻找与检测到的用户相应的标识符(ID)，即，账号，然后寻找与标识符相应的未穿衣模型。如果没有寻找到与检测到的用户相应的标识符，则可以为该用户建立一标识符。

在另一实施例中，虚拟试衣系统100还可包括衣服选择单元(未示出)，用于用户选择衣服。

图2示出根据本发明的虚拟试衣方法的流程图。

在步骤201，通过图像传感器获取图像。

在步骤202，检测通过图像传感器获取的图像中是否存在人。可以通过各种人体检测技术来实现步骤202。

如果在步骤202没有检测到人，则返回步骤201。

如果在步骤202检测到人，则在步骤203，利用检测到的图像形成用户的穿衣模型。可利用现有技术来这样在线生成用户的穿衣模型。

随后，在步骤204，将在步骤203形成的穿衣模型的尺寸与衣服模型的尺寸进行比较。该衣服模型是待试穿的衣服的模型，可由用户选择。

当在步骤204确定衣服模型的尺寸大于或等于穿衣模型的尺寸时，选择穿衣模型作为用于试衣的用户模型，进行步骤205。

当在步骤204确定衣服模型的尺寸小于穿衣模型的尺寸时，在步骤206，确定是否存在与用户相应的未穿衣模型。

当在步骤206确定存在与用户相应的未穿衣模型时，选择该未穿衣模型作为用于试衣的用户模型，进行步骤205。

当在步骤206确定不存在与用户相应的未穿衣模型时，在步骤207建立与用户相应的未穿衣模型，并选择该未穿衣模型作为用于试衣的用户模型，进行步骤205。

在步骤205，根据估计的用户姿态来控制选择的用户模型(穿衣模型或未穿衣模型)和衣服模型进行动作，将选择的用户模型与衣服模型的画面进行合成和渲染从而产生试衣效果图像。

可根据通过图像传感器110获取的图像来估计用户的姿态。估计姿态的步骤可在步骤205之前执行。

当选择了未穿衣模型时，仅是将未穿衣模型和衣服模型进行合成和渲染，这样试衣效果图像仅示出虚拟人体模型和虚拟衣服，而不显示实际场景。当选择了穿衣模型时，可以将未穿衣模型、衣服模型以及来自于图像传感器110获取用户的图像中的实际场景进行合成和渲染。这样，可以将虚拟衣服与实际场景叠加，用户可看到自己穿着虚拟衣服在当前场景下的效果。

可选地，当选择了未穿衣模型时，可将未穿衣模型、衣服模型以及实际场景进行合成和渲染。此外，由于未穿衣模型与穿衣模型之间的尺寸及形状差异，因此可能导致最终的合成渲染结果中出现空白区域。为此，在选择合成实际场景之前，确认未穿衣模型与衣服模型的合成结果的尺寸是否大于等于穿衣模型的尺寸。当所述合成结果的尺寸大于等于穿衣模型的尺寸时，将未穿衣模型、衣服模型以及实际场景进行合成和渲染。当所述合成结果的尺寸小于穿衣模型的尺寸时，仅是将未穿衣模型和衣服模型进行合成和渲染。

在步骤208，显示在步骤205获得的试衣效果图像。

根据本发明的示例性实施例的虚拟试衣方法可实现为计算机可读记录介质上的计算机可读代码或计算机程序。计算机可读记录介质是可存储其后可由计算机系统读出的数据的任意数据存储装置。

根据本发明的虚拟试衣系统和方法，利用了两种用户模型，并且可以适应性地选择用户模型来用于用户的虚拟试衣，避免可能导致的用户模型与衣服模型不匹配的问题。

尽管已经参照其示例性实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (20)

1.一种虚拟试衣系统，其特征在于，包括：

用户模型选择单元，根据衣服模型与穿衣模型和未穿衣模型的匹配程度，选择穿衣模型和未穿衣模型之一作为用于虚拟试衣的用户模型；

合成及渲染单元，根据估计的用户的姿态控制衣服模型和选择的用户模型的动作，并将选择的用户模型与衣服模型的画面进行合成和渲染从而产生试衣效果图像；

显示单元，显示所述试衣效果图像，

其中，当衣服模型的尺寸大于等于穿衣模型时，用户模型选择单元选择穿衣模型作为用于虚拟试衣的用户模型；当衣服模型的尺寸小于穿衣模型时，用户模型选择单元选择未穿衣模型作为用于虚拟试衣的用户模型。

2.如权利要求1所述的虚拟试衣系统，还包括：

图像传感器，用于获取用户的图像；

姿态估计单元，根据所述图像估计用户的姿态；

模型形成单元，用于根据所述图像建立用户的穿衣模型。

3.如权利要求2所述的虚拟试衣系统，其中，当选择穿衣模型作为用于虚拟试衣的用户模型时，合成及渲染单元将穿衣模型、衣服模型以及来自所述图像的场景的画面进行合成和渲染从而产生试衣效果图像。

4.如权利要求2所述的虚拟试衣系统，其中，当选择未穿衣模型作为用于虚拟试衣的用户模型并且未穿衣模型与衣服模型的合成结果的尺寸大于等于穿衣模型时，合成及渲染单元将未穿衣模型、衣服模型以及来自所述图像的场景的画面进行合成和渲染从而产生试衣效果图像。

5.如权利要求2所述的虚拟试衣系统，还包括：

人体识别单元，用于检测所述图像中的用户；

存储单元，用于存储未穿衣模型和衣服模型；

登陆注册单元，根据检测的用户从存储单元中搜索与该用户相应的未穿衣模型。

6.如权利要求5所述的虚拟试衣系统，其中，当登陆注册单元根据检测的用户没有从存储单元中搜索与该用户相应的未穿衣模型时，模型形成单元建立用户的未穿衣模型。

7.如权利要求6所述的虚拟试衣系统，其中，模型形成单元根据输入的用户的各个身体部分的尺寸和/或特点来调整一基本模型的外形和尺寸，从而形成未穿衣模型。

8.如权利要求6所述的虚拟试衣系统，其中，模型形成单元根据用户身着紧身衣时通过图像传感器获取用户的图像，形成未穿衣模型。

9.如权利要求6所述的虚拟试衣系统，其中，模型形成单元根据虚拟现实技术建立用户的未穿衣模型。

10.如权利要求1所述的虚拟试衣系统，还包括：模型形成单元，用于根据增强现实技术建立用户的穿衣模型。

11.一种虚拟试衣方法，其特征在于，包括：

根据衣服模型与穿衣模型和未穿衣模型的匹配程度，来选择穿衣模型和未穿衣模型之一作为用于虚拟试衣的用户模型；

根据估计的用户的姿态控制衣服模型和选择的用户模型的动作，并将选择的用户模型与衣服模型的画面进行合成和渲染从而产生试衣效果图像；

显示所述试衣效果图像，

其中，当衣服模型的尺寸大于等于穿衣模型时，选择穿衣模型作为用于虚拟试衣的用户模型；当衣服模型的尺寸小于穿衣模型时，选择未穿衣模型作为用于虚拟试衣的用户模型。

12.如权利要求11所述的虚拟试衣方法，还包括：

获取用户的图像；

根据所述图像估计用户的姿态；

根据所述图像建立用户的穿衣模型。

13.如权利要求11所述的虚拟试衣方法，其中，当选择穿衣模型作为用于虚拟试衣的用户模型时，将穿衣模型、衣服模型、以及来自所述图像的场景的画面进行合成和渲染从而产生试衣效果图像。

14.如权利要求13所述的虚拟试衣方法，其中，当选择未穿衣模型作为用于虚拟试衣的用户模型并且未穿衣模型与衣服模型的合成结果的尺寸大于等于穿衣模型时，将未穿衣模型、衣服模型、以及来自所述图像的场景的画面进行合成和渲染从而产生试衣效果图像。

15.如权利要求12所述的虚拟试衣方法，还包括：

检测所述图像中的人体；

存储未穿衣模型和衣服模型；

根据检测的人体从存储的未穿衣模型中搜索与该人体相应的未穿衣模型。

16.如权利要求15所述的虚拟试衣方法，还包括：当根据检测的人体没有从存储的未穿衣模型中搜索到与该人体相应的未穿衣模型时，建立用户的未穿衣模型。

17.如权利要求16所述的虚拟试衣方法，其中，根据输入的用户的各个身体部分的尺寸和/或特点来调整一基本模型的外形和尺寸，从而形成未穿衣模型。

18.如权利要求16所述的虚拟试衣方法，其中，根据用户身着紧身衣时获取用户的图像，形成未穿衣模型。

19.如权利要求16所述的虚拟试衣方法，其中，根据虚拟现实技术建立用户的未穿衣模型。

20.如权利要求11所述的虚拟试衣方法，还包括：根据增强现实技术建立用户的穿衣模型。