CN107851278A - 一种用于手机中基于视频增强现实的虚拟试衣系统和方法 - Google Patents

一种用于手机中基于视频增强现实的虚拟试衣系统和方法 Download PDF

Info

Publication number
CN107851278A
CN107851278A CN201580081714.2A CN201580081714A CN107851278A CN 107851278 A CN107851278 A CN 107851278A CN 201580081714 A CN201580081714 A CN 201580081714A CN 107851278 A CN107851278 A CN 107851278A
Authority
CN
China
Prior art keywords
user
upper body
video flowing
face
clothes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580081714.2A
Other languages
English (en)
Inventor
许劲松
崔莹
吴强
张健
张臣雄
柳海波
方奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN107851278A publication Critical patent/CN107851278A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了一种用于移动无线设备中基于视频增强现实的虚拟试衣系统和方法。在一实施例中，一种用于移动无线设备中具有视频增强的虚拟试衣方法包括：接收用户上身的视频流；检测所述视频流中的脸部；检测肩部轮廓；根据检测到的脸部和检测到的肩部轮廓确定所述用户上身的视频流中肩部和颈部的关键点；根据所述关键点将衣服图像映射到所述用户上身的视频流；显示所述用户上身的增强视频流，其中，所述衣服图像覆盖所述用户上身的视频流的一部分。

Description

一种用于手机中基于视频增强现实的虚拟试衣系统和方法
相关申请案交叉申请
本申请要求于2015年7月15日递交的发明名称为“一种用于手机中基于视频增强现实的虚拟试衣系统和方法”的第14/799,907号美国非临时专利申请案的在先申请优先权，该在先申请的内容以引入的方式并入本文。
技术领域
本发明通常涉及虚拟试衣系统和方法，在特定实施例中，涉及一种用于移动无线设备中基于视频增强现实的虚拟试衣系统和方法。
背景技术
虚拟试衣系统于2005年开始出现，用户可以使用计算机“虚拟地”试穿各种服装。这些虚拟试衣系统现在可以从各类供应商处获得，并为越来越多知名零售商所用。然而，几乎没有为手机系统开发这类系统，而基于个人电脑(personal computer，简称PC)的系统仍然是使用这些系统的最常见平台。只存在几个基于手机的原型。但这些原型的功能有限且用户体验差。此外，在没有克服多个挑战和约束的前提下，无法直接将基于PC的虚拟试衣系统转移到手机上。这类约束主要源于手机的计算能力有限，且当前在PC上实现的算法复杂。
由于难以有效地将虚拟试衣系统的所有功能放置到具有良好可视化设计的小型移动屏幕上，界面是在移动设备上实现虚拟试衣系统的另一挑战。此外，现有系统中的当前技术更多地关注从背景进行的人检测和身体分割，但不考虑衣服如何适合人体。
发明内容
根据本发明一实施例，一种用于移动无线设备中具有视频增强的虚拟试衣方法包括：接收用户上身的视频流；检测所述视频流中的脸部；检测肩部轮廓；根据检测到的脸部和检测到的肩部轮廓确定所述用户上身的视频流中肩部和颈部的关键点；根据所述关键点将衣服图像映射到所述用户上身的视频流；显示所述用户上身的增强视频流，其中，所述衣服图像覆盖所述用户上身的视频流的一部分。
根据本发明另一实施例，一种用于具有视频增强的虚拟试衣的移动无线设备包括：处理器和非瞬时性计算机可读存储介质，所述非瞬时性计算机可读存储介质用于存储所述处理器的执行程序，所述程序包括指令，用于：接收用户上身的视频流；检测所述视频流中的脸部；检测肩部轮廓；根据检测到的脸部和检测到的肩部轮廓确定所述用户上身的视频流中肩部和颈部的关键点；根据所述关键点将衣服图像映射到所述用户上身的视频流；显示所述用户上身的增强视频流，其中，所述衣服图像覆盖所述用户上身的视频流的一部分。
根据本发明另一实施例，一种用于具有视频增强的虚拟试衣的移动无线设备包括：摄像头；实时视频流获取单元，其包括处理器，所述实时视频流获取单元用于从所述摄像头接收实时视频流；系统初始化单元，其包括处理器，所述系统初始化单元用于检测所述实时视频流中的脸部，检测肩部轮廓，并根据检测到的脸部和检测到的肩部轮廓确定用户上身的视频流中肩部和颈部的关键点；虚拟试衣单元，其包括处理器，所述虚拟试衣单元用于根据所述关键点将衣服图像映射到所述用户上身的视频流；视频显示器，用于显示所述用户上身的增强视频流，其中，所述衣服图像覆盖所述用户上身的视频流的一部分。
附图说明
为了更完整地理解本发明及其优点，现在参考下文结合附图进行的描述，其中：
图1为基于视频增强现实的虚拟试衣的应用场景的典型实施例的立体图；
图2为无线移动设备中基于视频增强现实的虚拟试衣系统的实施例框图；
图3为无线移动设备中基于视频增强现实的虚拟试衣系统的实施例框图；
图4为无线移动设备中基于视频增强现实的虚拟试衣方法的实施例流程图；
图5为可以用于实现本文公开的设备和方法的处理系统的框图。
具体实施方式
下文将详细论述当前优选实施例的制作和使用。然而，应了解，本发明提供可在各种具体上下文中体现的许多适用的发明性概念。所论述的具体实施例仅仅说明用以实施和使用本发明的具体方式，而不限制本发明的范围。
为解决以上讨论的挑战，公开了构建基于实景的视频的系统和方法，所述视频能够处理移动平台上的实时虚拟试衣。所公开的系统和方法实施例提供了一种界面，其用于以虚拟舒适且可用的方式将虚拟试衣系统的功能有效地放置在小型移动屏幕上。
本文公开了一种用于在实时视频流内执行实时虚拟试衣系统和方法，通常使用移动无线设备。框架支持主动尺寸搭配和主动身体搭配，尤其快速且准确地在视频流上进行自适应和可变形试衣。所公开的系统和方法为用户提供了实时虚拟试衣体验。这些系统和方法可用于提升客户的购物体验且促进销售。所述系统能够作为实景应用来应用在任何移动无线设备中。在一实施例中，在给定实时视频流的情况下，首先检测脸部位置。利用这一信息来定位颈部和肩部边缘。用户选择的衣服或服装相应地叠加在上身。此外，通过跟踪颈部和肩部的关键点，随着身体移动，自适应地试穿且变形地移动虚拟衣服或虚拟服装。所公开的系统和方法实施例可以链接到社交网络应用。
在一实施例中，所公开的系统和方法使用单个设备在不减损显式背景的前提下来执行虚拟试衣。实施例利用上身有限的感兴趣区域(region of interest，简称ROI)检测，仅仅减少检测整个身体的现有系统所需的处理要求。公开了不需要姿态估计或3D渲染引擎的实施例。此外，所述实施例不需要像一些现有方法所需的性别选择。另外，所公开的实施例基于脸部、脸部标志检测、回归和分割方法来执行颈部和肩部定位算法，从而与需要整个身体的控制点的现有系统相比，降低了所公开系统和方法的复杂性。所公开的实施例通过肩部跟踪和试衣算法来执行主动和可变形试衣，而不用跟踪整个身体的移动。
现有的视频增强现实系统需要比现有的或在手机中有效使用的更多处理能力，或者需要手机提供的那些不提供视频增强现实而仅提供静态图像的处理能力。所公开的系统和方法实施例提供了虚拟试衣，其通过实时视频支持主动尺寸搭配、主动身体搭配，尤其是自适应和可变形的试衣。
本文主要参考在如手机的移动无线设备内的实现来描述所公开的系统和方法。虽然典型实施例使用移动设备，但本领域普通技术人员应意识到，所公开的系统和方法不限于移动设备，并且可以在许多不同类型的数据处理系统中实现，所述数据处理系统具有足够的资源来执行所公开的功能。
图1为基于视频增强现实的虚拟试衣的应用场景100的典型实施例的立体图。所述场景100包括人102，其持有无线设备104，如智能手机。所述人102使用所述无线设备104拍摄人的头部、脸部、肩部和上身的视频。在一实施例中，所述视频至少包括人的躯干的一部分，且可能包括所述人102的上臂的一部分。所述视频通常包括小于人的整个身体的视频。由于限制了要处理的数据量，通过仅使用人身体的一部分的视频，处理速度能够提高，并且与整个身体被视频化所使用的算法相比，使用的算法更简单。
图2为无线移动设备中基于视频增强现实的虚拟试衣系统200的实施例框图。所述系统200包括实时视频流获取模式202、系统初始化模式204、虚拟试衣模式206和衣服选择模式208。在所述实时视频流获取模式202中，用户打开无线设备中的前置摄像头。获取用户上半身的实时视频流，并将其呈现在所述无线设备的显示器210上。屏幕210是无线设备上呈现的所述显示器210的一个示例。在所述系统初始化模式204中，显示器212示出了一些引导线224，用于引导用户放置到特定的屏幕区域。当用户身体部位相对于如屏幕214所示的引导线224处于正确位置时，显示器212上的指示器222(例如，从红点变为绿点)提示用户其可以进入虚拟试衣模式206。如屏幕216的屏幕的一部分显示服装图像，用户可从中选择，或者用户可以前往屏幕220去选择服装。利用如屏幕220将所述衣服选择模式208中所选的衣服候选在显示器218上叠加到用户上身图像上。用户能通过移动身体并选择不同衣服来观看实时虚拟试衣结果。随着用户移动，服装也移动以适合用户，使得用户可以从不同角度看到衣服的外观，以及当用户移动时衣服如何移动。
图3为无线移动设备中基于视频增强现实的虚拟试衣系统300的实施例框图。所述方法系统能够分成四个阶段：实时视频流获取阶段302、系统初始化阶段304、衣服选择阶段306和虚拟试衣阶段308。以下将详细介绍系统初始化阶段和虚拟试衣阶段。
所述系统300开始于所述实时视频流获取阶段302。在所述实时视频流获取阶段302之后，所述系统300进入到所述系统初始化阶段304。
在所述系统初始化阶段304，在给定实时视频流302的情况下，第一步是在屏幕上定位适合放置人上身的可行区域。为在屏幕上定位合适的区域，在软件安装到设备之前，通过学习过程来训练所述系统。在训练中，收集足够数量的训练样本，考虑不同尺寸的人体、不同性别、穿不同衣服。该学习过程的结果使系统能够检测(310)人脸，检测(316)颈部和肩部轮廓，以及定位(318)颈部和肩部的关键点。为帮助系统稳定地检测人上身，引导线出现如图2所示的屏幕上，以帮助用户将上身正确地放在屏幕上，并且还帮助系统稳定地检测上身位置。为将用户上身放入上述的引导区域中，用户需要调整其姿势以及手机到用户的距离/角度。所述系统同时检测(310)脸部、确定(312)是否检测到脸部，并且在没有检测到脸部的情况下给出不同的提示/反馈以便进一步获取(302)实时视频流。为定位肩部和颈部位置，检测脸部位置以预测最终用于检测(316)肩部位置的颈部位置。最后，针对虚拟试衣估计(318)颈部和肩部的关键点。所述系统向用户提供选择(314)操作模式(手动或自动)的选项。在手动模式中，所述系统300继续检测脸部，直到用户按下屏幕上的确认按钮以确认上身已经被放置到正确位置。然后可以定位(316)颈部和肩部位置。该模式可以提供更好的肩部和颈部定位结果，尤其在复杂环境中。在自动模式中，一旦所述系统300确定人体已经位于正确区域内，所述系统300自动执行所有上述处理(检测脸部位置和定位肩部和颈部)。在环境相对简单的情况下，可以简化用户过程。此处能够应用一般的颈部和肩部轮廓检测方法。
虚拟试衣阶段308包含以下步骤：估计(320)关键点跟踪、试衣(324)。使用稀疏光流法跟踪颈部和肩部的关键点，从而允许人体进行合理移动。在阶段306选择衣服后，虚拟衣服会叠加到用户身上。通过将衣服平面上的相关位置变形到人平面上的相应位置的变换处理来实现虚拟试衣(324)。由于只能从捕获的图像中提取人肩部信息，在一实施例中，使用参数变换方法来进行衣服变形。在衣服图像和人图像这两个图像上给定一组匹配的关键点的情况下，可以获得它们的德劳内三角部分，并且可以在每个三角形内部使用顶点定义的仿射变形变换。
图4为无线移动设备中基于视频增强现实的虚拟试衣方法400的实施例流程图。所述方法400开始于块402，无线设备获取视频流，并尝试检测所述视频流中的脸部。在块404中，所述设备确定是否已检测到脸部。若否，则所述方法400返回块402，继续尝试检测脸部。若在块404中检测到了脸部，所述方法400进入块406，所述设备确定用户是否已选择手动模式。若已选择手动模式，所述方法400进入块408，所述设备接收用户输入，以根据用户在所述设备上的操作移动屏幕上的引导线。所述设备为用户提供指示或指令，其指示用户沿着这些线移动颈部和肩部。一旦通过用户操作的确认，围绕这些线确定颈部和肩部位置。若在块406中未选择手动模式，所述方法400进入块410，自动检测肩部轮廓，并根据自动确定的肩部轮廓确定肩部和颈部的关键点。在块412中，所述设备接收来自用户的衣服选择。在块414中，所述设备根据所述关键点将衣服映射到用户图像，并显示被所选衣服覆盖的用户图像。在块416中，所述设备跟踪所述用户的移动，将所述衣服映射到所述移动，并显示被所述衣服覆盖的新的用户图像。此后，所述方法400结束。
图5为可用于实现本文公开的设备和方法的处理系统500的框图。特定设备可利用所有所示的组件或仅利用所述组件的子集，且各设备的集成程度可能不同。此外，设备可以包括部件的多个实例，如多个处理单元、处理器、存储器、发射器、接收器等。所述处理系统500可以包括处理单元501，所述处理单元配备一个或多个输入/输出设备，如扬声器、麦克风、鼠标、触摸屏、小键盘、键盘、打印机、显示器等。所述处理单元501可包括中央处理器(central processing unit，简称CPU)510、存储器520、大容量存储设备530、网络接口550、I/O接口560，以及连接至总线540的天线电路570。所述处理单元501还包括连接至天线电路的天线单元575。
所述总线540可以为包括存储器总线或内存控制器、外设总线、视频总线等几种任意类型的总线架构中的一个或多个。所述CPU 510可包括任意类型的电子数据处理器。所述存储器520可包括任意类型的系统存储器，如静态随机存取存储器(static random accessmemory，简称SRAM)、动态随机存取存储器(dynamic random access memory，简称DRAM)、同步DRAM(synchronous DRAM，简称SDRAM)、只读存储器(read-only memory，简称ROM)或其组合等。在一实施例中，所述存储器520可包括在开机时使用的ROM，以及在执行程序时使用的存储程序和数据的DRAM。
所述大容量存储设备530可包括任意类型的存储设备，其用于存储数据、程序和其它信息，并使这些数据、程序和其它信息可通过所述总线540访问。所述大容量存储设备530可包括如下项中的一种或多种：固态磁盘、硬盘驱动器、磁盘驱动器、光盘驱动器等。
所述I/O接口560可提供接口以将外部输入输出设备耦合到所述处理单元501。所述I/O接口560可包括视频适配器。输入输出设备的示例可以包括耦合至该视频适配器的显示器和耦合至该I/O接口的鼠标/键盘/打印机。其他设备可以耦合至所述处理单元501，且可以采用额外的或较少的接口卡。例如，可使用通用串行总线(Universal Serial Bus，简称USB)(未示出)等串行接口将接口提供给打印机。
所述天线电路570和所述天线单元575可以允许所述处理单元501通过网络与远程单元通信。在一实施例中，所述天线电路570和所述天线单元575接入无线广域网(wirelesswide area network，简称WAN)和/或蜂窝网络，如长期演进(Long Term Evolution，简称LTE)、码分多址(Code Division Multiple Access，简称CDMA)、宽带CDMA(Wideband CDMA，简称WCDMA)、全球移动通信系统(Global System for Mobile Communications，简称GSM)网络等。在一些实施例中，所述天线电路570和所述天线单元575也可以向其他设备提供蓝牙和/或Wi-Fi连接。
所述处理单元501也可以包括一个或多个网络接口550，所述网络接口可以包括有线链路如以太网线等，和/或无线链路以接入节点或不同网络。所述网络接口501允许所述处理单元501通过网络580与远程单元通信。例如，所述网络接口550可以经由一个或多个发送器/发射天线以及一个或多个接收器/接收天线提供无线通信。在一实施例中，所述处理单元501耦合到局域网或广域网上以用于数据处理以及与远程设备通信，所述远程设备例如其它处理单元、因特网、远程存储设施等。
在所公开的实施例中，一种用于移动无线设备中具有视频增强的虚拟试衣方法包括：接收用户上身的视频流；检测所述视频流中的脸部；检测肩部轮廓；根据检测到的脸部和检测到的肩部轮廓确定所述用户上身的视频流中肩部和颈部的关键点；根据所述关键点将衣服图像映射到所述用户上身的视频流；显示所述用户上身的增强视频流，其中，所述衣服图像覆盖所述用户上身的视频流的一部分。在一实施例中，所述方法还包括：跟踪所述用户的移动；将所述衣服图像重新映射到所述移动；显示上身重新映射的增强视频流，其中，重新映射的衣服图像覆盖所述用户上身的视频流的一部分，衣服的视频显示随着所述增强视频流中用户图像的移动而移动。在一实施例中，映射衣服图像包括将衣服平面上的相关位置转换为用户上身图像的平面上的相应位置。在一实施例中，重新映射衣服图像包括德劳内三角部分。自动确定所述肩部轮廓，或者根据用户输入确定脸部和肩部轮廓。在一实施例中，识别脸部和肩部轮廓的手动方法包括：尝试检测所述脸部，呈现用户的候选脸部区域，并接收确认所述候选脸部区域与所述用户脸部对应的用户输入。所述手动方法还可包括：接收移动肩部轮廓的用户输入。
在所公开的实施例中，一种用于具有视频增强的虚拟试衣的移动无线设备包括：处理器和非瞬时性计算机可读存储介质，所述非瞬时性计算机可读存储介质用于存储所述处理器的执行程序，所述程序包括指令，用于：接收用户上身的视频流；检测所述视频流中的脸部；检测肩部轮廓；根据检测到的脸部和检测到的肩部轮廓确定所述用户上身的视频流中肩部和颈部的关键点；根据所述关键点将衣服图像映射到所述用户上身的视频流；显示所述用户上身的增强视频流，其中，所述衣服图像覆盖所述用户上身的视频流的一部分。在一实施例中，所述程序还包括指令，用于：跟踪所述用户的移动；将所述衣服图像重新映射到所述移动；显示上身重新映射的增强视频流，其中，重新映射的衣服图像覆盖所述用户上身的视频流的一部分，衣服的视频显示随着所述增强视频流中用户图像的移动而移动。在一实施例中，重新映射衣服图像的指令包括将衣服平面上的相关位置转换为所述用户上身图像的平面上的相应位置。在一实施例中，重新映射衣服图像的指令包括执行德劳内三角部分的指令。可自动确定所述肩部轮廓，或者根据用户输入确定脸部和肩部轮廓。在一实施例中，所述程序包括指令，用于：尝试检测所述脸部，呈现候选脸部区域，以及接收确认所述候选脸部区域与所述用户脸部对应的用户输入。在一实施例中，所述程序包括接收移动肩部轮廓的指令。
在所公开的实施例中，一种用于具有视频增强的虚拟试衣的移动无线设备包括：摄像头；实时视频流获取单元，其包括处理器，所述实时视频流获取单元用于从所述摄像头接收实时视频流；系统初始化单元，其包括处理器，所述系统初始化单元用于检测所述实时视频流中的脸部，检测肩部轮廓，并根据检测到的脸部和检测到的肩部轮廓确定用户上身的视频流中肩部和颈部的关键点；虚拟试衣单元，其包括处理器，所述虚拟试衣单元用于根据所述关键点将衣服图像映射到所述用户上身的视频流；视频显示器，用于显示所述用户上身的增强视频流，其中，所述衣服图像覆盖所述用户上身的视频流的一部分。在一实施例中，所述虚拟试衣单元还用于跟踪所述用户的移动，并将所述衣服图像重新映射到所述移动。在一实施例中，所述虚拟试衣单元还用于将衣服平面上的相关位置转换为所述用户上身图像的平面上的相应位置。在一实施例中，所述虚拟试衣单元还用于执行德劳内三角部分。在一实施例中，所述显示器用于呈现候选脸部区域，并接收确认所述候选脸部区域与所述用户脸部对应的用户输入。
虽然已参考说明性实施例描述了本发明，但此描述并不意图限制本发明。所属领域的技术人员在参考该描述后，将会明白说明性实施例的各种修改和组合，以及本发明其他实施例。因此，所附权利要求书意图涵盖任何此类修改或实施例。

Claims (20)

1.一种用于移动无线设备中具有视频增强的虚拟试衣方法，其特征在于，包括：
接收用户上身的视频流；
检测所述视频流中的脸部；
检测肩部轮廓；
根据检测到的脸部和检测到的肩部轮廓确定所述用户上身的视频流中肩部和颈部的关键点；
根据所述关键点将衣服图像映射到所述用户上身的视频流；
显示所述用户上身的增强视频流，其中，所述衣服图像覆盖所述用户上身的视频流的一部分。
2.根据权利要求1所述的方法，其特征在于，还包括：
跟踪所述用户的移动；
将所述衣服图像重新映射到所述移动；
显示上身重新映射的增强视频流，其中，重新映射的衣服图像覆盖所述用户上身的视频流的一部分，衣服的视频显示随着所述增强视频流中用户图像的移动而移动。
3.根据权利要求2所述的方法，其特征在于，重新映射衣服图像包括将衣服平面上的相关位置转换为所述用户上身图像的平面上的相应位置。
4.根据权利要求2所述的方法，其特征在于，重新映射衣服图像包括德劳内三角部分。
5.根据权利要求1所述的方法，其特征在于，自动确定所述肩部轮廓。
6.根据权利要求1所述的方法，其特征在于，根据用户输入确定所述脸部和所述肩部轮廓。
7.根据权利要求6所述的方法，其特征在于，还包括：尝试检测所述脸部，呈现候选脸部区域，并接收确认所述候选脸部区域与所述用户脸部对应的用户输入。
8.根据权利要求6所述的方法，其特征在于，还包括：接收移动肩部轮廓的用户输入。
9.一种用于具有视频增强的虚拟试衣的移动无线设备，其特征在于，包括：
处理器；
非瞬时性计算机可读存储介质，用于存储由所述处理器执行的程序，所述程序包括指令，用于：
接收用户上身的视频流；
检测所述视频流中的脸部；
检测肩部轮廓；
根据检测到的脸部和检测到的肩部轮廓确定所述用户上身的视频流中肩部和颈部的关键点；
根据所述关键点将衣服图像映射到所述用户上身的视频流；
显示所述用户上身的增强视频流，其中，所述衣服图像覆盖所述用户上身的视频流的一部分。
10.根据权利要求9所述的移动无线设备，其特征在于，所述程序还包括指令，用于：
跟踪所述用户的移动；
将所述衣服图像重新映射到所述移动；
显示上身重新映射的增强视频流，其中，重新映射的衣服图像覆盖所述用户上身的视频流的一部分，衣服的视频显示随着所述增强视频流中用户图像的移动而移动。
11.根据权利要求10所述的移动无线设备，其特征在于，重新映射衣服图像的指令包括将衣服平面上的相关位置转换为所述用户上身图像的平面上的相应位置。
12.根据权利要求10所述的移动无线设备，其特征在于，重新映射衣服图像的指令包括执行德劳内三角部分的指令。
13.根据权利要求9所述的移动无线设备，其特征在于，自动确定所述肩部轮廓。
14.根据权利要求9所述的移动无线设备，其特征在于，根据用户输入确定所述脸部和所述肩部轮廓。
15.根据权利要求14所述的移动无线设备，其特征在于，所述程序还包括指令，用于尝试检测所述脸部，呈现候选脸部区域，并接收确认所述候选脸部区域与所述用户脸部对应的用户输入。
16.一种用于具有视频增强的虚拟试衣的移动无线设备，其特征在于，包括：
摄像头；
实时视频流获取单元，其包括处理器，所述实时视频流获取单元用于从所述摄像头接收实时视频流；
系统初始化单元，其包括处理器，所述系统初始化单元用于检测所述实时视频流中的脸部，检测肩部轮廓，并根据检测到的脸部和检测到的肩部轮廓确定用户上身的视频流中肩部和颈部的关键点；
虚拟试衣单元，其包括处理器，所述虚拟试衣单元用于根据所述关键点将衣服图像映射到所述用户上身的视频流；
视频显示器，用于显示所述用户上身的增强视频流，其中，所述衣服图像覆盖所述用户上身的视频流的一部分。
17.根据权利要求16所述的移动无线设备，其特征在于，所述虚拟试衣单元还用于跟踪所述用户的移动，并将所述衣服图像重新映射到所述移动。
18.根据权利要求17所述的移动无线设备，其特征在于，所述虚拟试衣单元还用于将衣服平面上的相关位置转换为所述用户上身图像的平面上的相应位置。
19.根据权利要求17所述的移动无线设备，其特征在于，所述虚拟试衣单元还用于执行德劳内三角部分。
20.根据权利要求16所述的移动无线设备，其特征在于，所述显示器用于呈现候选脸部区域，并接收确认所述候选脸部区域与所述用户脸部对应的用户输入。
CN201580081714.2A 2015-07-15 2015-12-01 一种用于手机中基于视频增强现实的虚拟试衣系统和方法 Pending CN107851278A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/799,907 US10373244B2 (en) 2015-07-15 2015-07-15 System and method for virtual clothes fitting based on video augmented reality in mobile phone
US14/799,907 2015-07-15
PCT/CN2015/096174 WO2017008427A1 (en) 2015-07-15 2015-12-01 System and method for virtual clothes fitting based on video augmented reality in mobile phone

Publications (1)

Publication Number Publication Date
CN107851278A true CN107851278A (zh) 2018-03-27

Family

ID=57756770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580081714.2A Pending CN107851278A (zh) 2015-07-15 2015-12-01 一种用于手机中基于视频增强现实的虚拟试衣系统和方法

Country Status (4)

Country Link
US (1) US10373244B2 (zh)
CN (1) CN107851278A (zh)
AU (1) AU2015402322B2 (zh)
WO (1) WO2017008427A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210283A (zh) * 2019-04-09 2019-09-06 深圳市梦网百科信息技术有限公司 一种基于换装应用的图像处理方法和系统
CN111510769A (zh) * 2020-05-21 2020-08-07 广州华多网络科技有限公司 视频图像处理方法、装置及电子设备
CN111712848A (zh) * 2017-12-12 2020-09-25 脸谱公司 在相机馈送中提供相应产品的数字模型

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201219261D0 (en) * 2012-10-26 2012-12-12 Jaguar Cars Vehicle access system and method
WO2019023965A1 (zh) * 2017-08-02 2019-02-07 深圳传音通讯有限公司 一种基于智能终端的试衣方法及试衣系统
US20190051053A1 (en) * 2017-08-14 2019-02-14 Ryan Sit Method and system for superimposing a video image on an object image
US10262432B1 (en) 2017-12-30 2019-04-16 Gabriel Keilholz System and method for measuring and comparing items using computer vision
US11393089B2 (en) * 2018-02-27 2022-07-19 Beautyup Technologies, Inc. Augmented reality systems and methods for fingernail detection and tracking
US10453265B1 (en) 2018-04-05 2019-10-22 Page International—FZ—LLC Method and device for the virtual try-on of garments based on augmented reality with multi-detection
CN109523593A (zh) * 2018-10-19 2019-03-26 北京陌上花科技有限公司 用于服装图像的数据处理方法及装置
US11386301B2 (en) 2019-09-06 2022-07-12 The Yes Platform Cluster and image-based feedback system
US11250572B2 (en) * 2019-10-21 2022-02-15 Salesforce.Com, Inc. Systems and methods of generating photorealistic garment transference in images
US11030782B2 (en) * 2019-11-09 2021-06-08 Adobe Inc. Accurately generating virtual try-on images utilizing a unified neural network framework
US11189100B2 (en) * 2019-11-25 2021-11-30 Verizon Patent and Acessing Inc. Systems and methods for optimizing extended reality experiences
CN111913630B (zh) * 2020-06-30 2022-10-18 维沃移动通信有限公司 视频会话方法、装置和电子设备
US11798202B2 (en) 2020-09-28 2023-10-24 Snap Inc. Providing augmented reality-based makeup in a messaging system
US20220101417A1 (en) * 2020-09-28 2022-03-31 Snap Inc. Providing augmented reality-based clothing in a messaging system
CN112287795B (zh) * 2020-10-22 2023-09-01 北京百度网讯科技有限公司 异常驾驶姿态检测方法、装置、设备、车辆和介质
CN113160037A (zh) * 2021-04-25 2021-07-23 优研科技有限公司 人工智能换装方法、装置及存储介质
US11580592B2 (en) 2021-05-19 2023-02-14 Snap Inc. Customized virtual store
US11636654B2 (en) 2021-05-19 2023-04-25 Snap Inc. AR-based connected portal shopping
US11670059B2 (en) 2021-09-01 2023-06-06 Snap Inc. Controlling interactive fashion based on body gestures
US11673054B2 (en) 2021-09-07 2023-06-13 Snap Inc. Controlling AR games on fashion items
US11900506B2 (en) 2021-09-09 2024-02-13 Snap Inc. Controlling interactive fashion based on facial expressions
US11734866B2 (en) 2021-09-13 2023-08-22 Snap Inc. Controlling interactive fashion based on voice
US11983826B2 (en) 2021-09-30 2024-05-14 Snap Inc. 3D upper garment tracking
US11651572B2 (en) 2021-10-11 2023-05-16 Snap Inc. Light and rendering of garments
FI20216098A1 (en) * 2021-10-22 2023-04-23 Wear2Meet Oy Video processing programs and video processing systems
CN114549694B (zh) * 2021-12-29 2024-03-01 世纪开元智印互联科技集团股份有限公司 一种证件照换装方法及系统
CN114565521B (zh) * 2022-01-17 2023-04-07 北京新氧科技有限公司 基于虚拟换装的图像修复方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060204054A1 (en) * 2003-06-26 2006-09-14 Eran Steinberg Digital image processing composition using face detection information
CN101707946A (zh) * 2007-03-19 2010-05-12 马西米利亚诺公司 用于衣物的定制剪裁和零售的方法和系统
CN102298797A (zh) * 2011-08-31 2011-12-28 深圳市美丽同盟科技有限公司 三维虚拟试衣的方法、装置及系统
CN103218773A (zh) * 2011-11-09 2013-07-24 索尼公司 信息处理设备、显示控制方法和程序
US20140022588A1 (en) * 2007-07-06 2014-01-23 Kyocera Documents Solutions, Inc. Image Forming Apparatus and Computer Readable Recording Medium

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7953648B2 (en) 2001-11-26 2011-05-31 Vock Curtis A System and methods for generating virtual clothing experiences
US20030110099A1 (en) 2001-12-11 2003-06-12 Philips Electronics North America Corporation Virtual wearing of clothes
US8982109B2 (en) * 2005-03-01 2015-03-17 Eyesmatch Ltd Devices, systems and methods of capturing and displaying appearances
ES2279708B1 (es) 2005-11-15 2008-09-16 Reyes Infografica, S.L. Metodo de generacion y utilizacion de un probador virtual de prendas de vestir, y sistema.
KR100847136B1 (ko) * 2006-08-14 2008-07-18 한국전자통신연구원 어깨 윤곽선 추출 방법, 이를 이용한 로봇 깨움 방법 및이를 위한 장치
WO2010094688A1 (en) 2009-02-18 2010-08-26 Fruitful Innovations B.V. Virtual personalized fitting room
US8577346B2 (en) * 2009-03-02 2013-11-05 First Data Corporation Systems, methods, and apparatus for receiving promotion information by a mobile device
US8976230B1 (en) * 2010-06-28 2015-03-10 Vlad Vendrow User interface and methods to adapt images for approximating torso dimensions to simulate the appearance of various states of dress
JP5762730B2 (ja) * 2010-12-09 2015-08-12 パナソニック株式会社 人検出装置および人検出方法
GB201104312D0 (en) * 2011-03-14 2011-04-27 Bell Alexandra Improved virtual try on simulation service
US20120287122A1 (en) 2011-05-09 2012-11-15 Telibrahma Convergent Communications Pvt. Ltd. Virtual apparel fitting system and method
JP5786463B2 (ja) 2011-06-01 2015-09-30 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US20140149264A1 (en) 2011-06-14 2014-05-29 Hemanth Kumar Satyanarayana Method and system for virtual collaborative shopping
CN102509349B (zh) 2011-09-27 2015-07-15 深圳市朵唯志远科技有限公司 基于移动终端的试衣方法、装置及移动终端
US20130135349A1 (en) 2011-10-11 2013-05-30 Srikanth Narayanan Virtual Trial and Fitting Room
US9898742B2 (en) * 2012-08-03 2018-02-20 Ebay Inc. Virtual dressing room
US9367733B2 (en) * 2012-11-21 2016-06-14 Pelco, Inc. Method and apparatus for detecting people by a surveillance system
CN109598798B (zh) 2012-12-14 2023-11-28 韩国电子通信研究院 虚拟物拟合方法及虚拟物拟合服务系统
US20140279289A1 (en) 2013-03-15 2014-09-18 Mary C. Steermann Mobile Application and Method for Virtual Dressing Room Visualization
KR101740326B1 (ko) * 2015-03-23 2017-06-08 한국전자통신연구원 증강현실 기반 실감체험 장치 및 제공 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060204054A1 (en) * 2003-06-26 2006-09-14 Eran Steinberg Digital image processing composition using face detection information
CN101707946A (zh) * 2007-03-19 2010-05-12 马西米利亚诺公司 用于衣物的定制剪裁和零售的方法和系统
US20140022588A1 (en) * 2007-07-06 2014-01-23 Kyocera Documents Solutions, Inc. Image Forming Apparatus and Computer Readable Recording Medium
CN102298797A (zh) * 2011-08-31 2011-12-28 深圳市美丽同盟科技有限公司 三维虚拟试衣的方法、装置及系统
CN103218773A (zh) * 2011-11-09 2013-07-24 索尼公司 信息处理设备、显示控制方法和程序

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CECILIA GARCIA MARTIN，ERDAL ORUKLU: "Human Fridendly Interface Design for Virtual Fitting Room Applications on Andorid Based Mobile Devices", 《JOURNAL OF SIGNAL AND INFORMATION PROCESSING》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111712848A (zh) * 2017-12-12 2020-09-25 脸谱公司 在相机馈送中提供相应产品的数字模型
CN110210283A (zh) * 2019-04-09 2019-09-06 深圳市梦网百科信息技术有限公司 一种基于换装应用的图像处理方法和系统
CN110210283B (zh) * 2019-04-09 2021-05-14 深圳市梦网视讯有限公司 一种基于换装应用的图像处理方法和系统
CN111510769A (zh) * 2020-05-21 2020-08-07 广州华多网络科技有限公司 视频图像处理方法、装置及电子设备

Also Published As

Publication number Publication date
AU2015402322B2 (en) 2019-06-27
AU2015402322A1 (en) 2018-02-01
US10373244B2 (en) 2019-08-06
WO2017008427A1 (en) 2017-01-19
US20170018024A1 (en) 2017-01-19

Similar Documents

Publication Publication Date Title
CN107851278A (zh) 一种用于手机中基于视频增强现实的虚拟试衣系统和方法
JP7265003B2 (ja) ターゲット検出方法、モデル訓練方法、装置、機器及びコンピュータプログラム
CN109951654B (zh) 一种视频合成的方法、模型训练的方法以及相关装置
CN104781849B (zh) 单眼视觉同时定位与建图(slam)的快速初始化
US10841486B2 (en) Augmented reality for three-dimensional model reconstruction
WO2020216054A1 (zh) 视线追踪模型训练的方法、视线追踪的方法及装置
CN110163806B (zh) 一种图像处理方法、装置以及存储介质
CN108229332A (zh) 骨骼姿态确定方法、装置及计算机可读存储介质
CN108346175B (zh) 一种人脸图像修复方法、装置及存储介质
CN103514432A (zh) 人脸特征提取方法、设备和计算机程序产品
CN104966284A (zh) 基于深度数据获得对象尺寸信息的方法及设备
CN108027884A (zh) 优化对象检测
CN111145339A (zh) 图像处理方法及装置、设备、存储介质
CN106558039A (zh) 一种人像处理方法及装置
CN108170817A (zh) 照片主体的演变视频获取方法、装置及可读存储介质
CN111401318A (zh) 动作识别方法及装置
CN109685900A (zh) 基于双摄像头的家具适配方法、装置、终端及存储介质
KR102466978B1 (ko) 딥러닝 기반 가상 이미지 생성방법 및 시스템
CN110991325A (zh) 一种模型训练的方法、图像识别的方法以及相关装置
CN113538321A (zh) 基于视觉的体积测量方法及终端设备
US20150138199A1 (en) Image generating system and image generating program product
CN107820203A (zh) 室内位置吸附方法、系统、服务器和计算机可读介质
WO2015068447A1 (ja) 情報処理装置、情報処理方法および情報処理システム
CN107958251A (zh) 一种货币金额换算方法、装置及移动终端
CN108230312A (zh) 一种图像分析方法、设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180327

RJ01 Rejection of invention patent application after publication