CN115104319A - 直播期间用于虚拟试衣的系统及方法 - Google Patents

直播期间用于虚拟试衣的系统及方法 Download PDF

Info

Publication number
CN115104319A
CN115104319A CN202180014731.XA CN202180014731A CN115104319A CN 115104319 A CN115104319 A CN 115104319A CN 202180014731 A CN202180014731 A CN 202180014731A CN 115104319 A CN115104319 A CN 115104319A
Authority
CN
China
Prior art keywords
model
user
product
media content
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180014731.XA
Other languages
English (en)
Inventor
田原
徐毅
全书学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN115104319A publication Critical patent/CN115104319A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815—Electronic shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

这里描述了用于增强流媒体数据以包括虚拟试衣数据的方法和系统。所述方法包括评估流数据以获取与产品相关联的第一三维(3D)模型。所述方法还包括获取与用户相关联的第二3D模型。然后将所述第一3D模型试穿到所述第二3D模型上，并以从流数据中的演示者估计出的方式为所述试穿后的模型摆好姿势。然后渲染摆好姿势的模型并与所述流数据一同呈现给观看者。本公开的实施例适用于各种虚拟现实应用和基于计算机的试衣系统。

Description

直播期间用于虚拟试衣的系统及方法
相关申请的交叉引用
本申请基于申请号为62/987,474、申请日为2020年3月10日、申请名称为“直播期间用于虚拟试衣的系统及方法”的美国临时专利申请提出，并要求该美国临时专利申请的优先权，该美国临时专利申请的全部内容在此以引入方式并入本申请。
技术领域
本发明总体上涉及与虚拟试衣应用有关的方法和系统。更具体地说，本发明实施例提供了用于增强流媒体数据以包括虚拟试衣数据的方法和系统。
背景技术
当考虑是否在网上购买产品时，用户往往难以想象产品的外观或性能。在服装或其他可穿戴产品方面尤其如此。为了更好地了解产品的属性，用户经常会观看演示者对产品进行评价和评述的图片和/或视频。这些图片和视频会在演示者身上展示相关产品，而演示者则会讨论该产品的各种优点或缺点。然而，由于人们的体型各异，即使在演示者身上看到了该产品，也不能有助于使用户充分想象该产品在他/她自己身上的外观或性能。
本发明实施例单独地以及共同地解决这些问题和其他问题。
发明内容
所述方法包括评估流数据以获取与产品相关联的第一三维(3D)模型。所述方法还包括获取与用户相关联的第二3D模型。然后将所述第一3D模型试穿到所述第二3D模型上，并以从流数据中的演示者估计出的方式摆放所述试穿后的模型摆好姿势。然后将所述摆好姿势的模型进行渲染并与所述流数据一同呈现给观看者。本发明的实施例适用于虚拟现实和基于计算机的试衣系统中的各种应用。
本发明的一个实施例涉及一种方法，所述方法包括接收用户正在观看的媒体内容的指示，识别与所述媒体内容相关联的产品，获取表示所述产品的第一3D模型，获取表示所述用户的第二3D模型，根据所述媒体内容确定演示姿势，将所述演示姿势应用于所述第二3D模型，通过使所述第二3D模型试穿所述第一3D模型生成第三3D模型，以及以所述演示姿势将所述第三3D模型呈现给所述用户。
本发明的另一实施例涉及一种系统，所述系统包括处理器和包括有指令的存储器，当所述指令由所述处理器执行时，至少使所述系统接收用户正在观看的媒体内容的指示，识别与所述媒体内容相关联的产品，获取表示所述产品的第一3D模型，获取表示所述用户的第二3D模型，根据所述媒体内容确定演示姿势，将所述演示姿势应用于所述第二3D模型，通过使所述第二3D模型试穿所述第一3D模型生成第三3D模型，以及以所述演示姿势将所述第三3D模型呈现给所述用户。
本公开的又一实施例涉及一种存储特定计算机可执行指令的非暂时性计算机可读介质，当所述指令由处理器执行时，至少使计算机系统接收用户正在观看的媒体内容的指示，识别与所述媒体内容相关联的产品，获取表示所述产品的第一3D模型，获取表示所述用户的第二3D模型，根据所述媒体内容确定演示姿势，将所述演示姿势应用于所述第二3D模型，通过使所述第二3D模型试穿所述第一3D模型生成第三3D模型，以及以所述演示姿势将所述第三3D模型呈现给所述用户。
与传统系统相比，本系统具有多个优点。例如，本发明实施例涉及为用户提供服装或其他可穿戴产品在他/她身上的外观的更准确评估的方法和系统。在所述的系统中，使用用户的虚拟试衣数据对流媒体数据进行增强。为此，识别与流媒体数据相关的产品模型，并且获得与流媒体数据的观看者相关的用户模型。将所述产品模型试穿到所述用户模型上，所述用户模型以类似于所述流媒体数据中演示者轮廓的方式摆好姿势。将所述产品模型和所述用户模型进行渲染并与所述流媒体数据一同呈现(例如，在流媒体数据中进行增强)。
附图说明
图1示出了根据至少一些实施例的可使用虚拟试衣信息增强流式视频的系统的说明性示例。
图2示出了根据至少一些实施例的使用虚拟试衣信息增强流数据的系统的系统架构。
图3示出了根据本发明实施例的呈现使用虚拟试衣数据增强后的数据流的方法的简化流程图。
图4示出了根据至少一些实施例的使用传感器数据获得3D模型的技术的说明性示例。
图5示出了根据本发明实施例的用于演示可实现的特征的图形用户界面(GUI)的示例。
图6示出了根据至少一些实施例的用于向用户呈现虚拟试衣数据的过程的流程图。
图7示出了根据一些实施例的计算机系统的组件的示例。
图8示出了根据至少一些实施例的用于向用户呈现虚拟试衣数据的装置的框图。
具体实施方式
本发明总体上涉及与虚拟现实应用有关的方法和系统。更具体地说，本发明实施例提供了用于确定用户和产品的适合程度的方法和系统。本发明的实施例适用于虚拟现实和基于计算机的试衣系统中的各种应用。
图1示出了根据至少一些实施例的可使用虚拟试衣信息增强流式视频的系统的说明性示例。在图1中，用户设备102用于向移动应用服务器104提供对虚拟试衣信息的请求。在某些情况下，该用户设备可用于获取用户数据106，所述用户数据106可被提供给移动应用服务器104以用于生成虚拟试衣信息。
在一个示例中，用户设备102表示合适的计算设备，该计算设备包括一个或多个图形处理单元(GPU)、一个或多个通用处理器(GPP)以及存储计算机可读指令的一个或多个存储器，所述计算机可读指令可由处理器中的至少一个执行以实现本发明实施例的各种功能。例如，用户设备102可以是智能手机、平板电脑、膝上型电脑、个人计算机、游戏控制台或智能电视中的任何一个。用户设备102还可以包括测距相机(即，深度传感器)和/或RGB光学传感器(例如，照相机)。
用户设备可用于捕获和/或生成用户数据106。用户数据106可包括与应为其创建虚拟试衣数据的特定用户(例如，用户设备102的用户)相关的信息。用户数据106可包括可用于生成虚拟试衣数据的关于用户的数据。例如，用户数据106可以包括用户的尺寸。用户数据106可以以任何合适的格式捕获。例如，用户数据106可以包括点云、3D网格或模型，或者包含预定位置处的测量值的字符串。在一些情况下，捕获用户数据106包括接收手动输入到用户设备102中的关于用户的信息。例如，用户可以通过键盘输入用户身体各个部位的测量值。在一些情况下，获取用户数据106可包括使用照相机和/或深度传感器来获取与用户有关的图像/深度信息。用户设备102还可被配置为根据获取的图像/深度信息生成3D模型。下面参考图4更详细地解释该过程。
移动应用服务器104包括能够根据本发明所述的技术为用户生成使用虚拟试衣数据增强的数据流的任何计算设备。为了生成增强数据流，移动应用服务器104可以从用户设备102接收用户数据106。应当注意的是，尽管移动应用服务器104可以在收到生成虚拟试衣数据请求的同时接收用户数据106，移动应用服务器104还可以先于并且独立于任何生成虚拟试衣数据请求而接收用户数据106。例如，移动应用服务器104可以在用户在移动应用服务器104中建立帐户的注册阶段接收用户数据106。
虚拟试衣数据的请求可以指流数据108。流数据108可以是流式视频(例如，直播流)或其他合适的动态媒体内容。流数据108可以示为至少一个演示者110和至少一个产品112。移动应用服务器104可以从流数据108获得至少一个产品112的标识符(产品标识符114)以及与演示者的姿势有关的数据(姿势数据116)。在一些实施例中，产品标识符114或姿势数据116中的一个或多个可经由附在流数据108的元数据与流数据108相关联。在一些实施例中，一种或多种机器视觉技术可用于从流数据108内的图像确定产品标识符114和/或姿势数据116中的一个或多个。
移动应用服务器104可以包括或访问对象模型数据118，可以从该对象模型数据118获得产品数据120以完成请求。对象模型数据118可以包括其上存储有一个或多个3D模型的任何计算机可读存储介质。例如，对象模型数据118可以是由移动应用服务器104或另一服务器维护的数据库。存储在对象模型数据118中的3D模型可以表示可由用户穿戴的产品，例如服装(例如，衣服)或配件。在一些实施例中，对象模型数据118可以存储一个产品的多个版本(例如，不同尺寸和/或样式)的3D模型。当收到特定产品的产品标识符114时，移动应用服务器104从对象模型数据118检索产品数据120，该产品数据120包括与该特定产品相关联的3D模型。
移动应用服务器104可以被配置为组合用户数据106和产品数据120，以便为用户生成试穿形象。移动应用服务器104还可以根据姿势数据116来为该试穿形象摆好姿势。一旦生成了试穿形象，移动应用服务器104就可以使用该试穿形象对流数据108进行增强，以生成增强流数据122。一旦生成了增强流数据122，就可以将增强流数据122发送回用户设备102，增强流数据122可在显示器上被渲染以供用户查看。
为了清楚起见，图1中示出了一定数量的组件。然而，应当理解，本发明实施例中每种组件的数量都可以超过一个。此外，本发明一些实施例可包括少于或多于图1所示的全部组件。此外，图1中的组件可以使用任何合适的通信协议经由任何合适的通信介质(包括因特网)进行通信。
图2示出了根据至少一些实施例的使用虚拟试衣信息增强流数据的系统的架构。在图2中，用户设备202可以与至少包括移动应用服务器204在内的多个其他组件通信。移动应用服务器204可以执行安装在用户设备上的移动应用所需的处理功能中的至少一部分。用户设备202和移动应用服务器204可以是参考图1分别进行描述的用户设备102和移动应用服务器104的示例。
用户设备202可以是具有至少部分本发明所述功能的任何合适的电子设备。具体地，用户设备202可以是能够捕获用户数据和/或在显示器上呈现增强数据流的任何电子设备。在一些实施例中，用户设备可以能够与另一电子设备(例如，移动应用服务器204)建立通信会话，并向该电子设备发送/从该电子设备接收数据。用户设备具备下载和/或执行移动应用程序的能力。用户设备包括移动通信设备以及个人计算机和瘦客户机设备。在一些实施例中，用户设备包括具备与通信有关的基本功能的任何便携式电子设备。例如，用户设备可以是智能电话、个人数据助理(PDA)或任何其他合适的手持设备。用户设备可以实现为具有集成到用户设备中的各种组件(例如，输入传感器、一个或多个处理器、存储器等)的自包含单元。本发明中对组件的“输出”或传感器的“输出”的引用不一定意味着输出被发送到用户设备之外。各种组件的输出可以保留在定义用户设备的自包含单元内。
在一个说明性配置中，用户设备202可包括至少一个存储器206和一个或多个处理单元(或处理器)208。处理器208可以适当地实现为硬件、计算机可执行指令、固件或其组合。处理器208的计算机可执行指令或固件实现可以包括以任何合适的编程语言编写的用于执行所述各种功能的计算机可执行指令或机器可执行指令。用户设备202还可以包括用于接收用户输入和/或环境输入的一个或多个输入传感器210。可以存在能够检测用户输入或环境输入的各种输入传感器210，例如加速度计、相机设备、深度传感器、麦克风、全球定位系统(例如，GPS)接收器等。所述一个或多个输入传感器210可以包括能够生成深度图像的测距相机设备(例如，深度传感器)以及用于获取图像信息的相机设备。
出于本发明的目的，测距相机(例如深度传感器)可以是用于识别一个或多个物体与所述测距相机的距离或范围的任何设备。在一些实施例中，测距相机可以生成深度图像(或深度图)，该度图像(或深度图)上的像素值对应于该像素的检测距离。可以直接以物理单位(例如，米)获得像素值。在本发明的至少一些实施例中，用户设备可以采用使用结构光工作的测距相机。在使用结构光工作的测距相机中，投影仪以结构图案将光投射到一个或多个对象上。所述光可以位于可见光范围之外(例如，红外或紫外)。测距相机具有一个或多个相机设备，所述相机设备用于获取具有反射图案的对象图像。然后可基于检测到的图案中的失真来生成距离信息。应当注意的是，尽管本发明侧重于使用结构光的测距相机的使用，但任何合适类型的测距相机，包括那些使用立体三角测量、光片三角测量、飞行时间、干涉测量、编码孔径或任何其他适用于距离检测的技术来工作的相机，均可适用于所描述的系统。
存储器206存储可以在处理器208上加载和执行的程序指令，以及存储在执行这些程序期间生成的数据。根据用户设备202的配置和类型，存储器206可以是易失性的(例如随机存取存储器(RAM))和/或非易失性的(例如只读存储器(ROM)、闪存等)。用户设备202还包括附加存储器212，例如可移动存储器或不可移动存储器，包括但不限于磁存储器、光盘和/或磁带存储器。盘驱动器及其相关联的计算机可读介质可以为计算设备提供计算机可读指令、数据结构、程序模块和其他数据的非易失性存储。在一些实施例中，存储器206可以包括多种不同类型的存储器，诸如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)或ROM。下面对存储器206的内容进行详细说明。存储器206包括操作系统214以及用于实现本发明所公开的特征的一个或多个应用程序或服务，所述应用程序或服务至少包括移动应用216。存储器206还包括应用数据218，所述存储器206提供由移动应用216生成和/或使用的信息。在一些实施例中，应用数据218可以存储在数据库中。
出于本发明的目的，移动应用程序可以在用户设备202上安装并执行的任何一组计算机可执行指令。移动应用程序可以由用户设备制造商或由另一实体安装在用户设备上。在一些实施例中，移动应用216可以使用户设备与移动应用服务器204建立会话，所述移动应用服务器204为移动应用216提供后端支持。移动应用服务器204可以维护与特定用户设备和/或用户相关联的帐户信息。在一些实施例中，可以要求用户登录到移动应用以访问由移动应用216提供的功能。
根据至少一些实施例，移动应用216被配置为向移动应用服务器204提供用户信息，并向用户呈现从移动应用服务器204接收的信息。更具体地说，移动应用216被配置为获取用户的测量数据并将该测量数据提交给与针对用虚拟试衣数据增强的流数据的请求相关的移动应用服务器204。在一些实施例中，移动应用216还可以接收用虚拟试衣数据增强的数据流的指示。
根据至少一些实施例，移动应用216可以接收来自输入传感器210的输出，并基于该输出生成3D模型。例如，移动应用216可以从深度传感器(例如，测距相机)接收深度信息(例如，深度图像图像)，其中，深度传感器可以是例如先前对于输入传感器210描述时提及的深度传感器，移动应用216还可以从相机输入传感器接收图像信息。基于该信息，移动应用216可以确定要识别的对象(例如，用户)的边缘。例如，深度信息内深度的突然变化可以指示对象的边缘或轮廓。在另一示例中，移动应用216可以使用一种或多种机器视觉技术和/或机器学习来识别对象的边缘。在该示例中，移动应用216可以从相机输入传感器210接收图像信息，并且可以基于在图像内检测到的颜色或纹理数据的差异或基于已学习的图案来识别图像信息内的潜在对象。在一些实施例中，移动应用216可使用户设备202将从输入传感器210获得的输出发送到移动应用服务器204，移动应用服务器204随后可对该输出执行一种或多种对象识别技术，以便生成对象的3D模型。
用户设备202还包含使用户设备202能够与任何其他合适的电子设备进行通信的通信接口220。在一些实施例中，通信接口220可使用户设备202能够与网络上(例如，专用网络上)的其他电子设备通信。例如，用户设备202可以包括允许其与另一电子设备通信的蓝牙TM(BLUETOOTHTM)无线通信模块。用户设备202还包括输入/输出(I/O)设备和/或端口222，例如用于实现与键盘、鼠标、笔、语音输入设备、触摸输入设备、显示器、扬声器、打印机等的连接。
在一些实施例中，用户设备202可以经由通信网络与移动应用服务器204通信。通信网络可以包括诸如电缆网络、因特网、无线网络、蜂窝网络和其他专用和/或公共网络在内的多个不同类型网络的任意一个或是其组合。此外，通信网络包括多种不同的网络。例如，用户设备202可以通过无线局域网(WLAN)与无线路由器通信，无线路由器然后可以通过公共网络(例如，因特网)将该通信路由到移动应用服务器204。
移动应用服务器204可以是用于为用户设备202上的移动应用216执行一个或多个计算的任何计算设备或多个计算设备。在一些实施例中，移动应用216可以与移动应用服务器204周期性通信。例如，移动应用216可以从移动应用服务器204接收更新、推送通知或其他指令。在一些实施例中，移动应用216和移动应用服务器204可以使用专有加密和/或解密方案来保护两者之间的通信。在一些实施例中，移动应用服务器204可由在托管计算环境中实现的一个或多个虚拟机执行。所述托管计算环境包括一个或多个快速提供和释放的计算资源，所述计算资源可以包括计算、联网和/或存储设备。托管计算环境也可以称为云计算环境。
在一个说明性配置中，移动应用服务器204可包括至少一个存储器224和一个或多个处理单元(或处理器)226。处理器226可以适当地实现为硬件、计算机可执行指令、固件或其组合。处理器226的计算机可执行指令或固件实现可以包括以任何合适的编程语言编写的用于执行所述各种功能的计算机可执行指令或机器可执行指令。
存储器224可以存储在处理器226上可加载和可执行的程序指令，以及在执行这些程序期间生成的数据。根据移动应用服务器204的配置和类型，存储器224可以是易失性的(例如RAM)和/或非易失性的(例如ROM、闪存等)。移动应用服务器204还包括附加存储器228，例如可移动存储器或不可移动存储器，包括但不限于磁存储器、光盘和/或磁带存储器。盘驱动器及其相关联的计算机可读介质可以为计算设备提供计算机可读指令、数据结构、程序模块和其他数据的非易失性存储。在一些实施例中，存储器224可以包括多种不同类型的存储器，诸如SRAM、DRAM或ROM。下面对存储器224的内容进行详细说明。存储器224包括操作系统230以及用于实现本发明所公开的特征的一个或多个应用程序或服务，所述应用程序或服务至少包括用于将产品3D模型试穿到用户3D模型上的模块(试穿模块232)和/或用于确定姿势并将姿势应用到产品3D模型和用户3D模型的模块(姿势模块234)。存储器224还包括帐户数据236，其提供与所述系统维护的用户帐户相关联的信息；用户模型数据238，其维护与帐户的每个用户相关联的3D模型；和/或对象模型数据240，其维护与多个对象(产品)相关联的3D模型。在一些实施例中，帐户数据236、用户模型数据238或对象模型数据240中的一个或多个可以存储在数据库中。在一些实施例中，对象模型数据240可以是电子目录，该电子目录包括可从资源提供者(例如，零售商或其他合适的商家)处出售的对象相关的数据。
存储器224和附加存储器228是计算机可读存储介质的示例，其可以是可移动的也可以是不可移动的。例如，计算机可读存储介质可以包括用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息的以任何方法或技术实现的易失性或非易失性、可移动或不可移动介质。如本发明所使用的术语“模块”指由安装在移动应用服务器204上和/或从移动应用服务器204执行的计算系统(例如，处理器)所执行的编程模块。移动应用服务器204还包含通信连接242，该通信连接242允许移动应用服务器204与存储的数据库、另一计算设备或服务器、用户终端和/或所述系统的其他组件通信。移动应用服务器204还包括输入/输出(I/O)设备和/或端口244，例如用于实现与键盘、鼠标、笔、语音输入设备、触摸输入设备、显示器、扬声器、打印机等的连接。
下面对存储器224的内容进行详细说明。存储器224包括试穿模块232、姿势模块234、包含帐户数据236的数据库、包含用户模型数据238的数据库和/或包含对象模型数据240的数据库。
在一些实施例中，试穿模块232可被配置为与处理器226共同对产品3D模型施加变形，以便将其试穿到用户3D模型上。试穿模块232可以访问一个或多个规则，所述规则描述如何将特定产品类型(例如，衬衫、裤子等)进行变形(例如，拉伸和/或弯曲)以便试穿到用户模型上。为了将产品3D模型试穿到用户3D模型上，试穿模块232可以将产品3D模型的某些部分对齐到用户3D模型的特定部分上。例如，可以将衬衫的3D模型可以摆放为使得衬衫的3D模型的袖子包围用户3D模型的手臂。此外，衬衫的3D模型还可以被摆放为使得衬衫的3D模型的衣领包围用户3D模型的颈部。然后，可以通过对衬衫的3D模型的部分进行拉伸和弯曲，使衬衫的3D模型的其余部分变形，从而使得衬衫的3D模型的内部处于用户的3D模型的外部或沿着用户的3D模型的外侧。
在一些实施例中，姿势模块234可被配置为与处理器226共同识别流数据内的演示者(即，人体)的姿势，并将该姿势应用于由试穿模块232生成的产品3D模型与用户3D模型的组合上。这里包括使用一种或多种姿势估计技术来确定数据流内的演示者当前的姿势。例如，姿势模块234可以使用机器学习来确定数据流内的演示者的姿势。本领域技术人员能够意识到可以采用多种合适的姿势估计技术。在一些实施例中，姿势模块234可以将确定的姿势应用于用户模型(已将产品模型试穿到该用户模型上)。这里包括重新定位用户模型的一个或多个附件或身体部位，直到实现所确定的姿势。在一些实施例中，姿势模块234可以监视流数据内的演示者的姿势，并且可以在检测到演示者的姿势的变化时调整用户模型的姿势以匹配演示者的姿势。
在对组合的用户模型和产品模型的姿势进行调整后，姿势模块234可以将组合的用户模型和产品模型进行渲染。在一些实施例中，组合的用户模型和产品模型可以在小窗口中进行渲染，然后该小窗口被摆放在流数据内的一个不起眼位置。例如，在流数据是视频的情况下，组合的用户模型和产品模型可以在视频下角的窗口内进行渲染。这种渲染可以使得用户想象产品穿在他/她自己身上。应当注意的是，虽然参考移动应用服务器204对姿势模块234和试穿模块232进行了描述，但是被描述为由一个或多个模块执行的功能可以由用户设备202上的移动应用执行。
在一些实施例中，对象模型数据库240内的每个对象条目可以与该对象的3D模型相关联。在这些实施例中，该3D模型可以与用户的第二3D模型组合并被提供给移动应用216，使得用户设备202在用户设备的显示器上显示3D模型的组合，作为对流数据的增强。随着流数据内的演示者的姿势被更新，移动应用216可以在用户设备的显示器上动态地更新3D模型的组合的姿势。
图3示出了本发明实施例提供的呈现使用虚拟试衣数据增强后的数据流的方法的简化流程图。结合作为本发明介绍的计算机系统示例的计算机系统对该流程进行介绍。该流程的一些或全部操作可以通过计算机系统上的特定硬件来实现和/或作为存储在计算机系统的非暂时性计算机可读介质上的计算机可读指令来实现。如所存储的，计算机可读指令表示包括可由计算机系统处理器执行的代码的可编程模块。这种指令的执行配置计算机系统以执行相应的操作。每个可编程模块与处理器共同表示一种用于执行相应操作的装置。虽然这些操作以特定顺序示出，但应当理解，特定顺序并不是必须的，并且可以省略、跳过和/或重新排序一个或多个操作。
在过程300的开始，扫描一个或多个产品302以生成产品模型数据304。所生成的产品模型304作为产品302的3D虚拟表示，产品模型304可以通过使用相机和/或深度传感器从多个视角扫描产品302来生成。在过程300的步骤1，将多个生成的产品模型304提供给移动应用服务器204，以存储在对象模型数据240中。产品模型304可由多个不同实体生成。例如，特定产品的产品模型可以由该产品的制造商生成。
另外，在过程300的步骤2，使用安装在用户设备202上的相机和/或深度传感器对用户进行扫描以生成用户模型数据308。下面将参考图4更详细地解释用于生成对象(例如，用户)模型的一些示例技术。在过程300的步骤3，将用户模型数据308发送给移动应用服务器204，以存储在用户模型数据238中。在一些情况下，用户模型数据308可以与为被扫描的用户而维护的账户相关地存储。
移动应用服务器204接收来自用户的使用流数据306的请求。在过程300的步骤4，在收到使用流数据306的请求后，移动应用服务器204从其位置检索流数据306。在一些实施例中，流数据306可以由移动应用服务器204维护。在一些实施例中，流数据306可以由与移动应用服务器204分离的实体来维护。例如，用户可以通过移动应用服务器204请求观看由YOUTUBE.comTM托管的视频文件，该移动应用服务器204为安装在用户的移动设备上的移动应用提供支持。在该示例中，用户可以提供视频的统一资源定位符(URL)或其他标识符。然后，移动应用服务器204可以通过访问URL来检索视频文件。一旦检索到流数据306，移动应用服务器204识别一个或多个相关产品以及演示者的姿势。如在其他地方所描述的，这里可以使用如上面关于图2所描述的试穿模块232和/或姿势模块234来完成。
下面介绍由姿势模块234执行的步骤。在过程300的步骤5，过程300包括确定流数据306内演示者的姿势。这里包括首先(例如，使用一种或多种机器视觉技术)识别流数据内的演示者，然后使用任何合适的姿势估计技术估计该演示者的姿势。本领域技术人员应当意识到可以采用多种合适的技术。一般来说，对象的姿势指示该对象的位置和朝向。对于演讲者，所估计的姿势包括演示者的各身体部分或关节的位置和朝向的记录。
在对演示者的姿势进行估计之后，姿势模块234将该姿势应用于用户模型。为此，在过程300的步骤6，姿势模块234检索用户模型。用户模型是表示人的三维模型，该三维模型与该人或链接到该人的帐户相关联地存储在用户模型数据238中。当接收到关于特定用户的使用流数据306的请求时，姿势模块234可以从用户模型数据238中检索与此人相关联的用户模型。一旦检索到，姿势模块234将演示者的估计的姿势应用于检索到的用户模型。为此，姿势模块234重新定位用户模型的各个身体部分，以匹配演示者的各身体部分的位置和朝向的记录。然后，在过程300的步骤7，将摆好姿势的用户模型提供给试穿模块232。
下面介绍由试穿模块232执行的步骤。在过程300的步骤8，过程300包括检索一个或多个产品模型。首先，试穿模块232识别与流数据306相关联的一个或多个产品。在一些实施例中，流数据306可以包括一个或多个产品的指示。例如，流式数据306可以具有附加的元数据，其指示与流式数据306相关联的存货单元(SKU)或其他产品标识符。在一些实施例中，可以使用机器视觉技术(例如，对象识别)从流数据306识别一个或多个产品。例如，试穿模块232可以通过将产品的视觉属性同存储在由移动应用服务器204维护的电子目录中的与多个产品相关的属性进行比较来识别流数据306内的演示者穿着的特定产品(例如，衬衫或裤子)。在该示例中，试穿模块232可以识别电子目录中与演示者穿着的产品最匹配的产品。一旦试穿模块232识别出与流数据306相关联的一个或多个产品，则从对象模型数据中检索这些产品的产品模型。
在过程300的步骤9，将在步骤8获得的一个或多个产品模型试穿到步骤7中提供的摆好姿势的用户模型上。通过调整一组参数将产品模型试穿到摆好姿势的用户模型上，所述参数控制所述产品模型的一个或多个感兴趣区域的变形，直到产品模型与用户模型相配。这组参数可以定义为一组测量值，例如产品模型每个顶点的位移。这个过程可以被描述为一个优化过程，其中可以使用几种不同的优化算法来找到使一个或多个成本函数最小化的最佳参数集。成本函数可以定义为两个3D模型的网格之间的穿透次数、身体网格顶点与衣服网格顶点之间的平均距离等。申请号为62/987,196、申请名称为“用于虚拟试衣的系统和方法(SYSTEM AND METHOD FOR VIRTUAL FITTING)”的美国专利申请更详细地介绍了渲染试穿在用户模型上的产品模型的技术的进一步示例，出于所有目的，该美国专利申请的全部内容在此以引入的方式并入本发明。
一旦产品模型被试穿到用户模型上，则在步骤10渲染这些模型。渲染是使用阴影和颜色赋予3D模型实体外观的过程。本领域的技术人员可以认识到，有多种合适的技术来渲染试穿到摆好姿势的用户模型上的产品模型。在一些实施例中，用渲染的模型来增强流数据306。例如，渲染的模型可以作为增强的可视数据摆放在流数据306内部的小窗口内，使得流数据306的观看者(例如，用户)可以在观看流数据306的同时观看该渲染的模型。
然后，在过程300的步骤11，将渲染的模型(例如，增强的流数据)提供给用户设备202。在收到渲染的模型时，用户设备202可将该渲染的模型呈现给用户。例如，用户设备202可以经由媒体播放器应用播放增强的流数据。
在一些实施例中，当使用增强的流数据306时，可以执行附加处理。例如，正在呈现增强的流数据306的用户设备202可以通过安装在用户设备202前置摄像头采集正在观看该增强的流数据306的用户的图像信息。在该示例中，可以从图像信息中提取用户的面部数据并将其覆盖到渲染的用户模型上，从而将用户的面部和面部表情数据提供给用户模型。
应当理解，图3所示的具体步骤提供了根据本发明实施例的呈现使用虚拟试衣数据增强后的数据流的特定方法。如上所述，根据替代实施例，也可以按其他顺序执行步骤。例如，本发明的替代实施例可以以不同的顺序执行上述步骤。此外，图3所示的各个步骤可以包括多个子步骤，这些子步骤可以按照适合于各个步骤的各种顺序执行。此外，可以根据特定应用添加或删除步骤。本领域技术人员可以得到许多变化、修改和替代方案。
图4示出了根据至少一些实施例的使用传感器数据获得3D模型的技术的说明性示例。根据至少一些实施例，传感器数据402可以从安装在用户设备上的一个或多个输入传感器获取。所捕获的传感器数据402包括由照相机设备捕获的图像信息404以及由深度传感器捕获的深度图信息406。
如上所述，传感器数据402包括图像信息404。可以对图像信息404使用一种或多种图像处理技术，从而识别该图像信息404内的一个或多个对象。例如，可以使用边缘检测来识别图像信息404内包括对象的区域408。为此，可以在图像上识别亮度、颜色和/或纹理上的不连续性，从而检测图像内各种对象的边缘。区域408示出了突出这种不连续性的椅子的说明性示例图像。
如上所述，传感器数据402包括深度信息406。在深度信息406中，可以为每个像素分配一个值，所述值表示用户设备和对应于该像素位置的特定点之间的距离。可以分析深度信息406以检测深度信息406内深度的突然变化。例如，距离的突然变化可以指示深度信息406内的对象的边缘或边界。
在一些实施例中，传感器数据402包括图像信息404和深度信息406两者。在这些实施例中的至少一些中，可以首先在图像信息404或深度信息406中识别出对象，并且从其他信息中确定对象的各种属性。例如，可以使用边缘检测技术来识别图像信息404内包括对象408的区域。然后，可以将区域408映射到深度信息中的对应区域410，从而确定识别的对象的深度信息(例如，点云)。在另一示例中，可以首先在深度信息406内识别包括对象的区域410。在该示例中，然后可以将区域410映射到图像信息中的对应区域408，从而确定识别的对象的外观属性(例如，颜色或纹理值)。
在一些实施例中，传感器数据402中识别的对象的各种属性(例如，颜色、纹理、点云数据、对象边缘)可以用作机器学习模块的输入，以便识别或生成与识别的对象匹配的3D模型412。在一些实施例中，可以从深度信息和/或图像信息生成对象的点云，并将其与存储在数据库中的点云数据进行比较，从而识别出最匹配的3D模型。或者，可以使用传感器数据402生成对象(例如，用户或产品)的3D模型。为此，可以使用从深度信息406的区域410中获得的点云数据创建网格。然后，系统可以将来自于图像信息404中与区域410对应的区域的外观数据映射到网格，从而生成基本3D模型。尽管描述了特定的技术，但应当注意的是，存在许多用于从传感器输出识别特定对象的技术。
如同别处所述，由用户设备(例如，图1的用户设备102)捕获的传感器数据可用于使用上述技术生成用户3D模型。然后可以将该用户3D模型作为用户数据提供给移动应用服务器。在一些实施例中，传感器数据可用于生成产品的3D模型，该3D模型可存储在对象模型数据238中。例如，希望销售产品的用户可以从用户设备捕获与产品有关的传感器数据。然后，用户的用户设备可以按照上面所述的方式生成3D模型，并且将该3D模型提供给移动应用服务器。
图5示出了根据本发明实施例的用于演示可实现的一些示例特征的图形用户界面(GUI)的示例。在图5中，示例用户设备502被示为具有可在其上呈现视觉数据的显示屏。用户设备502是上面参照图2描述的用户设备202的示例。
如图5所示，安装在用户设备502上的软件应用(例如，媒体查看器应用)的GUI可用于呈现流数据504。流数据504至少包括至少一个演示者506和产品508，其中演示者是流数据506中示出的人。产品508可以由流数据504内的演示者506穿戴或以其他方式呈现。
如同别处所述，可将摆好姿势并试穿的模型510与流数据504一同呈现。例如，该模型510可以在分离窗口512内呈现，该窗口512位于能够最小化对流数据504的观看形成的任何妨碍的位置，有时被称为画中画。模型510包括表示流数据504的当前观看者的用户模型，该用户模型已经以类似于演示者508的方式摆好姿势并且已经试穿了表示产品508的产品模型。
图6示出了至少一些实施例提供的用于向用户呈现虚拟试衣数据的过程的流程图。图6中示出的过程600可以由与用户设备(例如，图2的用户设备202)通信的移动应用服务器(例如，图2的移动应用服务器204)执行。
在602，过程600包括接收用户正在使用的媒体内容的指示。例如，可以接收到用户正在观看流式视频的指示，其中流式视频是一种媒体内容。所指示的媒体内容可以包括对演示者的展示，其中演示者是不同于用户的人。所指示的媒体内容还可以包括由演示者呈现的产品的描述。例如，产品可能是媒体内容中演示者所穿的衣服。
在604，过程600包括识别与媒体内容相关联的产品。在一些实施例中，通过标识符来识别与所述媒体内容相关联的所述产品，所述标识符与包含在所述媒体内容的元数据中的所述产品相关联。在一个示例中，与所述产品相关联的所述标识符是SKU编号。在一些实施例中，通过对象识别来识别与所述媒体内容相关联的产品。
在606，过程600包括获取表示所述产品的第一3D模型。为此，从其中存储有对象模型数据(例如，图2的对象模型数据240)的数据库中检索与在604中识别的产品相关联的3D模型。在一些实施例中，可以基于存储的与正在观看媒体内容的用户有关的信息来选择产品的适当尺寸和/或样式。
在608，过程600包括获取表示所述用户的第二3D模型。在一些实施例中，用户模型可以与一个或多个帐户相关联地存储。在这些实施例中，第二3D模型可通过与用于观看媒体内容的帐户相关联地存储来识别和检索。在一些实施例中，可以从正在用于观看媒体内容的用户设备接收表示用户的第二3D模型。
在610，过程600包括根据所述媒体内容确定演示姿势。将演示姿势确定为媒体内容内演示者当前的姿势。这里可以使用任何合适的姿势估计技术来完成。所确定的演示姿势包括对用户模型的各个部位(例如，身体部位)及其各自位置和朝向的指示。
在612，过程600包括将所述演示姿势应用于所述第二3D模型。为此，可以调整第二3D模型的各个部位(例如，身体部位)的位置和朝向，使得它们与演示姿势数据中对应的位置和朝向匹配。
在614，过程600包括通过使所述第二3D模型试穿所述第一3D模型来生成第三3D模型。这里使第一3D模型变形以最小化第一3D模型与第二3D模型之间的距离。
在616，过程600包括将所述第三3D模型呈现给所述用户。这里涉及渲染第三3D模型并将第三3D模型提供给正在呈现媒体内容的用户设备。第三3D模型与媒体内容一同呈现。例如，媒体内容可被增强以包括第三3D模型(例如，在媒体内容内的单独窗口中)。
应当理解，根据本发明实施例，图6所示的具体步骤提供了向用户呈现虚拟试衣数据的特定方法。如上所述，根据替代实施例，也可以执行其他步骤序列。例如，本发明的替代实施例可以以不同的顺序执行上述步骤。此外，图6所示的各个步骤可以包括多个子步骤，这些子步骤可以按照适合于各个步骤的各种顺序执行。此外，可以根据特定应用添加或删除步骤。本领域技术人员可以得到许多变化、修改和替代方案。
图7示出了一些实施例提供的计算机系统组件的示例。计算机系统700是本公开描述的计算机系统的示例。尽管这些组件被示为属于同一个计算机系统700的，但是计算系统700也可以是分布式的。
计算系统700至少包括处理器702、存储器704、存储设备706、输入/输出(input/output，I/O)外围设备708、通信外围设备710和接口总线712。接口总线712可以用于在计算系统700的各种组件之间通信、发送和传输数据、控制和命令。存储器704和存储设备706可以包括计算机可读存储介质，例如RAM、ROM、电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、硬盘驱动器、CD-ROM、光存储设备、磁存储设备、电子非易失性计算机存储(例如，存储器)以及其他有形存储介质。任何这样的计算机可读存储介质都可以用于存储实施本公开的各方面的指令或程序代码。存储器704和存储设备706还可以包括计算机可读信号介质。计算机可读信号介质包括传播的数据信号，其中包含计算机可读程序代码。这种传播的信号采用多种形式中的任何一种，包括但不限于电磁、光学或其任何组合。计算机可读信号介质包括不是计算机可读存储介质并且可以通信、传播或传输用于与计算系统700结合使用的程序的任何计算机可读介质。
此外，存储器704包可以包括操作系统、程序和应用。处理器702可以用于执行存储的指令并且包括例如逻辑处理单元、微处理器、数字信号处理器和其他处理器。存储器704和/或处理器702可以被虚拟化并且可以被托管在例如云网络或数据中心的另一计算系统中。输入/输出外围设备708可以包括用户接口，例如键盘、屏幕(例如，触摸屏)、麦克风、扬声器、其他输入/输出设备，以及计算组件，例如图形处理单元、串行端口、并行端口、通用串行总线和其他输入/输出外围设备。输入/输出外围设备708通过耦合到接口总线712的任何端口连接到处理器702。通信外围设备710可以用于促进计算系统700和其他计算设备之间通过通信网络的通信，并且包括例如网络接口控制器、调制解调器、无线和有线接口卡、天线和其他通信外围设备。
图8示出了至少一些实施例提供的用于向用户呈现虚拟试衣数据的装置的框图。图8中示出的装置800可以实现为与用户设备(例如，图2的用户设备202)通信的移动应用服务器(例如，图2的移动应用服务器204)。
装置800包括接收模块802，该接收模块802被配置为接收用户正在观看的媒体内容的指示。例如，可以接收到用户正在观看流式视频的指示，其中流式视频是一种媒体内容。所指示的媒体内容可以包括对演示者的描述，其中演示者是不同于用户的人。所指示的媒体内容还可以包括由演示者呈现的产品的描述。例如，产品可能是媒体内容中演示者所穿的衣服。
装置800还包括识别模块804，该识别模块804被配置为识别与媒体内容相关联的产品。在一些实施例中，通过标识符来识别与所述媒体内容相关联的所述产品，所述标识符与包含在所述媒体内容的元数据中的所述产品相关联。在一个示例中，与所述产品相关联的所述标识符是存货单元(SKU)编号。在一些实施例中，通过对象识别来识别与所述媒体内容相关联的产品。
装置800还包括获取模块806，该获取模块806被配置为获取表示所述产品的第一三维(3D)模型。为此，从其中存储有对象模型数据(例如，图2的对象模型数据240)的数据库中检索与在604中识别的产品相关联的3D模型。在一些实施例中，可以基于存储的与正在观看媒体内容的用户有关的信息来选择产品的适当尺寸和/或样式。
获取模块806还被配置为获取表示所述用户的第二3D模型。在一些实施例中，用户模型可以与一个或多个帐户相关联地存储。在这些实施例中，第二3D模型可通过与用于观看媒体内容的帐户相关联地存储来识别和检索。在一些实施例中，可以从正在用于观看媒体内容的用户设备接收表示用户的第二3D模型。
装置800还包括确定模块808，该确定模块808被配置为根据所述媒体内容确定演示姿势。将演示姿势确定为媒体内容内演示者当前的姿势。这里可以使用任何合适的姿势估计技术来完成。所确定的演示姿势可包括对用户模型的各个部位(例如，身体部位)及其各自位置和朝向的指示。
装置800还包括应用模块810，该应用模块810被配置为将所述演示姿势应用于所述第二3D模型；为此，可以调整第二3D模型的各个部位(例如，身体部位)的位置和朝向，使其与演示姿势数据中对应的位置和朝向匹配。
装置800还包括生成模块812，该生成模块812被配置为通过使所述第二3D模型试穿所述第一3D模型来生成第三3D模型。这里使第一3D模型变形以最小化第一3D模型与第二3D模型之间的距离。
装置800还包括呈现模块814，该呈现模块814被配置为将所述第三3D模型呈现给所述用户。这里涉及渲染第三3D模型并将第三3D模型提供给正在呈现媒体内容的用户设备。第三3D模型与媒体内容一同呈现。例如，媒体内容可被增强以包括第三3D模型(例如，在媒体内容内的单独窗口中)。
尽管本主体已针对其特定实施例进行了详细描述，但应当理解，本领域技术人员在获得对前述内容的理解后，可以容易地产生对这些实施例的改变、变化和等价物。因此，应当理解，本公开是为了示例而不是限制的目的而呈现的，并且不排除包含对于普通技术人员来说是显而易见的对本主题的这种修改、变化和/或添加。实际上，本公开描述的方法和系统可以以多种其他形式实施；此外，在不背离本公开的精神的情况下，可以对本公开描述的方法和系统的形式进行各种省略、替换和改变。所附权利要求及其等价物旨在覆盖落入本公开的范围和精神内的此类形式或修改。
除非另有明确说明，否则应了解，贯穿本说明书的讨论使用诸如“处理”、“计算”、“算”、“确定”和“识别”等术语是指计算设备(例如一个或多个计算机或类似的电子计算设备)的动作或过程，计算设备在计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备中操纵或转换表示为物理电子或磁量的数据。
这里讨论的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括提供以一个或多个输入为条件的结果的任何合适的组件布置。合适的计算设备包括访问存储的软件的基于微处理器的多用途计算机系统，该软件将计算系统从通用计算装置编程或配置为实现本主题的一个或多个实施例的专用计算装置。任何合适的编程、脚本或其他类型的语言或语言的组合可用于在用于编程或配置计算设备的软件中实施本文中包含的教导。
本文公开的方法的实施例可以在这样的计算设备的操作中执行。以上示例中呈现的框的顺序可以改变，例如，框可以被重新排序、组合和/或分解成子框。某些框或过程可以并行执行。
本文使用的条件性语言，例如“能够”、“可以”、“可能”、“可”、“例如”等，除非另有明确说明或在所使用的上下文中以其他方式理解，通常旨在传达某些示例包括而其他示例不包括某些特征、元素和/或步骤。因此，这种条件性语言通常并不意味着一个或多个示例以任何方式需要特征、元素和/或步骤，或者一个或多个示例必须包括用于在有或没有作者输入或提示的情况下决定是否包括或将在任何特定示例中执行这些特征、元素和/或步骤的逻辑。
术语“包括”、“包含”、“具有”等是同义词，并且以开放式的方式包含性地使用，并且不排除其他元素、特征、动作、操作等。此外，术语“或”以其包含性(而非排他性)使用，从而当例如用于连接元素列表时，术语“或”表示列表中的一个、一些或全部元素。此处使用的“适用于”或“用于”是指开放和包含性的语言，不排除适用于或用于执行附加任务或步骤的设备。此外，“基于”的使用意味着开放和包含，因为“基于”一个或多个列举的条件或值的过程、步骤、计算或其他动作实际上可能基于列举的之外的附加条件或值。类似地，“至少部分基于”的使用意味着开放和包含，因为“至少部分基于”一个或多个列举的条件或值的过程、步骤、计算或其他动作实际上可以基于列举的之外的附加条件或值。本文包括的标题、列表和编号仅是为了便于解释，并不意味着限制。
上述各种特征和过程可以彼此独立地使用，或者可以以各种方式组合使用。所有可能的组合和子组合旨在落入本公开的范围内。此外，在一些实施方式中可以省略某些方法或过程框。本文描述的方法和过程也不限于任何特定的顺序，并且与其相关的框或状态可以以其他适当的顺序来执行。例如，所描述的框或状态可以以不同于具体公开的顺序执行，或者多个框或状态可以组合在单个框或状态中。示例框或状态可以串行、并行或以某种其他方式执行。可以将框或状态添加到所公开的示例中或从所公开的示例中删除。类似地，本文描述的示例系统和组件可以被配置为与所描述的不同。例如，与所公开的示例相比，可以添加、移除或重新排列元素。

Claims (28)

1.一种方法，包括：
接收用户正在观看的媒体内容的指示；
识别与所述媒体内容相关联的产品；
获取表示所述产品的第一三维3D模型；
获取表示所述用户的第二3D模型；
根据所述媒体内容确定演示姿势；
将所述演示姿势应用于所述第二3D模型；
通过使第二3D模型试穿第一3D模型，来生成第三3D模型；以及
以所述演示姿势将第三3D模型呈现给所述用户。
2.根据权利要求1所述的方法，其中，所述与所述媒体内容相关联的产品是通过标识符来识别的，所述标识符与包含在所述媒体内容的元数据中的所述产品相关联。
3.根据权利要求2所述的方法，其中，与所述产品相关联的所述标识符是存货单元SKU编号。
4.根据权利要求1所述的方法，其中，表示所述产品的第一3D模型是从3D模型目录获得的。
5.根据权利要求1所述的方法，其中，所述媒体内容包括流式视频。
6.根据权利要求1所述的方法，其中，其中所述产品是由所述媒体内容内的演示者穿着的衣服，并且其中，所述演示姿势包括所述演示者的姿势。
7.根据权利要求6所述的方法，其中，所述演示者包括不同于所述用户的第二用户。
8.一种系统，包括：
处理器；以及
包括有指令的存储器，当所述指令由所述处理器执行时，至少使所述系统：
接收用户正在观看的媒体内容的指示；
识别与所述媒体内容相关联的产品；
获取表示所述产品的第一三维3D模型；
获取表示所述用户的第二3D模型；
根据所述媒体内容确定演示姿势；
将所述演示姿势应用于第二3D模型；
通过使第二3D模型试穿第一3D模型，来生成第三3D模型；以及
以所述演示姿势将第三3D模型呈现给所述用户。
9.根据权利要求8所述的系统，其中，所述与所述媒体内容相关联的产品是通过标识符来识别的，所述标识符与包含在所述媒体内容的元数据中的所述产品相关联。
10.根据权利要求9所述的系统，其中，与所述产品相关联的所述标识符是存货单元SKU编号。
11.根据权利要求8所述的系统，其中，表示所述产品的所述第一3D模型是从3D模型目录获得的。
12.根据权利要求8所述的系统，其中，其中所述产品是由所述媒体内容内的演示者穿着的衣服，并且其中，所述演示姿势包括所述演示者的姿势。
13.根据权利要求12所述的系统，其中，所述演示者包括不同于所述用户的第二用户。
14.根据权利要求8所述的系统，其中，所述媒体内容包括流式视频。
15.一种非暂时性计算机可读介质，存储特定计算机可执行指令，当所述指令由处理器执行时，至少使计算机系统：
接收用户正在观看的媒体内容的指示；
识别与所述媒体内容相关联的产品；
获取表示所述产品的第一三维3D模型；
获取表示所述用户的第二3D模型；
根据所述媒体内容确定演示姿势；
将所述演示姿势应用于第二3D模型；
通过使第二3D模型试穿第一3D模型，来生成第三3D模型；以及
以所述演示姿势将第三3D模型呈现给所述用户。
16.根据权利要求15所述的非暂时性计算机可读介质，其中，通过标识符来识别与所述媒体内容相关联的所述产品，所述标识符与包含在所述媒体内容的元数据中的所述产品相关联。
17.根据权利要求16所述的非暂时性计算机可读介质，其中，与所述产品相关联的所述标识符是存货单元SKU编号。
18.根据权利要求15所述的非暂时性计算机可读介质，其中，表示所述产品的第一3D模型是从3D模型目录获得的。
19.根据权利要求15所述的非暂时性计算机可读介质，其中，其中所述产品是由所述媒体内容内的演示者穿着的衣服，并且其中，所述演示姿势包括所述演示者的姿势。
20.根据权利要求15所述的非暂时性计算机可读介质，其中，所述媒体内容包括流式视频。
21.一种装置，包括：
接收模块，被配置为接收用户正在观看的媒体内容的指示；
识别模块，被配置为识别与所述媒体内容相关联的产品；
获取模块，被配置为获取表示所述产品的第一三维3D模型以及表示所述用户的第二3D模型；
确定模块，被配置为根据所述媒体内容确定演示姿势；
应用模块，被配置为将所述演示姿势应用于第二3D模型；
生成模块，被配置为通过使第二3D模型试穿第一3D模型生成第三3D模型；以及
呈现模块，被配置为以所述演示姿势将第三3D模型呈现给所述用户。
22.根据权利要求21所述的装置，其中，与所述媒体内容相关联的所述产品是通过标识符来识别的，所述标识符与包含在所述媒体内容的元数据中的所述产品相关联。
23.根据权利要求22所述的装置，其中，与所述产品相关联的所述标识符是存货单元SKU编号。
24.根据权利要求21所述的装置，其中，表示所述产品的所述第一3D模型是从3D模型目录获得的。
25.根据权利要求21所述的装置，其中，所述媒体内容包括流式视频。
26.根据权利要求21所述的装置，其中，所述产品是由所述媒体内容内的演示者穿着的衣服，并且其中，所述演示姿势包括所述演示者的姿势。
27.根据权利要求26所述的装置，其中，所述演示者包括不同于所述用户的第二用户。
28.一种计算机程序，其中，当所述计算机程序由处理器执行时，使所述处理器执行权利要求1至7中任一项所述的方法。
CN202180014731.XA 2020-03-10 2021-02-26 直播期间用于虚拟试衣的系统及方法 Pending CN115104319A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062987474P 2020-03-10 2020-03-10
US62/987,474 2020-03-10
PCT/CN2021/078259 WO2021179919A1 (en) 2020-03-10 2021-02-26 System and method for virtual fitting during live streaming

Publications (1)

Publication Number Publication Date
CN115104319A true CN115104319A (zh) 2022-09-23

Family

ID=77671217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180014731.XA Pending CN115104319A (zh) 2020-03-10 2021-02-26 直播期间用于虚拟试衣的系统及方法

Country Status (2)

Country Link
CN (1) CN115104319A (zh)
WO (1) WO2021179919A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060230123A1 (en) * 2005-04-07 2006-10-12 Simmons Bonnie J Online Shopping and Item Selection System and Method
CN103533449A (zh) * 2012-12-20 2014-01-22 Tcl集团股份有限公司 一种基于智能3d电视的3d试衣的实现方法及系统
CN104902345A (zh) * 2015-05-26 2015-09-09 多维新创（北京）技术有限公司 实现商品交互式广告和销售的方法及系统
CN105872839A (zh) * 2016-05-05 2016-08-17 北京京东尚科信息技术有限公司 视频分享实现方法以及系统
CN109598541A (zh) * 2018-11-19 2019-04-09 中信国安广视网络有限公司 基于视频识别的大屏广告推荐方法
CN109963201A (zh) * 2017-12-26 2019-07-02 深圳Tcl新技术有限公司 一种实时购物方法、系统、智能网络电视及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8261306B2 (en) * 2001-12-11 2012-09-04 Koninklijke Philips Electronics N.V. System for and method of shopping through television
CN102156810A (zh) * 2011-03-30 2011-08-17 北京触角科技有限公司 增强现实实时虚拟试衣系统及方法
CN103678836B (zh) * 2012-08-30 2019-03-22 北京三星通信技术研究有限公司 虚拟试衣系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060230123A1 (en) * 2005-04-07 2006-10-12 Simmons Bonnie J Online Shopping and Item Selection System and Method
CN103533449A (zh) * 2012-12-20 2014-01-22 Tcl集团股份有限公司 一种基于智能3d电视的3d试衣的实现方法及系统
CN104902345A (zh) * 2015-05-26 2015-09-09 多维新创（北京）技术有限公司 实现商品交互式广告和销售的方法及系统
CN105872839A (zh) * 2016-05-05 2016-08-17 北京京东尚科信息技术有限公司 视频分享实现方法以及系统
CN109963201A (zh) * 2017-12-26 2019-07-02 深圳Tcl新技术有限公司 一种实时购物方法、系统、智能网络电视及存储介质
CN109598541A (zh) * 2018-11-19 2019-04-09 中信国安广视网络有限公司 基于视频识别的大屏广告推荐方法

Also Published As

Publication number Publication date
WO2021179919A1 (en) 2021-09-16

Similar Documents

Publication Publication Date Title
US10586395B2 (en) Remote object detection and local tracking using visual odometry
CN110716645A (zh) 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN111787242B (zh) 用于虚拟试衣的方法和装置
US20190206137A1 (en) Augmented reality content rendering via albedo models, systems and methods
EP3370208A2 (en) Virtual reality-based apparatus and method to generate a three dimensional (3d) human face model using image and depth data
EP2786353B1 (en) Methods and systems for capturing and moving 3d models and true-scale metadata of real world objects
KR102120046B1 (ko) 오브젝트를 표시하는 방법
CN111414225B (zh) 三维模型远程展示方法、第一终端、电子设备及存储介质
CN109743626B (zh) 一种图像显示方法、图像处理方法和相关设备
JP2019503906A (ja) ３ｄプリントされたカスタム着用物の生成
WO2016114930A2 (en) Systems and methods for augmented reality art creation
CN110378947B (zh) 3d模型重建方法、装置及电子设备
CN107609946B (zh) 一种显示控制方法及计算设备
JP2016514865A (ja) 現実世界の分析可視化
US10147240B2 (en) Product image processing method, and apparatus and system thereof
CN109582122A (zh) 增强现实信息提供方法、装置及电子设备
CN112783700A (zh) 用于基于网络的远程辅助系统的计算机可读介质
US11941763B2 (en) Viewing system, model creation apparatus, and control method
CN111340865B (zh) 用于生成图像的方法和装置
WO2017113729A1 (zh) 360度图像加载方法、加载模块及移动终端
CN113965773A (zh) 直播展示方法和装置、存储介质及电子设备
CN111399655B (zh) 一种基于vr同步的图像处理方法及装置
KR20120082319A (ko) 윈도우 형태의 증강현실을 제공하는 장치 및 방법
CN113223186B (zh) 实现增强现实的处理方法、设备、产品和装置
WO2021179919A1 (en) System and method for virtual fitting during live streaming

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination