CN102981603A - 图像处理装置、图像处理方法和程序 - Google Patents

图像处理装置、图像处理方法和程序 Download PDF

Info

Publication number
CN102981603A
CN102981603A CN2012101671837A CN201210167183A CN102981603A CN 102981603 A CN102981603 A CN 102981603A CN 2012101671837 A CN2012101671837 A CN 2012101671837A CN 201210167183 A CN201210167183 A CN 201210167183A CN 102981603 A CN102981603 A CN 102981603A
Authority
CN
China
Prior art keywords
image
user
clothes
processing
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012101671837A
Other languages
English (en)
Other versions
CN102981603B (zh
Inventor
铃木诚司
笠原俊一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102981603A publication Critical patent/CN102981603A/zh
Application granted granted Critical
Publication of CN102981603B publication Critical patent/CN102981603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0621—Item configuration or customization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种图像处理装置、一种图像处理方法和一种程序。根据本发明的图像处理装置包括：显示控制部，配置成以提取运动捕获所需的信息的姿势显示人形虚拟对象图像，所述人形虚拟对象图像是与作为待识别的目标的人对应的待处置的对象。

Description

图像处理装置、图像处理方法和程序
技术领域
本公开涉及一种图像处理装置、一种图像处理方法和一种程序。更具体地，本公开涉及用于允许用户以自然的、不受影响的方式执行校准处理的一种图像处理装置、一种图像处理方法和一种程序。
背景技术
存在被称为AR（扩增现实）的技术，由此真实世界通过计算机虚拟地扩增。AR的一个应用是衣服试穿。更具体地，根据该技术，由相机拍摄的用户图像中的用户所穿的物理衣服被替换为虚拟衣服，使得可以看到用户穿上虚拟衣服（即，虚拟衣服重叠在用户的图像上）。
用于试穿目的的AR采用用于使用诸如加速度传感器、地磁传感器、相机和距离扫描仪的各种传感器来检测用户的运动的运动捕获技术以使虚拟衣服适合用户的身体（即，其图像）。具体地，检测用户的运动意味着连续获取作为待识别的目标的用户的关节的位置。
运动捕获技术使用两种技术之一：利用标记器的技术，以及不利用标记器的技术。
利用标记器的技术牵涉将易于检测的标记器附着到用户的关节。检测并获取这些标记器的位置使得可以了解作为待识别的目标的用户的关节的位置。
另一方面，不利用标记器的技术牵涉处理从各传感器获得的值以便估计作为待识别的目标的用户的关节的位置。例如，存在用于根据能够检测对象的深度距离的三维测量相机拍摄的深度图像识别用户的姿势（关节位置）的算法（例如，参见“Real-Time Human Pose Recognition in Parts fromSingle Depth Images”，Microsoft Research[在线]，于2011年5月23日在互联网上访问<URL:http://research.microsoft.com/pubs/145347/BodyPartRecognition.pdef>）。
对于不利用标记器的技术，为了正确地估计用户的关节的位置，牵涉获取关节之间的距离。因此在开始运动捕获之前，通常执行校准处理以基于由各传感器获得的值计算关节之间的距离。如果已使用皮尺等预先测量了关节之间的距离，则省略校准处理。
在校准处理中，如果要估计的用户的三个或更多个关节排列成直线，则理论上不能计算关节之间的距离。在这些情况下，请求用户将他或她的关节弯曲成被称为校准姿势的特定姿势。
发明内容
相关技术的校准处理具有以下问题：用户常常不能理解采取用于校准的姿势的意义。出于该原因，用户往往有被强迫采取无意义的姿势的印象。
再者，在执行运动捕获处理使CG（计算机图形）人物移动以跟踪用户的运动的情况下，例如当校准处理终止时，开始人物与用户的运动的同步。因此一旦校准处理结束，初始显示上的处于基准姿势的人物突然变成校准姿势，这可能呈现为人物的不自然的动作。
本公开考虑到上述情况并且提供了用于允许用户以自然的、不受影响的方式经历校准处理的布置。
根据本公开的一个实施例，提供了一种图像处理装置，包括：显示控制部，配置成以提取运动捕获所需的信息的姿势显示人形虚拟对象图像，人形虚拟对象图像是与作为待识别的目标的人对应的待处置的对象。
根据本公开的另一实施例，提供了一种图像处理方法，包括：以提取运动捕获所需的信息的姿势显示人形虚拟对象图像，人形虚拟对象图像是与作为待识别的目标的人对应的待处置的对象。
根据本公开的另一实施例，提供了一种用于使计算机执行处理的程序，该处理包括：以提取运动捕获所需的信息的姿势显示人形虚拟对象图像，人形虚拟对象图像是与作为待识别的目标的人对应的待处置的对象。
根据如上文概述而实施的本公开的一个实施例，以提取运动捕获所需的信息的姿势显示人形虚拟对象图像，作为与作为待识别的目标的人对应的待处置的对象。
顺便提及，本公开的程序可以被提供为经由传送介质传送或者记录在记录介质上。
本公开的图像处理装置可以是独立的装置或者构成单个装置的一部分的内部块。
因此根据本公开的一些实施例，以自然的、不受影响的方式促使用户经历校准处理。
附图说明
在阅读下面的描述和附图之后，本公开的另外的优点将变得明显，在附图中：
图1是示出作为本公开的一个实施例的虚拟试穿系统的典型配置的示意图；
图2是示出虚拟试穿系统的典型硬件配置的框图；
图3是说明由虚拟试穿系统执行的处理概况的流程图；
图4是说明校准处理的详细流程图；
图5是示出处于校准姿势的虚拟衣服的典型图像的示意图；
图6是说明关节位置估计处理的详细流程图；
图7A、7B、7C、7D和7E是详细说明关节位置估计处理的示意图；
图8是说明其中重叠虚拟衣服的处理的详细流程图；
图9是说明突出区域的示意图；
图10是说明突出区域的另一示意图；
图11是说明第二突出区域调整处理的流程图；
图12是说明尺寸表现呈现处理的流程图；以及
图13是说明触摸表现呈现处理的流程图。
具体实施方式
根据本公开的一个实施例，提供了一种图像处理装置，包括：显示控制部，配置成以提取运动捕获所需的信息的姿势显示人形虚拟对象图像，人形虚拟对象图像是与作为待识别的目标的人对应的待处置的对象。
根据本公开的另一实施例，提供了一种图像处理方法，包括：以提取运动捕获所需的信息的姿势显示人形虚拟对象图像，人形虚拟对象图像是与作为待识别的目标的人对应的待处置的对象。
[虚拟试穿系统的典型配置]
图1示出了作为本公开的一个实施例实践的虚拟试穿系统1的典型配置。
在图1中，虚拟试穿系统1将AR（扩增现实）技术应用于衣服的试穿。这是一种对用户成像并且显示将用户所穿的物理衣服替换为虚拟衣服的图像的系统。
虚拟试穿系统1包括用于对用户成像的成像部11、用于将虚拟衣服重叠在成像部11拍摄的图像上的图像处理部12、以及用于显示示出用户穿上虚拟衣服的图像的显示部13。
通过组合不同的专用硬件，诸如用作成像部11的成像设备、作为图像处理部12的图像处理设备、以及作为显示部13的显示设备，可以配置虚拟试穿系统1。替选地，可以使用单个通用个人计算机配置虚拟试穿系统。
[计算机的典型配置]
图2是使用个人计算机配置的虚拟试穿系统1的典型硬件配置的框图。在图2的附图标记中，图1中已使用的附图标记表示相同或相应的部分。
在用作虚拟试穿系统1的个人计算机中，CPU（中央处理单元）、ROM（只读存储器）102和RAM（随机存取存储器）103经由总线104互连。
输入/输出接口105也连接到总线104。输入/输出接口105与成像部11、输入部106、输出部107、存储部108、通信部109和驱动器110耦接。
成像部11通过例如，诸如CCD（电荷耦合器件）或CMOS（互补金属氧化物半导体）传感器的成像元件，以及能够获取关于构成成像元件的每个像素的深度信息的距离扫描仪来配置。成像部11对作为待识别的目标的用户成像，并且经由输入/输出接口105将所拍摄的图像以及关于每个配置像素的深度信息（即，数据）馈送到CPU 101和其他部件。
输入部106通过键盘、鼠标、麦克风等形成。输入部106接收输入信息并且经由输入/输出接口105将其转发到CPU 101和其他部件。输出部107由诸如液晶显示器的显示部13（图1），以及用于输出声音的扬声器构成。存储部108包括硬盘和/或非易失性存储器等，并且存储用于操作虚拟试穿系统1的多样的数据。使用网络接口等配置通信部109，其在连接到诸如局域网和互联网的网络时，传送和接收适当的信息。驱动器110驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除记录介质111。
在如上所述配置的计算机中，CPU 101借助于输入/输出接口105和总线104将用于执行的程序从例如存储部108加载到RAM 103中，并且执行如下文将讨论的虚拟试穿系统1的系列处理。就是说，用于实现虚拟试穿系统1的程序被加载到RAM 103中并且在RAM 103中执行以招致下文说明的多样的功能。CPU 101至少用作图像处理部，其将虚拟衣服重叠在对用户拍摄的图像上，并且用作显示控制部，其使显示部13显示重叠的图像。
在图2的个人计算机中，可以经由输入/输出接口105将程序从附接到驱动器110的可移除介质111安装到存储部108中。替选地，程序在被安装到存储部108中之前，可以由通信部109经由诸如局域网、互联网和数字卫星广播的有线或无线传送介质接收程序。作为另一替选方案，程序可以预先安装在ROM 102中或者存储部108中。
[虚拟试穿系统1的处理概况]
下文参照图3的流程图说明了由虚拟试穿系统1执行的处理的概况。例如，当使用键盘、鼠标等命令执行虚拟试穿系统1的处理时，可以开始该处理。
首先在步骤S1中，虚拟试穿系统1执行用于计算作为待识别的目标的用户的关节之间的距离的校准处理。
在步骤S2中，虚拟试穿系统1基于根据校准处理获得的关节之间的准确距离执行运动捕获处理。执行运动捕获处理以检测作为待识别的目标的用户的一个或更多个关节的位置。
在步骤S3中，基于根据运动捕获处理获得的用户的关节的位置，虚拟试穿系统1执行将待试穿的虚拟衣服（的图像）重叠在对用户拍摄的图像上的处理。根据该处理得到的其中虚拟衣服重叠在所拍摄的图像上的图像被显示在显示部13上。
在步骤S4中，虚拟试穿系统1确定是否执行终止操作。如果确定仍不执行终止操作，则控制返回到步骤S2。通过该方式，重复处理，由此再次检测用户的运动（即，关节位置），以与用户的运动配合的方式将虚拟衣服重叠在所拍摄的图像上，并且将得到的图像显示在显示部13上。
如果在步骤S4中确定执行终止操作，则终止该处理。
下文将依次地详细描述在图3中的步骤S1至S3中执行的处理。
[校准处理的细节]
下面是图3的步骤S1中的校准处理的详细说明。
图4是示出如图3中的步骤S1执行的校准处理的详细流程图。
首先在校准处理的步骤S11中，虚拟试穿系统1使显示部13以校准姿势显示虚拟衣服（的图像）。
图5示出了由虚拟试穿系统1显示在显示部13上的虚拟衣服的典型图像。
作为校准处理的初始显示，如图5中所示以校准姿势显示虚拟衣服。校准姿势是要求用户通过使他或她的适当关节弯曲以计算关节之间的距离而采取的姿势，该距离对于执行运动捕获处理是必要的。
当因而以校准姿势显示虚拟衣服时，也隐含地促使用户采取校准姿势；查看图5中的显示，期待用户采取适合虚拟衣服的姿态。替选地，可以呈现更加明确地要求用户采取校准姿势的信息，诸如陈述“请采取与所显示的衣服相同的姿势”的字幕或者通告同一内容的音频消息。
在图5的示例中，如所示出的，显示覆盖身体上半身的虚拟衣服，其中臂关节弯曲。可以根据基于图5的姿势计算的上身的关节之间的距离（即，根据上身的形状），估计腿关节之间的距离。如果虚拟衣服用于下半身，诸如裤子或裙子，则可以以下身校准姿势显示虚拟衣服，其中腿关节适当弯曲。
在步骤S11中以校准姿势显示虚拟衣服之后，到达步骤S12。在步骤S12中，虚拟试穿系统1获取由成像部11对用户拍摄的图像。
在步骤S13中，虚拟试穿系统1执行用于估计用户的关节的大致位置的关节位置估计处理。下面将参照图6更详细讨论的该处理牵涉估计用户的关节的大致位置。使用关节位置向量pn=(pnx,pny,pnz)表示通过该处理估计的用户的第n个关节（n=1，2，...,N）的位置。
在步骤S14中，虚拟试穿系统1计算指示每个用户的关节的估计位置和虚拟衣服的相应的关节位置之间的误差的关节间误差d。例如，关节间误差d可以被计算为d=Σ|pn-cn|，其中cn表示虚拟衣服的与关节位置向量pn对应的关节位置向量，并且Σ表示覆盖第一至第N个关节的总和。
在步骤S15中，虚拟试穿系统1确定计算的关节间误差d是否小于预定阈值th1。如果在步骤S15中确定计算的关节间误差d等于或大于阈值th1，则控制返回到步骤S12。随后再次执行用于计算关节间误差d的处理。
如果在步骤S15中确定计算的关节间误差d小于阈值th1，则控制转到步骤S16。在步骤S16中，虚拟试穿系统1基于所估计的关节位置，估计用户的关节之间的距离。在参照图6说明关节位置估计处理之后将进一步讨论用于估计关节之间的距离的处理。在估计用户的关节之间的距离之后，校准处理终止。
[关节位置估计处理的细节]
下面将参照图6的流程图详细说明在图4的步骤S13中执行的关节位置估计处理。在说明图6中的每个步骤时，将根据需要参照图7A至7E。
首先在步骤S21中，虚拟试穿系统1从在步骤S12中拍摄并获取的用户图像中提取用户区域。用户区域的提取可以基于例如背景差分技术。
图7A示出了在步骤S12中拍摄并获取的典型的用户图像。图7B示出了从拍摄的图像中提取的典型的用户区域（人形空白区域）。在步骤S21中提取用户区域之后，期待用户以适合虚拟衣服的方式采取校准姿势。这使得可以在一定程度上限制其中基于正在显示虚拟衣服的区域来搜索用户区域的范围。换言之，不需要执行在虚拟衣服的整个显示区域中搜索用户区域的处理。因为要求用户采取适合具有校准姿势的虚拟衣服的姿态，限制了其中搜索用户区域的范围，可以减少计算成本并且可以提高处理速度。
在步骤S22中，基于所提取的用户区域，虚拟试穿系统1从预先存储在存储部108中的图像辞典中取回与用户姿势相似的姿势图像。
存储部108保存图像辞典，该图像辞典包含作为对多样的体型的人拍摄的校准姿势图像的许多图像。当拍摄模特的姿势的图像时，有效地与模特的关节位置相结合地存储每个姿势图像。
图7C示出了存储部108中存储的辞典中的图像的示例。图中的空白圆圈（○）指示关节位置。在步骤S22中，使用例如模式匹配技术从图像辞典取回与用户姿势相似的位置图像。
在步骤S23中，虚拟试穿系统1从存储部108获取与取回的姿势图像相结合存储的每个模特的关节的位置，并且使每个关节位置二维地移动到用户区域的中心。二维移动意味着仅移动模特的关节位置向量p′n=(p′nx,p′ny,p′nz)的x和y坐标。
图7D示出了姿势图像中的由空白圆圈（○）指示的关节位置如何移动到与用户区域对应的由阴影圆圈表示的关节位置。
在步骤S24中，在预定关节间距离的约束下，虚拟试穿系统1根据二维关节位置计算（恢复）三维关节位置。就是说，在步骤S24中，将平均成人的平均关节间距离取作约束，根据二维关节位置计算三维关节位置。由于该处理是校准处理的一部分并且由于采取校准姿势的用户位于成像部11正前方，因此可以在所有深度信息相同的假设下恢复三维关节位置。这提供了诸如图7E中所示的三维关节位置（即，骨架）。
以上述方式，估计了用户的关节的大致位置。基于由此估计的用户的关节的大致位置计算关节间误差d。当关节间误差d被确定为小于阈值th1时，在图4的步骤S16中估计用户的关节之间的距离。
这里说明了如何在图4的步骤S16中估计关节间距离。正在采取校准姿势的用户位于成像部11的正前方，从而可以认为所有深度信息是相同的。出于该原因，当关节间误差d被确定为小于阈值th1时可以根据二维关节位置有效地获得关节间距离，并且因此获取的关节间距离可以被取为关节之间的三维距离。
[运动捕获处理的细节]
下面是在图3的步骤S2中执行的运动捕获处理的详细说明。
运动捕获处理牵涉检测（即，识别）作为待识别的目标的一个或更多个用户的关节的位置。因此图3的步骤S2中的处理基本上牵涉对成像部11拍摄的用户的图像执行关节位置估计处理（上文参照图6说明）。
应当注意，在两种关节位置估计处理之间，其中一种关节位置估计处理是校准处理的一部分而另一种关节位置估计处理是校准处理之后的运动捕获处理，存在如下两个差别：
作为第一差别，在这两种处理之间在步骤S23中搜索并取回的姿势图像是不同的。在校准处理期间，假设用户采取校准姿势。因此可以通过仅对校准姿势图像进行搜索来获得从存储部108中的图像辞典取回的姿势图像。另一方面，在校准处理之后的运动捕获处理期间，用户可以采取各种姿势，这使得需要对存储部108中存储的多样的姿势图像进行搜索。
作为第二差别，对步骤S24中的三维关节位置的计算的有效约束是不同的。在校准处理期间，将平均成人的平均关节间距离取作约束来计算三维关节位置。另一方面，在校准处理之后的运动捕获处理期间，在从校准处理获得的用户的关节之间的距离的约束下计算三维关节位置。
在下面的描述中，在适当的情况下，指示从运动捕获处理获取的每个用户的关节的位置的信息可以被总称为骨骼信息。
[重叠虚拟衣服的处理的细节]
下面是图3的步骤S3中的重叠虚拟衣服的处理的详细说明。
图8是如图3的步骤S3中执行的重叠虚拟衣服的处理的详细流程图。
在该处理中，将虚拟衣服重叠在成像部11在运动捕获处理期间对用户拍摄的图像上，所拍摄的图像是计算用户的关节的三维位置的图像。
首先在步骤S41中，虚拟试穿系统1在从所拍摄的用户的图像中提取的用户区域图像中确认上身衣服区域。例如，虚拟试穿系统1可以使用图形切割技术等，由此提取承载相似的颜色信息的像素群组，来辨别用户区域的上身侧的上身衣服区域。
在步骤S42中，基于用户的骨骼信息，虚拟试穿系统1确认拍摄图像的其上将重叠待试穿的虚拟衣服的位置，并且将虚拟衣服重叠在用户的图像的所确认的位置上。假设出于试穿用途重叠虚拟衣服的顺序是预定的或者由用户的选择操作确定。虚拟衣服数据被预先存储在存储部108中，并且假设虚拟衣服的区域是已知的。因此如果用户的骨骼信息已知，则可以确认其上将重叠虚拟衣服的位置。
在步骤S43中，虚拟试穿系统1将所确认的用户的上身的衣服区域（以下称为上身衣服区域）与其上重叠虚拟衣服的区域比较。在进行比较时，虚拟试穿系统1从重叠虚拟衣服的区域内部搜索构成上身衣服的突出的突出区域。
例如，在图9中，由实线包围的衣服区域表示重叠虚拟衣服的区域，并且由虚线包围的衣服区域表示用户的上身衣服区域。由实线包围的衣服区域外部和虚线包围的衣服区域内部的阴影部分构成了突出区域。
在步骤S44中，虚拟试穿系统1确定是否存在任何突出区域。如果在步骤S44中确定不存在突出区域，则跳过步骤S45（下文将讨论）并且到达步骤S46。
如果在步骤S44中确定存在突出区域，则控制转到步骤S45。在步骤S45中，虚拟试穿系统1执行突出区域调整处理，其中调整突出区域。
如果存在突出区域，则用户实际穿着的衣服的部分呈现在虚拟衣服外部，这可能是不自然的表现。因此在步骤S45中，执行第一或第二突出区域调整处理以使得上身衣服区域与重叠虚拟衣服的区域一致，第一处理扩展虚拟衣服，而第二处理缩窄上身衣服区域。更具体地，第一处理牵涉使虚拟衣服向四周扩展适当数目的像素，直至重叠虚拟衣服的区域覆盖用户的上身衣服区域，使得突出区域的上身衣服区域被替换为虚拟衣服。第二处理牵涉将突出区域的上身衣服区域替换为诸如背景图像的预定图像。
在步骤S46中，虚拟试穿系统1使显示部13显示其中虚拟衣服重叠在所拍摄的用户的图像上的重叠图像。这完成了虚拟衣服重叠处理，并且控制返回到图3中所示的处理。
[突出区域调整处理的细节]
下面是图8的步骤S45中执行的突出区域调整处理的说明。
在步骤S45中，如上文所述，执行第一或第二突出区域调整处理，第一处理使虚拟衣服向四周扩展适当数目的像素，直至重叠虚拟衣服的区域覆盖用户的上身衣服区域，使得突出区域的上身衣服区域被替换为虚拟衣服，第二处理将突出区域的上身衣服区域替换为诸如背景图像的预定图像。执行第一和第二处理中的哪一个处理可以被预先确定或者每次由用户或店员执行的操作确定。例如，如果用户希望检查虚拟衣服的尺寸，则用于改变虚拟衣服的尺寸（即，区域）的第一处理不适合该场合，使得选择并执行第二处理。
在选择并执行第二处理的情况下，尝试将背景图像均匀地替换为由图10中的圆圈指示的包括衣领、衣襟和衣袖的突出区域，可能导致其中背景图像使脖颈与虚拟衣服分离的不自然的表现（图像）。
为了避免这样的可能性，虚拟试穿系统1在执行第二处理时将突出区域分类为将由背景图像替换的区域或者将由背景图像以外的某个图像替换的区域。根据分类结果，虚拟试穿系统1将突出区域替换为背景图像或者某个其他图像以便缩窄突出区域的用户的衣服图像。与衣领、衣襟和衣袖对应并且将被替换为背景图像以外的图像的区域被用作区域检测部的CPU 101检测为特殊处理区域。
图11是示出第二突出区域调整处理的流程图。
首先在该处理的步骤S61中，虚拟试穿系统1将突出区域内部的适当像素设为关注像素。
在步骤S62中，虚拟试穿系统1确定关注像素是否构成特殊处理区域，即覆盖衣领、衣襟或衣袖的区域。可以基于用户的骨骼信息确定关注像素是否构成衣领、衣襟或衣袖的区域。如果虚拟衣服具有固定形状，则可以基于虚拟衣服的形状进行确定。
如果在步骤S62中确定关注像素不构成特殊处理区域，则控制转到步骤S63。在步骤S63中，虚拟试穿系统1将关注像素的像素值替换为背景图像中的相应的像素的像素值。假设背景图像已被预先获取并存储在存储部108中。
如果在步骤S62中确定关注像素构成特殊处理区域，则控制转到步骤S64。在步骤S64中，虚拟试穿系统1将关注像素的像素值替换为所拍摄的图像中的关注像素附近的像素的像素值。
更具体地，如果关注像素构成衣领区域，则虚拟试穿系统1以使脖颈的图像朝向衣领区域（图10中向下）扩展的方式，将关注像素的像素值替换为衣领区域的像素值。如果关注像素构成衣襟区域，则虚拟试穿系统1以使所拍摄的图像中的用户的诸如裤子或裙子的图像的下身衣服图像朝向衣襟区域（图10中向上）扩展的方式，将关注像素的像素值替换为下身衣服区域的像素值。此外，如果关注像素构成衣袖区域，则虚拟试穿系统1以使手腕的图像朝向衣袖区域扩展的方式，将关注像素的像素值替换为手腕区域的像素值。还可以基于骨骼信息确定进行扩展的方向。
如所说明的，在关注像素构成特殊处理区域的情况下，它们被替换为所拍摄的图像中的周围的像素值，并非被替换为背景图像的像素值。这使得可以避免当重叠虚拟衣服时可能观察到的不自然的表现（重叠显示）。
在步骤S63或S64之后的步骤S65中，虚拟试穿系统1确定突出区域内的所有像素是否均已被设为关注像素。
如果在步骤S65中确定突出区域中的并非所有像素被设为关注像素，则控制返回步骤S61并且重复后继处理。就是说，突出区域中的其他像素被设为关注像素，并且新设立的关注像素的像素值再次被替换为图像中的适当像素的像素值。
如果在步骤S65中确定突出区域中的所有像素已被设为关注像素，则突出区域调整处理终止，并且控制返回图8中所示的处理。
如上文所述，虚拟试穿系统1以校准姿势显示虚拟衣服，作为校准处理的初始显示。这隐含地促使用户也采取校准姿势，并且防止其中作为按照作为待识别的目标的用户的移动处置的对象的虚拟衣服，在完成校准之后突然变成校准姿势的不自然的运动。
在前面的示例中，按照作为待识别的目标的用户的移动处置的对象是虚拟衣服。然而，计算机图形（CG）创建的人物常常被用作待处置的对象。因此待处置的对象可以是人形虚拟对象。
在虚拟衣服正被显示为重叠在对用户拍摄的图像上时发现存在突出区域的情况下，虚拟试穿系统1执行将突出区域图像替换为诸如虚拟衣服的图像、背景图像或所拍摄的用户的图像的预定图像的处理。这防止了在重叠虚拟图像时可能观察到的不自然的表现。
[虚拟试穿系统1的典型应用]
下面说明了上述虚拟试穿系统1的一些典型应用。
当在真实世界中试穿衣服时，诸如衣服与人体的适合程度，衣料有多厚，以及质地触摸起来感觉如何的触摸感觉在选择衣服时起到重要的作用。但是对于AR系统，难于向用户提供与真实世界相同的触摸感觉。在该限制下，下面说明了其中虚拟试穿系统1执行将关于用户在试穿物理衣服时实际感受的触感的信息转换成将呈现给用户的视觉或音频信息的额外处理的应用。
[其中呈现尺寸表现的应用]
首先说明尺寸表现呈现处理，其用于表现当试穿衣服时通过触摸感觉尺寸如何（特别是局部地），诸如“当曲臂时肘部周围感觉紧”。
图12是示出尺寸表现呈现处理的流程图。
首先在该处理的步骤S81中，虚拟试穿系统1获取对用户拍摄的图像。
在步骤S82中，虚拟试穿系统1通过例如应用由轮廓重构对象三维模型（Shape-from-Silhouette）的方法或者使用深度相机从所拍摄的图像恢复用户的体形（三维形状）。
在步骤S83中，虚拟试穿系统1根据所拍摄的图像或者根据已恢复的用户的体形创建用户的骨骼信息。
在步骤S84中，虚拟试穿系统1基于已创建的用户的骨骼信息对重叠的虚拟衣服重新整形。就是说，对虚拟衣服重新整形以适合用户的运动（关节位置）。
在步骤S85中，虚拟试穿系统1计算虚拟衣服相对于用户的体形的紧密程度。例如，可以使用用于计算三维形状相对于虚拟衣服的诸如肩膀和肘部的一个或更多个预定区域之间的误差的ICP（迭代最近点）等算法来计算紧密程度。虚拟衣服和用户的体形之间的差（误差）越小，则紧密程度被确定为越小。假设虚拟衣服的三维形状被预先输入并且是已知的。
在步骤S86中，虚拟试穿系统1确定是否存在其中紧密程度小于预定阈值Th2的任何区域。
如果在步骤S86中确定存在其中紧密程度小于阈值Th2的区域，则控制转到步骤S87。在步骤S87中，虚拟试穿系统1将与紧密程度对应的表现应用于重叠的虚拟衣服并且使该表现被显示为重叠在用户的图像上。具体地，对于其中紧密程度小于阈值Th2的区域，虚拟试穿系统1可以将虚拟衣服显示为扯开或者伸长变薄（衣料的颜色可以被显示为更淡）或者可以输出指示虚拟衣服撕破的撕破声音。
如果在步骤S86中确定不存在其中紧密程度小于阈值Th2的区域，则控制转到步骤S88。在步骤S88中，虚拟试穿系统1使重新整形的虚拟衣服重叠在用户的图像上以适合用户的运动，没有将与紧密程度对应的任何表现应用到显示。
当执行上述处理时，可以视觉地或听觉地表现用户相对于正在试穿的物理衣服的尺寸实际感觉的触感。
[其中呈现触摸表现的应用]
下面是用于表现相对于质地的触摸感觉的触摸表现呈现处理的说明。在该情况下，存储部108结合指标存储关于待试穿的虚拟衣服的数据，作为指示它们的触感的元数据。例如，虚拟衣服的质地的摩擦系数或者质地表面上的不规则性的标准偏差可以被采用作为触感指标。
图13是示出触摸表现呈现处理的流程图。
从步骤S101至步骤S104的处理与图12中的从步骤S81至步骤S84的处理相同并且将不做进一步的讨论。
在步骤S105中，虚拟试穿系统1检测用户的手的位置。根据先前创建的骨骼信息或者通过根据对用户拍摄的图像识别手的形状，可以获得用户的手的位置。
在步骤S106中，虚拟试穿系统1确定用户的手是否正在移动。
如果在步骤S106中确定用户的手不在移动，则控制返回到步骤S105。
如果在步骤S106中确定用户的手正在移动，则控制转到步骤S107。
在步骤S107中，虚拟试穿系统1确定用户的手是否在重叠的虚拟衣服的区域内。
如果在步骤S107中确定用户的手在重叠的虚拟衣服的区域外部，则控制返回到步骤S105。
如果在步骤S107中确定用户的手在重叠的虚拟衣服的区域内，则控制转到步骤S108。在步骤S108中，虚拟试穿系统1基于表示虚拟衣服的触感的指标将指示触摸感觉的表现应用到重叠的虚拟衣服，并且将该表现显示为重叠在图像上。
例如，基于指示虚拟衣服的触感的指标，虚拟试穿系统1执行与用手揉搓衣服的次数成比例地绘出表面上起球的虚拟衣服的处理，或者输出诸如“咯吱声”或“沙沙声”的反映正在触摸的质地的声音的处理。球的数目及其尺寸或者给出声音频率可以根据表示虚拟衣服的触感的指标而变化。
触摸表现不限于其中用手揉搓虚拟衣服的情况。指示相似的触摸感觉的表现也可以应用于其中使虚拟衣服与预定对象接触的情况或者其中虚拟衣服的衣料与其他虚拟衣服的衣料接触的情况。
尽管上文将图12和13中的处理均说明为单个处理流程，但是它们可以适当地插入在图3中示出的处理步骤之间或者其他位置。
[其中呈现硬度表现的硬度]
下文说明用于表现主要可归于衣服质地的厚度的、衣服硬度的触感的硬度表现呈现处理。
在该情况下，关于待试穿的虚拟衣服的数据与作为指示虚拟衣服的质地硬度的元数据的指标相结合地存储在存储部108中。例如，质地的厚度或抗张强度可以被采用作为质地硬度指标。
在硬度表现呈现处理期间，虚拟试穿系统1可以通过基于质地硬度指标有效地使虚拟衣服飘动（摇摆），来按照用户的运动对重叠的虚拟衣服重新整形。使虚拟衣服飘动的程度可以根据所讨论的虚拟衣服的质地硬度指标而变化。这使得可以在视觉上呈现基本上被感觉为触感的质地的硬度。
[其中呈现温暖表现的应用]
当穿上衣服时感觉的温暖随着所讨论的衣服的衣料和厚度变化。下面是用于视觉地表现温觉的温暖表现呈现处理的说明。
在该情况下，关于待试穿的虚拟衣服的数据与作为指示当穿上衣服时感觉的温暖的元数据的指标相结合地存储在存储部108中。例如，针对每种衣料（棉、毛等）预先确定的适当值可以被采用作为温暖指标。
虚拟试穿系统1对正在重叠显示的图像执行温暖表现呈现处理。根据正被试穿的虚拟衣服的温暖指标，该处理可以牵涉将背景图像替换为天气温暖的夏威夷或者南方的某个其他区域的图像，将背景图像的色调替换为暖色调或冷色调，或者向背景图像提供特殊的失真效果，诸如如同空气因热而闪闪发光的热霾。
替选地，上述图像改变或者特殊效果可以根据表示正对用户成像的位置的温度或者用户的体温的温暖指标，应用于重叠显示的图像，每个温度由适当的温度传感器测量。作为另一替选方案，可以将针对试穿的虚拟衣服计算的用户的可感测的温度与当前测量的用户的体温比较。两个温度之间的差可以被用作温暖指标，可以根据该温暖指标执行上述图像改变或特殊效果。
作为另一替选方案，还可以向上述图像改变或特殊效果提供用作温暖指标的、针对每种衣料（棉、毛等）设定的值、正在拍摄图像的位置的温度以及用户的体温的适当加权的组合。
在本说明书中，流程图中描述的步骤不仅可以按图示顺序（即，时间顺序）执行，也可以并行地执行或者按照需要在被调用时单独地执行。
再者，在本说明书中，术语“系统”指的是由多个组成装置构成的整体配置。
本领域技术人员应理解，在所附权利要求或其等同物的范围内，可以根据设计需要和其他因素进行各种修改、组合、子组合和变更。
本公开也可以如下配置：
（1）一种图像处理装置，包括：显示控制部，配置成以提取运动捕获所需的信息的姿势显示人形虚拟对象图像，所述人形虚拟对象图像是与作为待识别的目标的人对应的待处置的对象。
（2）根据上述段（1）中描述的图像处理装置，其中所述的运动捕获所需的信息是所述人的关节之间的距离。
（3）根据上述段（1）或（2）中描述的图像处理装置，其中所述显示控制部额外地呈现用于促使所述人采取与所述姿势一致的姿态的信息。
（4）根据上述段（1）、（2）或（3）中描述的图像处理装置，其中所述人形虚拟对象图像是用于试穿用途的虚拟衣服的图像。
（5）一种图像处理方法，包括：以提取运动捕获所需的信息的姿势显示人形虚拟对象图像，所述人形虚拟对象图像是与作为待识别的目标的人对应的待处置的对象。
（6）一种用于使计算机执行处理的程序，所述处理包括：以提取运动捕获所需的信息的姿势显示人形虚拟对象图像，所述人形虚拟对象图像是与作为待识别的目标的人对应的待处置的对象。
本公开包含与2011年6月1日提交日本专利局的日本在先专利申请JP 2011-123194中公开的主题内容相关的主题内容，该在先申请的整体内容通过引用合并于此。

Claims (6)

1.一种图像处理装置，包括：
显示控制部，配置成以提取运动捕获所需的信息的姿势显示人形虚拟对象图像，所述人形虚拟对象图像是与作为待识别的目标的人对应的待处置的对象。
2.根据权利要求1所述的图像处理装置，其中所述的运动捕获所需的信息是所述人的关节之间的距离。
3.根据权利要求1所述的图像处理装置，其中所述显示控制部额外地呈现用于促使所述人采取与所述姿势一致的姿态的信息。
4.根据权利要求1所述的图像处理装置，其中所述人形虚拟对象图像是用于试穿用途的虚拟衣服的图像。
5.一种图像处理方法，包括：以提取运动捕获所需的信息的姿势显示人形虚拟对象图像，所述人形虚拟对象图像是与作为待识别的目标的人对应的待处置的对象。
6.一种用于使计算机执行处理的程序，所述处理包括：
以提取运动捕获所需的信息的姿势显示人形虚拟对象图像，所述人形虚拟对象图像是与作为待识别的目标的人对应的待处置的对象。
CN201210167183.7A 2011-06-01 2012-05-25 图像处理装置和图像处理方法 Active CN102981603B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011123194A JP5786463B2 (ja) 2011-06-01 2011-06-01 画像処理装置、画像処理方法、およびプログラム
JP2011-123194 2011-06-01

Publications (2)

Publication Number Publication Date
CN102981603A true CN102981603A (zh) 2013-03-20
CN102981603B CN102981603B (zh) 2017-06-09

Family

ID=47261333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210167183.7A Active CN102981603B (zh) 2011-06-01 2012-05-25 图像处理装置和图像处理方法

Country Status (3)

Country Link
US (3) US9513788B2 (zh)
JP (1) JP5786463B2 (zh)
CN (1) CN102981603B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803243A (zh) * 2015-11-21 2017-06-06 周彬 一种基于虚拟实现技术的衣物试穿方法
CN107111897A (zh) * 2014-12-22 2017-08-29 张锡俊 将人体数据与服装数据相结合的3d合成图像的生成方法及系统
CN108446026A (zh) * 2018-03-26 2018-08-24 京东方科技集团股份有限公司 一种基于增强现实的引导方法、引导设备以及一种介质
CN110308792A (zh) * 2019-07-01 2019-10-08 北京百度网讯科技有限公司 虚拟角色的控制方法、装置、设备及可读存储介质
CN111712848A (zh) * 2017-12-12 2020-09-25 脸谱公司 在相机馈送中提供相应产品的数字模型
US10943383B2 (en) 2017-01-26 2021-03-09 Sony Corporation Information processing apparatus and information processing method
CN114758109A (zh) * 2022-05-20 2022-07-15 深圳市镭神智能系统有限公司 虚拟试穿方法及其系统、和提供虚拟试穿信息方法

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5994233B2 (ja) * 2011-11-08 2016-09-21 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2014089665A (ja) * 2012-10-31 2014-05-15 Toshiba Corp 画像処理装置、画像処理方法、及び画像処理プログラム
KR102019124B1 (ko) * 2013-01-04 2019-09-06 엘지전자 주식회사 헤드 마운트 디스플레이 및 그 제어 방법
US20140201023A1 (en) * 2013-01-11 2014-07-17 Xiaofan Tang System and Method for Virtual Fitting and Consumer Interaction
KR102056175B1 (ko) * 2013-01-28 2020-01-23 삼성전자 주식회사 증강현실 콘텐츠 생성 방법 및 이를 구현하는 휴대단말장치
KR102059356B1 (ko) * 2013-03-25 2020-02-11 삼성전자주식회사 동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 장치 및 그 장치를 이용한 방법
JP5605885B1 (ja) * 2014-02-27 2014-10-15 木下 泰男 仮想試着システムおよび仮想試着プログラム
KR101643917B1 (ko) * 2014-09-15 2016-08-01 (주)인더스웰 실사 영상 기반의 스마트 피팅장치
JP2016071682A (ja) * 2014-09-30 2016-05-09 大日本印刷株式会社 オブジェクト配置装置、オブジェクト配置方法、及び、プログラム
CN104345886B (zh) * 2014-10-09 2017-04-26 深圳码隆科技有限公司 一种实现时尚体验的智能眼镜系统及个性化时尚体验方法
WO2016123769A1 (zh) * 2015-02-05 2016-08-11 周谆 虚拟饰品试戴的人机交互方法和系统
US10373244B2 (en) 2015-07-15 2019-08-06 Futurewei Technologies, Inc. System and method for virtual clothes fitting based on video augmented reality in mobile phone
WO2017029915A1 (ja) * 2015-08-17 2017-02-23 日本テレビ放送網株式会社 プログラム、表示装置、表示方法、放送システム及び放送方法
WO2017203663A1 (ja) * 2016-05-26 2017-11-30 楽天株式会社 形状弁別装置、形状弁別方法及び形状弁別プログラム
US10290136B2 (en) * 2016-08-10 2019-05-14 Zeekit Online Shopping Ltd Processing user selectable product images and facilitating visualization-assisted coordinated product transactions
EP3479296B1 (en) 2016-08-10 2024-06-26 Zeekit Online Shopping Ltd. System of virtual dressing utilizing image processing, machine learning, and computer vision
US10534809B2 (en) 2016-08-10 2020-01-14 Zeekit Online Shopping Ltd. Method, system, and device of virtual dressing utilizing image processing, machine learning, and computer vision
JP6505954B2 (ja) * 2017-03-06 2019-04-24 楽天株式会社 画像処理装置、画像処理方法、サーバ、及び、コンピュータプログラム
US10665022B2 (en) * 2017-06-06 2020-05-26 PerfectFit Systems Pvt. Ltd. Augmented reality display system for overlaying apparel and fitness information
CN109035413B (zh) * 2017-09-01 2021-12-14 深圳市云之梦科技有限公司 一种图像变形的虚拟试穿方法及系统
CN107644214A (zh) * 2017-09-27 2018-01-30 广州市万表科技股份有限公司 一种手上佩戴物品试戴方法和系统
US20190231012A1 (en) * 2018-01-31 2019-08-01 Under Armour Systems and methods for preparing custom clothing patterns
US10820650B2 (en) 2018-02-27 2020-11-03 Levi Strauss & Co. Surface projection for apparel in an apparel design system
CN108596702A (zh) * 2018-03-15 2018-09-28 深圳市纯彩家居饰品有限公司 一种搭配效果的显示方法、系统及终端设备
CN110647301B (zh) * 2018-06-27 2023-08-08 光宝电子(广州)有限公司 增强现实系统及其影像显示方法
CN109615664B (zh) * 2018-12-12 2020-06-30 亮风台（上海）信息科技有限公司 一种用于光学透视增强现实显示器的标定方法与设备
CN110096156B (zh) * 2019-05-13 2021-06-15 东北大学 基于2d图像的虚拟换装方法
US20210073886A1 (en) 2019-08-29 2021-03-11 Levi Strauss & Co. Digital Showroom with Virtual Previews of Garments and Finishes
US11386301B2 (en) 2019-09-06 2022-07-12 The Yes Platform Cluster and image-based feedback system
US10991067B2 (en) 2019-09-19 2021-04-27 Zeekit Online Shopping Ltd. Virtual presentations without transformation-induced distortion of shape-sensitive areas
WO2021092091A1 (en) * 2019-11-06 2021-05-14 Ssam Sports, Inc. Calibrating 3d motion capture system for skeletal alignment using x-ray data
US10976806B1 (en) * 2019-12-27 2021-04-13 GE Precision Healthcare LLC Methods and systems for immersive reality in a medical environment
KR102668754B1 (ko) * 2020-01-06 2024-05-23 엘지전자 주식회사 Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법
CN111416938B (zh) * 2020-03-27 2021-11-02 咪咕文化科技有限公司 一种增强现实合拍方法、设备及计算机可读存储介质
US11398079B2 (en) 2020-09-23 2022-07-26 Shopify Inc. Systems and methods for generating augmented reality content based on distorted three-dimensional models

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040179233A1 (en) * 2003-03-11 2004-09-16 Vallomy John A. Photo kiosk
US20070233311A1 (en) * 2005-03-11 2007-10-04 Kabushiki Kaisha Toshiba Virtual clothing modeling apparatus and method
CN101093582A (zh) * 2006-06-19 2007-12-26 索尼株式会社 动作捕捉装置和动作捕捉方法、以及动作捕捉程序
US20110040539A1 (en) * 2009-08-12 2011-02-17 Szymczyk Matthew Providing a simulation of wearing items such as garments and/or accessories
US20110110560A1 (en) * 2009-11-06 2011-05-12 Suranjit Adhikari Real Time Hand Tracking, Pose Classification and Interface Control

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0944556A (ja) 1995-08-03 1997-02-14 Sanyo Electric Co Ltd 試着シミュレーション方法
JPH09102033A (ja) 1995-08-03 1997-04-15 Sanyo Electric Co Ltd 画像合成方法
US7918808B2 (en) * 2000-09-20 2011-04-05 Simmons John C Assistive clothing
JP2003263632A (ja) 2002-03-11 2003-09-19 Digital Fashion Ltd 仮想試着表示装置、仮想試着表示方法、仮想試着表示プログラム及び同プログラムを記録したコンピュータ読み取り可能な記録媒体
JP3742394B2 (ja) 2003-03-07 2006-02-01 デジタルファッション株式会社 仮想試着表示装置、仮想試着表示方法、仮想試着表示プログラム及び同プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4189339B2 (ja) 2004-03-09 2008-12-03 日本電信電話株式会社 ３次元モデル生成方法と生成装置およびプログラムと記録媒体
AU2005201322B2 (en) * 2004-03-26 2009-11-05 Sri Sports Limited Golf swing-measuring system
KR100511210B1 (ko) * 2004-12-27 2005-08-30 주식회사지앤지커머스 의사 쓰리디 이미지 생성기법을 토대로 한 이용자 적응인공지능 토탈 코디네이션 방법과, 이를 이용한 서비스사업방법
KR100840023B1 (ko) * 2007-11-13 2008-06-20 (주)올라웍스 셀프 촬영 시 얼굴의 구도를 잡도록 도와주는 방법 및시스템
JP2009237878A (ja) * 2008-03-27 2009-10-15 Dainippon Printing Co Ltd 複合映像生成システム、重畳態様決定方法、映像処理装置及び映像処理プログラム
KR101483713B1 (ko) * 2008-06-30 2015-01-16 삼성전자 주식회사 모션 캡쳐 장치 및 모션 캡쳐 방법
WO2010019925A1 (en) * 2008-08-15 2010-02-18 Brown Technology Partnerships Method and apparatus for estimating body shape

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040179233A1 (en) * 2003-03-11 2004-09-16 Vallomy John A. Photo kiosk
US20070233311A1 (en) * 2005-03-11 2007-10-04 Kabushiki Kaisha Toshiba Virtual clothing modeling apparatus and method
CN101093582A (zh) * 2006-06-19 2007-12-26 索尼株式会社 动作捕捉装置和动作捕捉方法、以及动作捕捉程序
US20110040539A1 (en) * 2009-08-12 2011-02-17 Szymczyk Matthew Providing a simulation of wearing items such as garments and/or accessories
US20110110560A1 (en) * 2009-11-06 2011-05-12 Suranjit Adhikari Real Time Hand Tracking, Pose Classification and Interface Control

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107111897A (zh) * 2014-12-22 2017-08-29 张锡俊 将人体数据与服装数据相结合的3d合成图像的生成方法及系统
CN106803243A (zh) * 2015-11-21 2017-06-06 周彬 一种基于虚拟实现技术的衣物试穿方法
US10943383B2 (en) 2017-01-26 2021-03-09 Sony Corporation Information processing apparatus and information processing method
US11288854B2 (en) 2017-01-26 2022-03-29 Sony Corporation Information processing apparatus and information processing method
CN111712848A (zh) * 2017-12-12 2020-09-25 脸谱公司 在相机馈送中提供相应产品的数字模型
CN108446026A (zh) * 2018-03-26 2018-08-24 京东方科技集团股份有限公司 一种基于增强现实的引导方法、引导设备以及一种介质
CN108446026B (zh) * 2018-03-26 2020-12-22 京东方科技集团股份有限公司 一种基于增强现实的引导方法、引导设备以及一种介质
CN110308792A (zh) * 2019-07-01 2019-10-08 北京百度网讯科技有限公司 虚拟角色的控制方法、装置、设备及可读存储介质
CN110308792B (zh) * 2019-07-01 2023-12-12 北京百度网讯科技有限公司 虚拟角色的控制方法、装置、设备及可读存储介质
CN114758109A (zh) * 2022-05-20 2022-07-15 深圳市镭神智能系统有限公司 虚拟试穿方法及其系统、和提供虚拟试穿信息方法

Also Published As

Publication number Publication date
CN102981603B (zh) 2017-06-09
US10685394B2 (en) 2020-06-16
US9513788B2 (en) 2016-12-06
US10043212B2 (en) 2018-08-07
US20180342009A1 (en) 2018-11-29
JP2012252437A (ja) 2012-12-20
US20170039629A1 (en) 2017-02-09
US20120306918A1 (en) 2012-12-06
JP5786463B2 (ja) 2015-09-30

Similar Documents

Publication Publication Date Title
CN102981603A (zh) 图像处理装置、图像处理方法和程序
CN102982525A (zh) 图像处理装置、图像处理方法和程序
CN110609617B (zh) 虚拟镜子的装置、系统和方法
US9928411B2 (en) Image processing apparatus, image processing system, image processing method, and computer program product
US8982110B2 (en) Method for image transformation, augmented reality, and teleperence
JP5863423B2 (ja) 情報処理装置、情報処理方法及びプログラム
US8970569B2 (en) Devices, systems and methods of virtualizing a mirror
CN104350446B (zh) 上下文用户界面
US8976160B2 (en) User interface and authentication for a virtual mirror
KR101603017B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
EP3745352B1 (en) Methods and systems for determining body measurements and providing clothing size recommendations
CN104487915A (zh) 维持扩增的连续性
US11574424B2 (en) Augmented reality map curation
KR102443214B1 (ko) 영상처리장치 및 그 제어방법
JP6109288B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2015181314A (ja) 画像処理装置、画像処理方法、およびプログラム
CN107728981A (zh) 显示的方法及装置
JP4831750B2 (ja) コミュニケーション誘発システム
KR20170143223A (ko) 3d 실감체험 콘텐츠 서비스 제공 장치 및 방법
JP6287527B2 (ja) 情報処理装置、方法及びプログラム
US20230394773A1 (en) Smart Interactivity for Scanned Objects using Affordance Regions
CN107495761A (zh) 一种智能镜子
US20220028123A1 (en) Information processing apparatus, information processing method, and program
CN117315100A (zh) 用于捕捉目标对象的运动的方法、装置及电子设备
CN116993922A (zh) 一种三维模型的展示方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant