CN110503658A - 服饰试穿方法及其显示系统与电脑可读取记录媒体 - Google Patents

服饰试穿方法及其显示系统与电脑可读取记录媒体 Download PDF

Info

Publication number
CN110503658A
CN110503658A CN201810587216.0A CN201810587216A CN110503658A CN 110503658 A CN110503658 A CN 110503658A CN 201810587216 A CN201810587216 A CN 201810587216A CN 110503658 A CN110503658 A CN 110503658A
Authority
CN
China
Prior art keywords
image
user
screen
display system
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810587216.0A
Other languages
English (en)
Inventor
吴柏毅
林慧珍
林格沂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN110503658A publication Critical patent/CN110503658A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2024—Style variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种服饰试穿方法及其显示系统与电脑可读取记录媒体，此方法适用于具有影像获取装置以及屏幕的显示系统，并且包括下列步骤。利用影像获取装置持续地或间隔地获取屏幕前方穿戴第一服饰的使用者的多张影像。当判定前述影像中包括使用者具有特定姿态的第一影像时，利用影像获取装置拍摄第一影像。自第一影像中分离出前景区域以及背景区域，并且针对背景区域进行处理，以产生已处理的背景区域。根据前景区域以及已处理的背景区域，产生并且显示第一预览影像于屏幕上。

Description

服饰试穿方法及其显示系统与电脑可读取记录媒体
技术领域
本发明涉及一种显示技术，且特别是一种服饰试穿方法及其显示系统与电脑可读取记录媒体。
背景技术
消费者到实体店面采买衣服或是饰品配件时，往往需要反复地试穿、试戴，以挑选出满意的商品。然而，在反复试穿的过程中消费者除了感到耗时耗力，同时也增加了更衣室的占用时间。现有技术提出一种虚拟穿衣产品，其利用摄影机获取使用者的影像后再叠加虚拟衣服的影像上去，而这种模拟穿衣的虚拟衣服影像常无法与不同身材身形的使用者相匹配而没有实际穿着感。此外，使用者在反复试穿后也仅能凭记忆去选择较为合适的衣服，而没有提供使用者可同时比较多套衣服在视觉上的差异。
随着信息科技与生活逐渐的密不可分，智能产品的开发已然成为趋势主流。因此，将此类产品有效地应用于实体店面提供实时的试穿比对以优化使用者的购物体验，已成为提供智能生活的方式之一。
发明内容
本发明提供一种服饰试穿方法及其显示系统与电脑可读取记录媒体，其可在使用者试穿服饰的过程中，大幅地优化使用者的购物体验。
在本发明的一实施例中，上述的方法适用于具有影像获取装置以及屏幕的显示系统，并且包括下列步骤。利用影像获取装置持续地或间隔地获取屏幕前方穿戴第一服饰的使用者的多张影像。当判定前述影像中包括使用者具有特定姿态的第一影像时，利用影像获取装置拍摄第一影像。自第一影像中分离出前景区域以及背景区域，并且针对背景区域进行处理，以产生已处理的背景区域。根据前景区域以及已处理的背景区域，产生并且显示第一预览影像于屏幕上。
在本发明的一实施例中，上述的显示系统包括影像获取装置、屏幕、数据存储装置以及处理器，其中处理器耦接至影像获取装置、屏幕以及数据存储装置。影像获取装置用以获取影像，屏幕用以显示画面，其中影像获取装置的获取方向相同于屏幕的显示方向。数据存储装置用以存储数据。处理器用以执行下列步骤：利用影像获取装置持续地或间隔地获取屏幕前方穿戴第一服饰的使用者的多张影像；当判定多张影像中包括使用者具有特定姿态的第一影像时，利用影像获取装置拍摄第一影像；自第一影像中分离出前景区域以及背景区域，并且针对背景区域进行处理，以产生已处理的背景区域；以及根据前景区域以及已处理的背景区域，产生并且显示第一预览影像于屏幕上。
在本发明的一实施例中，上述的电脑可读取记录媒体存储电脑程序，其是用以执行上述服饰试穿方法的各个步骤。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是根据本发明一实施例所示出的显示系统的方框图。
图2为根据本发明的一实施例所示出的服饰试穿方法的流程图。
图3为根据本发明的另一实施例所示出的服饰试穿方法的流程图。
图4为根据本发明的一实施例所示出的服饰的相关信息的示意图。
图5为根据本发明的一实施例所示出对应于不同姿态的影像示意图。
图6为根据本发明的一实施例所示出的影像处理流程图。
图7为根据本发明的一实施例所示出的第一影像的示意图。
图8为根据本发明的一实施例所示出的深度区域的设定示意图。
图9A～图9B为根据本发明的一实施例所示出的前景延伸修正的示意图。
图10为根据本发明的一实施例所示出的指定预览影像的示意图。
附图标记说明：
100：显示系统
110：影像获取装置
120：屏幕
130：数据存储装置
140：处理器
S202～S214：步骤
MM：镜子模式
VM：录影模式
TM：试穿模式
LBM：回顾模式
CM：识别码模式
LGN：登录程序
P：影像处理
db：数据库
400：介面
401：识别码模式
402：离开扫描模式
403：直接进入试穿模式
404：服饰的相关信息
M：模特儿
C、C1～C4：服饰
510～540、Img、Img’、700、900、1001～1004：影像
U：使用者
S1～S3：阶段
S611～S632：步骤
UE、DE、LE、RE：切割边界
710：脸部区域
720：头部区域
CL：切割中心轴
Y：使用者的高度
800、800’：深度像素区域
f1～f5：前景深度像素
b1～b5：背景深度像素
dfar、dnear：线
FC：中线
R：深度信息范围
具体实施方式
本发明的部分实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部分，并未公开所有本发明的可实施方式。更确切的说，这些实施例只是本发明的专利申请范围中的方法、系统以及电脑可读取媒体的范例。
图1是根据本发明一实施例所示出的显示系统的方框图，但此仅是为了方便说明，并不用以限制本发明。首先图1先介绍显示系统中的所有构件以及配置关系，详细功能将配合图2一并公开。
请参照图1，显示系统100包括影像获取装置110、屏幕120、数据存储装置130以及处理器140，其中处理器140耦接至影像获取装置110、屏幕120以及数据存储装置130，而影像获取装置110设置于与屏幕120同一侧。在本实施例中，显示系统100可以是将影像获取装置110、屏幕120、数据存储装置130以及处理器140整合为单一整合式全功能(all-in-one)的显示器。在另一实施例中，显示系统100可以是具有屏幕120、数据存储装置130以及处理器140的电脑系统，而影像获取装置110则是外接于电脑系统，且影像获取装置110的获取方向相同于屏幕120的显示方向(例如皆朝前方)。在其它的实施例中，显示系统100亦可以例如是大型平板电脑等具有影像获取功能以及显示功能的电子装置，本发明不在此设限。
影像获取装置110用以获取屏幕120前方的影像并且包括具有透镜以及感光元件的摄像镜头。感光元件用以感测进入透镜的光线强度，进而产生影像。感光元件可以例如是电荷耦合元件(charge coupled device，CCD)、互补性氧化金属半导体(complementarymetal-oxide semiconductor，CMOS)元件或其他元件，本发明不在此设限。
屏幕120用以显示画面。在本实施例中，屏幕120例如是液晶显示器(liquidcrystal display，LCD)、发光二极管(light-emitting diode，LED)显示器、有机发光二极管(organic light-emitting diode，OLED)显示器或其他种类的显示器。
数据存储装置130用以存储影像、程序码、设定值等数据，其可以例如是任意形式的固定式或可移动式随机存取存储器(random access memory，RAM)、只读存储器(read-only memory，ROM)、快闪存储器(flash memory)、硬盘或其他类似装置、集成电路及其组合。
处理器140用以控制显示系统100的构件之间的作动，其可以例如是中央处理单元(central processing unit，CPU)，或是其他可程序化的一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digital signal processor，DSP)、可程序化控制器、特殊应用集成电路(application specific integrated circuits，ASIC)、可程序化逻辑装置(programmable logic device，PLD)或其他类似装置或这些装置的组合。
以下即搭配图1的显示系统100的各元件列举实施例，以说明显示系统100执行其显示方法的详细步骤。
图2为根据本发明的一实施例所示出的服饰试穿方法的流程图，而图2的方法流程可以显示系统100来实现。
请同时参照图1以及图2，首先，显示系统100的处理器140将利用影像获取装置110持续地或间隔地获取屏幕120前方的影像(步骤S202)。在此，处理器140可以是在显示系统100启动或是特定时点开始(例如商店的开始营业时间)利用影像获取装置110进行实时的影像获取。
接着，处理器140将判断影像获取装置110所获取到的影像中是否包括具有特定姿态的使用者的第一影像(步骤S204)。若否，将返回步骤S202，以持续地或间隔地获取屏幕120前方的影像。若是，处理器140判定影像获取装置110获取到具有特定姿态的使用者的第一影像时，将利用影像获取装置110拍摄第一影像(步骤S206)，其中在此假设第一影像中的使用者穿戴第一服饰。处理器140可以是利用骨架检测演算法(skeleton detection)来判定影像中的使用者的姿态是否符合特定姿态，其可以例如是直接采用OpenCV电脑视觉库或是Kinect软件开发工具所提供的骨架检测功能来实现。所谓的姿态可以是指身体相对于屏幕或影像获取装置110所摆出的姿势朝向(例如相对于屏幕转身30度)，而特定姿态可以是处理器140预先所定义(例如转身30度、45度、90度等)以利于使用者观看与比较服饰穿戴效果的姿态。
接着，处理器140将自第一影像中分离出前景区域以及背景区域(步骤S208)，并且针对背景区域进行处理，以产生已处理的背景区域(步骤S210)，再根据前景区域以及已处理的背景区域，产生第一预览影像(步骤S212)。在此，处理器140可以是利用前景背景分割演算法(foreground-background segmentation)来自第一影像中分离出前景区域以及背景区域，其中前景区域是指对应于使用者所在的区域，而背景区域则是前景区域以外的区域。接着，处理器140可以是将背景区域进行模糊化处理或者是替换处理，而已处理的背景区域可以更突显前景区域中的使用者及其所穿戴的第一服饰，使得第一预览影像具有更佳的视觉效果。之后，处理器140会将第一预览影像显示于屏幕120(步骤S214)，以供使用者观看。
为了更方便明了，以下将以图3根据本发明的另一实施例所示出的服饰试穿方法的功能流程图来具体地说明图2的实际应用方式以及细节，而图3的方法流程亦可以显示系统100来实现。
请同时参照图1以及图3，首先，当显示系统100开始启动后，处理器140将会预设显示系统100进入到镜子模式MM，以使影像获取装置110所获取到的实时影像实时显示于屏幕120上。也就是说在镜子模式MM下，屏幕120所呈现出的影像则是提供宛如镜面反射的效果，借此使显示系统100提供穿衣镜的功能。
另一方面，在镜子模式MM下，处理器140将会同时以例如是人体检测演算法(humandetection)来判断影像获取装置110所获取到的实时影像中是否存在潜在使用者(亦即，是否检测到任何人体)。若处理器140判定实时影像中不存在任何潜在使用者，则处理器140将不更改显示系统100的模式，也就是说显示系统100将会维持在镜子模式MM。若处理器140判定实时影像中存在潜在使用者，则处理器140将会设定显示系统100进入到录影模式VM。
在录影模式VM下，处理器140除了会持续地或间隔地将影像获取装置110所获取到的实时影像实时显示于屏幕120上，更会进一步地启动录影功能，以将实时影像以影片的格式存储于数据存储装置130。此外，录影模式VM下，处理器140亦会持续地或间隔地针对实时影像进行潜在使用者检测，也就是潜在使用者是否持续地停留或是离开。当处理器140判定实时影像中的潜在使用者离开时，此潜在使用者有可能仅是经过影像获取装置110的店员或是顾客，而并非是欲使用显示系统100的使用者，因此处理器140将会设定显示系统100离开录影模式VM而返回到镜子模式MM，并且删除所录制的影片。
在本实施例中，当处理器140检测到潜在使用者通过输入装置(未示出)执行登录程序LGN而登录至显示系统100时，将会判定此潜在使用者确实为显示系统100的授权使用者。接着，处理器140将会设定显示系统100离开录影模式VM并且将所录制的影片存储于数据库db中，以及提供使用者通过输入装置选择进入试穿模式TM、回顾模式LBM以及识别码模式CM之一者。在此的数据库db可以是存储于数据存储系统130或者是云端存储系统，本发明不在此设限。处理器140可以依据使用者的登录数据来将影片存储至此使用者于数据库db的专属空间。处理器140可提供使用者观看影片，以提供试穿过程的记录，使用者可更了解服饰的特性。
必须说明的是，在另一实施例中，登录程序LGN亦可省略。例如当处理器140判定潜在使用者欲使用显示系统100时(例如潜在使用者停留在屏幕120前的时间大于时间阈值，或是潜在使用者或任何人按下输入装置特定按键或是触摸触控屏幕，或是潜在使用者对着影像获取装置110做出特定手势等等)，将直接判定此潜在使用者确实为显示系统100的授权使用者。同样地，处理器140将会设定显示系统100离开录影模式VM并且将所录制的影片存储于数据库db中，以及提供使用者通过输入装置选择进入试穿模式TM、回顾模式LBM以及识别码模式CM之一者。
在识别码模式CM下，显示系统100可提供使用者查询服饰的相关信息。使用者可以将服饰上的识别码移至影像获取装置110前进行扫描，以获得该服饰的相关信息，其中服饰上的识别码可以是一维条码(例如barcode)、二维条码(例如QR码)、或者是其它数字、文字、符号等组合。以另一观点而言，当处理器140判定影像获取装置110获取到具有识别码的识别码影像时，将会设定显示系统100进入识别码模式CM，并且根据此识别码将服饰的相关信息显示于屏幕120上供使用者参考。识别码模式CM除了可快速地提供使用者有关于服饰的相关信息外，还可让处理器140直接获得使用者当前手中或是身上正在试穿的服饰，以省去从影像识别服饰的困难度。此外，处理器140亦会将使用者所查询的服饰的相关信息存储于数据库db中，以利于后续的应用。
举例来说，图4为根据本发明的一实施例所示出的服饰的相关信息的示意图。请同时搭配图1、图3来参照图4，当处理器140检测到服饰C的识别码影像时，将会以介面400来显示模特儿M穿着服饰C的影像以及服饰C的相关信息404(例如商品名称、价格、尺寸、色系、材质等)。在本实施例中，处理器140还可通过介面400来提供使用者选择重复使用识别码模式401、离开扫描模式402以及直接进入试穿模式403。当使用者选择重复使用识别码模式401，处理器140将会关闭介面400，而重新进入识别码模式CM，以供使用者查询其它服饰的相关信息。当使用者选择离开扫描模式402，处理器140将会关闭介面400，并且提供使用者重新选择试穿模式TM、回顾模式LBM以及识别码模式CM之一者。当使用者选择直接进入试穿模式403，处理器140将会关闭介面400，并且设定显示系统100进入试穿模式TM。此外，处理器140亦会将使用者所查询过的服饰的相关信息一并存储于数据库db中。附带说明的是，显示系统100亦可在使用者未登录的情况下仅提供一般识别码模式CM的功能，使任何人都可以随时查询有兴趣的服饰的相关信息。
请再回到图3，在试穿模式TM下，处理器140可以是利用骨架检测演算法来判定影像中的使用者的姿态是否符合特定姿态，据以决定是否驱动影像获取装置110进行拍摄。在此的特定姿态可以是处理器140预先所定义或者是具有代表性的姿态，例如身体的正面、背面、左侧、右侧朝向屏幕110的正前方(以下分别称做为「向前姿态」、「向后姿态」、「向左姿态」、「向右姿态」)。
以图5根据本发明的一实施例所示出对应于不同姿态的影像示意图为例，影像510、影像520、影像530以及影像540分别为使用者U穿戴服饰C并且分别符合「向前姿态」、「向左姿态」、「向右姿态」以及「向后姿态」所拍摄的影像。然而，在其它实施例中，还可因应店家或是使用者需求来定义可驱动影像获取装置110进行拍摄的特定姿态，以提供更多角度、方向的试穿效果给使用者参考。
在此假设使用者所穿戴的服饰为「第一服饰」，当影像获取装置110拍摄完不同姿态的影像后，处理器140将针对此些影像进行影像处理P。以下将以图6根据本发明的一实施例所示出的影像处理流程图搭配影像示意图来说明此些影像之中具有「向前姿态」的影像(以下称为「第一影像」)的处理流程，而对应于其它姿态的影像可以相同的方式类推。
请参照图6，处理器140在取得第一影像Img后，将会执行切割边界定义阶段S1、前景处理阶段S2以及背景处理阶段S3的程序。
在切割边界定义阶段S1中，处理器140将会定义前景切割区域的边界。首先，处理器140将针对第一影像进行人脸检测，以定义使用者的人脸区域(步骤S611)。在此，处理器140可以是利用例如是哈尔特征获取(Haar-like feature extraction)等人脸检测演算法(face detection)来定义出人脸区域。以图7根据本发明的一实施例所示出的第一影像700的示意图为例，人脸区域为框710以内所涵盖的区域。
接着，处理器140将根据人脸区域，定义使用者的头部区域(步骤S612)。在此，处理器140可以是将人脸区域往外放大1倍来做为头部区域，其中此放大数值为经验数值(empirical number)，然而本发明不在此设限。以图7为例，头部区域为框720以内所涵盖的区域。
接着，处理器140将根据头部区域，定义使用者的高度(步骤S613)。举例来说，处理器140可以是以头部区域的顶端为上缘以及第一影像的底部为下缘，来估算出使用者于第一影像700中所呈现的高度。以图7为例，使用者于第一影像700的高度为Y。在本实施例中，为了避免估算上的误差，处理器140可以是以使用者于第一影像中的高度增加例如是0.1Y处来定义切割边界的上缘(步骤S614)，从而取得切割边界的高度，其中0.1倍率的增加量亦是经验值。以图7为例，切割边界的上缘为UE。
接着，处理器140将以脸部区域为中心取得切割中心轴(步骤S615)，并且根据预设比例配合切割边界的高度来取得切割边界的左缘以及右缘(步骤S616)，其中预设比例可以是第一影像的原始比例(例如10：16)或者是其它配合开发者所定义的比例。以图7为例，切割中心轴为CL，而切割边界的左缘以及右缘分别为LE以及RE。附带说明的是，在本实施例中，切割边界的下缘即为第一影像的底部，如图7中的DE。
处理器140在定义完切割边界后，将会进入到前景处理阶段S2。在此先说明的是，前景处理阶段S2主要是搭配第一影像所对应的深度信息来实现。本实施例中的显示装置100还可以额外于与屏幕120的同侧增设深度感测器(未示出)，以检测屏幕120前方的深度信息，其可以分为主动式深度感测器以及被动式深度感测器。主动式深度感测器可通过主动发出光源、超音波、激光等作为信号来计算屏幕120前方的深度信息。另一方面，被动式深度感测器可以例如是另一个影像获取装置，并且与影像获取装置110以不同视角同时获取屏幕120前方的两张影像，以利用两张影像的视差来计算屏幕120前方的深度信息。
在前景处理阶段S2中，处理器140将取得对应于第一影像的深度影像(步骤S621)，并且针对深度影像进行二值化处理(步骤S622)，据以产生多个前景像素，其中前景像素为深度影像经过二值化处理后像素值为255(白色)的像素。
接着，处理器会将前景像素进行侵蚀处理(erosion，步骤S623)、膨胀处理(dilation，步骤S624)、影像平滑处理(blur，步骤S625)，以产生前景深度像素。本领域具通常知识者应明了，侵蚀处理可以消除较为破碎的前景像素，膨胀处理可以补回被侵蚀的边缘，而影像平滑处理可对因前述侵蚀处理以及膨胀处理所造成的不平整边缘来进行平滑处理，从而取到完整且边缘平滑的前景深度像素。
一般来说，以前述步骤所取得到的前景深度像素区域常会有边缘内缩，也就是膨胀处理后仍无法补回被侵蚀边缘的情况。因此，处理器140可以更进一步地参考第一影像的像素值，针对前景深度像素进行前景延伸处理(步骤S626)，以将与前景深度像素相邻并且具有相似像素值的背景深度像素设定为前景深度像素。
以图8为根据本发明的一实施例所示出的深度区域的设定示意图为例，假设深度像素区域800的背景深度像素为b1～b5，前景深度像素为f1～f4。处理器140可以先将与前景深度像素f1～f4所相邻的背景深度像素来进行像素值的比较。以背景深度像素b4为例，其先将与前景深度像素f2～f3所对应的RGB三个色彩通道的数值(例如加总平均值)来进行比较。举例来说，假设背景深度像素b4所对应的RGB数值为Rb4、G b4、B b4，而前景深度像素f2～f3所对应的RGB数值的加总平均值为Ravg、Gavg、Bavg。处理器140会分别将Rb4与Ravg、Gb4与Gavg、Bb4与Bavg进行比较。若RGB三个色彩通道的差值同时小于预定像素阈值(例如10)，处理器140将判定背景深度像素b4与前景深度像素f2～f3为相似，并且可以将背景深度像素b4修改为前景深度像素f5，以产生设定更新后的深度像素区域800’。接着，处理器140会将背景深度像素b5与前景深度像素f1～f5所对应的RGB数值依照前述方式来进行比较。假设背景深度像素b5与前景深度像素f1～f5的差异过大，则处理器140不修改背景深度像素b5的设定。
附带说明的是，前景延伸处理往往会出现地板延伸的问题，也就是地板所构成的连续区域会被误判为前景。因此，在本实施例中，处理器140可依照图9A～图9B为根据本发明的一实施例所示出的前景延伸修正的示意图来解决此问题。
请先参照图9A，处理器140在取得第一影像900后，会根据深度影像的中线FC建立如同图9B有关于深度与距离的关系表DH-Z。基于拍摄第一影像的场域为固定，处理器140可根据最佳的拍照距离而预先取得使用者U的可能所在范围，也就是线dfar与线dnear之间的位置，其中拍照距离可以例如是相对于影像获取装置110的1.6m与2.6m之间。接着，处理器140可以根据深度DH与距离Z的关系表DH-Z来取得线dfar与线dnear之间的深度信息范围R，并且将任何原先被判定为前景深度像素但深度信息大于前述深度信息范围者滤除。
请再回到图6，处理器140在取得前景深度像素后，会自第一影像中的前景切割区域中定义出对应于前景深度像素的像素(在此称为「前景二维像素」)，以设定为前景区域(步骤S627)。另一方面，处理器140将设定第一影像中前景区域以外的区域为背景区域(步骤S628)，并且进入背景处理阶段S3。
在本实施例中，处理器140可以提供使用者选择两种背景处理方式，背景模糊处理(步骤S631)或是背景替换处理(步骤S632)。之后，处理器140将根据前景区域以及已处理的背景区域来产生对应于第一服饰的第一预览影像Img’，而结束第一影像Img的处理流程。针对背景模糊处理，处理器140可以是针对背景区域来进行高斯模糊(Gaussian blur)等处理，而经过处理后的背景区域将被淡化，借此突显出前景区域的主体。针对背景替换处理，处理器140可以先判断数据库db中是否存储第一服饰的相关信息(亦即，使用者先前已利用影像获取装置110来扫描第一服饰的识别码)。当处理器140判定数据库db并未存储第一服饰的相关信息时，将会以预设背景取代原有的背景区域而做为已处理的背景区域，其中预设背景可以是单色背景等系统所预设的背景。当处理器140判定数据库db存储第一服饰的相关信息时，可以从第一服饰的相关信息取得第一服饰的主要色系，以利用现有的色环(color wheel)取得该主要色系的对比色来做为单色背景或者是以该对比色为主色调的背景，同样可突显出前景区域的主体。
请再回到图3，当处理器140处理完对应于不同姿态的预览影像后，会将所有对应于第一服饰的预览影像存储于数据库db中，并且提供给使用者预览PV。必须说明的是，处理器140可以是在每产生一张预览影像后显示在屏幕120供使用者预览，或者是产生完所有预览影像后再一并显示在屏幕120供使用者预览。接着，当使用者选择拍摄更多影像或是重新拍摄时，处理器140会将显示系统100返回到试穿模式TM。当使用者选择离开试穿模式TM或者是处理器140判定已拍摄到足够的预览影像时，处理器140将会设定显示系统100进入回顾模式LBM。
在回顾模式LBM中，处理器140可以是同时或者是逐一地将所有第一服饰的预览影像显示在屏幕120上，而使用者可以针对特定影像或其局部区域进行放大。举例来说，处理器140可以是显示互动式的游标或者是矩形框于屏幕120上，以供使用者进行选择操作。当处理器130检测到使用者对于屏幕120中的特定位置的选择操作时(亦即，检测到游标或者是矩形框于屏幕上的所在位置时)，处理器140会将对应于该特定位置的影像区域进行局部放大，并且将放大的影像区域显示于特定位置的侧边。
上述是使用者穿戴第一服饰以获取第一影像并经影像处理后产生第一预览影像的方法，同理地，当使用者改穿戴第二服饰时也是以相同方法处理，依此类推。因此，当数据库db中存储使用者穿着不同服饰所拍摄的预览影像时，在回顾模式LBM中，显示系统100可提供使用者观看在同一种姿态下穿着不同服饰时的预览影像。举例来说，处理器140可以是检测使用者对于多个姿态之一的选择操作，并且将对应于使用者所指定的姿态的所有预览影像(总称为「指定预览影像」)显示于屏幕120上。
具体来说，图10根据本发明的一实施例所示出的指定预览影像的示意图。假设处理器140检测到使用者对于「向前姿态」的选择操作，会将使用者U穿戴第一至第四服饰C1～C4并且以「向前姿态」面对影像获取装置110以及屏幕120所拍摄并且经过处理的指定预览影像1001～1004同时显示于屏幕120上，以方便使用者直观地比较第一至第四服饰C1～C4之间的视觉差异。
附带说明的是，在本实施例中，处理器140可将数据库db中的设定存储时效。换言之，当处理器140判断任何预览影像存储于数据库db的时间长度超过时间阈值(例如一季)时，则将进行删除。
本发明另提供一种非暂态的电脑可读取媒体，此电脑可读取媒体可存储多数个程序码片段(例如建立组织图程序码片段、签核表单程序码片段、设定程序码片段、以及部署程序码片段)，并且这些程序码片段在载入例如是显示系统100的处理器140中并执行之后，即可完成上述服饰试穿方法的步骤。
综上所述，本发明所提出的服饰试穿方法及其显示系统与电脑可读取记录媒体，其除了可提供一般穿衣镜的功能以实时地显示使用者的着衣影像，还可通过影像处理来提升着衣影像的视觉效果。此外，本发明更提供使用者观看穿戴不同服饰时所拍摄的影像以及提供相关的服饰信息供使用者参考。如此一来，可减少使用者反复地试穿试戴进而缩短使用者的购物时间，从而在现今的实体店面中大幅地优化使用者的购物体验。
虽然本发明已以实施例公开如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的构思和范围内，当可作些许的变动与润饰，故本发明的保护范围当视权利要求所界定者为准。

Claims (20)

1.一种服饰试穿方法，适用于具有影像获取装置以及屏幕的显示系统，包括下列步骤：
利用该影像获取装置持续地或间隔地获取该屏幕前方穿戴第一服饰的使用者的多张影像；
当判定所述多张影像中包括该使用者具有特定姿态的第一影像时，利用该影像获取装置拍摄该第一影像；
自该第一影像中分离出前景区域以及背景区域，并且针对该背景区域进行处理，以产生已处理的背景区域；以及
根据该前景区域以及该已处理的背景区域，产生并且显示第一预览影像于该屏幕上。
2.如权利要求1所述的方法，其中在利用该影像获取装置不断地或间隔地获取该屏幕前方穿戴该第一服饰的该使用者的所述影像时，该方法还包括：
预设该显示系统进入到镜子模式，以使该影像获取装置所获取到的所述影像实时显示于该屏幕上。
3.如权利要求2所述的方法，其中在利用该影像获取装置不断地或间隔地获取该屏幕前方穿戴该第一服饰的该使用者的所述影像时，该方法还包括：
判断所述影像中是否存在潜在使用者；以及
当判定所述影像中存在该潜在使用者时，设定该显示系统进入到录影模式，以使该影像获取装置所获取到的所述影像显示于该屏幕上，并且针对所述影像进行录制以产生录制影片。
4.如权利要求3所述的方法，还包括：
当判定所述影像中的该潜在使用者离开时，设定该显示系统离开该录影模式并且返回该镜子模式，以及删除该录制影片。
5.如权利要求3所述的方法，还包括：
当判定该潜在使用者为该显示系统的授权使用者时，设定该显示系统离开该录影模式，以及存储该录制影片于数据库中。
6.如权利要求1所述的方法，其中在判定所述多张影像包括该使用者具有符合该特定姿态的该第一影像的步骤之前，该方法还包括：
设定该显示系统进入试穿模式。
7.如权利要求6所述的方法，其中当该显示系统为该试穿模式时，在产生该第一预览影像之后，该方法还包括：
设定该显示系统离开该试穿模式并且显示该第一预览影像于该屏幕。
8.如权利要求7所述的方法，其中当该显示系统为该试穿模式时，在产生该第一预览影像之后，该方法还包括：
利用该影像获取装置拍摄该使用者穿戴该第一服饰且具有其它姿态的至少一其它第一影像；以及
针对所述其它第一影像进行处理，以产生至少一其它第一预览影像。
9.如权利要求8所述的方法，其中在产生该第一预览影像以及所述其它第一预览影像的步骤后，该方法还包括：
存储该第一预览影像以及所述其它第一预览影像于数据库中；以及
设定该显示系统离开该试穿模式并且进入回顾模式。
10.如权利要求9所述的方法，其中该数据库还包括对应于至少一其它服饰的至少一预览影像，而当该显示系统进入该回顾模式时，该方法还包括：
检测使用者对于多个姿态中的指定姿态的选择操作；以及
显示对应于该指定姿态的多个指定预览影像于该屏幕，其中各所述指定预览影像关联于该使用者分别穿戴不同服饰时在相同的该指定姿态下的已处理影像。
11.如权利要求1所述的方法，其中自该第一影像中分离出该前景区域以及该背景区域的步骤包括：
针对该第一影像进行人脸检测，以定义出人脸区域；
根据人脸区域，定义出该第一影像的前景切割区域；
取得对应于该第一影像的深度影像；
针对该深度影像进行二值化处理，据以产生多个前景深度像素；
自该前景切割区域中定义出对应于所述前景深度像素的前景二维像素，以设定为该前景区域；以及
设定该第一影像中该前景区域以外的区域为该背景区域。
12.如权利要求11所述的方法，其中根据该人脸区域，定义出该第一影像的该前景切割区域的步骤包括：
根据该人脸区域，定义出该使用者的头部区域；
根据该头部区域，计算该使用者的高度；以及
根据该人脸区域以及该使用者的高度，定义出该前景切割区域的边界。
13.如权利要求11所述的方法，其中针对该深度影像进行该二值化处理，据以产生所述前景深度像素的步骤包括：
针对该深度影像进行二值化处理，以产生多个前景像素；以及
针对所述前景像素进行侵蚀处理、膨胀处理以及影像平滑处理，以产生所述前景深度像素。
14.如权利要求13所述的方法，其中产生所述前景深度像素的步骤还包括：
设定与所述前景深度像素相邻并且具有相似像素值的背景深像素为所述前景深度像素。
15.如权利要求13所述的方法，其中产生所述前景深度像素的步骤还包括：
取得该使用者相对于该影像获取装置的距离范围；
根据深度与距离的关系表，取得该距离范围所对应的深度信息范围；以及
自所述前景深度像素中滤除深度信息大于该深度信息范围者。
16.如权利要求1所述的方法，其中针对该背景区域进行处理，以产生该已处理的背景区域的步骤包括：
针对该背景区域进行模糊化处理，以做为该已处理的背景区域。
17.如权利要求1所述的方法，其中针对该背景区域进行处理，以产生该已处理的背景区域的步骤包括：
以预设背景做为该已处理的背景区域。
18.如权利要求1所述的方法，其中针对该背景区域进行处理，以产生该已处理的背景区域的步骤包括：
根据该第一服饰的识别码，取得该第一服饰的相关信息，从而取得该第一服饰的色系；
根据该第一服饰的该色系，产生对应背景；以及
以该对应背景做为该已处理的背景区域。
19.一种显示系统，包括：
影像获取装置，用以获取影像；
屏幕，用以显示画面，其中该影像获取装置的获取方向相同于该屏幕的显示方向；
数据存储装置，用以存储数据；以及
处理器，耦接于该影像获取装置、该屏幕以及该数据存储装置，用以执行下列步骤：
利用该影像获取装置持续地或间隔地获取该屏幕前方穿戴第一服饰的使用者的多张影像；
当判定所述多张影像中包括该使用者具有特定姿态的第一影像时，利用该影像获取装置拍摄该第一影像；
自该第一影像中分离出前景区域以及背景区域，并且针对该背景区域进行处理，以产生已处理的背景区域；以及
根据该前景区域以及该已处理的背景区域，产生并且显示第一预览影像于该屏幕上。
20.一种非暂态的电脑可读取记录媒体，存储电脑程序，当具有影像获取装置以及屏幕的显示系统中的处理器载入并执行该电脑程序后，可完成下列步骤：
利用该影像获取装置不断地或间隔地获取该屏幕前方穿戴第一服饰的使用者的多张影像；
当判定所述多张影像中包括该使用者具有特定姿态的第一影像时，利用该影像获取装置拍摄该第一影像；
自该第一影像中分离出前景区域以及背景区域，并且针对该背景区域进行处理，以产生已处理的背景区域；以及
根据该前景区域以及该已处理的背景区域，产生并且显示第一预览影像于该屏幕上。
CN201810587216.0A 2018-05-16 2018-06-08 服饰试穿方法及其显示系统与电脑可读取记录媒体 Pending CN110503658A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107116672 2018-05-16
TW107116672A TWI697861B (zh) 2018-05-16 2018-05-16 服飾試穿方法及其顯示系統與電腦可讀取記錄媒體

Publications (1)

Publication Number Publication Date
CN110503658A true CN110503658A (zh) 2019-11-26

Family

ID=68533181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810587216.0A Pending CN110503658A (zh) 2018-05-16 2018-06-08 服饰试穿方法及其显示系统与电脑可读取记录媒体

Country Status (3)

Country Link
US (1) US10965885B2 (zh)
CN (1) CN110503658A (zh)
TW (1) TWI697861B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862561A (zh) * 2020-07-29 2021-05-28 友达光电股份有限公司 影像显示方法及显示系统
CN116880948A (zh) * 2023-09-07 2023-10-13 深圳星坊科技有限公司 珠宝虚拟试戴展示方法、装置、计算机设备和存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700301B (zh) * 2020-12-29 2024-02-02 浙江百先得服饰有限公司 一种用于生成可预览的服装方案的方法
US11825184B1 (en) * 2022-05-09 2023-11-21 Perfect Mobile Corp. Systems and methods for event-based playback control during virtual application of accessories

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104813340A (zh) * 2012-09-05 2015-07-29 体通有限公司 从2d图像序列导出准确身体尺寸测量的系统和方法
US20160080662A1 (en) * 2005-03-01 2016-03-17 EyesMatch Ltd. Methods for extracting objects from digital images and for performing color change on the object
CN107948514A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像虚化处理方法、装置及移动设备
CN107992187A (zh) * 2016-10-26 2018-05-04 纬创资通股份有限公司 显示方法及其系统
CN108022124A (zh) * 2016-11-01 2018-05-11 纬创资通股份有限公司 互动式服饰试穿方法及其显示系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7680342B2 (en) * 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
CN101271567A (zh) 2007-03-20 2008-09-24 凌阳科技股份有限公司 一种图像比较方法和系统
TW201310369A (zh) * 2011-08-25 2013-03-01 Hon Hai Prec Ind Co Ltd 虛擬試衣系統及方法
CN110415062A (zh) * 2018-04-28 2019-11-05 香港乐蜜有限公司 基于服饰试穿的信息处理方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160080662A1 (en) * 2005-03-01 2016-03-17 EyesMatch Ltd. Methods for extracting objects from digital images and for performing color change on the object
CN104813340A (zh) * 2012-09-05 2015-07-29 体通有限公司 从2d图像序列导出准确身体尺寸测量的系统和方法
CN107992187A (zh) * 2016-10-26 2018-05-04 纬创资通股份有限公司 显示方法及其系统
CN108022124A (zh) * 2016-11-01 2018-05-11 纬创资通股份有限公司 互动式服饰试穿方法及其显示系统
CN107948514A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像虚化处理方法、装置及移动设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
苏松志: "《行人检测 理论与实践》", 31 March 2016 *
赵池航: "《交通信息感知理论与方法》", 30 September 2014 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862561A (zh) * 2020-07-29 2021-05-28 友达光电股份有限公司 影像显示方法及显示系统
CN116880948A (zh) * 2023-09-07 2023-10-13 深圳星坊科技有限公司 珠宝虚拟试戴展示方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
TWI697861B (zh) 2020-07-01
US10965885B2 (en) 2021-03-30
US20190356868A1 (en) 2019-11-21
TW201947494A (zh) 2019-12-16

Similar Documents

Publication Publication Date Title
CN110503658A (zh) 服饰试穿方法及其显示系统与电脑可读取记录媒体
CN109690617B (zh) 用于数字化妆镜的系统和方法
US11501479B2 (en) Virtual make-up apparatus and virtual make-up method
US9369638B2 (en) Methods for extracting objects from digital images and for performing color change on the object
JP4440681B2 (ja) 様式化された画像を生成するための方法
JP4364687B2 (ja) 低画質の映像の画質を高めるための方法
JP4364686B2 (ja) 自然に照明されたシーンの画像の画質を高めるための方法
US9552655B2 (en) Image processing via color replacement
US7206449B2 (en) Detecting silhouette edges in images
US7102638B2 (en) Reducing texture details in images
US20090251484A1 (en) Avatar for a portable device
US20040183940A1 (en) Non-photorealistic camera
KR20160041965A (ko) 거울을 가상화하는 디바이스들, 시스템들 및 방법들
CN108022124A (zh) 互动式服饰试穿方法及其显示系统
WO2018005884A1 (en) System and method for digital makeup mirror
US10484523B2 (en) Mobile communication terminal and method therefore
EP3211600B1 (en) Adaptive depth-guided non-photorealistic rendering method, corresponding computer program product, computer-readable carrier medium and device
TW202030677A (zh) 影像處理方法及其系統與電腦可讀取記錄媒體
Carballal et al. A complexity approach for identifying aesthetic composite landscapes
Premaratne et al. Pre-processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination