CN103049852B - 虚拟试衣系统 - Google Patents
虚拟试衣系统 Download PDFInfo
- Publication number
- CN103049852B CN103049852B CN201210553876.XA CN201210553876A CN103049852B CN 103049852 B CN103049852 B CN 103049852B CN 201210553876 A CN201210553876 A CN 201210553876A CN 103049852 B CN103049852 B CN 103049852B
- Authority
- CN
- China
- Prior art keywords
- bone
- posture
- user
- data
- body sense
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 103
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000009471 action Effects 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 14
- 230000008878 coupling Effects 0.000 claims abstract description 11
- 238000010168 coupling process Methods 0.000 claims abstract description 11
- 238000005859 coupling reaction Methods 0.000 claims abstract description 11
- 230000000694 effects Effects 0.000 claims abstract description 9
- 238000009877 rendering Methods 0.000 claims abstract description 5
- 230000036544 posture Effects 0.000 claims description 61
- 230000014759 maintenance of location Effects 0.000 claims description 5
- 210000004907 gland Anatomy 0.000 claims description 4
- 230000015654 memory Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000004040 coloring Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 238000012552 review Methods 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 abstract description 2
- 238000003786 synthesis reaction Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000036541 health Effects 0.000 description 5
- 210000000689 upper leg Anatomy 0.000 description 4
- 241001269238 Data Species 0.000 description 3
- 238000013523 data management Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 210000000245 forearm Anatomy 0.000 description 2
- 210000002758 humerus Anatomy 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 150000004767 nitrides Chemical class 0.000 description 2
- 210000002303 tibia Anatomy 0.000 description 2
- 210000000623 ulna Anatomy 0.000 description 2
- 206010037660 Pyrexia Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000002805 bone matrix Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000007474 system interaction Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种虚拟试衣系统,它包括体感设备,体感设备控制器;负责处理用户动作识别的姿势识别检测和手势识别检测模块;负责提供数据合成的深度匹配和骨骼绑定模块;为用户提供操作指示和反馈的用户界面逻辑模块;负责向外部显示器输出信号的渲染模块。本发明能够使虚拟衣物精准的匹配到用户的移动影像上,让试穿衣服的效果达到百分之百的真实,便于顾客在实体购物商场中进行快捷、有效地试衣。另外,还可以通过此试衣系统进行商品展示。
Description
技术领域
本发明涉及数字化设备领域,尤其涉及一种虚拟试衣系统。
背景技术
人们在商场购买服装时,往往会反复试穿,以满足自己的审美需求。但是,这样不仅会造成顾客时间的浪费和购物效率的降低,而且冬季冷、夏季热,给顾客带来诸多不便。随着电子商务和计算机科学的发展,网上服装店尝试采用虚拟三维试衣系统来进行虚拟试衣,这种方式有效的解除了顾客对网购衣服不合身的忧虑。然而,目前在实体购物商场中,还没有出现完善的虚拟试衣系统供顾客进行快捷、有效的试衣。
发明内容
本发明要解决的技术问题是:提供一种虚拟试衣系统,使得虚拟衣物能够精准的匹配到用户的移动影像上,让试穿衣服的效果达到百分之百的真实,便于顾客在实体购物商场中进行快捷、有效地试衣。另外,还可以通过此试衣系统进行商品展示。
为了实现上述目的,本发明采用的技术方案是:一种虚拟试衣系统,包括:体感设备,用于实时获取用户的标识信息;体感设备控制器,从体感设备中获取实时数据,对该数据进行处理,并将识别到的人物信息以骨骼的形式返回;姿势识别模块,获取从体感设备控制器返回的骨骼信息,根据姿势识别算法,分析出用户在体感设备前做出的各种静态动作;手势识别模块,通过从体感设备控制器返回的连续数据,分析出用户在体感设备前做出的动态动作;骨骼绑定模块,将虚拟衣物上的关键点与用户骨骼信息一一对应,以获得虚拟试衣的效果;深度匹配模块,控制虚拟衣物与体感设备彩色数据的压盖关系,以获得真实的视觉表现;逻辑模块,为用户提供操作指示和反馈用户界面;渲染模块,负责向外部显示器输出信号。
所述姿势识别模块获得骨骼数据后,遍历所有的姿势,在遍历每一个姿势时,首先初始化变量,设置成功匹配的骨骼数为零,然后依次遍历该姿势中所有的骨骼,在遍历过程中通过点乘用户当前骨骼向量与姿势骨骼向量,得到骨骼夹角数据,如果夹角在该姿势定义的误差范围内,并在姿势定义的时间内保持此姿势,视为这根骨骼匹配成功;该姿势中所有骨骼都遍历完毕后,则检测成功匹配的骨骼数是否等于需要匹配的骨骼数,如果是则表示当前姿势通过检测,跳出姿势检测程序,否则表示检测失败,此时进入下一个姿势的遍历。
所述姿势识别模块对姿势的定义包括:姿势名称,其用于区分不同的姿势;必须通过的骨骼列表,当列表中的所有骨骼全部通过,则检测通过;必须不通过的骨骼列表,列表中的所有骨骼全部没有通过,则检测通过;保持时间,在该姿势定义的匹配时间以上检测通过,则检测通过。
所述手势识别模块通过连续检查最近20个缓存的手掌所在点的数据,如果发现匹配则触发识别事件并清空所有缓存点数据。
所述手势识别模块对手势的定义包括:手掌位置列表和识别间隔。
所述手势识别模块通过遍历缓存点数据,并逐一检测每个点的方向、位移、时间差是否符合要求,如果不符合则设置起始检测位置为当前不符合要求的点的位置;如果符合要求,则从起始检测位置遍历到当前点位置,并逐一比较遍历的两点之间的长度与时间差,如果有任意一组匹配成功,则表示手势检测成功,退出程序,否则继续遍历后续的缓存点数据。
所述骨骼绑定模块对虚拟衣物的定义包括:3D衣物模型,体感骨骼名称-模型骨骼名称映射表,衣物类别和模型肩宽,根据用户左肩到右肩的距离来决定3D衣物模型的缩放,从而实现适应不同体型的人群。
所述深度匹配模块根据深度缓冲技术,比较每个像素的颜色信息和深度信息的值的大小,从而处理前后遮挡的顺序。
本发明带来的有益效果为:(1)产品体积适中,与传统广告箱大小类似,便于在商场、写字楼、会所等公共场合使用。(2)采用姿势识别和手势识别系统,用户无需接触设备即可完成各种操作,增强设备的使用安全性和耐久性。(3)系统界面设计合理,符合用户一般操作习惯,能适应不同身高和体型的用户。(4)软件有很强的扩展性,方便商家进行信息的扩展和更新。(5)在商店使用虚拟试衣系统,减少传统试衣的繁琐程序,提高了试衣的效率。(6)可以为商家提供更多的产品展示机会。将传统的被动展示转换为用户主动参与,提高了展示的效果。
附图说明
图1表示虚拟试衣系统的结构;
图2表示姿势识别算法流程示意图;
图3表示挥手识别算法流程示意图;
图4为深度匹配算法流程图;
图5为本实施方案中的一个典型界面;
图6为骨骼位置和名称示意图;
图7为本实施方案中的系统主界面;
图8为本实施方案中的操作动作的识别。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细说明。
本实施例的虚拟试衣系统由一个体感摄像头和一套软件系统组成。
如图1所示,虚拟试衣系统由以下部分构成:体感设备,体感设备控制器;负责处理用户动作识别的姿势识别检测和手势识别检测模块;负责提供数据合成的深度匹配和骨骼绑定模块;为用户提供操作指示和反馈的用户界面逻辑模块;负责向外部显示器输出信号的渲染模块。下面对各个模块做详细说明。
(一)体感设备
体感设备采用体感摄像头,体感摄像头与传统摄像头有很大的区别,它包含一个普通摄像头和一个由CMOS红外传感器组成的深度摄像头。普通摄像头提供和传统摄像头一样的彩色视频数据。而深度摄像头通过黑白光谱的方式来感知环境:纯黑代表无穷远,纯白代表无穷近。黑白间的灰色地带对应物体到传感器的物理距离。它收集视野范围内的每一点,并形成一幅代表周围环境的深度图像。摄像头以每秒30帧的速度生成深度图像流,实时再现周围环境。
(二)图像处理
体感设备控制器负责与外部体感设备建立连接,从体感设备中获取实时的视频数据和空间数据,并对该数据进行初步处理,去除背景杂乱的数据,将识别到的人物信息以骨骼的形式返回。该模块负责处理从摄像头获取的深度图像流,并寻找图像中较可能是人体的移动物体。接下来处理模块会对深度图像进行像素级评估,来辨别人体的不同部位。由于计算量巨大,这一过程使用了预处理技术来缩短响应时间。
处理的第一阶段需要将人体从背景环境中区分出来,即从噪音中提取出有用信号,系统可以同时追踪最多两个使用者的全身骨骼信息。为了减轻后续计算的工作量,从深度图中只提取与两个使用者相关的深度数据,其余背景数据将不再处理。
第二阶段是把前一阶段提取的数据中的每一个像素都传送进一个辨别人体部位的机器学习系统中。随后该系统将给出了某个特定像素属于哪个身体部位的可能性。比如,一个像素有80%的几率属于脚,60%的几率属于腿,40%的几率属于胸部。
处理流程的最后一个阶段是使用之前阶段输出的结果,评估每一个像素最终的归属来确定关节点。最终可以追踪到14个人体的关节,并生成一幅骨骼系统。另外在最终匹配阶段还做了一些附加输出滤镜来平滑输出等特殊工作。
(三)动作识别
姿势和手势是用户与系统交互的主要方法,系统利用这两个识别模块实现系统输入的功能。姿势是指用户在摄像头前做出的某种静态动作,比如左手上举、右手平举或双手上举等。姿势识别是指利用姿势识别模块获取从体感设备控制器返回的骨骼信息,根据姿势识别算法,从数据中分析出用户在摄像头前做出的各种姿势。
手势识别是分析从体感设备控制器返回的连续数据,从这些数据中分析出用户在摄像头做出的动态动作,比如挥右手或挥左手等。
其中,姿势识别的原理为:
一个姿势通常是由多根骨骼组成的,所以骨骼识别是姿势识别的基础。通过点乘用户骨骼向量与骨骼匹配向量,可以得到骨骼夹角数据。如果夹角在误差范围内,并且保持一定时间,就可以视为这根骨骼匹配成功。当姿势需要的所有骨骼都匹配成功,则表示此姿势匹配成功。
判断某根骨骼是否识别,由以下几个数据决定:
1.数据可信度。体感设备传入的骨骼数据可信度,在一定范围内则检测通过。
2.误差区间。骨骼标准朝向与实际骨骼朝向之间的夹角在一定范围内则检测通过。
3.保持时间。在一定时间内保持以上检测都通过,则检测通过。
姿势的定义如下:
1.姿势名称。用于区分不同的姿势。
2.必须通过的骨骼列表。列表中的所有骨骼全部通过,则检测通过。
3.必须不通过的骨骼列表。列表中的所有骨骼全部没有通过,则检测通过。
4.保持时间。在一定时间内以上检测都通过,则检测通过。
为了便于灵活添加新的姿势,可以把以上数据以XML的形式来描述。
<Posename="姿势名称"time="保持时间"break="是否打断后续姿势">
<!--必须通过的骨骼列表-->
<Compatible>
<Bonename="骨骼名称"axisX="骨骼标准朝向X"axisY="骨骼标准朝向Y"axisZ="骨骼标准朝向Z"maxErr="误差最大值"minErr="误差最小值"conf="可信度阀值"/>
<!—其他骨骼...-->
</Compatible>
<!--必须不通过的骨骼列表-->
<NotCompatible>
<Bonename="骨骼名称"axisX="骨骼标准朝向X"axisY="骨骼标准朝向Y"axisZ="骨骼标准朝向Z"maxErr="误差最大值"minErr="误差最小值"conf="可信度阀值"/>
<!—其他骨骼...-->
</NotCompatible>
</Pose>
图2表示姿势识别算法流程示意图。
程序获得体感设备传入的数据后,更新当前捕获的用户,并获得其骨骼矩阵数据。然后遍历所有姿势,初始化变量,设置成功匹配的骨骼数为零,接着遍历姿势中所有骨骼,使用点乘得到当前骨骼向量与姿势骨骼向量的夹角。判断这个夹角值是否在允许范围内,以及当前骨骼数据可信度是否符合要求。如果不符合要求则跳出当前遍历,并遍历下一个姿势,否则置成功匹配的骨骼数加一。
如果所有姿势及其骨骼都遍历完毕,则检测成功匹配的骨骼数是否等于需要匹配的骨骼总数,如果是则表示当前姿势通过检测,此时可以跳出姿势检测程序。如果不相等的话则表示有骨骼检测失败了,此时进入下一个姿势的遍历。
如果所有姿势都遍历完毕且没有匹配的骨骼,则表示没有检测到任何匹配的姿势,此时退出姿势检测程序并进入下一个检测环节。
挥手识别原理:
姿势识别在大多数情况下是非常有效的,但是缺点在于用户必须在一定时间内保持一种姿势,在某些情况下不是很符合人的操作习惯。挥手识别就是用来解决这一问题的。
挥手识别是通过挥动手掌来触发识别事件,其核心技术就是不停地检查最近n个缓存的手掌所在点的数据,如果发现匹配则触发识别事件并清空所有缓存点数据。
我们定义了以下数据来进行挥手识别的检测:
1.手掌位置列表。缓存了最近20个手掌位置数据。
2.识别间隔。在触发了一次识别后,通常需要间隔很短的事件才允许下一次识别,目的是防止连续触发识别事件。
挥手的轨迹一般为近似的直线段,所以挥手姿势由方向和速度两个关键数据来决定,通过求向量夹角以及两个点之间的距离和时间差,就可以判断该点是否通过检测,这就是单点检测函数。不同挥手姿势主要由不同的单点检测函数来决定。
以下是检测挥手的步骤:
1.设置“起始位置”为首位置;
2.从第二个节点开始,往后遍历手掌位置列表,检查每一个遍历的节点;
3.检测当前节点方向和速度是否匹配;
4.如果检测通过则跳到第6步,否则跳到第5步;
5.设置“起始位置”为当前位置,并跳到第2步;
6.从“起始位置”开始遍历手掌位置列表,一直到当前位置,并检测当前位置与起始位置的距离和时间差,如果匹配则算挥手检测通过。
图3表示挥手识别算法流程示意图。
遍历缓存点数据,并逐一检测每个点的方向、位移、时间差是否符合要求。如果不符合则设置起始检测位置为当前不符合要求的点的位置。如果符合要求,则从起始检测位置遍历到当前点位置,并逐一比较遍历的两点之间的长度与时间差。如果有任意一组匹配成功,则表示手势检测成功,退出程序。否则继续遍历后续的点数据。如果所有点都遍历完毕还未匹配,则手势检测失败。
基于上述技术定义以下几种操作方式:确定、返回、挥手选择和悬停选择。这几个动作是使用体感摄像头操作的基本动作。
触发确定动作表示用户确认当前选择,并触发系统执行用户的选择操作。触发返回动作表示用户取消当前的操作,并触发系统返回前一个操作状态或界面。
选择动作表示用户在多个选择项中标识出选中的一项。挥手和悬停选择是两种选择的方式。
挥手选择时,系统在选项上提供一个选择框,当用户触发挥手选择动作后,系统将根据用户的动作来移动选择框。选择框所在的选项就是用户选择的选项。
悬停选择是一种灵活和直观的选择方式,界面上提供可供用户选择的选项,当用户把手移动到该选项上并触发悬停选择操作时,系统将执行该选项对应的命令。
操作动作的识别
确定与返回:当用户做出右手上举的姿势并保持0.5秒,则触发“确定”动作;当用户做出左手上举的姿势并保持0.5秒,则触发“返回”动作。
挥手选择:用户挥手共有八种方式:左手左挥、左手右挥、左手上挥、左手下挥、右手左挥、右手右挥、右手上挥和右手下挥。当用户做出动作后,系统依赖挥手识别技术,从上述八种挥手中识别出用户最终做出的动作。
悬停选择:当用户手掌移动到可选择区域,在1秒内保持不离开,将触发悬停选择动作。
(四)骨骼绑定
用户站在体感摄像头前,数据由体感摄像头获取,经过分析获得用户的骨骼信息,为了实现虚拟衣物能准确匹配到用户骨骼信息之上,系统使用了骨骼绑定技术。该技术将虚拟衣物上的关键点与用户骨骼信息一一对应,用户在摄像头前移动时,对应的虚拟衣物也会随之移动,利用这种方法获得虚拟试衣的效果。
骨骼绑定是把3D衣物模型绑在人体骨骼上的技术,它允许衣物随着身体的运动而运动,并且根据用户肩宽来决定3D模型的缩放,从而实现适应不同体型的人群。通过“体感骨骼名称-模型骨骼名称映射表”,把体感骨骼的朝向、位置数据,一一对应到模型骨骼。使模型骨骼与体感骨骼的矩阵相同,在图像上得以与身体重叠,从而实现骨骼的绑定。体感骨骼名称-模型骨骼名称映射表如下所示:
骨骼名称 | 体感骨骼名称 | 模型骨骼名称 |
左手尺骨 | BN_left_ULNA | Bip01 R Forearm |
左手肱骨 | BN_left_HUMERUS | Bip01 R UpperArm |
左腿胫骨 | BN_left_TIBIA | Bip01 R Calf |
左腿股骨 | BN_left_FEMUR | Bip01 R Thigh |
右手尺骨 | BN_right_ULNA | Bip01 L Forearm |
右手肱骨 | BN_right_HUMERUS | Bip01 L UpperArm |
右腿胫骨 | BN_right_TIBIA | Bip01 L Calf |
右腿股骨 | BN_right_FEMUR | Bip01 L Thigh |
表1
骨骼绑定的实现,需要对衣物的数据结构进行定义。
3D衣物定义:
1.3D衣物模型。可以是衣服裤子鞋子等任意可挂载的模型。
2.体感骨骼名称-模型骨骼名称映射表。通过此表来实时查询和更新体感骨骼数据到模型上。
3.衣物类别。比如“衣服”“裤子”等等类别,用于替换之前绑定的相同类别的衣物。
4.模型肩宽。跟实际肩宽相比较,用于计算衣物的缩放值,适应不同体型的人。
(五)深度匹配
深度匹配技术用来提升虚拟试衣的真实度。由于从体感摄像头获得的彩色数据是平面数据,而系统提供的虚拟衣物数据为三维数据。在两种数据进行融合的时候会出现不合常理的压盖,所以利用深度匹配技术来控制虚拟衣物和摄像头彩色数据的压盖关系,以获得更真实的视觉表现。
要让虚拟的3D衣服模型紧贴在用户身上,就必须处理好真实与虚拟之间的遮挡关系。通过体感摄像头获取的图像数据,以及3D渲染的衣服模型,都有一个共同点,就是每个像素除了颜色信息还有深度信息,根据深度缓冲技术,比较二者的值的大小,就可以得出前后遮挡的顺序。
图4为深度匹配算法流程图
把每帧获得的体感深度图传入模型渲染着色器,在着色器中比较衣服模型投影后的像素深度值与传入的深度图的深度值。如果传入的深度值比模型深度值更小,则说明身体遮挡了衣服,此处的衣服像素将不渲染,以实现视觉效果上的肢体遮挡衣物以及深度与身体匹配的需求。
(六)界面操作
图5为本实施方案中的一个典型界面。界面上有两种操作方式:姿势确定和挥手选择。界面左上角和右上角的按钮表示用户只要做出对应按钮上指示的姿势,该按钮的按下操作就会被激活。界面下方有三个框,表示三个选项,其中中间一个表示是当前选中的项目。用户执行左挥手动作,系统将改变界面下方三个框的顺序,将选项1移动至最右边,选项2和选项3左移一格。则此时选中的项目为选项3。利用这两种操作方式可以完成系统中所有功能的交互操作。
下面对本发明所述的虚拟试衣系统做具体说明。
该系统由外壳、摄像头、LED屏幕和主机组成。外壳与传统广告箱大小类似,以便于在商场使用。摄像头由体感摄像头组成,设于外壳内部上方。LED屏幕可采用LED电视,并在外壳内部纵向摆放。主机采用普通个人计算机。
虚拟试衣系统的主界面包含三层:背景层、人物层和界面层。背景层图像由体感摄像头中的普通摄像头提供,表现真实的环境数据。人物层在背景层之上,由普通摄像头提供的人物数据与骨骼数据相结合,将虚拟衣服与人物无缝镶嵌,表现出真实穿衣的感觉。界面层浮动在最上层,为用户提供操作平台。
由于采取体感摄像机,用户必须使用相应手势才可操作虚拟试衣界面。用户在系统中可以看见自己的影像在界面中显示,所以自己的双手的位置便直接对应可操作的位置。在系统中主要使用的手势有两个:悬停和挥手。
悬停操作对应于一般电脑上鼠标的单击操作,表示需要启用对应的功能。当用户把手放在某个界面上,并保持一个很短的悬停时间,系统将认为用户需要选择该功能,故触发点击操作。在系统中执行悬停操作不需要区分左右手,任何一个手均可触发悬停功能,为用户使用提供便利。
挥手操作对应于一般电脑上使用滑动条的操作。当界面上的信息不能一次显示全时,需要使用挥手操作来改变其内容。挥手一般分为由左至右和由右至左这两种操作。当用户抬起左手从身体左前方平移到右前方即可触发由左至右的滑动操作,对应界面上的信息也会向右移动。
本系统的主要功能模块:
待机功能:虚拟试衣系统一般都放置在商场等功能场合供来往的用户使用。当一段时间没有用户进入系统的可操作区域时,系统便会自动进入待机状态。待机状态显示的内容由商家自行订制,一般可以放置视频、广告或虚拟试衣演示。当有用户步入可操作区域时,系统立即从待机状态退出,恢复到正常运行状态。
选装功能:选装功能有三个可操作部分:男女装切换、衣服类型切换和衣服切换。
男女装切换,这个功能界面在主界面左边,为用户提供男装和女装的类型区分。用户需要使用悬停手势来激活对应的功能。
衣服类型切换,这个功能界面在主界面最上方,为用户提供服装的子类选择。在系统中主要包含衣服、包、腰带、鞋和帽子等各种类别。由于一行只能显示四个类别,所以用户需要使用挥手手势左右移动来显示更多的类别。当确定需要选择某个类别时,可以使用悬停手势激活。
衣服切换,在用户选定类别以后,位于主界面中央的半透明界面中将显示该类别中的所有衣服,界面中央最大方框中的衣服将自动更新到用户身上。用户需要使用左右滑动手势来切换不同的衣服。
拍照功能,拍照模块为用户提供保存试衣效果的功能。用户在选择各种衣服进行试穿后,如果对某件衣服比较感兴趣,可以点击拍照按钮。拍照按钮在主界面右上方。在拍照前有三秒的倒计时,在这个过程中用户可以根据需要调整姿势,以获得良好的拍摄效果。
拍摄出来的照片是包含背景、人物和虚拟衣服的叠加照片,可以获得非常真实的衣服上身效果。
数据管理和工具,数据管理:虚拟试衣系统为用户提供了各式各样可以试穿的衣服。这部分衣服数据都按照特定的数据格式保存在系统目录下,该目录中按照衣服的类型把数据分成若干子目录。每个子目录下包含具体衣服的描述信息、三维模型数据和贴图数据。
系统在运行的时候自动从文件夹中读取衣服的信息并显示在界面中。如果需要添加或删除可试穿的衣服,可以直接更改文件夹中的文件。
工具模块:衣服数据一般通过三维建模工具3DMax制作,下图是在三维建模工具中正在制作的衣服。
模型制作之后使用本系统自带的3DMax导出插件将数据转换成系统可以识别的三维模型和贴图数据。如下图所示。
从数据管理和工具来看,本系统均使用了成熟的技术和工具。利用这个处理流程在实际应用中可以非常简单和快速地制作大量衣服。这些工具对于模型制作人员是非常熟悉的,所以在制作过程中成本低廉,利于系统推广应用。同时利用文件夹管理数据,也有利于使用者快速更新数据。
Claims (7)
1.一种虚拟试衣系统,其特征在于,包括:
体感设备,用于实时获取用户的标识信息;
体感设备控制器,从体感设备中获取实时数据,对该数据进行处理,并将识别到的人物信息以骨骼的形式返回;
姿势识别模块,获取从体感设备控制器返回的骨骼信息,根据姿势识别算法,分析出用户在体感设备前做出的各种静态动作;所述姿势识别模块获得骨骼数据后,遍历所有的姿势,在遍历每一个姿势时,首先初始化变量,设置成功匹配的骨骼数为零,然后依次遍历该姿势中所有的骨骼,在遍历过程中通过点乘用户当前骨骼向量与姿势骨骼向量,得到骨骼夹角数据,如果夹角在该姿势定义的误差范围内,并在姿势定义的时间内保持此姿势,视为这根骨骼匹配成功;该姿势中所有骨骼都遍历完毕后,则检测成功匹配的骨骼数是否等于需要匹配的骨骼数,如果是则表示当前姿势通过检测,跳出姿势检测程序,否则表示检测失败,此时进入下一个姿势的遍历;
手势识别模块,通过从体感设备控制器返回的连续数据,分析出用户在体感设备前做出的动态动作;
骨骼绑定模块,将虚拟衣物上的关键点与用户骨骼信息一一对应,以获得虚拟试衣的效果;
深度匹配模块,控制虚拟衣物与体感设备彩色数据的压盖关系,以获得真实的视觉表现;
逻辑模块,为用户提供操作指示和反馈用户界面;
渲染模块,负责向外部显示器输出信号。
2.根据权利要求1所述的虚拟试衣系统,其特征在于:所述姿势识别模块对姿势的定义包括:姿势名称,其用于区分不同的姿势;通过检测的骨骼列表,当列表中的所有骨骼全部通过,则检测通过;不能通过检测的骨骼列表,列表中的所有骨骼全部没有通过,则检测通过;保持时间,在该姿势定义的匹配时间以上检测通过,则检测通过。
3.根据权利要求1所述的虚拟试衣系统,其特征在于:所述手势识别模块通过连续检查最近20个缓存的手掌所在点的数据,如果发现匹配则触发识别事件并清空所有缓存点数据。
4.根据权利要求3所述的虚拟试衣系统,其特征在于:所述手势识别模块对手势的定义包括:手掌位置列表和识别间隔。
5.根据权利要求4所述的虚拟试衣系统,其特征在于:所述手势识别模块通过遍历缓存点数据,并逐一检测每个点的方向、位移、时间差是否符合要求,如果不符合则设置起始检测位置为当前不符合要求的点的位置;如果符合要求,则从起始检测位置遍历到当前点位置,并逐一比较遍历的两点之间的长度与时间差,如果有任意一组匹配成功,则表示手势检测成功,退出程序,否则继续遍历后续的缓存点数据。
6.根据权利要求1所述的虚拟试衣系统,其特征在于:所述骨骼绑定模块对虚拟衣物的定义包括:3D衣物模型,体感骨骼名称-模型骨骼名称映射表;衣物类别和模型肩宽,根据用户左肩到右肩的距离来决定3D衣物模型的缩放,从而实现适应不同体型的人群。
7.根据权利要求1所述的虚拟试衣系统,其特征在于:所述深度匹配模块根据深度缓冲技术,比较每个像素的颜色信息和深度信息的值的大小,处理前后遮挡的顺序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210553876.XA CN103049852B (zh) | 2012-12-19 | 2012-12-19 | 虚拟试衣系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210553876.XA CN103049852B (zh) | 2012-12-19 | 2012-12-19 | 虚拟试衣系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103049852A CN103049852A (zh) | 2013-04-17 |
CN103049852B true CN103049852B (zh) | 2015-12-09 |
Family
ID=48062482
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210553876.XA Expired - Fee Related CN103049852B (zh) | 2012-12-19 | 2012-12-19 | 虚拟试衣系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103049852B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105843386A (zh) * | 2016-03-22 | 2016-08-10 | 宁波元鼎电子科技有限公司 | 一种商场虚拟试衣系统 |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103324810A (zh) * | 2013-07-09 | 2013-09-25 | 贵州太和环境工程有限公司 | 个性装饰搭配系统 |
CN103530903A (zh) * | 2013-10-28 | 2014-01-22 | 智慧城市系统服务(中国)有限公司 | 一种虚拟试衣间的实现方法及实现系统 |
CN103544636A (zh) * | 2013-11-08 | 2014-01-29 | 梁涛 | 基于虚拟商场的互动方法及设备 |
CN105096246B (zh) * | 2014-05-08 | 2019-09-17 | 腾讯科技(深圳)有限公司 | 图像合成方法和系统 |
CN105404385B (zh) * | 2014-05-30 | 2018-11-27 | 阿里巴巴集团控股有限公司 | 一种智能显示终端与体感设备实现数据交互的方法及装置 |
CN105528056A (zh) * | 2014-09-28 | 2016-04-27 | 广州新节奏智能科技有限公司 | 一种智能体验购物装置及体验方法 |
CN104199558A (zh) * | 2014-09-28 | 2014-12-10 | 邬晨燚 | 一种体感配衣仪 |
CN104345886B (zh) * | 2014-10-09 | 2017-04-26 | 深圳码隆科技有限公司 | 一种实现时尚体验的智能眼镜系统及个性化时尚体验方法 |
MA41117A (fr) * | 2014-12-05 | 2017-10-10 | Myfiziq Ltd | Imagerie d'un corps |
WO2016123769A1 (zh) * | 2015-02-05 | 2016-08-11 | 周谆 | 虚拟饰品试戴的人机交互方法和系统 |
CN105701690A (zh) * | 2016-03-15 | 2016-06-22 | 成都爆米花信息技术有限公司 | 一种虚拟试衣装置 |
CN105825407A (zh) * | 2016-03-31 | 2016-08-03 | 上海晋荣智能科技有限公司 | 虚拟试衣镜系统 |
CN107392957B (zh) * | 2017-07-19 | 2021-06-08 | 杭州中赛实业有限公司 | 一种基于体感技术的童装试衣方法及其童装 |
CN107481280B (zh) * | 2017-08-16 | 2020-05-15 | 北京优时尚科技有限责任公司 | 一种骨骼点的矫正方法及计算设备 |
CN107609946B (zh) * | 2017-09-19 | 2020-11-06 | 北京优时尚科技有限责任公司 | 一种显示控制方法及计算设备 |
CN109963088A (zh) * | 2017-12-14 | 2019-07-02 | 苏州梦想人软件科技有限公司 | 基于增强现实ar的网络直播方法、装置及系统 |
CN107958232A (zh) * | 2017-12-26 | 2018-04-24 | 石狮市森科智能科技有限公司 | 基于体感交互的虚拟试衣方法、系统和试衣间 |
CN107967062B (zh) * | 2017-12-26 | 2023-11-24 | 石狮市森科智能科技有限公司 | 一种基于体感交互的智能试衣方法、系统和橱窗 |
CN109345337A (zh) * | 2018-09-14 | 2019-02-15 | 广州多维魔镜高新科技有限公司 | 一种网购试穿戴方法、虚拟试衣镜、系统及存储介质 |
CN109409994A (zh) * | 2018-10-15 | 2019-03-01 | 北京京东金融科技控股有限公司 | 模拟用户穿戴服装饰品的方法、装置和系统 |
RU2019125602A (ru) * | 2019-08-13 | 2021-02-15 | Общество С Ограниченной Ответственностью "Тексел" | Комплексная система и способ для дистанционного выбора одежды |
CN111166111A (zh) * | 2020-01-14 | 2020-05-19 | 焦作大学 | 一种智能防护电子商务平台展示柜 |
CN113593016A (zh) * | 2021-07-30 | 2021-11-02 | 深圳市慧鲤科技有限公司 | 一种贴纸的生成方法和装置 |
CN114217863B (zh) * | 2021-12-17 | 2024-07-12 | 江苏伟岸纵横科技股份有限公司 | 一种虚拟现实设备硬件驱动系统 |
CN114327058B (zh) * | 2021-12-24 | 2023-11-10 | 海信集团控股股份有限公司 | 显示设备 |
CN114445601A (zh) * | 2022-04-08 | 2022-05-06 | 北京大甜绵白糖科技有限公司 | 一种图像处理方法、装置、设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102509224A (zh) * | 2011-10-21 | 2012-06-20 | 佛山伊贝尔科技有限公司 | 基于深度影像获取技术的人体试衣方法 |
CN202331464U (zh) * | 2011-11-23 | 2012-07-11 | 杭州森动数码科技有限公司 | 一种互动虚拟试衣装置 |
CN102750438A (zh) * | 2012-05-24 | 2012-10-24 | 深圳市美丽同盟科技有限公司 | 虚拟服饰生成方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4473754B2 (ja) * | 2005-03-11 | 2010-06-02 | 株式会社東芝 | 仮想試着装置 |
-
2012
- 2012-12-19 CN CN201210553876.XA patent/CN103049852B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102509224A (zh) * | 2011-10-21 | 2012-06-20 | 佛山伊贝尔科技有限公司 | 基于深度影像获取技术的人体试衣方法 |
CN202331464U (zh) * | 2011-11-23 | 2012-07-11 | 杭州森动数码科技有限公司 | 一种互动虚拟试衣装置 |
CN102750438A (zh) * | 2012-05-24 | 2012-10-24 | 深圳市美丽同盟科技有限公司 | 虚拟服饰生成方法及装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105843386A (zh) * | 2016-03-22 | 2016-08-10 | 宁波元鼎电子科技有限公司 | 一种商场虚拟试衣系统 |
CN105843386B (zh) * | 2016-03-22 | 2019-05-17 | 浙江诺和品牌管理有限公司 | 一种商场虚拟试衣系统 |
Also Published As
Publication number | Publication date |
---|---|
CN103049852A (zh) | 2013-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103049852B (zh) | 虚拟试衣系统 | |
Lv et al. | Multimodal hand and foot gesture interaction for handheld devices | |
CN103793060B (zh) | 一种用户交互系统和方法 | |
Lv | Wearable smartphone: Wearable hybrid framework for hand and foot gesture interaction on smartphone | |
JP2019149202A (ja) | エクストラミッシブ空間撮像デジタル眼鏡装置または拡張介在ビジョン | |
Muender et al. | Does it feel real? Using tangibles with different fidelities to build and explore scenes in virtual reality | |
CN108052202A (zh) | 一种3d交互方法、装置、计算机设备及存储介质 | |
CN105930785B (zh) | 一种智能化的隐式交互系统 | |
CN110168475A (zh) | 将用户接口装置导入虚拟现实/增强现实的系统 | |
CN105915987B (zh) | 一种面向智能电视的隐式交互方法 | |
CN103930944A (zh) | 用于空间输入装置的自适应跟踪系统 | |
CN103544636A (zh) | 基于虚拟商场的互动方法及设备 | |
CN107688390A (zh) | 一种基于体感交互设备的手势识别控制器 | |
CN104571823A (zh) | 一种基于智能电视的非接触式虚拟人机交互方法 | |
CN102509092A (zh) | 体感手势识别方法 | |
WO2003023666A2 (en) | An on-line method for aiding a customer in the purchase of clothes | |
Gao | Key technologies of human–computer interaction for immersive somatosensory interactive games using VR technology | |
CN105912102A (zh) | 一种信息处理方法和电子设备 | |
Rehman et al. | Two hand gesture based 3d navigation in virtual environments | |
Zong et al. | An exploratory study of integrative approach between 3D body scanning technology and motion capture systems in the apparel industry | |
CN113703583A (zh) | 一种多模态交叉融合的虚拟影像融合系统、方法、装置 | |
Feng et al. | A review of an interactive augmented reality customization clothing system using finger tracking techniques as input device | |
Serra et al. | Natural user interfaces for mixed reality: Controlling virtual objects with your real hands | |
Zhang et al. | Switch techniques to recover spatial consistency between virtual and real world for navigation with teleportation | |
Treepong et al. | The development of an augmented virtuality for interactive face makeup system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20151209 |