CN105139446A - 一种基于kinect的全息虚拟试衣系统 - Google Patents

Abstract

本发明公开了一种基于kinect的全息虚拟试衣系统，包括投影仪、全息投影幕、设置在全息投影幕上用于实时获取人体骨骼空间数据以及rgb彩色图像数据的kinect体感摄像机和安装有虚拟试衣程序的PC端；kinect体感摄像机及投影仪均通过接口与PC端相连接；虚拟试衣程序用于读取kinect体感摄像机传输来的骨骼空间数据，实现用户骨骼跟踪；然后基于弹簧-质点模型的服装仿真算法仿真出服装三维模型；最后将所述服装三维模型与用户骨骼绑定，生成用于体现服装试穿在用户身上的服装三维试穿模型；投影仪用于将虚拟试衣程序实时构建的服装三维试穿模型投影到全息投影幕上。本发明系统稳定性好、用户体验性好、真实感强。

Description

一种基于kinect的全息虚拟试衣系统

技术领域

本发明涉及一种基于kinect的全息虚拟试衣系统，属于虚拟试衣技术领域。

背景技术

在通信、网络日益发达的今天，电子商务俨然成为我们生活中不可分割的一部分。服装在电子商务交易中扮演着很重要的角色，但是线上交易的服装却面临无法试穿的尴尬情况。随着电子商务技术的发展，互联网成为服装业一个重要的销售渠道，因此推动了网上虚拟试衣系统的研究。虚拟试衣系统是一种应用于服装电子商务的实时交互平台，对促进服饰行业、鞋类、箱包以及化妆品等行业发展具有很大作用。

然而，现有的虚拟试衣技术并不成熟，系统尚不完善。国内的的虚拟试衣多为2D系统，通过把服装的平面贴图覆盖到模特的照片上来完成试衣。此类系统缺乏真实性，很难达到理想的效果。为了解决这个问题，很多公司、研究机构都对虚拟试衣进行了研究,现在市面上的的虚拟试衣系统主要分为两种：

1.基于2D图像的虚拟试衣

主要面向客户，因为软件小，便宜甚至免费，但是用户体验差。随着计算机技术的发展和生活节奏的不断加速，网络虚拟系统日趋成熟化和大众化，而顾客在购买之前如果能通过网络试衣平台选择自己合穿的，便可提高网络购衣水平，因此网络试衣间研究近年来都很火，技术发展也较成熟，比如MyVirtualModel就是比较著名的虚拟试衣网站。但是，考虑到服务器端所能承受最大计算量有限，因此，服务器端这种试衣软件，更多采用2D图片匹配人体，很难采用真实3D模型匹配技术，真实感比实体试衣镜更差，当然，以此带来的用户体验性，就更差了。

2.基于3D图形的虚拟试衣

主要面向大型商城，原因是成本高昂，不是普通商店或是家庭用户能使用的，目前在淘宝上最便宜的一套虚拟试衣系统是18000元。这种方式的试衣能给用户更加直观的感受，但目前，技术上衣服和人体匹配效果不理想，试衣服动作限制较大。这种试衣镜技术虽然先进，但却不适合平民个体，所以暂时市场较小，技术发展突破也比较迟缓。

综上所述，现有虚拟试衣系统主要存在几个不足：

一.采用2D图片设计，真实感差；

二.人体模型大多用数据库模型匹配，用户体验性少；

三.人机交互还不够自然，系统不够稳定。

发明内容

针对现有技术存在的不足，本发明目的是提供一种基于kinect的全息虚拟试衣系统，本发明系统稳定性好、用户体验性好、真实感强。

为了实现上述目的，本发明是通过如下的技术方案来实现：

本发明的一种基于kinect的全息虚拟试衣系统，包括投影仪、全息投影幕、设置在全息投影幕上方用于实时获取用户骨骼空间数据以及RGB彩色图像数据的kinect体感摄像机和安装有虚拟试衣程序的PC端；kinect体感摄像机及投影仪均通过接口与PC端相连接；虚拟试衣程序首先读取kinect体感摄像机传输来的用户骨骼空间数据、RGB彩色图像数据，将RGB彩色图像数据在背景图层显示，并根据用户骨骼空间数据逐帧计算出用户骨骼点之间的相对位置以及用户骨骼之间相成的角；然后根据用户选择加载添加了服装仿真属性(包括重力、距离、刚度)的服装三维模型，同时将用户骨骼点之间的相对位置赋值给对应骨骼的空间位置，以控制服装蒙皮骨骼位置；将用户骨骼之间相成的角赋值给对应骨骼的空间旋转角度，以控制对应服装蒙皮骨骼旋转角度，得到服装模型，由此实现服装模型与用户动作同步，即实现服装与用户骨骼跟踪；最后在unity3D将服装模型渲染显示在仿真图层，并将仿真图层叠加在背景图层之上，生成虚拟试衣效果；投影仪用于将虚拟试衣程序实时构建的虚拟试衣效果投影到全息投影幕上，从而实时显示试衣效果。

控制服装蒙皮骨骼位置时，首先将用户骨骼点之间的相对位置根据屏幕大小进行等比放大(即乘上对应屏幕大小数据)，然后将放大后用户骨骼点之间的相对位置赋值给服装三维模型的服装蒙皮骨骼相对位置。

控制服装蒙皮骨骼旋转角度时，首先获取上面放大后用户骨骼点之间的相对位置，将该骨骼的相对位置与其父骨骼的相对位置在同一平面中进行映射，在同一笛卡尔坐标系中计算出该骨骼与其父骨骼在二维平面的正切值，根据计算的正切值求出两骨骼与该二维平面的夹角，将夹角赋值给服装三维模型的服装蒙皮骨骼旋转角度，以实现服装骨骼旋转与人体骨骼旋转跟踪。

上述投影仪安装在天花板上，且投影仪的镜头与天花板呈15°～30°夹角；投影仪与全息投影幕之间的直线距离为2～2.5米。

全息虚拟试衣系统使用时，用户站立于全息投影幕正前方0.5～1M米处。

上述全息投影幕包括透明板和贴合在透明板上的浅灰膜。

上述透明板为亚克力板或者玻璃板。

上述投影仪的亮度不小于2000流明，且分辨率不低于1024*768。

上述PC端与kinect体感摄像机通过USB接口相连接；PC端与投影仪通过VGA接口相连接。

本发明充分利用了性价比高、效果好的kinect体感摄像头，利用廉价的全息投影膜、全息投影仪实现高端广告机效果；软件与硬件采用较为灵活的展示方案，减小系统体积；本发明在平台以及功能进行创新，为用户提供较为真实的虚拟试衣效果。

附图说明

图1为本发明的基于kinect的全息虚拟试衣系统整体布局图；

图2为本发明的基于kinect的全息虚拟试衣系统整体软件模块图；

图3为本发明的基于kinect的全息虚拟试衣系统整体平台模块图；

图4为本发明的基于kinect的全息虚拟试衣系统工作流程图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

kinect三维扫描技术。

kinect是一种3D体感摄影机，它具备即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能，同时，它向开发者提供了原始感测数据流，骨架追踪等接口。本系统中通过kinect直接取得距离传感器、彩色摄影机以及四单元麦克风数组的原始数据流，以该数据流为基础进行开发，并且通过骨架跟踪追踪kinect视野内一位或二位用户的骨架影像，采集人体骨骼空间数据。

在人体数据采集过程中运用深度相机kinect进行人体的三维扫描控制，该系统利用kinect对人体进行非接触式外形扫描，得到点云数据，在经过处理可实现扫描物体的快速成型，呈现三维实体造型，再由深度转化算法，计算出人体的大概尺寸，生成相匹配的3D模型。本项目通过真实估计用户的体格尺寸，并对3D衣物进行等比例的放大缩小，通过对人体的实时跟踪，使得3D衣物逼真的“穿在”人体上，这是该系统设计关键环节。

unity3D+kinect系统开发。

unity是由UnityTechnologies开发的一个让玩家轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型游戏开发工具，是一个全面整合的专业游戏引擎。本系统借助unity3D+kinect进行图形界面开发，并对服装三维模型进行渲染，以达到真实效果，提高用户体验性。

衣料仿真算法。

基于3D的衣料质点-弹簧模型算法，是试衣用户体验的重要一点。本发明专利对现有衣料仿真算法进行优化，基于物理的造型方法，对复杂的弹性变形过程使衣料尽可能的接近真实衣料。进行仿真。以实现当用户旋转时候，衣服在跟着旋转的时候，还兼顾衣物物理特性对三维图形进行变形，达到逼真的效果。

全息投影技术。

全息投影技术也称虚拟成像技术，是利用干涉和衍射原理记录并再现物体真实的三维图像的技术。而全息投影技术的核心即全息投影膜，全息投影膜在保持清晰显像的同时，能让观众透过正面、背面、两侧、多角度直接观看图像。在本系统中，以全息深灰膜作为全息投影图像载体，以达到最真实的三维成像效果。

平台创新

参见图2和图3，本发明专利在平台上使用微软kinect体感摄像机、全息投影平台与unity3D游戏开发平台进行开发。Kinect体感摄像头具有成本低、扫描效果较好、能够读取RGB彩色图像数据(为Kinect彩色摄像图捕获的人体周围图像数据，用于为用户呈现更真实的试衣效果)和深度数据流等优点，适合体感游戏开发，目前主要应用于XBOX360游戏主机上。Unity3D开发平台具有很好的跨平台特性，系统能够很好的适配windows、MacOS、Linux等主流操作系统。系统显示部分采用用户体验良好、显示效果较为真实的全息投影技术，能够将服装三维模型更加真实的展示出来。本发明将上述平台集合在一起，发挥每个平台的优点，同时也通过研究突破了很多技术上的问题，将平台连接起来，呈现更好的虚拟试衣效果。

前述的kinect与unity3D平台结合开发，unity3D平台与kinect体感设别采用卡耐基梅隆大学的kinectWrapper.unitypackage开发包，使用C#开发语言对系统进行开发。通过读取传输的骨骼空间信息，实现骨骼跟踪。

前述的unity体感设备，unity放置于全息投影膜下方边缘中部，用户与kinect之间保持0.5-1M距离。

前述的全息投影平台进行显示，全息投影平台包括投影仪与全息投影幕布组成。全息投影仪亮度采用2000-3500流明亮度保证系统能在白天使用，分辨率不低于1024*768。全息投影膜采用透光度与成像效果俱佳的浅灰膜，增强真实感。投影仪与幕布之间距离采用2M-2.5M距离保证成像效果。全息投影平台通过VGA数据传输，并投影。

前述的全息投影膜，全息投影膜采用浅灰膜，保证一定透光率与一定反光率。所述全息投影膜贴合在透明亚克力板或是玻璃等透明材质上。

功能创新

本发明专利为用户提供较为真实的虚拟试衣体验，在功能上实现用户的服装仿真、试穿、购买与分享等功能，以及用户骨架跟踪、手势识别等基本人机交互。

前述在功能上实现服装仿真，用户在选择服装后，系统生成对应的服装三维模型。基于弹簧-质点模型的服装仿真算法为服装提供实时布料仿真，更真实体现服装试穿在用户身上。

前述在功能上实现服装试穿，系统将数据库中服装预览数据加载并供选择，选择后，系统加载对应服装*.assertbundle文件，并实例化显示。

前述在功能上实现购买与分享功能，系统将所选择服装数据存入临时服务器目录，并将其对应信息放置数据库中存储，同时生成服务器对应链接。系统获取链接通过二维码生成系统生成对应二维码供用户扫描。

前述在人机交互上实现用户骨架跟踪，系统将kinect获取得到用户骨骼空间数据，实时更新骨骼数据并控制对应服装等运动、仿真。

前述在人机交互上实现用户手势识别，系统能对用户特定手势识别，并控制系统运行。

本发明的一种基于kinect的全息虚拟试衣系统，将kinect人机自然交互、虚拟试衣系统、全息投影技术相结合提供良好用户体验的虚拟试衣效果。人机自然交互由kinect和相应算法软件组成，提供用户与系统接口。虚拟试衣系统由相对应的服装仿真系统与用户系统构成，为用户提供服装仿真与用户操作等基本功能。用户系统由二维码生成与数据库系统组成。服装仿真系统通过远程加载服务器中服装数据并仿真，提供灵活的服装数据。全息投影技术由投影仪、全息投影膜等组成，提供服装的全息图像。

基于kinect的全息虚拟试衣系统由四部分构成，包括PC端，微软kinect体感摄像机，投影仪及全息投影幕。

PC端安装有虚拟试衣软件，该虚拟试衣软件由unity3D游戏开发平台进行开发，能读取kinect传输的骨骼空间信息，实现骨骼跟踪，并且能够基于弹簧-质点模型的服装仿真算法为服装提供实时布料仿真，生成对应的服装三维模型。完成服装三维模型的创建后，通过连接的投影仪，将模型投影到全息投影幕上，实时显示试衣效果。

微软kinect体感摄像机通过USB接口连接到PC端，利用内置的距离传感器、彩色摄影机实时获取骨骼空间原始数据流，实现用户的骨骼跟踪，并将该数据发送到PC端。

投影仪与全息投影幕是整个平台的显示部分，投影仪通过VGA连接的PC端进行数据传输，将虚拟试衣软件实时构建的服装三维模型投影到全息投影幕。投影仪应选用亮度大于2000流明的投影仪，且分辨率不低于1024*768，保证系统能在白天使用。全息投影幕由亚克力板与浅灰膜构成，将浅灰膜贴在透明亚克力板上，在保持投影幕稳定的前提下展现清晰，立体的投影效果。

本发明提出的基于kinect的全息虚拟试衣系统各模块之间的联系如图1所示。

PC端1与微软kinect体感摄像机2通过USB接口3连接；

微软kinect体感摄像机2置于全息投影幕5正上方，保证kinect能扫描到完整的人体骨骼信息；

PC端1与投影仪4通过VGA接口6连接；

投影仪4置于天花板上，与全息投影幕保持2M-2.5M距离，且投影仪与天花板呈15°-30°倾角，保证成像效果；

在使用本系统时，顾客应站立于全息投影幕正前方0.5M-1M处，保证kinect扫描效果。

如图4所示，基于kinect的全息虚拟试衣系统，包括以下步骤：

S1，PC端存储服装模型数据，用户选择中意的服装，用户可对该服装执行“试穿”、“购买”、“分享”功能。“试穿”功能指用户可站在全息投影幕前，实时的“试穿”此服装；“购买”功能指用户能通过本系统直接购买服装；“分享”功能指用户可将该服装通过二维码分享给朋友。

S2，当用户选择“试穿”功能时，系统控制kinect对正前方的客户进行骨骼跟踪，将用户的实时骨骼数据发送到PC端；PC端通过分析，计算kinect发送的骨骼数据，结合服装模型数据，生成适合该用户体型的服装三维模型，为了达到更真实的效果，PC端使用布料仿真算法优化三维模型；PC端再将渲染好的三维模型通过投影仪投影到全息投影幕上，基于全息投影技术，展示出的试衣效果更加立体，更加真实。本系统旨在实时显示试衣效果，使用kinect实时捕捉骨骼数据，因此客户在试穿时，可以旋转身体，多角度的查看试衣效果。

S3，当用户选择“购买”或“分享”功能时，PC端将用户选择的服装数据存入临时服务器目录，并将该服装对应信息放置在数据库中存储，同时生成服务器对应链接，PC端可获取链接通过二维码生成系统生成对应二维码，用户可扫描二维码获取详细的服装数据。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种基于kinect的全息虚拟试衣系统，其特征在于，包括投影仪、全息投影幕、设置在全息投影幕上方用于实时获取用户骨骼空间数据以及RGB彩色图像数据的kinect体感摄像机和安装有虚拟试衣程序的PC端；

所述kinect体感摄像机及投影仪均通过接口与PC端相连接；

所述虚拟试衣程序首先读取kinect体感摄像机传输来的用户骨骼空间数据、RGB彩色图像数据，将所述RGB彩色图像数据在背景图层显示，并根据所述用户骨骼空间数据逐帧计算出用户骨骼点之间的相对位置以及用户骨骼之间相成的角；

然后根据用户选择加载添加了服装仿真属性的服装三维模型，同时将所述用户骨骼点之间的相对位置赋值给对应骨骼的空间位置，以控制服装蒙皮骨骼位置；将所述用户骨骼之间相成的角赋值给对应骨骼的空间旋转角度，以控制对应服装蒙皮骨骼旋转角度，得到服装模型，由此实现服装模型与用户动作同步，即实现服装与用户骨骼跟踪；

最后在unity3D将服装模型渲染显示在仿真图层，并将所述仿真图层叠加在背景图层之上，生成虚拟试衣效果；

所述投影仪用于将虚拟试衣程序实时构建的虚拟试衣效果投影到全息投影幕上，从而实时显示试衣效果。

2.根据权利要求1所述的基于kinect的全息虚拟试衣系统，其特征在于，控制服装蒙皮骨骼位置时，首先将用户骨骼点之间的相对位置根据屏幕大小进行等比放大，然后将放大后用户骨骼点之间的相对位置赋值给服装三维模型的服装蒙皮骨骼相对位置。

3.根据权利要求1所述的基于kinect的全息虚拟试衣系统，其特征在于，控制服装蒙皮骨骼旋转角度时，首先获取上面放大后用户骨骼点之间的相对位置，将该骨骼的相对位置与其父骨骼的相对位置在同一平面中进行映射，在同一笛卡尔坐标系中计算出该骨骼与其父骨骼在二维平面的正切值，根据计算的正切值求出两骨骼与该二维平面的夹角，将夹角赋值给服装三维模型的服装蒙皮骨骼旋转角度，以实现服装骨骼旋转与人体骨骼旋转跟踪。

4.根据权利要求1所述的基于kinect的全息虚拟试衣系统，其特征在于，所述投影仪安装在天花板上，且投影仪的镜头与天花板呈15°～30°夹角；所述投影仪与全息投影幕之间的直线距离为2～2.5米。

5.根据权利要求1所述的基于kinect的全息虚拟试衣系统，其特征在于，全息虚拟试衣系统使用时，用户站立于全息投影幕正前方0.5～1M米处。

6.根据权利要求1所述的基于kinect的全息虚拟试衣系统，其特征在于，所述全息投影幕包括透明板和贴合在透明板上的浅灰膜。

7.根据权利要求6所述的基于kinect的全息虚拟试衣系统，其特征在于，所述透明板为亚克力板或者玻璃板。

8.根据权利要求1所述的基于kinect的全息虚拟试衣系统，其特征在于，所述投影仪的亮度不小于2000流明，且分辨率不低于1024*768。

9.根据权利要求1所述的基于kinect的全息虚拟试衣系统，其特征在于，所述PC端与kinect体感摄像机通过USB接口相连接；所述PC端与投影仪通过VGA接口相连接。