CN106293092A - 基于多目立体视觉三维技术实现虚拟穿戴的方法 - Google Patents

Abstract

本发明涉及一种基于多目立体视觉三维技术实现虚拟穿戴的方法，属于计算机视觉与虚拟现实领域，解决传统技术中的穿戴品发布会存在局限性，不能满足高效实时试穿戴需求的问题。在本发明中，利用多个不同方位的相机对模特进行图像采集，在对采集图像进行预处理后，结合Harris角点检测及高斯差分检测算法对预处理后的图像实现特征点提取。在此结果上，再利用三角形法对提取到的特征点进行匹配和校正，最后采用泊松表面重建方法准确地获取和优化角点，并找到角点特征的匹配点，从而对模特进行三维表面的精确重建。之后用户通过显示终端可将数据库中选中的穿戴品与模特进行叠加，完成穿戴。

Description

基于多目立体视觉三维技术实现虚拟穿戴的方法

技术领域

本发明涉及一种基于多目立体视觉三维技术实现虚拟穿戴的方法，属于计算机视觉与虚拟现实领域。

背景技术

从20世纪90年代起，许多专家和机构开始虚拟服装的三维模拟研究，2000年初便提出了虚拟试衣的概念。近几年由于整体环境的成熟，国外陆续产生了一些研究和应用，比如法国total immersion推出的trylive clothing虚拟试衣系统。随着经济的迅猛发展，生活品质的不断提高，人类对于时尚界诸如服装周、饰品发布会等需求量正在大幅度提升，但由于时间金钱各种资源限制，大部分人并不能走进发布会现场。现有的穿戴品发布会已不能满足市场需求。

发明内容

本发明所要解决的技术问题是：提出一种基于多目立体视觉三维技术实现虚拟穿戴的方法，解决传统技术中的穿戴品发布会存在局限性，不能满足高效实时试穿戴需求的问题。

本发明解决上述技术问题所采用的方案是：

基于多目立体视觉三维技术实现虚拟穿戴的方法，包括以下步骤：

A、建立模特三维模型数据库和穿戴商品展示数据库；

B、将所述模特三维模型数据库和穿戴商品展示数据库添加至虚拟穿戴应用APP中；

C、用户在显示终端上安装并打开所述虚拟穿戴应用APP，根据界面信息提示，进行模特及商品选择，选择完成即可添加场景视频信息，开始观看虚拟穿戴发布会。

作为进一步优化，步骤A中，所述建立模特三维模型数据库的方法包括：

A1、设置一个以多相机多方位采图的拍摄环境；

A2、在多个不同方位下对模特进行图像采集；

A3、根据采集的图像信息进行人体三维重建；

A4、更换模特，重复上述A2、A3步骤，完成模特三维数据库的建立。

作为进一步优化，步骤A1具体包括：

根据拍摄场地的大小确定相机数量、安装位置和角度，将各个相机与计算机相连，使得通过计算机软件可以控制相机的拍摄，然后对各个相机进行标定并对模特特征点进行标记。

作为进一步优化，步骤A3具体包括：

A31、对采集的图像进行预处理；

A32、结合Harris角点检测及高斯差分检测算法对预处理后的图像实现特征点提取；

A33、利用三角形法对提取到的特征点进行匹配和校正；

A34、采用泊松表面重建方法获取和优化角点，并找到角点特征的匹配点，从而对模特进行三维表面的重建。

作为进一步优化，步骤A31中，所述预处理包括像背景抑制和目标物体分割。

作为进一步优化，步骤C中，在用户观看过程中，可通过按键随时切换模特、穿戴商品、舞台效果、以及结束观看发布会。

上述方案是针对用户离线观看虚拟穿戴发布会的实现方案，此外，本发明还提供了一种用户在现场观看虚拟穿戴发布会的实现方案，其包括以下步骤：

A、在发布会现场，采用多相机多方位对模特进行拍摄；

B、拍摄的图像信息被实时传输到现场控制计算机；

C、现场控制计算机根据图像进行人体三维重建；

D、当用户进入发布会现场后，通过其手机终端连接现场控制计算机；

E、现场控制计算机向用户的手机终端传送虚拟发布会系统；

F、用户根据提示信息进入穿戴品虚拟展示界面，选择某个商品对模特进行虚拟穿戴。

本发明的有益效果是：

1)采用基于多角度多方位的多目立体视觉三维技术完成人体三维重建，精度较高，可持续利用；

2)可专门成立数据采集工作室，定期进行数据更新，用户支付一定费用即可升级系统、更新数据，与传统发布会模式截然不同，通过APP用户可随时随地离线观看一场自己可选择的发布会；

3)针对现场的虚拟发布会，可满足众多客户对于商品的不同需求，在同一个现场可以向不同用户呈现不同的发布会，过程中省去换装时间，效率大幅度提升同时主办方可缩减模特数量，减小成本。

具体实施方式

本发明旨在提出一种基于多目立体视觉三维技术实现虚拟穿戴的方法，解决传统技术中的穿戴品发布会存在局限性，不能满足高效实时试穿戴需求的问题。

本发明的方案的核心思想主要包括以下步骤：

步骤1、设置一个以多相机多方位采图的拍摄环境，其中，相机同计算机相连，采用计算机软件控制相机；

步骤2、启动计算机软件，相机高速拍摄模特在上述拍摄环境中走秀的照片；

步骤3、将上述多帧高速拍摄的照片传送至计算机；

步骤4、计算机上采用Harris角点及高斯差分检测算法实现特征点提取和立体匹配，结合泊松表面重建方法对物体进行三维重建；

步骤5：利用重建数据，将预置服装与模特相匹配，完成换装。

实施例1：

本例是针对用户离线观看虚拟穿戴发布会的实现方案，其包括以下实现步骤：

1)事先准备好一个专门用于获取模特数据的工作室，根据T台大小确定相机数量及安装位置、角度,要求以模特为圆心每22.5°(或更小)处放置一个相机，相机拍摄画面要能完整清晰拍出模特；

2)相机通过无线方式(如WiFi)与计算机相连，要求二者之间数据信息可进行实时传输，且计算机通过软件控制相机；

3)进行相机的标定，标定时应对标定模板采集12副图像以上，以保证标定误差最小，同时对模特进行特征点标记；

4)开启计算机软件，相机开始采集模特走秀照片并自动传送至计算机处理系统；

5)通过之前建立好的三维重建系统对模特进行人体三维重建以及3D渲染，还原灯光效果、阴影效果和表面纹理效果。其中，外观形态三维重建系统，涉及采集装置设计、系统初始化、多目图像匹配与重建等内容。具体地，对系统初始化，包括设备的架构、图像采集、相机组标定和图像校正工作；在特征提取与图像匹配阶段，采用两种特征检测滤波类型，即Harris角点检测及高斯差分检测对各视点的图像进行特征提取，将不同图像中的同一个空间点对应起来，建立多幅图像之间特征的对应关系，实现全局图像的匹配；根据匹配计算获得视差信息进行换算，获得织物的三维空间坐标信息，利用多组相邻匹配结果，进行漏缺点的填充，实现全视角无遗漏重建；

6)更换模特，重复三维建模过程，建立一个模特三维数据信息库，其中包括模特走秀时的场景拍摄视频；

7)同时，建立一个穿戴商品展示数据库，并将所述穿戴商品展示数据库与上述模特三维模型数据库添加至一个APP应用；

8)客户在显示终端上安装上述APP应用，根据界面信息提示，进行模特及商品选择，选择完成即可添加场景视频信息，开始观看一场虚拟发布会；

9)观看过程中，用户可通过按键随时切换模特、穿戴商品、舞台效果，以及结束观看发布会。

采用该方案，用户可以离线情况下随时随地观看发布会，并且是自己选择模特与商品，打破传统的发布模式，更加贴近现代人的生活方式，也是一种颠覆式的商业模式。

实施例2：

本例是针对用户在现场观看虚拟穿戴发布会的实现方案，其包括以下实现步骤：

1)参照上述实施例1中的步骤1-5，根据发布会现场T台大小，多角度多方位安装相机，进行相机标定、图像采集、特征提取、图像匹配、三维重建的过程，此时要求可对模特进行实时跟踪，即相机与计算机之间能进行数据的实时传输；

2)用户进入现场，将其手机与现场总控制计算机通过无线方式相连，控制台向用户终端传送虚拟发布会系统，其中包括商品数据库；

3)根据提示信息，用户进入穿戴品虚拟展示界面，可前后翻页查看和确定选择当前页面商品进行“模特穿戴”，将手机摄像头对准现场T台，即可观看模特走秀；

4)通过选择退出当前试穿，选择继续浏览商品库或结束程序。

采用该方案，一方面省去模特更换衣物、饰品的时间，提高发布会效率；另一方面，该方法的出现，将模特需求量大幅降低，从而减少发布会成本，降低客户门槛；最后，就像眼镜虚拟试戴那样，每个客户都可根据个人喜好在数据资源库中选择自己喜欢的穿戴品“穿”在模特身上。由此可见，虚拟穿戴发布会系统不仅可以降低成本，提高效率，更会带来大批量的客户群，将虚拟现实与计算机视觉走进生活。形象化展示，强大的交互以及模拟功能，可以弥补现场单纯看SHOW时单一角度和缺乏交互的问题。在产品发布、电子商务、技术支持诸方面都会发挥更深远的作用。

Claims (7)

1.基于多目立体视觉三维技术实现虚拟穿戴的方法，其特征在于，包括以下步骤：

A、建立模特三维模型数据库和穿戴商品展示数据库；

B、将所述模特三维模型数据库和穿戴商品展示数据库添加至虚拟穿戴应用APP中；

C、用户在显示终端上安装并打开所述虚拟穿戴应用APP，根据界面信息提示，进行模特及商品选择，选择完成即可添加场景视频信息，开始观看虚拟穿戴发布会。

2.如权利要求1所述的基于多目立体视觉三维技术实现虚拟穿戴的方法，其特征在于，步骤A中，所述建立模特三维模型数据库的方法包括：

A1、设置一个以多相机多方位采图的拍摄环境；

A2、在多个不同方位下对模特进行图像采集；

A3、根据采集的图像信息进行人体三维重建；

A4、更换模特，重复上述A2、A3步骤，完成模特三维数据库的建立。

3.如权利要求2所述的基于多目立体视觉三维技术实现虚拟穿戴的方法，其特征在于，步骤A1具体包括：

根据拍摄场地的大小确定相机数量、安装位置和角度，将各个相机与计算机相连，使得通过计算机软件可以控制相机的拍摄，然后对各个相机进行标定并对模特特征点进行标记。

4.如权利要求2所述的基于多目立体视觉三维技术实现虚拟穿戴的方法，其特征在于，步骤A3具体包括：

A31、对采集的图像进行预处理；

A32、结合Harris角点检测及高斯差分检测算法对预处理后的图像实现特征点提取；

A33、利用三角形法对提取到的特征点进行匹配和校正；

A34、采用泊松表面重建方法获取和优化角点，并找到角点特征的匹配点，从而对模特进行三维表面的重建。

5.如权利要求4所述的基于多目立体视觉三维技术实现虚拟穿戴的方法，其特征在于，步骤A31中，所述预处理包括像背景抑制和目标物体分割。

6.如权利要求1所述的基于多目立体视觉三维技术实现虚拟穿戴的方法，其特征在于，步骤C中，在用户观看过程中，可通过按键随时切换模特、穿戴商品、舞台效果、以及结束观看发布会。

7.基于多目立体视觉三维技术实现虚拟穿戴的方法，其特征在于，包括以下步骤：

A、在发布会现场，采用多相机多方位对模特进行拍摄；

B、拍摄的图像信息被实时传输到现场控制计算机；

C、现场控制计算机根据图像进行人体三维重建；

D、当用户进入发布会现场后，通过其手机终端连接现场控制计算机；

E、现场控制计算机向用户的手机终端传送虚拟发布会系统；

F、用户根据提示信息进入穿戴品虚拟展示界面，选择某个商品对模特进行虚拟穿戴。