CN109389634A - 基于三维重建和增强现实的虚拟购物系统 - Google Patents

基于三维重建和增强现实的虚拟购物系统 Download PDF

Info

Publication number
CN109389634A
CN109389634A CN201710650415.7A CN201710650415A CN109389634A CN 109389634 A CN109389634 A CN 109389634A CN 201710650415 A CN201710650415 A CN 201710650415A CN 109389634 A CN109389634 A CN 109389634A
Authority
CN
China
Prior art keywords
augmented reality
image
model
camera
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710650415.7A
Other languages
English (en)
Inventor
蒲勇飞
孟超
李泳橙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201710650415.7A priority Critical patent/CN109389634A/zh
Publication of CN109389634A publication Critical patent/CN109389634A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computer Graphics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Architecture (AREA)
  • Development Economics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种结合三维重建技术和增强现实技术的购物体验平台系统和方法，该系统包括了用于三维重建仪器和软件，在移动平台上运行的增强现实购物体验程序。通过自动的重建商品三维模型和在移动设备上的增强现实投影，可以方便的让用户了解到商品放置到现实环境中的效果，实现一种无需实体物品，就可以到逼真的观察商品的三维信息。

Description

基于三维重建和增强现实的虚拟购物系统
技术领域
本发明涉及三维重建领域和增强现实领域，具体的说，三位重建为室内小物体的重建方法和设备，增强现实是基于双目和单目摄像头的平面和空间跟踪方法。
背景技术
在目前商品都是以二维图片的形式展示，不够直观。而利用基于视觉的三维重建技术可以低廉高效的建立商品的三维模型，且不需要专业的建模人员。同时，应用增强现实技术，将物品的三维模型以增强现实的形式叠加到现实世界中，比如人体上、房屋中，就可以实现相应的逼真的虚拟试穿和虚拟家庭等增强显示的体验。项目将分别实验使用基于RGB-D、基于双目视觉和基于单目视觉的三种流行的三维重建方式，来寻找重建准确度和重建成本的最佳平衡。增强现实将在移动端实现，利用手机摄像头构建出基于Visual SLAM的地图信息，将三维模型准确的叠加到手机的取景场景中，构建逼真的购物体验。
目前我们在网络购物中最大的不便是无法从产品的二维图片中完整的了解一款产品，很多时候图片上的信息不够全面，或者不知道在自己的身上会是怎样的效果。三维物品可以让我们更加全面的了解一款产品，但是三维建模成本高，只有像汽车这样的昂贵产品才会使用三维商品模型。但是应用基于视觉的三维重建技术，可以在使用我们的手机摄像头拍照来做三维重建。
发明内容
本发明主要分为两个部分，基于三维重建技术的改进应用和增强现实的改进引用。
本发明三维重建部分提供一种基于SfM改进算法的三维重建方法和软件。用户可以通过手机拍摄物品，上传照片到重建软件，生成物品的三维模型。
本发明增强现实部分提供了基于标记物和无标记物SLAM的两种方法，将三维物品叠加到真实空间中去,达到增强现实的效果。
本发明中三维重建方法包括：为了找到多帧图像中相同的部分，使用SIFT检测子做为特征检测的算法。SIFT使用高斯金字塔做为特征，SIFT第一步是找到一个主梯度方向，使其具有旋转不变性，特征描述子可以适应多个方向的特征。在特征匹配阶段，使用RANSAC来估计多幅图像间的基础矩阵。因为会出现很多错误匹配的特征描述子，需要算法对提取的描述过滤。RANSAC是一种利用随机算法能够过滤异常点的高效算法。使用多帧图像中的匹配点建立投影矩阵，最小化投影误差，提高匹配的精度。之后增量式的加入新的匹配特征点，使系统可以处理大量的图像和缺失点。
增强现实部分，使用了两种不同的算法形式。第一种是基于标记物的跟踪。提取标记物的ORB特征做为特征描述子。ORB特征是FAST和BRIEF的结合，是一种快速和鲁棒描述子。从摄像头中读取实时视频流，对视频图像中每一帧图像提取ORB特征子，使用RANSAC与模版图像的特征子做匹配，如果匹配上，通过投影矩阵计算出相机姿态，将相机坐标放入OpenGL的坐标转换关系中，渲染出虚拟物品。第二种是SLAM的跟踪方式。通过标记物提取，特征点匹配，姿态估计，姿态更新和地图更新等一系列的操作，完成SLAM的地图构建和跟踪。通过SLAM获取到相机姿态后，放入OpenGL的旋转矩阵，计算出渲染物品的位置。
附图说明
图1本发明实例的三维重建和增强现实购物系统的流程示意图。
图2是三维重建系统的算法执行流程图。
图3是增强现实部分的模板匹配的算法执行流程图。
图4是增强现实部分的基于建图和定位的执行流程图。
具体实施方式
本发明提供一种将三维重建方法和移动虚拟现实展示结合在一起的系统。系统的总体架构图如1所示。包括的步骤如下：
通过拍摄物品多帧照片，使用改进的sfm算法重建出物品的三维形状，将重建出的三维信息存入模型数据库中，模型库中有各种类型的3维物品，如家具、玩具、艺术品等。
通过模版匹配或者SLAM定位的方法，计算出相机的姿态。
取出3维模型，根据相机姿态渲染出相应的空间位置下的模型。
图像采集部分，可以使用各种类型的摄像头，包括USB摄像头和手机摄像头。移动摄像头对物品拍摄多角度的多帧图像，保证物品的同一个特征能够出现在多张图片中。
在三维重建部分的算法流程参照图2。包括的步骤如下：
首先完成相机校准，使用相机校准方法获得内部参数矩阵和外部参数矩阵，用于之后深度恢复的计算。
使用 QUOTE 代表2D点在像素坐标下的位置， QUOTE 来代表3D点在空间坐标下的位置，通过公示 QUOTE 计算两者的投影关系。其中K是内部参数矩阵，R、T是外部参数矩阵。
通过寻找多帧图像中对应匹配的特征点，通过匹配点对应的位置用几何学求取每个点在三维空间中的位置。
特征点的提取使用了SIFT算法，可以兼顾到速度和精度。为了加速特征点的匹配，将特征点根据大小排序。
在每张图像中的关键点匹配时使用了近似最近邻算法，为了减少错误匹配，使用随机匹配的RANSAC算法来剔除一定的错误匹配点。通过使用PnP公式，用最少8个匹配点。如果少于20个匹配点，认为这两幅图像是一个不好的匹配。
使用增量式将新拍摄图像加入，当加入多幅图像后，使用集束调整可以优化初始相机和结构参数估计的误差，得到更加精确的估计。
集束调整需要最小化全集中所有3D的投影误差：
得到一个更加优化的3D重建结果。
使用LM算法来解决其中的非线性最小二乘问题，将其用公式表示为：
其中的J是雅可比函数，使用泰勒展开的损失函数是：
通过以上步骤算法的多次迭代执行，可以生成物体的三维模型。由于算法是自动执行的，并不知道生成的3D模型中哪些部分是背景。将生成的3D模型导入三维点云软件，手动去处背景区域。
将3维模型从点云格式转化为fbx格式，兼容增强现实部分的模型加载。将转换好的模型存入模型库中。完成模型的构建。
增强现实部分的使用了模版匹配和SLAM两种形式。模版匹配先选用一张纹理清晰的自然图片，提取图片中的ORB图像描述子。
如图3所示的模版匹配过程，ORB结合利用了FAST关键点描述子和BRIEF描述子，并通过改进这两种算法来加强准确度和加快速度。首先使用FAST去找到关键点，再使用Harris 角点去寻找关键点周围的点。构造图像金字塔来实现多尺度的特征。
将模版的ORB描述子存入模版数据库。再模版数据库中有多个模版的ORB描述子，可以实现多个模版的识别。
使用摄像头取景，对实时输入的图像提取ORB特征，将得到的ORB特征与模版库中的ORB特征做对比。如果有超过20个点匹配上，认为摄像头取景的照片中出现了模版，进入姿态求解部分。
将姿态求解转化为PnP问题，PnP问题是在通过在给定了多个2D投影点和对应的3D点后，求解相机的位置和方向。相机的投影模型如下： QUOTE 。同时由于错误匹配关系的存在，使用RANSC减小错误匹配造成的影响。在本发明中，使用OpenCV提供的SolvePnP函数来求解相机的姿态。
通过单应性变换后，求解出相机相对于标记物位置和姿势。将标记物所在的平面的坐上角选为世界坐标系的(0, 0, 0)位置。
使用OpenGL三维模型的渲染。将3维模型渲染在世界坐标系(0, 0, 0)，将相机的姿态矩阵作为世界坐标系到相机坐标系的转换关系，在乘以模型的坐标系，渲染出3维模型在屏幕中正确的位置和大小。
第二种增强现实模式是基于SLAM的空间定位模型，可以完全脱离标记物，具有更好的表现效果。
如图4所示，地图的初始化。在系统初始开始的时候，使用5点做立体初始化构建地图。要求在选择一帧图像作为起始帧后，平移手机，使图像产生一定的位移。提取两帧图像的FAST角点，找到对应的关键点。接着使用RANSAC算法过滤掉错误匹配。
估计出基本矩阵，使用集束调整来获取一个可行的初始化地图。将地图旋转和平移使被检测到的平面放置在z＝0的世界坐标处。
在地图初始化后，地图中只有两个关键帧，并且表示的空间也很小。系统需要动态的添加新的关键帧和增量式的构建地图。当跟踪的质量比较好，或者当前帧和之前的关键帧距离比较远的时候，会将当前帧加入到地图当中去。
跟踪线程会同时执行，通过定位出相机在地图中的位置，求得转移矩阵，作为世界坐标系到相机坐标系的转换关系。
通过OpenGL的三维图像渲染，用户在屏幕上可以看到虚拟物品被放置在现实场景中，并且随着用户的视角变化，虚拟物品也会发生相应的变化。得到一种逼真的用户体验。

Claims (7)

1.一种将三维重建方法和移动虚拟现实展示结合在一起的系统，包括：通过改进的三维重建方法,通过手机拍摄物品不同姿态的图像，提取图像描述子特征，利用改进的随机匹配算法，去除错误匹配的点，将生成的3维模型存放入模型库，使用模版匹配方式计算相机的姿态，也可使用同时建图和跟踪算法计算相机姿态，在移动端的增强现实显示，将3维模型呈现在用户面前。
2.根据权利要求1所述的三维重建方法，其特征在于，用户手持设备拍摄物品多张照片，不需要额外设置摄像头的位置。
3.根据权利要求1所述提取图像描述子方法，其特征在于，所诉提取方式具有大小、方向、颜色不变形，能够准确的描述图像特征，可以根据特征点构建出物品的三维模型。
4.根据权利要求1所述的模型库，其特征在于，所诉模型库可以存放多种格式的三维模型，兼容三维重建阶段的数据格式，也兼容增强现实阶段的数据格式。
5.根据权利要求1所述的模版匹配方式，其特征在于，所诉匹配方式可以选择任意的自然图像，对实时取景中的图像可以直接匹配。
6.根据权利要求1所述的同时建图和跟踪方法，其特征在于，所诉方法可以在两帧平移图像中初始化地图构建，在跟踪阶段可以动态的增加地图中的关键点。
7.根据权利要求1所述的移动端增强现实显示，去特征在于，用户可以选择模型库中的3维模型，将模型放置于现实场景中，模型能够被用户拖动和调整方向。
CN201710650415.7A 2017-08-02 2017-08-02 基于三维重建和增强现实的虚拟购物系统 Pending CN109389634A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710650415.7A CN109389634A (zh) 2017-08-02 2017-08-02 基于三维重建和增强现实的虚拟购物系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710650415.7A CN109389634A (zh) 2017-08-02 2017-08-02 基于三维重建和增强现实的虚拟购物系统

Publications (1)

Publication Number Publication Date
CN109389634A true CN109389634A (zh) 2019-02-26

Family

ID=65412185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710650415.7A Pending CN109389634A (zh) 2017-08-02 2017-08-02 基于三维重建和增强现实的虚拟购物系统

Country Status (1)

Country Link
CN (1) CN109389634A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110120101A (zh) * 2019-04-30 2019-08-13 中国科学院自动化研究所 基于三维视觉的圆柱体增强现实方法、系统、装置
CN110223383A (zh) * 2019-06-17 2019-09-10 重庆大学 一种基于深度图修补的植物三维重建方法及系统
CN110443853A (zh) * 2019-07-19 2019-11-12 广东虚拟现实科技有限公司 基于双目摄像头的标定方法、装置、终端设备及存储介质
CN110490415A (zh) * 2019-07-15 2019-11-22 同济大学 一种多无人机视觉协同的建筑进度评估方法
CN111179341A (zh) * 2019-12-09 2020-05-19 西安交通大学 一种增强现实设备与移动机器人的配准方法
WO2022040920A1 (zh) * 2020-08-25 2022-03-03 南京翱翔智能制造科技有限公司 一种基于数字孪生 ar 交互系统和方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110120101A (zh) * 2019-04-30 2019-08-13 中国科学院自动化研究所 基于三维视觉的圆柱体增强现实方法、系统、装置
CN110120101B (zh) * 2019-04-30 2021-04-02 中国科学院自动化研究所 基于三维视觉的圆柱体增强现实方法、系统、装置
CN110223383A (zh) * 2019-06-17 2019-09-10 重庆大学 一种基于深度图修补的植物三维重建方法及系统
CN110490415A (zh) * 2019-07-15 2019-11-22 同济大学 一种多无人机视觉协同的建筑进度评估方法
CN110443853A (zh) * 2019-07-19 2019-11-12 广东虚拟现实科技有限公司 基于双目摄像头的标定方法、装置、终端设备及存储介质
CN111179341A (zh) * 2019-12-09 2020-05-19 西安交通大学 一种增强现实设备与移动机器人的配准方法
CN111179341B (zh) * 2019-12-09 2022-05-20 西安交通大学 一种增强现实设备与移动机器人的配准方法
WO2022040920A1 (zh) * 2020-08-25 2022-03-03 南京翱翔智能制造科技有限公司 一种基于数字孪生 ar 交互系统和方法

Similar Documents

Publication Publication Date Title
CN109389634A (zh) 基于三维重建和增强现实的虚拟购物系统
Mueller et al. Real-time hand tracking under occlusion from an egocentric rgb-d sensor
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
CN106503671B (zh) 确定人脸姿态的方法和装置
US8933928B2 (en) Multiview face content creation
Hoppe et al. Online Feedback for Structure-from-Motion Image Acquisition.
KR102097016B1 (ko) 동작 분석 장치 및 방법
Wei et al. Applications of structure from motion: a survey
CN108401461A (zh) 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
CN110163953A (zh) 三维人脸重建方法、装置、存储介质和电子装置
CN113012293B (zh) 石刻模型构建方法、装置、设备及存储介质
CN104715479A (zh) 基于增强虚拟的场景复现检测方法
CN103345736A (zh) 一种虚拟视点绘制方法
CN106462943A (zh) 将全景成像与航拍成像对齐
JP2010109783A (ja) 電子カメラ
CN109613974B (zh) 一种大场景下的ar家居体验方法
Zhang et al. 3D tree skeletonization from multiple images based on PyrLK optical flow
CN112200917A (zh) 一种高精度增强现实方法及系统
Nguyen et al. High resolution 3d content creation using unconstrained and uncalibrated cameras
Skuratovskyi et al. Outdoor mapping framework: from images to 3d model
Nguyen et al. Modelling of 3d objects using unconstrained and uncalibrated images taken with a handheld camera
JP6341540B2 (ja) 情報端末装置、方法及びプログラム
Liu et al. Improved template matching based stereo vision sparse 3D reconstruction algorithm
Kehl et al. Direct image-to-geometry registration using mobile sensor data
CN116612256B (zh) 一种基于NeRF的实时远程三维实景模型浏览方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190226

WD01 Invention patent application deemed withdrawn after publication