CN108010084A - 一种深度摄像机重建及自动标定的方法、系统、设备 - Google Patents

一种深度摄像机重建及自动标定的方法、系统、设备 Download PDF

Info

Publication number
CN108010084A
CN108010084A CN201711158338.XA CN201711158338A CN108010084A CN 108010084 A CN108010084 A CN 108010084A CN 201711158338 A CN201711158338 A CN 201711158338A CN 108010084 A CN108010084 A CN 108010084A
Authority
CN
China
Prior art keywords
camera
msub
calibration
rebuild
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711158338.XA
Other languages
English (en)
Inventor
梁佳
蒋念娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yun Zhimeng Science And Technology Ltd Of Shenzhen
Original Assignee
Yun Zhimeng Science And Technology Ltd Of Shenzhen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yun Zhimeng Science And Technology Ltd Of Shenzhen filed Critical Yun Zhimeng Science And Technology Ltd Of Shenzhen
Priority to CN201711158338.XA priority Critical patent/CN108010084A/zh
Publication of CN108010084A publication Critical patent/CN108010084A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种深度摄像机重建及自动标定的方法,包括，将自动采集特征点对，作为输入计算重建系统的初始标定矩阵；将初始标定矩阵进行非线性最小二乘优化，得到最终的标定矩阵。本发明提供一种深度摄像机重建及自动标定的方法、系统、设备，体现在减小人工操作的工作量，将标定做到自动化，自动采集和组织标定数据完成标定过程，使标定过程一键完成，节省大量的人力物力成本。

Description

一种深度摄像机重建及自动标定的方法、系统、设备
技术领域
本发明涉及计算机图形学和计算机视觉技术领域，尤其涉及一种深度摄像机重建及自动标定的方法、系统、设备。
背景技术
随着当今计算机视觉技术的飞速发展，三维重建技术在各行各业都有广泛地应用，比如安防、测量、游戏等行业，正是因为它能够简单快速地获取三维数据，把人们从繁重的手工操作中解放出来，节省了大量人力和物力，具有非常大的应用前景。
目前，三维重建的研究方案主要分为两大类，一类是被动式方法，基于图像序列的方法，利用场景在自然光照下的二维图像来重建景物的三维信息，些类方法虽然对设备的要求低，但是重建精度较低，对场景中的特征要求高。另一类就是主动式方法，如深度相机，通过TOF技术获得场景的深度信息，通过标定配准获得三维点云，经过点云的去噪处理后生成三维模型。目前随着计算机软硬件技术的不断革新，此方法的应用越来越广泛。
基于深度相机的重建系统中，由于在特定视角下只能获得对应重建对象的某一局部表面的三维信息，为了实现全方位的物体表面重建，则需要采集重建对象的多个视角图像。目前主要有三种方法，一是使用单台深度相机移动地扫描固定的重建对象，直到覆盖重建对象的整个表面，运用ICP配准相邻帧，实时的重建，这样可以快速地得到重建结果，但精度较低，如Kinect Fusion等；另一种方法是使用转台旋转重建对象，记录转台转过的角度，通过ICP配准相邻帧，并以旋转角作为约束进行优化来重建模型，这种方法可以获得较高的重建精度，但对转台的转速要求较高，而且扫描耗时较长；第三种方法就是将多台深度相机按一定的布局构建一个封闭的多视角的扫描环境，可以极短的时间内同时完成重建对象三维数据的采集，并且重建出来的模型有较高的精度。
发明内容
本发明提供一种深度摄像机重建及自动标定的方法,包括，
将自动采集特征点对，作为输入计算重建系统的初始标定矩阵；
将初始标定矩阵进行非线性最小二乘优化，得到最终的标定矩阵。
进一步地，所述的自动采集特征点，作为输入计算重建系统的初始标定矩阵，包括：
在重建系统四周放置贴有带较多特征点的图案,这些图案是用OpenCV的CharucoBoard生成的图打印出来，保证每个打印图案所对应的ID都不同，一台相机能够尽可能多的拍到图案；
重建系统采集一次图像数据，得到图像序列(深度图、高清彩图和深度与高清彩图的映射关系数据)；
采用OpenCV的特征识别工具处理图像序列中的高清彩图，得到所有图像的特征点集合，通过图案ID对特征点进行配对分组，通过深度和高清彩图映射关系数据和深度图得到特征点的三维坐标；
以指定相机为参考系，用最小生成树找最短路径的方法找到其他相机到参考相机的路径，记叙P(O，i),O表示参考相机的相机编号，i表示非参考相机的相机编号；
相机对的相对位置关系[R|t](i,j)及到参考相机的最短绝对路径，就可以通过矩阵运算得到非参考相机到参考相机的绝对位置关系[R|t](O,i)。
进一步地，所述的将初始标定矩阵进行非线性最小二乘优化，得到最终的标定矩阵，公式如下：
s.t.lj≤xj≤uj
其中，用初始标定矩阵得到的[R|t](O,i)作为初始，以相机对采集的图像中提取的点对信息作为约束条件；将点对通过相机内参转换成相机坐标系下的三维点，然后通过[R|t](O,i)将三维点统一到世界坐标系，计算点对间的距离的标准差，当所有点对间距离标准差的和最小时，优化完成，这就是最小二乘问题了，采用非线性最小二乘优化算法来优化[R|t](O,i)，得到最终标定结果。本发明提供一种深度摄像机重建及自动标定的系统,包括，
将自动采集特征点对，作为输入计算出重建系统的初始标定矩阵模块；
将初始标定矩阵进行非线性最小二乘优化，得到最终的标定矩阵模块。
本发明提供一种深度摄像机重建及自动标定的设备,包括，
支架，用于放置和固定相机；
深度摄像机及其他数据线、电源等；
PC机及网络设备若干。
本发明提供一种深度摄像机重建及自动标定的产品，包括适用于虚拟现实，虚拟试衣，虚拟社交，自动人体数据采集与测量，服装定制等。
有益效果：本发明提供一种深度摄像机重建及自动标定的方法、系统、设备，体现在减小人工操作的工作量，将标定做到自动化，自动采集和组织标定数据完成标定过程，使标定过程一键完成，节省大量的人力物力成本。
附图说明
图1是实施例示意图(3层6列圆形而已，层间距0.7m，层内相邻相机互成60 度角，间距为1.2m)
图2是特征点标定图案示意图
图3是相机与相机间的位置关系的示意图
具体实施方式
本实施例提供一种深度摄像机重建及自动标定的方法,包括，
将自动采集特征点对，作为输入计算重建系统的初始标定矩阵；
将初始标定矩阵进行非线性最小二乘优化，得到最终的标定矩阵。
优选实施例，本实施例中自动采集特征点，作为输入计算重建系统的初始标定矩阵，包括：
在重建系统四周放置贴有带较多特征点的图案,这些图案是用OpenCV的CharucoBoard生成的图打印出来，保证每个打印图案所对应的ID都不同，一台相机能够尽可能多的拍到图案；
重建系统采集一次图像数据，得到图像序列(深度图、高清彩图和深度与高清彩图的映射关系数据)；
采用OpenCV的特征识别工具处理图像序列中的高清彩图，得到所有图像的特征点集合，通过图案ID对特征点进行配对分组，通过深度和高清彩图映射关系数据和深度图得到特征点的三维坐标；
以指定相机为参考系，用最小生成树找最短路径的方法找到其他相机到参考相机的路径，记叙P(O，i),O表示参考相机的相机编号，i表示非参考相机的相机编号；
相机对的相对位置关系[R|t](i,j)及到参考相机的最短绝对路径，就可以通过矩阵运算得到非参考相机到参考相机的绝对位置关系[R|t](O,i)。
优选实施例，本实施例中将初始标定矩阵进行非线性最小二乘优化，得到最终的标定矩阵，公式如下：
s.t.lj≤xj≤uj
其中，用初始标定矩阵得到的[R|t](O,i)作为初始，以相机对采集的图像中提取的点对信息作为约束条件；将点对通过相机内参转换成相机坐标系下的三维点，然后通过[R|t](O,i)将三维点统一到世界坐标系，计算点对间的距离的标准差，当所有点对间距离标准差的和最小时，优化完成，这就是最小二乘问题了，采用非线性最小二乘优化算法来优化[R|t](O,i)，得到最终标定结果。本实施例提供一种深度摄像机重建及自动标定的系统,包括，
将自动采集特征点对，作为输入计算出重建系统的初始标定矩阵模块；
将初始标定矩阵进行非线性最小二乘优化，得到最终的标定矩阵模块。本实施例提供一种深度摄像机重建及自动标定的设备,包括，
支架，用于放置和固定相机；
深度摄像机及其他数据线、电源等；
PC机及网络设备若干。
本实施例提供一种深度摄像机重建及自动标定的产品，包括适用于虚拟现实，虚拟试衣，虚拟社交，自动人体数据采集与测量，服装定制等。

Claims (6)

1.一种深度摄像机重建及自动标定的方法,其特征在于，包括，
将自动采集特征点对，作为输入计算重建系统的初始标定矩阵；
将初始标定矩阵进行非线性最小二乘优化，得到最终的标定矩阵。
2.如权利要求1所述的一种深度摄像机重建及自动标定的方法，其特征在于，所述的自动采集特征点，作为输入计算重建系统的初始标定矩阵，包括：
在重建系统四周放置贴有带较多特征点的图案,这些图案是用OpenCV的CharucoBoard生成的图打印出来，保证每个打印图案所对应的ID都不同，一台相机能够尽可能多的拍到图案；
重建系统采集一次图像数据，得到图像序列(深度图、高清彩图和深度与高清彩图的映射关系数据)；
采用OpenCV的特征识别工具处理图像序列中的高清彩图，得到所有图像的特征点集合，通过图案ID对特征点进行配对分组，通过深度和高清彩图映射关系数据和深度图得到特征点的三维坐标；
以指定相机为参考系，用最小生成树找最短路径的方法找到其他相机到参考相机的路径，记叙P(O，i),O表示参考相机的相机编号，i表示非参考相机的相机编号；
相机对的相对位置关系[R|t](i,j)及到参考相机的最短绝对路径，就可以通过矩阵运算得到非参考相机到参考相机的绝对位置关系[R|t](O,i)。
3.如权利要求1所述的一种深度摄像机重建及自动标定的方法，其特征在于，所述的将初始标定矩阵进行非线性最小二乘优化，得到最终的标定矩阵，公式如下：
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <munder> <mi>min</mi> <mi>x</mi> </munder> </mtd> <mtd> <mrow> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mi>i</mi> </munder> <msub> <mi>&amp;rho;</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mo>|</mo> <mo>|</mo> <msub> <mi>f</mi> <mi>i</mi> </msub> <mo>(</mo> <mrow> <msub> <mi>x</mi> <msub> <mi>i</mi> <mn>1</mn> </msub> </msub> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mi>x</mi> <msub> <mi>i</mi> <mi>k</mi> </msub> </msub> </mrow> <mo>)</mo> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>
s.t.lj≤xj≤uj
其中，用初始标定矩阵得到的[R|t](O,i)作为初始，以相机对采集的图像中提取的点对信息作为约束条件；将点对通过相机内参转换成相机坐标系下的三维点，然后通过[R|t](O,i)将三维点统一到世界坐标系，计算点对间的距离的标准差，当所有点对间距离标准差的和最小时，优化完成，这就是最小二乘问题了，采用非线性最小二乘优化算法来优化[R|t](O,i)，得到最终标定结果。
4.一种深度摄像机重建及自动标定的系统,其特征在于，包括，
将自动采集特征点对，作为输入计算出重建系统的初始标定矩阵模块；
将初始标定矩阵进行非线性最小二乘优化，得到最终的标定矩阵模块。
5.一种深度摄像机重建及自动标定的设备,其特征在于，包括，
支架，用于放置和固定相机；
深度摄像机及其他数据线、电源等；
PC机及网络设备若干。
6.一种深度摄像机重建及自动标定的产品，包括适用于虚拟现实，虚拟试衣，虚拟社交，自动人体数据采集与测量，服装定制等，其特征在于，所述的一种深度摄像机重建及自动标定的产品为权利要求1至5中任意一项所述的一种深度摄像机重建及自动标定的方法、系统、设备。
CN201711158338.XA 2017-11-20 2017-11-20 一种深度摄像机重建及自动标定的方法、系统、设备 Pending CN108010084A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711158338.XA CN108010084A (zh) 2017-11-20 2017-11-20 一种深度摄像机重建及自动标定的方法、系统、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711158338.XA CN108010084A (zh) 2017-11-20 2017-11-20 一种深度摄像机重建及自动标定的方法、系统、设备

Publications (1)

Publication Number Publication Date
CN108010084A true CN108010084A (zh) 2018-05-08

Family

ID=62052887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711158338.XA Pending CN108010084A (zh) 2017-11-20 2017-11-20 一种深度摄像机重建及自动标定的方法、系统、设备

Country Status (1)

Country Link
CN (1) CN108010084A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311690A (zh) * 2020-02-19 2020-06-19 深圳蚂里奥技术有限公司 一种深度相机的标定方法、装置、终端及计算机存储介质
CN112462948A (zh) * 2020-12-18 2021-03-09 哈尔滨拓博科技有限公司 一种基于深度相机偏离用户手势控制的标定方法和装置
CN115526941A (zh) * 2022-11-25 2022-12-27 海伯森技术（深圳）有限公司 一种用于远心相机的标定装置和标定方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600649A (zh) * 2016-12-07 2017-04-26 西安蒜泥电子科技有限责任公司 一种基于二维标记码的相机自标定方法
CN106651942A (zh) * 2016-09-29 2017-05-10 苏州中科广视文化科技有限公司 基于特征点的三维旋转运动检测与旋转轴定位方法
CN106709947A (zh) * 2016-12-20 2017-05-24 西安交通大学 一种基于rgbd相机的三维人体快速建模系统
CN107194991A (zh) * 2017-05-17 2017-09-22 西南科技大学 一种基于骨架点局域动态更新的三维全局可视化监控系统构建方法
CN107228625A (zh) * 2017-06-01 2017-10-03 深度创新科技（深圳）有限公司 三维重建方法、装置及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651942A (zh) * 2016-09-29 2017-05-10 苏州中科广视文化科技有限公司 基于特征点的三维旋转运动检测与旋转轴定位方法
CN106600649A (zh) * 2016-12-07 2017-04-26 西安蒜泥电子科技有限责任公司 一种基于二维标记码的相机自标定方法
CN106709947A (zh) * 2016-12-20 2017-05-24 西安交通大学 一种基于rgbd相机的三维人体快速建模系统
CN107194991A (zh) * 2017-05-17 2017-09-22 西南科技大学 一种基于骨架点局域动态更新的三维全局可视化监控系统构建方法
CN107228625A (zh) * 2017-06-01 2017-10-03 深度创新科技（深圳）有限公司 三维重建方法、装置及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王宜举等: "《非线性规划理论与算法 （第2版）》", 31 December 2008 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311690A (zh) * 2020-02-19 2020-06-19 深圳蚂里奥技术有限公司 一种深度相机的标定方法、装置、终端及计算机存储介质
CN111311690B (zh) * 2020-02-19 2024-02-06 深圳蚂里奥技术有限公司 一种深度相机的标定方法、装置、终端及计算机存储介质
CN112462948A (zh) * 2020-12-18 2021-03-09 哈尔滨拓博科技有限公司 一种基于深度相机偏离用户手势控制的标定方法和装置
CN115526941A (zh) * 2022-11-25 2022-12-27 海伯森技术（深圳）有限公司 一种用于远心相机的标定装置和标定方法
CN115526941B (zh) * 2022-11-25 2023-03-10 海伯森技术（深圳）有限公司 一种用于远心相机的标定装置和标定方法

Similar Documents

Publication Publication Date Title
CN106780619B (zh) 一种基于Kinect深度相机的人体尺寸测量方法
CN107945268B (zh) 一种基于二元面结构光的高精度三维重建方法及系统
Grün et al. Photogrammetric reconstruction of the great Buddha of Bamiyan, Afghanistan
CN104330074B (zh) 一种智能测绘平台及其实现方法
CN109242954B (zh) 基于模板变形的多视角三维人体重建方法
CN101916454B (zh) 基于网格变形和连续优化的高分辨率人脸重建方法
CN106709947A (zh) 一种基于rgbd相机的三维人体快速建模系统
CN104574501A (zh) 一种针对复杂三维场景的高质量纹理映射方法
US20100328308A1 (en) Three Dimensional Mesh Modeling
CN107767442A (zh) 一种基于Kinect和双目视觉的脚型三维重建与测量方法
CN102054276B (zh) 物体三维几何重建相机定标方法和系统
CN104021587B (zh) 基于计算全息技术的大场景真三维显示快速生成方法
CN104567758B (zh) 立体成像系统及其方法
CN105069746A (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
CN109492852A (zh) 一种基于bim的水工构筑物的质量检查方法
CN102222357B (zh) 基于图像分割和网格细分的脚型三维表面重建方法
CN107369204B (zh) 一种从单幅照片恢复出场景基本三维结构的方法
CN108305286A (zh) 基于颜色编码的多目立体视觉脚型三维测量方法、系统和介质
CN104240289A (zh) 一种基于单个相机的三维数字化重建方法及系统
CN112489099B (zh) 点云配准方法、装置、存储介质及电子设备
CN106500626A (zh) 一种手机立体成像方法及三维成像手机
CN108010084A (zh) 一种深度摄像机重建及自动标定的方法、系统、设备
CN109242951A (zh) 一种脸部实时三维重建方法
Andrade et al. Digital preservation of Brazilian indigenous artworks: Generating high quality textures for 3D models
CN110120101A (zh) 基于三维视觉的圆柱体增强现实方法、系统、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180508

RJ01 Rejection of invention patent application after publication