CN105427302B - 一种基于移动稀疏相机采集阵列的三维采集及重建系统 - Google Patents

一种基于移动稀疏相机采集阵列的三维采集及重建系统 Download PDF

Info

Publication number
CN105427302B
CN105427302B CN201510789627.4A CN201510789627A CN105427302B CN 105427302 B CN105427302 B CN 105427302B CN 201510789627 A CN201510789627 A CN 201510789627A CN 105427302 B CN105427302 B CN 105427302B
Authority
CN
China
Prior art keywords
camera
sparse
array
collecting unit
collection array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510789627.4A
Other languages
English (en)
Other versions
CN105427302A (zh
Inventor
张赵行
耿征
曹煊
张骁
张梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201510789627.4A priority Critical patent/CN105427302B/zh
Publication of CN105427302A publication Critical patent/CN105427302A/zh
Application granted granted Critical
Publication of CN105427302B publication Critical patent/CN105427302B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于移动稀疏相机采集阵列的三维采集及重建系统，通过在一定范围内任意排列的若干(最多不超过8个)相机采集单元的同时移动，对被采集物体进行三维表面信息的采集，将所有采集到的图像中的每个像素点进行比较，通过优化算法得到被采集物体的深度信息，继而计算出该点的三维坐标，最终得到符合被采集对象真实物理尺寸的数字模型。本发明中的基于移动稀疏相机采集阵列的三维采集及重建系统既简化了整个系统，又减少了采集过程中求取内、外参数时引入误差的环节。

Description

一种基于移动稀疏相机采集阵列的三维采集及重建系统
技术领域
本发明属于三维采集及重建领域，更具体地，涉及一种基于移动稀疏相机采集阵列的三维采集及重建系统。
背景技术
三维采集技术一般包括主动式采集和被动式采集两种方式：相对于被动式采集方式，主动式采集方式一般通过对被采集对象引入额外光照(结构光)来增加或增强被采集对象的表面特征，以便在被采集对象表面特征稀少时也能利用采集的数据进行后续的重建工作，同时提高了重建精度。结构光可以以点阵或条纹的形式静态地投射到被采集物体表面上，也可以以动态的方式在不同的时间将不同的特征投射到被采集物体的表面，动态结构光可以进一步提高重建的精度，但是要求采集装置和结构光同步，对采集装置的硬件要求和整个重建流程的时序控制有更高的要求。
三维重建技术一般分为基于光场采集和基于图像采集的三维重建技术，其中前者通过记录光源发出的光线经过被采集对象表面漫反射进入采集装置的方向信息(s，t)和在采集装置镜头上成像的位置信息(x，y)，以复原被采集对象表面光场的形式进行重建。而本发明中采用的重建方法属于后者，通过每个相机在空间中的相互位置关系，将被采集对象上相同点在不同相机采集到的图像上的位置匹配起来计算出该点到采集单元镜头的距离(z)，再结合其在二维图像上的位置(x，y)得到该点空间中的三维位置信息(x，y，z)。此种方法下，采集单元之间的位置关系如果不准确，则在后面进行的匹配之前就会存在较大的误差，造成匹配失败甚至误匹配；而如果采集单元比较少，则重建过程中用于特征点匹配的参照图像也少，当其中一幅图出现较大误差无法通过其他准确采集的图像进行纠正时，也容易出现误匹配的情况，最终造成整个重建图像失真。针对这些情况，一般通过稠密采集的方式降低由于少数幅图或少数采集单元位置关系不准确带来的重建误差。其中可以通过稠密相机阵列对多个采集单元进行采样：由于稠密相机阵列中每个相机采集单元被预先固定，因此可以在采集过程之前对稠密相机阵列中每个相机采集单元进行静态预标定(如使用特征点比较明显的黑白棋盘格标定板进行标定)，以便精确的获得每个采集单元之间的位置关系(相机外参数)和自身镜头的参数(相机内参数)。但是稠密相机阵列硬件系统体积庞大，多个相机采集单元采集相同场景时需要进行同步，造成整个系统控制复杂。另外，也可以通过单个相机在移动中进行多角度的采集，并通过被采集物体自身的特征点，以运动中相机位置获取(Structure from Motion，SfM)的动态标定方式得到单个相机在不同位置采集图像时的相对位置关系变化和相机镜头自身的参数，再结合这些特征点进行重建。这样做简化了系统，但是相机采集位置之间的外参数和相机内参数并非事先通过标定板上准确的特征点精确标定，而是依赖被拍摄物体上的特征点获取，因而重建的准确程度没有之前的方法高。
发明内容
本发明主要针对上述基于图像三维重建方法的问题，设计出一种基于移动稀疏相机采集阵列的三维采集和重建系统，通过若干个(最多不超过8个)在空间中以合适的间距(采集单元之间距离不大于1000mm)任意排布的相机采集单元，对相机采集单元视场内的被采集对象表面进行采集，将数据传回图形工作站后进行基于图像的三维重建，得到与被采集对象真实物理尺寸一致的数字模型。
本发明提出的基于移动稀疏相机采集阵列的三维采集及重建系统具体包括稀疏相机采集阵列、刚性相机阵列固定装、置数据传输系统、图形工作站和数据总线；其中，
稀疏相机采集阵列，包括多个相机采集单元，所述相机采集单元包括相机镜头和用于记录被采集对象表面经过相机镜头所成图像的相机传感器，所述稀疏相机采集阵列被所述刚性相机阵列固定装置固定，保证整个稀疏相机采集阵列在移动时每个采集单元之间相对位置固定；
所述相机传感器通过数据总线将图像数据传输给所述数据传输系统，所述传输系统将接收到的图像数据通过常见的数据传输协议传输给图形工作站；
在所述图形工作站上运行的三维重建系统，利用稀疏相机采集阵列采集到的被采集对象表面的多幅图像数据计算出其表面的三维数据，通过优化算法得到被采集物体的深度信息，继而计算出采集到的图像中的每个像素点的三维坐标，最终得到符合被采集对象真实物理尺寸的数字模型。
本发明中相机采集单元之间的位置相对固定，因此可以通过准确度比较高的静态预标定法获取这些相机采集单元镜头的内参数以及它们之间的外参数；虽然整个系统包含的相机采集单元数目不多，但可以方便地移动整个稀疏相机采集阵列来进行多次采集，相当于通过稀疏相机采集阵列的移动构建出一个稠密相机采集阵列，并且只需要通过SfM的方法获得整个稀疏相机采集阵列中任意一个相机采集单元相对于其前一次采集时的位置变化，就可以根据之前已经求得的稀疏相机采集阵列之间每个采集单元的外参数计算出构建的稠密相机采集阵列中所有采集单元之间的外参数，这样既简化了整个系统，又减少了采集过程中求取内、外参数时引入误差的环节。
附图说明
图1为本发明设计的一种基于稀疏相机采集阵列的采集装置示意图(正视图和俯视图)；
图2为本发明中的采集装置和传输重建装置的连接示意图；
图3为本发明中的稀疏相机采集阵列中相机采集单元间距说明示意图；
图4为本发明中的稀疏相机采集阵列的移动采集过程的示意图。
具体实施方式
下面对本发明的实施例做详细地说明，给出了详细的实施方式和具体的计算流程，但本发明的保护范围不限于下述的实施例。
1.三维采集系统硬件设计
本发明中设计的一种包含5个相机采集单元的三维采集系统的硬件结构如图1所示。图1中最左边的相机采集单元101包括相机镜头102和用于记录被采集对象表面经过相机镜头102所成图像的相机传感器103，相机传感器103通过数据总线104将图像数据传输出去。每个相机采集单元可以互不相同(相机采集单元101旁边的相机采集单元105可能和相机采集单元101使用完全不同的镜头106和相机传感器107，只要相机传感器103和相机传感器107可以被数据总线104同时连接，并向外传输数据即可，否则需要为每个相机单独准备一条数据线，这里为了讨论方便，假设相机传感器103和相机传感器107在这方面完全相同)，整个相机阵列被刚性相机阵列固定装置108固定，保证整个稀疏相机采集阵列109在移动时每个采集单元之间相对位置固定。图2中将稀疏相机采集阵列109看成一个整体，稀疏相机采集阵列109通过数据传输系统201，利用有线或无线的形式，将图像数据和必要的控制信息通过常见的数据传输协议(TCP/IP，UDP，USB，1394等)传到图形工作站202上，以便三维重建软件系统可以通过稀疏相机采集阵列109采集到的被采集对象203表面的多幅图像数据计算出其表面的三维数据。
为了方便说明，将稀疏相机采集阵列109中稀疏相机采集单元101在某一个位置采集到的图像为参考图像(将处于该位置的稀疏相机采集单元101视为参考相机采集单元，其采集到的图像为参考图像)，稀疏相机采集阵列109中除了稀疏相机采集单元101以外其他稀疏相机采集单元视为其他相机采集单元，参考相机采集单元在其他位置采集到的图像和其他相机采集单元在所有位置采集到的图像相对于参考图像都视为比较图像。
相邻相机采集单元的最大间隔和最小间隔如图3所示。以参考相机采集单元101和与其相邻的其他相机采集单元105为例进行说明：两者镜头中心之间最大间隔Lmax为1000mm，即其他相机采集单元105的镜头106的中心位置应该放置在以参考相机采集单元101的镜头102的中心为中心，Lmax为半径的圆周内部；最小间隔Lmin为两个采集单元能以最紧密的方式摆列在一起时其镜头中心之间的间距。
本发明中设计的三维采集系统可以通过整体移动稀疏相机采集阵列109进行采集。如图4所示，稀疏相机采集阵列109经过3次移动，一共对被采集物体203表面进行了15次采集；其中稀疏相机采集阵列109中5个相机采集单元在3次移动(每次移动采集5组图像)中采集的图像分别为：在采集位置401采集的404、405、406、407、408这5幅图，在采集位置402采集的409、410、411、412、413这5幅图以及在采集位置403采集的414、415、416、417、418这5幅图。这些图像通过数据总线104经过传输系统201以USB方式传输到图形工作站202上，稀疏相机采集阵列109同时还可以传回一些图像识别信息，使电脑能够将接收的图像与采集该图像的相机采集单元及采集位置对应起来。
2.三维重建系统软件设计
本发明中设计的三维重建系统以软件的形式运行在图形工作站202上，主要包括对稀疏相机采集阵列109上每个预先固定好的相机采集单元进行标定。本发明中采用张正友标定法进行预先的静态标定，以黑白棋盘格标定板为采集目标，可以同时得到5个相机采集单元镜头的内、外参数。其中内参数Ki通过以下方式表示：
本发明中稀疏相机采集阵列109上每个相机采集单元的镜头都是基于小孔模型的，故第i个相机采集单元的镜头的水平和垂直方向的焦距分别为，镜头中心相对于相机采集单元的传感器中心(即采集得到的图像中心)的偏移为。为了方便讨论，在镜头畸变对图像影响可以忽略的情况下，假设稀疏相机采集阵列109在第1次采集时，其中的相机采集单元101为参考位置采集单元，即图4中的404为参考图像，其他为比较图像，则被拍摄物体203表面某点在相机采集单元101坐标系下的齐次坐标和在参考图像坐标系下的齐次坐标(uref，vref，1)T可以通过相机采集单元101的镜头102的内参数联系起来：
对于其他的相机采集单元，可以通过同样的方法将其采集图像上的像素齐次坐标和相机齐次坐标联系起来。稀疏相机采集阵列109上的5个相机采集单元，也可以通过相同的标定方法预先得到其相对于参考相机采集单元位置的外参数矩阵rti(参考相机采集单元相对于自己也存在外参数矩阵，即单位矩阵)：
其中ri、ti分别表示第i个相机坐标系相对于参考位置相机坐标系的x、y、z方向上的旋转和平移程度，这样对于被拍摄物体203表面的某点，其在参考位相机采集单元采集的图像上的坐标可以通过上面的外参数用世界坐标系下的齐次坐标(Xw，Yw，Zw，1)T表示：
对于点(Xw，Yw，Zw，1)T，如果被其他相机采集单元采集到，那么该点在这些比较图像上的齐次坐标亦可以通过和上面步骤相似的方法表示出来：
将上面两式联立后可以得到该点在两幅图像上坐标点之间的关系：
再考虑稀疏相机采集阵列109带着所有相机采集单元整体移动的情况，即在上式中增加通过SfM计算出的外参数RTj：
最终得到被采集物体203表面同一点在参考图像上的齐次坐标与在其
他对比图像上的齐次坐标之间的关系：
整理上式即得到被采集物体203表面某点的深度值的计算公式(其中可以用表示)：
但是在求取相机采集单元的镜头的内参数K、外参数RT和rt的步骤中会不可避免的引入误差；同时存在被采集物体表面203上某个点由于噪声或者遮挡无法在所有采集图像中出现等情况，这样无法通过上面的等式直接求出深度值
根据图像全局优化相关理论，我们可以把上式转化为：
在给定的深度范围(dmin，dmax)内按照一定的步长穷举该点每个可能的深度值d，这样虽然每个d都可能无法使等式成立，但最接近真实深度的d会使等式两边值最接近，即通过优化找到使目标函数f(RT，rt，K，((d))，g(Δu，Δv))的值最小的d，此时(d)即被认定为该点的深度值，利用该深度值继而计算出该点的三维坐标完成重建。其中g(Δu，Δv)为参考位置相机采集单元和其他位置相机采集单元对应点之间的差异程度，其具体衡量方式可以是像素值的绝对值差，方差或是零均值差等。从这里也可以看出，用于比较的图越多，得到的结果越准确，容错率也越高；而目标函数中的参数RT、rt以及K的准确程度都对重建图像的深度值有影响，因此本发明采用这种采集和重建方式既能够通过移动采集的方式提供更多的图像，并带入目标函数进行优化，又能通过移动各个采集单元内、外参数已知的稀疏采集阵列的方式，减少基于被拍摄物特征点而非标定板角点这种容易产生误差的自标定方式的使用次数，把由此方法计算内、外参数引入误差对重建结果的影响尽可能的降低，从而提供了一种更准确的三维采集和重建的方法。
上述实施例详细阐述了本发明的一种基于移动稀疏相机采集阵列的三维采集及重建系统，相对于相机阵列和单相机移动三维采集重建方式，本发明中设计的方法在降低求取相机采集单元的镜头内、外参数误差的同时，增加参与深度计算的图像数目，从而提高了三维重建的精度。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于移动稀疏相机采集阵列的三维采集及重建系统，其特征在于：所述系统包括稀疏相机采集阵列、刚性相机阵列固定装置、数据传输系统、图形工作站和数据总线；其中，
稀疏相机采集阵列，包括多个相机采集单元，所述相机采集单元包括相机镜头和用于记录被采集对象表面经过相机镜头所成图像的相机传感器，所述稀疏相机采集阵列被所述刚性相机阵列固定装置固定，保证整个稀疏相机采集阵列在移动时每个采集单元之间相对位置固定；
所述相机传感器通过数据总线将图像数据传输给所述数据传输系统，所述数据传输系统将接收到的图像数据通过常见的数据传输协议传输给图形工作站；
在所述图形工作站上运行的三维重建系统，利用稀疏相机采集阵列采集到的被采集对象表面的多幅图像数据计算出其表面的三维数据，通过优化算法得到被采集物体的深度信息，继而计算出采集到的图像中的每个像素点的三维坐标，最终得到符合被采集对象真实物理尺寸的数字模型。
2.根据权利要求1所述的基于移动稀疏相机采集阵列的三维采集及重建系统，其特征在于：
所述相机采集单元的个数不超过8个，多个相机采集单元可以被规则或不规则地固定，相机采集单元的镜头之间的最大间隔Lmax为1000mm，最小间隔Lmin为两个采集单元能以最紧密的方式摆列在一起时其镜头中心之间的间距。
3.根据权利要求2所述的基于移动稀疏相机采集阵列的三维采集及重建系统，其特征在于：
利用静态预标定法获取所述相机采集单元的镜头的内参数以及他们之间的外参数；通过移动整个稀疏相机采集阵列来进行多次采集，相当于通过稀疏相机采集阵列的移动构建出一个稠密相机采集阵列，从而利用动态标定法SfM(Structure from Motion)获得整个稀疏相机采集阵列中任意一个相机采集单元相对于其前一次采集时的位置变化，然后根据之前已经求得的稀疏相机采集阵列中的每个相机采集单元之间的外参数计算出构建的稠密相机采集阵列中所有采集单元之间的外参数。
4.根据权利要求3所述的基于移动稀疏相机采集阵列的三维采集及重建系统，其特征在于：
所述数据传输系统通过有线或无线的形式将多个相机采集单元采集到的图像数据和必要的控制信息传输给图形工作站，从而进行重建处理。
CN201510789627.4A 2015-11-17 2015-11-17 一种基于移动稀疏相机采集阵列的三维采集及重建系统 Expired - Fee Related CN105427302B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510789627.4A CN105427302B (zh) 2015-11-17 2015-11-17 一种基于移动稀疏相机采集阵列的三维采集及重建系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510789627.4A CN105427302B (zh) 2015-11-17 2015-11-17 一种基于移动稀疏相机采集阵列的三维采集及重建系统

Publications (2)

Publication Number Publication Date
CN105427302A CN105427302A (zh) 2016-03-23
CN105427302B true CN105427302B (zh) 2018-01-16

Family

ID=55505483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510789627.4A Expired - Fee Related CN105427302B (zh) 2015-11-17 2015-11-17 一种基于移动稀疏相机采集阵列的三维采集及重建系统

Country Status (1)

Country Link
CN (1) CN105427302B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976431B (zh) * 2016-05-23 2019-01-22 北京信息科技大学 一种基于旋转光场的三维表面重构方法
CN106952299B (zh) * 2017-03-14 2019-07-16 大连理工大学 一种适用于智能移动设备的三维光场技术实现方法
CN111292382B (zh) * 2020-02-10 2023-11-14 阿波罗智能技术(北京)有限公司 车载图像采集设备标定的方法和装置、电子设备、介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103885279A (zh) * 2014-03-27 2014-06-25 大连理工大学 一种空间三维图像采集系统
CN104463949A (zh) * 2014-10-24 2015-03-25 郑州大学 一种基于光场数字重聚焦的快速三维重建方法及其系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103885279A (zh) * 2014-03-27 2014-06-25 大连理工大学 一种空间三维图像采集系统
CN104463949A (zh) * 2014-10-24 2015-03-25 郑州大学 一种基于光场数字重聚焦的快速三维重建方法及其系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Dictionary-based light field acquisition using sparse camera array》;Cao Xuan et al.;《Optics express》;20141231;第22卷(第20期);24081-24095 *
《基于结构光的三维成像技术》;李托拓等;《网络新媒体技术》;20120131;第1卷(第1期);22-33 *

Also Published As

Publication number Publication date
CN105427302A (zh) 2016-03-23

Similar Documents

Publication Publication Date Title
US10984554B2 (en) Monocular vision tracking method, apparatus and non-volatile computer-readable storage medium
CN104537707B (zh) 像方型立体视觉在线移动实时测量系统
CN108734744B (zh) 一种基于全站仪的远距离大视场双目标定方法
KR101761751B1 (ko) 직접적인 기하학적 모델링이 행해지는 hmd 보정
CN106091984B (zh) 一种基于线激光的三维点云数据获取方法
CN110728715A (zh) 一种智能巡检机器人像机角度自适应调整方法
CN110230983B (zh) 抗振式光学三维定位方法及装置
CN105243637B (zh) 一种基于三维激光点云进行全景影像拼接方法
CN103115613B (zh) 一种空间三维定位方法
CN104539928B (zh) 一种光栅立体印刷图像合成方法
CN110390719A (zh) 基于飞行时间点云重建设备
CN108648232A (zh) 一种基于精密二轴转台的双目立体视觉传感器一体式标定方法
CN105654547B (zh) 三维重建方法
CN109544628B (zh) 一种指针式仪表的准确读数识别系统及方法
CN104376552A (zh) 一种3d模型与二维图像的虚实配准算法
CN109859272A (zh) 一种自动对焦双目摄像头标定方法及装置
CN109769109A (zh) 基于虚拟视点合成绘制三维物体的方法和系统
CN102221331A (zh) 一种基于不对称双目立体视觉技术的测量方法
CN111854636B (zh) 一种多相机阵列三维检测系统和方法
Cvišić et al. Recalibrating the KITTI dataset camera setup for improved odometry accuracy
CN105427302B (zh) 一种基于移动稀疏相机采集阵列的三维采集及重建系统
CN109242898A (zh) 一种基于图像序列的三维建模方法及系统
CN107590444A (zh) 静态障碍物的检测方法、装置及存储介质
CN109902675A (zh) 物体的位姿获取方法、场景重构的方法和装置
CN112712566B (zh) 基于结构参数在线校正的双目立体视觉传感器测量方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180116

Termination date: 20211117

CF01 Termination of patent right due to non-payment of annual fee