CN105741346A - 用于校准深度照相机的方法 - Google Patents
用于校准深度照相机的方法 Download PDFInfo
- Publication number
- CN105741346A CN105741346A CN201511000373.XA CN201511000373A CN105741346A CN 105741346 A CN105741346 A CN 105741346A CN 201511000373 A CN201511000373 A CN 201511000373A CN 105741346 A CN105741346 A CN 105741346A
- Authority
- CN
- China
- Prior art keywords
- depth
- computer
- depth cameras
- references object
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/327—Calibration thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
一种用于校准深度照相机的方法,包括以下步骤:S1)使用将要被校准的深度照相机(DC)以用于获得物理三维参考对象(PO)的多个深度图(DMS),所述物理三维参考对象的多个深度图对应于所述深度照相机相对于所述参考对象的不同位置;S2)取决于分配给所述深度照相机的校准参数的集合(SCPi)的值,根据所述深度图来计算所述参考对象的三维重建(3DRi);S3)计算在步骤S2)处所计算的所述三维重建和所述参考对象的预定数字模型(RM)之间的误差(ERRi);所述步骤S2)和步骤S3)是通过向所述深度照相机的所述校准参数的集合分配不同的值来迭代的;以及S4)选择使在步骤S3)处所计算的所述误差最小化的所述校准参数的集合的值(SCP);所述步骤S2)至S4)是由计算机来执行的。
Description
技术领域
本发明涉及用于校准深度照相机的计算机实现的方法。
具体实施方式
本发明属于三维(3D)重建的技术领域,其在于从由传感器(例如,常规照相机和/或深度照相机)获得的数据来建立物理三维对象的数字模型。3D重建参与诸如计算机视觉、计算机绘图以及增强现实之类的应用。
更确切地说,本发明涉及对深度照相机的校准,并且更具体地来说涉及“内在”校准。深度照相机(还被称为“范围照相机(rangecamera)”)是这样一种设备,其产生显示场景(scene)中的点离深度照相机的特定点的距离的二维(2D)图像(被称为“深度图”)。可以使用多种不同的技术来实现深度照相机;在最广泛地被使用的技术之中,一种技术可能提及基于类似于雷达的原理的飞行时间照相机,以及结构化的光照相机,所述结构化的光照相机将红外线的图样投射到场景上,获得其图像,并且使用图像处理来推断深度信息。深度照相机可以与常规的彩色(RGB-红、绿和蓝)照相机相结合以产生包含颜色和深度信息二者的二维图像,其可以被称为“RGB-深度”或者简单地被称为“RGBD”图像。将深度照相机与黑白照相机相结合也是可能的,虽然不太有用。
如在图1上示出的那样,可以使用深度照相机DC来获得来自不同位置的“物理”三维对象PO的多个深度图DM1、DM2、DM3(“纯”深度图或者RGBD图)。由计算机执行的重建算法RA将深度图作为输入来产生物理对象的三维重建3DR。本领域已知多种适当的重建算法,参见例如,R.A.Newcombe等人,“KinectFusion:Real-TimeDenseSurfaceMappingandTracking”,专题讨论会ISMAR2011。
重建算法并不一定需要在它的输入处接收由深度照相机采取的位置和方向(“姿势”)以获得不同的深度图,这是因为该信息(还被称为“外在”校准)可以使用深度图自身来推断。相反,必须将深度照相机的“内在”校准参数(例如,它的焦距、主点以及可能的失真参数)提供给重建算法。图2突出了内在校准参数的重要性,图2示出了通过向重建算法提供深度照相机的不同焦距值来获得的对两个三维对象的不同的重建(上一行是表示兔子的塑像,下一行是立方体),所述深度照相机被用于获得被用作输入的深度图。在两行上,在中心的图像(在框中)对应于正确的焦距值;在左侧和在右侧的图像对应于越来越不正确的该参数的值。可以看出,对深度照相机的错误校准可以导致完全无意义的重建。
在一些情况下,由深度照相机的制造商提供的校准参数可以被用于3D重建(这是上文提及的由R.A.Newcombe等人撰写的论文中的情况),但是如果需要更精确的结果,则必须执行专用的校准步骤。已经在例如下列文档中论述了校准深度(或者RGB-深度)照相机的问题:
-HerreraC.,D.,Kannala,J.,J.,“Jointdepthandcolorcameracalibrationwithdistortioncorrection”,TPAMI,2012;
-R.Y.Tsai,“AnEfficientandAccurateCameraCalibrationTechniquefor3DMachineVision”,ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition(关于计算机视觉与模式识别的IEEE会议的学报),迈阿密滩,FL,pp.364-374,1986;
-Zhang,Zhengyou“FlexibleCameraCalibrationByViewingaPlaneFromUnknownOrientations”,ICCV,1999。
这些文档中的第一个文档具体涉及RGB-深度照相机的情况,但是也可以被应用于还提供场景的强度图像的其它种类的深度照相机;其它两个文档涉及对不允许深度测量的常规照相机的校准,但是它们的教导也适用于RGB-深度照相机,并且适用于获得已经在其上投射了红外线的图样的场景的灰度图像的深度照相机。
这些方案使用已知2D几何形状(例如,具有已知的拐角之间的距离的棋盘)的平面图样,所述平面图样中的多个图像是使用将要被校准的RGB或者RGB-深度照相机来获得的。这些图像允许估计照相机的投射矩阵,从所述投射矩阵提取校准参数。
这些方案比使用构造函数数据表更加稳健,但是不保证它们提供针对3D重建足够精确的校准参数;例如,焦距上的误差可以通过外在参数(即,表达照相机的位置和方向的参数)上的漂移来补偿。此外,所获得的参数极其取决于被用于图像采集的协议。
由PopoGui等人撰写的论文“AccuratelyCalibrateKinectSensorUsingIndoorControlField”公开了通过反映包括已知位置的多个控制点的控制场来校准深度照相机的方法。该方法仅适用于特定种类的深度照相机,并且控制点必须通过标识物被实体化,这可能是不实用的。
本发明的目的在于克服上文提及的现有技术的缺陷,并且更具体地说,在于提供更适合于3D重建的用于深度照相机的校准方法。
本发明的客体是用于校准深度照相机的方法,其包括以下步骤:
S1)使用将要被校准的深度照相机以用于获得物理三维参考对象的多个深度图,所述物理三维参考对象的多个深度图对应于深度照相机相对于参考对象的不同位置;
S2)取决于分配给深度照相机的校准参数的集合的值,根据所述深度图来计算该参考对象的三维重建;
S3)计算在步骤S2)处所计算的三维重建和参考对象的预定数字模型之间的误差;
通过向所述深度照相机的校准参数的集合分配不同的值来迭代所述步骤S2)和步骤S3);以及
S4)选择使在步骤S3)处所计算的误差最小化的所述校准参数的集合的值;
由计算机来执行所述步骤S2)至S4)。
根据这样的方法的不同实施例:
-可以通过向所述深度照相机的校准参数的集合分配相应的预定值来将所述步骤S2)和步骤S3)迭代预定的次数,所述预定值对参数空间进行取样。
-替代地,可以迭代所述步骤S2)和步骤S3)直到在步骤S3)处计算的误差变得低于预定的门限或者低于等于预定的门限为止。
-所述校准参数的集合可以至少包括深度照相机的焦距和主点的两个坐标。所述校准参数的集合还可以包括至少一个失真参数。
-所述步骤S2)可以包括:对应于所述深度图中的每个深度图,相对于参考位置,共同地确定深度照相机的位置,并且将所述深度图融合到单个三维的有符号的并且经截短的距离字段中;以及将所述距离字段的等值面提取到构成所述参考对象的重建的三维网格中。
-所述步骤S3)可以包括:在计算所述误差之前,将在步骤S2)处计算的三维重建和所述参考对象的预定数字模型配准。
-所述步骤S3)可以包括:计算在步骤S2)处计算的三维重建和所述参考对象的预定数字模型之间的准确的或者近似的豪斯多夫距离(Hausdorffdistance)或者对称的豪斯多夫距离。
本发明的另一个客体是计算机程序产品,其存储在计算机可读数据存储介质上,包括计算机可执行指令以使得计算机系统执行这样的方法的步骤S2)至S4)。
本发明的另一个客体是计算机可读数据存储介质,其包含计算机可执行指令,以使得计算机系统执行这样的方法的步骤S2)至S4)。
本发明的另一个客体是计算机系统,其包括耦合到存储器的处理器和图形用户界面,存储器存储计算机可执行指令以使得计算机系统执行这样的方法的步骤S2)至S4)。
“深度照相机”指定产生包含深度信息的图像的任何设备。
“深度图”指定包含诸如“纯”深度图(仅包含深度信息)或者RGBD深度图之类的深度信息的任何图像。
深度照相机的“校准参数”将被具体用于指定“内在”参数,即,在将场景转换为包含深度信息的图像的过程中具有影响的深度照相机的所有光学参数、机械参数、电子参数等。校准参数通常包括:
-在光学中,“物理”焦距F是透镜最初将平行光线带到焦点的距离。然而,当对照相机进行建模时,最经常将焦距“f”定义为透镜的物理焦距F(以mm为单位测量)和成像传感器的像素密度(pixel/mm)的乘积,并且因此以像素为单位测量所述焦距“f”。如果像素是矩形的,则存在沿x和y方向的两个不同的像素密度值:sx和sy。因此,定义两个焦距:fx=sx·F和fy=sy·F。在不实际拆开照相机并且直接地测量其部件的情况下,仅能够推导出fx和fy。
-图像平面中的主点的坐标。主点由具有其图像平面的照相机的光轴的交叉来定义。
-失真参数表达照相机透镜的径向的和/或切向的失真。通常,它们是将无失真的和有失真的像点联系起来的多项式函数的参数。
深度照相机可以以校准参数的集合为特征,所述校准参数的集合形成适当的“参数空间”的向量或者点以及姿势(即,它的位置和方向)。表达姿势的参数也可以被称为“外在参数”。
如果物理对象(即,存在于物理世界中的对象)的最小尺寸大于或者等于其最大尺寸的百分之一(并且最好是十分之一),则所述物理对象可以被认为是“三维”的。
物理对象的“数字模型”是以文件、多个文件或者数据结构的形式在计算机存储器中对这样的对象(或者仅其外表面)的表示。例如,数字模型可以将对象表示为对应于其外表面的栅格,或者表示为点云。“3D数字模型”是保存对象的三维空间结构的数字模型。
“重建”指的是根据对象的深度图来建立对象的数字模型的过程,并且也指通过该过程获得的数字模型。
“距离字段”是计算机存储器中的特定数据结构,表示包含物理对象的物理空间的一部分。该物理空间的一部分由在体素中离散的(“体素化的(voxelized)”)有限的“重建空间”来表示。数字值归因于每个体素,所述值表达该体素和物理对象的表面之间的距离(典型地,有符号的并且经截短的距离)。重建空间的“等值面”是由相同值的体素定义的表面。
“配准”是确定严格转换(旋转-平移)的操作,所述严格转换准确地或者至少近似地将物理对象的两个数字模型联系起来。
根据随后的结合附图进行的描述,本发明的额外的特征和优势将变得显而易见,其中:
-上文所描述的图1是使用深度照相机来对物理对象执行三维重建的过程的概要性的表示;
-上文所描述的图2示出了对用于三维重建的深度照相机进行校准的重要性;
-图3是根据本发明的实施例的校准方法的流程图;以及
-图4是适合用于执行根据本发明的实施例的方法的计算机系统的框图。
如图3的流程图上所示出的,要被校准的深度照相机DC被用于来取得参考三维物理对象PO的深度图的集合DMS,所述参考三维物理对象PO的精确的三维数字模型RM(参考模型)是可用的。
然后,通过将适当的重建算法RA应用于深度图来执行对参考对象的三维重建。重建算法需要深度照相机的校准参数的集合(焦距、主点,很可能还有失真参数(其是未知的)),并且其确定是创造性的方法的目的。为了该目的,执行对参数空间的取样,所述取样提供参数的有限数量的集合(或者向量)SCPi,每个SCPi以每个校准参数的特定值为特征。例如,如果忽略像散现象和失真,则深度照相机以如下三个内在校准参数为特征:其焦距f和其主点的坐标u0、v0。通过对三维参数空间进行取样来获得N个参数向量SCPi=[fi,u0,i,v0,i],其中fi∈[f最小,f最大]、u0,i∈[u0,最小,u0,最大]、v0,i∈[v0, 最小,v0,最大]、i∈[1,N]。
参数空间的第一样本SCP1被选择用于执行对参考对象的第一重建。在创造性的方法的接连的迭代期间使用其它样本。
多种重建算法是从现有技术中已知的,并且可以用于实现创造性的方法,例如,在上文提及的由R.A.Newcombe等人撰写的论文“KinectFusion:Real-TimeDenseSurfaceMappingandTracking”,专题讨论会ISMAR2011中所描述的方法,通过引用将该论文并入。还参见RichardSzeliski的“ComputerVision:AlgorithmsandApplications”。Springer(施普林格出版社),纽约,2010。
该方法使用经截短的有符号的距离字段用于迭代地将多个深度图融合到包括参考对象的场景的统一表示中。如上文所提及的,距离字段是通过以下方式来获得的:定义有限的重建体积、将其体素化、并且将来自参考对象的3D表面的带符号的并且经截短的距离d(x,y,z)分配给每个体素,x、y、z是重建体积的坐标。关于距离是有符号的事实允许将参考对象的内部与外部区别开来。每个体素还以权重w为特征,所述权重w对由与集合DMS的所有其它深度图相比的针对该体素的当前深度图所给出的信息的相对重要性进行平衡。值得注意的是,d(x,y,z)还定义了隐含的功能,即,通过d(x,y,z)=0给出了由距离字段表示的表面,并且因此,由d在(x,y,z)处的梯度给出了(x,y,z)处的曲面法线。
迭代地执行重建算法。第一深度图被任意地相对于距离字段来放置,并且然后根据进一步描述的过程被融合到所述距离字段之中。
为了执行第n次迭代,获得第(n-1)个深度图时的深度照相机的位置和方向(即,姿势)被认为是已知的。在能够将第n个深度图融合到深度字段之前,有必要估计照相机对应于该图像的姿势,即,相对于参考框定义了其位置和方向的旋转和平移。这是使用所谓的点到平面迭代最靠近点算法来执行的。
根据该算法,使用光线投射来计算对从深度照相机的第(n-1)个位置来观察的、存储在距离字段中的当前表面(即,通过d(x,y,z)=0来定义的)的估计(或者“虚拟视图”)。虚拟视图比根据第(n-1)个姿势的实际视图相比噪声少;此外,使用虚拟视图替代实际视图避免了姿势的漂移。
从在时间n-1处深度照相机的位置,朝向重建体积,穿过该虚拟视图的每个像素来追踪光线,并且当它与表面交叉时(即,当它从具有正距离的体素去往具有负距离的下一个体素时),在表面d(x,y,z)=0处创建相关联的点。通过计算在该点处的距离字段的梯度来确定在该点处的曲面法线。从而,获得点云(称作refPC)。
然后,对当前的(第n个)深度图中的每个像素进行背投影,以创建另一个点云,并且,还通过计算对应于相邻像素的点之间的交叉乘积来确定对应于云中的每个点的曲面法线。该点云被称作currPC。
然后,执行refPC和currPC之间的配准。首先,初始化对应于第n个深度图的深度照相机的姿势以与第(n-1)个姿势一致。然后,迭代地将它优化直到达到收敛为止。迭代优化包括以下步骤:
·针对currPC点云中的每个点,找到refPC点云中的最靠近的点。为了这样做,使用当前的第n个所估计的姿势将currPC中的每个点投射到虚拟视图上,以便将它与refPC中的点相关联。通过移除对应性来丢弃外点(outlier),其中两个法线(即,refPC中的点的法线和currPC中的点的法线)之间的角度大于门限,或者两个对应点之间的距离大于门限。
·估计最好地将每个源点与在先前的步骤中找到的它的配对物对齐的旋转和平移的组合。基于点到平面距离(其是由来自currPC的每个点到由refPC中的其对应点和在该点处的法线定义的平面的距离来定义的),使用高斯-牛顿算法来最小化均方距离成本函数。还可以使用稳健的M估计量来改善收敛。与点到点距离相比,这种点到面距离还对不精确的对应关系更稳健。
·使用所获得的转换来转换该源点(即,refPC的点)。
·迭代上文的步骤,直到成本函数变得低于所定义的门限或者低于或等于所定义的门限,或者执行了最大次数的迭代为止。
一旦已知了当前的深度图相对于参考框的平移和方向,就将所述当前的深度图融合到距离字段中。为了这样做,将由当前的深度图给出的新信息与存储在距离字段中的每个体素中的先前的信息进行简单地平均。将距离字段中的每个体素投射到深度图上,并且将该体素到传感器的距离与由深度图在体素的投射处给出的深度进行比较。这给出了根据当前的深度图的应当具有体素的距离d’。然后通过以下方式来执行平均(不同的方案是可能的):
dn=(w’nd’n+wn-1dn-1)/(wn-1+w’n)
wn=max(wn-1+w’n,M)
其中,索引“n”或“n-1”指的是迭代的(并且因此也是姿势的)次数。权重w可以被初始化为1,并且然后根据第二个等式来增加,同时被限制于预设的最大值M。权重w’可以取常数值(例如,1)或者取决于d’(以解释精度常常随距离下降的事实)或者将照相机的中心与体素连接的光线的入射角度的值。
最后,将距离字段的等值面d(x,y,z)=0提取到该表面中的离散的三角网格表示中。这可以使用公知的移动立方体(MarchingCubes)算法来完成,其穿过距离字段而进行,一次取八个相邻的体素,然后确定所需要的多边形以表示穿过这八个体素的等值面的部分。
然后将以这种方式获得的参考对象的三维重建3DRi与将与它进行比较的参考模型RM对齐(配准),以便验证对内在参数的估计。在图3中由方框“CMP”共同地呈现了适当的配准和比较。
用于3D模型配准的经典方法基于对减少的点的子集的强描述,引起属于不同的点云的点之间的稳健的对应关系。将这种的方案的流水线划分为三个阶段:
第一阶段在于确定将要描述的点的子集。这些点必须代表点云的最显著的几何形状,例如,拐角或者边。因此,它们被称为“关键点”或者“兴趣点”。
第二阶段在于描述那些点。描述常常基于它们的邻域。为了匹配代表相同几何形状的点并且区分不同几何形状的那些点,描述必须是充分地详细的。
最后(第三阶段),将具有相似的描述的点匹配在一起。那些对应关系并不总是正确的,为了将外点(不好的对应关系)从内点(inlier)(好的对应关系)中区分出来,常常使用诸如RANSAC(随机抽样一致)之类的统计学方法。根据内点算出点云之间的最终的严格转换。该方案可以从由M.A.Fischler等人撰写的论文“Randomsampleconsensus:aparadigmformodelfittingwithapplicationstoimageanalysisandautomatedcartography”Commun.(通信)ACM24(1981)381395中获知,通过引用将该论文并入。
用以解决该配准问题的替代方案也可以被应用于本发明。在由B.Drost等人撰写的论文“ModelGlobally,MatchLocally:EfficientandRobust3DObjectRecognition”,IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition(CVPR)(关于计算机视觉与模式识别的IEEE计算机学会会议),旧金山,加利福尼亚州(USA),2010年6月中描述了允许实时计算的方案,通过引用将该论文并入。该方案基于用于点对(pointpair)特征描述符计算的简单而且快速的方法。因此,许多点对将具有类似的描述,造成了大量的对应关系。因此,它们中的许多将是错误的。然后,执行投票方案来将内点从外点中识别出来。
一旦将重建的模型3DRi与参考模型RM配准,对模型之间的3D到3D距离进行计算以估计它们之间的误差ERRi。误差可以是例如均方距离或者(可能对称的)豪斯多夫距离。第一表面S1和第二表面S2之间的豪斯多夫距离dH(S1,S2)由下式给出:
其中,p是S1的点,并且
其中,p’是S2的点,并且||||2是欧几里得范数(Euclidiannorm)。
通常,dH(S1,S2)≠dH(S2,S1);于是,对称的豪斯多夫距离被定义为:
由N.Aspert等人撰写的论文“MeasurementerrorsbetweensurfacesusingtheHaussdorffdistance”,ICME2002(通过引用将该论文并入)描述了用于估计两个表面之间的近似豪斯多夫距离的有效算法。
然后,将误差ERRi与固定的门限TH进行比较。如果它低于该门限或者低于或等于该门限,则迭代停止,并且SCPi给出深度照相机的优化校准参数。否则,增加“i”(即,选择校准参数的不同试验值)并且执行新的迭代。如果已经使用了参数空间中的所有样本(即,“i”已经达到它的最大值),则选择对应于最小误差的参数的集合。替代地,可以忽略与门限的比较,并且在任何情况下都执行参数空间的完全探索。
可以容易理解的是,以该方式找到的校准参数对于3D重建来说是最佳的。
可以通过经适当地编程的通用计算机或者计算机系统(可能包括计算机网络)来执行创造性的方法(或者更准确地说,在获得深度图之后的其数据处理部分),所述通用计算机或者计算机系统(可能包括计算机网络)以非易失的形式将适当的程序存储在计算机可读介质(例如,硬盘、固态硬盘或者CD-ROM)上,并且使用其微处理器和存储器来执行所述程序。
参照图4描述了适用于执行根据本发明的示例性实施例的方法的计算机。在图4中,计算机包括中央处理单元(CPU)P,其执行上文所描述的过程。过程可以被存储为可执行程序,即,存储器(例如,RAMM1或者ROMM2)中的或者硬盘驱动器(HDD)M3、DVD/CD驱动器M4上的计算机可读指令的集合,或者可以被远程地存储。还可以将参考对象的至少一个数字模型存储在存储器设备M1至M4中的一个或多个存储器设备上、或者远程地存储。
所要求保护的发明不受在其上存储创造性的过程中的计算机可读指令和/或数字模型的计算机可读介质的形式的限制。例如,可以将指令、校准参数的试验集合以及数字模型存储在CD、DVD上、在FLASH存储器、RAM、ROM、PROM、EPROM、EEPROM、硬盘或者计算机辅助设计站与其通信的任何其它信息处理设备(例如,服务器或计算机)中。可以将程序、校准参数的试验集合以及数字模型存储在相同的存储器设备上或者不同的存储器设备上。
进一步,可以将适用于执行创造性的方法的计算机程序提供为结合CPU800和操作系统(例如,MicrosoftVISTA、MicrosoftWindows7、UNIX、Solaris、LINUX、AppleMAC-OS以及对于本领域技术人员来说已知的其它系统)来执行的实用的应用、后台守护进程或者操作系统的部件、或者其组合。
CPUP可以是来自美国的因特尔的Xenon(氙)处理器或者来自美国的AMD的Opteron(皓龙)处理器,或者可以是其它处理器类型,例如,来自美国的飞思卡尔公司的FreescaleColdFire(飞思卡尔冷火)、IMX或者ARM处理器。替代地,如本领域普通技术人员将认识到的,CPU可以是诸如来自美国的因特尔公司的Core2Duo(酷睿2)之类的处理器,或者可以在FPGA、ASIC、PLD上实现或者使用离散的逻辑电路来实现。进一步,CPU可以被实现为协作地工作以执行上文所描述的创造性的过程的计算机可读指令的多个处理器。
图4中的计算机辅助设计站还包括用于与网络(例如,局域网(LAN)、广域网(WAN)、互联网等)对接的网络接口NI(例如,来自美国的因特尔公司的因特尔以太网PRO网络接口卡)。计算机辅助设计站进一步包括用于与显示器DY(例如,惠普公司HPL2445wLCD监控器)对接的显示控制器DC(例如,来自美国的NVIDIA公司的NVIDIAGeForce(精视)GTX图形适配器)。通用I/O接口IF与键盘KB和定点设备PD(例如,滚珠(rollerball)、鼠标、触摸板等)对接。显示器、键盘和定点设备与显示控制器和I/O接口一起形成图形用户界面。
磁盘控制器DKC将HDDM3和DVD/CDM4与通信总线CBS连接,所述通信总线CBS可以是ISA、EISA、VESA、PCI或者类似物,以用于将计算机辅助设计站的所有部件互连起来。
为了简洁,本文省略了对显示器、键盘、定点设备以及显示控制器、磁盘控制器、网络接口和I/O接口的一般特征和功能的描述,这是因为这些特征是已知的。
Claims (11)
1.一种用于校准深度照相机的方法,包括以下步骤:
S1)使用将要被校准的深度照相机(DC)以用于获得物理三维参考对象(PO)的多个深度图(DMS),所述物理三维参考对象的多个深度图对应于所述深度照相机相对于所述参考对象的不同位置;
S2)取决于分配给所述深度照相机的内在校准参数的集合(SCPi)的值,根据所述深度图来计算所述参考对象的外表面的三维重建(3DRi);
S3)计算在步骤S2)处所计算的所述三维重建和所述参考对象的所述外表面的预定数字模型(RM)之间的误差(ERRi);
所述步骤S2)和所述步骤S3)是通过向所述深度照相机的所述内在校准参数的集合分配不同的值来迭代的;以及
S4)选择使在步骤S3)处所计算的所述误差最小化的所述内在校准参数的集合的值(SCP);
所述步骤S2)至S4)是由计算机来执行的。
2.根据权利要求1所述的方法,其中,所述步骤S2)和所述步骤S3)是通过向所述深度照相机的所述内在校准参数的集合分配相应的预定值来迭代预定的次数的,所述预定值对参数空间进行取样。
3.根据权利要求1所述的方法,其中,所述步骤S2)和所述步骤S3)被迭代,直到在步骤S3)处所计算的所述误差变得低于预定门限(TH)或者低于等于所述预定门限(TH)为止。
4.根据前述权利要求中的任何一项所述的方法,其中,所述内在校准参数的集合至少包括所述深度照相机的焦距和主点的两个坐标。
5.根据权利要求4所述的方法,其中,所述内在校准参数的集合还包括至少一个失真参数。
6.根据前述权利要求中的任何一项所述的方法,其中,所述步骤S2)包括:对应于所述深度图中的每个深度图,共同地确定所述深度照相机相对于参考位置的位置,以及将所述深度图融合到单个三维的有符号的并且经截短的距离字段中;以及将所述距离字段的等值面提取到构成所述参考对象的重建的三维网格中。
7.根据前述权利要求中的任何一项所述的方法,其中,所述步骤S3)包括:在计算所述误差之前,将在步骤S2)处所计算的所述三维重建和所述参考对象的所述预定数字模型进行配准。
8.根据前述权利要求中的任何一项所述的方法,其中,所述步骤S3)包括:计算在步骤S2)处所计算的所述三维重建和所述参考对象的所述预定数字模型之间的准确的或者近似的豪斯多夫距离或者对称的豪斯多夫距离。
9.一种计算机程序产品,存储在计算机可读数据存储介质(M1、M2、M3、M4)上,包括计算机可执行指令以使计算机系统执行根据前述权利要求中的任何一项的方法中的步骤S2)至步骤S4)。
10.一种计算机可读数据存储介质(M1、M2、M3、M4),其包括计算机可执行指令以使计算机系统执行根据权利要求1至8中的任何一项的方法中的步骤S2)至步骤S4)。
11.一种计算机系统,包括处理器(P),其耦合到存储器(M1、M2、M3、M4)和图形用户界面(IF、KB、PD、DC、DY),所述存储器存储计算机可执行指令以使所述计算机系统执行根据权利要求1至8中的任何一项的方法中的步骤S2)至步骤S4)。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP14307197.5A EP3040941B1 (en) | 2014-12-29 | 2014-12-29 | Method for calibrating a depth camera |
EP14307197.5 | 2014-12-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105741346A true CN105741346A (zh) | 2016-07-06 |
CN105741346B CN105741346B (zh) | 2021-05-04 |
Family
ID=52946220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201511000373.XA Active CN105741346B (zh) | 2014-12-29 | 2015-12-28 | 用于校准深度照相机的方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10070121B2 (zh) |
EP (1) | EP3040941B1 (zh) |
JP (1) | JP6807639B2 (zh) |
KR (1) | KR20160082931A (zh) |
CN (1) | CN105741346B (zh) |
CA (1) | CA2915214A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109003294A (zh) * | 2018-06-21 | 2018-12-14 | 航天科工仿真技术有限责任公司 | 一种虚实空间位置注册与精准匹配方法 |
CN109671115A (zh) * | 2017-10-16 | 2019-04-23 | 三星电子株式会社 | 使用深度值估计的图像处理方法和装置 |
CN109848073A (zh) * | 2019-02-22 | 2019-06-07 | 浙江大学滨海产业技术研究院 | 一种分拣煤与煤矸石的设备与方法 |
WO2019137347A1 (zh) * | 2018-01-09 | 2019-07-18 | 南京华捷艾米软件科技有限公司 | 体感摄像头的精度测量方法和体感摄像头的精度测量装置 |
CN112184827A (zh) * | 2019-07-01 | 2021-01-05 | 威达斯高级驾驶辅助设备有限公司 | 校准多个摄像机的方法及装置 |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9878447B2 (en) * | 2015-04-10 | 2018-01-30 | Microsoft Technology Licensing, Llc | Automated collection and labeling of object data |
US9609242B2 (en) * | 2015-06-25 | 2017-03-28 | Intel Corporation | Auto-correction of depth-sensing camera data for planar target surfaces |
CN108022264B (zh) * | 2016-11-01 | 2023-06-13 | 北京墨土科技有限公司 | 相机位姿确定方法及设备 |
FI127555B (en) * | 2017-04-05 | 2018-08-31 | Oy Mapvision Ltd | Computer vision systems that include coordinate correction |
US11568568B1 (en) * | 2017-10-31 | 2023-01-31 | Edge 3 Technologies | Calibration for multi-camera and multisensory systems |
FI129042B (en) * | 2017-12-15 | 2021-05-31 | Oy Mapvision Ltd | Computer vision system with a computer-generated virtual reference object |
WO2019175629A1 (en) * | 2018-03-14 | 2019-09-19 | Nokia Technologies Oy | Camera calibration and/or use of a calibrated camera |
KR102472156B1 (ko) * | 2018-04-19 | 2022-11-30 | 삼성전자주식회사 | 전자 장치 및 그 깊이 정보 생성 방법 |
CN108898630B (zh) * | 2018-06-27 | 2020-12-15 | 清华-伯克利深圳学院筹备办公室 | 一种三维重建方法、装置、设备和存储介质 |
CN110291771B (zh) * | 2018-07-23 | 2021-11-16 | 深圳市大疆创新科技有限公司 | 一种目标对象的深度信息获取方法及可移动平台 |
US10951809B2 (en) * | 2018-10-09 | 2021-03-16 | The Boeing Company | Adaptive camera control and calibration for dynamic focus |
US10628968B1 (en) | 2018-12-05 | 2020-04-21 | Toyota Research Institute, Inc. | Systems and methods of calibrating a depth-IR image offset |
US11436756B2 (en) * | 2018-12-20 | 2022-09-06 | Microsoft Technology Licensing, Llc | Calibrating a machine vision camera |
CN111862139B (zh) * | 2019-08-16 | 2023-08-18 | 中山大学 | 一种基于彩色-深度相机的动态物体参数化建模方法 |
CN112907455B (zh) * | 2019-12-04 | 2024-06-21 | 财团法人成大研究发展基金会 | 几何相机校正系统及方法 |
KR20220164771A (ko) * | 2020-04-07 | 2022-12-13 | 쓰리세이프 에이/에스 | 스캐닝 시스템 및 그것의 교정 |
CN112422848B (zh) * | 2020-11-17 | 2024-03-29 | 深圳市歌华智能科技有限公司 | 一种基于深度图和彩色图的视频拼接方法 |
CN112381952B (zh) * | 2020-11-25 | 2024-03-15 | 华南理工大学 | 一种基于多相机的面部轮廓点云模型重构方法及装置 |
KR102533909B1 (ko) * | 2020-12-15 | 2023-05-26 | 광운대학교 산학협력단 | 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법 |
CN112509064B (zh) * | 2020-12-22 | 2024-06-04 | 阿波罗智联(北京)科技有限公司 | 显示摄像机标定进度的方法、装置、设备和存储介质 |
GB2605621A (en) | 2021-04-07 | 2022-10-12 | Robok Ltd | Monocular depth estimation |
CN113112551B (zh) * | 2021-04-21 | 2023-12-19 | 阿波罗智联(北京)科技有限公司 | 相机参数的确定方法、装置、路侧设备和云控平台 |
CN116091610B (zh) * | 2021-11-08 | 2023-11-10 | 南京理工大学 | 一种基于三维塔式棋盘格的雷达与相机的联合标定方法 |
CN117437290B (zh) * | 2023-12-20 | 2024-02-23 | 深圳市森歌数据技术有限公司 | 一种多传感器融合的自然保护区无人机三维空间定位方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09179901A (ja) * | 1995-12-11 | 1997-07-11 | Xerox Corp | ビットマップイメージ処理方法及び自動インデックス付けシステム |
JP2004340753A (ja) * | 2003-05-15 | 2004-12-02 | Topcon Corp | キャリブレーションチャート画像表示装置 |
JP2010014443A (ja) * | 2008-07-01 | 2010-01-21 | Topcon Corp | 位置測定方法、位置測定装置、およびプログラム |
CN102572505A (zh) * | 2010-11-03 | 2012-07-11 | 微软公司 | 家中深度相机校准 |
CN102622762A (zh) * | 2011-01-31 | 2012-08-01 | 微软公司 | 使用深度图的实时相机跟踪 |
JP2014063475A (ja) * | 2012-08-28 | 2014-04-10 | Canon Inc | 情報処理装置、情報処理方法、及びコンピュータプログラム |
US20140168367A1 (en) * | 2012-12-13 | 2014-06-19 | Hewlett-Packard Development Company, L.P. | Calibrating visual sensors using homography operators |
JP2014120068A (ja) * | 2012-12-18 | 2014-06-30 | Canon Inc | 情報処理装置および情報処理方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6868191B2 (en) * | 2000-06-28 | 2005-03-15 | Telefonaktiebolaget Lm Ericsson (Publ) | System and method for median fusion of depth maps |
US8126253B2 (en) * | 2005-11-12 | 2012-02-28 | Cognex Technology And Investment Corporation | Automatically determining machine vision tool parameters |
CN101563709B (zh) * | 2006-12-18 | 2013-07-31 | 皇家飞利浦电子股份有限公司 | 校准照相机系统 |
US8248476B2 (en) * | 2008-09-03 | 2012-08-21 | University Of South Carolina | Robust stereo calibration system and method for accurate digital image correlation measurements |
US8711206B2 (en) * | 2011-01-31 | 2014-04-29 | Microsoft Corporation | Mobile camera localization using depth maps |
KR101913321B1 (ko) * | 2012-05-10 | 2018-10-30 | 삼성전자주식회사 | 깊이 센서 기반 반사 객체의 형상 취득 방법 및 장치 |
EP2852932A1 (en) * | 2012-05-22 | 2015-04-01 | Telefónica, S.A. | A method and a system for generating a realistic 3d reconstruction model for an object or being |
EP2685403A3 (en) * | 2012-07-09 | 2017-03-01 | Technion Research & Development Foundation Limited | Natural machine interface system |
US9552668B2 (en) * | 2012-12-12 | 2017-01-24 | Microsoft Technology Licensing, Llc | Generation of a three-dimensional representation of a user |
US20140307055A1 (en) * | 2013-04-15 | 2014-10-16 | Microsoft Corporation | Intensity-modulated light pattern for active stereo |
CN103400409B (zh) * | 2013-08-27 | 2016-08-10 | 华中师范大学 | 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法 |
US9864758B2 (en) * | 2013-12-12 | 2018-01-09 | Nant Holdings Ip, Llc | Image recognition verification |
US9641830B2 (en) * | 2014-04-08 | 2017-05-02 | Lucasfilm Entertainment Company Ltd. | Automated camera calibration methods and systems |
-
2014
- 2014-12-29 EP EP14307197.5A patent/EP3040941B1/en active Active
-
2015
- 2015-12-15 CA CA2915214A patent/CA2915214A1/en not_active Abandoned
- 2015-12-25 JP JP2015254978A patent/JP6807639B2/ja active Active
- 2015-12-28 CN CN201511000373.XA patent/CN105741346B/zh active Active
- 2015-12-28 KR KR1020150187819A patent/KR20160082931A/ko unknown
- 2015-12-29 US US14/982,591 patent/US10070121B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09179901A (ja) * | 1995-12-11 | 1997-07-11 | Xerox Corp | ビットマップイメージ処理方法及び自動インデックス付けシステム |
JP2004340753A (ja) * | 2003-05-15 | 2004-12-02 | Topcon Corp | キャリブレーションチャート画像表示装置 |
JP2010014443A (ja) * | 2008-07-01 | 2010-01-21 | Topcon Corp | 位置測定方法、位置測定装置、およびプログラム |
CN102572505A (zh) * | 2010-11-03 | 2012-07-11 | 微软公司 | 家中深度相机校准 |
CN102622762A (zh) * | 2011-01-31 | 2012-08-01 | 微软公司 | 使用深度图的实时相机跟踪 |
JP2014063475A (ja) * | 2012-08-28 | 2014-04-10 | Canon Inc | 情報処理装置、情報処理方法、及びコンピュータプログラム |
US20140168367A1 (en) * | 2012-12-13 | 2014-06-19 | Hewlett-Packard Development Company, L.P. | Calibrating visual sensors using homography operators |
JP2014120068A (ja) * | 2012-12-18 | 2014-06-30 | Canon Inc | 情報処理装置および情報処理方法 |
Non-Patent Citations (3)
Title |
---|
POPO GUI 等: "accurately calibrate Kinect sensor using indoor control field", 《2014 THIRD INTERNATIONAL WORKSHOP ON EARTH OBSERVATION AND REMOTE SENSING APPLICATIONS (EORSA)》 * |
YAMAUCHI K 等: "3D reconstruction of a human body from multiple viewpoints", 《PACIFIC-RIM SYMPOSIUM ON IMAGE AND VIDEO TECHNOLOGY. SPRINGER, BERLIN, HEIDELBERG》 * |
于之靖 等: "基于构建初始测量网络的相机内部参数校准", 《光学学报》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109671115A (zh) * | 2017-10-16 | 2019-04-23 | 三星电子株式会社 | 使用深度值估计的图像处理方法和装置 |
CN109671115B (zh) * | 2017-10-16 | 2023-07-14 | 三星电子株式会社 | 使用深度值估计的图像处理方法和装置 |
WO2019137347A1 (zh) * | 2018-01-09 | 2019-07-18 | 南京华捷艾米软件科技有限公司 | 体感摄像头的精度测量方法和体感摄像头的精度测量装置 |
CN109003294A (zh) * | 2018-06-21 | 2018-12-14 | 航天科工仿真技术有限责任公司 | 一种虚实空间位置注册与精准匹配方法 |
CN109848073A (zh) * | 2019-02-22 | 2019-06-07 | 浙江大学滨海产业技术研究院 | 一种分拣煤与煤矸石的设备与方法 |
CN112184827A (zh) * | 2019-07-01 | 2021-01-05 | 威达斯高级驾驶辅助设备有限公司 | 校准多个摄像机的方法及装置 |
CN112184827B (zh) * | 2019-07-01 | 2024-06-04 | Nc&有限公司 | 校准多个摄像机的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3040941B1 (en) | 2017-08-02 |
US10070121B2 (en) | 2018-09-04 |
JP6807639B2 (ja) | 2021-01-06 |
CA2915214A1 (en) | 2016-06-29 |
US20160189358A1 (en) | 2016-06-30 |
EP3040941A1 (en) | 2016-07-06 |
KR20160082931A (ko) | 2016-07-11 |
JP2016128810A (ja) | 2016-07-14 |
CN105741346B (zh) | 2021-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105741346A (zh) | 用于校准深度照相机的方法 | |
CN111815757B (zh) | 基于图像序列的大型构件三维重建方法 | |
EP3182371B1 (en) | Threshold determination in for example a type ransac algorithm | |
US20190026943A1 (en) | Dense visual slam with probabilistic surfel map | |
KR20210042942A (ko) | 비디오 데이터를 이용한 객체 인스턴스 매핑 | |
EP2874118B1 (en) | Computing camera parameters | |
CN103106688B (zh) | 基于双层配准方法的室内三维场景重建方法 | |
US8711143B2 (en) | System and method for interactive image-based modeling of curved surfaces using single-view and multi-view feature curves | |
US20100054579A1 (en) | Three-dimensional surface generation method | |
CN109754459B (zh) | 一种用于构建人体三维模型的方法及系统 | |
Danckaers et al. | Correspondence preserving elastic surface registration with shape model prior | |
Nurutdinova et al. | Towards pointless structure from motion: 3d reconstruction and camera parameters from general 3d curves | |
JP2001283229A (ja) | 3次元空間内の物体の位置及び向きを計算する方法 | |
US9147279B1 (en) | Systems and methods for merging textures | |
EP1360647A2 (en) | Depth map creation through hypothesis blending in a bayesian framework | |
CN108648194A (zh) | 基于cad模型三维目标识别分割和位姿测量方法及装置 | |
CN114332125A (zh) | 点云重建方法、装置、电子设备和存储介质 | |
Hausler et al. | Reg-NF: Efficient registration of implicit surfaces within neural fields | |
Tyle_ek et al. | Refinement of surface mesh for accurate multi-view reconstruction | |
Yookwan et al. | Multimodal fusion of deeply inferred point clouds for 3D scene reconstruction using cross-entropy ICP | |
Bajramovic et al. | Global Uncertainty-based Selection of Relative Poses for Multi Camera Calibration. | |
Tylecek et al. | Depth map fusion with camera position refinement | |
Mkhitaryan et al. | RGB-D sensor data correction and enhancement by introduction of an additional RGB view | |
Chow et al. | A solution to illumination direction estimation of a shaded image: Genetic algorithm | |
Resch et al. | Semi-automatic calibration of a projector-camera system using arbitrary objects with known geometry |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |