CN110622216B - 用于标定光学测量结构的方法 - Google Patents
用于标定光学测量结构的方法 Download PDFInfo
- Publication number
- CN110622216B CN110622216B CN201880031676.3A CN201880031676A CN110622216B CN 110622216 B CN110622216 B CN 110622216B CN 201880031676 A CN201880031676 A CN 201880031676A CN 110622216 B CN110622216 B CN 110622216B
- Authority
- CN
- China
- Prior art keywords
- correlation
- camera
- corrected
- steps
- mapping function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P5/00—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft
- G01P5/18—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft by measuring the time taken to traverse a fixed distance
- G01P5/20—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft by measuring the time taken to traverse a fixed distance using particles entrained by a fluid stream
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种用于标定光学测量结构的方法,该光学测量结构具有播撒有粒子的测量体积(V)并且具有至少两个相机(K1、K2、K3),借助相机能在不同的观察角度下分别利用由预标定已知的映射函数将测量体积(V)成像,该方法包括步骤:a)借助相机(K1、K2、K3)将测量体积(V)同时成像,用以针对每个相机(K1、K2、K3)分别产生相机图像(I1、I2、I3)。本发明的特征在于具有另外的步骤:b)参照测量体积(V)中的共同的参考平面在使用分别配属的预标定的映射函数的情况下对每个相机图像(I1、I2、I3)进行校正,c)针对至少一对经校正的相机图像(Ir1、Ir2、Ir3)执行二维相关,用以产生相应数量的相关场(C12),其中,每个相关场(C12)显示长条状成形的相关最大值带,d)针对每个相关场(C12):d1)将相关最大值带减小到代表该相关最大值带的直线(g12),d2)获知该代表性的直线(g12)与相关场(C12)的坐标原点的间距(d12)来作为修正值,e)利用所获知的修正值来修正其经校正的相机图像(Ir1、Ir2、Ir3)已在步骤c中被引入相关中的那些相机(K1、K2、K3)的映射函数。
Description
技术领域
本发明涉及一种用于标定光学测量结构的方法,该测量结构具有播撒有粒子的测量体积并且具有至少两个相机,借助相机能在不同的观察角度下分别利用由预标定已知的映射函数将测量体积成像,该方法包括步骤:
a)借助相机将测量体积同时成像,用以针对每个相机分别产生相机图像。
背景技术
这种标定方法由EP 1 926 049 B1公知。
为了测量流动所公知的是,给流动的流体播撒以能光学探测到的粒子并且借助相机进行观察。被流体穿流的测量体积在此被多个相机在不同的观察角度下观察。为了能够对流动的细节做出精确的结论,需要的是,能够准确地确定在测量体积中的被视作代表流动的粒子的定位。为此使用上述的立体观测的方案,在该立体观测的方案中,能借助从不同的角度同时拍摄的相机图像计算出测量体积中的微粒定位。对此重要的是,精确地了解每个相机的所谓的映射函数,也就是说,使在测量体积中的三维的定位与在相机图像中的相应的二维的定位建立联系的那个函数。该映射函数M可以按通用形式写为:
其中,通过指数i辨别具体的相机,x、y表示在所属的相机图像中的二维的坐标,并且X、Y、Z表示在测量体积内的空间坐标(也被称为“世界”坐标)。
对这些映射函数的确定被称为标定。
由上述的形成类属的文献公知有一种两级的标定方法。首先,执行预标定,该预标定典型地借助所谓的标定板完成。为此,将设有已知的标识部的结构引入到测量体积中并且借助相机来成像。通过将相机图像与已知的结构相比较,可以计算相应的映射函数。但该预标定较为粗略并且为了适合特定的精度测量还需要修正,也就是说,还需要将映射函数M改成经修正的映射函数M'。还发生以下情况,即,在预标定和本来的测量之间的时间内,光学的结构例如由于机械的不稳定性而发生改变,或者即使连续地在测量期间也例如由于振动而出现了映射方程中的改变。
为了修正经预标定的映射函数,所述文献建议使用公知的三角测量法。首先,需要使所选中的粒子在所有的相机图像中成像。然后,通过反演映射函数确定颗粒在测量体积中可能会所处的照准线,以便成像到相机图像中的实际的成像部位上(这是因为在二维的相机图像与三维的测量体积之间存在维度差,所以无法通过反演映射函数实现明确的点配属)。这是在假设映射函数是正确的情况下进行的。在实际上正确地确定映射函数的情况下,所有相机的照准线将在测量体积的某个点中相遇,即在粒子的实际的定位中相遇,但在粗略的预标定后通常就不是这样的情况。所述文献因此建议,将在测量体积中距所有计算出的照准线最小间距的那个点假设为是粒子的“真实的”定位,并且将该粒子与照准线的间距考虑用于对各自的映射函数进行修正。这方面在此被称为体积自标定,这是因为实现了用由测量本身获得的参数来对标定进行修正。对该自标定的单次或多次实行将得到正确的映射函数。
在该公知的方法中不利的是,必须明确地鉴别出测量体积中的粒子在所有的相机图像中的成像并且进行互相配属。这种在微粒密度较低的情况下是成功的方案却在微粒密度较高的情况下则不再可用,主要因为所谓的幽灵微粒的数量,也就是说,实际上不存在的微粒在相机图像中的可见成像随着微粒密度提升而远远超比例地上升。
由图像处理技术通常公知有对相机图像的所谓的去失真(去扭曲),去失真也称为校正。该术语在当前也应当被使用。相机图像的校正始终参照在所观察的体积中的、也就是说当前在测量体积中的真实的或假想的平面进行。倘若相机的光轴并不准确地与参考平面的中央法线重合,那么在成像时就出现了与具体的观察角度有关的几何上的失真。还有由相机镜头引起的光学上的失真,但光学上的失真在足够好的光学系统和足够小的测量体积的情况下能很大程度上被忽略掉。在配属的映射函数中考虑到了在成像时出现的失真。对相机图像的换算称为校正,该换算如下这样地改变所拍摄到的相机图像,即,使其相应于当相机在拍摄图像时与参考平面处于其上述的理想取向时产生的那个(虚拟的)图像,然而其中,这仅适用于实际上处在参考平面内的那些粒子的成像。对于处在参考平面“前”或“后”的粒子来说,由于视差,使得校正并不一定导致相机的经校正的成像定位相应于在相机的理想取向的情况下实际的成像时的那个图像定位。在本文中重要的是本领域技术人员所公知的相互关系,按照该相互关系,一方面校正始终参考具体选择的参考平面来进行,另一方面将映射函数并入到校正中。
作为针对校正的示例,在此给出了针对Z=0平面和针对相机1的计算。在去失真后的图像中的部位(X,Y,Z=0)上的每个点(或像素)的强度,在此通过在最初的相机图像中的空间上对应的强度来给定:
Ir1(X,Y)=I1(x1,y1)=I1(M1x(X,Y,Z=0),M1y(X,Y,Z=0))
应注意,坐标X和Y是同一“世界”坐标X和Y,它们也用于确定在测量体积内的空间上的定位(X,Y,Z)。因此,校正是从相机图像坐标x,y到“世界”坐标X,Y的转变。
此外,由EP 1 460 433 B1公知有对在相机图像之间的二维相关的计算。在所述文献中公开的方法(该方法仅能用于形式为薄片的由所谓的光切割来限定的测量体积,而在三维上延展的测量体积中无效)将由从不同的观察角度拍摄的相机图像以询问场的方式来彼此相关,这在每个询问场中得到一个相关峰值。其与相关询问场的坐标原点的间距被考虑用作是针对修正片状的测量体积的在由询问场代表的区域中的映射函数的衡量尺度。
发明内容
因此,本发明的任务是:提出一种对于按类属的自标定方法替选的方法,该方法尤其适用于在三维上延展的测量体积中的较高的微粒密度。
该任务通过如下用于标定光学测量结构的方法来解决:
光学测量结构具有播撒有粒子的测量体积并且具有至少两个相机,借助所述至少两个相机能在不同的观察角度下分别利用由预标定已知的映射函数将测量体积成像,该方法包括如下步骤:
a)借助相机将测量体积同时成像,用以针对每个相机分别产生相机图像,
根据本发明,该方法还具有如下另外的步骤:
b)参照在测量体积中的共同的参考平面在使用分别配属的预标定的映射函数的情况下对每个相机图像进行校正,
c)针对至少一对经校正的相机图像执行二维相关,用以产生相应数量的相关场,其中,每个相关场显示长条状成形的相关最大值带,
d)针对每个相关场:
d1)将相关最大值带降低到代表该相关最大值带的直线,
d2)获知该代表性的直线与相关场的坐标原点的间距来作为修正值,
e)利用所获知的修正值来修正其经校正的相机图像在步骤c中被引入相关中的那些相机的映射函数。
优选的实施方式将在下文中进一步描述。
因此,首先为所有的相机选出共同的参考平面。该参考平面合理地处于测量体积的中央。不过,该参考平面的具体的选择对于本发明的基本功能原理来说并不重要。有利的是,为其限定Z=0。然后,参照该共同的参考平面校正每个所拍摄到的相机图像,这方面对于本领域技术人员原则上是已公知的。如本文开头所述,将当前的映射函数纳入校正中,从而使经校正的图像隐含了关于有待借助根据本发明的方法检验的或修正的映射函数的信息,而不会如在根据EP 1 926 049B1的现有技术中那样需要鉴别彼此配属的粒子成像和紧接着进行的明确的三角测量。因此,由相机图像Ii得到了经校正的相机图像Iri。
然后,在各两个经校正的相机图像之间执行二维相关,这方面对于本领域技术人员同样原则上是已公知的。相关在此通常被理解为相似性算子或其应用。在此,特别有利地使用通用形式的标准互相关:
Cij(dx,dy)=∑x,yIri(X,Y)Irj(X+dx,Y+dy),
在此简称为“互相关”。本领域技术人员已知了类似的函数,如LSM(最小二乘匹配)或ZNSSD(零均值归一化方差和),它们除其他之外同样能在本发明的上下文中作为相似性算子使用。术语相关最大值相应地被理解为是彼此相关的图像(在相关场中的点)的相对位移,与相邻的相对位移相比,其导致了彼此相关的图像极强的一致性。在使用根据上述公式的互相关时,这实际上也与在(互)相关场中的(局部的)数学最大值关联;在使用基于最小化算法的相似性算子的情况下产生了相关场中在数学上相应的(局部)最小值。诸如除去背景强度的合适的图像预处理步骤对于本领域技术人员是公知的,它们改善了相关的质量。
相关可以统一地在整个经校正的相机图像上执行或如优选设置的那样在各个彼此配属的询问场(对此将在后面被更多解释)上执行。每个所执行的相关提供了一个相关场Cij,该相关场具有多个可能重叠的相关峰值。这些相关峰值通过在第一图像中的微粒图像与在第二图像中的微粒图像的相关而出现。在此,两个微粒图像属于体积中的同一个微粒(正确的配属)或来自两个不同的微粒(幽灵粒子或幽灵相关)。倘若这些相关峰值来自幽灵粒子,那么它们在很大程度上将随机地分布在相关场上。而那些源自真实粒子的相关峰值则以长条状成形的窄带延伸经过相关场。带的相对于相关场的坐标系的延伸角度在此基本上由被引入相关中的相机的几何上的相对布置来引起,并且可以从映射函数计算出。带的最大的长度由测量体积的深度或在测量体积中的相机的照准线的长度来确定。通常,该长度还受到相关场的大小的限制。以64×64像素的相关场尺寸(dx,dy<±32个像素)为例,相关带仅示出了在围绕参考平面的小的(Z)范围中的微粒相关。这如之后示出的那样能够实现针对测量体积中的多个平面的映射方程进行选择性的不同的修正。带的宽度基本上由微粒图像的尺寸乘以√2得出。而距相关场的坐标原点(dx=0,dy=0)的间距则由在校正时所使用的映射函数中的不准确性引起。这些相互关系构成了发明人的基本认知,在实践中的标定方法对其付诸实施是本发明的核心。
根据本发明,通过如下方式充分使用所认识到的相互关系,即,将所述的相关最大值带减小到代表性的直线。
然后,获知所获知到的代表性的直线距相关场Cij的坐标原点的间距dij。按照“间距”的普遍定义:测量在代表性的直线与坐标原点之间的距离。
将进行直线确定并对该直线与坐标原点的间距进行确定的功能上的步骤组合成唯一的实践中的计算步骤的简单的措施在于,针对所有从原点垂直地到(已知)直线方向的间距d执行沿直线方向的相关强度的相加。直线的间距dij于是相应于具有相加的强度的最大值的间距。其它图像处理措施以及常用的误差平方最小化方法在专业技术领域中是已公知的。在用于流动测量的典型的微粒密度下,被证实够用的是将相关场的所有相关值引入直线计算中。但也可以想到的是,通过施加强度阈值和/或通过不考虑定位在相关场的边缘区域中的相关峰值地进行预筛选。但因为根据本发明的方法表现出令人惊喜的强大,所以在大多数情况下不需要这种预筛选。
典型地,经校正的相机图像的坐标轴X、Y被划分成尺寸“像素”的定位单位,其能用随比例缩放转化成如mm这样的长度单位。相关场的坐标轴dx,dy因此典型地被划分成尺寸“像素”的位移单位。在这个上下文中,也产生了在尺寸“像素”中的在代表性的直线与坐标原点之间的间距值。优选地,间距被矢量地获知,也就是说,作为从坐标原点出发的矢量dij被获知,该矢量的方向由其相对于代表性的直线的上述的垂直的位置来预定,并且其长度由上述的间距值来预定。由此可以分开地确定平行于坐标轴的间距分量dij_x和dij_y。
所获知的间距然后用作用于映射函数的修正值,更确切地说分别用于其经校正的相机图像Iri和Irj被引入得到所说的修正值dij的相关Cij中的那些相机i和j的映射函数。映射函数的基于所获知的修正值的具体的修正措施可以不同地取消。在这方面,将映射方程进行简单的平移被证实是有利的修正规则,在其中,经修正的映射方程Mc通过
M′i(X,Y,Z)=Mi(X-ΔXi,Y-ΔYi,Z-ΔZi)
针对每个相机i来给定。在此,所获知的间距dij与有待确定的平移量(ΔXi,ΔYi,ΔZi)处于公知的函数相互关系中。
针对具有唯一的计算出的间距d12的两个相机的情形,通过ΔX1=d12_x/2、ΔY1=d12_y/2、ΔX2=-d12_x/2、ΔY2=-d12_y/2、ΔZ1=ΔZ2=0得到了一个简单的解。针对具有三个所测得的间距d12、d13和d23的三个相机的情形,可以例如将相机1采纳为具有ΔX1=ΔY1=ΔY1=0的参考相机并且通过如下方式计算其余的六个未知数(ΔX2、ΔY2、ΔZ2、ΔX3、ΔY3、ΔZ3),即,加入ΣΔXi=ΣΔYi=ΣΔZi=0作为辅助条件。这是有利的,以便最小化可能的坐标转换,这是因为每个对所有相机是相同的、相应于坐标原点的平移的位移量(ΔX,ΔY,ΔZ)是自由的参数,其至少在不是过大的位移的情况下并不改变相关场和所测得的间距dij。对多于三个的相机来说,本领域技术人员公知有若干有利的解决方案。
因此,本发明在具有高像素分辨率的许多相机的情况下提供了虽然计算量大但易于执行的并且极为强大的自标定方法,该自标定方法考虑到了在真正的测量体积中的高微粒密度的特殊性,测量体积沿全部三个空间方向的大致以相同的数量级延展。
如由上述阐释得知,针对每个相关场恰好得出一个修正值dij=(dij_x,dij_y)。在对各完整的、经校正的相机图像进行彼此相关的情况下,因此得出了唯一的全局的修正值。但在很多情况下如果测量体积的不同的区域略微不同地成像时,则需要多次地对映射函数进行局部不同的修正。因此,在改进根据本发明的方法时设置的是,在步骤c之前将经修正的相机图像划分成多个一样大的并且一样定位的询问场,让步骤c和d在这些询问场上执行,并且映射函数在步骤e中在测量体积的能配属于不同的询问场的不同的空间区域内用分别配属的不同的修正值进行修正。因此,取代针对每一对经校正的相机图像的唯一的全局的修正值地,获得了相应于询问场的数量的多个修正值,并且可以用询问场的空间的分辨率来局部地不同地修正映射函数。本领域技术人员在个别情况下一方面要权衡提高的计算请求,另一方面则要权衡所合成的映射函数的更高的精度。
本领域技术人员认识到,之前所阐释的将经校正的相机图像划分成询问场仅导致了在所选择的参考平面之内的映射函数修正的多样化。然而,在实践中可以想到的并且常用的是映射函数的偏差,它们对在测量体积的不同的参考面而言是不同的。为了也能就此达到对映射函数修正的区分,在本发明的改进方案中设置的是,方法至少在步骤b至e中被多次执行,其中,相机图像在步骤b的每一次运行中参照另一个共同的参考平面进行校正,以及其中,映射函数在步骤e中分别只在测量体积的能配属于各自的参考平面的空间区域内用分别所获知的修正值进行修正。换句话说,测量体积通过选择不同的参考平面而被分层地划分,其中,对映射函数的修正也相应地分层地进行。因此,结合本发明的之前所阐释的询问场变型方案地,将测量体积沿全部三个空间方向划分为子体积,并且进行对映射函数的相应地沿全部三个空间方向多样化的修正。
该方法的另一有利实施方案在于,相关场不仅用在唯一的时间点上拍摄到的图像进行计算,而且还计算多个时间点的相应的相关场并且相互相加,以便通过更多的微粒到达更好的统计。当经校正的图像还被划分成多个分区时,这尤其适用。因此在本发明的改进方案中设置的是,根据本发明的方法在步骤a至c中被在多个时间点被多次执行,将分别相应的相关场相加,并且然后执行步骤d和e。
当涉及到三个摄像机的一种传统的立体测量结构时,也就是说,当所有三个摄像机的光轴都位于同一平面时,例如当所有摄像机都沿着一条线设安置时,根据本发明的方法达到了原理上的极限。这种配置经常被称为“内联(inline)”配置。
在这种照相机配置的情况下,相关场中的代表性的直线相对于其坐标轴具有相同的角位置,从而尽管改进了映射函数,但是不能期望对映射函数的优化,也就是说,不再能明确地解出上述方程组。尤其地、但不仅仅为了使该配置有效地,可以将根据本发明的方法进行扩展。于是涉及如上文中所述的方法,其中,光学测量结构具有第一相机、第二相机和第三相机,其中仅第一和第二相机的经校正的相机图像被引入步骤c至e中的对相机1和2的映射方程的相关和修正中,其特征在于具有下列另外的步骤:
f)参照多个共同的平行的参考平面,
-在使用分别配属的、在步骤e中经修正的映射函数的情况下对第一和第二相机的相机图像进行校正,并且
-在使用配属的、预标定的映射函数的情况下对第三相机的相机图像进行校正,
g)针对每个参考平面,执行在第一和第二相机的经校正的相机图像的乘积与第三相机的经校正的相机图像之间的二维相关,并且将所合成的相关场相加来产生总相关场,
h)确定在总相关场中的相关最大值与总相关场的坐标原点的间距来作为附加的修正值,
i)用所获知的附加的修正值来修正第三相机的映射函数。
换句话说,如迄今所述,根据本发明的方法,首先用于仅两个相机的相机图像。在另外的步骤中,将这两个相机的相机图像用经修正的映射函数进行校正。而第三相机的相机图像则用配属的最初的并且尚未修正的映射函数进行校正。在此,该校正分别针对多个平行的参考平面进行,其中,修正越是精确(不过计算量也越大),所选择的参考平面在测量体积中分布得就越窄。然后,针对每个参考平面执行二维相关、优选是互相关,但不是如迄今所述那样直接在经校正的相机图像之间执行。相反,这两个相关项中的第一项是由第一和第二相机的经校正的相机图像得出的算数乘积,而第二相关项则相应于第三相机的经校正的相机图像。因此,针对每个参考平面得出了如下相关场,该相关场代表了在所述的第一和第二经校正的相机图像的乘积与第三经校正的相机图像之间的相关。将这些相关场相加。因此,得出了总相关场,该总相关场在使用互相关作为相似性算子的情况下通常可以按如下通用形式写成:
C123(dx,dy)=∑z∑x,y{(Ir1,z(X,Y)Ir2,z(X,Y))Ir3,z(X+dx,Y+dy)},
其中,Iri,z指的是参照各自的参考平面Z校正的相机图像。为简单起见,在此又调用在Z平面内的参考平面,并且通常例如用与例如一个像素(或体像素)的间距发生了在Z上的相加。
总相关场具有唯一的能明确确定的相关峰值。然后,将该相关峰值与和相关场的坐标原点的间距(dx,dy)确定为附加的修正值。该附加的修正值用于修正尚未被修正的映射函数,也就是说,第三相机的映射函数。两个已经被预修正的映射函数,也就是说,第一和第二相机的映射函数,也可以基于附加的修正值经历附加的修正。相应的有利的修正方法又是本领域技术人员所公知的。
当然,已扩展的方法也可以通过基于询问场的映射函数修正的二维的多样化得到进一步的改进。因此在已扩展的方法的改进方案中设置的是,经校正的相机图像在步骤g之前分别被划分成多个一样大的和一样定位的询问场,步骤g和h在这些询问场上执行,并且映射函数在步骤i中在测量体积的配属于不同的询问场的不同的空间区域内用分别配属的不同的修正值进行修正。这些计算同样可以在不同的(平行的)参考平面上进行,以便针对在测量体积中的不同的平面执行对映射函数的不同的修正。
关于该措施的作用和优点,可以参考在没有扩展的根据本发明的方法的上下文中的上述阐释。
附图说明
本发明的另外的特征和优点由下列具有的说明和附图得出。在附图中:
图1:示出针对按本发明的方法、同时是方法的步骤a的典型的应用状况的示意图;并且
图2:示出根据本发明的方法的紧随图1的步骤a之后的步骤b、c、d1和d2的示意图。
附图中的相同的附图标记标注相同的或相似的元素。
具体实施方式
图1在极为示意化的图中示出了典型的测量状况,其中能应用根据本发明的标定。
测量体积V处在结构的中央,该测量体积在流动测量的典型的应用情形中播撒有粒子的流体穿流。如下这样来选择粒子,即,使得这些粒子能被光学地探测到。在此,粒子可以例如是散射的或发荧光的粒子。分别所需的照明细节和/或探测细节是本领域技术人员已知的并且可以分别被适当地使用。这些细节对本发明无足轻重。运动流动对根据本发明的标定方法而言同样也不是那么必需。
在测量体积V中的每个点均能根据空间坐标X,Y,Z被鉴别。这尤其适用于对粒子的定位。在图1中灰色背景的是在所示的实施例中任意处于Z=0的参考平面。
测量体积V在所示的实施方式中被三个相机K1、K2、K3在不同的观察角度下观察。选择正好三个相机在此纯粹是示例性的。根据本发明的方法能用多个相机中的每个来执行。
在根据本发明的方法的步骤a中,全部三个相机K1、K2、K3同时拍摄了测量体积的相机图像。这导致了图1中示意性示出的相机图像I1、I2和I3。相机图像I1、I2和I3表现出一定程度的失真,该失真一部分由纯光学的特性、但主要由它们相对测量体积的几何的相对定位引起。在图1中夸张地示出了这一情况。在所示的例子中,相机K1正好垂直于XY平面定位,并且对准测量体积V的中心。在此,该相机轻微围绕其自身的光轴发生扭转。因此,所属的相机图像I1仅表现出略微的透视旋转的失真。而与XY平面成明显的角度取向的相机K2和K3则附加地相应地提供了透视几何失真的相机图像I2、I3。
图2示出了根据本发明的方法的另外的步骤,这些另外的步骤被基于计算地并且全自动地执行。根据本发明的方法的该阶段典型地在软件中实现。
起始点是相机图像I1、I2和I3。在根据本发明的方法的步骤b中,对相机图像I1、I2和I3进行校正。校正得到了经校正的相机图像Ir1、Ir2和Ir3。该校正分别参照限定的平面进行。有利地,在根据本发明的方法的范畴内为此使用前述的参考平面Z=0。如本领域技术人员认识到地,有待标定的映射函数经由该校正步骤进入到根据本发明的方法中。
在根据本发明的方法的步骤c中,将经校正的相机图像Ir1、Ir2、Ir3成对地相关,成对的相关得到了三个相关场,这些相关场中为清楚起见仅示出了由经校正的相机图像的Ir1和Ir2的相关所合成的相关场C12。明亮的点在此表示高的相关值;暗的点表明了相应低的相关值。
在整个相关场表面上基本上随机分布相关峰值的背景下,相关场显示长条状拉伸的“带”,在其中聚集着多个相关峰值。
在根据本发明的方法的作为步骤d1和d2的总结的步骤d中,然后在每个相关峰值带上获知了代表性的直线以及该直线与相关场的坐标原点的间距。为清楚起见,又仅示出了相关场C12和配属的直线g12。可以用常用的图像处理算法获知代表性的直线g12。
此外,还计算了代表性的直线与各自的相关场的原点的间距。这分别导致配属的间距矢量,也就是说,在所示的相关场C12的情况下,间距矢量d12具有平行于dx或dy坐标轴的分量d12_x和d12_y。该矢量在各自的相关场原点中开始并且垂直于配属的代表性的直线。
在根据本发明的方法的在图2中不再示出的最后的步骤中,然后,将这样获知的间距矢量用于修正映射函数M1、M2和M3。本领域技术人员应理解,在使用更多或更少的相机时,相应地执行更多或更少的相关,然而其中,对各个相关场的处理与上述示例是一致的,并且相应地修正映射函数。
在说明书的一般的部分中阐释的相机的“内联”配置的情形下,根据本发明的修正虽然的确会改善映射函数,但不会强制性地优化映射函数。因此,上述方法仅用于三个相机K1、K2、K3中的它们的映射函数也被相应地修正的两个相机。
当然,在具体的说明中讨论的并且在图中示出的实施方式仅是本发明的解释性的实施例。本公开内容给本领域技术人员提供了广泛的变型可能性。
附图标记列表
V 测量体积
X,Y,Z V中的空间坐标
K1、K2、K3 相机
I1、I2、I3 K1、K2或K3的相机图像
Ir1、Ir2、Ir3 K1、K2或K3的经校正的相机图像
x,y 在I1、I2、I3和Ir1、Ir2、Ir3中的平面坐标
C12 相关场
dx,dy 在C12中的平面坐标
g12 代表性的直线
d12 与g12的间距(矢量)
Claims (8)
1.用于标定光学测量结构的方法,所述光学测量结构具有播撒有粒子的测量体积(V)并且具有至少两个相机(K1、K2、K3),借助所述至少两个相机能在不同的观察角度下分别利用由预标定已知的映射函数将所述测量体积(V)成像,所述方法包括如下步骤:
a)借助所述相机(K1、K2、K3)将所述测量体积(V)同时成像,用以针对每个相机(K1、K2、K3)分别产生相机图像(I1、I2、I3),
其特征在于具有如下另外的步骤:
b)参照所述测量体积(V)中的共同的参考平面在使用分别配属的预标定的映射函数的情况下对每个相机图像(I1、I2、I3)进行校正,
c)针对至少一对经校正的相机图像(Ir1、Ir2、Ir3)执行二维相关,用以产生相应数量的相关场(C12),其中,每个相关场(C12)显示长条状成形的相关最大值带,
d)针对每个相关场(C12):
d1)将所述相关最大值带减小到代表所述相关最大值带的直线(g12),
d2)获知该代表性的直线(g12)与所述相关场(C12)的坐标原点的间距(d12)来作为修正值,
e)利用获知的修正值来修正相机经校正的相机图像(Ir1、Ir2、Ir3)已在步骤c中被引入相关中的那些相机(K1、K2、K3)的映射函数。
2.根据权利要求1所述的方法,
其特征在于,
在步骤c之前将经校正的相机图像(Ir1、Ir2、Ir3)分别划分成多个一样大且一样定位的询问场,在所述询问场上执行步骤c和d,并且在步骤e中在所述测量体积(V)的配属于不同的询问场的、不同的空间区域内利用分别配属的、不同的修正值对映射函数进行修正。
3.根据权利要求1至2中任一项所述的方法,
其特征在于,
所述方法至少在步骤b至e中被多次执行,其中,在步骤b中的每次运行中参照另一共同的参考平面对所述相机图像(I1、I2、I3)进行校正,并且其中,在步骤e中分别仅在所述测量体积(V)的配属于各自的参考平面的空间区域内利用分别获知的修正值对映射函数进行修正。
4.根据权利要求1至2中任一项所述的方法,
其特征在于,
所述方法在步骤a至c中在多个时间点被多次执行,将分别相应的相关场相加,并且然后执行步骤d和e中的方法。
5.根据权利要求1至2中任一项所述的方法,其中,所述光学测量结构具有第一相机(K1)、第二相机(K2)和第三相机(K3),这些相机的经校正的相机图像中仅所述第一相机和所述第二相机(K1、K2)的经校正的相机图像(Ir1、Ir2)被引入步骤c至e的相关和修正中,
其特征在于具有如下另外的步骤:
f)参照多个共同的平行的参考平面,
-在使用分别配属的、在步骤e中经修正的映射函数的情况下对所述第一相机和所述第二相机(K1、K2)的相机图像(Ir1、Ir2)进行校正,并且
-在使用配属的、预标定的映射函数的情况下对所述第三相机(K3)的相机图像(Ir3)进行校正,
g)针对每个参考平面执行在所述第一相机和所述第二相机(K1、K2)的经校正的相机图像(Ir1、Ir2)的乘积与所述第三相机(K3)的经校正的相机图像(Ir3)之间的二维相关,并且将所合成的相关场相加来产生总相关场,
h)确定所述总相关场中的相关最大值与所述总相关场的坐标原点的间距来作为附加的修正值,
i)利用所获知的附加的修正值来修正所述第三相机(K3)的映射函数。
6.根据权利要求5所述的方法,
其特征在于,
在步骤i中还利用所获知的附加的修正值来重新修正所述第一相机和/或所述第二相机(K1、K2)的在步骤e中经修正的映射函数。
7.根据权利要求5所述的方法,
其特征在于,
在步骤g之前将经校正的相机图像(Ir1、Ir2、Ir3)分别划分成多个一样大且一样定位的询问场,在所述询问场上执行步骤g和h,并且在步骤i中在所述测量体积(V)的配属于不同的询问场的、不同的空间区域内利用分别配属的、不同的修正值对映射函数进行修正。
8.根据权利要求1至2中任一项所述的方法,
其特征在于,
将至少一个相关作为通用形式的互相关:
Cij(dx,dy)=∑x,yIri(X,Y)Irj(X+dx,Y+dy)
来执行。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102017110533.6A DE102017110533A1 (de) | 2017-05-15 | 2017-05-15 | Verfahren zum Kalibrieren eines optischen Messaufbaus |
DEDE102017110533.6 | 2017-05-15 | ||
PCT/EP2018/062098 WO2018210672A1 (de) | 2017-05-15 | 2018-05-09 | Verfahren zum kalibrieren eines optischen messaufbaus |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110622216A CN110622216A (zh) | 2019-12-27 |
CN110622216B true CN110622216B (zh) | 2023-05-09 |
Family
ID=62244458
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880031676.3A Active CN110622216B (zh) | 2017-05-15 | 2018-05-09 | 用于标定光学测量结构的方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US10943369B2 (zh) |
EP (1) | EP3420533B1 (zh) |
JP (1) | JP6951469B2 (zh) |
CN (1) | CN110622216B (zh) |
DE (1) | DE102017110533A1 (zh) |
DK (1) | DK3420533T3 (zh) |
RU (1) | RU2720604C1 (zh) |
WO (1) | WO2018210672A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020124688A1 (de) | 2019-09-27 | 2021-04-01 | Electronic Theatre Controls, Inc. | Systeme und verfahren zur standortbestimmung von leuchten |
CN115112098B (zh) * | 2022-08-30 | 2022-11-08 | 常州铭赛机器人科技股份有限公司 | 一种单目视觉的一维二维测量方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1536366A (zh) * | 2003-03-21 | 2004-10-13 | 视野有限公司 | 确定用于关于实施立体piv方法的自校准的投影方程的方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007033306A (ja) * | 2005-07-28 | 2007-02-08 | Tokyo Electric Power Co Inc:The | 流体の流動計測システム及びその計測方法 |
DE102006043445A1 (de) * | 2006-09-15 | 2008-03-27 | Mtu Aero Engines Gmbh | Vorrichtung und Verfahren zur dreidimensionalen Strömungsmessung |
DE102006055746A1 (de) | 2006-11-25 | 2008-05-29 | Lavision Gmbh | Verfahren zur Korrektur einer Volumenabbildungsgleichung zur Bestimmung eines Geschwindigkeitsfeldes von Teilchen in einem Volumen |
DE102009060580B4 (de) * | 2009-12-23 | 2013-02-21 | Lavision Gmbh | Verfahren zur Bestimmung eines Satzes von optischen Abbildungsfunktionen für die 3D-Strömungsmessung |
DE102014117888A1 (de) * | 2014-12-04 | 2016-10-13 | Connaught Electronics Ltd. | Online-Kalibrierung eines Kraftfahrzeug-Kamerasystems |
-
2017
- 2017-05-15 DE DE102017110533.6A patent/DE102017110533A1/de not_active Withdrawn
-
2018
- 2018-05-09 RU RU2019136357A patent/RU2720604C1/ru active
- 2018-05-09 DK DK18726936.0T patent/DK3420533T3/da active
- 2018-05-09 WO PCT/EP2018/062098 patent/WO2018210672A1/de active Application Filing
- 2018-05-09 CN CN201880031676.3A patent/CN110622216B/zh active Active
- 2018-05-09 US US16/612,797 patent/US10943369B2/en active Active
- 2018-05-09 EP EP18726936.0A patent/EP3420533B1/de active Active
- 2018-05-09 JP JP2019563282A patent/JP6951469B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1536366A (zh) * | 2003-03-21 | 2004-10-13 | 视野有限公司 | 确定用于关于实施立体piv方法的自校准的投影方程的方法 |
Non-Patent Citations (1)
Title |
---|
一种单相机三维体视PIV技术及其应用;高琪等;《中国科学:技术科学》;20120920(第09期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
WO2018210672A1 (de) | 2018-11-22 |
JP6951469B2 (ja) | 2021-10-20 |
DE102017110533A1 (de) | 2018-11-15 |
DK3420533T3 (da) | 2020-03-30 |
CN110622216A (zh) | 2019-12-27 |
EP3420533B1 (de) | 2019-12-25 |
EP3420533A1 (de) | 2019-01-02 |
US10943369B2 (en) | 2021-03-09 |
JP2020520028A (ja) | 2020-07-02 |
US20200202572A1 (en) | 2020-06-25 |
RU2720604C1 (ru) | 2020-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Garcia et al. | A combined temporal tracking and stereo-correlation technique for accurate measurement of 3D displacements: application to sheet metal forming | |
EP3100234B1 (en) | Data-processing system and method for calibration of a vehicle surround view system | |
US8406511B2 (en) | Apparatus for evaluating images from a multi camera system, multi camera system and process for evaluating | |
US7953247B2 (en) | Method and apparatus for wheel alignment | |
EP2568253B1 (en) | Structured-light measuring method and system | |
CN111192235B (zh) | 一种基于单目视觉模型和透视变换的图像测量方法 | |
US10771776B2 (en) | Apparatus and method for generating a camera model for an imaging system | |
US9025862B2 (en) | Range image pixel matching method | |
WO2012154878A1 (en) | Camera calibration using an easily produced 3d calibration pattern | |
EP2132707A2 (en) | Calibrating a camera system | |
KR101275823B1 (ko) | 복수의 카메라를 이용한 3차원 물체 검출장치 및 방법 | |
KR20130064167A (ko) | 개선된 폴리곤 매핑을 이용한 차량 어라운드 뷰 영상 생성 방법 | |
JP2012021919A (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
CN110044301A (zh) | 基于单双目混合测量的三维点云计算方法 | |
CN110622216B (zh) | 用于标定光学测量结构的方法 | |
CN113155053B (zh) | 三维几何形状测量装置和三维几何形状测量方法 | |
US20210256729A1 (en) | Methods and systems for determining calibration quality metrics for a multicamera imaging system | |
JP5501084B2 (ja) | 平面領域検出装置及びステレオカメラシステム | |
KR20180061803A (ko) | 도로면 폐색 영역 복원 장치 및 방법 | |
US20090087013A1 (en) | Ray mapping | |
JP6867766B2 (ja) | 情報処理装置およびその制御方法、プログラム | |
CN114897952A (zh) | 一种自适应遮挡的单张光场影像准确深度估计方法及系统 | |
KR101869226B1 (ko) | 이종 카메라를 위한 시차 맵 생성 방법 | |
CN105373792A (zh) | 车轮定位的方法和设备 | |
Sekkati et al. | Direct and indirect 3-D reconstruction from opti-acoustic stereo imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |