CN110176033A - 一种基于概率图的混合概率逆深度估计方法 - Google Patents
一种基于概率图的混合概率逆深度估计方法 Download PDFInfo
- Publication number
- CN110176033A CN110176033A CN201910380025.1A CN201910380025A CN110176033A CN 110176033 A CN110176033 A CN 110176033A CN 201910380025 A CN201910380025 A CN 201910380025A CN 110176033 A CN110176033 A CN 110176033A
- Authority
- CN
- China
- Prior art keywords
- distribution
- depth
- camera
- point
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000002156 mixing Methods 0.000 title claims abstract description 6
- 238000009826 distribution Methods 0.000 claims abstract description 85
- 239000011159 matrix material Substances 0.000 claims abstract description 61
- 238000005457 optimization Methods 0.000 claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 8
- 238000005259 measurement Methods 0.000 claims description 25
- 238000003384 imaging method Methods 0.000 claims description 15
- 238000013519 translation Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 7
- 238000009827 uniform distribution Methods 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 claims description 3
- 238000007476 Maximum Likelihood Methods 0.000 claims description 2
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 238000009795 derivation Methods 0.000 claims description 2
- 238000005315 distribution function Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 abstract description 3
- 238000001914 filtration Methods 0.000 description 14
- 238000002474 experimental method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/564—Depth or shape recovery from multiple images from contours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于概率图的混合概率逆深度估计方法，属于图像处理和单目相机深度估计技术领域。所述估计方法首先利用经典的三角形法求出空间中一点的深度和位置；然后利用归一化八点算法求出对极几何中的基本矩阵，进而求出相机的位姿，作为优化的初始值；最后用基于概率图的高斯‑均匀混合分布求逆深度，利用近似推断可以求出递推公式，利用其深度信息可以求出物体的距离。本发明不仅提高了单目相机深度估计的精度，还增强了系统的鲁棒性。
Description
技术领域
本发明属于图像处理和单目相机深度估计技术领域，具体来说是一种基于概率图的混合概率逆深度估计方法。
背景技术
深度估计是单目视觉中的重要技术，在单目视觉SLAM(simultaneouslocalization and mapping,即时定位与地图构建)中起到重要的作用。现在对深度估计技术的研究比较广泛，如结合贝叶斯估计和凸优化图像处理来进行深度地图计算的方法，该方法节省了内存的使用，提高了计算速度。但在深度估计技术中，容易出现数据拖尾的现象，在远离相机中心的位置数据估计精度较差，同时深度估计的抗干扰能力也较差。
发明内容
本发明提出了一种基于概率图的混合概率逆深度估计方法，采用高斯-均匀混合概率分布，不仅提高了单目相机深度估计的精度，还增强了系统的鲁棒性。所述估计方法首先利用经典的三角形法求出空间中一点的深度信息和位置。然后利用归一化八点算法求出对极几何中的基本矩阵，进而求出相机的位姿，作为优化的初始值。最后用基于概率图的高斯-均匀混合概率分布求逆深度，利用近似推断可以求出递推公式，利用其深度信息可以求出物体的距离。
本发明提供的基于概率图的混合概率逆深度估计方法，包括如下步骤：
步骤一、利用经典的三角形法求出空间中一点的深度信息和位置，并利用了一阶几何校正的方法来提高空间位置的精度。
步骤二、利用归一化八点算法求出对极几何中的基本矩阵，进而求出相机的位姿，作为优化的初始值。
步骤三、利用基于概率图的高斯-均匀混合概率分布求逆深度，利用近似推断求出递推公式，得到空间点的逆深度真实值。
应用所述的估计方法，可以对多幅图像进行顺序处理；利用空间点的深度信息可以求出空间物体的长度，进而获得本发明的估计方法的精度。
本发明的优点在于：
(1)本发明将基于概率图的高斯-均匀混合概率分布应用到求逆深度，并推导出近似推断公式便于对序列图像进行处理。
(2)本发明在求空间一点位置的过程中，一阶几何校正的方法提高了空间位置估计的精度。
(3)本发明利用归一化八算点法求出基本矩阵，进而求出相机的位姿。
附图说明
图1：本发明中采用的对极几何原理图。
图2：本发明中高斯-均匀混合概率分布模型的概率图表示。
图3：本发明中相机测距原理图。
图4：本发明中室内环境实验对比图。
图5：本发明中室外环境实验对比图。
具体实施方式
下面将结合附图和实施实例对本发明作进一步的详细说明。
本发明提供一种基于概率图的混合概率逆深度估计方法，具体包括如下步骤：
步骤一、利用经典的三角形法求出两幅图像中相同空间点的深度和位置信息，并利用一阶几何校正的方法来提高空间点的位置的精度，得到空间点的精确位置。
(1)对极几何；
对极几何是两幅视图之间内在的射影几何。对极几何关系独立于景物结构，只依赖于相机的内参数和相对姿态。对极几何的原理图如图1所示。三维空间平面Π上的任意一空间点 X在两个成像平面I1和I2上的投影分别为x和x′。由点X、点C和点C′组成的平面XCC′称为对极平面。连接两个位置的相机中心的直线CC′称为该对极平面的基线，基线与两个成像平面I1和I2的交点e和e′为对极点，对极点是在一幅视图中另一位置相机中心的像，对极点也是基线方向的消影点。l和l’是对极线，对极线是对极平面与成像平面的交线，当对极平面绕基线旋转时，一个成像平面内所有的对极线都交于对极点。点C和点C′分别表示位于两个不同位置的相机的中心点。
结论：对两幅图像中任何一对对应点基本矩阵F都满足条件：x′TFx＝0。
基本矩阵F是对极几何的代数表示。基本矩阵F具有如下两个重要性质：
A.利用基本矩阵F求对极点：Fe＝0,FTe′＝0。
B.利用基本矩阵F求对极线：l′＝Fx,l＝FTx′。
(2)利用三角形法求空间一点的深度；
通过一个相机在两个位置处或者两个相同的相机分别在两个位置处测量同一空间点的夹角，从而确定该空间点到两个相机中心位置的距离，即空间点的深度。
s1x＝KX,s2x′＝K(RX+t) (1)
其中s1为相机在位置1的深度信息，s2为相机在位置2的深度信息，K为相机的内参数矩阵，X为空间中任意一点，公式中表示该空间点的三维位置，x和x′分别表示成像平面内两个对应点的三维位置，R为旋转矩阵，t为平移向量，令y＝K-1x,y′＝K-1x′则由式(1)可以得到：
s2y′＝s1Ry+t (2)
根据相同向量的叉乘等于0的定义，根据公式(2)得到：
s2y′×y′＝s1y′×Ry+y′×t＝0 (3)
利用(2)(3)可以求出空间点X的两个深度信息s1,s2。
(3)利用一阶几何校正求出空间点X的位置信息；
根据空间点X在两个成像平面的深度s1和s2，有：
其中，P为相机在位置1的参数矩阵，Pi是参数矩阵P的行，P'是相机在位置2的参数矩阵，P'i是参数矩阵P'的行，i＝1,2,3；A为中间变量矩阵；(x1,y1)分别为点x的齐次坐标，(x2,y2)是点x'的齐次坐标；R'表示相机在位置2的旋转矩阵，t'表示相机在位置2的平移向量。利用非线性最小二乘的方法即可求出空间点X的位置。
由于噪声的影响，x′TFx不一定严格等于0。而对应点附近的点应该准确的满足对极几何约束寻求的最小代价函数L(x,x′)为：
其中，表示成像平面内点x和点之间的距离，表示成像平面内点x′和点之间的距离。
在高斯分布的假设下，是关于真实的图像对应点的最大似然估计。一旦求得则空间点X则可以由三角形法求得。
通常可以利用Sampson近似(一阶几何校正)来求理想点对测量点Y＝(x1，y1，x2,y2)T，Sampson近似得到测量点Y的变化量δx如下所示：
δx＝-JT(JJT)-1ε (8)
其中，误差ε＝x′TFx，Jacobian矩阵J是：
其中，(FTx′)i和(Fx)i分别是第i位置处对应误差的偏导数。
根据变化量δx得到理想点对的位置
根据上式(11)可以求出理想点进而可以求出空间中任意一点X的精确位置。
三角测量主要由平移得到，只有旋转的情况下，三角形法不能使用，平移越大，测量精度越高。通常提高三角形法精度的方法有两种：第一种是提高特征点的提取精度，也就是提高分辨率，会增大计算成本；第二种是增大平移距离，可以提高精度。三角形法通常只能测量某一特征点的深度和位置信息，不能计算全局信息和特征点之间的关系。
步骤二、利用归一化八点算法求出对极几何中的基本矩阵，进而求出相机的位姿，作为优化的初始值。
基本矩阵F是从一幅图像到另一幅图像通过任意平面π的转移映射。假设两幅图像由中心不重合的相机获得，则基本矩阵F所有的对应点x和x′，都满足：
x′TFx＝0 (12)
其中基本矩阵F是秩为2的3×3齐次矩阵。
本质矩阵E是归一化图像坐标下的基本矩阵的特殊形式。基本矩阵F与本质矩阵E的关系为：
E＝K′TFK (13)
其中，K为相机的内参矩阵。
一个矩阵为本质矩阵的充要条件是：它的奇异值中有两个相等，第三个为0。
求解相机位姿的步骤如下：
(1)利用经典的八点算法求出基本矩阵F，再根据公式(13)求出本质矩阵E。
(2)对本质矩阵E进行SVD(Singular Value Decomposition，奇异值分解)：E＝UDVT，其中D＝diag(σ1,σ2,σ3)且σ1≥σ2≥σ3，在Frobenius范数下最接近E的本质矩阵是其中因此本质矩阵E可以化简为：E＝U∑VT，其中∑＝diag(1,1,0)，U,V∈SO(3)。SO(3)是指特殊正交群。
(3)从本质矩阵中恢复相机的位姿：假设第一个位置的相机为坐标原点即Q＝[I|0]，I为3 ×3的单位矩阵，根据本质矩阵E为E＝Udiag(1,1,0)VT，可以求得第二个位置的相机的旋转矩阵R和平移向量t分别为：
其中，表示第一个位置的相机绕Z轴(或X3轴)旋转的旋转矩阵。
根据第(3)步得到的相机位置结果总共有四组解，但只有一组解的深度为正值，因此，在一个成像平面内选择一个测试点，分别将这四组解带入公式(2)和公式(3)求解该测试点的深度，所求的深度为正值的那组解为最终的相机位姿求解结果。
步骤三、利用基于概率图的高斯-均匀混合概率分布求逆深度，利用近似推断可以求出递推公式，进而可以方便对多幅图像进行顺序处理。
在逆深度估计中，数据中的异常值会对结果产生严重的影响。通常的做法是：忽略掉异常值，避免对结果产生不良的影响，如果采集数据的方法是不可靠的，则忽略异常值的做法是合理的。但可靠数据采集的情况下，异常值是重要的数据信息，必须考虑它，否则将产生虚假的结果。
鲁棒性好的数据处理方法是对模型不敏感，对误差的精确采样分布不敏感，即使数据中有一部分存在较大的误差，也不会对整个结论或者结果产生很大的影响。本发明采用的高斯- 均匀混合分布模型是一种具有较强鲁棒性的数据处理方法，其中高斯分布对应于理想数据采样部分，而均匀分布则对应于随机干扰部分，通过合适的分配比例，可保证系统具有良好的鲁棒性。
图2为高斯-均匀混合分布模型的概率图表示，假设N为空间中匹配点的个数， X＝{x1,…,xN}是相机测量的逆深度测量值，ρ＝{ρ1,…,ρN}为逆深度真实值，π＝{π1,…,πN} 为理想数据所占的比例，1-π为随机干扰所占的比例，随机干扰信号服从均匀分布 U[ρmin,ρmax]，ρmin,ρmax分别为相机所测量的最小逆深度值和最大逆深度值，n＝1,2,…,N。λ＝{λ1,…,λN}为高斯分布的精度，其中τ为高斯分布的方差。在给定第n个匹配点的逆深度真实值ρn，高斯分布的精度λn和理想数据的比例πn的情况下，混合分布模型的逆深度测量值的概率分布如下：
p(xn|ρn,λn,πn)＝πnN(xn|ρn,λn -1)+(1-πn)U(xn) (15)
N(xn|ρn,λn -1)表示xn的高斯分布，U(xn)表示xn的均匀分布。
将所有潜在离散变量记为Z＝{z1k,z2k,…,znk}，其中，zik为二值随机变量，采用“1-of-K”的表示方法，其中一个元素为1，其余元素为0，其中，zi1＝1代表第i个测量值是理想数据， zi0＝0代表第i个测量值是随机干扰数据。因此，含有潜在离散变量的分布如下：
其中，令为常数，为观测变量的条件概率分布，为混合系数的条件概率分布。
引入参数ρ,λ,π的共轭先验概率分布，其中理想数据比例π服从Beta分布，其分布函数如下：
其中，Γ为gamma函数，即gamma函数的重要性质：T(x+1)＝xT(x)。 pn和qn可以理解为在整个实验过程中，实验数据的理想值和干扰值的数量。
引入逆深度真实值ρ和精度λ的共轭先验分布为Gauss-Gamma分布，形式如下：
p(ρn|λn)＝N(ρn|ρ0,(υ0λn)-1) (18)
其中ρ0,υ0,a0,b0分别为高斯分布和Gamma分布的初始值。
根据贝叶斯定理：posterior∝likelihood×prior，可以得到所有随机变量的联合概率分布的形式为：
P(X,Z,π,ρ,λ)＝p(X|Z,ρ,λ)p(Z|π)p(U|Z,π)p(ρ|λ)p(λ)p(π) (20)
其中，p(π)是理想数据所占比例π的先验分布；p(λ)为精度λ的先验分布；p(ρ|λ)为已知精度λ后的逆深度真实值ρ的概率分布；p(U|Z,π)为已知潜在离散变量Z和理想数据所占比例π后的均匀分布；p(Z|π)为已知理想数据所占比例π的潜在离散变量Z的概率分布；p(X|Z,ρ,λ)为已知潜在离散变量Z、逆深度真实值ρ、精度λ的逆深度的概率分布。
假设后验概率分布p(Z,ρ,λ,π|X)＝q(Z,ρ,λ,π)，且该分布是一个变分分布，可以将各参数进行分解，利用变分推断的方法对参数进行估计，即
q(Z,ρ,λ,π)＝q(Z)q(ρ)q(λ)q(π) (21)
首先考虑因子q(Z)的更新方程的推导，关于概率分布q(Z)的最优化，等价于最小化 KL(Kullback-Leibler Divergence)散度，即q(Z)的最大值出现在KL散度等于零的时刻。最优因子q*(Z)的对数为：
lnq*(Z)＝Eπ,ρ,λ[P(X,Z,π,ρ,λ)]+constant (22)
其中，Eπ,ρ,λ[…]为定义在变量π,ρ,λ上的q(Z)的概率分布数学期望；constant为常数。
我们只对等式右侧与变量Z相关的函数感兴趣，与变量Z无关的项都被整合到归一化系数中，将各表达式代入上式(22)，从而得到下式(23)：
对这个概率分布进行归一化，即对于所有n值，所有的k值上的加和都为1。并在两端取指数可以得到：
我们将rnk称为责任，其在后验概率分布中起着重要的作用。对于离散概率分布q*(Z)，可以得到如下期望值：
E[znk]＝rnk (26)
定义观测数据关于责任的统计量Nk如下所示：
和Sk分别为责任均值和责任方差。
最优因子q*(π)的对数为：
因此，Beta分布的参数的更新方程为：
最优因子q*(ρ)的对数为：
上式(32)关于ρ配平方后，可以得到高斯分布N(ρ|ρN,λN -1)，其中，均值ρN和方差λN分别为：
λN＝(υ0+Nk)E[λ] (34)
最优因子q*(λ)的对数为：
因此，q(λ)是一个Gamma分布Gam(λ|aN,bN)，其参数如下：
利用无信息先验分布来求E[λ],E[ρ],E[ρ2]的表达式，假设ρ0＝υ0＝a0＝b0＝0，利用 Gamma分布的均值的标准结果为可以得到：
通过以上的概率估计最后可以得到逆深度真实值ρn。
利用所述的逆深度真实值可以求出空间物体的长度，进而验证本发明的估计方法的求解精度。
图3为利用单目相机所测量的深度信息估计图像中两点间距离的示意图，θ为相机中心与两个目标点A、B之间的夹角。通常可以利用深度信息的方向向量求出夹角：
已知两个目标点A、B的深度dOA,dOB、两个目标点A、B与相机中心O连线的夹角θ，可以利用余弦定理来求出两个目标点A、B之间的距离d：
d2＝dOA 2+dOB 2-2dOAdOBcosθ (40)
实施例
本发明采用720P的USB相机来进行实验，相机焦距为3.6mm。为了保证实验的可对比性，所有的位姿优化都使用g2o的方法。将分别对深度滤波器、逆深度滤波器和混合逆深度滤波器进行对比。分别采用30幅图像进行迭代求解，将最后的迭代结果作为最终的测量结果。
(1)室内环境的估计对比实验
图4中，(a)为室内环境原始图像，其中标注真实测量距离0.4m。(b)为利用深度滤波器滤波后所得到的深度图，通过深度图测量的距离为0.27m，误差最大。(c)为利用高斯逆深度滤波器滤波后所得到的逆深度图像，通过图像可以清晰的看到物体的轮廓线，其测量的距离为 0.33m，误差较小。(d)为基于概率图的混合逆深度滤波后的逆深度图，物体轮廓线线清晰可见，其测量的距离为0.37m，误差最小。
通过将深度滤波器和逆深度滤波器的计算结果可以得到，逆深度滤波器的计算更加稳定。深度滤波器假设在测量点附近像素的深度满足高斯分布，但这种假设会造成靠近相机中心的像素过于集中，而远离相机中心的像素出现拖尾现象，造成数据分布不均匀，抗干扰能力比较差。逆深度滤波器，则是对像素的深度信息取倒数后，假设其倒数满足高斯分布，该假设有效的解决了像素拖尾的现象，分散靠近相机中的像素，使像素深度的分布更加合理，因此，实验结果更加稳定，抗干扰性更好。
通过图4中(c)和(d)可以看到，基于概率图的混合逆深度滤波器的滤波效果比高斯逆深度滤波器的滤波效果要好，更加稳定，且鲁棒性更好。混合模型中，除了假设在测量点附近引入高斯分布外，还根据逆深度的先验信息引入随机干扰。通过近似推断的方法来求得最佳的混合系数，合理的混合分布既可以提高测量的精度，也可以提高系统的鲁棒性。
(2)室外环境的估计对比实验
图5中，(a)为室外环境的原始图，其中标注的两点间的真实测量距离为1m。(b)为利用深度滤波器滤波后得到的深度图，其测量的距离为0.77m，误差比较大。(c)为利用逆深度滤波器滤波后得到的逆深度图，其测量距离为0.8m，与深度法相比精度有所提高，外形轮廓比较明显。(d)为基于概率图的混合逆深度滤波后的逆深度图，其测量距离为1.05m，误差相对较小，外形轮廓清晰。
通过对以上实验的对比结果可以看出，基于概率图的混合逆深度滤波法优于逆深度滤波法，逆深度滤波优于深度滤波法。逆深度滤波主要解决了数据拖尾的现象，而混合逆深度滤波则主要解决了抗干扰的问题。综合来说，混合逆深度滤波法即提高了鲁棒性，也得到了比较理想的测量结果。
通常，室内环境相对稳定，光照强度稳定，干扰因素相对较小，可以保证稳定的特征提取和图像匹配，测量误差相对较小。室外环境具有多变性，光照强度随着测量的位置不同，而发生一定的波动，造成同一个特征点在不同的图像中的灰度值差异较大，而且具有一定的随机性，为特征提取和图像匹配造成了一定的困难。基于概率图的混合逆深度滤波方法可以处理由于随机干扰而产生的误差，提高了测量的鲁棒性。通过实验结果可以看出，不论是在室内环境还是室外环境，混合逆深度滤波方法都具有较好的测量结果，深度误差不超过7.5％。
Claims (5)
1.一种基于概率图的混合概率逆深度估计方法，其特征在于：所述方法包括如下步骤，
步骤一、利用经典的三角形法求出任意一空间点X的深度和位置，并利用一阶几何校正的方法来提高空间位置的精度，得到精确位置；
步骤二、利用归一化八点算法求出对极几何中的基本矩阵，进而求出相机的位姿，作为优化的初始值；
步骤三、利用基于概率图的高斯-均匀混合概率分布求逆深度，利用近似推断求出递推公式，得到空间点的逆深度真实值。
2.根据权利要求1所述的一种基于概率图的混合概率逆深度估计方法，其特征在于：步骤一中所述的空间点X的深度通过如下方式得到：
通过在一个相机在两个位置处或者两个相同的相机分别在两个位置处测量同一空间点的夹角，从而确定该空间点到两个相机中心位置的距离，即空间点的深度：
s1x＝KX,s2x′＝K(RX+t) (1)
其中，s1为相机在位置1的深度，s2为相机在位置2的深度，K为相机的内参数矩阵，X为任意一空间点，X在两个成像平面I1和I2上的投影分别为x和x′，R为旋转矩阵，t为平移向量，令y＝K-1x,y′＝K-1x′则由式(1)得到：
s2y′＝s1Ry+t (2)
对公式(2)进行整理得到：
s2y′×y′＝s1y′×Ry+y′×t＝0 (3)
利用公式(2)(3)求出空间点X在两个成像平面的深度s1和s2。
3.根据权利要求1所述的一种基于概率图的混合概率逆深度估计方法，其特征在于：步骤一中所述的利用一阶几何校正求出空间点X的精确位置，具体为：
根据空间点X在两个成像平面的深度s1和s2，有：
其中，P为相机在位置1的参数矩阵，Pi是参数矩阵P的行，P'是相机在位置2的参数矩阵，P'i是参数矩阵P'的行，i＝1,2,3；A为中间变量矩阵；(x1,y1)分别为点x的齐次坐标，(x2,y2)是点x'的齐次坐标；R'表示相机在位置2的旋转矩阵，t'表示相机在位置2的平移向量；
利用非线性最小二乘的方法求出空间点X的位置；
由于噪声的影响，x′TFx不严格等于0，而对应点附近的理想点对满足对极几何约束寻求的最小代价函数L(x,x′)为：
其中，表示成像平面内点x和点之间的距离，表示成像平面内点x′和点之间的距离；
在高斯分布的假设下，是关于真实的图像对应点的最大似然估计；一旦求得则空间点X的精确位置则由三角形法求得；
利用Sampson近似来求理想点对和测量点Y＝(x1,y1,x2,y2)T变化量δx，如下所示：
δx＝-JT(JJT)-1ε (8)
其中，误差ε＝x′TFx，Jacobian矩阵J是：
其中，(FTx′)i和(Fx)i分别是第i位置处对应误差的偏导数；
根据变化量δx得到理想点对的位置
根据上式(11)求出理想点进而求出空间中任意一点X的精确位置。
4.根据权利要求1所述的一种基于概率图的混合概率逆深度估计方法，其特征在于：步骤二中所述的相机的位姿，通过如下方式获得：
假设两幅图像由中心不重合的相机获得，则基本矩阵F所有的对应点x和x′，都满足：
x′TFx＝0 (12)
基本矩阵F与本质矩阵E的关系为：
E＝K′TFK (13)
其中，K为相机的内参矩阵；
利用经典的八点算法求出基本矩阵F，再根据公式(13)求出本质矩阵E；对本质矩阵E进行奇异值分解：E＝UDVT，其中D＝diag(σ1,σ2,σ3)且σ1≥σ2≥σ3，在Frobenius范数下，本质矩阵E化简为：E＝U∑VT，其中∑＝diag(1,1,0)，U,V∈SO(3)；SO(3)是指特殊正交群；
假设第一个位置的相机为坐标原点即Q＝[I|0]，I为3×3的单位矩阵，根据本质矩阵E为E＝Udiag(1,1,0)VT，求得第二个位置的相机的旋转矩阵R和平移向量t分别为：
其中，表示第一个位置的相机绕Z轴旋转的旋转矩阵；
根据公式(14)得到的相机位置结果总共有四组解，但只有一组解的深度为正值，因此，在一个成像平面内选择一个测试点，分别将这四组解带入公式(2)和公式(3)求解该测试点的深度，所求的深度为正值的那组解为最终的相机位姿求解结果。
5.根据权利要求1所述的一种基于概率图的混合概率逆深度估计方法，其特征在于：步骤三的具体实现过程如下，
假设N为空间中匹配点的个数，X＝{x1,…,xN}是相机测量的逆深度测量值，ρ＝{ρ1,…,ρN}为逆深度真实值，π＝{π1,…,πN}为理想数据所占的比例，1-π为随机干扰所占的比例，随机干扰信号服从均匀分布U[ρmin,ρmax]；ρmin,ρmax分别为相机所测量的最小逆深度值和最大逆深度值；λ＝{λ1,…,λN}为高斯分布的精度，其中τ为高斯分布的方差；在给定第n个匹配点的逆深度真实值ρn，高斯分布的精度λn和理想数据的比例πn的情况下，混合分布模型的逆深度测量值的概率分布如下：
p(xn|ρn,λn,πn)＝πnN(xn|ρn,λn -1)+(1-πn)U(xn) (15)
N(xn|ρn,λn -1)表示xn的高斯分布，U(xn)表示xn的均匀分布；
将所有潜在离散变量记为Z＝{z1k,z2k,…,znk}，其中，zik为二值随机变量，采用“1-of-K”的表示方法，其中一个元素为1，其余元素为0，其中，zi1＝1代表第i个测量值是理想数据，zi0＝0代表第i个测量值是随机干扰数据；因此，含有潜在离散变量的分布如下：
其中，令为常数，为观测变量的条件概率分布，为混合系数的条件概率分布；
引入参数ρ,λ,π的共轭先验概率分布，其中理想数据比例π服从Beta分布，其分布函数如下：
其中，Γ为gamma函数，pn和qn为理想值和干扰值的数量；
引入参数ρ和精度λ的共轭先验分布为Gauss-Gamma分布，形式如下：
p(ρn|λn)＝N(ρn|ρ0,(υ0λn)-1) (18)
其中ρ0,υ0,a0,b0分别为高斯分布和Gamma分布的初始值；
根据贝叶斯定理，得到所有随机变量的联合概率分布的形式为：
P(X,Z,π,ρ,λ)＝p(X|Z,ρ,λ)p(Z|π)p(U|Z,π)p(ρ|λ)p(λ)p(π) (20)
其中，p(π)是理想数据所占比例π的先验分布；p(λ)为精度λ的先验分布；p(ρ|λ)为已知精度λ后的逆深度真实值ρ的概率分布；p(U|Z,π)为已知潜在离散变量Z和理想数据所占比例π后的均匀分布；p(Z|π)为已知理想数据所占比例π的潜在离散变量Z的概率分布；p(X|Z,ρ,λ)为已知潜在离散变量Z、逆深度真实值ρ、精度λ的逆深度的概率分布；
假设后验概率分布p(Z,ρ,λ,π|X)＝q(Z,ρ,λ,π)，且该分布是一个变分分布，将各参数进行分解，利用变分推断的方法对参数进行估计，即：
q(Z,ρ,λ,π)＝q(Z)q(ρ)q(λ)q(π) (21)
首先考虑因子q(Z)的更新方程的推导，关于概率分布q(Z)的最优化，等价于最小化KL散度，即q(Z)的最大值出现在KL散度等于零的时刻；最优因子q*(Z)的对数为：
lnq*(Z)＝Eπ,ρ,λ[P(X,Z,π,ρ,λ)]+constant (22)
其中，Eπ,ρ,λ[…]为定义在变量π,ρ,λ上的q(Z)的概率分布数学期望；constant为常数；
对等式右侧与变量Z无关的项都被整合到归一化系数中，从而得到下式(23)：
对这个概率分布进行归一化，即对于所有n值，所有的k值上的加和都为1，并在两端取指数得到：
将rnk称为责任，对于离散概率分布q*(Z)，得到如下期望值：
E[znk]＝rnk (26)
定义观测数据关于责任的统计量Nk如下所示：
和Sk分别为责任均值和责任方差；
最优因子q*(π)的对数为：
因此，Beta分布的参数的更新方程为：
最优因子q*(ρ)的对数为：
上式(32)关于ρ配平方后，得到高斯分布N(ρ|ρN,λN -1)，其中，均值ρN和方差λN分别为：
λN＝(υ0+Nk)E[λ] (34)
最优因子q*(λ)的对数为：
因此，q(λ)是一个Gamma分布Gam(λ|aN,bN)，其参数如下：
利用无信息先验分布来求E[λ],E[ρ],E[ρ2]的表达式，假设ρ0＝υ0＝a0＝b0＝0，利用Gamma分布的均值的标准结果为得到：
通过以上的概率估计最后得到逆深度真实值ρn。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910380025.1A CN110176033A (zh) | 2019-05-08 | 2019-05-08 | 一种基于概率图的混合概率逆深度估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910380025.1A CN110176033A (zh) | 2019-05-08 | 2019-05-08 | 一种基于概率图的混合概率逆深度估计方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110176033A true CN110176033A (zh) | 2019-08-27 |
Family
ID=67690574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910380025.1A Pending CN110176033A (zh) | 2019-05-08 | 2019-05-08 | 一种基于概率图的混合概率逆深度估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110176033A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311708A (zh) * | 2020-01-20 | 2020-06-19 | 北京航空航天大学 | 一种基于语义光流和逆深度滤波的视觉slam方法 |
| WO2023222985A1 (fr) * | 2022-05-20 | 2023-11-23 | Safran | Procédé automatique de surveillance de pièces tournantes de machines tournantes par adaptation de domaines |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102289809A (zh) * | 2011-07-25 | 2011-12-21 | 清华大学 | 估计摄像机位姿的方法及装置 |
| CN104574387A (zh) * | 2014-12-29 | 2015-04-29 | 张家港江苏科技大学产业技术研究院 | 水下视觉slam系统中的图像处理方法 |
| CN106056039A (zh) * | 2016-05-18 | 2016-10-26 | 电子科技大学 | 一种针对视线估计的鲁棒混合回归方法 |
-
2019
- 2019-05-08 CN CN201910380025.1A patent/CN110176033A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102289809A (zh) * | 2011-07-25 | 2011-12-21 | 清华大学 | 估计摄像机位姿的方法及装置 |
| CN104574387A (zh) * | 2014-12-29 | 2015-04-29 | 张家港江苏科技大学产业技术研究院 | 水下视觉slam系统中的图像处理方法 |
| CN106056039A (zh) * | 2016-05-18 | 2016-10-26 | 电子科技大学 | 一种针对视线估计的鲁棒混合回归方法 |
Non-Patent Citations (4)
| Title |
|---|
| GEORGE VOGIATZIS ET AL.: "Video-based, real-time multi-view stereo", 《IMAGE AND VISION COMPUTING》 * |
| 洪裕珍: "空间非合作目标的单目视觉姿态测量技术研究", 《中国博士学位论文全文数据库信息科技辑》 * |
| 玄影游侠: "利用【对极几何约束】优化图像坐标点", 《博客园》 * |
| 郑顺凯: "自然环境中基于图优化的单目视觉SLAM的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311708A (zh) * | 2020-01-20 | 2020-06-19 | 北京航空航天大学 | 一种基于语义光流和逆深度滤波的视觉slam方法 |
| CN111311708B (zh) * | 2020-01-20 | 2022-03-11 | 北京航空航天大学 | 一种基于语义光流和逆深度滤波的视觉slam方法 |
| WO2023222985A1 (fr) * | 2022-05-20 | 2023-11-23 | Safran | Procédé automatique de surveillance de pièces tournantes de machines tournantes par adaptation de domaines |
| FR3135781A1 (fr) * | 2022-05-20 | 2023-11-24 | Safran | procédé automatique de surveillance de pièces tournantes de machines tournantes par adaptation de domaines. |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109064516B (zh) | 一种基于绝对二次曲线像的相机自标定方法 | |
| CN102999759B (zh) | 一种基于光流的车辆运动状态估计方法 | |
| CN104374338B (zh) | 一种基于固定相机和单靶标的单轴旋转角的视觉测量方法 | |
| CN106548462B (zh) | 基于薄板样条插值的非线性sar图像几何校正方法 | |
| CN106408551B (zh) | 一种监控装置控制的方法及装置 | |
| CN110163902B (zh) | 一种基于因子图的逆深度估计方法 | |
| CN111899290A (zh) | 一种联合偏振和双目视觉的三维重建方法 | |
| US10628968B1 (en) | Systems and methods of calibrating a depth-IR image offset | |
| Sweeney et al. | Computing similarity transformations from only image correspondences | |
| CN113393524A (zh) | 一种结合深度学习和轮廓点云重建的目标位姿估计方法 | |
| Perdigoto et al. | Calibration of mirror position and extrinsic parameters in axial non-central catadioptric systems | |
| CN110176033A (zh) | 一种基于概率图的混合概率逆深度估计方法 | |
| Colombo et al. | Camera calibration with two arbitrary coaxial circles | |
| CN110688440B (zh) | 一种适用于子地图重叠部分较少的地图融合方法 | |
| CN112734832A (zh) | 一种即时获得线上物体实际尺寸测量方法 | |
| Lu et al. | Sphere-based calibration method for trinocular vision sensor | |
| Ventura et al. | P1ac: Revisiting absolute pose from a single affine correspondence | |
| CN113642397A (zh) | 一种基于手机视频的物体长度测量方法 | |
| Barnada et al. | Estimation of automotive pitch, yaw, and roll using enhanced phase correlation on multiple far-field windows | |
| CN109035342B (zh) | 利用一条直线及圆环点极线标定拋物折反射摄像机的方法 | |
| CN116819561A (zh) | 一种点云数据匹配方法、系统、电子设备及存储介质 | |
| Liu et al. | SECPNet—secondary encoding network for estimating camera parameters | |
| Li et al. | The method of detecting nearest distance between obstacles and vehicle tail based on binocular vision system | |
| Liu et al. | Mixed probability inverse depth estimation based on probabilistic graph model | |
| Bahramgiri et al. | Hitch angle estimation for trailer backup system—An object detection and tracking approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190827 |
|
| WD01 | Invention patent application deemed withdrawn after publication |