CN107909543A - 一种鱼眼双目视觉立体匹配空间定位方法 - Google Patents
一种鱼眼双目视觉立体匹配空间定位方法 Download PDFInfo
- Publication number
- CN107909543A CN107909543A CN201711444215.2A CN201711444215A CN107909543A CN 107909543 A CN107909543 A CN 107909543A CN 201711444215 A CN201711444215 A CN 201711444215A CN 107909543 A CN107909543 A CN 107909543A
- Authority
- CN
- China
- Prior art keywords
- msub
- mrow
- msup
- mtr
- mtd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 241000251468 Actinopterygii Species 0.000 claims abstract description 37
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 28
- 238000012937 correction Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000006467 substitution reaction Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000006872 improvement Effects 0.000 abstract description 4
- 230000007812 deficiency Effects 0.000 abstract description 2
- 238000003384 imaging method Methods 0.000 description 7
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种鱼眼双目视觉立体匹配空间定位方法，包括以下步骤：A、推导极线；B、计算支持邻域；C、匹配代价计算；D、设定能量方程；E、动态规划算法分析；F、WTA决策；G、建立稠密视差图。本发明能够改进现有技术的不足，能够减少匹配代价计算存在的偏差，改善鱼眼图像匹配算法的准确性。
Description
技术领域
本发明涉及鱼眼相机成像技术领域，尤其是一种鱼眼双目视觉立体匹配空间定位方法。
背景技术
鱼眼相机是一种视场角很大的非线性成像系统。对要求信息采集系统具有超大视场、高实时性的应用场景来说，鱼眼相机是很合时宜的发明。但是，鱼眼图像大畸变的非人眼习惯的成像方式，给图像处理带来了很大难度。非线性成像模型使得同一场景，在在不同视点拍摄的鱼眼图像上呈现的内容，其形态、大小、位置等方面都存在差异。为此，可以采取先畸变矫正再处理的方式来解决上述问题。但是，鱼眼图像畸变矫正本身就是一个复杂的问题，矫正过程中容易产生误差，影响后续处理的精确度。因此，开展直接对未经校正鱼眼图像进行立体匹配的研究很有必要。
发明内容
本发明要解决的技术问题是提供一种鱼眼双目视觉立体匹配空间定位方法，能够解决现有技术的不足，能够减少匹配代价计算存在的偏差，改善鱼眼图像匹配算法的准确性。
为解决上述技术问题，本发明所采取的技术方案如下。
一种鱼眼双目视觉立体匹配空间定位方法，包括以下步骤：
A、推导极线，
根据双目视觉系统的模型，推导出鱼眼图像的极线方程，作为确定待匹配像素点对应点搜索范围的依据；
B、计算支持邻域，
三维空间内一点Pw与相机坐标系X轴所组成的平面与Y轴所成角为α，α∈(0,π)；过点PW与Y轴构成的平面与X轴所称角为γ，γ∈(0,π)；设过Pw点的空间直线CD在左相机坐标系中投射到左镜头球面的α角大小为αl，在右相机坐标系中投射到右镜头球面的α角大小为αr，在平行鱼眼双目视觉中αl＝αr；过Pw点空间直线上AB在左相机坐标系下γ等于γl，在右相机坐标系中γ等于γr；即以左相机坐标系为参考系时γ相同的点，在以右相机坐标系为参考系时γ也相等；根据上述特诊，推导出鱼眼图像不同位置像素点，在不同视差情况下的支持邻域，解决因图像变形引起的常规匹配窗口内支持邻域对应性不确定问题，提高鱼眼图像的匹配精度；
C、匹配代价计算，
确定支持邻域后，以SAD作为代价函数，以本发明支持邻域为匹配窗口，计算视差范围内所有候选点的匹配代价；
D、设定能量方程；
E、动态规划算法分析，
采用基于动态规划算法进行立体匹配，首先要将整个规划过程进行阶段划分，并确定每个阶段的状态，划分阶段后，根据顺序性约束，从上一阶段到当前阶段的状态转移有七种情况；
F、WTA决策，
计算参考图上点p的视差dp；
G、建立稠密视差图。
作为优选，步骤A中，双目立体视觉中两个鱼眼相机的光轴平行，半球形镜头的四个极点el1、el2、er1、er2在一条直线上；P是空间上一点，其在左镜头球面的投影为Pl，左相机坐标系下，Pl表示为：
将该3D极曲线通过右鱼眼镜头投影到图像上，得到像点在右图上的2D极曲线，方程为
为了方便后续对极曲线上的点逐一进行匹配处理，将α、β作为可控变量，式中，α为平面OlPOr与相机坐标系的y轴所成角，用来确定极曲线，α∈(0,π)；β是入射光线与相机坐标x轴所成角，用来确定极曲线上的点，β∈(0,π)；是投影点与X轴构成的夹角，联立方程求出α、β、θ、之间的变换关系：
将方程(2)代入(3)求出pl在右图像上极曲线的最终方程，其极曲线方程为：
其中，g2＝1-sinβisinαj，g3＝sinβicosβicosαj，k1、k2、k3、k4均为常数：k1＝3i1m1-j1m1，k2＝3i1m2-j1m2，k3＝3i2m1-j2m1，k4＝3i2m2-j2m2；得到通用的平行鱼眼双目立体视觉的2D极曲线方程。
作为优选，步骤B中，以左相机坐标系为参考，空间点PW沿着经过镜头光心的直线方法在左镜头球面上的投影点为Pl，在左相机坐标系为参考系，其坐标为
式中，β是入射光线与在极平面上与X轴所称角，β∈(0,π)；设入射光线与Y轴构成的角为ω，ω∈(0,π)；则Pl点坐标表示为
Ql点是Pl点的相邻点，是空间点QW在镜头球面的投影点，与Pl点具有相同的γ，且所在极曲线与Y轴所成角为α1，经过Ql点的入射光线与X轴所称角为β1；以左相机坐标系为参考系时，Ql坐标可以表示为
与计算Pl点各参数间的关系同理，求得Ql点γ、β1、α1间的关系式：
又因为Ql、Pl具有相同的γ，cosβ1的正负号由cosγ决定，联立(6)和(7)得
在平行双目立体视觉系统中，PW、QW在另一个镜头球面的投影点Pr、Qr，其所在极曲线角度分别为α、α1，Pr、Qr在右镜头球面也具有相同的γ′。
作为优选，步骤D中，统基于动态规划的立体匹配算法，设扫描线上的点满足视差平滑变化要求，并定义一个能量函数；然后，对扫描线建立相应的视差空间图，以全局能量最小为最优准则，在视差空间图上寻找最优路径；最后，把整条扫描线上能量最小时的各点对应的视差值作为最优视差能量方程如下：
Ed＝Edata+Esmooth (9)
式中，Edata是数据项，数值是视差为d时的初始匹配代价，衡量两个像素间的相似性；Esmooth是平滑项，它的大小由相邻点间的平滑关系决定。
作为优选，步骤E中，划分阶段后，对经过对极矫正的鱼眼图像的每一条扫描线建立视差空间图，图的横坐标是扫描线上每个像素点的坐标i，图的纵坐标是视差dj；图上空间单元(j,i)代表了该极线上第i个像素点视差为j时的能量，用Z(i,dj)表示，计算公式为两点的相似度加上平滑项，
Z(dj,i)＝Edata(dj,i)+Esmooth(i-1,i) (10)。
作为优选，步骤F中，视差dp，为
其中，是窗口中心像素点的匹配代价，大小等于窗口内各像素点的匹配代价之和，点q是待匹配像素点p的支持邻域内的点。
作为优选，步骤G中，对极线上的各点逐次计算视差，直至算法遍历图像上每一条极线的每一个点，最后得到稠密视差图。
采用上述技术方案所带来的有益效果在于：本发明首先建立了鱼眼相机平行双目视觉系统模型并进行分析，推导出鱼眼图像的极线方程以及鱼眼图像深度计算公式。然后，针对鱼眼图像变形严重，传统匹配窗口内容不能一一对应，匹配代价计算存在较大偏差的问题，提出一种鱼眼图像立体匹配的支持邻域计算法，提高了匹配代价的计算准确度；最后根据得到的极线方程和支持邻域，实现了未经矫正鱼眼图像的稠密匹配。
附图说明
图1为鱼眼图像极线原理图。
图2为支持邻域图。
图3为整体算法流程图。
具体实施方式
(1)极线推导
鱼眼图像因其非线性成像模型，使得对应点的位置有很大差异。根据双目视觉系统的模型，推导出鱼眼图像的极线方程，作为确定待匹配像素点对应点搜索范围的依据。利用极线寻找对应点既可以加快算法的速度，同时也可以减少误匹配。
由于鱼眼镜头是非线性成像模型，所以同一物体在左右图像上的投影在大小、形态和位置上都存在着差异，造成对应点的搜索范围不确定。这时候引入极线约束，不仅能够缩小搜索范围，而且还可以减少误匹配的发生。以平行双目立体视觉系统为例，双目立体视觉中两个鱼眼相机的光轴平行，半球形镜头的四个极点el1、el2、er1、er2在一条直线上。如图1所示，P是空间上一点，其在左镜头球面的投影为Pl，左相机坐标系下，Pl可以表示为：
将该3D极曲线通过右鱼眼镜头投影到图像上，就可以得到像点在右图上的2D极曲线，方程为
为了方便后续对极曲线上的点逐一进行匹配处理，将α、β作为可控变量，式中，α为平面OlPOr与相机坐标系的y轴所成角，用来确定极曲线，α∈(0,π)。β是入射光线与相机坐标x轴所成角，用来确定极曲线上的点，β∈(0,π)。是投影点与X轴构成的夹角，联立方程求出α、β、θ、之间的变换关系：
将方程(2)代入(3)可以求出pl在右图像上极曲线的最终方程，以等立体角鱼眼相机为例，其极曲线方程为：
其中，g2＝1-sinβisinαj，g3＝sinβicosβicosαj。k1、k2、k3、k4均为常数：k1＝3i1m1-j1m1，k2＝3i1m2-j1m2，k3＝3i2m1-j2m1，k4＝3i2m2-j2m2。可得到通用的平行鱼眼双目立体视觉的2D极曲线方程。在进行具体应用时，极线坐标可以线下计算，建成查找表，匹配时可直接引用。
(2)支持邻域确定
三维空间内一点Pw与相机坐标系X轴所组成的平面与Y轴所成角为α，α∈(0,π)。过点PW与Y轴构成的平面与X轴所称角为γ，γ∈(0,π)。假设过Pw点的空间直线CD在左相机坐标系中投射到左镜头球面的α角大小为αl，在右相机坐标系中投射到右镜头球面的α角大小为αr，在平行鱼眼双目视觉中αl＝αr；过Pw点空间直线上AB在左相机坐标系下γ等于γl，在右相机坐标系中γ等于γr。即以左相机坐标系为参考系时γ相同的点，在以右相机坐标系为参考系时γ也相等。本文根据鱼眼双目立体视觉成像的这特性，推导出鱼眼图像不同位置像素点，在不同视差情况下的支持邻域，解决因图像变形引起的常规匹配窗口内支持邻域对应性不确定问题，提高鱼眼图像的匹配精度。具体推导过程如下：
如图2所示，以左相机坐标系为参考，空间点PW沿着经过镜头光心的直线方法在左镜头球面上的投影点为Pl，在左相机坐标系为参考系，其坐标为
式中，β是入射光线与在极平面上与X轴所称角，β∈(0,π)。假设入射光线与Y轴构成的角为ω，ω∈(0,π)。则Pl点坐标也可以表示为
Ql点是Pl点的相邻点，是空间点QW在镜头球面的投影点，与Pl点具有相同的γ，且所在极曲线与Y轴所成角为α1，经过Ql点的入射光线与X轴所称角为β1。以左相机坐标系为参考系时，Ql坐标可以表示为
与计算Pl点各参数间的关系同理，可以求得Ql点γ、β1、α1间的关系式：
又因为Ql、Pl具有相同的γ，cosβ1的正负号由cosγ决定，联立(6)和(7)可得
在平行双目立体视觉系统中，PW、QW在另一个镜头球面的投影点Pr、Qr，其所在极曲线角度分别为α、α1，Pr、Qr在右镜头球面也具有相同的γ′。根据上述求解过程，可以得到左镜头球面上Pl点相邻点集(即支持邻域)内所有点，在右镜头球面上对应的投影。因此，在对未经矫正的圆形鱼眼图像进行立体匹配的过程中，就可以准确的确定对应点间的支持邻域。解决了由于图像变形引起的对应点间的支持邻域对应性不确定，基于区域的立体匹配算法在圆形鱼眼图像中匹配精度不高的问题。并且，这种求解对应点间支持邻域的方法适用于鱼眼图像上所有的点。该支持邻域计算方法，使得在理论上，基于区域的各种经典局部匹配算法都可以用于圆形鱼眼图像，并得到精度较高的稠密视差图。
(3)匹配代价计算
确定支持邻域后，以SAD作为代价函数，以本发明支持邻域为匹配窗口，计算视差范围内所有候选点的匹配代价。
(4)动态规划算法分析
统基于动态规划的立体匹配算法，假设扫描线上的点满足视差平滑变化要求，并根据该假设定义一个能量函数；然后，对扫描线建立相应的视差空间图，以全局能量最小为最优准则，在视差空间图上寻找最优路径；最后，把整条扫描线上能量最小时的各点对应的视差值作为最优视差。能量方程如下：
Ed＝Edata+Esmooth (9)
式中，Edata是数据项，数值是视差为d时的初始匹配代价，衡量两个像素间的相似性；Esmooth是平滑项，它的大小由相邻点间的平滑关系决定。
采用基于动态规划算法进行立体匹配，首先要将整个规划过程进行阶段划分，并确定每个阶段的状态，划分阶段后，根据顺序性约束，从上一阶段到当前阶段的状态转移有七种情况。
划分阶段后，对经过对极矫正的鱼眼图像的每一条扫描线建立视差空间图，图的横坐标是扫描线上每个像素点的坐标i，图的纵坐标是视差dj。图上空间单元(j,i)代表了该极线上第i个像素点视差为j时的能量，用Z(i,dj)表示，计算公式为两点的相似度加上平滑项。
Z(dj,i)＝Edata(dj,i)+Esmooth(i-1,i) (10)
(4)WTA决策
以右图作为参考图，基于WTA的局部匹配算法是通过以下公式计算参考图上点p的视差dp，
式中，是窗口中心像素点的匹配代价，大小等于窗口内各像素点的匹配代价之和，点q是待匹配像素点p的支持邻域内的点。
(5)稠密视差图
通过以上步骤，对极线上的各点逐次计算视差，直至算法遍历图像上每一条极线的每一个点，最后得到稠密视差图。
在完成极线推导和支持邻域计算后，需要构造一个能量函数。然后，对每一条极线，基于支持邻域计算各点与所有候选点的相似度，并利用动态规划算法实现稠密匹配。
为了证明本发明提出的鱼眼图像支持邻域，能够减少匹配代价计算存在的偏差，改善鱼眼图像匹配算法的准确性，做了下述仿真实验：(1)标记出鱼眼图像中的特征点，然后利用局部算法对真实鱼眼图像中的标记的特征点进行立体匹配，并统计特征点的匹配结果，利用得到具体实验数据定量的分析本文极曲线和支持邻域对鱼眼图像匹配算法性能的改善作用。(2)对虚拟鱼眼图像和真实鱼眼图像利用局部算法进行稠密匹配，通过观察对比匹配结果图，定性的评价本文极曲线方程和支持邻域对鱼眼图像局部匹配算法性能的改善作用。(3)对虚拟鱼眼图像和真实鱼眼图像利用动态规划算法进行稠密匹配，通过观察对比匹配结果图，定性的评价本发明极曲线方程和支持邻域对鱼眼图像全局匹配算法性能的改善作用。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (7)
1.一种鱼眼双目视觉立体匹配空间定位方法，其特征在于包括以下步骤：
A、推导极线，
根据双目视觉系统的模型，推导出鱼眼图像的极线方程，作为确定待匹配像素点对应点搜索范围的依据；
B、计算支持邻域，
三维空间内一点Pw与相机坐标系X轴所组成的平面与Y轴所成角为α，α∈(0,π)；过点PW与Y轴构成的平面与X轴所称角为γ，γ∈(0,π)；设过Pw点的空间直线CD在左相机坐标系中投射到左镜头球面的α角大小为αl，在右相机坐标系中投射到右镜头球面的α角大小为αr，在平行鱼眼双目视觉中αl＝αr；过Pw点空间直线上AB在左相机坐标系下γ等于γl，在右相机坐标系中γ等于γr；即以左相机坐标系为参考系时γ相同的点，在以右相机坐标系为参考系时γ也相等；根据上述特诊，推导出鱼眼图像不同位置像素点，在不同视差情况下的支持邻域，解决因图像变形引起的常规匹配窗口内支持邻域对应性不确定问题，提高鱼眼图像的匹配精度；
C、匹配代价计算，
确定支持邻域后，以SAD作为代价函数，以本发明支持邻域为匹配窗口，计算视差范围内所有候选点的匹配代价；
D、设定能量方程；
E、动态规划算法分析，
采用基于动态规划算法进行立体匹配，首先要将整个规划过程进行阶段划分，并确定每个阶段的状态，划分阶段后，根据顺序性约束，从上一阶段到当前阶段的状态转移有七种情况；
F、WTA决策，
计算参考图上点p的视差dp；
G、建立稠密视差图。
2.根据权利要求1所述的鱼眼双目视觉立体匹配空间定位方法，其特征在于：步骤A中，双目立体视觉中两个鱼眼相机的光轴平行，半球形镜头的四个极点el1、el2、er1、er2在一条直线上；P是空间上一点，其在左镜头球面的投影为Pl，左相机坐标系下，Pl表示为：
将该3D极曲线通过右鱼眼镜头投影到图像上，得到像点在右图上的2D极曲线，方程为
为了方便后续对极曲线上的点逐一进行匹配处理，将α、β作为可控变量，式中，α为平面OlPOr与相机坐标系的y轴所成角，用来确定极曲线，α∈(0,π)；β是入射光线与相机坐标x轴所成角，用来确定极曲线上的点，β∈(0,π)；是投影点与X轴构成的夹角，联立方程求出α、β、θ、之间的变换关系：
将方程(2)代入(3)求出pl在右图像上极曲线的最终方程，其极曲线方程为：
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>x</mi>
<mi>r</mi>
</msub>
<mo>=</mo>
<msqrt>
<mn>2</mn>
</msqrt>
<msub>
<mi>fcos&beta;</mi>
<mi>i</mi>
</msub>
<msup>
<msub>
<mi>g</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mo>-</mo>
<mn>2</mn>
<msub>
<mi>j</mi>
<mn>1</mn>
</msub>
<msub>
<mi>m</mi>
<mn>2</mn>
</msub>
<msup>
<mi>f</mi>
<mn>2</mn>
</msup>
<msub>
<mi>g</mi>
<mn>2</mn>
</msub>
<mo>-</mo>
<mn>4</mn>
<msub>
<mi>j</mi>
<mn>2</mn>
</msub>
<msub>
<mi>m</mi>
<mn>2</mn>
</msub>
<msup>
<mi>f</mi>
<mn>4</mn>
</msup>
<msup>
<msub>
<mi>g</mi>
<mn>2</mn>
</msub>
<mn>2</mn>
</msup>
<mo>+</mo>
<mn>2</mn>
<msup>
<mi>f</mi>
<mn>2</mn>
</msup>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<msubsup>
<mi>g</mi>
<mn>1</mn>
<mrow>
<mo>-</mo>
<mn>2</mn>
</mrow>
</msubsup>
<msub>
<mi>g</mi>
<mn>3</mn>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>2</mn>
<msup>
<mi>f</mi>
<mn>2</mn>
</msup>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
<msup>
<mi>cos</mi>
<mn>2</mn>
</msup>
<msub>
<mi>&beta;</mi>
<mi>i</mi>
</msub>
<msubsup>
<mi>g</mi>
<mn>1</mn>
<mrow>
<mo>-</mo>
<mn>2</mn>
</mrow>
</msubsup>
<mo>+</mo>
<mn>4</mn>
<msup>
<mi>f</mi>
<mn>4</mn>
</msup>
<msub>
<mi>k</mi>
<mn>3</mn>
</msub>
<msubsup>
<mi>g</mi>
<mn>1</mn>
<mrow>
<mo>-</mo>
<mn>2</mn>
</mrow>
</msubsup>
<msub>
<mi>g</mi>
<mn>2</mn>
</msub>
<msub>
<mi>g</mi>
<mn>3</mn>
</msub>
<mo>-</mo>
<mn>4</mn>
<msup>
<mi>f</mi>
<mn>4</mn>
</msup>
<msub>
<mi>k</mi>
<mn>4</mn>
</msub>
<msubsup>
<mi>g</mi>
<mn>1</mn>
<mrow>
<mo>-</mo>
<mn>2</mn>
</mrow>
</msubsup>
<msub>
<mi>g</mi>
<mn>2</mn>
</msub>
<msup>
<mi>cos</mi>
<mn>2</mn>
</msup>
<msub>
<mi>&beta;</mi>
<mi>i</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>y</mi>
<mi>r</mi>
</msub>
<mo>=</mo>
<msqrt>
<mn>2</mn>
</msqrt>
<msub>
<mi>fsin&beta;</mi>
<mi>i</mi>
</msub>
<msub>
<mi>cos&alpha;</mi>
<mi>j</mi>
</msub>
<msup>
<msub>
<mi>g</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mo>+</mo>
<mn>6</mn>
<msub>
<mi>i</mi>
<mn>1</mn>
</msub>
<msub>
<mi>m</mi>
<mn>1</mn>
</msub>
<msup>
<mi>f</mi>
<mn>2</mn>
</msup>
<msub>
<mi>g</mi>
<mn>2</mn>
</msub>
<mo>+</mo>
<mn>12</mn>
<msub>
<mi>i</mi>
<mn>2</mn>
</msub>
<msub>
<mi>m</mi>
<mn>1</mn>
</msub>
<msup>
<mi>f</mi>
<mn>4</mn>
</msup>
<msubsup>
<mi>g</mi>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<mn>2</mn>
<msup>
<mi>f</mi>
<mn>2</mn>
</msup>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<msubsup>
<mi>g</mi>
<mn>1</mn>
<mrow>
<mo>-</mo>
<mn>2</mn>
</mrow>
</msubsup>
<msup>
<mi>cos</mi>
<mn>2</mn>
</msup>
<msub>
<mi>&beta;</mi>
<mi>i</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>2</mn>
<msup>
<mi>f</mi>
<mn>2</mn>
</msup>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
<msubsup>
<mi>g</mi>
<mn>1</mn>
<mrow>
<mo>-</mo>
<mn>2</mn>
</mrow>
</msubsup>
<msub>
<mi>g</mi>
<mn>3</mn>
</msub>
<mo>-</mo>
<mn>4</mn>
<msup>
<mi>f</mi>
<mn>4</mn>
</msup>
<msub>
<mi>k</mi>
<mn>3</mn>
</msub>
<msubsup>
<mi>g</mi>
<mn>1</mn>
<mrow>
<mo>-</mo>
<mn>2</mn>
</mrow>
</msubsup>
<msub>
<mi>g</mi>
<mn>2</mn>
</msub>
<msup>
<mi>cos</mi>
<mn>2</mn>
</msup>
<msub>
<mi>&beta;</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mn>4</mn>
<msup>
<mi>f</mi>
<mn>4</mn>
</msup>
<msub>
<mi>k</mi>
<mn>4</mn>
</msub>
<msubsup>
<mi>g</mi>
<mn>1</mn>
<mrow>
<mo>-</mo>
<mn>2</mn>
</mrow>
</msubsup>
<msub>
<mi>g</mi>
<mn>2</mn>
</msub>
<msub>
<mi>g</mi>
<mn>3</mn>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>-</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，g2＝1-sinβisinαj，g3＝sinβicosβicosαj，k1、k2、k3、k4均为常数：k1＝3i1m1-j1m1，k2＝3i1m2-j1m2，k3＝3i2m1-j2m1，k4＝3i2m2-j2m2；得到通用的平行鱼眼双目立体视觉的2D极曲线方程。
3.根据权利要求1所述的鱼眼双目视觉立体匹配空间定位方法，其特征在于：步骤B中，以左相机坐标系为参考，空间点PW沿着经过镜头光心的直线方法在左镜头球面上的投影点为Pl，在左相机坐标系为参考系，其坐标为
<mrow>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mi>X</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>Y</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>Z</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mi>R</mi>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi>&beta;</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>R</mi>
<mi>sin</mi>
<mi>&beta;</mi>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi>&alpha;</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>R</mi>
<mi>sin</mi>
<mi>&beta;</mi>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mi>&alpha;</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
式中，β是入射光线与在极平面上与X轴所称角，β∈(0,π)；设入射光线与Y轴构成的角为ω，ω∈(0,π)；则Pl点坐标表示为
<mrow>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mi>X</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>Y</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>Z</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mi>R</mi>
<mi>sin</mi>
<mi>w</mi>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi>&gamma;</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>R</mi>
<mi>cos</mi>
<mi>w</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>R</mi>
<mi>sin</mi>
<mi>w</mi>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mi>&gamma;</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
Ql点是Pl点的相邻点，是空间点QW在镜头球面的投影点，与Pl点具有相同的γ，且所在极曲线与Y轴所成角为α1，经过Ql点的入射光线与X轴所称角为β1；以左相机坐标系为参考系时，Ql坐标可以表示为
<mrow>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>X</mi>
<mi>q</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>Y</mi>
<mi>q</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>Z</mi>
<mi>q</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mi>R</mi>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<msub>
<mi>&beta;</mi>
<mn>1</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>Rsin&beta;</mi>
<mn>1</mn>
</msub>
<msub>
<mi>cos&alpha;</mi>
<mn>1</mn>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>Rsin&beta;</mi>
<mn>1</mn>
</msub>
<msub>
<mi>sin&alpha;</mi>
<mn>1</mn>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
与计算Pl点各参数间的关系同理，求得Ql点γ、β1、α1间的关系式：
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>sin&beta;</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<msqrt>
<mfrac>
<mrow>
<msup>
<mi>sin</mi>
<mn>2</mn>
</msup>
<mi>&gamma;</mi>
</mrow>
<mrow>
<msup>
<mi>sin</mi>
<mn>2</mn>
</msup>
<msup>
<mi>&gamma;cos</mi>
<mn>2</mn>
</msup>
<msub>
<mi>&alpha;</mi>
<mn>1</mn>
</msub>
<mo>+</mo>
<msup>
<mi>sin</mi>
<mn>2</mn>
</msup>
<msub>
<mi>&alpha;</mi>
<mn>1</mn>
</msub>
</mrow>
</mfrac>
</msqrt>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>cos&beta;</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<mo>&PlusMinus;</mo>
<msqrt>
<mfrac>
<mrow>
<msup>
<mi>cos</mi>
<mn>2</mn>
</msup>
<msup>
<mi>&gamma;sin</mi>
<mn>2</mn>
</msup>
<msub>
<mi>&alpha;</mi>
<mn>1</mn>
</msub>
</mrow>
<mrow>
<mn>1</mn>
<mo>-</mo>
<msup>
<mi>cos</mi>
<mn>2</mn>
</msup>
<msup>
<mi>&gamma;cos</mi>
<mn>2</mn>
</msup>
<msub>
<mi>&alpha;</mi>
<mn>1</mn>
</msub>
</mrow>
</mfrac>
</msqrt>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
又因为Ql、Pl具有相同的γ，cosβ1的正负号由cosγ决定，联立(6)和(7)得
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>sin&beta;</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mi>&beta;</mi>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mi>&alpha;</mi>
</mrow>
<msqrt>
<mrow>
<mn>1</mn>
<mo>-</mo>
<msup>
<mi>cos</mi>
<mn>2</mn>
</msup>
<msup>
<mi>&beta;cos</mi>
<mn>2</mn>
</msup>
<msub>
<mi>&alpha;</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msup>
<mi>sin</mi>
<mn>2</mn>
</msup>
<msup>
<mi>&beta;cos</mi>
<mn>2</mn>
</msup>
<mi>&alpha;</mi>
</mrow>
</msqrt>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>cos&beta;</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>cos&beta;sin&alpha;</mi>
<mn>1</mn>
</msub>
</mrow>
<msqrt>
<mrow>
<mn>1</mn>
<mo>-</mo>
<msup>
<mi>cos</mi>
<mn>2</mn>
</msup>
<msup>
<mi>&beta;cos</mi>
<mn>2</mn>
</msup>
<msub>
<mi>&alpha;</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msup>
<mi>sin</mi>
<mn>2</mn>
</msup>
<msup>
<mi>&beta;cos</mi>
<mn>2</mn>
</msup>
<mi>&alpha;</mi>
</mrow>
</msqrt>
</mfrac>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
在平行双目立体视觉系统中，PW、QW在另一个镜头球面的投影点Pr、Qr，其所在极曲线角度分别为α、α1，Pr、Qr在右镜头球面也具有相同的γ′。
4.根据权利要求1所述的鱼眼双目视觉立体匹配空间定位方法，其特征在于：步骤D中，统基于动态规划的立体匹配算法，设扫描线上的点满足视差平滑变化要求，并定义一个能量函数；然后，对扫描线建立相应的视差空间图，以全局能量最小为最优准则，在视差空间图上寻找最优路径；最后，把整条扫描线上能量最小时的各点对应的视差值作为最优视差能量方程如下：
Ed＝Edata+Esmooth (9)
式中，Edata是数据项，数值是视差为d时的初始匹配代价，衡量两个像素间的相似性；Esmooth是平滑项，它的大小由相邻点间的平滑关系决定。
5.根据权利要求1所述的鱼眼双目视觉立体匹配空间定位方法，其特征在于：步骤E中，划分阶段后，对经过对极矫正的鱼眼图像的每一条扫描线建立视差空间图，图的横坐标是扫描线上每个像素点的坐标i，图的纵坐标是视差dj；图上空间单元(j,i)代表了该极线上第i个像素点视差为j时的能量，用Z(i,dj)表示，计算公式为两点的相似度加上平滑项，
Z(dj,i)＝Edata(dj,i)+Esmooth(i-1,i) (10)。
6.根据权利要求1所述的鱼眼双目视觉立体匹配空间定位方法，其特征在于：步骤F中，视差dp，为
其中，是窗口中心像素点的匹配代价，大小等于窗口内各像素点的匹配代价之和，点q是待匹配像素点p的支持邻域内的点。
7.根据权利要求1所述的鱼眼双目视觉立体匹配空间定位方法，其特征在于：步骤G中，对极线上的各点逐次计算视差，直至算法遍历图像上每一条极线的每一个点，最后得到稠密视差图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711444215.2A CN107909543A (zh) | 2017-12-27 | 2017-12-27 | 一种鱼眼双目视觉立体匹配空间定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711444215.2A CN107909543A (zh) | 2017-12-27 | 2017-12-27 | 一种鱼眼双目视觉立体匹配空间定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107909543A true CN107909543A (zh) | 2018-04-13 |
Family
ID=61871514
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711444215.2A Pending CN107909543A (zh) | 2017-12-27 | 2017-12-27 | 一种鱼眼双目视觉立体匹配空间定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107909543A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113053057A (zh) * | 2019-12-26 | 2021-06-29 | 杭州海康微影传感科技有限公司 | 火点定位系统及方法 |
| CN113436269A (zh) * | 2021-06-15 | 2021-09-24 | 影石创新科技股份有限公司 | 图像稠密立体匹配方法、装置和计算机设备 |
| CN113592791A (zh) * | 2021-07-16 | 2021-11-02 | 华中科技大学 | 一种基于局部能量最小化的轮廓立体匹配方法及系统 |
| WO2021232222A1 (zh) * | 2020-05-19 | 2021-11-25 | 华为技术有限公司 | 用于测距的方法和装置 |
| US11403768B2 (en) | 2019-12-27 | 2022-08-02 | Industrial Technology Research Institute | Method and system for motion prediction |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105574875A (zh) * | 2015-12-18 | 2016-05-11 | 燕山大学 | 一种基于极曲线几何的鱼眼图像稠密立体算法 |
-
2017
- 2017-12-27 CN CN201711444215.2A patent/CN107909543A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105574875A (zh) * | 2015-12-18 | 2016-05-11 | 燕山大学 | 一种基于极曲线几何的鱼眼图像稠密立体算法 |
Non-Patent Citations (1)
| Title |
|---|
| 熊文莉: ""基于鱼眼镜头的双目立体视觉匹配算法的研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113053057A (zh) * | 2019-12-26 | 2021-06-29 | 杭州海康微影传感科技有限公司 | 火点定位系统及方法 |
| US11403768B2 (en) | 2019-12-27 | 2022-08-02 | Industrial Technology Research Institute | Method and system for motion prediction |
| WO2021232222A1 (zh) * | 2020-05-19 | 2021-11-25 | 华为技术有限公司 | 用于测距的方法和装置 |
| CN113436269A (zh) * | 2021-06-15 | 2021-09-24 | 影石创新科技股份有限公司 | 图像稠密立体匹配方法、装置和计算机设备 |
| CN113592791A (zh) * | 2021-07-16 | 2021-11-02 | 华中科技大学 | 一种基于局部能量最小化的轮廓立体匹配方法及系统 |
| CN113592791B (zh) * | 2021-07-16 | 2024-02-13 | 华中科技大学 | 一种基于局部能量最小化的轮廓立体匹配方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107909543A (zh) | 一种鱼眼双目视觉立体匹配空间定位方法 | |
| CN106091984B (zh) | 一种基于线激光的三维点云数据获取方法 | |
| CN109816703B (zh) | 一种基于相机标定和icp算法的点云配准方法 | |
| CN104680496B (zh) | 一种基于彩色图像分割的Kinect深度图修复方法 | |
| CN105118055B (zh) | 摄影机定位修正标定方法及系统 | |
| CN101908230B (zh) | 一种基于区域深度边缘检测和双目立体匹配的三维重建方法 | |
| CN104154875B (zh) | 基于两轴旋转平台的三维数据获取系统及获取方法 | |
| CN104778694B (zh) | 一种面向多投影拼接显示的参数化自动几何校正方法 | |
| CN108876749A (zh) | 一种鲁棒的镜头畸变校正方法 | |
| CN103854291B (zh) | 四自由度双目视觉系统中的摄像机标定方法 | |
| CN105627926A (zh) | 四像机组平面阵列特征点三维测量系统及测量方法 | |
| CN103983186B (zh) | 双目视觉系统校正方法及校正设备 | |
| CN109523595A (zh) | 一种建筑工程直线棱角间距视觉测量方法 | |
| CN111210468A (zh) | 一种图像深度信息获取方法及装置 | |
| CN103945207B (zh) | 一种基于视点合成的立体图像垂直视差消除方法 | |
| JP2010513907A (ja) | カメラシステムのキャリブレーション | |
| CN106504321A (zh) | 使用照片或视频重建三维牙模的方法及使用rgbd图像重建三维牙模的方法 | |
| JPWO2012039043A1 (ja) | ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム | |
| CN110264528A (zh) | 一种鱼眼镜头双目像机快速自标定方法 | |
| CN104677277B (zh) | 一种测量物体几何属性或距离的方法及系统 | |
| CN105389543A (zh) | 基于全方位双目视觉深度信息融合的移动机器人避障装置 | |
| CN103278138A (zh) | 一种复杂结构薄部件三维位置及姿态的测量方法 | |
| CN102831601A (zh) | 基于联合相似性测度和自适应支持权重的立体匹配方法 | |
| CN112258586B (zh) | 一种面向单平面镜立体视觉模型参数的标定方法 | |
| CN110738608B (zh) | 一种平面图像校正方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180413 |