CN104930985B - 基于时空约束的双目视觉三维形貌测量方法 - Google Patents
基于时空约束的双目视觉三维形貌测量方法 Download PDFInfo
- Publication number
- CN104930985B CN104930985B CN201510330853.6A CN201510330853A CN104930985B CN 104930985 B CN104930985 B CN 104930985B CN 201510330853 A CN201510330853 A CN 201510330853A CN 104930985 B CN104930985 B CN 104930985B
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- mtd
- mtr
- msup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012876 topography Methods 0.000 title claims abstract description 14
- 238000000691 measurement method Methods 0.000 title claims abstract description 8
- 230000003287 optical effect Effects 0.000 claims abstract description 86
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000005259 measurement Methods 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 26
- 230000000717 retained effect Effects 0.000 claims abstract description 6
- 239000000284 extract Substances 0.000 claims description 12
- 230000005484 gravity Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000002474 experimental method Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 150000001875 compounds Chemical class 0.000 claims 1
- 239000000463 material Substances 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 5
- 239000002131 composite material Substances 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004441 surface measurement Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明基于时空约束的双目视觉三维形貌测量方法属于计算机视觉测量技术领域，涉及一种基于时空约束的双目视觉三维形貌测量方法。该方法针对大型复合材料构件表面形貌，采用激光扫描双目视觉测量系统进行图像采集和图像处理；提取边缘信息，建立约束条件。结合时间维度信息预测光条位置，建立适度的感兴趣提取区域，快速高精度的提取对应左、右光条图像的激光光条中心；对在边界约束内的光条中心信息进行保留，对在约束外的光条中心信息予以剔除。将保留的光条中心信息和边界信息进行匹配和重建，最终还原完整的三维形貌信息。本发明提高了测量效率，测量精度高，检测信息完整，运算速度快，可满足大型零部件表面的三维形貌测量。
Description
技术领域
本发明属于计算机视觉测量技术领域，涉及一种基于时空约束的双目视觉三维形貌测量方法。
背景技术
随着汽车工业、航空航天领域、模具和重大装备零部件制造技术的迅速发展，人们对制造的精度和质量提出了更高的要求。例如飞机平垂尾等大型零部件的三维形貌的高精度测量是其高质量连接装配的前提和保证，对于这种大型尺寸且不规则的物体表面的三维精确测量是现代测量技术中的一个难题。而基于激光结构光扫描的双目视觉测量方法是近些年研究比较热点的一种三维形貌测量方法，这种方法具有检测速度快、测量精度高、自动化程度高而且测量非接触等优势。该方法是利用双目相机采集辅助激光条纹图像并进行光条中心的提取和匹配、重建，来实现被测物体形面轮廓的高精度测量。然而这种方法的测量效果往往由于测量环境的影响导致光条在被测物体表面投射质量变差，以至于光条信息在物体边界处产生溢出或缺失，最后使得三维形貌测量结果在边界处信息不够精确和完整。因此，如何实现快速高精度且完整的三维形貌测量是目前亟待解决的一个重要难题。
张文增等人的发明专利号为CN 101476881，发明名称为“一字激光立旋式三维形貌测量装置及其方法”的专利，发明了一种视觉测量装置，利用一字线激光器旋转扫描来实现三维形貌测量，该装置能够检测出各个方向的边缘信息。但由于采用单目相机进行三维测量，需要结合装置的已知精确的位置关系来进行求解，算法复杂影响测量效率且易受中间过程的影响，并且未考虑激光光条在被测物体边缘处受到的影响。王从军等人的专利号CN1971205的发明“一种便携式面结构光逆向测量系统”利用柔性测量臂和测量头结合进行三维形貌测量，同时采用接触式测量头测量关键特征尺寸和轮廓数据以及光栅扫描头测量复杂工件的表面点云数据；但是，由于装置包括6个旋转关节的机械臂，运动部件多，结构复杂，精度难以得到保证，且装置成本较高。
发明内容
本发明要解决的技术难题是针对大型零部件表面三维形貌测量过程中边缘信息提取不完整、不精确以及测量效率低的问题，发明了一种基于时空约束的双目视觉三维形貌测量方法。该方法针对大型复合材料构件表面形貌，采用基于激光结构光扫描的双目视觉测量系统进行图像采集；对零、构件轮廓边界进行边缘提取，通过被测目标边界约束提取光条有效信息，并结合时间维度信息缩小光条提取感兴趣区域，提高测量效率，最终能够实现快速完整的三维形貌高精度测量。
本发明采用的技术方案是一种基于时空约束的双目视觉三维形貌测量方法，其特征是，该方法针对大型复合材料构件表面形貌，采用基于激光结构光扫描的双目视觉测量系统进行图像采集和图像处理；对零、构件轮廓边界进行边缘提取，并由此建立基于边界信息的光条提取约束条件；结合时间维度信息预测光条位置，建立适度的感兴趣提取区域，从而快速高精度的提取对应左、右光条图像的激光光条中心；对在边界约束内的光条中心信息进行保留，对在约束外的光条中心信息予以剔除；将保留的光条中心信息和边界信息进行匹配和重建，最终还原完整的三维形貌信息；方法具体步骤如下：
第一步对被测物体表面形貌进行图像采集和图像处理，提取轮廓边缘，建立时空约束条件
1)轮廓边缘提取方法
对于双目视觉测量系统采集的被测物体表面形貌的图像，首先采用Sobel算子进行边缘检测，达到像素级的边缘提取精度；对应图像二维函数f(x,y)的一阶导数表达式为：
其中，G(x,y)为图像二维函数f(x,y)的梯度，Gx和Gy分别是对x和y的偏导数。Sobel算子将方向差分运算与局部平均相结合，利用像素点(x,y)附近的3×3的邻域来计算梯度值，其两个卷积模板为：
采用∞范数衡量梯度的幅值|G(x,y)|＝max(|Gx|,|Gy|)，即将两个模板算子的最大值作为该点的输出位；然后计算每一点的梯度值，将梯度最大处定义为边界；
2)基于边界信息建立光条提取约束条件
根据上述提取到的轮廓边缘点，构成封闭的边界信息,将边界及边界内的二维图像区域定义为边界约束函数R(x,y)，若在边界约束内则赋值为1，在边界约束外赋值为0，即
粗提取光条中心时，假设得到的光条中心圆整后为(i,j)；若R(i,j)＝1，则保留其光条中心信息，进而进行光条中心的精提取，若R(i,j)＝0，则去除该部分的光条信息；最后得到的将仅剩有用精确地光条中心信息；
3)基于时间维度信息的约束
根据激光器的扫描速度和摄像机的采集帧数，初步预测光条的实时位置，建立光条实时位置预测模型，
Δi＝d tanα-d tan(α-φi) (5)
其中，ω为激光器的扫描速度，即转角速度，f为摄像机的采集帧数，φi为采集到的第i张光条图像的激光器转角，d为激光器到测量对象的垂直距离，α为激光器到测量对象的垂直方向与初始扫描位置之间的夹角，Δi为第i张光条图像的实时位置B与初始光条扫描位置A的距离；根据距离Δi向左右分别扩展一个光条宽度定义为光条图像的感兴趣区域，从而建立光条实时位置约束；
第二步光条中心提取方法
1)有效光条信息获取
根据上述确定的光条图像感兴趣区域，逐行搜索光条的左右边界；利用几何中心法求得每行的光条中心点，
其中，(xli,yli)、(xri,yri)分别代表第i行左、右边界点坐标；对几何中心坐标(xi,yi)取整得到然后进行边界约束条件检验，即计算若则提出该光条中心点，若则予以保留进行下一步光条中心精提取；
2)精提取光条中心信息
以上述得到的光条几何中心为初始点左右搜索光条边界位置，在左右边界的光条宽度上进行灰度重心计算，得到精提取的光条中心；假设左右边界的列区间为(p,q)，则光条灰度重心为
其中，(ui,vi)为第i行光条灰度重心坐标，Iij为第i行第j列灰度值；
第三步三维形貌还原方法
根据上述第一、二步得到的结果，利用双目视觉系统左、右摄像机极线约束来完成对应左、右图像边界点和光条中心的匹配；假设左图像边界点或光条中心点xi′与右图像边界点或光条中心点xi′′相匹配，根据极线约束条件：
其中，xi′为左摄像机采集的图像边界点和光条中心点的像面坐标；xi′′为与xi′相匹配由右摄像机所采集图像边界点和光条中心点的像面坐标；F为两摄像机之间的基本矩阵；
对上述左、右图像中所有匹配上的边界点和光条中心点进行三维重建，得到边界点和光条中心点在世界坐标系下的三维坐标值，重建公式如下：
其中，xi′＝(Xi′,Yi′)，Xi′，Yi′分别为左相机采集的图像边界点或光条中心点xi′在像面坐标系下的横、纵坐标；xi′′＝(Xi′′,Yi′′)，Xi′′，Yi′′分别为右摄像机采集的图像光斑中心点xi‘′在像面坐标系下的横、纵坐标；f1、f2分别为左、右摄像机标定得到的焦距；是右摄像机相对于左摄像机的旋转矩阵，[tx ty tz]是右摄像机相对于左摄像机的平移矩阵，由标定实验得到；则(xi,yi,zi)为重建出来的对应点的三维坐标。
本发明的有益效果是采用边界约束条件对粗提取的光条中心进行约束验证，并结合时间维度信息缩小光条提取感兴趣区域，提高了测量效率；测量精度高，检测信息完整，运算速度快，可满足一般大型零部件表面的三维形貌测量。
附图说明
图1为基于扫描运动的光条位置预测示意图。图中，1-被测物体表面，2-激光器，A-初始光条扫描位置，B-第i张图像的光条实时位置，C-激光器到被测物表面的垂直位置，d-激光器到测量对象的垂直距离，f-摄像机的采集帧数。
图2为基于时空约束的双目视觉三维形貌测量方法的测量流程图。
具体实施方式
以下结合技术方案和附图详细叙述本发明的具体实施方式。本方法首先基于激光结构光扫描的双目视觉测量系统进行图像采集和图像预处理，对零、构件轮廓边界进行边缘提取，基于边界空间几何信息和时间维度信息约束激光扫描光条的实时提取位置，以实现双目图像中激光光条中心的高精度提取与匹配，进而实现大型零、构件表面的三维形貌测量。附图1为基于扫描运动的光条位置预测示意图。被测物体1为1.2×0.6m的t800复合材料板，调整激光器2的位置使光条投射到被测物体1上，激光器2作扫描运动，调整摄像机焦距采集清晰光条图像。
实施例1，本发明采用分别配置广角镜头的左右两个摄像机拍摄一幅光条图像。摄像机型号为viewworks VC-12MC-M/C 65摄像机，分辨率：4096×3072，图像传感器：CMOS，帧率：全画幅，最高64.3fps，重量：420g。广角镜头型号为EF 16-35mm f/2.8L II USM，参数如下所示，镜头焦距：f＝16-35，APS焦距：25.5-52.5，光圈：F2.8，镜头尺寸：82×106。拍摄条件如下：图片像素为4096×3072，镜头焦距为17mm，物距为750mm，视场约为800mm×800mm。
附图2为基于时空约束的双目视觉三维形貌测量方法的测量流程图，首先采用双目激光视觉测量系统对被测物体表面1进行图像采集和图像预处理，然后对被测物体表面1的表面形貌轮廓边界进行边缘提取，建立时空约束条件。整个三维形貌测量过程分为边界约束的建立和光条位置的实时预测、以及光条中心的提取、边界和光条中心点的匹配和三维重建等步骤。根据边界约束来提取有效的光条中心信息，剔除多余信息，根据光条位置的实时预测建立合理的光条提取感兴趣区域，提高光条提取效率。最终实现快速完整高精度的三维形貌测量。
根据该测量流程，整个三维形貌测量分为边缘提取建立时空约束、光条中心提取和三维形貌还原三个主要步骤。
1.提取轮廓边缘，建立时空约束条件
1)轮廓边缘提取方法
本实例首先根据sobel边缘检测算子模板公式(2)对左右两个摄像机分别拍摄被测物体表面1的图像进行边缘检测，将检测到的图像边缘点像素坐标分别进行保存。
2)基于边界信息建立光条提取约束条件
根据上述提取到的轮廓边缘点，利用边界约束公式(3)对整个二维图像大小的矩阵R(x,y)进行赋值，即对边界及边界以内的区域赋值为1，对边界约束外的区域赋值为0。通过该赋值约束，可以实现在后续步骤中对检测到的光条中心位置(i,j)进行约束条件验证，若R(i,j)＝1，则保留其光条中心信息，进而进行光条中心的精提取，若R(i,j)＝0，则去除该部分的光条信息；最后得到的将仅剩有用精确地光条中心信息。
3)基于时间维度信息的约束
本实例实验采用激光器2以一定角速度ω扫描被测物体表面1，摄像机以采集帧数f采集光条图像，采集的第一张图像的光条位置为初始光条扫描位置A，再结合公式(4)和(5)可以计算出摄像机采集的第i张光条的实时位置B，以及激光器到被测物表面的垂直位置C，根据公式(5)中的距离Δi左右分别扩展一个光条宽度定义为光条图像的感兴趣区域从而建立光条实时位置约束。
2.光条中心提取方法
1)有效光条信息获取
根据上述确定的光条图像感兴趣区域，逐行搜索光条的左右边界点坐标(xli,yli)和(xri,yri)，结合几何光条中心提取公式(6)计算得到第i行光条几何中心(xi,yi)。对几何中心坐标(xi,yi)取整得到然后进行边界约束条件验证，即计算若则剔除该光条中心信息，若则予以保留进行下一步光条中心精提取；
2)精提取光条中心信息
以上述得到的光条几何中心为初始点左右搜索光条边界列位置p和q，结合灰度重心计算公式(7)即可得到较精确地光条中心坐标(ui,vi)。
3.三维形貌还原方法
根据上述步骤得到的左摄像机图像的边界点坐标和光条中心点坐标xi′＝(ui,vi)坐采用公式(8)即可得到右摄像机图像上匹配到的对应位置的边界点和光条中心点坐标xi′′＝(ui′,vi′)。得到左、右图像所有匹配到的边界点和光条中心点后，采用公式(9)进行三维重建得到被测物表面边界点和光条中心点在世界坐标系下的三维坐标(xi,yi,zi)，重建出所有匹配点后便得到被测物表面三维形貌点云信息。
本发明采用边界约束条件对粗提取的光条中心进行约束验证，对满足光条提取边界约束条件的光条中心信息进行保留进行下一步精提取运算，对不满足条件的光条中心信息进行剔除，然后结合光条扫描运动和扫描时间预测光条的实时位置，进一步缩小光条提取感兴趣区域，减小运算量。
Claims (1)
1.一种基于时空约束的双目视觉三维形貌测量方法，其特征是，该方法针对大型复合材料构件表面形貌，采用基于激光结构光扫描的双目视觉测量系统进行图像采集和图像处理；并对轮廓边界进行边缘提取，建立基于边界信息的光条提取约束条件；结合时间维度信息预测光条位置，建立适度的感兴趣提取区域，快速高精度的提取对应左、右光条图像的激光光条中心；对在边界约束内的光条中心信息进行保留，对在约束外的光条中心信息予以剔除；将保留的光条中心信息和边界信息进行匹配和重建，最终还原完整的三维形貌信息；方法具体步骤如下：
第一步 对被测物体表面形貌进行图像采集和图像处理，提取轮廓边缘，建立时空约束条件
1)轮廓边缘提取方法
对于双目视觉测量系统采集的被测物体表面形貌的图像，首先采用Sobel算子进行边缘检测，达到像素级的边缘提取精度；对应图像二维函数f(x,y)的一阶导数表达式为：
<mrow>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msup>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>G</mi>
<mi>x</mi>
</msub>
</mtd>
<mtd>
<msub>
<mi>G</mi>
<mi>y</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mi>T</mi>
</msup>
<mo>=</mo>
<msup>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mo>&part;</mo>
<mi>f</mi>
<mo>/</mo>
<mo>&part;</mo>
<mi>x</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>&part;</mo>
<mi>f</mi>
<mo>/</mo>
<mo>&part;</mo>
<mi>y</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mi>T</mi>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，G(x,y)为图像二维函数f(x,y)的梯度，Gx和Gy分别是对x和y的偏导数；Sobel算子将方向差分运算与局部平均相结合，利用像素点(x,y)附近的3×3的邻域来计算梯度值，其两个卷积模板为：
<mrow>
<msub>
<mi>G</mi>
<mi>x</mi>
</msub>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>2</mn>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>2</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
<msub>
<mi>G</mi>
<mi>y</mi>
</msub>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>2</mn>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>2</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
采用∞范数衡量梯度的幅值|G(x,y)|＝max(|Gx|,|Gy|)，即将两个模板算子的最大值作为该点的输出位；然后计算每一点的梯度值，将梯度最大处定义为边界；
2)基于边界信息建立光条提取约束条件
根据上述提取到的轮廓边缘点，构成封闭的边界信息,将边界及边界内的二维图像区域定义为边界约束函数R(x,y)，若在边界约束内则赋值为1，在边界约束外赋值为0，即
<mrow>
<mi>R</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>w</mi>
<mi>i</mi>
<mi>t</mi>
<mi>h</mi>
<mi>i</mi>
<mi>n</mi>
<mi> </mi>
<mi>b</mi>
<mi>o</mi>
<mi>u</mi>
<mi>n</mi>
<mi>d</mi>
<mi>a</mi>
<mi>r</mi>
<mi>y</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>b</mi>
<mi>e</mi>
<mi>y</mi>
<mi>o</mi>
<mi>n</mi>
<mi>d</mi>
<mi> </mi>
<mi>b</mi>
<mi>o</mi>
<mi>u</mi>
<mi>n</mi>
<mi>d</mi>
<mi>a</mi>
<mi>r</mi>
<mi>y</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
粗提取光条中心时，假设得到的光条中心位置为(i,j)；若R(i,j)＝1，则保留其光条中心信息，进而进行光条中心的精提取，若R(i,j)＝0，则去除该部分的光条信息；最后得到的将仅剩有用精确地光条中心信息；
3)基于时间维度信息的约束
根据激光器的扫描速度和摄像机的采集帧数，初步预测光条的实时位置，建立光条实时位置预测模型，
<mrow>
<msub>
<mi>&phi;</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mi>&omega;</mi>
<mo>&CenterDot;</mo>
<mi>i</mi>
</mrow>
<mi>f</mi>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
Δi＝d tanα-d tan(α-φi) (5)
其中，ω为激光器的扫描速度，即转角速度，f为摄像机的采集帧数，φi为采集到的第i张光条图像的转角位置，d为激光器到测量对象的垂直距离，α为激光器到测量对象的垂直方向与初始扫描位置之间的夹角，Δi为第i张光条图像的实时位置B与初始光条扫描位置A的距离；根据距离Δi向左右分别扩展一个光条宽度定义为光条图像的感兴趣区域从而建立光条实时位置约束；
第二步 光条中心提取方法
1)有效光条信息获取
根据上述确定的光条图像感兴趣区域，逐行搜索光条的左右边界；利用几何中心法求得每行的光条中心点，
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
<mo>=</mo>
<mo>(</mo>
<mfrac>
<mrow>
<msub>
<mi>xl</mi>
<mi>i</mi>
</msub>
<mo>+</mo>
<msub>
<mi>xr</mi>
<mi>i</mi>
</msub>
</mrow>
<mn>2</mn>
</mfrac>
<mo>,</mo>
<mfrac>
<mrow>
<msub>
<mi>yl</mi>
<mi>i</mi>
</msub>
<mo>+</mo>
<msub>
<mi>yr</mi>
<mi>i</mi>
</msub>
</mrow>
<mn>2</mn>
</mfrac>
<mo>)</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，(xli,yli)、(xri,yri)分别代表第i行左、右边界点坐标；对几何中心坐标(xi,yi)取整得到然后进行边界约束条件检验，即计算若则剔除该光条中心点，若则予以保留进行下一步光条中心精提取；
2)精提取光条中心信息
以上述得到的光条几何中心为初始点左右搜索光条边界位置，在左右边界的光条宽度上进行灰度重心计算，得到精提取的光条中心；假设左右边界的列区间为(p,q)，则光条灰度重心为
<mrow>
<mo>(</mo>
<msub>
<mi>u</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
<mo>=</mo>
<mfrac>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mi>p</mi>
</mrow>
<mi>q</mi>
</munderover>
<mi>j</mi>
<mo>&CenterDot;</mo>
<msub>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
</mrow>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mi>p</mi>
</mrow>
<mi>q</mi>
</munderover>
<msub>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，(ui,vi)为第i行光条灰度重心坐标，Iij为第i行第j列灰度值；
第三步 三维形貌还原方法
根据上述第一、二步得到的结果，利用双目视觉系统左、右摄像机极线约束来完成对应左、右图像边界点和光条中心的匹配；假设左图像边界点或光条中心点xi'与右图像边界点或光条中心点xi′′相匹配，根据极线约束条件：
<mrow>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mrow>
<mo>&prime;</mo>
<mi>T</mi>
</mrow>
</msubsup>
<msup>
<msub>
<mi>Fx</mi>
<msup>
<mi>i</mi>
<mo>&prime;</mo>
</msup>
</msub>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mn>0</mn>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，xi'＝(ui,vi)为左摄像机采集的图像边界点或光条中心点的像面坐标；xi′′＝(ui',vi')为与xi'相匹配由右摄像机所采集图像边界点或光条中心点的像面坐标；F为两摄像机之间的基本矩阵；
对上述左、右图像中所有匹配上的边界点和光条中心点进行三维重建，得到边界点和光条中心点在世界坐标系下的三维坐标值，重建公式如下：
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msup>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<msup>
<msub>
<mi>zX</mi>
<mi>i</mi>
</msub>
<mo>&prime;</mo>
</msup>
</mrow>
<mi>f</mi>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<msubsup>
<mi>zY</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
</mrow>
<msub>
<mi>f</mi>
<mn>1</mn>
</msub>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<msub>
<mi>z</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>f</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mn>2</mn>
</msub>
<msub>
<mi>t</mi>
<mi>y</mi>
</msub>
<mo>-</mo>
<msup>
<msub>
<mi>Y</mi>
<msup>
<mi>i</mi>
<mo>&prime;</mo>
</msup>
</msub>
<mo>&prime;</mo>
</msup>
<mo>,</mo>
<msub>
<mi>t</mi>
<mi>z</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>Y</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>r</mi>
<mn>7</mn>
</msub>
<msup>
<msub>
<mi>X</mi>
<mi>i</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mo>+</mo>
<msub>
<mi>r</mi>
<mn>8</mn>
</msub>
<msubsup>
<mi>Y</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
<mo>+</mo>
<msub>
<mi>r</mi>
<mn>9</mn>
</msub>
<msub>
<mi>f</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>f</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>r</mi>
<mn>4</mn>
</msub>
<msup>
<msub>
<mi>X</mi>
<mi>i</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mo>+</mo>
<msub>
<mi>r</mi>
<mn>5</mn>
</msub>
<msubsup>
<mi>Y</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
<mo>+</mo>
<msub>
<mi>r</mi>
<mn>6</mn>
</msub>
<msub>
<mi>f</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，假设xi'＝(Xi',Yi')，Xi'，Yi'分别为左摄像机采集的图像边界点或光条中心点xi'在像面坐标系下的横、纵坐标；xi′′＝(Xi′′,Yi′′)，Xi′′，Yi′′分别为右摄像机采集的图像光斑中心点xi‘'在像面坐标系下的横、纵坐标；f1、f2分别为左、右摄像机标定得到的焦距；是右摄像机相对于左摄像机的旋转矩阵，[tx ty tz]是右摄像机相对于左摄像机的平移矩阵，由标定实验得到；则(xi”,yi”,zi”)为重建出来的对应点的三维坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510330853.6A CN104930985B (zh) | 2015-06-16 | 2015-06-16 | 基于时空约束的双目视觉三维形貌测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510330853.6A CN104930985B (zh) | 2015-06-16 | 2015-06-16 | 基于时空约束的双目视觉三维形貌测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104930985A CN104930985A (zh) | 2015-09-23 |
| CN104930985B true CN104930985B (zh) | 2017-08-22 |
Family
ID=54118264
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510330853.6A Active CN104930985B (zh) | 2015-06-16 | 2015-06-16 | 基于时空约束的双目视觉三维形貌测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104930985B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105716539B (zh) * | 2016-01-26 | 2017-11-07 | 大连理工大学 | 一种快速高精度的三维形面测量方法 |
| CN106500628B (zh) * | 2016-10-19 | 2019-02-19 | 杭州思看科技有限公司 | 一种含有多个不同波长激光器的三维扫描方法及扫描仪 |
| CN106500627B (zh) * | 2016-10-19 | 2019-02-01 | 杭州思看科技有限公司 | 含有多个不同波长激光器的三维扫描方法及扫描仪 |
| CN107301648B (zh) * | 2017-06-09 | 2020-04-07 | 大连理工大学 | 基于重叠区域边界角度的冗余点云去除方法 |
| CN107563371B (zh) * | 2017-07-17 | 2020-04-07 | 大连理工大学 | 基于线激光光条的动态搜索感兴趣区域的方法 |
| CN107621226A (zh) * | 2017-07-18 | 2018-01-23 | 深圳大学 | 多目立体视觉的三维扫描方法及系统 |
| CN107516324B (zh) * | 2017-07-20 | 2019-12-17 | 大连理工大学 | 一种基于光条几何特征突变的目标边界提取方法 |
| CN108088390B (zh) * | 2017-12-13 | 2019-12-03 | 浙江工业大学 | 一种焊接检测中基于双目线结构光的光条中心三维坐标获取方法 |
| CN108446587B (zh) * | 2018-02-02 | 2021-08-03 | 浙江工业大学 | 一种基于眼球模型几何关系的虹膜中心定位方法 |
| CN109443244B (zh) * | 2018-10-19 | 2021-02-02 | 华中科技大学无锡研究院 | 剔除高光反射异常错误点的方法 |
| CN110749289B (zh) * | 2019-10-12 | 2021-03-16 | 湖北文理学院 | 路面三维纹理形貌精确测量装置及方法 |
| CN110842316B (zh) * | 2019-11-04 | 2021-03-02 | 武汉比天科技有限责任公司 | 基于双目视觉的连接件激光加工方法 |
| CN112907973B (zh) * | 2021-01-19 | 2023-04-25 | 四川星盾科技股份有限公司 | 机动车打刻编码的高精度完整信息采集与真实3d形貌复原比对系统及方法 |
| CN113049184A (zh) * | 2021-04-06 | 2021-06-29 | 中国人民解放军63853部队 | 一种质心测量方法、设备及存储介质 |
| CN113391298B (zh) * | 2021-04-30 | 2023-09-22 | 深圳市安思疆科技有限公司 | 一种激光雷达的参数标定方法和装置 |
| CN114723828B (zh) * | 2022-06-07 | 2022-11-01 | 杭州灵西机器人智能科技有限公司 | 一种基于双目视觉的多线激光扫描方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6580813B1 (en) * | 1998-08-10 | 2003-06-17 | W. Schlafhorst Ag & Co. | Method and apparatus for detecting residual yarn on spinning cop tubes |
| CN101504770A (zh) * | 2009-03-19 | 2009-08-12 | 北京航空航天大学 | 一种结构光光条中心的提取方法 |
| CN101832764A (zh) * | 2010-05-17 | 2010-09-15 | 南通北极光自动控制技术有限公司 | 三维激光扫描在线检测轮廓仪 |
-
2015
- 2015-06-16 CN CN201510330853.6A patent/CN104930985B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6580813B1 (en) * | 1998-08-10 | 2003-06-17 | W. Schlafhorst Ag & Co. | Method and apparatus for detecting residual yarn on spinning cop tubes |
| CN101504770A (zh) * | 2009-03-19 | 2009-08-12 | 北京航空航天大学 | 一种结构光光条中心的提取方法 |
| CN101832764A (zh) * | 2010-05-17 | 2010-09-15 | 南通北极光自动控制技术有限公司 | 三维激光扫描在线检测轮廓仪 |
Non-Patent Citations (1)
| Title |
|---|
| 结构光双目视觉重构系统的研究;揭平良;《中国优秀硕士学位论文全文数据库信息科技辑》;20141015;I138-926 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104930985A (zh) | 2015-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104930985B (zh) | 基于时空约束的双目视觉三维形貌测量方法 | |
| DE112020004810B4 (de) | Systeme und Verfahren zur Erfassung von Oberflächennormalen mit Polarisation | |
| CN105716539B (zh) | 一种快速高精度的三维形面测量方法 | |
| CN104574393B (zh) | 一种三维路面裂缝图像生成系统和方法 | |
| US10217293B2 (en) | Depth camera-based human-body model acquisition method and network virtual fitting system | |
| CN106780619B (zh) | 一种基于Kinect深度相机的人体尺寸测量方法 | |
| CN104318548B (zh) | 一种基于空间稀疏度和sift特征提取的快速图像配准实现方法 | |
| US20200226413A1 (en) | Fast and robust multimodal remote sensing images matching method and system | |
| CN103971406B (zh) | 基于线结构光的水下目标三维重建方法 | |
| CN109000557B (zh) | 一种核燃料棒位姿自动识别方法 | |
| CN110044374A (zh) | 一种基于图像特征的单目视觉测量里程的方法及里程计 | |
| CN106361345A (zh) | 基于摄像头标定的视频图像中人体身高测量的系统及方法 | |
| CN107248159A (zh) | 一种基于双目视觉的金属工件缺陷检测方法 | |
| CN106683173A (zh) | 一种基于邻域块匹配提高三维重建点云稠密程度的方法 | |
| CN106803286A (zh) | 基于多视点图像的虚实遮挡实时处理方法 | |
| CN108961400B (zh) | 一种文物智能辅助引导方法和引导系统 | |
| CN106996748A (zh) | 一种基于双目视觉的轮径测量方法 | |
| CN105046743A (zh) | 一种基于全局变分技术的超高分辨率三维重建方法 | |
| CN110648362B (zh) | 一种双目立体视觉的羽毛球定位识别与姿态计算方法 | |
| CN113393439A (zh) | 一种基于深度学习的锻件缺陷检测方法 | |
| Li et al. | Laser scanning based three dimensional measurement of vegetation canopy structure | |
| CN116563377A (zh) | 一种基于半球投影模型的火星岩石测量方法 | |
| Deng et al. | Binocular video-based 3D reconstruction and length quantification of cracks in concrete structures | |
| US7893947B2 (en) | Method for extracting edge in photogrammetry with subpixel accuracy | |
| Grifoni et al. | 3D multi-modal point clouds data fusion for metrological analysis and restoration assessment of a panel painting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |