CN110706334B - 一种基于三目视觉的工业部件三维重构方法 - Google Patents

一种基于三目视觉的工业部件三维重构方法 Download PDF

Info

Publication number
CN110706334B
CN110706334B CN201910916885.2A CN201910916885A CN110706334B CN 110706334 B CN110706334 B CN 110706334B CN 201910916885 A CN201910916885 A CN 201910916885A CN 110706334 B CN110706334 B CN 110706334B
Authority
CN
China
Prior art keywords
camera
image
edge
vertical
horizontal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910916885.2A
Other languages
English (en)
Other versions
CN110706334A (zh
Inventor
谢巍
莫志敏
张浪文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910916885.2A priority Critical patent/CN110706334B/zh
Publication of CN110706334A publication Critical patent/CN110706334A/zh
Application granted granted Critical
Publication of CN110706334B publication Critical patent/CN110706334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明的目的是提出一种基于三目视觉的工业部件重构方法，以推动机器视觉技术在工业生产的应用，提高工业机器人自主识别作业环境以及作业部件的能力。具体包括如下步骤：A、特征提取：利用呈直角等腰三角形排列的三个摄像机来获取原始图像，然后利用Canny滤波器的检测方法实现图像梯度方向的特征提取；B、将提取到的图像特征进行关联：首先要分析出需要进行关联的特征；然后使用SAD算法来对特征之间的相似性进行度量；再使用一般配置来对极线关联变换进行计算；最后对相关的像素点的准确性进行计算；C、3D重建：利用B步骤中得到的相关联的像素点得到两条投影射线，并做出所述两条投影射线的公垂线段，以所述公垂线段的中点作为3D点来实现三维重建。

Description

一种基于三目视觉的工业部件三维重构方法
技术领域
本发明属于机器视觉技术领域，具体涉及到工业部件的三维重构方法。
背景技术
随着智能制造与柔性制造的不断发展，对工业机器人的自主作业的要求也越来越高。工业机器人难以识别出其作业环境以及作业部件严重影响了其效率的提高。因此，将机器视觉技术应用在工业机器人上，提高工业机器人的识别作业环境的能力，会极大的提高智能制造的水平。
作为计算机视觉技术的一个重要分支，基于视觉的三维重建技术以D.Marr的视觉理论框架为基础，形成了多种理论方法。根据摄像机数目的不同，可分为单目视觉法、双目视觉法以及三目视觉法或多目视觉法。单目视觉由于只使用一个摄像机，设备结构简单，复杂度低，成本较低，重建时间满足或接近实时要求，然而由于只有一个摄像机，其方法依赖依稀假设条件，方法通用性差，且易受到某些条件(如光照)影响，重建效果不稳定。双目视觉法使用两台摄像机从两个视点观测同一物体，获取物体在不同视角下的感知图像，再通过三角测量的方法将匹配点的时差信息转换为深度，实现三维重建。其解决了一些单目视觉的问题，但由于摄像机的数目不够，其在重建时容易产生假目标，平行于外极线的边缘容易模糊，在物体被遮挡时难以进行重建，产生错误匹配的概率也比较大，这些问题严重影响双目视觉的发展。
为解决上述问题，研究人员提出了三目视觉法，三目视觉法的重建效果在很多情况优于双目视觉方法。但是如何利用好三台摄像机的资源，更好、更快地实现三维重构，仍是技术人员需要解决的问题。
发明内容
本发明的目的是提出一种基于三目视觉的工业部件重构方法，以推动机器视觉技术在工业生产的应用，提高工业机器人自主识别作业环境以及作业部件的能力。
本发明的基于三目视觉的工业部件重构方法包括如下步骤：
A、特征提取：利用左侧摄像机、右侧摄像机和下方摄像机来获取原始图像，三个摄像机的连线构成包括水平边、垂直边及斜边的直角等边三角形，从而构造出垂直镜像对和水平镜像对两个边缘检测器，其中左侧摄像机分别与右侧摄像机、下方摄像机呈直角关系；然后利用Canny滤波器的检测方法实现图像梯度方向的特征提取；
B、将提取到的图像特征进行关联：首先要分析出需要进行关联的特征；然后使用SAD算法来对特征之间的相似性进行度量；再使用一般配置来对极线关联变换进行计算；最后对相关的像素点的准确性进行计算；
C、3D重建：利用B步骤中得到的相关联的像素点得到两条投影射线，并做出所述两条投影射线的公垂线段，以所述公垂线段的中点作为3D点来实现三维重建。
上述A步骤具体包括如下分步骤：
A1、使用垂直和水平的Sobel算子来对图像进行高通滤波，得到垂直和水平的高频图像梯度分量；
A2、对垂直边缘进行水平抑制，对水平边缘进行垂直抑制，将垂直边缘和水平边缘均细化为像素宽度；
A3、对水平边缘和垂直边缘两个方向进行双阈值处理；
A4、根据所需的边缘方向进行垂直或水平方向连接。
在双目视觉系统中，往往仅有垂直极线的垂直镜像对或者水平极线的水平镜像对，而边缘在垂直于边缘的方向上有高频分量，在沿边缘的方向具有非常低的频率分量。因而，垂直镜像对可以很好的提取水平边缘的特征，但无法识别垂直边缘的特征；水平镜像对可以重建垂直边缘点，但无法处理水平边缘点。本发明利用直角等边三角形排列的三台摄像机，构造出一个垂直对和一个水平对，充分利用图像的高频分量来实现各个方向的特征提取，成功避免了双目视觉方法中的边缘模糊的问题。
上述B步骤中使用SAD算法来对特征之间的相似性进行度量的方法如下：采用窗口比较的方法，利用SAD算法对两个窗口中的像素的相似性进行度量，采用的公式如下：
Figure BDA0002216439110000021
其中I1和I2是图像中两个进行比较的窗口，x、y是窗口中心的坐标，SAD(x，y)表示两个窗口的像素的差的绝对值的和。
上述B步骤中使用一般配置来对极线关联变换进行计算的方法如下：
采取一般配置来进行极线计算与关联，以均匀坐标表示的三个摄像机的基本矩阵公式如下：
Figure BDA0002216439110000031
其中，pL、pR分别是左、右侧摄像机拍摄的图片的像素点，pB是下方摄像机拍摄的图片的像素点，FLR是左、右侧摄像机的关联矩阵，FLB是下方摄像机的关联矩阵；利用上述公式(2)得到所需图像的极线；然后求出相关点的搜索线，具体如下：首先对左侧摄像机拍摄的图像中的每个点pL采取以下步骤：
a、反投影pL，获得其相关的投影光线rL；
b、以左侧摄像机的坐标表示以下两个平面：
Figure BDA0002216439110000032
利用上述公式(3)中的两个平面来对rL剪切，得到两个平面内的投影线段rL’；
c、在世界坐标系中变换rL’，获得RL；所述RL表示的是世界坐标系下的投影线段rL’；
d、利用世界坐标系上的六个平面对RL进行剪切，经过剪切后，将重建的空间限制为感兴趣的子空间；所述六个平面如下述公式(4)表示：
Figure BDA0002216439110000033
e、在右侧摄像机和下方摄像机的坐标系中变换RL，分别获得rR和rB；所述rR和rB分别是以右侧摄像机和下方摄像机坐标系表示的投影线段RL；
f、用在右侧摄像机的坐标系下的平面Z＝Zmin和Z＝Zmax来对投影光线rR进行剪切，得到剪切后的投影光线rR’；用在下方摄像机的坐标系下的平面Z＝Zmin和Z＝Zmax来对投影光线rB进行剪切，得到剪切后的投影光线rB’；
g、在左侧摄像机拍摄的图像中投影rR’和rB’，获得右侧搜索线sR和底部搜索线sB；
h、使用比图像稍小的矩形对sR和sB进行剪切，确保相关窗口不会越过图像边界。
上述B步骤中对相关的像素点的准确性进行计算时，对左侧摄像机中图像中边缘点的相关性进行判定，首先确定该边缘点是垂直边缘点还是水平边缘点，如果是垂直边缘点，使用右侧摄像机进行关联，如果是水平边缘点，使用下方摄像机进行关联；如果是倾斜边缘点pL，使用左侧摄像机进行关联，使用下方摄像机进行验证；具体验证步骤如下：
a、使用Bresenham算法来跟踪右侧搜索线sR和底部搜索线SB，对于搜索线上的每个点，计算左图像窗口和相关窗口的SAD；
b、搜索最小的SAD，如果最小值低于设定的阈值，说明像素点的视觉信息不够，无法进行重建，若搜索成功，可以实现像素点的三维重建；
c、比较SAD的全局最小值与其他最小值，如果SAD的全局最小值大于或等于其他最小值，则搜索失败；所述其他最小值所对应的像素点与SAD的全局最小值所对应像素点的间距至少三个像素点。
d、使用二次插值将最小位置细化为子像素精度。
本发明采用三目视觉进行重建的方法，其中左下摄像对可以有效的提取水平边缘的特征，左右摄像对可以垂直边缘进行提取，将两个摄像对的特征进行关联，就可以结合水平特征和垂直特征的信息，实现物体的三维重建。
附图说明
附图1是三个摄像机的排列图。
附图2是基于三目视觉的工业部件三维重构的流程图。
附图3是图像的特征提取示意图。
附图4是子像素精度插值的示意图。
附图5是像素点的3D重构过程。
具体实施方式
下面对照附图，通过对实施实例的描述，对本发明的具体实施方式如所涉及的各构件的形状、构造、各部分之间的相互位置及连接关系、各部分的作用及工作原理等作进一步的详细说明。
实施例1：
本实施例提出了一种基于三目视觉的工业部件重构方法，以推动机器视觉技术在工业生产的应用，提高工业机器人自主识别作业环境以及作业部件的能力。
如图2所示，本实施例的基于三目视觉的工业部件重构方法包括如下步骤：
A、特征提取：利用左侧摄像机、右侧摄像机和下方摄像机来获取原始图像，如图1所示，三个摄像机的连线构成包括水平边、垂直边及斜边的直角等腰三角形，从而构造出垂直镜像对和水平镜像对两个边缘检测器，其中左侧摄像机分别与右侧摄像机、下方摄像机呈直角关系，下方摄像机对水平边缘进行特征提取，左、右侧摄像机对垂直边缘进行特征提取；然后利用Canny滤波器的检测方法实现图像梯度方向的特征提取；
具体如图3所示，包括如下分步骤：
A1、使用垂直和水平的Sobel算子来对图像进行高通滤波，得到垂直和水平的高频图像梯度分量；
A2、对垂直边缘进行水平抑制，对水平边缘进行垂直抑制，将垂直边缘和水平边缘均细化为像素宽度；
A3、对水平边缘和垂直边缘两个方向进行双阈值处理；
A4、根据所需的边缘方向进行垂直或水平方向连接。
B、将提取到的图像特征进行关联：
首先要分析出需要进行关联的特征：本实例采用三目视觉进行重建的方法，其中左下摄像对可以有效的提取水平边缘的特征，左右摄像对可以垂直边缘进行提取，将两个摄像对的特征进行关联，就可以结合水平特征和垂直特征的信息，实现物体的三维重建，因此需要进行关联的特征为左下摄像对和左右摄像对所提取的特征。
然后使用SAD算法来对特征之间的相似性进行度量：直接对像素点进行比较是非常模糊的，这是因为沿着极线方向，很多像素都有这相同的强度值，并且像素强度也容易受到噪声影响。因此，可以采取窗口比较的方法，将需要比较的像素点放在窗口中间。本实施例采用固定窗口的方法，因此需要确定窗口的大小。小窗口可以在遮挡区域附近提供更高的精度，但也更加模糊。大窗口较为清晰，但在遮挡区域附近精度较低，而且由于窗口较大导致计算时间较长。对这两方面的优劣性进行权衡，最后采取了7x7的窗口大小。对于像素窗口相似性的度量有3种方法，分别是归一化的互相关值，平方差的和(SSD)和绝对差的和(SAD)，考虑到速度问题，本实施例中采取SAD方法对相似性进行度量采用窗口比较，利用SAD算法对两个窗口中的像素的相似性进行度量，采用的公式如下：
Figure BDA0002216439110000061
其中I1和I2是图像中两个进行比较的窗口，x、y是窗口中心的坐标，SAD(x，y)表示两个窗口的像素的差的绝对值的和。
再使用一般配置来对极线关联变换进行计算；采取一般配置来进行极线计算与关联，在这种配置下，极线方向由内在和外在的摄像机参数进行推导得到。摄像机的基本矩阵表示了将一个立体图像中的点与另一个立体图像中的极线相关联的变换，每个摄像机都有自己的基本矩阵，以均匀坐标表示的三个摄像机的基本矩阵公式如下：
Figure BDA0002216439110000062
其中，pL、pR分别是左、右侧摄像机拍摄的图片的像素点，pB是下方摄像机拍摄的图片的像素点，FLR是左、右侧摄像机的关联矩阵，FLB是下方摄像机的关联矩阵；利用上述公式(2)得到所需图像的极线；相关点的几何轨迹称为搜索线，然后求出相关点的搜索线，具体如下：首先对左侧摄像机拍摄的图像中的每个点pL采取以下步骤：
a、反投影pL，获得其相关的投影光线rL；
b、以左侧摄像机的坐标表示以下两个平面：
Figure BDA0002216439110000071
利用上述公式(3)中的两个平面来对rL剪切，得到两个平面内的投影线段rL’；
c、在世界坐标系中变换rL’，获得RL；所述RL表示的是世界坐标系下的投影线段rL’；
d、利用世界坐标系上的六个平面对RL进行剪切，经过剪切后，将重建的空间限制为感兴趣的子空间；所述六个平面如下述公式(4)表示：
Figure BDA0002216439110000072
e、在右侧摄像机和下方摄像机的坐标系中变换RL，分别获得rR和rB；所述rR和rB分别是以右侧摄像机和下方摄像机坐标系表示的投影线段RL；
f、用在右侧摄像机的坐标系下的平面Z＝Zmin和Z＝Zmax来对投影光线rR进行剪切，得到剪切后的投影光线rR’；用在下方摄像机的坐标系下的平面Z＝Zmin和Z＝Zmax来对投影光线rB进行剪切，得到剪切后的投影光线rB’；
g、在左侧摄像机拍摄的图像中投影rR’和rB’，获得右侧搜索线sR和底部搜索线sB；
h、使用比图像稍小的矩形对sR和sB进行剪切，确保相关窗口不会越过图像边界。
最后对相关的像素点的准确性进行计算：在计算时，对左侧摄像机中图像中边缘点的相关性进行判定，首先确定该边缘点是垂直边缘点还是水平边缘点，如果是垂直边缘点，使用右侧摄像机进行关联，如果是水平边缘点，使用下方摄像机进行关联；如果是倾斜边缘点pL，使用左侧摄像机进行关联，使用下方摄像机进行验证；具体验证步骤如下：
a、使用Bresenham算法来跟踪右侧搜索线sR和底部搜索线sB，对于搜索线上的每个点，计算左图像窗口和相关窗口的SAD；
b、搜索最小的SAD，如果最小值低于设定的阈值，说明像素点的视觉信息不够，无法进行重建，若搜索成功，可以实现像素点的三维重建；
c、比较SAD的全局最小值与其他最小值，如果SAD的全局最小值大于或等于其他最小值，则搜索失败；所述其他最小值所对应的像素点与SAD的全局最小值所对应像素点的间距至少三个像素点。
d、使用二次插值将最小位置细化为子像素精度，如附图4所示，细线表示的是SAD与像素点的关系，粗线表示的是经过SAD最小的三个点的二次曲线，其顶点就是要插入的最小值。
C、3D重建：利用B步骤中得到的相关联的像素点得到两条投影射线，并做出所述两条投影射线的公垂线段，以所述公垂线段的中点作为3D点来实现三维重建。
附图5为像素点进行3D重构的过程，对于一个像素点M，首先要找到它在不同图的投影射线，由于重构误差，这两条射线不会相交，因此，可以找到这两条射线的公垂线段，并令其处于B步骤所述的感兴趣空间内，则可以将这个公垂线段的中点作为点M的三维重构点。对于倾斜的边缘点，需要进行进一步的测试，将重建点投影到底部摄像机图像中并评估其相关性SAD。如果该值低于设定的阈值，则丢弃重建的点。图5中OL表示的是左摄像机的中心坐标，ML表示的是像素点M在左摄像机拍摄的图片的投影；OR表示的是右摄像机的中心坐标，MR表示的是像素点M在右摄像机拍摄的图片的投影。
上面结合附图对本发明进行了示例性描述，显然本发明具体设计并不受上述方式的限制，只要采用了本发明的构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。

Claims (4)

1.一种基于三目视觉的工业部件重构方法，其特征在于包括如下步骤：
A、特征提取：利用左侧摄像机、右侧摄像机和下方摄像机来获取原始图像，三个摄像机的连线构成包括水平边、垂直边及斜边的直角等边三角形，从而构造出垂直镜像对和水平镜像对两个边缘检测器，其中左侧摄像机分别与右侧摄像机、下方摄像机呈直角关系；然后利用Canny滤波器的检测方法实现图像梯度方向的特征提取；
B、将提取到的图像特征进行关联：首先要分析出需要进行关联的特征；然后使用SAD算法来对特征之间的相似性进行度量；对极线关联变换进行计算；最后对相关的像素点的准确性进行计算；
C、3D重建：利用B步骤中得到的相关联的像素点得到两条投影射线，并做出所述两条投影射线的公垂线段，以所述公垂线段的中点作为3D点来实现三维重建；
上述所述B步骤中对极线关联变换进行计算的方法如下：
进行极线计算与关联，以均匀坐标表示的三个摄像机的基本矩阵公式如下：
Figure FDA0004153506260000011
其中，pL、pR分别是左、右侧摄像机拍摄的图片的像素点，pB是下方摄像机拍摄的图片的像素点，FLR是左、右侧摄像机的关联矩阵，FLB是下方摄像机的关联矩阵；利用上述公式(2)得到所需图像的极线；然后求出相关点的搜索线，具体如下：首先对左侧摄像机拍摄的图像中的每个点pL采取以下步骤：
a、反投影pL，获得其相关的投影光线rL；
b、以左侧摄像机的坐标表示以下两个平面：
Figure FDA0004153506260000021
利用上述公式(3)中的两个平面来对rL剪切，得到两个平面内的投影线段rL’；
c、在世界坐标系中变换rL’，获得RL；所述RL表示的是世界坐标系下的投影线段；
d、利用世界坐标系上的六个平面对RL进行剪切，经过剪切后，将重建的空间限制为感兴趣的子空间；所述六个平面如下述公式(4)表示：
Figure FDA0004153506260000022
e、在右侧摄像机和下方摄像机的坐标系中变换RL，分别获得rR和rB；所述rR和rB分别是以右侧摄像机和下方摄像机坐标系表示的投影线段；
f、用在右侧摄像机的坐标系下的平面Z＝zmin和Z＝zmax来对投影光线rR进行剪切，得到剪切后的投影光线rR’；用在下方摄像机的坐标系下的平面Z＝zmin和Z＝zmax来对投影光线rB进行剪切，得到剪切后的投影光线rB’；
g、在左侧摄像机拍摄的图像中投影rR’和rB’，获得右侧搜索线sR和底部搜索线sB；
h、使用比图像稍小的矩形对sR和sB进行剪切，确保相关窗口不会越过图像边界。
2.根据权利要求1所述的基于三目视觉的工业部件重构方法，其特征在于所述A步骤具体包括如下分步骤：
A1、使用垂直和水平的Sobel算子来对图像进行高通滤波，得到垂直和水平的高频图像梯度分量；
A2、对垂直边缘进行水平抑制，对水平边缘进行垂直抑制，将垂直边缘和水平边缘均细化为像素宽度；
A3、对水平边缘和垂直边缘两个方向进行双阈值处理；
A4、根据所需的边缘方向进行垂直或水平方向连接。
3.根据权利要求1所述的基于三目视觉的工业部件重构方法，其特征在于所述B步骤中使用SAD算法来对特征之间的相似性进行度量的方法如下：采用窗口比较的方法，利用SAD算法对两个窗口中的像素的相似性进行度量，采用的公式如下：
Figure FDA0004153506260000031
其中I1和I2是图像中两个进行比较的窗口，x、y是窗口中心的坐标，SAD12(x,y)表示两个窗口的像素的差的绝对值的和。
4.根据权利要求1所述的基于三目视觉的工业部件重构方法，其特征在于所述B步骤中对相关的像素点的准确性进行计算时，对左侧摄像机中图像中边缘点的相关性进行判定，首先确定该边缘点是垂直边缘点还是水平边缘点，如果是垂直边缘点，使用右侧摄像机进行关联，如果是水平边缘点，使用下方摄像机进行关联；如果是倾斜边缘点，使用左侧摄像机进行关联，使用下方摄像机进行验证；具体验证步骤如下：
a、使用Bresenham算法来跟踪右侧搜索线sR和底部搜索线sB，对于搜索线上的每个点，计算左图像窗口和相关窗口的SAD；
b、搜索最小的SAD，如果最小值低于设定的阈值，说明像素点的视觉信息不够，无法进行重建，若搜索成功，可以实现像素点的三维重建；
c、比较SAD的全局最小值与其他最小值，如果SAD的全局最小值大于或等于其他最小值，则搜索失败；所述其他最小值所对应的像素点与SAD的全局最小值所对应像素点的间距至少三个像素点；
d、使用二次插值将最小位置细化为子像素精度。
CN201910916885.2A 2019-09-26 2019-09-26 一种基于三目视觉的工业部件三维重构方法 Active CN110706334B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910916885.2A CN110706334B (zh) 2019-09-26 2019-09-26 一种基于三目视觉的工业部件三维重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910916885.2A CN110706334B (zh) 2019-09-26 2019-09-26 一种基于三目视觉的工业部件三维重构方法

Publications (2)

Publication Number Publication Date
CN110706334A CN110706334A (zh) 2020-01-17
CN110706334B true CN110706334B (zh) 2023-05-09

Family

ID=69196490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910916885.2A Active CN110706334B (zh) 2019-09-26 2019-09-26 一种基于三目视觉的工业部件三维重构方法

Country Status (1)

Country Link
CN (1) CN110706334B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107481267A (zh) * 2017-08-14 2017-12-15 华南理工大学 一种基于双目视觉的摄像投影交互系统及方法
CN107907048A (zh) * 2017-06-30 2018-04-13 长沙湘计海盾科技有限公司 一种基于线结构光扫描的双目立体视觉三维测量方法
CN109584356A (zh) * 2018-11-23 2019-04-05 东南大学 一种M-array图像自适应局部窗口解码的多视重构方法
WO2019100933A1 (zh) * 2017-11-21 2019-05-31 蒋晶 用于三维测量的方法、装置以及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107907048A (zh) * 2017-06-30 2018-04-13 长沙湘计海盾科技有限公司 一种基于线结构光扫描的双目立体视觉三维测量方法
CN107481267A (zh) * 2017-08-14 2017-12-15 华南理工大学 一种基于双目视觉的摄像投影交互系统及方法
WO2019100933A1 (zh) * 2017-11-21 2019-05-31 蒋晶 用于三维测量的方法、装置以及系统
CN109584356A (zh) * 2018-11-23 2019-04-05 东南大学 一种M-array图像自适应局部窗口解码的多视重构方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
The trinocular general support algo-rithm:a three-camera stereo algrithm for overcoming binocular matching errors;Charles V. Stewart et.al;《Proc of the 2nd International Conference on Compu-ter Vision.1988》;19880531;第1-40页 *
三目立体视觉外极线校正及其FPGA实现方法;安路平等;《北京理工大学学报》;20051030(第10期);全文 *
三目视觉图像的极线校正方法;李秀智等;《光电工程》;20071015(第10期);全文 *
基于双目视觉三维重建的关键问题研究;李小鹏;《中国优秀硕士学位论文全文数据库》;20150315(第03期);第8、29-32、41-43、52-55页 *
基于网格点投影灰度相似性的三维重建新方法;徐刚等;《光学学报》;20081115(第11期);全文 *
基于视觉的三维重建技术综述;佟帅等;《计算机应用研究》;20110715(第07期);第2411-2417页 *

Also Published As

Publication number Publication date
CN110706334A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
Gomez-Ojeda et al. PL-SVO: Semi-direct monocular visual odometry by combining points and line segments
KR101923845B1 (ko) 이미지 처리 방법 및 장치
US9191650B2 (en) Video object localization method using multiple cameras
AU2016355215A1 (en) Methods and systems for large-scale determination of RGBD camera poses
Hebborn et al. Occlusion matting: realistic occlusion handling for augmented reality applications
CN110599522B (zh) 一种视频序列中动态目标检测剔除方法
CN109902675B (zh) 物体的位姿获取方法、场景重构的方法和装置
Ramirez et al. Open challenges in deep stereo: the booster dataset
Pan et al. Depth map completion by jointly exploiting blurry color images and sparse depth maps
Lu et al. Stereo disparity optimization with depth change constraint based on a continuous video
CN107358624B (zh) 单目稠密即时定位与地图重建方法
CN110706334B (zh) 一种基于三目视觉的工业部件三维重构方法
Lui et al. An Iterative 5-pt Algorithm for Fast and Robust Essential Matrix Estimation.
CN113129348B (zh) 一种基于单目视觉的道路场景中车辆目标的三维重建方法
Sato et al. Efficient hundreds-baseline stereo by counting interest points for moving omni-directional multi-camera system
Thangarajah et al. Vision-based registration for augmented reality-a short survey
Cao et al. Depth image vibration filtering and shadow detection based on fusion and fractional differential
Wei et al. Dense and occlusion-robust multi-view stereo for unstructured videos
Yoshimoto et al. Cubistic representation for real-time 3D shape and pose estimation of unknown rigid object
Ait-Jellal et al. A fast dense stereo matching algorithm with an application to 3d occupancy mapping using quadrocopters
Chotikakamthorn Near point light source location estimation from shadow edge correspondence
Matsumoto et al. Real-time enhancement of RGB-D point clouds using piecewise plane fitting
Lasang et al. Optimal depth recovery using image guided TGV with depth confidence for high-quality view synthesis
Azali et al. Stereo matching algorithm using census transform and segment tree for depth estimation
US9961327B2 (en) Method for extracting eye center point

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant