CN114562957A - 基于双棱镜单摄像机立体视觉工业内窥镜系统及三维测量方法 - Google Patents

基于双棱镜单摄像机立体视觉工业内窥镜系统及三维测量方法 Download PDF

Info

Publication number
CN114562957A
CN114562957A CN202210189922.6A CN202210189922A CN114562957A CN 114562957 A CN114562957 A CN 114562957A CN 202210189922 A CN202210189922 A CN 202210189922A CN 114562957 A CN114562957 A CN 114562957A
Authority
CN
China
Prior art keywords
camera
image
module
left view
right view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210189922.6A
Other languages
English (en)
Other versions
CN114562957B (zh
Inventor
陈文建
胡梦瑶
李武森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202210189922.6A priority Critical patent/CN114562957B/zh
Priority claimed from CN202210189922.6A external-priority patent/CN114562957B/zh
Publication of CN114562957A publication Critical patent/CN114562957A/zh
Application granted granted Critical
Publication of CN114562957B publication Critical patent/CN114562957B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/954—Inspecting the inner surface of hollow bodies, e.g. bores
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Abstract

本发明公开了一种基于双棱镜和单摄像机立体视觉工业内窥镜系统及三维测量方法，系统包括：LED照明模块、双棱镜单摄像机模块、摄像机采集驱动模块、图像处理模块、显示模块以及数据存储与传输模块。方法包括：采集单幅含有左右视图的场景图像；将图像分割为左右两幅图像，并对其进行系统参数单目标定；对双棱镜单摄像机系统进行双目标定和立体校正；用LED照明模块照射被测物体表面，摄像机采集被测物体得到左右视图；对采集到的图像进行校正，并计算得到被测物体的视差，根据视差恢复被测物体特征点的三维坐标，在显示模块上显示其形貌特征及测量结果。本发明对近距离、狭窄空间进行拍摄、三维重建及三维测量，具有结构简单、成本低、测量精度高等特点。

Description

基于双棱镜单摄像机立体视觉工业内窥镜系统及三维测量 方法
技术领域
本发明属于三维测量领域，特别是一种基于双棱镜单摄像机立体视觉工业内窥镜系 统及三维测量方法。
背景技术
工业现代化不仅体现在工业产品的现代化，也体现在产品生产和检测的现代化。在 工业产品的生产过程中，为了避免出现表面裂纹、划痕、凹坑、凸起、腐蚀等缺陷，保 证产品的高质量生产，生产过程中的检测环节至关重要。双目立体视觉三维测量系统具 有非接触、获取信息量大、处理信息速度快等优点，被广泛应用于自动化生产中，主要 用于缺陷检测、测量、识别定位等方面，大幅度提高了工业生产效率，并增强了对产品 质量的测控。
双目立体视觉技术是在机器视觉技术的基础上发展而来。早期的具有三维测量功能 的内窥镜系统是由两个摄像头组成，这使得系统的尺寸偏大，难以深入观察、检测狭窄空间(管道内壁、发动机内壁等)的内部情况。为了能够满足应用需求，许多学者研究 使用双目微型摄像系统和照明装置，但是这样的系统难以工程化，并且价格也比较昂贵。 单摄像机立体视觉系统即利用具有反射或折射功能的光学成像系统和一台摄像机组成 测量系统，它能够同时获取同一场景的两个视图，在单帧CMOS图像上获得立体图像 对。同时也实现了整个三维测量系统的小型化，确保摄像机系统能在狭窄空间中移动。
目前双棱镜单摄像机立体视觉系统已有了相关的研究。2016年，LU Baoli等人在文 献《Compact Three dimensional Fingerprint Acquisition System Based on aSingle Camera with a Biprism》提出了一种基于单相机-双棱镜的小型三维指纹获取系统，即采用单个 CCD相机作为图像传感器，利用相机镜头结合双棱镜的成像装置在单帧CCD图像上获 得立体图像对，再基于立体视觉原理实现三维重建。LU的系统只能测量小范围内的物 体，普适性一般。
发明内容
本发明的目的在于提供一种基于双棱镜单摄像机立体视觉工业内窥镜系统及三维 测量方法。
实现本发明目的的技术解决方案为：一种基于双棱镜单摄像机立体视觉工业内窥镜 测量系统，所述系统包括：LED照明模块、双棱镜单摄像机模块、摄像机采集驱动模块、图像处理模块、显示模块以及数据存储与传输模块；
所述LED照明模块设置在双棱镜单摄像机模块前端，且两者光轴平行，位于同一通道中；所述双棱镜单摄像机模块和摄像机采集驱动模块相连；摄像机采集驱动模块及 图像处理模块相连；所述摄像机采集驱动及图像处理模块、显示模块以及数据存储与传 输模块依次相连；
所述LED照明模块，用于照明待测场景；
所述双棱镜单摄像机模块，用于采集单幅包含左右两个视图的待测场景图像；
所述摄像机采集驱动模块，用于为LED照明模块供电、驱动双棱镜单摄像机模块采集图像，并将采集到的图像传输到图像处理模块；
所述图像处理模块，用于读取图像并将其分割为两幅待测场景图像，分别记为左视 图和右视图；之后进行摄像机标定与立体校正，对左右视图进行三维重建及三维测量，并对处理后的数据进行传输；
所述显示模块，用于显示双棱镜单摄像机模块采集到的图像、图像处理模块处理后 的图像及三维测量结果；
所述数据存储与传输模块，用于存储所述双棱镜单摄像机模块采集到的图像、所述 图像处理模块处理后的图像及三维测量结果。
基于上述系统的三维形貌重建方法，包括以下步骤：
步骤1，双棱镜单摄像机系统从多方位拍摄标定板，得到n幅标定板图像，将标定板图像沿着图像水平方向一分为二得到尺寸相同的两幅图像，分别作为左右虚拟摄像机拍摄到的图像，记为左视图Al和右视图Ar；
步骤2，对系统进行单目标定，获得左右虚拟摄像机的内参矩阵Il、Ir和畸变参数向量kl、kr；
步骤3，对系统进行双目标定与立体校正，通过步骤2获得的系统内参矩阵Il、Ir，畸变参数向量kl、kr对步骤1中的左视图和右视图进行畸变校正，得到无畸变的左视图 和右视图；接着用张正友标定法求取左右虚拟摄像机的相对位置关系即外参矩阵，分别 为旋转矩阵R和平移向量T；将无畸变的左视图和右视图投影到公共平面，使得成像平 面平行于基线，被测场景中的同一点在左右视图中位于同一行；
步骤4，LED照明模块发射光束照射到待测场景表面；
步骤5，用双棱镜单摄像机模块拍摄待测场景获得图像A，沿着图像水平方向分割得到两幅尺寸相同的图像，分别记为左视图Al和右视图Ar；
步骤6，对图像进行立体校正，通过步骤2获得的系统内参矩阵Il、Ir，畸变参数矩阵kl、kr对步骤5中的左视图Al和右视图Ar进行畸变校正，得到无畸变的左视图Bl和 右视图Br，再进行共面行校准，得到新的左视图Bl0和右视图Br0；
步骤7，求取左视图Bl0和右视图Br0中匹配的特征点对，获取视差d；
步骤8，通过步骤6获得的左视图Bl0、步骤7获得的视差，求取待测场景中被测对 象的三维坐标，根据坐标信息恢复出被测对象三维形貌，根据目标点坐标计算出实际大 小完成尺寸测量。
本发明与现有技术相比，其显著优点为：
1)本发明采用单个CMOS图像传感器，利用相机镜头结合双棱镜的成像装置拍摄被测场景，在单帧CMOS图像传感器上获得立体图像对，能够完成快速的、高精度的 三维测量。
2)本发明采用软硬件结合的方式，利用软件处理硬件系统中的固有镜头畸变及立体图像对的共面行对准问题，大大提高了测量精度。
3)本发明提出了FAST、SURF相结合的方法实现对被测对象的特征点检测和匹配，提高了立体图像对中特征点的检测效率和匹配准确率。
下面结合附图对本发明作进一步详细描述。
附图说明
图1是本发明的基于双棱镜单摄像机立体视觉工业内窥镜三维测量系统的组成结构 示意图。
图2是本发明的基于双棱镜单摄像机立体视觉工业内窥镜三维测量系统的装置结构 示意图。
图3是本发明的基于双棱镜单摄像机立体视觉三维测量方法流程图。
图4是一个实施例中对采集到的待测对象图像进行畸变校正前后的效果对比图，其 中(a1)(a2)是左视图，(b1)(b2)为右视图。
图5是一个实施例中以图像共面行对准效果示意图。
图6是一个实施例中左、右视图经过预处理后的示意图，图(a)、图(b)分别为 左、右视图经过预处理后的结果。
图7是一个实施例中左、右视图中特征点对的立体匹配示意图。
图8是一个实施例中获得的三维测量目标的特征点三维坐标示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请， 并不用于限定本申请。
在一个实施例中，结合图1和图2，提供了一种基于双棱镜单摄像机立体视觉工业内窥镜测量系统，所述系统包括：LED照明模块、双棱镜单摄像机模块、摄像机采集驱 动模块、图像处理模块、显示模块以及数据存储与传输模块；
所述LED照明模块设置在双棱镜单摄像机模块前端，且两者光轴平行，位于同一通道中；所述双棱镜单摄像机模块和摄像机采集驱动模块相连；摄像机采集驱动模块及 图像处理模块相连；所述摄像机采集驱动及图像处理模块、显示模块以及数据存储与传 输模块依次相连；
所述LED照明模块，用于照明待测场景；
所述双棱镜单摄像机模块，用于采集单幅包含左右两个视图的待测场景图像；
所述摄像机采集驱动模块，用于为LED照明模块供电、驱动双棱镜单摄像机模块采集图像，并将采集到的图像传输到图像处理模块；
所述图像处理模块，用于读取图像并将其分割为两幅待测场景图像，分别记为左视 图和右视图；之后进行摄像机标定与立体校正，对左右视图进行三维重建及三维测量，并对处理后的数据进行传输；
所述显示模块，用于显示双棱镜单摄像机模块采集到的图像、图像处理模块处理后 的图像及三维测量结果；
所述数据存储与传输模块，用于存储所述双棱镜单摄像机模块采集到的图像、所述 图像处理模块处理后的图像及三维测量结果。
进一步地，在其中一个实施例中，所述LED照明模块包括白色LED灯珠；所述双 棱镜单摄像机模块包括双棱镜和单摄像机；所述摄像机采集驱动模块包括驱动电源；所 述图像处理模块包括计算机；所述显示模块包括计算机显示屏。
进一步地，在其中一个实施例中，所述双棱镜底面与单摄像机镜头贴合，并且与单摄像机镜头光轴垂直，双棱镜各棱垂直于单摄像机中CMOS传感器的宽。
在一个实施例中，提供了基于上述系统的三维形貌重建方法，包括以下步骤：
步骤1，双棱镜单摄像机系统从多方位拍摄标定板，得到n幅标定板图像，将标定板图像沿着图像水平方向一分为二得到尺寸相同的两幅图像，分别作为左右虚拟摄像机拍摄到的图像，记为左视图Al和右视图Ar；
步骤2，对系统进行单目标定，获得左右虚拟摄像机的内参矩阵Il、Ir和畸变参数向量kl、kr；
步骤3，对系统进行双目标定与立体校正，通过步骤2获得的系统内参矩阵Il、Ir，畸变参数向量kl、kr对步骤1中的左视图和右视图进行畸变校正，得到无畸变的左视图 和右视图；接着用张正友标定法求取左右虚拟摄像机的相对位置关系即外参矩阵，分别 为旋转矩阵R和平移向量T；将无畸变的左视图和右视图投影到公共平面，使得成像平 面平行于基线，被测场景中的同一点在左右视图中位于同一行；
步骤4，LED照明模块发射光束照射到待测场景表面；
步骤5，用双棱镜单摄像机模块拍摄待测场景获得图像A，沿着图像水平方向分割得到两幅尺寸相同的图像，分别记为左视图Al和右视图Ar；
步骤6，对图像进行立体校正，通过步骤2获得的系统内参矩阵Il、Ir，畸变参数矩阵kl、kr对步骤5中的左视图Al和右视图Ar进行畸变校正，得到无畸变的左视图Bl和 右视图Br，再进行共面行校准，得到新的左视图Bl0和右视图Br0；
步骤7，求取左视图Bl0和右视图Br0中匹配的特征点对，获取视差d；
步骤8，通过步骤6获得的左视图Bl0、步骤7获得的视差，求取待测场景中被测对 象的三维坐标，根据坐标信息恢复出被测对象三维形貌，根据目标点坐标计算出实际大 小完成尺寸测量。
进一步地，在其中一个实施例中，步骤2所述对系统参数进行单目标定，获取左视图和右视图对应的虚拟摄像机的内参矩阵Il、Ir和畸变参数矩阵kl、kr，具体包括：
步骤2-1，LED照明模块照射棋盘格标定板；
步骤2-2，双棱镜单摄像机模块采集标定板图像，并根据步骤1的方式获得标定板的左、右视图；
步骤2-3，采用张氏标定法分别对步骤2-2中左视图和右视图对应的虚拟摄像机进行单目标定，获得内参矩阵分别为Il、Ir和畸变参数向量分别为kl、kr如下：
Figure BDA0003524177360000061
ki＝[k1i k2i k3i]i＝l,r
其中fl和fr分别为左、右虚拟摄像机镜头焦距，dxi和dyi分别为CMOS像元的长和宽， (u0l,v0l)和(u0r,v0r)分别为左右虚拟摄像机光心在各自图像像素坐标系中的位置；k1l,k2l,k3l分别为左视图的1阶，2阶和3阶径向畸变系数，k1r,k2r,k3r分别为右视图的1 阶，2阶和3阶径向畸变系数。
进一步地，在其中一个实施例中，步骤3具体为：
步骤3-1，将左右视图在各自图像坐标系中的坐标通过畸变系数进行校正，得到无畸变的左视图Bl和无畸变的右视图Br在图像坐标系中的坐标；
Figure BDA0003524177360000062
式中，
Figure BDA0003524177360000063
为像点到相机光轴的距离，(x,y)为畸变校正前左视图、右视图中的 像点在相机上的理想的图像坐标，(xcorr,ycorr)为畸变校正后左视图、右视图中的像点在 相机上的实际的图像坐标；k1、k2、k3的取值k1l,k2l,k3l或k1r,k2r,k3r；
步骤3-2，求取无畸变的右视图相对于无畸变的左视图的旋转矩阵R和平移向量 T＝[Tx Ty Tz]T，其中，Tx，Ty，Tz分别为无畸变的右视图沿着x、y和z方向的平移 量；
步骤3-3，采用Bouguet校正原理求取使得无畸变的左视图、无畸变的右视图行对准且像平面与基线平行的整体旋转矩阵Rl和Rr：
Rl＝RrectR1/2
Rr＝RrectR-1/2
其中，R1/2R1/2＝R，R-1/2是R1/2的逆矩阵，
Figure BDA0003524177360000071
Figure BDA0003524177360000072
e3＝e1×e2。
进一步地，在其中一个实施例中，步骤6所述对图像进行立体校正具体为：
步骤6-1，对步骤5中的左视图Al和右视图Ar进行步骤3-1的畸变校正，得到无畸 变的左视图Bl和右视图Br；
步骤6-2，对步骤6-1中的左视图Bl和右视图Br进行步骤3-3实现共面行校准，获 得新的左视图Bl0和右视图Br0：
Figure BDA0003524177360000073
式中，(xl,yl)和(xr,yr)分别为经过旋转后的左视图Bl0和右视图Br0的图像点在对应图 像坐标系中的坐标，(x0l,y0l)和(x0r,y0r)分别为经过旋转前的左视图Bl0和右视图Br0的 图像点在对应图像坐标系中的坐标。
进一步地，在其中一个实施例中，步骤7所述求取左视图Bl0和右视图Br0中匹配的特征点对，获取视差d，具体为：
步骤7-1，分离图像的通道：对步骤6校正后的左视图Bl0和右视图Br0进行三通道分离，获取红、绿、蓝三个通道图像；
步骤7-2，去除图像噪声：针对步骤7-1得到的绿色通道图像，对其进行中值滤波去除噪声；
步骤7-3，采用FAST、SURF算法相结合的方式完成对待测场景的特征点检测和立体匹配，并获得视差d。
进一步地，在其中一个实施例中，步骤7-3所述采用FAST、SURF算法相结合的方 法完成对待测场景的特征点检测和立体匹配，并获得视差d，具体为：
步骤7-3-1，采用FAST检测出左视图Bl0和右视图Br0的特征点，求取出左视图Bl0和右视图Br0的特征点坐标；
步骤7-3-2，采用SURF算法将步骤7-3-1中求取出的左视图Bl0和右视图Br0的相 应特征点对进行匹配，当两个特征点间的欧氏距离小于设定的比率阈值，则两个特征点 匹配，获取匹配后的特征点坐标，分别为(u1,v1)、(u2,v2)；
步骤7-3-3，求取出视差d＝u1-u2。
进一步地，在其中一个实施例中，步骤8中求取待测场景中被测对象的三维坐标，根据坐标信息恢复出被测对象三维形貌，根据目标点坐标计算出实际大小完成尺寸测 量，具体包括：
步骤8-1，根据视差原理求取被测对象的三维坐标，由此获得三维坐标图；
Figure BDA0003524177360000081
式中，(u1,v1)为左视图Bl0的特征点在对应摄像机图像像素坐标系中的坐标，(u2,v2)为 右视图Br0的特征点在对应摄像机图像像素坐标系中的坐标，d为待测场景中被测对象 同一点在左、右视图中的视差；(X,Y,Z)为被测对象中目标点的三维坐标，B为双棱镜 单摄像机模块的基线距离；
步骤8-2，选择感兴趣点，根据步骤8-1求取三维坐标，实现三维测量。
下面结合实例进行具体描述。
测试过程中使用的摄像机型号为DH-1966，摄像机焦距为1.569mm，CMOS图像传 感器型号为OV5640，传感器分辨率为2592×1944，传感器的像素尺寸为1.4μm，采用 的双棱镜楔角为30°。
(1)在相机进行单、双目标定实验中，使用的棋盘格标定板的角点数为11×8个，角点间隔为1.5mm；
(2)LED发光二极管功率为0.01W；
(3)分别对左、右视图进行畸变校正，以工件图像为例验证畸变校正效果图如图4所示，(a1)、(a2)为校正之前的图像，(b1)、(b2)分别为(a1)、(a2)图像校正之后 的图像。
(4)对左、右视图进行双目立体校正即共面行对准，以工件图像为例验证双目校正效果图如图5所示。
(5)对双目校正和图像处理后的左视图如图6(a)、右视图如图6(b)采用FAST、SURF算法进行特征点检测和匹配，得到效果图如图7所示。
(6)对图7中获得特征点进行三维信息恢复并显示，得到如图8所示。
本发明利用单摄像机镜头结合双棱镜组成成像装置，能够在单帧CMOS图像上获得立体图像对，实现了双目立体视觉三维测量系统的小型化。本发明采用硬件与软件相 结合的方式，既保证了系统大视场范围测量，又能实现快速的、高精度测量；同时，本 发明的装置结构简单，易于实现小型化；而且装置成本较低，有益于推广使用。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了 解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和 改进都落入要求保护的本发明范围内。

Claims (10)

1.一种基于双棱镜单摄像机立体视觉工业内窥镜测量系统，其特征在于，所述系统包括：LED照明模块、双棱镜单摄像机模块、摄像机采集驱动模块、图像处理模块、显示模块以及数据存储与传输模块；
所述LED照明模块设置在双棱镜单摄像机模块前端，且两者光轴平行，位于同一通道中；所述双棱镜单摄像机模块和摄像机采集驱动模块相连；摄像机采集驱动模块及图像处理模块相连；所述摄像机采集驱动及图像处理模块、显示模块以及数据存储与传输模块依次相连；
所述LED照明模块，用于照明待测场景；
所述双棱镜单摄像机模块，用于采集单幅包含左右两个视图的待测场景图像；
所述摄像机采集驱动模块，用于为LED照明模块供电、驱动双棱镜单摄像机模块采集图像，并将采集到的图像传输到图像处理模块；
所述图像处理模块，用于读取图像并将其分割为两幅待测场景图像，分别记为左视图和右视图；之后进行摄像机标定与立体校正，对左右视图进行三维重建及三维测量，并对处理后的数据进行传输；
所述显示模块，用于显示双棱镜单摄像机模块采集到的图像、图像处理模块处理后的图像及三维测量结果；
所述数据存储与传输模块，用于存储所述双棱镜单摄像机模块采集到的图像、所述图像处理模块处理后的图像及三维测量结果。
2.根据权利要求1所述的基于双棱镜单摄像机立体视觉工业内窥镜测量系统，其特征在于，所述LED照明模块包括白色LED灯珠；所述双棱镜单摄像机模块包括双棱镜和单摄像机；所述摄像机采集驱动模块包括驱动电源；所述图像处理模块包括计算机；所述显示模块包括计算机显示屏。
3.根据权利要求2所述的基于双棱镜单摄像机立体视觉工业内窥镜测量系统，其特征在于，所述双棱镜底面与单摄像机镜头贴合，并且与单摄像机镜头光轴垂直，双棱镜各棱垂直于单摄像机中CMOS传感器的宽。
4.基于权利要求1至3任意一项所述基于双棱镜单摄像机立体视觉工业内窥镜测量系统的三维形貌重建方法，其特征在于，包括以下步骤：
步骤1，双棱镜单摄像机系统从多方位拍摄标定板，得到n幅标定板图像，将标定板图像沿着图像水平方向一分为二得到尺寸相同的两幅图像，分别作为左右虚拟摄像机拍摄到的图像，记为左视图Al和右视图Ar；
步骤2，对系统进行单目标定，获得左右虚拟摄像机的内参矩阵Il、Ir和畸变参数向量kl、kr；
步骤3，对系统进行双目标定与立体校正，通过步骤2获得的系统内参矩阵Il、Ir，畸变参数向量kl、kr对步骤1中的左视图和右视图进行畸变校正，得到无畸变的左视图和右视图；接着用张正友标定法求取左右虚拟摄像机的相对位置关系即外参矩阵，分别为旋转矩阵R和平移向量T；将无畸变的左视图和右视图投影到公共平面，使得成像平面平行于基线，被测场景中的同一点在左右视图中位于同一行；
步骤4，LED照明模块发射光束照射到待测场景表面；
步骤5，用双棱镜单摄像机模块拍摄待测场景获得图像A，沿着图像水平方向分割得到两幅尺寸相同的图像，分别记为左视图Al和右视图Ar；
步骤6，对图像进行立体校正，通过步骤2获得的系统内参矩阵Il、Ir，畸变参数矩阵kl、kr对步骤5中的左视图Al和右视图Ar进行畸变校正，得到无畸变的左视图Bl和右视图Br，再进行共面行校准，得到新的左视图Bl0和右视图Br0；
步骤7，求取左视图Bl0和右视图Br0中匹配的特征点对，获取视差d；
步骤8，通过步骤6获得的左视图Bl0、步骤7获得的视差，求取待测场景中被测对象的三维坐标，根据坐标信息恢复出被测对象三维形貌，根据目标点坐标计算出实际大小完成尺寸测量。
5.根据权利要求4所述的三维形貌重建方法，其特征在于，步骤2所述对系统参数进行单目标定，获取左视图和右视图对应的虚拟摄像机的内参矩阵Il、Ir和畸变参数矩阵kl、kr，具体包括：
步骤2-1，LED照明模块照射棋盘格标定板；
步骤2-2，双棱镜单摄像机模块采集标定板图像，并根据步骤1的方式获得标定板的左、右视图；
步骤2-3，采用张氏标定法分别对步骤2-2中左视图和右视图对应的虚拟摄像机进行单目标定，获得内参矩阵分别为Il、Ir和畸变参数向量分别为kl、kr如下：
Figure FDA0003524177350000031
ki＝[k1i k2i k3i]i＝l,r
其中fl和fr分别为左、右虚拟摄像机镜头焦距，dxi和dyi分别为CMOS像元的长和宽，(u0l,v0l)和(u0r,v0r)分别为左右虚拟摄像机光心在各自图像像素坐标系中的位置；k1l,k2l,k3l分别为左视图的1阶，2阶和3阶径向畸变系数，k1r,k2r,k3r分别为右视图的1阶，2阶和3阶径向畸变系数。
6.根据权利要求5所述的三维形貌重建方法，其特征在于，步骤3具体为：
步骤3-1，将左右视图在各自图像坐标系中的坐标通过畸变系数进行校正，得到无畸变的左视图Bl和无畸变的右视图Br在图像坐标系中的坐标；
Figure FDA0003524177350000032
式中，
Figure FDA0003524177350000033
为像点到相机光轴的距离，(x,y)为畸变校正前左视图、右视图中的像点在相机上的理想的图像坐标，(xcorr,ycorr)为畸变校正后左视图、右视图中的像点在相机上的实际的图像坐标；k1、k2、k3的取值k1l,k2l,k3l或k1r,k2r,k3r；
步骤3-2，求取无畸变的右视图相对于无畸变的左视图的旋转矩阵R和平移向量T＝[TxTy Tz]T，其中，Tx，Ty，Tz分别为无畸变的右视图沿着x、y和z方向的平移量；
步骤3-3，采用Bouguet校正原理求取使得无畸变的左视图、无畸变的右视图行对准且像平面与基线平行的整体旋转矩阵Rl和Rr：
Rl＝RrectR1/2
Rr＝RrectR-1/2
其中，R1/2R1/2＝R，R-1/2是R1/2的逆矩阵，
Figure FDA0003524177350000041
Figure FDA0003524177350000042
e3＝e1×e2。
7.根据权利要求6所述的三维形貌重建方法，其特征在于，步骤6所述对图像进行立体校正具体为：
步骤6-1，对步骤5中的左视图Al和右视图Ar进行步骤3-1的畸变校正，得到无畸变的左视图Bl和右视图Br；
步骤6-2，对步骤6-1中的左视图Bl和右视图Br进行步骤3-3实现共面行校准，获得新的左视图Bl0和右视图Br0：
Figure FDA0003524177350000043
式中，(xl,yl)和(xr,yr)分别为经过旋转后的左视图Bl0和右视图Br0的图像点在对应图像坐标系中的坐标，(x0l,y0l)和(x0r,y0r)分别为经过旋转前的左视图Bl0和右视图Br0的图像点在对应图像坐标系中的坐标。
8.根据权利要求7所述的三维形貌重建方法，其特征在于，步骤7所述求取左视图Bl0和右视图Br0中匹配的特征点对，获取视差d，具体为：
步骤7-1，分离图像的通道：对步骤6校正后的左视图Bl0和右视图Br0进行三通道分离，获取红、绿、蓝三个通道图像；
步骤7-2，去除图像噪声：针对步骤7-1得到的绿色通道图像，对其进行中值滤波去除噪声；
步骤7-3，采用FAST、SURF算法相结合的方式完成对待测场景的特征点检测和立体匹配，并获得视差d。
9.根据权利要求8所述的三维形貌重建方法，其特征在于，步骤7-3所述采用FAST、SURF算法相结合的方法完成对待测场景的特征点检测和立体匹配，并获得视差d，具体为：
步骤7-3-1，采用FAST检测出左视图Bl0和右视图Br0的特征点，求取出左视图Bl0和右视图Br0的特征点坐标；
步骤7-3-2，采用SURF算法将步骤7-3-1中求取出的左视图Bl0和右视图Br0的相应特征点对进行匹配，当两个特征点间的欧氏距离小于设定的比率阈值，则两个特征点匹配，获取匹配后的特征点坐标，分别为(u1,v1)、(u2,v2)；
步骤7-3-3，求取出视差d＝u1-u2。
10.根据权利要求9所述的三维形貌重建方法，其特征在于，步骤8中求取待测场景中被测对象的三维坐标，根据坐标信息恢复出被测对象三维形貌，根据目标点坐标计算出实际大小完成尺寸测量，具体包括：
步骤8-1，根据视差原理求取被测对象的三维坐标，由此获得三维坐标图；
Figure FDA0003524177350000051
式中，(u1,v1)为左视图Bl0的特征点在对应摄像机图像像素坐标系中的坐标，(u2,v2)为右视图Br0的特征点在对应摄像机图像像素坐标系中的坐标，d为待测场景中被测对象同一点在左、右视图中的视差；(X,Y,Z)为被测对象中目标点的三维坐标，B为双棱镜单摄像机模块的基线距离；
步骤8-2，选择感兴趣点，根据步骤8-1求取三维坐标，实现三维测量。
CN202210189922.6A 2022-02-28 基于双棱镜单摄像机立体视觉工业内窥镜系统及三维测量方法 Active CN114562957B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210189922.6A CN114562957B (zh) 2022-02-28 基于双棱镜单摄像机立体视觉工业内窥镜系统及三维测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210189922.6A CN114562957B (zh) 2022-02-28 基于双棱镜单摄像机立体视觉工业内窥镜系统及三维测量方法

Publications (2)

Publication Number Publication Date
CN114562957A true CN114562957A (zh) 2022-05-31
CN114562957B CN114562957B (zh) 2024-05-17

Family

ID=

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036541A (zh) * 2014-04-01 2014-09-10 西北工业大学 一种视觉测量中的快速三维重建方法
CN106384382A (zh) * 2016-09-05 2017-02-08 山东省科学院海洋仪器仪表研究所 一种基于双目立体视觉的三维重建系统及其方法
CN108447084A (zh) * 2018-03-17 2018-08-24 北京工业大学 基于orb特征的立体匹配补偿方法
CN109615654A (zh) * 2019-01-09 2019-04-12 中国矿业大学(北京) 基于双目视觉的排水管道内表面腐蚀深度及面积测量方法
CN109668509A (zh) * 2019-01-18 2019-04-23 南京理工大学 基于双棱镜单摄像机三维测量工业内窥镜系统及测量方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036541A (zh) * 2014-04-01 2014-09-10 西北工业大学 一种视觉测量中的快速三维重建方法
CN106384382A (zh) * 2016-09-05 2017-02-08 山东省科学院海洋仪器仪表研究所 一种基于双目立体视觉的三维重建系统及其方法
CN108447084A (zh) * 2018-03-17 2018-08-24 北京工业大学 基于orb特征的立体匹配补偿方法
CN109615654A (zh) * 2019-01-09 2019-04-12 中国矿业大学(北京) 基于双目视觉的排水管道内表面腐蚀深度及面积测量方法
CN109668509A (zh) * 2019-01-18 2019-04-23 南京理工大学 基于双棱镜单摄像机三维测量工业内窥镜系统及测量方法

Similar Documents

Publication Publication Date Title
CN105894499B (zh) 一种基于双目视觉的空间物体三维信息快速检测方法
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
CN110378969B (zh) 一种基于3d几何约束的汇聚式双目相机标定方法
CN107025670A (zh) 一种远心相机标定方法
CN111667536A (zh) 一种基于变焦相机深度估计的参数标定方法
CN110763140B (zh) 一种非平行光轴高精度双目测距方法
CN107869954B (zh) 一种双目视觉体积重量测量系统及其实现方法
CN107478203B (zh) 一种基于激光扫描的3d成像装置及成像方法
CN111243033A (zh) 一种优化双目相机外参数的方法
CN109084688B (zh) 一种基于可变焦相机的双目视觉测距方法
CN109668509A (zh) 基于双棱镜单摄像机三维测量工业内窥镜系统及测量方法
CN109862345B (zh) 视场角测试方法和系统
Gorevoy et al. Optimal calibration of a prism-based videoendoscopic system for precise 3D measurements
KR20200126392A (ko) 플렌옵틱 카메라 시스템을 교정하기 위한 방법 및 시스템
TWI704797B (zh) 測量柱狀透鏡板之旋轉位置
CN112858175A (zh) 一种带有集成镜头的视觉检测系统
CN114359406A (zh) 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法
CN110827360B (zh) 一种光度立体式测量系统及其标定光源方向的方法
CN109091099A (zh) 双目视觉的高清微型电子内窥镜系统
CN114562957B (zh) 基于双棱镜单摄像机立体视觉工业内窥镜系统及三维测量方法
CN114562957A (zh) 基于双棱镜单摄像机立体视觉工业内窥镜系统及三维测量方法
CN210102906U (zh) 一种微型化电容的自动识别抓取装置
CN116363226A (zh) 一种实时的多相机多投影仪3d成像处理方法及装置
AU2013308155B2 (en) Method for description of object points of the object space and connection for its implementation
JP2011247690A (ja) コネクターピン検査装置およびその検査方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant