CN109668509A - 基于双棱镜单摄像机三维测量工业内窥镜系统及测量方法 - Google Patents

基于双棱镜单摄像机三维测量工业内窥镜系统及测量方法 Download PDF

Info

Publication number
CN109668509A
CN109668509A CN201910048191.1A CN201910048191A CN109668509A CN 109668509 A CN109668509 A CN 109668509A CN 201910048191 A CN201910048191 A CN 201910048191A CN 109668509 A CN109668509 A CN 109668509A
Authority
CN
China
Prior art keywords
right view
view
module
left view
biprism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910048191.1A
Other languages
English (en)
Inventor
陈文建
阮文舒
李武森
潘贺贺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201910048191.1A priority Critical patent/CN109668509A/zh
Publication of CN109668509A publication Critical patent/CN109668509A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures

Abstract

本发明公开了基于双棱镜单摄像机三维测量工业内窥镜系统及测量方法，系统包括：LED照明模块、双棱镜单摄像机模块、手柄模块、摄像机采集驱动与图像处理模块、显示模块以及数据编解码与存储模块；测量方法包括以下步骤：首先采集图像获得左右视图；然后对系统参数进行单目标定；接着对双棱镜单摄像机进行双目标定与校正；然后由LED照明模块照射待测场景表面，并采集待测场景的左右视图；之后对待测场景的左右视图进行校正；再获取校正后左右视图的视差图；最后获取待测场景的三维坐标图、感兴趣的点或区域的三维坐标图即形貌。本发明能对管道内壁等狭窄空间进行双目拍摄、三维重建与三维测量，具有易制造、快速与高精度测量等优势。

Description

基于双棱镜单摄像机三维测量工业内窥镜系统及测量方法
技术领域
本发明属于三维测量领域，特别涉及一种基于双棱镜单摄像机三维测量工业内窥镜系统及测量方法。
背景技术
双目视觉三维测量系统具有快速、无损、无接触测量在地图测绘、军事测距、侦查、工业零件快速测量、检验、产品验收具有广泛应用。双目视觉三维测量系统最早应用于测距与形貌测量，其特点是体积大、两个镜头之间的距离比较长、长焦距、并且没有进行图像单双目目标定与校正，所以当目标在比较远处测量误差会比较大。随着计算机技术的发展，数字图像的出现，工业制造与其他行业要求越来越高，各种基于双目镜头结合计算机图像处理技术问世满足了各行各业当前需求。
当双目三维测量系统应用比较广泛时，仍然有一些场景人类通过人眼难以观察或者比较难获得高精度测量，例如内管道磨损测量，发动机内壁磨损测量等所以各种辅助工具如超声波测量、X光测量、单目视觉测量、双目视觉测量被发明。其中双目视觉测量因比其他方法具有更快速、更精确、多场合适用等优势被许多学者关注研究与厂商采用。这时候出现了一个难题是当在管道内部或者人眼看不见的发动机内壁采用双目视觉测量系统时必须有足够空间来摆放两个摄像机以及照明装置。许多学者开始专注于设计出一种微型的双摄像机系统和微型照明装置。这样的设计目前很少制造商能够以足够高的精度加工出成品。另外当采用微型镜头时也必须采用微型图像传感器，而这些微型传感器价格比普通尺寸传感器的价格高很多。如果采用单目摄像机很显然镜头尺寸不需要做得很小，至少可以可以做到双目系统其中一个镜头两倍大也不影响摄像机在管道移动。可是以往单目镜头一般每一次拍摄只能获取一张图像，使得测量精度很显然不如双目视觉测量系统更可靠。
国际上已经有人采用双对称棱镜单摄像机进行三维测量。2016年，L.F.Wu等人在文献《An Accurate Method for Shape Retrieval and Displacement MeasurementUsing Bi-Prism-Based Single Lens 3D Digital Image Correlation》提出了一种基于双棱镜单摄像机数字图像相关性的精确形状检测和位移测量方法，即采用一个长焦距的工业摄像机在前面加上一个双对称棱镜，使得摄像机每一次拍摄都能拍到景物的两张不同的图像，实现单摄像机双目视觉。Wu的模型建立在长焦距镜头而且系统只能适用于对体积要求并不高的场合，普适性一般。
发明内容
本发明所解决得技术问题在于提供一种基于双棱镜单摄像机三维测量工业内窥镜系统和方法。
实现本发明目的的解决方案为：基于双棱镜单摄像机三维测量工业内窥镜系统，包括LED照明模块、双棱镜单摄像机模块、手柄模块、摄像机采集驱动与图像处理模块、显示模块以及数据编解码与存储模块；
所述LED照明模块设置于双棱镜单摄像机模块上，并且两者的光轴平行，且置于同一检测通道中；所述双棱镜单摄像机模块与手柄模块相连，双棱镜单摄像机模块和摄像机采集驱动与图像处理模块通过套入在手柄模块内的数据线相互连接；所述摄像机采集驱动与图像处理模块同时与显示模块、数据编解码与存储模块相连；
所述LED照明模块，用于为待测场景照明；
所述双棱镜单摄像机模块，用于实现单摄像机同时采集两幅待测场景图，分别记为左视图和右视图；
所述手柄模块，用于操作和控制双棱镜单摄像机模块以及LED照明模块在通道内部移动；
所述摄像机采集驱动与图像处理模块，用于为LED照明模块供电、驱动双棱镜单摄像机模块进行拍摄、读取图像并进行摄像机标定与校正、对左视图和右视图进行立体匹配、进行三维测量与重建、以及数据传输；
所述显示模块，用于显示双棱镜单摄像机模块拍摄到的图像、摄像机采集驱动与图像处理模块处理后的图像以及三维测量结果；
所述数据编解码与存储模块，用于对双棱镜单摄像机模块拍摄到的图像和摄像机采集驱动与图像处理模块处理后的图像进行编码、存储。
基于所述三维测量工业内窥镜系统的三维测量方法，包括以下步骤：
步骤1、将三维测量工业内窥镜系统拍摄的图像均分为两半，分别获得左视图和右视图；其中，所述均分具体为：将拍摄到的图像的长均分为两半；
步骤2、对三维测量工业内窥镜系统参数进行单目标定，获取左视图和右视图各自的内参矩阵分别为Al、Ar和畸变参数向量分别为kl、kr；
步骤3、对双棱镜单摄像机进行双目标定与校正，通过内参矩阵Al、Ar和畸变参数向量kl、kr分别对左视图、右视图进行校正，获得无畸变的左视图、右视图；之后求取从右视图投影至左视图的旋转矩阵R和平移向量t，求取左、右视图投影到公共平面使得最终左、右视图水平对准的旋转矩阵Rl和Rr，并求取从左视图坐标映射到世界坐标的反投影矩阵Q；其中，公共平面垂直于单摄像机的光轴；
步骤4、由驱动电源驱动LED照明模块发射光线照射待测场景表面；
步骤5、利用单摄像机采集图像，获得左视图Il0、右视图Ir0，并通过套在手柄内的数据线将图像传输至摄像机采集驱动与图像处理模块；
步骤6、摄像机采集驱动与图像处理模块对左视图Il0、右视图Ir0进行校正，获得新的左视图Il1、右视图Ir1；
步骤7、求取左视图Il1和右视图Ir1的视差d，获得视差图；
步骤8、通过步骤3获得的反投影矩阵Q、步骤6获得的左视图Il1、步骤7获得的视差图，求取待测场景中所有目标点的三维坐标，由此获得三维坐标图；
步骤9、对感兴趣点或区域进行提取，并通过步骤8的过程求取所述提取的感兴趣点或区域所有点的三维坐标，由此重建出感兴趣点或区域的形貌，完成三维测量。
本发明与现有技术相比，其显著优点为：1)本发明通过在单摄像机镜头前面设置双棱镜，使得能够利用单摄像机同一时刻对场景拍摄两幅图像，实现了易加工、高精度制造三维测量工业内窥镜系统；2)本发明所设计的系统是硬件与软件结合，其中大视场相机镜头畸变以及左右视图水平重合通过软件进行标定与校正使后续测量精度大大提高；采用软件测量，摆脱了人为造成的误差；3)本发明的装置具有结构简单、体积小、加工制造成本低、容易装配等优势，可以对管道内壁进行高速测量，解决了传统双摄像机双目视觉测量设计的挑战，有很大的应用前景。
下面结合附图对本发明作进一步详细的描述。
附图说明
图1为本发明基于双棱镜单摄像机三维测量工业内窥镜系统的结构图。
图2为本发明系统中双棱镜与单摄像机的位置关系示意图。
图3为本发明基于三维测量工业内窥镜系统的三维测量方法流程图。
图4为本发明实施例中摄像机采集到棋盘格的左、右视图，其中a)为左视图，b)为右视图。
图5为本发明实施例中畸变校正后的棋盘格的左、右视图，其中a)为左视图，b)为右视图。
图6为本发明实施例中以棋盘格左、右视图为例验证水平重合效果示意图。
图7为本发明实施例中待三维测量目标的双目校正后的左、右视图，其中a)为左视图，b)为右视图。
图8为本发明实施例中获得的双目校正后的左、右视图的视差图。
图9为本发明实施例中获得的待三维测量目标的三维点云示意图。
具体实施方式
结合图1、2，本发明基于双棱镜单摄像机三维测量工业内窥镜系统，包括LED照明模块1、双棱镜单摄像机模块2、手柄模块3、摄像机采集驱动与图像处理模块4、显示模块5以及数据编解码与存储模块6；
LED照明模块1设置于双棱镜单摄像机模块2上，并且两者的光轴平行，且置于同一通道中；双棱镜单摄像机模块2与手柄模块3相连，双棱镜单摄像机模块2和摄像机采集驱动与图像处理模块4通过套入在手柄模块3内的数据线相互连接；摄像机采集驱动与图像处理模块4同时与显示模块5、数据编解码与存储模块6相连；
LED照明模块，用于为待测场景照明；
双棱镜单摄像机模块，用于实现单摄像机同时采集两幅待测场景图，分别记为左视图和右视图；
手柄模块，用于操作和控制双棱镜单摄像机模块以及LED照明模块在通道内部移动；
摄像机采集驱动与图像处理模块，用于为LED照明模块供电、驱动双棱镜单摄像机模块进行拍摄、读取图像并进行摄像机标定与校正、对左视图和右视图进行立体匹配、进行三维测量与重建、以及数据传输；
显示模块，用于显示双棱镜单摄像机模块拍摄到的图像、摄像机采集驱动与图像处理模块处理后的图像以及三维测量结果；
数据编解码与存储模块，用于对双棱镜单摄像机模块拍摄到的图像和摄像机采集驱动与图像处理模块处理后的图像进行编码、存储。数据编解码与存储模块即为计算机硬盘，根据不同应用或者不同地点的计算机需要用到这些数据，从硬盘中读取数据通过终端设备传输后解码进一步处理或观察。
进一步地，LED照明模块1包括白色LED照明光源；双棱镜单摄像机模块2包括双棱镜和单摄像机；手柄模块3包括金属软管手柄；摄像机采集驱动与图像处理模块4包括4.2V驱动电源和计算机；显示模块5包括计算机显示屏。
进一步地，双棱镜的底面垂直于单摄像机镜头的光轴，且俯视双棱镜时的各折射棱平行于单摄像机中CMOS传感器的垂直边。
进一步地，双棱镜为30度双棱镜。
进一步地，LED照明模块1设置于双棱镜单摄像机模块2上，并且两者光轴平行，进一步设置为：LED照明模块1能照亮单摄像机的整个视场范围，并且不直接照射摄像机镜头。
结合图3，基于三维测量工业内窥镜系统的三维测量方法，包括以下步骤：
步骤1、将三维测量工业内窥镜系统拍摄的图像均分为两半，分别获得左视图和右视图；其中，均分具体为：将拍摄到的图像的长均分为两半；
步骤2、对三维测量工业内窥镜系统参数进行单目标定，获取左视图和右视图各自的内参矩阵分别为Al、Ar和畸变参数向量分别为kl、kr；
步骤3、对双棱镜单摄像机进行双目标定与校正，通过内参矩阵Al、Ar和畸变参数向量kl、kr分别对左视图、右视图进行校正，获得无畸变的左视图、右视图；之后求取从右视图投影至左视图的旋转矩阵R和平移向量t，求取左、右视图投影到公共平面使得最终左、右视图水平对准的旋转矩阵Rl和Rr，并求取从左视图坐标映射到世界坐标的反投影矩阵Q；其中，公共平面垂直于单摄像机的光轴；
步骤4、由驱动电源驱动LED照明模块发射光线照射待测场景表面；
步骤5、利用单摄像机采集图像，获得左视图Il0、右视图Ir0，并通过套在手柄内的数据线将图像传输至摄像机采集驱动与图像处理模块；
步骤6、摄像机采集驱动与图像处理模块对左视图Il0、右视图Ir0进行校正，获得新的左视图Il1、右视图Ir1；
步骤7、求取左视图Il1和右视图Ir1的视差d，获得视差图；
步骤8、通过步骤3获得的反投影矩阵Q、步骤6获得的左视图Il1、步骤7获得的视差图，求取待测场景中所有目标点的三维坐标，由此获得三维坐标图；
步骤9、对感兴趣点或区域即目标点或区域进行提取，并通过步骤8的过程求取提取的感兴趣点或区域所有点的三维坐标，由此重建出感兴趣点或区域的形貌，完成三维测量。
进一步地，步骤2对三维测量工业内窥镜系统参数进行单目标定，获取左视图和右视图各自的内参矩阵分别为Al、Ar和畸变参数向量分别为kl、kr，具体为：
步骤2-1、采用内窥镜系统之外的单色光源照射棋盘格标定板；
步骤2-2、单摄像机采集标定板图像，并根据步骤1的方式获得标定板的左、右视图；
步骤2-3、采用张氏标定法分别对左视图和右视图进行标定，由此获得左视图、右视图各自的内参矩阵分别为Al、Ar和畸变参数向量分别为kl、kr：
ki＝[k1i,k2i,k3i] i＝l,r
式中，fl和fr分别为左、右摄像机镜头的焦距即为单摄像机镜头的焦距，dxi和dyi分别为CMOS像元的长、宽，(cxl,cyl)和(cxr,cyr)分别为左视图、右视图的畸变中心，sl和sr分别为左视图、右视图的倾斜因子，k1l,k2l,k3l分别为左视图的1阶，2阶和3阶畸变系数，k1r,k2r,k3r分别为右视图的1阶，2阶和3阶畸变系数。
进一步地，步骤3具体为：
步骤3-1、采用畸变参数向量kl、kr计算获得无畸变的左视图和右视图：
式中，(ul,vl)和(ur,vr)分别为畸变校正前左视图、右视图的图像点在像素坐标系中的坐标，和分别为畸变校正后的左视图、右视图的图像点在像素坐标系中的坐标；(ul0,vl0)和(ur0,vr0)分别为左视图、右视图的畸变中心，
步骤3-2、通过张正友棋盘格标定法，求取无畸变的右视图旋转至无畸变的左视图的旋转矩阵R，以及平移向量t＝[tx ty tz]T；其中，tx，ty，tz分别为无畸变的右视图旋转至无畸变的左视图过程中沿x，y和z方向的平移量；
步骤3-3、采用张氏标定法求取左、右视图投影到公共平面使得最终左右视图水平对准的旋转矩阵Rl和Rr：
Rl＝RrextR1/2
Rr＝RrextR-1/2
其中，
步骤3-4、计算反投影矩阵Q：
式中，f为摄像机焦距，cx为左视图中心至左视图左上角沿着水平方向的物理距离，cy为左视图中心至左视图左上角沿着垂直方向的物理距离。
进一步地，步骤6所述摄像机采集驱动与图像处理模块对左视图Il0、右视图Ir0进行校正，获得新的左视图Il1、右视图Ir1，具体为：
步骤6-1、如步骤3-1的过程对左视图Il0、右视图Ir0进行畸变校正，获得无畸变的新的左视图Il01、右视图Ir01；
步骤6-2、通过步骤3获得的矩阵Rl和Rr，对步骤6-1中左视图Il01、右视图Ir01进行水平对准校正，获得水平对准后的新的左视图Il1、右视图Ir1：
式中，(ul1,vl1)和(ur1,vr1)分别为旋转后的左视图Il1和右视图Ir1的图像点在像素坐标系中的坐标，(ul01,vl01)和(ur01,vr01)分别为左视图Il01和右视图Ir01的图像点在像素坐标系中的坐标。
进一步地，步骤7求取左视图Il1和右视图Ir1的视差d，获得视差图，具体为：采用SGBM算法求取左视图Il1和右视图Ir1的视差d，获得视差图：
步骤7-1、对左视图Il1和右视图Ir1进行三基色分离，获得三基色通道图像；
步骤7-2、针对每个基色通道图像，采用SGBM算法分别求取左视图各像元与右视图相匹配像元的视差，之后将3个通道的匹配结果进行融合，获得视差图。
进一步地，步骤8通过步骤3获得的反投影矩阵Q、步骤6获得的图像Il1、步骤7获得的视差图，求取待测场景中所有目标点的三维坐标，由此获得三维坐标图，具体为：
步骤8-1、求取待测场景中所有目标点的三维坐标即三维点云即三维坐标图：
式中，为左视图Il1的像素在单摄像机坐标系的坐标，d为该像素对应的左、右视图的视差；[X Y Z w]T为点云三维齐次坐标；
步骤8-2、采用中值滤波对三维坐标图进行奇异值抑制。
下面结合实施例对本发明作进一步详细的描述。
实施例
本发明实施例中，采用的摄像机型号为LH-2830-V1，摄像机镜头焦距为2.8mm，CMOS传感器分辨率为2048x1536，传感器的像素尺寸为2μm，采用的双棱镜为30度双棱镜。
(1)摄像机单、双目标定实验中，使用棋盘格标定板，其标定板的角点数为9x6，角点间隔为1.736mm。
(2)LED发光二极管功率为0.01W，照射待测量的被测件。
(3)摄像机采集棋盘格图像，并将其均分成两半获得左视图和右视图分别如图4a)和4b)所示。
(4)对左视图和右视图进行单目畸变校正。以棋盘格图像为例验证畸变校正效果如图5a)和5b)所示。
(5)对左视图和右视图进行双目水平重合的双目校正以及计算反投影矩阵Q。以棋盘格图像为例验证水平重合效果如图6所示。
(6)对双目校正后的左视图如图7a)和右视图如图7a)采用半全局块匹配算法(SGBM)进行立体匹配，得到视差图，如图8所示。
(7)对(6)中所获得的视差图和(5)中所获得的反投影矩阵Q进行三维形貌重建，获得的场景三维点云显示如图9所示。
本发明通过在单摄像机前设置双棱镜，使单摄像机在同一时刻能拍摄场景的两幅图像，实现了小型化双目视觉工业内窥三维测量系统。本发明的系统实现是硬件与软件结合，其中大视场相机镜头畸变以及左右视图水平重合通过软件进行标定与校正，使后续测量精度大大提高。测量手段采用软件测量，摆脱了人为造成的误差。本发明的系统具有结构简单、体积小、成本低、容易装配等优势，可以对管道内壁等狭窄空间进行高速测量，解决了传统双摄像机双目视觉测量设计的挑战，有很好的应用前景。

Claims (10)

1.基于双棱镜单摄像机三维测量工业内窥镜系统，其特征在于，包括LED照明模块(1)、双棱镜单摄像机模块(2)、手柄模块(3)、摄像机采集驱动与图像处理模块(4)、显示模块(5)以及数据编解码与存储模块(6)；
所述LED照明模块(1)设置于双棱镜单摄像机模块(2)上，并且两者的光轴平行，且置于同一检测通道中；所述双棱镜单摄像机模块(2)与手柄模块(3)相连，双棱镜单摄像机模块(2)和摄像机采集驱动与图像处理模块(4)通过套入在手柄模块(3)内的数据线相互连接；所述摄像机采集驱动与图像处理模块(4)同时与显示模块(5)、数据编解码与存储模块(6)相连；
所述LED照明模块，用于为待测场景照明；
所述双棱镜单摄像机模块，用于实现单摄像机同时采集两幅待测场景图，分别记为左视图和右视图；
所述手柄模块，用于操作和控制双棱镜单摄像机模块以及LED照明模块在通道内部移动；
所述摄像机采集驱动与图像处理模块，用于为LED照明模块供电、驱动双棱镜单摄像机模块进行拍摄、读取图像并进行摄像机标定与校正、对左视图和右视图进行立体匹配、进行三维测量与重建、以及数据传输；
所述显示模块，用于显示双棱镜单摄像机模块拍摄到的图像、摄像机采集驱动与图像处理模块处理后的图像以及三维测量结果；
所述数据编解码与存储模块，用于对双棱镜单摄像机模块拍摄到的图像和摄像机采集驱动与图像处理模块处理后的图像进行编码、存储。
2.根据权利要求1所述的基于双棱镜单摄像机三维测量工业内窥镜系统，其特征在于，所述LED照明模块(1)包括白色LED照明光源；所述双棱镜单摄像机模块(2)包括双棱镜和单摄像机；所述手柄模块(3)包括金属软管手柄；所述摄像机采集驱动与图像处理模块(4)包括4.2V驱动电源和计算机；所述显示模块(5)包括计算机显示屏。
3.根据权利要求2所述的基于双棱镜单摄像机三维测量工业内窥镜系统，其特征在于，所述双棱镜的底面垂直于单摄像机镜头的光轴，且俯视双棱镜时的各折射棱平行于单摄像机中CMOS传感器的垂直边。
4.根据权利要求3所述的基于双棱镜单摄像机三维测量工业内窥镜系统，其特征在于，LED照明模块(1)能照亮所述单摄像机的整个视场范围，并且不直接照射摄像机镜头。
5.基于权利要求1所述三维测量工业内窥镜系统的三维测量方法，其特征在于，包括以下步骤：
步骤1、将三维测量工业内窥镜系统拍摄的图像均分为两半，分别获得左视图和右视图；其中，所述均分具体为：将拍摄到的图像的长均分为两半；
步骤2、对三维测量工业内窥镜系统参数进行单目标定，获取左视图和右视图各自的内参矩阵分别为Al、Ar和畸变参数向量分别为kl、kr；
步骤3、对双棱镜单摄像机进行双目标定与校正，通过内参矩阵Al、Ar和畸变参数向量kl、kr分别对左视图、右视图进行校正，获得无畸变的左视图、右视图；之后求取从右视图投影至左视图的旋转矩阵R和平移向量t，求取左、右视图投影到公共平面使得最终左、右视图水平对准的旋转矩阵Rl和Rr，并求取从左视图坐标映射到世界坐标的反投影矩阵Q；其中，公共平面垂直于单摄像机的光轴；
步骤4、由驱动电源驱动LED照明模块发射光线照射待测场景表面；
步骤5、利用单摄像机采集图像，获得左视图Il0、右视图Ir0，并通过套在手柄内的数据线将图像传输至摄像机采集驱动与图像处理模块；
步骤6、摄像机采集驱动与图像处理模块对左视图Il0、右视图Ir0进行校正，获得新的左视图Il1、右视图Ir1；
步骤7、求取左视图Il1和右视图Ir1的视差d，获得视差图；
步骤8、通过步骤3获得的反投影矩阵Q、步骤6获得的左视图Il1、步骤7获得的视差图，求取待测场景中所有目标点的三维坐标，由此获得三维坐标图；
步骤9、对感兴趣点或区域进行提取，并通过步骤8的过程求取所述提取的感兴趣点或区域所有点的三维坐标，由此重建出感兴趣点或区域的形貌，完成三维测量。
6.根据权利要求5所述的三维测量工业内窥镜系统的三维测量方法，其特征在于，步骤2所述对三维测量工业内窥镜系统参数进行单目标定，获取左视图和右视图各自的内参矩阵分别为Al、Ar和畸变参数向量分别为kl、kr，具体为：
步骤2-1、采用内窥镜系统之外的单色光源照射棋盘格标定板；
步骤2-2、单摄像机采集标定板图像，并根据步骤1的方式获得标定板的左、右视图；
步骤2-3、采用张氏标定法分别对左视图和右视图进行标定，由此获得左视图、右视图各自的内参矩阵分别为Al、Ar和畸变参数向量分别为kl、kr：
ki＝[k1i，k2i，k3i]i＝l，r
式中，fl和fr分别为左、右摄像机镜头的焦距，dxi和dyi分别为CMOS像元的长、宽，(cxl，cyl)和(cxr，cyr)分别为左视图、右视图的畸变中心，sl和sr分别为左视图、右视图的倾斜因子，k1l，k2l，k3l分别为左视图的1阶，2阶和3阶畸变系数，k1r，k2r，k3r分别为右视图的1阶，2阶和3阶畸变系数。
7.根据权利要求6所述的三维测量工业内窥镜系统的三维测量方法，其特征在于，步骤3具体为：
步骤3-1、采用畸变参数向量kl、kr计算获得无畸变的左视图和右视图：
式中，(ul，vl)和(ur，vr)分别为畸变校正前左视图、右视图的图像点在像素坐标系中的坐标，和分别为畸变校正后的左视图、右视图的图像点在像素坐标系中的坐标；(ul0，vl0)和(ur0，vr0)分别为左视图、右视图的畸变中心，
步骤3-2、通过张正友棋盘格标定法，求取无畸变的右视图旋转至无畸变的左视图的旋转矩阵R，以及平移向量t＝[tx ty tz]T；其中，tx，ty，tz分别为无畸变的右视图旋转至无畸变的左视图过程中沿x，y和z方向的平移量；
步骤3-3、采用张氏标定法求取左、右视图投影到公共平面使得最终左右视图水平对准的旋转矩阵Rl和Rr：
Rl＝RrextR1/2
Rr＝RrextR-1/2
其中，
e3＝e1×e2
步骤3-4、计算反投影矩阵Q：
式中，f为摄像机焦距，cx为左视图中心至左视图左上角沿着水平方向的物理距离，cy为左视图中心至左视图左上角沿着垂直方向的物理距离。
8.根据权利要求7所述的三维测量工业内窥镜系统的三维测量方法，其特征在于，步骤6所述摄像机采集驱动与图像处理模块对左视图Il0、右视图Ir0进行校正，获得新的左视图Il1、右视图Ir1，具体为：
步骤6-1、如步骤3-1的过程对左视图Il0、右视图Ir0进行畸变校正，获得无畸变的新的左视图Il01、右视图Ir01；
步骤6-2、通过步骤3获得的矩阵Rl和Rr，对步骤6-1中左视图Il01、右视图Ir01进行水平对准校正，获得水平对准后的新的左视图Il1、右视图Ir1：
式中，(ul1，vl1)和(ur1，vr1)分别为旋转后的左视图Il1和右视图Ir1的图像点在像素坐标系中的坐标，(ul01，vl01)和(ur01，vr01)分别为左视图Il01和右视图Ir01的图像点在像素坐标系中的坐标。
9.根据权利要求8所述的三维测量工业内窥镜系统的三维测量方法，其特征在于，步骤7所述求取左视图Il1和右视图Ir1的视差d，获得视差图，具体为：采用SGBM算法求取左视图Il1和右视图Ir1的视差d，获得视差图：
步骤7-1、对左视图Il1和右视图Ir1进行三基色分离，获得三基色通道图像；
步骤7-2、针对每个基色通道图像，采用SGBM算法分别求取左视图各像元与右视图相匹配像元的视差，之后将3个通道的匹配结果进行融合，获得视差图。
10.根据权利要求9所述的三维测量工业内窥镜系统的三维测量方法，其特征在于，步骤8所述通过步骤3获得的反投影矩阵Q、步骤6获得的图像Il1、步骤7获得的视差图，求取待测场景中所有目标点的三维坐标，由此获得三维坐标图，具体为：
步骤8-1、求取待测场景中所有目标点的三维坐标即三维点云即三维坐标图：
式中，为左视图Il1的像素在单摄像机坐标系的坐标，d为该像素对应的左、右视图的视差；[X Y Z w]T为点云三维齐次坐标；
步骤8-2、采用中值滤波对三维坐标图进行奇异值抑制。
CN201910048191.1A 2019-01-18 2019-01-18 基于双棱镜单摄像机三维测量工业内窥镜系统及测量方法 Pending CN109668509A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910048191.1A CN109668509A (zh) 2019-01-18 2019-01-18 基于双棱镜单摄像机三维测量工业内窥镜系统及测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910048191.1A CN109668509A (zh) 2019-01-18 2019-01-18 基于双棱镜单摄像机三维测量工业内窥镜系统及测量方法

Publications (1)

Publication Number Publication Date
CN109668509A true CN109668509A (zh) 2019-04-23

Family

ID=66149573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910048191.1A Pending CN109668509A (zh) 2019-01-18 2019-01-18 基于双棱镜单摄像机三维测量工业内窥镜系统及测量方法

Country Status (1)

Country Link
CN (1) CN109668509A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619660A (zh) * 2019-08-21 2019-12-27 深圳市优必选科技股份有限公司 一种物体定位方法、装置、计算机可读存储介质及机器人
CN111416972A (zh) * 2020-01-21 2020-07-14 同济大学 一种基于轴向可调级联转镜的三维成像系统和方法
CN112330794A (zh) * 2020-10-09 2021-02-05 同济大学 基于旋转二分棱镜的单相机图像采集系统和三维重建方法
CN112995638A (zh) * 2020-12-31 2021-06-18 上海易维视科技有限公司 自动调节视差的裸眼3d采集和显示系统及方法
CN114111637A (zh) * 2021-11-25 2022-03-01 天津工业大学 一种基于虚拟双目的条纹结构光三维重建方法
CN114383543A (zh) * 2021-12-14 2022-04-22 上海交通大学 单ccd双棱镜双目立体视觉传感器
CN114543667A (zh) * 2022-01-21 2022-05-27 同济大学 一种基于神经网络的单相机-双棱镜三维测量系统及测量方法
CN114562957A (zh) * 2022-02-28 2022-05-31 南京理工大学 基于双棱镜单摄像机立体视觉工业内窥镜系统及三维测量方法
CN115412718A (zh) * 2022-08-17 2022-11-29 华伦医疗用品(深圳)有限公司 一种内窥镜摄像系统、图像处理方法及可读存储介质
WO2023103526A1 (zh) * 2021-12-10 2023-06-15 诺创智能医疗科技(杭州)有限公司 单探测器双目3d内窥镜图像的校正、编码方法及电子装置
CN114562957B (zh) * 2022-02-28 2024-05-17 南京理工大学 基于双棱镜单摄像机立体视觉工业内窥镜系统及三维测量方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101518438A (zh) * 2009-03-27 2009-09-02 南开大学 双目内窥镜手术视觉系统
CN201641949U (zh) * 2009-03-26 2010-11-24 庞维克 单镜头立体内窥镜系统
KR20110047690A (ko) * 2009-10-30 2011-05-09 주식회사 썸텍 3차원 영상을 제공하는 내시경
CN103142202A (zh) * 2013-01-21 2013-06-12 东北大学 一种基于棱镜的具有测量功能的医用内窥镜系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201641949U (zh) * 2009-03-26 2010-11-24 庞维克 单镜头立体内窥镜系统
CN101518438A (zh) * 2009-03-27 2009-09-02 南开大学 双目内窥镜手术视觉系统
KR20110047690A (ko) * 2009-10-30 2011-05-09 주식회사 썸텍 3차원 영상을 제공하는 내시경
CN103142202A (zh) * 2013-01-21 2013-06-12 东北大学 一种基于棱镜的具有测量功能的医用内窥镜系统及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
崔笑宇: "基于棱镜的医用内窥镜辅助诊断系统研究", 《中国博士学位论文全文数据库 医药卫生科技辑》 *
张亚东: "基于立体视觉的P-GMAW熔池表面形貌三维重建研究", 《中国优秀硕士学位论文全文数据库 工程科技I辑》 *
汪懋华等: "《现代精细农业理论与实践》", 31 October 2012, 中国农业大学出版社 *
马波涛: "基于双目立体视觉的心脏软组织三维重构技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619660A (zh) * 2019-08-21 2019-12-27 深圳市优必选科技股份有限公司 一种物体定位方法、装置、计算机可读存储介质及机器人
CN111416972A (zh) * 2020-01-21 2020-07-14 同济大学 一种基于轴向可调级联转镜的三维成像系统和方法
CN111416972B (zh) * 2020-01-21 2021-03-26 同济大学 一种基于轴向可调级联转镜的三维成像系统和方法
CN112330794A (zh) * 2020-10-09 2021-02-05 同济大学 基于旋转二分棱镜的单相机图像采集系统和三维重建方法
CN112995638A (zh) * 2020-12-31 2021-06-18 上海易维视科技有限公司 自动调节视差的裸眼3d采集和显示系统及方法
CN114111637A (zh) * 2021-11-25 2022-03-01 天津工业大学 一种基于虚拟双目的条纹结构光三维重建方法
WO2023103526A1 (zh) * 2021-12-10 2023-06-15 诺创智能医疗科技(杭州)有限公司 单探测器双目3d内窥镜图像的校正、编码方法及电子装置
CN114383543A (zh) * 2021-12-14 2022-04-22 上海交通大学 单ccd双棱镜双目立体视觉传感器
CN114383543B (zh) * 2021-12-14 2022-12-27 上海交通大学 Waam熔池三维重建方法
CN114543667A (zh) * 2022-01-21 2022-05-27 同济大学 一种基于神经网络的单相机-双棱镜三维测量系统及测量方法
CN114543667B (zh) * 2022-01-21 2023-11-07 同济大学 一种基于神经网络的单相机-双棱镜三维测量系统及测量方法
CN114562957A (zh) * 2022-02-28 2022-05-31 南京理工大学 基于双棱镜单摄像机立体视觉工业内窥镜系统及三维测量方法
CN114562957B (zh) * 2022-02-28 2024-05-17 南京理工大学 基于双棱镜单摄像机立体视觉工业内窥镜系统及三维测量方法
CN115412718A (zh) * 2022-08-17 2022-11-29 华伦医疗用品(深圳)有限公司 一种内窥镜摄像系统、图像处理方法及可读存储介质

Similar Documents

Publication Publication Date Title
CN109668509A (zh) 基于双棱镜单摄像机三维测量工业内窥镜系统及测量方法
CN113777783B (zh) 具有对准校正的双目增强现实系统及对准校正方法
CN106846415B (zh) 一种多路鱼眼相机双目标定装置及方法
CN111060024B (zh) 旋转中心轴与图像采集装置相交的3d测量及获取装置
CN106091984B (zh) 一种基于线激光的三维点云数据获取方法
WO2016037486A1 (zh) 人体三维成像方法及系统
Yi et al. An omnidirectional stereo vision system using a single camera
CN107346425B (zh) 一种三维纹理照相系统、标定方法及成像方法
US20160295194A1 (en) Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images
TWI405030B (zh) 轉變成像軸線立體取像方法及裝置
CN102243432A (zh) 全景立体摄像装置
CN109379578A (zh) 全方位三维视频拼接方法、装置、设备以及存储介质
CN104939793A (zh) 基于液体透镜的可调焦3-d胶囊内窥镜系统
CN111009030A (zh) 一种多视高分辨率纹理图像与双目三维点云映射方法
AU2019221088A1 (en) Method and system for calibrating a plenoptic camera system
CN109242898A (zh) 一种基于图像序列的三维建模方法及系统
CN114359406A (zh) 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法
CN111064945B (zh) 一种裸眼3d图像采集及生成方法
CN108805921A (zh) 图像获取系统及方法
CN109084679B (zh) 一种基于空间光调制器的3d测量及获取装置
CN115601437A (zh) 一种基于目标识别的动态会聚型双目立体视觉系统
CN108322730A (zh) 一种可采集360度场景结构的全景深度相机系统
CN114993207B (zh) 基于双目测量系统的三维重建方法
CN108413941A (zh) 一种基于廉价双目相机的简易高效测距方法
JP5503573B2 (ja) 撮像装置および画像処理情報生成プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190423