CN114066976A - 一种基于多视图约束的导管中心线匹配方法 - Google Patents

一种基于多视图约束的导管中心线匹配方法 Download PDF

Info

Publication number
CN114066976A
CN114066976A CN202010756176.5A CN202010756176A CN114066976A CN 114066976 A CN114066976 A CN 114066976A CN 202010756176 A CN202010756176 A CN 202010756176A CN 114066976 A CN114066976 A CN 114066976A
Authority
CN
China
Prior art keywords
point
image
camera
constraint
catheter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010756176.5A
Other languages
English (en)
Inventor
赵吉宾
陈月玲
夏仁波
赵亮
付生鹏
孙海涛
张�诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Intelligent Robot National Research Institute Co ltd
Shenyang Intelligent Robot Innovation Center Co ltd
Shenyang Institute of Automation of CAS
Original Assignee
Shenyang Intelligent Robot National Research Institute Co ltd
Shenyang Intelligent Robot Innovation Center Co ltd
Shenyang Institute of Automation of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Intelligent Robot National Research Institute Co ltd, Shenyang Intelligent Robot Innovation Center Co ltd, Shenyang Institute of Automation of CAS filed Critical Shenyang Intelligent Robot National Research Institute Co ltd
Priority to CN202010756176.5A priority Critical patent/CN114066976A/zh
Publication of CN114066976A publication Critical patent/CN114066976A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种基于多视图约束的导管中心线匹配方法。其步骤为:将多目视觉进行两两标定，确定任意两个相机之间的内参数和外参变换矩阵，同步采集图像，对图像进行中心线提取，得到中心线离散坐标点，利用双目三角测量原理得到中心线离散点的三维空间点云，借助于多视图约束，剔除三维重建过程中相邻视图之间的的误匹配点，得到正确的匹配点，拟合中心线曲线，扫掠得到导管三维模型，本发明方法可以实现任意异形导管的中心线三维重建，精度高，效率高，应用范围广泛。

Description

一种基于多视图约束的导管中心线匹配方法
技术领域
本发明涉及计算机视觉技术领域,具体的说是基于多视图约束的导管中心线匹配方法。
背景技术
利用反投影进行剔除误匹配点，以点到对应极线的距离作为正确匹配点对的判断标准剔除误匹配点，而实际上，由于在错误的匹配点对中点到对应极线的距离有可能也比较小。因此无法避免错误点的产生，因此，本发明提出一种基于多视图约束的导管中心线匹配方法，实现匹配点对的唯一性以及准确性。
发明内容
针对现有技术中存在的上述不足之处，本发明要解决的技术问题是提供一种基于多视图约束的导管中心线匹配方法，该方法有效的利用多视几何中极线约束的特性，将图像二维空间降低到极线的一维搜索，结合多视图将极线一维空间降低到点—点—点的唯一性匹配上，剔除了多义性的中轴线空间点，鲁棒性强，效率高，精度高。
本发明为实现上述目的所采用的技术方案是：一种基于多视图约束的导管中心线匹配方法，包括以下步骤：
一种基于多视图约束的导管中心线匹配方法，包括以下步骤：
将多目视觉进行两两标定，确定任意两个相机之间的内参数和外参变换矩阵，同步采集异形导管图像，进行中心线提取得到中心线离散坐标点，利用双目三角测量原理得到中心线离散点的三维空间点云，借助于多视图约束剔除三维重建过程中相邻视图之间的的误匹配点，得到正确的匹配点，再拟合中心线曲线并扫掠实现导管中心线三维模型重建。
所述方法包括：
搭建工业相机视觉单元并相机标定，将所有相机坐标系转换到基坐标系下；
同步触发所有的工业相机采集在背光光源上放置的原始导管图像，并进行图像处理分别得到多幅相机视角图像中该异形导管的中心线；
利用双目视觉的三角测量原理计算相机1视角图像的中心线上任意点的对极几何约束，从而确定相机1视角图像中心线任意点在相机2图像上的待匹配点对集；
利用多视几何约束，对待匹配点集进行判断，找到相机1视角图像的中心线上全部的任意点的匹配点对；
基于三角法测量原理对匹配的图像点进行三维重建，得到异形导管空间三维中心线点云，实现对该异形导管中心线的定位检测。
所述搭建工业相机视觉单元并相机标定，将所有相机坐标系转换到基坐标系下包括：
将多个工业相机两两作为一组视觉单元，组成多组视觉单元；
对每个视觉单元的坐标系进行双目视觉标定，得到相机的内参数和相机坐标系之间的外参数；
以相机1坐标系为基座标系，利用世界坐标统一法将所有的相机坐标系转换到基坐标系下。
所述图像处理的步骤包括利用Canny算法对图像边缘进行提取，借助于图像细化进行骨架提取。
所述对极几何约束使得匹配点搜索从整个图像的二维空间降低到一维极线上，包括：
由于一幅图像中的任意点x在另一个图像上的匹配点x’一定落在x点在另一个图像的极线上l'，则有：
l'＝Fx
Figure BDA0002611639370000021
其中F为基础矩阵，Al,Ar分别是相邻两个相机坐标系的内参矩阵，S为相邻两个相机坐标系平移矩阵的反对称矩阵，R为相邻两个相机坐标系的旋转矩阵。
所述确定待匹配点对集，包括：
假设图像1中心线上的任意点r1在图像2上对应极线L2，计算图像2的异形导管中心线上的所有点距离该极线L2的欧式距离，如果有n个点
Figure BDA0002611639370000031
满足欧氏距离小于阈值t，则点r1在图像2上的待匹配点对集为
Figure BDA0002611639370000032
所述多视几何约束为通过加入多个视图的方法对待匹配点对集进行约束从而确定唯一匹配点对，包括：
加入第三个视角图像3来增加约束：对于集合M中任意一对待匹配点对集，如果点对r1和
Figure BDA0002611639370000033
在图像3中的极线分别为L3和L'3，两个极线的交点为r3；
计算图像3的异形导管中心线上任意点到r3的距离，若该距离小于阈值t，则r1和
Figure BDA0002611639370000034
即为一对一的匹配点对；
若阈值大于t，则丢弃该点对，在点集M中重新选择其他点对按照上述方法进行计算，直到找到满足阈值条件的唯一匹配点对。
由于相机视角不一样，复杂导管的中心线在某些相机视角下被遮挡，因此还可以加入视角图像4，如果点对集M在图像3中没有找到匹配点对，则利用上述方法在图像4中寻找符合条件的唯一匹配点对。
本发明具有以下有益效果及优点：
1.本发明所述的基于多视图约束的导管中心线匹配方法能有效的剔除匹配过程中的误匹配点。
2.本发明所述的基于多视图约束的导管中心线匹配方法能有效地重建导管中心线。
附图说明
图1为本发明方法用硬件装置示意图；
图2为本发明方法流程图；
图3(a)为本发明方法的相机1视角图像；
图3(b)为本发明方法的相机2视角图像；
图3(c)为本发明方法的相机3视角图像。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
参照附图1，本发明方法的硬件装置包括：背光板、待检测异形导管、四个工业相机两两作为一组视觉单元、作为控制器的计算机。其中，一组工业相机视觉单元可以测出其中一个视角图像与另外一个视角图像的导管中心线上的匹配点对，第三个、第四个相机视角图像作为加入的多个视图用于增加约束，提高方法的鲁棒性。计算机装有用于方法检测的各个步骤的程序，配合计算机基于三角法测量原理对匹配的图像点进行三维重建，得到异形导管空间三维中心线点云输出给上位机，上位机可以根据该定位检测结果用于导管装配。
参照附图2、附图3(a)-附图3(c)，本发明所述基于多视图约束的导管中心线匹配方法的具体步骤如下：
步骤1：将四个工业相机两两作为一组视觉单元，组成两组视觉单元；
步骤2：对每个视觉单元的坐标系进行双目视觉标定，得到相机的内参数和相机坐标系之间的转换矩阵，也就是外参数；
内参数表示从工业相机坐标系到图像坐标系的变换矩阵；每个镜头的畸变程度各不相同，包括径向畸变、偏心畸变；利用二维柔性靶标对每个工业相机的内参数进行标定。
外参数表示从工业相机坐标系到世界坐标系的变换矩阵，通过旋转矩阵R和平移矩阵T实现。
步骤3：以相机1坐标系为基座标系，利用世界坐标统一法将所有的相机坐标系转换到基坐标系下；
步骤4：同步触发所有的工业相机采集在背光光源上放置的原始导管图像，由于四个相机的视角不同，各自拍摄的图像也不同；
步骤5：利用Canny算法对图像边缘进行提取，借助于图像细化进行骨架提取分别得到四幅相机视角图像中该异形导管的中心线。
步骤6：利用双目视觉的三角测量原理计算相机1视角图像的中心线上任意点的对极几何约束，再确定待匹配点对集；
(1)由于一幅图像中的任意点x在另一个图像上的匹配点x’一定落在x点在另一个图像的极线上l'，则有：
l'＝Fx
Figure BDA0002611639370000051
其中F为基础矩阵，Al,Ar分别是相邻两个相机坐标系的内参矩阵，S为相邻两个相机坐标系平移矩阵的反对称矩阵，R为相邻两个相机坐标系的旋转矩阵。
(2)由于对极几何约束是一种弱几何约束，假设图像1中心线上的任意点r1在图像2上对应极线L2，计算图像2的异形导管中心线上的所有点距离该极线L2的欧式距离，如果有n个点
Figure BDA0002611639370000052
满足欧氏距离小于阈值t，则点r1在图像2上的待匹配点对集为
Figure BDA0002611639370000053
上述方法可以将点x对应的匹配点搜索从整个图像的二维空间降低到一维极线上，因此相当于对搜索空间进行降维。
步骤7：利用多视几何约束，对待匹配点集进行正确性判断，确保点集匹配的准确性。
加入第三个视角图像3来增加约束：对于集合M中任意一对待匹配点对集，如果点对r1和
Figure BDA0002611639370000054
在图像3中的极线分别为L3和L'3，两个极线的交点为r3。计算图像3的异形导管中心线上任意点到r3的距离，若该距离小于阈值t，则r1和
Figure BDA0002611639370000055
即为一对一的匹配点对。若阈值大于t，则将丢弃该点对，在点集M中重新选择其他点对，按照上述方法进行计算，直到找到满足阈值条件的唯一匹配点对。
此外，由于相机视角不一样，复杂导管的中心线在某些相机视角下被遮挡，因此还可以加入视角图像4，如果点对集M在图像3中没有找到匹配点对，则利用同样的方法在图像4中寻找符合条件的唯一匹配点对。同理，可加入多个视图增加算法的鲁棒性。
至此，找到相机1视角图像的中心线上全部的任意点的匹配点对。
步骤8：基于三角法测量原理对匹配的图像点对进行三维重建，得到异形导管的空间三维中心线点云，实现对该异形导管中心线的定位检测。
附图3可知，曲线L2是相机1下的点r1所对应的相机2视图下的极线，从图像可知，图像中心线上有三个点和极线相交，分别是r2，r'2，r”2，也就是说这三个点是r1对应的待匹配点，通过第三幅图像进行约束，分别得到三对待匹配点[r1，r2],[r1，r'2],[r1，r”2]；
计算r1和r2点分别在第三幅图像上的极线得到L3和L‘3，两条直线的交点为r3，计算r3到第三幅图像中心线的最小值，如果最小值小于阈值t，则认为r1和r2点为一对正确的匹配点对,得到唯一的匹配点r3。同理其他两对待匹配点对也执行上述操作。
本发明对多种异形管路进行测量，都可以得到管路的中心线，同时也可以对自由形状的管件进行测量。测量精度高，效率高，应用范围广。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰应视为本发明的保护范围。

Claims (8)

1.一种基于多视图约束的导管中心线匹配方法，其特征在于，包括以下步骤：
将多目视觉进行两两标定，确定任意两个相机之间的内参数和外参变换矩阵，同步采集异形导管图像，进行中心线提取得到中心线离散坐标点，利用双目三角测量原理得到中心线离散点的三维空间点云，借助于多视图约束剔除三维重建过程中相邻视图之间的的误匹配点，得到正确的匹配点，再拟合中心线曲线并扫掠实现导管中心线三维模型重建。
2.根据权利要求1所述的基于多视图约束的导管中心线匹配方法，其特征在于，所述方法包括：
搭建工业相机视觉单元并相机标定，将所有相机坐标系转换到基坐标系下；
同步触发所有的工业相机采集在背光光源上放置的原始导管图像，并进行图像处理分别得到多幅相机视角图像中该异形导管的中心线；
利用双目视觉的三角测量原理计算相机1视角图像的中心线上任意点的对极几何约束，从而确定相机1视角图像中心线任意点在相机2图像上的待匹配点对集；
利用多视几何约束，对待匹配点集进行判断，找到相机1视角图像的中心线上全部的任意点的匹配点对；
基于三角法测量原理对匹配的图像点进行三维重建，得到异形导管空间三维中心线点云，实现对该异形导管中心线的定位检测。
3.根据权利要求2所述的基于多视图约束的导管中心线匹配方法，其特征在于，所述搭建工业相机视觉单元并相机标定，将所有相机坐标系转换到基坐标系下包括：
将多个工业相机两两作为一组视觉单元，组成多组视觉单元；
对每个视觉单元的坐标系进行双目视觉标定，得到相机的内参数和相机坐标系之间的外参数；
以相机1坐标系为基座标系，利用世界坐标统一法将所有的相机坐标系转换到基坐标系下。
4.根据权利要求2所述的基于多视图约束的导管中心线匹配方法，其特征在于，所述图像处理的步骤包括利用Canny算法对图像边缘进行提取，采用图像细化进行骨架提取。
5.根据权利要求2所述的基于多视图约束的导管中心线匹配方法，其特征在于，所述对极几何约束使得匹配点搜索从整个图像的二维空间降低到一维极线上，包括：
由于一幅图像中的任意点x在另一个图像上的匹配点x’一定落在x点在另一个图像的极线上l'，则有：
l‘＝Fx
Figure FDA0002611639360000021
其中F为基础矩阵，Al,Ar分别是相邻两个相机坐标系的内参矩阵，S为相邻两个相机坐标系平移矩阵的反对称矩阵，R为相邻两个相机坐标系的旋转矩阵。
6.根据权利要求5所述的基于多视图约束的导管中心线匹配方法，其特征在于，所述确定待匹配点对集，包括：
假设图像1中心线上的任意点r1在图像2上对应极线L2，计算图像2的异形导管中心线上的所有点距离该极线L2的欧式距离，如果有n个点
Figure FDA0002611639360000022
满足欧氏距离小于阈值t，则点r1在图像2上的待匹配点对集为
Figure FDA0002611639360000023
7.根据权利要求6所述的基于多视图约束的导管中心线匹配方法，其特征在于，所述多视几何约束为通过加入多个视图的方法对待匹配点对集进行约束从而确定唯一匹配点对，包括：
加入第三个视角图像3来增加约束：对于集合M中任意一对待匹配点对集，如果点对r1和
Figure FDA0002611639360000024
在图像3中的极线分别为L3和L'3，两个极线的交点为r3；
计算图像3的异形导管中心线上任意点到r3的距离，若该距离小于阈值t，则r1和
Figure FDA0002611639360000031
即为一对一的匹配点对；
若阈值大于t，则丢弃该点对，在点集M中重新选择其他点对按照上述方法进行计算，直到找到满足阈值条件的唯一匹配点对。
8.根据权利要求7所述的基于多视图约束的导管中心线匹配方法，其特征在于，由于相机视角不一样，复杂导管的中心线在某些相机视角下被遮挡，因此还可以加入视角图像4，如果点对集M在图像3中没有找到匹配点对，则利用上述方法在图像4中寻找符合条件的唯一匹配点对。
CN202010756176.5A 2020-07-31 2020-07-31 一种基于多视图约束的导管中心线匹配方法 Pending CN114066976A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010756176.5A CN114066976A (zh) 2020-07-31 2020-07-31 一种基于多视图约束的导管中心线匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010756176.5A CN114066976A (zh) 2020-07-31 2020-07-31 一种基于多视图约束的导管中心线匹配方法

Publications (1)

Publication Number Publication Date
CN114066976A true CN114066976A (zh) 2022-02-18

Family

ID=80227344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010756176.5A Pending CN114066976A (zh) 2020-07-31 2020-07-31 一种基于多视图约束的导管中心线匹配方法

Country Status (1)

Country Link
CN (1) CN114066976A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114638980A (zh) * 2022-03-04 2022-06-17 支付宝(杭州)信息技术有限公司 菜品种类识别处理方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114638980A (zh) * 2022-03-04 2022-06-17 支付宝(杭州)信息技术有限公司 菜品种类识别处理方法及装置

Similar Documents

Publication Publication Date Title
Cui et al. Precise calibration of binocular vision system used for vision measurement
CN109544628B (zh) 一种指针式仪表的准确读数识别系统及方法
CN104537707B (zh) 像方型立体视觉在线移动实时测量系统
CN110378969B (zh) 一种基于3d几何约束的汇聚式双目相机标定方法
CN111210468A (zh) 一种图像深度信息获取方法及装置
CN109579695B (zh) 一种基于异构立体视觉的零件测量方法
CN105066962B (zh) 一种多分辨率大视场角高精度摄影测量装置
CN101354796B (zh) 基于泰勒级数模型的全向立体视觉三维重建方法
Chen et al. The location and identification of concentric circles in automatic camera calibration
CN109544642B (zh) 一种基于n型靶标的tdi-ccd相机参数标定方法
CN104794717A (zh) 一种基于双目视觉系统的深度信息对比方法
Perdigoto et al. Calibration of mirror position and extrinsic parameters in axial non-central catadioptric systems
CN111028280A (zh) 井字结构光相机系统及进行目标有尺度三维重建的方法
Mei et al. Monocular vision for pose estimation in space based on cone projection
CN113409395B (zh) 导管管端高精度检测定位方法
CN114066976A (zh) 一种基于多视图约束的导管中心线匹配方法
Ji et al. Self-calibration of a rotating camera with a translational offset
CN105678088B (zh) 一种靶标测头的平差优化算法
CN114092500A (zh) 一种多目视觉下的导管中心线点云处理方法
CN111738971A (zh) 一种基于线激光双目立体视觉的电路板立体扫描检测方法
CN112489141B (zh) 车载摄像头单板单图带中继镜的产线标定方法及装置
CN110487254B (zh) 一种用于rov的水下目标尺寸快速测量方法
Ulrich et al. A camera model for cameras with hypercentric lenses and some example applications
CN109285210B (zh) 结合拓扑关系和极线约束的管路三维重建方法
CN112033286B (zh) 一种基于双目视觉的结构六自由度运动测量系统的测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination