CN109242911A - 一种基于分区域的双目相机基本矩阵计算方法 - Google Patents

一种基于分区域的双目相机基本矩阵计算方法 Download PDF

Info

Publication number
CN109242911A
CN109242911A CN201810977360.5A CN201810977360A CN109242911A CN 109242911 A CN109242911 A CN 109242911A CN 201810977360 A CN201810977360 A CN 201810977360A CN 109242911 A CN109242911 A CN 109242911A
Authority
CN
China
Prior art keywords
point
fundamental matrix
characteristic point
characteristic
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810977360.5A
Other languages
English (en)
Inventor
贾振元
张致远
邸宏图
逯永康
赵海洋
张洋
刘巍
马建伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201810977360.5A priority Critical patent/CN109242911A/zh
Publication of CN109242911A publication Critical patent/CN109242911A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Software Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明一种基于分区域的双目相机基本矩阵计算方法属于计算机视觉测量领域，涉及一种基于分区域的双目相机基本矩阵计算方法。该方法首先搭建双目视觉系统，将特征点标定物放置在视场中，连接左、右相机和工作站，然后通过左、右相机采集所设计的特征点图像。引入畸变参量并进行特征点的自动识别提取与畸变矫正，完成左右图像特征点的匹配以构成初始匹配点集，基于视场范围对初始匹配点集进行均匀地分区域；最后在各分区中不断随机抽样一组匹配点进行迭代计算基本矩阵以完成基本矩阵的高精度计算。该方法通过特征点的自动识别减少标定的操作时间、提高稳定性，实现了高精度、高鲁棒性、快速进行双目相机基本矩阵的计算。

Description

一种基于分区域的双目相机基本矩阵计算方法
技术领域
本发明属于计算机视觉测量领域，涉及一种基于分区域的双目相机基本矩阵计算方法。
背景技术
随着现代工业现场零件测量需求的变化，要求基于视觉的几何量精密测量不再局限于可控环境下小尺寸零件的测量，而是需要实现大视场复杂环境下的大型零件的精密测量。而在视觉测量领域，基于双目相机的视觉测量方式具有测量视场大和单次测量精度高的特点，被普遍地应用于大型零件的精密测量。在工业现场环境下大视场双目视觉测量时，左右图像对应基元的匹配是保证精度的一个关键环节，而基本矩阵的计算精度是影响匹配精度的关键点。但由于工业环境下拍摄的大视场图像受噪声与畸变影响较大，使用传统的基本矩阵计算方法的精度无法满足现场测量的需求。
传统方法中，通常直接利用RANSAC算法实现图像的畸变校正，常常针对初始匹配点集中的误匹配点组进行算法优化。在减少迭代次数、实现全视场精度提升的领域却没有进行优化。上海师范大学的单欣等人在上海电机学院学报,2006(04):66-69.《基于RANSAC算法的基本矩阵估计的匹配方法》一文中提出了一种基于Sampson距离的RANSAC法用于解决求解基本矩阵中误匹配问题。采用基于RANSAC方法,并引入Sampson加权算子，以Sampson距离划分局内点和局外点来提高算法的鲁棒性。并通过完整的仿真实验，验证了该算法的有效性。该方法筛选了初始匹配特征点集中的误匹配点组，使得最终计算所得的基本矩阵更具鲁棒性，精度更高。但是对于设定不同的迭代次数，仍会计算出不同的基本矩阵，产生鲁棒性与精度较低的结果，也无法保证全局精度。
发明内容
本发明要解决的技术难题是实际大视场工业环境下双目图像之间基本矩阵的高精度计算，而传统基本矩阵计算方法鲁棒性、全局精度与计算效率无法兼得。因此，发明了一种基于分区域的双目相机基本矩阵计算方法。该方法，首先搭建一种充满视场的特征点标定物，然后通过相机采集特征点图像并进行特征点的自动识别提取与引入畸变参量进行畸变校正，完成做右图像中特征点的匹配以构成初始匹配点集。然后基于视场范围对初始匹配点集进行均匀分区域操作，最后在各分区中随机抽样一组匹配点计算双目相机的基本矩阵，并对该计算过程进行迭代以完成基本矩阵的高精度计算。此方法，在特征点识别提取过程中引入了畸变参量进行校正，减弱了畸变所造成的提点不精确而导致的基本矩阵计算误差，然后通过分区域的方法加快了计算过程的迭代次数，无需多次重复设定迭代次数已达到鲁棒稳定的基础矩阵计算结果。通过分区域的随机抽样，使计算所得的基础矩阵在全局视场内精度更高，提高迭代速度，实现了快速、精确的基本矩阵计算。此方法是一种兼得全局精度，计算速度与精度的基本矩阵计算方法。
本发明采用的技术方案是一种基于分区域的双目相机基本矩阵计算方法，其特征是，首先搭建双目视觉系统，将特征点标定物放置在视场中，该标定物具有两个非共面平面的特征点，并均匀粘贴圆形特征点分布于两个非共面平面上；连接左、右相机和工作站，然后通过左、右相机采集所设计的特征点图像；引入畸变参量并进行特征点的自动识别提取与畸变矫正，完成左右图像特征点的匹配以构成初始匹配点集，基于视场范围对初始匹配点集进行均匀地分区域；最后在各分区中不断随机抽样一组匹配点进行迭代计算基本矩阵以完成基本矩阵的高精度计算；方法的具体步骤如下：
步骤1，初始匹配点集构建
首先搭建双目视觉系统，将特征点标定物放置在视场中；为保证特征点具有一定的深度信息，搭建的特征点标定物1设计有前后两个非共面平面，在非共面平面上设计N个特征点，并均匀分布在平面上；均匀粘贴圆形特征点在标定物1两个非共面平面上；利用已连接的左、右相机2、3和工作站4采集所设计的特征点图像；利用圆形的圆度与灰度特征，基于椭圆拟合算法可自动识别圆形标志点的圆心坐标；
步骤2，提取并校正特征点，构建初始匹配特征点集；
利用先验标定所得的畸变参量对圆心坐标进行畸变校正，以已校正的圆心坐标的图像坐标(x,y)与圆心到图像零点构成的角度作为特征向量，进行特征匹配，完成引入了畸变参量的初始匹配点集构建；
步骤3，特征点均匀分区域，分区域随机抽样；
采用了一种分区域抽样提取算法，通过区域特征点的随机抽样选取，进行RANSAC基本矩阵算法；将初始特征对应点集Q{q＝(x,y)}按行平均分为s个区，平均从各区中随机抽取8/s组，共8组对应点；通过迭代优化最小化公式(1)以计算该次抽样所对应的基本矩阵Fj，j为当前迭代次数，mi为随机抽样第i组对应点的左图像齐次坐标，m'i为其对应的右图像齐次坐标；
步骤4，计算基本矩阵，判断基本矩阵是否满足精度要求；
设计算初始特征对应点集内每对对应点到各自极线的平方距离di，以表征该基本矩阵Fj对该对对应点的匹配程度；按公式(2)划分其对应局内点与局外点；
其中，C为该基本矩阵Fj所对应的局内点数量，T为特征点图像坐标到其对应极线的距离阈值，按精度要求，设定为0.5pixel；
步骤5，重复步骤3-4，直到局内点数量占比达到期望的阈值，并记录该组局内特征对应点集为Qin，此时局内点数量为Cin；对局内特征对应点集Qin内所有的对应点，通过公式(1)，其中，i∈[1，Cin])计算最优基本矩阵F。
本发明的有益效果是该方法是一种兼得全局精度，计算速度与精度的基本矩阵计算方法。此方法利用设计的特征点标定物，基于分区的随机抽样提取匹配特征点，通过迭代循环高精度高鲁棒性并且快速地计算出双目相机的基本矩阵。此方法仅利用极易构建的特征点标定物，克服了传统基本矩阵计算方法计算精度与计算时间复杂度不可兼得等问题，无需传统使用的大尺寸高精度的高价标定物。并通过特征点的自动识别减少标定的操作时间、提高稳定性，实现了高精度、高鲁棒性、快速进行双目相机基本矩阵的计算。
附图说明
图1是双目视觉系统示意图，其中，1-特征点标定物，2-左相机，3-右相机，4-工作站。
图2是特征点均匀分区域与分区域随机抽样示意图，其中虚线为分割各个分区域的标志。
图3是本发明计算方法的流程图。
具体实施方式
以下结合技术方案和附图详细叙述本发明的具体实施方式。
本实施例的双目视觉系统中左右相机为韩国Vieworks公司生产的VC-12MC-M/C65相机，分辨率：4096×3072，图像传感器：CMOS。镜头型号为EF16-35mmf/2.8LIIUSM，镜头焦距：f＝16-35，APS焦距：25.5-52.5，光圈：F2.8。拍摄条件如下：镜头焦距为35mm，工作距离1.5m，视场大小约为1000×1200mm。
本发明首先搭建具有两个非共面平面的特征点标定物1，均匀粘贴圆形特征点分布于两个非共面平面。本实施例中，标定物的特征点分布于两个非共面平面，如图1、图2所示。标定物的特征点采用直径为6mm的圆形标志点，标定物共有304个特征点，然后通过左、右相机2、3和工作站4采集所设计的特征点图像。
图3是基于非度量的畸变校正方法的流程图，方法的具体步骤如下：
步骤1，初始匹配点集构建
首先搭建双目视觉系统，将特征点标定物放置在视场中；为保证特征点具有一定的深度信息，搭建的特征点标定物1设计有前后两个非共面平面，在非共面平面上设计N个特征点，并均匀分布在平面上；均匀粘贴圆形特征点在标定物1两个非共面平面上；利用已连接的左、右相机2、3和工作站4采集所设计的特征点图像；利用圆形的圆度与灰度特征，基于椭圆拟合算法可自动识别圆形标志点的圆心坐标。本实施例中，圆度设定为0.3，灰度阈值设定为0.25，基于椭圆拟合算法可自动识别圆形标志点的圆心坐标；利用先验标定所得的畸变参量对圆心坐标进行畸变校正；
步骤2，提取并校正特征点，构建初始匹配特征点集；
利用先验标定所得的畸变参量对圆心坐标进行畸变校正，以已校正的圆心坐标的图像坐标(x,y)与圆心到图像零点构成的角度作为特征向量，进行特征匹配，完成引入了畸变参量的初始匹配点集构建；
步骤3，特征点均匀分区域，分区域随机抽样；
为精确标定匹配参数，以实现视觉测量中高精度极线匹配，通常采用RANSAC算法进行基本矩阵计算。RANSAC算法具有鲁棒性高、精度高的优势，但抽样结果数量较多，运算时间较长；且极易陷入局部最优的情况，需要选取合适的迭代次数，才能鲁棒地针对图像的全局空间进行标定。采用了一种分区域抽样提取算法，通过区域特征点的随机抽样选取，进行RANSAC基本矩阵算法；通过区域特征点的抽样选取，减小抽样数据量加快迭代计算速度，同时特征点可均匀分布于全局图像中，避免了仅在局部区域取样的情况，使基本矩阵计算的鲁棒性更高。
将初始特征对应点集Q{q＝(x,y)}按行平均分为s个区，平均从各区中随机抽取8/s组，共8组对应点；通过迭代优化最小化公式(1)以计算该次抽样所对应的基本矩阵Fj，j为当前迭代次数，mi为随机抽样第i组对应点的左图像齐次坐标，m'i为其对应的右图像齐次坐标。
步骤4，计算基本矩阵，判断基本矩阵是否满足精度要求；
设计算初始特征对应点集内每对对应点到各自极线的平方距离di，以表征该基本矩阵Fj对该对对应点的匹配程度；按公式(2)划分其对应局内点与局外点；其中，T为特征点图像坐标到其对应极线的距离阈值，按精度要求，设定为0.5pixel。
步骤5，重复步骤3-4，直到局内点数量占比达到期望的阈值，并记录该组局内特征对应点集为Qin，此时局内点数量为Cin；对局内特征对应点集Qin内所有的对应点，通过公式(1)，其中，i∈[1，Cin])计算最优基本矩阵F：
此方法仅利用极易构建的特征点标定物，克服了传统基本矩阵计算方法计算精度与计算时间复杂度不可兼得等问题，无需传统使用的大尺寸高精度的高价标定物。并通过特征点的自动识别减少标定的操作时间、提高稳定性，实现了高精度、高鲁棒性、快速进行双目相机基础矩阵的计算。

Claims (1)

1.一种基于分区域的双目相机基本矩阵计算方法，其特征是，首先搭建双目视觉系统，将特征点标定物放置在视场中，该标定物具有两个非共面平面的特征点，并均匀粘贴圆形特征点分布于两个非共面平面上；连接左、右相机和工作站，然后通过左、右相机采集所设计的特征点图像；引入畸变参量并进行特征点的自动识别提取与畸变矫正，完成左右图像特征点的匹配以构成初始匹配点集，基于视场范围对初始匹配点集进行均匀地分区域；最后在各分区中不断随机抽样一组匹配点进行迭代计算基本矩阵以完成基本矩阵的高精度计算；方法的具体步骤如下：
步骤1，初始匹配点集构建
首先搭建双目视觉系统，将特征点标定物放置在视场中；为保证特征点具有一定的深度信息，搭建的特征点标定物(1)设计有前后两个非共面平面，在非共面平面上设计N个特征点，并均匀分布在平面上；均匀粘贴圆形特征点在标定物(1)两个非共面平面上；利用已连接的左、右相机(2、3)和工作站(4)采集所设计的特征点图像；利用圆形的圆度与灰度特征，基于椭圆拟合算法可自动识别圆形标志点的圆心坐标；
步骤2，提取并校正特征点，构建初始匹配特征点集；
利用先验标定所得的畸变参量对圆心坐标进行畸变校正，以已校正的圆心坐标的图像坐标(x,y)与圆心到图像零点构成的角度作为特征向量，进行特征匹配，完成引入了畸变参量的初始匹配点集构建；
步骤3，特征点均匀分区域，分区域随机抽样；
采用了一种分区域抽样提取算法，通过区域特征点的随机抽样选取，进行RANSAC基本矩阵算法；将初始特征对应点集Q{q＝(x,y)}按行平均分为s个区，平均从各区中随机抽取8/s组，共8组对应点；通过迭代优化最小化公式(1)以计算该次抽样所对应的基本矩阵Fj，j为当前迭代次数，mi为随机抽样第i组对应点的左图像齐次坐标，m'i为其对应的右图像齐次坐标；
步骤4，计算基本矩阵，判断基本矩阵是否满足精度要求；
设计算初始特征对应点集内每对对应点到各自极线的平方距离di，以表征该基本矩阵Fj对该对对应点的匹配程度；按公式(2)划分其对应局内点与局外点；
其中，C为该基本矩阵Fj所对应的局内点数量，T为特征点图像坐标到其对应极线的距离阈值，按精度要求，设定为0.5pixel；
步骤5，重复步骤3-4，直到局内点数量占比达到期望的阈值，并记录该组局内特征对应点集为Qin，此时局内点数量为Cin；对局内特征对应点集Qin内所有的对应点，通过公式(1)，其中，i∈[1，Cin])计算最优基本矩阵F。
CN201810977360.5A 2018-08-27 2018-08-27 一种基于分区域的双目相机基本矩阵计算方法 Pending CN109242911A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810977360.5A CN109242911A (zh) 2018-08-27 2018-08-27 一种基于分区域的双目相机基本矩阵计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810977360.5A CN109242911A (zh) 2018-08-27 2018-08-27 一种基于分区域的双目相机基本矩阵计算方法

Publications (1)

Publication Number Publication Date
CN109242911A true CN109242911A (zh) 2019-01-18

Family

ID=65068020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810977360.5A Pending CN109242911A (zh) 2018-08-27 2018-08-27 一种基于分区域的双目相机基本矩阵计算方法

Country Status (1)

Country Link
CN (1) CN109242911A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264530A (zh) * 2019-06-27 2019-09-20 深圳市道通智能航空技术有限公司 一种相机标定方法、装置和无人机
CN112819904A (zh) * 2021-03-15 2021-05-18 亮风台（上海）信息科技有限公司 一种用于标定ptz摄像机的方法与设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101706957A (zh) * 2009-10-30 2010-05-12 无锡景象数字技术有限公司 一种双目立体视觉装置的自标定方法
CN102750704A (zh) * 2012-06-29 2012-10-24 吉林大学 一种摄像机分步自标定方法
CN104715482A (zh) * 2015-03-20 2015-06-17 四川大学 一种ransac计算基本矩阵中内点门限设置算法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101706957A (zh) * 2009-10-30 2010-05-12 无锡景象数字技术有限公司 一种双目立体视觉装置的自标定方法
CN102750704A (zh) * 2012-06-29 2012-10-24 吉林大学 一种摄像机分步自标定方法
CN104715482A (zh) * 2015-03-20 2015-06-17 四川大学 一种ransac计算基本矩阵中内点门限设置算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张致远等: "《基于非度量校正的大视场图像匹配参数标定法》", 《HTTP://WWW.OPTICSJOURNAL.NET/ARTICLES/ABSTRACT?AID=OJ180809000081ADJGMJ》 *
黄春燕，等: "《改进的RANSAC方法在基础矩阵中的应用》", 《计算机工程与设计》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264530A (zh) * 2019-06-27 2019-09-20 深圳市道通智能航空技术有限公司 一种相机标定方法、装置和无人机
CN112819904A (zh) * 2021-03-15 2021-05-18 亮风台（上海）信息科技有限公司 一种用于标定ptz摄像机的方法与设备
CN112819904B (zh) * 2021-03-15 2022-02-01 亮风台（上海）信息科技有限公司 一种用于标定ptz摄像机的方法与设备

Similar Documents

Publication Publication Date Title
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
CN108510551B (zh) 一种远距离大视场条件下相机参数的标定方法及系统
CN105716542B (zh) 一种基于柔性特征点的三维数据拼接方法
CN106548462B (zh) 基于薄板样条插值的非线性sar图像几何校正方法
CN102663767B (zh) 视觉测量系统的相机参数标定优化方法
CN109523595B (zh) 一种建筑工程直线棱角间距视觉测量方法
WO2018196303A1 (zh) 多方位投影的投影仪标定方法及装置
CN106651942A (zh) 基于特征点的三维旋转运动检测与旋转轴定位方法
CN110223355B (zh) 一种基于双重极线约束的特征标志点匹配方法
CN106971408B (zh) 一种基于时空转换思想的摄像机标定方法
CN109345597B (zh) 一种基于增强现实的相机标定图像采集方法及装置
CN101231750A (zh) 一种双目立体测量系统的标定方法
CN109508709B (zh) 一种基于机器视觉的单指针仪表读数方法
CN110443879B (zh) 一种基于神经网络的透视误差补偿方法
CN109003312A (zh) 一种基于非线性优化的相机标定方法
CN109974618B (zh) 多传感器视觉测量系统的全局标定方法
CN111383194A (zh) 一种基于极坐标的相机畸变图像校正方法
CN113393439A (zh) 一种基于深度学习的锻件缺陷检测方法
CN106056121A (zh) 基于sift图像特征匹配的卫星装配工件快速识别方法
CN109242911A (zh) 一种基于分区域的双目相机基本矩阵计算方法
Gong et al. High-precision calibration of omnidirectional camera using an iterative method
CN109242909B (zh) 一种面向高精度二维尺寸测量的线阵相机标定算法
CN108205645A (zh) 一种异源图像匹配系统的基准图质量评价方法
CN107478172B (zh) 基于双目视觉的激光三维曲线轮廓定位投影方法
CN110458951B (zh) 一种电网杆塔的建模数据获取方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190118