CN116858139B - 基于双目视觉的金属结构平面度测量方法 - Google Patents

基于双目视觉的金属结构平面度测量方法 Download PDF

Info

Publication number
CN116858139B
CN116858139B CN202310790735.8A CN202310790735A CN116858139B CN 116858139 B CN116858139 B CN 116858139B CN 202310790735 A CN202310790735 A CN 202310790735A CN 116858139 B CN116858139 B CN 116858139B
Authority
CN
China
Prior art keywords
flatness
camera
measurement
metal structure
binocular vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310790735.8A
Other languages
English (en)
Other versions
CN116858139A (zh
Inventor
祝锋
陈炳坤
邓宇杰
刘敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202310790735.8A priority Critical patent/CN116858139B/zh
Publication of CN116858139A publication Critical patent/CN116858139A/zh
Application granted granted Critical
Publication of CN116858139B publication Critical patent/CN116858139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/30Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种基于双目视觉的金属结构平面度测量方法,包括以下步骤:S1、硬件选型;S2、相机标定与图像校正;S3、金属结构三维重建及平面度测量;S4、平面度测量装置软件设计。本发明利用立体视觉测量技术对金属结构的平面度进行评估,开发出基于双目视觉的金属结构平面度测量装置,辅助检测人员对机械金属结构平面度进行非接触式测量,有效地提高了测量效率和准确度,改善了检测人员的工作强度与难度,对大型机械设备的安全评估具有重要意义。

Description

基于双目视觉的金属结构平面度测量方法
技术领域
本发明涉及测量技术领域,更具体地说,涉及一种基于双目视觉的金属结构平面度测量方法。
背景技术
随着我国经济开放度的大幅提高和对外贸易的不断提升,大型机械设备的应用越来越广泛,此类设备通常具有工作周期短、重复、周期性强、工作负荷大的特点,在各类恶劣工作环境、交变载荷作用下,易引发严重的安全事故。因此,大型机械金属结构的检测对保障其使用寿命,防止非计划性停机,显得尤为重要。
机械金属结构平面由于受力情况复杂,常常会出现凹陷、鼓包,甚至裂纹,如图1所示。机械金属结构平面度的检测主要通过检测人员携带仪器,如钢直尺,攀爬至待检部位进行检测,这种方式存在效率低、工作强度大、无安全保障、技术要求高、存在检测盲点等问题。目前,机械金属结构平面的检测技术正朝着检测过程自动化方向发展。此外,还有通过激光扫描仪、全站仪、水准仪等对机械金属结构进行检测的方式,但是这些方法成本高昂,且局限较多。传统检测方式已无法满足实际生产需求,需对其进行改进以降低机械金属结构平面度检测的成本与危险性,提高检测效率。
机械金属结构平面度的检测主要是以人工携带仪器直接测量为主,目前,用于大型机械的平面度测量方法主要有三坐标测量机法、CCD测量法和百分表测量法。而三坐标测量机在使用时,会受到环境以及仪器所处空间的约束。百分表法较为传统,数字化程度不高,难以实现自动化测量,且测量精度有限。另一方面,CCD测量法的测量成本较高,且操作较为复杂,这提高了操作人员的技术要求以及工作强度。由于这些方式存在一定的安全隐患,检测效率低下容易存在检测盲点,且检测工作强度大,在机械金属结构平面度检测上存在较大局限性,面对实际工况并不适用。而且此类检测需要多种检测方式结合使用,缺乏一个统一的检测体系。
发明内容
本发明要解决的技术问题在于,提供一种基于双目视觉的金属结构平面度测量方法,其有效地提高了测量效率和准确度,改善了检测人员的工作强度与难度,对大型机械设备的安全评估具有重要意义,使机械金属结构的平面度测量更加高效、精确,并节省成本。
本发明解决其技术问题所采用的技术方案是:构造一种基于双目视觉的金属结构平面度测量方法,包括以下步骤:
S1、硬件选型:通过双目立体视觉原理,根据Thomas Luhmann提出的立体视觉简化分析方法完成相机的选型和相机结构参数的优化;
S2、相机标定与图像校正:利用双目标定四个坐标系间的转换以及张正友标定法,使用棋盘格对相机进行标定,通过Matlab软件中的Stereo Camera Calibrator工具箱对相机对立体视觉系统进行标定;
S3、金属结构三维重建及平面度测量:选择AD-Census立体匹配算法,利用获得的重投影矩阵Q,完成从二维视差图到三维点云的转换,并通过直通滤波器、离群点滤波器以及体素滤波器对点云进行滤波处理,消除噪声及离群点的干扰;
S4、平面度测量装置软件设计:利用Qt框架完成人机交互界面设计,人机交互界面包含四个模块:登录界面、图像校正界面、立体匹配界面和平面度测量界面。
按上述方案,所述步骤S1中,通过实验计算在测量平面为1000mm×1000mm,相机与测量平面距离为500mm时,相机在XYZ三个方向上的精度满足要求,为后面平面度的高精度测量做准备。
按上述方案,所述实验选定的标定板为棋盘标定板。
按上述方案,所述相机的摄像头为两个HF868-2相机组合作为双目相机。
按上述方案,所述步骤S2中,相机与标定板的位姿关系通过对基距B、相机焦距f以及重投影误差三个方面对标定结果进行分析,得出结论为相机标定精度符合使用要求。
按上述方案,所述步骤S3中,在平面度计算方面,选择RANSAC算法作为平面度计算时使用的平面拟合算法。
按上述方案,所述步骤S3中,对特定测量对象运用双目视觉方案进行平面度测量,通过实验验证测量精度,与激光扫描仪进行比较,验证双目视觉平面度测量系统的准确性以及双目视觉实现金属结构平面度测量方案的可行性。
按上述方案,所述步骤S4中,利用C++语言调用OpenCV库以及PCL库实现图像信息的采集与处理。
按上述方案,所述步骤S4中,根据OpenCV库实现双目平行模型的深度测量,生成对应的深度图,通过PCL点云库,将深度图转化为点云模型,完成对点云的预处理与平面拟合,进而完成平面度的测量。
实施本发明的基于双目视觉的金属结构平面度测量方法,具有以下有益效果:
1、本发明可以对待测平面进行三维重建,效率高,操作简单,大大降低了对操作人员的要求,降低了人工成本;且双目相机相较激光扫描仪等专业设备,价格相对低廉,大幅降低了检测设备的成本,同时配合本设计的平面度测量软件,可以直观展现检测过程以及待测金属结构平面实际形貌;
2、本发明使用双目视觉方案完成金属结构平面度的测量,做到了零污染,且可与其他远程控制仪器配合使用,改善了检测人员的工作环境;而通过定期检测的方式进行设备巡检,可避免机械设备不必要的非计划停机,减少了设备连锁损坏,避免了因事故性维修带来的污染;
3、本发明在金属结构平面度测量方面相较传统的人工检测或激光扫描仪等专业设备测量极大地提高了工作效率,具有明显的经济效益和环保优势。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明的金属结构平面度异常图;
图2是本发明的棋盘格标定板图;
图3是本发明的HF868-2相机图;
图4是本发明的双目标定立体示意图;
图5是本发明的未校正图像特征匹配图;
图6是本发明的未校正图像y方向偏移图;
图7是本发明的校正图像特征匹配图;
图8是本发明的校正图像y方向偏移图;
图9是本发明的深度图;
图10是本发明的点云图;
图11是本发明的平面拟合示意图;
图12是本发明的基于双目视觉的金属结构平面度测量方法的流程图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图详细说明本发明的具体实施方式。
如图1-12所示,本发明的基于双目视觉的金属结构平面度测量方法,在基于双目视觉的基础上,对测量平面的图像进行校正、立体匹配,实现三维重建,以完成平面度的测量,包括以下步骤:
S1、硬件选型:通过双目立体视觉原理,根据Thomas Luhmann提出的立体视觉简化分析方法完成相机的选型和相机结构参数的优化;
S2、相机标定与图像校正:利用双目标定四个坐标系间的转换以及张正友标定法,使用棋盘格对相机进行标定,通过Matlab软件中的Stereo Camera Calibrator工具箱对相机对立体视觉系统进行标定;
S3、金属结构三维重建及平面度测量:选择AD-Census立体匹配算法,利用获得的重投影矩阵Q,完成从二维视差图到三维点云的转换,并通过直通滤波器、离群点滤波器以及体素滤波器对点云进行滤波处理,消除噪声及离群点的干扰;
S4、平面度测量装置软件设计:利用Qt框架完成人机交互界面设计,人机交互界面包含四个模块:登录界面、图像校正界面、立体匹配界面和平面度测量界面。
整体技术方案流程图如图12所示。
硬件选型:通过双目立体视觉原理,根据Thomas Luhmann提出的立体视觉简化分析方法完成相机的选型以及相机结构参数的优化;通过实验计算在测量平面为1000mm×1000mm,相机与测量平面距离为500mm时,相机在XYZ三个方向上的精度满足要求,为后面平面度的高精度测量做准备;所选用的标定板为棋盘标定板,该标定板制作简便且精度高,标定板参数如表1所示。本实验所选用摄像头为两个HF868-2相机组合作为双目相机。相机参数如表2所示,所选硬件实物如图3-4所示。
表1标定板参数表
表2相机基本参数
型号 单个像元尺寸(μm) 分辨率 帧率 基距(mm)
HF868-2 dx×dy=3×3 1920×1080 60 130.0
相机标定与图像校正:利用双目标定四个坐标系间的转换以及张正友标定法,使用棋盘格对相机进行标定,通过Matlab软件中的Stereo Camera Calibrator工具箱对相机对立体视觉系统进行了标定,双目相机与标定板的立体示意图如图5所示。由图5可知,相机与标定板的位姿关系基本符合实际,并通过对基距B、相机焦距f以及重投影误差三个方面对标定结果进行分析,得出结论为相机标定精度符合使用要求;对比分析结果如表3所示。
表3标定结果对比
通过OpenCV实现了双目图像的高精度校正,为平面度测量打下坚实基础。矫正前后效果如图6~9所示。本发明使用Bouguet极线校正算法实现两相机光轴平行,从而缩小立体匹配算法的搜索范围,使得只需要在对齐后的同一行上进行搜索,将二维搜索问题转化为一维搜索,减小计算复杂度。本发明通过ORB算法实现特征点的检测和提取,利用FLANN实现特征点匹配,经过实验得到的校正后像素偏差均小于0.1pixels,校正精度高,满足平面度测量的精度要求。校正后相机参数如表4所示。
表4校正后相机参数表
金属结构三维重建及平面度测量:选择AD-Census立体匹配算法。此后,利用上述获得的重投影矩阵Q,完成了从二维视差图到三维点云的转换,并通过直通滤波器、离群点滤波器以及体素滤波器对点云进行滤波处理,消除噪声及离群点的干扰。深度图和点云图如图10-11所示。在平面度计算方面,选择RANSAC算法作为平面度计算时使用的平面拟合算法。平面拟合效果如图12所示。最后,对特定的测量对象运用双目视觉方案进行平面度测量,通过实验验证该方案的测量精度,与激光扫描仪进行比较,验证双目视觉平面度测量系统的准确性以及双目视觉实现金属结构平面度测量方案的可行性。测量对比效果见表5。
表5测量结果对比分析表
平面度测量装置软件设计:由于图像从二维到三维测量的过程较为复杂,处理流程较为繁琐,为简化操作人员使用该方案进行测量,利用Qt框架完成了人机交互界面设计,人机交互界面主要包含4个模块,分别是登录界面、图像校正界面、立体匹配界面以及平面度测量界面。利用C++语言调用OpenCV库以及PCL库实现图像信息的采集与处理。根据OpenCV库实现双目平行模型的深度测量,生成对应的深度图。通过PCL点云库,将深度图转化为点云模型,完成对点云的预处理与平面拟合,进而完成平面度的测量,简化平面度测量的操作过程,实现平面度的高效、准确测量。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。

Claims (3)

1.一种基于双目视觉的金属结构平面度测量方法,其特征在于,包括以下步骤:
S1、硬件选型:通过双目立体视觉原理,根据立体视觉简化分析方法完成相机的选型和相机结构参数的优化;
S2、相机标定与图像校正:利用双目标定四个坐标系间的转换以及张正友标定法,使用棋盘格对相机进行标定,通过Matlab软件中的Stereo Camera Calibrator工具箱对相机对立体视觉系统进行标定;
S3、金属结构三维重建及平面度测量:选择AD-Census立体匹配算法,利用获得的重投影矩阵,完成从二维视差图到三维点云的转换,并通过直通滤波器、离群点滤波器以及体素滤波器对点云进行滤波处理,消除噪声及离群点的干扰;
S4、平面度测量装置软件设计:利用Qt框架完成人机交互界面设计,人机交互界面包含四个模块:登录界面、图像校正界面、立体匹配界面和平面度测量界面;
所述步骤S1中,通过实验计算在测量平面为,相机与测量平面距离为时,相机在XYZ三个方向上的精度满足要求,为后面平面度的高精度测量做准备;
所述步骤S2中,相机与标定板的位姿关系通过对基距、相机焦距/>以及重投影误差三个方面对标定结果进行分析,得出结论为相机标定精度符合使用要求;
所述步骤S3中,在平面度计算方面,选择RANSAC算法作为平面度计算时使用的平面拟合算法;
所述步骤S3中,对特定测量对象运用双目视觉方案进行平面度测量,通过实验验证测量精度,与激光扫描仪进行比较,验证双目视觉平面度测量系统的准确性以及双目视觉实现金属结构平面度测量方案的可行性;
所述步骤S4中,利用C++语言调用OpenCV库以及PCL库实现图像信息的采集与处理;
所述步骤S4中,根据OpenCV库实现双目平行模型的深度测量,生成对应的深度图,通过PCL点云库,将深度图转化为点云模型,完成对点云的预处理与平面拟合,进而完成平面度的测量。
2.根据权利要求1所述的基于双目视觉的金属结构平面度测量方法,其特征在于,所述实验选定的标定板为棋盘标定板。
3.根据权利要求1所述的基于双目视觉的金属结构平面度测量方法,其特征在于,所述相机的摄像头为两个HF868-2相机组合作为双目相机。
CN202310790735.8A 2023-06-29 2023-06-29 基于双目视觉的金属结构平面度测量方法 Active CN116858139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310790735.8A CN116858139B (zh) 2023-06-29 2023-06-29 基于双目视觉的金属结构平面度测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310790735.8A CN116858139B (zh) 2023-06-29 2023-06-29 基于双目视觉的金属结构平面度测量方法

Publications (2)

Publication Number Publication Date
CN116858139A CN116858139A (zh) 2023-10-10
CN116858139B true CN116858139B (zh) 2024-05-28

Family

ID=88222714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310790735.8A Active CN116858139B (zh) 2023-06-29 2023-06-29 基于双目视觉的金属结构平面度测量方法

Country Status (1)

Country Link
CN (1) CN116858139B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315003A (zh) * 2023-12-01 2023-12-29 常州微亿智造科技有限公司 基于双目光栅投影的三维测量方法、系统、设备及其介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102918353A (zh) * 2010-05-18 2013-02-06 新日铁住金株式会社 板材的平坦度测量方法及采用该方法的钢板的制造方法
CN106996748A (zh) * 2017-03-16 2017-08-01 南京工业大学 一种基于双目视觉的轮径测量方法
CN110425996A (zh) * 2019-07-31 2019-11-08 工极智能科技(苏州)有限公司 基于双目立体视觉的工件尺寸测量方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5397190B2 (ja) * 2009-11-27 2014-01-22 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
CN104376596B (zh) * 2014-11-28 2017-05-31 北京航空航天大学 一种基于单幅图像的三维场景结构建模与注册方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102918353A (zh) * 2010-05-18 2013-02-06 新日铁住金株式会社 板材的平坦度测量方法及采用该方法的钢板的制造方法
CN106996748A (zh) * 2017-03-16 2017-08-01 南京工业大学 一种基于双目视觉的轮径测量方法
CN110425996A (zh) * 2019-07-31 2019-11-08 工极智能科技(苏州)有限公司 基于双目立体视觉的工件尺寸测量方法

Also Published As

Publication number Publication date
CN116858139A (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
CN109612390B (zh) 基于机器视觉的大尺寸工件自动测量系统
JP7212236B2 (ja) オーバービュー視覚およびローカル視覚の一体化によるロボット視覚案内方法及び装置
CN111288967B (zh) 一种基于机器视觉的远距离高精度位移检测方法
CN116858139B (zh) 基于双目视觉的金属结构平面度测量方法
CN111006601A (zh) 三维激光扫描在变形监测中的关键技术
CN104034263A (zh) 一种锻件尺寸的非接触测量方法
CN103292701A (zh) 基于机器视觉的精密器件在线尺寸测量方法
CN101144703A (zh) 一种基于多源图像融合的物体几何尺寸测量装置及方法
CN102519400A (zh) 基于机器视觉的大长径比轴类零件直线度误差检测方法
CN111707187B (zh) 一种大型零件的测量方法及系统
CN1566906A (zh) 一种基于平面靶标的结构光视觉传感器标定方法
Gao et al. Tunnel contour detection during construction based on digital image correlation
CN102226687A (zh) 一种电缆和光缆绝缘和护套材料厚度测量方法
CN110363758B (zh) 一种光学遥感卫星成像质量确定方法及系统
CN109523539A (zh) 基于多相机阵列的大尺寸的工业板材在线测量系统及方法
CN111862193A (zh) 一种基于形状描述子的电焊焊点双目视觉定位方法及装置
CN111385558B (zh) Tof摄像模组精度测量方法及其系统
CN106403838A (zh) 一种手持式线结构光视觉三维扫描仪的现场标定方法
CN113310433A (zh) 基于线结构光的虚拟双目立体视觉测量方法
CN111062992A (zh) 一种双视角线激光扫描三维成像装置及方法
CN111738971A (zh) 一种基于线激光双目立体视觉的电路板立体扫描检测方法
CN102901465A (zh) 一种测量光学镜片斜率误差的设备和方法
CN111521204B (zh) 一种基于绝对位置旋转型编码器的角位移视觉测量方法
CN108413870B (zh) 基于代入法测量平面尺寸的方法
CN117537706A (zh) 基于三轴坐标转换与单目视觉融合的钣金孔洞定位尺寸检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant