CN116091617A - 一种基于机器视觉的轮胎位姿检测方法及系统 - Google Patents

一种基于机器视觉的轮胎位姿检测方法及系统 Download PDF

Info

Publication number
CN116091617A
CN116091617A CN202211654768.1A CN202211654768A CN116091617A CN 116091617 A CN116091617 A CN 116091617A CN 202211654768 A CN202211654768 A CN 202211654768A CN 116091617 A CN116091617 A CN 116091617A
Authority
CN
China
Prior art keywords
tire
binocular
plane
points
circle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211654768.1A
Other languages
English (en)
Inventor
马波涛
李越
包世峥
黄梅
胡银燕
张青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Aerospace Science And Industry Big Data Research Institute Co ltd
Original Assignee
Chengdu Aerospace Science And Industry Big Data Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Aerospace Science And Industry Big Data Research Institute Co ltd filed Critical Chengdu Aerospace Science And Industry Big Data Research Institute Co ltd
Priority to CN202211654768.1A priority Critical patent/CN116091617A/zh
Publication of CN116091617A publication Critical patent/CN116091617A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operations Research (AREA)
  • Computer Graphics (AREA)
  • Algebra (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于机器视觉的轮胎位姿检测方法及系统，所述方法包括：构建世界坐标系，完成左、右双目相机的联合标定，并获取左、右双目系统参数；得到左、右轮胎的双目立体图像对；对所述双目立体图像对进行预处理；提取预处理后的双目立体图像对中均匀散斑结构光特征点，完成特征点的立体匹配，并基于所得匹配特征点，完成轮胎内边缘圆上特征点的提取与立体匹配；基于所得立体匹配特征点对与左、右双目系统参数，完成左、右轮胎侧面特征点的三维重建，得到世界坐标系下左、右轮胎侧面的点云数据；基于所述点云数据，获取轮胎位姿参数。本发明检测精度高。

Description

一种基于机器视觉的轮胎位姿检测方法及系统
技术领域
本发明涉及检测技术领域，特别是一种基于机器视觉的轮胎位姿检测方法及系统。
背景技术
汽车轮胎作为车辆的核心组成部分之一，其对车辆的安全使用有着至关重要的作用。车辆装配完成达到出厂的重要条件之一是必须确保左右轮胎位姿正确，若轮胎位姿不正确，在行驶过程中往往会因此而产生车轮跳动、方向盘抖动、轮胎偏磨、车辆失衡、轴承劳损等众多不良现象，为车辆的安全驾驶埋下众多安全隐患。
轮胎的位姿检测主要包括轮胎前束检测与轮胎内外倾角检测，其中前束检测即为检测左右轮胎的中心平面是否平行，内外倾角检测即检测左右轮胎中心平面与水平面之间的夹角是否符合标准(一般为0～2度)。
目前，大部分企业采取通过人工操作各类辅助设备的方式来进行轮胎的位姿检测，这种方法一方面依赖于人工经验，客观性有所欠缺，当检测人员长时间工作后，难免会有所疏忽，造成不良品流出的现象时有发生，从而引发严重的安全事故，给企业带来重大损失；另一方面，检测所花时间较长，为实现车身4个轮胎的检测，一般需要投多个工人来同时实施，成本投资高。尽管目前有少数企业采用一定的自动化手段进行轮胎的位姿检测，但其往往需要采用复杂的检测设备对车辆轮胎动态进行多项详细的检测，内部检测算法及处理过程复杂，检测设备造价昂贵，检测过程耗时长、效率低，且当车辆轮胎发生型号变化时，此类系统可能会失去作用，而目前车辆种类繁多，对应的轮胎型号各异，故而此类检测设备与系统在实际使用中通用性较差，往往无法满足企业的实际需求。
发明内容
针对目前汽车装配与质检环节轮胎位姿检测中存在的成本高、耗时长、效率低等问题，本发明提供了一种基于机器视觉的轮胎位姿检测方法及系统，以解决上述技术问题。
本发明公开了一种基于机器视觉的轮胎位姿检测方法，其包括以下步骤：
步骤1：构建世界坐标系，水平面为X、Y轴平面，重力铅垂线为Z轴，完成左、右双目相机的联合标定，并获取左、右双目系统参数；
步骤2：所述左、右双目相机同时采集左、右轮胎的图像，得到左、右轮胎的双目立体图像对；
步骤3：对所述双目立体图像对进行预处理；
步骤4：提取预处理后的双目立体图像对中均匀散斑结构光特征点，完成特征点的立体匹配，并基于所得匹配特征点，完成轮胎内边缘圆上特征点的提取与立体匹配；
步骤5：基于所得立体匹配特征点对与左、右双目系统参数，完成左、右轮胎侧面特征点的三维重建，得到世界坐标系下左、右轮胎侧面的点云数据；
步骤6：基于所述点云数据，获取轮胎位姿参数。
进一步地，所述左、右双目系统参数包括左、右双目相机各自的内部参数与外部参数、世界坐标系、双目立体坐标系与世界坐标系之间的变换参数；
所述步骤1包括：
在安装好左、右双目相机后，以水平面作为XY轴平面，XY轴平面的法线即为重力铅垂线，将其作为Z轴，选取原点，构建世界坐标系，以构建好的世界坐标系为基准，并分别选择左、右双目相机中的某一相机坐标系作为左、右双目相机立体坐标系，对左、右双目相机进行联合相机标定，获取左、右双目相机各自的内部参数与外部参数，以及左、右双目相机立体坐标系与世界坐标系之间的变换参数。
进一步地，所述双目立体坐标系与世界坐标系之间的变换参数为旋转矩阵与平移向量；
基于旋转矩阵与平移向量，两个三维坐标系之间的坐标转换公式为：
Figure BDA0004012176520000031
其中，R为旋转矩阵、T为平移向量，[x y z]T为目标点在其中一个三维坐标系下的坐标，[x'y'z']T为目标点在另一个三维坐标系下的坐标。
进一步地，所述步骤2包括：
左、右双目立体相机同时采集轮胎图像，即得到左、右轮胎在散射光与均匀散斑结构光条件下的双目立体图像对；
所述步骤3包括：
对所采集到的双目立体图像对相关处理；其中，所述相关处理包括均衡化与二值化；
基于相关处理后的双目立体图像对，针对散射光条件下的双目相机两幅图像，基于不同区域的颜色区分，提取轮胎的内边缘与外边缘，并基于此对均衡散斑结构光条件下双目相机两幅图像进行图像剪切操作,同时对散斑结构光条件下双目相机两幅图像中对应的剪切区域进行中值滤波处理。
进一步地，所述步骤4包括：
步骤41：基于SURF特征点检测算法分别提取双目立体图像对的两幅图像剪切区域中散斑结构光对应的特征点；其中，两幅图像分别记为第一图像和第二图像；
步骤42：结合立体匹配约束条件，以第一图像中的光点为基准，在第二图像中获取其最佳匹配点；
步骤43：重复步骤42，直至第一图像中的所有光点找到匹配点，从而得到以第一图像为基准的众多特征像素点对时，即完成散斑结构光特征点的立体匹配；
步骤44：在第一图像中轮胎的内边缘周围，从已匹配的第一图像特征像素点中均匀选择k组连线与内边缘相交的特征像素点；其中，一组包含两个特征像素点，并记录所有交点{c1i,0<＝i<k}，同时基于第二图像中对应的特征像素点获取第二图像中与第一图像中内边缘交点匹配的像素点序列{c2i,0<＝i<k}，至此即完成轮胎内边缘采样点的立体匹配；分别完成左、右双目相机图像对的立体匹配，即可得到左、右双目相机匹配特征点对集合与内边缘匹配特征点对集合。
进一步地，所述步骤5包括：
基于所得匹配特征点像素坐标，并结合双目相机参数矩阵，计算匹配特征点在相机坐标系下的三维坐标，匹配点像素坐标与三维坐标之间关系，通过以下关系式表示：
Figure BDA0004012176520000051
其中，(u1,v1)与(u2,v2)分别为匹配点在双目相机两幅图像中的像素坐标，A1、A2分别为双目相机的内部参数矩阵，R21为双目相机中第二个相机坐标系与第一个相机坐标系之间的旋转矩阵，T21双目相机中第二个相机坐标系与第一个相机坐标系之间的平移向量；
将所述关系式分别代入左、右双目相机对应的各特征点在两幅图像中的像素坐标以及双目相机内部参数与外部参数，计算出所有特征点在对应双目立体坐标系下的三维坐标，经滤波去除噪声点后，即得到在左、右侧双目立体坐标系下的左、右轮胎侧面点云数据；
基于旋转矩阵与平移向量，两个三维坐标系之间的坐标转换公式，将左、右双目立体坐标系下的轮胎侧面点云坐标转换至世界坐标系下，即得到世界坐标系下左、右轮胎侧面的稀疏点云数据。
进一步地，所述轮胎位姿参数包括左、右轮胎侧面最高点平面SL与SR，平面SL、SR与重力铅垂线之间的夹角，左、右轮胎侧面最高点形成圆的圆心ol、or以及ol与or连线的中点o的坐标值，左右平面SL、SR与水平面的交线与直线ol-or的中垂面之间的夹角。
进一步地，所述步骤6包括：
假设轮胎侧面内边缘所构成平面为ax+by+cz＝1，代入轮胎内边缘上的k个点坐标，使用最小二乘法求解(a,b,c)T，其为圆C1对应平面的法向量；假设圆C1圆心为p(x0,y0,z0)，基于圆周上任意两点连线的中垂线必过圆心的几何特点，使用最小二乘法求解(x0,y0,z0)；轮胎的中轴线经过圆C1圆心且垂直于圆C1对应平面，故有圆C1对应平面的法向量(a,b,c)T为中轴线的方向向量，基于点p(x0,y0,z0)与方向向量(a,b,c)T，即可确定轮胎的中轴线方程；
定义轮胎的中轴线参数为点p(x0,y0,z0)与方向向量(a,b,c)T，分别代入左、右轮胎内边缘的k个点坐标，即可得到左、右轮胎的中轴线参数；
基于向量点乘的特点，即可得到圆C1与圆C2对应的平面与重力铅垂线之间的夹角为：
Figure BDA0004012176520000061
其中，
Figure BDA0004012176520000062
为圆C1对应平面的法向量(轮胎中轴线参数中的方向向量)，
Figure BDA0004012176520000063
为Z轴的单位方向向量；代入已得到的左、右轮胎的中轴线参数，即可得到左、右平面SL、SR与重力铅垂线之间的夹角；
以轮胎侧面圆C1对应的平面为基准，计算点云中各点与此平面的距离，其距离公式如为：
Figure BDA0004012176520000064
其中，(a,b,c)T为圆C1对应平面的法向量，(x0,y0,z0)为圆C11圆心p的坐标；选取距离圆C1对应平面最远的前m个点，并以其距离均值作为圆C2对应平面到圆C1对应平面之间的距离，结合轮胎中轴线点与方向向量，即可得圆C2的圆心的坐标、半径以及其对应的平面方程；代入已得到的左、右轮胎中轴线的点坐标与方向向量，即可得左、右轮胎侧面最高点形成圆的圆心ol、or的坐标与左、右平面SL、SR的平面方程，并可得到ol与or连线的中点o的坐标；
基于向量点乘的特点，得到圆C1对应平面与水平面交线与直线ol-or的中垂面之间的夹角为：
Figure BDA0004012176520000071
其中，
Figure BDA0004012176520000072
为圆C1对应平面ax+by+cz＝1与水平面的交线对应方向向量，可取值为(b,-a,0)T，
Figure BDA0004012176520000073
为直线ol-or对应方向向量；代入已得到的左、右轮胎中轴线参数中的方向向量与直线ol-or对应方向向量，即得到左右平面SL、SR与水平面的交线与直线ol-or的中垂面之间的夹角。
进一步地，所述步骤6之后，还包括：
对轮胎位姿检测结果进行可视化呈现，同时，用户可基于自身需求设置各轮胎位姿参数的阈值，当系统检测到的轮胎位姿参数超过阈值时，即可发起预警；其中，所述轮胎位姿检测结果包括左、右轮胎侧面最高点平面SL与SR，平面SL、SR与重力铅垂线之间的夹角，左、右轮胎侧面最高点形成圆的圆心ol、or以及ol与or连线的中点o的坐标值，，左右平面SL、SR与水平面的交线与直线ol-or的中垂面之间的夹角。
本发明还公开了一种基于机器视觉的轮胎位姿检测系统，其包括：
第一获取模块，用于构建世界坐标系，水平面为X、Y轴平面，重力铅垂线为Z轴，完成左、右双目相机的联合标定，并获取左、右双目系统参数；
采集模块，用于左、右双目相机同时采集左、右轮胎的图像，得到左、右轮胎的双目立体图像对；
预处理模块，用于对双目立体图像对进行预处理；
匹配模块，用于提取预处理后的双目立体图像对中均匀散斑结构光特征点，完成特征点的立体匹配，并基于所得匹配特征点，完成轮胎内边缘圆上特征点的提取与立体匹配；
计算模块，用于基于所得立体匹配特征点对与左、右双目系统参数，完成左、右轮胎侧面特征点的三维重建，得到世界坐标系下左、右轮胎侧面的点云数据；
第二获取模块，用于基于点云数据，获取轮胎位姿参数。
由于采用了上述技术方案，本发明具有如下的优点：
1、本发明实时性高，精度高。本发明所述双目立体相机采用两个高精度工业相机或成品双目工业相机作为成像原件，同时采用LED结构光组件作为辅助原件，分别获取散射光与均匀散斑结构光条件下轮胎侧面的图像，基于结构光与边缘特征快速精确地完成轮轮胎侧面结构光特征点与边缘采样特征点的立体匹配，之后基于立体匹配所得特征点对、双目系统参数以及立体几何，逐步完成特征点的三维重建以及轮胎位姿参数求取。
2、本发明所述位姿检测方法具备一定的通用性，对于具备相似强边缘特征的物件而言，可在本发明基础上进行相应调整，从而达到所需效果。本发明基于边缘提取算法与结构光特征提取算法获取准确的边缘特征与结构光特征点，基于结构光与边缘特征快速精确地完成轮胎侧面结构光特征点与边缘采样特征点的立体匹配，为后续各项操作提供精确的数据支撑。当物件具备相似强边缘特征时，即可采用相同方法实现物件表面的立体匹配，结合双目参数即可实现表面特征点与边缘的三维重建，在此基础上，结合自身需求，代入相应的几何计算方法，进行相应的计算，即可实现距离测量、尺寸测量、位姿检测、三维模型重建等功能。
3、本发明可实时对轮胎位姿进行监测预警与可视化呈现，并可与汽车装配线、质检线完美融合，有效提升工厂生产与质检效率。本发明基于机器视觉的轮胎位姿检测方法实时获取轮胎准确的位姿参数，实现了轮胎位姿的自动化实时在线检测，并将位姿检测结果以参数、图形等形式直观地进行可视化呈现，结合自定义的轮胎位姿参数阈值，实现轮胎位姿的实时监测预警。本发明所述检测过程稳定可靠，不受人为主观因素和环境因素的影响，效率高、检测精度高，能够充分满足实际汽车装配线与质检线的需求，可与现有汽车装配线、质检线完美融合，方便操作人员对轮胎安装状况进行实时评估，并采取适当的修正方案，从而有效提升工厂生产与质检效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实施例的视觉模块安装形式示意图；
图2为本发明实施例的轮胎平面定义示意图；
图3为本发明实施例的双目立体相机图像采集示意图；
图4为本发明实施例的特征像素点与内边缘交点示意图；
图5为本发明实施例的一种基于机器视觉的轮胎位姿检测方法示意图。
具体实施方式
结合附图和实施例对本发明作进一步说明，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
参见图5，本发明提供了一种基于机器视觉的轮胎位姿检测方法的实施例，其由左、右两套双目立体相机组成，如图1所示，其中，SL、SR分别为左、右轮胎侧面最高点形成圆弧对应的平面，轮胎正面如图2所示，其中，C1、C2分别为轮胎内边缘与侧面最高点形成的圆，左、右轮胎侧面最高点形成的圆C2对应平面即为SL、SR平面，ol、or分别为左、右轮胎侧面最高点形成圆C2的圆心，理想状态下平面SL与SR为平行，且SL、SR平面与重力铅垂线之间的夹角均为0，SL、SR与在水平面上的交线与直线ol-or的中垂面之间的夹角均为0。本发明的目的在于获取左、右轮胎侧面最高点平面SL与SR，平面SL、SR与重力铅垂线之间的夹角，左、右轮胎侧面最高点形成圆的圆心ol、or以及ol与or连线的中点o的坐标值，左右平面SL、SR与水平面的交线与直线ol-or的中垂面之间的夹角。
本实施例的具体实现过程如下：
S1、系统参数获取：系统参数包括左、右双目相机各自的内部参数(内部参数矩阵)与外部参数(双目相机中两个相机坐标系之间的旋转矩阵与平移向量)、世界坐标系(环境坐标系)、双目立体坐标系(分别选取左、右双目相机中的某一相机坐标系作为其双目立体坐标系)与世界坐标系之间的变换参数(旋转矩阵与平移向量)。
内部参数：相机内部参数矩阵，包括在x轴和y轴方向上的焦距、主点坐标与倾斜因子。左、右双目相机共包含4个相机，故需得到这4个相机对应的内部参数矩阵；
外部参数：双目相机中2个相机坐标系之间的旋转矩阵R与平移向量T。左、右双目相机包括2组双目相机，故需得到这2组双目相机对应的旋转矩阵与平移向量。
在安装好左、右双目相机后，以水平面作为X、Y轴平面，XY平面的法线即为重力铅垂线，将其作为Z轴，选取合适的原点，构建世界坐标系，以构建好的世界坐标系为基准，并分别选择左、右双目相机中的某一相机坐标系作为左、右双目相机立体坐标系，对左、右双目相机进行联合相机标定，获取左、右双目相机各自的外部参数，以及左、右双目相机立体坐标系与世界坐标系之间的变换参数。其中，基于旋转矩阵与平移向量的两三维坐标系之间三维坐标转换公式如下式所示。
Figure BDA0004012176520000111
其中，R、T分别为两坐标系之间的旋转矩阵与平移向量，[x y z]T为目标点在坐标系1下的坐标，[x'y'z']T为目标点在坐标系2下的坐标。
S2、图像采集：双目立体相机由两个相机与一个LED结构光源组件组成，如图3所示，LED结构光源分别将散射光与均匀散斑结构光照射至所需范围，第一个相机与第二个相机同时获取目标图像，且两次图像的获取需保持目标不动，从而得到目标在散射光与均匀散斑结构光条件下的双目立体图像对，共计4幅图像。左、右双目立体相机同时采集轮胎图像，即得到左、右轮胎在散射光与均匀散斑结构光条件下的双目立体图像对，共计8幅图像。
S3、图像预处理：为了确保图像处理速度,首先对所采集到的图像进行均衡化与二值化等处理；之后，针对散射光条件下的双目相机两幅图像，基于不同区域的颜色区分，提取轮胎的内边缘(即圆C1)与外边缘，并基于此对均衡散斑结构光条件下双目相机两幅图像进行图像剪切操作，只对轮胎覆盖的区域进行后续处理,而不是对整幅图像都进行处理,从而大大地减少运算量,提高检测效率；同时，为了抑制噪声、改善图像质量,对散斑结构光条件下双目相机两幅图像中对应的剪切区域进行中值滤波处理。
S4、立体匹配：立体匹配包括散斑结构光特征点与轮胎内边缘采样点的立体匹配。首先基于SURF特征点检测算法分别提取双目相机两幅图像剪切区域中散斑结构光对应的特征点，并结合极线约束、唯一性约束、顺序约束、最大视差约束等立体匹配约束条件，以第一图像中光点为基准，在第二图像中获取其最佳匹配点，重复此操作直至为第一图像中的所有光点找到匹配点，从而得到以第一图像为基准的众多特征像素点对，此时即完成散斑结构光特征点的立体匹配；之后在第一图像中轮胎的内边缘周围，从已匹配的第一图像特征像素点中均匀选择k组连线与内边缘相交的特征像素点(一组包含两个特征像素点)，并记录所有交点{c1i,0<＝i<k}，如图4所示，同时基于第二图像中对应的特征像素点获取第二图像中与第一图像中内边缘交点匹配的像素点序列{c2i,0<＝i<k}，至此即完成轮胎内边缘采样点的立体匹配。分别完成左、右双目相机四幅图像的立体匹配，即可得到左、右双目相机匹配特征点对集合与内边缘匹配特征点对集合。
S5、三维点云重建：基于所得匹配特征点像素坐标，并结合双目相机参数矩阵，计算匹配特征点在相机坐标系下的三维坐标，匹配点像素坐标与三维坐标之间关系如下式所示：
Figure BDA0004012176520000121
其中，(u1,v1)与(u2,v2)分别为匹配点在双目相机两幅图像中的像素坐标，A1、A2分别为双目相机的内部参数矩阵，R21为双目相机中第二个相机坐标系与第一个相机坐标系之间的旋转矩阵，T21双目相机中第二个相机坐标系与第一个相机坐标系之间的平移向量。
基于上述关系式，分别代入左、右双目相机对应的各特征点在两幅图像中的像素坐标以及双目相机内部参数与外部参数，计算出所有特征点在对应双目立体坐标系下的三维坐标，经滤波去除噪声点后，即得到在左、右侧双目立体坐标系下的左、右轮胎侧面点云数据。之后，基于旋转矩阵与平移向量的两三维坐标系之间三维坐标转换公式，将左、右双目立体坐标系下的轮胎侧面点云坐标转换至世界坐标系下，即得到世界坐标系下左、右轮胎侧面的稀疏点云数据。
S6、轮胎位姿参数获取：轮胎位姿参数包括左、右轮胎侧面最高点平面SL与SR，平面SL、SR与重力铅垂线之间的夹角，左、右轮胎侧面最高点形成圆的圆心ol、or以及ol与or连线的中点o的坐标值，左右平面SL、SR与水平面的交线与直线ol-or的中垂面之间的夹角。
假设轮胎侧面内边缘(圆C1)所构成平面为ax+by+cz＝1，代入轮胎内边缘上的k个点坐标，使用最小二乘法求解(a,b,c)T，其为圆C1对应平面的法向量；假设圆C1圆心为p(x0,y0,z0)，基于圆周上任意两点连线的中垂线必过圆心的几何特点，使用最小二乘法求解(x0,y0,z0)。轮胎的中轴线经过圆C1圆心且垂直于圆C1对应平面，故有圆C1对应平面的法向量(a,b,c)T为中轴线的方向向量，基于点p(x0,y0,z0)与方向向量(a,b,c)T，即可确定轮胎的中轴线方程。定义轮胎的中轴线参数为点p(x0,y0,z0)与方向向量(a,b,c)T，分别代入左、右轮胎内边缘的k个点坐标，即可得到左、右轮胎的中轴线参数。
轮胎侧面圆C1(轮胎侧面内边缘)与圆C2对应的平面是平行的，即圆C1与圆C2对应的平面与重力铅垂线(世界坐标系的Z轴)之间的夹角相等，基于向量点乘的特点，即可得到圆C1与圆C2对应的平面与重力铅垂线之间的夹角，如下式所示。
Figure BDA0004012176520000141
其中，
Figure BDA0004012176520000142
为圆C1对应平面的法向量(轮胎中轴线参数中的方向向量)，
Figure BDA0004012176520000143
为Z轴的单位方向向量；代入已得到的左、右轮胎的中轴线参数，即可得到左、右平面SL、SR与重力铅垂线之间的夹角。以轮胎侧面圆C1(轮胎侧面内边缘)对应的平面为基准，计算点云中各点与此平面的距离，其距离公式如下式所示：
Figure BDA0004012176520000144
其中，(a,b,c)T为圆C1对应平面的法向量(轮胎中轴线方向向量)，
(x0,y0,z0)为圆C1圆心p的坐标(轮胎中轴线上一点)。选取距离圆C1对应平面最远的前m个点，并以其距离均值作为圆C2对应平面到圆C1对应平面之间的距离，结合轮胎中轴线点与方向向量，即可得圆C2的圆心的坐标、半径以及其对应的平面方程。代入已得到的左、右轮胎中轴线的点坐标与方向向量，即可得左、右轮胎侧面最高点形成圆的圆心ol、or的坐标与左、右平面SL、SR的平面方程，并可得到ol与or连线的中点o的坐标。
轮胎侧面圆C1(轮胎侧面内边缘)与圆C2对应的平面是平行的，即圆C1、圆C2对应的平面与水平面(世界坐标系XY平面)的交线在水平面上是平行的，圆C1对应平面与XY平面的交线对应方向向量可基于圆C1对应平面方程求取，直线ol-or的方向向量即为直线ol-or中垂面的法向量，其可基于ol、or的坐标获取，基于向量点乘的特点，即可得圆C1对应平面与水平面交线与直线ol-or的中垂面之间的夹角，如下式所示：
Figure BDA0004012176520000151
其中，
Figure BDA0004012176520000152
为圆C1对应平面ax+by+cz＝1与水平面的交线对应方向向量，可取值为(b,-a,0)T，
Figure BDA0004012176520000153
为直线ol-or对应方向向量；代入已得到的左、右轮胎中轴线参数中的方向向量与直线ol-or对应方向向量，即得到左右平面SL、SR与水平面的交线与直线ol-or的中垂面之间的夹角。
S7、位姿监测预警：通过参数、图形等形式直观地将左、右轮胎侧面最高点平面SL与SR，平面SL、SR与重力铅垂线之间的夹角，左、右轮胎侧面最高点形成圆的圆心ol、or以及ol与or连线的中点o的坐标值，左右平面SL、SR与水平面的交线与直线ol-or的中垂面之间的夹角等轮胎位姿检测结果进行直观的可视化呈现。同时，用户可基于自身需求设置各轮胎位姿参数的阈值，当系统检测到的轮胎位姿参数超过阈值时，即可发起预警。
本发明还提供了一种基于机器视觉的轮胎位姿检测系统，其包括：
第一获取模块，用于构建世界坐标系，水平面为X、Y轴平面，重力铅垂线为Z轴，完成左、右双目相机的联合标定，并获取左、右双目系统参数；
采集模块，用于左、右双目相机同时采集左、右轮胎的图像，得到左、右轮胎的双目立体图像对；
预处理模块，用于对双目立体图像对进行预处理；
匹配模块，用于提取预处理后的双目立体图像对中均匀散斑结构光特征点，完成特征点的立体匹配，并基于所得匹配特征点，完成轮胎内边缘圆上特征点的提取与立体匹配；
计算模块，用于基于所得立体匹配特征点对与左、右双目系统参数，完成左、右轮胎侧面特征点的三维重建，得到世界坐标系下左、右轮胎侧面的点云数据；
第二获取模块，用于基于点云数据，获取轮胎位姿参数。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种基于机器视觉的轮胎位姿检测方法，其特征在于，包括以下步骤：
步骤1：构建世界坐标系，水平面为X、Y轴平面，重力铅垂线为Z轴，完成左、右双目相机的联合标定，并获取左、右双目系统参数；
步骤2：所述左、右双目相机同时采集左、右轮胎的图像，得到左、右轮胎的双目立体图像对；
步骤3：对所述双目立体图像对进行预处理；
步骤4：提取预处理后的双目立体图像对中均匀散斑结构光特征点，完成特征点的立体匹配，并基于所得匹配特征点，完成轮胎内边缘圆上特征点的提取与立体匹配；
步骤5：基于所得立体匹配特征点对与左、右双目系统参数，完成左、右轮胎侧面特征点的三维重建，得到世界坐标系下左、右轮胎侧面的点云数据；
步骤6：基于所述点云数据，获取轮胎位姿参数。
2.根据权利要求1所述的方法，其特征在于，所述左、右双目系统参数包括左、右双目相机各自的内部参数与外部参数、世界坐标系、双目立体坐标系与世界坐标系之间的变换参数；
所述步骤1包括：
在安装好左、右双目相机后，以水平面作为XY轴平面，XY轴平面的法线即为重力铅垂线，将其作为Z轴，选取原点，构建世界坐标系，以构建好的世界坐标系为基准，并分别选择左、右双目相机中的某一相机坐标系作为左、右双目相机立体坐标系，对左、右双目相机进行联合相机标定，获取左、右双目相机各自的内部参数与外部参数，以及左、右双目相机立体坐标系与世界坐标系之间的变换参数。
3.根据权利要求2所述的方法，其特征在于，所述双目立体坐标系与世界坐标系之间的变换参数为旋转矩阵与平移向量；
基于旋转矩阵与平移向量，两个三维坐标系之间的坐标转换公式为：
Figure FDA0004012176510000021
其中，R为旋转矩阵、T为平移向量，[x y z]T为目标点在其中一个三维坐标系下的坐标，[x'y'z']T为目标点在另一个三维坐标系下的坐标。
4.根据权利要求1所述的方法，其特征在于，所述步骤2包括：
左、右双目立体相机同时采集轮胎图像，即得到左、右轮胎在散射光与均匀散斑结构光条件下的双目立体图像对；
所述步骤3包括：
对所采集到的双目立体图像对相关处理；其中，所述相关处理包括均衡化与二值化；
基于相关处理后的双目立体图像对，针对散射光条件下的双目相机两幅图像，基于不同区域的颜色区分，提取轮胎的内边缘与外边缘，并基于此对均衡散斑结构光条件下双目相机两幅图像进行图像剪切操作,同时对散斑结构光条件下双目相机两幅图像中对应的剪切区域进行中值滤波处理。
5.根据权利要求1所述的方法，其特征在于，所述步骤4包括：
步骤41：基于SURF特征点检测算法分别提取双目立体图像对的两幅图像剪切区域中散斑结构光对应的特征点；其中，两幅图像分别记为第一图像和第二图像；
步骤42：结合立体匹配约束条件，以第一图像中的光点为基准，在第二图像中获取其最佳匹配点；
步骤43：重复步骤42，直至第一图像中的所有光点找到匹配点，从而得到以第一图像为基准的众多特征像素点对时，即完成散斑结构光特征点的立体匹配；
步骤44：在第一图像中轮胎的内边缘周围，从已匹配的第一图像特征像素点中均匀选择k组连线与内边缘相交的特征像素点；其中，一组包含两个特征像素点，并记录所有交点{c1i,0<＝i<k}，同时基于第二图像中对应的特征像素点获取第二图像中与第一图像中内边缘交点匹配的像素点序列{c2i,0<＝i<k}，至此即完成轮胎内边缘采样点的立体匹配；分别完成左、右双目相机图像对的立体匹配，即可得到左、右双目相机匹配特征点对集合与内边缘匹配特征点对集合。
6.根据权利要求1所述的方法，其特征在于，所述步骤5包括：
基于所得匹配特征点像素坐标，并结合双目相机参数矩阵，计算匹配特征点在相机坐标系下的三维坐标，匹配点像素坐标与三维坐标之间关系，通过以下关系式表示：
Figure FDA0004012176510000031
其中，(u1,v1)与(u2,v2)分别为匹配点在双目相机两幅图像中的像素坐标，A1、A2分别为双目相机的内部参数矩阵，R21为双目相机中第二个相机坐标系与第一个相机坐标系之间的旋转矩阵，T21双目相机中第二个相机坐标系与第一个相机坐标系之间的平移向量；
将所述关系式分别代入左、右双目相机对应的各特征点在两幅图像中的像素坐标以及双目相机内部参数与外部参数，计算出所有特征点在对应双目立体坐标系下的三维坐标，经滤波去除噪声点后，即得到在左、右侧双目立体坐标系下的左、右轮胎侧面点云数据；
基于旋转矩阵与平移向量，两个三维坐标系之间的坐标转换公式，将左、右双目立体坐标系下的轮胎侧面点云坐标转换至世界坐标系下，即得到世界坐标系下左、右轮胎侧面的稀疏点云数据。
7.根据权利要求1所述的方法，其特征在于，所述轮胎位姿参数包括左、右轮胎侧面最高点平面SL与SR，平面SL、SR与重力铅垂线之间的夹角，左、右轮胎侧面最高点形成圆的圆心ol、or以及ol与or连线的中点o的坐标值，左右平面SL、SR与水平面的交线与直线ol-or的中垂面之间的夹角。
8.根据权利要求1所述的方法，其特征在于，所述步骤6包括：
假设轮胎侧面内边缘所构成平面为ax+by+cz＝1，代入轮胎内边缘上的k个点坐标，使用最小二乘法求解(a,b,c)T，其为圆C1对应平面的法向量；假设圆C1圆心为p(x0,y0,z0)，基于圆周上任意两点连线的中垂线必过圆心的几何特点，使用最小二乘法求解(x0,y0,z0)；轮胎的中轴线经过圆C1圆心且垂直于圆C1对应平面，故有圆C1对应平面的法向量(a,b,c)T为中轴线的方向向量，基于点p(x0,y0,z0)与方向向量(a,b,c)T，即可确定轮胎的中轴线方程；
定义轮胎的中轴线参数为点p(x0,y0,z0)与方向向量(a,b,c)T，分别代入左、右轮胎内边缘的k个点坐标，即可得到左、右轮胎的中轴线参数；
基于向量点乘的特点，即可得到圆C1与圆C2对应的平面与重力铅垂线之间的夹角为：
Figure FDA0004012176510000051
其中，
Figure FDA0004012176510000052
为圆C1对应平面的法向量(轮胎中轴线参数中的方向向量)，
Figure FDA0004012176510000053
为Z轴的单位方向向量；代入已得到的左、右轮胎的中轴线参数，即可得到左、右平面SL、SR与重力铅垂线之间的夹角；
以轮胎侧面圆C1对应的平面为基准，计算点云中各点与此平面的距离，其距离公式如为：
Figure FDA0004012176510000054
其中，(a,b,c)T为圆C1对应平面的法向量，(x0,y0,z0)为圆C11圆心p的坐标；选取距离圆C1对应平面最远的前m个点，并以其距离均值作为圆C2对应平面到圆C1对应平面之间的距离，结合轮胎中轴线点与方向向量，即可得圆C2的圆心的坐标、半径以及其对应的平面方程；代入已得到的左、右轮胎中轴线的点坐标与方向向量，即可得左、右轮胎侧面最高点形成圆的圆心ol、or的坐标与左、右平面SL、SR的平面方程，并可得到ol与or连线的中点o的坐标；
基于向量点乘的特点，得到圆C1对应平面与水平面交线与直线ol-or的中垂面之间的夹角为：
Figure FDA0004012176510000055
其中，
Figure FDA0004012176510000056
为圆C1对应平面ax+by+cz＝1与水平面的交线对应方向向量，可取值为(b,-a,0)T，
Figure FDA0004012176510000057
为直线ol-or对应方向向量；代入已得到的左、右轮胎中轴线参数中的方向向量与直线ol-or对应方向向量，即得到左右平面SL、SR与水平面的交线与直线ol-or的中垂面之间的夹角。
9.根据权利要求1所述的方法，其特征在于，所述步骤6之后，还包括：
对轮胎位姿检测结果进行可视化呈现，同时，用户可基于自身需求设置各轮胎位姿参数的阈值，当系统检测到的轮胎位姿参数超过阈值时，即可发起预警；其中，所述轮胎位姿检测结果包括左、右轮胎侧面最高点平面SL与SR，平面SL、SR与重力铅垂线之间的夹角，左、右轮胎侧面最高点形成圆的圆心ol、or以及ol与or连线的中点o的坐标值，左右平面SL、SR与水平面的交线与直线ol-or的中垂面之间的夹角。
10.一种基于机器视觉的轮胎位姿检测系统，其特征在于，包括：
第一获取模块，用于构建世界坐标系，水平面为X、Y轴平面，重力铅垂线为Z轴，完成左、右双目相机的联合标定，并获取左、右双目系统参数；
采集模块，用于左、右双目相机同时采集左、右轮胎的图像，得到左、右轮胎的双目立体图像对；
预处理模块，用于对双目立体图像对进行预处理；
匹配模块，用于提取预处理后的双目立体图像对中均匀散斑结构光特征点，完成特征点的立体匹配，并基于所得匹配特征点，完成轮胎内边缘圆上特征点的提取与立体匹配；
计算模块，用于基于所得立体匹配特征点对与左、右双目系统参数，完成左、右轮胎侧面特征点的三维重建，得到世界坐标系下左、右轮胎侧面的点云数据；
第二获取模块，用于基于点云数据，获取轮胎位姿参数。
CN202211654768.1A 2022-12-22 2022-12-22 一种基于机器视觉的轮胎位姿检测方法及系统 Pending CN116091617A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211654768.1A CN116091617A (zh) 2022-12-22 2022-12-22 一种基于机器视觉的轮胎位姿检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211654768.1A CN116091617A (zh) 2022-12-22 2022-12-22 一种基于机器视觉的轮胎位姿检测方法及系统

Publications (1)

Publication Number Publication Date
CN116091617A true CN116091617A (zh) 2023-05-09

Family

ID=86207403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211654768.1A Pending CN116091617A (zh) 2022-12-22 2022-12-22 一种基于机器视觉的轮胎位姿检测方法及系统

Country Status (1)

Country Link
CN (1) CN116091617A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116399874A (zh) * 2023-06-08 2023-07-07 华东交通大学 剪切散斑干涉无损检测缺陷尺寸的方法和程序产品

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116399874A (zh) * 2023-06-08 2023-07-07 华东交通大学 剪切散斑干涉无损检测缺陷尺寸的方法和程序产品
CN116399874B (zh) * 2023-06-08 2023-08-22 华东交通大学 剪切散斑干涉无损检测缺陷尺寸的方法和程序产品

Similar Documents

Publication Publication Date Title
US10241195B1 (en) Method for assessing a condition of an axle of a moving vehicle
CN108444390B (zh) 一种无人驾驶汽车障碍物识别方法及装置
US10684125B2 (en) Rolling virtual wheel spindle calibration
CN112418103B (zh) 一种基于动态双目视觉的桥式起重机吊装安全防撞系统及方法
US9805697B1 (en) Method for tire tread depth modeling and image annotation
US9097514B2 (en) Device and method for inspecting tyre shape
JP3895238B2 (ja) 障害物検出装置及びその方法
CN103471531B (zh) 轴类零件直线度在线非接触测量方法
CN103278138B (zh) 一种复杂结构薄部件三维位置及姿态的测量方法
CN107590836A (zh) 一种基于Kinect的充电桩动态识别与定位方法及系统
EP1717547B1 (en) Method and device for determining the alignment of the wheels of a vehicle
CN103499302A (zh) 基于结构光视觉成像系统的凸轮轴直径尺寸在线测量方法
US10068389B1 (en) Method and apparatus for evaluating an axle condition on a moving vehicle
CN111189837A (zh) 一种烟支外观在线检测方法及其装置
WO2018060963A1 (en) Wheel alignment measurement method and system for vehicle wheels
CN104132818B (zh) 三维四轮定位仪及其测量方法
CN115482195B (zh) 一种基于三维点云的列车部件变形检测方法
Ahmed et al. Pothole 3D reconstruction with a novel imaging system and structure from motion techniques
CN116091617A (zh) 一种基于机器视觉的轮胎位姿检测方法及系统
CN104541125A (zh) 轮胎形状检查方法、以及轮胎形状检查装置
CN106813569A (zh) 一种基于线结构光的汽车轮胎三维定位方法
CN113702384A (zh) 一种回转构件表面缺陷检测装置、检测方法及标定方法
CN108267104A (zh) 一种基于双目视觉的轴类零件半径尺寸测量方法
CN108335332A (zh) 一种基于双目视觉的轴类零件中轴线测量方法
CN112164044A (zh) 基于双目视觉的刚性接触网的磨耗分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination