CN116168072A - 一种多相机大尺寸视觉测量方法及系统 - Google Patents

一种多相机大尺寸视觉测量方法及系统 Download PDF

Info

Publication number
CN116168072A
CN116168072A CN202310039602.7A CN202310039602A CN116168072A CN 116168072 A CN116168072 A CN 116168072A CN 202310039602 A CN202310039602 A CN 202310039602A CN 116168072 A CN116168072 A CN 116168072A
Authority
CN
China
Prior art keywords
coordinate
camera
marking
point
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310039602.7A
Other languages
English (en)
Inventor
孙旭光
张冰友
顾磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hexcon Software Technology Qingdao Co ltd
Original Assignee
Hexcon Software Technology Qingdao Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hexcon Software Technology Qingdao Co ltd filed Critical Hexcon Software Technology Qingdao Co ltd
Priority to CN202310039602.7A priority Critical patent/CN116168072A/zh
Publication of CN116168072A publication Critical patent/CN116168072A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02E60/10—Energy storage using batteries

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种多相机大尺寸视觉测量方法及系统，该方法包括：安装好用于大尺寸测量的多个相机；利用三坐标测量机在标定白板上标记分别在各相机视野内的一组三坐标标记点，并记录各三坐标标记点的三坐标位置及顺序；相机采集标定白板上对应其视野内的三坐标标记点的图像，获取各三坐标标记点所在区域的中心位置；获取所有相机的位姿变换矩阵；对相机所采集的图像采用基于高斯拟合的亚像素边缘检测算法，得到边缘点集，并利用边缘点集合拟合边缘直线；基于边缘直线获取直线交点；基于所获取的位姿变换矩阵，转换直线交点至世界坐标系下；基于转换后的位置，获取尺寸。本发明用于高精度实现大尺寸视觉测量。

Description

一种多相机大尺寸视觉测量方法及系统
技术领域
本发明属于极片检测技术领域，具体涉及一种多相机大尺寸视觉测量方法及系统。
背景技术
极片用于锂电池，锂电池的生产制造是由多个工艺步骤联接起来的，包括极片制造、电池组装以及注液三大阶段，每个阶段又可以分为数道关键工艺，每一步都会对电池性能产生很大影响。极片制造的工艺主要包括涂布、烘烤、辊压、激光分切、高速冲切、叠片和封装。
为保证激光分切能够生产出符合工艺要求极片，需要对其过程中的极片宽度进行测量，防止切刀切偏。但是相关技术中对极片宽度进行测量的方案的准确度不足，导致基于相应的极片宽度测量生成的锂电池的性能存在问题。
传统检测方式中，当极片片宽较大时，为提高检测精度，需要使多个大视野高精度相机来飞拍检测极片的片宽和片长，包括多相机存在重叠区域的场景和多相机存在无重叠区域的场景。针对多相机存在重叠区域的场景，由于多幅图像之间存在公共区域，可通过特征点检测进行图像拼接，即可得到物体测量尺寸；针对多相机存在无重叠区域的场景，可通过多相机获待测物体两端局部区域位置，结合双相机位姿参数(包括相机内参和相机外参)实现物体快速测量，非常适合在线快速批量检测。
其中多相机标定技术是影响检测准确度的关键，现有的多相机标定法基本都是采用棋盘格标定板进行标定。采用棋盘格标定板进行标定存在如下几个集中弊端。
(1)常规标定板精度有限，通常标定板精度在0.01mm，对于um级别的测量，标定精度受限；(2)标定板通常为棋盘格或者圆点标记形式，棋盘格或者圆点尺寸一般为mm级别，对于高精度测量系统，为降低镜头畸变影响，通常采用远心镜头，相机视野比较小，难以在视野内找到足够数量的标定板标定点数目，影响标定精度；(3)对于大尺寸物体检测，标定板精度与尺寸往往难以兼顾，难以通过单张标定板对多个相机覆盖的检测区域建立世界世界坐标系，无法实现多目相机与世界世界坐标系的变换；(4)标定板存在一定厚度，高精度测量系统通常采用远心镜头消除畸变，远心镜头景深小，标定板厚度造成标定时最佳测量距离平面与实际测量时最佳测量距离平面存在一定偏差，影响最终精度。
发明内容
为了解决如上技术问题，本发明之一在于提供一种多相机大尺寸视觉测量方法，结合三坐标测量机对多相机进行标定，获取高精度相机的位姿变换矩阵，提高标定精度，进而提高尺寸的测量精度。
为了解决上述技术问题，本发明所提出如下技术方案予以解决：
一种多相机大尺寸视觉测量方法，包括如下：
S1:安装好用于大尺寸测量的多个相机，其中各相机视野无重叠区域；
S2:利用三坐标测量机在标定白板上标记分别在各相机视野内的一组三坐标标记点，并记录各三坐标标记点的三坐标位置及顺序，所述标定白板的大小能够覆盖已安装好各相机的视野且位于所述三坐标测量机的量程范围内；
S3:所述相机采集所述标定白板上对应其视野内的三坐标标记点的图像，获取各三坐标标记点所在区域，并获取各所在区域的区域中心位置；
S4:利用所述视野内的三坐标标记点的三坐标位置及其对应的区域中心位置，计算所述相机的像素坐标系和三坐标测量机所在世界坐标系之间的位姿变换矩阵；
S5：重复执行S3和S4，直至获取所有相机的位姿变换矩阵；
S6：对相机所采集的图像采用基于高斯拟合的亚像素边缘检测算法，得到边缘点集，并利用所述边缘点集合拟合边缘直线；
S7:基于所述边缘直线获取直线交点；
S8：基于S5中获取的位姿变换矩阵，转换直线交点至世界坐标系下；
S9：基于转换后的位置，获取尺寸。
在本申请中的一些实施例中，所述三坐标测量机使用带有标记色的标准微小圆形探头触点方式进行三坐标标记点标记。
在本申请中的一些实施例中，S3中所述相机采集所述标定白板上对应其视野内的三坐标标记点的图像，获取各三坐标标记点所在区域，具体为：
对所述图像二值化处理；
提取各三坐标标记点所在区域；
对所述所在区域进行圆形拟合，获取各三坐标标记点对应的圆斑区域。
在本申请中的一些实施例中，S2中记录的三坐标标记点包括用于计算所述位姿变换矩阵的第一组标记点和用于验证已计算出的位姿变换矩阵的第二组标记点。
在本申请中的一些实施例中，所述相机的镜头选择远心镜头。
在本申请中的一些实施例中，在S4中利用所述视野内的三坐标标记点的三坐标位置及其对应的区域中心位置，采用SVD求解所述位姿变换矩阵。
在本申请中的一些实施例中，大尺寸为极片的大尺寸时，所述相机的视野范围内至少存在一个极片的顶点。
本申请还涉及一种多相机大尺寸视觉测量系统，包括：
多相机，其安装好用于大尺寸测量，其中各相机视野无重叠区域；
标定白板，其大小能够覆盖已安装好各相机的视野；
三坐标测量机，所述标定白板的大小位于三坐标测量机的量程范围内，所述三坐标测量机在所述标定白板上标记分别在各相机视野内的一组三坐标标记点，并记录各三坐标标记点的三坐标位置及顺序；
第一获取单元，各相机分别采集所述标定白板上对应其视野内的三坐标标记点的图像，针对于每个相机所采集的图像，获取所述图像中各三坐标标记点所在区域，并获取各所在区域的区域中心位置；
第一计算单元，针对于各相机，利用所述视野内的三坐标标记点的三坐标位置及其对应的区域中心位置，计算所述相机的像素坐标系和三坐标测量机所在世界坐标系之间的位姿变换矩阵；
直线获取单元，对相机所采集的图像采用基于高斯拟合的亚像素边缘检测算法，得到边缘点集，并利用所述边缘点集合拟合边缘直线；
交点获取单元，其基于所述边缘直线获取直线交点；
尺寸获取单元，基于所获取的位姿变换矩阵，将所述直线交点转换至世界坐标系下，并获取尺寸。
与现有技术相比，本发明的优点和有益效果是：
(1)采用三坐标测量机进行相机标定，三坐标测量机重复测量误差精度高，能够保证多相机世界坐标系下的绝对精度；三坐标量测范围大，满足高精度大尺寸测量，能够在标定白板上标记足够数量的标记点，提高标定精度，且同时对多相机安装条件要求低；
(2)采用基于高斯拟合的亚像素边缘检测算法获取边缘点集，边缘提取效果更准确，且算法运行速度快、效率高，从而高精度高效率获取尺寸测量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作一简要介绍，显而易见地，下面描述的附图是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明提出的多相机大尺寸视觉测量方法一个实施例的流程图。
实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。在上述实施方式的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
为了实现大尺寸物体(例如极片)在多相机下高精度高效率尺寸测量，本申请涉及一种多相机大尺寸视觉测量方法及系统，该多相机大尺寸视觉测量方法是基于多相机大尺寸视觉测量系统来实现的。
如下，将结合图1对视觉测量方法进行描述。
S1:安装好用于大尺寸测量的多个相机，其中各相机视野无重叠区域。
本申请涉及多相机对大尺寸物体的尺寸测量，多个相机的视野区域无重叠区域，且多相机获取待测物体两端局部区域位置。
根据物体形状及大小设定相机的数量。
基于所测量的大尺寸物体(例如极片)的大小，设定每个相机拍摄视野位置，根据相机、镜头选型确定单目相机的视野范围，调试好最佳拍摄视野和清晰度等参数后固定。
在对于多相机视野无重叠视野区域情况下的物体测量，为确定多相机之间的位姿关系，需要对多相机建议世界的世界坐标系，通过计算每个相机与世界坐标系之间的变换关系，即计算每个相机与世界坐标系之间的位姿变换矩阵(包括旋转矩阵R和平移矩阵T)。
采用位姿变换矩阵，将每个相机所采集到的对应点转换到世界的世界坐标系下，得到每个相机下对应点的世界坐标。
由此，可以多个相机下的对应点均转换到世界的世界坐标系下，方便大尺寸物体的实际尺寸计算。
熟知的，图像像素坐标系到世界坐标系的对应关系为如下。
Figure SMS_1
其中，(u,v)为图像像素坐标系，Zc为比例因子，f/Sx、f/Sy分别为x轴和y轴上的归一化焦距，u0、v0为图像中心，(XW,YW,ZW,)为世界坐标系，K为相机内参，R和T为相机外参(即，位姿变换矩阵)。
其中，相机内参在相机选型确定后保持不变，而相机外参会随着相机位姿变化而改变。
在实际测量中，针对相机内参，可以通过更换远心镜头来消除相机镜头畸变以消除其影响。
对于相机外参，采用如下所述的三坐标标定方式获取。
S2:利用三坐标测量机在标定白板上标记分别在各相机视野内的一组三坐标标记点，并记录各三坐标标记点的三坐标位置及顺序。
标定白板作为三坐标测量机和多相机之间对应点的标记，因此，标定白板的面积大小能够覆盖已安装好各相机的视野且位于三坐标测量机的量程范围内。
假设，本申请中多相机数量采用四个相机(包括第一相机、第二相机、第三相机和第四相机)，每个相机的视野包括极片的一个顶点，且各相机的视野无重叠区域。
记，标定白板的面积大小为S_w*S_h，已安装好的第一相机的视野范围为R1_w*R1_h，已安装好的第二相机的视野范围为R2_w*R2_h，已安装好的第三相机的视野范围为R3_w*R3_h，已安装好的第四相机的视野范围为R4_w*R4_h，其中R1_w*R1_h、R2_w*R2_h、R3_w*R3_h和R4_w*R4_h之和小于S_w*S_h。
在使用时，标定白板置于三坐标测量机下方，在三坐标测量机所在的世界坐标系下标定三坐标标记点。
在视野范围R1_w*R1_h下，三坐标测量机标记对应第一相机的第一组三坐标标记点，并记录第一组三坐标标记点的三坐标位置及顺序。
在视野范围R2_w*R2_h下，三坐标测量机标记对应第二相机的第二组三坐标标记点，并记录第二组三坐标标记点的三坐标位置及顺序。
在视野范围R3_w*R3_h下，三坐标测量机标记对应第三相机的第三组三坐标标记点，并记录第三组三坐标标记点的三坐标位置及顺序。
在视野范围R4_w*R4_h下，三坐标测量机标记对应第四相机的第四组三坐标标记点，并记录第四组三坐标标记点的三坐标位置及顺序。
每组三坐标标记点的数量为多个，例如可以选择15个。
其中每组三坐标标记点包括用于计算位姿变换矩阵的一组三坐标标记点A和用于验证已经算出的位姿变换矩阵的一组三坐标标记点B，例如，集合A的数量为12个，集合B的数量为3个。
在三坐标测量机标记点时，能够获取点的三坐标位置(Xi，Yi，Zi)，且通过控制三坐标测量机的移动可以设定标记点的顺序，例如可以从左到右，从上至下等。
在三坐标测量机标定点的过程中，三坐标测量机的探针可移动，但标定板不可移动。
为了实现对标定点的标定及便于后续相机的图像采集，本申请中三坐标测量机的探头采用带有标记色的标准微小圆形探头，在标定白板上以触点方式进行点的标记，其中标记点遵循均匀非共线原则。
如上，可以在标定白板上获取到对应四个相机的四组三坐标标记点的三坐标位置及顺序。
如上所述的所有三坐标标记点均在三坐标测量机所在的世界坐标系下。
S3:相机采集标定白板上对应其视野内的三坐标标记点的图像，获取各三坐标标记点所在区域，并获取各所在区域的区域中心位置。
如上所述的，在标定白板上已标记好了对应多相机的多个视野范围内的多组三坐标标记点。
之后，将标定白板放置到已安装好多相机的视觉测量系统下，调整好标定白板和多相机的位置，确保在单相机的视野内都能够清楚全覆盖对应该视野的已有多个三坐标标记点。
针对于每个相机，采集对应视野范围内的多个三坐标标记点。
由于为标记白板，因此单相机视野内采集点(即，标记点)为背景单一、对比度明显的离散点集，且由于采用远心镜头，单目视野小(约3mm至5mm)，图像中单个采集点为接近理想的圆斑区域。
替代地，根据三坐标测量机的探头形状，也可以获取到其他形状的采集点。
需要说明的是，三坐标标记点的顺序是为了在相机采集标记点的图像时也是按照相同的顺序进行，以此完成点集配对。
若要获取到三坐标标记点所在的区域，例如本申请涉及的圆斑区域，采用圆斑提取方法。
(1)首先，可以对相机采集的图像进行数值二值化。
由于标定白板背景单一且标记点带有标记色，因此，采用二值化处理实现图像分割。
二值化可以把图像转换为二值图像。
(2)其次，提取各三坐标标记点所在区域。
针对二值图像，根据灰度值的像素，获取到三坐标标记点所在区域，即获取到所在区域的多个灰度值。
(3)之后，对所在区域进行圆形拟合，获取各三坐标标记点对应的圆斑区域。
可以采用常用的最小二乘法进行圆形拟合，获取比较理想的提取效果。
(4)再者，计算圆斑区域的中心点位置。
圆斑区域的中心点位置(Ui，Vi)即为如上所述的区域中心位置。
上述中心点位置(Ui，Vi)是在相机的像素坐标系下的位置。
如此，可以获取到相机视野范围内的多个三坐标标记点的三坐标位置(Xi，Yi，Zi)分别对应的中心点位置(Ui，Vi)。
S4:利用视野内的三坐标标记点的三坐标位置及其对应的区域中心位置，计算像素坐标系和世界坐标系之间的位姿变换矩阵。
根据如上所述的像素坐标系和世界坐标系下的变换关系，基于S3中获取的每个相机的三坐标位置(Xi，Yi，Zi)和对应的中心点位置(Ui，Vi)，可以计算位姿变换矩阵。
在本申请中，利用视野内的三坐标位置及其对应的区域中心位置，采用SVD(Singular Value Decomposition，奇异值分解)求解该位姿变换矩阵。
SVD是在机器学习领域广泛运用的算法，如下将简要介绍下本申请中采用SVD求解该位姿变换矩阵的方法。
首先，构造两个对应点集，对应像素坐标系的点集P(p1,p2,...,pn)和对应世界坐标系的点集Q(q1,q2,...,qn)。
此处构造的点集Q指的是如上所述的一组三坐标标记点A，点集P对应点集A。
现在想要根据此两个点集的数据来计算对应的位姿变换矩阵(R,t)，可以知道这其实是一个最小二乘求优问题，问题可以通过如下计算式描述。
Figure SMS_2
其中，wi＞0，是点集中每个点对的权重。
若要求式(1)中的最小值，即，求式(1)中对R和t求导数为0的解。
将式(1)的R设为不变量，对t进行求导，同时令F(t)＝(R,t)，对F(t)求导可得：
Figure SMS_3
令，
Figure SMS_4
带入式(2)中，可得，
Figure SMS_5
将式(4)带入式(1)得，
Figure SMS_6
/>
其中，
Figure SMS_7
和/>
Figure SMS_8
相当于对原始点集进行去中心化操作，得到新的点集，则式(5)转换为如下。
Figure SMS_9
将式(6)用矩阵表示形式展开，可得：
Figure SMS_10
可知，
Figure SMS_11
是1×d维矢量，RT是d×d维矢量，yi是d×1维矢量，因此，/>
Figure SMS_12
为标量，得到/>
Figure SMS_13
因此，式(7)等价为：
Figure SMS_14
式(6)变换为：
Figure SMS_15
由于
Figure SMS_16
和/>
Figure SMS_17
不依赖于旋转矩阵R，因此，式(9)变换为：
Figure SMS_18
Figure SMS_19
式(11)记为
Figure SMS_20
由于tr(BA)＝tr(AB)，因此，得到：
tr(WYTRX)＝tr((WYT)(RX))＝tr((RX)(WYT))＝tr(RXWYT)
令，S＝XWYT，对S进行SVD分解得到：
tr(RXWYT)＝tr(RS)＝tr(RU∑VT)＝tr(ΣVTRU)，由于U、R和V是正交矩阵，因此，M＝VTRU也是正交矩阵。
为了求取最大化的R，
Figure SMS_21
则I＝M＝VTRU，则R＝VUT。
得到R之后，带入式(4)获取t。
如上所述的一组三坐标标记点B用于对如上所计算的旋转矩阵R和平移矩阵T进行验证。
例如，采用三对点集进行验证。
构造两个对应验证点集，对应像素坐标系的点集P'(p13,p12,p15)和对应世界坐标系的点集Q'(q13,q14,q15)。
此处构造的点集Q'指的是如上所述的一组三坐标标记点B，点集P'对应点集B。
例如，通过对三对点集数据Rp13+tt、Rp14+tt、Rp15+tt分别与q13、q14和q15比较，当偏差(例如两者欧氏距离)在预设偏差(例如5um)范内时，认为计算得到的R和t满足后续测量精度，若偏差相对比较大，认为R和t不满足后续测量要求，需重新进行数据点的采集与计算。
S5：重复执行S3和S4，直至获取所有相机的位姿变换矩阵。
对所有相机的位姿变换矩阵的求取都是一样的，因此，采用如上所述的方式，求取每个相机对应的位姿变换矩阵。
即，若存在四个相机时，第一相机的位姿变换矩阵包括旋转矩阵R1和平移矩阵T1，第二相机的位姿变换矩阵包括旋转矩阵R2和平移矩阵T2，第三相机的位姿变换矩阵包括旋转矩阵R3和平移矩阵T3，第四相机的位姿变换矩阵包括旋转矩阵R4和平移矩阵T4。
因此，可以将每个相机下获取到的位置转换为统一的世界坐标系下，完成多相机标定。
参见图1，可以对相机数量N进行轮询，直到针对所有相机均获取到位姿变换矩阵。
本申请涉及的多相机标定采用的标记白板且利用三坐标测量机进行标记点标记，存在如下技术优点。
(1)测量精度高，克服了传统棋盘标定方式精度有限的问题。
(2)标记白板的尺寸自由制作，能够在标记白板上标记足够数量的标记点，提高相机外参计算精度，克服传统标定板尺寸规格有限，对于大视野的测量应用，难以采用一张标准标定板对多目相机进行统一坐标系的建立连接的问题。
(3)本申请涉及的标定白板可以为白纸，其厚度较薄，克服现有棋盘标定板存在一定厚度，与相机的远心镜头的最佳测量视野存在偏差的问题。
(4)三坐标测量机重复测量误差精度高，可在5um以下，能够保证多目相机统一世界坐标下的绝对精度，满足um级别的大尺寸测量检测需求，并且三坐标测量机量测范围大，能够满足大尺寸物体的高精度尺寸测量，对应标定白板可以制作大尺寸白板，在标记点标记过程中，无需移动标定白板，确定在各相机视野范围内标记点标记的可靠性及稳定性。
(5)各相机的远心镜头的最佳拍摄距离处实现三坐标标记点的清晰采集，做到标定最佳拍摄距离与后续测量尺寸时最佳拍摄视野距离的一致性，提高测量尺寸精度。
S6：对相机拍摄的图像采用基于高斯拟合的亚像素边缘检测算法，得到边缘点集，并利用边缘点集合拟合边缘直线。
若想要求取大尺寸物体的尺寸，需要获取顶点的位置。
本申请涉及大尺寸物体为极片，其具有较为规则的长方形形状，且四个顶角为圆弧形导角。
因此，本申请对极片尺寸的测量是利用四条边缘直线两两相交得到四个交点作为测量点。
为提升测量精度，采用高斯拟合的亚像素边缘检测算法对边缘进行提取，得到边缘点集。
高斯拟合的亚像素边缘检测算法是现有视觉领域广泛应用的方法，大体原理首先在边缘附近选取一系列点，求得这些点的灰度值，进而求得这些点的梯度值，然后运用高斯曲线来对这些点的梯度值进行拟合，最后通过拟合曲线求得高斯曲线的对称轴位置即为亚像素位置。
该检测算法能够很好地实现亚像素定位，且运行时间较短、效率较高。
在本申请中，由于设置四个相机，每个相机的视野范围内均覆盖极片的一个顶角，因此，相邻相机会拍摄到含有同一个边缘的图像，因此，同一边缘只参与一次计算即可。
例如，第一相机拍摄第一顶角，第一顶角相邻边缘直线为L1和L2，直线L1和L2的交点为P1；第二相机拍摄第二顶角，第二顶角相邻边缘直线为L2和L3，直线L2和L3的交点为P2；第三相机拍摄第三顶角，第三顶角相邻边缘直线为L3和L4，直线L3和L4的交点为P3；第四相机拍摄第四顶角，第四顶角相邻边缘直线为L4和L1，直线L4和L1的交点为P4。
通过高斯拟合的亚像素边缘检测算法获取到边缘点集，之后利用边缘点集合(例如采用基于权重的最小二乘法)拟合边缘直线L1、L2、L3和L4。
S7:基于边缘直线获取直线交点。
两条直线L1和L2，分别表示为y1＝k1x+b1，y2＝k2x+b2，则根据直线L1上的点(x1,y1)和(x2,y2)、以及直线L2上的点(x3,y3)和(x4,y5)，求取直线L1和L2，进而获取两直线的交点P1。
类似地，获取到其他交点P2、P4或者P2、P3，原因在于，在获取到交点P1和P2之后，再获取P3或P4中任一个都可得到极片的长度(即，P1P4或P2P3)。
S8：基于S5中获取的位姿变换矩阵，转换直线交点至世界坐标系下。
如上所述的交点P1至P4均是在像素坐标系下的位置，基于如上所计算出的位姿变换矩阵。
交点P1利用位姿变换矩阵(R1,T1)转换到世界坐标系下，获取到P1'(X1,Y1,Z1)。
交点P2利用位姿变换矩阵(R2,T2)转换到世界坐标系下，获取到P2'(X2,Y2,Z2)。
交点P3利用位姿变换矩阵(R3,T4)转换到世界坐标系下，获取到P3'(X3,Y3,Z3)。
交点P4利用位姿变换矩阵(R4,T4)转换到世界坐标系下，获取到P4'(X4,Y4,Z4)。
如此，所有交点的位置均在世界坐标系下。
S9：基于转换后的位置，获取尺寸。
利用P1'和P2'(或者P3'和P4')两点之间的距离获取极片的宽度，利用P1'和P4'(或者P2'和P3')两点之间的距离获取极片的长度。
如上所述的大尺寸物体也不限定于极片，可以为利用顶点的位置求取尺寸的其他大尺寸物体。
本申请涉及的多相机大尺寸视觉测量方法，普适性高，推广性强，可推广至汽车零配件尤其是发动机等大尺寸高精度检测行业领域。
本发明还提供了一种多相机大尺寸视觉测量系统，该系统用于实现如上所述的多相机大尺寸视觉测量系统，具体的，该视觉测量系统包括多相机(未示出)、标定白板(未示出)、三坐标测量机(未示出)、第一获取单元(未示出)、计算单元(未示出)、第二获取单元(未示出)、第三获取单元(未示出)和第四获取单元(未示出)。
多相机安装好用于大尺寸测量，其中各相机视野无重叠区域。
标定白板的大小能够覆盖已安装好各相机的视野，且位于三坐标测量机的量程范围内。
三坐标测量机在标定白板上标记分别在各相机视野内的一组三坐标标记点(如上所述的点集A和点集B)，并记录各三坐标标记点的三坐标位置及顺序。
各相机分别采集标定白板上对应其视野内的三坐标标记点的图像，第一获取单元针对于每个相机所采集的图像，获取图像中各三坐标标记点所在区域，并获取各所在区域的区域中心位置。
计算单元针对于各相机，利用视野内的三坐标标记点的三坐标位置及其对应的区域中心位置，计算相机的像素坐标系和三坐标测量机所在统一坐标系之间的位姿变换矩阵。
对相机拍摄的图像采用基于高斯拟合的亚像素边缘检测算法，第二获取单元得到边缘点集，并利用边缘点集合拟合边缘直线。
第三获取单元基于所述边缘直线获取直线交点。
第四获取单元基于所获取的位姿变换矩阵，将直线交点转换至同一坐标系下，并获取尺寸。
如上基于该视觉测量系统中各部件所具体执行的过程参考如上视觉测量方法中的具体描述，在此不做赘述。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种多相机大尺寸视觉测量方法，其特征在于，包括如下：
S1: 安装好用于大尺寸测量的多个相机，其中各相机视野无重叠区域；
S2: 利用三坐标测量机在标定白板上标记分别在各相机视野内的一组三坐标标记点，并记录各三坐标标记点的三坐标位置及顺序，所述标定白板的大小能够覆盖已安装好各相机的视野且位于所述三坐标测量机的量程范围内；
S3: 所述相机采集所述标定白板上对应其视野内的三坐标标记点的图像，获取各三坐标标记点所在区域，并获取各所在区域的区域中心位置；
S4: 利用所述视野内的三坐标标记点的三坐标位置及其对应的区域中心位置，计算所述相机的像素坐标系和三坐标测量机所在世界坐标系之间的位姿变换矩阵；
S5：重复执行S3和S4，直至获取所有相机的位姿变换矩阵；
S6：对相机所采集的图像采用基于高斯拟合的亚像素边缘检测算法，得到边缘点集，并利用所述边缘点集合拟合边缘直线；
S7: 基于所述边缘直线获取直线交点；
S8：基于S5中获取的位姿变换矩阵，转换直线交点至世界坐标系下；
S9：基于转换后的位置，获取尺寸。
2.根据权利要求1所述的多相机大尺寸视觉测量方法，其特征在于，
所述三坐标测量机使用带有标记色的标准微小圆形探头触点方式进行三坐标标记点标记。
3.根据权利要求2所述的多相机大尺寸视觉测量方法，其特征在于，S3中所述相机采集所述标定白板上对应其视野内的三坐标标记点的图像，获取各三坐标标记点所在区域，具体为：
对所述图像二值化处理；
提取各三坐标标记点所在区域；
对所述所在区域进行圆形拟合，获取各三坐标标记点对应的圆斑区域。
4.根据权利要求1所述的多相机大尺寸视觉测量方法，其特征在于，
S2中记录的三坐标标记点包括用于计算所述位姿变换矩阵的第一组标记点和用于验证已计算出的位姿变换矩阵的第二组标记点。
5.根据权利要求1所述的多相机大尺寸视觉测量方法，其特征在于，所述相机的镜头选择远心镜头。
6.根据权利要求1所述的多相机大尺寸视觉测量方法，其特征在于，
在S4中利用所述视野内的三坐标标记点的三坐标位置及其对应的区域中心位置，采用SVD求解所述位姿变换矩阵。
7.根据权利要求1所述的多相机大尺寸视觉测量方法，其特征在于，大尺寸为极片的大尺寸时，所述相机的视野范围内至少存在一个极片的顶点。
8.一种多相机大尺寸视觉测量系统，其特征在于，包括：
多相机，其安装好用于大尺寸测量，其中各相机视野无重叠区域；
标定白板，其大小能够覆盖已安装好各相机的视野；
三坐标测量机，所述标定白板的大小位于三坐标测量机的量程范围内，所述三坐标测量机在所述标定白板上标记分别在各相机视野内的一组三坐标标记点，并记录各三坐标标记点的三坐标位置及顺序；
第一获取单元，各相机分别采集所述标定白板上对应其视野内的三坐标标记点的图像，针对于每个相机所采集的图像，获取所述图像中各三坐标标记点所在区域，并获取各所在区域的区域中心位置；
计算单元，针对于各相机，利用所述视野内的三坐标标记点的三坐标位置及其对应的区域中心位置，计算所述相机的像素坐标系和三坐标测量机所在世界坐标系之间的位姿变换矩阵；
第二获取单元，对相机所采集的图像采用基于高斯拟合的亚像素边缘检测算法，得到边缘点集，并利用所述边缘点集合拟合边缘直线；
第三获取单元，其基于所述边缘直线获取直线交点；
第四获取单元，基于所获取的位姿变换矩阵，将所述直线交点转换至世界坐标系下，并获取尺寸。。
CN202310039602.7A 2023-01-12 2023-01-12 一种多相机大尺寸视觉测量方法及系统 Pending CN116168072A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310039602.7A CN116168072A (zh) 2023-01-12 2023-01-12 一种多相机大尺寸视觉测量方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310039602.7A CN116168072A (zh) 2023-01-12 2023-01-12 一种多相机大尺寸视觉测量方法及系统

Publications (1)

Publication Number Publication Date
CN116168072A true CN116168072A (zh) 2023-05-26

Family

ID=86415819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310039602.7A Pending CN116168072A (zh) 2023-01-12 2023-01-12 一种多相机大尺寸视觉测量方法及系统

Country Status (1)

Country Link
CN (1) CN116168072A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116772739A (zh) * 2023-06-20 2023-09-19 北京控制工程研究所 一种大尺寸结构真空环境内的变形监测方法及装置
CN116878402A (zh) * 2023-07-11 2023-10-13 北京博科测试系统股份有限公司 非接触轮眉测量传感器及方法
CN116934871A (zh) * 2023-07-27 2023-10-24 湖南视比特机器人有限公司 一种基于标定物的多目系统标定方法、系统及存储介质
CN117173255A (zh) * 2023-09-26 2023-12-05 拓荆键科(海宁)半导体设备有限公司 多相机位置的标定方法、系统及晶圆键合检测设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116772739A (zh) * 2023-06-20 2023-09-19 北京控制工程研究所 一种大尺寸结构真空环境内的变形监测方法及装置
CN116772739B (zh) * 2023-06-20 2024-01-23 北京控制工程研究所 一种大尺寸结构真空环境内的变形监测方法及装置
CN116878402A (zh) * 2023-07-11 2023-10-13 北京博科测试系统股份有限公司 非接触轮眉测量传感器及方法
CN116934871A (zh) * 2023-07-27 2023-10-24 湖南视比特机器人有限公司 一种基于标定物的多目系统标定方法、系统及存储介质
CN116934871B (zh) * 2023-07-27 2024-03-26 湖南视比特机器人有限公司 一种基于标定物的多目系统标定方法、系统及存储介质
CN117173255A (zh) * 2023-09-26 2023-12-05 拓荆键科(海宁)半导体设备有限公司 多相机位置的标定方法、系统及晶圆键合检测设备

Similar Documents

Publication Publication Date Title
CN116168072A (zh) 一种多相机大尺寸视觉测量方法及系统
CN109612390B (zh) 基于机器视觉的大尺寸工件自动测量系统
CN102376089B (zh) 一种标靶校正方法及系统
CN113240674B (zh) 基于三维点云和二维图像融合的共面度检测方法
CN109579695B (zh) 一种基于异构立体视觉的零件测量方法
CN109767476A (zh) 一种自动对焦双目摄像头标定及深度计算方法
CN111707187B (zh) 一种大型零件的测量方法及系统
CN108562233B (zh) 利用二次曲线不变量的轴类零件直径尺寸在线测量方法
CN109272555B (zh) 一种rgb-d相机的外部参数获得及标定方法
CN107816942A (zh) 一种基于十字结构光视觉系统的平面二维尺寸测量方法
CN111028297A (zh) 面结构光三维测量系统的标定方法
CN110223355B (zh) 一种基于双重极线约束的特征标志点匹配方法
CN110378969A (zh) 一种基于3d几何约束的汇聚式双目相机标定方法
CN111383194A (zh) 一种基于极坐标的相机畸变图像校正方法
CN115311371A (zh) 一种双机器人自动测量划线系统标定方法
CN111968182B (zh) 一种双目相机非线性模型参数的标定方法
CN110033491B (zh) 一种相机标定方法
CN110490941B (zh) 一种基于法向量的远心镜头外参数标定方法
CN112179292A (zh) 一种基于投影仪的线结构光视觉传感器标定方法
CN116205993A (zh) 一种用于3d aoi的双远心镜头高精度标定方法
CN115810055A (zh) 一种基于平面棋盘格的环形结构光标定方法
CN114998417A (zh) 基于二次曲线不变量的薄壁冲压件孔组尺寸测量方法
CN114963981A (zh) 一种基于单目视觉的筒状零件对接非接触式测量方法
CN114549659A (zh) 一种基于准三维靶标的摄像机标定方法
CN112468801B (zh) 广角摄像模组的光心测试方法及其测试系统和测试标板

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination