CN109308722B - 一种基于主动视觉的空间位姿测量系统及方法 - Google Patents

一种基于主动视觉的空间位姿测量系统及方法 Download PDF

Info

Publication number
CN109308722B
CN109308722B CN201811415367.4A CN201811415367A CN109308722B CN 109308722 B CN109308722 B CN 109308722B CN 201811415367 A CN201811415367 A CN 201811415367A CN 109308722 B CN109308722 B CN 109308722B
Authority
CN
China
Prior art keywords
camera
image
target plate
infrared light
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811415367.4A
Other languages
English (en)
Other versions
CN109308722A (zh
Inventor
余镇岳
余航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Yuanhang Photoelectric Co ltd
Original Assignee
Shaanxi Yuanhang Photoelectric Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Yuanhang Photoelectric Co ltd filed Critical Shaanxi Yuanhang Photoelectric Co ltd
Priority to CN201811415367.4A priority Critical patent/CN109308722B/zh
Publication of CN109308722A publication Critical patent/CN109308722A/zh
Application granted granted Critical
Publication of CN109308722B publication Critical patent/CN109308722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及测量技术领域,具体公开了一种基于主动视觉的空间位姿测量系统及方法,包括红外发光靶板、摄像机和监控终端;红外发光靶板为安装于被测物体上的标志物,标志物上设有用于反映标志物位姿状态的图像特征信息;摄像机用于提取靶板上的图像特征信息;监控终端用于处理摄像机获得的图像特征信息。通过主动视觉的方式,在传统摄像测量系统的基础上优化创新,开发出符合现代制造业要求的新型空间位姿测量系统。

Description

一种基于主动视觉的空间位姿测量系统及方法
技术领域
本发明属于测量技术领域,涉及一种基于主动视觉的空间位姿测量系统及方法。
背景技术
在大型工业产品的制造及装配过程中,对其几何尺寸和位置误差的测量,是保证产品质量的关键因素。大型工业产品的测量是现代先进制造系统中的关键技术之一,被广泛地应用到涉及航空航天、冶金设备、造船工业、汽车制造、港口机械、探矿设备、电站设备、造纸印刷等诸多工业领域。
大型工业产品测量方式通过近十几年来的不断发展,已经在传统三坐标测量系统(CMM)基础上,创新出了多种大型工业产品测量系统。除了传统三坐标测量系统(CMM)以外,比较成熟的还有电子经纬仪工业测量系统(MTS)、全站仪极坐标测量系统、激光跟踪测量系统(LTS)、激光扫描测量系统(LSS)、基于GPS原理的空间测量系统等。特别是近几年随着计算机视觉相关技术的发展,利用摄像机通过直接拍摄目标物的方式来进行测量活动的摄像测量系统也在实际应用中发挥了重要作用。几种工业产品数字化测量技术特点的对比具体见下表。
计算机视觉技术的目的是让计算机能够以类似人类的方式来“看”世界,即利用计算机软硬件模拟出人类对整个三维世界图像采集、处理、分析和学习能力,使计算机和机器人系统具有智能化的视觉功能。
计算机视觉技术的核心问题在于如何对图像信息进行提取,不同于人类对图像信息的提取过程,现在大多数的计算机视觉问题只能采用“逆向推导机制”,即利用已知或假设的关联将视觉系统的输入(数字图像)和输出(语义描述)对应起来,通过图片猜测真实世界物体具有的形状、照明度以及颜色分布。也有部分计算机视觉问题尝试通过正向推导来解决问题,但其系统的输入一般为人造图像,如条形码、商标等。这类人造图像中的信息完全由人工控制生成,所以其输入和输出的对应关系完全已知,推导过程比较容易实现。应用了此类技术的相关系统已经有很多,并且都能较好地满足目标要求。
计算机视觉技术自二十世纪七十年代出现以来,已经发展了四十多年。从最开始的数字图像处理,到双目匹配技术,到人脸检测与识别,再到最近几年火热的机器学习。计算机视觉技术与时俱进,不断探索出新的应用技术。被广泛地应用于,如数字图像检索管理、医学影像分析、智能安检、人机交互等领域。
如何更好地将测量技术与计算机视觉技术结合起来,以发展出匹配现代制造业的工业测量系统是目前的难题。
发明内容
本发明的目的在于提供一种基于主动视觉的空间位姿测量系统,通过主动视觉的方式,在传统摄像测量系统的基础上优化创新,开发出符合现代制造业要求的新型空间位姿测量系统。
本发明是通过以下技术方案来实现:
一种基于主动视觉的空间位姿测量系统,包括红外发光靶板、摄像机和监控终端;
红外发光靶板为安装于被测物体上的标志物,标志物上设有用于反映标志物位姿状态的图像特征信息;
摄像机,用于提取红外发光靶板上的图像特征信息;
监控终端,用于处理摄像机获得的图像特征信息。
进一步,摄像机采用CMOS近红外增强型工业摄像机。
进一步,在摄像机上加设有工业镜头和滤波片。
进一步,工业镜头型号为SA3520M-10MP,滤波片的型号为JT03-BP850-40.5。
进一步,红外发光靶板包括红外发光二极管、靶板和驱动电路,红外发光二极管固定在靶板上,驱动电路用于驱动红外发光二极管。
进一步,红外发光二极管为PH301型红外发光二极管。
本发明还公开了一种基于上述主动视觉的空间位姿测量系统的测量方法,包括以下步骤:
1)当被测物体相对于原姿态发生改变时,这种改变就会被传递到红外发光靶板上;
2)摄像机将此时红外发光靶板的图像拍摄下来,发送给监控终端;
3)监控终端通过参考图像上特征点与红外发光靶板上特征点的对应关系,就能得到红外发光靶板目前的空间位姿信息。
进一步,摄像机的标定方法采用“Zhang”标定方法或Tsai两步标定方法。
进一步,监控终端采用基于K-means聚类算法的光斑质心提取算法对获得的图像特征信息进行处理。
进一步,光斑质心提取算法具体为:首先对光斑灰度图进行二值化预处理,光斑的值为1,背景为0,然后找到二值图中所有值为1的点,并将这项像素点的横纵坐标记录下来,最后通过K-means算法对这些记录下来的横纵坐标值进行聚类,就能得到最终的质心坐标。
与现有技术相比,本发明具有以下有益的技术效果:
本发明公开的基于主动视觉的空间位姿测量系统,包括红外发光靶板、摄像机和监控终端;红外发光靶板可以主动发光,摄像机用于提取靶板上的图像特征信息,监控终端用于处理摄像机获得的图像特征信息。将主动视觉技术与摄像测量技术相结合,从而扩大了摄像测量系统的适用范围,提高了测量精度,降低了测量成本。
进一步,摄像机采用的是近红外增强型工业CMOS摄像机,通过搭配镜头和滤光片,可以获得理想的红外光斑图像。
进一步,红外发光靶板采用红外发光二极管作为主动视觉光源,靶板上的红外发光二极管以一定位置关系被固定住,驱动电路用来驱动红外发光二极管,实现了摄像机可全天候地对靶板上的信息进行提取。
本发明公开的测量方法,当被测物体相对于原姿态发生改变时,这种改变就会被传递到红外发光靶板上,摄像机将此时红外发光靶板的图像拍摄下来,发送给监控终端,监控终端通过参考图像上特征点与红外发光靶板上特征点的对应关系,就能得到红外发光靶板目前的空间位姿信息。
进一步,本发明提出了一种基于K-means聚类算法的新型质心提取算法,该算法的核心思路在于对图像的坐标值进行聚类。具体实现过程是,对一幅图像进行预处理,找到光斑所在的像素点的横纵坐标值,通过直接对像素点的横纵坐标值进行聚类,就能得到质心坐标。该算法的优点有,抗干扰能力强、质心提取过程稳定、易于二次开发。最后对该算法的实际效果做了测试,并对结果进行了讨论和分析。
附图说明
图1为本发明的系统结构示意图;
图2为本发明近红外增强型工业摄像机光谱响应特性图;
图3为摄像机加装滤光片前后拍摄效果对比图,图a为未加装滤光片,图b为加装滤光片;
图4为应用于增强现实技术中的靶板图案;
图5为不同角度下拍摄的平面棋盘格图像;
图6为摄像机外部参数的空间示意图;
图7为重投影误差分布图;
图8为光斑质心提取算法流程图;
图9为光斑质心坐标图;
图10为噪声干扰下的光斑质心坐标图;
图11为空间位姿测量方法实验图片;
其中,1为红外发光靶板,2为摄像机,3位监控终端。
具体实施方式
下面结合附图对本发明做进一步详细描述:
如图1所示,本发明的基于主动视觉的空间位姿测量系统,包括三个部分,第一个部分是安装于被测物体上的标志物,本方案中的标志物是红外发光靶板1,标志物上有已知的特征信息,这些特征信息反映了标志物的一种确定位姿状态;第二个部分是用于提取图像信息的摄像机2,本方案采用的是近红外增强型工业CMOS摄像机;第三个部分是监控终端3,用于处理摄像机2获得的图像信息,并通过相关算法解算出红外发光靶板1的实际空间位姿信息。
红外发光靶板1与被测物体连接,当被测物体相对于原姿态发生改变时,这种改变就会被传递到红外发光靶板1上。尽管这种改变是极其微小的,但摄像机2依然能够捕捉的到。摄像机2将此时靶板的图像拍摄下来,通过数据线发送给监控终端3。监控终端3利用相关算法,通过参考图像上特征点与红外发光靶板1上特征点的对应关系,就能得到红外发光靶板1目前的空间位姿信息。这就是整个系统实现测量的原理。
针对测量系统在5至20米的实际空间中,对一块25*25厘米的正方形靶板上的图像信息进行提取的要求下,以保证高质量成像为前提,经过长时间的调研和测试,最终选择国产海康威视公司旗下生产的MV-CA050-20GN近红外增强型工业摄像机,并搭配SA3520M-10MP工业镜头。该款摄像机的光谱响应范围如图2所示。
通过与镜头的组合,该款工业摄像机在测量要求的范围均能获得清晰的图片。从光谱响应特性图中可以看出,相比于传统工业摄像机,该款工业摄像机在近红外光下的吸收峰出现在频率更高的波段处。
实际中为了获取更高质量的红外图像,还在镜头上加装了JT03-BP850-40.5带通滤波片,通过只允许940±40nm的波段范围内的红外光进入摄像机的方法来进一步改善成像质量。
滤光片除了可以滤除目标波段以外的光线外,还能够有效减少工业摄像机镜头眩光现象的出现。如图3所示,当光源垂直照射入镜头内时,由于镜头机械结构的原因,会出现极为剧烈的眩光现象。伴随着眩光,画面边缘附近还会出现星芒状光斑的残影,无论哪一种现象都会严重妨碍后续的测量工作。而当镜头加装了滤波片后,相当于起了镜头中光阑的作用。减小了通过光线的强度,眩光现象随之消失,成像质量也获得了进一步提升。
靶板是人工制造的一种可以供摄像机进行摄像识别的标志物,其表面的特殊图案或者特殊结构代表的是某些信息,而这些信息与靶板实时空间位姿的对应关系是已知的。那么当摄像机拍摄到某一帧图像后,监控终端3就可以通过这帧图像中信息与位姿的对应关系来解算出目标的三维特征信息,靶板是单目视觉位姿测量系统中必不可少的一个组成部分。传统的靶板一般是通过其表面的特殊图案来代表不同的信息,比较常见是运用于增强现实技术中的靶板,如图4所示。这些特殊图案中包含了空间位姿的绝对信息,摄像机对其进行拍摄的时候就可以获得摄像机相对于靶板的位置关系,从而对虚拟图像的投影位置进行调整。但是这种靶板只能被用于光照强度足够强的环境中,如果环境中光照强度不够,那么靶板就无法把足够的光线反射到摄像机的镜头中,摄像机也就无法进行正常的摄像活动,所以这是一种被动视觉技术。
针对实际测量要求,要全天候地对靶板上的信息进行提取的话,就必须采用主动视觉相关技术,也就是本方案中红外发光靶板1所采用的技术。红外发光靶板1包括红外发光二极管、靶板和驱动电路三部分,靶板是放置红外发光二极管的平面正方形薄板,靶板上的红外发光二极管以一定位置关系被固定住,驱动电路用来驱动红外发光二极管。
最终选取PH301型红外发光二极管,相关参数见表1。该红外发光二极管的发光角度是60度,在其发光范围内摄像机才能接受到最大发光强度。因为靶板并不是正对着摄像机安装,所以在组合二极管与靶板时应注意调整好二极管的角度。在靶板的可动角度内,使其发光范围尽可能多的覆盖到摄像机,以达到最好的成像质量。
表1红外发光二极管的相关参数
型号 发光波长 正向电压 正向电流 脉冲电流 辐射强度
PH301 940nm 1.3-1.5V 20-100mA 0.7-1A 25-220mW/sr
因为红外发光二极管的发光强度是由电流的大小来决定的,电流越大发光强度越高。所以常用的红外发光二极管电路都是由恒流源驱动的,组成恒流源的方式有很多种,可以根据实际情况的不同来进行选择。本发明的驱动电路要一次点亮八枚红外发光二极管,采用了串联的方式,保证通过所有二极管的电流大小一致。
红外发光靶板1中的已知信息就是各个红外发光二极管在靶板上的相对位置关系,这些位置关系是绝对的、不会随着靶板本身位姿的变化发生改变。并且红外发光二极管是主动发光的,只要其与摄像机之间没有直接遮挡,其发出的红外光在任何环境光照强度下都能被摄像机所接受到。选择红外光作为主动视觉光源的另一个原因是,通过滤波片和摄像机传感器的共同作用可以完全隔绝位于可见光波段的环境光对所得图像的影响,提高成像质量。
本发明的摄像机标定方法采用“Zhang”标定方法或Tsai两步标定方法。无论是“Zhang”标定方法还是Tsai两步标定方法,都只考虑了径向畸变的存在。本发明在摄像机成像模型中加入几种畸变模型,因为本测量系统对图像中点坐标信息的提取精度为像素级,任何微小的畸变都可能造成最终测量结果的不准确。
“Zhang”标定方法
1、“Zhang”标定方法的原理
“Zhang”标定方法是张正友教授1998年提出的利用平面棋盘格的摄像机标定方法,这种方法是一种介于传统标定方法和自标定方法之间的方法。利用摄像机从不同方向对一幅平面棋盘格进行拍摄多幅图像(如图5所示),通过平面棋盘格上的特征点与其像点的对应关系完成对摄像机的标定。标定的目的就是要获得M1(相机内部参数矩阵)和M2(相机外部参数矩阵),而“Zhang”标定方法通过构建单应性矩阵,利用约束条件先求出内参数矩阵后再求出外参数矩阵,最后在结果中加入了径向畸变估计。
2、“Zhang”标定方法的数学思想描述
“Zhang”标定方法的数学思想为,先通过平面棋盘格与其图像的单应性关系构建单应性矩阵,再利用一定的约束关系先求出相机的内参数矩阵,然后通过内参数矩阵和外参数矩阵之间的对应关系得到外参数矩阵,对于多幅图像使用最大似然估计对结果进行优化并加入径向畸变估计。具体过程如下:
(1)推导单应性矩阵
单应性指平面棋盘格与其图像之间的一种对应关系,设世界坐标系中点的坐标为X=[Xw,Yw,Zw,1]T,图像像素坐标系中点的坐标为m=[u,v,1]T,则其单应性关系为:
S0m=K[R,T]X (1)
其中s0表示尺度因子,K表示内参数矩阵,R表示旋转矩阵,T为平移向量。特别的,当一般情况下K可以表示为:
其中,(u0,v0)为图像像素坐标系的原点坐标,α,β为图像u和v坐标轴的矢量,γ表示摄像机成像平面坐标轴互不正交时存在的倾斜因子,通常情况下取0。因为棋盘格是平面,所以当把世界坐标系构造在Z=0的平面上时,式(1)就可以简化成如下形式:
其中,称k[r1,r2,r3,t]为单应性矩阵H。
(2)计算内参数矩阵
由式(3)可得:
令H=[h1,h2,h3]=λ[r1,r2,t],则进一步推导可得:
由旋转矢量的正交性和其模值为1可知:
||r1||=||r2||=1 (9)
将式(1)和(2)代入式(4)和(5)中可得:
式(10)和(11)中表示了每个单应性矩阵可以提供两个方程,而内参数矩阵K中又有5个参数,求解至少需要六个方程,也就是三个单应性矩阵。所以在利用“Zhang”标定方法进行标定的时候至少需要拍摄三幅不同角度的图像,否则将无法得到所有的5个参数值。为了方便计算,又有如下定义:
因为B是一个对称矩阵,通过进一步化简将其写成一个六维向量:
b=[B11,B12,B22B13,B23B33]T (13)
代入式(10)和式(11)中可得:
其中通过计算可知vij为:
vij=[hi1hj1,hi1hj2+hi2hj1,hi2hj2,hi3hj1+hi1hj3hi3hj2,hi2hj3hi3hj3 (15)
则式(10)和式(11)可以写为:
(3)计算外参数矩阵
由式(4)、(5)、(6)、(7)联立可得:
r3=r1×r2 (18)
t=λk-1h3 (19)
(4)最大似然估计
构造似然函数:
让L取最大值,通过使用相关算法进行迭代即可求得最优解。
(5)加入径向畸变
“Zhang”标定方法只考虑了对成像效果影响最大的径向畸变,造成这种畸变的主要原因是镜头组装过程不可控的因素如制造缺陷、安装误差等。其数学描述形式如下:
由式(21)可知径向畸变的数学模型,加入到最大似然估计函数中进行迭代后即可得到最终结果。“Zhang”标定方法最后得到的结果是内参数矩阵、外参数矩阵和畸变系数。
Tsai两步标定方法
两步标定方法最早由Tsai于1986年提出,所以又被称为Tsai两步标定方法。两步标定法是介于线性标定法和非线性标定法之间的一种方法,也是这两种传统标定方法的结合。Tsai两步标定方法考虑了镜头的径向畸变,通过假设主点位于图像的中心,利用共面点对摄像机的内外参数进行标定,是计算机视觉技术中常用的一种摄像机标定方法。
1、Tsai两步标定方法的原理
两步标定法的基本原理是先采用解析的方法对部分参数进行线性计算,然后将这些值作为非线性运算的初值,加入畸变模型,迭代优化得到最终所有参数值。两步标定法第一步的关键在于如何得到相机的内参数值,一般是先将这些参数独立出来,然后通过求解线性方程组得到这些解。第二步的关键在于先不考虑镜头畸变的存在,求解剩余线性方程组得到相机的外参数后,再加入畸变模型,将内参数进行多次非线性迭代优化后,得到精确的标定结果。相比较于传统标定方法,该方法的实验条件和要求都大大降低了,“Zhang”标定方法正是在Tsai两步标定方法的思想基础上发展出来的。
2、Tsai两步标定方法的数学思想描述
Tsai两步标定方法分为线性计算和非线性优化两个过程,利用数学方法描述如下。
(1)利用径向约束条件求解旋转矩阵R中tx,ty
径向约束条件的数学形式为:
整理上式可以得到:
其中行向量是已知的,列向量是需要求解的。由于棋盘格上的所有点是共面的,通过预标定的方法得到尺度因子Sx后,利用最小二乘法即可对式(23)进行求解,具体过程不再赘述。
(2)求解有效焦距f、T的分量Tz、主点坐标以及径向畸变系数k。
先假设没有畸变存在,则:
令k=0,联立式(21)与(24)可得:
求解式(25)即可求得f,tz的初始值,再利用最小二乘法进行最优参数估计,就能求得k,f,tz的精确解。
实验结果对比
(1)“Zhang”标定方法的结果
对“Zhang”标定方法的实验验证利用了已经发布在互联网上的标定工具箱,基于MATLAB环境下运行,使用的软件是MATLAB R2018a。具体操作过程在标定工具箱的下载页面中有详细介绍,这里不再赘述。这里只对实验结果进行展示和分析,并简单地讨论了一下“张正友”标定方法的优缺点。
图6与图7分别展示了标定过程中平面棋盘格与摄像机的相对位置关系及通过计算得到的重投影误差分布图。从图6中可以看到,在得到标定结果,也就是相机的内外参数矩阵及径向畸变系数后,也就得到了平面棋盘格在世界坐标系下相对于摄像机的空间位姿信息。摄像机标定的过程,也就是找到空间中点的三维位置信息与其在图像中二维位置信息对应关系的过程。完成标定后,这个对应关系被确定下来,也就确定了平面棋盘格相对于摄像机的空间位置关系。“Zhang”标定方法的最终结果如表2所示。
表2“张正友”标定方法的最终结果
标定参数名称 最终标定值
焦距[fldx,fldy](pixel) 7456.95165 7456.95165
主点位置[u0,v0](pixel) 1295.50000 1023.50000
畸变系数(γ) -0.19171 1.21659
再投影误差pixel error 0.54455 0.82278
(2)Tsai两步标定方法的结果
对Tsai两步标定方法的实验验证利用了Intel公司开发的OpenCV(open sourcecomputer vision library)开源计算机视觉库,通过直接调用其中的摄像机标定函数即可实现对摄像机的标定,实验最终得到的内参数矩阵是:
畸变系数为:
[-4.0483e-001,2.3098e+001,0,0,0]
通过与“Zhang”标定方法的结果对比,发现两次标定的结果虽然不是完全相等,但误差值均在可接受的范围内。利用OpenCv进行Tsai两步法标定时,程序函数通过四副不同的图像求解得到相机的内参数矩阵,而且提取角点的过程是完全不需要人为操作的。最终输出的结果不仅有相机的内参数矩阵,还有每张图像相对于摄像机的空间位姿信息。用四个旋转矢量和平移矢量表示如下。
旋转矢量:
[-2.1322e+000,-2.1568e+000,-3.135e-001]
[-1.9699e+000,-2.0737e+000,-5.6898e-001]
[1.9784e+000,2.0993e+000,-1.4327e-001]
[-1.9364e+000,-2.1755e+000,1.6354e-001]
平移矢量:
[-1.0675e+002,-7.7182e+001,1.1348e+003]
[-9.6099e+001,-7.7756e+001,1.0885e+003]
[-8.5664e+001,-7.3304e+001,1.1378e+003]
[-7.7185e+001,-8.2940e+001,1.1086e+003]
也就是说与“Zhang”标定方法类似,Tsai两步标定方法最终也能得到平面棋盘格相对于摄像机的空间位姿信息。
红外光斑质心提取算法
摄像机获得的每个红外二极管图像为一个白色明亮的光斑区域,包含多个像素。由于现代先进测量技术对测量精度的要求非常高,而光斑区域的相对位置关系对于整个测量系统来说还是显得不那么“精准”,所以必须找到更加精确的特征点。对于一幅图像来说,最小的坐标单位就是一个像素点,如果能够获得每个二极管光斑图像质心的像素坐标,那么这个坐标相对于整个图像的精度就能够满足测量要求。
本发明针对红外二极管光斑图像,设计了质心提取算法,具体流程如图8所示。
(1)当一幅红外图像I(x,y)输入计算机后,首先进行归一化处理:
其中,max(I)和min(I)表示计算图像I的灰度最大值和最小值。
(2)经过归一化处理,光斑点与背景的差别尽可能得拉大,然后对光斑灰度图进行二值化预处理:
其中,阈值T选择为图像直方图两峰值之间的峰谷位置对应的灰度值,一般简化选择为0.5。这时光斑像素的取值为1,背景像素的取值为0。
(3)统计二值图中所有值为1的点,并将这项像素点的横纵坐标记录下来{(xi,yi)|I″(xi,yi)=1}。
(4)最后采用K-means算法,采用欧氏距离,对这些记录下来的横纵坐标值进行聚类,聚类的类别中心坐标,即是最终的光斑质心坐标。
本发明的新型质心提取算法的核心思想在于利用K-means聚类算法直接对图像中像素点的坐标值进行聚类,这样做的优点在于避免了图像灰度值对结果的直接影响。
实验结果及分析
本实验代码基于MATLAB环境下运行,使用的软件是MATLAB R2018a。图9展示的是使用新款工业CMOS摄像机拍摄的图像进行聚类后的质心坐标图。图片尺寸为2592×2048,从下至上,从左至右八个质心坐标分别是(568.3,1705.2),(1302,1697),(1981.7,1706.4),(539,973),(1982.2,979.5),(522.5,234.1),(1225.5,226.8),(1977,225.4)。通过大量实验验证,该算法不仅能准确地提取出光斑的质心坐标,而且稳定性高。当靶板静止不动时,提取的光斑质心坐标值的误差不超过3个像素,完全能够满足测量要求。除此之外,由于对获得的光斑图像进行了预处理,该算法在抗噪声方面的表现也十分优异。当光斑图像中噪点数目比较多时,光斑边缘会变得不平整,但该算法依然能够准确地提取出光斑质心坐标。具体效果如图9和10所示。
要测量和提取靶板的实际空间位姿,这个问题可以转换为已知空间中某些点在图像中的对应关系,求解摄像机相对于这些点的实际空间位姿信息。摄像机位姿估计是计算机视觉领域一个重要的研究方向,也是机器人定位与导航、目标跟踪与识别、虚拟现实和运动估计等许多理论研究与实践所要解决的核心问题。通过摄像机标定方法确定了摄像机的内部参数后,即可在此基础上,进一步确定单幅图像或者两幅图像对应的摄像机的旋转和平移矩阵,从而确定摄像机的位置和姿态信息。摄像机的位姿决定了三维空间点与图像投影点之间的对应关系,而基于视觉信息确定摄像机位姿参数的方法大多数也是根据点对之间的关系来实现的。经典的直接线性变换方法是利用点对来实现摄像机位姿参数的估计。在获得摄像机内参数的基础上,本发明给出了估计摄像机位姿的方法,包括相对位姿估计方法和绝对位姿估计方法。其中,相对位姿估计方法主要是利用两副图像间的图像点对应关系来实现,而绝对位姿估计可以通过设定世界坐标系,人工给定点对来获得单幅图像对应的摄像机的位姿参数。
PnP(pespective-n-point)又称为给定控制点的位姿测量问题,利用目标的n个空间相对位置已知的控制点,由摄像机采集目标的图像,计算相机和目标的相对位姿。也即就是已知的n个空间3D点与图像2D点对应的点对,计算相机位姿、或者物体位姿。Horaud等在1989年对该问题给出了位姿估计的PnP问题定义:给定目标坐标系下n点的坐标及相对应的图像坐标系下的投影,并假定相机的内参已知,求解目标坐标系与摄像机坐标系之间的变换矩阵,即含有三个旋转和三个平移参数的摄像机外参矩阵。
显然,如果目标坐标系与摄像机坐标系之间的变换矩阵已经确定,那么通过坐标变换很容易求得射影中心点(即光轴中心)到各个控制点的距离,本发明所讨论的问题正是基于Horaud的定义。由于PnP问题从一幅图像就可以解算出目标的相对位姿,而不用计算目标在不同图像中的对应关系,解算方法更为简便,实用性也更强。PnP问题在诸如计算机视觉、图像分析、机器视觉系统、摄影测量等领域都有重要的应用前景。在一些基于特征点的相机跟踪系统、运动估计、视觉里程计等应用中,一般需要处理上百甚至上千个特征点,因此需要很快的计算速度。本发明采用先通过P3P和RANSAC算法移除外点,然后再利用PnP来求出最后的正解。
PnP问题的解决方法随着n的取值的不同而不同,经典的PnP问题是非线性的,该问题具有多解性,而且其解的鲁棒性容易受图像点位置误差的影响。当问题中n=6时,可得唯一线性解。当n>6通过线性优化方法可得唯一解。
当n=3时,问题存在多个解且均不稳定,若三点所确定的平面不通过摄像机的光心,则存在最多4个解且解的上限是可以达到的。
当n=4时,当4个点满足共面条件的情况下,可以获得唯一解,而当4个点不共面时,P4P问题可以转变为求解一个双二次一元四次方程的问题其最多可有5个解。
当n=5时,P5P问题研究较少,问题较为复杂,可将其分解为若干个P4P问题或者P3P问题进行求解。实际上,在5个点中的任意3点均不共线的情况下,P5P问题最多存在两个解,而且解可以达到上限。
当n≥6时,PnP问题可以获得线性的唯一解。
因此,给定n个控制点的相对空间位置与其对应的图像投影点,进而确定摄像机与物体之间的相对距离和姿态。
实验结果及分析
对求解PnP问题方法的实验验证利用了Intel公司开发的OpenCV(open sourcecomputer vision library)开源计算机视觉库,通过直接调用其中的SolvePnP函数即可求解。本发明利用靶板图像上的点,总共对四幅图像中的摄像机空间位姿进行了测量提取,每个图像的最终结果是一个旋转矢量和一个平移矢量,四幅图像如图11所示。
最终结果结果如下,旋转矢量:
(a)[90,-44.4515,-127.254] (b)[90.0002,-40.0366,-174.421]
(c)[90.0001,-62.3852,139.571] (d)[90.0002,-42.9251,-148.179]
平移矢量:
(a)[1.12585e+08,1.14762e+08,3.24838] (b)[240457,286171,3.0278]
(c)[237208,124114,0.349757] (d)[293785,315861,3.21524]
其中,旋转矢量中的值是空间欧拉角度值,单位是度。平移矢量中的值是相对于图像像素坐标系原点的偏移量,单位是像素。通过与实际真实旋转矢量和平移矢量对比可知,所得测量结果与真实值保持一致,误差精度均在1%以下,可以达到实际测量的目的。
本发明采用红外发光二极管作为主动视觉光源,近红外增强型工业摄像机作为图像采集设备,监控终端3作为图像处理及程序运行设备。本发明提出了一种基于K-means聚类算法的新型质心提取算法,该算法的核心思路在于对图像的坐标值进行聚类。具体实现过程是,对一幅图像进行预处理,找到光斑所在的像素点的横纵坐标值,通过直接对像素点的横纵坐标值进行聚类,就能得到质心坐标。该算法的优点有,抗干扰能力强、质心提取过程稳定、易于二次开发。最后对该算法的实际效果做了测试,并对结果进行了讨论和分析。在提取了光斑质心坐标的基础上,研究了基于PnP问题的空间位姿测量算法。主要内容是将最终求解过程与PnP问题的求解过程结合,在获得了相机的内参数矩阵后,得到光斑质心坐标相对图像的世界坐标系下的坐标,并求得对应关系。再利用这种对应关系,结合PnP问题的求解方法,迭代求得靶板当前相对于摄像机的实际空间位姿信息。

Claims (3)

1.一种基于主动视觉的空间位姿测量系统,其特征在于,包括红外发光靶板(1)、摄像机(2)和监控终端(3);
红外发光靶板(1)为安装于被测物体上的标志物,标志物上设有用于反映标志物位姿状态的图像特征信息;
摄像机(2),用于提取红外发光靶板(1)上的图像特征信息;
监控终端(3),用于处理摄像机(2)获得的图像特征信息;
红外发光靶板(1)包括红外发光二极管、靶板和驱动电路,红外发光二极管固定在靶板上,驱动电路用于驱动红外发光二极管;
摄像机(2)采用CMOS近红外增强型工业摄像机;在摄像机(2)上加设有工业镜头和滤波片;工业镜头型号为SA3520M-10MP,滤波片的型号为JT03-BP850-40.5;
所述主动视觉的空间位姿测量系统的测量方法,包括以下步骤:
1)当被测物体相对于原姿态发生改变时,这种改变就会被传递到红外发光靶板(1)上;
2)摄像机(2)将此时红外发光靶板(1)的图像拍摄下来,发送给监控终端(3);
3)监控终端(3)通过参考图像上特征点与红外发光靶板(1)上特征点的对应关系,就能得到红外发光靶板(1)目前的空间位姿信息;
监控终端(3)采用基于K-means聚类算法的光斑质心提取算法对获得的图像特征信息进行处理;光斑质心提取算法具体为:首先对光斑灰度图进行二值化预处理,然后找到二值图中所有值为1的点,并将这项像素点的横纵坐标记录下来,最后通过K-means算法对这些记录下来的横纵坐标值进行聚类,就能得到最终的质心坐标;
具体为:当一幅红外图像I(x,y)输入监控终端后,首先进行归一化处理:
其中,max(I)和min(I)表示计算图像I的灰度最大值和最小值;
经过归一化处理,然后对光斑灰度图进行二值化预处理:
其中,阈值T选择为图像直方图两峰值之间的峰谷位置对应的灰度值,这时光斑像素的取值为1,背景像素的取值为0;
统计二值图中所有值为1的点,并将这项像素点的横纵坐标记录下来{(xi,yi)I″(xi,yi)=1};
最后采用K-means算法,采用欧氏距离,对这些记录下来的横纵坐标值进行聚类,聚类的类别中心坐标,得到最终的光斑质心坐标;
步骤3)具体为:将监控终端计算出的最终的光斑质心坐标与PnP问题的求解过程结合,在获得了相机的内参数矩阵后,得到光斑质心坐标相对图像的世界坐标系下的坐标,并求得对应关系;
利用这种对应关系,结合PnP问题的求解方法,迭代求得靶板当前相对于摄像机的实际空间位姿信息。
2.根据权利要求1所述的基于主动视觉的空间位姿测量系统,其特征在于,红外发光二极管为PH301型红外发光二极管。
3.根据权利要求1所述的基于主动视觉的空间位姿测量系统,其特征在于,摄像机(2)的标定方法采用“Zhang”标定方法或Tsai两步标定方法。
CN201811415367.4A 2018-11-26 2018-11-26 一种基于主动视觉的空间位姿测量系统及方法 Active CN109308722B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811415367.4A CN109308722B (zh) 2018-11-26 2018-11-26 一种基于主动视觉的空间位姿测量系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811415367.4A CN109308722B (zh) 2018-11-26 2018-11-26 一种基于主动视觉的空间位姿测量系统及方法

Publications (2)

Publication Number Publication Date
CN109308722A CN109308722A (zh) 2019-02-05
CN109308722B true CN109308722B (zh) 2024-05-14

Family

ID=65223170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811415367.4A Active CN109308722B (zh) 2018-11-26 2018-11-26 一种基于主动视觉的空间位姿测量系统及方法

Country Status (1)

Country Link
CN (1) CN109308722B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110275977B (zh) * 2019-06-28 2023-04-21 北京百度网讯科技有限公司 一种信息展示方法及装置
CN113140008A (zh) * 2020-01-17 2021-07-20 上海途擎微电子有限公司 标定方法、图像校准方法以及标定系统
CN111750842B (zh) * 2020-07-10 2024-03-15 中铁第四勘察设计院集团有限公司 用于摄影测量的反射片及采用其进行全站仪自动照准方法
CN111932617B (zh) * 2020-07-15 2023-12-22 中国科学院上海微系统与信息技术研究所 一种对规则物体实现实时检测定位方法和系统
CN111965630B (zh) * 2020-08-17 2024-05-28 南京先能光电科技有限公司 一种空间定位系统
CN114199275A (zh) * 2020-09-18 2022-03-18 阿里巴巴集团控股有限公司 传感器的参数确定方法和装置
CN112444233B (zh) * 2020-10-22 2022-08-02 贵州大学 一种基于单目视觉的平面运动位移及轨迹测量方法
CN112907892A (zh) * 2021-01-28 2021-06-04 上海电机学院 基于多视图的人体跌倒报警方法
CN113066127B (zh) * 2021-04-02 2024-04-19 视辰信息科技(上海)有限公司 一种在线标定设备参数的视觉惯性里程计方法和系统
CN113192122B (zh) * 2021-04-28 2023-07-28 西安电子科技大学 大型装备装配位姿视觉检测过程中的光心提取方法
CN113358098A (zh) * 2021-05-13 2021-09-07 武汉中观自动化科技有限公司 一种基于智能反向定位的便携式探测方法及系统
CN114061738B (zh) * 2022-01-17 2022-05-17 风脉能源(武汉)股份有限公司 一种基于标定板位姿计算的风机塔筒基础环振动监测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101419055A (zh) * 2008-10-30 2009-04-29 北京航空航天大学 基于视觉的空间目标位姿测量装置和方法
CN101718620A (zh) * 2009-11-06 2010-06-02 北京理工大学 多光谱动态调制传递函数测量方法与装置
CN102980528A (zh) * 2012-11-21 2013-03-20 上海交通大学 无位姿约束线激光单目视觉三维测量传感器参数标定方法
CN103278139A (zh) * 2013-05-06 2013-09-04 北京航空航天大学 一种可变焦单双目视觉传感装置
CN103335634A (zh) * 2013-06-24 2013-10-02 南京航空航天大学 一种用于部件安装姿态校准的视觉靶板装置及标定方法
CN104596502A (zh) * 2015-01-23 2015-05-06 浙江大学 一种基于cad模型与单目视觉的物体位姿测量方法
CN204694633U (zh) * 2015-04-17 2015-10-07 西安电子科技大学 用于红外成像测量的外场测试靶板
CN209357119U (zh) * 2018-11-26 2019-09-06 陕西远航光电有限责任公司 一种基于主动视觉的空间位姿测量系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101975588B (zh) * 2010-08-20 2012-07-11 北京航空航天大学 一种多传感器视觉测量系统的刚性杆全局校准方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101419055A (zh) * 2008-10-30 2009-04-29 北京航空航天大学 基于视觉的空间目标位姿测量装置和方法
CN101718620A (zh) * 2009-11-06 2010-06-02 北京理工大学 多光谱动态调制传递函数测量方法与装置
CN102980528A (zh) * 2012-11-21 2013-03-20 上海交通大学 无位姿约束线激光单目视觉三维测量传感器参数标定方法
CN103278139A (zh) * 2013-05-06 2013-09-04 北京航空航天大学 一种可变焦单双目视觉传感装置
CN103335634A (zh) * 2013-06-24 2013-10-02 南京航空航天大学 一种用于部件安装姿态校准的视觉靶板装置及标定方法
CN104596502A (zh) * 2015-01-23 2015-05-06 浙江大学 一种基于cad模型与单目视觉的物体位姿测量方法
CN204694633U (zh) * 2015-04-17 2015-10-07 西安电子科技大学 用于红外成像测量的外场测试靶板
CN209357119U (zh) * 2018-11-26 2019-09-06 陕西远航光电有限责任公司 一种基于主动视觉的空间位姿测量系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种并联机器人双目主动视觉监测平台避障方法的研究;孔令富等;燕山大学学报;5-9 *
基于单目视觉的空间定位算法;赵天云等;西北工业大学学报;54-58 *

Also Published As

Publication number Publication date
CN109308722A (zh) 2019-02-05

Similar Documents

Publication Publication Date Title
CN109308722B (zh) 一种基于主动视觉的空间位姿测量系统及方法
Hodan et al. T-LESS: An RGB-D dataset for 6D pose estimation of texture-less objects
CN113643378B (zh) 多相机环境中主动式刚体的位姿定位方法及相关设备
CN110068270B (zh) 一种基于多线结构光图像识别的单目视觉箱体体积测量方法
CN111009007B (zh) 一种指部多特征全面三维重建方法
CN111640157B (zh) 一种基于神经网络的棋盘格角点检测方法及其应用
Treible et al. Cats: A color and thermal stereo benchmark
Song et al. Survey on camera calibration technique
Liu et al. A multispectral 3-D vision system for invertebrate detection on crops
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
Cvišić et al. Recalibrating the KITTI dataset camera setup for improved odometry accuracy
CN112184793B (zh) 深度数据的处理方法、装置及可读存储介质
McKeon et al. Three-dimensional facial imaging using a static light screen (SLS) and a dynamic subject
CN110648362A (zh) 一种双目立体视觉的羽毛球定位识别与姿态计算方法
Han et al. Target positioning method in binocular vision manipulator control based on improved canny operator
CN111738971B (zh) 一种基于线激光双目立体视觉的电路板立体扫描检测方法
CN110909571B (zh) 一种高精度面部识别空间定位方法
CN110838146A (zh) 一种共面交比约束的同名点匹配方法、系统、装置及介质
CN114266823A (zh) 一种结合SuperPoint网络特征提取的单目SLAM方法
CN111429571B (zh) 一种基于时空图像信息联合相关的快速立体匹配方法
Xiao et al. A new three-dimensional laser scanner design and its performance analysis
CN112070844A (zh) 结构光系统的校准方法及装置、校准工具图、设备及介质
Cociaş et al. Multiple-superquadrics based object surface estimation for grasping in service robotics
Li et al. Extrinsic calibration of non-overlapping multi-camera system with high precision using circular encoded point ruler
CN114241059B (zh) 一种光度立体视觉系统中相机和光源的同步标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant