CN109727291B - 一种变焦距摄像机的高精度在线标定方法 - Google Patents

一种变焦距摄像机的高精度在线标定方法 Download PDF

Info

Publication number
CN109727291B
CN109727291B CN201811620092.8A CN201811620092A CN109727291B CN 109727291 B CN109727291 B CN 109727291B CN 201811620092 A CN201811620092 A CN 201811620092A CN 109727291 B CN109727291 B CN 109727291B
Authority
CN
China
Prior art keywords
image
camera
point
target
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811620092.8A
Other languages
English (en)
Other versions
CN109727291A (zh
Inventor
刘震
李若铭
阎峰
任一鸣
胡杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201811620092.8A priority Critical patent/CN109727291B/zh
Publication of CN109727291A publication Critical patent/CN109727291A/zh
Application granted granted Critical
Publication of CN109727291B publication Critical patent/CN109727291B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种变焦距摄像机的高精度在线标定方法,包括:设计一套与使用变焦或液体镜头的工业摄像机相配合的旋转式靶标装置,使得调整视场后的变焦或液体镜头采集到每次装置内圆点靶标旋转到镜头前方的图像,获得近距采集到失焦图像的亚像素级图像特征点;基于图像特征点的位置计算摄像机的内参初值和已标定好的特定电压下的摄像机内参值作为优化初值,基于图像特征点的不确定度和考虑图像误差的透视投影模型,以反投影误差和靶标平面的投影点误差为优化目标,对摄像机内参值和图像特征点的位置进行非线性优化。以上方法的各步骤均可在线由服务器远程控制。本发明适用于变焦或液体镜头常用的视场需频繁变动的环境,尤其针对于大视场下不方便频繁的标定的情况。

Description

一种变焦距摄像机的高精度在线标定方法
技术领域
本发明涉及传感器标定技术,具体涉及一种变焦距摄像机的高精度在线标定方法。
背景技术
摄像机是计算机视觉领域最重要的核心部件,摄像机标定对计算机视觉系统具有重要作用。现有摄像机标定方法需要靶标放置在摄像机聚焦空间内保证获取清晰的靶标图像,且需要在图像中占较大面积,同时靶标摆放位置需要有较大的角度变化,这样才可以获取高精度的摄像机标定结果。但对包括以鱼眼和反射折射相机为代表的大视场摄像机来说,在摄像机聚焦空间内的高精度中小靶标在图像中所占面积较小,而大靶标精度低且加工困难,搬运和摆放都极为不方便;对于长焦、浅景深摄像机来说,摄像机聚焦空间内靶标摆放角度可变化的范围很小,容易出现图像模糊现象,导致摄像机标定精度下降。
当前摄像机标定的方法有很多,一般分为平面靶标以及其他特型靶标对单目相机的标定,双目传感器的姿态标定,以及结构光视觉传感器的光平面标定几个主要种类。这其中,单目相机标定是最重要的基础,围绕单目相机标定,一般通过使用靶标不同,有棋盘格,圆点靶标,圆柱靶标,球形靶标等不同有不同的技术,当前主流的方法为张提出的基于棋盘格靶标的标定技术。这些年,针对不同的任务需求,多种特殊的镜头被发明了出来,其中变焦或液体镜头以其便捷的聚焦空间调整手段越来越应用于各个工业领域。变焦或液体镜头通过外接电压调整内部两不同液面间的接触曲率完成对定焦范围的调节,从而可以有效的适用于需要频繁改变聚焦空间的视频监控任务。近些年,基于摄像机标定和图像处理的发展,仅仅视频监控的任务逐渐发展到对实际空间探测的任务,从而对变焦或液体镜头的参数获取带来了需求。然而,频繁变换的聚焦空间,对应了高频率的标定任务,而一些大视场的情况,也对每次标定的难度有很大的考验,近些年,一些研究集中于通过对失焦图像进行标定,意在解决这些问题,不过在精度上都难以有上佳表现。部分图像特征点提取准确的方法在最后的标定结果上的精度也难以信赖。都无法解决由变焦或液体镜头带来的在线标定问题。
发明内容
本发明技术解决问题:克服现有技术的不足,提供一种变焦距摄像机的高精度在线标定方法,能够实现对液体靶标在调节聚焦空间后的在线标定,并给出可以信赖标定结果。
为达到上述目的,本发明的技术方案是这样实现的:
本发明的一种变焦距摄像机的高精度在线标定方法,包括:
a、利用配合摄像机的旋转式靶标装置,将变焦或液体镜头装载在摄像机上,可以通过远程服务器在线完成变焦或液体镜头定焦范围的调节,所述的旋转式靶标装置能够在变焦或液体镜头调焦后自动旋转一周,使旋转式靶装置内的多个圆点靶标依次通过摄像机前方,使得摄像机能够在线采集到贴近镜头的不同姿态的圆点靶标的失焦图像,通过这些图像去完成后续步骤摄像机内参值的标定。以上操作都可以保障通过远程手段调焦从而实现在线标定图像采集;
b、对a中采集到的圆点靶标的失焦图像,建立圆点靶标在摄像机的失焦位置处的图像特征点的灰度分布模型,根据该灰度分布模型,计算提取采集到的靶标在失焦位置的亚像素级图像特征点,即圆点图像中心定位点,作为标定的输入参数;
c、基于透视投影变换和图像噪声,建立有图像噪声的靶标点和图像特征点的对应方程,根据b中提取到的图像特征点,求解出点在图像噪声影响下的可能分布区域,定义为图像特征点的不确定度;
d、根据c中获得的图像特征点的位置计算摄像机的内参初值,结合在离线情况下提前对摄像机搭载的变焦或液体镜头对应不同电压下的摄像机内参值的标定结果,基于c中获得的图像特征点的不确定度对摄像机内参值和图像特征点的位置进行优化,求得优化后的优化结果,所述优化结果包括摄像机内参值以及图像特征点优化后的坐标。由于考虑到了图像噪声的影响,依据优化后的图像特征点的位置通过张方法进行标定,可得到高精度的标定结果;
步骤a中所述的旋转式靶标装置能够在变焦或液体镜头调焦后自动旋转一周,使装置内的多个圆点靶标依次通过摄像机前方,使得摄像机能够在线采集到贴近镜头的不同姿态的靶标图像的实现步骤如下:
(1)旋转式靶标装置为一个圆形空心壳体,空心壳体上有一个通透空洞,空心壳体内中有5个不同姿态的圆点靶标,以及一个背光装置;5个圆点靶标安置在带有电机的转盘上,转盘受电机驱动进行旋转;旋转式靶标装置位于变焦或液体镜头前方,接近于摄像机的视场应该存在的距离,空心壳体上的通透空洞正对摄像机上的变焦或液体镜头,圆点靶标在旋转时会依次通过孔洞,并且在圆点靶标通过时,背光装置也会相应的旋转到靶标的背后,作为光源;旋转式靶标装置还有一套配合的控制系统,布置在服务器,保证与摄像机的配合,实现在线图像采集;
(2)在变焦或液体镜头调整视场后,通过服务器上的控制系统控制旋转式靶标装置的电机转动,带着转盘及转盘上的靶标转动一周,并在旋转式靶标装置内的圆点靶标依次通过变焦或液体镜头前方时,依次停留,并发送信号给摄像机令摄像机采集圆点靶标的失焦图像,采集到的图像传输到服务器,用于后续步骤的摄像机标定。
步骤b中对采集到的圆点靶标的失焦图像中亚像素级图像特征点,即圆点中心定位点提取的实现步骤如下:
(1)首先通过在采集到的靶标图像中点选四个角落点结合靶标平面上特征点的排列,得到图像特征点的分布区域;
(2)通过在每一个图像特征点的分布区域内查找,找到目标图像特征点的邻域内像素级图像特征点位置;
(3)以得到的像素级图像特征点的位置,对采集到的靶标图像通过灰度分布进行泰勒展开,找到实际的一维灰度分布极值点,从而完成亚像素级图像特征点,即圆点图像中心定位点的定位。
步骤c中基于透视投影变换和图像噪声,建立有图像噪声的靶标点和图像特征点的对应方程并求解出图像特征点在图像噪声影响下的可能分布区域的实现步骤如下:
(1)建立摄像机透视投影变化的模型,确定靶标点通过透视投影变换以及摄像机镜头畸变下的投影过程;
(2)对图像特征点透视投影后的位置增加对图像噪声下影响的考虑,确定加入图像噪声模型后的图像特征点的分布范围;
(3)在上述摄像机透视投影变化的模型和图像噪声模型的作用下,根据采集到的靶标图像,以及步骤b中提取到的亚像素级图像特征点的位置,求解出每个图像特征点对应的图像噪声影响下的图像特征点的可能分布区域,即为图像特征点的不确定度。
步骤d中基于步骤c中获得的图像特征点的不确定度对摄像机内参值和图像特征点的位置进行优化,并求出优化结果所述优化结果包括摄像机内参值以及图像特征点优化后的坐标的实现步骤如下:
(1)根据步骤c中的获取到的图像特征点的位置,通过传统标定进行摄像机内参值的标定,并将其作为内参初值;
(2)在旋转式靶标装置离线状态时,提前对摄像机进行内参值的标定,在变焦或液体镜头电压每次调整下,记录对应的摄像机内参值的大小。根据之前记录的结果,以当前电压值查找相应摄像机内参值,作为参考内参值;
(3)通过图像特征点以及靶标点,建立每张图片的单应矩阵;
(4)以单应矩阵和图像特征点的位置作为被优化参数,以图像反投影误差和靶标平面点的正透视投影误差作为优化目标,以步骤c所述的计算出的每个图像特征点的不确定度作为约束,进行非线性优化,以优化后的图像特征点位置作为新的图像特征点的位置,利用新的图像特征点通过张方法标定出的摄像机内参值。
本发明与现有技术相比得优点在于:本发明提出了一个通过旋转式靶标装置对使用变焦或液体镜头的摄像机进行在线标定的新方法,由于变焦或液体镜头的调焦控制,以及旋转式靶标装置在标定过程中的旋转都可以通过远端控制来进行,使得摄像机可以进行在线标定。该方法今需在变焦或液体镜头调整定焦区域后通过与远程遥控旋转式靶标装置进行旋转并控制摄像机采集对应的靶标图像,通过采集到的图像完成对镜头变换后摄像机内部参数的标定,从而可以将旋转式靶标装置安置与变焦或液体镜头的前方,从而该方法可以适合与大视场远距离的难以进行常规标定操作的标定任务,以及需要频繁更换聚焦空间的多次标定任务。同样,由于对图像噪声模型的考虑,标定的精度较传统方法下对失焦图像的标定拥有更高的精度,可以给出值得信赖的标定结果。进一步,整个旋转式靶标对镜头的贴近,整个标定过程所需要的靶标尺寸相对较小,更容易实现高精度靶标的加工,对标定方法精度有进一步的保障。本发明尤其适合于一些难以进行近距离调节镜头得任务需求,且高精度的标定也保障了后续多种基于计算机视觉任务得实现。
附图说明
图1为本发明一种变焦距摄像机的高精度在线标定方法流程图;
图2为本发明的旋转式靶标装置与摄像机的配合效果图;
图3为摄像机透视投影、畸变与图像噪声三模型示意图;
图4为本发明标定过程详细流程图,主要包括摄像机光圈、曝光调整、图像采集、图像特征点不确定度计算,非线性优化,得到摄像机参数;
图5为图像噪声点和理想图像特征点的示意图以及求解出的不确定区域的范围。
具体实施方式
本发明的基本思想是通过优化得到图像点定位偏差,利用优化后的图像特征点位置获得高精度的结果。这个方法可以有效应对由于近距离导致得失焦对图像噪声得放大作用,和对进一步内参标定结果得影响。
下面以一个使用了变焦或液体镜头的摄像机以及设计的旋转靶标装置配合为例,对本发明作进一步详细说明。
如图1所示:本发明基于旋转式靶标的变焦或液体镜头在线标定方法主要包括以下步骤:
步骤11:图2中1是使用变焦或液体镜头的摄像机;2是配套的旋转式靶标装置壳体;3是壳体上供摄像机标定和采集图像的通光空洞;4为内部靶标提供光源的发光板;5是内部的高精度玻璃靶标;6为靶标所在转盘提供动力的电机。开关在远端服务器上在变焦或液体镜头调焦后,远程控制旋转标定装置进行旋转一周,旋转装置每个小靶标通过镜头前方时都会进行短暂停留,供摄像机采集图片。靶标都选用带有背光的1mm×1mm,2mm×2mm大小,10×10数量的高精度靶标(0.001mm),旋转式靶标提前根据镜头焦距调整其相对位置,保障每个靶标通过镜头前方时占据成像平面60%-70%的大小,每个靶标提前安放,保证通过镜头前方时有不同的角度。
步骤12:对摄像机提前调整合适曝光时间,保障靶标特征可辨识即可,相应的失焦影响大小和图像噪声大小不需要精确确定,通过远程控制柜配合靶标停止于镜头前方时发出的采集脉冲,采集到每张靶标通过镜头前方的图像。
步骤13:如图5所示,P点为采集到的靶标在失焦位置的亚像素级图像特征点,σr表示图像特征点的可能分布区域,即图像特征点的不确定度。建立图像特征点定位以及其不确定度求解所需的分离了图像噪声以及畸变的透视投影模型,定位图像特征点,并求解不确定度,具体包括以下步骤:
步骤131:提取拍摄光点图像的光点中心为图像特征点,光点的提取方法如下:
图像中椭圆光斑的像素分布可以近似的看作高斯分布,因此可以用高斯曲面对其灰度分布进行拟合二维高斯曲面函数表示为:
Figure GDA0002653483200000051
A为比例系数,是定义整个高斯灰度分布的幅值大小,即高斯灰度分布的幅值,与光斑的亮度正比例相关。(x,y)为椭圆光斑的点坐标值,(x0,y0)为高斯函数的理想中心,σx,σy分别对应两个理想中心的标准差,ρ为两个方向的相关系数。通过最小二乘法即可根据跟定的灰度分布,计算出高斯函数的中心,也即是所需要的光点中心的亚像素坐标。
步骤132:对提取到的图像特征点以及其邻域内的像素点灰度分布进行建模分析,求解出图像特征点的不确定度。
首先分析图像特征点周围图像信息,依据图像特征点中心坐标求解模型求出其中心点定位不确定度。设Ouv为图像坐标系,其中,u为图像坐标系横轴,v为图像坐标系纵轴,P为靶标特征点在Ouv下图像点,靶标特征点实际成像过程可表示为I(u,v)=f(u,v)+n(u,v),其中f(u,v)为空间特征点经过镜头失焦模糊后的理想图像,n(u,v)为均值为0,方差为
Figure GDA0002653483200000052
的图像噪声,I(u,v)为理想图像灰度曲线。以圆点图像为例,目前图像特征点提取方法已有多名学者研究。
这里使用多尺度方法完成亚像素级图像特征点的提取,首先通过多尺度计算光点局部区域的形状算子,选取绝对值最大的正极值对应的高斯核作为最佳尺度因子。其中,经过γ归一化后在任意点(u,v)处的算子C的表达式:
Figure GDA0002653483200000061
其中,
Figure GDA00026534832000000615
为相应的高斯卷积模板的卷积核,γ为坐标规范化变换。ruu(u,v),rvv(u,v),ruv(u,v)为图像在任意点(u,v)处的Hessian矩阵中的元素;
Figure GDA0002653483200000062
然后通过计算归一化算子C得出最佳尺度因子,其可表示为,
Figure GDA0002653483200000063
从而得到对应高斯卷积核σg下提取到的像素级图像特征点
Figure GDA0002653483200000064
进一步完成亚像素级的圆点中心点坐标求解,设p=(u0,v0)为得到的亚像素级图像特征点坐标。以无图像噪声图像下的理想定位点(0,0)为坐标原点,u、v为坐标轴建立O-st坐标系,其中s为图像坐标系横轴,t为图像坐标系纵轴,设待求点p的坐标为(s0,t0)。从而该点在卷积后的灰度值
Figure GDA0002653483200000065
可以通过在(0,0)处的二阶泰勒展开式表示,即
Figure GDA0002653483200000066
其中,
Figure GDA0002653483200000067
为新的坐标系下I(s,t)经过方差为σg,中心为0的高斯核卷积后在(0,0)处的灰度值,
Figure GDA0002653483200000068
分别为其对s和t在(0,0)处的一阶偏导数,
Figure GDA0002653483200000069
分别为其对s和t在(0,0)处的二阶偏导数。由上文知,
Figure GDA00026534832000000610
分别可分解为
Figure GDA00026534832000000611
Figure GDA00026534832000000612
其中fss,fst,ftt分别为理想图像经过卷积后的二阶偏导,nss,nst,ntt分别为图像噪声卷积后的二阶偏导,由(s0,t0)的性质可知式(5)在图像特征点中心处相对于s、t处的一阶导数为零,由此可得图像特征点的精确位置,
Figure GDA00026534832000000613
由于光点在理想图像中的分布f(s,t)可以表示为
Figure GDA00026534832000000614
其中,σw为高斯核,M为高斯分布的尺度因子,
Figure GDA0002653483200000071
为最大灰度值。满足fs(0,0)=0,fs(0,0)为理想图像经过高斯卷积后在(0,0)处对s的一阶偏导,且nss(0,0)<<fss(0,0),可认为nss(0,0)=ntt(0,0)=0。同时对于理想图像满足fss(0,0)=ftt(0,0)且fst(0,0)=0。则式(6)可化简为,
Figure GDA0002653483200000072
给定ns(0,0)=nt(0,0),且其对应的图像噪声的方差
Figure GDA0002653483200000073
为,
Figure GDA0002653483200000074
其中,σg为相应的高斯卷积模板的卷积核。由上式得中心点定位方差
Figure GDA0002653483200000075
为,
Figure GDA0002653483200000076
其中,图像噪声的方差
Figure GDA0002653483200000077
fss为理想图像经过卷积后在(0,0)处对s的二阶偏导。显然,各个方向的不确定度相同,通过对之前的式子进行卷积,有
Figure GDA0002653483200000078
其中,K为光点高斯分布的最大灰度值,σw为高斯核,σg为相应的高斯卷积模板的卷积核,图像噪声的方差
Figure GDA0002653483200000079
从而中心点坐标的定位方差
Figure GDA00026534832000000710
可以表示为:
Figure GDA00026534832000000711
根据上文提到的多尺度提取图像特征点中心方法,选取的σg是能够使得保证理想点定位处的C值最大,所以有σ=σw。带入式(11),中心点坐标定位方差
Figure GDA00026534832000000712
可以写为:
Figure GDA00026534832000000713
这样可以避免求解实际图像不精确的σw值,保证实际得到的不确定区域仅仅与信号和图像噪声等级相关。实际标定中,实际获得光点图像的灰度分布为I(s,t),经过滤波去噪后的图像定义为
Figure GDA00026534832000000714
I(s,t)与
Figure GDA00026534832000000715
相减为图像噪声数据n(s,t)。对比分析均值滤波,高斯滤波,维纳滤波、快速非局部滤波等现有成熟图像滤波方法后,本发明选用均值滤波方法计算图像噪声n(s,t)。其中
Figure GDA0002653483200000081
为图像噪声n(s,t)的方差,K为
Figure GDA0002653483200000082
中灰度最大值。不失一般性,点p的不确定度即为(0,0)处的不确定度,可以通过p处的信噪比完成不确定度范围的求解。
步骤14:分离摄像机成像过程中的透视投影与畸变模型,以靶标特征点不确定度为约束,进行非线性优化,得到每个图像特征点定位偏差。
步骤141:如图3所示,是摄像机透视投影过程示意图,图3中点Pi是靶标上的实际空间点坐标。设Ocxcyczc与Owxwywzw分别是摄像机坐标系与世界坐标系,Ouv为图像坐标系。空间点P在世界坐标系下的三维点坐标为q=[x,y,z,1]T。pu=[uu,vu,1]T,pd=[ud,vd,1]T与pn=[un,vn,1]T分别为空间点P经过摄像机镜头透视投影之后在图像坐标系下无畸变、有畸变与添加图像噪声后图像点的齐次坐标。A为摄像机的内部参数,R和t为靶标相对于摄像机的外部参数。fd是对点P的适当的径向比例因子,(fx,fy,u0,v0,k1,k2)为摄像机的内部参数。
Figure GDA0002653483200000083
为图像噪声的相应高斯分布函数,
Figure GDA0002653483200000084
Figure GDA0002653483200000085
为高斯分布的标准差,±3σN为增加图像噪声后最有可能分布的范围,σN为图像噪声的不确定度。
由图3可以看出,空间点P的摄像机透视投影可分为三个阶段,第一个阶段是针孔成像阶段,是P→pu的阶段;第二个阶段为镜头畸变阶段,是pu→pd的阶段;第三个阶段是图像噪声干扰阶段,是pd→pn的阶段。
第一个阶段是P→pu的过程,满足如式(13)的针孔成像模型;
Figure GDA0002653483200000086
其中ρ为常数。K为摄像机内参矩阵。fx,fy为u轴和v轴的尺度因子。u0、v0为主点坐标。参数γ是图像轴的不垂直因子。R=[r1 r2 r3]与t分别是旋转矩阵和平移向量。ri为旋转矩阵中对应的第i列。
如果空间点P为平面靶标上特征点时,P点在靶标坐标系下Z方向分量为0,则式(13)可简化为:
Figure GDA0002653483200000087
其中,H为靶标平面和图像平面之间的单应矩阵。
第二个阶段是pu→pd的过程,满足式(15);
Figure GDA0002653483200000097
其中,k1,k2为径向畸变系数,r为对应的半径。两阶径向畸变已经足够精确地描述镜头畸变,在实际标定时,可根据实际使用要求采用多阶径向畸变和切向畸变来描述镜头畸变。
第三个阶段是pd→pn的阶段。设由于图像噪声等原因导致的图像特征点定位偏差为Δu,Δv,则:
Figure GDA0002653483200000091
常识可知图像噪声满足均值为零方差为的高斯分布,因此受图像噪声导致的Δu,Δv也满足高斯分布,该高斯分布的均值为零,方差为σ。根据高斯分布的特点,Δu,Δv有98%的概率在±3σ范围内。
步骤142:基于步骤13中的图像特征点定位不确定度与步骤141的三阶段成像模型,以无畸变图像点平面到靶标平面之间单应矩阵映射为桥梁,构造图像投影点误差和图像反投影点误差等为目标函数,进行非线性优化,最终得到每个图像特征点定位偏差。
首先根据点的对应关系求解点集之间的单应矩阵Hi,在靶标的第i个摆放位置,设靶标第j个点在靶标坐标系和图像坐标系下的齐次坐标分别为qj=[xj,yj,1]T
Figure GDA0002653483200000092
pij通过式(17)(18)计算出pu(ij),pu(ij)与qj=[xj,yj,1]T通过式(14)求解Hi矩阵,其中式(16)中图像特征点定位偏差Δuij,Δvij的初值为0.
然后构造由于优化的目标函数,根据Hi矩阵,qj通过式(14)(15)(16)得到靶标第j个特征点在图像坐标系下投影点的齐次坐标pn(ij)。以pij与pn(ij)之间距离最小和各自所有图像点中心距离最小为约束建立第一个目标函数e1如下:
Figure GDA0002653483200000093
其中Dist(A,B)表示点A与B的距离,M是靶标摆放的位置数,N是靶标图像的数量。
通过式(14)(15)(16)计算pij在靶标坐标系下投影点的齐次坐标
Figure GDA0002653483200000094
以qj
Figure GDA0002653483200000095
之间距离最小和所有靶标点中心和所有投影点中心之间距离最小为目标函数建立第二个目标函数e2如下:.
Figure GDA0002653483200000096
联合两个目标函数可得:
E(a)=e1+e2 (19)
对给定的目标函数以及优化目标增加优化约束针对Δuij,Δvij加入了优化范围约束,如式(20):
Figure GDA0002653483200000101
这里
Figure GDA0002653483200000102
σu(ij)和σv(ij)为靶标第i个摆放位置处第j个点在图像中特征点定位不确定度,可在步骤13中求解出来。n是非零比例系数,此处设n=9。
结合如式的9个约束条件,针对优化目标函数,采用Levenberg-Marquardt算法得到最优解(Δuij,Δvij,fx,fy,γ,u0,v0,k1,k2)。
步骤15:基于步骤14计算的(Δuij,Δvij)通过式(23)计算经过图像特征点定位偏差补偿的靶标特征点图像齐次坐标
Figure GDA0002653483200000103
Figure GDA0002653483200000104
的关系如下:
Figure GDA0002653483200000105
其中,Δuij,Δvij为图像特征点定位偏差,根据优化后的图像特征点的位置通过张方法进行标定,得到高精度的标定结果。

Claims (5)

1.一种变焦距摄像机的高精度在线标定方法,其特征在于,包括以下步骤:
步骤a、将变焦或液体镜头装载在摄像机上,利用配合摄像机的旋转式靶标装置,通过远程服务器在线完成变焦或液体镜头定焦范围的调节,所述旋转式靶标装置在变焦或液体镜头调焦后自动旋转一周,使旋转式靶标装置内的多个圆点靶标依次通过摄像机前方,使得摄像机能够在线采集到贴近镜头的不同姿态的圆点靶标的失焦图像,即靶标图像,通过所述靶标图像完成后续步骤摄像机内参值的标定,以上操作通过远程手段调焦从而实现在线标定图像采集;
步骤b、对步骤a中采集到的圆点靶标的失焦图像,建立圆点靶标在摄像机的失焦位置处的图像特征点的灰度分布模型,根据所述灰度分布模型,计算提取采集到的靶标在失焦位置的亚像素级图像特征点,即圆点图像中心定位点,作为标定的输入参数;
步骤c、基于透视投影变换和图像噪声,建立有图像噪声的靶标点和图像特征点的对应方程,根据步骤b中提取到的图像特征点,求解出图像特征点在图像噪声影响下的可能分布区域,定义为图像特征点的不确定度;
步骤d、根据图像特征点的位置计算摄像机的内参初值,结合在离线情况下提前对摄像机搭载的变焦或液体镜头对应不同电压下的摄像机内参值的标定结果,基于步骤c中获得的图像特征点的不确定度,对摄像机内参值和图像特征点的位置进行优化,求得优化后的优化结果,所述优化结果包括摄像机内参值以及图像特征点优化后的坐标;由于考虑到了图像噪声的影响,将优化后的图像特征点的位置通过张方法进行标定,得到高精度的标定结果。
2.根据权利要求1所述的一种变焦距摄像机的高精度在线标定方法,其特征在于:步骤a中所述的旋转式靶标装置能够在变焦或液体镜头调焦后自动旋转一周,使旋转式靶标装置内的多个圆点靶标依次通过摄像机前方,使得摄像机能够在线采集到贴近镜头的不同姿态的圆点靶标的失焦图像的实现步骤如下:
(1)旋转式靶标装置为一个圆形空心壳体,空心壳体上有一个通透空洞,空心壳体内中有5个不同姿态的圆点靶标,以及一个背光装置;5个圆点靶标安置在带有电机的转盘上,转盘受电机驱动进行旋转;旋转式靶标装置位于变焦或液体镜头前方,接近于摄像机的视场应该存在的距离,空心壳体上的通透空洞正对摄像机上的变焦或液体镜头,圆点靶标在旋转时会依次通过孔洞,并且在圆点靶标通过时,背光装置也会相应的旋转到靶标的背后,作为光源;旋转式靶标装置还有一套配合的控制系统,布置在服务器,保证与摄像机的配合,实现在线图像采集;
(2)在变焦或液体镜头调整视场后,通过服务器上的控制系统控制旋转式靶标装置的电机转动,带着转盘及转盘上的靶标转动一周,并在旋转式靶标装置内的圆点靶标依次通过变焦或液体镜头前方时,依次停留,并发送信号给摄像机令摄像机采集圆点靶标的失焦图像,采集到的图像传输到服务器,用于后续步骤的摄像机标定。
3. 根据权利要求1所述的一种变焦距摄像机的高精度在线标定方法,其特征在于:步骤b中对采集到的圆点靶标的失焦图像中亚像素级图像特征点,即圆点图像中心定位点提取的实现步骤如下:(1)首先通过在采集到的靶标图像中点选四个角落点结合靶标平面上特征点的排列,得到图像特征点的分布区域;
(2)通过在每一个图像特征点的分布区域内查找,找到目标图像特征点的邻域内像素级图像特征点位置;
(3)以得到的像素级图像特征点的位置,对采集到的靶标图像通过灰度分布进行泰勒展开,找到实际的一维灰度分布极值点,从而完成亚像素级图像特征点,即圆点图像中心定位点的定位。
4.根据权利要求1所述的一种变焦距摄像机的高精度在线标定方法,其特征在于:步骤c中基于透视投影变换和图像噪声,建立有图像噪声的靶标点和图像特征点的对应方程并求解出图像特征点在图像噪声影响下的可能分布区域的实现步骤如下:
(1)建立摄像机透视投影变化的模型,确定靶标点通过透视投影变换以及摄像机镜头畸变下的投影过程;
(2)对图像特征点透视投影后的位置增加对图像噪声下影响的考虑,确定加入图像噪声模型后的图像特征点的分布范围;
(3)在根据步骤(1)摄像机透视投影变化的模型和步骤(2)图像噪声模型的作用下,根据采集到的靶标图像,以及步骤b所述中提取到的亚像素级图像特征点的位置,求解出每个图像特征点对应的图像噪声影响下的图像特征点的可能分布区域,即为图像特征点的不确定度。
5.根据权利要求1所述的一种变焦距摄像机的高精度在线标定方法,其特征在于:步骤d中,基于步骤c中获得的图像特征点的不确定度对摄像机内参值和图像特征点的位置进行优化,并求出优化结果,所述优化结果包括摄像机内参值以及图像特征点优化后的坐标;由于考虑到了图像噪声的影响,依据优化后的图像特征点的位置通过张方法进行标定,得到高精度的标定结果的实现步骤如下:
(1)根据步骤c中的获取到的图像特征点的位置,通过标定进行摄像机内参值的标定,并将此标定后的摄像机内参值作为内参初值;
(2)在旋转式靶标装置离线状态时,提前对摄像机进行内参值的标定,在变焦或液体镜头电压每次调整下,记录对应的摄像机内参值的大小,根据记录的结果,以当前电压值查找相应摄像机内参值,作为参考内参值;
(3)通过图像特征点以及靶标点,建立每张图片的单应矩阵;
(4)以单应矩阵和图像特征点的位置作为被优化参数,以图像反投影误差和靶标平面点的正透视投影误差作为优化目标,以步骤c所述的计算出的每个图像特征点的不确定度作为约束,进行非线性优化,以优化后的图像特征点位置作为新的图像特征点的位置,利用新的图像特征点通过张方法标定出的摄像机内参值。
CN201811620092.8A 2018-12-28 2018-12-28 一种变焦距摄像机的高精度在线标定方法 Active CN109727291B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811620092.8A CN109727291B (zh) 2018-12-28 2018-12-28 一种变焦距摄像机的高精度在线标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811620092.8A CN109727291B (zh) 2018-12-28 2018-12-28 一种变焦距摄像机的高精度在线标定方法

Publications (2)

Publication Number Publication Date
CN109727291A CN109727291A (zh) 2019-05-07
CN109727291B true CN109727291B (zh) 2020-10-23

Family

ID=66297412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811620092.8A Active CN109727291B (zh) 2018-12-28 2018-12-28 一种变焦距摄像机的高精度在线标定方法

Country Status (1)

Country Link
CN (1) CN109727291B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639618B (zh) * 2020-06-08 2021-04-06 中国石油大学(华东) 一种全极化sar影像变化区域精确提取方法
CN114619443B (zh) * 2020-12-14 2023-07-21 苏州大学 机器人主动安全系统
CN113643381B (zh) * 2021-08-17 2024-03-22 安徽农业大学 一种可变焦液态镜头的标定方法
CN113781581B (zh) * 2021-09-14 2023-09-01 中国石油大学(华东) 基于靶标松姿态约束的景深畸变模型标定方法
CN114299167B (zh) * 2022-03-11 2022-07-26 杭州灵西机器人智能科技有限公司 一种变焦镜头的单目标定方法、系统、装置和介质
CN114758011B (zh) * 2022-04-13 2023-02-17 南京航空航天大学 融合离线标定结果的变焦相机在线标定方法
CN116645427B (zh) * 2023-07-26 2023-10-20 立臻科技(昆山)有限公司 一种摄像头及其的光学中心校正方法、装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101286235A (zh) * 2008-06-10 2008-10-15 北京航空航天大学 一种基于柔性立体靶标的摄像机标定方法
CN102768767A (zh) * 2012-08-06 2012-11-07 中国科学院自动化研究所 刚体在线三维重建与定位的方法
CN104167001A (zh) * 2014-08-27 2014-11-26 大连理工大学 基于正交补偿的大视场摄像机标定方法
CN104835159A (zh) * 2015-05-07 2015-08-12 中国科学院长春光学精密机械与物理研究所 用于连续变焦距光学成像系统的数字图像校正方法
CN107014312A (zh) * 2017-04-25 2017-08-04 西安交通大学 一种振镜式线激光扫描三维测量系统的整体标定方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8238648B2 (en) * 2006-12-04 2012-08-07 Electronics And Telecommunications Research Institute Apparatus and method for estimating focal length of camera
US8405720B2 (en) * 2008-08-08 2013-03-26 Objectvideo, Inc. Automatic calibration of PTZ camera system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101286235A (zh) * 2008-06-10 2008-10-15 北京航空航天大学 一种基于柔性立体靶标的摄像机标定方法
CN102768767A (zh) * 2012-08-06 2012-11-07 中国科学院自动化研究所 刚体在线三维重建与定位的方法
CN104167001A (zh) * 2014-08-27 2014-11-26 大连理工大学 基于正交补偿的大视场摄像机标定方法
CN104835159A (zh) * 2015-05-07 2015-08-12 中国科学院长春光学精密机械与物理研究所 用于连续变焦距光学成像系统的数字图像校正方法
CN107014312A (zh) * 2017-04-25 2017-08-04 西安交通大学 一种振镜式线激光扫描三维测量系统的整体标定方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
High-accuracy calibration of low-cost camera using image disturbance factor;Zhen Liu et al;《Optics Express》;20160930;第24卷(第21期);第24321-24336页 *
一种基于实心圆靶标的立体视觉系统标定方法;单宝华 等;《光学学报》;20160930;第36卷(第9期);第1-10页 *
基于一维靶标的多摄像机现场全局校准;刘震 等;《机械工程学报》;20090430;第45卷(第4期);第161-165页 *

Also Published As

Publication number Publication date
CN109727291A (zh) 2019-05-07

Similar Documents

Publication Publication Date Title
CN109727291B (zh) 一种变焦距摄像机的高精度在线标定方法
CN108717715B (zh) 一种用于弧焊机器人的线结构光视觉系统自动标定方法
US8934721B2 (en) Microscopic vision measurement method based on adaptive positioning of camera coordinate frame
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
CN109029299B (zh) 舱段销孔对接转角的双相机测量装置及测量方法
WO2012053521A1 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
CN112985293B (zh) 一种单像机双球面镜镜像双目视觉测量系统和测量方法
CN111028205B (zh) 一种基于双目测距的眼睛瞳孔定位方法及装置
CN102567989A (zh) 基于双目立体视觉的空间定位方法
CN109976391B (zh) 光学聚焦镜头的焦点感光元件三维空间视觉伺服定位系统及方法
CN102810205A (zh) 一种摄像或照相装置的标定方法
CN109974618B (zh) 多传感器视觉测量系统的全局标定方法
CN110044262B (zh) 基于图像超分辨率重建的非接触式精密测量仪及测量方法
US9990739B1 (en) Method and device for fisheye camera automatic calibration
CN104089628A (zh) 光场相机的自适应几何定标方法
CN112907683A (zh) 一种点胶平台的相机标定方法、装置及相关设备
CN113947638B (zh) 鱼眼相机影像正射纠正方法
CN109945792A (zh) 一种高反光圆柱体的直径测量方法、装置以及使用方法
CN113793266A (zh) 一种多目机器视觉图像拼接方法、系统及存储介质
CN114001651A (zh) 一种基于双目视觉测量和先验检测数据的大型细长筒类构件位姿原位测量方法
CN109754435B (zh) 一种基于小靶标模糊图像的摄像机在线标定方法
CN113838150B (zh) 一种基于电液可调焦镜头的移动目标三维轨迹追踪方法
CN116625258A (zh) 链条间距测量系统及链条间距测量方法
CN117197241B (zh) 一种基于多目视觉的机器人末端绝对位姿高精度跟踪方法
CN114659523A (zh) 一种大范围高精度姿态测量方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant