CN108648241A - 一种ptz摄像机现场标定及定焦方法 - Google Patents
一种ptz摄像机现场标定及定焦方法 Download PDFInfo
- Publication number
- CN108648241A CN108648241A CN201810476150.8A CN201810476150A CN108648241A CN 108648241 A CN108648241 A CN 108648241A CN 201810476150 A CN201810476150 A CN 201810476150A CN 108648241 A CN108648241 A CN 108648241A
- Authority
- CN
- China
- Prior art keywords
- image
- datum mark
- distortion
- matrix
- focal length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000000007 visual effect Effects 0.000 claims abstract description 24
- 238000012937 correction Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 104
- 238000005457 optimization Methods 0.000 claims description 27
- 238000005070 sampling Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 2
- 230000004438 eyesight Effects 0.000 abstract description 5
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G06T5/80—
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种PTZ摄像机现场标定及定焦方法,属于计算机视觉与摄像机标定技术领域。所述方法包括步骤一:标定视场基准点选取与测量;步骤二:焦距固定下摄像机标定;步骤三:关键焦距的选取;步骤四:非标定视场基准点自动获取;步骤五:PTZ摄像机在线标定。本发明针对非严格轴对称镜头,设计了能够有效实现对非严格轴对称镜头的畸变校正的方法,由于得到覆盖整个摄像机视场的基准点,因此不仅减少标定工作量,还可以描述镜头不同区域的畸变情况,实现对所有焦距下畸变的有效估计,利用视场中基准点在相机视场中夹角不变性,通过最小二乘法快速确定焦距,并通过插值获得每个点的畸变校正数据。
Description
技术领域
本发明属于计算机视觉与摄像机标定技术领域,特别是涉及一种PTZ摄像机现场标定及定焦方法。
背景技术
PTZ(Pan-Tilt-Zoom,PTZ)摄像机,又叫变焦云台摄像机,能够对焦距、姿态、光圈等进行自动调节与控制,具有灵活、视场范围大、对光照条件适应能力强等特点,因此已经在视频监控、电子安防、机器人导航等各个领域中得到了广泛的应用。PTZ摄像机应用于视觉测量领域,解决了测量视角范围小、视角视向固定等问题,在增加视觉测量系统灵活性的同时,降低了对摄像机数目的要求。
为了提高视觉测量的精度,往往需要使用离线采集的大量数据对摄像机的模型参数进行预先标定。经典的摄像机标定算法,如两步标定法,平面标定法等,主要研究焦距固定情况下的摄像机标定算法。该类方法利用高精度的立体或平面标定设备,借助于线性最小二乘/奇异值分解,以及基于最大似然准则的非线性优化方法,能够达到较为精确的标定结果。但是,由于温度、使用环境、底座震动等因素影响,摄像机参数往往逐渐发生变化,造成实际参数与标定参数偏差较大,从而导致视觉测量精度较低甚至产生错误。
在工作场合下,对于已安装的PTZ摄像机,利用参考标定物进行标定往往非常繁琐,甚至难以实现。为了解决这一问题,通常需要在现场环境下,如公共场所监控等,自主进行摄像机参数标定,完成摄像机自标定。当前主流的摄像机自标定方法主要包括基于Kruppa方程的自标定方法与基于分层逐步标定的自标定方法。分层逐步标定的方法以QR分解法、绝对二次曲面法和模约束法等为代表。然而,上述方法主要适用于焦距固定情况下的摄像机标定,仍然无法解决焦距连续变化的PTZ摄像机的参数标定问题。
针对PTZ监控摄像机标定问题,现有技术已经提出过很多种标定方法,例如,Sinha和Pollefeys提出一种对PTZ摄像机zoom参数进行离散采样标定的方法(参考文献【1】SinhaS N and Pollefeys M.Pan-tilt-zoom Camera Calibration and High-resolutionMosaic Generation.Computer Vision and Image Understanding.2006,103(3):170-183P);Sarkis等人提出利用移动最小二乘来建立摄像机内参函数的方法(参考文献【2】Sarkis M,Senft C and Diepold K.Calibrating an Automatic Zoom Camera WithMoving Least Squares.IEEE Transactions on Automation Science andEngineering.2009,6(3):492-503P);Ashraf和Foroosh等人提出利用无重叠视场的PTZ摄像机自标定方法(参考文献【3】Ashraf N and Foroosh H.Robust Auto-calibration of aPTZ Camera with Non-overlapping FOV.In International Conference on PatternRecognition,Dec.2008:738-748P),在这些已知的方法中,有些是忽略镜头畸变,有些是假设镜头畸变的变化是随着放大倍数的一个线性变化,有些是假设镜头畸变满足畸变模型,然而,对于加工精度不均匀的镜头,镜头畸变并不能用简单畸变模型描述。因此,对于设计一种能够有效应对镜头畸变的方案,是本领域技术人员亟待解决的问题。
发明内容
本发明的目的在于提出一种PTZ摄像机现场标定及定焦方法,能够有效描述镜头非轴对称性下不同部位的畸变,利用基准点在图像中分布的变化自动完成畸变参数标定,并通过关键焦距的选取及插值计算,实现可覆盖相机全焦段的畸变及相机内部参数的标定,减少了标定工作的复杂性,并设计了可依据标定视场内基准点在其他视场自动选择特征点的方法,在实际使用中可根据任意图像快速判定相机焦距,为视觉测量及目标识别提供准确尺度信息。
一种PTZ摄像机现场标定及定焦方法,包括以下几个步骤:
步骤一:标定视场基准点选取与测量;
步骤二:焦距固定下摄像机标定;
步骤三:关键焦距的选取;
步骤四:非标定视场基准点自动获取;
步骤五:PTZ摄像机在线标定。
本发明的优点在于:
(1)本发明针对非严格轴对称镜头,设计了一种基于基准点的镜头畸变校正方法,通过已知的基准点坐标信息,无需采用网格图像,相机转动时基于基准点在图像中位置的变化,自动计算出图像每一像素点的畸变量,能够有效实现对非严格轴对称镜头的畸变校正;
(2)本发明针对PTZ摄像机具有大视场的特点,设计了一种非标定视场基准点自动获取的方法,由标定视场的基准点自动计算得到覆盖整个摄像机视场的基准点,减少标定工作量;
(3)本发明设计了一种适用于非轴对称镜头的畸变描述方法,可描述镜头不同区域的畸变情况;
(4)针对PTZ摄像机焦距可变情况,设计了关键焦距抽取方法,进而可以在插值法基础上利用关键焦距畸变标定数据,实现对所有焦距下畸变的有效估计;
(5)在相机焦距变化情况下,利用视场中基准点在相机视场中夹角不变性,通过最小二乘算法快速确定焦距,并通过插值获得成像平面内每个点的畸变校正数据。
附图说明
图1是本发明的一种PTZ摄像机现场标定及定焦方法流程图;
图2是本发明中基准点的选取示意图;
图3是本发明中基准点遍历方法示意图。
具体实施方式
下面将结合附图和实施例对本发明作进一步的详细说明。
现有PTZ摄像机自主标定方法中,采用多项式畸变模型来拟合镜头畸变,但是对于非严格轴对称的镜头,是无法用简单畸变模型来拟合的。为了解决这一问题,本发明提出一种PTZ摄像机现场标定及定焦方法,能够自动计算畸变图像的内参矩阵以及每一像素点的畸变校正参数,实现镜头畸变的高精度、自动校正。
一种PTZ摄像机现场标定及定焦方法,流程如图1所示,包括以下几个步骤:
步骤一:标定视场基准点选取与测量;
本发明利用已知的基准点信息来进行标定,所以需要确定基准点及其世界坐标,具体方法如下:
1.1:基准点的选取;
在待拍摄的场景范围内找一处图像信息丰富的场景作为标定视场。然后,在PTZ摄像机最小焦距f1下,拍摄标定视场得到图像I0,使用SIFT算法提取图像I0的特征点,在这些特征点中人为挑选出m个特征点作为基准点pi(i=1,…,m),基准点的选取结果如图2所示,图2中外部矩形图样表示图像I0,内部矩形图样dense表示基准点的密集区域,所述密集区域要求图像畸变不明显,本发明要求密集区域dense中的基准点至少在20个以上,以适应PTZ摄像机变焦的情形;图2中黑色的实心点表示前述人为挑选的基准点pi(i=1,…,m),m为大于20的整数。
1.2:保存基准点的特征描述符;
保存基准点的特征描述符descriptorsi(i=1,…,m),当基准点出现在任意一张包含了基准点的新的图像中时,使用SIFT算法提取新的图像中的特征点,将新的图像中的特征点描述符与基准点的特征描述符进行匹配,确定基准点在新的图像中的坐标,所述特征点描述符是SIFT算法给出的128维向量,每一个特征点都可以用一个128维向量表示。
1.3:基准点世界坐标测量;
利用全站仪,定义全站仪坐标系为世界坐标系,测得m个基准点在世界坐标系下的坐标Pi(i=1,…,m)。
步骤二:焦距固定下摄像机标定;
PTZ摄像机是通过多组可调间距的镜头组件来实现变焦功能,通常都有一定的焦距范围,而在焦距范围内的某一固定焦距时,内部镜头组件可认为结构稳定不变,PTZ摄像机可以看作是一个定焦摄像机,此时的PTZ摄像机模型可以用同参数下的静态摄像机模型替代。所以本发明采用针孔模型,模型如下:
fx=f/dx,fy=f/dy
其中,K表示内参矩阵,f为PTZ摄像机焦距范围内的某一固定焦距,fx,fy分别表示固定焦距f沿以像素为单位的图像坐标系中u轴与v轴方向的尺度因子,(u0,v0)表示PTZ摄像机光轴与图像平面的交点在以像素为单位的图像坐标系中的坐标,即图像主点,dx,dy分别表示每一像素沿图像坐标系中u轴与v轴方向的物理尺寸。
本发明利用有限的、已测量的基准点,实现固定焦距f下PTZ摄像机的标定,具体方法如下:
步骤2.1:图像采集;
在固定焦距f下,转动PTZ摄像机,使图像I0中基准点的密集区域dense的基准点能够有效遍历PTZ摄像机图像平面。具体遍历方法为,控制PTZ摄像机作水平旋转运动方向与垂直俯仰运动方向的运动,使基准点的密集区域dense分别出现在PTZ摄像机图像平面上的不同位置,直到覆盖整个PTZ摄像机图像平面,并采集J张图像Ij(j=1,2,…,J),如图3所示,img表示PTZ摄像机图像平面,dense(j)表示图像Ij的图像基准点密集区域,dense(j)在图像平面img中的位置也是dense(j)在图像Ij中的位置。
步骤2.2:内参矩阵K自动获取;
步骤2.2.1:确定参考图像Ire:从采集到的J张图像Ij(j=1,2,…,J)中挑出一幅作为参考图像Ire,该参考图像满足密集区域dense位于参考图像中心处的条件。
步骤2.2.2:计算参考图像Ire的参考投影矩阵Mre:将在参考图像Ire提取到的参考特征点描述符与基准点的特征描述符descriptorsi进行匹配,得到基准点pi在参考图像Ire中的图像坐标所述图像坐标即为基准点在参考图像中的实际值,并已知对应的世界坐标Pi。只需从参考图像Ire中选出离参考图像Ire中心点最近的6个及以上非共面参考基准点,就可以利用直接线性变换(DLT)估计出参考投影矩阵Mre。
步骤2.2.3:计算内参矩阵K:分解参考投影矩阵Mre,可得到内参矩阵K。
步骤2.3:确定固定焦距下任意图像中心区域;
步骤2.3.1:利用参考投影矩阵Mre,由计算出基准点pi在参考图像Ire内的理论值将所述的理论值与所述的实际值的差值作为基准点pi所在像素点的畸变量。
步骤2.3.2:设定第一阈值εd,形成如下所示集合:
其中,集合no-distortion表示畸变量忽略不计的基准点所在像素点的集合;集合distortion表示畸变量不忽略不计的基准点所在像素点的集合。
步骤2.3.3:确定固定焦距下任意图像中心区域center:首先找出集合distortion中离图像主点(u0,v0)最近的基准点所在像素点pmin,基准点所在像素点与图像主点的距离为dmin;然后在以图像主点(u0,v0)为圆心,以dmin为半径的圆形区域内,找出集合no-distortion中离图像主点(u0,v0)最远的基准点所在像素点pmax,基准点所在像素点与图像主点的距离为dmax;最后,畸变量可忽略不计的图像中心区域center为以图像主点(u0,v0)为圆心,以dmax为半径的圆形区域。
步骤2.4:描述摄像机镜头畸变;
本发明采用畸变矩阵D实现镜头畸变的描述,假设图像平面的大小为A*B,建立一个A行B列即A*B的畸变矩阵D,A行B列的图像平面中的每一个元素即为像素,畸变矩阵D中的每个元素存储对应基准点所在像素点的畸变量(Δu,Δv),如下式所示:
其中,图像中心区域center内的像素的畸变量设置为(0,0)。
步骤2.5:优化单应性矩阵;
根据上述步骤2.2,利用特征匹配计算每一张图像Ij与参考图像Ire之间的单应性矩阵Hj,使得xj=Hj*xre,其中xj表示图像Ij中特征点的齐次坐标,xre表示参考图像Ire中对应特征点的齐次坐标。因为单应性矩阵受到图像畸变的影响,求出的单应性矩阵Hj存在较大误差,所以需要进行优化求精,得到最优单应性矩阵
步骤2.5.1:将在图像Ij提取到的图像特征点描述符与基准点特征描述符descriptorsi进行匹配,得到基准点在图像Ij中的图像坐标即为基准点实际值
步骤2.5.2:本发明采用穷举法,在单应性矩阵Hj的邻域内搜索出符合判断条件的最优单应性矩阵优化过程如下:
单应性矩阵Hj作为优化的初值,并分解单应性矩阵Hj求出旋转矩阵Rj,继而分解旋转矩阵Rj求出初始旋转角度,分别为初始偏航角α0,初始俯仰角β0,初始横滚角γ0,如下式所示:
Rj=K-1*Hj*K
将可变偏航角α,可变俯仰角β,可变横滚角γ定义为变量,3个旋转角度变量的取值范围分别定义为:
α∈[α0-ξ,α0+ξ]
β∈[β0-ξ,β0+ξ]
γ∈[γ0-ξ,γ0+ξ]
其中,ξ表示邻域半径。对3个旋转角度变量的取值范围进行等间隔采样,采样间隔为Δ,分别得到采样后的采样偏航角αg1,采样俯仰角βg1,采样横滚角γg1:
αg1=α0±gΔ
βg1=β0±gΔ
γg1=γ0±gΔ
其中,[]表示取整。
对3个旋转角度变量的不同取值依次进行组合,计算出对应的单应性矩阵H,由
求出基准点在图像Ij内的基准点理论值
假设与在图像Ij中的齐次坐标分别为其中, 分别表示在以像素为单位的图像坐标系中u轴与v轴方向的坐标值,分别表示在以像素为单位的图像坐标系中u轴与v轴方向的坐标值。
对于每一个基准点理论值和实际值如果满足判断条件:
则计算差值平方和:
根据以上判断条件在所述邻域内找到所有差值平方和中的最小值,此时的基准点理论值对应的单应性矩阵即为穷举法搜索出的最优单应性矩阵
步骤2.6:估计畸变矩阵D;
根据步骤2.3所确定的图像中心区域、步骤2.4描述的摄像机镜头畸变和步骤2.5优化的单应性矩阵估计畸变矩阵D,利用固定焦距f下采集到的每一幅图像Ij(j=1,2,…,J),对所有基准点所在像素点的畸变量进行计算,并填入畸变矩阵D中,计算如下:
步骤2.6.1:若图像Ij的图像中心区域center内至少存在6个非共面基准点:由图像中心区域center内的基准点,利用DLT算法估计出图像投影矩阵Mj;由计算出基准点在图像Ij内的基准点理论值基准点理论值与基准点实际值的差值作为基准点pi所在像素点的畸变量,并存入畸变矩阵D。
本发明认为由投影矩阵求得的畸变量较精确,无需利用单应性矩阵。
步骤2.6.2:若图像Ij的图像中心区域center内不存在至少6个非共面图像基准点,基准点理论值的计算如下所示:由求出基准点在图像Ij内的基准点理论值并将基准点理论值与基准点实际值的差值存入畸变矩阵D。
步骤2.7:畸变矩阵插值,得到非轴对称相机的畸变描述优化矩阵;
图像平面中,对于基准点出现过的位置,可以有效求出畸变量。但是基准点不能遍历过所有像素点,因此上述过程并不能计算出图像平面中所有像素点的畸变量,即畸变矩阵D中存在空元素。本发明认为经过上述步骤后,求出了已满足本发明需求的像素点畸变量,所以D中为空的元素可以由周围非空元素插值得到。同时,本发明认为对于图像平面中的任意一块小区域,畸变可以用一阶径向畸变模型来描述。具体插值方法为:
步骤2.7.1:假设(u,v)为待估计畸变量的像素点坐标,以(u,v)为圆心,以r1为半径的邻域E内存在若干个已知畸变量的像素点(u's,v's),所选r1满足保证领域E内存在若干个已知畸变量的像素点,利用这些像素点(u's,v's)的畸变量(Δu's,Δv's)拟合出畸变模型,求出模型参数k1、k2,如下式所示:
rs 2=(u's-u0)2+(v's-v0)2
其中,(u0,v0)表示图像主点坐标,可以由内参矩阵K得到,rs表示(u's,v's)距图像主点的径向距离。
步骤2.7.2:用计算出的畸变模型参数估计像素点(u,v)的畸变量(Δu,Δv),并存入畸变矩阵D中的对应位置,如下式所示,同时记插值后的畸变矩阵为非轴对称相机的畸变描述优化矩阵D*:
r2=(u-u0)2+(v-v0)2
其中,r表示像素点(u,v)距图像主点(u0,v0)的径向距离。
步骤三:关键焦距的选取;
若相邻焦距之间可以进行畸变矩阵的线性插值,将这样的焦距定义为关键焦距。将PTZ摄像机镜头焦距的变焦范围划分为若干等分,得到划分后的n个焦距值f1,f2,…,fn,其中f1表示镜头最小焦距,fn表示最大焦距。在每一个焦距值下都可以通过步骤二,计算得到对应的内参矩阵以及畸变描述优化矩阵。从n个焦距值中选取出关键焦距,使相邻关键焦距之间可以进行畸变的线性插值。在线标定时,只要估计当前图像的焦距值,就可以通过插值得到相应的内参矩阵与畸变参数。关键焦距的选取具体为:
3.1:焦距值f1,f2,...,fn确定出区间[f1,fn],同时将f1,fn选为关键焦距,并确定该区间的中点,即从n个焦距值f1,f2,…,fn中找出中间焦距值fc;
3.2:判断f1,fn对应的畸变描述优化矩阵之间是否可以进行畸变描述优化矩阵的线性插值;
首先,通过步骤二,利用焦距值f1,fc,fn下采集到的图像,分别得到f1,fc,fn对应的畸变描述优化矩阵
然后,利用插值确定出fc对应畸变描述优化矩阵的估计值插值公式如下所示:
最后,计算与之间的差值矩阵如下式所示:
将差值矩阵以九宫格的形式划分为9个区域,求出每个区域内的算术平均值Mk(k=1,…,9),同时为每个区域设立一个第二阈值εk(k=1,…,9),判别如下所示:
a.若每个区域都满足|Mk|≤εk,则认为fc不为关键焦距;
b.若至少有一个区域满足|Mk|>εk,则认为fc选为关键焦距。
3.3:对相邻关键焦距组成的区间,确定出中间焦距,并通过上述判定过程决定该中间焦距是否为关键焦距,不断重复此过程即可选出所有的关键焦距,并由步骤二给出对应的内参矩阵与畸变描述优化矩阵。
步骤四:非标定视场基准点自动获取;
至此,只在标定视场内存在基准点,为了实现非标定视场摄像机焦距的自动识别,需要将基准点扩展到非标定视场。对于任意焦距fany,只要已知对应的内参矩阵与对应的畸变描述优化矩阵就可以实现基准点的自动获取,具体为:
4.1:在任意焦距fany下,转动PTZ摄像机,拍摄N幅图像,使这些图像能完全覆盖摄像机能拍摄到的场景范围,并且相邻图像之间存在重叠区域。
4.2:利用畸变描述优化矩阵对所有图像进行畸变校正,得到校正后的图像Ia(a=1,...,N),并从中挑出拍摄到场景范围中心区域的图像作为参考图像Iref,将对应于参考图像Iref的摄像机坐标系定义为参考坐标系。
4.3:通过特征匹配确定N幅图像Ia相对于参考图像Iref的单应性矩阵Ha,使其满足下式:
xref=Haxa
其中,xa表示图像Ia中图像特征点的齐次坐标,xref表示参考图像Iref中对应特征点的齐次坐标。
4.4:对于每幅图像Ia,提取出若干个在图像Ia中均匀分布的SIFT特征点,由下式计算出这些SIFT特征点在参考坐标系下的方向矢量direction:
其中,(X,Y)表示图像Ia中SIFT特征点在以毫米为单位的图像坐标系中的坐标。将已知方向矢量的SIFT特征点作为新的基准点,就可以得到覆盖整个摄像机视场的基准点。
步骤五:PTZ摄像机在线标定;
本发明认为,在PTZ摄像机工作过程中,只要估计出待标定图像的焦距值,就可以通过关键焦距之间的插值实时计算出待标定图像的内参矩阵与畸变矩阵;经过步骤四,得到了覆盖整个摄像机视场的基准点以及基准点在参考坐标系下的方向矢量,即可以求出任意两个基准点与参考坐标系原点之间连线的夹角,其中参考坐标系原点即为摄像机光心。只要待标定图像中存在至少两个基准点,就可以利用已知的基准点夹角信息,对待标定图像进行焦距的自动识别,从而得到该图像的内参矩阵与畸变矩阵,具体为:
步骤5.1:特征匹配;
对待标定图像I'进行SIFT特征提取,并与基准点的特征描述符进行特征匹配,确定图像I'中基准点的图像坐标;
步骤5.2:摄像机焦距自动识别;
因为基准点与摄像机光心位置固定,所以两个基准点与摄像机光心连线的夹角θ不受摄像机旋转以及变焦的影响。选择最接近图像中心的两个基准点,通过下式求出此时摄像机的焦距f':
其中,(ub,vb)(b=1,2)表示两个基准点的图像坐标;(Xb,Yb)(b=1,2)表示两个基准点在以毫米为单位的图像坐标系中的坐标;direction1,direction2表示两个基准点的方向矢量;夹角θ表示两个基准点与摄像机光心连线的夹角;dx,dy分别表示每一个像素沿图像在u轴与v轴方向的物理尺寸;(u0,v0)表示图像主点。
步骤5.3:插值得到图像I'的内参矩阵与畸变描述优化矩阵;
得到焦距f'后,假设f'处在关键焦距fp,fq(p<q)之间,就可以通过下式求得图像I'的内参矩阵KI'与畸变描述优化矩阵
其中,Kp,Kq分别表示fp,fq对应的内参矩阵;分别表示fp,fq对应的畸变描述优化矩阵。
Claims (1)
1.一种PTZ摄像机现场标定及定焦方法,包括以下步骤:
步骤一:标定视场基准点选取与测量;
1.1:基准点的选取:在PTZ摄像机最小焦距f1下,拍摄标定视场得到图像I0,提取图像I0的特征点,在这些特征点中挑选出m个特征点作为基准点pi,i=1,…,m;
1.2:保存基准点的特征描述符descriptorsi,i=1,…,m,当基准点出现在任意一张包含基准点的新的图像中时,提取新的图像中的特征点,将新的图像中的特征点描述符与基准点的特征描述符进行匹配,确定基准点在新的图像中的坐标;
1.3:基准点世界坐标测量:测得m个基准点在世界坐标系下的坐标Pi,i=1,…,m;
步骤二:焦距固定下摄像机标定;
步骤2.1:图像采集:在固定焦距f下,转动PTZ摄像机,使图像I0中的基准点遍历PTZ摄像机图像平面,并采集J张图像Ij,j=1,2,…,J;
步骤2.2:内参矩阵K自动获取;
步骤2.2.1:确定参考图像Ire:从采集到的J张图像中挑出一张作为参考图像Ire;
步骤2.2.2:计算参考图像Ire的参考投影矩阵Mre:将在参考图像Ire提取到的参考特征点描述符与基准点的特征描述符descriptorsi进行匹配,得到参考图像Ire中参考基准点pi的图像坐标所述图像坐标即为基准点在参考图像中的实际值,并已知对应的世界坐标Pi;从参考图像Ire中选出离参考图像Ire中心点最近的非共面参考基准点,利用直接线性变换求出参考投影矩阵Mre;
步骤2.2.3:计算内参矩阵K:分解参考投影矩阵Mre,得到内参矩阵K;
步骤2.3:确定固定焦距下任意图像中心区域;
步骤2.3.1:利用参考投影矩阵Mre,计算在参考图像Ire内参考基准点pi的理论值理论值与实际值的差值作为基准点pi所在像素点的畸变量;
步骤2.3.2:设定第一阈值εd,形成如下所示集合:
其中,集合no-distortion表示畸变量忽略不计的基准点所在像素点的集合;集合distortion表示畸变量不忽略不计的基准点所在像素点的集合;
步骤2.3.3:确定固定焦距下任意图像中心区域;
步骤2.4:描述摄像机镜头畸变;
图像平面的大小为A*B,建立一个A行B列即A*B的畸变矩阵D,A行B列的图像平面中的每一个元素即为像素,畸变矩阵D中的每个元素存储对应基准点所在像素点的畸变量(Δu,Δv),如下式所示:
其中,图像中心区域内的畸变量设置为(0,0);
步骤2.5:优化单应性矩阵;
利用特征匹配计算每一张图像Ij与参考图像Ire之间的单应性矩阵Hj,使得xj=Hj*xre,其中xj表示图像Ij中基准点的齐次坐标,xre表示参考图像Ire中对应基准点的齐次坐标;
步骤2.5.1:将在图像Ij提取到的图像特征点描述符与基准点特征描述符descriptorsi进行匹配,得到图像Ij中图像基准点的图像坐标即为基准点实际值
步骤2.5.2:在Hj的邻域内搜索出符合判断条件的最优单应性矩阵,优化过程如下:将Hj作为优化的初值,并分解Hj求出旋转矩阵Rj,继而分解Rj求出初始旋转角度,分别为初始偏航角α0,初始俯仰角β0,初始横滚角γ0,如下式所示:
Rj=K-1*Hj*K
将可变偏航角α,可变俯仰角β,可变横滚角γ定义为变量,3个变量的取值范围分别定义为:
α∈[α0-ξ,α0+ξ]
β∈[β0-ξ,β0+ξ]
γ∈[γ0-ξ,γ0+ξ]
其中,ξ表示领域半径,对3个变量的取值范围进行等间隔采样,间隔为Δ,分别得到采样后的采样偏航角αg1,采样俯仰角βg1,采样横滚角γg1:
αg1=α0±gΔ
βg1=β0±gΔ
γg1=γ0±gΔ
其中,[]表示取整;
对3个旋转角度变量的不同取值依次进行组合,计算出对应的单应性矩阵H,由求出基准点在图像Ij内的基准点理论值 与在图像Ij中的齐次坐标分别为其中,分别表示在以像素为单位的图像坐标系中u轴与v轴方向的坐标值,分别表示在以像素为单位的图像坐标系中u轴与v轴方向的坐标值,对于每一个基准点理论值和实际值如果满足判断条件:
则计算差值平方和:
根据以上判断条件在所述邻域内找到所有差值平方和中的最小值,此时的基准点理论值对应的单应性矩阵即为穷举法搜索出的最优单应性矩阵
步骤2.6:估计畸变矩阵D;
步骤2.6.1:若图像Ij的图像中心区域内至少存在6个非共面基准点:由图像中心区域内的基准点,估计出图像投影矩阵Mj;由计算出基准点在图像Ij内的基准点理论值基准点理论值与基准点实际值的差值作为基准点pi所在像素点的畸变量,并存入畸变矩阵D;
步骤2.6.2:若图像Ij的图像中心区域内不存在至少6个非共面图像基准点,基准点理论值的计算如下所示:由求出基准点在图像Ij内的基准点理论值并将基准点理论值与基准点实际值的差值存入畸变矩阵D;
步骤2.7:畸变矩阵插值,得到非轴对称相机的畸变描述优化矩阵;
步骤2.7.1:(u,v)为待估计畸变量的像素点坐标,以(u,v)为圆心,以r1为半径的邻域E内存在若干个已知畸变量的像素点(u's,v's),利用这些像素点(u's,v's)的畸变量(Δu's,Δv's)拟合出畸变模型,求出畸变模型参数k1,k2,如下式所示:
rs 2=(u's-u0)2+(v's-v0)2
其中,(u0,v0)表示图像主点,rs表示(u's,v's)距图像主点的径向距离;
步骤2.7.2:用计算出的畸变模型估计(u,v)的畸变量(Δu,Δv),并存入畸变矩阵D中的对应位置,如下式所示,同时记插值后的畸变矩阵为非轴对称相机的畸变描述优化矩阵D*:
r2=(u-u0)2+(v-v0)2
其中,r表示像素点(u,v)距图像主点(u0,v0)的径向距离;
步骤三:关键焦距的选取;
将PTZ摄像机镜头焦距的变焦范围划分为若干等分,得到划分后的n个焦距值f1,f2,…,fn,其中f1表示镜头最小焦距,fn表示最大焦距;关键焦距的选取具体为:
3.1:焦距值f1,f2,…,fn确定出区间[f1,fn],同时将f1,fn选为关键焦距,并确定该区间的中点,即从n个焦距值f1,f2,…,fn中找出中间焦距值fc;
3.2:判断f1,fn对应的畸变描述优化矩阵之间是否进行畸变描述优化矩阵的线性插值;
利用焦距值f1,fc,fn下采集到的图像,分别得到f1,fc,fn对应的畸变描述优化矩阵
利用插值确定出fc对应畸变描述优化矩阵的估计值插值公式如下所示:
计算与之间的差值矩阵如下式所示:
将差值矩阵划分区域,求出每个区域内的算术平均值Mk,同时为每个区域设立一个第三阈值εk,判别如下所示:
a.若每个区域都满足|Mk|≤εk,则认为fc不为关键焦距;
b.若至少有一个区域满足|Mk|>εk,则fc选为关键焦距;
3.3:对相邻关键焦距组成的区间,确定出中间焦距,并通过上述判定过程决定该中间焦距是否为关键焦距,不断重复此过程选出所有的关键焦距;
步骤四:非标定视场基准点自动获取;
4.1:在任意焦距fany下,转动PTZ摄像机,拍摄N张图像;
4.2:利用畸变描述优化矩阵对所有图像进行畸变校正,得到校正后的图像Ia,a=1,…,N,并从中挑出一张图像作为参考图像Iref,将对应于参考图像Iref的摄像机坐标系定义为参考坐标系;
4.3:通过特征匹配确定N幅图像Ia相对于参考图像Iref的单应性矩阵Ha,使其满足下式:
xref=Haxa
其中,xa表示图像Ia中图像特征点的齐次坐标,xref表示参考图像Iref中对应特征点的齐次坐标;
4.4:对于每幅图像Ia,提取出若干个在图像Ia中均匀分布的SIFT特征点,由下式计算出这些SIFT特征点在参考坐标系下的方向矢量direction:
其中,(u,v)表示待估计畸变量的像素点坐标;(X,Y)表示图像Ia中SIFT特征点在以毫米为单位的图像坐标系中的坐标;将已知方向矢量的SIFT特征点作为新的基准点,得到覆盖整个摄像机视场的基准点;
步骤五:PTZ摄像机在线标定;
具体为:
步骤5.1:特征匹配;
对待标定图像I'进行SIFT特征提取,并与基准点的特征描述符进行特征匹配,确定图像I'中基准点的图像坐标;
步骤5.2:摄像机焦距自动识别;
选择最接近图像中心的两个基准点,通过下式求出此时摄像机的焦距f':
其中,(ub,vb)表示两个基准点的图像坐标;(Xb,Yb)表示两个基准点在以毫米为单位的图像坐标系中的坐标,b=1,2;direction1,direction2表示两个基准点的方向矢量;夹角θ表示两个基准点与摄像机光心连线的夹角;dx,dy分别表示每一个像素沿图像在u轴与v轴方向的物理尺寸;(u0,v0)表示图像主点;
步骤5.3:插值得到图像I'的内参矩阵与畸变描述优化矩阵;
得到焦距f'后,假设f'处在关键焦距fp,fq之间,p<q,通过下式求得图像I'的内参矩阵KI'与畸变描述优化矩阵
其中,Kp,Kq分别表示fp,fq对应的内参矩阵;分别表示fp,fq对应的畸变描述优化矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810476150.8A CN108648241B (zh) | 2018-05-17 | 2018-05-17 | 一种ptz摄像机现场标定及定焦方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810476150.8A CN108648241B (zh) | 2018-05-17 | 2018-05-17 | 一种ptz摄像机现场标定及定焦方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108648241A true CN108648241A (zh) | 2018-10-12 |
CN108648241B CN108648241B (zh) | 2022-04-12 |
Family
ID=63756718
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810476150.8A Active CN108648241B (zh) | 2018-05-17 | 2018-05-17 | 一种ptz摄像机现场标定及定焦方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108648241B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109559355A (zh) * | 2018-12-04 | 2019-04-02 | 北京航空航天大学 | 一种基于相机组的无公共视场的多相机全局标定装置及方法 |
CN110095136A (zh) * | 2019-03-27 | 2019-08-06 | 苏州德沃物流科技有限公司 | 融合imu位姿修正的双目视觉三维重建标定装置和方法 |
CN110458893A (zh) * | 2019-07-29 | 2019-11-15 | 武汉光庭信息技术股份有限公司 | 高级辅助驾驶视觉感知传感器的横滚角标定方法及系统 |
CN110689582A (zh) * | 2019-09-03 | 2020-01-14 | 天津大学 | 全站仪摄像机标定方法 |
CN111028296A (zh) * | 2019-11-07 | 2020-04-17 | 浙江大华技术股份有限公司 | 球机焦距值估算方法、装置、设备及存储装置 |
CN111311688A (zh) * | 2020-01-22 | 2020-06-19 | 同济大学 | 一种基于双传感器变视轴监测装置的标定方法 |
CN111667540A (zh) * | 2020-06-09 | 2020-09-15 | 中国电子科技集团公司第五十四研究所 | 一种基于行人头部识别的多摄像机系统标定方法 |
CN111815715A (zh) * | 2020-07-03 | 2020-10-23 | 浙江大华技术股份有限公司 | 变焦云台摄像机的标定方法、装置及存储介质 |
CN111915685A (zh) * | 2020-08-17 | 2020-11-10 | 沈阳飞机工业(集团)有限公司 | 一种变焦摄像机标定方法 |
CN113034617A (zh) * | 2021-04-09 | 2021-06-25 | 北京爱笔科技有限公司 | 相机的焦距的获取方法及装置、设备 |
CN113240754A (zh) * | 2021-06-01 | 2021-08-10 | 亮风台(上海)信息科技有限公司 | 确定ptz摄像装置的内参的方法、装置、设备及存储介质 |
CN116309868A (zh) * | 2023-03-02 | 2023-06-23 | 北京瑞控信科技股份有限公司 | 一种鱼眼成像系统标定方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3104328A1 (en) * | 2015-06-11 | 2016-12-14 | Thomson Licensing | Method and apparatus for camera calibration |
-
2018
- 2018-05-17 CN CN201810476150.8A patent/CN108648241B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3104328A1 (en) * | 2015-06-11 | 2016-12-14 | Thomson Licensing | Method and apparatus for camera calibration |
Non-Patent Citations (3)
Title |
---|
JUN-FANG WU等: "Nonmetric calibration of camera lens distortion using concentric circles pattern", 《2010 INTERNATIONAL CONFERENCE ON MECHANIC AUTOMATION AND CONTROL ENGINEERING》 * |
徐寿志等: "测角法非量测数码相机实验室几何标定", 《测绘科学》 * |
杨明等: "大视场摄像机高精度快速现场标定方法", 《电光与控制》 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109559355A (zh) * | 2018-12-04 | 2019-04-02 | 北京航空航天大学 | 一种基于相机组的无公共视场的多相机全局标定装置及方法 |
CN110095136A (zh) * | 2019-03-27 | 2019-08-06 | 苏州德沃物流科技有限公司 | 融合imu位姿修正的双目视觉三维重建标定装置和方法 |
CN110458893B (zh) * | 2019-07-29 | 2021-09-24 | 武汉光庭信息技术股份有限公司 | 高级辅助驾驶视觉感知传感器的横滚角标定方法及系统 |
CN110458893A (zh) * | 2019-07-29 | 2019-11-15 | 武汉光庭信息技术股份有限公司 | 高级辅助驾驶视觉感知传感器的横滚角标定方法及系统 |
CN110689582A (zh) * | 2019-09-03 | 2020-01-14 | 天津大学 | 全站仪摄像机标定方法 |
CN110689582B (zh) * | 2019-09-03 | 2023-06-09 | 天津大学 | 全站仪摄像机标定方法 |
CN111028296A (zh) * | 2019-11-07 | 2020-04-17 | 浙江大华技术股份有限公司 | 球机焦距值估算方法、装置、设备及存储装置 |
CN111028296B (zh) * | 2019-11-07 | 2023-05-12 | 浙江大华技术股份有限公司 | 球机焦距值估算方法、装置、设备及存储装置 |
CN111311688A (zh) * | 2020-01-22 | 2020-06-19 | 同济大学 | 一种基于双传感器变视轴监测装置的标定方法 |
CN111667540B (zh) * | 2020-06-09 | 2023-04-18 | 中国电子科技集团公司第五十四研究所 | 一种基于行人头部识别的多摄像机系统标定方法 |
CN111667540A (zh) * | 2020-06-09 | 2020-09-15 | 中国电子科技集团公司第五十四研究所 | 一种基于行人头部识别的多摄像机系统标定方法 |
CN111815715A (zh) * | 2020-07-03 | 2020-10-23 | 浙江大华技术股份有限公司 | 变焦云台摄像机的标定方法、装置及存储介质 |
CN111915685A (zh) * | 2020-08-17 | 2020-11-10 | 沈阳飞机工业(集团)有限公司 | 一种变焦摄像机标定方法 |
CN111915685B (zh) * | 2020-08-17 | 2023-10-31 | 沈阳飞机工业(集团)有限公司 | 一种变焦摄像机标定方法 |
CN113034617A (zh) * | 2021-04-09 | 2021-06-25 | 北京爱笔科技有限公司 | 相机的焦距的获取方法及装置、设备 |
CN113240754A (zh) * | 2021-06-01 | 2021-08-10 | 亮风台(上海)信息科技有限公司 | 确定ptz摄像装置的内参的方法、装置、设备及存储介质 |
CN113240754B (zh) * | 2021-06-01 | 2024-03-01 | 亮风台(上海)信息科技有限公司 | 确定ptz摄像装置的内参的方法、装置、设备及存储介质 |
CN116309868A (zh) * | 2023-03-02 | 2023-06-23 | 北京瑞控信科技股份有限公司 | 一种鱼眼成像系统标定方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108648241B (zh) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108648241A (zh) | 一种ptz摄像机现场标定及定焦方法 | |
CN105118055B (zh) | 摄影机定位修正标定方法及系统 | |
CN104392435B (zh) | 鱼眼相机标定方法及标定装置 | |
CN105716542B (zh) | 一种基于柔性特征点的三维数据拼接方法 | |
Zhang et al. | A robust and rapid camera calibration method by one captured image | |
CN108986172A (zh) | 一种面向小景深系统的单视图线性摄像机标定方法 | |
CN102169573B (zh) | 高精度的宽视场镜头实时畸变矫正方法及系统 | |
Collins et al. | Calibration of an outdoor active camera system | |
CN106971408B (zh) | 一种基于时空转换思想的摄像机标定方法 | |
CN107358633A (zh) | 一种基于三点标定物的多相机内外参标定方法 | |
CN112949478A (zh) | 基于云台相机的目标检测方法 | |
CN111445537B (zh) | 一种摄像机的标定方法及系统 | |
CN110969667A (zh) | 基于边缘特征的多光谱相机外参自校正算法 | |
CN106871900A (zh) | 船舶磁场动态检测中图像匹配定位方法 | |
CN110246194A (zh) | 一种像机与惯性测量单元旋转关系快速标定方法 | |
CN106447735A (zh) | 一种全景相机几何标定处理方法 | |
CN116433737A (zh) | 一种激光雷达点云与图像配准的方法、装置及智能终端 | |
CN112802121A (zh) | 监控相机的标定方法 | |
CN110533618A (zh) | 一种镜头畸变矫正的方法和照相装置 | |
CN114299156A (zh) | 无重叠区域下多相机的标定与坐标统一方法 | |
CN107403410A (zh) | 一种热红外图像的拼接方法 | |
CN109360249A (zh) | 相机可调节标定系统 | |
CN104811688B (zh) | 图像获取装置及其图像形变检测方法 | |
CN116309844A (zh) | 一种基于无人机单张航空图片的三维测量方法 | |
CN113781579B (zh) | 一种全景红外相机几何标定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |