CN108648241B - 一种ptz摄像机现场标定及定焦方法 - Google Patents

一种ptz摄像机现场标定及定焦方法 Download PDF

Info

Publication number
CN108648241B
CN108648241B CN201810476150.8A CN201810476150A CN108648241B CN 108648241 B CN108648241 B CN 108648241B CN 201810476150 A CN201810476150 A CN 201810476150A CN 108648241 B CN108648241 B CN 108648241B
Authority
CN
China
Prior art keywords
image
distortion
matrix
focal length
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810476150.8A
Other languages
English (en)
Other versions
CN108648241A (zh
Inventor
张海
陈洁灵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201810476150.8A priority Critical patent/CN108648241B/zh
Publication of CN108648241A publication Critical patent/CN108648241A/zh
Application granted granted Critical
Publication of CN108648241B publication Critical patent/CN108648241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T5/80—

Abstract

本发明公开了一种PTZ摄像机现场标定及定焦方法，属于计算机视觉与摄像机标定技术领域。所述方法包括步骤一：标定视场基准点选取与测量；步骤二：焦距固定下摄像机标定；步骤三：关键焦距的选取；步骤四：非标定视场基准点自动获取；步骤五：PTZ摄像机在线标定。本发明针对非严格轴对称镜头，设计了能够有效实现对非严格轴对称镜头的畸变校正的方法，由于得到覆盖整个摄像机视场的基准点，因此不仅减少标定工作量，还可以描述镜头不同区域的畸变情况，实现对所有焦距下畸变的有效估计，利用视场中基准点在相机视场中夹角不变性，通过最小二乘法快速确定焦距，并通过插值获得每个点的畸变校正数据。

Description

一种PTZ摄像机现场标定及定焦方法
技术领域
本发明属于计算机视觉与摄像机标定技术领域，特别是涉及一种PTZ摄像机现场标定及定焦方法。
背景技术
PTZ(Pan-Tilt-Zoom，PTZ)摄像机，又叫变焦云台摄像机，能够对焦距、姿态、光圈等进行自动调节与控制，具有灵活、视场范围大、对光照条件适应能力强等特点，因此已经在视频监控、电子安防、机器人导航等各个领域中得到了广泛的应用。PTZ摄像机应用于视觉测量领域，解决了测量视角范围小、视角视向固定等问题，在增加视觉测量系统灵活性的同时，降低了对摄像机数目的要求。
为了提高视觉测量的精度，往往需要使用离线采集的大量数据对摄像机的模型参数进行预先标定。经典的摄像机标定算法，如两步标定法，平面标定法等，主要研究焦距固定情况下的摄像机标定算法。该类方法利用高精度的立体或平面标定设备，借助于线性最小二乘/奇异值分解，以及基于最大似然准则的非线性优化方法，能够达到较为精确的标定结果。但是，由于温度、使用环境、底座震动等因素影响，摄像机参数往往逐渐发生变化，造成实际参数与标定参数偏差较大，从而导致视觉测量精度较低甚至产生错误。
在工作场合下，对于已安装的PTZ摄像机，利用参考标定物进行标定往往非常繁琐，甚至难以实现。为了解决这一问题，通常需要在现场环境下，如公共场所监控等，自主进行摄像机参数标定，完成摄像机自标定。当前主流的摄像机自标定方法主要包括基于Kruppa方程的自标定方法与基于分层逐步标定的自标定方法。分层逐步标定的方法以QR分解法、绝对二次曲面法和模约束法等为代表。然而，上述方法主要适用于焦距固定情况下的摄像机标定，仍然无法解决焦距连续变化的PTZ摄像机的参数标定问题。
针对PTZ监控摄像机标定问题，现有技术已经提出过很多种标定方法，例如，Sinha和Pollefeys提出一种对PTZ摄像机zoom参数进行离散采样标定的方法(参考文献【1】SinhaS N and Pollefeys M.Pan-tilt-zoom Camera Calibration and High-resolutionMosaic Generation.Computer Vision and Image Understanding.2006,103(3):170-183P)；Sarkis等人提出利用移动最小二乘来建立摄像机内参函数的方法(参考文献【2】Sarkis M,Senft C and Diepold K.Calibrating an Automatic Zoom Camera WithMoving Least Squares.IEEE Transactions on Automation Science andEngineering.2009,6(3):492-503P)；Ashraf和Foroosh等人提出利用无重叠视场的PTZ摄像机自标定方法(参考文献【3】Ashraf N and Foroosh H.Robust Auto-calibration of aPTZ Camera with Non-overlapping FOV.In International Conference on PatternRecognition,Dec.2008:738-748P)，在这些已知的方法中，有些是忽略镜头畸变，有些是假设镜头畸变的变化是随着放大倍数的一个线性变化，有些是假设镜头畸变满足畸变模型，然而，对于加工精度不均匀的镜头，镜头畸变并不能用简单畸变模型描述。因此，对于设计一种能够有效应对镜头畸变的方案，是本领域技术人员亟待解决的问题。
发明内容
本发明的目的在于提出一种PTZ摄像机现场标定及定焦方法，能够有效描述镜头非轴对称性下不同部位的畸变，利用基准点在图像中分布的变化自动完成畸变参数标定，并通过关键焦距的选取及插值计算，实现可覆盖相机全焦段的畸变及相机内部参数的标定，减少了标定工作的复杂性，并设计了可依据标定视场内基准点在其他视场自动选择特征点的方法，在实际使用中可根据任意图像快速判定相机焦距，为视觉测量及目标识别提供准确尺度信息。
一种PTZ摄像机现场标定及定焦方法，包括以下几个步骤：
步骤一：标定视场基准点选取与测量；
步骤二：焦距固定下摄像机标定；
步骤三：关键焦距的选取；
步骤四：非标定视场基准点自动获取；
步骤五：PTZ摄像机在线标定。
本发明的优点在于：
(1)本发明针对非严格轴对称镜头，设计了一种基于基准点的镜头畸变校正方法，通过已知的基准点坐标信息，无需采用网格图像，相机转动时基于基准点在图像中位置的变化，自动计算出图像每一像素点的畸变量，能够有效实现对非严格轴对称镜头的畸变校正；
(2)本发明针对PTZ摄像机具有大视场的特点，设计了一种非标定视场基准点自动获取的方法，由标定视场的基准点自动计算得到覆盖整个摄像机视场的基准点，减少标定工作量；
(3)本发明设计了一种适用于非轴对称镜头的畸变描述方法，可描述镜头不同区域的畸变情况；
(4)针对PTZ摄像机焦距可变情况，设计了关键焦距抽取方法，进而可以在插值法基础上利用关键焦距畸变标定数据，实现对所有焦距下畸变的有效估计；
(5)在相机焦距变化情况下，利用视场中基准点在相机视场中夹角不变性，通过最小二乘算法快速确定焦距，并通过插值获得成像平面内每个点的畸变校正数据。
附图说明
图1是本发明的一种PTZ摄像机现场标定及定焦方法流程图；
图2是本发明中基准点的选取示意图；
图3是本发明中基准点遍历方法示意图。
具体实施方式
下面将结合附图和实施例对本发明作进一步的详细说明。
现有PTZ摄像机自主标定方法中，采用多项式畸变模型来拟合镜头畸变，但是对于非严格轴对称的镜头，是无法用简单畸变模型来拟合的。为了解决这一问题，本发明提出一种PTZ摄像机现场标定及定焦方法，能够自动计算畸变图像的内参矩阵以及每一像素点的畸变校正参数，实现镜头畸变的高精度、自动校正。
一种PTZ摄像机现场标定及定焦方法，流程如图1所示，包括以下几个步骤：
步骤一：标定视场基准点选取与测量；
本发明利用已知的基准点信息来进行标定，所以需要确定基准点及其世界坐标，具体方法如下：
1.1：基准点的选取；
在待拍摄的场景范围内找一处图像信息丰富的场景作为标定视场。然后，在PTZ摄像机最小焦距f1下，拍摄标定视场得到图像I0，使用SIFT算法提取图像I0的特征点，在这些特征点中人为挑选出m个特征点作为基准点pi(i＝1,…,m)，基准点的选取结果如图2所示，图2中外部矩形图样表示图像I0，内部矩形图样dense表示基准点的密集区域，所述密集区域要求图像畸变不明显，本发明要求密集区域dense中的基准点至少在20个以上，以适应PTZ摄像机变焦的情形；图2中黑色的实心点表示前述人为挑选的基准点pi(i＝1,…,m)，m为大于20的整数。
1.2：保存基准点的特征描述符；
保存基准点的特征描述符descriptorsi(i＝1,…,m)，当基准点出现在任意一张包含了基准点的新的图像中时，使用SIFT算法提取新的图像中的特征点，将新的图像中的特征点描述符与基准点的特征描述符进行匹配，确定基准点在新的图像中的坐标，所述特征点描述符是SIFT算法给出的128维向量，每一个特征点都可以用一个128维向量表示。
1.3：基准点世界坐标测量；
利用全站仪，定义全站仪坐标系为世界坐标系，测得m个基准点在世界坐标系下的坐标Pi(i＝1,…,m)。
步骤二：焦距固定下摄像机标定；
PTZ摄像机是通过多组可调间距的镜头组件来实现变焦功能，通常都有一定的焦距范围，而在焦距范围内的某一固定焦距时，内部镜头组件可认为结构稳定不变，PTZ摄像机可以看作是一个定焦摄像机，此时的PTZ摄像机模型可以用同参数下的静态摄像机模型替代。所以本发明采用针孔模型，模型如下：
Figure BDA0001664532250000041
fx＝f/dx,fy＝f/dy
其中，K表示内参矩阵，f为PTZ摄像机焦距范围内的某一固定焦距，fx，fy分别表示固定焦距f沿以像素为单位的图像坐标系中u轴与v轴方向的尺度因子，(u0,v0)表示PTZ摄像机光轴与图像平面的交点在以像素为单位的图像坐标系中的坐标，即图像主点，dx，dy分别表示每一像素沿图像坐标系中u轴与v轴方向的物理尺寸。
本发明利用有限的、已测量的基准点，实现固定焦距f下PTZ摄像机的标定，具体方法如下：
步骤2.1：图像采集；
在固定焦距f下，转动PTZ摄像机，使图像I0中基准点的密集区域dense的基准点能够有效遍历PTZ摄像机图像平面。具体遍历方法为，控制PTZ摄像机作水平旋转运动方向与垂直俯仰运动方向的运动，使基准点的密集区域dense分别出现在PTZ摄像机图像平面上的不同位置，直到覆盖整个PTZ摄像机图像平面，并采集J张图像Ij(j＝1,2,…,J)，如图3所示，img表示PTZ摄像机图像平面，dense(j)表示图像Ij的图像基准点密集区域，dense(j)在图像平面img中的位置也是dense(j)在图像Ij中的位置。
步骤2.2：内参矩阵K自动获取；
步骤2.2.1：确定参考图像Ire：从采集到的J张图像Ij(j＝1,2,…,J)中挑出一幅作为参考图像Ire，该参考图像满足密集区域dense位于参考图像中心处的条件。
步骤2.2.2：计算参考图像Ire的参考投影矩阵Mre：将在参考图像Ire提取到的参考特征点描述符与基准点的特征描述符descriptorsi进行匹配，得到基准点pi在参考图像Ire中的图像坐标
Figure BDA0001664532250000051
所述图像坐标
Figure BDA0001664532250000052
即为基准点在参考图像中的实际值，并已知对应的世界坐标Pi。只需从参考图像Ire中选出离参考图像Ire中心点最近的6个及以上非共面参考基准点，就可以利用直接线性变换(DLT)估计出参考投影矩阵Mre。
步骤2.2.3：计算内参矩阵K：分解参考投影矩阵Mre，可得到内参矩阵K。
步骤2.3：确定固定焦距下任意图像中心区域；
步骤2.3.1：利用参考投影矩阵Mre，由
Figure BDA0001664532250000053
计算出基准点pi在参考图像Ire内的理论值
Figure BDA0001664532250000054
将所述的理论值
Figure BDA0001664532250000055
与所述的实际值
Figure BDA0001664532250000056
的差值作为基准点pi所在像素点的畸变量。
步骤2.3.2：设定第一阈值εd，形成如下所示集合：
Figure BDA0001664532250000057
Figure BDA0001664532250000058
其中，集合no-distortion表示畸变量忽略不计的基准点所在像素点的集合；集合distortion表示畸变量不忽略不计的基准点所在像素点的集合。
步骤2.3.3：确定固定焦距下任意图像中心区域center：首先找出集合distortion中离图像主点(u0,v0)最近的基准点所在像素点pmin，基准点所在像素点与图像主点的距离为dmin；然后在以图像主点(u0,v0)为圆心，以dmin为半径的圆形区域内，找出集合no-distortion中离图像主点(u0,v0)最远的基准点所在像素点pmax，基准点所在像素点与图像主点的距离为dmax；最后，畸变量可忽略不计的图像中心区域center为以图像主点(u0,v0)为圆心，以dmax为半径的圆形区域。
步骤2.4：描述摄像机镜头畸变；
本发明采用畸变矩阵D实现镜头畸变的描述，假设图像平面的大小为A*B，建立一个A行B列即A*B的畸变矩阵D，A行B列的图像平面中的每一个元素即为像素，畸变矩阵D中的每个元素存储对应基准点所在像素点的畸变量(Δu,Δv)，如下式所示：
Figure BDA0001664532250000061
其中，图像中心区域center内的像素的畸变量设置为(0,0)。
步骤2.5：优化单应性矩阵；
根据上述步骤2.2，利用特征匹配计算每一张图像Ij与参考图像Ire之间的单应性矩阵Hj，使得xj＝Hj*xre，其中xj表示图像Ij中特征点的齐次坐标，xre表示参考图像Ire中对应特征点的齐次坐标。因为单应性矩阵受到图像畸变的影响，求出的单应性矩阵Hj存在较大误差，所以需要进行优化求精，得到最优单应性矩阵
Figure BDA0001664532250000062
步骤2.5.1：将在图像Ij提取到的图像特征点描述符与基准点特征描述符descriptorsi进行匹配，得到基准点在图像Ij中的图像坐标即为基准点实际值
Figure BDA0001664532250000063
步骤2.5.2：本发明采用穷举法，在单应性矩阵Hj的邻域内搜索出符合判断条件的最优单应性矩阵
Figure BDA0001664532250000064
优化过程如下：
单应性矩阵Hj作为优化的初值，并分解单应性矩阵Hj求出旋转矩阵Rj，继而分解旋转矩阵Rj求出初始旋转角度，分别为初始偏航角α0，初始俯仰角β0，初始横滚角γ0，如下式所示：
Rj＝K-1*Hj*K
Figure BDA0001664532250000065
将可变偏航角α，可变俯仰角β，可变横滚角γ定义为变量，3个旋转角度变量的取值范围分别定义为：
α∈[α0-ξ,α0+ξ]
β∈[β0-ξ,β0+ξ]
γ∈[γ0-ξ,γ0+ξ]
其中，ξ表示邻域半径。对3个旋转角度变量的取值范围进行等间隔采样，采样间隔为Δ，分别得到采样后的采样偏航角αg1，采样俯仰角βg1，采样横滚角γg1：
αg1＝α0±gΔ
βg1＝β0±gΔ
γg1＝γ0±gΔ
其中，
Figure BDA0001664532250000071
[]表示取整。
对3个旋转角度变量的不同取值依次进行组合，计算出对应的单应性矩阵H，由
Figure BDA0001664532250000072
求出基准点在图像Ij内的基准点理论值
Figure BDA0001664532250000073
假设
Figure BDA0001664532250000074
与
Figure BDA0001664532250000075
在图像Ij中的齐次坐标分别为
Figure BDA0001664532250000076
其中，
Figure BDA0001664532250000077
Figure BDA0001664532250000078
分别表示
Figure BDA0001664532250000079
在以像素为单位的图像坐标系中u轴与v轴方向的坐标值，
Figure BDA00016645322500000710
分别表示
Figure BDA00016645322500000711
在以像素为单位的图像坐标系中u轴与v轴方向的坐标值。
对于每一个基准点理论值
Figure BDA00016645322500000712
和实际值
Figure BDA00016645322500000713
如果满足判断条件：
Figure BDA00016645322500000714
则计算差值平方和：
Figure BDA00016645322500000715
根据以上判断条件在所述邻域内找到所有差值平方和中的最小值，此时的基准点理论值对应的单应性矩阵即为穷举法搜索出的最优单应性矩阵
Figure BDA00016645322500000716
步骤2.6：估计畸变矩阵D；
根据步骤2.3所确定的图像中心区域、步骤2.4描述的摄像机镜头畸变和步骤2.5优化的单应性矩阵估计畸变矩阵D，利用固定焦距f下采集到的每一幅图像Ij(j＝1,2,…,J)，对所有基准点所在像素点的畸变量进行计算，并填入畸变矩阵D中，计算如下：
步骤2.6.1：若图像Ij的图像中心区域center内至少存在6个非共面基准点：由图像中心区域center内的基准点，利用DLT算法估计出图像投影矩阵Mj；由
Figure BDA00016645322500000717
计算出基准点在图像Ij内的基准点理论值
Figure BDA0001664532250000081
基准点理论值
Figure BDA0001664532250000082
与基准点实际值
Figure BDA0001664532250000083
的差值作为基准点pi所在像素点的畸变量，并存入畸变矩阵D。
本发明认为由投影矩阵求得的畸变量较精确，无需利用单应性矩阵。
步骤2.6.2：若图像Ij的图像中心区域center内不存在至少6个非共面图像基准点，基准点理论值
Figure BDA0001664532250000084
的计算如下所示：由
Figure BDA0001664532250000085
求出基准点在图像Ij内的基准点理论值
Figure BDA0001664532250000086
并将基准点理论值
Figure BDA0001664532250000087
与基准点实际值
Figure BDA0001664532250000088
的差值存入畸变矩阵D。
步骤2.7：畸变矩阵插值，得到非轴对称相机的畸变描述优化矩阵；
图像平面中，对于基准点出现过的位置，可以有效求出畸变量。但是基准点不能遍历过所有像素点，因此上述过程并不能计算出图像平面中所有像素点的畸变量，即畸变矩阵D中存在空元素。本发明认为经过上述步骤后，求出了已满足本发明需求的像素点畸变量，所以D中为空的元素可以由周围非空元素插值得到。同时，本发明认为对于图像平面中的任意一块小区域，畸变可以用一阶径向畸变模型来描述。具体插值方法为：
步骤2.7.1：假设(u，v)为待估计畸变量的像素点坐标，以(u，v)为圆心，以r1为半径的邻域E内存在若干个已知畸变量的像素点(u's,v's)，所选r1满足保证领域E内存在若干个已知畸变量的像素点，利用这些像素点(u's,v's)的畸变量(Δu's,Δv's)拟合出畸变模型，求出模型参数k1、k2，如下式所示：
Figure BDA0001664532250000089
Figure BDA00016645322500000810
rs 2＝(u's-u0)2+(v's-v0)2
其中，(u0,v0)表示图像主点坐标，可以由内参矩阵K得到，rs表示(u's,v's)距图像主点的径向距离。
步骤2.7.2：用计算出的畸变模型参数估计像素点(u，v)的畸变量(Δu,Δv)，并存入畸变矩阵D中的对应位置，如下式所示，同时记插值后的畸变矩阵为非轴对称相机的畸变描述优化矩阵D*：
Figure BDA0001664532250000091
r2＝(u-u0)2+(v-v0)2
其中，r表示像素点(u，v)距图像主点(u0,v0)的径向距离。
步骤三：关键焦距的选取；
若相邻焦距之间可以进行畸变矩阵的线性插值，将这样的焦距定义为关键焦距。将PTZ摄像机镜头焦距的变焦范围划分为若干等分，得到划分后的n个焦距值f1,f2,…,fn，其中f1表示镜头最小焦距，fn表示最大焦距。在每一个焦距值下都可以通过步骤二，计算得到对应的内参矩阵以及畸变描述优化矩阵。从n个焦距值中选取出关键焦距，使相邻关键焦距之间可以进行畸变的线性插值。在线标定时，只要估计当前图像的焦距值，就可以通过插值得到相应的内参矩阵与畸变参数。关键焦距的选取具体为：
3.1：焦距值f1,f2,...,fn确定出区间[f1,fn]，同时将f1,fn选为关键焦距，并确定该区间的中点，即从n个焦距值f1，f2,…,fn中找出中间焦距值fc；
3.2：判断f1,fn对应的畸变描述优化矩阵
Figure BDA0001664532250000092
之间是否可以进行畸变描述优化矩阵的线性插值；
首先，通过步骤二，利用焦距值f1,fc,fn下采集到的图像，分别得到f1,fc,fn对应的畸变描述优化矩阵
Figure BDA0001664532250000093
然后，利用插值确定出fc对应畸变描述优化矩阵的估计值
Figure BDA0001664532250000094
插值公式如下所示：
Figure BDA0001664532250000095
最后，计算
Figure BDA0001664532250000096
与
Figure BDA0001664532250000097
之间的差值矩阵
Figure BDA0001664532250000098
如下式所示：
Figure BDA0001664532250000099
将差值矩阵
Figure BDA00016645322500000910
以九宫格的形式划分为9个区域，求出每个区域内的算术平均值Mk(k＝1,…,9)，同时为每个区域设立一个第二阈值εk(k＝1,…,9)，判别如下所示：
a.若每个区域都满足|Mk|≤εk，则认为fc不为关键焦距；
b.若至少有一个区域满足|Mk|＞εk，则认为fc选为关键焦距。
3.3：对相邻关键焦距组成的区间，确定出中间焦距，并通过上述判定过程决定该中间焦距是否为关键焦距，不断重复此过程即可选出所有的关键焦距，并由步骤二给出对应的内参矩阵与畸变描述优化矩阵。
步骤四：非标定视场基准点自动获取；
至此，只在标定视场内存在基准点，为了实现非标定视场摄像机焦距的自动识别，需要将基准点扩展到非标定视场。对于任意焦距fany，只要已知对应的内参矩阵与对应的畸变描述优化矩阵
Figure BDA0001664532250000101
就可以实现基准点的自动获取，具体为：
4.1：在任意焦距fany下，转动PTZ摄像机，拍摄N幅图像，使这些图像能完全覆盖摄像机能拍摄到的场景范围，并且相邻图像之间存在重叠区域。
4.2：利用畸变描述优化矩阵
Figure BDA0001664532250000102
对所有图像进行畸变校正，得到校正后的图像Ia(a＝1,...,N)，并从中挑出拍摄到场景范围中心区域的图像作为参考图像Iref，将对应于参考图像Iref的摄像机坐标系定义为参考坐标系。
4.3：通过特征匹配确定N幅图像Ia相对于参考图像Iref的单应性矩阵Ha，使其满足下式：
xref＝Haxa
其中，xa表示图像Ia中图像特征点的齐次坐标，xref表示参考图像Iref中对应特征点的齐次坐标。
4.4：对于每幅图像Ia，提取出若干个在图像Ia中均匀分布的SIFT特征点，由下式计算出这些SIFT特征点在参考坐标系下的方向矢量direction：
Figure BDA0001664532250000103
其中，(X,Y)表示图像Ia中SIFT特征点在以毫米为单位的图像坐标系中的坐标。将已知方向矢量的SIFT特征点作为新的基准点，就可以得到覆盖整个摄像机视场的基准点。
步骤五：PTZ摄像机在线标定；
本发明认为，在PTZ摄像机工作过程中，只要估计出待标定图像的焦距值，就可以通过关键焦距之间的插值实时计算出待标定图像的内参矩阵与畸变矩阵；经过步骤四，得到了覆盖整个摄像机视场的基准点以及基准点在参考坐标系下的方向矢量，即可以求出任意两个基准点与参考坐标系原点之间连线的夹角，其中参考坐标系原点即为摄像机光心。只要待标定图像中存在至少两个基准点，就可以利用已知的基准点夹角信息，对待标定图像进行焦距的自动识别，从而得到该图像的内参矩阵与畸变矩阵，具体为：
步骤5.1：特征匹配；
对待标定图像I'进行SIFT特征提取，并与基准点的特征描述符进行特征匹配，确定图像I'中基准点的图像坐标；
步骤5.2：摄像机焦距自动识别；
因为基准点与摄像机光心位置固定，所以两个基准点与摄像机光心连线的夹角θ不受摄像机旋转以及变焦的影响。选择最接近图像中心的两个基准点，通过下式求出此时摄像机的焦距f'：
Figure BDA0001664532250000111
Figure BDA0001664532250000112
其中，(ub,vb)(b＝1,2)表示两个基准点的图像坐标；(Xb,Yb)(b＝1,2)表示两个基准点在以毫米为单位的图像坐标系中的坐标；direction1,direction2表示两个基准点的方向矢量；夹角θ表示两个基准点与摄像机光心连线的夹角；dx，dy分别表示每一个像素沿图像在u轴与v轴方向的物理尺寸；(u0,v0)表示图像主点。
步骤5.3：插值得到图像I'的内参矩阵与畸变描述优化矩阵；
得到焦距f'后，假设f'处在关键焦距fp,fq(p＜q)之间，就可以通过下式求得图像I'的内参矩阵KI'与畸变描述优化矩阵
Figure BDA0001664532250000113
Figure BDA0001664532250000114
Figure BDA0001664532250000115
其中，Kp,Kq分别表示fp,fq对应的内参矩阵；
Figure BDA0001664532250000116
分别表示fp,fq对应的畸变描述优化矩阵。

Claims (1)

1.一种PTZ摄像机现场标定及定焦方法，包括以下步骤：
步骤一：标定视场基准点选取与测量；
1.1：基准点的选取：在PTZ摄像机最小焦距f1下，拍摄标定视场得到图像I0，提取图像I0的特征点，在这些特征点中挑选出m个特征点作为基准点pi，i＝1,…,m；
1.2：保存基准点的特征描述符descriptorsi，i＝1,…,m，当基准点出现在任意一张包含基准点的新的图像中时，提取新的图像中的特征点，将新的图像中的特征点描述符与基准点的特征描述符进行匹配，确定基准点在新的图像中的坐标；
1.3：基准点世界坐标测量：测得m个基准点在世界坐标系下的坐标Pi，i＝1,…,m；
步骤二：焦距固定下摄像机标定；
步骤2.1：图像采集：在固定焦距f下，转动PTZ摄像机，使图像I0中的基准点遍历PTZ摄像机图像平面，并采集J张图像Ij，j＝1,2,…,J；
步骤2.2：内参矩阵K自动获取；
步骤2.2.1：确定参考图像Ire：从采集到的J张图像中挑出一张作为参考图像Ire；
步骤2.2.2：计算参考图像Ire的参考投影矩阵Mre：将在参考图像Ire提取到的参考特征点描述符与基准点的特征描述符descriptorsi进行匹配，得到参考图像Ire中参考基准点pi的图像坐标
Figure FDA0003521810810000011
所述图像坐标
Figure FDA0003521810810000012
即为基准点在参考图像中的实际值，并已知基准点对应的世界坐标Pi；从参考图像Ire中选出离参考图像Ire中心点最近的非共面参考基准点，利用直接线性变换求出参考投影矩阵Mre；
步骤2.2.3：计算内参矩阵K：分解参考投影矩阵Mre，得到内参矩阵K；
步骤2.3：确定固定焦距下任意图像中心区域；
步骤2.3.1：利用参考投影矩阵Mre，计算在参考图像Ire内参考基准点pi的理论值
Figure FDA0003521810810000013
理论值
Figure FDA0003521810810000014
与实际值
Figure FDA0003521810810000015
的差值作为基准点pi所在像素点的畸变量；
步骤2.3.2：设定第一阈值εd，形成如下所示集合：
Figure FDA0003521810810000021
Figure FDA0003521810810000022
其中，集合no-distortion表示畸变量忽略不计的基准点所在像素点的集合；集合distortion表示畸变量不忽略不计的基准点所在像素点的集合；
步骤2.3.3：确定固定焦距下任意图像中心区域；
步骤2.4：描述摄像机镜头畸变；
图像平面的大小为A*B，建立一个A行B列即A*B的畸变矩阵D，A行B列的图像平面中的每一个元素即为像素，畸变矩阵D中的每个元素存储对应基准点所在像素点的畸变量(Δu,Δv)，如下式所示：
Figure FDA0003521810810000023
其中，图像中心区域内的畸变量设置为(0,0)；
步骤2.5：优化单应性矩阵；
利用特征匹配计算每一张图像Ij与参考图像Ire之间的单应性矩阵Hj，使得xj＝Hj*xre，其中xj表示图像Ij中基准点的齐次坐标，xre表示参考图像Ire中对应基准点的齐次坐标；
步骤2.5.1：将在图像Ij提取到的图像特征点描述符与基准点特征描述符descriptorsi进行匹配，得到图像Ij中图像基准点的图像坐标即为基准点实际值
Figure FDA0003521810810000024
步骤2.5.2：在Hj的邻域内搜索出符合判断条件的最优单应性矩阵，优化过程如下：将Hj作为优化的初值，并分解Hj求出旋转矩阵Rj，继而分解Rj求出初始旋转角度，分别为初始偏航角α0，初始俯仰角β0，初始横滚角γ0，如下式所示：
Rj＝K-1*Hj*K
Figure FDA0003521810810000025
将可变偏航角α，可变俯仰角β，可变横滚角γ定义为变量，3个变量的取值范围分别定义为：
α∈[α0-ξ,α0+ξ]
β∈[β0-ξ,β0+ξ]
γ∈[γ0-ξ,γ0+ξ]
其中，ξ表示邻域半径，对3个变量的取值范围进行等间隔采样，间隔为Δ，分别得到采样后的采样偏航角αg1，采样俯仰角βg1，采样横滚角γg1：
αg1＝α0±gΔ
βg1＝β0±gΔ
γg1＝γ0±gΔ
其中，
Figure FDA0003521810810000031
[]表示取整；
对3个旋转角度变量的不同取值依次进行组合，计算出对应的单应性矩阵H，由
Figure FDA0003521810810000032
求出基准点在图像Ij内的基准点理论值
Figure FDA0003521810810000033
与
Figure FDA0003521810810000034
在图像Ij中的齐次坐标分别为
Figure FDA0003521810810000035
其中，
Figure FDA0003521810810000036
分别表示
Figure FDA0003521810810000037
在以像素为单位的图像坐标系中u轴与v轴方向的坐标值，
Figure FDA0003521810810000038
分别表示
Figure FDA0003521810810000039
在以像素为单位的图像坐标系中u轴与v轴方向的坐标值，对于每一个基准点理论值
Figure FDA00035218108100000310
和实际值
Figure FDA00035218108100000311
如果满足判断条件：
Figure FDA00035218108100000312
其中，(u0,v0)表示图像主点；
则计算差值平方和：
Figure FDA00035218108100000313
根据以上判断条件在所述邻域内找到所有差值平方和中的最小值，此时的基准点理论值对应的单应性矩阵即为穷举法搜索出的最优单应性矩阵
Figure FDA00035218108100000314
步骤2.6：估计畸变矩阵D；
步骤2.6.1：若图像Ij的图像中心区域内至少存在6个非共面基准点：由图像中心区域内的基准点，估计出图像投影矩阵Mj；由
Figure FDA00035218108100000315
计算出基准点在图像Ij内的基准点理论值
Figure FDA00035218108100000316
基准点理论值
Figure FDA00035218108100000317
与基准点实际值
Figure FDA00035218108100000318
的差值作为基准点pi所在像素点的畸变量，并存入畸变矩阵D；
步骤2.6.2：若图像Ij的图像中心区域内不存在至少6个非共面图像基准点，基准点理论值
Figure FDA0003521810810000041
的计算如下所示：由
Figure FDA0003521810810000042
求出基准点在图像Ij内的基准点理论值
Figure FDA0003521810810000043
并将基准点理论值
Figure FDA0003521810810000044
与基准点实际值
Figure FDA0003521810810000045
的差值存入畸变矩阵D；
步骤2.7：畸变矩阵插值，得到非轴对称相机的畸变描述优化矩阵；
步骤2.7.1：(u,v)为待估计畸变量的像素点坐标，以(u,v)为圆心，以r1为半径的邻域E内存在若干个已知畸变量的像素点(u's,v's)，利用这些像素点(u's,v's)的畸变量(Δu's,Δv's)拟合出畸变模型，求出畸变模型参数k1，k2，如下式所示：
Figure FDA0003521810810000046
Figure FDA0003521810810000047
rs 2＝(u's-u0)2+(v's-v0)2
其中，rs表示(u's,v's)距图像主点的径向距离；
步骤2.7.2：用计算出的畸变模型估计(u,v)的畸变量(Δu,Δv)，并存入畸变矩阵D中的对应位置，如下式所示，同时记插值后的畸变矩阵为非轴对称相机的畸变描述优化矩阵D*：
Figure FDA0003521810810000048
r2＝(u-u0)2+(v-v0)2
其中，r表示像素点(u，v)距图像主点(u0,v0)的径向距离；
步骤三：关键焦距的选取；
将PTZ摄像机镜头焦距的变焦范围划分为若干等分，得到划分后的n个焦距值f1,f2,…,fn，其中f1表示镜头最小焦距，fn表示最大焦距；关键焦距的选取具体为：
3.1：焦距值f1,f2,…,fn确定出区间[f1,fn]，同时将f1,fn选为关键焦距，并确定该区间的中点，即从n个焦距值f1，f2,…,fn中找出中间焦距值fc；
3.2：判断f1,fn对应的畸变描述优化矩阵
Figure FDA0003521810810000049
之间是否可以进行畸变描述优化矩阵的线性插值；
利用焦距值f1,fc,fn下采集到的图像，分别得到f1,fc,fn对应的畸变描述优化矩阵
Figure FDA0003521810810000051
Figure FDA0003521810810000052
利用插值确定出fc对应畸变描述优化矩阵的估计值
Figure FDA0003521810810000053
插值公式如下所示：
Figure FDA0003521810810000054
计算
Figure FDA0003521810810000055
与
Figure FDA0003521810810000056
之间的差值矩阵
Figure FDA0003521810810000057
如下式所示：
Figure FDA0003521810810000058
将差值矩阵
Figure FDA0003521810810000059
划分区域，求出每个区域内的算术平均值Mk，同时为每个区域设立一个第三阈值εk，判别如下所示：
a.若每个区域都满足|Mk|≤εk，则认为fc不为关键焦距；
b.若至少有一个区域满足|Mk|＞εk，则fc选为关键焦距；
3.3：重复步骤3.1对相邻关键焦距组成的区间，确定出中间焦距，并通过步骤3.2的判定过程决定该中间焦距是否为关键焦距，不断重复此过程选出所有的关键焦距；
步骤四：非标定视场基准点自动获取；
4.1：在任意焦距fany下，转动PTZ摄像机，拍摄N张图像；
4.2：利用任意焦距fany下的畸变描述优化矩阵
Figure FDA00035218108100000510
对所有图像进行畸变校正，得到校正后的图像Ia，a＝1,…,N，并从中挑出一张图像作为参考图像Iref，将对应于参考图像Iref的摄像机坐标系定义为参考坐标系；
4.3：通过特征匹配确定N幅图像Ia相对于参考图像Iref的单应性矩阵Ha，使其满足下式：
xref＝Haxa
其中，xa表示图像Ia中图像特征点的齐次坐标，xref表示参考图像Iref中对应特征点的齐次坐标；
4.4：对于每幅图像Ia，提取出若干个在图像Ia中均匀分布的SIFT特征点，由下式计算出这些SIFT特征点在参考坐标系下的方向矢量direction：
Figure FDA0003521810810000061
其中，(u，v)表示待估计畸变量的像素点坐标；(X,Y)表示图像Ia中SIFT特征点在以毫米为单位的图像坐标系中的坐标；将已知方向矢量的SIFT特征点作为新的基准点，得到覆盖整个摄像机视场的基准点；
步骤五：PTZ摄像机在线标定；
具体为：
步骤5.1：特征匹配；
对待标定图像I'进行SIFT特征提取，并与基准点的特征描述符进行特征匹配，确定图像I'中基准点的图像坐标；
步骤5.2：摄像机焦距自动识别；
选择最接近图像中心的两个基准点，通过下式求出此时摄像机的焦距f'：
Figure FDA0003521810810000062
Figure FDA0003521810810000063
其中，(ub,vb)表示两个基准点的图像坐标；(Xb,Yb)表示两个基准点在以毫米为单位的图像坐标系中的坐标，b＝1,2；direction1,direction2表示两个基准点的方向矢量；夹角θ表示两个基准点与摄像机光心连线的夹角；dx,dy分别表示每一个像素沿图像在u轴与v轴方向的物理尺寸；(u0,v0)表示图像主点；f为PTZ摄像机焦距范围内的某一固定焦距；
步骤5.3：插值得到图像I'的内参矩阵与畸变描述优化矩阵；
得到焦距f'后，假设f'处在关键焦距fp,fq之间，p＜q，通过下式求得图像I'的内参矩阵KI'与畸变描述优化矩阵
Figure FDA0003521810810000064
Figure FDA0003521810810000065
Figure FDA0003521810810000066
其中，Kp,Kq分别表示fp,fq对应的内参矩阵；
Figure FDA0003521810810000071
分别表示fp,fq对应的畸变描述优化矩阵。
CN201810476150.8A 2018-05-17 2018-05-17 一种ptz摄像机现场标定及定焦方法 Active CN108648241B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810476150.8A CN108648241B (zh) 2018-05-17 2018-05-17 一种ptz摄像机现场标定及定焦方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810476150.8A CN108648241B (zh) 2018-05-17 2018-05-17 一种ptz摄像机现场标定及定焦方法

Publications (2)

Publication Number Publication Date
CN108648241A CN108648241A (zh) 2018-10-12
CN108648241B true CN108648241B (zh) 2022-04-12

Family

ID=63756718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810476150.8A Active CN108648241B (zh) 2018-05-17 2018-05-17 一种ptz摄像机现场标定及定焦方法

Country Status (1)

Country Link
CN (1) CN108648241B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109559355B (zh) * 2018-12-04 2021-08-10 北京航空航天大学 一种基于相机组的无公共视场的多相机全局标定装置及方法
CN110095136B (zh) * 2019-03-27 2023-12-01 苏州德沃物流科技有限公司 融合imu位姿修正的双目视觉三维重建标定装置和方法
CN110458893B (zh) * 2019-07-29 2021-09-24 武汉光庭信息技术股份有限公司 高级辅助驾驶视觉感知传感器的横滚角标定方法及系统
CN110689582B (zh) * 2019-09-03 2023-06-09 天津大学 全站仪摄像机标定方法
CN111028296B (zh) * 2019-11-07 2023-05-12 浙江大华技术股份有限公司 球机焦距值估算方法、装置、设备及存储装置
CN111311688A (zh) * 2020-01-22 2020-06-19 同济大学 一种基于双传感器变视轴监测装置的标定方法
CN111667540B (zh) * 2020-06-09 2023-04-18 中国电子科技集团公司第五十四研究所 一种基于行人头部识别的多摄像机系统标定方法
CN111815715A (zh) * 2020-07-03 2020-10-23 浙江大华技术股份有限公司 变焦云台摄像机的标定方法、装置及存储介质
CN111915685B (zh) * 2020-08-17 2023-10-31 沈阳飞机工业（集团）有限公司 一种变焦摄像机标定方法
CN113034617A (zh) * 2021-04-09 2021-06-25 北京爱笔科技有限公司 相机的焦距的获取方法及装置、设备
CN113240754B (zh) * 2021-06-01 2024-03-01 亮风台（上海）信息科技有限公司 确定ptz摄像装置的内参的方法、装置、设备及存储介质
CN116309868A (zh) * 2023-03-02 2023-06-23 北京瑞控信科技股份有限公司 一种鱼眼成像系统标定方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3104328A1 (en) * 2015-06-11 2016-12-14 Thomson Licensing Method and apparatus for camera calibration

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3104328A1 (en) * 2015-06-11 2016-12-14 Thomson Licensing Method and apparatus for camera calibration

Also Published As

Publication number Publication date
CN108648241A (zh) 2018-10-12

Similar Documents

Publication Publication Date Title
CN108648241B (zh) 一种ptz摄像机现场标定及定焦方法
CN105096329B (zh) 一种精确校正超广角摄像头图像畸变的方法
CN109767476B (zh) 一种自动对焦双目摄像头标定及深度计算方法
CN109903227B (zh) 基于相机几何位置关系的全景影像拼接方法
CN100557635C (zh) 一种基于柔性立体靶标的摄像机标定方法
CN102376089B (zh) 一种标靶校正方法及系统
CN107194991B (zh) 一种基于骨架点局域动态更新的三维全局可视化监控系统构建方法
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
US7479982B2 (en) Device and method of measuring data for calibration, program for measuring data for calibration, program recording medium readable with computer, and image data processing device
CN107194974B (zh) 一种基于多次识别标定板图像的多目相机外参标定精度的提高方法
CN105716542B (zh) 一种基于柔性特征点的三维数据拼接方法
Zhang et al. A robust and rapid camera calibration method by one captured image
CN109272574B (zh) 基于投影变换的线阵旋转扫描相机成像模型构建方法和标定方法
CN106482640B (zh) 一种一体机芯光轴校正的装置和方法
CN110415278B (zh) 直线移动ptz相机辅助双目ptz视觉系统的主从跟踪方法
CN112949478A (zh) 基于云台相机的目标检测方法
JP4960941B2 (ja) 放送用バーチャルスタジオのズームレンズ搭載カメラのカメラキャリブレーション装置、その方法およびそのプログラム
CN113920205B (zh) 一种非同轴相机的标定方法
CN110415304B (zh) 一种视觉标定方法及系统
CN110736447B (zh) 一种集成式图像采集设备竖直方向水平位置检校方法
CN110874854B (zh) 一种基于小基线条件下的相机双目摄影测量方法
CN113947638B (zh) 鱼眼相机影像正射纠正方法
CN112929626B (zh) 一种基于智能手机影像的三维信息提取方法
CN114283203A (zh) 一种多相机系统的标定方法及系统
CN113920206A (zh) 透视移轴相机的标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant