CN110782498A - 一种视觉传感网络的快速通用标定方法 - Google Patents
一种视觉传感网络的快速通用标定方法 Download PDFInfo
- Publication number
- CN110782498A CN110782498A CN201910917799.3A CN201910917799A CN110782498A CN 110782498 A CN110782498 A CN 110782498A CN 201910917799 A CN201910917799 A CN 201910917799A CN 110782498 A CN110782498 A CN 110782498A
- Authority
- CN
- China
- Prior art keywords
- calibration
- camera
- cameras
- coordinate system
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 230000000007 visual effect Effects 0.000 title claims abstract description 42
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 238000012216 screening Methods 0.000 claims abstract description 5
- 239000006185 dispersion Substances 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000009499 grossing Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 abstract description 12
- 238000013461 design Methods 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 238000002474 experimental method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000004088 simulation Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 238000013519 translation Methods 0.000 description 8
- 239000011324 bead Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开一种视觉传感网络的快速通用标定方法,包括如下步骤:步骤一、视觉传感网络的内参标定;步骤二、双摄像机标定;步骤三、多摄像机标定;步骤四、全局标定。本发明方法所覆盖的范围广;其次,本发明要求摄像机内参标定在整个系统布局之前完成,即将摄像机内参作为已知量,减小待优化变量个数,可以简化整个优化过程;再次,在特征点对的最优提取过程中,本发明提出了一种基于k‑means++算法来筛选出k组分散均匀的匹配点对,效率上更高;最后在多摄像机标定过程中,无向连接图的创建是以双摄像机标定的反投影误差作为权重值,提高了优化效率。因此本发明标定工具结构简单,易于设计与制作,标定过程简单便捷,标定精度高。
Description
技术领域
本发明涉及一种视觉传感网络的快速通用标定方法,属于视觉传感网络领域。
背景技术
随着电子器件、通讯技术以及信号处理等技术的不断发展,视觉传感网络在各个方面得到广泛的应用,比如民用跟踪、视觉定位、交通流量监测、运动捕捉系统等。视觉传感网络由多个摄像机组成,每个摄像机可以对其视场范围内的局部区域进行观测并反馈数据,基于所有摄像机获取得到的图像数据,可以开发各种应用。对于某些要求大范围跟踪定位的应用,视觉传感网络的摄像机参数标定是至关重要的环节,其标定结果的精度以及算法的稳定性直接影响着摄像机工作产生结果的准确性,直接决定了后续基于图像来测量环境特征的结果好坏。现有的标定方法大多依赖于高精度的标准件(比如电子经纬仪,红外扫描仪),该方法虽然精度高,但是这些标准件的加工精度要求高,增加成本,而且在标定过程中安装复杂。而且目前大多标定方法仅仅针对于某些特定的摄像机,比如普通针孔摄像机或者广角摄像机,适应范围受限。因此,本申请提出了一种视觉传感网络的快速通用标定方法,该方法广泛适用于普通、广角和鱼眼摄像机,而且不需要依赖高精度的标准件,仅需要结构简单的一维标定杆和二维三角板,操作快速简便,标定结果精确。
中国发明专利ZL201310303466.4(以下称“在先专利”),提出了一种基于一维标定杆的普通、广角、鱼眼立体摄像机的通用标定方法,该方法利用简化的摄像机模型,内参数目少,在镜头有大畸变的时候不适合,而且内参数作为优化变化,增加优化难度;多摄像机标定算法简单,扩展性差,不适宜大范围标定。
发明内容
本发明提供了一种视觉传感网络的快速通用标定方法,它解决了在大视场范围内多摄像机系统全局标定困难的问题,而且该方法适用于大部分摄像机模型,比如常用的针孔摄像机以及广角摄像机,标定工具结构简单,易于设计与制作,标定过程简单便捷,标定精度高,实用性好。
本发明一种视觉传感网络的快速通用标定方法,具体步骤如下:
步骤一、视觉传感网络的内参标定
本部分的主要目的是利用标准棋盘格,对视觉传感网络中用的摄像机进行内参数标定,即估计每个摄像机的内参数其中,mu,mv分别为水平方向和垂直方向上单位长度的像素数目,u0,v0为主点坐标。k1,k2,k3,k4,k5是公式(3)中的参数,这九个参数表征摄像机的内参数。其中上标i表示摄像机序号,即总共有M个摄像机。内参数标定完成后,在整个标定过程中其值保持不变;即提前对每个摄像机进行内参数标定,在后续多相机系统的标定当中,这些标定的内参数直接作为已知量,减小待优化变量个数,大大简化整个优化过程。
步骤二、双摄像机标定
S21、特征点的检测与提取
首先,利用OpenCV自带的函数对图像数据预处理,依次包括阈值化处理cv::threshold函数、高斯平滑处理cv::GaussianBlur函数、轮廓获取cv::findContours函数;然后提取每个轮廓的中心点作为特征点坐标;
S22、最优匹配点对的获取:根据步骤S21可以得到两个摄像机获取的特征点对,然后根据三点共线原则以及长度比例关系剔除掉一部分特征点对,得到一系列匹配点对。接着基于k-means++算法筛选出k组分散均匀的匹配点对。流程如下:
(4)重复步骤(3)直到选择出k个聚类中心。
S24、捆绑调整:上述过程中得到的解,可以通过捆绑调整,进一步提高标定精度。本步骤主要是根据摄像机模型(3)-(6)和三维重建公式(17),剔除部分误差大的图像点,并最小化所有点的重投影误差,最后对摄像机参数和三维空间点同时进行整体优化。
步骤三、多摄像机标定
S31、根据双摄像机标定构建无向连接图
首先对所有的摄像机分别进行两两标定,得到每组摄像机的反投影误差,将此误差作为权重,构建该视觉传感网络的无向连接图;图中每个顶点表示单个摄像机,每条边代表权重值,由求出来的反投影误差表示;
S32、外参数的初始化
根据构建的无向连接图,利用Dijkstra最短路径法来寻找参考摄像机到其它摄像机的最优路径,结合双摄像机标定结果,可以得到参考摄像机到其它摄像机的转换关系;
S33、捆绑调整步骤四、全局标定
全局标定是利用标定三角板,设置原点,将参考坐标系从第0号摄像机变换到三角板所建立的地球固连坐标系{e}={oexeyeze}。具体过程如下:
将三角板水平任意放置在地面,其上设置四个反光小球是为了重建各个摄像机坐标系相对于惯性坐标系的外参数;根据四个反光小球四点的空间位置关系,可以知道他们分别在惯性坐标系下的空间坐标eM。
求出,里面只有变量则可以直接利用反投影得到M点在第i号摄像机的图像坐标,接着直接利用LM算法最小化重投影误差得到最后,根据公式(ii)可以得到所有摄像机相对于地球固连坐标系的位姿信息即我们需要求解的。
本发明提出的针对一种视觉传感网络的快速通用标定方法,优点在于:标定工具结构简单,易于设计与制作,标定过程简单便捷,标定精度高,实用性好;具体如下:
首先本发明针对的是一种大范围的视觉传感网络的标定研究,方法所覆盖的范围进一步扩大;其次,本发明要求摄像机内参标定在整个系统布局之前完成,即将摄像机内参作为已知量,减小待优化变量个数,可以简化整个优化过程;再次,在特征点对的最优提取过程中,本发明设计了一种基于k-means++算法来筛选出k组分散均匀的匹配点对,相比在先专利在效率上更高;最后,在多摄像机标定过程中,无向连接图的创建是以双摄像机标定的反投影误差作为权重值,提高了优化效率。
附图说明
图1是坐标系示意图;
图2a、2b是本发明所利用的标定工具;
图3a、3b是摄像机通用投影模型;
图4是本发明的流程示意图;
图5是摄像机标定所用的二维棋盘格靶标示意图;
图6是仿真实验中视觉传感网络的一组无向连接图以及最短路径示意图
图7是真实实验中视觉传感网络的一组无向连接图以及最短路径示意图
图中符号说明如下:
图1中的符号说明:{e}={oexeyeze}为地球固连坐标系,为摄像机坐标系,Aj,Bj,Cj,j=1,2...N为空间自由移动的三个反射红外光小球,(aij,bij,cij)为第j帧图像中三个小球分别在第i个摄像机的投影点。
图2a、2b中的符号说明:A,B,C表示一维标定杆上的三个反红外光小球,D,E,F,G表示标定三角板上的四个反红外光小球,oe-xeye为地球固连坐标系的水平面。
图3a、3b中的符号说明:{ocxcyczc}表示摄像机坐标系,o-xy为图像坐标系,eP和cP分别表示空间点在地球固连坐标系和摄像机坐标系下的坐标,m为该点的球面坐标,p=[uv]T为该点在通用投影模型下的投影,p′为该点在线性模型下的投影,θ是光轴和入射光线的夹角,r是图像点和主点之间的距离,是径向方向和x轴正方向的夹角,为摄像机坐标系相对于地球固连坐标系的旋转矩阵和平移向量,mu,mv分别为水平方向和垂直方向上单位长度的像素数目,u0,v0为主点坐标,r(θ)在公式(3)中定义,其中k1,k2,k3,k4,k5为参数。
具体实施方式
本发明中针对的一种视觉传感网络是由多个智能摄像机构成,图像处理过程分别在各个摄像机端实时完成,组成一个分布式网络,共同覆盖监测某个大区域。在整个系统标定过程中,摄像机参数结构、位置以及方位都要求保持不变,一旦之后过程中有所变动,则需要重新进行标定。本发明中采用的部分理论知识如下:
1.坐标系定义
整个标定过程中坐标轴定义如图1所示。主要包括两个坐标系:地球固连坐标系{e}={oexeyeze}和摄像机坐标系其中i=0,1,…,M-1为摄像机序号,总共有M个摄像机。地球固连坐标系{e}是整个视觉传感器网络标定中的全局坐标系,其满足右手坐标系原则,oexeye一般设置于水平面,该坐标系是有结构已知的标定三角板决定。摄像机坐标系{ci}固连在每个摄像机机体。整个标定过程中用到的标定工具如图2所示,其中图2a是一根结构已知的标定杆,其上有三个反射红外光小球A,B,C,且其结构LAC,LAB已知,该标定杆在视域范围内自由移动,每一帧的三个小球Aj,Bj,Cj,j=1,2...N分别在各个摄像机的投影点定义为(aij,bij,cij)。图2b是结构已知的二维标定三角板,其上有四个反红外光小球D,E,F,G且结构LDE,LEF,LEG已知。
2.摄像机通用模型
由于线性模型对于大广角的鱼眼摄像机不适用,因此,本发明采用一种适用于透视摄像机和鱼眼摄像机的通用成像模型,模型描述如下:
透视成像模型可以用下式表示:
r1(f,θ)=ftanθ(透视投影) (1)
其中,θ是光轴和入射光线的夹角,f是摄像机的焦距,r1(f,θ)是图像点和主点之间的距离。相比之下,鱼眼镜头经常被设计成如下成像模型中的某个:
事实上,实际使用的镜头不是严格满足公式(1)和(2)中的五种投影模型。本发明采用了一种适用于透视摄像机和鱼眼摄像机的通用成像模型为:
r(θ)=k1θ+k2θ3+k3θ5+k4θ7+k5θ9+… (3)
实验发现,前五项可以很好地近似各种投影模型。因此,本发明选取的模型参数中仅含有5个参数k1,k2,k3,k4,k5。注意此处与在先专利不同之处是:在先专利仅利用前两个参数k1,k2,模型过于简化,而在实际相机系统里面考虑到镜头畸变问题,本发明利用前五个参数的描述更加准确。
空间点cP在鱼眼摄像机的成像点为p,然而它在透视摄像机的成像点为p′。我们可以得到p在图像坐标系o-xy的坐标为
其中,mu,mv分别为水平方向和垂直方向上单位长度的像素数目,u0,v0为主点坐标。因此,公式(3)-(6)描述了本发明中的通用摄像机模型,对于每个摄像机,其需要标定的内参数为根据以上描述,图3b描述了相对于地球固连坐标系的空间三维点eP经过通用投影模型映射到图像上的二维像素点p的具体过程,后续的内参标定、三维重建过程都需要用到此过程,此过程可以抽象为如下函数
3.本质矩阵
由于m0j,m1j,是共面的,因此推导可得到
其中,
进一步,(9)式可以改写成如下形式
4.三维重建
那么,我们有
其中,s0,s1为尺度因子,且
对于单位球面上的每个图像点,尺度因子可以通过叉乘消除,这样产生三个方程,但只有两个是线性无关的。则可以得到如下线性方程组:
所以,对于m0,m1来说,可以推导出如下的四个独立方程
AM0=b (16)
M0=(ATA)-1ATb (17)
进一步来说,线性三维重建算法可以很容易地扩展到n(n>2)个摄像机的三维重建。
本发明一种视觉传感网络的快速通用标定方法,其主要流程见图4,主要包含以下三个部分:
1)视觉传感网络的内参标定
2)视觉传感网络外参标定
本部分的主要目的是利用一维标定杆在视场范围内自由移动,来标定视觉传感网络中每个摄像机相对于参考摄像机的位姿信息,假设0号摄像机确定为参考摄像机,则需要估计每个摄像机坐标系{ci}相对于参考摄像机坐标系{c0}的旋转矩阵和平移向量根据摄像机数目,可以分为双摄像机标定和多摄像机标定,注意在多摄像机标定过程中,算法仍然需要进行双摄像机标定,即首先对所有的两个摄像机进行双摄像机标定。
3)视觉传感网络全局标定
本发明提出了一种视觉传感网络的快速通用标定方法,其实现步骤具体如下:
步骤一:摄像机内参标定
在具体实现过程中,本发明利用二维棋盘格标定板(如图5)作为靶标,在摄像机视场内多角度移动靶标,用摄像机采集不同方位的靶标图像,保证整个靶标尽量占满图片。这样就可以得到图片序列(至少5张),接下来,直接利用https://github.com/DengMark/CameraCalibrator的摄像机标定工具箱进行标定,获取最终标定结果,我们需要标定的是每个摄像机的内参数mu,mv分别为水平方向和垂直方向上单位长度的像素数目,u0,v0为主点坐标。k1,k2,k3,k4,k5是公式(3)中的参数,这九个参数表征摄像机的内参数。其中上标i表示摄像机序号,即总共有M个摄像机内参数标定完成后,在整个标定过程中其值保持不变;即提前对每个摄像机进行内参数标定,在后续多相机系统的标定当中,这些标定的内参数直接作为已知量,减小待优化变量个数,大大简化整个优化过程。
步骤二:双摄像机标定
S21、特征点的检测与提取
首先,利用OpenCV自带的函数对图像数据预处理,依次包括阈值化处理cv::threshold函数、高斯平滑处理cv::GaussianBlur函数、轮廓获取cv::findContours函数。然后提取每个轮廓的中心点作为特征点坐标。利用图像矩的特点来计算中心坐标如下:
其中,图像矩的计算公式是:
其中,I(u,v)为图像在像素点(u,v)处的灰度值。
S22、最优匹配点对的获取
根据步骤S21可以得到两个摄像机获取的特征点对,然后根据三点共线原则以及长度比例关系剔除掉一部分特征点对,得到一系列匹配点对。接着基于k-means++算法筛选出k组分散均匀的匹配点对(区别于在先专利,可以大大提高有效匹配点对的质量),流程如下:
(8)重复步骤(3)直到选择出k个聚类中心。
S23、外参数的初始化
(1)像素坐标转换为球面坐标m0j,m1j
(2)由对应点求本质矩阵
判断出正确组合的方法为:一维标定物上的特征点在空间中必然位于两摄像机的前方,即通过三维重建公式(17)出来的空间点的Z坐标恒为正。
那么,会从观测量中去掉第j对图像。由于三维空间点Aj,Bj,Cj是共线的,它们之间存在如下关系
其中,φj,θj是以Aj为中心的球面坐标,nj=[sinφj cosθj sinφj sinθj cosφj]T表示一维杆的方向。
最终,捆绑调整最小化如下式所示的重投影误差
其中,
其中,分别表示三维点Aj,Bj,Cj在第i号摄像机上的成像点(根据公式(7)得到)。该优化问题可以利用稀疏的Levenberg-Marquardt算法来解决优化问题,稀疏LM算法的优化工具箱可以在http://users.ics.forth.gr/~lourakis/sparseLM/上下载。
步骤三:多摄像机标定
该步骤是在摄像机数目多余2个时候需要进行的,不过对于大视场范围的视觉传感网络,其摄像机总数目一般都大于2,因此在实际标定过程中需要本步骤。
1.根据双摄像机标定构建无向连接图
首先对所有的摄像机分别进行两两标定,得到每组摄像机的反投影误差,将此误差作为权重,构建该视觉传感网络的无向连接图。图中每个顶点表示单个摄像机,每条边代表权重值,由求出来的反投影误差表示。
2.外参数的初始化
根据构建的无向连接图,利用Dijkstra最短路径法来寻找参考摄像机到其它摄像机的最优路径,结合双摄像机标定结果,可以得到参考摄像机到其它摄像机的转换关系(以旋转矩阵和平移向量表示)。
如果从参考摄像机到某一摄像机的最优路径长度大于2(不能直接转换,需要中间的摄像机来转换),则可以依次使用公式来覆盖整个路径。
3.捆绑调整
捆绑调整最小化如下式所示的重投影误差:
其中,
步骤四:全局标定
全局标定是利用标定三角板,设置原点,将参考坐标系从第0号摄像机变换到三角板所建立的地球固连坐标系{e}={oexeyeze}。在实际操作中,一般是将三角板水平任意放置在地面(一般放置于所有摄像机覆盖区域中心处),其上的四个反光小球是为了重建各个摄像机坐标系相对于惯性坐标系的外参数。三角板示意图如图2b所示。根据四个反光小球即图中D,E,F,G四点的空间位置关系,可以知道他们分别在惯性坐标系下的空间坐标eM。
求出,里面只有变量则可以直接利用反投影得到M点在第i号摄像机的图像坐标,接着直接利用LM算法最小化重投影误差得到最后,根据公式(29)可以得到所有摄像机相对于地球固连坐标系的位姿信息即我们需要求解的。
至此,一种视觉传感网络的快速通用标定方法已经完成。
本发明提出了一种视觉传感网络的快速通用标定方法,并进行了仿真实验和真实实验验证。具体实施例如下:
1.仿真实验
仿真实验所用的电脑配置如下:Intel(R)Core(TM)i7-4790 CPU,主频3.6GHz,内存16GB;仿真所需的视觉数据是在Unity 3D平台上进行的(版本:Unity 5.6.0f3,64bit)。实验中采用8台摄像机覆盖10×10×2.5m区域,它们的相关参数一样,设置如下:图像分辨率640×480像素,焦距为4mm,像素尺寸为5.3μm,视场角为58.6°,帧率100Hz,摄像机采用本发明所提出的通用摄影模型,利用步骤一对摄像机内参进行标定,标定参数为:
仿真利用的标定工具如图2所示,我们在仿真中让标定杆自由移动,采集7000帧图像点数据,做了多组实验,最后记录每次标定后摄像机的反投影误差,结果见表1,误差表明反投影误差很小,在0.2个像素之内,说明本发明的标定算法精度高。同时,我们得到其中某一组标定中视觉传感网络的无向连接图以及最短路径示意图(见图6),每个相机都有到参考摄像机(0号摄像机)的最短路径(粗实线表示),且整个路径数量减小,说明本发明能够有效简化整个传感网络,获得比较好的结果。
表1仿真实验中摄像机标定时反投影误差(单位:像素)
另外,我们利用相同的点数据,将本发明方法与在先专利的方法进行多组实验对比,结果如表2,结果表明本发明的标定精度更高。
表2仿真实验中本发明与在先专利方法的反投影误差(单位:像素)
2.真实实验
真实实验采用5台摄像机覆盖5×5×2.5m的区域,摄像机均为CMOS智能摄像机(型号:SCZE130M-GEHD),图像分辨率为640×480像素,焦距为4mm(镜头型号:AZURE-0420MM),像素尺寸为5.3μm,视场角为77.32°,帧率100Hz,运行的电脑配置:Intel(R)Core(TM)i7-4790CPU,主频3.6GHz,内存16GB;摄像机采用本发明所提出的通用摄影模型。
真实实验中利用的标定工具如图2所示,我们在视场范围内自由挥动标定杆,采集7000帧图像点数据,做了多组实验,最后记录每次标定后摄像机的反投影误差,结果见表3,误差表明反投影误差很小,在0.3个像素之内,说明本发明的标定算法精度高。同时,我们得到其中某一组标定中视觉传感网络的无向连接图以及最短路径示意图(见图7),每个相机都有到参考摄像机(0号摄像机)的最短路径(粗实线表示),且整个路径数量减小,说明本发明能够有效简化整个传感网络,获得比较好的结果。
实验组 | 1 | 2 | 3 | 4 | 5 | 6 | 7 |
0号摄像机 | 0.2107 | 0.1952 | 0.2204 | 0.1664 | 0.2144 | 0.1768 | 0.1989 |
1号摄像机 | 0.2296 | 0.2266 | 0.2376 | 0.2347 | 0.2386 | 0.2318 | 0.2233 |
2号摄像机 | 0.2129 | 0.1935 | 0.2046 | 0.2006 | 0.2185 | 0.1855 | 0.1914 |
3号摄像机 | 0.2139 | 0.2834 | 0.2483 | 0.2422 | 0.2308 | 0.2418 | 0.2556 |
4号摄像机 | 0.3054 | 0.3022 | 0.3028 | 0.2855 | 0.2917 | 0.3181 | 0.2929 |
表3真实实验中摄像机标定时反投影误差(单位:像素)
最后,我们利用相同的点数据,将本发明方法与在先专利的方法进行多组实验对比,结果如表4,结果表明本发明的标定精度更高。
表4真实实验中本发明与在先专利方法的反投影误差(单位:像素)。
Claims (3)
1.一种视觉传感网络的快速通用标定方法,其特征在于:该方法的具体步骤如下:
步骤一、视觉传感网络的内参标定
步骤二、双摄像机标定
S21、特征点的检测与提取
首先,利用OpenCV自带的函数对图像数据预处理,依次包括阈值化处理cv::threshold函数、高斯平滑处理cv::GaussianBlur函数、轮廓获取cv::findContours函数;然后提取每个轮廓的中心点作为特征点坐标;
S22、最优匹配点对的获取:根据步骤S21可以得到两个摄像机获取的特征点对,然后根据三点共线原则以及长度比例关系剔除掉一部分特征点对,得到一系列匹配点对;接着基于k-means++算法筛选出k组分散均匀的匹配点对;
步骤三、多摄像机标定
S31、根据双摄像机标定构建无向连接图
首先对所有的摄像机分别进行两两标定,得到每组摄像机的反投影误差,将此误差作为权重,构建该视觉传感网络的无向连接图;图中每个顶点表示单个摄像机,每条边代表权重值,由求出来的反投影误差表示;
S32、外参数的初始化
根据构建的无向连接图,利用Dijkstra最短路径法来寻找参考摄像机到其它摄像机的最优路径,结合双摄像机标定结果,可以得到参考摄像机到其它摄像机的转换关系;
S33、捆绑调整;
步骤四、全局标定
全局标定是利用标定三角板,设置原点,将参考坐标系从第0号摄像机变换到三角板所建立的地球固连坐标系{e}={oexeyeze}。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910917799.3A CN110782498B (zh) | 2019-09-26 | 2019-09-26 | 一种视觉传感网络的快速通用标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910917799.3A CN110782498B (zh) | 2019-09-26 | 2019-09-26 | 一种视觉传感网络的快速通用标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110782498A true CN110782498A (zh) | 2020-02-11 |
CN110782498B CN110782498B (zh) | 2022-03-15 |
Family
ID=69384771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910917799.3A Active CN110782498B (zh) | 2019-09-26 | 2019-09-26 | 一种视觉传感网络的快速通用标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110782498B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112053406A (zh) * | 2020-08-25 | 2020-12-08 | 杭州零零科技有限公司 | 成像装置参数标定方法、装置及电子设备 |
CN112925223A (zh) * | 2021-02-03 | 2021-06-08 | 北京航空航天大学 | 基于视觉传感网络的无人机三维跟踪虚拟测试仿真系统 |
CN113643436A (zh) * | 2021-08-24 | 2021-11-12 | 凌云光技术股份有限公司 | 一种深度数据拼接融合方法及装置 |
CN114329855A (zh) * | 2020-11-06 | 2022-04-12 | 北京航空航天大学 | 一种无线视觉传感网络的传感器布局优化与快速部署方法 |
CN116912333A (zh) * | 2023-09-12 | 2023-10-20 | 安徽炬视科技有限公司 | 一种基于作业围栏标定杆的相机姿态自标定方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102034238A (zh) * | 2010-12-13 | 2011-04-27 | 西安交通大学 | 基于光学成像测头和视觉图结构的多摄像机系统标定方法 |
CN103426168A (zh) * | 2013-07-18 | 2013-12-04 | 北京航空航天大学 | 基于一维标定杆的普通、广角、鱼眼立体摄像机的通用标定方法 |
-
2019
- 2019-09-26 CN CN201910917799.3A patent/CN110782498B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102034238A (zh) * | 2010-12-13 | 2011-04-27 | 西安交通大学 | 基于光学成像测头和视觉图结构的多摄像机系统标定方法 |
CN103426168A (zh) * | 2013-07-18 | 2013-12-04 | 北京航空航天大学 | 基于一维标定杆的普通、广角、鱼眼立体摄像机的通用标定方法 |
Non-Patent Citations (3)
Title |
---|
QIANG FU 等: "Calibration of multiple fish-eye cameras using a wand", 《THE INSTITUTION OF ENGINEERING AND TECHNOLOGY》 * |
付强 等: "基于自由运动一维标定物的多摄像机参数标定方法与实验", 《控制理论与应用》 * |
胡浩 等: "大视场多像机视频测量系统的全局标定", 《光学 精密工程》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112053406A (zh) * | 2020-08-25 | 2020-12-08 | 杭州零零科技有限公司 | 成像装置参数标定方法、装置及电子设备 |
CN112053406B (zh) * | 2020-08-25 | 2024-05-10 | 杭州零零科技有限公司 | 成像装置参数标定方法、装置及电子设备 |
CN114329855A (zh) * | 2020-11-06 | 2022-04-12 | 北京航空航天大学 | 一种无线视觉传感网络的传感器布局优化与快速部署方法 |
CN114329855B (zh) * | 2020-11-06 | 2023-05-12 | 北京航空航天大学 | 一种无线视觉传感网络的传感器布局优化与快速部署方法 |
CN112925223A (zh) * | 2021-02-03 | 2021-06-08 | 北京航空航天大学 | 基于视觉传感网络的无人机三维跟踪虚拟测试仿真系统 |
CN113643436A (zh) * | 2021-08-24 | 2021-11-12 | 凌云光技术股份有限公司 | 一种深度数据拼接融合方法及装置 |
CN113643436B (zh) * | 2021-08-24 | 2024-04-05 | 凌云光技术股份有限公司 | 一种深度数据拼接融合方法及装置 |
CN116912333A (zh) * | 2023-09-12 | 2023-10-20 | 安徽炬视科技有限公司 | 一种基于作业围栏标定杆的相机姿态自标定方法 |
CN116912333B (zh) * | 2023-09-12 | 2023-12-26 | 安徽炬视科技有限公司 | 一种基于作业围栏标定杆的相机姿态自标定方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110782498B (zh) | 2022-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110782498B (zh) | 一种视觉传感网络的快速通用标定方法 | |
CN110728715B (zh) | 一种智能巡检机器人摄像机角度自适应调整方法 | |
TWI555379B (zh) | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 | |
CN113379822B (zh) | 一种基于采集设备位姿信息获取目标物3d信息的方法 | |
CN108520537B (zh) | 一种基于光度视差的双目深度获取方法 | |
Teller et al. | Calibrated, registered images of an extended urban area | |
CN107705252B (zh) | 适用于双目鱼眼图像拼接展开校正的方法及系统 | |
CN114399554B (zh) | 一种多相机系统的标定方法及系统 | |
CN107155341B (zh) | 三维扫描系统和框架 | |
CN108288292A (zh) | 一种三维重建方法、装置及设备 | |
JP7502440B2 (ja) | 環境のトポグラフィを測定するための方法 | |
CN109919911A (zh) | 基于多视角光度立体的移动三维重建方法 | |
CN105654547B (zh) | 三维重建方法 | |
CN112200203B (zh) | 斜视场下弱相关散斑图像的匹配方法 | |
CA2707176A1 (en) | Method and apparatus for rapid three-dimensional restoration | |
CN109859272A (zh) | 一种自动对焦双目摄像头标定方法及装置 | |
CN103426168B (zh) | 基于一维标定杆的普通、广角、鱼眼立体摄像机的通用标定方法 | |
CN109003235A (zh) | 光场图像的校正方法、计算机可读存储介质、及电子终端 | |
CN104537707A (zh) | 像方型立体视觉在线移动实时测量系统 | |
CN115937288A (zh) | 一种变电站三维场景模型构建方法 | |
CN109242898B (zh) | 一种基于图像序列的三维建模方法及系统 | |
CN111996883B (zh) | 一种检测公路路面宽度的方法 | |
CN109949232B (zh) | 图像与rtk结合的测量方法、系统、电子设备及介质 | |
CN104318604A (zh) | 一种3d图像拼接方法及装置 | |
CN113345084B (zh) | 三维建模系统及三维建模方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |