CN113989381A - 一种基于改进的海鸥算法的多相机标定方法 - Google Patents
一种基于改进的海鸥算法的多相机标定方法 Download PDFInfo
- Publication number
- CN113989381A CN113989381A CN202111167667.7A CN202111167667A CN113989381A CN 113989381 A CN113989381 A CN 113989381A CN 202111167667 A CN202111167667 A CN 202111167667A CN 113989381 A CN113989381 A CN 113989381A
- Authority
- CN
- China
- Prior art keywords
- algorithm
- gull
- individual
- camera
- camera calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种基于改进的海鸥算法的多相机标定方法,在传统海鸥算法的基础上,采取了自适应参数差分进化算法对参数进行优化以解决算法局部收敛的问题,提出了一种基于SOA‑SaDE融合算法的多相机标定优化方法,并且将张正友标定法、SOA算法和本发明所提出的SOA‑SaDE融合算法进行分析比较。本发明可以准确有效地对相机内参数进行优化,也可以应用于多维非线性问题优化的求解。
Description
技术领域
本发明属于机器视觉技术领域,特别涉及一种基于改进的海鸥算法的多相机标定方法。
背景技术
多相机广泛应用到各个领域,多相机的融合可以提供范围更为宽广的实时场景信息,相机作为机器视觉的重要工具,提高相机的标定精度是其研究的重点,更高精度的相机标定,更有利于相机图像匹配、识别定位等后续操作的精度。
相机标定计算是一个多维的非线性问题,每一幅标定图像都对应着不同的外参数,因此在对标定点进行反投影的过程中,难以找到具体的计算方程。常见的优化算法如拟牛顿法等,必须依赖具体的函数形式,不能适用于相机标定的优化,因此,研究者们多聚焦于使用粒子群算法对相机标定结果进行优化。
海鸥算法(SOA)是一种元启发式算法,适用于求解多参数的目标优化问题,采用传统海鸥算法寻优时,初始海鸥群具有很强的随机性,但是寻优过程效率低且易陷入局部最优。
R.Storn和K.Price在1995提出了差分进化算法,使用差分进化算法可以实现对多目标的优化,实现对多维空间中目标整体最优解的求解。
发明内容
本发明的目的在于提供一种基于改进的海鸥算法的多相机标定方法,解决相机标定过程中存在着标定精度不足,准确性差的问题,实现相机内参数优化。
实现本发明目的的技术解决方案为:一种基于改进的海鸥算法的多相机标定方法,包括以下步骤:
步骤1、对拍摄得到的图片进行图像预处理;
步骤2、求解内参数的初值,将海鸥种群初始化成N个不同的海鸥个体,初始化种群位置和最大迭代次数;
步骤4、利用海鸥算法更新海鸥个体位置;
步骤5、利用改进的差分进化算法—自适应差分进化算法更新海鸥个体位置;
步骤6、检查达到最大迭代次数或满足收敛条件,若满足,输出最优解;否则,返回步骤3。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于改进的海鸥算法的多相机标定方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现上述基于改进的海鸥算法的多相机标定方法的步骤。
本发明与现有技术相比,其显著优点为:1)本发明提比传统方法的重投影误差更小,标定精度更高。2)本发明鲁棒性强,可重复使用,能较好的改善普通海鸥算法的局部收敛的问题,得到更好结果。3)本发明对相机内参优化有着良好的准确性和可行性。4)本发明提出的算法可以与实际工程案例结合,能准确、有效地用于多维非线性问题优化求解。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为本发明基于改进的海鸥算法的多相机标定方法流程图。
图2为部分标定图片。
图3为SOA迭代500次、1000次目标函数曲线图。
图4为SOA-SaDE迭代500次、1000次目标函数曲线图。
具体实施方式
本发明提出一种基于改进的海鸥算法的多相机标定方法,在传统海鸥算法(SOA)的基础上,采取了自适应参数差分进化算法(SaDE)对参数进行优化以解决算法局部收敛的问题,提出了一种基于SOA-SaDE融合算法的多相机标定优化方法,并且将张正友标定法、SOA算法和本发明所提出的SOA-SaDE融合算法进行分析比较。本发明可以准确有效地对相机内参数进行优化,也可以应用于多维非线性问题优化的求解。
下面结合附图对本发明的技术方案进行详细说明。
如图1所示,一种基于改进的海鸥算法的多相机标定优化的方法,包括以下步骤:
步骤1、结合图2,对拍摄得到的图片进行图像预处理操作,使用python-opencv安装包中的相关函数对图片依次进行灰度化处理、角点提取、边界检测,实现相机处标定。
步骤2、求解内参数fx,fy,u0,v0,k1,k2,k3,p1,p2的初值,然后将海鸥种群初始化成N个不同的海鸥个体,初始化种群位置和参数A、B和Maxinternation,设置相应参数fc、u、v,具体为:
步骤2-1、根据相机成像关系和相机内部关系fx=fc1/dx,fy=fc2/dy,得到fx,fy,u0,v0的初值。其中fc1和fc2是相机焦距;dx和dy是像素的物理长度;u0和v0是相机光轴和图像平面交点。
相机成像关系式为:
其中,zc为物距,xd,yd为像素坐标系,xw、yw、zw为世界坐标系,R、T为图像旋转平移矩阵;
由于该初值是在理想条件下求得,需要引入畸变系数k1,k2,k3,p1,p2加以校正,其中k1,k2,k3为径向畸变系数,p1,p2为切向畸变系数;
利用径向畸变数学模型
和切向畸变数学模型
求得畸变下的初值;
其中,[xu,yu]图像归一化平面任一点p的坐标,r为点p与坐标系原点之间的距离。
步骤2-2、假设用G=0,1,2.....Gmax表示进化代数,则当前代数下种群中第i个个体表示为
xj,i,0=xj,min+randi,j[0,1]*(xj,max-xj,min) (6)
步骤2-3、利用张正友法得到的标定参数,对参数设定上下区间,限定范围,初始化参数A、B和Maxinternation。设置相应参数fc=2,u=1,v=1。其中,A是附加变量,代表海鸥在给定搜索空间中的迁徙行为;B是平衡算法探索和开发能力的重要算参数;Maxinternation是最大迭代次数;fc是一个超参数;u和v是螺旋形状的相关常数。
步骤3、初始化当前迭代次数,使得迭代次数从0开始;由适应度函数求得本次迭代最优个体适应度值和下一次迭代最优个体适应度值并进行比较,若则进行步骤4,采用SOA进行寻优;否则,进行步骤5,采用SaDE进行寻优,这样可以提高搜索精度,避免种群陷入局部极值,并在后期迭代中维持种群多样性,具体为:
步骤4-1、设置初始化当前迭代次数t=0;
步骤4-2、首先建立相机标定问题的目标函数:
其中pij为图像的匹配点,p为pij对应的重投影点。
根据目标函数获得适应度函数以求得迭代最优个体适应度值,定义适应度函数为:
其中(x,y)即通过角点提取算法得到的实际像素坐标点;(u,v)是通过相机成像关系计算得到的像素坐标点;m为角点总数。
步骤4、利用海鸥算法更新海鸥个体位置,初始化种群位置PS和相关参数设定相关参数,获得海鸥的移动位置DS;,结合海鸥捕猎食物时做螺旋运动时的空间位置,获得整体海鸥位置,具体为:
步骤4-1、更新海鸥最优个体位置,具体为
A=fc-(x*fc/Maxiteration) (9)
B=2*A2*rand (10)
Ms=B×(Pbest(x)-Ps(x)) (11)
Cs=A*Ps(x) (12)
Ds=|Cs+Ms| (13)
其中,rand是[0,1]范围内的随机数,Cs表示不与其他海鸥存在位置冲突的新位置,Ps表示海鸥当前位置,Ms表示个体向最佳海鸥的收敛方向,Pbest(x)表示最优搜索代理的位置,Ds是海鸥的新位置,使用(9)—(13)5个公式计算获得迁徙过程中海鸥的位置;
步骤4-2、在攻击猎物时,海鸥会进行螺旋形状运动,通过螺旋方程获得海鸥在三维空间中的具体位置,运动方程式如下:
x=r1*cos(k) (14)
y=r1*sin(k) (15)
z=r1*k (16)
r1=u*ekv (17)
其中r1是每个螺旋的半径,k是[0,2π]范围内的随机角度值。u和v是螺旋形状的相关常数,e是自然对数的底数。
步骤4-3、结合海鸥新位置,得到整体海鸥位置更新公式如下:
Ps(x)=(Ds*x*y*z)+Pbest(x) (18)
步骤5、利用改进的差分进化算法——自适应差分进化算法更新海鸥个体位置,自适应差分进化算法中引入了可自适应控制参数,使得F和Cr不在是常数,适合解决复杂的高维问题,具体为:
选择过程根据适应度函数的值通过将子个体与相应的父个体进行比较,从每次迭代中选择适应度更高的作为下一代,选择方式如下:
其中F是变异尺度因子,用于对差分矢量进行缩放,从而控制搜索步长;Cr是交叉概率因子,可以增强种群的多样性,Cr的取值一般在区间[0,1]中,randi,j[0,1]是[0,1]区间均匀分布的随机数。
以上可知,参数F和Cr影响优化效果,本文中引入可自适应控制参数来确定F和Cr,表达式如下:
步骤6、检查达到最大迭代次数或满足收敛条件,若满足,输出最优解;否则,返回步骤3。
张正友标定法标定结果如下表所示:
SOA算法和SOA-SaDE算法迭代500次的相机内参标定结果如下表所示:
SOA算法和SOA-SaDE算法迭代1000次的相机内参标定结果如下表所示:
计算优化后的重投影误差如下表所示:
结合图3、图4可知,SOA算法收敛速度快,但是易陷入局部最优,SOA-SaDE算法对于局部最优问题有效处理,能够跳出局部最优,向着全局最优解继续收敛。当图像曲线趋于平缓时,则其已经接近求解的最优目标值。由表可知,SOA算法和SOA-SaDE算法都能对张定友标定法的结果实现良好的优化,SOA-SaDE算法效果普遍优于SOA算法,它鲁棒性强,可重复使用,能较好的改善普通SOA算法的局部收敛的问题,得到更好结果。
Claims (8)
2.根据权利要求1所述的基于改进的海鸥算法的多相机标定方法,其特征在于,步骤1具体为:对拍摄得到的图片依次进行灰度化处理、角点提取、边界检测。
3.根据权利要求1所述的基于改进的海鸥算法的多相机标定方法,其特征在于,步骤2具体为:
步骤2-1、根据相机成像关系和相机内部关系,令fx=fc1/dx,fy=fc2/dy,其中fc1和fc2是相机焦距;dx和dy是像素的物理长度;u0和v0是相机光轴和图像平面交点;
相机成像关系式为:
其中,zc为物距,xd,yd为像素坐标系,xw、yw、zw为世界坐标系,R、T为图像旋转平移矩阵;
引入畸变系数加以校正,k1,k2,k3为径向畸变系数,p1,p2为切向畸变系数;
利用径向畸变数学模型
和切向畸变数学模型
求得畸变下的初值;
其中,[xu,yu]图像归一化平面任一点p的坐标,r为点p与坐标系原点之间的距离;
步骤2-2、假设用G=0,1,2.....Gmax表示进化代数,则当前代数下种群中第i个个体表示为
xj,i,0=xj,min+randi,j[0,1]*(xj,max-xj,min) (6)
步骤2-3、利用张正友法得到的标定参数,对参数设定上下区间,限定范围,初始化参数A、B和Maxinternation;设置相应参数fc=2,u=1,v=1;其中,A是附加变量,代表海鸥在给定搜索空间中的迁徙行为;B是平衡算法探索和开发能力的重要算参数;Maxinternation是最大迭代次数;fc是一个超参数;u和v是螺旋形状的相关常数。
5.根据权利要求1所述的基于改进的海鸥算法的多相机标定方法,其特征在于,步骤4具体为:
步骤4-1、更新海鸥最优个体位置,具体为
A=fc-(x*fc/Maxiteration) (9)
B=2*A2*rand (10)
Ms=B×(Pbest(x)-Ps(x)) (11)
Cs=A*Ps(x) (12)
Ds=|Cs+Ms| (13)
其中,rand是[0,1]范围内的随机数,Cs表示不与其他海鸥存在位置冲突的新位置,Ps表示海鸥当前位置,Ms表示个体向最佳海鸥的收敛方向,Pbest(x)表示最优搜索代理的位置,Ds是海鸥的新位置,使用(9)—(13)计算获得迁徙过程中海鸥的位置;
步骤4-2、通过螺旋方程获得海鸥在三维空间中的具体位置,运动方程式如下:
x=r1*cos(k) (14)
y=r1*sin(k) (15)
z=r1*k (16)
r1=u*ekv (17)
其中r1是每个螺旋的半径,k是[0,2π]范围内的随机角度值,u和v是螺旋形状的相关常数;
步骤4-3、结合海鸥新位置,得到整体海鸥位置更新公式如下:
Ps(x)=(Ds*x*y*z)+Pbest(x) (18)
6.根据权利要求1所述的基于改进的海鸥算法的多相机标定方法,其特征在于,步骤5具体为:
选择过程根据适应度函数的值通过将子个体与相应的父个体进行比较,从每次迭代中选择适应度更高的作为下一代,选择方式如下:
其中F是变异尺度因子,用于对差分矢量进行缩放,从而控制搜索步长;Cr是交叉概率因子,Cr的取值在区间[0,1]中,randi,j[0,1]是[0,1]区间均匀分布的随机数;
引入可自适应控制参数来确定F和Cr,表达式如下:
7.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1~6中任一项所述基于改进的海鸥算法的多相机标定方法的步骤。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1~6中任一项所述基于改进的海鸥算法的多相机标定方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111167667.7A CN113989381A (zh) | 2021-10-07 | 2021-10-07 | 一种基于改进的海鸥算法的多相机标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111167667.7A CN113989381A (zh) | 2021-10-07 | 2021-10-07 | 一种基于改进的海鸥算法的多相机标定方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113989381A true CN113989381A (zh) | 2022-01-28 |
Family
ID=79737638
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111167667.7A Pending CN113989381A (zh) | 2021-10-07 | 2021-10-07 | 一种基于改进的海鸥算法的多相机标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113989381A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114240806A (zh) * | 2022-02-24 | 2022-03-25 | 北京盈通恒信电力科技有限公司 | 用于图像灰度化的方法及装置、计算机设备、存储介质 |
-
2021
- 2021-10-07 CN CN202111167667.7A patent/CN113989381A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114240806A (zh) * | 2022-02-24 | 2022-03-25 | 北京盈通恒信电力科技有限公司 | 用于图像灰度化的方法及装置、计算机设备、存储介质 |
CN114240806B (zh) * | 2022-02-24 | 2022-05-10 | 北京盈通恒信电力科技有限公司 | 用于图像灰度化的方法及装置、计算机设备、存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Choi et al. | Attentional correlation filter network for adaptive visual tracking | |
Johns et al. | Deep learning a grasp function for grasping under gripper pose uncertainty | |
Christiansen et al. | Unsuperpoint: End-to-end unsupervised interest point detector and descriptor | |
Chin et al. | Incremental kernel principal component analysis | |
Li et al. | Hopfield neural networks for affine invariant matching | |
JP5024767B2 (ja) | 三次元モデルの検索方法、コンピュータプログラム及び三次元モデルの検索システム | |
CN108509848A (zh) | 三维物体的实时检测方法及系统 | |
CN113962858B (zh) | 一种多视角深度获取方法 | |
GB2586869A (en) | Scene representation using image processing | |
CN109886297A (zh) | 一种用于从二维图像识别三维模型对象的方法 | |
CN113989381A (zh) | 一种基于改进的海鸥算法的多相机标定方法 | |
CN112364881A (zh) | 一种进阶采样一致性图像匹配算法 | |
US20100322472A1 (en) | Object tracking in computer vision | |
Łępicka et al. | Utilization of colour in ICP-based point cloud registration | |
CN115661218B (zh) | 一种基于虚拟超点的激光点云配准方法和系统 | |
Chen et al. | 3D object classification with point convolution network | |
CN114118181B (zh) | 一种高维回归点云配准方法、系统、计算机设备及应用 | |
Ke | An efficient and accurate DDPG-based recurrent attention model for object localization | |
Nguyen et al. | Focustune: Tuning visual localization through focus-guided sampling | |
CN111414802B (zh) | 蛋白质数据特征提取方法 | |
CN111178299B (zh) | 图像处理方法、装置、电子设备和存储介质 | |
CN113034675A (zh) | 一种场景模型构建方法、智能终端及计算机可读存储介质 | |
Picos et al. | Evolutionary correlation filtering based on pseudo-bacterial genetic algorithm for pose estimation of highly occluded targets | |
CN114881314B (zh) | 基于多方向逼近的配方优化方法 | |
Feng et al. | 3D reconstruction of plants using probabilistic voxel carving |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |