CN109785395A - 一种全景模型参数优化方法及系统 - Google Patents

一种全景模型参数优化方法及系统 Download PDF

Info

Publication number
CN109785395A
CN109785395A CN201910041391.4A CN201910041391A CN109785395A CN 109785395 A CN109785395 A CN 109785395A CN 201910041391 A CN201910041391 A CN 201910041391A CN 109785395 A CN109785395 A CN 109785395A
Authority
CN
China
Prior art keywords
point
parameter
video interception
picture
match
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910041391.4A
Other languages
English (en)
Inventor
董康
吴金勇
陈科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuojian Technology Co Ltd
Original Assignee
Shenzhen Zhuojian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhuojian Technology Co Ltd filed Critical Shenzhen Zhuojian Technology Co Ltd
Priority to CN201910041391.4A priority Critical patent/CN109785395A/zh
Publication of CN109785395A publication Critical patent/CN109785395A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种全景模型参数优化方法及系统。该全景模型参数优化方法使用速度快的LM(Levenberg Marquard)算法对每台相机的内外参数和畸变参数做优化,引入Levy飞行搜索机制,采用Levy飞行策略的步长改进参数,在参数空间进行邻域搜索,为LM算法提供初值,可以增加LM算法跳出局部最优的能力,克服LM的局部收敛的缺点,提高求解精度。另外,在相机的内外参数和畸变参数的优化过程中,将匹配点密集区域的点进行误差排序,去掉其中误差偏大的少部分点,同时在历次优化之后,误差排序排名一直垫底的少部分点也要去掉。以此逐步淘汰匹配不准的点,有效地提高精度。

Description

一种全景模型参数优化方法及系统
技术领域
本发明涉及视频处理技术领域,尤其涉及一种全景模型参数优化方法及系统。
背景技术
全景视频作为VR(虚拟现实)的数据源,对畸变的要求很高,很小的畸变在VR头盔里面很容易看到,影响体验效果。
为了兼顾速度和精度要求,使用速度快的LM(Levenberg Marquard)算法做优化,在低维空间可以使用随机初值,但是面对参数较多的高维度空间(一个参数即一个维度),LM算法容易陷入局部最优,需要多次迭代,因此,需要使用专门的搜索策略才能比较快地接近最优解,对全景模型进行优化以降低畸变。
发明内容
本发明所要解决的技术问题在于提供一种能够降低畸变、提高精度的全景模型参数优化方法及系统。
一方面,本发明提供一种全景模型参数优化方法,包括如下步骤:
S1,获取同一时间N个相机的视频截图图片,其中,N≥2;
S2,提取视频截图图片的特征点并进行特征点匹配,获取每张视频截图图片与其他视频截图图片正确匹配的匹配点;
S3,根据特征点坐标求解每台相机的内外参数初值;
S4,利用图像点和全景球之间的坐标关系,根据匹配点的图像坐标获取视频截图图片上所有匹配点在全景球上的同名点坐标;
S5,采用Levy飞行算法对每台相机的内外参数和畸变参数进行邻域搜索;
S6,以Levy飞行算法的搜索结果作为LM算法的输入初值,以误差函数最小化为目标,利用LM算法对每台相机的内外参数和畸变参数进行优化更新;
S7,若匹配点对的同名点坐标误差小于阈值或迭代次数达到最大迭代次数,停止迭代,输出每台相机优化后的内外参数和畸变参数。
另一方面,本发明提供全景模型参数优化系统,包括有:
图片获取模块,用于获取同一时间N个相机的视频截图图片,其中,N≥2;
特征提取及匹配模块,用于提取所有视频截图图片的特征点并进行特征点匹配,获取每张视频截图图片与其他视频截图图片正确匹配的匹配点;
内外参数初值求解模块,用于根据特征点坐标求解每台相机的内外参数初值;
同名点坐标求解模块,用于利用图像点和全景球之间的坐标关系,根据匹配点的图像坐标获取视频截图图片上所有匹配点在全景球上的同名点坐标;
Levy飞行搜索模块,用于采用Levy飞行算法对每台相机的内外参数和畸变参数进行邻域搜索;
LM优化模块,用于以Levy飞行算法的搜索结果作为LM算法的输入初值,以误差函数最小化为目标,利用LM算法对每台相机的内外参数和畸变参数进行优化更新;
参数输出模块,用于在优化迭代终止时,输出每台相机优化后的内外参数和畸变参数。
本发明的有益技术效果在于:本发明的全景模型参数优化方法引入Levy飞行搜索机制,采用Levy飞行策略的步长改进参数,在参数空间进行邻域搜索,为LM算法提供初值,可以增加LM算法跳出局部最优的能力,克服LM的局部收敛的缺点,提高求解精度。
附图说明
图1为本发明的全景模型参数优化方法的流程示意图;
图2为图1中步骤S102的子流程示意图;
图3为图1中步骤S103的子流程示意图;
图4为图1中步骤S106的子流程示意图;
图5为图1中步骤S110的子流程示意图;
图6为本发明的全景模型参数优化系统的结构框图;
图7为图6中的子模块特征提取及匹配模块的结构示意图;
图8为图6中的子模块内外参数初值求解模块的结构示意图;
图9为图6中的子模块LM优化模块模块的结构示意图;
图10为图6中的子模块匹配点删除模块的结构示意图.
具体实施方式
为使本领域的普通技术人员更加清楚地理解本发明的目的、技术方案和优点,以下结合附图和实施例对本发明做进一步的阐述。
如图1所示,在本发明一个实施例中,全景模型参数优化方法包括如下步骤:
S101,获取同一时间N个相机的视频截图图片,记为P1,P2,P3,...PN,其中,N≥2。
S102,提取所有视频截图图片的特征点并进行特征点匹配,获取每张视频截图图片与其他视频截图图片正确匹配的匹配点。如图2所示,所述步骤S20包括子步骤S1021、S1022和S1023。
S1021,分别提取每个视频截图图片的特征点,获取每张视频截图图片的特征点集。具体地,利用SIFT或SURF算法分别对P1,P2,P3,...PN进行纹理特征点提取,每张视频截图图片上提取的所有特征点组成特征点集。
S1022,分别将每张视频截图图片提取的特征点与其他N﹣1张视频截图图片提取的特征点集进行特征点匹配,获取每张视频截图图片的特征点与其他N﹣1张视频截图图片的特征点匹配上的匹配点。
具体地,将P1上的所有特征点分别与P2,P3,...PN上的特征点进行匹配,获得P1与P2,P3,...PN的特征点匹配上的特征点,即匹配点。同理地,将P2上的所有特征点分别与P1,P3,...PN上的特征点进行匹配,获得P2与P1,P3,...PN的特征点匹配上的特征点,以此类推,分别获取P1,P2,P3,...PN中的每张视频截图图片与其他N﹣1张视频截图图片的特征点匹配上的匹配点。
S1023,利用RANSAC算法对每张视频截图图片的特征点与其他N﹣1张视频截图图片的特征点匹配上的匹配点进行错配点剔除,得到每张视频截图图片与其他视频截图图片正确匹配的匹配点。
具体地,根据步骤S1022获取每张视频截图图片的特征点与其他N﹣1张视频截图图片的特征点匹配上的匹配点,由于是局部特征匹配会有错配点,采用RANSAC(随机抽样一致性)算法,使用匹配点拟合匹配图片对之间的单应矩阵,将错误匹配的点去掉,获得正确匹配的匹配点。
S103,根据特征点坐标求解每台相机的内外参数初值。如图3所示,所述步骤S103包括子步骤S1031和S1032。
S1031,从每张视频截图图片提取的特征点中选取n(n≥6)个特征点。
S1032,根据选取的n个特征点的坐标,利用线性标定方法,求解每台相机的内外参数初值。
S104,利用图像点和全景球之间的坐标关系,根据匹配点的图像坐标获取视频截图图片上所有匹配点在全景球上的同名点坐标。
具体地,将每张视频截图图片与其他视频截图图片正确匹配的所有匹配点投影到全景球上,根据对极几何和相机成像原理,图像点在相机坐标系中的坐标为(u,v),深度值为Zc,在全景球上的坐标为(Xw,Yw,Zw),二者满足:
根据上述公式,已知图像点坐标和相机的内外参数,可以计算得到全景球上同名点的坐标。
由于实际镜头存在畸变,主要是径向畸变。以广泛使用的多项式拟合畸变的方法,在摄像机坐标系下的归一化坐标上进行畸变校正。
Xcor=Xn(1+k1*r2+k2*r4+k3*r6)
Ycor=Yn(1+k1*r2+k2*r4+k3*r6)
(Xcor,Ycor)是消除畸变之后的坐标,其中(Xn,Yn)=(Xc/Zc,Yc/Zc),k1、k2、k3为畸变系数。
S105,采用Levy飞行算法对每台相机的内外参数和畸变参数进行邻域搜索。
Levy飞行是一种非高斯随机过程,随机步长服从Levy稳定分布,该分布的简化形式为:
L(s)~|s|-1-β,0<β<2;
其中s是随机步长,引入Levy飞行的解空间位置更新公式为:
其中μ和v来自正态分布:
式中的σμ和σv定义为:
上式的x_bst是当前函数最优值对应的x。在最优函数值更新时,也要更新这个值。例如,将随机值X0设为初值,即:
x(t)=X0
β=0.5
σ=┏(┏(1+β)sin(πβ/2)/┏((1+β)/2)/2^((β-1)/2))^(1/β)
u=rand()*σ
v=rand()
x(t+1)=x(t)+rand(size(x))*0.01*u*(x(t)-x_bst)/v^(1/β)
X1=x(t+1)
上面公式中的rand(x)表示向量,数值是均值为0、方差为1的高斯分布数值。经过一次Levy飞行搜索,根据初值X(t)示得到新的值X(t+1)。
在本发明实施例中,从内参矩阵K分离出fx、fy、u0、v0,从外参矩阵Rw分离出roll、pitch、yaw,Tw加上畸变参数k1、k2、k3,这些参数有明确的意义,限定其有效范围,作为Levy飞行的上下界。单个相机的内外参数及畸变校正参数构成一个向量vi=[fx fyu0v0k1k2k3rollpitchyawtrans]。N路相机的内外参数向量构成输入V=[v1...vn],作为Levy飞行的输入。对应地,各变量的上下界为Lv、Hv。在本发明实施例中,由步骤S30求解得到的N个相机的内外参数初值、再取畸变参数k1、k2、k3初值为0,作为Levy飞行的首次输入,进行邻域搜索。
S106,以Levy飞行算法的搜索结果作为LM算法的输入初值,以误差函数最小化为目标,利用LM算法对每台相机的内外参数和畸变参数进行优化更新。如图4所示,所述步骤S106包括子步骤S1061和S1062。
S1061,根据匹配点对在全景球上的同名点坐标误差建立误差函数fun_loss:
(Xq i,Yq i,Zq i)=normalize(Xw i,Yw i,Zw i)
(Xq j,Yq j,Zq j)=normalize(Xw j,Yw j,Zw j)
fun_loss=Σarcsin((Xq i,Yq i,Zq i)^(Xq j,Yq j,Zq j))/N。其中,(Xw i,Yw i,Zw i)、(Xw j,Yw j,Zw j)为一对匹配点在全景球上的同名点坐标。
S1062,以Levy飞行算法的搜索结果作为LM算法的输入初值,优化每个相机的内外参数和畸变参数。具体地,以Levy飞行算法的搜索结果作为LM算法的输入初值X0,以fun_loss最小化为目标,优化X的值,得到更低fun_loss值的参数时X1
X1=LM(fun_loss,X0)
S107,判断匹配点对的同名点坐标误差fun_loss值是否小于阈值,若是,执行步骤S109,若否,执行步骤S108。
S108,判断迭代次数是否达到最大迭代次数,若是,执行步骤S109,若否,返回步骤S104。
S109,停止优化迭代,输出每台相机优化后的内外参数和畸变参数。
本发明实施例中的全景模型参数优化方法引入Levy飞行搜索机制,采用Levy飞行策略的步长改进参数,在参数空间进行邻域搜索,为LM算法提供初值,可以增加LM算法跳出局部最优的能力,克服LM的局部收敛的缺点,提高求解精度。
基于上述任一实施例,提供一种全景模型参数优化方法,若匹配点对的同名点坐标误差大于阈值且迭代次数未达到最大迭代次数,所述步骤S106之后包括:
S110,对匹配点进行误差排序并根据预设条件删除匹配不准确的匹配点。进一步地,如图5所示,所述S110包括子步骤S1101和S1102。
S1101,对匹配点密集区域的匹配点进行误差排序,并根据预设条件删除匹配点密集区域中匹配不准确的匹配点。具体地,在执行步骤S106若干次(次数可以预先设定,比如5次或6次)对每台相机的内外参数和畸变参数进行优化更新之后,在所有匹配点中分布密集的区域,即一张图上匹配点超过该图片上匹配点总数30%聚集的区域,记为A,在集合A中进行误差排序,将其中误差值大于最小值2倍、总数不超过A的10%的点去掉。
S1102,对所有匹配点进行误差排序,并根据预设条件删除误差排序排名垫底的匹配点。具体地,对所有匹配点误差(特征点匹配误差)升序排列,取排名垫底的10%作为集合M,与上一次的M比对,仍存在于集合中的点集记为Ms(对,交集),此步骤进行若干次(次数可以预先设定,比如8-10之间的任意次数)之后(经过8-10次,仍然存在于集合Ms的,就是一直排名垫底的),在集合Ms中,将误差值大于最小值2倍的、总数不超过Ms集合50%的点(也即总匹配点集合M的5%)去掉。
重复步骤S104至S106对每台相机的内外参数和畸变参数进行优化更新。具体地,在删除匹配不准确的匹配点的基础上,利用上述实施例中的步骤S104-S106中的方法,对每台相机的内外参数和畸变参数进行优化更新。具体实现方式请参照上述实施例中的步骤S104-S106,此处不再赘述。
本发明实施例提供的一种全景模型参数优化方法,在相机的内外参数和畸变参数的优化过程中,将匹配点密集区域的点进行误差排序,去掉其中误差偏大的少部分点,同时在历次优化之后,误差排序排名一直垫底的少部分点也要去掉。以此逐步淘汰匹配不准的点,有效地提高精度。
如图6所示,在本发明一个实施例中,提供的一种全景模型参数优化系统包括有图片获取模块10、特征提取及匹配模块20、内外参数初值求解模块30、同名点坐标求解模块40、Levy飞行搜索模块50、LM优化模块60、第一判断模块70、第二判断模块80和参数输出模块90。
所述图片获取模块10,用于获取同一时间N个相机的视频截图图片,其中,N≥2。
所述特征提取及匹配模块20,用于提取所有视频截图图片的特征点并进行特征点匹配,获取每张视频截图图片与其他视频截图图片正确匹配的匹配点。如图7所示,所述特征提取及匹配模块20包括有特征提取单元21、特征点匹配单元22和错配点剔除单元23。
特征提取单元21,用于分别提取每个视频截图图片的特征点,获取每张视频截图图片的特征点集。具体地,利用SIFT或SURF算法分别对P1,P2,P3,...PN进行纹理特征点提取,每张视频截图图片上提取的所有特征点组成特征点集。
特征点匹配单元22,用于分别将每张视频截图图片提取的特征点与其他N﹣1张视频截图图片提取的特征点集进行特征点匹配,获取每张视频截图图片的特征点与其他N﹣1张视频截图图片的特征点匹配上的匹配点。
具体地,将P1上的所有特征点分别与P2,P3,...PN上的特征点进行匹配,获得P1与P2,P3,...PN的特征点匹配上的特征点,即匹配点。同理地,将P2上的所有特征点分别与P1,P3,...PN上的特征点进行匹配,获得P2与P1,P3,...PN的特征点匹配上的特征点,以此类推,分别获取P1,P2,P3,...PN中的每张视频截图图片与其他N﹣1张视频截图图片的特征点匹配上的匹配点。
错配点剔除单元23,用于利用RANSAC算法对每张视频截图图片的特征点与其他N﹣1张视频截图图片的特征点匹配上的匹配点进行错配点剔除,得到每张视频截图图片与其他视频截图图片正确匹配的匹配点。
具体地,根据特征点匹配单元22获取每张视频截图图片的特征点与其他N﹣1张视频截图图片的特征点匹配上的匹配点,由于是局部特征匹配会有错配点,采用RANSAC(随机抽样一致性)算法,使用匹配点拟合匹配图片对之间的单应矩阵,将错误匹配的点去掉,获得正确匹配的匹配点。
内外参数初值求解模块30,用于根据特征点坐标求解每台相机的内外参数初值。如图8所示,所述内外参数初值求解模块30包括有特征点选取单元31和内外参数求解单元32。
特征点选取单元31,用于从每张视频截图图片提取的特征点中选取n(n≥6)个特征点。
内外参数求解单元32,用于根据选取的n个特征点的坐标,利用线性标定方法,求解每台相机的内外参数初值。
同名点坐标求解模块40,用于利用图像点和全景球之间的坐标关系,根据匹配点的图像坐标获取视频截图图片上所有匹配点在全景球上的同名点坐标。
具体地,将每张视频截图图片与其他视频截图图片正确匹配的所有匹配点投影到全景球上,根据对极几何和相机成像原理,图像点在相机坐标系中的坐标为(u,v),深度值为Zc,在全景球上的坐标为(Xw,Yw,Zw),二者满足:
根据上述公式,已知图像点坐标和相机的内外参数,可以计算得到全景球上同名点的坐标。
由于实际镜头存在畸变,主要是径向畸变。以广泛使用的多项式拟合畸变的方法,在摄像机坐标系下的归一化坐标上进行畸变校正。
Xcor=Xn(1+k1*r2+k2*r4+k3*r6)
Ycor=Yn(1+k1*r2+k2*r4+k3*r6)
(Xcor,Ycor)是消除畸变之后的坐标,其中(Xn,Yn)=(Xc/Zc,Yc/Zc),k1、k2、k3为畸变系数。
Levy飞行搜索模块50,用于采用Levy飞行算法对每台相机的内外参数和畸变参数进行邻域搜索。
Levy飞行是一种非高斯随机过程,随机步长服从Levy稳定分布,该分布的简化形式为:
L(s)~|s|-1-β,0<β<2;
其中s是随机步长,引入Levy飞行的解空间位置更新公式为:
其中μ和v来自正态分布:
式中的σμ和σv定义为:
上式的x_bst是当前函数最优值对应的x。在最优函数值更新时,也要更新这个值。例如,以随机值X0机为初值,即:
x(t)=X0
β=0.5
σ=┏(┏(1+β)sin(πβ/2)/┏((1+β)/2)/2^((β-1)/2))^(1/β)
u=rand()*σ
v=rand()
x(t+1)=x(t)+rand(size(x))*0.01*u*(x(t)-x_bst)/v^(1/β)
X1=x(t+1)
上面公式中的rand(x)表示向量,数值是均值为0、方差为1的高斯分布数值。经过一次Levy飞行搜索,根据初值X(t)示得到新的值X(t+1)。
在本发明实施例中,从内参矩阵K分离出fx、fy、u0、v0,从外参矩阵Rw分离出roll、pitch、yaw,Tw加上畸变参数k1、k2、k3,这些参数有明确的意义,限定其有效范围,作为Levy飞行的上下界。单个相机的内外参数及畸变校正参数构成一个向量vi=[fx fyu0v0k1k2k3rollpitchyawtrans]。N路相机的内外参数向量构成输入V=[v1...vn],作为Levy飞行的输入。对应地,各变量的上下界为Lv、Hv。在本发明实施例中,由步骤S30求解得到的N个相机的内外参数初值、再取畸变参数k1、k2、k3初值为0,作为Levy飞行的首次输入,进行邻域搜索。
LM优化模块60,用于以Levy飞行算法的搜索结果作为LM算法的输入初值,以误差函数最小化为目标,利用LM算法对每台相机的内外参数和畸变参数进行优化更新。如图9所示,所述LM优化模块60包括有误差函数构建单元61和LM优化单元62。
误差函数构建单元61,用于根据匹配点对在全景球上的同名点坐标误差建立误差函数fun_loss:
(Xq i,Yq i,Zq i)=normalize(Xw i,Yw i,Zw i)
(Xq j,Yq j,Zq j)=normalize(Xw j,Yw j,Zw j)
fun_loss=Σarcsin((Xq i,Yq i,Zq i)^(Xq j,Yq j,Zq j))/N。其中,(Xw i,Yw i,Zw i)、(Xw j,Yw j,Zw j)为一对匹配点在全景球上的同名点坐标。
LM优化单元62,用于以Levy飞行算法的搜索结果作为LM算法的输入初值,优化每个相机的内外参数和畸变参数。具体地,以Levy飞行算法的搜索结果作为LM算法的输入初值X0,以fun_loss最小化为目标,优化X的值,得到更低fun_loss值的参数时X1
X1=LM(fun_loss,X0)
第一判断模块70,用于判断匹配点对的同名点坐标误差fun_loss值是否小于阈值。
第二判断模块80,用于判断迭代次数是否达到最大迭代次数。
参数输出模块90,用于在优化迭代终止时,输出每台相机优化后的内外参数和畸变参数。
具体地,当匹配点对的同名点坐标误差小于阈值或迭代次数达到最大迭代次数时,优化迭代终止,参数输出模块90输出每台相机优化后的内外参数和畸变参数。而当匹配点对的同名点坐标误差大于阈值且迭代次数未达到最大迭代次数时,由同名点坐标求解模块40、Levy飞行搜索模块50、LM优化模块60依次重复工作,对每台相机的内外参数和畸变参数进行优化更新。
基于上述任一实施例,提供一种全景模型参数优化系统,其还包括有匹配点删除模块100,用于对匹配点进行误差排序并根据预设条件删除匹配不准确的匹配点。如图10所示,所述匹配点删除模块100包括有第一匹配点删除单元1001和第二匹配点删除单元1002。
第一匹配点删除单元1001,用于对匹配点密集区域的匹配点进行误差排序,并根据预设条件删除匹配点密集区域中匹配不准确的匹配点。具体地,在该全景模型参数优化系统对每台相机的内外参数和畸变参数进行优化更新的过程中,在LM优化模块60对每台相机的内外参数和畸变参数进行优化更新了若干次(次数可以预先设定,比如5次或6次)之后,若匹配点对的同名点坐标误差大于阈值且迭代次数未达到最大迭代次数,在所有匹配点中分布密集的区域,即一张图上匹配点超过该图片上匹配点总数30%聚集的区域,记为A,在集合A中进行误差排序,将其中误差值大于最小值2倍、总数不超过A的10%的点去掉。
第二匹配点删除单元1002,用于对所有匹配点进行误差排序,并根据预设条件删除误差排序排名垫底的匹配点。具体地,在该全景模型参数优化系统对每台相机的内外参数和畸变参数进行优化更新的过程中,若匹配点对的同名点坐标误差大于阈值且迭代次数未达到最大迭代次数,对所有匹配点误差(特征点匹配误差)升序排列,取排名垫底的10%作为集合M,与上一次的M比对,仍存在于集合中的点集记为Ms(对,交集),在对所有匹配点误差进行若干次(次数可以预先设定,比如8-10之间的任意次数)排序之后(经过8-10次,仍然存在于集合Ms的,就是一直排名垫底的),在集合Ms中,将误差值大于最小值2倍的、总数不超过Ms集合50%的点(也即总匹配点集合M的5%)去掉。
在匹配点删除模块100删除匹配不准确的匹配点之后,再由同名点坐标求解模块40、Levy飞行搜索模块50、LM优化模块60依次重复工作,对每台相机的内外参数和畸变参数进行优化更新。
本发明实施例提供的一种全景模型参数优化系统,在相机的内外参数和畸变参数的优化过程中,将匹配点密集区域的点进行误差排序,去掉其中误差偏大的少部分点,同时在历次优化之后,误差排序排名一直垫底的少部分点也要去掉。以此逐步淘汰匹配不准的点,有效地提高精度。
以上所述仅为本发明的优选实施例,而非对本发明做任何形式上的限制。本领域的技术人员可在上述实施例的基础上施以各种等同的更改和改进,凡在权利要求范围内所做的等同变化或修饰,均应落入本发明的保护范围之内。

Claims (10)

1.一种全景模型参数优化方法,其特征在于,所述全景模型参数优化方法包括如下步骤:
S1,获取同一时间N个相机的视频截图图片,其中,N≥2;
S2,提取视频截图图片的特征点并进行特征点匹配,获取每张视频截图图片与其他视频截图图片正确匹配的匹配点;
S3,根据特征点坐标求解每台相机的内外参数初值;
S4,利用图像点和全景球之间的坐标关系,根据匹配点的图像坐标获取视频截图图片上所有匹配点在全景球上的同名点坐标;
S5,采用Levy飞行算法对每台相机的内外参数和畸变参数进行邻域搜索;
S6,以Levy飞行算法的搜索结果作为LM算法的输入初值,以误差函数最小化为目标,利用LM算法对每台相机的内外参数和畸变参数进行优化更新;
S7,若匹配点对的同名点坐标误差小于阈值或迭代次数达到最大迭代次数,停止迭代,输出每台相机优化后的内外参数和畸变参数。
2.如权利要求1所述的全景模型参数优化方法,其特征在于,所述步骤S2包括子步骤:
S21,分别提取每个视频截图图片的特征点,获取每张视频截图图片的特征点集;
S22,分别将每张视频截图图片提取的特征点与其他N-1张视频截图图片提取的特征点集进行特征点匹配,获取每张视频截图图片的特征点与其他N-1张视频截图图片的特征点匹配上的匹配点;
S23,利用RANSAC算法对每张视频截图图片的特征点与其他N-1张视频截图图片的特征点匹配上的匹配点进行错配点剔除,得到每张视频截图图片与其他视频截图图片正确匹配的匹配点。
3.如权利要求1所述的全景模型参数优化方法,其特征在于,所述步骤S3包括子步骤:
S31,从每张视频截图图片提取的特征点中选取n个特征点,n≥6;
S32,根据选取的n个特征点的坐标,利用线性标定方法,求解每台相机的内外参数初值。
4.如权利要求1所述的全景模型参数优化方法,其特征在于,若匹配点对的同名点坐标误差大于阈值且迭代次数未达到最大迭代次数,所述步骤S6之后包括:
对匹配点进行误差排序并根据预设条件删除匹配不准确的匹配点;
重复步骤S4至S6对每台相机的内外参数和畸变参数进行优化更新。
5.如权利要求4所述的全景模型参数优化方法,其特征在于,所述对匹配点进行误差排序并根据预设条件删除匹配不准确的匹配点包括:
对匹配点密集区域的匹配点进行误差排序,并根据预设条件删除匹配点密集区域中匹配不准确的匹配点;
对所有匹配点进行误差排序,并根据预设条件删除误差排序排名垫底的匹配点。
6.一种全景模型参数优化系统,其特征在于,所述全景模型参数优化系统包括有:
图片获取模块,用于获取同一时间N个相机的视频截图图片,其中,N≥2;
特征提取及匹配模块,用于提取所有视频截图图片的特征点并进行特征点匹配,获取每张视频截图图片与其他视频截图图片正确匹配的匹配点;
内外参数初值求解模块,用于根据特征点坐标求解每台相机的内外参数初值;
同名点坐标求解模块,用于利用图像点和全景球之间的坐标关系,根据匹配点的图像坐标获取视频截图图片上所有匹配点在全景球上的同名点坐标;
Levy飞行搜索模块,用于采用Levy飞行算法对每台相机的内外参数和畸变参数进行邻域搜索;
LM优化模块,用于以Levy飞行算法的搜索结果作为LM算法的输入初值,以误差函数最小化为目标,利用LM算法对每台相机的内外参数和畸变参数进行优化更新;
参数输出模块,用于在优化迭代终止时,输出每台相机优化后的内外参数和畸变参数。
7.如权利要求6所述的全景模型参数优化系统,其特征在于,所述特征提取及匹配模块包括有:
特征提取单元,用于分别提取每个视频截图图片的特征点,获取每张视频截图图片的特征点集;
特征点匹配单元,用于分别将每张视频截图图片提取的特征点与其他N﹣1张视频截图图片提取的特征点集进行特征点匹配,获取每张视频截图图片的特征点与其他N﹣1张视频截图图片的特征点匹配上的匹配点;
错配点剔除单元,用于利用RANSAC算法对每张视频截图图片的特征点与其他N﹣1张视频截图图片的特征点匹配上的匹配点进行错配点剔除,得到每张视频截图图片与其他视频截图图片正确匹配的匹配点。
8.如权利要求6所述的全景模型参数优化系统,其特征在于,所述内外参数初值求解模块包括有:
特征点选取单元,用于从每张视频截图图片提取的特征点中选取n个特征点,其中,n≥6;
内外参数求解单元,用于根据选取的n个特征点的坐标,利用线性标定方法,求解每台相机的内外参数初值。
9.如权利要求6所述的全景模型参数优化系统,其特征在于,所述LM优化模块包括有:
误差函数构建单元,用于根据匹配点对在全景球上的同名点坐标误差建立误差函数;
LM优化单元,用于以Levy飞行算法的搜索结果作为LM算法的输入初值,优化每个相机的内外参数和畸变参数。
10.如权利要求9所述的全景模型参数优化系统,其特征在于,所述匹配点删除模块包括有:
第一匹配点删除单元,用于对匹配点密集区域的匹配点进行误差排序,并根据预设条件删除匹配点密集区域中匹配不准确的匹配点;
第二匹配点删除单元,用于对所有匹配点进行误差排序,并根据预设条件删除误差排序排名垫底的匹配点。
CN201910041391.4A 2019-01-16 2019-01-16 一种全景模型参数优化方法及系统 Pending CN109785395A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910041391.4A CN109785395A (zh) 2019-01-16 2019-01-16 一种全景模型参数优化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910041391.4A CN109785395A (zh) 2019-01-16 2019-01-16 一种全景模型参数优化方法及系统

Publications (1)

Publication Number Publication Date
CN109785395A true CN109785395A (zh) 2019-05-21

Family

ID=66500776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910041391.4A Pending CN109785395A (zh) 2019-01-16 2019-01-16 一种全景模型参数优化方法及系统

Country Status (1)

Country Link
CN (1) CN109785395A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503693A (zh) * 2019-08-07 2019-11-26 Oppo广东移动通信有限公司 参数标定方法、装置、电子设备以及存储介质
TWI830094B (zh) * 2021-11-25 2024-01-21 信驊科技股份有限公司 偵測全景相機的拼接瑕疵的測試裝置和測試方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017113535A1 (zh) * 2015-12-30 2017-07-06 完美幻境(北京)科技有限公司 一种相机几何标定处理方法及装置
CN109064404A (zh) * 2018-08-10 2018-12-21 西安电子科技大学 一种基于多相机标定的全景拼接方法、全景拼接系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017113535A1 (zh) * 2015-12-30 2017-07-06 完美幻境(北京)科技有限公司 一种相机几何标定处理方法及装置
CN109064404A (zh) * 2018-08-10 2018-12-21 西安电子科技大学 一种基于多相机标定的全景拼接方法、全景拼接系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨文荣等: "基于Levy飞行策略的自适应改进鸟群算法", 《河北工业大学学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503693A (zh) * 2019-08-07 2019-11-26 Oppo广东移动通信有限公司 参数标定方法、装置、电子设备以及存储介质
CN110503693B (zh) * 2019-08-07 2021-10-22 Oppo广东移动通信有限公司 参数标定方法、装置、电子设备以及存储介质
TWI830094B (zh) * 2021-11-25 2024-01-21 信驊科技股份有限公司 偵測全景相機的拼接瑕疵的測試裝置和測試方法

Similar Documents

Publication Publication Date Title
WO2020168844A1 (en) Image processing method, apparatus, equipment, and storage medium
CN109948573B (zh) 一种基于级联深度卷积神经网络的噪声鲁棒人脸识别方法
CN106778502B (zh) 一种基于深度残差网络的人群计数方法
CN113052835B (zh) 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统
CN108182384A (zh) 一种人脸特征点定位方法及装置
CN103426190B (zh) 图像重构的方法及系统
CN109785395A (zh) 一种全景模型参数优化方法及系统
CN110111316A (zh) 基于眼部图像识别弱视的方法及系统
CN110033514B (zh) 一种基于点线特征快速融合的重建方法
US20190206117A1 (en) Image processing method, intelligent terminal, and storage device
CN110796135A (zh) 目标的定位方法及装置、计算机设备、计算机存储介质
KR20170046140A (ko) 얼굴 이미지 편집 방법 및 디바이스
CN113763446B (zh) 一种基于引导信息的立体匹配方法
CN106952247A (zh) 一种双摄像头终端及其图像处理方法和系统
CN103544732B (zh) 一种用于月球车的三维立体重建方法
CN104104911B (zh) 全景图像生成过程中的时间戳消除和重置方法及系统
CN112465984A (zh) 一种基于双层过滤的单目相机序列图像三维重构方法
CN108510541A (zh) 一种信息调节方法、电子设备和计算机可读存储介质
CN108053376A (zh) 一种语义分割信息指导深度学习鱼眼图像校正方法
WO2023273923A1 (zh) 一种3d背景替换方法、装置、存储介质和终端设备
CN114723883A (zh) 一种三维场景重建方法、装置、设备及存储介质
CN116012517A (zh) 一种正则化的图像渲染方法及装置
CN107945218A (zh) 边缘大畸变影像匹配方法
CN110008911B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN108305273B (zh) 一种对象检测方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20230721