CN106803233B - 图像透视变换的优化方法 - Google Patents

图像透视变换的优化方法 Download PDF

Info

Publication number
CN106803233B
CN106803233B CN201710028349.XA CN201710028349A CN106803233B CN 106803233 B CN106803233 B CN 106803233B CN 201710028349 A CN201710028349 A CN 201710028349A CN 106803233 B CN106803233 B CN 106803233B
Authority
CN
China
Prior art keywords
matrix
error
value
calculated
reference picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710028349.XA
Other languages
English (en)
Other versions
CN106803233A (zh
Inventor
吴炜
李梦华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201710028349.XA priority Critical patent/CN106803233B/zh
Publication of CN106803233A publication Critical patent/CN106803233A/zh
Application granted granted Critical
Publication of CN106803233B publication Critical patent/CN106803233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像透视变换的优化方法,主要解决现有技术计算复杂度高,运行时间长的问题。其方案是:通过优化变换矩阵H实现对图像透视变换的优化,进而实现参考图像对目标图像更好的拟合。优化变换矩阵H的实现步骤为:1)通过透视变换公式推导得到误差矩阵和误差函数;2)在不断改变阻尼系数λ的条件下迭代修正变换矩阵H,直至得到优化后的变换矩阵H。本发明与现有技术相比,具有计算复杂度低,运行时间短,变换矩阵H更精确的特点,可用于个人相册压缩和云端图像存储等领域中。

Description

图像透视变换的优化方法
技术领域
本发明属于图像处理技术领域,更进一步涉及对图像透视变换的优化方法,可用于个人相册压缩、计算机视觉和云端图像存储。
背景技术
图像透视变换是利用透视中心、像点、目标点三点共线的条件将图片投影到一个新的视平面,也称作投影映射。透视变换的变换公式为X=H·X',其中X'是像点,即参考图像的坐标,X是目标点,即目标图像的坐标,H是变换矩阵。通过参考图像和目标图像的部分坐标得到H,根据H对参考图像进行透视变换,就可以根据参考图像得到目标图像的拟合,此方法可以应用于个人相册压缩和云端图像存储等领域中。
由参考图像和目标图像的部分坐标得到H的过程中,为使得H更加精确,需要使用最优化方法对H进行修正。目前,比较常用的最优化方法有:梯度下降法、牛顿法和Levenberg-Marquardt(简称为L-M)法等。梯度下降法也称为最速下降法,用负梯度方向为搜索方向,越接近目标值,步长越小,前进越慢,存在靠近极小值时收敛速度减慢和直线搜索时得不到理想结果等一些问题。牛顿法收敛速度快,但对初始点要求严格,方向构造困难,计算复杂且占用内存较大。L-M方法是利用梯度求最大或最小值的方法,形象的说,属于“爬山”法的一种。L-M方法同时具有梯度法和牛顿法的优点。在L-M算法中,每次迭代会寻找一个合适的阻尼因子λ。当λ很小时,步长等于牛顿法步长,当λ很大时,步长约等于梯度下降法的步长。L-M方法对过参数化问题不敏感,能有效处理冗余参数问题,使代价函数陷入局部极小值的机会大大减小,这些特性使得L-M方法在计算机视觉等领域得到广泛应用。所以,在对H进行修正时都采用L-M方法。但是在透视变换中采用最初的L-M方法存在计算复杂度高,运行时间长的问题。
K.Madsen,H.B.Nielsen,O.Tingleff在其发表的论文“METHODS FOR NON-LINEARLEAST SQUARES PROBLEMS”(《Informatics and Mathematical Modelling TechnicalUniversity of Denmark》,2004年)中详细介绍了最基本的,最初的L–M方法,简称为原始L-M方法。原始L-M方法会根据误差来更新阻尼系数、雅可比矩阵和步长等数据,最后得到拟合结果。
Richard Hartley和Andrew Zisserman在《Multiple View Geomtry in computervision》一书中详细介绍了透视变换的定义,以及采用原始L-M方法来修正H的步骤。但存在计算复杂度高,运行时间长的问题。
发明内容
本发明的目的在于针对透视变换中原始L-M方法的不足,提出一种图像透视变换的优化方法,以降低修正H时的计算复杂度,从而减少运行时间。
本发明的技术方案是:根据参考图像和目标图像的部分坐标值和变换矩阵H的初始值,通过对雅克比矩阵进行改进的L-M方法来最小化误差函数,以达到修正H的目的。在最小化误差函数时通过不断改变阻尼系数λ来更新H中元素的值,直至更新H之前的误差与更新H之后的误差差值满足预设的迭代终止控制常数或到达总迭代次数时,得到最终的变换矩阵H。其实现步骤包括如下:
(1)由每一维坐标的误差组成误差矩阵d,根据误差矩阵得到误差函数F(H)
(2)设定参考图像、目标图像的部分坐标值和变换矩阵H的初始值;
(3)初始化迭代终止控制常数ε、总迭代次数iters、当前迭代次数i和误差的初始值e_old;
(4)根据步骤(2)中设定的参考图像的部分坐标值计算初始阻尼系数λ:
λ=τ×max{hesii},
其中τ是一个表示参考图像对目标图像拟合效果的常数,hesii是Hessian矩阵Hes的第i行第i列元素值;
(5)根据步骤(1)的误差函数F(H)和步骤(2)中的部分坐标值,计算目标图像与参考图像坐标值之间的误差矩阵d;
(6)根据根据步骤(1)的误差函数F(H)和步骤(5)中的误差矩阵d计算误差e_new;
(7)计算步骤(3)中误差初始值e_old与步骤(6)中误差e_new之间的差值dE,并将e_old更新为e_new;
(8)判断是否同时满足dE≤ε和i≤iters这两个条件:如果是,则输出最终的变换矩阵H,否则,执行步骤(9);
(9)根据阻尼系数λ、误差矩阵d和Hessian矩阵,计算用于更新变换矩阵H的步长dp;
(10)根据步骤(9)得到的步长dp更新变换矩阵H中元素的值;
(11)根据步骤(2)中的部分坐标值和步骤(10)中更新后的H,计算目标图像与参考图像坐标值之间的误差矩阵d;
(12)根据步骤(11)中的误差矩阵d和步骤(1)中的误差函数F(H),计算变换矩阵H更新后的目标图像与参考图像坐标值之间的误差e_new;
(13)计算步骤(12)得到的误差e_new与误差e_old之间的差值dE,并将e_old更新为e_new;
(14)改变阻尼系数λ的值;
(15)根据步骤(14)中阻尼系数λ的值和步骤(10)中变换矩阵H中更新的元素值计算雅可比矩阵J(H),并根据雅可比矩阵J(H)计算Hessian矩阵;
(16)更新迭代次数i,返回步骤(8)。
本发明与现有技术相比,具有以下优点:
第一:本发明在修正图像透视变换的变换矩阵H的过程中,通过对雅可比矩阵的计算采用了更简洁的矢量形式,降低了运算复杂度,减少了运行时间。
第二:本发明在修正图像透视变换的变换矩阵H的过程中,通过参考图像坐标对目标图像坐标拟合的误差差值来控制修正变换矩阵H的迭代标准,提高了参考图像对目标图像的拟合效果。
附图说明
图1是本发明的实现流程图;
图2是本发明和原始L-M方法在第一个实验中用参考图像对目标图像进行拟合的结果图;
图3是本发明和原始L-M方法在第二个实验中用参考图像对目标图像进行拟合的结果图。
具体实施方式
透视变换可以实现两幅图像间的拟合,即对参考图像进行透视变换以实现对目标图像的拟合。透视变换是通过变换矩阵H实现的。变换矩阵H的准确度是影响透视变换效果的决定性因素。所以为使得变换矩阵H更加准确,提高拟合效果,需要对变换矩阵H进行修正。
参照附图1,本发明对变换矩阵H进行修正的详细过程如下。
步骤1,确定表示参考图像对目标图像拟合效果的误差矩阵d和误差函数F(H)。
(1.1)对图像透视变换公式进行相乘展开:
透视变换公式:
X=H·X' [1]
其中X是目标图像的坐标值,X=(xi,yi,zi)T,T表示转置;X'是参考图像的坐标值,X'=(xi',yi',zi')T,i=1,2…n;H是变换矩阵,h11…h33是变换矩阵H的元素值;
公式[1]可变换成如下表示式:
公式[2]根据矩阵乘法法则得:
(1.2)对公式[3]进行归一化,归一化后的是参考图像坐标对目标图像坐标的拟合值:
(1.3)根据公式[4]得到的拟合值和目标图像坐标,得到误差矩阵d和误差函数F(H):
其中n是图像坐标数目,d(i,1),d(i,2)分别是误差矩阵d的第i行的第一列、第二列元素值。
步骤2,初始化。
(2.1)通过提取参考图像和目标图像的尺度不变特征变换SIFT特征点得到参考图像、目标图像的部分坐标值,以及通过直接线性变换DLT得到变换矩阵H的初始值;
(2.2)初始化迭代终止控制常数ε、总的迭代次数iters和误差的初始值e_old参数:其中,迭代终止控制常数ε和总的迭代次数iters的值根据实际情况进行选择,设置当前迭代次数i为0,误差的初始值e_old为0;
(2.3)根据步骤(2.1)参考图像的部分坐标值计算Hessian矩阵Hes:
Hes=J(H)TJ(H) [7]
其中J(H)是雅可比矩阵,最初的雅克比矩阵计算公式为:
本发明对雅克比矩阵的计算公式进行改进,即利用每一维坐标对H中的元素求偏导:
其中hij表示变换矩阵H中第i行,第j列的元素值;
(2.4)利用步骤(2.3)得到的Hessian矩阵Hes计算初始阻尼系数λ:
λ=τ*max{hesii} [9]
其中τ是一个表示参考图像对目标图像拟合效果的常数,τ可根据实际情况自己选择,hesii是Hessian矩阵Hes的第i行第i列元素值;
(2.5)利用步骤(2.1)中参考图像的部分坐标值,根据公式[4]计算参考图像坐标对目标图像坐标的拟合值;
(2.6)利用步骤(2.5)中的拟合值和步骤(2.1)中目标图像的坐标值,根据公式[5]计算目标图像与参考图像坐标值之间的误差矩阵d,并根据公式[6]计算目标图像与参考图像坐标值之间的误差e_new;
(2.7)计算步骤(2.2)中的e_old与步骤(2.6)中的e_new之间的差值dE:
dE=e_new-e_old [10]
(2.8)将前一次的误差e_old更新为新的误差e_new。
步骤3,迭代修正变换矩阵H。
(3.1)判断参考图像坐标对目标图像坐标拟合的误差差值dE与当前迭代次数i是否分别满足dE≤ε和i≤iters这两个条件:如果是,则输出最终的变换矩阵H,否则,执行步骤(3.2);
(3.2)根据Hessian矩阵和参考图像坐标对目标图像坐标拟合的误差矩阵d计算用于更新变换矩阵H的步长dp:
dp=(Hes+λI)-1·(J(H)T·d') [11]
其中I是单位阵,(Hes+λI)-1是矩阵Hes+λI的逆矩阵,d'是将误差矩阵d转化为列向量,即:d'=[d(i,1),…,d(n,1),d(i,2),…,d(n,2)]1 T ×2n,T表示转置;
(3.3)根据步骤(3.3)得到的步长dp更新变换矩阵H中元素hij的值:
hij=hij+dp[i] [12]
(3.4)利用步骤(2.1)中参考图像的部分坐标值和步骤(3.6)中更新后的变换矩阵H,根据公式[4]计算参考图像坐标对目标图像坐标的拟合值;
(3.5)利用步骤(3.4)中的拟合值和步骤(2.1)中目标图像的坐标值,根据公式[5]计算误差矩阵d,并根据公式[6]计算误差e_new;
(3.6)利用步骤(3.5)中的误差e_new和误差e_old,根据公式[10]计算差值dE,并将前一次的误差e_old更新为新的误差e_new;
(3.7)改变阻尼系数λ的值,利用步骤(3.3)中变换矩阵H中更新的元素值,根据公式[8]计算雅可比矩阵J(H);
(3.8)利用步骤(3.7)中的雅可比矩阵J(H),根据公式[7]计算Hessian矩阵;
(3.9)返回(3.1)。
本发明的效果可通过以下仿真实验进一步说明。
1.实验条件:
本发明仿真实验是在windows7系统,处理器Intel(R)Core(Tm)i5-2450M CPU,主频2.50GHz,RAM 6GB的环境下进行的,编程软件为MATLAB。
本发明设置的主要参数:迭代终止控制常数ε=10-4,迭代次数iters=50;
评价参考图像对目标图像拟合效果好坏的标准:
本发明选取了两组图像:从第一组图像中提取了10对坐标值进行测试;从第二组图像中提取了15对坐标值进行测试。
2.实验内容
实验1,用本发明和原始L–M方法实现第一组测试图像中的参考图像对第一组测试图像中的目标图像的拟合,结果如图2,其中图2a是参考图像,图2b是目标图像,图2c是使用本发明进行透视变换后的图像,图2d是使用原始L-M方法进行透视变换后的图像。
实验2,用本发明和原始L–M方法实现第二组测试图像中的参考图像对第二组测试图像中的目标图像的拟合,结果如图3,其中图3a是参考图像,图3b是目标图像,图3c是使用本发明进行透视变换后的图像,图3d是使用原始L-M方法进行透视变换后的图像。
实验3,用本发明与原始L–M方法对上述两组图像进行10次测试,得到迭代次数、平均运行时间和拟合的误差Δ如表1。
表1实验结果
3.结果分析
从图2和图3透视变换后的结果看,本发明的拟合误差略小于原始L-M方法,但是从表1可看出两者明显的不同结果:
在10次测试中,原始L-M方法的迭代次数分别是13和5,而本发明的迭代次数分别是19和27,由于本发明采用参考图像对目标图像进行拟合的误差差值来控制迭代次数,使得本发明的迭代次数比原始L-M方法的迭代次数多,但在合理范围内;
在10次测试中,原始L-M方法的平均运行时间分别是48.032秒和8.505秒,本发明的平均运行时间分别是0.191秒和0.0529秒,本发明的平均运行时间比原始L-M方法的平均运行时间少,由于本发明采用改进的雅克比矩阵计算公式,使得计算复杂度大大降低。虽然本发明的迭代次数比原始L-M方法的迭代次数多,但本发明的平均运行时间依然比原始L-M方法的平均运行时间少,而且少很多,第一组测试图像中,原始L-M方法的平均运行时间大约是本发明的平均运行时间的251倍,第二组测试图像中,原始L-M方法的平均运行时间大约是本发明的平均运行时间的161倍;
在10次测试中,使用原始L-M方法进行透视变换后的误差Δ分别是0.773、0.6808,使用本发明进行透视变换后的误差Δ分别是0.306、0.234,由于本发明的迭代次数比原始L-M方法的迭代次数多,使得本发明能更好对变换矩阵H进行修正,所以会使本发明的误差比原始L-M方法的误差略小。
综上所述,本发明用于修正变换矩阵H进行图像间的拟合与原始L-M方法相比,在运行时间和拟合的误差上都具有优势,特别是运行时间的优势更为突出。

Claims (2)

1.一种图像透视变换的优化方法,包括以下步骤:
(1)由每一维坐标的误差组成误差矩阵d,根据误差矩阵得到误差函数F(H):
其中n是图像坐标数目,d(i,1),d(i,2)分别是误差矩阵d的第i行的第一列、第二列元素值;
(2)设定参考图像、目标图像的部分坐标值和变换矩阵H的初始值;
(3)初始化迭代终止控制常数ε、总迭代次数iters、当前迭代次数i和误差的初始值e_old;
(4)根据步骤(2)中设定的参考图像的部分坐标值计算初始阻尼系数λ:
λ=τ×max{hesii},
其中τ是一个表示参考图像对目标图像拟合效果的常数,hesii是Hessian矩阵Hes的第i行第i列元素值,Hes=J(H)TJ(H),其中J(H)是雅克比矩阵,T表示转置,J(H)的计算公式采用矢量形式,雅可比矩阵J(H)的计算公式为:
其中x′i,y′i是参考图像坐标值,hij是变换矩阵H的第i行第j列元素值;
(5)根据步骤(1)的误差函数F(H)和步骤(2)中的部分坐标值,计算目标图像与参考图像坐标值之间的误差矩阵d;
(6)根据步骤(1)的误差函数F(H)和步骤(5)中的误差矩阵d计算误差值e_new:
(7)计算步骤(3)中误差初始值e_old与步骤(6)中误差e_new之间的差值dE,并将e_old更新为e_new;
(8)判断是否同时满足dE≤ε和i≤iters这两个条件:如果是,则输出最终的变换矩阵H,否则,执行步骤(9);
(9)根据阻尼系数λ、误差矩阵d和Hessian矩阵,计算用于更新变换矩阵H的步长dp:
dp=(Hes+λI)-1·(J(H)T·d')
其中Hes是Hessian矩阵,λ阻尼系数,(Hes+λI)-1是矩阵Hes+λI的逆矩阵,J(H)T是雅可比矩阵J(H)的转置矩阵,I是单位阵,d'是将误差矩阵d转化为列向量,即:i=1...n,n是图像坐标数目,d(i,1),d(i,2)分别是误差矩阵d的第i行的第一列、第二列元素值,T表示转置;
(10)根据步骤(9)得到的步长dp更新变换矩阵H中元素的值;
(11)根据步骤(2)中的部分坐标值和步骤(10)中更新后的H,计算目标图像与参考图像坐标值之间的误差矩阵d;
(12)根据步骤(11)中的误差矩阵d和步骤(1)中的误差函数F(H),计算变换矩阵H更新后的目标图像与参考图像坐标值之间的误差e_new;
(13)计算步骤(12)得到的误差e_new与误差e_old之间的差值dE,并将e_old更新为e_new;
(14)改变阻尼系数λ的值;
(15)根据步骤(14)中阻尼系数λ的值和步骤(10)中变换矩阵H中更新的元素值计算雅可比矩阵J(H),并根据雅可比矩阵J(H)计算Hessian矩阵;
(16)更新迭代次数i,返回步骤(8)。
2.根据权利要求1所述的方法,所述步骤(5)中计算目标图像与参考图像坐标值之间的误差矩阵d,通过以下公式计算:
其中xi,yi,zi是目标图像的坐标值,是参考图像坐标对目标图像坐标的拟合值。
CN201710028349.XA 2017-01-16 2017-01-16 图像透视变换的优化方法 Active CN106803233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710028349.XA CN106803233B (zh) 2017-01-16 2017-01-16 图像透视变换的优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710028349.XA CN106803233B (zh) 2017-01-16 2017-01-16 图像透视变换的优化方法

Publications (2)

Publication Number Publication Date
CN106803233A CN106803233A (zh) 2017-06-06
CN106803233B true CN106803233B (zh) 2019-06-21

Family

ID=58984561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710028349.XA Active CN106803233B (zh) 2017-01-16 2017-01-16 图像透视变换的优化方法

Country Status (1)

Country Link
CN (1) CN106803233B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110636273A (zh) * 2019-10-15 2019-12-31 歌尔股份有限公司 调整投影画面的方法、装置、可读存储介质及投影仪
CN112562047B (zh) * 2020-12-16 2024-01-19 北京百度网讯科技有限公司 三维模型的控制方法、装置、设备以及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686187A (zh) * 2013-12-07 2014-03-26 吉林大学 一种变换域全局高精度运动矢量估计方法
CN105787970A (zh) * 2016-03-01 2016-07-20 北京理工大学 基于稀疏度拟合的图像自适应压缩感知方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8358839B2 (en) * 2009-11-30 2013-01-22 Xerox Corporation Local regression methods and systems for image processing systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686187A (zh) * 2013-12-07 2014-03-26 吉林大学 一种变换域全局高精度运动矢量估计方法
CN105787970A (zh) * 2016-03-01 2016-07-20 北京理工大学 基于稀疏度拟合的图像自适应压缩感知方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于改进的非下采样Contourlet变换的超分辨率复原算法;吴炜等;《光学学报》;20090615;第29卷(第6期);全文

Also Published As

Publication number Publication date
CN106803233A (zh) 2017-06-06

Similar Documents

Publication Publication Date Title
CN112101530B (zh) 神经网络训练方法、装置、设备及存储介质
WO2020107840A1 (zh) 基于机器学习的句子距离映射方法、装置和计算机设备
CN105069423A (zh) 一种人体姿态检测方法及装置
CN111325223B (zh) 深度学习模型的训练方法、装置和计算机可读存储介质
CN110942012A (zh) 图像特征提取方法、行人重识别方法、装置和计算机设备
CN106803233B (zh) 图像透视变换的优化方法
CN112651490B (zh) 人脸关键点检测模型的训练方法及设备、可读存储介质
CN114691886A (zh) 一种关系增强的知识图谱嵌入方法及系统
CN106250918B (zh) 一种基于改进的推土距离的混合高斯模型匹配方法
Thakoor et al. RBF-FD schemes for option valuation under models with price-dependent and stochastic volatility
CN107045494A (zh) 提高浮点矩阵运算效率的方法及系统
CN107578448A (zh) 基于cnn的无标定曲面所包含拼接曲面个数识别方法
CN111160859A (zh) 一种基于svd++和协同过滤的人力资源岗位推荐方法
Wyns et al. An adjoint method for the exact calibration of stochastic local volatility models
CN110472588A (zh) 锚点框确定方法、装置、计算机设备和存储介质
CN111539508B (zh) 基于改进灰狼算法的发电机励磁系统参数辨识算法
CN113051820A (zh) 基于卷积神经网络的跨流域气动参数模拟方法
Sachs et al. Reduced order models (POD) for calibration problems in finance
CN112580488A (zh) 一种基于自启发的人体姿态估计模型训练方法及装置
CN112488224B (zh) 模型训练方法、装置、计算机设备及存储介质
CN109256142A (zh) 语音转换基于扩展内核类网格法处理零散数据建模方法及设备
CN109710812A (zh) 一种网络表征算法稳定性度量方法
JP2011145999A (ja) 連立一次方程式の計算方法及び装置
Kripka et al. Optimization of reinforced concrete frames by harmony search method
CN113989352A (zh) 一种叶片点云骨架提取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant