CN107845107A - 一种图像透视变换的优化方法 - Google Patents

一种图像透视变换的优化方法 Download PDF

Info

Publication number
CN107845107A
CN107845107A CN201711176397.XA CN201711176397A CN107845107A CN 107845107 A CN107845107 A CN 107845107A CN 201711176397 A CN201711176397 A CN 201711176397A CN 107845107 A CN107845107 A CN 107845107A
Authority
CN
China
Prior art keywords
msub
mrow
mtd
msup
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201711176397.XA
Other languages
English (en)
Inventor
殷周平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201711176397.XA priority Critical patent/CN107845107A/zh
Publication of CN107845107A publication Critical patent/CN107845107A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像透视变换的优化方法，从粗匹配的图像中随机抽取4对匹配点并判断是否有3点共线的情况，如果有，则舍去这一组匹配点重新随机抽取，直到4对匹配点中没有3点共线的情况，对选取的4对匹配点进行数据归一化，根据H元素的三个方程计算出单应矩阵H，本发明针对图像末制异过程中图像配准的精确性和实时性的具休要求，提出了一种透视变换模型下基于Harris算法的图像配准方法，该方法增强了传统Harria算法的旋转不变性，能够更好地适用于发生大角度旋转的图像，结合NCC算法和RANSAC算法并引人DLT算法计算稳定的透视变换单应知矩阵，利用该单应矩阵实现图像配准，能有效提升该图像透视的变换的效果，有效提升使用的方便性。

Description

一种图像透视变换的优化方法
技术领域
本发明涉及图像处理技术领域，具体为一种图像透视变换的优化方法。
背景技术
图像透视变换是利用透视中心、像点、目标点三点共线的条件将图片投影到一个新的视平面，也称作投影映射。透视变换的变换公式为X＝H·X'，其中X是像点，即参考图像的坐标，X是目标点，即目标图像的坐标，H是变换矩阵。通过参考图像和目标图像的部分坐标得到H，根据H对参考图像进行透视变换，就可以根据参考图像得到目标图像的拟合，此方法可以应用于个人相册压缩和云端图像存储等领域中。由参考图像和目标图像的部分坐标得到H的过程中，为使得H更加精确，需要使用最优化方法对H进行修正。目前，比较常用的最优化方法有：梯度下降法、牛顿法和Levenberg-Marquardt(简称为L-M)法等。梯度下降法也称为最速下降法，用负梯度方向为搜索方向，越接近目标值，步长越小，前进越慢，存在靠近极小值时收敛速度减慢和直线搜索时得不到理想结果等一些问题。牛顿法收敛速度快，但对初始点要求严格，方向构造困难，计算复杂且占用内存较大。L-M方法是利用梯度求最大或最小值的方法，形象的说，属于“爬山”法的一种。L-M方法同时具有梯度法和牛顿法的优点。在L-M算法中，每次迭代会寻找一个合适的阻尼因子λ。当λ很小时，步长等于牛顿法步长，当λ很大时，步长约等于梯度下降法的步长。L-M方法对过参数化问题不敏感，能有效处理冗余参数问题，使代价函数陷入局部极小值的机会大大减小，这些特性使得L-M方法在计算机视觉等领域得到广泛应用。所以，在对H进行修正时都采用L-M方法。但是在透视变换中采用最初的L-M方法存在计算复杂度高，运行时间长的问题。
所以，如何设计一种图像透视变换的优化方法，成为我们当前要解决的问题。
发明内容
本发明的目的在于提供一种图像透视变换的优化方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种图像透视变换的优化方法，包括如下步骤：
1)从粗匹配的图像中随机抽取4对匹配点并判断是否有3点共线的情况，如果有，则舍去这一组匹配点重新随机抽取，直到4对匹配点中没有3点共线的情况；
2)对选取的4对匹配点进行数据归一化，根据H元素的三个方程计算出单应矩阵H；
3)利用单应矩阵H，采用对称转移误差方法，来估算一组对应的误差，如果d2 transfer大于设定的阈值，则作为外点舍去，否者认定其对应的匹配点为内点；
4)在估计次数N内重复采样与验证，记录内点数目，选取具有较多内点数目的数据集进行下一步操作；
5)设定估计次数N的阈值为1000，选取内点数目与角点总数的比值ω(ω≥0.5)作为数据是真实数字模型内点的概率，那么一次估计中所有4个点都是内点的概率为ω4，N次采样后，记录内点数目最大时的一致集；
6)利用数目最大时数据集的所有内点从新估计单应矩阵HR，并用HR实现图像的配准，即IR＝HRI,其中I代表配准前的图像，IR代表配准后的图像。
根据上述技术方案，所述步骤3中对称转移误差方法的计算公式为：
d2 transfer＝d(Pi,H-1Pi’)2+d(Pi’,HPi)2
采用GLT算法估算变换矩阵，该方法可以得到更准确的参量，由4对匹配点对应Pi→P’i，确定变换方程为P’i＝HPi。
根据上述技术方案，所述步骤5)中如果经过N次至少有一次估计中的所有数据点都是内点的概率是p(p＝0.99)，则N需要满足：
根据上述技术方案，所述步骤2)中H元素的方程为：
这些方程都有Aih＝0的形式，其中Ai是3×9的矩阵，h是由矩阵H的元素组成的9维矢量，h＝[H1 H2 H3]T,hi是h的i个元素，每组点对应给出关于H元素的两个独立方程，利用4组点或得方程组Ah＝0，h是H未知元素的矢量，对A进行SVD分解，V的值就是h的解；应用上述公式与Pi→P'i，求得单应矩阵H'；令H＝T-1H'T，求得单应矩阵H。
根据上述技术方案，所述步骤1)中匹配点抽取采用Harris算法，即在两幅图像中提取的角点数目不一定相等，并且有相当多的冗余点，这时就需要去除可能导致匹配出现较大误差或导致匹配失败的冗余点，得出一一对应的精确匹配点；首先利用NCC进行特征点的粗匹配，然后利用RANSAC剔除错误的匹配点，实现图像的精确配准。
根据上述技术方案，所述NCC算法通过计算特征点邻域像素灰度的互相关系数，并以该系数为匹配准则进行匹配，其原理为：分别在参考图像和待配准图像中以每一个角点为中心，取一个(2N+1)×(2N+1)大小的相关窗，然后以参考帧中的每一个特征点为参考点在持配准图像中搜索对应的匹配点，互相关最大时的搜索窗口位置决定了模板图像在待匹配图像中的位置。
与现有技术相比，本发明的有益效果是：本发明针对图像末制异过程中图像配准的精确性和实时性的具休要求，提出了一种透视变换模型下基于Harris算法的图像配准方法，该方法增强了传统Harria算法的旋转不变性，能够更好地适用于发生大角度旋转的图像，结合NCC算法和RANSAC算法并引人DLT算法计算稳定的透视变换单应知矩阵，利用该单应矩阵实现图像配准，能有效提升该图像透视的变换的效果，有效提升使用的方便性。
附图说明
图1是本发明的图像透视变换的优化方法方框图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种图像透视变换的优化方法，包括如下步骤：
1)从粗匹配的图像中随机抽取4对匹配点并判断是否有3点共线的情况，如果有，则舍去这一组匹配点重新随机抽取，直到4对匹配点中没有3点共线的情况；
2)对选取的4对匹配点进行数据归一化，根据H元素的三个方程计算出单应矩阵H；
3)利用单应矩阵H，采用对称转移误差方法，来估算一组对应的误差，如果d2 transfer大于设定的阈值，则作为外点舍去，否者认定其对应的匹配点为内点；
4)在估计次数N内重复采样与验证，记录内点数目，选取具有较多内点数目的数据集进行下一步操作；
5)设定估计次数N的阈值为1000，选取内点数目与角点总数的比值ω(ω≥0.5)作为数据是真实数字模型内点的概率，那么一次估计中所有4个点都是内点的概率为ω4，N次采样后，记录内点数目最大时的一致集；
6)利用数目最大时数据集的所有内点从新估计单应矩阵HR，并用HR实现图像的配准，即IR＝HRI,其中I代表配准前的图像，IR代表配准后的图像。
根据上述技术方案，步骤3中对称转移误差方法的计算公式为：
d2 transfer＝d(Pi,H-1Pi')2+d(Pi',HPi)2
采用GLT算法估算变换矩阵，该方法可以得到更准确的参量，由4对匹配点对应Pi→P'i，确定变换方程为P'i＝HPi。
根据上述技术方案，步骤5)中如果经过N次至少有一次估计中的所有数据点都是内点的概率是p(p＝0.99)，则N需要满足：
根据上述技术方案，步骤2)中H元素的方程为：
这些方程都有Aih＝0的形式，其中Ai是3×9的矩阵，h是由矩阵H的元素组成的9维矢量，h＝[H1 H2 H3]T,hi是h的i个元素，每组点对应给出关于H元素的两个独立方程，利用4组点或得方程组Ah＝0，h是H未知元素的矢量，对A进行SVD分解，V的值就是h的解；应用上述公式与Pi→P'i，求得单应矩阵H'；令H＝T-1H'T，求得单应矩阵H。
根据上述技术方案，步骤1)中匹配点抽取采用Harris算法，即在两幅图像中提取的角点数目不一定相等，并且有相当多的冗余点，这时就需要去除可能导致匹配出现较大误差或导致匹配失败的冗余点，得出一一对应的精确匹配点；首先利用NCC进行特征点的粗匹配，然后利用RANSAC剔除错误的匹配点，实现图像的精确配准。
根据上述技术方案，NCC算法通过计算特征点邻域像素灰度的互相关系数，并以该系数为匹配准则进行匹配，其原理为：分别在参考图像和待配准图像中以每一个角点为中心，取一个(2N+1)×(2N+1)大小的相关窗，然后以参考帧中的每一个特征点为参考点在持配准图像中搜索对应的匹配点，互相关最大时的搜索窗口位置决定了模板图像在待匹配图像中的位置。
基于上述，本发明的优点在于，本发明针对图像末制异过程中图像配准的精确性和实时性的具休要求，提出了一种透视变换模型下基于Harris算法的图像配准方法，该方法增强了传统Harria算法的旋转不变性，能够更好地适用于发生大角度旋转的图像，结合NCC算法和RANSAC算法并引人DLT算法计算稳定的透视变换单应知矩阵，利用该单应矩阵实现图像配准，能有效提升该图像透视的变换的效果，有效提升使用的方便性。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种图像透视变换的优化方法，其特征在于：包括如下步骤：
1)从粗匹配的图像中随机抽取4对匹配点并判断是否有3点共线的情况，如果有，则舍去这一组匹配点重新随机抽取，直到4对匹配点中没有3点共线的情况；
2)对选取的4对匹配点进行数据归一化，根据H元素的三个方程计算出单应矩阵H；
3)利用单应矩阵H，采用对称转移误差方法，来估算一组对应的误差，如果d2 transfer大于设定的阈值，则作为外点舍去，否者认定其对应的匹配点为内点；
4)在估计次数N内重复采样与验证，记录内点数目，选取具有较多内点数目的数据集进行下一步操作；
5)设定估计次数N的阈值为1000，选取内点数目与角点总数的比值ω(ω≥0.5)作为数据是真实数字模型内点的概率，那么一次估计中所有4个点都是内点的概率为ω4，N次采样后，记录内点数目最大时的一致集；
6)利用数目最大时数据集的所有内点从新估计单应矩阵HR，并用HR实现图像的配准，即IR＝HRI，其中I代表配准前的图像，IR代表配准后的图像。
2.根据权利要求1的一种图像透视变换的优化方法，其特征在于：所述步骤3中对称转移误差方法的计算公式为：
d2 transfer＝d(Pi，H-1Pi’)2+d(Pi’，HPi)2
采用GLT算法估算变换矩阵，该方法可以得到更准确的参量，由4对匹配点对应Pi→P’i，确定变换方程为P’i＝HPi。
3.根据权利要求1的一种图像透视变换的优化方法，其特征在于：所述步骤5)中如果经过N次至少有一次估计中的所有数据点都是内点的概率是p(p＝0.99)，则N需要满足：
<mrow> <mn>1</mn> <mo>-</mo> <mi>p</mi> <mo>=</mo> <msup> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msup> <mi>w</mi> <mn>4</mn> </msup> <mo>)</mo> </mrow> <mi>N</mi> </msup> <mo>&amp;RightArrow;</mo> <mi>N</mi> <mo>=</mo> <mfrac> <mrow> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>p</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msup> <mi>w</mi> <mn>4</mn> </msup> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>.</mo> </mrow>
4.根据权利要求1的一种图像透视变换的优化方法，其特征在于：所述步骤2)中H元素的方程为：
<mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>H</mi> <mn>1</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>H</mi> <mn>2</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>H</mi> <mn>3</mn> </msub> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msup> <mn>0</mn> <mi>T</mi> </msup> </mtd> <mtd> <mrow> <mo>-</mo> <msub> <mi>w</mi> <mi>i</mi> </msub> <msub> <mi>P</mi> <msup> <mi>i</mi> <mi>T</mi> </msup> </msub> </mrow> </mtd> <mtd> <mrow> <msub> <mi>y</mi> <mi>i</mi> </msub> <msub> <mi>P</mi> <msup> <mi>i</mi> <mi>T</mi> </msup> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <msub> <mi>w</mi> <mi>i</mi> </msub> </mtd> <mtd> <msup> <mn>0</mn> <mi>T</mi> </msup> </mtd> <mtd> <mrow> <mo>-</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <msub> <mi>P</mi> <msup> <mi>i</mi> <mi>T</mi> </msup> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <msub> <mi>P</mi> <msup> <mi>i</mi> <mi>T</mi> </msup> </msub> </mrow> </mtd> <mtd> <mrow> <msub> <mi>x</mi> <mi>i</mi> </msub> <msub> <mi>P</mi> <msup> <mi>i</mi> <mi>T</mi> </msup> </msub> </mrow> </mtd> <mtd> <msup> <mn>0</mn> <mi>T</mi> </msup> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mn>0</mn> </mrow>
这些方程都有Aih＝0的形式，其中Ai是3×9的矩阵，h是由矩阵H的元素组成的9维矢量，h＝[H1 H2 H3]T，hi是h的i个元素，每组点对应给出关于H元素的两个独立方程，利用4组点或得方程组Ah＝0，h是H未知元素的矢量，对A进行SVD分解，V的值就是h的解；应用上述公式与Pi→P’i，求得单应矩阵H’；令H＝T-1H’T，求得单应矩阵H。
5.根据权利要求1的一种图像透视变换的优化方法，其特征在于：所述步骤1)中匹配点抽取采用Harris算法，即在两幅图像中提取的角点数目不一定相等，并且有相当多的冗余点，这时就需要去除可能导致匹配出现较大误差或导致匹配失败的冗余点，得出一一对应的精确匹配点；首先利用NCC进行特征点的粗匹配，然后利用RANSAC剔除错误的匹配点，实现图像的精确配准。
6.根据权利要求5的一种图像透视变换的优化方法，其特征在于：所述NCC算法通过计算特征点邻域像素灰度的互相关系数，并以该系数为匹配准则进行匹配，其原理为：分别在参考图像和待配准图像中以每一个角点为中心，取一个(2N+1)×(2N+1)大小的相关窗，然后以参考帧中的每一个特征点为参考点在持配准图像中搜索对应的匹配点，互相关最大时的搜索窗口位置决定了模板图像在待匹配图像中的位置。
CN201711176397.XA 2017-11-22 2017-11-22 一种图像透视变换的优化方法 Withdrawn CN107845107A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711176397.XA CN107845107A (zh) 2017-11-22 2017-11-22 一种图像透视变换的优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711176397.XA CN107845107A (zh) 2017-11-22 2017-11-22 一种图像透视变换的优化方法

Publications (1)

Publication Number Publication Date
CN107845107A true CN107845107A (zh) 2018-03-27

Family

ID=61679078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711176397.XA Withdrawn CN107845107A (zh) 2017-11-22 2017-11-22 一种图像透视变换的优化方法

Country Status (1)

Country Link
CN (1) CN107845107A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472202A (zh) * 2018-09-29 2019-03-15 天津大学 一种基于车载摄像头的路面标志检测方法
CN111783770A (zh) * 2020-01-16 2020-10-16 北京沃东天骏信息技术有限公司 图像的矫正方法、装置和计算机可读存储介质
CN112396569A (zh) * 2020-12-02 2021-02-23 北京皮尔布莱尼软件有限公司 一种对图像进行数据增强的方法
CN113643365A (zh) * 2021-07-07 2021-11-12 紫东信息科技(苏州)有限公司 一种相机位姿估计方法、装置、设备以及可读存储介质
CN112396569B (zh) * 2020-12-02 2024-05-31 北京皮尔布莱尼软件有限公司 一种对图像进行数据增强的方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472202A (zh) * 2018-09-29 2019-03-15 天津大学 一种基于车载摄像头的路面标志检测方法
CN111783770A (zh) * 2020-01-16 2020-10-16 北京沃东天骏信息技术有限公司 图像的矫正方法、装置和计算机可读存储介质
CN111783770B (zh) * 2020-01-16 2024-05-24 北京沃东天骏信息技术有限公司 图像的矫正方法、装置和计算机可读存储介质
CN112396569A (zh) * 2020-12-02 2021-02-23 北京皮尔布莱尼软件有限公司 一种对图像进行数据增强的方法
CN112396569B (zh) * 2020-12-02 2024-05-31 北京皮尔布莱尼软件有限公司 一种对图像进行数据增强的方法
CN113643365A (zh) * 2021-07-07 2021-11-12 紫东信息科技(苏州)有限公司 一种相机位姿估计方法、装置、设备以及可读存储介质
CN113643365B (zh) * 2021-07-07 2024-03-19 紫东信息科技(苏州)有限公司 一种相机位姿估计方法、装置、设备以及可读存储介质

Similar Documents

Publication Publication Date Title
CN107122705A (zh) 基于三维人脸模型的人脸关键点检测方法
CN104484648B (zh) 基于轮廓识别的机器人可变视角障碍物检测方法
CN103106688B (zh) 基于双层配准方法的室内三维场景重建方法
CN103034982B (zh) 一种基于变焦视频序列的图像超分辨率重建方法
CN104121902B (zh) 基于Xtion摄像机的室内机器人视觉里程计实现方法
CN104050681B (zh) 一种基于视频图像的道路消失点检测方法
CN107564061A (zh) 一种基于图像梯度联合优化的双目视觉里程计算方法
CN104596519B (zh) 基于ransac算法的视觉定位方法
CN104484881B (zh) 基于图像采集的Visual Map数据库建立方法及利用该数据库的室内定位方法
WO2020062434A1 (zh) 一种相机外部参数的静态标定方法
CN107871327A (zh) 基于特征点线的单目相机位姿估计和优化方法及系统
WO2021004416A1 (zh) 一种基于视觉信标建立信标地图的方法、装置
CN105184830B (zh) 一种对称图像对称轴检测定位方法
CN106485690A (zh) 基于点特征的点云数据与光学影像的自动配准融合方法
CN107845107A (zh) 一种图像透视变换的优化方法
CN106295512A (zh) 基于标识的多纠正线室内视觉数据库构建方法以及室内定位方法
CN106096621B (zh) 基于矢量约束的着降位置检测用随机特征点选取方法
CN103854283A (zh) 一种基于在线学习的移动增强现实跟踪注册方法
CN105184786B (zh) 一种浮点型三角形特征描述方法
CN104408725A (zh) 一种基于tld优化算法的目标重捕获系统及方法
CN105004337B (zh) 基于直线匹配的农用无人机自主导航方法
CN106127108A (zh) 一种基于卷积神经网络的人手图像区域检测方法
CN108537844A (zh) 一种融合几何信息的视觉slam回环检测方法
CN105631872B (zh) 基于多特征点的遥感图像配准方法
CN105279769A (zh) 一种联合多特征的层次粒子滤波跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180327