CN109493274B - 一种基于坐标转换的图像扭曲处理方法 - Google Patents

一种基于坐标转换的图像扭曲处理方法 Download PDF

Info

Publication number
CN109493274B
CN109493274B CN201811216781.2A CN201811216781A CN109493274B CN 109493274 B CN109493274 B CN 109493274B CN 201811216781 A CN201811216781 A CN 201811216781A CN 109493274 B CN109493274 B CN 109493274B
Authority
CN
China
Prior art keywords
transformation
image
vector
formula
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811216781.2A
Other languages
English (en)
Other versions
CN109493274A (zh
Inventor
赵祚喜
何振宇
赖琪
徐伟诚
黎源鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN201811216781.2A priority Critical patent/CN109493274B/zh
Publication of CN109493274A publication Critical patent/CN109493274A/zh
Application granted granted Critical
Publication of CN109493274B publication Critical patent/CN109493274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于坐标转换的图像扭曲处理方法，通过匹配点和正向变换计算出逆映射，其中匹配点是通过相机和采样平面选定的点，正向变换为图像从输入空间到输出空间的变换，正向变换为已知的，逆映射为图像从输出空间到输入空间的变换；求得逆映射后，通过逆映射将图像从输入空间变换至输出空间。本发明的方法简单、直观，可避免在冗长复杂的运算工程中出错以影响测量精度，属于数字图像处理与计算机视觉领域。

Description

一种基于坐标转换的图像扭曲处理方法
技术领域
本发明涉及数字图像处理与计算机视觉领域，尤其涉及一种基于坐标转换的图像扭曲处理方法。
背景技术
图像扭曲就是改变图像外观的一个过程，其结果就是改变了原始图像中像素的位置。最简单的图像扭曲操作是水平移位，向左或向右移动1个、2个或是n个像素的位置。然而，当同时在横纵两个方向上进行小数移位而不是整数移位时，情况有所不同。此时，像素新的位置不会落到一个图形的整数格位置上。因此，它的新值不得不进行某种方式的插值来适应任意新位置。出现这种情况通常发生在当对输入图像进行几何变换时，例如旋转、平移、缩放和射影变换。图像扭曲系统包括坐标变换和像素插值两部分，其中，扭曲模块由正向和逆向扭曲操作组成。
坐标变换模块负责在源坐标系和目标坐标系间像素坐标的映射。对于此模块，本发明提出逆向扭曲方案，坐标变换总是进行逆坐标映射，即输出(已变形)空间向输入(原始)空间，这意味着需要知道逆变换的参数。然而，一般正向变换是已知的，在这种情况下逆映射需要被计算出来的。故本发明提出用匹配点确定坐标变换，此方法可被用来评估变换的线性参数，即变换是否能被写成线性方程组的形式，其中方程的数目大于等于未知参数的数目，此方法可用于弹性立体匹配，根据视差图进行扭曲变换，然后与原始图像进行对比，可避免在冗长复杂的运算工程中出错以影响测量精度，并在尺度空间中被反复使用。
发明内容
针对现有技术中存在的计算复杂、验证困难等技术问题，本发明的目的是：提供一种简单、直观的基于坐标转换的图像扭曲处理方法。
为了达到上述目的，本发明采用如下技术方案：
一种基于坐标转换的图像扭曲处理方法，通过匹配点和正向变换计算出逆映射，其中匹配点是通过相机和采样平面选定的点，正向变换为图像从输入空间到输出空间的变换，正向变换为已知的，逆映射为图像从输出空间到输入空间的变换；求得逆映射后，通过逆映射将图像从输入空间变换至输出空间。本发明提出逆变换的方法，可以避免正变换情况下，输入图像由于映射后区域可能重叠，导致输出图像产生空洞，即正变换中对输入图像中的一些不同点，经过扭曲变换，映射到输出图像中同一个点，然而，它们原本都有不同的值，因此使用正变换的方法时我们需要将这些值存储至累加器以被后续的插值阶段使用，因此本专利方法更为的简单、直观。
作为一种优选，一种基于坐标转换的图像扭曲处理方法，包括如下步骤：(1)固定采样平面与相机的相对位置；(2)建立相机坐标系；(3)选取匹配点对采样平面进行标定；(4)对测得坐标进行逆扭曲变换得到基本映射；(5)由匹配点确定线性变换；(6)构建向量范数L2,即欧几里得距离；(7)构建函数E(x)求得满足向量范数L2最小化的解x0，通过x0计算出逆映射。
作为一种优选，步骤(1)中，为了保证采样平面和相机在标定和测量过程中的相对位置不变，通过安装支架将采样平面与相机刚性绑定在一起；相机和采样平面的位置关系要保证相机在视场范围的合适角度内能观测到采样平面。
作为一种优选，(2)中，取相机中心为坐标系原点，以相机光轴为Z轴成像面的水平方向为X轴，成像面的竖直方向为Y轴，其中Z轴垂直于采样平面，并过采样面的中心。
作为一种优选，步骤(3)中，在采样平面上选取3个匹配点，并利用仿射变换。
作为一种优选，步骤(3)中，仿射变换只需要六个参数，被写成
Figure BDA0001833744580000021
式中，A为坐标变换(扭曲变换)矩阵；x为齐次坐标系中的像素坐标；
Figure BDA0001833744580000023
为扭曲变换后输出图像中的新像素坐标。
作为一种优选，步骤(4)中，基本映射写成如下形式：
Figure BDA0001833744580000022
式中：P1、P2、P3和
Figure BDA0001833744580000031
分别为原始的点和经过扭曲变换后的点，要想得到B，需将上面的等式重写为以下形式：
Figure BDA0001833744580000032
式中pij为点的分量；bij为B的元素，这个式子缩写成如下形式：
Figure BDA0001833744580000033
b9×1是来自于B的列向量，
Figure BDA0001833744580000034
和P9×1都在式(4)中给出。
作为一种优选，步骤(5)中，在图像扭曲变换中可能会发生当匹配点数目比多项式系数多的情况，确定多项式变换的问题就是解超定系统的线性方程；
线性方程组：
Ax＝B (6)
式中：AM×N为一个系数矩阵；xN×1为未知的矩阵；BM×1为一个系数矩阵，只有当M＝N且A是非奇异时，式(6)才有解；当M>N，方程组数量大于未知数数量，式(6)系统是超定的，一般无解，因为B是M维的向量，不属于阶数最大为N的矩阵A的值域空间；
因此，转化为寻找x使下式中
R＝B-Ax (7)
向量RM×1的系数最小。
作为一种优选，步骤(6)中，选择一个向量范数，即欧几里得距离L2范数，这样，最小化式(7)的问题被表达为
Figure BDA0001833744580000041
在L2的情况下满足式(8)的向量x是在A的值域空间中离向量B最近的向量。
作为一种优选，步骤(7)中，为求得满足式(8)的向量x0，残差向量r正交于R，即AT(B-Ax)＝0；为得到x0可构建函数E(x)：
Figure BDA0001833744580000042
式中：L2范数可以表示为
E(x)＝(B-Ax)T(B-Ax) (10)
区别于上述x的方程，正规方程为：
Figure BDA0001833744580000043
使之等于0，得到极值点x0：
AT(B-Ax0)＝0 (12)
假设ATA是非奇异的，则上述方程的唯一解为
x0＝(A*A)-1A*B (13)
式中：A*为A的共轭矩阵；A+＝(A*A)-1A*为A的伪逆矩阵。
总的说来，本发明具有如下优点：
1.简单、直观，可避免在冗长复杂的运算工程中出错以影响测量精度。
2.在某些正向变换不能实现的情况下，能通过近似求解的方式，使得图像从输入空间到输出空间的变换均能实现。
3.本发明提出逆变换的方法，输出图像是逐点扫描，使得在输入图像中相应的像素位置就可以被计算出来，此外，新位置往往不是输入图像的网格整数点；因此，可以避免正变换情况下，输入图像由于映射后区域可能重叠，导致输出图像产生空洞，即正变换中对输入图像中的一些不同点，经过扭曲变换，映射到输出图像中同一个点，然而，它们原本都有不同的值，因此使用正变换的方法时我们需要将这些值存储至累加器以被后续的插值阶段使用。
4.采用逆变换的方法确定像素的值时，需要对原始图样进行重新采样，这时候更容易在输入图像中找到离插值像素最近的像素。
5.逆变换中，当从输出图像向输入图像映射时，像素映射的方法通常不会产生空洞问题。
附图说明
图1是相机坐标系建立示意图。
图2是本发明的逆扭曲方案示意图。其中输出图像的点被映射到输入空间，然后，基于已映射点的最近领域，由像素值插值确定其值。即使两个点被映射至同一个位置，也不会出现空洞问题。(a)输入目标；(b)输出(被扭曲的)图像。其中，输出中的不同点Pa、Pb映射到了输入中的相应点Pa＝Pb’，Pc映射到Pc’。
图3是本发明的一种基于坐标转换的图像扭曲处理方法的流程图。
具体实施方式
下面将结合具体实施方式来对本发明做进一步详细的说明。
一种基于坐标转换的图像扭曲处理方法，该方法通过匹配点来确定坐标变换的问题，具体包括以下步骤：
(1)固定采样平面与相机的相对位置
为了保证采样平面和相机在标定和测量过程中的相对位置不变，通过安装支架将采样平面与相机刚性绑定在一起。相机和采样平面的位置关系要保证相机在视场范围的合适角度内能观测到采样平面。
(2)建立相机坐标系
如图1所示，取相机中心为坐标系原点，以相机光轴为Z轴成像面的水平方向为X轴，成像面的竖直方向为Y轴，其中Z轴垂直于采样平面，并过采样面的中心，采样面到相机的中心的垂直距离为d。
(3)选取匹配点对采样平面进行标定
在采样平面上选取3个匹配点，平面涉及射影变换和仿射变换，平面射影单应变换需要9个参数，而仿射变换只需要6个参数，因此，本发明从仿射变换开始。
在很多应用中，对应着旋转、平移和缩放的仿射变换经常被使用。它只需要6个参数，可以被写为
Figure BDA0001833744580000061
在齐次坐标系中，第三个坐标的选择从某种意义上讲是任意的，因此对于由上面公式给出的仿射变换，为方便起见，假设
Figure BDA0001833744580000062
式中，A为坐标变换(扭曲变换)矩阵；x为齐次坐标系中的像素坐标；
Figure BDA0001833744580000063
为扭曲变换后输出图像中的新像素坐标。
此时，在计算笛卡尔坐标时可以避免除法。
Figure BDA0001833744580000064
(4)对测得坐标进行逆扭曲变换得到基本映射
在执行逆扭曲变换时，不再是找矩阵A，而是找它的逆B＝A-1,假设这个逆矩阵存在。如图2所示，矩阵B描述的是从输出到原始图像(未扭曲)的映射，因为有六个未知数，每个二维点增加两个等式，因此必须有三个不同的点来决定矩阵B的参数。此外所有点不应全在一条只显示，否则的话最终导致奇异性的相关方程。这样的基本映射则可写成如下形式：
Figure BDA0001833744580000065
式中：P1、P2、P3和
Figure BDA0001833744580000066
分别为原始的点和经过扭曲变换后的点，要想得到B，需将上面的等式重写为以下形式：
Figure BDA0001833744580000071
式中pij为点的分量；bij为B的元素，这个式子可以缩写成如下形式：
Figure BDA0001833744580000072
b9×1是来自于B的列向量，
Figure BDA0001833744580000073
和P9×1都在式(4)中给出。
(5)由匹配点确定线性变换
在图像扭曲变换中可能会发生当匹配点数目比多项式系数多的情况，确定多项式变换的问题就是所谓的解超定系统的线性方程。
线性方程组：
Ax＝B (6)
式中：AM×N为一个系数矩阵；xN×1为未知的矩阵(向量)；BM×1为一个系数矩阵(向量)，只有当M＝N且A是非奇异时，方程组(6)才有解。当M>N(方程组数量大于未知数数量)，式(6)系统是超定的，一般无解，因为B是M维的向量，不属于阶数最大为N的矩阵A的值域空间。
因此，可转化为寻找x使下式中
R＝B-Ax (7)
向量RM×1的系数最小。
(6)构建向量范数L2(即欧几里得距离)
选择一个向量范数。最自然(直观)的选择是L2范数(即欧几里得距离)，这样，最小化(7)的问题被表达为
Figure BDA0001833744580000081
在L2的情况下满足式(8)的向量x是在A的值域空间中离向量B最近的向量。
(7)构建函数E(x)求得满足向量范数L2最小化的解x0
为求得满足式(8)的向量x0，残差向量r正交于R，即AT(B-Ax)＝0。为得到x0可构建函数E(x)：
Figure BDA0001833744580000082
式中：L2范数可以表示为
E(x)＝(B-Ax)T(B-Ax) (10)
区别于上述x的方程，我们所谓的正规方程为：
Figure BDA0001833744580000083
使之等于0，得到极值点x0：
AT(B-Ax0)＝0 (12)
假设ATA是非奇异的，则上述方程的唯一解为
x0＝(A*A)-1A*B (13)
式中：A*为A的共轭矩阵；A+＝(A*A)-1A*为A的伪逆矩阵。
一幅简单的图像可以用来储存在计算机内存的二维数组来表示，数组中的元素表示像素光强值。在数学上，用矩阵来表示图像。坐标变换模块是利用像素在源坐标系中的位置，计算像素在目标坐标系中的位置，通过逆向扭曲处理，可纠正正向扭曲处理所出现的问题。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于坐标转换的图像扭曲处理方法，其特征在于：通过匹配点和正向变换计算出逆映射，其中匹配点是通过相机和采样平面选定的点，正向变换为图像从输入空间到输出空间的变换，正向变换为已知的，逆映射为图像从输出空间到输入空间的变换；求得逆映射后，通过逆映射将图像从输入空间变换至输出空间；包括如下步骤：
(1)固定采样平面与相机的相对位置；
(2)建立相机坐标系；
(3)选取匹配点对采样平面进行标定；
(4)对测得坐标进行逆扭曲变换得到基本映射；
(5)由匹配点确定线性变换；
(6)构建向量范数L2，即欧几里得距离；
(7)构建函数E(x)求得满足向量范数L2最小化的解x0，通过x0计算出逆映射。
2.按照权利要求1所述的一种基于坐标转换的图像扭曲处理方法，其特征在于：步骤(1)中，为了保证采样平面和相机在标定和测量过程中的相对位置不变，通过安装支架将采样平面与相机刚性绑定在一起；相机和采样平面的位置关系要保证相机在视场范围的合适角度内能观测到采样平面。
3.按照权利要求1所述的一种基于坐标转换的图像扭曲处理方法，其特征在于：步骤(2)中，取相机中心为坐标系原点，以相机光轴为Z轴成像面的水平方向为X轴，成像面的竖直方向为Y轴，其中Z轴垂直于采样平面，并过采样面的中心。
4.按照权利要求1所述的一种基于坐标转换的图像扭曲处理方法，其特征在于：步骤(3)中，在采样平面上选取3个匹配点，并利用仿射变换。
5.按照权利要求4所述的一种基于坐标转换的图像扭曲处理方法，其特征在于：步骤(3)中，仿射变换只需要六个参数，被写成
Figure FDA0002732130360000011
Figure FDA0002732130360000012
式中，A为扭曲变换矩阵；x为齐次坐标系中的像素坐标；
Figure FDA0002732130360000013
为扭曲变换后输出图像中的新像素坐标。
6.按照权利要求5所述的一种基于坐标转换的图像扭曲处理方法，其特征在于：步骤(4)中，基本映射写成如下形式：
Figure FDA0002732130360000021
式中：P1、P2、P3和
Figure FDA0002732130360000022
分别为原始的点和经过扭曲变换后的点，要想得到B，需将上面的等式重写为以下形式：
Figure FDA0002732130360000023
式中pij为点的分量；bij为B的元素，这个式子缩写成如下形式：
Figure FDA0002732130360000024
b9×1是来自于B的列向量，
Figure FDA0002732130360000025
和P9×1都在式(4)中给出。
7.按照权利要求6所述的一种基于坐标转换的图像扭曲处理方法，其特征在于：步骤(5)中，在图像扭曲变换中可能会发生当匹配点数目比多项式系数多的情况，确定多项式变换的问题就是解超定系统的线性方程；
线性方程组：
Ax＝B (6)
式中：AM×N为一个系数矩阵；xN×1为未知的矩阵；BM×1为一个系数矩阵，只有当M＝N且A是非奇异时，式(6)才有解；当M＞N，方程组数量大于未知数数量，式(6)系统是超定的，一般无解，因为B是M维的向量，不属于阶数最大为N的矩阵A的值域空间；
因此，转化为寻找x使下式中
R＝B-Ax (7)
向量RM×1的系数最小。
8.按照权利要求7所述的一种基于坐标转换的图像扭曲处理方法，其特征在于：步骤(6)中，选择一个向量范数，即欧几里得距离L2范数，这样，最小化式(7)的问题被表达为
Figure FDA0002732130360000031
在L2的情况下满足式(8)的向量x是在A的值域空间中离向量B最近的向量。
9.按照权利要求8所述的一种基于坐标转换的图像扭曲处理方法，其特征在于：步骤(7)中，为求得满足式(8)的向量x0，残差向量r正交于R，即AT(B-Ax)＝0；为得到x0可构建函数E(x)：
Figure FDA0002732130360000032
式中：L2范数可以表示为
E(x)＝(B-Ax)T(B-Ax) (10)
区别于E(x)的方程，正规方程为：
Figure FDA0002732130360000033
使之等于0，得到极值点x0：
AT(B-Ax0)＝0 (12)
假设ATA是非奇异的，则方程(12)的唯一解为
x0＝(A*A)-1A*B (13)
式中：A*为A的共轭矩阵；A+＝(A*A)-1A*为A的伪逆矩阵。
CN201811216781.2A 2018-10-18 2018-10-18 一种基于坐标转换的图像扭曲处理方法 Active CN109493274B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811216781.2A CN109493274B (zh) 2018-10-18 2018-10-18 一种基于坐标转换的图像扭曲处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811216781.2A CN109493274B (zh) 2018-10-18 2018-10-18 一种基于坐标转换的图像扭曲处理方法

Publications (2)

Publication Number Publication Date
CN109493274A CN109493274A (zh) 2019-03-19
CN109493274B true CN109493274B (zh) 2020-12-11

Family

ID=65691936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811216781.2A Active CN109493274B (zh) 2018-10-18 2018-10-18 一种基于坐标转换的图像扭曲处理方法

Country Status (1)

Country Link
CN (1) CN109493274B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103401657A (zh) * 2013-07-10 2013-11-20 中国计量学院 一种协作通信部分相干非差分分布式空时编码方法
CN103489176A (zh) * 2012-06-13 2014-01-01 中国科学院电子学研究所 一种对于严重几何畸变的sar图像进行同名点提取的方法
CN104240236A (zh) * 2014-08-26 2014-12-24 中山大学 一种鱼眼镜头标定后鱼眼图像校正的方法
JP2017130067A (ja) * 2016-01-20 2017-07-27 インスペース カンパニー リミテッド 衛星映像の位置正確度改善のための自動映像処理システム及びその方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489176A (zh) * 2012-06-13 2014-01-01 中国科学院电子学研究所 一种对于严重几何畸变的sar图像进行同名点提取的方法
CN103401657A (zh) * 2013-07-10 2013-11-20 中国计量学院 一种协作通信部分相干非差分分布式空时编码方法
CN104240236A (zh) * 2014-08-26 2014-12-24 中山大学 一种鱼眼镜头标定后鱼眼图像校正的方法
JP2017130067A (ja) * 2016-01-20 2017-07-27 インスペース カンパニー リミテッド 衛星映像の位置正確度改善のための自動映像処理システム及びその方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
图像逆映射与融合技术;阮宗才等;《模式识别与人工智能》;20000630;论文1-4页 *

Also Published As

Publication number Publication date
CN109493274A (zh) 2019-03-19

Similar Documents

Publication Publication Date Title
Tang et al. A precision analysis of camera distortion models
WO2011010438A1 (ja) 視差検出装置、測距装置及び視差検出方法
CN108629810B (zh) 双目相机的标定方法、装置及终端
JP2007309660A (ja) ３次元形状測定装置におけるキャリブレーション方法
JP2011086111A (ja) 撮像装置校正方法及び画像合成装置
CN113920205B (zh) 一种非同轴相机的标定方法
JP2018085140A (ja) ホモグラフィの修正
JP2005149500A (ja) 多焦点画像スタック内の歪みの補正方法
JP2017191572A (ja) 画像処理装置及びその方法、プログラム
US9563937B2 (en) High-resolution image generation apparatus, high-resolution image generation method, and high-resolution image generation program
WO2010013289A1 (ja) カメラ校正画像作成装置およびカメラ校正画像作成プログラム
US20070206847A1 (en) Correction of vibration-induced and random positioning errors in tomosynthesis
CN109493274B (zh) 一种基于坐标转换的图像扭曲处理方法
JP6532328B2 (ja) 画像処理装置、その制御方法、および制御プログラム
CN117333367A (zh) 基于图像局部特征的图像拼接方法、系统、介质及装置
KR20100001608A (ko) 렌즈 왜곡 보정 장치 및 방법
JP5252642B2 (ja) 奥行推定装置、奥行推定方法および奥行推定プログラム
JP4970118B2 (ja) カメラ校正方法、そのプログラム、記録媒体、装置
WO2023070862A1 (zh) 校正广角镜头图像畸变的方法、装置及照相设备
JP6632434B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN115358949A (zh) 全景图像处理方法、计算机设备和存储介质
JPH05101221A (ja) 画像歪補正装置
JP4985213B2 (ja) ３次元形状計測方法および装置ならびにプログラム
JP4196784B2 (ja) カメラ位置測定装置および方法並びにカメラ位置制御方法
JP6273764B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant