CN114742737B - 一种用于拼接图像畸变校正的图像校正方法和装置 - Google Patents
一种用于拼接图像畸变校正的图像校正方法和装置 Download PDFInfo
- Publication number
- CN114742737B CN114742737B CN202210664246.3A CN202210664246A CN114742737B CN 114742737 B CN114742737 B CN 114742737B CN 202210664246 A CN202210664246 A CN 202210664246A CN 114742737 B CN114742737 B CN 114742737B
- Authority
- CN
- China
- Prior art keywords
- image
- slice
- correction
- pixel
- distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000003702 image correction Methods 0.000 title claims abstract description 28
- 238000012937 correction Methods 0.000 claims abstract description 295
- 239000012634 fragment Substances 0.000 claims abstract description 41
- 238000001514 detection method Methods 0.000 claims description 7
- 238000013467 fragmentation Methods 0.000 claims description 7
- 238000006062 fragmentation reaction Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000005259 measurement Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种用于拼接图像畸变校正的图像校正方法和装置，首先对拼接图像进行分片，再将分片获取的图像分片分别进行畸变校正，最后在将畸变校正后获取的校正分片进行拼接以获取拼接图像畸变校正后的图像。其中，在对图像分片进行畸变校正时，先对图像分片建立平面坐标系，再依据拟合的线性或非线性的畸变校正公式获取图像分片的像素点所对应的校正分片的像素点，进而获取校正分片。由于采用先分片后依据各个图像分片的线性畸变函数进行畸变校正，使得对拼接图像的畸变校正更准确、更效率。
Description
技术领域
本发明涉及数字图像处理技术领域，具体涉及一种用于拼接图像畸变校正的图像校正方法和装置。
背景技术
线阵相机结构简单，成本低且分辨率高，在无接触实时测量系统、表面缺陷检测系统及高速运动目标姿态测量系统中获得了越来越多的应用。在高精度尺寸测量和线阵双目视觉等应用中，镜头畸变的存在会严重影响系统性能。因此，在要求较高的线阵相机视觉系统中必须对相机镜头畸变进行标定和补偿。目前对面阵相机镜头畸变理论的研究已较为成熟，无论是常规的经典标定法还是单独畸变标定法都有很好的精度表现，但线阵相机的畸变模型理论还不够完善。目前，线阵相机镜头畸变标定方法有基于交比不变理论的方法、多项式拟合法和精密测角法等。交比不变的理论是基于透视投影中交比不变的性质，这个理论用在面阵相机畸变标定中结果不是很稳定，容易陷入局部最优，同样地，在线阵相机畸变标定中也存在同样的问题。多项式拟合法没有考虑相机的实际成像模型，仅仅是使用多项式模拟出场景中的畸变特征，这样其在不同场景中的适应性表现不是很好，而且计算量很大。精密测角法依赖额外的高精度标定工具，操作不方便。另外，线阵相机的典型应用是对匀速运动的物体做逐行连续扫描，由于扫描频率与目标行进的速率不匹配常常会导致在纵向上会有一个拉伸比例，而基于交比不变的去畸变方法无法进行纵向拉伸的校正。
发明内容
本发明主要解决的技术问题是如何对拼接图像的畸变进行校正。
根据第一方面，一种实施例中提供一种用于拼接图像畸变校正的图像校正方法，包括：
获取由至少两个拼接子图像拼接而成的拼接图像A；
对拼接图像A进行分片，以获取图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm，m为大于1的自然数；
分别对图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm进行图像畸变校正，以获取校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇；
将获取的校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇进行拼接，以获取校正图像B，所述校正图像B为所述拼接图像A畸变校正后的图像；
其中，所述分别对图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm进行图像畸变校正，以获取校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇，包括：
对拼接图像A进行分片获取的图像分片Pn建立平面坐标系，图像分片Pn的像素点表示为像素Q（X，Y），X和Y用于表示该像素点在所述平面坐标系的位置信息，n为自然数，且1≤n≤m；
对图像分片Pn进行图像畸变校正获取校正分片Pn＇，校正分片Pn＇的像素点表示为像素U（x，y），x和y用于表示该像素点在所述平面坐标系的位置信息，对图像分片Pn的像素Q（X，Y）进行畸变校正后对应校正分片Pn＇的像素U（x，y），则x、y、X和Y满足畸变校正公式；所述畸变校正公式为第一校正公式或第二校正公式；
所述第一校正公式包括：
x =(en1·X-bn1·Y+bn1·gn1-en1·cn1)*(an1·en1-bn1·dn1)-1；
y =(an1·Y-dn1·X +dn1·cn1-an1·gn1)*(an1·en1-bn1·dn1)-1；
其中，an1、bn1、cn1、dn1、en1和gn1为预设常数；
所述第二校正公式包括：
x =(en2·X-bn2·Y+bn2·gn2-en2·cn2)*(an2·en2-bn2·dn2)-1；
y =(an2·Y-dn2·X +dn2·cn2-an2·gn2)*(an2·en2-bn2·dn2)-1；
其中，an2、bn2、cn2、dn2、en2和gn2为预设常数；
依据图像分片Pn的像素Q（X，Y）与校正分片Pn＇的像素U（x，y）对应关系获取校正分片Pn＇。
一种实施例中，获取预设常数an1、bn1 、cn1、dn1、en1、fn1、gn1、hn1、in1、jn1、kn1和ln1的方法包括：
获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）；
依据图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）中的x、y、X和Y的值及所述第一校正公式获取预设常数an1、bn1、cn1、dn1、en1、fn1、gn1、hn1、in1、jn1、kn1和ln1；
一种实施例中，获取预设常数an2、bn2、cn2、dn2、en2和gn2的方法包括：
获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）；
依据图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）中的x、y、X和Y的值及所述第二校正公式，获取预设常数an2、bn2、cn2、dn2、en2和gn。
一种实施例中，所述获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y），包括：
应用角点检测法获取。
一种实施例中，所述获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y），包括：
在图像分片Pn中预先标注预设数量的像素Q（X，Y）；
获取标注的像素Q（X，Y）和对应像素U（x，y）的x、y、X和Y的值；
依据图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）中的x、y、X和Y的值及所述第一校正公式获取预设常数an1、bn1、dn1、en1、fn1、gn1、hn1、in1、jn1、kn1和ln1；
或，依据图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）中的x、y、X和Y的值及所述第二校正公式，获取预设常数an2、bn2、cn2、dn2、en2和gn2。
一种实施例中，对拼接图像A进行分片后获取的每个图像分片的面积不大于所述拼接子图像；
和/或，对拼接图像A进行分片后获取的每个图像分片的形状为矩形。
一种实施例中，对拼接图像A进行分片时，按所述拼接子图像进行分片，每个所述拼接子图像对应一个图像分片。
根据第二方面，一种实施例中提供一种用于拼接图像畸变校正的图像校正装置，包括：
拼接图像获取模块，用于将至少两个拼接子图像进行拼接，以获取拼接图像A；
分片模块，用于对拼接图像A进行分片，以获取图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm，m为大于1的自然数；
畸变校正模块，用于分别对图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm进行图像畸变校正，以获取校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇；
校正图像获取模块，用于将获取的校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇进行拼接，以获取校正图像B，所述校正图像B为所述拼接图像A的畸变校正图像；
其中，所述分别对图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm进行图像畸变校正，以获取校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇，包括：
所述畸变校正模块对拼接图像A进行分片获取的图像分片Pn建立平面坐标系，图像分片Pn的像素点表示为像素Q（X，Y），X和Y用于表示该像素点在所述平面坐标系的位置信息，1≤n≤m，且为自然数；
所述畸变校正模块对图像分片Pn进行图像畸变校正获取校正分片Pn＇，校正分片Pn＇的像素点表示为像素U（x，y），x和y用于表示该像素点在所述平面坐标系的位置信息，对图像分片Pn的像素Q（X，Y）进行畸变校正后对应校正分片Pn＇的像素U（x，y），则x、y、X和Y满足畸变校正公式；所述畸变校正公式为第一校正公式或第二校正公式；
所述第一校正公式包括：
x =an1·X 2+bn1·X·Y +cn1·Y 2+dn1·X +en1·Y +fn1；
y =gn1·X 2+hn1·X·Y +in1·Y 2+jn1·X +kn1·Y +ln1；
其中，an1、bn1、cn1、dn1、en1、fn1、gn1、hn1、in1、jn1、kn1和ln1为预设常数；
所述第二校正公式包括：
x =(en2·X-bn2·Y+bn2·gn2-en2·cn2)*(an2·en2-bn2·dn2)-1；
y =(an2·Y-dn2·X +dn2·cn2-an2·gn2)*(an2·en2-bn2·dn2)-1；
其中，an2、bn2、cn2、dn2、en2和gn2为预设常数；
所述畸变校正模块依据图像分片Pn的像素Q（X，Y）与校正分片Pn＇的像素U（x，y）对应关系获取校正分片Pn＇。
一种实施例中，所述畸变校正模块获取预设常数an1、bn1、cn1、dn1、en1、fn1、gn1、hn1、in1、jn1、kn1和ln1的方法包括：
获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）；
依据图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）中的x、y、X和Y的值及所述第一校正公式，获取预设常数an1、bn1、cn1、dn1、en1、fn1、gn1、hn1、in1、jn1、kn1和ln1；
一种实施例中，所述畸变校正模块获取预设常数an2、bn2、cn2、dn2、en2和gn2的方法包括：
获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）；
依据图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）中的x、y、X和Y的值及所述第二校正公式，获取预设常数an2、bn2、cn2、dn2、en2和gn2。
一种实施例中，所述分片模块对拼接图像A进行分片后获取的每个图像分片的面积不大于所述拼接子图像；
和/或，所述分片模块对拼接图像A进行分片后获取的每个图像分片的形状为矩形。
一种实施例中，所述分片模块对拼接图像A进行分片时，按所述拼接子图像进行分片，每个所述拼接子图像对应一个图像分片。
根据第三方面，一种实施例中提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行，以实现如第一方面所述的图像校正方法。
依据上述实施例的图像校正方法和装置，由于采用先分片后依据各个图像分片的线性畸变函数进行畸变校正，使得对拼接图像的畸变校正更准确、更效率。
附图说明
图1为一种实施例中未发生畸变的图像示意图；
图2为一种实施例中畸变后的图像示意图；
图3为另一种实施例中畸变后的图像示意图；
图4为一种实施例中图像校正方法的流程示意图；
图5为一种实施例中图像校正装置的结构连接示意图；
图6为一种实施例中对拼接图像A进行分片示意图；
图7为另一种实施例中对拼接图像A进行分片示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接（联接）。
在大尺寸高精度测量设备中，要达到微米级别的测量精度，通常采用高精度高分辨小视野的高品质相机来在被测目标，例如PCB线路板的检测中的二次元测量设备，但二次元设备需要按照检测流程逐个检测被测的部分，以测量相关参数是否达到要求，因此，需要较长时间才能完成，对于时间效率要求较高的场合，则需要一次性完成整个图像的扫描拼接，也就是必须采用面阵相机（也就是高清小视野）图像的扫描拼接而成，或者采用高分辨的线扫相机通过多次扫描拼接而成。这些拼接图像存在非常多的畸变、光线变化、非线性失真等问题，因此，在进行正式的测量以前，需要对图像进行校正。由于仅用一个线性的变换是很难实现高精度的校正。与此同时，考虑到在每一个线阵扫描行内，像素的畸变是近似线性的，请参考图1、图2和图3，图2和图3分别是图1不同畸变后的图像，可以对每一个扫描行分别进行一个线性的校正算法，形成一个分段线性的算法。
在本申请实施例中，公开了一种用于拼接图像畸变校正的图像校正装置，包括拼接图像获取模块、分片模块、畸变校正模块和校正图像获取模块。首先分片模块对拼接图像获取模块获取的拼接图像进行分片，再由畸变校正模块分别将分片获取的图像分片分别进行畸变校正，最后在由校正图像获取模块将畸变校正后获取的校正分片进行拼接，以获取拼接图像畸变校正后的图像。其中，在对图像分片进行畸变校正时，先对图像分片建立平面坐标系，再依据拟合的线性的畸变校正公式获取图像分片的像素点所对应的校正分片的像素点，进而获取校正分片。由于采用先分片后依据各个图像分片的线性畸变函数进行畸变校正，使得对拼接图像的畸变校正更准确、更效率。
实施例一
请参考图4，为一种实施例中图像校正方法的流程示意图，该图像校正方法用于对拼接图像的畸变校正，包括：
步骤101，获取拼接图像。
获取由至少两个拼接子图像拼接而成的拼接图像A。
步骤102，图像分片。
对拼接图像A进行分片，以获取图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm，m为大于1的自然数。一实施例中，对拼接图像A进行分片后获取的每个图像分片的面积不大于拼接子图像。一实施例中，对拼接图像A进行分片后获取的每个图像分片的形状为矩形。一实施例中，对拼接图像A进行分片时，按拼接子图像进行分片，每个拼接子图像对应一个图像分片。
步骤103，进行畸变校正。
分别对图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm进行图像畸变校正，以获取校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇。其中，分别对图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm进行图像畸变校正，以获取校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇，包括：
对拼接图像A进行分片获取的图像分片Pn建立平面坐标系，图像分片Pn的像素点表示为像素Q（X，Y），X和Y用于表示该像素点在该平面坐标系的位置信息，1≤n≤m，n为自然数。其中，图像分片Pn为图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm中的任一个。对图像分片Pn进行图像畸变校正获取校正分片Pn＇，校正分片Pn＇的像素点表示为像素U（x，y），x和y用于表示该像素点在所述平面坐标系的位置信息，对图像分片Pn的像素Q（X，Y）进行畸变校正后对应校正分片Pn＇的像素U（x，y），则x、y、X和Y满足畸变校正公式，该畸变校正公式为第一校正公式或第二校正公式；
其中，第一校正公式包括：
x =an1·X 2+bn1·X·Y +cn1·Y 2+dn1·X +en1·Y +fn1；
y =gn1·X 2+hn1·X·Y +in1·Y 2+jn1·X +kn1·Y +ln1；
其中，an1、bn1、cn1、dn1、en1、fn1、gn1、hn1、in1、jn1、kn1和ln1为预设常数。
第二校正公式包括：
x =(en2·X-bn2·Y+bn2·gn2-en2·cn2)*(an2·en2-bn2·dn2)-1；
y =(an2·Y-dn2·X +dn2·cn2-an2·gn2)*(an2·en2-bn2·dn2)-1；
其中，an2、bn2、cn2、dn2、en2和gn2为预设常数。
依据图像分片Pn的像素Q（X，Y）与校正分片Pn＇的像素U（x，y）对应关系获取校正分片Pn＇。一实施例中，先将图像分片Pn的像素Q（X，Y）中的X和Y带入畸变校正公式获取x和y，进而获取校正分片Pn＇的像素U（x，y），再依据全部的校正分片Pn＇的像素U（x，y）获取校正分片Pn＇。一实施例中，在平面坐标系中，将图像分片Pn的像素Q（X，Y）平移到像素U（x，y）位置，作为校正分片Pn＇的像素点。一实施例中，平面坐标系为平面直角坐标系。
一实施例中，获取预设常数an1、bn1、cn1、dn1、en1、fn1、gn1、hn1、in1、jn1、kn1和ln1的方法包括：
获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）；
依据图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）中的x、y、X和Y的值及第一校正公式，获取预设常数an1、bn1、cn1、dn1、en1、fn1、gn1、hn1、in1、jn1、kn1和ln1。
一实施例中，将预设数量的像素Q（X，Y）中的x和y的值及对应像素U（x，y）中的x和y的值带入第一校正公式中，求取预设常数an1、bn1、cn1、dn1、en1、fn1、gn1、hn1、in1、jn1、kn1和ln1。
一实施例中，获取预设常数an2、bn2、cn2、dn2、en2和gn2为预设常数的方法包括：
首先，获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）；再依据图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）中的x、y、X和Y的值及第二校正公式，获取预设常数an2、bn2、cn2、dn2、en2和gn2。
一实施例中，将预设数量的像素Q（X，Y）中的x和y的值及对应像素U（x，y）中的x和y的值带入第二校正公式中，求取预设常数an2、bn2、cn2、dn2、en2和gn2。
一实施例中，一个图像分片Pn对应一个第一校正公式或一个第二校正公式。
一实施例中，每个图像分片Pn的预设常数an2、bn2、cn2、dn2、en2和gn2为预设常数的值并不相同。
一实施例中，获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y），应用角点检测法获取。
一实施例中，获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）的方法包括：
在图像分片Pn中预先标注预设数量的像素Q（X，Y）；
获取标注的像素Q（X，Y）和对应像素U（x，y）的x、y、X和Y的值；
依据图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）中的x、y、X和Y的值及所述第二校正公式获取预设常数an2、bn2、cn2、dn2、en2和gn2。或，依据图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）中的x、y、X和Y的值及所述第一校正公式，获取预设常数an1、bn1、cn1、dn1、en1、fn1、gn1、hn1、in1、jn1、kn1和ln1。
其中，对图像分片Pn中的像素Q（X，Y）进行预先标注可采用对预设位置的像素点或预设灰度值的像素点进行标注。
步骤104，获取畸变校正后的图像。
将获取的校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇进行拼接，以获取校正图像B，该校正图像B为拼接图像A畸变校正后的图像。
本申请实施例中公开的图像校正方法，首先对拼接图像进行分片，再将分片获取的图像分片分别进行畸变校正，最后在将畸变校正后获取的校正分片进行拼接以获取拼接图像畸变校正后的图像。其中，在对图像分片进行畸变校正时，先对图像分片建立平面坐标系，再依据拟合的线性的畸变校正公式获取图像分片的像素点所对应的校正分片的像素点，进而获取校正分片。由于采用先分片后依据各个图像分片的线性畸变函数进行畸变校正，使得对拼接图像的畸变校正更准确、更效率。
请参考图5，为一种实施例中图像校正装置的结构连接示意图，在本申请一实施例中还公开了一种图像校正装置，用于对拼接图像进行畸变校正，该图像校正装置包括拼接图像获取模块10、分片模块20、畸变校正模块30和校正图像获取模块40。拼接图像获取模块10用于将至少两个拼接子图像进行拼接，以获取拼接图像A。分片模块20用于对拼接图像A进行分片，以获取图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm，m为大于1的自然数。畸变校正模块30用于分别对图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm进行图像畸变校正，以获取校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇。校正图像获取模块40用于将获取的校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇进行拼接，以获取校正图像B，校正图像B为拼接图像A的畸变校正图像。
其中，分别对图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm进行图像畸变校正，以获取校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇，包括：
畸变校正模块30对拼接图像A进行分片获取的图像分片Pn建立平面坐标系，图像分片Pn的像素点表示为像素Q（X，Y），X和Y用于表示该像素点在平面坐标系的位置信息，1≤n≤m。畸变校正模块30对图像分片Pn进行图像畸变校正获取校正分片Pn＇，校正分片Pn＇的像素点表示为像素U（x，y），x和y用于表示该像素点在平面坐标系的位置信息，对图像分片Pn的像素Q（X，Y）进行畸变校正后对应校正分片Pn＇的像素U（x，y），则x、y、X和Y满足畸变校正公式。该畸变校正公式包括：
X=an2·x+bn2·y+cn2；
Y=dn2·x+en2·y+gn2；
其中，an2、bn2、cn2、dn2、en2和gn2为预设常数为预设常数；
畸变校正模块30依据图像分片Pn的像素Q（X，Y）与校正分片Pn＇的像素U（x，y）对应关系获取校正分片Pn＇。
一实施例中，畸变校正模块30获取预设常数an2、bn2、cn2、dn2、en2和gn2为预设常数的方法包括：首先，获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）；再依据图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）中的x、y、X和Y的值及所述畸变校正公式获取预设常数an2、bn2、cn2、dn2、en2和gn2为预设常数。
一实施例中，分片模块20对拼接图像A进行分片后获取的每个图像分片的面积不大于拼接子图像。一实施例中，分片模块20对拼接图像A进行分片后获取的每个图像分片的形状为矩形。请参考图6，为一种实施例中对拼接图像A进行分片示意图，一实施例中，预先设置拼接图像A的x方向和y方向，根据y的坐标进行分段，再根据x设定每个的分段范围，以获取图像分片Pm, m为大于2的自然数。请参考图7，为另一种实施例中对拼接图像A进行分片示意图，一实施例中，预先设置拼接图像A的x方向和y方向，根据y的坐标进行分段，再根据x设定每个的分段范围，以获取图像分片Pm, m为大于2的自然数。
下面以具体实施例，推导第一校正公式：
为实现高精度校正，采用一个高精度的、标准的网格标定板的图像来进行校正，每个网格的精确坐标是精确定义好的，每一个点都有非常精确的坐标，获得拼接图像后，这些标定的网格会发生畸变，对于网格上的每一个交叉点的坐标（x,y）会变成（X，Y）,因此，存在一个从标准理想坐标系到当前世界坐标系的变换。因此，变换公式为：
X=f x（x，y）；
Y=f y（x，y）；
其中，函数f x和f y分别是从（x，y）变换到X和Y的函数，则：
x =f x -1（X，Y）；
y =f y -1（X，Y）；
图像分片后，从（x，y）变换到X和Y，进行分段的非线性函数设定。对于一个图像分片Pn，其非线性变换关系式为：
X=an1·x2+bn1·x·y+cn1·y2+dn1·x+en1·y+fn1；
Y=gn1·x2+hn1·x·y+in1·y2+jn1·x+kn1·y+ln1；
其中，an1、bn1、cn1、dn1、en1、fn1、gn1、hn1、in1、jn1、kn1和ln1为预设常数。
直接拟合上述变换公式，则反变换公式为：
x =an1·X 2+bn1·X·Y +cn1·Y 2+dn1·X +en1·Y +fn1；
y =gn1·X 2+hn1·X·Y +in1·Y 2+jn1·X +kn1·Y +ln1；
通过对应的（xi，yj）和（Xi，Yj），可以拟合出第一校正公式，得到第一校正公式，就可以求出预设常数an1、bn1、cn1、dn1、en1、fn1、gn1、hn1、in1、jn1、kn1和ln1，从而得到分段的非线性关系。
下面以具体实施例，推导第二校正公式：
为实现高精度校正，采用一个高精度的、标准的网格标定板的图像来进行校正，每个网格的精确坐标是精确定义好的，每一个点都有非常精确的坐标，获得拼接图像后，这些标定的网格会发生畸变，对于网格上的每一个交叉点的坐标（x，y）会变成（X，Y）,因此，存在一个从图像分片Pn的像素点坐标到校正分片Pn＇的像素点坐标的变换。因此，变换公式为：
X=f x（x，y）；
Y=f y（x，y）；
其中，函数f x和f y分别是从（x，y）变换到X和Y的函数，则：
x =f x -1（X，Y）；
y =f y -1（X，Y）；
图像分片后，从（x，y）变换到X和Y，进行分段的线性函数设定。即根据x的分段范围，可分别称为区域Qn，n为自然数，对于第n个区域（对于一个图像分片Pn），其线性变换关系式为：
X=an2·x+bn2·y+cn2；
Y=dn2·x+en2·y+gn2；
其中，an2、bn2、cn2、dn2、en2和gn2为预设常数。
对于每一段Qn的（xi，yj）和（Xi，Yj），这些对应的角点（Xi，Yj）可以通过图像处理的角点检测算法自动获取，或通过手工标注获得。通过对应的（xi，yj）和（Xi，Yj），可以直接拟合上述变换公式，则反变换公式为：
x =(en2·X-bn2·Y+bn2·gn2-en2·cn2)*(an2·en2-bn2·dn2)-1；
y =(an2·Y-dn2·X +dn2·cn2-an2·gn2)*(an2·en2-bn2·dn2)-1；
通过对应的（xi，yj）和（Xi，Yj），可以拟合出第二校正公式，得到第二校正公式，就可以求出预设常数an2、bn2、cn2、dn2、en2和gn2，从而得到分段的线性关系。
还可根据上述反变换公式计算出x属于某一个Qn，X所属的区域范围，根据这一范围，即可用反变换公式得到校正以后的坐标，实现了分段线性校正。
在本申请实施例中公开的图像校正装置，包括拼接图像获取模块、分片模块、畸变校正模块和校正图像获取模块。首先分片模块对拼接图像获取模块获取的拼接图像进行分片，再由畸变校正模块分别将分片获取的图像分片分别进行畸变校正，最后在由校正图像获取模块将畸变校正后获取的校正分片进行拼接，以获取拼接图像畸变校正后的图像。其中，在对图像分片进行畸变校正时，先对图像分片建立平面坐标系，再依据拟合的线性或非线性的畸变校正公式获取图像分片的像素点所对应的校正分片的像素点，进而获取校正分片。由于采用先分片后依据各个图像分片的线性或非线性畸变函数进行畸变校正，使得对拼接图像的畸变校正更准确、更效率。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过控制器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过控制器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。
Claims (10)
1.一种用于拼接图像畸变校正的图像校正方法，其特征在于，包括：
获取由至少两个拼接子图像拼接而成的拼接图像A；每个所述拼接子图像由面阵相机或线阵相机单次拍摄获取；
对拼接图像A进行分片，以获取图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm，m为大于1的自然数；其中，图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm中任一个的面积不大于所述拼接子图像；
分别对图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm进行图像畸变校正，以获取校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇；
将获取的校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇进行拼接，以获取校正图像B，所述校正图像B为所述拼接图像A畸变校正后的图像；
其中，所述分别对图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm进行图像畸变校正，以获取校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇，包括：
对拼接图像A进行分片获取的图像分片Pn建立平面坐标系，图像分片Pn的像素点表示为像素Q（X，Y），X和Y用于表示该像素点在所述平面坐标系的位置信息，1≤n≤m；
对图像分片Pn进行图像畸变校正获取校正分片Pn＇，校正分片Pn＇的像素点表示为像素U（x，y），x和y用于表示该像素点在所述平面坐标系的位置信息，对图像分片Pn的像素Q（X，Y）进行畸变校正后对应校正分片Pn＇的像素U（x，y），则x、y、X和Y满足畸变校正公式；所述畸变校正公式为第一校正公式或第二校正公式；
所述第一校正公式包括：
x =an1·X 2+bn1·X·Y +cn1·Y 2+dn1·X +en1·Y +fn1；
y =gn1·X 2+hn1·X·Y +in1·Y 2+jn1·X +kn1·Y +ln1；
其中，an1、bn1、cn1、dn1、en1、fn1、gn1、hn1、in1、jn1、kn1和ln1为预设常数；
所述第二校正公式包括：
x =(en2·X-bn2·Y+bn2·gn2-en2·cn2)*(an2·en2-bn2·dn2)-1；
y =(an2·Y-dn2·X +dn2·cn2-an2·gn2)*(an2·en2-bn2·dn2)-1；
其中，an2、bn2、cn2、dn2、en2和gn2为预设常数；
依据图像分片Pn的像素Q（X，Y）与校正分片Pn＇的像素U（x，y）对应关系获取校正分片Pn＇。
2.如权利要求1所述的图像校正方法，其特征在于，获取预设常数an1、bn1 、cn1、dn1、en1、fn1、gn1、hn1、in1、jn1、kn1和ln1的方法包括：
获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）；
依据图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）中的x、y、X和Y的值及所述第一校正公式获取预设常数an1、bn1、cn1、dn1、en1、fn1、gn1、hn1、in1、jn1、kn1和ln1；
获取预设常数an2、bn2、cn2、dn2、en2和gn2的方法包括：
获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）；
依据图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）中的x、y、X和Y的值及所述第二校正公式，获取预设常数an2、bn2、cn2、dn2、en2和gn2。
3.如权利要求2所述的图像校正方法，其特征在于，所述获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y），包括：
应用角点检测法获取。
4.如权利要求2所述的图像校正方法，其特征在于，所述获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y），包括：
在图像分片Pn中预先标注预设数量的像素Q（X，Y）；
获取标注的像素Q（X，Y）和对应像素U（x，y）的x、y、X和Y的值；
依据图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）中的x、y、X和Y的值及所述第一校正公式获取预设常数an1、bn1、dn1、en1、fn1、gn1、hn1、in1、jn1、kn1和ln1；
或，依据图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）中的x、y、X和Y的值及所述第二校正公式获取预设常数an2、bn2、cn2、dn2、en2和gn2。
5.如权利要求1所述的图像校正方法，其特征在于，对拼接图像A进行分片后获取的每个图像分片的面积不大于所述拼接子图像；
和/或，对拼接图像A进行分片后获取的每个图像分片的形状为矩形。
6.如权利要求1所述的图像校正方法，其特征在于，对拼接图像A进行分片时，按所述拼接子图像进行分片，每个所述拼接子图像对应一个图像分片。
7.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行,以实现如权利要求1或6中所述的图像校正方法。
8.一种用于拼接图像畸变校正的图像校正装置，其特征在于，包括：
拼接图像获取模块，用于将至少两个拼接子图像进行拼接，以获取拼接图像A；每个所述拼接子图像由面阵相机或线阵相机单次拍摄获取；
分片模块，用于对拼接图像A进行分片，以获取图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm，m为大于1的自然数；其中，图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm中任一个的面积不大于所述拼接子图像；
畸变校正模块，用于分别对图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm进行图像畸变校正，以获取校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇；
校正图像获取模块，用于将获取的校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇进行拼接，以获取校正图像B，所述校正图像B为所述拼接图像A的畸变校正图像；
其中，所述分别对图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm进行图像畸变校正，以获取校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇，包括：
所述畸变校正模块对拼接图像A进行分片获取的图像分片Pn建立平面坐标系，图像分片Pn的像素点表示为像素Q（X，Y），X和Y用于表示该像素点在所述平面坐标系的位置信息，1≤n≤m；
所述畸变校正模块对图像分片Pn进行图像畸变校正获取校正分片Pn＇，校正分片Pn＇的像素点表示为像素U（x，y），x和y用于表示该像素点在所述平面坐标系的位置信息，对图像分片Pn的像素Q（X，Y）进行畸变校正后对应校正分片Pn＇的像素U（x，y），则x、y、X和Y满足畸变校正公式；所述畸变校正公式为第一校正公式或第二校正公式；
所述第一校正公式包括：
x =an1·X 2+bn1·X·Y +cn1·Y 2+dn1·X +en1·Y +fn1；
y =gn1·X 2+hn1·X·Y +in1·Y 2+jn1·X +kn1·Y +ln1；
其中，an1、bn1、cn1、dn1、en1、fn1、gn1、hn1、in1、jn1、kn1和ln1为预设常数；
所述第二校正公式包括：
x =(en2·X-bn2·Y+bn2·gn2-en2·cn2)*(an2·en2-bn2·dn2)-1；
y =(an2·Y-dn2·X +dn2·cn2-an2·gn2)*(an2·en2-bn2·dn2)-1；
其中，an2、bn2、cn2、dn2、en2和gn2为预设常数；
所述畸变校正模块依据图像分片Pn的像素Q（X，Y）与校正分片Pn＇的像素U（x，y）对应关系获取校正分片Pn＇。
9.如权利要求8所述的图像校正装置，其特征在于，所述畸变校正模块获取预设常数an1、bn1、cn1、dn1、en1、fn1、gn1、hn1、in1、jn1、kn1和ln1的方法包括：
获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）；
依据图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）中的x、y、X和Y的值及所述第一校正公式，获取预设常数an1、bn1、cn1、dn1、en1、fn1、gn1、hn1、in1、jn1、kn1和ln1；
获取预设常数an2、bn2、cn2、dn2、en2和gn2的方法包括：
获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）；
依据图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）中的x、y、X和Y的值及所述第二校正公式，获取预设常数an2、bn2、cn2、dn2、en2和gn2。
10.如权利要求8所述的图像校正装置，其特征在于，所述分片模块对拼接图像A进行分片后获取的每个图像分片的面积不大于所述拼接子图像；
和/或，所述分片模块对拼接图像A进行分片后获取的每个图像分片的形状为矩形。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210664246.3A CN114742737B (zh) | 2022-06-14 | 2022-06-14 | 一种用于拼接图像畸变校正的图像校正方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210664246.3A CN114742737B (zh) | 2022-06-14 | 2022-06-14 | 一种用于拼接图像畸变校正的图像校正方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114742737A CN114742737A (zh) | 2022-07-12 |
| CN114742737B true CN114742737B (zh) | 2023-03-14 |
Family
ID=82287101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210664246.3A Active CN114742737B (zh) | 2022-06-14 | 2022-06-14 | 一种用于拼接图像畸变校正的图像校正方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114742737B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109544484A (zh) * | 2019-02-20 | 2019-03-29 | 上海赫千电子科技有限公司 | 一种图像校正方法和装置 |
| CN113724141A (zh) * | 2020-05-26 | 2021-11-30 | 杭州海康威视数字技术股份有限公司 | 一种图像校正方法、装置及电子设备 |
-
2022
- 2022-06-14 CN CN202210664246.3A patent/CN114742737B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109544484A (zh) * | 2019-02-20 | 2019-03-29 | 上海赫千电子科技有限公司 | 一种图像校正方法和装置 |
| CN113724141A (zh) * | 2020-05-26 | 2021-11-30 | 杭州海康威视数字技术股份有限公司 | 一种图像校正方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114742737A (zh) | 2022-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5878174A (en) | Method for lens distortion correction of photographic images for texture mapping | |
| US6538691B1 (en) | Software correction of image distortion in digital cameras | |
| CN106780388B (zh) | 一种线阵相机光学畸变矫正方法 | |
| US7139424B2 (en) | Stereoscopic image characteristics examination system | |
| EP2202686A1 (en) | Video camera calibration method and device thereof | |
| WO2012053521A1 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
| CN110136083B (zh) | 一种结合交互式的底图更新方法及装置 | |
| CA2220721A1 (en) | Texture mapping of photographic images to cad surfaces | |
| CN110533618B (zh) | 一种镜头畸变矫正的方法和照相装置 | |
| JP2002057879A (ja) | 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体 | |
| CN111445537B (zh) | 一种摄像机的标定方法及系统 | |
| CN111242858B (zh) | 一种相机镜头的畸变校正方法和系统 | |
| CN105118086A (zh) | 3d-aoi设备中的3d点云数据配准方法及系统 | |
| WO2019232793A1 (zh) | 双摄像头标定方法、电子设备、计算机可读存储介质 | |
| CN115830103A (zh) | 一种基于单目彩色的透明物体定位方法、装置及存储介质 | |
| CN111461963A (zh) | 一种鱼眼图像拼接方法及装置 | |
| CN115100037A (zh) | 基于多线扫相机图像拼接的大幅面瓷砖成像方法及系统 | |
| EP4242609A1 (en) | Temperature measurement method, apparatus, and system, storage medium, and program product | |
| CN108520541B (zh) | 一种广角摄像机的标定方法 | |
| JPH05110926A (ja) | 歪曲収差補正装置および画像合成装置 | |
| CN109785225B (zh) | 一种用于图像矫正的方法和装置 | |
| CN114742737B (zh) | 一种用于拼接图像畸变校正的图像校正方法和装置 | |
| CN109682312B (zh) | 一种基于摄像头测量长度的方法及装置 | |
| Tagoe et al. | Determination of the Interior Orientation Parameters of a Non-metric Digital Camera for Terrestrial Photogrammetric Applications | |
| CN115100049A (zh) | 一种用于拼接图像畸变校正的图像校正方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |