CN115100049A - 一种用于拼接图像畸变校正的图像校正方法和装置 - Google Patents
一种用于拼接图像畸变校正的图像校正方法和装置 Download PDFInfo
- Publication number
- CN115100049A CN115100049A CN202210664337.7A CN202210664337A CN115100049A CN 115100049 A CN115100049 A CN 115100049A CN 202210664337 A CN202210664337 A CN 202210664337A CN 115100049 A CN115100049 A CN 115100049A
- Authority
- CN
- China
- Prior art keywords
- image
- correction
- slice
- pixel
- distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000003702 image correction Methods 0.000 title claims abstract description 28
- 238000012937 correction Methods 0.000 claims abstract description 253
- 238000013178 mathematical model Methods 0.000 claims abstract description 68
- 239000012634 fragment Substances 0.000 claims abstract description 41
- 238000013467 fragmentation Methods 0.000 claims abstract description 10
- 238000006062 fragmentation reaction Methods 0.000 claims abstract description 10
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种用于拼接图像畸变校正的图像校正方法和装置，首先对拼接图像进行分片，再将分片获取的图像分片分别进行畸变校正，最后在将畸变校正后获取的校正分片进行拼接以获取拼接图像畸变校正后的图像。其中，在对图像分片进行畸变校正时，先对图像分片建立平面坐标系，再将图像分片的像素点的坐标值输入畸变校正数学模型以获取对应校正分片上的像素点的坐标值，进而获取校正分片。由于采用先分片后依据训练好的畸变校正数学模型获取校正分片来实现对拼接图像的非线性畸变校正，使得对拼接图像的畸变校正更准确、更效率。
Description
技术领域
本发明涉及数字图像处理技术领域，具体涉及一种用于拼接图像畸变校正的图像校正方法和装置。
背景技术
线阵相机结构简单，成本低且分辨率高，在无接触实时测量系统、表面缺陷检测系统及高速运动目标姿态测量系统中获得了越来越多的应用。在高精度尺寸测量和线阵双目视觉等应用中，镜头畸变的存在会严重影响系统性能。因此，在要求较高的线阵相机视觉系统中必须对相机镜头畸变进行标定和补偿。目前对面阵相机镜头畸变理论的研究已较为成熟，无论是常规的经典标定法还是单独畸变标定法都有很好的精度表现，但线阵相机的畸变模型理论还不够完善。目前，线阵相机镜头畸变标定方法有基于交比不变理论的方法、多项式拟合法和精密测角法等。交比不变的理论是基于透视投影中交比不变的性质，这个理论用在面阵相机畸变标定中结果不是很稳定，容易陷入局部最优，同样地，在线阵相机畸变标定中也存在同样的问题。多项式拟合法没有考虑相机的实际成像模型，仅仅是使用多项式模拟出场景中的畸变特征，这样其在不同场景中的适应性表现不是很好，而且计算量很大。精密测角法依赖额外的高精度标定工具，操作不方便。另外，线阵相机的典型应用是对匀速运动的物体做逐行连续扫描，由于扫描频率与目标行进的速率不匹配常常会导致在纵向上会有一个拉伸比例，而基于交比不变的去畸变方法无法进行纵向拉伸的校正。
发明内容
本发明主要解决的技术问题是如何对拼接图像的畸变进行校正。
根据第一方面，一种实施例中提供一种用于拼接图像畸变校正的图像校正方法，包括：
获取由至少两个拼接子图像拼接而成的拼接图像A；
对拼接图像A进行分片，以获取图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm，m为大于1的自然数；
分别对图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm进行图像畸变校正，以获取校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇；
将获取的校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇进行拼接，以获取校正图像B，所述校正图像B为所述拼接图像A畸变校正后的图像；
其中，所述分别对图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm进行图像畸变校正，以获取校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇，包括：
对拼接图像A进行分片获取的图像分片Pn建立平面坐标系，图像分片Pn的像素点表示为像素Q（X，Y），X和Y用于表示该像素点在所述平面坐标系的位置信息，其中，1≤n≤m，n为自然数；
对图像分片Pn进行图像畸变校正获取校正分片Pn＇，校正分片Pn＇的像素点表示为像素U（x，y），x和y用于表示该像素点在所述平面坐标系的位置信息，对图像分片Pn的像素Q（X，Y）进行畸变校正后对应校正分片Pn＇的像素U（x，y）；
将图像分片Pn的像素Q（X，Y）的X和Y的值输入一畸变校正数学模型，以获取所述畸变校正数学模型输出的对应像素Q（X，Y）的校正分片Pn＇的像素U（x，y）的x和y的值；
依据获取的校正分片Pn＇的每个像素U（x，y）的x和y的值获取校正分片Pn＇。
一实施例中，所述畸变校正数学模型的获取方法包括：
获取一预设数学模型；
获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）；
将图像分片Pn中预设数量的像素Q（X，Y）的X和Y的值及对应校正分片Pn＇中的像素U（x，y）的x和y的值作为输入和输出样本，对所述预设数学模型进行训练，以获取所述畸变校正数学模型。
一实施例中，所述预设数学模型包括多层前馈神经网络、卷积神经网络或Transformer模型。
一实施例中，所述预设数学模型为多层前馈神经网络，包括：
X=f x(x，y)；
Y=f y(x，y)；
其中，f x和f y分别表示像素U（x，y）的x和y变换到X和Y的函数，则：
x=f x -1(X，Y)；
y=f y -1(X，Y)；
其中，f x -1和f y -1分别表示像素Q（X，Y）的X和Y变换到x和y的函数；
将像素U（x，y）的x和y变换成矢量形式v，即：
v=(x，y)；
则像素Q（X，Y）的X和Y的矢量形式为：
V=(X，Y)；
将所述多层前馈神经网络表示为：
v=MLP（V）；
由v=(x，y)和V=(X，Y)可知：
x=MLPx（X，Y）；
y=MLPy（X，Y）；
将V=(X，Y)作为输入，v=(x，y)作为输出对所述多层前馈神经网络进行训练，以获取非线性变换数学模型为：
其中，W是MLP的权重参数和神经元的偏置量参数；
将所述非线性变换数学模型作为所述畸变校正数学模型。
一实施例中，所述获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y），包括：
应用角点检测法获取。
一实施例中，所述获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y），包括：
在图像分片Pn中预先标注预设数量的像素Q（X，Y）；
获取标注的像素Q（X，Y）和对应像素U（x，y）的x、y、X和Y的值。
一实施例中，依据像素点的灰度值进行标注。
一实施例中，对拼接图像A进行分片后获取的每个图像分片的面积不大于所述拼接子图像；
和/或，对拼接图像A进行分片后获取的每个图像分片的形状为矩形。
一实施例中，对拼接图像A进行分片时，按所述拼接子图像进行分片，每个所述拼接子图像对应一个图像分片。
根据第二方面，一种实施例中提供一种用于拼接图像畸变校正的图像校正装置，包括：
拼接图像获取模块，用于将至少两个拼接子图像进行拼接，以获取拼接图像A；
分片模块，用于对拼接图像A进行分片，以获取图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm，m为大于1的自然数；
畸变校正模块，用于分别对图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm进行图像畸变校正，以获取校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇；
校正图像获取模块，用于将获取的校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇进行拼接，以获取校正图像B，所述校正图像B为所述拼接图像A的畸变校正图像；
其中，所述分别对图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm进行图像畸变校正，以获取校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇，包括：
所述畸变校正模块对拼接图像A进行分片获取的图像分片Pn建立平面坐标系，图像分片Pn的像素点表示为像素Q（X，Y），X和Y用于表示该像素点在所述平面坐标系的位置信息，1≤n≤m，n为自然数；
所述畸变校正模块对图像分片Pn进行图像畸变校正获取校正分片Pn＇，校正分片Pn＇的像素点表示为像素U（x，y），x和y用于表示该像素点在所述平面坐标系的位置信息，对图像分片Pn的像素Q（X，Y）进行畸变校正后对应校正分片Pn＇的像素U（x，y）；
将图像分片Pn的像素Q（X，Y）的X和Y的值输入一畸变校正数学模型，以获取所述畸变校正数学模型输出的对应像素Q（X，Y）的校正分片Pn＇的像素U（x，y）的x和y的值；
依据获取的校正分片Pn＇的每个像素U（x，y）的x和y的值获取校正分片Pn＇；
所述畸变校正数学模型的获取方法包括：
获取一预设数学模型；
获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）；
将图像分片Pn中预设数量的像素Q（X，Y）的X和Y的值及对应校正分片Pn＇中的像素U（x，y）的x和y的值作为输入和输出样本，对所述预设数学模型进行训练，以获取所述畸变校正数学模型。
根据第三方面，一种实施例中提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行,以实现如第一方面所述的图像校正方法。
依据上述实施例的图像校正方法和装置，由于采用先分片后依据训练好的畸变校正数学模型获取校正分片来实现对拼接图像的非线性畸变校正，使得对拼接图像的畸变校正更准确、更效率。
附图说明
图1为一种实施例中未发生畸变的图像示意图；
图2为一种实施例中畸变后的图像示意图；
图3为一种实施了中图像校正方法的流程示意图；
图4为一种实施例中图像校正装置的结构连接示意图；
图5为一种实施例中对拼接图像A进行分片示意图；
图6为一种实施例中畸变校正数学模型的神经网络模型。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接（联接）。
在大尺寸高精度测量设备中，要达到微米级别的测量精度，通常采用高精度高分辨小视野的高品质相机来在被测目标，例如PCB线路板的检测中的二次元测量设备，但二次元设备需要按照检测流程逐个检测被测的部分，以测量相关参数是否达到要求，因此，需要较长时间才能完成，对于时间效率要求较高的场合，则需要一次性完成整个图像的扫描拼接，也就是必须采用面阵相机（也就是高清小视野）图像的扫描拼接而成，或者采用高分辨的线扫相机通过多次扫描拼接而成。这些拼接图像存在非常多的畸变、光线变化、非线性失真等问题，因此，在进行正式的测量以前，需要对图像进行校正。由于仅用一个线性的变换是很难实现高精度的校正。与此同时，考虑到在每一个线阵扫描行内，像素的畸变是近似线性的，请参考图1和图2，图2是图1畸变后的图像，可以对每一个扫描行分别进行一个线性的校正算法，形成一个分段线性的算法。
在本申请实施例中，公开了一种用于拼接图像畸变校正的图像校正装置，包括拼接图像获取模块、分片模块、畸变校正模块和校正图像获取模块。首先分片模块对拼接图像获取模块获取的拼接图像进行分片，再由畸变校正模块分别将分片获取的图像分片分别进行畸变校正，最后在由校正图像获取模块将畸变校正后获取的校正分片进行拼接，以获取拼接图像畸变校正后的图像。其中，在对图像分片进行畸变校正时，先对图像分片建立平面坐标系，再将图像分片的像素点的坐标值输入畸变校正数学模型以获取对应校正分片上的像素点的坐标值，进而获取校正分片。由于采用先分片后依据训练好的畸变校正数学模型获取校正分片来实现对拼接图像的非线性畸变校正，使得对拼接图像的畸变校正更准确、更效率。
实施例一
请参考图3，为一种实施了中图像校正方法的流程示意图，该图像校正方法用于对拼接图像的畸变校正，包括：
步骤101，获取拼接图像。
获取由至少两个拼接子图像拼接而成的拼接图像A。
步骤102，图像分片。
对拼接图像A进行分片，以获取图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm，m为大于1的自然数。一实施例中，对拼接图像A进行分片后获取的每个图像分片的面积不大于拼接子图像。一实施例中，对拼接图像A进行分片后获取的每个图像分片的形状为矩形。一实施例中，对拼接图像A进行分片时，按拼接子图像进行分片，每个拼接子图像对应一个图像分片。
步骤103，进行畸变校正。
分别对图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm进行图像畸变校正，以获取校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇。其中，分别对图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm进行图像畸变校正，以获取校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇，包括：
对拼接图像A进行分片获取的图像分片Pn建立平面坐标系，图像分片Pn的像素点表示为像素Q（X，Y），X和Y用于表示该像素点在所述平面坐标系的位置信息，1≤n≤m，n为自然数；
对图像分片Pn进行图像畸变校正获取校正分片Pn＇，校正分片Pn＇的像素点表示为像素U（x，y），x和y用于表示该像素点在所述平面坐标系的位置信息，对图像分片Pn的像素Q（X，Y）进行畸变校正后对应校正分片Pn＇的像素U（x，y）；
将图像分片Pn的像素Q（X，Y）的X和Y的值输入一畸变校正数学模型，以获取畸变校正数学模型输出的对应像素Q（X，Y）的校正分片Pn＇的像素U（x，y）的x和y的值；
依据获取的校正分片Pn＇的每个像素U（x，y）的x和y的值获取校正分片Pn＇。
一实施例中，依据图像分片Pn的像素Q（X，Y）与校正分片Pn＇的像素U（x，y）对应关系获取校正分片Pn＇。一实施例中，先将图像分片Pn的像素Q（X，Y）中的X和Y输入畸变校正数学模型，畸变校正数学模型输出x和y，进而获取校正分片Pn＇的像素U（x，y），再依据全部的校正分片Pn＇的像素U（x，y）获取校正分片Pn＇。一实施例中，在平面坐标系中，将图像分片Pn的像素Q（X，Y）平移到像素U（x，y）位置，作为校正分片Pn＇的像素点。一实施例中，平面坐标系为平面直角坐标系。
一实施例中，畸变校正数学模型的获取方法包括：
获取一预设数学模型；
获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）；
将图像分片Pn中预设数量的像素Q（X，Y）的X和Y的值及对应校正分片Pn＇中的像素U（x，y）的x和y的值作为输入和输出样本，对预设数学模型进行训练，以获取畸变校正数学模型。
一实施例中，预设数学模型包括多层前馈神经网络（MLP）、卷积神经网络或Transformer模型。
一实施例中，获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y），应用角点检测法获取。
一实施例中，获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）的方法包括：
在图像分片Pn中预先标注预设数量的像素Q（X，Y）；
获取标注的像素Q（X，Y）和对应像素U（x，y ）的x、y、X和Y的值。
一实施例中，依据像素点的灰度值进行标注，即对图像分片Pn中的像素Q（X，Y）进行预先标注可采用对预设位置的像素点或预设灰度值的像素点进行标注。
一实施例中，预设数学模型为多层前馈神经网络，包括：
X=f x(x，y)；
Y=f y(x，y)；
其中，f x和f y分别表示像素U（x，y）的x和y变换到X和Y的函数，则：
x=f x -1(X，Y)；
y=f y -1(X，Y)；
其中，f x -1和f y -1分别表示像素Q（X，Y）的X和Y变换到x和y的函数；
将像素U（x，y）的x和y变换成矢量形式v，即：
v=(x，y)；
则像素Q（X，Y）的X和Y的矢量形式为：
V=(X，Y)；
将多层前馈神经网络表示为：
v=MLP（V）；
由v=(x，y)和V=(X，Y)可知：
x=MLPx（X，Y）；
y=MLPy（X，Y）；
将V=(X，Y)作为输入，v=(x，y)作为输出对多层前馈神经网络进行训练，以获取非线性变换数学模型为：
其中，W是MLP的权重参数和神经元的偏置量参数；
将非线性变换数学模型作为畸变校正数学模型。
步骤104，获取畸变校正后的图像。
将获取的校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇进行拼接，以获取校正图像B，该校正图像B为拼接图像A畸变校正后的图像。
本申请实施例中公开的图像校正方法，首先对拼接图像进行分片，再将分片获取的图像分片分别进行畸变校正，最后在将畸变校正后获取的校正分片进行拼接以获取拼接图像畸变校正后的图像。其中，在对图像分片进行畸变校正时，先对图像分片建立平面坐标系，再将图像分片的像素点的坐标值输入畸变校正数学模型以获取对应校正分片上的像素点的坐标值，进而获取校正分片。由于采用先分片后依据训练好的畸变校正数学模型获取校正分片来实现对拼接图像的非线性畸变校正，使得对拼接图像的畸变校正更准确、更效率。
请参考图4，为一种实施例中图像校正装置的结构连接示意图，在本申请一实施例中还公开了一种图像校正装置，用于对拼接图像进行畸变校正，该图像校正装置包括拼接图像获取模块10、分片模块20、畸变校正模块30和校正图像获取模块40。拼接图像获取模块10用于将至少两个拼接子图像进行拼接，以获取拼接图像A。分片模块20用于对拼接图像A进行分片，以获取图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm，m为大于1的自然数。畸变校正模块30用于分别对图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm进行图像畸变校正，以获取校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇。校正图像获取模块40用于将获取的校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇进行拼接，以获取校正图像B，校正图像B为拼接图像A的畸变校正图像。
其中，分别对图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm进行图像畸变校正，以获取校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇，包括：
畸变校正模块30对拼接图像A进行分片获取的图像分片Pn建立平面坐标系，图像分片Pn的像素点表示为像素Q（X，Y），X和Y用于表示该像素点在该平面坐标系的位置信息，1≤n≤m，n为自然数；
畸变校正模块30对图像分片Pn进行图像畸变校正获取校正分片Pn＇，校正分片Pn＇的像素点表示为像素U（x，y），x和y用于表示该像素点在平面坐标系的位置信息，对图像分片Pn的像素Q（X，Y）进行畸变校正后对应校正分片Pn＇的像素U（x，y）；
将图像分片Pn的像素Q（X，Y）的X和Y的值输入一畸变校正数学模型，以获取畸变校正数学模型输出的对应像素Q（X，Y）的校正分片Pn＇的像素U（x，y）的x和y的值；
依据获取的校正分片Pn＇的每个像素U（x，y）的x和y的值获取校正分片Pn＇；
一实施例中，畸变校正数学模型的获取方法包括：
获取一预设数学模型；
获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）；
将图像分片Pn中预设数量的像素Q（X，Y）的X和Y的值及对应校正分片Pn＇中的像素U（x，y）的x和y的值作为输入和输出样本，对预设数学模型进行训练，以获取畸变校正数学模型。
一实施例中，分片模块20对拼接图像A进行分片后获取的每个图像分片的面积不大于拼接子图像。一实施例中，分片模块20对拼接图像A进行分片后获取的每个图像分片的形状为矩形。请参考图5，为一种实施例中对拼接图像A进行分片示意图，一实施例中，预先设置拼接图像A的x方向和y方向，根据y的坐标进行分段，再根据x设定每个的分段范围，以获取图像分片Pm ，m为大于2的自然数。
请参考图6，为一种实施例中畸变校正数学模型的神经网络模型，一实施例中，畸变校正数学模型为多层前馈神经网络，用MLP代表多层感知机，训练时，V=(X，Y) 作为输入，v=(x，y), 也就是两个输入两个输出变量的多层感知机。一实施例中，畸变校正数学模型采用一个中间层MLP。一实施例中，畸变校正数学模型采用多个中间层的MLP。多层前馈神经网络可以表示为：
x=MLPx（X，Y）；
y=MLPy（X，Y）；
分别用下标来表示MLP的两个输出，从而得到图像分片Pn中的像素Q（X，Y）到对应校正分片Pn＇中的像素U（x，y）的坐标转换，达到畸变校正的目的。
一实施例中，采用一个标准的网格标定板的图像来进行，由于网格的每一个格点的坐标是精确定义好的，即每一个点都有非常精确的坐标，但是获得拼接图像后，这些标定的网格点在图像的像素位置会发生改变，因此，需要利用原来定义的精确坐标来校准图像中网格格点的坐标，以达到校正的目的。因此，对于网格上的每一个交叉点的坐标（x，y）会变成（X，Y），即存在一个从标准理想坐标到当前图像坐标的变换。对于每一个网格的格点（网格交叉点），我们都有一个精确的坐标，这是特制标定板所特有的特性，对于每一个格点(xi，yi)， 我们都有一个对应的（Xi，Yi），这可以通过手工标定，也可以通过图像的角点（关键点）检测算法，来逐一完成。采用了N格点，则可以用这N格点，作为输入输出样本来训练MLP，最终得到我们的非线性变换，即：
其中，W是MLP的权重参数和神经元的偏置量参数；
一实施例中，畸变校正数学模型训练方法可以按顺序（xi， yi）来进行，也可以打乱顺序，随机组合来进行训练。涉及batch-size等都可以参照现有技术中的深度学习训练的标准方法。
在本申请实施例中公开的图像校正装置，包括拼接图像获取模块、分片模块、畸变校正模块和校正图像获取模块。首先分片模块对拼接图像获取模块获取的拼接图像进行分片，再由畸变校正模块分别将分片获取的图像分片分别进行畸变校正，最后在由校正图像获取模块将畸变校正后获取的校正分片进行拼接，以获取拼接图像畸变校正后的图像。其中，在对图像分片进行畸变校正时，先对图像分片建立平面坐标系，再将图像分片的像素点的坐标值输入畸变校正数学模型以获取对应校正分片上的像素点的坐标值，进而获取校正分片。由于采用先分片后依据训练好的畸变校正数学模型获取校正分片来实现对拼接图像的非线性畸变校正，使得对拼接图像的畸变校正更准确、更效率。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过控制器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过控制器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。
Claims (10)
1.一种用于拼接图像畸变校正的图像校正方法，其特征在于，包括：
获取由至少两个拼接子图像拼接而成的拼接图像A；
对拼接图像A进行分片，以获取图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm，m为大于1的自然数；
分别对图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm进行图像畸变校正，以获取校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇；
将获取的校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇进行拼接，以获取校正图像B，所述校正图像B为所述拼接图像A畸变校正后的图像；
其中，所述分别对图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm进行图像畸变校正，以获取校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇，包括：
对拼接图像A进行分片获取的图像分片Pn建立平面坐标系，图像分片Pn的像素点表示为像素Q（X，Y），X和Y用于表示该像素点在所述平面坐标系的位置信息，其中，1≤n≤m，n为自然数；
对图像分片Pn进行图像畸变校正获取校正分片Pn＇，校正分片Pn＇的像素点表示为像素U（x，y），x和y用于表示该像素点在所述平面坐标系的位置信息，对图像分片Pn的像素Q（X，Y）进行畸变校正后对应校正分片Pn＇的像素U（x，y）；
将图像分片Pn的像素Q（X，Y）的X和Y的值输入一畸变校正数学模型，以获取所述畸变校正数学模型输出的对应像素Q（X，Y）的校正分片Pn＇的像素U（x，y）的x和y的值；
依据获取的校正分片Pn＇的每个像素U（x，y）的x和y的值获取校正分片Pn＇。
2.如权利要求1所述的图像校正方法，其特征在于，所述畸变校正数学模型的获取方法包括：
获取一预设数学模型；
获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）；
将图像分片Pn中预设数量的像素Q（X，Y）的X和Y的值及对应校正分片Pn＇中的像素U（x，y）的x和y的值作为输入和输出样本，对所述预设数学模型进行训练，以获取所述畸变校正数学模型。
3.如权利要求2所述的图像校正方法，其特征在于，所述预设数学模型包括多层前馈神经网络、卷积神经网络或Transformer模型。
4.如权利要求2所述的图像校正方法，其特征在于，所述预设数学模型为多层前馈神经网络，包括：
X=f x(x，y)；
Y=f y(x，y)；
其中，f x和f y分别表示像素U（x，y）的x和y变换到X和Y的函数，则：
x=f x -1(X，Y)；
y=f y -1(X，Y)；
其中，f x -1和f y -1分别表示像素Q（X，Y）的X和Y变换到x和y的函数；
将像素U（x，y）的x和y变换成矢量形式v，即：
v=(x，y)；
则像素Q（X，Y）的X和Y的矢量形式为：
V=(X，Y)；
将所述多层前馈神经网络表示为：
v=MLP（V）；
由v=(x，y)和V=(X，Y)可知：
x=MLPx（X，Y）；
y=MLPy（X，Y）；
将V=(X，Y)作为输入，v=(x，y)作为输出对所述多层前馈神经网络进行训练，以获取非线性变换数学模型为：
其中，W是MLP的权重参数和神经元的偏置量参数；
将所述非线性变换数学模型作为所述畸变校正数学模型。
5.如权利要求2所述的图像校正方法，其特征在于，所述获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y），包括：
应用角点检测法获取。
6.如权利要求2所述的图像校正方法，其特征在于，所述获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y），包括：
在图像分片Pn中预先标注预设数量的像素Q（X，Y）；
获取标注的像素Q（X，Y）和对应像素U（x，y）的x、y、X和Y的值。
7.如权利要求1所述的图像校正方法，其特征在于，对拼接图像A进行分片后获取的每个图像分片的面积不大于所述拼接子图像；
和/或，对拼接图像A进行分片后获取的每个图像分片的形状为矩形。
8.如权利要求1所述的图像校正方法，其特征在于，对拼接图像A进行分片时，按所述拼接子图像进行分片，每个所述拼接子图像对应一个图像分片。
9.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行,以实现如权利要求1或8中所述的图像校正方法。
10.一种用于拼接图像畸变校正的图像校正装置，其特征在于，包括：
拼接图像获取模块，用于将至少两个拼接子图像进行拼接，以获取拼接图像A；
分片模块，用于对拼接图像A进行分片，以获取图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm，m为大于1的自然数；
畸变校正模块，用于分别对图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm进行图像畸变校正，以获取校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇；
校正图像获取模块，用于将获取的校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇进行拼接，以获取校正图像B，所述校正图像B为所述拼接图像A的畸变校正图像；
其中，所述分别对图像分片P1、 图像分片P2、…、图像分片Pm-1和图像分片Pm进行图像畸变校正，以获取校正分片P1＇、 校正分片P2＇、…、校正分片Pm-1＇和校正分片Pm＇，包括：
所述畸变校正模块对拼接图像A进行分片获取的图像分片Pn建立平面坐标系，图像分片Pn的像素点表示为像素Q（X，Y），X和Y用于表示该像素点在所述平面坐标系的位置信息，其中，1≤n≤m，n为自然数；
所述畸变校正模块对图像分片Pn进行图像畸变校正获取校正分片Pn＇，校正分片Pn＇的像素点表示为像素U（x，y），x和y用于表示该像素点在所述平面坐标系的位置信息，对图像分片Pn的像素Q（X，Y）进行畸变校正后对应校正分片Pn＇的像素U（x，y）；
将图像分片Pn的像素Q（X，Y）的X和Y的值输入一畸变校正数学模型，以获取所述畸变校正数学模型输出的对应像素Q（X，Y）的校正分片Pn＇的像素U（x，y）的x和y的值；
依据获取的校正分片Pn＇的每个像素U（x，y）的x和y的值获取校正分片Pn＇；
所述畸变校正数学模型的获取方法包括：
获取一预设数学模型；
获取图像分片Pn中预设数量的像素Q（X，Y）对应校正分片Pn＇中的像素U（x，y）；
将图像分片Pn中预设数量的像素Q（X，Y）的X和Y的值及对应校正分片Pn＇中的像素U（x，y）的x和y的值作为输入和输出样本，对所述预设数学模型进行训练，以获取所述畸变校正数学模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210664337.7A CN115100049A (zh) | 2022-06-14 | 2022-06-14 | 一种用于拼接图像畸变校正的图像校正方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210664337.7A CN115100049A (zh) | 2022-06-14 | 2022-06-14 | 一种用于拼接图像畸变校正的图像校正方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115100049A true CN115100049A (zh) | 2022-09-23 |
Family
ID=83290753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210664337.7A Pending CN115100049A (zh) | 2022-06-14 | 2022-06-14 | 一种用于拼接图像畸变校正的图像校正方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115100049A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103247031A (zh) * | 2013-04-19 | 2013-08-14 | 华为技术有限公司 | 一种畸变图像校正的方法、终端及系统 |
| CN105957015A (zh) * | 2016-06-15 | 2016-09-21 | 武汉理工大学 | 一种螺纹桶内壁图像360度全景拼接方法及系统 |
| CN109544484A (zh) * | 2019-02-20 | 2019-03-29 | 上海赫千电子科技有限公司 | 一种图像校正方法和装置 |
| CN109816607A (zh) * | 2019-01-22 | 2019-05-28 | 北京师范大学 | 一种基于多层前馈神经网络的二维光纤光谱图像校正技术 |
| CN113205452A (zh) * | 2021-03-31 | 2021-08-03 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN114078093A (zh) * | 2020-08-19 | 2022-02-22 | 武汉Tcl集团工业研究院有限公司 | 一种图像校正方法、智能终端及存储介质 |
-
2022
- 2022-06-14 CN CN202210664337.7A patent/CN115100049A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103247031A (zh) * | 2013-04-19 | 2013-08-14 | 华为技术有限公司 | 一种畸变图像校正的方法、终端及系统 |
| CN105957015A (zh) * | 2016-06-15 | 2016-09-21 | 武汉理工大学 | 一种螺纹桶内壁图像360度全景拼接方法及系统 |
| CN109816607A (zh) * | 2019-01-22 | 2019-05-28 | 北京师范大学 | 一种基于多层前馈神经网络的二维光纤光谱图像校正技术 |
| CN109544484A (zh) * | 2019-02-20 | 2019-03-29 | 上海赫千电子科技有限公司 | 一种图像校正方法和装置 |
| CN114078093A (zh) * | 2020-08-19 | 2022-02-22 | 武汉Tcl集团工业研究院有限公司 | 一种图像校正方法、智能终端及存储介质 |
| CN113205452A (zh) * | 2021-03-31 | 2021-08-03 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2007254627B2 (en) | Geometric parameter measurement of an imaging device | |
| US8090218B2 (en) | Imaging system performance measurement | |
| US6747702B1 (en) | Apparatus and method for producing images without distortion and lateral color aberration | |
| US20110129154A1 (en) | Image Processing Apparatus, Image Processing Method, and Computer Program | |
| WO2012053521A1 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
| US7889234B2 (en) | Automatic calibration for camera lens distortion correction | |
| CN110225321B (zh) | 梯形校正的训练样本数据获取系统和方法 | |
| CN111445537B (zh) | 一种摄像机的标定方法及系统 | |
| JP2011521372A (ja) | 形状の不変量アフィン認識方法及びデバイス | |
| KR100513789B1 (ko) | 디지털 카메라의 렌즈 왜곡 보정과 정사영상 생성방법 및이를 이용한 디지털 카메라 | |
| CN115100037A (zh) | 基于多线扫相机图像拼接的大幅面瓷砖成像方法及系统 | |
| EP4242609A1 (en) | Temperature measurement method, apparatus, and system, storage medium, and program product | |
| CN115100049A (zh) | 一种用于拼接图像畸变校正的图像校正方法和装置 | |
| CN114742737B (zh) | 一种用于拼接图像畸变校正的图像校正方法和装置 | |
| RU2610137C1 (ru) | Способ калибровки видеосистемы для контроля объектов на плоской площадке | |
| Tagoe et al. | Determination of the Interior Orientation Parameters of a Non-metric Digital Camera for Terrestrial Photogrammetric Applications | |
| US20030112339A1 (en) | Method and system for compositing images with compensation for light falloff | |
| JP2006330772A (ja) | 撮影画像における歪曲収差補正方法 | |
| US20220398778A1 (en) | Lens calibration method for digital imaging apparatus | |
| JP4796295B2 (ja) | カメラアングル変化の検出方法および装置およびプログラム並びにこれを利用した画像処理方法および設備監視方法および測量方法およびステレオカメラの設定方法 | |
| JP4542821B2 (ja) | 画像処理方法、画像処理装置、および画像処理プログラム | |
| CN116758171B (zh) | 成像系统位姿矫正方法、装置、设备及可读存储介质 | |
| CN117876212A (zh) | 一种双景象生成器件投影图像的融合配准方法 | |
| CN113822945A (zh) | 一种基于双目视觉的工件识别和定位方法 | |
| JP2008112259A (ja) | 画像照合方法および画像照合プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220923 |