CN112365421A - 图像矫正处理方法及装置 - Google Patents
图像矫正处理方法及装置 Download PDFInfo
- Publication number
- CN112365421A CN112365421A CN202011264634.XA CN202011264634A CN112365421A CN 112365421 A CN112365421 A CN 112365421A CN 202011264634 A CN202011264634 A CN 202011264634A CN 112365421 A CN112365421 A CN 112365421A
- Authority
- CN
- China
- Prior art keywords
- distortion
- image
- point
- corner
- submodel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003702 image correction Methods 0.000 title claims abstract description 20
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 230000000007 visual effect Effects 0.000 claims abstract description 65
- 238000012937 correction Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims description 49
- 238000005457 optimization Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 abstract description 4
- 238000005259 measurement Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种图像矫正处理方法及装置，其中，能够通过计算待处理图像中每个图像点对应的图像视角，将待处理图像中图像视角小于等于预设视角的图像点使用第一畸变子模型进行矫正处理，将图像视角大于预设视角的图像点使用第二畸变子模型进行矫正处理，能够对畸变程度不同的图像点利用不同的畸变模型进行精准矫正，有效降低了使用同一内参畸变模型对图像点进行矫正带来的矫正不准确的问题，进而有利于视觉任务的测距或检测等应用。
Description
技术领域
本发明涉及相机技术领域，尤其是涉及一种图像矫正处理方法及装置。
背景技术
基于视觉的目标感知是自动驾驶环境感知的重要组成部分，其中，相机内参数标定是视觉感知最基础的部分。
然而，现有相机均用统一的内参畸变模型进行内参标定，因此，相机在对拍摄到的图像的图像点进行畸变矫正处理时，无论是对图像中距离相机镜头中心区域较近的图像(图像畸变较小)还是对距离相机中心区域较近的图像(图像畸变较大)均用同一内参模型对图像进行畸变矫正处理，致使存在对图像矫正过度或矫正不及等情况，影响后续利用图像进行目标检测或测距等应用。
发明内容
有鉴于此，本发明的目的在于提供一种图像矫正处理方法及装置，以缓解上述技术问题。
第一方面，本发明实施例提供了一种图像矫正处理方法，其中，上述方法应用于相机的处理器，处理器存储有预先标定的相机畸变优化模型，相机畸变优化模型包括第一畸变子模型和第二畸变子模型，其中，第一畸变子模型对应的相机视角小于或等于预设视角，第二畸变子模型对应的相机视角大于预设视角，第二畸变子模型的非线性畸变矫正能力超过第一畸变子模型的非线性畸变矫正能力；上述方法包括：获取待处理图像；计算待处理图像中每个图像点对应的图像视角，其中，图像视角为图像点与光轴的夹角；利用第一畸变子模型对图像视角小于或等于预设视角的图像点进行矫正处理；利用第二畸变子模型对图像视角大于预设视角的图像点进行矫正处理。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，计算待处理图像中每个图像点对应的图像视角的步骤，包括：将待处理图像中每个图像点作为目标图像点，对于每个目标图像点均执行以下操作：提取目标图像点的像素坐标信息，得到目标图像点的像素坐标信息；基于像素坐标信息、图像中心点坐标信息、像素大小计算目标图像点在相机成像面上的坐标信息；根据坐标信息计算目标图像点距离图像中心点的距离平方值；基于距离平方值和焦距计算目标图像点对应的图像视角。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，通过下式计算目标图像点在相机成像面上的坐标信息：xd＝(xp-xc)*pixel_size；yd＝(yp-yc)*pixel_size；其中，xp表示像素坐标信息中的横坐标，yp表示像素坐标信息的纵坐标，xd表示在相机成像面上的坐标信息中的横坐标，yd表示在相机成像面上的坐标信息中的纵坐标，pixel_size表示像素大小；xc表示图像中心点坐标信息中的横坐标，yc表示图像中心点坐标信息中的纵坐标；通过下式计算目标图像点距离图像中心点的距离平方值：R2＝(xd+yd)2；其中，R表示目标图像点距离图像中心点的距离；通过下式计算目标图像点对应的图像视角：θout1＝arctan(R/f)；其中，θout1表示图像视角。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，相机畸变优化模型的标定步骤，包括：获取由相机多角度拍摄棋盘格得到的棋盘格图像集；其中，棋盘格图像集包括多个棋盘格图像；将根据棋盘格图像中的角点像素坐标计算角点视角；其中，角点视角为角点与光轴的夹角；棋盘格图像集中角点视角小于或等于预设视角的所有角点构成第一角点对集，将角点视角大于预设视角的角点构成第二角点对集；其中，第一角点集中的每个第一角点对是由角点像素坐标和角点世界坐标构成，且，第二角点集中的每个第二角点对是由角点像素坐标和角点世界坐标构成；利用第一角点对集对第一畸变子模型的第一内参进行标定，利用第二角点集对第二畸变子模型的第二内参进行标定，以得到标定好的相机畸变优化模型。
结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，在利用第一角点对集对第一畸变子模型的第一内参进行标定，利用第二角点集对第二畸变子模型的第二内参进行标定之前，上述方法还包括：基于预先存储的畸变列表分别拟合第一畸变子模型和第二畸变子模型，得到第一畸变初始子模型的第一内参初始值和第二畸变初始子模型的第二内参初始值；其中，畸变列表中存储有多个特定入射角，以及与特定入射角对应的近轴距离，近轴距离为畸变图像点与图像中心点的距离；利用张正友模型对相机的外参进行标定，得到外参初始值；其中，第一畸变子模型和第二畸变子模型对应同一外参初始值。
结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，基于预先存储的畸变列表分别拟合第一畸变子模型和第二畸变子模型，得到第一畸变初始子模型的第一内参初始值和第二畸变初始子模型的第二内参初始值的步骤，包括：基于相机的焦距和特定入射角对应的近轴距离计算特定入射角对应的目标视角；将畸变列表中小于或等于预设视角的特定入射角，以及特定入射角对应的目标视角拟合第一畸变子模型，以得到第一畸变子模型的第一内参初始值；将畸变列表中大于预设视角的特定入射角，以及特定入射角对应的目标视角拟合第二畸变子模型，以得到第二畸变子模型的第二内参初始值。
结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，通过下式计算特定入射角对应的目标视角；θout＝arctan(rd/f)；其中，θout表示目标视角，rd表示近轴距离，f表示相机的焦距。
结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第七种可能的实施方式，其中，利用第一角点对集对第一畸变子模型的第一内参进行标定的步骤，包括：基于第一内参初始值、外参初始值和第一角点对集计算每个角点对应的重投影像素坐标，并与角点真实的像素坐标做差值，得到重投影误差；通过最小化重投影误差对第一内参初始值和外参初始值进行优化，得到第一内参，以实现对第一畸变子模型的第一内参进行标定。
结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第八种可能的实施方式，其中，利用第二角点对集对第二畸变子模型的第二内参进行标定的步骤，包括：基于第二内参初始值、外参初始值和第二角点对集计算每个角点对中角点的重投影像素坐标，并与角点真实的像素坐标做差值，得到重投影误差；通过最小化重投影误差对第二内参初始值和外参初始值进行优化，得到第二内参，以实现对第二畸变子模型的第二内参进行标定。
第二方面，本发明实施例还提供一种图像矫正处理装置，其中，该装置应用于相机的处理器，处理器存储有预先标定的相机畸变优化模型，相机畸变优化模型包括第一畸变子模型和第二畸变子模型，其中，第一畸变子模型对应的相机视角小于或等于预设视角，第二畸变子模型对应的相机视角大于预设视角，第二畸变子模型的非线性畸变矫正能力超过第一畸变子模型的非线性畸变矫正能力；上述装置包括：获取模块，用于获取待处理图像；计算模块，用于计算待处理图像中每个图像点对应的图像视角，其中，图像视角为图像点与光轴的夹角；第一矫正处理模块，用于利用第一畸变子模型对图像视角小于或等于预设视角的图像点进行矫正处理；第二矫正处理模块，用于利用第二畸变子模型对图像视角大于预设视角的图像点进行矫正处理。
本发明实施例带来了以下有益效果：
本发明实施例提供一种图像矫正处理方法及装置，其中，能够通过计算待处理图像中每个图像点对应的图像视角，将待处理图像中图像视角小于等于预设视角的图像点使用第一畸变子模型进行矫正处理，将图像视角大于预设视角的图像点使用第二畸变子模型进行矫正处理，能够对畸变程度不同的图像点利用不同的畸变模型进行精准矫正，有效降低了使用同一内参畸变模型对图像点进行矫正带来的矫正不准确的问题，进而有利于视觉任务的测距或检测等应用。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像矫正处理方法的流程图；
图2为本发明实施例提供的一种相机畸变优化模型的标定方法的流程图；
图3为本发明实施例提供的另一种相机畸变优化模型的标定方法的流程图；
图4为本发明实施例提供的一种畸变列表的示意图；
图5为本发明实施例提供的一种图像矫正处理装置的结构示意图；
图6为本发明实施例提供的一种曲线拟合的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决目前利用同一内参模型对图像进行畸变矫正处理，存在对图像矫正过度或矫正不及等情况，基于此，本发明实施例提供的一种图像矫正处理方法及装置，可以缓解上述技术问题。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种图像矫正处理方法进行详细介绍。
本发明实施例提供了一种图像矫正处理方法，其中，上述方法应用于相机的处理器，处理器存储有预先标定的相机畸变优化模型，相机畸变优化模型包括第一畸变子模型和第二畸变子模型，其中，第一畸变子模型对应的相机视角小于或等于预设视角，第二畸变子模型对应的相机视角大于预设视角，第二畸变子模型的非线性畸变矫正能力超过第一畸变子模型的非线性畸变矫正能力。
上述模型的非线性畸变矫正能力是指对图像矫正程度的强弱，非线性畸变矫正能力越强对图像的矫正程度越强，反之，则矫正程度越弱。在实际使用时，上述预设视角可以根据实际需要进行设置，在此不进行限定。
参见图1所示的一种图像矫正处理方法的流程图，该方法具体包括如下步骤：
步骤S102，获取待处理图像；
该待处理图像即为使用上述相机的摄像头拍摄到的图像。
步骤S104，计算待处理图像中每个图像点对应的图像视角，其中，图像视角为图像点与光轴的夹角；
具体实现时，可将待处理图像中每个图像点作为目标图像点，对于每个目标图像点均执行以下步骤A1至步骤A4的操作，以实现步骤S104的计算过程：
步骤A1，提取目标图像点的像素坐标信息，得到目标图像点的像素坐标信息；
该像素坐标信息是在像素坐标系下的坐标信息，其中，像素坐标系：相机采集的数字图像在计算机内可以存储为数组，数组中的每一个图像点(像素，pixel)的值即是图像点的亮度(灰度)。在图像上定义直角坐标系u-v，每一像素的坐标(u，v)分别是该像素在数组中的列数和行数。故(u，v)是以像素为单位的图像坐标系下的坐标。
步骤A2，基于像素坐标信息、图像中心点坐标信息、像素大小计算目标图像点在相机成像面上的坐标信息；
在相机成像面上的坐标信息为相机成像面坐标系下的坐标信息，由于图像坐标系只表示像素位于数字图像的列数和行数，并没有用物理单位表示出该像素在图像中的物理位置，因而需要再建立以物理单位(例如厘米、毫米)表示的成像平面坐标系x-y。
在本实施例中，通过下式计算目标图像点在相机成像面上的坐标信息：xd＝(xp-xc)*pixel_size；yd＝(yp-yc)*pixel_size；其中，xp表示像素坐标信息中的横坐标，yp表示像素坐标信息的纵坐标，xd表示在相机成像面上的坐标信息中的横坐标，yd表示在相机成像面上的坐标信息中的纵坐标，pixel_size表示像素大小；xc表示图像中心点坐标信息中的横坐标，yc表示图像中心点坐标信息中的纵坐标。
步骤A3，根据坐标信息计算目标图像点距离图像中心点的距离平方值；
具体地，通过下式计算目标图像点距离图像中心点的距离平方值：R2＝(xd+yd)2；其中，R表示目标图像点距离图像中心点的距离。
步骤A4，基于距离平方值和焦距计算目标图像点对应的图像视角。
通过下式计算目标图像点对应的图像视角：θout1＝arctan(R/f)；其中，θout1表示图像视角。
步骤S106，利用第一畸变子模型对图像视角小于或等于预设视角的图像点进行矫正处理；
步骤S108，利用第二畸变子模型对图像视角大于预设视角的图像点进行矫正处理。
基于步骤S104能够确定出图像中每个图像点所对应的图像视角，由于图像视角小于或等于预设视角的图像点的畸变较小，因此，可用非线性畸变矫正能力相对较弱的第一畸变子模型对其进行矫正处理，而图像视角大于预设视角的图像点的畸变较大，因此，需要使用线性畸变矫正能力相对较强的第二畸变子模型对其进行矫正处理，以避免图像矫正过度或矫正不及等情况。
本发明实施例提供一种图像矫正处理方法，其中，能够通过计算待处理图像中每个图像点对应的图像视角，将待处理图像中图像视角小于等于预设视角的图像点使用第一畸变子模型进行矫正处理，将图像视角大于预设视角的图像点使用第二畸变子模型进行矫正处理，能够对畸变程度不同的图像点利用不同的畸变模型进行精准矫正，有效降低了使用同一内参畸变模型对图像点进行矫正带来的矫正不准确的问题，进而有利于视觉任务的测距或检测等应用。
作为其中的一种实施方式，下面具体说明相机畸变优化模型的标定步骤，参见图2所示的一种相机畸变优化模型的标定方法的流程图，该方法具体包括如下步骤：
步骤S202，获取由相机多角度拍摄棋盘格得到的棋盘格图像集；其中，棋盘格图像集包括多个棋盘格图像；
步骤S204，根据棋盘格图像中的角点像素坐标计算角点视角；其中，角点视角为角点与光轴的夹角；
该角点视角的计算过程同上述计算图像视角的过程(步骤A1至步骤A4)，所以，在此不进行赘述。
步骤S206，将棋盘格图像集中角点视角小于或等于预设视角的所有角点构成第一角点对集，将角点视角大于预设视角的角点构成第二角点对集；其中，第一角点集中的每个第一角点对是由角点像素坐标和角点世界坐标构成，且，第二角点集中的每个第二角点对是由角点像素坐标和角点世界坐标构成；
角点像素坐标即为在角点像素坐标下的坐标，而角点世界坐标即为在世界坐标系下的坐标，其中，世界坐标系：在环境中选择一个参考坐标系来描述相机和物体的位置。
步骤S208，利用第一角点对集对第一畸变子模型的第一内参进行标定，利用第二角点集对第二畸变子模型的第二内参进行标定，以得到标定好的相机畸变优化模型。
在实际使用时，可利用标定好的第一内参的第一畸变子模型对图像视角小于或等于预设视角的图像进行矫正，利用标定好的第二内参的第二畸变子模型对图像视角大于预设视角的图像进行矫正。
为了能够更快更精准的对第一畸变子模型的第一内参和第二畸变子模型的第二内参进行标定，在本实施例中，可先确定出第一畸变子模型的内参初始值、第二畸变子模型的内参初始值和相机的外参初始值，在上述实施例的基础上，本发明实施例提供了另一种相机畸变优化模型的标定方法，参见图3所示的另一种相机畸变优化模型的标定方法的流程图，该方法具体包括如下步骤：
步骤S302，获取由相机多角度拍摄棋盘格得到的棋盘格图像集；其中，棋盘格图像集包括多个棋盘格图像；
步骤S304，根据棋盘格图像中的角点像素坐标计算角点视角；其中，角点视角为角点与光轴的夹角；
步骤S306，将棋盘格图像集中角点视角小于或等于预设视角的所有角点构成第一角点对集，将角点视角大于预设视角的角点构成第二角点对集；其中，第一角点集中的每个第一角点对是由角点像素坐标和角点世界坐标构成，且，第二角点集中的每个第二角点对是由角点像素坐标和角点世界坐标构成；
步骤S308，基于预先存储的畸变列表分别拟合第一畸变子模型和第二畸变子模型，得到第一畸变初始子模型的第一内参初始值和第二畸变初始子模型的第二内参初始值；其中，畸变列表中存储有多个特定入射角，以及与特定入射角对应的近轴距离，近轴距离为畸变图像点与图像中心点的距离；
为了便于说明，图4示出了一种畸变列表的示意图，如图4所示，第一列的数据表示特定入射角，该特定入射角可理解为是相机视角，第二列的数据为畸变图像点与图像中心点的近轴距离。图4中仅示出了部分数据，以便于理解。
具体根据图4中的数据拟合第一畸变子模型和第二畸变子模型，得到第一畸变初始子模型的第一内参初始值和第二畸变初始子模型的第二内参初始值的过程，可由步骤B1至步骤B3实现：
步骤B1，基于相机的焦距和特定入射角对应的近轴距离计算特定入射角对应的目标视角；
具体可通过下式计算特定入射角对应的目标视角；θout＝arctan(rd/f)；其中，θout表示目标视角，rd表示近轴距离，f表示相机的焦距。
步骤B2，将畸变列表中小于或等于预设视角的特定入射角，以及特定入射角对应的目标视角拟合第一畸变子模型，以得到第一畸变子模型的第一内参初始值；
在本实施例中，第一畸变子模型的模型公式为：
将图4中小于或等于预设视角的多个特定入射角θin，以及与特定入射角θin对应的目标视角θout代入上述模型公式中，以拟合出系数k1、k2、k3，该系数即为第一畸变子模型的第一内参初始值。
步骤B3，将畸变列表中大于预设视角的特定入射角，以及特定入射角对应的目标视角拟合第二畸变子模型，以得到第二畸变子模型的第二内参初始值。
第二畸变子模型的模型公式同样为：
将图3中大于预设视角的多个特定入射角θin，以及与特定入射角θin对应的目标视角θout代入上述模型公式中，以拟合出系数k4、k5、k6，该系数即为第二畸变子模型的第二内参初始值。
为了便于理解，图6示出了一种曲线拟合的示意图，以计算出的目标视角为纵轴，特定入射角为横轴，拟合出了图6中所示出的第一畸变子模型和第二畸变子模型对应的拟合曲线，其中，M1拟合曲线为对应相机视角小于或等于预设视角(60°)第一畸变子模型，M2拟合曲线为对应相机视角大于预设视角(60°)，且小于视角α0的第二畸变子模型，其中，视角α0为大于预设视角(60°)的视角。
步骤S310，利用张正友模型对相机的外参进行标定，得到外参初始值；其中，第一畸变子模型和第二畸变子模型对应同一外参初始值；
在本实施例中，利用张正友模型对相机的外参进行标定，得到外参初始值与现有利用张正友模型确定相机外参数的过程相同，在此不进行赘述。
步骤S312，利用第一角点对集对第一畸变子模型的第一内参进行标定，利用第二角点集对第二畸变子模型的第二内参进行标定，以得到标定好的相机畸变优化模型。
其中，利用第一角点对集对第一畸变子模型的第一内参进行标定的过程可由步骤C1至步骤C3实现，具体为：
步骤C1，基于第一内参初始值、外参初始值和第一角点对集计算每个角点对应的重投影像素坐标，并与角点真实的像素坐标做差值，得到重投影误差；
重投影误差的计算过程可为：先根据角点的角点世界坐标按照当前相机的第一内参初始值和外参初始值确定角点重投影像素坐标，然后将角点的重投影像素坐标与角点真实的像素坐标进行差值计算，得到角点对应的误差，其中，角点真实的像素坐标为在图像坐标系下的坐标。
其中，由角点世界坐标到重投影像素坐标的过程，可通过下式进行计算得到：
cX＝[R,P][x,y,0,1]T＝[x',y',z',1]T (1)；
其中，cX为相机坐标系下，角点的坐标，R为棋盘相对于相机的旋转矩阵，P为棋盘相对于相机的三维平移向量；x，y(角点在世界坐标系下的x和y方向的坐标，默认棋盘上各个棋盘格的z轴坐标为0)，x'，y'，z'(角点在相机坐标系下的坐标)；
其中，
为角点像素坐标。
其中，重投影误差的计算公式为
为角点真实的像素坐标。
为重投影像素坐标)；其中，i表示角点数量。
步骤C2，通过最小化重投影误差对第一内参初始值和外参初始值进行优化，得到第一内参，以实现对第一畸变子模型的第一内参进行标定。
利用LM最优化方法，最优化函数
得到第一畸变子模型的第一内参{cx,cy,f,k1,k2,k3}，具体为：根据链式法则，基于
分别求出
关于R，T，f,，cx，cy，k1，k2，k3的偏导数，计算雅可比矩阵J，构造增量方程，利用LM优化方法，迭代计算R，T，f，cx，cy，k1，k2，k3的最优值，得出的最优值即为第一畸变子模型标定好的第一内参。其中，wX表示角点世界坐标。
其中，利用第二角点对集对第二畸变子模型的第二内参进行标定的过程可由步骤D1至步骤D3实现，具体为：
步骤D1，基于第二内参初始值、外参初始值和第二角点对集计算每个角点对中角点的重投影像素坐标，并与角点真实的像素坐标做差值，得到重投影误差；
该计算第二角点对集中角点对应的重投影误差的过程同上述计算第一角点对集中角点对应重投影误差，所以，在此不进行赘述。
步骤D2，通过最小化重投影误差对第二内参初始值和外参初始值进行优化，得到第二内参，以实现对第二畸变子模型的第二内参进行标定。
在标定第二内参的过程中，由于第一内参中cx，cy，f已经确定，因此，只需优化第二内参的畸变参数{k4,k5,k6}即可，利用LM最优化方法，最小化重投影误差以得到k4，k5，k6的最优值，得出的最优值即为第二畸变子模型标定好的第二内参。具体为：根据链式法则，分别求出
关于k4，k5，k6的偏导数，计算雅可比矩阵J，构造增量方程，利用LM优化方法，迭代计算k4，k5，k6的最优值。
对应于上述方法实施例，本发明实施例提供了一种图像矫正处理装置，其中，该装置应用于相机的处理器，处理器存储有预先标定的相机畸变优化模型，相机畸变优化模型包括第一畸变子模型和第二畸变子模型，其中，第一畸变子模型对应的相机视角小于或等于预设视角，第二畸变子模型对应的相机视角大于预设视角，第二畸变子模型的非线性畸变矫正能力超过第一畸变子模型的非线性畸变矫正能力；图5示出了一种图像矫正处理装置的结构示意图，如图5所示，该装置包括：
获取模块502，用于获取待处理图像；
计算模块504，用于计算待处理图像中每个图像点对应的图像视角，其中，图像视角为图像点与光轴的夹角；
第一矫正处理模块506，用于利用第一畸变子模型对图像视角小于或等于预设视角的图像点进行矫正处理；
第二矫正处理模块508，用于利用第二畸变子模型对图像视角大于预设视角的图像点进行矫正处理。
本发明实施例提供的图像矫正处理装置，与上述实施例提供的图像矫正处理方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
本发明实施例所提供的图像矫正处理装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种图像矫正处理方法，其特征在于，所述方法应用于相机的处理器，所述处理器存储有预先标定的相机畸变优化模型，所述相机畸变优化模型包括第一畸变子模型和第二畸变子模型，其中，所述第一畸变子模型对应的相机视角小于或等于预设视角，所述第二畸变子模型对应的相机视角大于预设视角，所述第二畸变子模型的非线性畸变矫正能力超过所述第一畸变子模型的非线性畸变矫正能力；所述方法包括：
获取待处理图像；
计算所述待处理图像中每个图像点对应的图像视角，其中，所述图像视角为图像点与光轴的夹角；
利用所述第一畸变子模型对图像视角小于或等于所述预设视角的图像点进行矫正处理；
利用所述第二畸变子模型对图像视角大于所述预设视角的图像点进行矫正处理。
2.根据权利要求1所述的方法，其特征在于，计算所述待处理图像中每个图像点对应的图像视角的步骤，包括：
将所述待处理图像中每个图像点作为目标图像点，对于每个所述目标图像点均执行以下操作：
提取所述目标图像点的像素坐标信息，得到目标图像点的像素坐标信息；
基于所述像素坐标信息、图像中心点坐标信息、像素大小计算所述目标图像点在相机成像面上的坐标信息；
根据所述坐标信息计算所述目标图像点距离图像中心点的距离平方值；
基于所述距离平方值和焦距计算所述目标图像点对应的图像视角。
3.根据权利要求2所述的方法，其特征在于，通过下式计算所述目标图像点在相机成像面上的坐标信息：
xd＝(xp-xc)*pixel_size；yd＝(yp-yc)*pixel_size；
其中，xp表示所述像素坐标信息中的横坐标，yp表示所述像素坐标信息的纵坐标，xd表示在相机成像面上的坐标信息中的横坐标，yd表示在相机成像面上的坐标信息中的纵坐标，pixel_size表示所述像素大小；xc表示所述图像中心点坐标信息中的横坐标，yc表示所述图像中心点坐标信息中的纵坐标；
通过下式计算所述目标图像点距离图像中心点的距离平方值：
R2＝(xd+yd)2；
其中，R表示目标图像点距离图像中心点的距离；
通过下式计算所述目标图像点对应的图像视角：
θout1＝arctan(R/f)；
其中，θout1表示所述图像视角。
4.根据权利要求1所述的方法，其特征在于，所述相机畸变优化模型的标定步骤，包括：
获取由所述相机多角度拍摄棋盘格得到的棋盘格图像集；其中，所述棋盘格图像集包括多个棋盘格图像；
根据所述棋盘格图像中的角点像素坐标计算角点视角；其中，所述角点视角为所述角点与光轴的夹角；
将所述棋盘格图像集中角点视角小于或等于所述预设视角的所有角点构成第一角点对集，将所述角点视角大于所述预设视角的所述角点构成第二角点对集；其中，所述第一角点集中的每个第一角点对是由角点像素坐标和角点世界坐标构成，且，所述第二角点集中的每个第二角点对是由角点像素坐标和角点世界坐标构成；
利用所述第一角点对集对所述第一畸变子模型的第一内参进行标定，利用所述第二角点集对所述第二畸变子模型的第二内参进行标定，以得到标定好的所述相机畸变优化模型。
5.根据权利要求4所述的方法，其特征在于，在利用所述第一角点对集对所述第一畸变子模型的第一内参进行标定，利用所述第二角点集对所述第二畸变子模型的第二内参进行标定之前，所述方法还包括：
基于预先存储的畸变列表分别拟合所述第一畸变子模型和所述第二畸变子模型，得到所述第一畸变初始子模型的第一内参初始值和所述第二畸变初始子模型的第二内参初始值；其中，所述畸变列表中存储有多个特定入射角，以及与所述特定入射角对应的近轴距离，所述近轴距离为畸变图像点与图像中心点的距离；
利用张正友模型对所述相机的外参进行标定，得到外参初始值；其中，所述第一畸变子模型和所述第二畸变子模型对应同一所述外参初始值。
6.根据权利要求5所述的方法，其特征在于，基于预先存储的畸变列表分别拟合所述第一畸变子模型和所述第二畸变子模型，得到所述第一畸变初始子模型的第一内参初始值和所述第二畸变初始子模型的第二内参初始值的步骤，包括：
基于所述相机的焦距和所述特定入射角对应的近轴距离计算所述特定入射角对应的目标视角；
将所述畸变列表中小于或等于所述预设视角的所述特定入射角，以及所述特定入射角对应的目标视角拟合所述第一畸变子模型，以得到所述第一畸变子模型的第一内参初始值；
将所述畸变列表中大于所述预设视角的所述特定入射角，以及所述特定入射角对应的目标视角拟合所述第二畸变子模型，以得到所述第二畸变子模型的第二内参初始值。
7.根据权利要求6所述的方法，其特征在于，通过下式计算所述特定入射角对应的目标视角；
θout＝arctan(rd/f)；
其中，θout表示所述目标视角，rd表示所述近轴距离，f表示所述相机的焦距。
8.根据权利要求5所述的方法，其特征在于，利用所述第一角点对集对所述第一畸变子模型的第一内参进行标定的步骤，包括：
基于所述第一内参初始值、所述外参初始值和所述第一角点对集，计算每个角点对中角点的重投影像素坐标，并与角点真实的像素坐标做差值，得到重投影误差；
通过最小化重投影误差对所述第一内参初始值和所述外参初始值进行优化，得到所述第一内参，以实现对所述第一畸变子模型的第一内参进行标定。
9.根据权利要求5所述的方法，其特征在于，利用所述第二角点对集对所述第二畸变子模型的第二内参进行标定的步骤，包括：
基于所述第二内参初始值、所述外参初始值和所述第二角点对集，计算每个角点对中角点的重投影像素坐标，并与角点真实的像素坐标做差值，得到重投影误差；
通过最小化重投影误差对所述第二内参初始值和所述外参初始值进行优化，得到所述第二内参，以实现对所述第二畸变子模型的第二内参进行标定。
10.一种图像矫正处理装置，其特征在于，所述装置应用于相机的处理器，所述处理器存储有预先标定的相机畸变优化模型，所述相机畸变优化模型包括第一畸变子模型和第二畸变子模型，其中，所述第一畸变子模型对应的相机视角小于或等于预设视角，所述第二畸变子模型对应的相机视角大于预设视角，所述第二畸变子模型的非线性畸变矫正能力超过所述第一畸变子模型的非线性畸变矫正能力；所述装置包括：
获取模块，用于获取待处理图像；
计算模块，用于计算所述待处理图像中每个图像点对应的图像视角，其中，所述图像视角为图像点与光轴的夹角；
第一矫正处理模块，用于利用所述第一畸变子模型对图像视角小于或等于所述预设视角的图像点进行矫正处理；
第二矫正处理模块，用于利用所述第二畸变子模型对图像视角大于所述预设视角的图像点进行矫正处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011264634.XA CN112365421A (zh) | 2020-11-12 | 2020-11-12 | 图像矫正处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011264634.XA CN112365421A (zh) | 2020-11-12 | 2020-11-12 | 图像矫正处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112365421A true CN112365421A (zh) | 2021-02-12 |
Family
ID=74514664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011264634.XA Pending CN112365421A (zh) | 2020-11-12 | 2020-11-12 | 图像矫正处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112365421A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113222997A (zh) * | 2021-03-31 | 2021-08-06 | 上海商汤智能科技有限公司 | 神经网络的生成、图像处理方法、装置、电子设备及介质 |
| CN113298883A (zh) * | 2021-06-08 | 2021-08-24 | 清德智体（北京）科技有限公司 | 用于对多个相机进行标定的方法、电子设备和存储介质 |
| CN113610927A (zh) * | 2021-08-06 | 2021-11-05 | 镁佳(北京)科技有限公司 | 一种avm摄像头参数标定方法、装置及电子设备 |
-
2020
- 2020-11-12 CN CN202011264634.XA patent/CN112365421A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113222997A (zh) * | 2021-03-31 | 2021-08-06 | 上海商汤智能科技有限公司 | 神经网络的生成、图像处理方法、装置、电子设备及介质 |
| CN113298883A (zh) * | 2021-06-08 | 2021-08-24 | 清德智体（北京）科技有限公司 | 用于对多个相机进行标定的方法、电子设备和存储介质 |
| CN113610927A (zh) * | 2021-08-06 | 2021-11-05 | 镁佳(北京)科技有限公司 | 一种avm摄像头参数标定方法、装置及电子设备 |
| CN113610927B (zh) * | 2021-08-06 | 2022-04-15 | 镁佳(北京)科技有限公司 | 一种avm摄像头参数标定方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108230397B (zh) | 多目摄像机标定与校正方法和装置、设备、程序和介质 | |
| CN112365421A (zh) | 图像矫正处理方法及装置 | |
| CN108257183B (zh) | 一种相机镜头光轴校准方法和装置 | |
| US8436904B2 (en) | Method and apparatus for calibrating video camera | |
| JP5075757B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法、および電子機器 | |
| CN109544643B (zh) | 一种摄像机图像校正方法及装置 | |
| CN113920206B (zh) | 透视移轴相机的标定方法 | |
| WO2023273108A1 (zh) | 单目测距方法、装置及智能装置 | |
| CN109859137B (zh) | 一种广角相机非规则畸变全域校正方法 | |
| CN112985360B (zh) | 基于车道线的双目测距校正方法、装置、设备和存储介质 | |
| CN111340737B (zh) | 图像矫正方法、装置和电子系统 | |
| CN113793270A (zh) | 一种基于无人机姿态信息的航拍图像几何校正方法 | |
| CN115457147A (zh) | 相机标定方法、电子设备及存储介质 | |
| CN112381847A (zh) | 管路端头空间位姿测量方法及系统 | |
| CN116433762A (zh) | 激光雷达与相机标定状态检测方法、校正方法、装置及存储介质 | |
| CN110136205B (zh) | 多目相机的视差校准方法、装置及系统 | |
| CN115187612A (zh) | 一种基于机器视觉的平面面积测量方法、装置及系统 | |
| CN111915681A (zh) | 多组3d相机群的外参标定方法、装置、存储介质及设备 | |
| CN113379845A (zh) | 一种相机标定方法及装置、电子设备及存储介质 | |
| CN112614194B (zh) | 一种图像采集设备的数据处理方法、系统及装置 | |
| CN111353945B (zh) | 鱼眼图像校正方法、装置及存储介质 | |
| CN116385561A (zh) | 一种摄像头与激光雷达标定方法 | |
| CN112419172B (zh) | 倾斜图像校正去模糊的遥感图像处理方法 | |
| CN112419383B (zh) | 一种深度图的生成方法、装置及存储介质 | |
| CN110232715B (zh) | 一种多深度相机自校准的方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |