CN110246079B - 基于b样条曲面拟合的摄像头畸变矫正方法、系统及介质 - Google Patents

基于b样条曲面拟合的摄像头畸变矫正方法、系统及介质 Download PDF

Info

Publication number
CN110246079B
CN110246079B CN201910435044.XA CN201910435044A CN110246079B CN 110246079 B CN110246079 B CN 110246079B CN 201910435044 A CN201910435044 A CN 201910435044A CN 110246079 B CN110246079 B CN 110246079B
Authority
CN
China
Prior art keywords
points
grid
coordinates
point
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910435044.XA
Other languages
English (en)
Other versions
CN110246079A (zh
Inventor
刘成良
代山
贡亮
周亦涵
谭威
秦正伟
李彦明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201910435044.XA priority Critical patent/CN110246079B/zh
Publication of CN110246079A publication Critical patent/CN110246079A/zh
Application granted granted Critical
Publication of CN110246079B publication Critical patent/CN110246079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于B样条曲面拟合的摄像头畸变矫正方法、系统及介质，包括：将摄像头固定在距离目标平面预定距离的位置，拍摄目标平面上的网格纸得到网格图；对网格图进行图像细化，得到网格图的单像素骨架网络；找出单像素骨架网络中的格点生成德洛内三角网络，并对格点进行排序；根据中央处格点建立笛卡尔坐标，进行笛卡尔坐标旋转变换，计算各格点误差坐标；对格点的实际坐标和误差坐标进行B样条曲面拟合，得到实际坐标与X和Y轴两方向的畸变误差的曲面关系；根据畸变误差的曲面关系，对所述摄像头拍摄的所述目标平面的任意图片进行畸变矫正。本发明简单高效，在矫正精度、矫正效率等方面能很好的满足固定场景下畸变矫正的需要。

Description

基于B样条曲面拟合的摄像头畸变矫正方法、系统及介质
技术领域
本发明涉及摄像头畸变矫正领域，具体地，涉及基于B样条曲面拟合的摄像头畸变矫正方法、系统及介质。
背景技术
一般消费级摄像头拍摄时会因为几何关系等产生畸变，算法矫正是消除消费级摄像头畸变的主要途径，国内已有的矫正算法如张正友棋盘标定法等可以完成对拍摄的较高精度矫正。公开号CN 106600546A公开了一种超广角摄像头畸变矫正方法及系统，根据超广角摄像头的成像模型，将超广角摄像头拍摄的原始图像投影至全景球面，得到球面全景图像；以所述全景球面的球心为起点，将所述球面全景图像投影至矫正平面上，得到畸变矫正后的输出图像。
而在工程项目中进行摄像头矫正时，一般摄像头与目标平面相对固定，此时采用张正友棋盘法需要对网格纸进行多角度拍摄，其过程会显得十分繁琐，且该算法的效率，精度及稳定性也需要进一步改善。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于B样条曲面拟合的摄像头畸变矫正方法、系统及介质。
根据本发明提供的一种基于B样条曲面拟合的摄像头畸变矫正方法，包括：
网格图拍摄步骤：将摄像头固定在距离目标平面预定距离的位置，拍摄目标平面上的网格纸得到网格图；
图像细化步骤：对网格图进行图像细化，得到网格图的单像素骨架网络；
格点排序步骤：找出单像素骨架网络中的格点生成德洛内三角网络，并对格点进行排序；
误差坐标计算步骤：根据中央处格点建立笛卡尔坐标，进行笛卡尔坐标旋转变换，计算各格点误差坐标；
曲面关系计算步骤：对格点的实际坐标和误差坐标进行B样条曲面拟合，得到实际坐标与X和Y轴两方向的畸变误差的曲面关系；
矫正步骤：根据畸变误差的曲面关系，对所述摄像头拍摄的所述目标平面的任意图片进行畸变矫正。
优选地，所述网格纸的大小以及在所述目标平面上的摆放位置满足所述摄像头将所述网格纸完整的拍摄在所述网格图中。
优选地，在对网格图进行图像细化之前还包括对网格图进行灰度和二值化处理。
优选地，所述图像细化包括：
对网格图使用zhang-suen细化算法，定义非背景点的色值为1,背景点的色值为0，根据zhang-suen细化算法判断每一个点与周围八个点的色值关系，遍历所有点，筛选出可细化的非背景点进行删除；
若非背景点周围八点存在任一非背景点，则定义两点连通，根据删除非背景点是否会造成周围八个点不连通，来对非背景点进行删除，由此得到单像素骨架；
根据骨架的单像素性，遍历所有非背景点，若存在非背景点，满足周围八个点的色值中只有一个点为1，则删除该非背景点，并在该非背景点周围八个点继续进行判断，若满足则继续删除然后再次在周围八点进行判断，直至不满足该判断为止。
优选地，所述对格点进行排序包括：
设定最小角阈值，根据最小角阈值删除网格图边缘处的扁平三角型后，取德洛内三角网格的4个角点之一作为起点，根据点、边和三角的关系找到网格中的所有行和列，将所有点划分到行与列中，实现对格点的排序。
优选地，所述建立笛卡尔坐标包括：
取最接近网格图中心的格点作为基准格点作为原点，取序号相邻的两格点作为X轴，并以两格点距原点距离中较小的距离作为单位长度建立笛卡尔坐标系。
优选地，所述笛卡尔坐标旋转变换包括：旋转将笛卡尔坐标到与网格图自身格点的行与列的像素坐标轴平行。
优选地，所述曲面关系计算步骤包括：
分别以X和Y轴两方向的误差坐标作为Z坐标，实际坐标作为X和Y轴坐标来拟合两个误差曲面，其中任意一个曲面的拟合方法为：
取格点的XY轴坐标及误差坐标作为Z轴坐标生成控制点，根据控制点集进行B样条拟合曲面，利用最小二乘法进行曲线逼近；
沿对应每行的X或Y轴方向，整个像素坐标上有若干行经过格点，其余行不经过；对经过格点的若干行及每行格点对应控制点，在上一步已通过B样条曲面拟合获得每行的误差曲线，应用最小二乘法使误差曲线进一步逼近控制点，由此获得这若干行的新误差曲线，取新误差曲线上的每一个点组成新控制点集；
然后再沿Y或X轴方向每列都根据新控制点进行最小二乘曲线逼近，获得新的误差曲面。
根据本发明提供的一种基于B样条曲面拟合的摄像头畸变矫正系统，包括：
网格图拍摄模块：将摄像头固定在距离目标平面预定距离的位置，拍摄目标平面上的网格纸得到网格图；
图像细化模块：对网格图进行图像细化，得到网格图的单像素骨架网络；
格点排序模块：找出单像素骨架网络中的格点生成德洛内三角网络，并对格点进行排序；
误差坐标计算模块：根据中央处格点建立笛卡尔坐标，进行笛卡尔坐标旋转变换，计算各格点误差坐标；
曲面关系计算模块：对格点的实际坐标和误差坐标进行B样条曲面拟合，得到实际坐标与X和Y轴两方向的畸变误差的曲面关系；
矫正模块：根据畸变误差的曲面关系，对所述摄像头拍摄的所述目标平面的任意图片进行畸变矫正。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的基于B样条曲面拟合的摄像头畸变矫正方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
本发明简单高效，在矫正精度、矫正效率等方面能很好的满足固定场景下畸变矫正的需要。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的流程图；
图2为本发明实施例拍摄的原始网格图；
图3为本发明实施例矫正后的网格图；
图4本发明实施例中原始格点的位置示意图；
图5本发明实施例中矫正后的格点的位置示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
参考图1，图1所示为基于B样条曲面拟合的摄像头高精度畸变矫正办法流程图，包括如下步骤：
针对某一需求的特定场景，将摄像头固定距离在目标平面指定位置，在目标平面上摆放一张矫正用网格纸；
所述实际场景的具体摆放设置为，摄像头按照所需的距离固定在相对于目标平面的指定位置，网格纸固定在目标平面上，网格纸的摆放位置和大小应保证摄像头能将网格纸完整拍摄在照片中，且能在照片中清晰的辨认网格纸的各个格点。
操作摄像头对网格纸进行一次拍摄，通过计算机将拍摄图片转换为灰度图并进行二值化处理；
对处理后图片采用图像细化算法，使用zhang-suen细化算法使图片细化，通过连通关系删减像素点使其转化为单像素骨架，对由于噪点和模糊等原因产生的多余骨架进行删除，获得网格图的单像素骨架网格；
对细化后的网格图，找出骨架网格的各个格点，对所得格点集生成德洛内三角网络，设定最小角阈值，根据阈值删除网格边缘处的扁平三角型后，取三角网格的4个角点之一作为起点，根据点，边和三角的关系可找到网格中的所有行和列，最终将所有点划分进行与列中，实现对格点的排序；
取最接近拍摄图片中心的格点作为基准格点，以其为原点，取序号相邻的两点作为X轴，并以该两点距原点距离中较小的距离作为单位长度建立笛卡尔坐标系；该笛卡尔坐标系与由图片自身行与列生成的像素坐标系存在旋转变换关系，通过旋转将笛卡尔坐标系旋转到与像素坐标轴平行；在新坐标系下，以基准坐标为原点，可获得各个格点的实际坐标，而通过排序和单位长度可生成各点的标准坐标，两者相减获得误差坐标；
分别以X和Y两方向的误差坐标作为Z坐标，实际坐标作为X和Y坐标来拟合两个误差曲面，以格点及其误差坐标生成的控制点集进行B样条拟合曲面，由于拟合曲面不会经过首尾以外的其余控制点，因而利用最小二乘法进行曲线逼近，先后沿X和Y两方向进行曲线逼近后，可分别得到实际坐标与X和Y两方向的畸变误差的曲面关系；
得到误差曲面关系后，可对指定平面上拍摄的任意图片进行畸变补偿和修复，在像素坐标系下，对指定平面上拍摄的图片，根据误差曲面关系，将每个像素点的实际坐标加上误差坐标进行补偿，使该点移动到矫正位置，由于像素坐标均为整数，根据舍入关系可能存在复数像素点移动到同一像素位置同时产生空白像素的情况，因而需要进行图像修复，通过取空白像素点周围像素进行线性插值来计算空白像素点的像素值；修复后的图像即为所需的矫正后图像。
对灰度和二值化处理后的拍摄图片采用图像细化算法：
该细化算法包括，使用zhang-suen细化算法使图片中网格细化，通过连通关系删减像素点使网格转化为单像素，及对由于噪点和模糊等原因产生的多余骨架进行删除三步：
首先对拍摄图片使用zhang-suen细化算法，定义非背景点即黑色像素点的色值为1,背景点的色值为0，根据zhang-suen细化算法判断每一个点与周围八个点的色值关系，遍历所有点，筛选出可细化的非背景点进行删除。
对zhang-suen细化算法处理完的图片，仍存在删除后网格非单像素的问题，因此需要进一步细化，若非背景点周围八点存在任一非背景点，则上述定义上述两点连通，根据删除该非背景点是否会造成周围八个点不连通，来对非背景点进行删除，由此得到单像素骨架。
细化完成后，对由于噪点和模糊等原因产生的多余骨架，运用如下方法进行删除，根据骨架的单像素性，遍历所有非背景点，若存在非背景点，满足周围八个点的色值中只有一个点为1，则删除该非背景点，并在该点周围八个点继续进行上述判断，若满足则继续删除然后再次在周围八点进行判断，直至不满足该判断为止。
对骨架网格的各个格点生成德洛内三角网络进行排序：
对所得格点集生成德洛内三角网络，由于网格边缘可能存在扁平三角型，因而设定最小角阈值，若某三角型最小角小于该阈值，则删除该三角型，由此获得由形状接近等边直角的一系列三角形组成的德洛内三角网络；
进行格点排序需从一起点找出网络的所有行和列，因而对三角网络的所有点进行判断来找出角点作为起点，该网络四个角点在不同三角形中出现的次数只可能为1或2，若存在出现次数为1的点，则该点为角点；若不存在，则对出现次数为2的点进行判断，计算以这类点为顶点的两个三角形在该点的角度之和，将其中角度和最小的点即为角点；
确定起点后对所有格点进行排序，从起点开始，根据边和三角形关系定义其右边点、下边点和右下边点，根据右边点和右下边点可继续寻找新的右边点，由此可找出三角网络的一行或一列，继续可找出该网络的所有行和列，按行列关系可实现对所有格点进行排序，保证每行的格点序号相邻。
根据格点网络建立笛卡尔坐标系，旋转坐标系至与拍摄图片的行列像素坐标系平行后，计算格点的实际坐标、标准坐标和误差坐标：
取最接近拍摄图片中心的格点作为基准格点，以其为原点，取序号相邻的两点作为X轴，并以该两点距原点距离中较小的距离作为单位长度建立笛卡尔坐标系，此时有每行与X轴平行，每列与Y轴平行；
选取最接近图片中心格点作为原点及单位长度的原因是图片中心处畸变最小，根据序号和单位长度可较为准确地生成各点在没有畸变时，在图片中应该处于的像素位置，即标准坐标；
由于拍摄生成的笛卡尔坐标系与由图片自身行与列生成的像素坐标系可能存在旋转变换关系，因而通过旋转将笛卡尔坐标系旋转到与像素坐标轴平行；
在新坐标系下，以基准坐标为原点，可获得各个格点的实际坐标，而通过排序和单位长度可生成各点的标准坐标，两者相减获得各点的误差坐标；
对各点的实际坐标和X和Y方向的误差坐标采用B样条曲面拟合和最小二乘曲线逼近，可分别得到实际坐标与X和Y两方向的畸变误差的曲面关系：
分别以X和Y两方向的误差坐标作为Z坐标，实际坐标作为X和Y坐标来拟合两个误差曲面，其中任意一个曲面的具体拟合方法为：
取格点的XY坐标及误差坐标作为Z坐标为生成控制点，根据控制点集进行B样条拟合曲面，此时获得的拟合曲面不会经过首尾以外的其余控制点，为提高精度，利用最小二乘法进行曲线逼近；
首先沿对应每行的X方向(也可沿Y方向对应列)，整个像素坐标系上有若干行经过格点，其余行不经过；对这经过格点的若干行及每行格点对应控制点，在上一步已通过B样条曲面拟合获得每行的误差曲线，应用最小二乘法可使误差曲线进一步逼近控制点，由此获得这若干行的新误差曲线，取新误差曲线上的每一个点组成新控制点集；
然后沿Y方向(即上一步未选择的方向)每列都根据新控制点进行最小二乘曲线逼近，由此获得新的误差曲面，根据上述方法可分别得到实际坐标与X和Y两方向的畸变误差的曲面关系。
得到误差曲面关系后，可对指定平面上拍摄图片通过补偿和修复进行畸变矫正：
只要摄像头与指定平面几何关系与获取上述误差平面时完全一致，则对指定平面上拍摄的任意图片，都可直接通过下述补偿和修复进行畸变矫正，具体方法如下：
根据误差曲面关系，将每个像素点的在图片中的坐标即实际坐标加上X和Y方向的误差坐标进行补偿，使所有像素点都移动到矫正位置；
由于像素坐标均为整数，根据舍入关系，可能存在复数像素点移动到同一像素位置同时产生空白像素的情况，因而需要对空白像素处进行图像修复，通过取空白像素点周围像素点的像素值进行线性插值来计算空白像素点的像素值；修复后的图像即为所需的矫正后图像。
实施例：
S1，针对特定场景的需求，将摄像头固定在距离目标平面一定距离的指定位置，在目标平面上摆放一张矫正用网格纸。
所述实际场景的具体摆放设置为，摄像头按照所需的距离固定在相对于目标平面的指定位置，将网格纸固定在目标平面上，网格纸的摆放位置和大小应保证摄像头能将网格纸完整拍摄在照片中，且能在照片中较为清晰的辨认网格纸的各个格点。
操作摄像头对网格纸进行一次拍摄，通过计算机获得拍摄图片并将其转换为灰度图并进行二值化处理，本实施例中处理图像如图2所示。
S2，对处理后图片采用图像细化算法，首先对图片使用zhang-suen细化算法，遍历所有点，筛选出可细化的非背景点进行删除。
本实施例中采用的zhang-suen细化算法在使用前定义如下，首先已定义任意非背景点P1即黑色像素点的色值为1，表示为P1＝1,背景点的色值为0，对任意一点P1和周围八点，定义P1正上方点开始沿顺时针绕八点依次为P2到P9，N(P1)表示P1跟相邻八点中色值为1的点的个数，S(P1)表示从P2到P9，相邻出现0→1的次数。
本实施例中采用的zhang-suen细化算法用法如下，该算法为迭代算法，每次迭代分两步，如此可以对图像进行细化
①标记满足一下条件的点，遍历所有点后删除标记点。
Figure BDA0002070238470000081
②标记满足一下条件的点，遍历所有点后删除标记点。
Figure BDA0002070238470000082
迭代至没有可删除的点，算法结束。
对zhang-suen细化算法处理完的图片，仍存在删除后网格骨架非单像素的问题，需要进一步细化，若非背景点周围八点存在任一非背景点，则上述定义上述两点连通，根据删除该非背景点是否会造成周围八个点不连通，来对非背景点进行删除，由此得到单像素骨架。
细化完成后，对由于噪点和模糊等原因产生的多余骨架，运用如下方法进行删除，根据骨架的单像素性，遍历所有非背景点，若存在非背景点P1，满足N(P1)＝1，则删除该非背景点，并在该点周围八个点继续进行上述判断，若满足则继续删除然后再次在周围八点进行判断，直至不满足该判断为止。
S3，对生成的单像素骨架网络，找出骨架的各个格点，对格点集生成德洛内三角网络。
对所得格点集生成德洛内三角网络，由于网格边缘可能存在扁平三角型，因而设定最小角阈值，若某三角型最小角小于该阈值，则删除该三角型，由此获得由形状接近等边直角的一系列三角形组成的德洛内三角网络；
进行格点排序需先确定排序起点，本实施例中采用以下方法寻找起点：对德洛内三角网络的所有点进行判断，该网络四个角点在不同三角形中出现的次数只可能为1或2，若存在出现次数为1的角点，则可直接以该角点作为起点；若不存在，则对出现次数为2的点进行判断，这类点可能为网络的角点或边上的点，计算以这类点为顶点的两个三角形在该点的角度之和，将其中角度和最小的点作为起点。
找到起点后，本实施例中按照如下方法进行排序：从起点开始，若起点在不同三角形中出现的次数为1，则任取起点所在三角形中其它一点，记为右边点r，该三角形剩下一点记为下边点b，而另一个包含r与b两点的三角形剩下一点记为右下方点rb；若起点出现次数为2，则包含起点的两个三角形共用的另一个点记为右下方点rb，不共用的两点则任意取为r和b；找到上述点后，以起点右方点r作为点i，rb点作为i点的下方点b，由此寻找新的r和rb点，不断迭代可找到该三角网络的一行或是一列，同理可找出该网络的所有行和列，按行列关系可实现所有格点进行排序，保证每行的格点序号相邻。
S4，取最接近拍摄图片中心的格点作为基准格点，以其为原点，取序号相邻的两点作为X轴，并以该两点距原点距离中较小的距离作为单位长度建立笛卡尔坐标系，此时有每行与X轴平行，每列与Y轴平行。
上一步中选取最接近图片中心格点作为原点及单位长度的原因是图片中心处畸变最小，根据序号和单位长度可较为准确地生成各点在没有畸变时在拍摄图片中应该处于的像素位置，即标准坐标。
由于拍摄网格纸生成的笛卡尔坐标系与由拍摄图片自身行与列生成的像素坐标系可能存在旋转变换关系，因而通过旋转将笛卡尔坐标系旋转到与像素坐标轴平行。
在旋转所得的新坐标系下，以基准坐标为原点，可获得各个格点的实际坐标，而通过排序和单位长度可生成各点的标准坐标，两者相减获得各点的误差坐标。
S5，分别以X和Y两方向的误差坐标作为Z坐标，实际坐标作为X和Y坐标来拟合两个误差曲面。
实施例中选取其中任意一个曲面的具体拟合方法为：先进行B样条曲面拟合，再通过最小二乘法进行逼近。
取格点的XY坐标及误差坐标作为Z坐标为生成控制点，根据这一控制点集进行B样条拟合曲面，此时获得的拟合曲面不会经过首尾以外的其余控制点，为提高精度，利用最小二乘法进行曲线逼近。
本实施例中最小二乘逼近的具体做法分为两步：第一步为，沿对应每行的X方向，整个像素坐标系上有若干行经过格点，其余行不经过，对这经过格点的若干行及每行格点对应控制点，已通过B样条曲面拟合获得每行的误差曲线，应用最小二乘法可使误差曲线进一步逼近控制点，由此获得这若干行的新误差曲线，取新误差曲线上的每个点作为新控制点集；
第二步为，沿Y方向每列都根据新控制点进行最小二乘曲线逼近，由此获得新的误差曲面，根据上述方法可分别得到实际坐标与X和Y两方向的畸变误差的曲面关系。
S6，得到误差曲面关系后，可在指定平面上拍摄任意图片通过补偿和修复进行畸变矫正。
具体补偿方法为：对指定平面上拍摄的图片，根据误差曲面关系，将每个像素点的在图片中的坐标即实际坐标加上误差坐标进行补偿，使所有像素点都移动到矫正位置。
由于像素坐标均为整数，可能存在复数像素点移动到同一像素位置同时产生空白像素的情况，因而需要对空白像素处进行图像修复，通过取空白像素点周围像素点的像素值进行线性插值来计算空白像素点的像素值；修复后的图像即为所需的矫正后图像，本实施例中拍摄网格矫正后如图3所示。
本实施例中为简单示意矫正效果，选取了图4和5作为例子，展示拍摄图片中格点原来位置和经过算法矫正后的示意图。该示意图提取了网格图的格点，对各个格点进行了像素位置补偿矫正。
基于上述一种基于B样条曲面拟合的摄像头畸变矫正方法，本发明还提供的一种基于B样条曲面拟合的摄像头畸变矫正系统，包括：
网格图拍摄模块：将摄像头固定在距离目标平面预定距离的位置，拍摄目标平面上的网格纸得到网格图；
图像细化模块：对网格图进行图像细化，得到网格图的单像素骨架网络；
格点排序模块：找出单像素骨架网络中的格点生成德洛内三角网络，并对格点进行排序；
误差坐标计算模块：根据中央处格点建立笛卡尔坐标，进行笛卡尔坐标旋转变换，计算各格点误差坐标；
曲面关系计算模块：对格点的实际坐标和误差坐标进行B样条曲面拟合，得到实际坐标与X和Y轴两方向的畸变误差的曲面关系；
矫正模块：根据畸变误差的曲面关系，对所述摄像头拍摄的所述目标平面的任意图片进行畸变矫正。
本发明还提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的基于B样条曲面拟合的摄像头畸变矫正方法的步骤。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (9)

1.一种基于B样条曲面拟合的摄像头畸变矫正方法，其特征在于，包括：
网格图拍摄步骤：将摄像头固定在距离目标平面预定距离的位置，拍摄目标平面上的网格纸得到网格图；
图像细化步骤：对网格图进行图像细化，得到网格图的单像素骨架网络；
格点排序步骤：找出单像素骨架网络中的格点生成德洛内三角网络，并对格点进行排序；
误差坐标计算步骤：根据中央处格点建立笛卡尔坐标，进行笛卡尔坐标旋转变换，计算各格点误差坐标；
曲面关系计算步骤：对格点的实际坐标和误差坐标进行B样条曲面拟合，得到实际坐标与X和Y轴两方向的畸变误差的曲面关系；
矫正步骤：根据畸变误差的曲面关系，对所述摄像头拍摄的所述目标平面的任意图片进行畸变矫正；
所述曲面关系计算步骤包括：
分别以X和Y轴两方向的误差坐标作为Z坐标，实际坐标作为X和Y轴坐标来拟合两个误差曲面，其中任意一个曲面的拟合方法为：
取格点的XY轴坐标及误差坐标作为Z轴坐标生成控制点，根据控制点集进行B样条拟合曲面，利用最小二乘法进行曲线逼近；
沿对应每行的X或Y轴方向，整个像素坐标上有若干行经过格点，其余行不经过；对经过格点的若干行及每行格点对应控制点，在上一步已通过B样条曲面拟合获得每行的误差曲线，应用最小二乘法使误差曲线进一步逼近控制点，由此获得这若干行的新误差曲线，取新误差曲线上的每一个点组成新控制点集；
然后再沿Y或X轴方向每列都根据新控制点进行最小二乘曲线逼近，获得新的误差曲面。
2.根据权利要求1所述的基于B样条曲面拟合的摄像头畸变矫正方法，其特征在于，所述网格纸的大小以及在所述目标平面上的摆放位置满足所述摄像头将所述网格纸完整的拍摄在所述网格图中。
3.根据权利要求1所述的基于B样条曲面拟合的摄像头畸变矫正方法，其特征在于，在对网格图进行图像细化之前还包括对网格图进行灰度和二值化处理。
4.根据权利要求1所述的基于B样条曲面拟合的摄像头畸变矫正方法，其特征在于，所述图像细化包括：
对网格图使用zhang-suen细化算法，定义非背景点的色值为1,背景点的色值为0，根据zhang-suen细化算法判断每一个点与周围八个点的色值关系，遍历所有点，筛选出可细化的非背景点进行删除；
若非背景点周围八点存在任一非背景点，则定义两点连通，根据删除非背景点是否会造成周围八个点不连通，来对非背景点进行删除，由此得到单像素骨架；
根据骨架的单像素性，遍历所有非背景点，若存在非背景点，满足周围八个点的色值中只有一个点为1，则删除该非背景点，并在该非背景点周围八个点继续进行判断，若满足则继续删除然后再次在周围八点进行判断，直至不满足该判断为止。
5.根据权利要求1所述的基于B样条曲面拟合的摄像头畸变矫正方法，其特征在于，所述对格点进行排序包括：
设定最小角阈值，根据最小角阈值删除网格图边缘处的扁平三角型后，取德洛内三角网格的4个角点之一作为起点，根据点、边和三角的关系找到网格中的所有行和列，将所有点划分到行与列中，实现对格点的排序。
6.根据权利要求1所述的基于B样条曲面拟合的摄像头畸变矫正方法，其特征在于，所述建立笛卡尔坐标包括：
取最接近网格图中心的格点作为基准格点作为原点，取序号相邻的两格点作为X轴，并以两格点距原点距离中较小的距离作为单位长度建立笛卡尔坐标系。
7.根据权利要求1所述的基于B样条曲面拟合的摄像头畸变矫正方法，其特征在于，所述笛卡尔坐标旋转变换包括：旋转将笛卡尔坐标到与网格图自身格点的行与列的像素坐标轴平行。
8.一种基于B样条曲面拟合的摄像头畸变矫正系统，其特征在于，包括：
网格图拍摄模块：将摄像头固定在距离目标平面预定距离的位置，拍摄目标平面上的网格纸得到网格图；
图像细化模块：对网格图进行图像细化，得到网格图的单像素骨架网络；
格点排序模块：找出单像素骨架网络中的格点生成德洛内三角网络，并对格点进行排序；
误差坐标计算模块：根据中央处格点建立笛卡尔坐标，进行笛卡尔坐标旋转变换，计算各格点误差坐标；
曲面关系计算模块：对格点的实际坐标和误差坐标进行B样条曲面拟合，得到实际坐标与X和Y轴两方向的畸变误差的曲面关系；
矫正模块：根据畸变误差的曲面关系，对所述摄像头拍摄的所述目标平面的任意图片进行畸变矫正；
所述曲面关系计算模块包括：
分别以X和Y轴两方向的误差坐标作为Z坐标，实际坐标作为X和Y轴坐标来拟合两个误差曲面，其中任意一个曲面的拟合方法为：
取格点的XY轴坐标及误差坐标作为Z轴坐标生成控制点，根据控制点集进行B样条拟合曲面，利用最小二乘法进行曲线逼近；
沿对应每行的X或Y轴方向，整个像素坐标上有若干行经过格点，其余行不经过；对经过格点的若干行及每行格点对应控制点，在上一步已通过B样条曲面拟合获得每行的误差曲线，应用最小二乘法使误差曲线进一步逼近控制点，由此获得这若干行的新误差曲线，取新误差曲线上的每一个点组成新控制点集；
然后再沿Y或X轴方向每列都根据新控制点进行最小二乘曲线逼近，获得新的误差曲面。
9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任意一项所述的基于B样条曲面拟合的摄像头畸变矫正方法的步骤。
CN201910435044.XA 2019-05-23 2019-05-23 基于b样条曲面拟合的摄像头畸变矫正方法、系统及介质 Active CN110246079B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910435044.XA CN110246079B (zh) 2019-05-23 2019-05-23 基于b样条曲面拟合的摄像头畸变矫正方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910435044.XA CN110246079B (zh) 2019-05-23 2019-05-23 基于b样条曲面拟合的摄像头畸变矫正方法、系统及介质

Publications (2)

Publication Number Publication Date
CN110246079A CN110246079A (zh) 2019-09-17
CN110246079B true CN110246079B (zh) 2020-11-06

Family

ID=67884882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910435044.XA Active CN110246079B (zh) 2019-05-23 2019-05-23 基于b样条曲面拟合的摄像头畸变矫正方法、系统及介质

Country Status (1)

Country Link
CN (1) CN110246079B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728638A (zh) * 2019-09-25 2020-01-24 深圳疆程技术有限公司 一种图像的畸变矫正方法、车机及汽车
CN112435254A (zh) * 2020-12-09 2021-03-02 上海霖晏医疗科技有限公司 一种x光图像矫正方法
CN113706625B (zh) * 2021-07-28 2024-06-18 昆山丘钛微电子科技股份有限公司 一种镜头畸变校正方法及装置
CN116152121B (zh) * 2023-04-20 2023-07-04 合肥高维数据技术有限公司 基于畸变参数的曲面屏生成方法、矫正方法
CN116309941B (zh) * 2023-05-11 2024-01-23 北京元跃科技有限公司 一种移动设备划线线条矫正方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101814186A (zh) * 2010-02-04 2010-08-25 上海交通大学 利用曲线拟合校正摄像机径向畸变的方法
CN104657982A (zh) * 2015-01-15 2015-05-27 华中科技大学 一种投影仪标定方法
CN105043720A (zh) * 2015-07-01 2015-11-11 上海交通大学 基于单摄像机的红外滤光片折射率的测量方法
CN106600546A (zh) * 2016-11-14 2017-04-26 Tcl集团股份有限公司 一种超广角摄像头畸变校正方法及系统
CN107424143A (zh) * 2017-04-13 2017-12-01 中国矿业大学 一种基于双目立体视觉深度感知的矿用带式输送机煤量检测方法
CN108267857A (zh) * 2017-12-29 2018-07-10 杭州联络互动信息科技股份有限公司 一种畸变校正实时可视调试的方法、装置及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9379156B2 (en) * 2008-04-10 2016-06-28 Nvidia Corporation Per-channel image intensity correction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101814186A (zh) * 2010-02-04 2010-08-25 上海交通大学 利用曲线拟合校正摄像机径向畸变的方法
CN104657982A (zh) * 2015-01-15 2015-05-27 华中科技大学 一种投影仪标定方法
CN105043720A (zh) * 2015-07-01 2015-11-11 上海交通大学 基于单摄像机的红外滤光片折射率的测量方法
CN106600546A (zh) * 2016-11-14 2017-04-26 Tcl集团股份有限公司 一种超广角摄像头畸变校正方法及系统
CN107424143A (zh) * 2017-04-13 2017-12-01 中国矿业大学 一种基于双目立体视觉深度感知的矿用带式输送机煤量检测方法
CN108267857A (zh) * 2017-12-29 2018-07-10 杭州联络互动信息科技股份有限公司 一种畸变校正实时可视调试的方法、装置及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
图像几何畸变校正方法;范勇;《计算机工程与应用》;20091011(第29期);第194-197页 *
结合仿射变换和多层B样条配准的湍流畸变图像校正;张姣;《光学精密工程》;20150315(第3期);第846-854页 *

Also Published As

Publication number Publication date
CN110246079A (zh) 2019-09-17

Similar Documents

Publication Publication Date Title
CN110246079B (zh) 基于b样条曲面拟合的摄像头畸变矫正方法、系统及介质
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN110322513B (zh) 一种相机外参标定方法、装置及电子设备
CN111080709B (zh) 基于轨迹特征配准的多光谱立体相机自标定算法
CN107705252B (zh) 适用于双目鱼眼图像拼接展开校正的方法及系统
CN108510451B (zh) 一种基于双层卷积神经网络的重建车牌的方法
CN107945217B (zh) 一种适用于自动装配的图像特征点对快速筛选方法及系统
CN110969668A (zh) 一种长焦双目相机的立体标定算法
CN108830810A (zh) 一种基于正交投影的鱼眼镜头图像畸变矫正方法
CN112562014B (zh) 相机标定方法、系统、介质及装置
CN111091502A (zh) 遥感影像的匀色方法及系统、存储介质、电子设备
CN112669436B (zh) 一种基于3d点云的深度学习样本生成方法
CN107610097A (zh) 仪表定位方法、装置和终端设备
CN111507894B (zh) 一种图像拼接处理方法及装置
CN104902201A (zh) 基于移动视点与异形屏幕的投影图像实时校正方法
CN107958489B (zh) 一种曲面重建方法及装置
EP3839882B1 (en) Radiometric correction in image mosaicing
CN108198222B (zh) 一种广角镜头标定及图像矫正方法
CN100416466C (zh) 单目视觉半实物仿真系统及方法
CN109345551A (zh) 图像外轮廓中凹包络的检测方法、系统及计算机存储介质
CN114581515B (zh) 一种基于最优路径转换的多相机标定参数优化方法
CN116152121B (zh) 基于畸变参数的曲面屏生成方法、矫正方法
Zhang et al. Fisheye lens distortion correction based on an ellipsoidal function model
CN105046679A (zh) 遥感卫星图像多波段配准的方法及装置
CN112419172B (zh) 倾斜图像校正去模糊的遥感图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant