CN107945236B - 一种适于通用光学系统的亚像素级非线性标定方法 - Google Patents

一种适于通用光学系统的亚像素级非线性标定方法 Download PDF

Info

Publication number
CN107945236B
CN107945236B CN201711098850.XA CN201711098850A CN107945236B CN 107945236 B CN107945236 B CN 107945236B CN 201711098850 A CN201711098850 A CN 201711098850A CN 107945236 B CN107945236 B CN 107945236B
Authority
CN
China
Prior art keywords
image
lattice
distortion
centroid
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711098850.XA
Other languages
English (en)
Other versions
CN107945236A (zh
Inventor
沈亦兵
胡静
范静涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Zhejiang University ZJU
Original Assignee
Tsinghua University
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Zhejiang University ZJU filed Critical Tsinghua University
Priority to CN201711098850.XA priority Critical patent/CN107945236B/zh
Publication of CN107945236A publication Critical patent/CN107945236A/zh
Application granted granted Critical
Publication of CN107945236B publication Critical patent/CN107945236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Abstract

本发明公开了一种适于通用光学系统的亚像素级非线性标定方法，属于测量技术领域，该方法包括：步骤(1)调制LCD板晶格亮暗并拍摄图像；步骤(2)图像处理获得像面晶格形心坐标并计算像面晶格形心所对应的物面晶格形心坐标；步骤(3)由计算得到的物面晶格形心坐标和其对应的像面晶格形心坐标进行非线性函数建模；步骤(4)迭代优化非线性函数模型中的系数。该方法使用LCD板作为标定板，在视场范围内可观察到较多数量的晶格，得到足够多的样本数量对非线性函数进行建模，大大减少标定的采样误差；引入额外的非线性参数，校正了整体光学仪器的畸变等固有光学像差；在非线性函数建模的基础上进行迭代优化，获得光学系统的亚像素级标定误差。

Description

一种适于通用光学系统的亚像素级非线性标定方法
技术领域
本发明属于测量技术领域，尤其涉及一种适于通用光学系统的亚像素级非线性标定方法。
背景技术
每当使用光学成像系统自动观测或控制现实世界中的对象时，需要通过它们在传感器上的投影推测观察对象的世界位置。确定投影系统的准确模型至关重要。标定将尺度从三维空间桥接到二维空间，从获得的二维图像估计相机的变换矩阵。因此，在视觉测量和光学检测中广泛研究并应用了标定算法，如对象重建、计算机断层摄影、姿态估计和机器臂定位。此外，标定对于生物学、材料、图像处理、光子成像、物理测量、物体检测的应用不可或缺。
当前已提出多种系统标定算法，其中自标定方法仅需建立图像间的对应，较为方便，但其准确性不高，不宜应用于精度要求高的场合。传统的相机标定算法基于特定的标定物，经过图像处理算法，并结合单应性矩阵，求取相机的内外参数。该类标定算法相比自标定方法精度较高，但没有考虑到光学系统的畸变等像差，还有提升的空间。
在传统的标定算法中，Tsai提出基于径向排列约束的标定算法，但其仅考虑到径向畸变，对切向畸变较大的系统误差较大；张正友提出基于平面棋盘标定板的标定算法，方法简单，且精度较高，但对平面棋盘标定板的精度有较高的要求，当平面棋盘标定板的特征点坐标存在5％的误差，系统一阶径向畸变系数的误差会超过20％。
发明内容
本发明的目的在于克服现有技术中存在的缺点，提供一种适于通用光学系统的亚像素级非线性标定方法，使测量整体仪器的标定误差达到亚像素量级，提高图像成像品质，可应用于视觉测量和光学检测领域。
为了实现上述目的，本发明提出了一种适于通用光学系统的亚像素级非线性标定方法，该方法包括以下步骤：
步骤(1)、调制LCD板晶格亮暗并拍摄图像；
将标定所需的图像显示在LCD板上，精确到LCD板上每个晶格，并拍摄图像；
步骤(2)、图像处理获得像面晶格形心坐标并计算像面晶格形心所对应的物面晶格形心坐标；
对步骤(1)拍摄的图像进行二值化，再筛选完整的连通区域求取像面晶格形心坐标，并根据已知LCD板每个晶格的间隔，由晶格的位置得到准确的物面晶格形心坐标；
步骤(3)、由计算得到的物面晶格形心坐标和其对应的像面晶格形心坐标进行非线性函数建模；
综合考虑畸变的三种模型——径向畸变、离心畸变、薄棱镜畸变，根据选取的物面晶格形心坐标和其对应的像面坐标求得结合三种畸变模型的非线性函数模型，根据非线性函数模型由拍摄到的图像反投影求得校正像差后的图像；
步骤(4)、迭代优化非线性函数模型中的系数；
将校正像差后的图像作为步骤(2)中拍摄的图像，再重复步骤(2)-步骤(3)，直到非线性函数模型的误差小于0.5像素，优化得到非线性函数模型中的系数。
进一步的，所述步骤(2)中二值化处理采用Otsu最大类间方差算法。
进一步的，所述根据已知LCD板每个晶格的间隔，由晶格的位置得到准确的物面晶格形心坐标的步骤具体为：
Figure BDA0001462904350000021
centery＝codey*c (2)
其中，centerx为物面晶格形心x轴坐标，centery为物面晶格形心y轴坐标，codex为晶格在x轴上的位置，codey为晶格在y轴上的位置，a为一个像素(包含红、绿、蓝三个晶格)的横向间隔，b为单个晶格的横向间隔(a的1/3)，c为一个像素(包含红、绿、蓝三个晶格) 的纵向间隔。
进一步的，所述步骤(3)具体为：
未考虑成像畸变的理想针孔模型用齐次坐标表示为：
Figure BDA0001462904350000022
其中，zc为一个比例系数，[x y]T为物面晶格形心坐标，[u v]T为像面晶格形心坐标， r1、r2是从物面坐标系到像面坐标系的旋转变换系数，T是从物面坐标系到像面坐标系的平移变换矩阵，K是相机内参矩阵，H3*3为从物面坐标系到像面坐标系的单应性矩阵,h11、h12、h13、h21、h22、h23、h31、h32、h33为单应性矩阵中的各系数，[u0 v0]T为像面的主点坐标，α、β分别是图像在u轴和v轴的焦距参数，γ为图像扭曲参数，表示图像两坐标轴偏斜度；
以下是考虑到的三种畸变模型：
(1)径向畸变
Figure BDA0001462904350000031
δxr(x,y)为x轴的径向畸变，δyr(x,y)为y轴的径向畸变，k1为径向畸变系数；
(2)离心畸变
Figure BDA0001462904350000032
δxd(x,y)为x轴的离心畸变，δyd(x,y)为y轴的离心畸变，p1,p2为离心畸变系数；
(3)薄棱镜畸变
Figure BDA0001462904350000033
δxl(x,y)为x轴的薄棱镜畸变，δyl(x,y)为y轴的薄棱镜畸变，s1, s2 薄棱镜畸变系数；
建立考虑畸变的非线性函数模型为：
Figure BDA0001462904350000034
给定n幅拍摄到的图像，每幅图像上有m个采样晶格，函数评价模型为：
Figure BDA0001462904350000035
其中ε为非线性函数模型的误差，mij是第i幅图像上第j个晶格的物面形心坐标，Ri是第i幅图像对应的旋转矩阵，Mj是第j个晶格的像面形心坐标，
Figure BDA0001462904350000036
是第i幅图像上第j个晶格像面形心坐标根据式(7)的反投影坐标；利用最小二乘法对式(7) 的非线性函数模型进行系数求解，使得非线性函数模型的误差最小；
根据非线性函数模型由拍摄到的图像反投影求得校正像差后的图像。
相对于现有技术，本发明的有益效果如下：通过本发明的方法处理后的图像质量高，解决了光学系统内在像差的影响；引入额外的非线性参数，矫正了整体光学仪器的畸变固有光学像差，精度更高；由于LCD板晶格的微小尺寸，在视场内可观察到较多数量的晶格，得到足够多的样本数量对非线性函数进行建模，且像面坐标和对应的物面坐标精确到微米数量级，大大减少标定的采样误差；在非线性函数建模的基础上进行迭代优化，进一步校正残余像差，实现对标定误差的有效抑制，获得整体系统的亚像素级标定误差。
附图说明
图1为本发明实施例中使用的LCD板放大图；
图2为本发明实施例中LCD板图像的晶格形心示意图；
图3为畸变的物理模型图。
具体实施形式
下面通过实施例并结合附图对本发明做进一步的说明。
实施例：
本实施例的具体过程和步骤包括：
步骤(1)、调制LCD板晶格亮暗并拍摄图像；
将标定所需的图像显示在LCD板上，精确到LCD板上每个晶格；根据标定所需的图像编程控制LCD板晶格亮暗，使用光学系统对不同角度和位置的LCD板进行成像，拍摄几幅图像，保持图像清晰。
步骤(2)、图像处理获得像面晶格形心坐标并计算像面晶格形心所对应的物面晶格形心坐标；
对步骤(1)拍摄的图像进行二值化，二值化采用Otsu最大类间方差算法，该算法按照图像的灰度特性，将图像分为背景和目标两部分，背景和目标之间的类间方差越大，则图像分割的两部分的差距越大，当部分目标错分为背景或部分背景错分为目标将导致两部分的差距变小；再选取完整的连通区域求取像面晶格形心坐标，对二值化图像的每个晶格进行轮廓提取，晶格理论上为排列整齐的规律的小方块，并不由图像的灰度信息分布决定，采用形心法而非质心法筛选连通区域求取像面晶格形心坐标，如图2所示，每个晶格中间的黑点即为求得的图像LCD板晶格形心；在选取像面晶格形心坐标时，可根据实际要求灵活选择，如对于拼接边界部分的误差要求更高，则较多选取视场范围边界部分的像面晶格形心坐标，如对于视场中心的内容更为关注，则较多选取视场范围中间部分的像面晶格形心坐标；
根据已知LCD板每个晶格的间隔，由晶格的位置得到准确的物面晶格形心坐标：
Figure BDA0001462904350000051
centery＝codey*c (10)
其中，centerx为物面晶格形心x轴坐标，centery为物面晶格形心y轴坐标，codex为晶格在x轴上的位置，codey为晶格在y轴上的位置，a为一个像素(包含红、绿、蓝三个晶格)的横向间隔，b为单个晶格的横向间隔(a的1/3)，c为一个像素(包含红、绿、蓝三个晶格) 的纵向间隔。
步骤(3)、由计算得到的物面晶格形心坐标和其对应的像面晶格形心坐标进行非线性函数建模；
未考虑成像畸变的理想针孔模型用齐次坐标表示为：
Figure BDA0001462904350000052
其中，zc为一个比例系数，[x y]T为物面晶格形心坐标，[u v]T为像面晶格形心坐标， r1、r2是从物面坐标系到像面坐标系的旋转变换系数，T是从物面坐标系到像面坐标系的平移变换矩阵，K是相机内参矩阵，H3*3为从物面坐标系到像面坐标系的单应性矩阵,h11、h12、h13、h21、h22、h23、h31、h32、h33为单应性矩阵中的各系数，[u0 v0]T为像面的主点坐标，α、β分别是图像在u轴和v轴的焦距参数，γ为图像扭曲参数，表示图像两坐标轴偏斜度；
实际成像过程中光学系统存在一定的畸变，理想针孔模型不能准确描述成像几何关系，为使建立模型更精确描述系统的成像过程，引入反映畸变影响的修正系数，建立精确的非线性函数。以下是考虑到的三种畸变模型：
(1)径向畸变
Figure BDA0001462904350000053
δxr(x,y)为x轴的径向畸变，δyr(x,y)为y轴的径向畸变，k1为径向畸变系数；
(2)离心畸变
Figure BDA0001462904350000061
δxd(x,y)为x轴的离心畸变，δyd(x,y)为y轴的离心畸变，p1,p2为离心畸变系数；
(3)薄棱镜畸变
Figure BDA0001462904350000062
δxl(x,y)为x轴的薄棱镜畸变，δyl(x,y)为y轴的薄棱镜畸变，s1, s2 薄棱镜畸变系数；
建立考虑畸变的非线性函数模型为：
Figure BDA0001462904350000063
给定n幅拍摄到的图像，每幅图像上有m个采样晶格，函数评价模型为：
Figure BDA0001462904350000064
其中ε为非线性函数模型的误差，mij是第i幅图像上第j个晶格的物面形心坐标，Ri是第i幅图像对应的旋转矩阵，Mj是第j个晶格的像面形心坐标，
Figure BDA0001462904350000065
是第i幅图像上第j个晶格像面形心坐标根据式(7)的反投影坐标；利用最小二乘法对式(7) 的非线性函数模型进行系数求解，使得非线性函数模型的误差最小；
根据非线性函数模型由拍摄到的图像反投影求得校正像差后的图像。
步骤(4)、迭代优化非线性函数模型中的系数；
将校正像差后的图像作为步骤(2)中拍摄的图像，再重复步骤(2)-步骤(3)，直到非线性函数模型的误差小于0.5像素，优化得到非线性函数模型中的系数。
表1线性函数模型的测试误差(单位：像素)
Figure BDA0001462904350000066
Figure BDA0001462904350000071
表2非线性函数模型的测试误差(单位：像素)
Figure BDA0001462904350000072
Figure BDA0001462904350000081
在保证表1和表2测试样本相同的情况下，表1为应用传统方法建立线性函数模型的误差，表2为应用本发明建立迭代优化的非线性函数模型的误差。由表1和表2的数据得：传统非线性函数模型的平均误差在2.08像素，迭代优化的非线性函数模型的平均误差在0.2像素，与传统线性函数模型相比，本发明误差提高了一个数量级，使测量整体仪器的标定误差达到亚像素量级，可应用于高精度视觉测量和光学检测领域。

Claims (4)

1.一种适于通用光学系统的亚像素级非线性标定方法，其特征在于，该方法包括以下步骤：
步骤(1)、调制LCD板晶格亮暗并拍摄图像；
将标定所需的图像显示在LCD板上，精确到LCD板上每个晶格，并拍摄图像；
步骤(2)、图像处理获得像面晶格形心坐标并计算像面晶格形心所对应的物面晶格形心坐标；
对步骤(1)拍摄的图像进行二值化，再筛选完整的连通区域求取像面晶格形心坐标，并根据已知LCD板每个晶格的间隔，由晶格的位置得到准确的物面晶格形心坐标；
步骤(3)、由计算得到的物面晶格形心坐标和其对应的像面晶格形心坐标进行非线性函数建模；
综合考虑畸变的三种模型——径向畸变、离心畸变、薄棱镜畸变，根据选取的物面晶格形心坐标和其对应的像面晶格形心坐标求得结合三种畸变模型的非线性函数模型，根据非线性函数模型由拍摄到的图像反投影求得校正像差后的图像；
步骤(4)、迭代优化非线性函数模型中的系数；
将校正像差后的图像作为步骤(2)中拍摄的图像，再重复步骤(2)-步骤(3)，直到非线性函数模型的误差小于0.5像素，优化得到非线性函数模型中的系数。
2.根据权利要求1所述的一种适于通用光学系统的亚像素级非线性标定方法，其特征在于，所述步骤(2)中二值化处理采用Otsu最大类间方差算法。
3.根据权利要求1所述的一种适于通用光学系统的亚像素级非线性标定方法，其特征在于，所述根据已知LCD板每个晶格的间隔，由晶格的位置得到准确的物面晶格形心坐标的步骤具体为：
Figure DEST_PATH_FDA0001462904340000011
centery＝codey*c (2)
其中，centerx为物面晶格形心x轴坐标，centery为物面晶格形心y轴坐标，codex为晶格在x轴上的位置，codey为晶格在y轴上的位置，a为一个像素(包含红、绿、蓝三个晶格)的横向间隔，b为单个晶格的横向间隔(a的1/3)，c为一个像素(包含红、绿、蓝三个晶格) 的纵向间隔。
4.根据权利要求1所述的一种适于通用光学系统的亚像素级非线性标定方法，其特征在于，所述步骤(3)具体为：
未考虑成像畸变的理想针孔模型用齐次坐标表示为：
Figure FDA0002582755520000021
其中，zc为一个比例系数，[x y]T为物面晶格形心坐标，[u v]T为像面晶格形心坐标，r1、r2是从物面坐标系到像面坐标系的旋转变换系数，T是从物面坐标系到像面坐标系的平移变换矩阵，K是相机内参矩阵，H3*3为从物面坐标系到像面坐标系的单应性矩阵,h11、h12、h13、h21、h22、h23、h31、h32、h33为单应性矩阵中的各系数，[u0 v0]T为像面的主点坐标，α、β分别是图像在u轴和v轴的焦距参数，γ为图像扭曲参数，表示图像两坐标轴偏斜度；
以下是考虑到的三种畸变模型：
(1)径向畸变
Figure FDA0002582755520000022
δxr(x，y)为x轴的径向畸变，δyr(x，y)为y轴的径向畸变，k1为径向畸变系数；
(2)离心畸变
Figure FDA0002582755520000023
δxd(x，y)为x轴的离心畸变，δyd(x，y)为y轴的离心畸变，p1，p2为离心畸变系数；
(3)薄棱镜畸变
Figure FDA0002582755520000024
δxl(x，y)为x轴的薄棱镜畸变，δyl(x，y)为y轴的薄棱镜畸变，s1，s2为薄棱镜畸变系数；
建立考虑畸变的非线性函数模型为：
Figure FDA0002582755520000031
给定n幅拍摄到的图像，每幅图像上有m个采样晶格，函数评价模型为：
Figure FDA0002582755520000032
其中ε为非线性函数模型的误差，mij是第i幅图像上第j个晶格的物面形心坐标，Ri是第i幅图像对应的旋转矩阵，Mj是第j个晶格的像面形心坐标，
Figure FDA0002582755520000033
是第i幅图像上第j个晶格像面形心坐标根据式(7)的反投影坐标；利用最小二乘法对式(7)的非线性函数模型进行系数求解，使得非线性函数模型的误差最小；
根据非线性函数模型由拍摄到的图像反投影求得校正像差后的图像。
CN201711098850.XA 2017-11-09 2017-11-09 一种适于通用光学系统的亚像素级非线性标定方法 Active CN107945236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711098850.XA CN107945236B (zh) 2017-11-09 2017-11-09 一种适于通用光学系统的亚像素级非线性标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711098850.XA CN107945236B (zh) 2017-11-09 2017-11-09 一种适于通用光学系统的亚像素级非线性标定方法

Publications (2)

Publication Number Publication Date
CN107945236A CN107945236A (zh) 2018-04-20
CN107945236B true CN107945236B (zh) 2020-09-04

Family

ID=61933575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711098850.XA Active CN107945236B (zh) 2017-11-09 2017-11-09 一种适于通用光学系统的亚像素级非线性标定方法

Country Status (1)

Country Link
CN (1) CN107945236B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101025824A (zh) * 2007-03-30 2007-08-29 东南大学 三维扫描系统中的基于固定参数与可变参数的标定方法
CN106846411A (zh) * 2016-12-24 2017-06-13 大连日佳电子有限公司 基于混合畸变模型的高精度摄像机标定装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104155765B (zh) * 2013-05-15 2019-09-13 北京三星通信技术研究有限公司 在拼接式集成成像显示器中校正三维图像的方法和设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101025824A (zh) * 2007-03-30 2007-08-29 东南大学 三维扫描系统中的基于固定参数与可变参数的标定方法
CN106846411A (zh) * 2016-12-24 2017-06-13 大连日佳电子有限公司 基于混合畸变模型的高精度摄像机标定装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于LCD的相机标定与三维重建问题研究;油世明;《中国优秀硕士学位论文全文数据库信息科技辑》;20110331(第3期);第I138-1330页 *
摄像机标定方法研究;朱玉艳;《中国优秀硕士学位论文全文数据库信息科技辑》;20120229(第2期);第I138-1776页 *

Also Published As

Publication number Publication date
CN107945236A (zh) 2018-04-20

Similar Documents

Publication Publication Date Title
US10931924B2 (en) Method for the generation of a correction model of a camera for the correction of an aberration
Mallon et al. Which pattern? Biasing aspects of planar calibration patterns and detection methods
CN111380502B (zh) 标定方法、位置确定方法、装置、电子设备及存储介质
EP2417419B1 (en) Digital optical comparator and corresponding digital comparison method
US20080129967A1 (en) Projector operation through surface fitting of 3d measurements
CN110443879B (zh) 一种基于神经网络的透视误差补偿方法
CN110345921B (zh) 立体视场视觉测量及垂轴像差和轴向像差校正方法及系统
CN110189314A (zh) 基于机器视觉的汽车仪表盘图像定位方法
Dufour et al. Integrated digital image correlation for the evaluation and correction of optical distortions
CN109003312B (zh) 一种基于非线性优化的相机标定方法
CN109272555B (zh) 一种rgb-d相机的外部参数获得及标定方法
CN109657607A (zh) 一种基于人脸识别的人脸目标测距方法、装置及存储介质
CN111047586B (zh) 一种基于机器视觉的像素当量测量方法
CN110310272B (zh) 图像配准方法及终端设备
CN113298886B (zh) 一种投影仪的标定方法
Sun et al. Lens distortion correction for improving measurement accuracy of digital image correlation
CN115830103A (zh) 一种基于单目彩色的透明物体定位方法、装置及存储介质
CN111009014A (zh) 通用成像模型正交分光成像位姿传感器的标定方法
Moru et al. Analysis of different parameters of influence in industrial cameras calibration processes
CN115187612A (zh) 一种基于机器视觉的平面面积测量方法、装置及系统
CN110060625B (zh) 一种led显示屏采集渐晕补偿方法
CN107945236B (zh) 一种适于通用光学系统的亚像素级非线性标定方法
CN110207842B (zh) 亚像素级边缘效应的修正方法及终端设备
CN110864878A (zh) 一种高效大视场平显系统显示畸变检测的方法
CN113160090B (zh) 一种图像校正的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant