CN118333915B - 一种广角lmd畸变标定方法、校正方法、装置及设备 - Google Patents

Abstract

本申请属于广角LMD畸变校正领域，具体公开了一种广角LMD畸变标定方法、校正方法、装置及设备，标定方法包括：获取广角LMD拍摄的平面标定图案的取像图像，确定取像图像内各点的坐标；基于广角LMD成像模型和所述各点的坐标进行优化求解，得到广角LMD的内参和外参；获取根据内参和外参对所述取像图像的畸变进行一次校正后得到的各点的校正坐标和各点的预期坐标；基于各点的校正坐标和各点的预期坐标确定广角LMD的局部插值参数；所述局部插值参数用于对一次校正后的取像图像进行局部误差补偿，以对取像图像的畸变进行二次校正。通过本申请，使用畸变解析模型加上局部误差修正的方式进行畸变标定，畸变校正精度高。

Description

一种广角LMD畸变标定方法、校正方法、装置及设备

技术领域

本申请属于广角光测量设备（Luminance Measuring Device，LMD）畸变校正领域，更具体地，涉及一种广角LMD畸变标定方法、校正方法、装置及设备。

背景技术

近眼显示（near-to-eye display，NED）是一种新型显示技术，可以在单眼或双眼视场中创建虚像，通过置于人眼非明视距离内的显示设备，向人眼渲染出光场信息，进而在眼前重建虚拟场景。NED的典型代表有增强现实（Augmented Reality，AR）、虚拟现实（Virtual Reality，VR）和扩展现实（Extended Reality，XR），他们在办公、医疗和娱乐等多个领域有着广泛的应用前景。与传统平板显示或曲面显示屏不同，NED的每一块显示屏通常还额外配备一套光学模组，以实现较大视场角的虚像。NED系统的大视场、虚像显示以及几何畸变为NED显示屏的校准（DeMura）带来了困难。除了对NED系统的显示屏进行DeMura外，通常还需要对NED系统进行针对性的几何畸变校正，以实现对虚像显示内容的正确渲染。

LMD成像模型一般符合下式（1），其中r、f和θ依次为成像点到主光轴的距离、像距和物方光线入射角，D为单调递增函数。常见LMD成像模型见表1。

(1)

表1 常见LMD投影模型

常规LMD视野遵循针孔投影模型，其视野有限，难以在一次取像时拍摄完整的NED的视野，因而一般使用广角LMD对NED进行拍摄和量测。广角LMD成像系统在成像过程中引入视场半径方向的畸变，压缩成像区域，实现广角感光，对应到公式（1）表现为广角LMD的D(θ)<tan(θ)，其中最典型的情况为D(θ)= θ。广角LMD与常规无畸变的LMD光路示意图如图1所示。常规的无畸变光路在透镜组内外是一条过透镜组光学中心的直线（TOB）；而广角LMD的光路在透镜组内外是一条过透镜组光学中心的折线（TOA）。当入射光线与主光轴夹角为θ时，广角LMD的成像光线与主光轴的夹角为α，常规LMD的成像光线与主光轴的夹角为β，显然θ=β>α。

虽然广角LMD解决了大视场拍摄问题，但LMD本身具有的畸变为后续对NED的校准带来的新的困扰。因此，使用广角LMD的时候，其相机原图难以直接被利用，通常需要对采集的相机原图进行几何畸变校正。畸变校正最终实现的是将广角LMD畸变成像校正到常规LMD成像上。对于广角LMD的畸变校正，现有技术方案使用三种方案：径向切向畸变模型校正、鱼眼畸变模型校正和角度仪标定校正。但是现有的畸变校正方案，对于广角镜头畸变校正的效果不佳，或者实际操作中设备成本和时间花费较大。

发明内容

针对现有技术的缺陷，本申请的目的在于提供一种广角LMD畸变标定方法、校正方法、装置及设备，旨在解决现有畸变校正方案，对于广角镜头畸变校正的效果不佳，或者实际操作中设备成本和时间花费较大的问题。

为实现上述目的，第一方面，本申请提供了一种广角LMD畸变标定方法，包括：

获取广角LMD拍摄的包含规则排布点阵的平面标定图案的取像图像，确定点阵中各点在取像图像中的坐标；

基于广角LMD成像模型和所述各点的坐标进行优化求解，得到广角LMD的内参和外参；

获取根据所述内参和外参对所述取像图像的畸变进行一次校正后得到的各点的校正坐标和各点的预期坐标；所述预期坐标为参考一次校正后得到的点阵中心处的点行列间隔确定的各点相对点阵中心按照所述规则排布分布时的坐标；

基于各点的校正坐标和各点的预期坐标确定广角LMD的局部插值参数；所述局部插值参数用于对一次校正后的取像图像进行局部误差补偿，以对取像图像的畸变进行二次校正。

需要说明的是，本申请通过对包含点阵的平面标定图案取像，之后根据取像图像中多个点的坐标对广角LMD的内参、外参优化求解，最后再结合点阵的规则排布方式获取广角LMD的局部插值参数。本申请通过一次拍摄标定图案，即可标定得到广角LMD的畸变参数（内参、外参及局部插值参数）。上述标定过程结合点阵的坐标进行优化和计算，计算过程简单，所需设备和操作成本较低，且不涉及多项式近似拟合，因此不会导致标定精度不够的问题。

在一种可能的实现方式中，基于广角LMD成像模型和所述各点的坐标进行优化求解，包括：

将广角LMD的内参和外参初始化；

基于广角LMD的内参和成像模型对所述各点的坐标进行畸变校正，得到畸变校正后的坐标；以及基于广角LMD的外参对畸变校正后的坐标进行透视变换姿态校正，得到姿态校正后的坐标；

根据点阵中各点姿态校正后的坐标确定点阵中心处的点行列间隔，根据所述点行列间隔对各点姿态校正后的坐标进行更新，得到各点相对点阵中心按照所述规则排布分布时的预期坐标；以及将点阵中所有点的预期坐标与姿态校正后坐标的平均距离作为优化的目标函数；

优化更新内参和外参，直至所述目标函数的值最小。

在一种可能的实现方式中，所述点阵中心处的点行列间隔，通过如下步骤确定：

获取点阵中心处中心点的校正坐标；

获取所述中心点的行列方向上相邻点的校正坐标；

根据中心点与其行列方向相邻点的校正坐标间距确定点行列间隔。

在一种可能的实现方式中，所述各点的预期坐标，通过如下步骤确定：

结合所述点阵的规则排布方式、点阵中心处中心点的校正坐标以及点行列间隔对各点的校正坐标更新，得到相对所述中心点按照所述规则排布方式排布时各点的预期坐标。

可选地，所述规则排布为横向第一等间距排布和纵向第二等间距排布。

在一种可能的实现方式中，基于各点的校正坐标和各点的预期坐标确定广角LMD的局部插值参数，包括：

将各点的校正坐标与预期坐标作差，得到各点的局部插值参数；

将点阵中相邻点之间的局部插值参数做插值，得到相邻点之间各像素点处的局部插值参数。

可以理解的是，各点在取像图像中的坐标为广角LMD传感器像素为单位的像素点坐标。由于整个取像图像上的畸变是平滑过渡的，不会存在突变。因此，点阵中包含的点对应之外的像素点处的局部插值参数可通过已知像素点处的插值参数间插值得到，以获取广角LMD所有像素点处的局部插值参数。

在一种可能的实现方式中，所述平面标定图案的中心位于所述广角LMD的视野中心，和/或所述平面标定图案填满广角LMD视野的预设比例。

可选地，标定图案与广角LMD的视野中心重合，且其填充的广角LMD视野比例越高，其对大视角的标定效果越好，对应在大视角下的畸变校正精度也越高。

第二方面，本申请提供了一种广角LMD畸变校正方法，其特征在于，包括：

获取广角LMD的取像图像；

利用第一方面或第一方面的任一种可能的实现方式所描述方法得到的内参、外参以及局部插值参数依次对所述取像图像进行校正，得到畸变校正后的图像。

可以理解的是，由于本申请中广角LMD的标定是结合实际畸变情况计算得到的，而非通过多项式拟合的方式，因此其标定精度高，使得畸变校正的准确度高，只要对广角LMD标定的视场角足够大，则能够实现大视场角的高精度畸变校正效果。

第三方面，本申请提供了一种广角LMD畸变标定装置，包括：

取像图像获取模块，用于获取广角LMD拍摄的包含规则排布点阵的平面标定图案的取像图像，确定点阵中各点在取像图像中的坐标；

内参外参确定模块，用于基于广角LMD成像模型和所述各点的坐标进行优化求解，得到广角LMD的内参和外参；

局部插值参数确定模块，用于获取根据所述内参和外参对所述取像图像的畸变进行一次校正后得到的各点的校正坐标和各点的预期坐标；基于各点的校正坐标和各点的预期坐标确定广角LMD的局部插值参数；所述预期坐标为参考一次校正后得到的点阵中心处的点行列间隔确定的各点相对点阵中心按照所述规则排布分布时的坐标；所述局部插值参数用于对一次校正后的取像图像进行局部误差补偿，以对取像图像的畸变进行二次校正。

第四方面，本申请提供了一种广角LMD畸变校正装置，包括：

取像图像获取单元，用于获取广角LMD的取像图像；

畸变校正单元，用于利用第一方面或第一方面的任一种可能的实现方式所描述方法得到的内参、外参以及局部插值参数依次对所述取像图像进行校正，得到畸变校正后的图像。

第五方面，本申请提供一种电子设备，包括：至少一个存储器，用于存储程序；至少一个处理器，用于执行存储器存储的程序，当存储器存储的程序被执行时，处理器用于执行第一方面、第一方面的任一种可能的实现方式或第二方面所描述的方法。

第六方面，本申请提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，当计算机程序在处理器上运行时，使得处理器执行第一方面、第一方面的任一种可能的实现方式或第二方面所描述的方法。

第七方面，本申请提供一种计算机程序产品，当计算机程序产品在处理器上运行时，使得处理器执行第一方、第一方面的任一种可能的实现方式或第二方面所描述的方法。

可以理解的是，上述第三方面至第七方面的有益效果可以参见上述第一方面和第二方面中的相关描述，在此不再赘述。

总体而言，通过本申请所构思的以上技术方案与现有技术相比，具有以下有益效果：

本申请提供一种广角LMD畸变标定方法、校正方法、装置及设备，通过对包含点阵的平面标定图案取像，之后根据取像图像中多个点的坐标对广角LMD的内参、外参优化求解，最后再结合点阵的规则排布方式获取广角LMD的局部插值参数。本申请通过一次拍摄标定图案，即可标定得到广角LMD的畸变参数（内参、外参及局部插值参数）。上述标定过程结合点阵的坐标进行优化和计算，计算过程简单，所需设备和操作成本较低，使用畸变优化解析加上局部误差修正的方式进行畸变标定，且不涉及多项式近似拟合，因此不会导致标定精度不够的问题。进一步地，由于本申请中广角LMD的标定是结合实际畸变情况计算得到的，而非通过多项式拟合的方式，因此其标定精度高，使得畸变校正的准确度高，只要对广角LMD标定的视场角足够大，则能够实现大视场角的高精度畸变校正效果。

本申请提供一种广角LMD畸变标定方法、校正方法、装置及设备，所需的用于辅助LMD畸变标定和校正的设备很简单，成本低，只需要一个平面点阵图案或平面棋盘格图案即可，显示载体可以是平面电视机/显示器，也可以是打印图粘贴于墙面，无需获得点阵间距值或棋盘格尺寸值；对位要求低、易操作，需要观察LMD实时图像，让辅助标定的平面图案大致居中于LMD视野并尽量充满LMD视野即可，无需精密多轴对位控制设备；本申请只需要拍摄一张图，无需改变LMD与辅助标定图案的空间姿态。

附图说明

图1是广角LMD和针孔相机成像光路示意图；

图2是本申请实施例提供的广角LMD畸变标定方法的一种流程图；

图3是本申请实施例提供的LMD畸变标定系统示意图；

图4是本申请实施例提供的 LMD取像原图质心提取示意图；

图5是本申请实施例提供的优化目标函数计算流程图；

图6是本申请实施例提供的理想模型畸变校正后点阵排布示意图；

图7是本申请实施例提供的实际点阵和预期点阵排布示意图；

图8是本申请实施例提供的广角LMD畸变校正方法的一种流程图；

图9本申请实施例提供的广角LMD畸变标定装置的一种架构图；

图10是本申请实施例提供的广角LMD畸变校正装置的一种架构图；

图11是本申请实施例提供的电子设备的架构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本文中术语“和/或”，是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中符号“/”表示关联对象是或者的关系，例如A/B表示A或者B。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

首先，对本申请实施例中涉及的技术术语进行介绍。

（1）广角LMD畸变

广角LMD畸变的原因是由于透镜对色光的弯曲能力不同，使成像点与光轴距离不同，其侧向放大率亦随之不同所造成，结果就是实际成像与理想影像之间有像差。

（2）LMD内参

内参是描述LMD内部属性的参数，包括焦距、主点（光学中心）坐标、畸变系数等。内参通常在LMD标定时确定，因为它们通常对于特定LMD型号是固定的，不随时间变化。一旦LMD内参被确定，它们在LMD的使用过程中通常是保持不变的。

（3）LMD外参

外参是描述LMD在世界坐标系中的位置和姿态的参数，通常包括旋转矩阵和平移向量。外参在不同的LMD位置或拍摄时刻可能会发生变化。

本申请中需要优化求解的内参包括：像距f和点阵质心坐标偏差(dx,dy)；外参包括：透视变换矩阵T_p。

其次，为了便于更加清晰地理解本申请各实施例，对一些相关的背景知识展开进行如下介绍。

第一、径向切向畸变模型校正是计算机视觉领域常规的校正方法，已在Matlab和OpenCV等计算机视觉主流软件平台集成，其畸变模型如公式（2）所示。式中、和r分别代表无畸变时的理想成像坐标、坐标和离光轴中心的距离；x_d和分别代表实际带有畸变图像的成像坐标和坐标。使用该模型对LMD进行畸变标定时，首先需要一个平面棋盘格图像，之后在不同的姿态使用LMD拍摄该棋盘格，接着将采集到的图像进行棋盘格角点坐标提取，最后进行相机内参（主要是如公式（2）所示的方程参数）、外参（主要是LMD相对于棋盘格图像的空间姿态参数）的求解。该方法求解参数的关键是以重投影误差衡量参数估计的质量（重投影误差即将棋盘格坐标按照求解得到内参和外参去估计预期成像坐标并计算与实际坐标的偏差），因此其求解算法本质上是一种多项式拟合优化算法。

该方法对设备要求低，对于非广角镜头校正效果较好。但该方法通常需要20个取像姿态的拍摄结果，耗费时间较长；另外模型里r最高阶为6，这对于畸变程度较大的广角/鱼眼是不够的。该方法对于广角镜头畸变校正，尤其是NED量测所使用的广角LMD畸变校正所获得效果不佳，因此广角LMD畸变校正中很少使用。

(2)

第二、鱼眼畸变模型校正与径向切向畸变模型校正类似，但其畸变模型公式中考虑了更高阶的多项式，模型如式（3）所示。该方法对于广角LMD的大畸变校正情况有改善，但其底层的思路仍然是对LMD畸变模型的多项式拟合。

(3)

鱼眼畸变模型对于广角LMD的畸变校正精度仍然有限，以畸变校正后还残留1%的畸变为阈值，则该模型对于最常见的等距投影（D(θ)= θ）的有效校正视场角为±47.3°。分析过程如下。根据表1，使用等距投影为广角LMD模型，则其相对于针孔模型的畸变模型为，其中是物方入射角，是畸变后的像方出射角。该函数对变量展开称为Taylor展开，理论上具有无穷项才能保证精度，这里以鱼眼畸变模型使用的9阶Taylor多项式展开为例，当视场角超过±47.3时，鱼眼模型与实际模型相差超过1%。实际中的NED所需要的广角LMD视场一般要达到±60°以上，因此鱼眼畸变模型只能保证较小视场内的畸变校正效果，而对于更关心的大视场和边缘视场的畸变效果则很差。

第三、角度仪标定校正与前面两种方案有较大差别。前面两种方案使用多项式拟合畸变模型，而角度仪则是根据与表1对应的已知畸变模型去做实验提取模型参数。以等距投影畸变模型为例，角度仪标定大致流程如下：架设角度仪，角度仪0°线与LMD的光轴重合，角度仪旋转中心与LMD镜头组光学中心重合，在角度仪上架设点光源（如加了衰减片的激光器）并改变光源角度，记录下LMD上光斑成像位置（）与对应入射光角度（），最后再根据最小二乘法拟合二者的斜率，即为等距投影畸变模型的f参数。该方法相比于前面两种方法对于大视场畸变有小的误差，但由于缺乏LMD外参计算，该方法对于角度仪的定位精度以及LMD的安装精度有较高要求，实际操作中设备成本和时间花费较大。

为了克服上述缺陷，本申请提供一种广角LMD畸变标定方法、校正方法、装置及设备，相比与传统方法，本申请对标定设备要求低，对标定所需拍摄的图像数量要求低，整个畸变标定流程易操作且畸变校正的精度高。

最后，结合以下内容展开对本申请实施例中提供的技术方案进行介绍。

图2是本申请实施例提供的广角LMD畸变标定方法的一种流程图；如图2所示，包括以下步骤：

步骤S101，获取广角LMD拍摄的包含规则排布点阵的平面标定图案的取像图像，确定点阵中各点在取像图像中的坐标；

步骤S102，基于广角LMD成像模型和所述各点的坐标进行优化求解，得到广角LMD的内参和外参；

步骤S103，获取根据所述内参和外参对所述取像图像的畸变进行一次校正后得到的各点的校正坐标和各点的预期坐标；所述预期坐标为参考一次校正后得到的点阵中心处的点行列间隔确定的各点相对点阵中心按照所述规则排布分布时的坐标；

步骤S104，基于各点的校正坐标和各点的预期坐标确定广角LMD的局部插值参数；所述局部插值参数用于对一次校正后的取像图像进行局部误差补偿，以对取像图像的畸变进行二次校正。

显而易见，本申请的畸变标定过程使用畸变优化解析（即畸变解析模型）加上局部误差修正的方式进行畸变标定，没有现有多项式近似拟合精度不够的问题。进一步地，利用畸变标定后的参数进行畸变校正时，其畸变校正精度高，能够实现大视野角下的高精度畸变校正。

可以理解的是，广角LMD的成像模型，即LMD的成像模型是已知的。无论是购买的还是自行研制的LMD设备，必然存在一个光学设计方案，理想情况下广角LMD的成像模型可以由该光学设计方案唯一确定。尽管实际中存在镜片加工以及装配误差，导致实际的成像模型模型与理想情况存在偏差，但一般该偏差不会太大，主要体现为局部误差上。本申请对于广角LMD畸变的模型不是盲目建立拟合多项式模型，而是依托于已知的光学设计方案得到的成像模型进行参数提取。如表1和公式（1）所示，常见的广角LMD成像模型的关键参数为f，考虑到实际装配中镜头光轴与传感器靶面中心并非重合，因此还有参数和，分别用以描述光轴与传感器中心在方向偏离的像素值和方向偏离的像素值。这里f、和相当于传统相机畸变校正模型中的相机内参。

由于标定过程使用的图案在空间是位于一个平面内，因此标定图案和LMD的空间姿态的影响即为空间透视变换关系，并且该空间透视变换关系（即透视变换矩阵T_p）可以用一个3×3的矩阵来描述。该透视变换矩阵即相当于传统畸变校正模型中的相机外参，但区别是本方案不需要计算与物理实际对应的三轴平移量和旋转角度，只需要以一个3×3矩阵进行描述。

根据上述相机成像模型、内参参数初始估测值和外参参数初始估测值，可以计算出标定图案定位点阵在LMD传感器面上的点阵坐标，将该值与实际的LMD取像图中提取的定位点坐标计算偏差量，使用优化算法求解，让该偏差最小化，即可得到广角LMD的畸变校正内参参数和外参参数。这一步与传统畸变校正模型中的重投影误差评价类似，区别是本方案只需要一副取像图进行该计算，具有更高的效率。

参见图3所示，本申请提供的LMD畸变标定系统的结构可以包括：平面标定图案、电视支架、计算机和广角LMD。

可选地，上述平面标定图案可以是：任何展示有等间距点阵的物体的显示图案；上述物体可以是印刷或者打印有点阵的墙壁、纸张、图纸，或显示有点阵的电视机、显示屏等。图3中以平面标定图案为平面电视机显示的等间距点阵为例进行举例说明。

如图3中(a)所示。该系统的支架无需精密或复杂的调节装置，其用途只是为了方便LMD和电视机进行对准和粗略的姿态调节，因此普通用途的电视支架即能满足要求。图3中(b)给出了典型的点阵图案，图中为黑色背景下的18行32列白色圆点。选用电视机的好处是标定显示图案可以任意更换而不带了额外的成本，使用上更为灵活，并且现在电视机尺寸主流为65英寸，比打印图案更容易获得更大尺寸。计算机在LMD标定环节主要用于控制LMD取像并分析取像图像提取畸变参数，在校正环节负责将LMD采集到的原始带畸变的图像进行畸变校正并输出。

在一个更为具体的实施例中，本申请提供的一种典型的LMD畸变标定工作流程如下：

a)获取LMD模型；获取当前待畸变校正的广角LMD畸变模型，例如当畸变模型r=f·D(θ)为等距投影，则D(θ)=θ，f为待求解的参数；

b)准备标定图案；准备好平面点阵标定图案用于对LMD畸变进行标定，标定图案点阵的行列间距相等，典型图案如图3中(b)所示；

c)LMD和标定图案姿态调节；调节LMD和平面标定图案的空间姿态，让LMD光轴垂直于标定图案，并且标定图案位于LMD视野中心并尽量占满整个LMD视野，人眼观察大致满足即可，示意图如图3中(a)所示；

d)LMD取图；LMD对标定图案进行拍摄；

e)提取LMD取图的质心坐标；计算机提取拍摄图像的点阵各点的质心，该算法是计算机视觉领域现有成熟算法，如角点检测、阈值分割、连通区划分、灰度质心提取等，和坐标可分别表示为和，其中i和j分别代表当前点在点阵中的行列号，示意图如图4所示。

如图4可知，LMD取像的图像存在较大的畸变，其上提取的各点的质心未按照规则排布分布。

f)通过优化算法提取LMD内参和外参；依据a)所获得的畸变模型，建立优化目标函数，如图5所示，使用现有公开优化求解使得目标函数最小化，输出求得的LMD内参（）和外参（3行3列透视变换矩阵T_p）。

其中，平均距离计算式如下，式中i和j分别为当前点在点阵的行列序号，M和N为点阵的行数和列数。

(4)

其中和为实际校正点阵坐标，和为预期点阵坐标；分别参见步骤g)-步骤h)获取上述坐标。

g)计算理想模型畸变校正后的点阵坐标；根据LMD的内参（），对LMD原图点阵坐标和进行畸变校正，得到畸变校正后的点阵坐标和，其中i和j分别代表当前点在点阵中的行列号，计算式如下：

(5)

式中，D^-1表示D的反函数。

示意图如图6所示，图6所示是相机内参校正后的点阵坐标，其相比图4给出的原图的畸变已经得到了较大的校正，但是由于LMD姿态影响，点阵不是预期的均匀排列。

h)计算完整校正后实际校正坐标；根据LMD的外参，对LMD畸变校正后的点阵坐标（和）进行透视姿态校正，得到实际校正点阵坐标和，其中i和j分别代表当前点在点阵中的行列号，计算式如下：

(6)

式中[p,q,r]是一行三列向量，计算式为，其中T_p是优化算法计算得到的LMD姿态外参3行3列矩阵。

i)计算预期点阵坐标和，其中i和j分别代表当前点在点阵中的行列号，计算式如下：

(7)

式中i_c和j_c分别代表点阵中心点的行列序号，如18行32列点阵中心点为9行16列，即ic=9，jc=16，式中和分别代表中心点与右侧相邻点的距离以及中心点与下方相邻点的距离，示意图如图7所示。

需要说明的是，通常取像图像中心处的像素点处的畸变较小，因此可以把内参和外参校正后的点阵中心处的点作为标准点，以中心处行列方向上的两点的距离作为等间距排布的行列间距，之后从校正后的点阵中心出发，获取按照规则排布分布时的各点的预期坐标。从图7中可看出来，内参外参校正后的坐标和与预期坐标和还存在一定的偏差，因此还需要进一步的局部误差补偿。

j)计算局部误差；将点阵中同一个点对应的实际坐标与预期点阵坐标相减，得到各点对应的局部误差量，每个点以畸变校正后点阵坐标和为索引，记为和，对局部误差量和在步长为1的坐标值上插值，以扩充数据为和，其中(u,v)为步长为1的整数格点(x,y)坐标。

k)保存数据数据为LMD标定文件，完成广角LMD畸变标定；保存LMD内参数据（）、外参数据T_p和局部误差插值数据和。

图8是本申请实施例提供的广角LMD畸变校正方法的一种流程图；如图8所示，包括以下步骤：

步骤S201，获取广角LMD的取像图像；

步骤S202，利用图2提供方法得到的内参、外参以及局部插值参数依次对所述取像图像进行校正，得到畸变校正后的图像。

需要说明的是，上述畸变校正主要指的是对坐标的畸变校正，对应的灰度值校正可参照现有的相关插值算法，以将畸变图像进行平滑的尽可能灰度不失真的畸变校正。具体灰度值适应性校正部分可参见相关现有技术的记载，本申请对此不做赘述。

在一个更为具体的实施例中，利用前面获得的LMD畸变标定数据，可实现对该LMD任意取像图的畸变校正，一种典型的LMD畸变校正工作流程如下：

a)遍历LMD原图每个像素获取其坐标和灰度值；

b)计算坐标根据标定得到的内参（）和外参T_p畸变校正后的坐标()，计算式如公式（5）和公式（6）所示；畸变校正后的坐标()即对应公式（5）和公式（6）最后得到的实际校正点阵坐标和；

c)对畸变校正后的坐标进行局部误差补偿，计算式子如下：

(8)

d)使用插值算法计算灰度值矩阵F(u,v)，其中F满足，u和v为间距为1的整数格点坐标值；

需要说明的是，LMD一般为工业相机或面阵亮色度计，亮色度计传感器RGB一般是Bayer排列，与单纯的黑白不同；因此当LMD为相机和亮色度计时，上述步骤d)中采用的插值算法略微不同。具体的插值算法可由本领域技术人员进行选择，以能够在已知畸变校正后坐标的前提下，结合畸变的灰度值获取畸变校正图像的灰度值分布为准。

e)可按实际需要对F进行裁剪，即得到畸变校正后的图像。

图9本申请实施例提供的广角LMD畸变标定装置的一种架构图；如图9所示，包括：

取像图像获取模块910，用于获取广角LMD拍摄的包含规则排布点阵的平面标定图案的取像图像，确定点阵中各点在取像图像中的坐标；

内参外参确定模块920，用于基于广角LMD成像模型和所述各点的坐标进行优化求解，得到广角LMD的内参和外参；

局部插值参数确定模块930，用于获取根据所述内参和外参对所述取像图像的畸变进行一次校正后得到的各点的校正坐标和各点的预期坐标；基于各点的校正坐标和各点的预期坐标确定广角LMD的局部插值参数；所述预期坐标为参考一次校正后得到的点阵中心处的点行列间隔确定的各点相对点阵中心按照所述规则排布分布时的坐标；所述局部插值参数用于对一次校正后的取像图像进行局部误差补偿，以对取像图像的畸变进行二次校正。

可选地，内参外参确定模块920基于广角LMD成像模型和所述各点的坐标进行优化求解，包括：将广角LMD的内参和外参初始化；基于广角LMD的内参和成像模型对所述各点的坐标进行畸变校正，得到畸变校正后的坐标；以及基于广角LMD的外参对畸变校正后的坐标进行透视变换姿态校正，得到姿态校正后的坐标；根据点阵中各点姿态校正后的坐标确定点阵中心处的点行列间隔，根据所述点行列间隔对各点姿态校正后的坐标进行更新，得到各点相对点阵中心按照所述规则排布分布时的预期坐标；以及将点阵中所有点的预期坐标与姿态校正后坐标的平均距离作为优化的目标函数；优化更新内参和外参，直至所述目标函数的值最小。

可选地，内参外参确定模块920通过如下步骤确定点阵中心处的点行列间隔：获取点阵中心处中心点的校正坐标；获取所述中心点的行列方向上相邻点的校正坐标；根据中心点与其行列方向相邻点的校正坐标间距确定点行列间隔。

可选地，内参外参确定模块920通过如下步骤确定各点的预期坐标：结合所述点阵的规则排布方式、点阵中心处中心点的校正坐标以及点行列间隔对各点的校正坐标更新，得到相对所述中心点按照所述规则排布方式排布时各点的预期坐标。

可选地，局部插值参数确定模块930基于各点的校正坐标和各点的预期坐标确定广角LMD的局部插值参数，包括：将各点的校正坐标与预期坐标作差，得到各点的局部插值参数；将点阵中相邻点之间的局部插值参数做插值，得到相邻点之间各像素点处的局部插值参数。

图10是本申请实施例提供的广角LMD畸变校正装置的一种架构图；如图10所示，包括：

取像图像获取单元1010，用于获取广角LMD的取像图像；

畸变校正单元1020，用于利用第一方面或第一方面的任一种可能的实现方式所描述方法得到的内参、外参以及局部插值参数依次对所述取像图像进行校正，得到畸变校正后的图像。

应当理解的是，上述图9和图10给出的装置用于执行上述实施例中的方法，装置中相应的程序模块或单元，其实现原理和技术效果与上述方法中的描述类似，该装置的工作过程可参考上述方法中的对应过程，此处不再赘述。

基于上述实施例中的方法，本申请实施例提供了一种电子设备，如图11所示，该电子设备可以包括：处理器1110、通信接口1120、存储器1130和通信总线1140，其中，处理器1110，通信接口1120，存储器1130通过通信总线1140完成相互间的通信。处理器1110可以调用存储器1130中的逻辑指令，以执行上述实施例中的方法。

此外，上述的存储器1130中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。

基于上述实施例中的方法，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，当计算机程序在处理器上运行时，使得处理器执行上述实施例中的方法。

基于上述实施例中的方法，本申请实施例提供了一种计算机程序产品，当计算机程序产品在处理器上运行时，使得处理器执行上述实施例中的方法。

可以理解的是，本申请实施例中的处理器可以是中央处理单元（centralprocessing unit，CPU），还可以是其他通用处理器、数字信号处理器（digitalsignalprocessor，DSP）、专用集成电路（application specific integrated circuit，ASIC）、现场可编程门阵列（field programmable gate array，FPGA）或者其他可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。通用处理器可以是微处理器，也可以是任何常规的处理器。

本申请实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器（random access memory，RAM）、闪存、只读存储器（read-only memory，ROM）、可编程只读存储器（programmable rom，PROM）、可擦除可编程只读存储器（erasable PROM，EPROM）、电可擦除可编程只读存储器（electrically EPROM，EEPROM）、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如，DVD）、或者半导体介质（例如固态硬盘（solid state disk，SSD））等。

可以理解的是，在本申请实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。

本领域的技术人员容易理解，以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种广角LMD畸变标定方法，其特征在于，包括：

获取广角光测量设备LMD拍摄的包含规则排布点阵的平面标定图案的取像图像，确定点阵中各点在取像图像中的坐标；

基于广角LMD成像模型和各点的坐标进行优化求解，得到广角LMD的内参和外参；所述内参包括：像距和点阵质心坐标偏差；外参包括：透视变换矩阵；所述取像图像经所述内参和外参校正后，得到一次校正后的点阵取像图像，与所述规则排布点阵存在局部偏差；

获取根据所述内参和外参对所述取像图像的畸变进行一次校正后得到的各点的校正坐标和各点的预期坐标；所述各点的预期坐标，通过以下步骤确定：结合所述点阵的规则排布方式、点阵中心处中心点的校正坐标以及点行列间隔对各点的校正坐标更新，得到相对所述中心点按照所述规则排布方式排布时各点的预期坐标；

在得到广角LMD的内参和外参之后，基于各点的校正坐标和各点的预期坐标确定广角LMD的局部插值参数；所述局部插值参数用于对一次校正后的取像图像进行局部误差补偿，以对取像图像的畸变进行二次校正。

2.根据权利要求1所述的方法，其特征在于，基于广角LMD成像模型和所述各点的坐标进行优化求解，包括：

将广角LMD的内参和外参初始化；

基于广角LMD的内参和成像模型对所述各点的坐标进行畸变校正，得到畸变校正后的坐标；以及基于广角LMD的外参对畸变校正后的坐标进行透视变换姿态校正，得到姿态校正后的坐标；

根据点阵中各点姿态校正后的坐标确定点阵中心处的点行列间隔，根据所述点行列间隔对各点姿态校正后的坐标进行更新，得到各点相对点阵中心按照所述规则排布分布时的预期坐标；以及将点阵中所有点的预期坐标与姿态校正后坐标的平均距离作为优化的目标函数；

优化更新内参和外参，直至所述目标函数的值最小。

3.根据权利要求1或2所述的方法，其特征在于，所述点阵中心处的点行列间隔，通过如下步骤确定：

获取点阵中心处中心点的校正坐标；

获取所述中心点的行列方向上相邻点的校正坐标；

根据中心点与其行列方向相邻点的校正坐标间距确定点行列间隔。

4.根据权利要求1所述的方法，其特征在于，基于各点的校正坐标和各点的预期坐标确定广角LMD的局部插值参数，包括：

将各点的校正坐标与预期坐标作差，得到各点的局部插值参数；

将点阵中相邻点之间的局部插值参数做插值，得到相邻点之间各像素点处的局部插值参数。

5.根据权利要求1所述的方法，其特征在于，所述平面标定图案的中心位于所述广角LMD的视野中心，和/或所述平面标定图案填满广角LMD视野的预设比例。

6.一种广角LMD畸变校正方法，其特征在于，包括：

获取广角LMD的取像图像；

利用权利要求1至5任一项所述方法得到的内参、外参以及局部插值参数依次对所述取像图像进行校正，得到畸变校正后的图像。

7.一种广角LMD畸变标定装置，其特征在于，包括：

取像图像获取模块，用于获取广角LMD拍摄的包含规则排布点阵的平面标定图案的取像图像，确定点阵中各点在取像图像中的坐标；

内参外参确定模块，用于基于广角LMD成像模型和所述各点的坐标进行优化求解，得到广角LMD的内参和外参；所述内参包括：像距和点阵质心坐标偏差；外参包括：透视变换矩阵；所述取像图像经所述内参和外参校正后，得到一次校正后的点阵取像图像，与所述规则排布点阵存在局部偏差；

局部插值参数确定模块，用于获取根据所述内参和外参对所述取像图像的畸变进行一次校正后得到的各点的校正坐标和各点的预期坐标；在得到广角LMD的内参和外参之后，基于各点的校正坐标和各点的预期坐标确定广角LMD的局部插值参数；所述各点的预期坐标，通过以下步骤确定：结合所述点阵的规则排布方式、点阵中心处中心点的校正坐标以及点行列间隔对各点的校正坐标更新，得到相对所述中心点按照所述规则排布方式排布时各点的预期坐标；所述局部插值参数用于对一次校正后的取像图像进行局部误差补偿，以对取像图像的畸变进行二次校正。

8.一种广角LMD畸变校正装置，其特征在于，包括：

取像图像获取单元，用于获取广角LMD的取像图像；

畸变校正单元，用于利用权利要求1至5任一项所述方法得到的内参、外参以及局部插值参数依次对所述取像图像进行校正，得到畸变校正后的图像。

9.一种电子设备，其特征在于，包括：

至少一个存储器，用于存储计算机程序；

至少一个处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行如权利要求1-5或6任一项所述的方法。