CN104299218B - 基于镜头畸变规律的投影仪标定方法 - Google Patents

Abstract

本发明公开了一种基于镜头畸变规律利用同心圆环进行投影仪区域标定的方法，它在解决了光学镜头畸变处理不足问题的同时，解决了目前视场扩大时标定精度不高的问题。首先利用DLP投影仪将特殊设计的棋盘格图像投射到平面标定板上，并用CCD相机捕获包含粘贴棋盘和投影棋盘的标定物图像；多次变换平面标定板的位置，获得多副标定物图像；依据镜头的畸变规律，以标定物图像中心为圆心，计算各角点到圆心的距离，再比较其与给定的半径值的大小，以此来划分同心圆环区域；基于每一圆环区域标定相机，再利用其标定参数对投影棋盘数据进行畸变校正，进而用于投影仪标定，获得相应区域的投影仪内外参数，对所有圆环区域重复以上操作即可完成投影仪的标定。

Description

基于镜头畸变规律的投影仪标定方法

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于镜头畸变规律的投影仪标定方法。

背景技术

为了获取投影仪物平面（投影仪中空间光调制器平面，以下简称物平面）二维点与实际物理空间三维点的对应关系，需要对投影仪进行标定。所谓标定，其主要目的是求出投影仪的内部几何和光学特性(也即内部参数)，以及其相对于空间坐标系的位置关系(也即外部参数)。

投影仪的光学结构与具有远心光学结构的相机相同，但光路相反，因此可以认为投影仪的光学模型是一个具有相反光路的相机系统，故通常把投影仪看做是“逆向”的相机，从而借助相机的标定原理来完成投影仪的标定。

传统的标定方法包括直接线性变换标定法(DLT)、径向排列约束(RAC)标定法和平面标定法等。Abdal-Aziz和Karara于70年代初提出直接线性变换标定法，该方法把理想针孔模型作为投影仪的成像模型，以此建立线性方程组，其包含了投影仪的标定参数。但是，在设计、加工和组装光学镜片等过程中不可避免的会导致镜头非线性畸变，当镜头畸变明显时，线性模型无法准确地描述投影仪的成像过程，这时在标定过程中需要引入畸变因子进行校正。Tsai在文献(A versatile camera calibration technique for high-accuracy3D machine vision metrology using off-the-shelf TV cameras andlenses.IEEE Journal of Robotics and Automation,1987,RA-3(4):323-344)中提出基于径向排列约束的两步标定法，由于考虑了径向畸变，在系统标定方面取得了很大的进步。在此基础上，张正友采用二维标定物，在文献(A flexible new technique for cameracalibration.IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334)中提出平面标定法，提供了一种快速的相机标定方法，为测量系统的速度提高奠定了基础。

但是，现有技术中存在如下问题：

1）直接线性变换标定法，采用理想针孔模型，忽略了镜头畸变，只适合视野较小的情况；

2）径向排列约束两步标定法，只考虑一阶径向畸变，而忽略了其它非线性畸变因素，只适合于精度要求不高的测量；

3）考虑各种畸变因素时，把整个视场的畸变看成是一致的，不适合大视场光学测量系统。

其实，光学系统是以光轴对称的，其光轴即为系统的径向对称中心，系统的特性函数只与距该对称中心的距离有关。也就是说，假设光学镜头各向同性，而且物象空间媒质均匀，则像的失真程度是关于光学中心对称的，即在光学中心处畸变量为零，在其他位置，畸变量随着像元位置和光学中心的距离的变化而变化，但在以光学中心为圆心，半径相等的圆周上，畸变量可以近似看成是不变的。不管是上述的径向畸变还是在设计、加工、装配等过程中造成的镜头切向畸变和偏心畸变，都与距对称中心的距离有关。本发明正是针对现有标定技术的如上问题和基于光学镜头的畸变规律，根据实际应用的要求，寻找到了一种准确、快捷、简便的标定方法，适合于大视场光学系统的精密测量，并且能很好地解决上面的问题。

发明内容：

本发明目的在于提供一种依据光学镜头畸变规律，基于同心圆环进行投影仪区域标定的方法。该方法通过简单步骤精确地求取投影仪的内部参数和外部参数，提高了标定精度，在整个标定过程中无需辅助设备。

本发明解决其技术问题所采用的技术方案是：本发明提供了一种基于镜头畸变规律的投影仪标定方法，根据镜头的畸变规律可知：以光学中心为圆心，半径相等的圆周上畸变量近似相同，不同半径圆周上畸变量不同；畸变会造成图像的变形，但从物空间到像空间，二者之间仍存在一一对应的映射关系；变形不会使图像变模糊即不影响图像的清晰度。上述规律为本发明提供了实施条件。本发明提出的技术方案是基于镜头畸变规律标定投影仪，以半径r作为参数划分同心圆环，分区域标定，以得到每个区域的标定参数值，以便于畸变校准、计算三维坐标、恢复三维形貌。

本发明所述的标定方法包括以下步骤：

步骤1：打印棋盘格图像，然后将其粘贴在一个平面板的左边（或右边），制成平面标定板；

步骤2：把平面标定板置入相机和投影仪组成的系统视场内，将数据处理电脑生成的编码棋盘投射到平面标定板上，形成投影棋盘，且使其不要和粘贴棋盘重合；

所述中数据处理电脑生成的编码棋盘是：左边是白色，右边是棋盘格（或者左边是棋盘格，右边是白色）。

步骤3：用CCD相机拍摄标定板，获得标定物图像；

所述中拍摄的标定物图像包含粘贴棋盘和投影棋盘，且两者不重合，并尽量以图像中心对称。

步骤4：不断变换标定板的位置，重复步骤2和步骤3，得到多幅标定物图像，并送入数据处理电脑进行处理；

步骤5：对每一幅图像进行分区域操作，把用于标定的基础数据划分在不同的圆环区域内；

所述步骤5中划分圆环区域操作包括如下步骤：

步骤51：检测粘贴棋盘角点和投影棋盘角点；

所述的检测角点的方法是指：利用Harris角点检测算法对棋盘内角点进行粗定位，进而计算其亚像素精确位置，从而得到准确的角点坐标。

步骤52：以标定物图像中心为圆点O，分别计算粘贴棋盘各角点到圆心的距离和投影棋盘各角点到圆心的距离，并保存在R1和R2中；

步骤53：根据实际需要，给定半径r1、r2、r3、……，比较R1中各元素值与半径r1、r2、r3、……的大小关系，从而把R1中各元素所对应的角点坐标划分在圆环区域area1、area2、area3、……中；

步骤54：同上半径r1、r2、r3、……，比较R2中各元素值与半径r1、r2、r3、……的大小关系，从而把R2中各元素所对应的角点坐标划分在圆环区域area1’、area2’、area3’……中；

步骤6：以各个同心圆环区域为单位，分区域标定投影仪。

所述步骤6中分区域标定投影仪包括如下步骤：

步骤61：使用area1中的粘贴棋盘角点数据标定相机，得到此区域的相机参数camera1；

步骤62：利用标定结果camera1对area1’中的投影棋盘角点数据进行畸变校准；

步骤63：使用校准后的数据，并结合camera1，对投影仪进行标定，得到area1’区域的投影仪参数projector1；

步骤64：重复步骤61-63，对各个区域进行投影仪标定，以此完成投影仪的分区域标定。

有益效果：

1、本发明充分考虑到光学镜头的畸变影响，并根据畸变规律，对标定图像划分同心圆环

区域，简单、方便地获得投影仪的内部参数和外部参数，并提高了标定精度；

2、本发明采用特殊设计的投影图案，轻易地实现了相机和投影仪标定图案的分离，不必再经过复杂的图像处理过程，避免了图像处理中可能产生的各种误差；

3、本发明原理简单、操作灵活，不仅适用于在线标定，而且适用于大视场条件下的精密测量；

4、本发明不需要特制的标定物以及繁琐的图像坐标匹配过程，能够实现全自动标定。

附图说明：

图1为本发明所提出的标定方法在分为两个区域时的流程图；

标识说明：b-代表粘贴棋盘世界坐标；b_11-表示小于r部分；b_12-表示大于r部分；i-表示粘贴棋盘图像坐标；p-表示投影棋盘图像坐标；pb-表示投影棋盘世界坐标；pb_11-表示小于r部分；pb_12-表示大于r部分；

图2为本发明所涉及的光学镜头的畸变模型图；

图3为本发明所使用的投影图像；

图4为本发明所提出的标定思想的示意图；

图5为本发明中利用相机标定结果标定投影仪的计算流程图。

具体实施方式：

以下结合说明书附图对本发明创造作进一步的详细说明。

为了更好地理解本发明，下面结合附图和实施例，对本发明的具体实施方式作进一步描述。本实施例仅用于描述本发明而不用于限制本发明的范围。此外应理解，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明具体步骤的流程图如图1所示，应用本发明进行投影仪标定的具体步骤如下：

步骤1：首先把棋盘格作为特征点，制作平面标定板。使用A4纸打印一张9×11的黑白棋盘格图像，并粘贴在平面板的左侧（以下简称粘贴棋盘），制作平面标定板；

步骤2：调整并固定好相机和投影仪，并将标定板放置在系统视域范围内，组建测量系统；

步骤3：基于开源图像处理库OpenCv平台生成编码图像，其为左边是白色右边是11×11的黑白棋盘格，如附图3所示，并通过投影仪投射到平面标定板上，使白色部分正好覆盖在左侧的粘贴棋盘上，右侧形成投影棋盘图像，并使两者不重合；

步骤4：用CCD相机拍摄标定板，得到包含粘贴棋盘和投影棋盘的标定物图像，如图4所示，并确保成像清晰；

步骤5：不断变换标定板的位置，重复步骤4，得到多幅标定物图像，并送入数据处理电脑进行处理；

步骤6：对每一幅标定物图像进行分区域操作，把用于标定的基础数据划分到不同的圆环区域内，具体步骤如下：

步骤6.1：在获得了标定物图像后，利用角点提取算法提取粘贴棋盘的角点，并将其值作为特征点在相机图像坐标系中的像素坐标；

所述的角点提取算法包括Harris提取算法、SIFT提取算法等。但由于Harris角点提取法操作简便，在此利用其进行角点提取时能够保证检测的准确性，故，这里使用Harris角点提取算法进行角点的粗定位，再根据有关峰值点位置将其精确到亚像素级精度。其中Harris角点提取算法的原理与现有技术中的相同；

步骤6.2：同上，利用角点提取算法提取投影棋盘的角点，并将其值作为投影特征点在相机图像坐标系中的像素坐标；

步骤6.3：以标定物图像中心为圆点O，在实施例中其坐标值为（960,540），分别计算粘贴棋盘各角点像素坐标到圆点O的欧式距离和投影棋盘各角点像素坐标到圆心O的欧式距离，并保存在数组矩阵R1和R2中；欧式距离计算公式如下所示：

步骤6.4：以O为圆心，利用同心圆环对标定物图像分区域，具体方法步骤如下所示：

步骤6.4.1：给定半径r1、r2、r3、……，R1(x,y)<r1的元素对应的角点坐标定义为位于区域area1,r1≤R1(x,y)<r2的元素对应的角点坐标定义为位于区域area2,r2≤R1(x,y)<r3的元素对应的角点坐标定义为位于区域area3,以此类推，根据实际需要把粘贴棋盘划分成不同的区域，形成同心圆环状，如附图4所示；

基于本发明，具体实施例中：1）选择半径r1=350（像素），把粘贴棋盘划分为两个区域；2）选择半径r1=350（像素）、r2=450（像素），把粘贴棋盘划分为三个区域。用于说明本发明的基本思想和具体实施情况。

选择半径个数和半径值时必须保证每个圆环区域内数据的数目要大于4。

步骤6.4.2：同上的半径值r1、r2、r3、……，R2(x,y)<r1的元素对应的角点坐标定义为位于区域area1’,r1≤R2(x,y)<r2的元素对应的角点坐标定义为位于区域area2’,r2≤R2(x,y)<r3的元素对应的角点坐标定义为位于区域area3’,以此类推，对投影棋盘划分区域，也形成同心圆环状，如图4所示；

基于本发明，同上，在此实施例中投影棋盘也被划分为两个区域和三个区域。

根据光学镜头畸变的对称性，即以光学中心为圆心，半径相等的圆周上，畸变量近似是不变的，因此，每个圆环上的畸变量近似相同。基于此，本发明近似认为同一区域内畸变量相同，则通过步骤6.4.1-6.4.2的划分，区域area1的畸变情况和区域area1’近似相同，区域area2的畸变情况和区域area2’近似相同，区域area3的畸变情况和区域area3’近似相同，以此类推。

步骤7：在获得每个圆环区域标定所需的基础数据后，分区域标定投影仪，具体步骤如下：

步骤7.1：圆环区域area1的相机标定；

所述的相机标定原理参见文献（Zhang Z.A flexible new technique forcamera calibration.IEEE Transactions on Pattern Analysis and MachineIntelligence,2000,22(11):1330-1334）的平面标定法和文献（Tsai R.Y..A versatilecamera calibration technique for high-accuracy3D machine vision metrologyusing off-the-shelf TV cameras and lenses.IEEE Journal of Robotics andAutomation,1987,3(4):323-344）的两步法。

在此具体实施例中，利用OpenCv提供的标定库函数（Open source computervision library.http://sourceforge.net/projects/opencvlibrary/）对相机进行标定，从而获得区域area1的标定结果camera1,其包含畸变参数、内部参数和外部参数。

步骤7.2：利用已得的区域area1的畸变参数、内部参数对区域area1’的标定数据进行畸变校正，获得无畸变的像素坐标；

所述的畸变校正方法参见文献（G.Bradski,A.Kaehler.LearningOpenCV.M.Loukides,Ed.O’REILLY,September,2008）；

步骤7.3：在获得已去畸变处理的投影仪标定基础数据后，完成区域area1’的投影仪标定；

所述的投影仪标定是基于相机标定结果的，其原理参见文献（T.Hurtos,G.Falcao,J.Massich.Plane-based calibration of a projector camera system.VIBOTmaster,2008,(I):1-12），具体计算流程如附图5所示。

步骤7.4：重复步骤7.1-7.3，完成area2’的标定，并以此类推，完成其他区域的标定。

在此具体实施例中：1）完成area1’、area2’两个区域的标定；2）完成area1’、area2’和area3’三个区域的标定。

至此，本发明完成了投影仪的分区域标定，同时也完成了结构光系统的标定，获得了精确而完整的相机和投影仪标定参数，这样可以利用每区域的标定参数值来进行三维测量和三维重建。

为了更清楚明了地理解本发明的优越性，结合实施例的具体步骤，以下列出本发明和现有技术在标定精度方面的比较结果：由表1可知，三幅图像分为两个区域的标定精度提高了56%；由表2可知，三幅图像分为三个区域的标定精度提高了58.4%；比较表1和表2，且根据畸变规律可知，适当的增加圆环区域的数量可以提高标定精度。

表1三幅图像分为两个区域的投影仪反投影误差^a结果^b

注：a.反投影误差指实际从图像中检测到的二维角点坐标与按照模型参数求解得到的二维角点坐标的差值；b.指三幅图像分为两个区域的投影仪反投影误差结果与不分区域的现有技术误差结果比较，半径r=350；c.总误差指各个区域反投影误差的总和。

表2三幅图像分为三个区域的投影仪反投影误差结果^a

注：a.指三幅图像分为三个区域的投影仪反投影误差结果与不分区域的现有技术误差结果比较，半径r1=350、r2=450。

Claims (6)

1.一种基于镜头畸变规律的投影仪标定方法，其特征在于，所述方法包括以下步骤：

步骤1：打印棋盘格图像，然后将其粘贴在一个平面板的左边或右边，制成平面标定板；

步骤2：把平面标定板置入相机和投影仪组成的系统视场内，将数据处理电脑生成的编码棋盘投射到平面标定板上，形成投影棋盘，且使其不要和粘贴棋盘重合；

步骤3：用CCD相机拍摄标定板，获得标定物图像；

步骤4：不断变换标定板的位置，重复步骤2和步骤3，得到多幅标定物图像，并送入数据处理电脑进行处理；

步骤5：对每一幅图像进行分区域操作，其是通过检测粘贴棋盘和投影棋盘的角点信息，依据角点信息和标定物图像中心来划分圆环区域；

步骤6：以各个同心圆环区域为单位，分区域标定投影仪。

2.根据权利要求1所述的基于镜头畸变规律的投影仪标定方法，其特征在于：所述步骤6是基于镜头畸变规律的区域标定，其使用于投影仪和相机。

3.根据权利要求1所述的基于镜头畸变规律的投影仪标定方法，其特征在于：所述步骤2中的数据处理电脑形成的棋盘格图像：左边是白色，右边是棋盘格图案；或者左边是棋盘格图案，右边是白色；在投射时，调整投影仪位置，使其空白的部分覆盖在粘贴棋盘上面。

4.根据权利要求1所述的基于镜头畸变规律的投影仪标定方法，其特征在于：所述步骤3中的标定物图像包含粘贴棋盘和投影棋盘，且两者不重合，并尽量以图像中心对称。

5.根据权利要求1所述的基于镜头畸变规律的投影仪标定方法，其特征在于，所述步骤5的标定物图像划分圆环区域的步骤如下：

步骤51：检测并提取粘贴棋盘角点和投影棋盘角点；

步骤52：设定标定物图像中心为圆心，计算粘贴棋盘各角点到圆心的距离和投影棋盘各角点到圆心的距离；

步骤53：根据实际需要确定半径个数和半径值，通过比较粘贴棋盘角点到圆心的距离和半径的大小来划分圆环区域；

步骤54：同上半径个数和半径值，通过比较投影棋盘角点到圆心的距离和半径的大小来划分圆环区域。

6.根据权利要求1所述的基于镜头畸变规律的投影仪标定方法，其特征在于，所述的分区域标定投影仪的步骤如下：

步骤61：利用每一区域的粘贴棋盘数据标定相机，获得相机的内部参数、畸变参数和外部参数；

步骤62：使用相机的内部参数和畸变参数对同一圆环区域的投影棋盘数据进行畸变校正；

步骤63：使用去畸变的投影棋盘数据和相机标定参数标定投影仪，获得投影仪的内部参数、畸变参数和外部参数；

步骤64：对所有圆环区域重复步骤61-63，即可完成投影仪的区域标定。