CN103942796A - 一种高精度的投影仪-摄像机标定系统及标定方法 - Google Patents

Abstract

本发明公开一种高精度的投影仪-摄像机标定系统及方法，该方法包括：用摄像机标定方法标定摄像机，得到摄像机内参数；向标定板投影纯白图案并与标定板的图案叠加，捕获标定区域图像；利用摄像机内参数对图像畸变校正后提取标定区域图像中的角点坐标；根据角点的对应关系估计摄像机像平面和标定板平面之间的单应性矩阵；依序向标定板投影不同特定棋盘图案并分别与标定板的图案叠加，分别捕获标定区域图像；对标定区域图像差分、滤波处理后提取标定板平面上的角点坐标；取角点坐标平均值后应用单应性矩阵映射角点至标定板平面；按角点的获取情况重复上述步骤。利用摄像机标定方法标定投影仪。本发明提高了光三维测量系统的精度。

Description

一种高精度的投影仪-摄像机标定系统及标定方法

技术领域

本发明涉及一种投影仪-摄像机标定系统及标定方法，特别涉及一种高精度的投影仪-摄像机标定系统及标定方法，属于图像处理和计算机视觉检测技术领域。

背景技术

投影仪-摄相机系统在三维测量、增强现实及人机交互等领域有着广泛的应用，随着时代的发展人们对三维测量及人机交互的精度要求越来越高，而精确的标定是该系统实现高精度的最大前提，但现有方案一直未达到理想的效果。一方面，现有的一些方法虽然取得了较精确的标定结果(重投影误差的均方根为0.11像素)，却使用了昂贵的高精度设备，对用户的要求也很高，不便于日常使用。另一方面，其他的一些方法虽然操作简便但却不够精确(重投影误差的均方根为0.20像素)，难以满足日益增长的计算机视觉应用的需要，可以说是用牺牲精度的方法换取了步骤的简便。

另外，现有的大部分标定方法对角点提取的处理都不够好，一方面是没有对角点提取误差的方向性进行补偿，另一方面是没有对图像拍摄过程中的噪声进行合适的滤波。而角点提取的误差显然对整个系统标定的精确度有不容忽视的影响，如果连用于标定的数据本身误差都很大的话，无论标定的其他阶段如何改进，操作如何复杂都难以获得理想的效果，更不用说在保证精度的同时降低操作的复杂度或改用廉价的标定设备了。而且，现有的方法在处理投影图案与打印图案间相互干扰的问题时也不够简便，如通过摄相机的颜色特性来避免干扰，但这也意味着还要进行色彩校正。

综上所述，现有的标定方法具有下述缺陷：

1.高精度的标定成本高，而操作简便仪器简单的标定方法又无法取得令人满意的精度；

2.对角点提取的处理不够好，未对误差进行补偿或对噪声进行滤波，难以获得精确的对应关系；

3.在打印图像与投影图像相互干扰的处理上不够简便，要求用户进行额外的操作。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：提出一种投影仪-摄像机系统标定方法，向标定板轮流投影多幅特定图案，进行高精度标定，同时又灵活便于操作。

(二)技术方案

为解决上述技术问题，

一方面，本发明提供了一种高精度的投影仪-摄像机标定系统，包括：

用于综合调度各模块之间工作的控制模块、用于产生投影用图案的图案生成模块、用于展示投影图像的标定板、用于将图案向标定板上投影的投影模块、用于向摄像机标定模块或图像处理模块输出图像数据的图像传感及校正模块、用于估计摄像机参数的摄像机标定模块、用于对标定区域图像处理的图像处理模块、用于对投影仪进行标定的投影仪标定模块；

所述图案生成模块、所述投影模块、所述图像传感及校正模块、所述摄像机标定模块、所述图像处理模块、所述投影仪标定模块分别与所述控制模块双向通信连接，所述摄像机标定模块与所述图像传感及校正模块双向通信连接，所述图案生成模块分别与所述投影模块和所述投影仪标定模块通信连接，所述图像传感及校正模块与所述图像处理模块通信连接，所述图像处理模块与所述投影仪标定模块通信连接；

所述控制模块控制所述摄像机标定模块按照相应的摄像机标定方法对图像传感及校正模块标定并存储相应摄像机内参数；

所述控制模块控制所述图案生成模块和所述投影模块轮流在所述标定板上投影特定的不同图案，所述控制模块控制所述摄像机标定模块所述摄像机内参数传递至所述图像传感及校正模块，所述图像传感及校正模块分别采集所述标定区域图像并利用摄像机内参数进行图像畸变校正后传送至所述图像处理模块，所述图像处理模块分别对图像差分、反相运算、滤波映射处理后得到角点信息，所述控制模块控制所述投影仪标定模块利用所述角点信息建立对应关系对投影仪标定得到投影仪内参数和投影仪与摄像机之间的外参数。

其中较优地，所述图像处理模块包括：

对图像进行差分及反相运算的图像运算模块、对图像滤波消除噪声的图像滤波模块、对图像进行角点提取得到角点坐标的角点提取模块、估计摄像机像平面和标定板平面间单应性矩阵的单应性矩阵模块、将角点坐标从摄像机像平面映射到标定板平面上的角点映射模块；

所述图像运算模块与所述图像滤波模块连接，所述图像滤波模块与所述角点提取模块连接，所述角点提取模块及所述单应性矩阵模块分别与所述角点映射模块连接，所述角点提取模块与所述单应性矩阵模块连接；所述角点提取模块与所述图像传感及校正模块连接，所述角点映射模块、所述角点提取模块分别与所述投影仪标定模块连接；

所述图像传感及校正模块采集并校正的标定区域图像传输至所述图像运算模块及所述角点提取模块；所述角点提取模块对接收到图像角点提取得到摄像机像平面坐标系上打印棋盘图案的角点坐标；所述单应性矩阵模块以摄像机像平面坐标系上打印棋盘图案的角点坐标作为输入，和标定板平面坐标系上打印棋盘图案的角点坐标建立对应关系，用最优化方法估计得摄像机像平面与标定板平面间的单应性矩阵并输出给所述角点映射模块；所述图像运算模块对接收的图像差分运算、反相处理得到标定区域图像，输出至所述图像滤波模块；所述图像滤波模块对图像滤波、消除噪声处理后传送至角点提取模块；所述角点提取模块采用相应角点提取方法提取角点坐标并输出至所述投影仪标定模块；所述角点映射模块以所述角点提取模块传输的摄像机像平面角点坐标及从所述单应性矩阵模块获取的单应性矩阵为输入，应用单应性关系将摄像机像平面角点坐标映射到标定板平面上，并输出至所述投影仪标定模块。

其中较优地，所述图像滤波模块对接收的图像滤波处理时，首先计算图像的梯度，再对梯度图像进行阈值分割得到二值化图像，以将图像分类为棋盘格内部类及棋盘格边缘类。

再使图像滤波模块接收的图像通过所选取的滤波函数：

$I_{\mathrm{fi}}=f\left(I_{\mathrm{pi}}\right)=\left\{\begin{array}{c}\mathrm{threshold},g_n<\mathrm{threshold}\\ g_n,g_n\&GreaterEqual;\mathrm{threshold}\end{array}\right.(i=\mathrm{1,2,3,4})$

其中，threshold为选取的阈值，I_pi为图像滤波模块接收的图像，I_fi为图像滤波模块滤波后的图像，g_n为图像I_pi中第n个像素点的灰度值，所述滤波函数遍历了图像I_pi中的所有像素点，在选择了合适阈值的前提下，能够保留图像中棋盘格边缘处的信息，且使得图像中灰度值相对较小或颜色较深的棋盘格内的像素值尽量均为该门限值。

其中较优地，所述阈值是通过贝叶斯决策理论来确定的，具体如下：

通过式P(g/E)·P(E)＝P(g/C)·P(C),可以得到两解g＝t₁及g＝t₂。其中t₁≤g≤t₂为棋盘格边缘的灰度值上下范围，E表示棋盘格边缘，C表示棋盘格内部，P(g/E)为属于棋盘格边缘类的像素点中，像素点灰度值为g的概率，P(g/C)为属于棋盘格方格内部的像素点中，像素点灰度值为g的概率，P(E)为像素点位于棋盘格边缘的概率，P(C)为像素点位于棋盘格内部的概率；

针对图像滤波模块接收的图像I_pi，对棋盘格边缘与棋盘格内部的像素数量确定P(E)及P(C)，根据归一化直方图获得概率P(g/C)及P(g/E)，代入上式，其中求得像素灰度值较低的解t₁即为阈值。

其中较优地，所述角点提取模块提取角点坐标时，

所述角点提取模块对图像传感及校正模块输出的纯白图案与打印棋盘图案叠加的标定区域图像进行四边形拟合，获得粗略的角点位置，然后在包含粗略角点位置的附近区域，利用单马鞍角点提取方法获得精确角点坐标，进而将该摄像机像平面坐标系上角点坐标输出给所述单应性矩阵模块进行单应性矩阵的估计；

所述角点提取模块对图像滤波模块输出的投影棋盘图案与打印棋盘图案叠加的标定区域图像进行四边形拟合，获得粗略的角点位置，然后在包含粗略角点位置的附近区域，利用四马鞍角点提取方法获取精确角点坐标，进而将该摄像机像平面坐标系上角点坐标输出至角点映射模块及投影仪标定模块；

所述四马鞍角点提取方法是分别用单马鞍角点提取方法提取出四种投影棋盘图案的角点，再对四个角点坐标取平均，得到最终角点坐标。

其中较优地，所述特定的不同图案是方形棋盘格图案、反相的方形棋盘格图案，将棱形棋盘格图案或反相棱形棋盘格图案。

另一方面，本发明还提供一种应用上述投影仪-摄像机标定系统的标定方法，包括如下步骤：

S1：用摄像机标定方法对摄像机标定，得到摄像机内参数；

S2：投影仪向标定板投影纯白图案并与标定板的图案叠加，摄像机捕获第一标定区域图像，利用摄像机内参数对第一标定区域图像畸变校正；

S3：提取校正后第一标定区域图像中的角点坐标；

S4：根据校正后第一标定区域图像中的角点与打印棋盘格中已知角点的对应关系估计摄像机像平面和标定板平面之间的单应性矩阵；

S5：投影仪向标定板投影预设棋盘图案，摄像机捕获第二标定区域图像并利用摄像机内参数进行畸变校正；

S6：对校正后第二标定区域图像与校正后第一标定区域图像进行差分与反相运算并滤波处理；

S7：提滤波后第二标定区域图像的角点坐标，并判断预设是否已投影完毕，如果预设棋盘图案投影完毕，则进入步骤S8，如果未投影完毕则更换预设棋盘图案重新执行S5；

S8：对投影不同棋盘图案时得到的角点坐标取平均值，然后应用单应性关系将角点坐标从摄像机像平面映射至标定板平面；

S9：判断角点数量是否大于阈值，若不足，则调整标定板的姿态后，回到步骤S2，若满足则进入步骤S10；

S10：根据投影仪像平面与标定板平面上角点坐标的对应关系，根据投影仪像平面、摄像机像平面上、标定板平面上角点坐标的对应关系，计算获取投影仪与摄像机之间的外参数。

其中较优地，所述滤波处理的步骤进一步包括：

提取差分后第二标定区域图像的梯度图像，对所述梯度图像进行阈值分割得到二值化图像；

再使差分后第二标定区域图像通过所选取的滤波函数滤波处理：

$A4=f\left(A3\right)=\left\{\begin{array}{c}\mathrm{threshold},g_n<\mathrm{threshold}\\ g_n,g_n\&GreaterEqual;\mathrm{threshold}\end{array}\right.(i=\mathrm{1,2,3,4})$

其中，A4为滤波后第二标定区域图像，threshold为选取的阈值，A3为差分后第二标定区域图像，g_n为差分后第二标定区域图像中第n个像素点的灰度值。

其中较优地，所述阈值是通过贝叶斯决策理论来确定的，具体如下：

通过式P(g/E)·P(E)＝P(g/C)·P(C),可以得到两解g＝t₁及g＝t₂。其中t₁≤g≤t₂为棋盘格边缘的灰度值上下范围，E表示棋盘格边缘，C表示棋盘格内部，P(g/E)为属于棋盘格边缘类的像素点中，像素点灰度值为g的概率，P(g/C)为属于棋盘格方格内部的像素点中，像素点灰度值为g的概率，P(E)为像素点位于棋盘格边缘的概率，P(C)为像素点位于棋盘格内部的概率；

针对图像滤波模块接收的图像中图像棋盘格边缘与棋盘格内部的像素数量确定P(E)及P(C)，根据归一化直方图获得概率P(g/C)及P(g/E)，代入上式，其中求得像素灰度值较低的解t1即为阈值。

其中较优地，所述提滤波后第二标定区域图像的角点坐标的步骤进一步还包括：

对滤波后第二标定区域图像四边形拟合，获得粗略的角点位置，然后在包含粗略角点位置的附近区域，利用四马鞍角点提取方法获取精确角点坐标；

所述四马鞍角点提取方法是分别用单马鞍角点提取方法提取出四种投影棋盘图案的角点，再对四个角点坐标取平均，得到最终角点坐标。

(三)有益效果

本发明提供的高精度的投影仪-摄像机标定系统及标定方法，在摄相机标定时建立起摄像机像平面与标定板平面间的单应性关系，向标定板轮流投影多幅特定图案再经过图像运算、滤波完成较精确的角点提取，建立起投影仪标定所需的对应关系，并最终利用张正友标定法进行标定，得到投影仪的内参数与外参数。本发明所涉及的方法取得了0.1028像素的均方根重投影误差以及0.3102像素的最大重投影误差。

附图说明

图1是本发明实施例的标定系统的结构示意图；

图2是投影用的棋盘图案一；

图3是投影用的棋盘图案二；

图4是投影用的棋盘图案三；

图5是投影用的棋盘图案四；

图6是标定板上的打印棋盘图案；

图7是本发明实施例中投影仪-摄相机标定方法的操作流程图；

图8是马鞍面示意图；

图9是放大的互补棋盘格一；

图10是放大的互补棋盘格二；

图11是放大的棱形棋盘格；

图12是棋盘格内部及棋盘格边缘两类的概率密度函数。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，本发明提供一种投影仪-摄像机标定系统，具体包括：用于综合调度各模块之间工作的控制模块、用于产生投影用图案的图案生成模块、用于展示投影图像的标定板、用于将图案向标定板上投影的投影模块、用于向摄像机标定模块或图像处理模块输出图像数据的图像传感及校正模块、用于估计摄像机参数的摄像机标定模块、用于对标定区域图像处理的图像处理模块、用于对投影仪进行标定的投影仪标定模块；

所述图案生成模块、所述投影模块、所述图像传感及校正模块、所述摄像机标定模块、所述图像处理模块、所述投影仪标定模块分别与所述控制模块双向通信连接，所述摄像机标定模块与所述图像传感及校正模块双向通信连接，所述图案生成模块分别与所述投影模块和所述投影仪标定模块通信连接，所述图像传感及校正模块与所述图像处理模块通信连接，所述图像处理模块与所述投影仪标定模块通信连接；

所述控制模块控制所述摄像机标定模块按照相应的摄像机标定方法对图像传感及校正模块标定并存储相应摄像机内参数；

所述控制模块控制所述图案生成模块和投影模块轮流在所述标定板上投影具有灰度或色彩差异的棋盘图案，所述控制模块控制所述摄像机标定模块将存储的摄像机内参数传递给图像传感及校正模块，图像传感及校正模块分别采集所述标定区域图像并利用摄像机内参数进行图像畸变校正后传送至所述图像处理模块，所述图像处理模块分别对图像差分、反相运算、滤波映射处理后得到角点信息，所述控制模块控制所述投影仪标定模块利用角点信息建立对应关系对投影仪标定得到投影仪内参数和投影仪与摄像机之间的外参数(包括投影仪与摄像机之间的位置和姿态关系参数)；

下面对本系统展开详细的说明。

如图1所示，控制模块用于综合调度各模块间工作，通过各个模块的反馈来决定标定的进行状态以及下一步骤的执行。

如图1所示，所述图案生成模块，用于产生投影用的图案(包括纯白图案及已知的多种具有不同灰度或色彩差异的投影棋盘图案)并输出给投影模块，同时将投影棋盘图案在投影仪像平面坐标系上的角点坐标输出给投影仪标定模块。由于图案生成模块产生的投影棋盘图案中角点位置是已知的，所以相应角点在投影仪像平面坐标系中的坐标也是已知的，这可以供投影仪标定模块进行标定。投影用的棋盘格图案为投影棋盘图案，在本实例中优选如图2和图3所示的方形棋盘格图案和反相方形棋盘格图案以及将互补方形棋盘格图案旋转45°得到的棱形棋盘格图案和反相棱形棋盘格图案(优选如图4和图5所示)，也可选用其他图案。角点即为特征点，在本实例中指的是棋盘格的交叉点，投影棋盘图案虽各不相同，但角点的位置是相同的，可用来提高角点提取的精度。

如图1所示，所述标定板可以是将具有不同灰度或色彩差异的棋盘图案经打印机印至光滑平整的纸上，然后将该纸贴在光滑平整的一个平面物体上，也可以是专门制作的印有该图案的光滑平整面物体。打印或贴在标定板上的棋盘图案为打印棋盘图案。在本实例中所述打印棋盘图案优选如图6所示的棋盘图案，也可以是与图6互补或其他形式的图案。投影图案与打印棋盘图案在标定板上叠加以进行投影仪标定，该标定板也是本发明所述标定系统唯一需要的辅助工具，在投影仪-摄相机系统标定中无需其它高精度测量设备进行辅助。

如图1所示，投影模块以图案生成模块所产生的图案作为输入，轮流将图案向标定板上投影，使投影图案与打印棋盘图案在标定板上叠加。本标定系统的目的也就是要得到投影模块和图像传感及校正模块的内参数以及投影模块与图像传感及校正模块间的外参数。

如图1所示，图像传感及校正模块以标定区域上的图像信息数据(既包括标定板上打印的图案，也包括叠加投影在标定板上的图案)及摄像机标定模块存储的摄像机内参数作为输入，在摄像机标定时将无投影时的图像数据输出至摄像机标定模块，以得到摄像机内参数，在投影仪标定时将有投影时的图像数据利用内参数畸变校正后输出给图像处理模块中的图像运算模块及角点提取模块，以获得单应性矩阵并对图像做进一步的处理。在利用摄像机内参数进行畸变校正后，本模块将投影纯白图案时采集的标定区域图像输出给角点提取模块以得到摄像机像平面坐标系上打印棋盘图案的角点坐标，将投影纯白图案及其他棋盘格图案时采集的标定区域图像输出给图像运算模块进行差分及反相运算。

如图1所示，摄像机标定模块以图像传感及校正模块获取的无投影时标定区域图像为输入或以投影纯白图像时标定区域图像为输入，得到打印棋盘图案在摄像机像平面坐标系上的角点坐标，与已知的打印棋盘图案在标定板平面坐标系上的角点坐标建立起对应关系，对图像传感及校正模块进行标定以得到其内参数，并存储，还将内参数输出给图像传感及校正模块以进行图像畸变校正。所述内参数包括图像传感及校正模块光学镜头的畸变失真参数、焦距、像素点尺寸以及中心点位置等。目前已有很多成熟的摄相机标定方法，本实施例优选张正友的标定方法。该方法通过最优化及最大似然估计等手段，减小打印棋盘图案的角点在摄像机像平面中理论投影点与相应实际投影点的差别，估计得摄像机内参数。

如图1所示，所述图像处理模块以图像传感及校正模块采集并畸变校正后的标定区域图像(包含投影图案与打印棋盘图案在标定板上的叠加图像)为输入，对图像数据进行差分及反相运算、滤波、求摄像机像平面与标定板平面间的单应性矩阵、进行角点提取以及将角点坐标从摄像机像平面映射到标定板平面等操作，得到较为精确的投影棋盘图案在摄像机平面坐标系及标定板平面坐标系上的角点坐标并输出给投影仪标定模块进行标定。所述图像处理模块包括：对图像差分及反相运算的图像运算模块、对图像滤波消除噪声的图像滤波模块、对图像进行角点提取得到角点坐标的角点提取模块、将角点坐标从摄像机像平面映射到标定板平面上的角点映射模块、估计图像单应性矩阵的单应性矩阵模块；所述图像运算模块与所述图像滤波模块连接，所述图像滤波模块与所述角点提取模块连接，所述角点提取模块及所述单应性矩阵模块与所述角点映射模块连接，所述角点提取模块与所述单应性矩阵模块连接。

下面展开对本图像处理模块详细说明。

如图1所示，图像运算模块，以图像传感及校正模块在投影棋盘图案时采集并畸变校正的标定区域图像与图像传感及校正模块在投影纯白图案时采集并畸变校正的标定区域图像作为输入，进行差分运算，再取反相得到标定区域图案I_pi，并将I_pi输出给图像滤波模块以待进一步的处理。图像运算的目的是消除投影棋盘图案与打印棋盘图案间相互干扰的影响。本实施例优选实施方案如下：设投纯白图案到标定板时，图像传感及校正模块采集到的标定板图像为I_pw，投如图2-5所示的四种预设特定图案之一时，图像传感及校正模块采集到的标定板图像为I_ppi(i＝1,2,3,4)，该模块实现I_si＝I_pw-I_ppi(i＝1,2,3,4)的操作。由于图像减法使I_si近似成为与投影图案互补的形式，为了处理方便起见可将图像反相I_pi＝255-I_si(i＝1,2,3,4)。

如图1所示，图像滤波模块，以图像运算模块差分及反相运算的结果I_pi为输入，对图像进行滤波消除由摄相机非线性响应及图象锐化等原因引起的噪声，并将滤波的结果I_fi输出给角点提取模块。在本实例中，首先应用边缘提取方法(优选了sobel算子的方法)得到原图像的梯度图像，所述梯度图像中像素点的灰度值为原图像该点处灰度值的梯度。再应用阈值分割方法(优选了大津阈值方法)从梯度图像得到二值化图像。当梯度图像某像素的灰度值大于某一阈值时，在二值化图像中对应点的像素值为1，反之则为0。取二值化图像中像素值为1的区域为棋盘格边缘，像素值为0的区域为棋盘格方格内部。将二值化图像与待滤波图像I_pi相乘，保留图像I_pi在二值化图像中像素值为1所对应的点的灰度值，得到棋盘格边缘的图像，同理可以得到棋盘格内部的图像。于是将图像分类为棋盘格内部C及棋盘格边缘E。图12为棋盘格内部及棋盘格边缘两类的概率密度函数,横轴为像素灰度值,纵轴为图像像素点具有该灰度值的概率，t₁及t₂为棋盘格边缘的灰度值上下阈值。然而由于噪声的影响，在棋盘格边缘类内可能有虚假边缘的存在，为了尽可能多的保留真实边缘的信息，同时去除虚假边缘的影响，应用了基于贝叶斯决策准则的滤波函数。

选取的滤波函数为如式1所示

$I_{\mathrm{fi}}=f\left(I_{\mathrm{pi}}\right)=\left\{\begin{array}{c}\mathrm{threshold},g_n<\mathrm{threshold}\\ g_n,g_n\&GreaterEqual;\mathrm{threshold}\end{array}\right.(i=\mathrm{1,2,3,4})---\left(1\right)$

其中，threshold为选取的滤波函数阈值，g_n为图像I_pi中第n个像素点的灰度值，该滤波函数遍历了图像I_pi中的所有像素点，表示图像中灰度值高于阈值的点(浅色格子内部及边缘)均不受影响，而其它点(深色格子内部)经过滤波其灰度值将等于阈值。经分析可知噪声主要集中在棋盘图案的深色格子内部，为使滤波器能够消除深色格子内的噪声，又不破坏角点的形貌，尤其是不破坏棋盘格边缘区域E的信息，需要选择合适的滤波函数阈值。

由于图像I_pi是存在噪声干扰的棋盘图案，所以像素点主要分布于灰度值较高和较低的两个区间，灰度值小于阈值t₁的区间代表深色格子内部区域，灰度值大于阈值t₂的区间代表浅色格子内部区域，而两区间之间的部分代表边缘。

设像素点p灰度值为g,因此t₁≤g≤t₂时p∈E而g<t₁org>t₂时p∈C。其中t₁及t₂为棋盘格边缘的灰度值上下阈值。

本实施例优选用贝叶斯决策理论来确定灰度值上下阈值，并最终得到滤波函数阈值，即如下表达式：

通过式P(g/E)·P(E)＝P(g/C)·P(C),可以得到两解g＝t₁及g＝t₂。其中t₁≤g≤t₂为棋盘格边缘的灰度值上下范围，E表示棋盘格边缘，C表示棋盘格内部，P(g/E)为属于棋盘格边缘类的像素点中，像素点灰度值为g的概率，P(g/C)为属于棋盘格方格内部的像素点中，像素点灰度值为g的概率，P(E)为像素点位于棋盘格边缘的概率，P(C)为像素点位于棋盘格内部的概率。

上式中的P(E)、P(C)、P(g/E)、P(g/C)均可通过待滤波图像I_pi及二值化图像得到。

将二值化图像及反相二值化图像分别与图像I_pi相乘即可得到棋盘格边缘区域的图像与棋盘格内部区域的图像，可以统计出棋盘格边缘的像素点数量n(E)与棋盘格内部的像素数量n(C)。

可得：

$\mathrm{PE}=\frac{n\left(E\right)}{c\left(C\right)+n\left(E\right)}$

P(C)＝1-P(E)

对棋盘格边缘区域的图像建立直方图，图像直方图的横轴为灰度值，纵轴为具有该灰度值的像素的数量。可以统计出棋盘格边缘处灰度值为g的像素点的数量n(g/E)。

可得：

$P(g/E)=\frac{n(g/E)}{n\left(E\right)}$

同理有其中n(g/C)为棋盘格内部灰度值为g的像素点的数量。

将P(E)、P(C)、P(g/E)、P(g/C)分别代入式P(g/E)·P(E)＝P(g/C)·P(C)即可得到t₁及t₂。

其中求得像素灰度值较低的解t₁即为所选取的滤波函数阈值threshold。

如图1所示，单应性矩阵模块，以角点提取模块得到的摄像机像平面坐标系上打印棋盘图案的角点坐标作为输入，和已知的标定板平面坐标系上打印棋盘图案的角点坐标建立对应关系，用最优化方法估计得摄像机像平面与标定板平面间的单应性矩阵H并输出给角点映射模块。最优化方法包括线性规划、神经网络优化、最小二乘法、模拟退火法、遗传算法等方法，在本实例中优选了最小二乘法；

如图1所示，角点提取模块实现两种功能，一种是对图像传感及校正模块捕获并畸变校正后的，纯白图案与打印棋盘图案叠加的标定区域图像I_pw进行角点提取，首先对图像传感及校正模块输出的图像进行四边形拟合，获得粗略的角点位置，然后在包含粗略角点位置的附近区域，利用单马鞍角点提取方法获得精确角点，得到摄像机像平面坐标系上打印棋盘图案角点坐标，输出给单应性矩阵模块进行矩阵的估计，另一种则是对经运算、滤波后的投影棋盘图案与打印棋盘图案叠加的标定区域图像进行角点提取，首先对图像滤波模块输出的图像进行四边形拟合，获得粗略的角点位置，然后在包含粗略角点位置的附近区域，利用四马鞍角点提取方法得到较为精确的摄像机像平面坐标系上投影棋盘图案的角点坐标，输出给角点映射模块及投影仪标定模块。

所谓马鞍，指的是数学上由式F(x,y)＝ax²+bxy+cy²+dx+ey+f所描述的曲面，如图8所示。在本实例中x,y是像素点在图像平面的坐标，F(x,y)是像素点的灰度值，‘a’,‘b’,‘c’,‘d’,‘e’及‘f’均为未知参数。

在具体实施中，单马鞍角点提取方法有两种实施形式。第一种是用一个马鞍面拟合棋盘格角点附近的灰度值分布以进行亚像素级的优化，所得的鞍点即为角点。求解鞍点的经典方法是通过解最小二乘问题 $\underset{a,b,c,d,e,f}{\min }{\left|\right|({\mathrm{ax}}^2+\mathrm{bxy}+{\mathrm{cy}}^2+\mathrm{dx}+\mathrm{ey}+f)-\mathrm{\&psi;}(x,y)\left|\right|}^2$ 得到未知参数，用马鞍方程拟合角点附近有限个像素点的灰度值ψ(x,y)，由于鞍点同时为马鞍面一个方向上的极大点及另一个方向上的极小点，只需联立两方向的极值点即可得到鞍点坐标(x_m,y_m):

$\left\{\begin{array}{c}2{\mathrm{ax}}_m+{\mathrm{by}}_m+d=0\\ {\mathrm{bx}}_m+2{\mathrm{cy}}_m+e=0\end{array}\right.$

第二种方法则通过求得到C点坐标。

如图9所示，C为所求的角点坐标，P为图像中任意一点的坐标，为角点C至图像任一点P的向量，则为P点处灰度值的梯度。之前已把棋盘格分为棋盘格内部和棋盘格边缘两部分，由于图像是渐变的，可认为滤波后属于棋盘格内部的点梯度均为0，而属于棋盘格边缘处的点梯度则很大。故若P属于棋盘格内部，理想情况下若P属于棋盘格边缘，虽然很大，但角点定义为棋盘十字交叉的中点，和是垂直的，所以仍有综上，对图像上任一点P，理论上都有但考虑到噪声等因素的影响，我们取最小时的点C为角点。在具体实施中，以之前采用角点检测方法估算的角点坐标为中心，取周围像素(在本实例中优选角点周围10×10范围内的像素)为P点代入通过使该式最小得到亚像素优化后的角点坐标C。

图9、图10为互补棋盘格的示意图，可分别用两个方向不同的马鞍去拟合，并先粗略估计再利用单马鞍角点提取方法进行角点提取。经分析可知单马鞍角点提取方法误差存在明显的方向性,若使用双马鞍角点提取方法，将两图案分别经单马鞍方法提取的角点坐标取平均，能使角点提取误差从两个方向上得到补偿，大幅提高精度。图11为棱形棋盘格的示意图，每个小圈代表一个像素，小圈涂黑代表该像素点为黑色，否则均为白色，而图案中央的交叉点即为角点。显然该图案角点附近的形貌也可用马鞍面拟合，且与图9、图10中的马鞍面成45°角。所以若采用四马鞍角点提取方法，分别用单马鞍角点提取方法提取出方形棋盘格图案和反相方形棋盘格图案(优选如图2和图3所示)以及将互补方形棋盘格图案旋转45°得到的棱形棋盘格图案和反相棱形棋盘格图案(优选如图4和图5所示)，再对角点坐标取平均能使误差从四个方向相互补偿，取得更高的角点提取精度，而最终得到更高的系统标定精度。

如图1所示，角点映射模块，以从角点提取模块得到的摄像机像平面坐标系上投影棋盘图案的角点坐标及从单应性矩阵模块获取的单应性矩阵H为输入，应用单应性关系m＝Hm_c将投影棋盘图案的角点坐标从摄相机像平面映射到标定板平面上，并输出给投影仪标定模块以进行投影仪标定。(其中H为单应性矩阵，m_c为摄相机像平面上的点，而m为标定板平面上的对应点。)这样才能建立投影仪像平面和标定板平面上角点的对应关系。

如图1所示，所述投影仪标定模块以从角点映射模块得到的标定板平面坐标系上投影棋盘图案角点坐标和从图案生成模块得到的投影仪像平面坐标系上投影棋盘图案角点坐标为输入，建立对应关系以对投影仪进行标定，得到投影仪的内参数，同时以从角点提取模块得到的摄像机像平面坐标系上投影棋盘图案的角点坐标为输入，同投影仪像平面坐标系上的角点坐标建立对应关系进行运算得到投影仪与摄像机之间的外参数；输出投影仪的内参数和投影仪与摄像机之间的外参数；所述内参数为投影模块光学镜头的畸变失真参数、焦距、像素点尺寸以及主点位置等，而外参数即投影仪、摄相机间的相对位置及姿态。由于投影仪可以看做逆向的摄相机，故能利用摄相机标定方法进行标定，本发明实施例中仍优选了应用最为普遍的张正友的标定方法。

首先由摄像机标定模块应用已成熟的摄相机标定方法对图像传感及校正模块进行标定，得到图像传感及校正模块的内参数及图像传感及校正模块与标定板平面间的位置姿态信息。为了取得较好的标定结果，这里选用的是应用最为普遍的张正友方法。

本系统还需进行投影模块的标定，不仅要获得投影模块的内参数，还要取得投影模块、图像传感及校正模块间的相对位置及姿态信息。于是在图像传感及校正模块标定完成后，控制模块要使系统进入投影仪标定的状态。本系统为了提高标定的精度，基于上述四马鞍角点提取方法特别选取了互补方形棋盘格图案(优选如图2、3所示图案)与将互补方形棋盘格图案旋转45°得到的互补棱形棋盘格图案(优选如图4、5所示图案)用于投影，它们所有对应的角点位置是相同的。在具体实施中先对投影任一投影棋盘图案时的标定区域图像进行四边形拟合，获得粗略的角点位置，然后在包含粗略角点位置的附近区域，分别对投影四种投影棋盘图案(优选图2-5)的标定区域图像应用单马鞍角点提取方法，并将角点提取的结果取平均使误差从四个方向相互补偿，得到更精确的摄像机像平面坐标系投影棋盘图案角点坐标，以提高标定的精度。

首先图案生成模块产生纯白图案，该模块与投影模块相连接，直接将纯白图案作为投影模块的输入。投影模块向标定板上投影纯白图案，使标定板上的打印棋盘图案与纯白图案叠加。利用图像传感及校正模块采集并校正标定区域图像，得到打印棋盘图案与纯白图案叠加的标定区域图像I_pw。

控制模块使角点提取模块对I_pw进行角点提取，得到摄像机像平面坐标系上打印棋盘图案的角点坐标，并传给单应性矩阵模块。单应性矩阵模块将摄像机像平面坐标系上打印棋盘图案的角点坐标和已知的标定板平面坐标系上打印棋盘图案的角点坐标建立对应关系，并用最优化方法(本实例中优选了最小二乘法)估计得摄像机像平面与标定板平面间的单应性矩阵H并输出给角点映射模块。

控制模块再使图案生成模块产生棋盘图案(本实例中优选图2)，通过投影模块投影至标定板上，使打印棋盘图案与投影棋盘图案相互叠加，经图像传感及校正模块采集并畸变校正，得到两棋盘图案叠加的标定区域图像I_pp1。I_pp1从图像传感及校正模块传到图像运算模块，与之前得到的标定板图像I_pw相减，有I_s1＝I_pw-I_pp1，用差分的方法消除了投影棋盘图案与打印棋盘图案间相互干扰的影响。由于图像减法使I_s1近似成为与投影棋盘图案互补的形式，为了处理方便起见，可以将图像反相I_p1＝255-I_s1。接着将图像I_p1从图像运算模块传到图像滤波模块，首先应用边缘提取方法(优选了sobel算子的方法)得到原图像的梯度图像，所述梯度图像中像素点的灰度值为原图像该点处灰度值的梯度。再应用阈值分割方法(优选了大津阈值方法)从梯度图像得到二值化图像，将图像分类为棋盘格内部C及棋盘格边缘E。

优选利用贝叶斯决策准则得到合适的阈值，使原图像通过滤波函

数 $I_{\mathrm{fi}}=f\left(I_{\mathrm{pi}}\right)=\left\{\begin{array}{c}\mathrm{threshold},g_n<\mathrm{threshold}\\ g_n,g_n\&GreaterEqual;\mathrm{threshold}\end{array}\right.(i=\mathrm{1,2,3,4}),$

其中threshold为选取的阈值，gn为图像I_pi中第n个像素点的灰度值，该滤波函数遍历了图像I_pi中的所有像素点，表示图像中灰度值高于阈值的点(浅色格子内部及边缘)均不受影响，而其它点(深色格子内部)经过滤波其灰度值将等于阈值。滤波后得到图像I_f1，滤去了图像I_p1中主要由于摄相机非线性响应及图象锐化所引起的噪声。然后将滤波后的图像I_f1从图像滤波模块传到角点提取模块。由于棋盘图案角点附近的灰度值分布和马鞍面相似，故可用马鞍对其进行拟合，并求得鞍点作为角点提取的结果。角点提取模块对标定板平面上的I_f1先进行四边形拟合，获得粗略的角点位置，然后在包含粗略角点位置的附近区域，使用单马鞍角点提取方法进行角点提取，得到第一种投影棋盘图案(本实例中优选图2)在摄像机像平面上的角点坐标。

由于此时仅完成对第一种投影棋盘图案的角点提取，故控制模块将使图案生成模块产生第二种投影棋盘图案即反相棋盘图案(本实例中优选图3)，目的是使角点提取误差的方向性得到补偿，最终提高标定的精度。通过和第一种图案类似的流程，投影模块向标定板投影反相棋盘图案，并由图像传感及校正模块获取并畸变校正打印棋盘图案与反相棋盘图案叠加的标定区域图像I_pp2。使I_pp2通过图像处理模块进行运算、滤波并最终进行角点提取，得到第二种投影棋盘图案在摄像机像平面坐标系中的角点坐标。

由于当前仅获得两种投影棋盘图案的角点，控制模块将使图案生成模块产生第三种投影棋盘图案即棱形棋盘图案(本实例中优选图4)，目的是从新的方向上对角点提取误差进行补偿。同上述流程类似，投影模块向标定板投影棱形棋盘图案，图像传感及校正模块获取并校正打印棋盘图案与棱形棋盘图案叠加的标定板图像I_pp3，I_pp3经过图像处理模块最终得到第三种投影棋盘图案的角点。最后，图案生成模块产生第四种投影棋盘图案即反相棱形棋盘图案(本实例中优选图5)，并经过投影模块、图像传感及校正模块、图像处理模块而得到角点信息。

由于此时已获得四种投影棋盘图案的角点信息，故控制模块将使角点提取模块对四种投影棋盘图案的角点坐标取平均，使误差从四个方向相互补偿，得到相对精确的摄像机像平面坐标系中投影棋盘图案角点坐标并输出给角点映射模块及投影仪标定模块。角点映射模块利用单应性矩阵模块得到的当前姿态下的单应性矩阵H，通过单应性关系将角点坐标从摄相机像平面映射到标定板平面上去。据此可以确定标定板平面上角点与投影仪像平面上角点的对应关系，用于投影仪标定模块进行标定。但控制模块还要判断角点的数量是否大于阈值N，若角点数量不够则控制模块会提示用户改变标定板的位置和姿态。(为了保证标定的精度，不能仅平移标定板，必须要进行旋转且旋转的角度也不能太大，应控制在45°以内。)在改变标定板的位置及姿态后，重新从投影仪标定的第一步，即投影纯白图案开始循环上述流程。在具体实施中需要改变标定板姿态循环操作多次，才能得到足够的角点信息，本实施例中优选循环十次。投影仪标定模块利用上面获得的标定板平面坐标系上投影棋盘图案角点坐标以及已知的投影仪像平面坐标系上投影棋盘图案角点坐标进行标定，得到投影仪的内参数，再利用摄像机像平面坐标系上投影棋盘图案角点坐标与投影仪像平面坐标系上的角点坐标建立对应关系，进行运算得到投影仪与摄像机间的外参数，即相对位置及姿态参数。

在本实施例中，所述投影模块可为投影仪，所述图像传感及校正模块可为摄相机及相应校正单元，并且均与计算机相连。所述控制模块、图像运算模块、滤波模块等可包含于带有相应执行处理软件的计算机或嵌入式系统。于是通过计算机上的相应软件控制，再手动改变标定板与被标定系统的相对位置及方向即可完成标定的全过程。

在另一实施例中，所述的控制模块、图像传感及校正模块、图像运算模块等均可集成在手机中。通过手机上的投影仪投影相应图案在标定板上，利用摄像头采集图像数据，再由手机上安装的软件进行数据处理，手动移动标定板即可完成标定的全过程。

为进一步体现本投影仪-摄像机标定系统的优越性，本发明还提供一种应用上述系统的标定方法，具体包括如下步骤：

S1：用摄像机标定方法对摄像机标定，得到摄像机内参数；

S2：投影仪向标定板投影纯白图案并与标定板的图案叠加，摄像机捕获第一标定区域图像，利用摄像机内参数对第一标定区域图像畸变校正；

S3：提取校正后第一标定区域图像中的角点坐标；

S4：根据校正后第一标定区域图像中的角点与打印棋盘格中已知角点的对应关系估计摄像机像平面和标定板平面之间的单应性矩阵；

S5：投影仪向标定板投影预设棋盘图案，摄像机捕获第二标定区域图像并利用摄像机内参数进行畸变校正；

S6：对校正后第二标定区域图像与校正后第一标定区域图像进行差分与反相运算并滤波处理；

S7：提滤波后第二标定区域图像的角点坐标，并判断预设是否已投影完毕，如果预设棋盘图案投影完毕，则进入步骤S8，如果未投影完毕则更换预设棋盘图案重新执行S5；

S8：对投影不同棋盘图案时得到的角点坐标取平均值，然后应用单应性关系将角点坐标从摄像机像平面映射至标定板平面；

S9：判断角点数量是否大于阈值，若不足，则调整标定板的姿态后，回到步骤S2，若满足则进入步骤S10；

S10：根据投影仪像平面与标定板平面上角点坐标的对应关系，根据投影仪像平面、摄像机像平面上、标定板平面上角点坐标的对应关系，计算获取投影仪与摄像机之间的外参数。

下面对本方法展开详细说明。

首先，介绍用摄像机标定方法对摄像机标定，得到摄像机内参数的步骤。

运用摄相机标定方法对摄相机进行标定，得到摄相机的内参数，即图像传感及校正模块光学镜头的畸变失真参数、焦距、像素点尺寸以及主点位置等。目前已有很多摄像机标定方法，在这里优选张正友方法。

其次，介绍向标定板投影纯白图案并与标定板的图案叠加，捕获标定区域图像并进行畸变校正的步骤。

通过投影仪向标定板上投影纯白图案，使得标定板上打印棋盘图案与投影纯白图案叠加，用摄相机捕获到标定区域图像A1，并利用已获得的摄像机内参数对投影纯白图案时拍摄的标定区域图像进行畸变失真校正。

第三，介绍提取标定区域图像中的角点坐标的步骤。

首先对打印棋盘图案与纯白图案叠加的标定区域图像A1进行四边形拟合，获得粗略的角点位置，然后在包含粗略角点位置的附近区域应用单马鞍角点提取方法，得到摄像机像平面坐标系上打印棋盘图案的角点坐标。

第四，介绍根据角点的对应关系估计摄像机像平面和标定板平面之间的单应性矩阵的步骤。

将摄像机像平面坐标系上打印棋盘图案的角点坐标与标定板平面坐标系上打印棋盘图案的角点坐标建立对应关系，应用最优化方法得到当前姿态下摄像机像平面与标定板平面间的单应性矩阵H。最优化方法包括线性规划、神经网络优化、最小二乘法、模拟退火法、遗传算法等方法，在本实例中优选了最小二乘法。

第五，介绍向标定板投影特定棋盘图案并与标定板的图案叠加，捕获标定区域图像并进行畸变校正的步骤。

通过投影仪向标定板上投影影预设特定棋盘图案i(i＝1,2,3,4。预设特定棋盘图案分别为：方形棋盘格图案，反相的方形棋盘格图案，以及将方形棋盘格图案旋转45°得到的棱形棋盘格图案和反相棱形棋盘格图案本实例优选图2-5)，使打印棋盘图案与投影棋盘图案i叠加，并用摄相机获得并畸变校正标定区域图像A2(i＝1,2,3,4)。

第六，介绍对标定区域图像差分、反相、滤波处理的步骤。

首先，用差分的方法消除投影棋盘图案与打印棋盘图案间的相互干扰，将投影纯白图案时的标定区域图像A1与投影棋盘图案i时的标定区域图像A2做差分，由于图像差分使图像近似成为与投影棋盘图案i互补的形式，为了处理方便起见，可将图像反相即A3＝255-(A1-A2)。

其次，应用边缘提取方法(优选了sobel算子的方法)得到标定区域图像A3的梯度图像，所述梯度图像中像素点的灰度值为原图像该点处灰度值的梯度。再应用阈值分割方法(优选了大津阈值方法)从梯度图像得到二值化图像。当梯度图像某像素的灰度值大于某一阈值时，在二值化图像中对应点的像素值为1，反之则为0。取二值化图像中像素值为1的区域为棋盘格边缘，像素值为0的区域为棋盘格方格内部，于是将图像分类为棋盘格内部C及棋盘格边缘E。

图12为棋盘格内部及棋盘格边缘两类的概率密度函数,横轴为像素灰度值,纵轴为图像像素点具有该灰度值的概率，t₁及t₂为棋盘格边缘的灰度值上下阈值。然而由于噪声的影响，在棋盘格边缘类内可能有虚假边缘的存在，为了尽可能多的保留真实边缘的信息，同时去除虚假边缘的影响，应用了基于贝叶斯决策准则的滤波函数。

然后，优选用贝叶斯决策理论来获取滤波函数阈值，即如下表达式：

通过式P(g/E)·P(E)＝P(g/C)·P(C),可以得到两解g＝t₁及g＝t₂。其中t₁≤g≤t₂为棋盘格边缘的灰度值上下范围，E表示棋盘格边缘，C表示棋盘格内部，P(g/E)为属于棋盘格边缘类的像素点中，像素点灰度值为g的概率，P(g/C)为属于棋盘格方格内部的像素点中，像素点灰度值为g的概率，P(E)为像素点位于棋盘格边缘的概率，P(C)为像素点位于棋盘格内部的概率。

上式中的P(E)、P(C)、P(g/E)、P(g/C)均可通过待滤波图像A3及其二值化图像得到。

将二值化图像及反相二值化图像分别与图像A3相乘即可得到棋盘格边缘区域的图像与棋盘格内部区域的图像，可以统计出棋盘格边缘的像素点数量n(E)与棋盘格内部的像素数量n(C)。

可得：

$\mathrm{PE}=\frac{n\left(E\right)}{c\left(C\right)+n\left(E\right)}$

P(C)＝1-P(E)

对棋盘格边缘区域的图像建立直方图，图像直方图的横轴为灰度值，纵轴为具有该灰度值的像素的数量。可以统计出棋盘格边缘处灰度值为g的像素点的数量n(g/E)。

可得：

$P(g/E)=\frac{n(g/E)}{n\left(E\right)}$

同理有其中n(g/C)为棋盘格内部灰度值为g的像素点的数量。

将P(E)、P(C)、P(g/E)、P(g/C)分别代入式P(g/E)·P(E)＝P(g/C)·P(C)即可得到t₁及t₂。

其中求得像素灰度值较低的解t₁即为所选取的滤波函数阈值threshold。

再者，将已消除投影棋盘图案与打印棋盘图案间相互干扰的标定区域图像A3通过我们选取的滤波函数

$A4=f\left(A3\right)=\left\{\begin{array}{c}\mathrm{threshold},g_n<\mathrm{threshold}\\ g_n,g_n\&GreaterEqual;\mathrm{threshold}\end{array}\right.$

除去由于图象锐化及摄相机的非线性响应所引起的噪声，得到滤波后的标定区域图像A4。其中threshold为选取的阈值，g_n为图像A3中第n个像素点的灰度值，该滤波函数遍历了图像A3中的所有像素点，表示图像中灰度值高于阈值的点(浅色格子内部及边缘)均不受影响，而其它点(深色格子内部)经过滤波其灰度值将等于阈值。

第七，介绍提取标定区域图像上的角点坐标，并按角点的获取情况重复上述步骤。

首先对标定区域图像A4进行四边形拟合，获得粗略的角点位置，然后在包含粗略角点位置的附近区域，利用单马鞍角点提取方法提取出标定区域图像A4的角点坐标。所谓马鞍，指的是数学上由式F(x,y)＝ax²+bxy+cy²+dx+ey+f所描述的曲面，如图8所示。在本实例中x,y是坐标，F(x,y)是像素点的灰度值，‘a’,‘b’,‘c’,‘d’,‘e’及‘f’均为未知参数。所述单马鞍角点提取方法有两种方法，第一种是用一个马鞍曲面拟合棋盘格角点附近的灰度值分布，通过解最小二乘问题可以求得未知参数，并最终解出鞍点的坐标作为角点位置。第二种则是通过求得到角点坐标C。其中C为所求的角点坐标，P为图像中任意一点的坐标，为角点C至图像任一点P的向量，则为P点处灰度值的梯度。

判断是否四种投影棋盘图案(本实例中优选图2-5)的角点均已获取，若均获取，即i＝4,则进入S8对角点信息进行处理。若没获取完，即i<4,则回到S5循环以上流程且i＝i+1。

第八：介绍对角点坐标取平均值并利用单应性关系映射到标定板平面的步骤。

上述步骤中用四种投影棋盘图案获得了四种图案的角点信息，四个方向不同的马鞍拟合了四种投影棋盘图案角点附近的灰度值分布，分别用单马鞍角点提取方法得到了马鞍的鞍点，并各自作为图像的角点。本步骤控制模块将对四种投影图案的角点坐标取平均，使误差从四个不同的方向相互补偿，得到摄像机像平面坐标系中更为精确的角点位置，最终获得更高的系统标定精度。

然后，利用当前姿态下得到的单应性矩阵H将投影棋盘图案的角点坐标从摄相机像平面映射到标定板平面上。所述的单应性关系即m＝Hm_c。其中H为单应性矩阵，m_c为摄相机像平面上的点，而m为标定板平面上的对应点。

第九，介绍判断角点的数量是否大于阈值N，并按角点的获取情况在调整标定板姿态后重复上述步骤。

在对四种投影棋盘图案的角点坐标取平均并映射到标定板平面后需要判断角点数目是否足够并重新调整，具体包括：判断角点数量是否大于阈值N，若角点数量不够则控制模块会提示用户改变标定板的位置和姿态。(为了保证标定的精度，不能仅平移标定板，必须要进行旋转且旋转的角度也不能太大，应控制在45°以内。)在改变标定板的位置及姿态后，重新从S2开始循环上述流程。在具体实施中需要改变标定板姿态循环操作多次，才能得到足够的角点信息，本实施例中优选循环十次。

第十，介绍利用摄像机标定方法标定投影仪的步骤。

在角点数目达到精度要求后，本发明可以将投影仪作相应的标定。由于投影仪可以看做是逆向的摄相机，故可利用摄相机标定方法标定投影仪(优选张正友方法)。以投影棋盘图案在标定板平面坐标系上的角点坐标和在投影仪像平面坐标系上的角点坐标作为输入，得到投影仪的内参数，再根据投影仪像平面与摄像机像平面上角点坐标的对应关系进行运算，得到投影仪与摄像机间的外参数，整个系统标定完成。

综上所述，本发明提供的高精度投影仪-摄相机系统标定系统及方法在摄相机标定时得到摄像机内参数，通过向标定板轮流投影多幅特定图案确定投影仪像平面与标定板平面间的单应性关系，再经过图像运算、滤波完成较精确的角点提取，建立起投影仪标定所需的对应关系，并最终利用张正友标定法进行标定，得到投影仪的内参数与外参数。本发明采用了图像差分的方法消除打印图案与投影图案间的相互干扰，并在投影仪标定的角点识别步骤中使用了依次投影四种特定棋盘图案的方法，从四个方向补偿了误差。同时还设计了有效的滤波器，使得标定精度大幅上升。本发明可以应用于投影仪-摄相机系统的标定，尤其是提高现有结构光三维测量系统的精度。取得了0.1028像素的均方根重投影误差以及0.3102像素的最大重投影误差，不需要其它复杂昂贵的辅助设备。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (10)

1.一种高精度的投影仪-摄像机标定系统，其特征在于，包括：

用于综合调度各模块之间工作的控制模块、用于产生投影用图案的图案生成模块、用于展示投影图像的标定板、用于将图案向标定板上投影的投影模块、用于向摄像机标定模块或图像处理模块输出图像数据的图像传感及校正模块、用于估计摄像机参数的摄像机标定模块、用于对标定区域图像处理的图像处理模块、用于对投影仪进行标定的投影仪标定模块；

所述图案生成模块、所述投影模块、所述图像传感及校正模块、所述摄像机标定模块、所述图像处理模块、所述投影仪标定模块分别与所述控制模块双向通信连接，所述摄像机标定模块与所述图像传感及校正模块双向通信连接，所述图案生成模块分别与所述投影模块和所述投影仪标定模块通信连接，所述图像传感及校正模块与所述图像处理模块通信连接，所述图像处理模块与所述投影仪标定模块通信连接；

所述控制模块控制所述摄像机标定模块按照相应的摄像机标定方法对图像传感及校正模块标定并存储相应摄像机内参数；

所述控制模块控制所述图案生成模块和所述投影模块轮流在所述标定板上投影特定的不同图案，所述控制模块控制所述摄像机标定模块所述摄像机内参数传递至所述图像传感及校正模块，所述图像传感及校正模块分别采集所述标定区域图像并利用摄像机内参数进行图像畸变校正后传送至所述图像处理模块，所述图像处理模块分别对图像差分、反相运算、滤波映射处理后得到角点信息，所述控制模块控制所述投影仪标定模块利用所述角点信息建立对应关系对投影仪标定得到投影仪内参数和投影仪与摄像机之间的外参数。

2.如权利要求1所述的投影仪-摄像机标定系统，其特征在于，所述图像处理模块包括：

对图像进行差分及反相运算的图像运算模块、对图像滤波消除噪声的图像滤波模块、对图像进行角点提取得到角点坐标的角点提取模块、估计摄像机像平面和标定板平面间单应性矩阵的单应性矩阵模块、将角点坐标从摄像机像平面映射到标定板平面上的角点映射模块；

所述图像运算模块与所述图像滤波模块连接，所述图像滤波模块与所述角点提取模块连接，所述角点提取模块及所述单应性矩阵模块分别与所述角点映射模块连接，所述角点提取模块与所述单应性矩阵模块连接；所述角点提取模块与所述图像传感及校正模块连接，所述角点映射模块、所述角点提取模块分别与所述投影仪标定模块连接；

所述图像传感及校正模块采集并校正的标定区域图像传输至所述图像运算模块及所述角点提取模块；

所述角点提取模块对接收到图像角点提取得到摄像机像平面坐标系上打印棋盘图案的角点坐标；

所述单应性矩阵模块以摄像机像平面坐标系上打印棋盘图案的角点坐标作为输入，和标定板平面坐标系上打印棋盘图案的角点坐标建立对应关系，用最优化方法估计得摄像机像平面与标定板平面间的单应性矩阵并输出给所述角点映射模块；

所述图像运算模块对接收的图像差分运算、反相处理得到标定区域图像，输出至所述图像滤波模块；

所述图像滤波模块对图像滤波、消除噪声处理后传送至角点提取模块；

所述角点提取模块采用相应角点提取方法提取角点坐标并输出至所述投影仪标定模块；

所述角点映射模块以所述角点提取模块传输的摄像机像平面角点坐标及从所述单应性矩阵模块获取的单应性矩阵为输入，应用单应性关系将摄像机像平面角点坐标映射到标定板平面上，并输出至所述投影仪标定模块。

3.如权利要求2所述的投影仪-摄像机标定系统，其特征在于，

所述图像滤波模块对接收的图像滤波处理时，首先计算图像的梯度，再对梯度图像进行阈值分割得到二值化图像，以将图像分类为棋盘格内部类及棋盘格边缘类。

再使图像滤波模块接收的图像通过所选取的滤波函数：

$I_{\mathrm{fi}}=f\left(I_{\mathrm{pi}}\right)=\left\{\begin{array}{c}\mathrm{threshold},g_n<\mathrm{threshold}\\ g_n,g_n\&GreaterEqual;\mathrm{threshold}\end{array}\right.(i=\mathrm{1,2,3,4})$

其中，threshold为选取的阈值，I_pi为图像滤波模块接收的图像，I_fi为图像滤波模块滤波后的图像，g_n为图像I_pi中第n个像素点的灰度值，所述滤波函数遍历了图像I_pi中的所有像素点，在选择了合适阈值的前提下，能够保留图像中棋盘格边缘处的信息，且使得图像中灰度值相对较小或颜色较深的棋盘格内的像素值尽量均为该门限值。

4.如权利要求3所述的投影仪-摄像机标定系统，其特征在于，所述阈值是通过贝叶斯决策理论来确定的，具体如下：

通过式P(g/E)·P(E)＝P(g/C)·P(C),可以得到两解g＝t₁及g＝t₂。其中t₁≤g≤t₂为棋盘格边缘的灰度值上下范围，E表示棋盘格边缘，C表示棋盘格内部，P(g/E)为属于棋盘格边缘类的像素点中，像素点灰度值为g的概率，P(g/C)为属于棋盘格方格内部的像素点中，像素点灰度值为g的概率，P(E)为像素点位于棋盘格边缘的概率，P(C)为像素点位于棋盘格内部的概率；

针对图像滤波模块接收的图像I_pi，对棋盘格边缘与棋盘格内部的像素数量确定P(E)及P(C)，根据归一化直方图获得概率P(g/C)及P(g/E)，代入上式，其中求得像素灰度值较低的解t₁即为阈值。

5.如权利要求2所述的投影仪-摄像机标定系统，其特征在于，所述角点提取模块提取角点坐标时，

所述角点提取模块对图像传感及校正模块输出的纯白图案与打印棋盘图案叠加的标定区域图像进行四边形拟合，获得粗略的角点位置，然后在包含粗略角点位置的附近区域，利用单马鞍角点提取方法获得精确角点坐标，进而将该摄像机像平面坐标系上角点坐标输出给所述单应性矩阵模块进行单应性矩阵的估计；

所述角点提取模块对图像滤波模块输出的投影棋盘图案与打印棋盘图案叠加的标定区域图像进行四边形拟合，获得粗略的角点位置，然后在包含粗略角点位置的附近区域，利用四马鞍角点提取方法获取精确角点坐标，进而将该摄像机像平面坐标系上角点坐标输出至角点映射模块及投影仪标定模块；

所述四马鞍角点提取方法是分别用单马鞍角点提取方法提取出四种投影棋盘图案的角点，再对四个角点坐标取平均，得到最终角点坐标。

6.如权利要求1所述的投影仪-摄像机标定系统，其特征在于，

所述特定的不同图案是方形棋盘格图案、反相的方形棋盘格图案，将方形棋盘格图案旋转45°得到的棱形棋盘格图案或反相棱形棋盘格图案。

7.一种应用权利要求1至6任意一项所述投影仪-摄像机标定系统的标定方法，其特征在于，包括如下步骤：

S1：用摄像机标定方法对摄像机标定，得到摄像机内参数；

S2：投影仪向标定板投影纯白图案并与标定板的图案叠加，摄像机捕获第一标定区域图像，利用摄像机内参数对第一标定区域图像畸变校正；

S3：提取校正后第一标定区域图像中的角点坐标；

S4：根据校正后第一标定区域图像中的角点与打印棋盘格中已知角点的对应关系估计摄像机像平面和标定板平面之间的单应性矩阵；

S5：投影仪向标定板投影预设棋盘图案，摄像机捕获第二标定区域图像并利用摄像机内参数进行畸变校正；

S6：对校正后第二标定区域图像与校正后第一标定区域图像进行差分与反相运算并滤波处理；

S7：提取滤波后第二标定区域图像的角点坐标，并判断预设棋盘图案是否已投影完毕，如果预设棋盘图案投影完毕，则进入步骤S8，如果未投影完毕则更换预设棋盘图案重新执行S5；

S8：对投影不同棋盘图案时得到的角点坐标取平均值，然后应用单应性关系将角点坐标从摄像机像平面映射至标定板平面；

S9：判断角点数量是否大于阈值，若不足，则调整标定板的姿态后，回到步骤S2，若满足则进入步骤S10；

S10：根据投影仪像平面与标定板平面上角点坐标的对应关系，根据投影仪像平面、摄像机像平面上、标定板平面上角点坐标的对应关系，计算获取投影仪与摄像机之间的外参数。

8.如权利要求7所述的标定方法，其特征在于，所述滤波处理的步骤进一步包括：

提取差分后第二标定区域图像的梯度图像，对所述梯度图像进行阈值分割得到二值化图像；

再使差分后第二标定区域图像通过所选取的滤波函数滤波处理：

$A4=f\left(A3\right)=\left\{\begin{array}{c}\mathrm{threshold},g_n<\mathrm{threshold}\\ g_n,g_n\&GreaterEqual;\mathrm{threshold}\end{array}\right.(i=\mathrm{1,2,3,4})$

其中，A4为滤波后第二标定区域图像，threshold为选取的阈值，A3为差分后第二标定区域图像，g_n为差分后第二标定区域图像中第n个像素点的灰度值。

9.如权利要求7所述的标定方法，其特征在于，所述阈值是通过贝叶斯决策理论来确定的，具体如下：

通过式P(g/E)·P(E)＝P(g/C)·P(C),可以得到两解g＝t₁及g＝t₂。其中t₁≤g≤t₂为棋盘格边缘的灰度值上下范围，E表示棋盘格边缘，C表示棋盘格内部，P(g/E)为属于棋盘格边缘类的像素点中，像素点灰度值为g的概率，P(g/C)为属于棋盘格方格内部的像素点中，像素点灰度值为g的概率，P(E)为像素点位于棋盘格边缘的概率，P(C)为像素点位于棋盘格内部的概率；

针对图像滤波模块接收的图像中图像棋盘格边缘与棋盘格内部的像素数量确定P(E)及P(C)，根据归一化直方图获得概率P(g/C)及P(g/E)，代入上式，其中求得像素灰度值较低的解t1即为阈值。

10.如权利要求7所述的标定方法，其特征在于，所述提取滤波后第二标定区域图像的角点坐标的步骤进一步还包括：

对滤波后第二标定区域图像四边形拟合，获得粗略的角点位置，然后在包含粗略角点位置的附近区域，利用四马鞍角点提取方法获取精确角点坐标；

所述四马鞍角点提取方法是分别用单马鞍角点提取方法提取出四种投影棋盘图案的角点，再对四个角点坐标取平均，得到最终角点坐标。