CN103020954A - 面向非规则表面的自适应投影系统 - Google Patents

Abstract

本发明涉及一套面向非规则表面的自适应投影系统，该系统包括自适应投影装置和基于非规则表面几何形态的投影图像几何校正方法，属于计算机图像处理技术领域。该系统使用新的彩色结构光编码方法，提高了编码图像的抗干扰能力和非规则表面的重构速度。使用该系统可以对非规则表面进行快速重构，并根据重构结果对投影图像进行畸变校正，使观察者在非规则表面上能够观察到连续一致的、无形变的投影图像，降低了投影系统的成本，提高了投影系统的智能化水平，扩大了投影系统的应用范围。

Description

面向非规则表面的自适应投影系统

技术领域

本发明涉及一套面向非规则表面的自适应投影系统，该系统包括自适应投影装置和基于非规则表面几何形态的投影图像几何校正方法，属于计算机图像处理技术领域。

背景技术

多投影显示系统作为一种先进的显示系统，在商业、军事、科研等诸多领域都有着巨大的应用前景。在商业应用领域，各商家可以使用多投影显示技术将产品全方位地展示给人们，使人们可以对其产品进行更加深入地了解。在军事领域，可以使用多投影显示技术来对军事武器进行试验及战术战法的训练仿真等，如美国的飞行员已经用模拟器在真实数据生成的全球战场地形上进行飞行战术训练。在计算机图像处理、计算机视觉、虚拟现实等众多的科学研究领域，多投影智能显示技术也都成为了研究热点。近些年，多投影系统在生活中的应用也随处可见，如2008年北京奥运会开幕式上的空中环幕，2009年山东全运会开幕式上的巨型碗幕，2010年上海世博会上世界气象馆、比利时-欧盟馆中的大屏幕，都展示了多投影显示技术的无穷魅力。

目前，拼接融合、几何校正、颜色补偿等技术已经比较成熟，但这些技术都是针对平面或已知规则曲面的投影表面或投影幕，如柱幕系统、锥幕系统，球幕系统和CAVE系统等。如果投影表面或投影幕发生形变，需要对投影表面或投影幕进行严格的调整，甚至更换新的投影表面或投影幕，这增加了多投影系统的成本，限制了多投影技术应用范围。

如果投影表面或投影幕是复杂曲面，投影图像会发生不同的失真与形变而无法满足观察者的视觉需求，为此，本项目充分地利用投影表面或投影幕的几何形态信息和观察视点，研究一种面向复杂曲面的多通道智能投影技术，以保证在任意复杂投影表面或投影幕上得到理想的图像，降低投影系统的成本，提高投影系统的智能化水平，扩大投影系统的应用范围。

发明内容

为了校正投影到非规则表面上的图像出现的畸变，本发明构建了一套面向非规则投影表面的自适应投影系统。面向自由表面的自适应投影系统能够根据自由投影表面的几何形态动态的进行几何校正，而使观看者能够在投影表面上看到理想的投影图像，这种面向自由表面的自适应投影系统解决的就是投影机、摄像机和自由投影表面三者之间的空间关系。

单独使用投影机无法实现其对于自由投影表面的适应性，为了使得投影机能够适应于自由投影表面而投射出理想的观察图像则需要借助摄像机的视觉特性，而自适应投影装置的集成指的就是将一个摄像机相对固定地绑定到一个投影机上而使二者具有运动一致的特性。自由投影表面的重构指的是利用点阵式彩色结构光编码图像对自由投影表面的几何特征形态进行三维估算。投影图像的校正指的是根据重建得到的投影表面几何形态对投影图像进行分块变换使得投射到投影表面的投影图像形成连续、一致的理想观察图像。

面向非规则投影表面的自适应投影系统，其特征在于，该系统所需设备和实现步骤如下：

所需设备：如图1所示，投影机1、摄像机2、配有双通道显示卡的计算机3、硬连接支架4；其中投影机1和摄像机2固定到硬连接支架4上以使二者保持相对固定的状态，摄像机2的图像采集输出端口通过电缆与计算机3相连，投影机1通过电缆与计算机3中的双通道显示卡的输出端口连接，使投影机1作为计算机3的扩展桌面。

面向非规则表面的自适应投影系统实现步骤如下：

1、通过使用张正友标定方法对投影机1和摄像机2进行内、外参数的标定，从而分别获取投影机1和摄像机2的畸变系数。

1.1、在计算机3中，产生一幅摄像机标定图像，如图2所示。摄像机标定图像的背景是透明度为50％的黑色，摄像机标定图像由8行6列的白色圆形构成，每个白色圆形的直径为18mm，相邻两个白色圆形的圆心间距均为25mm。用A4纸，将摄像机标定图像打印出来，并粘贴在一个平面板上，构成标定板。在计算机3中，产生一幅投影机标定图像，投影机标定图像的背景为纯黑，投影机标定图像由8行6列的白色圆形构成，每个白色圆形的直径为36像素，相邻两个白色圆形的圆心间距均为50像素。

1.2、将摄像机标定板摆放于投影机1和摄像机2之前，并确保投影机1的投影机标定图像能够完整地投射于标定板上且摄像机2能够从标定板上完整地摄取到投影机1投影的投影机标定图像。首先，使用摄像机2摄取摄像机标定图像，得到摄像机标定板图像；然后，保持标定板不动并将投影机标定图像投射到标定板上，使用摄像机2摄取投影到标定板上的投影机标定图像，得到投影机标定板图像；最后，改变标定板的位置或角度，重复以上步骤共拍摄十组摄像机标定板图像和投影机标定板图像。

使用OpenCV1.0中的cvThreshold函数，依次对摄像机标定板图像和投影机标定板图像进行二值化；使用OpenCV1.0中的cvFindContours函数，依次在二值化后的摄像机标定板图像和投影机标定板图像中找出各变形圆形的轮廓的点集；使用OpenCV1.0中的cvCvtSeqToArray函数，依次将摄像机标定板图像中的每一个变形圆形的轮廓的点集转换为一维数组，一维数组中元素的类型都为CvPoint；使用OpenCV1.0中的cvFitEllipse函数，对得到的每个一维数组进行椭圆拟合，得到每个椭圆的圆心，每个椭圆的圆心为摄像机标定特征点。使用OpenCV1.0中的cvCvtSeqToArray函数，依次将投影机标定板图像中的每一个变形圆形的轮廓的点集转换为一维数组，一维数组中元素的类型都为CvPoint；使用OpenCV1.0中的cvFitEllipse函数，对得到的每个一维数组进行椭圆拟合，得到每个椭圆的圆心，每个椭圆的圆心为投影机标定特征点。

1.3、使用摄像机标定特征点在摄像机坐标系中的坐标和已知的相邻摄像机标定特征点在世界坐标系下的距离，通过张正友标定方法，得到摄像机2的内、外参数，即：3×3阶摄像机内参矩阵、3阶摄像机旋转向量和3阶摄像机平移向量；使用OpenCV1.0中的cvRodrigues2函数，将摄像机旋转向量转换成3×3阶摄像机旋转矩阵。构造3×4阶摄像机外参矩阵，其中前三个列向量为摄像机旋转矩阵对应的三个列向量，第四个列向量为摄像机平移向量。使用OpenCV1.0中的cvGEMM函数，将摄像机内参矩阵和摄像机外参矩阵转换成3×4阶的摄像机单应性变换矩阵CamM。

1.4、使用摄像机1的单应性变换矩阵CamM和摄取的投影机标定特征点在投影机坐标系下的二维坐标，根据以下公式计算临时变量tmp1和tmp2。

tmp1＝(FeatureV*CamM[2][1]-CamM[1][1])；

tmp2＝(FeatureU*CamM[2][1]-CamM[0][1])；

其中FeatureV和FeatureU分别为投影机标定特征点在投影机坐标系下的V轴坐标和U轴坐标。根据以下公式计算投影机标定特征点在世界坐标系中的X轴坐标值WorldX和Y轴坐标值WorldY，其中Z轴坐标值WorldZ全取为定值1.0。

WorldX＝(tmp2*WorldZ*CamM[1][2]+tmp2*CamM[1][3]-tmp2*FeatureV*WorldZ*CamM[2][2]-tmp2*FeatureV*CamM[2][3]-tmp1*WorldZ*CamM[0][2]-tmp1*CamM[0][3]+tmp1*FeatureU*WorldZ*CamM[2][2]+tmp1*FeatureU*CamM[2][3])/(tmp1*CamM[0][0]-tmp1*FeatureU*CamM[2][0]-tmp2*CamM[1][0]+tmp2*FeatureV*CamM[2][0])；

WorldY＝(WorldX*CamM[2][0]+WorldZ*CamM[1][2]+CamM[1][3]-FeatureV*WorldX*CamM[2][0]-FeatureV*WorldZ*CamM[2][2]-FeatureV*CamM[2][3])/(FeatureV*CamM[2][1]-CamM[1][1])；

1.5、使用投影机标定特征点在投影机坐标系中的坐标和投影机标定特征点在世界坐标系下的三维坐标，利用张正友标定方法，得到投影机1的内、外参数，即：3×3阶投影机内参矩阵、3阶投影机旋转向量和3阶投影机平移向量；使用OpenCV1.0中的cvRodrigues2函数，将投影机旋转向量转换成3×3阶投影机旋转矩阵。构造3×4阶投影机外参矩阵，其中前三个列向量为投影机旋转矩阵对应的三个列向量，第四个列向量为投影机平移向量。使用OpenCV1.0中的cvGEMM函数，将投影机内参矩阵和投影机外参矩阵转换成3×4阶的投影机单应性变换矩阵ProM。

2、通过投影机1将计算机3生成的彩色结构光编码图像投射到非规则表面上，使用摄像机2采集非规则表面上发生畸变后的彩色结构光编码图像，得到彩色结构光编码图片。

2.1、彩色结构光编码图像的分辨率为1024×768像素，背景颜色的RGB值分别为(120，120，120)；在彩色结构光编码图像上包括50行75列直径为8个像素的圆形，相邻两个圆形的圆心间距均为13个像素。

2.2、在彩色结构光编码图像中共使用RGB值分别为(0，0，0)、(0，0，255)、(0，255，0)、(0，255，255)、(255，0，0)、(255，0，255)、(255，255，0)、(255，255，255)的8种颜色。彩色结构光编码图像由10×15个圆形方阵组成，每个圆形方阵由5行5列的圆形组成。圆形方阵的外围轮廓的圆形的颜色由RGB值分别为(0，0，255)、(0，255，0)、(0，255，255)、(255，0，0)、(255，0，255)、(255，255，0)的6种颜色排列而成，并且每个圆形方阵外围轮廓的颜色排列与其他圆形方阵外围轮廓的颜色排列均不相同；中间的3行3列圆形方阵的圆形颜色由RGB值分别为(0，0，0)和(255，255，255)的两种颜色排列而成，左上角第一个圆形颜色为(255，255，255)，并且在5行5列的圆形组成的圆形方阵中，任意相邻两个圆形的颜色均不相同。

2.3、设置计算机3中显示卡的两个通道的显示分辨率均为1024×768像素。

2.4、通过投影机1将计算机3中生成的彩色结构光编码图像投射到非规则表面上，在非规则表面上形成投影后的彩色结构光编码图像。

2.5、使用摄像机2摄取非规则表面上投影后的彩色结构光编码图像，得到彩色结构光编码图片。

3、计算机3对彩色结构光编码图片进行图像处理，提取出彩色结构光编码图片中的特征点并将其与彩色结构光编码图像中的特征点进行匹配，然后使用投影机1和摄像机2的内、外参数对非规则表面进行三维重建。

3.1、对彩色结构光编码图片进行灰度化和平滑处理以消除由拍摄引起的噪声干扰，设定阈值对灰度平滑后的彩色结构光编码图片进行二值化处理，利用椭圆拟合方法提取出彩色结构光编码图片上每个变形的圆形的中心，作为彩色结构光编码图片的特征点。

3.2、以彩色结构光编码图片的每个特征点为中心，以3个像素为半径的圆形中所有像素点颜色的RGB值的R值均值、G值均值和B值均值来代替该特征点的原始颜色的RGB值，将得到的每个特征点的颜色的RGB值转化为HSV空间中对应的值，利用HSV空间对应的值对每个特征点的颜色进行识别。

3.3、首先，根据投影后彩色结构光编码图片上每个圆形方阵外围轮廓的颜色排列和彩色结构光编码图像上每个圆形方阵外围轮廓的颜色排列来区别出圆形方阵；然后，根据投影后彩色结构光编码图片上特征点的颜色值和彩色结构光编码图像上特征点的颜色值相等关系，确定投影后彩色结构光编码图片和彩色结构光编码图像上特征点之间的对应关系。

3.4、通过使用投影机单应性变换矩阵ProM、摄像机单应性变换矩阵CamM、投影机彩色结构光编码图像上特征点的图像坐标(u_j，v_j)和摄像机彩色结构光编码图片上对应特征点的图像坐标(u_i，v_i)，根据下式计算得到非规则表面上各特征点的三维坐标(X_Wp，Y_Wp，Z_Wp)。

$\left\{\begin{array}{c}{u}_i{\mathrm{CamM}}_{34}=X_{\mathrm{Wp}}{\mathrm{CamM}}_{11}+Y_{\mathrm{Wp}}{\mathrm{CamM}}_{12}+Z_{\mathrm{Wp}}{\mathrm{CamM}}_{13}+{\mathrm{CamM}}_{14}-u_i{X}_{\mathrm{Wp}}{\mathrm{CamM}}_{31}-u_i{Y}_{\mathrm{Wp}}{\mathrm{CamM}}_{32}-u_i{Z}_{\mathrm{Wp}}{\mathrm{CamM}}_{33}\\ v_i{\mathrm{CamM}}_{34}=X_{\mathrm{Wp}}{\mathrm{CamM}}_{21}+Y_{\mathrm{Wp}}{\mathrm{CamM}}_{22}+Z_{\mathrm{WP}}{\mathrm{CamM}}_{23}+{\mathrm{CamM}}_{24}-v_i{X}_{\mathrm{Wp}}{\mathrm{CamM}}_{31}-v_i{Y}_{\mathrm{Wp}}{\mathrm{CamM}}_{32}-v_i{Z}_{\mathrm{Wp}}{\mathrm{CamM}}_{33}\\ u_j{\mathrm{ProM}}_{34}=X_{\mathrm{Wp}}{\mathrm{ProM}}_{11}+Y_{\mathrm{Wp}}{\mathrm{ProM}}_{12}+Z_{\mathrm{Wp}}{\mathrm{ProM}}_{13}+{\mathrm{ProM}}_{14}-u_j{X}_{\mathrm{Wp}}{\mathrm{ProM}}_{31}-u_j{Y}_{\mathrm{Wp}}{\mathrm{ProM}}_{32}-u_j{Z}_{\mathrm{Wp}}{\mathrm{ProM}}_{33}\\ v_j{\mathrm{ProM}}_{34}=X_{\mathrm{Wp}}{\mathrm{ProM}}_{21}+Y_{\mathrm{Wp}}{\mathrm{ProM}}_{22}+Z_{\mathrm{Wp}}{\mathrm{ProM}}_{23}+{\mathrm{ProM}}_{24}-v_j{X}_{\mathrm{Wp}}{\mathrm{ProM}}_{31}-v_j{Y}_{\mathrm{Wp}}{\mathrm{ProM}}_{32}-v_j{Z}_{\mathrm{Wp}}{\mathrm{ProM}}_{33}\end{array}\right.$

4、根据计算得到的非规则表面上特征点的三维坐标对需要投影的图像进行校正得到投影图像，使用计算机3的双通道显示卡将投影图像通过投影机1投射到非规则表面得到观察图像。

4.1、设观察视点在世界坐标系下的三维坐标为(X_v，Y_v，Z_v)，并且在非规则表面上寻找与观察视点距离最近的所有点，在这些点中任意选择一个点作为平面视点，平面视点与观察视点的连线作为观察视轴，通过平面视点作视平面，并保证视平面与观察视轴垂直，将观察视点分别与非规则表面上的每一个特征点构成的直线与视平面相交，交点称为观察交点，由观察交点构成的面积最大的四边形为视平面上的可视范围，在视平面上的可视范围内确定出长宽比为4∶3的面积最大的矩形，该矩形即为平面投影成像区域。

4.2、将确定出的平面投影成像区域均分成30行40列的正方形分块，并根据观察视点和非规则表面上各特征点在世界坐标系下的三维坐标，计算出各正方形分块四个顶点的三维坐标。

首先，根据30行40列的正方形分块计算得到各正方形分块四个顶点在视平面上的二维坐标；其次，根据正方形分块每个顶点在视平面上的二维坐标和每个非规则表面特征点在视平面上的二维坐标，确定出包含该正方形分块顶点的最小四边形，该四边形的四个顶点为非规则表面的四个特征点。根据包含该正方形分块顶点的最小四边形的四个顶点在世界坐标系下的三维坐标，拟合出该四个顶点构成的平面方程，求出观察视点和正方形分块顶点的三维坐标构成的直线与该平面的焦点，即为正方形分块顶点的在世界坐标系下的三维坐标；最后，根据投影机单应性变换矩阵ProM和各正方形分块顶点在世界坐标系下的坐标(X_j，Y_j，Z_j)，使用下式便可计算得到各正方形分块顶点在投影机图像平面上的二维坐标(u_j，v_j)。

$\left\{\begin{array}{c}{u}_j{\mathrm{ProM}}_{34}=X_j{\mathrm{ProM}}_{11}+Y_j{\mathrm{ProM}}_{12}+Z_j{\mathrm{ProM}}_{13}+{\mathrm{ProM}}_{14}-u_j{X}_j{\mathrm{ProM}}_{31}-u_j{Y}_j{\mathrm{ProM}}_{32}-u_j{Z}_j{\mathrm{ProM}}_{33}\\ v_j{\mathrm{ProM}}_{34}=X_j{\mathrm{ProM}}_{21}+Y_j{\mathrm{ProM}}_{22}+Z_j{\mathrm{ProM}}_{23}+{\mathrm{ProM}}_{24}-v_j{X}_j{\mathrm{ProM}}_{31}-v_j{Y}_j{\mathrm{ProM}}_{32}-v_j{Z}_j{\mathrm{ProM}}_{33}\end{array}\right.$

4.3、对待投影图像进行校正。

首先，将投影机欲投射的原始图像均分成30行40列的图像分块，并计算得到原始图像各分块每个顶点的图像坐标；其次，根据原始图像各分块每个顶点的图像坐标和投影机图像平面上各个相对应图像分块每个顶点的图像坐标，计算出从原始图像分块变换到投影机图像平面分块的仿射变换矩阵；最后，根据计算得到的仿射变换矩阵对原始图像各分块区域内的像素点进行仿射变换，将原始投影图像的图像分块变换成为投影机图像平面上的图像分块。

4.4、将校正后的投影图像通过投影机1投影到非规则表面上，这样便可以使观察者观看到理想的观察图像。

通过以上步骤可以对非规则表面进行重构，并根据重构结果对投影图像进行仿射校正，使观察者在非规则表面上能够观察到连续一致的、无形变的投影图像。

有益效果

本发明涉及了一套面向非规则表面的智能投影系统，该系统包括自适应投影装置和基于非规则表面几何形态的投影图像几何校正方法。该系统使用新的彩色结构光编码方法，提高了编码图像的抗干扰能力和非规则表面的重构速度。使用该系统可以对非规则表面进行快速重构，并根据重构结果对投影图像进行畸变校正，使观察者在非规则表面上能够观察到连续一致的、无形变的投影图像，降低了投影系统的成本，提高了投影系统的智能化水平，扩大了投影系统的应用范围。

附图说明

图1是面向非规则表面的自适应投影系统所需设备构成图。此图也是说明书摘要附图。其中：1为投影机，2为摄像机，3为配有双通道显示卡的计算机，4为硬连接支架。

图2是摄像机标定图像。

具体实施方式

面向非规则投影表面的自适应投影系统，其特征在于，该系统所需设备和实现步骤如下：

所需设备：如图1所示，投影机1、摄像机2、配有双通道显示卡的计算机3、硬连接支架4；其中投影机1和摄像机2固定到硬连接支架4上以使二者保持相对固定的状态，摄像机2的图像采集输出端口通过电缆与计算机3相连，投影机1通过电缆与计算机3中的双通道显示卡的输出端口连接，使投影机1作为计算机3的扩展桌面。

面向非规则表面的自适应投影系统实现步骤如下：

1、通过使用张正友标定方法对投影机1和摄像机2进行内、外参数的标定，从而分别获取投影机1和摄像机2的畸变系数。

1.1、在计算机3中，产生一幅摄像机标定图像，如图2所示。摄像机标定图像的背景是透明度为50％的黑色，摄像机标定图像由8行6列的白色圆形构成，每个白色圆形的直径为18mm，相邻两个白色圆形的圆心间距均为25mm。用A4纸，将摄像机标定图像打印出来，并粘贴在一个平面板上，构成标定板。在计算机3中，产生一幅投影机标定图像，投影机标定图像的背景为纯黑，投影机标定图像由8行6列的白色圆形构成，每个白色圆形的直径为36像素，相邻两个白色圆形的圆心间距均为50像素。

1.2、将摄像机标定板摆放于投影机1和摄像机2之前，并确保投影机1的投影机标定图像能够完整地投射于标定板上且摄像机2能够从标定板上完整地摄取到投影机1投影的投影机标定图像。首先，使用摄像机2摄取摄像机标定图像，得到摄像机标定板图像；然后，保持标定板不动并将投影机标定图像投射到标定板上，使用摄像机2摄取投影到标定板上的投影机标定图像，得到投影机标定板图像；最后，改变标定板的位置或角度，重复以上步骤共拍摄十组摄像机标定板图像和投影机标定板图像。

使用OpenCV1.0中的cvThreshold函数，依次对摄像机标定板图像和投影机标定板图像进行二值化；使用OpenCV1.0中的cvFindContours函数，依次在二值化后的摄像机标定板图像和投影机标定板图像中找出各变形圆形的轮廓的点集；使用OpenCV1.0中的cvCvtSeqToArray函数，依次将摄像机标定板图像中的每一个变形圆形的轮廓的点集转换为一维数组，一维数组中元素的类型都为CvPoint；使用OpenCV1.0中的cvFitEllipse函数，对得到的每个一维数组进行椭圆拟合，得到每个椭圆的圆心，每个椭圆的圆心为摄像机标定特征点。使用OpenCV1.0中的cvCvtSeqToArray函数，依次将投影机标定板图像中的每一个变形圆形的轮廓的点集转换为一维数组，一维数组中元素的类型都为CvPoint；使用OpenCV1.0中的cvFitEllipse函数，对得到的每个一维数组进行椭圆拟合，得到每个椭圆的圆心，每个椭圆的圆心为投影机标定特征点。

1.3、使用摄像机标定特征点在摄像机坐标系中的坐标和已知的相邻摄像机标定特征点在世界坐标系下的距离，通过张正友标定方法，得到摄像机2的内、外参数，即：3×3阶摄像机内参矩阵、3阶摄像机旋转向量和3阶摄像机平移向量；使用OpenCV1.0中的cvRodrigues2函数，将摄像机旋转向量转换成3×3阶摄像机旋转矩阵。构造3×4阶摄像机外参矩阵，其中前三个列向量为摄像机旋转矩阵对应的三个列向量，第四个列向量为摄像机平移向量。使用OpenCV1.0中的cvGEMM函数，将摄像机内参矩阵和摄像机外参矩阵转换成3×4阶的摄像机单应性变换矩阵CamM。

1.4、使用摄像机1的单应性变换矩阵CamM和摄取的投影机标定特征点在投影机坐标系下的二维坐标，根据以下公式计算临时变量tmp1和tmp2。

tmp1＝(FeatureV*CamM[2][1]-CamM[1][1])；

tmp2＝(FeatureU*CamM[2][1]-CamM[0][1])；

其中FeatureV和FeatureU分别为投影机标定特征点在投影机坐标系下的V轴坐标和U轴坐标。根据以下公式计算投影机标定特征点在世界坐标系中的X轴坐标值WorldX和Y轴坐标值WorldY，其中Z轴坐标值WorldZ全取为定值1.0。

WorldX＝(tmp2*WorldZ*CamM[1][2]+tmp2*CamM[1][3]-tmp2*FeatureV*WorldZ*CamM[2][2]-tmp2*FeatureV*CamM[2][3]-tmp1*Wor1dZ*CamM[0][2]-tmp1*CamM[0][3]+tmp1*FeatureU*WorldZ*CamM[2][2]+tmp1*FeatureU*CamM[2][3])/(tmp1*CamM[0][0]-tmp1*FeatureU*CamM[2][0]-tmp2*CamM[1][0]+tmp2*FeatureV*CamM[2][0])；

WorldY＝(WorldX*CamM[2][0]+WorldZ*CamM[1][2]+CamM[1][3]-FeatureV*WorldX*CamM[2][0]-FeatureV*WorldZ*CamM[2][2]-FeatureV*CamM[2][3])/(FeatureV*CamM[2][1]-CamM[1][1])；

1.5、使用投影机标定特征点在投影机坐标系中的坐标和投影机标定特征点在世界坐标系下的三维坐标，利用张正友标定方法，得到投影机1的内、外参数，即：3×3阶投影机内参矩阵、3阶投影机旋转向量和3阶投影机平移向量；使用OpenCV1.0中的cvRodrigues2函数，将投影机旋转向量转换成3×3阶投影机旋转矩阵。构造3×4阶投影机外参矩阵，其中前三个列向量为投影机旋转矩阵对应的三个列向量，第四个列向量为投影机平移向量。使用OpenCV1.0中的cvGEMM函数，将投影机内参矩阵和投影机外参矩阵转换成3×4阶的投影机单应性变换矩阵ProM。

2、通过投影机1将计算机3生成的彩色结构光编码图像投射到非规则表面上，使用摄像机2采集非规则表面上发生畸变后的彩色结构光编码图像，得到彩色结构光编码图片。

2.1、彩色结构光编码图像的分辨率为1024×768像素，背景颜色的RGB值分别为(120，120，120)；在彩色结构光编码图像上包括50行75列直径为8个像素的圆形，相邻两个圆形的圆心间距均为13个像素。

2.2、在彩色结构光编码图像中共使用RGB值分别为(0，0，0)、(0，0，255)、(0，255，0)、(0，255，255)、(255，0，0)、(255，0，255)、(255，255，0)、(255，255，255)的8种颜色。彩色结构光编码图像由10×15个圆形方阵组成，每个圆形方阵由5行5列的圆形组成。圆形方阵的外围轮廓的圆形的颜色由RGB值分别为(0，0，255)、(0，255，0)、(0，255，255)、(255，0，0)、(255，0，255)、(255，255，0)的6种颜色排列而成，并且每个圆形方阵外围轮廓的颜色排列与其他圆形方阵外围轮廓的颜色排列均不相同；中间的3行3列圆形方阵的圆形颜色由RGB值分别为(0，0，0)和(255，255，255)的两种颜色排列而成，左上角第一个圆形颜色为(255，255，255)，并且在5行5列的圆形组成的圆形方阵中，任意相邻两个圆形的颜色均不相同。

2.3、设置计算机3中显示卡的两个通道的显示分辨率均为1024×768像素。

2.4、通过投影机1将计算机3中生成的彩色结构光编码图像投射到非规则表面上，在非规则表面上形成投影后的彩色结构光编码图像。

2.5、使用摄像机2摄取非规则表面上投影后的彩色结构光编码图像，得到彩色结构光编码图片。

3、计算机3对彩色结构光编码图片进行图像处理，提取出彩色结构光编码图片中的特征点并将其与彩色结构光编码图像中的特征点进行匹配，然后使用投影机1和摄像机2的内、外参数对非规则表面进行三维重建。

3.1、对彩色结构光编码图片进行灰度化和平滑处理以消除由拍摄引起的噪声干扰，设定阈值对灰度平滑后的彩色结构光编码图片进行二值化处理，利用椭圆拟合方法提取出彩色结构光编码图片上每个变形的圆形的中心，作为彩色结构光编码图片的特征点。

3.2、以彩色结构光编码图片的每个特征点为中心，以3个像素为半径的圆形中所有像素点颜色的RGB值的R值均值、G值均值和B值均值来代替该特征点的原始颜色的RGB值，将得到的每个特征点的颜色的RGB值转化为HSV空间中对应的值，利用HSV空间对应的值对每个特征点的颜色进行识别。

3.3、首先，根据投影后彩色结构光编码图片上每个圆形方阵外围轮廓的颜色排列和彩色结构光编码图像上每个圆形方阵外围轮廓的颜色排列来区别出圆形方阵；然后，根据投影后彩色结构光编码图片上特征点的颜色值和彩色结构光编码图像上特征点的颜色值相等关系，确定投影后彩色结构光编码图片和彩色结构光编码图像上特征点之间的对应关系。

3.4、通过使用投影机单应性变换矩阵ProM、摄像机单应性变换矩阵CamM、投影机彩色结构光编码图像上特征点的图像坐标(u_j，v_j)和摄像机彩色结构光编码图片上对应特征点的图像坐标(u_i，v_i)，根据下式计算得到非规则表面上各特征点的三维坐标(X_Wp，Y_Wp，Z_Wb)。

$\left\{\begin{array}{c}{u}_i{\mathrm{CamM}}_{34}=X_{\mathrm{Wp}}{\mathrm{CamM}}_{11}+Y_{\mathrm{Wp}}{\mathrm{CamM}}_{12}+Z_{\mathrm{Wp}}{\mathrm{CamM}}_{13}+{\mathrm{CamM}}_{14}-u_i{X}_{\mathrm{Wp}}{\mathrm{CamM}}_{31}-u_i{Y}_{\mathrm{Wp}}{\mathrm{CamM}}_{32}-u_i{Z}_{\mathrm{Wp}}{\mathrm{CamM}}_{33}\\ v_i{\mathrm{CamM}}_{34}=X_{\mathrm{Wp}}{\mathrm{CamM}}_{21}+Y_{\mathrm{Wp}}{\mathrm{CamM}}_{22}+Z_{\mathrm{WP}}{\mathrm{CamM}}_{23}+{\mathrm{CamM}}_{24}-v_i{X}_{\mathrm{Wp}}{\mathrm{CamM}}_{31}-v_i{Y}_{\mathrm{Wp}}{\mathrm{CamM}}_{32}-v_i{Z}_{\mathrm{Wp}}{\mathrm{CamM}}_{33}\\ u_j{\mathrm{ProM}}_{34}=X_{\mathrm{Wp}}{\mathrm{ProM}}_{11}+Y_{\mathrm{Wp}}{\mathrm{ProM}}_{12}+Z_{\mathrm{Wp}}{\mathrm{ProM}}_{13}+{\mathrm{ProM}}_{14}-u_j{X}_{\mathrm{Wp}}{\mathrm{ProM}}_{31}-u_j{Y}_{\mathrm{Wp}}{\mathrm{ProM}}_{32}-u_j{Z}_{\mathrm{Wp}}{\mathrm{ProM}}_{33}\\ v_j{\mathrm{ProM}}_{34}=X_{\mathrm{Wp}}{\mathrm{ProM}}_{21}+Y_{\mathrm{Wp}}{\mathrm{ProM}}_{22}+Z_{\mathrm{Wp}}{\mathrm{ProM}}_{23}+{\mathrm{ProM}}_{24}-v_j{X}_{\mathrm{Wp}}{\mathrm{ProM}}_{31}-v_j{Y}_{\mathrm{Wp}}{\mathrm{ProM}}_{32}-v_j{Z}_{\mathrm{Wp}}{\mathrm{ProM}}_{33}\end{array}\right.$

4、根据计算得到的非规则表面上特征点的三维坐标对需要投影的图像进行校正得到投影图像，使用计算机3的双通道显示卡将投影图像通过投影机1投射到非规则表面得到观察图像。

4.1、设观察视点在世界坐标系下的三维坐标为(X_v，Y_v，Z_v)，并且在非规则表面上寻找与观察视点距离最近的所有点，在这些点中任意选择一个点作为平面视点，平面视点与观察视点的连线作为观察视轴，通过平面视点作视平面，并保证视平面与观察视轴垂直，将观察视点分别与非规则表面上的每一个特征点构成的直线与视平面相交，交点称为观察交点，由观察交点构成的面积最大的四边形为视平面上的可视范围，在视平面上的可视范围内确定出长宽比为4∶3的面积最大的矩形，该矩形即为平面投影成像区域。

4.2、将确定出的平面投影成像区域均分成30行40列的正方形分块，并根据观察视点和非规则表面上各特征点在世界坐标系下的三维坐标，计算出各正方形分块四个顶点的三维坐标。

首先，根据30行40列的正方形分块计算得到各正方形分块四个顶点在视平面上的二维坐标；其次，根据正方形分块每个顶点在视平面上的二维坐标和每个非规则表面特征点在视平面上的二维坐标，确定出包含该正方形分块顶点的最小四边形，该四边形的四个顶点为非规则表面的四个特征点。根据包含该正方形分块顶点的最小四边形的四个顶点在世界坐标系下的三维坐标，拟合出该四个顶点构成的平面方程，求出观察视点和正方形分块顶点的三维坐标构成的直线与该平面的焦点，即为正方形分块顶点的在世界坐标系下的三维坐标；最后，根据投影机单应性变换矩阵ProM和各正方形分块顶点在世界坐标系下的坐标(X_j，Y_j，Z_j)，使用下式便可计算得到各正方形分块顶点在投影机图像平面上的二维坐标(u_j，v_j)。

$\left\{\begin{array}{c}{u}_j{\mathrm{ProM}}_{34}=X_j{\mathrm{ProM}}_{11}+Y_j{\mathrm{ProM}}_{12}+Z_j{\mathrm{ProM}}_{13}+{\mathrm{ProM}}_{14}-u_j{X}_j{\mathrm{ProM}}_{31}-u_j{Y}_j{\mathrm{ProM}}_{32}-u_j{Z}_j{\mathrm{ProM}}_{33}\\ v_j{\mathrm{ProM}}_{34}=X_j{\mathrm{ProM}}_{21}+Y_j{\mathrm{ProM}}_{22}+Z_j{\mathrm{ProM}}_{23}+{\mathrm{ProM}}_{24}-v_j{X}_j{\mathrm{ProM}}_{31}-v_j{Y}_j{\mathrm{ProM}}_{32}-v_j{Z}_j{\mathrm{ProM}}_{33}\end{array}\right.$

4.3、对待投影图像进行校正。

首先，将投影机欲投射的原始图像均分成30行40列的图像分块，并计算得到原始图像各分块每个顶点的图像坐标；其次，根据原始图像各分块每个顶点的图像坐标和投影机图像平面上各个相对应图像分块每个顶点的图像坐标，计算出从原始图像分块变换到投影机图像平面分块的仿射变换矩阵；最后，根据计算得到的仿射变换矩阵对原始图像各分块区域内的像素点进行仿射变换，将原始投影图像的图像分块变换成为投影机图像平面上的图像分块。

4.4、将校正后的投影图像通过投影机1投影到非规则表面上，这样便可以使观察者观看到理想的观察图像。

通过以上步骤可以对非规则表面进行重构，并根据重构结果对投影图像进行仿射校正，使观察者在非规则表面上能够观察到连续一致的、无形变的投影图像。

Claims (4)

1.面向非规则投影表面的自适应投影系统，其特征在于，该系统所需设备和实现步骤如下： 

所需设备：如图1所示，投影机(1)、摄像机(2)、配有双通道显示卡的计算机(3)、硬连接支架(4)；其中投影机(1)和摄像机(2)固定到硬连接支架(4)上以使二者保持相对固定的状态，摄像机(2)的图像采集输出端口通过电缆与计算机(3)相连，投影机(1)通过电缆与计算机(3)中的双通道显示卡的输出端口连接，使投影机(1)作为计算机(3)的扩展桌面； 

面向非规则表面的自适应投影系统实现步骤如下： 

1、通过使用张正友标定方法对投影机(1)和摄像机(2)进行内、外参数的标定，从而分别获取投影机(1)和摄像机(2)的畸变系数； 

1.1、在计算机(3)中，产生一幅摄像机标定图像，如图2所示；摄像机标定图像的背景是透明度为50％的黑色，摄像机标定图像由8行6列的白色圆形构成，每个白色圆形的直径为18mm，相邻两个白色圆形的圆心间距均为25mm；用A4纸，将摄像机标定图像打印出来，并粘贴在一个平面板上，构成标定板；在计算机(3)中，产生一幅投影机标定图像，投影机标定图像的背景为纯黑，投影机标定图像由8行6列的白色圆形构成，每个白色圆形的直径为36像素，相邻两个白色圆形的圆心间距均为50像素； 

1.2、将摄像机标定板摆放于投影机(1)和摄像机(2)之前，并确保投影机(1)的投影机标定图像能够完整地投射于标定板上且摄像机(2)能够从标定板上完整地摄取到投影机(1)投影的投影机标定图像；首先，使用摄像机(2)摄取摄像机标定图像，得到摄像机标定板图像；然后，保持标定板不动并将投影机标定图像投射到标定板上，使用摄像机(2)摄取投影到标定板上的投影机标定图像，得到投影机标定板图像；最后，改变标定板的位置或角度，重复以上步骤共拍摄十组摄像机标定板图像和投影机标定板图像； 

使用OpenCV1.0中的cvThreshold函数，依次对摄像机标定板图像和投影机标定板图像进行二值化；使用OpenCV1.0中的cvFindContours函数，依次在二值化后的摄像机标定板图像和投影机标定板图像中找出各变形圆形的轮廓的点集；使用OpenCV1.0中的cvCvtSeqToArray函数，依次将摄像机标定板图像中的每一个变形圆形的轮廓的点集转换为一维数组，一维数组中元素的类型都为CvPoint；使用OpenCV1.0中的cvFitEllipse函数，对得到的每个一维数组进行椭圆拟合，得到每个椭圆的圆心，每个椭圆的圆心为摄像机标定特征点；使用OpenCV1.0中的cvCvtSeqToArray函数，依次将投影机标定板图像中的每一个变形圆形的轮廓的点集转换为一维数组，一维数组中元素的类型都为CvPoint；使用OpenCV1.0中的cvFitEllipse函数，对得到的每个一维数组进行椭圆拟合，得到每个椭圆的圆心，每个椭圆的圆心为投影机标定特征点； 

1.3、使用摄像机标定特征点在摄像机坐标系中的坐标和已知的相邻摄像机标定特征点在 世界坐标系下的距离，通过张正友标定方法，得到摄像机(2)的内、外参数，即：3×3阶摄像机内参矩阵、3阶摄像机旋转向量和3阶摄像机平移向量；使用OpenCV1.0中的cvRodr igues2函数，将摄像机旋转向量转换成3×3阶摄像机旋转矩阵；构造3×4阶摄像机外参矩阵，其中前三个列向量为摄像机旋转矩阵对应的三个列向量，第四个列向量为摄像机平移向量；使用OpenCV1.0中的cvGEMM函数，将摄像机内参矩阵和摄像机外参矩阵转换成3×4阶的摄像机单应性变换矩阵CamM； 

1.4、使用摄像机(1)的单应性变换矩阵CamM和摄取的投影机标定特征点在投影机坐标系下的二维坐标，根据以下公式计算临时变量tmp1和tmp2； 

tmp1＝(FeatureV*CamM[2][1]-CamM[1][1])； 

tmp2＝(FeatureU*CamM[2][1]-CamM[0][1])；其中FeatureV和FeatureU分别为投影机标定特征点在投影机坐标系下的V轴坐标和U轴坐标；根据以下公式计算投影机标定特征点在世界坐标系中的X轴坐标值WorldX和Y轴坐标值WorldY，其中Z轴坐标值WorldZ全取为定值1.0； 

WorldX＝(tmp2*WorldZ*CamM[1][2]+tmp2*CamM[1][3]-tmp2*FeatureV*WorldZ*CamM[2][2]-tmp2*FeatureV*CamM[2][3]-tmp1*WorldZ*CamM[0][2]-tmp1*CamM[0][3]+tmp1*FeatureU*WorldZ*CamM[2][2]+tmp1*FeatureU*CamM[2][3])/(tmp1*CamM[0][0]-tmp1*FeatureU*CamM[2][0]-tmp2*CamM[1][0]+tmp2*FeatureV*CamM[2][0])； 

WorldY＝(WorldX*CamM[2][0]+WorldZ*CamM[1][2]+CamM[1][3]-FeatureV*WorldX*CamM[2][0]-FeatureV*WorldZ*CamM[2][2]-FeatureV*CamM[2][3])/(FeatureV*CamM[2][1]-CamM[1][1])； 

1.5、使用投影机标定特征点在投影机坐标系中的坐标和投影机标定特征点在世界坐标系下的三维坐标，利用张正友标定方法，得到投影机(1)的内、外参数，即：3×3阶投影机内参矩阵、3阶投影机旋转向量和3阶投影机平移向量；使用OpenCV1.0中的cvRodrigues2函数，将投影机旋转向量转换成3×3阶投影机旋转矩阵；构造3×4阶投影机外参矩阵，其中前三个列向量为投影机旋转矩阵对应的三个列向量，第四个列向量为投影机平移向量；使用OpenCV1.0中的cvGEMM函数，将投影机内参矩阵和投影机外参矩阵转换成3×4阶的投影机单应性变换矩阵ProM。 

2.通过投影机(1)将计算机(3)生成的彩色结构光编码图像投射到非规则表面上，使用摄像机(2)采集非规则表面上发生畸变后的彩色结构光编码图像，得到彩色结构光编码图片； 

2.1、彩色结构光编码图像的分辨率为1024×768像素，背景颜色的RGB值分别为(120，120，120)；在彩色结构光编码图像上包括50行75列直径为8个像素的圆形，相邻两个圆 形的圆心间距均为13个像素； 

2.2、在彩色结构光编码图像中共使用RGB值分别为(0，0，0)、(0，0，255)、(0，255，0)、(0，255，255)、(255，0，0)、(255，0，255)、(255，255，0)、(255，255，255)的8种颜色；彩色结构光编码图像由10×15个圆形方阵组成，每个圆形方阵由5行5列的圆形组成；圆形方阵的外围轮廓的圆形的颜色由RGB值分别为(0，0，255)、(0，255，0)、(0，255，255)、(255，0，0)、(255，0，255)、(255，255，0)的6种颜色排列而成，并且每个圆形方阵外围轮廓的颜色排列与其他圆形方阵外围轮廓的颜色排列均不相同；中间的3行3列圆形方阵的圆形颜色由RGB值分别为(0，0，0)和(255，255，255)的两种颜色排列而成，左上角第一个圆形颜色为(255，255，255)，并且在5行5列的圆形组成的圆形方阵中，任意相邻两个圆形的颜色均不相同； 

2.3、设置计算机(3)中显示卡的两个通道的显示分辨率均为1024×768像素； 

2.4、通过投影机(1)将计算机(3)中生成的彩色结构光编码图像投射到非规则表面上，在非规则表面上形成投影后的彩色结构光编码图像； 

2.5、使用摄像机(2)摄取非规则表面上投影后的彩色结构光编码图像，得到彩色结构光编码图片。 

3.计算机(3)对彩色结构光编码图片进行图像处理，提取出彩色结构光编码图片中的特征点并将其与彩色结构光编码图像中的特征点进行匹配，然后使用投影机(1)和摄像机(2)的内、外参数对非规则表面进行三维重建； 

3.1、对彩色结构光编码图片进行灰度化和平滑处理以消除由拍摄引起的噪声干扰，设定阈值对灰度平滑后的彩色结构光编码图片进行二值化处理，利用椭圆拟合方法提取出彩色结构光编码图片上每个变形的圆形的中心，作为彩色结构光编码图片的特征点； 

3.2、以彩色结构光编码图片的每个特征点为中心，以3个像素为半径的圆形中所有像素点颜色的RGB值的R值均值、G值均值和B值均值来代替该特征点的原始颜色的RGB值，将得到的每个特征点的颜色的RGB值转化为HSV空间中对应的值，利用HSV空间对应的值对每个特征点的颜色进行识别； 

3.3、首先，根据投影后彩色结构光编码图片上每个圆形方阵外围轮廓的颜色排列和彩色结构光编码图像上每个圆形方阵外围轮廓的颜色排列来区别出圆形方阵；然后，根据投影后彩色结构光编码图片上特征点的颜色值和彩色结构光编码图像上特征点的颜色值相等关系，确定投影后彩色结构光编码图片和彩色结构光编码图像上特征点之间的对应关系； 

3.4、通过使用投影机单应性变换矩阵ProM、摄像机单应性变换矩阵CamM、投影机彩色结构光编码图像上特征点的图像坐标(u_j，v_j)和摄像机彩色结构光编码图片上对应特征点的图像坐标(u_i，v_i)，根据下式计算得到非规则表面上各特征点的三维坐标(X_Wp，Y_Wp，Z_Wp)； 

。

4.根据计算得到的非规则表面上特征点的三维坐标对需要投影的图像进行校正得到投影图像，使用计算机(3)的双通道显示卡将投影图像通过投影机(1)投射到非规则表面得到观察图像； 

4.1、设观察视点在世界坐标系下的三维坐标为(X_v，Y_v，Z_v)，并且在非规则表面上寻找与观察视点距离最近的所有点，在这些点中任意选择一个点作为平面视点，平面视点与观察视点的连线作为观察视轴，通过平面视点作视平面，并保证视平面与观察视轴垂直，将观察视点分别与非规则表面上的每一个特征点构成的直线与视平面相交，交点称为观察交点，由观察交点构成的面积最大的四边形为视平面上的可视范围，在视平面上的可视范围内确定出长宽比为4∶3的面积最大的矩形，该矩形即为平面投影成像区域； 

4.2、将确定出的平面投影成像区域均分成30行40列的正方形分块，并根据观察视点和非规则表面上各特征点在世界坐标系下的三维坐标，计算出各正方形分块四个顶点的三维坐标； 

首先，根据30行40列的正方形分块计算得到各正方形分块四个顶点在视平面上的二维坐标；其次，根据正方形分块每个顶点在视平面上的二维坐标和每个非规则表面特征点在视平面上的二维坐标，确定出包含该正方形分块顶点的最小四边形，该四边形的四个顶点为非规则表面的四个特征点；根据包含该正方形分块顶点的最小四边形的四个顶点在世界坐标系下的三维坐标，拟合出该四个顶点构成的平面方程，求出观察视点和正方形分块顶点的三维坐标构成的直线与该平面的焦点，即为正方形分块顶点的在世界坐标系下的三维坐标；最后，根据投影机单应性变换矩阵ProM和各正方形分块顶点在世界坐标系下的坐标(X_j，Y_j，Z_j)，使用下式便可计算得到各正方形分块顶点在投影机图像平面上的二维坐标(u_j，v_j)； 

4.3、对待投影图像进行校正； 

首先，将投影机欲投射的原始图像均分成30行40列的图像分块，并计算得到原始图像各分块每个顶点的图像坐标；其次，根据原始图像各分块每个顶点的图像坐标和投影机图像平面上各个相对应图像分块每个顶点的图像坐标，计算出从原始图像分块变换到投影机图像平面分块的仿射变换矩阵；最后，根据计算得到的仿射变换矩阵对原始图像各分块区域内的像素点进行仿射变换，将原始投影图像的图像分块变换成为投影机图像平面上的图像分块； 

4.4、将校正后的投影图像通过投影机(1)投影到非规则表面上，这样便可以使观察者观看到理想的观察图像； 

通过以上步骤可以对非规则表面进行重构，并根据重构结果对投影图像进行仿射校正，使观察者在非规则表面上能够观察到连续一致的、无形变的投影图像。 

Images