CN103020950B - 亮度函数获取方法以及相关装置 - Google Patents

Abstract

本发明实施例公开了一种亮度函数获取方法以及相关装置，用于在任意角度下获取显示屏幕的亮度函数。本发明实施例方法包括：获取从第一角度拍摄的显示屏幕的第一图像获取从第二角度拍摄的显示屏幕的第二图像以及亮度图像根据所述第一图像计算摄像机参数；根据所述摄像机参数和所述显示屏幕的位置参数建立第一坐标映射关系；根据所述第一图像和所述第二图像建立第二坐标映射关系；根据所述第一坐标映射关系和第二坐标映射关系计算得到第三坐标映射关系；根据所述第三坐标映射关系和所述亮度图像计算得到所述显示屏幕的线性化亮度函数。

Description

亮度函数获取方法以及相关装置

技术领域

本发明涉及图像处理领域，尤其涉及一种亮度函数获取方法以及相关装置。

背景技术

显示屏幕是用于显示图像的光辐射表面，具体可以包括平面或曲面的投影显示屏幕和平板显示器，其中投影显示幕包括正投和背投显示幕，光辐射方式是反射、透射和自发光方式之一或其组合。

现有的技术水平条件下，单个投影仪构成的投影显示系统可能无法满足大分辨率的显示需求，因此可使用多个投影仪组合，共同显示一个图像，突破分辨率的限制。单个投影仪还有可能无法或者难以在曲面上实现较好的显示效果，而有研究者在利用多投影仪融合显示的方式，在曲面如弧面或者球面上实现了组合显示的方式，本文把这种多投影仪组合显示的方式统一称为多投影仪融合显示系统。

在多投影仪无缝融合显示系统中，几何校正和色域融合技术是关键技术。几何校正实现的是场景中对象空间位置的连贯性，而色域融合则实现多投影仪色域的过渡的连贯性。几何对齐和色域融合效果不好，直接导致融合显示画面在融合带的割裂感。

色域融合的目标是将投影仪幕上色域的不连贯性控制在人眼的感知的生理极限以外。通常采用色域融合算法对图像进行颜色校正之后再输出给投影仪。研究表明，简单的颜色混叠算法简单地对图像红绿蓝(RGB，Red GreenBlue)值进行衰减，在过渡带容易呈现彩色条纹。色域融合算法需要用到投影显示屏幕的空间亮度分布函数。其中，这些投影显示屏幕的空间亮度分布函数可能和投影显示屏幕的各向同异性与投影机的空间亮度衰减函数有关。

单个平板显示器显示系统存在分辨率，显示面积和视角等方面的局限性，有人使用多平板显示器组合显示的方式突破了这种局限性。

在使用多个平板显示器的视频会议应用场景中，平板显示器之间的亮度可能存在较大差异，这导致画面的割裂感，影响显示品质。这种情况下，可以使用软件或者电路对亮度差异进行自动校正，而校正这些亮度差异需要使用空间亮度分布函数。

“亮度函数的获取”，是指对亮度的空间分布信息的获取。“获取”的操作中包含了传感和数据计算的过程，而不仅限于传感，当需要获取的数据无法直接获取的时候，则需要用数据计算的方法处理能够获取的传感数据从而间接得到需要获取的数据。“亮度函数(luminance function)”是亮度关于空间坐标的函数，可能被描述为“亮度变化(luminance variations)”、“亮度分布(luminancedistribution)”、“光度变化(photometric variations)”、“亮度响应(luminanceresponse)”或者“亮度表面(luminance surface)”，与本文中“亮度函数”是同一个对象的不同描述方法。本文中的“亮度函数”描述的是不同空间值亮度差异，并非一定要获取绝对的流明值，允许所获得的亮度函数的函数值在每个空间位置上与其流明值的比值是一个未知但是相等常数。在很多应用中，标准的流明值的获取是没有必要的。也就是说，亮度可以指相对值。

在已知的效果较好的显示屏幕颜色校正或者亮度校正方案中，空间亮度分布函数的获取是一个关键的技术。目前，业界通常采用摄像机拍摄亮度图像，然后进行坐标转换的方法实现显示屏幕空间亮度函数的获取。

但是，在现有技术中，摄像机获取显示屏幕的亮度图像的角度一般是进行摄像机标定的角度，而由于进行摄像机标定的角度一般在侧面，从侧面观测显示屏幕时，整个屏幕各个部分的亮度都不一致(非朗伯表面)，导致根据该摄像机获取的亮度图像无法准确的进行显示屏幕的颜色校正或亮度校正。

发明内容

本发明实施例提供了一种亮度函数获取方法以及相关装置，用于在任意角度下获取显示屏幕的亮度函数。

本发明提供的亮度函数获取方法，包括：

获取从第一角度拍摄的显示屏幕的第一图像，所述第一角度为用于摄像机标定的拍摄角度；获取从第二角度拍摄的显示屏幕的第二图像以及亮度图像，所述第二角度为用户指定的任意拍摄角度；根据所述第一图像计算摄像机参数；根据所述摄像机参数和所述显示屏幕的位置参数建立从所述显示屏幕的坐标到从所述第一角度拍摄的图像坐标的第一坐标映射关系；根据所述第一图像和所述第二图像建立从所述第一角度拍摄到的图像坐标到所述第二角度的拍摄到的图像坐标的第二坐标映射关系；根据所述第一坐标映射关系和第二坐标映射关系计算得到从所述显示屏幕的坐标到从所述第二角度拍摄的图像坐标的第三坐标映射关系；根据所述第三坐标映射关系和所述亮度图像计算得到所述显示屏幕的线性化亮度函数。

可选的，若从所述第二角度拍摄到的亮度图像为非线性数据，则所述根据第三坐标映射关系和所述亮度图像计算得到所述显示屏幕的线性化亮度函数，包括：

根据所述第三坐标映射关系对所述亮度图像进行坐标变换，得到所述显示屏幕坐标的亮度函数，对所述显示屏幕坐标的亮度函数进行线性化处理，得到所述显示屏幕的线性化亮度函数；或，对所述亮度图像进行线性化处理，得到从所述第二角度拍摄到的线性化亮度图像，根据所述第三坐标映射关系对所述线性化亮度图像进行坐标变换，得到所述显示屏幕的线性化亮度函数；

若从所述第二角度拍摄到的亮度图像为线性数据，则所述根据第三坐标映射关系和所述亮度图像计算得到所述显示屏幕的线性化亮度函数，包括：

根据所述第三坐标映射关系对所述亮度图像进行坐标变换，得到所述显示屏幕的线性化亮度函数。

可选的，所述摄像机参数包括：内部参数和外部参数；

所述内部参数包括：焦距，摄像机的光心坐标，图像中心点的坐标，镜头径向畸变的一阶系数；所述外部参数包括：三维空间世界坐标系与摄像机坐标系之间的旋转矩阵和平移向量。

可选的，所述根据第一图像计算摄像机参数，包括：

根据所述第一图像提取所述显示屏幕的轮廓坐标；根据轮廓坐标获取所述显示屏幕的上轮廓曲线和下轮廓曲线；使用非线性迭代优化算法根据所述轮廓坐标、上轮廓曲线和下轮廓曲线估测摄像机参数。

可选的，所述根据轮廓坐标获取所述显示屏幕的上轮廓曲线和下轮廓曲线，包括：

对所述第一图像做CANNY算子的边缘提取，得到边缘图像；去除所述边缘图像中除上轮廓以及下轮廓之外的边缘数据，得到上轮廓坐标和下轮廓坐标；使用多项式模型和最小二乘法分别对所述上轮廓坐标和下轮廓坐标进行上边缘和下边缘的拟合，得到上轮廓曲线和下轮廓曲线。

可选的，使用非线性迭代优化算法根据所述轮廓坐标、上轮廓曲线和下轮廓曲线估测摄像机参数之后，还包括：

将所述估测的摄像机参数作为初始摄像机参数；使用所述上轮廓曲线和下轮廓曲线计算所述初始摄像机参数的估测误差；使用所述估测误差和非线性迭代优化算法再次估测摄像机参数。

可选的，所述根据摄像机参数和所述显示屏幕的位置参数建立从所述显示屏幕的坐标到从所述第一角度拍摄的图像坐标的第一坐标映射关系，包括：

获取第一图像在摄像机的成像平面内的任意点坐标；将所述成像平面内的任意点与摄像机的光心相连，得到第一直线；根据所述显示屏幕的位置参数还原所述显示屏幕的曲面，所述第一直线与所述显示屏幕的曲面相交，得到相交点坐标，所述任意点坐标与所述相交点坐标一一映射；根据各个所述任意点坐标以及所述任意点坐标对应的相交点坐标建立从所述显示屏幕的坐标到从所述第一角度拍摄的图像坐标的第一坐标映射关系。

可选的，若所述显示屏幕为垂直挤压曲面，则根据所述显示屏幕的位置参数还原所述显示屏幕的曲面，包括：

将所述上轮廓曲线上的任意点与所述摄像机的光心相连，得到第二直线，所述第二直线与三维上轮廓曲线所在的平面相交，相交点为三维上轮廓点，根据所述三维上轮廓点的集合确定三维上轮廓曲线；将所述三维上轮廓曲线向下平移与投影屏幕高度相等的距离，得到三维下轮廓曲线；通过所述三维上轮廓曲线以及所述三维下轮廓曲线确定所述显示屏幕的曲面；

可选的，若所述显示屏幕为不规则平面，则根据所述显示屏幕的位置参数还原所述显示屏幕的曲面，包括：

根据所述显示屏幕的位置参数，使用基于立体图像匹配点提取的三角测量技术构造所述显示屏幕的曲面，所述显示屏幕的位置参数为使用三维标定模板进行标定的参数；

可选的，若所述显示屏幕为纯平面，则根据所述显示屏幕的位置参数还原所述显示屏幕的曲面，包括：

根据所述显示屏幕的位置参数获取所述显示屏幕四个角的顶点三维坐标，通过所述四个角的顶点三维坐标确定所述显示屏幕的曲面。

可选的，根据所述第一图像和所述第二图像建立从所述第一角度拍摄到的图像坐标到所述第二角度的拍摄到的图像坐标的第二坐标映射关系，包括：

分别提取所述第一图像和第二图像的第一特征点和第二特征点，所述第一特征点和第二特征点分别用于表示所述第一图像和第二图像的位置信息；使用特征点检测算法查找一一映射的所述第一特征点和第二特征点；根据一一映射的所述第一特征点和第二特征点建立从所述第一角度拍摄到的图像坐标到所述第二角度的拍摄到的图像坐标的第二坐标映射关系。

本发明提供的亮度函数获取装置，包括：

第一获取单元，用于获取从第一角度拍摄的显示屏幕的第一图像，所述第一角度为用于摄像机标定的拍摄角度；第二获取单元，用于获取从第二角度拍摄的显示屏幕的第二图像以及亮度图像，所述第二角度为用户指定的任意拍摄角度；第一计算单元，用于根据所述第一图像计算摄像机参数；第一建立单元，用于根据所述摄像机参数和所述显示屏幕的位置参数建立从所述显示屏幕的坐标到从所述第一角度拍摄的图像坐标的第一坐标映射关系；第二建立单元，用于根据所述第一图像和所述第二图像建立从所述第一角度拍摄到的图像坐标到所述第二角度的拍摄到的图像坐标的第二坐标映射关系；第三建立单元，用于根据所述第一坐标映射关系和第二坐标映射关系计算得到从所述显示屏幕的坐标到从所述第二角度拍摄的图像坐标的第三坐标映射关系；第二计算单元，用于根据所述第三坐标映射关系和所述亮度图像计算得到所述显示屏幕的线性化亮度函数。

可选的，所述第二计算单元包括：

第一坐标变换模块和第一线性化模块，或第二坐标变换模块和第二线性化模块；所述第一坐标变换模块，用于根据所述第三坐标映射关系对所述亮度图像进行坐标变换，若从所述第二角度拍摄到的亮度图像为非线性数据，则得到所述显示屏幕坐标的亮度函数，并触发第一线性化模块；若从所述第二角度拍摄到的亮度图像为线性数据，则直接得到所述显示屏幕坐标的线性化亮度函数；所述第一线性化模块，用于对所述显示屏幕坐标的亮度函数进行线性化处理，得到所述显示屏幕的线性化亮度函数；所述第二线性化模块，用于对所述亮度图像进行线性化处理，得到从所述第二角度拍摄到的线性化亮度图像，并触发所述第二坐标变换模块；所述第二坐标变换模块，用于根据所述第三坐标映射关系对所述线性化亮度图像进行坐标变换，得到所述显示屏幕的线性化亮度函数。

可选的，所述第一计算单元包括：

第一提取模块，用于根据所述第一图像提取所述显示屏幕的轮廓坐标；第一获取模块，用于根据轮廓坐标获取所述显示屏幕的上轮廓曲线和下轮廓曲线；估测模块，用于使用非线性迭代优化算法根据所述轮廓坐标、上轮廓曲线和下轮廓曲线估测摄像机参数。

可选的，所述第一建立单元包括：

第二获取模块，用于获取第一图像在摄像机的成像平面内的任意点坐标；第三获取模块，用于将所述成像平面内的任意点与摄像机的光心相连，得到第一直线；第四获取模块，用于根据所述显示屏幕的位置参数还原所述显示屏幕的曲面，所述第一直线与所述显示屏幕的曲面相交，得到相交点坐标，所述任意点坐标与所述相交点坐标一一映射；第一建立模块，用于根据各个所述任意点坐标以及所述任意点坐标对应的相交点坐标建立从所述显示屏幕的坐标到从所述第一角度拍摄的图像坐标的第一坐标映射关系。

可选的，所述第二建立单元包括：

第二提取模块，用于分别提取所述第一图像和第二图像的第一特征点和第二特征点，所述第一特征点和第二特征点分别用于表示所述第一图像和第二图像的位置信息；查找模块，用于使用特征点检测算法查找一一映射的所述第一特征点和第二特征点；第二建立模块，用于根据一一映射的所述第一特征点和第二特征点建立从所述第一角度拍摄到的图像坐标到所述第二角度的拍摄到的图像坐标的第二坐标映射关系。

本发明提供的亮度函数获取系统，包括：

摄像机装置，显示装置，亮度函数获取装置；所述摄像机装置至少包括两个镜头，分别从第一角度和第二角度拍摄所述显示装置的显示屏幕，所述第一角度为用于摄像机标定的拍摄角度，所述第二角度为用户指定的任意拍摄角度；所述显示装置用于在显示屏幕中显示图像；所述亮度函数获取装置用于从所述摄像机装置中分别获取从第一角度拍摄的显示屏幕的第一图像，和从第二角度拍摄的显示屏幕的第二图像以及亮度图像，根据所述第一图像计算摄像机参数；根据所述摄像机参数和所述显示屏幕的位置参数建立从所述显示屏幕的坐标到从所述第一角度拍摄的图像坐标的第一坐标映射关系；根据所述第一图像和所述第二图像建立从所述第一角度拍摄到的图像坐标到所述第二角度的拍摄到的图像坐标的第二坐标映射关系；根据所述第一坐标映射关系和第二坐标映射关系计算得到从所述显示屏幕的坐标到从所述第二角度拍摄的图像坐标的第三坐标映射关系；根据所述第三坐标映射关系和所述亮度图像计算得到所述显示屏幕的线性化亮度函数。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明获取从第一角度拍摄的显示屏幕的第一图像，从第二角度拍摄的显示屏幕的第二图像以及亮度图像，利用该第一图像建立从该显示屏幕的坐标到从所述第一角度拍摄的图像坐标的第一坐标映射关系，利用该第一图像和第二图像建立从所述第一角度拍摄到的图像坐标到所述第二角度的拍摄到的图像坐标的第二坐标映射关系，再通过该第一坐标映射关系和第二坐标映射关系的转换获得从所述显示屏幕的坐标到从所述第二角度拍摄的图像坐标的第三坐标映射关系，最后根据该第三坐标映射关系对从第二角度拍摄亮度图像进行坐标变换，得到显示屏幕的线性化亮度函数；由于本发明分别从第一角度和第二角度进行拍摄，第一角度为用于摄像机标定的拍摄角度，而第二角度则可以为用户指定的任意拍摄角度；如此，在进行亮度图像获取时，则可以将第二角度设置为用户观测的角度，使得从第二角度拍摄到的显示屏幕的亮度均匀(接近朗伯表面)，使用该亮度图像能更好的进行显示屏幕的颜色校正或亮度校正。

附图说明

图1是本发明实施例中亮度函数获取方法的一个流程示意图；

图2是本发明实施例中亮度函数获取方法的另一个流程示意图；

图3是本发明实施例中亮度函数获取方法的应用场景示意图；

图4是本发明实施例中亮度函数获取装置的逻辑结构示意图；

图5是本发明实施例中亮度函数获取系统的逻辑结构示意图。

具体实施方式

发明实施例提供了一种亮度函数获取方法以及相关装置，用于在任意角度下获取显示屏幕的亮度函数。

请参阅图1，本发明实施例中亮度函数获取方法的一个实施例包括：

101、获取从第一角度拍摄的显示屏幕的第一图像；

亮度函数获取装置获取从第一角度拍摄的显示屏幕的第一图像，该第一角度为用于摄像机标定的拍摄角度。在本发明实施例中，摄像机从第一角度对显示屏幕进行拍摄，该显示屏幕可以为投影屏幕或平板显示器。

亮度函数获取装置从摄像机获取的第一图像计算三维空间中物体的几何信息，并由此重建和识别物体；摄像机标定的过程主要是确定摄像机的几何和光学参数，以及确定摄像机相对于世界坐标系的方位。

102、获取从第二角度拍摄的显示屏幕的第二图像以及亮度图像；

亮度函数获取装置获取从第二角度拍摄的显示屏幕的第二图像以及亮度图像，该第二角度为用户指定的任意拍摄角度；该亮度图像为该第二图像对应的亮度数据信息。

从第一角度拍摄的摄像机和从第二角度拍摄的摄像机可以为同一部摄像机，也可以为两部不同的摄像机，具体根据实际情况而定，此处不作限定。

103、根据第一图像计算摄像机参数；

亮度函数获取装置根据上述从第一角度获取到第一图像计算摄像机参数，具体的，亮度函数获取装置根据该第一图像计算三维空间中物体的几何信息(如显示屏幕四个角的三维坐标)，利用确定好的几何信息以及相应的算法计算摄像机参数。

104、根据摄像机参数和显示屏幕的位置参数建立从显示屏幕的坐标到从第一角度拍摄的图像坐标的第一坐标映射关系；

亮度函数获取装置根据上述摄像机参数和显示屏幕的位置参数进行几何标定，建立从该显示屏幕的坐标到从第一角度拍摄的图像坐标的第一坐标映射关系。

该显示屏幕的位置参数可以为本地预设好的数据，也可以由亮度函数获取装置根据上述摄像机参数对显示屏幕进行定位的参数，具体根据实际情况而定，此处不作限定；该显示屏幕的位置参数具体可以为显示屏幕的三维上轮廓曲线和三维下轮廓曲线。

105、根据第一图像和第二图像建立从第一角度拍摄到的图像坐标到第二角度的拍摄到的图像坐标的第二坐标映射关系；

亮度函数获取装置分别对从第一角度和第二角度获取到的第一图像和第二图像进行几何信息的提取，根据提取到的几何信息建立从上述第一角度拍摄到的图像坐标到第二角度的拍摄到的图像坐标的第二坐标映射关系。

在本发明实施例中，由于进行摄像机标定的角度(即第一角度)和亮度图像获取的角度(即第二角度)是不同的，因此，不可以直接使用第一坐标映射关系进行显示屏幕的亮度函数的计算，需要从上述第一角度到上述第二角度进行坐标转换，以获取从显示屏幕到第二角度对应的摄像机所在位置的坐标映射关系，所以需要先计算出从上述第一角度拍摄到的图像坐标到第二角度的拍摄到的图像坐标的第二坐标映射关系。

106、根据第一坐标映射关系和第二坐标映射关系计算得到从显示屏幕的坐标到从第二角度拍摄的图像坐标的第三坐标映射关系；

亮度函数获取装置根据上述第一坐标映射关系和第二坐标映射关系计算得到从显示屏幕的坐标到从第二角度拍摄的图像坐标的第三坐标映射关系。

107、根据第三坐标映射关系对亮度图像进行坐标变换。

亮度函数获取装置根据上述第三坐标映射关系以及上述亮度图像计算得到该显示屏幕的线性化亮度函数。

在本发明实施例中，若从第二角度拍摄的显示屏幕的亮度图像为线性化的数据，则亮度函数获取装置根据上述第三坐标映射关系对该亮度图像进行坐标变换之后，直接可以得到该显示屏幕的线性化亮度函数；

若从第二角度拍摄的显示屏幕的亮度图像为非线性化的数据，则可以先根据第三坐标映射关系对该亮度图像进行坐标变换，得到显示屏幕坐标的亮度函数，再对该显示屏幕坐标的亮度函数进行线性化处理，得到该显示屏幕的线性化亮度函数；也可以先对该亮度图像进行线性化处理，得到第二角度拍摄到的线性化亮度图像，再根据第三坐标映射关系对该线性化亮度图像进行坐标变换，得到该显示屏幕的线性化亮度函数；具体先进行坐标变换还是先进行线性化处理可以根据实际情况而定，此处不作限定。

本发明获取从第一角度拍摄的显示屏幕的第一图像，从第二角度拍摄的显示屏幕的第二图像以及亮度图像，利用该第一图像建立从该显示屏幕的坐标到从所述第一角度拍摄的图像坐标的第一坐标映射关系，利用该第一图像和第二图像建立从所述第一角度拍摄到的图像坐标到所述第二角度的拍摄到的图像坐标的第二坐标映射关系，再通过该第一坐标映射关系和第二坐标映射关系的转换获得从所述显示屏幕的坐标到从所述第二角度拍摄的图像坐标的第三坐标映射关系，最后根据该第三坐标映射关系对从第二角度拍摄亮度图像进行坐标变换，得到显示屏幕的线性化亮度函数；由于本发明分别从第一角度和第二角度进行拍摄，第一角度为用于摄像机标定的拍摄角度，而第二角度则可以为用户指定的任意拍摄角度；如此，在进行亮度图像获取时，则可以将第二角度设置为用户观测的角度，使得从第二角度拍摄到的显示屏幕的亮度均匀(接近朗伯表面)，使用该亮度图像能更好的进行显示屏幕的颜色校正或亮度校正。

下面以显示屏幕为投影屏幕的应用场景对本发明实施例中的亮度函数获取方法进行描述，本发明实施例中亮度函数获取方法的另一个实施例包括：

201、获取从第一角度拍摄的投影屏幕的第一图像；

亮度函数获取装置获取从第一角度拍摄的投影屏幕的第一图像，该第一角度为用于摄像机标定的拍摄角度。

在本发明实施例中，显示屏幕为投影屏幕，投影仪向投影屏幕投射纯色图像，“纯色”指的是投影仪的输入图像的每个像素的颜色相同，如纯白色、纯黄色或纯红色。向投影屏幕投射纯色图像是为了便于提取投影屏幕的轮廓图像，以及便于提取投影屏幕的亮度图像。

在本发明实施例中，若投影系统由多个投影仪构成，则亮度函数获取装置可以通过摄像机从第一角度逐一拍摄每个投影仪所投射的图像，也可以通过摄像机从第一角度统一拍摄各个投影仪所投射成的图像组(无重叠区域)。

202、获取从第二角度拍摄的投影屏幕的第二图像以及亮度图像；

亮度函数获取装置获取从第二角度拍摄的投影屏幕的第二图像以及亮度图像，该第二角度为用户指定的任意拍摄角度；该亮度图像为该第二图像对应的亮度数据信息。

在本发明实施例中，亮度函数获取装置通过摄像机从第二角度拍摄投影仪所投射的图像(第二图像)，并根据该第二图像采集第二图像对应的亮度图像。由于第二角度可为用户指定的任意角度，因此，用户可以将第二角度设定为用户观察投影屏幕的角度，使得整个投影屏幕上各个位置对亮度的辐射大致一样。

203、根据第一图像计算摄像机参数；

亮度函数获取装置根据上述从第一角度获取到第一图像计算摄像机参数。

该摄像机参数具体可以包括：

摄像机的内部参数包括：焦距，摄像机的光心坐标，图像中心点的坐标，镜头径向畸变的一阶系数；

摄像机的外部参数包括：三维空间世界坐标系与摄像机坐标系之间的旋转矩阵和平移向量。

在本发明实施例中，假设投影屏幕为垂直挤压曲面，垂直挤压曲面是用一条二维曲线沿着与其所在平面垂直的方向扫过一定距离获得的曲面。

亮度函数获取装置在该第一图像中提取投影屏幕的轮廓坐标，该轮廓坐标具体可以为投影屏幕的四个角的三维坐标；然后，亮度函数获取装置再根据该轮廓坐标对第一图像做CANNY算子的边缘提取，得到边缘图像；去除该边缘图像中除上轮廓以及下轮廓之外的边缘数据，得到上轮廓坐标和下轮廓坐标；使用多项式模型和最小二乘法分别对该上轮廓坐标和下轮廓坐标进行上边缘和下边缘的拟合，得到上轮廓曲线和下轮廓曲线；最后，利用非线性迭代优化算法根据上述轮廓坐标、上轮廓曲线和下轮廓曲线初步的估测摄像机参数。

204、根据摄像机参数确定投影屏幕的位置参数；

亮度函数获取装置根据上述摄像机参数确定投影屏幕的位置参数，该投影屏幕的位置参数具体为三维上轮廓曲线和三维下轮廓曲线。

具体的，亮度函数获取装置将上轮廓曲线上的任意点与摄像机的光心相连，得到第二直线，该第二直线与三维上轮廓曲线所在的平面相交，相交点为三维上轮廓点，根据该三维上轮廓点的集合确定三维上轮廓曲线；然后，可以用与确定三维上轮廓曲线相同的方法得到三维下轮廓曲线，或，将三维上轮廓曲线向下平移与投影屏幕高度相等的距离，得到三维下轮廓曲线。

可选的，为了进一步提高摄像机参数的估测精度，亮度函数获取装置还可以将上述步骤203得到的摄像机参数作为初始摄像机参数，并使用投影屏幕的上轮廓曲线和下轮廓曲线计算该初始摄像机参数的估测误差，具体的，在确定了三维上轮廓曲线和三维下轮廓曲线之后，亮度函数获取装置根据初步估测的摄像机参数，将该三维下轮廓曲线映射回摄像机图像得到一条重投下轮廓曲线，将重投下轮廓曲线与图像中实际的曲线之间的误差作为摄像机参数的估测误差。具体摄像机参数的估测误差可以有多种定义方式，只要实践证明在计算摄像机参数时满足精度要求就可以，例如，将两曲线的左端点相连，右端点相连，计算所包围的面积。获得估测误差之后，亮度函数获取装置利用非线性迭代优化算法会估计出新的一组摄像机参数，利用这个新的摄像机参数可以得到一个新的估测误差，如此迭代，直到估测误差小到满足要求，即可获得高精度的摄像机参数。

205、根据摄像机参数和投影屏幕的位置参数建立从投影屏幕的坐标到从第一角度拍摄的图像坐标的第一坐标映射关系；

亮度函数获取装置根据摄像机参数获取第一图像在摄像机的成像平面内的任意点坐标，将该成像平面内的任意点与摄像机的光心相连，得到第一直线；根据投影屏幕的位置参数还原投影屏幕的曲面(由于本发明实施例假设投影屏幕为垂直挤压曲面，因此，在得到三维上轮廓曲线和三维下轮廓曲线后，即可得到投影屏幕的曲面)，其中，该第一直线与投影屏幕的曲面相交，得到的相交点的坐标与该任意点的坐标一一映射；亮度函数获取装置根据各个任意点的坐标以及其对应的相交点的坐标即可建立从投影屏幕到第一角度的第一坐标映射关系。

在本发明实施例中，在获取到投影屏幕的位置参数(三维上轮廓曲线和三维下轮廓曲线)之后，亮度函数获取装置会根据投影屏幕的位置参数还原投影屏幕的曲面；而在其它应用场景中，显示屏幕为纯平面(如平板显示器)，在确定显示屏幕的曲面时，则无需计算显示屏幕的三维上轮廓曲线和三维下轮廓曲线，直接通过显示屏幕四个角的顶点三维坐标就可以确定显示屏幕的曲面；或者，在显示屏幕为不规则平面的应用场景中，亮度函数获取装置可以根据显示屏幕的位置参数，使用基于立体图像匹配点提取的三角测量技术构造该显示屏幕的曲面，该显示屏幕的位置参数为使用三维标定模板进行标定的参数。

206、根据第一图像和第二图像建立从第一角度拍摄到的图像坐标到第二角度的拍摄到的图像坐标的第二坐标映射关系；

亮度函数获取装置首先分别对从第一角度和第二角度获取到的第一图像和第二图像进行几何信息的提取，具体的，亮度函数获取装置分别提取第一图像和第二图像的第一特征点和第二特征点，该第一特征点和第二特征点分别用于表示第一图像和第二图像的位置信息；上述特征点所组成的图像可以为棋盘格图像或点阵图像；

然后，亮度函数获取装置再使用特征点检测算法查找一一映射的第一特征点和第二特征点；具体的，若上述特征点所组成的图像为棋盘格图像，则亮度函数获取装置使用棋盘格检测算法分别检测出第一图像和第二图像中的棋盘格角点，由于从第一角度和第二角度拍摄的同是投影屏幕的图像，因此，第一图像和第二图像具有一个共同标准棋盘格，通过棋盘格之间的映射关系，即可获得第一图像和第二图像的棋盘格角点坐标的一一映射关系；

最后，根据一一映射的第一特征点和第二特征点建立从第一角度拍摄到的图像坐标到第二角度的拍摄到的图像坐标的第二坐标映射关系。

亮度函数获取装置也可以使用质心检测方法检测点阵图像中的每一个圆点的高斯特征点，然后建立这些高斯特征点之间的一一映射关系，利用这些一一映射的特征点坐标计算出这两个图像之间的坐标映射关系。例如，首先假设两个图像之间的坐标映射关系符合有理贝塞尔模型，然后利用这些已知的一一映射的特征点坐标求解最优的有理贝塞尔模型的参数。这些参数获得之后，图像与图像之间的一一映射关系就已知了。实践证明，至少在很多情况下，图像与图像之间的坐标映射关系与有理贝塞尔模型的误差很小，因此有理贝塞尔模型的假设是合理的。有理贝塞尔模型的参数的求解，可以使用带约束的非线性优化算法，图像与图像之间映射关系的模型包含但不限于有理贝塞尔模型。

在本发明实施例中，由于进行摄像机标定的角度(即第一角度)和亮度图像获取的角度(即第二角度)是不同的，因此，不可以直接使用第一坐标映射关系进行投影屏幕的亮度函数的计算，需要从上述第一角度到上述第二角度进行坐标转换，以获取从投影屏幕到第二角度对应的摄像机所在位置的坐标映射关系，所以需要先计算出从上述第一角度拍摄到的图像坐标到第二角度的拍摄到的图像坐标的第二坐标映射关系。

207、根据第一坐标映射关系和第二坐标映射关系计算得到从投影屏幕的坐标到从第二角度拍摄的图像坐标的第三坐标映射关系；

亮度函数获取装置根据上述第一坐标映射关系和第二坐标映射关系计算得到从投影屏幕的坐标到上述从第二角度拍摄的图像坐标的第三坐标映射关系。

208、根据第三坐标映射关系对亮度图像进行坐标变换；

亮度函数获取装置根据第三坐标映射关系对从第二角度拍摄的投影屏幕的亮度图像进行坐标变换，获得投影屏幕坐标的亮度函数。

209、对投影屏幕坐标的亮度函数进行线性化处理。

亮度函数获取装置对投影屏幕坐标的亮度函数进行线性化处理，得到显示屏幕的线性化亮度函数。在本发明实施例中，由于从第二角度拍摄的投影屏幕的亮度图像为非线性化的数据，因此，需要对亮度函数进行线性化处理。

具体的，亮度函数获取装置根据摄像机的非线性亮度传递函数的逆函数对投影屏幕坐标的亮度函数进行线性化处理。非线性亮度传递函数可以又摄像机的厂家直接提供，也可以根据摄像机供应商所使用的颜色管理标准间接获取到，如：部分单反相机(摄像机的一种)供应商宣称使用了sRGB颜色管理标准，sRGB标准定义了相机的亮度传递函数，相应地也确定了亮度传递函数的逆函数。因此，这些相机的亮度传递函数的亮度传递函数与sRGB标准定义的相机的亮度传递函数比较接近，可直接使用sRGB标准定义的亮度传递函数作为本发明实施例中的亮度传递函数。

在本发明实施例中，描述了在显示屏幕为投影屏幕的场景下，亮度函数获取装置具体如何进行准确的亮度函数的获取，使得用户可以根据本发明实施例的亮度函数获取装置所获取到的亮度函数，对投影仪进行效果更好的颜色校正。

若在显示屏幕为平板显示器的应用场景，则获取亮度函数的方法流程与上述图2实施例的方法流程基本相同，不同的是：(1)摄像机参数的计算方法；在根据第一图像计算摄像机参数时，由于平板显示器的显示区域通常是一个尺寸已知的矩形，平板显示器的位置信息可以根据平板显示器4个角的三维坐标直接确定，而平板显示器4个角的三维坐标可以事先用尺子测量获得，不需要进行额外的曲面计算；根据该4个角的三维坐标，亮度函数获取装置再使用非线性迭代优化算法即可求得摄像机参数；(2)第一坐标映射关系的计算方法；在摄像机参数获取之后，摄像机与平板显示器的相对空间位置就确定了，则第一直线与平板显示器平面的相交点，与该第一直线在摄像机的成像平面内的起点构成了一一映射的关系，利用多组这样的映射关系点就可以获得从平板显示器到第一角度的第一坐标映射关系；上述第一直线为从第一图像在摄像机的成像平面内的任意点与摄像机光心相连的直线。

为了便于理解，下面以一具体应用场景对上述的实施例中描述的亮度函数获取方法再进行详细的描述，具体为：

如图所示，图中为三个投影仪组成的投影系统，其中，0号投影仪与1号投影仪，以及1号投影仪与2号投影仪分别形成了两片投影的重叠区域，该重叠区域是由于投影光线的叠加造成的亮带；该亮带的亮度明显比其它显示区域高，给观众造成画面上的颜色割裂感，因此，需要对投影仪所投影的显示图像进行颜色校正，而在进行颜色校正之前则需要获取到该投影屏幕的亮度函数。

在上述图2实施例已经提过，投影屏幕的显示面近似为垂直挤压曲面，本发明实施例通过两台摄像机分别在两个角度拍摄显示屏幕，第一角度为进行摄像机标定的拍摄角度，第二角度为观众观察投影屏幕的角度，由于观众观察投影屏幕的角度在正面，因此所拍摄到的投影屏幕的亮带显示比较均匀，接近于朗伯表面。

亮度函数获取装置通过上述两台摄像机分别获取从第一角度拍摄到的第一图像，以及从第二角度拍摄到的第二图像；亮度函数获取装置通过第一图像计算摄像机参数(具体计算过程可以参考上述步骤203和204的描述)，该摄像机参数可以分为内部参数和外部参数，内部参数包括：摄像机的焦距，摄像机的光心坐标，图像中心点的坐标，镜头径向畸变的一阶系数；外部参数包括：三维空间世界坐标系与摄像机坐标系之间的旋转矩阵R和平移向量T。

若相机坐标系在世界坐标系下的方向：绕X轴逆时针旋转角度(α)，绕Y轴逆时针旋转角度(β)，绕Z轴逆时针旋转角度(γ)，则旋转矩阵为：

$R=R_{\mathrm{\α}}{R}_{\mathrm{\β}}{R}_{\mathrm{\γ}}=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right],$ 其中： $R_{\mathrm{\α}}=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\α}& \sin \mathrm{\α}\\ 0& -\sin \mathrm{\α}& \cos \mathrm{\α}\end{array}\right],$

$R_{\mathrm{\β}}=\left[\begin{array}{ccc}\cos \mathrm{\β}& 0& -\sin \mathrm{\β}\\ 0& 1& 0\\ \sin \mathrm{\β}& 0& \cos \mathrm{\β}\end{array}\right],$ $R_{\mathrm{\γ}}=\left[\begin{array}{ccc}\cos \mathrm{\γ}& \sin \mathrm{\γ}& 0\\ -\sin \mathrm{\γ}& \cos \mathrm{\γ}& 0\\ 0& 0& 1\end{array}\right],$ 而 $T=\left(\begin{array}{c}{T}_x\\ T_y\\ T_z\end{array}\right),$

其中，T_x，T_y和T_z分别为从世界坐标系到相机坐标系变换的沿三个坐标轴的平移量(旋转之后)。

在获取到摄像机参数之后，亮度函数获取装置将上轮廓曲线上的任意点与摄像机的光心相连，得到第二直线，该第二直线与三维上轮廓曲线所在的平面相交，相交点为三维上轮廓点，根据该三维上轮廓点的集合确定三维上轮廓曲线；然后，将三维上轮廓曲线向下平移与投影屏幕高度相等的距离，得到三维下轮廓曲线；亮度函数获取装置通过该三维上轮廓曲线和三维下轮廓曲线确定投影屏幕的曲面。

亮度函数获取装置根据摄像机参数获取第一图像在摄像机的成像平面内的任意点坐标，将该成像平面内的任意点与摄像机的光心相连，得到第一直线；其中，该第一直线与投影屏幕的曲面相交，得到的相交点的坐标与该任意点的坐标一一映射；亮度函数获取装置根据各个任意点的坐标以及其对应的相交点的坐标即可建立从投影屏幕到第一角度的第一坐标映射关系。

亮度函数获取装置根据上述第一图像和第二图像建立从第一角度拍摄到的图像坐标到第二角度的拍摄到的图像坐标的第二坐标映射关系，具体第二坐标映射关系的计算方法可参考上述步骤206的描述。亮度函数获取装置再根据第一坐标映射关系和第二坐标映射关系计算得到从显示屏幕的坐标到从第二角度拍摄的图像坐标的第三坐标映射关系，然后使用第三坐标映射关系对从第二角度拍摄的投影屏幕的亮度图像进行坐标变换以及线性化处理，获得投影屏幕的线性化亮度函数。具体坐标变换以及线性化处理的过程可以参考上述步骤208和209的描述。

在得到投影屏幕的线性化亮度函数之后，颜色校正装置就可以针对投影屏幕上的重叠区域进行颜色校正，具体为：

颜色校正装置获取重叠区域的宽度为w，获取重叠区中的某点P在投影屏幕上的坐标P_m(mx，my)，该点离1号投影仪的投影区域的左边界距离为d。具体获取宽度w和左边界距离d的方法为：根据上述获取到的投影屏幕的线性化亮度函数，可以提取每个投影仪的投影边界(具体可以使用图像分割方法，边沿提取方法，或者手工编辑的方法进行提取)，1号显示区域左边界与0号显示区域右边界之间的距离即为第一个重叠区域宽度w。P_m(mx，my)到1号显示区域左边界的距离即为d。

单独由0号投影仪的产生投影区域的色品坐标为(x₀，y₀)，其标准色度系统(CIE-XYZ，X代表红原色，Y代表绿原色，Z代表蓝原色，这三个原色不是物理上的真实色，而是虚构的假想色)空间下的颜色向量为(X₀，Y₀，Z₀)；单独由1号投影仪的产生投影区域的色品坐标为(x₁，y₁)，其CIE-XYZ空间下的颜色向量为(X₁，Y₁，Z₁)；两者在重叠区共同作用后的色品坐标为(x₀₁，y₀₁)，其CIE-XYZ空间下的颜色向量为(X₀₁，Y₀₁，Z₀₁)，假设投影屏幕近似的线性系统，则

$\left\{\begin{array}{c}(x_{01},y_{01})=\mathrm{\τ}\left(d\right)(x_0,y_0)+(1-\mathrm{\τ}\left(d\right))(x_1,y_1)\\ (X_{01},Y_{01},Z_{01})=(X_0,Y_0,Z_0)+(X_1,Y_1,Z_1)\end{array}\right.$

其中τ(d)是色品坐标的过渡函数，可以定义τ(d)＝(1+cos(πd/w))/2，也可以根据需要设计其他的τ(d)。

记 $\left\{\begin{array}{c}{B}_0=(X_0,Y_0,Z_0)\\ B_1=(X_1,Y_1,Z_1)\end{array}\right.,$

令(β₀，β₁)为以下方程组的解：

$\left\{\begin{array}{c}\frac{{\mathrm{\β}}_0{B}_0}{{\mathrm{\β}}_0{B}_0+{\mathrm{\β}}_1{B}_1}=\mathrm{\τ}\left(d\right)\\ \frac{{\mathrm{\β}}_1{B}_1}{{\mathrm{\β}}_0{B}_0+{\mathrm{\β}}_1{B}_1}=1-\mathrm{\τ}\left(d\right)\end{array}\right.$ 则： $\begin{array}{c}(x_{01},y_{01})=(\frac{x_0{\mathrm{\β}}_0{B}_0+x_1{\mathrm{\β}}_1{B}_1}{{\mathrm{\β}}_0{B}_0{+\mathrm{\β}}_1{B}_1},\frac{y_0{\mathrm{\β}}_0{B}_0+y_1{\mathrm{\β}}_1{B}_1}{{\mathrm{\β}}_0{B}_0+{\mathrm{\β}}_1{B}_1})\\ =((\mathrm{\τ}\left(d\right)x_0+(1-\mathrm{\τ}\left(d\right))x_1),(\mathrm{\τ}\left(d\right)y_0+(1-\mathrm{\τ}\left(d\right))y_1))\\ =\mathrm{\τ}\left(d\right)(x_0,y_0)+(1-\mathrm{\τ}\left(d\right))(x_1,y_1)\end{array}$

由上述公式可知，只要0号投影仪的投影区域的亮度衰减β₀倍，1号与0号投影的重叠区域就衰减β₁倍，因此，可使重叠区域的色品坐标按照τ(d)函数进行过渡，简称这种衰减为β衰减，称β为色度平滑的衰减函数，在壁画坐标下β＝β(mx，my)。

上述B₀和B₁分别为0号投影仪和1号投影仪独立激励投影屏幕在P点上的亮度响应。由于亮度函数是亮度关于投影屏幕坐标的映射关系，0号投影仪投影屏幕上的P点坐标对应的亮度函数值即为0号投影仪独立激励投影幕在点P的亮度响应，因此，通过上述亮度函数获取装置所获取的线性化亮度函数即可获得B₀和B₁的值。

颜色校正装置将重叠区域的色品坐标按照τ(d)函数进行过渡之后，即可完成投影屏幕的色度校正。

实施色度矫正之后，对投影屏幕坐标下空间亮度函数实施β衰减后并可以得到投影屏幕坐标下的总体亮度分布，这个亮度分布虽然消除了色度的割裂感，却未能消除亮度上的割裂感，因此，颜色校正装置还需要进行亮度校正方法。

首先，颜色校正装置获得各投影区域在投影屏幕坐标下的空间亮度函数，该亮度函数可以是亮度函数获取装置所获取的线性化亮度函数，也可以是实施β衰减后的空间亮度分布，具体做何选择取决于用户是否需要色度校正，在有些要求不高的场合，色度校正可以省略。空间亮度函数和β函数都是壁画坐标的2元函数，两个函数相乘即为衰减的运算过程，乘积即为“实施β衰减后的空间亮度分布。

然后，颜色校正装置将输入的空间亮度函数在相同的位置相加，得到综合空间亮度函数。颜色校正装置使用综合空间亮度函数作为输入，使用亮度平滑算法获得目标空间亮度函数。然后用目标亮度函数与输入的空间亮度函数相除，即可得到亮度平滑的衰减函数，记为ζ，在投影屏幕的坐标下ζ＝ζ(mx，my)。亮度平滑算法求解目标空间亮度函数可认为是一个带约束条件的最优化问题。约束条件是亮度差异人眼不可以感知，优化的目标是每个像素的动态范围之和最大化。

将输入图像线性化之后与综合亮度衰减函数α相乘法即得到颜色校正后的线性图像。在需要使用色度校正和亮度校正的场合，该亮度综合亮度衰减函数α＝β□ζ，在只需要亮度矫正的场合α＝ζ，在只需要色度矫正的场合α＝β。输入图像线性化根据显示设备的公共亮度传输函数执行。

最后，颜色校正装置对颜色校正后的线性图像实施非线性化，再输出到显示设备的输入端，即可完成颜色矫正的操作。非线性化的操作需要使用对应显示设备的亮度函数传递函数的逆函数。

颜色包含了亮度和色度。可以按照本实施例所述方法对亮度和色度都实施校正，也可以降低要求，只校正亮度或者色度。

上面仅以一些例子对本发明实施例中的应用场景进行了说明，可以理解的是，在实际应用中，还可以有更多的应用场景，具体此处不作限定。

下面对用于执行上述亮度函数获取方法的本发明亮度函数获取装置的实施例进行说明，其逻辑结构请参考图4，本发明实施例中的亮度函数获取装置的一个实施例包括：

第一获取单元401，用于获取从第一角度拍摄的显示屏幕的第一图像，该第一角度为用于摄像机标定的拍摄角度；

第二获取单元402，用于获取从第二角度拍摄的显示屏幕的第二图像以及亮度图像，该第二角度为用户指定的任意拍摄角度；

第一计算单元403，用于根据上述第一图像计算摄像机参数；

第一建立单元404，用于根据上述摄像机参数和显示屏幕的位置参数建立从该显示屏幕的坐标到从第一角度拍摄的图像坐标的第一坐标映射关系；

第二建立单元405，用于根据上述第一图像和第二图像建立从上述第一角度拍摄到的图像坐标到第二角度的拍摄到的图像坐标的第二坐标映射关系；

第三建立单元406，用于根据上述第一坐标映射关系和第二坐标映射关系计算得到从上述显示屏幕的坐标到从第二角度拍摄的图像坐标的第三坐标映射关系；

第二计算单元407，用于根据上述第三坐标映射关系和上述亮度图像计算得到上述显示屏幕的线性化亮度函数。

本发明实施例中的第二计算单元407可以包括：第一坐标变换模块4071和第一线性化模块4072，或第二坐标变换模块4074和第二线性化模块4073。

第一坐标变换模块4071，用于根据上述第三坐标映射关系对上述亮度图像进行坐标变换，若从上述第二角度拍摄到的亮度图像为非线性数据，则得到上述显示屏幕坐标的亮度函数，并触发第一线性化模块4072；若从该第二角度拍摄到的亮度图像为线性数据，则直接得到该显示屏幕坐标的线性化亮度函数；

第一线性化模块4072，用于对上述显示屏幕坐标的亮度函数进行线性化处理，得到上述显示屏幕的线性化亮度函数；

第二线性化模块4073，用于对上述亮度图像进行线性化处理，得到从上述第二角度拍摄到的线性化亮度图像，并触发第二坐标变换模块4074；

第二坐标变换模块4074，用于根据上述第三坐标映射关系对上述线性化亮度图像进行坐标变换，得到上述显示屏幕的线性化亮度函数。

本发明实施例中的第一计算单元403可以包括：

第一提取模块4031，用于根据上述第一图像提取上述显示屏幕的轮廓坐标；

第一获取模块4032，用于根据轮廓坐标获取上述显示屏幕的上轮廓曲线和下轮廓曲线；

估测模块4033，用于使用非线性迭代优化算法根据上述轮廓坐标、上轮廓曲线和下轮廓曲线估测摄像机参数。

本发明实施例中的第一建立单元404可以包括：

第二获取模块4041，用于获取第一图像在摄像机的成像平面内的任意点坐标；

第三获取模块4042，用于将上述成像平面内的任意点与摄像机的光心相连，得到第一直线；

第四获取模块4043，用于根据上述显示屏幕的位置参数还原上述显示屏幕的曲面，上述第一直线与显示屏幕的曲面相交，得到相交点坐标，该任意点坐标与该相交点坐标一一映射；

第一建立模块4044，用于根据各个上述任意点坐标以及该任意点坐标对应的相交点坐标建立从上述显示屏幕的坐标到从第一角度拍摄的图像坐标的第一坐标映射关系。

本发明实施例中的第二建立单元405可以包括：

第二提取模块4051，用于分别提取上述第一图像和第二图像的第一特征点和第二特征点，上述第一特征点和第二特征点分别用于表示该第一图像和第二图像的位置信息；

查找模块4052，用于使用特征点检测算法查找一一映射的上述第一特征点和第二特征点；

第二建立模块4053，用于根据一一映射的上述第一特征点和第二特征点建立从上述第一角度拍摄到的图像坐标到第二角度的拍摄到的图像坐标的第二坐标映射关系。

本发明实施例亮度函数获取装置中各个单元具体的交互过程如下：

第一获取单元401获取从第一角度拍摄的显示屏幕的第一图像，该第一角度为用于摄像机标定的拍摄角度。在本发明实施例中，摄像机从第一角度对显示屏幕进行拍摄，该显示屏幕可以为投影屏幕或平板显示器。第二获取单元402取从第二角度拍摄的显示屏幕的第二图像以及亮度图像，该第二角度为用户指定的任意拍摄角度；该亮度图像为该第二图像对应的亮度数据信息。从第一角度拍摄的摄像机和从第二角度拍摄的摄像机可以为同一部摄像机，也可以为两部不同的摄像机，具体根据实际情况而定，此处不作限定。

在获取到第一图像之后，第一计算单元403根据上述从第一角度获取到第一图像计算摄像机参数。该摄像机参数分为内部参数和外部参数，摄像机的内部参数包括：焦距，摄像机的光心坐标，图像中心点的坐标，镜头径向畸变的一阶系数；摄像机的外部参数包括：三维空间世界坐标系与摄像机坐标系之间的旋转矩阵和平移向量。

具体的，可以由第一计算单元403的第一提取模块4031在该第一图像中提取显示屏幕的轮廓坐标，该轮廓坐标具体可以为显示屏幕的四个角的三维坐标；第一计算单元403的第一获取模块403根据该轮廓坐标对第一图像做CANNY算子的边缘提取，得到边缘图像；去除该边缘图像中除上轮廓以及下轮廓之外的边缘数据，得到上轮廓坐标和下轮廓坐标；使用多项式模型和最小二乘法分别对该上轮廓坐标和下轮廓坐标进行上边缘和下边缘的拟合，得到上轮廓曲线和下轮廓曲线；第一计算单元403的估测模块4033利用非线性迭代优化算法根据上述轮廓坐标、上轮廓曲线和下轮廓曲线初步的估测摄像机参数；进一步的，为了提高摄像机参数的估测精度，估测模块4033还可以将上述得到的摄像机参数作为初始摄像机参数，并使用显示屏幕的上轮廓曲线和下轮廓曲线计算该初始摄像机参数的估测误差，具体的，在确定了三维上轮廓曲线和三维下轮廓曲线之后，亮度函数获取装置根据初步估测的摄像机参数，将该三维下轮廓曲线映射回摄像机图像得到一条重投下轮廓曲线，将重投下轮廓曲线与图像中实际的曲线之间的误差作为摄像机参数的估测误差。具体摄像机参数的估测误差可以有多种定义方式，只要实践证明在计算摄像机参数时满足精度要求就可以，例如，将两曲线的左端点相连，右端点相连，计算所包围的面积。获得估测误差之后，亮度函数获取装置利用非线性迭代优化算法会估计出新的一组摄像机参数，利用这个新的摄像机参数可以得到一个新的估测误差，如此迭代，直到估测误差小到满足要求，即可获得高精度的摄像机参数。

在获取到摄像机参数之后，第一建立单元404根据摄像机参数和显示屏幕的位置参数建立从显示屏幕的坐标到从第一角度拍摄的图像坐标的第一坐标映射关系；具体的，可以由第一建立单元404的第二获取模块4041获取第一图像在摄像机的成像平面内的任意点坐标；由第一建立单元404的第三获取模块4042将上述成像平面内的任意点与摄像机的光心相连，得到第一直线；由第一建立单元404的第四获取模块4043根据上述显示屏幕的位置参数还原上述显示屏幕的曲面，上述第一直线与显示屏幕的曲面相交，得到相交点坐标，该任意点坐标与该相交点坐标一一映射；最后，由第一建立单元404的第一建立模块4044根据各个上述任意点坐标以及该任意点坐标对应的相交点坐标建立从上述显示屏幕的坐标到从第一角度拍摄的图像坐标的第一坐标映射关系。

可选的，若显示屏幕为垂直挤压曲面，则第四获取模块4043可以通过三维上轮廓曲线和三维下轮廓曲线得到投影屏幕的曲面；若显示屏幕为纯平面(如平板显示器)，在确定显示屏幕的曲面时，则无需计算显示屏幕的三维上轮廓曲线和三维下轮廓曲线，第四获取模块4043直接通过显示屏幕四个角的顶点三维坐标就可以确定显示屏幕的曲面；或者，在显示屏幕为不规则平面的应用场景中，第四获取模块4043可以根据显示屏幕的位置参数，使用基于立体图像匹配点提取的三角测量技术构造该显示屏幕的曲面，该显示屏幕的位置参数为使用三维标定模板进行标定的参数。

在获取到第一图像和第二图像之后，第二建立单元405根据第一图像和第二图像建立从第一角度拍摄到的图像坐标到第二角度的拍摄到的图像坐标的第二坐标映射关系；具体的，可以由第二建立单元405的第二提取模块4051分别提取上述第一图像和第二图像的第一特征点和第二特征点，上述第一特征点和第二特征点分别用于表示该第一图像和第二图像的位置信息，上述特征点所组成的图像可以为棋盘格图像或点阵图像；由第二建立单元405的查找模块4052使用特征点检测算法查找一一映射的第一特征点和第二特征点；具体的，若上述特征点所组成的图像为棋盘格图像，则亮度函数获取装置使用棋盘格检测算法分别检测出第一图像和第二图像中的棋盘格角点，由于从第一角度和第二角度拍摄的同是投影屏幕的图像，因此，第一图像和第二图像具有一个共同标准棋盘格，通过棋盘格之间的映射关系，即可获得第一图像和第二图像的棋盘格角点坐标的一一映射关系；由第二建立单元405的第二建立模块4053根据一一映射的第一特征点和第二特征点建立从第一角度拍摄到的图像坐标到第二角度的拍摄到的图像坐标的第二坐标映射关系。

在本发明实施例中，由于进行摄像机标定的角度(即第一角度)和亮度图像获取的角度(即第二角度)是不同的，因此，不可以直接使用第一坐标映射关系进行投影屏幕的亮度函数的计算，需要从上述第一角度到上述第二角度进行坐标转换，以获取从投影屏幕到第二角度对应的摄像机所在位置的坐标映射关系，所以需要先计算出从上述第一角度拍摄到的图像坐标到第二角度的拍摄到的图像坐标的第二坐标映射关系。

在得到第一坐标映射关系和第二坐标映射关系之后，第三建立单元406根据上述第一坐标映射关系和第二坐标映射关系计算得到从投影屏幕到上述第二角度的第三坐标映射关系(即从投影屏幕到第二角度对应的摄像机所在位置的坐标映射关系)。

最后，第二计算单元407上述第三坐标映射关系和上述亮度图像计算得到上述显示屏幕的线性化亮度函数。

在本发明实施例中，具体的，若从第二角度拍摄的显示屏幕的亮度图像为非线性化的数据，则可以由第二计算单元407的第一坐标变换模块4071根据上述第三坐标映射关系对上述亮度图像进行坐标变换，得到上述显示屏幕坐标的亮度函数，并触发第一线性化模块4072对上述显示屏幕坐标的亮度函数进行线性化处理，得到上述显示屏幕的线性化亮度函数；或者，可以由第二计算单元407的第二线性化模块4073先对上述亮度图像进行线性化处理，得到从上述第二角度拍摄到的线性化亮度图像，并触发第二坐标变换模块4074根据上述第三坐标映射关系对上述线性化亮度图像进行坐标变换，得到上述显示屏幕的线性化亮度函数。

若从第二角度拍摄的显示屏幕的亮度图像为线性化的数据，则第一坐标变换模块4071根据上述第三坐标映射关系对上述亮度图像进行坐标变换之后，直接可以得到该显示屏幕的线性化亮度函数。

下面对用于执行上述亮度函数获取方法的本发明亮度函数获取系统的实施例进行说明，其逻辑结构请参考图5，本发明实施例中的亮度函数获取系统的一个实施例包括：

摄像机装置501，显示装置502，亮度函数获取装置503；

摄像机装置501至少包括两个镜头，分别从第一角度和第二角度拍摄所述显示装置502的显示屏幕，所述第一角度为用于摄像机标定的拍摄角度，所述第二角度为用户指定的任意拍摄角度。其中，摄像机装置501可以由一部或两部摄像机组成，若是一部摄像机，则该部摄像机至少包括两个镜头；若是两部摄像机，则两部摄像机分别从第一角度和第二角度对显示装置502进行拍摄。

显示装置502用于在显示屏幕中显示图像。其中，该显示装置502可以为平板显示器，也可以为投影显示系统；若是投影显示系统，则投影屏幕则为该显示装置502的显示屏幕，且该投影显示系统可以包括有多个投影仪，由多个投影仪所投影的图像组成所需要显示的图像。

亮度函数获取装置503用于从所述摄像机装置501中分别获取从第一角度拍摄的显示屏幕的第一图像，和从第二角度拍摄的显示屏幕的第二图像以及亮度图像，根据所述第一图像计算摄像机参数；根据所述摄像机参数和所述显示屏幕的位置参数建立从所述显示屏幕的坐标到从所述第一角度拍摄的图像坐标的第一坐标映射关系；根据所述第一图像和所述第二图像建立从所述第一角度拍摄到的图像坐标到所述第二角度的拍摄到的图像坐标的第二坐标映射关系；根据所述第一坐标映射关系和第二坐标映射关系计算得到从所述显示屏幕的坐标到从所述第二角度拍摄的图像坐标的第三坐标映射关系；根据所述第三坐标映射关系和所述亮度图像计算得到所述显示屏幕的线性化亮度函数。

本发明亮度函数获取系统具体的操作过程可以参考图2实施例的流程，此处不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (15)

1.一种亮度函数获取方法，其特征在于，包括：

获取从第一角度拍摄的显示屏幕的第一图像，所述第一角度为用于摄像机标定的拍摄角度；

获取从第二角度拍摄的显示屏幕的第二图像以及亮度图像，所述第二角度为用户指定的任意拍摄角度，所述亮度图像为所述第二图像对应的亮度数据信息；

根据所述第一图像计算摄像机参数；

根据所述摄像机参数和所述显示屏幕的位置参数建立从所述显示屏幕的坐标到从所述第一角度拍摄的图像坐标的第一坐标映射关系；

根据所述第一图像和所述第二图像建立从所述第一角度拍摄到的图像坐标到所述第二角度的拍摄到的图像坐标的第二坐标映射关系；

根据所述第一坐标映射关系和第二坐标映射关系计算得到从所述显示屏幕的坐标到从所述第二角度拍摄的图像坐标的第三坐标映射关系；

根据所述第三坐标映射关系和所述亮度图像计算得到所述显示屏幕的线性化亮度函数，包括：根据第三坐标映射关系对亮度图像进行坐标变换，得到所述显示屏幕的线性化亮度函数。

2.根据权利要求1所述的方法，其特征在于，若从所述第二角度拍摄到的亮度图像为非线性数据，则所述根据第三坐标映射关系和所述亮度图像计算得到所述显示屏幕的线性化亮度函数，包括：

根据所述第三坐标映射关系对所述亮度图像进行坐标变换，得到所述显示屏幕坐标的亮度函数，对所述显示屏幕坐标的亮度函数进行线性化处理，得到所述显示屏幕的线性化亮度函数；

或，

对所述亮度图像进行线性化处理，得到从所述第二角度拍摄到的线性化亮度图像，根据所述第三坐标映射关系对所述线性化亮度图像进行坐标变换，得到所述显示屏幕的线性化亮度函数；

若从所述第二角度拍摄到的亮度图像为线性数据，则所述根据第三坐标映射关系和所述亮度图像计算得到所述显示屏幕的线性化亮度函数，包括：

根据所述第三坐标映射关系对所述亮度图像进行坐标变换，得到所述显示屏幕的线性化亮度函数。

3.根据权利要求1所述的方法，其特征在于，所述摄像机参数包括：内部参数和外部参数；

所述内部参数包括：焦距，摄像机的光心坐标，图像中心点的坐标，镜头径向畸变的一阶系数；

所述外部参数包括：三维空间世界坐标系与摄像机坐标系之间的旋转矩阵和平移向量。

4.根据权利要求1所述的方法，其特征在于，

所述根据第一图像计算摄像机参数，包括：

根据所述第一图像提取所述显示屏幕的轮廓坐标；

根据轮廓坐标获取所述显示屏幕的上轮廓曲线和下轮廓曲线；

使用非线性迭代优化算法根据所述轮廓坐标、上轮廓曲线和下轮廓曲线估测摄像机参数。

5.根据权利要求4所述的方法，其特征在于，所述根据轮廓坐标获取所述显示屏幕的上轮廓曲线和下轮廓曲线，包括：

对所述第一图像做CANNY算子的边缘提取，得到边缘图像；

去除所述边缘图像中除上轮廓以及下轮廓之外的边缘数据，得到上轮廓坐标和下轮廓坐标；

使用多项式模型和最小二乘法分别对所述上轮廓坐标和下轮廓坐标进行上边缘和下边缘的拟合，得到上轮廓曲线和下轮廓曲线。

6.根据权利要求5所述的方法，其特征在于，使用非线性迭代优化算法根据所述轮廓坐标、上轮廓曲线和下轮廓曲线估测摄像机参数之后，还包括：

将所述估测的摄像机参数作为初始摄像机参数；

使用所述上轮廓曲线和下轮廓曲线计算所述初始摄像机参数的估测误差；

使用所述估测误差和非线性迭代优化算法再次估测摄像机参数。

7.根据权利要求4所述的方法，其特征在于，所述根据摄像机参数和所述显示屏幕的位置参数建立从所述显示屏幕的坐标到从所述第一角度拍摄的图像坐标的第一坐标映射关系，包括：

获取第一图像在摄像机的成像平面内的任意点坐标；

将所述成像平面内的任意点与摄像机的光心相连，得到第一直线；

根据所述显示屏幕的位置参数还原所述显示屏幕的曲面，所述第一直线与所述显示屏幕的曲面相交，得到相交点坐标，所述任意点坐标与所述相交点坐标一一映射；

根据各个所述任意点坐标以及所述任意点坐标对应的相交点坐标建立从所述显示屏幕的坐标到从所述第一角度拍摄的图像坐标的第一坐标映射关系。

8.根据权利要求7所述的方法，其特征在于，

若所述显示屏幕为垂直挤压曲面，则根据所述显示屏幕的位置参数还原所述显示屏幕的曲面，包括：

将所述上轮廓曲线上的任意点与所述摄像机的光心相连，得到第二直线，所述第二直线与三维上轮廓曲线所在的平面相交，相交点为三维上轮廓点，根据所述三维上轮廓点的集合确定三维上轮廓曲线；

将所述三维上轮廓曲线向下平移与显示屏幕高度相等的距离，得到三维下轮廓曲线；

通过所述三维上轮廓曲线以及所述三维下轮廓曲线确定所述显示屏幕的曲面；

若所述显示屏幕为不规则平面，则根据所述显示屏幕的位置参数还原所述显示屏幕的曲面，包括：

根据所述显示屏幕的位置参数，使用基于立体图像匹配点提取的三角测量技术构造所述显示屏幕的曲面，所述显示屏幕的位置参数为使用三维标定模板进行标定的参数；

若所述显示屏幕为纯平面，则根据所述显示屏幕的位置参数还原所述显示屏幕的曲面，包括：

根据所述显示屏幕的位置参数获取所述显示屏幕四个角的顶点三维坐标，通过所述四个角的顶点三维坐标确定所述显示屏幕的曲面。

9.根据权利要求1所述的方法，其特征在于，根据所述第一图像和所述第二图像建立从所述第一角度拍摄到的图像坐标到所述第二角度的拍摄到的图像坐标的第二坐标映射关系，包括：

分别提取所述第一图像和第二图像的第一特征点和第二特征点，所述第一特征点和第二特征点分别用于表示所述第一图像和第二图像的位置信息；

使用特征点检测算法查找一一映射的所述第一特征点和第二特征点；

根据一一映射的所述第一特征点和第二特征点建立从所述第一角度拍摄到的图像坐标到所述第二角度的拍摄到的图像坐标的第二坐标映射关系。

10.一种亮度函数获取装置，其特征在于，包括：

第一获取单元，用于获取从第一角度拍摄的显示屏幕的第一图像，所述第一角度为用于摄像机标定的拍摄角度；

第二获取单元，用于获取从第二角度拍摄的显示屏幕的第二图像以及亮度图像，所述第二角度为用户指定的任意拍摄角度，所述亮度图像为所述第二图像对应的亮度数据信息；

第一计算单元，用于根据所述第一图像计算摄像机参数；

第一建立单元，用于根据所述摄像机参数和所述显示屏幕的位置参数建立从所述显示屏幕的坐标到从所述第一角度拍摄的图像坐标的第一坐标映射关系；

第二建立单元，用于根据所述第一图像和所述第二图像建立从所述第一角度拍摄到的图像坐标到所述第二角度的拍摄到的图像坐标的第二坐标映射关系；

第三建立单元，用于根据所述第一坐标映射关系和第二坐标映射关系计算得到从所述显示屏幕的坐标到从所述第二角度拍摄的图像坐标的第三坐标映射关系；

第二计算单元，用于根据所述第三坐标映射关系和所述亮度图像计算得到所述显示屏幕的线性化亮度函数，包括：根据第三坐标映射关系对亮度图像进行坐标变换，得到所述显示屏幕的线性化亮度函数。

11.根据权利要求10所述的装置，其特征在于，所述第二计算单元包括：第一坐标变换模块和第一线性化模块，或第二坐标变换模块和第二线性化模块；

所述第一坐标变换模块，用于根据所述第三坐标映射关系对所述亮度图像进行坐标变换，若从所述第二角度拍摄到的亮度图像为非线性数据，则得到所述显示屏幕坐标的亮度函数，并触发第一线性化模块；若从所述第二角度拍摄到的亮度图像为线性数据，则直接得到所述显示屏幕坐标的线性化亮度函数；

所述第一线性化模块，用于对所述显示屏幕坐标的亮度函数进行线性化处理，得到所述显示屏幕的线性化亮度函数；

所述第二线性化模块，用于对所述亮度图像进行线性化处理，得到从所述第二角度拍摄到的线性化亮度图像，并触发所述第二坐标变换模块；

所述第二坐标变换模块，用于根据所述第三坐标映射关系对所述线性化亮度图像进行坐标变换，得到所述显示屏幕的线性化亮度函数。

12.根据权利要求10所述的装置，其特征在于，所述第一计算单元包括：

第一提取模块，用于根据所述第一图像提取所述显示屏幕的轮廓坐标；

第一获取模块，用于根据轮廓坐标获取所述显示屏幕的上轮廓曲线和下轮廓曲线；

估测模块，用于使用非线性迭代优化算法根据所述轮廓坐标、上轮廓曲线和下轮廓曲线估测摄像机参数。

13.根据权利要求12所述的装置，其特征在于，所述第一建立单元包括：

第二获取模块，用于获取第一图像在摄像机的成像平面内的任意点坐标；

第三获取模块，用于将所述成像平面内的任意点与摄像机的光心相连，得到第一直线；

第四获取模块，用于根据所述显示屏幕的位置参数还原所述显示屏幕的曲面，所述第一直线与所述显示屏幕的曲面相交，得到相交点坐标，所述任意点坐标与所述相交点坐标一一映射；

第一建立模块，用于根据各个所述任意点坐标以及所述任意点坐标对应的相交点坐标建立从所述显示屏幕的坐标到从所述第一角度拍摄的图像坐标的第一坐标映射关系。

14.根据权利要求10所述的装置，其特征在于，所述第二建立单元包括：

第二提取模块，用于分别提取所述第一图像和第二图像的第一特征点和第二特征点，所述第一特征点和第二特征点分别用于表示所述第一图像和第二图像的位置信息；

查找模块，用于使用特征点检测算法查找一一映射的所述第一特征点和第二特征点；

第二建立模块，用于根据一一映射的所述第一特征点和第二特征点建立从所述第一角度拍摄到的图像坐标到所述第二角度的拍摄到的图像坐标的第二坐标映射关系。

15.一种亮度函数获取系统，其特征在于，包括：

摄像机装置，显示装置，亮度函数获取装置；

所述摄像机装置至少包括两个镜头，分别从第一角度和第二角度拍摄所述显示装置的显示屏幕，所述第一角度为用于摄像机标定的拍摄角度，所述第二角度为用户指定的任意拍摄角度；

所述显示装置用于在显示屏幕中显示图像；

所述亮度函数获取装置用于从所述摄像机装置中分别获取从第一角度拍摄的显示屏幕的第一图像，和从第二角度拍摄的显示屏幕的第二图像以及亮度图像，根据所述第一图像计算摄像机参数；根据所述摄像机参数和所述显示屏幕的位置参数建立从所述显示屏幕的坐标到从所述第一角度拍摄的图像坐标的第一坐标映射关系；根据所述第一图像和所述第二图像建立从所述第一角度拍摄到的图像坐标到所述第二角度的拍摄到的图像坐标的第二坐标映射关系；根据所述第一坐标映射关系和第二坐标映射关系计算得到从所述显示屏幕的坐标到从所述第二角度拍摄的图像坐标的第三坐标映射关系；根据所述第三坐标映射关系和所述亮度图像计算得到所述显示屏幕的线性化亮度函数。