CN107105209B - 投影图像几何畸变自动校正系统及其校正方法 - Google Patents

Abstract

本发明涉及投影图像几何畸变自动校正系统及其校正方法，该系统硬件部分报价测控计算机、投影仪、角度检测系统、图像融合计算机和成像计算机；软件部分为几何畸变自动校正软件，该软件包括数字相机图像采集与处理单元、云台控制单元、投影仪设置模块和投影仪校正处理单元，通过几何畸变自动校正软件与硬件协调工作，能够实现对投影图像几何畸变自动校正，解决手动图像校正后画面整体效果差，调整时间长的技术难题。

Description

投影图像几何畸变自动校正系统及其校正方法

技术领域

本发明属于投影图像处理领域，具体涉及投影图像几何畸变自动校正系统及

其校正方法。

背景技术

多通道大视场投影显示系统以其大视场、高临场感的视觉效果，在虚拟战场环境仿真、军事训练模拟、数字城市规划、三维地理信息系统等方面得到了越来越广泛的应用。近年来，多通道大视场投影显示系统开始向展览展示、调度控制、安防监控、指挥控制、工业控制、教育培训、会议中心、战场指挥等领域发展。多通道大视场投影显示系统以多通道视景同步技术、几何畸变校正技术、数字图像边缘融合技术、投影图像亮度均衡和颜色校正技术为支撑，将成像计算机生成的数字图像实时输出并显示在一个超大幅面的平面或曲面投影幕墙上，使观看者和参与者获得更大的显示尺寸、更宽的视野、更多的显示内容、更高的显示分辨率、更具冲击力和沉浸感的视觉效果。

通常情况下，大屏幕显示系统的画面是由多台投影仪投射的画面拼接而成，两个投影仪所投射出的画面之间会有缝隙；很多情况下大屏幕并不是平面的，而是柱状环幕或球状幕，这样就使投射出的图像产生几何畸变，需要经过专业的图像校正处理，即在投影前对图像进行几何畸变校正，最终生成一个完整、一体、无失真的多通道无缝拼接图像。现有的投影显示系统的图像校正方法为传统的手动校正方法，该方法通过手动方式进行几何畸变校正、融合带调整、边缘融合和颜色校正。校正后画面的颜色饱和度、色彩平衡、亮度均衡及图像对比度均一般，画面整体效果差，而且整个系统调试时间长。

发明内容

本发明是在丰富的传统手动图像校正经验基础上，以先进的机器视觉技术为依托，研究开发的一种精确度高、画面视觉效果好的投影图像几何畸变自动校正系统，目的在于解决手动图像校正后画面整体效果差，调整时间长的技术难题。

为实现上述目的，本发明所述的投影图像几何畸变自动校正系统包括：测控计算机、投影仪、角度检测系统、图像融合计算机和成像计算机；其中，所述测控计算机是系统检测与控制的核心，是大屏幕显示图像自动校正系统的硬件控制平台，测控计算机上安装有几何畸变自动校正软件；所述投影仪是被校正对象，用于显示系统投影图像，与系统之间通过LAN总线进行通信；所述角度检测系统包括高精度机器视觉云台和数字相机；所述高精度机器视觉云台通过RS232总线与测控计算机连接，测控计算机发出动作指令，控制云台动作，使其达到指定角度；所述数字相机安装在高精度机器视觉云台上，与测控计算机之间通过USB总线或LAN总线进行通信，用于采集该角度一定范围内的目标图像；所述图像融合计算机安装有图像融合软件，用于完成投影图像的边缘融合与畸变校正，与系统之间通过LAN总线连接；所述成像计算机是图像源，用于生成几何畸变校正所需要的校正图像（控制点图像），与系统之间通过LAN总线连接。

所述几何畸变自动校正软件包括数字相机图像采集与处理单元、云台控制单元、投影仪设置模块和投影仪校正处理单元。

其中，所述数字相机图像采集与处理单元包括数字相机参数设置模块、图像采集模块、图像处理模块，用于完成控制点图像的采集、处理，并计算图像中控制点的像素坐标值，最后将像素坐标值传递给投影仪校正处理单元作为控制点理论位置计算参数；所述数字相机参数设置模块包括分辨率、曝光量、ADC_LEVEL参数设置；所述图像采集模块，用于控制数字相机进行图像采集，分为单帧采集和连续采集；所述图像处理模块，用于对图像采集模块所采集的图像进行处理，包括参数设置、对比度处理、灰度处理、图像检测和控制点计算等，所述灰度处理法分为平均值法、加权法和最大值法。

所述云台控制单元包括云台状态读取模块、云台预备对准模块，用于控制云台搭载数字相机的成像中心指向控制点理论位置；所述云台状态读取模块，用于读取高精度机器视觉云台当前的水平角度和垂直角度；所述云台预备对准模块，用于精确控制云台动作，直至图像内控制点中心与数字相机所采集的图像十字中心点重合。

所述投影仪设置模块用于实现投影仪基本功能参数设置，并把水平和垂直投影视场传递给投影仪校正处理单元作为控制点理论位置计算参数；

所述投影仪校正处理单元包括控制点角度矩阵模块、图像畸变检测模块、图像畸变校正模块；用于将投影仪设置模块提供的数据与其他系统参数一起进行计算得出控制点理论位置，然后控制云台转向此位置，再触发数字相机图像采集与处理单元工作，数字相机图像采集与处理单元传回控制点实际位置数据，最后使用控制点的理论位置和实际位置数据计算得出畸变校正矩阵，传送给图像融合计算机；所述控制点角度矩阵模块，用于根据投影仪的参数设置和其他系统参数，计算云台的转动角度；所述图像畸变检测模块，用于检测云台经过虚拟投影平面打出的标准点和投影仪经过虚拟投影平面打出的实际投影点，计算每个控制点的畸变角度或畸变像素数，求得投影仪水平畸变校正矩阵和垂直畸变校正矩阵；所述图像畸变校正模块，用于对图像畸变检测模块所求得的投影仪水平畸变校正矩阵和垂直畸变校正矩阵进行进一步的数据处理，从而得到正确可靠的图像畸变校正矩阵，最后将畸变校正矩阵通过LAN总线发送到图像融合计算机。

本发明的另一目的是提供一种投影图像几何畸变自动校正方法，具体包括以下步骤：

步骤S1，测控计算机控制成像计算机输出要检测的像素的亮点信号（称为控制点），并通过投影仪在投影屏幕上显示出该控制点，工作时全系统中只有一个控制点，即知道该像素在空间点应该存在的位置（实际空间坐标系内控制点中心所在水平和垂直位置，或在平面幕下对应的该控制点的水平和垂直角度）；

步骤S2，测控计算机发出移动指令，控制具有角度检测系统的高精度机器视觉云台转至预定位置，即使数字相机的中心指向该像素应该存在的水平、垂直角度方向，由于显示系统受到曲面投影屏幕和光学效应影响，导致数字相机的中心并没有指向该像素中心应该存在的水平、垂直角度方向，也就是存在着畸变误差；

步骤S3，测控计算机通过数字相机图像采集与处理单元检测分析出像素的亮点信号的中心坐标；

步骤S4，测控计算机通过数字相机图像采集与处理单元计算出的像素的亮点信号的中心坐标在空间坐标系的坐标；

步骤S5，与该像素在空间点应该存在的理论位置（像素水平、垂直个数，或在平面幕下对应的该像素的水平和垂直角度）进行对比，计算出该像素的角度误差和相对像素的位置误差，形成矩阵形式的误差表；

步骤S6，将该矩阵传给图像融合计算机，由图像融合计算机完成畸变校正过程，最后通过投影仪将图像显示在投影屏幕上。

本发明所述的投影图像几何畸变自动校正原理：本发明是基于屏幕形状和观察点位置畸变量计算的自动调整方法，对于一个己知或可预知的光学投影系统可以通过光学的畸变计算来预先进行视景图像的预变换，实现视景系统畸变校正。该畸变校正必要条件是已知：可用数学描绘的屏幕曲面形状；投影仪相对屏幕曲面形状位置；观察者位置。当这三个特征量同时具备时，即可通过数学推导各象素畸变相关参量的方法，给予融合畸变校正计算机各个像素畸变量，实现数学畸变量计算的自动调整方法。

本发明的优点和积极效果：

（1）本发明所述的校正系统将成像计算机产生的VGA或DVI信号输入到融合计算机，经过校正后的信号再输出到投影机，再投射到任意形状的投影幕上，最终形成一幅整体化的、无失真的超大屏幕的投影显示图像。同时，可以通过调整色彩平衡和伽玛值使得两台或多台投影机投射出的图像无缝地融合拼接在一起，从而使复杂投影环境中的多个彼此相邻的投影图像平滑无缝地连接，实现一体化整体显示图像。

（2）本发明所述的校正系统可以极为精确地设置和计算投影校正系统的设备参数及屏幕控制点参数，将这些参数输入控制程序，启动自动几何校正功能，即可完成精度很高的自动几何畸变校正，使得图像中的每个像素都能被投射到正确的位置，从而精确控制画面的视觉效果；几何畸变校正参数可自动生成，可以极大地缩短系统集成周期，方便系统维护。

（3）本发明所述的校正系统可以通过修正融合计算机相关参数，修正投射图像的几何形状，保证投射到幕上的画面无几何失真，而且支持超大尺寸的平面投幕、柱面（环形）投影幕和球面投影幕，以及各种异型投影幕显示环境下的图像处理，可以使任何输入的图像变形、弯曲、融合并使颜色匹配。

（4）本发明所述的校正方法畸变校正准确，逐像素点进行校正，不会造成局部畸变。利用控制点自动检测算法和几何畸变自动校正算法，解决单通道投影图像的几何畸变自动校正问题，几何畸变小于2%；利用控制点识别算法，提高控制点检测效率，单通道（9*9控制点矩阵）投影仪的几何畸变自动校正时间小于120分钟；对显示系统多个通道进行几何畸变自动校正，解决多通道投影图像的投影画面几何一致性问题，实现相邻投影仪重叠区域的无缝拼接，像素偏差小于2个像素。

附图说明

图1为本发明所述系统硬件部分连接示意图。

图2为本发明所述系统软件部分结构框图。

图3为本发明所述系统工作流程图。

图4为本发明软件部分进行畸变校正流程图。

图5投影仪参数设置示意图。

图6虚拟投影平面示意图。

图7图像畸变原理图。

具体实施方式

参阅图1，本发明所述的投影图像几何畸变自动校正系统包括测控计算机1、投影仪2、角度检测系统3、图像融合计算机4和成像计算机5；其中，所述测控计算机1是系统检测与控制的核心，是大屏幕显示图像自动校正系统的硬件控制平台，测控计算机上安装有几何畸变自动校正软件；所述投影仪2是被校正对象，用于显示系统投影图像，与系统之间通过LAN总线进行通信；所述角度检测系统3包括高精度机器视觉云台和数字相机；所述高精度机器视觉云台通过RS232总线与测控计算机连接，测控计算机发出移动指令，控制云台动作，使高精度机器视觉云台达到指定角度；所述数字相机安装在高精度机器视觉云台上，与测控计算机之间通过USB总线或LAN总线进行通信，用于采集该角度一定范围内的目标图像；所述图像融合计算机4安装有图像融合软件，用于完成投影图像的边缘融合与曲面校正，与系统之间通过LAN总线连接；所述成像计算机5是图像源，用于生成几何畸变校正所需要的校正图像（控制点图像），与系统之间通过LAN总线进行通信。

参阅图2、图3，所述几何畸变自动校正软件包括数字相机图像采集与处理单元、云台控制单元B、投影仪设置模块C、投影仪校正处理单元D。

其中，所述数字相机图像采集与处理单元A包括数字相机参数设置模块a、图像采集模块b、图像处理模块c，用于完成控制点图像的采集、处理，并计算图像中控制点的像素坐标值，最后将像素坐标值传递给投影仪校正处理单元D作为控制点理论位置计算参数；所述数字相机参数设置模块a包括分辨率、曝光量、ADC_LEVEL参数设置；所述图像采集模块b，用于控制数字相机进行图像采集，分为单帧采集和连续采集；所述图像处理模块c，用于对图像采集模块所采集的图像进行处理，包括参数设置、对比度处理、灰度处理、图像检测和控制点计算等，所述灰度处理法分为平均值法、加权法和最大值法。

所述云台控制单元B包括云台状态读取模块d、云台预备对准模块e，用于控制云台搭载数字相机的成像中心指向控制点理论位置；所述云台状态读取模块d，用于读取高精度机器视觉云台当前的水平角度和垂直角度；所述云台预备对准模块e，用于精确控制云台动作，直至图像内控制点中心与数字相机所采集的图像十字中心点重合。

所述投影仪设置模块C，用于实现投影仪基本功能参数设置，包括成像分辨率、控制点、成像视场等进行设置（参见图5），并把水平和垂直投影视场传递给投影仪校正处理单元D作为控制点理论位置计算参数；例如：平面 ABCD 为虚拟投影屏幕，投影仪与虚拟投影屏幕形成4棱锥形状，虚拟投影屏幕后面的曲面为实际投影屏幕，左控制点E和右控制点F之间为屏幕水平视场，即∠EPF；上控制点 G 和下控制点 H 之间为屏幕垂直视场，即∠GPH；O为屏幕的基准控制点，即预备对准点（参见图6）。

所述投影仪校正处理单元D包括控制点角度矩阵模块f、图像畸变检测模块g、图像畸变校正模块h；用于将投影仪设置模块提供的数据与其他系统参数一起进行计算得出控制点理论位置，然后控制云台转向此位置，再触发数字相机图像采集与处理单元A工作，数字相机图像采集与处理单元A传回控制点实际位置数据，最后使用控制点的理论位置和实际位置数据计算得出畸变校正矩阵，传送给图像融合计算机；所述控制点角度矩阵模块f，用于根据投影仪的参数设置，计算云台的转动角度，例如云台当前水平角度为α，垂直角度为β；所述图像畸变检测模块g，用于检测云台经过虚拟投影平面打出的标准点和投影仪经过虚拟投影平面打出的实际投影点，计算每个控制点的畸变角度或畸变像素数，求得投影仪水平畸变校正矩阵和垂直畸变校正矩阵。例如：当云台P经过虚拟投影平面打出的标准点为S，而投影仪J经过虚拟投影平面打出的实际投影点为S’，因而图像产生畸变，需计算每个控制点的畸变角度 S’JS ∠ 或畸变像素数，以修正成像计算机，将实际投影点打到S上（参阅图7）；所述图像畸变校正模块h，用于对图像畸变检测模块所求得的投影仪水平畸变校正矩阵和垂直畸变校正矩阵进行进一步的数据处理，从而得到正确可靠的图像畸变校正矩阵，最后将畸变校正矩阵通过LAN总线发送到图像融合计算机。

参阅图3，本发明提供一种投影图像几何畸变自动校正方法，具体包括以下步骤：

步骤S1，测控计算机控制成像计算机输出要检测的像素的亮点信号（称为控制点），并通过投影仪在投影屏幕上显示出该控制点，工作时全系统中只有一个控制点，即知道该像素在空间点应该存在的位置（实际空间坐标系内控制点中心所在水平和垂直位置，或在平面幕下对应的该控制点的水平和垂直角度）；

步骤S2，测控计算机发出移动指令，控制具有角度检测系统的高精度机器视觉云台转至预定位置，即使数字相机的中心指向该像素应该存在的水平、垂直角度方向，由于显示系统受到曲面投影屏幕和光学效应影响，导致数字相机的中心并没有指向该像素中心应该存在的水平、垂直角度方向，也就是存在着畸变误差；

步骤S3，测控计算机通过数字相机图像采集与处理单元检测分析出像素的亮点信号的中心坐标；

步骤S4，测控计算机通过数字相机图像采集与处理单元计算出的像素的亮点信号的中心坐标在空间坐标系的坐标；

步骤S5，与该像素在空间点应该存在的理论位置（像素水平、垂直个数，或在平面幕下对应的该像素的水平和垂直角度）进行对比，计算出该像素的角度误差和相对像素的位置误差，形成矩阵形式的误差表；

步骤S6，将该矩阵传给图像融合计算机，由图像融合计算机完成畸变校正过程，最后通过投影仪将图像显示在投影屏幕上。

如果有N个校正点可重复执行N次步骤S1至步骤S5，获取N个误差参数，然后将数据保存为包含N个元素的误差矩阵，实现逐像素点进行校正，避免造成局部畸变。

Claims (5)

1.一种投影图像几何畸变自动校正系统，其特征在于：包括测控计算机、投影仪、角度检测系统、图像融合计算机和成像计算机；其中，所述测控计算机是系统检测与控制的核心，是大屏幕显示图像自动校正系统的硬件控制平台，测控计算机上安装有几何畸变自动校正软件，测控计算机控制成像计算机输出要检测的控制点，并通过投影仪在投影屏幕上显示出该控制点，工作时全系统中只有一个控制点；所述投影仪是被校正对象，用于显示系统投影图像，与系统之间通过LAN总线进行通信；所述角度检测系统包括高精度机器视觉云台和数字相机；所述高精度机器视觉云台通过RS232总线与测控计算机连接，测控计算机发出动作指令，控制云台动作，使其达到指定角度；所述数字相机安装在高精度机器视觉云台上，与测控计算机之间通过USB总线或LAN总线进行通信，用于采集该角度一定范围内的目标图像；所述图像融合计算机安装有图像融合软件，用于完成投影图像的边缘融合与畸变校正，与系统之间通过LAN总线连接；所述成像计算机是图像源，用于生成几何畸变校正所需要的校正图像，与系统之间通过LAN总线连接；

所述几何畸变自动校正软件包括数字相机图像采集与处理单元、云台控制单元、投影仪设置模块和投影仪校正处理单元；其中，所述数字相机图像采集与处理单元，用于完成控制点图像的采集、处理，并计算图像中控制点的像素坐标值，最后将像素坐标值传递给投影仪校正处理单元作为控制点理论位置计算参数；所述云台控制单元，用于控制云台搭载数字相机的成像中心指向控制点理论位置，但由于显示系统受到曲面投影屏幕和光学效应影响，导致数字相机的中心并没有指向该控制点中心应该存在的水平、垂直角度方向，即存在着畸变误差；所述投影仪设置模块，用于实现投影仪基本功能参数设置，并把水平和垂直投影视场传递给投影仪校正处理单元作为控制点理论位置计算参数；所述投影仪校正处理单元，用于将投影仪设置模块提供的数据与其他系统参数一起进行计算得出控制点理论位置，然后控制云台转向此位置，再触发数字相机图像采集与处理单元工作，数字相机图像采集与处理单元传回控制点实际位置数据，最后使用控制点的理论位置和实际位置数据计算得出畸变校正矩阵，传送给图像融合计算机。

2.根据权利要求1所述的一种投影图像几何畸变自动校正系统，其特征在于：所述数字相机图像采集与处理单元包括：数字相机参数设置模块、图像采集模块、图像处理模块；其中，所述数字相机参数设置模块，用于参数设置；所述图像采集模块，用于控制数字相机进行图像采集，分为单帧采集和连续采集；所述图像处理模块，用于对图像采集模块所采集的图像进行处理。

3.根据权利要求1所述的一种投影图像几何畸变自动校正系统，其特征在于：所述云台控制单元包括：云台状态读取模块、云台预备对准模块；其中，所述云台状态读取模块，用于读取高精度机器视觉云台当前的水平角度和垂直角度；所述云台预备对准模块，用于精确控制云台动作，直至图像内控制点中心与数字相机所采集的图像十字中心点重合。

4.根据权利要求1所述的一种投影图像几何畸变自动校正系统，其特征在于：所述投影仪校正处理单元包括：控制点角度矩阵模块、图像畸变检测模块、图像畸变校正模块；其中，所述控制点角度矩阵模块，用于根据投影仪的参数设置和其他系统参数，计算云台的转动角度；所述图像畸变检测模块，用于检测云台经过虚拟投影平面打出的标准点和投影仪经过虚拟投影平面打出的实际投影点，计算每个控制点的畸变角度或畸变像素数，求得投影仪水平畸变校正矩阵和垂直畸变校正矩阵；所述图像畸变校正模块，用于对图像畸变检测模块所求得的投影仪水平畸变校正矩阵和垂直畸变校正矩阵进行进一步的数据处理，从而得到正确可靠的图像畸变校正矩阵，最后将畸变校正矩阵通过LAN总线发送到图像融合计算机。

5.权利要求1所述的投影图像几何畸变自动校正系统的校正方法，其特征在于：具体包括以下步骤：

步骤S1，测控计算机控制成像计算机输出要检测的控制点，并通过投影仪在投影屏幕上显示出该控制点，工作时全系统中只有一个控制点，即知道该像素在空间点应该存在的位置；

步骤S2，测控计算机发出移动指令，控制角度检测系统上的高精度机器视觉云台转至预定位置，即使数字相机的中心指向该像素应该存在的水平、垂直角度方向，由于显示系统受到曲面投影屏幕和光学效应影响，导致数字相机的中心并没有指向该像素中心应该存在的水平、垂直角度方向，也就是存在着畸变误差；

步骤S3，测控计算机通过数字相机图像采集与处理单元检测分析出像素的亮点信号的中心坐标；

步骤S4，测控计算机通过数字相机图像采集与处理单元计算出像素的亮点信号的中心坐标在空间坐标系的坐标；

步骤S5，与该像素在空间点应该存在的理论位置进行对比，计算出该像素的角度误差和相对像素的位置误差，形成矩阵形式的误差表；

步骤S6，将该矩阵传给图像融合计算机，由图像融合计算机完成畸变校正过程，最后通过投影仪将图像显示在投影屏幕上。