CN102298467A - 显示屏幕自动标定的方法及系统 - Google Patents

Abstract

本发明提供了一种显示屏幕自动标定的方法和系统。所述方法包括：切换进入可见光工作模式；通过采集屏幕的图像对屏幕的显示区域进行标定初始化处理；通过采集标志点的图像对显示区域进行标定；切换进入红外光工作模式。所述系统包括：显示屏幕，用于显示信号和标定用的标定点；图像采集装置，用于采集屏幕和标志点的图像；自动标定装置，用于在可见光工作模式下，通过采集屏幕的图像对屏幕的显示区域进行标定初始化处理，和通过采集标志点的图像对显示区域进行标定；模式切换装置，用于切换所述成像装置进入可见光工作模式和红外光工作模式。本发明于视觉的触控系统可全自动完成标定过程，矫正畸变，提高标定精度和速度，提高触控系统触控点配准的准确性。

Description

显示屏幕自动标定的方法及系统

技术领域

本发明涉及成像技术领域，特别涉及基于视觉的触控系统的显示屏幕自动标定方法及系统。

背景技术

近年来新型的人机交互方式不断的出现，语音识别技术和手写识别技术的商业成功让人们看到了自然人机交互的曙光。虚拟现实和多通道用户界面的迅速发展显示出未来人机交互技术的发展趋势是追求“人机和谐”的多维信息空间和基于自然交互方式的人机交互风格。

多重触控(Multi-touch，又称多点触控)技术是人机交互技术和计算机硬件结合的操控界面，用户可以直接通过手势、手指或其他外在物理物直接与计算机进行交互，实现多点多用户同时独立交互。

在多重触控投影系统中，投影机投影到屏幕的图像存在投影畸变，摄像机拍摄的图像存在大视场成像畸变，摄像机成像分辨率一般低于投影显示分辨率，两坐标系有效交互区域内的点不是一一对应的。投影幕的标定过程，要消除投影畸变和成像畸变的影响，获得投影图像和摄像机图像特征点之间的对应关系，实现摄像机图像坐标到触控点坐标的配准。

投影幕标定通常采用点对点坐标对应的方式，通过对应的特征点坐标关系计算覆盖区域内的触控点匹配关系。这种方式区别于普通摄像机标定的优点在于直接获得标定特征点在两坐标系中对应的坐标，该获取过程不受投影畸变、成像畸变和分辨率差异的影响，可获得较真实的对应关系。

目前广泛使用手动方法进行投影幕标定，由于多点触控投影系统主要采用红外滤光工作模式，摄像机图像上无法直接获得投影的标志点信息，所以需要采用辅助手段，如指尖在投影幕上标志点的位置上晃动，或者将红外点光源放置在当前标志点的投影幕位置，以辅助标定人员找到该标志点的图像位置并操作鼠标点击确认。标定过程中无疑会引入很多的手动操作误差，无论是辅助寻找还是点击确认的过程，人工操作的精度很大程度的限制了标定精度。

并且，手动标定方式的标志点数目相对较少，以使用16个手动标志点为例，相邻4个标定点覆盖面积较大，且覆盖形状不规则，应用标定结果进行匹配计算时会引入较大偏差。当标志点密度增加时，虽然覆盖面积减小，匹配效果好转，但是标定工作将变得繁重，手动确认引入的误差会在两相邻标志点的距离中占据较大比例，难以提高标定精度。

发明内容

本发明提供一种显示屏幕自动标定的方法及系统，以在基于视觉的触控系统的显示屏幕标定中，实现全自动完成标定过程，矫正畸变，提高标定精度和速度，提高触控系统触控点配准的准确性。

本发明的实施例提供了一种显示屏幕自动标定的方法，包括以下步骤：切换进入可见光工作模式；通过采集屏幕的图像对屏幕的显示区域进行标定初始化处理；通过采集标志点的图像对显示区域进行标定；切换进入红外光工作模式。

本发明的实施例还提供了一种显示屏幕自动标定的系统，包括：显示屏幕，用于显示信号和标定用的标定点；图像采集装置，用于采集屏幕和标志点的图像；自动标定装置，用于在可见光工作模式下，通过采集屏幕的图像对屏幕的显示区域进行标定初始化处理，和通过采集标志点的图像对显示区域进行标定；模式切换装置，用于切换所述成像装置进入可见光工作模式和红外光工作模式。

本发明的有益效果在于，在本发明的显示屏幕自动标定中，基于视觉的触控系统可全自动完成标定过程，矫正畸变，提高标定精度和速度，提高触控系统触控点配准的准确性。使本发明方案能够广泛地应用于基于视觉的单点、多点触控系统，改善单点、多点触控系统的安装以及交互的工作环境。

附图说明

图1为本发明实施例一的显示屏幕自动标定方法的流程图；

图2为本发明实施例一中可见光标志点的示意图；

图3为本发明实施例一种单齿型标志点的示意图；

图4为本发明实施例二的显示屏幕自动标定系统的结构框图；

图5为本发明实施例二中模式切换装置的结构框图；

图6为本发明实例1获得有效区域标定图像的示意图；

图7为本发明实例1标定显示屏幕四角的示意图；

图8为本发明实例1逐行分组检测标志点的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

实施例一

本实施例提供一种显示屏幕自动标定方法。如图1所示，该方法包括：

步骤S1：首先发送摄像机模式切换命令，切换摄像机到可见光拍摄模式。

步骤S2：提取出屏幕在采集图像中所占区域，获取有效标定信息区域。

具体包括：自动绘制全屏黑背景，并采集为图像A1，再绘制全屏白背景，采集为图像B1，图像B1与图像A1相减并进行降噪声处理得到图像C1，对图像C1进行二值化处理，获得屏幕所占的区域。

步骤S3：依次提取屏幕四角在采集图像中坐标，获得显示屏幕在采集图像中的方向。

具体包括：绘制全屏黑背景，并采集为图像A1；再绘制单齿型标志点(如图2所示)于屏幕某顶角；图像B2与图像A1相减并进行降噪声处理得到图像C2，对图像C2进行二值化处理，对二值化图像进行强角点检测，提取到当前屏幕顶角在摄像机图像中的坐标。屏幕顶角标志点绘制顺序为左上、右上、左下、右下，依次绘制，由提取到的顶角摄像机图像坐标的相对关系判断摄像机反向，包括正置、倒置、左倾置和右倾置。其中，单齿型标志点由圆形部分和单齿尖端部分组成。根据给定参数R，以距屏幕顶点沿对角线方向3R处为圆心绘制直径D＝2R的内圆和D＝4R的外圆，连接顶点与圆心，过顶点做内圆的两条切线，以两条切线和外圆为外轮廓，填充该标志点完成绘制；该标志点的单齿部分顶点位置即为需标定的屏幕顶点，提取单齿标志点顶点位置即可获得屏幕顶点位置；绘制标志点后，采集屏幕图像为图像B2。

步骤S4：按横纵标志点数量均匀划分屏幕区域，每个区域顶角为相邻四个标志点的位置，并且将每行标志点按奇偶顺序分为两组，标定过程中按组进行绘制。

步骤S5：绘制单组标志点图像。绘制的标志点为直线排列的、间距相等的、圆形的、半径不等的可见光标志点组。标志点按其位置改变绘制圆形标志点的半径，如图3所示，距边缘越近的半径越大，距中心越近的半径越小，以消除摄像机成像畸变对提取效果的影响。

步骤S6：采集标志点图像。自动标定模块的摄像单元，使用摄像机驱动编码，对屏幕发射的可见光进行摄像，通过图像采集卡摄取到包含有屏幕绘制标志点、显示屏幕外图像和杂光光斑的初始标志点信息图像。

步骤S7：绘制背景图像。绘制全屏幕黑背景图像，用于区分标志点图像输入信号。

步骤S8：采集背景图像。自动标定模块的摄像单元，使用摄像机驱动编码，对屏幕发射的可见光进行摄像，通过图像采集卡摄取到包含黑色屏幕、显示屏幕外图像和杂光光斑的背景图像。

步骤S9：提取含有标志点信息的二值化图像。过程包括采集标志点图像去掉背景信息，再通过有效标定区域过滤，图像增强后获得含标志点位置信息的二值化图像。其中，通过有效标定区域过滤包括：图像与有效标定信息区域图像取极大值叠加，过滤区域外的干扰信息，得到位于有效标定信息区域内的有效信息图像。图像增强包括：有效信息图像腐蚀、膨胀、乘、高通滤波、锐化等处理方法等处理，增强输入图像中标志点的亮度，削弱输入噪声的亮度。

步骤S10：标志点特征提取。对二值化图像进行轮廓提取、采用标志点全像素亮斑积分的算法，提取目标图像中标志点的重心信息，获得标志点的摄像机图像坐标。

步骤S11：匹配本组标志点坐标。对提取的标志点组位置信息按坐标值进行排序，输出与屏幕图像标志点组坐标一一对应的拍摄图像标志点坐标。其中，具体分为以下步骤：

N1：检查获取坐标的有效性。提取到的标志点图像坐标后，检查获取的标定点位置信息，看是否与被标定点特征相符，例如数量、间距等，如数量不等或间距波动较大则更改步骤S9中的二值化阈值，返回步骤S9重新进行检测。步骤S9到步骤S11的过程即为阈值自适应调节，提取目标图像特征的过程。

N2：读取摄像机方向。位置检测成功后，读取步骤S2中获取的摄像机方向，从而获得摄像机图像坐标系。导出屏幕坐标系X轴正方向对应于摄像机图像坐标系中的方向矢量X’。

N3：排列提取到的标志点的图像坐标点的顺序。摄像机镜像成像条件下，若X’趋于摄像机图形象坐标轴X’的正方向，则将提取到的标志点坐标按x坐标从小到大排序，若X’趋于摄像机图形象坐标轴X’的负方向，则将提取到的标志点坐标按x坐标从大到小排序，若X’趋于摄像机图形象坐标轴Y’的正方向，则将提取到的标志点坐标按y坐标从小到大排序，若X’趋于摄像机图形象坐标轴Y’的负方向，则将提取到的标志点坐标按y坐标从大到小排序。由于成像畸变和投影畸变影响，同一行标志点的Y坐标在摄像机图像中偏差较大，排序时不具参考价值。

N4：对应提取坐标点到屏幕标志点。排序完成后，按标志点的位置关系进行坐标对应，排在第1位的图像坐标对应屏幕当前标定行左起第1个标志点，排在第2位的图像坐标对应屏幕当前标定行左起第2个标志点，依此类推。这样就获得了标志点的摄像机图像坐标到屏幕坐标的一一对应的坐标对。N5——输出标志点坐标对到XML文件。将配好对的整行标志点坐标对按所属标志点的行列编号输出到XML文件。如，第i行第j列标志点P(i，j)，屏幕坐标为(x，y)对应摄像机图像坐标(x’，y’)。标志点坐标匹配数据暂存到数组，标定成功后输出到XML文件，以供触控识别程序加载配准触控点坐标。

步骤S14：完成步骤S11后，转入下一组标志点，返回步骤S5进行下一组标志点的绘制、采集、处理、提取、匹配过程。步骤S5至步骤S11为获取标志点标定信息的主循环步骤。

步骤S12：完成全部屏幕标志点的提取和匹配后，进行摄像机图像区域划分，每区域顶角为相邻四标志点位置，读取区域顶点的匹配数据，采用图像拉伸算法，完成每区域内摄像机图像点到屏幕坐标点的匹配。

步骤S13：标定成功后，发送摄像机模式切换命令，切换摄像机到红外光拍摄模式。触控系统进入触控识别环境。

实施例二

本实施例提供一种显示屏幕自动标定的系统。下面参照图4到图6，对该系统进行详细描述。

如图4所示，该系统包括：显示屏幕401，用于显示信号和标定用的标定点，为LCD显示器或为投影机和投影幕组合；图像采集装置402，用于采集屏幕和标志点的图像，例如包括CCD摄像机和图像采集卡；自动标定装置403，用于在可见光工作模式下，通过采集屏幕的图像对屏幕的显示区域进行标定初始化处理，和通过采集标志点的图像对显示区域进行标定，可以具体为数据处理计算机；模式切换装置404，用于切换所述图像采集装置进入可见光工作模式和红外光工作模式。图像采集装置402安装在显示屏幕401对面，与自动标定装置403连接。

如图5所示，模式切换装置404包括：外置红外帯通滤光片501，衔接固定装置502和步进电机503。标定开始和结束时，自动标定装置403发送模式切换控制命令至摄像机模式自动切换装置501，步进电机10运转，通过衔接固定装置503带动外置红外帯通滤光片502旋转指定角度(180°)，完成移开或移回外置红外帯通滤光片502的过程，实现摄像机拍摄模式的自动切换。

在系统运行时，模式切换装置404移动外置红外滤光片501，将摄像机拍摄模式切换到可见光拍摄模式；显示屏幕401绘制可见光图像；图像采集模块402采集输入图像，具体由CCD摄像机拍摄图像并传输至图像采集卡，由自动标定模块403提取标定信息图像并获取标志点坐标；循环绘制、拍摄、提取过程，完成图像点匹配；模式切换装置404移回外置红外滤光片，将摄像机拍摄模式切换到红外光拍摄模式，以便进行后续交互识别。

自动标定装置403包括：标志点绘制单元，用于根据标志点在屏幕的位置，改变标志点尺寸，绘制整行标志点；摄像单元，用于对绘制于屏幕的标志点发射的可见光进行摄像，摄取到包含有标志点和杂光光斑的初始图像；有效区域图像生成单元，用于生成与初始图像叠加，过滤标定区域外干扰信号，获得标定区域有效信息的图像；屏幕定位单元，用于提取屏幕四角在采集图像中坐标，获得显示屏幕在采集图像中的方向；二值化图像生成单元，用于对所述的初始图像进行增强、去除噪声杂光、二值化处理，得到二值化图像；图像特征提取单元，用于获得标志点在摄像机图像坐标系的坐标；标志点配对单元，用于将获得的标志点坐标与屏幕绘制标志点，按其坐标之间的对应关系进行配对；图像点配准单元，用于获得摄像机图像点对应的显示屏幕坐标。

上述标定处理过程可以根据实际使用的情况进行相应调整。如下实例用于说明数据处理的方法和功能，并不是对图像处理过程的限制。

实例：

广角摄像机环境自动标定系统

采用投影屏幕自动标定的多重触控系统主要由箱体、投影屏幕、投影机、摄像机、反光镜、电脑几部分构成。

待标定投影幕区域使用33×25个均匀分布的标志点进行标定。系统参数配置如下：

1)箱体，外型尺寸1.4m×1.05m×0.9m；

2)投影机，广角0.65，分辨率1024×768；

3)USB摄像机，分辨率640×480，刷新频率30Hz，黑白拍摄模式；

4)摄像镜头，普通镜头60°视场角，广角镜头100°视场角；

5)红外滤光片，850nm截止型滤光片，外置，标定时移开；

程序实现：

实验中采用Visual C++语言，编写程序实现自动标定和匹配功能。自动标定方法分模块进行编写，输出为DLL类库文件。自动标定类库包括：

屏幕绘制模块；

摄像机取图模块；

处理图像模块；

提取并保存信息模块；

匹配数据模块；

自动标定测试程序结构如下：

初始化参数及文件；

获得标定有效区域；

检测标定环境；

标定屏幕四角并确定摄像机方向；

分组标定标志点，并排序存储对应位置信息；

输出位置信息XML文件；

配准摄像机图像全部像素；

广角摄像机环境自动标定流程及效果

自动标定的初始阶段获得标定有效区域和标定屏幕四角的方式和效果基本相同，仅标志点形状和图像畸变程度不一样。图6为广角摄像机环境下获得标定有效区域图像的过程，图7为投影屏幕四顶角定位并判断摄像机方向的过程。由图7可看出摄像机正向放置时拍摄图像的x像素坐标与投影幕x像素坐标镜像对称。

自动标定的标志点位置信息提取阶段进行图像特征检测的方法基本相同，需经过“分组绘制标志点，获取图像，叠加有效区域蒙板，增强、腐蚀、膨胀、滤波等方法去除噪声，自适应阈值二值化，提取特征，判断提取信息是否成功，如不成功则重复自适应阈值处理，排序对应保存到数组”的过程。图8是标定程序提取图像标志点位置信息的处理过程中的部分标志点组图像。

广角摄像机环境下在完成屏幕四角的标定之后，程序逐行绘制变尺寸标志点。每行的33个标志点，按奇偶分2组进行标定。图8是逐行分组检测变尺寸标志点部分过程图像。

标定完成后，程序会将标志点位置数据按固定格式写入XML文档。标定成功后，多重触控系统会读取XML中的标定数据，通过四点配准算法进行全投影幕匹配。

本方法可实现了33×25个标定点的自动标定，投影幕相邻标定点配准单位区域可缩小至32×32像素。而常规4×4个标定点的手动标定中的配准单位区域一般为341×256像素，是自动标定方法的80倍以上。标定后的配准效果很难定量描述，从标定测试程序的配准运行效果可定性的看出，投影屏幕采用自动标定的交互配准精度可达亚像素级，而采用手动标定的交互配准误差约为10至20个像素。这对于进行多点触控交互的自然流畅性有着显著的影响。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种显示屏幕自动标定方法，其特征在于，包括：

切换进入可见光工作模式；

通过采集屏幕的图像对屏幕的显示区域进行标定初始化处理；

通过采集标志点的图像对显示区域进行标定；

切换进入红外光工作模式。

2.根据权利要求1所述的方法，其特征在于，对屏幕的显示区域进行标定初始化处理的步骤进一步包括：

通过采集屏幕显示区域的图像，提取屏幕的有效标定信息区域图像；

通过采集屏幕顶点的图像，提取屏幕的顶点的标定信息。

3.根据权利要求2所述的方法，其特征在于，提取屏幕的有效标定信息区域图像步骤进一步包括：

绘制全屏黑背景并采集为第一图像；

绘制全屏白背景并采集为第二图像；

将第二图像减去第一图像并进行降噪声处理得到显示区域的图像；

对显示区域的图像进行二值化处理，获得有效标定信息区域图像。

4.根据权利要求3所述的方法，其特征在于，提取屏幕的顶点的标定信息步骤进一步包括：

在屏幕的各顶点处绘制单齿型标志点并采集为第三图像；

将第三图像减去第一图像并进行降噪声处理得到各顶点的图像；

对各顶点的图像进行二值化处理，获得各顶点的二值化图像；

对二值化图像进行强角点检测，提取到各顶点的标定坐标；

根据各顶点的标定坐标的相对关系确定采集装置的空间方位。

5.根据权利要求4所述的方法，其特征在于：按左上、右上、左下、右下的顺序得到各顶点的标定坐标，所述采集装置的空间方位包括正置、倒置、左倾置和右倾置。

6.根据权利要求5所述的方法，其特征在于，对显示区域进行标定的步骤进一步包括：

划分屏幕区域，每区域顶角为相邻的四个的标志点；

提取含有标志点信息的二值化图像；

提取标志点的图像坐标；

匹配标志点的图像坐标与屏幕坐标。

7.根据权利要求6所述的方法，其特征在于，提取含有标志点信息的二值化图像信号的步骤进一步包括：

绘制单组标志点图像并采集标志点图像；

绘制背景图像并采集背景图像；

通过标志点图像减去背景图像得到含标志点信息的图像；

对含标志点信息的图像进行有效标定区域过滤和图像增强得到含有标志点信息的二值化图像。

8.根据权利要求7所述的方法，其特征在于：所述标志点图像为沿X轴按直线排列的、间距相等的、圆形的、按位置改变半径的可见光标志点组，其中标志点的半径为距屏幕边缘越近的半径越大，距屏幕中心越近的半径越小。

9.根据权利要求7所述的方法，其特征在于：所述有效标定区域过滤包括将含标志点信息的图像与有效标定信息区域图像取极大值叠加，过滤有效标定信息区域外的干扰信息，得到位于有效标定信息区域内的有效信息图像；

所述图像增强包括对有效信息图像进行腐蚀、膨胀、乘、高通滤波或锐化处理，以增强标志点的亮度，削弱输入噪声的亮度。

10.根据权利要求6所述的方法，其特征在于，提取标志点的图像坐标的步骤后包括：

通过轮廓提取、亮斑积分和强角点检测处理提取所述二值化图像中标志点的重心，获得标志点的图像坐标。

11.根据权利要求6所述的方法，其特征在于，匹配标志点的图像坐标与屏幕坐标的步骤包括：

根据采集装置的空间方位，按图像坐标系和屏幕坐标系的相对关系旋转标志点坐标，转换后的标志点坐标按X坐标排序，匹配标志点的图像坐标与屏幕坐标。

12.一种显示屏幕自动标定的系统，其特征在于，所述的装置包括：

显示屏幕，用于显示信号和标定用的标定点；

图像采集装置，用于采集屏幕和标志点的图像；

自动标定装置，用于在可见光工作模式下，通过采集屏幕的图像对屏幕的显示区域进行标定初始化处理，和通过采集标志点的图像对显示区域进行标定；

模式切换装置，用于切换所述图像采集装置进入可见光工作模式和红外光工作模式。

13.根据权利要求12所示的系统，其特征在于，所述模式切换装置包括：

外置红外帯通滤光片，用于过滤可见光信号，透射红外光信号；

步进电机，用于控制外置红外帯通滤光片的转动和停滞位置；

连接机构，用于固定步进电机与外置红外帯通滤光片之间的位置，并且使外置红外帯通滤光片可以在步进电机的带动下旋转；

切换机构，用于在标定单元对显示区域标定完后，控制步进电机将外置红外帯通滤光片转动指定角度，将图像采集装置由可见光工作模式切换到红外光工作模式。

14.根据权利要求12所述的系统，其特征在于，自动标定单元包括：

标志点绘制单元，用于根据标志点在屏幕的位置，改变标志点的半径，沿X轴方向绘制标志点；

摄像单元，用于对绘制于屏幕的标志点发射的可见光进行摄像，摄取到包含有标志点和杂光光斑的初始图像；

有效区域图像生成单元，用于生成与初始图像叠加，过滤标定区域外干扰信号，获得有效区域标定信息的图像；

屏幕定位单元，用于提取屏幕四角在采集图像中坐标，获得显示屏幕在采集图像中的方向；

二值化图像生成单元，用于对所述的初始图像进行增强、去除噪声杂光、二值化处理，得到二值化图像；

图像坐标提取单元，用于获得标志点在摄像机图像坐标系的坐标；

标志点配对单元，用于将获得的标志点坐标与屏幕绘制标志点，按其坐标之间的对应关系进行配对。

Images