CN103838437B - 基于投影图像的触控定位控制方法 - Google Patents

Abstract

本发明提供了一种基于投影图像的触控定位控制方法，通过计算机运行触控操作应用程序，在投影仪投影的计算机显示画面投影影像区域内指定控制点位置，计算机根据画面坐标‑投影世界坐标转换模型和投影世界坐标‑视频坐标转换模型进行触控定位控制的转换，确定触控操作画面中执行触控操作的位置，进而控制触控操作应用程序执行相应的触控操作任务，就好像在投影仪输出的投影影像区域中实现了触控操作一样，从而达到了在投影画面中直接对触控操作应用程序进行控制操作的效果，并且确保了计算机执行的触控定位控制处理的高效性和准确性，解决了现有技术中人机交互受到电子设备屏幕大小限制的问题，为在投影平面上控制触控操作应用程序提供了技术保证。

Description

基于投影图像的触控定位控制方法

技术领域

本发明属于图像识别技术和计算机控制技术领域，尤其涉及一种基于投影图像的触控定位控制方法。

背景技术

目前大多数便携式电子设备（例如手机、平板电脑等）都采用液晶显示器（LCD）作为人机界面的主要输出设备，并且越来越多的便携式电子设备具备了全屏触控功能，能够通过触控实现人机交互。但由于受到便携式电子设备自身体积的限制，显示屏幕都做得比较小，这不便于用户在屏幕界面上进行人机交互。

随着投影机行业的不断发展及产品的不断换代，越来越多的投影系统都具有交互功能，即通过一些在投影幕上的操作来完成原先需要在电子设备的屏幕界面上控制执行的功能，这样就解决人机交互受到电子设备屏幕大小限制的问题。近年来出现了一些关于交互式投影系统技术的相关研究。例如我国专利CN102063618A以及CN101881921A公开的交互式投影系统中，采用投影装置显示图像，并采用摄像机对投影图像进行摄像，然后通过投影平面上的手势动作在交互式投影系统中定义若干手势，每种手势与指令相对应，存储在指令数据库中，从而利用可以手势实现比如确认、取消、翻页等操作。但该系统最大的缺陷是手势定义的指令数量有限；一方面，指令数的增加必然会加大用户的学习难度，很难被普通用户接受；另外一方面，即使指令数量增加到一定程度，也很难实现虚拟键盘输入操作、手势控制目标位置等更为复杂的功能。

全屏触控电子设备的普及，也带动了触控操作应用程序的发展。在交互式触控投影系统中，如果能够与触控操作应用程序相结合，在投影平面上对触控操作应用程序进行控制操作，那将意味着可以通过在投影平面上的操作实现确认、取消、翻页以及虚拟键盘输入操作、手势控制目标位置等几乎所有的控制功能，解决人机交互受到电子设备屏幕大小限制的问题。然而，目前还缺乏通过在投影平面上的操作对触控操作应用程序进行控制的成熟技术。

发明内容

针对现有技术中存在的上述问题，为了解决现有技术中人机交互受到电子设备屏幕大小限制的问题，本发明提供了一种基于投影图像的触控定位控制方法，其结合触控操作应用程序，使得能够通过在投影画面中指定控制点位置而直接实现对触控操作应用程序的控制，从而为在投影平面上控制触控操作应用程序提供技术保证。

为实现上述目的，本发明采用了如下技术手段：

基于投影图像的触控定位控制方法，采用交互式触控投影系统进行控制；所述交互式触控投影系统包括计算机、投影仪和摄像装置；其中，投影仪连接计算机的显示输出端，用于对计算机的显示画面进行投影；摄像装置连接计算机的数据输入端，用于采集包含有计算机显示画面投影影像区域的视频图像，并将采集的视频图像实时传输给计算机；计算机用于运行触控操作应用程序并显示输出触控操作画面，根据视频图像中指定的控制点位置，对触控操作画面中执行触控操作的位置进行控制；该方法具体包括如下步骤：

1）通过测量投影仪投影的计算机显示画面投影影像区域的实际尺寸，确定计算机显示画面投影影像区域的世界坐标区域，在计算机中建立计算机显示输出的显示画面坐标域与投影仪投影的计算机显示画面投影影像世界坐标区域之间的坐标对应转换关系，作为显示画面坐标-投影世界坐标转换模型记录在计算机中；

2）控制计算机显示由若干黑色、白色矩形块交错相邻拼接形成的棋盘格图案，由投影仪对计算机的显示画面进行投影；

3）将投影仪投影的棋盘格图案作为棋盘格标定模板，利用摄像装置从多个不同拍摄角度抓取棋盘格标定模板的图像，采用基于OpenCV的摄像机标定方法对摄像装置进行标定，得到摄像装置的内部参数和畸变系数，并保存在计算机中；

4）保持计算机的显示状态和投影仪的投影状态不变，将投影仪投影的棋盘格图案作为棋盘格标定模板，设定摄像装置的拍摄位置，抓取棋盘格标定模板的图像，由计算机利用保存的畸变系数对抓取的棋盘格标定模板的图像进行畸变校正；

5）利用畸变校正后的棋盘格标定模板的图像以及计算机保存的内部参数，再次采用基于OpenCV的摄像机标定方法对摄像装置进行标定，得到摄像装置在设定的拍摄位置状态下的旋转矩阵和平移矩阵；

6）计算机根据保存的内部参数以及设定的拍摄位置状态下的旋转矩阵和平移矩阵，得到设定的拍摄位置状态下投影仪投影的计算机显示画面投影影像的世界坐标区域与畸变校正后的视频图像的像素坐标域之间的坐标对应转换关系，作为投影世界坐标-视频像素坐标转换模型记录在计算机中；

7）计算机运行触控操作应用程序并显示输出触控操作画面，由投影仪对计算机的显示画面进行投影，由摄像装置在设定的拍摄位置实时采集包含有计算机显示画面投影影像区域的视频图像并传输给计算机，由计算机利用保存的畸变系数对视频图像进行畸变校正；

8）在投影仪投影的计算机显示画面投影影像区域内指定控制点位置；

9）计算机根据投影世界坐标-视频像素坐标转换模型，计算出畸变校正后的视频图像中在计算机显示画面投影影像区域内指定的控制点位置的像素坐标所对应的投影影像世界坐标，再根据显示画面坐标-投影世界坐标转换模型，计算出该投影影像世界坐标对应的显示画面坐标，并按照该显示画面坐标确定计算机显示输出的触控操作画面中执行触控操作的位置，控制触控操作应用程序执行相应的触控操作任务。

上述基于投影图像的触控定位控制方法中，具体而言，所述投影世界坐标-视频像素坐标转换模型为：

其中，(X,Y,Z)表示投影仪投影的计算机显示画面投影影像的世界坐标，X、Y和Z分别为所述世界坐标的横坐标值、纵坐标值和径向坐标值；表示畸变校正后的视频图像的像素坐标，和分别为畸变校正后视频图像的列像素坐标值和行像素坐标值；w表示摄像装置成像的景深参数，且w=Z；c_x和c_y分别表示摄像机成像的横向偏移量和纵向偏移量；f_x和f_y分别表示摄像装置成像的横向焦距参数和纵向焦距参数；为摄像装置成像的旋转矩阵，其中，表示摄像装置成像在横向的旋转向量，表示摄像装置成像在纵向的旋转向量，表示摄像装置成像在径向的旋转向量；为摄像装置成像的平移矩阵，p_x、p_y、p_z分别表示摄像装置成像在横向、纵向、径向的平移量。

相比于现有技术，本发明具有如下有益效果：

1、本发明基于投影图像的触控定位控制方法，通过在计算机中运行触控操作应用程序，在投影仪投影的计算机显示画面投影影像区域内指定控制点位置，计算机便能够根据两个模型进行换算，从而确定触控操作画面中执行触控操作的位置，进而控制触控操作应用程序执行相应的触控操作任务，就好像在投影仪输出的投影影像区域中实现了触控操作一样，从而达到了在投影画面中直接对触控操作应用程序进行控制操作的效果，解决了现有技术中人机交互受到电子设备屏幕大小限制的问题，为在投影平面上控制触控操作应用程序提供技了术保证。

2、本发明基于投影图像的触控定位控制方法中，采用画面坐标-投影世界坐标转换模型和投影世界坐标-视频坐标转换模型进行触控定位控制的转换，该两个转换模型均为线性模型，使得计算机的触控定位控制处理过程更加的简单、高效，并且分考虑了摄像装置内部参数、图像旋转与形变、世界坐标系等多重约束，确保了触控定位控制的准确性。

3、本发明基于投影图像的触控定位控制方法，在建立投影世界坐标-视频坐标转换模型的过程中，借助了计算机视觉类库OpenCV及其摄像机标定方法，无需自行额外创建摄像装置的标定算法，使得摄像装置标定过程和投影世界坐标-视频坐标转换模型的建立操作都更加的简便。

4、本发明基于投影图像的触控定位控制方法，在投影世界坐标-视频坐标转换模型的建立以及进行触控操作定位控制的过程中，都对摄像装置采集的图像进行了畸变校正，避免因摄像装置镜头畸变引起的图像扭曲而导致坐标转换的误差增大，从而进一步的提高了触控定位的准确性。

附图说明

图1为本发明基于投影图像的触控定位控制方法的流程框图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。

在本发明方案中，为了能够通过投影平面上的操作而实现对触控操作应用程序的控制，采用了全新的交互式触控投影系统进行控制，该交互式触控投影系统包括计算机、投影仪和摄像装置；其中，投影仪连接计算机的显示输出端，用于对计算机的显示画面进行投影；摄像装置连接计算机的数据输入端，用于采集包含有计算机显示画面投影影像区域的视频图像，并将采集的视频图像实时传输给计算机；计算机用于运行触控操作应用程序并显示输出触控操作画面，根据视频图像中指定的控制点位置，对触控操作画面中执行触控操作的位置进行控制。

本发明基于投影图像的触控点定位控制方法，其实现的具体思路是：预先在计算机中建立两个模型，分别是显示画面坐标-投影世界坐标转换模型、投影世界坐标-视频像素坐标转换模型；其中，显示画面坐标-投影世界坐标转换模型用于记录计算机显示输出的显示画面坐标域与投影仪投影的计算机显示画面投影影像的世界坐标区域之间的坐标对应转换关系；投影世界坐标-视频像素坐标转换模型用于记录投影仪投影的计算机显示画面投影影像的世界坐标区域与摄像装置拍摄的视频图像的像素坐标域之间的坐标对应转换关系；在建立这两个模型后，只要在计算机中运行触控操作应用程序，在投影仪投影的计算机显示画面投影影像区域内指定控制点位置，计算机便能够根据两个模型进行换算，从而确定触控操作画面中执行触控操作的位置，进而控制触控操作应用程序执行相应的触控操作任务。由此，由于指定的控制点位置是位于投影仪输出的计算机显示画面投影影像区域内，而计算机显示画面中执行触控操作的位置又被投影到显示画面投影影像区域，使得投影影像中所指定的控制点位置与投影影像中执行触控操作的位置相重合，这样看起来就好像在投影仪输出的投影影像区域中实现了触控操作一样。从而达到了在投影画面中直接对触控操作应用程序进行控制操作的效果，解决了现有技术中人机交互受到电子设备屏幕大小限制的问题，为在投影平面上控制触控操作应用程序提供技术保证。

要实现上述的目标，首要解决的问题是，如何建立显示画面坐标-投影世界坐标转换模型以及投影世界坐标-视频像素坐标转换模型。

显示画面坐标-投影世界坐标转换模型是用于记录计算机显示输出的显示画面坐标域与投影仪投影的计算机显示画面投影影像的世界坐标区域之间的坐标对应转换关系。投影仪投影的计算机显示画面投影影像的世界坐标，可以通过测量投影仪投影的计算机显示画面投影影像区域的实际尺寸后，指定世界坐标系的原点位置，进而确定响应的世界坐标。而计算机显示输出的显示画面区域是固定的，在计算机操作系统中即设定有显示画面坐标，用以确定显示画面中图像显示位置、鼠标位置、触控点位置等。因此，可以直接根据计算机的显示画面坐标域的坐标范围大小与投影仪投影的计算机显示画面投影影像的世界坐标区域的坐标范围大小的比率，确定计算机显示输出的显示画面坐标域与投影仪投影的计算机显示画面投影影像的世界坐标区域之间的坐标对应转换关系，从而通过数学建模方法在计算机中建立显示画面坐标-投影世界坐标转换模型。在具体应用时，由于计算机的显示输出画面与投影仪的投影画面的分辨率可能存在不同，例如投影仪的投影画面分辨率为800×600，而计算机的显示输出画面分辨率可能为800×600、1366×768、1400×900、1920×1080等。在考虑两者间的坐标转换问题时，两者间画面上的同一点的坐标转换可以考虑采用比例转换法与插值法，其中，比例转换法考虑的是先计算两者分辨率横坐标比率与纵坐标比率，然后通过该比率进行转换；而插值法则考虑当屏幕放缩时，通过插值的方法将原坐标点插入变换后的点序列，进而确定转换后的坐标。但由于在计算机的显示输出画面与投影仪的投影画面的分辨率横纵比例不同的情况下，通过比率转换和插值的方法将原坐标点插入变换后的坐标点时，可能会存在一些误差，在一定程度上影响显示画面坐标-投影世界坐标转换模型的转换准确性。因此，实际应用中，优选在计算机的显示输出画面与投影仪的投影画面的分辨率横纵比例相同的条件下建立显示画面坐标-投影世界坐标转换模型，当然最好是在计算机的显示输出画面与投影仪的投影画面的分辨率相同的条件下建立显示画面坐标-投影世界坐标转换模型。

而投影世界坐标-视频像素坐标转换模型的建立则复杂很多。空间物体表面某点的三维几何位置与其在摄像机拍摄的视频图像中对应点之间的相互关系，是由摄像机成像的几何模型决定的。摄像机成像是利用了小孔成像原理。将摄像机镜头视为成像的小孔，被拍摄物体在反射的光线透过小孔，在成像平面上会得到一个倒立的，相似图形，很明显左右两个三角形是相似的，得到以下公式：

H表示被拍摄物体的实际高度，h表示视频图像中被拍摄物体的高度，f表示摄像机的焦距，z表示实物到摄像机的距离，可以得出为了计算方便，将小孔平面和成像平面位置交换，那么小孔就可以作为原点，建立一个三维坐标系，在这个坐标系下，实物的世界坐标为(X,Y,Z)，摄像机的成像平面的相应坐标为(x,y)，f为焦距；因此重新整理方程为：

实际上，摄像机内的成像传感器件中心通常不在摄像机镜头成像小孔的光轴上，而是以某个偏移量偏离光轴，所以需要引入摄像机的两个内部参数c_x和c_y来表征这个偏移量，其中，c_x表示摄像机成像的横向偏移量，c_y表示摄像机成像的纵向偏移量；另外，由于单个像素点在成像传感器件上是矩形而不是正方形，所以需要引入两个不同的焦距参数f_x和f_y，f_x为摄像机的横向焦距参数，实际上是透镜的物理焦距长度与成像传感器每个单元横向尺寸的乘积，f_y为摄像机的纵向焦距参数，实际上实际上是透镜的物理焦距长度与成像传感器每个单元纵向尺寸的乘积。因此，物理世界中的世界坐标点(X,Y,Z)通过摄像机镜头投影到摄像机成像平面上的相应坐标点(x,y)，其之间的关系为：

转化成矩阵形式就是：

若设定摄像机成像的景深参数w=Z，则有：

矩阵就是摄像机的内部参数矩阵。可以看到，需要利用相应点的世界坐标及其在视频图像的像素坐标，才能计算得到摄像机的4个内部参数c_x、c_y、f_x和f_y。

此外，摄像机所设定的拍摄位置不同，其拍摄角度也会发生变化。对于不同的拍摄角度，由于摄像机和投影仪的投影屏幕不一定是正好平行的，所以会有一定的角度偏移，就产生了仰角，导致图像变形了，加上原点的位置也不会是一样的，所以原点位置相对于世界坐标的原点也会有位移，由此产生了旋转和平移。旋转和平移都是对坐标进行线性变换，所以只要在坐标矩阵的前面乘以旋转矩阵和平移矩阵就可以得到相应的坐标：

其中，(X,Y,Z)为世界坐标，X为世界坐标的横坐标值，Y为世界坐标的纵坐标值，Z为世界坐标的径向坐标值（也即世界坐标点到摄像机镜头的实际间隔距离在世界坐标的径向坐标轴上对应的坐标值）。(x,y)表示摄像机成像图像中的像素坐标，x为像素坐标的列像素坐标值，y为像素坐标的行像素坐标值。w表示摄像机成像的景深参数，且w=Z。c_x和c_y分别表示摄像机成像的横向偏移量和纵向偏移量。f_x和f_y分别表示摄像机成像的横向焦距参数和纵向焦距参数。为摄像机成像的旋转矩阵，是一个3×3的矩阵；其中，表示摄像机成像在横向的旋转向量，表示摄像机成像在纵向的旋转向量，表示摄像机成像在径向的旋转向量。为摄像机成像的平移矩阵，是一个3×1的矩阵，p_x、p_y、p_z分别表示摄像机成像在横向、纵向、径向的平移量。旋转矩阵R和平移矩阵P便构成了摄像机成像的旋转平移变换矩阵[RP]，也是摄像机的外部参数矩阵。

由此也可以看出，在获取到摄像机的内部参数的情况下，只需要利用相应点的世界坐标及其在视频图像的像素坐标，便可以计算摄像机在某个拍摄位置的旋转矩阵和平移矩阵，从而求得摄像机的外部参数矩阵。

另一方面，摄像机存在透镜畸变。透镜的畸变是由于制造的原因，导致不平行而产生的。透镜的畸变主要有径向畸变、切向畸变和偏心畸变，其中径向畸变较为明显。为了克服畸变对于坐标转换准确性的影响，需要对摄像机镜头的畸变进行校正。

以径向畸变为例，摄像机成像平面上像素点的径向畸变校正公式为：

其中，k₁、k₂为摄像机成像的径向畸变系数；x、y分别表示畸变校正前的成像图像中像素点的列像素坐标值和行像素坐标值，分别表示畸变校正后的成像图像中像素点的列像素坐标值和行像素坐标值。这样以来，通过给定多幅不同成像图像中的多个点，用最小二乘法，就可以对上述方程求解，得到径向畸变系数k₁、k₂。

透镜的畸变系数，除了径向畸变系数k₁、k₂之外，还包括切向畸变系数q₁、q₂，以及偏心畸变系数k₃，都可以通过列方程后用最小二乘法求解得到。在计算机视觉类库OpenCV中，将上述的5个畸变系数按顺序放置在一个5×1的畸变向量中，依次为k₁、k₂、q₁、q₂和k₃。

通过以上分析可知，摄像机需要标定4个内部参数c_x、c_y、f_x、f_y，6个外部参数 、p_x、p_y、p_z，以及5个畸变系数k₁、k₂、q₁、q₂、k₃。

开放源代码的计算机视觉类库（Open Source Computer Vision Library，缩写为OpenCV）里已经提供了对摄像机的内部参数、畸变系数进行标定的一系列函数。因而，可以利用计算机视觉类库OpenCV对本发明所利用的摄像装置进行标定，求取内部参数、畸变系数，进而建立投影世界坐标-视频像素坐标转换模型。计算机视觉类库OpenCV由因特尔公司位于俄罗斯的研究实验室开发，是一套可免费获得的由一些C函数和C++类所组成的库，用来实现一些常用的图像处理及计算机视觉算法，可实现物体轮廓跟踪、图像的几何处理、形体学处理、图像特征提取、背景分离、金字塔算法、种子填充算法、光流算法、主动轮廓算法、相机的校正、姿势的识别等众多操作。OpenCV中设定了用于摄像机标定的功能函数，并为用户提供了良好的接口，同时支持MS Windows、Linux等平台，有效地提高了开发效率，并且执行速度快，具有良好的跨平台移植性，因此可以很好地应用于工程实际中。基于OpenCV的摄像机标定方法需要采用黑、白矩形块交错的平面棋盘格标定模板，利用摄像机从不同角度抓取多张棋盘格标定模板的图像，每读取一幅图像，将其转化为灰度图像，得到足够多的角点坐标并保存起来，来实现对摄像机的标定。标定过程之所以要选取多个不同的拍摄角度，是由于OpenCV标定函数中涉及到最小二乘法以及考虑到噪音和数值稳定性要求，需要抓取多个不同角度的标定图片，才能更好地保证标定结果的精确性。

基于OpenCV实现摄像机标定的具体步骤如下：

（1）读取N幅标定图像，N可以自行设置；

（2）调用cvFindChessboardCorners()函数寻找棋盘角点；将读取的N幅标定图像分别代入cvFindChessboardCorners()函数，如果寻找到所有的角点，则函数返回1，表示成功，并得到角点在图像坐标系下的像素坐标，否则返回0，角点寻找不成功；

（3）如果寻找角点成功，则调用cvFindCornerSubPix()函数进一步得到角点亚像素级坐标值，并且保存所得到的亚像素级坐标值；

（4）将角点亚像素级坐标值以及角点在世界坐标系下的物理坐标值代入函数cvCalibrateCamera2()中，得到摄像机内部参数、旋转矩阵、平移矩阵和畸变向量；

（5）用cvReleaseMat()函数释放cvCreateMat()函数分配的内存空间，防止内存泄露。

也可以看到，可以利用计算机视觉类库OpenCV的摄像机标定方法，通过cvCalibrateCamera2()函数一并计算得到摄像机的内部参数矩阵、畸变系数及其在某个拍摄位置的旋转矩阵和平移矩阵。

因此，在本发明基于投影图像的触控定位控制方法建立投影世界坐标-视频像素坐标转换模型的过程中，可以先利用摄像装置从多个不同拍摄角度抓取标定模板的图像，采用基于OpenCV的摄像机标定方法对摄像装置进行标定，得到摄像装置较为准确的内部参数矩阵、畸变系数及其在各个不同标定拍摄角度的旋转矩阵和平移矩阵，并将内部参数和畸变系数保存在计算机中；然后再根据实际应用中对投影图像触控定位拍摄角度的需要，设定摄像装置的拍摄位置，并利用此前保存的畸变系数对摄像装置拍摄的标定模板图像进行畸变校正，利用畸变校正后的标定模板图像和保存的内部参数，再次采用基于OpenCV的摄像机标定方法对摄像装置进行标定，得到所设定拍摄位置状态下的旋转矩阵和平移矩阵。由此，便得到了投影世界坐标-视频像素坐标转换模型需要的全部参数，确定设定的拍摄位置状态下投影仪投影的计算机显示画面投影影像的世界坐标区域与摄像装置拍摄的视频图像的像素坐标域之间的坐标对应转换关系。

基于上述的研究思路，本发明提出了一种基于投影图像的触控定位控制方法，其流程如图1所示，具体步骤如下：

1）通过测量投影仪投影的计算机显示画面投影影像区域的实际尺寸，确定计算机显示画面投影影像区域的世界坐标区域，在计算机中建立计算机显示输出的显示画面坐标域与投影仪投影的计算机显示画面投影影像世界坐标区域之间的坐标对应转换关系，作为显示画面坐标-投影世界坐标转换模型记录在计算机中；

2）控制计算机显示由若干黑色、白色矩形块交错相邻拼接形成的棋盘格图案，由投影仪对计算机的显示画面进行投影；

3）将投影仪投影的棋盘格图案作为棋盘格标定模板，利用摄像装置从多个不同拍摄角度抓取棋盘格标定模板的图像，采用基于OpenCV的摄像机标定方法对摄像装置进行标定，得到摄像装置的内部参数和畸变系数，并保存在计算机中；

4）保持计算机的显示状态和投影仪的投影状态不变，将投影仪投影的棋盘格图案作为棋盘格标定模板，设定摄像装置的拍摄位置，抓取棋盘格标定模板的图像，由计算机利用保存的畸变系数对抓取的棋盘格标定模板的图像进行畸变校正；

5）利用畸变校正后的棋盘格标定模板的图像以及计算机保存的内部参数，再次采用基于OpenCV的摄像机标定方法对摄像装置进行标定，得到摄像装置在设定的拍摄位置状态下的旋转矩阵和平移矩阵；

6）计算机根据保存的内部参数以及设定的拍摄位置状态下的旋转矩阵和平移矩阵，得到设定的拍摄位置状态下投影仪投影的计算机显示画面投影影像的世界坐标区域与畸变校正后的视频图像的像素坐标域之间的坐标对应转换关系，作为投影世界坐标-视频像素坐标转换模型记录在计算机中；

由此得到的投影世界坐标-视频像素坐标转换模型具体为：

其中，(X,Y,Z)表示投影仪投影的计算机显示画面投影影像的世界坐标，X、Y和Z分别为所述世界坐标的横坐标值、纵坐标值和径向坐标值，其中，径向坐标值就是计算机显示画面投影影像中的位置点到摄像机镜头的实际间隔距离在世界坐标的径向坐标轴上对应的坐标值；表示畸变校正后的视频图像的像素坐标，和分别为畸变校正后视频图像的列像素坐标值和行像素坐标值；w表示摄像装置成像的景深参数，且w=Z；c_x和c_y分别表示摄像机成像的横向偏移量和纵向偏移量；f_x和f_y分别表示摄像装置成像的横向焦距参数和纵向焦距参数；为摄像装置成像的旋转矩阵，其中，表示摄像装置成像在横向的旋转向量，表示摄像装置成像在纵向的旋转向量，表示摄像装置成像在径向的旋转向量；为摄像装置成像的平移矩阵，p_x、p_y、p_z分别表示摄像装置成像在横向、纵向、径向的平移量。

7）计算机运行触控操作应用程序并显示输出触控操作画面，由投影仪对计算机的显示画面进行投影，由摄像装置在设定的拍摄位置实时采集包含有计算机显示画面投影影像区域的视频图像并传输给计算机，由计算机利用保存的畸变系数对视频图像进行畸变校正；

8）在投影仪投影的计算机显示画面投影影像区域内指定控制点位置；

9）计算机根据投影世界坐标-视频像素坐标转换模型，计算出畸变校正后的视频图像中在计算机显示画面投影影像区域内指定的控制点位置的像素坐标所对应的投影影像世界坐标，再根据显示画面坐标-投影世界坐标转换模型，计算出该投影影像世界坐标对应的显示画面坐标，并按照该显示画面坐标确定计算机显示输出的触控操作画面中执行触控操作的位置，控制触控操作应用程序执行相应的触控操作任务。

综上所述，可以看到，本发明基于投影图像的触控定位控制方法中，采用画面坐标-投影世界坐标转换模型和投影世界坐标-视频坐标转换模型进行触控定位控制的转换，该两个转换模型均为线性模型，使得计算机的触控定位控制处理过程更加的简单、高效，并且分考虑了摄像装置内部参数、图像旋转与形变、世界坐标系等多重约束，确保了触控定位控制的准确性。同时，在建立投影世界坐标-视频坐标转换模型的过程中，借助了计算机视觉类库OpenCV及其摄像机标定方法，无需自行额外创建摄像装置的标定算法，使得摄像装置标定过程和投影世界坐标-视频坐标转换模型的建立操作都更加的简便。此外，在投影世界坐标-视频坐标转换模型的建立以及进行触控操作定位控制的过程中，都对摄像装置采集的图像进行了畸变校正，避免因摄像装置镜头畸变引起的图像扭曲而导致坐标转换的误差增大，从而进一步的提高了触控定位的准确性。利用本发明基于投影图像的触控定位控制方法，只要在计算机中运行触控操作应用程序，在投影仪投影的计算机显示画面投影影像区域内指定控制点位置，计算机便能够根据两个模型进行换算，从而确定触控操作画面中执行触控操作的位置，进而控制触控操作应用程序执行相应的触控操作任务。对于实际应用而言，在投影仪投影的计算机显示画面投影影像区域内指定控制点位置的具体实现方式可以有多种。例如，可以采用背景技术中提到的手势识别技术来识别通过手势动作在计算机显示画面投影影像区域中指定的控制点位置；也可以利用激光笔的光标在计算机显示画面投影影像区域中指定控制点位置，通过图像处理识别激光笔光标位置而确定指定控制点位置；等等。由此，由于指定的控制点位置是位于投影仪输出的计算机显示画面投影影像区域内，而计算机显示画面中执行触控操作的位置又被投影到显示画面投影影像区域，使得投影影像中所指定的控制点位置与投影影像中执行触控操作的位置相重合，这样看起来就好像在投影仪输出的投影影像区域中实现了触控操作一样。从而达到了在投影画面中直接对触控操作应用程序进行控制操作的效果，解决了现有技术中人机交互受到电子设备屏幕大小限制的问题，为在投影平面上控制触控操作应用程序提供技术保证。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.基于投影图像的触控定位控制方法，其特征在于，采用交互式触控投影系统进行控制；所述交互式触控投影系统包括计算机、投影仪和摄像装置；其中，投影仪连接计算机的显示输出端，用于对计算机的显示画面进行投影；摄像装置连接计算机的数据输入端，用于采集包含有计算机显示画面投影影像区域的视频图像，并将采集的视频图像实时传输给计算机；计算机用于运行触控操作应用程序并显示输出触控操作画面，根据视频图像中指定的控制点位置，对触控操作画面中执行触控操作的位置进行控制；该方法具体包括如下步骤：

1)通过测量投影仪投影的计算机显示画面投影影像区域的实际尺寸，确定计算机显示画面投影影像区域的世界坐标区域，在计算机中建立计算机显示输出的显示画面坐标域与投影仪投影的计算机显示画面投影影像世界坐标区域之间的坐标对应转换关系，作为显示画面坐标-投影世界坐标转换模型记录在计算机中；

2)控制计算机显示由若干黑色、白色矩形块交错相邻拼接形成的棋盘格图案，由投影仪对计算机的显示画面进行投影；

3)将投影仪投影的棋盘格图案作为棋盘格标定模板，利用摄像装置从多个不同拍摄角度抓取棋盘格标定模板的图像，采用基于OpenCV的摄像机标定方法对摄像装置进行标定，得到摄像装置的内部参数和畸变系数，并保存在计算机中；

4)保持计算机的显示状态和投影仪的投影状态不变，将投影仪投影的棋盘格图案作为棋盘格标定模板，设定摄像装置的拍摄位置，抓取棋盘格标定模板的图像，由计算机利用保存的畸变系数对抓取的棋盘格标定模板的图像进行畸变校正；

5)利用畸变校正后的棋盘格标定模板的图像以及计算机保存的内部参数，再次采用基于OpenCV的摄像机标定方法对摄像装置进行标定，得到摄像装置在设定的拍摄位置状态下的旋转矩阵和平移矩阵；

6)计算机根据保存的内部参数以及设定的拍摄位置状态下的旋转矩阵和平移矩阵，得到设定的拍摄位置状态下投影仪投影的计算机显示画面投影影像的世界坐标区域与畸变校正后的视频图像的像素坐标域之间的坐标对应转换关系，作为投影世界坐标-视频像素坐标转换模型记录在计算机中；

所述投影世界坐标-视频像素坐标转换模型为：

$\left[\begin{array}{c}w\hat{x}\\ w\hat{y}\\ w\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\[\begin{array}{cc}R& P\end{array}\]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right];$

其中，(X,Y,Z)表示投影仪投影的计算机显示画面投影影像的世界坐标，X、Y和Z分别为所述世界坐标的横坐标值、纵坐标值和径向坐标值；表示畸变校正后的视频图像的像素坐标，和分别为畸变校正后视频图像的列像素坐标值和行像素坐标值；w表示摄像装置成像的景深参数，且w＝Z；c_x和c_y分别表示摄像机成像的横向偏移量和纵向偏移量；f_x和f_y分别表示摄像装置成像的横向焦距参数和纵向焦距参数；为摄像装置成像的旋转矩阵，其中，表示摄像装置成像在横向的旋转向量，表示摄像装置成像在纵向的旋转向量，表示摄像装置成像在径向的旋转向量；P＝[p_x,p_y,p_z]^T为摄像装置成像的平移矩阵，p_x、p_y、p_z分别表示摄像装置成像在横向、纵向、径向的平移量；

7)计算机运行触控操作应用程序并显示输出触控操作画面，由投影仪对计算机的显示画面进行投影，由摄像装置在设定的拍摄位置实时采集包含有计算机显示画面投影影像区域的视频图像并传输给计算机，由计算机利用保存的畸变系数对视频图像进行畸变校正；

8)在投影仪投影的计算机显示画面投影影像区域内指定控制点位置；

9)计算机根据投影世界坐标-视频像素坐标转换模型，计算出畸变校正后的视频图像中在计算机显示画面投影影像区域内指定的控制点位置的像素坐标所对应的投影影像世界坐标，再根据显示画面坐标-投影世界坐标转换模型，计算出该投影影像世界坐标对应的显示画面坐标，并按照该显示画面坐标确定计算机显示输出的触控操作画面中执行触控操作的位置，控制触控操作应用程序执行相应的触控操作任务，使得投影影像中所指定的控制点位置与投影影像中执行触控操作的位置相重合。