CN109917974B - 一种交互式投影系统非线性点坐标映射方法 - Google Patents

Abstract

本发明公开了一种交互式投影系统非线性点坐标映射方法，包括以下步骤：步骤1，确定映射变换模板；步骤2，光斑坐标线性映射；步骤3，光斑坐标非线性映射；步骤4，实现交互。本发明提供了一种交互式投影系统非线性点坐标映射方法，该方法可实现图像非线性畸形矫正，将相机捕捉到的畸变光斑，转换成准确的光斑，从而保证了交互式课堂教学系统的正常交互操作。

Description

一种交互式投影系统非线性点坐标映射方法

技术领域

本发明涉及投影领域，尤其涉及一种交互式投影系统非线性点坐标映射方法。

背景技术

交互式投影系统是一种配合投影仪、电脑、相机等设备，可以在任意光滑投影面实现随意手指触摸控制、互动问答、远程交流等功能的系统。

因交互式投影系统中的“交互”是通过相机捕捉图像，经图像算法处理后实现的，相机位于投影区域的上前方，且离投影区域大概1米距离，其中数值1只是一个经验值，其范围在0.8-1.2，目的是让相机拍摄的范围尽可能的广。当相机捕捉投影区域的图像时，因相机放置的位置，会导致相机拍摄的图像有两种畸变，一种是线性畸变，即因相机的视角是从上向下而导致投影矩形区域在图像中显示是上大下小的形式，然而这种线性畸变已经解决了；另一种是非线性畸变，即因相机拍摄画面过大而产生的图像畸变，这种畸变是相机本身缺陷导致的。这种非线性畸变会导致当用户在投影矩形区域绘制时，相机捕捉到的绘制光斑在图像中位置有变化，出现绘制不准确的问题。

发明内容

本发明的目的在于提供一种交互式投影系统非线性点坐标映射方法，以解决交互式投影系统中，因非线性畸变而导致的光斑捕捉不准的技术问题。

本发明为解决上述技术问题，采用以下技术方案来实现：

本发明提供一种交互式投影系统非线性点坐标映射方法，包括以下步骤：

步骤1，采集在电脑屏幕上平均分布的电脑屏幕光斑坐标，将所述电脑屏幕光斑坐标进行投影，将投影区域内相对应的光斑映射转换到电脑屏幕坐标系中，得到屏幕坐标系光斑坐标，然后将所述屏幕坐标系光斑坐标通过FFD向所述电脑屏幕光斑坐标映射，计算出变形场，从而得到映射变换模板并进行保存；

步骤2，捕捉投影区域未绘制图像，得到背景图；捕捉投影区域含有光斑的图像，得到当前图；采集电脑分辨率大小的空图，得到电脑屏幕图像；遍历所述当前图以及所述背景图上的每个像素，用所述当前图的像素值减去所述背景图的像素值，得到前景图像，并将所述前景图像的光斑映射到所述电脑屏幕图像上；

步骤3，获取所述电脑屏幕图像上的光斑，并将光斑坐标输入到所述映射变换模板中，即可得到最终光斑；

步骤4，将所述最终光斑的坐标传给应用软件。

优选地，步骤1中，所述变形场的计算包括以下步骤：

a.确定所有预先设定的电脑屏幕光斑坐标的变形量，所述变形量为二维矢量，包括所述电脑屏幕光斑坐标在x轴的变形矢量和在y轴的变形矢量；

b.选取x轴变形矢量和y轴的变形矢量的最大值作为划分阈值，再将包含所述电脑屏幕光斑坐标的图片和划分阈值相比，并将图片划分为与比值相等的网格；

c.将所述屏幕坐标系光斑坐标通过FFD向所述电脑屏幕光斑坐标映射，并确定电脑屏幕光斑坐标在变形后的网格顶点与其变形前最近的一个网格顶点的相对位置；

d.将相对位置进行叠加，即得变形场。

优选地，步骤1中，所述映射变换模板的保存步骤为；建立新的浮点64位矩阵，遍历所述电脑屏幕光斑坐标，并将相对应屏幕坐标系光斑坐标复制给新的浮点64位矩阵。

优选地，步骤1中所述屏幕坐标系光斑坐标以及步骤3中所述电脑屏幕图像上的光斑的光斑重心获取步骤为，包括以下步骤：

a.获取电脑屏幕图像中所有的连通域，遍历所有的连通域，并保存面积最大的连通域点集合：

步骤a1，若最大的连通域点集合不为空，则计算出最大的连通域点集合的外接矩形；

步骤a11，若外接矩形的宽或高大于15像素，则遍历外接矩形在电脑屏幕图像中的像素值，将像素值为255位置中的x坐标、y坐标分别累加，当遍历外接矩形结束后，分别将x坐标累加值除以累加次数，将y坐标累加值除以累加次数，最终得到光斑重心位置的x坐标、y坐标；

步骤a12，若外接矩形的宽或高小于等于15像素，则返回步骤a，重新采集图像检测；

步骤a2，若最大的连通域点集合为空，则返回步骤a，重新采集图像检测。

优选地，步骤2中将所述前景图像映射到所述电脑屏幕图像上的方法为：通过三维透视变换原理，传入前景图像、电脑屏幕图像、映射矩阵、电脑屏幕分辨率，即可将前景图像映射到电脑屏幕图像上。

优选地，所述映射矩阵与所述步骤1中，将投影区域内相对应的光斑映射转换到电脑屏幕坐标系中得到屏幕坐标系光斑坐标所采用的映射矩阵一致。

优选地，步骤2中，对前景图像的光斑进行图像二值化，所述图像二值化的步骤为：

a.遍历电脑屏幕图中每个像素的灰度值；

a1.如果电脑屏幕图中灰度值大于10像素，则电脑屏幕图像的当前行、列的灰度值为255；

a2.如果电脑屏幕图中灰度值小于等于10像素，则电脑屏幕图像的当前行、列的灰度值为0。

本发明的有益效果是：本发明提供了一种交互式投影系统非线性点坐标映射方法，该方法可实现图像非线性畸形矫正，将相机捕捉到的畸变光斑，转换成准确的光斑，从而保证了交互式课堂教学系统的正常交互操作。

附图说明

图1为本发明的工作流程图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施例，进一步阐述本发明，但下述实施例仅仅为本发明的优选实施例，并非全部。基于实施方式中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得其它实施例，都属于本发明的保护范围。

实施例1

一、确定映射变换模板

采集16个在电脑屏幕上平均分布的电脑屏幕光斑坐标，将所述电脑屏幕光斑坐标进行投影，将投影区域内相对应的光斑映射转换到电脑屏幕坐标系中，得到屏幕坐标系光斑坐标，然后将所述屏幕坐标系光斑坐标通过FFD向所述电脑屏幕光斑坐标映射，计算出变形场，从而得到映射变换模板并进行保存。

其中FFD为现有的自由曲面变形技术。

其中变形场为一种映射规则，通过将出现偏移的屏幕坐标系光斑坐标转化成精确的电脑屏幕光斑坐标而得出计算法则，进而得到将出现偏移的光斑坐标转化成精确的光斑坐标的计算方法，该变形场的计算方法为：

a.确定所有预先设定的电脑屏幕光斑坐标的变形量，所述变形量为二维矢量，包括所述电脑屏幕光斑坐标在x轴的变形矢量和在y轴的变形矢量；

b.选取x轴变形矢量和y轴的变形矢量的最大值作为划分阈值，再将包含所述电脑屏幕光斑坐标的图片和划分阈值相比，并将图片划分为与比值相等的网格；该网格可为四边形网格；

c.将所述屏幕坐标系光斑坐标通过FFD向所述电脑屏幕光斑坐标映射，并确定电脑屏幕光斑坐标在变形后的网格顶点与其变形前最近的一个网格顶点的相对位置；

d.将相对位置进行叠加，即得变形场。

将该变形场进行保存，既得映射变换模板，而保存的方式为：建立新的浮点64位矩阵，遍历所述电脑屏幕光斑坐标，并将相对应屏幕坐标系光斑坐标复制给新的浮点64位矩阵即可。

通过上述步骤即可确定映射变换模板。

二、光斑坐标线性映射

打开交互式课堂教学系统后，用相机捕捉投影区域未绘制图像，得到背景图；用相机捕捉投影区域含有光斑的图像，得到当前图；采集电脑分辨率大小的空图，该空图为全黑的图像，得到电脑屏幕图像；将上述背景图、当前图以及电脑屏幕图像采集好后，遍历所述当前图以及所述背景图上的每个像素，用所述当前图的像素值减去所述背景图的像素值，得到前景图像，从而可以排除背景图中的干扰因素，然后将所述前景图像的光斑映射到所述电脑屏幕图像上；

其中前景图像映射到所述电脑屏幕图像上的方法为：通过三维透视变换原理，即现有的映射变换接口传入前景图像、电脑屏幕图像、映射矩阵、电脑屏幕分辨率，即可将前景图像映射到电脑屏幕图像上。这样前景图像上的光斑就会映射到电脑屏幕图像相应的位置，完成映射变换。需要注意的是，本段中所说的映射矩阵与上文中提到的“将投影区域内相对应的光斑映射转换到电脑屏幕坐标系中，得到屏幕坐标系光斑坐标”所采用的映射矩阵一致，因此可以保证前后的一致性。

为了方便相机更好的捕捉光斑位置，因此需要对前景图像的光斑进行图像二值化，二值化的步骤为：

a.遍历电脑屏幕图中每个像素的灰度值；

a1.如果电脑屏幕图中灰度值大于10像素，则电脑屏幕图像的当前行、列的灰度值为255；

a2.如果电脑屏幕图中灰度值小于等于10像素，则电脑屏幕图像的当前行、列的灰度值为0。

在上述二值化的步骤中，数值10为经验值，为定值，而图像中255代表白色，0代表黑色，因此得以很好的将光斑黑白化，从而便于确定光斑位置。

通过上述步骤，即可完成光斑坐标的线性映射。

三、光斑坐标非线性映射

获取所述电脑屏幕图像上的光斑，此时的光斑坐标是有偏移的，然后将光斑坐标输入到所述映射变换模板中，即可得到最终光斑，而最终光斑则是准确的。

至此，则获得了最为精确的光斑坐标。

四、实现交互

将所述最终光斑的坐标传给应用软件，再通过相配套的硬件实现光标的移动操作以及绘制即可。

实施例二

在本发明中，屏幕坐标系光斑坐标以及电脑屏幕图像上的光斑坐标都是由投影区域映射到电脑屏幕上的，为了对光斑进行准确的定位，因此需要获取光斑重心的位置，光斑重心位置的获取步骤为：

a.获取电脑屏幕图像中所有的连通域，连通域指图像中连通物体的边缘轮廓点集合，遍历所有的连通域，并保存面积最大的连通域点集合：

步骤a1，若最大的连通域点集合不为空，则计算出最大的连通域点集合的外接矩形；

步骤a11，若外接矩形的宽或高大于15像素，则遍历外接矩形在电脑屏幕图像中的像素值，将像素值为255位置中的x坐标、y坐标分别累加，当遍历外接矩形结束后，分别将x坐标累加值除以累加次数，将y坐标累加值除以累加次数，最终得到光斑重心位置的x坐标、y坐标；

步骤a12，若外接矩形的宽或高小于等于15像素，则返回步骤a，重新采集图像检测；

步骤a2，若最大的连通域点集合为空，则返回步骤a，重新采集图像检测。

通过上述步骤，可确定光斑重心的坐标，从而提高精确度。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种交互式投影系统非线性点坐标映射方法，其特征在于，包括以下步骤：

步骤1，确定映射变换模板：采集在电脑屏幕上平均分布的电脑屏幕光斑坐标，将所述电脑屏幕光斑坐标进行投影，将投影区域内相对应的光斑映射转换到电脑屏幕坐标系中，得到屏幕坐标系光斑坐标，然后将所述屏幕坐标系光斑坐标通过FFD向所述电脑屏幕光斑坐标映射，计算出变形场，从而得到映射变换模板并进行保存；

所述变形场的计算包括以下步骤：

a.确定所有预先设定的电脑屏幕光斑坐标的变形量，所述变形量为二维矢量，包括所述电脑屏幕光斑坐标在x轴的变形矢量和在y轴的变形矢量；

b.选取x轴变形矢量和y轴的变形矢量的最大值作为划分阈值，再将包含所述电脑屏幕光斑坐标的图片和划分阈值相比，并将图片划分为与比值相等的网格；

c.将所述屏幕坐标系光斑坐标通过FFD向所述电脑屏幕光斑坐标映射，并确定电脑屏幕光斑坐标在变形后的网格顶点与其变形前最近的一个网格顶点的相对位置；

d.将相对位置进行叠加，即得变形场；

步骤2，光斑坐标线性映射：捕捉投影区域未绘制图像，得到背景图；捕捉投影区域含有光斑的图像，得到当前图；采集电脑分辨率大小的空图，得到电脑屏幕图像；遍历所述当前图以及所述背景图上的每个像素，用所述当前图的像素值减去所述背景图的像素值，得到前景图像，并将所述前景图像的光斑映射到所述电脑屏幕图像上；

步骤3，光斑坐标非线性映射：获取所述电脑屏幕图像上的光斑，并将光斑坐标输入到所述映射变换模板中，即可得到最终光斑；

步骤4，实现交互：将所述最终光斑的坐标传给应用软件。

2.根据权利要求1所述的一种交互式投影系统非线性点坐标映射方法，其特征在于，步骤1中，所述映射变换模板的保存步骤为；建立新的浮点64位矩阵，遍历所述电脑屏幕光斑坐标，并将相对应屏幕坐标系光斑坐标复制给新的浮点64位矩阵。

3.根据权利要求1所述的一种交互式投影系统非线性点坐标映射方法，其特征在于，步骤1中所述屏幕坐标系光斑坐标以及步骤3中所述电脑屏幕图像上的光斑的光斑重心获取步骤为，包括以下步骤：

a.获取电脑屏幕图像中所有的连通域，遍历所有的连通域，并保存面积最大的连通域点集合：

步骤a1，若最大的连通域点集合不为空，则计算出最大的连通域点集合的外接矩形；

步骤a11，若外接矩形的宽或高大于15像素，则遍历外接矩形在电脑屏幕图像中的像素值，将像素值为255位置中的x坐标、y坐标分别累加，当遍历外接矩形结束后，分别将x坐标累加值除以累加次数，将y坐标累加值除以累加次数，最终得到光斑重心位置的x坐标、y坐标；

步骤a12，若外接矩形的宽或高小于等于15像素，则返回步骤a，重新采集图像检测；

步骤a2，若最大的连通域点集合为空，则返回步骤a，重新采集图像检测。

4.根据权利要求1所述的一种交互式投影系统非线性点坐标映射方法，其特征在于，步骤2中将所述前景图像映射到所述电脑屏幕图像上的方法为：通过三维透视变换原理，传入前景图像、电脑屏幕图像、映射矩阵、电脑屏幕分辨率，即可将前景图像映射到电脑屏幕图像上。

5.根据权利要求4所述的一种交互式投影系统非线性点坐标映射方法，其特征在于，所述映射矩阵与所述步骤1中，将投影区域内相对应的光斑映射转换到电脑屏幕坐标系中得到屏幕坐标系光斑坐标所采用的映射矩阵一致。

6.根据权利要求1所述的一种交互式投影系统非线性点坐标映射方法，其特征在于，步骤2中，对前景图像的光斑进行图像二值化，所述图像二值化的步骤为：

a.遍历电脑屏幕图中每个像素的灰度值；

a1.如果电脑屏幕图中灰度值大于10像素，则电脑屏幕图像的当前行、列的灰度值为255；

a2.如果电脑屏幕图中灰度值小于等于10像素，则电脑屏幕图像的当前行、列的灰度值为0。

Images