CN107797648A - 虚拟触摸系统和图像识别定位方法、计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种虚拟触摸系统和图像识别定位方法、计算机可读存储介质，该虚拟触摸系统包括：图像获取装置，包括两个摄像点，用于在显示屏/幕前构建虚拟触摸屏；微控制器，用于控制所述两个摄像点同时采集图像，并且执行图像识别定位程序模块对所采集的图像进行处理，获得触摸点的位置坐标；以及USB‑HID描述程序模块，在所述微控制器上执行，用于对所述触摸位置坐标进行HID报告描述符的封装，并且发送给与所述显示屏/幕关联的计算机。本发明利用微控制器将触摸功能进行封装，独立于计算机系统，可以实现任意尺寸显示设备的触摸功能，即时架设，即时使用，不需要对显示设备进行改装，而且初始化设置边界，通用性强。

Description

虚拟触摸系统和图像识别定位方法、计算机可读存储介质

技术领域

本发明涉及人机交互领域，尤其涉及一种基于嵌入式技术的USB-HID模式的虚拟触摸系统和用于虚拟触摸系统的图像识别定位方法。

背景技术

触摸与鼠标和键盘等传统输入方式相比，更加简单、方便，已成为一种新的人机交互方式，它利用手指等物体在屏幕表面的触摸动作，实现对计算机的控制操作。常见的触摸屏有红外线式、电阻式、表面声波式、电容式等，这些类型的触摸屏和屏幕大小直接相关，成品形成后就将无法适应屏幕尺寸的改变。

中国专利文献CN101364159A公开了一种基于图像识别的虚拟触摸系统，由两个一维图像采集装置、显示屏和计算装置组成。其处理程序模块由初始定位算法、手指识别算法、手指定位算法、点击判定算法组成。

在初始定位算法中，用户在虚拟触摸屏n×n的棋盘格的每个顶点上均触摸一次，建立每个棋盘格编号及其投影的起始位置和终止位置坐标的对照表；手指识别算法用于给出手指是否在虚拟触摸屏上的判断；手指定位算法用于实时计算出手指触摸屏幕的位置，根据两个一维坐标唯一确定一个二维坐标点，如果点坐标位于某棋盘格内，则得到用户触摸位置。点击判定算法根据不同时间的手指位置检测是否产生点击操作。

上述虚拟触摸系统的初始设置非常繁琐。另外，触摸功能都集成在计算机系统本身，需要安装在计算机系统中的特定软件才能进行触摸，同时成本随着屏幕尺寸的增加而升高，通用性差，使用不方便。

发明内容

本发明的目的之一在于提供一种用于虚拟触摸系统的图像识别定位方法，以使虚拟触摸屏的初始设置方便快捷。

本发明的另一目的在于提供一种用于虚拟触摸系统的图像识别定位的计算机可读存储介质。

本发明的目的还在于提供一种基于嵌入式技术的USB-HID模式的虚拟触摸系统，以提高设备通用性。

为此，本发明提供了一种用于虚拟触摸系统的图像识别定位方法，所述虚拟触摸系统包括在显示屏/幕前构建虚拟触摸屏的两个摄像点，包括以下步骤：触摸物识别步骤：通过对所述两个摄像点中的每个摄像点所采集的图像进行触摸物识别，得到所述虚拟触摸屏的一维图像上的触摸点；初始化步骤：利用所述显示屏/幕的四周的若干触摸点获得虚拟触摸屏的四周边界和四个角点；坐标方程建立步骤：将所述两个摄像点中的每个摄像点和所述虚拟触摸屏的四个边界角点相连、使虚拟触摸屏划分为三个区域，并且建立每个区域的坐标方程；以及计算步骤：将触摸点代入其所在位置所属的每个摄像点的对应区域的坐标方程，获得触摸点的位置坐标。

进一步地，上述触摸物识别步骤包括：首先利用视觉提取算法检测出触摸物的大概位置，然后利用图像形态学方法进行干扰的去除，进而获得虚拟触摸屏的一维图像上的触摸点。

进一步地，上述两个摄像点的视点位于所述显示屏/幕的左上方和右上方，或者位于所述显示屏/幕的左下方和右下方。

根据本发明的另一方面，提供了一种计算机可读存储介质，其上存储有图像识别定位程序，该程序被处理器执行时实现根据上面所描述的图像识别定位方法。

本发明还提供了一种USB-HID模式的虚拟触摸系统，包括：图像获取装置，包括两个摄像点，用于在显示屏/幕前构建虚拟触摸屏；微控制器，用于控制所述两个摄像点同时采集图像；图像识别定位程序模块，在所述微控制器上执行，用于对所采集的图像按照上面所描述的图像识别方法进行处理，获得触摸点的位置坐标；以及USB-HID描述程序模块，在所述微控制器上执行，用于对所述触摸位置坐标进行HID报告描述符的封装，然后发送给与所述显示屏/幕关联的计算机。

进一步地，上述微控制器为ARM微控制器或FPGA，所述两个摄像点为USB摄像头或DCMI接口摄像头。

进一步地，上述微控制器还用于对触摸点的位置坐标进行丢弃以改善触摸抖动。

进一步地，上述微控制器还用于控制处理的时间间隔、以调节触摸灵敏度。

进一步地，上述微控制器包括用于控制两个摄像点中的第一摄像点的主控制器和用于控制两个摄像点中的第二摄像点的从控制器。

与已有技术相比，本发明的效果体现在：

1、本发明利用微控制器将触摸功能进行封装，独立于计算机系统。

2、本发明可以实现任意尺寸显示设备的触摸功能，即时架设，即时使用，不需要对显示设备进行改装。

3、本发明图像采集装置安装于显示屏显示画面的两侧，可以避免触摸时人体遮挡屏幕。

4、本发明利用USB-HID模式与计算机系统进行交互，不需要为计算机系统安装额外的软件程序模块。

5、本发明中硬件包括微处理器，摄像头，USB数据线，成本与大尺寸其他类型的触摸屏相比大幅降低。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1a为根据本发明一实施例的虚拟触摸系统结构示意图；

图1b为根据本发明另一实施例的虚拟触摸系统的结构示意图；

图2为根据本发明的虚拟触摸的图像获取装置摆放位置示意图；

图3为根据本发明的虚拟触摸系统的初始化示意图；

图4为根据本发明的图像识别定位方法中的Vibe算法所建立的背景模型的示意图；

图5为根据本发明的图像识别定位方法中的Vibe算法所涉及的背景图像的检测原理示意图；

图6是根据本发明的图像识别定位方法中由主控制器检出的触摸物的示意图；

图7是根据本发明的图像识别定位方法中由从控制器检出的触摸物的示意图；

图8为根据本发明的虚拟触摸系统的触摸点定位算法示意图；

图9为从右下侧摄像头检出的图像中的N1的坐标方程建立的几何原理图；

图10为从右下侧摄像头检出的图像中的N2的坐标方程建立的几何原理图；

图11为从右下侧摄像头检出的图像中的N3的坐标方程建立的几何原理图；

图12为从左下侧摄像头检测的图像划分为三个区域的几何原理图；

图13示出了根据本发明的虚拟触摸系统在现场操作时的摄像头摆放位置；

图14示出了根据本发明的虚拟触摸系统在现场操作时的初始化过程；

图15示出了根据本发明的虚拟触摸系统在现场操作时的实际效果；以及

图16是根据本发明的用于虚拟触摸系统的图像识别定位方法的流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

图1至图7示出了根据本发明的一些实施例。

结合参照图1a和图2，基于嵌入式技术的USB-HID模式的虚拟触摸系统，作为计算机系统的外设部件，包括微控制器、图像获取装置、图像识别定位程序模块、以及USB-HID描述模块。

其中，计算机系统包括显示设备和主机，显示设备可以是投影屏幕，液晶显示器，背投或普通墙面。微控制器用于控制图像采集装置获取图像，并计算定位坐标送给计算机系统；图像获取装置安装在显示设备显示画面的两侧，将显示屏完全纳入其取景范围，同时使得从摄像装置的角度看过去显示屏为一条直线，用于在显示屏前构建虚拟触摸屏；图像识别定位程序模块根据获取的图像识别出触摸物同时定位出触摸物在显示屏中的位置；USB-HID描述模块将定位出的位置进行HID报告描述符的封装，送给计算机系统进行响应，完成不同的触摸操作。

本发明利用微控制将触摸功能进行独立、封装，脱离计算机系统，其包括控制图像采集装置采集图像，图像识别定位程序模块识别并定位触摸位置坐标，以USB-HID方式将计算出的坐标进行HID描述，并同计算机系统进行交互，完成触摸功能。

本发明基于嵌入式技术的USB-HID模式的虚拟触摸系统，用户屏幕前进行触摸时，由图像获取装置获取触摸物触摸屏幕时的图像，图像识别定位程序模块在识别出触摸物的同时，根据触摸物在两幅图像中的不同，计算定位出触摸物的位置坐标图像识别定位程序模块识别并定位出触摸物，USB-HID描述模块将位置坐标送入计算机系统，完成触摸响应。

其中，如图16所示，图像识别定位程序模块在微处理器上执行时用于实现以下步骤：

触摸物识别步骤S10：通过对所述两个摄像点中的每个摄像点所采集的图像进行触摸物识别，得到所述虚拟触摸屏的一维图像上的触摸点；

初始化步骤S20：利用所述显示屏/幕的四周的若干触摸点获得虚拟触摸屏的四周边界和四个角点；

坐标方程建立步骤S30：将所述两个摄像点中的每个摄像点和所述虚拟触摸屏的四个边界角点相连、使虚拟触摸屏划分为三个区域，并且建立每个区域的坐标方程；以及

计算步骤S40：将触摸点代入其所在位置所属的每个摄像点的对应区域的坐标方程，获得触摸点的位置坐标。

与现有技术相比，本识别定位方法的初始化操作简便易行，适应性强。

需要指出的是，上述图像识别定位程序模块可存储至计算机可读存储介质中，有独立的用途，例如直接安装在计算机系统中运行，以获得触摸点的位置坐标。

另外，图像识别定位程序模块也可以对坐标进行丢弃、控制时间间隔处理，以此来改变触摸抖动和触摸灵敏度。

本虚拟触摸系统在具体实施时，首先就要摆放调整图像采集装置的位置，参见图2，图像获取装置安装在显示设备显示画面的两侧，将显示屏完全纳入其取景范围，同时使得从摄像装置的角度看过去显示屏为一条直线，用于在显示屏前构建虚拟触摸屏。

图像采集装置的位置调整好时，需要对本系统进行初始化，以获取虚拟触摸屏的参数，用于进行触摸物的定位，参照图3，在显示设备的四周显示若干个触摸点，然后使用触摸物从显示屏幕的最左上角(图3中触摸物所示位置)开始顺次点击每个触摸点，当所有触摸点都触摸完成时，即完成虚拟屏幕的初始化。以后不改变位置、则不需再初始化。

其中，图像识别定位程序模块根据以下识别方法进行触摸点的识别：

(一)利用Vibe算法(视觉提取算法)为图像中的每一个像素点建立一个样本集，此样本集的内容由每个像素点及其周围的八个像素点为填充因子所构成，新的像素值与样本集进行比较，以判断出其属于背景像素还是前景像素。其步骤如下：

(1)为每个像素点建立一个样本集，用其自身与邻域像素进行样本集的填充，建立背景模型，该背景模型示意图在图4中示出，其公式描述如下：

V(x,y)表示某像素点的样本集，N表示样本集的大小，实验证明N取20以上有很好的效果，P(i,j)表示填充样本集的因子，图像中每个像素点总与其周边像素点相近，所以填充因子取自该像素的八邻域像素，选取填充像素采用随机选择法进行选取。

(2)根据所建样本集对检测帧中的每个像素点进行区分，分类原则是待检测像素依次与样本集中的像素因子作差，差值小于设定的阈值时，计数加1，遍历完所有样本集，如果计数不小于设定的阈值，则认为是背景像素，反之认为是前景像素。其可用图5所示的图形形象地描述，其中I(x,y)表示待检测像素点，{p₁,p₂,p₃......p_n}为样本集因子，R表示设定的阈值，这里是以2D平面上的欧式距离作为判断标准，当位于以R为半径的球体内的样本集因子个数大于阈值U_min时，则认为是背景像素，通常情况下R取20，U_min取2。

(3)更新背景点，某个像素点被检测为背景点时，它将有1/φ的概率更新自己的模型样本值，与此同时，也有1/φ的概率来更新其邻域某个像素的模型样本值，φ为时间采样因子，一般取16。

使用本视觉提取算法对图像的一帧进行背景模型的建立，当后续图像中出现触摸物时，能够检测出触摸物的大概位置。

(二)利用图像形态学进行干扰的去除。检测触摸物的效果图在图6和图7中示出，图6为主控制器检测出的触摸物，图7为从控制器检测出的触摸物，白色直线为建立的虚拟触摸屏，触摸物触摸到屏幕时会在白色直线上产生断点，利用两个点根据定位算法即可计算出坐标。

其中，图像识别定位程序模块根据如下定位方法进行位置坐标的计算，两个图像采集装置在显示屏前所构成的虚拟触摸屏可以根据初始化时记录的显示屏四个角点的信息将虚拟触摸屏分成N₁到N₉这9个不同的区域，参照图8，每个区域对应不同的方程组，方程组的解即为触摸物的位置坐标。

当触摸点位于N₁区域时，根据右侧采集装置的图像建立方程原理如图9所示：

S₁为右下摄像机的位置，直线D'B'为一维坐标所在直线，即虚拟触摸，当触摸物触摸屏幕时，会在D'B'上产生断点，以此来确定触摸物的一维坐标。X为触摸点所在位置，其一维坐标为X'，I X F的一维坐标都为X'，通过X点作D C边的垂线，与A B相交于E点，与D C相交于H点，过X点作A D的垂线，与其相交于G点，屏幕的大小都为固定值，因此可设|DC|＝l(屏幕的横向分辨率)，|AD|＝h(屏幕的纵向分辨率)，要求X点的坐标，即要求出|GX|，|EX|，设|GX|＝x(触摸点横坐标)，|EX|＝y(触摸物的纵坐标)，|DF|和|DI|的求解如下：

因此当点触摸X位置时，可以得到l，h，a，b四个已知量，根据面积相等，即

S_三角形FDI＝S_三角形FDX+S_三角形DXI (3)

可以得出关于x，y的方程如下：

这里得到右侧图像区域N₁点求解x，y的方程。

当触摸点位于区域N₂时，如图10所示的X点，|AF|和|DI|的求解如下：

此时面积相等的方式变为

S_梯形AFID＝S_梯形AFXG+S_梯形GXID (7)

据此可得出关于x，y的方程如下：

这里得右侧图像区域N₂点求解x，y的方程。

当触摸点位于区域N₃时，如图11所示的X点，|BF|和|BI|的求解如下：

此时面积相等的方式变为

S_三角形FBI＝S_三角形FXB+S_三角形BXI (11)

据此可得出关于x，y的方程如下：

这里得到右侧图像区域N₃点求解x，y的方程。按照同样的方法可分析出左侧采集装置不同区域的方程，如图12所示：

当触摸点位于N₁区域时，求解x，y的方程为：

当触摸点位于N₂区域时，求解x，y的方程为：

当触摸点位于N₃区域时，求解x，y的方程为：

通过以上方法，求取了触摸点在不同区域的x，y的求解方程，因此当两个采集装置将屏幕划分为九个区域时，联立左右两侧采集装置各自划分出的不同区域的对应方程，可求出x，y的值，即触摸点的位置坐标。

在以上定位方法中，设定两个摄像点自显示屏的左下方和右下方拍摄图像，显然以上定位方法也适合两个摄像点自显示屏的左上方和左上方拍摄图像的场景。

图13示出了根据本发明的虚拟触摸系统作为个人计算机外设装置的示意图，其中，两个摄像点(摄像机)通过懒人支架挂设在杆架上，位于显示屏的左上方和右上方，将显示屏前构建虚拟触摸屏。

图14示出了根据本发明的虚拟触摸系统在系统初始化时中需要点击的触摸点，其中显示屏的长边上各设5个触摸点，宽边上各设4个触摸点，通过这些触摸点限定了虚拟触摸屏的边界。

图15示出了根据本发明的虚拟触摸系统在使用时的示意图，在显示屏上调取“画图板”软件，可画出随机曲折线，与鼠标功能类似。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种用于虚拟触摸系统的图像识别定位方法，其特征在于，所述虚拟触摸系统包括在显示屏/幕前构建虚拟触摸屏的两个摄像点，包括以下步骤：

触摸物识别步骤：通过对所述两个摄像点中的每个摄像点所采集的图像进行触摸物识别，得到所述虚拟触摸屏的一维图像上的触摸点；

初始化步骤：利用所述显示屏/幕的四周的若干触摸点获得虚拟触摸屏的四周边界和四个角点；

坐标方程建立步骤：将所述两个摄像点中的每个摄像点和所述虚拟触摸屏的四个边界角点相连、使虚拟触摸屏划分为三个区域，并且建立每个区域的坐标方程；

以及

计算步骤：将触摸点代入其所在位置所属的每个摄像点的对应区域的坐标方程，获得触摸点的位置坐标。

2.根据权利要求1所述的用于虚拟触摸系统的图像识别定位方法，其特征在于，所述触摸物识别步骤包括：首先利用视觉提取算法检测出触摸物的大概位置，然后利用图像形态学方法进行干扰的去除，进而获得虚拟触摸屏的一维图像上的触摸点。

3.根据权利要求1所述的用于虚拟触摸系统的图像识别定位方法，其特征在于，所述两个摄像点的视点位于所述显示屏/幕的左上方和右上方，或者位于所述显示屏/幕的左下方和右下方。

4.一种计算机可读存储介质，其上存储有图像识别定位程序，其特征在于，该程序被处理器执行时实现根据权利要求1至3中任一项所述的图像识别定位方法。

5.一种USB-HID模式的虚拟触摸系统，其特征在于，包括：

图像获取装置，包括两个摄像点，用于在显示屏/幕前构建虚拟触摸屏；

微控制器，用于控制所述两个摄像点同时采集图像；

图像识别定位程序模块，在所述微控制器上执行，用于对所采集的图像按照权利要求1至3中任一项所述的图像识别方法进行处理，获得触摸点的位置坐标；

以及

USB-HID描述程序模块，在所述微控制器上执行，用于对所述触摸位置坐标进行HID报告描述符的封装，然后发送给与所述显示屏/幕关联的计算机。

6.根据权利要求5所述的USB-HID模式的虚拟触摸系统，其特征在于，所述微控制器为ARM微控制器或FPGA，所述两个摄像点为USB摄像头或DCMI接口摄像头。

7.根据权利要求5所述的USB-HID模式的虚拟触摸系统，其特征在于，所述微控制器还用于对触摸点的位置坐标进行丢弃以改善触摸抖动。

8.根据权利要求5所述的USB-HID模式的虚拟触摸系统，其特征在于，所述微控制器还用于控制处理的时间间隔、以调节触摸灵敏度。