CN103941858A - 一种电子设备显示屏操作控制系统及控制方法 - Google Patents

Abstract

本发明提出了一种电子设备显示屏操作控制系统及控制方法，该电子设备显示屏操作控制系统，包括处理器及分别与处理器相连的显示屏和控制装置运动检测设备，控制装置运动检测设备用于对显示屏控制装置的三维空间运动进行采集、识别和定位，处理器接收所述控制装置运动检测设备的定位信息并转化为对显示屏的控制命令，控制显示屏工作。本发明不仅能够实现对远距离的电子设备的显示屏的触摸控制，还能够实现对界面非常大的电子设备的触摸控制，操作简单方便。

Description

一种电子设备显示屏操作控制系统及控制方法

技术领域

本发明涉及人机交互技术领域，具体涉及一种电子设备显示屏操作控制系统及控制方法。

背景技术

随着电子产业的发展，采用触摸屏进行操作控制的电子设备已经成为技术发展的主流，目前，对这类电子设备的界面控制主要是采用直接操作触摸屏的方式，例如对声学脉冲识别触摸屏，表面声波触摸屏、电容式触摸屏和电阻式触摸屏的控制。如果这类电子设备的界面非常大，则操作非常困难甚至无法完成。

发明内容

为了克服上述现有技术中存在的缺陷，本发明的目的是提供一种电子设备显示屏操作控制系统及控制方法，本发明不仅能够实现对远距离的电子设备的显示屏的触摸控制，还能够实现对界面非常大的电子设备的触摸控制，操作简单方便。

为了实现本发明的上述目的，根据本发明的一个方面，本发明提供了一种电子设备显示屏操作控制系统，包括处理器及分别与所述处理器相连的显示屏和控制装置运动检测设备，所述控制装置运动检测设备用于对所述显示屏控制装置的三维空间运动进行采集、识别和定位，所述处理器接收所述控制装置运动检测设备的定位信息并转化为对显示屏的控制命令，控制显示屏工作。

本发明的电子设备显示屏操作控制系统能够实现对远距离的电子设备的显示屏的触摸控制，特别是对界面非常大的电子设备的触摸控制，操作简单方便。

在本发明的一种优选实施方式中，所述控制装置运动检测设备包括：

壳体及位于壳体一面的触摸屏，所述触摸屏为显示屏控制装置提供运动空间；在所述壳体内设置有：

摄像头模块，所述摄像头模块上安装有至少三个并排设置的摄像头，所述摄像头分别用于采集显示屏控制装置的三维空间运动；

显示屏控制装置运动信息识别模块，显示屏控制装置运动信息识别模块与摄像头模块相连，所述显示屏控制装置运动信息识别模块分别分析、识别摄像头获得图像信息中的显示屏控制装置运动信息，比较从不同的摄像头图像中获得的显示屏控制装置运动信息，以设备自身为参照物，对识别到的手指信息进行检验，进一步确认准确的显示屏控制装置运动信息；

坐标变换模块，所述坐标变换模块与显示屏控制装置运动信息识别模块相连，所述坐标变换模块用于获得显示屏控制装置在图像信息中的平面坐标（x,y），并将此平面坐标换算为以设备自身作为参照物的世界坐标系中，成为世界坐标系中的（x,y）坐标；

红外景深摄像头，所述红外景深摄像头与坐标变换模块相连，通过所述红外景深摄像头获得显示屏控制装置到触摸屏的距离信息，作为坐标z变量，得到被捕获显示屏控制装置基于设备自身世界坐标系的三维空间坐标(x,y,z)并传输给坐标变换模块；

存储模块，所述存储模块与所述坐标变换模块相连，所述存储模块内预设有显示屏控制装置运动信息匹配模版，建立有对象跟踪队列；

追踪模块，所述追踪模块分别与所述存储模块和所述坐标变换模块相连，所述追踪模块将捕获到的显示屏控制装置运动信息与对象跟踪队列中的模版进行比较，实现手指的运动追踪；

控制模块，所述控制模块与所述追踪模块相连，所述控制模块将获到的显示屏控制装置空间信息转换为操作命令输出。

在本发明的另一种优选实施方式中，所述处理器包括：

坐标关联模块，所述坐标关联模块与坐标变换模块相连，用于设定控制装置运动检测设备返回的空间坐标(x,y,z)与显示屏幕坐标的对应关系，形成空间坐标转换为屏幕坐标的基准数据；

识别距离过滤模块，所述识别距离过滤模块与坐标变换模块相连，通过设置识别距离H，过滤控制装置运动检测设备返回的空间坐标中的z值，确保只响应贴近屏幕表面0-H距离之间的空间坐标变化信息；

第二控制模块，所述第二控制模块与控制模块相连，用于接收所述控制模块的控制命令并根据触摸屏空间坐标(x,y,z)与显示屏幕坐标的对应关系，控制显示屏工作。

在本发明的再一种优选实施方式中，所述控制装置为手指或书写笔。具有多样化的选择

为了实现本发明的上述目的，根据本发明的另一个方面，本发明提供了一种电子设备显示屏操作控制方法，包括如下步骤：

S1，开始，初始化处理器和控制装置运动检测设备；

S2，通过控制装置运动检测设备对控制装置的三维空间运动进行采集、识别和定位；

S3，设定控制装置运动检测设备的空间坐标与显示屏幕坐标的对应关系，将控制装置运动检测设备检测的控制装置运动的空间坐标与现实屏幕坐标建立对应关系；

S4，设置识别距离H，过滤控制装置运动检测设备返回的空间坐标中的z值，确保只响应贴近屏幕表面0-H距离之间的空间坐标变化信息，从而形成一个虚拟的屏幕；

S5，根据控制模块的控制命令，根据触摸屏空间坐标(x,y,z)与显示屏幕坐标的对应关系，控制显示屏工作。

本发明的电子设备显示屏操作控制方法通过控制装置运动检测设备实现对远距离的电子设备的显示屏的触摸控制，特别是实现了对界面非常大的电子设备的触摸控制，操作简单方便。

在本发明的一种优选实施方式中，所述步骤S2中控制装置运动检测设备对控制装置的三维空间运动进行采集、识别和定位的方法为：

S21，摄像头模块中的摄像头分别采集显示屏控制装置的三维空间运动；

S22，显示屏控制装置运动信息识别模块分别分析、识别摄像头获得图像信息中的显示屏控制装置运动信息，比较从不同的摄像头图像中获得的显示屏控制装置运动信息，以设备自身为参照物，对识别到的手指信息进行检验，进一步确认准确的显示屏控制装置运动信息；

S23，坐标变换模块获得显示屏控制装置在图像信息中的平面坐标（x,y），并将此平面坐标换算为以设备自身作为参照物的世界坐标系中，成为世界坐标系中的（x,y）坐标；

S24，利用红外景深摄像头获得显示屏控制装置到触摸屏的距离信息，作为坐标z变量，得到被捕获显示屏控制装置基于设备自身世界坐标系的三维空间坐标(x,y,z)并传输给坐标变换模块；

S25，建立显示屏控制装置运动信息匹配模版，加入对象跟踪队列；

S26，按照步骤S21至步骤S25处理摄像头采集的下一帧图片，将捕获到的显示屏控制装置运动信息与对象跟踪队列中的模版进行比较，实现手指的运动追踪；

S27，将捕获到的显示屏控制装置空间信息转换为操作命令输出。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明控制装置运动检测设备的方框图；

图2是本发明电子设备显示屏操作控制方法的流程图；

图3是本发明一种优选实施例中设定控制装置运动检测设备的空间坐标与显示屏幕坐标的对应关系时的显示屏坐标示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明提供了一种电子设备显示屏操作控制系统，包括处理器及分别与该处理器相连的显示屏和控制装置运动检测设备，控制装置运动检测设备用于对显示屏控制装置的三维空间运动进行采集、识别和定位，处理器接收控制装置运动检测设备的定位信息并转化为对显示屏的控制命令，控制显示屏工作。

在本实施方式中，控制装置运动检测设备包括：

壳体及位于壳体一面的触摸屏，优选设置于面向用户的一面，触摸屏为显示屏控制装置提供运动空间。

如图1所示，在壳体内设置有：

摄像头模块，所述摄像头模块上安装有M个摄像头，所述M为正整数，在本发明的一种更加优选的实施方式中，M为不小于3的正整数，即摄像头模块上安装有至少三个并排设置的摄像头，每个摄像头的视角范围为160度，摄像头分别用于采集显示屏控制装置的三维空间运动；

显示屏控制装置运动信息识别模块，该显示屏控制装置运动信息识别模块与摄像头模块相连，显示屏控制装置运动信息识别模块分别分析、识别摄像头获得图像信息中的显示屏控制装置运动信息，比较从不同的摄像头图像中获得的显示屏控制装置运动信息，以设备自身为参照物，对识别到的手指信息进行检验，进一步确认准确的显示屏控制装置运动信息，具体的方法为：每个摄像头都分别分析出显示屏控制装置信息，每个摄像头的相对位置可以构成一个空间坐标系，将摄像头识别到的显示屏控制装置信息加入这个坐标系中，检验是否是同一个位置的显示屏控制装置，当确认每个摄像头分析出的显示屏控制装置在同一个位置时，才会认定此显示屏控制装置信息是有效准确的。

坐标变换模块，该坐标变换模块与显示屏控制装置运动信息识别模块相连，坐标变换模块接收显示屏控制装置运动信息，获得显示屏控制装置在触摸屏图像中的平面坐标（x,y），并将此平面坐标换算为以设备自身作为参照物的世界坐标系中，成为世界坐标系中的（x,y）坐标；

红外景深摄像头，通过所述红外景深摄像头获得显示屏控制装置到触摸屏的距离信息，作为坐标z变量，得到被捕获显示屏控制装置基于设备自身世界坐标系的三维空间坐标(x,y,z)并传输给坐标变换模块；

存储模块，所述存储模块内预设有显示屏控制装置运动信息匹配模版，建立有对象跟踪队列；

追踪模块，追踪模块分别与坐标变换模块和存储模块相连，追踪模块将捕获到的显示屏控制装置运动信息与对象跟踪队列中的模版进行比较，实现手指的运动追踪，提高了识别效率和准确度。例如，存储模块内建立有食指和大拇指的对象跟踪队列，追踪模块将捕获到的显示屏控制装置运动信息，例如食指运动信息与对象跟踪队列中的食指的模版进行比较，从而确定食指的运动轨迹，避免错误识别的发生。

控制模块，所述控制模块将将捕获到的显示屏控制装置空间信息转换为操作命令输出。

在本发明的另一种优选实施方式中，处理器包括：

坐标关联模块，该坐标关联模块与坐标变换模块相连，用于设定控制装置运动检测设备返回的空间坐标(x,y,z)与显示屏幕坐标的对应关系，形成空间坐标转换为屏幕坐标的基准数据；

识别距离过滤模块，该识别距离过滤模块与坐标变换模块相连，通过设置识别距离H，过滤控制装置运动检测设备返回的空间坐标中的z值，确保只响应贴近屏幕表面0-H距离之间的空间坐标变化信息；

第二控制模块，该第二控制模块与控制模块相连，用于接收所述控制模块的控制命令并根据触摸屏空间坐标(x,y,z)与显示屏幕坐标的对应关系，控制显示屏工作。

在本发明的再一种优选实施方式中，所述控制装置为手指或书写笔。

在本实施方式中，还设置有滤光片，对摄像头和景深探测器检测的信号进行滤光并输出。

在本实施方式中，供电电路为常规设计，没有示出，滤光电路也采用的常规滤光电路，在此不做赘述。

本发明还提供了一种电子设备显示屏操作控制方法，如图2所示，包括如下步骤：

S1，开始，初始化处理器和控制装置运动检测设备；

S2，通过控制装置运动检测设备对控制装置的三维空间运动进行采集、识别和定位；

S3，设定控制装置运动检测设备的空间坐标与显示屏幕坐标的对应关系，将控制装置运动检测设备检测的控制装置运动的空间坐标与现实屏幕坐标建立对应关系；

S4，设置识别距离H，过滤控制装置运动检测设备返回的空间坐标中的z值，确保只响应贴近屏幕表面0-H距离之间的空间坐标变化信息，从而形成一个虚拟的屏幕；

S5，根据控制模块的控制命令，根据触摸屏空间坐标(x,y,z)与显示屏幕坐标的对应关系，控制显示屏工作。

在本实施方式中，所述步骤S2中控制装置运动检测设备对控制装置的三维空间运动进行采集、识别和定位的方法为：

S21，摄像头模块中的摄像头分别采集显示屏控制装置的三维空间运动；

S22，显示屏控制装置运动信息识别模块分别分析、识别摄像头获得图像信息中的显示屏控制装置运动信息，比较从不同的摄像头图像中获得的显示屏控制装置运动信息，以设备自身为参照物，对识别到的手指信息进行检验，进一步确认准确的显示屏控制装置运动信息；

S23，坐标变换模块获得显示屏控制装置在图像信息中的平面坐标（x,y），并将此平面坐标换算为以设备自身作为参照物的世界坐标系中，成为世界坐标系中的（x,y）坐标；

S24，利用红外景深摄像头获得显示屏控制装置到触摸屏的距离信息，作为坐标z变量，得到被捕获显示屏控制装置基于设备自身世界坐标系的三维空间坐标(x,y,z)并传输给坐标变换模块；

S25，建立显示屏控制装置运动信息匹配模版，加入对象跟踪队列；

S26，按照步骤S21至步骤S25处理摄像头采集的下一帧图片，将捕获到的显示屏控制装置运动信息与对象跟踪队列中的模版进行比较，实现手指的运动追踪；

S27，将捕获到的显示屏控制装置空间信息转换为操作命令输出。在本实施方式中，具体是将捕获到的手指空间信息使用FingoSDK的信息传递API发送到控制模块，控制模块将捕获到的动作转换为操作系统消息或事件。在本实施方式中，显示屏控制装置空间运动信息与控制模块输出的控制命令一一对应，例如，上下移动手指为滑行，左右移动手指为翻页。

在本实施方式中，设定控制装置运动检测设备返回的空间坐标与现实屏幕坐标的对应关系时，如图3所示，定义控制装置运动检测设备的左上，右上，右下，左下角坐标分别为点A，B，C，D，另外分别记录手指点在A，B，C，D点上时控制装置运动检测设备获取到的空间坐标信息FA,FB,FC,FD，按照屏幕分辨率为A，B，C，D这四个点建立映射关系，如屏幕分辨率为1920*1080，则四个点分别映射为：FA对应(0,0)，FB对应(1920,0)，FC对应(1920,1080),FD对应(0,1080)。当控制装置运动检测设备获得的空间坐标为FP时，则根据对应关系获得FP在显示屏上对应的坐标P，即：

P（X）=FP（x）*(B（x）-A（x）)/(FB（x）-FA（x）)

P（Y）=FP（y）*(D（y）-A（y）)/(FD（y）-FA（y）)

在本实施方式中，设置识别距离H，使用排除法过滤凌指设备返回的空间坐标中的Z值，确保只响应贴近屏幕表面0-H距离之间的空间坐标变化信息，从而形成一个虚拟的屏幕，H为正整数，具体可根据具体情况设定；

如图3所示，触点P除了获得X,Y坐标外，还同时获得一个垂直于屏幕的Z坐标，初始令Z=z，设置一个Z坐标的有效范围，以便获得更好的用户体验，例如设置有效范围为Z>Z0并且Z<Z1，Z0小于Z1。对Z在Z0至Z1内的触点动作进行响应。即此，得到了有效的FP在显示屏上对应的坐标P（X,Y,Z）。

根据控制模块的控制命令，根据触摸屏空间坐标(x,y,z)与显示屏幕坐标的对应关系，控制显示屏工作。在本实施方式中，具体使用TUIO协议传输控制装置运动检测设备获得的三维空间坐标信息，在不同的操作系统中，可基于各个操作系统的SDK开发相对应的触摸驱动程序。例如在Win7下开发驱动程序时，构造事件接收器，惯性处理器和操作处理器，并创建WM_TOUCH句柄，这些都是按照系统SDK要求来做，这些都是现有技术，在此不再赘述。

本发明基于图像识别和人工智能技术实现，对手指的识别精度高达0.01毫米，相比传统触摸操作，有更高的精确度，高效的算法确保每秒能够处理30帧以上的图像信息，保证用户能够进行流畅的操作，同时因为硬件结构简单，设备的总体成本相比现有的其它触摸屏要低的多。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (8)

1.一种电子设备显示屏操作控制系统，其特征在于，包括处理器及分别与所述处理器相连的显示屏和控制装置运动检测设备，所述控制装置运动检测设备用于对所述显示屏控制装置的三维空间运动进行采集、识别和定位，所述处理器接收所述控制装置运动检测设备的定位信息并转化为对显示屏的控制命令，控制显示屏工作。

2.如权利要求1所述的电子设备显示屏操作控制系统，其特征在于，所述控制装置运动检测设备包括：

壳体及位于壳体一面的触摸屏，所述触摸屏为显示屏控制装置提供运动空间；在所述壳体内设置有：

摄像头模块，所述摄像头模块上安装有至少三个并排设置的摄像头，所述摄像头分别用于采集显示屏控制装置的三维空间运动；

显示屏控制装置运动信息识别模块，显示屏控制装置运动信息识别模块与摄像头模块相连，所述显示屏控制装置运动信息识别模块分别分析、识别摄像头获得图像信息中的显示屏控制装置运动信息，比较从不同的摄像头图像中获得的显示屏控制装置运动信息，以设备自身为参照物，对识别到的手指信息进行检验，进一步确认准确的显示屏控制装置运动信息；

坐标变换模块，所述坐标变换模块与显示屏控制装置运动信息识别模块相连，所述坐标变换模块用于获得显示屏控制装置在图像信息中的平面坐标（x,y），并将此平面坐标换算为以设备自身作为参照物的世界坐标系中，成为世界坐标系中的（x,y）坐标；

红外景深摄像头，所述红外景深摄像头与坐标变换模块相连，通过所述红外景深摄像头获得显示屏控制装置到触摸屏的距离信息，作为坐标z变量，得到被捕获显示屏控制装置基于设备自身世界坐标系的三维空间坐标(x,y,z)并传输给坐标变换模块；

存储模块，所述存储模块与所述坐标变换模块相连，所述存储模块内预设有显示屏控制装置运动信息匹配模版，建立有对象跟踪队列；

追踪模块，所述追踪模块分别与所述存储模块和所述坐标变换模块相连，所述追踪模块将捕获到的显示屏控制装置运动信息与对象跟踪队列中的模版进行比较，实现手指的运动追踪；

控制模块，所述控制模块与所述追踪模块相连，所述控制模块将获到的显示屏控制装置空间信息转换为操作命令输出。

3.如权利要求1所述的电子设备显示屏操作控制系统，其特征在于，所述处理器包括：

坐标关联模块，所述坐标关联模块与坐标变换模块相连，用于设定控制装置运动检测设备返回的空间坐标(x,y,z)与显示屏幕坐标的对应关系，形成空间坐标转换为屏幕坐标的基准数据；

识别距离过滤模块，所述识别距离过滤模块与坐标变换模块相连，通过设置识别距离H，过滤控制装置运动检测设备返回的空间坐标中的z值，确保只响应贴近屏幕表面0-H距离之间的空间坐标变化信息；

第二控制模块，所述第二控制模块与控制模块相连，用于接收所述控制模块的控制命令并根据触摸屏空间坐标(x,y,z)与显示屏幕坐标的对应关系，控制显示屏工作。

4.如权利要求1-3之一所述的电子设备显示屏控制系统，其特征在于，所述控制装置为手指或书写笔。

5.一种权利要求1所述电子设备显示屏操作控制系统的控制方法，其特征在于，包括如下步骤：

S1，开始，初始化处理器和控制装置运动检测设备；

S2，通过控制装置运动检测设备对控制装置的三维空间运动进行采集、识别和定位；

S3，设定控制装置运动检测设备的空间坐标与显示屏幕坐标的对应关系，将控制装置运动检测设备检测的控制装置运动的空间坐标与现实屏幕坐标建立对应关系；

S4，设置识别距离H，过滤控制装置运动检测设备返回的空间坐标中的z值，确保只响应贴近屏幕表面0-H距离之间的空间坐标变化信息，从而形成一个虚拟的屏幕；

S5，根据控制模块的控制命令，根据触摸屏空间坐标(x,y,z)与显示屏幕坐标的对应关系，控制显示屏工作。

6.如权利要求5所述的电子设备显示屏操作控制方法，其特征在于，所述步骤S2中控制装置运动检测设备对控制装置的三维空间运动进行采集、识别和定位的方法为：

S21，摄像头模块中的摄像头分别采集显示屏控制装置的三维空间运动；

S22，显示屏控制装置运动信息识别模块分别分析、识别摄像头获得图像信息中的显示屏控制装置运动信息，比较从不同的摄像头图像中获得的显示屏控制装置运动信息，以设备自身为参照物，对识别到的手指信息进行检验，进一步确认准确的显示屏控制装置运动信息；

S23，坐标变换模块获得显示屏控制装置在图像信息中的平面坐标（x,y），并将此平面坐标换算为以设备自身作为参照物的世界坐标系中，成为世界坐标系中的（x,y）坐标；

S24，利用红外景深摄像头获得显示屏控制装置到触摸屏的距离信息，作为坐标z变量，得到被捕获显示屏控制装置基于设备自身世界坐标系的三维空间坐标(x,y,z)并传输给坐标变换模块；

S25，建立显示屏控制装置运动信息匹配模版，加入对象跟踪队列；

S26，按照步骤S21至步骤S25处理摄像头采集的下一帧图片，将捕获到的显示屏控制装置运动信息与对象跟踪队列中的模版进行比较，实现手指的运动追踪；

S27，将捕获到的显示屏控制装置空间信息转换为操作命令输出。

7.如权利要求5所述的电子设备显示屏操作控制方法，其特征在于，所述处理器包括：

坐标关联模块，所述坐标关联模块与坐标变换模块相连，用于设定控制装置运动检测设备返回的空间坐标(x,y,z)与显示屏幕坐标的对应关系，形成空间坐标转换为屏幕坐标的基准数据；

识别距离过滤模块，所述识别距离过滤模块与坐标变换模块相连，通过设置识别距离H，过滤控制装置运动检测设备返回的空间坐标中的z值，确保只响应贴近屏幕表面0-H距离之间的空间坐标变化信息；

第二控制模块，所述第二控制模块与控制模块相连，用于接收所述控制模块的控制命令并根据触摸屏空间坐标(x,y,z)与显示屏幕坐标的对应关系，控制显示屏工作。

8.如权利要求5所述的电子设备显示屏操作控制方法，其特征在于，所述控制装置为手指或书写笔。