CN110703956B - 一种基于光影像的交互系统和交互方法 - Google Patents

Abstract

本发明涉及一种基于光影像的交互系统，其一种基于光影像的交互系统，包括：设备端组，其中包括N个设备端；与所述设备端组连接的数据处理器；其中N≧2；其中，所述N个设备端用于获取同一交互区域的光影像，并识别同一触控点的位置坐标值并发给所述数据处理器；数据处理器用于接收所述N个设备端获取的同一触控点的位置坐标值并进行处理，以获取目标位置坐标值。该系统能够在其中一个设备端的摄像头或者图像处理单元出现故障时仍然保持正常运行。

Description

一种基于光影像的交互系统和交互方法

技术领域

本发明涉及触控交互领域，尤其涉及一种具有双备份或多备份安全保障功能的基于光影像的交互系统和交互方法，及相关数据处理器。

背景技术

进入智能时代，触控屏幕技术越来越受到关注，广泛地应用于各个领域。触控屏幕不仅消除了鼠标，给用户带来极大的方便之外，给人机交互这个领域也带来了前所未有的发展。

目前除了手机、电脑等小型设备的触摸技术之外，大尺寸的触控屏幕也越来越多地应用于各个领域，例如军队指挥中心需要设置大尺寸触控屏幕进行现场指挥，展览展厅需要设置触控屏幕让观众能够方便操作和查询展厅坐标、展示内容等等，这些场合都需要大尺寸触控屏幕。

具有这种大尺寸触控屏幕的人机交互系统包括一种基于光影像的交互系统，其中所述触控屏幕为红外光幕式触控屏幕(指屏幕表面布置有红外光幕)。这种基于光影像的交互系统如图1所示，红外光幕可以通过屏幕上方的红外激光器或激光器阵列(图中以0表示)而形成于屏幕1表面，当用户通过手指等作用于布置有红外光幕的屏幕1时，通过红外摄像头2捕获用户在屏幕中的触控输入。例如，当在屏幕上进行触控时，触控点X处的红外光幕的光分布将因触控行为而发生变化，例如，触控点处的部分红外光被触控手指漫反射离开屏幕，进而被位于屏幕前方的红外摄像头拍摄到；或触控点处的部分红外光因触控手指的作用透射穿过屏幕，进而被位于屏幕后方的红外摄像头拍摄到；之后红外摄像头2将包括触控点在内的红外图像以电信号形式发送至图像处理单元3，图像处理单元3对接收到的电信号进行处理和分析，进行滤波消噪处理后识别所述反射光点的坐标值；该坐标值然后被发送给客户端4，客户端4再根据该坐标值及预设的该坐标处的触控行为所对应的操作命令进行响应(在本申请中简称为根据该坐标值进行响应)，并将响应内容通过红外光屏幕1输出显示给用户，以完成触摸-显示操作。

此外，还存在一种基于光影像的交互系统，其与上面的基于光影像的交互系统的不同之处在于，红外光幕不是必须的，此时，所述触控通过遥控激光笔向所述投影屏幕上发射激光束来实现，当遥控激光笔向所述投影屏幕上发射激光束时，传感器或红外摄像机采集屏幕上的含有激光光点的图像或光影像，该图像或光影像包含例如触控位置信息。之后红外摄像头将包括触控点在内的红外图像以电信号形式发送至图像处理单元，图像处理单元对接收到的电信号进行处理和分析，进行滤波消噪处理后识别所述反射光点的坐标值；该坐标值然后被发送给客户端，客户端再根据该坐标值及预设的该坐标处的触控行为所对应的操作命令进行响应(在本申请中简称为根据该坐标值进行响应)，并将响应内容通过红外光屏幕输出显示给用户，以完成触摸-显示操作。

此外，还存在一些基于光影像的交互系统，其中的交互区域或交互动作没有位于屏幕上，如在基于深度相机的交互系统中，深度相机可以捕获人体在空间产生的动作或触控，通过图像处理单元处理后，控制关联的计算机执行相应的操作，此时交互区域或触控位置或触点的位置位于三维空间中。

但是，上述基于光影像的交互系统存在一些问题。一旦红外摄像头或图像处理单元出现故障，例如断电或者装置间某处连接断开等，则会导致整个交互系统瘫痪，无法识别出或传输触摸坐标以及进行触摸响应，最终造成客户端响应或输出显示错误。

发明内容

针对现有技术，本发明第一方面提供一种基于光影像的交互系统，包括：设备端组，其中包括N个设备端；与所述设备端组连接的数据处理器；其中N≧2；

其中，所述N个设备端用于获取同一交互区域的光影像，并识别同一触控点的位置坐标值并发给所述数据处理器；

数据处理器用于接收所述N个设备端获取的同一触控点的位置坐标值并进行处理，以获取目标位置坐标值。

根据本发明的一些实施例，所述交互系统还包括与数据处理器连接的客户端；

所述数据处理器将目标位置坐标值发送给所述客户端；所述客户端用于根据目标位置坐标值进行响应，并将响应结果通过所述触控屏幕进行显示。

根据本发明的一些实施例，所述数据处理器处理所述位置坐标值的步骤进一步包括，

步骤1，数据处理器接收来自设备端组中N个设备端发来的位置坐标值，并将其存储在缓存器中；

步骤2，数据处理器遍历缓存器中的所有位置坐标值，若缓存器中包括至少两个位置坐标值，则将其中一个位置坐标值作为目标坐标值；若缓存器中仅包括一个位置坐标值，则将该位置坐标值作为目标坐标值。

根据本发明的一些实施例，所述数据处理器处理所述位置坐标值的步骤进一步包括，

步骤1，数据处理器接收来自设备端组中N个设备端发来的位置坐标值，并将其存储在缓存器中；

步骤2，数据处理器遍历缓存器中的所有位置坐标值，然后对实际接收到的位置坐标值进行坐标平均值计算，并将计算后的坐标平均值作为目标坐标值；坐标平均值X、Y计算方式为，

X＝(X1+X2+…+Xn)/N；

Y＝(Y1+Y2+…Yn)/N；

其中，X1，X2，……Xn分别为设备端组中第1，2，n个设备端发来的位置坐标X的值，Y1，Y2，……Yn分别为设备端组中第1，2，n个设备端发来的位置坐标Y的值，N为实际接收到的位置坐标值的个数。

根据本发明的一些实施例，所述数据处理器集成在所述客户端中。

本发明第二方面提供一种基于光影像的触控交互方法，其包括：

使用N个设备端获取同一交互区域的光影像并识别交互区域内的同一触控点的位置坐标值；

使用数据处理器对来自N个设备端的同一触控点的所有位置坐标值进行处理，以获取目标位置坐标值。

根据本发明的一些实施例，所述方法还包括，根据处理后的所述位置坐标值进行响应，并将响应结果通过所述触控屏幕进行显示。

根据本发明的一些实施例，处理位置坐标值的步骤进一步包括，

步骤1，接收来自设备端组中N个设备端发来的位置坐标值，并将其存储在缓存器中；

步骤2，遍历缓存器中的所有位置坐标值，若缓存器中包括至少两个位置坐标值，则将其中一个位置坐标值发送给客户端；若缓存器中仅包括一个位置坐标值，则将该位置坐标值发送给客户端。

根据本发明的一些实施例，处理位置坐标值的步骤进一步包括，

步骤1，接收来自设备端组中N个设备端发来的位置坐标值，并将其存储在缓存器中；

步骤2，遍历缓存器中的所有位置坐标值，然后对实际接收到的位置坐标值进行坐标平均值计算，并将计算后的坐标平均值发送给客户端。

根据本发明的一些实施例，坐标平均值X、Y计算方式为，

X＝(X1+X2+…+Xn)/N；

Y＝(Y1+Y2+…Yn)/N；

其中，X1，X2，……Xn分别为设备端组中第1，2，n个设备端发来的位置坐标X的值，Y1，Y2，……Yn分别为设备端组中第1，2，n个设备端发来的位置坐标Y的值，N为实际接收到的位置坐标值的个数。

本发明使得在交互系统中的其中一个设备端的摄像头或者图像处理单元出现故障时完全不影响触控操作，尤其是，完全不存在因故障而导致的触控响应卡顿、迟滞、中断等现象，也即，能够实现对故障的无缝隙跨越。而且，根据实际需要，可以通过增大设备端组的数目，使整个系统的安全性提高相应的倍数。

附图说明

图1为现有技术的触控屏幕系统；

图2为本发明的一个实施例的基于光影像的交互系统；

图3为本发明的另一实施例的基于光影像的交互系统；

图4为本发明的数据处理器的一个实施例的工作步骤流程图；

图5为本发明的数据处理器的另一个实施例的工作步骤流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。

另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

图2为本发明一个实施例的基于光影像的交互系统10。本实施例以红外光幕式触控屏幕(图中0表示用于形成红外光幕的红外激光器阵列或其他红外光幕形成装置)为例进行说明。本领域技术人员可以知晓，本发明的系统并不限于红外光幕式触控屏幕，所述屏幕还可以为适合将图像投影于其上进行图像显示的所有屏幕，在下文中会有进一步说明。

如图2所示，基于光影像的交互系统10包括：设备端组11，其中包括至少两个设备端12、13；与设备端组11连接的数据处理器14。

为了方便说明，在该实施例中，仅使用两个设备端12、13进行描述。本领域技术人员可以理解，设备端的数量可以为两个或两个以上。

其中设备端12、13用于获取触控屏幕的红外光影像并识别同一触控点的位置坐标。

其中，设备端12、13可以进一步分别包括：摄像头121和摄像头131，摄像头121和123用于获取反射光点反射的红外光影像；图像处理单元122和图像处理单元132，图像处理单元122和图像处理单元132用于对摄像头121、摄像头131分别获取的红外光影像进行滤波消噪处理后识别所述反射光点的主坐标和从坐标。其中，摄像头121、摄像头131扫描的光幕的区域完全一致，以便能同时捕获到同一个触控点，例如含有X点在内的红外光图像。

其中，数据处理器14用于接收来自设备端组11的至少两个位置坐标值并进行处理，以获取目标位置坐标值；在本申请中，所述目标位置坐标值为整个系统将要真正对其进行响应或下文提到的要进一步输出给客户端的位置坐标值。

其中，数据处理器14处理位置坐标值的工作流程可以通过如下实施例进行实施：

实施例一(参考图4)

步骤1，数据处理器14接收来自设备端组11中设备端12和设备端13(为区分起见，我们也将设备端12和设备端13称为主设备端和从设备端)发来的同一时刻的位置坐标值，并将其存储在缓存器中；

步骤2，数据处理器14将缓存器中的同一时刻的设备端12、13的坐标值进

行遍历，若缓存器中包括两个位置坐标值，则将其中一个位置坐标值作为目标位置坐标值发送给客户端15；若其中一个设备端故障时，缓存器中仅包括位置坐标值中的其中一个，则数据处理器14将该位置坐标值作为目标位置坐标值；

在设备端为两个以上，例如包括设备端12、13、n时，可以以优先级的方式选择其中一个位置坐标值作为位置坐标值。例如，预设设备端12作为默认目标位置坐标值的产生装置；如果设备端12故障，则选择设备端13的位置坐标值作为目标位置坐标值，如果设备端13故障，则选择序号在13之后的设备端的位置坐标值作为目标位置坐标值，以此类推。

需要注意的是，由于设备端中摄像头和图像处理器之间的产品特性差异，其捕获图像和计算位置坐标值的时间可能会有细微差别，因此这里所述的同一时刻可以是非理想状态下，处于一个时间差阈值内的时刻。例如，设备端12在t1时刻发来的位置坐标值，设备端13可能会延迟Δt的时间而在t2时刻发来同一触控点的位置坐标值；由于Δt的延迟小于或等于一帧左右的时间，所以可以忽略不计，因此数据处理器14将缓存器t1和t2时刻的位置坐标值视为同一时刻的位置坐标值。

实施例二(参考图5)

步骤1，数据处理器14接收来自设备端组11中的设备端12和设备端13发来的位置坐标值，并将其存储在缓存器中；

步骤2，数据处理器14遍历缓存器中同一时刻的设备端12和设备端13发来的位置坐标值，并对两个位置坐标值进行平均值计算，并将计算后的坐标平均值作为目标位置坐标值；

进一步的，交互系统10还可以包括与数据处理器14连接的客户端15；所述数据处理器14可以将处理后的目标位置坐标值发送给客户端15；客户端15用于根据目标位置坐标值进行响应，并将响应结果发送给触控屏幕，从而将其显示出来。

上述实施例一、二的工作流程可以进一步包括步骤：

步骤3，客户端15用于根据目标位置坐标值进行响应，并将响应结果发送给触控屏幕，从而将其显示出来。

其中，坐标平均值计算方式可以为例如，X＝(X1+X2+…+Xn)/N，Y＝(Y1+Y2+…Yn)/N，其中，X1，X2，……Xn分别为设备组端11中第1，2，n个设备端发来的坐标X的值，Y1，Y2，……Yn为设备组端11中第1，2，n个设备端发来的坐标Y的值，N为实际接收到坐标值的个数。

如上所述实施例，一旦设备端12或者设备端13的其中一个出现故障，即无法接收到出现故障的那个设备端的位置坐标值，例如仅收到设备端13发来的坐标值[X2,Y2]时，根据上述平均值计算公式，此时实际接收到的坐标数为N＝1，此时数据处理器14直接输出未发生故障的设备端的位置坐标值[X2,Y2]。

需要说明的是，上述实施例中为了方便说明，对设备端组11所包括的设备端12、13区分了主设备端和从设备端，但本领域技术人员可以理解，设备端12、13也可以不区分主从，只要能够使得数据处理器能够区分其标识即可。

可以理解的是，设备端组的个数也可以根据触控屏幕尺寸大小进行设置，例如，在需要拼接多个子屏幕而组成一个大尺寸屏幕时，可以设置两个或以上设备端组(见图3的11至m)，用于获取不同区域的子屏幕光幕图像，如图3所示。数据处理器14中的缓存器可以根据设备端组11……m的个数分配缓存空间及相应的ID，从而数据处理器14能够识别出对应子屏幕的设备端组发来的同一时刻的触控点，从而可以根据相应设备端组发出的坐标值分别进行处理，而不会将来自不同设备端组的触控点混淆处理。

并且，每个设备端组11中的设备端的数量也可以设置为N个，并且N≧2。

另外，设备端组11、数据处理器14、客户端15可以通过局域网或广域网连接。

另外，数据处理器14可以集成到客户端15中。

另外，在本发明的一些实施例中，上述客户端可以包括台式电脑、笔记本电脑。

另外，在本发明的一些实施例中，本发明的基于光影像的交互系统还可以包括多个客户端。所述触控屏幕例如还可以包括如下屏幕：所述屏幕为适合将图像投影于其上进行图像显示的所有屏幕。所述投影屏幕例如可以为墙面、布面及其他材料的屏幕，此时所述触控通过遥控激光笔向所述投影屏幕上发射激光束来实现，当遥控激光笔向所述投影屏幕上发射激光束时，传感器或红外摄像机采集屏幕上的含有激光光点的图像或光影像，该图像或光影像包含例如触控位置信息。

在本发明中，所述触控可以是直接的触控，也可以是遥控激光笔发出的光束对屏幕的光学触控，或者是离屏的触控，此时，例如可以通过深度相机捕捉三维空间的手势操作。对于这些不同的触控场景，交互区域分别落在屏幕上或直接位于三维空间。

综上所述，本发明能够在其中一个设备端(包括摄像机或图像处理单元)出现断路或故障时仍然可以不间断地正常工作。

以上的实施方式均为本发明的优选实施方式，并非因此限制本发明的专利保护范围。任何本发明所属的技术领域的技术人员，在不脱离本发明所公开的精神和范围的前提下，对本发明的内容所做的等效结构与等效步骤的变换均落入本发明要求保护的专利范围之内。

Claims (4)

1.一种基于光影像的交互系统，包括：设备端组，其中包括N个设备端；与所述设备端组连接的数据处理器；其中N≧2；

其中，所述N个设备端用于获取同一交互区域的光影像，并识别同一触控点的位置坐标值并发给所述数据处理器；

数据处理器用于接收所述N个设备端获取的同一触控点的位置坐标值并进行处理，以获取目标位置坐标值，若其中有设备端出现故障，则不接收出现故障的所述设备端的位置坐标值；

所述数据处理器处理所述位置坐标值的步骤进一步包括，

步骤1，数据处理器接收来自设备端组中N个设备端发来的位置坐标值，并将其存储在缓存器中；

步骤2，数据处理器遍历缓存器中的所有位置坐标值，然后对实际接收到的位置坐标值进行坐标平均值计算，并将计算后的坐标平均值作为目标坐标值；坐标平均值X、Y计算方式为，

X=(X1+X2+⋯+Xn)/n；

Y=(Y1+Y2+⋯Yn)/n；

其中，X1，X2，……Xn分别为设备端组中第1，2，n个设备端发来的位置坐标X的值，Y1，Y2，……Yn分别为设备端组中第1，2，n个设备端发来的位置坐标Y的值，n为实际接收到的位置坐标值的个数。

2.根据权利要求1所述的交互系统，其特征在于：

还包括与数据处理器连接的客户端；

所述数据处理器将目标位置坐标值发送给所述客户端；所述客户端用于根据目标位置坐标值进行响应，并将响应结果通过触控屏幕进行显示。

3.根据权利要求1所述的交互系统，其特征在于：

所述数据处理器处理所述位置坐标值的步骤进一步包括，

步骤1，数据处理器接收来自设备端组中N个设备端发来的位置坐标值，并将其存储在缓存器中；

步骤2，数据处理器遍历缓存器中的所有位置坐标值，若缓存器中包括至少两个位置坐标值，则将其中一个位置坐标值作为目标坐标值；若缓存器中仅包括一个位置坐标值，则将该位置坐标值作为目标坐标值。

4.根据权利要求2所述的交互系统，其特征在于：

所述数据处理器集成在所述客户端中。

Images