CN109697043A - 多屏互动显示方法、装置、系统及计算机可读存储介质 - Google Patents

Abstract

本发明涉及一种多屏互动显示方法、装置及系统，所述方法包括将信号源内容输出供至少两个子屏幕进行显示，融合不同用户在所述至少两个子屏幕上进行触控时的触控信息，获得融合后的触控信息，根据所述融合后的触控信息获得对应的触控指令，并响应所述触控指令对所述信号源内容执行相应的操作，并将执行相应操作后的信号源内容输出供所述至少两个子屏幕进行显示。利用本发明公开的技术方案时，不同用户能够在不同的子屏幕上对同一信号源进行触控操作。

Description

多屏互动显示方法、装置、系统及计算机可读存储介质

本申请要求申请人于2017年10月20日提交的申请号为201710986837.1，发明名称为“多屏互动显示方法、装置、系统及计算机可读存储介质”的在先申请的优先权。

技术领域

本发明涉及智能交互技术领域，特别涉及一种多屏互动显示方法、装置、系统、设备及计算机可读存储介质。

背景技术

随着信息时代的到来，人与信息的交互技术扮演着越来越重要的角色，其中大屏幕触控联动显示就是当今最现代的视讯工具之一，由于它本身的直观性特点，已经被广泛应用于各个领域。

目前的大屏幕触控联动显示都是采用两个屏幕进行桌面扩展或者复制的显示方式，其中只有一个屏幕可以接收触控输入对信号源的操作，其他屏幕仅作为被动显示单元。

发明内容

有鉴于此，本发明实施例提供了一种多屏互动显示方法、装置、系统、设备及计算机可读存储介质。

一方面，本发明实施例提供一种多屏互动显示方法，所述方法包括：

将信号源内容输出供至少两个子屏幕进行显示；

融合不同用户在所述至少两个子屏幕上进行触控时的触控信息，获得融合后的触控信息；

根据所述融合后的触控信息获得对应的触控指令，并响应所述触控指令对所述信号源内容执行相应的操作，并将执行相应的操作后的信号源内容输出供所述至少两个子屏幕进行显示。

在一些实施例中，包括：

通过与所述至少两个子屏幕一一对应的至少两个传感器模块获取所述触控信息；

将每个传感器模块的工作空间的坐标系下的触控信息转换为每个信号源的程序窗口的操作系下的触控信息；

将每个信号源的程序窗口的坐标系下的当前触控信息、当前触控信息对应的当前屏幕标识以及当前触控时间存入哈希表；

遍历所述哈希表查找所有不属于当前屏幕标识的触控信息；

判断所述当前触控时间与所述不属于当前屏幕标识的触控信息对应的触控时间之间的时间间隔是否小于预设时间阈值；

若是，则将查找到的不属于当前屏幕标识的触控信息与所述当前触控信息添加在一起；

判断所述哈希表是否遍历完成；

若是，则将添加在一起的信息作为融合后的触控信息。

在一些实施例中，包括：

预先存储每个传感器模块的工作空间与屏幕的有效显示窗口的第一对应关系表，以及每个子屏幕的有效显示窗口与屏幕的有效显示窗口的第二对应关系表；

根据所述第一对应关系表，将每个传感器模块的工作空间的坐标系下的触控信息转换为屏幕的有效显示窗口的坐标系下的触控信息；根据所述第二对应关系表，将屏幕的有效显示窗口的坐标系下的触控信息转换为子屏幕的有效显示窗口的坐标系下的触控信息；

根据子屏幕的有效显示窗口与信号源的程序窗口的第三对应关系表，根据所述第三对应关系表，将子屏幕的有效显示窗口的坐标系下的触控信息转换为信号源的程序窗口的坐标系下的触控信息；

或者；

预先存储每个传感器模块的工作空间与子屏幕的有效显示窗口的第四对应关系表；根据所述第四对应关系表，将每个传感器模块的工作空间的坐标系下的触控信息转换为子屏幕的有效显示窗口的坐标系下的触控信息；

根据子屏幕的有效显示窗口与信号源的程序窗口的第三对应关系表，根据所述第三对应关系表，将子屏幕的有效显示窗口的坐标系下的触控信息转换为信号源的程序窗口的坐标系下的触控信息。

第二方面，本发明实施例提供了一种多屏互动显示装置，所述装置包括：

输出模块，用于将信号源内容输出供至少两个子屏幕进行显示；

融合模块，用于融合不同用户在所述至少两个子屏幕上进行触控时的触控信息，获得融合后的触控信息；

响应模块，根据所述融合后的触控信息获得对应的触控指令，并响应所述触控指令对所述信号源内容执行相应的操作，并将执行相应的操作后的信号源内容输出供所述至少两个子屏幕进行显示。

第三方面，本发明实施例提供了一种多屏互动显示系统，所述系统包括至少两个子屏幕、与所述至少两个子屏幕一一对应的至少两个传感器模块和多屏互动显示装置，其中，

所述至少两个子屏幕用于显示信号源内容；

所述至少两个传感器模块用于获取不同用户在所述至少两个子屏幕上进行触控时的触控信息；

所述多屏互动显示装置为第二方面所述的多屏互动显示装置；所述至少两个传感器模块将所述触控信息发送至所述多屏互动显示装置；

所述传感器模块包括触控传感器和图像处理单元，其中，所述触控传感器用于采集不同用户在所述至少两个子屏幕上进行触控时的图像，所述图像处理单元用于对所述触控传感器采集的图像进行处理，获取不同用户在所述至少两个子屏幕上进行触控时的触控信息。

在一些实施例中，还包括多屏拼接处理器，用于接收所述输出单元输出的信号源内容供所述至少两个子屏幕进行显示。

第四方面，本发明实施例提供了一种多屏互动显示系统，所述系统包括至少两个子屏幕、至少两个传感器模块和服务器，其中，

所述至少两个子屏幕用于显示信号源内容；

所述传感器模块包括触控传感器和图像处理单元，其中，所述至少两个触控传感器用于采集不同用户在所述至少两个子屏幕上进行触控时的图像，所述图像处理单元用于对所述触控传感器采集的图像进行处理，获取不同用户在所述至少两个子屏幕上进行操作时的触控信息；

所述服务器用于融合所述图像处理单元发送的不同用户在所述至少两个子屏幕上进行触控时的触控信息，获得融合后的触控信息；根据所述融合后的触控信息获得对应的触控指令，并响应所述触控指令对所述信号源内容执行相应的操作，并将执行相应的操作后的信号源内容输出供所述至少两个子屏幕进行显示。

在一些实施例中，还包括多屏拼接处理器，用于接收输出的信号源内容供所述至少两个子屏幕进行显示。

第五方面，本发明实施例提供了一种多屏互动显示设备，其可以包括存储器和处理器；所述存储器用于储存有可执行程序代码；所述处理器用于读取所述存储器中存储的可执行程序代码以执行第一方面所述的多屏互动显示方法。

第六方面，本发明实施例提供了一种计算机可读介质，包括指令，当其在计算机上运行时，使得所述计算机执行第一方面所述的多屏互动显示方法。

本发明实施例提供的多屏互动显示方法、装置、系统、设备及计算机可读存储介质，通过将信号源内容复制到至少两个子屏幕上进行显示，不同用户能够在至少两个子屏幕上进行触控操作，之后融合不同用户进行触控操作时的触控信息，获得融合后的触控信息，根据融合后的触控信息获得触控指令，从而根据该触控指令对信号源内容执行相应的操作，并将执行相应操作后的信号源内容输出供至少两个子屏幕进行显示。由此，不同用户能够在不同的子屏幕上对同一信号源进行触控操作，从而实现多人同时互动。

附图说明

图1是根据本发明一个实施例提供的多屏互动显示方法的流程示意图。

图2是根据本发明另一个实施例提供的多屏互动显示方法的流程示意图。

图3是根据本发明另一实施例提供的融合触控信息的流程示意图。

图4是根据本发明另一实施例提供的触控示意图。

图5是根据本发明另一个实施例提供的多屏互动显示装置的结构示意图。

图6是根据本发明另一实施例提供的融合单元的结构示意图。

图7是根据本发明又一个实施例提供的多屏互动显示系统的示意图。

图8a-图8c是根据本发明实施例提供的不同用户进行互动显示时的示意图。

图9是根据本发明又一个实施例提供的多屏互动显示系统的示意图。

具体实施方式

以下结合具体实施方式进一步详细说明本发明的技术方案。应当理解，此处描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

图1是根据本发明一个实施例提供的多屏互动显示方法的流程示意图，如图1所示，所述方法包括：

S11：将信号源内容输出供至少两个子屏幕进行显示。

在本步骤中，可以将信号源内容分为至少两路信号发送到至少两个子屏幕进行显示，使得至少两个子屏幕显示同一画面或不同画面(如下所述)。所述至少两个子屏幕可以拼接在一起，例如通过多屏拼接处理器拼接在一起，拼接在一起的子屏幕可以在空间上相邻放置，也可以在空间上分开设置，例如可以分开一定距离放置。所述子屏幕还可以相对于彼此远程放置，此时，可以通过网络收集不同用户在至少两个子屏幕上进行触控时的触控信息。此处，拼接处理器也可以使至少两个子屏幕显示不同的画面，所述不同的画面拼接成一个完整的信号源内容或画面内容。

所述至少两个子屏幕例如可以包括红外边框式或红外光幕式触控屏幕。也可以包括其他多种触控屏，所述触控也相应地可以通过相应的各种传感器以其他各种方式捕获，如矢量压力传感式、电容式、电阻式、红外边框式、近场成像式、电磁感应式、表面声波式触控屏中所展示的各种触控捕获方式。

S12：融合不同用户在所述至少两个子屏幕上进行触控时的触控信息，获得融合后的触控信息。

以红外光幕式触控屏为例，红外光幕可以通过屏幕上方的红外激光器或激光器阵列而形成于屏幕表面，当通过手指等作用于布置有红外光幕的屏幕时，通过红外摄像头捕获用户在屏幕中的触控输入。例如，当在子屏幕上进行触控时，触控点处的红外光幕的光分布将因触控行为而发生变化，例如触控点处的部分红外光被触控手指漫反射离开屏幕，进而被位于屏幕前方的红外摄像头拍摄到；或触控点处的部分红外光因触控手指的作用透射穿过屏幕，进而被位于屏幕后方的红外摄像头拍摄到，之后红外摄像头将包括触控点在内的红外图像以电信号形式发送至图像处理单元，图像处理单元对接收到的电信号进行处理和分析，获得用户在子屏幕上进行触控时的触控信息。所述触控信息可以包括触控位置信息和/或触控轨迹信息。所述触控位置可以随时间变化，或具有某种分布特性。所述触控还可以包括激光光束作用在屏幕上形成的对屏幕的触控。

本申请中所提出的发明也适用于其他多种触控屏，所述触控也相应地可以通过相应的各种传感器以其他各种方式捕获，如矢量压力传感式、电容式、电阻式、红外边框式、近场成像式、电磁感应式、表面声波式触控屏中所展示的各种触控捕获方式。

当不同用户在不同的子屏幕上进行触控操作时，分别获取各用户在不同子屏幕上的触控信息，并对其进行融合，得到融合后的触控信息。

S13：根据所述融合后的触控信息获得对应的触控指令，并响应所述触控指令对所述信号源内容执行相应的操作，并将执行相应的操作后的信号源内容输出供所述至少两个子屏幕进行显示。

在本步骤中，可以预先存储触控指令与触控操作之间的对应关系，根据所述触控指令能够执行相应的触控操作，所述触控指令可以是绘画、点触、编辑、标识等操作。

比如：信号源的程序窗口是绘画软件的窗口，则将不同用户在子屏幕上的位置信息和/或轨迹信息融合后，根据所述融合后的位置信息和/或轨迹信息获得对应的触控指令，并响应所述触控指令对所述信号源内容执行相应的操作，并将执行相应的操作后的信号源内容分为至少两路发送至至少两个子屏幕进行显示，以使各个用户能够看到其他用户的操作内容。

又比如：用户1在第一个子屏幕上书写“V”，用户2在第二个子屏幕上书写“V”，融合用户1和用户2的触控信息后获得触控轨迹“W”，此时，将该触控轨迹W与预设触控轨迹进行比较，若融合后的触控轨迹与预设触控轨迹相匹配，根据事先存储的预设触控轨迹与触控指令的映射关系，生成放大指令，则根据该放大指令对信号源内容进行放大，并将放大后的信号源内容发送至至少两个子屏幕进行显示，以使至少两个子屏幕能够同时显示放大后的信号源内容。需要说明的是，此处W对应放大指令只是一个举例，用户可以自定义设置触控轨迹对应的触控指令。

利用本发明实施例提供的多屏互动显示方法时，不同用户能够在不同的子屏幕上对同一信号源内容进行触控操作。

图2是根据本发明另一个实施例提供的多屏互动显示方法的流程示意图，如图2所示，所述方法包括：

S201：将信号源内容输出供至少两个子屏幕进行显示。

S202：预先存储每个传感器模块的工作空间与屏幕的有效显示窗口的第一对应关系表，以及每个子屏幕的显示窗口与屏幕的有效显示窗口的第二对应关系表。

在本实施例中，通过与所述至少两个子屏幕一一对应的至少两个传感器模块获取所述触控信息，以所述传感器模块为红外摄像头模块，屏幕为红外光幕式触控屏为例来对本实施例进行说明。

在本步骤中，不同子屏幕对应不同的摄像头模块，每一个子屏幕均位于摄像头模块的工作空间内，例如：可以一个子屏幕对应一个摄像头模块。由于每一个摄像头模块中摄像头的工作空间可能不同，因此，需要将各摄像头模块采集到不同用户在不同子屏幕上的触控信息转换为屏幕下的触控信息，之后再转换为每个子屏幕下的触控信息；此外，还需要将每个子屏幕下的触控信息转换为各自信号源的程序窗口下的触控信息，使得每个触控信息对应到对信号源的相关部分的触控。

因此，需要事先存储每个摄像头的工作空间与屏幕的有效显示窗口的第一对应关系表，以及每个子屏幕的有效显示窗口与屏幕的有效显示窗口的第二对应关系表。其中，所述摄像头的工作空间指的是摄像头在屏幕上工作空间或有效拍摄范围的长、宽尺寸，所述屏幕的有效显示窗口指的是屏幕显示区域的长、宽尺寸，所述子屏幕的有效显示窗口指的是子屏幕显示区域的长、宽尺寸。

S203：根据所述第一对应关系表，将每个传感器模块的工作空间的坐标系下的触控信息转换为屏幕的有效显示窗口的坐标系下的触控信息；根据所述第二对应关系表，将屏幕的有效显示窗口的坐标系下的触控信息转换为子屏幕的有效显示窗口的坐标系下的触控信息。

在本步骤中，例如：可以根据每一个摄像头模块的工作空间与屏幕的有效显示窗口大小之间的比例关系，将摄像头模块采集的摄像头范围的坐标系中不同用户在至少两个子屏幕上进行触控时的位置信息和/或轨迹信息转换为屏幕有效显示窗口的坐标系中的位置信息和/或轨迹信息。例如：摄像头的工作空间的坐标系是以工作空间的左上角为原点，横坐标范围是(0-640)，纵坐标范围是(0-480)，其中屏幕的有效显示窗口的坐标系是以屏幕左上角为原点，横坐标范围是(0-1024)，纵坐标范围是(0-768)。将图像处理单元获得的横坐标属于(0-640)、纵坐标属于(0-480)的坐标系下的触控信息转换为横坐标属于(0-1024)、纵坐标属于(0-768)的坐标系下的触控信息。

之后，再根据第二对应关系表，将屏幕的坐标系下的触控信息转换为每个子屏幕的坐标系下的触控信息。

在一些情况下，可以预先存储每个传感器模块的工作空间与子屏幕的有效显示窗口的第四对应关系表；根据所述第四对应关系表，将每个传感器模块的工作空间的坐标系下的触控信息转换为子屏幕的有效显示窗口的坐标系下的触控信息。

S204:根据子屏幕的有效显示窗口与信号源的程序窗口的第三对应关系表，根据所述第三对应关系表，将子屏幕的有效显示窗口的坐标系下的触控信息转换为信号源的程序窗口的坐标系下的触控信息。

在本步骤中，由于每个子屏幕的有效显示窗口大小可能不同，需要将每个用户在子屏幕上的触控信息转换为信号源的程序窗口中的触控信息，因此，需要获取每个子屏幕的有效显示窗口与信号源的程序窗口的第三对应关系表。

S205：融合不同用户在所述至少两个子屏幕上进行触控时的触控信息，获得融合后的触控信息。

如图3所示，图3是根据本发明另一实施例提供的融合触控信息的流程示意图，步骤S205例如可通过以下步骤来实现：

S2051：将每个信号源的程序窗口的坐标系下的当前触控信息、当前触控信息对应的当前屏幕标识以及当前触控时间存入哈希表。

在本实施例中，由于不同用户在不同的子屏幕上进行同时触控，相应地，触控信息也由不同的红外摄像机进行采集，因此，需要将预设时间内不同用户在不同子屏幕上的触控动作进行融合后发送给服务器进行处理，这样处理的好处在于能够避免多人同时触控时发生紊乱。

在本步骤中，将不同用户在不同子屏幕上的触控信息转换为信号源的程序窗口的坐标系下的触控信息后，将当前触控信息、当前触控信息对应的当前屏幕标识及当前触控时间存入哈希表，其中，所述当前触控信息例如是触控位置信息，即触控坐标，当前触控信息对应的当前屏幕标识指的是触控信息的来源，例如为子屏幕的ID(例如：包含数字和/或字母的字符串)或IP等身份标识。将每个红外摄像头采集的不同用户在不同子屏幕上的每帧图像的触控信息、屏幕标识及触控时间存入哈希表中。

S2052：遍历所述哈希表查找所有不属于当前屏幕标识的触控信息。

在本步骤中，将当前触控信息、当前屏幕标识及当前触控时间存入哈希表之后，遍历整个哈希表找到不属于当前屏幕标识的触控信息。

S2053：判断所述当前触控时间与所述不属于当前屏幕标识的触控信息对应的触控时间之间的时间间隔是否小于预设时间阈值，若是，则执行步骤S2054，若否，则执行步骤S2057，清理查找到的所述不属于当前屏幕标识的触控信息。

在本步骤中，例如，如图4所示，图4是根据本发明另一实施例提供的触控示意图。如图4所示，在第N帧中，用户1在t1时刻在子屏幕1上产生触点P1，在第M帧中，用户2在t2时刻在子屏幕2上产生触点P2，红外摄像头a1采集包含触点P1的红外图像后发送至a1对应的图像处理单元(未图示)，获取触点P1的触控信息，红外摄像头a2采集包含触点P2的红外图像后发送至a2对应的图像处理单元(未图示)，获取触点P2的触控信息。

在第N帧时，将触点P1的触控信息转换为子屏幕1的程序窗口的坐标系下的触控信息，将触点P1的触控信息、子屏幕1的标识及时间t1存入哈希表，在第M帧时，将触点P2的触控信息转换为子屏幕2的程序窗口的坐标系下的触控信息，将P2的触控信息、子屏幕2的标识及时间t2存入哈希表，遍历哈希表中不属于子屏幕2的触控信息，可以找到属于子屏幕1的触点P1的触控信息，此时，判断触点P1对应的触控时间t1与触点P2对应的触控时间t2之间的时间间隔是否小于预设时间阈值，若小于预设时间阈值，则将触点P1的触控信息添加至触点P2的触控信息中，作为融合后的触控信息(如步骤S2054中所描述的)，此时，触点P1和触点P2的动作将被打包成一个触控动作发送至服务器进行处理；若触点P1对应的触控时间t1与触点P2对应的触控时间t2之间的时间间隔大于预设时间阈值，则将触点P1的触控信息删除掉，将触点P2的触控信息直接输出。

S2054：将查找到的不属于当前屏幕标识的触控信息与所述当前触控信息添加在一起。

在本步骤中，如果不属于当前屏幕标识的触控信息对应的触控时间与当前触控时间的时间间隔小于预设时间阈值，则将查找到的不属于当前屏幕标识的触控信息与当前触控信息打包成一个触控信息。

S2055：判断所述哈希表是否遍历完成，若是，则执行步骤S2056，若否，则返回执行步骤S2052，继续遍历所述哈希表查找所有不属于当前屏幕标识的触控信息。

在本步骤中，判断整个哈希表是否遍历完成，当遍历完成后输出融合后的触控信息至服务器，当遍历没有完成时，需要返回步骤S2052，继续遍历所述哈希表，直至遍历完成。

S2056：将添加在一起的信息作为融合后的触控信息。

在本步骤中，当所述哈希表遍历完成后，将当前触控信息及添加的不属于当前屏幕标识且与当前触控时间间隔小于预设时间阈值的触控信息打包成一个触控信息，获得融合后的触控信息。

S2057：清理查找到的所述不属于当前屏幕标识的触控信息。

需要说明的是，本实施例中先将传感器模块的工作空间的坐标系下的触控信息转换屏幕的有效显示窗口的坐标系下的触控信息，再转换为每个子屏幕的有效显示窗口的坐标系下的触控信息，再转换为信号源的程序窗口的坐标系下的触控信息后再进行触控信息的融合，在本发明另一些实施例中，也可以先将传感器模块的工作空间的坐标系下的触控信息转换为屏幕的有效空间的坐标系下的触控信息，之后直接在屏幕的有效显示窗口的坐标系下进行触控信息的融合，之后再将屏幕的有效显示窗口的坐标系下的融合后的触控信息转换为信号源的程序窗口的坐标系下的触控信息。

S206：所述触控信息包括触控位置信息，根据所述融合后触控位置信息获得融合后的触控轨迹信息，根据所述融合后的触控位置信息和/或触控轨迹信息获得对应的触控指令。

经过上述步骤S2051至步骤S2057，完成了不同用户在至少两个子屏幕进行触控时的触控信息，能够得到融合后的触控信息。其中，所述触控信息包含触控位置信息，也即触控坐标信息。对每一个红外摄像头采集的每一帧图像都进行前述步骤的处理，随着时间的流逝，将多帧图像融合后能够根据触控位置信息获得触控轨迹信息，此处，可以预先存储触控位置信息和/或触控轨迹信息对应的触控指令，及与触控指令相关联的触控操作，例如可以将融合后的触控位置信息和/或触控轨迹信息与预设触控位置信息和/或触控轨迹信息进行比较，获得对应的触控指令。

S207：响应所述触控指令对所述信号源内容执行相应的操作，并将执行相应的操作后的信号源内容输出供所述至少两个子屏幕进行显示。

在本步骤中，根据触控指令能够对信号源内容执行相应的操作，例如对图像进行左移、右移、放大、缩小、删除、标识、书写、旋转或翻页。

利用本发明实施例提供的多屏互动显示方法时，不同用户能够在不同的屏幕上对同一信号源内容进行触控操作。

为便于更好的实施本发明实施例提供的多屏互动显示方法，本发明实施例还提供一种多屏互动显示装置。其中，名词的含义与上述多屏互动显示方法相同，具体实现细节可以参考方法实施例中的说明。

图5是根据本发明另一个实施例提供的多屏互动显示装置的结构示意图，如图5所示，所述装置包括输出模块21、融合模块22和响应模块23。

其中，输出模块21用于将信号源内容输出供至少两个子屏幕进行显示；融合模块22用于融合不同用户在所述至少两个子屏幕上进行触控时的触控信息，获得融合后的触控信息；响应模块23用于根据所述融合后的触控信息获得对应的触控指令，并响应所述触控指令对所述信号源内容执行相应的操作，并将执行相应的操作后的信号源内容输出供所述至少两个子屏幕进行显示。

在本发明另一些实施例中，如图6所示，图6是根据本发明另一实施例提供的融合模块的结构示意图。所述多屏互动显示装置融合模块22包括转换单元221、存储单元222、遍历单元223、第一判断单元224、添加单元225、第二判断单元226、输出单元227。

其中，转换单元221用于将每个传感器模块的工作空间的坐标系下的触控信息转换为每个信号源的程序窗口的操作系下的触控信息；存储单元222用于将每个信号源的程序窗口的坐标系下的当前触控信息、当前触控信息对应的当前屏幕标识以及当前触控时间存入哈希表；遍历单元223用于遍历所述哈希表查找所有不属于当前屏幕标识的触控信息；第一判断单元224用于判断所述当前触控时间与所述不属于当前屏幕标识的触控信息对应的触控时间之间的时间间隔是否小于预设时间阈值；添加单元225用于在所述时间间隔小于预设时间间隔时，则将查找到的不属于当前屏幕标识的触控信息与所述当前触控信息添加在一起；第二判断单元226用于判断所述哈希表是否遍历完成；输出单元227用于当所述哈希表遍历完成后，则将添加在一起的信息作为融合后的触控信息输出。

在本发明另一些实施例中，所述转换单元221可包括存储子单元、第一转换子单元、第二转换子单元和第三转换子单元。

其中，所述存储子单元用于预先存储每个传感器模块的工作空间与每个屏幕的有效显示窗口的第一对应关系表；以及每个子屏幕的显示窗口与屏幕的有效显示窗口的第二对应关系表；所述第一转换子单元用于根据所述第一对应关系表，将每个传感器模块的工作空间的坐标系下的触控信息转换为屏幕的有效显示窗口的坐标系下的触控信息；所述第二转换子单元用于根据所述第二对应关系表，将屏幕的有效显示窗口的坐标系下的触控信息转换为子屏幕的有效显示窗口的坐标系下的触控信息；所述第三转换子单元用于根据子屏幕的有效显示窗口与信号源的程序窗口的第三对应关系表，根据所述第三对应关系表，将子屏幕的有效显示窗口的坐标系下的触控信息转换为信号源的程序窗口的坐标系下的触控信息。

所述多屏互动显示装置与上文多屏互动显示方法属于同一构思，在多屏互动显示装置上可以运行多屏互动显示方法实施例中提供的任意一种方法，其具体实现过程详见多屏互动显示方法实施例，此处不再赘述。

本发明实施例中至少两个子屏幕可以为前文所述的各种触控屏，所述至少两个子屏幕也可以是如上文中所述的拼接在一起，例如通过多屏拼接处理器拼接在一起，拼接在一起的子屏幕可以在空间上相邻放置，也可以在空间上分开设置，例如可以分开一定距离放置。所述子屏幕还可以相对于彼此远程放置，此时，可以通过网络收集不同用户在至少两个子屏幕上进行触控时的触控信息。

对本发明实施例提供的多屏互动显示装置而言，其各功能单元可以集成在一个处理芯片中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件的功能模块的形式实现。所述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，所述存储的介质譬如为只读存储器，磁盘或光盘等。

需要说明的是，对本发明实施例所述的多屏互动显示方法而言，本领域技术人员可以理解本发明实施例提供的多屏互动显示方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可以存储于一计算机可读介质中，如存储在多屏互动显示装置的存储器中，并被该多屏互动显示装置内的至少一个处理器执行，执行过程可包括如上述多屏互动显示方法的实施例的流程。其中，所述存储介质可以为磁碟、光盘、只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)等。换言之，本发明还涉及这样一种多屏互动显示设备，其可以包括存储器和处理器；所述存储器用于储存有可执行程序代码；所述处理器用于读取所述存储器中存储的可执行程序代码以执行本发明实施例所述的多屏互动显示方法。

根据一些实施例，提供了一种计算机可读存储介质，可以包括指令，当其在计算机上运行时，可以使得计算机执行上述的多屏幕互动显示方法。

图7是根据本发明又一个实施例提供的多屏互动显示系统的示意图，如图7所示，所述系统包括至少两个子屏幕301-n，红外光幕形成装置601-r，多屏互动显示装置a和至少两个传感器模块，其中，所述至少两个子屏幕和至少两个传感器模块一一对应，每个传感器模块包括触控传感器和图像处理单元，在本实施例中，以传感器模块是摄像头模块为例来进行说明，至少两个摄像头模块包括摄像头401-m和图像处理单元501-k，一个摄像头模块对应一个摄像头和一个图像处理单元。

在本实施例中，以红外光幕式触控屏为例，所述红外光幕形成装置可以为红外激光器(如扇形激光器)601-r。其中，n、m、k和r均为正整数，且m＝n。

其中，至少两个屏幕301-n用于显示信号源内容。红外激光器601-r的数目可以与所述至少两个子屏幕的数目相同，布置在至少两个子屏幕301-n的上方且以阵列方式排布，用于形成平行于至少两个子屏幕301-n的光幕。红外摄像头401-m用于采集不同用户在至少两个子屏幕301-n上进行触控时的图像并发送至图像处理单元501-k，所述至少两个屏幕和至少两个红外摄像头一一对应，至少两个子屏幕位于所述红外摄像头的工作空间内，每一个红外摄像头均配置有一个图像处理单元，用于对红外摄像头发送的图像进行处理和分析，获取不同用户在不同屏幕上进行触控操作时的触控信息。

下面来说明本发明实施例提供的多屏互动显示系统的工作过程：

多屏互动显示装置a将信号源内容输出供至少两个子屏幕301-n进行显示，当红外激光器601-r开启时，形成平行于至少两个子屏幕301-n的表面且厚度均匀的激光面，当不同用户在至少两个子屏幕301-n上进行触控输入时，实际上是在至少两个子屏幕301-n上形成了手指触点的光信号，之后红外摄像头401-m捕捉该光信号并转化为电信号后发送至图像处理单元501-k，图像处理单元501-k对所述电信号进行处理和分析，获得不同用户在不同子屏幕上进行触控时的触控信息，接着，图像处理单元501-k将红外摄像头401-m采集的不同用户在不同子屏幕上进行触控时的触控信息发送至多屏互动显示装置a，多屏互动显示装置a根据摄像头模块中红外摄像头401-m的工作空间与屏幕的有效显示窗口的第一对应关系表，以及至少两个子屏幕301-n的有效显示窗口与所述屏幕的有效显示窗口的第二对应关系表，将工作空间的坐标系下的触控信息转换为屏幕的有效显示窗口的坐标系下的触控信息，接着，将屏幕的有效显示窗口的坐标系下的触控信息转换为子屏幕的有效显示窗口的坐标系下的触控信息，接着，根据子屏幕的显示窗口与信号源的程序窗口之间的第三对应关系表，将子屏幕的有效显示窗口的坐标系下的触控信息转换为信号源的程序窗口的坐标系下的触控信息，之后融合所述程序窗口的坐标系下的触控信息，获得融合后的触控信息，具体融合过程可参照上述实施例中阐述的内容进行理解，此处不再赘述。之后，根据预先存储的触控信息与触控指令之间的对应关系，生成触控指令，根据所述触控指令对信号源内容执行相应的操作，并将执行相应操作后的信号源内容分为至少两路发送到至少两个子屏幕301-n进行显示。

在本发明另一些实施例中，将信号源内容输出供至少两个子屏幕301-n进行显示还可以通过多屏拼接处理器b来实现，多屏拼接处理器b将多屏互动显示装置a的信号源内容的一路信号分为至少两路信号后输出到至少两个子屏幕301-n，使得至少两个子屏幕301-n能够显示多屏互动显示装置a的信号源内容。

可以理解的是，多屏拼接处理器b的功能可以集成在多屏互动显示装置a内，由多屏互动显示装置a来实现多屏拼接处理器b的相关功能；或者，多屏拼接处理器b与多屏互动显示装置a独立设置。

需要说明的是，本实施例以红外光幕式触控屏为例来进行了说明，但并不因此而限定本发明。在本发明另一些实施例中，也可以不需要红外激光器601-r，例如，不同用户可以佩戴红外光发射手套在不同屏幕上进行触控，此时红外摄像头401-m也可以采集不同用户在不同屏幕上进行触控时的图像，之后将采集的图像信号以电信号形式发送至图像处理单元501-k进行处理和分析。

还需要说明的是，本实施例仅以传感器模块是摄像头模块，触控传感器是摄像头为例来说明了本发明实施例提供的方案，但并不应此限定本发明。在本发明的另一些实施例中，所述传感器模块还可以是其他能够采集用户在子屏幕上触控时的触控信息的各种传感器，例如矢量压力传感式触控屏中的力度传感器、电容式触控屏或电阻式触控屏中横纵交叉设置的电极、红外边框式触控屏中设置于触控屏边框的红外线发射与接收感测元件、近场成像式触控屏中在屏幕表面形成静电场的元件、电磁感应式触控屏中横纵交叉设置的线圈、表面声波式触控屏中的声波发生器等，相应的，本申请中所提出的发明也适用于其他多种触控屏，如矢量压力传感式、电容式、电阻式、红外边框式、近场成像式、电磁感应式、表面声波式触控屏等。

如图8a-图8c所示，图8a-图8c是本发明实施例提供的不同用户进行互动显示时的示意图。为了简洁，此处仅示出3×2共6块子屏幕和多屏互动显示装置a，多屏互动显示系统的其它设备没有在图8a-图8c中示出。

如图8a所示，在绘画板应用程序的程序窗口下，多屏互动显示装置a将正在播放的画面内容输出供6块子屏幕301-306显示，此时，多屏互动显示装置a与6块子屏幕301-306的显示内容可以相同(如图中所示)或不同。

如图8b所示，用户1在子屏幕301上画一个点，用户2在子屏幕302上画一个圆圈。子屏幕301对应的红外摄像头和子屏幕302对应的红外摄像头会分别采集用户1和用户2在子屏幕1和子屏幕2上进行触控时的图像，并将图像以电信号形式发送至图像处理单元进行处理和分析。

如图8c所示，多屏互动显示装置a对子屏幕301对应的红外摄像头采集的子屏幕1上的点的位置信息及子屏幕302对应的红外摄像头采集的子屏幕2上的圆圈的位置信息进行处理和分析，具体处理和分析过程可参照上述实施例所阐述的内容进行理解，此处不再赘述。进行分析和处理后，根据融合后的位置和轨迹信息操作信号源内容，并将融合后的包含一个点和一个圆圈的内容输出供6块子屏幕301-306显示，所述显示例如可以通过多屏拼接处理器实现，通过多屏拼接处理器也可以使6块子屏幕显示不同的内容。由此，用户1和用户2能够通过两个子屏幕对同一信号源进行编辑，从而实现了多用户之间的互动。

本发明实施例所提供的多屏互动显示装置与上文多屏互动显示方法属于同一构思，在多屏互动显示装置上可以运行多屏互动显示方法实施例中提供的任意一种方法，其具体实现过程详见多屏互动显示方法实施例，此处不再赘述。

本发明实施例中的至少两个子屏幕可以如上文中所述的拼接在一起，例如通过多屏拼接处理器拼接在一起，拼接在一起的子屏幕可以在空间上相邻放置，也可以在空间上分开设置，例如可以分开一定距离放置，所述子屏幕还可以相对于彼此远程放置，此时，可以通过网络收集不同用户在至少两个子屏幕上进行触控时的触控信息。

利用本发明实施例提供的多屏互动显示系统时，不同用户能够在不同的子屏幕上对同一信号源进行触控操作。

图9是根据本发明又一个实施例提供的多屏互动显示系统的示意图，如图9所示，所述系统包括至少两个子屏幕701-n，红外光幕形成装置1001-r，服务器c，至少两个传感器模块，其中，所述至少两个子屏幕和至少两个传感器模块一一对应，每个传感器模块包括触控传感器和图像处理单元，在本实施例中，以传感器模块是摄像头模块为例来进行说明，至少两个摄像头模块包括摄像头801-m和图像处理单元901-k。

在本实施例中，以红外光幕式触控屏为例，所述红外光幕形成装置可以为红外激光器1001-r。其中，n、m、k和r均为正整数，且m＝n。

至少两个子屏幕701-n用于显示信号源内容。红外激光器1001-r的数目可以与所述至少两个子屏幕的数目相同，布置在至少两个子屏幕701-n的上方且以阵列方式排布，用于形成平行于至少两个子屏幕701-n的光幕。红外摄像头801-m用于采集不同用户在至少两个子屏幕701-n上进行触控时的图像并以电信号形式发送至图像处理单元901-k，所述至少两个子屏幕和至少两个红外摄像头一一对应，至少两个子屏幕位于所述红外摄像头的工作空间内，每一个红外摄像头均配置有一个图像处理单元，用于接收红外摄像头发来的电信号并进行处理和分析，以获得不同用户在不同子屏幕上进行触控时的触控信息；服务器c用于接收不同用户在不同子屏幕上进行触控时的触控信息，根据预先存储的摄像头模块中红外摄像头801-m的工作空间与屏幕的有效显示窗口的第一对应关系表，以及至少两个子屏幕701-n的有效显示窗口与屏幕的有效显示窗口的第二对应关系表，将工作空间的坐标系下的触控信息转换为屏幕的有效显示窗口的坐标系下的触控信息，接着，将所述屏幕的有效显示窗口的坐标系下的触控信息转换为子屏幕的有效显示窗口的坐标系下的触控信息，接下来，根据子屏幕的有效显示窗口与信号源的程序窗口之间的第三对应关系表，将子屏幕的有效窗口的坐标系下的触控信息转换为信号源的程序窗口的坐标系下的触控信息，之后融合所述信号源的程序窗口的坐标系下的触控信息获得融合后的触控信息，具体获得融合后的触控信息的过程可参照上述实施例中阐述的内容进行理解，此处不再赘述。之后服务器根据预先存储的触控信息与触控指令之间的对应关系，生成触控指令，根据所述触控指令对信号源内容执行相应的操作，并将执行相应操作后的信号源内容分为至少两路发送到至少两个子屏幕701-n进行显示。

本实施例与上述实施例的不同之处在于，上述实施例中对不同用户在不同子屏幕上进行触控时的触控信息进行融合的动作在多屏互动显示装置a中完成，而本实施例中对不同用户在不同子屏幕上进行触控时的触控信息进行融合的步骤在服务器c中完成。

本发明实施例所提供的多屏互动显示系统与上文多屏互动显示方法属于同一构思，在多屏互动显示系统上可以运行多屏互动显示方法实施例中提供的任意一种方法，其具体实现过程详见多屏互动显示方法实施例，此处不再赘述。

本发明实施例中至少两个子屏幕可以为前文所述的各种触控屏，所述子屏幕也可以是如上文中所述的拼接在一起，例如通过多屏拼接处理器拼接在一起，拼接在一起的屏幕可以在空间上相邻放置，也可以在空间上分开设置，例如可以分开一定距离放置，所述子屏幕还可以相对于彼此远程放置，此时，可以通过网络收集不同用户在至少两个子屏幕上进行触控时的触控信息。

关于本实施例提供的多屏互动显示系统的工作过程可参照上述实施例进行理解，此处不再赘述。

在本发明另一些实施例中，将信号源内容输出供至少两个子屏幕701-n进行显示还可以通过多屏拼接处理器e来实现，多屏拼接处理器e将多屏互动显示装置d的信号源内容的一路信号分为至少两路信号后输出到至少两个子屏幕701-n，使得至少两个子屏幕701-n能够显示多屏互动显示装置d的信号源内容。

可以理解的是，多屏拼接处理器e的功能可以集成在服务器内，由服务器实现多屏拼接处理器e的相关功能；或者，多屏拼接处理器e与多屏互动显示装置d独立设置。

利用本发明实施例提供的多屏互动显示系统时，不同用户能够在不同的子屏幕上对同一信号源进行触控操作。

以上的实施方式均为本发明的优选实施方式，并非因此限制本发明的专利保护范围。任何本发明所属的技术领域的技术人员，在不脱离本发明所公开的精神和范围的前提下，对本发明的内容所做的等效结构与等效步骤的变换均落入本发明要求保护的专利范围之内。

Claims (10)

1.一种多屏互动显示方法，其特征在于，所述方法包括：

将信号源内容输出供至少两个子屏幕进行显示；

融合不同用户在所述至少两个子屏幕上进行触控时的触控信息，获得融合后的触控信息；

根据所述融合后的触控信息获得对应的触控指令，并响应所述触控指令对所述信号源内容执行相应的操作，并将执行相应的操作后的信号源内容输出供所述至少两个子屏幕进行显示。

2.根据权利要求1所述的多屏互动显示方法，其特征在于，包括：

通过与所述至少两个子屏幕一一对应的至少两个传感器模块获取所述触控信息；

将每个传感器模块的工作空间的坐标系下的触控信息转换为每个信号源的程序窗口的操作系下的触控信息；

将每个信号源的程序窗口的坐标系下的当前触控信息、当前触控信息对应的当前屏幕标识以及当前触控时间存入哈希表；

遍历所述哈希表查找所有不属于当前屏幕标识的触控信息；

判断所述当前触控时间与所述不属于当前屏幕标识的触控信息对应的触控时间之间的时间间隔是否小于预设时间阈值；

若是，则将查找到的不属于当前屏幕标识的触控信息与所述当前触控信息添加在一起；

判断所述哈希表是否遍历完成；

若是，则将添加在一起的信息作为融合后的触控信息。

3.根据权利要求2所述的多屏互动显示方法，其特征在于，包括：

预先存储每个传感器模块的工作空间与屏幕的有效显示窗口的第一对应关系表，以及每个子屏幕的有效显示窗口与屏幕的有效显示窗口的第二对应关系表；

根据所述第一对应关系表，将每个传感器模块的工作空间的坐标系下的触控信息转换为屏幕的有效显示窗口的坐标系下的触控信息；根据所述第二对应关系表，将屏幕的有效显示窗口的坐标系下的触控信息转换为子屏幕的有效显示窗口的坐标系下的触控信息；

根据子屏幕的有效显示窗口与信号源的程序窗口的第三对应关系表，根据所述第三对应关系表，将子屏幕的有效显示窗口的坐标系下的触控信息转换为信号源的程序窗口的坐标系下的触控信息；或者

预先存储每个传感器模块的工作空间与子屏幕的有效显示窗口的第四对应关系表；根据所述第四对应关系表，将每个传感器模块的工作空间的坐标系下的触控信息转换为子屏幕的有效显示窗口的坐标系下的触控信息；

根据子屏幕的有效显示窗口与信号源的程序窗口的第三对应关系表，根据所述第三对应关系表，将子屏幕的有效显示窗口的坐标系下的触控信息转换为信号源的程序窗口的坐标系下的触控信息。

4.一种多屏互动显示装置，其特征在于，所述装置包括：

输出模块，用于将信号源内容输出供至少两个子屏幕进行显示；

融合模块，用于融合不同用户在所述至少两个子屏幕上进行触控时的触控信息，获得融合后的触控信息；

响应模块，根据所述融合后的触控信息获得对应的触控指令，并响应所述触控指令对所述信号源内容执行相应的操作，并将执行相应的操作后的信号源内容输出供所述至少两个子屏幕进行显示。

5.一种多屏互动显示系统，其特征在于，所述系统包括至少两个子屏幕、与所述至少两个子屏幕一一对应的至少两个传感器模块和多屏互动显示装置，其中，

所述至少两个子屏幕用于显示信号源内容；

所述至少两个传感器模块用于获取不同用户在所述至少两个子屏幕上进行触控时的触控信息；

所述多屏互动显示装置为权利要求5所述的多屏互动显示装置；所述至少两个传感器模块将所述触控信息发送至所述多屏互动显示装置；

所述传感器模块包括触控传感器和图像处理单元，其中，所述触控传感器用于采集不同用户在所述至少两个子屏幕上进行触控时的图像，所述图像处理单元用于对所述触控传感器采集的图像进行处理，获取不同用户在所述至少两个子屏幕上进行触控时的触控信息。

6.根据权利要求5所述的多屏互动显示系统，其特征在于，还包括多屏拼接处理器，用于接收所述输出单元输出的信号源内容供所述至少两个子屏幕进行显示。

7.一种多屏互动显示系统，其特征在于，所述系统包括至少两个子屏幕、至少两个传感器模块和服务器，其中，

所述至少两个子屏幕用于显示信号源内容；

所述传感器模块包括触控传感器和图像处理单元，其中，所述至少两个触控传感器用于采集不同用户在所述至少两个子屏幕上进行触控时的图像，所述图像处理单元用于对所述触控传感器采集的图像进行处理，获取不同用户在所述至少两个子屏幕上进行操作时的触控信息；

所述服务器用于融合所述图像处理单元发送的不同用户在所述至少两个子屏幕上进行触控时的触控信息，获得融合后的触控信息；根据所述融合后的触控信息获得对应的触控指令，并响应所述触控指令对所述信号源内容执行相应的操作，并将执行相应的操作后的信号源内容输出供所述至少两个子屏幕进行显示。

8.根据权利要求7所述的多屏互动显示系统，其特征在于，还包括多屏拼接处理器，用于接收输出的信号源内容供所述至少两个子屏幕进行显示。

9.一种多屏互动显示设备，其可以包括存储器和处理器；所述存储器用于储存有可执行程序代码；所述处理器用于读取所述存储器中存储的可执行程序代码以执行权利要求1-3中任一项所述的多屏互动显示方法。

10.一种计算机可读介质，其特征在于，包括指令，当其在计算机上运行时，使得所述计算机执行如权利要求1-3中任一项所述的多屏互动显示方法。