CN102799375B - 一种超大幅面显示触点融合交互系统的图像处理方法 - Google Patents

Abstract

本发明公开了一种超大幅面显示触点融合交互系统的图像处理方法，所述超大幅面显示触点融合交互系统包括多块显示屏组成的超大幅面显示屏，单块显示屏背面设有两台摄像机跟踪拍摄图像，而所述摄像机连接有处理图像的交互主机，该交互主机包括触点融合模块、触点提取模块和交互控制模块。本发明对两台摄像机的图像进行融合处理，提高了显示屏边缘或顶角位置的定位精度，并具有快速的处理响应速度；同时采用模块化设计，提高大幅面、高分辨率显示系统的扩展性应用需求。

Description

一种超大幅面显示触点融合交互系统的图像处理方法

技术领域

本发明属于摄像机图像处理技术，尤其涉及多块显示屏组成的超大幅面显示屏的触点融合交互系统的图像处理方法。

背景技术

随着战场监视、侦察技术的发展，军事指挥应用中能够获取大量情报信息，形成全局的战场态势。为了有效组织和使用这些数据，一般需要采用大幅面、高分辨率的显示系统来实现对各种战场数据的综合显示，提高了指挥员对战争全过程的感知能力。超大幅面显示系统主要是指显示面积大于200英寸，分辨率大于2056×2056dpi的显示设备，这类设备由于尺寸大、分辨率高，一般采取多个小尺寸显示单元拼接而成。目前这类设备普遍不支持在屏幕表面上对显示内容进行直接交互，而采用专业人员辅助操作的方式。超大幅面显示系统融合交互方法是针对这类设备提出的一种交互设备设计方法。

美国空军研究实验室开发的交互式数据墙系统（1.Peter A.Jedrysik,Jason Moore,et al Interactive Displays for Command and Control.In Proceedings of IEEE Aerospace Conference,2000,Vol.2:341-351）是一种大尺寸、高分辨率的公共战术图像显示系统。支持用户直接在显示器表面上利用激光笔进行交互，也支持用户在一定距离内（2米左右）利用激光笔进行指示交互。我国清华大学的史元春教授等（2.Xiaojun Bi,Yuanchun Shi,et al uPen:Laser-based,Personalized,Multi-User Interaction on Large Display.In Proceedings of ACM Multimedia,2005,pages:1049-1050.）在激光笔基础上通过增加功能按键，实现了一种能够模拟鼠标交互功能的交互设备。但以上系统还存在两个方面的不足，具体表现为：①用于激光交互点跟踪的摄像机数量一般安装在显示单元的中间位置，在边缘、顶角等位置上的交互精度较低；②受限于摄像机的图像采集分辨率，在大幅面、高分辨率显示系统应用中交互精度较低。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种超大幅面显示触点融合交互系统的图像处理方法。

技术方案：为实现上述目的，本发明采用以下技术方案：一种超大幅面显示触点融合交互系统的图像处理方法，所述超大幅面显示触点融合交互系统包括多块显示屏组成的超大幅面显示屏，单块显示屏背面设有两台摄像机跟踪拍摄图像，而所述摄像机连接有处理图像的交互主机，该交互主机包括触点融合模块、触点提取模块和交互控制模块，所述触点融合模 块，将同一显示屏对应的两台摄像机采集的图像进行融合统一；所述触点提取模块，提取单块显示屏图像中交互触点的坐标数据，并将包括交互触点坐标数据在内的图像数据其转换成与显示屏适配的图像数据；所述交互控制模块，将上述单块显示屏图像坐标系下的图像数据转换到整块超大幅面显示屏的坐标系下。

作为优选，该系统安装后需要确认触点融合模块中的融合参数，该确认方法包括以下步骤：（1）单块显示屏对应的两台摄像机的融合参数的设定，假设两台摄像机分别采集的图像数据之间的融合参数仅包括缩放和位移参数如下：

$T=\left(\begin{array}{ccc}{\mathrm{\α}}_x& {\mathrm{\β}}_x& {\mathrm{\γ}}_x\\ {\mathrm{\α}}_y& {\mathrm{\β}}_y& {\mathrm{\γ}}_y\\ 0& 0& 1\end{array}\right)$

其中，T表示摄像机图像融合参数，α_x、β_x表示X轴的缩放变换参数，γ_x表示X轴的位移参数；α_y、β_y表示Y轴的缩放变换参数，γ_y表示Y轴的位移参数；（2）单块显示屏对应的两台摄像机的融合参数的计算，选取两幅图像中各3个特征点的坐标值，并分别设定为(X₁,Y₁)、(X₂,Y₂)、(X₃,Y₃)和(x₁,y₁)、(x₂,y₂)、(x₃,y₃)，并在此基础上构建方程组，计算公式如式（1）：

$\left\{\begin{array}{c}{\mathrm{\α}}_x=\frac{(X_1-X_2)(y_2-y_3)-(X_2-X_3)(y_1-y_2)}{(x_1-x_2){(y_2-y_3)}_{}-(x_2-x_3)(y_1-y_2)}\\ {\mathrm{\β}}_x=\frac{(x_1-x_2)(X_2-X_3)-(x_2-x_3)(X_1-X_2)}{(x_1-x_2)(y_2-y_3)-(x_2-x_3)(y_1-y_2)}\\ {\mathrm{\α}}_y=\frac{(Y_1-Y_2)(y_2-y_3)-(Y_2-Y_3)(y_1-y_2)}{(x_1-x_2)(y_2-y_3)-(x_2-x_3)(y_1-y_2)}\\ {\mathrm{\β}}_y=\frac{(x_1-x_2)(Y_2-Y_3)-(x_2-x_3)(Y_1-Y_2)}{(x_1-x_2)(y_2-y_3)-(x_2-x_3)(y_1-y_2)}\\ {\mathrm{\γ}}_x=X_1-{\mathrm{\α}}_x{x}_1-{\mathrm{\β}}_x{y}_1\\ {\mathrm{\γ}}_y=Y_1-{\mathrm{\α}}_y{x}_1-{\mathrm{\β}}_y{y}_1\end{array}\right.---\left(1\right)$

将计算得到的融合参数存储到交互主机中的触点融合模块中。

进一步的，所述触点融合模块的融合方法是采用线性加权融合方法，它包括以下步骤：（1）每台摄像机采集图像均分配双缓存M₁和M₂，采集图像灰阶为256，采用8bit存储一位数字化像素，从而进行数字化图像的采集，并存储到缓存M₁和M₂中；（2）首先向缓存M₁中读入视频图像数据，当一帧图像写入完毕，通过回调函数调用触点融合算法，实现对从两个 数字摄像机读取的图像I₁和I₂进行融合，与此同时，继续向缓存M₂中读入图像数据，从而实现交替连续的读写和处理；其中，所述触点融合算法采用线性加权融合方法，即将单块显示屏均分为4个区域，分别是左上部A1、右上部A2、右下部A3和左下部A4，各个区域的融合算法如下：

A1=0.7×TI₁+0.3I₂

A2=0.5×TI₁+0.5I₂

A3=0.3×TI₁+0.7I₂

A4=0.5×TI₁+0.5I₂

（3）所述触点融合算法时间低于33ms。

作为优选，所述触点提取模块，用于提取交互激光笔投射在显示屏上触点的坐标，其方法包括以下步骤：（1）先求取从融合图像中分割交互触点的阈值T_diff，亮度大于T_diff的为交互触点区域，亮度小于T_diff的为背景区域，其中T_diff的确认方法如下：先拍摄10幅不同交互触点位置的图像，并人工判定交互触点位置；然后围绕交互触点中心截取31×31像素大小的区域，分别设为I_ci，i＝1,2,…,10，求取平均图像 接着求取图像I_c中值最大的10%像素点的平均值avg_H(I_c)和I_c中值最小的10%像素点的均值avg_L(I_c)，计算T_diff＝(avg_H(I_c)+avg_L(I_c))2；

（2）求取交互触点区域的中心坐标(X_c,Y_c)，其计算公式如式（2）：

$X_c=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{X}_i}{n},$ $Y_c=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{Y}_i}{n}---\left(2\right)$

式（2）中，(X_i,Y_i)表示连通的交互触点区域中扫描到的第i个点的坐标，n表示连通的交互触点区域的像素数量；（3）将步骤（2）中得到的交互触点区域的中心坐标作为交互触点坐标，并其转换到单个显示屏的坐标轴下。

作为优选，所述交互控制模块，是将单块显示屏坐标系下的交互触点坐标转换到整个超大幅面显示屏的坐标系下；假设每个显示屏的显示分辨率为(W×H)，坐标转换公式如下：

(X_S,Y_S)＝(X_I,Y_I)，(X_I,Y_I)∈左屏幕；

(X_S,Y_S)＝(X_I+W,Y_I)，(X_I,Y_I)∈中屏幕；

(X_S,Y_S)＝(X_I+2W,Y_I)，(X_I,Y_I)∈右屏幕。

有益效果：相对于现有技术，本发明具有以下优点：对两台摄像机的图像进行融合处理，提高了显示屏边缘或顶角位置的定位精度，并具有快速的处理响应速度；同时采用模块化设计，提高大幅面、高分辨率显示系统的扩展性应用需求。

附图说明

图1为本发明的结构示意图；

图2为本发明所述摄像机安放位置示意图；

图3为本发明用于计算融合参数的特征模板；

图4为本发明图像采集与融合处理的时隙关系图；

图5为本发明交互触点提取板块示例图；

图6为本发明用于计算坐标转换参数的特征模板；

图7为本发明交互坐标转换示例图。

其中，显示屏1、摄像机2、交互主机3

具体实施方式

下面结合附图对本发明作更进一步的说明。

一种超大幅面显示触点融合交互系统，由硬件和软件两部分组成，其组成结构如图1所示，包括交互触点数据采集和交互触点数据处理两部分。其中硬件部分包括连接有投影主机的投影仪、多块显示屏、连接有交互主机的摄像机和交互激光笔，所述显示屏为涂覆有反射膜的玻璃平板，多块这样的显示屏拼接成超大幅面显示屏，投影仪将画面投影到该显示屏上。为了能够实现交互控制，在单块显示屏的背面各安装两台摄像机，且摄像机与交互主机连接控制，此时利用能发射532nm波长红外射线的交互激光笔在显示屏上投射高亮度的光点，此光点就是交互触点，此时在每块显示屏的背面设置两台摄像机，该两台摄像机放置的位置与其对应的显示屏左上部和右下部分别对应，且为距显示屏中心1/4的位置，这两台摄像机同时对投射到该显示屏上的交互触点进行跟踪和采集，并将采集的数据传输给交互主机处理后，反馈到与投影仪连接的投影主机上，由投影仪将处理的图像数据反馈到显示屏上，从而完成触点融合交互控制。在此过程中，主要是利用两台摄像机同时跟踪高强光亮的激光点即交互触点，通过交互主机将交互触点的进行融合处理后，反馈回投影主机，从而实现超大幅面显示初定融合交互控制。而交互主机对图像处理方法分以下几个部分：

第一部分：摄像机图像的融合参数确认方法

如图1所示，两台数字摄像机采集图像的覆盖区域都为单块显示屏，为了后续处理中融合两台数字摄像机采集到的图像。由于两台摄像机可能由于焦距、角度或者位移的偏差，使 得采集的图像无法融合成统一的图像，因此在摄像机安装完成后需要先对两台摄像机图像的融合参数进行确认，其具体实施方法如下：

步骤一：利用如图3所示的模板首先调整数字摄像机拍摄角度、聚焦参数等，实现两台数字摄像机采集的图像与模板间是正投影关系，并且保持如图3所示模板中水平线的图像水平线一致，并与垂直线正交；

步骤二：计算两台摄像机的融合参数，由于步骤一已经实现了图像的正投影采集和正交化，因此可以假设两幅图像之间的融合参数仅包括缩放和位移相关的6个参数。

$T=\left(\begin{array}{ccc}{\mathrm{\α}}_x& {\mathrm{\β}}_x& {\mathrm{\γ}}_x\\ {\mathrm{\α}}_y& {\mathrm{\β}}_y& {\mathrm{\γ}}_y\\ 0& 0& 1\end{array}\right)$

步骤三：由于以上参数矩阵仅有6个位置参数，所以仅需要在利用图3所示模板采集到的图像中间位置选取3个特征点就能得到6个位置参数的具体值。假设两幅图像上对应点的坐标分别为(X₁,Y₁)、(X₂,Y₂)、(X₃,Y₃)和(x₁,y₁)、(x₂,y₂)、(x₃,y₃)。在此基础上构造一个六元一次方程组，计算得到各个融合参数。计算公式如式（1）：

$\left\{\begin{array}{c}{\mathrm{\α}}_x=\frac{(X_1-X_2)(y_2-y_3)-(X_2-X_3)(y_1-y_2)}{(x_1-x_2){(y_2-y_3)}_{}-(x_2-x_3)(y_1-y_2)}\\ {\mathrm{\β}}_x=\frac{(x_1-x_2)(X_2-X_3)-(x_2-x_3)(X_1-X_2)}{(x_1-x_2)(y_2-y_3)-(x_2-x_3)(y_1-y_2)}\\ {\mathrm{\α}}_y=\frac{(Y_1-Y_2)(y_2-y_3)-(Y_2-Y_3)(y_1-y_2)}{(x_1-x_2)(y_2-y_3)-(x_2-x_3)(y_1-y_2)}\\ {\mathrm{\β}}_y=\frac{(x_1-x_2)(Y_2-Y_3)-(x_2-x_3)(Y_1-Y_2)}{(x_1-x_2)(y_2-y_3)-(x_2-x_3)(y_1-y_2)}\\ {\mathrm{\γ}}_x=X_1-{\mathrm{\α}}_x{x}_1-{\mathrm{\β}}_x{y}_1\\ {\mathrm{\γ}}_y=Y_1-{\mathrm{\α}}_y{x}_1-{\mathrm{\β}}_y{y}_1\end{array}\right.---\left(1\right)$

计算得到的融合参数存储在融合交互一级处理单元3的触点融合模块中。每台拼接显示屏单元中安装的两个数字摄像机的融合参数都不同，因此需要依次进行计算。

第二部分：交互触点的融合（触点融合模块）

触点融合模块是固化在融合交互一级处理单元上的计算模块。由于以上融合参数计算复杂度为O(n)，因此适合在电路板卡上实现。触点融合模块的融合计算过程如下所示：

步骤一：分配与采集图像分辨率匹配的视频图像采集缓存，为每台摄像机采集图像分配双缓存M₁和M₂。采集图像的灰阶为256，采用8bit存储一位数字化像素，开始采集数字化 的视频图像；

步骤二：触点视频图像的采集时隙如图4所示，首先向缓存M₁中读入视频图像数据，当一帧图像写入完毕，通过回调函数调用触点融合算法，实现对从两个数字摄像机1读取的图像I₁和I₂进行融合；同时进入下一个循环，开始向缓存M₂中读入视频图像数据；

步骤三：融合计算过程的最大计算时间不能超过33ms，这是因为在缓存M₂被填充满之前必须将缓存M₁释放出来，而通过我们大量测试，计算时长不能超过33ms。因此本发明中主要采用线性加权融合方法，以提高计算效率，使得计算时长控制在33ms以内。融合加权系数将充分发挥多摄像机的特点，在图2所示不同的区域采用不同的权重设置。具体融合算法如下表所示。T表示融合图像前需要进行的几何变换，各计算公式表示不同区域的融合算法。

A1	0.7×TI1+0.3I2
		A2	0.5×TI1+0.5I2
A3	0.3×TI1+0.7I2
		A4	0.5×TI1+0.5I2

通过以上计算得到的融合图像可以充分发挥不同位置设置数字摄像机的特点，避免由于物像距离增加而导致的触点定位误差。同时对于区域A2和A4，由于采用了两台数字摄像机从不同的方向进行获取触点位置，可以较好地减少单一数字摄像机的随机误差。

第三部分：交互触点的提取（触点提取模块）

触点提取模块也是固化在融合交互一级处理单元上的计算模块。由于数字摄像机的分辨率仅有640×480dpi，远低于大幅面显示系统的显示分辨率，因此采集到的交互触点往往在视频图像上呈现为一个模糊的斑点。其准确的交互触点中心位置需要采用扫描求中心点的方式实现。具体算法如下：

步骤一：首先求取从融合图像中分割交互触点的阈值T_diff，亮度大于T_diff的为交互触点区域，亮度小于T_diff的为背景区域，其中T_diff的确认方法如下：先拍摄10幅不同交互触点位置的图像，并人工判定交互触点位置；然后围绕交互触点中心截取31×31像素大小的区域，分别设为I_ci，i＝1,2,…,10，求取平均图像 接着求取图像I_c中值最大的10%像素点的平均值avg_H(I_c)和I_c中值最小的10%像素点的均值avg_L(I_c)，计算T_diff＝(avg_H(I_c)+avg_L(I_c))/2。

步骤二：利用分割阈值T_diff提取图象中的交互触点。亮度大于T_diff的为交互触点区域，否则为背景区域，提取结果呈现为不规则的连通区域如图5所示；

步骤三：对以上如图5所示的连通区域进行扫描，求取其中心坐标(X_c,Y_c)，其计算复杂度为O(n)。

$X_c=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{X}_i}{n},$ $Y_c=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{Y}_i}{n}---\left(2\right)$

上式（2）中(X_i,Y_i)表示连通区域中扫描到的第i个点的坐标，n表示连通区域的像素数量。以上求取的坐标的方法本质上是一种插值方法，可以将交互精度提高到亚像素级。例如图5左图的中心坐标为（3，3），而右图为（3，3.5）。

步骤四：将以上触点的图像坐标转换到单个拼接显示器坐标轴下。计算坐标转换矩阵的方法上文计算图像融合变换参数的方式一致，但在采用的具体方法上存在一定差异。首先在每个拼接显示器上显示如图6所示的模板图像，然后在显示单元上选取相邻的四个矩形顶点，并找出这些顶点在图像上的对应点。利用这些点的坐标，通过计算公式（1）计算得到四个矩形顶点确定的矩形区域内的变换矩阵，存储到数据文件中；最后利用以上变换矩阵将交互触点在图像坐标轴下的坐标转换到显示器坐标下，并输出给融合交互二级处理单元4。

第四部分：图像坐标系转换（交互控制模块）

融合交互二级处理单元4是安装在计算机上的软件模块，主要实现将局部坐标系下的交互触点转换到整个大幅面显示系统坐标下，并将交互动作转化成平台相关的交互命令。由于可以假设拼接显示器的坐标轴之间是平移关系，所以可以通过简单的坐标映射实现，技术原理图如图7所示。以三屏拼接系统为例，假设每个拼接显示屏的显示分辨率为(W×H)，那么每个显示屏的坐标转换公式如下所示：

(X_S,Y_S)＝(X_I,Y_I)，(X_I,Y_I)∈左屏幕；

(X_S,Y_S)＝(X_I+W,Y_I)，(X_I,Y_I)∈中屏幕；

(X_S,Y_S)＝(X_I+2W,Y_I)，(X_I,Y_I)∈右屏幕。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (1)

1.一种超大幅面显示触点融合交互系统的图像处理方法，其特征在于：所述超大幅面显示触点融合交互系统包括多块显示屏组成的超大幅面显示屏，单块显示屏背面设有两台摄像机跟踪拍摄图像，而所述摄像机连接有处理图像的交互主机，该交互主机包括触点融合模块、触点提取模块和交互控制模块，

所述触点融合模块，将同一显示屏对应的两台摄像机采集的图像进行融合统一；

所述触点提取模块，提取单块显示屏图像中交互触点的坐标数据，并将包括交互触点坐标数据在内的图像数据其转换成与显示屏适配的图像数据；

所述交互控制模块，将上述单块显示屏图像坐标系下的图像数据转换到整块超大幅面显示屏的坐标系下；

该系统安装后需要确认触点融合模块中的融合参数，该确认方法包括以下步骤：

(1)单块显示屏对应的两台摄像机的融合参数的设定，假设两台摄像机分别采集的图像数据之间的融合参数仅包括缩放和位移参数如下：

$T=\left(\begin{array}{ccc}{\mathrm{\α}}_x& {\mathrm{\β}}_x& {\mathrm{\γ}}_x\\ {\mathrm{\α}}_y& {\mathrm{\β}}_y& {\mathrm{\γ}}_y\\ 0& 0& 1\end{array}\right)$

其中，T表示摄像机图像融合参数，α_x、β_x表示X轴的缩放变换参数，γ_x表示X轴的位移参数；α_y、β_y表示Y轴的缩放变换参数，γ_y表示Y轴的位移参数；

(2)单块显示屏对应的两台摄像机的融合参数的计算，选取两幅图像中各3个特征点的坐标值，并分别设定为(X₁,Y₁)、(X₂,Y₂)、(X₃,Y₃)和(x₁,y₁)、(x₂,y₂)、(x₃,y₃)，并在此基础上构建方程组，计算公式如式(1)：

$\left\{\begin{array}{c}{\mathrm{\α}}_x=\frac{(X_1-X_2)(y_2-y_3)-(X_2-X_3)(y_1-y_2)}{(x_1-x_2)(y_2-y_3)-(x_2-x_3)(y_1-y_2)}\\ {\mathrm{\β}}_x=\frac{(x_1-x_2)(X_2-X_3)-(x_2-x_3)(X_1-X_2)}{(x_1-x_2)(y_2-y_3)-(x_2-x_3)(y_1-y_2)}\\ {\mathrm{\α}}_y=\frac{(Y_1-Y_2)(y_2-y_3)-(Y_2-Y_3)(y_1-y_2)}{(x_1-x_2)(y_2-y_3)-(x_2-x_3)(y_1-y_2)}\\ {\mathrm{\β}}_y=\frac{(x_1-x_2)(Y_2-Y_3)-(Y_2-Y_3)(Y_1-Y_2)}{(x_1-x_2)(y_2-y_3)-(x_2-x_3)(y_1-y_2)}\\ {\mathrm{\γ}}_x=X_1-{\mathrm{\α}}_x{x}_1-{\mathrm{\β}}_x{y}_1\\ {\mathrm{\γ}}_y=Y_1-{\mathrm{\α}}_y{x}_1-{\mathrm{\β}}_y{y}_1\end{array}\right.---\left(1\right)$

将计算得到的融合参数存储到交互主机中的触点融合模块中；

所述触点融合模块的融合方法是采用线性加权融合方法，它包括以下步骤：

(1)每台摄像机采集图像均分配双缓存M₁和M₂，采集图像灰阶为256，采用8bit存储一位数字化像素，从而进行数字化图像的采集，并存储到缓存M₁和M₂中；

(2)首先向缓存M₁中读入视频图像数据，当一帧图像写入完毕，通过回调函数调用触点融合算法，实现对从两个数字摄像机读取的图像I₁和I₂进行融合，与此同时，继续向缓存M₂中读入图像数据，从而实现交替连续的读写和处理；

其中，所述触点融合算法采用线性加权融合方法，即将单块显示屏均分为4个区域，分别是左上部A1、右上部A2、右下部A3和左下部A4，各个区域的融合算法如下：

A1＝0.7×TI₁+0.3I₂

A2＝0.5×TI₁+0.5I₂

A3＝0.3×TI₁+0.7I₂

A4＝0.5×TI₁+0.5I₂

(3)所述触点融合算法时间低于33ms；

所述触点提取模块，用于提取交互激光笔投射在显示屏上触点的坐标，其方法包括以下步骤：

(1)先求取从融合图像中分割交互触点的阈值T_diff，亮度大于T_diff的为交互触点区域，亮度小于T_diff的为背景区域，其中T_diff的确认方法如下：先拍摄10幅不同交互触点位置的图像，并人工判定交互触点位置；然后围绕交互触点中心截取31×31像素大小的区域，分别设为I_ci，i＝1,2,…,10，求取平均图像接着求取图像I_c中值最大的10％像素点的平均值avg_H(I_c)和I_c中值最小的10％像素点的均值avg_L(I_c)，计算T_diff＝(avg_H(I_c)+avg_L(I_c))/2；

(2)求取交互触点区域的中心坐标(X_c,Y_c)，其计算公式如式(2)：

$X_c=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{X}_i}{n},Y_c=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{Y}_i}{n}---\left(2\right)$

式(2)中，(X_i,Y_i)表示连通的交互触点区域中扫描到的第i个点的坐标，n表示连通的交互触点区域的像素数量；

(3)将步骤(2)中得到的交互触点区域的中心坐标作为交互触点坐标，并其转换到单个显示屏的坐标轴下；

所述交互控制模块，是将单块显示屏坐标系下的交互触点坐标转换到整个超大幅面显示屏的坐标系下；假设每个显示屏的显示分辨率为(W×H)，坐标转换公式如下：

(X_S,Y_S)＝(X_I,Y_I)，(X_I,Y_I)∈左屏幕；

(X_S,Y_S)＝(X_I+W,Y_I)，(X_I,Y_I)∈中屏幕；

(X_S,Y_S)＝(X_I+2W,Y_I)，(X_I,Y_I)∈右屏幕。