CN110187811A - 一种基于光电鼠标与屏幕通信的人机交互方法 - Google Patents

Abstract

本发明提供了一种基于光电鼠标与屏幕通信的人机交互方法。本发明提出了一种能够在非触控屏幕上使用触控操作的方法，该方法基于光电鼠标。用户在使用过程中，将光电鼠标放置于显示屏幕之上，来代替手指实现触控、拖拽，甚至多人触控等操作。本发明在无额外硬件要求的情况下，使得用户能够通过鼠标在非触控屏幕上进行点控，拖拽和多人操控等交互操作。其扩展方式简单，无需额外投入和开销，可以广泛适用于数字娱乐，多人间人机交互，幼儿教育等场景。

Description

一种基于光电鼠标与屏幕通信的人机交互方法

技术领域

本发明涉及一种利用光电鼠标实现对非触摸式显示屏进行触摸式控制的方法。

背景技术

触摸屏幕是一种广泛使用的计算机控制接口，其交互方式直接简单，在手机，平板电脑等很多领域有十分广泛的应用。但受限于技术的复杂性以及成本，在大屏幕以及桌面台式机环境中，触控技术尚未得到足够的普及。很多研究工作提出了在非触控屏上增加触控交互的解决方案，但是由于需要额外的硬件，普通用户并无强烈的扩展意愿。

发明内容

本发明的目的是提供一种能够在非触控屏幕上使用触控操作的方法。

为了达到上述目的，本发明的技术方案是提供了一种基于光电鼠标与屏幕通信的人机交互方法，其特征在于，包括以下步骤：

步骤1、在非触控屏幕的正常显示图层上增加VLP编码图层及方向检测帮助图层，VLP编码图层用于传输VLC信号，方向检测帮助图层用于判断鼠标相对于屏幕的方向；

步骤2、将光电鼠标放在非触控屏幕上，VLP编码图层通过屏幕的亮度变化来发送时域VLC信号，通过光电鼠标的光电传感器采集该时域VLC信号，光电鼠标将采集到的时域VLC信号解码后进行VLP定位，从而确定光电鼠标放在非触控屏幕上的具体位置；

步骤3、当将光电鼠标从非触控屏幕上的一个位置拖拽至另一个位置时，先获得光电鼠标与屏幕的相对方向，再利用光电鼠标自身对位置移动的追踪能力，利用光电鼠标测算的运动轨迹补全两个VLP位置中移动轨迹，以实现平滑拖拽操作，其中：提前确定光电鼠标相对于屏幕的方向包括以下步骤：

步骤301、方向检测帮助图层在光电鼠标所处的区域显示图像一，获得此时方向检测帮助图层上该区域的像素间隔一；

步骤302、向检测帮助图层在光电鼠标所处的区域显示与图像一不同的图像二，获得此时方向检测帮助图层上该区域的像素间隔二；

步骤303、根据像素间隔一与像素间隔二的宽度变化的方向确定光电鼠标相对于屏幕的方向。

优选地，所述步骤2中，所述VLP定位包括以下步骤：

步骤201、将非触控屏幕显示的内容分割为多个位置块，时域VLC信号在各个位置块中传递位置块ID，一个位置块由多个细胞块构成，同一位置块中的细胞块传递相同的位置块ID，一个细胞块由多个显示像素组成，同一个细胞块中的每个像素以同样的时域VLC信号变化；

步骤202、在时域上，显示像素进行周期性的波动以发送VLC数据包，每个VLC数据包包含包头及数据域，包头用于检测以及同步数据包，数据域用于传递位置块ID，数据域的长度由对定位准确度和延迟的需求所决定，对VLC数据包进行编码；

步骤203、将步骤202编码后得到的结果进行高通滤波得到用于发送时域 VLC信号的δ_i，j(t)序列，δ_i，j(t)表示屏幕第i行、第j列像素点在时刻t时的亮度值相对于原始亮度值的变化，将δ_i，j(t)增加到相对应帧以及相对应位置的显示内容上，屏幕就能够发送VLC位置消息；

步骤204、不同位置块发送的VLC位置消息不一样，光电鼠标放置于相应位置块时，只能收到相应位置块的VLC位置消息，进而可以用收到的VLC位置消息进行定位。

本发明提出了一种能够在非触控屏幕(比如，普通的LCD显示器)上使用触控操作的方法，该方法基于光电鼠标。用户在使用过程中，将光电鼠标放置于显示屏幕之上，来代替手指实现触控、拖拽，甚至多人触控等操作。

本发明在无额外硬件要求的情况下，使得用户能够通过鼠标在非触控屏幕上进行点控，拖拽和多人操控等交互操作。其扩展方式简单，无需额外投入和开销，可以广泛适用于数字娱乐，多人间人机交互，幼儿教育等场景。

附图说明

图1为发明的使用场景。用户可通过鼠标在显示器上实现拖拽、点记等触控操作。

图2为本发明的整体架构。显示端在正常显示图层上发送VLP信号，由鼠标接收到的VLC信号解码得到鼠标在屏幕的具体位置。发明通过方向检测帮助层以及方向计算方法获得鼠标与频幕的相对方向，进而可以利用鼠标自己测量的移动轨迹合成平滑的拖拽交互操作。

图3为屏幕到鼠标的可见光通信(VLC)方式。显示图象分为不同的位置块(block)，每一个位置块里面传输相同的位置信息。每一个位置块由多个相邻的互补的细胞块(cell)组成，每一个细胞块里面包含多个像素，同一个细胞块里的像素的亮度依照统一的VLC结构进行变化，相同位置块里的互补细胞块的亮度变化相反。

图4为屏幕到鼠标的可见光定位(VLP)方式概览。由于不同屏幕位置发送VLC信号不同，鼠标放到不同屏幕位置，收到的VLC信号也不一样，鼠标可以依据此信息进行定位。同时由于屏幕VLC的设计，显示亮度变化在叠加后能够构成原始图象，屏幕发送的VLC信号不会对正常显示产生干扰。

图5为鼠标相对于屏幕的方向。通过检测得到的鼠标角度和图像传感器位置，可以得出符合用户直觉的触控位置。鼠标坐标轴X_m-Y_m到屏幕坐标轴X_S-Y_S的变化可以将鼠标的物理位移转换为屏幕中鼠标显示位置的移动。

图6为鼠标方向的检测算法。步骤1，利用显示器像素的间隔估计可能的鼠标相对于屏幕的朝向；步骤2，由于不同的显示内容(比如：白-＞红)导致鼠标采集到的图象发生变化，根据变化的情况，可以确定鼠标的具体朝向。

图7为方向检测于定位的状态机。定位结束后，检测屏幕上的像素间隔以获得可能的方向，进而，通过鼠标下方屏幕显示颜色的变化而导致的像素间隔宽度变化，检测得出鼠标角度方向θ。鼠标移动将打断方向检测。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明提供了一种能够在非触控屏幕(比如，普通的LCD显示器)上使用触控操作的方法，该方法基于光电鼠标。本发明的使用方式如图1所示：用户将光电鼠标放置于显示屏幕之上，来代替手指实现触控、拖拽，甚至多人触控等操作。为了实现上述操作，本发明需要解决如下两个方面的技术问题：

1.当鼠标放置到屏幕上后，如何得到鼠标放置到了屏幕的具体位置。

2.在需要连续定位时，比如在鼠标拖拽过程中，如何快速确定鼠标的移动轨迹并准确映射于屏幕中。

针对以上三个问题，本发明的总体技术方案如图2所示，主要在计算机的显示子系统和鼠标子系统进行相应的实现。本发明在正常的显示图层上增加了添加了两个图层。一个图层为VLP编码图层用于传输VLC信号，当鼠标放在屏幕上之后可以解码VLC信号并进行VLP定位，这些VLC信号通过鼠标的光电传感器进行采集。最上面一个图层为方向检测帮助图层用于判断鼠标相对于屏幕的方向，当鼠标需要确定方向时，该图层会显示特定的光学信号，鼠标同样通过光电传感器进行采集然后通过具体算法判断方向信息。鼠标的方向信息可以被利用于实现拖拽等操作。本发明的具体方案如下：

一、基于屏幕到光电鼠标VLC的VLP系统设计

本发明中使用VLP编码图层通过亮度变化来发射VLC信号，该信号由鼠标采集并解码，并最终用于定位。为便于描述，下文中将使用I_i，j表示在屏幕第i行，第j列像素点的灰度值；I_i，j(t)表示在时刻t时I_i，j的值，I_i，j(t)完全由原始的计算机显示内容决定(比如，视频、游戏或者任意可视界面)；δ_i，j(t)表示在屏幕第i行、第j列像素点在时刻t时的亮度值相对于原始亮度值的变化。本发明的VLC编码方案是生成δ_i，j(t)，使得屏幕显示内容被修改为I_i，j(t)+k·δ_i，j(t)。δ_i，j(t)利用特殊的空间结构和时域变化来传递VLC信息，同时确保了用户使用时的不可见性。k为控制VLC信号强度的放缩系数。

如图3所示，在空间上，显示内容被分割为多个“位置块”，时域VLC信号在各个位置块中传递位置ID。一个位置块由多个“细胞块”构成，一个细胞块最终由多个显示像素组成，像素是数字显示内容的最小表示单位。同一位置块中的细胞块传递相同的位置ID，但邻接的细胞块在时间上的变化是相反的，即当 (i，j)像素和(k，j)像素在同一位置块中并且在邻接细胞块中时，δ_i，j(t)＝-δ_k，j(t)。每一个细胞块由多个像素组成，其中的每个像素以同样的时域信号变化，即当(i，j)和(k，j)在同一细胞块中时，δ_i，j(t)＝δ_k，j(t)。

如图3所示，在时域上，δ_i,j(t)进行周期性的波动以发送VLC数据包。每个 VLC数据包包含两个部分：包头，是固定的一串序列，用于检测以及同步数据包；数据域，用于传递位置块ID。l个比特位的数据域能够表示2^l个不同位置块，支持单位为的定位分辨率。实际使用中，数据域的长度由对定位准确度和延迟的需求所决定。为了减少VLC信号的可见性，即减少I_i,j(t)+k·δ_i,j(t)中 k·δ_i,j(t)的可见性，本发明采用如下的编码方式：

比特1-＞+1，-1，+1，-1

比特0-＞-1，+1，-1，+1

至此，VLC数据包的符号仍然包含会导致闪烁的低频成分，故而最终将如上编码后得到的结果进行高通滤波就可以得到用于发送VLC信号的的δ_i，j(t)序列，将δ_i，j(t)增加到相对应帧以及相对应位置的显示内容上，屏幕就能够发送VLC位置消息。

由于不同位置块发送的位置消息不一样，鼠标放置于相应位置块时，只能收到相应位置块的消息，进而可以用收到的位置块信息进行定位，如图4所示。

此外，通过鼠标接收屏幕的VLC信号时存在空间上的干扰，这些干扰来源于屏幕像素点之间不发光的间隙，这些间隙存在于每个像素点之间，像一张屏幕上的网。这些间隙通常比较小，肉眼十分难以察觉，但是在鼠标光电传感器的放大情况下，变得十分明显。在有些位置，鼠标很有可能采样到这些间隙点，这些地方的VLC信号将被阻断，导致定位会发生失败。本发明为了解决像素间隔的干扰问题，利用了光电鼠标的传感器数据的多维特性。即利用原始像素值，同时也利用均值等统计信息来采集屏幕的VLC信号。

二、拖拽过程中的连续定位设计

因为上述的VLP定位过程需要发送VLC信号，而一个完整的VLC位置数据包需要多个时域的显示帧才能传输。多个显示帧的延迟导致无法实现连续的VLP 定位，因为当拖拽鼠标时，如果无法每帧更新鼠标的位置，拖拽操作将会卡顿。

本发明利用了鼠标自身对位置移动追踪能力，利用鼠标测算的运动轨迹补全两个VLP位置(即两个连续的静态触碰位置)中移动轨迹，以实现平滑拖拽操作。

然而，鼠标传感器测量到的位移与鼠标的局部坐标系有关，无法直接映射到屏幕上的位移，比如当鼠标横放在屏幕上向鼠标的前后方移动(频幕的左右方向) 移动时，鼠标汇报的方位为前后，但实际的移动方向是左右。所以为了能够利用鼠标移动信息合成拖拽轨迹，本发明需要提前确定鼠标相对于屏幕的方向。如图 5所示。

本发明利用方向检测帮助图层上像素间隔来确定鼠标方向，如图6。这些暗色的间隔形成了与屏幕X_S和Y_S轴平行的网格，它们的方向可以对传感器成像进行 Hough变换而得到，但是此时的获得的角度还有多种可能性，为了进一步确认真实的角度θ，本发明利用像素间结构的动态特征在四种可能的方向中进行选择。如图6的步骤一、二所示，当方向检测帮助图层显示白色时(方向检测帮助图层仅在光电鼠标所在的位置那一块区域显示白色，其他区域不显示颜色)，RGB三个元素的像素都被点亮；当显示颜色变化为红色时，绿色和蓝色对应的像素点变暗。因为红绿蓝对应的像素点由-X_S到X_S顺序排列，所以当绿色蓝色像素点变暗时，Y_S方向的间隔宽度将会由X_S到-X_S增加。通过比较两次不同颜色下的暗色区间变化，可以区分出鼠标具体的角度θ。

以上的角度判断流程的在实际中的实施方式可以如图7所示，在鼠标成功定位后，本发明在鼠标下的位置下分两步显示纯白和纯红图片，利用Hough变换找到的间隔中线的偏移，即可获得鼠标相对于屏幕的方向。

对于最终利用方向信息来合成鼠标位移，本发明作如下说明，鼠标将移动信息量化为基于鼠标自身坐标轴的变化量[x_m，y_m]^T。鼠标在自身坐标系中的位置 [x，y]^T将由[x，y]^T←[x，y]^T+[x_m，y_m]^T得到，在屏幕坐标系下的位置[x_s，y_s]^T可以由[x_s，y_s]^T←[S_x，1；1，S_y]·M_A·[x，y]^T+[O_x，O_y]^T得到，其中，M_A是根据鼠标方向得到的坐标系转换矩阵；[O_x，O_y]^T是最新VLP位置；S_x和S_y是通过线下单次校准得到的鼠标移动的放缩常量，这是为了保证鼠标的物理移动与屏幕中的鼠标移动距离一致。当新的VLP位置被解出，[O_x，O_y]的值被更新，并且[x，y]^T被重置为零。

打鼹鼠游戏

本实施例使用草地和鼹鼠为正常显示图像，在鼹鼠随机出现的屏幕范围之内通过由位置块构成的不可见编码层(k＝20)发送VLC信号。利用 +1，-1，-1，+1，+1，-1作为包头，用14比特作为数据，其中10比特为位置ID， 4比特为CRC。根据VLC的编码设计，将VLP包生成为6+14*4＝62张编码图层叠加到正常显示内容上循环显示，显示器为240Hz的LED。光电传感器所采集到的光信号强度可以通过USB control transfer从特定寄存器中读取。用户使用鼠标尾部垂直指向(默认θ为0)鼹鼠，解码出当前鼠标在屏幕上的所处位置，通过判断鼹鼠位置和鼠标位置的一致性，完成“打鼹鼠”的交互动作。

围棋游戏

本实施例使用棋盘，棋子和Windows10背景为正常显示图像，背景在屏幕中央1080*1080范围内显示VLC信号。当鼠标放置在棋子上时，携带位置信息的VLC包被和实施例一相同的算法被解出，即棋子被选定，此后程序进入角度识别状态。若鼠标移动打断角度识别算法，前一个角度将被一直延用至最新的角度被检测出。完整状态机如图7所示。用户使用这一固定的角度拖拽棋子，屏幕中棋子的移动轨迹由鼠标位移报文和鼠标初始位置计算得出。抬起鼠标的动作即释放被选定的棋子，当下一次放置鼠标在棋子上时，新的棋子才会被选定。

Claims (2)

1.一种基于光电鼠标与屏幕通信的人机交互方法，其特征在于，包括以下步骤：

步骤1、在非触控屏幕的正常显示图层上增加VLP编码图层及方向检测帮助图层，VLP编码图层用于传输VLC信号，方向检测帮助图层用于判断鼠标相对于屏幕的方向；

步骤2、将光电鼠标放在非触控屏幕上，VLP编码图层通过屏幕的亮度变化来发送时域VLC信号，通过光电鼠标的光电传感器采集该时域VLC信号，光电鼠标将采集到的时域VLC信号解码后进行VLP定位，从而确定光电鼠标放在非触控屏幕上的具体位置；

步骤3、当将光电鼠标从非触控屏幕上的一个位置拖拽至另一个位置时，先获得光电鼠标与屏幕的相对方向，再利用光电鼠标自身对位置移动的追踪能力，利用光电鼠标测算的运动轨迹补全两个VLP位置中移动轨迹，以实现平滑拖拽操作，其中：提前确定光电鼠标相对于屏幕的方向包括以下步骤：

步骤301、方向检测帮助图层在光电鼠标所处的区域显示图像一，获得此时方向检测帮助图层上该区域的像素间隔一；

步骤302、向检测帮助图层在光电鼠标所处的区域显示与图像一不同的图像二，获得此时方向检测帮助图层上该区域的像素间隔二；

步骤303、根据像素间隔一与像素间隔二的宽度变化的方向确定光电鼠标相对于屏幕的方向。

2.如权利要求1所述的一种基于光电鼠标与屏幕通信的人机交互方法，其特征在于，所述步骤2中，所述VLP定位包括以下步骤：

步骤201、将非触控屏幕显示的内容分割为多个位置块，时域VLC信号在各个位置块中传递位置块ID，一个位置块由多个细胞块构成，同一位置块中的细胞块传递相同的位置块ID，一个细胞块由多个显示像素组成，同一个细胞块中的每个像素以同样的时域VLC信号变化；

步骤202、在时域上，显示像素进行周期性的波动以发送VLC数据包，每个VLC数据包包含包头及数据域，包头用于检测以及同步数据包，数据域用于传递位置块ID，数据域的长度由对定位准确度和延迟的需求所决定，对VLC数据包进行编码；

步骤203、将步骤202编码后得到的结果进行高通滤波得到用于发送时域VLC信号的δ_i，j(t)序列，δ_i，j(t)表示屏幕第i行、第j列像素点在时刻t时的亮度值相对于原始亮度值的变化，将δ_i，j(t)增加到相对应帧以及相对应位置的显示内容上，屏幕就能够发送VLC位置消息；

步骤204、不同位置块发送的VLC位置消息不一样，光电鼠标放置于相应位置块时，只能收到相应位置块的VLC位置消息，进而可以用收到的VLC位置消息进行定位。