CN114942720A - 电子屏多点触控交互方法及系统 - Google Patents

Abstract

本发明公开了一种电子屏多点触控交互方法及系统，其方法包括：接收交互指令并判别是否为多点触控触发指令，如果是，则执行多层复合交互逻辑；多层复合交互逻辑包括：识别电子屏当前展示界面类型；记录和识别触控操作信号产生时的时间参数；若当前展示界面为白板类，则：一个时间参数，对应地出现一个触控操作信号，进行单人连续操作分析；一个时间参数，对应地出现两个及以上触控操作信号，则产生单元底层，一个触控操作信号匹配一单元底层；于单元底层记录触控操作信息；多点分别做连续操作分析，各单元底层分别响应，并复合多个响应结果；于当前展示界面显示复合结果。本申请具有减小现有基于监控方式实现电子屏多点触控的局限性的效果。

Description

电子屏多点触控交互方法及系统

技术领域

本申请涉及电子黑板触控技术领域，尤其是涉及一种电子屏多点触控交互方法及系统。

背景技术

对于电子设备的触控而言，目前主流的有：电容屏、电阻屏两种。电容屏，即所谓的“硬屏”，如苹果、华为等主流智能机使用的就是；电阻屏，即所谓的“软屏”，如诺基亚等设备使用的屏幕。

传统的，对于电子屏幕的触控为单点，上述两者存在优劣，但均可满足；然而，随着APP功能的丰富和应用环境的变化，如作为电子白板、会议展示板使用，出现需要多点触控、多人同时使用的需求，这使得传统的单点触控无法适应。在上述新需求下，电阻屏因为产品结构的原理特性问题，除非对屏幕和设备的电路重组连接，否则基本杜绝了多点触控的可能，所以目前一般以电容屏作为选择。

公开号为CN114527922A的专利公开了一种基于屏幕识别实现触控的方法及屏幕控制设备，方法包括：所述屏幕控制设备实时拍摄所述显示设备的显示区域；当检测到所述显示区域产生触控操作时，所述屏幕控制设备确定所述触控操作的坐标位置以及触控操作对应的指令；所述屏幕控制设备将所述坐标位置以及指令发送给所述显示设备，以使得所述显示设备根据所述坐标位置以及指令进行响应操作。

以上述现有技术为例，目前对于多点触控常用的实现方式是：基于摄像头将图像识别与触控感应相结合，定位各个触控位置实现；此种方式，存在一个很明显的缺陷是：需要另外布设新的摄像头，并做图像分析，因此本申请提出一种新的技术方案。

发明内容

为了减小现有基于监控方式实现电子屏多点触控的局限性，本申请提供一种电子屏多点触控交互方法及系统。

第一方面，本申请提供一种电子屏多点触控交互方法，采用如下的技术方案：

一种电子屏多点触控交互方法，包括以下步骤：

接收交互指令，并判别是否为多点触控触发指令，如果是，则执行多层复合交互逻辑；

其中，所述多层复合交互逻辑包括：

识别电子屏当前展示界面类型；

记录和识别触控操作信号产生时的时间参数；

若当前展示界面为白板类，则：

一个时间参数，对应地出现一个触控操作信号，进行单人连续操作分析；

一个时间参数，对应地出现两个及以上触控操作信号，则：

产生单元底层，一个触控操作信号匹配一单元底层；

于单元底层记录触控操作信息；其中，触控操作信息包括位置和匹配的功能；

对多点对应的连续操作分别响应 ，复合多个响应结果；

于当前展示界面显示复合结果。

可选的，一个时间参数，对应地出现两个及以上触控操作信号，记录为一个同步数据组；以及，

过往触控操作的时间参数，记为前一时序。

可选的，所述单人连续操作分析，其包括：

判断是否为第一次触控操作，如果是，则根据逻辑一响应；其中，逻辑一为多点触控触发指令响应前的触控逻辑；如果否，则：

判断前一时序是否出现同步数据组，如果是，则计算当前触控位置与最新一个同步数据组的各个触控操作位置的距离，记为触控距离；取触控距离最小的一对，记为连续操作位，并于相同单元底层记录新的触控位置；如果否，则根据逻辑一响应；

其中，同一单元底层的触控信息，以逻辑一响应。

可选的，所述多层复合交互逻辑包括：

若当前同步数据组并非第一个，则当前同步数据组的各个触控位置，分别与最新的前一时序的各个触控位置做触控距离计算；

取触控距离最小的一对，记为连续操作位；

调用前一连续操作位的单元底层作为对应的单元底层。

可选的，若当前同步数据组并非第一个，且对应触控操作的数量大于前一时序的其他同步数据组，则触控距离计算，得到连续操作位后剩余的其他触控操作分别匹配一个新的单元底层。

可选的，所述多点分别做连续操作分析，各单元底层分别响应，并复合多个响应结果，其包括：

对各个单元底层记录的触控信息，分别以逻辑一响应，得到各个单层交互响应记录；

拼接各个单层交互响应记录，得到界面复合记录。

可选的，所述多层复合交互逻辑，其包括：

根据用户预定义的关键功能数据集，识别电子屏当前展示界面触控区，确定关键触控位置；

当实时触控位置符合关键触控位置，则根据逻辑一响应，且终止响应其他非关键触控位置的触控操作。

可选的，所述多层复合交互逻辑，其包括：

对连续操作位做连续逻辑关联分析，判断当前触控操作是否符合所属单元底层的预设连续逻辑条件，如果是，则等待下一次判断；如果否，则输出关联确认提示，并根据关联确认提示的反馈更新连续操作位。

第二方面，本申请提供一种电子屏多点触控交互系统，采用如下的技术方案：

一种电子屏多点触控交互系统，包括触控的电子屏，其特征在于：所述电子屏的控制模块加载有用于执行实现如上述任一种电子屏多点触控交互方法的计算机程序。

综上所述，本申请包括以下至少一种有益技术效果：

1）、多点触控时，各个触控操作对应得到一个单元底层对其记录，各单元底层分别响应，再将多个结果复合，即可以用户可以同时做不同的操作，并分别得到对应的响应；

2）、单点触控，多点触控可自由交替出现而不受限；

3）、后一次触控主动辨识，关联至前一次触控操作，并记录至同一单元底层，得到连续操作记录；即，某一用户前一次选了红色画笔，下一次触控划线得到的是红色线，而非另一个用户选择的黑色线；

4）、相对于现有的基于视频监控实现多点触控的方式，本申请不再需要安装摄像头和图像分析软件，甚至不必再联网（为了云端图像识别提高分析准确性），现场数据处理即可，所以限制更小，成本更低，适用性更佳。

附图说明

图1是本申请的方法的主流程示意图。

具体实施方式

以下结合附图1对本申请作进一步详细说明。

本申请实施例公开一种电子屏多点触控交互方法，其建立于电子（触控）屏的原触控逻辑响应机制之上；可以理解的是，原触控逻辑指的是：单点触控逻辑，及现有的智能手机的多指触控（如放大、缩小）逻辑。

参照图1，电子屏多点触控交互方法包括以下步骤：

接收交互指令；

判别是否为多点触控触发指令，如果是，则执行多层复合交互逻辑；如果否，则执行下一次判别。

上述，即用户于UI界面按下对应的多点触控功能启用开关后执行对应的交互逻辑，以实现多点触控功能。

关于多层复合交互逻辑，具体地，包括：

识别电子屏当前展示界面类型；

记录和识别触控操作信号产生时的时间参数。

在本方法的一个实施例中，上述展示界面类型包括常规交互界面类、白板类两种。白板类，一般指的是：用户进入的绘画板、白板、书写板功能界面；识别方式，有：对程序代码识别、进程代码识别、对应触发指令识别。

若当前展示界面为白板类，则：

1）、一个时间参数，对应地出现一个触控操作信号，进行单人连续操作分析；

2）、一个时间参数，对应地出现两个及以上触控操作信号，则：

产生单元底层，一个触控操作信号匹配一单元底层；

于单元底层记录触控操作信息；其中，触控操作信息包括位置和匹配的功能；

多点分别做连续操作分析，各单元底层分别响应，并复合多个响应结果；

于当前展示界面显示复合结果。

需要注意的是，上述1）、2）代表的并非是步骤的序号，而是区分同一时间不同触控操作动作数量，其所对应的不同处理方式。

在本方法的一个实施例中：

一个时间参数，对应地出现两个及以上触控操作信号，记录为一个同步数据组；以及，

过往触控操作的时间参数，记为前一时序。

上述单人连续操作分析，其包括：

判断是否为第一次触控操作，如果是，则根据逻辑一响应；其中，逻辑一为多点触控触发指令响应前的触控逻辑，即前述原触控逻辑；如果否，则：

判断前一时序是否出现同步数据组，如果是，则计算当前触控位置与最新一个同步数据组的各个触控操作位置的距离，记为触控距离；取触控距离最小的一对，记为连续操作位，并于相同单元底层记录新的触控位置；如果否，则根据逻辑一响应；

其中，同一单元底层的触控信息，以逻辑一响应。

对于上述内容的效果，以两个人同时画画时的触控为例做说明：

如果第一次，一个人触控，则逻辑一响应；

第二次，两个人同时触控，则分别在一个对应的单元底层记录触控信息，且各个单元底层分别以逻辑一响应；即，此时两个人可以，一个人选红色画笔，一个人先黑色画笔；

第三次，红色画笔的人触控画红色的线，则红色画笔对应的单元底层记录触控信息，且逻辑一响应，使得画出来的线为红色。

根据上述可知，应用本方法后可多人自由进行触控操作，各用户操作主动区别，可以分别实现不同的触控功能。

需要注意的是，上述单元底层，其并非在用户操作时生成的一个用户可见交互界面层，而是一个后台隐藏运行的信息界面层；具体的可设计为，由用户通过进入开发者选项后，以管理员身份访问打开，以可见。

同时，诸如“判断是否为第一次触控操作”及下述相关基于次数的内容，均为一次多人触控功能开启至关闭过程所对应的记录信息，以保证逻辑清晰。

对于一个时间参数，对应地出现两个及以上触控操作信号，在本方法的一个实施例中：

若当前同步数据组并非第一个，则当前同步数据组的各个触控位置，分别与最新的前一时序的各个触控位置做触控距离计算（X、Y坐标系对应计算）；

取触控距离最小的一对（如：A1-B1最小，A1、B1为一对），记为连续操作位；

调用前一连续操作位的单元底层作为对应的单元底层，A1记录于B1的相同单元底层上。

根据上述操作，在多次出现同步触控时，本方法不会每次都重新产生一个单元底层，而是会根据触控距离辨识历次触控操作，将其与过往的触控操作做关联，认定是连续关联的操作记录在同一单元底层，从而节省运算、内存占比。

可以理解的是，上述针对的是，当前同步触控点数量没有超过过往的情况，而一旦触控点数量比之前都多，本方法设置为：

若当前同步数据组并非第一个，且对应触控操作的数量大于前一时序的其他同步数据组，则触控距离计算，得到连续操作位后剩余的其他触控操作分别匹配一个新的单元底层。

上述多点分别做连续操作分析，各单元底层分别响应，并复合多个响应结果，在本方法的一个实施例中：

对各个单元底层记录的触控信息，分别以逻辑一响应，得到各个单层交互响应记录；

拼接各个单层交互响应记录，得到界面复合记录。

示例：一个单元底层，响应得到红色画笔画出一个圆形；另一个单元底层，响应得到黑色画笔画出一个三角形；之后，根据两个单元底层的对应触控位置，定位分析其相对当前用户交互界面的X、Y轴位置，位置匹配后，于当前用户交互界面展示圆形和三角形。

可以理解的是，本方法的于当前展示界面显示复合结果，其可以是历次的记录覆写（数据覆盖），也可以是新增内容更新（增、删、改）；若采用的是前一种，对于刷新频率要求尽量提高，以改善用户眼中的操作后画面连贯性。

在本方法的一个实施例中，多层复合交互逻辑，其还包括：

根据用户预定义的关键功能数据集，识别电子屏当前展示界面触控区，确定关键触控位置；

当实时触控位置符合关键触控位置，则根据逻辑一响应，且终止响应其他非关键触控位置的触控操作。

上述关键功能数据集，如：定义当前界面的锁止、关闭、工具栏为关键触控位置。

上述主要是为了防止画板、白板一类的交互界面启闭等多个功能被不慎同时触动时产生冲突，避免对应系统逻辑死机；同时，在本方法本应用于家长等权限控制应用环境下，使得家长等监管人具有一定决断权。

在本申请的一个实施例中，多层复合交互逻辑，其还包括：

对连续操作位做连续逻辑关联分析，判断当前触控操作是否符合所属单元底层的预设连续逻辑条件，如果是，则等待下一次判断；如果否，则输出关联确认提示，并根据关联确认提示的反馈更新连续操作位。

根据上述，对于当前次多点触控，其不再只是依据触控距离来判定是否归属于某一单元底层，即是某个人的触控操作；此时，还引入了基于预设连续逻辑的分析，且在疑问时主动要求用户确认，防止连续操作位判定异常导致的多点触控混淆。该设置的效果，在多点触控位置越来越靠近时优势尤为重要。

上述预设连续逻辑条件，例如：用户A前一操作为选择绘制圆形，则符合逻辑的连续操作位的下一触控操作，其应该是规定的绘制圆形的触控方式。条件内容具体由用户根据本方法应用的白板类功能界面的触控功能具体一一匹配写入，在此不再赘述。

本申请实施例还公开一种电子屏多点触控交互系统。

电子屏多点触控交互系统，包括触控的电子屏，所述电子屏的控制模块加载有用于执行实现如上述任一种电子屏多点触控交互方法的计算机程序。

在本系统的一个实施例中，本系统还包括：辨识模组，辨识模组包括多对测距单元，多对测距单元分为两组，一组沿电子屏的长度布设且同一对的两个测距单元分别位于电子屏的两长度边上，另一组沿电子屏的宽度布设且同一对的两个测距单元分别位于电子屏的两宽度边上，同一对的两个测距单元的探测线相互平行。

具体的，以电子屏存在边框为例：测距单元（如，激光/红外/光电测距探头）嵌设安装于电子屏的边框内，探测线平行屏幕显示区；测距单元通过采集器将数据回传至预连的电子屏的控制模块。

需要注意的是，上述电子屏的控制模块，若电子屏具备独立数据处理能力，则控制模块为内置控制芯片，若无独立数据处理能力，需要外接计算机等设置，则控制模块为外接的计算机等。

在上述条件下，电子屏的控制模块被配置为：

接收和获取两组测距单元的检测值，并将同一对的两个测距单元的检测值，分别记为d1和d2；

若（d1+d2）/2≠d，则求d3，d3=d-（d1+d2）；其中,d为无触控操作时一个测距单元的初始检测值，d3为触控操作执行单位的尺寸；

此时，多层复合交互逻辑，其还包括：

建立触控操作位置与d3的一一对应关系；

若前一时序出现同步数据组，则在单人连续操作分析时，基于d3确定相同触控操作执行单位前一次的触控位置，记为Lb；

将Lb对应的单元底层与连续操作位的单元底层比对，如果不同，则输出关联确认提示，并根据关联确认提示的反馈更新连续操作位。

根据上述，本系统可以利用辨识模组实现对触控操作单位（如：手指）的尺寸检测，在出现过多点同时触控后，再次出现单点触控，则可以根据手指的尺寸对连续操作位的分析结果进行验证，保障触控响应的准确性；即，此时，A用户可以不必受触控距离限制，可以在靠近B用户触控操作的位置操作而不出现触控响应错误，所以使用效果相对更佳。对于上述电子屏长宽边框上均布设测距单元，可以理解的是，各对测距单元可以次序编号，如长度向称为Yn，宽度向称为Xn，n为自然数；由此，可以通过次序编号关联长度向、宽度向的测距检测值，得到手指的X、Y向尺寸，减少相近尺寸手指操作导致的误判。

可以理解的是，本申请最佳的使用方式是多人同时绘图、书写时，主动分区域进行；在此使用场景下，可选配辨识模组，进一步降低成本。

以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims (9)

1.一种电子屏多点触控交互方法，其特征在于，包括以下步骤：

接收交互指令，并判别是否为多点触控触发指令，如果是，则执行多层复合交互逻辑；

其中，所述多层复合交互逻辑包括：

识别电子屏当前展示界面类型；

记录和识别触控操作信号产生时的时间参数；

若当前展示界面为白板类，则：

一个时间参数，对应地出现一个触控操作信号，进行单人连续操作分析；

一个时间参数，对应地出现两个及以上触控操作信号，则：

产生单元底层，一个触控操作信号匹配一单元底层；

于单元底层记录触控操作信息；其中，触控操作信息包括位置和匹配的功能；

多点分别做连续操作分析，各单元底层分别响应，并复合多个响应结果；

于当前展示界面显示复合结果。

2.根据权利要求1所述的电子屏多点触控交互方法，其特征在于：

一个时间参数，对应地出现两个及以上触控操作信号，记录为一个同步数据组；以及，

过往触控操作的时间参数，记为前一时序。

3.根据权利要求2所述的电子屏多点触控交互方法，其特征在于，所述单人连续操作分析，其包括：

判断是否为第一次触控操作，如果是，则根据逻辑一响应；其中，逻辑一为多点触控触发指令响应前的触控逻辑；如果否，则：

判断前一时序是否出现同步数据组，如果是，则计算当前触控位置与最新一个同步数据组的各个触控操作位置的距离，记为触控距离；取触控距离最小的一对，记为连续操作位，并于相同单元底层记录新的触控位置；如果否，则根据逻辑一响应；

其中，同一单元底层的触控信息，以逻辑一响应。

4.根据权利要求2所述的电子屏多点触控交互方法，其特征在于，所述多层复合交互逻辑包括：

若当前同步数据组并非第一个，则当前同步数据组的各个触控位置，分别与最新的前一时序的各个触控位置做触控距离计算；

取触控距离最小的一对，记为连续操作位；

调用前一连续操作位的单元底层作为对应的单元底层。

5.根据权利要求4所述的电子屏多点触控交互方法，其特征在于：若当前同步数据组并非第一个，且对应触控操作的数量大于前一时序的其他同步数据组，则触控距离计算，得到连续操作位后剩余的其他触控操作分别匹配一个新的单元底层。

6.根据权利要求3所述的电子屏多点触控交互方法，其特征在于：所述多点分别做连续操作分析，各单元底层分别响应，并复合多个响应结果，其包括：

对各个单元底层记录的触控信息，分别以逻辑一响应，得到各个单层交互响应记录；

拼接各个单层交互响应记录，得到界面复合记录。

7.根据权利要求3所述的电子屏多点触控交互方法，其特征在于，所述多层复合交互逻辑，其包括：

根据用户预定义的关键功能数据集，识别电子屏当前展示界面触控区，确定关键触控位置；

当实时触控位置符合关键触控位置，则根据逻辑一响应，且终止响应其他非关键触控位置的触控操作。

8.根据权利要求3所述的电子屏多点触控交互方法，其特征在于：所述多层复合交互逻辑，其包括：

对连续操作位做连续逻辑关联分析，判断当前触控操作是否符合所属单元底层的预设连续逻辑条件，如果是，则等待下一次判断；如果否，则输出关联确认提示，并根据关联确认提示的反馈更新连续操作位。

9.一种电子屏多点触控交互系统，包括触控的电子屏，其特征在于：所述电子屏的控制模块加载有用于执行实现如权利要求1至8中任一种电子屏多点触控交互方法的计算机程序。

Images