CN108334246A - 悬浮触控方法及相关装置 - Google Patents

Abstract

本发明是关于一种悬浮触控方法及应用其的触控装置、遥控器和显示设备，通过光发射模块向触控装置所在的目标感应环境主动投射预设波长的光，通过光接收模块来接收该投射光在目标感应环境内的反射光并成像，通过触控识别模块对所述成像图像执行模式识别，即得到触控物在所述目标感应环境中所执行的触控操作对应的操作信息。本实施例可以消除对悬浮触控距离的限制，实现更远距离的悬浮触控，提高触控装置的悬浮触控性能。另外，由于投射和接收的光波长是预先设定的，可以避免其他波长反射光的影响，减少成像图像中的干扰信息，提高触控识别模块对成像图像的识别效率和识别精度，从而提高触控装置对触控操作的识别精度和识别效率。

Description

悬浮触控方法及相关装置

本发明要求于2017年12月11日提交中国专利局、申请号为201711304617.2、发明名称为“悬浮触控方法及相关装置”的中国专利申请的优先权，其全部内容通过引用结合在本发明中。

技术领域

本发明涉及触控技术领域，尤其涉及一种悬浮触控方法及相关装置。

背景技术

悬浮触控是一种在触控物(如手指、触控笔等)不接触触控装置，即触控物悬浮在触控装置上方的情况下就可以实现触控操作(如点击、滑动等)的新型触控技术。

相关技术中，一般是通过在触摸屏原有的互电容传感器的基础上增加自电容传感器来实现的。具体的，互电容传感器产生的电场强度很小，仅能感应到距离触摸屏很近的触控物，而自电容传感器产生的电场强度比互电容传感器大，可以感应到距离屏幕更远的触控物，从而能够在触控物未接触触摸屏时就可以识别触控动作，实现悬浮触控。

但是，在实际应用中，自电容传感器的检测能力依然是很有限的，一般最远检测距离为20mm，即一旦触控物到触摸屏的距离超过相应的最远检测距离20mm，自电容传感器就无法检测到该触控物，无法完成悬浮触控。可见，现有悬浮触控技术的悬浮触控能力有限，不能实现较远距离的悬浮触控。

发明内容

为克服相关技术中存在的问题，本发明提供一种悬浮触控方法及相关装置。

本发明实施例的第一方面，提供一种触控装置，包括：光收发模块组和触控识别模块；

所述光收发模块组包括：

光投射模块，用于向所述触控装置所在目标感应环境投射预设波长的光；

光接收模块，用于接收所述预设波长的光在所述目标感应环境内的反射光并进行成像，得到所述目标感应环境的成像图像；

所述触控识别模块，用于对所述成像图像执行模式识别，得到触控物在所述目标感应环境中所执行的触控操作的第一操作信息。

可选的，所述光收发模块组包括至少两个；

所述光投射模块的投射波长，与其所在光收发模块组中光接收模块的接收波长相同；

不同光收发模块组中的光投射模块的投射波长不同。

可选的，所述光投射模块包括结构光投射模块，用于向所述目标感应环境投射预设波长的结构光；

所述光接收模块包括结构光接收模块。

可选的，所述触控装置还包括以下模块中的至少一个：

触摸感应模块，用于检测并识别施加于所述触控装置的触摸操作的第二操作信息；

压力感应模块，用于检测并识别施加于所述触控装置的按压操作的第三操作信息；

以及，通讯模块，用于将所述第一操作信息、第二操作信息和第三操作信息中的至少一项发送至所述触控装置对应的受控对象。

本发明实施例的第二方面，提供一种悬浮触控方法，应用于触控装置，所述触控装置包括光收发模块组和触控识别模块；所述光收发模块组包括光投射模块和光接收模块；所述方法包括：

所述光投射模块向所述触控装置所在目标感应环境投射预设波长的光；

所述光接收模块接收所述预设波长的光在所述目标感应环境内的反射光并进行成像，得到所述目标感应环境的成像图像；

所述触控识别模块对所述成像图像执行模式识别，得到触控物在所述目标感应环境中所执行的触控操作的第一操作信息。

可选的，所述光收发模块组包括至少两个；

所述光投射模块的投射波长，与其所在光收发模块组中光接收模块的接收波长相同；

不同光收发模块组中的光投射模块的投射波长不同。

可选的，所述触控识别模块对所述成像图像执行模式识别，得到触控物在所述目标感应环境中所执行的触控操作的第一操作信息，包括：

根据预设模式识别算法分别对所述成像图像执行模式识别，得到触控物在所述成像图像中的特征信息；

根据所述特征信息确定所述第一操作信息。

可选的，所述光投射模块向所述触控装置所在目标感应环境投射预设波长的光，包括：

所述光投射模块向所述触控装置所在目标感应环境投射预设波长的结构光。

可选的，所述结构光包括散斑结构光。

本发明实施例的第三方面，提供一种遥控器，其包括前文任一实施例所述的触控装置。

本发明实施例的第四方面，提供一种显示设备，其包括显示屏及前文任一实施例所述的触控装置。

由以上技术方案可知，本实施例中成像图像的采集不会受到触控物到受控对象的距离大小的影响，只要保证触控物被光投射模块所投射的光照射到且其反射光能够被光接收模块接收到，就可以得到包含触控物的成像图像，也就可以通过触控识别模块识别出该触控物所执行的触控操作对应的操作信息。因此，本实施例可以消除对悬浮触控距离的限制，实现更远距离的悬浮触控，提高触控装置的悬浮触控性能。另外，本实施例通过向触控装置所在的目标感应环境主动投射预设波长的光，也即投射光的波长已知且特定，并接收且仅接收波长为所述预设波长的反射光并成像，避免其他波长反射光的影响，减少成像图像中的干扰信息，提高对成像图像的识别效率和识别精度，从而提高触控装置对触控操作的识别精度和识别效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种触控装置的结构框图；

图2A是根据一示例性实施例示出的触控装置中光收发模块组的一种排布示意图；

图2B是根据一示例性实施例示出的触控装置中光收发模块组的另一种排布示意图；

图3是根据另一示例性实施例示出的一种触控装置的结构框图；

图4是根据一示例性实施例示出的一种悬浮触控方法的流程图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种触控装置的结构框图。

在一个可行的具体实施方式中，该触控装置可以为触摸显示屏中内置的触控组件，用于感应并识别触控物(例如手指、触控笔等)在该触摸显示屏周围的触控操作，使得该触摸显示屏中对应的受控组件可以根据识别出的操作信息来响应所述触控物的触控操作，执行该触控操作对应的控制功能；在另一个可行的具体实施方式中，该触控装置也可以为触控遥控器，该触控遥控器用于感应并识别触控物在该触控遥控器周围的触控操作，并将识别出的操作信息发送至对应的受控设备，如电视机、大型显示屏等，从而通过触控遥控器来实现对受控设备的远程触控。

参照图1，本发明实施例提供的触控装置包括：光收发模块组和触控识别模块30；所述光收发模块组包括：光投射模块10和光接收模块20。

其中，光投射模块10，用于向所述触控装置所在目标感应环境投射预设波长的光；

光接收模块20，用于接收所述预设波长的光在所述目标感应环境内的反射光并进行成像，得到所述目标感应环境的成像图像；

所述触控识别模块30，用于对所述成像图像执行模式识别，得到触控物在所述目标感应环境中所执行的触控操作的第一操作信息。

其中，所述第一操作信息包括但不限于触控物所在的位置坐标、触控操作类型(如悬浮停留、悬浮滑动)等信息。

本实施例中，所述触控装置所能感应到的最大环境范围，即所述目标感应环境；一旦有触控物进入该目标感应环境内，就可以被所述光投射模块10投射的光照射到并产生反射，反射后的光被所述光接收模块20接收并成像，即得到包含该触控物和目标感应环境的成像图像。通过触控识别模块30对所述成像图像进行模式识别，提取出所述成像图像中的特征信息，通过分析该特征信息不仅可以判断出目标感应环境中是否包含触控物，进一步还可以在目标感应环境中包含触控物的情况下，根据该特征信息确定该触控物所执行的触控操作对应的操作信息(即所述第一操作信息)，进而相应的受控对象(受控组件或受控设备)可以根据所述第一操作信息来响应触控物的触控操作。

可见，一方面，本实施例中，成像图像的获取过程不会受到触控物到受控对象的距离大小的影响，只要保证触控物被光投射模块10所投射的光照射到且其反射光能够被光接收模块20接收到，就可以得到包含触控物的成像图像，也就可以通过触控识别模块30识别出该触控物所执行的触控操作对应的操作信息。因此，本实施例可以消除对悬浮触控距离的限制，实现更远距离的悬浮触控，提高触控装置的悬浮触控性能。

另一方面，本实施例中，通过光发射模块向触控装置所在的目标感应环境主动投射预设波长的光，也即投射光的波长已知且特定，通过光接收模块来接收该投射光在目标感应环境内的反射光并成像，避免其他波长反射光的影响，减少成像图像中的干扰信息，提高触控识别模块30对成像图像的识别效率和识别精度，从而提高触控装置对触控操作的识别精度和识别效率。

本实施例中，所述目标感应环境的范围大小与所述光投射模块10的光投射范围及所述光接收模块20的光接收范围有关；实际应用中，可以通过调节光投射模块10的投射角度、投射范围和光接收模块的接收角度，来调整该触控装置的目标感应环境的范围。

可选的，对于所述触控装置作为触控组件内置于显示屏中的情况，为避免与该显示屏的显示功能互相干扰，所述光投射模块所投射的预设波长的光可以为不可见光，例如红外光、紫外光等。对于所述触控装置为触控遥控器形式的情况，由于触控遥控器不需要具备显示功能，故所述光投射模块所投射的预设波长的光既可以为不可见光，也可以为一特定波长(或波长区间)的可见光，例如红光、紫光等；将可见光作为投射光，还可以提示用户快速准确地将触控物置于目标感应范围内。

在一个可行的实施例中，所述触控装置中可以同时包含两个或两个以上的光收发模块组；其中，在同一个光收发模块组中的光投射模块的投射波长与光接收模块的接收波长相同，在不同的光收发模块组中的光投射模块的投射波长不同。

例如，所述触控装置中设置有两个光收发模块组：一个光收发模块组包括光投射模块11和光接收模块21，且光投射模块11的投射波长与光接收模块21的接收波长相同；另一个光收发模块组包括光投射模块12和光接收模块22，且光投射模块12的投射波长与光接收模块22的接收波长相同；但光投射模块11的投射波长与光投射模块12的投射波长不同，相应的，光接收模块21的接收波长与光接收模块22的接收波长也不同。

通过上述对波长的限定配置，使得每个光接收模块只能接收与其波长对应的光发射模块投射的光的反射光，避免其他波长的反射光的干扰，进而通过将每个光收发模块组分布设在触控装置的不同位置，就可以得到触控物在不同视角下的成像图像，进而触控识别模块30可以根据所述不同视角下的成像图像更准确地提取触控物的特征信息，避免误识别、漏识别等现象。

在触控装置只有一个光收发模块组的情况下，该光收发模块组中的光投射模块10和对应的多个光接收模块20可以设置在触控装置的中心处。

在触控装置具有多个光收发模块组的情况下，各个光收发模块组可以呈矩阵式排布在触控装置中，如图2A所示的具有两个光收发模块组时，光投射模块10a和光接收模块20a、光投射模块10b和光接收模块20b的排布示意图，以及，图2B所示的具有四个光收发模块组时，光投射模块10a和光接收模块20a、光投射模块10b和光接收模块20b、光投射模块10c和光接收模块20c、光投射模块10d和光接收模块20d的排布示意图。

图3是根据另一示例性实施例示出的一种触控装置的结构框图。参照图3，该触控装置包括：光收发模块组和触控识别模块30；所述光收发模块组包括结构光投射模块10’和结构光接收模块20’。

所述结构光投射模块10’用于向所述触控装置所在的目标感应环境投射预设波长的结构光，相应的，所述结构光接收模块20’用于接收所述预设波长的结构光在所述目标感应环境内的反射结构光并进行成像，得到所述目标感应环境的成像图像。

本实施例中所采用的结构光可以为点结构光、线结构光、面结构光等具有任意光学图案的结构光中的一种或多种。本实施例通过对基于结构光的成像图像进行模式识别，可以得到该结构光投射到触控物上后其光学图案的变化情况，从而得到触控物的三维信息，实现对该触控物及其执行的触控操作的识别。

在一个可行的实施例中，所述结构光投射模块10’所投射的结构光可以为散斑结构光。利用散斑结构光在不同空间位置的光学图案不同且随机的特性，可以更准确地获得触控物的三维立体信息，进而提高触控装置的触控识别精度。

可选的，所述结构光投射模块10’具体可以包括光源和散射体，所述光源发出相干光，通过所述散射体散射即可形成所述散斑结构光。

所述结构光投射模块和结构光接收模块在触控装置中的排布方式可参照前文光投射模块和光接收模块的相关描述，此处不再赘述。

在本发明其他可行的实施例中，所述触控装置还可以包括以下模块中的至少一种：

触摸感应模块，用于检测并识别施加于所述触控装置的触摸操作的第二操作信息；

压力感应模块，用于检测并识别施加于所述触控装置的按压操作的第三操作信息；

以及，通讯模块，用于将所述第一操作信息、第二操作信息和第三操作信息中的至少一项发送至所述触控装置对应的受控对象。

其中，所述第二操作信息包括但不限于触摸位置、触摸轨迹等信息，所述第三操作信息包括但不限于按压位置、压力大小等信息。

可选的，所述通信模块可以包括基于移动通信网络、蓝牙、无线保真(Wireless-Fidelity，WiFi)等通信技术的通信模块中的任一一种或几种，利用该通信模块实现与相应的受控对象之间的远程通信，将远程触控装置感应并识别出的操作信息发送至相应的受控对象，使得该受控对象执行于该操作信息对应的控制功能。

基于上述触控装置，本发明实施例还提供了一种悬浮触控方法，如图4所示的流程图，该悬浮触控方法包括以下步骤：

S11、所述光投射模块向所述触控装置所在目标感应环境投射预设波长的光；

S12、所述光接收模块接收所述预设波长的光在所述目标感应环境内的反射光并进行成像，得到所述目标感应环境的成像图像；

S13、对所述成像图像执行模式识别，得到触控物在所述目标感应环境中所执行的触控操作的第一操作信息。

本实施例中，对所述成像图像执行模式识别具体可以包括：以所述成像图像为输入图像，执行预设模式识别算法。所述预设模式识别算法包括基于Haar特征的模式识别算法、基于卷积神经网络的模式识别算法等用于提取图像特征的算法中的至少一种。通过执行所述预设识别算法，可以将所述成像图像中与触控物相关的特征提取出来，并根据提取出的特征识别得到相关的触控操作信息，即所述第一操作信息。该第一操作信息包括但不限于以下至少一种：目标感应环境中是否存在触控物、该触控物所在的位置坐标，以及该触控物执行了哪种触控操作(即触控操作类型，如悬浮停留、悬浮滑动等)等。

由以上技术方案可知，本实施例中，成像图像的采集不会受到触控物到受控对象的距离大小的影响，只要保证触控物被光投射模块所投射的光照射到且其反射光能够被光接收模块接收到，就可以得到包含触控物的成像图像，也就可以通过触控识别模块识别出该触控物所执行的触控操作对应的操作信息。因此，本实施例可以消除对悬浮触控距离的限制，实现更远距离的悬浮触控，提高触控装置的悬浮触控性能。另外，本实施例通过向触控装置所在的目标感应环境主动投射预设波长的光，也即投射光的波长已知且特定，并接收且仅接收该投射光在目标感应环境内的反射光并成像，避免其他波长反射光的影响，减少成像图像中的干扰信息，提高对成像图像的识别效率和识别精度，从而提高触控装置对触控操作的识别精度和识别效率。

在本发明一个可行的实施例中，所述触控装置中的光收发模块组包括至少两个；所述光投射模块的投射波长，与其所在光收发模块组中光接收模块的接收波长相同；任意两个所述光投射模块的投射波长不同。

在本发明一个可行的实施例中，所述光投射模块投射的预设波长的光具体可以为预设波长的结构光。

可选的，所述结构光可以为散斑结构光。本实施例中，利用散斑结构光在不同位置的光图案不同且随机的特性，可以更准确地获得触控物的三维立体信息，进而提高触控装置的触控识别精度。

在本发明一个可行的实施例中，通过对成像图像进行模式识别来得到所述第一操作信息的具体方法包括：

根据预设模式识别算法分别对所述成像图像执行模式识别，得到触控物在所述成像图像中的特征信息；

根据所述特征信息确定所述第一操作信息。

本实施例中，一方面，通过对单一时刻采集到的成像图像进行模式识别，可以得到静态触控操作对应的操作信息。在此基础上，通过综合分析不同时刻采集到的成像图像对应的模式识别结果，即可得到动态触控操作对应的操作信息；例如比较分析不同时刻触控物在成像图像中的位置坐标的变化，即可得到该触控物在相应时间段内的移动轨迹，从而可以识别出滑动等动态触控操作。另一方面，通过对位于不同位置的光接收模块得到的成像图像进行模式识别及综合分析，可以得到触控物对应的更多三维立体信息，从而有助于提高触控装置对触控物及其触控操作的识别精度。

在本发明一个可行的实施例中，当所述触控装置为远程触控装置时，在得到所述操作信息(步骤S13)之后，上述悬浮触控方法还可以包括：

将所述第一操作信息发送至所述远程触控装置对应的受控设备。

可选的，可以在所述远程触控装置中设置通信模块，利用该通信模块与相应的受控对象进行远程通信，将远程触控装置感应并识别出的操作信息发送至相应的受控对象，使得该受控对象执行于该操作信息对应的控制功能。

需要说明的是，在其他可行的实施例中，通过所述通信装置发送至所述受控对象的操作信息，除了上述基于成像图像识别出的第一操作信息外，还可以包括通过触控装置中的触摸感应模块检测并识别出的第二操作信息，以及通过触控装置中的压力感应模块检测并识别出的第三操作信息；其中，所述第二操作信息为施加于所述触控装置的触摸操作对应的操作信息(如触摸位置、触摸轨迹等信息)，所述第三操作信息为施加于所述触控装置的按压操作对应的操作信息(如按压位置、压力大小等信息)。

本发明实施例还提供了一种遥控器，该遥控器可以包括前文任一实施例所述的触控装置。

本发明实施例还提供了一种显示设备，该显示设备可以包括显示屏，以及前文任一实施例所述的触控装置，使得该显示设备在具有显示功能的同时，还可以具有悬浮触控功能。

另外，本发明实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由相应的终端的处理器执行时，使得移动终端能够执行一种悬浮触控方法，所述方法包括：

控制所述光投射模块向所述触控装置所在目标感应环境投射预设波长的光；

控制所述光接收模块接收所述预设波长的光在所述目标感应环境内的反射光并进行成像，得到所述目标感应环境的成像图像；

控制所述触控识别模块对所述成像图像执行模式识别，得到触控物在所述目标感应环境中所执行的触控操作的第一操作信息。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (12)

1.一种触控装置，其特征在于，包括：光收发模块组和触控识别模块；

所述光收发模块组包括：

光投射模块，用于向所述触控装置所在目标感应环境投射预设波长的光；

光接收模块，用于接收所述预设波长的光在所述目标感应环境内的反射光并进行成像，得到所述目标感应环境的成像图像；

所述触控识别模块，用于对所述成像图像执行模式识别，得到触控物在所述目标感应环境中所执行的触控操作的第一操作信息。

2.根据权利要求1所述的触控装置，其特征在于，所述光收发模块组包括至少两个；

所述光投射模块的投射波长，与其所在光收发模块组中光接收模块的接收波长相同；

不同光收发模块组中的光投射模块的投射波长不同。

3.根据权利要求1或2所述的触控装置，其特征在于，所述光投射模块包括结构光投射模块，用于向所述目标感应环境投射预设波长的结构光；

所述光接收模块包括结构光接收模块。

4.根据权利要求3所述的触控装置，其特征在于，所述结构光投射模块投射出的结构光为散斑结构光。

5.根据权利要求1或2所述的触控装置，其特征在于，还包括以下模块中的至少一个：

触摸感应模块，用于检测并识别施加于所述触控装置的触摸操作的第二操作信息；

压力感应模块，用于检测并识别施加于所述触控装置的按压操作的第三操作信息；

以及，通讯模块，用于将所述第一操作信息、第二操作信息和第三操作信息中的至少一项发送至所述触控装置对应的受控对象。

6.一种悬浮触控方法，其特征在于，应用于触控装置，所述触控装置包括光收发模块组和触控识别模块；所述光收发模块组包括光投射模块和光接收模块；所述方法包括：

所述光投射模块向所述触控装置所在目标感应环境投射预设波长的光；

所述光接收模块接收所述预设波长的光在所述目标感应环境内的反射光并进行成像，得到所述目标感应环境的成像图像；

所述触控识别模块对所述成像图像执行模式识别，得到触控物在所述目标感应环境中所执行的触控操作的第一操作信息。

7.根据权利要求6所述的悬浮触控方法，其特征在于，所述光收发模块组包括至少两个；

所述光投射模块的投射波长，与其所在光收发模块组中光接收模块的接收波长相同；

不同光收发模块组中的光投射模块的投射波长不同。

8.根据权利要求6或7所述的悬浮触控方法，其特征在于，所述触控识别模块对所述成像图像执行模式识别，得到触控物在所述目标感应环境中所执行的触控操作的第一操作信息，包括：

根据预设模式识别算法分别对所述成像图像执行模式识别，得到触控物在所述成像图像中的特征信息；

根据所述特征信息确定所述第一操作信息。

9.根据权利要求6或7所述的悬浮触控方法，其特征在于，所述光投射模块向所述触控装置所在目标感应环境投射预设波长的光，包括：

所述光投射模块向所述触控装置所在目标感应环境投射预设波长的结构光。

10.根据权利要求9所述的悬浮触控方法，其特征在于，所述结构光包括散斑结构光。

11.一种遥控器，其特征在于，包括如权利要求1～5任一项所述的触控装置。

12.一种显示设备，其特征在于，包括显示屏和如权利要求1～5任一项所述的触控装置。