CN107479729A - 触控点的定位方法、装置、系统、显示终端以及书写笔 - Google Patents

Abstract

本发明公开了一种触控点的定位方法、装置及系统，方法包括，以设定的频率向显示终端发送具有位置编码信息的定位图像，以使显示终端显示定位图像，进而接收书写笔发送的其在显示有定位图像的显示终端上进行触控时拍摄得到的触控图像，再提取所述触控图像中的位置编码信息，并根据提取到的位置编码信息确定所述触控点在所述定位图像中的位置，以定位出所述书写笔在所述显示终端上的触控位置。采用本发明能够在低成本且无需增大显示终端体积的前提下，实现显示终端上触控点的定位，节约了成本，且使得带触控点定位功能的显示终端能够更轻薄美观，有效地提高了用户体验。

Description

触控点的定位方法、装置、系统、显示终端以及书写笔

技术领域

本发明涉及电子技术领域，尤其涉及一种触控点的定位方法、装置、系统、显示终端以及书写笔。

背景技术

显示终端可以将计算机数据变换成各种文字、数字、符号或直观的图像显示出来，被广泛应用于教学、办公、会议以及展示等领域。

通常，显示终端只能用于显示，如果要实现对显示终端所显示的内容进行触摸控制及在显示终端所显示的界面上进行书写操作，则首要的是实现触控点的定位。现有方案通过在显示终端上加装红外触摸屏、电容触摸屏、或者电磁触摸屏等额外的触摸装置来实现触控点的定位。

然而，本发明人在实施本发明的过程中发现现有技术至少存在以下不足，在显示终端上加装额外的触摸装置的方式成本较高，硬件结构复杂，且增大了显示终端的体积，用户体验不佳。

发明内容

本发明实施例所要解决的技术问题在于，提供一种触控点的定位方法、装置、系统、显示终端以及书写笔，能够在低成本且无需增大显示终端体积的前提下，实现显示终端上触控点的定位。

为了解决上述技术问题，本发明实施例的一个方面提出了一种触控点的定位方法，所述方法包括：

以设定的频率向显示终端发送具有位置编码信息的定位图像，以使所述显示终端显示所述定位图像；

接收书写笔发送的其在显示有所述定位图像的显示终端上进行触控时拍摄得到的触控图像；所述触控图像包含有触控点及与所述触控点相邻的至少一个像素点；

提取所述触控图像中的位置编码信息；

根据提取到的位置编码信息确定所述触控点在所述定位图像中的位置，以定位出所述书写笔在所述显示终端上的触控位置。

优选地，根据提取到的位置编码信息确定所述触控点在所述定位图像中的位置，具体包括：

根据提取到的位置编码信息在所述定位图像中查找与所述触控图像唯一匹配的目标子区域；

根据查找到的目标子区域确定所述触控点在所述定位图像中的位置。

优选地，所述根据提取到的位置编码信息确定所述触控点在所述定位图像中的位置，具体为：

根据视场角和提取到的位置编码信息确定所述触控点在所述定位图像中的位置；所述视场角为所述书写笔上的摄像头的光轴与显示终端的触控界面的夹角。

优选地，所述以设定的频率向显示终端发送具有位置编码信息的定位图像，以使所述显示终端显示所述定位图像之前，还包括：

获取显示终端的显示分辨率；

根据用户输入的图像分辨率及位置编码信息生成具有位置编码信息的定位图像；其中，所述定位图像中任意一个子区域的位置编码信息都是唯一的。

优选地，所述提取所述触控图像中的位置编码信息，具体包括：

确定所述触控点在所述触控图像中的位置；

在所述触控图像中确定以所述触控点为圆心，且以预设的数值为半径的圆形范围区域；

提取所述圆形范围区域内的位置编码信息。

优选地，所述根据查找到的目标子区域确定所述触控点在所述定位图像中的位置，以定位出所述书写笔在所述显示终端上的触控位置之后，还包括：

获取所述书写笔在所述显示终端上的触控点定位数据；

根据所述触控点定位数据识别所述书写笔针对所述显示终端的触控操作的类别，并根据识别结果生成相应的触控指令；

将所述触控指令发送给所述显示终端，以使所述显示终端响应与所述触控指令相对应的触控事件。

优选地，根据所述触控点定位数据识别所述书写笔针对所述显示终端的触控操作的类别，并根据识别结果生成相应的触控指令，具体包括：

根据所述触控点定位数据判断所述书写笔是否持续触摸所述显示终端的同一个位置超过预设的时间阈值；

若所述书写笔持续触摸所述显示终端的同一个位置未超过预设的时间阈值，则将所述触摸操识别为书写操作，并生成包含有触控点定位数据和书写指令的触控指令；

所述将所述触控指令发送给所述显示终端，以使所述显示终端根据所述触控指令响应相应的触控事件，具体为：

将所述触控指令发送给所述显示终端，以使所述显示终端根据所述触控指令显示相应的笔迹线条。

优选地，所述方法还包括：

当所述书写笔持续触摸所述显示终端的同一个位置超过预设的时间阈值时，则将所述触摸操识别为功能控制操作；并且，当所述功能控制操作为平移操作时，生成包含有触控点定位数据和平移指令的触控指令；当所述触控操作为缩放操作时，生成包含有触控点定位数据和缩放指令的触控指令；

所述将所述触控指令发送给所述显示终端，以使所述显示终端根据所述触控指令响应相应的触控事件，具体为：

将所述触控指令发送给所述显示终端，以使所述显示终端在接收到包含有平移指令的触控指令时，根据所述触控指令对其显示界面上所显示的对象进行平移；且使得所述显示终端在接收到包含有缩放指令的触控指令时，根据所述触控指令对其显示界面上所显示的对象进行缩放。

相应地，本发明实施例还提供一种触控点的定位装置，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

连接器，用于连接外部显示终端的连接端口；

通信模块，用于实现所述处理器与书写笔之间的通信；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述实施例所提供的触控点的定位方法。

相应地，本发明实施例还提供一种触控点的定位系统，包括书写笔、显示终端和上一个实施例所提供的触控点的定位装置；所述书写笔和所述触控点的定位装置无线连接或有线连接，所述触控点的定位装置与所述显示终端通过连接端口电连接；

所述书写笔包括笔尖、摄像头和通信模块；所述摄像头临近所述笔尖设置，且所述笔尖位于所述摄像头的拍摄范围内；并且，所述书写笔用于向所述触控点的定位装置发送所述摄像头拍摄获得的图像；

所述显示终端用于显示所述触控点的定位装置发送的图像。

相应地，本发明实施例还提供一种显示终端，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

显示装置，用于显示所述处理器发送的图像；

与所述处理器连接的通信模块，用于实现所述处理器与书写笔之间的通信；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述实施例所提供的触控点的定位方法。

相应地，本发明实施例还提供一种触控点的定位系统，包括书写笔和上一个实施例所提供的显示终端；所述书写笔和所述显示终端无线连接或有线连接；

所述书写笔包括笔尖、摄像头和通信模块；所述摄像头临近所述笔尖设置，且所述笔尖位于所述摄像头的拍摄范围内；并且，所述书写笔用于向所述显示终端发送所述摄像头拍摄获得的图像。

相应地，本发明实施例还提供一种书写笔，包括：

笔尖；

一个或多个处理器；

存储装置，用于存储一个或多个程序；

摄像头，用于拍摄外部显示终端上显示的图像；并且，所述摄像头临近所述笔尖设置，且所述笔尖位于所述摄像头的拍摄范围内；

通信模块，用于实现所述处理器与所述外部显示终端之间的通信；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述实施例所提供的触控点的定位方法。

相应地，本发明实施例还提供一种触控点的定位系统，包括显示终端和上一个实施例所提供的书写笔；所述书写笔和所述显示终端无线连接或有线连接；

所述显示终端用于显示所述书写笔发送的图像。

实施本发明实施例，具有如下有益效果：

本发明实施例提供的触控点的定位方法、装置、系统、显示终端以及书写笔，通过以设定的频率向显示终端发送具有位置编码信息的定位图像，以使显示终端显示定位图像，进而接收书写笔发送的其在显示有定位图像的显示终端上进行触控时拍摄得到的触控图像，再提取所述触控图像中的位置编码信息，并根据提取到的位置编码信息确定所述触控点在所述定位图像中的位置，以定位出所述书写笔在所述显示终端上的触控位置。可见，本发明能够在低成本且无需增大显示终端体积的前提下，实现显示终端上触控点的定位，节约了成本，且使得带触控点定位功能的显示终端能够更轻薄美观，有效地提高了用户体验。

附图说明

图1是本发明实施例提供的触控点的定位系统的一个结构示意图；

图2是本发明实施例提供的书写笔的一个安装示意图；

图3是本发明实施例提供的触控点的定位装置的一个结构示意图；

图4是本发明实施例提供的触控点的定位系统的另一个结构示意图；

图5是本发明实施例提供的显示终端的一个结构示意图；

图6是本发明实施例提供的触控点的定位系统的又一个结构示意图；

图7是本发明实施例提供的书写笔的一个结构示意图；

图8是本发明实施例提供的触控点的定位方法的一个流程示意图；

图9是本发明实施例提供的触控点在触控图像中的一个位置示意图；

图10是本发明实施例提供的定位图像的一个示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在工作过程中，显示终端(如显示器)基于一定的场频显示图像，显示终端常用的场频为50Hz或60Hz，即显示终端每秒钟重复绘制显示画面的次数为50或60次。实际上，显示终端显示的是一帧一帧的静态图像，例如主机安装了一个应用软件，以场频60Hz输出给显示终端，以显示应用软件的界面，则主机给显示装置发送应用软件的界面图像，显示终端一帧一帧地进行显示应用软件的界面图像，且每秒钟显示60帧。

本发明提供了一种触控点的定位方法、装置及系统，用于在低成本且无需增大显示终端体积的前提下，实现显示终端上触控点的定位，以下分别进行详细的描述。

为了便于对本发明实施例的理解，下面先对本发明实施例提供的触控点的定位系统以及触控点的定位方法的执行器件进行描述。

请参阅图1，是本发明实施例提供的触控点的定位系统的一个结构示意图。该定位系统包括书写笔30、显示终端20和触控点的定位装置10；所述书写笔30和所述触控点的定位装置10无线连接或有线连接，所述触控点的定位装置10与所述显示终端20通过连接端口电连接；

所述书写笔30包括笔尖301、摄像头302和通信模块；所述摄像头302临近所述笔尖301设置，且所述笔尖301位于所述摄像头302的拍摄范围内；并且，所述书写笔30用于向所述触控点的定位装置10发送所述摄像头302拍摄获得的图像；

所述显示终端20用于显示所述触控点的定位装置10发送的图像。

本发明实施例提供的定位系统中，书写笔30、显示终端20和触控点的定位装置10(下文简称定位装置)均为独立存在的器件，其中，由定位装置10执行触控点的定位方法中的所有流程。

在本发明实施例中，显示终端20包括显示屏组件和连接端口；书写笔30包括笔尖301、笔杆、摄像头302、通信模块和处理器。其中，需要说明的是，书写笔30的物理结构可以有多种，图2所示仅为其中一种可行的结构，具体的，摄像头302在书写笔30上的安装方式有多种，只需要保证进行拍摄时，摄像头302的拍摄区域内包含书写笔30的笔尖301及与该笔尖301相邻的至少一个像素点即可，满足上述条件后，摄像头302拍摄获得的触控图像则可以用于确定笔尖301在显示终端20的屏幕上进行触控时的触控位置。

需要说明的是，定位装置10与书写笔30多为无线连接，如通过蓝牙、WIFI、或2.4G无线通信的方式实现数据通信。当然，两者也可以有线连接，优选地，其两者之间通过弹性连线连接，这里不做赘述。定位装置10与显示终端20可以通过物理的连接端口电连接，以实现彼此间的数据通信。优选地，物理的连接端口为USB接口，现有技术中，多种操作系统原生支持USB驱动，因此，可以实现定位装置10插接到显示终端20时免驱运行。本发明实施例提供的触控点的定位系统的工作原理如下：

在显示终端20一侧，接收定位装置10发送的图像，并进行显示。

在书写笔30一侧，书写笔30在显示终端20的显示屏上进行触控时，设置在书写笔30上的摄像头302基于一定的拍摄频率拍摄显示屏上所显示的画面，例如每秒钟拍摄0张图像；其中，摄像头302拍摄获得的图像为显示屏所显示的完整图像的局部图像。与此同时，书写笔30的处理器获取摄像头302拍摄获得的图像，并对其进行处理，以将其转换成定位装置10可识别的图像数据，进而通过通信模块将处理后的图像数据发送给定位装置10。优选的，书写笔30将其摄像头302拍摄获得的图像转换成触控点的定位装置10可识别的图像数据后，还可以对转化获得的图像数据进行MJPG压缩处理，再将处理后的图像数据发送给触控点的定位装置10，以减少无线传输的数据量，能够有效地提升数据传输速度。优选的，书写笔30还包括触发开关，触发开关设置在笔尖301部位，当书写笔30的笔尖301在显示屏上进行触控时，挤压触发开关，以触发摄像头302拍摄。

在定位装置10一侧，定位装置10以设定的频率向显示终端20发送具有位置编码信息的定位图像，以使显示终端20显示定位图像；与此同时，定位装置10接收书写笔30发送的其在显示有定位图像的显示终端20上进行触控时拍摄得到的触控图像后，提取触控图像中的位置编码信息，并根据提取到的位置编码信息确定触控点在定位图像中的位置，以定位出书写笔30在显示终端20上的触控位置。其中，触控图像包含有触控点(即笔尖301)及与触控点相邻的至少一个像素点。

相应地，请参阅图3，是本发明实施例提供的触控点的定位装置10的一个结构示意图。该定位装置10适用于上述实施例所提供的定位系统，用于执行本发明实施例所提供的触控点的定位方法。该定位装置10包括：

一个或多个处理器101；

存储装置102，用于存储一个或多个程序；

连接器103，用于连接外部显示终端20的连接端口；

通信模块104，用于实现所述处理器101与书写笔30之间的通信；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器101实现本发明实施例所提供的触控点的定位方法。

需要说明的是，在定位装置10内部，连接器103和通信模块104均与处理器101连接，连接器103用于实现处理器101和外部显示终端20之间的通信，通信模块104用于实现处理器101与书写笔30之间的通信。

请参阅图4，是本发明实施例提供的触控点的定位系统的另一个结构示意图。该定位系统包括书写笔40和显示终端50；所述书写笔40和所述显示终端50无线连接或有线连接；

所述书写笔40包括笔尖、摄像头和通信模块；所述摄像头临近所述笔尖设置，且所述笔尖位于所述摄像头的拍摄范围内；并且，所述书写笔40用于向所述显示终端50发送所述摄像头拍摄获得的图像。

需要说明的是，本实施例提供的定位系统与上述第一个实施例所提供的定位系统的区别在于，在本发明实施例中，无需设置独立的触控点的定位装置，而由显示终端50的处理器501执行触控点的定位方法中的所有流程。

相应地，请参阅图5，是本发明实施例提供的显示终端50的一个结构示意图。该显示终端50适用于上述第二个实施例所提供的定位系统，用于执行本发明实施例所提供的触控点的定位方法。该显示终端50包括：

一个或多个处理器501；

存储装置502，用于存储一个或多个程序；

显示装置503，用于显示所述处理器501发送的图像；

通信模块504，用于实现所述处理器501与书写笔40之间的通信；

当所述一个或多个程序被所述一个或多个处理器501执行，使得所述一个或多个处理器501实现本发明实施例所提供的触控点的定位方法。

需要说明的是，显示装置503为显示屏组件，用于显示所述处理器501发送的图像，例如定位图像。并且，在显示终端50内部，通信模块504与处理器501连接，用于实现处理器501与书写笔40之间的通信。

请参阅图6，是本发明实施例提供的触控点的定位系统的又一个结构示意图。该定位系统包括显示终端70和书写笔60；所述书写笔60和所述显示终端70无线连接或有线连接；

所述显示终端70用于显示所述书写笔60发送的图像。

需要说明的是，本实施例提供的定位系统跟上述第一个实施例所提供的定位系统的区别在于，在本发明实施例中，无需设置独立的触控点的定位装置，而由书写笔60的处理器602执行触控点的定位方法中的所有流程。

相应地，请参阅图7，是本发明实施例提供的书写笔60的一个结构示意图。该书写笔60适用于上述第三个实施例所提供的定位系统，用于执行本发明实施例所提供的触控点的定位方法。该书写笔60包括：

笔尖601；

一个或多个处理器602；

存储装置603，用于存储一个或多个程序；

摄像头604，用于拍摄外部显示终端70上显示的图像；并且，所述摄像头604临近所述笔尖601设置，且所述笔尖601位于所述摄像头604的拍摄范围内；

通信模块605，用于实现所述处理器602与所述外部显示终端70之间的通信；

当所述一个或多个程序被所述一个或多个处理器602执行，使得所述一个或多个处理器602实现本发明实施例所提供的触控点的定位方法。

需要说明的是，在书写笔60内部，通信模块605与处理器602连接，用于实现处理器602与外部显示终端70之间的通信。

需要说明的是，对于上文所述的各个实施例中的触控点的定位方法的执行器件(定位装置、显示终端和书写笔)，程序可以被分割成一个或多个模块/单元，该一个或者多个模块/单元被存储在存储装置中，并由处理器执行，以完成本发明实施例。该一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在执行器件中的执行过程。

另外，上述执行器件均可包括，但不仅限于处理器和存储装置。本领域技术人员可以理解，图3、图5和图7仅仅是相应器件的示例，并不构成对器件的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如定位装置还可以包括输入输出设备、网络接入设备、总线等。

其中，上述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是兑奖服务器的控制中心，利用各种接口和线路连接整个执行器件的各个部分。

其中，上述存储装置可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储装置内的计算机程序和/或模块，以及调用存储在存储装置内的数据，实现兑奖服务器的各种功能。存储装置可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储装置可以包括高速随机存取存储装置，还可以包括非易失性存储装置，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储装置件、闪存器件、或其他易失性固态存储装置件。

其中，如果执行器件集成的模块/单元以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储装置、只读存储装置(ROM，Read-Only Memory)、随机存取存储装置(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

为了更清楚的说明本发明实施例，下面将详细介绍上述执行器件所执行的触控点的定位方法的步骤流程。

请参阅图8，是本发明实施例提供的触控点的定位方法的一个流程示意图。所述定位方法至少包括如下步骤：

S11、以设定的频率向显示终端发送具有位置编码信息的定位图像，以使所述显示终端显示所述定位图像；

S12、接收书写笔发送的其在显示有所述定位图像的显示终端上进行触控时拍摄得到的触控图像；所述触控图像包含有触控点及与所述触控点相邻的至少一个像素点；

S13、提取所述触控图像中的位置编码信息；

S14、根据提取到的位置编码信息确定所述触控点在所述定位图像中的位置，以定位出所述书写笔在所述显示终端上的触控位置。

需要说明的是，下文将以触控点的定位装置作为定位方法的执行主体为例进行说明，但可以理解的是，本发明实施例所提供的定位方法可以由上文所述的任一执行器件执行，如触控点的定位装置、显示终端或者书写笔。

在本发明实施例中，定位装置向显示终端发送一帧一帧的待显示的图像数据，具体实施时，触控点的定位装置给显示终端发送应用软件界面图像，且在输出的视频场频中至少插入一帧具有位置编码信息的定位图像。可见，以设定的频率向显示终端发送具有位置编码信息的定位图像指的是，触控点的定位装置每给显示终端发送预设帧数的应用软件界面图像，就发送一帧具有位置编码信息的定位图像给显示终端，例如预设帧数为59，即触控点的定位装置给显示终端发送的图像依次为：1帧应用软件界面图像(第1帧)、1帧应用软件界面图像(第2帧)、1帧应用软件界面图像(第3帧)·····1帧应用软件界面图像(第59帧)、1帧具有位置编码信息的定位图像(第60帧)。相应的，显示终端每显示59帧应用软件界面图像后，就显示1帧具有位置编码信息的定位图像。需要说明的是，需要以人在看显示终端所显示的画面时，不会察觉到显示的画面中插入了定位图像为原则，来设置预设帧数以及插入的具有位置编码信息的定位图像的数量，具体实施时，基于人眼的视觉暂留现象，预设帧数设置为大于或等于24的数字即可，例如，在其他实施方式中，预设帧数可以设置为30、40或者50等等；插入的具有位置编码信息的定位图像的数量为少数帧即可，例如一帧、两帧或者三帧。

需要说明的是，位置编码信息可以为像素点的R、G、B排列信息，相应的，摄像头拍摄获得触控图像后，可以根据触控图像中像素点的RGB排列信息在定位图像中进行R、G、B排列信息的查找，从而确定触控点在定位图像中的位置，以定位出所述书写笔在所述显示终端上的触控位置。位置编码信息也可以为坐标标识信息，例如，定位图像上绘制有预设的字符图案，这些字符图案即为坐标标识信息，摄像头拍摄获得触控图像后，对触控图像进行图像识别，再根据触控图像中的字符图案确定触控点在定位图像中的位置，以定位出所述书写笔在所述显示终端上的触控位置。

在本发明实施例中，由于书写笔上的摄像头临近笔尖设置，且笔尖位于摄像头的拍摄范围内，以及摄像头拍摄获得的触控图像需包含有触控点及与触控点相邻的至少一个像素点，书写笔在显示终端的触控界面上进行触控时，摄像头基于一定的拍摄频率拍摄显示终端所显示的图像的局部区域(笔尖附近的区域)，例如每秒钟拍摄200张图像。当摄像头的拍摄频率高于显示终端的场频时，显示终端上显示的每一帧图像都会被摄像头拍摄到。当显示终端显示应用软件界面图像时，摄像头拍摄获得的应用软件界面图像的局部图像为普通图像；当显示终端显示具有位置编码信息的定位图像时，摄像头拍摄获得的定位图像的局部图像，即为触控图像。书写笔实时将摄像头拍摄到的图像发送给定位装置，其中，所发送的图像包括普通图像和触控图像，定位装置接收来自书写笔的图像后，先对所接收的图像进行识别，若识别出当前图像为普通图像，则不对该普通图像进行后续的位置分析处理(即步骤S13和S14中的处理)；若识别出当前图像为触控图像时，则对触控图像进行位置分析处理。另外，在其他实施方式中，可以由书写笔先对摄像头拍摄获得的图像的类别进行识别，即由书写笔先过滤掉普通图像，而仅将触控图像发送给定位装置，相应的，在定位装置一侧，其接收到的图像均为触控图像，则不需要再对来自书写笔的图像进行图像类别的识别，而直接对接收到的图像进行位置分析处理即可。

需要说明的是，定位图像上的位置编码信息是由用户设定的，其设定原则是保证定位图像中任意一个子区域的位置编码信息都是唯一的，换言之，对于书写笔上的摄像头拍摄获得的任意一张触控图像，在定位图像中均有且仅有一个其位置编码信息与触控图像的位置编码信息唯一匹配的目标子区域。因此，触控点的定位装置每接收到一帧触控图像，则提取触控图像中的位置编码信息，并根据提取到的位置编码信息确定所述触控点在所述定位图像中的位置，以定位出所述书写笔在所述显示终端上的触控位置。

本发明实施例提供的触控点的定位方法，通过以设定的频率向显示终端发送具有位置编码信息的定位图像，以使显示终端显示定位图像，进而接收书写笔发送的其在显示有定位图像的显示终端上进行触控时拍摄得到的触控图像，再提取所述触控图像中的位置编码信息，并根据提取到的位置编码信息确定所述触控点在所述定位图像中的位置，以定位出所述书写笔在所述显示终端上的触控位置。可见，本发明能够在低成本且无需增大显示终端体积的前提下，实现显示终端上触控点的定位，节约了成本，且使得带触控点定位功能的显示终端能够更轻薄美观，有效地提高了用户体验。

为进一步对本发明的方案进行更详细的说明，下文对本发明的一些优选实施例进行具体描述或举例说明。

在一个优选的实施例中，根据提取到的位置编码信息确定所述触控点在所述定位图像中的位置，具体包括：

根据提取到的位置编码信息在所述定位图像中查找与所述触控图像唯一匹配的目标子区域；

根据查找到的目标子区域确定所述触控点在所述定位图像中的位置。

在本发明实施例中，位置编码信息可以为像素点的R、G、B排列信息。触控点的定位装置每接收到一帧触控图像，则提取触控图像中的位置编码信息，并将从触控图像中提取到的位置编码信息与定位图像中各个子区域的位置编码信息进行比对，以查找与触控图像唯一匹配的目标子区域。其中，可以采用基于主成分分析(Principal ComponentAnalysis，PCA)的识别算法或者BRISK算法来实现位置编码信息的比对，上述算法为现有技术，此处不加赘述，且还可以采用其他比对算法，本发明不作具体限定。

在本发明实施例中，查找到目标子区域后，即可确定触控图像在定位图像中的位置，进一步地，根据触控点在触控图像上的位置，即可确定触控点在定位图像上的位置，从而定位出书写笔在显示终端的触控界面上的触控位置。其中，结合书写笔上摄像头302到笔尖301的距离和摄像头302在显示终端上的拍摄中心位置(即触控图像的中心位置)，则可以确定触控点在触控图像上的位置。具体实施时，请参阅图9，A点为摄像头302所在的位置；B点为过A点向显示终端的触控界面700作垂线，该垂线与触控界面700的交点，C点为摄像头302在显示终端的触控界面700上的拍摄中心位置，D点为笔尖301所在的位置(即触控点所在的位置)，E点为过A点作的与显示终端的触控界面700的平行线与过D点作的与显示终端的触控界面700的垂线的交点，即∠DEA为直角，且EA//DB，其中，线段AB的长度(即摄像头302到显示终端的触控界面700的垂直距离)、线段EA的长度(即摄像头302到笔尖301的水平距离)和∠CAB的大小在装配好书写笔的各个部件后，即可测量得到。则CB＝AB*tan∠CAB，DC＝EA-CB＝EA-AB*tan∠CAB，综上，计算出线段DC的长度后，再结合摄像头302在显示终端上的拍摄中心位置(即C点在触控图像中的位置)，即可确定书写笔的笔尖301在触控图像中的位置(即触控点在触控图像中的位置)。

在另一个优选的实施例中，所述根据提取到的位置编码信息确定所述触控点在所述定位图像中的位置，具体为：

根据视场角和提取到的位置编码信息确定所述触控点在所述定位图像中的位置；所述视场角为所述书写笔上的摄像头的光轴与显示终端的触控界面的夹角。

在本发明实施例中，位置编码信息为坐标标识信息，例如，定位图像上绘制有预设的字符图案，这些字符图案即为坐标标识信息，同样地，定位图像中任意一个子区域的字符图案都是唯一的。触控点的定位装置每接收到一帧触控图像，则提取触控图像中的位置编码信息，即对触控图像进行图像识别，再根据触控图像中的字符图案确定触控点在定位图像中的位置，以定位出所述书写笔在所述显示终端上的触控位置。

需要说明的是，请参见图10，全局图像(即完整的定位图像)中的字符数量确定后，字符在全局图像中的相对位置则是确定的，例如，对于1920*1080位图的全局图像，假设设定每组字符占用8*8个像素点，以图像左下角为原点，“00”字符的相对位置坐标(x1，y1)为：(1/(1920/8)，(1080/8)/(1080/8))，“16”字符的相对位置坐标(x2，y2)为：(7/(1920/8)，(1080/8)/1080)，并且，可获得每组字符占用全局图像的面积(以及长、宽距离)，因此，当确定输出的交互平板尺寸和分辨率后，可根据屏规格书获得屏幕pixel的长宽距离参数，进而得出每组字符间的间距。并且，请同样参见图9，采用与上一实施例同样的方法，根据视场角∠ACB计算得到摄像头在显示终端上的拍摄中心位置(C点)到笔尖所在的位置(即触控点所在的位置，D点)的距离，从而得出较为精确的笔尖点的位置。

优选地，所述以设定的频率向显示终端发送具有位置编码信息的定位图像，以使所述显示终端显示所述定位图像之前，还包括：

获取显示终端的显示分辨率；

根据用户输入的图像分辨率及位置编码信息生成具有位置编码信息的定位图像；其中，所述定位图像中任意一个子区域的位置编码信息都是唯一的。

需要说明的是，所述定位图像上的每一个位置都与所述显示终端的显示界面上的一个位置一一对应，例如，所述显示终端的输出分辨率为1080P，相应的，所述定位图像选用大小为1080P的图像，则所述定位图像中坐标为(x：200，y：300)的点对应显示界面上坐标为(x：200，y：300)的像素点，再例如，所述显示终端的输出分辨率为4096×2160，相应的，所述定位图像选用大小为4096×2160的图像，同理，所述定位图像中坐标为(x：200，y：300)的点对应显示界面上坐标为(x：200，y：300)的像素点。

需要说明的是，所述定位图像上的位置编码信息是由用户设定的，其设定原则是保证所述定位图像中任意一个子区域的位置编码信息都是唯一的，依照目前主流显示设备点位排列原理，一个像素点由R、G、B三个单元组成，按照以其一个像素点的精度识别，其使用亮暗的方式可以有227种不同的排列组合方式，可实现4K甚至8K分辨率下像素级识别，并可有效消除显示终端的亮、暗点带来的影响。

优选地，所述提取所述触控图像中的位置编码信息，具体包括：

确定所述触控点在所述触控图像中的位置；

在所述触控图像中确定以所述触控点为圆心，且以预设的数值为半径的圆形范围区域；

提取所述圆形范围区域内的位置编码信息。

需要说明的是，在一种实施方式中，可以直接提取所述触控图像中的所有位置编码信息，进而根据提取到的位置编码信息在所述定位图像中查找与所述触控图像唯一匹配的目标子区域。然而，所述摄像头的拍摄范围的大小跟所述摄像头的选型及摄像头的安装位置有关，若摄像头的拍摄范围较大，则其拍摄获得的触控图像的尺寸也会比较大，因此，若直接提取整张触控图像中的位置编码信息，再将从所述触控图像中提取到的位置编码信息与所述定位图像中各个子区域的位置编码信息进行比对，则需要比对相当多的数据，占用较多的处理资源，同时也会耗费更多的时力，降低了处理效率，且可能会出现不能及时完成触控点的定位的情况，影响用户体验。

在本发明实施例中，确定所述触控点在所述触控图像中的位置后，在所述触控图像中确定以所述触控点为圆心，且以预设的数值为半径的圆形范围区域，仅仅提取所述圆形范围区域内的位置编码信息，即可以根据实际需求，在所述触控图像中选取合适的用于提取位置编码信息的区域。只要预设的数值选取得合适，就可以在只提取尽可能小的区域内的位置编码信息的前提下，完成触控点的定位。因此，提取到的位置编码信息减少，则需要比对的数据相应减少，进而有效地减少了处理资源的占用，节约了资源，提高了处理效率，增快了触控点的定位速度，增加了工作的流畅性。其中，如何确定所述触控点在所述触控图像中的位置同上文所述，此处不加赘述。

进一步地，所述根据查找到的目标子区域确定所述触控点在所述定位图像中的位置，以定位出所述书写笔在所述显示终端上的触控位置之后，还包括：

获取所述书写笔在所述显示终端上的触控点定位数据；

根据所述触控点定位数据识别所述书写笔针对所述显示终端的触控操作的类别，并根据识别结果生成相应的触控指令；

将所述触控指令发送给所述显示终端，以使所述显示终端响应与所述触控指令相对应的触控事件。

在本发明实施例中，定位出所述书写笔在所述显示终端上的触控位置之后，获取所述书写笔在所述显示终端上的触控点定位数据，所述触控点的定位装置根据触控点定位数据识别所述书写笔针对所述显示终端的触控操作的类别，如书写操作或者功能控制操作，所述功能控制操作为缩放操作或者平移操作等等，进而所述触控点的定位装置可以根据不同的触控操作生成不同的触控指令，并将所述触控指令发送给所述显示终端，以实现不同的功能，即，使得所述显示终端响应与所述触控指令相对应的触控事件，例如笔迹输出或者功能控制。

进一步地，根据所述触控点定位数据识别所述书写笔针对所述显示终端的触控操作的类别，并根据识别结果生成相应的触控指令，具体包括：

根据所述触控点定位数据判断所述书写笔是否持续触摸所述显示终端的同一个位置超过预设的时间阈值；

若所述书写笔持续触摸所述显示终端的同一个位置未超过预设的时间阈值，则将所述触摸操识别为书写操作，并生成包含有触控点定位数据和书写指令的触控指令；

所述将所述触控指令发送给所述显示终端，以使所述显示终端根据所述触控指令响应相应的触控事件，具体为：

将所述触控指令发送给所述显示终端，以使所述显示终端根据所述触控指令显示相应的笔迹线条。

具体地，根据所述触控点定位数据判断所述书写笔是否持续触摸所述显示终端的同一个位置超过预设的时间阈值，即，检测所述触控点的定位装置在预设的时间阈值内获取的触控点定位数据是否是相同的，若否，则说明在预设的时间阈值内，所述书写笔在所述显示终端上的触控位置发生了改变则将所述书写笔在所述显示终端上的触控操作识别为书写操作，所述触控点的定位装置生成包含有触控点定位数据和书写指令的触控指令，并将其发送给所述显示终端，以使所述显示终端显示所述触控点定位数据相应的笔迹线条。

进一步地，所述方法还包括：

当所述书写笔持续触摸所述显示终端的同一个位置超过预设的时间阈值时，则将所述触摸操识别为功能控制操作；并且，当所述功能控制操作为平移操作时，生成包含有触控点定位数据和平移指令的触控指令；当所述触控操作为缩放操作时，生成包含有触控点定位数据和缩放指令的触控指令；

所述将所述触控指令发送给所述显示终端，以使所述显示终端根据所述触控指令响应相应的触控事件，具体为：

将所述触控指令发送给所述显示终端，以使所述显示终端在接收到包含有平移指令的触控指令时，根据所述触控指令对其显示界面上所显示的对象进行平移；且使得所述显示终端在接收到包含有缩放指令的触控指令时，根据所述触控指令对其显示界面上所显示的对象进行缩放。

具体地，根据所述触控点定位数据判断所述书写笔是否持续触摸所述显示终端的同一个位置超过预设的时间阈值，即，检测所述触控点的定位装置在预设的时间阈值内获取的触控点定位数据是否是相同的，若是，则说明在预设的时间阈值内，所述书写笔在所述显示终端上的触控位置没有发生改变，即所述书写笔长按所述显示终端，则将所述书写笔在所述显示终端上的触控操作识别为功能控制操作，进一步地，根据获取到的触控点定位数据识别所述功能控制操作的类别，并根据识别结果生成相应的触控指令，且将所述触控指令发送给所述显示终端，以使所述显示终端根据所述触控指令响应相应的触控事件。例如若检测到所述显示终端上仅有一个触控点，且所述触控点的移动距离超过了预设的移动阈值，则识别为平移操作，生成包含有触控点定位数据和平移指令的触控指令，并将其发送给所述显示终端，以使所述显示终端根据所述触控指令对其显示界面上所显示的对象进行平移；若检测到所述显示终端上同时存在多个触控点，且所述触控点的移动距离超过了预设的移动阈值，则识别为缩放操作，所述触控点的定位装置生成包含有触控点定位数据和缩放指令的触控指令，并将其发送给所述显示终端，以使所述显示终端根据所述触控指令对其显示界面上所显示的对象进行缩放。

本发明实施例提供的触控点的定位方法、装置、系统、显示终端以及书写笔，通过以设定的频率向显示终端发送具有位置编码信息的定位图像，以使显示终端显示定位图像，进而接收书写笔发送的其在显示有定位图像的显示终端上进行触控时拍摄得到的触控图像，再提取所述触控图像中的位置编码信息，并根据提取到的位置编码信息确定所述触控点在所述定位图像中的位置，以定位出所述书写笔在所述显示终端上的触控位置。可见，本发明能够在低成本且无需增大显示终端体积的前提下，实现显示终端上触控点的定位，节约了成本，且使得带触控点定位功能的显示终端能够更轻薄美观，有效地提高了用户体验。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变形，这些改进和变形也视为本发明的保护范围。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

Claims (14)

1.一种触控点的定位方法，其特征在于，包括：

以设定的频率向显示终端发送具有位置编码信息的定位图像，以使所述显示终端显示所述定位图像；

接收书写笔发送的其在显示有所述定位图像的显示终端上进行触控时拍摄得到的触控图像；所述触控图像包含有触控点及与所述触控点相邻的至少一个像素点；

提取所述触控图像中的位置编码信息；

根据提取到的位置编码信息确定所述触控点在所述定位图像中的位置，以定位出所述书写笔在所述显示终端上的触控位置。

2.如权利要求1所述的触控点的定位方法，其特征在于，根据提取到的位置编码信息确定所述触控点在所述定位图像中的位置，具体包括：

根据提取到的位置编码信息在所述定位图像中查找与所述触控图像唯一匹配的目标子区域；

根据查找到的目标子区域确定所述触控点在所述定位图像中的位置。

3.如权利要求1所述的触控点的定位方法，其特征在于，所述根据提取到的位置编码信息确定所述触控点在所述定位图像中的位置，具体为：

根据视场角和提取到的位置编码信息确定所述触控点在所述定位图像中的位置；所述视场角为所述书写笔上的摄像头的光轴与显示终端的触控界面的夹角。

4.如权利要求1所述的触控点的定位方法，其特征在于，所述以设定的频率向显示终端发送具有位置编码信息的定位图像，以使所述显示终端显示所述定位图像之前，还包括：

获取显示终端的显示分辨率；

根据用户输入的图像分辨率及位置编码信息生成具有位置编码信息的定位图像；其中，所述定位图像中任意一个子区域的位置编码信息都是唯一的。

5.如权利要求1所述的触控点的定位方法，其特征在于，所述提取所述触控图像中的位置编码信息，具体包括：

确定所述触控点在所述触控图像中的位置；

在所述触控图像中确定以所述触控点为圆心，且以预设的数值为半径的圆形范围区域；

提取所述圆形范围区域内的位置编码信息。

6.如权利要求1所述的触控点的定位方法，其特征在于，所述根据查找到的目标子区域确定所述触控点在所述定位图像中的位置，以定位出所述书写笔在所述显示终端上的触控位置之后，还包括：

获取所述书写笔在所述显示终端上的触控点定位数据；

根据所述触控点定位数据识别所述书写笔针对所述显示终端的触控操作的类别，并根据识别结果生成相应的触控指令；

将所述触控指令发送给所述显示终端，以使所述显示终端响应与所述触控指令相对应的触控事件。

7.一种如权利要求6所述的触控点的定位方法，其特征在于，根据所述触控点定位数据识别所述书写笔针对所述显示终端的触控操作的类别，并根据识别结果生成相应的触控指令，具体包括：

根据所述触控点定位数据判断所述书写笔是否持续触摸所述显示终端的同一个位置超过预设的时间阈值；

若所述书写笔持续触摸所述显示终端的同一个位置未超过预设的时间阈值，则将所述触摸操识别为书写操作，并生成包含有触控点定位数据和书写指令的触控指令；

所述将所述触控指令发送给所述显示终端，以使所述显示终端根据所述触控指令响应相应的触控事件，具体为：

将所述触控指令发送给所述显示终端，以使所述显示终端根据所述触控指令显示相应的笔迹线条。

8.一种如权利要求7所述的触控点的定位方法，其特征在于，所述方法还包括：

当所述书写笔持续触摸所述显示终端的同一个位置超过预设的时间阈值时，则将所述触摸操识别为功能控制操作；并且，当所述功能控制操作为平移操作时，生成包含有触控点定位数据和平移指令的触控指令；当所述触控操作为缩放操作时，生成包含有触控点定位数据和缩放指令的触控指令；

所述将所述触控指令发送给所述显示终端，以使所述显示终端根据所述触控指令响应相应的触控事件，具体为：

将所述触控指令发送给所述显示终端，以使所述显示终端在接收到包含有平移指令的触控指令时，根据所述触控指令对其显示界面上所显示的对象进行平移；且使得所述显示终端在接收到包含有缩放指令的触控指令时，根据所述触控指令对其显示界面上所显示的对象进行缩放。

9.一种触控点的定位装置，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

连接器，用于连接外部显示终端的连接端口；

通信模块，用于实现所述处理器与书写笔之间的通信；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至8中任一项所述的触控点的定位方法。

10.一种触控点的定位系统，其特征在于，包括书写笔、显示终端和如权利要求9所述的触控点的定位装置；所述书写笔和所述触控点的定位装置无线连接或有线连接，所述触控点的定位装置与所述显示终端通过连接端口电连接；

所述书写笔包括笔尖、摄像头和通信模块；所述摄像头临近所述笔尖设置，且所述笔尖位于所述摄像头的拍摄范围内；并且，所述书写笔用于向所述触控点的定位装置发送所述摄像头拍摄获得的图像；

所述显示终端用于显示所述触控点的定位装置发送的图像。

11.一种显示终端，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

显示装置，用于显示所述处理器发送的图像；

通信模块，用于实现所述处理器与书写笔之间的通信；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至8中任一项所述的触控点的定位方法。

12.一种触控点的定位系统，其特征在于，包括书写笔和如权利要求11所述的显示终端；所述书写笔和所述显示终端无线连接或有线连接；

所述书写笔包括笔尖、摄像头和通信模块；所述摄像头临近所述笔尖设置，且所述笔尖位于所述摄像头的拍摄范围内；并且，所述书写笔用于向所述显示终端发送所述摄像头拍摄获得的图像。

13.一种书写笔，其特征在于，包括：

笔尖；

一个或多个处理器；

存储装置，用于存储一个或多个程序；

摄像头，用于拍摄外部显示终端上显示的图像；并且，所述摄像头临近所述笔尖设置，且所述笔尖位于所述摄像头的拍摄范围内；

通信模块，用于实现所述处理器与所述外部显示终端之间的通信；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至8中任一项所述的触控点的定位方法。

14.一种触控点的定位系统，其特征在于，包括显示终端和如权利要求13所述的书写笔；所述书写笔和所述显示终端无线连接或有线连接；

所述显示终端用于显示所述书写笔发送的图像。