CN111580689A - 一种智能触控笔交互方法 - Google Patents

Abstract

本发明公开了一种智能触控笔交互方法，包括触控笔、手势键、语音键、识图键、翻译键、笔头与触控板系统，所述触控笔下端两次对称开设有多个按键槽，且多个按键槽均设置在笔头的上方，所述手势键、语音键、试图键与翻译键分别位于相对应的按键槽内。优点在于：仅仅使用一个触控笔就可以进行语音控制，语音打字，语音翻译，划词翻译，手势识别，屏幕识图等功能，不需要在软件上来回切换设置。直接通过不同的按键操作实现复杂的功能切换。

Description

一种智能触控笔交互方法

技术领域

本发明涉及人机交互技术领域，尤其涉及一种智能触控笔交互方法。

背景技术

目前市面上的触控笔是通过触控和按键的交互方式实现对屏幕的控制，输入方式主要是通过手写方式完成，没有引入智能交互方式。

经检索，发现申请号为“201620234344.3”的一种智能触控笔，带有一种旋转环，所述的旋转环包括调节字体颜色旋转环和调节字体粗细的旋转环,分别设置在壳体的上部,与控制电路板电性连接,旋转环可左右旋转,通过旋转选择字体色彩其选择的色彩显示在壳体上RGB发光二极管的导光环上。并定义切换开关使智能触控笔在鼠标功能和书写功能之间切换。本发明相对于上述专利技术。有以下几点不同：①打破传统思维，提出了语音交互的方式，可以利用语音控制的方式控制激光笔输出的字体颜色和粗细。②为触控笔提供了丰富的智能控制功能，包括OCR图文识别、文字翻译、图像识别提取、手势识别等。③定义了触控笔的智能按键操作方式，按键的位置和交互方式方便用户使用。

经检索，发现申请号为“201821708859.8”的一种智能触控笔，在触控笔中加入了语音模块。当用户通过语音模块对电子装置进行语音输入时，既可通过语音数据转换的文本数据生成文本，还可根据文本数据生成控制指令以对电子装置进行控制。本发明采用的方法，相对于上述专利技术，有以下几点不同：①除了语音键之外，我们还引入了多个智能按键，例如翻译键、识图键、手势键；②交互方式，本发明采用自动判断控制和输入场景需求，一个键完成控制和输入功能。交互方式是按住说话，说完松开；③本发明引入更多的在线服务能力，例如：翻译服务、图像识别服务、手势识别服务等。

发明内容

本发明的目的是为了解决现有技术中智能触控笔功能单一的问题，而提出的一种智能触控笔交互方法。

为了实现上述目的，本发明采用了如下技术方案：

一种智能触控笔交互方法，包括触控笔、手势键、语音键、识图键、翻译键、笔头与触控板系统，所述触控笔下端两次对称开设有多个按键槽，且多个按键槽均设置在笔头的上方，所述手势键、语音键、试图键与翻译键分别位于相对应的按键槽内；

所述触控板系统包括手势控制模块、语音控制模块、识图控制模块与翻译模块，所述手势控制模块、语音控制模块、识图控制模块与翻译模块分别于手势键、语音键、识图键与翻译键通过电连接。

在上述的一种智能触控笔交互方法中，所述手势键设置在语音键的上方，与手势键电连接的所述手势控制模用来帮助手势键进行手势控制。

在上述的一种智能触控笔交互方法中，所述语音控制模块包括语音打字、语音控制与智能字幕。

在上述的一种智能触控笔交互方法中，所述识图控制模块包括OCR文字识别、文字翻译与图像识别提。

在上述的一种智能触控笔交互方法中，所述翻译模块包括语音翻译和划词翻译。

在上述的一种智能触控笔交互方法中，所述触控笔内设置电子控制元件，且手势键、语音键、识图键与翻译键均与电子控制元件电连接。

与现有的技术相比，本发明优点在于：

本发明在于提供一种智能触控笔交互方法，以解决智能触控笔功能单一的问题。所述操作方法，需要在智能触控笔上定义智能按键，并通过配套软件进行功能实现。用户可以使用对应的功能按键和不同的按键操作方式实现语音打字、语音控制、语音翻译、划词翻译、屏幕识图、手势识别的功能。该智能触控笔可以提高智能办公使用场景下的工作效率，提高时间利用率。

综上所述，本发明提供一种智能触控笔交互方法方法，该方法可以应用于触控笔上，配以相应的软件程序。仅仅使用一个触控笔就可以进行语音控制，语音打字，语音翻译，划词翻译，手势识别，屏幕识图等功能，不需要在软件上来回切换设置。直接通过不同的按键操作实现复杂的功能切换。

附图说明

图1为本发明提出的一种智能触控笔交互方法的结构示意图；

图2为本发明提出的一种智能触控笔交互方法中的按键功能图；

图3为本发明提出的一种智能触控笔交互方法中的实现流程图；

图4为本发明提出的一种智能触控笔交互方法中的实现架构图；

图5为本发明提出的一种智能触控笔交互方法中语音控制功能图；

图6为本发明提出的一种智能触控笔交互方法中手势识别功能图。

图中：1触控笔、2手势键、3语音键、4识图键、5翻译键、6笔头。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

参照图1-6，一种智能触控笔交互方法，包括触控笔1、手势键2、语音键3、识图键4、翻译键5、笔头6与触控板系统，控制系统通过电脑进行下载到桌面上并通过蓝牙与触控笔1电连接，其具体的连接方式与下载方式均为成熟的现有技术，在此不做详细赘述，触控笔1下端两次对称开设有多个按键槽，且多个按键槽均设置在笔头6的上方，手势键2、语音键3、试图键4与翻译键5分别位于相对应的按键槽内；

触控板系统包括手势控制模块、语音控制模块、识图控制模块与翻译模块，手势控制模块、语音控制模块、识图控制模块与翻译模块分别于手势键2、语音键3、识图键4与翻译键5通过电连接；

手势键2设置在语音键3的上方，与手势键2电连接的手势控制模用来帮助手势键2进行手势控制；

进一步的：2手势键有两种功能，按住手势键2可以使用触控笔划出指定手势，实现相应操作，按住手势键2，并往指定方向滑动。

该触控笔设计了17个手势识别功能，分别为：

向上翻页(代替滚轮)：按住手势键2，向上画直线后松开按键。

向下翻页：按住手势键2，向下画直线后松开按键。

后退：按住手势键2，向左画直线后松开按键。

前进：按住手势键2，向右画直线后松开按键。

前一个标签：按住手势键2，先向上画直线，再向左画直线后松开按键。

后一个标签：按住手势键2，先向上画直线，再向右画直线后松开按键。

打开指定文件夹：按住手势键2，先向下画直线，再向左画直线后松开按键。

关闭标签页：按住手势键2，先向下画直线，再向右画直线后松开按键。

打开百度：按住手势键2，先向左画直线，再向下画直线，最后向右画直线后松开按键。

打开新的标签页：按住手势键2，先向右画直线，再向上画直线后松开按键。

关闭所有标签页：按住手势键2，先向左画直线，再向上画直线后松开按键。

重新载入：按住手势键2，先向右画直线，再向下画直线后松开按键。

停止：按住手势键2，先向左画直线，再向下画直线后松开按键。

恢复关闭的标签：按住手势键2，先向右画直线，再向左画直线后松开按键。

关闭标签页：按住手势键2，先向左画直线，再向右画直线后松开按键。

滚动到页面的底部：按住手势键2，先向上画直线，再向下画直线后松开按键。

滚动到页面的顶部：按住手势键2，先向下画直线，再向上画直线后松开按键。

双击手势键2可以模拟鼠标右键的单击效果。手势键2可以为用户在浏览网页时提供便捷，并且也可以快速打开指定网页或是指定文件夹；

语音控制模块包括语音打字、语音控制与智能字幕三种功能，按住语音键3进行语音打字和语音控制。如果检测到系统有输入提示符存在，则进行语音打字。检测不到输入提示符则进行语音控制。语音打字可以让用户通过语音输入，将语音识别结果通过输入提示符处输出。语音控制可以通过说出对应的控制命令实现语音打开网页、语音打开软件、语音打开系统设置；

语音控制分为9个场景，分别为触控笔控制、计算机控制、网站、网络搜索、新闻、地图、购物、视频、音乐。基本涵盖日常上网场景。

触控笔控制场景可以控制触控笔在平板和屏幕上的线条粗细，线条颜色，以及压感调节。例如说“线条加粗”，调节触控笔在平板上划出的线条变粗。

计算机控制场景可以语音打开操作系统上安装的软件和系统设置页面，例如说“打开QQ”执行打开腾讯QQ软件操作。说“声音设置”执行打开声音设置界面操作。

网站场景涵盖了日常使用的知名度较高的几千个网站，例如说“打开百度”，“打开天猫”即可打开浏览器访问对应网站。

网络搜索场景可以将关键词在搜索引擎上进行搜索，例如说“搜索语音鼠标”即可打开百度并搜索“语音鼠标”。

新闻场景可以打开对应的新闻网站和子网站，例如说“新浪体育新闻”会打开新浪网上的体育新闻栏目网页。

地图场景可以打开百度地图或者高德地图进行目的地导航，例如说“导航到科大讯飞”，会在百度地图上导航到“科大讯飞”这个地点。

购物场景可以在购物网站上搜索对应的商品，例如说“在天猫上买足球”，可以打开天猫网站并搜索足球商品。

视频场景可以在视频网站上搜索视频，例如说“我想看人民的名义”，默认会在爱奇艺网站上搜索人民的名义。

音乐场景可以在音乐网站上搜索对应音乐并进行播放，例如说“听周杰伦的歌”会在酷狗上搜索到周杰伦的歌并随机进行播放。双击语音键3还可以实现智能字幕的功能，打开智能字幕控件，将实时录音转化为字幕显示出来，并实时记录音频信息和识别文本。用户再次双击语音键3可以关闭智能字幕。通过语音键3用户可以实现快速的语音文字输入，对设备的智能操控并在需要的时候打开智能字幕功能进行会议记录和字幕展示；

识图控制模块包括OCR文字识别、文字翻译与图像识别提；识图键4可以快速进行屏幕截图并对截图区域进行OCR文字识别、文字翻译、图像识别提取。按住识图键4拖动触控笔在屏幕上选定矩形截图区域，松开识图键4完成截图。截图完成后，可以选择保存截图，对截图区域进行OCR文字识别、文字翻译、图像识别提取功能。OCR文字识别可以对图片中的文字信息进行提取，文字翻译可以对图片中的文字信息进行提取后翻译为对应语种。图像识别提取可以对图片进行特征提取，分离图像背景和主要要素，用户通过识图键4，可以快速抓取屏幕内容，并对文字和图像主要内容进行识别和翻译；

翻译模块包括语音翻译和划词翻译，按住翻译键5进行语音翻译。用户可以说中文出英文。翻译语言设置项可以在触控板的软件端进行设置。单击翻译键5可以进行划词翻译，用户在电脑上选中一段文字，单击翻译键5，可以对这段选中的文字进行实时翻译，并且可以对翻译结果进行复制。翻译语言设置项在软件端进行设置；

触控笔1内设置电子控制元件，且手势键2、语音键3、识图键4与翻译键5均与电子控制元件电连接。

具体的操作流程如下：

步骤1：用户按下智能语音触控笔上的语音键3。

步骤2：触控笔将语音键3键值通过无线传输给触控板。

步骤3：在触控板上安装软件，并在系统后台运行，持续进行功能键键值监测。

步骤4：软件检测到语音键3键值后，根据键值间隔时间判断是长按还是双击。

步骤5：软件判断语音键3为一直按下，进入语音打字/语音控制模块。

步骤6：软件判断界面上是否有输入光标，若存在进行语音打字。若不存在光标则进行语音控制。

步骤7：软件开启录音识别模块，记录触控板录音数据并通过接口识别为文字。

步骤8：将识别文字输入在输入光标处。

同理，其他功能键的实现逻辑同语音键3类似；

值得注意的是：智能语音触控笔的实现架构主要在于利用键值信息的传递、应用层的功能实现和服务端的强大服务能力。

智能语音触控笔将功能键键值传递给触控板系统，通过触控板上的应用层调用系统键值检测接口读取触控笔键值信息。应用软件根据键值信息判断需要实现的功能，并调用云端服务器提供的各种功能接口进行功能实现。

图片识别通过调用OCR图片文字识别服务，将截图内容作为图片上传识别，返回相应文字结果。图像识别提取通过调用图像特征识别，可以得到相应的图像要素。文字翻译可以在OCR图片文字识别后再进行机器翻译，将图片上的中文信息翻译为英文。语言在软件端进行设置。

语音打字需要调用语音识别服务，将音频流上传至语音识别服务器并获取返回的识别文本，最后将识别文本通过系统接口或者模拟按键的方式输出至打字光标处。

语音控制通过调用语音识别和语义理解服务，首先将音频信息进行语音识别，获取文本信息，然后通过语义理解进行分词和场景识别，返回相应场景和实体，应用软件根据相应场景和实体打开相应网站并进行检索。

智能字幕通过调用语音识别服务，应用程序持续上传录音音频流至语音转写接口，根据返回的文本信息进行拼接和分段，最后显示在字幕控件上。同时将录音数据和识别文本保存为文件进行存储。

语音翻译通过调用语音识别和机器翻译服务，先通过语音识别将录音音频流识别为文字，再根据翻译语言设置利用机器翻译服务翻译为目标语言。

划词翻译通过调用机器翻译服务，应用程序先获取屏幕上选中的文本，并上传至机器翻译接口，最后获取翻译接口并通过窗口进行展示

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种智能触控笔交互方法，包括触控笔(1)、手势键(2)、语音键(3)、识图键(4)、翻译键(5)、笔头(6)与触控板系统，其特征在于，所述触控笔(1)下端两次对称开设有多个按键槽，且多个按键槽均设置在笔头(6)的上方，所述手势键(2)、语音键(3)、试图键(4)与翻译键(5)分别位于相对应的按键槽内；

所述触控板系统包括手势控制模块、语音控制模块、识图控制模块与翻译模块，所述手势控制模块、语音控制模块、识图控制模块与翻译模块分别于手势键(2)、语音键(3)、识图键(4)与翻译键(5)通过电连接。

2.根据权利要求1所述的一种智能触控笔交互方法，其特征在于，所述手势键(2)设置在语音键(3)的上方，与手势键(2)电连接的所述手势控制模用来帮助手势键(2)进行手势控制。

3.根据权利要求1所述的一种智能触控笔交互方法，其特征在于，所述语音控制模块包括语音打字、语音控制与智能字幕。

4.根据权利要求1所述的一种智能触控笔交互方法，其特征在于，所述识图控制模块包括OCR文字识别、文字翻译与图像识别提。

5.根据权利要求1所述的一种智能触控笔交互方法，其特征在于，所述翻译模块包括语音翻译和划词翻译。

6.根据权利要求1所述的一种智能触控笔交互方法，其特征在于，所述触控笔(1)内设置电子控制元件，且手势键(2)、语音键(3)、识图键(4)与翻译键(5)均与电子控制元件电连接。

Images