CN116700506A - 智能笔与交互平板的交互方法、装置、设备以及存储介质 - Google Patents

智能笔与交互平板的交互方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN116700506A
CN116700506A CN202210191411.8A CN202210191411A CN116700506A CN 116700506 A CN116700506 A CN 116700506A CN 202210191411 A CN202210191411 A CN 202210191411A CN 116700506 A CN116700506 A CN 116700506A
Authority
CN
China
Prior art keywords
intelligent pen
pen
interaction
intelligent
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210191411.8A
Other languages
English (en)
Inventor
柳石林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shizhen Information Technology Co Ltd
Original Assignee
Guangzhou Shizhen Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shizhen Information Technology Co Ltd filed Critical Guangzhou Shizhen Information Technology Co Ltd
Priority to CN202210191411.8A priority Critical patent/CN116700506A/zh
Publication of CN116700506A publication Critical patent/CN116700506A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

本申请实施例提供了一种智能笔与交互平板的交互方法、装置、设备以及存储介质，该方法包括：获取智能笔到交互平板上各个定位装置的距离；获取所述智能笔相对于所述交互平板的空间坐标；根据设置在所述智能笔上的传感器，获取所述智能笔在空间中的俯仰角和航向角；根据所述智能笔的空间坐标，以及所述智能笔在空间中的俯仰角和航向角，计算所述智能笔指向的目标点的坐标信息；根据所述智能笔指向的目标点的坐标信息，以及所述智能笔接收到的操作信息，使所述交互平板执行对应操作。本申请实施例通过智能笔和交互平板的交互，使得智能笔可以迅速且准确的指向目标点，解决了用户在使用空鼠系统时操作不便，效率降低的问题，提高用户操作的便捷性。

Description

智能笔与交互平板的交互方法、装置、设备以及存储介质
技术领域
本申请实施例涉及交互平板控制领域，特别是涉及一种智能笔与交互平板的交互方法、装置、设备以及存储介质。
背景技术
在智能教室或智能会议室的使用场景中，主讲人使用的是基于鼠标的空鼠系统，主讲人通过移动鼠标来实现指向智能教室或智能会议室中的交互平板上的目标点来实现指示操作。而鼠标的移动需要鼠标垫等物品做依托。鼠标和鼠标垫等物品之间有感应范围，鼠标的每一次移动都受到感应范围的限制，如果鼠标离开了这一感应范围，那就无法完成指示操作，需要将鼠标重新移回到感应范围内。因此基于鼠标的空鼠系统使用户操作时较为不便，降低了效率。
一种现有的改进方案为通过感测控制终端,如遥控器、智能手机等的空间位移，控制交互平板上的光标移动到目标点，然而这种控制方式受到遥控器、智能手机等的定位准确性，以及光标位移转换关系等影响，精准度不高，且有时候将光标移动到目标点需要反复操作，耗时较多，操作不够友好。
发明内容
为克服相关技术中存在的问题，本申请提供了一种智能笔与交互平板的交互方法、装置、设备以及存储介质，应用在交互平板和智能笔上，通过智能笔和交互平板的交互，使智能笔可以在定位装置范围内的任意位置方便且准确的指向目标点并指示交互平板完成相关操作，解决了用户在使用空鼠系统时操作不便，降低效率的问题，提高用户的便捷性。
根据本申请的实施例的第一方面，提供了一种智能笔与交互平板的交互方法，包括如下步骤：
获取智能笔到交互平板上设置的各个定位装置的距离，其中，所述交互平板在至少三个不同的位置设置有所述定位装置；
根据所述智能笔到各个所述定位装置的距离，获取所述智能笔相对于所述交互平板的空间坐标；
根据设置在所述智能笔上的传感器，获取所述智能笔在空间中的俯仰角和航向角；
根据所述智能笔的空间坐标，以及所述智能笔在空间中的俯仰角和航向角，计算所述智能笔指向的目标点的坐标信息，其中所述目标点为所述智能笔所在的直线与所述交互平板所在平面的交点；
根据所述智能笔指向的目标点的坐标信息，以及所述智能笔接收到的操作信息，使所述交互平板执行对应的操作。
根据本申请的实施例的第二方面，提供一种智能笔与交互平板的交互装置，包括：
距离获取模块，用于获取智能笔到交互平板上设置的各个定位装置的距离，其中，所述交互平板在至少三个不同的位置设置有所述定位装置；
智能笔坐标获取模块，用于根据所述智能笔到各个所述定位装置的距离，获取所述智能笔相对于所述交互平板的空间坐标；
姿态获取模块，用于根据设置在所述智能笔上的传感器，获取所述智能笔在空间中的俯仰角和航向角；
目标点获取模块，用于根据所述智能笔的空间坐标，以及所述智能笔在空间中的俯仰角和航向角，计算所述智能笔指向的目标点的坐标信息，其中所述目标点为所述智能笔所在的直线与所述交互平板所在平面的交点；
操作信息获取模块，用于根据所述智能笔指向的目标点的坐标信息，以及所述智能笔的操作信息，使所述交互平板执行对应的操作。
根据本申请的实施例的第三方面，提供一种电子设备，包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上任意一项所述方法的步骤。
根据本申请的实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上任意一项所述方法的步骤。
本申请实施例通过在交互平板中设置定位装置，获取智能笔到交互平板设置的各个定位装置的距离，从而获取所述智能笔相对于所述交互平板的空间坐标；通过设置在所述智能笔上的传感器，获取所述智能笔在空间中的俯仰角和航向角，进而计算所述智能笔指向的目标点的坐标信息，再结合所述智能笔接收到的操作信息，使所述交互平板执行对应的操作。从而使得智能笔在交互范围内的任意位置都可以准确，快捷地指示目标点的坐标信息，与交互平板进行准确的交互，解决了用户在使用空鼠系统时操作不便，降低效率的问题，提高用户的便捷性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例示出的智能笔与交互平板的交互方法应用环境的示意框图；
图2为本申请实施例示出的智能笔与交互平板的交互方法的流程图；
图3为本申请实施例示出的智能笔与交互平板的交互方法中，构建空间直角坐标系的示意图；
图4为本申请实施例示出的智能笔与交互平板的交互方法中获取智能笔相对于交互平板的空间坐标的流程图；
图5为本申请实施例示出的智能笔与交互平板的交互方法中书写模式的流程图；
图6为本申请实施例示出的智能笔与交互平板的交互方法中获取目标点的坐标信息的流程图；
图7为本申请实施例示出的智能笔与交互平板的交互方法中控制交互平板执行对应的操作流程图；
图8为本申请实施例示出的智能笔与交互平板的交互方法中进行网络连接的流程图；
图9为本申请实施例示出的智能笔与交互平板的交互装置的结构示意图；
图10为本申请实施例示出的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例作进一步地详细描述。
应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。在此所使用的词语“如果”/“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。
请参阅图1，其是本申请实施例示出的智能笔与交互平板的交互方法的应用环境的示意框图。如图1所示，所述智能笔与交互平板的交互方法应用于智能教室、会议室等应用场景，其中，交互平板用于显示教室、会议室中需要展示的信息、应用、图片、视频等内容，智能笔则用于用户与所述交互平板进行交互，如通过智能笔与交互平板进行触控交互、书写、批注等等操作。
所述交互平板，是一种通过触控技术对显示在显示平板上的内容进行操控和实现人机交互操作的一体化设备。
所述交互平板可集成投影机、电子白板、幕布、音响、电视机、视频会议终端的多种功能，适用于群体沟通场合，广泛应用于教育教学、企业会议、商业展示等领域。
所述交互平板的硬件部分由触摸定位识别系统、显示系统、智能处理系统等三大部分所构成，由整体结构件结合到一起，同时也由专用的软件系统作为支撑。当用户用手指或无源笔触摸屏幕时，触摸系统将该点坐标定位，从而实现对智能处理系统的控制，随后通过智能处理系统内置的软件来实现不同的功能应用。
在一种实施例中，所述交互平板，其工作原理为：利用横竖方向上密布的红外线对管矩阵来检测并定位用户的触摸。所述交互平板的四周布满红外接收管和红外发射管，这些红外接收管和红外发射管在所述交互平板表面是一一对应的排列关系，形成一张由红外线布成的光网，当用户触摸屏幕时，手指或其他不透明物体就会挡住经过该点的横竖红外线，控制器便会判断出触点的坐标位置。
如图1所示，所述交互平板上设置有至少三个定位装置，所述三个定位装置设置在所述交互平板的至少三个不同的位置，分别测量所述交互平板的三个不同的位置与所述智能笔之间的距离，从而对所述智能笔的空间位置进行定位。在一个实施方式中，所述定位装置为UWB发射模块，所述智能笔上设置有UWB接收模块，所述UWB发射模块发出测距信号，所述UWB接收模块接收所述测距信号，根据所述测距信号计算出所述UWB发射模块与所述UWB接收模块之间的距离，即获得所述交互平板的三个不同的位置与所述智能笔之间的距离。
超宽带(Ultra Wide Band，UWB)技术是一种无线载波通信技术，利用纳秒级的非正弦波窄脉冲传输数据，因此其所占的频谱范围很宽。UWB技术具有系统复杂度低，发射信号功率谱密度低，对信道衰落不敏感，截获能力低，定位精度高等优点，尤其适用于室内等密集多径场所的高速无线接入。
UWB具有系统结构实现简单、高速的数据传输、功耗低、安全性高、多径分辨能力强、定位精准以及工程造价便宜等特点；同时UWB系统发射和接收的是纳秒级的非正弦波窄脉冲，不需要采用正弦载波而直接进行调制，接收机利用相关器件能直接完成信号检测，这样，收发信机不需要复杂的载频调制解调电路和滤被器，只需要一种数字方式来产生纳秒级的非正弦波窄脉冲。因此，采用UWB技术可以大大降低系统的复杂度，减小收发信机的体积，降低收发信机的功耗，易于数字化和采用软件无线电技术。
所述智能笔，是一种与所述交互平板匹配的输入控制设备。其可以是集成有定位接收模块、处理器、储存器和无线传输模块的一体智能笔，也可以是在普通的交互平板触摸笔上安装一个独立的交互装置，所述交互装置集成有定位接收模块、处理器、储存器和无线传输模块，从而实现与交互平板的空间定位和控制交互。
所述智能笔可进一步设置有匹配模块，用于与所述交互平板进行匹配。在一个实施例中，所述匹配模块可为NFC感应器，其感应交互平板上的NFC标签后，即可获得所述交互平板的配对信息，从而与所述交互平板完成配对。
所述智能笔在多媒体教室、小型会议、个人办公等场合有着广泛的应用。
在一个实施例中，所述智能笔设置有用于指示所述目标点的激光发射器。
所述激光发射器是一种能够发射激光的指示装置，其用于发射指示目标点位置的可见光，便于用户查看智能笔指向的目标点位置。
在一个实施例中，所述智能笔上设置有获取所述智能笔在空间中的姿态信息的传感器，所述传感器可以包括陀螺仪和加速度传感器，用于获取所述智能笔在空间中的俯仰角、航向角和三维加速度。
所述智能笔还可设置有用于输入操作指令的操作按钮，通过触发所述操作按钮即可发出与所述交互平板交互的操作信息。所述智能笔还可具有无线单用户与多用户一体功能，通过设置不同的用户身份标识，绑定不同用户的设置。
实施例1
本申请实施例公开了一种智能笔与交互平板的交互方法，该方法应用于电子设备，在本申请实施例中所述电子设备为交互平板。
下面将结合附图2，对本申请实施例提供的一种智能笔与交互平板的交互方法进行详细介绍。
本申请实施例提供的智能笔与交互平板的交互方法，其执行的步骤包括：
S101，获取智能笔到交互平板上设置的各个定位装置的距离，其中，所述交互平板在至少三个不同的位置设置有所述定位装置；
S102，根据所述智能笔到各个所述定位装置的距离，获取所述智能笔相对于所述交互平板的空间坐标；
S103，根据设置在所述智能笔上的传感器，获取所述智能笔在空间中的俯仰角和航向角；
S104，根据所述智能笔的空间坐标，以及所述智能笔在空间中的俯仰角和航向角，计算所述智能笔指向的目标点的坐标信息，其中所述目标点为所述智能笔所在的直线与所述交互平板所在平面的交点；
S105，根据所述智能笔指向的目标点的坐标信息，以及所述智能笔的操作信息，使所述交互平板执行对应的操作。
本申请实施例通过在智能笔和交互平板中设置定位装置，获取智能笔到交互平板设置的各个定位装置的距离，从而获取所述智能笔相对于所述交互平板的空间坐标；通过设置在所述智能笔上的传感器，获取所述智能笔在空间中的俯仰角和航向角，进而计算所述智能笔指向的目标点的坐标信息，再结合所述智能笔接收到的操作信息，使所述交互平板执行对应的操作。从而使得智能笔在交互范围内的任意位置都可以准确，快捷地指示目标点的坐标信息，与交互平板进行准确的交互，解决了用户在使用空鼠系统时操作不便，降低效率的问题，提高用户的便捷性。
所述交互平板上设置的定位发射装置为UWB发射模块，所述智能笔中设置的定位接收装置为UWB接收模块。
所述智能笔与交互平板中，1个UWB发射模块与1个UWB接收模块组成一组通过UWB技术进行无线测距的定位模块。
对于步骤S101，所述交互平板在至少三个不同的位置上设置3个定位发射装置，所述智能笔中设置1个定位接收装置，组成一套室内定位系统。该定位发射装置用来发射定位信号，可以用定位接收装置来接收定位信号。当定位信号被智能笔中的定位接收装置接收到后，就可以确定定位接收装置到定位发射装置之间的距离。
对于所述定位发射装置设置在交互平板的至少三个不同的位置上，其中，可以是所述交互平板的三个边角位置，这三个边角位置可以是任意的三个边角位置，可以是边框拐角处，也可以是交互平板的边缘任意位置。所述定位发射装置可以是三个，也可以是三个以上。
对于步骤S102，根据步骤S101获取到的智能笔到各个定位接收装置的距离，接下来获取所述智能笔相对于所述交互平板的空间坐标。
在获取所述空间坐标之前，需要先建立空间直角坐标系。
所述空间直角坐标系，以所述交互平板所在的平面为XZ轴基准面，以基准面的法向量为Y轴。
所述空间坐标是智能笔在所述空间直角坐标系中，相对于交互平板的位置，记为P(x1,z1,y1)，其中y1是智能笔到交互平板的最短距离。
对于步骤S103，所述智能笔上设置有传感器，用来获取智能笔在空间中的俯仰角和航向角。所述传感器包括陀螺仪和加速度计，所述加速度计又被称为加速度传感器。
请参考图3，所述俯仰角是智能笔笔体所在的直线与水平面的夹角，记为α，所述水平面是与所述基准面垂直的水平方向的平面；所述航向角是智能笔笔体所在的直线与所述基准面法向量的夹角，记为β。
对于步骤S104，所述目标点位于所述交互平板所在的平面，为所述智能笔所在的直线与所述交互平板所在平面的交点。根据步骤S102中获取到的智能笔空间坐标以及步骤S103中获取到的俯仰角和航向角，可以计算出所述目标点的坐标。
对于步骤S105，用户对所述智能笔发出操作信息，获取所述智能笔指向的目标点坐标信息。根据目标点的坐标信息，结合所述操作信息控制交互平板做出对应操作。所述操作信息包括：指向目标文字、对目标文字做批注和标记以及切换智能笔到书写模式等。
请参阅图3、图4，在本申请的一个实施例中，所述获取所述智能笔相对于所述交互平板的空间坐标的步骤包括：
S201，以所述交互平板所在的平面为XZ轴基准面，X为横轴，Z为竖轴，以XZ轴基准面的法向量作为Y轴，构建空间直角坐标系；
所述空间三角坐标系中，交互平板所在的平面为XZ轴基准面，X轴为横轴，Z轴为竖轴，X轴与Z轴垂直，以XZ轴基准面的法向量作为Y轴，且原点为(0,0,0)，位于交互平板左下角X轴与Z轴的交点处。
S202，根据所述定位接收装置到三个所述定位发射装置的距离，计算所述定位接收装置到所述基准面的投影坐标(x1，z1)，以及所述定位接收装置到所述基准面的最短距离y1；
所述智能笔设置的定位接收装置接收3个所述定位发射装置发射的定位信号，从而可以计算所述定位接收装置到三个所述定位发射装置的距离。
S203，将所述坐标(x1，z1，y1)获取为所述智能笔相对于所述交互平板的空间坐标。
本申请通过设置3个UWB发射模块与1个UWB接收模块，构成室内定位系统，可以获得所述智能笔相对于所述交互平板的空间坐标。通过智能笔上的定位接收装置以及交互平板上的定位发射装置，可以更准确的获取到智能笔的位置数据，包括智能笔到交互平板的最短距离；通过建立空间直角坐标系，获取到智能笔相对于交互平板的投影坐标，根据最短距离以及投影坐标，计算并确定智能笔的空间坐标。
在一个实施例中，所述设置在所述智能笔上的传感器包括陀螺仪和加速度传感器；所述获取所述智能笔在空间中的俯仰角和航向角的步骤包括：通过所述陀螺仪和加速度传感器，获取所述智能笔在空间中的俯仰角、航向角和三维加速度。
通过设置在智能笔上传感器中的陀螺仪，可以准确的获取到智能笔在空间中的俯仰角和航向角；同时通过设置在智能笔上传感器中的加速度传感器，可以准确的获取到智能笔在空间中的三维加速度，从而可以进一步确定所述智能笔的运动轨迹。
则所述智能笔的操作信息可通过以下方式获取：
根据所述智能笔在空间中的俯仰角、航向角和三维加速度，获取所述智能笔在空间中的运动轨迹，如果所述智能笔在空间中的运动轨迹符合预先设置的操作指令的轨迹，则获取与所述运动轨迹对应的操作指令。
所述操作指令的轨迹预先设置并保存于智能笔本地或者所述智能笔无线连接的服务器，或者储存在所述交互平板中，获取所述智能笔在空间中的运动轨迹后，将所述运动轨迹与所述操作指令的轨迹集对比，如判断属于某一个操作指令，则执行所述操作指令，提高交互便利性。
也可以在所述智能笔中设置操作指令的检测按钮，当所述操作指令的检测按钮被触发时，检测所述智能笔的运动轨迹与所述操作指令的轨迹集对比，如所述检测按钮未被触发，则不对所述智能笔的运动轨迹检测或者不进行运动轨迹与所述操作指令的轨迹集的对比。
在一个实施例中，可以允许用户进行操作指令的个性化设置，或产生自己个性化的操作指令。
具体地，接收智能笔的操作指令设置请求，确定需设置的操作指令，获取智能笔的第一运动轨迹，将所述第一运动轨迹与对应的操作指令绑定。
通过以上方式即可实现操作指令的个性化设置，使每个用户根据自己使用习惯设置更加适合自己的操作手势。
作为本申请的另一种实施例，所述智能笔上也可以设置有对应的操作按钮，当所述操作按钮被触发时，生成对应的操作指令。
所述操作按钮可包括：模式切换按钮(书写模式和非书写模式)、方向键、确认按钮等。
请参阅图5，在本申请的一个实施例中，所述智能笔设置有书写模式，以及对应的书写触发按钮，所述根据所述智能笔指向的目标点的坐标信息，以及所述智能笔接收到的操作信息，控制所述交互平板执行对应的操作的步骤包括：
S301，响应于所述书写触发按钮的触发信息，获取当前时刻的所述目标点的坐标信息，并在所述交互平板中显示书写控件；
所述书写模式可通过所述模式切换按钮触发，智能笔响应所述触发信息，同时获取当前目标点的坐标信息，在所述交互平板中显示书写控件。所述书写控件是用户可以与之交互并输入数据的对象，所述书写控件出现在编辑框中或工具栏上。
S302，根据所述智能笔在空间中的俯仰角、航向角和三维加速度，获取所述智能笔在空间中的运动轨迹，将所述运动轨迹与预先保存的字库笔迹对比，获取与所述运动轨迹对应的文字，并将所述文字显示在所述书写控件中；
所述字库可以是预先储存于智能笔本地或者所述智能笔无线连接的服务器，或者所述交互平板中。智能笔根据所述运动轨迹对应的笔画和书写步骤与字库笔迹作对比，获取与所述运动轨迹一致的相应文字，然后选择所述文字并显示在所述书写控件中。
S303，接收用户的选择指令，获取所述选择指令对应的文字，将被选中的文字输入到所述目标点对应的坐标位置处。
通过触发书写按钮可以使得智能笔切换到书写模式，用户可以直接用智能笔在空中书写，通过俯仰角、航向角以及三维加速度获取到智能笔的运动轨迹，并与字库笔记做对比，从而根据指令选择对应文字输入对应坐标处，更加方便快捷。
所述书写控件在所述书写触发按钮被触发时显示，进一步地，可以在所述书写触发按钮被触发时，判断当前智能笔指向的目标点位置是否为可编辑区域，如果是可编辑区域，则在所述目标点位置显示输入光标，并在交互平板的指定位置显示书写控件。所述书写控件中可随用户的输入笔迹比较结果，显示多个可能匹配的文字或由该文字组成的词语，供用户选择，用户可以通过发出选择指令选中目标文字或由该目标文字组成的词语。所述选择指令可以由智能笔的目标点移动位置结合确认按钮或确认手势来发出。用户选定后，将选中的文字显示在所述目标点位置处或所述可编辑区域的输入光标位置处。所述字库笔迹可预先储存于智能笔本地或者所述智能笔无线连接的服务器，或者储存在所述交互平板中。
在所述书写模式下，还可以对所述目标文字做批注和标记等操作。
请参阅图6，在本申请的一个实施例中，根据所述智能笔的空间坐标，以及所述智能笔在空间中的俯仰角、航向角，计算所述智能笔指向的目标点的坐标信息的步骤包括：
S401，根据所述智能笔的Y轴坐标y1，以及所述智能笔在空间中的航向角β，获得所述智能笔的X轴坐标x1到所述目标点的X轴坐标x0之间的横轴距离x；
S402，根据所述智能笔的X轴坐标x1，以及所述横轴距离x，获得所述目标点的X轴坐标x0；
S403，根据所述横轴距离x，以及所述智能笔的Y轴坐标y1，以及所述智能笔在空间中的俯仰角α，获得所述目标点的Z轴坐标z0到所述智能笔的Z轴坐标z1之间的竖轴距离z；
S404，根据所述智能笔的Z轴坐标z1，以及所述竖轴距离z，获得所述目标点的Z轴坐标z0。
其中，根据所述智能笔在空间中的航向角β，以及所述智能笔与所述交互平板的垂直坐标y1，计算目标点T的横坐标x0的步骤中，根据勾股定理与智能笔的航向角β计算可得x＝y1*tanβ；智能笔相对于原点的空间坐标为P(x1,z1,y1)，其中y1是智能笔距离交互平板的最短距离，所以x0＝x1-y1*tanβ；
根据所述智能笔在空间中的俯仰角α，计算目标点T的z方向坐标z0的步骤中，根据根据勾股定理与智能笔的俯仰角α可得z0＝(x*x+y1*y1)^(1/2)*tanα+z1；
然后根据x0，z0以及y0得到目标点T的坐标；
因为y0＝0，所以目标点T的坐标为(x1–y1*tanβ,0,(x*x+y1*y1)^(1/2)*tanα+z1)。
通过获取到的智能笔的空间坐标以及智能笔在空间中的俯仰角和航向角，利用空间直角坐标系，根据上述特定的运算方式确定目标点的坐标，可以减少定位的运算量，提高定位运算速度。
请参阅图7，在本申请的一个实施例中，当所述目标点的坐标信息判断为在所述交互平板之外时，控制所述交互平板执行对应的操作的步骤为：
S501，计算所述目标点坐标与所述智能笔的空间坐标的连线在所述交互平板的平面上的投影；
所述投影是在所述交互平板上形成的一条投影线，所述投影线经过所述目标点。
S502，获取所述投影与所述交互平板边缘的交点；
所述投影线与所述交互平板在平板边缘相交于一点。
S503，根据所述交点以及所述智能笔接收到的操作信息，控制所述交互平板在所述交点执行对应的操作。
如果判断目标点的坐标信息发现目标点在交互平板的外面，则无法进行目标点在交互平板内时的一些操作指令。通过本实施例的方法将目标点拉回交互平板内，用户不需要担心操作偏差导致目标点在平板外而使交互操作失败。
在其他实施例中，当所述目标点的坐标信息在所述交互平板之外，并且离开所述交互平板的最小距离达到预设阈值时，发出提示信息，提醒用户将智能笔指向所述交互平板。
请参阅图8，在本申请的一个实施例中，所述智能笔与交互平板的交互方法还包括控制交互平板和智能笔配对的步骤以下步骤：
S601，创建无线热点；
S602，响应所述智能笔的热点连接请求；
S603，将所述智能笔加入所述无线热点的网络连接；
S604，通过所述无线热点的网络连接获取所述智能笔发送的目标点的坐标信息，以及所述智能笔的操作信息。
通过交互平板创建无线热点，使智能笔在发出连接请求后，可以及时响应并将智能笔加入网络连接。从而通过网络连接获取智能笔发送的目标点的坐标信息以及操作信息。通过无线热点的网络连接，会让智能笔在使用过程中反应更加准确快捷。
实施例2
请参阅图9，为本申请实施例提供的智能笔与交互平板的交互装置20的结构示意图。该装置可以通过软件、硬件或两者的结合实现成为交互平板的全部或一部分。该装置包括：
距离获取模块201，用于获取智能笔到交互平板上设置的各个定位装置的距离，其中，所述交互平板在至少三个不同的位置设置有所述定位装置；
智能笔坐标获取模块202，用于根据所述智能笔到各个所述定位装置的距离，获取所述智能笔相对于所述交互平板的空间坐标；
姿态获取模块203，用于根据设置在所述智能笔上的传感器，获取所述智能笔在空间中的俯仰角和航向角；
目标点获取模块204，用于根据所述智能笔的空间坐标，以及所述智能笔在空间中的俯仰角和航向角，计算所述智能笔指向的目标点的坐标信息，其中所述目标点为所述智能笔所在的直线与所述交互平板所在平面的交点；
操作信息获取模块205，用于根据所述智能笔指向的目标点的坐标信息，以及所述智能笔的操作信息，使所述交互平板执行对应的操作。
需要说明的是，上述实施例提供的智能笔与交互平板的交互装置在执行智能笔与交互平板的互动方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分为不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的智能笔与交互平板的交互装置与所述智能笔与交互平板的交互方法属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
实施例3
请参阅图10，为本申请实施例提供的计算机设备的结构示意图。如图10所示，该计算机设备21可以包括：处理器210、存储器211以及存储在该存储器211并可以在该处理器210上运行的计算机程序212，例如：智能笔与交互平板的交互程序；该处理器210执行该计算机程序212时实现上述实施例中的步骤。
其中，该处理器210可以包括一个或多个处理核心。处理器210利用各种接口和线路连接计算机设备21内的各个部分，通过运行或执行存储在存储器211内的指令、程序、代码集或指令集，以及调用存储器211内的数据，执行计算机设备21的各种功能和处理数据，可选的，处理器210可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programble LogicArray，PLA)中的至少一个硬件形式来实现。处理器210可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责触摸显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器210中，单独通过一块芯片进行实现。
其中，存储器211可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器211包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器211可用于存储指令、程序、代码、代码集或指令集。存储器211可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控指令等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器211可选的还可以是至少一个位于远离前述处理器210的存储装置。
实施例4
本申请实施例还提供了一种计算机存储介质，该计算机存储介质可以存储有多条指令，该指令适用于由处理器加载并执行上述实施例的方法步骤，具体执行过程可以参见上述实施例的具体说明，在此不进行赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。
本发明并不局限于上述实施方式，如果对本发明的各种改动或变形不脱离本发明的精神和范围，倘若这些改动和变形属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变形。

Claims (11)

1.一种智能笔与交互平板的交互方法，其特征在于，包括：
获取智能笔到交互平板上设置的各个定位装置的距离，其中，所述交互平板在至少三个不同的位置设置有所述定位装置；
根据所述智能笔到各个所述定位装置的距离，获取所述智能笔相对于所述交互平板的空间坐标；
根据设置在所述智能笔上的传感器，获取所述智能笔在空间中的俯仰角和航向角；
根据所述智能笔的空间坐标，以及所述智能笔在空间中的俯仰角和航向角，计算所述智能笔指向的目标点的坐标信息，其中所述目标点为所述智能笔所在的直线与所述交互平板所在平面的交点；
根据所述智能笔指向的目标点的坐标信息，以及所述智能笔的操作信息，使所述交互平板执行对应的操作。
2.根据权利要求1所述的智能笔与交互平板的交互方法，其特征在于，所述交互平板在至少三个不同的位置设置3个定位发射装置，所述智能笔中设置1个定位接收装置，所述定位接收装置接收3个所述定位发射装置发射的定位信号；所述获取所述智能笔相对于所述交互平板的空间坐标的步骤包括：
以所述交互平板所在的平面为XZ轴基准面，X轴为横轴，Z轴为竖轴，以XZ轴基准面的法向量作为Y轴，构建空间直角坐标系；
根据所述定位接收装置到三个所述定位发射装置的距离，计算所述定位接收装置到所述基准面的投影坐标(x1，z1)，以及所述定位接收装置到所述基准面的最短距离y1，将所述坐标(x1，z1，y1)获取为智能笔相对于所述交互平板的空间坐标。
3.根据权利要求2所述的智能笔与交互平板的交互方法，其特征在于，所述交互平板上设置的定位发射装置为UWB发射模块，所述智能笔中设置的定位接收装置为UWB接收模块。
4.根据权利要求1所述的智能笔与交互平板的交互方法，其特征在于，所述设置在所述智能笔上的传感器包括陀螺仪和加速度传感器；
所述获取所述智能笔在空间中的俯仰角和航向角的步骤包括：通过所述陀螺仪和加速度传感器，获取所述智能笔在空间中的俯仰角、航向角和三维加速度。
5.根据权利要求4所述的智能笔与交互平板的交互方法，其特征在于，通过以下方式获取智能笔的操作信息：
根据所述智能笔在空间中的俯仰角、航向角和三维加速度，获取所述智能笔在空间中的运动轨迹，如果所述智能笔在空间中的运动轨迹符合预先设置的操作指令的轨迹，则获取与所述运动轨迹对应的操作指令。
6.根据权利要求5所述的智能笔与交互平板的交互方法，其特征在于，所述智能笔设置有书写模式，以及对应的书写触发按钮，所述根据所述智能笔指向的目标点的坐标信息，以及所述智能笔的操作信息，控制所述交互平板执行对应的操作的步骤包括：
响应于所述书写触发按钮的触发信息，获取当前时刻的所述目标点的坐标信息，并在所述交互平板中显示书写控件；
根据所述智能笔在空间中的俯仰角、航向角和三维加速度，获取所述智能笔在空间中的运动轨迹，将所述运动轨迹与预先保存的字库笔迹对比，获取与所述运动轨迹对应的文字，并将所述文字显示在所述书写控件中；
接收用户的选择指令，获取所述选择指令对应的文字，将被选中的文字输入到所述目标点对应的坐标位置处。
7.根据权利要求2所述的智能笔与交互平板的交互方法，其特征在于，根据所述智能笔的空间坐标，以及所述智能笔在空间中的俯仰角、航向角，计算所述智能笔指向的目标点的坐标信息的步骤包括：
根据所述智能笔的Y轴坐标y1，以及所述智能笔在空间中的航向角β，获得所述智能笔的X轴坐标x1到所述目标点的X轴坐标x0之间的横轴距离x；
根据所述智能笔的X轴坐标x1，以及所述横轴距离x，获得所述目标点的X轴坐标x0；
根据所述横轴距离x，以及所述智能笔的Y轴坐标y1，以及所述智能笔在空间中的俯仰角α，获得所述目标点的Z轴坐标z0到所述智能笔的Z轴坐标z1之间的竖轴距离z；
根据所述智能笔的Z轴坐标z1，以及所述竖轴距离z，获得所述目标点的Z轴坐标z0。
8.根据权利要求1所述的智能笔与交互平板的交互方法，其特征在于，当所述目标点的坐标信息判断为在所述交互平板之外，则计算所述目标点坐标与所述智能笔的空间坐标的连线在所述交互平板的平面上的投影，与所述交互平板边缘的交点，并根据所述交点以及所述智能笔接收到的操作信息，使所述交互平板在所述交点执行对应的操作。
9.一种智能笔与交互平板的交互装置，其特征在于，包括：
距离获取模块，用于获取智能笔到交互平板上设置的各个定位装置的距离，其中，所述交互平板在至少三个不同的位置设置有所述定位装置；
智能笔坐标获取模块，用于根据所述智能笔到各个所述定位装置的距离，获取所述智能笔相对于所述交互平板的空间坐标；
姿态获取模块，用于根据设置在所述智能笔上的传感器，获取所述智能笔在空间中的俯仰角和航向角；
目标点获取模块，用于根据所述智能笔的空间坐标，以及所述智能笔在空间中的俯仰角和航向角，计算所述智能笔指向的目标点的坐标信息，其中所述目标点为所述智能笔所在的直线与所述交互平板所在平面的交点；
操作信息获取模块，用于根据所述智能笔指向的目标点的坐标信息，以及所述智能笔的操作信息，使所述交互平板执行对应的操作。
10.一种电子设备，包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上任意一项所述方法的步骤。
11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上任意一项所述方法的步骤。
CN202210191411.8A 2022-02-28 2022-02-28 智能笔与交互平板的交互方法、装置、设备以及存储介质 Pending CN116700506A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210191411.8A CN116700506A (zh) 2022-02-28 2022-02-28 智能笔与交互平板的交互方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210191411.8A CN116700506A (zh) 2022-02-28 2022-02-28 智能笔与交互平板的交互方法、装置、设备以及存储介质

Publications (1)

Publication Number Publication Date
CN116700506A true CN116700506A (zh) 2023-09-05

Family

ID=87832707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210191411.8A Pending CN116700506A (zh) 2022-02-28 2022-02-28 智能笔与交互平板的交互方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN116700506A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372479A (zh) * 2023-12-07 2024-01-09 深圳宏途教育网络科技有限公司 一种智能笔书写轨迹修正方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372479A (zh) * 2023-12-07 2024-01-09 深圳宏途教育网络科技有限公司 一种智能笔书写轨迹修正方法及系统

Similar Documents

Publication Publication Date Title
EP2498237B1 (en) Providing position information in a collaborative environment
CN102830795B (zh) 利用运动传感装置的远程控制
CN102436327B (zh) 一种屏幕输入系统及其实现方法
CN111344663B (zh) 渲染装置及渲染方法
CN106896920B (zh) 虚拟现实系统、虚拟现实设备、虚拟现实控制装置及方法
US20130117717A1 (en) 3d user interaction system and method
CN105934739A (zh) 用于触摸屏设备的虚拟鼠标
JP6386897B2 (ja) 電子黒板、情報処理プログラムおよび情報処理方法
CN110096133A (zh) 红外手势识别装置及方法
US11907466B2 (en) Apparatus and method which displays additional information along with a display component in response to the display component being selected
CN116700506A (zh) 智能笔与交互平板的交互方法、装置、设备以及存储介质
CN104598048A (zh) 数位笔书写控制方法及系统
TWI486815B (zh) 顯示設備及其控制系統和方法
CN102999232A (zh) 一种实现超大尺寸交互电子白板的仿鼠标交互方法
CN104811639B (zh) 信息处理方法及电子设备
CN102073417A (zh) 具有红外触摸识别功能的电子装置
WO2014082417A1 (zh) 一种空中输入设备的运行方法、运行控制方法及相关装置
CN105183190A (zh) 一种具有鼠标功能的激光笔
Mhetar et al. Virtual mouse
CN104133599A (zh) 一种可操作投影面的终端装置及方法
KR101564089B1 (ko) 손동작 인식을 이용한 프리젠테이션 실행시스템
CN201556194U (zh) 一种互动操作输入系统
JP6293903B2 (ja) 情報を表示するための電子機器および方法
CN105468173B (zh) 实现离屏手写输入的自动翻页的电子设备及方法
CN103336587B (zh) 一种九轴惯性定向输入装置的远端悬浮触控设备和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination