CN114237425B - 一种基于手写笔的屏幕可控方法 - Google Patents

一种基于手写笔的屏幕可控方法 Download PDF

Info

Publication number
CN114237425B
CN114237425B CN202111575345.6A CN202111575345A CN114237425B CN 114237425 B CN114237425 B CN 114237425B CN 202111575345 A CN202111575345 A CN 202111575345A CN 114237425 B CN114237425 B CN 114237425B
Authority
CN
China
Prior art keywords
screen
contact
handwriting pen
target
execution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111575345.6A
Other languages
English (en)
Other versions
CN114237425A (zh
Inventor
陈松
梁旭锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Purui High Tech Industrial Co ltd
Original Assignee
Shenzhen Purui High Tech Industrial Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Purui High Tech Industrial Co ltd filed Critical Shenzhen Purui High Tech Industrial Co ltd
Priority to CN202111575345.6A priority Critical patent/CN114237425B/zh
Publication of CN114237425A publication Critical patent/CN114237425A/zh
Application granted granted Critical
Publication of CN114237425B publication Critical patent/CN114237425B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种基于手写笔的屏幕可控方法，包括：步骤1：获取手写笔在屏幕中的初始触点信息，并基于所述初始触点信息生成触点追踪指令；步骤2：基于所述触点追踪指令对所述手写笔在所述屏幕中的运动轨迹进行追踪，确定所述手写笔在所述屏幕中的操作信息；步骤3：根据所述操作信息在所述屏幕中同步执行对应的执行内容。通过确定手写笔的初始触点信息，从而准确生成触点追踪指令，进而确定手写笔在屏幕中的操作信息，并在屏幕中同步执行内容，大大提高了手写笔控制屏幕的精准性以及灵敏性。

Description

一种基于手写笔的屏幕可控方法
技术领域
本发明涉及智能电子控制技术领域，特别涉及一种基于手写笔的屏幕可控方法。
背景技术
目前，随着科学技术的发展，使得电子通讯行业不断的进度，从而使得电子产品行业有着突飞猛进的发展，因此随着手机、平板等的发展，通过手写笔触控屏幕也应用而生；
然而，现如今的手写笔在屏幕中进行触控时，无法通过对手写笔的运动轨迹进追踪，从而使得手写笔无法对屏幕进行精准的控制，因此，为了提高手写笔对屏幕触控的精准度与灵敏度，本发明提供了一种基于手写笔的屏幕可控方法。
发明内容
本发明提供一种基于手写笔的屏幕可控方法，用以通过确定手写笔的初始触点信息，从而准确生成触点追踪指令，进而确定手写笔在屏幕中的操作信息，并在屏幕中同步执行内容，大大提高了手写笔控制屏幕的精准性以及灵敏性。
一种基于手写笔的屏幕可控方法，包括：
步骤1：获取手写笔在屏幕中的初始触点信息，并基于所述初始触点信息生成触点追踪指令；
步骤2：基于所述触点追踪指令对所述手写笔在所述屏幕中的运动轨迹进行追踪，确定所述手写笔在所述屏幕中的操作信息；
步骤3：根据所述操作信息在所述屏幕中同步执行对应的执行内容。
优选的，一种基于手写笔的屏幕可控方法，步骤1中，获取手写笔在屏幕中的初始触点信息的过程，包括：
S101：确定所述屏幕当前的界面信息，其中，所述界面信息包括：界面布局以及界面程序；
S102：根据所述界面布局确定所述界面程序在所述屏幕中的分布位置，同时，获取所述手写笔在所述屏幕中的初始触点位置；
S103：将所述界面程序在所述屏幕中的分布位置与所述初始触点位置进行匹配，确定所述手写笔在所述屏幕中的初始触点信息。
优选的，一种基于手写笔的屏幕可控方法，步骤1中，基于所述初始触点信息生成触点追踪指令的过程，包括：
基于所述初始触点信息，确定所述手写笔流经所述屏幕四个边角所包含的电极的电流值以及所述手写笔到所述屏幕四个边角的距离；
判断所述手写笔流经所述屏幕四个边角所包含的电极的电流值以及所述手写笔到所述屏幕四个边角的距离是否成正比；
当所述手写笔流经所述屏幕四个边角所包含的电极的电流值以及所述手写笔到所述屏幕四个边角的距离成正比时，确定所述手写笔在所述屏幕中的初始触点；
获取所述手写笔在所述初始触点的压力值以及在所述初始触点的电流变化值；
根据所述初始触点的电流变化值触发第一指令生成条件；
根据所述手写笔在所述初始触点的压力值确定所述手写笔的笔触特征，并基于所述手写笔的手写特征触发第二指令生成条件；
根据所述第一指令生成条件以及所述第二指令生成条件生成所述触点追踪指令。
优选的，一种基于手写笔的屏幕可控方法，生成所述触点追踪指令后，还包括：
获取所述手写笔在所述屏幕中的初始触点的目标接触时间，并将所述目标接触时间分别与第一接触时间段、第二接触时间段进行比较，判断是否执行所述触点追踪指令，其中所述第一接触时间段小于所述第二接触时间段；
当所述目标接触时间大于所述第一接触时间段且小于所述第二接触时间段时，则判定执行所述触点追踪指令；
当所述目标接触时间小于所述第一接触时间段时，或所述目标接触时间大于所述第二接触时间段时，则判定不执行所述触点追踪指令，并将所述屏幕的屏幕界面保持初始状态。
优选的，一种基于手写笔的屏幕可控方法，步骤3中，根据所述操作信息在所述屏幕中同步执行对应的执行内容的过程，包括：
S301：读取所述操作信息对应的操作数据，获取所述操作数据的第一数据标识，同时，获取所述屏幕当前的界面信息；
S302：提取所述屏幕当前的界面信息所对应的界面数据，并获取所述界面数据对应的第二数据标识；
S303：基于所述第一数据标识与所述第二数据标识，建立所述操作信息与对所述屏幕的执行内容之间的数据映射关系；
S304：获取所述屏幕的数据同步码与所述屏幕的延时调节信号；
S305：基于所述数据映射关系确定所述操作信息在所述屏幕中所对应的执行内容；
同时，基于所述数据同步码与所述延时调节信号对所述操作信息在所述屏幕中所对应的执行内容进行同步。
优选的，一种基于手写笔的屏幕可控方法，基于所述数据同步码与所述延时调节信号对所述操作信息在所述屏幕中所对应的执行内容进行同步，包括：
获取屏幕在目标时间段内的执行内容，并确定所述执行内容的执行时间顺序；
基于所述执行内容以及执行时间顺序确定待记录项目内容以及待记录项目数，并基于所述待记录项目内容以及待记录项目数从预设记录模板库中匹配目标记录模板；
基于所述目标记录模板对所述执行内容以及对应的执行时间顺序进行对应记录，得到同步记录报告单。
优选的，一种基于手写笔的屏幕可控方法，步骤2中，基于所述触点追踪指令对所述手写笔在所述屏幕中的运动轨迹进行追踪，确定所述手写笔在所述屏幕中的操作信息的具体工作过程，包括：
获取触点追踪指令，并将所述触点追踪指令进行解析，得到所述触点追踪指令对应的报文数据，其中，所述报文数据包括触点追踪指令对应的操作码、源操作数以及目的操作数；
将所述报文数据进行分段处理，得到N个数据段，并基于预设数据解析规则提取每个所述N个数据段中的关键字，且基于所述关键字确定所述触点追踪指令对应的执行目的；
基于所述执行目的从预设监控策略库中匹配目标监控策略，并基于所述目标监控策略对所述屏幕中的预设驱动电极进行实时扫描，其中，所述预设驱动电极不唯一；
基于扫描结果确定每个所述预设驱动电极的当前输出信号，并将所述当前输出信号与零触摸时各个预设驱动电极的初始输出信号进行比较，且基于比较结果结果判定输出信号发生变化的目标预设驱动电极为手写笔在屏幕中的目标触点位置；
构建二维坐标系，并基于目标预设驱动电极被触发的先后顺序将所述目标预设驱动电极在屏幕上的相对位置在所述二维坐标系进行重构，并基于重构将结果确定所述手写笔在所述屏幕中的运动轨迹；
基于所述运动轨迹确定所述手写笔的执行目标，并将所述执行目标与屏幕预设执行功能进行匹配，其中，所述执行目标包括手写笔点击的目标应用或屏幕滑动操作；
若存在预设执行功能与所述执行目的匹配，判定所述手写笔的执行目标可实现，并基于所述执行目标调用目标运行程序进行运行；
否则，判定所述手写笔的执行目标不可实现，并在屏幕上显示错误提醒。
优选的，一种基于手写笔的屏幕可控方法，步骤2中，基于所述触点追踪指令对所述手写笔在所述屏幕中的运动轨迹进行追踪后，还包括
根据所述屏幕的长度、宽度建立二维坐标系，并在所述二维坐标系中随机提取所述手写笔在屏幕中的第一触点并确定所述第一触点的坐标(xi，yi)，同时，获取第二触点并确定所述第二触点的坐标(xi+1，yi+1)，其中，所述第一触点与所述第二触点相邻；
根据所述第一触点坐标(xi，yi)与所述第二触点坐标(xi+1，yi+1)，计算所述手写笔在所述屏幕当前的轨迹宽度；
其中，ω表示所述手写笔在所述屏幕当前的轨迹宽度；D表示所述手写笔的基准笔画宽度；λ表示手写笔在单位速度内笔迹粗细的变化率；xi+1表示第二触点的横坐标值；yi+1表示第二触点的纵坐标值；xi表示第一触点的横坐标值；yi表示第一触点的纵坐标值；ti+1表示获取第二触点的时间值；ti表示获取第一触点的时间值；i表示随机获取的当前个触点；
获取所述第一触点与所述第二触点之间的轨迹宽度变化量以及所述第一触点与所述第二触点之间的轨迹宽度最大变化量；
基于所述轨迹宽度变化量以及所述轨迹宽度最大变化量，根据如下公式对所述手写笔在所述屏幕当前的轨迹宽度进行突变处理；
其中，ω′i表示对所述手写笔在所述屏幕当前的轨迹宽度进行突变处理后的轨迹宽度；Δω表示所述第一触点与所述第二触点之间的轨迹宽度变化量；Δωmax表示所述第一触点与所述第二触点之间的轨迹宽度最大变化量；其中，ωi-Δωmax>0；
基于突变处理结果，完成对所述手写笔在所述屏幕中的运动轨迹的宽度的限制。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种基于手写笔的屏幕可控方法流程图；
图2为本发明实施例中一种基于手写笔的屏幕可控方法中步骤1的流程图；
图3为本发明实施例中一种基于手写笔的屏幕可控方法中步骤3的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1：
本实施例提供了一种基于手写笔的屏幕可控方法，如图1所示，包括：
步骤1：获取手写笔在屏幕中的初始触点信息，并基于所述初始触点信息生成触点追踪指令；
步骤2：基于所述触点追踪指令对所述手写笔在所述屏幕中的运动轨迹进行追踪，确定所述手写笔在所述屏幕中的操作信息；
步骤3：根据所述操作信息在所述屏幕中同步执行对应的执行内容。
该实施例中，初始触点信息可以是手写笔在屏幕中最初落笔点的信息，包括手写笔在屏幕中的触点位置等。
该实施例中，触点追踪指令可以是用来对手写笔在屏幕中的触点进行追踪的指令。
该实施例中，操作信息可以是手写笔在屏幕中的操作过程。
该实施例中，执行内容可以是
上述技术方案的有益效果是：通过确定手写笔的初始触点信息，从而准确生成触点追踪指令，进而确定手写笔在屏幕中的操作信息，并在屏幕中同步执行内容，大大提高了手写笔控制屏幕的精准性以及灵敏性。
实施例2：
在实施例1的基础上，本实施例提供了一种基于手写笔的屏幕可控方法，如图2所示，步骤1中，获取手写笔在屏幕中的初始触点信息的过程，包括：
S101：确定所述屏幕当前的界面信息，其中，所述界面信息包括：界面布局以及界面程序；
S102：根据所述界面布局确定所述界面程序在所述屏幕中的分布位置，同时，获取所述手写笔在所述屏幕中的初始触点位置；
S103：将所述界面程序在所述屏幕中的分布位置与所述初始触点位置进行匹配，确定所述手写笔在所述屏幕中的初始触点信息。
该实施例中，分布位置可以是界面程序分布在界面的具体位置情况。
上述技术方案的有益效果是：通过确定屏幕的界面布局以及界面程序，有利于准确确定手写笔在屏幕的初始触点位置信息，提高了生成触点追踪指令的准确性。
实施例3：
在实施例1的基础上，本实施例提供了一种基于手写笔的屏幕可控方法，步骤1中，基于所述初始触点信息生成触点追踪指令的过程，包括：
基于所述初始触点信息，确定所述手写笔流经所述屏幕四个边角所包含的电极的电流值以及所述手写笔到所述屏幕四个边角的距离；
判断所述手写笔流经所述屏幕四个边角所包含的电极的电流值以及所述手写笔到所述屏幕四个边角的距离是否成正比；
当所述手写笔流经所述屏幕四个边角所包含的电极的电流值以及所述手写笔到所述屏幕四个边角的距离成正比时，确定所述手写笔在所述屏幕中的初始触点；
获取所述手写笔在所述初始触点的压力值以及在所述初始触点的电流变化值；
根据所述初始触点的电流变化值触发第一指令生成条件；
根据所述手写笔在所述初始触点的压力值确定所述手写笔的笔触特征，并基于所述手写笔的手写特征触发第二指令生成条件；
根据所述第一指令生成条件以及所述第二指令生成条件生成所述触点追踪指令。
该实施例中，屏幕由透明金属氧化物作为涂层，与单层的玻璃表面相粘合，屏幕与手写笔接触。手写笔的电容能吸收屏幕每一个角的电流，并且流经这四个电极的电流与手写笔到屏幕的四角的距离成正比，从而得出触点。
该实施例中，第一指令生成条件可以是当屏幕中的初始触点的电流值发生变化时，根据发生变化的电流值出发第一指令生成条件，其中，第一指令生成条件是用来确定有手写笔触碰到屏幕中的条件。
该实施例中，第二指令生成条件可以是根据手写笔在初始触点的压力值确定的笔触特征，从触发第二指令生成条件，其中，第二指令生成条件可以是具体的手写笔的笔触特征所触发的，
该实施例中，笔触特征可以是由于手写笔在屏幕中的转速，光滑度不同而导致压在屏幕中的压力也会有所影响，进而确定的手写笔的笔触特征。
上述技术方案的有益效果是：通过准确定位手写笔在初始触点的位置，并通过确定初始触点的电流变化值有利于准确触发第一指令生成条件，通过确定初始触点的压力值，从而确定手写笔的笔触特征，进而触发第二指令生成条件，通过第一指令生成条件与第二指令生成条件，从而生成触点追踪指令，提高了对手写笔在屏幕中触点追踪的精确性。
实施例4：
在实施例3的基础上，本实施例提供了一种基于手写笔的屏幕可控方法，生成所述触点追踪指令后，还包括：
获取所述手写笔在所述屏幕中的初始触点的目标接触时间，并将所述目标接触时间分别与第一接触时间段、第二接触时间段进行比较，判断是否执行所述触点追踪指令，其中所述第一接触时间段小于所述第二接触时间段；
当所述目标接触时间大于所述第一接触时间段且小于所述第二接触时间段时，则判定执行所述触点追踪指令；
当所述目标接触时间小于所述第一接触时间段时，或所述目标接触时间大于所述第二接触时间段时，则判定不执行所述触点追踪指令，并将所述屏幕的屏幕界面保持初始状态。
该实施例中，目标接触时间可以是手写笔在屏幕中点击初始触点的点击时间。
该实施例中，第一接触时间段可以是提前设定好的用来衡量手写笔是否误点初始触点，当手写笔的接触时间小于第一接触时间段时，则判定是手写笔误点初始触点，因此，不执行触点追踪指令。
该实施例中，第二接触时间段可以是提前设定好的用来衡量手写笔是否取消初始触点的时间段，当手写笔一直点击初始触点直至大于第二接触时间段时，则判定手写笔要取消对初始触点的点击，因此，不执行触点追踪指令。
上述技术方案的有益效果是：通过确定目标接触时间，并将目标接触时间分别与第一接触时间段与第二接触时间段进行比较，从而确定是否执行触点追踪指令，有利于提高手写笔对屏幕的控制的容错性。
实施例5：
在实施例1的基础上，本实施例提供了一种基于手写笔的屏幕可控方法，如图3所示，步骤3中，根据所述操作信息在所述屏幕中同步执行对应的执行内容的过程，包括：
S301：读取所述操作信息对应的操作数据，获取所述操作数据的第一数据标识，同时，获取所述屏幕当前的界面信息；
S302：提取所述屏幕当前的界面信息所对应的界面数据，并获取所述界面数据对应的第二数据标识；
S303：基于所述第一数据标识与所述第二数据标识，建立所述操作信息与对所述屏幕的执行内容之间的数据映射关系；
S304：获取所述屏幕的数据同步码与所述屏幕的延时调节信号；
S305：基于所述数据映射关系确定所述操作信息在所述屏幕中所对应的执行内容；
同时，基于所述数据同步码与所述延时调节信号对所述操作信息在所述屏幕中所对应的执行内容进行同步。
该实施例中，第一数据标识可以是操作信息对应操作数据的数据标识，用来确定手写笔在屏幕中点击的内容，例如，手写笔点击的内容为屏幕中的微信，则数据标识即为与微信数据相关的标识。
该实施例中，第二数据标识可以是界面数据对应的数据标识，例如，界面中不同界面程序的内容不同，其对应的后台运行程序数据也是不同的，因此，数据标识也不同。
该实施例中，数据同步码可以是屏幕系统自定义的，用来将手写笔的操作信息实时同步在屏幕的执行内容中。
该实施例中，延时调节信号可以是对同步的内容进行延时调节，为了达到手写笔的操作信息与屏幕的执行内容的延时减小，从而提高手写笔控制屏幕的灵敏度。
上述技术方案的有益效果是：通过第一数据标识与第二数据标识，有利于景区建立操作信息对屏幕执行内容值之间的数据映射关系，从而有利于精确确定操作信息在屏幕中对应的执行内容，通过数据同步码与延时调节信号，实现手写笔对屏幕进行操控的及时性，从而大大提高了手写笔在屏幕中进行控制的灵敏度。
实施例6：
在实施例5的基础上，本实施例提供了一种基于手写笔的屏幕可控方法，基于所述数据同步码与所述延时调节信号对所述操作信息在所述屏幕中所对应的执行内容进行同步，包括：
获取屏幕在目标时间段内的执行内容，并确定所述执行内容的执行时间顺序；
基于所述执行内容以及执行时间顺序确定待记录项目内容以及待记录项目数，并基于所述待记录项目内容以及待记录项目数从预设记录模板库中匹配目标记录模板；
基于所述目标记录模板对所述执行内容以及对应的执行时间顺序进行对应记录，得到同步记录报告单。
该实施例中，目标时间段可以是手写笔与屏幕接触的起始时间点到停止接触的时间点之间所经历的时间长度。
该实施例中，执行时间顺序可以是手写笔在屏幕中的先后点击顺序。
该实施例中，预设记录模板库是提前设定好的，内部存储有多种记录模板报告单。
该实施例中，目标记录模板可以是适用于记录当前执行内容以以及执行时间的报告模板。
上述技术方案的有益效果是：通过将执行内容以及执行的先后顺序进行记录，便于对手写笔的操作过程进行准确记录，从而便于根据记录结果确定手屏幕根据手写笔执行的目标程序是否正确，提高了手写笔控制屏幕的精准性。
实施例7：
在实施例1的基础上，本实施例提供了一种基于手写笔的屏幕可控方法，步骤2中，基于所述触点追踪指令对所述手写笔在所述屏幕中的运动轨迹进行追踪，确定所述手写笔在所述屏幕中的操作信息的具体工作过程，包括：
获取触点追踪指令，并将所述触点追踪指令进行解析，得到所述触点追踪指令对应的报文数据，其中，所述报文数据包括触点追踪指令对应的操作码、源操作数以及目的操作数；
将所述报文数据进行分段处理，得到N个数据段，并基于预设数据解析规则提取每个所述N个数据段中的关键字，且基于所述关键字确定所述触点追踪指令对应的执行目的；
基于所述执行目的从预设监控策略库中匹配目标监控策略，并基于所述目标监控策略对所述屏幕中的预设驱动电极进行实时扫描，其中，所述预设驱动电极不唯一；
基于扫描结果确定每个所述预设驱动电极的当前输出信号，并将所述当前输出信号与零触摸时各个预设驱动电极的初始输出信号进行比较，且基于比较结果结果判定输出信号发生变化的目标预设驱动电极为手写笔在屏幕中的目标触点位置；
构建二维坐标系，并基于目标预设驱动电极被触发的先后顺序将所述目标预设驱动电极在屏幕上的相对位置在所述二维坐标系进行重构，并基于重构将结果确定所述手写笔在所述屏幕中的运动轨迹；
基于所述运动轨迹确定所述手写笔的执行目标，并将所述执行目标与屏幕预设执行功能进行匹配，其中，所述执行目标包括手写笔点击的目标应用或屏幕滑动操作；
若存在预设执行功能与所述执行目的匹配，判定所述手写笔的执行目标可实现，并基于所述执行目标调用目标运行程序进行运行；
否则，判定所述手写笔的执行目标不可实现，并在屏幕上显示错误提醒。
该实施例中，报文数据可以是将指令转换为对应的数据形式，即可以用数据或代码表示的文本形式。
该实施例中，目的操作数可以是指令对应的最终要实现的目的。
该实施例中，预设数据解析规则是提前设定好的，用于对报文数据进行解析。
该实施例中，关键字可以是每个数据段中具有核心作用的某一数据段，例如可以是如何跟踪触点代码等。
该实施例中，执行目的可以是触点追踪指令要实现的追踪目标，例如可以是对手写笔在屏幕上的触摸点的位置情况进行跟踪等。
该实施例中，预设监控策略库是提前设定好的，内部存储有多种监控策略，用于对手写笔的运动轨迹进行监控。
该实施例中，预设驱动电极是提前在屏幕下面设定好的，当手写笔与屏幕发生接触时，相应位置的驱动电极的输出电流、电压值就会改变。
该实施例中，零触摸是手写笔与屏幕无接触。
该实施例中，初始输出信号指的是手写笔与屏幕无接触时，各个驱动电极的工作电流、电压等。
该实施例中，目标预设驱动电极指的是当手写笔与屏幕发生接触时，输出信号发生变化的预设驱动电极。
该实施例中，执行目标可以是手写笔最终要实现的执行结果，例如可以是打开微信或者其他控屏操作。
该实施例中，预设执行功能是提前设定好的，例如可以是打开某应用或者是对屏幕进行上下滑动或图像缩放等。
上述技术方案的有益效果是：通过对手写笔在屏幕上的多触点位置进行实时追踪，实现对触点运动轨迹进行准确确认，同时根据运动轨迹便于准确确定手写笔的最终执行目标，从而实现对屏幕进行精准控制，提高了手写笔控制屏幕的精准性以及灵敏性。
实施例8：
在实施例1的基础上，本实施例提供了一种基于手写笔的屏幕可控方法，步骤2中，基于所述触点追踪指令对所述手写笔在所述屏幕中的运动轨迹进行追踪后，还包括
根据所述屏幕的长度、宽度建立二维坐标系，并在所述二维坐标系中随机提取所述手写笔在屏幕中的第一触点并确定所述第一触点的坐标(xi，yi)，同时，获取第二触点并确定所述第二触点的坐标(xi+1，yi+1)，其中，所述第一触点与所述第二触点相邻；
根据所述第一触点坐标(xi，yi)与所述第二触点坐标(xi+1，yi+1)，计算所述手写笔在所述屏幕当前的轨迹宽度；
其中，ω表示所述手写笔在所述屏幕当前的轨迹宽度；D表示所述手写笔的基准笔画宽度；λ表示手写笔在单位速度内笔迹粗细的变化率；xi+1表示第二触点的横坐标值；yi+1表示第二触点的纵坐标值；xi表示第一触点的横坐标值；yi表示第一触点的纵坐标值；ti+1表示获取第二触点的时间值；ti表示获取第一触点的时间值；i表示随机获取的当前个触点；
获取所述第一触点与所述第二触点之间的轨迹宽度变化量以及所述第一触点与所述第二触点之间的轨迹宽度最大变化量；
基于所述轨迹宽度变化量以及所述轨迹宽度最大变化量，根据如下公式对所述手写笔在所述屏幕当前的轨迹宽度进行突变处理；
其中，ω′i表示对所述手写笔在所述屏幕当前的轨迹宽度进行突变处理后的轨迹宽度；Δω表示所述第一触点与所述第二触点之间的轨迹宽度变化量；Δωmax表示所述第一触点与所述第二触点之间的轨迹宽度最大变化量；其中，ωi-Δωmax>0；
基于突变处理结果，完成对所述手写笔在所述屏幕中的运动轨迹的宽度的限制。
该实施例中，轨迹宽度最大变化量可以是提前设定的。
该实施例中，第一触点与所述第二触点之间的轨迹宽度变化量例如可以根据Δω＝ai+1-ai计算，其中，ai+1表示第二触点的触点宽度；ai表示第一触点的触点宽度。
该实施例中，手写笔在所述屏幕当前的轨迹宽度进行突变处理可以是通过限制手写笔在屏幕中的轨迹宽度最大变化量来限制手写笔在屏幕中的粗细宽度，从而达到手写笔在屏幕中的轨迹粗细均匀。
上述技术方案的有益效果是：通过确定手写笔在屏幕当前的轨迹宽度，同时，确定第一触点与第二触点之间的轨迹宽度变化量以及第一触点与第二触点之间的轨迹宽度最大变化量，进而有效对手写笔在屏幕当前的轨迹宽度进行突变处理，从而实现手写笔在屏幕中的运动轨迹粗细均匀，避免由于运动轨迹太粗或太细而在屏幕中的操作错误，提高了手写笔在屏幕中进行控制的准确性。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种基于手写笔的屏幕可控方法，其特征在于，包括：
步骤1：获取手写笔在屏幕中的初始触点信息，并基于所述初始触点信息生成触点追踪指令；
步骤2：基于所述触点追踪指令对所述手写笔在所述屏幕中的运动轨迹进行追踪，确定所述手写笔在所述屏幕中的操作信息；
步骤3：根据所述操作信息在所述屏幕中同步执行对应的执行内容；
其中，步骤2中，基于所述触点追踪指令对所述手写笔在所述屏幕中的运动轨迹进行追踪，确定所述手写笔在所述屏幕中的操作信息的具体工作过程，包括：
获取触点追踪指令，并将所述触点追踪指令进行解析，得到所述触点追踪指令对应的报文数据，其中，所述报文数据包括触点追踪指令对应的操作码、源操作数以及目的操作数；
将所述报文数据进行分段处理，得到N个数据段，并基于预设数据解析规则提取每个所述N个数据段中的关键字，且基于所述关键字确定所述触点追踪指令对应的执行目的；
基于所述执行目的从预设监控策略库中匹配目标监控策略，并基于所述目标监控策略对所述屏幕中的预设驱动电极进行实时扫描，其中，所述预设驱动电极不唯一；
基于扫描结果确定每个所述预设驱动电极的当前输出信号，并将所述当前输出信号与零触摸时各个预设驱动电极的初始输出信号进行比较，且基于比较结果结果判定输出信号发生变化的目标预设驱动电极为手写笔在屏幕中的目标触点位置；
构建二维坐标系，并基于目标预设驱动电极被触发的先后顺序将所述目标预设驱动电极在屏幕上的相对位置在所述二维坐标系进行重构，并基于重构将结果确定所述手写笔在所述屏幕中的运动轨迹；
基于所述运动轨迹确定所述手写笔的执行目标，并将所述执行目标与屏幕预设执行功能进行匹配，其中，所述执行目标包括手写笔点击的目标应用或屏幕滑动操作；
若存在预设执行功能与所述执行目的匹配，判定所述手写笔的执行目标可实现，并基于所述执行目标调用目标运行程序进行运行；
否则，判定所述手写笔的执行目标不可实现，并在屏幕上显示错误提醒。
2.根据权利要求1所述的一种基于手写笔的屏幕可控方法，其特征在于，步骤1中，获取手写笔在屏幕中的初始触点信息的过程，包括：
S101：确定所述屏幕当前的界面信息，其中，所述界面信息包括：界面布局以及界面程序；
S102：根据所述界面布局确定所述界面程序在所述屏幕中的分布位置，同时，获取所述手写笔在所述屏幕中的初始触点位置；
S103：将所述界面程序在所述屏幕中的分布位置与所述初始触点位置进行匹配，确定所述手写笔在所述屏幕中的初始触点信息。
3.根据权利要求1所述的一种基于手写笔的屏幕可控方法，其特征在于，步骤1中，基于所述初始触点信息生成触点追踪指令的过程，包括：
基于所述初始触点信息，确定所述手写笔流经所述屏幕四个边角所包含的电极的电流值以及所述手写笔到所述屏幕四个边角的距离；
判断所述手写笔流经所述屏幕四个边角所包含的电极的电流值以及所述手写笔到所述屏幕四个边角的距离是否成正比；
当所述手写笔流经所述屏幕四个边角所包含的电极的电流值以及所述手写笔到所述屏幕四个边角的距离成正比时，确定所述手写笔在所述屏幕中的初始触点；
获取所述手写笔在所述初始触点的压力值以及在所述初始触点的电流变化值；
根据所述初始触点的电流变化值触发第一指令生成条件；
根据所述手写笔在所述初始触点的压力值确定所述手写笔的笔触特征，并基于所述手写笔的手写特征触发第二指令生成条件；
根据所述第一指令生成条件以及所述第二指令生成条件生成所述触点追踪指令。
4.根据权利要求3所述的一种基于手写笔的屏幕可控方法，其特征在于，生成所述触点追踪指令后，还包括：
获取所述手写笔在所述屏幕中的初始触点的目标接触时间，并将所述目标接触时间分别与第一接触时间段、第二接触时间段进行比较，判断是否执行所述触点追踪指令，其中所述第一接触时间段小于所述第二接触时间段；
当所述目标接触时间大于等于所述第一接触时间段且小于等于所述第二接触时间段时，则判定执行所述触点追踪指令；
当所述目标接触时间小于所述第一接触时间段时，或所述目标接触时间大于所述第二接触时间段时，则判定不执行所述触点追踪指令，并将所述屏幕的屏幕界面保持初始状态。
5.根据权利要求1所述的一种基于手写笔的屏幕可控方法，其特征在于，步骤3中，根据所述操作信息在所述屏幕中同步执行对应的执行内容的过程，包括：
S301：读取所述操作信息对应的操作数据，获取所述操作数据的第一数据标识，同时，获取所述屏幕当前的界面信息；
S302：提取所述屏幕当前的界面信息所对应的界面数据，并获取所述界面数据对应的第二数据标识；
S303：基于所述第一数据标识与所述第二数据标识，建立所述操作信息与对所述屏幕的执行内容之间的数据映射关系；
S304：获取所述屏幕的数据同步码与所述屏幕的延时调节信号；
S305：基于所述数据映射关系确定所述操作信息在所述屏幕中所对应的执行内容；
同时，基于所述数据同步码与所述延时调节信号对所述操作信息在所述屏幕中所对应的执行内容进行同步。
6.根据权利要求5所述的一种基于手写笔的屏幕可控方法，其特征在于，基于所述数据同步码与所述延时调节信号对所述操作信息在所述屏幕中所对应的执行内容进行同步，包括：
获取屏幕在目标时间段内的执行内容，并确定所述执行内容的执行时间顺序；
基于所述执行内容以及执行时间顺序确定待记录项目内容以及待记录项目数，并基于所述待记录项目内容以及待记录项目数从预设记录模板库中匹配目标记录模板；
基于所述目标记录模板对所述执行内容以及对应的执行时间顺序进行对应记录，得到同步记录报告单。
7.根据权利要求1所述的一种基于手写笔的屏幕可控方法，其特征在于，步骤2中，基于所述触点追踪指令对所述手写笔在所述屏幕中的运动轨迹进行追踪后，还包括：
根据所述屏幕的长度、宽度建立二维坐标系，并在所述二维坐标系中随机提取所述手写笔在屏幕中的第一触点并确定所述第一触点的坐标(xi，yi)，同时，获取第二触点并确定所述第二触点的坐标(xi+1，yi+1)，其中，所述第一触点与所述第二触点相邻；
根据所述第一触点坐标(xi，yi)与所述第二触点坐标(xi+1，yi+1)，计算所述手写笔在所述屏幕当前的轨迹宽度；
其中，ω表示所述手写笔在所述屏幕当前的轨迹宽度；D表示所述手写笔的基准笔画宽度；λ表示手写笔在单位速度内笔迹粗细的变化率；xi+1表示第二触点的横坐标值；yi+1表示第二触点的纵坐标值；xi表示第一触点的横坐标值；yi表示第一触点的纵坐标值；ti+1表示获取第二触点的时间值；ti表示获取第一触点的时间值；i表示随机获取的当前个触点；
获取所述第一触点与所述第二触点之间的轨迹宽度变化量以及所述第一触点与所述第二触点之间的轨迹宽度最大变化量；
基于所述轨迹宽度变化量以及所述轨迹宽度最大变化量，根据如下公式对所述手写笔在所述屏幕当前的轨迹宽度进行突变处理；
其中，ωi′表示对所述手写笔在所述屏幕当前的轨迹宽度进行突变处理后的轨迹宽度；Δω表示所述第一触点与所述第二触点之间的轨迹宽度变化量；Δωmax表示所述第一触点与所述第二触点之间的轨迹宽度最大变化量；其中，ωi-Δωmax>0；
基于突变处理结果，完成对所述手写笔在所述屏幕中的运动轨迹的宽度的限制。
CN202111575345.6A 2021-12-21 2021-12-21 一种基于手写笔的屏幕可控方法 Active CN114237425B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111575345.6A CN114237425B (zh) 2021-12-21 2021-12-21 一种基于手写笔的屏幕可控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111575345.6A CN114237425B (zh) 2021-12-21 2021-12-21 一种基于手写笔的屏幕可控方法

Publications (2)

Publication Number Publication Date
CN114237425A CN114237425A (zh) 2022-03-25
CN114237425B true CN114237425B (zh) 2024-01-16

Family

ID=80760805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111575345.6A Active CN114237425B (zh) 2021-12-21 2021-12-21 一种基于手写笔的屏幕可控方法

Country Status (1)

Country Link
CN (1) CN114237425B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5790106A (en) * 1994-11-15 1998-08-04 Alps Electric Co., Ltd. Coordinate input apparatus with pen and finger input detection
WO2004059570A1 (fr) * 2002-12-27 2004-07-15 Wai Ho Tableau blanc electronique interactif a infrarouges
CN101458597A (zh) * 2007-12-14 2009-06-17 清华大学 触摸屏、触摸屏的制备方法及使用该触摸屏的显示装置
CN101458575A (zh) * 2007-12-11 2009-06-17 唐卫平 一种触摸屏笔
CN103210367A (zh) * 2012-09-29 2013-07-17 华为终端有限公司 一种电子设备及控制显示对象缩放的方法
CN103310474A (zh) * 2013-06-08 2013-09-18 深圳市经纬科技有限公司 一种手写原笔迹的实现方法及系统
CN105718076A (zh) * 2014-12-03 2016-06-29 矽统科技股份有限公司 主动式触控笔及其与触控面板的信号传输方法
CN105807966A (zh) * 2014-12-30 2016-07-27 鸿合科技有限公司 一种触摸屏事件的获取方法及装置
CN106778720A (zh) * 2016-11-23 2017-05-31 武汉工程大学 一种对手写过程数字化记录和电子化重建的系统及方法
CN106990900A (zh) * 2016-01-21 2017-07-28 阿里巴巴集团控股有限公司 一种书写实现方法和装置
CN110191367A (zh) * 2018-02-23 2019-08-30 阿里巴巴集团控股有限公司 信息同步处理方法、装置及电子设备
CN110465952A (zh) * 2018-05-09 2019-11-19 郑州科技学院 一种基于轨迹模仿的机器人汉字书写和学习的方法
CN110727496A (zh) * 2019-10-22 2020-01-24 中国工商银行股份有限公司 图形用户界面的布局方法、装置、电子设备及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5790106A (en) * 1994-11-15 1998-08-04 Alps Electric Co., Ltd. Coordinate input apparatus with pen and finger input detection
WO2004059570A1 (fr) * 2002-12-27 2004-07-15 Wai Ho Tableau blanc electronique interactif a infrarouges
CN101458575A (zh) * 2007-12-11 2009-06-17 唐卫平 一种触摸屏笔
CN101458597A (zh) * 2007-12-14 2009-06-17 清华大学 触摸屏、触摸屏的制备方法及使用该触摸屏的显示装置
CN103210367A (zh) * 2012-09-29 2013-07-17 华为终端有限公司 一种电子设备及控制显示对象缩放的方法
CN103310474A (zh) * 2013-06-08 2013-09-18 深圳市经纬科技有限公司 一种手写原笔迹的实现方法及系统
CN105718076A (zh) * 2014-12-03 2016-06-29 矽统科技股份有限公司 主动式触控笔及其与触控面板的信号传输方法
CN105807966A (zh) * 2014-12-30 2016-07-27 鸿合科技有限公司 一种触摸屏事件的获取方法及装置
CN106990900A (zh) * 2016-01-21 2017-07-28 阿里巴巴集团控股有限公司 一种书写实现方法和装置
CN106778720A (zh) * 2016-11-23 2017-05-31 武汉工程大学 一种对手写过程数字化记录和电子化重建的系统及方法
CN110191367A (zh) * 2018-02-23 2019-08-30 阿里巴巴集团控股有限公司 信息同步处理方法、装置及电子设备
CN110465952A (zh) * 2018-05-09 2019-11-19 郑州科技学院 一种基于轨迹模仿的机器人汉字书写和学习的方法
CN110727496A (zh) * 2019-10-22 2020-01-24 中国工商银行股份有限公司 图形用户界面的布局方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于速度的手写笔迹实时仿真算法研究;高俊;《中国优秀硕士学位论文全文数据库 信息科技辑》(第12期);第I138-241页 *

Also Published As

Publication number Publication date
CN114237425A (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
US11126295B2 (en) Devices and methods for processing touch inputs
US10261685B2 (en) Multi-task machine learning for predicted touch interpretations
KR101183381B1 (ko) 플릭 제스쳐
US6249606B1 (en) Method and system for gesture category recognition and training using a feature vector
US8847904B2 (en) Gesture recognition method and touch system incorporating the same
CN1224939C (zh) 利用输入装置的位置预存用户交互元素的方法
CN101968714B (zh) 识别在移动终端界面上输入的操作轨迹的方法和系统
CN1912816A (zh) 一种基于摄像头的虚拟触摸屏系统
TW201133329A (en) Touch control electric apparatus and window operation method thereof
CN108846091A (zh) 资讯推荐方法、装置及设备
CN107194213A (zh) 一种身份识别方法及装置
US20200302173A1 (en) Image processing device, image processing method, and image processing system
CN103092518A (zh) 一种基于rdp协议的移动云桌面精确触控方法
CN104965657A (zh) 触摸控制方法及装置
CN114237425B (zh) 一种基于手写笔的屏幕可控方法
Liu et al. Ultrasonic positioning and IMU data fusion for pen-based 3D hand gesture recognition
US8884904B2 (en) Touch panel apparatus, system and operation method thereof
CN107168633A (zh) 一种基于数据依赖的手势交互查询事件构建方法
CN110333780A (zh) 功能触发方法、装置、设备及存储介质
CN113296616B (zh) 笔锋选择方法、装置以及智能终端
US20120299837A1 (en) Identifying contacts and contact attributes in touch sensor data using spatial and temporal features
CN113961106A (zh) 预测控制方法、输入系统及计算机可读取记录媒体
JPH09258950A (ja) スクロール同期システム及び記録媒体
CN117289808B (zh) 一种电容式微型光标定位方法及系统
US20240370163A1 (en) Annotation method, device, interactive white board and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant