CN115016722B - 一种文本编辑方法及相关设备 - Google Patents
一种文本编辑方法及相关设备 Download PDFInfo
- Publication number
- CN115016722B CN115016722B CN202111312697.2A CN202111312697A CN115016722B CN 115016722 B CN115016722 B CN 115016722B CN 202111312697 A CN202111312697 A CN 202111312697A CN 115016722 B CN115016722 B CN 115016722B
- Authority
- CN
- China
- Prior art keywords
- input
- layer
- electronic device
- handwriting
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/169—Annotation, e.g. comment data or footnotes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/171—Editing, e.g. inserting or deleting by use of digital ink
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供了一种文本编辑方法及相关设备。电子设备可以在不影响第一图层的显示的情况下,进行文本编辑。具体地,电子设备可以确定目标输入位置,并新建图层,然后将新建图层上的笔记转化为文本再输入到目标输入位置中。在一些可能的实现方式中,电子设备还可以新建图层用于记录笔记和批注,并且能够根据图层的透明度来转换两种模式。可理解,上述方法均可以在不影响第一图层显示的情况下进行文本编辑,扩大了手写笔的使用场景,使得用户能使用手写笔进行灵活的文本编辑,提升了用户体验。
Description
技术领域
本申请涉及终端技术领域,尤其涉及一种文本编辑方法及相关设备。
背景技术
目前,手机、平板电脑等移动终端发展迅速,也越来越普及。这些移动终端的功能丰富多样,提高了人们的生活质量,也使得人们的工作和学习更高效。为了进一步提高用户的使用感受,许多生产厂商给这些移动终端配备了手写笔,使得用户通过手写笔就能完成在移动终端上的输入,提供了更多输入的可能性。
然而,手写笔的使用场景仍然比较有限。一般来说,用户可以在一些支持手写笔的第三方应用(例如,笔记软件、绘图软件等)中通过手写笔实现灵活输入。但是,对于另一些第三方应用而言,用户无法利用手写笔直接进行输入。例如,在一些文本编辑场景下,用户通过点击输入栏,确定光标位置后,才能调用输入法进行输入。并且,在终端采取手写输入法的情况下,用户才能使用手写笔在输入区域(可供写字的区域)写字,然后终端可以对用户写的字进行识别,经用户确认后将这些字填入输入栏。再例如,在又一些文本编辑场景下,用户期望添加批注。若此时用户使用的第三方应用不支持手写批注模式,用户就无法通过手写笔进行输入。上述示例可说明,目前手写笔的应用场景仍然比较局限,用户对手写笔的使用感受并不好。
因此,如何扩大手写笔的使用场景,使得用户能使用手写笔进行灵活的文本编辑是目前亟待解决的问题。
发明内容
本申请提供了一种文本编辑方法及相关设备,电子设备可以在不影响第一图层的显示的情况下,进行文本编辑。可理解,电子设备可以确定目标输入位置,并新建图层,然后将新建图层上的书写笔迹转化为文本,再将文本输入到目标输入位置中。电子设备还可以新建图层用于记录笔记和批注,并且能够根据图层的透明度来转换两种模式。可理解,上述方法均可以在不影响第一图层显示的情况下进行文本编辑,扩大了手写笔的使用场景,使得用户能使用手写笔进行灵活的文本编辑,提升了用户体验。
第一方面,本申请提供一种文本编辑方法,可以应用于电子设备。该方法可以包括:显示第一界面;响应于第一输入事件,确定目标输入位置,并创建书写图层;所述目标输入位置位于所述第一界面上;所述书写图层为覆盖在所述第一界面上的透明图层;响应于所述书写图层上的第一手写输入事件,对所述第一手写输入事件进行解析,得到输入内容;将所述输入内容输入到所述目标输入位置。
在本申请提供的方案中,电子设备确定目标输入位置后即可创建书写图层以供用户进行手写输入,而不需要通过用户点击等操作来获取焦点再调用输入法。另外,用户创建的书写图层可以铺满整个屏幕,用户不用局限在输入法规定的输入画布中书写。可理解,这种方式更加简便,使得用户在使用手写笔进行输入时更加灵活,扩大了手写笔的使用场景,提升了用户体验。
可理解,手写笔需要与电子设备建立连接。该链接可以为蓝牙连接。
在本申请的一些实施例中,书写图层可以为第三图层。第一界面可以为第一图层。可理解,关于第一图层和第三图层的相关描述可以参考后面的实施例,在此不具体说明。
结合第一方面,在第一方面的一种可能的实现方式中,所述响应于第一输入事件之前,所述方法还包括:基于无障碍服务确定所述第一界面的可输入区域;基于所述可输入区域创建有效落笔图层;所述有效落笔图层为覆盖在所述可输入区域上的透明图层;其中,所述第一输入事件为作用在所述有效落笔图层上的事件;所述目标输入位置位于所述第一界面的所述可输入区域上。
在本申请提供的方案中,电子设备可以通过无障碍服务获取屏幕信息,并确定第一界面上可供用户进行输入的区域(例如,文本框等)。这些可输入区域上覆盖有透明图层,即上文所提及的有效落笔图层。一旦手写笔落到有效落笔图层上,电子设备可以根据落笔位置来确定目标输入位置,并创建书写图层以供用户利用手写笔进行书写。可理解,用户不需要首先通过点击等操作来确定目标输入位置,而是落笔即可书写,使得用户可以更加简便的使用手写笔进行书写,即输入时更加灵活,扩大了手写笔的使用场景,提升了用户体验。
在本申请的一些实施例中,有效落笔图层可以为第二图层。可理解,关于第二图层的相关描述可以参考后面的实施例,在此不具体说明。
结合第一方面,在第一方面的一种可能的实现方式中,所述第一输入事件为悬停事件。
在本申请提供的方案中,若用户持有手写笔并立于电子设备屏幕上方,一旦电子设备检测到悬停事件,那么可以根据悬停事件和落笔位置确定目标位置,并创建书写图层以供用户利用手写笔进行书写。可理解,用户不需要首先通过点击等操作来确定目标输入位置,而是落笔即可书写,使得用户可以更加简便的使用手写笔进行书写,即输入时更加灵活,扩大了手写笔的使用场景,提升了用户体验。
结合第一方面,在第一方面的一种可能的实现方式中,所述将所述输入内容输入到所述目标输入位置之后,所述方法还包括:响应于所述书写图层上的第二手写输入事件,基于输入法对所述第二手写输入事件进行解析,得到所述第二手写输入事件对应的编辑方式;根据所述编辑方式,通过文本控件基类对所述输入内容进行编辑;在所述目标输入位置显示编辑后的输入内容。
在本申请提供的方案中,电子设备可以识别手写笔的笔势对应的编辑方式,并通过文本控件基类获取该笔势所对应的输入内容。电子设备还可以通过文本控件基类并按照该编辑方式来对该输入内容进行编辑。可理解,用户不需要通过长按等方式来选中想要编辑的输入内容,也不需要通过输入法键盘区域来进行编辑。用户只需要通过手写笔的特定笔势即可对想要编辑的输入内容进行编辑。上述方式提供了更简便、更灵活的文本编辑方法,提升了用户体验。
结合第一方面,在第一方面的一种可能的实现方式中,所述将所述输入内容输入到所述目标输入位置之后,所述方法还包括:将所述书写图层上的第二手写输入事件传递给所述第一界面所对应的应用;基于输入法对所述第二手写输入事件进行解析,得到所述第二手写输入事件对应的编辑方式;基于输入监控器将所述第二手写输入事件发送给所述第一界面所对应的应用;根据所述编辑方式,通过所述第一界面所对应的应用对所述输入内容进行编辑;在所述目标输入位置显示编辑后的输入内容。
在本申请提供的方案中,电子设备可以将手写输入事件传输给第一界面所对应的应用,然后通过该应用来实现对文本的编辑。具体的编辑方式可以通过输入法对手写笔的笔势进行解析后获取。可理解,用户不需要通过长按等方式来选中想要编辑的输入内容,也不需要通过输入法键盘区域来进行编辑。用户只需要通过手写笔的特定笔势即可对想要编辑的输入内容进行编辑。上述方式提供了更简便、更灵活的文本编辑方法,提升了用户体验。
第二方面,本申请提供一种文本编辑方法,可以应用于电子设备。该方法可以包括:显示第一界面;所述第一界面为第一应用的界面;接收第一指令,进入第一编辑模式,创建书写图层;所述书写图层为覆盖在所述第一界面上的图层;所述书写图层的透明度为第一透明度;所述书写图层响应手写笔输入事件和手指滑动事件;所述第一界面响应所述手指滑动事件;接收第二指令,将所述书写图层的透明度调整为第二透明度,进入第二编辑模式。
在本申请提供的方案中,电子设备可以显示第一界面,而在覆盖在第一界面上的书写图层上进行书写,并且第一界面响应手指滑动事件,书写图层响应手写笔输入事件和手指滑动事件。这也就意味着,用户可以直接在不影响界面显示的情况下进行书写。另外,电子设备可以根据书写图层的透明度来转换编辑模式。例如,在书写图层透明度较低的情况下,电子设备可以进入笔记模式,直接在书写图层上记录笔记,而不需要跳转至另一个应用的界面。再例如,在书写图层透明度较高的情况下,电子设备可以进入批注模式,由于书写图层透明度较高,不会影响电子设备显示第一界面。也就是说,批注模式下,用户可以一边浏览界面,一边做批注。根据上述方法,用户可以在浏览任意界面时快速进入编辑模式,无需跳转至其他应用,使得用户利用手写笔进行书写的形式更加多样和灵活,扩大了手写笔的使用场景,提升了用户体验。
在本申请的一些实施例中,电子设备可以将通过触发服务监听输入读取器所读取的输入事件。若输入事件为第一特定事件,电子设备可以通过触发服务创建书写图层。可理解,这里所提及的第一特定输入事件可以为第一指令。
在本申请的一些实施例中,书写图层可以为第四图层。可理解,关于第四图层的相关描述可以参考后面的实施例,在此不具体说明。
结合第二方面,在第二方面的一种可能的实现方式中,所述第一编辑模式为笔记模式;所述第二编辑模式为批注模式;所述第二透明度高于第一阈值;所述第一透明度低于所述第二透明度。
在本申请提供的方案中,笔记模式时,若书写图层的透明度高于第一阈值,则电子设备可以进入批注模式。也就是说,电子设备可以通过调节书写图层的透明度等方式来转换编辑模式。这也就意味着,若用户需要使用电子设备的笔记功能和批注功能,可以直接通过调节透明度等方式来实现两种功能的转换,而无需在两个应用之间跳转。可理解,这种方法使得用户利用手写笔进行书写的形式更加多样和灵活,扩大了手写笔的使用场景,提升了用户体验。
结合第二方面,在第二方面的一种可能的实现方式中,所述第一编辑模式为批注模式;所述第二编辑模式为笔记模式;所述第二透明度低于第二阈值;所述第一透明度高于所述第二透明度。
在本申请提供的方案中,批注模式时,若书写图层的透明度低于第一阈值,则电子设备可以进入笔记模式。也就是说,电子设备可以通过调节书写图层的透明度等方式来转换编辑模式。这也就意味着,若用户需要使用电子设备的笔记功能和批注功能,可以直接通过调节透明度等方式来实现两种功能的转换,而无需在两个应用之间跳转。可理解,这种方法使得用户利用手写笔进行书写的形式更加多样和灵活,扩大了手写笔的使用场景,提升了用户体验。
结合第二方面,在第二方面的一种可能的实现方式中,所述进入第二编辑模式之前,所述方法还包括:将所述书写图层上的手写笔输入内容存储到第二应用中;所述手写笔输入内容由所述手写笔输入事件经解析后所得;清空所述书写图层上的所述手写笔输入内容。
在本申请提供的方案中,电子设备在由笔记模式转换至批注模式之前,可以保存笔记模式下所书写的内容,并将其存储到另一应用中。电子设备可以在存储完成之后清除书写图层上的书写内容。一般来说,处于笔记模式时,电子设备所显示的界面可能对于用户而言不是必要的,必要的是用户书写在书写图层上的内容。根据上述方法,电子设备可以在接收第二指令后识别出转换编辑模式的用户需求,从而自行完成存储和清除,无需用户再进行相关操作,给用户提供了更加简便灵活的编辑方式,使得用户利用手写笔进行书写的形式更加多样,提升了用户体验。
结合第二方面,在第二方面的一种可能的实现方式中,所述进入第二编辑模式之前,所述方法还包括:在所述书写图层上存在手写笔输入内容的情况下,将所述第一界面和所述书写图层合并显示的内容存储到第二应用中;所述手写笔输入内容由所述手写笔输入事件经解析后所得;清空所述书写图层上的所述手写笔输入内容。
在本申请提供的方案中,电子设备在由批注模式转换至笔记模式之前,可以保存批注模式下所书写的内容,并将其存储到另一应用中。电子设备可以在存储完成之后清除书写图层上的书写内容。一般来说,处于批注模式时,用户需要浏览界面,电子设备在存储批注内容时也需要存储相应的界面。根据上述方法,电子设备可以在接收第二指令后识别出转换编辑模式的用户需求,从而自行完成存储和清除,无需用户再进行相关操作,给用户提供了更加简便灵活的编辑方式,使得用户利用手写笔进行书写的形式更加多样,提升了用户体验。
第三方面,本申请提供一种文本编辑方法,可以应用于电子设备。该方法可以包括:通过蓝牙模块中的连接管理模块与手写笔建立蓝牙连接;通过无障碍服务获取第一界面的可输入区域;通过输入管理器将所述手写笔的落笔位置传输给窗口管理服务,再经所述窗口管理服务传输给手写输入法;通过所述手写输入法确定所述手写笔的落笔位置位于有效落笔图层上,并基于所述手写笔的落笔位置确定目标输入位置;基于输入法管理服务创建书写图层;所述书写图层为覆盖在所述第一界面上的透明图层;通过所述手写输入法对所述书写图层上的第一手写输入事件进行解析,得到输入内容;将所述输入内容输入到所述目标输入位置。
结合第三方面,在第三方面的一种可能的实现方式中,所述将所述输入内容输入到所述目标输入位置之后,所述方法还包括:通过手写笔服务中的笔势识别模块对第二手写输入事件进行识别,得到所述第二手写输入事件对应的笔势;所述第二手写输入事件为在所述第一手写输入事件之后触发的输入事件;在所述手写输入法的笔势操作控制控制模块中,查找与所述第二手写输入事件对应的笔势相匹配的编辑方式;根据所述编辑方式,通过文本控件基类对所述输入内容进行编辑;在所述目标输入位置显示编辑后的输入内容。
第四方面,本申请提供一种文本编辑方法,可以应用于电子设备。该方法可以包括:通过蓝牙模块中的连接管理模块与手写笔建立蓝牙连接;基于所述手写笔触发的悬停事件确定目标输入位置;响应于第一输入事件,基于输入法管理服务创建书写图层;所述第一输入事件为所述手写笔落在所述电子设备的显示屏上所触发的输入事件;所述书写图层为覆盖在所述第一界面上的透明图层;通过所述手写输入法对所述书写图层上的第一手写输入事件进行解析,得到输入内容;将所述输入内容输入到所述目标输入位置。
结合第四方面,在第四方面的一种可能的实现方式中,所述将所述输入内容输入到所述目标输入位置之后,所述方法还包括:通过输入监控器将第二手写输入事件发送给所述第一界面所对应的应用;所述第二手写输入事件为在所述第一手写输入事件之后触发的输入事件;通过手写笔服务中的笔势识别模块对所述第二手写输入事件进行识别,得到所述第二手写输入事件对应的笔势;在所述手写输入法的笔势操作控制控制模块中,查找与所述第二手写输入事件对应的笔势相匹配的编辑方式;根据所述编辑方式,通过所述第一界面所对应的应用对所述输入内容进行编辑;在所述目标输入位置显示编辑后的输入内容。
第五方面,本申请提供一种电子设备。该电子设备可以包括显示屏、一个或多个存储器、一个或多个处理器。其中,一个或多个处理器与一个或多个存储器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令。其中,显示器,可以用于显示第一界面。处理器,可以用于:响应于第一输入事件,确定目标输入位置,并创建书写图层;所述目标输入位置位于所述第一界面上;所述书写图层为覆盖在所述第一界面上的透明图层;响应于所述书写图层上的第一手写输入事件,对所述第一手写输入事件进行解析,得到输入内容;将所述输入内容输入到所述目标输入位置。
结合第五方面,在第五方面的一种可能的实现方式中,处理器,在用于所述响应于第一输入事件之前,还可以用于:基于无障碍服务确定所述第一界面的可输入区域;基于所述可输入区域创建有效落笔图层;所述有效落笔图层为覆盖在所述可输入区域上的透明图层;其中,所述第一输入事件为作用在所述有效落笔图层上的事件;所述目标输入位置位于所述第一界面的所述可输入区域上。
结合第五方面,在第五方面的一种可能的实现方式中,所述第一输入事件为悬停事件。
结合第五方面,在第五方面的一种可能的实现方式中,处理器,在用于所述将所述输入内容输入到所述目标输入位置之后,还可以用于:响应于所述书写图层上的第二手写输入事件,基于输入法对所述第二手写输入事件进行解析,得到所述第二手写输入事件对应的编辑方式;根据所述编辑方式,通过文本控件基类对所述输入内容进行编辑。显示器,还可以用于在所述目标输入位置显示编辑后的输入内容。
结合第五方面,在第五方面的一种可能的实现方式中,处理器,在用于所述将所述输入内容输入到所述目标输入位置之后,还可以用于:将所述书写图层上的第二手写输入事件传递给所述第一界面所对应的应用;基于输入法对所述第二手写输入事件进行解析,得到所述第二手写输入事件对应的编辑方式;基于输入监控器将所述第二手写输入事件发送给所述第一界面所对应的应用;根据所述编辑方式,通过所述第一界面所对应的应用对所述输入内容进行编辑。显示器,还可以用于在所述目标输入位置显示编辑后的输入内容。
第六方面,本申请提供一种电子设备。该电子设备可以包括显示屏、一个或多个存储器、一个或多个处理器。其中,一个或多个处理器与一个或多个存储器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令。其中,显示器可以用于显示第一界面;所述第一界面为第一应用的界面。处理器,可以用于:接收第一指令,进入第一编辑模式,创建书写图层;所述书写图层为覆盖在所述第一界面上的图层;所述书写图层的透明度为第一透明度;所述书写图层响应手写笔输入事件和手指滑动事件;所述第一界面响应所述手指滑动事件;接收第二指令,将所述书写图层的透明度调整为第二透明度,进入第二编辑模式。
结合第六方面,在第六方面的一种可能的实现方式中,所述第一编辑模式为笔记模式;所述第二编辑模式为批注模式;所述第二透明度高于第一阈值;所述第一透明度低于所述第二透明度。
结合第六方面,在第六方面的一种可能的实现方式中,所述第一编辑模式为批注模式;所述第二编辑模式为笔记模式;所述第二透明度低于第二阈值;所述第一透明度高于所述第二透明度。
结合第六方面,在第六方面的一种可能的实现方式中,处理器,在用于所述进入第二编辑模式之前,还可以用于:将所述书写图层上的手写笔输入内容存储到第二应用中;所述手写笔输入内容由所述手写笔输入事件经解析后所得;清空所述书写图层上的所述手写笔输入内容。
结合第六方面,在第六方面的一种可能的实现方式中,处理器,在用于所述进入第二编辑模式之前,还可以用于:在所述书写图层上存在手写笔输入内容的情况下,将所述第一界面和所述书写图层合并显示的内容存储到第二应用中;所述手写笔输入内容由所述手写笔输入事件经解析后所得;清空所述书写图层上的所述手写笔输入内容。
第七方面,本申请提供一种电子设备。该电子设备可以包括显示屏、一个或多个存储器、一个或多个处理器。其中,一个或多个处理器与一个或多个存储器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令。其中,处理器,可以用于:通过蓝牙模块中的连接管理模块与手写笔建立蓝牙连接;通过无障碍服务获取第一界面的可输入区域;通过输入管理器将所述手写笔的落笔位置传输给窗口管理服务,再经所述窗口管理服务传输给手写输入法;通过所述手写输入法确定所述手写笔的落笔位置位于有效落笔图层上,并基于所述手写笔的落笔位置确定目标输入位置;基于输入法管理服务创建书写图层;所述书写图层为覆盖在所述第一界面上的透明图层;通过所述手写输入法对所述书写图层上的第一手写输入事件进行解析,得到输入内容;将所述输入内容输入到所述目标输入位置。
结合第七方面,在第七方面的一种可能的实现方式中,处理器,在用于所述将所述输入内容输入到所述目标输入位置之后,还可以用于:通过手写笔服务中的笔势识别模块对第二手写输入事件进行识别,得到所述第二手写输入事件对应的笔势;所述第二手写输入事件为在所述第一手写输入事件之后触发的输入事件;在所述手写输入法的笔势操作控制控制模块中,查找与所述第二手写输入事件对应的笔势相匹配的编辑方式;根据所述编辑方式,通过文本控件基类对所述输入内容进行编辑;在所述目标输入位置显示编辑后的输入内容。
第八方面,本申请提供一种电子设备。该电子设备可以包括显示屏、一个或多个存储器、一个或多个处理器。其中,一个或多个处理器与一个或多个存储器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令。其中,处理器,可以用于:通过蓝牙模块中的连接管理模块与手写笔建立蓝牙连接;基于所述手写笔触发的悬停事件确定目标输入位置;响应于第一输入事件,基于输入法管理服务创建书写图层;所述第一输入事件为所述手写笔落在所述电子设备的显示屏上所触发的输入事件;所述书写图层为覆盖在所述第一界面上的透明图层;通过所述手写输入法对所述书写图层上的第一手写输入事件进行解析,得到输入内容;将所述输入内容输入到所述目标输入位置。
结合第八方面,在第八方面的一种可能的实现方式中,处理器,在用于所述将所述输入内容输入到所述目标输入位置之后,还可以用于:通过输入监控器将第二手写输入事件发送给所述第一界面所对应的应用;所述第二手写输入事件为在所述第一手写输入事件之后触发的输入事件;通过手写笔服务中的笔势识别模块对所述第二手写输入事件进行识别,得到所述第二手写输入事件对应的笔势;在所述手写输入法的笔势操作控制控制模块中,查找与所述第二手写输入事件对应的笔势相匹配的编辑方式;根据所述编辑方式,通过所述第一界面所对应的应用对所述输入内容进行编辑;在所述目标输入位置显示编辑后的输入内容。
第九方面,本申请提供一种计算机存储介质,包括指令,当上述指令在电子设备上运行时,使得上述电子设备执行上述第一方面、第二方面、第三方面和第四方面中任一种可能的实现方式。
第十方面,本申请实施例提供一种芯片,该芯片应用于电子设备,该芯片包括一个或多个处理器,该处理器用于调用计算机指令以使得该电子设备执行上述第一方面、第二方面、第三方面和第四方面中任一种可能的实现方式。
第十一方面,本申请实施例提供一种包含指令的计算机程序产品,当上述计算机程序产品在设备上运行时,使得上述电子设备执行上述第一方面、第二方面、第三方面和第四方面中任一种可能的实现方式。
可以理解地,上述第五方面、第六方面、第七方面和第八方面提供的电子设备、第九方面提供的计算机存储介质、第十方面提供的芯片、第十一方面提供的计算机程序产品均用于执行上述第一方面、第二方面、第三方面和第四方面中任一种可能的实现方式。因此,其所能达到的有益效果可参考上述第一方面、第二方面、第三方面和第四方面中任一种可能的实现方式的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种文本编辑方法的流程图;
图2为本申请实施例提供的一种图层集合的示意图;
图3为本申请实施例提供的又一种图层集合的示意图;
图4A为本申请实施例提供的又一种图层集合的示意图;
图4B为本申请实施例提供的又一种图层集合的示意图;
图5为本申请实施例提供的又一种图层集合的示意图;
图6A为本申请实施例提供的一种用户在电子设备100进行书写的示意图;
图6B为本申请实施例提供的一种电子设备100的立体图;
图7A为本申请实施例提供的又一种图层集合的示意图;
图7B为本申请实施例提供的又一种图层集合的示意图;
图7C为本申请实施例提供的又一种图层集合的示意图;
图8A为本申请实施例提供的又一种用户在电子设备100进行书写的示意图;
图8B为本申请实施例提供的又一种电子设备100的立体图;
图9为本申请实施例提供的又一种图层集合的示意图;
图10为本申请实施例提供的又一种文本编辑方法的流程图;
图11为本申请实施例提供的一种电子设备100的硬件结构示意图;
图12为本申请实施例提供的一种电子设备100的软件框架示意图;
图13为本申请实施例提供的又一种电子设备100的软件框架示意图;
图14为本申请实施例提供的又一种电子设备100的软件框架示意图;
图15为本申请实施例提供的一种手写笔的结构示意图;
图16为本申请实施例提供的一种通过手写笔对电子设备100进行文本编辑的过程示意图;
图17为本申请实施例提供的一种文本编辑方法的时序图;
图18为本申请实施例提供的又一种电子设备100的软件框架示意图;
图19为本申请实施例提供的又一种通过手写笔对电子设备100进行文本编辑的过程示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
应当理解,本申请的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。
本申请提供了一种文本编辑方法及相关设备。电子设备可以在不影响第一图层的显示的情况下,进行文本编辑。具体地,电子设备可以确定目标输入位置,并新建图层,然后将新建图层上的笔迹转化为文本再输入到目标输入位置中。在一些可能的实现方式中,电子设备还可以新建图层用于记录笔记和批注,并且能够根据图层的透明度来转换两种模式。可理解,上述方法均可以在不影响第一图层显示的情况下进行文本编辑,扩大了手写笔的使用场景,使得用户能使用手写笔进行灵活的文本编辑,提升了用户体验。
下面结合图1介绍本申请实施例提供的一种文本编辑方法。
S101:电子设备100通过无障碍服务确定第一图层上的可输入区域。
具体地,电子设备100可以通过无障碍服务获取电子设备100的屏幕信息,并根据该屏幕信息确定第一图层上的可输入区域。其中,可输入区域为用户可以实现输入的区域。例如,可输入区域可以包括但不限于文本框。
在本申请的一些实施例中,电子设备100执行上述步骤的过程中,电子设备100可以显示第一图层。第一图层可以为第三方应用的界面。当然,第一图层也可以为电子设备的其它界面。
可理解,电子设备100的屏幕信息可以包括电子设备的屏幕图层(比如,第一图层)上的控件信息。控件信息可以包括但不限于控件位置、控件类型、控件text、控件id等。其中,控件位置为控件的坐标。可理解,控件的坐标可以为控件在屏幕坐标系中的坐标。当然,控件的坐标也可以为控件在其他坐标系中的坐标,本申请对此不作限制。控件类型用于表示控件的类型。例如,按键、滑块、文本框等。控件text为用于标识控件的文字信息。控件id也用于标识控件。不同控件的控件id一般不同。
在本申请的一些实施例中,电子设备100通过无障碍服务所获取的屏幕信息可以包括第一图层上的一个或多个文本框的位置及其分布情况。也就是说,电子设备100可以通过无障碍服务获取第一图层上的各个文本框的位置。
示例性的,图2为本申请实施例提供的一种电子设备100的立体图。如图2所示,电子设备100包括图层集合200。可理解,电子设备100显示的界面即为图层集合200中的图层合并后所显示的图层。图层集合200包括图层210。图层210包括文本框211。可理解,图层210为第一图层。文本框211为第一图层上的文本框。
电子设备100可以通过无障碍服务来获取图层210上的控件信息。因而,电子设备100可以确定图层210包括文本框211,并且可以获取文本框211的位置。可理解,文本框211所在区域即为可输入区域。也就意味着,电子设备100基于所获取的文本框211的位置可以确定可输入区域的位置。
在本申请的一些实施例中,第一图层可以包括多个文本框。
示例性的,如图3所示,图层210可以包括文本框211、文本框212和文本框213。
电子设备100可以通过无障碍服务来获取图层210上的控件信息。因而,电子设备100可以确定图层210包括文本框211、文本框212和文本框213,并且可以获取这三个文本框(文本框211、文本框212和文本框213)的位置。可理解,文本框211、文本框212和文本框213所在区域即为可输入区域。也就意味着,电子设备100基于所获取的这三个文本框的位置就可以确定可输入区域的位置。
需要说明的是,为了便于理解不同图层,本申请中提供的示意图中的图层是分开体现的。实际上,图层是紧密覆盖在另一图层上的。
可理解,电子设备100在执行步骤S101之前,需要与手写笔建立通信连接。例如,电子设备100可以与手写笔建立蓝牙连接。当然,电子设备100还可以与手写笔之间建立其他形式的通信连接,本申请对此不作限制。
S102:电子设备100基于可输入区域创建第二图层。其中,第二图层为覆盖在第一图层的可输入区域上的图层。
可理解,电子设备100可以基于第一图层上的可输入区域创建第二图层。其中,第二图层为覆盖在第一图层的可输入区域上。需要说明的是,第二图层的尺寸不小于第一图层上的可输入区域的尺寸。
需要说明的是,若手写笔接触第二图层,第二图层可以感知手写笔的落笔位置,以及其书写笔迹。
在本申请的一些实施例中,第二图层可包括一个或多个透明图层。这些透明图层可以分别覆盖可输入区域的不同部分。例如,第二图层所包括的透明图层可以分别覆盖在第一图层的不同文本框上。这些透明图层可以分别完全覆盖第一图层上的不同文本框。也就是说,这些透明图层的尺寸要比其相应覆盖的文本框的尺寸大。
为了便于理解,在此以图层X和图层Y为例来说明本申请中所提及的完全覆盖的含义。图层X为完全覆盖图层Y的不透明图层,且图层X和图层Y不为空白图层(即图层X和图层Y上有文本、图案等内容)。若用户从垂直于图层X和图层Y的方向观察,由于图层X将图层Y完全覆盖,所以用户无法看到图层Y上的内容,只能看到图层X上的内容。
示例性的,如图4A所示,图层210(即第一图层)包括文本框211。第二图层可以包括图层220。图层220为一透明图层。图层220可以完全覆盖文本框211。
示例性的,如图4B所示,图层210(即第一图层)包括文本框211、文本框212和文本框213。第二图层可以包括图层220、图层230和图层240。图层220、图层230和图层240均为透明图层。图层220可以完全覆盖文本框211。图层230可以完全覆盖文本框212。图层240可以完全覆盖文本框213。
需要说明的是,电子设备100创建的第二图层所包括的区域为有效起笔区域。可理解,只有手写笔的起笔位置在有效起笔区域内,用户才能使用手写笔进行书写。也就是说,只有手写笔的起笔位置在第一图层上,用户才能继续使用手写笔进行书写。
S103:电子设备100响应于第二图层上的第一输入事件,确定目标输入位置,并创建第三图层。其中,第一输入事件用于提示电子设备100准备响应输入事件。第三图层为覆盖在第二图层上的透明图层。目标输入位置位于可输入区域。
具体地,一旦手写笔落在电子设备100的第二图层上,会生成第一输入事件。响应于该第一输入事件,电子设备100可以在第二图层上创建第三图层。也就是说,第三图层为覆盖在第二图层上的图层。
在本申请的一些实施例中,一旦手写笔落在电子设备100的第二图层上,电子设备100还会模拟点击操作,从而使得第一图层所属的第三方应用可以调用输入法。即该第三方应用可以建立输入法通道。用户可以通过该输入法通道完成输入。
可理解,目标输入位置为用户期望进行输入的位置。在本申请的一些实施例中,目标输入位置可以为第一图层上的文本框所在的位置。例如,目标输入位置可以为图4A中的文本框211。
在本申请的一些实施例中,第一图层可以包括多个文本框(如图4B所示)。这些文本框所在的区域即为可输入区域。相应的,第二图层也包括多个透明图层(如图4B所示)。这些透明图层分别覆盖第一图层所包括的文本框。在这种情况下,电子设备100可以根据生成第一输入事件的位置来确定手写笔的下笔位置所在的透明图层。该透明图层所覆盖的文本框所在的位置即为目标输入位置。例如,如图4B所示,电子设备100确定手写笔的下笔位置在图层230上,并生成了第一输入事件。因为图层230覆盖的是第一图层(图层210)上的文本框212,电子设备100可以确定目标输入位置为文本框212。
可理解,第三图层为覆盖在第二图层上的透明图层,可以将其理解为电子设备100创建的用于书写的透明画布。也就是说,电子设备100可以在显示屏上显示第三图层上的书写内容,以及第一图层的内容。然而,由于第二图层和第三图层是透明的,所以用户看到的(或者说电子设备100显示的)是第一图层上的内容和第二图层上的书写内容。在这种情况下,用户可以在书写的同时浏览第一图层上的内容,提升了用户体验。
在本申请的一些实施例中,第三图层可以为铺满电子设备100整个显示屏的透明图层。
示例性的,如图5所示,图层集合200包括图层210、图层220和图层250。其中,图层210为第一图层。图层220为第二图层。图层250为第三图层。
需要说明的是,电子设备100确定目标输入位置之后,可以将该目标输入位置与输入法关联起来,便于用户后续可以通过输入法通道在目标输入位置进行输入。
S104:电子设备100响应于第三图层上的第一手写输入事件,对该第一手写输入事件进行解析,并将解析结果输入到目标输入位置。
具体地,用户可以通过手写笔等可手写设备在电子设备100的第三图层上进行书写。电子设备100可以响应第三图层上的第一手写输入事件,并通过输入法通道来对该第一手写输入事件进行解析,并将解析结果输入到目标输入位置。也就是说,电子设备100可以通过输入法通道将用户手写的内容转换成文本,并将转换后的文本输入到目标输入位置(例如,图5所示的文本框211)。
示例性的,如图6A所示,用户利用手写笔在电子设备100上进行书写,写下了“新青年”这三个字。电子设备100可以显示用户的书写内容。如图6B所示,电子设备100可以将用户利用手写笔书写的“新青年”转换为文本,并输入到文本框中。
具体地,如图7A所示,用户可以利用手写笔在电子设备100上进行书写。可理解,用户的下笔位置在图层220上,而图层220覆盖的是图层210上的文本框211。电子设备100可以确定目标输入位置为文本框211。如图7B所示,电子设备100确定目标输入位置后,创建图层250。可理解,图层250为覆盖在图层220上的透明画笔,以供用户进行书写。用户可以利用手写笔在图层250上进行书写。电子设备100可以将图层250上的书写内容转换成文本,并将其输入到文本框211中。如图7C所示,电子设备100将用户利用手写笔书写在图层250上的“新青年”三个字转换成了文本,并将这三个字输入到文本框211中。
可理解,图7A-图7C中的图层210可以是前述实施例中所提及的第一图层。图7A-图7C中的图层220可以是前述实施例中所提及的第二图层。图7B和图7C中的图层250可以是前述实施例中所提及的第三图层。
在本申请的一些实施例中,用户可以在手写笔不接触屏幕的情况下确定目标输入位置。具体地,若手写笔在接近电子设备100屏幕的位置悬停的时间超过预设时间,会触发hoverevent(即悬停事件)。可理解,电子设备100可以获取手写笔悬停时投影在电子设备100的屏幕上的坐标,并根据该坐标确定目标输入位置。可理解,该坐标对应的第一图层上的位置即为目标输入位置。一旦手写笔落在电子设备100的屏幕上,会生成第一输入事件。在这种情况下,电子设备100可以创建第三图层。需要说明的是,电子设备100可以响应第三图层上的手写输入事件,以及对该手写输入事件进行解析,并将解析结果输入到目标输入位置。
可理解,hover(或者floating touch,悬浮触屏)技术可以让用户在不物理接触屏幕的情况下与移动设备进行交互。在电子设备100采用hover技术的情况下,若用户与电子设备100进行交互,可以触发hoverevent。电子设备100可以在用户或其他输入设备未接触屏幕的时候就检测到其位置。
可理解,与前述实施例类似,在本申请的一些实施例中,一旦手写笔落在电子设备100的第二图层上,电子设备100还会模拟点击操作,从而使得第一图层所属的第三方应用可以调用输入法。即该第三方应用可以建立输入法通道。用户可以通过该输入法通道完成输入。
可理解,接近电子设备100屏幕指的是手写笔与电子设备100屏幕的垂直距离不大于预设距离。需要说明的是,预设距离和预设时间可以根据实际需求进行设置,本申请对此不作限制。
在本申请的一些实施例中,电子设备100可以根据不同的笔势对已输入的内容相应进行编辑。下面示例性介绍两种方法。
方法一:电子设备100可以基于输入法和文本控件基类,来实现对已输入内容的编辑。
具体地,在目标输入位置已存在输入内容的情况下,用户可以利用手写笔在第三图层上对已输入内容进行涂写。相应的,电子设备100可以生成第二手写输入事件。电子设备100可以通过输入法对第二手写输入事件进行解析,得到该第二手写输入事件所对应的编辑方式。基于第二手写输入事件所对应的编辑方式,电子设备100通过文本控件基类来对目标输入位置的已输入内容进行编辑。电子设备100还可以将编辑后的内容传输给目标输入位置。
可理解,电子设备100中的输入法可以包括笔势识别规则。也就是说,电子设备100可以通过输入法来确定用户触发第二手写输入事件的编辑目标。可理解,编辑目标包括但不限于删除已输入的部分/全部内容、选择已输入的部分/全部内容等。
下面示例性说明笔势识别规则。
若第二手写输入事件为横线,则编辑目标为选择已输入的部分/全部内容。若第二手写输入事件为波浪线或横向折线,则编辑目标为删除已输入的部分/全部内容。
需要说明的是,本申请中所提及的已输入内容包括但不限于文本、图形等,本申请对此不作限制。
示例性的,如图8A所示,用户利用手写笔在电子设备100上的文本框中的部分文字——“青年”上画了一条横向折线。电子设备100通过输入法确定用户的编辑目标是删除文本框中的部分/全部内容。进一步的,电子设备100可以通过文本控件基类确定需要删除的是文本框中的“青年”,并删除“新青年”这三个字中的“青年”。最终,电子设备100上的文本框只显示“新”这个字。如图8B所示,电子设备100上的文本框中显示的是“新”这个字。
可理解,如图9所示,用户利用手写笔在图层250(即第三图层)上对已输入内容进行涂写。也就是说,用户利用手写笔所涂写的内容所在的图层,与已输入内容所在的图层并不是同一个图层。
方法二:电子设备100可以基于InputMonitor(输入监控器/输入监控模块)实现对已输入内容的编辑。
具体地,在目标输入位置已存在输入内容的情况下,用户可以利用手写笔在第三图层上对已输入内容进行涂写。相应的,电子设备100可以生成第二手写输入事件。电子设备100可以通过输入法对第二手写输入事件进行解析,得到该第二手写输入事件所对应的编辑方式。电子设备100可以通过InputMonitor将第二手写输入事件传输给第一图层所属的第三方应用。基于第二手写输入事件所对应的编辑方式,电子设备100中的第一图层所属的第三方应用可以对目标输入位置的已输入内容进行编辑,并在目标输入位置显示编辑后的内容。
可理解,InputMonitor用于监控输入事件,是输入管理服务IMS和窗口管理服务WMS之间的纽带。其具体地交互是通过输入分发器完成的。
示例性的,如图8A所示,用户利用手写笔在电子设备100上的文本框中的部分文字——“青年”上画了一条横向折线。相应的,电子设备100可以生成输入事件。该输入事件可以用于表示用户在“青年”上画一条横向折线的操作。可理解,电子设备100通过输入法确定用户的编辑目标是删除文本框中的部分/全部内容。电子设备100可以通过InputMonitor将该输入事件(包括横向折线的坐标、事件类型等)传输给文本框所属的第三方应用。结合输入法确定的编辑目标,电子设备100中的该第三方应用可以删除“新青年”这三个字中的“青年”,并将“青年”这两个字显示在文本框中。
下面结合图10介绍本申请实施例提供的又一种文本编辑方法。
S1001:电子设备100接收第一指令,进入第一编辑模式,并在显示第一图层的情况下创建第四图层。第四图层为覆盖在第一图层上的用于书写的图层。第四图层的透明度为第一透明度。第四图层响应手写笔输入事件和手指滑动事件。
具体地,电子设备100可以接收用户通过手写笔等设备发送的第一指令,或者用户的触摸等操作触发的第一指令。电子设备100接收第一指令后,进入第一编辑模式,并在显示第一图层的情况下创建第四图层。
可理解,第一指令用于指示电子设备100进入第一编辑模式。第一指令可以由手写笔等设备发送给电子设备100,也可以由用户直接通过触摸等操作触发。例如,用户用手指在手写笔上上下滑动,可以使得手写笔向电子设备100发送第一指令。再例如,用户用手指在电子设备100的屏幕上向上滑动,可以触发第一指令。
可理解,电子设备100创建的第四图层可以响应手写笔输入事件和手指滑动事件。例如,用户可以通过手写笔在第四图层上进行书写,也可以向上/下滑动第四图层。
在本申请的一些实施例中,第一图层为第一应用中的图层。可理解,电子设备100接收第一指令之前,可以显示第一图层。
在本申请的一些实施例中,第一编辑模式为笔记模式。在这种情况下,第一图层不响应手写笔输入事件和手指滑动事件。也就是说,用户通过手写笔等设备进行书写或者滑动屏幕,都不会对第一图层产生影响。需要说明的是,电子设备100进入笔记模式时,创建的第四图层是完全不透明的。也就是说,若第一编辑模式为笔记模式,第一透明度为0。
另外,在第一编辑模式为笔记模式的情况下,电子设备100可以对第四图层的透明度进行调整
在本申请的一些实施例中,第一编辑模式为批注模式。在这种情况下,第一图层可以响应手指滑动事件,但不可以响应手写笔输入事件。也就是说,响应于用户的滑动操作,第一图层和第四图层都可以向上/下滑动。需要说明的是,电子设备100进入批注模式时,创建的第四图层是完全透明的。也就是说,若第一编辑模式为批注模式,第一透明度为100%。
S1002:电子设备100接收第二指令,将第四图层的透明度调整为第二透明度,进入第二编辑模式。
在本申请的一些实施例中,第二指令用于指示电子设备100将第四图层的透明度调整为第二透明度。其中,第二透明度高于第一阈值或低于第二阈值。在这种情况下,电子设备100将第四图层的透明度调整为第二透明度之后,触发进入第二编辑模式。
可理解,电子设备100可以在处于第一编辑模式时对第四图层的透明度进行调整。若调整后的第四图层的透明度不高于第一阈值或者不低于第二阈值,则电子设备100仍处于第一编辑模式,不会触发进入第二编辑模式。
在本申请的一些实施例中,第二指令用于指示电子设备100退出第一编辑模式,进入第二编辑模式。在这种情况下,电子设备100进入第二编辑模式后,将第四图层的透明度调整为第二透明度。
在本申请的一些实施例中,第一编辑模式为笔记模式。电子设备100退出笔记模式之前,可以将处于笔记模式时用户的输入内容传输给第二应用。可理解,此处提及的输入内容包括但不限于用户通过手写笔所输入的文本、图形等。相应的,第二应用可以保存该输入内容。可理解,用户可以在第二应用中对该输入内容进行编辑。
在本申请的一些实施例中,第二编辑模式为批注模式。电子设备100退出批注模式之前,可以将第一图层与第四图层合并显示的内容以图片或PDF文件等形式保存,以便用户后续查看。
在本申请的一些实施例中,第二编辑模式为批注模式。在这种情况下,第二透明度要高于第一透明度。
在本申请的一些实施例中,第二编辑模式为笔记模式。在这种情况下,第二透明度要低于第一透明度。
需要说明的是,在第一编辑模式为笔记模式的情况下,第二编辑模式为批注模式。类似的,在第一编辑模式为批注模式的情况下,第二编辑模式为笔记模式。
在本申请的一些实施例中,在电子设备处于第一编辑模式或第二编辑模式的情况下,电子设备可以显示工具栏。用户可以通过触发工具栏中的工具控件,从而对第四图层上的书写内容进行编辑。可理解,工具栏可以包括但不限于线条工具、图形工具、颜色工具、画笔工具、橡皮擦工具、文本工具、撤回工具等。其中,线条工具用于绘制线条。图像工具用于绘制多种图形。颜色工具用于变换笔迹的颜色。橡皮擦工具用于擦除笔迹。文本工具用于新建文本框以及对文本框中的文本进行编辑。撤回工具用于撤回上一步操作。
下面介绍本申请实施例涉及的装置。
图11为本申请实施例提供的一种电子设备100的硬件结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(Universal Serial Bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(Subscriber Identification Module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(Application Processor,AP),调制解调处理器,图形处理器(Graphics Processingunit,GPU),图像信号处理器(Image Signal Processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(Digital Signal Processor,DSP),基带处理器,和/或神经网络处理器(Neural-network Processing Unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备100,例如AR设备等。
充电管理模块140用于从充电器接收充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备100供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(Low Noise Amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(WirelessLocal Area Networks,WLAN)(如无线保真(Wireless Fidelity,Wi-Fi)网络),蓝牙(Bluetooth,BT),全球导航卫星系统(Global Navigation Satellite System,GNSS),调频(Frequency Modulation,FM),近距离无线通信技术(Near Field Communication,NFC),红外技术(Infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(Liquid Crystal Display,LCD),有机发光二极管(Organic Light-EmittingDiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(Active-MatrixOrganic Light Emitting Diode的,AMOLED),柔性发光二极管(Flex Light-EmittingDiode,FLED),Mini LED,Micro LED,Micro-OLED,量子点发光二极管(Quantum Dot LightEmitting Diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现获取功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像或视频。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(Charge Coupled Device,CCD)或互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像或视频信号。ISP将数字图像或视频信号输出到DSP加工处理。DSP将数字图像或视频信号转换成标准的RGB,YUV等格式的图像或视频信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。例如,在一些实施例中,电子设备100可以利用N个摄像头193获取多个曝光系数的图像,进而,在视频后处理中,电子设备100可以根据多个曝光系数的图像,通过HDR技术合成HDR图像。
数字信号处理器用于处理数字信号,除了可以处理数字图像或视频信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(Moving Picture Experts Group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(Neural-Network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像视频播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。电子设备100可以设置至少一个麦克风170C。
耳机接口170D用于连接有线耳机。
传感器模块180可以包括1个或多个传感器,这些传感器可以为相同类型或不同类型。可理解,图1所示的传感器模块180仅为一种示例性的划分方式,还可能有其他划分方式,本申请对此不作限制。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备100姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。
环境光传感器180L用于感知环境光亮度。
指纹传感器180H用于获取指纹。
温度传感器180J用于检测温度。
触摸传感器180K,也称“触控面板”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。触摸传感器180K还可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
可理解,触摸传感器180K可以为触摸屏。在本申请的一些实施例中,触摸传感器180K可以设置于显示屏194上。
骨传导传感器180M可以获取振动信号。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
图12为本申请实施例提供的一种电子设备100的软件框架示意图。
如图12所示,本申请涉及的电子设备100的软件框架可以包括应用程序层、系统应用层和应用程序框架层(Framework,FWK)。
其中,应用程序层可以包括一系列应用程序包。例如,自研应用和第三方应用。可理解,自研应用可以包括文本编辑功能(包括文本输入、更改等)。类似的,第三方应用也可以包括文本编辑功能。
如图12所示,自研应用和第三方应用可以包括文本视图控件(TextView)和文本编辑控件(EditText)。其中,文本视图控件的作用包括向用户显示文本内容,同时可选择性地让用户编辑文本。文本编辑控件的作用与文本视图控件的作用基本一致。不同的是,文本视图控件不允许用户对其进行编辑,而文本编辑控件允许用户对其进行编辑。文本编辑控件还可以设置有监听器,用来检测用户的输入是否合法。
示例性的,文本视图控件可以用于显示文本框的内容。而文本编辑控件可以用于选中文本框中的部分或全部内容,并对其进行删除等操作。
当然,应用程序包还可以包括其他功能,可以参考常规技术中的介绍和说明,本申请对此不作限制。
系统应用层包括电子设备100的操作系统随附的一系列系统级服务。这些系统级服务可以提供给开发者开发的应用来调用。
如图12所示,系统应用可以包括手写笔设置、无障碍设置、手写输入法、手写笔服务。
其中,手写笔设置可以包括开关控制模块和演示动画模块。其中,开关控制模块用于控制手写笔处于开启状态或者处于关闭状态。演示动画模块可以包括用户在使用手写笔进行一系列操作(例如,开启、关闭、充电等)时电子设备100可以显示的动画。
无障碍设置可以配合图12中应用程序框架层中的无障碍服务,以提供给用户相应的服务。关于无障碍服务在此不展开说明,详细内容可参考下文。
手写输入法可以包括控件位置计算模块、书写绘制识别模块、笔势操作控制模块和工具栏。其中,控件位置计算模块用于确定目标输入位置。例如,控件位置计算模块可以计算用户希望输入内容的文本框的位置。书写绘制识别模块用于识别用户的书写内容。此处提及的书写内容可以包括但不限于一种或多种文字、图案等。笔势操作控制模块可以基于笔势来对书写内容进行编辑(例如,删除、选择等)。工具栏可以包括一种或多种语言的一种或多种输入方式。例如,工具栏可以包括中文的手写输入、笔画输入、拼音输入等多种输入方式。工具栏还可以包括一种或多种键盘。可理解,工具栏的相关内容可以参考相关技术文档,本申请对此不作限制。
手写笔服务可以包括笔势识别模块、笔迹识别模块、报点预测模块和手写绘制模块。其中,笔势识别模块可以识别一种或多种笔势。可理解,笔势识别模块可以将识别结果传输给手写输入法中的笔势操作控制模块。例如,笔势识别模块可以识别到用户在文本上画波浪线或横向折线。笔势识别模块可以将识别的笔势传输给笔势操作控制模块。笔势操作控制模块可以包括笔势识别规则。可理解,笔势识别规则包括笔势与编辑方式的对应关系。例如,笔势操作控制模块可以根据用户在文本上画波浪线或横线折线来判断用户的目的是删除相应的文本,并删除被画上波浪线或横向折线的文本。笔迹识别模块可以用于识别与电子设备100适配且成功连接的手写笔的书写笔迹。即将该书写笔迹识别为相应的文字。报点预测模块可以预测与电子设备100适配且成功连接的手写笔在电子设备100的触摸屏上的落笔位置。手写绘制模块可以用于控制用户使用该手写笔时的书写内容显示时的效果。例如,手写笔迹的颜色、粗细以及样式等。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。
如图12所示,应用程序框架层可以包括蓝牙服务、无障碍服务、窗口管理服务、输入管理服务(Input Method Manager Service,IMMS)、输入法管理服务、文本控件基类。
其中,蓝牙服务用于提供电子设备100与其他设备之间的蓝牙功能。可理解,蓝牙服务包括连接管理模块。该连接管理模块用于管理电子设备100与其他电子设备之间的蓝牙连接状态。
无障碍服务(AccessibilityService)是一套可以模拟操作的系统级别的API。无障碍服务可以监听界面上的一系列操作。比如:点击、拖动、界面更新等信息。无障碍服务还可以获取屏幕信息,同时具备普通Service的能力。可理解,此处提及的Service是一种可在后台执行长时间运行操作而不提供界面的应用组件。服务可由其他应用组件启动,而且即使用户切换到其他应用,服务仍将在后台继续运行。此外,组件可通过绑定到服务与之进行交互,甚至是执行进程间通信。
如图12所示,无障碍服务可以包括监听回调模块。该监听回调模块可以用于监听界面上的操作,以及获取屏幕信息。
窗口管理服务用于管理操作系统中的窗口。窗口管理服务可以与相应的客户端一起作用以实现窗口的创建、销毁、绘制、布局等功能。其中,客户端则负责与窗口管理服务交互,并对应用和其它服务提供窗口管理接口,包括提供窗口视图的添加、移出和更新等接口函数。
如图12所示,窗口管理服务可以包括手写窗口管理模块和窗口缩放模块。其中,手写窗口管理模块用于对手写窗口进行管理。例如,创建手写窗口、关闭手写窗口等。窗口缩放模块用于控制窗口的大小。
输入管理器的主要作用是对输入设备进行监听,并及时将输入设备产生的输入事件(例如,点击屏幕、按键、滑动等)传递至操作系统或者应用程序,然后由操作系统或者应用程序进行相应的处理。例如,用户触摸了一个应用程序中的一个activity的一个控件。输入管理器可以将用户的触摸转化成一次触摸事件,并将其传递至该应用程序,然后继续传递至该控件,并由该控件来进行相应处理。输入管理器有两大部件:输入读取器(InputReader)和输入分发器(InputDispatcher)。其中,输入读取器负责事件的读取。输入分发器负责事件的分发。
输入法管理服务运行于系统进程,是一个系统级服务。输入法管理服务的主要作用是管理输入法、绑定输入法、管理客户端,以及和其他系统级服务交互。
输入法管理服务可以包括连接管理模块、服务管理模块和焦点监听管理模块。其中,连接管理模块可以用于第三方应用调用输入法时创建连接。服务管理模块可以用于在第三方应用和输入法之间建立关联,使得用户可以利用输入法在第三方应用中进行输入。焦点监听管理模块可以用于对焦点进行监听,以便及时确定焦点坐标和用户期望输入的位置。可理解,此处提及的焦点可以为光标。
文本控件基类可以获取电子设备100上文本信息。在本申请的一些实施例中,文本控件基类可以结合手写输入法来完成相应编辑。
图13为本申请实施例提供的又一种电子设备100的软件框架示意图。
如图13所示,本申请涉及的电子设备100的软件框架可以包括应用程序层、系统应用层和应用程序框架层。
其中,应用程序层可以包括自研应用和第三方应用。系统应用层可以包括手写笔设置、手写输入法和手写笔服务。应用程序框架层可以包括蓝牙服务、窗口管理服务、输入管理器和输入法管理服务。
可理解,上述软件框架不同分层的相关描述可以参考前述实施例,在此不再赘述。
需要说明的是,本申请提供的图12和图13所示的电子设备100的软件框架示意图仅作为示例。可理解,本申请对图12和图13所示的软件框架中的不同分层中的具体模块的划分不作限制。
可理解,以上图12和图13所示的软件框架还可以作用已有的软件框架的一部分。下面介绍本申请实施例提供的一种操作系统为安卓(Android)系统的电子设备100的软件框架。
如图14所示,本申请涉及的电子设备100的软件框架可以包括应用程序层、系统应用层、应用程序框架层、系统库、安卓运行时、硬件抽象层和内核层。
可理解,应用程序层、系统应用层、应用程序框架层的相关描述可以参考前述实施例,在此不再赘述。
系统库和安卓运行时包含FWK所需要调用的功能函数,Android的核心库,以及Android虚拟机。系统库可以包括多个功能模块。例如:浏览器内核,三维(3dimensional,3D)图形,字体库等。
硬件抽象层是设备内核驱动的抽象接口,用于实现向更高级别的Java API框架提供访问底层设备的应用编程接口。HAL包含多个库模块,例如音频、蓝牙、相机、传感器等。其中每个库模块都为特定类型的硬件组件实现一个接口。当系统框架层API要求访问便携设备的硬件时,Android操作系统将为该硬件组件加载库模块。
内核层是Android操作系统的基础,Android操作系统最终的功能都是通过内核层完成。内核层可以包含摄像头驱动、音频驱动、蓝牙驱动、传感器驱动、显示驱动、触屏驱动和按键驱动等。例如,内核层与硬件抽象层之间的接口语言为硬件抽象层接口描述语言(HAL interface definition language,HIDL)。
需要说明的是,本申请实施例提供的图14所示结构的电子设备100的软件框架示意图仅作为一种示例,并不限定Android操作系统不同分层中的具体模块划分,具体可以参考常规技术中对Android操作系统软件结构的介绍。另外,本申请实施例提供的电子设备100还可以采用其他操作系统。可理解,本申请实施例提供的一种文本编辑方法还可以基于其他操作系统实现,本申请不再一一举例。
图15为本申请实施例提供的一种手写笔的结构示意图。
如图15所示,本申请涉及的手写笔的可以包括蓝牙组件、驱动组件和压感组件。
其中,蓝牙组件可以用于控制手写笔的蓝牙功能。示例性的,蓝牙组件可以用于控制手写笔与其他设备(例如,图12、图13和图14所示的电子设备100)之间的蓝牙连接状态。
驱动组件可以包括一个或多个驱动程序。手写笔通过这些驱动程序来正常运行,以达到既定的工作效果。
压感组件可以包括压力传感器。压力传感器用于感受压力信号,并将压力信号转换成电信号。
请参考图16,图16为本申请实施例提供的一种通过手写笔对电子设备100进行文本编辑的过程示意图。
如图16所示,电子设备100可以通过蓝牙模块中的连接管理模块来与手写笔建立蓝牙连接。可理解,该蓝牙连接过程由电子设备100的蓝牙模块与手写笔的蓝牙组件配合完成。
在成功建立蓝牙连接之后,电子设备100可以通过其无障碍服务中的监听回调模块获取屏幕信息。可理解,这里所提及的屏幕信息包括第一图层上的控件信息。第一图层为第三方应用中的图层。电子设备100可以通过手写输入法在可输入区域上创建第二图层。可理解,这里所提及的可输入区域可以包括第一图层上的文本框。
另外,在上述情况下,一旦手写笔接触电子设备100的屏幕,手写笔会将落笔位置的坐标上报给输入管理器。输入管理器可以将该坐标传输给窗口管理服务。窗口管理服务再将该坐标传输给手写输入法。手写输入法可以判断手写笔落笔位置的坐标是否在第二图层上,并确定目标输入位置。可理解,此处所提及的目标输入位置指的是用户期望在第三方应用中进行输入的位置。例如,第三方应用中第一图层上的一个文本框。
若手写笔落笔位置的坐标在第二图层上,第三方应用可以通过输入法管理器(Input Method Manager,IMM)向输入法管理服务通知自己获得焦点(即目标输入位置),并请求绑定自己到当前输入法上。输入法管理服务可以创建第三图层,并确定当前输入法为手写输入法,且将第三图层作为手写输入法的输入画布。可理解,第三方应用可以通过输入法控制器(Input Method Control,IMC)来绑定目标输入位置和手写输入法。
可理解,用户可以利用手写笔在电子设备100上书写。与上文报点过程类似,手写笔可以将书写时的落笔坐标上报给输入管理器。输入管理器再将该坐标传输给窗口管理服务。窗口管理服务再将该坐标传输给手写输入法。手写输入法可以结合手写笔服务来对书写时的落笔坐标进行分析,并确定用户的书写内容。
根据上文,第三方应用中的目标输入位置和手写输入法已完成绑定,因此,手写输入法可以将用户的书写内容作为输入内容传输到目标输入位置。
在目标输入位置已存在输入内容的情况下,用户可以利用手写笔在第三图层上对已输入内容进行涂写。相应的,电子设备100可以生成第二手写输入事件。电子设备100可以通过手写笔服务和手写输入法对第二手写输入事件进行解析。具体地,电子设备100可以通过笔势识别模块和笔势操作控制模块来对手写笔的笔势进行识别,并得到该第二手写输入事件所对应的编辑方式。基于第二手写输入事件所对应的编辑方式,电子设备100可以通过文本控件基类来对目标输入位置的已输入内容进行编辑,并将编辑后的内容传输给目标输入位置。
结合图12示出的电子设备100的软件框架示意图,本申请实施例提供了一种文本编辑方法的时序图。如图17所示,该方法可以包括以下步骤:
S1701:手写笔将第一输入事件的坐标发送给电子设备100中的手写输入法。
可理解,第一输入事件可以为建立蓝牙连接后手写笔首次落到电子设备100的屏幕上时产生的输入事件,在此对第一输入事件不展开说明,相关描述可参考前述实施例。
可理解,输入管理器可以对输入事件进行管理。若手写笔落在电子设备100的屏幕上,会生成输入事件,手写笔会将输入事件的坐标上报给输入管理器。
在本申请的一些实施例中,手写笔可以首先将第一输入事件的坐标发送给输入管理器。输入管理器再将该坐标发送给窗口管理服务。窗口管理服务再将该坐标发送给手写输入法。
S1702:手写输入法通过无障碍服务确定目标文本框的位置。
可理解,无障碍服务可以获取屏幕信息。例如,第一图层上的文本框的坐标。其中,第一图层的相关描述可以参考前述实施例,在此不再赘述。
在本申请的一些实施例中,无障碍服务可以将获取到的第一图层上的文本框的坐标传输给手写输入法。手写输入法可以对比步骤S1701中第一输入事件的坐标和第一图层上的文本框的坐标,确定目标文本框,并得到该目标文本框的坐标。其中,目标文本框为预计输入的文本框。
示例性的,若第一输入事件的坐标在区域P内,而区域P为包括文本框O的特定区域,则文本框O为目标文本框。
可理解,此处所提及的目标文本框为前述实施例中的目标输入位置的一个示例。
S1703:输入法管理服务确定手写输入法为当前输入法。
可理解,输入法的种类很多。在本申请中主要涉及的是手写输入法。
S1704:应用向输入法管理服务发送绑定请求。
可理解,应用可以通过向输入法管理服务发送绑定请求,来请求将自己与手写输入法绑定。需要说明的是,应用与手写输入法绑定后,应用可以调用手写输入法进行输入。
S1705:手写输入法新建透明画布。
可理解,手写输入法可以新建透明画布。该透明画布覆盖在第一图层上,并铺满整个屏幕。该透明画布为手写输入法的输入画布。也就是说,用户可以在该透明画布上书写,再由手写输入法将书写内容转化为标准文本。
S1706:手写笔将手写内容的坐标发送给手写输入法。
可理解,用户可以利用手写笔在电子设备100的屏幕上书写。手写笔可以将手写内容的坐标发送给手写输入法。
与步骤S1701类似,在本申请的一些实施例中,手写笔可以首先将手写内容的坐标发送给输入管理器。输入管理器再将该坐标发送给窗口管理服务。窗口管理服务再将该坐标发送给手写输入法。
S1707:文本控件基类文本控件基类判断第一图层上的目标文本框中的已输入内容的坐标与新建的透明画布上的手写内容的坐标是否一致。
可理解,文本控件基类可以通过比较目标文本框中的已输入内容的坐标与新建的透明画布上的手写内容的坐标是否一致,来判断用户目的是输入内容,还是对已输入内容进行相应的编辑。
需要说明的是,若目标文本框中的已输入内容的坐标与新建的透明画布上的手写内容的坐标完全一致或部分一致,电子设备100执行步骤S1708-步骤S1711。若目标文本框中的已输入内容的坐标与新建的透明画布上的手写内容的坐标完全不一致,电子设备100执行步骤S1712和步骤S1713。
S1708:手写输入法根据笔势识别规则来进行笔势识别,并确定相应的编辑方式。
可理解,笔势识别规则和编辑方式的相关内容可以参考前述实施例,在此不再赘述。
S1709:手写输入法将手写内容的坐标发送给文本控件基类
S1710:文本控件基类根据确定的编辑方式对已输入内容进行编辑。
可理解,此处所提及的确定的编辑方式为步骤S1708中手写输入法所确定的编辑方式。
S1711:文本控件基类将光标位置发送给手写输入法。
可理解,步骤S1710中文本控件基类对已输入内容进行编辑后,光标位置可能发生变化。文本控件基类可以将光标位置发送给手写输入法。
S1712:手写输入法对手写内容进行识别,得到标准文本。
可理解,手写输入法可以将手写内容转换为标准文本。
S1713:手写输入法将标准文本发送给文本控件基类。
可理解,手写输入法可以将识别所得的标准文本发送给文本控件基类。
图18为本申请实施例提供的又一种电子设备100的软件框架示意图。
如图18所示,本申请涉及的电子设备100的软件框架可以包括应用程序层、应用程序框架层、系统库、安卓运行时、硬件抽象层和内核层。
其中,应用程序层可以包括一系列应用程序包。
如图18所示,应用程序包中可以存在可以生成第四图层的应用。可理解,第四图层可以为该应用的一个activity。
activity是Android的应用组件,它提供屏幕进行交互。每个activity都会获得一个用于绘制其用户界面的窗口。该窗口可以充满屏幕,也可以小于屏幕并浮动在其他窗口之上。
当然,应用程序包还可以包括其他应用,本申请对此不作限制。
应用程序框架层可以包括截屏服务、触发服务、窗口管理服务、输入管理服务、输入读取器、内容提供器、视图系统、电话管理器、资源管理器和通知管理器等。
截屏服务用于截取屏幕图像。触发服务用于触发电子设备100创建第四图层。输入管理服务用于管理各类输入事件。内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。视图系统可用于构建应用程序。视图系统包括可视控件。例如显示文字的控件,显示图片的控件等。电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。资源管理器为应用程序提供各种资源(例如,图片、视频等)。通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。
可理解,窗口管理服务和输入读取器的相关描述可参考前述实施例,在此不再赘述。
另外,系统库、安卓运行时、硬件抽象层的相关描述也可以参考前述实施例,在此不再赘述。
内核层可以是Android操作系统的基础,Android操作系统最终的功能都是通过内核层完成。如图18所示,内核层可以包括触笔驱动、报点驱动、音频驱动、蓝牙驱动、传感器驱动、显示驱动和按键驱动等。
请参考图19,图19为本申请实施例提供的又一种通过手写笔对电子设备100进行文本编辑的过程示意图。
触笔驱动和报点驱动可以将用户的输入信息传递给输入读取器。也就是说,输入读取器可以读取输入事件。例如,手写笔输入事件、手指滑动事件等。
触发服务可以监听输入读取器所读取的输入事件。
可理解,监听到特定的输入事件后,触发服务可以启动应用来创建第四图层。创建第四图层之后,触发服务可以继续监听输入读取器所读取的输入事件,并将该输入事件传递给输入管理服务。输入管理服务可以将该输入事件传递给窗口管理服务,再由窗口管理服务将该输入事件派发给第四图层和/或其他应用。
在本申请的一些实施例中,其他应用包括第一应用。
另外,第四图层可以调用截屏服务来截取屏幕图像。
可理解,通过图19所示的文本编辑过程,用户可以实现手写笔记以及批注(如图10所示)。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (10)
1.一种文本编辑方法,其特征在于,应用于电子设备,所述方法包括:
显示第一界面;
响应于第一输入事件,确定目标输入位置,并创建书写图层;所述目标输入位置位于所述第一界面上;所述书写图层为覆盖在所述第一界面上的透明图层;
响应于所述书写图层上的第一手写输入事件,对所述第一手写输入事件进行解析,得到输入内容;
将所述输入内容输入到所述目标输入位置;
所述将所述输入内容输入到所述目标输入位置之后,所述方法还包括:
响应于所述书写图层上的第二手写输入事件,基于输入法对所述第二手写输入事件进行解析,得到所述第二手写输入事件对应的编辑方式;根据所述编辑方式,通过文本控件基类对所述输入内容进行编辑;在所述目标输入位置显示编辑后的输入内容;
或者,将所述书写图层上的所述第二手写输入事件传递给所述第一界面所对应的应用;基于输入法对所述第二手写输入事件进行解析,得到所述第二手写输入事件对应的编辑方式;基于输入监控器将所述第二手写输入事件发送给所述第一界面所对应的应用;根据所述编辑方式,通过所述第一界面所对应的应用对所述输入内容进行编辑;在所述目标输入位置显示编辑后的输入内容。
2.如权利要求1所述的方法,其特征在于,所述响应于第一输入事件之前,所述方法还包括:
基于无障碍服务确定所述第一界面的可输入区域;
基于所述可输入区域创建有效落笔图层;所述有效落笔图层为覆盖在所述可输入区域上的透明图层;
其中,所述第一输入事件为作用在所述有效落笔图层上的事件;所述目标输入位置位于所述第一界面的所述可输入区域上。
3.如权利要求1所述的方法,其特征在于,所述第一输入事件为悬停事件。
4.一种文本编辑方法,其特征在于,应用于电子设备,所述方法包括:
显示第一界面;所述第一界面为第一应用的界面;
接收第一指令,进入第一编辑模式,创建书写图层;所述书写图层为覆盖在所述第一界面上的图层;所述书写图层的透明度为第一透明度;所述书写图层响应手写笔输入事件和手指滑动事件;所述第一界面响应所述手指滑动事件;
接收第二指令,将所述书写图层的透明度调整为第二透明度,进入第二编辑模式;
其中,所述第一编辑模式为笔记模式,所述第二编辑模式为批注模式,所述第二透明度高于第一阈值,所述第一透明度低于所述第二透明度;
或者,所述第一编辑模式为批注模式,所述第二编辑模式为笔记模式,所述第二透明度低于第二阈值,所述第一透明度高于所述第二透明度。
5.如权利要求4所述的方法,其特征在于,在所述第一编辑模式为笔记模式,所述第二编辑模式为批注模式,所述第二透明度高于第一阈值,所述第一透明度低于所述第二透明度的情况下,所述进入第二编辑模式之前,所述方法还包括:
将所述书写图层上的手写笔输入内容存储到第二应用中;所述手写笔输入内容由所述手写笔输入事件经解析后所得;
清空所述书写图层上的所述手写笔输入内容。
6.如权利要求4所述的方法,其特征在于,在所述第一编辑模式为批注模式,所述第二编辑模式为笔记模式,所述第二透明度低于第二阈值,所述第一透明度高于所述第二透明度的情况下,所述进入第二编辑模式之前,所述方法还包括:
在所述书写图层上存在手写笔输入内容的情况下,将所述第一界面和所述书写图层合并显示的内容存储到第二应用中;所述手写笔输入内容由所述手写笔输入事件经解析后所得;
清空所述书写图层上的所述手写笔输入内容。
7.一种电子设备,包括显示器、存储器、一个或多个处理器,其特征在于,所述存储器用于存储计算机程序;所述处理器用于调用所述计算机程序,使得所述电子设备执行权利要求1-3中任一项所述的方法。
8.一种电子设备,包括显示器、存储器、一个或多个处理器,其特征在于,所述存储器用于存储计算机程序;所述处理器用于调用所述计算机程序,使得所述电子设备执行权利要求4-6中任一项所述的方法。
9.一种计算机存储介质,其特征在于,包括:计算机指令;当所述计算机指令在电子设备上运行时,使得所述电子设备执行权利要求1-3中任一项所述的方法。
10.一种计算机存储介质,其特征在于,包括:计算机指令;当所述计算机指令在电子设备上运行时,使得所述电子设备执行权利要求4-6中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111312697.2A CN115016722B (zh) | 2021-11-08 | 2021-11-08 | 一种文本编辑方法及相关设备 |
CN202310358493.5A CN116483244A (zh) | 2021-11-08 | 2021-11-08 | 一种文本编辑方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111312697.2A CN115016722B (zh) | 2021-11-08 | 2021-11-08 | 一种文本编辑方法及相关设备 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310358493.5A Division CN116483244A (zh) | 2021-11-08 | 2021-11-08 | 一种文本编辑方法及相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115016722A CN115016722A (zh) | 2022-09-06 |
CN115016722B true CN115016722B (zh) | 2023-04-07 |
Family
ID=83064620
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111312697.2A Active CN115016722B (zh) | 2021-11-08 | 2021-11-08 | 一种文本编辑方法及相关设备 |
CN202310358493.5A Pending CN116483244A (zh) | 2021-11-08 | 2021-11-08 | 一种文本编辑方法及相关设备 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310358493.5A Pending CN116483244A (zh) | 2021-11-08 | 2021-11-08 | 一种文本编辑方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN115016722B (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102426563A (zh) * | 2011-08-09 | 2012-04-25 | 东莞兆田数码科技有限公司 | 用于对电子文档进行手写真迹批注的方法及其设备系统 |
CN109032495B (zh) * | 2018-08-15 | 2019-06-04 | 掌阅科技股份有限公司 | 内容输入方法、电子设备及计算机存储介质 |
CN109032999B (zh) * | 2018-08-15 | 2019-10-11 | 掌阅科技股份有限公司 | 笔记显示方法、电子设备及计算机存储介质 |
CN109614178A (zh) * | 2018-09-04 | 2019-04-12 | 广州视源电子科技股份有限公司 | 批注显示方法、装置、设备和存储介质 |
CN110196675B (zh) * | 2019-04-17 | 2022-07-15 | 华为技术有限公司 | 一种添加批注的方法及电子设备 |
-
2021
- 2021-11-08 CN CN202111312697.2A patent/CN115016722B/zh active Active
- 2021-11-08 CN CN202310358493.5A patent/CN116483244A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN116483244A (zh) | 2023-07-25 |
CN115016722A (zh) | 2022-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110737386B (zh) | 一种屏幕截取方法及相关设备 | |
CN110045819B (zh) | 一种手势处理方法及设备 | |
CN112269527B (zh) | 应用界面的生成方法及相关装置 | |
WO2021000881A1 (zh) | 一种分屏方法及电子设备 | |
CN112558825A (zh) | 一种信息处理方法及电子设备 | |
CN111078091A (zh) | 分屏显示的处理方法、装置及电子设备 | |
CN113542503B (zh) | 一种创建应用快捷方式的方法、电子设备及系统 | |
CN113132526B (zh) | 一种页面绘制方法及相关装置 | |
CN110559645B (zh) | 一种应用的运行方法及电子设备 | |
WO2022057852A1 (zh) | 一种多应用程序之间的交互方法 | |
WO2021078032A1 (zh) | 用户界面的显示方法及电子设备 | |
WO2021190524A1 (zh) | 截屏处理的方法、图形用户接口及终端 | |
CN110543350A (zh) | 一种生成页面组件的方法及装置 | |
CN112749362A (zh) | 控件创建方法、装置、设备及存储介质 | |
WO2020103091A9 (zh) | 锁定触控操作的方法及电子设备 | |
CN112770173A (zh) | 直播画面处理方法、装置、计算机设备及存储介质 | |
WO2022228042A1 (zh) | 显示方法、电子设备、存储介质和程序产品 | |
WO2022002213A1 (zh) | 翻译结果显示方法、装置及电子设备 | |
CN115016697A (zh) | 投屏方法、计算机设备、可读存储介质和程序产品 | |
CN115185440A (zh) | 一种控件显示方法及相关设备 | |
CN113867657A (zh) | 跨设备桌面管理方法、第一电子设备及第二电子设备 | |
CN115016722B (zh) | 一种文本编辑方法及相关设备 | |
WO2022228043A1 (zh) | 显示方法、电子设备、存储介质和程序产品 | |
WO2022135273A1 (zh) | 一种调用其他设备能力的方法、电子设备和系统 | |
WO2024109481A1 (zh) | 窗口控制方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |