CN116402026B - 应用内容批注方法、装置、设备以及存储介质 - Google Patents

应用内容批注方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN116402026B
CN116402026B CN202310398070.6A CN202310398070A CN116402026B CN 116402026 B CN116402026 B CN 116402026B CN 202310398070 A CN202310398070 A CN 202310398070A CN 116402026 B CN116402026 B CN 116402026B
Authority
CN
China
Prior art keywords
annotation
information
content
text
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310398070.6A
Other languages
English (en)
Other versions
CN116402026A (zh
Inventor
廖林涛
朱增
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ONYX INTERNATIONAL Inc
Original Assignee
ONYX INTERNATIONAL Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ONYX INTERNATIONAL Inc filed Critical ONYX INTERNATIONAL Inc
Priority to CN202310398070.6A priority Critical patent/CN116402026B/zh
Publication of CN116402026A publication Critical patent/CN116402026A/zh
Application granted granted Critical
Publication of CN116402026B publication Critical patent/CN116402026B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/186Templates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请实施例公开了一种应用内容批注方法、装置、设备以及存储介质,该方法通过接收批注添加操作,并在生成的系统批注窗口中实时显示第一批注内容;进而获取第一应用标识,将其与预设的数据库进行匹配得到第一模板;基于第一模板对第一应用窗口的预设区域进行字符识别,得到第一批注信息,并实时存储至数据库;当接收到批注显示操作时,根据批注显示操作生成批注显示窗口;获取当前显示的第二应用窗口的第二应用标识,将其与预设的数据库进行匹配得到第二模板;基于第二模板对第二应用窗口的预设区域进行字符识别;在数据库中确定是否存在相关联的第二批注信息;最后将其关联的第二批注内容在批注显示窗口中显示,实现了对批注再现的准确定位。

Description

应用内容批注方法、装置、设备以及存储介质
技术领域
本申请实施例涉及互联网技术领域,尤其涉及应用内容批注方法、装置、设备以及存储介质。
背景技术
随着科技的发展以及阅读设备的便携化,越来越多人喜欢使用阅读设备进行阅读或办公。而在用户使用阅读设备过程中,可能会使用各种各样的阅读应用,并且,可能需要对目前页面内容进行批注、圈选或者手写笔记。但是在实际阅读过程中,并不是每个阅读应用都支持批注功能。相关技术中,对于不支持批注功能的阅读应用,可以采用两种可能的方案,一是、在批注展示的时候,通过图像比对算法,计算当前绘制内容与批注时缓存绘制内容的相似度,当相似度在用户配置的阈值范围内时,展示批注;二是、在利用当前页面内容(即绘制内容)匹配到批注后,会根据当前绘制内容与批注时缓存绘制内容中的子内容的(即控件,如输入框、文本段落、搜索框)坐标偏移量,来调整批注的位置。
然而,前者通过计算相似度的方式来展示批注,没有考虑在批注再现时,阅读应用可能发生了页面变化,使得批注内容原有的文本属性以及位置无法适应关联文本的位置变化,造成批注位置的较大误差;后者由于阅读应用的控件属性可能会因为应用更新而发生变化,根据控件坐标来对批注进行重定位会出现定位不准的情况。
发明内容
基于此,本申请实施例提供了一种应用内容批注方法、装置、设备以及存储介质,解决了批注再现时的文本属性以及位置无法适应阅读应用的页面变化的问题,实现了通过模板的设置,有效适应于不同阅读应用的不同节界面,通过结合当前应用的内容进度信息以及关联内容信息,对批注内容的位置进行准确存储,有利于批注再现时适应于阅读应用的页面变化,对批注内容进行准确的重定位。
第一方面,本申请实施例提供了一种应用内容批注方法,包括:
接收批注添加操作,根据所述批注添加操作生成系统批注窗口,并在所述系统批注窗口中实时显示第一批注内容;
获取当前显示的第一应用窗口的第一应用标识,根据所述第一应用标识与预设的数据库进行匹配得到第一模板;
基于所述第一模板对所述第一应用窗口的预设区域进行字符识别,以获取所述第一应用窗口对应的第一进度信息以及所述第一批注内容的关联文本信息,并通过第一预设提取方式提取第一文本名称;
将所述第一进度信息,所述关联文本信息,所述第一应用标识、所述第一批注内容以及所述第一文本名称关联为第一批注信息,并实时存储至所述数据库;
接收到批注显示操作时,根据所述批注显示操作生成批注显示窗口;
获取当前显示的第二应用窗口的第二应用标识,根据所述第二应用标识与所述数据库进行匹配得到第二模板;
基于所述第二模板对所述第二应用窗口的预设区域进行字符识别,以获取所述第二应用窗口对应的第二进度信息以及内容正文信息,并通过第二预设提取方式提取第二文本名称;
在所述数据库中确定是否存在与所述第二进度信息、所述内容正文信息、所述第二应用标识以及所述第二文本名称相关联的第二批注信息;
响应于存在第二批注信息的匹配结果,将其关联的第二批注内容在所述批注显示窗口中显示。
其中,所述第一模板包括第一正文识别区以及第一进度识别区,所述第二模板包括第二正文识别区以及第二进度识别区;
相应的,所述基于所述第一模板对所述第一应用窗口的预设区域进行字符识别,以获取所述第一应用窗口对应的第一进度信息以及所述第一批注内容的关联文本信息,包括:
截图获取所述第一应用窗口的第一页面图像;
对所述第一页面图像中与所述第一进度识别区对应的区域进行字符识别,得到第一进度信息;
在所述第一页面图像中与所述第一正文识别区对应的区域中,对以所述批注内容的位置坐标为中心的辐射范围内的图像进行字符识别,得到关联文本信息;
相应的,所述基于所述第二模板对所述第二应用窗口的预设区域进行字符识别,以获取所述第二应用窗口对应的第二进度信息以及内容正文信息,包括:
截图获取所述第二应用窗口的第二页面图像;
对所述第二页面图像中与所述第二进度识别区对应的区域进行字符识别,得到第二进度信息;
对所述第二页面图像中与所述第二正文识别区对应的区域进行字符识别,得到内容正文信息。
其中,所述对以所述批注内容的位置坐标为中心的辐射范围内的图像进行字符识别,得到关联文本信息,包括:
若批注内容的类型为开放线型或闭合圈型,将所述批注内容对应的批注路径以相邻文本的单字符为单位进行分割得到多个第一子批注,将所述第一子批注与相邻字符进行关联得到关联文本信息;
若批注内容的类型为字符型,将所述批注内容以单字符为单位进行分割得到多个第二子批注,将所述第二子批注与相邻字符进行关联得到关联文本信息。
其中,所述通过第一预设提取方式提取第一文本名称,包括:
对所述第一页面图像中与所述第一模板的第一文本名称识别区对应的区域进行字符识别,得到第一文本名称,
或,对所述第一应用窗口对应的第一数据路径进行字段识别,得到第一文本名称;
所述通过第二预设提取方式提取第二文本名称,包括:
对所述第二页面图像中与所述第二模板的第二文本名称识别区对应的区域进行字符识别,得到第二文本名称,
或,对所述第二应用窗口对应的第二数据路径进行字段识别,得到第二文本名称。
其中,在所述接收批注添加操作之前,还包括:
接收作用于模板控件的模板生成操作,根据所述模板生成操作生成模板框选窗口;
在所述模板框选窗口中接收区域选取操作,根据所述区域选取操作确定模板信息,所述模板信息包括文本名称识别区、正文识别区以及进度识别区相对于当前应用窗口的相对位置信息;
根据所述模板信息生成模板,并将所述模板与所述当前应用窗口对应的应用标识关联存储至预设的数据库;
接收作用于模板控件的模板关闭操作,根据所述模板关闭操作关闭模板框选窗口。
其中,在所述数据库中确定是否存在与所述第二进度信息、所述内容正文信息、所述第二应用标识以及所述文本名称相关联的第二批注信息之后,还包括:
响应于存在与所述第二进度信息以及所述第二应用标识相关联,并且没有关联所述内容正文信息的第三批注信息的匹配结果,显示关于所述第三批注信息的批注内容处理的对话框,所述对话框包括是否删除所述第三批注信息以及是否重新确定其关联的批注内容位置的选项;
接收到确定删除所述第三批注信息的第一选择操作时,将所述第三批注信息从所述数据库中移除;
接收到重新确定其关联的批注内容位置的第二选择操作时,生成位置选择窗口;在所述位置选择窗口中接收位置选择操作,根据所述位置选择操作确定所述第三批注信息相关联的批注内容的关联文本信息。
其中,在将其关联的第二批注内容在所述批注显示窗口中显示之后,还包括:
接收到批注关闭操作时,根据所述批注关闭操作关闭批注显示窗口。
其中,所述第一进度信息以及所述第二进度信息的进度类型为进度百分比、当前页码、当前章节数或者进度条中的其中一种。
第二方面,本申请实施例还提供了一种应用内容批注装置,包括:
批注添加单元,用于接收批注添加操作,根据所述批注添加操作生成系统批注窗口,并在所述系统批注窗口中实时显示第一批注内容;
第一模板单元,用于获取当前显示的第一应用窗口的第一应用标识,根据所述第一应用标识与预设的数据库进行匹配得到第一模板;
第一识别单元,用于基于所述第一模板对所述第一应用窗口的预设区域进行字符识别,以获取所述第一应用窗口对应的第一进度信息以及所述第一批注内容的关联文本信息,并通过第一预设提取方式提取第一文本名称;
批注确定单元,用于将所述第一进度信息,所述关联文本信息,所述第一应用标识、所述第一批注内容以及所述第一文本名称关联为第一批注信息,并实时存储至所述数据库;
显示窗口单元,用于接收到批注显示操作时,根据所述批注显示操作生成批注显示窗口;
第二模板单元,用于获取当前显示的第二应用窗口的第二应用标识,根据所述第二应用标识与所述数据库进行匹配得到第二模板;
第二识别单元,用于基于所述第二模板对所述第二应用窗口的预设区域进行字符识别,以获取所述第二应用窗口对应的第二进度信息以及内容正文信息,并通过第二预设提取方式提取第二文本名称;批注判断单元,用于在所述数据库中确定是否存在与所述第二进度信息、所述内容正文信息、所述第二应用标识以及所述第二文本名称相关联的第二批注信息;
批注显示单元,用于响应于存在第二批注信息的匹配结果,将其关联的第二批注内容在所述批注显示窗口中显示。
其中,所述第一模板包括第一正文识别区以及第一进度识别区,所述第二模板包括第二正文识别区以及第二进度识别区;
相应的,第一识别单元,包括:
第一截图模块,用于截图获取所述第一应用窗口的第一页面图像;
第一进度模块,用于对所述第一页面图像中与所述第一进度识别区对应的区域进行字符识别,得到第一进度信息;
关联文本模块,用于获取在所述第一页面图像中与所述第一正文识别区对应的区域中,对以所述批注内容的位置坐标为中心的辐射范围内的图像进行字符识别,得到关联文本信息;
相应的,第二识别单元,包括:
第二截图模块,用于截图获取所述第二应用窗口的第二页面图像;
第二进度模块,用于对所述第二页面图像中与所述第二进度识别区对应的区域进行字符识别,得到第二进度信息;
内容正文模块,用于对所述第二页面图像中与所述第二正文识别区对应的区域进行字符识别,得到内容正文信息。
其中,所述关联文本模块,具体用于若批注内容的类型为开放线型或闭合圈型,将所述批注内容对应的批注路径以相邻文本的单字符为单位进行分割得到多个第一子批注,将所述第一子批注与相邻字符进行关联得到关联文本信息;若批注内容的类型为字符型,将所述批注内容以单字符为单位进行分割得到多个第二子批注,将所述第二子批注与相邻字符进行关联得到关联文本信息。
其中,所述第一识别单元还包括第一文本名称模块,用于对所述第一页面图像中与所述第一模板的第一文本名称识别区对应的区域进行字符识别,得到第一文本名称,
或,对所述第一应用窗口对应的第一数据路径进行字段识别,得到第一文本名称;
所述第二识别单元还包括第二文本名称模块,用于对所述第二页面图像中与所述第二模板的第二文本名称识别区对应的区域进行字符识别,得到第二文本名称,
或,对所述第二应用窗口对应的第二数据路径进行字段识别,得到第二文本名称。
其中,还包括模板生成单元,包括:
窗口生成模块,用于接收作用于模板控件的模板生成操作,根据所述模板生成操作生成模板框选窗口;
区域选取模块,用于在所述模板框选窗口中接收区域选取操作,根据所述区域选取操作确定模板信息,所述模板信息包括文本名称识别区、正文识别区以及进度识别区相对于当前应用窗口的相对位置信息;
模板生成模块,用于根据所述模板信息生成模板,并将所述模板与所述当前应用窗口对应的应用标识关联存储至预设的数据库;
窗口关闭模块,用于接收作用于模板控件的模板关闭操作,根据所述模板关闭操作关闭模板框选窗口。
其中,还包括批注修订单元,包括:
处理选择模块,用于响应于存在与所述第二进度信息以及所述第二应用标识相关联,并且没有关联所述内容正文信息的第二批注信息的匹配结果,显示关于所述第二批注信息的批注内容处理的对话框,所述对话框包括是否删除所述第二批注信息以及是否重新确定其关联的批注内容位置的选项;
删除模块,用于接收到确定删除所述第二批注信息的第一选择操作时,将所述第二批注信息从所述数据库中移除;
重定位模块,用于接收到重新确定其关联的批注内容位置的第二选择操作时,生成位置选择窗口;在所述位置选择窗口中接收位置选择操作,根据所述位置选择操作确定所述第二批注信息相关联的批注内容的关联文本信息。
其中,还包括显示关闭单元,用于接收到批注关闭操作时,根据所述批注关闭操作关闭批注显示窗口。
其中,所述第一进度信息以及所述第二进度信息的进度类型为进度百分比、当前页码、当前章节数或者进度条中的其中一种。
第三方面,本申请实施例还提供了一种电子设备,所述电子设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述电子设备实现如本申请第一方面任一项所述的应用内容批注方法。
第四方面,本申请实施例还提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行本申请第一方面任一项所述的应用内容批注方法。
本申请实施例提供了应用内容批注方法、装置、设备以及存储介质,该方法通过接收批注添加操作,根据批注添加操作生成系统批注窗口,并在系统批注窗口中实时显示第一批注内容;进而获取当前显示的第一应用窗口的第一应用标识,根据第一应用标识与预设的数据库进行匹配得到第一模板;基于第一模板对第一应用窗口的预设区域进行字符识别,以获取第一应用窗口对应的第一进度信息以及第一批注内容的关联文本信息,并通过第一预设提取方式提取第一文本名称;然后将第一进度信息,关联文本信息,第一应用标识、第一批注内容以及文本名称关联为第一批注信息,并实时存储至数据库;当接收到批注显示操作时,根据批注显示操作生成批注显示窗口;获取当前显示的第二应用窗口的第二应用标识,根据第二应用标识与预设的数据库进行匹配得到第二模板;基于第二模板对第二应用窗口的预设区域进行字符识别,以获取第二应用窗口对应的第二进度信息以及内容正文信息,并通过第二预设提取方式提取第二文本名称;在数据库中确定是否存在与第二进度信息以及内容正文信息、第二应用标识以及文本名称相关联的第二批注信息;最后响应于存在第二批注信息的匹配结果,将其关联的第二批注内容在批注显示窗口中显示,实现了通过模板的设置,有效适应于不同阅读应用的不同节界面,通过结合当前应用的内容进度信息以及关联内容信息,对批注内容的位置进行准确存储,有利于批注再现时适应于阅读应用的页面变化,对批注内容进行准确的重定位。
附图说明
图1为本申请实施例提供的一种应用内容批注方法的流程图;
图2为本申请实施例提供的一种应用模板进行批注识别的示意图;
图3为本申请实施例提供的一种获取批注定位的相关信息的方法的流程图;
图4为本申请实施例提供的一种制作适应于不同阅读软件的模板的方法的流程图;
图5为本申请实施例提供的一种历史批注修订的方法的流程图;
图6为本申请实施例提供一种应用内容批注装置的结构示意图;
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请实施例作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请实施例,而非对本申请实施例的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请实施例相关的部分而非全部结构。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个,也不能理解为指示或暗示相对重要性。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。此外,除非另有明确的规定和限定,术语“设置”、“安装”、“相连”、“连接”,“串联”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。
图1为本申请实施例提供的一种应用内容批注方法的流程图,如图1所示,包括以下步骤:
步骤S101、接收批注添加操作,根据批注添加操作生成系统批注窗口,并在系统批注窗口中实时显示第一批注内容。
值得说明的是,对于不支持批注功能的信息展示类应用,例如阅读应用、资讯应用等,电子设备可以为用户提供系统批注功能,其中系统批注功能可以通过出现在阅读应用窗口的附近或顶层悬浮控件触发,也可以通过复用在阅读应用中无法发挥作用的实体按键触发,例如,音量键。用户在使用电子设备过程中对当前阅读的内容有所心得或疑惑时,可以通过触控操作或按键操作来触发系统批注功能,使得当前阅读应用处于系统批注状态,用户可以通过触控笔绘制或手写的方式在屏幕上进行批注添加操作。对于电子设备而言,当接收到批注添加操作时,可以直接在批注添加操作所作用的阅读应用窗口之上的图层生成系统批注窗口,其中该系统批注窗口的大小可以与阅读应用窗口相适应;还可以根据批注添加操作的第一个触屏位置对应生成预设大小的系统批注窗口,并随着批注位置的变化适应性地进行窗口大小的变化。此外,在用户进行批注绘制的过程中,为了便于用户了解批注的具体呈现效果,可以实时在系统批注窗口中显示批注内容,便于用户判断批注位置以及样式是否满足预期,以便后续的修改以及保存。
步骤S102、获取当前显示的第一应用窗口的第一应用标识,根据第一应用标识与预设的数据库进行匹配得到第一模板。
具体的,由于用户并不是在阅读应用窗口中进行批注,而是在电子设备提供的系统批注窗口中进行批注,因而阅读应用并不会对批注内容进行保存,电子设备需要对批注内容进行额外存储,而由于批注内容与阅读应用的文本信息相关,需要结合阅读应用窗口的当前页面内容来关联存储。以阅读应用窗口来说,通常会显示文本内容以及文本进度,如进度百分比、当前页码、当前章节数以及进度条。不同的阅读应用的阅读界面设计可能不同,意味着文本内容以及文本进度的区域分布可能不同,因而本申请实施例可以对不同阅读应用设置不同的模板,并将模板与应用标识进行绑定,保存于预设的数据库中。在具体实施过程中,可以在实时显示批注内容的同时,获取当前显示的应用窗口的应用标识,并通过与预设的数据库匹配得到对应的模板。
步骤S103、基于第一模板对第一应用窗口的预设区域进行字符识别,以获取第一应用窗口对应的第一进度信息以及第一批注内容的关联文本信息,并通过第一预设提取方式提取第一文本名称。
其中,第一应用窗口的预设区域可以是定位批注内容位置的必要信息的所在位置,可以理解的是,首先用户会在应用窗口中选择目标文本并打开,因而需要获取目标文本的文本名称,可选的,本申请实施例中通过第一预设提取方式提取第一文本名称可以通过不同的预设提取方式实现,例如,可以对第一页面图像中与第一模板的第一文本名称识别区对应的区域进行字符识别,得到第一文本名称,又例如,可以对第一应用窗口对应的第一数据路径进行字段识别,得到第一文本名称,具体的,在Android系统中,Intent是一个消息传递对象,Intent主要的作用就是实现各个组件的联络和通信功能。阅读类应用打开窗口界面(Activity)时,特别是打开阅读书籍的窗口时,会可通过Intent来获取资源。通过从当前显示的Activity的Intent中提取uri,并分析uri,即可得到与书名对应的标签或字符串,当然还有其他的预设提取方式,在此本申请不作限制。其次由于批注内容一般位于文本行之间,通过将批注内容与相邻的字符进行关联,可以建立批注内容与文本内容的关联关系。然而,由于文本内容中字符可能会出现重复的情况,批注内容可能会关联到文本内容的多个位置,导致批注再现时定位失败。因此,可以进一步加入进度信息作为批注内容的位置参考,通过进度信息可以确定批注内容所在的文本内容的区域位置,并通过相邻字符关联精确定位出批注内容的所在位置。示例的,在具体的实施过程中,以批注添加位置的坐标作为参考点,获取距离批注添加位置最近的预设字符数的文本内容,其中该文本内容可以取自相对于批注添加位置的上文本行,也可以取自相对于批注添加位置的下文本行。具体的,例如获取批注添加位置的前4个字符以及后4个字符,可以组成预设字符数为8的字段,并标记批注内容的具体插入点,得到的结果相当于关联文本信息。
在一个实施例中,图2为本申请实施例提供的一种应用模板进行批注识别的示意图,如图2所示,第一模板包括文本名称识别区、正文识别区以及进度识别区。相应的,图3为本申请实施例提供的一种获取批注定位的相关信息的方法的流程图,给出了基于第一模板对第一应用窗口的预设区域进行字符识别,以获取第一应用窗口对应的第一进度信息以及第一批注内容的关联文本信息的具体实施过程,如图3所示,包括:
步骤S1031、截图获取第一应用窗口的第一页面图像。
步骤S1032、对第一页面图像中与第一进度识别区对应的区域进行字符识别,得到第一进度信息。
步骤S1033、在第一页面图像中与正文识别区对应的区域中,对以批注内容的位置坐标为中心的辐射范围内的图像进行字符识别,得到关联文本信息。
示例的,截图获取当前应用窗口的页面图像的方式可以有多种,例如,安卓无障碍服务、安卓窗口管理器和图像识别等。模板对于页面图像的识别,可以是通过不同区域分别截图识别的方式,也可以是通过对应用页面整体截图后再分区域识别的方式,在此本申请不作任何限制。由于不同的阅读应用的文本名称、进度信息所在位置可能不同,因而设置识别区域布局不同的模板。此外,对于关联文本信息的识别,辐射范围的形状设置可以是矩形,其中纵向上可以参考当前文本的字号以及行距来设置,至少需要覆盖向上方向或向下方向的一个文本行,横向上可以自定义向左方向或向右方向的参考字符数量;还可以是圆形,取设定半径内的字符作为关联参考,在此本申请不作任何限制。由此,可以通过定制的识别模板,适配于不同阅读应用的批注添加与批注显示,有效实现批注位置的准确定位。
进一步地,由于批注内容的形式可以是多样的,例如下划线批注、圈选批注以及文字批注等,那么针对批注内容的不同形式可以采用不同字符分割方式来更准确进行文本关联。
在一个实施例中,对以批注内容的位置坐标为中心的辐射范围内的图像进行字符识别,得到关联文本信息的具体实施过程如下:
若批注内容的类型为开放线型或闭合圈型,将批注内容对应的批注路径以相邻文本的单字符为单位进行分割得到多个第一子批注,将第一子批注与相邻字符进行关联得到关联文本信息。
若批注内容的类型为字符型,将批注内容以单字符为单位进行分割得到多个第二子批注,将第二子批注与相邻字符进行关联得到关联文本信息。
需要说明的是,对于开放线型以及闭合圈型的批注形式,例如在文本行下面划线,或者圈选若干个文字等,由于该类型批注为简单线条,对于该类型批注的分割并不会影响批注的重组,因而可以根据该类型批注对应的批注路径确定相邻文本,再以字符为单位对相邻文本进行分割,那么每个字符都会关联一部分的批注,那么在批注再现的时候可以将相邻文本的每个字符对应的批注进行组合,得到关联文本信息。对于字符型的批注形式,例如在文本行附近添加文字批注,与开放线型以及闭合圈型的批注形式不同的是,该类型批注为复杂字符,若对相邻文本进行字符分割,可能会将批注的完整字符分割为不同的部分,增大批注再现的对齐难度,因而需要对批注内容本身进行字符分割,便于批注重现时的批注拼接,否则容易造成较大的对齐误差。由此,每个批注的字符都会关联邻近的若干个字符,在批注再现时,可以通过匹配相邻文本,并按顺序将若干个单字符组合为批注内容。
步骤S104、将第一进度信息,关联文本信息,第一应用标识、第一批注内容以及第一文本名称关联为第一批注信息,并实时存储至数据库。
可以理解的是,用户在同一页面上可能会作出多个批注,可以通过限定批注笔迹的停顿时间来将批注内容细化为多个批注,也可以通过设定批注笔迹之间的间隔距离来区分不同的批注。每一个批注通过进度信息以及关联文本信息,可以准确定位出批注在文本内容的位置。此外,应用标识可以用于确定批注作用的具体阅读应用,文本名称可以用于确定批注作用的具体文本,例如哪本书、哪篇文章等。将第一进度信息,关联文本信息,第一应用标识、第一批注内容以及文本名称关联为第一批注信息,而第一批注信息可用于后续批注再现时的参考信息。
基于本方案实现的批注过程中,批注内容与展示批注目标的应用并未在底层数据层面产生关联,也即前文中所描述的当前阅读应用处于系统批注状态,不是当前阅读应用本身要开始进行批注相关的数据处理过程,而是在系统层面以阅读应用作为批注数据处理的起源,生成并保存批注数据,但是生成和保存过程对当前阅读应用而言不可查。由系统批注功能实现的批注,无需第三方应用开发批注相关功能或开放用于批注的接口,即可根据第三方应用的显示内容生成高度关联的批注内容,丰富了电子设备,尤其是阅读类电子设备在查看信息过程中的信息生成能力,也使得阅读类电子设备本身的阅读属性在使用第三方应用的过程中也能得到呈现和加强。
步骤S105、接收到批注显示操作时,根据批注显示操作生成批注显示窗口。
在具体的实施过程中,步骤S101至步骤S104完成批注内容的关联存储后,用户可能会操作关闭系统批注窗口,也可能直接关闭当前应用窗口。在下一次重新打开阅读应用的时候,可以触发电子设备的批注显示功能。步骤S105至步骤S109为具体的批注显示过程,对于电子设备而言,当接收到批注显示操作时,可以直接在批注显示操作所作用的阅读应用窗口之上的图层生成批注显示窗口,其中该批注显示窗口的大小可以与阅读应用窗口相适应。
步骤S106、获取当前显示的第二应用窗口的第二应用标识,根据第二应用标识与所述数据库进行匹配得到第二模板。
其中,由于批注添加与批注显示不一定为连续操作的两个过程,中间可能存在应用窗口被关闭或被切换为其他应用窗口的情况,因而需要重新获取当前显示的应用窗口的应用标识,并根据该应用标识匹配对应的模板。值得说明的是,对于批注添加以及批注显示的模板可以是相同的模板,目的均在于提取应用窗口的关键区域信息。
步骤S107、基于第二模板对第二应用窗口的预设区域进行字符识别,以获取第二应用窗口对应的第二进度信息以及内容正文信息,并通过第二预设提取方式提取第二文本名称。
具体的,基于第二模板对第二应用窗口的预设区域进行字符识别,以获取第二应用窗口对应的第二进度信息以及内容正文信息的具体实施过程包括:
截图获取第二应用窗口的第二页面图像;
对第二页面图像中与第二进度识别区对应的区域进行字符识别,得到第二进度信息;
对第二页面图像中与第二正文识别区对应的区域进行字符识别,得到内容正文信息。
进一步地,通过第一预设提取方式提取第一文本名称的具体实施过程包括:
对第二页面图像中与第二模板的第二文本名称识别区对应的区域进行字符识别,得到第二文本名称,
或,对第二应用窗口对应的第二数据路径进行字段识别,得到第二文本名称。值得说明的是,第二应用窗口的预设区域可以是定位批注内容位置的必要信息的所在位置,与前述实施例中的文本名称,内容正文信息以及进度信息的获取方式相同,具体可以参考前述实施例,在此本申请不再赘述。利用第二模板重新对当前应用窗口识别,由于模板所记录的是相对位置信息,不仅可以适应于应用窗口的重新开启,还可以适应于应用窗口属性的变更,例如,页面的行距、字号、字体、字距、页边距等排版设置条件的变化。
步骤S108、在数据库中确定是否存在与第二进度信息以及内容正文信息、第二应用标识以及第二文本名称相关联的第二批注信息。
在具体的实施过程中,首先通过步骤S107可以确认出当前应用窗口所打开的文本名称、文本内容以及进度信息。在预设的数据库中,可以先通过应用标识、文本名称以及进度信息去锁定候选批注。在可能的候选批注中,可以进一步利用内容正文信息,去与每个候选批注的关联文本信息进行比对,直至找到对应的第二批注信息。
步骤S109、响应于存在第二批注信息的匹配结果,将其关联的第二批注内容在批注显示窗口中显示。
上述,本申请实施例中的应用内容批注方法通过接收批注添加操作,根据批注添加操作生成系统批注窗口,并在系统批注窗口中实时显示第一批注内容;进而获取当前显示的第一应用窗口的第一应用标识,根据第一应用标识与预设的数据库进行匹配得到第一模板;基于第一模板对第一应用窗口的预设区域进行字符识别,以获取第一应用窗口对应的第一进度信息以及第一批注内容的关联文本信息,并通过第一预设提取方式提取第一文本名称;然后将第一进度信息,关联文本信息,第一应用标识、第一批注内容以及文本名称关联为第一批注信息,并实时存储至数据库;当接收到批注显示操作时,根据批注显示操作生成批注显示窗口;获取当前显示的第二应用窗口的第二应用标识,根据第二应用标识与预设的数据库进行匹配得到第二模板;基于第二模板对第二应用窗口的预设区域进行字符识别,以获取第二应用窗口对应的第二进度信息以及内容正文信息,并通过第二预设提取方式提取第二文本名称;在数据库中确定是否存在与第二进度信息以及内容正文信息、第二应用标识以及文本名称相关联的第二批注信息;最后响应于存在第二批注信息的匹配结果,将其关联的第二批注内容在批注显示窗口中显示,实现了通过模板的设置,有效适应于不同阅读应用的不同节界面,通过结合当前应用的内容进度信息以及关联内容信息,对批注内容的位置进行准确存储,有利于批注再现时适应于阅读应用的页面变化,对批注内容进行准确的重定位。
图4为本申请实施例提供的一种制作适应于不同阅读软件的模板的方法的流程图,在前述实施例的基础上,给出了一种制作适应于不同阅读软件的模板的具体过程,参照图4,在接收批注添加操作之前,还包括:
步骤S1001、接收作用于模板控件的模板生成操作,根据模板生成操作生成模板框选窗口。
步骤S1002、在模板框选窗口中接收区域选取操作,根据区域选取操作确定模板信息,模板信息包括文本名称识别区、正文识别区以及进度识别区相对于当前应用窗口的相对位置信息。
步骤S1003、根据模板信息生成模板,并将模板与当前应用窗口对应的应用标识关联存储至预设的数据库。
步骤S1004、接收作用于模板控件的模板关闭操作,根据模板关闭操作关闭模板框选窗口。
具体的,开发人员可以针对不同阅读软件来指定不同的模板,模板的制定可以通过区域选取的方式来分别定位出文本名称识别区、正文识别区以及进度识别区,考虑到应用窗口的大小可能会变化,也就意味着识别区的大小也会变化,而识别区在应用窗口的相对位置分布是不变的,例如,应用窗口可以从上往下分为文本名称识别区、正文识别区以及进度识别区,分别占比10%、80%、10%,那么不管应用窗口的大小如何变化,都不会影响该占比值。因此区域选取操作确定并不是不同识别区的大小,而是识别区之间的相对位置,具体可以是区域占比,也可以是边界在应用窗口的相对坐标位置,在此本申请不作任何限制。由此,通过为不同阅读软件定制不同模板并预置的方式,有利于适应于不同阅读软件的批注位置定位,达到准确还原批注内容的效果。
图5为本申请实施例提供的一种历史批注修订的方法的流程图,在前述实施例的基础上,给出了另一种匹配结果的处理过程,参照图5,在数据库中确定是否存在与第二进度信息以及内容正文信息、第二应用标识以及文本名称相关联的第二批注信息之后,还包括:
步骤S1101、响应于存在与所述第二进度信息以及所述第二应用标识相关联,并且没有关联所述内容正文信息的第三批注信息的匹配结果,显示关于所述第三批注信息的批注内容处理的对话框,所述对话框包括是否删除所述第三批注信息以及是否重新确定其关联的批注内容位置的选项。
步骤S1102、接收到确定删除所述第三批注信息的第一选择操作时,将所述第三批注信息从所述数据库中移除。
步骤S1103、接收到重新确定其关联的批注内容位置的第二选择操作时,生成位置选择窗口;在所述位置选择窗口中接收位置选择操作,根据所述位置选择操作确定所述第三批注信息相关联的批注内容的关联文本信息。
具体的,由于存在用户对于阅读应用中的文档的删改,原有的批注内容可能无法找到关联文本,在批注显示的时候,该批注内容将因找不到关联文本而显示出错,由此,当出现批注信息无法关联到内容正文信息时,可以提供不同的操作选项供用户选择,若批注信息与已删除的关联文本是强相关的,那么用户可以选择将删除操作,将批注信息从数据库中移除;若批注信息与已删除的关联文本是弱相关的,也同样适用于文本的其他内容,例如段落概括等,那么用户可以重新定位批注位置。前述,有利于提高批注的时效性,对于文本内容已发生变更的情况,可以适应于变更内容进行批注的修订,有利于提醒用户对批注进行有效更新。
在前述实施例的基础上,在将其关联的第二批注内容在所述批注显示窗口中显示之后,还包括:接收到批注关闭操作时,根据所述批注关闭操作关闭批注显示窗口。用户可以选择批注文本以及干净文本两种不同方式来对阅读应用的文本内容进行浏览,有助于提高用户阅读体验。
图6为本申请实施例提供一种应用内容批注装置的结构示意图,参照图6,该应用内容批注装置包括批注添加单元210、第一模板单元220,第一识别单元230,批注确定单元240,显示窗口单元250,第二模板单元260,第二识别单元270,批注判断单元280,批注显示单元290。
其中,批注添加单元210,用于接收批注添加操作,根据所述批注添加操作生成系统批注窗口,并在所述系统批注窗口中实时显示第一批注内容;第一模板单元220,用于获取当前显示的第一应用窗口的第一应用标识,根据所述第一应用标识与预设的数据库进行匹配得到第一模板;第一识别单元230,用于基于所述第一模板对所述第一应用窗口的预设区域进行字符识别,以获取所述第一应用窗口对应的第一进度信息以及所述第一批注内容的关联文本信息,并通过第一预设提取方式提取第一文本名称;;批注确定单元240,用于将所述第一进度信息,所述关联文本信息,所述第一应用标识、所述第一批注内容以及所述第一文本名称关联为第一批注信息,并实时存储至所述数据库;显示窗口单元250,用于接收到批注显示操作时,根据所述批注显示操作生成批注显示窗口;第二模板单元260,用于获取当前显示的第二应用窗口的第二应用标识,根据所述第二应用标识与所述数据库进行匹配得到第二模板;第二识别单元270,用于基于所述第二模板对所述第二应用窗口的预设区域进行字符识别,以获取所述第二应用窗口对应的第二进度信息以及内容正文信息,并通过第二预设提取方式提取第二文本名称;批注判断单元280,用于在所述数据库中确定是否存在与所述第二进度信息、所述内容正文信息、所述第二应用标识以及所述第二文本名称相关联的第二批注信息;批注显示单元290,用于响应于存在第二批注信息的匹配结果,将其关联的第二批注内容在所述批注显示窗口中显示。
在上述实施例的基础上,所述第一模板包括第一正文识别区以及第一进度识别区,所述第二模板包括第二正文识别区以及第二进度识别区;
相应的,第一识别单元230,包括:
第一截图模块,用于截图获取所述第一应用窗口的第一页面图像;
第一进度模块,用于对所述第一页面图像中与所述第一进度识别区对应的区域进行字符识别,得到第一进度信息;
关联文本模块,用于获取在所述第一页面图像中与所述第一正文识别区对应的区域中,对以所述批注内容的位置坐标为中心的辐射范围内的图像进行字符识别,得到关联文本信息;
相应的,第二识别单元270,包括:
第二截图模块,用于截图获取所述第二应用窗口的第二页面图像;
第二进度模块,用于对所述第二页面图像中与所述第二进度识别区对应的区域进行字符识别,得到第二进度信息;
内容正文模块,用于对所述第二页面图像中与所述第二正文识别区对应的区域进行字符识别,得到内容正文信息。
在上述实施例的基础上,所述关联文本模块,具体用于若批注内容的类型为开放线型或闭合圈型,将所述批注内容对应的批注路径以相邻文本的单字符为单位进行分割得到多个第一子批注,将所述第一子批注与相邻字符进行关联得到关联文本信息;若批注内容的类型为字符型,将所述批注内容以单字符为单位进行分割得到多个第二子批注,将所述第二子批注与相邻字符进行关联得到关联文本信息。
在上述实施例的基础上,所述第一识别单元还包括第一文本名称模块,用于对所述第一页面图像中与所述第一模板的第一文本名称识别区对应的区域进行字符识别,得到第一文本名称,
或,对所述第一应用窗口对应的第一数据路径进行字段识别,得到第一文本名称;
所述第二识别单元还包括第二文本名称模块,用于对所述第二页面图像中与所述第二模板的第二文本名称识别区对应的区域进行字符识别,得到第二文本名称,
或,对所述第二应用窗口对应的第二数据路径进行字段识别,得到第二文本名称。在上述实施例的基础上,还包括模板生成单元,包括:
窗口生成模块,用于接收作用于模板控件的模板生成操作,根据所述模板生成操作生成模板框选窗口;
区域选取模块,用于在所述模板框选窗口中接收区域选取操作,根据所述区域选取操作确定模板信息,所述模板信息包括文本名称识别区、正文识别区以及进度识别区相对于当前应用窗口的相对位置信息;
模板生成模块,用于根据所述模板信息生成模板,并将所述模板与所述当前应用窗口对应的应用标识关联存储至预设的数据库;
窗口关闭模块,用于接收作用于模板控件的模板关闭操作,根据所述模板关闭操作关闭模板框选窗口。
在上述实施例的基础上,还包括批注修订单元,包括:
处理选择模块,用于响应于存在与所述第二进度信息以及所述第二应用标识相关联,并且没有关联所述内容正文信息的第三批注信息的匹配结果,显示关于所述第三批注信息的批注内容处理的对话框,所述对话框包括是否删除所述第三批注信息以及是否重新确定其关联的批注内容位置的选项;
删除模块,用于接收到确定删除所述第三批注信息的第一选择操作时,将所述第三批注信息从所述数据库中移除;
重定位模块,用于接收到重新确定其关联的批注内容位置的第二选择操作时,生成位置选择窗口;在所述位置选择窗口中接收位置选择操作,根据所述位置选择操作确定所述第三批注信息相关联的批注内容的关联文本信息。
在上述实施例的基础上,还包括显示关闭单元,用于接收到批注关闭操作时,根据所述批注关闭操作关闭批注显示窗口。
在上述实施例的基础上,所述第一进度信息以及所述第二进度信息的进度类型为进度百分比、当前页码、当前章节数或者进度条中的其中一种。
图7为本申请实施例提供的一种电子设备的结构示意图,如图7所示,该电子设备包括处理器310、存储器320、输入装置330、输出装置340以及通信装置350;电子设备中处理器310的数量可以是一个或多个,图7中以一个处理器310为例;电子设备中的处理器310、存储器320、输入装置330、输出装置340以及通信装置350可以通过总线或其他方式连接,图7中以通过总线连接为例。
存储器320作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的应用内容批注对应的程序指令/模块(例如,应用内容批注装置中的批注添加单元210、第一模板单元220,第一识别单元230,批注确定单元240,显示窗口单元250,第二模板单元260,第二识别单元270,批注判断单元280,批注显示单元290)。处理器310通过运行存储在存储器320中的软件程序、指令以及模块,从而执行电子设备的各种功能应用以及数据处理,即实现上述的应用内容批注。
存储器320可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器320可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器320可进一步包括相对于处理器310远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置330可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。本方案中的输出装置340可以为液晶屏,另外还可以有声音输出设备或其它显示设备。
上述电子设备包含应用内容批注装置,可以用于执行任意应用内容批注方法,具备相应的功能和有益效果。
本申请实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行应用内容批注方法,该应用内容批注方法包括:接收批注添加操作,根据所述批注添加操作生成系统批注窗口,并在所述系统批注窗口中实时显示第一批注内容;获取当前显示的第一应用窗口的第一应用标识,根据所述第一应用标识与预设的数据库进行匹配得到第一模板;基于所述第一模板对所述第一应用窗口的预设区域进行字符识别,以获取所述第一应用窗口对应的第一进度信息以及所述第一批注内容的关联文本信息,并通过第一预设提取方式提取第一文本名称;将所述第一进度信息,所述关联文本信息,所述第一应用标识、所述第一批注内容以及所述文本名称关联为第一批注信息,并实时存储至所述数据库;接收到批注显示操作时,根据所述批注显示操作生成批注显示窗口;获取当前显示的第二应用窗口的第二应用标识,根据所述第二应用标识与所述数据库进行匹配得到第二模板;基于所述第二模板对所述第二应用窗口的预设区域进行字符识别,以获取所述第二应用窗口对应的第二进度信息以及内容正文信息,并通过第二预设提取方式提取第二文本名称;在所述数据库中确定是否存在与所述第二进度信息、所述内容正文信息、所述第二应用标识以及所述文本名称相关联的第二批注信息;响应于存在第二批注信息的匹配结果,将其关联的第二批注内容在所述批注显示窗口中显示。所述计算机程序被处理器执行时还可以实现本申请任意实施例中提供的其它应用内容批注方法中的相关操作,且具备相应的功能和有益效果。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。
因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种应用内容批注方法,其特征在于,包括:
接收批注添加操作,根据所述批注添加操作生成系统批注窗口,并在所述系统批注窗口中实时显示第一批注内容;
获取当前显示的第一应用窗口的第一应用标识,根据所述第一应用标识与预设的数据库进行匹配得到第一模板;
基于所述第一模板对所述第一应用窗口的预设区域进行字符识别,以获取所述第一应用窗口对应的第一进度信息以及所述第一批注内容的关联文本信息,并通过第一预设提取方式提取第一文本名称;
将所述第一进度信息,所述关联文本信息,所述第一应用标识、所述第一批注内容以及所述第一文本名称关联为第一批注信息,并实时存储至所述数据库;
接收到批注显示操作时,根据所述批注显示操作生成批注显示窗口;
获取当前显示的第二应用窗口的第二应用标识,根据所述第二应用标识与所述数据库进行匹配得到第二模板;
基于所述第二模板对所述第二应用窗口的预设区域进行字符识别,以获取所述第二应用窗口对应的第二进度信息以及内容正文信息,并通过第二预设提取方式提取第二文本名称;
在所述数据库中确定是否存在与所述第二进度信息、所述内容正文信息、所述第二应用标识以及所述第二文本名称相关联的第二批注信息;
响应于存在第二批注信息的匹配结果,将其关联的第二批注内容在所述批注显示窗口中显示;
其中,所述第一模板包括第一正文识别区以及第一进度识别区,所述第二模板包括第二正文识别区以及第二进度识别区;
相应的,所述基于所述第一模板对所述第一应用窗口的预设区域进行字符识别,以获取所述第一应用窗口对应的第一进度信息以及所述第一批注内容的关联文本信息,包括:
截图获取所述第一应用窗口的第一页面图像;
对所述第一页面图像中与所述第一进度识别区对应的区域进行字符识别,得到第一进度信息;
在所述第一页面图像中与所述第一正文识别区对应的区域中,对以所述批注内容的位置坐标为中心的辐射范围内的图像进行字符识别,得到关联文本信息;
相应的,所述基于所述第二模板对所述第二应用窗口的预设区域进行字符识别,以获取所述第二应用窗口对应的第二进度信息以及内容正文信息,包括:
截图获取所述第二应用窗口的第二页面图像;
对所述第二页面图像中与所述第二进度识别区对应的区域进行字符识别,得到第二进度信息;
对所述第二页面图像中与所述第二正文识别区对应的区域进行字符识别,得到内容正文信息;
其中,所述对以所述批注内容的位置坐标为中心的辐射范围内的图像进行字符识别,得到关联文本信息,包括:
若批注内容的类型为开放线型或闭合圈型,将所述批注内容对应的批注路径以相邻文本的单字符为单位进行分割得到多个第一子批注,将所述第一子批注与相邻字符进行关联得到关联文本信息;
若批注内容的类型为字符型,将所述批注内容以单字符为单位进行分割得到多个第二子批注,将所述第二子批注与相邻字符进行关联得到关联文本信息。
2.根据权利要求1所述的应用内容批注方法,其特征在于,所述通过第一预设提取方式提取第一文本名称,包括:
对所述第一页面图像中与所述第一模板的第一文本名称识别区对应的区域进行字符识别,得到第一文本名称,
或,对所述第一应用窗口对应的第一数据路径进行字段识别,得到第一文本名称;
所述通过第二预设提取方式提取第二文本名称,包括:
对所述第二页面图像中与所述第二模板的第二文本名称识别区对应的区域进行字符识别,得到第二文本名称,
或,对所述第二应用窗口对应的第二数据路径进行字段识别,得到第二文本名称。
3.根据权利要求1-2任一项所述的应用内容批注方法,其特征在于,在所述接收批注添加操作之前,还包括:
接收作用于模板控件的模板生成操作,根据所述模板生成操作生成模板框选窗口;
在所述模板框选窗口中接收区域选取操作,根据所述区域选取操作确定模板信息,所述模板信息包括文本名称识别区、正文识别区以及进度识别区相对于当前应用窗口的相对位置信息;
根据所述模板信息生成模板,并将所述模板与所述当前应用窗口对应的应用标识关联存储至预设的数据库;
接收作用于模板控件的模板关闭操作,根据所述模板关闭操作关闭模板框选窗口。
4.根据权利要求1-2任一项所述的应用内容批注方法,其特征在于,在所述数据库中确定是否存在与所述第二进度信息、所述内容正文信息、所述第二应用标识以及所述文本名称相关联的第二批注信息之后,还包括:
响应于存在与所述第二进度信息以及所述第二应用标识相关联,并且没有关联所述内容正文信息的第三批注信息的匹配结果,显示关于所述第三批注信息的批注内容处理的对话框,所述对话框包括是否删除所述第三批注信息以及是否重新确定其关联的批注内容位置的选项;
接收到确定删除所述第三批注信息的第一选择操作时,将所述第三批注信息从所述数据库中移除;
接收到重新确定其关联的批注内容位置的第二选择操作时,生成位置选择窗口;在所述位置选择窗口中接收位置选择操作,根据所述位置选择操作确定所述第三批注信息相关联的批注内容的关联文本信息。
5.根据权利要求1-2任一项所述的应用内容批注方法,其特征在于,在将其关联的第二批注内容在所述批注显示窗口中显示之后,还包括:
接收到批注关闭操作时,根据所述批注关闭操作关闭批注显示窗口。
6.根据权利要求1-2任一项所述的应用内容批注方法,其特征在于,所述第一进度信息以及所述第二进度信息的进度类型为进度百分比、当前页码、当前章节数或者进度条中的其中一种。
7.一种应用内容批注装置,其特征在于,包括:
批注添加单元,用于接收批注添加操作,根据所述批注添加操作生成系统批注窗口,并在所述系统批注窗口中实时显示第一批注内容;
第一模板单元,用于获取当前显示的第一应用窗口的第一应用标识,根据所述第一应用标识与预设的数据库进行匹配得到第一模板;
第一识别单元,用于基于所述第一模板对所述第一应用窗口的预设区域进行字符识别,以获取所述第一应用窗口对应的第一进度信息以及所述第一批注内容的关联文本信息,并通过第一预设提取方式提取第一文本名称;
批注确定单元,用于将所述第一进度信息,所述关联文本信息,所述第一应用标识、所述第一批注内容以及所述第一文本名称关联为第一批注信息,并实时存储至所述数据库;
显示窗口单元,用于接收到批注显示操作时,根据所述批注显示操作生成批注显示窗口;
第二模板单元,用于获取当前显示的第二应用窗口的第二应用标识,根据所述第二应用标识与所述数据库进行匹配得到第二模板;
第二识别单元,用于基于所述第二模板对所述第二应用窗口的预设区域进行字符识别,以获取所述第二应用窗口对应的第二进度信息以及内容正文信息,并通过第二预设提取方式提取第二文本名称;
批注判断单元,用于在所述数据库中确定是否存在与所述第二进度信息、所述内容正文信息、所述第二应用标识以及所述第二文本名称相关联的第二批注信息;
批注显示单元,用于响应于存在第二批注信息的匹配结果,将其关联的第二批注内容在所述批注显示窗口中显示;
其中,第一识别单元,包括:
第一截图模块,用于截图获取所述第一应用窗口的第一页面图像;
第一进度模块,用于对所述第一页面图像中与第一进度识别区对应的区域进行字符识别,得到第一进度信息;
关联文本模块,用于获取在所述第一页面图像中与第一正文识别区对应的区域中,对以所述批注内容的位置坐标为中心的辐射范围内的图像进行字符识别,得到关联文本信息;
第二识别单元,包括:
第二截图模块,用于截图获取所述第二应用窗口的第二页面图像;
第二进度模块,用于对所述第二页面图像中与第二进度识别区对应的区域进行字符识别,得到第二进度信息;
内容正文模块,用于对所述第二页面图像中与第二正文识别区对应的区域进行字符识别,得到内容正文信息;
所述关联文本模块,还具体用于若批注内容的类型为开放线型或闭合圈型,将所述批注内容对应的批注路径以相邻文本的单字符为单位进行分割得到多个第一子批注,将所述第一子批注与相邻字符进行关联得到关联文本信息;若批注内容的类型为字符型,将所述批注内容以单字符为单位进行分割得到多个第二子批注,将所述第二子批注与相邻字符进行关联得到关联文本信息。
8.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述电子设备实现如权利要求1-6任一项所述的应用内容批注方法。
9.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-6中任一项所述的应用内容批注方法。
CN202310398070.6A 2023-04-13 2023-04-13 应用内容批注方法、装置、设备以及存储介质 Active CN116402026B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310398070.6A CN116402026B (zh) 2023-04-13 2023-04-13 应用内容批注方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310398070.6A CN116402026B (zh) 2023-04-13 2023-04-13 应用内容批注方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN116402026A CN116402026A (zh) 2023-07-07
CN116402026B true CN116402026B (zh) 2023-12-19

Family

ID=87010193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310398070.6A Active CN116402026B (zh) 2023-04-13 2023-04-13 应用内容批注方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN116402026B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1858786A (zh) * 2006-06-09 2006-11-08 宋丽娟 一种电子文档格式化批注系统与方法
CN103077160A (zh) * 2012-12-28 2013-05-01 北京小米科技有限责任公司 电子文档批注方法、访问电子文档批注的方法及装置
CN108875011A (zh) * 2018-06-15 2018-11-23 广州视源电子科技股份有限公司 第三方应用的页面状态信息获取方法、装置、设备及介质
CN110196675A (zh) * 2019-04-17 2019-09-03 华为技术有限公司 一种添加批注的方法及电子设备
CN113821146A (zh) * 2021-11-22 2021-12-21 广州文石信息科技有限公司 一种全局批注方法、装置、终端设备及存储介质
WO2022083443A1 (zh) * 2020-10-22 2022-04-28 华为技术有限公司 批注的显示方法及电子设备
CN114511865A (zh) * 2021-12-24 2022-05-17 浙江大华技术股份有限公司 一种结构化信息的生成方法、装置和计算机可读存储介质
CN115719053A (zh) * 2021-12-30 2023-02-28 南京大众书网图书文化有限公司 一种呈现读物标注信息的方法与设备
CN115756461A (zh) * 2022-11-23 2023-03-07 建信金融科技有限责任公司 标注模板生成方法、图像识别方法、装置和电子设备
CN115858056A (zh) * 2021-09-23 2023-03-28 广州视源电子科技股份有限公司 窗口化批注方法、装置、存储介质以及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101443404B1 (ko) * 2006-09-15 2014-10-02 구글 인코포레이티드 페이퍼 및 전자 문서내의 주석의 캡처 및 디스플레이

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1858786A (zh) * 2006-06-09 2006-11-08 宋丽娟 一种电子文档格式化批注系统与方法
CN103077160A (zh) * 2012-12-28 2013-05-01 北京小米科技有限责任公司 电子文档批注方法、访问电子文档批注的方法及装置
CN108875011A (zh) * 2018-06-15 2018-11-23 广州视源电子科技股份有限公司 第三方应用的页面状态信息获取方法、装置、设备及介质
CN110196675A (zh) * 2019-04-17 2019-09-03 华为技术有限公司 一种添加批注的方法及电子设备
WO2022083443A1 (zh) * 2020-10-22 2022-04-28 华为技术有限公司 批注的显示方法及电子设备
CN115858056A (zh) * 2021-09-23 2023-03-28 广州视源电子科技股份有限公司 窗口化批注方法、装置、存储介质以及电子设备
CN113821146A (zh) * 2021-11-22 2021-12-21 广州文石信息科技有限公司 一种全局批注方法、装置、终端设备及存储介质
CN114511865A (zh) * 2021-12-24 2022-05-17 浙江大华技术股份有限公司 一种结构化信息的生成方法、装置和计算机可读存储介质
CN115719053A (zh) * 2021-12-30 2023-02-28 南京大众书网图书文化有限公司 一种呈现读物标注信息的方法与设备
CN115756461A (zh) * 2022-11-23 2023-03-07 建信金融科技有限责任公司 标注模板生成方法、图像识别方法、装置和电子设备

Also Published As

Publication number Publication date
CN116402026A (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
US11573993B2 (en) Generating a meeting review document that includes links to the one or more documents reviewed
US11080466B2 (en) Updating existing content suggestion to include suggestions from recorded media using artificial intelligence
US11270060B2 (en) Generating suggested document edits from recorded media using artificial intelligence
CN108052577B (zh) 一种通用文本内容挖掘方法、装置、服务器及存储介质
US11263384B2 (en) Generating document edit requests for electronic documents managed by a third-party document management service using artificial intelligence
US11720741B2 (en) Artificial intelligence assisted review of electronic documents
US20140115436A1 (en) Annotation migration
US11392754B2 (en) Artificial intelligence assisted review of physical documents
WO2019033658A1 (zh) 关联注释信息确定方法、装置、智能教学设备及存储介质
CN105631393A (zh) 信息识别方法及装置
US20080077869A1 (en) Conference supporting apparatus, method, and computer program product
CN104516727B (zh) 更改资源文件中的资源的方法和系统
CN107273032A (zh) 信息排版方法、装置、设备及计算机存储介质
CN104636322A (zh) 一种文本复制的方法及装置
CN109683773B (zh) 语料标注方法和装置
CN111666740A (zh) 流程图生成方法、装置、计算机设备和存储介质
CN115293124A (zh) 软件工程化文档自动生成方法及装置
CN107562710B (zh) 一种图表处理装置及方法
CN116402026B (zh) 应用内容批注方法、装置、设备以及存储介质
CN106991083A (zh) 一种电子文档处理的方法及装置
CN107229698A (zh) 一种信息处理的方法及装置
US11663398B2 (en) Mapping annotations to ranges of text across documents
CN111046627A (zh) 一种中文文字显示方法及系统
KR102300444B1 (ko) 문서에 적용되어 있는 글꼴이 지원되는 글꼴인지 확인이 가능한 문서 편집 장치 및 그 동작 방법
CN113378526A (zh) Pdf段落处理方法、装置、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant