CN111602129B - 针对注释和墨迹的智能搜索 - Google Patents

针对注释和墨迹的智能搜索 Download PDF

Info

Publication number
CN111602129B
CN111602129B CN201880085791.9A CN201880085791A CN111602129B CN 111602129 B CN111602129 B CN 111602129B CN 201880085791 A CN201880085791 A CN 201880085791A CN 111602129 B CN111602129 B CN 111602129B
Authority
CN
China
Prior art keywords
annotation
document
annotations
search
computer device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880085791.9A
Other languages
English (en)
Other versions
CN111602129A (zh
Inventor
N·拉伊姆
N·摩特哈尔
R·拉茨丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN111602129A publication Critical patent/CN111602129A/zh
Application granted granted Critical
Publication of CN111602129B publication Critical patent/CN111602129B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/907Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/338Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • G06F16/353Clustering; Classification into predefined classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/93Document management systems

Abstract

用于在文档中搜索注释的方法和设备可以包括:接收具有至少一个所请求的注释分类的搜索请求以便在文档中进行搜索。该方法和设备可以包括对该文档执行针对该文档中与该至少一个注释分类匹配的一个或多个注释的搜索。该方法和设备可以包括生成具有与该至少一个注释分类匹配的该文档中的一个或多个注释的搜索结果列表。这些方法和设备可以包括呈现该搜索结果列表。

Description

针对注释和墨迹的智能搜索
背景技术
本公开内容涉及用于搜索文档和/或网页的装置和方法。
用户可以以不同方式对文档和/或网页进行注释。目前,用户想要重新访问该用户在文档中突出显示和/或写字的地方的注释内容,则该用户手动导航到该文档的每一部分,以确定是否已经在特定部分中添加了任何附加的注释。此外,可用于任何文档或网页的搜索功能仅限于文本和图像。因此,用户通常仅限于基于纯文本和/或图像搜索的搜索功能,而没有围绕这些搜索的任何智能性。
因此,本领域中需要文档和/或网页的搜索功能的改进。
发明内容
下面呈现了本公开内容的一个或多个实施方式的简化概述,以便提供对这些实施方式的基本理解。该概述不是对所有预期实施方式的详尽综述,并且既不意在识别所有实施方式的关键或重要元素,也不描绘任何或所有实施方式的范围。其唯一的目的是以简化的形式呈现本公开内容的一个或多个实现的一些概念,作为稍后呈现的更详细描述的前序。
一个示例实施方式涉及一种计算机设备。该计算机设备可以包括配置为存储数据和指令的存储器,配置为与该存储器通信的至少一个处理器,配置与该存储器和处理器通信的操作系统,其中,该操作系统可操作用于:接收具有至少一个所请求的注释分类的搜索请求以便在文档中进行搜索;对该文档执行针对该文档中与该至少一个注释分类匹配的一个或多个注释的搜索;生成具有文档中与该至少一个注释分类匹配的一个或多个注释的搜索结果列表;以及呈现该搜索结果列表。
另一示例实施方式涉及一种与计算机设备的硬件一起使用的用于搜索文档中的注释的方法。该方法可以包括在计算机设备上执行的操作系统处,接收具有至少一个所请求的注释分类的搜索请求以便在文档中进行搜索。该方法可以包括对该文档执行针对该文档中与该至少一个注释分类匹配的一个或多个注释的搜索。该方法可以包括生成具有该文档中与该至少一个注释分类匹配的一个或多个注释的搜索结果列表。该方法可以包括呈现该搜索结果列表。
另一示例实施方式涉及存储可由计算机设备执行的指令的计算机可读介质。该计算机可读介质可以包括用于使该计算机设备接收具有至少一个所请求的注释分类的搜索请求以便在文档中进行搜索的至少一个指令。该计算机可读介质可以包括用于使该计算机设备对该文档执行针对该文档中与该至少一个注释分类匹配的一个或多个注释的搜索的至少一个指令。该计算机可读介质可以包括用于使该计算机设备生成具有该文档中与该至少一个注释分类匹配的一个或多个注释的搜索结果列表的至少一个指令。该计算机可读介质可以包括用于使该计算机设备呈现该搜索结果列表的至少一个指令。
有关于本公开内容的实施方式的其他优点和新颖特征将在随后的描述中部分地阐述,并且一经对下述内容的检查或通过对其实践而学习将部分地变得对于本领域技术人员是显而易见的。
附图说明
在附图中:
图1是根据本公开内容的一个实施方式的示例性计算机设备的示意性框图。
图2是根据本公开内容的一个实施方式的用在计算机设备上的示例性注释信息表。
图3是根据本公开内容的一个实施方式的用于在计算机设备上搜索文档的示例性图形用户界面。
图4是根据本公开内容的一个实施方式的用于在文档中搜索注释的示例性方法流程。
图5是根据本公开内容的一个实施方式的示例性设备的示意性框图。
具体实施方式
本公开内容涉及用于文档和/或网页的智能搜索的设备和方法。该设备和方法可以增强当前的搜索体验,以提供基于注释类型或类别在文档和/或网页中搜索注释的能力。在一个示例中,用户可以选择搜索文档中用黄色突出显示进行标记的所有注释。另一个示例可以包括用户选择针对问号,搜索文档中所有的墨迹笔划(ink stroke)。
用户可以针对各种原因以不同方式对文档和/或网页进行注释。对文档进行注释的原因可能包括但不限于:将该文档的一部分标记为重要的、不重要的、稍后阅读、和/或不理解。目前,用户想要重新访问该用户在文档中突出显示和/或写字的地方的注释内容,则该用户手动导航到文档的每一部分,以确定是否在每个特定部分中加入了任何附加的注释。这一手动导航可能是麻烦的和/或耗时的。例如,当一个学生对教科书进行注释时,手动导航通过该教科书的页面以便对这些注释进行定位可能是困难的和/或费时的。此外,用户可能会错过这些注释。
该设备和方法提供增强的搜索能力,其可以允许用户在文档中搜索不同的注释。注释可以具有多个不同的注释分类的至少一个,诸如但不限于:突出显示、墨迹笔划、笔记、填充色(例如,填色的突出显示、墨迹笔划、或注释)、和/或用户对该文档做出的标记(例如,符号或其它标记)。因此,当用户注释文档时,该设备和方法可以允许用户容易地定位和/或导航到该用户添加该注释的文档的一部分。该设备和方法也可以为用户执行的搜索提供引导经验。例如,该设备和方法可以提供用星形标记的所有内容的摘要,或用特定的颜色(例如,黄色)突出显示的所有内容的摘要。
现在参考图1,用于与搜索注释一起使用的示例性计算机设备102可以包括一个或多个应用程序10,其可以具有在显示器32上呈现给用户的一个或多个文档12。除了呈现给用户的其它内容,文档12还可以包括图片36和/或文本38。文档12可以是具有任何类型的内容(包括但不限于图片、视频、表格、诸如突出显示、文本注释、和/或写字的注释)的任何电子或数字文档。当查看文档12时,用户可以在文档12上做出一个或多个注释16。注释16可以具有多个注释分类中的至少一个,诸如但不限于突出显示、墨迹笔划、笔记、填充色(例如,填色的突出显示,墨迹笔划、或笔记),和/或由用户在文档12上做出的标记(例如,符号或其它标记)。举例来说,在包括一个或多个图片36和文本38的示例文档12中,用户可以在图片25旁边添加星形40并在文本38旁边添加问号41。用户还可以对图片36添加绿色突出显示44并对文本38添加黄色突出显示43。另外,用户可以在文本38旁边添加“稍后阅读”作为笔记42。这样,用户可以在文档12中的各个位置提供各种不同注释16。计算机设备102可以由用户用于基于注释的类型或分类来搜索添加到文档12的一个或多个注释16。
计算机设备102可以包括由计算机设备102的处理器46和/或系统存储器48运行的操作系统110。系统存储器48可以被配置用于存储定义和/或与操作系统110相关联的数据和/或计算机可执行指令,处理器46可以运行操作系统110。系统存储器48的示例可以包括但不限于可由计算机使用的一种类型的存储器,诸如随机访问存储器(RAM)、只读存储器(ROM)、磁带、磁盘、光盘、易失性存储器、非易失性存储器以及它们的任何组合。处理器46的示例可以包括但不限于,如本申请者所述的专门编程的任何处理器,包括控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、片上系统(SoC)或其它可编程逻辑或状态机。计算机设备102可以包括任何移动或固定的计算机设备,该设备可以是可连接到网络的。计算机设备102可以是,例如计算机设备,诸如台式或膝上型计算机或平板计算机、服务器计算机、蜂窝电话、游戏设备、混合现实或虚拟现实设备、音乐设备、电视机、导航系统、相机、个人数字助理(PDA)、或手持设备,或具有与一个或多个其它设备有线和/或无线连接能力的任何其它计算机设备。
操作系统110可包括注释管理器14,其可以识别文档12中的一个或多个注释16并可以存储该一个或多个注释16的注释元数据15。注释元数据15可以包括例如与注释16相关联的位置信息18和/或分类信息20。另外,注释元数据15可以包括从文档12识别与该一个或多个注释16相关联的内容的关联内容21。该注释16上方和/或下方的一部分内容可以被包括在关联内容21中。关联内容21可以包括但不限于文本的一部分(例如,一行、一个段落)、图片、和/或音频。在一个实施方式中,预定范围可以被用于确定要包括在关联内容21中的内容的量。该预定范围可以包括该注释16上方和/或下方在文档12中的位置信息。
举例来说,注释管理器14可以识别附加的墨迹笔划、标记、下划线、突出显示、填充色、和/或注释何时被添加到文档12。在一个实施方式中,注释管理器14可以被包括在应用程序10中。当注释管理器14在文档12中检测到注释16时,注释管理器14可以确定所检测到的注释16的位置信息18。例如,在文档12中的每一页可以具有X和Y坐标。每当在文档12中做出一个注释16时,位置信息18可以存储X和Y坐标信息和/或相关的页号以确定在该文档12中做出注释16的位置。例如,当用户用问号标记在网页上显示的电子书时,注释管理器14可以识别问号出现的位置的电子书的HTML部分,并且可以将位置信息18存储为与该在线书籍相关联的注释元数据15。另一示例可以包括用户突出显示演示文稿。注释管理器14可以确定该用户突出显示演示文稿的行和/或页序号,并将该行和/或页序号存储为该突出显示的位置信息18。
另外,注释管理器14可以分析所检测到的注释16并且可以确定提供了要与注释16相关联的分类的分类信息20。分类信息20可以包括但不限于:注释16的形状、注释16的颜色、注释16的类型(例如,突出显示、符号、文本等)、和/或通过注释16添加的词语中的一个或多个。在一个实施方式中,注释管理器14可以与墨迹分析器24通信以确定注释16的分类。墨迹分析器24可以分析所检测到的注释16的墨迹笔划,以便确定该注释16的分类信息。例如,墨迹分析器24可以确定墨迹笔划的形状。另外,墨迹分析器24可以确定墨迹笔划和/或标记的颜色。墨迹分析器24还可以确定由该墨迹笔划和/或笔记添加的词语。例如,如果用户向文档12添加词语“稍后阅读”作为笔记,则墨迹分析器24可以添加词语“稍后阅读”作为该笔记的分类信息20。注释管理器14可以从墨迹分析器24接收每个检测到的注释16的分类信息20,并且可以将该分类信息20存储为注释元数据15。
注释管理器14还可以创建具有与文档12相关联的注释元数据15的注释信息表22。例如,注释信息表22可以将分类信息20与文档12中识别出的注释16的位置信息18一起存储。图2中示出了一种示例注释信息表22。
现在参考图2,注释信息表22可以存储分类信息20和识别出的注释16的位置信息18之间的关联。例如,注释信息表22可以在行202中包括星形40作为注释16,连同“位置1”作为位置信息18和星形作为分类信息20。在行204处,注释信息表22可以包括问号41作为注释16,“位置2”作为位置信息18以及问号作为分类信息20。在行206处,注释信息表22可以包括笔记42作为注释16,“位置3”作为位置信息18以及具有词语“稍后阅读”的文本作为分类信息20。在行208处,注释信息表22可以包括突出显示43作为注释16,“位置4”作为位置信息18以及黄色高亮作为分类信息20。在行210处,注释信息表22可以包括突出显示44作为注释16,“位置5”作为位置信息18以及绿色高亮作为分类信息20。
随着由注释管理器14识别出新的注释16,新识别出的注释16的分类信息20和位置信息18可以被添加到该注释信息表22。注释信息表22可以作为与文档12相关联的注释元数据15的一部分来存储。这样,注释信息表22可以由注释管理器14用于访问针对该文档12识别出的一个或多个注释16。
返回参考图1,对于每个文档12,注释管理器14可以存储所检测到的注释16和任何相关联的元数据注释15。这样,当用户访问文档12时,注释16和/或注释元数据15信息可以由应用程序10访问。
操作系统110还可以包括搜索管理器26,其可以接收一个或多个搜索请求30,并且可以基于执行的搜索来生成搜索结果列表34。在一个实施方式中,应用程序10可以包括搜索管理器26。
搜索请求30可以识别要在文档12中搜索的一个或多个所请求的注释分类17。所请求的注释分类17可以包括但不限于:注释的类型(例如,突出显示、下划线、墨迹笔划)、突出显示颜色、和/或墨迹笔划的类型(例如,问号、圆圈、星形)。搜索请求30还可以包括其他搜索条件,诸如但不限于在文档12中做出注释16的位置信息18。这样,搜索请求30可以连同在文档12中做出注释的位置信息18一起包括所请求的注释分类17。例如,用户可以基于搜索请求30中所请求的注释分类17来识别特定分类的注释,例如突出显示注释。另外,用户可以针对所请求的注释分类17,识别要在该文档中搜索的一个或多个位置范围(例如,搜索书的第1页到第10页)。这样,由搜索管理器26执行的搜索可以基于搜索请求30中包括的搜索条件而量身定制。
在一个实施方式中,应用程序10可以提供搜索界面29,在此可以输入一个或多个搜索请求30。搜索界面29可以允许用户添加和/或移除要包括在搜索请求30中的一个或多个所请求的注释分类17。例如,用户可以通过例如选择应用程序10中的搜索按钮来访问搜索界面29。搜索界面29可以包括用户可以输入要在文档12中请求的一个或多个所请求的注释分类17的文本框。另外,搜索界面29可以包括用户可以选择要在文档12中搜索的一个或多个注释图标16。该图标可以包括但不限于各种形状、字符、符号、和/或颜色。搜索界面29还可以包括下拉菜单,其具有用户可以选择要在文档12中搜索的一个或多个所请求的注释分类17。例如,该下拉菜单可以包括用户可以选择作为所请求的注释分类17的颜色。
一个示例用例(use case)可包括用户提供搜索请求30来搜索具有词语“有帮助的”的笔记和/或墨迹笔划。另外,用户也可以选择星形符号以包括在搜索请求30中,以搜索所有具有星形的注释。这样,搜索请求30可以请求搜索管理器26搜索该文档中包含词语“有帮助的”和/或包含星形符号的所有注释16。另一个示例可以包括用户使用下拉菜单以将所有黄色和/或绿色的突出显示包括在搜索请求30中。该搜索请求30可以请求搜索管理器26搜索文档12中包括黄色和/或绿色突出显示的所有注释16。
搜索管理器26可以至少基于搜索请求30执行搜索。在一个实施方式中,搜索管理器26可以针对与所请求的注释分类17相匹配的注释16,从文档12的开始到文档12的结尾进行搜索。例如,搜索管理器26可以搜索与文档12相关联的注释元数据15和/或注释信息表22。搜索管理器26可以针对所请求的注释分类17来搜索与文档12相关联的注释元数据15。另外,搜索管理器26可以针对所请求的注释分类17来搜索与该文档12相关联的注释信息表22。在一个实施方式中,搜索管理器26可以以文档级别和/或以文件夹级别来执行搜索。
当所请求的注释分类17和注释16和/或与注释16相关联的注释元数据15之间出现匹配时,搜索管理器26可以将注释16存储在搜索结果列表34中。匹配可以包括例如所请求的注释分类17何时与注释16的分类信息20匹配。例如,如果用户从下拉菜单选择黄色突出显示作为所请求的注释分类17,则当分类信息20指示注释16的黄色突出显示时出现匹配。这样,搜索结果列表34可以包括文档12中与所请求的注释分类17和/或包括在搜索请求30中的任何其它搜索条件匹配的所有注释16。
搜索结果列表34可以包括与注释16相关联的来自文档12的关联内容21。注释16上方和/或下方的内容的一部分可以被包括在搜索结果列表中,以便用户可以看到注释16周围的内容。关联内容21可以包括但不限于:注释16附近的文本的一行、文本的一个句子、文本的一部分、图片、和/或音频。在一个实施方式中,可以设置预定范围以确定要包括在搜索结果列表34中的内容的量。例如,注释管理器14可以使用文档12的X和Y位置坐标来定义包括在注释16相关联的注释元数据15中的关联内容21的量的预定范围。
搜索结果列表34还可以包括搜索结果列表34中包括的注释16的相关联的注释元数据15。相关联的注释元数据15可以被用于导航到的文档12中用户添加注释16的部分。例如,用户可以选择搜索结果列表34中的注释16,并且位置信息18可以被用于移动到文档12中注释16被添加到文档12的位置。这样,搜索结果列表34可以被用来容易地定位和/或导航到文档12中用户添加了注释16的部分。
另外,搜索结果列表34还可以为用户执行的搜索请求30提供引导式经验。搜索结果列表34可提供添加到文档12上的注释16的摘要。例如,搜索结果列表34可以提供用星形标记的所有内容,或用具体颜色(例如,黄色)突出显示的所有内容的摘要。
这样,计算机设备102可以被用于提供基于注释的类型或分类在文档12中搜索注释16的能力。另外,计算机设备102可被用于容易地定位和/或导航到文档12中用户添加了注释16的部分。
现在参考图3,用于搜索文档12(图1)的示例图形用户界面300可以包括搜索界面29和用户添加到文档12的一个或多个注释302。例如,用户可以通过向文档12绘制附加墨迹笔划312向文档12添加一个或多个注释。搜索界面29可以允许用户添加和/或移除要包括在搜索请求中的一个或多个注释。搜索界面29可以包括文本框304,用于输入要包括在搜索请求中以在文档12中搜索的一个或多个注释。例如,用户可以在文本框304中输入“星形”以在文档12中搜索星形注释302。搜索界面29还可以包括一个或多个图标306,代表可能出现在文档12中的用户可以选择以包括在搜索请求中的不同注释分类。例如,用户可以选择一个星形图标以在文档12中搜索星形注释302。
另外,搜索界面29可以包括下拉菜单308,用户可以用它来选择要包括在搜索请求中的一个或多个注释。例如,用户可以选择要在文档12中搜索的各种颜色(例如,红色和绿色)的注释。
搜索界面29还可以呈现具有与该搜索请求匹配的一个或多个注释的搜索结果列表310。例如,搜索结果列表310可以包括匹配该搜索请求的三个不同的注释。另外,搜索结果列表310可以包括该搜索结果列表310中包括的注释的简要摘要。用户可以选择注释的摘要,并且可以显示所选择的注释在文档12中位于的部分。
因此,搜索界面29可以为用户执行的搜索提供引导性经验。例如,搜索界面29可以提供用星形标记的所有内容,或用具体颜色(例如,黄色)突出显示的所有内容的摘要。此外,搜索界面29可以允许用户添加和/或移除要包括在该搜索请求中的注释。
现在参考图4,结合图1的架构的描述讨论了与计算机设备102(图1)的硬件一起使用的用于在文档12(图1)中搜索注释16(图1)的示例方法流程400。例如,计算机设备102可以由用户用于基于注释的类型或分类搜索添加到文档12的一个或多个注释16。
在402处,方法400可以包括识别文档中的至少一个注释。例如,注释管理器14可以在文档12中识别一个或多个注释16。该注释16包括但不限于:用户在文档12上做出的突出显示、墨迹笔划、下划线、笔记、填充色和/或标记。注释管理器14可以识别额外的墨迹笔划、下划线、标记、突出显示、和/或笔记何时被添加到文档12。
在404处,方法400还可以包括识别至少一个注释位于该文档中的位置信息。当注释管理器14检测到文档12中的一个注释16时,注释管理器14可以确定所检测到的注释16的位置信息18。例如,当用户用问号标记网页上显示的电子书时,注释管理器14可以识别该电子书的出现问号的HTML部分。另一示例可以包括用户突出显示演示文稿。注释管理器14可确定用户突出显示演示文稿的行和/或页序号,并将该行和/或页序号存储为该突出显示的位置信息18。
在406处,方法400可以包括分析该至少一个注释以确定该至少一个注释分的类信息。注释管理器14可以分析所检测到的注释16并且可以确定提供要与该注释16相关联的分类的分类信息20。分类信息20可以包括但不限于:注释16的形状、注释16的颜色、注释16的类型(例如,突出显示、符号、文本等)和/或由注释16添加的词语的一个或多个。在一个实施方式中,注释管理器14可以与墨迹分析器24通信以确定注释16的分类。墨迹分析器24可以分析所检测到的注释16的墨迹笔划,以便确定该注释16的分类信息。例如,墨迹分析器24可以确定墨迹笔划的形状。另外,墨迹分析器24可以确定墨迹笔划和/或标记的颜色。墨迹分析器24还可以确定由该墨迹笔划和/或笔记添加的词语。例如,如果用户向文档12添加词语“稍后阅读”作为笔记,则墨迹分析器24可以添加词语“稍后阅读”作为该笔记的分类信息20。注释管理器14可以从墨迹分析器24接收每个检测到的注释16的分类信息20。
在408处,方法400可以包括将该位置信息和分类信息作为与该至少一个注释相关联的注释元数据来存储。注释管理器14可以存储一个或多个注释16的注释元数据15。注释元数据15可包括例如与注释16相关联的位置信息18和/或分类信息20。另外,注释元数据15可以包括从文档12识别与一个或多个注释16相关联的内容。注释16上方和/或下方的内容的一部分可以被包括在关联内容21中。关联内容21可以包括但不限于文本的一部分(例如,一行、一段)、图片、和/或音频。
注释管理器14还可以创建具有与文档12相关联的注释元数据15的注释信息表22。例如,注释信息表22可以将分类信息20与文档12中识别出的注释16的位置信息18一起存储。
在410处,方法400可以包括接收具有至少一个所请求的注释分类的搜索请求以便在文档中进行搜索。搜索管理器26可以接收要在文档12中搜索所请求的注释分类17的一个或多个搜索请求30。搜索请求30可以识别要在文档12中搜索的一个或多个所请求的注释分类17。搜索请求30还可以包括其它搜索条件,诸如但并不限于分类信息20和/或位置信息18。例如,用户可以识别搜索请求30中所请求的注释分类17的特定类型的注释(例如,突出显示注释)。另外,用户可以识别针对所请求的注释分类17要在文档中搜索的一个或多个位置范围,例如,搜索一本书的第1页到第10页。这样,搜索管理器26执行的搜索可以基于该搜索请求30中包括的搜索条件而量身定制。
在一个实施方式中,应用程序10可以提供搜索界面29,在此可以输入一个或多个搜索请求30。搜索界面29可以允许用户添加和/或移除要包括在搜索请求30中的一个或多个所请求的注释分类17。例如,用户可以通过例如选择应用程序10中的搜索按钮来访问搜索界面29。搜索界面29可以包括用户可以输入要在文档12中请求的一个或多个所请求的注释分类17的文本框。另外,搜索界面29可以包括用户可以选择要在文档12中搜索的一个或多个注释图标16。该图标可以包括但不限于各种形状、字符、符号、和/或颜色。搜索界面29还可以包括下拉菜单,其具有用户可以选择要在文档12中搜索的一个或多个所请求的注释分类17。例如,该下拉菜单可以包括用户可以选择作为所请求的注释分类17的颜色。
在412处,方法400可以包括对该文档执行针对该文档中与该至少一个注释分类匹配的一个或多个注释的搜索。搜索管理器26可以至少基于搜索请求30执行搜索。在一个实施方式中,搜索管理器26可以针对与所请求的注释分类17相匹配的注释16,从文档12的开始到文档12的结尾进行搜索。例如,搜索管理器26可以搜索与文档12相关联的注释元数据15和/或注释信息表22。搜索管理器26可以针对所请求的注释分类17搜索与文档12相关联的注释元数据15。另外,搜索管理器26可以针对所请求的注释分类17搜索与该文档12相关联的注释信息表22。在一个实施方式中,搜索管理器26可以以文档级别和/或以文件夹级别来执行搜索。
在414处,方法400可以包括生成具有该文档中与该至少一个注释分类相匹配的一个或多个注释的搜索结果列表。当所请求的注释分类17和注释16和/或与注释16相关联的注释元数据15之间出现匹配时,搜索管理器26可以将注释16存储在搜索结果列表34中。匹配可以包括例如所请求的注释分类17何时与注释16的分类信息20匹配。例如,如果用户从下拉菜单选择黄色突出显示作为所请求的注释分类17,则分类信息20指示注释16的黄色突出显示时出现匹配。这样,搜索结果列表34可以包括文档12中与所请求的注释分类17和/或包括在搜索请求30中的任何其它搜索条件匹配的所有注释16。
在416处,方法400可以包括呈现该搜索结果列表。例如,显示器32可以呈现搜索结果列表34。搜索结果列表34可以包括与注释16相关联的来自文档12的关联内容21。注释16上方和/或下方的内容的一部分可以被包括在搜索结果列表中,以便用户可以看到注释16周围的内容。例如,关联内容21可以包括但不限于:注释16附近的文本的一行、文本的一个句子、文本的一部分、图片、和/或音频。在一个实施方式中,可以设置预定范围以确定要包括在搜索结果列表34中的内容的量。
搜索结果列表34还可以包括搜索结果列表34中包括的注释16的相关联的注释元数据15。相关联的注释元数据15可以被用于导航到的文档12中用户添加注释16的部分。例如,用户可以选择搜索结果列表34中的注释16,并且位置信息18可以被用于移动到文档12中注释16被添加到文档12的位置。这样,搜索结果列表34可以被用来容易地定位和/或导航到文档12中用户添加了注释16的部分。
另外,搜索结果列表34还可以为用户执行的搜索请求30提供引导式经验。搜索结果列表34可提供添加到文档12上的注释16的摘要。例如,搜索结果列表34可以提供用星形标记的所有内容,或用具体颜色(例如,黄色)突出显示的所有内容的摘要。
现在参考图5,示出了根据一个实施方式的示例计算机设备102,相比于图1其包括额外的组件细节。在一个示例中,计算机设备102可以包括处理器46,用于执行与本申请中描述的一个或多个组件和功能相关联的处理功能。处理器46可以包括单个或多个组的处理器或多核处理器。此外,处理器46可以实现为集成的处理系统和/或分布式处理系统。
计算机设备102还可以包括存储器48,诸如用于存储由处理器46执行的应用的本地版本。存储器48可以包括可由计算机使用的一种类型的存储器,诸如随机访问存储器(RAM)、只读存储器(ROM)、磁带、磁盘、光盘、易失性存储器、非易失性存储器以及它们的任何组合。另外,处理器46和存储器48可包括并执行操作系统110(图1)。
此外,计算机设备102可以包括通信组件50,其提供使用如本申请中所描述的硬件、软件和服务建立并维持与一个或多个方面的通信。通信组件50可以承担计算机设备102上的组件之间,以及计算机设备102和外部设备(诸如跨越通信网络的设备和/或串行地或本地连接到计算机设备102的设备)之间的通信。例如,通信组件50可以包括一个或多个总线,并且还可以包括分别与发射机和接收机相关联的可操作用于与外部设备交互的发送链组件和接收链组件
另外,计算机设备102可以包括数据存储52,其可以提供结合本申请中描述的实施方式采用的信息、数据库和程序的大容量存储的硬件和/或软件的任何合适组合。例如,数据存储52可以是应用程序10(图1)、注释管理器14(图1)、墨迹分析器24(图1)和/或搜索管理器26(图1)的数据仓库。
计算机设备102还可以包括用户接口组件54,可操作用于从计算机设备102的用户接收收入并且进一步可操作用于生成输出以供呈现给用户。用户接口组件54可包括一个或多个输入设备,包括但不限于键盘、数字键盘、鼠标、触感显示器、导航键、功能键、麦克风、语音识别组件,能够从用户接收输入的任何其它装置。此外,用户接口组件54可以包括一个或多个输出设备,包括但不限于显示器、扬声器、触觉反馈装置、打印机、能够将输出呈现给用户的任何其它装置或它们的任何组合。
在一个实施方式中,用户接口组件54可以发送和/或接收对应于应用程序10、注释管理器14、墨迹分析器24和/或搜索管理器26的操作的信息。另外,处理器46执行应用程序10,注释管理器14、墨迹分析器24和/或搜索管理器26,和存储器48或数据存储52可以存储它们。
如在本申请中所使用的,术语“组件”、“系统”等旨在包括与计算机相关的实体,诸如但并不限于硬件、固件、硬件和软件的组合、软件,或运行中的软件。例如,组件可以是但不限于,处理器上运行的进程、处理器、对象、可执行程序、执行的线程、程序和/或计算机。通过举例说明的方式,计算机设备上运行的应用程序和该计算机设备二者都可以是组件。一个或多个组件可以驻留在进程和/或执行的线程中,并且组件可以本地位于一个计算机上和/或在两个或更多计算机之间分布。另外,这些组件可以通过本地和/或远程进程(诸如根据具有一个或多个数据分组的信号)通信,诸如来自与本地系统、分布式系统中和/或跨越网络(诸如通过信号方式与其它系统通信的互联网)的另一个组件交互的一个组件的数据。
此外,术语“或”旨在意为包含性的“或”而非排他性的“或”。也就是,除非另有明确指定或从上下文清楚可见,否则短语“X采用A或B”旨在表示任何自然的包括性排列。也就是,以下任何一个情况都满足短语“X采用A或B”:X采用A;X采用B;或X采用A和B。另外,除非明确指明或从上下文清楚表明指向单数形式,本申请中和所附权利要求中使用的冠词“a”和“an”一般应被解释为表示“一个或多个”。
可能已经在系统方面呈现了各种实施方式或特征,系统可以包括若干设备、组件、模块等待。应当理解和明白的是,各种系统可以包括额外的设备、组件、模块等,和/或可以不包括结合附图讨论的所有设备、组件、模块等。也可以使用这些方法的组合。
结合本申请中公开的实施例所描述的各种示例性逻辑、逻辑块和方法的动作可以用专门编程的通用处理器、数字信号处理器(DSP)、专用集成电路执行(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立硬件组件或其被设计为执行本申请中描述的功能的任何组合之一来实现或执行。通用处理器可以是微处理器,但是作为替代,处理器可以是任何常规的处理器、控制器、微控制器或状态机。处理器还可被实现为计算机设备的组合,例如DSP和微处理器的组合、多个微处理器、与DSP核心相结合的一个或多个微处理器,或任何其它这样的配置。另外,至少一个处理器可以包括可操作用于执行上面描述的一个或多个步骤和/或动作的一个或多个组件。
此外,结合本申请中公开的实施方式描述的步骤和/或方法的动作或算法可以直接体现在硬件、由处理器执行的软件模块,或两者的组合中。软件模块可以驻留在RAM存储器、闪存器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM或本领域已知的任何其它形式的存储介质中。示例性存储介质可以耦接到处理器,从而使处理器能够从该存储介质读取信息以及向其写入信息。作为替代,该存储介质可以集成到处理器中。此外,在一些实施方式中,处理器和存储介质可驻留在ASIC中。另外,ASIC可以驻留在用户终端中。作为替代,处理器和存储介质可以作为分立组件驻留在用户终端中。另外,在一些实施方式中,一种方法或算法的步骤和/或动作可以一个或任何组合或一组代码和/或指令驻留在机器可读介质和/或计算机可读介质上,其可以被并入到计算机程序产品中。
在一个或多个实施方式中,所描述的功能可以在硬件、软件、固件或其任意组合中来实现。如果在软件中实现,则功能可以作为计算机可读介质上的一个或多个指令或代码来存储或传输。计算机可读介质包括计算机存储介质和通信介质二者,通信介质包括便于将计算机程序从一个地方转移到另一个地方的任何介质。存储介质可以是能够由计算机访问的任何可用介质。通过举例的方式而不是限制性的,这种计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备,或可以用于以指令或数据结构的形式存储需要的程序代码并且可以由计算机访问的任何其它介质。如本申请中使用的磁盘和光盘,包括压缩光盘(CD)、激光光盘、光学盘、数字多功能光盘(DVD)、软盘和蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘通常用激光以光学方式再现数据。以上组合也应该包括在计算机可读介质的范围之内。
虽然已经结合其示例描述了本公开内容的实施方式,但本领域技术人员可以理解的是可以在不偏离其范围的前提下做出上面所描述的实施方式的变型和修改。从考虑说明书或根据本申请中公开的示例的实践,其它实施方式将对本领域的技术人员显而易见。

Claims (15)

1.一种计算机设备,包括:
存储器,其被配置为存储数据和指令;
至少一个处理器,其被配置为与所述存储器通信;
操作系统,其被配置为与所述存储器和所述至少一个处理器通信,其中,所述操作系统可操作用于:
接收搜索请求以在文档中搜索由用户添加到所述文档的一个或多个注释,其中,所述搜索请求包括与所述一个或多个注释相对应的至少一个注释分类以在所述文档中进行搜索,其中,所述至少一个注释分类是识别所述一个或多个注释的注释分类中的一个注释分类;
对所述文档执行针对所述文档中与所述至少一个注释分类匹配的所述一个或多个注释的搜索;
生成具有所述文档中与所述至少一个注释分类匹配的所述一个或多个注释的搜索结果列表;以及
呈现所述搜索结果列表。
2.如权利要求1所述的计算机设备,其中,所述搜索结果列表包括所述一个或多个注释位于所述文档中的位置信息,以及来自所述一个或多个注释位于所述文档中的所述文档中的内容。
3.如权利要求1所述的计算机设备,其中,所述一个或多个注释具有与和所述至少一个注释分类相关联的分类信息匹配的注释元数据。
4.如权利要求3所述的计算机设备,其中,所述注释元数据包括所述一个或多个注释的分类信息。
5.如权利要求1所述的计算机设备,其中,所述至少一个注释分类包括突出显示、墨迹笔划、笔记、填充色、以及标记中的一个或多个,其中,所述一个或多个注释中的每个注释是响应于用户输入通过在所述文档上添加突出显示、墨迹笔划、笔记、颜色、标记或符号来做出的。
6.如权利要求1所述的计算机设备,其中,所述操作系统进一步可操作用于:针对与所述至少一个注释分类匹配的所述一个或多个注释,从所述文档的开始到所述文档的结尾进行搜索。
7.如权利要求1所述的计算机设备,其中,所述操作系统进一步可操作用于:针对所述文档中与所述至少一个注释分类匹配的所述一个或多个注释,搜索注释元数据。
8.一种在计算机设备上实施的用于搜索文档中的注释的方法,包括:
在所述计算机设备上执行的操作系统处,接收搜索请求以在文档中搜索由用户添加到所述文档的一个或多个注释,其中,所述搜索请求包括与所述一个或多个注释相对应的至少一个注释分类以在所述文档中进行搜索,其中,所述至少一个注释分类是识别所述一个或多个注释的注释分类中的一个注释分类;
对所述文档执行针对所述文档中与所述至少一个注释分类匹配的所述一个或多个注释的搜索;
生成具有所述文档中与所述至少一个注释分类匹配的所述一个或多个注释的搜索结果列表;以及
呈现所述搜索结果列表。
9.如权利要求8所述的方法,其中,所述搜索结果列表包括所述一个或多个注释位于所述文档中的位置信息以及来自所述一个或多个注释位于所述文档中的所述文档中的内容。
10.如权利要求8所述的方法,其中,所述一个或多个注释具有与和所述至少一个注释分类相关联的分类信息匹配的注释元数据。
11.如权利要求10所述的方法,其中,所述注释元数据包括所述一个或多个注释的分类信息。
12.如权利要求8所述的方法,其中,所述至少一个注释分类包括突出显示、墨迹笔划、笔记、填充色、以及标记中的一个或多个,其中,所述一个或多个注释中的每个注释是响应于用户输入通过在所述文档上添加突出显示、墨迹笔划、笔记、颜色、标记或符号来做出的。
13.如权利要求8所述的方法,其中,所述搜索针对与所述至少一个注释分类匹配的所述一个或多个注释,从所述文档的开始到所述文档的结尾进行搜索。
14.如权利要求8所述的方法,其中,所述搜索针对所述文档中与所述至少一个注释分类匹配的所述一个或多个注释,搜索注释元数据。
15.一种非暂时性计算机可读介质,其存储可由计算机设备执行的指令,所述指令包括:
用于使所述计算机设备接收搜索请求以在文档中搜索由用户添加到所述文档的一个或多个注释的至少一个指令,其中,所述搜索请求包括与所述一个或多个注释相对应的至少一个注释分类以在所述文档中进行搜索,其中,所述至少一个注释分类是识别所述一个或多个注释的注释分类中的一个注释分类;
用于使所述计算机设备对所述文档执行针对所述文档中与所述至少一个注释分类匹配的所述一个或多个注释的搜索的至少一个指令;
用于使所述计算机设备生成具有所述文档中与所述至少一个注释分类匹配的所述一个或多个注释的搜索结果列表的至少一个指令;以及
用于使所述计算机设备呈现所述搜索结果列表的至少一个指令。
CN201880085791.9A 2018-01-08 2018-12-18 针对注释和墨迹的智能搜索 Active CN111602129B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/864,587 US10747794B2 (en) 2018-01-08 2018-01-08 Smart search for annotations and inking
US15/864,587 2018-01-08
PCT/US2018/066101 WO2019135897A1 (en) 2018-01-08 2018-12-18 Smart search for annotations and inking

Publications (2)

Publication Number Publication Date
CN111602129A CN111602129A (zh) 2020-08-28
CN111602129B true CN111602129B (zh) 2024-01-02

Family

ID=65199578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880085791.9A Active CN111602129B (zh) 2018-01-08 2018-12-18 针对注释和墨迹的智能搜索

Country Status (4)

Country Link
US (1) US10747794B2 (zh)
EP (1) EP3738053A1 (zh)
CN (1) CN111602129B (zh)
WO (1) WO2019135897A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11151307B2 (en) * 2018-11-13 2021-10-19 Adobe Inc. Mapping annotations to ranges of text across documents
CN116187284A (zh) * 2023-04-26 2023-05-30 福昕鲲鹏(北京)信息科技有限公司 注释定位方法、装置和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070055926A1 (en) * 2005-09-02 2007-03-08 Fourteen40, Inc. Systems and methods for collaboratively annotating electronic documents
CN1934569A (zh) * 2004-03-15 2007-03-21 雅虎公司 集成有用户注释的搜索系统和方法
CN106055994A (zh) * 2015-04-16 2016-10-26 国际商业机器公司 信息处理方法、系统和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7502812B2 (en) * 2003-08-21 2009-03-10 Microsoft Corporation Electronic ink processing
US20050060643A1 (en) * 2003-08-25 2005-03-17 Miavia, Inc. Document similarity detection and classification system
WO2007149216A2 (en) * 2006-06-21 2007-12-27 Information Extraction Systems An apparatus, system and method for developing tools to process natural language text
US20100241947A1 (en) 2007-12-31 2010-09-23 Michael Dahn Advanced features, service and displays of legal and regulatory information
US20100306249A1 (en) * 2009-05-27 2010-12-02 James Hill Social network systems and methods
US10424000B2 (en) * 2009-05-30 2019-09-24 Edmond K. Chow Methods and systems for annotation of digital information
US9251130B1 (en) 2011-03-31 2016-02-02 Amazon Technologies, Inc. Tagging annotations of electronic books
US20130031457A1 (en) * 2011-07-28 2013-01-31 Peter Griffiths System for Creating and Editing Temporal Annotations of Documents
US9424241B2 (en) 2013-12-31 2016-08-23 Barnes & Noble College Booksellers, Llc Annotation mode including multiple note types for paginated digital content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1934569A (zh) * 2004-03-15 2007-03-21 雅虎公司 集成有用户注释的搜索系统和方法
US20070055926A1 (en) * 2005-09-02 2007-03-08 Fourteen40, Inc. Systems and methods for collaboratively annotating electronic documents
CN106055994A (zh) * 2015-04-16 2016-10-26 国际商业机器公司 信息处理方法、系统和装置

Also Published As

Publication number Publication date
CN111602129A (zh) 2020-08-28
EP3738053A1 (en) 2020-11-18
US20190213276A1 (en) 2019-07-11
WO2019135897A1 (en) 2019-07-11
US10747794B2 (en) 2020-08-18

Similar Documents

Publication Publication Date Title
US8515984B2 (en) Extensible search term suggestion engine
US20210011595A1 (en) Terminal and method for determining type of input method editor
RU2645276C2 (ru) Создание вариаций при преобразовании данных в потребляемый контент
US10592571B1 (en) Query modification based on non-textual resource context
US9754034B2 (en) Contextual information lookup and navigation
US10445417B2 (en) Entry of values into multiple fields of a form using touch screens
CN104462056A (zh) 基于深度文档分析的主动知识指导
CN105637509A (zh) 在图像内搜索和注释
US20220121668A1 (en) Method for recommending document, electronic device and storage medium
US9141867B1 (en) Determining word segment boundaries
CN111602129B (zh) 针对注释和墨迹的智能搜索
KR20190101156A (ko) 전자 장치 및 그 제어 방법
KR20120058544A (ko) 이미지 구성요소의 검색
CN106970758B (zh) 电子文档操作处理方法、装置和电子设备
EP2557515A1 (en) Method and apparatus for providing search services interactively displaying a type of search target
CN112988784B (zh) 数据查询方法、查询语句生成方法及其装置
CN114297143A (zh) 一种搜索文件的方法、显示文件的方法、装置及移动终端
KR20190090636A (ko) 문서 자동 편집 방법
WO2018208412A1 (en) Detection of caption elements in documents
US20140372886A1 (en) Providing help on visual components displayed on touch screens
CN108628911A (zh) 针对用户输入的表情预测
CN112989011B (zh) 数据查询方法、数据查询装置和电子设备
US11907524B2 (en) Digital ink processing system, method, and program
US11663398B2 (en) Mapping annotations to ranges of text across documents
CN113157964A (zh) 一种语音搜索数据集的方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant