CN113486226A - 用于搜索结果注释的方法和系统 - Google Patents
用于搜索结果注释的方法和系统 Download PDFInfo
- Publication number
- CN113486226A CN113486226A CN202110704878.3A CN202110704878A CN113486226A CN 113486226 A CN113486226 A CN 113486226A CN 202110704878 A CN202110704878 A CN 202110704878A CN 113486226 A CN113486226 A CN 113486226A
- Authority
- CN
- China
- Prior art keywords
- annotation
- annotations
- item
- search results
- query
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000015654 memory Effects 0.000 claims description 50
- 238000012552 review Methods 0.000 claims description 21
- 230000004044 response Effects 0.000 claims description 7
- 230000001419 dependent effect Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 16
- 230000008859 change Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000012634 fragment Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000010006 flight Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 125000000174 L-prolyl group Chemical group [H]N1C([H])([H])C([H])([H])C([H])([H])[C@@]1([H])C(*)=O 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24573—Query processing with adaptation to user needs using data annotations, e.g. user-defined metadata
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24578—Query processing with adaptation to user needs using ranking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/169—Annotation, e.g. comment data or footnotes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Library & Information Science (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
灵活的注释框架规范化来自不同来源的辅助信息,针对单个搜索结果对信息进行排序,并在针对搜索结果的注释中提供辅助信息的轻量或完整显示。因此,注释显示通常不是包括在搜索结果中的细节的部分的信息。一种示例方法包括,对于搜索结果页面中的至少一个项目,在引用该项目的注释数据存储中识别第一注释类型的至少一个注释,在引用该项目的注释数据存储中识别第二注释类型的至少一个注释,对第一注释类型的注释和第二注释类型的注释进行排序,并提供排序最高的注释作为搜索结果页面中该项目的搜索结果的部分。
Description
相关申请的交叉引用
本申请要求于2020年6月25日提交的题为“搜索结果注释”的美国临时申请第62/705,413号的优先权,其公开内容通过引用整体合并于此。
技术领域
本申请涉及搜索结果注释。
背景技术
搜索引擎通常在项目存储库中搜索满足查询项的项目。搜索引擎聚合关于响应项的信息并且向查询请求者提供搜索结果。搜索引擎可以搜索主要项目存储库(例如可通过互联网获得的文档、应用商店中提供的应用程序、市场中供出售的项目等)或主要存储库的组合。每个搜索结果通常包括链接以及描述关于响应性项目的基本细节的片段(snippet)。所述链接可以将用户带到具有关于项目、原始文档等的更多细节的页面。搜索引擎对响应性项目进行排序并且提供搜索结果页面,该搜索结果页面列出若干个通常排序最高的响应性项目以及关于包括在搜索结果页面中的项目的一些基本细节。
发明内容
实施方式为搜索结果页面中的搜索结果提供注释(annotation)。所述注释代表关于搜索结果的辅助(auxiliary)数据,所述辅助数据不是通常包括在搜索结果中的基本项目细节的一部分。所述注释可以将项目连接到帮助为项目在搜索结果页面中的位置给出上下文的次要(secondary)存储库和/或数据源。换言之,一些注释可以为响应性搜索项的排序提供理由或见解。一些注释还可以提供例如来自次要来源或主要来源的切向数据,该切向数据可以使用户能够更有效地评估搜索结果页面中的项目。一些实施方式可以包括使得可以从一个或多个外部源获得注释的框架。实施方式处理代表不同辅助数据的各种类型的注释。所公开的框架可以使得能够对来自各种来源的并且具有各种类型的注释进行评分。经机器学习的评分算法对项目的所获得的所有注释进行排序,并且提供一个或多个注释以显示为项目的搜索结果的一部分。因此,实施方式可以显示来自多个次要来源的注释。实施方式可以支持各种接口,其为智能电话或可穿戴设备的典型空间受限显示器提供较少的细节(即,“轻量注释”),并且为常规显示器(例如膝上型计算机、智能电视机或个人计算机)提供更多细节(即,“完整注释”)。在一些实施方式中,所述用户界面可以最初地显示轻量注释并且被配置成响应于来自用户的手势或其他命令而显示完整注释。在一些实施方式中,可以在突出显示的结果中(例如在实体视图中)提供完整注释。
实施方式提供一种框架,该框架使得次要系统/团队(例如,对于不同的信息存储库)能够贡献注释。实施方式提供注释的内容的灵活性。实施方式处理各种注释数据源,并且数据源可以在代码变化很少的情况下扩展或收缩。此外,实施方式可以提供依赖于所产生注释的质量并且防止特定注释源不公平地夸大注释分数的公正评分机制。实施方式提供对不同类型的注释进行评分的解决方案,因此可以在搜索结果页面以及实体视图(例如知识面板、知识框等)上将不同类型的注释进行混合和排序。一些搜索引擎在以下情况下使用实体视图:当顶部搜索结果与实体相对应时,例如,当顶部结果与单个实体相对应具备足够置信度时。实施方式向浏览搜索结果的用户提供有用的信息,即辅助信息。利用本文所公开的注释导致更明智的电极,从而节省计算资源和用户时间。利用本文所公开的注释还可以导致更少的后续查询。注释可以是上下文的,根据特定查询进行调整。无论特定查询如何,注释都可以是普遍有用的。注释可以被配置成在静止时有意义,例如,不需要点击访问,从而进一步节省计算资源。某些注释可以具有点击目标,以使用户能够更深入地了解理由。
可以实施本文所描述的主题的实施方式中的一种或多种以实现以下优点中的一种或多种。作为一个示例,实施方式可以集成来自不同系统的不同类型的注释,从而为提供辅助数据提供灵活、动态的环境。实施方式还通过增加用户对所呈现的搜索结果的置信度来节省计算资源,从而降低用户提交多个查询以获得所寻求的答案的可能性。例如,实施方式可以提供来自支持特定项目在搜索结果列表中的排序的不同来源的辅助信息,这可以增加用户对所呈现的结果的置信度。因此,实施方式涉及用于提供新颖接口的框架,所述新颖接口用于将主要存储库中的项目与提供对项目在搜索结果页面中的位置的见解的次要存储库相关联。
附图说明
一个或多个实施方式的细节在附图和下面的描述中阐述。其他特征将从描述和附图以及从权利要求书中清楚。
图1示出根据一些实施方式的示例系统。
图2示出根据实施方式的多样化注释排序流水线的示例数据图。
图3示出根据一些实施方式的示例注释框架数据结构。
图4A-4D示出根据一些实施方式的搜索结果页面的示例提及和评论注释类型。
图5A和图5B示出根据一些实施方式的搜索结果页面的另一种评论(review)注释类型。
图6A-6C示出根据一些实施方式的用于搜索结果页面的示例首选(top-pick)和描述注释类型。
图7A和图7B示出根据一些实施方式的搜索结果页面的版本改变注释类型。
图8A-8C示出根据一些实施方式的搜索结果页面的示例多媒体和编辑评级(editorial rating)注释类型。
图9示出根据一些实施方式的搜索结果页面的查询上下文注释类型。
图10示出根据一些实施方式的用于为搜索结果页面生成动态注释的过程的流程图。
图11示出可以用来实施所描述的技术的计算机设备的示例。
图12示出可以用来实施所描述的技术的分布式计算机设备的示例。
各个附图中的相似的附图标记指示相似的元素。
具体实施方式
实施方式包括一种灵活的注释框架,该框架对来自不同来源的辅助信息进行规范化,对单个搜索结果的注释进行评分和排序,并且提供注释中的信息的轻量或完整显示的选项。所公开的实施方式在搜索引擎环境中操作,在此环境中,查询引擎生成搜索结果页面。在一些实施方式中,搜索引擎环境可以是市场环境,例如,提供项目(例如,应用程序、服务、产品)等的出售、下载、订购等的市场环境。但是,所公开的技术可以应用于任何搜索域,所述搜索域识别响应于来自主要语料库或存储库的查询的项目,并且提供来自其他(即,次要)来源的注释。其他搜索环境的示例包括与旅行相关的搜索、媒体搜索、新家搜索、实体搜索等。实施方式提供用于从其他来源和/或从主要存储库获取辅助信息的公共框架。辅助信息可以是与项目相关的任何信息,但不包括通常在项目的搜索结果中提供的信息。例如,市场搜索引擎通常在搜索结果中显示图像、标题、价格、总体评论(星级)和/或发货信息。注释中显示的辅助信息不包括此类主要信息。所公开的注释框架被配置成接受来自外部系统的注释并且从内部系统来源生成注释。实施方式使得能够在用户界面中启用轻量和完整注释的显示。实施方式可以为搜索项提供零个、一个或多个注释。
图1是根据示例实施方式的搜索服务系统100的方框图。系统100可用于实施为搜索结果页面中的一些搜索结果提供注释的搜索服务。为简洁起见,图1中对系统100的描绘被描述为市场搜索服务,虽然实施方式不限于此,并且所公开的技术可以应用于其他设置。
搜索服务系统100可以包括搜索引擎110。搜索引擎110可以是采用多种不同设备形式的计算设备,例如标准服务器、一组这样的服务器或机架服务器系统。在一些实施方式中,搜索引擎110可以是共享组件(例如处理器和存储器)的单个系统。此外,搜索引擎110可以实施于个人计算机(例如膝上型计算机)中。搜索引擎110可以是计算机设备1200的示例,如图12所示。搜索引擎110可以包括一个或多个服务器,所述一个或多个服务器从请求者(例如客户端170)接收查询,并且向所述请求者提供搜索结果。
搜索引擎110可以包括在基板中形成的一个或多个处理器113、操作系统(未示出)和一个或多个计算机存储器114。计算机存储器114可以表示任何种类的存储器(例如,RAM、闪存、高速缓存、磁盘、磁带等)。所述存储器114可以表示多种存储器。在一些实施方式(未示出)中,所述存储器114可以包括外部存储装置,例如物理上远离但可以被搜索引擎110访问的存储器。搜索引擎110可以包括表示专门编程的软件的一个或多个模块或引擎。例如,搜索引擎可以包括使搜索引擎110能够接收和响应查询的查询系统120。
查询系统120本身可以包括模块。例如,查询系统120可以包括查询引擎125和索引引擎(indexing engine)129。索引引擎129可以被配置成更新索引140。例如,索引引擎129可以将项目添加到索引140、更新索引140中的项目以及从索引140中删除项目。在一些实施方式中,索引引擎129可以与一个或多个爬网程序(crawler)一起工作。所述爬网程序搜索可通过互联网(Internet)访问的项目,并且返回项目的内容(包括元数据)。在一些实施方式中,所述爬网程序可以被配置成仅爬取某些种类的内容或爬取某些域。所述索引引擎129可以使用内容和/或元数据来生成和更新索引140。
查询系统120还可以包括查询引擎125。查询引擎125可以从请求者(例如客户端170)接收查询、分析查询以确定如何搜索索引140,以及启动对索引140的搜索。用户可以向搜索引擎110提交查询,例如,单词、短语、单词列表、图像、录音等。搜索引擎110,特别是查询引擎125,使用一个或多个索引(例如索引140)来识别响应于查询而返回的项目。响应于查询而返回到查询引擎125的项目也可以被称为响应性项目。查询引擎125可以为一些或所有响应项生成搜索结果。如本文所使用的,搜索结果是与响应性项目相关的概要(summary)数据。作为搜索结果本身的一部分提供的数据被视为项目的主要数据。主要数据来自主要存储库,例如索引140,并且通常表示少于该项目的存储库中可用的所有数据。所述搜索结果可以包括链接。所述链接可以启动与响应性项目相关的一些动作。例如,搜索结果链接可以将用户带到网页,例如提供项目以供购买或下载的网页,可以将用户带到提供关于项目的其他细节的界面、文件或网页等。项目的搜索结果还可能包括与该项目相关的小图像或图标。项目的搜索结果可以包括项目的简要描述或从项目中提取的信息,也称为片段(snippet)。搜索结果可以包括项目的评级概要(例如,开始次数、比率等)。产品、服务或酒店等项目可以包括该项目的价格。搜索结果可以包括与该项目相关和/或将该项目描述为包括在搜索结果中的主要信息的一部分的其他概要信息。
查询引擎125可以对响应性项目进行排序。排序可以包括将一个或多个排序信号应用于响应性项目。排序信号可以包括许多因素。一旦排序后,许多搜索引擎将响应性项目整理成页面。每个页面可能具有预设数量的响应性项目。因此,例如,前十个响应性项目可以作为第一页返回,接下来的十个响应性项目可以在第二页上,等等。用户可以使用链接、控件或过度滚动来在页面之间移动,例如,从而请求最后一页、下一页、上一页等。在第一页中返回的响应性项目的数量可以取决于可视区域的大小。例如,屏幕为6英寸的移动设备在第一页中包含的响应性项目可能少于屏幕为17英寸的膝上型计算机在第一页中包含的响应性项目。
在查找响应性项目时,查询系统120可以负责搜索一个或多个索引,所述一个或多个索引统称为索引140。索引140可以是例如将术语、短语和/或n元语法(n-gram)与项目相关联的倒排索引(inverted index)。项目可以是文件,包括描述产品的文件。项目可以是商店中提供的产品、书籍、应用程序和/或服务。项目可以是与旅行相关的酒店、餐厅、航班等。项目可以是实体。术语、短语和/或n元语法(n-gram)可以来自项目描述。术语、短语和/或n元语法可以来自关于项目的评论。术语、短语和/或n元语法可以来自描述或提及项目的文件(网页、PDF等)。索引140还可以包括知识库或知识图。在知识图中,实体(项目)被建模为节点,并且关于实体的事实被建模为实体之间的属性或标记关系。例如,一个项目可以在图表关系中被链接到一个或多个评论。索引140还可以包括产品、属性、航班、应用程序等的索引。在索引140代表几个不同的存储库的情况下,一个存储库可以被认为是由查询引擎125和索引引擎129搜索的主要存储库。其余存储库可以是查询系统120使用的次要存储库,例如,用于对关于用户选择的响应性项目的附加细节进行排序或提供服务。
索引140可以存储在有形计算机可读存储设备上,例如磁盘、闪存、高速缓存或及组合,所述有形计算机可读存储设备被配置成以半永久或非暂态形式存储数据。在一些实施方式中,索引140可以存储在各种存储器的组合中。查询引擎125可以从索引140获得响应性项目,对响应性项目进行排序,为响应性项目中的至少一些响应性项目生成搜索结果,并且将搜索结果提供给查询请求者,例如,客户端170。
除了查找响应性项目之外,查询系统120还可以获得针对响应性项目中的一个或多个的注释。所述响应性项目的注释表示与项目相关的辅助数据。一些注释是独立于查询的。一些注释是依赖于查询的。一些注释可以由查询系统120提供。一些注释可能由其他系统提供。注释可以属于不同的类型。例如,注释可以是基于提及该项目的文章或其他文件的提及注释(mention annotation),例如,评论产品的文章或关于该产品的新闻文章。提及注释可以是片段的形式,例如,从文章中选择某些文本。提及注释可以是概要的形式,例如,带有文章的标题。作为另一示例,注释可以基于编辑评级。这种评级可以从某些域、组织或出版物中收集。编辑评级注释(editorial rating annotation)可以包括来自一个来源的一个评级或可以包括来自多个来源的多个评级。作为另一个示例,注释可以是排序靠前的(top ranked)注释。排序靠前的注释表示该项目排序在某个类别的“前X个”项目的列表中,例如“热门智能手机”、“热门海滩度假胜地”或“热门父亲节礼物”。作为另一个示例,注释可以是评论注释(review annotation)。评论注释是根据用户对该项目的评论生成的。所述评论注释可以是正面/负面注释,其列出此项目的最常提及正面方面和/或此项目的最常提及负面方面。评论注释可以是基于查询的片段评论。大多数查询,尤其是对于市场搜索,包括未解析和/或未用于查找匹配项目的词。基于查询的评论注释可以在用户评论中找到并显示那些词的匹配项。基于查询的评论注释可以以完整形式突出显示(例如,加粗、下划线、斜体、使用不同颜色等)匹配词。
作为另一个示例,注释可以是新版本注释。新版本注释可以指示此项目是新的,这可能会赋予此项目更高重要性并且因此而具有更高相关性。作为另一个示例,注释可以是查询上下文注释(query context annotation)。查询上下文注释使用与测量相关的查询术语并且强调满足那些术语的产品属性。在一些实施方式中,查询上下文注释可以显示同一类别中所有术语的图形分布,并且指出结果在该空间中的出现位置。作为另一个例子,注释可以是描述注释(description annotation)。尽管大多数搜索结果页面不包括项目的长描述,但描述注释包括这样的描述。在一些实施方式中,注释可以突出显示或选择(如果描述过长)与查询特别相关的部分。作为另一个例子,注释可以是多媒体注释(multimediaannotation)。多媒体注释可以指向来自与该项目相关的权威来源(信誉良好的出版商)的视频或音频文件。多媒体文件可以是项目的评论、项目的演示等。作为另一示例,注释可以是先前查询注释(prior query annotation)。如果用户已同意保留历史数据,则先前查询注释是用户先前已研究过该项目的指示。
一些注释类型可以离线预先计算并存储在例如离线注释(offline annotation)130中。离线注释可以按项目(例如按项目标识符)建立索引。注释可以从其他系统推送到查询系统120。因此,例如,提及、评级最高、编辑评论等注释类型可以从互联网或新闻搜索系统推送到产品查询系统并且存储在离线注释130中。在一些实施方式中,可以离线计算依赖于查询的注释类型并且将其存储在离线注释130中。在一些实施方式中,可以在查询时生成依赖于查询的注释类型,诸如基于查询的评论片段、描述或上下文注释。在一些实施方式中,来自其他系统的所有注释都存储在离线注释130中。在一些实施方式中,查询系统120生成的注释类型中的一些可以离线计算并且存储在离线注释130中。在一些实施方式中,可以在查询时计算由查询系统120生成的注释类型中的一些。尽管被图示成搜索系统110的一部分,但在一些实施方式中,存储在离线注释130中的一种或多种注释类型远离搜索引擎110,但是可通过搜索引擎110访问。
在一些实施方式中,查询系统120可以包括搜索记录(未示出)。搜索记录可以包括聚合搜索日志、从查询收集的聚合数据或关于先前处理的查询的其他聚合数据。在一些实施方式中,所述搜索记录可以由搜索引擎110在生成搜索结果的正常过程中生成。在一些实施方式中,搜索记录可以用作注释类型的来源。
搜索引擎110可以包括一个或多个注释器135。在一些实施方式中,注释器135产生一种类型的注释。注释器135可以远离搜索引擎110,但可以以通信方式连接到搜索引擎110。注释器135被配置成从次要存储库或从通常不包括在搜索结果中的主要存储库中的数据生成注释有效负载。在一些实施方式中,所述注释器135可以对注释进行评分。在一些实施方式中,注释器135可以生成可用于相对于其他注释对注释进行评分的特征。在一些实施方式中,注释器135可以使用经机器学习的模型(例如,回归算法、神经网络等)来对注释进行评分。可以通过以下方式对经机器学习的模型进行训练:向人类评级者提供项目以及该项目的一个或多个相同类型的注释。人类评级者可以为每个注释打分,以表明此注释的有用性。这些标记的注释可用于训练一个或多个模型以对特定类型的注释进行评分。在一些实施方式中,注释器135中的一个或多个可以存在于外部系统上,所述外部系统将规范化的注释信息推送到搜索引擎110。外部系统可以包括多个注释器135(例如,用于不同类型的注释)。
查询系统120包括注释器引擎127。注释器引擎127从注释器135获得项目的注释并且聚合所述注释。注释器引擎127包括经机器学习的模型,例如NG3。注释器引擎127被配置成采用由创建注释的注释器135产生的评分注释(或评分特征)中的每一个并且将不同的注释相互排序。可以通过将具有多个不同类型注释的项目呈现给人类评级者并且让人类评级者对注释类型进行排序来训练经机器学习的模型。可以使用此标记数据来训练所述模型。如果将新类型的注释添加到系统中,则可以重新训练模型以包括该新类型的注释。因此,可以通过重新训练注释器引擎127将新的注释类型添加到查询系统120中。在一些实施方式中,如果发现注释器135夸大注释分数或以其他方式玩弄系统,或者如果新信息指示特定注释类型不是很有用,则可以训练注释器引擎127以对该注释类型的注释进行罚分(penalize)。
一旦注释器引擎127对项目的注释进行排序后,就可以提供所述注释以供呈现。所述查询系统120可以提供排序靠前的注释。所述查询系统120可以提供一组x个排序靠前的注释。所述查询系统120可以提供针对项目进行排序的所有注释。所述查询系统可以为初始显示提供轻量或完整注释。当屏幕空间非常宝贵时,可以选择轻量注释。注释可能会显示在轮播(carousel)、滑动展开界面(swipe-and-grow interface)、可展开行(expandablerow)等中。并非搜索结果页面中的每个搜索结果都可能有注释。在一些实施方式中,只有排序靠前的响应性项目可能有注释。在一些实施方式中,如果项目缺少评分/排序最低的注释,则针对该查询可能不显示任何注释。查询系统120可以提供将注释显示为查询的搜索结果页面的一部分所需的信息。
查询系统l20可以通过网络160与(多个)客户端170通信。例如,网络160可以是互联网、蜂窝网络、有线或无线局域网(LAN)、广域网(WAN)等。网络160可能表示多种网络类型。查询系统120可以通过网络160与客户端170以及其他域(未示出)通信,从而向其/从其发送数据。
客户端170可以是计算机设备100的示例,如图11所示。例如,客户端l70可以是个人计算机、移动电话、平板设备、膝上型计算机、可穿戴设备、智能电视机等。客户端170可以包括形成于基板上的一个或多个处理器l73,所述一个或多个处理器173被配置成执行一个或多个机器可执行指令或者软件、固件片段,或其组合。处理器l73可以是基于半导体的,也就是说,处理器可以包括能够执行数字逻辑的半导体材料。客户端170还可以包括一个或多个计算机存储器174。存储器l74(例如主要存储器)可以被配置成临时、永久、半永久存储一条或多条数据,或其组合。存储器174可以包括以能够被一个或多个处理器173读取和/或执行的格式存储信息的任何类型的存储设备。存储器174可以存储应用程序、模块和/或引擎,所述应用程序、模块和/或引擎在被一个或多个处理器173执行时执行某些操作。在一些实施方式中,应用程序、模块或引擎可以存储在外部存储设备中并且加载到存储器174中。
应用程序可以包括被配置成在客户端170上执行的任意数量的应用程序,例如操作系统、消息应用程序、购物应用程序、编辑应用程序、搜索助手、地图等。具体来说,应用程序包括浏览器175。浏览器175可操作以接收网页代码(例如,HTNEL、JavaScript等)并且呈现网页以便向客户端170的用户展示。因此,客户端170包括设有视口(viewport)的显示设备。如本文中所使用的,视口是显示由浏览器呈现的内容的多边形区域。常规上,视口是矩形的。所述视口的大小取决于设备,例如,智能电话上的视口小于个人计算机或平板设备的视口。所呈现网页的内容可能并不完全适配于视口内。在此情况下,用户可以滚动,例如,执行滚动动作,以将内容带入视口内并且将内容移出视口。滚动动作是浏览器175(可能与客户端170的操作系统结合)识别为执行滚动以将内容移动到视口内的任何输入。示例滚动动作是驱动鼠标上的滚轮、敲击和拖动动作、滑动动作(例如,使用手指或手写笔)、驱动浏览器窗口中的滚动条等。浏览器175因此显示可滚动内容(例如,呈现的网页)并且视口决定客户端170的用户实际能够看到内容中的哪个部分,或者换言之,内容中的哪个部分是可见的。展开轻量注释可以将先前显示在视口中的内容滚动到视口之外。
客户端170可以包括一个或多个输入设备,例如触摸屏、键盘、鼠标、指针、麦克风、摄像头、一个或多个物理按钮等。输入设备可以发起输入事件,例如滚动、链接选择、光标移动。客户端170还可以包括可操作地通过一个或多个网络(例如网络160)从其他计算设备(例如另一个客户端、服务器、搜索引擎110等)发送和接收数据的通信设备。图1中的配置表示一个示例配置并且实施方式也可以包括其他配置。
除了以上描述之外,可以向客户端设备170的用户提供控件,以便允许用户选择:本文所描述的系统、程序或特征是否可以启用收集用户信息(例如,关于用户的活动、用户偏好或用户当前位置的信息)以及何时该系统、程序或特征可以启用收集用户信息,以及是否从服务器(例如搜索引擎110)向用户发送内容或通信。此外,某些数据在被存储或使用之前可能会以一种或多种方式被处理,以便移除个人可识别信息。例如,用户的身份可能会被处理,以便无法确定用户的个人可识别信息,或者可以在获取位置信息时对用户的地理位置进行概化(例如城市、邮政编码或州级),从而无法确定用户的特定位置。因此,客户端170的用户可以控制收集与用户相关的哪些信息、如何使用该信息以及向用户和/或向搜索引擎110提供哪些信息。
图2示出根据实施方式的多样化注释排序流水线的示例数据图。在图2所示的示例中,所述系统包括五种不同类型的注释。注释器135(a)生成编辑片断注释。注释器135(b)生成正面/负面评论(review pro/con)注释。注释器135(c)生成描述注释。注释器135(d)生成编辑评级注释。注释器135(e)生成排序靠前的注释。注释器135(f)生成基于查询的评论片段注释。每个注释器135可以以规范化格式生成注释。图3示出根据一些实施方式的示例规范化注释格式300。所述注释可以标识要应用其的对象,例如文件标识符、产品标识符、实体表示等。所述标识符可以与主索引中项目的标识符相匹配。所述注释还可以包括注释类型的指示。所述有效负载包括要包括在该类型注释中的数据。所述有效负载取决于注释类型。在一些实施方式中,所述有效负载可以包括轻量注释的数据项目以及完整注释的附加数据项目。在一些实施方式中,所述有效负载可以包括对于如何显示数据项目的指示(例如代码)。在一些实施方式中,所述有效负载可以包括目标。所述目标可以是从其生成注释的文件。所述注释可以包括评分。所述评分是生成注释的注释器设定。所述注释可以包括特征集合。可以使用所述特征集合来对照同种类型和/或其他类型的注释对所述注释进行评分。
在图2中的示例中,每个注释器135提供注释的评分。注释器引擎127获取所有注释,并且使用经机器学习的排序算法对该注释进行相互排序。注释器引擎127的输出是已经排序的注释列表250。示例系统可以选择所述已排序列表150中的注释中的一个、两个、三个注释,以将其显示为搜索结果的一部分。
图4A-图4D示出根据一些实施方式的搜索结果页面400的示例提及和评论注释类型。在图4A中的示例中,用户已经输入查询405“耳机”。查询405的搜索结果400包括结果410和结果420。结果410和结果420这两者包括可展开行的形式的注释。可以选择控件415以展开搜索结果410的注释,并且可以选择控件425以展开搜索结果420的注释。在图4B中,用户已经选择控件415。对控件415的选择,使得注释430被显示在包括注释435的轮播区(carousel)内。注释430和注释435这两者均与搜索结果410的项目相关联。注释430是提及注释的示例。具体来说,注释430是片段的形式,例如,选择此项目的编辑评论的某些文本。注释435是概要形式的项目的另一个提及,例如,含有来自不同编辑评论的文章的标题。
图4C是用户选择控件425的结果。对控件425的选择得到展开的行,该展开的行在可水平滚动的轮播区内显示注释440和注释445。在一些实施方式中,只有注释440可以被显示在展开的行内。在一些实施方式中,注释440可以显示完整注释。其他注释可以包括在轮播区内,并且通过滚动来访问。注释440是正面/负面评论注释类型的示例。正面/负面评论可以从产品的用户评论中生成。正面/负面评论注释可以列出最常提及的该项目的正面方面以及/或者最常提及的该项目的负面方面。在一些实施方式中,正面/负面注释可以包括一个或多个点击目标。点击目标可以触发查询。此查询可以搜索该项目的评论。点击目标可以打开评论视图。注释445是评论片段。评论片段可以列出评论,该评论包括产品被最常提及的优点(或缺点)之一。图4D中所示的注释450是评论片段注释的另一个示例。
图5A和图5B示出根据一些实施方式的搜索结果500的另一种评论注释类型。在图5A所示的示例中,用户输入了“跑步用耳机”的查询505。查询505的搜索结果500包括结果510和结果520。结果510和结果520这两者包括可展开行的形式的注释。可以选择控件515以展开搜索结果510的注释,并且可以选择控件525以展开搜索结果420的注释。在图5A中,用户选择控件525,致使注释530和注释535被显示在轮播区中。注释530是基于查询的评论注释的示例。在图5A中的示例中,注释包括提及戴着耳机一起跑步的用户评论的片段。用户在产品评论中提及跑步可能会致使特定产品的排序更高。注释提供搜索结果520排序的理由并且可以致使后续查询减少,因为用户具有结果与意图相匹配的置信度。主要存储库中罕见/不常见的查询术语(例如,与跑步或跑相关的项目和与耳机相关的数量相比并不多)可用于识别适当的评论片段。确定用于描述实体(项目的形容词)的查询术语可用于识别适当的片段。提及特定于查询的上下文的评论片段的一部分可以被突出显示(粗体、斜体、下划线、不同字体颜色等)。评论片段注释可以包括点击目标。点击目标可以发起用户评论的查询。图5B示出轮播区的水平滚动,其将注释535完全带入视口并且将注释540部分带入视口内。注释535是评论提及概要的另一个示例。
图6A-图6C示出根据一些实施方式的用于搜索结果600的示例首选和描述注释类型。在图6A中的示例中,用户已经输入查询605“耳机”。查询605的搜索结果600包括结果610和结果620。结果610和结果620均包括以滑动展开界面元素形式的注释。在滑动展开界面中,用户可以选择注释,然后滑动并且向下拖动来展开注释界面。注释615的滑动得到如图6B中所示的展开界面。注释615表示排序靠前的注释类型的示例。排序靠前的注释表示此项目被排序在某个类别的“前X个”项目列表中,例如“热门智能电话”、“热门海滩度假胜地”或“热门父亲节礼物”。注释615表示注释的轻量版本。图6中的注释615'示出可以对应于注释615的完整注释。完整注释615'可以包括轻量版本的注释615中未包括的附加上下文和信息。
展开界面还包括部分显示在视口内注释630和注释635。注释30是提及片段注释类型的示例。注释635是提及概要的示例。这些附加注释是可选的,并且可能不会与注释615'一起显示。附加注释也可以包括在可滚动的轮播区中。图6A的注释625示出了示例描述注释。描述注释包括项目的完整/展开描述。在项目描述未包括在主要搜索结果信息中的情况下,可以使用描述注释。可以将描述注释上下文化(contextualize)以从更长的描述中选择适当的片段。描述注释可以包括点击目标。点击目标可以链接到具有项目的完整描述的文件,例如产品订单页面、酒店预订页面、提供描述的来源的页面等。注释635是轻量描述注释的示例。图6C示出可以对应于注释635的完整描述注释635'的示例。注释635'可以在注释635的滑动或短拖动之后显示。在一些实施方式中,注释635'可以是显示在视口内的唯一注释。在图6C的示例中,所述视口包括带有附加注释640和645的轮播区。
图7A和图7B示出根据一些实施方式的搜索结果700的版本改变注释类型。在图7A中的示例中,用户输入了查询705“iPhone 10”。查询705的搜索结果700包括结果710并且可以包括其他结果。结果710包括注释715。注释715是版本改变注释类型的示例。版本改变注释类型向用户提供该项目已替换/更新为更新版本的指示。版本改变注释可以包括后续版本的名称或其他指示。版本改变注释可以包括更新版本的发布日期。版本改变注释可以包括点击目标。点击目标可以链接到描述替换的文件。点击目标可以发起对项目的更新版本的查询。注释715表示版本改变注释的轻量版本的示例。图7B示出展开的注释界面,例如,由注释715的滑动所产生的。注释715'表示完整的更新版本注释的示例。注释725和730也可以显示在图7B中所示的展开注释界面中。注释725是编辑评级注释的示例。注释730是排序靠前的注释的示例。
图8A-图8C示出根据一些实施方式的搜索结果800的示例多媒体和编辑评级注释类型。在图8A中的示例中,用户输入了查询805“最新款iPhone”。查询805的搜索结果800包括结果810和结果820。结果810包括包括注释815。注释815是新品发布(new release)注释类型的示例。新品发布注释类型可以提供产品为新款的注释,进而给予其更高重要性并且因此而给予其更高的相关性。注释815可以表示轻量注释。注释825是媒体注释的示例。媒体注释是指对项目进行解释、评级,或以其他方式与其相关的视频。在一些实施方式中,媒体注释可以与策展来源(curated source)相关联,例如出售项目的公司或新闻组织。媒体注释可以包括媒体缩略图或标题。媒体注释可以包括点击目标。点击目标可以链接到媒体文件。
图8B是对注释815执行滑动展开而产生的展开注释界面的示例。展开注释界面包括注释8l5',此注释可以是注释8l5的完整版本的示例。新品发布注释可以包括发布日期。新品发布注释可以包括点击目标。点击目标可以是宣布此新品发布的文件(例如网页、新闻稿等)。展开界面还包括注释83O的部分视图。注释830部分地显示在视口内,并且是编辑评级注释的示例。编辑评级注释可以包括来自一个来源的一个评级,或者可以包括来自多个来源的多个评级。在一些实施方式中,来源可以是策展的。如果展开注释界面中显示了多于一个注释,则用户可以滚动这些注释。图8C示出当注释830已完全滚动到视口内时的展开注释界面。如图所示,编辑评级注释可以提供项目的评级以及评级的来源。编辑评级注释可以包括产品评分以及最高评分。编辑评级注释可以包括评分的来源。所述编辑评级注释可以包括点击目标。点击目标可以是评级的来源,例如,具备评级背后的细节的网页。
图9示出根据一些实施方式的搜索结果900的查询上下文注释(query-contextannotation)类型。在图9中的示例中,用户输入了查询905“长滑板”。查询905的搜索结果900包括结果910和结果920。结果910包括注释915。注释915是查询上下文注释类型的示例。查询上下文注释类型可以使用与测量相关的查询术语并且强调满足那些术语的产品属性。在图9的示例中,注释915包括指示板长度以及项目类型的产品属性,这两者均与查询905中的描述“长”相匹配。在一些实施方式中,查询上下文注释可以显示图形分布。所述图形分布可以说明被测属性在整个类别上的分布,并且可以指出项目在分布中落在何处。
实施方式不限于所描述的示例界面、注释、用户交互或可用性。注释可以呈现在其他界面中,并且可以包括未具体公开的其他注释类型。
图10示出根据一些实施方式的用于为搜索结果页面生成动态注释的过程1000的流程图。过程1000可以被搜索服务系统执行,例如图1的系统100。过程1000可以是在浏览会话期间执行的一个过程。过程1000可以响应于从请求者(例如从客户端设备(1005))接收查询而开始。系统可以从被认为响应于查询的主要存储库中获取项目并对其进行排序,或者换言之,获得响应性项目的集合并对其进行排序(1010)。系统可以将响应性项目分配给页面,例如第一页面、第二页面。搜索系统可以为分配给第一页面的每个响应性项目生成搜索结果。搜索系统还可以获得分配给第一页面的响应性项目中的至少一些的注释(1015)。分配给第一页面的响应性项目可能没有建议的内容,例如,如果该项目不与任何预先计算的注释或任何动态生成的注释相关联。注释可以具有注释类型评分(1020)。所述评分由生成注释的注释器生成。可以使用来自外部系统的注释推送所述评分。这样的注释是针对项目而预先计算的。所述评分可以由搜索系统动态生成,例如,使用项目的辅助信息从主要存储库中的信息生成。动态注释仍由注释器评分。在一些实施方式中,注释器提取用于评分的特征,而不是生成评分(1020')。使用注释评分和注释类型对与响应性项目相关联的(多个)注释进行排序(1025)。替代地,使用提取的注释特征和注释类型对与响应性项目相关联的(多个)注释进行排序(1025')。系统使用排序来为响应性项目提供注释中的一个或多个(1030)。在一些实施方式中,如果排序靠前的注释不满足最低评分,则不提供注释。在一些实施方式中,仅提供排序靠前的注释。在一些实施方式中,提供满足最低评分的所有注释。在一些实施方式中,提供所有注释并且排序仅用于确定注释的顺序。过程1000然后结束。
图11示出通用计算机设备1100的示例,所述通用计算机设备可以作为图1中的搜索引擎和/或客户端170运行,可以与本文所描述的技术一起使用。计算机设备1100旨在提供各种示例形式的计算设备,例如膝上型计算机、台式计算机、工作站、个人数字助理、蜂窝电话、智能电话、平板设备、电视、服务器和其他计算设备,包括可穿戴设备。本文中所示出的组件、组件之间的联系和关系以及组件的功能仅作为示例,并不意味着限制本文中所描述和/或声明的本发明的实施方式。
计算设备1100包括处理器1102、存储器1104、存储设备1106,以及通过接口1108连接的扩展端口1110。在一些实施方式中,计算设备100可以包括收发器1146、通信接口1144和GPS(全球定位系统)接收器模块1148,以及经由接口1108连接的其他组件,例如一个或多个相机、触摸传感器、键盘等。设备1100可以通过通信接口1144进行无线通信,其中所述通信接口1144在必要时可以包括数字信号处理电路。组件1102、1104、1106、1108、1110、1140、1144、1146和1148中的每一者可以安装在公共母板上或以其他适当方式安装。
处理器1102可以处理用于在计算设备1100内执行的指令,包括存储在存储器1104或存储设备1106中,以在外部输入/输出设备(例如显示器1116)上显示GUI的图形信息的指令。显示器1116可以是监视器或平面触摸屏显示器。在一些实施方式中,可以视情况将多个处理器和/或多个总线以及多个存储器以及多个类型的存储器结合使用。此外,可以连接多个计算设备1100,每个设备提供必要操作的一部分(例如,作为服务器组、一组刀锋服务器或多处理器系统)。
存储器1104存储计算设备1100内的信息。在一个实施方式内,存储器1104是一个或多个易失性存储器单元。在另一个实施方式内,存储器1104是一个或多个非易失性存储器单元。存储器1104也可以是另一种形式的计算机可读介质,例如磁盘或光盘。在一些实施方式中,存储器1104可以包括通过扩展接口提供的扩展存储器。
存储设备1106能够为计算设备1100提供大容量存储。在一个实施方式中,存储设备1106可以是或包括计算机可读介质,例如软盘设备、硬盘设备、光盘设备或磁带设备、闪存或其他类似的固态存储器设备,或者设备阵列,包括存储区域网络或其他配置中的设备。计算机程序产品可以有形地实施于这些计算机可读介质中。计算机程序产品还可以包括在被执行时执行一种或多种方法(例如上述方法)的指令。计算机或机器可读的介质是存储设备,例如存储器1104、存储设备1106或处理器1102上的存储器。
接口1108可以是管理计算设备1100的带宽密集型操作的高速控制器,或者管理较低带宽密集型操作的低速控制器,或这些控制器的组合。可以提供外部接口1140以实现设备1100与其他设备之间的近区通信。在一些实施方式中,控制器408可以耦合到存储设备1106和扩展端口1114。可以包括各种通信端口(例如,USB、蓝牙、以太网、无线以太网)的扩展端口可以耦合到一个或多个输入/输出设备,例如键盘、指向设备、扫描仪、一个或多个相机,或者例如通过网络适配器而连网的设备,例如交换机或路由器。
计算设备1100可以以多种不同的形式实施,如图所示。例如,其可以被实施成标准服务器1130,或者在一组这种服务器中多次实施。计算设备可以作为机架服务器系统的一部分来实施。此外,计算设备可以实施于诸如膝上型计算机1132、个人计算机1134或平板设备/智能电话1136等计算设备中。整个系统可以由彼此通信的多个计算设备1100组成。其他配置也是可能的。
图11示出通用计算机设备1100的示例,其可以是图1的搜索引擎110,可以与本文所描述的技术一起使用。计算设备1100旨在表示大型数据处理设备的各种示例形式,例如服务器、刀锋服务器、数据中心、大型机和其他大型计算设备。计算设备1100可以是具有多个处理器的分布式系统,可能包括通过一个或多个通信网络互连的网络附加存储节点。此处所示的组件、其连接和关系以及其功能仅意在示例,并不意在限制本文中描述和/或要求保护的本发明的实施方式。
分布式计算系统1100可以包括任何数量的计算设备1180。计算设备1180可以包括通过局域网或广域网、专用光链路、调制解调器、网桥、路由器、交换机、有线或无线网络等进行通信的服务器或机架服务器、大型机等。
在一些实施方式中,每个计算设备可以包括多个机架。例如,计算设备1180a包括多个机架1158a-1158n。每个机架可以包括一个或多个处理器,例如处理器1152a-1152n和1162a-1162n。所述处理器可能包括数据处理器、网络附加存储设备和其他计算机控制设备。在一些实施方式中,一个处理器可以作为主处理器运行并且控制调度和数据分发任务。处理器可以通过一个或多个机架交换机1158互连,并且所述一个或多个机架可以通过交换机1178连接。交换机1178可以处理多个已连接计算设备1100之间的通信。
每个机架可以包括存储器,例如存储器1154和存储器1164,以及存储装置,例如1156和1166。存储设备1156和1166可以提供大容量存储装置并且可以包括易失性或非易失性存储装置,例如网络附加磁盘、软盘、硬盘、光盘、磁带、闪存或其他类似的固态存储设备,或者设备阵列,包括存储区域网络或其他配置中的设备。存储器1156或1166可以在多个处理器、多个机架或多个计算设备之间共享,并且可以包括存储能够被一个或多个处理器执行的指令的计算机可读介质。存储器1154和1164可以包括例如一个或多个易失性存储器单元、一个或多个非易失性存储器单元和/或其他形式的计算机可读介质,例如磁盘或光盘、闪存、高速缓存、随机存取存储器(RAM)、只读存储器(ROM)及其组合。存储器(例如存储器1154)还可以在处理器1152a-1152n之间共享。数据结构(例如索引)可以存储在例如存储器1156和存储器1154之间。计算设备1100可以包括未示出的其他组件,例如控制器、总线、输入/输出设备、通信模块等。
整个系统可以由彼此通信的多个计算设备1100组成。例如,设备1180a可以与设备1180b、1180c和1180d通信,并且这些设备可以统称为搜索引擎110。作为另一示例,图1的搜索引擎110可以包括两个或更多个计算设备1100。一些计算设备在地理上可能彼此接近,而其他计算设备可以在地理上远离。系统1100的布局仅是示例的,并且系统可以采用其他布局或配置。
根据本公开的某些方面,一种方法包括,对于搜索结果页面中的至少一个项目,在引用该项目的注释数据存储中识别第一注释类型的至少一个注释;在引用该项目的注释数据存储中识别第二注释类型的至少一个注释;对所述第一注释类型的注释以及所述第二注释类型的注释进行排序;以及提供排序最高的注释作为搜索结果页面中此项目的搜索结果的一部分。
这些和其他方面可以单独或组合地包括以下内容中的一者或多者。例如,所述第一注释类型可以是依赖于查询的注释。作为另一示例,可以从外部系统接收第一注释类型。作为另一个示例,注释数据存储可以从外部系统以规范化格式接收注释。在一些此等实施方式中,所述规范化格式可以包括项目标识符、有效负载以及用于对不同类型注释进行排序的评分或特征。作为另一示例,第一注释类型可以与项目的用户评论有关。作为另一示例,第一注释可以包括在用于生成第一搜索结果的存储库中不可用的信息。在一些此等实施方式中,所述第一注释可以从远离生成搜索结果页面的系统的系统推送到生成搜索结果页面的系统。作为另一示例,可以训练经机器学习的评分算法来对不同类型注释进行排序,从而执行排序。
根据某些方面,一种系统包括至少一个处理器以及以规范化格式存储注释的离线注释数据存储,每个注释是多种注释类型中的一者,所述规范化格式包括项目标识符。所述系统还可以包括存储指令的存储器,所述指令在被至少一个处理器执行时使系统执行操作。操作可以包括在离线注释数据存储中识别对应于搜索结果页面中的项目的注释;对所识别的注释进行排序,并且至少提供排序最高的注释作为搜索结果页面的一部分。
这些和其他方面可以单独或组合地包括以下内容中的一者或多者。例如,排序最高的注释可以最初显示为轻量注释。作为另一个示例,注释可以与提及该项目的编辑文件相关。作为另一个示例,该项目可以是产品并且至少一个注释涉及该产品的较新版本。作为另一个示例,至少一个注释可以与来自该项目的用户评论的正面内容和负面内容相关。作为另一个示例,操作还可以包括确定为其生成搜索结果页面的查询中的术语是该项目的形容词;识别与该形容词相关的项目的用户评论;并且生成至少一个注释,该注释包括所识别的用户评论中的至少一个。至少一个注释可以包括在排序中。
在另一个方面中,有形计算机可读存储介质上已记录并实施有指令,所述指令在被计算机系统的一个或多个处理器执行时,使所述计算机系统执行任何上述方面或操作。
各种实施方式可以包括实施于一个或多个计算机程序中,所述一个或多个计算机程序可在可编程系统上执行和/或解译,所述可编程系统包括:可以是专用或通用的至少一个可编程处理器,所述至少一个可编程处理器耦合以便从存储系统接收数据和指令,并且向存储系统发送数据和指令;至少一个输入设备;以及至少一个输出设备。
这些计算机程序(也成为程序、软件、软件应用程序或代码)包括用于可编程处理器的机器指令,并且可以以高级程序和/或面向对象的编程语言,以及/或者汇编/机器语言来实施。如本文所用的,术语“机器可读介质”、“计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何非暂态计算机程序产品、装置和/或设备(例如,磁盘、光盘、存储器(包括读存取存储器)、可编程逻辑器件(PLD))。
本文所描述的系统和技术可以实施在包括后端组件(例如,作为数据服务器),或者包括中间件组件(例如,应用服务器),或者包括前端组件(例如,具有图形用户界面或Web浏览器以便用户与本文所描述的系统和技术的实施方式进行交互的客户端计算机),或者此等后端组件、中间件组件或前端组件的任何组合的计算系统中。系统的组件可以通过任何形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和互联网(Internet)。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离,并且通常通过通信网络进行交互。客户端与服务器之间的关系是通过在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序产生的。
本文已经描述了若干实施方式。但是,在不脱离本发明的精神和范围的情况下可以进行各种修改。此外,附图中所描绘的逻辑流程不要求所示特定顺序或顺次顺序才能实现预期结果。此外,可以向所描述的流程中加入其他步骤,或者可以消除其中的某些步骤,并且可以向所描述的系统添加或移除其他组件。相应地,其他实施方式也在随附权利要求书的范围内。
Claims (20)
1.一种用于搜索结果注释的方法,包括:对于搜索结果页面中的项目:
在引用所述项目的注释数据存储中识别第一注释类型的至少一个注释;
在引用所述项目的注释数据存储中识别第二注释类型的至少一个注释;
对所述第一注释类型的注释以及所述第二注释类型的注释进行排序;以及
提供排序最高的注释作为所述搜索结果页面中所述项目的搜索结果的一部分。
2.根据权利要求1所述的方法,其中所述第一注释类型是依赖于查询的注释。
3.根据权利要求1所述的方法,其中所述第一注释类型是从外部系统接收的。
4.根据权利要求1所述的方法,其中所述注释数据存储以规范化格式从外部系统接收注释。
5.根据权利要求4所述的方法,其中所述规范化格式包括项目标识符、有效负载和评分。
6.根据权利要求4所述的方法,其中所述规范化格式包括项目标识符、有效负载和用于对不同类型的注释进行排序的特征。
7.根据权利要求1所述的方法,其中所述第一注释类型与所述项目的用户评论相关。
8.根据权利要求1所述的方法,其中所述第一注释类型的注释包括用于生成搜索结果的存储库中不可用的信息。
9.根据权利要求8所述的方法,其中所述第一注释类型的注释被从远离生成所述搜索结果页面的系统的系统推送到生成所述搜索结果页面的系统。
10.根据权利要求1所述的方法,其中被训练以对不同类型的注释进行排序的经机器学习的评分算法执行所述排序。
11.一种用于搜索结果注释的系统,包括:
至少一个处理器;
离线注释数据存储,其存储规范化格式的注释,每个注释是多个注释类型中的一个,所述规范化格式包括项目标识符;以及
存储器,其存储指令,当由所述至少一个处理器执行所述指令时,使得所述系统:
从所述离线注释数据存储中识别与搜索结果页面中的项目相对应的注释;
对所识别的注释进行排序;以及
提供至少一个排序最高的注释作为所述搜索结果页面的一部分。
12.根据权利要求11所述的系统,其中所述排序最高的注释最初显示为轻量注释。
13.根据权利要求12所述的系统,其中所述轻量注释被配置为响应于来自用户的手势或其他意图显示完整注释。
14.根据权利要求11所述的系统,其中所述项目是产品并且至少一个注释与所述产品的更新的版本相关。
15.根据权利要求11所述的系统,其中所述至少一个注释与来自所述项目的用户评论的正面内容和负面内容相关。
16.根据权利要求11所述的系统,其中所述指令还包括当由所述至少一个处理器执行时使得所述系统执行以下步骤的指令:
确定针对其生成所述搜索结果页面的查询中的术语是所述项目的形容词;
识别与所述形容词相关的项目的用户评论;和
生成包括所识别的用户评论中的至少一个的至少一个注释,
其中至少一个注释包括在所述排序中。
17.根据权利要求11所述的系统,其中,对应于所述项目的至少一个注释与提及所述项目的编辑文件相关。
18.根据权利要求11所述的系统,其中,所述规范化格式包括与所述注释一起从外部系统推送的评分。
19.根据权利要求11所述的系统,其中所述规范化格式包括用于排序的注释特征。
20.一种存储指令的非暂时性计算机可读介质,当由处理器执行所述指令时,使得计算系统执行操作,所述操作包括:
响应于查询识别项目;
生成包括多个项目的搜索结果的搜索结果页面;
识别引用所述多个项目中的项目的至少一个注释,所述注释包括到文件的链接,在所述文件中所述项目被排序在类别中排序靠前的项目列表中;和
在所述搜索结果页面中提供与所述项目的搜索结果相关联的注释。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202062705413P | 2020-06-25 | 2020-06-25 | |
US62/705,413 | 2020-06-25 | ||
US17/303,206 | 2021-05-24 | ||
US17/303,206 US20210406268A1 (en) | 2020-06-25 | 2021-05-24 | Search result annotations |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113486226A true CN113486226A (zh) | 2021-10-08 |
Family
ID=77936111
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110704878.3A Pending CN113486226A (zh) | 2020-06-25 | 2021-06-24 | 用于搜索结果注释的方法和系统 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20210406268A1 (zh) |
CN (1) | CN113486226A (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220414168A1 (en) * | 2021-06-24 | 2022-12-29 | Kyndryl, Inc. | Semantics based search result optimization |
US20230195745A1 (en) * | 2021-12-22 | 2023-06-22 | Microsoft Technology Licensing, Llc | Unified search for dual domains |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080005064A1 (en) * | 2005-06-28 | 2008-01-03 | Yahoo! Inc. | Apparatus and method for content annotation and conditional annotation retrieval in a search context |
US20100153318A1 (en) * | 2008-11-19 | 2010-06-17 | Massachusetts Institute Of Technology | Methods and systems for automatically summarizing semantic properties from documents with freeform textual annotations |
US20100223261A1 (en) * | 2005-09-27 | 2010-09-02 | Devajyoti Sarkar | System for Communication and Collaboration |
US20110035406A1 (en) * | 2009-08-07 | 2011-02-10 | David Petrou | User Interface for Presenting Search Results for Multiple Regions of a Visual Query |
US20110035350A1 (en) * | 2009-08-06 | 2011-02-10 | Yahoo! Inc. | System for Personalized Term Expansion and Recommendation |
CN102298612A (zh) * | 2010-06-25 | 2011-12-28 | 微软公司 | 基于用户社交简档调整搜索结果 |
US20150066646A1 (en) * | 2013-08-27 | 2015-03-05 | Yahoo! Inc. | Spark satellite clusters to hadoop data stores |
US20150112981A1 (en) * | 2009-12-14 | 2015-04-23 | Google Inc. | Entity Review Extraction |
CN105144165A (zh) * | 2013-03-08 | 2015-12-09 | 谷歌公司 | 用于增强搜索结果的社交注释 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7743045B2 (en) * | 2005-08-10 | 2010-06-22 | Google Inc. | Detecting spam related and biased contexts for programmable search engines |
US7941428B2 (en) * | 2007-06-15 | 2011-05-10 | Huston Jan W | Method for enhancing search results |
US8280783B1 (en) * | 2007-09-27 | 2012-10-02 | Amazon Technologies, Inc. | Method and system for providing multi-level text cloud navigation |
US20130097143A1 (en) * | 2011-10-12 | 2013-04-18 | Microsoft Corporation | Presenting aggregately endorsed search results |
US9239865B1 (en) * | 2013-01-18 | 2016-01-19 | Google Inc. | Systems, methods, and computer-readable media for providing recommended entities based on a query-specific subset of a user's social graph |
US20170249668A1 (en) * | 2015-07-15 | 2017-08-31 | Google Inc. | Systems and methods for automatically inserting annotations in online advertisements |
-
2021
- 2021-05-24 US US17/303,206 patent/US20210406268A1/en active Pending
- 2021-06-24 CN CN202110704878.3A patent/CN113486226A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080005064A1 (en) * | 2005-06-28 | 2008-01-03 | Yahoo! Inc. | Apparatus and method for content annotation and conditional annotation retrieval in a search context |
US20100223261A1 (en) * | 2005-09-27 | 2010-09-02 | Devajyoti Sarkar | System for Communication and Collaboration |
US20100153318A1 (en) * | 2008-11-19 | 2010-06-17 | Massachusetts Institute Of Technology | Methods and systems for automatically summarizing semantic properties from documents with freeform textual annotations |
US20110035350A1 (en) * | 2009-08-06 | 2011-02-10 | Yahoo! Inc. | System for Personalized Term Expansion and Recommendation |
US20110035406A1 (en) * | 2009-08-07 | 2011-02-10 | David Petrou | User Interface for Presenting Search Results for Multiple Regions of a Visual Query |
US20150112981A1 (en) * | 2009-12-14 | 2015-04-23 | Google Inc. | Entity Review Extraction |
CN102298612A (zh) * | 2010-06-25 | 2011-12-28 | 微软公司 | 基于用户社交简档调整搜索结果 |
CN105144165A (zh) * | 2013-03-08 | 2015-12-09 | 谷歌公司 | 用于增强搜索结果的社交注释 |
US20150066646A1 (en) * | 2013-08-27 | 2015-03-05 | Yahoo! Inc. | Spark satellite clusters to hadoop data stores |
Non-Patent Citations (2)
Title |
---|
ALBERTO BARRÓN-CEDEÑO 等: "On the Use of an Intermediate Class in Boolean Crowdsourced Relevance Annotations for Learning to Rank Comments", 《SIGIR \'17: PROCEEDINGS OF THE 40TH INTERNATIONAL ACM SIGIR CONFERENCE ON RESEARCH AND DEVELOPMENT IN INFORMATION RETRIEVAL》, 7 August 2017 (2017-08-07), pages 1209, XP058451298, DOI: 10.1145/3077136.3080763 * |
吴星和: "图像情感语义注释与检索研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 01, 15 January 2014 (2014-01-15), pages 138 - 1749 * |
Also Published As
Publication number | Publication date |
---|---|
US20210406268A1 (en) | 2021-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10261954B2 (en) | Optimizing search result snippet selection | |
JP6266080B2 (ja) | 類似性スコアに基づきコンテンツアイテムと画像とのマッチングを評価する方法、およびシステム | |
US10289700B2 (en) | Method for dynamically matching images with content items based on keywords in response to search queries | |
US10204121B1 (en) | System and method for providing query recommendations based on search activity of a user base | |
TWI482037B (zh) | 搜尋建議叢集與呈現 | |
JP5661200B2 (ja) | 検索情報の提供 | |
US8255819B2 (en) | Web notebook tools | |
US20140280113A1 (en) | Context based systems and methods for presenting media file annotation recommendations | |
US9268880B2 (en) | Using recent media consumption to select query suggestions | |
US20170242875A1 (en) | Method for matching images with content based on representations of keywords associated with the content in response to a search query | |
US20130191414A1 (en) | Method and apparatus for performing a data search on multiple user devices | |
JP2012501499A (ja) | バーティカル提案により検索要求を支援するためのシステム及び方法 | |
US8006197B1 (en) | Method and apparatus for output of search results | |
US20190205465A1 (en) | Determining document snippets for search results based on implicit user interactions | |
US10275472B2 (en) | Method for categorizing images to be associated with content items based on keywords of search queries | |
US10262060B1 (en) | Systems and methods for facilitating searching, labeling, and/or filtering of digital media items | |
CN113486226A (zh) | 用于搜索结果注释的方法和系统 | |
US11055335B2 (en) | Contextual based image search results | |
EP2354975B1 (en) | Automatic association of informational entities | |
JP2009500764A (ja) | 情報価値を反映した情報検索方法及びその装置 | |
US8140525B2 (en) | Information processing apparatus, information processing method and computer readable information recording medium | |
TWI507902B (zh) | A retrieval system, a retrieval condition setting device, a control method of a search condition setting device, a computer program product, and an information memory medium | |
US20230350955A1 (en) | Comparative search within user-generated content | |
US10546029B2 (en) | Method and system of recursive search process of selectable web-page elements of composite web page elements with an annotating proxy server | |
AU2014101081A4 (en) | System, method and graphical user interface for facilitating a search |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |