CN113574522A - 搜索中的富体验的选择性呈现 - Google Patents
搜索中的富体验的选择性呈现 Download PDFInfo
- Publication number
- CN113574522A CN113574522A CN202080020946.8A CN202080020946A CN113574522A CN 113574522 A CN113574522 A CN 113574522A CN 202080020946 A CN202080020946 A CN 202080020946A CN 113574522 A CN113574522 A CN 113574522A
- Authority
- CN
- China
- Prior art keywords
- rich segment
- unique identity
- search
- search results
- experience
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 93
- 230000004044 response Effects 0.000 claims abstract description 21
- 238000001914 filtration Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 description 23
- 238000013473 artificial intelligence Methods 0.000 description 18
- 230000006399 behavior Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 14
- 238000012549 training Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 238000003058 natural language processing Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000002787 reinforcement Effects 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000000386 athletic effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 241000238558 Eucarida Species 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010937 topological data analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/908—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9538—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
- G06F16/9574—Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Library & Information Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Algebra (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
提供了一种向不同的搜索者选择性地提供不同类型的搜索引擎结果的方法。针对多个唯一身份中的每个身份的浏览历史被记录。响应于针对唯一身份的浏览历史满足富片段体验的相关性标准,唯一身份与富片段体验相关联。富片段体验被配置为在搜索结果网页上与其他搜索结果一起呈现精选片段特定信息。响应于从先前与富片段体验相关联的唯一身份接收搜索查询,富片段体验被呈现在搜索结果网页上。响应于从非先前与富片段体验相关联的不同的唯一身份接收搜索查询,没有富片段体验的其他搜索结果被呈现搜索结果网页上。
Description
背景技术
互联网搜索引擎和其他搜索提供方可以被设计为响应于搜索查询而提供许多不同的搜索结果。互联网搜索引擎可以被配置为用不同类型的搜索结果填充搜索结果网页。例如,传统的搜索结果网页可以包括针对相关网站的统一资源定位符(URL)的列表。这种URL本身不提供与搜索相关的信息,而仅提供指向可能包含相关信息的网页的链接。一些搜索引擎还可以被配置为与其他URL一起呈现富片段体验(rich segment experience),该富片段体验本身是与搜索相关的有用信息的概要,而不仅是指向其他信息源的链接。富片段体验可以包括与搜索查询相关的信息,该信息以相对于其他常规URL搜索结果的视觉上有区别的方式被精选和呈现。富片段体验可以使用户更容易快速消化与搜索查询相关的相关信息,而无需探索其他URL。
发明内容
提供本发明内容以简化形式介绍在下面的具体实施方式中进一步描述的概念的选择。本发明内容无意确定要求保护的主题的关键特征或基本特征,也不旨在用于限制要求保护的主题的范围。此外,要求保护的主题不限于解决在本公开的任何部分中指出的任何或所有缺点的实现。
提供了一种向不同的搜索者选择性地提供不同类型的搜索引擎结果的方法。针对多个唯一身份中的每个身份的浏览历史被记录。响应于针对唯一身份的浏览历史满足富片段体验的相关性标准,唯一身份与富片段体验相关联。富片段体验被配置为将精选的片段特定信息与其他搜索结果一起呈现在搜索结果网页上。响应于从先前与富片段体验相关联的唯一身份接收搜索查询,在搜索结果网页上呈现富片段体验。响应于从非先前与富片段体验相关联的不同的唯一身份接收搜索查询,在搜索结果网页上呈现没有富片段体验的其他搜索结果。
附图说明
图1示意性地示出了示例搜索引擎计算系统。
图2是描绘了用于记录针对唯一身份的浏览历史信息的示例方法的各方面的流程图。
图3是描绘了用于向不同的搜索者选择性地提供不同类型的搜索引擎结果的示例方法的各方面的流程图。
图4A-图4F示出了具有不同的搜索结果的示例搜索结果网页,这些搜索结果基于不同的唯一身份的浏览历史选择性地包括富片段体验。
图5示意性地示出了示例计算系统。
具体实施方式
在某些情况下,不同的搜索者可以执行相同的搜索查询,但是具有不同的意图或对搜索查询的不同解释。在本文公开的搜索策略之前,不同的搜索者可能被提供包括被搜索引擎相关到搜索查询的相同富片段体验的搜索结果。例如,不同的搜索者可以向搜索引擎提供搜索查询“Rams”。第一搜索者可能正在研究洛杉矶Rams橄榄球队。第二搜索者可能正在研究Dodge牌Ram卡车。第三搜索者可能正在研究雄性的羊。取决于搜索引擎与搜索查询相关的特定富片段体验,如果向所有搜索者提供相同的富片段体验,则不同的搜索者中的至少一些搜索者将不会发现搜索结果有用。
因此,本公开涉及一种方法,其用于确定搜索者对特定体验/片段的兴趣,并且使用这些兴趣作为决定是否响应于搜索查询呈现特定富片段体验的因素。通过基于搜索者的兴趣,选择性地提供富片段体验,可以预判搜索者的意图并且可以提供针对特定搜索者量身定制的更有用的搜索结果。
图1示出了使得不同类型的搜索引擎结果能够被提供给不同的搜索者的示例计算架构。搜索引擎计算系统100可以被配置为向多个客户端计算机102(例如,102A、102B、102C)提供搜索功能。例如,搜索引擎计算系统100可以使得客户端计算机102能够使用任何合适的查询(例如,自然语言关键词、正则表达式模式、用于组成多个查询的布尔运算符等)来执行任何合适的搜索域(例如,(多个)网站、(多个)百科全书、(多个)数据库、社交网络平台、财务/医疗/科学记录等)上的搜索,。搜索引擎计算系统100可以经由诸如互联网的计算机网络104被通信地耦合到多个客户端计算机102中的每个客户端计算机。搜索引擎计算系统100可以被配置为向任何合适数目的不同客户端计算机102提供搜索功能。
多个客户端计算机102可以是任何合适类型的计算设备,例如,移动电话、个人计算机、智能助理扬声器设备等。多个客户端计算机102中的一个或多个客户端计算机可选地可以包括被配置为呈现web浏览器106的显示子系统。web浏览器106可以被配置为呈现一个或多个页面,例如,被配置为允许用户输入搜索查询和/或查看搜索结果的搜索页面,其示例在下面更详细描述的图4A-图4F中被示出。备选地或附加地,多个客户端计算机102中的一个或多个客户端计算机可以允许用户以任何其他合适的方式输入搜索查询和/或接收搜索结果,例如,多个客户端计算机102中的一个或多个客户端计算机可以包括麦克风和扬声器,并且可以被配置为经由在麦克风处被接收的自然语言语音发声来接收查询,并且经由在扬声器处的语音音频输出来输出搜索结果。尽管可以按照图形web浏览器106来描述本公开,但是可以在任何其他搜索界面(例如,基于语音的自然语言搜索界面)的上下文中实现本文公开的方法和过程。
不同的客户端计算机102可以与不同的唯一身份108相关联。唯一身份108可以采用任何合适的形式。在一些示例中,唯一身份108可以是跨不同的计算设备的持久的用户身份。例如,用户可以在台式计算机、平板电脑和智能电话上执行搜索查询,这些搜索查询都与相同的唯一身份相关联,并且所有这些搜索查询都可以归于相同的唯一身份。在一些这种示例中,唯一身份可以采用被匿名链接到用户账户的匿名标识符(ANID)的形式。在其他示例中,唯一身份108可以与特定客户端计算机相关联。例如,共享相同的客户端计算机102的不同用户的搜索行为和/或浏览历史可以经由与客户端计算机102相关联的相同的唯一身份108而被追踪。在一些这样的示例中,唯一身份可以采用客户端计算设备标识符(客户端ID)的形式。
在所描绘的示例中,客户端计算机102A和客户端计算机102B与唯一身份A相关联,使得在客户端计算机102A和客户端计算机102B中的每个客户端计算机上追踪的搜索行为和浏览历史归于唯一身份A。例如,客户端计算机102A和客户端计算机102B两者都可以与相同的用户相关联。此外,客户端计算机102C与唯一身份B相关联,使得在客户端计算机102C上追踪的搜索行为和浏览历史归于与唯一身份A不同的唯一身份B。
搜索引擎计算系统100被配置为响应于从客户端计算机102接收到搜索查询而返回在搜索结果网页上的一个或多个搜索结果,以用于在网络浏览器106中呈现。搜索引擎计算系统100可以被配置为服务于具有用户输入的文字文本形式的“原始”查询。备选地或附加地,搜索引擎计算系统100可以被配置为服务于具有查询内容的计算机可读描述形式的“规范化”查询,例如,通过处理指示查询意图的计算机可读描述(查询意图表示查询所指示的用户的问题、目标和/或任务),通过处理查询中的一个或多个实体,和/或通过处理查询的句法结构(例如,针对查询的解析树)。查询规范化可以由任何合适的(多个)计算机设备执行,例如,由客户端计算机102和/或搜索引擎计算系统100。规范化查询可以包括查询的相关信息内容(例如,相关意图/实体),同时限制查询之间的可变性的量(例如,对相同的问题重新表述的不同原始查询可以被规范化为相同的规范化查询)。
搜索结果可以包括从不同源检索的不同类型的搜索结果。搜索引擎计算系统100可以被配置为从任何合适的域返回结果,诸如互联网或其他域上的不同网站。搜索引擎计算系统100可以基于从一个或多个其他计算机接收的数据返回搜索结果。例如,搜索引擎计算系统100可以与搜索结果提供方110协作以向搜索结果提供方110发送搜索查询,并且接收针对搜索查询的搜索结果,搜索结果可以包括如针对所期望的搜索域的相关网站、文档等。搜索结果提供方110可以被配置为例如通过在数据库中搜索、编索引/抓取网站或文档等,以任何合适的方式确定查询的相关搜索结果。
可以在搜索结果网页上呈现的搜索结果条目的非限制性示例可以包括非精选的搜索结果,诸如相关网站的URL列表。这种URL本身不提供与搜索相关的信息,而仅提供指向可能具有相关信息的网页的链接。备选地或除非精选的搜索结果之外,搜索结果网页可以选择性地包括富片段体验132。每个富片段体验132可以呈现与搜索查询相关的有用信息的概要,而不仅是到其他信息源的链接。与URL列表不同,富片段体验被精选以提供足够的信息,使得用户可以无需深入探索搜索结果页面,这与单击URL以导航到第三方网站不同。
富片段体验可以包括与搜索查询相关的信息,该信息以相对于其他非精选的URL搜索结果的视觉上有区别的方式被精选和呈现。在一些示例中,富片段体验132可以包括图形、图像、动画和/或视频。富片段体验132可以具有将注意力吸引到富片段体验的视觉特性。例如,富片段体验132可以显著地被定位在搜索结果网页上的其他非精选的搜索结果之上。作为另一示例,富片段体验132可以被定位在搜索结果网页的侧面板上。在一些示例中,富片段体验132可以与其他非精选的搜索结果不同地被格式化。例如,富片段体验132可以被包含在框内或者可以通过某些形式的边界与其他搜索结果分隔。
搜索引擎计算系统100可以被配置为在体验数据库130中维护多个富片段体验132。每个不同的富片段体验132可以涉及不同的话题、主题、学科或其他类型的信息。体验数据库130可以被配置为存储任何合适数目的不同的富片段体验132。
搜索引擎计算系统100可以包括排名器112,排名器被配置为对每个搜索结果条目相对于搜索查询的相关性进行排名,无论是富片段体验还是非精选的搜索结果,诸如网站的URL。排名器112可以为不同的搜索结果条目分配不同的排名,并且可以基于排名在搜索结果网页上呈现不同的搜索结果条目。排名器112可以被配置为根据任何合适的排名技术对不同的搜索结果条目进行排名。在一些实现中,排名器112可以被配置为将富片段体验132与其他搜索结果分开来进行排名。
在一个示例中,排名器112可以被配置为基于触发算法140在搜索结果网页上选择性地呈现不同的富片段体验132。排名器112可以使用触发算法140来确定被存储在体验数据库130中的不同的富片段体验132与特定搜索查询的相关性。触发算法140可以包括用于触发富片段体验132的呈现的一个或多个阈值。每个富片段体验132可以向排名器112提供基于搜索查询而确定的置信度得分134。
置信度得分可以以任何合适的方式生成,例如,使用最新技术和/或未来机器学习(ML)、人工智能(AI)和/或自然语言处理(NLP)技术的任何合适组合。例如,置信度得分可以由AI、ML和/或NLP模型基于输入数据生成,输入数据包括搜索查询、针对用户的个性化数据和/或要被提供给搜索查询的候选富片段体验相关的数据的任何合适组合。在一些示例中,模型可以被训练以生成与相关富片段经验的“真实数据”示例相比的关于分类任务的置信度得分,例如,用于分类相关性、预测用户满意度和/或正确生成相关富片段体验。例如,模型可以被给予输入数据并且被配置为输出相关性得分、用户满意度得分和/或选择富片段体验。可以根据损失函数(例如,测量评分和/或选择的准确度的损失函数)来评估模型的输出。该模型可以被配置为输出分类任务的一个或多个置信度值(例如,关于用户满意度和/或相关性的不同分类结果的置信度值、不同候选富片段体验的相关性的置信度值等)。类似地,替代地或附加地,除了使用关于分类任务的损失函数之外,还可以经由关于强化信号的强化学习来训练模型,例如,关于用户满意度或用户提供的关于选择的富片段的相关性的反馈。在任何一种情况下,无论是使用损失函数还是强化学习,系统都可以随着时间的推移进行调整,通过调整系统参数来“惩罚”不正确的行为,以便在给定类似输入的情况下,未来不太可能发生错误的行为,并且“通过调整系统参数来奖励”正确的动作,以便将来更有可能做出正确的动作。损失函数和/或强化可以被配置为与置信度值成比例地更重地奖励和/或惩罚答案。因此,可以基于损失函数来调整置信度值,例如以惩罚有置信度但不正确的答案,和/或奖励有置信度的正确答案。因此,系统可以被训练为在可能是正确的时候发出相对高的置信度值,并且在不能有把握地预测正确答案时发出相对低的置信度值。
在一些示例中,不同的富片段体验可以使用不同的评分技术来确定置信度得分。排名器112可以被配置为将置信度得分134与阈值进行比较,并且如果置信度得分134大于阈值,则可以呈现富片段体验132。另一方面,如果置信度得分小于阈值,则富片段体验132的呈现可以被抑制。
在一些实现中,排名器112可选地可以被配置为基于置信度得分134在搜索结果网页上定位富片段体验。例如,具有较高置信度得分的富片段可以被更显著地放置在搜索结果页面上(例如,在其他搜索结果上方的页面顶部)。作为另一示例,具有刚好足以超过呈现富片段体验的阈值的中等置信度得分的富片段可以被放置在搜索结果网页上不那么显著的网页(例如,在页面下方或侧面)。
此外,在触发多个富片段体验132的一些示例中,排名器112可以被配置为选择具有最高置信度得分134的被触发的富片段体验以用于呈现(或更显著的呈现)。在一些这样的示例中,可以在搜索结果网页上呈现多个富片段体验132。此外,在一些示例中,搜索结果网页的不同部分可以具有不同的优先级,使得具有最高置信度得分的富片段体验可以被定位在搜索结果网页上的最高优先级位置(例如,在页面顶部)。排名器112可以遍历列表,以基于置信度得分将不同的富片段体验定位在搜索结果网页上的不同优先级位置处。可以基于富片段体验的置信度将富片段体验定位在搜索结果网页上的任何合适位置。
如上所述,搜索者的兴趣可以被用作决定是否响应于搜索查询来显示特定富片段体验的因素。在一些示例中,被触发算法140用来确定是否要呈现富片段体验的阈值可以取决于搜索者先前是否已经对富片段表现出兴趣并且已经与该富片段体验相关联。在一些这样的示例中,如果提供的搜索查询的唯一身份108与富片段体验相关联,则排名器112可以被配置为使用松弛触发阈值。此外,如果唯一身份108与富片段体验不相关联,则排名器112可以被配置为使用大于松弛触发阈值的严格触发阈值。例如,由于“忍者(Ninja)”的搜索查询相当广泛,触发“电子竞技”富片段体验的非个性化的严格触发阈值可能是0.8或80%。但是,如果提供搜索查询的唯一身份先前与“电子竞技(eSPorts)”富片段体验相关联,则0.6或60%的松弛触发阈值可能会触发“电子竞技”富片段体验。对于任何合适的富片段体验,严格触发阈值和松弛触发阈值可以被设置为任何合适的阈值。在一些示例中,可以基于搜索查询来确定触发阈值。例如,较宽的搜索查询可以具有较低的阈值,而较窄的搜索查询可以具有较高的阈值。
附加地或备选地,在一些示例中,可以基于唯一身份108是否与富片段体验132相关联来增加或减少由富片段体验132提供的置信度得分134。例如,可以基于与富片段体验相关联的唯一身份来增加富片段体验的置信度得分。通过基于搜索者对富片段体验的兴趣/关联来使用这些不同的阈值和/或变化的置信度得分,相对于其他搜索者之前没有表现出兴趣的富片段体验,可以更可能触发富片段体验以在搜索结果网页上呈现。
富片段体验132可以基于相关性标准136与一个或多个唯一身份138相关联。在一些示例中,不同的富片段体验132可以具有不同的相关性标准136。富片段体验132可以使用任何合适的相关性标准136来确定唯一身份108是否已经表现出对富片段体验132感兴趣并且因此应该与富片段体验132相关联。例如,相关性标准136可以基于自然语言处理、机器学习、人工智能、数据挖掘,根据直接一对一匹配、“模糊”匹配(例如,与至少阈值相似度匹配),和/或概率匹配。当唯一身份108满足富片段体验132的相关性标准136时,唯一身份108可以与体验数据库130中的富片段体验132相关联。作为该示例的自然扩展,可以针对每个富片段体验132形成一个聚类或一组关联的唯一身份138,并且与富片段体验132一起被存储在体验数据库130中。
在一个非限制性示例中,可以根据描述性关键词标签集来定义每个富片段体验132。此外,每个唯一身份108可以具有描述性关键词标签集,关键词标签集与基于先前搜索行为和/或浏览历史126的唯一身份相关联。每个富片段体验132可以将其关键词标签集与每个唯一身份的关键词标签进行比较。当富片段体验132的关键词标签集和与唯一身份108相关联的关键词标签匹配(或在至少阈值相似度内匹配)时,富片段体验132的相关性标准136可以被满足并且唯一身份108可以与体验数据库130中的富片段经验132相关联。
搜索引擎计算系统100可以包括搜索行为/浏览历史记录流水线114,其可以跟踪每个唯一身份108的搜索行为/浏览历史以促进确定唯一身份和富片段体验之间的相关性。记录流水线114可以包括唯一身份提取器116,身份提取器被配置为识别唯一身份108,该唯一身份108将搜索查询从客户端计算机102提供给搜索引擎计算系统100。记录流水线114可以包括被配置为从搜索查询中提取关键词的搜索查询标签器118。搜索查询标签器118可以对搜索查询执行自然语言处理(NLP)技术,例如,可以使用词性(POS)标签器从搜索查询得到关键词标签。
记录流水线114可以包括被配置为从搜索行为/浏览历史得到关键词标签的搜索结果标签器120。特别地,搜索结果标签器120可以被配置为跟踪从搜索结果网页中选择了哪些搜索结果(例如,标识哪些URL被点击)。此外,搜索结果标签器120可以被配置为对选择的搜索结果执行NLP技术。例如,可以从URL中提取文本片断,并且可以使用POS标签器从文本片断中得到关键词标签。搜索结果标签器120可以被配置为从呈现在搜索结果网页上的富片段体验中得到关键词。搜索结果标签器120可以被配置为从诸如新闻搜索结果、图像搜索结果、视频搜索结果、购物搜索结果、食谱搜索结果等其他粒度搜索垂直的搜索结果中得到关键词。
记录流水线114可选地可以包括搜索结果过滤器122,搜索结果过滤器可以被配置为去除被用于生成唯一身份108的关键词标签的指定搜索结果。在一些实现中,搜索结果过滤器122可以被配置为过滤掉被认为是非积极的(例如,导致放弃)的选定搜索结果,以免被用于针对唯一身份生成关键词标签。例如,搜索结果过滤器122可以被配置为过滤掉停留时间小于阈值时间的选定搜索结果。作为示例,搜索者可以点击使网站在网络浏览器中呈现的URL,然后搜索者可以快速导航回到搜索结果网页以选择不同的搜索结果。在这种情况下,搜索结果过滤器122可以过滤掉选择的搜索结果。在一些示例中,搜索结果过滤器122可以被配置为过滤掉可能被认为是隐私或不需要的(由搜索者或计算系统指定的)其他指定的搜索结果。作为示例,搜索结果过滤器122可以被配置为过滤掉与成人内容相关的搜索结果。作为另一示例,搜索结果过滤器122可以被配置为过滤掉与隐私信息(例如,医疗信息)相关的搜索结果。
由记录流水线114针对每个唯一身份108追踪的关键词标签和其他搜索行为/浏览历史信息126可以被保持在身份数据库124中。身份数据库124可以被配置为存储任何合适数目的唯一身份108和相关联的浏览历史126。身份数据库124可以存储与唯一身份108相关的任何合适信息。在一些示例中,每个唯一身份108可以与基于身份数据库124中的搜索行为/浏览历史的、针对唯一身份108聚合的不同的关键词标签集相关联。
如上所讨论的,与每个富片段体验132相关联的关键词标签集可以和与每个唯一身份108相关联的关键词标签进行比较,以形成对不同富片段体验132感兴趣的唯一身份138的不同聚类。每个唯一身份聚类138可以与体验数据库130中的富片段体验相关联。备选地或附加地,不同的富片段体验聚类128可以与身份数据库124中的每个唯一身份108相关联。在任一情况下,相关联的信息可以被提供给排名器112,并且排名器112可以调整触发算法140——例如,通过使用松弛/严格的触发阈值和/或基于这样的信息调整置信度得分。通过以这种方式调整触发算法140,相对于搜索者之前没有表达过兴趣的其他富片段体验,搜索者之前表达过兴趣的富片段体验可以更有可能被呈现在搜索结果网页上。这样,搜索结果更有可能是有用的并且符合搜索者的期望。
图2描绘了用于记录针对唯一身份的浏览历史信息的示例方法200的各方面。方法200可以由任何合适的计算机系统执行,例如,由搜索引擎计算系统100和/或客户端计算机102执行。例如,搜索引擎计算系统100可以实例化记录流水线114以执行方法200。
在202处,方法200包括从客户端计算机接收搜索查询。在204处,方法202包括标识提供搜索查询的唯一身份。在一些示例中,唯一身份可以是与搜索者相关联并且可以跨多个不同的客户端计算机被使用的ANID。在一些示例中,唯一身份可以是与特定客户端计算机相关联的客户端ID。
在206处,方法200包括生成从搜索查询得到的关键词标签。这样的关键词标签可以被包括在与唯一身份相关联的、表征该唯一身份的兴趣的关键词标签集中。
在208处,方法200包括基于在客户端计算机的网络浏览器中呈现的搜索结果网页上的搜索查询来提供搜索结果。
在210处,方法200包括生成从搜索结果得到的关键词标签。在一些实现中,在212处,方法可选地可以包括生成从选择的搜索结果得到的关键词标签。作为示例,关键词标签可以从被包括在选择的URL中的文本片断中得到。作为另一示例,关键词标签可以从关于从搜索结果网页中选择的网站的信息中得到。在一些实现中,在214处,方法200可选地可以包括生成从搜索结果网页上呈现的富片段体验得到的关键词标签。在一些实现中,在216处,方法200可选地可以包括生成从其他垂直搜索结果(例如,图像搜索、视频搜索、人物搜索、食谱搜索)得到的关键词标签。这样的关键词标签可以被包括在与表征唯一身份的兴趣的唯一身份相关联的关键词标签集中。
在218处,方法200可选地可以包括过滤指定的搜索结果以免被用于生成关键词标签。作为示例,被认为是非积极的(例如,导致放弃)的选择的搜索结果可以被过滤掉,以不被用于针对唯一身份生成关键词标签。其他非限制性示例包括过滤掉与成人内容和隐私信息相关的搜索结果。
在220处,方法200包括基于相关性标准将唯一身份与一个或多个富片段体验相关联。作为示例,如果与富片段体验相关联的关键词标签集和与唯一身份相关联的关键词标签至少部分地匹配,则相关性标准被满足并且唯一身份与富片段体验相关联。
可以针对多个唯一身份中的每个唯一身份来执行方法200以确定每个唯一身份的兴趣以及与每个唯一身份相关联的富片段体验。这种信息可以被用于向不同的搜索者提供不同类型的搜索引擎结果,如本文所讨论的。
图3描绘了用于向不同搜索者选择性地提供不同类型的搜索引擎结果的示例方法300的各方面。方法300可以由任何合适的计算机系统执行,例如,由搜索引擎计算系统100和/或客户端计算机102执行。
在302处,方法300包括从唯一身份接收搜索查询。方法300可以针对多个富片段体验中的每个富片段体验并行地执行一系列方法步骤,以确定是否应该基于搜索查询在搜索结果网页上呈现富片段体验。针对每个富片段体验,在304处,方法300包括确定唯一身份是否与富片段体验相关联。如果唯一身份与富片段体验相关联,则方法300移动到306。否则,唯一身份不与富片段体验相关联,并且方法300移动到308。
在306处,方法300包括确定富片段体验是否大于松弛触发阈值。例如,富片段体验可以基于搜索查询生成置信度得分并且可以将置信度得分与松弛触发阈值进行比较。如果富片段体验大于松弛触发阈值,则方法300移动到312。否则,方法300移动到310。
在308处,方法300包括确定富片段体验是否大于严格触发阈值,该严格触发阈值大于松弛触发阈值。例如,富片段体验可以基于搜索查询生成置信度得分并且可以将置信度得分与严格触发阈值进行比较。如果富片段体验大于严格触发阈值,则方法300移动到312。否则,方法300移动到310。
在310处,方法300包括在搜索结果网页上呈现其他搜索结果而不呈现富片段体验。例如,其他搜索结果可以包括到相关网站和/或不同的、更相关的富片段体验的URL。
在312处,方法300包括在搜索结果网页上呈现富片段体验以及其他搜索结果。在一些示例中,富片段体验可以可选地被呈现在搜索结果网页上,而没有任何非精选的搜索结果(例如,URL链接)或任何其他搜索结果。
在一些实现中,在314处,方法300可选地可以包括基于富片段体验的置信度得分将富片段体验定位在搜索结果网页上。例如,富片段体验的置信度得分越高,富片段体验在搜索结果网页上的位置就越高。
可以针对多个富片段体验中的每个富片段体验重复方法步骤304至步骤314,以确定每个富片段体验是否要被呈现在搜索结果网页上。
图4A至图4F示出了具有不同搜索结果的示例搜索结果网页,这些搜索结果基于不同唯一身份的搜索行为/浏览历史而选择性地包括富片段体验。特别地,针对由唯一身份A和唯一身份B执行的相同搜索查询的搜索结果被示出。唯一身份A对收藏卡牌游戏万智牌(Magic the Gathering)感兴趣,这是基于针对唯一身份A的先前的搜索行为/浏览历史而被确定的。唯一身份B对奥兰多魔术篮球队(Orlando Magic basketball team)感兴趣,这是基于针对唯一身份B的先前的搜索行为/浏览历史而被确定的。
参考图4A,搜索结果网页400包括由唯一身份A执行的对“MAGIC THE GATHERING”的搜索查询402。搜索查询402可以被提供作为触发算法的输入。多个不同的富片段体验中的每个富片段体验可以基于搜索查询402确定置信度得分。触发算法可以被配置为将多个置信度得分与不同的触发阈值进行比较。特别地,与唯一身份A相关联的富片段体验的置信度得分可以与松弛触发阈值进行比较,并且与唯一身份A不相关联的富片段体验的置信度得分可以与严格触发阈值进行比较。
“MAGIC:THE GATHERING”的富片段体验404与唯一身份A相关联,因为唯一身份A对这种类型的收藏卡牌游戏体验感兴趣。因此,将富片段体验404的置信度得分与松弛触发阈值进行比较。富片段体验404的置信度得分超过了松弛触发阈值,这触发了富片段体验404被呈现在针对唯一身份A的搜索结果网页400上。
富片段体验404包括不同卡牌的图像以及与游戏规则、关于游戏的文章、玩游戏的比赛、待售卡牌和下载游戏的数字版本相关的其他精选的信息。该精选的信息可以从不同网站被检索并且呈现在富片段体验404中。附加地,其他非精选的搜索结果406基于由唯一身份A执行的搜索查询402被呈现在搜索结果网页400上。其他非精选搜索结果406包括到不同相关网站的URL。在一些示例中,其他非精选的搜索结果406可以针对唯一身份A被个性化。在其他示例中,其他非精选的搜索结果406可以是非个性化的,使得相同的搜索结果基于搜索查询402被呈现给不同的唯一身份。
此外,“ORLANDO MAGIC BASKETBALL TEAM”(图4D中所示的)的不同的富片段体验412与唯一身份A不相关,因为唯一身份A之前没有表现出对这个篮球队的兴趣(例如,经由先前的搜索和/或浏览活动)。因此,将富片段体验412的置信度得分与严格触发阈值进行比较。富片段体验412的置信度得分不超过严格触发阈值,因此不会基于搜索查询402被呈现在唯一身份A的搜索结果网页400上。
在图4B中,搜索结果网页400包括由图4A中的唯一身份A执行的针对“MAGIC THEGATHERING”的相同的搜索查询402,但替代地由唯一身份B执行。“MAGIC:THE GATHERING”的富片段体验404与唯一身份B不相关,因为唯一身份B之前没有表现出对这种类型的收藏卡牌游戏体验的兴趣(例如,经由先前的搜索和/或浏览活动)。因此,将富片段体验404的置信度得分与严格触发阈值进行比较。富片段体验404的置信度得分超过了严格触发阈值,这触发了富片段体验404被呈现在针对唯一身份B搜索结果网页400上。此外,基于由唯一身份B执行的搜索查询402,在搜索结果网页400上呈现其他非精选的搜索结果408。
此外,针对“ORLANDO MAGIC BASKETBALL TEAM”的富片段体验412(如图4D所示的)与唯一身份B相关联,因为唯一身份B对这个篮球队感兴趣。因此,将富片段体验412的置信度得分与松弛触发阈值进行比较。富片段体验412的置信度得分不超过松弛触发阈值,因此不会基于搜索查询402被呈现在针对唯一身份B的搜索结果网页400上。
注意,图4B示出了,即使唯一身份先前与“ORLANDO MAGIC BASKETBALL TEAM”的富片段体验412相关联,如果搜索查询对于另一富片段体验足够特定,则唯一身份可以不被提供该富片段体验(例如,富片段体验404)。进一步注意,图4A和图4B共同示出了,如果富片段体验对于该搜索查询足够特定,则可以向输入相同搜索查询的、具有不同兴趣的不同的唯一身份提供相同的富片段体验。
在图4C中,搜索结果网页400包括由唯一身份A执行的对“MAGIC ORLANDO”的搜索查询408。将“MAGIC:THE GATHERING”的富片段体验404的置信度得分与松弛触发阈值进行比较,因为富片段体验404与唯一身份A相关联。富片段体验404的置信度得分超过了松弛触发阈值,这触发了富片段体验404被呈现在针对唯一身份A的搜索结果网页400上。附加地,基于由唯一身份A执行的搜索查询408,在搜索结果网页400上呈现其他非精选的搜索结果410。其他搜索结果410包括针对搜索查询408的到不同的相关网站的URL,包括在奥兰多玩卡牌游戏的比赛(MAGIC TOURNAMENTS IN ORLANDO)以及在奥兰多销售卡牌游戏的商店(SHOPS IN ORLANDO SELLING MAGIC CARDS)。
此外,将针对“ORLANDO MAGIC BASKETBALL TEAM”(如图4D所示的)的富片段体验412的置信度得分与严格触发阈值进行比较,因为富片段体验412与唯一身份A相关联。富片段体验412的置信度得分不超过严格触发阈值,因此不会基于搜索查询408被呈现在针对唯一身份A的搜索结果网页400上。
在图4D中,搜索结果网页400包括由唯一身份B执行的“MAGIC ORLANDO”的搜索查询408。将“ORLANDO MAGIC BASKETBALL TEAM”的富片段体验412的置信度得分与松弛触发阈值进行比较,因为富片段体验412与身份B相关联。富片段体验412具有超过松弛触发阈值的置信度得分,这触发了富片段体验412被呈现在针对唯一身份B的搜索结果网页400上。
富片段体验412包括奥兰多魔术篮球队当前正在进行的比赛的分数,以及与篮球队的名单、日程、排名、统计数据和门票相关的其他精选的信息。该精选的信息可以从不同网站被检索并且呈现在富片段体验412中。另外,基于由唯一身份B执行的搜索查询408,在搜索结果网页400上呈现其他非精选的搜索结果414。其他非精选的搜索结果414包括针对搜索查询416的到不同相关网站的URL。
此外,将“MAGIC:THE GATHERING”(图4C中所示的)的富片段体验404与严格触发阈值进行比较,因为富片段体验404不与唯一身份B相关联。针对富片段体验404的置信度得分没有超过严格触发阈值,因此基于搜索查询408,没有被呈现在针对唯一身份B的搜索结果网页400上。
注意,图4C和图4D共同示出了,基于不同唯一身份与不同的富片段体验的先前关联性,即使这些唯一身份输入相同的搜索查询,不同的富片段体验也可以被提供给不同的唯一身份。在图4E中,搜索结果网页400包括由唯一身份A执行的对“ORLANDO MAGICBASKETBALL”的搜索查询416。将“ORLANDO MAGIC BASKETBALL TEAM”的富片段体验的置信度得分412与严格触发阈值进行比较,因为富片段体验412不与唯一身份A相关联。富片段体验412的置信度得分超过了严格触发阈值,这触发了富片段体验412被呈现在针对唯一身份A的搜索结果网页400上。
附加地,基于由唯一身份A执行的搜索查询416,在搜索结果网页400上呈现其他非精选的搜索结果414。其他非精选的搜索结果414包括基于搜索查询416的到不同的相关网站的URL。
此外,将“MAGIC:THE GATHERING”(图4C中所示的)的富片段体验404与松弛触发阈值进行比较,因为富片段体验404与唯一身份A相关联。富片段体验的置信度得分404没有超过松弛触发阈值,因此基于搜索查询416,没有被呈现在针对唯一身份A的搜索结果网页400上。
注意,图4E示出了,即使唯一身份先前与“MAGIC:THE GATHERING”的富片段体验404相关联,如果搜索查询对于另一个富片段足够特定,则唯一身份可以不被提供富片段体验(例如,富片段体验412)。
参考图4F,搜索结果网页400包括由唯一身份B执行的对“ORLANDO MAGICBASKETBALL”的搜索查询416。将“ORLAND MAGIC BASKETBALL TEAM”的富片段体验的置信度得分412与松弛触发阈值进行比较,因为富片段体验412与唯一身份B相关联。富片段体验412的置信度得分超过松弛触发阈值,这触发了富片段体验412被呈现在针对唯一身份B的搜索结果网页400上。附加地,基于由唯一身份B执行的搜索查询416,其他非精选的搜索结果414被呈现在搜索结果网页400上。
此外,将“MAGIC:THE GATHERING”(图4C中所示的)的富片段体验404与严格触发阈值进行比较,因为富片段体验404不与唯一身份B相关联。富片段体验404的置信度得分不超过严格触发阈值,因此基于搜索查询416,不被呈现在针对唯一身份B的搜索结果网页400上。
注意,图4E和图4F共同示出了,如果富片段体验对于该搜索查询足够特定,则可以向输入相同搜索查询的、具有不同兴趣的不同唯一身份提供相同的富片段体验。
尽管本文描述的概念旨在在搜索结果网页上向不同的搜索者呈现不同的搜索结果,但是应当理解,不同的搜索结果可以采用任何其他合适的形式。例如,富片段体验可以是语音的自然语言结果(例如,通过个人助理Alexa/Siri/Cortana)。
本文描述的方法和过程可以绑定到一个或多个计算设备的计算系统。特别地,这样的方法和过程可以被实现为可执行的计算机应用程序、网络可访问的计算服务、应用编程接口(API)、库、或以上和/或其他计算资源的组合。
图5示意性地示出了计算系统500的简化表示,该计算系统500被配置为提供本文描述的计算功能的任何到所有。计算系统500可以采用一台或多台个人计算机、可网络访问的服务器计算机、平板计算机、家庭娱乐计算机、游戏设备、移动计算设备、移动通信设备(例如,智能电话)、虚拟/增强/混合现实计算设备、可穿戴计算设备、物联网(IoT)设备、嵌入式计算设备和/或其他计算设备的形式。例如,计算系统500可以包括搜索引擎计算系统100、客户端计算机102、服务端点120、搜索结果提供方110、身份数据存储库124和体验数据库130中的一个或多个的逻辑子系统、存储子系统和/或其他子系统的任何组合。
计算系统500包括逻辑子系统502和存储子系统504。计算系统500可以可选地包括输入/输出子系统506(例如,包括一个或多个输入设备或传感器,以及一个或多个输出设备,诸如图形显示器和/或音频扬声器)、通信子系统508,和/或图5中未示出的其他子系统。
逻辑子系统502包括一个或多个被配置为执行指令的物理设备。例如,逻辑子系统可以被配置为执行作为一个或多个应用、服务或其他逻辑构造的一部分的指令。逻辑子系统可以包括一个或多个被配置为执行软件指令的硬件处理器。附加地或备选地,逻辑子系统可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件设备。逻辑子系统的处理器可以是单核或多核,在其上执行的指令可以被配置为顺序、并行和/或分布式处理。逻辑子系统的各个组件可选地可以分布在两个或更多个单独的设备中,这些设备可以被远程定位和/或被配置用于协作处理。逻辑子系统的各方面可以由在云计算配置中被配置的远程可访问的联网计算设备虚拟化和执行。
存储子系统504包括一个或多个物理设备,其被配置为临时和/或永久地保持计算机信息,诸如,可由逻辑子系统执行的数据和指令。当存储子系统包括两个或更多个设备时,这些设备可以并列和/或远程定位。存储子系统504可以包括易失性、非易失性、动态、静态、读/写、只读、随机访问、顺序访问、位置可寻址、文件可寻址和/或内容可寻址设备。存储子系统504可以包括可移除和/或内置设备。当逻辑子系统执行指令时,存储子系统504的状态可以被转换以例如保持不同的数据。
逻辑子系统502和存储子系统504的方面可以一起被集成到一个或多个硬件逻辑组件中。这种硬件逻辑组件可以包括,例如程序专用和专用集成电路(PASIC/ASIC)、程序专用和专用标准产品(PSSP/ASSP)、片上系统(SOC)和复杂的可编程逻辑器件(CPLD)。
逻辑子系统和存储子系统可以合作以实例化一个或多个逻辑机器。如本文所用,术语“机器”被用于统称硬件和任何软件、指令和/或与这种硬件协作以提供计算机功能的其他组件。换句话说,“机器”从来都不是抽象的概念,总是具有一个有形的形式。机器可以由单个计算设备实例化,或者机器可以包括由两个或更多个不同计算设备实例化的两个或更多个子组件。在一些实现中,机器包括与远程组件(例如,云计算服务)合作的本地组件(例如,计算机服务)。赋予特定机器其功能的软件和/或其他指令可以可选地被保存为合适的存储设备上的未执行模块。可以由根据本公开的计算系统500实例化的机器的非限制性示例包括web浏览器106、搜索结果提供方110、排名器112,以及记录流水线114的组件。
根据本公开的机器可以使用现有技术和/或未来机器学习(ML)、人工智能(AI)和/或自然语言处理(NLP)技术的任何合适组合来实现。可以并入一个或多个机器的实现中的技术的非限制性示例包括支持向量机、多层神经网络、卷积神经网络(例如,包括用于处理图像和/或视频的空间卷积网络、用于处理音频信号和/或自然语言句子的时间卷积神经网络、和/或任何其他合适的卷积神经网络,其被配置为跨一个或多个时间和/或空间维度),循环神经网络(例如,长短期记忆网络),联想记忆(例如,查找表、哈希表、Bloom过滤器、神经图灵机和/或神经随机存取存储器),词嵌入模型(例如,GloVe或Word2Vec)、无监督空间和/或聚类方法(例如,最近邻算法、拓扑数据分析和/或k均值聚类),图形模型(例如,(隐藏)马尔可夫模型、马尔可夫随机场、(隐藏)条件随机场和/或人工智能知识库),和/或自然语言处理技术(例如,标记化、词干提取、选区和/或依赖解析,和/或意图识别、分割模型和/或超分割模型(例如,隐藏动态模型))。
在一些示例中,本文描述的方法和过程可以使用一个或多个可微函数来实现,其中可以关于可微函数的输入和/或输出来计算和/或估计可微函数的梯度(例如,有关的训练数据,和/或有关的目标函数)。这样的方法和过程可以至少部分地由可训练参数集确定。因此,特定方法或过程的可训练参数可以通过任何合适的训练程序进行调整,以便持续改进方法或过程的功能。例如,机器学习训练技术可以被用于挖掘用户批准/不批准信号,例如,确定是否添加新的查询黑名单条目、站点规则和/或用于禁止查询答案的模式规则。
用于调整可训练参数的训练程序的非限制性示例包括有监督训练(例如,使用梯度下降或任何其他合适的优化方法)、零样本、少样本、无监督学习方法(例如,基于从无监督聚类方法派生的类进行分类)、强化学习(例如,基于反馈的深度Q学习)和/或生成对抗性神经网络训练方法、信念传播、RANSAC(随机样本一致性)、上下文bandit方法、最大似然方法和/或期望最大化。在一些示例中,可以关于测量多个组件的集体功能(例如,关于强化反馈和/或关于标记的训练数据)的性能的目标函数同时训练本文描述的系统的多个方法、过程和/或组件。同时训练多个方法、过程和/或组件可以改进这种集体功能。在一些示例中,一个或多个方法、过程和/或组件可以独立于其他组件进行训练(例如,对历史数据的离线训练)。
本文公开的方法和过程可以被配置为给予用户和/或任何其他人对任何隐私和/或潜在敏感数据的控制。无论何时存储、访问和/或处理数据,都可以根据隐私和/或安全标准处理数据。收集用户数据时,用户或其他利益相关者可以指定如何使用和/或存储数据。每当出于任何目的收集用户数据时,都应通知拥有该数据的用户,并且只有在用户提供肯定同意的情况下才应收集用户数据。如果要收集数据,则可以而且应该在最大程度尊重用户隐私的情况下收集数据。如果数据要被用户以外的任何人访问或用于任何决策过程,则在使用和/或发布数据之前可能会征得用户的同意。用户可以随时选择加入和/或选择退出数据收集。收集数据后,用户可以发出删除数据的命令,和/或限制对数据的访问。所有潜在的敏感数据都可以选择加密和/或在可行的情况下匿名,以进一步保护用户隐私。用户可以指定部分数据、元数据或处理数据的统计数据/结果以发布给其他方,例如,用于进一步处理。私有和/或机密的数据可以完全保密,例如,仅临时解密用于处理,或仅解密用于在用户设备上处理并以其他方式以加密形式存储。用户可以持有和控制加密数据的加密密钥。备选地或附加地,用户可以指定受信任的第三方来持有和控制加密数据的加密密钥,例如,以便根据合适的认证协议向用户提供对数据的访问。
当本文描述的方法和过程并入ML和/或AI组件时,ML和/或AI组件可以至少部分地基于组件关于训练数据的训练来做出决定。因此,ML和/或AI组件可以而且应该在不同的、有代表性的数据集上进行训练,这些数据集包括针对不同用户和/或用户群的足够相关数据。特别地,训练数据集应该包含不同的人类个体和群体,以便随着ML和/或AI组件的训练,在用户和/或用户群体的用户体验方面的性能得到提高。
例如,根据本公开的对话系统可以被训练为与不同的用户群体进行交互,使用基于语言、方言、口音和/或人口说话风格的任何其他特征,经过训练可以很好地适用于这些人口的语言模型。
ML和/或AI组件还可以接受培训以做出决策,从而最大限度地减少对人类个人和/或群体的潜在偏见。例如,当AI系统被用于评估关于人类个体或群体的任何定性和/或定量信息时,他们可以接受培训,以便对不打算通过定性和/或定量评估衡量的个人或群体之间的差异保持不变,例如,这样任何决定都不会受到个人和群体之间差异的意外影响。
ML和/或AI组件可以而且应该被设计为尽可能提供有关它们如何操作的上下文,以便ML和/或AI系统的实施者可以对系统做出的决策/评估负责。例如,ML和/或AI系统应该具有可复制的行为,例如,当它们做出伪随机决策时,应该使用并记录随机种子,以便以后复制决策。作为另一示例,用于训练和/或测试机器学习和/或人工智能系统的数据应该被整理和维护,以促进未来对机器学习和/或人工智能系统与数据相关的行为的调查。此外,机器学习和/或人工智能系统可以而且应该持续受到监控,以识别潜在的偏见、错误和/或意外结果。
当被包括时,输入/输出子系统506可以被用于呈现由存储子系统504保持的数据的视觉表示。该视觉表示可以采用图形用户界面(GUI)的形式。输入/输出子系统506可以包括使用几乎任何类型的技术的一个或多个显示器设备。在一些实现方式中,输入/输出子系统506可以包括一个或多个虚拟现实、增强现实或混合现实显示器。输入/输出子系统506可以被用于视觉呈现内容,诸如浏览器106和在浏览器106的页面中显示的搜索结果。输入/输出子系统506可以包括一个或多个麦克风和/或扬声器设备,其被配置为接收和/或输出音频。在一些示例中,麦克风设备可以被用于接收语音音频输入,其可被处理(例如,使用自然语言处理和/或机器学习技术)以接收用户查询、确定用户意图等。例如,语音音频输入可以被处理以控制浏览器106。例如,语音音频输入可以被处理以识别用户对搜索引擎的查询,例如,除了或代替用户通过搜索栏中的文本输入。在一些示例中,扬声器设备可用于输出语音音频,例如向用户提供信息、在口头对话中与用户交互等。在一些示例中,浏览器106可以被配置为以语音音频的形式呈现内容。例如,浏览器106可以通过针对搜索结果中的每个结果条目输出指示结果条目的语音音频来呈现搜索结果。例如,当浏览器106呈现包括查询答案和多个其他结果条目的搜索结果时,浏览器106可以输出复述查询答案的语音音频,并且输出列出多个其他结果条目中的每个结果条目的标题和/或概要的进一步的语音音频。
当被包括时,输入/输出子系统可以进一步包括一个或多个输入设备或与一个或多个输入设备接口。输入设备可以包括传感器设备或用户输入设备。用户输入设备的示例包括键盘、鼠标、触摸屏或游戏控制器。在一些实施例中,输入子系统可以包括选选的自然用户输入(NUI)组件或与选定的自然用户输入(NUI)组件接口。这种组件可以是集成的或外围的,并且输入动作的转换和/或处理可以在机上或机外处理。示例NUI组件可以包括用于语音和/或语音识别的麦克风;用于机器视觉和/或手势识别的红外、彩色、立体和/或深度相机;用于运动检测和/或意图识别的头部追踪器、眼部追踪器、加速度计和/或陀螺仪。
当被包括时,通信子系统508可以被配置为将计算系统500与一个或多个其他计算设备通信耦合。通信子系统508可以包括与一种或多种不同通信协议兼容的有线和/或无线通信设备。通信子系统可以被配置为经由个人、局域网和/或广域网进行通信。
语言模型可以利用词汇特征来指导采样/搜索单词以识别语音。例如,语言模型可以至少部分地由单词或其他词汇特征的统计分布来定义。例如,语言模型可以通过n-gram的统计分布来定义,根据词汇统计定义候选词之间的转换概率。语言模型还可以基于任何其他适当的统计特征和/或用一种或多种机器学习和/或统计算法处理统计特征的结果(例如,由这种处理产生的置信度值)。在一些示例中,例如基于音频信号中的词来自特定词汇表的假设,统计模型可以限制对于音频信号可以识别哪些词。
备选地或附加地,语言模型可以基于先前训练以表示共享潜在空间中的音频输入和词的一个或多个神经网络,例如,由一个或多个音频和/或词模型(例如,wav2letter和/或word2vec)。因此,寻找候选词可以包括基于由音频模型编码的向量搜索共享潜在空间以获得音频输入,以便找到候选词向量以用于利用词模型进行解码。对于一个或多个候选词,可以利用共享潜在空间来评估候选词在语音音频中具有特征的置信度。
语言模型可以与声学模型结合使用,声学模型被配置为针对候选词和音频信号,基于词的声学特征(例如,梅尔频率倒谱系数、共振峰等)。可选地,在一些示例中,语言模型可以并入声学模型(例如,语言模型的评估和/或训练可以基于声学模型)。声学模型定义了声学信号和基本声音单元(诸如,音素)之间的映射,例如,基于标记的语音音频。声学模型可以基于现有技术或未来机器学习(ML)和/或人工智能(AI)模型的任何合适组合,例如:深度神经网络(例如,长短期记忆、时间卷积神经网络、受限玻尔兹曼机、深度信念网络)、隐马尔可夫模型(HMM)、条件随机场(CRF)和/或马尔可夫随机场、高斯混合模型和/或其他图形模型(例如,深度贝叶斯网络)。要用声学模型处理的音频信号可以以任何合适的方式进行预处理,例如,以任何合适的采样率编码、傅立叶变换、带通滤波器等。可以训练声学模型以基于对标记音频数据的训练来识别声学信号和声音单元之间的映射。例如,可以基于包括语音音频和校正文本的标记音频数据来训练声学模型,以便学习语音音频信号和校正文本表示的声音单元之间的映射。因此,可以不断改进声学模型以提高其用于正确识别语音音频的效用。
在一些示例中,除了统计模型、神经网络和/或声学模型之外,语言模型可以并入任何合适的图形模型,例如,隐马尔可夫模型(HMM)或条件随机场(CRF)。图形模型可以利用统计特征(例如,转移概率)和/或置信度值来确定识别单词的概率,给定语音音频和/或迄今为止识别的其他单词。因此,图形模型可以利用统计特征、先前训练的机器学习模型和/或声学模型来定义图形模型中表示的状态之间的转移概率。
在示例中,一种向不同的搜索者选择性地提供不同类型的搜索引擎结果的方法包括:针对多个不同的唯一身份中的每个身份,记录针对唯一身份的浏览历史,针对被配置为将精选的片段特定信息与其他搜索结果一起呈现在搜索结果网页上的多个不同的富片段体验中的每个富片段体验,响应于针对唯一身份的浏览历史满足富片段体验的相关性标准,将唯一身份与富片段体验相关联,响应于从先前与富片段体验相关联的唯一身份接收搜索查询,在搜索结果网页上呈现富片段体验,以及响应于从非先前与富片段体验相关联的不同的唯一身份接收搜索查询,在搜索结果网页上呈现没有富片段体验的其他搜索结果。在该示例和/或其他示例中,仅当从唯一身份接收的搜索查询超过松弛触发阈值时,富片段体验才可以与其他搜索结果一起被呈现。在该示例和/或其他示例中,方法还包括:如果从不同的唯一身份接收的搜索查询超过大于松弛触发阈值的严格触发阈值,则将富片段体验与其他搜索结果一起呈现。在该示例和/或其他示例中,如果从唯一身份接收的搜索查询不超过松弛触发阈值,则富片段体验可以不与其他搜索结果一起被呈现。在该示例和/或其他示例中,如果从唯一身份接收的搜索查询不超过松弛触发阈值,则富片段体验可以不与其他搜索结果一起呈现。在该示例和/或其他示例中,记录针对唯一身份的浏览历史可以包括生成从以下一项或多项得到的关键词标签:先前的搜索查询、先前选择的搜索结果和先前呈现的富片段体验。在该示例和/或其他示例中,每个富片段体验可以按照不同的关键词标签集而被定义,并且其中基于与富片段体验相关联的关键词标签集和与唯一身份相关联的关键词匹配,相关性标准被满足。在该示例和/或其他示例中,记录针对唯一身份的浏览历史可以包括:过滤掉先前选择的具有小于阈值时间的停留时间的搜索结果,以免被用于生成针对唯一身份的关键词标签。在该示例和/或其他示例中,方法还包括:基于搜索查询,生成针对富片段体验的置信度得分,以及其中富片段体验基于置信度得分被定位在搜索结果网页上。在该示例和/或其他示例中,基于针对唯一身份的浏览历史,其他搜索结果可以针对唯一身份而被个性化。在该示例和/或其他示例中,唯一身份可以与跨不同计算设备的用户身份相关联。在该示例和/或其他示例中,唯一身份可以与特定计算设备相关联。
在一个示例中,一种选择性地提供不同类型的搜索引擎结果的方法包括:记录针对唯一身份的浏览历史,针对被配置为在将精选的片段特定信息与其他搜索结果一起呈现在搜索结果网页上的的多个不同的富片段体验中的每个富片段体验,响应于满足富片段体验相关性标准的唯一身份的浏览历史,将唯一身份与富片段体验相关联,响应于接收到来自唯一身份的搜索查询,基于先前与唯一身份相关联的富片段体验和超过松弛触发的富片段体验,将富片段体验和其他搜索结果一起呈现在搜索结果网页上,基于富片段体验预先与唯一身份相关联并且不超过松弛触发阈值的富片段体验,在搜索结果网页上呈现没有富片段体验的其他搜索结果,基于非先前与唯一身份相关联的富片段体验以及超过严格触发阈值的富片段体验,在搜索结果网页上呈现富片段体验和其他搜索结果,并且基于富片段体验先前没有与唯一身份相关联并且富片段体验不超过严格触发阈值,在搜索结果网页上呈现没有富片段体验的其他搜索结果。在该示例和/或其他示例中,记录针对唯一身份的浏览历史可以包括生成从以下一项或多项得到的关键词标签:先前的搜索查询、先前选择的搜索结果和先前呈现的富片段体验。在该示例和/或其他示例中,每个富片段体验可以按照不同的关键词标签集而被定义,并且其中基于与唯一身份相关联的关键词标签和与富片段体验相关联的关键词标签集匹配,相关性标准被满足。在该示例和/或其他示例中,记录针对唯一身份的浏览历史可以包括:过滤掉先前选择的具有小于阈值时间的停留时间的搜索结果,以免被用于生成针对唯一身份的关键词标签。在该示例和/或其他示例中,方法还包括:基于搜索查询,生成针对富片段体验的置信度得分,以及其中富片段体验基于置信度得分被定位在搜索结果网页上。
在一个示例中,一种向不同搜索者选择性地提供不同类型的搜索引擎结果的方法包括:针对多个不同的唯一身份中的每个身份,记录针对唯一身份的浏览历史,针对被配置为将精选的片段特定信息与其他搜索结果一起呈现在搜索结果网页上的多个不同的富片段体验中的每个富片段体验,响应于唯一身份的浏览历史满足富片段体验的相关性标准,将唯一身份与富片段体验相关联,响应于从先前与富片段体验相关联的唯一身份接收搜索查询,如果从唯一身份接收的搜索查询超过了松弛触发阈值,则在搜索结果网页上呈现富片段体验,如果从唯一身份接收的搜索查询不超过松弛触发阈值,则在搜索结果网页上呈现没有富片段体验的其他搜索结果,响应于从非先前与富片段体验相关联的不同唯一身份接收搜索查询,如果从不同唯一身份接收的搜索查询超过大于松弛触发阈值的严格触发阈值,则将富片段体验与其他搜索结果一起呈现,如果从不同的唯一身份接收的搜索查询没有超过严格触发阈值,则在搜索结果网页上呈现没有富片段体验的其他搜索结果。在该示例和/或其他示例中,记录针对唯一身份的浏览历史可以包括:生成从以下一项或多项得到的关键词标签:先前的搜索查询、先前选择的搜索结果和先前呈现的富片段体验。在该示例和/或其他示例中,每个富片段体验可以按照不同的关键词标签集而被定义,并且其中基于与唯一身份相关联的关键词标签和与富片段体验相关联的关键词标签集匹配,相关性标准被满足。在该示例和/或其他示例中,记录针对唯一身份的浏览历史可以包括:过滤掉先前选择的具有小于阈值时间的停留时间的搜索结果,以免被用于生成针对唯一身份的关键词标签。
应当理解,本文描述的配置和/或方法本质上是示例性的,并且这些特定实施例或示例不应被视为限制性的,因为许多变化是可能的。本文描述的特定程序或方法可以代表任何数目的处理策略中的一种或多种。因此,所示和/或所描述的各种动作可以按照所示和/或描述的顺序、以其他顺序、并行或省略来执行。同样,上述过程的顺序可以改变。
本公开的主题包括本文公开的各种过程、系统和配置以及其他特征、功能、动作和/或本文公开的特性,以及其任何和所有等效物的所有新颖和非明显的组合和子组合。
Claims (11)
1.一种用于向不同搜索者选择性地提供不同类型的搜索引擎结果的方法,包括:
针对多个不同的唯一身份中的每个身份,记录针对所述唯一身份的浏览历史;
针对被配置为将精选的片段特定信息与其他搜索结果一起呈现在搜索结果网页上的多个不同的富片段体验中的每个富片段体验,响应于针对所述唯一身份的所述浏览历史满足所述富片段体验的相关性标准,将所述唯一身份与所述富片段体验相关联;
响应于从先前与所述富片段体验相关联的所述唯一身份接收搜索查询,在所述搜索结果网页上呈现所述富片段体验;以及
响应于从非先前与所述富片段体验相关联的不同的唯一身份接收所述搜索查询,在所述搜索结果网页上呈现没有所述富片段体验的其他搜索结果。
2.根据权利要求1所述的方法,其中仅当从所述唯一身份接收的所述搜索查询超过松弛触发阈值时,所述富片段体验与其他搜索结果一起被呈现。
3.根据权利要求2所述的方法,还包括:
如果从所述不同的唯一身份接收的所述搜索查询超过大于所述松弛触发阈值的严格触发阈值,则将所述富片段体验与其他搜索结果一起呈现。
4.根据权利要求1所述的方法,其中如果从所述唯一身份接收的所述搜索查询不超过松弛触发阈值,则所述富片段体验不与其他搜索结果一起被呈现。
5.根据权利要求1所述的方法,其中记录针对所述唯一身份的浏览历史包括生成从以下一项或多项得到的关键词标签:先前的搜索查询、先前选择的搜索结果和先前呈现的富片段体验。
6.根据权利要求5所述的方法,其中每个富片段体验按照不同的关键词标签集而被定义,并且其中基于与所述富片段体验相关联的关键词标签集和与所述唯一身份相关联的关键词标签匹配,所述相关性标准被满足。
7.根据权利要求5所述的方法,其中记录针对所述唯一身份的所述浏览历史包括:过滤掉先前选择的具有小于阈值时间的停留时间的搜索结果,以免被用于生成针对所述唯一身份的关键词标签。
8.根据权利要求1所述的方法,还包括:
基于所述搜索查询,生成针对所述富片段体验的置信度得分,并且其中所述富片段体验基于所述置信度得分而被定位在所述搜索结果网页上。
9.根据权利要求1所述的方法,其中基于针对所述唯一身份的所述浏览历史,所述其他搜索结果针对所述唯一身份而被个性化。
10.根据权利要求1所述的方法,其中所述唯一身份与跨不同计算设备的用户身份相关联。
11.根据权利要求1所述的方法,其中所述唯一身份与特定计算设备相关联。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/353,308 | 2019-03-14 | ||
US16/353,308 US11281733B2 (en) | 2019-03-14 | 2019-03-14 | Selective presentation of rich experiences in search |
PCT/US2020/016001 WO2020185323A1 (en) | 2019-03-14 | 2020-01-31 | Selective presentation of rich experiences in search |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113574522A true CN113574522A (zh) | 2021-10-29 |
Family
ID=69743926
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080020946.8A Pending CN113574522A (zh) | 2019-03-14 | 2020-01-31 | 搜索中的富体验的选择性呈现 |
Country Status (4)
Country | Link |
---|---|
US (2) | US11281733B2 (zh) |
EP (1) | EP3921745A1 (zh) |
CN (1) | CN113574522A (zh) |
WO (1) | WO2020185323A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111125335B (zh) * | 2019-12-27 | 2021-04-06 | 北京百度网讯科技有限公司 | 问答处理方法、装置、电子设备和存储介质 |
US11586636B2 (en) * | 2020-11-18 | 2023-02-21 | Shopify Inc. | Methods and systems for generating search results |
US20220156808A1 (en) * | 2020-11-19 | 2022-05-19 | Cox Automotive, Inc. | Systems and Methods for Improved Vehicle Transaction Platforms |
CN112541362B (zh) * | 2020-12-08 | 2022-08-23 | 北京百度网讯科技有限公司 | 一种泛化处理的方法、装置、设备和计算机存储介质 |
US11636267B2 (en) * | 2021-01-29 | 2023-04-25 | Walmart Apollo, Llc | Methods and apparatus to generate textual data using machine learning processes |
US11461588B1 (en) * | 2021-03-30 | 2022-10-04 | metacluster lt, UAB | Advanced data collection block identification |
WO2024081418A1 (en) * | 2022-10-14 | 2024-04-18 | Data Mea Llc | Augmented reality vocabulary card game |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060161542A1 (en) * | 2005-01-18 | 2006-07-20 | Microsoft Corporation | Systems and methods that enable search engines to present relevant snippets |
US20070294615A1 (en) * | 2006-05-30 | 2007-12-20 | Microsoft Corporation | Personalizing a search results page based on search history |
CN102982120A (zh) * | 2011-11-11 | 2013-03-20 | 微软公司 | 备选搜索结果的上下文促进 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008511057A (ja) | 2004-08-19 | 2008-04-10 | クラリア コーポレイション | エンドユーザの情報要求に応答するための方法及び装置 |
US20110040753A1 (en) | 2009-08-11 | 2011-02-17 | Steve Knight | Personalized search engine |
US8510285B1 (en) | 2011-08-18 | 2013-08-13 | Google Inc. | Using pre-search triggers |
US10387390B2 (en) * | 2015-08-28 | 2019-08-20 | Microsoft Technology Licensing, Llc | Judgment quality in SBS evaluation |
WO2017122326A1 (ja) * | 2016-01-14 | 2017-07-20 | 三菱電機株式会社 | 秘匿検索システム、秘匿検索方法及び秘匿検索プログラム |
-
2019
- 2019-03-14 US US16/353,308 patent/US11281733B2/en active Active
-
2020
- 2020-01-31 EP EP20709389.9A patent/EP3921745A1/en active Pending
- 2020-01-31 WO PCT/US2020/016001 patent/WO2020185323A1/en unknown
- 2020-01-31 CN CN202080020946.8A patent/CN113574522A/zh active Pending
-
2022
- 2022-02-15 US US17/672,625 patent/US20220171819A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060161542A1 (en) * | 2005-01-18 | 2006-07-20 | Microsoft Corporation | Systems and methods that enable search engines to present relevant snippets |
US20070294615A1 (en) * | 2006-05-30 | 2007-12-20 | Microsoft Corporation | Personalizing a search results page based on search history |
CN102982120A (zh) * | 2011-11-11 | 2013-03-20 | 微软公司 | 备选搜索结果的上下文促进 |
Also Published As
Publication number | Publication date |
---|---|
EP3921745A1 (en) | 2021-12-15 |
US20200293586A1 (en) | 2020-09-17 |
US20220171819A1 (en) | 2022-06-02 |
WO2020185323A1 (en) | 2020-09-17 |
US11281733B2 (en) | 2022-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11281733B2 (en) | Selective presentation of rich experiences in search | |
WO2021174890A1 (zh) | 数据推荐方法、装置、计算机设备以及存储介质 | |
CN108829822B (zh) | 媒体内容的推荐方法和装置、存储介质、电子装置 | |
US11100170B2 (en) | Domain-agnostic structured search query exploration | |
Djuric et al. | Hierarchical neural language models for joint representation of streaming documents and their content | |
US8886589B2 (en) | Providing knowledge content to users | |
US20220050833A1 (en) | Dynamically suppressing query answers in search | |
US20200110519A1 (en) | User-centric browser location | |
CN109196496A (zh) | 未知词预测器和内容整合的翻译器 | |
US20150046445A1 (en) | Authority management for electronic searches | |
US11250052B1 (en) | Systems and methods for searching quotes of entities using a database | |
US20220391464A1 (en) | Query entity-experience classification | |
US9805120B2 (en) | Query selection and results merging | |
WO2018048683A1 (en) | Compiling documents into a timeline per event | |
KR20090087269A (ko) | 컨텍스트 기반 정보 처리 방법 및 장치, 그리고 컴퓨터기록 매체 | |
US10915756B2 (en) | Method and apparatus for determining (raw) video materials for news | |
CN106537387B (zh) | 检索/存储与事件相关联的图像 | |
Bouras et al. | Assisting cluster coherency via n-grams and clustering as a tool to deal with the new user problem | |
JP2006134183A (ja) | 情報分類方法及び装置及びプログラム及びプログラムを格納した記憶媒体 | |
Rudinac et al. | Leveraging visual concepts and query performance prediction for semantic-theme-based video retrieval | |
CN115168568B (zh) | 一种数据内容的识别方法、装置以及存储介质 | |
Roshdy et al. | An efficient content-based video recommendation | |
CN114827654B (zh) | 一种视频搜索方法、装置、设备及存储介质 | |
WO2022269994A1 (ja) | 情報判定装置、情報判定方法およびプログラム | |
Sadat et al. | A clustering study for the optimization of emotional information retrieval systems: Dbscan vs k-means |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |