CN110633430B - 事件发现方法、装置、设备和计算机可读存储介质 - Google Patents
事件发现方法、装置、设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN110633430B CN110633430B CN201810550630.4A CN201810550630A CN110633430B CN 110633430 B CN110633430 B CN 110633430B CN 201810550630 A CN201810550630 A CN 201810550630A CN 110633430 B CN110633430 B CN 110633430B
- Authority
- CN
- China
- Prior art keywords
- resources
- resource
- event
- candidate
- title
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开的实施例涉及一种用于发现事件的方法、装置、设备和计算机可读存储介质。该方法包括从预定时段内的搜索引擎日志中获取搜索关键字和与搜索关键字相对应的资源定位信息,资源定位信息与用户浏览行为相关联。该方法还包括基于搜索关键字和对应的资源定位信息,确定候选资源集合,候选资源集合包括与资源定位信息相关联的资源。之后,该方法进一步包括通过对候选资源集合执行聚类操作,确定目标资源集合,该目标资源集合与所发现的事件相关联。本公开的技术方案可以实现对待聚类的候选新闻资源的筛选,降低聚类操作的运算量和复杂程度,并且实现更为精确的聚类操作。
Description
技术领域
本公开总体上涉及互联网技术领域,更具体地,涉及事件发现方法、装置、设备和计算机可读介质。
背景技术
随着互联网技术的发展,互联网的信息一直在爆发式的增长,每个人都不得不面对信息过载的问题。当用户想要关注某个新闻事件、人物或者公司时,用户在搜索相关信息时不得不面对大量未经整理的信息或新闻资源。为了减少用户获取信息的时间成本,通常会将互联网中的大量信息或资源以“事件”为粒度进行组织,并将关注的新闻事件或人物等的最具时效性、最具代表性的进展和历史事件呈现给用户。
在传统的事件发现方法中,事件发现主要是通过人工编辑或者计算机的聚类算法等来实现。由于人工编辑有效率低下的缺陷,故逐渐由聚类算法所取代。聚类算法是使用作为新闻资源的文本的相似性将多个新闻资源聚类为簇,每个簇作为一个新闻资源的集合代表一个事件。然而,目前的聚类算法的计算结果中通常会存在用户不关注的信息,不能直接满足用户需求。为此,用户投票操作被用于过滤用户不关注的信息。然而,此类处理方式仍然存在操作复杂且稳定性差的问题。
发明内容
根据本公开的示例实施例,提供了一种事件发现方案。
在本公开的第一方面中,提供了一种用于发现事件的方法。该方法包括从预定时段内的搜索引擎日志中获取搜索关键字和与搜索关键字相对应的资源定位信息,资源定位信息与用户浏览行为相关联。该方法还包括基于搜索关键字和资源定位信息,确定候选资源集合,候选资源集合包括与资源定位信息相关联的资源。该方法进一步包括通过对候选资源集合执行聚类操作,确定目标资源集合,该目标资源集合与所发现的事件相关联。
在本公开的第二方面中,提供了一种用于发现事件的装置。该装置包括日志信息获取模块,被配置为从预定时段内的搜索引擎日志中获取搜索关键字和与搜索关键字相对应的资源定位信息,资源定位信息与用户浏览行为相关联。该装置还包括候选资源集合确定模块,被配置为基于搜索关键字和资源定位信息,确定候选资源集合,候选资源集合包括与资源定位信息相关联的资源。该装置进一步包括聚类模块,被配置为通过对候选资源集合执行聚类操作,确定目标资源集合,该目标资源集合与所发现的事件相关联。
在本公开的第三方面中,提供了一种电子设备。该电子设备包括一个或多个处理器;以及存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现根据本公开的第一方面的方法。
在本公开的第四方面中,提供了一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现根据本公开的第一方面的方法。
应当理解,发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征,亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中,相同或相似的附图标记表示相同或相似的元素,其中:
图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图;
图2示出了根据本公开的实施例的在电子设备处执行的过程或方法的流程图;
图3示出了根据本公开的一些实施例的事件发现的过程或方法的流程图;
图4示出了根据本公开的实施例的在电子设备处执行的装置的示意框图;以及
图5示出了能够实施本公开的多个实施例的计算设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
在本公开的实施例的描述中,术语“包括”及其类似用语应当理解为开放性包含,即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如以上提及的,为了提升在海量互联网信息中发现事件的效率,在传统方案中,通常会基于计算机的聚类算法来实现。在基于聚类的事件发现技术中,聚类的对象通常为新闻文本等。然而,传统的聚类算法容易在聚类的簇中引入与核心事件不相关的新闻,甚至是引入低质的新闻,从而降低了事件资源的相关性和权威性。此外,新闻文本中通常包含较多词语,并且存在一篇新闻文本同时描述多个新闻事件的问题。因此,基于这种技术进行事件发现,还容易造成聚类的簇不纯(即,簇中含有不同事件),也容易造成超大簇(即,聚类的新闻资源的集合过大),同时降低事件发现的准确率。
针对上述问题和潜在的其他相关问题,本公开的实施例提出了一种在互联网的海量信息中发现事件的技术方案。在该方案中,并不是如传统的技术方案那样仅对海量新闻文本资源进行聚类处理,而是通过筛选搜索引擎新闻点击日志,对存在于预定的时间窗口内的与搜索关键字和相应的经用户点击的新闻统一资源定位符(url)相关联的新闻资源进行聚类分析。以此方式,有效利用到了事件在一段时间范围内的需求突发性和资源聚集性,从而有效地避免把该段时间范围之外的新闻资源(即,旧闻资源)也当做用于事件发现的资源。此外,由于本方案考虑到了用户浏览行为,故可以省略用于提高新闻资源质量的用户投票操作,从而在提高准确性的同时有效简化了操作过程。
在本文中,术语“搜索关键字”是指用户在搜索引擎中进行搜索时使用的关键词。术语“簇”是指对诸如文本资源的数据执行聚类操作的结果,一个簇通常包含若干条相似的诸如文本资源的数据。术语“事件”本质上就是一个簇,通常对应于一个新闻事件。
术语“资源定位信息”是指与特定资源相对应的定位信息,例如统一资源定位符(URL)等。
以下将参照附图来具体描述本公开的实施例。
图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。该示例环境100包含新闻资源的集合101。如图1所示,新闻资源的集合101可以包含多个新闻资源101-1、101-2、101-3、…、101-N。这些新闻资源均是可以经由互联网获取的,且每个新闻资源均具有唯一的资源定位信息(例如,URL)。示例环境100还包含电子设备102。在本公开的实施例中,电子设备102可以是服务器或云端设备,用于对新闻资源的集合101中的一个或多个新闻资源执行聚类操作,从而得到事件103。在示例环境100中,用户105可以经由电子设备104来查看事件103,从而获取与事件103相关的最具时效性、最具代表性的进展和历史过往的信息。在本公开的实施例中,电子设备104可以是计算机、平板电脑、智能手机等终端设备。应当理解,这些示例仅仅是说明性的,而非限制性的,电子设备104可以被实现为任何向用户105提供事件103的适当设备。
下面将参照图2详细描述在电子设备102处执行发现事件的过程。图2示出了根据本公开的实施例的在电子设备102处执行的过程或方法200的流程图。在本公开的实施例中,方法200可以例如在图1所示的电子设备102处实现。
在框210,可以在电子设备102处从预定时段内的搜索引擎日志中获取搜索关键字和与搜索关键字相对应的资源定位信息,资源定位信息与用户浏览行为相关联。也就是说,搜索引擎日志中存储有多个用户在进行搜索操作时输入的搜索关键字,每个搜索关键字都对应于包含多个资源定位信息的搜索结果。作为示例,这些资源定位信息可以是URL,也可以是其他用于对诸如新闻资源的资源进行唯一定位的信息。在某些实施例中,用户浏览行为可以包括用户鼠标点击、触屏触摸、语音输入等。此外,预定时段可以被网络管理员或用户设置为任意时间,例如,1小时、2小时、6小时、12小时或1天等等。应理解,这些资源定位信息中的至少一部分与用户感兴趣的内容不相关,因此需要滤除用户不感兴趣的资源定位信息。
在本公开的实施例中,为了滤除用户不感兴趣的资源定位信息,可以仅获取经用户点击的资源定位信息。通过滤除用户不感兴趣的资源定位信息,可以为进一步确定相关度较高的候选资源的集合做准备。
在框220,电子设备102可以基于搜索关键字和资源定位信息,确定候选资源集合,候选资源集合包括与资源定位信息相关联的资源。在本公开的实施例中,可以先判定搜索关键字在搜索引擎日志中出现的次数是否高于阈值次数,并且当搜索关键字的出现次数高于阈值次数时,将与对应于搜索关键字的资源定位信息相关联的资源确定为包含在候选资源集合中。附加地或备选地,可以对搜索引擎日志中的某些搜索关键字的出现频率进行监控,并对出现频率有突发增长的搜索关键字进行识别和获取,进而将该搜索关键字所对应的经点击的资源定位信息中存储的诸如新闻文本的资源确定为对应于事件103的候选资源集合。通过考虑出现频率较高的搜索关键字和对应的用户感兴趣的资源定位信息,能够确定相关度较高的候选资源集合。
在框230,可以在电子设备102处通过对候选资源集合执行聚类操作,确定目标资源集合,该目标资源集合与所发现的事件相关联。在选择新闻资源时考虑到了用户点击的行为特征,可以充分地虑及事件在一段时间范围内的需求突发性,故可以有效地避免把预定时间范围之外的新闻资源(即,旧闻资源)也当做用于事件发现的资源。并且,由于本公开考虑到了用户点击的行为特征,故可以省略用于提高新闻资源质量的用户投票操作。
在本公开的实施例中,对候选资源集合执行聚类操作还可以包括:获取候选资源集合中的资源的标题;以及基于标题对候选资源集合执行聚类操作。也就是说,仅对这些候选资源集合的标题执行聚类操作。与传统的对候选资源的全部文本进行聚类操作不同,基于候选资源集合的标题对候选资源集合执行聚类操作可以显著减少聚类操作的运算量,节省程序的运行时间。
在本公开的实施例中,可以在电子设备102处将候选资源集合的标题中的任意两个标题(例如第一标题与第二标题)进行比较。作为示例,可以先确定候选资源集合的标题中的第一标题与第二标题的交集和并集。当第一标题和第二标题的交集的字符长度与并集的字符长度的比大于或等于预定阈值时,将与第一标题和第二标题相对应的资源确定为同一类别。之后,在候选资源集合的标题中继续执行上述聚类操作。备选地或附加地,可以在两标题的交集的字符长度与并集的字符长度的比小于预定阈值时,滤除其中一个未经聚类的标题。此外,为了更为精确地执行聚类操作,可以在聚类操作前删除候选资源集合的标题中的数字、括号或其他非文字符号。
在上述方案中,并不是如传统的技术方案那样仅对海量新闻文本资源进行聚类处理,而是通过筛选搜索引擎新闻点击日志,对存在于预定的时间窗口内的与搜索关键字和相应的经用户点击的新闻统一资源定位符(url)相关联的新闻资源进行聚类分析,从而避免了把该段时间范围之外的新闻资源(即,旧闻资源)也当做用于事件发现的资源。此外,为了降低聚类操作的运算量和复杂程度,节省程序的运行时间,本公开提出可以对经上述筛选的新闻资源的标题进行聚类操作。并且,为了实现更为精确的聚类操作,本公开还提出了在对候选新闻资源的标题进行聚类操作之后,再基于提取的事件名称进行二次聚类操作。
为了更为详细地描述本公开的事件发现方法的优选实施例,图3示出了根据本公开的一些实施例的事件发现的过程或方法300的流程图。在本公开的实施例中,方法300可以在图4示出的设备中实现。作为示例,方法300可以在图1所示的电子设备102中实现。为了便于理解,在下文描述中提及的具体数据均是示例性的,并不用于限定本公开的保护范围。
在框301,由电子设备102判定搜索关键字在预定时段内的搜索引擎日志中的出现次数是否高于阈值次数。当出现次数高于阈值次数时,进入框303。附加地或备选地,可以对搜索引擎日志中的某些搜索关键字的出现频率进行实时监控,当搜索关键字的出现频率高于阈值频率时,进入框303。在框303,由电子设备102进一步判定与该搜索关键字对应的多个资源定位信息中的哪些是被用户浏览(例如,鼠标点击、触屏触摸、语音输入等行为)过的。当搜索得到的资源定位信息没有被相应地浏览过时,滤除该资源定位信息,以及当资源定位信息被浏览过时,进入框305。作为示例,电子设备102仅对搜索引擎日志中的预定时段内的搜索关键字和资源定位信息进行上述处理。在框305,可以将过滤后的资源定位信息中的多个新闻资源确定为候选资源集合。也就是说,通过考虑出现频率较高的搜索关键字和对应的用户感兴趣的资源定位信息,能够确定相关度较高的候选资源集合。因此,通过上述操作,可以得到该预定时段内海量用户所关心的多个候选的新闻资源。
接下来,与图2所述的过程或方法200不同地,图3的过程或方法300中包含了两次聚类操作。具体地,在框307,基于候选资源集合的标题对候选资源集合执行聚类操作,以得到经聚类的资源集合。也就是说,仅基于这些候选资源集合的标题而对这些候选资源集合执行聚类操作。与传统的对候选资源的全部文本进行聚类操作不同,基于候选资源集合的标题对候选资源集合执行聚类操作可以显著减少聚合操作的运算量,节省程序的运行时间。
在本公开的实施例中,可以将候选资源集合的标题中的任意两个标题(例如第一标题与第二标题)进行比较。当第一标题和第二标题的交集的字符长度与并集的字符长度的比大于或等于预定阈值时,将第一标题和第二标题确定为同一类别。之后,在候选资源集合的标题中继续执行上述聚类操作。备选地或附加地,可以在两标题的交集的字符长度与并集的字符长度的比小于预定阈值时,滤除其中一个未经聚类的标题。应理解,本文所讨论的基于标题的聚类操作仅仅是为了说明的目的,而无意限制本公开的实施例的范围,还可以执行其他基于标题的聚类操作。
在框309,可以已执行聚类操作的候选资源集合的标题中确定事件的标识。作为示例,可以基于框307中聚类得到的经聚类的资源集合的每个标题确定事件的标识。在本公开的实施例中,可以优先选择标题中不具有空格或其他分隔符的最短标题作为事件的标识,因为新闻标题通常可以描述该新闻的概况,取最短部分可以滤除不重要的内容。在本公开的另一实施例中,如果标题均被空格或其他分隔符隔开,则取标题中的较长部分,因为这个情况会被认为该标题不完整,故较长部分有可能更为清楚地描述该新闻的概况。
在框311,可以基于经聚类的资源集合的事件的标识对已执行聚类操作的候选资源集合执行第二次聚类操作。在本公开的实施例中,可以在电子设备102处将已执行聚类操作的资源集合的事件标识中的任意两个事件标识(例如第一标识与第二标识)进行比较。当第一标识与第二标识的交集的字符长度与并集的字符长度的比大于或等于预定阈值时,将与第一标识和第二标识聚类为新的标题。之后,再对该新的事件标识与其他事件标识进行比较,并循环地执行该比较步骤,直至两事件标识的交集的字符长度与并集的字符长度的比小于预定阈值。通过上述过程或方法,可以进一步提高聚类的精度,实现从海量信息到特定新闻事件的精确定向。
下面将以示例的方式来说明二次聚类的优点。作为示例,通过第一次聚类操作,“四家公司突然搬走物管回应:水电费和物业费还正常在交”、“赵某四家公司突然搬走水电费和物业费还在正常交”、“赵某控股四家公司突然搬走:水电费和物业费仍在交”、“赵某四家公司突然搬走水电费和物业费还在正常交”、“赵某控股四家公司突然搬走:水电费和物业费仍在交”和“赵某控股4家公司突搬走其红酒公司单瓶利润或50%”这六个新闻标题实际上描述了两个新闻,并不能聚类到一起。然而,从前五个标题中确定的事件标识为“赵某控股四家公司突然搬走”,从后一个标题中确定的事件标识为“赵某控股4家公司突搬走”。因此,在第二次聚类操作时,可以将这六个标题聚为一类。
二次聚类的好处在于,第一次聚类仅是按照新闻资源的标题的文本相关性把比较近似的新闻资源聚到一起,而之后的事件标识确定过程则类似于一个从新闻标题确定新闻事件主干的过程。接下来的基于事件标识的第二次聚类则起到了指向事件本质的作用。
应当理解,上述示例仅仅是为了说明的目的,而无意限制本公开的实施例的范围。
通过本公开讨论的上述方案,可以有效地避免把预定时段范围之外的新闻资源也当做用于事件发现的资源,从而实现了对待聚类的候选新闻资源的筛选和提纯。此外,由于本公开实现了经上述筛选的新闻资源的标题进行聚类操作,故降低了聚类操作的运算量和复杂程度,节省程序的运行时间。另外,由于在对候选新闻资源的标题进行聚类操作之后,再基于确定的事件标识进行二次聚类操作,故能够实现更为精确的聚类操作。
用户105利用本公开的技术方案搜索相关人物、地点等实体名称,即可得到与该实体相关的一系列按上述预定时段组织的事件。例如,在预定时段被设置为1小时的情况下,电子设备102会在每小时均执行本公开的上述操作。一旦用户105要搜索的实体名称与电子设备102在特定时间聚类得到的事件103相关,则该事件103就可以呈现给用户105。因此,用户可以免除进行大量重复的检索和人工归纳,并且获得几乎实时的关于有关实体的最新进展和历史上与该实体相关的重要事件。
图4示出了根据本公开的实施例的在电子设备102处实现的装置400的示意框图。结合图2和图3的描述,图4所示的装置400包括:日志信息获取模块410。日志信息获取模块410被配置为从预定时段内的搜索引擎日志中获取搜索关键字和与搜索关键字相对应的资源定位信息,资源定位信息与用户浏览行为相关联。该装置400还包括候选资源集合确定模块420。候选资源集合确定模块420被配置为基于搜索关键字和对应的资源定位信息,确定候选资源集合,候选资源集合包括与资源定位信息相关联的资源。该装置400还包括聚类模块430。聚类模块430被配置为通过对候选资源集合执行聚类操作,确定与事件相关联的目标资源集合。
在本公开的实施例中,聚类模块430包括:标题获取模块(未示出),被配置为获取候选资源集合中的资源的标题;第一聚类模块(未示出),被配置为基于标题对候选资源集合执行聚类操作。
在本公开的实施例中,第一聚类模块包括:标题交并集确定模块(未示出),被配置为确定候选资源集合的标题中的第一标题与第二标题的交集和并集;以及标题聚类模块(未示出),被配置为响应于交集的字符长度与并集的字符长度的比大于阈值比值,将与第一标题和第二标题相对应的资源确定为同一类别。
在本公开的实施例中,聚类模块430还包括:事件标识确定模块(未示出),被配置为从已执行聚类操作的候选资源集合的标题中确定事件的标识;以及第二聚类模块(未示出),被配置为基于事件的标识对已执行聚类操作的候选资源集合执行聚类操作。
在本公开的实施例中,事件标识确定模块被配置为基于已执行聚类操作的候选资源集合的标题中的被标点符号或空格分隔的字符长度最短的部分,确定事件的标识。
在本公开的实施例中,第二聚类模块包括:事件标识交并集确定模块(未示出),被配置为确定已执行聚类操作的候选资源集合的事件的标识中的第一标识与第二标识的交集和并集;以及事件标识聚类模块(未示出),被配置为标识响应于交集的字符长度与并集的字符长度的比大于阈值比值,将与第一标识和第二标识相对应的资源确定为同一类别。
在本公开的实施例中,候选资源集合确定模块420被配置为响应于搜索关键字在预定时段内的搜索引擎日志中出现的次数高于阈值次数,将与对应于搜索关键字的资源定位信息相关联的资源确定为包含在候选资源集合中。
在本公开的实施例中,装置400还包括:资源提供模块(未示出),被配置为响应于接收到来自用户的与事件相关联的输入,将目标资源集合提供给用户。
图5示出了可以用来实施本公开的实施例的示例设备500的示意性框图。如图所示,设备500包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的计算机程序指令或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序指令,来执行各种适当的动作和处理。在RAM 503中,还可存储设备500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
设备500中的多个部件连接至I/O接口505,包括:输入单元506,例如键盘、鼠标等;输出单元507,例如各种类型的显示器、扬声器等;存储单元508,例如磁盘、光盘等;以及通信单元509,例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元501执行上文所描述的各个方法和处理,例如过程200和/或300。例如,在一些实施例中,过程200和/或300可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元508。在一些实施例中,计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由CPU501执行时,可以执行上文描述的过程200和/或300的一个或多个步骤。备选地,在其他实施例中,CPU 501可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行过程200和/或300。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外,虽然采用特定次序描绘了各操作,但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行,或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地,在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (12)
1.一种用于发现事件的方法,包括:
从预定时段内的搜索引擎日志中获取搜索关键字和与所述搜索关键字相对应的资源定位信息,所述资源定位信息与用户浏览行为相关联;
响应于所述搜索关键字在所述预定时段内的搜索引擎日志中出现的次数高于阈值次数,并且响应于所述资源定位信息是被用户点击的,将与所述搜索关键字和所述资源定位信息相关联的资源确定为候选资源集合;
基于所述候选资源集合的标题对所述候选资源集合执行聚类操作,以得到未被聚类到一起的两类资源集合;
基于所述两类资源集合的标题分别确定第一标识和第二标识;
响应于确定所述第一标识与所述第二标识指向同一事件,将所述两类资源集合确定为同一类别;
基于所述第一标识和所述第二标识,确定新的事件标识;以及
基于所述新的事件标识确定目标资源集合,所述目标资源集合与所发现的事件相关联,
其中确定所述第一标识与所述第二标识指向同一事件包括:
确定所述第一标识与所述第二标识的交集和并集;以及
响应于所述交集的字符长度与所述并集的字符长度的比大于或等于预定阈值,确定所述第一标识与所述第二标识指向同一事件。
2.根据权利要求1所述的方法,其中基于所述标题对所述候选资源集合执行聚类操作包括:
确定所述候选资源集合的标题中的第一标题与第二标题的交集和并集;以及
响应于所述交集的字符长度与所述并集的字符长度的比大于阈值比值,将与所述第一标题和所述第二标题相对应的资源确定为同一类别。
3.根据权利要求1所述的方法,其中基于所述两类资源集合的标题分别确定第一标识和第二标识包括:
基于所述两类资源集合中的每一类资源集合的标题中的被标点符号或空格分隔的字符长度最短的部分,分别确定所述第一标识或所述第二标识。
4.根据权利要求1所述的方法,其中确定所述候选资源集合包括:
响应于所述搜索关键字在所述预定时段内的搜索引擎日志中出现的次数高于阈值次数,将与对应于所述搜索关键字的所述资源定位信息相关联的所述资源确定为包含在所述候选资源集合中。
5.根据权利要求1所述的方法,还包括:
响应于接收到来自用户的与所述事件相关联的输入,将所述目标资源集合提供给所述用户。
6.一种用于发现事件的装置,包括:
日志信息获取模块,被配置为从预定时段内的搜索引擎日志中获取搜索关键字和与所述搜索关键字相对应的资源定位信息,所述资源定位信息与用户浏览行为相关联;
候选资源集合确定模块,被配置为响应于所述搜索关键字在所述预定时段内的搜索引擎日志中出现的次数高于阈值次数,并且响应于所述资源定位信息是被用户点击的,将与所述搜索关键字和所述资源定位信息相关联的资源确定为候选资源集合;
第一聚类模块,被配置为基于所述候选资源集合的标题对所述候选资源集合执行聚类操作,以得到未被聚类到一起的两类资源集合;以及
第二聚类模块,被配置为基于所述两类资源集合的标题分别确定第一标识和第二标识;
被配置为响应于确定所述第一标识与所述第二标识指向同一事件,将所述两类资源集合确定为同一类别的模块;
被配置为基于所述第一标识和所述第二标识,确定新的事件标识的模块;以及
被配置为基于所述新的事件标识确定目标资源集合,所述目标资源集合与所发现的事件相关联的模块,
其中确定所述第一标识与所述第二标识指向同一事件包括:
确定所述第一标识与所述第二标识的交集和并集;以及
响应于所述交集的字符长度与所述并集的字符长度的比大于或等于预定阈值,确定所述第一标识与所述第二标识指向同一事件。
7.根据权利要求6所述的装置,其中所述第一聚类模块包括:
标题交并集确定模块,被配置为确定所述候选资源集合的标题中的第一标题与第二标题的交集和并集;以及
标题聚类模块,被配置为响应于所述交集的字符长度与所述并集的字符长度的比大于阈值比值,将与所述第一标题和所述第二标题相对应的资源确定为同一类别。
8.根据权利要求6所述的装置,其中所述第二聚类模块还包括被配置为基于所述两类资源集合中的每一类资源集合的标题中的被标点符号或空格分隔的字符长度最短的部分,分别确定所述第一标识或所述第二标识的模块。
9.根据权利要求6所述的装置,其中所述候选资源集合确定模块被配置为响应于所述搜索关键字在所述预定时段内的搜索引擎日志中出现的次数高于阈值次数,将与对应于所述搜索关键字的所述资源定位信息相关联的所述资源确定为包含在所述候选资源集合中。
10.根据权利要求6所述的装置,还包括:
资源提供模块,被配置为响应于接收到来自用户的与所述事件相关联的输入,将所述目标资源集合提供给所述用户。
11.一种电子设备,所述电子设备包括:
一个或多个处理器;以及
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一项所述的方法。
12.一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如权利要求1-5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810550630.4A CN110633430B (zh) | 2018-05-31 | 2018-05-31 | 事件发现方法、装置、设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810550630.4A CN110633430B (zh) | 2018-05-31 | 2018-05-31 | 事件发现方法、装置、设备和计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110633430A CN110633430A (zh) | 2019-12-31 |
CN110633430B true CN110633430B (zh) | 2023-07-25 |
Family
ID=68966173
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810550630.4A Active CN110633430B (zh) | 2018-05-31 | 2018-05-31 | 事件发现方法、装置、设备和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110633430B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113360765B (zh) * | 2021-06-28 | 2024-05-07 | 北京百度网讯科技有限公司 | 事件信息的处理方法、装置、电子设备和介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107885873A (zh) * | 2017-11-28 | 2018-04-06 | 百度在线网络技术(北京)有限公司 | 用于输出信息的方法和装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7617176B2 (en) * | 2004-07-13 | 2009-11-10 | Microsoft Corporation | Query-based snippet clustering for search result grouping |
US20060074980A1 (en) * | 2004-09-29 | 2006-04-06 | Sarkar Pte. Ltd. | System for semantically disambiguating text information |
US8843536B1 (en) * | 2004-12-31 | 2014-09-23 | Google Inc. | Methods and systems for providing relevant advertisements or other content for inactive uniform resource locators using search queries |
CN106021418B (zh) * | 2016-05-13 | 2019-09-06 | 北京奇虎科技有限公司 | 新闻事件的聚类方法及装置 |
US10909140B2 (en) * | 2016-09-26 | 2021-02-02 | Splunk Inc. | Clustering events based on extraction rules |
-
2018
- 2018-05-31 CN CN201810550630.4A patent/CN110633430B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107885873A (zh) * | 2017-11-28 | 2018-04-06 | 百度在线网络技术(北京)有限公司 | 用于输出信息的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110633430A (zh) | 2019-12-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110633330B (zh) | 事件发现方法、装置、设备及存储介质 | |
KR100544514B1 (ko) | 검색 쿼리 연관성 판단 방법 및 시스템 | |
US20150234927A1 (en) | Application search method, apparatus, and terminal | |
US8527487B2 (en) | Method and system for automatic construction of information organization structure for related information browsing | |
CN108304444A (zh) | 信息查询方法及装置 | |
WO2007134130A2 (en) | Systems and methods for generating statistics from search engine query logs | |
CN111008321A (zh) | 基于逻辑回归推荐方法、装置、计算设备、可读存储介质 | |
CN111435406A (zh) | 一种纠正数据库语句拼写错误的方法和装置 | |
CN107357794B (zh) | 优化键值数据库的数据存储结构的方法和装置 | |
CN113449168A (zh) | 主题网页数据抓取方法、装置、设备及存储介质 | |
CN111400436A (zh) | 一种基于用户意图识别的搜索方法以及装置 | |
CN113660541A (zh) | 新闻视频的摘要生成方法及装置 | |
CN109101595B (zh) | 一种信息查询方法、装置、设备及计算机可读存储介质 | |
CN110633430B (zh) | 事件发现方法、装置、设备和计算机可读存储介质 | |
CN110874366A (zh) | 数据处理、查询方法和装置 | |
CN103092838B (zh) | 一种获取英文词的方法及装置 | |
CN114491232B (zh) | 信息查询方法、装置、电子设备和存储介质 | |
CN111723201A (zh) | 一种用于文本数据聚类的方法和装置 | |
CN112765118A (zh) | 一种日志查询方法、装置、设备及存储介质 | |
CN112131215B (zh) | 自底向上的数据库信息获取方法及装置 | |
CN108009171B (zh) | 一种提取内容数据的方法和装置 | |
CN102298594A (zh) | 一种适用于大信息量网站的搜索处理方法及装置 | |
CN109241428B (zh) | 用户性别的确定方法、装置、服务器及存储介质 | |
CN113268987B (zh) | 一种实体名称识别方法、装置、电子设备和存储介质 | |
CN108268552B (zh) | 网站信息的处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |