CN113360821B - 更新网站质量特征的方法、装置、设备及存储介质 - Google Patents
更新网站质量特征的方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113360821B CN113360821B CN202110616913.6A CN202110616913A CN113360821B CN 113360821 B CN113360821 B CN 113360821B CN 202110616913 A CN202110616913 A CN 202110616913A CN 113360821 B CN113360821 B CN 113360821B
- Authority
- CN
- China
- Prior art keywords
- website
- attribute information
- websites
- state
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000008859 change Effects 0.000 claims abstract description 53
- 230000004044 response Effects 0.000 claims abstract description 16
- 238000011144 upstream manufacturing Methods 0.000 claims description 27
- 238000013441 quality evaluation Methods 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 15
- 230000002159 abnormal effect Effects 0.000 claims description 12
- 230000004048 modification Effects 0.000 claims description 7
- 238000012986 modification Methods 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 5
- 230000000903 blocking effect Effects 0.000 claims 1
- 238000004590 computer program Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 238000012512 characterization method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 241001061260 Emmelichthys struhsakeri Species 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 241000239290 Araneae Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
- G06F16/972—Access to data in other repository systems, e.g. legacy data or dynamic Web page generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9538—Presentation of query results
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本公开公开了一种更新网站质量特征的方法,涉及计算机技术领域,尤其涉及网站质量特征更新领域和智能推荐领域,可用于智能搜索场景。具体实现方案为:获取用于表征网站的当前状态的网站属性信息;以及响应于网站属性信息所表征的网站的当前状态相比于网站的历史状态有变化,对网站进行网站质量特征更新。
Description
技术领域
本公开涉及计算机技术领域,尤其涉及网站质量特征更新领域和智能推荐领域,可用于智能搜索场景。具体涉及一种更新网站质量特征的方法、装置、设备及存储介质。
背景技术
对于搜索引擎而言,网站是搜索数据的来源,并且网站质量的好坏直接会影响到搜索结果的排序。在搜索应用中,为了优先推荐质量更好的内容,需要周期性更新网站的质量特征。
发明内容
本公开提供了一种更新网站质量特征的方法、装置、设备、存储介质以及计算机程序产品。
根据本公开的一方面,提供了一种更新网站质量特征的方法,包括:获取用于表征网站的当前状态的网站属性信息;以及响应于上述网站属性信息所表征的上述网站的当前状态相比于上述网站的历史状态有变化,对上述网站进行网站质量特征更新。
根据本公开的另一方面,提供了一种更新网站质量特征的装置,包括:第一获取模块,用于获取用于表征网站的当前状态的网站属性信息;以及第一更新模块,用于响应于上述网站属性信息所表征的上述网站的当前状态相比于上述网站的历史状态有变化,对上述网站进行网站质量特征更新。
根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本公开实施例所述的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据本公开实施例所述的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据本公开实施例所述的方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1A示例性示出了适于本公开实施例的系统架构;
图1B示例性示出了可以实现本公开实施例的场景图;
图2示例性示出了根据本公开实施例的更新网站质量特征的方法的流程图;
图3A示例性示出了根据本公开实施例的网站上、下游关系的示意图;
图3B示例性示出了根据本公开实施例的网站内、外链接关系的示意图;
图3C示例性示出了根据本公开实施例的网站结构/垂类信息的示意图;
图3D示例性示出了根据本公开实施例的网站基本属性信息的示意图;
图4示例性示出了根据本公开实施例的更新网站质量特征的装置的框图;以及
图5示例性示出了用来实现本公开实施例的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
在相关技术中,通常会周期性更新所有网站的网站质量特征。对所有网站进行全量更新,通常需要较长的时间周期才能完成,并且整个过程消耗的成本也很高。此外,由于每个网站都会涉及海量的数据,因而如果周期性更新所有网站的网站质量特征,则计算量非常大,以致计算资源难以支撑。
对此,本公开实施例提供了一种改进型的网站质量特征更新方案,可以仅对那些状态发生变化的网站进行网站质量特征更新。即,本公开实施例不再对所有网站进行周期性全量更新,而是仅挖掘出那些状态发生变化的网站进行网站质量更新。
以下将结合附图和具体实施例详细阐述本公开。
适于本公开实施例的更新网站质量特征的方法和装置的系统架构介绍如下。
图1A示例性示出了适于本公开实施例的更新网站质量特征的方法和装置的系统架构。需要注意的是,图1A所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他环境或场景。
如图1A所示,系统架构100可以包括:服务器101和客户端102、103和104。
在本公开实施例中,服务器101可以实时更新任意一个网站的网站质量特征。示例性的,对于任一网站而言,服务器101可以实时监控该网站的网站状态是否发生了变化。响应于监控到该网站的网站状态发生了变化,则对该网站进行网站质量特征更新。
用户可以通过客户端102、103和104等进行智能搜索。在搜索内容涉及多个网站的情况下,搜索引擎可以按照各网站最新的网站质量特征,先对搜索结果进行排序后再推荐用户。由此,可以优先将优质网站提供的信息推荐给用户。
应该理解,图1A中的服务器和客户端的数目仅仅是示意性的。根据实现需要,可以具有任意数目的服务器和客户端。
适于本公开实施例的更新网站质量特征的方法和装置的应用场景介绍如下。
如图1B所示,在智能搜索场景下,每次搜索可能会得到多个搜索结果,因而需要先将搜索结果排序后再推荐给用户。
应该理解,网站质量是影响搜索结果排序的重要依据,而及时更新网站质量特征,可以帮助搜索引擎提供更合理的搜索结果排序,进而可以帮助用户搜索到更优质的网站信息。
因而,本公开实施例提供的网站质量特征更新方法可以应用于智能搜索场景。
根据本公开的实施例,本公开提供了一种更新网站质量特征的方法。
图2示例性示出了根据本公开实施例的更新网站质量特征的方法的流程图。
如图2所示,更新网站质量特征的方法200可以包括:操作S210~S220。
在操作S210,获取用于表征网站的当前状态的网站属性信息。
在操作S220,响应于网站属性信息所表征的网站的当前状态相比于网站的历史状态有变化,对网站进行网站质量特征更新。
在本公开实施例,可以实时监控网站的状态是否发生了变化。在监控到网站的状态发生了变化的情况下,可以实时对网站进行网站质量特征更新。在监控到网站的状态没有发生变化的情况下,可以不对网站进行网站质量特征更新。
这是因为:网站的状态发生了变化,可能意味着网站的网站质量也随之发生了变化;网站的状态比较稳定(即网站的状态没有发生变化),意味着网站的网站质量也比较稳定(即网站的网站质量也没有发生变化)。因而,可以仅对网站状态发生变化的网站进行质量特征更新。
在本公开实施例中,网站属性信息可以表征网站的当前状态,因而可以根据网站属性信息确定网站的当前状态。在确定出网站的当前状态后,可以读取网站的最新历史状态,并比较网站的当前状态是否与其最新历史状态一致。如果两者一致,则表征网站的状态没有发生变化,这种情况下可以不进行网站质量特征更新。如果两者不一致,则表征网站的状态发生了变化,这种情况下可以进行网站质量特征更新。
通过本公开实施例,可以仅对发生了状态变化的网站进行网站质量特征更新,因而不需要再对所有网站全量进行周期性网站质量特征更新,可以缩短更新周期,提高更新效率,以及减少更新过程中对算力资源的占用。同时,可以根据网站的属性信息实时监控网站的状态是否发生了变化,不需要根据网站内容和网站信息的时效性判断是否需要更新网站的质量特征,因而还可以减少成本消耗。
作为一种可选的实施例,可以响应于网站属性信息所表征的网站的当前状态相比于网站的历史状态有异常变化,对网站进行网站质量特征更新。
应该理解,网站的状态既可以发生正向的变化,又可以发生负向的变化。其中,正向的变化通常是正常的状态变化,这种情况下网站的质量通常不太可能随之发生变化,因此可以不做相应的更新操作。负向的变化通常是异常的状态变化,这种情况下网站的质量随之发生变化的可能性很大,因此可以执行相应的更新操作。
通过本公开实施例,可以仅对发生异常状态变化的网站进行网站质量更新,无需对发生正常状态变化的网站进行网站质量更新,因而可以进一步缩短更新周期、提高更新效率、减少更新过程中对算力资源的占用、以及减少成本消耗。
需要说明的是,在本公开实施例中,网站的异常状态变化可以包括但不限于以下中的至少之一:网站改版、网站转让、网站辅助作弊(如网站本身没有问题,但是网站指向了低质网站)、网站被劫持等。
作为一种可选的实施例,网站属性信息可以包括以下至少之一:网站基本属性信息和网站其他属性信息。
其中,在本公开实施例中,网站其他属性信息包括以下至少之一:网站上、下游关系;网站内、外链接关系;网站封禁状态;网站结构信息(又称为网站垂类信息)。
此外,在本公开实施例中,网站基本属性信息可以包括以下中的至少之一:网站的品牌口号;网站的流量、年龄、备案号、名称、性质、IP等信息。
应该理解,如果不基于网站属性信息来判断网站的状态是否发生变化,而是基于网站提供的信息内容来判断网站的状态是否发生变化,则会导致判断结果比较片面。这是因为:一方面,基于网站的信息内容的判断方案需要依赖文本、图片的相似度变化进行判断,因而比较片面;另一方面,网站的信息内容本身就是持续迭代更新的,因而仅根据网站的信息内容进行判断是片面的。并且,采用基于网站提供的信息内容的判断方案,无论判断结果是召回还是准确,都可能存在一定问题。
通过本公开实施例,采用挖掘并基于网站的上下游关系、网站的各类基本属性信息、网站的内外链接关系、网站的封禁状态、网站的目录结构/垂类信息等网站属性信息来判断网站的状态是否异常,可以保证判断结果更全面,进而可以避免过度更新或者漏更新某些网站的质量特征。
作为一种可选的实施例,该方法还包括:在网站其他属性信息包括网站上、下游关系的情况下,执行以下操作。
基于网站上、下游关系,确定当前指向网站的第一网站集合(上游网站集合)和网站当前指向的第二网站集合(下游网站集合)。
确定之前指向网站的第三网站集合(上游网站集合)和网站之前指向的第四网站集合(下游网站集合)。
确定第一网站集合相比于第三网站集合是否有变化。
确定第二网站集合相比于第四网站集合是否有变化。
在确定第一网站集合相比于第三网站集合有变化,和/或在确定第二网站集合相比于第四网站集合有变化的情况下,表征网站的当前状态相比于网站的历史状态有变化。
在本公开实施例中,可以预先根据目标网站对其他网站的指向以及其他网站对目标网站的指向确定目标网站与其关联网站的上、下游关系并绘制对应的网站上、下游关系图谱,并在图谱中标注各网站的质量标记(如不同的颜色作为不同的质量标记)。
因而,在本公开实施例中,可以从网站的上、下游关系图谱中读取各站的上游网站集合和下游网站集合,并读取各网站的质量特征,进而根据读取的结果判断网站的状态变化情况。
示例性的,如图3A所示,从左边的网站上、下游关系图谱(历史图谱)中可以看出当前网站(目标网站)的上游网站包括:两个非低质网站和一个低质网站,下游网站包括:两个非低质网站;从右边的网站上、下游关系图谱(当前图谱)中可以看出当前网站的上游网站包括两个低质网站,下游网站包括:两个低质网站和一个非低质网站。经过对比图3A的左、右两边可以确定,当前网站的当前状态相比于其历史状态而言发生了变化,因而这种情况下可以对当前网站进行网站质量特征更新。
应该理解,在本公开实施例中,指向当前网站的上游网站,即为当前网站提供导流的网站;当前网站指向的下游网站,即为需要当前网站提供导流的网站。
需要说明的是,通常一个网站的上、下游导流关系比较稳定,其上、下游导流网站的质量也比较稳定。比如,优质网站通常会导流给优质网站。因而,在本公开实施例中,可以利用这一规律,一旦发现一个网站开始给低质网站导流,或者发现有低质网站开始给该网站导流,则认为该网站的状态发生了异常变化,进而可以对该网站进行质量特征更新。
作为一种可选的实施例,该方法还包括:在网站其他属性信息包括网站内、外链接关系的情况下,执行以下操作。
基于网站内、外链接关系,确定网站是否发生了网站改版。
在确定网站发生了网站改版的情况下,表征网站的当前状态相比于网站的历史状态有变化。
在本公开实施例中,可以预先根据目标网站对其他网站的指向以及目标网站内部各页面的指向确定目标网站的内、外链接关系并绘制对应的网站的内、外链接关系图谱。
因而,在本公开实施例中,可以从网站的内、外链接关系图谱中读取各站的内、外链接分布以及流量分配,进而根据读取的结果判断网站的状态变化情况,如是否发生了网站改版。
示例性的,如图3B所示,从图谱中可以看出,当前网站与网站A和网站B具有外链接关系,当前网站内部相关网页之间也存在内链接关系。其中,内链接表示网站内部相关网页之间相互导流;外链接表示一个网站为外部的其他网站导流。
需要说明的是,对网站而言,其内、外链接分布和流量占比通常是稳定的。如果网站的内、外链接发生变化,则意味着可能发生了网站改版,这种情况下可以进行网站质量特征更新。
作为一种可选的实施例,该方法还包括:在网站其他属性信息包括网站封禁状态的情况下,执行以下操作。
基于网站封禁状态,确定网站是否已被封禁。
在确定网站已被封禁的情况下,表征网站的当前状态相比于网站的历史状态有变化。
应该理解,对于网站而言,尤其是对于大站而言,通常不会启动网站封禁状态,即通常不太可能对爬虫进行封禁。因而一旦监控到网站启动了封禁状态,则意味着可能网站状态可能发生了异常变化,因而这种情况下可以对网站进行质量特征更新。
此外,可以根据robots协议内容确定网站是否启动了网站封禁状态。需要说明的是,robots协议是一种存放于网站根目录下的ASCLL编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不应被搜索引擎的漫游器获取的,哪些是可以被搜索引擎的漫游器获取的。
作为一种可选的实施例,该方法还包括:在网站其他属性信息包括网站结构信息的情况下,执行以下操作。
基于网站结构信息,确定网站是否发生了网站改版。
在确定网站发生了网站改版的情况下,表征网站的当前状态相比于网站的历史状态有变化。
应该理解,在本公开实施例中,网站结构信息即网站目录结构信息,又称为网站垂类信息。网站结构/垂类信息可以从网站的导航块读取。示例性的,网站的导航块呈现的网站结构/垂类信息如图3C所示。
需要说明的是,网站结构/垂类信息可以体现网站的整体架构是否发生了变化,因而可以根据该信息确定网站是否发生了状态变化。
作为一种可选的实施例,该方法还包括:在网站属性信息包括网站基本属性信息的情况下,执行以下操作。
基于网站基本属性信息,确定网站是否发生了网站转让。
在确定网站发生了网站转让的情况下,表征网站的当前状态相比于网站的历史状态有变化。
示例性的,如图3D所示,网站的基本属性信息可以包括网站的品牌口号,网站的流量、年龄、备案号、名称、性质、IP等信息。
应该理解,如果网站发生变更(如转让),以上信息是可以体现的。还应该理解,通常网站(尤其是大站)是不会发生转让的。因而一旦监控到网站发生了转让,则可以认为网站的状态发生了变化,甚至可以认为网站的状态发生了异常变化。因而这种情况下可以对网站进行质量特征变更。
示例性的,如网站的流量等变化大,或者网站的性质发生了变化,或者同IP的网站数增加了,或者网站的备案号发生了变化等,都可能表示网站的状态发生了异常变化。因而这种情况下可以对网站进行质量特征变更。
作为一种可选的实施例,该方法还包括如下操作。
针对网站中的至少一个种子页,获取至少一个种子页的当前质量评价值和历史质量评价值。
基于当前质量评价值和历史质量评价值,确定至少一个种子页是否已被非法劫持。
响应于确定至少一个种子页已被非法劫持,对网站进行网站质量特征更新。
需要说明的是,在本公开实施例中,除了可以基于网站的属性信息确定网站的状态是否发生了变化之外,还可以将网站中的一些种子页作为补充,并基于这些种子页的页面信息内容判断这些种子页(即种子页所在的网站)是否被非法劫持了。并且,在确定这些种子页被非法劫持了的情况下,可以对网站进行网站质量特征更新。
应该理解,虽然基于网站属性信息基本可以确定网站的状态是否发生了变化,但是还是可以抽样一些种子页面并以这些种子页面的质量作为补充,进一步检验网站是否发生了异常变化。其中,种子页面可以包括但不限于以下中的至少之一:网站首页、网站频道页、网站中最新出现的链接页面(即最新发布的网站页面)、网站中出现的历史积累页面(即之前发布的网站页面)。
对于抽取的种子页,可以进一步获取这些页面的当前质量评价值(当前质量打分)和/或历史质量评价值(历史质量打分),并以网站为整体,对比网站的当前质量评价值和历史质量评价值。
如果发现当前质量评价值和历史质量评价值之间存在较大差异,则认为网站需重点关注,这种情况下可以认为网站发生了状态变化,可以进行网站质量特征更新了。
应该理解,以上类型的种子页面是被非法劫持的高发页面,因而可以重点监控,并由此判断网站是否发生了状态变化。
作为一种可选的实施例,该方法还包括如下操作。
响应于网站属性信息所表征的网站的当前状态相比于网站的历史状态没有变化,且确定至少一个种子页也没有被非法劫持,基于网站属性信息和至少一个种子页进行信息融合,得到对应的信息融合结果。
基于信息融合结果,确定是否对网站进行网站质量特征更新。
在本公开实施例中,在基于网站属性信息和以上类型的种子页面确定网站的状态没有变化(即网站正常)的情况下,还可以对网站的上述属性信息和网站的上述种子页面进行信息融合,以便进一步确定是否需要对网站进行质量特征更新。
示例性的,可以采用以下公式对网站的各类特征求取加权平均值,并基于对应的计算结果最终确定网站的状态是否发生了异常变化。
score=sigmoid(∑w*site_info_value())
其中,公式中,w表示各类网站特征的权重参数,site_info_value()表示各类网站特征的特征值,sigmoid()表示函数。
根据本公开的实施例,本公开还提供了一种更新网站质量特征的装置。
图4示例性示出了根据本公开实施例的更新网站质量特征的装置的框图。
如图4所示,更新网站质量特征的装置400可以包括:第一获取模块410和第一更新模块420。
第一获取模块410,用于获取用于表征网站的当前状态的网站属性信息。
第一更新模块420,用于响应于该网站属性信息所表征的该网站的当前状态相比于该网站的历史状态有变化,对该网站进行网站质量特征更新。
作为一种可选的实施例,该第一更新模块,还用于响应于该网站属性信息所表征的该网站的当前状态相比于该网站的历史状态有异常变化,对该网站进行网站质量特征更新。
作为一种可选的实施例,该网站属性信息包括以下至少之一:网站基本属性信息和网站其他属性信息。其中,该网站其他属性信息包括以下至少之一:网站上、下游关系;网站内、外链接关系;网站封禁状态;网站结构信息。
作为一种可选的实施例,装置还包括:第一确定模块,用于在该网站其他属性信息包括该网站上、下游关系的情况下,基于该网站上、下游关系,确定当前指向该网站的第一网站集合和该网站当前指向的第二网站集合;第二确定模块,用于确定之前指向该网站的第三网站集合和该网站之前指向的第四网站集合;第三确定模块,用于确定该第一网站集合相比于该第三网站集合是否有变化;第四确定模块,用于确定该第二网站集合相比于该第四网站集合是否有变化;以及第五确定模块,用于在确定该第一网站集合相比于该第三网站集合有变化,和/或在确定该第二网站集合相比于该第四网站集合有变化的情况下,表征该网站的当前状态相比于该网站的历史状态有变化。
作为一种可选的实施例,装置还包括:第六确定模块,用于在该网站其他属性信息包括该网站内、外链接关系的情况下,基于该网站内、外链接关系,确定该网站是否发生了网站改版;以及第七确定模块,用于在确定该网站发生了网站改版的情况下,表征该网站的当前状态相比于该网站的历史状态有变化。
作为一种可选的实施例,装置还包括:第八确定模块,用于在该网站其他属性信息包括该网站封禁状态的情况下,基于该网站封禁状态,确定该网站是否已被封禁;以及第九确定模块,用于在确定该网站已被封禁的情况下,表征该网站的当前状态相比于该网站的历史状态有变化。
作为一种可选的实施例,装置还包括:第十确定模块,用于在该网站其他属性信息包括该网站结构信息的情况下,基于该网站结构信息,确定该网站是否发生了网站改版;以及第十一确定模块,用于在确定该网站发生了网站改版的情况下,表征该网站的当前状态相比于该网站的历史状态有变化。
作为一种可选的实施例,装置还包括:第十二确定模块,用于在该网站属性信息包括该网站基本属性信息的情况下,基于该网站基本属性信息,确定该网站是否发生了网站转让;以及第十三确定模块,用于在确定该网站发生了网站转让的情况下,表征该网站的当前状态相比于该网站的历史状态有变化。
作为一种可选的实施例,装置还包括:第二获取模块,用于针对该网站中的至少一个种子页,获取该至少一个种子页的当前质量评价值和历史质量评价值;第十四确定模块,用于基于该当前质量评价值和该历史质量评价值,确定该至少一个种子页是否已被非法劫持;以及第二更新模块,用于响应于确定该至少一个种子页已被非法劫持,对该网站进行网站质量特征更新。
作为一种可选的实施例,装置还包括:信息融合模块,用于响应于该网站属性信息所表征的该网站的当前状态相比于该网站的历史状态没有变化,且确定该至少一个种子页也没有被非法劫持,基于网站属性信息和该至少一个种子页进行信息融合,得到对应的信息融合结果;以及第十五确定模块,用于基于该信息融合结果,确定是否对该网站进行网站质量特征更新。
应该理解,本公开装置部分的实施例与本公开方法部分的实施例对应相同或类似,所解决的技术问题和所达到的技术效果也对应相同或类似,在此不再赘述。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图5所示,电子设备500包括计算单元501,其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序,来执行各种适当的动作和处理。在RAM 503中,还可存储电子设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
电子设备500中的多个部件连接至I/O接口505,包括:输入单元506,例如键盘、鼠标等;输出单元507,例如各种类型的显示器、扬声器等;存储单元508,例如磁盘、光盘等;以及通信单元509,例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理,例如更新网站质量特征的方法。例如,在一些实施例中,更新网站质量特征的方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元508。在一些实施例中,计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时,可以执行上文描述的更新网站质量特征的方法的一个或多个步骤。备选地,在其他实施例中,计算单元501可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行更新网站质量特征的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务(″Virtual Private Server″,或简称″VPS″)中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
本公开的技术方案中,所涉及的网站属性信息的记录,存储和应用等,均符合相关法律法规的规定,且不违背公序良俗。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (14)
1.一种更新网站质量特征的方法,包括:
获取用于表征网站的当前状态的网站属性信息;以及
响应于所述网站属性信息所表征的所述网站的当前状态相比于所述网站的历史状态有变化,对所述网站进行网站质量特征更新,包括:响应于所述网站属性信息所表征的所述网站的当前状态相比于所述网站的历史状态有异常变化,对所述网站进行网站质量特征更新;
针对所述网站中的至少一个种子页,获取所述至少一个种子页的当前质量评价值和历史质量评价值;
基于所述当前质量评价值和所述历史质量评价值,确定所述至少一个种子页是否已被非法劫持;
响应于确定所述至少一个种子页已被非法劫持,对所述网站进行网站质量特征更新;
响应于所述网站属性信息所表征的所述网站的当前状态相比于所述网站的历史状态没有变化,且确定所述至少一个种子页也没有被非法劫持,基于网站属性信息和所述至少一个种子页进行信息融合,得到对应的信息融合结果;以及
基于所述信息融合结果,确定是否对所述网站进行网站质量特征更新;
其中,所述网站属性信息包括以下至少之一:网站基本属性信息和网站其他属性信息,其中,所述网站其他属性信息包括以下至少之一:
网站上、下游关系;
网站内、外链接关系;
网站封禁状态;
网站结构信息。
2.根据权利要求1所述的方法,还包括:在所述网站其他属性信息包括所述网站上、下游关系的情况下,
基于所述网站上、下游关系,确定当前指向所述网站的第一网站集合和所述网站当前指向的第二网站集合;
确定之前指向所述网站的第三网站集合和所述网站之前指向的第四网站集合;
确定所述第一网站集合相比于所述第三网站集合是否有变化;
确定所述第二网站集合相比于所述第四网站集合是否有变化;以及
在确定所述第一网站集合相比于所述第三网站集合有变化,和/或在确定所述第二网站集合相比于所述第四网站集合有变化的情况下,表征所述网站的当前状态相比于所述网站的历史状态有变化。
3. 根据权利要求1所述的方法,还包括:在所述网站其他属性信息包括所述网站内、外链接关系的情况下,
基于所述网站内、外链接关系,确定所述网站是否发生了网站改版;以及
在确定所述网站发生了网站改版的情况下,表征所述网站的当前状态相比于所述网站的历史状态有变化。
4. 根据权利要求1所述的方法,还包括:在所述网站其他属性信息包括所述网站封禁状态的情况下,
基于所述网站封禁状态,确定所述网站是否已被封禁;以及
在确定所述网站已被封禁的情况下,表征所述网站的当前状态相比于所述网站的历史状态有变化。
5. 根据权利要求1所述的方法,还包括:在所述网站其他属性信息包括所述网站结构信息的情况下,
基于所述网站结构信息,确定所述网站是否发生了网站改版;以及
在确定所述网站发生了网站改版的情况下,表征所述网站的当前状态相比于所述网站的历史状态有变化。
6. 根据权利要求1所述的方法,还包括:在所述网站属性信息包括所述网站基本属性信息的情况下,
基于所述网站基本属性信息,确定所述网站是否发生了网站转让;以及
在确定所述网站发生了网站转让的情况下,表征所述网站的当前状态相比于所述网站的历史状态有变化。
7.一种更新网站质量特征的装置,包括:
第一获取模块,用于获取用于表征网站的当前状态的网站属性信息;
第一更新模块,用于响应于所述网站属性信息所表征的所述网站的当前状态相比于所述网站的历史状态有变化,对所述网站进行网站质量特征更新;所述第一更新模块还用于响应于所述网站属性信息所表征的所述网站的当前状态相比于所述网站的历史状态有异常变化,对所述网站进行网站质量特征更新;
第二获取模块,用于针对所述网站中的至少一个种子页,获取所述至少一个种子页的当前质量评价值和历史质量评价值;
第十四确定模块,用于基于所述当前质量评价值和所述历史质量评价值,确定所述至少一个种子页是否已被非法劫持;
第二更新模块,用于响应于确定所述至少一个种子页已被非法劫持,对所述网站进行网站质量特征更新;
信息融合模块,用于响应于所述网站属性信息所表征的所述网站的当前状态相比于所述网站的历史状态没有变化,且确定所述至少一个种子页也没有被非法劫持,基于网站属性信息和所述至少一个种子页进行信息融合,得到对应的信息融合结果;以及
第十五确定模块,用于基于所述信息融合结果,确定是否对所述网站进行网站质量特征更新;
所述网站属性信息包括以下至少之一:网站基本属性信息和网站其他属性信息,其中,所述网站其他属性信息包括以下至少之一:
网站上、下游关系;
网站内、外链接关系;
网站封禁状态;
网站结构信息。
8.根据权利要求7所述的装置,还包括:
第一确定模块,用于在所述网站其他属性信息包括所述网站上、下游关系的情况下,基于所述网站上、下游关系,确定当前指向所述网站的第一网站集合和所述网站当前指向的第二网站集合;
第二确定模块,用于确定之前指向所述网站的第三网站集合和所述网站之前指向的第四网站集合;
第三确定模块,用于确定所述第一网站集合相比于所述第三网站集合是否有变化;
第四确定模块,用于确定所述第二网站集合相比于所述第四网站集合是否有变化;以及
第五确定模块,用于在确定所述第一网站集合相比于所述第三网站集合有变化,和/或在确定所述第二网站集合相比于所述第四网站集合有变化的情况下,表征所述网站的当前状态相比于所述网站的历史状态有变化。
9. 根据权利要求7所述的装置,还包括:
第六确定模块,用于在所述网站其他属性信息包括所述网站内、外链接关系的情况下,基于所述网站内、外链接关系,确定所述网站是否发生了网站改版;以及
第七确定模块,用于在确定所述网站发生了网站改版的情况下,表征所述网站的当前状态相比于所述网站的历史状态有变化。
10. 根据权利要求7所述的装置,还包括:
第八确定模块,用于在所述网站其他属性信息包括所述网站封禁状态的情况下,基于所述网站封禁状态,确定所述网站是否已被封禁;以及
第九确定模块,用于在确定所述网站已被封禁的情况下,表征所述网站的当前状态相比于所述网站的历史状态有变化。
11. 根据权利要求7所述的装置,还包括:
第十确定模块,用于在所述网站其他属性信息包括所述网站结构信息的情况下,基于所述网站结构信息,确定所述网站是否发生了网站改版;以及
第十一确定模块,用于在确定所述网站发生了网站改版的情况下,表征所述网站的当前状态相比于所述网站的历史状态有变化。
12. 根据权利要求7所述的装置,还包括:
第十二确定模块,用于在所述网站属性信息包括所述网站基本属性信息的情况下,基于所述网站基本属性信息,确定所述网站是否发生了网站转让;以及
第十三确定模块,用于在确定所述网站发生了网站转让的情况下,表征所述网站的当前状态相比于所述网站的历史状态有变化。
13. 一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110616913.6A CN113360821B (zh) | 2021-06-02 | 2021-06-02 | 更新网站质量特征的方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110616913.6A CN113360821B (zh) | 2021-06-02 | 2021-06-02 | 更新网站质量特征的方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113360821A CN113360821A (zh) | 2021-09-07 |
CN113360821B true CN113360821B (zh) | 2023-08-04 |
Family
ID=77531481
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110616913.6A Active CN113360821B (zh) | 2021-06-02 | 2021-06-02 | 更新网站质量特征的方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113360821B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9621576B1 (en) * | 2014-12-31 | 2017-04-11 | EMC IP Holding Company LLC | Detecting malicious websites |
CN112650910A (zh) * | 2020-12-30 | 2021-04-13 | 北京百度网讯科技有限公司 | 确定网站更新信息的方法、装置、设备和存储介质 |
-
2021
- 2021-06-02 CN CN202110616913.6A patent/CN113360821B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9621576B1 (en) * | 2014-12-31 | 2017-04-11 | EMC IP Holding Company LLC | Detecting malicious websites |
CN112650910A (zh) * | 2020-12-30 | 2021-04-13 | 北京百度网讯科技有限公司 | 确定网站更新信息的方法、装置、设备和存储介质 |
Non-Patent Citations (1)
Title |
---|
基于更新信息的网页机器理解及其在站内搜索引擎中应用;吴修庆;;工业控制计算机(第02期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113360821A (zh) | 2021-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20130173655A1 (en) | Selective fetching of search results | |
CN112765452B (zh) | 搜索推荐方法、装置及电子设备 | |
CN112559631B (zh) | 分布式图数据库的数据处理方法、装置以及电子设备 | |
CN113961510B (zh) | 一种文件处理方法、装置、设备及存储介质 | |
CN114003613A (zh) | 高精地图车道线更新方法、装置、电子设备以及存储介质 | |
CN114880337B (zh) | 地图数据一体化更新方法、装置、设备以及存储介质 | |
CN114428902B (zh) | 信息搜索方法、装置、电子设备及存储介质 | |
CN112508115A (zh) | 建立节点表示模型的方法、装置、设备和计算机存储介质 | |
CN113360821B (zh) | 更新网站质量特征的方法、装置、设备及存储介质 | |
CN112887426B (zh) | 信息流的推送方法、装置、电子设备以及存储介质 | |
CN115168732A (zh) | 资源推荐方法、装置、设备以及存储介质 | |
CN113032251B (zh) | 应用程序服务质量的确定方法、设备和存储介质 | |
CN112800315B (zh) | 数据处理方法、装置、设备及存储介质 | |
CN114969444A (zh) | 数据的处理方法、装置、电子设备和存储介质 | |
CN114138358A (zh) | 应用程序的启动优化方法、装置、设备和存储介质 | |
CN114357180A (zh) | 知识图谱的更新方法及电子设备 | |
CN113239296B (zh) | 小程序的展示方法、装置、设备和介质 | |
CN114485716B (zh) | 车道渲染方法、装置、电子设备及存储介质 | |
CN112860638B (zh) | 数据存储的监控方法、装置和电子设备 | |
CN113656671B (zh) | 模型训练方法、链接评分方法、装置、设备、介质和产品 | |
CN113569144B (zh) | 推广内容的检索方法、装置、设备、存储介质及程序产品 | |
CN113254993B (zh) | 数据保护方法、装置、设备、存储介质和程序产品 | |
CN116051287B (zh) | 一种数据的分析方法、装置、电子设备及存储介质 | |
CN112783507B (zh) | 数据引流回放方法、装置、电子设备及可读存储介质 | |
CN115905498A (zh) | 数据检索方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |