CN112307289A - 搜索方法、节点及存储介质 - Google Patents
搜索方法、节点及存储介质 Download PDFInfo
- Publication number
- CN112307289A CN112307289A CN201910697143.5A CN201910697143A CN112307289A CN 112307289 A CN112307289 A CN 112307289A CN 201910697143 A CN201910697143 A CN 201910697143A CN 112307289 A CN112307289 A CN 112307289A
- Authority
- CN
- China
- Prior art keywords
- node
- search
- nodes
- user
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9538—Presentation of query results
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供一种搜索方法、节点及存储介质,涉及信息搜索技术领域,能够解决现有搜索引擎存在的运行成本很高,搜索结果非实时以及用户隐私保护差的问题。具体技术方案为:当用户需要搜索时,直接在用户当前使用的节点上输入搜索请求,该节点根据搜索请求确定一定数量的协同搜索节点后将搜索请求转发给各个协同搜索节点,各个协同搜索节点启动爬虫实时爬取搜索结果,该节点接收各个协同搜索节点的实时搜索结果并进行处理后反馈给用户,通过一定数量级的协同搜索节点进行实时搜索协助,整个搜索过程去中心化,大量节点协同配合、实时检索,搜索结果经相关处理后实时向用户反馈,省去了预下载网页库,节省了大量中心存储、中心计算、中心带宽资源。
Description
技术领域
本公开涉及信息搜索技术领域,尤其涉及搜索方法、节点及存储介质。
背景技术
随着互联网的发展,数以兆亿计的信息源(网站、系统、设备等)连接到互联网中,海量的信息分散存储在数据源中,如何查找这些信息数据,方便用户快速、精准的查找信息就成了一个互联网基础技术问题。
上世纪90年代以雅虎为代表的网站分类目录查询非常流行,网站分类目录由人工整理维护,精选互联网上的优秀网站,并简要描述,分类放置到不同目录下,用户查询时,通过层层点击来查找自己想找的网站。2000年以后,谷歌、百度为代表的搜索引擎崛起,这是基于数据信息爬取、海量数据存储、信息分类索引和信息排名技术,全自动地把互联网上的信息收集归类并以搜索网站的形式展现,让用户能够方便快捷的找到想要的信息。
现有的搜索引擎,例如Google、百度、必应等,通常都是由搜索引擎的爬虫程序先获得互联网中的信息,然后对这些信息建立集中的索引并集中存储在中心服务器中。当用户提交一个搜索请求的时候,通过查找索引然后从中心服务器存储的网页中获取搜索结果后向返回用户相关信息。
现有的搜索技术存在以下不足:随着互联网数据量的指数级增长(更多的设备接入到互联网),现有搜索引擎数据存储和检索需要耗费大量的存储和检索硬件资源,运行成本非常高;现有搜索引擎都是从中心服务器存储的网页中获取搜索结果,随着在线信息的实时性的增强,搜索引擎难以进行实时地更新,提供给用户的搜索结果数据并不是实时数据信息,过时的冗余信息降低了搜索的质量,无法支持用户获取即时信息的要求,另外,而且部分搜索引擎竞价排名的盈利模式还会导致搜索结果不精准、很不客观,导致用户体验很差;现有搜索引擎都是从互联网上获取数据信息并集中存储到自己的服务器中,现有搜索引擎服务提供者可以通过用户的搜索行为,获取用户行为数据的隐私并牟利,对用户隐私造成侵犯。
发明内容
本公开实施例提供一种搜索方法、节点及存储介质,能够解决现有搜索引擎存在的运行成本很高,搜索结果非实时以及用户隐私保护差的问题。所述技术方案如下:
根据本公开实施例的第一方面,提供一种搜索方法,该方法包括:
节点获取用户的搜索请求;其中,该节点为用户当前使用的节点,用户在该节点输入搜索请求;
该节点根据搜索请求确定协同搜索节点;其中,协同搜索节点包括以下至少一种:与该节点相连的1级节点、与N-1级节点相连的N级节点,其中N为大于1的正整数;
该节点将搜索请求转发给协同搜索节点;
该节点获取协同搜索节点根据搜索请求通过各自的搜索模块得到的搜索结果;
该节点根据预设算法处理获取到的搜索结果;
该节点将处理后得到的搜索结果反馈给用户。
用户需要搜索时,直接在用户节点(用户当前使用的节点)上输入搜索请求,该节点根据搜索请求确定一定数量的协同搜索节点后将搜索请求转发给各个协同搜索节点,该节点接收各个协同搜索节点的实时搜索结果并进行处理后反馈给用户,通过一定数量级的协同搜索节点进行实时搜索协助,整个搜索过程去中心化,大量节点协同配合、实时检索,搜索结果经相关处理后实时向用户反馈并且搜索结果完全不需占用大量存储空间去存储,省去了预下载网页库,节省了大量中心存储、中心计算、中心带宽资源,有效地解决了现有搜索技术去搜索引擎的中心服务器存储的过时信息搜索结果非实时、中心化存储数据运营成本极高以及中心节点随意篡改搜索结果、获取用户搜索行为信息侵犯用户隐私的问题。
在一个实施例中,在该节点获取用户的搜索请求之后,该方法还包括:
该节点根据搜索请求调用自身的搜索模块进行搜索并获取该节点的搜索结果;
相应的,该节点根据预设算法处理获取到的搜索结果,包括:
该节点根据预设算法处理协同搜索节点的搜索结果以及该节点的搜索结果。
如果用户节点自身计算力有限,可以将搜索请求分发给协同搜索节点,借助各个协同搜索节点完成实时搜索,用户节点可以专注于接收各个协同搜索节点返回的搜索结果并进行处理,当然用户节点也是可以利用自身计算力去实时搜索并合并处理所有搜索结果。
在一个实施例中,该节点根据搜索请求调用自身的搜索模块进行搜索并获取该节点的搜索结果,包括:
该节点根据搜索请求启动爬虫程序去互联网实时爬取数据并进行预设处理后得到索引数据;其中,预设处理包括:对数据进行汇聚、分析、排序以及筛选;
该节点获取协同搜索节点根据搜索请求通过自身的搜索模块进行搜索后得到的搜索结果,包括:
该节点获取协同搜索节点根据搜索请求启动爬虫程序去互联网实时爬取数据并进行预设处理后得到的索引数据。
网络中每个节点本身都安装有爬虫程序,用户节点和协同搜索节点根据搜索请求启动自身的爬虫程序去互联网爬取实时数据后进行相应处理得到索引数据,相较于现有搜索引擎从中心服务器存储的过时信息为用户搜索请求匹配索引数据,实现了实时爬取实时反馈展现。
在一个实施例中,该节点根据预设算法处理获取到的搜索结果,包括:
该节点将该节点的索引数据与协同搜索节点的索引数据进行合并、去重、排序以及筛选处理。
用户节点通过对汇总的所有索引数据进行合并、去重、排序以及筛选处理后,得到匹配用户搜索请求的索引数据展现给用户,有效整合搜索结果,提高用户体验。
在一个实施例中,该方法还包括:
该节点向1级节点发送信息并根据反馈情况更新节点间连接状态信息;或,
该节点根据1级节点发送的信息向1级节点反馈信息以使1级节点更新该节点的连接状态信息。
网络上互连的节点之间定期发送心跳信息并互相反馈应答便于节点间互相更新连接状态信息,从而在节点转发搜索请求时可以正常转发避免发给已经断开连接的节点,提高转发效率、搜索效率以及提升用户体验。
根据本公开实施例的第二方面,提供一种搜索方法,包括:
节点接收相连节点传输的来自于用户节点的搜索请求;其中,用户节点为用户当前使用的节点,用户在用户节点输入搜索请求;
该节点根据搜索请求调用自身的搜索模块进行搜索并获取该节点的搜索结果;
该节点向其他相连节点转发搜索请求;其中,其他相连节点包括与该节点相连的除该相连节点以外的节点;
该节点获取其他相连节点根据搜索请求完成检索后回传的搜索结果;
该节点根据预设算法处理该节点的搜索结果以及其他相连节点的搜索结果;
该节点向该相连节点传输处理后得到的搜索结果。
用户需要搜索时,在用户节点(用户当前使用的节点)上输入搜索请求,与用户节点相连的节点、与前述节点相连的节点以及后续级联的节点可以作为本次用户搜索的协同搜索节点,每个协同搜索节点从与其相连的节点处接收来自用户节点的搜索请求,每个协同搜索节点还会将用户节点的搜索请求向与其连接的其他相连节点转发以便其他相连节点协助搜索,每个协同搜索节点根据搜索请求后进行实时检索,将实时搜索结果并进行处理后回传给向其转发搜索请求的节点。最终所有协同搜索节点的搜索结果均会上传给用户节点,用户节点对汇总的搜索结果进行相关处理后展示给用户。整个搜索过程去中心化,大量节点协同配合、实时检索,搜索结果经相关处理后实时向用户反馈并且搜索结果完全不需占用大量存储空间去存储,省去了预下载网页库,节省了大量中心存储、中心计算、中心带宽资源,有效地解决了现有搜索技术去搜索引擎的中心服务器存储的过时信息搜索结果非实时、中心化存储数据运营成本极高以及中心节点随意篡改搜索结果、获取用户搜索行为信息侵犯用户隐私的问题。
在一个实施例中,该节点根据搜索请求调用自身的搜索模块进行搜索并获取该节点的搜索结果,包括:
该节点根据搜索请求启动爬虫程序去互联网实时爬取数据并进行预设处理后得到索引数据;其中,预设处理包括:对数据进行汇聚、分析、排序以及筛选。
每个协同搜索节点本身都安装有爬虫程序,协同搜索节点根据搜索请求启动自身的爬虫程序去互联网爬取实时数据后进行相应处理得到索引数据,相较于现有搜索引擎从中心服务器存储的过时信息为用户搜索请求匹配索引数据,实现了实时爬取实时反馈展现。
在一个实施例中,该节点根据预设算法处理该节点的搜索结果以及其他相连节点的搜索结果,包括:
该节点将该节点的索引数据与其他相连节点的索引数据进行合并、去重、排序以及筛选处理。
每个协同搜索节点对自身搜索得到的索引数据以及其他相连节点回传的索引数据进行合并、去重、排序以及筛选处理,有效整合搜索结果避免处理大量数据对节点造成负担。
在一个实施例中,该方法还包括:
该节点向相连节点发送信息并根据反馈情况更新节点间连接状态信息;或,
该节点根据相连节点发送的信息向相连节点反馈信息以使相连节点更新该节点的连接状态信息。
网络上互连的节点之间定期发送心跳信息并互相反馈应答便于节点间互相更新连接状态信息,从而在节点转发搜索请求时可以正常转发避免发给已经断开连接的节点,提高转发效率、搜索效率以及提升用户体验。
根据本公开实施例的第三方面,提供一种搜索方法,包括:
节点接收相连节点传输的来自于用户节点的搜索请求;其中,用户节点为用户当前使用的节点,用户在用户节点输入搜索请求;
该节点根据搜索请求调用自身的搜索模块进行搜索并对搜索结果进行处理;
该节点向相连节点发送处理后得到的搜索结果。
用户需要搜索时,在用户节点(用户当前使用的节点)上输入搜索请求,与用户节点相连的节点、与前述节点相连的节点以及后续级联的节点可以作为本次用户搜索的协同搜索节点,作为协同搜索节点中特殊的一类节点,该节点除了与向其转发用户搜索请求的相连节点外不再与其他节点相连,该节点从相连节点处接收到用户搜索请求后根据搜索请求后进行实时检索,将实时搜索结果并进行处理后回传给前述相连节点。最终所有协同搜索节点的搜索结果均会上传给用户节点,用户节点对汇总的搜索结果进行相关处理后展示给用户。整个搜索过程去中心化,大量节点协同配合、实时检索,搜索结果经相关处理后实时向用户反馈并且搜索结果完全不需占用大量存储空间去存储,省去了预下载网页库,节省了大量中心存储、中心计算、中心带宽资源,有效地解决了现有搜索技术去搜索引擎的中心服务器存储的过时信息搜索结果非实时、中心化存储数据运营成本极高以及中心节点随意篡改搜索结果、获取用户搜索行为信息侵犯用户隐私的问题。
在一个实施例中,该节点根据搜索请求调用自身的搜索模块进行搜索并对搜索结果进行处理,包括:
该节点根据搜索请求启动爬虫程序去互联网实时爬取数据并进行预设处理后得到索引数据;其中,预设处理包括:对数据进行汇聚、分析、排序以及筛选;
相应的,该节点向相连节点发送处理后得到的搜索结果,包括:该节点向相连节点发送处理后得到的索引数据。
每个协同搜索节点本身都安装有爬虫程序,协同搜索节点根据搜索请求启动自身的爬虫程序去互联网爬取实时数据后进行相应处理得到索引数据,相较于现有搜索引擎从中心服务器存储的过时信息为用户搜索请求匹配索引数据,实现了实时爬取实时反馈展现。
在一个实施例中,该方法还包括:
该节点向相连节点发送信息并根据反馈情况更新节点间连接状态信息;或,
该节点根据相连节点发送的信息向相连节点反馈信息以使相连节点更新该节点的连接状态信息。
网络上互连的节点之间定期发送心跳信息并互相反馈应答便于节点间互相更新连接状态信息,从而在节点转发搜索请求时可以正常转发避免发给已经断开连接的节点,提高转发效率、搜索效率以及提升用户体验。
根据本公开实施例的第四方面,提供一种节点,包括:
第一获取模块,用于获取用户的搜索请求;其中,该节点为用户当前使用的节点,用户在该节点输入搜索请求;
确定模块,用于根据搜索请求确定协同搜索节点;其中,协同搜索节点包括以下至少一种:与该节点相连的1级节点、与N-1级节点相连的N级节点,其中N为大于1的正整数;
转发模块,用于将搜索请求转发给协同搜索节点;
第二获取模块,用于获取协同搜索节点根据所述搜索请求通过各自的搜索模块得到的搜索结果;
处理模块,用于根据预设算法处理获取到的搜索结果;
反馈模块,用于处理后得到的搜索结果反馈给所述用户。
用户需要搜索时,直接在用户节点(用户当前使用的节点)上输入搜索请求,该节点根据搜索请求确定一定数量的协同搜索节点后将搜索请求转发给各个协同搜索节点,该节点接收各个协同搜索节点的实时搜索结果并进行处理后反馈给用户,通过一定数量级的协同搜索节点进行实时搜索协助,整个搜索过程去中心化,大量节点协同配合、实时检索,搜索结果经相关处理后实时向用户反馈并且搜索结果完全不需占用大量存储空间去存储,省去了预下载网页库,节省了大量中心存储、中心计算、中心带宽资源,有效地解决了现有搜索技术去搜索引擎的中心服务器存储的过时信息搜索结果非实时、中心化存储数据运营成本极高以及中心节点随意篡改搜索结果、获取用户搜索行为信息侵犯用户隐私的问题。
在一个实施例中,该节点还包括:
搜索模块,用于根据搜索请求进行搜索并获取该节点的搜索结果;
相应的,处理模块具体用于:根据预设算法处理协同搜索节点的搜索结果以及该节点的搜索结果。
如果用户节点自身计算力有限,可以将搜索请求分发给协同搜索节点,借助各个协同搜索节点完成实时搜索,用户节点可以专注于接收各个协同搜索节点返回的搜索结果并进行处理,当然用户节点也是可以利用自身计算力去实时搜索并合并处理所有搜索结果。
在一个实施例中,搜索模块具体用于:
根据搜索请求启动爬虫程序去互联网实时爬取数据并进行预设处理后得到索引数据;其中,预设处理包括:对数据进行汇聚、分析、排序以及筛选;
第二获取模块具体用于:获取协同搜索节点根据搜索请求启动爬虫程序去互联网实时爬取数据并进行预设处理后得到的索引数据。
网络中每个节点本身都安装有爬虫程序,用户节点和协同搜索节点根据搜索请求启动自身的爬虫程序去互联网爬取实时数据后进行相应处理得到索引数据,相较于现有搜索引擎从中心服务器存储的过时信息为用户搜索请求匹配索引数据,实现了实时爬取实时反馈展现。
在一个实施例中,处理模块具体用于:
将该节点的索引数据与协同搜索节点的索引数据进行合并、去重、排序以及筛选处理。
用户节点通过对汇总的所有索引数据进行合并、去重、排序以及筛选处理后,得到匹配用户搜索请求的索引数据展现给用户,有效整合搜索结果,提高用户体验。
在一个实施例中,该节点还包括:
更新模块,用于向1级节点发送信息并根据反馈情况更新节点间连接状态信息;或,
更新模块,还用于根据1级节点发送的信息向1级节点反馈信息以使1级节点更新该节点的连接状态信息。
网络上互连的节点之间定期发送心跳信息并互相反馈应答便于节点间互相更新连接状态信息,从而在节点转发搜索请求时可以正常转发避免发给已经断开连接的节点,提高转发效率、搜索效率以及提升用户体验。
根据本公开实施例的第五方面,提供一种节点,包括:
接收模块,用于接收相连节点传输的来自于用户节点的搜索请求;其中,用户节点为用户当前使用的节点,用户在用户节点输入搜索请求;
搜索模块,用于根据搜索请求进行搜索并获取该节点的搜索结果;
转发模块,用于向其他相连节点转发搜索请求;其中,其他相连节点包括与该节点相连的除该相连节点以外的节点;
获取模块,用于获取其他相连节点根据搜索请求完成检索后回传的搜索结果;
处理模块,用于根据预设算法处理该节点的搜索结果以及其他相连节点的搜索结果;
传输模块,用于向该相连节点传输处理后得到的搜索结果。
用户需要搜索时,在用户节点(用户当前使用的节点)上输入搜索请求,与用户节点相连的节点、与前述节点相连的节点以及后续级联的节点可以作为本次用户搜索的协同搜索节点,每个协同搜索节点从与其相连的节点处接收来自用户节点的搜索请求,每个协同搜索节点还会将用户节点的搜索请求向与其连接的其他相连节点转发以便其他相连节点协助搜索,每个协同搜索节点根据搜索请求后进行实时检索,将实时搜索结果并进行处理后回传给向其转发搜索请求的节点。最终所有协同搜索节点的搜索结果均会上传给用户节点,用户节点对汇总的搜索结果进行相关处理后展示给用户。整个搜索过程去中心化,大量节点协同配合、实时检索,搜索结果经相关处理后实时向用户反馈并且搜索结果完全不需占用大量存储空间去存储,省去了预下载网页库,节省了大量中心存储、中心计算、中心带宽资源,有效地解决了现有搜索技术去搜索引擎的中心服务器存储的过时信息搜索结果非实时、中心化存储数据运营成本极高以及中心节点随意篡改搜索结果、获取用户搜索行为信息侵犯用户隐私的问题。
在一个实施例中,搜索模块具体用于:
根据搜索请求启动爬虫程序去互联网实时爬取数据并进行预设处理后得到索引数据;其中,预设处理包括:对数据进行汇聚、分析、排序以及筛选。
每个协同搜索节点本身都安装有爬虫程序,协同搜索节点根据搜索请求启动自身的爬虫程序去互联网爬取实时数据后进行相应处理得到索引数据,相较于现有搜索引擎从中心服务器存储的过时信息为用户搜索请求匹配索引数据,实现了实时爬取实时反馈展现。
在一个实施例中,处理模块具体用于:
将该节点的索引数据与其他相连节点的索引数据进行合并、去重、排序以及筛选处理。
每个协同搜索节点对自身搜索得到的索引数据以及其他相连节点回传的索引数据进行合并、去重、排序以及筛选处理,有效整合搜索结果避免处理大量数据对节点造成负担。
在一个实施例中,所述节点还包括:
更新模块,用于向该相连节点发送信息并根据反馈情况更新节点间连接状态信息;或,
更新模块,还用于根据该相连节点发送的信息向该相连节点反馈信息以使该相连节点更新该节点的连接状态信息。
网络上互连的节点之间定期发送心跳信息并互相反馈应答便于节点间互相更新连接状态信息,从而在节点转发搜索请求时可以正常转发避免发给已经断开连接的节点,提高转发效率、搜索效率以及提升用户体验。
根据本公开实施例的第六方面,提供一种节点,包括:
接收模块,用于接收相连节点传输的来自于用户节点的搜索请求;其中,用户节点为用户当前使用的节点,用户在用户节点输入搜索请求;
搜索模块,用于根据搜索请求进行搜索并对搜索结果进行处理;
发送模块,用于向该相连节点发送处理后得到的搜索结果。
用户需要搜索时,在用户节点(用户当前使用的节点)上输入搜索请求,与用户节点相连的节点、与前述节点相连的节点以及后续级联的节点可以作为本次用户搜索的协同搜索节点,作为协同搜索节点中特殊的一类节点,该节点除了与向其转发用户搜索请求的相连节点外不再与其他节点相连,该节点从相连节点处接收到用户搜索请求后根据搜索请求后进行实时检索,将实时搜索结果并进行处理后回传给前述相连节点。最终所有协同搜索节点的搜索结果均会上传给用户节点,用户节点对汇总的搜索结果进行相关处理后展示给用户。整个搜索过程去中心化,大量节点协同配合、实时检索,搜索结果经相关处理后实时向用户反馈并且搜索结果完全不需占用大量存储空间去存储,省去了预下载网页库,节省了大量中心存储、中心计算、中心带宽资源,有效地解决了现有搜索技术去搜索引擎的中心服务器存储的过时信息搜索结果非实时、中心化存储数据运营成本极高以及中心节点随意篡改搜索结果、获取用户搜索行为信息侵犯用户隐私的问题。
在一个实施例中,搜索模块具体用于:
根据搜索请求启动爬虫程序去互联网实时爬取数据并进行预设处理后得到索引数据;其中,预设处理包括:对数据进行汇聚、分析、排序以及筛选;
相应的,发送模块具体用于:向该相连节点发送处理后得到的索引数据。
每个协同搜索节点本身都安装有爬虫程序,协同搜索节点根据搜索请求启动自身的爬虫程序去互联网爬取实时数据后进行相应处理得到索引数据,相较于现有搜索引擎从中心服务器存储的过时信息为用户搜索请求匹配索引数据,实现了实时爬取实时反馈展现。
在一个实施例中,该节点还包括:
更新模块,用于向该相连节点发送信息并根据反馈情况更新节点间连接状态信息;或,
更新模块,还用于根据该相连节点发送的信息向该相连节点反馈信息以使该相连节点更新该节点的连接状态信息。
网络上互连的节点之间定期发送心跳信息并互相反馈应答便于节点间互相更新连接状态信息,从而在节点转发搜索请求时可以正常转发避免发给已经断开连接的节点,提高转发效率、搜索效率以及提升用户体验。
根据本公开实施例的第七方面,提供一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令设置为执行本公开实施例的第一方面、第二方面或第三方面所述的方法。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是本公开实施例的网络拓扑结构的示意图;
图2是本公开实施例的部分网络拓扑结构的示意图;
图3是本公开实施例中节点构建网络拓扑结构的流程示意图;
图4是本公开实施例提供的一种搜索方法的流程示意图一;
图5是本公开实施例中用户节点执行搜索任务的流程示意图;
图6是本公开实施例中节点转发搜索请求的示意图;
图7是本公开实施例提供的一种搜索方法的流程示意图二;
图8是本公开实施例提供的另一种搜索方法的流程示意图;
图9是本公开实施例提供的又一种搜索方法的流程示意图;
图10是本公开实施例提供的一种节点的结构示意图;
图11是本公开实施例提供的另一种节点的结构示意图;
图12是本公开实施例提供的又一种节点的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
5G是下一代移动互联网连接技术,5G所能提供的速度要比当前的4G连接快得多,5G网络下的峰值速率的下行可以达到20Gbit/s,上行速率可以达到10Gbit/s;5G网络在时延方面也要比现在当前的4G小得多,可以低至1毫秒;5G网络还具备低功耗的特性,联网设备消耗电力更少,可以长时间低功耗联网工作。5G时代是万物互联的时代,联网设备极多,网络中的数据也会指数级增长。本公开实施例中提供的技术方案可以应用在5G场景。
本公开实施例中的节点,是指网络中的可以通信的终端设备,具体可以是手机、平板电脑、掌上电脑(Personal Digital Assistant,PDA)、便携式个人计算机、台式计算机等终端设备。
图1所示为本公开实施例的一个网络拓扑结构图,该网络拓扑结构不存在具备管理协调职责的中心节点,是一个去中心化、全分布式的网络拓扑结构,构建该网络拓扑结构的条件可以包括:每个节点都接入互联网;每个节点有一个独立的连接地址(例如IP地址);每个节点可以发现其他节点;两个节点之间可以互相申请为好友节点建立连接关系;两个节点间的连接不会受到第三方的约束和管理。
示意性的,举例对图1所示的网络拓扑结构图进行简要说明:假设A、B、C三个节点(有独立连接地址例如IP地址,并连接在互联网上)中B和A节点互相申请为好友节点、C和A节点互相申请为好友节点、A和B、C节点申请为好友节点,三个节点完成初始化即可形成图2所示的网络拓扑结构图;具体的,A、B、C三个节点初始化的流程示意图如图3所示。
本公开实施例提供的技术方案可以在任何一个节点上实施。
本公开实施例提供一种搜索方法,基于用户节点(用户当前使用的节点),如图4所示,该方法包括以下步骤:
102、节点获取用户的搜索请求。
其中,该节点为用户节点,用户在该节点输入搜索请求。
具体的,例如节点是用户的手机时,用户向手机输入搜索请求,手机随即获取到用户的搜索请求。
本公开实施例中,如果用户节点自身计算力有限例如手机处理器较弱,可以允许用户节点自身不做检索而将搜索请求分发给协同搜索节点,借助各个协同搜索节点完成实时搜索,用户节点可以专注于接收各个协同搜索节点返回的搜索结果并进行处理。
需要说明的是,用户节点本身也是可以利用自身计算资源去实时搜索并获取相关搜索结果。在一个实施例中,该方法还可以包括:
103、该节点根据搜索请求调用自身的搜索模块进行搜索并获取该节点的搜索结果。
具体的,该节点根据搜索请求启动爬虫程序去互联网实时爬取数据并进行预设处理后得到索引数据;其中,预设处理包括:对数据进行汇聚、分析、排序以及筛选。
网络中每个节点自身都会配置搜索模块,搜索模块中包含爬虫程序(一种互联网信息获取程序,本领域技术人员可查阅相关现有技术理解,在此不做赘述),用户节点根据搜索请求启动自身的爬虫程序去互联网爬取实时数据后进行相应处理得到索引数据。本公开实施例中节点上的爬虫程序是根据搜索请求启动后爬取实时信息的,而现有的搜索技术中百度谷歌之类的搜索引擎是自行定期全网爬取数据后存入中心服务器建立索引备用且并不是根据用户搜索请求发起。因此,相较于现有搜索引擎从中心服务器存储的过时信息为用户搜索请求匹配索引数据,本公开实施例可以爬取实时数据并反馈展现。
值得一提的是,图5所示为用户节点执行搜索任务的流程示意图。
104、该节点根据所述搜索请求确定协同搜索节点。
具体的,如图6所示,协同搜索节点包括以下至少一种:与该节点相连的1级节点、与N-1级节点相连的N级节点,其中N为大于1的正整数。
示意性的,结合图1,如图6所示,假设该节点(用户节点)为A节点,A节点的1级节点为B节点和C节点(可以是A节点好友列表中的全部好友节点或者部分好友节点),2级节点为D节点、E节点、F节点、G节点和H节点(可以是1级节点的好友列表中的全部好友节点或者部分好友节点),3级节点为I节点、J节点、K节点、L节点和M节点(可以是2级节点的好友列表中的全部好友节点或者部分好友节点),依次类推。
需要说明的是,在实际应用场景中,可以根据搜索的具体需求(如搜索的范围、关键词、搜索类型等),确定有多少级节点可以协同执行一个搜索任务。
106、该节点将搜索请求转发给协同搜索节点。
示意性的,如图6所示,假设该节点(用户节点)为A节点,确定1级节点、2级节点以及3级节点为协同搜索节点,A节点将搜索请求转发给协同搜索节点可以是:A节点向1级节点(B节点和C节点)转发搜索请求,1级节点(B节点和C节点)接收到搜索请求后,向2级节点(D节点、E节点、F节点、G节点和H节点)转发搜索请求,2级节点(D节点、E节点、F节点、G节点和H节点)接收到搜索请求后,向3级节点(I节点、J节点、K节点、L节点和M节点)转发搜索请求。
值得一提的是,该节点将搜索请求转发给协同搜索节点后可以指示协同搜索节点根据搜索请求通过自身的搜索模块进行搜索。
108、该节点获取协同搜索节点根据搜索请求通过各自的搜索模块得到的搜索结果。
具体的,各个协同搜索节点根据搜索请求启动爬虫程序去互联网实时爬取数据并进行预设处理后得到索引数据。
示意性的,假设该节点(用户节点)为图6中的A节点,协同搜索节点为图6中的1级节点(B节点和C节点)、2级节点(D节点、E节点、F节点、G节点和H节点)以及3级节点(I节点、J节点、K节点、L节点和M节点)。
3级节点中I节点、J节点、K节点、L节点和M节点分别根据搜索请求启动各自的爬虫程序去互联网实时爬取数据并对数据进行汇聚、分析、排序以及筛选后得到各自的索引数据,I节点和J节点将各自的索引数据回传给2级节点的E节点,K节点将自己的索引数据回传给2级节点的G节点,L节点和M节点将各自的索引数据回传给2级节点的H节点。
2级节点中D节点、E节点、F节点、G节点和H节点分别根据搜索请求启动各自的爬虫程序去互联网实时爬取数据并对数据进行汇聚、分析、排序以及筛选后得到各自的索引数据,对于E节点,需要将自身的索引数据与接收自I节点和J节点的索引数据进行合并、去重、排序以及筛选后回传给1级节点中的B节点,对于G节点,需要将自身的索引数据与接收自K节点的索引数据进行合并、去重、排序以及筛选后回传给1级节点中的C节点,对于H节点,需要将自身的索引数据与接收自L节点和M节点的索引数据进行合并、去重、排序以及筛选后回传给1级节点中的C节点,对于D节点、F节点分别将自身的索引数据回传给B节点即可。
1级节点中B节点和C节点分别根据搜索请求启动各自的爬虫程序去互联网实时爬取数据并对数据进行汇聚、分析、排序以及筛选后得到各自的索引数据,对于B节点,需要将自身的索引数据与接收自D节点、E节点以及F节点的索引数据进行合并、去重、排序以及筛选后回传给A节点,对于C节点,需要将自身的索引数据与接收自G节点、和H节点的索引数据进行合并、去重、排序以及筛选后回传给A节点。
综上所述,A节点也即用户节点就获取到各个协同搜索节点根据搜索请求通过各自的搜索模块得到的搜索结果。
值得一提的是,本公开实施例中,每个节点执行当次搜索得到的索引数据可以是临时索引数据,该临时索引数据在节点执行完当次搜索并回传给相应的节点后可以不在其存储空间中保留,也可以设定存储阈值(在节点可用存储空间内划出一部分),未超出存储阈值直接保留,而超出后清理出存储空间再保留,从而避免占用节点有限的存储空间。
110、该节点根据预设算法处理获取到的搜索结果。
相应的,当执行步骤103时,步骤110具体包括:
该节点根据预设算法处理协同搜索节点的搜索结果以及该节点的搜索结果。
在一个实施例中,步骤110具体可以包括:
该节点将该节点的索引数据与协同搜索节点的索引数据进行合并、去重、排序以及筛选处理。
示意性的,A节点通过对获取到的A节点自身的索引数据以及B节点和C节点的索引数据进行合并、去重、排序以及筛选处理后,将处理后得到的索引数据作为本次用户搜索请求的搜索结果。
值得一提的是,如果不执行步骤103,步骤110里该节点处理的就是获取到的协同搜索节点的搜索结果。
112、该节点将处理后得到的搜索结果反馈给用户。
示意性的,A节点将处理后得到的索引数据通过显示设备展示给用户。
图7所示为本公开实施例提供的搜索方法的另一个流程示意图。
最后,值得一提的是,在5G低延时、高速率的场景下,本公开实施例中爬虫程序实时爬取数据、节点分发搜索请求、协同搜索节点协同搜索并反馈搜索结果的处理是可以在用户接受的时间范围内完成的,不会影响用户使用体验。
在一个实施例中,该方法还可以包括:
113、该节点向1级节点发送信息并根据反馈情况更新节点间连接状态信息。或,
114、该节点根据1级节点发送的信息向1级节点反馈信息以使1级节点更新该节点的连接状态信息。
具体的,每个节点可以维护一个与该节点连接的各个节点的节点列表,每个节点定期向节点列表中的各个节点的IP地址发送报文(报文可以是一段互连节点可识别的信息),接到报文的节点反馈自己的IP地址,发送报文的节点收到反馈后更新节点间连接状态和地址表。
网络上互连的节点之间定期发送心跳信息并互相反馈应答便于节点间互相更新连接状态信息,从而在节点转发搜索请求时可以正常转发避免发给已经断开连接的节点,提高转发效率、搜索效率以及提升用户体验。
值得一提的是,本公开实施例中每个节点都是独立的节点,没有中心节点和单元节点之分,任何一个节点都可以是搜索发起节点,协同搜索节点则是搜索发起节点的相连节点以及级联节点,在搜索时,搜索发起节点是把同样的搜索请求转发各个给协同搜索节点协助搜索并不是搜索任务分解,所有协同搜索节点针对同样的搜索请求展开独立的搜索,完成搜索后再把整理好的搜索结果逐级回传给搜索发起节点,并最终由搜索发起节点向用户呈现搜索结果。
本公开实施例提供的搜索方法,当用户需要搜索时直接在用户当前使用的节点上输入搜索请求,该节点根据搜索请求确定一定数量的协同搜索节点后将搜索请求转发给各个协同搜索节点,该节点接收各个协同搜索节点的实时搜索结果并进行处理后反馈给用户,通过一定数量级的协同搜索节点进行实时搜索协助,整个搜索过程去中心化,大量节点协同配合、实时检索,搜索结果经相关处理后实时向用户反馈并且搜索结果完全不需占用大量存储空间去存储,省去了预下载网页库,节省了大量中心存储、中心计算、中心带宽资源,有效地解决了现有搜索技术去搜索引擎的中心服务器存储的过时信息搜索结果非实时、中心化存储数据运营成本极高以及中心节点随意篡改搜索结果、获取用户搜索行为信息侵犯用户隐私的问题。
本公开实施例还提供一种搜索方法,基于协同搜索节点中存在下级连接节点的节点,如图8所示,该方法包括:
201、节点接收相连节点传输的来自于用户节点的搜索请求。
具体的,用户节点为用户当前使用的节点,用户在用户节点输入搜索请求。
示意性的,参照步骤104下述示例中的文字说明,假设用户节点为A,步骤201中该节点可以是B节点、C节点、E节点、G节点或H节点中任何一个,例如该节点为E节点,通过B节点接收来自A节点的搜索请求。值得一提的是,如果该节点为B节点,那么步骤201中“相连节点”与“用户节点”则为同一个节点即A节点。
202、该节点根据搜索请求调用自身的搜索模块进行搜索并获取该节点的搜索结果。
具体的,该节点根据搜索请求启动爬虫程序去互联网实时爬取数据并进行预设处理后得到索引数据;其中,预设处理包括:对数据进行汇聚、分析、排序以及筛选。
网络中每个节点自身都会配置搜索模块,搜索模块中包含爬虫程序(一种互联网信息获取程序,本领域技术人员可查阅相关现有技术理解,在此不做赘述),协同搜索节点根据搜索请求启动自身的爬虫程序去互联网爬取实时数据后进行相应处理得到索引数据。本公开实施例中节点上的爬虫程序是根据搜索请求启动后爬取实时信息的,而现有的搜索技术中百度谷歌之类的搜索引擎是自行定期全网爬取数据后存入中心服务器建立索引备用且并不是根据用户搜索请求发起。
203、该节点向其他相连节点转发搜索请求;其中,其他相连节点包括与该节点相连的除该相连节点以外的节点。
示意性的,参照步骤106下述示例中的文字说明,假设该节点为B节点,B节点向D节点、E节点、以及F节点转发搜索请求。
值得一提的是,如果该节点的其他相连节点中的节点从某个节点处已接收过本次来自用户节点的搜索请求,那么前述其他相连节点中的节点可以忽略该节点转发的本次来自用户节点的搜索请求;或者该节点在向前述其他相连节点中的节点转发本次来自用户的搜索请求时通过发送一个询问消息确认前述其他相连节点中的节点是否有接收到本次来自用户的搜索请求后选择向其转发或者不转发。
204、该节点获取其他相连节点根据搜索请求完成检索后回传的搜索结果。
示意性的,参照步骤203的假设,B节点接收D节点、E节点、以及F节点回传的搜索结果,具体的,D节点、E节点、以及F节点执行搜索任务以及回传搜索结果的过程可以参照步骤108的示例说明中的相关部分描述。
205、该节点根据预设算法处理该节点的搜索结果以及其他相连节点的搜索结果。
具体的,该节点将该节点的索引数据与其他相连节点的索引数据进行合并、去重、排序以及筛选处理。
示意性的,参照步骤203的假设,B节点对B节点自身的搜索结果和接收的来自D节点、E节点、以及F节点回传的搜索结果进行处理,具体的,可以参照步骤108的示例说明中的相关部分描述理解步骤205。
每个协同搜索节点对自身搜索得到的索引数据以及其他相连节点回传的索引数据进行合并、去重、排序以及筛选处理,有效整合搜索结果避免处理大量数据对节点造成负担。
206、该节点向该相连节点传输处理后得到的搜索结果。
示意性的,参照步骤203的假设,B节点向A节点(用户节点)回传搜索结果,具体的,可以参照步骤108的示例说明中的相关部分描述理解步骤206。
在一个实施例中,该方法还可以包括:
207、该节点向相连节点发送信息并根据反馈情况更新节点间连接状态信息。或,
208、该节点根据相连节点发送的信息向相连节点反馈信息以使相连节点更新该节点的连接状态信息。
具体的,每个节点可以维护一个与该节点连接的各个节点的节点列表,每个节点定期向节点列表中的各个节点的IP地址发送报文(报文可以是一段互连节点可识别的信息),接到报文的节点反馈自己的IP地址,发送报文的节点收到反馈后更新节点间连接状态和地址表。
网络上互连的节点之间定期发送心跳信息并互相反馈应答便于节点间互相更新连接状态信息,从而在节点转发搜索请求时可以正常转发避免发给已经断开连接的节点,提高转发效率、搜索效率以及提升用户体验。
本公开实施例提供的搜索方法,当用户需要搜索时,在用户节点(用户当前使用的节点)上输入搜索请求,与用户节点相连的节点、与前述节点相连的节点以及后续级联的节点可以作为本次用户搜索的协同搜索节点,每个协同搜索节点从与其相连的节点处接收来自用户节点的搜索请求,每个协同搜索节点还会将用户节点的搜索请求向与其连接的其他相连节点转发以便其他相连节点协助搜索,每个协同搜索节点根据搜索请求后进行实时检索,将实时搜索结果并进行处理后回传给向其转发搜索请求的节点。最终所有协同搜索节点的搜索结果均会上传给用户节点,用户节点对汇总的搜索结果进行相关处理后展示给用户。整个搜索过程去中心化,大量节点协同配合、实时检索,搜索结果经相关处理后实时向用户反馈并且搜索结果完全不需占用大量存储空间去存储,省去了预下载网页库,节省了大量中心存储、中心计算、中心带宽资源,有效地解决了现有搜索技术去搜索引擎的中心服务器存储的过时信息搜索结果非实时、中心化存储数据运营成本极高以及中心节点随意篡改搜索结果、获取用户搜索行为信息侵犯用户隐私的问题。
本公开实施例还提供一种搜索方法,基于协同搜索节点中无下级连接节点的节点,如图9所示,包括:
301、节点接收相连节点传输的来自于用户节点的搜索请求。
具体的,用户节点为用户当前使用的节点,用户在用户节点输入搜索请求。
302、该节点根据搜索请求调用自身的搜索模块进行搜索并对搜索结果进行处理。
具体的,该节点根据搜索请求启动爬虫程序去互联网实时爬取数据并进行预设处理后得到索引数据;其中,预设处理包括:对数据进行汇聚、分析、排序以及筛选。
示意性的,参照步骤104下述示例中的文字说明,假设用户节点为A,步骤301/302中该节点可以是I节点、J节点、K节点、L节点或M节点中任何一个,例如该节点为I节点,通过E节点接收来自A节点的搜索请求。I节点根据搜索请求启动爬虫程序去互联网实时爬取数据并进行汇聚、分析、排序以及筛选后得到索引数据。
网络中每个节点自身都会配置搜索模块,搜索模块中包含爬虫程序(一种互联网信息获取程序,本领域技术人员可查阅相关现有技术理解,在此不做赘述),协同搜索节点根据搜索请求启动自身的爬虫程序去互联网爬取实时数据后进行相应处理得到索引数据。本公开实施例中节点上的爬虫程序是根据搜索请求启动后爬取实时信息的,而现有的搜索技术中百度谷歌之类的搜索引擎是自行定期全网爬取数据后存入中心服务器建立索引备用且并不是根据用户搜索请求发起。
303、该节点向相连节点发送处理后得到的搜索结果。
具体的,该节点向相连节点发送处理后得到的索引数据。
示意性的,参照步骤302的假设,I节点向E节点回传搜索结果,具体的,可以参照步骤108的示例说明中的相关部分描述理解步骤303。
在一个实施例中,该方法还包括:
304、该节点向相连节点发送信息并根据反馈情况更新节点间连接状态信息。或,
305、该节点根据相连节点发送的信息向相连节点反馈信息以使相连节点更新该节点的连接状态信息。
具体的,每个节点可以维护一个与该节点连接的各个节点的节点列表,每个节点定期向节点列表中的各个节点的IP地址发送报文(报文可以是一段互连节点可识别的信息),接到报文的节点反馈自己的IP地址,发送报文的节点收到反馈后更新节点间连接状态和地址表。
网络上互连的节点之间定期发送心跳信息并互相反馈应答便于节点间互相更新连接状态信息,从而在节点转发搜索请求时可以正常转发避免发给已经断开连接的节点,提高转发效率、搜索效率以及提升用户体验。
本公开实施例提供的搜索方法,当用户需要搜索时,在用户节点(用户当前使用的节点)上输入搜索请求,与用户节点相连的节点、与前述节点相连的节点以及后续级联的节点可以作为本次用户搜索的协同搜索节点,作为协同搜索节点中特殊的一类节点,该节点除了与向其转发用户搜索请求的相连节点外不再与其他节点相连,该节点从相连节点处接收到用户搜索请求后根据搜索请求后进行实时检索,将实时搜索结果并进行处理后回传给前述相连节点。最终所有协同搜索节点的搜索结果均会上传给用户节点,用户节点对汇总的搜索结果进行相关处理后展示给用户。整个搜索过程去中心化,大量节点协同配合、实时检索,搜索结果经相关处理后实时向用户反馈并且搜索结果完全不需占用大量存储空间去存储,省去了预下载网页库,节省了大量中心存储、中心计算、中心带宽资源,有效地解决了现有搜索技术去搜索引擎的中心服务器存储的过时信息搜索结果非实时、中心化存储数据运营成本极高以及中心节点随意篡改搜索结果、获取用户搜索行为信息侵犯用户隐私的问题。
基于上述对应的实施例中所描述的搜索方法,下述为本公开装置实施例,可以用于执行上述本公开方法实施例。
本公开实施例提供一种节点,用于执行图4对应的方法实施例,如图10所示,该节点10包括:
第一获取模块101,用于获取用户的搜索请求;
其中,该节点为用户当前使用的节点,用户在该节点输入搜索请求;
确定模块102,用于根据搜索请求确定协同搜索节点;
其中,协同搜索节点包括以下至少一种:与该节点相连的1级节点、与N-1级节点相连的N级节点,其中N为大于1的正整数;
转发模块103,用于将搜索请求转发给协同搜索节点;
第二获取模块104,用于获取协同搜索节点根据所述搜索请求通过各自的搜索模块得到的搜索结果;
处理模块105,用于根据预设算法处理获取到的搜索结果;
反馈模块106,用于处理后得到的搜索结果反馈给所述用户。
在一个实施例中,该节点还可以包括:
搜索模块107,用于根据搜索请求进行搜索并获取该节点的搜索结果;
相应的,处理模块105具体用于:根据预设算法处理协同搜索节点的搜索结果以及该节点的搜索结果。
在一个实施例中,搜索模块107具体用于:
该节点根据搜索请求启动爬虫程序去互联网实时爬取数据并进行预设处理后得到索引数据;其中,预设处理包括:对数据进行汇聚、分析、排序以及筛选;
第二获取模块104具体用于:获取协同搜索节点根据搜索请求启动爬虫程序去互联网实时爬取数据并进行预设处理后得到的索引数据。
在一个实施例中,处理模块105具体用于:
将该节点的索引数据与协同搜索节点的索引数据进行合并、去重、排序以及筛选处理。
在一个实施例中,该节点10还可以包括:
更新模块108,用于向1级节点发送信息并根据反馈情况更新节点间连接状态信息;或,
更新模块108,还用于根据1级节点发送的信息向1级节点反馈信息以使1级节点更新该节点的连接状态信息。
本公开实施例提供的节点,当用户需要搜索时直接在用户当前使用的节点上输入搜索请求,该节点根据搜索请求确定一定数量的协同搜索节点后将搜索请求转发给各个协同搜索节点,该节点接收各个协同搜索节点的实时搜索结果并进行处理后反馈给用户,通过一定数量级的协同搜索节点进行实时搜索协助,整个搜索过程去中心化,大量节点协同配合、实时检索,搜索结果经相关处理后实时向用户反馈并且搜索结果完全不需占用大量存储空间去存储,省去了预下载网页库,节省了大量中心存储、中心计算、中心带宽资源,有效地解决了现有搜索技术去搜索引擎的中心服务器存储的过时信息搜索结果非实时、中心化存储数据运营成本极高以及中心节点随意篡改搜索结果、获取用户搜索行为信息侵犯用户隐私的问题。
本公开实施例提供一种节点,用于执行图8对应的方法实施例,如图11所示,该节点11包括:
接收模块111,用于接收相连节点传输的来自于用户节点的搜索请求;其中,用户节点为用户当前使用的节点,用户在用户节点输入搜索请求;
搜索模块112,用于根据搜索请求进行搜索并获取该节点的搜索结果;
转发模块113,用于向其他相连节点转发搜索请求;其中,其他相连节点包括与该节点相连的除该相连节点以外的节点;
获取模块114,用于获取其他相连节点根据搜索请求完成检索后回传的搜索结果;
处理模块115,用于根据预设算法处理该节点的搜索结果以及其他相连节点的搜索结果;
传输模块116,用于向该相连节点传输处理后得到的搜索结果。
在一个实施例中,搜索模块112具体用于:
根据搜索请求启动爬虫程序去互联网实时爬取数据并进行预设处理后得到索引数据;其中,预设处理包括:对数据进行汇聚、分析、排序以及筛选。
在一个实施例中,处理模块115具体用于:
将该节点的索引数据与其他相连节点的索引数据进行合并、去重、排序以及筛选处理。
在一个实施例中,所述节点11还包括:
更新模块117,用于向该相连节点发送信息并根据反馈情况更新节点间连接状态信息;或,
更新模块117,还用于根据该相连节点发送的信息向该相连节点反馈信息以使该相连节点更新该节点的连接状态信息。
本公开实施例提供的节点,当用户需要搜索时,在用户节点(用户当前使用的节点)上输入搜索请求,与用户节点相连的节点、与前述节点相连的节点以及后续级联的节点可以作为本次用户搜索的协同搜索节点,每个协同搜索节点从与其相连的节点处接收来自用户节点的搜索请求,每个协同搜索节点还会将用户节点的搜索请求向与其连接的其他相连节点转发以便其他相连节点协助搜索,每个协同搜索节点根据搜索请求后进行实时检索,将实时搜索结果并进行处理后回传给向其转发搜索请求的节点。最终所有协同搜索节点的搜索结果均会上传给用户节点,用户节点对汇总的搜索结果进行相关处理后展示给用户。整个搜索过程去中心化,大量节点协同配合、实时检索,搜索结果经相关处理后实时向用户反馈并且搜索结果完全不需占用大量存储空间去存储,省去了预下载网页库,节省了大量中心存储、中心计算、中心带宽资源,有效地解决了现有搜索技术去搜索引擎的中心服务器存储的过时信息搜索结果非实时、中心化存储数据运营成本极高以及中心节点随意篡改搜索结果、获取用户搜索行为信息侵犯用户隐私的问题。
本公开实施例提供一种节点,用于执行图9对应的方法实施例,如图12所示,该节点12包括:
接收模块121,用于接收相连节点传输的来自于用户节点的搜索请求;
其中,用户节点为用户当前使用的节点,用户在用户节点输入搜索请求;
搜索模块122,用于根据搜索请求进行搜索并对搜索结果进行处理;
发送模块123,用于向该相连节点发送处理后得到的搜索结果。
在一个实施例中,搜索模块122具体用于:
根据搜索请求启动爬虫程序去互联网实时爬取数据并进行预设处理后得到索引数据;其中,预设处理包括:对数据进行汇聚、分析、排序以及筛选;
相应的,发送模块123具体用于:向该相连节点发送处理后得到的索引数据。
在一个实施例中,该节点12还包括:
更新模块124,用于向该相连节点发送信息并根据反馈情况更新节点间连接状态信息;或,
更新模块124,还用于根据该相连节点发送的信息向该相连节点反馈信息以使该相连节点更新该节点的连接状态信息。
本公开实施例提供的节点,当用户需要搜索时,在用户节点(用户当前使用的节点)上输入搜索请求,与用户节点相连的节点、与前述节点相连的节点以及后续级联的节点可以作为本次用户搜索的协同搜索节点,作为协同搜索节点中特殊的一类节点,该节点除了与向其转发用户搜索请求的相连节点外不再与其他节点相连,该节点从相连节点处接收到用户搜索请求后根据搜索请求后进行实时检索,将实时搜索结果并进行处理后回传给前述相连节点。最终所有协同搜索节点的搜索结果均会上传给用户节点,用户节点对汇总的搜索结果进行相关处理后展示给用户。整个搜索过程去中心化,大量节点协同配合、实时检索,搜索结果经相关处理后实时向用户反馈并且搜索结果完全不需占用大量存储空间去存储,省去了预下载网页库,节省了大量中心存储、中心计算、中心带宽资源,有效地解决了现有搜索技术去搜索引擎的中心服务器存储的过时信息搜索结果非实时、中心化存储数据运营成本极高以及中心节点随意篡改搜索结果、获取用户搜索行为信息侵犯用户隐私的问题。
另外,在本公开各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、手机、平板电脑、掌上电脑、服务器,或者网络设备)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、非临时性计算机可读存储介质可以是只读存储器(英文:Read Only Memory,ROM)、随机存取存储器(英文:Random Access Memory,RAM)、CD-ROM、磁带、软盘和光数据存储装置等。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
Claims (25)
1.一种搜索方法,其特征在于,包括:
节点获取用户的搜索请求;
所述节点根据所述搜索请求确定协同搜索节点;其中,所述协同搜索节点包括以下至少一种:与所述节点相连的1级节点、与N-1级节点相连的N级节点,其中N为大于1的正整数;
所述节点将所述搜索请求转发给所述协同搜索节点;
所述节点获取所述协同搜索节点根据所述搜索请求通过各自的搜索模块得到的搜索结果;
所述节点根据预设算法处理获取到的搜索结果;
所述节点将处理后得到的搜索结果反馈给所述用户。
2.根据权利要求1所述的方法,其特征在于,在所述节点获取用户的搜索请求之后,所述方法还包括:
所述节点根据所述搜索请求调用自身的搜索模块进行搜索并获取所述节点的搜索结果;
相应的,所述节点根据预设算法处理获取到的搜索结果,包括:
所述节点根据所述预设算法处理所述协同搜索节点的搜索结果以及所述节点的搜索结果。
3.根据权利要求2所述的方法,其特征在于,所述节点根据所述搜索请求调用自身的搜索模块进行搜索并获取所述节点的搜索结果,包括:
所述节点根据所述搜索请求启动爬虫程序去互联网实时爬取数据并进行预设处理后得到索引数据;其中,所述预设处理包括:对数据进行汇聚、分析、排序以及筛选;
所述节点获取所述协同搜索节点根据所述搜索请求通过自身的搜索模块进行搜索后得到的搜索结果,包括:
所述节点获取所述协同搜索节点根据所述搜索请求启动爬虫程序去互联网实时爬取数据并进行所述预设处理后得到的索引数据。
4.根据权利要求3所述的方法,其特征在于,所述节点根据预设算法处理获取到的搜索结果,包括:
所述节点将所述节点的索引数据与所述协同搜索节点的索引数据进行合并、去重、排序以及筛选处理。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述节点向所述1级节点发送信息并根据反馈情况更新节点间连接状态信息;或,
所述节点根据所述1级节点发送的信息向所述1级节点反馈信息以使所述1级节点更新所述节点的连接状态信息。
6.一种搜索方法,其特征在于,包括:
节点接收相连节点传输的来自于用户节点的搜索请求;
所述节点根据所述搜索请求调用自身的搜索模块进行搜索并获取所述节点的搜索结果;
所述节点向其他相连节点转发所述搜索请求;其中,所述其他相连节点包括与所述节点相连的除所述相连节点以外的节点;
所述节点获取所述其他相连节点根据所述搜索请求完成检索后回传的搜索结果;
所述节点根据预设算法处理所述节点的搜索结果以及所述其他相连节点的搜索结果;
所述节点向所述相连节点传输所述处理后得到的搜索结果。
7.根据权利要求6所述的方法,其特征在于,所述节点根据所述搜索请求调用自身的搜索模块进行搜索并获取所述节点的搜索结果,包括:
所述节点根据所述搜索请求启动爬虫程序去互联网实时爬取数据并进行预设处理后得到索引数据;其中,所述预设处理包括:对数据进行汇聚、分析、排序以及筛选。
8.根据权利要求6所述的方法,其特征在于,所述节点根据预设算法处理所述节点的搜索结果以及所述其他相连节点的搜索结果,包括:
所述节点将所述节点的索引数据与所述其他相连节点的索引数据进行合并、去重、排序以及筛选处理。
9.根据权利要求6所述的方法,其特征在于,所述方法还包括:
所述节点向所述相连节点发送信息并根据反馈情况更新节点间连接状态信息;或,
所述节点根据所述相连节点发送的信息向所述相连节点反馈信息以使所述相连节点更新所述节点的连接状态信息。
10.一种搜索方法,其特征在于,包括:
节点接收相连节点传输的来自于用户节点的搜索请求;
所述节点根据所述搜索请求调用自身的搜索模块进行搜索并对搜索结果进行处理;
所述节点向所述相连节点发送所述处理后得到的搜索结果。
11.根据权利要求10所述的方法,其特征在于,所述节点根据所述搜索请求调用自身的搜索模块进行搜索并对搜索结果进行处理,包括:
所述节点根据所述搜索请求启动爬虫程序去互联网实时爬取数据并进行预设处理后得到索引数据;其中,所述预设处理包括:对数据进行汇聚、分析、排序以及筛选;
相应的,所述节点向所述相连节点发送所述处理后得到的搜索结果,包括:所述节点向所述相连节点发送所述处理后得到的索引数据。
12.根据权利要求10所述的方法,其特征在于,所述方法还包括:
所述节点向所述相连节点发送信息并根据反馈情况更新节点间连接状态信息;或,
所述节点根据所述相连节点发送的信息向所述相连节点反馈信息以使所述相连节点更新所述节点的连接状态信息。
13.一种节点,其特征在于,包括:
第一获取模块,用于获取用户的搜索请求;
确定模块,用于根据所述搜索请求确定协同搜索节点;其中,所述协同搜索节点包括以下至少一种:与所述节点相连的1级节点、与N-1级节点相连的N级节点,其中N为大于1的正整数;
转发模块,用于将所述搜索请求转发给所述协同搜索节点;
第二获取模块,用于获取所述协同搜索节点根据所述搜索请求通过各自的搜索模块得到的搜索结果;
处理模块,用于根据预设算法处理获取到的搜索结果;
反馈模块,用于处理后得到的搜索结果反馈给所述用户。
14.根据权利要求13所述的节点,其特征在于,所述节点还包括:
搜索模块,用于根据所述搜索请求进行搜索并获取所述节点的搜索结果;
相应的,所述处理模块具体用于:根据所述预设算法处理所述协同搜索节点的搜索结果以及所述节点的搜索结果。
15.根据权利要求14所述的节点,其特征在于,所述搜索模块具体用于:
根据所述搜索请求启动爬虫程序去互联网实时爬取数据并进行预设处理后得到索引数据;其中,所述预设处理包括:对数据进行汇聚、分析、排序以及筛选;
所述第二获取模块具体用于:获取所述协同搜索节点根据所述搜索请求启动爬虫程序去互联网实时爬取数据并进行所述预设处理后得到的索引数据。
16.根据权利要求15所述的节点,其特征在于,所述处理模块具体用于:
将所述节点的索引数据与所述协同搜索节点的索引数据进行合并、去重、排序以及筛选处理。
17.根据权利要求13所述的节点,其特征在于,所述节点还包括:
更新模块,用于向所述1级节点发送信息并根据反馈情况更新节点间连接状态信息;或,
所述更新模块,还用于根据所述1级节点发送的信息向所述1级节点反馈信息以使所述1级节点更新所述节点的连接状态信息。
18.一种节点,其特征在于,包括:
接收模块,用于接收相连节点传输的来自于用户节点的搜索请求;
搜索模块,用于根据所述搜索请求进行搜索并获取所述节点的搜索结果;
转发模块,用于向其他相连节点转发所述搜索请求;其中,所述其他相连节点包括与所述节点相连的除所述相连节点以外的节点;
获取模块,用于获取所述其他相连节点根据所述搜索请求完成检索后回传的搜索结果;
处理模块,用于根据预设算法处理所述节点的搜索结果以及所述其他相连节点的搜索结果;
传输模块,用于向所述相连节点传输所述处理后得到的搜索结果。
19.根据权利要求18所述的节点,其特征在于,所述搜索模块具体用于:
根据所述搜索请求启动爬虫程序去互联网实时爬取数据并进行预设处理后得到索引数据;其中,所述预设处理包括:对数据进行汇聚、分析、排序以及筛选。
20.根据权利要求18所述的节点,其特征在于,所述处理模块具体用于:
将所述节点的索引数据与所述其他相连节点的索引数据进行合并、去重、排序以及筛选处理。
21.根据权利要求18所述的节点,其特征在于,所述节点还包括:
更新模块,用于向所述相连节点发送信息并根据反馈情况更新节点间连接状态信息;或,
所述更新模块,还用于根据所述相连节点发送的信息向所述相连节点反馈信息以使所述相连节点更新所述节点的连接状态信息。
22.一种节点,其特征在于,包括:
接收模块,用于接收相连节点传输的来自于用户节点的搜索请求;
搜索模块,用于根据所述搜索请求进行搜索并对搜索结果进行处理;
发送模块,用于向所述相连节点发送所述处理后得到的搜索结果。
23.根据权利要求22所述的节点,其特征在于,所述搜索模块具体用于:
根据所述搜索请求启动爬虫程序去互联网实时爬取数据并进行预设处理后得到索引数据;其中,所述预设处理包括:对数据进行汇聚、分析、排序以及筛选;
相应的,所述发送模块具体用于:向所述相连节点发送所述处理后得到的索引数据。
24.根据权利要求22所述的节点,其特征在于,所述节点还包括:
更新模块,用于向所述相连节点发送信息并根据反馈情况更新节点间连接状态信息;或,
所述更新模块,还用于根据所述相连节点发送的信息向所述相连节点反馈信息以使所述相连节点更新所述节点的连接状态信息。
25.一种计算机可读存储介质,其特征在于,存储有计算机可执行指令,所述计算机可执行指令设置为执行权利要求1至12中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910697143.5A CN112307289A (zh) | 2019-07-30 | 2019-07-30 | 搜索方法、节点及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910697143.5A CN112307289A (zh) | 2019-07-30 | 2019-07-30 | 搜索方法、节点及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112307289A true CN112307289A (zh) | 2021-02-02 |
Family
ID=74486134
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910697143.5A Pending CN112307289A (zh) | 2019-07-30 | 2019-07-30 | 搜索方法、节点及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112307289A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113282772A (zh) * | 2021-04-25 | 2021-08-20 | 夏贵军 | 一种基于5g消息的用户搜索方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080114739A1 (en) * | 2006-11-14 | 2008-05-15 | Hayes Paul V | System and Method for Searching for Internet-Accessible Content |
CN101916295A (zh) * | 2010-08-27 | 2010-12-15 | 董方 | 基于点对点网络的互联网搜索系统和方法 |
CN101950300A (zh) * | 2010-09-20 | 2011-01-19 | 华南理工大学 | 一种分层结构、分布式搜索引擎系统及其实现方法 |
CN102968495A (zh) * | 2012-11-29 | 2013-03-13 | 河海大学 | 搜索对比关联购物信息的垂直搜索引擎及方法 |
CN103823808A (zh) * | 2012-11-16 | 2014-05-28 | 云壤(北京)信息技术有限公司 | 利用微博短链的网页搜索系统及网页搜索方法 |
-
2019
- 2019-07-30 CN CN201910697143.5A patent/CN112307289A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080114739A1 (en) * | 2006-11-14 | 2008-05-15 | Hayes Paul V | System and Method for Searching for Internet-Accessible Content |
CN101916295A (zh) * | 2010-08-27 | 2010-12-15 | 董方 | 基于点对点网络的互联网搜索系统和方法 |
CN101950300A (zh) * | 2010-09-20 | 2011-01-19 | 华南理工大学 | 一种分层结构、分布式搜索引擎系统及其实现方法 |
CN103823808A (zh) * | 2012-11-16 | 2014-05-28 | 云壤(北京)信息技术有限公司 | 利用微博短链的网页搜索系统及网页搜索方法 |
CN102968495A (zh) * | 2012-11-29 | 2013-03-13 | 河海大学 | 搜索对比关联购物信息的垂直搜索引擎及方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113282772A (zh) * | 2021-04-25 | 2021-08-20 | 夏贵军 | 一种基于5g消息的用户搜索方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10997145B2 (en) | Hierarchical diff files | |
US11231977B2 (en) | Distributed processing in a messaging platform | |
US20150237113A1 (en) | Method and system for file transmission | |
US8706756B2 (en) | Method, system and apparatus of hybrid federated search | |
US8918365B2 (en) | Dedicating disks to reading or writing | |
US9268716B2 (en) | Writing data from hadoop to off grid storage | |
CN104199863B (zh) | 存储设备上的文件的查找方法、装置及路由器 | |
US20120233209A1 (en) | Enterprise search over private and public data | |
CN103248645A (zh) | Bt离线数据下载系统及方法 | |
US11030262B2 (en) | Recyclable private memory heaps for dynamic search indexes | |
Skobeltsyn et al. | Web text retrieval with a p2p query-driven index | |
US11290551B1 (en) | Method and system for implementing circle of trust in a social network | |
JP2015528175A (ja) | 情報をプッシュする方法および情報をプッシュするための装置 | |
CN103685476A (zh) | 利用网页模板实现网页展现的方法和网页模板服务器 | |
CN109325056A (zh) | 一种大数据处理方法及装置、通信设备 | |
US11108717B1 (en) | Trends in a messaging platform | |
CN110460668B (zh) | 一种文件上传方法、装置、计算机设备和存储介质 | |
Skobeltsyn et al. | Query-driven indexing for scalable peer-to-peer text retrieval | |
CN103246646A (zh) | 一种网络数据获取方法和装置 | |
US10025859B2 (en) | Method and system for second-degree friend query | |
CN112307289A (zh) | 搜索方法、节点及存储介质 | |
CN111078736A (zh) | 一种数据聚合处理方法、装置、终端及存储介质 | |
CN112883143A (zh) | 一种基于Elasticsearch的数字展会搜索方法与系统 | |
TWI481227B (zh) | 物件傳遞系統與方法 | |
KR100545744B1 (ko) | 클러스터링 환경에서의 모바일 비즈니스 응용 서버간 콘텐츠 캐시 동기화 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |