CN111368166A - 资源搜索方法、资源搜索装置和计算机可读存储介质 - Google Patents

资源搜索方法、资源搜索装置和计算机可读存储介质 Download PDF

Info

Publication number
CN111368166A
CN111368166A CN202010146065.2A CN202010146065A CN111368166A CN 111368166 A CN111368166 A CN 111368166A CN 202010146065 A CN202010146065 A CN 202010146065A CN 111368166 A CN111368166 A CN 111368166A
Authority
CN
China
Prior art keywords
resource
search
index
data
resource data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010146065.2A
Other languages
English (en)
Inventor
李俊敏
罗英群
袁红辉
吕令广
黄各礼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE ICT Technologies Co Ltd
Original Assignee
ZTE ICT Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE ICT Technologies Co Ltd filed Critical ZTE ICT Technologies Co Ltd
Priority to CN202010146065.2A priority Critical patent/CN111368166A/zh
Publication of CN111368166A publication Critical patent/CN111368166A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2468Fuzzy queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/283Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种资源搜索方法、资源搜索装置和计算机可读存储介质。其中资源搜索方法包括:获取资源数据,按照设定规则对资源数据分类,以确定资源数据的资源类型;根据资源类型在相应的搜索引擎中建立搜索索引;根据资源类型与搜索索引的对应关系,将资源数据存储至相应的搜索引擎中;接收并解析资源搜索请求确定相应的资源类型,根据资源类型确定资源搜索请求所需访问的搜索引擎;根据资源搜索请求调用搜索引擎中的资源数据。本发明相比于相关技术中的单一搜索引擎,具有性能高以及便于管理的技术效果,解决了传统的网页搜索引擎无法直接有效搜索大量物联网资源数据的问题。

Description

资源搜索方法、资源搜索装置和计算机可读存储介质
技术领域
本发明涉及物联网技术领域,具体而言,涉及一种资源搜索方法、一种资源搜索装置和一种计算机可读存储介质。
背景技术
物联网服务支撑系统是物联网技术中面向应用的重要组成部分。传统的互联网搜索系统一般采用网络爬虫等技术来自动抓取采集网页数据,并通过索引子系统和查询子系统来提供检索服务。而在物联网搜索服务中,还需要提供物资源和特性以及网络等服务资源的搜索服务,因此如何高效地获取物联网资源以及多种方式便捷地使用资源搜索服务成为亟需解决的问题。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此,本发明的第一方面提供了一种资源搜索方法。
本发明的第二方面提供了一种资源搜索装置。
本发明的第三方面提供了一种计算机可读存储介质。
为了实现上述目的,根据本发明的第一方面的技术方案,提供了一种资源搜索方法,包括:获取资源数据,按照设定规则对资源数据分类,以确定资源数据的资源类型;根据资源类型在相应的搜索引擎中建立搜索索引;根据资源类型与搜索索引的对应关系,将资源数据存储至相应的搜索引擎中;接收并解析资源搜索请求确定相应的资源类型,根据资源类型确定资源搜索请求所需访问的搜索引擎;根据资源搜索请求调用搜索引擎中的资源数据。
在该技术方案中,服务器与多个搜索引用建立通信连接,并且服务器还与多种数据获取装置建立通信连接,服务器采集物联网的资源数据,按照设定规则对资源数据分类,确定获取到的资源数据的不同资源类型,对不同资源类型的资源数据建立不同的搜索索引,根据不同的搜索索引将资源数据分别存储在不同的搜索引擎中。实现了将获取到的资源数据进行分类存储的作用,将大量的资源数据进行分类存储,并且在查询调用资源数据时也不需要再对所有获取到的资源数据进行查找和搜索,从而提高了搜索资源数据的效率,并且在面对海量的资源数据时,利用多个搜索引擎存储获取到的资源数据,提高了整体搜索系统的运行性能。值得注意的是,可以根据用户意愿以及实际需求可以对搜索引擎中存储的资源数据进行扩展。在服务器接收到资源搜索请求后,对接收到的资源搜索请求进行解析,确定资源搜索请求中的资源类型,根据资源类型确定资源搜索请求所需搜索的资源数据所处的搜索引擎,再根据资源搜索请求在搜索引擎中查找搜索所需的资源数据。通过利用搜索引擎将大量的数据资源进行分类存储,实现了在搜索资源数据时可以直接在搜索引擎中进行查找所需搜索的资源数据。相比于相关技术中的单一搜索引擎,具有性能高以及便于管理的技术效果,解决了传统的网页搜索引擎无法直接有效搜索大量物联网资源数据的问题,同时也解决了封闭式垂直物联网系统直接采用数据库检索方式进行搜索所带来的依赖特定数据库、不易扩展以及性能不足以应对城市级别海量物联网资源等技术问题。
可以理解的是,资源搜索请求中不仅包括所需请求调用的资源类型的信息,还包括资源搜索关键信息,服务器可以根据资源搜索请求中的资源搜索关键信息对处于搜索引擎中的资源数据进行查找搜索。
可以理解的是,每个搜索引擎均具有用于存储获取到的资源数据的数据库,将获取到的资源存储在每个搜索引擎对应的数据库中,可以认为将资源数据存储在不同的搜索引擎中。
可以理解的是,可以将建立不同的搜索索引的资源数据存储在不同的搜索引擎中,也可以将建立不同的搜索索引的资源数据存在相同的搜索引擎中,具体的存储规则可以由用户根据实际情况自行设置,实现了灵活的对资源数据进行存储和搜索的效果。
在上述任一技术方案中,根据资源类型对资源数据建立搜索索引的步骤,具体包括:提取资源数据中的关键信息,根据关键信息建立资源数据对应的搜索索引,将搜索索引存储至相应的搜索引擎中。
在该技术方案中,对获取到的资源数据进行抽取处理,提取资源数据中的关键信息,根据提取的资源数据中的关键信息建立该资源数据对应的搜索索引,使根据搜索索引可以直接查找到相应的关键信息,并且根据关键信息可以搜索到相应的资源数据。将资源数据存储在搜索引擎时,还需要将存储在搜索引擎中的资源数据对应的搜索索引存储在该搜索引擎中,实现了根据搜索索引可以在搜索引擎中快速地搜索到相应的资源数据。
在上述任一技术方案中,响应于资源更新指令,提取每个搜索引擎中的搜索索引,以确定索引集合;将索引集合发送至每个搜索引擎中,以使搜索引擎根据索引集合对搜索索引更新;将索引集合和索引集合对应的关键信息存储至本地存储区中的索引数据库中。
在该技术方案中,接收到资源更新指令后,提取每个搜索引擎中的搜索索引,将全部搜索索引存储到一个索引集合中,将索引集合发送给每个搜索引擎,实现了每个搜索引擎均存储有全部的搜索索引。由于搜索系统中的搜索引擎采用了分布式的部署方式,为了提高搜索效率和速度,每个搜索引擎可以从其他搜索引擎中复制得到相应的搜索索引。并且将索引集合和索引集合中的搜索索引对应的关键信息存储在服务器的本地存储区,实现了服务器接受到数据资源搜索请求后,可以直接在本地存储区查询相应的资源数据的关键信息。在终端发送资源搜索请求后,服务器可以直接将在本地搜索到的关键信息回传给终端,进一步加快了对资源数据搜索的速度。如果关键信息中并未包含终端发送的资源搜索请求所需的资源数据,则继续根据搜索索引对搜索引擎中的资源数据进行搜索。
在上述任一技术方案中,根据索引集合对搜索索引更新的步骤具体包括:确定索引集合中的搜索索引与搜索引擎中的搜索索引为新增索引,控制搜索引擎将新增索引存储至本地存储区。
在该技术方案中,将索引集合中的搜索索引与搜索引擎中的搜索索引进行比对,判断索引集合中的搜索索引是否存在新增索引,其中,搜索引擎中没有且存在于搜索引擎中的搜索索引为新增索引,则将新增索引存储在本地存储区中。实现了对搜索索引的更新,以及对资源数据的更新。
可以理解的是,当仅需要将一部分搜索索引更新至全部搜索引擎中时,索引集合可以不包括全部搜索索引。执行资源更新指令时,采用定时增量复制的方式,对于复制过来的索引数据,和本地保存的索引进行比较,如果是新的索引则进入索引更新步骤,如果不是新的索引则做丢弃处理。
在上述任一技术方案中,根据资源类型确定资源搜索请求所需访问的搜索引擎的步骤,具体包括:根据资源类型确定资源搜索请求对应的搜索索引;根据搜索索引确定资源搜索请求所需访问的搜索引擎。
在该技术方案中,在接受到资源搜索请求后,对资源搜索请求进行解析确定了资源搜索请求中所需搜索的资源数据的资源类型,根据资源类型与搜索索引的对应关系找到相应的资源索引,根据资源索引查找到存储有该资源索引对应的资源数据的搜索引擎,可以直接对该搜索引擎中的资源数据进行搜索,实现了快速搜索资源数据的效果。
在上述任一技术方案中,资源搜索请求包括以下一种或其组合:全文搜索请求、语义搜索请求、主体搜索请求。
在该技术方案中,服务器对接收搜索请求的功能进行配置,可以接收多种类型的资源搜索请求,全文搜索预处理对资源搜索请求进行模糊查询结构化处理;语义搜索预处理检查资源搜索请求的语义的合法性进行判断,并将资源搜索请求进行语义结构化处理;主题搜索预处理检查资源搜索请求的合法性和有效性进行判断,并将请求数据进行主题结构化处理。
在上述任一技术方案中,资源搜索方法还包括:将资源搜索请求对应的资源数据整理后回传至资源搜索请求的发送端。
在该技术方案中,查询到所需的资源数据后,将资源数据进行结构化处理后再回传至资源搜索请求的发送端,实现了根据资源搜索请求查找到资源数据并将资源数据回传的技术效果。
可以理解的是,搜索到的资源数据为存储在服务器本地存储去的资源数据的关键信息和/或存储在搜索引擎中的资源数据,在对包括关键信息的资源数据进行回传之前,需要将关键信息与相应的资源数据根据资源类型进行组装。保证了将回传给请求发送端的信息为结构化后的资源数据,确保资源搜索请求的发送端可以识别该资源数据。
在上述任一技术方案中,获取资源数据的步骤,具体包括以下一种或其组合:通过搜索引擎主动采集资源数据、通过终端上传资源数据、通过离线导入资源数据。
在该技术方案中,在通过搜索引擎主动采集资源数据为搜索引擎系统根据调度策略主动到物联网云平台、网络边缘节点以及终端处主动进行获取资源数据;通过终端上传资源数据为物联网云平台、网络边缘节点和终端根据预设规则对资源数据进行上报,并按照约定的数据格式将资源相关的数据发送给搜索引擎的;通过离线导入资源数据为人工方式通过用户界面或者后台将编辑好的资源数据以文件等方式批量导入到系统中。
根据本发明的第二方面的技术方案,提供了一种资源搜索装置,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序;计算机程序被处理器执行时实现如上述任一技术方案中的故障检测方法的步骤。该资源搜索装置具有上述任一技术方案的资源搜索方法所具有的一切有益效果,在此不再赘述。
根据本发明的第三方面的技术方案,提供了一种计算机可读存储介质,计算机可读存储介质上存储有控制程序,控制程序被处理器执行时实现如上述任一项技术方案中的资源搜索方法的步骤。因此该计算机存储介质具有上述任一技术方案的资源搜索方法所具有的一切有益效果,在此不再赘述。
本发明的附加方面和优点将在下面的描述部分中给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1示出了根据本发明的一个实施例的资源搜索方法的流程示意图;
图2示出了根据本发明的另一个实施例的资源搜索方法的流程示意图;
图3示出了根据本发明的再一个实施例的资源搜索方法的流程示意图;
图4示出了根据本发明的又一个实施例的资源搜索方法的流程示意图;
图5示出了根据本发明的一个实施例的资源搜索方法所采用的物联网架构的示意框图;
图6示出了根据本发明的一个实施例的资源搜索方法的物联网资源搜索系统的示意框图;
图7示出了根据本发明的又一个实施例的资源搜索方法的流程示意图;
图8示出了根据本发明的一个实施例的资源搜索装置的示意框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
下面参照图1至图8描述根据本发明一个实施例的资源搜索方法、资源搜索装置和计算机可读存储介质。
实施例一:
如图1所示,本发明的一个实施例中,提供一种资源搜索方法,包括:
步骤S102,获取资源数据,按照设定规则对资源数据分类,以确定资源数据的资源类型;
步骤S104,根据资源类型在相应的搜索引擎中建立搜索索引;
步骤S106,根据资源类型与搜索索引的对应关系,将资源数据存储至相应的搜索引擎中;
步骤S108,接收并解析资源搜索请求确定相应的资源类型,根据资源类型确定资源搜索请求所需访问的搜索引擎;
步骤S110,根据资源搜索请求调用搜索引擎中的资源数据。
在该实施例中,服务器与多个搜索引用建立通信连接,并且服务器还与多种数据获取装置建立通信连接,服务器采集物联网的资源数据,按照设定规则对资源数据分类,确定获取到的资源数据的不同资源类型,对不同资源类型的资源数据建立不同的搜索索引,根据不同的搜索索引将资源数据分别存储在不同的搜索引擎中。实现了将获取到的资源数据进行分类存储的作用,将大量的资源数据进行分类存储,并且在查询调用资源数据时也不需要再对所有获取到的资源数据进行查找和搜索,从而提高了搜索资源数据的效率,并且在面对海量的资源数据时,利用多个搜索引擎存储获取到的资源数据,提高了整体搜索系统的运行性能。值得注意的是,可以根据用户意愿以及实际需求可以对搜索引擎中存储的资源数据进行扩展。在服务器接收到资源搜索请求后,对接收到的资源搜索请求进行解析,确定资源搜索请求中的资源类型,根据资源类型确定资源搜索请求所需搜索的资源数据所处的搜索引擎,再根据资源搜索请求在搜索引擎中查找搜索所需的资源数据。通过利用搜索引擎将大量的数据资源进行分类存储,实现了在搜索资源数据时可以直接在搜索引擎中进行查找所需搜索的资源数据。相比于相关技术中的单一搜索引擎,具有性能高以及便于管理的技术效果,解决了传统的网页搜索引擎无法直接有效搜索大量物联网资源数据的问题,同时也解决了封闭式垂直物联网系统直接采用数据库检索方式进行搜索所带来的依赖特定数据库、不易扩展以及性能不足以应对城市级别海量物联网资源等技术问题。
可以理解的是,资源搜索请求中不仅包括所需请求调用的资源类型的信息,还包括资源搜索关键信息,服务器可以根据资源搜索请求中的资源搜索关键信息对处于搜索引擎中的资源数据进行查找搜索。
可以理解的是,每个搜索引擎均具有用于存储获取到的资源数据的数据库,将获取到的资源存储在每个搜索引擎对应的数据库中,可以认为将资源数据存储在不同的搜索引擎中。
可以理解的是,可以将建立不同的搜索索引的资源数据存储在不同的搜索引擎中,也可以将建立不同的搜索索引的资源数据存在相同的搜索引擎中,具体的存储规则可以由用户根据实际情况自行设置,实现了灵活的对资源数据进行存储和搜索的效果。
可以理解的是,每个搜索引擎均具有用于存储获取到的资源数据的数据库,将获取到的资源存储在每个搜索引擎对应的数据库中,可以认为将资源数据存储在不同的搜索引擎中。可以将建立不同的搜索索引的资源数据存储在不同的搜索引擎中,也可以将建立不同的搜索索引的资源数据存在相同的搜索引擎中,具体的存储规则可以由用户根据实际情况自行设置,实现了灵活的对资源数据进行存储和搜索的效果。
在上述任一实施例中,根据资源类型对资源数据建立搜索索引的步骤,具体包括:提取资源数据中的关键信息,根据关键信息建立资源数据对应的搜索索引,将搜索索引存储至相应的搜索引擎中。
在该实施例中,对获取到的资源数据进行抽取处理,提取资源数据中的关键信息,根据提取的资源数据中的关键信息建立该资源数据对应的搜索索引,使根据搜索索引可以直接查找到相应的关键信息,并且根据关键信息可以搜索到相应的资源数据。将资源数据存储在搜索引擎时,还需要将存储在搜索引擎中的资源数据对应的搜索索引存储在该搜索引擎中,实现了根据搜索索引可以在搜索引擎中快速地搜索到相应的资源数据。
如图2所示,在上述任一实施例中,种资源搜索方法还包括:
步骤S202,响应于资源更新指令,提取每个搜索引擎中的搜索索引,以确定索引集合;
步骤S204,将索引集合发送至每个搜索引擎中,以使搜索引擎根据索引集合对搜索索引更新;
步骤S206,将索引集合和索引集合对应的关键信息存储至本地存储区中的索引数据库中。
在该实施例中,接收到资源更新指令后,提取每个搜索引擎中的搜索索引,将全部搜索索引存储到一个索引集合中,将索引集合发送给每个搜索引擎,实现了每个搜索引擎均存储有全部的搜索索引。由于搜索系统中的搜索引擎采用了分布式的部署方式,为了提高搜索效率和速度,每个搜索引擎可以从其他搜索引擎中复制得到相应的搜索索引。并且将索引集合和索引集合中的搜索索引对应的关键信息存储在服务器的本地存储区,实现了服务器接受到数据资源搜索请求后,可以直接在本地存储区查询相应的资源数据的关键信息。在终端发送资源搜索请求后,服务器可以直接将在本地搜索到的关键信息回传给终端,进一步加快了对资源数据搜索的速度。如果关键信息中并未包含终端发送的资源搜索请求所需的资源数据,则继续根据搜索索引对搜索引擎中的资源数据进行搜索。
可以理解的是,当仅需要将一部分搜索索引更新至全部搜索引擎中时,索引集合可以不包括全部搜索索引。执行资源更新指令时,采用定时增量复制的方式,对于复制过来的索引数据,和本地保存的索引进行比较,如果是新的索引则进入索引更新步骤,如果不是新的索引则做丢弃处理。
在上述任一实施例中,根据索引集合对搜索索引更新的步骤具体包括:确定索引集合中的搜索索引与搜索引擎中的搜索索引为新增索引,控制搜索引擎将新增索引存储至本地存储区。
在该实施例中,将索引集合中的搜索索引与搜索引擎中的搜索索引进行比对,判断索引集合中的搜索索引是否存在新增索引,其中,搜索引擎中没有且存在于搜索引擎中的搜索索引为新增索引,则将新增索引存储在本地存储区中。实现了对搜索索引的更新,以及对资源数据的更新。
在上述任一实施例中,获取资源数据的步骤,具体包括以下一种或其组合:通过搜索引擎主动采集资源数据、通过终端上传资源数据、通过离线导入资源数据。
在该实施例中,获取资源数据有三种具体方式:分别是云通过搜索引擎主动采集资源数据、通过终端上传资源数据、通过离线导入资源数据。在实际应用中对上述三种方式进行组合使用,也可以对三种方式进行单独使用。
通过搜索引擎主动采集资源数据为搜索引擎系统根据调度策略主动到物联网云平台、网络边缘节点以及终端处主动进行获取资源数据。
通过终端上传资源数据为物联网云平台、网络边缘节点和终端根据预设规则对资源数据进行上报,并按照约定的数据格式将资源相关的数据发送给搜索引擎的。
通过离线导入资源数据为人工方式通过用户界面或者后台将编辑好的资源数据以文件等方式批量导入到系统中。
实施例二:
如图3所示,本发明的一个实施例中,提供一种资源搜索方法,包括:
步骤S302,获取资源数据,按照设定规则对资源数据分类,以确定资源数据的资源类型;
步骤S304,根据资源类型对资源数据建立搜索索引;
步骤S306,按照搜索索引将资源数据存储至相应的搜索引擎中;
步骤S308,接收并解析资源搜索请求确定相应的资源类型;
步骤S310,根据资源类型确定资源搜索请求对应的搜索索引;
步骤S312,根据搜索索引确定资源搜索请求所需访问的搜索引擎;
步骤S314,根据资源搜索请求调用搜索引擎中的资源数据。
在该实施例中,在接受到资源搜索请求后,对资源搜索请求进行解析确定了资源搜索请求中所需搜索的资源数据的资源类型,根据资源类型与搜索索引的对应关系找到相应的资源索引,根据资源索引查找到存储有该资源索引对应的资源数据的搜索引擎,可以直接对该搜索引擎中的资源数据进行搜索,实现了快速搜索资源数据的效果。
在上述实施例中,资源搜索请求包括以下一种或其组合:全文搜索请求、语义搜索请求、主体搜索请求。
在该实施例中,服务器对接收搜索请求的功能进行配置,可以接收多种类型的资源搜索请求,全文搜索预处理对资源搜索请求进行模糊查询结构化处理;语义搜索预处理检查资源搜索请求的语义的合法性进行判断,并将资源搜索请求进行语义结构化处理;主题搜索预处理检查资源搜索请求的合法性和有效性进行判断,并将请求数据进行主题结构化处理。
可以理解的是,本申请中的资源搜索方法基于互联网相关技术中的“云-边-端”架构,其中“云”为物联网云平台,“边”为网络边缘节点,“端”为终端,以下简称云-边-端。物联网架构各层之间彼此相对独立并通过网络进行通信,并且边缘和分布式物联网云平均可采用分布式部署。
其中,物联网云平台包括设备资源服务,设备资源服务采集物联网云平台、网络边缘节点和终端各个节点的设备的相关资源数据。
物联网云平台还包括计算资源服务,计算资源服务用于收集记录物联网云平台、边缘各个节点的计算资源容量及使用情况。
物联网云平台还包括搜索服务和任务管理服务,搜索服务提供资源搜索服务,任务管理服务用于管理业务应用调用物联网云平的设备控制相关任务并下发到对应的边缘节点和终端上执行。
通过物联网云平台将资源数据建立索引,并根据索引存储在不同的搜索引擎中,并且物联网云平台还能接收到终端发送的搜索指令,根据搜索索引找到对应的搜索引擎中的资源数据。
网络边缘节点用于管理所负责辖区的各类终端的接入和控制并提供边缘计算能力和服务,包括资源服务、连接服务、计算服务。
终端用于提供传感测量数据的上报和上层下发的控制指令的执行,终端又包括数据服务和控制服务。其中,终端包括采集资源数据的采集终端和用于控制物联网云平台和和网络边缘节点的服务的控制终端等。采集终端可以自行采集相关的资源数据,并将资源数据发送至物联网云平台进行分类存储。用户可以通过控制终端向物联网云平台发送资源搜索请求。
通过将不同种类的资源数据建立不同的搜索索引,并存储在不同的搜索引擎中,根据搜索索引可以快速查找到对应的搜索引擎中的资源数据,从而克服了传统的网页搜索引擎无法直接有效搜索海量物联网资源的技术问题,同时也解决了封闭式垂直物联网系统直接采用数据库检索方式进行搜索所带来的依赖特定数据库、不易扩展以及性能不足以应对城市级别海量物联网资源等技术问题。
本发明的实施为智慧城市物联网资源统一平台、统一管理、统一服务提供了便利,可以极大地降低智慧城市物联网支撑系统的实施成本,进而有效推动物联网基础设施的建设和物联网应用的发展,给城市管理和市民生活带来便利。
在上述任一实施例中,资源搜索方法还包括:将资源搜索请求对应的资源数据整理后回传至资源搜索请求的发送端。
在该实施例中,查询到所需的资源数据后,将资源数据进行结构化处理后再回传至资源搜索请求的发送端,实现了根据资源搜索请求查找到资源数据并将资源数据回传的技术效果,完成了资源搜索并发送的过程。
可以理解的是,搜索到的资源数据为存储在服务器本地存储去的资源数据的关键信息和/或存储在搜索引擎中的资源数据,在对包括关键信息的资源数据进行回传之前,需要将关键信息与相应的资源数据根据资源类型进行组装。保证了将回传给请求发送端的信息为结构化后的资源数据,确保资源搜索请求的发送端可以识别该资源数据。
实施例三:
如图4所示,本发明的具体实施例,提供了一种资源搜索方法,包括:
步骤S402,进行必要的配置,进入工作状态;
步骤S404,进行物联网资源数据采集,资源数据采集有三种方式:分别是通过搜索引擎主动采集资源数据、通过终端上传资源数据、通过离线导入资源数据;
步骤S406,将步骤三种方式获取到的物联网资源数据进行抽取处理,构建出关键信息的搜索索引;
步骤S408,接收索引更新指令,索引复制采用定时增量复制的方式,对于复制过来的索引数据,和本地保存的索引进行比较,如果是新的索引则进入索引更新步骤,如果不是新的索引则做丢弃处理;
步骤S410,将搜索索引进行更新到本地索引库中,作为后续搜索的对象。
在该实施例中,如图5所示,服务器采用采用的一种“云-边-端(物联网云平台-网络边缘节点-终端,以下简称云-边-端)”物联网架构的参考模型框图,包括:业务应用202,用于使用分布式物联网云平台提供的能力和服务并根据用户需求开发各种类型的业务应用;分布式物联网云平台,用于提供物联网服务支撑,是物联网架构的核心组成部分,它又包括:设备资源服务208、计算资源服务210、搜索服务212、资源调度214、数据聚合和能力开放206、任务管理204等几部分组成,其中设备资源服务208用于采集分布式物联网云平台、边缘、终端各个节点的设备相关资源,计算资源服务210用于收集记录分布式物联网云平台、边缘各个节点的计算资源容量及使用情况,搜索服务212提供资源搜索服务,资源调度214用于调度各个节点的资源,数据聚合和能力开放206用于采集终端的传感测量和连接运行状态数据并提供这些数据的访问服务,任务管理204用于管理业务应用202调用分布式物联网云平台的设备控制相关任务并下发到对应的边缘和终端上执行;边缘用于管理所负责辖区的各类终端的接入和控制并提供边缘计算能力和服务,包括资源服务、连接服务、计算服务;终端用于提供传感测量数据的上报和上层下发的控制指令的执行,终端又包括数据服务和控制服务。所述物联网架构各层之间彼此相对独立并通过网络进行通信,并且边缘和分布式物联网云平台均可采用分布式部署,自组织方式进行管理。
如图6所示,该实施例中服务所采用的物联网资源搜索系统,包括:全文搜索引擎306,用于提供全文搜索请求的接口服务;语义搜索引擎302,用于提供基于语义搜索请求的接口服务;主题搜索引擎304,用于提供基于主题搜索请求的接口服务;搜索组件320,用于接收来自各搜索接口的搜索请求,并根据模式仓库308的规则执行搜索任务;模式仓库308,用于保存不同类型搜索的语义、主题等规则数据,为搜索组件提供匹配服务;云边端融合的资源自动发现与采集代理324,用于采集来自云-边-端的资源信息,这些资源信息既可以由云边端融合的资源自动发现与采集代理324主动采集,也可以由云-边-端主动上报到云边端融合的资源自动发现与采集代理324;分布式搜索管理器322,用于多节点分布式搜索任务的调度和管理;抽取处理器314,用于对采集到的资源数据进行关键信息抽取;索引更新310,用于将抽取后的数据更新保存到索引数据库中;数据导入处理器316,用于在线批量导入资源数据到索引数据库中;索引复制318,用于存储索引和同步其它节点的索引数据;配置312,用于提供搜索系统运行所必要的参数配置等服务。上述这些组件和模块相互配合,完成物联网资源的采集和处理并提供多引擎搜索服务。
可以理解的是,在通过搜索引擎主动采集资源数据为搜索引擎系统根据调度策略主动到物联网云平台、网络边缘节点以及终端处主动进行获取资源数据;
通过终端上传资源数据为物联网云平台、网络边缘节点和终端根据预设规则对资源数据进行上报,并按照约定的数据格式将资源相关的数据发送给搜索引擎的;
通过离线导入资源数据为人工方式通过用户界面或者后台将编辑好的资源数据以文件等方式批量导入到系统中。
如图7所示,本发明的另一个具体实施例,提供了一种资源搜索方法,包括:
步骤S502,进行必要的配置,进入工作状态;
步骤S504,接收资源搜索请求,并处理资源搜索请求,通过统一的接口接收物联网云平台或业务应用发起的资源搜索请求,然后对资源搜索请求进行解析,根据所需的资源类型路由到对应的搜索预处理引擎;
步骤S506,在搜索索引中执行搜索并将搜索结果根据类型进行组装,将组装后的搜索结果数据返回给请求方,完成整个搜索流程。
在该实施例中,资源搜索系统至少支持全文搜索请求、语义搜索请求和主题搜索请求。服务器对接收搜索请求的功能进行配置,可以接收多种类型的资源搜索请求,全文搜索预处理对资源搜索请求进行模糊查询结构化处理;语义搜索预处理检查资源搜索请求的语义的合法性进行判断,并将资源搜索请求进行语义结构化处理;主题搜索预处理检查资源搜索请求的合法性和有效性进行判断,并将请求数据进行主题结构化处理。并且利用关键词匹配、语义匹配和主体匹配对资源搜索请求进行结构化处理,根据结构化处理后的资源搜索请求进行搜索资源数据。
实施例四:
如图8所示,本发明的再一个实施例中,提供了一种资源搜索装置100。包括:存储器120、处理器140及存储在存储器120上并可在处理器140上运行的计算机程序,计算机程序被处理器140执行时实现如上述任一技术方案限定的资源搜索方法的步骤,该资源搜索装置100具有上述任一技术方案的资源搜索方法所具有的一切有益效果,在此不再赘述。
实施例五:
本发明的再一个实施例中,提供了一种计算机可读存储介质,计算机可读存储介质上存储有控制程序,控制程序被处理器执行时实现如上述任一实施例中的资源搜索方法的步骤,或上述任一实施例中的资源搜索方法的步骤。该计算机可读存储介质具有上述任一实施例中的资源搜索方法所具有的一切有益效果,在此不再赘述。
在本发明中,术语“第一”、“第二”、“第三”仅用于描述的目的,而不能理解为指示或暗示相对重要性;术语“多个”则指两个或两个以上,除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解,例如,“连接”可以是固定连接,也可以是可拆卸连接,或一体地连接;“相连”可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
本发明的描述中,需要理解的是,术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或单元必须具有特定的方向、以特定的方位构造和操作,因此,不能理解为对本发明的限制。
在本说明书的描述中,术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或实例。而且,描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种资源搜索方法,其特征在于,包括:
获取资源数据,按照设定规则对所述资源数据分类,以确定所述资源数据的资源类型;
根据所述资源类型在相应的所述搜索引擎中建立搜索索引;
根据所述资源类型与所述搜索索引的对应关系,将所述资源数据存储至相应的所述搜索引擎中;
接收并解析资源搜索请求确定相应的资源类型,根据所述资源类型确定所述资源搜索请求所需访问的搜索引擎;
根据所述资源搜索请求调用所述搜索引擎中的所述资源数据。
2.根据权利要求1所述的资源搜索方法,其特征在于,所述根据所述资源类型在相应的所述搜索引擎中建立搜索索引的步骤,具体包括:
提取所述资源数据中的关键信息,根据所述关键信息建立所述资源数据对应的搜索索引,将所述搜索索引存储至相应的所述搜索引擎中。
3.根据权利要求2所述的资源搜索方法,其特征在于,还包括:
响应于资源更新指令,提取每个所述搜索引擎中的所述搜索索引,以确定索引集合;
将所述索引集合发送至每个所述搜索引擎中,根据所述索引集合对所述搜索索引更新;
将所述索引集合和所述索引集合对应的所述关键信息存储至本地存储区中的索引数据库中。
4.根据权利要求3所述的资源搜索方法,其特征在于,所述根据所述索引集合对所述搜索索引更新的步骤具体包括:
确定所述索引集合中的搜索索引与所述搜索引擎中的搜索索引为新增索引,控制所述搜索引擎将所述新增索引存储至本地存储区。
5.根据权利要求4所述的资源搜索方法,其特征在于,所述根据所述资源类型确定所述资源搜索请求所需访问的搜索引擎的步骤,具体包括:
根据所述资源类型确定所述资源搜索请求对应的所述搜索索引;
根据所述搜索索引确定所述资源搜索请求所需访问的搜索引擎。
6.根据权利要求1至5中任一项所述的资源搜索方法,其特征在于,所述资源搜索请求包括以下一种或其组合:
全文搜索请求、语义搜索请求、主体搜索请求。
7.根据权利要求6所述的资源搜索方法,其特征在于,还包括:
将所述资源搜索请求对应的资源数据整理后回传至所述资源搜索请求的发送端。
8.根据权利要求7所述的资源搜索方法,其特征在于,所述获取资源数据的步骤,具体包括以下一种或其组合:
通过搜索引擎主动采集所述资源数据、通过终端上传所述资源数据、通过离线导入所述资源数据。
9.一种资源搜索装置,其特征在于,包括:
存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序;所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的资源搜索方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有资源搜索程序,所述资源搜索程序被处理器执行时实现如权利要求1至8中任一项所述的资源搜索方法的步骤。
CN202010146065.2A 2020-03-05 2020-03-05 资源搜索方法、资源搜索装置和计算机可读存储介质 Pending CN111368166A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010146065.2A CN111368166A (zh) 2020-03-05 2020-03-05 资源搜索方法、资源搜索装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010146065.2A CN111368166A (zh) 2020-03-05 2020-03-05 资源搜索方法、资源搜索装置和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111368166A true CN111368166A (zh) 2020-07-03

Family

ID=71206454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010146065.2A Pending CN111368166A (zh) 2020-03-05 2020-03-05 资源搜索方法、资源搜索装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111368166A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112231296A (zh) * 2020-09-30 2021-01-15 北京金山云网络技术有限公司 一种分布式日志处理方法、装置、系统、设备及介质
CN112671901A (zh) * 2020-12-23 2021-04-16 深圳市名图信息技术有限公司 一种基于大数据采集分析的资源信息服务平台
CN114547104A (zh) * 2022-02-14 2022-05-27 中国平安人寿保险股份有限公司 日志数据查询方法、装置、计算机设备及存储介质
CN114861039A (zh) * 2022-03-31 2022-08-05 北京优特捷信息技术有限公司 一种搜索引擎的参数配置方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1143349A1 (en) * 2000-04-07 2001-10-10 IconParc GmbH Method and apparatus for generating index data for search engines
CN105183884A (zh) * 2015-09-24 2015-12-23 西安未来国际信息股份有限公司 一种基于大数据技术的搜索引擎系统及搜索引擎方法
CN105808740A (zh) * 2016-03-11 2016-07-27 程书京 信息搜索方法及信息搜索装置
CN110023928A (zh) * 2016-12-05 2019-07-16 谷歌有限责任公司 预测搜索引擎排名信号值

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1143349A1 (en) * 2000-04-07 2001-10-10 IconParc GmbH Method and apparatus for generating index data for search engines
CN105183884A (zh) * 2015-09-24 2015-12-23 西安未来国际信息股份有限公司 一种基于大数据技术的搜索引擎系统及搜索引擎方法
CN105808740A (zh) * 2016-03-11 2016-07-27 程书京 信息搜索方法及信息搜索装置
CN110023928A (zh) * 2016-12-05 2019-07-16 谷歌有限责任公司 预测搜索引擎排名信号值

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112231296A (zh) * 2020-09-30 2021-01-15 北京金山云网络技术有限公司 一种分布式日志处理方法、装置、系统、设备及介质
CN112231296B (zh) * 2020-09-30 2024-05-28 北京金山云网络技术有限公司 一种分布式日志处理方法、装置、系统、设备及介质
CN112671901A (zh) * 2020-12-23 2021-04-16 深圳市名图信息技术有限公司 一种基于大数据采集分析的资源信息服务平台
CN114547104A (zh) * 2022-02-14 2022-05-27 中国平安人寿保险股份有限公司 日志数据查询方法、装置、计算机设备及存储介质
CN114861039A (zh) * 2022-03-31 2022-08-05 北京优特捷信息技术有限公司 一种搜索引擎的参数配置方法、装置、设备及存储介质
CN114861039B (zh) * 2022-03-31 2023-03-24 北京优特捷信息技术有限公司 一种搜索引擎的参数配置方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111368166A (zh) 资源搜索方法、资源搜索装置和计算机可读存储介质
CN100456687C (zh) 网络故障实时相关性分析方法及系统
Mouratidis et al. A threshold-based algorithm for continuous monitoring of k nearest neighbors
Perera et al. Sensor search techniques for sensing as a service architecture for the internet of things
US20070168336A1 (en) Method and apparatus for a searchable data service
CN102685221A (zh) 一种状态监测数据的分布式存储与并行挖掘方法
CN111881223A (zh) 数据管理方法、设备、系统及存储介质
CN106484815B (zh) 一种基于海量数据类sql检索场景的自动识别优化方法
CN117271460B (zh) 基于科研数字对象语用关系的科研数联网服务方法与系统
CN100534084C (zh) 远程xml数据更新方法以及系统
CN103034650A (zh) 一种数据处理系统和方法
CN106446289B (zh) 基于Pinpoint的信息查询方法和装置
CN117389830A (zh) 集群日志采集方法、装置、计算机设备及存储介质
CN110109870A (zh) 一种基于Solr的海量数据快速检索系统
CN113127526A (zh) 一种基于Kubernetes的分布式数据存储和检索系统
CN113608952A (zh) 一种基于日志构建支持环境的系统故障处理方法及系统
CN113407810A (zh) 一种基于大数据的城市信息和服务集成系统及方法
CN115658742B (zh) 一种现场级主动标识载体的标识解析方法及系统
CN115168474B (zh) 一种基于大数据模型的物联中台系统搭建方法
CN115687686A (zh) 一种基于知识图谱的视频图像数据构建方法和系统
CN108280790A (zh) 基于大数据分析的政策信息服务系统
EP4030312A1 (en) Method and apparatus for querying data, computing device, and storage medium
CN112564984A (zh) 基于大数据的物联网的分布式安全运维的方法
CN111813542A (zh) 一种并行处理大规模图分析任务的负载均衡方法及其装置
CN114443410A (zh) 一种业务日志处理方法、系统及物联网系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200703