CN114116716A - 一种层次数据检索方法、装置和设备 - Google Patents

一种层次数据检索方法、装置和设备 Download PDF

Info

Publication number
CN114116716A
CN114116716A CN202111389373.9A CN202111389373A CN114116716A CN 114116716 A CN114116716 A CN 114116716A CN 202111389373 A CN202111389373 A CN 202111389373A CN 114116716 A CN114116716 A CN 114116716A
Authority
CN
China
Prior art keywords
data
retrieval
database
hierarchical
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111389373.9A
Other languages
English (en)
Inventor
田标
崔伟
陈献青
邓捷
王刚
王家宾
黄文文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianyi Digital Life Technology Co Ltd
Original Assignee
Tianyi Digital Life Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianyi Digital Life Technology Co Ltd filed Critical Tianyi Digital Life Technology Co Ltd
Priority to CN202111389373.9A priority Critical patent/CN114116716A/zh
Publication of CN114116716A publication Critical patent/CN114116716A/zh
Priority to PCT/CN2022/097345 priority patent/WO2023087673A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • G06F16/2246Trees, e.g. B+trees
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/2433Query languages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种层次数据检索方法、装置和设备,方法包括:响应于任一用户端发送的登录请求,获取用户端对应的用户标识;从预设数据库中查询用户标识对应的归属信息,并确定用户标识对应的数据库层级类型;当接收用户端发送的数据检索请求时,获取数据检索请求对应的检索类型;若检索类型为关系数据库检索,则根据归属信息检索数据库层级类型对应的关系数据库,得到第一目标层次数据;若检索类型为索引数据库检索,则根据数据检索请求与归属信息检索数据库层级类型对应的ES索引库,得到第二目标层次数据;返回第一目标层次数据或第二目标层次数据至用户端。从而在简化检索架构和检索路径基础上,更为有效地提高亿级用户量数据检索过程的效率。

Description

一种层次数据检索方法、装置和设备
技术领域
本发明涉及数据检索技术领域,尤其涉及一种层次数据检索方法、装置和设备。
背景技术
层次数据,也叫目录树,在UI上类似Windows的资源管理器,指的是通过树形结构逐层存储的数据。其管理、搜索、分析是互联网业务中的常见需求,例如企业的各层级的部门及其员工以及员工之间上下级数据的管理、存储和查询;多层次商品类别、商品及相关企业和用户数据的管理和查询;物联网业务中的多层次地域及其包含的设备、设备生产企业及设备投入使用后所属的企业、用户数据的管理、搜索等,数据的层次可以有十几级甚至不限,对应的数据量可能达到百万级甚至更大。这些需求涉及到的用户及管理员(包括区域管理员)往往需要不同的数据权限。
为此,传统的层次数据存储和搜索的方法通常是采用关系数据库MySQL、Oracle或Microsoft SQL Server来保存层次数据;或者是采用字段记录层次关系的方式进行存储和检索查询。
但随着亿级用户量的互联网业务的不断扩大,层次树实体数据之间的关联会的数据量会进一步增加,按照传统关系数据库理论构建的层次数据管理、搜索服务,常见的表设计方案只能循环或者递归地用Java等编程语言从数据库查询,而且层次树越多,循环次数或递归的层次越深;且由于应用系统、数据库往往运行在不同的服务器上,每次访问数据库时都会经过网络通信、数据库服务器内部的处理、硬盘I/O交互等过程,在数据量和并发量较大的情况下系统响应缓慢且难以提供大规模的并发访问,从而导致层次数据的搜索效率降低,无法满足互联网业务发展需求。
发明内容
本发明提供了一种层次数据检索方法、装置和设备,解决了传统的层次数据检索方法由于其架构和检索路径的限制,在亿级用户量的互联网业务搜索过程中的检索效率较低,无法满足互联网业务发展需求的技术问题。
本发明第一方面提供的一种层次数据检索方法,包括:
响应于任一用户端发送的登录请求,获取所述用户端对应的用户标识;
从预设数据库中查询所述用户标识对应的归属信息,并确定所述用户标识对应的数据库层级类型;
当接收所述用户端发送的数据检索请求时,获取所述数据检索请求对应的检索类型;
若所述检索类型为关系数据库检索,则根据所述归属信息检索所述数据库层级类型对应的关系数据库,得到第一目标层次数据;
若所述检索类型为索引数据库检索,则根据所述数据检索请求与所述归属信息检索所述数据库层级类型对应的ES索引库,得到第二目标层次数据;
返回所述第一目标层次数据或所述第二目标层次数据至所述用户端。
可选地,所述从预设数据库中查询所述用户标识对应的归属信息,并确定所述用户标识对应的数据库层级类型的步骤,包括:
按照所述用户标识检索预设数据库,获取所述用户标识对应的归属信息并缓存;
判断所述归属信息是否包含上级节点ID;
若否,则判定所述用户标识对应的数据库层级类型为限定层级类型;
若是,则判定所述用户标识对应的数据库层级类型为非限定层级类型。
可选地,所述归属信息包括第一归属机构ID,所述关系数据库包括平面层级树信息表和第一机构设备关联信息表;当所述数据库层级类型为限定层级类型时,所述若所述检索类型为关系数据库检索,则根据所述归属信息检索所述数据库层级类型对应的关系数据库,得到第一目标层次数据的步骤,包括:
若所述检索类型为关系数据库检索,则按照所述第一归属机构ID查询所述第一机构设备信息表,确定对应的设备数据以及层级树分支ID;
按照所述层级树分支ID查询所述平面层级树信息表,确定对应的层级树分支数据;
建立每个所述层级树分支数据与所述设备数据之间的关联,得到第一目标层次数据。
可选地,所述归属信息包括第二归属机构ID和所述上级节点ID,所述关系数据库包括树节点信息表、树节点关联关系表和第二机构设备关联信息表;当所述数据库层级类型为非限定层级类型时,所述若所述检索类型为关系数据库检索,则根据所述归属信息检索所述数据库层级类型对应的关系数据库,得到第一目标层次数据的步骤,包括:
若所述检索类型为关系数据库检索,则按照所述第二归属机构ID查询所述第二机构设备信息表,确定对应的设备数据、所述上级节点ID以及层级树节点ID;
采用所述上级节点ID和所述层级树节点ID检索所述树节点信息表,确定关联的全部树节点ID;
按照各个所述树节点ID分别检索所述树节点关联关系表,得到各个所述树节点ID分别对应的第一节点关联关系;
按照所述第一节点关联关系关联各个所述树节点ID对应的树节点并建立所述上级节点ID与所述设备数据之间的关联,得到第一目标层次数据。
可选地,所述归属信息包括第三机构归属ID;所述ES索引库包括平面层级树索引表和第一机构设备关联索引表;当所述数据库层级类型为限定层级类型时,所述若所述检索类型为索引数据库检索,则根据所述数据检索请求与所述归属信息检索所述数据库层级类型对应的ES索引库,得到第二目标层次数据的步骤,包括:
若所述检索类型为索引数据库检索,则解析所述数据检索请求得到搜索条件和目标数据格式;
按照所述第三机构归属ID检索所述机构设备关联索引表,确定对应的设备数据;
按照所述搜索条件搜索所述平面层级树索引表,确定对应的层级树信息;
建立所述层级树信息与所述设备数据之间的关联并转换为所述目标数据格式,得到第二目标层次数据。
可选地,所述归属信息包括第四机构归属ID,所述ES索引库包括树节点信息索引表和第二机构设备关联索引表;当所述数据库层级类型为非限定层级类型时,所述若所述检索类型为索引数据库检索,则根据所述数据检索请求与所述归属信息检索所述数据库层级类型对应的ES索引库,得到第二目标层次数据的步骤,包括:
若所述检索类型为索引数据库检索,则解析所述数据检索请求得到搜索条件;
按照所述第四机构归属ID检索所述第二机构设备关联索引表,确定对应的设备数据和所属层次树分支ID;
按照所述搜索条件搜索所述树节点信息索引表,得到多个符合所述搜索条件的层次树节点ID;
按照各个所述层次树节点ID分别检索所述第二机构设备关联索引表,确定各个所述层次树节点ID对应的第二节点关联关系;
按照所述第二节点关联关系关联各个所述层次树节点ID对应的树节点,并建立与所述设备数据之间的关联,得到第二目标层次数据。
可选地,还包括:
当接收到额外用户端发送的设备再分配请求时,创建与所述额外用户端对应的额外用户标识;
按照所述设备再分配请求确定对应的额外设备数据;
建立所述额外用户标识与所述额外设备数据之间的关联,得到额外ES索引表并保存至所述ES索引库。
可选地,还包括:
按照预设的更新周期执行预设的配置文件,对所述关系数据库内的关系数据进行字段转换,得到ES索引字段;
将所述ES索引字段同步至所述ES索引库。
本发明第二方面提供了一种层次数据检索装置,包括:
用户标识获取模块,用于响应于任一用户端发送的登录请求,获取所述用户端对应的用户标识;
数据库层级类型确定模块,用于从预设数据库中查询所述用户标识对应的归属信息,并确定所述用户标识对应的数据库层级类型;
检索类型获取模块,用于当接收所述用户端发送的数据检索请求时,获取所述数据检索请求对应的检索类型;
关系数据检索模块,用于若所述检索类型为关系数据库检索,则根据所述归属信息检索所述数据库层级类型对应的关系数据库,得到第一目标层次数据;
索引数据检索模块,用于若所述检索类型为索引数据库检索,则根据所述数据检索请求与所述归属信息检索所述数据库层级类型对应的ES索引库,得到第二目标层次数据;
层次数据返回模块,用于返回所述第一目标层次数据或所述第二目标层次数据至所述用户端。
本发明第三方面还提供了一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如本发明第一方面任一项所述的层次数据检索方法的步骤。
从以上技术方案可以看出,本发明具有以下优点:
本发明通过响应于任一用户端发送的登录请求,获取用户端对应的用户标识;从预设数据库中查询用户标识对应的归属信息,并确定用户标识对应的数据库层级类型;当接收用户端发送的数据检索请求时,获取数据检索请求对应的检索类型;若检索类型为关系数据库检索,则根据归属信息检索数据库层级类型对应的关系数据库,得到第一目标层次数据;若检索类型为索引数据库检索,则根据数据检索请求与归属信息检索数据库层级类型对应的ES索引库,得到第二目标层次数据;返回第一目标层次数据或第二目标层次数据至用户端。从而通过划分检索类型和数据库层级类型,在简化检索架构和检索路径的基础上,经数据库设计和ES搜索库设计互相配合,可以通过一个SQL语句或是数次查询的方式获取到层次树数据,进而更为有效地提高了亿级用户量下数据检索过程的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例一提供的一种层次数据检索方法的步骤流程图;
图2为本发明实施例二提供的一种层次数据检索方法的步骤流程图;
图3为本发明实施例提供的一种层次数据数据的增量同步过程的步骤流程图;
图4为本发明实施例提供的一种ES索引库的检索查询流程的步骤流程图;
图5为本发明实施例三提供的一种层次数据检索装置的结构框图。
具体实施方式
本发明实施例提供了一种层次数据检索方法、装置和设备,用于解决传统的层次数据检索方法由于其架构和检索路径的限制,在亿级用户量的互联网业务搜索过程中的检索效率较低,无法满足互联网业务发展需求的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1,图1为本发明实施例一提供的一种层次数据检索方法的步骤流程图。
本发明提供的一种层次数据检索方法,包括:
步骤101,响应于任一用户端发送的登录请求,获取用户端对应的用户标识;
用户标识指的是任一用户端在发送登录请求时,登录请求所携带的用户端ID。
在本发明实施例中,本装置响应于任一用户端发送的登录请求,并对登录请求进行登录验证,例如通过是用户端是否注册来判断该用户端是否拥有对应的登录权限等,若登录验证通过,则从登录请求获取该用户端对应的用户标识,以得到后续用户端查询层次数据的数据基础。
步骤102,从预设数据库中查询用户标识对应的归属信息,并确定用户标识对应的数据库层级类型;
预设数据库指的是存储有用户端-机构关联表、层次树分支ID集合等信息的关系型数据库。
归属信息指的是表示该用户标识与多个归属机构、用户类型和归属树分支之间的关联关系的信息,包括但不限于第一归属机构ID、第二归属机构ID、第三归属机构ID、第四归属机构ID和上级节点ID等信息。
在获取到登录请求所携带的用户标识后,可以采用该用户标识作为检索字,在预设数据库中查询对应的归属信息,同时按照该用户标识结合登录请求,判断该用户标识所属的层次数据库的数据库层级类型。
步骤103,当接收用户端发送的数据检索请求时,获取数据检索请求对应的检索类型;
在确定用户标识对应的数据库层级类型后,若是接收到用户端发送的数据检索请求,则可以进一步响应该数据检索请求,获取其中对应的检索类型,以确定该数据检索请求所需要的检索方式,例如关系数据库检索或索引数据库检索等。
步骤104,若检索类型为关系数据库检索,则根据归属信息检索数据库层级类型对应的关系数据库,得到第一目标层次数据;
关系数据库指的是建立在关系数据库模型基础上的数据库,借助于集合代数等概念和方法来处理数据库中的数据,同时也是一个被组织成一组拥有正式描述性的表格,该形式的表格作用的实质是装载着数据项的特殊收集体,这些表格中的数据能以许多不同的方式被存取或重新召集而不需要重新组织数据库表格。关系数据库的定义造成元数据的一张表格或造成表格、列、范围和约束的正式描述。每个表格(有时被称为一个关系)包含用列表示的一个或更多的数据种类。每行包含一个唯一的数据实体,这些数据是被列定义的种类。当创造一个关系数据库的时候,你能定义数据列的可能值的范围和可能应用于那个数据值的进一步约束。而SQL语言是标准用户和应用程序到关系数据库的接口。其优势是容易扩充,且在最初的数据库创造之后,一个新的数据种类能被添加而不需要修改所有的现有应用软件。主流的关系数据库有oracle、db2、sqlserver、sybase、mysql等。
若是判定检索类型为关系数据库检索的情况下,由于数据检索请求中的数据请求已经由归属信息的形式提取得到,此时可以采用归属信息作为关键字或关键词,按照关系数据库检索的检索方式在数据库层级类型对应的关系数据库进行检索,以得到第一目标层次数据。
步骤105,若检索类型为索引数据库检索,则根据数据检索请求与归属信息检索数据库层级类型对应的ES索引库,得到第二目标层次数据;
ES索引库指的是一个分布式、高扩展、高实时的搜索与数据分析引擎。用关系数据库的概念理解的话,ES的索引相当于关系数据库中的表,一个索引中可以包含多个不同数据类型的字段,只是ES的索引之间不能做表之间的关联。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性,能使数据在生产环境变得更有价值。Elasticsearch的实现原理主要分为以下几个步骤,首先用户将数据提交到Elasticsearch数据库中,再通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据,当用户搜索数据时候,再根据权重将结果排名,打分,再将返回结果呈现给用户。
若是检索类型判定为索引数据库检索的情况下,表明此时的检索方式为模糊搜索或全文搜索,为提高后续搜索效率,可以基于数据检索请求所指定的搜索条件结合归属信息组成复合关键字或关键词,检索数据库层级类型对应的ES索引库,从而得到第二目标层次数据。
步骤106,返回第一目标层次数据或第二目标层次数据至用户端。
在获取到第一目标层次数据或第二目标层次数据后,将其返回至用户端供用户端显示,使得用户能够进行层次数据的查阅。
在本发明实施例中,通过响应于任一用户端发送的登录请求,获取用户端对应的用户标识;从预设数据库中查询用户标识对应的归属信息,并确定用户标识对应的数据库层级类型;当接收用户端发送的数据检索请求时,获取数据检索请求对应的检索类型;若检索类型为关系数据库检索,则根据归属信息检索数据库层级类型对应的关系数据库,得到第一目标层次数据;若检索类型为索引数据库检索,则根据数据检索请求与归属信息检索数据库层级类型对应的ES索引库,得到第二目标层次数据;返回第一目标层次数据或第二目标层次数据至用户端。从而通过划分检索类型和数据库层级类型,在简化检索架构和检索路径的基础上,经数据库设计和ES搜索库设计互相配合,可以通过一个SQL语句或是数次查询的方式获取到层次树数据,进而更为有效地提高了亿级用户量下数据检索过程的效率。
请参阅图2,图2为本发明实施例二提供的一种层次数据检索方法的步骤流程图。
本发明提供的一种层次数据检索方法,包括:
步骤201,响应于任一用户端发送的登录请求,获取用户端对应的用户标识;
在本发明实施例中,步骤201的具体实施过程与步骤101类似,在此不再赘述。
步骤202,从预设数据库中查询用户标识对应的归属信息,并确定用户标识对应的数据库层级类型;
可选地,步骤202可以包括以下子步骤:
按照用户标识检索预设数据库,获取用户标识对应的归属信息并缓存;
判断归属信息是否包含上级节点ID;
若否,则判定用户标识对应的数据库层级类型为限定层级类型;
若是,则判定用户标识对应的数据库层级类型为非限定层级类型。
在本发明实施例中,归属信息可以包括多种内容,为进一步提高后续检索效率,可以在得到用户标识后,可以按照用户标识对预设数据库进行查询,以获取到用户标识对应的归属信息并缓存。
与此同时,解析归属信息判断其中是否包含有上级节点ID这一信息,若没有包含上级节点ID,则表明此时归属信息中的归属机构ID并不具有关联的上级节点ID,也就是说该用户标识所对应的数据库层级类型是有限的,此时可以判定用户标识对应的数据库层级类型为限定层级类型;若是包含有上级节点ID,则表明此时归属信息中的归属机构ID具有关联的上级节点ID,层级数据是以节点信息、节点关联关系的形式存储,此时可以判定用户标识对应的数据库层级类型为非限定层级类型。
值得一提的是,归属信息还可以包括用户类型,用于限定该用户端所属类型,例如用户端属于某一机构,用户端作为独立机构等本发明实施例对此不作限定。
步骤203,当接收用户端发送的数据检索请求时,获取数据检索请求对应的检索类型;
在本发明实施例中,步骤203的具体实施过程与步骤103类似,在此不再赘述。
在具体实现中,关系数据库可以通过以下方式进行构建:
1)限定层级类型的关系数据库
通过在关系数据库中建立平面层级树信息表、机构信息表(保存机构id、名称、地址、联系信息等机构自身数据)、机构与设备关联表、用户信息表、用户和机构关联表,根据SQL查询条件为表建立索引。其中,用户信息表用来保存用户端id、名称、手机号等自身信息。各个节点的字段名应尽量是业务实体名的简称,应在特殊情况下才使用按顺序编号的字段名。用户与机构关联表用于记录用户与所属机构之间的关联关系。
以从省到街道的层级树为例,平面层级树信息表t_region_tree可如下表1所示:
字段含义 字段名 数据类型 备注
id id bigint 主键,也是层级树分支id
省/直辖市 province varchar
省/直辖市id province_id bigint
市/辖区 city varchar
市/辖区id city_id bigint
区/县 county varchar
区/县id county_id bigint
街道/镇 street varchar
街道/镇id street_id bigint
社区/村 community varchar
社区/村id community_id bigint
底层村/小区 village varchar
底层村/小区id village_id bigint
表1
其中,采用一个表记录层次树从顶层至最底层的完整分支以及其中各个节点的关系信息,表中字段从左至右的顺序按照层次树从上至下各节点的实际顺序一一对应,主要字段可以包括各个节点的名称、节点编号等信息,具有相同根节点的所有记录构成了这个根节点树的所有分支。如果需要更新节点名,以街道名为例,执行update t_region_treeset street=’新名’where street=’旧街道名’。删除层次树的节点时,直接执行update操作清空对应记录中的节点字段,表明层次树分支中忽略这个节点来组装分支;被清空的节点后续还可以通过update操作再写入新的节点名从而使之加入到树的分支中。
而第一机构设备信息表可以如下表2所示:
Figure BDA0003364404750000091
Figure BDA0003364404750000101
表2
如表2所示,第一机构设备信息表主要字段可以包括但不限于第一归属机构ID、设备id、设备名、设备IP地址等,若是第一归属机构仅存在一个层级树分支时,id也可以为层级树分支id。
而在上述示例中,作为节点名的省市县区名变化的频率很低。如果节点名会频繁变化,同时一个树的子节点数可能比较多,为避免数据库update操作的影响,还可以把所有节点名抽出来建立一个节点信息表,主要字段包括节点id、节点名、节点编码,这样每次更新节点名称时只需更新这里的一条记录即可。平面层级树信息表中对每个层级树节点只保存节点的id或编码,id和编码按连续自增数据构建,此时一条记录可以存储多达数百个层级的层次树。
上述表1与表2的结构优势包括:1)满足层次树管理、存储上的业务需求;2)能够通过一次SQL查询获得一个机构的所有目录树;3)能够通过一次SQL查询获得包含一个节点的层次树的完整信息;4)支持用户数据权限及数据安全,保证一个用户只能看到其权限允许看到的数据;5)业务数据的增删改等管理操作对其他操作的影响可以控制在一个有限的范围,不会随着数据量的增加越来越大。
2)非限定层级类型的关系数据库
对于非限定层级类型的关系数据库,通常需要保存的数据规模较大,若是采用上述限定层级类型的关系数据库的方式保存,容易导致读取缓慢,此时可以将上述平面层级树信息表拆分为树节点信息表t_node_link和树节点关联关系表t_node_link,同时建立第二机构设备关联信息表。
具体地,树节点信息表记载有各个树节点ID、节点名以及其他可根据业务增加的字段。树节点关联关系表可以如下表3所示:
Figure BDA0003364404750000102
Figure BDA0003364404750000111
表3
当t_node_link用来保存节点自身时,high_id=node_id,distance都为0;对于叶子节点is_leaf为1,否则为0。另外,还用这个表保存所有非叶子节点和其所有下级节点之间的关联数据,即distance的值至少是0。
做这样的数据库设计下,不但可以一次性查出一个树的所有记录,层次树数据的管理、查询都不复杂,新增、删除节点时仅仅影响节点所在分支的改动位置及下级节点相关的记录。修改节点信息时不会影响t_node_link。例如:在需要新增(删除)、删除节点时,通过high_id字段可方便地实现,类似对链表增加或删除节点,对distance的调整可以从UI上方便地计算新层级的相对值;要查询一个节点的各个下级的所有节点,可以使用SQL:select*from t_node_link l,t_node n where n.name=’要查询的节点名’and n.id=l.high_id and l.distance!=0,其中节点id也可以用节点编号替换;要查询任意节点的所有直属下级节点,可以使用SQL:select*from t_node_link l,t_node n where n.name=’要查询的节点名’and n.id=l.node_id and l.distance=1;要查询任意节点的所有上级节点,可以使用SQL:select*from t_node_link l,t_node n where n.name=’要查询的节点名’and n.id=l.node_id and l.distance!=0,通过节点表的node_id=节点间关联表的node_id、distance!=0;根据is_root=1可以方便地查询所有树的根节点。
步骤204,若检索类型为关系数据库检索,则根据归属信息检索数据库层级类型对应的关系数据库,得到第一目标层次数据;
在本发明的一个示例中,归属信息包括第一归属机构ID,关系数据库包括平面层级树信息表和第一机构设备关联信息表;当数据库层级类型为限定层级类型时,步骤204可以包括以下子步骤:
若检索类型为关系数据库检索,则按照第一归属机构ID查询第一机构设备信息表,确定对应的设备数据以及层级树分支ID;
按照层级树分支ID查询平面层级树信息表,确定对应的层级树分支数据;
建立每个层级树分支数据与设备数据之间的关联,得到第一目标层次数据。
在本实施例中,当判定数据库层级类型为限定层级类型且检索类型为关系数据库检索时,说明此时需要检索的数据为限定层级类型的关系数据库,此时可以从归属信息中获取到第一归属机构ID,按照该第一归属机构ID查询第一机构设备信息表,确定该第一归属机构ID对应的设备数据以及对应的层级树分支ID,再按照层级树分支ID查询平面层级树信息表,确定对应的层级树分支数据,也就是上述的从省至底层村整个层级树分支,最后建立每个层级树分支数据与设备数据之间的关联,得到第一目标层次数据。
在具体实现中,还可以通过构建SQL语句的方式进行查询,其中SQL语句为:selectt.*,d.device_id,d.device_name from t_org_device d,t_tree t where d.org_id=user_org_id and d.branch_id=t.id,其中user_org_id是第一归属机构ID,branch_id为层级树分支ID,t.id为层级树分支数据。
在得到层级树分支数据后,可把层级树分支数据及该分支下的所有设备数据以及对应的层级树分支ID放到一条记录中,设备数据可以作为集合类型字段构成层级树分支ID的分支数据对象的一个属性。
在本发明的另一个实例中,归属信息包括第二归属机构ID和上级节点ID,关系数据库包括树节点信息表、树节点关联关系表和第二机构设备关联信息表;当数据库层级类型为非限定层级类型时,步骤204可以包括以下子步骤:
若检索类型为关系数据库检索,则按照第二归属机构ID查询第二机构设备信息表,确定对应的设备数据、上级节点ID以及层级树节点ID;
采用上级节点ID和层级树节点ID检索树节点信息表,确定关联的全部树节点ID;
按照各个树节点ID分别检索树节点关联关系表,得到各个树节点ID分别对应的第一节点关联关系;
按照第一节点关联关系关联各个树节点ID对应的树节点并建立上级节点ID与设备数据之间的关联,得到第一目标层次数据。
在本实施例中,当判定数据库层级类型为非限定层级类型且检索类型为关系数据库检索时,说明此时需要检索的关系数据库为非限定层级类型的,可以按照第二归属机构ID查询第二机构设备信息表,确定该第二归属机构ID所关联的设备数据、上级节点ID和层级树节点ID;再采用上级节点ID和层级树节点ID检索树节点信息表,以确定该层级树节点ID对应的树节点所处整个层级树的全部树节点ID,再按照各个树节点ID分别检索树节点关联关系表,以确定各个树节点ID对应的树节点之间的第一节点关联关系,按照该第一节点关联关系关联各个树节点ID对应的树节点并建立上级节点ID与设备数据之间的关联,得到第一目标层次数据。
可选地,本方法还可以包括以下步骤:
按照预设的更新周期执行预设的配置文件,对关系数据库内的关系数据进行字段转换,得到ES索引字段;
将ES索引字段同步至ES索引库。
在具体实现中,为保证索引库的稳定性和准确性,ES索引库通常是在建立一定规模的关系数据库并运行一段时间后再进行建设,同时为实现对ES索引库的周期性更新,可以按照预设的更新周期执行预设的配置文件,对关系数据库内的关系数据进行字段转换,以得到对应的ES索引字段,再将ES索引字段同步至ES索引库。
以上述层级树信息表t_plain_tree的同步为例,可以通过以下步骤S11-S15或步骤S21-S26实现ES索引库的数据同步:
S11、安装logstash-integration-jdbc等相关插件。参照官方文档配置数据库连接以及获取数据的SQL:SELECT distinct p.*from t_plain_tree p,t_org_device dWHERE p.id=d.branch_id and p.id>=:sql_last_value。更多需求可以通过调整这里的SQL实现;
S12、编辑logstash配置文件,使之利用配置项tracking_column=>id、record_last_run=>true、clean_run=>false分页地追踪并记录id字段,用上述SQL从MySQL查询数据后保存到ES。使用插件logstash-filter-mutate、logstash-filter-ruby可以新增、移除、分拆字段或者改变字段的值,通过logstash-filter-geoip可以根据设备IP从IP地址库GeoLite2-City.mmdb解析出设备位置对应的经纬度、省市县名并在ES中生成对应的字段,这种情况下中文区域名需修改logstash安装目录下的ib/logstash/filters/geoip.rb来对每个获得的区域名继续调用get("zh-CN"),由于这里的IP地址信息通过csv文件保存,因此也可以维护自己的地址库,还可以在geoip.rb中通过ruby代码调用IP解析服务获得相关中文区域信息;
S13、通过logstash-filter-mutate插件把中文区域信息、经纬度信息分别添加到ES索引的字段device_location、device_pos中;
S14、继续编辑logstash配置文件,利用logstash-output-elasticsearch把上述处理结果写入到ES;
S15、使用上述配置文件启动logstash,运行至全量数据迁移完毕后停止;这里也可以利用logstash配置文件中的schedule设置定时地从MySQL同步数据到ES。
在另一个示例中,开源数据同步工具canal由于直接操作MySQL的binlog因此能很好地与业务系统解耦,同时其操作给MySQL带来的压力也很有限,但是当一个层次树分支尚未完全形成时就把其同步到ES只会增加没用的ES更新操作,由于业务规则的差异,不同状态的业务实体数据也常见不需要全部同步的情况,另外,数据的处理和验证可能还需要查询其他数据库或ES,所以需要通过canal客户端来控制数据的增量同步,具体可参照图3,步骤如下:
通过实现canal的接口InitializingBean和ParseCanal来创建canal的监听客户端,解析数据变更,获得发生变化的数据库表及数据;当发现表t_plain_tree、t_node的数据发生变化时,检查表t_org_device中是否存在变化的数据的id对应的设备关联记录,如果不存在则不同步对应的节点数据,否则继续同步;在正式同步数据前,先通过反射获得变更的数据对应的实体类;在需要同步t_plain_tree、t_node的数据到ES时,如果是新增记录则直接在对应的ES索引中写入新记录,如果是update操作则直接更新ES索引的对应记录;如果是delete操作,先删除机构设备索引中delete操作对应的id的记录,再删除表t_plain_tree、t_node相应的索引中的数据;如果机构设备关联表发生变化时,对表t_org_device的新增数据,直接把新增的记录写入到对应的ES索引;对于这个表的update、delete的数据,根据其id更新或者删除ES索引中对应的记录;如果有更多数据需要同步,则从继续监听是否发生数据变更。
在具体实现中,ES索引库在进行关系数据的同步后,为方便后续数据检索,可以通过以下方式进行表格构建:
1)限定层级类型的ES索引库
对于非限定层级类型的ES索引库,可以包括但不限于节点信息索引表、平面层级树索引表和第一机构设备关联索引表。
具体地,平面层级树索引表可以如下表4所示:
Figure BDA0003364404750000141
表4
值得一提的是,在上述表4中还可以在索引中增加业务上需要搜索的字段,例如设备所在地理位置、设备名、设备标签、设备能力等。
第一机构设备关联索引表可以如下表5所示:
Figure BDA0003364404750000151
表5
值得一提的是,基于上述数据库及ES的索引设计,在研发实现上提供两个配套措施,一方面简化基于Java语言的开发,尽量减少必须开发的代码量,另外还提高搜索操作的性能。Spring Data Elasticsearch继承了Spring Data的优点,包括不需要写实现代码只需要接口和@Repository、@Query注解就能实现对ES中数据的模糊查询和搜索,但是其默认的findAll()方法如果在生产环境下存在大量数据时被频繁调用来查看全部数据,可能会导致服务不稳定;另外@Query注解的内容写法与ES的painless脚本一致,不容易理解和记忆,易用性上远不如SQL查询语法,还不支持在查询结果中控制返回索引中的哪些字段,现有实现实际返回所有字段。
为解决第一个问题,由于默认的findAll()方法的具体实现代码在类SimpleElasticsearchRepository中,并且在META-INF中默认通过spring.factories中指定由ElasticsearchRepositoryFactory控制通过哪个类提供ES查询方法的实现类。因此可以继承SimpleElasticsearchRepository这个类,重写其中的findAll()方法,其中增加warn或error级别的告警输出,并且给这个方法增加@Deprecated注解,然后再继承ElasticsearchRepositoryFactory并调用新开发的SimpleElasticsearchRepository的子类,并且在spring.factories中指定ElasticsearchRepositoryFactory的子类作为RepositoryFactorySupport。
为解决第二个问题,可以针对ES的特定类型的查询封装专门的查询注解,例如针对模糊查询,可以对照Query注解的实现和处理流程封装一个新的注解FuzzyQuery及其处理流程,指定需要查询的字段、对应的参数值的标识、字段之间组装时的逻辑关系,默认按逻辑与处理,在运行时直接通过Repository接口的FuzzyQuery注解所在的方法中的参数按顺序替换;在指定返回字段列表或需排除的字段列表时,直接在查询请求的painless脚本中通过字符串处理生成对应的内容,其他方面保持和Query注解相同的效果。然后在类ElasticsearchQueryMethod、ElasticsearchRepositoryFactory中按上述新增的功能解析注解FuzzyQuery的内容并对应生成painless脚本内容,这样既可避免输入{\"wildcard\":{、\"bool\":或{\"must\":这样的内容,也可以避免许多{、}、[、]这些符号带来的困扰。最后,重新打包生成jar后给业务系统替换原来使用的jar文件即可。
2)非限定层级类型的ES索引库
对于非限定层级类型的ES索引库,可以包括但不限于节点信息索引表、平面层级树索引表和第一机构设备关联索引表。
具体的,平面层级树索引表的具体构建与上述表4类似,节点信息索引表可以如下表6所示:
Figure BDA0003364404750000161
表6第二机构设备关联索引表可以如下表7所示:
Figure BDA0003364404750000162
表7
值得一提的是,在实际搜索时,经过Java的CompletableFuture的supplyAsync()方法同时向上述两个索引发起搜索请求,再通过allOf()方法汇总所有的异步请求,最终整个的耗时稍高于两个请求中耗时最久的。当不需要返回层次树形式的结果数据时,直接返回这里的搜索结果即可,否则通过Java代码再根据这里的得到的节点信息可以从层次树各节点之间关联信息表查询到节点对应的所有树的分支数据,接下来组装成完整的层次树数据返回即可。
步骤205,若检索类型为索引数据库检索,则根据数据检索请求与归属信息检索数据库层级类型对应的ES索引库,得到第二目标层次数据;
在本发明的一个示例中,归属信息包括第三机构归属ID;ES索引库包括平面层级树索引表和第一机构设备关联索引表;当数据库层级类型为限定层级类型时,步骤205可以包括以下子步骤:
若检索类型为索引数据库检索,则解析数据检索请求得到搜索条件和目标数据格式;
按照第三机构归属ID检索机构设备关联索引表,确定对应的设备数据;
按照搜索条件搜索平面层级树索引表,确定对应的层级树信息;
建立层级树信息与设备数据之间的关联并转换为目标数据格式,得到第二目标层次数据。
搜索条件指的是可能与ES索引库内的字段不完全相同但相关的数据限制信息。目标数据格式指的是用户端所需求的层级树数据或是用户端特有的的数据格式。
在本发明实施例中,当确定数据库层级类型为限定层级类型下,若是需要进行索引数据库检索,则可以解析数据检索请求以获取到搜索条件以及目标数据格式。按照搜索条件以及第三机构归属ID,异步地从机构设备管理索引表以及平面层级树索引表内进行检索,确定第三机构归属ID对应的设备数据以及满足搜索条件的层级树信息;再建立层级树信息和设备数据之间的关联并转换为目标数据格式,得到第二目标层次数据。
在具体实现中,可参照图4,通过以下步骤S31-S34实现ES索引库的检索查询:
S31、用户从缓存中获取第三机构归属ID,如果找不到则先查询关系数据库MySQL、更新缓存后再继续;
S32、根据第三机构归属ID、搜索条件异步地从机构设备管理索引表、平面层级树索引表中搜索符合条件的数据,得到满足搜索条件的层级树信息以及设备数据作为搜索结果;
可选地,在上述S32中,如果树的节点信息与平面层级树各节点间的关系分别存储在不同的索引中,则直接根据缓存的层级树分支id集合、第三机构归属ID异步地同时搜索机构设备管理索引表、平面层级树索引表得到搜索结果。接下来如果不需要把搜索结果组装成树形数据可以直接按客户端要求的结果返回,否则可以再次通过缓存查询MySQL获得树的节点关系数据,最后再由应用服务把结果数据组装成用户端需要的数据后返回。
S33、若是搜索结果的记录数超过指定的阈值,则向用户端返回第一页(允许配置每一页有多少条记录)的结果及结果集的总数据量;
S34、在内存中通过Java代码将上述搜索结果组织成用户端需要的字段、数据格式后,得到第二目标层次数据返回用户端即可;
在本发明的另一个示例中,归属信息包括第四机构归属ID,ES索引库包括树节点信息索引表和第二机构设备关联索引表;当数据库层级类型为非限定层级类型时,步骤205可以包括以下子步骤:
若检索类型为索引数据库检索,则解析数据检索请求得到搜索条件;
按照第四机构归属ID检索第二机构设备关联索引表,确定对应的设备数据和所属层次树分支ID;
按照搜索条件搜索树节点信息索引表,得到多个符合搜索条件的层次树节点ID;
按照各个层次树节点ID分别检索第二机构设备关联索引表,确定各个层次树节点ID对应的第二节点关联关系;
按照第二节点关联关系关联各个层次树节点ID对应的树节点,并建立与设备数据之间的关联,得到第二目标层次数据。
在本发明实施例中,若检索类型为索引数据库检索且索引数据库为非限定层级类型,则解析数据检索请求得到搜索条件;按照第四机构归属ID检索第二机构设备关联索引表,确定对应的设备数据和所属层次树分支ID;按照搜索条件搜索树节点信息索引表,得到多个符合搜索条件的层次树节点ID;按照各个层次树节点ID分别检索第二机构设备关联索引表,确定各个层次树节点ID对应的第二节点关联关系;按照第二节点关联关系关联各个层次树节点ID对应的树节点,并建立与设备数据之间的关联,得到第二目标层次数据。
步骤206,返回第一目标层次数据或第二目标层次数据至用户端。
在本发明实施例中,步骤206的具体实施过程与步骤106类似,在此不再赘述。
步骤207,当接收到额外用户端发送的设备再分配请求时,创建与额外用户端对应的额外用户标识;
步骤208,按照设备再分配请求确定对应的额外设备数据;
步骤209,建立额外用户标识与额外设备数据之间的关联,得到额外ES索引表并保存至ES索引库。
在具体实现中,用户端通常是处于某一机构下,同一机构可以同时包括多个用户端,但可能由于业务需求,需要为单独某一用户进行设备的分配,为解决该技术问题,当接收到额外用户端发送的设备再分配请求时,创建与该额外用户端对应的额外用户标识,按照设备再分配请求确定该额外用户端所需求的额外设备数据,例如设备名、设备ID、设备位置、设备标签和设备能力等,再建立额外用户标识与额外设备数据之间的关联,得到额外ES索引表。而为方便后续检索,可以将该额外ES索引表保存至ES索引库。
在本发明一个示例中,表8示出了本发明实施例的一种额外ES索引表:
Figure BDA0003364404750000191
表8
在本发明的另一个示例中,为了区分这类用户并专门处理,在应用系统设计上,可以为这种这类用户非单独的角色或者为其创建专门的用户属性表示是否已经单独为其分配设备。如果通过角色控制,在为用户分配设备前先检查用户是否是要求的角色,检查通过后才能为这类用户分配设备;如果通过专用用户属性表示已单独为其分配设备,则通过一个关系数据库的事务包装为用户分配设备、设置这个属性值的操作,使得在数据库中成功保存为用户分配的设备后总是成功为相应用户设置对应的属性值。根据选择上述哪种方案,在用户登录时分别从数据库提取用户的角色或用户的上述属性数据后缓存在Redis集群中,后续用户发起搜索请求时,可以根据缓存的数据的值,判断应该对相应的用户搜索这部分的索引,从而同步实现对用户数据权限的控制。
值得一提的是,在层级树内的各个树节点可能还存在设备上下线的情况,此时可以通过以下方式实现设备数据的更新:设备上下线事件的感知在技术上主要有两种途径:基于socket通过TCP/IP通信连接的建立和断开、基于设备心跳的上报数据,后者会定时收到设备的心跳数据并且在超过一定时间后如果一直收不到会认定设备已下线。二者都需要专门的设备接入服务,该服务可以通过MQTT协议、基于Netty的自定义协议甚至HTTP协议的设备心跳请求接收设备的通信请求。
在线设备数的实时计算方案的细节包括:
为实时计算层次树节点下属设备的在线数,每当设备在线状态变化时,设备接入服务实例可以先在内存中通过ConcurrentHashMap保存设备的id(连续增长的数字)及其状态,在确认到设备的连接建立、断开,或者收到设备心跳请求、超时收不到设备请求时,分别设置设备在线状态为true、false,多个设备同时出现状态变化时,直接通过多个线程并发地调用ConcurrentHashMap的put()方法修改对应设备id的状态即可。然后由设备接入服务集群中的应用服务实例定时(间隔允许配置)地把这些数据同步刷新到多主多从的Redis集群,Redis再通过其bitset保存设备的在线状态,各个Redis的master实例。在层次树最大层级数固定时,bitset的key是层次树分支的id;当最大层级数不限时,key为设备紧邻上级节点的id,如果这个id发生变化,需要同步更新这里缓存的key。bitset中每一位的序号与对应的设备id相等,这个位的值通过0、1分别表示设备不在线、在线。通过Redis的SETBIT、GETBIT、BITCOUNT指令可以方便地设置、获取一个序号的bit对应的设备id的在线状态、一个key下的总在线设备数。如果某个节点下的设备id普遍大于一个数字,可以在操作Redis时把所有的设备id都减去一个数,例如其中最小的设备id,有助于节约内存占用。当需要获取层次树各节点的在线设备数时,可以批量地把一组树分支id或设备紧邻节点的id,通过Redis的pipeline机制批量发送通过BITCOUNT获取一个key的总在线设备数,然后由应用服务组装结果数据并返回。如果用户只能访问一个节点下的部分设备,可以通过Redis的pipeline机制批量发送通过GETBIT获取一个设备id的在线状态的指令,返回1表名对应的设备在线,在应用服务内存中累计后再把总在线设备数返回给用户端。各个节点的总设备数,可以数据库中查询后缓存到Redis集群中供后续查询节点下的总设备数时直接从缓存获取。Redis中可以通过hash按树分支或节点的id作为key,总设备数作为属性来存储,在发生设备新增、删除或移动操作时,对相应key的hash值作加、减对应设备数的操作,在发现Redis中任意key的总设备数据为空时,从数据源加载数据并缓存在Redis的hash中。如果用户端层次树的实现效果是逐级打开层次树,默认开始时只打开第一级节点,那实现上更简单:只要在用户双击打开某个节点时,直接打开下一级的树节点,当要打开的是最后一级树节点时,直接根据这个节点的id从Redis中通过BITCOUNT指令获取在线设备数即可。如果用户只能访问其中部分设备,把这些设备的id分批次从Redis通过pipeline获取每个设备的在线状态后在内存中累计,把用户拥有的设备累计完成后的结果即为当前节点的总在线设备数。由于整个过程主要在内存中进行,而且Redis多住多从集群的良好可扩展性和可用性,在线设备数的计算不仅能实时进行,还会具有较好的性能。
在本发明实施例中,通过响应于任一用户端发送的登录请求,获取用户端对应的用户标识;从预设数据库中查询用户标识对应的归属信息,并确定用户标识对应的数据库层级类型;当接收用户端发送的数据检索请求时,获取数据检索请求对应的检索类型;若检索类型为关系数据库检索,则根据归属信息检索数据库层级类型对应的关系数据库,得到第一目标层次数据;若检索类型为索引数据库检索,则根据数据检索请求与归属信息检索数据库层级类型对应的ES索引库,得到第二目标层次数据;返回第一目标层次数据或第二目标层次数据至用户端。从而通过划分检索类型和数据库层级类型,在简化检索架构和检索路径的基础上,经数据库设计和ES搜索库设计互相配合,可以通过一个SQL语句或是数次查询的方式获取到层次树数据,进而更为有效地提高了亿级用户量下数据检索过程的效率。
请参阅图5,图5为本发明实施例三提供的一种层次数据检索装置的结构框图。
本发明实施例提供了一种层次数据检索装置,包括:
用户标识获取模块501,用于响应于任一用户端发送的登录请求,获取用户端对应的用户标识;
数据库层级类型确定模块502,用于从预设数据库中查询用户标识对应的归属信息,并确定用户标识对应的数据库层级类型;
检索类型获取模块503,用于当接收用户端发送的数据检索请求时,获取数据检索请求对应的检索类型;
关系数据检索模块504,用于若检索类型为关系数据库检索,则根据归属信息检索数据库层级类型对应的关系数据库,得到第一目标层次数据;
索引数据检索模块505,用于若检索类型为索引数据库检索,则根据数据检索请求与归属信息检索数据库层级类型对应的ES索引库,得到第二目标层次数据;
层次数据返回模块506,用于返回第一目标层次数据或第二目标层次数据至用户端。
可选地,数据库层级类型确定模块502具体用于:
按照用户标识检索预设数据库,获取用户标识对应的归属信息并缓存;
判断归属信息是否包含上级节点ID;
若否,则判定用户标识对应的数据库层级类型为限定层级类型;
若是,则判定用户标识对应的数据库层级类型为非限定层级类型。
可选地,归属信息包括第一归属机构ID,关系数据库包括平面层级树信息表和第一机构设备关联信息表;当数据库层级类型为限定层级类型时,关系数据检索模块504具体用于:
若检索类型为关系数据库检索,则按照第一归属机构ID查询第一机构设备信息表,确定对应的设备数据以及层级树分支ID;
按照层级树分支ID查询平面层级树信息表,确定对应的层级树分支数据;
建立每个层级树分支数据与设备数据之间的关联,得到第一目标层次数据。
可选地,归属信息包括第二归属机构ID和上级节点ID,关系数据库包括树节点信息表、树节点关联关系表和第二机构设备关联信息表;当数据库层级类型为非限定层级类型时,关系数据检索模块504具体用于:
若检索类型为关系数据库检索,则按照第二归属机构ID查询第二机构设备信息表,确定对应的设备数据、上级节点ID以及层级树节点ID;
采用上级节点ID和层级树节点ID检索树节点信息表,确定关联的全部树节点ID;
按照各个树节点ID分别检索树节点关联关系表,得到各个树节点ID分别对应的第一节点关联关系;
按照第一节点关联关系关联各个树节点ID对应的树节点并建立上级节点ID与设备数据之间的关联,得到第一目标层次数据。
可选地,归属信息包括第三机构归属ID;ES索引库包括平面层级树索引表和第一机构设备关联索引表;当数据库层级类型为限定层级类型时,索引数据检索模块505包括:
若检索类型为索引数据库检索,则解析数据检索请求得到搜索条件和目标数据格式;
按照第三机构归属ID检索机构设备关联索引表,确定对应的设备数据;
按照搜索条件搜索平面层级树索引表,确定对应的层级树信息;
建立层级树信息与设备数据之间的关联并转换为目标数据格式,得到第二目标层次数据。
可选地,归属信息包括第四机构归属ID,ES索引库包括树节点信息索引表和第二机构设备关联索引表;当数据库层级类型为非限定层级类型时,索引数据检索模块505包括:
若检索类型为索引数据库检索,则解析数据检索请求得到搜索条件;
按照第四机构归属ID检索第二机构设备关联索引表,确定对应的设备数据和所属层次树分支ID;
按照搜索条件搜索树节点信息索引表,得到多个符合搜索条件的层次树节点ID;
按照各个层次树节点ID分别检索第二机构设备关联索引表,确定各个层次树节点ID对应的第二节点关联关系;
按照第二节点关联关系关联各个层次树节点ID对应的树节点,并建立与设备数据之间的关联,得到第二目标层次数据。
可选地,装置还包括:
用户标识创建模块,用于当接收到额外用户端发送的设备再分配请求时,创建与额外用户端对应的额外用户标识;
额外设备数据确定模块,用于按照设备再分配请求确定对应的额外设备数据;
关联建立模块,用于建立额外用户标识与额外设备数据之间的关联,得到额外ES索引表并保存至ES索引库。
可选地,装置还包括:
字段转换模块,用于按照预设的更新周期执行预设的配置文件,对关系数据库内的关系数据进行字段转换,得到ES索引字段;
字段同步模块,用于将ES索引字段同步至ES索引库。
本发明实施例还提供了一种电子设备,包括存储器及处理器,存储器中储存有计算机程序,计算机程序被处理器执行时,使得处理器执行如本发明任一实施例的层次数据检索方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种层次数据检索方法,其特征在于,包括:
响应于任一用户端发送的登录请求,获取所述用户端对应的用户标识;
从预设数据库中查询所述用户标识对应的归属信息,并确定所述用户标识对应的数据库层级类型;
当接收所述用户端发送的数据检索请求时,获取所述数据检索请求对应的检索类型;
若所述检索类型为关系数据库检索,则根据所述归属信息检索所述数据库层级类型对应的关系数据库,得到第一目标层次数据;
若所述检索类型为索引数据库检索,则根据所述数据检索请求与所述归属信息检索所述数据库层级类型对应的ES索引库,得到第二目标层次数据;
返回所述第一目标层次数据或所述第二目标层次数据至所述用户端。
2.根据权利要求1所述的方法,其特征在于,所述从预设数据库中查询所述用户标识对应的归属信息,并确定所述用户标识对应的数据库层级类型的步骤,包括:
按照所述用户标识检索预设数据库,获取所述用户标识对应的归属信息并缓存;
判断所述归属信息是否包含上级节点ID;
若否,则判定所述用户标识对应的数据库层级类型为限定层级类型;
若是,则判定所述用户标识对应的数据库层级类型为非限定层级类型。
3.根据权利要求2所述的方法,其特征在于,所述归属信息包括第一归属机构ID,所述关系数据库包括平面层级树信息表和第一机构设备关联信息表;当所述数据库层级类型为限定层级类型时,所述若所述检索类型为关系数据库检索,则根据所述归属信息检索所述数据库层级类型对应的关系数据库,得到第一目标层次数据的步骤,包括:
若所述检索类型为关系数据库检索,则按照所述第一归属机构ID查询所述第一机构设备信息表,确定对应的设备数据以及层级树分支ID;
按照所述层级树分支ID查询所述平面层级树信息表,确定对应的层级树分支数据;
建立每个所述层级树分支数据与所述设备数据之间的关联,得到第一目标层次数据。
4.根据权利要求2所述的方法,其特征在于,所述归属信息包括第二归属机构ID和所述上级节点ID,所述关系数据库包括树节点信息表、树节点关联关系表和第二机构设备关联信息表;当所述数据库层级类型为非限定层级类型时,所述若所述检索类型为关系数据库检索,则根据所述归属信息检索所述数据库层级类型对应的关系数据库,得到第一目标层次数据的步骤,包括:
若所述检索类型为关系数据库检索,则按照所述第二归属机构ID查询所述第二机构设备信息表,确定对应的设备数据、所述上级节点ID以及层级树节点ID;
采用所述上级节点ID和所述层级树节点ID检索所述树节点信息表,确定关联的全部树节点ID;
按照各个所述树节点ID分别检索所述树节点关联关系表,得到各个所述树节点ID分别对应的第一节点关联关系;
按照所述第一节点关联关系关联各个所述树节点ID对应的树节点并建立所述上级节点ID与所述设备数据之间的关联,得到第一目标层次数据。
5.根据权利要求2所述的方法,其特征在于,所述归属信息包括第三机构归属ID;所述ES索引库包括平面层级树索引表和第一机构设备关联索引表;当所述数据库层级类型为限定层级类型时,所述若所述检索类型为索引数据库检索,则根据所述数据检索请求与所述归属信息检索所述数据库层级类型对应的ES索引库,得到第二目标层次数据的步骤,包括:
若所述检索类型为索引数据库检索,则解析所述数据检索请求得到搜索条件和目标数据格式;
按照所述第三机构归属ID检索所述机构设备关联索引表,确定对应的设备数据;
按照所述搜索条件搜索所述平面层级树索引表,确定对应的层级树信息;
建立所述层级树信息与所述设备数据之间的关联并转换为所述目标数据格式,得到第二目标层次数据。
6.根据权利要求2所述的方法,其特征在于,所述归属信息包括第四机构归属ID,所述ES索引库包括树节点信息索引表和第二机构设备关联索引表;当所述数据库层级类型为非限定层级类型时,所述若所述检索类型为索引数据库检索,则根据所述数据检索请求与所述归属信息检索所述数据库层级类型对应的ES索引库,得到第二目标层次数据的步骤,包括:
若所述检索类型为索引数据库检索,则解析所述数据检索请求得到搜索条件;
按照所述第四机构归属ID检索所述第二机构设备关联索引表,确定对应的设备数据和所属层次树分支ID;
按照所述搜索条件搜索所述树节点信息索引表,得到多个符合所述搜索条件的层次树节点ID;
按照各个所述层次树节点ID分别检索所述第二机构设备关联索引表,确定各个所述层次树节点ID对应的第二节点关联关系;
按照所述第二节点关联关系关联各个所述层次树节点ID对应的树节点,并建立与所述设备数据之间的关联,得到第二目标层次数据。
7.根据权利要求1所述的方法,其特征在于,还包括:
当接收到额外用户端发送的设备再分配请求时,创建与所述额外用户端对应的额外用户标识;
按照所述设备再分配请求确定对应的额外设备数据;
建立所述额外用户标识与所述额外设备数据之间的关联,得到额外ES索引表并保存至所述ES索引库。
8.根据权利要求1-7任一项所述的方法,其特征在于,还包括:
按照预设的更新周期执行预设的配置文件,对所述关系数据库内的关系数据进行字段转换,得到ES索引字段;
将所述ES索引字段同步至所述ES索引库。
9.一种层次数据检索装置,其特征在于,包括:
用户标识获取模块,用于响应于任一用户端发送的登录请求,获取所述用户端对应的用户标识;
数据库层级类型确定模块,用于从预设数据库中查询所述用户标识对应的归属信息,并确定所述用户标识对应的数据库层级类型;
检索类型获取模块,用于当接收所述用户端发送的数据检索请求时,获取所述数据检索请求对应的检索类型;
关系数据检索模块,用于若所述检索类型为关系数据库检索,则根据所述归属信息检索所述数据库层级类型对应的关系数据库,得到第一目标层次数据;
索引数据检索模块,用于若所述检索类型为索引数据库检索,则根据所述数据检索请求与所述归属信息检索所述数据库层级类型对应的ES索引库,得到第二目标层次数据;
层次数据返回模块,用于返回所述第一目标层次数据或所述第二目标层次数据至所述用户端。
10.一种电子设备,其特征在于,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1-8任一项所述的层次数据检索方法的步骤。
CN202111389373.9A 2021-11-19 2021-11-19 一种层次数据检索方法、装置和设备 Pending CN114116716A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111389373.9A CN114116716A (zh) 2021-11-19 2021-11-19 一种层次数据检索方法、装置和设备
PCT/CN2022/097345 WO2023087673A1 (zh) 2021-11-19 2022-06-07 一种层次数据检索方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111389373.9A CN114116716A (zh) 2021-11-19 2021-11-19 一种层次数据检索方法、装置和设备

Publications (1)

Publication Number Publication Date
CN114116716A true CN114116716A (zh) 2022-03-01

Family

ID=80439691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111389373.9A Pending CN114116716A (zh) 2021-11-19 2021-11-19 一种层次数据检索方法、装置和设备

Country Status (2)

Country Link
CN (1) CN114116716A (zh)
WO (1) WO2023087673A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114996297A (zh) * 2022-04-14 2022-09-02 建信金融科技有限责任公司 数据处理方法、装置、设备、介质及产品
CN115033608A (zh) * 2022-08-12 2022-09-09 广东采日能源科技有限公司 一种储能系统信息的分级处理方法及系统
WO2023087673A1 (zh) * 2021-11-19 2023-05-25 天翼数字生活科技有限公司 一种层次数据检索方法、装置和设备
CN116756301A (zh) * 2023-08-17 2023-09-15 北京睿企信息科技有限公司 一种用户信息搜索的方法、电子设备及存储介质
CN117786179A (zh) * 2023-11-07 2024-03-29 河南省科技创新促进中心 基于高层次人才关键属性的科研成果检索方法
CN118035251A (zh) * 2024-04-11 2024-05-14 河北省交通规划设计研究院有限公司 基于多特征融合的城市数据模型管理系统及方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116484066B (zh) * 2023-06-21 2023-12-01 广东广宇科技发展有限公司 一种多种类数据处理方法
CN117290893B (zh) * 2023-09-25 2024-06-11 北京万里开源软件有限公司 一种基于数据标签的数据库访问方法及系统
CN117094301B (zh) * 2023-10-17 2024-01-26 北京云枢创新软件技术有限公司 一种验证计划的创建系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1146821C (zh) * 2000-02-21 2004-04-21 国际商业机器公司 面向用户的数据库查询方法及系统
CN102769709B (zh) * 2012-06-25 2015-08-19 百度在线网络技术(北京)有限公司 一种用于向用户提供服务联系信息的方法与装置
CN110580255A (zh) * 2018-06-08 2019-12-17 深圳艾派网络科技股份有限公司 一种存储并检索数据的方法以及系统
CN110489445B (zh) * 2019-08-02 2023-03-21 四川宏力信息科技有限责任公司 一种基于多形态复合的海量数据快速查询方法
CN110837515A (zh) * 2019-11-06 2020-02-25 北京天融信网络安全技术有限公司 一种基于数据库的数据处理方法及电子设备
CN112347105B (zh) * 2020-11-06 2023-01-31 中国电子科技集团公司第三十八研究所 一种基于资源树的通用数据服务平台
CN114116716A (zh) * 2021-11-19 2022-03-01 天翼数字生活科技有限公司 一种层次数据检索方法、装置和设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023087673A1 (zh) * 2021-11-19 2023-05-25 天翼数字生活科技有限公司 一种层次数据检索方法、装置和设备
CN114996297A (zh) * 2022-04-14 2022-09-02 建信金融科技有限责任公司 数据处理方法、装置、设备、介质及产品
CN114996297B (zh) * 2022-04-14 2023-09-26 建信金融科技有限责任公司 数据处理方法、装置、设备及介质
CN115033608A (zh) * 2022-08-12 2022-09-09 广东采日能源科技有限公司 一种储能系统信息的分级处理方法及系统
CN115033608B (zh) * 2022-08-12 2022-11-04 广东采日能源科技有限公司 一种储能系统信息的分级处理方法及系统
CN116756301A (zh) * 2023-08-17 2023-09-15 北京睿企信息科技有限公司 一种用户信息搜索的方法、电子设备及存储介质
CN116756301B (zh) * 2023-08-17 2023-11-10 北京睿企信息科技有限公司 一种用户信息搜索的方法、电子设备及存储介质
CN117786179A (zh) * 2023-11-07 2024-03-29 河南省科技创新促进中心 基于高层次人才关键属性的科研成果检索方法
CN118035251A (zh) * 2024-04-11 2024-05-14 河北省交通规划设计研究院有限公司 基于多特征融合的城市数据模型管理系统及方法

Also Published As

Publication number Publication date
WO2023087673A1 (zh) 2023-05-25

Similar Documents

Publication Publication Date Title
CN114116716A (zh) 一种层次数据检索方法、装置和设备
US11461356B2 (en) Large scale unstructured database systems
CN104160394B (zh) 用于半结构化数据的可缩放分析平台
US6970882B2 (en) Unified relational database model for data mining selected model scoring results, model training results where selection is based on metadata included in mining model control table
EP2874077B1 (en) Stateless database cache
US20040139116A1 (en) Time in databases and applications of databases
US20100235334A1 (en) Time in databases and applications of databases
US20040015486A1 (en) System and method for storing and retrieving data
US20100235348A1 (en) Loading an index with minimal effect on availability of applications using the corresponding table
US7213208B2 (en) Data container for interaction between a client process and software applications
AU2017243870B2 (en) "Methods and systems for database optimisation"
US20100235344A1 (en) Mechanism for utilizing partitioning pruning techniques for xml indexes
CN103778133A (zh) 一种数据库对象的变更方法及装置
US10762068B2 (en) Virtual columns to expose row specific details for query execution in column store databases
CN113821573A (zh) 海量数据快速检索服务构建方法、系统、终端及存储介质
KR101829198B1 (ko) 보고서의 중요도를 분석하는 메타 데이터 기반 온라인 분석 프로세싱 시스템
CN111427964A (zh) 一种面向运行时间戳的工业云数据存储模型
Wrembel A survey of managing the evolution of data warehouses
CN116303628B (zh) 基于Elasticsearch的告警数据查询方法、系统及设备
Arputhamary et al. A review on big data integration
Suganya et al. Efficient fragmentation and allocation in distributed databases
Batini et al. A survey of data quality issues in cooperative information systems
CN111538713B (zh) 面向Hive的多模式数据处理方法、装置及电子设备
Zheng et al. Timo: In‐memory temporal query processing for big temporal data
EP3436988B1 (en) "methods and systems for database optimisation"

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination