CN114356991A - 数据查询方法、数据聚合方法、装置、设备及介质 - Google Patents
数据查询方法、数据聚合方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN114356991A CN114356991A CN202111665137.5A CN202111665137A CN114356991A CN 114356991 A CN114356991 A CN 114356991A CN 202111665137 A CN202111665137 A CN 202111665137A CN 114356991 A CN114356991 A CN 114356991A
- Authority
- CN
- China
- Prior art keywords
- data
- aggregation
- interface
- aggregated
- query
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据处理技术,揭露了一种数据查询方法,包括:构建聚合数据接口,利用所述聚合数据接口调用多个后台微服务的用户数据;识别所述待聚合数据的数据类型,根据所述数据类型将所述用户数据进行缓存;获取数据查询请求,利用所述数据查询请求在缓存的所述用户数据中进行数据查询。本发明还提出一种数据聚合装置、电子设备以及计算机可读存储介质。本发明可以解决对分布式数据进行数据查询时,查询效率低下的问题。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种数据查询方法、数据聚合方法、装置、电子设备及计算机可读存储介质。
背景技术
随着大数据的发展,用户在互联网中产生的数据发生爆炸式的增长,为了降低数据管理的成本,提高数据管理的效率,人们越来越多的将数据以分布式的形式存储于多个后台微服务中,以实现对不同数据的针对性管理。
实际应用中,上述数据管理方法导致对用户数据进行查询或调用时,需要分别从不同后台微服务的数据库和不同数据表中对数据进行查询,即通过查询条件分别生成查询语句,利用查询语句分别从不同的后台微服务中进行数据查询,再利用代码将查询到的结果聚合后返回给用户。由于该方法在数据查询时需要同时对多个后台微服务的数据库和数据表进行操作,导致该方法对分布式数据进行数据查询时,查询的效率低下。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本申请提供了一种数据聚合方法和一种数据查询方法,所述数据聚合方法包括:
调用多个后台微服务的数据接口,提取所述数据接口的接口参数;
创建仅包括初始化参数的初始聚合接口,根据所述接口参数对所述初始聚合接口进行参数赋值,得到聚合数据接口;
利用所述聚合数据接口调用所述多个后台微服务内的待聚合数据,识别所述待聚合数据的数据类型,根据所述聚合数据接口和所述数据类型将所述待聚合数据进行缓存,得到聚合数据,其中,所述聚合数据表示索引信息,与真实数据的存储地址存在映射关系,真实数据存放于关联的数据存储内。
所述数据查询方法包括:
获取数据查询请求,解析所述数据查询请求,得到待查询的数据字段;
调用缓存中与所述数据字段相应的聚合数据,并提取调用出的聚合数据对应的真实数据,将所述真实数据发送至所述数据查询请求的发送端。
第一方面,本申请提供了一种数据聚合装置和一种数据查询的装置,所述数据聚合装置包括:
第一聚合单元,用于调用多个后台微服务的数据接口,提取所述数据接口的接口参数;
第二聚合单元,用于创建仅包括初始化参数的初始聚合接口,根据所述接口参数对所述初始聚合接口进行参数赋值,得到聚合数据接口;
第三聚合单元,用于利用所述聚合数据接口调用所述多个后台微服务内的待聚合数据,识别所述待聚合数据的数据类型,根据所述聚合数据接口和所述数据类型将所述待聚合数据进行缓存,得到聚合数据,其中,所述聚合数据表示索引信息,与真实数据的存储地址存在映射关系,真实数据存放于关联的数据存储内。
所述数据查询装置包括:
第一查询单元,用于获取数据查询请求,解析所述数据查询请求,得到待查询的数据字段;
第一查询单元,用于调用缓存中与所述数据字段相应的聚合数据,并提取调用出的聚合数据对应的真实数据,将所述真实数据发送至所述数据查询请求的发送端。
第二方面,本申请提供了一种实现数据聚合方法的电子设备以及一种实现数据查询方法的电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述所述的数据查询方法和数据聚合方法。
第三方面,本申请提供了一种数据聚合和数据查询的计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现上述所述的数据聚合方法或数据查询方法。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:
本申请实施例通过构建聚合数据接口,利用聚合数据接口实现预先地对多个后台微服务中数据的调用,避免在查询数据时需要分别对多个后台微服务进行请求,从而提高了从后台微服务中调用数据的效率;将调用得到的用户数据按照用户类型进行缓存,可实现对用户数据的有序存储,有利于提高对用户数据进行查询时的效率。因此,本申请实施例提出的数据聚合方法、数据查询方法、装置、系统及计算机可读存储介质,可以解决对分布式数据进行数据查询时,查询的效率低下的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据聚合方法的流程示意图;
图2是本申请实施例提供的一种数据查询方法的流程示意图;
图3是本申请又一实施例提供的对用户数据进行缓存的流程示意图;
图4是本申请又一实施例提供的对缓存的用户数据进行更新时的数据交互图;
图5是本申请又一实施例提供的一种数据聚合装置的单元示意图;
图6是本申请又一实施例提供的一种数据查询装置的单元示意图;
图7是本申请又一实施例提供的一种实现数据查询方法或数据聚合方法的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
如图1所示,本申请实施例提供了一种数据聚合方法。参照图1,所述数据聚合方法包括如下步骤:
S1、调用多个后台微服务的数据接口,提取所述数据接口的接口参数。在本申请其中一个应用场景中,所述后台微服务可以是视频网站中用于存储用户信息的后台微服务。例如,用于存储用户身份信息的第一后台微服务,用于存储用户评论数据的第二后台微服务,用于存储用户好友信息的第三后台微服务等。
本申请实施例可通过每一个所述后台微服务的数据接口对应的唯一标识实现对所述数据接口的调用。例如通过所述唯一标识查询对应的后台微服务的数据接口,并调用查询到的数据接口。
所述唯一标识包括但不限于:数据接口的唯一编码、数据接口的提供商编码、数据接口对应的后台服务编码及相关编码的组合等。所述唯一标识可预先给定,或通过具有唯一标识生成功能的计算机指令自动生成。
通过唯一编码实现对后台微服务的数据接口的调用,可确保接口调用的准确性。
进一步地,本申请实施例中,所述接口参数包括:接口地址、接口请求方法、接口请求字段名称与规则及接口响应字段名称与规则等。
S2、创建仅包括初始化参数的初始聚合接口,根据所述接口参数对所述初始聚合接口进行参数赋值,得到聚合数据接口。
本申请实施例中,所述初始聚合接口是具有所述多个后台微服务的数据接口的功能的接口。本申请其中一个实施例中,可以采用基于GraphQL的方式构建所述初始聚合接口。
实际应用中,多数后台微服务为了方便查询与调用存储的用户数据,一般采用图状数据的形式将用户数据存储于后台微服务的mysql数据库或其他具有存储功能的数据存储平台,而所述GraphQL是一种对图状数据的查询有较高效率的查询语言,因此,本申请其中一个实施例采用基于GraphQL的方式构建初始聚合接口,有利于提高从多个后台微服务中进行用户数据查询的效率。
本申请实施例通过将用于存储不同用户信息的后台微服务的api接口聚合在一起,得到可在不同后台微服务中进行数据调用的初始聚合接口。
本申请实施例中,所述根据所述接口参数对所述初始聚合接口进行参数赋值,得到聚合数据接口,包括:
利用GraphQL的接口创建方法,将所述接口参数编译为聚合参数;
利用GraphQL创建仅包括初始化参数的初始聚合接口;
利用所述聚合参数对所述初始聚合接口进行参数赋值,得到所述聚合数据接口。
详细地,本申请实施例可以利用GraphQL的接口创建方法,将所述接口参数编译为聚合参数,利用GraphQL创建仅包括初始化参数的初始聚合接口,利用所述聚合参数对所述初始聚合接口进行参数赋值,得到所述聚合数据接口。
S3、利用所述聚合数据接口调用所述多个后台微服务内的待聚合数据,识别所述待聚合数据的数据类型,根据所述聚合数据接口和所述数据类型将所述待聚合数据进行缓存,得到聚合数据,其中,所述聚合数据表示索引信息,与真实数据的存储地址存在映射关系,真实数据存放于关联的数据存储内。
本申请实施例中,可利用聚合数据接口调用多个后台微服务的待聚合数据,如用户数数据,可实现利用统一的接口实现对多个微服务中数据的调用,有利于提高数据调用的效率,进而获取调用得到的待聚合数据的数据类型。
本申请实施例中,以用户数据为例,可通过用户身份标识(User Identification,uid)利用所述聚合数据接口在各后台微服务中调用用户数据。其中,所述uid是用户在后台微服务进行注册时,所述后台微服务自动生成的用于唯一标识用户身份的数字串或符号。
本申请其中一个实施例中,可根据uid对同一用户存储于不同后台微服务的用户信息进行查询。例如,在某视频网站的微服务中,用户A对应的uid为451335465;在某购物平台的微服务中,用户A对应的uid为36941651,则聚合数据接口可根据451335465的uid从该视频网站中调用用户A的用户数据,根据36941651的uid从该购物平台中调用用户A的用户数据。
本申请另一实施例中,也可根据uid对同一用户存储于同一后台微服务的用户信息进行查询。例如,在某贷款平台中,用户B的身份信息对应的uid为674613,用户B的个人征信信息对应的uid为634616,其中,身份信息和个人征信信息存储于不同后台微服务的数据表或数据库中。因此,聚合数据接口可根据uid“674613”从该贷款平台中用于存储身份信息的区域调用用户B的身份信息,根据uid“634616”从该贷款平台中用于存储个人征信信息的区域调用用户B的个人征信信息。
本申请其他实施例中,利用所述聚合数据接口调用所述多个后台微服务的用户数据时,还可采用mcnId、关键字检索等方式对微服务中的用户数据进行查询调用。
本申请实施例中,所述数据类型包括,但不限于浮点型、整型、双精度浮点型、布尔型。本申请实施例通过对用户数据的数据类型进行分析,并根据数据类型对所述用户数据进行缓存,以实现对用户数据的有序存储,便于提高后续对数据进行检索时的效率。
本申请其中一个实施例中,可通过具有数据类型查询功能的计算机指令对用户数据的数据类型进行查询,或者通过预设的具有数据类型检测功能的函数来对用户数据的数据类型进行检测。
实际应用中,由于用户数据数量庞大,通过对用户数据进行分析来获取用户数据的数据类型会占用大量的计算资源,使得分析效率低下。因此,本申请另一实施例中,可以通过获取所述后台微服务中数据接口的接口响应字段名称和预设的字段类型表,根据所述接口响应字段名称从所述字段类型表中查询所述待聚合数据对应的数据类型。其中,所述字段类型表为用户预先给定的,包含多种字段名称及字段名称对应的数据类型的数据表。
详细地,所述识别所述待聚合数据的数据类型,包括:
获取所述后台微服务中数据接口的接口响应字段名称和预设的字段类型表;
根据所述接口响应字段名称从所述字段类型表中查询所述待聚合数据对应的数据类型。
本申请实施例可在所述字段类型表中对接口响应字段名称进行检索,进而确定不同的接口响应字段名称对应的数据类型。例如,所述字段类型表中包含字段名称A及所述字段名称A对应的字段类型a,字段名称B及所述字段名称B对应的字段类型b,字段名称C及所述字段名称C对应的字段类型c等。当接口响应字段名称为A时,可根据该字段类型表确定接口响应字段A对应的字段类型为a。
本申请另一实施例中,可利用javascript语言中的typeof方法对聚合数据接口获取的用户数据进行数据类型的判断。例如,用户数据中存在数据A,则可利用typeof方法对数据A进行运算,得到运算返回的用于表示数据A的数据类型的字符串,以此实现对数据A的数据类型的判断。
本申请另一实施例中,可利用javascript语言中的instanceof方法对所述聚合数据接口获取的用户数据进行数据类型的判断。例如,用户数据中存在数据Q,则可利用instanceof方法对数据Q进行运算,得到运算返回的布尔值,再结合数据Q的构造类型对数据Q的数据类型进行判断。
进一步地,本申请实施例可根据所述用户数据的数据类型将所述用户数据缓存至预先构建的数据库中。例如,将从多个后台微服务中抓取的具有不同数据类型的用户数据,并根据所述数据库的特性转换为与数据库相适应的数据类型,并进行存储。例如,当数据库为java数据库时,可将用户数据转换为文本类型并进行缓存,当数据库为Oracle时,可将用户数据转换为CLOB类型并进行缓存。将用户数据根据数据库的特性转换为与数据库相适应的数据类型,有利于提高用户数据存储及调用时的效率。
本申请另一个实施例中,在根据所述数据类型将所述用户数据进行缓存时,可以采用elasticsearch数据库提供缓存支持,并采用图3所示的步骤,将所述用户数据进行缓存。
参图3所示,所述根据所述聚合数据接口和所述数据类型将所述待聚合数据进行缓存,得到聚合数据,包括:
S31、利用所述聚合数据接口将所述数据类型通过映射转换为预设的数据形式;
S32、创建索引地点,并为所述用户数据生成唯一标识;
S33、利用所述唯一标识与所述数据形式对所述用户数据进行标记并缓存至所述索引地点,得到聚合数据。
具体地,本申请实施例可通过预设的类型映射表将所述数据类型映射转换为预设的数据形式,即将用户数据的数据形式转换为可供elasticsearch数据库使用的形式,便于在elasticsearch数据库中对用户数据进行缓存。其中,所述类型映射表中包含多种不同数据类型映射为elasticsearch数据库可使用数据形式的规则,对所述数据类型执行所述规则,即可实现将所述数据类型映射转换为预设的数据形式。
本申请另一实施例中,还可通过预设的映射函数或具有相同功能的计算机程序实现将所述数据类型通过映射转换为预设的数据形式。
进一步地,本申请实施例中,可利用elasticsearch数据库自带的索引设置创建索引地点,并为所述用户数据生成唯一标识,所述索引地点即为用户数据的存储地点,所述唯一标识用于唯一标记用户数据。
本申请实施例通过索引地点、数据形式和唯一标识的组合,可实现在elasticsearch数据库中唯一查询到对应的用户数据。
详细地,本申请实施例利用所述唯一标识与所述数据形式对所述用户数据进行标记并缓存至所述索引地点,即将用户数据存储至所述索引地点,并利用所述索引地点、所述数据形式和所述唯一标识对用户数据进行标记。
本申请又一实施例中,所述识别所述待聚合数据的数据类型,根据所述数据类型将所述用户数据进行缓存之后,所述方法还可以包括:
当监听到所述多个后台微服务中用户数据的数据变更时,调用所述数据更新并对缓存的用户数据进行更新。
详细地,当用户数据存储于后台微服务中预设的mysql数据库中时,可采用mysql数据库中自带的监听插件实现对各后台微服务中用户数据的数据变更的监听;或者,当用户数据存储在除mysql数据库之外的其他数据库中时,可通过添加属性或是添加监听器的方式实现对各后台微服务中用户数据的数据变更的监听。
当监听到任一后台微服务中的用户数据发生数据变更时,按照如S1中的步骤调用该后台微服务的数据变更并对缓存的用户数据进行更新。
本申请又一实施例中,当监听到所述多个后台微服务中用户数据的数据变更时,利用懒加载、一次性加载或二者组合的加载方式对缓存的用户数据进行更新。
所述一次性加载即在监测到用户数据发生数据变更时,调用数据变更后的用户数据对已缓存的用户数据进行更新,一次性加载可保证用户数据变更后,缓存中的数据更新的及时性。
所述懒加载是指在监测到用户数据发生数据变更时,为发生数据变更的用户数据对应的已缓存的用户数据构建自定义属性,所述自定义属性用于调取所述数据变更对该已缓存的用户数据进行更新,当监听到对该已缓存的用户数据的查询请求时,通过所述自定义属性调取所述数据变更对该已缓存的用户数据进行更新。
例如,后台微服务中含有用户的图像数据A,已缓存的用户数据中包含图像数据A的缓存数据a,当图像数据A发生数据变更:图像数据A变更为图像数据B,则先为缓存数据a构建自定义属性,该自定义属性可实现对图像数据B的调用(例如,图像数据B的调用链接等),当监听到对缓存中缓存数据a的调用指令后,才利用该自定义属性调用图像数据B对缓存数据a进行更新,得到更新数据b,以实现调用时获取图像数据A根据数据变更更新后的缓存数据b。
本申请另一实施例中,步骤S2中根据数据类型将用户数据进行缓存时,也可采用懒加载的方式对用户数据进行缓存。
本申请实施例中,通过懒加载的方式,可以避免大量数据同时更新对系统造成的负担,减少计算资源的占用。
本申请实施例提供的数据聚合方法,将调用得到的用户数据按照用户类型进行缓存,可实现对用户数据的有序存储,有利于提高对用户数据进行查询时的效率。因此,本申请实施例提出的数据聚合方法,可以解决对分布式数据进行数据查询时,查询的效率低下的问题。
如图2所示,本申请实施例提供了一种数据查询方法。参照图2,所述数据查询方法包括如下步骤:
S100、获取数据查询请求,解析所述数据查询请求,得到待查询的数据字段。
本申请实施例中,本申请实施例中,所述数据查询请求可由用户通过客户端的页面上传或者利用预先安装于客户端的可用于手机数据查询请求的软件对数据查询请求进行获取。例如,用户在客户端中可用于上传数据查询请求的网页中上传所述数据查询请求;或者,用户也可在该软件中包含的数据查询请求的输入栏中输入数据查询请求;或者,用户可在该软件中包含的查询信息键入栏中输入查询的条件。所述应用可以根据条件自动生成对应的数据查询请求。其中,客户端可以是诸如手机、平板电脑、笔记本电脑、掌上电脑等设备。
本申请实施例可通过elasticsearch数据库中自带的解析器对所述数据查询请求进行解析,得到数据查询请求对应的用户数据的索引地点、数据形式和唯一标识。
本申请另一实施例中,所述解析所述数据查询请求,得到待查询的数据字段,包括:
对所述数据查询请求进行结构划分,得到请求头;
利用预设解析器对所述请求头进行内容解析,得到请求头内容;
根据预先存储的字符构建规则表达式;
利用所述规则表达式提取所述请求头内容中待查询的数据字段。
本申请其中一个实际应用场景中,由于数据查询请求多为根据预设的标准通信协议生成,因此,数据查询请求中的结构多为固定结构。
例如,数据查询请求中包含20行代码,其中,1至5行代码为请求头,6至20行代码为请求体;本发明实施例可根据该数据查询请求的标准通信协议对数据查询请求进行结构划分,得到该数据查询请求的请求头。
详细地,可利用预设的解析器对所述请求头中的代码进行解析,以获取请求头中包含的内容,所述解析器包括但不限于CarakanC/C++,SquirrelFishC++和SquirrelFishExtremeC++等。
具体地,所述名称字符可由用户预先定义,可根据所述标题字构建出具有标题提取功能的规则表达式,以提取所述请求头内容中的待查询的数据字段;所述规则表达式可用于对请求头内容中固定格式的字段进行提取。
例如,当所述请求头内容中待查询的数据字段的格式为“名称:…”,则可利用该规则表达式对所述请求头内容中格式为“名称:…”的部分进行提取,以获取所述待查询的数据字段。
S200、调用缓存中与所述数据字段相应的聚合数据,并提取调用出的聚合数据对应的真实数据,将所述真实数据发送至所述数据查询请求的发送端。
本申请实施例中,可理由具有数据调用功能的计算机语句(如java调用语句、python调用语句等)根据所述数据字段从缓存中调用相应的聚合数据,进而可利用网页、表单等形式将调用出的聚合数据进行展示。
详细地,例如,查询服务器在接收到查询请求后,解析该请求得到待查询的数据字段,并调用缓存中与所述数据字段相应的聚合数据,再调用本地缓存,确认该聚合数据的真实存储地址,然后查询服务器向该真实存储地址的服务器发送聚合数据对应的真实数据的获取请求,由该真实存储地址的服务器将聚合数据对应的真实数据返回至该查询服务器,并由该查询服务器转发给数据查询请求的发送端。
本申请实施例提供的数据查询方法,通过构建聚合数据接口,利用聚合数据接口实现预先地对多个后台微服务中数据的调用,避免在查询数据时需要分别对多个后台微服务进行请求,从而提高了从后台微服务中调用数据的效率,因此,本申请实施例提出的数据查询方法,可以解决对分布式数据进行数据查询时,查询的效率低下的问题。
如图5所示,本申请实施例提供了一种数据聚合装置10,所述数据聚合装置10包括:第一聚合单元11、第二聚合单元12和第三聚合单元13。本发明实施例中,所述数据聚合装置10的各个单元也可以称之为模块,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本实施例中,第一聚合单元11,用于调用多个后台微服务的数据接口,提取所述数据接口的接口参数。
在本实施例中,第二聚合单元12,用于创建仅包括初始化参数的初始聚合接口,根据所述接口参数对所述初始聚合接口进行参数赋值,得到聚合数据接口。
在本实施例中,第三聚合单元13,用于利用所述聚合数据接口调用所述多个后台微服务内的待聚合数据,识别所述待聚合数据的数据类型,根据所述聚合数据接口和所述数据类型将所述待聚合数据进行缓存,得到聚合数据,其中,所述聚合数据表示索引信息,与真实数据的存储地址存在映射关系,真实数据存放于关联的数据存储内。
在本实施例中,数据聚合装置还包括:第四聚合单元,用于对缓存的用户数据进行更新。
详细地,本发明实施例中所述数据聚合装置10中的各个单元在使用时采用如附图中所述的数据聚合方法一样的技术手段,并能够产生相同的技术效果,这里不再赘述。
如图6所示,本申请实施例提供了一种数据查询装置100,所述数据查询装置100包括:第一查询单元111和第二查询单元112。本发明实施例中,所述数据查询装置100的各个单元也可以称之为模块,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本实施例中,第一查询单元111,用于获取数据查询请求,解析所述数据查询请求,得到待查询的数据字段。
在本实施例中,第二查询单元112,用于调用缓存中与所述数据字段相应的聚合数据,并提取调用出的聚合数据对应的真实数据,将所述真实数据发送至所述数据查询请求的发送端。
详细地,本发明实施例中所述数据查询装置100中的各个单元在使用时采用如附图中所述的数据查询方法一样的技术手段,并能够产生相同的技术效果,这里不再赘述。
如图7所示,本申请实施例提供了一种数据查询的电子设备1100的结构示意图,包括处理器1110、通信接口1120、存储器1130和通信总线1140,其中,处理器1110,通信接口1120,存储器1130通过通信总线1140完成相互间的通信;
存储器1130,用于存放计算机程序;
处理器1110,用于执行存储器1130上所存放的程序,如数据聚合程序时,实现如下的方法:
调用多个后台微服务的数据接口,提取所述数据接口的接口参数;
创建仅包括初始化参数的初始聚合接口,根据所述接口参数对所述初始聚合接口进行参数赋值,得到聚合数据接口;
利用所述聚合数据接口调用所述多个后台微服务内的待聚合数据,识别所述待聚合数据的数据类型,根据所述聚合数据接口和所述数据类型将所述待聚合数据进行缓存,得到聚合数据,其中,所述聚合数据表示索引信息,与真实数据的存储地址存在映射关系,真实数据存放于关联的数据存储内。
或者,如数据查询程序时,实现如下的方法:
获取数据查询请求,解析所述数据查询请求,得到待查询的数据字段;
调用缓存中与所述数据字段相应的聚合数据,并提取调用出的聚合数据对应的真实数据,将所述真实数据发送至所述数据查询请求的发送端。
上述电子设备提到的通信总线1140可以是外设部件互连标准(PeripheralComponentInterconnect,简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture,简称EISA)总线等。该通信总线1140可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口1120用于上述电子设备与其他设备之间的通信。
存储器1130可以包括随机存取存储器(RandomAccessMemory,简称RAM),也可以包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。可选的,存储器1130还可以是至少一个位于远离前述处理器1110的存储装置。
上述的处理器1110可以是通用处理器,包括中央处理器(CentralProcessingUnit,简称CPU)、网络处理器(NetworkProcessor,简称NP)等;还可以是数字信号处理器(DigitalSignalProcessing,简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit,简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种计算机可读存储介质,其特征在于,计算机可读存储介质存储有一个或者多个程序,一个或者多个程序可被一个或者多个处理器执行,以实现上述任一实施例的数据查询方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidStateDisk(SSD))等。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数据聚合方法,其特征在于,所述数据聚合方法包括:
调用多个后台微服务的数据接口,提取所述数据接口的接口参数;
创建仅包括初始化参数的初始聚合接口,根据所述接口参数对所述初始聚合接口进行参数赋值,得到聚合数据接口;
利用所述聚合数据接口调用所述多个后台微服务内的待聚合数据,识别所述待聚合数据的数据类型,根据所述聚合数据接口和所述数据类型将所述待聚合数据进行缓存,得到聚合数据,其中,所述聚合数据表示索引信息,与真实数据的存储地址存在映射关系,真实数据存放于关联的数据存储内。
2.根据权利要求1所述的数据聚合方法,其特征在于,所述根据所述接口参数对所述初始聚合接口进行参数赋值,得到聚合数据接口,包括:
利用GraphQL的接口创建方法,将所述接口参数编译为聚合参数;
利用GraphQL创建仅包括初始化参数的初始聚合接口;
利用所述聚合参数对所述初始聚合接口进行参数赋值,得到所述聚合数据接口。
3.根据权利要求1所述的数据聚合方法,其特征在于,所述识别所述待聚合数据的数据类型,包括:
获取所述后台微服务中数据接口的接口响应字段名称和预设的字段类型表;
根据所述接口响应字段名称从所述字段类型表中查询所述待聚合数据对应的数据类型。
4.根据权利要求1所述的数据聚合方法,其特征在于,所述根据所述聚合数据接口和所述数据类型将所述待聚合数据进行缓存,得到聚合数据,包括:
利用所述聚合数据接口将所述数据类型通过映射转换为预设的数据形式;
创建索引地点,并为所述用户数据生成唯一标识;
利用所述唯一标识与所述数据形式对所述用户数据进行标记并缓存至所述索引地点,得到聚合数据。
5.一种针对权利要求1至4中任一项的数据查询方法,其特征在于,所述数据查询方法包括:
获取数据查询请求,解析所述数据查询请求,得到待查询的数据字段;
调用缓存中与所述数据字段相应的聚合数据,并提取调用出的聚合数据对应的真实数据,将所述真实数据发送至所述数据查询请求的发送端。
6.根据权利要求5所述的数据查询方法,其特征在于,所述解析所述数据查询请求,得到待查询的数据字段,包括:
对所述数据查询请求进行结构划分,得到请求头;
利用预设解析器对所述请求头进行内容解析,得到请求头内容;
根据预先存储的字符构建规则表达式;
利用所述规则表达式提取所述请求头内容中待查询的数据字段。
7.一种数据聚合装置,其特征在于,所述数据聚合装置包括:
第一聚合单元,用于调用多个后台微服务的数据接口,提取所述数据接口的接口参数;
第二聚合单元,用于创建仅包括初始化参数的初始聚合接口,根据所述接口参数对所述初始聚合接口进行参数赋值,得到聚合数据接口;
第三聚合单元,用于利用所述聚合数据接口调用所述多个后台微服务内的待聚合数据,识别所述待聚合数据的数据类型,根据所述聚合数据接口和所述数据类型将所述待聚合数据进行缓存,得到聚合数据,其中,所述聚合数据表示索引信息,与真实数据的存储地址存在映射关系,真实数据存放于关联的数据存储内。
8.一种数据查询装置,其特征在于,所述数据聚合装置包括:
第一查询单元,用于获取数据查询请求,解析所述数据查询请求,得到待查询的数据字段;
第一查询单元,用于调用缓存中与所述数据字段相应的聚合数据,并提取调用出的聚合数据对应的真实数据,将所述真实数据发送至所述数据查询请求的发送端。
9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1至4中任意一项所述的数据聚合方法,或实现权利要求5至6中任意一项所述的数据查询方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现权利要求1至4中任意一项所述的数据聚合方法,或实现权利要求5至6中任意一项所述的数据查询方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111665137.5A CN114356991A (zh) | 2021-12-31 | 2021-12-31 | 数据查询方法、数据聚合方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111665137.5A CN114356991A (zh) | 2021-12-31 | 2021-12-31 | 数据查询方法、数据聚合方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114356991A true CN114356991A (zh) | 2022-04-15 |
Family
ID=81104808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111665137.5A Pending CN114356991A (zh) | 2021-12-31 | 2021-12-31 | 数据查询方法、数据聚合方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114356991A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116109112A (zh) * | 2023-04-12 | 2023-05-12 | 徐工汉云技术股份有限公司 | 基于聚合接口的业务数据处理方法、装置、介质和设备 |
-
2021
- 2021-12-31 CN CN202111665137.5A patent/CN114356991A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116109112A (zh) * | 2023-04-12 | 2023-05-12 | 徐工汉云技术股份有限公司 | 基于聚合接口的业务数据处理方法、装置、介质和设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102097881B1 (ko) | 단축 링크를 처리하는 방법 및 장치, 및 단축 링크 서버 | |
US8639687B2 (en) | User-customized content providing device, method and recorded medium | |
CN109033406B (zh) | 用于搜索区块链数据的方法、装置及存储介质 | |
US10733370B2 (en) | Method, apparatus, and computer program product for generating a preview of an electronic document | |
JP6611458B2 (ja) | ウェブページアクセスのための装置及び方法 | |
CN105550206B (zh) | 结构化查询语句的版本控制方法及装置 | |
TW201800962A (zh) | 網頁文件發送方法、網頁渲染方法及裝置、網頁渲染系統 | |
JP2009037501A (ja) | 情報検索装置、情報検索方法およびプログラム | |
CN111651703A (zh) | 一种页面跳转方法、装置、电子设备及可读存储介质 | |
CN111209325B (zh) | 业务系统接口识别方法、装置及存储介质 | |
US20110197133A1 (en) | Methods and apparatuses for identifying and monitoring information in electronic documents over a network | |
CN113656737B (zh) | 网页内容展示方法、装置、电子设备以及存储介质 | |
CN114356991A (zh) | 数据查询方法、数据聚合方法、装置、设备及介质 | |
US10931771B2 (en) | Method and apparatus for pushing information | |
CN113761565B (zh) | 数据脱敏方法和装置 | |
US20220156245A1 (en) | System and method for managing custom fields | |
CN111680247B (zh) | 网页字符串的本地调用方法、装置、设备及存储介质 | |
CN108959289B (zh) | 网站类别获取方法和装置 | |
CN111078773A (zh) | 一种数据处理方法及装置 | |
CN113127776A (zh) | 面包屑路径生成方法、装置及终端设备 | |
CN109710604A (zh) | 数据处理方法、装置、系统、计算机可读存储介质 | |
KR20130103239A (ko) | 번역 기능을 구비한 웹 브라우징 서비스 제공 방법, 서버 및 단말 | |
CN107451160B (zh) | 一种页面预读方法及装置 | |
Matuszka et al. | mswb: Towards a mobile semantic web browser | |
CN110851346A (zh) | 查询语句边界问题的检测方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |