CN113672660B - 一种数据查询方法、装置及设备 - Google Patents
一种数据查询方法、装置及设备 Download PDFInfo
- Publication number
- CN113672660B CN113672660B CN202110881704.4A CN202110881704A CN113672660B CN 113672660 B CN113672660 B CN 113672660B CN 202110881704 A CN202110881704 A CN 202110881704A CN 113672660 B CN113672660 B CN 113672660B
- Authority
- CN
- China
- Prior art keywords
- data
- queried
- information
- determining
- attribute information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 230000004931 aggregating effect Effects 0.000 claims abstract description 22
- 238000003860 storage Methods 0.000 claims description 47
- 230000002776 aggregation Effects 0.000 claims description 20
- 238000004220 aggregation Methods 0.000 claims description 20
- 238000013500 data storage Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 description 44
- 238000010586 diagram Methods 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 16
- 230000018109 developmental process Effects 0.000 description 12
- 238000011161 development Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
- G06F16/24554—Unary operations; Data partitioning operations
- G06F16/24556—Aggregation; Duplicate elimination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书实施例公开了一种数据查询方法、装置及设备。方法包括:获取用户终端输入的配置信息;基于配置信息,确定与待查询对象具有关联关系的第一对象;基于时间戳信息,得到在时间戳信息对应的时间段内待查询对象对应的以待查询对象为主维度,对第一对象在所述时间段内对应的运行状态数据进行聚合后得到的数据结果;并将数据结果返回至用户终端。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据查询方法、装置及设备。
背景技术
随着信息技术的不断发展,数据增长呈爆炸式趋势,并产生了大量需要存储和查询的数据。大数据背景下,数据规模急剧扩大、数据形式多样、对数据应用的要求也日益提高。其中数据查询在各种业务上应用广泛,无论是外部用户使用的数据查询,或是内部上下游系统的依赖查询,每日数据查询调用量都非常大,查询效率较低。
特别对于数据监控场景,复杂异构系统的监控接入,需要做大量的定制化工作,系统开发维护成本高,现有的数据监控场景中,没有对一组监控对象或者不同组监控的关联关系进行抽象和分析的能力。如果想要建立多个监控对象之间的关系或者通过基础监控对象指标计算出其他关联的监控对象指标,则往往需要大量的人工投入做定制化的开发,耗费人力物力,成本太高,难以支撑。
因此,需要提供一种更加可靠的数据查询方案。
发明内容
本说明书实施例提供一种数据查询方法、装置及设备,以解决现有的数据查询方法存在的查询效率低的问题。
为解决上述技术问题,本说明书实施例是这样实现的:
本说明书实施例提供的一种数据查询方法,包括:
获取用户终端输入的配置信息;所述配置信息中包括待查询对象以及时间戳信息,所述时间戳信息用于表示所述用户需要查询的数据对应的时间段信息;
基于所述配置信息,确定与所述待查询对象具有关联关系的第一对象;所述关联关系用于表示所述待查询对象与所述第一对象之间的从属关系;
基于所述时间戳信息,得到在所述时间戳信息对应的时间段内所述待查询对象对应的数据结果;所述数据结果是以所述待查询对象为主维度,对所述第一对象在所述时间段内对应的运行状态数据进行聚合后得到的;
将所述数据结果返回至所述用户终端。
本说明书实施例提供的一种数据存储方法,包括:
获取待存储的目标数据;所述目标数据为应用平台中全部对象的运行状态数据;
获取目标数据中的全部对象的属性信息;所述属性信息中至少包括:待查询对象的对象标识、待查询对象的从属关系信息;
根据所述属性信息,确定各对象之间的关联关系;所述关联关系用于表示所述待查询对象与所述第一对象之间的从属关系;
基于所述关联关系,确定存储维度;
基于所述存储维度,对所述目标数据进行存储。
本说明书实施例提供的一种数据查询装置,包括:
配置信息获取模块,用于获取用户终端输入的配置信息;所述配置信息中包括待查询对象以及时间戳信息,所述时间戳信息用于表示所述用户需要查询的数据对应的时间段信息;
第一对象确定模块,用于基于所述配置信息,确定与所述待查询对象具有关联关系的第一对象;所述关联关系用于表示所述待查询对象与所述第一对象之间的从属关系;
数据结果确定模块,用于基于所述时间戳信息,得到在所述时间戳信息对应的时间段内所述待查询对象对应的数据结果;所述数据结果是以所述待查询对象为主维度,对所述第一对象在所述时间段内对应的运行状态数据进行聚合后得到的;
数据结果返回模块,用于将所述数据结果返回至所述用户终端。
本说明书实施例提供的一种数据存储装置,包括:
目标数据获取模块,用于获取待存储的目标数据;所述目标数据为应用平台中全部对象的运行状态数据;
属性信息获取模块,用于获取目标数据中的全部对象的属性信息;所述属性信息中至少包括:待查询对象的对象标识、待查询对象的从属关系信息;
关联关系确定模块,用于根据所述属性信息,确定各对象之间的关联关系;所述关联关系用于表示所述待查询对象与所述第一对象之间的从属关系;
存储维度确定模块,用于基于所述关联关系,确定存储维度;
目标数据存储模块,用于基于所述存储维度,对所述目标数据进行存储。
本说明书实施例提供的一种数据查询设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
获取用户终端输入的配置信息;所述配置信息中包括待查询对象以及时间戳信息,所述时间戳信息用于表示所述用户需要查询的数据对应的时间段信息;
基于所述配置信息,确定与所述待查询对象具有关联关系的第一对象;所述关联关系用于表示所述待查询对象与所述第一对象之间的从属关系;
基于所述时间戳信息,得到在所述时间戳信息对应的时间段内所述待查询对象对应的数据结果;所述数据结果是以所述待查询对象为主维度,对所述第一对象在所述时间段内对应的运行状态数据进行聚合后得到的;
将所述数据结果返回至所述用户终端。
本说明书实施例提供的一种数据存储设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
获取待存储的目标数据;所述目标数据为应用平台中全部对象的运行状态数据;
获取目标数据中的全部对象的属性信息;所述属性信息中至少包括:待查询对象的对象标识、待查询对象的从属关系信息;
根据所述属性信息,确定各对象之间的关联关系;所述关联关系用于表示所述待查询对象与所述第一对象之间的从属关系;
基于所述关联关系,确定存储维度;
基于所述存储维度,对所述目标数据进行存储。
本说明书实施例提供的一种计算机可读介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行以实现一种数据查询方法。
本说明书实施例提供的一种计算机可读介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行以实现一种数据存储方法。
本说明书至少一个实施例能够达到以下有益效果:通过获取用户终端输入的配置信息;基于配置信息,确定与待查询对象具有关联关系的第一对象;基于时间戳信息,得到在时间戳信息对应的时间段内待查询对象对应的以待查询对象为主维度,对第一对象在所述时间段内对应的运行状态数据进行聚合后得到的数据结果;并将数据结果返回至用户终端。通过上述方法,能够基于用户输入的配置信息,基于对象之间的关联关系,为用户返回聚合后的数据结果,省却了常规业务中开发的数据采集和计算的定制化过程,不局限于只为用户显示零散的数据结果,为了提高监控质量,在为数据进行聚合计算时,减少了开发人员的工作量,提高数据查询效率。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书实施例提供的一种数据查询方法的流程示意图;
图2为本说明书实施例提供的一种数据存储方法的流程示意图;
图3为本说明书实施例提供的数据聚合方法的示意图;
图4为本说明书实施例提供的一种应用程序服务数据监控方案的示意图;
图5为本说明书实施例提供的一种数据查询装置的结构示意图;
图6为本说明书实施例提供的一种数据存储装置的结构示意图;
图7为本说明书实施例提供的一种数据查询设备结构示意图。
具体实施方式
为使本说明书一个或多个实施例的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书一个或多个实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书的一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书一个或多个实施例保护的范围。
以下结合附图,详细说明本说明书各实施例提供的技术方案。
随着社会的发展,为了保证业务的正常进行,需要对业务数据或者系统数据、设备性能数据等进行监控,以便及时掌握业务的运营情况、系统中各设备的运行情况等等。业务监控流程中包含数据收集、数据计算等。常用的监控系统如zabbix,promethus等。其中,zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数,保证服务器系统的安全运营;并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。prometheus是一个开源监控系统,大部分通过使用zabbix来实现主机、服务、设备的监控。
系统可以理解为是对单个监控对象的采集,没有对一组监控对象或者不同组监控对象的关联关系进行抽象和分析的能力。如果想要建立各个监控对象之间的关系或者通过基础监控对象指标计算出其他关联的监控对象指标,复杂异构系统的监控接入,往往需要大量的人工投入,进行定制化的开发,耗费人力物力,成本太高,难以支撑。
本说明书实施例中的技术方案可以方便构建监控业务的原始采集清洗任务,中间数据聚合计算任务,以及最终时序指标数据存储和查询操作。省却了常规监控业务开发的数据采集和计算的定制化过程,简化并统一了监控业务开发的方法,易于操作,提高了监控业务开发效率和可维护性。
具体地,本方案给出了以下实施例:
对于后续实施例中用到的名词进行解释:
物理机房(Internet Data Center,简称IDC),IDC可以划分为主机房区、支持区和辅助区。主机房区可以包括:服务器机房、网络机房、存储机房等。每个IDC机房都会有自己的域名。
逻辑机房(logic data center,简称LDC),逻辑机房本质上是将物理机房进行逻辑拆分,将一个或多个较大的物理机房假象为更多个较小的机房。其可以解决分布式场景下高可用、高性能等问题。
实施例1
图1为本说明书实施例提供的一种数据查询方法的流程示意图。从程序角度而言,流程的执行主体可以为搭载于应用服务器的程序或应用客户端。在本实施例中,执行主体可以是用户查询的数据所在平台的服务器。该服务器的作用可以是接收用户终端发送的数据查询请求,基于数据查询请求为用户查找预先存储好的数据,并进行处理后返回数据结果。
如图1所示,该流程可以包括以下步骤:
步骤110:获取用户终端输入的配置信息;所述配置信息中包括待查询对象以及时间戳信息,所述时间戳信息用于表示所述用户需要查询的数据对应的时间段信息。
配置信息可以表示用户可编辑配置的变量,更为具体的,配置信息可以为具体的待查询业务系统中的待查询数据信息,例如:需要查询两个系统中某一用户在某个时间段内的资金往来,其中,该时间段的时间戳、待查询用户的用户标识、两个系统的系统标识以及需要查询的数据标识均属于配置信息。
配置信息可以为用户在配置表中可编辑的变量,配置表可以是由开发人员提前编写的通用模板,开发人员可以根据具体的数据查询场景对配置表进行编辑。用户可以在配置表中编辑需要查询的变量信息,从而进行针对性查询。再比如:需要查询某应用程序对应的应用系统中,A物理机房中的业务数据日访问量。此时:待查询对象(A物理机房)的对象标识、时间戳信息、需查询的指标信息(业务数据日访问量)以及所述的应用系统、应用程序等信息都可以属于配置信息。其中,时间戳信息可以用于表示用户需要查询的数据对应的时间段信息。
待查询对象可以包括应用程序APP、应用程序中的各个应用系统、逻辑机房、物理机房或物理机房中的服务器等等。对于数据监控场景,为了保证各个应用程序中对应的业务能否顺利进行,需要对系统中的运行状态数据进行监控,掌握运行状态数据的运行情况。其中,运行状态数据可以是随着各个对象的运行,实时产生的数据,例如:服务器A的运行状态数据,可以是随着服务器A的运行,实时产生的具有时间变化趋势的数据。
步骤120:基于所述配置信息,确定与所述待查询对象具有关联关系的第一对象;所述关联关系用于表示所述待查询对象与所述第一对象之间的从属关系。
第一对象中可以包括一个或多个对象,第一对象是与待查询对象具有从属关系的对象。
在实际应用中,确定与待查询对象具有关联关系的第一对象时,可以采用以下几种方法:
方法一、可以直接从配置信息中获取待查询对象以及与待查询对象具有关联关系的第一对象:
配置信息中,可以直接包括待查询对象的标识信息,待查询对象所属的对象信息,例如:当待查询对象为物理机房X,此时配置信息中可以包括物理机房X的标识信息以及该物理机房X所属的逻辑机房信息、该物理机房X所属的应用系统信息、该物理机房X所属的APP信息等等。此时,可以直接从配置信息中获取待查询对象以及与待查询对象具有关联关系的第一对象,继续沿用前述例子,从配置信息中可以获取待查询对象:物理机房X。与待查询对象具有关联关系的第一对象:逻辑机房、应用系统、APP以及物理机房X中所包含的服务器。
方式二、配置信息中仅包括待查询对象的信息,从配置信息中无法直接获取与待查询对象具有关联关系的第一对象:
此时,述基于所述配置信息,确定与所述待查询对象具有关联关系的第一对象,具体可以包括:
获取待查询对象的属性信息;所述属性信息中至少包括:待查询对象的对象标识、待查询对象的从属关系信息;
基于所述属性信息,确定与所述待查询对象具有从属关系的第一对象;所述从属关系用于表示所述第一对象从属于所述待查询对象。
从配置信息中可以获取待查询对象,从而可以基于待查询对象的标识信息获取待查询对象的属性信息,基于待查询对象的属性信息就可以确定与待查询对象具有从属关系的第一对象。
属性信息中至少可以包括:待查询对象的对象标识、待查询对象的从属关系信息基于属性信息确定与所述查询对象具有关联关系的第一对象。例如:以服务器为待查询对象为例进行说明:服务器的属性信息中可以包含:应用名、主机名、服务器状态、IP地址、域名、环境信息、逻辑机房LDC,服务器类型、所属APP,硬件模块、宿主机(具有链接地址)、CPU模式等。其中,宿主机可以表示物理机房IDC的链接地址,点击该地址,可以跳转到该服务器所属的物理机房IDC对应的数据表。
步骤130:基于所述时间戳信息,得到在所述时间戳信息对应的时间段内所述待查询对象对应的数据结果;所述数据结果是以所述待查询对象为主维度,对所述第一对象在所述时间段内对应的运行状态数据进行聚合后得到的。
该步骤中的数据结果可以表示的是以待查询对象为主维度,对第一对象在时间段内对应的运行状态数据进行聚合后得到的结果。例如:待查询对象为物理机房A,物理机房A中包括服务器A1、A2以及A3,当需要查询物理机房A中2月18号00:00-23:59的日访问量,此时,可以获取服务器A1、服务器A2以及服务器A3在2月18号00:00-23:59这一时间段内的日访问量。然后进行统计聚合,例如:确定物理机房A中在2月18号00:00-23:59这一时间段内的平均访问量,以及访问总量,此时,可以服务器A1、服务器A2以及服务器A3在2月18号00:00-23:59这一时间段内的日访问量求平均以及求和,得到聚合结果,作为最终返回至用户终端的数据结果。
步骤140:将所述数据结果返回至所述用户终端。
服务器将聚合之后的数据结果返回至用户终端。
将数据结果返回至用户终端之后,用户终端可以对数据结果进行渲染然后在终端界面中进行显示,以供用户进行查看。对于数据结果的显示,可以以数字文字形式进行显示,也可以以图表形式进行显示,例如:对于数据结果的显示,可以是数据表形式、统计图形式、或者数字文字描述形式均可,以便用户能够直观看出数据结果。
应当理解,本说明书一个或多个实施例所述的方法其中部分步骤的顺序可以根据实际需要相互交换,或者其中的部分步骤也可以省略或删除。
图1中的方法,通过获取用户终端输入的配置信息;基于配置信息,确定与待查询对象具有关联关系的第一对象;基于时间戳信息,得到在时间戳信息对应的时间段内待查询对象对应的以待查询对象为主维度,对第一对象在所述时间段内对应的运行状态数据进行聚合后得到的数据结果;并将数据结果返回至用户终端。通过上述方法,能够基于用户输入的配置信息,基于对象之间的关联关系,为用户返回聚合后的数据结果,省却了常规业务中开发的数据采集和计算的定制化过程,不局限于只为用户显示零散的数据结果,为了提高监控质量,在为数据进行聚合计算时,减少了开发人员的工作量,提高数据查询效率。
基于图1的方法,本说明书实施例还提供了该方法的一些具体实施方案,下面进行说明。
可选的,所述待查询对象可以包括应用、系统、逻辑机房、物理机房或服务器等。
所述基于所述第一对象的运行状态数据,得到所述待查询对象对应的数据结果之前,还可以包括:
获取所述时间戳信息对应的第一对象的运行状态数据;
所述基于所述第一对象的运行状态数据,得到所述待查询对象对应的数据结果,具体包括:
按照预设规则对所述第一对象的运行状态数据进行聚合,得到聚合后的数据结果。
时间戳通常是一个字符序列,唯一地标识某一刻的时间,是可以表示一份数据在一个特定时间点已经存在的完整的可验证的数据。主要是为用户提供一份电子证据,以证明用户的某些数据的产生时间。基于时间戳信息,可以获取第一对象在该时间戳对应的时间段内的运行状态数据。
所述预设规则可以包括预设聚合方式;所述预设聚合方式用于表示对所述第一对象的运行状态数据进行聚合所采用的算法类型。预设规则可以根据实际应用场景中的环境信息、业务场景信息以及用户的实际需求等进行设定。例如:可以查询服务器的CPU运行状态,可以为用户计算该服务器的CPU使用总量。需要统计某系统中的业务成交量,此时可以计算该系统中各个机房对应的总的业务成交量。需要统计某个月某系统中的业务成交量,可以计算该系统的业务成交总量以及平均成交量。具体地,预设规则还可以由用户输入的配置信息决定,根据用户需要查询的具体对象的具体数据类型,确定预设规则。
实施例2
图2为本说明书实施例提供的一种数据存储方法的流程示意图。从程序角度而言,流程的执行主体可以为搭载于应用服务器的程序或应用客户端。在本实施例中,执行主体可以是用户查询的数据所在平台的服务器。该服务器的作用是对应用程序的平台中所有对象的运行状态数据进行存储。实施例2中的执行主体与实施例1中的执行主体可以相同,也可以不同,即实施例2中用于存储数据的服务器与实施例1中用于为用户提供查询结果的服务器可以是同一个服务器也可以是不同的服务器。具体可以根据实际应用需求进行设置。
如图2所示,该流程可以包括以下步骤:
步骤210:获取待存储的目标数据;所述目标数据为应用平台中全部对象的运行状态数据。
应用平台中可以是应用程序APP对应的平台,该应用平台中可以包括应用系统、逻辑机房、物理机房以及服务器等对象。对象可以包括应用、系统、逻辑机房、物理机房或服务器等等。
目标数据可以是应用平台中全部对象的运行状态数据。在实际应用中,应用平台可以是支付应用程序对应的应用平台,也可以是购物应用程序对应的应用平台,还可以是一些金融类服务应用程序对应的应用平台。以支付应用程序对应的应用平台为例,该应用平台中提供了支付、理财、信用、营销、社交等等诸多业务,每种业务都需要相应的应用系统进行支持,因此,支付应用程序对应的应用平台中也包含多种应用系统,每个应用系统中存在逻辑机房和物理机房,每个物理机房中包括多台服务器。
步骤220:获取目标数据中的全部对象的属性信息;所述属性信息中至少包括:待查询对象的对象标识、待查询对象的从属关系信息。
属性信息可以包括:待查询对象的对象标识、待查询对象的从属关系信息、性能信息以及指标信息等。
步骤230:根据所述属性信息,确定各对象之间的关联关系;所述关联关系用于表示所述待查询对象与所述第一对象之间的从属关系。
根据每个对象的属性信息,可以确定各个对象之间的关联关系,例如:某一台或几台服务器属于物理机房A,物理机房A和物理机房B属于应用系统V。
步骤240:基于所述关联关系,确定存储维度。
在存储时,可以基于MySQL表的形式进行存储,存储维度可以表示在MySQL表中的主键和外键,基于关联关系,可以确定在基于每个对象对目标数据在存储时,对应的主键和外键。例如:以服务器为存储维度的表A以及以该服务器所属的物理机房为存储维度的表B,其中,当以服务器为存储维度进行存储时,服务器可以是表中的主键,表中的物理机房可以是外键,该外键链接到以物理机房为主维度的表B中,即表A中的外键为表B中的主键。
步骤250:基于所述存储维度,对所述目标数据进行存储。
如上所述,对于每个对象可以对应一个数据表,例如:以服务器为存储维度的数据表中,可以包含服务器标识,例如:服务器IP,服务器所属的逻辑机房LDC,机器所属应用app,服务器属于某个物理机房或逻辑机房,机房属于某个应用系统,其中,服务器对应的数据表中的LDC不是一个机房的标识,而是一个外键字段(例如:一个链接地址)。按照这样的形式对目标数据进行存储。
图2中的方法,通过获取待存储的应用平台中全部对象的运行状态数据,作为目标数据;获取目标数据中的全部对象的属性信息;根据所述属性信息,确定各对象之间的关联关系;基于所述关联关系,确定存储维度;基于所述存储维度,对所述目标数据进行存储。通过该存储方法,可以根据各对象之间的关联关系,确定存储维度,从而从存储的数据表中就可以确定各个对象之间的从属关系,也就是维表的外键关联,以便于后续对各对象的运行状态数据做维度计算和数据聚合统计使用。不再需要做多余的定制化工作,所有的工作都是流程化和模板化的来完成,可以大大减少监控系统的接入复杂度。
基于图2的方法,本说明书实施例还提供了该方法的一些具体实施方案,下面进行说明。
可选的,各个所述对象可以对应有数据表;所述数据表可以包含所述对象的属性信息;
对于一个对象,根据所述属性信息,确定各对象之间的关联关系,具体可以包括:
基于所述属性信息,确定该对象对应的所述数据表中的主键信息以及外键信息;所述外键信息用于表示该对象对应的数据表与第一对象对应的数据表之间的关联关系;所述外键信息指向所述第一对象的数据表;
基于所述外键信息,确定该对象与所述第一对象之间的关联关系。
其中,主键可以表示表中经常有一个列或多列的组合,主键是表里面唯一识别记录的字段,其值能唯一地标识表中的每一行,这样的一列或多列称为表的主键。主键字段需要满足唯一、非空且一个表中只能有一个主键的条件,主键中可以包含一个或多个字段。
外键可以是用于建立和加强两个表数据之间的链接的一列或多列。通过将保存表中主键值的一列或多列添加到另一个表中,可创建两个表之间的链接。这个列就成为第二个表的外键。如果公共关键字在一个关系中是主关键字,那么这个公共关键字被称为另一个关系的外键。由此可见,外键表示了两个关系之间的相关联系,以另一个关系的外键作主关键字的表被称为主表,具有此外键的表被称为主表的从表。
可选的,当所述对象为服务器时,所述服务器对应的数据表中可以包括:所述服务器的标识信息、所述服务器所属的逻辑机房对应的外键信息以及所述服务器所述的应用程序标识;其中,所述服务器所属的逻辑机房对应的外键信息指向所述逻辑机房的数据表。除此之外,对于每个服务器,每个服务器对应有各种指标信息,例如:时间(period),IP地址,服务接口,服务总量(count),服务成功量(success),服务平均耗时(cost)等,其中,IP和服务接口可以用来描述监控对象;count,success,cost可以用于描述时间数值趋势。
上述实施例中的方案可以结合图3进行说明:
图3为本说明书实施例提供的数据聚合方法的示意图。如图3所示,假设服务器对应有数据表、机房对应有数据表,每个服务器的指标信息也对应有数据表。服务器的数据表中包含及其IP、逻辑机房LDC以及所属应用app三个属性,其中,IP唯一标识了该监控对象;同时逻辑机房LDC也可以作为监控对象,LDC作为监控对象时,对应的数据表中可以包括LDC标识,物理机房IDC以及所属城市city等属性;通过对各监控对象通过维表进行描述,每一种监控对象都对应一个数据表,从图中可以看到Server表和LDC表之间存在关联关系,LDC表的主键是Server表的LDC字段的外键,这种关联关系可以描述为维度计算。
把service指标的IP关联到server对象维表,通过维度计算server.ip.ldc进行降维聚合计算,对指标对应的数据表做聚合计算,可以生成逻辑机房级别的service指标;还可以再通过server.ip.ldc.idc生成物理机房IDC级别的service指标。
可选的,当所述对象为逻辑机房时,所述逻辑机房对应的数据表中可以包括:所述逻辑机房的标识信息、所述逻辑机房的物理机房信息以及域名信息。
本说明书实施例中的方案,可以结合图4作进一步说明,图4为本说明书实施例提供的一种应用程序服务数据监控方案的示意图。如图4所示,将应用程序服务器中的额框架服务日志以及自定义日志进行集体映射(CollectMapping),形成单机服务数据。对于监控对象以及监控指标都可以采用Table的方式进行描述。两个表之间的转换通过Transform进行定义,其中,Transform是一种类SQL的表达方式。图4中,单机service服务数据Table通过SQL的group by计算出LDC/IDC的服务数据,LDC/IDC的服务数据Table通过SQL的group by计算出应用层面的服务数据,从而还能进一步确定出全站的服务数据。基于各个对象数据表之间的关联关系,可以确定各个监控对象在时间维度上的趋势描述;还能获取不同监控对象之间的关联关系的描述,也有对不同监控指标的关联关系的描述。
通过上述方法,通过获取对象的属性信息,可以确定各对象之间的关联关系信息,生成各对象的维表数据,基于关联关系,即维表的外键关联,后续做维度计算和数据聚合统计使用,数据表之间的关联关系可以用于数据表之间转换的计算任务。应用于监控业务中时,不再需要做多余的定制化工作,所有的工作都是流程化和模板化的来完成,可以大大减少监控系统的接入复杂度。在监控业务场景中,通过本说明书实施例中的方法,可以方便的构建监控业务的原始采集清洗任务,中间数据聚合计算任务,以及最终时序指标数据的存储和查询操作。省却了常规监控业务开发的数据采集和计算的定制化过程,简化并统一了监控业务开发的模型和方法,易于操作,提高了监控业务开发效率和可维护性,并能进一步提高数据的查询效率。
基于同样的思路,本说明书实施例还提供了上述方法对应的装置。图5为本说明书实施例提供的一种数据查询装置的结构示意图。如图5所示,该装置可以包括:
配置信息获取模块510,用于获取用户终端输入的配置信息;所述配置信息中包括待查询对象以及时间戳信息,所述时间戳信息用于表示所述用户需要查询的数据对应的时间段信息;
第一对象确定模块520,用于基于所述配置信息,确定与所述待查询对象具有关联关系的第一对象;所述关联关系用于表示所述待查询对象与所述第一对象之间的从属关系;
数据结果确定模块530,用于基于所述时间戳信息,得到在所述时间戳信息对应的时间段内所述待查询对象对应的数据结果;所述数据结果是以所述待查询对象为主维度,对所述第一对象在所述时间段内对应的运行状态数据进行聚合后得到的;
数据结果返回模块540,用于将所述数据结果返回至所述用户终端。
基于图5的装置,本说明书实施例还提供了该装置的一些具体实施方案,下面进行说明。
可选的,第一对象确定模块520,具体可以包括:
待查询对象属性信息获取单元,用于获取待查询对象的属性信息;所述属性信息中至少包括:待查询对象的对象标识、待查询对象的从属关系信息;
第一对象确定单元,用于基于所述属性信息,确定与所述待查询对象具有从属关系的第一对象;所述从属关系用于表示所述第一对象从属于所述待查询对象。
可选的,待查询对象可以包括应用、系统、逻辑机房、物理机房或服务器。
可选的,所述装置,还可以包括:
第一对象的运行状态数据获取模块,用于获取所述时间戳信息对应的第一对象的运行状态数据;
所述数据结果确定模块,具体包括:
数据聚合单元,用于按照预设规则对所述第一对象的运行状态数据进行聚合,得到聚合后的数据结果。
可选的,所述预设规则可以包括预设聚合方式;所述预设聚合方式用于表示对所述第一对象的运行状态数据进行聚合所采用的算法类型。
基于同样的思路,本说明书实施例还提供了上述方法对应的装置。图6为本说明书实施例提供的一种数据存储装置的结构示意图。如图5所示,该装置可以包括:
目标数据获取模块610,用于获取待存储的目标数据;所述目标数据为应用平台中全部对象的运行状态数据;
属性信息获取模块620,用于获取目标数据中的全部对象的属性信息;所述属性信息中至少包括:待查询对象的对象标识、待查询对象的从属关系信息;
关联关系确定模块630,用于根据所述属性信息,确定各对象之间的关联关系;所述关联关系用于表示所述待查询对象与所述第一对象之间的从属关系;
存储维度确定模块640,用于基于所述关联关系,确定存储维度;
目标数据存储模块650,用于基于所述存储维度,对所述目标数据进行存储。
基于图6的装置,本说明书实施例还提供了该装置的一些具体实施方案,下面进行说明。
可选的,所述对象可以包括应用、系统、逻辑机房、物理机房或服务器。
可选的,各个所述对象可以对应有数据表;所述数据表可以包含所述对象的属性信息;
对于一个对象,所述关联关系确定模块630,具体可以包括:
主外键信息确定单元,用于基于所述属性信息,确定该对象对应的所述数据表中的主键信息以及外键信息;所述外键信息用于表示该对象对应的数据表与第一对象对应的数据表之间的关联关系;所述外键信息指向所述第一对象的数据表;
关联关系确定单元,用于基于所述外键信息,确定该对象与所述第一对象之间的关联关系。
可选的,所述对象可以为服务器,所述服务器对应的数据表中可以包括:所述服务器的标识信息、所述服务器所属的逻辑机房对应的外键信息以及所述服务器所述的应用程序标识;其中,所述服务器所属的逻辑机房对应的外键信息指向所述逻辑机房的数据表。
可选的,所述对象可以为逻辑机房,所述逻辑机房对应的数据表中可以包括:所述逻辑机房的标识信息、所述逻辑机房的物理机房信息以及域名信息。
基于同样的思路,本说明书实施例还提供了上述方法对应的设备。
图7为本说明书实施例提供的一种数据查询设备的结构示意图。如图7所示,设备700可以包括:
至少一个处理器710;以及,
与所述至少一个处理器通信连接的存储器730;其中,
所述存储器730存储有可被所述至少一个处理器710执行的指令720。
对应于实施例1,所述指令被所述至少一个处理器710执行,以使所述至少一个处理器710能够:
获取用户终端输入的配置信息;所述配置信息中包括待查询对象以及时间戳信息,所述时间戳信息用于表示所述用户需要查询的数据对应的时间段信息;
基于所述配置信息,确定与所述待查询对象具有关联关系的第一对象;所述关联关系用于表示所述待查询对象与所述第一对象之间的从属关系;
基于所述时间戳信息,得到在所述时间戳信息对应的时间段内所述待查询对象对应的数据结果;所述数据结果是以所述待查询对象为主维度,对所述第一对象在所述时间段内对应的运行状态数据进行聚合后得到的;
将所述数据结果返回至所述用户终端。
对应于实施例2,所述指令被所述至少一个处理器710执行,以使所述至少一个处理器710能够:
获取待存储的目标数据;所述目标数据为应用平台中全部对象的运行状态数据;
获取目标数据中的全部对象的属性信息;所述属性信息中至少包括:待查询对象的对象标识、待查询对象的从属关系信息;
根据所述属性信息,确定各对象之间的关联关系;所述关联关系用于表示所述待查询对象与所述第一对象之间的从属关系;
基于所述关联关系,确定存储维度;
基于所述存储维度,对所述目标数据进行存储。
基于同样的思路,本说明书实施例还提供了上述方法对应的计算机可读介质。计算机可读介质上存储有计算机可读指令。
对应于实施例1,所述计算机可读指令可被处理器执行以实现以下方法:
获取用户终端输入的配置信息;所述配置信息中包括待查询对象以及时间戳信息,所述时间戳信息用于表示所述用户需要查询的数据对应的时间段信息;
基于所述配置信息,确定与所述待查询对象具有关联关系的第一对象;所述关联关系用于表示所述待查询对象与所述第一对象之间的从属关系;
基于所述时间戳信息,得到在所述时间戳信息对应的时间段内所述待查询对象对应的数据结果;所述数据结果是以所述待查询对象为主维度,对所述第一对象在所述时间段内对应的运行状态数据进行聚合后得到的;
将所述数据结果返回至所述用户终端。
对应于实施例2,所述计算机可读指令可被处理器执行以实现以下方法:
获取待存储的目标数据;所述目标数据为应用平台中全部对象的运行状态数据;
获取目标数据中的全部对象的属性信息;所述属性信息中至少包括:待查询对象的对象标识、待查询对象的从属关系信息;
根据所述属性信息,确定各对象之间的关联关系;所述关联关系用于表示所述待查询对象与所述第一对象之间的从属关系;
基于所述关联关系,确定存储维度;
基于所述存储维度,对所述目标数据进行存储。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字符系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC625D、AtmelAT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字符助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字符多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带式磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (19)
1.一种数据查询方法,包括:
获取用户终端输入的配置信息;所述配置信息中包括待查询对象以及时间戳信息,所述时间戳信息用于表示所述用户需要查询的数据对应的时间段信息;
基于所述配置信息,确定与所述待查询对象具有关联关系的第一对象;所述关联关系用于表示所述待查询对象与所述第一对象之间的从属关系;所述配置信息包括所述待查询对象的标识信息、待查询对象所属的对象信息;
基于所述时间戳信息,得到在所述时间戳信息对应的时间段内所述待查询对象对应的数据结果;所述数据结果是以所述待查询对象为主维度,对所述第一对象在所述时间段内对应的运行状态数据进行聚合后得到的;
将所述数据结果返回至所述用户终端。
2.根据权利要求1所述的方法,所述基于所述配置信息,确定与所述待查询对象具有关联关系的第一对象,具体包括:
获取待查询对象的属性信息;所述属性信息中至少包括:待查询对象的对象标识、待查询对象的从属关系信息;
基于所述属性信息,确定与所述待查询对象具有从属关系的第一对象;所述从属关系用于表示所述第一对象从属于所述待查询对象。
3.根据权利要求1所述的方法,所述待查询对象包括应用、系统、逻辑机房、物理机房或服务器。
4.根据权利要求1所述的方法,所述基于所述第一对象的运行状态数据,得到所述待查询对象对应的数据结果之前,还包括:
获取所述时间戳信息对应的第一对象的运行状态数据;
所述基于所述第一对象的运行状态数据,得到所述待查询对象对应的数据结果,具体包括:
按照预设规则对所述第一对象的运行状态数据进行聚合,得到聚合后的数据结果。
5.根据权利要求4所述的方法,所述预设规则包括预设聚合方式;所述预设聚合方式用于表示对所述第一对象的运行状态数据进行聚合所采用的算法类型。
6.一种数据存储方法,包括:
获取待存储的目标数据;所述目标数据为应用平台中全部对象的运行状态数据;
获取目标数据中的全部对象的属性信息;所述属性信息中至少包括:待查询对象的对象标识、待查询对象的从属关系信息;
根据所述属性信息,确定各对象之间的关联关系;所述关联关系用于表示所述待查询对象与所述第一对象之间的从属关系;
基于所述关联关系,确定存储维度;基于所述关联关系,确定在基于每个对象对目标数据在存储时,对应的主键和外键;
基于所述存储维度,对所述目标数据进行存储;
对于一个对象,根据所述属性信息,确定各对象之间的关联关系,具体包括:
基于所述属性信息,确定该对象对应的数据表中的主键信息以及外键信息;所述外键信息用于表示该对象对应的数据表与第一对象对应的数据表之间的关联关系;所述外键信息指向所述第一对象的数据表;
基于所述外键信息,确定该对象与所述第一对象之间的关联关系。
7.根据权利要求6所述的方法,所述对象包括应用、系统、逻辑机房、物理机房或服务器。
8.根据权利要求6所述的方法,各个所述对象对应有数据表;所述数据表包含所述对象的属性信息。
9.根据权利要求8所述的方法,所述对象为服务器,所述服务器对应的数据表中包括:所述服务器的标识信息、所述服务器所属的逻辑机房对应的外键信息以及所述服务器的应用程序标识;其中,所述服务器所属的逻辑机房对应的外键信息指向所述逻辑机房的数据表。
10.根据权利要求8所述的方法,所述对象为逻辑机房,所述逻辑机房对应的数据表中包括:所述逻辑机房的标识信息、所述逻辑机房的物理机房信息以及域名信息。
11.一种数据查询装置,包括:
配置信息获取模块,用于获取用户终端输入的配置信息;所述配置信息中包括待查询对象以及时间戳信息,所述时间戳信息用于表示所述用户需要查询的数据对应的时间段信息;
第一对象确定模块,用于基于所述配置信息,确定与所述待查询对象具有关联关系的第一对象;所述关联关系用于表示所述待查询对象与所述第一对象之间的从属关系;所述配置信息包括所述待查询对象的标识信息、待查询对象所属的对象信息;
数据结果确定模块,用于基于所述时间戳信息,得到在所述时间戳信息对应的时间段内所述待查询对象对应的数据结果;所述数据结果是以所述待查询对象为主维度,对所述第一对象在所述时间段内对应的运行状态数据进行聚合后得到的;
数据结果返回模块,用于将所述数据结果返回至所述用户终端。
12.根据权利要求11所述的装置,所述第一对象确定模块,具体包括:
待查询对象属性信息获取单元,用于获取待查询对象的属性信息;所述属性信息中至少包括:待查询对象的对象标识、待查询对象的从属关系信息;
第一对象确定单元,用于基于所述属性信息,确定与所述待查询对象具有从属关系的第一对象;所述从属关系用于表示所述第一对象从属于所述待查询对象。
13.根据权利要求11所述的装置,所述装置,还包括:
第一对象的运行状态数据获取模块,用于获取所述时间戳信息对应的第一对象的运行状态数据;
所述数据结果确定模块,具体包括:
数据聚合单元,用于按照预设规则对所述第一对象的运行状态数据进行聚合,得到聚合后的数据结果。
14.根据权利要求13所述的装置,所述预设规则包括预设聚合方式;所述预设聚合方式用于表示对所述第一对象的运行状态数据进行聚合所采用的算法类型。
15.一种数据存储装置,包括:
目标数据获取模块,用于获取待存储的目标数据;所述目标数据为应用平台中全部对象的运行状态数据;
属性信息获取模块,用于获取目标数据中的全部对象的属性信息;所述属性信息中至少包括:待查询对象的对象标识、待查询对象的从属关系信息;
关联关系确定模块,用于根据所述属性信息,确定各对象之间的关联关系;所述关联关系用于表示所述待查询对象与所述第一对象之间的从属关系;
存储维度确定模块,用于基于所述关联关系,确定存储维度;基于所述关联关系,确定在基于每个对象对目标数据在存储时,对应的主键和外键;
目标数据存储模块,用于基于所述存储维度,对所述目标数据进行存储;
对于一个对象,所述关联关系确定模块,具体包括:
主外键信息确定单元,用于基于所述属性信息,确定该对象对应的数据表中的主键信息以及外键信息;所述外键信息用于表示该对象对应的数据表与第一对象对应的数据表之间的关联关系;所述外键信息指向所述第一对象的数据表;
关联关系确定单元,用于基于所述外键信息,确定该对象与所述第一对象之间的关联关系。
16.根据权利要求15所述的装置,各个所述对象对应有数据表;所述数据表包含所述对象的属性信息。
17.一种数据查询设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
获取用户终端输入的配置信息;所述配置信息中包括待查询对象以及时间戳信息,所述时间戳信息用于表示所述用户需要查询的数据对应的时间段信息;
基于所述配置信息,确定与所述待查询对象具有关联关系的第一对象;所述关联关系用于表示所述待查询对象与所述第一对象之间的从属关系;所述配置信息包括所述待查询对象的标识信息、待查询对象所属的对象信息;
基于所述时间戳信息,得到在所述时间戳信息对应的时间段内所述待查询对象对应的数据结果;所述数据结果是以所述待查询对象为主维度,对所述第一对象在所述时间段内对应的运行状态数据进行聚合后得到的;
将所述数据结果返回至所述用户终端。
18.一种数据存储设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
获取待存储的目标数据;所述目标数据为应用平台中全部对象的运行状态数据;
获取目标数据中的全部对象的属性信息;所述属性信息中至少包括:待查询对象的对象标识、待查询对象的从属关系信息;
根据所述属性信息,确定各对象之间的关联关系;所述关联关系用于表示所述待查询对象与所述第一对象之间的从属关系;
基于所述关联关系,确定存储维度;基于所述关联关系,确定在基于每个对象对目标数据在存储时,对应的主键和外键;
基于所述存储维度,对所述目标数据进行存储;
对于一个对象,根据所述属性信息,确定各对象之间的关联关系,具体包括:
基于所述属性信息,确定该对象对应的数据表中的主键信息以及外键信息;所述外键信息用于表示该对象对应的数据表与第一对象对应的数据表之间的关联关系;所述外键信息指向所述第一对象的数据表;
基于所述外键信息,确定该对象与所述第一对象之间的关联关系。
19.一种计算机可读介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行以实现权利要求1至10中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110881704.4A CN113672660B (zh) | 2021-08-02 | 2021-08-02 | 一种数据查询方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110881704.4A CN113672660B (zh) | 2021-08-02 | 2021-08-02 | 一种数据查询方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113672660A CN113672660A (zh) | 2021-11-19 |
CN113672660B true CN113672660B (zh) | 2024-05-14 |
Family
ID=78541136
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110881704.4A Active CN113672660B (zh) | 2021-08-02 | 2021-08-02 | 一种数据查询方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113672660B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114780553B (zh) * | 2022-06-21 | 2022-09-06 | 昆仑智汇数据科技(北京)有限公司 | 一种基于工业数据模型的异构数据存储方法、装置及设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106649363A (zh) * | 2015-10-30 | 2017-05-10 | 北京国双科技有限公司 | 数据查询方法及装置 |
CN110020175A (zh) * | 2017-12-29 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 一种搜索处理方法、处理设备和系统 |
CN110096513A (zh) * | 2019-04-10 | 2019-08-06 | 阿里巴巴集团控股有限公司 | 一种数据查询、资金核对方法及装置 |
WO2019223390A1 (zh) * | 2018-05-21 | 2019-11-28 | 阿里巴巴集团控股有限公司 | 一种授权引导的数据处理方法、装置、处理设备及系统 |
CN112084055A (zh) * | 2020-08-19 | 2020-12-15 | 广州小鹏汽车科技有限公司 | 应用系统的故障定位方法、装置、电子设备及存储介质 |
CN112214519A (zh) * | 2020-11-10 | 2021-01-12 | 支付宝(杭州)信息技术有限公司 | 一种数据查询方法、装置、设备及可读介质 |
CN112231517A (zh) * | 2020-11-04 | 2021-01-15 | 支付宝(杭州)信息技术有限公司 | 一种数据查询方法及装置 |
CN112363865A (zh) * | 2020-10-19 | 2021-02-12 | 深圳云天励飞技术股份有限公司 | 数据库故障恢复方法、装置及人脸图像搜索系统 |
CN112860695A (zh) * | 2021-02-08 | 2021-05-28 | 北京百度网讯科技有限公司 | 监控数据查询方法、装置、设备、存储介质及程序产品 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130110862A1 (en) * | 2011-10-27 | 2013-05-02 | Qiming Chen | Maintaining a buffer state in a database query engine |
US9953059B2 (en) * | 2012-09-28 | 2018-04-24 | Oracle International Corporation | Generation of archiver queries for continuous queries over archived relations |
-
2021
- 2021-08-02 CN CN202110881704.4A patent/CN113672660B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106649363A (zh) * | 2015-10-30 | 2017-05-10 | 北京国双科技有限公司 | 数据查询方法及装置 |
CN110020175A (zh) * | 2017-12-29 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 一种搜索处理方法、处理设备和系统 |
WO2019223390A1 (zh) * | 2018-05-21 | 2019-11-28 | 阿里巴巴集团控股有限公司 | 一种授权引导的数据处理方法、装置、处理设备及系统 |
CN110096513A (zh) * | 2019-04-10 | 2019-08-06 | 阿里巴巴集团控股有限公司 | 一种数据查询、资金核对方法及装置 |
CN112084055A (zh) * | 2020-08-19 | 2020-12-15 | 广州小鹏汽车科技有限公司 | 应用系统的故障定位方法、装置、电子设备及存储介质 |
CN112363865A (zh) * | 2020-10-19 | 2021-02-12 | 深圳云天励飞技术股份有限公司 | 数据库故障恢复方法、装置及人脸图像搜索系统 |
CN112231517A (zh) * | 2020-11-04 | 2021-01-15 | 支付宝(杭州)信息技术有限公司 | 一种数据查询方法及装置 |
CN112214519A (zh) * | 2020-11-10 | 2021-01-12 | 支付宝(杭州)信息技术有限公司 | 一种数据查询方法、装置、设备及可读介质 |
CN112860695A (zh) * | 2021-02-08 | 2021-05-28 | 北京百度网讯科技有限公司 | 监控数据查询方法、装置、设备、存储介质及程序产品 |
Non-Patent Citations (1)
Title |
---|
异构信息空间中时间感知的查询时实体识别与数据融合;杨丹;陈默;王刚;孙良旭;;计算机科学;20170315(第03期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113672660A (zh) | 2021-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110674228B (zh) | 数据仓库模型构建和数据查询方法、装置及设备 | |
TWI748175B (zh) | 資料的處理方法、裝置及設備 | |
US10235430B2 (en) | Systems, methods, and apparatuses for detecting activity patterns | |
US8719178B2 (en) | Prioritizing social activity postings | |
CN110309172B (zh) | 一种数据计算方法、系统、装置及电子设备 | |
JP2019503525A (ja) | 連続クエリ処理におけるイベントバッチ処理、出力シーケンス化、およびログベースの状態記憶 | |
CN110503435B (zh) | 基于区块链的交易预警方法、装置及设备 | |
CN110389989B (zh) | 一种数据处理方法、装置及设备 | |
CN111163132A (zh) | 基于区块链的服务提供方法、装置、设备及系统 | |
CN111522840B (zh) | 标签的配置方法、装置、设备及计算机可读存储介质 | |
CN113760658A (zh) | 一种监控方法、装置及设备 | |
CN113672660B (zh) | 一种数据查询方法、装置及设备 | |
CN111177562B (zh) | 一种目标对象的推荐排序处理方法、装置及服务器 | |
CN116821494A (zh) | 一种分析数据的方法、装置、设备及介质 | |
CN116700868A (zh) | 页面处理方法及装置 | |
CN112491943A (zh) | 数据请求方法、装置、存储介质和电子设备 | |
CN111967769B (zh) | 一种风险识别方法、装置、设备及介质 | |
Jayanthi et al. | A framework for real-time streaming analytics using machine learning approach | |
CN114240097B (zh) | 一种风险评估的方法及装置 | |
CN111723202B (zh) | 一种舆情数据的处理装置、方法和系统 | |
CN116860541A (zh) | 业务数据采集方法、装置、计算机设备和存储介质 | |
CN112162971B (zh) | 一种多维数据立方体生成方法、装置及系统 | |
CN111966709B (zh) | 一种数据查询方法、装置及电子设备 | |
CN110083624B (zh) | 流数据处理方法、设备、数据处理设备、计算机介质 | |
CN111967767A (zh) | 一种业务风险识别方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |