CN112905634A - 指标发布系统、方法及电子设备 - Google Patents
指标发布系统、方法及电子设备 Download PDFInfo
- Publication number
- CN112905634A CN112905634A CN202110238401.0A CN202110238401A CN112905634A CN 112905634 A CN112905634 A CN 112905634A CN 202110238401 A CN202110238401 A CN 202110238401A CN 112905634 A CN112905634 A CN 112905634A
- Authority
- CN
- China
- Prior art keywords
- query
- data
- index
- module
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 96
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 239000002131 composite material Substances 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 9
- 238000000586 desensitisation Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 4
- 238000007726 management method Methods 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000013515 script Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种指标发布系统、方法及电子设备，指标发布系统包括：表单查询模块、数据源管理模块及数据处理模块；表单查询模块用于接收用户的查询指令进行预处理，将处理后的查询指令发送至数据源管理模块；数据源管理模块用于基于查询指令调用与选定的数据源对应的数据查询方式查询数据；数据处理模块用于对表单查询模块查询得到数据进行个性化处理，以提供用户期望的结果，本申请提供的指标发布系统完全隔离与业务系统解耦合，可单独部署，采用微服务架构，支持多机并行发版，使用负载均衡分发数据，具有极高的横向可扩展能力，提高处理速度，降低处理难度，满足复杂业务场景下海量数据联机分析处理的能力。
Description
技术领域
本申请涉及计算机软件技术领域，具体而言，涉及一种指标发布系统、方法及电子设备。
背景技术
现有指标体系可大致分为两类。第一类指标体系基于大数据组件与架构。大数据体系下，需要定时同步业务数据库至数仓(数据湖)，定向拆分、合并、关联数据，再依照业务开发HIVE SQL、Spark脚本，最终固定指标数据，同步至Hbase、MySQL、MongoDB等业务数据库，供业务方使用。另一类更为传统的指标体系是基于业务数据库本身，搭配各类规则引擎，前端页面配置简单计算规则，后端转换为数据库查询语句，并实时执行查询计算，得到结果并反馈至业务系统。
上述基于大数据组件的体系，使得计算流程过长，耗时长，开发灵活度低，而后者基于业务数据库，在面对大数据量、非结构化的数据时，处理速度慢。
发明内容
本申请的目的包括，例如，提供了一种指标发布系统、方法和电子设备，以改善现有的发布系统计算流程过长、处理速度慢等问题。
本申请的实施例可以这样实现：
第一方面，本申请提供一种指标发布系统，所述指标发布系统包括：
表单查询模块、数据源管理模块及数据处理模块；
所述表单查询模块，用于接收用户的查询指令，所述表单查询模块用于对所述查询指令进行预处理，将所述查询指令处理成预设定的格式，将处理后的查询指令发送至数据源管理模块；
所述数据源管理模块，用于基于所述处理后的查询指令以及用户选定的数据源，调用与所述选定的数据源对应的数据查询方式查询数据；
所述数据处理模块，用于对所述表单查询模块查询得到数据进行个性化处理，以提供用户期望的结果。
在可选的实施方式中，所述数据源管理模块用于提供统一的数据处理接口，当接收到数据处理指令时，基于所述数据处理指令以及用户选定的数据源，调用与所述选定的数据源对应的数据处理方式对所述选定的数据源进行处理；其中，所述数据处理包括：增加、删除、修改以及查询。
在可选的实施方式中，所述查询指令包括查询指标，所述表单查询模块对所述查询指令进行预处理包括：对所述查询指标进行参数校验及格式转换，基于校验及转换后的查询指标生成预定格式的查询指令。
在可选的实施方式中，所述数据处理模块对所述表单查询模块查询得到的数据进行个性化处理包括：对所述查询得到的数据进行脱敏处理。
在可选的实施方式中，所述指标发布系统包括复合指标处理模块，所述复合指标处理模块用于将至少一个第一指标的查询结果作为第二指标，基于所述第二指标查询得到复合指标查询结果。
在可选的实施方式中，所述系统还包括缓存模块，所述缓存模块用以存储查询指标以及与所述查询指标对应的查询结果。
第二方面，本申请提供一种指标发布方法，所述指标发布方法包括：
接收用户的查询指令，对所述查询指令进行预处理，将所述查询指令处理成预设定的格式；
基于所述处理后的查询指令以及用户选定的数据源，调用与所述选定的数据源对应的数据查询方式查询数据；
对查询得到的数据进行个性化处理，以提供用户期望的结果。
在可选的实施方式中，所述指标发布方法还包括：
基于接收的数据处理指令以及用户选定的数据源，调用与所述选定的数据源对应的数据处理方式对所述选定的数据源进行处理；其中，所述数据处理包括：增加、删除、修改以及查询。
在可选的实施方式中，所述查询指令包括查询指标，所述接收用户的查询指令，对所述查询指令进行预处理，将所述查询指令处理成预设定的格式包括：
对所述查询指标进行参数校验及格式转换，基于校验及转换后的查询指标生成预定格式的查询指令。
第三方面，本申请提供一种电子设备，所述电子设备包括处理器，所述处理器用于执行计算机可读程序指令，该计算机可读程序指令被处理器执行时实现如前述实施方式任意一项所述的指标发布方法。
相对于现有技术，本申请提供的指标发布系统、方法及电子设备至少具有以下的有益效果：本申请提供的指标发布系统、方法及电子设备，包括：表单查询模块、数据源管理模块及数据处理模块；所述表单查询模块，用于接收用户的查询指令，所述表单查询模块用于对所述查询指令进行预处理，将所述查询指令处理成预设定的格式，将处理后的查询指令发送至数据源管理模块；所述数据源管理模块，用于基于所述处理后的查询指令以及用户选定的数据源，调用与所述选定的数据源对应的数据查询方式查询数据；所述数据处理模块，用于对所述表单查询模块查询得到数据进行个性化处理，以提供用户期望的结果，完全隔离与业务系统解耦合，可单独部署，新发布指标时，可以直接灰度测试，在合适的时机，业务系统再调用即可，极大减小对业务系统的感知和影响；指标的配置及处理易于理解，使得指标发布者更专注于业务以及数据本身，并且可以实时修改指标，本申请提供的该系统采用微服务架构，支持多机并行发版，使用负载均衡分发数据，具有极高的横向可扩展能力，提高处理速度，降低处理难度，满足复杂业务场景下海量数据联机分析处理的能力。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本实施例提供的指标发布系统的系统框图；
图2为本实施例提供的指标发布方法的流程示意图；
图3为本实施例提供的电子设备的示意图。
图标：100-指标发布系统；110-表单查询模块；120-数据源管理模块；130-数据处理模块；140-复合指标处理模块；150-缓存模块；300-电子设备；310-处理器；311-存储器；312-总线；313-通信接口。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
现有的指标体系可大致分为两类。第一类指标体系基于大数据组件与架构。大数据体系下，需要定时同步业务数据库至数仓(数据湖)，定向拆分、合并、关联数据，再依照业务开发HIVE SQL、Spark脚本，最终固定指标数据，同步至Hbase、MySQL、MongoDB等业务数据库，供业务方使用。另一类更为传统的指标体系是基于业务数据库本身，搭配各类规则引擎，前端页面配置简单计算规则，后端转换为数据库查询语句，并实时执行查询计算，得到结果并反馈至业务系统。
上述两类指标体系各有优缺点。基于大数据组件的体系，使得计算流程过长，耗时长，开发灵活度低，优点是能够面对大量的、复杂的、高冗余低价值密度化的数据，并且与业务系统切割，增加、修改、测试指标数据时与业务系统脱离，错误导致的影响更小，拥有更多降级方案。后者基于业务数据库，在面对大数据量、非结构化的数据时，处理速度慢，无法关联同步数据库表，会对业务系统正常使用造成阻塞，并且指标的计算通常难以应用缓存，导致计算会增加数据库的压力。
为了改善上述问题，本申请实施例提供了一种指标发布系统100，参阅图1，指标发布系统100包括：表单查询模块110、数据源管理模块120、数据处理模块130、复合指标处理模块140及缓存模块150。
其中，表单查询模块110，用于接收用户的查询指令，表单查询模块110用于对查询指令进行预处理，将查询指令处理成预设定的格式，将处理后的查询指令发送至数据源管理模块120。
数据源管理模块120，用于基于处理后的查询指令以及用户选定的数据源，调用与选定的数据源对应的数据查询方式查询数据。
数据处理模块130，用于对表单查询模块110查询得到数据进行个性化处理，以提供用户期望的结果。
在可选的实施方式中，数据源管理模块120用于抽象各个数据源，包括但不限于：HTTP、HBase、Elasticsearch、MySQL、MongoDB、Redis等，为不同的数据源配置统一的数据处理接口，开放统一的数据处理模式，减少用户对不同数据源的学习成本。
例如，数据源管理模块120提供给用户统一的增加、修改、删除以及查询接口(根据权限不同，开放的接口不同，例如普通用户仅开放查询接口，管理员用户可以开放增加、删除、修改、查询等接口)，当接收到用户的数据处理指令时(如增加、删除、修改、查询中的任意一种或多种)，基于数据处理指令以及用户选定的数据源，调用与选定的数据源对应的数据处理方式对选定的数据源进行处理，用户无需针对每一种数据源进行学习，由软件调用预先配置的语句处理数据。
在一种可能的实现方式中，在指标发布系统100中，抽象出一套基于json格式的数据操作命令，以更简单的方式完成对数据的操作，举例如下：
在上述例子中，有四种数据操作算子insert(增)、update(改)、delete(删)、query(查)，以及系统操作算子settings，通过组合进行不同场景下对数据的操作。其中settings被配置为通过页面选取的方式提供，依据用户的选取操作进行确定。
表单查询模块110基于数据源管理模块120进行工作，同样的表单查询配置会转换成不同的具体的数据查询方式，并允许用户提供额外的参数，使得查询功能更为丰富的同时，获得统一模式的数据结果。
在可选的实施方式中，查询指令包括查询指标，表单查询模块110对查询指令进行预处理包括：对查询指标进行参数校验及格式转换，基于校验及转换后的查询指标生成预定格式的查询指令。
查询指标即用户提供的个性化参数，当接口的用户传入额外的个性化参数时，本系统需要进行诸如参数校验、格式转换、组装数据操作命令等。举例如下：
在上述示例中，当用户提供的查询指标为年龄＝1000时，系统校验到年龄超出限值则返回错误信息；当用户提供的查询指标为年龄＝30.0时，由于30.0为浮点数，表单查询模块110将其转换为整型数据；当用户提供正确的查询指标时，表单查询模块110基于用户提供是的查询指标组装成相应的查询指令。
在部分应用场景中，外部系统在调用指标发布系统100时，期待个性化的结果，在可选的实施方式中，数据处理模块130对表单查询模块110查询得到的数据进行个性化处理，以提供给用户期望的结果，可以通过Python脚本等处理方式对数据进个性化处理。
例如，个性化处理包括：对查询得到的数据进行脱敏处理。比如上述例子中，查询age＝30的用户信息时，可能返回用户的身份证号等敏感信息时，可以将其加密后再返回给接口调用方，即原始数据为：
{"id":"1001","name":"张三","age":30,"id_card":"1234567890"}
通过处理后，实际返回数据为：
{"id":"1001","name":"张三","age":30,"id_card":"e807f1fcf82d132f9bb018ca6738a19f"}。
在一个基本的指标接口中，调用方发起查询请求(或其他数据处理操作)，本系统对接口参数进行校验、转换，组装成查询操作命令，通过抽象好的数据查询模块对不同的数据源进行查询操作，得到结果后通过配置好的ETL脚本处理，并返回给调用方，这一条流水线操作构成一个基本指标。但在部分其他的应用场景中，往往会存在更复杂的指标，将多个基本的指标进行串联，下一个指标的输入是上一个指标的返回结果，最后一个指标的结果作为整个复合指标的结果返回给调用方。
为了减少外部业务系统对于多个原子指标的处理，提升指标发布的便捷程度，因此需要提供一个处理多个原子指标的管道，通过选择已有的原子指标，并以管道的形式连接指标的入参与结果，来计算复合指标。在可选的实施方式中，指标发布系统100包括复合指标处理模块140，复合指标处理模块140可以基于设定的规则，对多个原子指标以及原子指标得到的数据进行复合处理，得到复合指标查询结果。例如复合指标处理模块140用于将至少一个第一指标的查询结果作为第二指标，基于第二指标查询得到复合指标查询结果。例如，在一种可能的应用场景下，包括以下两种原子指标：
在上述示例子指标1查询了用户年龄为30岁(age＝30)的用户信息(包括user_id)；在子指标2中，通过用户user_id在用户提现表中查询用户所有的提现记录，经过复合指标处理模块140对两个原子指标进行处理后，整个复合指标的处理结果就是所有的年龄为30岁(age＝30)的用户提现记录。
在可选的实施方式中，本申请实施例提供的指标发布系统100还包括缓存模块150，缓存模块150用以存储查询指标以及与查询指标对应的查询结果，通过设置缓存模块150，可以对各个指标的计算结果提供持久化的手段，设置缓存能够减轻指标计算的压力(例如将部分计算中间结果进行缓存)，此外，将计算结果写入数据库能够在事后进行指标的回溯分析及问题排查，在一些可能的实现方式中，还可以主动推送指标结果至业务系统的HTTP接口。
本申请实施例还提供了一种指标发布方法，指标发布方法应用于上述实施例提供的指标发布系统，需要说明的是，本实施例提供的指标发布方法，其技术原理与技术效果与上述实施例提供的指标发布系统基本一致，本实施例不再进行详细说明，本实施例未介绍详尽之处，参阅前述实施例中的相关内容。请参阅图2，本申请实施例提供的指标发布方法包括：
S110：接收用户的查询指令，对查询指令进行预处理，将查询指令处理成预设定的格式。
在可能的实现方式中，表单查询模块接收用户的查询指令，对查询指令进行预处理，将查询指令处理成预设定的格式，将处理后的查询指令发送至数据源管理模块。
S120：基于处理后的查询指令以及用户选定的数据源，调用与选定的数据源对应的数据查询方式查询数据。
在可能的实现方式中，数据源管理模块基于处理后的查询指令以及用户选定的数据源，调用与选定的数据源对应的数据查询方式查询数据。
S130：对查询得到的数据进行个性化处理，以提供用户期望的结果。
在一些可能的应用场景中，外部系统在调用指标发布系统时，期待个性化的结果，在可选的实施方式中，数据处理模块对表单查询模块查询得到的数据进行个性化处理，以提供给用户期望的结果，例如，可以通过Python脚本等处理方式对数据进个性化处理。在可能的实现方式中，个性化处理包括：对查询得到的数据进行脱敏处理，或者对敏感信息进行加密等。
在可选的实施方式中，指标发布方法还包括：
S140：基于接收的数据处理指令以及用户选定的数据源，调用与选定的数据源对应的数据处理方式对选定的数据源进行处理；其中，数据处理包括：增加、删除、修改以及查询。
在可能的实现方式汇总，数据源管理模块用于抽象各个数据源，包括但不限于：HTTP、HBase、Elasticsearch、MySQL、MongoDB、Redis等，为不同的数据源配置统一的数据处理接口(如：增加、修改、删除以及查询)，开放统一的数据处理模式，减少用户对不同数据源的学习成本。
在可选的实施方式中，查询指令包括查询指标，步骤110包括：
对查询指标进行参数校验及格式转换，基于校验及转换后的查询指标生成预定格式的查询指令。
在查询指令包括查询指标的情况下，表单查询模块对查询指令进行预处理包括：对查询指标进行参数校验及格式转换，基于校验及转换后的查询指标生成预定格式的查询指令。查询指标即用户提供的个性化参数，当接口的用户传入额外的个性化参数时，本系统需要进行诸如参数校验、格式转换、组装数据操作命令等。
本申请提供一种电子设备，本可以是个人电脑、平板电脑、服务器或其他的终端设备。请参照图3，图3示出了本实施例提供的电子设备的结构示意图。电子设备300包括处理器310、存储器311、总线312。处理器310、存储器311通过总线312连接，处理器310用于执行存储器311中存储的可执行模块，例如计算机程序。
处理器310可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，游戏动画更新方法的各步骤可以通过处理器310中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器310可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器311可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
总线312可以是ISA(Industry Standard Architecture)总线、PCI(PeripheralComponent Interconnect)总线或EISA(Extended Industry Standard Architecture)总线等。图3中仅用一个双向箭头表示，但并不表示仅有一根总线312或一种类型的总线312。
存储器311用于存储程序，例如指标发布系统对应的计算机程序。指标发布系统包括至少一个可以软件或固件(firmware)的形式存储于存储器311中或固化在电子设备的操作系统(operating system，OS)中的软件功能模块。处理器310在接收到执行指令后，执行所述程序以实现基于指标发布方法。
可能地，本申请实施例提供的电子设备还包括通信接口313。通信接口313通过总线与处理器310连接。处理器310可以通过通信接口313接收服务器传输的数据。
应当理解的是，图3所示的结构仅为电子设备的部分的结构示意图，电子设备还可包括比图3中所示更多或者更少的组件，或者具有与图3所示不同的配置。图3中所示的各组件可以采用硬件、软件或其组合实现。
综上所述，本申请提供的指标发布系统、方法及电子设备，包括：表单查询模块、数据源管理模块及数据处理模块；表单查询模块，用于接收用户的查询指令，表单查询模块用于对查询指令进行预处理，将查询指令处理成预设定的格式，将处理后的查询指令发送至数据源管理模块；数据源管理模块，用于基于处理后的查询指令以及用户选定的数据源，调用与选定的数据源对应的数据查询方式查询数据；数据处理模块，用于对表单查询模块查询得到数据进行个性化处理，以提供用户期望的结果，完全隔离与业务系统解耦合，可单独部署，新发布指标时，可以直接灰度测试，在合适的时机，业务系统再调用即可，极大减小对业务系统的感知和影响；指标的配置及处理易于理解，使得指标发布者更专注于业务以及数据本身，并且可以实时修改指标，本申请提供的该系统采用微服务架构，支持多机并行发版，使用负载均衡分发数据，具有极高的横向可扩展能力，提高处理速度，降低处理难度，满足复杂业务场景下海量数据联机分析处理的能力。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (10)
1.一种指标发布系统，其特征在于，所述指标发布系统包括：
表单查询模块、数据源管理模块及数据处理模块；
所述表单查询模块，用于接收用户的查询指令，所述表单查询模块用于对所述查询指令进行预处理，将所述查询指令处理成预设定的格式，将处理后的查询指令发送至数据源管理模块；
所述数据源管理模块，用于基于所述处理后的查询指令以及用户选定的数据源，调用与所述选定的数据源对应的数据查询方式查询数据；
所述数据处理模块，用于对所述表单查询模块查询得到数据进行个性化处理，以提供用户期望的结果。
2.根据权利要求1所述的指标发布系统，其特征在于，所述数据源管理模块用于提供统一的数据处理接口，当接收到数据处理指令时，基于所述数据处理指令以及用户选定的数据源，调用与所述选定的数据源对应的数据处理方式对所述选定的数据源进行处理；其中，所述数据处理包括：增加、删除、修改以及查询。
3.根据权利要求1所述的指标发布系统，其特征在于，所述查询指令包括查询指标，所述表单查询模块对所述查询指令进行预处理包括：对所述查询指标进行参数校验及格式转换，基于校验及转换后的查询指标生成预定格式的查询指令。
4.根据权利要求1所述的指标发布系统，其特征在于，所述数据处理模块对所述表单查询模块查询得到的数据进行个性化处理包括：对所述查询得到的数据进行脱敏处理。
5.根据权利要求1所述的指标发布系统，其特征在于，所述指标发布系统包括复合指标处理模块，所述复合指标处理模块用于将至少一个第一指标的查询结果作为第二指标，基于所述第二指标查询得到复合指标查询结果。
6.根据权利要求1所述的指标发布系统，其特征在于，所述系统还包括缓存模块，所述缓存模块用以存储查询指标以及与所述查询指标对应的查询结果。
7.一种指标发布方法，其特征在于，所述指标发布方法包括：
接收用户的查询指令，对所述查询指令进行预处理，将所述查询指令处理成预设定的格式；
基于处理后的所述查询指令以及用户选定的数据源，调用与所述选定的数据源对应的数据查询方式查询数据；
对查询得到的数据进行个性化处理，以提供用户期望的结果。
8.根据权利要求7所述的指标发布方法，其特征在于，所述指标发布方法还包括：
基于接收的数据处理指令以及用户选定的数据源，调用与所述选定的数据源对应的数据处理方式对所述选定的数据源进行处理；其中，所述数据处理包括：增加、删除、修改以及查询。
9.根据权利要求7所述的指标发布方法，其特征在于，所述查询指令包括查询指标，所述接收用户的查询指令，对所述查询指令进行预处理，将所述查询指令处理成预设定的格式包括：
对所述查询指标进行参数校验及格式转换，基于校验及转换后的查询指标生成预定格式的查询指令。
10.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器用于执行计算机可读程序指令，该计算机可读程序指令被处理器执行时实现如权利要求7～9任意一项所述的指标发布方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110238401.0A CN112905634A (zh) | 2021-03-04 | 2021-03-04 | 指标发布系统、方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110238401.0A CN112905634A (zh) | 2021-03-04 | 2021-03-04 | 指标发布系统、方法及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112905634A true CN112905634A (zh) | 2021-06-04 |
Family
ID=76107593
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110238401.0A Pending CN112905634A (zh) | 2021-03-04 | 2021-03-04 | 指标发布系统、方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112905634A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106649630A (zh) * | 2016-12-07 | 2017-05-10 | 乐视控股（北京）有限公司 | 数据查询方法及装置 |
| CN107545005A (zh) * | 2016-06-28 | 2018-01-05 | 华为软件技术有限公司 | 一种数据处理方法及装置 |
| CN110197083A (zh) * | 2019-06-05 | 2019-09-03 | 深圳市优网科技有限公司 | 敏感数据脱敏系统及处理方法 |
| CN110399388A (zh) * | 2019-07-29 | 2019-11-01 | 中国工商银行股份有限公司 | 数据查询方法、系统和设备 |
| CN110888923A (zh) * | 2018-08-20 | 2020-03-17 | 北京航天长峰科技工业集团有限公司 | 一种异构数据库整合接入系统及方法 |
| CN112364052A (zh) * | 2020-12-04 | 2021-02-12 | 深圳航天智慧城市系统技术研究院有限公司 | 异构数据管理方法、装置、设备和计算机可读存储介质 |
-
2021
- 2021-03-04 CN CN202110238401.0A patent/CN112905634A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107545005A (zh) * | 2016-06-28 | 2018-01-05 | 华为软件技术有限公司 | 一种数据处理方法及装置 |
| CN106649630A (zh) * | 2016-12-07 | 2017-05-10 | 乐视控股（北京）有限公司 | 数据查询方法及装置 |
| CN110888923A (zh) * | 2018-08-20 | 2020-03-17 | 北京航天长峰科技工业集团有限公司 | 一种异构数据库整合接入系统及方法 |
| CN110197083A (zh) * | 2019-06-05 | 2019-09-03 | 深圳市优网科技有限公司 | 敏感数据脱敏系统及处理方法 |
| CN110399388A (zh) * | 2019-07-29 | 2019-11-01 | 中国工商银行股份有限公司 | 数据查询方法、系统和设备 |
| CN112364052A (zh) * | 2020-12-04 | 2021-02-12 | 深圳航天智慧城市系统技术研究院有限公司 | 异构数据管理方法、装置、设备和计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108334609B (zh) | Oracle中实现JSON格式数据存取的方法、装置、设备及存储介质 | |
| CN107633016A (zh) | 数据处理方法及装置和电子设备 | |
| CN112559606A (zh) | 用于json格式数据的转换方法及转换装置 | |
| CN114416877A (zh) | 一种数据处理方法、装置、设备及可读存储介质 | |
| CN111443901A (zh) | 一种基于Java反射的业务扩展方法及装置 | |
| CN110457348B (zh) | 一种数据处理方法及装置 | |
| CN111159040A (zh) | 一种测试数据生成方法、装置、设备及存储介质 | |
| CN108959508B (zh) | Sql数据生成方法及装置 | |
| CN112883088B (zh) | 一种数据处理方法、装置、设备及存储介质 | |
| CN112905634A (zh) | 指标发布系统、方法及电子设备 | |
| US11526446B1 (en) | Modifying caching amongst services from a history of requests and responses | |
| CN114331167A (zh) | 一种冠军挑战者策略的管理方法、系统、介质和设备 | |
| CN114036180A (zh) | 报表生成方法、装置、设备及存储介质 | |
| CN117009430A (zh) | 数据管理方法、装置和存储介质及电子设备 | |
| CN114610803A (zh) | 一种数据处理方法、装置、电子设备和存储介质 | |
| US20210141791A1 (en) | Method and system for generating a hybrid data model | |
| CN113419896A (zh) | 数据恢复方法、装置、电子设备及计算机可读介质 | |
| CN111858609A (zh) | 区块链模糊查询方法及装置 | |
| CN109933573B (zh) | 数据库业务更新方法、装置及系统 | |
| CN115269060B (zh) | 一种基于aPaaS平台的服务执行前后置处理方法 | |
| CN111930704B (zh) | 业务报警设备控制方法、装置、设备和计算机可读介质 | |
| CN114237699B (zh) | 一种配置脚本的导出方法、装置及存储介质 | |
| CN110287191B (zh) | 数据对齐方法及装置、存储介质、电子装置 | |
| CN112491943B (zh) | 数据请求方法、装置、存储介质和电子设备 | |
| CN110781182B (zh) | 校验逻辑的自动编码方法、装置以及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210604 |