CN113626701A - 基于页面的数据管理方法、系统、电子装置和存储介质 - Google Patents
基于页面的数据管理方法、系统、电子装置和存储介质 Download PDFInfo
- Publication number
- CN113626701A CN113626701A CN202110908620.5A CN202110908620A CN113626701A CN 113626701 A CN113626701 A CN 113626701A CN 202110908620 A CN202110908620 A CN 202110908620A CN 113626701 A CN113626701 A CN 113626701A
- Authority
- CN
- China
- Prior art keywords
- data
- instruction
- report
- query
- page
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013523 data management Methods 0.000 title claims abstract description 42
- 238000004590 computer program Methods 0.000 claims description 15
- 230000008676 import Effects 0.000 claims description 9
- 238000007405 data analysis Methods 0.000 abstract description 12
- 238000012986 modification Methods 0.000 abstract description 7
- 230000004048 modification Effects 0.000 abstract description 7
- 238000004458 analytical method Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 22
- 230000005540 biological transmission Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000012216 screening Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000008520 organization Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009191 jumping Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9538—Presentation of query results
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种基于页面的数据管理方法、系统、电子装置和存储介质，通过接收页面上的报表查询指令，根据报表查询指令获取配置信息；根据配置信息构建查询语言，并根据查询语言从数仓中获取查询数据；再将查询数据返回至页面上的数据报表中，报表查询指令实时执行，数据报表中的所述查询数据根据所述数仓中的数据进行实时更新，解决了数据分析效率低的问题，实现了数据分析逻辑实时修改，且分析结果实时获取。
Description
技术领域
本申请涉及数据处理领域，特别是涉及基于页面的数据管理方法、系统、电子装置和存储介质。
背景技术
随着互联网技术的快速发展，对产品域、用户域及订单域等相关数据的分析需求程现出高频次，精细化及快速响应的方向发展。然而，现有技术中，每次数据分析的要求或者逻辑改变，需要对数据分析系统进行重新发布和重新启动，导致数据分析效率低。
目前针对相关技术中数据分析效率低的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种基于页面的数据管理方法、系统、电子装置和存储介质，以至少解决相关技术中数据分析效率低的问题。
第一方面，本申请实施例提供了一种基于页面的数据管理方法，包括：
接收页面上的报表查询指令，根据所述报表查询指令获取配置信息；
根据所述配置信息构建查询语言，并根据所述查询语言从数仓中获取查询数据；
将所述查询数据返回至所述页面上的数据报表中，其中，所述报表查询指令实时执行，所述数据报表中的所述查询数据根据所述数仓中的数据进行实时更新。
在其中一些实施例中，根据所述查询语言从数仓中获取查询数据之后，所述方法还包括：
根据所述报表查询指令生成并存储指令记录以及与所述指令记录对应的操作指令；
在接收到所述操作指令的情况下，获取所述操作指令所对应的所述指令记录，所述操作指令包括回滚指令和下线指令；
在所述操作指令为所述回滚指令的情况下，执行所述指令记录对应的所述报表查询指令，在所述操作指令为下线指令的情况下，对所述指令记录执行下线。
在其中一些实施例中，所述接收页面上的报表查询指令之前，所述方法还包括：
获取用户角色信息，根据所述角色信息获取角色权限；
根据所述角色权限确定与所述角色权限对应的资源列表；从页面上获取菜单指定指令，根据所述菜单指定指令和所述资源列表确定所述菜单列表；
将所述菜单列表返回至所述页面。
在其中一些实施例中，所述确定与所述角色权限对应的菜单列表包括：
根据所述角色权限确定与所述角色权限对应的资源列表；
从页面上获取菜单指定指令，根据所述菜单指定指令和所述资源列表确定所述菜单列表。
在其中一些实施例中，所述方法还包括：根据所述角色信息确定所述用户的数据权限；根据所述查询语言和所述数据权限从数仓中获取查询数据。
在其中一些实施例中，所述方法还包括：
获取定时任务指令，所述定时任务指令包括预设的报表查询指令以及指令执行时间；在所述指令执行时间运行所述预设的报表查询指令。
在其中一些实施例中，所述报表查询指令包括查询命令行或者查询命令模块。
第二方面，本申请实施例提供了一种基于页面的数据管理系统，其特征在于，包括：展现层、服务层以及数据层，所述基于页面的数据管理系统用于实现上述基于页面的数据管理方法：
所述页面在所述展现层，所述数仓在所述数据层中，
所述服务层包括报表服务，所述报表服务用于根据报表查询指令、存放路径信息以及数据源信息，构建用于在所述展现层呈现的数据报表。
在其中一些实施例中，所述报表服务用于获取可视化方式或者手写方式创建的报表查询指令。
在其中一些实施例中，所述服务层还包括数据集服务、菜单服务、资源服务和数据权限服务，
所述数据集服务用于统一管理所述数据层中的数据；
所述菜单服务用于管理所述展现层中的菜单列表，并对所述菜单列表设置对应的查询用户的角色权限，仅拥有预设的所述角色权限的查询用户可以访问对应的菜单列表；
所述资源服务用于设置所述数据报表设置可访问的所述角色权限，以及展示路径；
所述数据权限用于指定所述查询用户可以访问的所述数据层的数据。
在其中一些实施例中，所述服务层还包括Job服务、数据定义(Data DefinitionLanguage，DDL)服务和数据导入服务，
所述Job服务用于执行定时任务，所述定时任务包括定时执行报表服务中指定的报表查询指令；
所述DDL服务用于管理所述数据层的数据源表；
所述数据导入服务用于将外部数据导入所述数据层。
第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的基于页面的数据管理方法。
第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的基于页面的数据管理方法。
相比于相关技术，本申请实施例提供的基于页面的数据管理方法，通过接收页面上的报表查询指令，根据报表查询指令获取配置信息；根据配置信息构建查询语言，并根据查询语言从数仓中获取查询数据；再将查询数据返回至页面上的数据报表中，报表查询指令实时执行，数据报表中的所述查询数据根据所述数仓中的数据进行实时更新，解决了数据分析效率低的问题，实现了数据分析逻辑实时修改，且分析结果实时获取。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本发明实施例的基于页面的数据管理方法的终端的结构框图；
图2是根据本申请实施例的基于页面的数据管理方法的流程图；
图3是根据本申请实施例中查询命令行的示意图；
图4是根据本申请实施例中查询命令模块的示意图；
图5是根据本申请实施例中指令记录的示意图；
图6是根据本发明实施例中菜单列表的示意图；
图7是根据本申请实施例中的资源列表的示意图；
图8是根据本申请实施例中页面的数据管理系统的示意图；
图9是根据本申请实施例中报表设计流程图；
图10是根据本申请实施例中报表跳转设置的示意图；
图11是根据本申请实施例中报表筛选设置的示意图；
图12是根据本申请实施例中的报表查询时序图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例，图1是本发明实施例的基于页面的数据管理方法的终端的结构框图。如图1所示，终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的基于页面的数据管理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端10的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
本实施例提供了一种基于页面的数据管理方法，图2是根据本申请实施例的基于页面的数据管理方法的流程图，如图2所示，该流程包括如下步骤：
步骤S201，接收页面上的报表查询指令，根据报表查询指令获取配置信息。用户在用于与用户进行交互的网页上输入报表查询指令，网页所对应的数据门户在接收到页面上的报表查询指令的情况下，根据查询指令获取配置信息。上述查询指令包括查询对象、针对查询对象的筛选条件等信息，例如，查询指令的查询对象是用户数量，而筛选条件则可以是用户所在区域、用户使用某项业务的时间或者在指定时间内的用户增长数量等等。而配置信息则是与查询指令所对应的配置信息，如从哪个数仓通过什么筛选条件获取什么数据，例如，查询指令要查询与某个产品用户相关的数据，则配置信息中将给出对应的数仓为该产品的用户数据库，进一步地，如果查询指令要查询A区域该产品的用户数量，则配置信息中还将给出对应的筛选条件为A区域。
在一些实施例中，获取的报表查询指令包括查询命令行或者查询命令模块。图3是根据本申请实施例中查询命令行的示意图，如图3所示，用户可以通过手动输入命令行进行查询指令的创建。例如要创建某类型订单中未归还充电宝数，则通过命令行先获取该类型的订单数，再获取该订单所对应的充电宝数，再筛选出未归还的充电宝数。进一步地，还可以通过命令行筛选出当中直营未归还充电宝数，代理商未归还充电宝数和运营型服务商未归还充电宝数。另一方面，图4是根据本申请实施例中查询命令模块的示意图，如图4所示，在需要创建设备有效门店绩效基数报表的情况下，可以通过选择左栏中已经预先设定好的一系列数据字段，各个数据字段均可以视为一个查询命令模块，即通过选择各个查询命令模块的组合形成最终的查询指令。可选地，通过拖放相应字段进行查询命令模块的选择。例如上述设备有效门店绩效基数的查询指令所涉及的维度为门店ID、门店名称、门店角色、是否设备有效门店和绩效基数等。可选地，还可以指定该查询指令的数据源。上述两种查询命令提供了更加多样的查询指令创建形式，手动输入的查询命令行更加灵活，便于创建更加个性化的查询指令，而查询命令模块则能提高查询指令的创建效率。可以根据不同的用户以及使用场景，更好地进行适配。
步骤S202，根据配置信息构建查询语言，并根据查询语言从数仓中获取查询数据。根据配置信息构建结构化查询语言(Structured Query Language，SQL)，并通过上述SQL从数仓中获取查询数据。可选地，各种数仓数据源进行统一管理，其中，数仓数据源可以是数仓数据源所指的是各种数据库，比如MySQL数据库，PostgreSQL数据库等，还可以对数据集进行增、删、改、查等操作；而数据收集本身是通过数仓通过计算任务写入到相应的数据库中的。在一些实施例中，对外部生成的数据也可以提供数据导入的接口，并将外部数据同步导入到数仓内部用于二次计算等操作。
步骤S203，将查询数据返回至页面上的数据报表中。其中，报表查询指令实时执行，数据报表中的查询数据根据数仓中的数据进行实时更新。
通过上述步骤，所有操作都在页面上进行，包括数据查询操作以及用以展示数据查询结果的报表都在页面上进行，而不需要对数据系统进行重新发布或者重新启动，因此无需改动代码，用户侧也能实时获得更新的数据报表信息。解决了数据分析效率低的问题，实现了数据分析的逻辑即查询指令能够实时修改，且分析结果实时获取。
在其中一些实施例中，根据查询语言从数仓中获取查询数据之后，该方法还包括：根据报表查询指令生成并存储指令记录以及与指令记录对应的操作指令；在接收到操作指令的情况下，获取操作指令所对应的指令记录，上述操作指令包括回滚指令和下线指令；在操作指令为回滚指令的情况下，执行指令记录对应的报表查询指令，在操作指令为下线指令的情况下，对指令记录执行下线。图5是根据本申请实施例中指令记录的示意图，如图5所示，在版本记录页面中，记录了历史查询指令所对应的指令记录，而操作栏中有与各个指令记录对应的操作指令例如下线指令或者回滚指令。在某个指令记录所对应的回滚指令按钮被触发的情况下，表示该指令记录再次被调用，则再次执行该查询指令，实现了历史版本的回滚。也可以通过触发下线指令，实现对某个版本的指令记录进行下线处理，从而后续无法回滚到该版本。可选地，上述指令所对应的提交人，ID以及按照预设版本号设置方式所分配到的版本号均会被展示，而版本状态则指示了现行的查询指令版本，便于进行版本选择和回滚。通过本实施方式，基于版本控制，可以对历史修改过的数据逻辑版本进行回滚操作，不同于现有的新的查询逻辑的使用会引起数据系统重启和查询逻辑覆盖，极大地提高了基于页面的数据管理的可追溯性和灵活性。
在其中一些实施例中，接收页面上的报表查询指令之前，该方法还包括：获取用户角色信息，根据角色信息获取角色权限；确定与角色权限对应的报表查询指令，并将报表查询指令所对应的菜单列表返回至所述页面，其中，菜单列表指示可用的报表查询指令。在本实施例中，一方面，可用的报表查询指令以菜单的形式进行展示，图6是根据本发明实施例中菜单列表的示意图，如图6所示，在数据门户页面，用户可以根据需求新增修改菜单，管理用户展示菜单，这些菜单可以理解为查询指令的可视化呈现方式。例如，报表中心的菜单列表可以包括直营门店报表、临时报表、直营盒子大盘数据以及业务异常数据监控等子菜单，上述具体的数据菜单又对应预设的查询指令，从而对应不同的查询数据。菜单列表是以更加直观的名称和方式对查询指令进行展示。可选地，上述菜单列表中的各项都有预设的查询指令，菜单列表页便于在一个标准化页面上对各类报表进行统一管理。需要说明的是，图6仅为一种菜单列表的布局方式，不用以限制该页面的布局方式。此外，菜单列表还可以是多级的，即菜单列表可以包括多个并列可选的页面，各个页面中均可包含子菜单，而在有需要的情况下，子菜单还可以进一步地包含更过二级甚至三级子菜单，均为该实施例的实施方式。另一方面，还对菜单列表设置角色权限，指定某些角色可以查看该菜单。角色权限指菜单列表或者菜单列表中的各个子菜单相应的权限。角色权限指示了哪些角色可以看到系统上的哪些菜单列表或者子菜单。比如，数据分析师这种角色，可以查看数据集服务相关的菜单，而不能查看与数据源进行修改的相应菜单。角色权限使得报表数据能够更加个性化地被管理和展示，也增加了数据的安全性。
在其中一些实施例中，确定角色权限对应的菜单列表包括：根据角色权限确定与角色权限对应的资源列表；从页面上获取菜单指定指令，根据菜单指定指令和资源列表确定菜单列表。在本实施例中，角色权限还用于管理数据的资源列表，图7是根据本申请实施例中的资源列表的示意图，如图7所示，菜单列表中的工单报表所对应的资源列表中包括面向门店工单明细表、面向合同工单明细日报表和每日工单完成率统计表等资源列表。在对该资源列表进行设置的过程中，如图7所示，以“面向门店工单明细表”为例，页面上还提供了将该资源列表授权给何种角色权限的赋权列表，若将该资源列表赋权给数据管理员-销售，则销售体系的数据管理员作为用户在指定工单报表的这一菜单指定指令的情况下，根据菜单指定指令，同时会验证该用户的角色权限以及该角色权限对应的资源列表，确定该用户在工单报表这一菜单列表中，是拥有“面向门店工单明细表”这一资源的查看和下载权限的，那么该资源所对应的报表，可以展现在该用户的菜单列表中，并且该用户可以对该报表进行查看和下载。可选地，上述赋权可以是针对角色的，也可以是针对单独用户的；赋权的功能权限可以包括失效鉴权、查看和下载等更加详细的权限内容。本实施例中提供了一种根据角色信息确定菜单列表的方法，通过资源列表的方式，更加精细且高效地对各个菜单列表下的资源列表进行权限管理。
在其中一些实施例中，该方法还包括：根据角色信息确定用户的数据权限，根据查询语言和数据权限从数仓中获取查询数据。数据权限设置是指，设置的用户可以看到哪些人的数据。可选地，数据权限可以是根据公司组织架构为权限集合，用户的角色信息是属于组织架构中某个组织部门，就拥有了该组织部门或人员的数据权限。即用户A属于公司的B区域，则用户A在查看某个产品的销售量时，只能获取B区域的销量而无法查看其他区域的销量。不同区域的用户运行同一查询语言，会因为不同的数据权限获取到不同的查询数据结果。从而实现更高的数据分析针对性，也能提高数据的获取和分析效率。
在其中一些实施例中，该方法还包括获取定时任务指令，定时任务指令包括预设的报表查询指令以及指令执行时间，在指令执行时间将运行预设的报表查询指令，从而能够实现定时地执行报表获取任务，提高数据处理效率。
本实施例还提供了一种基于页面的数据管理系统，包括展现层、服务层以及数据层，基于页面的数据管理系统用于实现上述基于页面的数据管理方法：页面在展现层，数仓在所述数据层中，服务层包括报表服务，报表服务用于根据报表查询指令、存放路径信息以及数据源信息，构建用于在展现层呈现的数据报表。该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。
在一些实施例中，报表服务用于获取可视化方式或者手写方式创建的报表查询指令。
在一些实施例中，服务层还包括数据集服务、菜单服务、资源服务和数据权限服务，数据集服务用于统一管理所述数据层中的数据；菜单服务用于管理展现层中的菜单列表，并对菜单列表设置对应的查询用户的角色权限，仅拥有预设的角色权限的查询用户可以访问对应的菜单列表；资源服务用于设置数据报表设置可访问的角色权限，以及展示路径；数据权限用于指定所述查询用户可以访问的所述数据层的数据。
在一些实施例中，服务层还包括Job服务、DDL服务和数据导入服务，Job服务用于执行定时任务，定时任务包括定时执行报表服务中指定的报表查询指令；DDL服务用于管理数据层的数据源表；数据导入服务用于将外部数据导入数据层。
下面通过优选实施例对本申请实施例进行描述和说明。图8是根据本申请实施例中页面的数据管理系统的示意图，如图8所示，该数据系统包括展现层、通讯层、服务层和数据层。展现层包括数据门户、门户管理后台和目标看板等与用户直接交互的平台。通讯层数据层包括超文本传输安全协议(Hyper Text Transfer Protocol over SecureSocketLayer，HTTPS)、内容分发网络(Content Delivery Network，CDN)和远程过程调用(RemoteProcedure Call，RPC)等数据通信协议，协助展现层与服务层进行数据通信。服务层包括数据集服务、JOB服务、DDL服务、菜单服务、资源服务、数据权限服务、数据导入服务、报表服务等。数据层则包括各种数据库，比如MySQL数据库、PostgreSQL数据库等以及开放数据处理服务(Open Data Processing Service，ODPS)。
其中，在服务层中，数据集服务用于统一管理各种数仓数据源，数据集服务指的是数据集的增、删、改、查；而其本身的数据收集是通过数仓通过计算任务写入到相应的数据库中的。数据集服务中还可以包括数据源ID、名称、类型、链接信息、描述、创建时间和状态等信息。任务(Job)服务是定时任务服务，用于设定定时生成报表并推送给指定用户，可选地，JOB服务中，会给每个任务编写一个CRON表达式，程序会根据CRON表达式判断该任务几点执行；JOB中所有的任务服务没有类型区分，只有执行时间的不同，比如“00 00 11**？”这个CRON表达式，表示该任务会每天的上午11点准备执行该任务。可选地，定时任务还可以与任务名称、运行类型、最后运行时间、创建时间和创建人等时间一起形成任务记录。与记录对应的还可以包括编辑、运行、暂停运行以及异常警告等操作按钮以便对各个任务进行修改等。任务推送方式包括但不限于报表、自定义SQL、邮件内容等方式，接收推送的指定用户是通过任务编辑时的邮件接收人确定。DDL服务用于对数据源表进行增删改操作管理，该服务中可以包括对查询语言的增删改操作的审批，包括如标题、SQL、需求说明、在线状态、创建时间、创建人以及审批人、审批结果等信息。菜单服务用于新增修改菜单，管理用户展示的菜单列表；并对菜单设置角色权限，指定某些角色可以查看该菜单。资源服务用于对资源进行权限管理，对报表的资源设置可以查看的角色列表，设置资源展示的路径即该资源对应的菜单项。数据权限服务用于设置指定用户能拥有的数据权限，数据权限设置是指，设置的用户可以看到哪些人的数据。设置可以通过指定用户以及其有权查看的数据分组，还可以包该用户的在职状态、角色、部门等信息。数据导入服务用于对系统外部生成的数据，提供数据导入接口的能力，将外部数据同步导入到数仓内部用于二次计算等操作。报表服务用于通过可视化或者手写方式进行报表的创建，其中，可视化方式中还可以通过下拉菜单选择数据源和表，该服务还有版本管理的功能。可选地，报表服务还可以包括跳转服务以及查询参数设置服务。图9是根据本申请实施例中报表设计流程图，如图9所示，报表服务的设计流程包括：
S901，选择创建方式。
S902a为选择可视化方式；
S902b为选择手写方式；
S903，指定该报表的存放路径；
S904，设置报表数据源；
S905a，在可视化方式下通过拖放字段进行创建；
S905b，在手写方式下通过手动编写逻辑SQL进行创建
S906，数据集字段的设置；
S907，跳转设置。图10是根据本申请实施例中报表跳转设置的示意图，如图10所示，可以设置该报表的跳转项例如跳转到门户内其他页面或者外部页面；指定关联资源类型，还可以设置跳转名称、指定关联资源以及跳转页面的打开方式和传递参数等信息。便于有关联的数据报表进行快捷跳转访问；
S908，筛选项设置。图11是根据本申请实施例中报表筛选设置的示意图，如图11所示，还可以对报表中的数据进行进一步筛选，例如选择时间筛选组件，则可以通过时间粒度、筛选区间以及默认值等信息对报表数据进行进一步筛选；
S909，数据权限验证设置，即通过数据权限服务对数据进行角色的查看权限分类和指定。
通过上述步骤即可基于页面完成报表的创建。
相应地，在用户调用上述创建好的报表服务的情况下，图12是根据本申请实施例中的报表查询时序图，如图12所示，用户通过展现层的数据门户进行登录，首先需要在数据门户进行身份验证，数据门户则可以根据身份验证信息获取该用户的用户角色信息，从而获取其角色权限。通过将角色权限反馈至服务层的权限服务，权限服务根据角色权限确定该用户权限所能访问的菜单列表，通过数据门户将可访问菜单列表反馈给用户。用户在上述菜单列表中选择其希望查询的报表菜单，则数据门户获取到对应的报表查询请求，根据该报表查询请求，数据门户页面向业务数据库(Database，DB)请求配置信息，并获取业务DB反馈的配置信息，上述配置信息包括该报表查询请求所对应的数据源、跳转设置、筛选设置等配置信息。同时，数据门户还会向权限服务获取数据权限，并根据获得的配置信息和数据权限等信息完成SQL组装。数据门户将上述SQL发送至数仓，执行数据查询。数仓将返回数据，即查询结果至数据门户。最终，通过数据门户页面，数据查阅结果将被反馈至用户，从而实现了在页面上进行报表查询的过程。
上述基于页面的数据管理系统和方法所有操作都在于页面上进行，而不需要对系统进行重新发布，启动；用户侧能实时获得更新的数据报表信息。同时，基于版本控制，可以对历史修改过的数据逻辑版本进行回滚操作。该方案还能让数据服务平滑上下线，管理页面上进行查询逻辑的开发，上下线操作都在页面上进行，无需改动平台系统代码。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
接收页面上的报表查询指令，根据报表查询指令获取配置信息；
根据配置信息构建查询语言，并根据查询语言从数仓中获取查询数据；
将查询数据返回至页面上的数据报表中，其中，报表查询指令实时执行，数据报表中的查询数据根据数仓中的数据进行实时更新。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的基于页面的数据管理方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种基于页面的数据管理方法。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (12)
1.一种基于页面的数据管理方法，其特征在于，包括：
接收页面上的报表查询指令，根据所述报表查询指令获取配置信息；
根据所述配置信息构建查询语言，并根据所述查询语言从数仓中获取查询数据；
将所述查询数据返回至所述页面上的数据报表中，其中，所述报表查询指令实时执行，所述数据报表中的所述查询数据根据所述数仓中的数据进行实时更新。
2.根据权利要求1所述的基于页面的数据管理方法，其特征在于，根据所述查询语言从数仓中获取查询数据之后，所述方法还包括：
根据所述报表查询指令生成并存储指令记录以及与所述指令记录对应的操作指令；
在接收到所述操作指令的情况下，获取所述操作指令所对应的所述指令记录，所述操作指令包括回滚指令和下线指令；
在所述操作指令为所述回滚指令的情况下，执行所述指令记录对应的所述报表查询指令，在所述操作指令为下线指令的情况下，对所述指令记录执行下线。
3.根据权利要求1或2所述的基于页面的数据管理方法，其特征在于，所述接收页面上的报表查询指令之前，所述方法还包括：
获取用户角色信息，根据所述角色信息获取角色权限；
根据所述角色权限确定与所述角色权限对应的资源列表；
从页面上获取菜单指定指令，根据所述菜单指定指令和所述资源列表确定所述菜单列表；
将所述菜单列表返回至所述页面。
4.根据权利要求3所述的基于页面的数据管理方法，其特征在于，所述方法还包括：
根据所述角色信息确定所述用户的数据权限；
根据所述查询语言和所述数据权限从数仓中获取查询数据。
5.根据权利要求1或2所述的基于页面的数据管理方法，其特征在于，所述方法还包括：
获取定时任务指令，所述定时任务指令包括预设的报表查询指令以及指令执行时间；
在所述指令执行时间运行所述预设的报表查询指令。
6.根据权利要求1所述的基于页面的数据管理方法，其特征在于，所述报表查询指令包括查询命令行或者查询命令模块。
7.一种基于页面的数据管理系统，其特征在于，包括：展现层、服务层以及数据层，所述基于页面的数据管理系统用于实现如权利要求1至6中任一项所述基于页面的数据管理方法：
所述页面在所述展现层，所述数仓在所述数据层中，
所述服务层包括报表服务，所述报表服务用于根据报表查询指令、存放路径信息以及数据源信息，构建用于在所述展现层呈现的数据报表。
8.根据权利要求7所述的基于页面的数据管理系统，其特征在于，所述报表服务用于获取可视化方式或者手写方式创建的报表查询指令。
9.根据权利要求7所述的基于页面的数据管理系统，其特征在于，所述服务层还包括数据集服务、菜单服务、资源服务和数据权限服务，
所述数据集服务用于统一管理所述数据层中的数据；
所述菜单服务用于管理所述展现层中的菜单列表，并对所述菜单列表设置对应的查询用户的角色权限，仅拥有预设的所述角色权限的查询用户可以访问对应的菜单列表；
所述资源服务用于设置所述数据报表设置可访问的所述角色权限，以及展示路径；
所述数据权限用于指定所述查询用户可以访问的所述数据层的数据。
10.根据权利要求9所述的基于页面的数据管理系统，其特征在于，所述服务层还包括Job服务、数据定义(Data Definition Language，DDL)服务和数据导入服务，
所述Job服务用于执行定时任务，所述定时任务包括定时执行报表服务中指定的报表查询指令；
所述DDL服务用于管理所述数据层的数据源表；
所述数据导入服务用于将外部数据导入所述数据层。
11.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至6中任一项所述的基于页面的数据管理方法。
12.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至6中任一项所述的基于页面的数据管理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110908620.5A CN113626701A (zh) | 2021-08-09 | 2021-08-09 | 基于页面的数据管理方法、系统、电子装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110908620.5A CN113626701A (zh) | 2021-08-09 | 2021-08-09 | 基于页面的数据管理方法、系统、电子装置和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113626701A true CN113626701A (zh) | 2021-11-09 |
Family
ID=78383617
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110908620.5A Pending CN113626701A (zh) | 2021-08-09 | 2021-08-09 | 基于页面的数据管理方法、系统、电子装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113626701A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114676190A (zh) * | 2022-05-27 | 2022-06-28 | 太平金融科技服务(上海)有限公司深圳分公司 | 数据展示方法、装置、计算机设备和存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110717319A (zh) * | 2019-09-24 | 2020-01-21 | 车智互联（北京）科技有限公司 | 一种自助报表生成方法、装置、计算设备和系统 |
-
2021
- 2021-08-09 CN CN202110908620.5A patent/CN113626701A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110717319A (zh) * | 2019-09-24 | 2020-01-21 | 车智互联（北京）科技有限公司 | 一种自助报表生成方法、装置、计算设备和系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114676190A (zh) * | 2022-05-27 | 2022-06-28 | 太平金融科技服务(上海)有限公司深圳分公司 | 数据展示方法、装置、计算机设备和存储介质 |
| CN114676190B (zh) * | 2022-05-27 | 2022-10-11 | 太平金融科技服务(上海)有限公司深圳分公司 | 数据展示方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110310034B (zh) | 一种应用于SaaS的服务编排、业务流程处理方法和装置 | |
| US10048830B2 (en) | System and method for integrating microservices | |
| WO2020253059A1 (zh) | 多级联动下拉框的实现方法、装置和计算机设备 | |
| CN109710236B (zh) | 基于共享服务的业务开发和实现方法、装置、平台及介质 | |
| US8548867B2 (en) | Product configuration server for efficiently displaying selectable attribute values for configurable products | |
| US8204870B2 (en) | Unwired enterprise platform | |
| US20180330428A1 (en) | Enterprise data marketplace system and method | |
| US10437575B2 (en) | Aercloud application express and aercloud application express launcher | |
| CN105630566A (zh) | 应用页面加载时长的确定方法及装置 | |
| CN116185754A (zh) | 数据监控方法、装置、设备及计算机存储介质、程序产品 | |
| AU2016100635A4 (en) | Software creation system | |
| US9170780B2 (en) | Processing changed application metadata based on relevance | |
| CN111949831A (zh) | 一种图形数据库建立方法和装置、可读存储介质 | |
| CN113626701A (zh) | 基于页面的数据管理方法、系统、电子装置和存储介质 | |
| CN104461618A (zh) | 加载模块的方法及装置 | |
| WO2020211351A1 (zh) | 使用爬虫获取外部数据的方法及装置 | |
| CN113259714B (zh) | 内容分发处理方法、装置、电子设备及存储介质 | |
| CN110286907B (zh) | 一种公共按钮组件的显示方法及装置 | |
| US8595251B2 (en) | Flexible interface module | |
| CN112925813A (zh) | 基于混合编排的数据处理方法、装置、系统和存储介质 | |
| CN112330304A (zh) | 一种合同审批方法和装置 | |
| CN113971121B (zh) | 一种服务状态的查控方法和装置 | |
| CN117112654B (zh) | 城市数据展示方法、装置、计算机设备和存储介质 | |
| US20240220237A1 (en) | Smart grouping of code packages | |
| CN117851451A (zh) | 任务模板生成、任务查询、下发、上报方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |