CN117312418A - 报表生成方法、系统、设备、可读存储介质及产品 - Google Patents

报表生成方法、系统、设备、可读存储介质及产品 Download PDF

Info

Publication number
CN117312418A
CN117312418A CN202311272481.7A CN202311272481A CN117312418A CN 117312418 A CN117312418 A CN 117312418A CN 202311272481 A CN202311272481 A CN 202311272481A CN 117312418 A CN117312418 A CN 117312418A
Authority
CN
China
Prior art keywords
target
report
data
temporary data
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311272481.7A
Other languages
English (en)
Inventor
傅勇
谭江健
吴英岗
吴思妮
陈张威
庄少博
吴子昊
毛鹏璋
招永棋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCB Finetech Co Ltd
Original Assignee
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCB Finetech Co Ltd filed Critical CCB Finetech Co Ltd
Priority to CN202311272481.7A priority Critical patent/CN117312418A/zh
Publication of CN117312418A publication Critical patent/CN117312418A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了报表生成方法、系统、设备、可读存储介质及产品，方法包括：建立消息队列；基于目标监控工具，监控来自至少一个目标系统的多个目标文件的到达状态，并在各个目标文件到达时，将对应的目标文件的到达信息反馈给消息队列；当监测到消息队列接收到全部目标文件的到达信息时，基于预先建立的数据加工单元调取多个目标文件，数据加工单元至少包括临时数据层和基础数据层，在临时数据层，清理各个目标文件各自对应的临时数据表，并将各个目标文件更新到各自对应临时数据表中；将各个临时数据表汇总到基础数据层；基于汇总后的各个临时数据表中的目标文件中的数据，生成目标报表。本申请实施例可以减少对于机器资源的占用。

Description

报表生成方法、系统、设备、可读存储介质及产品
技术领域
本申请属于数据处理技术领域，尤其涉及一种报表生成方法、系统、设备、可读存储介质及产品。
背景技术
报表可以帮助企业管理层及业务人员更好地掌握公司的运营情况，包括销售额、成本、利润、客户满意度等方面的数据。通过对这些数据的分析和可视化，管理层和业务人员可以更好地了解公司的运营情况，及时发现问题和机会，做出正确的决策。
在生成报表(如企业级项目的报表)时，通常需要依赖来自上游系统的多个目标文件，多个目标文件到齐后，再基于多个目标文件生成报表。然而，目前相关技术在生成报表时，通常采用轮循环方式判断目标文件是否到达，耗费机器资源较多。
发明内容
本申请实施例提供了一种报表生成方法、系统、设备、可读存储介质及产品，能够解决在生成报表时耗费机器资源较多的问题。
第一方面，本申请实施例提供了一种报表生成方法，报表生成方法包括：建立消息队列；基于目标监控工具，监控来自至少一个目标系统的多个目标文件的到达状态，并在各个目标文件到达时，将对应的目标文件的到达信息反馈给消息队列；当监测到消息队列接收到全部目标文件的到达信息时，基于预先建立的数据加工单元调取多个目标文件，数据加工单元至少包括临时数据层和基础数据层，在临时数据层，清理各个目标文件各自对应的临时数据表，并将各个目标文件更新到各自对应临时数据表中；将各个临时数据表汇总到基础数据层；基于汇总后的各个临时数据表中的目标文件中的数据，生成目标报表。
根据本申请第一方面的实施方式，在临时数据层，清理各个目标文件各自对应的临时数据表，并将各个目标文件更新到各自对应临时数据表中，包括：在临时数据层，基于多个并行线程同时清理各个目标文件各自对应的临时数据表；基于多个并行线程分别将各个目标文件更新到各自对应临时数据表中。
根据本申请第一方面前述任一实施方式，基于汇总后的各个临时数据表中的目标文件中的数据，生成目标报表，包括：当各个目标文件均更新到各自对应临时数据表之后，读取批量任务表，批量任务表包括任务执行日期字段；当任务执行日期字段中的日期与预期日期一致时，基于汇总后的各个临时数据表中的目标文件中的数据，生成目标报表，并在批量任务表中增加一条在预期日期生成目标报表的记录。
根据本申请第一方面前述任一实施方式，批量任务表还包括状态字段；报表生成方法还包括：当成功生成目标报表时，将批量任务表的状态字段置为成功；当未生成目标报表时，将批量任务表的状态字段置为失败，并进行告警。
根据本申请第一方面前述任一实施方式，基于汇总后的各个临时数据表中的目标文件中的数据，生成目标报表，包括：基于目标脚本执行基于汇总后的各个临时数据表中的目标文件中的数据，生成目标报表的步骤；当执行报错时，目标脚本设置返回值为-1，并进行告警。
根据本申请第一方面前述任一实施方式，基于汇总后的各个临时数据表中的目标文件中的数据，生成目标报表，包括：对汇总后的各个临时数据表中的目标文件中的数据进行汇总计算，得到汇总后的报表数据；基于汇总后的报表数据，生成目标报表。
根据本申请第一方面前述任一实施方式，基于汇总后的报表数据，生成目标报表，包括：设置报表的表样，设置报表的表样包括查询参数设置、级联关系筛选过滤、sheet页关联设置、数据行列、单元格设置和属性设置中的至少一项；基于设置的表样和汇总后的报表数据，生成目标报表。
根据本申请第一方面前述任一实施方式，在基于设置的表样和汇总后的报表数据，生成目标报表之后，报表生成方法还包括：对汇总后的报表数据进行二次处理，得到二次处理后的报表数据，二次处理包括检索、过滤、关联和计算中的至少一项；基于二次处理后的报表数据，生成数据视图。
根据本申请第一方面前述任一实施方式，在生成目标报表之后，报表生成方法还包括：基于目标权限模型，设置用户对应的角色和权限，并将角色和权限进行关联；将设置的用户的权限与目标应用进行绑定；其中，权限包括管理、查看和/或开发目标报表的权限。
第二方面，本申请实施例提供了一种报表生成系统，报表生成系统包括：建立模块，用于建立消息队列；监控模块，用于基于目标监控工具，监控来自至少一个目标系统的多个目标文件的到达状态，并在各个目标文件到达时，将对应的目标文件的到达信息反馈给消息队列；生成模块，用于当监测到消息队列接收到全部目标文件的到达信息时，基于预先建立的数据加工单元调取多个目标文件，数据加工单元至少包括临时数据层和基础数据层，在临时数据层，清理各个目标文件各自对应的临时数据表，并将各个目标文件更新到各自对应临时数据表中；将各个临时数据表汇总到基础数据层；基于汇总后的各个临时数据表中的目标文件中的数据，生成目标报表。
第三方面，本申请实施例提供了一种电子设备，电子设备包括：处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现如第一方面提供的报表生成方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如第一方面提供的报表生成方法的步骤。
第五方面，本申请实施例提供了一种计算机程序产品，计算机程序产品被存储在非易失的存储介质中，计算机程序产品被至少一个处理器执行以实现如第一方面提供的报表生成方法的步骤。
本申请实施例的报表生成方法、系统、设备、可读存储介质及产品，首先，建立消息队列；接下来，基于目标监控工具，监控来自至少一个目标系统的多个目标文件的到达状态，并在各个目标文件到达时，将对应的目标文件的到达信息反馈给消息队列；再接下来，当监测到消息队列接收到全部目标文件的到达信息时，基于预先建立的数据加工单元调取多个目标文件，数据加工单元至少包括临时数据层和基础数据层，在临时数据层，清理各个目标文件各自对应的临时数据表，并将各个目标文件更新到各自对应临时数据表中；将各个临时数据表汇总到基础数据层；基于汇总后的各个临时数据表中的目标文件中的数据，生成目标报表。本申请实施例采用消息队列监控来自上游系统的多个目标文件，当多个目标文件全部到达后，对多个目标文件进行数据加工，生成目标报表，无需多次轮询查询目标文件是否到达，可以减少对于机器资源的占用，提高系统的性能和数据处理效率，而且能够更加灵活地管理数据流动，降低了系统的负载。此外，数据加工单元进行分层设置，可以减少重复开发，将一个复杂的任务分解成多个步骤完成，简化加工关联SQL条件，使排查更容易，每个数据分层都有它的作用域和职责。这样，简化了数据开发的难度，有助于提高数据开发的效率，减少了出错的可能性，同时也增加了数据处理的灵活性和可维护性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的报表生成方法的一种流程示意图；
图2为本申请实施例提供的报表生成方法中S103的一种操作示意图；
图3为本申请实施例提供的报表生成方法中S103的一种流程示意图；
图4为本申请实施例提供的报表生成方法中S105的一种流程示意图；
图5为本申请实施例提供的报表生成方法中S105的一种流程示意图；
图6为本申请实施例提供的报表生成方法的另一种流程示意图；
图7为本申请实施例提供的报表生成方法中S601的一种操作示意图；
图8为本申请实施例提供的报表生成系统的一种结构示意图；
图9示出了本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
在不脱离本申请的精神或范围的情况下，在本申请中能进行各种修改和变化，这对于本领域技术人员来说是显而易见的。因而，本申请意在覆盖落入所对应权利要求(要求保护的技术方案)及其等同物范围内的本申请的修改和变化。需要说明的是，本申请实施例所提供的实施方式，在不矛盾的情况下可以相互组合。
在阐述本申请实施例所提供的技术方案之前，为了便于对本申请实施例理解，本申请首先对相关技术中存在的问题进行具体说明：
报表可以帮助企业管理层及业务人员更好地掌握公司的运营情况，包括销售额、成本、利润、客户满意度等方面的数据。通过对这些数据的分析和可视化，管理层和业务人员可以更好地了解公司的运营情况，及时发现问题和机会，做出正确的决策。
在生成报表(如企业级项目的报表)时，通常需要依赖来自上游系统的多个目标文件，多个目标文件到齐后，再基于多个目标文件生成报表。然而，目前相关技术在生成报表时，通常采用轮循环方式判断目标文件是否到达，耗费机器资源较多。
需要说明的是，本申请实施例中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
鉴于发明人的上述研究发现，本申请实施例提供了一种报表生成方法、系统、设备、可读存储介质及产品，能够解决相关技术中存在的在生成报表时耗费机器资源较多的技术问题。
本申请实施例的技术构思在于：采用消息队列监控来自上游系统的多个目标文件，当多个目标文件全部到达后，对多个目标文件进行数据加工，生成目标报表。这样，无需多次轮询查询目标文件是否到达，可以减少对于机器资源的占用，提高系统的性能和数据处理效率，而且能够更加灵活地管理数据流动，降低了系统的负载。此外，数据加工单元进行分层设置，可以减少重复开发，将一个复杂的任务分解成多个步骤完成，简化加工关联SQL条件，使排查更容易，每个数据分层都有它的作用域和职责。这样，简化了数据开发的难度，有助于提高数据开发的效率，减少了出错的可能性，同时也增加了数据处理的灵活性和可维护性。
下面首先对本申请实施例所提供的报表生成方法进行介绍。
图1为本申请实施例提供的报表生成方法的一种流程示意图。如图1所示，该报表生成方法可以包括以下步骤S101至S105。
S101、建立消息队列。
为了实现订阅消息，在S101中，可以建立消息队列。示例性地，例如可以基于Key-Value数据库(如redis数据库)建立消息队列。
S102、基于目标监控工具，监控来自至少一个目标系统的多个目标文件的到达状态，并在各个目标文件到达时，将对应的目标文件的到达信息反馈给消息队列。
其中，目标监控工具包括但不限于inotifywait工具。inotifywait工具是inotify-tools工具包中的一个命令行工具，用于监视文件系统事件，并在事件发生时作出相应的操作。它基于Linux内核的inotify API实现，能够监听某个目录下的所有文件(或特定文件)，并在文件被创建、修改、删除等事件发生时触发相应的命令。
在S102中，可以基于inotifywait工具监视指定路径下的文件生成事件。当目标系统(即上游系统)的目标文件生成(即到达)时，inotifywait工具可以将目标文件的到达信息发送到消息队列中。
在一些实施例中，目标报表包括但不限于企业日常经营指标和员工考核报表、交易流水报表等。多个目标文件包括但不限于用户的基本信息文件、用户的交易流水数据文件等。
需要说明的是，本申请实施例中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
S103、当监测到消息队列接收到全部目标文件的到达信息时，基于预先建立的数据加工单元调取多个目标文件，数据加工单元至少包括临时数据层和基础数据层，在临时数据层，清理各个目标文件各自对应的临时数据表，并将各个目标文件更新到各自对应临时数据表中。
根据本申请的一些实施例，可选地，可以基于预先建立数据加工单元，如ETL(即数据提取(Extraction)、转换(Transformation)和加载(Loading))数据加工单元。ETL数据加工单元可以对多个目标文件进行数据加工。在一些实施例中，ETL数据加工单元可以包括临时数据层和基础数据层。在另一些实施例中，除了临时数据层和基础数据层，ETL数据加工单元还可以包括数据管理层和报表汇总层。根据本申请的一些实施例，可选地，数据管理层可以进行数据管理和数据文件分类等工作。报表汇总层可以对报表进行汇总和对报表结果进行存放。
在临时数据层，可以清理各个目标文件各自对应的临时数据表，并将各个目标文件更新到各自对应临时数据表中。
即，临时数据层可以存储临时数据表。在临时数据层，可以清理各个目标文件各自对应的临时数据表，并将各个目标文件更新到各自对应临时数据表中。
图2为本申请实施例提供的报表生成方法中S103的一种操作示意图。如图2所示，举例而言，例如以3个目标文件为例，如3个目标文件分别为用户的基本信息文件、第一交易流水文件和第二交易流水文件，当监测到消息队列接收到3个目标文件的到达信息时，分别清理3个目标文件各自对应的临时数据表。然后，可以将3个目标文件更新到各自对应临时数据表中。
S104、将各个临时数据表汇总到基础数据层。
S105、基于汇总后的各个临时数据表中的目标文件中的数据，生成目标报表。
在一些实施例中，目标报表可以为任意预设周期的报表，如日报报表、月报报表或者年报报表等。
本申请实施例的报表生成方法、系统、设备、可读存储介质及产品，首先，建立消息队列；接下来，基于目标监控工具，监控多个目标文件的到达状态，并在各个目标文件到达时，将对应的目标文件的到达信息反馈给消息队列；再接下来，当监测到消息队列接收到全部目标文件的到达信息时，对多个目标文件进行数据加工，生成目标报表。本申请实施例采用消息队列监控来自上游系统的多个目标文件，当多个目标文件全部到达后，对多个目标文件进行数据加工，生成目标报表，无需多次轮询查询目标文件是否到达，可以减少对于机器资源的占用，提高系统的性能和数据处理效率，而且能够更加灵活地管理数据流动，降低了系统的负载。此外，数据加工单元进行分层设置，可以减少重复开发，将一个复杂的任务分解成多个步骤完成，简化加工关联SQL条件，使排查更容易，每个数据分层都有它的作用域和职责。这样，简化了数据开发的难度，有助于提高数据开发的效率，减少了出错的可能性，同时也增加了数据处理的灵活性和可维护性。
当多个目标文件全部到达后，可以对数据进行实时处理，实现了数据的实时传递和处理，大幅提高了数据处理的效率和准确性。
图3为本申请实施例提供的报表生成方法中S103的一种流程示意图。如图3所示，根据本申请的一些实施例，可选地，S103、在所述临时数据层，清理各个所述目标文件各自对应的临时数据表，并将各个所述目标文件更新到各自对应所述临时数据表中，包括以下步骤S201和S202。
S201、在临时数据层，基于多个并行线程同时清理各个目标文件各自对应的临时数据表。
如图2所示，举例而言，例如以3个目标文件为例，如3个目标文件分别为用户的基本信息文件、第一交易流水文件和第二交易流水文件，当监测到消息队列接收到3个目标文件的到达信息时，可以基于3个并行线程同时清理3个目标文件各自对应的临时数据表。
S202、基于多个并行线程分别将各个目标文件更新到各自对应临时数据表中。
如图2所示，仍然以3个目标文件为例，可以基于3个并行线程分别将3个目标文件更新到各自对应临时数据表中。
如此，基于多个并行线程同时清理各个目标文件各自对应的临时数据表，基于多个并行线程分别将各个目标文件更新到各自对应临时数据表中，可以提高生成目标报表的速率，缩短生成目标报表的时间。
根据本申请的一些实施例，可选地，目标文件的名称与目标报表的名称可以存在关联。例如，以目标报表为日报报表为例，每天只跑批一次，目标文件的名称可以由数据库表名加自然日日期组成，日期为变量。
图4为本申请实施例提供的报表生成方法中S105的一种流程示意图。如图4所示，根据本申请的一些实施例，可选地，S105、基于汇总后的各个临时数据表中的目标文件中的数据，生成目标报表，可以包括以下步骤S401和S402。
S401、当各个目标文件均更新到各自对应临时数据表之后，读取批量任务表，批量任务表包括任务执行日期字段。
S402、当任务执行日期字段中的日期与预期日期一致时，基于汇总后的各个临时数据表中的目标文件中的数据，生成目标报表，并在批量任务表中增加一条在预期日期生成目标报表的记录。
例如，以目标报表为日报报表为例，例如预期日期为今日，当任务执行日期字段中的日期为今日时，可以基于汇总后的各个临时数据表中的目标文件中的数据，生成今日的日报报表。在生成目标报表之后，可以在批量任务表中增加一条在预期日期生成目标报表的记录。
根据本申请的一些实施例，可选地，批量任务表还可以包括状态字段。
报表生成方法还可以包括以下步骤一和步骤二。
步骤一、当成功生成目标报表时，将批量任务表的状态字段置为成功。
步骤二、当未生成目标报表时，将批量任务表的状态字段置为失败，并进行告警。例如，告警信息可以以电话和/或短信形式发给运维人员。
根据本申请的一些实施例，可选地，S105、基于汇总后的各个临时数据表中的目标文件中的数据，生成目标报表，可以包括以下步骤三和步骤四。
步骤三、基于目标脚本执行基于汇总后的各个临时数据表中的目标文件中的数据，生成目标报表的步骤。
其中，目标脚本包括但不限于shell脚本。例如，可以通过shell脚本进行作业跑批，执行对多个目标文件进行数据加工，生成目标报表的步骤。
步骤四、当执行报错时，目标脚本设置返回值为-1，并进行告警。
图5为本申请实施例提供的报表生成方法中S105的一种流程示意图。如图5所示，根据本申请的一些实施例，可选地，S105、基于汇总后的各个所述临时数据表中的所述目标文件中的数据，生成所述目标报表，具体可以包括以下步骤S501和S502。
S501、对汇总后的各个临时数据表中的目标文件中的数据进行汇总计算，得到汇总后的报表数据。
例如，以目标文件包括交易流水数据文件为例，可以将多个交易流水数据文件中的交易流水数据进行计算，得到汇总后的交易流水数据。
S502、基于汇总后的报表数据，生成目标报表。
根据本申请的一些实施例，可选地，S502、基于汇总后的报表数据，生成目标报表，可以包括以下步骤五和步骤六。
步骤五、设置报表的表样，设置报表的表样包括查询参数设置、级联关系筛选过滤、sheet页关联设置、数据行列、单元格设置和属性设置中的至少一项。
如此，通过对报表进行查询参数设置、级联关系筛选过滤、sheet页关联设置、数据行列、单元格设置和属性设置中的至少一项，可以创建出具备数据筛选、数据排序和/或数据钻取等交互能力的报表。
步骤六、基于设置的表样和汇总后的报表数据，生成目标报表。
将汇总后的报表数据填充至设置的表样中，即可得到目标报表。
根据本申请的一些实施例，可选地，在步骤六、基于设置的表样和汇总后的报表数据，生成目标报表之后，报表生成方法还可以包括以下步骤七和步骤八。
步骤七、对汇总后的报表数据进行二次处理，得到二次处理后的报表数据，二次处理包括检索、过滤、关联和计算中的至少一项。
步骤八、基于二次处理后的报表数据，生成数据视图。
在进行数据视图制作时，例如可以结合报表的表样，编写SQL语句对ETL数据加工单元汇总后的报表数据进行检索、过滤、关联和/或计算等二次处理，输出适用于可视化分析的数据视图。
如此，通过展示可视化分析的数据视图，方便业务人员查看和下载报表。这使得数据更易于理解和使用，帮助企业做出更准确的决策，提高了业务人员的工作效率。
图6为本申请实施例提供的报表生成方法的另一种流程示意图。如图6所示，根据本申请的一些实施例，可选地，在S105、生成目标报表之后，报表生成方法还可以包括以下步骤S601和S602。
S601、基于目标权限模型，设置用户对应的角色和权限，并将角色和权限进行关联。
其中，目标权限模型包括但不限于基于角色的访问控制(Role-Based AccessControl，RBAC)权限模型。RBAC权限模型对用户的角色和权限控制，用户通过角色与权限进行关联，这种模型的优点简化了用户和权限的关系，易于扩展方便管理等。
其中，权限包括管理、查看和/或开发目标报表的权限。
图7为本申请实施例提供的报表生成方法中S601的一种操作示意图。如图7所示，例如报表可以为电子渠道报表，增加了管理、查看、开发电子渠道报表权限。可以将权限赋给对应角色人员，如主管拥有管理权限和工作台权限，普通业务人员只有查看工作台权限，开发人员拥有开发权限等。
S602、将设置的用户的权限与目标应用进行绑定。
其中，目标应用可以为预设的任意应用软件，即电子渠道应用。通过将用户对于目标报表的权限和目标应用进行绑定，当用户拥有对于目标报表的权限时，只能通过目标应用实现自己的权限，如管理或查看目标报表，从而提高数据的安全性。
本申请实施例的报表生成方法，可以整合来自多个数据源(如上游系统)的目标文件生成目标报表，帮助企业实现全面的数据分析和决策支持。这可以提高公司对数据的整合能力，避免了数据孤立问题，帮助企业更好地了解业务情况。
根据本申请的一些实施例，可选地，在对多个目标文件进行数据加工时，可以对数据加工的每个步骤进行监控生成日志，减少人工运维成本。
如此，通过数据调度监控功能，可以降低运维成本，及时处理数据问题，确保报表数据的准确性。这使得企业能够更好地管理和维护数据处理流程，提高了数据质量和可靠性。
基于上述实施例提供的报表生成方法，相应地，本申请还提供了一种报表生成系统的具体实现方式。请参见以下实施例。
图8为本申请实施例提供的报表生成系统的一种结构示意图。如图8所示，本申请实施例提供的报表生成系统80包括以下模块：
建立模块801，用于建立消息队列；
监控模块802，用于基于目标监控工具，监控来自至少一个目标系统的多个目标文件的到达状态，并在各个目标文件到达时，将对应的目标文件的到达信息反馈给消息队列；
生成模块803，用于当监测到消息队列接收到全部目标文件的到达信息时，基于预先建立的数据加工单元调取多个目标文件，数据加工单元至少包括临时数据层和基础数据层，在临时数据层，清理各个目标文件各自对应的临时数据表，并将各个目标文件更新到各自对应临时数据表中；将各个临时数据表汇总到基础数据层；基于汇总后的各个临时数据表中的目标文件中的数据，生成目标报表。
本申请实施例的报表生成系统，采用消息队列监控来自上游系统的多个目标文件，当多个目标文件全部到达后，对多个目标文件进行数据加工，生成目标报表。这样，无需多次轮询查询目标文件是否到达，可以减少对于机器资源的占用，提高系统的性能和数据处理效率，而且能够更加灵活地管理数据流动，降低了系统的负载。此外，数据加工单元进行分层设置，可以减少重复开发，将一个复杂的任务分解成多个步骤完成，简化加工关联SQL条件，使排查更容易，每个数据分层都有它的作用域和职责。这样，简化了数据开发的难度，有助于提高数据开发的效率，减少了出错的可能性，同时也增加了数据处理的灵活性和可维护性。
在一些实施例中，生成模块803具体用于在临时数据层，基于多个并行线程同时清理各个目标文件各自对应的临时数据表；基于多个并行线程分别将各个目标文件更新到各自对应临时数据表中。
在一些实施例中，生成模块803具体用于当各个目标文件均更新到各自对应临时数据表之后，读取批量任务表，批量任务表包括任务执行日期字段；当任务执行日期字段中的日期与预期日期一致时，基于汇总后的各个临时数据表中的目标文件中的数据，生成目标报表，并在批量任务表中增加一条在预期日期生成目标报表的记录。
在一些实施例中，批量任务表还包括状态字段。报表生成系统80还可以包括状态写入模块，用于当成功生成目标报表时，将批量任务表的状态字段置为成功；当未生成目标报表时，将批量任务表的状态字段置为失败，并进行告警。
在一些实施例中，生成模块803具体用于基于目标脚本执行基于汇总后的各个临时数据表中的目标文件中的数据，生成目标报表的步骤；当执行报错时，目标脚本设置返回值为-1，并进行告警。
在一些实施例中，生成模块803具体用于对汇总后的各个临时数据表中的目标文件中的数据进行汇总计算，得到汇总后的报表数据；基于汇总后的报表数据，生成目标报表。
在一些实施例中，生成模块803具体用于设置报表的表样，设置报表的表样包括查询参数设置、级联关系筛选过滤、sheet页关联设置、数据行列、单元格设置和属性设置中的至少一项；基于设置的表样和汇总后的报表数据，生成目标报表。
在一些实施例中，生成模块803还用于对汇总后的报表数据进行二次处理，得到二次处理后的报表数据，二次处理包括检索、过滤、关联和计算中的至少一项；基于二次处理后的报表数据，生成数据视图。
在一些实施例中，报表生成系统80还可以包括权限分配模块，用于基于目标权限模型，设置用户对应的角色和权限，并将角色和权限进行关联；将设置的用户的权限与目标应用进行绑定；其中，权限包括管理、查看和/或开发目标报表的权限。
图8所示系统中的各个模块/单元具有实现上述方法实施例提供的报表生成方法中各个步骤的功能，并能达到其相应的技术效果，为简洁描述，在此不再赘述。
基于上述实施例提供的报表生成方法，相应地，本申请还提供了电子设备的具体实现方式。请参见以下实施例。
图9示出了本申请实施例提供的电子设备的硬件结构示意图。
电子设备可以包括处理器901以及存储有计算机程序指令的存储器902。
具体地，上述处理器901可以包括中央处理器(Central Processing Unit，CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器902可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器902可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在一个示例中，存储器902可以包括可移除或不可移除(或固定)的介质，或者存储器902是非易失性固态存储器。存储器902可在电子设备的内部或外部。
在一个示例中，存储器902可以是只读存储器(Read Only Memory，ROM)。在一个示例中，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
存储器902可以包括只读存储器(ROM)，随机存取存储器(RAM)，磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如，存储器设备)，并且当该软件被执行(例如，由一个或多个处理器)时，其可操作来执行参考根据本申请的一方面的方法所描述的操作。
处理器901通过读取并执行存储器902中存储的计算机程序指令，以实现上述方法实施例中的方法/步骤，并达到方法实施例执行其方法/步骤达到的相应技术效果，为简洁描述在此不再赘述。
在一个示例中，电子设备还可包括通信接口903和总线910。其中，如图9所示，处理器901、存储器902、通信接口903通过总线910连接并完成相互间的通信。
通信接口903，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线910包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(Accelerated Graphics Port，AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，EISA)总线、前端总线(Front Side Bus，FSB)、超传输(Hyper Transport，HT)互连、工业标准架构(IndustryStandard Architecture，ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线910可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
另外，结合上述实施例中的报表生成方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种报表生成方法。计算机可读存储介质的示例包括非暂态计算机可读存储介质，如电子电路、半导体存储器设备、ROM、随机存取存储器、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘。
结合上述实施例中的报表生成方法，本申请实施例可提供一种计算机程序产品，计算机程序产品被存储在非易失的存储介质中，计算机程序产品被至少一个处理器执行以实现如上述实施例提供的报表生成方法的步骤。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RadioFrequency，RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本申请的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (13)

1.一种报表生成方法，其特征在于，包括：
建立消息队列；
基于目标监控工具，监控来自至少一个目标系统的多个目标文件的到达状态，并在各个所述目标文件到达时，将对应的所述目标文件的到达信息反馈给所述消息队列；
当监测到所述消息队列接收到全部所述目标文件的到达信息时，基于预先建立的数据加工单元调取所述多个目标文件，所述数据加工单元至少包括临时数据层和基础数据层，在所述临时数据层，清理各个所述目标文件各自对应的临时数据表，并将各个所述目标文件更新到各自对应所述临时数据表中；
将各个所述临时数据表汇总到所述基础数据层；
基于汇总后的各个所述临时数据表中的所述目标文件中的数据，生成所述目标报表。
2.根据权利要求1所述的报表生成方法，其特征在于，在所述临时数据层，清理各个所述目标文件各自对应的临时数据表，并将各个所述目标文件更新到各自对应所述临时数据表中，包括：
在所述临时数据层，基于多个并行线程同时清理各个所述目标文件各自对应的临时数据表；
基于所述多个并行线程分别将各个所述目标文件更新到各自对应所述临时数据表中。
3.根据权利要求2所述的报表生成方法，其特征在于，所述基于汇总后的各个所述临时数据表中的所述目标文件中的数据，生成所述目标报表，包括：
当各个所述目标文件均更新到各自对应所述临时数据表之后，读取批量任务表，所述批量任务表包括任务执行日期字段；
当所述任务执行日期字段中的日期与预期日期一致时，基于汇总后的各个所述临时数据表中的所述目标文件中的数据，生成所述目标报表，并在所述批量任务表中增加一条在所述预期日期生成所述目标报表的记录。
4.根据权利要求3所述的报表生成方法，其特征在于，所述批量任务表还包括状态字段；
所述报表生成方法还包括：
当成功生成所述目标报表时，将所述批量任务表的所述状态字段置为成功；
当未生成所述目标报表时，将所述批量任务表的所述状态字段置为失败，并进行告警。
5.根据权利要求1-4中任一项所述的报表生成方法，其特征在于，所述基于汇总后的各个所述临时数据表中的所述目标文件中的数据，生成所述目标报表，包括：
基于目标脚本执行基于汇总后的各个所述临时数据表中的所述目标文件中的数据，生成所述目标报表的步骤；
当执行报错时，所述目标脚本设置返回值为-1，并进行告警。
6.根据权利要求2所述的报表生成方法，其特征在于，所述基于汇总后的各个所述临时数据表中的所述目标文件中的数据，生成所述目标报表，包括：对汇总后的各个所述临时数据表中的所述目标文件中的数据进行汇总计算，得到汇总后的报表数据；
基于所述汇总后的报表数据，生成所述目标报表。
7.根据权利要求6所述的报表生成方法，其特征在于，所述基于所述汇总后的报表数据，生成所述目标报表，包括：
设置报表的表样，所述设置报表的表样包括查询参数设置、级联关系筛选过滤、sheet页关联设置、数据行列、单元格设置和属性设置中的至少一项；
基于设置的所述表样和所述汇总后的报表数据，生成所述目标报表。
8.根据权利要求7所述的报表生成方法，其特征在于，在所述基于设置的所述表样和所述汇总后的报表数据，生成所述目标报表之后，所述报表生成方法还包括：
对所述汇总后的报表数据进行二次处理，得到二次处理后的报表数据，所述二次处理包括检索、过滤、关联和计算中的至少一项；
基于所述二次处理后的报表数据，生成数据视图。
9.根据权利要求1所述的报表生成方法，其特征在于，在所述生成目标报表之后，所述报表生成方法还包括：
基于目标权限模型，设置用户对应的角色和权限，并将角色和权限进行关联；
将设置的用户的权限与目标应用进行绑定；
其中，所述权限包括管理、查看和/或开发所述目标报表的权限。
10.一种报表生成系统，其特征在于，包括：
建立模块，用于建立消息队列；
监控模块，用于基于目标监控工具，监控来自至少一个目标系统的多个目标文件的到达状态，并在各个所述目标文件到达时，将对应的所述目标文件的到达信息反馈给所述消息队列；
生成模块，用于当监测到所述消息队列接收到全部所述目标文件的到达信息时，基于预先建立的数据加工单元调取所述多个目标文件，所述数据加工单元至少包括临时数据层和基础数据层，在所述临时数据层，清理各个所述目标文件各自对应的临时数据表，并将各个所述目标文件更新到各自对应所述临时数据表中；将各个所述临时数据表汇总到所述基础数据层；基于汇总后的各个所述临时数据表中的所述目标文件中的数据，生成所述目标报表。
11.一种电子设备，其特征在于，所述电子设备包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至9中任一项所述的报表生成方法的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的报表生成方法的步骤。
13.一种计算机程序产品，其特征在于，所述计算机程序产品被存储在非易失的存储介质中，所述计算机程序产品被至少一个处理器执行以实现如权利要求1至9中任一项所述的报表生成方法的步骤。
CN202311272481.7A 2023-09-27 2023-09-27 报表生成方法、系统、设备、可读存储介质及产品 Pending CN117312418A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311272481.7A CN117312418A (zh) 2023-09-27 2023-09-27 报表生成方法、系统、设备、可读存储介质及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311272481.7A CN117312418A (zh) 2023-09-27 2023-09-27 报表生成方法、系统、设备、可读存储介质及产品

Publications (1)

Publication Number Publication Date
CN117312418A true CN117312418A (zh) 2023-12-29

Family

ID=89284375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311272481.7A Pending CN117312418A (zh) 2023-09-27 2023-09-27 报表生成方法、系统、设备、可读存储介质及产品

Country Status (1)

Country Link
CN (1) CN117312418A (zh)

Similar Documents

Publication Publication Date Title
CN103513983B (zh) 用于预测性警报阈值确定工具的方法和系统
JP2023062126A (ja) データ品質分析
CN105183625A (zh) 一种日志数据处理方法和装置
CN105868373B (zh) 电力业务信息系统关键数据处理方法及装置
CN112199394A (zh) 告警信息推送方法、系统、智能终端及存储介质
KR20090046738A (ko) 제조 예측 서버
CN110457371A (zh) 数据管理方法、装置、存储介质及系统
CN114416703A (zh) 数据完整性自动监控方法、装置、设备及介质
CN112667612A (zh) 一种数据质量检核方法、装置、电子设备及存储介质
CN115964272A (zh) 交易数据自动化测试方法、装置、设备及可读存储介质
CN116541372A (zh) 一种数据资产治理方法及系统
CN111367982A (zh) 导入tririga基础数据的方法、装置、计算机设备及存储介质
CN112488730B (zh) 一种产品召回任务处理方法、装置及设备
CN113780906A (zh) 机台管理方法、装置及计算机可读存储介质
CN117312418A (zh) 报表生成方法、系统、设备、可读存储介质及产品
CN115481026A (zh) 测试案例的生成方法、装置、计算机设备、存储介质
CN112448840B (zh) 一种通信数据质量监控方法、装置、服务器及存储介质
CN113935788A (zh) 模型评估方法、装置、设备及计算机可读存储介质
CN113051165A (zh) 一种处理提测单的方法、装置、监控服务器及介质
CN112950138B (zh) 协同开发的状态管理方法、装置和服务器
CN112418892B (zh) 一种基于产品召回的业务处理方法、装置及设备
US20230244686A1 (en) Automatic determination of alternative paths for a process flow using machine learning
CN117609362A (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN115914365A (zh) 一种自动化营销结果的确定方法、装置、设备及介质
CN115237917A (zh) 数据中台的数据计算方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination