CN117555541B - 数据页面展示方法、装置、设备及存储介质 - Google Patents

数据页面展示方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117555541B
CN117555541B CN202410038794.4A CN202410038794A CN117555541B CN 117555541 B CN117555541 B CN 117555541B CN 202410038794 A CN202410038794 A CN 202410038794A CN 117555541 B CN117555541 B CN 117555541B
Authority
CN
China
Prior art keywords
data
real
time
page
distributed computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410038794.4A
Other languages
English (en)
Other versions
CN117555541A (zh
Inventor
陈灏
马家辉
胡然然
单银龙
朱雪昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shouqianba Internet Technology Co ltd
Original Assignee
Shanghai Shouqianba Internet Technology Co ltd
Nanjing Yanli Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shouqianba Internet Technology Co ltd, Nanjing Yanli Technology Co ltd filed Critical Shanghai Shouqianba Internet Technology Co ltd
Priority to CN202410038794.4A priority Critical patent/CN117555541B/zh
Publication of CN117555541A publication Critical patent/CN117555541A/zh
Application granted granted Critical
Publication of CN117555541B publication Critical patent/CN117555541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2428—Query predicate definition using graphical user interfaces, including menus and forms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种数据页面展示方法、装置、设备及存储介质，涉及数据开发技术领域，该方法包括：基于需求方提供的用户数据要求，获取业务数据；其中，该业务数据包括：实时数据和离线数据；基于分布式计算引擎对业务数据进行数据集成和数据同步，生成数据统计表；基于数据统计表，配置数据页面并在需求方的前端进行展示。通过根据需求方提供的用户数据要求获取业务数据，基于分布式计算引擎生成低投入查询速度极快的数据统计报表，并配置数据页面在前端进行展示，可以帮助企业和开发人员快速开发高质量的业务数据页面，提高了开发效率和用户体验。

Description

数据页面展示方法、装置、设备及存储介质
技术领域
本申请涉及数据开发技术领域，具体而言，涉及一种数据页面展示方法、装置、设备及存储介质。
背景技术
在日常生活中，数据展示和数据统计是关键的工具，用于呈现和分析大量的信息。以销售数据为例，一家全球性电子消费品公司可以收集和分析销售额、销售量、市场份额等指标，以及消费者的反馈数据。为了更好地展示和统计这些数据，通常使用数据可视化工具如图表、图形和仪表盘，以直观的方式呈现销售趋势和市场份额分布。同时，可利用数据分析软件进行统计分析，计算平均销售额、增长率等指标，以挖掘数据背后的洞察力。数据展示和数据统计在现代商业中扮演着关键的角色，帮助组织实现业务增长和成功。
目前，现有数据开发模式，前端网页细化开发时间周期长、离线大数据查询耗时长、各个需求方要求的页面样式和数据统计不一致，需要针对不同需求方，定制化数据，从而导致了迭代数据页面速度慢。
发明内容
有鉴于此，本申请实施例的目的在于提供一种数据页面展示方法、装置、设备及存储介质，通过根据需求方提供的用户数据要求获取业务数据，基于MaxCompute分布式计算引擎下Hologres、Odps、Flink等技术相结合生成低投入查询速度极快的数据统计报表，并配置数据页面在前端进行展示，可为不同需求方提供一套统一的开发数据页面，大大提升了开发效率，从而解决上述技术问题。
第一方面，本申请实施例提供一种数据页面展示方法，所述方法包括：基于需求方提供的用户数据要求，获取业务数据；其中，所述业务数据包括：实时数据和离线数据；基于分布式计算引擎对所述业务数据进行数据集成和数据同步，生成数据统计表；基于所述数据统计表，配置数据页面并在所述需求方的前端进行展示。
在上述实现过程中，通过根据需求方提供的用户数据要求获取业务数据，基于分布式计算引擎生成低投入查询速度极快的数据统计报表，并配置数据页面在前端进行展示，可以帮助企业和开发人员快速开发高质量的业务数据页面，提高了开发效率和用户体验。
可选地，所述基于需求方提供的用户数据要求，获取业务数据，包括：基于需求方提供的用户实时数据要求，实时解析业务库数据日志获取实时数据；和/或，基于需求方提供的用户离线数据要求，将离线数据同步至数据集成仓库。
在上述实现过程中，通过基于需求方提供的用户数据要求，分为离线数据和实时数据分别进行处理，提高了数据处理能力，减少了开发成本。
可选地，所述业务数据包括：实时数据；所述基于分布式计算引擎对所述业务数据进行数据集成和数据同步，生成数据统计表，包括：判断所述实时数据的数据量大小、计算逻辑复杂程度是否满足预设条件；根据判断结果，基于分布式计算引擎对所述实时数据进行数据集成和数据同步，生成数据统计表。
在上述实现过程中，通过将实时数据根据数据量大小、计算逻辑复杂程度分为不同的数据处理方式，提高了数据处理能力，减少了开发成本。
可选地，所述根据判断结果，基于分布式计算引擎对所述实时数据进行数据集成和数据同步，生成数据统计表，包括：若所述实时数据的数据量大小、计算逻辑复杂程度不满足预设条件，则基于分布式计算引擎创建外部数据表，将外部数据源中的实时数据映射到所述分布式计算引擎相应的云数据仓库中，并基于Hologres视图计算和Hologres数据同步所述实时数据，生成数据统计表。
在上述实现过程中，通过对数据量小、数据计算逻辑复杂程度低的实时数据进行直接简单的视图计算处理，节省了计算资源，提高了数据处理能力。
可选地，所述根据判断结果，基于分布式计算引擎对所述实时数据进行数据集成和数据同步，生成数据统计表，包括：若所述实时数据的数据量大小、计算逻辑复杂程度不满足预设条件，则将所述实时数据存储到Kafka消息队列中，对所述实时数据进行Flink实时计算，并进行Hologres数据同步，生成数据统计表。
在上述实现过程中，通过对数据量大、数据计算逻辑复杂程度高的实时数据进行直接简单的视图计算处理，能够快速处理离线数据，提高了数据处理能力。
可选地，所述业务数据包括：离线数据；所述基于分布式计算引擎对所述实时数据进行数据集成和数据同步，包括：基于数据集成仓库的定时任务读取所述离线数据；基于分布式计算引擎创建外部数据表，将外部数据源中的所述离线数据映射到所述分布式计算引擎相应的云数据仓库中，并基于所述云数据仓库的数据计算和Hologres数据同步所述离线数据，生成数据统计表。
在上述实现过程中，通过对离线数据进行定时读取、Hologres同步，能够快速处理离线数据，实现了离线大数据查询速度快的优势，提高了数据处理能力。
可选地，所述数据页面包括：图表的公共配置项和私有配置项；所述基于所述数据统计表，配置数据页面并在所述需求方的前端进行展示，包括：基于所述数据统计表，配置数据页面的公共配置项和私有配置项；并基于所述公共配置项和所述私有配置项定义所述数据页面的展示内容；其中，所述展示内容包括：所述数据页面的数据源、样式和交互行为；在所述需求方的前端进行展示。
在上述实现过程中，通过支持配置数据源和配置数据页面，俩者相结合形成数据页面发布到提定系统页面中的一体化流程的特点替代了传统开发模式，大大减少了开发成本，此外还可以支持简单个性化页面配置，可以让每个需求方制作需要的页面样式，提高了用户体验。
第二方面，本申请实施例提供了一种数据页面展示装置，所述装置包括：获取数据模块，用于基于需求方提供的用户数据要求，获取业务数据；其中，所述业务数据包括：实时数据和离线数据；数据统计模块，用于基于分布式计算引擎对所述业务数据进行数据集成和数据同步，生成数据统计表；数据展示模块，用于基于所述数据统计表，配置数据页面并在所述需求方的前端进行展示。
第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器执行时执行上述的方法的步骤。
第四方面，本申请实施例提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的方法的步骤。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种数据页面展示方法的流程图；
图2为本申请实施例提供的一种数据报表展示流程的示例图；
图3为本申请实施例提供的一种数据报表生成流程的示例图；
图4为本申请实施例提供的数据页面展示装置的功能模块示意图；
图5为本申请实施例提供数据页面展示装置的电子设备的方框示意图。
图标：210-获取数据模块；220-数据统计模块；230-数据展示模块；300-电子设备；311-存储器；312-存储控制器；313-处理器；314-外设接口；315-输入输出单元；316-显示单元。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在介绍本申请实施例前，首先对本申请涉及的技术概念作简要介绍。
MaxCompute：基于ODPS SQL语句和MaxCompute的分布式计算引擎。ODPS SQL语句可以实现数据的查询、清洗、转换等操作，而MaxCompute的分布式计算引擎可以实现数据的高效处理和分析。在数据同步过程中，MaxCompute会将数据分片处理，并通过分布式计算引擎实现数据的高效同步和处理。同时，MaxCompute还提供了数据加密、数据备份等安全机制，保障数据的安全性和可靠性。
DataWorks：数据集成工具，可以帮助用户快速实现不同数据源之间的数据同步。使用DataWorks，可以通过可视化界面配置数据同步任务，并支持定时调度和监控。除了DataWorks，还包括其他数据集成工具，如Kettle、Sqoop等。
Hologres：通过分布式存储和计算、混合存储、智能索引和优化器、实时数据同步以及弹性扩展性等技术手段，实现了查询耗时时间短的优势，在处理大规模数据和高并发查询时表现出色，为用户提供了快速的数据查询和分析能力。
ODPS：开发数据处理服务(Open Data Processing Service)，2016年后更名MaxComputer，ODPS是一种由A公司自主研发，针对TB/PB级数据、实时性要求不高的分布式处理服务。主要服务于批量结构化数据的存储和计算，可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。
Flink：以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行。
本申请发明人注意到，为了更好地展示和统计销售数据，可使用数据可视化工具如图表、图形和仪表盘，以直观的方式呈现销售趋势和市场份额分布。同时，可利用数据分析软件进行统计分析，计算平均销售额、增长率等指标，以挖掘数据背后的洞察力。这些数据展示和数据统计的结果帮助企业了解市场表现和消费者需求，制定更有效的销售策略，优化产品组合，并及时应对市场变化。此外，数据展示和数据统计也用于内部团队和外部合作伙伴之间的信息分享，推动合作和决策制定。总之，数据展示和数据统计在现代商业中扮演着关键的角色，帮助组织实现业务增长和成功。然而，现有数据开发模式，前端网页细化开发时间周期长、离线大数据查询耗时长、各个需求方要求的页面样式和数据统计不一致，需要针对不同需求方，定制化数据，从而导致了迭代数据页面速度慢。有鉴于此，本申请实施例提供了一种如下介绍的一种数据展示方法、装置、设备及存储介质。
请参阅图1，图1为本申请实施例提供的一种数据展示方法的流程图。下面对本申请实施例进行详细阐释。该方法可以包括：步骤100、步骤120和步骤140。
步骤100：基于需求方提供的用户数据要求，获取业务数据；其中，业务数据包括：实时数据和离线数据；
步骤120：基于分布式计算引擎对业务数据进行数据集成和数据同步，生成数据统计表；
步骤140：基于数据统计表，配置数据页面并在需求方的前端进行展示。
示例性地，数据集成可以是：将不同数据源中的业务数据集成到分布式计算引擎中，实现数据的统一管理和分析；数据集成可以通过数据集成工具实现，例如：DataWorks、Kettle、Sqoop等，也可以通过分布式计算引擎（例如：MaxCompute、Hadoop、Spark等）自身提供的ODPS SQL语句实现；数据集成的过程可以是：在分布式计算引擎中创建外部表，将外部表数据源中的业务数据映射到分布式计算引擎中；使用ODPS SQL语句将外部数据源中的业务数据同步到分布式计算引擎中；对同步到分布式计算引擎中的业务数据进行清洗和处理，以满足分析需求。数据同步可以是：将分布式计算引擎中的业务数据同步到其他数据源中，例如关系型数据库、NoSQL数据库等，数据同步可以通过DataX、Hologres等数据同步工具实现，也可以通过分布式计算引擎提供的SQL语句实现；数据同步的过程可以是：在数据同步工具中创建同步任务，指定源数据和目标数据的连接信息；配置同步任务的同步方式、同步频率、同步字段等参数；执行同步任务，将分布式计算引擎中的业务数据同步到目标数据源中。
可选地，如图2所示的一种实施例，涉及需求方、产品方和数据部门。需求方提出数据页面需求提交到产品方，其包括离线数据和/或实时数据，由于离线数据和实时数据，分别会分配给不同人员做数据采集汇总工作，因此在用户提出需求的时候需要明确。产品会根据需求方，需要展示什么样的数据，设计数据页面；产品方提交用户数据需求到数据部门；数据部门需要对数据来源进行分析和汇总，根据业务数据是否实时、数据的处理量以及成本考虑，基于分布式计算引擎对业务数据进行对应地数据集成和数据同步，生成数据表；数据部分交付数据表到需求方，需求方会根据数据表数据，对数据进行核对，当确定数据没有问题后，发送到产品方；产品方在设计数据页面时配置数据源和数据页面，配置完成后，联系权限管控人员新建资源位，随后点击完成并发布到web/app端等指定系统中的某个位置；同时，在配置时，可建立一个审批流程，这个审批流程中不仅可以体现页面的类型和内容，还可以体现配置的页面缩略图，让审批人员更加清晰知道数据表的内容，从而加强管控能力、发布的风险和规避传统发布的一系列耗时耗力的操作。
通过根据需求方提供的用户数据要求获取业务数据，基于分布式计算引擎生成低投入查询速度极快的数据统计报表，并配置数据页面在前端进行展示，可以帮助企业和开发人员快速开发高质量的业务数据页面，提高了开发效率和用户体验。
在一个实施例中，步骤100可以包括：步骤101和/或步骤102。
步骤101：基于需求方提供的用户实时数据要求，实时解析业务库数据日志获取实时数据；
步骤102：和/或，基于需求方提供的用户离线数据要求，将离线数据同步至数据集成仓库。
示例性地，如图3所示，分布式计算引擎以MaxCompute为例进行介绍，需求方提出数据页面需求，其包括mysql、业务指标、绩效核算和组织人员中的离线数据和/或实时数据。对于当天时间的实时数据，确定各个业务数据位置后，可通过实时日志捕获解析技术获取业务库数据日志，实时日志捕获技术通常用于实时监测和捕获系统运行过程中产生的事件和日志信息，可以通过基于syslog的实时日志捕获、基于SNMP的实时日志捕获、基于网络抓包的实时日志捕获、基于自定义协议的实时日志捕获等多种方式实时解析和获取当天的业务数据。对于昨天及之前的离线数据，确定各个业务数据位置后，可使用Hadoop生态系统中的HDFS和YARN等数据同步技术，将业务离线数据同步至Dataworks数据集成仓库中。通过基于需求方提供的用户数据要求，分为离线数据和实时数据分别进行处理，提高了数据处理能力，减少了开发成本。
在一个实施例中，该业务数据包括：实时数据；步骤120可以包括：步骤121和步骤122。
步骤121：判断实时数据的数据量大小、计算逻辑复杂程度是否满足预设条件；
步骤122：根据判断结果，基于分布式计算引擎对实时数据进行数据集成和数据同步，生成数据统计表。
示例性地，预设条件可以是：实时数据的数据量大小是否符合预设大小，例如数据量是否大于百万级别，若大于百万级别应该进行更复杂的计算；实时数据计算逻辑复杂程度是否符合预设预期，例如计算的指标若为多个、多表查询问题，表明比较复杂，符合预期，进行更复杂的计算。获取数据后，需提前评估分析实时数据量大小、计算逻辑复杂程度，判断是否满足预设条件，例如图3中，根据实时数据量是否大于百万级别得到不同的判断结果，根据不同的判断结果，基于分布式计算引擎MaxCompute对实时数据进行不同处理方式的数据集成和数据同步，获得数据统计表。通过将实时数据根据数据量大小、计算逻辑复杂程度分为不同的数据处理方式，提高了数据处理能力，减少了开发成本。
在一个实施例中，步骤122可以包括：步骤1221。
步骤1221：若实时数据的数据量大小、计算逻辑复杂程度不满足预设条件，则基于分布式计算引擎创建外部数据表，将外部数据源中的实时数据映射到分布式计算引擎相应的云数据仓库中，并基于Hologres视图计算和Hologres数据同步实时数据，生成数据统计表。
示例性地，Hologres通过分布式存储和计算、混合存储、智能索引和优化器、实时数据同步以及弹性扩展性等技术手段，实现了查询耗时时间短的优势，在处理大规模数据和高并发查询时表现出色，为用户提供了快速的数据查询和分析能力。如图3所示，如果实时数据的数据量小于百万级别，表明实时数据未达到复杂计算处理的预设条件，则可以直接通过在MaxCompute分布式计算引擎中创建外部表，该外部表可以是代表工资、业绩、绩效、加班、全勤等业务数据的多个小表，将外部数据源中的这些实时数据映射到MaxCompute云数据仓库中，然后通过MaxCompute分布式计算引擎下自带的Hologres视图计算能力计算并汇总这些小表的数据，并同步至Hologres内表：holo表中，最后使用Java开发语言和Hologres官方提供的API，读取表中数据，提供到前端研发人员。通过对数据量小、数据计算逻辑复杂程度低的实时数据进行直接简单的视图计算处理，节省了计算资源，提高了数据处理能力。
在一个实施例中，步骤122可以包括：步骤1222。
步骤1222：若实时数据的数据量大小、计算逻辑复杂程度不满足预设条件，则将实时数据存储到Kafka消息队列中，对实时数据进行Flink实时计算，并进行Hologres数据同步，生成数据统计表。
示例性地，如图3所示，如果实时数据的数据量大于百万级别，表明实时数据达到复杂计算处理的预设条件，则可以运用Kafka消息队列技术，将捕获到的业务表日志放到消息队列中，Kafka是一个分布式的消息系统，可通过发布-订阅模型实现业务表日志消息的传递，支持点对点消息和发布订阅模型；再运用Flink实时计算技术对业务数据进行数据计算，Flink可以作为流计算的框架，可在DAG中定义一个动态的Node，将所有的数据流到Node中，然后再根据当前的加载情况去分发数据进行计算；将Flink计算好后的最终贴合的业务数据，运用Hologres数据同步技术，把数据增量的输出到Hologres表中。通过对数据量大、数据计算逻辑复杂程度高的实时数据进行直接简单的视图计算处理，能够快速处理离线数据，提高了数据处理能力。
在一个实施例中，该业务数据包括：离线数据；步骤120可以包括：步骤123和步骤124。
步骤123：基于数据集成仓库的定时任务读取离线数据；
步骤124：基于分布式计算引擎创建外部数据表，将外部数据源中的离线数据映射到分布式计算引擎相应的云数据仓库中，并基于云数据仓库的数据计算和Hologres数据同步离线数据，生成数据统计表。
示例性地，数据集成仓库的定时任务可以是：Dataworks的定时任务，MaxCompute分布式数据引擎支持定时任务（Job Schedule），可以根据时间、依赖关系、资源约束等条件配置不同的任务，并自动执行和监控这些任务，使用定时任务，可以实现定期从数据源中导入数据MaxCompute分布式数据引擎中，并进行相应的清洗、转换和计算。可选地，借助Datawork定时任务能力，每天设置一个时间点读取离线数据，运用MaxCompute计算能力，将最终计算结果生成到一张表中；在MaxCompute中创建外部表，将外部数据源中的离线数据映射到MaxCompute中，使用Java开发语言和Hologres官方提供的API，读取表中数据，提供给前端封装好的API。计算的方式可以是：某人这个月工资可能由3部分组成，这3部分可能分落在3张表中，通过MaxCompute计算把3张表中的工资字段加起来，然后新建一个表，并汇总到这个新表中。通过对离线数据进行定时读取、Hologres同步，能够快速处理离线数据，实现了离线大数据查询速度快的优势，提高了数据处理能力。
在一个实施例中，该数据页面包括：图表的公共配置项和私有配置项；步骤140可以包括：步骤141、步骤142和步骤143。
步骤141：基于数据统计表，配置数据页面的公共配置项和私有配置项；
步骤142：并基于公共配置项和私有配置项定义数据页面的展示内容；其中，展示内容包括：数据页面的数据源、样式和交互行为；
步骤143：在需求方的前端进行展示。
示例性地，基于Hologresgres、Odps、Flink等技术相结合为前端开发输送可快速查询的API，允许用户使用简单的拖放和配置操作，从而快速生成业务数据页面。用户可以选择预定义的组件和布局，或者自定义组件和布局满足其具体需求。基于操作界面提供的组件配置模块，用户还可以通过简单的配置操作来定义数据页面的数据源、样式和交互行为，从而快速生成高质量的业务数据页面。其中，页面图表的配置主要分为两类：图表的公共配置和图表的私有配置；公共配置是默认的，会在图表渲染时注入到单个图表，是共有都可以访问的，私有配置是在操作界面为每个组件分配的配置项，不是公共访问的；通过这些配置项可以定义页面的数据源、样式和交互行为。例如：配置的页面图表ECharts 5是ECharts 图表库的最新版本，可支持丰富的可视化功能，包括图表、地图、仪表盘和数据可视化等，可以帮助用户更好地展示和分析数据。配置完成通过发布流程自动化方式发布到前端，避免了传统发布在灰度、app发版本等一系列为了保证安全方面的操作要求，不仅耗时耗力，还有发布失败风险的问题。
通过支持配置数据源和配置数据页面，俩者相结合形成数据页面发布到提定系统页面中的一体化流程的特点替代了传统开发模式，大大减少了开发成本，此外还可以支持简单个性化页面配置，可以让每个需求方制作需要的页面样式，提高了用户体验。
请参阅图4，图4为本申请实施例提供的一种数据页面展示装置的功能模块示意图，该装置包括：获取数据模块210、数据统计模块220和数据展示模块230。
获取数据模块210，用于基于需求方提供的用户数据要求，获取业务数据；其中，所述业务数据包括：实时数据和离线数据；
数据统计模块220，用于基于分布式计算引擎对所述业务数据进行数据集成和数据同步，生成数据统计表；
数据展示模块230，用于基于所述数据统计表，配置数据页面并在所述需求方的前端进行展示。
可选地，获取数据模块210可以用于：
基于需求方提供的用户实时数据要求，实时解析业务库数据日志获取实时数据；
和/或，基于需求方提供的用户离线数据要求，将离线数据同步至数据集成仓库。
可选地，所述业务数据包括：实时数据；数据统计模块220可以用于：
判断所述实时数据的数据量大小、计算逻辑复杂程度是否满足预设条件；
根据判断结果，基于分布式计算引擎对所述实时数据进行数据集成和数据同步，生成数据统计表。
可选地，数据统计模块220可以用于：
若所述实时数据的数据量大小、计算逻辑复杂程度不满足预设条件，则基于分布式计算引擎创建外部数据表，将外部数据源中的实时数据映射到所述分布式计算引擎相应的云数据仓库中，并基于Hologres视图计算和Hologres数据同步所述实时数据，生成数据统计表。
可选地，数据统计模块220可以用于：
若所述实时数据的数据量大小、计算逻辑复杂程度不满足预设条件，则将所述实时数据存储到Kafka消息队列中，对所述实时数据进行Flink实时计算，并进行Hologres数据同步，生成数据统计表。
可选地，所述业务数据包括：离线数据；数据统计模块220可以用于：
基于数据集成仓库的定时任务读取所述离线数据；
基于分布式计算引擎创建外部数据表，将外部数据源中的所述离线数据映射到所述分布式计算引擎相应的云数据仓库中，并基于所述云数据仓库的数据计算和Hologres数据同步所述离线数据，生成数据统计表。
可选地，所述数据页面包括：图表的公共配置项和私有配置项；数据展示模块230可以用于：
基于所述数据统计表，配置数据页面的公共配置项和私有配置项；
并基于所述公共配置项和所述私有配置项定义所述数据页面的展示内容；其中，所述展示内容包括：所述数据页面的数据源、样式和交互行为；
在所述需求方的前端进行展示。
请参阅图5，图5是电子设备的方框示意图。电子设备300可以包括存储器311、存储控制器312、处理器313、外设接口314、输入输出单元315、显示单元316。本领域普通技术人员可以理解，图5所示的结构仅为示意，其并不对电子设备300的结构造成限定。例如，电子设备300还可包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。
上述的存储器311、存储控制器312、处理器313、外设接口314、输入输出单元315、显示单元316各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。上述的处理器313用于执行存储器中存储的可执行模块。
其中，存储器311可以是，但不限于，随机存取存储器（Random Access Memory，简称RAM），只读存储器（Read Only Memory，简称ROM），可编程只读存储器（ProgrammableRead-Only Memory，简称PROM），可擦除只读存储器（Erasable Programmable Read-OnlyMemory，简称EPROM），电可擦除只读存储器（Electric Erasable Programmable Read-OnlyMemory，简称EEPROM）等。其中，存储器311用于存储程序，所述处理器313在接收到执行指令后，执行所述程序，本申请实施例任一实施例揭示的过程定义的电子设备300所执行的方法可以应用于处理器313中，或者由处理器313实现。
上述的处理器313可能是一种集成电路芯片，具有信号的处理能力。上述的处理器313可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(digital signalprocessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
上述的外设接口314将各种输入/输出装置耦合至处理器313以及存储器311。在一些实施例中，外设接口314，处理器313以及存储控制器312可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。
上述的输入输出单元315用于提供给用户输入数据。所述输入输出单元315可以是，但不限于，鼠标和键盘等。
上述的显示单元316在电子设备300与用户之间提供一个交互界面（例如用户操作界面）给用户参考。在本实施例中，所述显示单元316可以是液晶显示器或触控显示器。液晶显示器或触控显示器可以对处理器执行所述程序的过程进行显示。
本实施例中的电子设备300可以用于执行本申请实施例提供的各个方法中的各个步骤。
此外，本申请实施例还提供一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中的步骤。
本申请实施例所提供的上述方法的计算机程序产品，包括存储了程序代码的存储介质，所述程序代码包括的指令可用于执行上述方法实施例中的步骤，具体可参见上述方法实施例，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。在本申请实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种数据页面展示方法，其特征在于，所述方法包括：
基于需求方提供的用户数据要求，获取业务数据；其中，所述业务数据包括：实时数据和离线数据；
基于分布式计算引擎对所述业务数据进行数据集成和数据同步，生成数据统计表；
基于所述数据统计表，配置数据页面并在所述需求方的前端进行展示；
其中，所述基于分布式计算引擎对所述业务数据进行数据集成和数据同步，生成数据统计表，包括：
判断所述实时数据的数据量大小、计算逻辑复杂程度是否满足预设条件；若所述实时数据的数据量大小、计算逻辑复杂程度不满足预设条件，则基于MaxCompute分布式计算引擎创建外部数据表，将外部数据源中的实时数据映射到所述分布式计算引擎相应的云数据仓库中，并基于Hologres视图计算和Hologres数据同步所述实时数据，生成数据统计表；其中，所述外部数据表包括：代表工资、业绩、绩效、加班、全勤业务数据的多个小表；所述数据统计表为：Hologres内部表。
2.根据权利要求1所述的方法，其特征在于，所述基于需求方提供的用户数据要求，获取业务数据，包括：
基于需求方提供的用户实时数据要求，实时解析业务库数据日志获取实时数据；
和/或，基于需求方提供的用户离线数据要求，将离线数据同步至数据集成仓库。
3.根据权利要求1所述的方法，其特征在于，根据判断结果，基于分布式计算引擎对所述实时数据进行数据集成和数据同步，生成数据统计表，包括：
若所述实时数据的数据量大小、计算逻辑复杂程度不满足预设条件，则将所述实时数据存储到Kafka消息队列中，对所述实时数据进行Flink实时计算，并进行Hologres数据同步，生成数据统计表。
4.根据权利要求1所述的方法，其特征在于，所述业务数据包括：离线数据；
所述基于分布式计算引擎对所述实时数据进行数据集成和数据同步，包括：
基于数据集成仓库的定时任务读取所述离线数据；
基于分布式计算引擎创建外部数据表，将外部数据源中的所述离线数据映射到所述分布式计算引擎相应的云数据仓库中，并基于所述云数据仓库的数据计算和Hologres数据同步所述离线数据，生成数据统计表。
5.根据权利要求1所述的方法，其特征在于，所述数据页面包括：图表的公共配置项和私有配置项；所述基于所述数据统计表，配置数据页面并在所述需求方的前端进行展示，包括：
基于所述数据统计表，配置数据页面的公共配置项和私有配置项；
并基于所述公共配置项和所述私有配置项定义所述数据页面的展示内容；其中，所述展示内容包括：所述数据页面的数据源、样式和交互行为；
在所述需求方的前端进行展示。
6.一种数据页面展示装置，其特征在于，所述装置包括：
获取数据模块，用于基于需求方提供的用户数据要求，获取业务数据；其中，所述业务数据包括：实时数据和离线数据；
数据统计模块，用于基于分布式计算引擎对所述业务数据进行数据集成和数据同步，生成数据统计表；其中，所述数据统计模块还用于：判断所述实时数据的数据量大小、计算逻辑复杂程度是否满足预设条件；若所述实时数据的数据量大小、计算逻辑复杂程度不满足预设条件，则基于MaxCompute分布式计算引擎创建外部数据表，将外部数据源中的实时数据映射到所述分布式计算引擎相应的云数据仓库中，并基于Hologres视图计算和Hologres数据同步所述实时数据，生成数据统计表；其中，所述外部数据表包括：代表工资、业绩、绩效、加班、全勤业务数据的多个小表；所述数据统计表为：Hologres内部表；
数据展示模块，用于基于所述数据统计表，配置数据页面并在所述需求方的前端进行展示。
7.一种电子设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器执行时执行如权利要求1至5任一所述的方法的步骤。
8.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至5任一所述的方法的步骤。
CN202410038794.4A 2024-01-11 2024-01-11 数据页面展示方法、装置、设备及存储介质 Active CN117555541B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410038794.4A CN117555541B (zh) 2024-01-11 2024-01-11 数据页面展示方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410038794.4A CN117555541B (zh) 2024-01-11 2024-01-11 数据页面展示方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN117555541A CN117555541A (zh) 2024-02-13
CN117555541B true CN117555541B (zh) 2024-04-09

Family

ID=89813169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410038794.4A Active CN117555541B (zh) 2024-01-11 2024-01-11 数据页面展示方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117555541B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684352A (zh) * 2018-12-29 2019-04-26 江苏满运软件科技有限公司 数据分析系统、方法、存储介质及电子设备
CN109753531A (zh) * 2018-12-26 2019-05-14 深圳市麦谷科技有限公司 一种大数据统计方法、系统、计算机设备及存储介质
CN115409345A (zh) * 2022-08-22 2022-11-29 上海数禾信息科技有限公司 业务指标计算方法、装置、计算机设备和存储介质
CN116303680A (zh) * 2023-03-23 2023-06-23 中国建设银行股份有限公司 数据处理方法、装置、设备及计算机存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753531A (zh) * 2018-12-26 2019-05-14 深圳市麦谷科技有限公司 一种大数据统计方法、系统、计算机设备及存储介质
CN109684352A (zh) * 2018-12-29 2019-04-26 江苏满运软件科技有限公司 数据分析系统、方法、存储介质及电子设备
CN115409345A (zh) * 2022-08-22 2022-11-29 上海数禾信息科技有限公司 业务指标计算方法、装置、计算机设备和存储介质
CN116303680A (zh) * 2023-03-23 2023-06-23 中国建设银行股份有限公司 数据处理方法、装置、设备及计算机存储介质

Also Published As

Publication number Publication date
CN117555541A (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
US10534773B2 (en) Intelligent query parameterization of database workloads
Tian et al. Characterizing and synthesizing task dependencies of data-parallel jobs in alibaba cloud
CN108536761B (zh) 报表数据查询方法及服务器
Simmhan et al. A framework for collecting provenance in data-centric scientific workflows
CN108733532B (zh) 大数据平台的健康度管控方法、装置、介质及电子设备
EP3032442B1 (en) Modeling and simulation of infrastructure architecture for big data
CN111339073A (zh) 实时数据处理方法、装置、电子设备及可读存储介质
US20060184410A1 (en) System and method for capture of user actions and use of capture data in business processes
CN111837121B (zh) 利用可执行逻辑来处理结构化数据项的基于键的日志记录
CN107103064B (zh) 数据统计方法及装置
US11615076B2 (en) Monolith database to distributed database transformation
Henning et al. A scalable architecture for power consumption monitoring in industrial production environments
CN107748752A (zh) 一种数据处理方法及装置
CN112926858A (zh) 电力营销业务运营指标设计方法及装置
Rekha et al. Survey on software project risks and big data analytics
CN114416891B (zh) 在知识图谱中进行数据处理的方法、系统、装置和介质
CN112187509A (zh) 多架构云平台执行日志管理方法、系统、终端及存储介质
Balliu et al. A big data analyzer for large trace logs
CN112130849B (zh) 代码自动生成方法及装置
CN117555541B (zh) 数据页面展示方法、装置、设备及存储介质
Herodotou Automatic tuning of data-intensive analytical workloads
Barry Resource utilization reporting
CN111553133B (zh) 报表生成方法、装置、电子设备及存储介质
AU2015101031A4 (en) System and a method for modelling the performance of information systems
CN115714807A (zh) 工业场景数据中台的设计系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Chen Hao

Inventor after: Ma Jiahui

Inventor after: Hu Ranran

Inventor after: Shan Yinlong

Inventor after: Zhu Xuechang

Inventor before: Chen Hao

Inventor before: Ma Jiahui

Inventor before: Hu Ranran

Inventor before: Shan Yinlong

Inventor before: Zhu Xuechang

CB03 Change of inventor or designer information
TR01 Transfer of patent right

Effective date of registration: 20240710

Address after: 200333, Room 306, Building 26, Lane 879, Zhongjiang Road, Putuo District, Shanghai

Patentee after: Shanghai shouqianba Internet Technology Co.,Ltd.

Country or region after: China

Address before: Room 2072, Building 1, No. 89 Shuanggao Road, Economic Development Zone, Gaochun District, Nanjing City, Jiangsu Province, 211300

Patentee before: Nanjing Yanli Technology Co.,Ltd.

Country or region before: China

Patentee before: Shanghai shouqianba Internet Technology Co.,Ltd.

TR01 Transfer of patent right