CN111104452A - 可视化数据大屏实现方法和实现系统 - Google Patents

可视化数据大屏实现方法和实现系统 Download PDF

Info

Publication number
CN111104452A
CN111104452A CN201911239912.3A CN201911239912A CN111104452A CN 111104452 A CN111104452 A CN 111104452A CN 201911239912 A CN201911239912 A CN 201911239912A CN 111104452 A CN111104452 A CN 111104452A
Authority
CN
China
Prior art keywords
data
report
screen
dpl
data source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911239912.3A
Other languages
English (en)
Other versions
CN111104452B (zh
Inventor
曾宇
郭庆
谢莹莹
宋怀明
于宏亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Shuguang Nanjing Computing Technology Co Ltd
Dawning Information Industry Co Ltd
Original Assignee
Zhongke Shuguang Nanjing Computing Technology Co Ltd
Dawning Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Shuguang Nanjing Computing Technology Co Ltd, Dawning Information Industry Co Ltd filed Critical Zhongke Shuguang Nanjing Computing Technology Co Ltd
Priority to CN201911239912.3A priority Critical patent/CN111104452B/zh
Publication of CN111104452A publication Critical patent/CN111104452A/zh
Application granted granted Critical
Publication of CN111104452B publication Critical patent/CN111104452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种可视化数据大屏实现方法及系统，其中可视化数据大屏实现方法包括：1、生成数据大屏上要显示的报表的DPL语句；2、获取数据大屏上所有报表的所有任务调度，为每个报表建立任务队列；获取所有任务队列的共同流程，得到数据大屏上正在显示的报表任务列表；对报表任务列表中的任务优先分配资源；所述资源包括：处理器资源，内存资源；3、配置数据大屏的参数；4、执行生成的DPL语句，执行结果存储于结果数据集中；根据结果数据集生成报表，在数据大屏上绘制生成的报表。该方法在呈现复杂的大数据分析结果时，具有较高的时效性。

Description

可视化数据大屏实现方法和实现系统
技术领域
本发明属于数据可视化技术领域，具体涉及一种数据大屏的实现方法和实现系统。
背景技术
大数据时代每时每刻都会产生大量数据，除了将数据有效存储之外，对大量数据实时进行可视化分析也已经成为迫切的需求。就数据量而言，单一结构的报表已无法满足数据可视化的需求，因此需要可同时配置显示多张高复杂度报表且保证查询速度快的数据大屏。
发明内容
发明目的：本发明旨在提供一种可视化数据大屏的实现方法，与现有技术相比，该方法在呈现复杂的大数据分析结果时，具有较高的时效性。
技术方案：本发明一方面公开了一种可视化数据大屏的实现方法，包括一下步骤：
(1)生成数据大屏上要显示的报表的DPL语句；
(2)获取数据大屏上所有复杂报表的所有任务调度，为每个复杂报表建立任务队列；所述复杂报表为对数据源进行复杂分析处理后生成的报表，所述复杂分析处理包括一个或多个计算流程；
获取所有任务队列的共同流程，得到数据大屏上正在显示的报表任务列表；
对报表任务列表中的任务优先分配资源；所述资源包括：处理器资源，内存资源；
(3)配置数据大屏的参数；
(4)执行生成的DPL语句，执行结果存储于结果数据集中；根据结果数据集生成报表，在数据大屏上绘制生成的报表。
另一方面，本发明公开了实现上述可视化数据大屏实现方法的系统，包括：
DPL语句生成模块，用于生成数据大屏上要显示的报表的DPL语句；
资源分配模块，用于获取数据大屏上所有复杂报表的所有任务调度，为每个复杂报表建立任务队列；所述复杂报表为对数据源进行复杂分析处理后生成的报表，所述复杂分析处理包括一个或多个计算流程；获取所有任务队列的共同流程，得到数据大屏上正在显示的报表任务列表；对报表任务列表中的任务优先分配资源；所述资源包括：处理器资源，内存资源；
参数配置模块，用于配置数据大屏的参数；
DPL语句执行模块，用于执行生成的DPL语句，并将执行结果存储于结果数据集中；
报表生成与绘制模块，用于根据结果数据集生成报表，在数据大屏上绘制生成的报表。
有益效果：与现有技术相比，本发明公开的可视化数据大屏实现方法根据正在显示的报表的需求来分配资源，能实现最大程度上系统资源的高效利用，由此来提高正在显示的报表任务的执行效率和速度。
附图说明
图1为实施例一公开的可视化数据大屏实现方法的流程图；
图2为绘制报表的流程图；
图3为实施例二中主动刷新分段请求策略的流程图；
图4为实施例一和实施例二公开的可视化数据大屏实现系统组成图；
图5为为实施例三中共用数据源的管理示意图；
图6为实施例三公开的可视化数据大屏实现系统组成图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明。
实施例一：
如图1所示，本实施例公开了一种可视化数据大屏实现方法，包括：
步骤1、生成数据大屏上要显示的报表的DPL语句；
对于要显示的报表需要根据报表的要求生成对应的DPL语句：首先查询数据源并返回该数据源包含的字段信息，其次配置生成报表数据的字段及条件，选择报表类型，最后转化为DPL查询语句。
DPL(Data Processing Language)是一种数据处理语言，其采用管道式的语法形式；提供快速的数据查询、分组聚合等功能；采用JDBC接口的交互形式；支持常用的SQL语法，支持多种聚合函数，同时支持对不同的数据类型设置过滤条件，灵活且能快速的获取到目标数据。
步骤2、获取数据大屏上所有复杂报表的所有任务调度，为每个复杂报表建立任务队列；复杂报表为对数据源进行复杂分析处理后生成的报表，所述复杂分析处理包括一个或多个计算流程，此时需要对复杂报表的生成分配相应的资源形成调度任务；
获取所有任务队列的共同流程，得到数据大屏上正在显示的报表任务列表；对报表任务列表中的任务优先分配资源；所述资源包括：处理器资源，内存资源；
根据正在显示的报表的需求来分配资源，能实现最大程度上系统资源的高效利用，由此来提高正在显示的报表任务的执行效率和速度。
步骤3、配置数据大屏的参数；
配置大屏首先需要设置屏幕分辨率以支持不同尺寸的屏幕，一般情况下默认的分辨率为1920*1080。设置屏幕主题生成不同风格的数据大屏，主题设置一般包括报表颜色、字体、字体颜色及屏幕背景等。
步骤4、执行生成的DPL语句，执行结果存储于结果数据集中；根据结果数据集生成报表，在数据大屏上绘制生成的报表；
本发明利用ECHARTS将结果数据集绘制成选择的报表类型并保存。ECHARTS是一个开源Javascript的图表库，可以流畅的运行在PC和移动设备上，兼容当前绝大部分浏览器，底层依赖轻量级的Canvas类库ZRender，提供直观、生动、可交互、可高度个性化定制的数据可视化图表。如图2所示为绘制报表的流程，包括：
1.显示页面发起报表分析请求，调用effect类中的修改方法；
2.effect调用service层接口方法；
3.service层获取结果数据集数据；
4.service获取结果后初步判断状态，如果是成功则返回到effect，失败则展示失败信息；
5.effect获取结果数据集数据后传给界面回调函数，回调函数展示绘制的报表。
数据大屏中报表保存的是配置信息，绘制报表时将会把配置信息拼装成DPL语句查询数据做到快速查询并绘制。
步骤5、定时执行生成的所有DPL语句，更新所有报表的结果数据集，从而刷新数据大屏上的报表。
执行一次数据大屏上所有报表的DPL语句耗时较长，因此采用定时刷新来获取最新数据，按照配置的时间点或频率来执行生成的所有DPL语句，将执行结果保存在结果数据集中缓存，从而定时刷新所显示的报表。除定时刷新外，数据大屏也可以主动刷新，此时通过读取每个报表的结果数据集中的数据来实现报表更新，以提高复杂任务流报表的刷新速度。
实施例二：
本实施例在实施例一的基础上改进了数据大屏主动刷新的流程。在实施例一中，数据大屏主动修改时直接读取缓存在结果数据集中的数据，但可能存在由于数据源的内容发生了变化而结果数据集没有相应的更新，导致主动刷新没有响应数据源的变化。本实施例中采用分段请求的策略来保证主动刷新获取最新的数据。
在实施例一的基础上，当数据大屏主动刷新时，先读取每个报表的结果数据集中的数据来实现报表更新；同时执行每个报表对应的DPL语句，根据执行结果更新结果数据集，并再次更新报表，流程如图3所示。
这样的分段式请求策略既保证了数据大屏刷新不会无响应的加载，又保证了第一时间执行任务获取最新的数据用于显示，提高了数据大屏显示的时效性。
图4为实现本实施例一和实施例二中可视化数据大屏实现方法的系统，包括：
DPL语句生成模块1，用于生成数据大屏上要显示的报表的DPL语句；
资源分配模块2，用于获取数据大屏上所有复杂报表的所有任务调度，为每个复杂报表建立任务队列；所述复杂报表为对数据源进行复杂分析处理后生成的报表，所述复杂分析处理包括一个或多个计算流程；获取所有任务队列的共同流程，得到数据大屏上正在显示的报表任务列表；对报表任务列表中的任务优先分配资源；所述资源包括：处理器资源，内存资源；
参数配置模块3，用于配置数据大屏的参数；
DPL语句执行模块4，用于执行生成的DPL语句，并将执行结果存储于结果数据集中；
报表生成与绘制模块5，用于根据结果数据集生成报表，在数据大屏上绘制生成的报表。
数据大屏主动刷新模块6，所述数据大屏主动刷新模块有两种工作模式，在模式一下，数据大屏主动刷新模块6通过读取每个报表的结果数据集中的数据来实现数据大屏上报表更新。在模式二下，数据大屏主动刷新模块6在主动刷新时，先读取每个报表的结果数据集中的数据来实现报表更新；执行每个报表对应的DPL语句，根据执行结果更新结果数据集，并再次更新报表。
数据大屏定时刷新模块7，用于定时执行生成的所有DPL语句，更新所有报表的结果数据集，从而刷新数据大屏上的报表。
实施例三：
本实施例在实施例一的基础上改进了数据大屏显示和刷新时对数据源的管理。数据大屏上大量报表显示时会有不同报表关联相同的数据源，为了保证多个报表显示和刷新时关联的共享及同源数据一致性，在报表生成和刷新时还包括以下步骤：
获取每个报表对应的DPL语句关联的数据源，得到数据源列表；所述数据源列表中每个数据源被关联的次数作为数据源引用计数；
数据大屏刷新时，所述数据源列表中的数据源只加载一份；执行每个报表对应的DPL语句；当一个报表的DPL语句执行完毕后，所述报表DPL语句关联的数据源的引用计数减一；
数据源的引用计数为0时，释放所述数据源。
本实施例中的刷新包括定时刷新和主动刷新。
如图5所示，本实施例中报表显示和刷新时有3个任务引用到数据源A，则数据源A的引用计数为3，数据源A只被加载一次。当引用A的三个任务中有一个任务使用A完毕或超时，则A的引用计数减一，直到A的引用计数为0，则数据源A在本次显示或刷新中使用完毕，将其释放；下次使用时重新读取数据源A。
当一个任务使用数据源发生了超时，意味着任务执行失败，即数据大屏上显示的报表可能存在数据不一致的情况，此时可以采用发告警信息，或停止所有报表的更新。
本实施例中的数据源管理方法保证了数据大屏上所有报表基础数据的一致性，避免不同时间产生的报表由于缺乏数据一致性而造成的误导和分析结果偏差。
图6为实现本实施例中可视化数据大屏实现方法的系统，在图4的基础上增增加了数据源管理模块8，数据源关联模块用于获取每个报表对应的DPL语句关联的数据源，得到数据源列表；所述数据源列表中每个数据源被关联的次数作为数据源引用计数；数据大屏刷新时，所述数据源列表中的数据源只加载一份；执行每个报表对应的DPL语句；当一个报表的DPL语句执行完毕后，所述报表DPL语句关联的数据源的引用计数减一；
数据源的引用计数为0时，释放所述数据源。

Claims (10)

1.可视化数据大屏实现方法，其特征在于，包括：
(1)生成数据大屏上要显示的报表的DPL语句；
(2)获取数据大屏上所有复杂报表的所有任务调度，为每个复杂报表建立任务队列；所述复杂报表为对数据源进行复杂分析处理后生成的报表，所述复杂分析处理包括一个或多个计算流程；
获取所有任务队列的共同流程，得到数据大屏上正在显示的报表任务列表；
对报表任务列表中的任务优先分配资源；所述资源包括：处理器资源，内存资源；
(3)配置数据大屏的参数；
(4)执行生成的DPL语句，执行结果存储于结果数据集中；根据结果数据集生成报表，在数据大屏上绘制生成的报表。
2.根据权利要求1所述的可视化数据大屏实现方法，其特征在于，还包括：
数据大屏主动刷新：读取每个报表的结果数据集中的数据来实现报表更新。
3.根据权利要求1所述的可视化数据大屏实现方法，其特征在于，还包括：
数据大屏主动刷新：先读取每个报表的结果数据集中的数据来实现报表更新；执行每个报表对应的DPL语句，根据执行结果更新结果数据集，并再次更新报表。
4.根据权利要求1所述的可视化数据大屏实现方法，其特征在于，还包括：
获取每个报表对应的DPL语句关联的数据源，得到数据源列表；所述数据源列表中每个数据源被关联的次数作为数据源引用计数；
数据大屏刷新时，所述数据源列表中的数据源只加载一份；执行每个报表对应的DPL语句；当一个报表的DPL语句执行完毕后，所述报表DPL语句关联的数据源的引用计数减一；
数据源的引用计数为0时，释放所述数据源。
5.根据权利要求1所述的可视化数据大屏实现方法，其特征在于，还包括：
定时执行生成的所有DPL语句，更新所有报表的结果数据集，从而刷新数据大屏上的报表。
6.可视化数据大屏实现系统，其特征在于，包括：
DPL语句生成模块，用于生成数据大屏上要显示的报表的DPL语句；
资源分配模块，用于获取数据大屏上所有复杂报表的所有任务调度，为每个复杂报表建立任务队列；所述复杂报表为对数据源进行复杂分析处理后生成的报表，所述复杂分析处理包括一个或多个计算流程；获取所有任务队列的共同流程，得到数据大屏上正在显示的报表任务列表；对报表任务列表中的任务优先分配资源；所述资源包括：处理器资源，内存资源；
参数配置模块，用于配置数据大屏的参数；
DPL语句执行模块，用于执行生成的DPL语句，并将执行结果存储于结果数据集中；
报表生成与绘制模块，用于根据结果数据集生成报表，在数据大屏上绘制生成的报表。
7.根据权利要求6所述的可视化数据大屏实现系统，其特征在于，还包括数据大屏主动刷新模块，所述数据大屏主动刷新模块通过读取每个报表的结果数据集中的数据来实现数据大屏上报表更新。
8.根据权利要求6所述的可视化数据大屏实现系统，其特征在于，还包括数据大屏主动刷新模块，所述数据大屏主动刷新模块在主动刷新时，先读取每个报表的结果数据集中的数据来实现报表更新；执行每个报表对应的DPL语句，根据执行结果更新结果数据集，并再次更新报表。
9.根据权利要求6所述的可视化数据大屏实现系统，其特征在于，还包括数据源管理模块，所述数据源关联模块用于获取每个报表对应的DPL语句关联的数据源，得到数据源列表；所述数据源列表中每个数据源被关联的次数作为数据源引用计数；
数据大屏刷新时，所述数据源列表中的数据源只加载一份；执行每个报表对应的DPL语句；当一个报表的DPL语句执行完毕后，所述报表DPL语句关联的数据源的引用计数减一；
数据源的引用计数为0时，释放所述数据源。
10.根据权利要求6所述的可视化数据大屏实现系统，其特征在于，还包括数据大屏定时刷新模块，用于定时执行生成的所有DPL语句，更新所有报表的结果数据集，从而刷新数据大屏上的报表。
CN201911239912.3A 2019-12-06 2019-12-06 可视化数据大屏实现方法和实现系统 Active CN111104452B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911239912.3A CN111104452B (zh) 2019-12-06 2019-12-06 可视化数据大屏实现方法和实现系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911239912.3A CN111104452B (zh) 2019-12-06 2019-12-06 可视化数据大屏实现方法和实现系统

Publications (2)

Publication Number Publication Date
CN111104452A true CN111104452A (zh) 2020-05-05
CN111104452B CN111104452B (zh) 2023-07-04

Family

ID=70421735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911239912.3A Active CN111104452B (zh) 2019-12-06 2019-12-06 可视化数据大屏实现方法和实现系统

Country Status (1)

Country Link
CN (1) CN111104452B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866599A (zh) * 2015-06-01 2015-08-26 北京京东尚科信息技术有限公司 可视化报表的生产方法和系统
CN106649239A (zh) * 2016-12-23 2017-05-10 郑州云海信息技术有限公司 一种基于可视化的云监控系统中报表生成方法及装置
CN106790407A (zh) * 2016-11-29 2017-05-31 江苏省邮电规划设计院有限责任公司 一种基于dlp大屏异构事务处理和信息通讯的系统
CN108492006A (zh) * 2018-02-28 2018-09-04 广东电网有限责任公司信息中心 一种层次控制模式的运维作业调度引擎
CN110275754A (zh) * 2019-06-28 2019-09-24 百度在线网络技术（北京）有限公司 用于用户界面呈现的交互方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866599A (zh) * 2015-06-01 2015-08-26 北京京东尚科信息技术有限公司 可视化报表的生产方法和系统
CN106790407A (zh) * 2016-11-29 2017-05-31 江苏省邮电规划设计院有限责任公司 一种基于dlp大屏异构事务处理和信息通讯的系统
CN106649239A (zh) * 2016-12-23 2017-05-10 郑州云海信息技术有限公司 一种基于可视化的云监控系统中报表生成方法及装置
CN108492006A (zh) * 2018-02-28 2018-09-04 广东电网有限责任公司信息中心 一种层次控制模式的运维作业调度引擎
CN110275754A (zh) * 2019-06-28 2019-09-24 百度在线网络技术（北京）有限公司 用于用户界面呈现的交互方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111104452B (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
CN109410698B (zh) 数据大屏可视化方法及系统
US9754018B2 (en) Rendering interpreter for visualizing data provided from restricted environment container
CN106775699B (zh) 在异步线程中更新ui的方法及系统
CN103593236A (zh) 一种业务流程调度的计算机设备、方法和装置
US20120331012A1 (en) Decorated model architecture for efficient model-driven application development
KR20070030193A (ko) 윈도우 표시시스템, 윈도우 표시방법, 프로그램 개발지원장치 및 서버장치
CN103915033A (zh) 一种地图渲染的方法及其装置、移动终端
US20150077433A1 (en) Algorithm for improved zooming in data visualization components
US9575772B2 (en) Model-based user interface
CN105574114A (zh) 基于电信资源管理标准控件库的在线绘图方法
CN111104452B (zh) 可视化数据大屏实现方法和实现系统
CN109800039B (zh) 一种用户界面展示方法、装置、电子设备及存储介质
CN106874010A (zh) 一种Android系统中ListView快速分页加载的方法
CN111984660A (zh) 数据同步方法、装置、设备及存储介质
CN115599880A (zh) 一种地图图例配置管理方法及终端
CN105446763B (zh) 一种图片加载与显示的方法及系统
US20200167133A1 (en) Web service mashup orchestrator
US11741087B2 (en) Automatically generated graphical user interface application with dynamic user interface segment elements
CN104468505A (zh) 一种安全审计日志播放方法及装置
US11222033B2 (en) Dynamic data retrieval and analytical chart rendering for data sets
EP2821928A2 (en) Method and system for limiting output results in a mobile telecommunication system
CN112650965A (zh) 用于大型网站的单页面开发方法、框架及介质
US11687541B2 (en) System and method for mobile device rendering engine for use with a data analytics environment
CN114969171B (zh) 时空一致的数据展示与回放方法、装置、设备及存储介质
CN105930041B (zh) 一种基于液晶屏的菜单生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant