CN110912750B

CN110912750B - 基于web的数据采集管理方法及装置

Info

Publication number: CN110912750B
Application number: CN201911204859.3A
Authority: CN
Inventors: 鲍捷
Original assignee: Shanghai Weidi Information Technology Co ltd
Current assignee: Shanghai Weidi Information Technology Co ltd
Priority date: 2019-11-29
Filing date: 2019-11-29
Publication date: 2023-03-21
Anticipated expiration: 2039-11-29
Also published as: CN110912750A

Abstract

本发明实施例公开了一种基于WEB的数据采集管理方法及装置，包括：获取来自多个数据源的多种原始数据，并保存所述原始数据；对所述原始数据进行定点抽取及维护处理，以得到特定数据；根据所述特定数据形成展现所需要的、特定的实时性能数据和历史数据；将所述实时性能数据和历史数据进行可视化展示。实施本发明实施例，提高了对多种数据源的管理效率，且还可将所得到的实时性能数据和历史数据进行可视化展示，为用户提供了更为直观的帮助。

Description

基于WEB的数据采集管理方法及装置

技术领域

本发明涉及计算机技术领域，具体涉及一种基于WEB的数据采集管理方法及装置。

背景技术

数据中心是物联网、云计算和大数据技术的交汇点，是物联网的高密区、云计算的核心、大数据的存储和处理器，是世界上最复杂的系统之一。数据中心设备数量众多，总类庞杂，但过多的数据等于没有数据；复杂庞大的数据中心需要多个系统共同进行管理，分离的展示和操作界面破坏了掌控力；管理系统界面单调，互动性差，影响信息的传递和操作效率，降低决策和响应速度。

数据中心的可视化，可以让我们实现端到端的IT可视性，提高IT治理和管理水平，最终实现对数据中心卓越的运营，包括提高资源利用率，缩短响应时间，降低使用多种管理工具的复杂度，提升运营效率，加速排障过程，提高可用性等。可视化的才是可管理的。

但目前的IT管理中对关键数据的管理效率较低，从而使得可视化展示出来的数据对用户帮助不大。

发明内容

本发明实施例的目的在于提供一种基于WEB的数据采集管理方法及装置，以提高对多种数据源的管理效率。

为实现上述目的，本发明实施例提供了一种基于WEB的数据采集管理方法，包括：

获取来自多个数据源的多种原始数据，并保存所述原始数据；

对所述原始数据进行定点抽取及维护处理，以得到特定数据；

根据所述特定数据形成展现所需要的、特定的实时性能数据和历史数据；

将所述实时性能数据和历史数据进行可视化展示。

进一步地，获取来自多个数据源的多种原始数据之前，所述方法还包括对多个数据源进行绑定。

进一步地，形成实时性能数据和历史数据之后，所述方法还包括：

对所述实时性能数据和历史数据进行同步处理。

作为本申请一种具体的实施方式，将所述实时性能数据和历史数据进行可视化展示具体包括：

创建可视化展现视图，所述可视化展现视图中包括多个组件，其中，所述组件通过从预设的组件库中选取所得；

在预先建立的数据列表中，添加需展示的数据集，所述数据集根据所述实时性能数据和历史数据所生成；

将所述数据集与所述可视化展现视图中的组件分别进行关联绑定，以实现绑定后的组件在视图展示时可根据实时的数据进行动态显示；

对各组件进行视图布局以及对所述可视化展现视图的展示设置；

根据所述展示设置进行视图展示。

基于相同的发明构思，本发明实施例提供了一种基于WEB的数据采集管理装置，包括：

获取模块，用于获取来自多个数据源的多种原始数据，并保存所述原始数据；

抽取维护模块，用于对所述原始数据进行定点抽取及维护处理，以得到特定数据；

生成模块，用于根据所述特定数据形成展现所需要的、特定的实时性能数据和历史数据；

展示模块，用于将所述实时性能数据和历史数据进行可视化展示。

进一步地，所述装置还包括：

绑定模块，用于对多个数据源进行绑定；

同步模块，用于对所述实时性能数据和历史数据进行同步处理。

作为本申请一种具体的实施方式，所述展示模块具体用于：

根据所述展示设置进行视图展示。

可选地，本发明实施例还提供了另一种基于WEB的数据采集管理装置，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如前所述的方法。

实施本发明实施例，获取来自多个数据源的多种原始数据，对原始数据进行定点抽取及维护处理，以得到特定数据，根据特定数据形成展现所需要的、特定的实时性能数据和历史数据，将实时性能数据和历史数据进行可视化展示，通过上述方式提高了对多种数据源的管理效率，且还可将所得到的实时性能数据和历史数据进行可视化展示，为用户提供了更为直观的帮助。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。

图1是本发明实施例提供的基于WEB的数据采集管理方法的流程示意图；

图2是本发明实施例提供的基于WEB的数据采集管理装置的一种结构示意图；

图3是图2中管理装置的另一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，是本发明实施例提供的基于WEB的数据采集管理方法的流程示意图。如图所示，该方法可以包括：

S101，对多个数据源进行绑定。

具体地，系统(或者称为基于WEB的数据采集管理装置)对多个数据源进行绑定，该数据源用于提供数据。本实施例中，系统支持主流的关系数据库和非关系数据库等，包括但不仅限于MySQL、Oracle、SQLServer、Elasticsearch等。

S102，获取来自多个数据源的多种原始数据，并保存所述原始数据。

具体地，系统可采用数据集的方式来保存原始数据，例如新建数据集。

S103，对所述原始数据进行定点抽取及维护处理，以得到特定数据。

S104，根据所述特定数据形成展现所需要的、特定的实时性能数据和历史数据，并对其进行同步处理。

具体地，系统可通过数据集的方式来实现对数据源中大量数据的定点抽取和维护，能够根据展现需要，从数据源中抽取特定数据进行计算分析和维护展现，形成展现所需要的特定的实时性能数据和历史数据，并支持数据的同步。

S105，将所述实时性能数据和历史数据进行可视化展示。

具体地，步骤S105包括：

(1)创建可视化展现视图，所述可视化展现视图中包括多个组件。

其中，所述组件通过从预设的组件库中选取所得。创建的实施方式可以为计算机程序，比如该计算机程序根据用户设定的特定方式实现该创建操作，例如，特殊符号或是语音命令等，本实施例中对此不做限制。

组件库中收集了一些用户在编辑视图时常用到的视频、图片及图表组件等；在编辑视图时，用户可以从组件库中调用视频、图片及图表组件等，方便管理人员定制视图；

同时所述组件库支持扩展，管理人员可以根据实际情况或个人习惯，将其他自定义组件加入组件库中，以满足实际需要，组件支持柱状图、表格、数字看板、水位图、地图、事件看板、图片、码表图、标题、饼图、进度条、折线图、雷达图、视频、ArcGIS地图等。

(2)在预先建立的数据列表中，添加需展示的数据集，所述数据集根据所述实时性能数据和历史数据所生成。

数据列表中可根据实现需要添加需要展示的数据集，基于数据源，新建所述数据集，以采集特定数据。

(3)将所述数据集与所述可视化展现视图中的组件分别进行关联绑定，以实现绑定后的组件在视图展示时可根据实时的数据进行动态显示。

数据源与数据集设置完成后，在组件的配置过程中，可以将组件与数据进行关联，以便在展示的时候，整体视图以及组件元素能够动态的反应相关数据信息。在其他实施例中，关联绑定后，能够对绑定后的组件效果进行预览，这样利于用户及时进行调整，提高相应的工作效率。

(4)对各组件进行视图布局以及对所述可视化展现视图的展示设置。

所述视图布局的方式包括自由摆放、叠加和层级设置，同时支持背景图、背景色、透明度的调整，支持全屏预览，即可查看设计的窗口的展示效果；并且所展示的内容能够随意适应屏幕大小，如：在一块大屏上可以展示，放在四块大屏上也可以显示，并且清晰程度不失真；所述展示设置包括视图模式的设置，所述视图模式包括展示模式、演示模式和轮播模式。

(5)根据所述展示设置进行视图展示。

展示模式时，通过在一个终端设备上生成终端编号，然后在不同的终端设备上指定所述终端编号，以实现多个终端的实时展示；

演示模式时，通过PC浏览器终端或Pad移动设备终端，对显示的可视化视图进行交互式操作，以达到显示的大屏视图与各终端保持一致；

轮播模式时，通过预设的自动轮播时间间隔对显示的可视化视图进行循环播放；需要说明的是，轮播模式，还具备所述演示模式所具有的功能，在此不再赘述。

需要说明的是，通过将数据与可视化视图进行结合，所见即所得，可随时呈现实时的数据变化，并通过数据的关联绑定，呈现复杂数据背后的联系，通过可视化让复杂的数据集变得明了易懂，帮助用户及时捕捉其关注的数据信息和要点信息，克服了现有技术中需要用户仔细查看、阅读和理解数据，不易抓住要点信息的缺陷，进而提升相应的响应速度和处理效率。

从以上描述可以看出，实施本发明实施例，获取来自多个数据源的多种原始数据，对原始数据进行定点抽取及维护处理，以得到特定数据，根据特定数据形成展现所需要的、特定的实时性能数据和历史数据，将实时性能数据和历史数据进行可视化展示，通过上述方式提高了对多种数据源的管理效率，且还可将所得到的实时性能数据和历史数据进行可视化展示，为用户提供了更为直观的帮助，

基于相同的发明构思，本发明实施例提供了一种基于WEB的数据采集管理装置。如图2所示，该装置包括：

绑定模块10，用于对多个数据源进行绑定；

获取模块11，用于获取来自多个数据源的多种原始数据，并保存所述原始数据；

抽取维护模块12，用于对所述原始数据进行定点抽取及维护处理，以得到特定数据；

生成模块13，用于根据所述特定数据形成展现所需要的、特定的实时性能数据和历史数据；

同步模块14，用于对所述实时性能数据和历史数据进行同步处理；

展示模块15，用于将所述实时性能数据和历史数据进行可视化展示。

在本申请另一个优选实施例中，如图3所示，管理装置可以包括：一个或多个处理器101、一个或多个输入设备102、一个或多个输出设备103和存储器104，上述处理器101、输入设备102、输出设备103和存储器104通过总线105相互连接。存储器104用于存储计算机程序，所述计算机程序包括程序指令，所述处理器101被配置用于调用所述程序指令执行上述方法实施例部分的方法。

应当理解，在本发明实施例中，所称处理器101可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

输入设备102可以包括键盘等，输出设备103可以包括显示器(LCD等)、扬声器等。

该存储器104可以包括只读存储器和随机存取存储器，并向处理器101提供指令和数据。存储器104的一部分还可以包括非易失性随机存取存储器。例如，存储器104还可以存储设备类型的信息。

具体实现中，本发明实施例中所描述的处理器101、输入设备102、输出设备103可执行本发明实施例提供的基于WEB的数据采集管理方法的实施例中所描述的实现方式，在此不再赘述。

需要说明的是，关于本实施例中管理装置的具体工作流程，请参考前述方法实施例部分，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的平台实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims

1.一种基于WEB的数据采集管理方法，其特征在于，包括：

将所述实时性能数据和历史数据进行可视化展示；

其中，将所述实时性能数据和历史数据进行可视化展示具体包括：

创建可视化展现视图，所述可视化展现视图中包括多个组件，其中，所述组件通过从预设的组件库中选取所得；所述组件库中手机有用户在编辑视图时常用的视频、图片及图标组件，且所述组件库支持扩展，管理人员可根据实际情况或个人习惯，将其他自定义组件加入组件库中，组件支持柱状图、表格、数字看板、水位图、地图、事件看板、图片、码表图、标题、饼图、进度条、折线图、雷达图、视频及ArcGIS地图；

在预先建立的数据列表中，添加需展示的数据集，所述数据集根据所述实时性能数据和历史数据所生成；且，所述数据列表中可根据实现需要添加需要展示的数据集，基于数据源，新建所述数据集，以采集特定数据；

对各组件进行视图布局以及对所述可视化展现视图的展示设置；所述视图布局的方式包括自由摆放、叠加和层级设置，同时支持背景图、背景色、透明度的调整，支持全屏预览；所述展示设置包括视图模式的设置，所述视图模式包括展示模式、演示模式和轮播模式；

根据所述展示设置进行视图展示；

展示模式时，通过在一个终端模式上生成终端编号，然后在不同的终端设备上指定所述终端编号，以实现多个终端的实时展示；

轮播模式时，通过预设的自动轮播时间间隔对显示的可视化视图进行循环播放。

2.如权利要求1所述的基于WEB的数据采集管理方法，其特征在于，获取来自多个数据源的多种原始数据之前，所述方法还包括：

对多个数据源进行绑定。

3.如权利要求2所述的基于WEB的数据采集管理方法，其特征在于，所述方法包括采用数据集的方式保存所述原始数据。

4.如权利要求3所述的基于WEB的数据采集管理方法，其特征在于，形成实时性能数据和历史数据之后，所述方法还包括：

对所述实时性能数据和历史数据进行同步处理。

5.一种基于WEB的数据采集管理装置，其特征在于，包括：

展示模块，用于将所述实时性能数据和历史数据进行可视化展示；

根据所述展示设置进行视图展示；

6.如权利要求5所述的基于WEB的数据采集管理装置，其特征在于，所述装置还包括：

绑定模块，用于对多个数据源进行绑定。

7.如权利要求5或6所述的基于WEB的数据采集管理装置，其特征在于，所述装置还包括：

8.一种基于WEB的数据采集管理装置，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求4所述的方法。