CN107391686A - 一种可视化配置数据采集系统实现方法 - Google Patents

一种可视化配置数据采集系统实现方法 Download PDF

Info

Publication number
CN107391686A
CN107391686A CN201710607917.1A CN201710607917A CN107391686A CN 107391686 A CN107391686 A CN 107391686A CN 201710607917 A CN201710607917 A CN 201710607917A CN 107391686 A CN107391686 A CN 107391686A
Authority
CN
China
Prior art keywords
data
index
configuration
module
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710607917.1A
Other languages
English (en)
Inventor
赵勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waytron Software Nanjing Co Ltd
Original Assignee
Waytron Software Nanjing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waytron Software Nanjing Co Ltd filed Critical Waytron Software Nanjing Co Ltd
Priority to CN201710607917.1A priority Critical patent/CN107391686A/zh
Publication of CN107391686A publication Critical patent/CN107391686A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种可视化配置数据采集系统实现方法，属于数据可视化技术领域，首先对数据源配置指标和指标参数，然后对组件模块绑定指标，再然后将场景中配置的指标添加到取数服务器的任务队列，最后数据获取模块根据配置的指标获取数据；本发明可以提高数据源配置效率，指标一次配置，可供多个组件调用；本发明采用数据分发技术，每个指标获取到数据后，会将数据分发给使用了此指标的组件模块，减少指标从数据源的获取次数，提高获取效率，有绑定组件模块的指标才会去调用，没有绑定组件模块的指标不会执行，本发明采用Redis缓存技术，当数据获取失败时，可使用缓存数据，增加系统稳定性。

Description

一种可视化配置数据采集系统实现方法
技术领域
本发明属于数据可视化技术领域，特别涉及一种可视化配置数据采集系统实现方法。
背景技术
数据可视化系统需要将第三方的数据抽取到客户端，再由客户端使用可视化组件显示到大屏上，供决策分析用，在大屏上显示的数据可能来自不同的业务系统，这时需要将不同业务系统的数据提取到本地，分析处理后再显示到大屏上。
现有技术中的不足为：
1：在配置文件中配置连接的数据源，一个系统只可以连接一个数据源，大屏显示时只能从这个数据源取数。
2：可以连接多个数据源，一个数据集在多个地方显示时，需要查询多次。
发明内容
本发明的目的是提供一种可视化配置数据采集系统实现方法，解决了将不同的数据源上的数据按需获取到展示平台上展示的问题。
为实现上述目的，本发明采用以下技术方案：
一种可视化配置数据采集系统实现方法，包括如下步骤：
步骤1：建立用于获取数据源的数据获取模块，建立用于对数据源进行配置的配置模块，配置模块包括配置库和配置服务器，配置服务器对所有数据源配置指标，指标为结合数据源、取数语句或接口，用于取到具体数据的标志值，所述标志值为数据表格或单个数值；
配置服务器对所有指标配置相应的指标参数，同一个指标配置一个或多个指标参数，指标参数为用来存储可变数据的变量，用于在不同的过滤条件下，映射检索到同一个指标；
配置库用于存储数据源的指标和指标参数；
步骤2：建立客户端，在客户端中建立多个组件模块，不同的组件模块显示的数据不同，每一个组件模块均绑定一个或多个指标，对于任意一个组件模块，只能调用与其绑定的指标；
步骤3：建立取数服务器，在客户端建立查询数据源的场景，并在场景中输入指标，取数服务器将所在场景中输入的指标添加到取数服务器的任务队列中；
步骤4：取数服务器将任务列表传输给数据获取模块，数据获取模块根据任务列表获取数据源，每个指标对应一个数据集，数据集中包含与该指标对应的数据源，数据获取模块将数据集添加到一个定义好的数据对象中；数据集再将数据对象转换为Json文本传递给客户端；客户端收到Json文本后，再将Json文本转换为数据对象；客户端将获取到的数据对象传递给组件模块，组件模块根据自身绑定的指标显示相应的数据源。
所述数据获取模块、配置模块、配置库均为服务器集群或服务器。
在执行步骤3时，在所述场景中可以更改指标参数。
在执行步骤3时，不需要取数的指标不添加到任务队列。
本发明所述的一种可视化配置数据采集系统实现方法，解决了将不同的数据源上的数据按需获取到展示平台上展示的问题；本发明可以提高数据源配置效率，指标一次配置，可供多个组件调用；本发明采用数据分发技术，每个指标获取到数据后，会将数据分发给使用了此指标的组件模块，减少指标从数据源的获取次数，提高获取效率；有绑定组件模块的指标才会去调用，没有绑定组件模块的指标不会执行；本发明采用Redis缓存技术，当数据获取失败时，可使用缓存数据，增加系统稳定性。
附图说明
图1为本发明的系统示意图。
具体实施方式
如图1所示的一种可视化配置数据采集系统实现方法，包括如下步骤：
步骤1：建立用于获取数据源的数据获取模块，建立用于对数据源进行配置的配置模块，配置模块包括配置库和配置服务器，配置服务器对所有数据源配置指标，指标为结合数据源、取数语句或接口，用于取到具体数据的标志值，所述标志值为数据表格或单个数值；
配置服务器对所有指标配置相应的指标参数，同一个指标配置一个或多个指标参数，指标参数为用来存储可变数据的变量，用于在不同的过滤条件下，映射检索到同一个指标；
配置库用于存储数据源的指标和指标参数；
步骤2：建立客户端，在客户端中建立多个组件模块，不同的组件模块显示的数据不同，每一个组件模块均绑定一个或多个指标，对于任意一个组件模块，只能调用与其绑定的指标；
步骤3：建立取数服务器，在客户端建立查询数据源的场景，并在场景中输入指标，取数服务器将所在场景中输入的指标添加到取数服务器的任务队列中；
步骤4：取数服务器将任务列表传输给数据获取模块，数据获取模块根据任务列表获取数据源，每个指标对应一个数据集，数据集中包含与该指标对应的数据源，数据获取模块将数据集添加到一个定义好的数据对象中；数据集再将数据对象转换为Json文本传递给客户端；客户端收到Json文本后，再将Json文本转换为数据对象；客户端将获取到的数据对象传递给组件模块，组件模块根据自身绑定的指标显示相应的数据源。
取数服务器根据任务列表获取数据源时，采用Redis缓存技术，没有绑定组件的指标不会执行。
所述数据获取模块、配置模块、配置库均为服务器集群或服务器。
在执行步骤3时，在所述场景中可以更改指标参数。
在执行步骤3时，不需要取数的指标不添加到任务队列。
所述数据源包括数据库、Webservice、Excel和其他文本，数据源配置支持各种数据，如Mysql、SqlServer、Oracle、DM数据库和webservice等。
所述客户端为大屏幕显示屏或者触摸屏，所述客户端可以设立多个。
所述配置服务器提供配置界面，用户可在配置界面中输入指标和指标参数。
本发明所述的一种可视化配置数据采集系统实现方法，将不同的数据源上的数据按需获取到展示平台上展示的问题；本发明可以提高数据源配置效率，指标一次配置，可供多个组件调用；本发明采用数据分发技术，每个指标获取到数据后，会将数据分发给使用了此指标的组件模块，减少指标从数据源的获取次数，提高获取效率，本发明采用Redis缓存技术，有绑定组件模块的指标才会去调用，没有绑定组件模块的指标不会执行。

Claims (4)

1.一种可视化配置数据采集系统实现方法，其特征在于：包括如下步骤：
步骤1：建立用于获取数据源的数据获取模块，建立用于对数据源进行配置的配置模块，配置模块包括配置库和配置服务器，配置服务器对所有数据源配置指标，指标为结合数据源、取数语句或接口，用于取到具体数据的标志值，所述标志值为数据表格或单个数值；
配置服务器对所有指标配置相应的指标参数，同一个指标配置一个或多个指标参数，指标参数为用来存储可变数据的变量，用于在不同的过滤条件下，映射检索到同一个指标；
配置库用于存储数据源的指标和指标参数；
步骤2：建立客户端，在客户端中建立多个组件模块，不同的组件模块显示的数据不同，每一个组件模块均绑定一个或多个指标，对于任意一个组件模块，只能调用与其绑定的指标；
步骤3：建立取数服务器，在客户端建立查询数据源的场景，并在场景中输入指标，取数服务器将所在场景中输入的指标添加到取数服务器的任务队列中；
步骤4：取数服务器将任务列表传输给数据获取模块，数据获取模块根据任务列表获取数据源，每个指标对应一个数据集，数据集中包含与该指标对应的数据源，数据获取模块将数据集添加到一个定义好的数据对象中；数据集再将数据对象转换为Json文本传递给客户端；客户端收到Json文本后，再将Json文本转换为数据对象；客户端将获取到的数据对象传递给组件模块，组件模块根据自身绑定的指标显示相应的数据源。
2.如权利要求1所述的一种可视化配置数据采集系统实现方法，其特征在于:所述数据获取模块、配置模块、配置库均为服务器集群或服务器。
3.如权利要求1所述的一种可视化配置数据采集系统实现方法，其特征在于:在执行步骤3时，在所述场景中更改指标参数。
4.如权利要求1所述的一种可视化配置数据采集系统实现方法，其特征在于:在执行步骤3时，不需要取数的指标不添加到任务队列。
CN201710607917.1A 2017-07-24 2017-07-24 一种可视化配置数据采集系统实现方法 Pending CN107391686A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710607917.1A CN107391686A (zh) 2017-07-24 2017-07-24 一种可视化配置数据采集系统实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710607917.1A CN107391686A (zh) 2017-07-24 2017-07-24 一种可视化配置数据采集系统实现方法

Publications (1)

Publication Number Publication Date
CN107391686A true CN107391686A (zh) 2017-11-24

Family

ID=60336691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710607917.1A Pending CN107391686A (zh) 2017-07-24 2017-07-24 一种可视化配置数据采集系统实现方法

Country Status (1)

Country Link
CN (1) CN107391686A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522303A (zh) * 2018-11-13 2019-03-26 深圳市思迪信息技术股份有限公司 基于Excel配置的数据采集方法、装置及计算机设备
CN109635022A (zh) * 2018-10-31 2019-04-16 成都四方伟业软件股份有限公司 一种可视化的ElasticSearch数据采集方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120066363A1 (en) * 2010-09-15 2012-03-15 Oracle International Corporation System and method for using a gridlink data source to connect an application server with a clustered database
CN103077246A (zh) * 2013-01-18 2013-05-01 国网电力科学研究院 一种基于Netty的大屏可视化平台数据推送系统
CN104679827A (zh) * 2015-01-14 2015-06-03 北京得大信息技术有限公司 一种基于大数据的公开信息关联方法及挖掘引擎
CN105677468A (zh) * 2016-01-06 2016-06-15 北京京东尚科信息技术有限公司 缓存及其设计方法以及利用该缓存的调度方法和调度装置
CN105930516A (zh) * 2016-05-18 2016-09-07 广东源恒软件科技有限公司 一种对多个数据库中的纳税数据进行综合分析的方法
CN106708918A (zh) * 2016-06-29 2017-05-24 国家计算机网络与信息安全管理中心 一种网络大数据可视化信息系统
CN106875110A (zh) * 2017-02-06 2017-06-20 泰康保险集团股份有限公司 业务指标分层计算方法及装置、分布式计算方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120066363A1 (en) * 2010-09-15 2012-03-15 Oracle International Corporation System and method for using a gridlink data source to connect an application server with a clustered database
CN103077246A (zh) * 2013-01-18 2013-05-01 国网电力科学研究院 一种基于Netty的大屏可视化平台数据推送系统
CN104679827A (zh) * 2015-01-14 2015-06-03 北京得大信息技术有限公司 一种基于大数据的公开信息关联方法及挖掘引擎
CN105677468A (zh) * 2016-01-06 2016-06-15 北京京东尚科信息技术有限公司 缓存及其设计方法以及利用该缓存的调度方法和调度装置
CN105930516A (zh) * 2016-05-18 2016-09-07 广东源恒软件科技有限公司 一种对多个数据库中的纳税数据进行综合分析的方法
CN106708918A (zh) * 2016-06-29 2017-05-24 国家计算机网络与信息安全管理中心 一种网络大数据可视化信息系统
CN106875110A (zh) * 2017-02-06 2017-06-20 泰康保险集团股份有限公司 业务指标分层计算方法及装置、分布式计算方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635022A (zh) * 2018-10-31 2019-04-16 成都四方伟业软件股份有限公司 一种可视化的ElasticSearch数据采集方法及装置
CN109522303A (zh) * 2018-11-13 2019-03-26 深圳市思迪信息技术股份有限公司 基于Excel配置的数据采集方法、装置及计算机设备
CN109522303B (zh) * 2018-11-13 2021-06-15 深圳市思迪信息技术股份有限公司 基于Excel配置的数据采集方法、装置及计算机设备

Similar Documents

Publication Publication Date Title
CN107944481B (zh) 用于生成信息的方法和装置
US10387546B1 (en) Web browsing
CN109726074A (zh) 日志处理方法、装置、计算机设备和存储介质
US9413807B1 (en) Browser rendering and computation
CN104410720B (zh) 一种基于web图形的实时监控平台系统及其方法
WO2015085103A1 (en) Pattern matching across multiple input data streams
CN109299174B (zh) 一种多源情报数据聚合处理方法及装置
CN104536965B (zh) 一种大数据条件下的数据查询展示系统及方法
CN103530560A (zh) 广告拦截的方法、装置和客户端
US11238632B2 (en) Interface to index and display geospatial data
US20180285359A1 (en) Identifying correlated content associated with an individual
CN113794909A (zh) 视频流传输系统、方法、服务器、装置以及存储介质
CN113343312B (zh) 基于前端埋点技术的页面防篡改方法及系统
CN111985197A (zh) 一种基于医疗信息的模板生成方法
CN108595211B (zh) 用于输出数据的方法和装置
CN106161135A (zh) 业务交易故障分析方法及装置
CN104408178B (zh) Web控件加载装置和方法
CN107315753B (zh) 跨多数据库的分页方法和装置
CN107391686A (zh) 一种可视化配置数据采集系统实现方法
US20150007079A1 (en) Combining parallel coordinates and histograms
CN104361004B (zh) 浏览器收藏夹数据的处理方法与浏览器
CN104346378B (zh) 一种实现复杂数据处理的方法、装置及系统
CN106844495A (zh) 一种网站操作日志的获取方法及装置
CN116594709A (zh) 用于获取数据的方法、装置及计算机程序产品
CN108052521B (zh) 协调数据显示方法、应用服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171124

RJ01 Rejection of invention patent application after publication