CN108549671B - 数据实时采集并可视化的实现方法及装置 - Google Patents

Abstract

本发明实施例提供了一种数据实时采集并可视化实现方法及装置，所述方法包括：根据预设条件，采集预设时间段内的多种数据源的数据，得到待展示的原始数据；将待展示原始数据的数据格式转换适配成可直接用于可视化展示的第一数据格式，得到统一格式的数据；根据预设配置，实现统一格式的数据可视化；可选地，根据预设报警条件，定时从预监控数据源获取待监控的原始数据，若所述待监控的原始数据异常则实时报警。实现了所有平台无差别展示数据，不仅能在华丽的数据大屏上展示，也能适应在其它中小屏设备上展示，由于设计了数据监控报警单元，可及时发现业务数据异常，帮助接入方尽早发现问题。

Description

数据实时采集并可视化的实现方法及装置

技术领域

本发明涉及一种数据实时采集并可视化的实现方法及装置，尤其涉及一种数据实时采集并全平台可视化展示的方法及装置。

背景技术

当前互联网环境人口红利正在消失，消化存量用户提升转化率，基于数据的精细化运营成为业务生存发展的关键战场。数据精细化运营依赖数据采集、处理分析、展示、反馈等相关环节的建设，产出高效直观多平台展示的数据。

在现有技术中，主要是采用日志处理展示一体化Elasticsearch,Logstash,andKibana(ELK)来实现，Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析并将其存储供以后使用。Kibana是一个开源和免费的工具，它可以为Logstash和Elasticsearch的日志分析友好的Web界面，可以帮助您汇总、分析和搜索重要数据日志。ELK工作流程：在需要收集日志的所有服务上部署Logstash，作为Logstash agent用于监控并过滤收集日志，将过滤后的内容发送到Redis(日志型数据库)，然后Logstash index将日志收集在一起交给全文搜索服务Elasticsearch，可以用Elasticsearch自定义搜索通过Kibana来结合自定义搜索进行页面展示。

在现有技术中，还存在关注数据可视化，灵活展示的技术方案，代表产品为阿里云Datav数据可视化，相比于传统图表与数据仪表盘，阿里云Datav数据可视化致力于用更生动、友好的形式，将数据可视化展示。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：日志数据处理展示一体化的方案中，展示形式单调，不满足数据大屏多元化展示需求，不支持业务级别异常报警；专注数据可视化，灵活展示的数据可视化的实现方案中，专注于数据大屏展示，不兼容移动设备，不关注数据来源，不具备数据采集、异常报警等功能。

发明内容

本发明实施例提供一种多种类型的数据实时采集，跨平台可视化展示的实现方法及装置，同时可以根据预设报警规则监控数据，异常报警的技术方案。

一方面，本发明实施例提供了一种数据实时采集并可视化的实现方法，所述方法包括：

根据预设条件，采集预设时间段内的多种数据源的数据，得到待展示的原始数据；

将待展示的原始数据的数据格式转换适配成可直接用于可视化展示的第一数据格式，得到统一格式的数据；

根据预设配置，实现统一格式的数据可视化。

另一方面，本发明实施例提供了一种数据实时采集并可视化的实现装置，所述装置包括：

数据采集单元，用于根据预设条件，采集预设时间段内的多种数据源的数据，得到待展示的原始数据；

数据适配单元，用于将原始数据的数据格式转换适配成可直接用于可视化展示的第一数据格式，得到统一格式的数据；

数据展示单元，用于根据预设配置，实现统一格式的数据可视化。

上述技术方案具有如下有益效果：因为采用实时采集多种数据源的数据的技术手段，所以达到了可以对多种数据源可视化展示的技术效果；因为采用了将待展示的原始数据的数据格式转换适配成统一的可直接用于可视化展示的第一数据格式的技术手段，所以达到了数据无差别的展示成各种类型的可视化图表的技术效果，同时通过模板响应式设计的技术手段，达到了适配到不同的展示平台的技术效果；因为采用了预设配置的技术手段，所以实现了用户可以自定义可视化展示的技术效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例数据实时采集并可视化的实现方法的流程图；

图2是本发明实施例数据实时采集并可视化的实现装置的结构示意图；

图3是本发明实施例数据实时采集并可视化添加了报警功能的实现方法的流程图；

图4是本发明实施例数据实时采集并可视化添加了报警功能的实现装置的结构示意图；

图5是本发明实施例数据可视化展示的子流程图；

图6是本发明实施例数据展示模块的结构示意图；

图7是本发明实施例数据实时采集并可视化的整体框架结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1是本发明实施例数据采集并可视化的实现方法的流程图：

101、根据预设条件，采集预设时间段内的多种数据源的数据，得到待展示的原始数据；

102、将待展示的原始数据的数据格式转换适配成可直接用于可视化展示的第一数据格式，得到统一格式的数据；

103、根据预设配置，实现统一格式的数据可视化。

请参考图3，图3是本发明实施例数据采集并可视化添加了报警功能的实施方法的流程图：

101、根据预设条件，采集预设时间段内的多种数据源的数据，得到待展示原始数据；

101.A、根据预设报警条件，定时从预监控数据源获取待监控的原始数据，若所述待监控的原始数据异常则实时报警；

102、将待展示的原始数据的数据格式转换适配成可直接用于可视化展示的第一数据格式，得到统一格式的数据；

103、根据预设配置，实现统一格式的数据可视化。

优选地，所述根据预设条件，采集预设时间段内的多种数据源的数据，得到待展示的原始数据，具体包括：

根据预设规则、以及用户行为，采集业务日志数据批量上报，存储在第一数据库中；

可选地，和/或，根据预设协议，采集业务接口数据；

可选地，和/或，根据预设协议，采集第三方数据；

进一步优选地，所述根据预设规则、以及用户行为，采集业务日志数据批量上报，存储在第一数据库中，具体包括：

根据在业务功能上部署的特殊标签，采集原始业务日志数据；

将原始业务日志数据的数据格式构造成数组数据格式，存储在数组中；

计算数组中数组格式的业务日志数据的大小；

当数组中累积的数据大小超过预设数值阈值时，批量上报数据，存储在第一数据库中。

优选地，所述将待展示的原始数据的数据格式转换适配成可直接用于可视化展示的第一数据格式，得到统一格式的数据，具体包括：

从第一数据库获取数组格式的业务日志数据，将获取到的业务日志数据的数据格式转换适配成第一数据格式；

和/或，将采集到的业务接口数据的数据格式转换适配成第一数据格式；

和/或，将采集到的第三方数据的数据格式转换适配成第一数据格式；

请参考图5，图5是本发明实施例数据可视化展示的子流程图：所述预设配置包括：预设展示配置；

103.1、根据预设展示配置构造可视化容器样式，所述可视化容器为展示平台上的区域格，所述可视化容器的样式包括：可视化容器在展示屏上的位置、大小，可视化容器的背景、颜色；

103.2、根据预设展示配置获取每个可视化容器与统一格式的数据的对应关系；

103.3、根据预设展示配置获取每个可视化容器的可视化模板，根据与所述可视化容器对应的数据渲染可视化模板，实现数据可视化；

可选地，所述预设配置还包括：预设报表配置；所述根据预设配置，实现统一格式的数据可视化，具体还包括：

103.4、根据预设报表配置，定期发送数据汇总邮件。

优选地，所述根据预设报警条件，定时从预监控数据源获取待监控的原始数据，若所述待监控的原始数据异常则实时报警，具体包括：

根据预设的监控规则，确定并输出报警条件；

根据报警条件，判断定时从预监控数据源获取的待监控的原始数据是否符合报警条件，所述预监控数据源为用户设定的需要监控的数据源；

若符合报警条件，则计算当前时间与上次报警时间的差值；

若当前时间与上次报警时间的差值大于预设时间阈值，则报警，并用当前时间更新报警时间；

进一步优选地，所述根据预设的监控规则，确定并输出报警条件，具体包括：

若预设的监控规则为一条，将该条监控规则进行数据格式化处理后直接输出报警条件；

若预设的监控规则为多条，确定多条监控规则之间的逻辑关系；根据所述逻辑关系，将所述多条监控规则进行数据格式处理后采用正则表达式拼接，输出报警条件。

请参考图2，图2是本发明实施例数据实时采集并可视化的实现装置的结构示意图；

数据采集单元21，用于根据预设条件，采集预设时间段内的多种数据源的数据，得到待展示的原始数据；

数据适配单元22，用于将待展示的原始数据的数据格式转换适配成可直接用于可视化展示的第一数据格式，得到统一格式的数据；

数据展示单元23，用于根据预设配置，实现统一格式的数据可视化。

请参考图4，图4是本发明实施例数据实时采集并可视化添加了报警功能的实现装置的结构示意图；

数据采集单元21，用于根据预设条件，采集预设时间段内的多种数据源的数据，得到待展示原始数据；

数据监控报警单元21.A，用于根据预设报警条件，定时从预监控数据源获取待监控的原始数据，若所述待监控的原始数据异常则实时报警；

数据适配单元22，用于将待展示的原始数据的数据格式转换适配成可直接用于可视化展示的第一数据格式，得到统一格式的数据；

数据展示单元23，用于根据预设配置，实现统一格式的数据可视化。

优选地，所述数据采集单元21，具体包括：

第一采集模块，用于根据预设规则、以及用户行为，采集业务日志数据批量上报，存储在第一数据库中；

和/或，第二采集模块，用于根据预设协议，采集业务接口数据；

和/或，第三采集模块，用于根据预设协议，采集第三方数据；

进一步优选地，所述第一采集模块，具体包括：

原始数据采集子模块，用于根据在业务功能上部署的特殊标签，采集原始业务日志数据；

数据构造子模块，用于将原始业务日志数据的数据格式构造成数组数据格式，存储在数组中；

计算子模块，用于计算数组中数组格式的业务日志数据的大小；

数据上报子模块，用于当数组中累积的数据大小超过预设数值阈值时，批量上报数据，存储在第一数据库中。

优选地，所述数据适配单元22，具体包括：

第一数据适配模块，用于从第一数据库获取数组格式的业务日志数据，将获取到的业务日志数据的数据格式转换适配成第一数据格式；

和/或，第二数据适配模块，用于将采集到的业务接口数据的数据格式转换适配成第一数据格式；

和/或，第三数据适配模块，用于将采集到的第三方数据的数据格式转换适配成第一数据格式；

请参考图6，图6是本发明实施例数据展示模块的结构示意图；所述预设配置还包括：预设展示配置；以及所述数据展示单元23，具体包括：

容器构造模块231，用于根据预设展示配置构造可视化容器的样式，所述可视化容器为展示平台上的区域格，所述可视化容器的样式包括：可视化容器在展示屏上的位置、大小，可视化容器的背景、颜色；

数据对应模块232，用于根据预设展示配置获取每个可视化容器与统一格式的数据的对应关系；

渲染模块233，用于根据预设展示配置获取每个可视化容器的可视化模板，根据与所述可视化容器对应的数据渲染可视化模板，实现数据可视化；

可选地，所述预设配置包括：预设报表配置；以及所述数据展示单元23，具体还包括：

邮件发送模块234，；用于根据预设报表配置，定期发送数据汇总邮件；

优选地，所述数据监控报警单元21.A，具体包括：

报警条件生成模块，用于根据预设的监控规则，确定并输出报警条件；

判断模块，用于根据报警条件，判断定时从预监控数据源获取的待监控的原始数据是否符合报警条件，所述预监控数据源为用户设定的需要监控的数据源；

计算模块，用于若符合报警条件，则计算当前时间与上次报警时间的差值；

报警更新模块，用于若当前时间与上次报警时间的差值大于预设时间阈值，则报警，并用当前时间更新报警时间；

进一步优选地，所述报警条件生成模块，具体包括：

第一报警条件生成子模块，用于若预设的监控规则为一条，将该条监控规则进行数据格式化处理后直接输出报警条件；

第二报警条件生成子模块，用于若预设的监控规则为多条，确定多条监控规则之间的逻辑关系，根据所述逻辑关系，将多条监控规则进行数据格式化处理后采用正则表达式拼接，输出报警条件。

上述技术方案具有如下的技术效果：通过预设特殊标签的方法采集原始业务日志，且批量上报存储在第一数据库中，所以达到了减少服务端压力，提升系统稳定度的技术效果；采集其它数据源直接获得而不存储的技术手段，所以达到了采集多种来源的数据源，又不过多占用数据库资源的技术效果；通过根据预设的报警条件，定时检查待监控的原始数据是否存在异常，且只有在报警间隔超过预设阈值的双重条件下才发送报警信号的技术手段，所以达到了不仅定时监控待监控的原始数据的异常，帮助接入方尽早发现问题，又避免频繁打扰的技术效果；通过将不同数据格式风格迥异的数据格式适配转换成统一的可直接用于可视化展示的第一数据格式的技术手段，所以达到了所有平台无差别展示数据的技术效果；通过根据预设规则，在展示屏的可视化容器中分别可视化展示的技术手段，所以达到了数据展示灵活可配置，可随时变换展示内容的技术效果；通过可视化模板采用响应式设计的技术手段，所以达到了数据不只在固定大屏上展示，也可以在移动端实时查看效果数据的技术效果。

下面结合具体的应用实施例对本技术方案做进一步阐述：

本技术方案首先通过数据采集单元，采集到各种数据源的数据，然后在数据适配单元对不同类型的数据进行转换，最后在数据展示单元中进行跨平台展示。数据监控单元定时对输出的数据进行检测，当出现异常会触发报警。

请参考图7，图7是本发明实施例数据实时采集并可视化的整体框架结构图。数据采集单元的数据来自三类数据：业务日志数据、业务API(接口)、第三方数据源。其中业务日志数据由第一数据采集模块根据用户在业务功能上部署的特殊标签，实时采集相关数据，也可以采集一定时间内的相关数据，数据累积到一定大小后进行一次上报，转换成可直接用于可视化展示的第一数据格式并存诸在第一数据库中，所述第一数据库为Elasticsearch数据库。在优选的实施例中，使用img(图像)标签进行数据上报，首先，创建一个尺寸为1*1的Image对象；然后将图片的src设置为上报地址，触发数据上报；若数据异常，则输出为空。将根据原始业务功能上部署的标签，采集原始业务日志数据；将原始业务日志数据格式构造成数组格式，在一优选地实施例中，将json对象转化为“&key＝value”格式，存储在数组中，合并数据分批上报，计算累积的数据大小，当累积的数据大超过2M时，完成一次上报，上报后的数据写入到日志文件中，日志存储到Elasticsearch的工作由Logstash完成。业务API和第三方数据源都不需要存储在服务器上，根据相关协议获取采集数据即可，第三方数据源可以是其它协议的数据源，也可以是其它类型的数据库，比如：Mysql数据库。这三类数据的数据格式迥异。

数据适配单元将不同的数据类型进行适配转换，统一格式后输出给不同的展示平台进行可视化展示。为了使不同的数据类型通过线图、饼图、柱状图、地图、表格等动态形式在大屏、PC、移动设备上直观展现数据，需要从将原始数据的数据类型转换适配成JSON数据格式方便所有平台无差别展示数据。

数据展示单元，用于数据可视化展示，业务方可以自主配置数据展示的内容和形式，兼容多平台，也可配置自动报表，定期发送数据汇总邮件。在一优选实施例中，根据用户的配置在数据大屏上构造可视化容器，可视化展示的平台可以是数据大屏，也可以是其它中小屏设备，还可以是移动设备。所述可视化容器就是展示平台的分区格，配置可视化容器的在展示屏位置和大小，可视化容器的背景和颜色等；如果配置异常，则返回。遍历配置信息表，生成代码，如果当前节点是叶子节点，创建可视化模块，如果不是叶子节点，则递归处理下一级的节点。根据配置构造可视化容器的模板，根据配置建立可视化容器与数据的对应关系。根据配置获取可视化模板，根据与所述模板对应的数据，渲染可视化模板，将采集到的多种来源的数据，按用户需求动态呈现瞬息万变的庞杂数据，达到了个性化展示的技术效果。在一优选实施例中，技术方案可以提供丰富的可视化模板，满足会议展览、业务监控、风险预警、地理信息分析等多种业务的展示需求。通过交互式实时可视化展示墙来帮助业务人员发现、诊断业务问题，在零售、物流、电力、水利、环保、交通等领域得以应用。由于采用数据可视化搭建模块，数据展现灵活可配置，可随时变换展示内容，由于模板采用响应式设计，数据不只在固定大屏上展示，也可以在移动端实时查看效果数据。

可选地，在数据展示单元中，还配置了邮件发送功能，可以自动发送数据周报日报，满足使用方发送报告的常规数据汇总需求。

数据监控单元，是优选实施例中的可选单元。首先，根据输入的预设规则，确定并输出生成的报警条件：如果只有一条监控规则，则将该条规则进行数据格式化处理后直接输出报警条件；如果输入的是多条监控规则，确定多条监控规则之间的逻辑关系，例如：与(AND)，或(OR)的关系，然后，根据所述的逻辑关系，将多条监控规则进行数据格式化处理后通过正则表达式拼接并生成报警条件。在一优选的实施例中，实时监控的时间间隔为15分钟，从预设的接口中抓取待监控的原始数据，根据报警条件判断抓取的待监控的原始数据是否异常，若异常，则计算距离上次报警的时间是否超过1小时，若满足双重条件，则报警，并同时更新保存的报警时间；否则，即时抓取的待监控的原始数据异常，距离上次报警时间不足1小时，则不再报警，减少骚扰。由于设计了数据监控单元，可及时发现业务数据异常，帮助接入方尽早发现问题。

本发明实施例提供了一种数据实时采集并可视化的实现装置，可以实现上述提供的方法实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据实时采集并可视化的实现方法，其特征在于，所述方法包括：

根据预设条件，采集预设时间段内多种数据源的数据，得到待展示的原始数据；其中，多种数据源包括：业务日志数据、业务接口数据、第三方数据；

将待展示的原始数据的数据格式转换适配成可直接用于可视化展示的第一数据格式，得到统一格式的数据；

根据预设配置，实现统一格式的数据可视化；

所述预设配置包括：自主预设展示配置；所述根据预设配置，实现统一格式的数据可视化，具体包括：

根据预设展示配置构造可视化容器的样式，所述可视化容器为展示平台上的区域格，所述可视化容器的样式包括：可视化容器在展示屏上的位置、大小，可视化容器的背景、颜色；

根据预设展示配置获取每个可视化容器与统一格式的数据的对应关系；

根据预设展示配置获取每个可视化容器的可视化模板，根据与所述可视化容器对应的数据渲染可视化模板，实现数据可视化；其中，具有满足多种业务展示需求的可视化模板；所述可视化模板采用响应设计，实现在多种可视化展示的平台展示数据，可视化展示的平台包括：数据大屏、中小屏设备、移动设备。

2.根据权利要求1所述的数据实时采集并可视化的实现方法，其特征在于，所述方法还包括：

根据预设报警条件，定时从预监控数据源获取待监控的原始数据，若所述待监控的原始数据异常则实时报警。

3.根据权利要求1所述的数据实时采集并可视化的实现方法，其特征在于，所述根据预设条件，采集预设时间段内的多种数据源的数据，得到待展示的原始数据，具体包括：

根据预设规则以及用户行为，采集业务日志数据批量上报，存储在第一数据库中；

和/或，根据预设协议，采集业务接口数据；

和/或，根据预设协议，采集第三方数据；

所述根据预设规则、以及用户行为，采集业务日志数据批量上报，存储在第一数据库中，具体包括：

根据在业务功能上部署的特殊标签，采集原始业务日志数据；

将原始业务日志数据的数据格式构造成数组格式，存储在数组中；

计算数组中数组格式的业务日志数据的大小；

当数组中累积的数据大小超过预设数值阈值时，批量上报数据，存储在第一数据库中。

4.根据权利要求1或3所述的数据实时采集并可视化的实现方法，其特征在于，所述将待展示的原始数据的数据格式转换适配成可直接用于可视化展示的第一数据格式，得到统一格式的数据，具体包括：

从第一数据库获取数组格式的业务日志数据，将获取到的业务日志数据的数据格式转换适配成第一数据格式；

和/或，将采集到的业务接口数据的数据格式转换适配成第一数据格式；

和/或，将采集到的第三方数据的数据格式转换适配成第一数据格式；

所述预设配置还包括：预设报表配置；所述根据预设配置，实现统一格式的数据可视化，具体还包括：

根据预设报表配置，定期发送数据汇总邮件。

5.根据权利要求2所述的数据实时采集并可视化的实现方法，其特征在于，所述根据预设报警条件，定时从预监控数据源获取待监控的原始数据，若所述待监控的原始数据异常则实时报警，具体包括：

根据预设的监控规则，确定并输出报警条件；

根据报警条件，判断定时从预监控数据源获取的待监控的原始数据是否符合报警条件，所述预监控数据源为用户设定的需要监控的数据源；

若符合报警条件，则计算当前时间与上次报警时间的差值；

若当前时间与上次报警时间的差值大于预设时间阈值，则报警，并用当前时间更新报警时间；

所述根据预设的监控规则，确定并输出报警条件，具体包括：

若预设的监控规则为一条，将该条监控规则进行数据格式化处理后直接输出报警条件；

若预设的监控规则为多条，确定多条监控规则之间的逻辑关系；根据所述逻辑关系，将所述多条监控规则进行数据格式化处理后采用正则表达式拼接，输出报警条件。

6.一种数据实时采集并可视化的实现装置，其特征在于，所述装置包括：

数据采集单元，用于根据预设条件，采集预设时间段内的多种数据源的数据，得到待展示的原始数据；其中，多种数据源包括：业务日志数据、业务接口数据、第三方数据；

数据适配单元，用于将待展示的原始数据的数据格式转换适配成可直接用于可视化展示的第一数据格式，得到统一格式的数据；

数据展示单元，用于根据预设配置，实现统一格式的数据可视化；

所述预设配置包括：自主预设展示配置；以及所述数据展示单元，具体包括：

容器构造模块，用于根据预设展示配置构造可视化容器样式，所述可视化容器为展示平台上的区域格，所述可视化容器的样式包括：可视化容器在展示屏上的位置、大小，可视化容器的背景、颜色；

数据对应模块，用于根据预设展示配置获取每个可视化容器与统一格式的数据的对应关系；

渲染模块，用于根据预设展示配置获取每个可视化容器的可视化模板，根据与所述可视化容器对应的数据渲染可视化模板，实现数据可视化；其中，具有满足多种业务展示需求的可视化模板；所述可视化模板采用响应设计，实现在多种可视化展示的平台展示数据，可视化展示的平台包括：数据大屏、中小屏设备、移动设备。

7.根据权利要求6所述的数据实时采集并可视化的实现装置，其特征在于，所述装置还包括：

数据监控报警单元，用于根据预设报警条件，定时从预监控数据源获取待监控的原始数据，若所述待监控的原始数据异常则实时报警。

8.根据权利要求6所述的数据实时采集并可视化的实现装置，其特征在于，所述数据采集单元，具体包括：

第一采集模块，用于根据预设规则以及用户行为，采集业务日志数据批量上报，存储在第一数据库中；

和/或，第二采集模块，用于根据预设协议，采集业务接口数据；

和/或，第三采集模块，用于根据预设协议，采集第三方数据；

所述第一采集模块，具体包括：

原始数据采集子模块，用于根据在业务功能上部署的特殊标签，采集原始业务日志数据；

数据构造子模块，用于将原始业务日志数据的数据格式构造成数组格式，存储在数组中；

计算子模块，用于计算数组中数组格式的业务日志数据的大小；

数据上报子模块，用于当数组中累积的数据大小超过预设数值阈值时，批量上报数据，存储在第一数据库中。

9.根据权利要求6或8所述的数据实时采集并可视化的实现装置，其特征在于，所述数据适配单元，具体包括：

第一数据适配模块，用于从第一数据库获取数组格式的业务日志数据，将获取到的业务日志数据的数据格式转换适配成第一数据格式；

和/或，第二数据适配模块，用于将采集到的业务接口数据的数据格式转换适配成第一数据格式；

和/或，第三数据适配模块，用于将采集到的第三方数据的数据格式转换适配成第一数据格式；

所述预设配置还包括：预设报表配置；以及所述数据展示单元，具体还包括：

邮件发送模块，用于根据预设报表配置，定期发送数据汇总邮件。

10.根据权利要求7所述的数据实时采集并可视化的实现装置，其特征在于，所述数据监控报警单元，具体包括：

报警条件生成模块，用于根据预设的监控规则，确定并输出报警条件；

判断模块，用于根据报警条件，判断定时从预监控数据源获取的待监控的原始数据是否符合报警条件，所述预监控数据源为用户设定的需要监控的数据源；

计算模块，用于若符合报警条件，则计算当前时间与上次报警时间的差值；

报警更新模块，用于若当前时间与上次报警时间的差值大于预设时间阈值，则报警，并用当前时间更新报警时间；

所述报警条件生成模块，具体包括：

第一报警条件生成子模块，用于若预设的监控规则为一条，将该条监控规则进行数据格式化处理后直接输出报警条件；

第二报警条件生成子模块，用于若预设的监控规则为多条，确定多条监控规则之间的逻辑关系；根据所述逻辑关系，将所述多条监控规则进行数据格式化处理后采用正则表达式拼接，输出报警条件。

Images