CN117312774A - 一种大数据的智能聚合可视化与管控系统 - Google Patents

Abstract

本发明公开了一种大数据的智能聚合可视化与管控系统，包括数据采集与清洗模块、数据分类与储存模块、数据可视化设计与比对模块和数据管控与发布模块，其中数据采集与清洗模块负责从多方式进行实时获取数据，数据分类与储存模块负责对数据进行清洗后的数据进行类别进行拆分和分类，对数据进行标签呈现多组数据，并且找到相应的类目进行储存，数据可视化设计与比对模块负责对数据进行可视化建模，数据管控与发布模块用于对成型的模块化数据进行质量和安全方面进行管控，可视终端通过对数据进行展示，同时可记录用户在可视终端上的操作和行为，收集与分析相关数据，可以了解用户对产品的满意度和需求。

Description

一种大数据的智能聚合可视化与管控系统

技术领域

本发明涉及大数据的智能聚合可视化技术领域，尤其涉及一种大数据的智能聚合可视化与管控系统。

背景技术

大数据的智能聚合可视化是指通过将大数据进行聚合和智能分析，然后将分析结果以可视化的方式呈现出来，通过可视化是将分析结果以图表、图形和地图等形式展示出来，使人们能够更直观地理解和分析数据，大数据的智能聚合可视化在许多领域都有应用，如金融、市场营销、医疗保健等。通过将大数据进行聚合和智能分析，并以可视化的方式展示出来，可以帮助企业和组织更好地理解和利用数据，从而提高效率、降低成本，甚至发现新的商机和创新点，但是可视化数据需要通过大量数据支撑，通过对数据进行筛选和分析，针对不同展示群体进行投放不同数据，而数据获取较为单一，导致大数据获取较为片面。

发明内容

基于背景技术存在的技术问题，本发明提出了一种大数据的智能聚合可视化与管控系统。

本发明提出的一种大数据的智能聚合可视化与管控系统，所述大数据的智能聚合可视化与管控系统包括数据采集与清洗模块、数据分类与储存模块、数据可视化设计与比对模块和数据管控与发布模块，其中：数据采集与清洗模块负责从多方式进行实时获取数据，根据所需数据对获取数据进行清洗，对清洗除的数据进行格式化，所需数据进行传递，数据分类与储存模块负责对数据进行清洗后的数据进行类别进行拆分和分类，对数据进行标签呈现多组数据，并且找到相应的类目进行储存，数据可视化设计与比对模块负责对数据进行可视化建模，转化为图文、图标和模型格式，对所有数据进行比对，例如将数值数据进行归一化或标准化，数据管控与发布模块用于对成型的模块化数据进行质量和安全方面进行管控，并且通过可使终端向外进行散播，所述可视终端可对外界数据进行收集，通过数据收集对数据进行收集并传输至数据清洗，对数据进行处理和整理，以去除无效、重复、缺失或错误的数据，确保数据的准确性和一致性。

所述数据采集与清洗模块中，数据采集包括多组采集终端，包括内部和外部数据源，这些数据可能来自不同的来源，如数据库、日志文件、采集终端等，数据清洗对收集到的数据进行清洗包括去除噪声、无效数据和重复数据，对数据进行归一化、标准化等操作。

所述数据分类与储存模块中，数据分类可将清洗后的数据进行多种类标签，将数据按照其特征、属性或用途进行分组，以便于对数据进行管理和分析，选择适当的数据存储方式，如数据库、数据仓库或大数据平台，建立有效的数据管理系统，确保数据的安全性和可用性，按照一定的标准进行分类，并将其储存在适当的位置，以便于管理和使用。

所述数据可视化设计与比对模块用于中，数据可视化设计用于在清洗和预处理后的数据上进行数据分析和建模，应用合适的统计学和机器学习算法，提取有用的信息和趋势，数据比对基于数据分析结果，设计和开发可视化界面和图表，选择合适的可视化工具和技术，以直观和易懂的方式展示数据。

所述数据管控与发布模块中，数据管控用于对进行可视化界面和功能的监视，并对其进行评估和调优，确保用户友好性、效果和性能，数据发布基于数据管控结果，设计和开发可视化界面和图表，选择合适的可视化工具和技术，以直观和易懂的方式展示数据。

可视终端将展示数据进行对外显示，通过可视化界面和功能的测试，并对其进行评估和调优，确保用户友好性、效果和性能，将开发完成的智能聚合可视化系统部署到目标环境中，进行正式的发布和上线操作。

所述可视终端在展示时可进行交互，可根据用户需要自由选择与切换，通过图表类型包括条形图和柱状图、折线图、散点图、饼图、热力图、树状图和网络图、地图可视化形式，使数据呈现更直观生动，同时可对可视终端进行数据收集，包括对用户在网站的停留时间、跳出率、回访者、回访次数，通过反馈的数据进行对数据进行清洗。

本发明中的有益效果为：

1.可视终端可记录用户在可视终端上的操作和行为，收集与分析相关数据，可视终端包括计算机、智能手机、平板电脑等具有图形用户界面的设备，通过收集用户在可视终端上的安全事件和威胁行为，可以及时发现和阻止潜在的安全威胁，并采取相应的防护措施，通过收集用户在可视终端上的反馈和意见，可以了解对产品的满意度和需求，从而提高数据的精准度和展示效果。

附图说明

图1示意性示出了根据本申请实施例的一种大数据的智能聚合可视化与管控系统的结构示意图；

图2示意性示出了根据本申请实施例的一种大数据的智能聚合可视化与管控系统的数据采集示意图；

图3示意性示出了根据本申请实施例的一种大数据的智能聚合可视化与管控系统的数据收集示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请实施例，并不用于限制本申请实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明，若本申请实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本申请实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

图1示意性示出了根据本申请实施例的一种大数据的智能聚合可视化与管控系统的结构示意图。本申请提出一种大数据的智能聚合可视化与管控系统，大数据的智能聚合可视化与管控系统包括数据采集与清洗模块、数据分类与储存模块、数据可视化设计与比对模块和数据管控与发布模块，其中数据采集与清洗模块负责从多方式进行实时获取数据，根据所需数据对获取数据进行清洗，可以去除不完整、不准确、重复或无效的数据，使其符合分析和建模的要求，对清洗除的数据进行格式化，所需数据进行传递，数据分类与储存模块负责对数据进行清洗后的数据进行类别进行拆分和分类，对数据进行标签呈现多组数据，并且找到相应的类目进行储存，数据可视化设计与比对模块负责对数据进行可视化建模，转化为图文、图标和模型格式，对所有数据进行比对，例如将数值数据进行归一化或标准化，数据管控与发布模块用于对成型的模块化数据进行质量和安全方面进行管控，并且通过可使终端向外进行散播。

图2示意性示出了根据本申请实施例的一种大数据的智能聚合可视化与管控系统的数据采集示意图，数据采集与清洗模块中，数据采集包括多组采集终端，包括内部和外部数据源，这些数据可能来自不同的来源，如数据库、日志文件、采集终端等，确定数据需求：明确你需要采集的数据类型、范围和目的，这有助于确定采集的重点和优先级，确定数据来源：确定数据的来源，可以是网站、数据库、API、传感器等，确保权限访问和使用这些数据源，选择合适的工具和技术：根据数据源的类型和数据采集的规模，选择合适的工具和技术来采集数据，这可能包括使用网络爬虫、API调用、数据库查询等，数据清洗对收集到的数据进行清洗包括去除噪声、无效数据和重复数据，对数据进行归一化、标准化等操作，数据清洗是指对原始数据进行处理和整理，以去除无效、重复、缺失或错误的数据，确保数据的准确性和一致性，去重：查找并删除重复的数据记录，以避免数据重复影响分析结果；缺失值处理：检查数据是否存在缺失值，可以选择删除缺失值、填充缺失值或使用插值方法进行估算；异常值处理：检查数据中是否存在异常值，可以选择删除异常值、替换为合理的值或进行修正；数据类型转换：将数据转换为正确的数据类型，例如将字符串转换为日期、将文本转换为数字等，数据格式统一：统一数据的格式和单位，以确保数据的一致性和可比性；数据标准化：对数据进行标准化处理，例如将数值数据进行归一化或标准化，以便于比较和分析。

数据分类与储存模块中，数据分类可将清洗后的数据进行多种类标签，选择适当的数据存储方式，如数据库、数据仓库或大数据平台，建立有效的数据管理系统，确保数据的安全性和可用性。

数据分类和储存是指将数据按照一定的标准进行分类，并将其储存在适当的位置，以便于管理和使用，数据分类是将数据按照其特征、属性或用途进行分组，以便于对数据进行管理和分析，

数据储存选择不同的储存介质和技术：

关系型数据库：使用表格结构将数据组织起来，并通过SQL语言进行管理和查询；

非关系型数据库：使用键值对、文档、图形等方式进行数据存储，适用于大规模数据和灵活的数据模型；

文件系统：将数据以文件的形式存储在硬盘或者其他存储介质上，适用于小规模数据和简单的数据结构；

分布式文件系统：将数据分散存储在多个节点上，提高数据的可扩展性和可靠性；

云存储：将数据存储在云平台上，提供高可靠性、高可扩展性的数据存储服务

数据可视化设计与比对模块用于中，数据可视化设计用于在清洗和预处理后的数据上进行数据分析和建模，应用合适的统计学和机器学习算法，提取有用的信息和趋势，数据比对基于数据分析结果，设计和开发可视化界面和图表，选择合适的可视化工具和技术，以直观和易懂的方式展示数据，通过数据可视化，可以更容易地发现数据之间的关系、趋势和模式，从而做出更明智的决策；

柱状图：用长方形的高度表示数据的大小，适用于比较不同类别的数据；

折线图：用连续的线段表示数据随时间或其他连续变量的变化趋势；

散点图：用点的位置表示两个变量之间的关系，适用于探索变量之间的相关性；

饼图：用扇形的面积表示不同类别数据所占的比例，适用于展示比例关系；

热力图：用颜色的深浅表示数据的密度或强度，适用于展示数据的分布情况；

地图：用地理图形展示数据在地理空间上的分布和特征。

数据管控与发布模块中，数据管控用于对进行可视化界面和功能的监视，并对其进行评估和调优，确保用户友好性、效果和性能，数据发布基于数据管控结果，设计和开发可视化界面和图表，选择合适的可视化工具和技术，以直观和易懂的方式展示数据。

可视终端将展示数据进行对外显示，通过可视化界面和功能的测试，并对其进行评估和调优，确保用户友好性、效果和性能，将开发完成的智能聚合可视化系统部署到目标环境中，进行正式的发布和上线操作。

可视终端通过图形、图表等可视化方式展示数据，并提供用户与数据进行交互的功能，能够帮助用户更好地理解和分析数据，发现数据中的模式和趋势，以及进行深入的数据探索。

可视终端交互的主要特点包括：

可视化：通过图表、地图、仪表盘等形式将数据呈现出来，使数据更加直观、易于理解；

交互性：用户可以通过交互操作，改变数据的展示方式、筛选数据、切换维度等，以满足自己的需求；

实时更新：可以将数据与实时数据源相连接，实现数据的实时更新和展示；

多维度分析：用户可以通过交互操作选择不同的维度进行数据分析，从而发现数据中的模式和趋势；

故事叙述：通过数据可视化的方式，可以将数据转化为故事，帮助用户更好地理解数据中的信息。

图3示意性示出了根据本申请实施例的一种大数据的智能聚合可视化与管控系统的数据收集示意图，可视终端在展示时可进行交互，可根据用户需要自由选择与切换，通过图表类型包括条形图和柱状图、折线图、散点图、饼图、热力图、树状图和网络图、地图可视化形式，使数据呈现更直观生动，同时可对可视终端进行数据收集，包括对用户在网站的停留时间、跳出率、回访者、回访次数，通过反馈的数据进行对数据进行清洗。

可视终端可记录用户在可视终端上的操作和行为，收集与分析相关数据，可视终端包括计算机、智能手机、平板电脑等具有图形用户界面的设备。

可视终端数据收集可以用于多种目的，包括但不限于以下几个方面：

用户行为分析：通过收集用户在可视终端上的操作和行为数据，可以了解用户的喜好、习惯和需求，从而优化产品设计和改进用户体验；

错误排查和故障分析：通过收集用户在可视终端上的错误信息和异常行为，可以帮助快速定位和修复软件故障和问题；

安全监控和威胁检测：通过收集用户在可视终端上的安全事件和威胁行为，可以及时发现和阻止潜在的安全威胁，并采取相应的防护措施；

产品改进和市场调研：通过收集用户在可视终端上的反馈和意见，可以了解用户对产品的满意度和需求，从而指导产品的改进和市场调研。

可视终端可对外界数据进行收集，通过数据收集对数据进行收集并传输至数据清洗，对数据进行处理和整理，以去除无效、重复、缺失或错误的数据，确保数据的准确性和一致性。

本申请实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的物联网传输方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (7)

1.一种大数据的智能聚合可视化与管控系统，其特征在于，所述大数据的智能聚合可视化与管控系统包括数据采集与清洗模块、数据分类与储存模块、数据可视化设计与比对模块和数据管控与发布模块，其中：

数据采集与清洗模块负责从多方式进行实时获取数据，根据所需数据对获取数据进行清洗，对清洗除的数据进行格式化，所需数据进行传递；

数据分类与储存模块负责对数据进行清洗后的数据进行类别进行拆分和分类，对数据进行标签呈现多组数据，并且找到相应的类目进行储存；

数据可视化设计与比对模块负责对数据进行可视化建模，转化为图文、图标和模型格式，对所有数据进行比对，例如将数值数据进行归一化或标准化；

数据管控与发布模块用于对成型的模块化数据进行质量和安全方面进行管控，并且通过可视终端向外进行散播。

所述可视终端可对外界数据进行收集，通过数据收集对数据进行收集并传输至数据清洗，对数据进行处理和整理，以去除无效、重复、缺失或错误的数据，确保数据的准确性和一致性。

2.根据权利要求1所述的一种大数据的智能聚合可视化与管控系统，其特征在于，所述数据采集与清洗模块中，数据采集包括多组采集终端，包括内部和外部数据源，这些数据可能来自不同的来源，如数据库、日志文件、采集终端，数据清洗对收集到的数据进行清洗包括去除噪声、无效数据和重复数据，对数据进行归一化、标准化d的操作。

3.根据权利要求2所述的一种大数据的智能聚合可视化与管控系统，其特征在于，所述数据分类与储存模块中，数据分类可将清洗后的数据进行多种类标签，将数据按照其特征、属性或用途进行分组，以便于对数据进行管理和分析，选择适当的数据存储方式，如数据库、数据仓库或大数据平台，建立有效的数据管理系统，确保数据的安全性和可用性，按照一定的标准进行分类，并将其储存在适当的位置，以便于管理和使用。

4.根据权利要求3所述的一种大数据的智能聚合可视化与管控系统，其特征在于，所述数据可视化设计与比对模块用于中，数据可视化设计用于在清洗和预处理后的数据上进行数据分析和建模，应用合适的统计学和机器学习算法，提取有用的信息和趋势，数据比对基于数据分析结果，设计和开发可视化界面和图表，选择合适的可视化工具和技术，以直观和易懂的方式展示数据。

5.根据权利要求1所述的一种大数据的智能聚合可视化与管控系统，其特征在于，所述数据管控与发布模块中，数据管控用于对进行可视化界面和功能的监视，并对其进行评估和调优，确保用户友好性、效果和性能，数据发布基于数据管控结果，设计和开发可视化界面和图表，选择合适的可视化工具和技术，以直观和易懂的方式展示数据。

6.根据权利要求5所述的一种大数据的智能聚合可视化与管控系统，其特征在于，可视终端将展示数据进行对外显示，通过可视化界面和功能的测试，并对其进行评估和调优，确保用户友好性、效果和性能，将开发完成的智能聚合可视化系统部署到目标环境中，进行正式的发布和上线操作。

7.根据权利要求6所述的一种大数据的智能聚合可视化与管控系统，其特征在于，所述可视终端在展示时可进行交互，可根据用户需要自由选择与切换，通过图表类型包括条形图和柱状图、折线图、散点图、饼图、热力图、树状图和网络图、地图可视化形式，使数据呈现更直观生动，同时可对可视终端进行数据收集，包括对用户在网站的停留时间、跳出率、回访者、回访次数，通过反馈的数据进行对数据进行清洗。