CN106326482A - 一种大数据可视化采集分析及文件转换系统和方法 - Google Patents

一种大数据可视化采集分析及文件转换系统和方法 Download PDF

Info

Publication number
CN106326482A
CN106326482A CN201610798621.8A CN201610798621A CN106326482A CN 106326482 A CN106326482 A CN 106326482A CN 201610798621 A CN201610798621 A CN 201610798621A CN 106326482 A CN106326482 A CN 106326482A
Authority
CN
China
Prior art keywords
module
data
analysis
analytical calculation
template generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610798621.8A
Other languages
English (en)
Inventor
何中
鞠海林
严伟
戴建峰
徐晓辉
薛炜
王经纬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JIANGSU ZHONGWEI TECHNOLOGY SOFTWARE SYSTEM Co Ltd
Original Assignee
JIANGSU ZHONGWEI TECHNOLOGY SOFTWARE SYSTEM Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JIANGSU ZHONGWEI TECHNOLOGY SOFTWARE SYSTEM Co Ltd filed Critical JIANGSU ZHONGWEI TECHNOLOGY SOFTWARE SYSTEM Co Ltd
Priority to CN201610798621.8A priority Critical patent/CN106326482A/zh
Publication of CN106326482A publication Critical patent/CN106326482A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/211Schema design and management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26Visual data mining; Browsing structured data

Abstract

本发明公开了一种大数据可视化采集分析及文件转换系统和方法,系统包括数据采集模块、数据存储模块、分析计算模块、规则处理单元、可视图表生成模块,采集模块与数据存储模块连接,数据存储模块与分析计算模块连接,分析计算模块与可视图表生成模块连接,规则处理单元与分析计算模块连接,规则处理单元内预存有对数据进行分析及计算规则模式。本发明公开的技术方案,数据采集简单、易实现,实现了傻瓜式数据采集,无需专业数据库操作人员操作;可将多用户操作的数据合并,因此,可多人同时操作,灵活方便;同时实现了自动建模,方便调用,可直接将Excel数据复制到对应系统模板导进数据库;另外实现了快速表计算功能,实现了可视化图表配置。

Description

一种大数据可视化采集分析及文件转换系统和方法
技术领域
本发明涉及WEB前端开发领域,尤其涉及一种大数据可视化采集分析及文件转换系统和方法。
背景技术
随着网络信息技术的飞速发展和不同存储形式的海量数据积累,各个应用领域的数据信息管理部门建立了一些基于不同平台、不同技术开发的应用系统和相应的数据库管理系统,并积累了海量的数据资源,同时因为各级管理部门和采集系统的不同,造成数据的格式不尽相同,大多数数据采集系统没有网络化,不便于数据管理,数据集中效率较低,同时数据格式不同,造成数据标准化工作很难开展。传统数据采集需要程序开发人员,需要数据库操作人员复杂的操作,数据采集复杂,操作不能实现数据转换为多维动态的文件形式,数据比较死板无法动态展示。因此,如何统一化、规范化的采集和管理相关数据成为目前亟需解决的问题。
如《计算机与现代化》总第168期,可视化的数据标准化转换系统的设计与研究,公开了数据转换模型:对于一个关系型数据的数据模型可以认定为一个4元组M=(NS,AS,VS,GR):NS:字段名集合,所有数据的字段名集合。AS:属性集合,所有数据的类型集合。VS:值域集合,所有数据的值集合。GR:语法规则,数据的语法表达方法。模型映射就是要建立源模型M1与目标模型M2之间的对应关系。要完成模型映射需要按照以下3个过程来进行:(1)建立模型中字段名之间的对应关系,形成字段名对应表。(2)检查字段属性之间的表述方式,不同的数据库拥有不同的数据格式表示方式,这就要建立必要的属性转换模式。(3)检查字段属性之间的表述方式,不同的数据库拥有不同的数据格式表示方式,这就要建立必要的属性转换模式。经过以上3个步骤,建立了模型数据之间的字段名对应关系、字段属性转换函数和值域转换函数之后,基于这些结果就可以形成一个模型映射与数据转换的规则。这些规则可以是以文件的形式存储,也可以是以函数或方法的形式存储。但是该参考文献没有披露低采集到的数据的后续分析处理。
又如中国专利CN 105843803A公开了大数据安全可视化交互分析系统及方法,系统包括:高级预警中心模块、时间轴纵向关联分析器模块、相关地理信息追踪显示器模块、原始数据钻探与导航模块、安全聚向发现横向关联分析器模块、数据采集引擎模块、数据分类模块、数据存储器模块、规则库处理模块;其中数据采集引擎模块用于从各种网络对象收集海量安全大数据,分类并汇集到数据分类模块,数据分类模块包括终端日志类数据、网络类数据。应用类数据、行为与操作类数据;数据存储模块用于把从数据分类模块中收集到的安全大数据进行收集归类,形成数据集预存储在数据存储器中;规则库处理模块用于从数据存储器模块的数据集合中为每个网络对象按设定规则库进行计算处理。本发明提出的大数据安全可视化交互分析系统及方法,实现时间、地理空间、相互关系等诸多要素的视觉化结果输出,使用户具备可视化交互能力的原始数据取证能力。可视化分析是通过交互式可视化界面促进推理分析能力的科学,本发明所揭示的一种系统与方法就是面对海量大数据安全,应用可视化分析手段所进行的一种视觉信息系统分析的有效创新,实现对大数据安全进行可视化处理的一种有益方法探索,将传统枯燥、过于专业的以单一图表方式呈现的结果数据进行分拆解读,进行同步的多维度呈现,能够使非专业的管理决策人员也可以有直观感知的认知能力。但是该发明专利披露的技术方案数据采集较为繁琐,需要数据库操作人员复杂的操作,数据采集复杂。
发明内容
为克服现有技术中存在的问题,本发明提供了一种数据采集方式简单、易实现,同时实现了可视化图表配置的一种大数据可视化采集分析及文件转换系统和方法。
本发明提供的一种大数据可视化采集分析及文件转换系统,系统包括数据采集模块、数据存储模块、分析计算模块、可视图表生成模块,所述采集模块与所述数据存储模块连接,所述数据存储模块与所述分析计算模块连接,所述分析计算模块与所述可视图表生成模块连接,系统还包括规则处理单元,所述规则处理单元与所述分析计算模块连接,所述规则处理单元内预先存储有对数据进行分析及计算规则模式。
在一些实施方式中,系统还包括数据分类模块,所述数据分类模块连接于所述采集模块及所述数据存储模块之间,所述数据分类模块用于对所述数据分类模块采集到的数据进行分类,供所述数据存储模块分类存储。
在一些实施方式中,系统还包括数据汇总模块,所述数据汇总模块连接于所述采集模块与所述数据存储模块之间,所述数据汇总模块于对所述数据分类模块分类得到的数据进行汇总,统一存储于所述数据存储模块。
在一些实施方式中,系统还包括数据汇总模块,所述数据汇总模块连接于所述采集模块与数据分类模块之间,所述数据汇总模块对所述数据分类模块分类得到的数据进行汇总,统一进行分类存储,存储于所述数据存储模块。
在一些实施方式中,系统还包括模板生成模块,所述模板生成模块与所述数据存储模块及所述分析计算模块连接,且所述模板生成模块与所述数据采集模块连接,所述分析计算模块分析生成模板生成规则,并将模板生成规则发送至所述模板生成模块,所述模板生成模块生成多个数据模板,所述数据采集模块将采集到的数据填写至所述模板生成模块生成的对应模板中,并存储于所述数据存储模块。
采上述一种大数据可视化采集分析及文件转换系统进行数据分析及文件转换的方法,其特征在于,包括以下步骤:
S1:所述数据采集模块采集数据信息;
S2:所述数据采集模块将采集到的数据信息发送至所述数据存储模块进行存储;
S3:所述分析计算模块从所述数据存储模块抽取用户所需数据信息,并根据所述规则处理单元内预先存储的分析及计算规则模式对抽取的数据信息进行分析计算;
S4:所述可视图表生成模块将步骤S3中分析计算模块分析计算的结果以多维动态文件形式生成。
在一些实施方式中,所述步骤S1后还包括步骤S11:采用所述数据分类模块对所述数据采集模块采集的数据信息进行分类;所述步骤S2为:将所述数据分类模块分类后的数据信息发送至所述数据存储模块进行分类存储。
在一些实施方式中,所述步骤S1与所述步骤S11之间还包括步骤S111:采用数据汇总模块将多个用户采用数据采集模块采集到的数据信息进行汇总,并统一发至所述数据分类模块。
在一些实施方式中,所述步骤S3后还包括步骤S33:所述分析计算模块分析生成模板生成规则,并将模板生成规则发送至所述模板生成模块,所述模板生成模块生成多个数据模板。
在一些实施方式中,所述步骤S1为:所述数据采集模块将采集到的数据填写至所述模板生成模块生成的对应模板中,并存储于所述数据存储模块。
与现有技术相比,本发明提供的一种大数据可视化采集分析及文件转换系统和方法,与现有技术相比,其优点在于:本发明提供的一种大数据可视化采集分析及文件转换系统和方法,数据采集方式简单、易实现,实现了傻瓜式数据采集,无需专业数据库操作人员操作;可将多用户操作的数据合并,因此,可多人同时操作,灵活方便;同时实现了自动建模,方便调用,可直接将Excel数据复制到对应系统模板导进数据库;另外实现了快速表计算功能,实现了可视化图表配置。
附图说明
图1为本发明提供的第一种实施方式的一种大数据可视化采集分析及文件转换系统的结构框图;
图2为本发明提供的第二种实施方式的一种大数据可视化采集分析及文件转换系统的结构框图;
图3为本发明提供的第三种实施方式的一种大数据可视化采集分析及文件转换系统的结构框图;
图4为本发明提供的第四种实施方式的一种大数据可视化采集分析及文件转换系统的结构框图。
具体实施方式
以下结合附图和实施例,对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
图1至图4示意性地显示了本发明披露的一种大数据可视化采集分析及文件转换系统。
实施例1:
如图1所示,本发明实施例1中披露的一种大数据可视化采集分析及文件转换系统,包括:数据采集模块1、数据存储模块2、分析计算模块3。可视图表生成模块4及规划处理模块5,其中数据采集模块用于系统采集数据,或用于用户向服务器输入设备,其同时具备主动性和被动型,数据采集方式灵活;数据存储模块2为数据采集模块1所采集的数据的载体,用于存储数据采集模块1所采集的数据信息;规则处理单元5内预先存储有对数据进行分析及计算的规则模式,比如数据提取规则、模板的归类规则、明显错误自动识别规则、统计规则等;分析计算模块3用于从数据存储模块2中提取用户所需数据,并按照规则处理单元5中预存的对数据进行分析及计算的规则模式进行数据信息的自动分析与计算;可视图表生成模块4用于将分析计算得出的数据信息以多维动态文件形式生成,实现动态展示,将传统枯燥、过于专业的以单一图表方式呈现的结果数据进行分拆解读,进行同步的多维度呈现,能够使非专业的管理决策人员也可以有直观感知的认知能力。
如图1所示,数据采集模块1与数据存储模块2连接,数据存储模块2与分析计算模块3连接,分析计算模块3与可视图表生成模块4连接,规则处理单元5与分析计算模块3连接。即数据储存模块2为数据采集模块1的下级模块,分析计算模块3为数据存储模块2的下级模块,可视图表生成模块4为分析计算模块3的下级模块,规则处理单元5为分析计算模块3的同级模块,为分析计算模块3提供分析计算的规则。
本发明还披露了上述一种大数据可视化采集分析及文件转换系统的数据分析及文件转换的方法,具体包括以下步骤:
S1:数据采集模块1采集数据信息;具体的,可以分为主动采集和被动采集,主动采集,主动采集即通过采集装置,如传感器装置来采集某一环境下的一系列数据信息,被动采集即用户主动输入一系列数据信息。其两者均可以实现数据采集。
S2:数据采集模块1将采集到的数据信息发送至数据存储模块2进行存储;
S3:分析计算模块3从数据存储模块2抽取用户所需数据信息,并根据规则处理单元5内预先存储的分析及计算规则模式,按照用于的指令对抽取的数据信息进行分析计算;
S4:可视图表生成模块4将步骤S3中分析计算模块3分析计算的结果以多维动态文件形式生成。实现动态展示,将传统枯燥、过于专业的以单一图表方式呈现的结果数据进行分拆解读,进行同步的多维度呈现,能够使非专业的管理决策人员也可以有直观感知的认知能力。
实施例2:
如图2所示,本发明实施例2中披露的一种大数据可视化采集分析及文件转换系统,包括:数据采集模块1、数据分类模块6、数据存储模块2、分析计算模块3、可视图表生成模块4及规划处理模块5。其与实施例1的不同之处在于增加了数据分类模块6。其数据分类模块6是用于对数据采集模块1采集到的数据信号进行分类处理,并方便数据存储模块2分类保存,为后续分析、计算机可视化提供方便。
如图2所示,数据采集模块1与数据分类模块6连接,数据分类模块6与数据存储模块2连接,数据存储模块2与分析计算模块3连接,分析计算模块3与可视图表生成模块4连接,规则处理单元5与分析计算模块3连接。即数据分类模块6为数据采集模块1的下级模块,数据存储模块2为数据分类模块6的下级模块,分析计算模块3为数据存储模块2的下级模块,可视图表生成模块4为分析计算模块3的下级模块,规则处理单元5为分析计算模块3的同级模块,为分析计算模块3提供分析计算的规则。
本发明还披露了上述一种大数据可视化采集分析及文件转换系统的数据分析及文件转换的方法,具体包括以下步骤:
S1:数据采集模块1采集数据信息;具体的,可以分为主动采集和被动采集,主动采集,主动采集即通过采集装置,如传感器装置来采集某一环境下的一系列数据信息,被动采集即用户主动输入一系列数据信息。其两者均可以实现数据采集。
S11:采用数据分类模块6对数据采集模块1采集的数据信息进行分类,其分类方式可根据数据采集模块所采集的数据的属性自动配制,例如,当数据采集模块1采集到数据为某市人口年龄数据的汇总时,其可将人口按照性别进行分类存储;
S2:将数据分类模块6分类后的数据信息发送至数据存储模块2进行分类存储,便于后续分析计算及管理;
S3:分析计算模块3从数据存储模块2抽取用户所需数据信息,并根据规则处理单元5内预先存储的分析及计算规则模式,按照用于的指令对抽取的数据信息进行分析计算;
S4:可视图表生成模块4将步骤S3中分析计算模块3分析计算的结果以多维动态文件形式生成。实现动态展示,将传统枯燥、过于专业的以单一图表方式呈现的结果数据进行分拆解读,进行同步的多维度呈现,能够使非专业的管理决策人员也可以有直观感知的认知能力。
实施例3:
如图3所示,本发明实施例3中披露的一种大数据可视化采集分析及文件转换系统,包括:数据采集模块1、数据分类模块6、数据汇总模块7、数据存储模块2、分析计算模块3、可视图表生成模块4及规划处理模块5。其与实施例2的不同之处在于增加了数据汇总模块7。其数据汇总模块7是用于对不同用户采集后经数据分类模块6分类得到的数据进行汇总,统一存储于数据存储模块2,实现了将多用户操作的数据合并,因此,可多人同时操作,灵活方便。
如图3所示,数据采集模块1与数据分类模块6连接,数据分类模块6与数据汇总模块7连接,数据汇总模块7与数据存储模块2连接,数据存储模块2与分析计算模块3连接,分析计算模块3与可视图表生成模块4连接,规则处理单元5与分析计算模块3连接。即数据分类模块6为数据采集模块1的下级模块,数据汇总模块7为数据分类模块6的下级模块,数据存储模块2为数据汇总模块7的下级模块,分析计算模块3为数据存储模块2的下级模块,可视图表生成模块4为分析计算模块3的下级模块,规则处理单元5为分析计算模块3的同级模块,为分析计算模块3提供分析计算的规则。
本发明还披露了上述一种大数据可视化采集分析及文件转换系统的数据分析及文件转换的方法,具体包括以下步骤:
S1:数据采集模块1采集数据信息;具体的,可以分为主动采集和被动采集,主动采集,主动采集即通过采集装置,如传感器装置来采集某一环境下的一系列数据信息,被动采集即用户主动输入一系列数据信息。其两者均可以实现数据采集。
S11:采用数据分类模块6对数据采集模块1采集的数据信息进行分类,其分类方式可根据数据采集模块所采集的数据的属性自动配制,例如,当数据采集模块1采集到数据为某市人口年龄数据的汇总时,其可将人口按照性别进行分类存储;
S111:采用数据汇总模块7将多个用户采用数据采集模块1采集到的数据信息进行汇总,并统一发至数据分类模块6;
S2:将数据分类模块6分类后的数据信息发送至数据存储模块2进行分类存储,便于后续分析计算及管理;
S3:分析计算模块3从数据存储模块2抽取用户所需数据信息,并根据规则处理单元5内预先存储的分析及计算规则模式,按照用于的指令对抽取的数据信息进行分析计算;
S4:可视图表生成模块4将步骤S3中分析计算模块3分析计算的结果以多维动态文件形式生成。实现动态展示,将传统枯燥、过于专业的以单一图表方式呈现的结果数据进行分拆解读,进行同步的多维度呈现,能够使非专业的管理决策人员也可以有直观感知的认知能力。
实施例4:
如图4所示,本发明实施例4中披露的一种大数据可视化采集分析及文件转换系统,包括:数据采集模块1、数据分类模块6、数据汇总模块7、数据存储模块2、分析计算模块3、可视图表生成模块4、规划处理模块5及模板生成模块8。其与实施例3的不同之处在于增加了模板生成模块8。其模板生成模块8的用于生成多个数据模板,便于用户通过数据采集模块1将采集到的数据填写至模板生成模块8生成的对应模板中,并存储于数据存储模块2,简化了数据采集的过程,使数据采集易实现,实现了傻瓜式数据采集,无需专业数据库操作人员操作。
如图4所示,数据采集模块1与数据分类模块6连接,数据分类模块6与数据汇总模块7连接,数据汇总模块7与数据存储模块2连接,数据存储模块2与分析计算模块3连接,分析计算模块3与可视图表生成模块4连接,规则处理单元5与分析计算模块3连接,模板生成模块8与数据存储模块2及分析计算模块3连接,且模板生成模块8与所述数据采集模块(1)连接。即数据分类模块6为数据采集模块1的下级模块,数据汇总模块7为数据分类模块6的下级模块,数据存储模块2为数据汇总模块7的下级模块,分析计算模块3为数据存储模块2的下级模块,可视图表生成模块4为分析计算模块3的下级模块,规则处理单元5为分析计算模块3的同级模块,为分析计算模块3提供分析计算的规则;分析计算模块3分析生成模板生成规则,并将模板生成规则发送至模板生成模块8,模板生成模块8生成多个数据模板,用户通过数据采集模块1将采集到的数据填写至模板生成模块8生成的对应模板中,并存储于所述数据存储模块2。
本发明还披露了上述一种大数据可视化采集分析及文件转换系统的数据分析及文件转换的方法,具体包括以下步骤:
S1:用户根据模板生成模块8生成的多个模板中选择合适模板:
若模板生成模块8中存在适合的模板,则通过数据采集模块1将采集到的数据填写至模板生成模块8生成的对应模板中,并存储于数据存储模块2。具体的,用户通过新建数据模板,配置数据模型,即在模板生成模块8中选择对应的合适的数据模型,然后设置模板列头,绑定模板生成模块8中的数据模板属性信息,随后创建表格,将采集到的数据Excel数据复制至表格中。本发明此实施方式提供的数据采集方式简化了数据采集的过程,使数据采集易实现,实现了傻瓜式数据采集,无需专业数据库操作人员操作;
若模板生成模块8中不存在适合的模板,则通过输入数据的方式进行数据的采集;
S11:采用数据分类模块6对数据采集模块1采集的数据信息进行分类,其分类方式可根据数据采集模块所采集的数据的属性自动配制,例如,当数据采集模块1采集到数据为某市人口年龄数据的汇总时,其可将人口按照性别进行分类存储;
S111:采用数据汇总模块7将多个用户采用数据采集模块1采集到的数据信息进行汇总,并统一发至数据分类模块6;
S2:将数据分类模块6分类后的数据信息发送至数据存储模块2进行分类存储,便于后续分析计算及管理;
S3:分析计算模块3从数据存储模块2抽取用户所需数据信息,并根据规则处理单元5内预先存储的分析及计算规则模式,按照用于的指令对抽取的数据信息进行分析计算;
S33:分析计算模块3对数据信息进行分析,判断是否可生成新的模板,若可生成新的模板,则生成模板生成规则,并将模板生成规则发送至模板生成模块8,模板生成模块8生成对应的数据模板;
S4:可视图表生成模块4将步骤S3中分析计算模块3分析计算的结果以多维动态文件形式生成。实现动态展示,将传统枯燥、过于专业的以单一图表方式呈现的结果数据进行分拆解读,进行同步的多维度呈现,能够使非专业的管理决策人员也可以有直观感知的认知能力。
上述说明示出并描述了本发明的优选实施例,如前所述,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述发明构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种大数据可视化采集分析及文件转换系统,其特征在于,系统包括数据采集模块(1)、数据存储模块(2)、分析计算模块(3)、可视图表生成模块(4),所述采集模块(1)与所述数据存储模块(2)连接,所述数据存储模块(2)与所述分析计算模块(3)连接,所述分析计算模块(3)与所述可视图表生成模块(4)连接,系统还包括规则处理单元(5),所述规则处理单元(5)与所述分析计算模块(3)连接,所述规则处理单元(5)内预先存储有对数据进行分析及计算规则模式。
2.根据权利要求1所述的一种大数据可视化采集分析及文件转换系统,其特征在于,系统还包括数据分类模块(6),所述数据分类模块(6)连接于所述采集模块(1)及所述数据存储模块(2)之间,所述数据分类模块(6)用于对所述数据分类模块(6)采集到的数据进行分类,供所述数据存储模块(2)分类存储。
3.根据权利要求1所述的一种大数据可视化采集分析及文件转换系统,其特征在于,系统还包括数据汇总模块(7),所述数据汇总模块(7)连接于所述采集模块(1)与所述数据存储模块(2)之间,所述数据汇总模块(7)对所述数据分类模块(6)分类得到的数据进行汇总,统一存储于所述数据存储模块(2)。
4.根据权利要求2所述的一种大数据可视化采集分析及文件转换系统,其特征在于,系统还包括数据汇总模块(7),所述数据汇总模块(7)连接于所述采集模块(1)与数据分类模块(6)之间,所述数据汇总模块(7)对所述数据分类模块(6)分类得到的数据进行汇总,统一进行分类存储,存储于所述数据存储模块(2)。
5.根据权利要求1至4中任一所述的一种大数据可视化采集分析及文件转换系统,其特征在于,系统还包括模板生成模块(8),所述模板生成模块(8)与所述数据存储模块(2)及所述分析计算模块(3)连接,且所述模板生成模块(8)与所述数据采集模块(1)连接,所述分析计算模块(3)分析生成模板生成规则,并将模板生成规则发送至所述模板生成模块(8),所述模板生成模块(8)生成多个数据模板,所述数据采集模块(1)将采集到的数据填写至所述模板生成模块(8)生成的对应模板中,并存储于所述数据存储模块(2)。
6.采用权利要求5所述的一种大数据可视化采集分析及文件转换系统进行数据分析及文件转换的方法,其特征在于,包括以下步骤:
S1:所述数据采集模块(1)采集数据信息;
S2:所述数据采集模块(1)将采集到的数据信息发送至所述数据存储模块(2)进行存储;
S3:所述分析计算模块(3)从所述数据存储模块(2)抽取用户所需数据信息,并根据所述规则处理单元(5)内预先存储的分析及计算规则模式对抽取的数据信息进行分析计算;
S4:所述可视图表生成模块(4)将步骤S3中分析计算模块(3)分析计算的结果以多维动态文件形式生成。
7.根据权利要求6所述的一种数据分析及文件转换的方法,其特征在于,所述步骤S1后还包括步骤S11:采用所述数据分类模块(6)对所述数据采集模块(1)采集的数据信息进行分类;所述步骤S2为:将所述数据分类模块(6)分类后的数据信息发送至所述数据存储模块(2)进行分类存储。
8.根据权利要求7所述的一种数据分析及文件转换的方法,其特征在于,所述步骤S1与所述步骤S11之间还包括步骤S111:采用数据汇总模块(7)将多个用户采用数据采集模块(1)采集到的数据信息进行汇总,并统一发至所述数据分类模块(6)。
9.根据权利要求6至8中任一所述的一种数据分析及文件转换的方法,其特征在于,所述步骤S3后还包括步骤S33:所述分析计算模块(3)分析生成模板生成规则,并将模板生成规则发送至所述模板生成模块(8),所述模板生成模块(8)生成多个数据模板。
10.根据权利要求9所述的一种数据分析及文件转换的方法,其特征在于,所述步骤S1为:所述数据采集模块(1)将采集到的数据填写至所述模板生成模块(8)生成的对应模板中,并存储于所述数据存储模块(2)。
CN201610798621.8A 2016-08-31 2016-08-31 一种大数据可视化采集分析及文件转换系统和方法 Pending CN106326482A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610798621.8A CN106326482A (zh) 2016-08-31 2016-08-31 一种大数据可视化采集分析及文件转换系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610798621.8A CN106326482A (zh) 2016-08-31 2016-08-31 一种大数据可视化采集分析及文件转换系统和方法

Publications (1)

Publication Number Publication Date
CN106326482A true CN106326482A (zh) 2017-01-11

Family

ID=57787460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610798621.8A Pending CN106326482A (zh) 2016-08-31 2016-08-31 一种大数据可视化采集分析及文件转换系统和方法

Country Status (1)

Country Link
CN (1) CN106326482A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590198A (zh) * 2017-08-16 2018-01-16 浙江力太科技有限公司 一种工业物联网的数据可视化管理方法
CN108897821A (zh) * 2018-06-21 2018-11-27 江苏赛睿信息科技股份有限公司 自动生成数据结论的方法及装置
CN109270565A (zh) * 2018-09-04 2019-01-25 广东翼卡车联网服务有限公司 一种车载gps大数据的处理装置
CN109508441A (zh) * 2018-08-21 2019-03-22 江苏赛睿信息科技股份有限公司 数据分析方法、装置及电子设备
CN109885740A (zh) * 2019-01-24 2019-06-14 杭州志远科技有限公司 一种数据可视化温度记录系统
CN109948009A (zh) * 2019-03-12 2019-06-28 福建奇点时空数字科技有限公司 一种数据可视化引擎系统
CN109977155A (zh) * 2019-03-12 2019-07-05 福建奇点时空数字科技有限公司 一种基于人机交互的大数据可视化系统及其控制方法
CN110389983A (zh) * 2019-07-25 2019-10-29 四川航天信息有限公司 一种财务数据可视化系统
CN110515997A (zh) * 2019-08-22 2019-11-29 武汉东湖大数据交易中心股份有限公司 一种大数据智能分析系统
CN110673817A (zh) * 2019-10-09 2020-01-10 四川博文讯通科技有限公司 一种可视化综合展陈平台
CN111008227A (zh) * 2019-12-27 2020-04-14 广西民族师范学院 一种数据分析处理平台
CN112256780A (zh) * 2020-10-23 2021-01-22 常州微亿智造科技有限公司 工业生产数据管理系统和方法
CN112465362A (zh) * 2020-12-03 2021-03-09 合肥天源迪科信息技术有限公司 一种用于政企的大数据客户视图系统
CN116932830A (zh) * 2023-08-18 2023-10-24 保定起成信息科技有限公司 一种高效大数据处理方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101504669A (zh) * 2009-03-06 2009-08-12 阿里巴巴集团控股有限公司 一种Web应用的模板发布方法、装置及系统
CN102298589A (zh) * 2010-06-24 2011-12-28 腾讯科技(深圳)有限公司 情感倾向性模板的生成方法和装置以及应用方法和装置
CN102340704A (zh) * 2010-07-16 2012-02-01 中国联合网络通信集团有限公司 异步动态页面切换方法和系统以及服务器
CN103136335A (zh) * 2013-01-31 2013-06-05 北京千分点信息科技有限公司 一种基于数据平台的数据控制方法
CN103995896A (zh) * 2014-06-06 2014-08-20 山西省气象科学研究所 海量气象数据三维可视化分析工具系统
CN104866527A (zh) * 2015-04-24 2015-08-26 美通云动(北京)科技有限公司 一种动态匹配网页模板的方法及其装置
CN104881424A (zh) * 2015-03-13 2015-09-02 国家电网公司 一种基于正则表达式的电力大数据采集、存储及分析方法
CN105160038A (zh) * 2015-10-10 2015-12-16 广东卓维网络有限公司 一种基于审计知识库的数据分析方法及系统
CN105488177A (zh) * 2015-12-01 2016-04-13 精硕世纪科技(北京)有限公司 数据可视化展示方法及系统
CN105843803A (zh) * 2015-01-12 2016-08-10 上海悦程信息技术有限公司 大数据安全可视化交互分析系统及方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101504669A (zh) * 2009-03-06 2009-08-12 阿里巴巴集团控股有限公司 一种Web应用的模板发布方法、装置及系统
CN102298589A (zh) * 2010-06-24 2011-12-28 腾讯科技(深圳)有限公司 情感倾向性模板的生成方法和装置以及应用方法和装置
CN102340704A (zh) * 2010-07-16 2012-02-01 中国联合网络通信集团有限公司 异步动态页面切换方法和系统以及服务器
CN103136335A (zh) * 2013-01-31 2013-06-05 北京千分点信息科技有限公司 一种基于数据平台的数据控制方法
CN103995896A (zh) * 2014-06-06 2014-08-20 山西省气象科学研究所 海量气象数据三维可视化分析工具系统
CN105843803A (zh) * 2015-01-12 2016-08-10 上海悦程信息技术有限公司 大数据安全可视化交互分析系统及方法
CN104881424A (zh) * 2015-03-13 2015-09-02 国家电网公司 一种基于正则表达式的电力大数据采集、存储及分析方法
CN104866527A (zh) * 2015-04-24 2015-08-26 美通云动(北京)科技有限公司 一种动态匹配网页模板的方法及其装置
CN105160038A (zh) * 2015-10-10 2015-12-16 广东卓维网络有限公司 一种基于审计知识库的数据分析方法及系统
CN105488177A (zh) * 2015-12-01 2016-04-13 精硕世纪科技(北京)有限公司 数据可视化展示方法及系统

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590198A (zh) * 2017-08-16 2018-01-16 浙江力太科技有限公司 一种工业物联网的数据可视化管理方法
CN108897821B (zh) * 2018-06-21 2020-07-14 江苏赛睿信息科技股份有限公司 自动生成数据结论的方法及装置
CN108897821A (zh) * 2018-06-21 2018-11-27 江苏赛睿信息科技股份有限公司 自动生成数据结论的方法及装置
CN109508441A (zh) * 2018-08-21 2019-03-22 江苏赛睿信息科技股份有限公司 数据分析方法、装置及电子设备
CN109270565A (zh) * 2018-09-04 2019-01-25 广东翼卡车联网服务有限公司 一种车载gps大数据的处理装置
CN109270565B (zh) * 2018-09-04 2023-03-07 广东翼卡车联网服务有限公司 一种车载gps大数据的处理装置
CN109885740A (zh) * 2019-01-24 2019-06-14 杭州志远科技有限公司 一种数据可视化温度记录系统
CN109948009A (zh) * 2019-03-12 2019-06-28 福建奇点时空数字科技有限公司 一种数据可视化引擎系统
CN109977155A (zh) * 2019-03-12 2019-07-05 福建奇点时空数字科技有限公司 一种基于人机交互的大数据可视化系统及其控制方法
CN110389983A (zh) * 2019-07-25 2019-10-29 四川航天信息有限公司 一种财务数据可视化系统
CN110515997A (zh) * 2019-08-22 2019-11-29 武汉东湖大数据交易中心股份有限公司 一种大数据智能分析系统
CN110673817A (zh) * 2019-10-09 2020-01-10 四川博文讯通科技有限公司 一种可视化综合展陈平台
CN111008227A (zh) * 2019-12-27 2020-04-14 广西民族师范学院 一种数据分析处理平台
CN112256780A (zh) * 2020-10-23 2021-01-22 常州微亿智造科技有限公司 工业生产数据管理系统和方法
CN112465362A (zh) * 2020-12-03 2021-03-09 合肥天源迪科信息技术有限公司 一种用于政企的大数据客户视图系统
CN116932830A (zh) * 2023-08-18 2023-10-24 保定起成信息科技有限公司 一种高效大数据处理方法及装置

Similar Documents

Publication Publication Date Title
CN106326482A (zh) 一种大数据可视化采集分析及文件转换系统和方法
CN110781236A (zh) 一种构建政务大数据治理体系的方法
WO2015176525A1 (zh) 基于时间序列化的文档的标识、关联、搜索及展现的系统
CN109254901B (zh) 一种指标监测方法及系统
CN111708774B (zh) 一种基于大数据的产业分析系统
CN108717875A (zh) 一种基于大数据的慢性疾病智能管理系统
CN116383198A (zh) 基于大数据的决策分析方法及系统
CN111414410A (zh) 数据处理方法、装置、设备和存储介质
CN114637811A (zh) 数据表实体关系图生成方法、装置、设备及存储介质
CN109192312A (zh) 一种心力衰竭患者不良事件智能管理系统及方法
CN115510074B (zh) 基于一张表的分布式数据管理及应用系统
CN116862434A (zh) 一种基于大数据的材料数据管理系统及方法
CN114882985B (zh) 基于数据库和ai算法识别的医药多媒体管理系统及方法
Kaufhold et al. Big data and multi-platform social media services in disaster management
CN106777092B (zh) 移动云计算环境下动态Skyline查询的智能医疗呼叫查询方法
JP6201053B2 (ja) 素性データ管理システム、および素性データ管理方法
CN108573010A (zh) 关联异构系统同义数据的方法、装置、电子设备及介质
CN113380414A (zh) 基于大数据的数据采集方法及系统
CN112328667A (zh) 一种基于数据血缘的页岩气田地面工程数字化移交方法
CN110737731B (zh) 一种基于决策树的公积金用户数据细化分析系统及方法
Rao Discovering Knowledge Hidden in Big Data From Machine-Learning Techniques
CN114691837B (zh) 一种基于大数据的保险业务数据处理方法和处理系统
CN114490624B (zh) 一种基于大数据的人房企智慧统计方法、系统及可读存储介质
CN109960699B (zh) 数据统计建立方法、装置、计算机设备及存储介质
CN115664982B (zh) 基于云计算的网络资源管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170111