CN105631027A - 一种面向企业商务智能的数据可视化分析方法和系统 - Google Patents

一种面向企业商务智能的数据可视化分析方法和系统 Download PDF

Info

Publication number
CN105631027A
CN105631027A CN201511021355.XA CN201511021355A CN105631027A CN 105631027 A CN105631027 A CN 105631027A CN 201511021355 A CN201511021355 A CN 201511021355A CN 105631027 A CN105631027 A CN 105631027A
Authority
CN
China
Prior art keywords
data
visual
user
database
visual analyzing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201511021355.XA
Other languages
English (en)
Inventor
孙瑞志
邓超
宋金伟
史银雪
袁钢
邓雪峰
王文狄
戴佚舟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN201511021355.XA priority Critical patent/CN105631027A/zh
Publication of CN105631027A publication Critical patent/CN105631027A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/248Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems

Abstract

本发明具体涉及一种面向企业商务智能的数据可视化分析方法和系统,该方法应用于包括数据源层、数据预处理层和可视化分析层的可视化分析系统中,包括:所述数据源层对各数据源的原始数据进行采集,并存储在数据仓库中;所述数据预处理层从所述数据仓库中采集数据,并对采集到的数据进行数据预处理,并将预处理后的数据存储在已清理数据库中;所述可视化分析层通过可视化分析器按照用户选择的数据处理算法对所述可视化分析数据库中的数据进行可视化分析,并向用户输出可视化分析结果。通过本发明的技术方案,可实现数据的分布式管理、并行计算及数据的可视化分析及呈现。

Description

一种面向企业商务智能的数据可视化分析方法和系统
技术领域
本发明涉及数据可视化分析领域,具体涉及一种面向企业商务智能的数据可视化分析方法和系统。
背景技术
随着现代企业信息化应用程度的不断深化,企业在生产经营过程中日益积累了海量数据且仍在快速增长,数据已成为企业的无形资产。如何对数据进行分析、挖掘、探索,以获得对企业发展有利的洞察及价值,是商务智能领域的研究热点,也是现代企业发展普遍面临的难题。
可视分析是一个专门的学科,它是信息、科学可视化与数据挖掘、数据管理、信息论、认知学、人机交互、图形学、图像处理等多种学科相互交融衍生出的一种分析方法。它的主要优势在于,它既能够充分利用计算机的高计算、高记忆、高存储性能对多维复杂数据集进行存储、计算和处理,将数据转换、映射成图形、图像进行分析,并能从原始数据、挖掘模型、分析结果等多个层面进行可视化展示,开展动态的渐进式人机交互分析,使分析者能够依靠肉眼进行分析数据选择、分析模型构建和挖掘算法选择,充分调动人在感知、认知、洞察、决策、情感、总结等方面的主观能力,在数据中发现潜藏的知识及智慧。
现有的企业数据分析方法多为集中式数据处理方法,数据分析速度慢,无法高效解析数据,另外缺少人机交互式的可视化分析方法。
发明内容
本发明的一个目的在于解决上述技术问题。
针对上述问题,本发明提出了一种面向企业商务智能的数据可视化分析方法,用于包括数据源层、数据预处理层和可视化分析层的可视化分析系统中,包括:
步骤S1、所述数据源层对各数据源的原始数据进行采集,并存储在数据仓库中;
步骤S2、所述数据预处理层从所述数据仓库中采集数据,并对采集到的数据进行数据预处理,并将预处理后的数据存储在已清理数据库中;其中所预处理包括数据清理,所述数据清理用于按预设的过滤规则清理不符合要求的数据;
步骤S3、所述可视化分析层从所述已清理数据库中采集数据,并存储在可视分析数据库中;所述可视化分析层通过可视化分析器按照用户选择的数据处理算法对所述可视化分析数据库中的数据进行可视化分析,并向用户输出可视化分析结果。
优选地,所述步骤S1具体包括:
步骤S11、所述数据源层对各数据源的原始数据进行采集,并对采集的原始数据进行编码格式的规范,得到标准编码格式的数据;
步骤S22、所述数据源层将所述标准编码格式的数据存储在数据仓库中。
优选地,所述步骤S2具体包括:
所述数据预处理层通过企业服务总线从所述数据仓库中采集数据,并对采集到的数据进行数据预处理,并将预处理后的数据存储在已清理数据库中。
优选地,所述数据预处理还包括:
数据转换,用于将数据清理后的数据转换为标准格式;
数据融合,用于将按时序获得的经过数据转换后的数据,按预设准则加以分析和综合。
优选地,所述步骤S3具体包括:
步骤S31、所述可视化分析层从所述已清理数据库中采集数据,并存储在可视分析数据库中;
步骤S32、向用户提供交互式可视分析界面,所述交互式可视分析界面包括可视化分析器列表、数据处理算法列表和数据字段列表;
步骤S33、检测用户从所述可视化分析器列表中选择的可视化分析器,检测用户从所述数据处理算法列表中选择的数据处理算法,检测用户从所述数据字段列表中选择的数据字段;
步骤S34、所述可视化分析器从所述可视化分析数据库中读取所述数据字段对应的数据,并按所述数据处理算法对读取的数据进行数据分析,并向用户输出可视化分析结果。
优选地,所述可视化分析界面还包括:是否保存所述可视化分析结果的确认按钮;
所述步骤34之后,还包括:
步骤S35、当接收到用户确认保存所述可视化分析结果的触发信息后,保存所述可视化分析结果至所述可视化分析数据库,否则,返回步骤S33。
优选地,所述可视化分析器列表中的可视化分析器包括以下任一种或多种:
热力地图、时序流式地图、时空网络地图、平行坐标、多类散点图和标签云。
优选地,所述数据处理算法列表中的数据处理算法包括以下任一种或多种:
基于划分的聚类算法、基于层次的聚类算法和基于密度的聚类算法。
优选地,所述向用户输出可视化分析结果,具体包括:
接收用户的触发信息,并根据用户触发信息所指示的动作,向用户输出可视化分析结果,其中用户触发信息所指示的动作包括以下任一种:
视图总览、视图缩放、视图漫游、视图过滤、细节查看、关联与刷新、动态投影。
另外,本发明还提出了一种面向企业商务智能的数据可视化分析系统,包括:
数据源层,用于对各数据源的原始数据进行采集,并存储在数据仓库中;
数据预处理层,用于通过企业服务总线从所述数据仓库中采集数据,并对采集到的数据进行数据预处理,并将预处理后的数据存储在已清理数据库中;其中所述预处理包括数据清理,所述数据清理用于按预设的过滤规则清理不符合要求的数据;
可视化分析层,用于从所述已清理数据库中采集数据,并存储在可视分析数据库中;还用于通过可视化分析器按照用户选择的数据处理算法对所述可视化分析数据库中的数据进行可视化分析,并向用户输出可视化分析结果。
由上述技术方案可知,本发明提供的一种数据分析方法和系统,该方法应用于包括数据源层、数据预处理层和可视化分析层的可视化分析系统中,该方法通过三层系统架构对数据进行分布式管理,可以提高系统架构的可靠性、灵活性和鲁棒性;同时由于本发明提供的这种三层分布式系统架构,各层均可独立运作且相互之间可以保持动态协同,能实现数据的并行计算与处理,相比现有技术,能提高数据分析的运行效率;另外,该方法通过可视化分析器按用户选择的数据处理算法对数据进行分析,并向用户输出可视化分析结果,实现了对数据的交互式可视化分析,确保了数据分析的易用性和交互性。
附图说明
图1为本发明一实施例提供的一种面向企业商务智能的数据可视化分析方法流程示意图;
图2为本发明另一实施例提供的一种面向企业商务智能的数据可视化分析方法流程示意图;
图3A为本发明另一实施例提供的对某烟草公司一次营销活动中的部分真实数据进行可视化分析和呈现的地理分布热力地图;
图3B为本发明另一实施例提供的对某烟草公司一次营销活动中的部分真实数据进行可视化分析和呈现的2014年6月中旬的时序分布热力地图;
图3C为本发明另一实施例提供的对某烟草公司2一次营销活动中的部分真实数据进行可视化分析和呈现的2014年6月底的时序分布热力地图;
图4为另一实施例提供的一种面向企业商务智能的数据可视化分析系统100的示意框图;
图5为图4所示的一种面向企业商务智能的数据可视化分析系统的结构示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
图1为本发明一实施例提供的一种面向企业商务智能的数据可视化分析方法流程示意图,该方法应用于包括数据源层、数据预处理层和可视化分析层的可视化分析系统中,参见图1,该方法包括:
步骤S1、所述数据源层对各数据源的原始数据进行采集,并存储在数据仓库中;
步骤S2、所述数据预处理层从所述数据仓库中采集数据,并对采集到的数据进行数据预处理,并将预处理后的数据存储在已清理数据库中;其中所预处理包括数据清理,所述数据清理用于按预设的过滤规则清理不符合要求的数据;
步骤S3、所述可视化分析层从所述已清理数据库中采集数据,并存储在可视分析数据库中;所述可视化分析层通过可视化分析器按照用户选择的数据处理算法对所述可视化分析数据库中的数据进行可视化分析,并向用户输出可视化分析结果。
其中,步骤S1中从各数据源采集的原始数据包括:用户的ID、用户的手机号、用户的IP地址、用户购买产品的时间、购买产品的类别、批次等。
步骤S2中的数据清理,包括过滤空值(例如同时缺失IP地址和时间信息的数据)、错误数据(例如IP地址超出中国范围,日期格式不正确,日期越界)、重复数据等。
由上述技术方案可知,本发明提供的一种面向企业商务智能的数据可视化分析方法,该方法应用于包括数据源层、数据预处理层和可视化分析层的可视化分析系统中,该方法通过三层系统架构对数据进行分布式管理,可以提高系统架构的可靠性、灵活性和鲁棒性;同时由于本发明提供的这种三层分布式系统架构,各层均可独立运作且相互之间可以保持动态协同,能实现数据的并行计算与处理,相比现有技术,能提高数据分析的运行效率;另外,该方法通过可视化分析器按用户选择的数据处理算法对数据进行分析,并向用户输出可视化分析结果,实现了对数据的交互式可视化分析,确保了数据分析的易用性和交互性。
优选地,所述步骤S1具体包括:
步骤S11、所述数据源层对各数据源的原始数据进行采集,并对采集的原始数据进行编码格式的规范,得到标准编码格式的数据;
步骤S22、所述数据源层将所述标准编码格式的数据存储在数据仓库中。
可以理解的是,对采集的原始数据进行编码格式的规范,是为了将从各数据源采集的数据都转换为同一编码格式,能降低后续数据预处理的难度。
优选地,所述步骤S2具体包括:
所述数据预处理层通过企业服务总线从所述数据仓库中采集数据,并对采集到的数据进行数据预处理,并将预处理后的数据存储在已清理数据库中。
可以理解的是,企业现有信息系统体系架构包含很多具有不同软件架构的业务系统,例如实现供应链信息管理的ERP(EnterpriseResourcePlanning,企业资源计划)系统,实现客户信息管理的CRM(CustomerRelationshipManagement,客户关系管理)系统,由于各个业务系统的软件架构及采用的数据库不同,各个业务系统的数据传输方式也是不同的,因此为了实现从各个数据源到数据源层的数据传输及从数据源层到数据预处理层的数据传输,数据源层按照企业服务总线规定的标准接口协议从各个数据源(包括各个业务系统)采集原始数据,数据预处理层按照企业服务总线规定的标准数据传输协议从数据源层的数据仓库中采集数据。
优选地,所述数据预处理还包括:
数据转换,用于将数据清理后的数据转换为标准格式;
数据融合,用于将按时序获得的经过数据转换后的数据,按预设准则加以分析和综合。
其中,数据转换包括统一数据格式,如字段属性、长度、单位等;地理信息转换,例如将用户访问系统时的公网IP转换为实际地理信息,又如将客户的地址信息转换成地理经纬度信息;时序信息转换,例如将用户访问系统时的登录时间转换为特定的时序节点。
数据融合包括数据层、特征层、决策层三种融合方式。
可以理解的是,从数据源层的数据仓库中采集的数据,在时间和空间上都是有相关性的,数据预处理层在数据预处理的过程中增加数据融合,可以清除数据中的冗余信息,能减轻已清理数据库的存储压力,也间接减轻了后续可视化分析层从已清理数据库中采集数据时的网络数据传输量。
另外,因为在数据清理后增加了数据转换和数据融合的数据处理过程,那些数据信息正确但数据格式不满足要求的数据也可以成为数据分析的可用数据,相当于满足数据分析的基础数据增多,可以提高最终数据分析结果的准确度。
优选地,所述步骤S3具体包括:
步骤S31、所述可视化分析层从所述已清理数据库中采集数据,并存储在可视分析数据库中;
步骤S32、向用户提供交互式可视分析界面,所述交互式可视分析界面包括可视化分析器列表、数据处理算法列表和数据字段列表;
步骤S33、检测用户从所述可视化分析器列表中选择的可视化分析器,检测用户从所述数据处理算法列表中选择的数据处理算法,检测用户从所述数据字段列表中选择的数据字段;
步骤S34、所述可视化分析器从所述可视化分析数据库中读取所述数据字段对应的数据,并按所述数据处理算法对读取的数据进行数据分析,并向用户输出可视化分析结果。
其中,所述数据字段列表中的数据字段包括:用户类型、用户级别、时间范围、参与营销活动类型等;
可以理解是,通过向用户提供交互式可视分析界面,不同的用户根据自己的业务分析需求,可以选择不同数据字段,数据处理算法,可视化分析器进行数据分析,本发明提供的这种面向企业商务智能的数据可视化分析方法可以满足用户多样化的分析需求,适用范围广、易扩展、人机交互性强。
优选地,所述可视化分析界面还包括:是否保存所述可视化分析结果的确认按钮;
所述步骤34之后,还包括:
步骤S35、当接收到用户确认保存所述可视化分析结果的触发信息后,保存所述可视化分析结果至所述可视化分析数据库,否则,返回步骤S33。
可以理解的是,当用户发现数据分析的结果不符合自己的业务需求时,本发明提供的这种面向企业商务智能的数据可视化分析方法可以根据用户重新选择的数据字段、数据处理算法及可视化分析器重新进行数据分析,直到用户认为分析结果满足业务需求,点击交互式可视分析界面上的保存所述可视化分析结果按钮后,保存当前数据分析结果。这样一方面可以满足用户多样化的分析需求,另一方面由于只在用户确认保存分析结果时才对所述分析结果进行保存,可以减少存储占用空间。
优选地,所述可视化分析器列表中的可视化分析器包括以下任一种或多种:
热力地图、时序流式地图、时空网络地图、平行坐标、多类散点图和标签云。
其中,时序流式图是指以时间轴的形式呈现客户和产品的发展状态和趋势。
例如:某一行政区域某产品销售量的时间曲线图;某一行政区域多个产品的在一段时间内的销售比例变化的河流图。
其中,时空网络地图用于展现客户和产品在不同时间节点和地理空间位置的发展状态和趋势。
例如:多个行政区域某产品销售量的时间曲线图;多个行政区域的某产品的在一段时间内的销售比例变化的河流图。
优选地,所述数据处理算法列表中的数据处理算法包括以下任一种或多种:
基于划分的聚类算法、基于层次的聚类算法和基于密度的聚类算法。
优选地,所述的数据处理算法包括基于划分的聚类算法K-Means、基于层次的聚类算法AGNES和基于密度的聚类算法DBSCAN。
需要说明的是,本发明提供的这种面向企业商务智能的数据可视化分析方法不单只是为决策者呈现直观的数据图表,更为重要的是,能够辅助决策者制定计划。例如可以根据消费者的地理信息,对购买同一类产品的消费者进行聚类。例如,针对某种产品在南宁市的消费情况,按照消费者的空间距离进行聚类;根据决策者提供南宁市业务代表的数量和需走访区域的个数,本方法使用无监督聚类,自动划分业务代表的走访区域,并指定每个区域派驻的工作人员,达到最优的分配效果。
优选地,所述向用户输出可视化分析结果,具体包括:
接收用户的触发信息,并根据用户触发信息所指示的动作,向用户输出可视化分析结果,其中用户触发信息所指示的动作包括以下任一种:
视图总览、视图缩放、视图漫游、视图过滤、细节查看、关联与刷新、动态投影。
可以理解的是,通过视图总览、视图缩放、视图漫游、视图过滤、细节查看、关联与刷新、动态投影等,可以提高用户进行数据分析时的人机交互体验效果。
图2为本发明另一实施例提供的一种面向企业商务智能的数据可视化分析方法流程示意图,该方法应用于包括数据源层、数据预处理层和可视化分析层的可视化分析系统中,参见图2,该方法包括:
步骤S101、所述数据源层对各数据源的原始数据进行采集,并对采集的原始数据进行编码格式的规范,得到标准编码格式的数据;
步骤S102、所述数据源层将所述标准编码格式的数据存储在数据仓库中;
步骤S103、所述数据预处理层通过企业服务总线从所述数据仓库中采集数据,并对采集到的数据进行数据预处理,并将预处理后的数据存储在已清理数据库中;其中所预处理包括数据清理、数据转换和数据融合,所述数据清理用于按预设的过滤规则清理不符合要求的数据;数据转换用于将数据清理后的数据转换为标准格式;数据融合用于将按时序获得的经过数据转换后的数据,按预设准则加以分析和综合;
步骤S104、所述可视化分析层从所述已清理数据库中采集数据,并存储在可视分析数据库中;
步骤S105、所述可视化分析层向用户提供交互式可视分析界面,所述交互式可视分析界面包括可视化分析器列表、数据处理算法列表和数据字段列表、是否保存所述可视化分析结果的确认按钮;
步骤S106、所述可视化分析层检测用户从所述可视化分析器列表中选择的可视化分析器,检测用户从所述数据处理算法列表中选择的数据处理算法,检测用户从所述数据字段列表中选择的数据字段;
其中,所述可视化分析器列表中的可视化分析器包括以下任一种或多种:热力地图、时序流式地图、时空网络地图、平行坐标、多类散点图和标签云;
所述数据处理算法列表中的数据处理算法包括以下任一种或多种:于划分的聚类算法K-Means、基于层次的聚类算法AGNES和基于密度的聚类算法DBSCAN;
步骤S107、所述可视化分析器从所述可视化分析数据库中读取所述数据字段对应的数据,并按所述数据处理算法对读取的数据进行数据分析,并向用户输出可视化分析结果;
其中,所述向用户输出可视化分析结果,具体包括:
接收用户的触发信息,并根据用户触发信息所指示的动作,向用户输出可视化分析结果,其中用户触发信息所指示的动作包括以下任一种:视图总览、视图缩放、视图漫游、视图过滤、细节查看、关联与刷新、动态投影;
步骤S108、当接收到用户确认保存所述可视化分析结果的触发信息后,保存所述可视化分析结果至所述可视化分析数据库,否则,返回步骤S106。
在具体实践中,还利用上述方法对某烟草公司一次营销活动中的部分真实数据(共25万条数据)进行了可视化分析,并采用热力地图进行了可视化呈现。图3A为采用地理分布热力地图,从国-省-市级层次对该公司品牌客户热力情况进行可视化分析及呈现的结果,参见图3A中的黑色阴影区域,可知:1、广西本土客户是企业品牌最忠实最重要的客户群体;2、省外客户群体主要集中在我国的东部沿海、长江流域及珠江流域地区,客户热度比较集中的地区有北京、上海、广州、重庆、福州、泉州、南京、成都、武汉、长沙、南昌、贵阳等市;3、从全国范围来看,客户主要集中在经济发达地区,并沿着国道高速公路和铁路的延伸方向发展,对交通主干道有很强的依赖性。
图3B和图3C为采用时序分布热力地图,从省-市-县级层次对该公司品牌客户热力情况进行可视化分析及呈现的结果,其中图3B为2014年6月中旬的时序分布热力地图,图3C为2014年6月底的时序分布热力地图,参见图3B和图3C中的黑色阴影区域可知:
2014年6月中旬时活动主要在南宁、桂林、柳州、玉林等城市开展并引发热点,6月底时活动已经向全省14个地市扩散,并逐渐向周边县城辐射。
由上述实施例可知可视化分析可以将消费者的地理信息和时间信息呈现给用户,并对这些信息进行分析,辅助决策人员制定计划。其中,可以采用百度地图作为地理信息呈现的工具。可视化分析层能够按照客户的地理经纬度信息,将客户的地理位置信息在电子地图上进行可视化呈现作为系统主视图,并提供多种可视化参数设置选项,供分析人员开展动态的交互式分析。
图4为本发明另一实施例提供的一种面向企业商务智能的数据可视化分析系统100的示意框图,图5(图5中M,N≥1)为图4所示的一种面向企业商务智能的数据可视化分析系统的结构示意图,参见图4和图5,该系统包括:
数据源层101,用于对各数据源的原始数据进行采集,并存储在数据仓库中;
数据预处理层102,用于通过企业服务总线从所述数据仓库中采集数据,并对采集到的数据进行数据预处理,并将预处理后的数据存储在已清理数据库中;其中所述预处理包括数据清理,所述数据清理用于按预设的过滤规则清理不符合要求的数据;
可视化分析层103,用于从所述已清理数据库中采集数据,并存储在可视分析数据库中;还用于通过可视化分析器按照用户选择的数据处理算法对所述可视化分析数据库中的数据进行可视化分析,并向用户输出可视化分析结果。
综上,本发明提供的一种数据分析方法和系统,该方法应用于包括数据源层、数据预处理层和可视化分析层的可视化分析系统中,该方法通过三层系统架构对数据进行分布式管理,可以提高系统架构的可靠性、灵活性和鲁棒性;同时由于本发明提供的这种三层分布式系统架构,各层均可独立运作且相互之间可以保持动态协同,能实现数据的并行计算与处理,相比现有技术,能提高数据分析的运行效率;另外,该方法通过可视化分析器按用户选择的数据处理算法对数据进行分析,并向用户输出可视化分析结果,实现了对数据的交互式可视化分析,确保了数据分析的易用性和交互性。
在本发明中,术语“多个”指两个或两个以上,除非另有明确的限定。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种面向企业商务智能的数据可视化分析方法,其特征在于,应用于包括数据源层、数据预处理层和可视化分析层的可视化分析系统中,包括:
步骤S1、所述数据源层对各数据源的原始数据进行采集,并存储在数据仓库中;
步骤S2、所述数据预处理层从所述数据仓库中采集数据,并对采集到的数据进行数据预处理,并将预处理后的数据存储在已清理数据库中;其中所预处理包括数据清理,所述数据清理用于按预设的过滤规则清理不符合要求的数据;
步骤S3、所述可视化分析层从所述已清理数据库中采集数据,并存储在可视分析数据库中;所述可视化分析层通过可视化分析器按照用户选择的数据处理算法对所述可视化分析数据库中的数据进行可视化分析,并向用户输出可视化分析结果。
2.根据权利要求1所述的面向企业商务智能的数据可视化分析方法,其特征在于,所述步骤S1具体包括:
步骤S11、所述数据源层对各数据源的原始数据进行采集,并对采集的原始数据进行编码格式的规范,得到标准编码格式的数据;
步骤S22、所述数据源层将所述标准编码格式的数据存储在数据仓库中。
3.根据权利要求1所述的面向企业商务智能的数据可视化分析方法,其特征在于,所述步骤S2具体包括:
所述数据预处理层通过企业服务总线从所述数据仓库中采集数据,并对采集到的数据进行数据预处理,并将预处理后的数据存储在已清理数据库中。
4.根据权利要求1所述的面向企业商务智能的数据可视化分析方法,其特征在于,所述数据预处理还包括:
数据转换,用于将数据清理后的数据转换为标准格式;
数据融合,用于将按时序获得的经过数据转换后的数据,按预设准则加以分析和综合。
5.根据权利要求1所述的面向企业商务智能的数据可视化分析方法,其特征在于,所述步骤S3具体包括:
步骤S31、所述可视化分析层从所述已清理数据库中采集数据,并存储在可视分析数据库中;
步骤S32、向用户提供交互式可视分析界面,所述交互式可视分析界面包括可视化分析器列表、数据处理算法列表和数据字段列表;
步骤S33、检测用户从所述可视化分析器列表中选择的可视化分析器,检测用户从所述数据处理算法列表中选择的数据处理算法,检测用户从所述数据字段列表中选择的数据字段;
步骤S34、所述可视化分析器从所述可视化分析数据库中读取所述数据字段对应的数据,并按所述数据处理算法对读取的数据进行数据分析,并向用户输出可视化分析结果。
6.根据权利要求4所述的面向企业商务智能的数据可视化分析方法,其特征在于,所述可视化分析界面还包括:是否保存所述可视化分析结果的确认按钮;
所述步骤34之后,还包括:
步骤S35、当接收到用户确认保存所述可视化分析结果的触发信息后,保存所述可视化分析结果至所述可视化分析数据库,否则,返回步骤S33。
7.根据权利要求4所述的面向企业商务智能的数据可视化分析方法,其特征在于,所述可视化分析器列表中的可视化分析器包括以下任一种或多种:
热力地图、时序流式地图、时空网络地图、平行坐标、多类散点图和标签云。
8.根据权利要求4所述的面向企业商务智能的数据可视化分析方法,其特征在于,所述数据处理算法列表中的数据处理算法包括以下任一种或多种:
基于划分的聚类算法、基于层次的聚类算法和基于密度的聚类算法。
9.根据权利要求1~8任一项所述的面向企业商务智能的数据可视化分析方法,其特征在于,所述向用户输出可视化分析结果,具体包括:
接收用户的触发信息,并根据用户触发信息所指示的动作,向用户输出可视化分析结果,其中用户触发信息所指示的动作包括以下任一种:
视图总览、视图缩放、视图漫游、视图过滤、细节查看、关联与刷新、动态投影。
10.一种面向企业商务智能的数据可视化分析系统,其特征在于包括:
数据源层,用于对各数据源的原始数据进行采集,并存储在数据仓库中;
数据预处理层,用于通过企业服务总线从所述数据仓库中采集数据,并对采集到的数据进行数据预处理,并将预处理后的数据存储在已清理数据库中;其中所述预处理包括数据清理,所述数据清理用于按预设的过滤规则清理不符合要求的数据;
可视化分析层,用于从所述已清理数据库中采集数据,并存储在可视分析数据库中;还用于通过可视化分析器按照用户选择的数据处理算法对所述可视化分析数据库中的数据进行可视化分析,并向用户输出可视化分析结果。
CN201511021355.XA 2015-12-30 2015-12-30 一种面向企业商务智能的数据可视化分析方法和系统 Pending CN105631027A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511021355.XA CN105631027A (zh) 2015-12-30 2015-12-30 一种面向企业商务智能的数据可视化分析方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511021355.XA CN105631027A (zh) 2015-12-30 2015-12-30 一种面向企业商务智能的数据可视化分析方法和系统

Publications (1)

Publication Number Publication Date
CN105631027A true CN105631027A (zh) 2016-06-01

Family

ID=56045960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511021355.XA Pending CN105631027A (zh) 2015-12-30 2015-12-30 一种面向企业商务智能的数据可视化分析方法和系统

Country Status (1)

Country Link
CN (1) CN105631027A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156886A (zh) * 2016-06-30 2016-11-23 亿阳安全技术有限公司 一种基于运营商系统数据补全规则应用流程的方法及系统
CN106156350A (zh) * 2016-07-25 2016-11-23 恒安嘉新(北京)科技有限公司 一种可视化大数据分析方法及系统
CN106295983A (zh) * 2016-08-08 2017-01-04 烟台海颐软件股份有限公司 电力营销数据可视化统计分析方法及系统
CN106599313A (zh) * 2016-12-30 2017-04-26 上海熠源数据科技有限公司 可视化数据认知方法
CN107273439A (zh) * 2017-05-25 2017-10-20 李海磊 一种智能设备数据可视化方法及系统
CN107391572A (zh) * 2017-06-19 2017-11-24 南京邮电大学 一种大数据可视化认知分析系统及其分析方法
CN108038228A (zh) * 2017-12-25 2018-05-15 佛山市车品匠汽车用品有限公司 一种基于数据库的挖掘方法和装置
CN108268621A (zh) * 2018-01-09 2018-07-10 上海大学 基于大数据的数据分析、挖掘、渲染及可视化方法
CN109002526A (zh) * 2018-07-13 2018-12-14 陕西首途信息科技有限公司 一种数据整合分析方法及平台
CN109902124A (zh) * 2019-03-07 2019-06-18 姜博 一种数据处理方法及数据处理系统
CN111914031A (zh) * 2020-08-11 2020-11-10 中国科学院地质与地球物理研究所 一种基于大数据的星载磁场数据处理系统
CN112380302A (zh) * 2020-10-23 2021-02-19 北京建筑大学 基于轨迹数据的热力图生成方法、装置、电子设备以及存储介质
CN112445853A (zh) * 2020-11-18 2021-03-05 广东赛意信息科技有限公司 一种数字透明可视化分析平台
CN113010595A (zh) * 2021-03-18 2021-06-22 国网福建省电力有限公司宁德供电公司 一种电力能源数据分析与监控方法及系统
CN113486003A (zh) * 2021-06-02 2021-10-08 广州数说故事信息科技有限公司 数据可视化时考虑异常值的企业数据集处理方法及系统
US11216353B2 (en) 2017-12-21 2022-01-04 Baidu Online Network Technology (Beijing) Co., Ltd. Data visual analysis method, system and terminal and computer readable storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080196018A1 (en) * 2007-02-08 2008-08-14 Identitymine Inc. SimpleBinding Extension
CN103246745A (zh) * 2013-05-22 2013-08-14 中国工商银行股份有限公司 一种基于数据仓库的数据处理装置及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080196018A1 (en) * 2007-02-08 2008-08-14 Identitymine Inc. SimpleBinding Extension
CN103246745A (zh) * 2013-05-22 2013-08-14 中国工商银行股份有限公司 一种基于数据仓库的数据处理装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杜一 等: ""一种大规模时空数据处理与可视化平台"", 《计算机研究与发展》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156886A (zh) * 2016-06-30 2016-11-23 亿阳安全技术有限公司 一种基于运营商系统数据补全规则应用流程的方法及系统
CN106156350A (zh) * 2016-07-25 2016-11-23 恒安嘉新(北京)科技有限公司 一种可视化大数据分析方法及系统
CN106295983A (zh) * 2016-08-08 2017-01-04 烟台海颐软件股份有限公司 电力营销数据可视化统计分析方法及系统
CN106599313A (zh) * 2016-12-30 2017-04-26 上海熠源数据科技有限公司 可视化数据认知方法
CN107273439B (zh) * 2017-05-25 2021-06-04 北京君泊网络科技有限责任公司 一种智能设备数据可视化方法及系统
CN107273439A (zh) * 2017-05-25 2017-10-20 李海磊 一种智能设备数据可视化方法及系统
CN107391572A (zh) * 2017-06-19 2017-11-24 南京邮电大学 一种大数据可视化认知分析系统及其分析方法
US11216353B2 (en) 2017-12-21 2022-01-04 Baidu Online Network Technology (Beijing) Co., Ltd. Data visual analysis method, system and terminal and computer readable storage medium
CN108038228A (zh) * 2017-12-25 2018-05-15 佛山市车品匠汽车用品有限公司 一种基于数据库的挖掘方法和装置
CN108268621A (zh) * 2018-01-09 2018-07-10 上海大学 基于大数据的数据分析、挖掘、渲染及可视化方法
CN109002526A (zh) * 2018-07-13 2018-12-14 陕西首途信息科技有限公司 一种数据整合分析方法及平台
CN109902124A (zh) * 2019-03-07 2019-06-18 姜博 一种数据处理方法及数据处理系统
CN111914031A (zh) * 2020-08-11 2020-11-10 中国科学院地质与地球物理研究所 一种基于大数据的星载磁场数据处理系统
CN111914031B (zh) * 2020-08-11 2021-03-16 中国科学院地质与地球物理研究所 一种基于大数据的星载磁场数据处理系统
CN112380302A (zh) * 2020-10-23 2021-02-19 北京建筑大学 基于轨迹数据的热力图生成方法、装置、电子设备以及存储介质
CN112380302B (zh) * 2020-10-23 2023-07-21 北京建筑大学 基于轨迹数据的热力图生成方法、装置、电子设备以及存储介质
CN112445853A (zh) * 2020-11-18 2021-03-05 广东赛意信息科技有限公司 一种数字透明可视化分析平台
CN113010595A (zh) * 2021-03-18 2021-06-22 国网福建省电力有限公司宁德供电公司 一种电力能源数据分析与监控方法及系统
CN113486003A (zh) * 2021-06-02 2021-10-08 广州数说故事信息科技有限公司 数据可视化时考虑异常值的企业数据集处理方法及系统
CN113486003B (zh) * 2021-06-02 2024-03-19 广州数说故事信息科技有限公司 数据可视化时考虑异常值的企业数据集处理方法及系统

Similar Documents

Publication Publication Date Title
CN105631027A (zh) 一种面向企业商务智能的数据可视化分析方法和系统
US10715962B2 (en) Systems and methods for predicting lookalike mobile devices
Toole et al. The path most traveled: Travel demand estimation using big data resources
Hu et al. A graph-based approach to detecting tourist movement patterns using social media data
Yang et al. Nationtelescope: Monitoring and visualizing large-scale collective behavior in lbsns
CN103914536B (zh) 一种用于电子地图的兴趣点推荐方法及系统
Wang et al. Improving population mapping using Luojia 1-01 nighttime light image and location-based social media data
Long et al. Mapping block-level urban areas for all Chinese cities
CN108604347A (zh) 用于基于性能驱动的动态地理围栏的目标定位的系统和方法
Noulas et al. Topological properties and temporal dynamics of place networks in urban environments
CN104881800A (zh) 一种基于移动群智感知的激励机制实现方法
Jiang et al. Large-scale taxi O/D visual analytics for understanding metropolitan human movement patterns
Corcoran et al. Characterising the metric and topological evolution of OpenStreetMap network representations
Gong et al. Crowd characterization for crowd management using social media data in city events
Fang et al. Data-driven framework for delineating urban population dynamic patterns: Case study on Xiamen Island, China
Qian et al. Quantify city-level dynamic functions across China using social media and POIs data
WO2019075120A1 (en) SYSTEMS AND METHODS FOR USING GEOBLOCS AND GEOBARRIERS TO DISCOVER SIMILAR MOBILE DEVICES
CN107423998A (zh) 一种基于SaaS平台的可视化销售数据管理方法及系统
Zheng et al. TelcoFlow: Visual exploration of collective behaviors based on telco data
Gkatziaki et al. DynamiCITY: Revealing city dynamics from citizens social media broadcasts
Martino et al. Ocean of information: fusing aggregate & individual dynamics for metropolitan analysis
Wang et al. Consistent, accurate, high resolution, long time-series mapping of built-up land in the North China Plain
Hladík et al. Spatial-temporal analysis of retail and services using Facebook Places data: a case study in Brno, Czech Republic
CN111209329A (zh) 基于全业务量价费异动路径动态分析方法、装置及系统
Xi et al. Spatio-temporal fragmentation of leisure activities in information era: Empirical evidence from Nanjing, China

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160601