CN111597172B - 基于检查表的多维度大数据分析展示系统 - Google Patents
基于检查表的多维度大数据分析展示系统 Download PDFInfo
- Publication number
- CN111597172B CN111597172B CN202010217644.1A CN202010217644A CN111597172B CN 111597172 B CN111597172 B CN 111597172B CN 202010217644 A CN202010217644 A CN 202010217644A CN 111597172 B CN111597172 B CN 111597172B
- Authority
- CN
- China
- Prior art keywords
- data
- module
- dimension
- check
- support
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 36
- 238000004140 cleaning Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000004458 analytical method Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 12
- 230000003993 interaction Effects 0.000 claims description 6
- 238000005065 mining Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 4
- 239000000779 smoke Substances 0.000 claims description 4
- 238000007726 management method Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000000391 smoking effect Effects 0.000 description 4
- 238000002255 vaccination Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000005180 public health Effects 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 241000208125 Nicotiana Species 0.000 description 1
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000019504 cigarettes Nutrition 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 239000003651 drinking water Substances 0.000 description 1
- 235000020188 drinking water Nutrition 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000002649 immunization Methods 0.000 description 1
- 230000003053 immunization Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 229960005486 vaccine Drugs 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
- G06F2216/03—Data mining
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Quality & Reliability (AREA)
- Computer Security & Cryptography (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于检查表的多维度大数据分析展示系统,包括:数据清洗模块,用于对数据库的原始数据清洗,对数据进行ETL操作;检查表模块,用于维护检查表数据,所述检查表为执法检查表或管理检查表,检查表由多个检查项组成;维度表模块,用于维护维度表数据,所述维度表由多个数据维度项组成;数据分析处理模块,针对数据清洗模块、检查表模块、维度表模块中数据进行数据分析,从数据清洗模块生成的数据中提取有效数据,向数据展示模块提供数据支持;并对检查表模块、维度表模块进行数据更新;数据展示模块,用于对分析处理后的数据进行展示。本发明可基于检查表的多维度大数据进行分析展示,能够有效提高监督工作的工作效率。
Description
技术领域
本发明涉及一种基于检查表的多维度大数据分析展示系统。
背景技术
吸烟问题的危害是当今世界最严重的公共问题之一,世界卫生组织已将烟草流行问题列入全球公共卫生重点控制领域,随着我国法律体系不断的完善,控烟监督处罚工作量也在日益增加,公众对监督执法部门的工作也提出了更高的要求,我国的控烟工作已走上法制管理轨道,卫生监督部门根据该办法采取了许多措施控烟,但收效甚微。由于某些原因导致吸烟严重地区不能及时进行监督处罚,或者漏监督。预防接种监督等其它公共卫生管理事项以及其它执法管理监督领域也都存在类似的问题。因此,构建一套多维度大数据分析展示系统,为监督工作提供有效、准确的数据分析结果,提高监督工作的工作效率,是亟待解决的问题
发明内容
本发明的发明目的在于提供基于检查表的多维度大数据分析展示系统,能够有效提高监督工作的工作效率。
实现本发明目的的技术方案:
一种基于检查表的多维度大数据分析展示系统,其特征在于,包括:
数据清洗模块,所述数据清洗模块用于对数据库的原始数据清洗,对数据进行ETL操作;
检查表模块,所述检查表模块用于维护检查表数据,所述检查表为执法检查表或管理检查表,检查表由多个检查项组成;
维度表模块,所述维度表模块用于维护维度表数据,所述维度表由多个数据维度项组成;
数据分析处理模块,所述数据分析处理模块针对数据清洗模块、检查表模块、维度表模块中数据进行数据分析,从数据清洗模块生成的数据中提取有效数据,向数据展示模块提供数据支持;并对检查表模块、维度表模块进行数据更新;
数据展示模块,所述数据展示模块用于对分析处理后的数据进行展示。
进一步地,所述检查表模块,可根据监督处罚结果进行分析,统计整理出新的检查项,录入检查表。
进一步地,所述维度表模块,可根据监督处罚结果进行分析,分析出新的数据维度项,录入维度表。
进一步地,所述检查表模块,可基于Apriori算法处理数据,计算数据项最小支持度Support,并可根据最小支持度Support,确定检查表中新的检查项;最小支持度Support通过如下方法计算,
根据数据清洗模块产生的数据super,结合监督处罚情况数据factma,根据Apriori算法挖掘频繁项集,计算出最小支持度Support:
Support(super∩factma)=Freq(super∩factma)/N;
N代表处罚有效数据总数。
进一步地,所述维度表模块,可基于Apriori算法处理数据,计算数据项可信度Confidence,并根据可信度Confidence,可确定新的数据维度项;可信度Confidence通过如下方法计算,
基于Apriori算法分析出新的数据维度项,具体方法如下,
根据数据清洗模块产生的数据super,结合监督处罚情况数据factma,根据Apriori算法挖掘频繁项集,计算出可信度Confidence:
Confidence=Freq(super∩factma)/Freq(factma)。
进一步地,所述数据分析处理模块,可基于Apriori算法处理数据,计算数据项提升度LIFT,并根据提升度LIFT,确定提取有效数据,并对数据进行标准化处理;提升度LIFT通过如下方法计算,
Lift(a)=Support(super∩dimension)/Support(super)*Support(dimension);
Lift(b)=Support(super∩examin)/Support(super)*Support(examin);
式中,Support代表最小支持度,super代表数据清洗模块产生的数据,dimension代表维度表模块数据,examin代表检查表模块数据。
进一步地,所述数据展示模块,包括数据交互模块和数据图像化模块,使用D3.js根据数据以及模块绘制所需的图表;其中包含地图,地图使用SVG,根据标准地图服务系统提供数据绘制,并实现地图下钻功能。
进一步地,设有分布式协调模块,基于Zookeeper来管理整个大数据集群,保证所有服务器正常运行。
本发明具有的有益效果:
本发明包括数据清洗模块、检查表模块、维度表模块、数据分析处理模块、数据展示模块,数据分析处理模块针对数据清洗模块、检查表模块、维度表模块中数据进行数据分析,从数据清洗模块生成的数据中提取有效数据,向数据展示模块提供数据支持;并对检查表模块、维度表模块进行数据更新;数据展示模块于可对分析处理后的数据进行展示。本发明可为监督工作提供有效、准确的数据分析结果,提高监督工作的工作效率,通过各种维度分析更有价值的监督数据,统计分析工作是实现良好监督,管理科学化和统计参与决策的有效手段。
本发明检查表模块可基于Apriori算法处理数据,计算数据项最小支持度Support,并可根据最小支持度Support,确定检查表中新的检查项,即,增加新的检查项,使得监督工作具有更强的针对性,进一步提高监督工作效率。
本发明维度表模块可基于Apriori算法处理数据,计算数据项可信度Confidence,并根据可信度Confidence,可确定新的数据维度项,即,增加新的数据维度项,使得提供的监督数据更具参考性,进一步提高监督工作效率。
本发明数据分析处理模块可基于Apriori算法处理数据,计算数据项提升度LIFT,并根据提升度LIFT,确定提取有效数据,滤除无效数据,并对数据进行标准化处理,使得通过数据展示模块展示的数据更具参考性。
本发明数据展示模块包括数据交互模块和数据图像化模块,使用D3.js根据数据以及模块绘制所需的图表;其中包含地图,地图使用SVG,根据标准地图服务系统提供数据绘制,并实现地图下钻功能。本发明采用D3.js+SVG方式,更有利实现数据交互,更适合数据展示模块图谱之间的交互性,能够实现高效分析展示效果。本发明通过大数据技术对数据进行清洗、标准化,通过Apriori算法挖掘出高质量的数据,通过计算出来的数据,使用解释型(即时编译型)的编程语言JavaScript,结合D3.js+SVG技术实现数据可视化,通过Html页面实现图表化的可视化分析,使得呈现数据更加直观,使用户可以快速了解分析数据,从而为后续的监督检查提供有力支撑。
本发明设有分布式协调模块,基于Zookeeper来管理整个大数据集群,保证所有服务器正常运行,进一步保证系统运行的可靠性。
附图说明
图1为本发明系统总体架构图;
图2为本发明地图实现效果图;
图3为本发明展示的统计图。
具体实施方式
下面结合附图所示的实施方式对本发明进行详细说明,但应当说明的是,这些实施方式并非对本发明的限制,本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代,均属于本发明的保护范围之内。
如图1所示,本发明基于检查表的多维度大数据分析展示系统包括:
(一)数据清洗模块
所述数据清洗模块获取数据库中原始控烟数据,进行ETL操作,将原始控烟数据中的分散、零乱、标准不统一的数据过滤整合到一起,将清洗完成的数据存储到HBase中,为数据分析处理模块提供主要分析依据。
数据清洗分为离线分析和实时分析两种方式;使用Hive、Spark进行数据清洗过滤掉重复信息,删除无用数据,尽可能的纠正错误数据,并提供数据的一致性。
(二)检查表模块
所述检查表模块用于维护检查表数据,所述检查表为执法检查表或管理检查表,检查表由多个检查项组成。例如,对传染病消毒专业进行CDC预防接种管理监督,检查项包含部门人员(检查是否有专门部门和人员负责计划免疫管理)、制度(检查是否建立疫苗储存、运输、分发制度)、评价(检查是否按照相关要求进行与预防接种相关评价)等事项。
所述检查表模块,可根据监督处罚结果进行分析,统计整理出新的检查项,即,增加新的检查项,并录入检查表。
所述检查表模块,可基于Apriori算法处理数据,计算数据项最小支持度Support,并可根据最小支持度Support,确定检查表中新的检查项;最小支持度Support通过如下方法计算,
根据数据清洗模块产生的数据super,结合监督处罚情况数据factma,根据Apriori算法挖掘频繁项集,计算出最小支持度Support:
Support(super∩factma)=Freq(super∩factma)/N;
N代表处罚有效数据总数。
支持度:一个项集或者规则在所有事物中出现的频率,确定规则可以用给定数据集的频繁程度。其中Freq(X),表示项集X的支持度计数。
Freq(super∩factma)就是数据super和监督处罚数据factma同时出现的概率。
(三)维度表模块
所述维度表模块用于维护维度表数据,所述维度表由多个数据维度项组成。数据维度项可以是时间维度,包含年月日,可以是地点维度,包含省市县街道,可以是专业维度,如公共场所,生活饮用水,医疗机构等。
所述维度表模块,可根据监督处罚结果进行分析,分析出新的数据维度项,即,增加新的数据维度项,并录入维度表。
所述维度表模块,可基于Apriori算法处理数据,计算数据项可信度Confidence,并根据可信度Confidence,可确定新的数据维度项;可信度Confidence通过如下方法计算,
基于Apriori算法分析出新的数据维度项,具体方法如下,
根据数据清洗模块产生的数据super,结合监督处罚情况数据factma,根据Apriori算法挖掘频繁项集,计算出可信度Confidence:
Confidence=Freq(super∩factma)/Freq(factma)。
可信度Confidence,是指数据集super中出的所有监督数据中,数据集factma也出现的概率,概率高的数据作为维度数据表的数据,用于统计分析中的维度。置信度越高在维度中出现super的数据可能性就越大。
(四)数据分析处理模块
所述数据分析处理模块针对数据清洗模块、检查表模块、维度表模块中数据进行数据分析,从数据清洗模块生成的数据中提取有效数据,向数据展示模块提供数据支持;并对检查表模块、维度表模块进行数据更新。
所述数据分析处理模块,可基于Apriori算法处理数据,计算数据项提升度LIFT,并根据提升度LIFT,确定提取有效数据(提升度LIFT大于1确定为有效数据),并对数据进行标准化处理;提升度LIFT通过如下方法计算,
Lift(a)=Support(super∩dimension)/Support(super)*Support(dimension);
Lift(b)=Support(super∩examin)/Support(super)*Support(examin);
式中,Support代表最小支持度,super代表数据清洗模块产生的数据,dimension代表维度表模块数据,examin代表检查表模块数据。
本实施例中,数据分析处理模块通过MapReduce、spark对清洗好的数据结合维度表和检查表模块进行分析、统计,并可生成数据统计表;对统计数据标准化,首先归并检查表模块、维度表模块中的数据进行数据的关联关系分析,计算出数据的支持度、数据的置信度、数据的提升度,分析发出高质量的数据,并存入非关系型数据库中,用于可视化的综合展示。
(五)数据展示模块
如图2、图3所示,所述数据展示模块用于对分析处理后的数据进行展示。
所述数据展示模块,根据实际需求以及数据的关联关系,实现数据图表化,同时依据区域维度,根据标准地图服务系统提供数据绘制地图,并实现地图下钻功能,实现联动化数据,同时,获取获取数据分析处理模块生成的非关系型数据库中的数据,动态展示分析数据;
具体实施时,包括数据交互模块和数据图像化模块,使用D3.js根据数据以及模块绘制所需的图表;地图使用SVG,根据标准地图服务系统提供数据绘制,并实现地图下钻功能。
数据展示具体包括步骤如下:
步骤1,通过JavaScript定时触发,手动触发,获取后台格式化后标准数据;
步骤2,使用D3.js创建SVG画布,同时按照标准化地图模板和屏幕大小按照一定比例缩放,设计画布大小;
步骤3,按照调整好的模板,获取地图的json数据,导入D3.js所需要的类库;
步骤4,画布添加一个顶级g元素,同时根据区域为每个<path/>设置id,同时设置a标签用于地图下钻;
步骤5,d3-geo的“墨卡托投影”来创建了一个投影方法,根据投影创建地理路径生成器,以及创建颜色比例尺:
const paths=geo.geoPath(‘’);
const colors=d3.scaleOrdinal(schemeBrBG);
步骤6:为每个区域设置区域颜色,hover效果以及鼠标互动事件;
步骤7,绘制circle为地图增加热点区域,获取数据库标准化数据,对数据排序确定热点区域计算circle半径:
circles.data(topojson.feature(usa,counties).features.sort(function(a,b){retur n r});
同时设置地图手动是自动两种获取数据机制,保证数据实时同步;使用D3.js+SVG继续绘制其他图谱,如饼图、环形图柱状图、南丁格尔图等,并关联其他图谱进行数据展示,使得呈现效果更佳清晰、直观;
同时根据监督员实际监督情况,例如,对违法行为出现的频次、各地区控烟状况、管理相对人的现场劝阻情况,进行人工分析,对数据展示模块进行拓展,此处不一一列举。
(六)分布式协调模块
所述分布式协调模块负责整个系统后台服务的运行监控,监控管理整个服务模块,基于Zookeeper来分布式系统调整个大数据集群,保证所有服务器正常运行,如果有服务宕机,及时启动备用服务器,并保证数据的最大完整性,提高整个服务的容灾性。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明,它们并非用以限制本发明的保护范围,凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
Claims (5)
1.一种基于检查表的多维度大数据分析展示系统,其特征在于,包括:
数据清洗模块,所述数据清洗模块用于对数据库的原始数据清洗,对数据进行ETL操作;将原始控烟数据中的分散、零乱、标准不统一的数据过滤整合到一起,将清洗完成的数据存储到HBase中,为数据分析处理模块提供主要分析依据;
检查表模块,所述检查表模块用于维护检查表数据,所述检查表为执法检查表或管理检查表,检查表由多个检查项组成;
维度表模块,所述维度表模块用于维护维度表数据,所述维度表由多个数据维度项组成;所述维度表模块,可根据监督处罚结果进行分析,分析出新的数据维度项,录入维度表;所述维度表模块,可基于Apriori算法处理数据,计算数据项可信度Confidence,并根据可信度Confidence,可确定新的数据维度项;可信度Confidence通过如下方法计算,
基于Apriori算法分析出新的数据维度项,具体方法如下,
根据数据清洗模块产生的数据super,结合监督处罚情况数据factma,根据Apriori算法挖掘频繁项集,计算出可信度Confidence:
Confidence=Freq(super∩factma)/Freq(factma);
数据分析处理模块,所述数据分析处理模块针对数据清洗模块、检查表模块、维度表模块中数据进行数据分析,从数据清洗模块生成的数据中提取有效数据,向数据展示模块提供数据支持;并对检查表模块、维度表模块进行数据更新;
数据展示模块,所述数据展示模块用于对分析处理后的数据进行展示;
所述数据分析处理模块,可基于Apriori算法处理数据,计算数据项提升度LIFT,并根据提升度LIFT,确定提取有效数据,并对数据进行标准化处理;提升度LIFT通过如下方法计算,
Lift(a)=Support(super∩dimension)/Support(super)*Support(dimension);
Lift(b)=Support(super∩examin)/Support(super)*Support(examin);
式中,Support代表最小支持度,super代表数据清洗模块产生的数据,dimension代表维度表模块数据,examin代表检查表模块数据;
数据分析处理模块通过MapReduce、spark对清洗好的数据结合维度表和检查表模块进行分析、统计,并可生成数据统计表;对统计数据标准化,首先归并检查表模块、维度表模块中的数据进行数据的关联关系分析,计算出数据的支持度、数据的置信度、数据的提升度,分析发出高质量的数据,并存入非关系型数据库中,用于可视化的综合展示。
2.根据权利要求1所述的基于检查表的多维度大数据分析展示系统,其特征在于:所述检查表模块,可根据监督处罚结果进行分析,统计整理出新的检查项,录入检查表。
3.根据权利要求2所述的基于检查表的多维度大数据分析展示系统,其特征在于:所述检查表模块,可基于Apriori算法处理数据,计算数据项最小支持度Support,并可根据最小支持度Support,确定检查表中新的检查项;最小支持度Support通过如下方法计算,
根据数据清洗模块产生的数据super,结合监督处罚情况数据factma,根据Apriori算法挖掘频繁项集,计算出最小支持度Support:
Support(super∩factma)=Freq(super∩factma)/N;
N代表处罚有效数据总数。
4.根据权利要求1所述的基于检查表的多维度大数据分析展示系统,其特征在于:所述数据展示模块,包括数据交互模块和数据图像化模块,使用D3.js根据数据以及模块绘制所需的图表;其中包含地图,地图使用SVG,根据标准地图服务系统提供数据绘制,并实现地图下钻功能。
5.根据权利要求1至4任何一项所述的基于检查表的多维度大数据分析展示系统,其特征在于:设有分布式协调模块,基于Zookeeper来管理整个大数据集群,保证所有服务器正常运行。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010217644.1A CN111597172B (zh) | 2020-03-25 | 2020-03-25 | 基于检查表的多维度大数据分析展示系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010217644.1A CN111597172B (zh) | 2020-03-25 | 2020-03-25 | 基于检查表的多维度大数据分析展示系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111597172A CN111597172A (zh) | 2020-08-28 |
CN111597172B true CN111597172B (zh) | 2024-02-02 |
Family
ID=72185441
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010217644.1A Active CN111597172B (zh) | 2020-03-25 | 2020-03-25 | 基于检查表的多维度大数据分析展示系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111597172B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105740333A (zh) * | 2016-01-23 | 2016-07-06 | 北京掌阔移动传媒科技有限公司 | 一种可视化的广告管理平台和实现方法 |
CN106354786A (zh) * | 2016-08-23 | 2017-01-25 | 冯村 | 一种可视分析方法及系统 |
CN107993017A (zh) * | 2017-12-12 | 2018-05-04 | 中国矿业大学(北京) | 一种工人不安全行为分析方法及系统 |
CN108197740A (zh) * | 2017-12-29 | 2018-06-22 | 广东金赋科技股份有限公司 | 企业倒闭预测方法、电子设备和计算机存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170039741A1 (en) * | 2015-08-06 | 2017-02-09 | Sap Se | Multi-dimensional visualization |
-
2020
- 2020-03-25 CN CN202010217644.1A patent/CN111597172B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105740333A (zh) * | 2016-01-23 | 2016-07-06 | 北京掌阔移动传媒科技有限公司 | 一种可视化的广告管理平台和实现方法 |
CN106354786A (zh) * | 2016-08-23 | 2017-01-25 | 冯村 | 一种可视分析方法及系统 |
CN107993017A (zh) * | 2017-12-12 | 2018-05-04 | 中国矿业大学(北京) | 一种工人不安全行为分析方法及系统 |
CN108197740A (zh) * | 2017-12-29 | 2018-06-22 | 广东金赋科技股份有限公司 | 企业倒闭预测方法、电子设备和计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111597172A (zh) | 2020-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Brazier et al. | Identification, review, and use of health state utilities in cost-effectiveness models: an ISPOR good practices for outcomes research task force report | |
CN103093106B (zh) | 大型活动中多源数据的传染病症状监测与预警方法 | |
He et al. | Urban greenery mitigates the negative effect of urban density on older adults' life satisfaction: Evidence from Shanghai, China | |
Lam | Geospatial methods for reducing uncertainties in environmental health risk assessment: challenges and opportunities | |
CN115658776B (zh) | 联合多源数据生成全国1km碳排放空间分布图的方法 | |
Wei et al. | Emotional perceptions of people exposed to green and blue spaces in forest parks of cities at rapid urbanization regions of East China | |
CN106528850A (zh) | 基于机器学习聚类算法的门禁数据异常检测方法 | |
CN110853744A (zh) | 一种大数据下医院质控管理系统 | |
Walford | Demographic and social context of deaths during the 1854 cholera outbreak in Soho, London: a reappraisal of Dr John Snow's investigation | |
CN112418695A (zh) | 面向烟草领域科研人员的多维度画像构建方法及推荐方法 | |
Batalhao et al. | Sustainability indicators: relevance, public policy support and challenges | |
CN111597172B (zh) | 基于检查表的多维度大数据分析展示系统 | |
Walter et al. | Measuring the wisdom of the crowd: How many is enough? | |
CN111063444A (zh) | 基于Excel VBA的死因监测数据分析方法 | |
CN110490722A (zh) | 一种基于大数据的税收风险监控方法及系统 | |
Pesaresi et al. | DYNAMIC SPACE-TIME DIFFUSION SIMULATOR IN A GIS ENVIRONMENT TO TACKLE THE COVID-19 EMERGENCY. TESTING A GEOTECHNOLOGICAL APPLICATION IN ROME. | |
CN109918544B (zh) | 基于粗糙集的职务犯罪社会关系网络智能分析方法及系统 | |
US20120035429A1 (en) | Animal symptom visual analytics | |
Maciejewski et al. | Lahva: Linked animal-human health visual analytics | |
Perera et al. | An environmental justice assessment of the mississippi river industrial corridor in Louisiana, US using a gis-based approach | |
CN111401776A (zh) | 一种公共卫生服务质控方法及系统 | |
CN113902532A (zh) | 一种发票虚开风险识别方法 | |
Overby et al. | Interactive analysis of situational awareness metrics | |
Konstantinoudis et al. | A Workflow for Estimating and Visualising Excess Mortality During the COVID-19 Pandemic | |
Petrova-Antonova et al. | Evaluation of Cities' Smartness through Multidimensional Platform of Performance Indicators. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |