CN109242301A - 一种基于大数据架构的土地绩效交互式实时分析方法 - Google Patents
一种基于大数据架构的土地绩效交互式实时分析方法 Download PDFInfo
- Publication number
- CN109242301A CN109242301A CN201811022075.4A CN201811022075A CN109242301A CN 109242301 A CN109242301 A CN 109242301A CN 201811022075 A CN201811022075 A CN 201811022075A CN 109242301 A CN109242301 A CN 109242301A
- Authority
- CN
- China
- Prior art keywords
- enterprise
- data
- analysis
- dimension
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000002689 soil Substances 0.000 title claims abstract description 47
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000010223 real-time analysis Methods 0.000 title claims abstract description 8
- 238000004458 analytical method Methods 0.000 claims abstract description 55
- 238000005516 engineering process Methods 0.000 claims abstract description 24
- 238000007405 data analysis Methods 0.000 claims abstract description 11
- 238000013439 planning Methods 0.000 claims abstract description 8
- 238000005259 measurement Methods 0.000 claims description 17
- 238000012216 screening Methods 0.000 claims description 9
- 238000003556 assay Methods 0.000 claims description 7
- 230000001419 dependent effect Effects 0.000 claims description 6
- 230000005611 electricity Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000007619 statistical method Methods 0.000 claims description 5
- 238000010219 correlation analysis Methods 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000013499 data model Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 230000004069 differentiation Effects 0.000 claims description 2
- 238000009826 distribution Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 238000012800 visualization Methods 0.000 claims description 2
- 238000010835 comparative analysis Methods 0.000 claims 1
- 238000011161 development Methods 0.000 abstract description 7
- 238000007726 management method Methods 0.000 abstract description 5
- 230000010365 information processing Effects 0.000 abstract description 2
- 238000003860 storage Methods 0.000 description 4
- 241001269238 Data Species 0.000 description 3
- 238000007596 consolidation process Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P80/00—Climate change mitigation technologies for sector-wide applications
- Y02P80/10—Efficient use of energy, e.g. using compressed air or pressurized fluid as energy carrier
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Educational Administration (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Tourism & Hospitality (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Primary Health Care (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于大数据架构的土地绩效交互式实时分析方法，属于大数据信息处理技术领域，本发明通过整合政府内部多部门的企业法人信息数据，结合大数据分析技术,结合大数据分析技术,打造一套方便政府内部人员高效且直观检索土地绩效的交互式智能分析工具，从产业导向、投资产出、节能降耗和发展前景等方面对土地绩效进行综合评估，大幅优化政府对企业工业用地的规划和管理效率。
Description
技术领域
本发明涉及大数据信息处理技术，尤其涉及一种基于大数据架构的土地绩效交互式实时分析方法。
背景技术
大数据联机分析处理（OLAP）是一种软件技术，是专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持，可以根据分析人员的要求快速灵活地进行大数据量的复杂查询处理，并且以一种直观而易懂的形式将查询结果呈现给决策人员，以便他们准确掌握企业的经营状况，了解对象的需求，制定正确的方案。它具有FASMI(FastAnalysis of Shared Multi-dimensional Information)，即共享多维信息的快速分析的特征。其中F是快速性(Fast)，指系统能在数秒内对用户的多数分析要求做出反应；A是可分析性(Analysis)，指用户无需编程就可以定义新的专门计算，将其作为分析的一部分，并以用户所希望的方式给出报告；M是多维性(Multi—dimensional)，指提供对数据分析的多维视图和分析；I是信息性(Information)，指能及时获得信息，并且管理大容量信息。因此，OLAP也被称为大数据多维分析框架。
随着我国土地整理事业的发展，土地整理绩效评价作为衡量土地整理工作成功与否的重要手段被日益重视。依托土地绩效量化指标做出的新旧产能规划、园区规划和土地规划等分析方法更是政府科学决策的一部分。
然后，衡量土地绩效需涉及国土、环保、税务、发改委、工商等多部门的巨量多维数据，如何整合并高效地分析数据是一直以来的难题。随着数据量的不断增加，传统的数据仓库SQL技术已经逐渐不能满足用户的性能需求，特别是针对土地绩效所涉及的各地法人库、空间地理信息库这类超大型的数据源，运行一个简单的法人关联查询要耗时10分钟以上，这让土地绩效分析变的极其困难。政府客户通常只能通过使用汇总表、聚合表来提升访问性能，这对土地绩效的统计和分析造成障碍。另外，在政府实际规划工作中，需要围绕土地绩效的多个度量进行多维度假设分析，例如针对某地块产业结构调整分析等，而现有的工具存在很大的局限，要么无法应对大数据多维计算，要么不具备交互式分析能力，不能满足此需求。
发明内容
为了解决以上技术问题，本发明提出了一种基于大数据架构的土地绩效交互式实时分析方法。基于大数据联机分析处理技术（OLAP），实现政府土地绩效指标的实时计算和交互式查询，并把商业智能（BI）的思路融合到政府数据分析工具建设当中，构建一个高自由度的政府土地绩效可视化分析系统。
本发明将依托于政府数据共享平台，运用大数据技术，通过OLAP引擎预计算所有合理的维度组合下各个指标的值，并把计算结果存储到HBASE中，通过这种预计算的方式，将在Hive中可能需要几分钟的查询响应时间下降到秒级，这让交互式土地绩效分析成为可能。此外，把商业智能（BI）思想融入到政府土地绩效工具的设计中，通过开发假设分析模块和目标分析模块，可以为土地规划提供依据，做到科学统筹建设用地指标，为制定土地政策和评价相关政策提供指南。
本发明的技术方案是：
一种基于大数据架构的土地绩效交互式实时分析方法，主要分为如下三部分。
步骤一：土地绩效数据治理
提托政府数据共享平台进行法人相关数据目录梳理，把土地绩效数据整理为至少11个度量和6个维度，将数据进行抽取、清洗和预处理，加载到数据仓库中，并对所有法人信息进行地理坐标转换。
步骤二：土地绩效数据建模
我们将在与客户约定的服务器上（一般为政府数据共享平台）搭建Hadoop大数据分析平台，利用大数据联机分析处理（OLAP）引擎集群调用Hadoop的MapReduce技术，以企业为主体构建数据模型，对所有来自关系型数据库的土地绩效数据用HIVE进行抽取，并对至少4个维度的组合情况下的度量值进行预计算从而构建Cube（如图一所示）。此模型为读写分离式设计，当政府用户在网页端分析平台发起查询任务时，服务器端OLAP引擎将检索Hbase，以秒级的速度返回预计算的结果，从而达到实时分析的需求。对于有高并发需求的用户，我们将建立多OLAP引擎集群，并通过负载均衡器来合理分配引擎负载，保证网页端的结果展现效果。
步骤三：交互式数据分析和实时展现
本发明系统为用户提供一个基于GIS技术的可交互式网页端实时分析界面，用户可以自由选定某区域对其进行交互式操作，其选定区域内的企业位置和其他关键信息将自动以地图列表两种形式呈现。另外，步骤一中所提及维度和度量可通过鼠标进行可拖拽式操作，用于对选定区域内所有企业的特定度量进行多维度的统计分析，或用做筛选器。
分析界面包括预定义区域分析模块、自定义区域分析模块、圆形区域实时分析模块、区域对比分析模块、假设分析模块、目标分析模块。
本发明的有益效果是
通过整合政府内部多部门企业法人信息数据，结合大数据可视化分析技术和商业智能框架,打造一套方便政府内部人员高效直观检索土地绩效的交互式实时分析工具，从产业导向、投资产出、节能降耗和发展前景等方面对土地绩效进行科学评估，大幅优化政府对企业工业用地的规划和管理效率。
借助大数据分析架构，把分钟级查询缩短到秒级，让交互式实时分析成为可能。此种高效的实时土地绩效分析系统可以成为政府分析和决策的有力助手，帮助量化土地绩效指标，提高土地资源配置效率，引导企业转变发展理念、发展模式和投资方式，加快培育企业转型发展的内生动力，更能为政府提供一种数据驱动决策的新思维。
附图说明
图1是土地绩效系统OLAP Cube模型示例示意图；
图2是土地绩效系统后台大数据平台架构示意图。
具体实施方式
下面对本发明的内容进行更加详细的阐述：
本发明公开了一个基于大数据架构的土地绩效分析系统，实现政府土地绩效的实时计算和交互式分析。其具体的技术方案包括以下三个步骤：
步骤一：土地绩效数据治理
对政府内部各委办局的数据资源目录进行梳理，整理包括含有企业法人信息的结构化数据目录集。以江苏省泰州市为例，计算土地绩效需要包括工商、税务、质检、住建、统计、食药监、环保等至少12个委办局中企业法人信息相关的超过250万条数据。依托于各地政府数据共享平台，以目录的形式对各类数据源进行整理，记录各委办局数据源的获取方式。利用ETL（ Extract-Transform-Load ）工具完成数据的获取、清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中，并通过地理坐标转换工具为所有企业添加地理坐标属性，为数据预建模做准备。
1.经梳理，标准化的土地绩效计算应包含但不限于以下11个度量：
亩均开票销售收入=企业年度开票销售收入（工商）÷企业用地面积（国土）；
亩均税收=企业年度纳税额（税务）÷企业用地面积（国土）；
单位用电量工业增加值=企业工业增加值（统计）÷企业年度用电量（电力部门）；
单位电耗税收=企业年度纳税额（税务）÷企业年度用电量（电力部门）；
单位COD排放量工业增加值=企业工业增加值（统计）÷企业年度COD排放量（环保）；
就业人数（统计）
单位科技研发投入收入比 = 科技研发投入（科技）÷企业年度开票销售收入（工商）
技术创新和改造（科技）
品牌商标建设（质检）
发明专利知识产权（科技）
人才建设（人社）
2.经梳理，标准化的土地绩效计算应包含但不限于以下6个维度：
企业类型（工商）
企业实际纳税额（税务）
实际用地面积（国土）
经营类型（工商）
安全事故、重大偷税漏税、重大违法犯罪等一票否决（不参与建模。用做筛选器）
时间（不参与建模。用做筛选器）
步骤二：土地绩效数据建模
OLAP Cube（简称Cube）是一种典型的多维数据分析技术（OLAP），一个Cube可以有多个事实表，多个维表构成。
依照步骤一中对土地绩效的量化和非量化指标的梳理，我们得到11个度量和6个维度。在大数据Hadoop环境中，Cube的构建数据的可以看做是数据预计算的过程：按照维度数量从大到小的顺序，依照逐层算法算法，从底层Cuboid开始，依次基于上一层Cuboid的结果进行再聚合。每一层的计算都可视作是一个单独的MapReduce任务。MapReduce的计算结果最终保存到HBase中。而HBase中每行记录的维度和度量会保存在column family中。为了减小存储代价，这里会对所有维度和度量进行编码。在查询阶段，利用HBase的非结构化列存储特性就可以保证本系统具备良好的快速响应和高并发属性。整体来看，Cube的构建是将所有的维度组合事先计算和存储，从而驱动秒级OLAP分析，是以存储空间换查询时间的思路的体现，其具体步骤如下：
1.根据Cube定义的事实表和维度，以企业为主体，统一社会信用代码为主键，在Hive中生成一张中间表；
2.使用MapReduce技术，从事实表中抽取维度的Distinct值，并以字典树的方式压缩编码，同时也对所有维度表进行压缩编码，生成维度字典；
3.计算和统计所有的维度组合，并保存，其中，每一种维度组合，称为一个Cuboid；
4.创建HBase Table；
5.利用中间表的数据，使用MapReduce，生成每一种维度组合的数据；
6.将Cuboid数据转换成HFile，并导入到HBase Table中：
7.更新Cube信息，清理中间表：
如图一所示，根据步骤一中梳理的维度，我们将对土地绩效数据进行至少5层的Cube搭建和预计算。
图二为本发明的后台架构，可以看到其为读写分离式设计：根据政府数据的非高速性特点，写入操作为批量的、长延时、预定义的预计算任务（如任务复杂，可使用Zookeeper组件管理）。而读取操作则是由政府用户发起的、只读的、在线的、低延时查询。我们将在与政府客户约定的服务器上（一般为政府数据共享平台）搭建Hadoop大数据分析平台，利用大数据联机分析处理（OLAP）引擎集群调用Hadoop的MapReduce技术，以企业为主体构建数据模型，对所有来自关系型数据库的土地绩效数据用HIVE进行抽取，并对所有维度的组合情况下的度量值进行预计算从而构建Cube。而当用户在网页端分析平台发起查询任务时，后台服务器端OLAP引擎将检索Hbase，以秒级的速度返回预计算的结果，从而满足用户端实时分析的需求。对于有高并发需求的用户，我们将建立多OLAP引擎集群，并通过负载均衡器来合理配置引擎负载，保证网页端的结果展现效率。
步骤三：交互式数据分析和实时展现
本发明系统为用户提供一个基于GIS技术的可交互式网页端实时分析界面，用户可以自由选定某区域并对其进行可交互式操作，选定区域内的企业和其他关键信息将自动以地图和列表两种形式呈现。另外，步骤一中所提及维度和度量可通过鼠标进行可拖拽式操作，用于对选定区域内所有企业的用户指定度量进行多维度的统计分析，或用做筛选器。
本发明系统包括预定义区域分析模块、自定义区域分析模块、圆形区域分析模块、区域对比分析模块、假设分析模块、目标分析模块。
1.预定义区域分析模块：
通过与政府用户沟通得出本地市内土地区域划分原则，并对预定义区域的11个统计度量在网页端实时分析界面进行可视化展现。用户可以通过鼠标点击与不同区域进行交互，区域内企业将随用户鼠标点击区域联动；同理，分析指标也将跟随区域进行互动，从而体现交互性。在后端，我们将针对企业所属预定义区域属性进行标签化区分，并将此标签将作为一个特殊维度带入步骤二中进行Cube建模预计算处理，以支持此模块的实时和交互式分析特性。
2.自定义区域分析模块：
用户可以通过鼠标画任意闭合区域，并通过拖拽来指定分析维度和筛选器，后台系统将通过OLAP引擎实时查询并返回统计结果。区域内的企业将以点/面的形式在地图上呈现，鼠标选定的企业将会高亮显示并展示其相应维度和度量。
3.圆形区域分析模块：
用户设定圆的半径（默认2km），以鼠标位置为圆心，形成一个圆。圆随着鼠标（圆心）移动，后台对圆内企业进行实时统计计算。
4.区域对比分析模块：
用户可以选定两块闭合区域进行对比分析，系统将重点对两块区域的11个度量的集合进行统计分析。
5.假设分析模块：
政府用户指定单个或多个企业，系统通过计算选定企业的度量的变化（自变量），实时反馈区域整体指标的变化（因变量）；通过计算选定区域的面积的改变，或是产业结构的调整（自变量），得出区域整体指标的变化（因变量）。此模块主要针对土地规划和产业规划场景。
6.目标分析模块：
通过修改选定区域的土地绩效目标值（自变量），计算出区域内企业需要做出何种相应变化（因变量）才能达成新目标。此模块主要是针对区域业绩目标分析场景。
Claims (7)
1.一种基于大数据架构的土地绩效交互式实时分析方法，其特征在于，
主要分为如下三个步骤：
步骤一：土地绩效数据治理
提托政府数据共享平台进行法人相关数据目录梳理，把土地绩效数据整理为至少11个度量和6个维度，将数据进行抽取、清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中，并通过地理坐标转换工具为所有企业添加地理坐标属性，为数据预建模做准备；
步骤二：土地绩效数据建模
在服务器上搭建Hadoop大数据分析平台，利用大数据联机分析处理（OLAP）引擎集群调用Hadoop的MapReduce技术，以企业为主体构建数据模型，对所有来自关系型数据库的土地绩效数据用HIVE进行抽取，并对至少4个维度的组合情况下的度量值进行预计算从而构建Cube；此模型为读写分离式设计，当政府用户在网页端分析平台发起查询任务时，服务器端OLAP引擎将检索Hbase，以秒级的速度返回预计算的结果；对于有高并发需求的用户，建立多OLAP引擎集群，并通过负载均衡器来合理分配引擎负载；
步骤三：交互式数据分析和实时展现
提供一个基于GIS技术的可交互式网页端实时分析界面，用户自由选定区域对其进行交互式操作，其选定区域内的企业位置和其他关键信息将自动以地图列表两种形式呈现。
2.根据权利要求1所述的方法，其特征在于，
步骤一中所提及维度和度量可通过鼠标进行可拖拽式操作，用于对选定区域内所有企业的特定度量进行多维度的统计分析，或用做筛选器。
3.根据权利要求2所述的方法，其特征在于，
分析界面包括预定义区域分析模块、自定义区域分析模块、圆形区域实时分析模块、区域对比分析模块、假设分析模块、目标分析模块。
4.根据权利要求1所述的方法，其特征在于，
在步骤一中，
1）经梳理，标准化的土地绩效计算应包含但不限于以下11个度量：
亩均开票销售收入=企业年度开票销售收入（工商）÷企业用地面积（国土）；
亩均税收=企业年度纳税额（税务）÷企业用地面积（国土）；
单位用电量工业增加值=企业工业增加值（统计）÷企业年度用电量（电力部门）；
单位电耗税收=企业年度纳税额（税务）÷企业年度用电量（电力部门）；
单位COD排放量工业增加值=企业工业增加值（统计）÷企业年度COD排放量（环保）；
就业人数（统计）
单位科技研发投入收入比 = 科技研发投入（科技）÷企业年度开票销售收入（工商）
技术创新和改造（科技）
品牌商标建设（质检）
发明专利知识产权（科技）
人才建设（人社）
2）经梳理，标准化的土地绩效计算应包含但不限于以下6个维度：
企业类型（工商）
企业实际纳税额（税务）
实际用地面积（国土）
经营类型（工商）
安全事故、重大偷税漏税、重大违法犯罪一票否决（不参与建模，用做筛选器）
时间（不参与建模，用做筛选器）。
5.根据权利要求1所述的方法，其特征在于，
土地绩效数据建模的具体步骤如下：
1）根据Cube定义的事实表和维度，以企业为主体，统一社会信用代码为主键，在Hive中生成一张中间表；
2）使用MapReduce技术，从事实表中抽取维度的Distinct值，并以字典树的方式压缩编码，同时也对所有维度表进行压缩编码，生成维度字典；
3）计算和统计所有的维度组合，并保存，其中，每一种维度组合，称为一个Cuboid；
4）创建HBase Table；
5）利用中间表的数据，使用MapReduce，生成每一种维度组合的数据；
6）将Cuboid数据转换成HFile，并导入到HBase Table中：
7）更新Cube信息，清理中间表。
6.根据权利要求3所述的方法，其特征在于，
1）预定义区域分析模块：
通过与政府用户沟通得出本地市内土地区域划分原则，并对预定义区域的11个统计度量在网页端实时分析界面进行可视化展现；用户可以通过鼠标点击与不同区域进行交互，区域内企业将随用户鼠标点击区域联动；同理，分析指标也将跟随区域进行互动；在后端，针对企业所属预定义区域属性进行标签化区分，并将此标签将作为一个特殊维度带入步骤二中进行Cube建模预计算处理，以支持此模块的实时和交互式分析特性；
2）自定义区域分析模块：
用户通过鼠标画任意闭合区域，并通过拖拽来指定分析维度和筛选器，后台系统将通过OLAP引擎实时查询并返回统计结果。
7.区域内的企业将以点/面的形式在地图上呈现，鼠标选定的企业将会高亮显示并展示其相应维度和度量；
3）圆形区域分析模块：
用户设定圆的半径（默认2km），以鼠标位置为圆心，形成一个圆；圆随着鼠标（圆心）移动，后台对圆内企业进行实时统计计算；
4）区域对比分析模块：
用户选定两块闭合区域进行对比分析，系统将重点对两块区域的11个度量的集合进行统计分析；
5）假设分析模块：
政府用户指定一个以上的企业，系统通过计算选定企业的度量的变化（自变量），实时反馈区域整体指标的变化（因变量）；通过计算选定区域的面积的改变，或是产业结构的调整（自变量），得出区域整体指标的变化（因变量）；此模块主要针对土地规划和产业规划场景；
6）目标分析模块：
通过修改选定区域的土地绩效目标值（自变量），计算出区域内企业需要做出何种相应变化（因变量）才能达成新目标；此模块主要是针对区域业绩目标分析场景。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811022075.4A CN109242301A (zh) | 2018-09-04 | 2018-09-04 | 一种基于大数据架构的土地绩效交互式实时分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811022075.4A CN109242301A (zh) | 2018-09-04 | 2018-09-04 | 一种基于大数据架构的土地绩效交互式实时分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109242301A true CN109242301A (zh) | 2019-01-18 |
Family
ID=65060497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811022075.4A Pending CN109242301A (zh) | 2018-09-04 | 2018-09-04 | 一种基于大数据架构的土地绩效交互式实时分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109242301A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110991926A (zh) * | 2019-12-16 | 2020-04-10 | 象山电力实业有限公司 | 基于企业用电大数据分析的综合能源服务系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8719769B2 (en) * | 2009-08-18 | 2014-05-06 | Hewlett-Packard Development Company, L.P. | Quality-driven ETL design optimization |
| CN105740968A (zh) * | 2016-01-12 | 2016-07-06 | 西安科技大学 | 一种土地利用空间自动配置系统 |
-
2018
- 2018-09-04 CN CN201811022075.4A patent/CN109242301A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8719769B2 (en) * | 2009-08-18 | 2014-05-06 | Hewlett-Packard Development Company, L.P. | Quality-driven ETL design optimization |
| CN105740968A (zh) * | 2016-01-12 | 2016-07-06 | 西安科技大学 | 一种土地利用空间自动配置系统 |
Non-Patent Citations (2)
| Title |
|---|
| 王凯: "土地供应监管决策分析系统的设计与实现", 《中国优秀硕士学位论文全文数据库经济与管理科学辑》 * |
| 王心杰: "面向海量数据的高性能多维OLAP技术的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110991926A (zh) * | 2019-12-16 | 2020-04-10 | 象山电力实业有限公司 | 基于企业用电大数据分析的综合能源服务系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106095862B (zh) | 集中式可扩展融合型多维复杂结构关系数据的存储方法 | |
| CN104205039B (zh) | 使用兴趣驱动数据管线进行数据分析的兴趣驱动商业智能系统和方法 | |
| CN104767813B (zh) | 基于openstack的公众行大数据服务平台 | |
| CN109272155A (zh) | 一种基于大数据的企业行为分析系统 | |
| CN106294888A (zh) | 一种基于时空数据库的对象数据的订阅方法 | |
| CN105912666A (zh) | 一种面向云平台的混合结构数据高性能存储、查询方法 | |
| CN103631922A (zh) | 基于Hadoop集群的大规模Web信息提取方法及系统 | |
| Chen et al. | Development and application of big data platform for garlic industry chain | |
| CN109299199A (zh) | 基于数据仓库的易制毒化学品多维分析系统及实现方法 | |
| CN116089495A (zh) | 一种基于大数据的自助分析平台 | |
| CN109190984B (zh) | 基于数据立方体模型的数据处理系统及方法 | |
| Ranawade et al. | Online analytical processing on hadoop using apache kylin | |
| Loginovskiy et al. | Application of BI-principles in the gate project management system to create a digital twin of the GTE | |
| Lungu et al. | Business intelligence tools for building the executive information systems | |
| CN112231380A (zh) | 采集数据的综合处理方法、系统、存储介质及电子设备 | |
| CN109242301A (zh) | 一种基于大数据架构的土地绩效交互式实时分析方法 | |
| Milosevic et al. | Big data management processes in business intelligence systems | |
| CN110222022B (zh) | 智能算法优化的数据图书馆建设方法 | |
| Afful et al. | Redefining the concept of Big Data A Ghanaian Perspective | |
| Ma et al. | Bank big data architecture based on massive parallel processing database | |
| Mahboubi et al. | Analyzing demographic and economic simulation model results: a semi-automatic spatial OLAP approach | |
| Ragulan et al. | Designing a data warehouse system for sales and distribution company | |
| Salem et al. | A Cloud-Based Data Integration Framework for E-Government Service. | |
| Gallo et al. | Data warehouse design and management: theory and practice | |
| Saleh | Optimal Selection of Materialized Views and Indexes for Quality Data Warehouse |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190118 |
|
| RJ01 | Rejection of invention patent application after publication |