CN112364071A - 货值数据分析方法及系统 - Google Patents

Abstract

本发明公开了一种货值数据分析方法及系统，该方法包括以下步骤：地产货值数据的采集和存储，通过预置组件采集地产经营中各阶段各业务的货值数据，配置货值数据的转换、调度、监控及传输，将货值数据存入设定模板；地产货值数据的计算，采用大数据技术对货值数据进行地产全周期的分析计算。本发明至少具有以下有益效果：提供了地产行业的全周期货值数据采集分析方法，能够采集行业内不同来源的数据，让不同来源、不同格式、不同性质的数据在逻辑上或物理上有机地集中，通过应用间的数据有效流通和高效管理从而达到数据的汇聚进而实现地产全周期货值数据的快速分析计算。

Description

货值数据分析方法及系统

技术领域

本发明涉及计算机数据分析技术领域，特别涉及一种货值数据分析方法及系统。

背景技术

随着地产行业进入精细化运营，早期的地产货值分析已经不能适用于目前的精细化运营需求，早期地产的货值分析是由营销负责，而营销只有在取得预售证之后才会对货值情况进行精细化统计，此时已处于地产周期价值链中的末端，而地产的货值在设计规划阶段就能够基本确定。此外，目前的地产行业各系统处于分散、独立的状况，业务之间数据资源不仅处于孤立状态，数据资源的一致性和互用性也较差，数据资源的价值无法充分发挥，数据之间的集成也是无章可循。传统的数据仓库因为存储计算问题只取了单个或者两个左右系统的结构化数据，针对地产货值数据全周期所涉及系统的数据规模会到TB级并存在多种数据库型、多数据结构，传统数位在数据规模到TB级别时，分析、挖掘能力变弱。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种货值数据分析方法，能够采集行业内各种货值数据，让不同来源、不同格式、不同性质的数据在逻辑上或物理上有机地集中和汇聚从而实现地产全周期的货值数据计算分析。

本发明还提出一种具有上述货值数据分析方法的货值数据分析系统。

根据本发明的第一方面实施例的一种货值数据分析方法，包括以下步骤：地产货值数据的采集和存储，通过预置组件采集地产经营中各阶段各业务的货值数据，配置所述货值数据的转换、调度、监控及传输，将所述货值数据存入设定模板；地产货值数据的计算，采用大数据技术对所述货值数据进行地产全周期的分析计算。

根据本发明的一些实施例，所述地产货值数据的计算包括以下步骤：部署大数据集群；构建支持多种开发编程模型的地产任务执行机；通过拖拽方式操作地产任务节点及所述地产任务节点间的依赖关系并设置地产任务的触发机制；设置所述地产任务资源调度策略；配置告警策略；提交并运维所述地产任务。

根据本发明的一些实施例，所述多种开发编程模型包括Python、Shell、Hive、Spark及DataIn。

根据本发明的一些实施例，所述通过拖拽方式操作包括添加操作、修改操作、查询操作以及删除操作。

根据本发明的一些实施例，设置所述地产任务资源调度策略包括设置周期性资源调度策略，所述周期单位是次、分钟、小时、天、周及月。

根据本发明的一些实施例，所述告警策略包括：失败告警、延迟告警及执行超时告警。

根据本发明的一些实施例，所述预置组件包括Kafka、flume及Sqoop。

根据本发明的一些实施例，所述货值数据的来源包括地产业务信息、地产网络日志及通过网络爬虫收集的地产网络数据。

根据本发明的第二方面实施例的一种货值数据分析系统，包括：地产货值数据采集存储模块，所述地产货值数据采集存储模块包括数据源单元；数据采集单元，所述数据采集单元被配置为通过预置组件采集地产经营中各阶段各业务的货值数据，并配置所述货值数据的转换、调度、监控及传输；数据存储单元，所述数据存储单元被配置为将所述货值数据存入设定模板；地产货值数据计算模块，用于采用大数据技术对所述货值数据进行地产全周期的分析计算。

根据本发明的一些实施例，所述地产货值数据计算模块包括：大数据集群单元，用于部署大数据集群；任务执行机单元，用于构建支持多种开发编程模型的地产任务执行机；作业操作单元，用于通过拖拽方式操作地产任务节点及所述地产任务节点间的依赖关系并设置地产任务的触发机制；资源调度单元，用于设置所述地产任务资源调度策略；监控告警单元，用于配置告警策略；任务发布单元，用于提交所述地产任务；任务运维单元，用于对所述地产任务进行上线下线操作，包括对地产任务实例运行状态进行查看、终止、重跑、修改及依赖操作。

根据本发明实施例的一种货值数据分析方法，至少具有如下有益效果：提供了地产行业的全周期货值数据采集分析方法，能够采集行业内不同来源的数据，让不同来源、不同格式、不同性质的数据在逻辑上或物理上有机地集中，通过应用间的数据有效流通和高效管理从而达到数据的汇聚进而实现地产全周期货值数据的快速分析计算。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的方法流程示意图；

图2为本发明实施例的地产货值数据采集和存储流程示意图；

图3为本发明实施例的地产货值数据计算流程示意图；

图4为本发明实施例的系统的模块示意框图；

图5为本发明实施例的地产货值数据采集存储模块的示意框图；

图6为本发明实施例的地产货值数据计算模块的示意框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个及两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

术语解释：

货值：货值是指以货币计算的生产、销售等经营产品和货物的总价值，

Kafka：是一种高吞吐量的分布式发布订阅消息系统，

Flume：日志收集系统，

Sqoop：主要用于在Hadoop(Hive)与传统的数据库间进行数据的传递，可以将一个关系型数据库，例如，MySQL，Oracle，Postgres等中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中，

Shell：俗称壳(用来区别于核)，是指“为使用者提供操作界面”的软件(命令解析器)，类似于DOS下的command.com和后来的cmd.exe，

Hive：数据仓库工具，用于对数据仓库进行统计分析，

Spark：计算引擎，是专为大规模数据处理而设计的快速通用的计算引擎，DataIn：数据导入工具。

参照图1，图2，图1示出了本发明的实施例的方法流程示意图，图2示出了本发明实施例的地产货值数据采集和存储流程示意图，包括：地产货值数据的采集和存储，地产货值数据的计算，地产货值数据的采集和存储，通过预置组件采集地产经营中各阶段各业务的货值数据，配置货值数据的转换、调度、监控及传输，将货值数据存入设定模板；地产货值数据的计算，对货值数据进行地产全周期的分析计算。

可以理解的是，地产货值数据的采集，通过预置组件采集地产经营中各阶段各业务的货值数据，能够使地产行业各阶段各业务的货值数据汇聚起来，从而能够解决目前地产行业各系统处于分散、独立的状况，业务之间数据资源处于孤立状态的问题，通过预置组件，能够采集地产行业各阶段不同格式，不同属性的货值数据并能够进行统一处理分析，通过配置货值数据的转换，调度、监控及传输，解决了目前地产货值数据资源的一致性差和互用性差问题，使地产全周期货值数据能够有效集成并合理布局使用，使地产货值数据资源的价值能够充分发挥。通过采用大数据技术对地产货值数据的计算，解决了传统地产行业数据仓库因为存储计算问题计算量小，从而不能进行地产全周期货值数据分析的问题。

本发明提供了地产行业的全周期货值数据采集分析方法，能够采集行业内不同来源的数据，让不同来源、不同格式、不同性质的数据在逻辑上或物理上有机地集中，通过应用间的数据有效流通和高效管理从而达到数据的汇聚进而实现地产全周期货值数据的快速分析计算，本发明能够支持10种以上格式的数据源的存储，如csv、txt、mysql、SQLServer、Oracle、Kafka、ElasticSearch、Redis、DB2、SyabaseIQ、Hana等格式，并提供TB级别的数据分析和挖掘能力。

参照图3，图3示出了本发明实施例的地产货值数据计算流程示意图，图中实施例中的地产货值数据的计算包括以下步骤：部署大数据集群；构建支持多种开发编程模型的地产任务执行机；通过拖拽方式操作地产任务节点及地产任务节点间的依赖关系并设置地产任务的触发机制；设置地产任务资源调度策略；配置告警策略；提交并运维地产任务。

在本发明的一些实施例当中，用于采集地产经营中各阶段各业务的货值数据的预置组件包括Kafka、Flume及Sqoop，Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据，本发明的一个实施例中，通过Kafka组件，能够抓取所有网站中的地产行业的相关数据进行汇聚分析，包括自己的和竞争对手的，历史数据和新产生数据进行分析比较从而获得某种趋势用于指导下一步的操作；Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据，通过Flume组件的，能够将地产类的各种以日志形式组织的数据进行采集、聚合和传输；Sqoop主要用于在Hadoop(Hive)与传统的数据库间进行数据的传递，可以将一个关系型数据库，例如，MySQL，Oracle，Postgres等中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中，通过Sqoop组件，能够将所有以数据库形式存储的数据迁移到HDFS中，从而进行下一步的数据分析分类筛选等操作，使数据价值得到充分体现。通过这些预置的组件，能够将地产行业全部周期，各种形态，各个范围的数据进行汇聚分析进而进行筛选和处理，是数据价值得到更大的体现，使对地产行业的全局形式的精准把控成为可能。

在本发明一些实施例当中，货值数据的来源包括地产业务信息、地产网络日志及通过网络爬虫收集的地产网络数据。

在本发明一些实施例当中，构建支持多种开发编程模型包括构建支持Python、支持Shell、支持Hive、支持Spark及支持DataIn的编程模型，使地产货值数据的计算更加灵活，兼容性更好，对于货值数据的分析更加高效。

在本发明的一些实施例当中，通过拖拽方式操作包括添加操作、修改操作、查询操作以及删除操作。

在本发明的一些实施例当中，设置地产任务资源调度策略包括设置周期性资源调度策略，周期单位是次、分钟、小时、天、周及月，以适应对地产货值数据分析时间维度的不同需求。

在本发明的一些实施例当中，配置的告警策略包括：失败告警、延迟告警及执行超时告警。

参照图4，图4示出了本发明实施例的系统的模块示意框图，包括：地产货值数据采集存储模块和地产货值数据计算模块，地产货值数据计算模块，用于采用大数据技术对货值数据进行地产全周期的分析计算。

参照图5，图5示出了本发明实施例的地产货值数据采集存储模块的示意框图，地产货值数据采集存储模块包括数据源单元；数据采集单元和数据存储单元，数据源单元是地产货值数据的来源，包括地产的业务信息，网络日志，地产行业以数据库存储的各种数据，以及通过网络爬虫采集的数据，数据源层能够实现不通过数据库连接工具即可接入各类业务的数据源，并支持字段级别血缘追溯，数据生命周期，技术元数据、业务指标等管理，数据采集单元被配置为通过预置组件采集地产经营中各阶段各业务的货值数据，并配置货值数据的转换、调度、监控及传输，其中，预置组件包括Kafka组件，Flume组件及Sqoop组件，这些组件将数据源单元的各种来源的数据进行采集和处理，发送到数据采集平台进行进一步处理，数据采集平台通过可视化界面实现数据的导入，数据转换，传输，和数据的写入操作，配置异构网络之间异构数据源交换、定时调度和监控，生成数据同步任务，完成数据的采集和同步后进一步将数据写入数据存储单元进行存储处理；数据存储单元，数据存储单元被配置为通过可视化配置将货值数据存入设定模板，通过该设定的存储模板，可以使数据存储层直接通过数据源层查看数据。通过地产货值数据采集存储模块，能够以可视化的方式配置数据采集任务，让房地产企业开发人员接入货值在各个阶段的应用系统数据。

参照图6，图6示出了本发明实施例的地产货值数据计算模块的示意框图，地产货值数据计算模块包括：大数据集群单元，用于部署大数据集群；任务执行机单元，用于构建支持多种开发编程模型的地产任务执行机，其中，多种开发编程模型包括支持Python、支持Shell、支持Hive、支持Spark及支持DataIn的编程模型；作业操作单元，用于通过拖拽方式操作地产任务节点及地产任务节点间的依赖关系并设置地产任务的触发机制，地产任务的触发机制包括时间触发，依赖触发和被动触发；资源调度单元，用于设置地产任务资源调度策略；包括资源等待，资源并发数，资源优先级，机器负载监控，任务资源组和水平扩容，监控告警单元，用于配置告警策略，告警策略包括失败告警，延迟告警和执行超时告警；任务发布单元，用于提交地产任务，包括配置自动更新，依赖链更新和脚本管理更新；任务运维单元，用于对地产任务进行上线下线操作，包括对地产任务实例运行状态进行查看、终止、重跑、修改、补数据及依赖操作。

通过本发明的实施例，提供了一种用于数据开发、运维监控的全链路解决方案的开发系统，支持大数据计算引擎(Hive、Flink、Spark)。通过该系统可构建PB级数据仓库及进行数据价值的深度挖掘，实现超大规模数据的资产化。采用“开箱即用"的使用方式，让用户无需再关心底层集群的搭建和运维，能极大提高数据开发和应用的效率，可快速完成货值的全周期计算分析。

需要说明的是，本发明提供的数据全链路解决方案的开发系统不仅能够用于地产行业的货值数据分析，还能够用在其他需要对大量数据进行全周期分析的领域。

尽管本文描述了具体实施方案，但是本领域中的普通技术人员将认识到，许多其它修改或另选的实施方案同样处于本公开的范围内。例如，结合特定设备或组件描述的功能和/或处理能力中的任一项可以由任何其它设备或部件来执行。另外，虽然已根据本公开的实施方案描述了各种例示性具体实施和架构，但是本领域中的普通技术人员将认识到，对本文所述的例示性具体实施和架构的许多其它修改也处于本公开的范围内。

上文参考根据示例性实施方案所述的系统、方法、系统和/或计算机程序产品的框图和流程图描述了本公开的某些方面。应当理解，框图和流程图中的一个或多个块以及框图和流程图中的块的组合可分别通过执行计算机可执行程序指令来实现。同样，根据一些实施方案，框图和流程图中的一些块可能无需按示出的顺序执行，或者可以无需全部执行。另外，超出框图和流程图中的块所示的那些部件和/或操作以外的附加部件和/或操作可存在于某些实施方案中。

因此，框图和流程图中的块支持用于执行指定功能的装置的组合、用于执行指定功能的元件或步骤的组合以及用于执行指定功能的程序指令装置。还应当理解，框图和流程图中的每个块以及框图和流程图中的块的组合可以由执行特定功能、元件或步骤的专用硬件计算机系统或者专用硬件和计算机指令的组合来实现。

本文所述的程序模块、应用程序等可包括一个或多个软件组件，包括例如软件对象、方法、数据结构等。每个此类软件组件可包括计算机可执行指令，所述计算机可执行指令响应于执行而使本文所述的功能的至少一部分(例如，本文所述的例示性方法的一种或多种操作)被执行。

软件组件可以用各种编程语言中的任一种来编码。一种例示性编程语言可以为低级编程语言，诸如与特定硬件体系结构和/或操作系统平台相关联的汇编语言。包括汇编语言指令的软件组件可能需要在由硬件架构和/或平台执行之前由汇编程序转换为可执行的机器代码。另一种示例性编程语言可以为更高级的编程语言，其可以跨多种架构移植。包括更高级编程语言的软件组件在执行之前可能需要由解释器或编译器转换为中间表示。编程语言的其它示例包括但不限于宏语言、外壳或命令语言、作业控制语言、脚本语言、数据库查询或搜索语言、或报告编写语言。在一个或多个示例性实施方案中，包含上述编程语言示例中的一者的指令的软件组件可直接由操作系统或其它软件组件执行，而无需首先转换成另一种形式。

软件组件可存储为文件或其它数据存储构造。具有相似类型或相关功能的软件组件可一起存储在诸如特定的目录、文件夹或库中。软件组件可为静态的(例如，预设的或固定的)或动态的(例如，在执行时创建或修改的)。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (10)

1.一种货值数据分析方法，其特征在于，包括以下步骤：

地产货值数据的采集和存储，通过预置组件采集地产经营中各阶段各业务的货值数据，配置所述货值数据的转换、调度、监控及传输，将所述货值数据存入设定模板；

地产货值数据的计算，采用大数据技术对所述货值数据进行地产全周期的分析计算。

2.根据权利要求1所述的货值数据分析方法，其特征在于，所述地产货值数据的计算包括以下步骤：

部署大数据集群；

构建支持多种开发编程模型的地产任务执行机；

通过拖拽方式操作地产任务节点及所述地产任务节点间的依赖关系并设置地产任务的触发机制；

设置所述地产任务资源调度策略；

配置告警策略；

提交并运维所述地产任务。

3.根据权利要求2所述的货值数据分析方法，其特征在于，所述多种开发编程模型包括Python、Shell、Hive、Spark及DataIn。

4.根据权利要求2所述的货值数据分析方法，其特征在于，所述通过拖拽方式操作包括添加操作、修改操作、查询操作以及删除操作。

5.根据权利要求2所述的货值数据分析方法，其特征在于，设置所述地产任务资源调度策略包括设置周期性资源调度策略，所述周期单位是次、分钟、小时、天、周及月。

6.根据权利要求2所述的货值数据分析方法，其特征在于，所述告警策略包括：失败告警、延迟告警及执行超时告警。

7.根据权利要求1所述的货值数据分析方法，其特征在于，所述预置组件包括Kafka、flume及Sqoop。

8.根据权利要求1所述的货值数据分析方法，其特征在于，所述货值数据的来源包括地产业务信息、地产网络日志及通过网络爬虫收集的地产网络数据。

9.一种货值数据分析系统，其特征在于，包括：

地产货值数据采集存储模块，所述地产货值数据采集存储模块包括数据源单元；数据采集单元，所述数据采集单元被配置为通过预置组件采集地产经营中各阶段各业务的货值数据，并配置所述货值数据的转换、调度、监控及传输；数据存储单元，所述数据存储单元被配置为将所述货值数据存入设定模板；

地产货值数据计算模块，用于采用大数据技术对所述货值数据进行地产全周期的分析计算。

10.根据权利要求9所述的货值数据分析系统，其特征在于，所述地产货值数据计算模块包括：大数据集群单元，用于部署大数据集群；任务执行机单元，用于构建支持多种开发编程模型的地产任务执行机；作业操作单元，用于通过拖拽方式操作地产任务节点及所述地产任务节点间的依赖关系并设置地产任务的触发机制；资源调度单元，用于设置所述地产任务资源调度策略；监控告警单元，用于配置告警策略；任务发布单元，用于提交所述地产任务；任务运维单元，用于对所述地产任务进行上线下线操作，包括对地产任务实例运行状态进行查看、终止、重跑、修改及依赖操作。

Images