CN109063078A - 钢贸金融业务的数据分析方法及系统 - Google Patents

Abstract

本发明提供了钢贸金融业务的数据分析方法及系统，涉及数据计算和分析技术领域，包括：在数据源节点通过数据管道处理模型进行数据采集，并将采集的原始数据进行抽取、清洗、加载备份，得到第一数据；采用匹配的计算逻辑模型对第一数据进行计算，得到第二数据；按照数据维度分类和数据分层，将第一数据和第二数据进行隔离存储；通过数据接口将第二数据进行输出至数据调用方；采用OLAP的框架，对第一数据和/或第二数据进行多维度、多层次的分析和挖掘，得到分析结果。本发明可以缓解现有技术中存在的耦合问题、数据复用问题和数据输出问题。

Description

钢贸金融业务的数据分析方法及系统

技术领域

本发明涉及数据计算和分析技术领域，尤其是涉及钢贸金融业务的数据分析方法及系统。

背景技术

对于钢贸行业，在钢贸数字化进程中，钢贸从生产、流通、买卖、仓储、加工、运输、以及金融融资支付等等过程中，会产生大量的有价值的数据，这些数据如何使用，如何整合这些数据，如何找到这些数据中的关联和因果关系，指导钢贸业务的更好的开展，为钢贸业务风险控制等提供基础数据支撑。钢贸金融数据仓库应运而生，整合钢贸过程中沉淀的各种维度数据，并能计算和分析数据间的隐含的关系，并良性的反推数据关系给钢贸业务平台、运营平台、钢贸风险管理平台、钢贸金融服务平台，形成数据上的闭环和良性循环，是摆在这个行业面前亟待解决的问题。所以急需相关的系统的理论和可论证的可持续优化的方法，并辅助以大数据化的技术手段，完成数据价值最大化并和业务运营的紧密配合。

然而，钢贸业务互联网化加快，业务快速发展，重视业务发展的同时，缺少对业务过程中产生数据集中统筹管理和分析思考，或缺少一套系统化专业化独立化的数据仓库方案和平台。缺少一套适合钢贸金融的数据仓库平台系统，可进行数据高效管理、计算、分析，并实时反馈数据价值给金融相关服务平台，指导金融业务更好发展和更好防范钢贸金融风险。

而且，现有的金融领域数据仓库系统一般有如下特征问题：

耦合问题：和金融业务系统耦合，数据存储，计算直接耦合到业务系统中，不利于业务统筹发展和业务数据扩展；

数据复用问题：没有做数据模型上抽象和沉淀，导致数据复用不高，数据反复计算，没有形成数据层次，维度层次；

数据输出能力问题：计算出来的数据，只能输出到某一或几种种数据应用平台，无法把这种数据价值最大化推给业务领域所有需要数据的数据应用平台。

发明内容

有鉴于此，本发明的目的在于提供钢贸金融业务的数据分析方法及系统，以缓解现有技术中存在的耦合问题、数据复用问题和数据输出问题。

第一方面，本发明实施例提供了一种钢贸金融业务的数据分析方法，其中，包括：

采集步骤：在数据源节点通过数据管道处理模型进行数据采集，并将采集的原始数据进行抽取、清洗、加载备份，得到第一数据；

计算步骤：采用匹配的计算逻辑模型对所述第一数据进行计算，得到第二数据；

存储步骤：按照数据维度分类和数据分层，将所述第一数据和所述第二数据进行隔离存储；

输出步骤：通过数据接口将所述第二数据进行输出至数据调用方；

分析步骤：采用联机分析与处理OLAP的框架，对所述第一数据和/或所述第二数据进行多维度、多层次的分析和挖掘，得到分析结果。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述数据管道处理模型包括离线管道，所述采集步骤包括：

部署步骤：在所述数据源节点上，采用部署脚本的方式部署所述离线管道；

调度步骤：基于数据处理脚本并通过所述离线管道，将原始数据进行离线定时调度，并对所述原始数据进行抽取、清洗、加载备份，生成所述第一数据。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述数据管道处理模型还包括实时管道，所述采集步骤还包括：

在所述数据源节点上部署所述实时管道，通过在所述实时管道引用采集JAR包，将所述原始数据进行实时调取，并将所述原始数据进行抽取、清洗、加载备份，生成所述第一数据。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述数据管道处理模型还包括近线管道，所述采集步骤还包括：

在所述数据源节点部署所述近线管道，基于所述近线管道并采用KafkaConnector模型将所述原始数据进行分时段轮训抽取，并将所述原始数据进行抽取、清洗、加载备份，生成所述第一数据。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述计算步骤，包括：采用匹配的计算逻辑模型对所述第一数据进行计算，得到第二数据；

校验步骤：通过数据校验，检查关联的所述第一数据是否已准备完成；

加载步骤：在已完成的情况下，在关联的数据范围内，将所述第一数据进行分批次、适量加载；

调度步骤：将所述第一数据进行批次循环和数据迭代，以及分片并行调度所述计算逻辑模型，输出所述第二数据；

跟踪步骤：对所述调度步骤进行实时跟踪，并在所述调度步骤失败的情况下，生成计算任务重算的告警通知。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述输出步骤，包括：

开放API服务接收数据请求服务，转化路由报文；

根据请求路由报文，路由选择数据输出服务；

数据输出服务反序列化数据请求对象；

进行数据请求信息规则校验，并在不满足的情况下，返回异常信息；

在校验通过的情况下，分批查询所述第二数据，并输出所述第二数据；

序列化响应对象，组织响应报文，将所述第二数据返回给数据调用方。

第二方面，本发明实施例还提供一种钢贸金融业务的数据分析系统，其中，包括：

数据管道单元：在数据源节点通过数据管道处理模型进行数据采集，并将采集的原始数据进行抽取、清洗、加载备份，得到第一数据；

数据计算单元：采用匹配的计算逻辑模型对所述第一数据进行计算，得到第二数据；

数据存储单元：按照数据维度分类和数据分层，将所述第一数据和所述第二数据进行隔离存储；

数据输出单元：通过数据接口将所述第二数据进行输出至数据调用方；

数据分析单元：采用联机分析与处理OLAP的框架，对所述第一数据和/或所述第二数据进行多维度、多层次的分析和挖掘，得到分析结果。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述数据管道处理模型包括离线管道，所述数据管道单元包括：

在所述数据源节点上，采用部署脚本的方式部署所述离线管道；

基于数据处理脚本并通过所述离线管道，将原始数据进行离线定时调度，并对所述原始数据进行抽取、清洗、加载备份，生成所述第一数据。

结合第二方面的第一种可能的实施方式，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述数据管道处理模型还包括实时管道，所述数据管道单元还包括：

在所述数据源节点上部署所述实时管道，通过在所述实时管道引用采集JAR包，将所述原始数据进行实时调取，并将所述原始数据进行抽取、清洗、加载备份，生成所述第一数据。

结合第二方面的第二种可能的实施方式，本发明实施例提供了第二方面的第三种可能的实施方式，其中，所述数据管道处理模型还包括近线管道，所述数据管道单元还包括：

在所述数据源节点部署所述近线管道，基于所述近线管道并采用KafkaConnector模型将所述原始数据进行分时段轮训抽取，并将所述原始数据进行抽取、清洗、加载备份，生成所述第一数据。

本发明实施例带来了以下有益效果：

本发明提供的钢贸金融业务的数据分析方法及系统，包括：在数据源节点通过数据管道处理模型进行数据采集，并将采集的原始数据进行抽取、清洗、加载备份，得到第一数据；采用匹配的计算逻辑模型对第一数据进行计算，得到第二数据；按照数据维度分类和数据分层，将第一数据和第二数据进行隔离存储；通过数据接口将第二数据进行输出至数据调用方；采用OLAP的框架，对第一数据和/或第二数据进行多维度、多层次的分析和挖掘，得到分析结果。本发明可以缓解现有技术中存在的耦合问题、数据复用问题和数据输出问题。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的钢贸金融业务的数据分析方法流程图；

图2为本发明实施例一提供的数据仓库平台实施逻辑结构示意图；

图3为本发明实施例二提供的采集步骤的实现方法流程图；

图4为本发明实施例三提供的金融数据仓库技术架构中模块对应关系示意图；

图5为本发明实施例三提供的钢贸金融业务的数据分析原理示意图；

图6为本发明实施例四提供的钢贸金融业务的数据分析系统示意图。

图标：

100-数据管道单元；200-数据计算单元；300-数据存储单元；400-数据输出单元；500-数据分析单元。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，钢贸业务互联网化加快，业务快速发展，重视业务发展的同时，缺少对业务过程中产生数据集中统筹管理和分析思考，或缺少一套系统化专业化独立化的数据仓库方案和平台。缺少一套适合钢贸金融的数据仓库平台系统，可进行数据高效管理、计算、分析，并实时反馈数据价值给金融相关服务平台，指导金融业务更好发展和更好防范钢贸金融风险。而且，现有的金融领域数据仓库系统一般有如下特征问题：耦合问题：和金融业务系统耦合，数据存储，计算直接耦合到业务系统中，不利于业务统筹发展和业务数据扩展；数据复用问题：没有做数据模型上抽象和沉淀，导致数据复用不高，数据反复计算，没有形成数据层次，维度层次；数据输出能力问题：计算出来的数据，只能输出到某一或几种种数据应用平台，无法把这种数据价值最大化推给业务领域所有需要数据的数据应用平台。

基于此，本发明实施例提供的钢贸金融业务的数据分析方法及系统，可以缓解现有技术中存在的耦合问题、数据复用问题和数据输出问题。

为便于对本实施例进行理解，首先对本发明实施例所公开的钢贸金融业务的数据分析方法进行详细介绍。

实施例一：

图1为本发明实施例一提供的钢贸金融业务的数据分析方法流程图。

本实施例提供的钢贸金融业务的数据分析方法通过钢贸金融业务的数据仓库平台实现。

参照图1，钢贸金融业务的数据分析方法主要包括：

采集步骤S110：在数据源节点通过数据管道处理模型进行数据采集，并将采集的原始数据进行抽取、清洗、加载备份，得到第一数据；

具体的，数据管道处理模型包括离线管道、实时管道和近线管道，分别对应于图2中的离线同步-BI通道、实时同步-接口通道和准实时同步-Kafka通道。离线管道，以脚本任务模式，独立部署在数据源节点上，通过统一任务调度平台，离线定时调度任务，基于数据处理脚本逻辑，进行数据清洗、抽取；实时管道，通过引入采集JAR包，数据采集点埋点，进行数据预处理，基于通用接口上送数据；近线管道，基于拉取模式，采用Kafka Connector模型分时段轮训抽取，清洗数据。

计算步骤S120：采用匹配的计算逻辑模型对第一数据进行计算，得到第二数据；

具体的，对抽取的第一数据，根据数据计算不同要求，采用实时或离线的方式调度到不同的计算逻辑模型，进行分批、并行、窗口、流式计算，完成数据二次加工和高维数据输出，得到第二数据。第二数据包括中间数据、指标数据、主题数据、报表数据；第二数据可以用于下一步的存储，还可以喂给机器学习模型进行模型训练。

存储步骤S130：按照数据维度分类和数据分层，将第一数据和第二数据进行隔离存储；

具体的，划分抽象数据模型为：数据原始层(Data Warehouse Detail，DWD)、数据指标层(Data Warehouse Base，DWB)、数据主题层(Data Warehouse Service，DWS)，再采用Hive大数据平台+结构化关系存储模型，对原始数据、第一数据，以及整合后的指标数据、主题数据、中间数据等结构化数据进行分别存储，使得数据上隔离，通过底层数据计算得到高层数据，数据应用单元使用高层数据(DWB、DWS)或整合多维度，不依赖底层数据结构和变动，底层数据同时可作为历史数据备份，基于不同计算模型，输出不同的高层数据，服务不同的数据应用单元，达到解耦和更好的复用。

输出步骤S140：通过数据接口将第二数据进行输出至数据调用方；

具体的，在钢贸金融业务的数据仓库平台上部署独立的数据输出服务，设计通用可扩展的数据接口，指定通用输出Provide接口，支持单笔或批量的数据输出，数据应用单元通过调用数据接口获取已存储的各层面和各维度数据，打通相关数据使用的通道。

分析步骤S150：采用OLAP(Online Analytical Processing，联机分析与处理)的框架，对第一数据和/或第二数据进行多维度、多层次的分析和挖掘，得到分析结果。

具体的，在钢贸金融业务的数据仓库平台上部署独立的数据分析服务。结合OLAP需求、报表需求，依赖整合钢贸相关内部和外部数据，结合数据分析计算方法，采用OLAP技术手段和工具，进行数据多维度、深层次的挖掘和分析，得到分析结果。并且，该分析结果可以采用数据图表形式展示输出，指导数据应用单元相关运营和数据相关预测。

实施例二：

图3为本发明实施例二提供的采集步骤的实现方法流程图。

采集步骤S110中数据管道处理模型包括离线管道、实时管道和近线管道。

参照图2，对于离线管道，采集步骤S110包括：

部署步骤S210：在数据源节点上，采用部署脚本的方式部署离线管道；

调度步骤S220：基于数据处理脚本并通过离线管道，将原始数据进行离线定时调度，并对原始数据进行抽取、清洗、加载备份，生成第一数据。

具体的，Shell脚本，用于数据收集启动脚本，控制收集过程数据写入、导出和通知流程；Sql脚本，用于数据处理脚本，收集过程中抽取逻辑、清洗转化逻辑；导出脚本，用于数据导出到结构关系存储，支持增量导出，或覆盖全量导出；通知脚本，用于通知钢贸金融业务的数据仓库平台中的数据计算层，数据采集过程已经完成，可以启动后续数据计算。

对于实时管道，采集步骤S110还包括：在数据源节点上部署实时管道，通过在实时管道引用采集JAR包，将原始数据进行实时调取，并将原始数据进行抽取、清洗、加载备份，生成第一数据。

对于近线管道，采集步骤S110还包括：在数据源节点部署近线管道，基于近线管道并采用Kafka Connector模型将原始数据进行分时段轮训抽取，并将原始数据进行抽取、清洗、加载备份，生成第一数据。

进一步的，计算步骤S120包括：

采用匹配的计算逻辑模型对第一数据进行计算，得到第二数据；

校验步骤：通过数据校验，检查关联的第一数据是否已准备完成；

加载步骤：在已完成的情况下，在关联的数据范围内，将第一数据进行分批次、适量加载；

调度步骤：将第一数据进行批次循环和数据迭代，以及分片并行调度计算逻辑模型，输出第二数据；

跟踪步骤：对调度步骤进行实时跟踪，并在调度步骤失败的情况下，生成计算任务重算的告警通知。

进一步的，输出步骤S130，包括：

开放API服务接收数据请求服务，转化路由报文；

根据请求路由报文，路由选择数据输出服务；

数据输出服务反序列化数据请求对象；

进行数据请求信息规则校验，并在不满足的情况下，返回异常信息；

在校验通过的情况下，分批查询第二数据，并输出第二数据；

序列化响应对象，组织响应报文，将第二数据返回给数据调用方。

通过上述实施例对钢贸金融业务的数据分析方法的分析可知，主要是通过数据仓库平台上的数据仓库应用层模块、数据仓库计算层模块、数据仓库存储层模块、数据仓库数据收集模块、数据仓库分析模块实现的；其中数据仓库数据收集模块通过部署独立的脚本或采用推送JAR包或者拉取Connector，在数据源节点进行数据抽取、清洗、加载备份，输出数据给数据仓库存储层模块；数据仓库存储层模块按数据维度分类、数据分层进行数据存储，并通知数据仓库计算层模块，启动数据计算，通过计算调度，调度到某一计算引擎，采用分批、并行、窗口、流式等计算模型完成数据计算过程，计算结果，通过数据输出模块，以通用接口的形式输出给上层数据应用平台(即数据仓库应用层模块)。上述的数据仓库分析模块，包括OLAP框架、报表工具、分析工具、交互语言、维度、Cube、挖掘分析等方面。

实施例三：

图4为本发明实施例三提供的金融数据仓库技术架构中模块对应关系示意图。

如图2和4所示，金融数据仓库技术架构中模块对应关系，Kafka/Connector/Soa和Shell/Hive/Sqoop对应数据仓库数据收集模块，调度计算Java/实时/批量/TiSpark对应数据仓库计算层模块，Oracle/TiDB对应数据仓库存储层模块，提供模块Java/同步模块Java/通知模块Java对应数据仓库应用层模块，OLAP对应数据仓库分析模块。

钢贸金融业务的数据仓库包括：数据仓库数据收集单元，数据仓库数据存储单元，数据仓库数据计算单元，数据仓库数据应用单元，数据仓库数据分析单元。其中数据仓库数据收集单元，为数据平台采集数据，并进行数据清洗；数据仓库数据存储单元，提供不同层次，不停维度数据存储和计算服务；数据仓库数据计算单元，根据计算调度，调度计算到不同的计算模型，启用数据计算过程，完成数据计算，输出中间数据，或指标数据，或报表数据，并调用数据存储接口完成数据计算；数据仓库数据应用单元，提供数据仓库数据维度查询输出，数据管道同步结果通知，数据实时上送同步相关接口应用；数据仓库数据分析单元，依赖数据存储数据，完成数据多维度分析，和报表和数据挖掘相关功能。

本实施例的用于钢贸金融业务的数据仓库平台可应用于PC(Personal Computer，个人计算机)机。

本实施例的用于钢贸金融业务的数据分析管理方法完成数据管理流程包括以下步骤：

如图5处理交互图所示，数据仓库平台数据收集过程，业务数据存在Oracle/Mysql中，数据管道模块，通过数据抽取脚本Shell/MapReduce/Sqoop或Kafka/Connector，抓取业务平台中数据，并经过数据脚本清洗转化，导入到数据仓库平台存储，离线模式时，发起通知模块，通知数据仓库平台数据准备就绪。

如图5处理交互图所示，数据仓库平台数据计算过程，数据计算模块，在通知完成时，或通过定时任务模式触发计算任务启动，通过计算调度、转发计算任务给某种计算引擎，比如批量离线计算，或实时计算，选择某种计算实现，完成计算结果的输出，包括计算的中间数据、指标数据、报表数据、主题数据，调用数据存储接口，进行数据存储和计算输出的复用。

如图5处理交互图所示，数据仓库平台数据输出过程，数据输出模块，在数据应用平台/评分模型/金融运营平台/金融工作台等，此处为风控平台，依赖数据仓库中的历史数据完成实时或离线风险控制时，调起数据仓库数据数据输出模块，数据仓库数据输出模块收到调用请求后，转化路由，选择数据输出服务，数据输出服务查询整合相关数据，并返回结果输出数据给上层数据应用平台(风控平台)，完成数据输出。

实施例四：

图6为本发明实施例四提供的钢贸金融业务的数据分析系统示意图。

本实施例提供了一种钢贸金融业务的数据分析系统，用于实现上述实施例所提供的钢贸金融业务的数据分析方法。参照图5，钢贸金融业务的数据分析系统,包括：

数据管道单元100：在数据源节点通过数据管道处理模型进行数据采集，并将采集的原始数据进行抽取、清洗、加载备份，得到第一数据；

数据计算单元200：采用匹配的计算逻辑模型对第一数据进行计算，得到第二数据；

数据存储单元300：按照数据维度分类和数据分层，将第一数据和第二数据进行隔离存储；

数据输出单元400：通过数据接口将第二数据进行输出至数据调用方；

数据分析单元500：采用联机分析与处理OLAP的框架，对第一数据和/或第二数据进行多维度、多层次的分析和挖掘，得到分析结果。

进一步的，数据管道处理模型包括离线管道，数据管道单元100包括：

在数据源节点上，采用部署脚本的方式部署离线管道；

基于数据处理脚本并通过离线管道，将原始数据进行离线定时调度，并对原始数据进行抽取、清洗、加载备份，生成第一数据。

进一步的，数据管道处理模型还包括实时管道，数据管道单元100还包括：

在数据源节点上部署实时管道，通过在实时管道引用采集JAR包，将原始数据进行实时调取，并将原始数据进行抽取、清洗、加载备份，生成第一数据。

进一步的，数据管道处理模型还包括近线管道，数据管道单元100还包括：

在数据源节点部署近线管道，基于近线管道并采用Kafka Connector模型将原始数据进行分时段轮训抽取，并将原始数据进行抽取、清洗、加载备份，生成第一数据。

本发明实施例所提供的系统，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，系统实施例部分未提及之处，可参考前述方法实施例中相应内容。

本发明实施例带来了以下有益效果：

本发明提供的钢贸金融业务的数据分析方法及系统，包括：在数据源节点通过数据管道处理模型进行数据采集，并将采集的原始数据进行抽取、清洗、加载备份，得到第一数据；采用匹配的计算逻辑模型对第一数据进行计算，得到第二数据；按照数据维度分类和数据分层，将第一数据和第二数据进行隔离存储；通过数据接口将第二数据进行输出至数据调用方；采用OLAP的框架，对第一数据和/或第二数据进行多维度、多层次的分析和挖掘，得到分析结果。本发明可以缓解现有技术中存在的耦合问题、数据复用问题和数据输出问题。

本发明实施例还提供一种电子设备，包括存储器、处理器，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例提供的钢贸金融业务的数据分析方法的步骤。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例的钢贸金融业务的数据分析方法的步骤。

在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种钢贸金融业务的数据分析方法，其特征在于，包括：

采集步骤：在数据源节点通过数据管道处理模型进行数据采集，并将采集的原始数据进行抽取、清洗、加载备份，得到第一数据；

计算步骤：采用匹配的计算逻辑模型对所述第一数据进行计算，得到第二数据；

存储步骤：按照数据维度分类和数据分层，将所述第一数据和所述第二数据进行隔离存储；

输出步骤：通过数据接口将所述第二数据进行输出至数据调用方；

分析步骤：采用联机分析与处理OLAP的框架，对所述第一数据和/或所述第二数据进行多维度、多层次的分析和挖掘，得到分析结果。

2.根据权利要求1所述的方法，其特征在于，所述数据管道处理模型包括离线管道，所述采集步骤包括：

部署步骤：在所述数据源节点上，采用部署脚本的方式部署所述离线管道；

调度步骤：基于数据处理脚本并通过所述离线管道，将原始数据进行离线定时调度，并对所述原始数据进行抽取、清洗、加载备份，生成所述第一数据。

3.根据权利要求2所述的方法，其特征在于，所述数据管道处理模型还包括实时管道，所述采集步骤还包括：

在所述数据源节点上部署所述实时管道，通过在所述实时管道引用采集JAR包，将所述原始数据进行实时调取，并将所述原始数据进行抽取、清洗、加载备份，生成所述第一数据。

4.根据权利要求3所述的方法，其特征在于，所述数据管道处理模型还包括近线管道，所述采集步骤还包括：

在所述数据源节点部署所述近线管道，基于所述近线管道并采用Kafka Connector模型将所述原始数据进行分时段轮训抽取，并将所述原始数据进行抽取、清洗、加载备份，生成所述第一数据。

5.根据权利要求1所述的方法，其特征在于，所述计算步骤，包括：采用匹配的计算逻辑模型对所述第一数据进行计算，得到第二数据；

校验步骤：通过数据校验，检查关联的所述第一数据是否已准备完成；

加载步骤：在已完成的情况下，在关联的数据范围内，将所述第一数据进行分批次、适量加载；

调度步骤：将所述第一数据进行批次循环和数据迭代，以及分片并行调度所述计算逻辑模型，输出所述第二数据；

跟踪步骤：对所述调度步骤进行实时跟踪，并在所述调度步骤失败的情况下，生成计算任务重算的告警通知。

6.根据权利要求1所述的方法，其特征在于，所述输出步骤，包括：

开放API服务接收数据请求服务，转化路由报文；

根据请求路由报文，路由选择数据输出服务；

数据输出服务反序列化数据请求对象；

进行数据请求信息规则校验，并在不满足的情况下，返回异常信息；

在校验通过的情况下，分批查询所述第二数据，并输出所述第二数据；

序列化响应对象，组织响应报文，将所述第二数据返回给数据调用方。

7.一种钢贸金融业务的数据分析系统，其特征在于，包括：

数据管道单元：在数据源节点通过数据管道处理模型进行数据采集，并将采集的原始数据进行抽取、清洗、加载备份，得到第一数据；

数据计算单元：采用匹配的计算逻辑模型对所述第一数据进行计算，得到第二数据；

数据存储单元：按照数据维度分类和数据分层，将所述第一数据和所述第二数据进行隔离存储；

数据输出单元：通过数据接口将所述第二数据进行输出至数据调用方；

数据分析单元：采用联机分析与处理OLAP的框架，对所述第一数据和/或所述第二数据进行多维度、多层次的分析和挖掘，得到分析结果。

8.根据权利要求7所述的系统，其特征在于，所述数据管道处理模型包括离线管道，所述数据管道单元包括：

在所述数据源节点上，采用部署脚本的方式部署所述离线管道；

基于数据处理脚本并通过所述离线管道，将原始数据进行离线定时调度，并对所述原始数据进行抽取、清洗、加载备份，生成所述第一数据。

9.根据权利要求8所述的系统，其特征在于，所述数据管道处理模型还包括实时管道，所述数据管道单元还包括：

在所述数据源节点上部署所述实时管道，通过在所述实时管道引用采集JAR包，将所述原始数据进行实时调取，并将所述原始数据进行抽取、清洗、加载备份，生成所述第一数据。

10.根据权利要求9所述的系统，其特征在于，所述数据管道处理模型还包括近线管道，所述数据管道单元还包括：

在所述数据源节点部署所述近线管道，基于所述近线管道并采用Kafka Connector模型将所述原始数据进行分时段轮训抽取，并将所述原始数据进行抽取、清洗、加载备份，生成所述第一数据。