CN112559618B - 一种基于金融风控业务的外部数据整合方法 - Google Patents

Abstract

本发明提供了一种基于金融风控业务的外部数据整合方法，包括：采集不同结构的外部数据；基于同步传输规则，将采集的外部数据进行同步传输到预处理场景，进行预处理；按照预设数据整合模型以及统一性整合规律，将预处理后的外部数据进行整合处理；将整合处理结果进行可视化展现。通过同步传输，便于将数据进行整合同一，实现有效的数据价值。

Description

一种基于金融风控业务的外部数据整合方法

技术领域

本发明涉及数据整合技术领域，特别涉及一种基于金融风控业务的外部数据整合方法。

背景技术

大数据及人工智能时代，外部数据在服务信托金融业务数字化转型中的重要性愈加凸显。然而，在外部数据实际落地运用时会遇到各种各样的问题。比如，多部门各自引入，管理标准的不统一带来了数据安全得不到保障、使用成本高、数据难于整合共享等问题。

随着外部数据的增多和变化，对金融统计工作效率、统计数据的准确性、时效性要求更高，统计数据的运用范围也更广，使对外统计数据的采集和运用工作在实际操作中面临着更大的困难。

而且，目前对外采集统计数据困难，数据质量不高，数据的真实性和完整性难以保障，采集统计样本数量较少,代表性不强,增扩或调整调查样本困难；各类调查统计样本重复现象较普遍，采集数据的部门较多,项目较杂，采集数据报酬不一致，导致成本较高。

在对内数据整理分析时，各类指标错综复杂，各个业务部门无法统一数据的口径，导致数据整体分析效果不佳。从而无法为组织实现战略目标提供能力支撑，无法获知数据的有效价值以及风险控制。

并且，目前各个政府机构、事业单位之间的数据是相互独立的。这就导致，办理者在政府机构或者事业单位办理事务，如申报项目时，需要提供多种数据，为了使提交的材料符合要求，办事者需要在多个机构间件来回奔波，效率低下。

除此，由于各政府机构、事业单位之间的业务数据是相互独立的，受理业务的机构也无法直接在别的机构的数据库中查看原始数据进行核对，只能凭借材料上的盖章等证明物来对材料的真实性进行判断。

随着网络技术的高速发展，目前的材料造假技术也越来越高级，即使对材料进行了造假或者篡改，受理机构的工作人员也难以进行甄别。

除此之外，企业内部之中各个部门也在分批采集外部数据，各类数据存在重复采购现象，导致成本较高，同时，各个部门的业务口径又不相同，分析统计粒度也不一致，从而导致数据整体分析效果不佳，提供的各类报表内容也尽不相同，无法实现有效的数据价值。

因此，本发明提出一种基于金融风控业务的外部数据整合方法。

发明内容

本发明提供一种基于金融风控业务的外部数据整合方法，用以通过同步传输，便于将数据进行整合同一，实现有效的数据价值。

本发明提出一种基于金融风控业务的外部数据整合方法，包括：

采集不同结构的外部数据；

基于同步传输规则，将采集的外部数据进行同步传输到预处理场景，进行预处理；

按照预设数据整合模型以及统一性整合规律，将预处理后的外部数据进行整合处理；

将整合处理结果进行可视化展现。

在一种可能实现的方式中，将采集的外部数据进行同步传输到预处理场景，进行预处理的步骤包括：

对所述外部数据进行聚类分析，获得数据集合，且所述数据集合包括N条子数据；

确定每条子数据的数据属性，并按照所述数据属性，从场景数据库中调取相关的预处理子场景，且多个预处理子场景构成预处理场景；

将每条所述子数据同步传输到对应的预处理子场景中，同时，按照所述子数据的数据状态，对所述预处理子场景进行条件部署以及空间场景调度；

其中，所述数据状态与所述子数据中存在的源数据和目标数据相关。

在一种可能实现的方式中，将采集的外部数据进行同步传输到预处理场景之前，还包括：

确定所述预处理场景对应的接收口；

同时，确定所述外部数据的数据类型，并按照所述数据类型，判断传输所述外部数据的传输口的传输类型是否包括所述数据类型在内；

若包括，判断所述接收口与所述传输口是否适配；

若不包括，确定差别类型，同时，调取与所述差别类型相关的待扩展开口函数，并将所述待扩展开口函数叠加在传输外部数据的传输口所对应的程序中，来对传输口进行优化，同时，判断所述接收口与优化后的传输口是否适配。

在一种可能实现的方式中，所述不同结构的外部数据包括：结构化数据、半结构化数据、非结构化数据；

所述统一性整合规律与数据业务、数据指标相关；

所述可视化展示包括：BI报表展示或者视图展示。

在一种可能实现的方式中，将预处理后的外部数据进行整合处理，其整合处理的步骤包括：

对所述外部数据的数据结构进行预处理，获取所述外部数据的内存字段信息；

设置所述外部数据的内存字段信息的关键字段值，并根据所述关键字段值对所述外部数据进行排序，并按照排序结果分成N个外部数据包；

从所述N个外部数据包中选取包含所述内存字段信息齐全的有效数据，同时，将所述有效数据进行分解，分解为对象、属性两类基本元素；

将分解好的所述对象、属性两类基本元素进行分类整理，并在所述N个外部数据包内创建表格；

同时，根据所述表格获取表格模板，并读取所述对象中的第一内容值，以及读取属性中的第二内容值；

基于预设匹配数据集对所述第一内容值与所述第二内容值进行匹配，同时，将符合匹配的所述第一内容值与所述第二内容值建立映射关系；

基于所述映射关系，构建所述N个外部数据包中有关于所述有效数据的N个目标数据文件；

获取所述目标数据文件中的目标数据压缩比率，同时，获取所述有效数据的数据长度；

根据所述数据长度，并按照所述目标数据压缩比率，计算所述有效数据在所述目标数据文件中进行压缩所需要的压缩时间；

基于所述压缩时间，对所述N个目标数据文件中的所述有效数据按照所述目标压缩比率进行压缩整合，获取整合好的所述外部数据。

在一种可能实现的方式中，将整合处理结果进行可视化展现包括：

确定与所述预处理场景相关的所有展示节点以及基于所述展示节点构成的展示路径，并基于所述展示节点以及展示路径，构成第一展示树，且所述第一展示树是包括多个展示层在内的，且每个展示层包括至少两个展示节点以及至少一条展示路径；

确定所述展示节点是否响应所述整合处理结果，若响应，将所述展示节点保留使用，否则，将所述展示节点暂留使用，同时，根据响应的展示节点对所述第一展示树进行调整，获得第二展示树；

对所述整合处理结果进行聚类分析，确定主金融类型、次金融类型以及影响金融类型；

所述主金融类型、次金融类型以及影响金融类型融合到所述第二展示树中，获取第三展示树；

从所述第三展示树中提取与所述整合处理结果相关的待需要层，并对所述待需要层进行层级排序，构建层级路径，并按照所述层级路径以及所述待需要层的展示路径，将所述整合处理结果进行可视化展现；

其中，所述展示节点与预设金融类型以及与所述预设金融类型对应的可展示结果相关。

在一种可能实现的方式中，判断所述接收口与优化后的传输口是否适配包括：

获取所述接收口的网络测试数据，并将所述网络测试数据进行转换，获取转换网络测试数据；

将所述网络转换测试数据向优化后的传输口发送，并获取此时优化后的传输口所接收到所述网络转换测试数据的传递速率；

根据所述传递速率，确定优化后的传输口的数据回归系数，并根据所述数据回归系数，计算所述接收口与优化后的传输口的适配度；

其中，ξ表示所述接收口与优化后的传输口的适配度；λ表示优化后的传输口的数据回归系数；

表示第i个所述网络转换测试数据节点的数据平均值；i表示所述网络转换数据的数据节点；δ表示所述网络转换测试数据的标准差；v表示所述传递速率；v₁表示所述传输口所能接收的最大数据传递速率；g表示所述接收口与优化后的传输口在匹配时的自由度比值；σ表示所述接收口与优化后的传输口的匹配灵敏度；a表示优化后的传输口在接收到所述网络转换数据时的数据分辨率；u所述接收口与优化后的传输口的匹配系数；

将当前所述接收口与优化后的传输口的适配度与预设标准适配度进行比较；

若当前所述接收口与优化后的传输口的适配度等于或大于所述预设标准适配度，判定所述接收口与优化后的传输口适配；

否则，判定所述接收口与优化后的传输口不适配，并对所述接收口与优化后的传输口进行二次优化。

在一种可能实现的方式中，对所述接收口与优化后的传输口进行二次优化包括：

基于当前所述接收口与优化后的传输口的适配度，确定所述接收口与优化后的传输口的优化特征值；

其中，M表示所述接收口与优化后的传输口的优化特征值；ξ表示所述接收口与优化后的传输口的适配度；τ表示所述接收口与优化后的传输口的疲劳系数；σ表示当前优化后的传输口接收所述网络转换测试数据的梯度值；q表示所述述接收口与优化后的传输口在获取适配度时的初始学习率；Q表示所述接收口与优化后的传输口在获取优化特征值时的自动调整学习率；k表示优化系数；s表示所述接收口与优化后的传输口之间平滑系数，且取值范围为

f表示优化后的传输口接收到所述网络转换测试数据所需要的优化梯度值；

基于所述接收口与优化后的传输口的优化特征值，从优化数据库中，调取与优化特征值相关的接口优化模型；

同时，根据所述接收口与优化后的传输口的适配度与所述预设标准适配度之间的差异度以及所述优化后的传输口上叠加的待扩展开口函数，从差异数据库中，调取接口差异模型；

基于所述接口优化模型和接口差异模型，对所述接收口与优化后的传输口进行二次优化。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种基于金融风控业务的外部数据整合方法的流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明提出一种基于金融风控业务的外部数据整合方法，如图1所示，包括：

步骤1：采集不同结构的外部数据；

步骤2：基于同步传输规则，将采集的外部数据进行同步传输到预处理场景，进行预处理；

步骤3：按照预设数据整合模型以及统一性整合规律，将预处理后的外部数据进行整合处理；

步骤4：将整合处理结果进行可视化展现。

该实施例中，采集不同结构的外部数据，例如是采集的政府机构或者事业单位办理事务如在申报项目时的多种数据。

该实施例中，同步传输规则，例如，在采集政府机构或者事业单位办理事务在申报项目时的多种数据时，为了使提交的材料符合要求，办事者需要在多个机构间件来回奔波，效率低下，此时，如果将这些资料，或者多种数据进行同步传输，便于有效的获取各种数据的材料，提高工作效率。

该实施例中，对外部数据进行预处理，例如是将不同种类的数据传输到对应的类型转换模型中进行数据类型的转换，并将输出结果转换为同一种类型的数据，此时，即可算作是完整了预处理。

该实施例中，对预处理后的数据进行整合处理，例如，是将相同数据类型的所有数据融合在一起。

该实施例中，可视化展示，是为了方便用户观看。

上述技术方案的有益效果是：通过同步传输，便于将数据进行整合同一，实现有效的数据价值，提高工作处理效率。

本发明提出一种基于金融风控业务的外部数据整合方法，将采集的外部数据进行同步传输到预处理场景，进行预处理的步骤包括：

对所述外部数据进行聚类分析，获得数据集合，且所述数据集合包括N条子数据；

确定每条子数据的数据属性，并按照所述数据属性，从场景数据库中调取相关的预处理子场景，且多个预处理子场景构成预处理场景；

将每条所述子数据同步传输到对应的预处理子场景中，同时，按照所述子数据的数据状态，对所述预处理子场景进行条件部署以及空间场景调度；

其中，所述数据状态与所述子数据中存在的源数据和目标数据相关。

该实施例中，进行聚类分析是为了对同类型数据进行在同个时间段内进行整体分析，便于提高处理效率。

该实施例中，数据属性与数据类型相关。

该实施例中，调取的与预处理子场景，是为了将对应的数据类型的数据转换为同一数据类型进行数据输出。

该实施例中，同步传输，是为了进行同步处理，提高其的处理效率。

该实施例中，数据状态，例如是指该类型的数据处于可以被直接使用的情况，或者是默认不能使用的情况。

该实施例中，条件部署以及空间场景调度都是为了方便进行数据类型转换，例如数据状态为默认不能使用的情况，此时，空间场景调度以及条件部署可以是将默认不能使用的情况转换为可以使用的情况，再来进行数据类型转换。

上述技术方案的有益效果是：通过进行聚类分析，并按照数据属性，来调取对应的预处理子场景，进而根据条件部署以及空间场景调度对数据进行转换。

本发明提出一种基于金融风控业务的外部数据整合方法，将采集的外部数据进行同步传输到预处理场景之前，还包括：

确定所述预处理场景对应的接收口；

同时，确定所述外部数据的数据类型，并按照所述数据类型，判断传输所述外部数据的传输口的传输类型是否包括所述数据类型在内；

若包括，判断所述接收口与所述传输口是否适配；

若不包括，确定差别类型，同时，调取与所述差别类型相关的待扩展开口函数，并将所述待扩展开口函数叠加在传输外部数据的传输口所对应的程序中，来对传输口进行优化，同时，判断所述接收口与优化后的传输口是否适配。

本发明提出一种基于金融风控业务的外部数据整合方法，所述不同结构的外部数据包括：结构化数据、半结构化数据、非结构化数据；

所述统一性整合规律与数据业务、数据指标相关；

所述可视化展示包括：BI报表展示或者视图展示。

该实施例中，差别类型，比如，接收口接收的是char类型的，传输口接收的是int类型的，此时，即为差别类型。

该实施例中，待扩展开口函数叠加在传输外部数据的传输口所对应的程序中，是为了对传输口的传输数据类型进行扩展，且待扩展开口函数是预先设置好的，是为了可以直接在程序中补充对应的传输数据类型。

上述技术方案的有益效果是：确定接收口与传输口是为了更好的进行数据的传输，且确定差别类型，是为了进行有效的函数叠加，方便对传输口进行优化。

本发明提出一种基于金融风控业务的外部数据整合方法，将预处理后的外部数据进行整合处理，其整合处理的步骤包括：

对所述外部数据的数据结构进行预处理，获取所述外部数据的内存字段信息；

设置所述外部数据的内存字段信息的关键字段值，并根据所述关键字段值对所述外部数据进行排序，并按照排序结果分成N个外部数据包；

从所述N个外部数据包中选取包含所述内存字段信息齐全的有效数据，同时，将所述有效数据进行分解，分解为对象、属性两类基本元素；

将分解好的所述对象、属性两类基本元素进行分类整理，并在所述N个外部数据包内创建表格；

同时，根据所述表格获取表格模板，并读取所述对象中的第一内容值，以及读取属性中的第二内容值；

基于预设匹配数据集对所述第一内容值与所述第二内容值进行匹配，同时，将符合匹配的所述第一内容值与所述第二内容值建立映射关系；

基于所述映射关系，构建所述N个外部数据包中有关于所述有效数据的N个目标数据文件；

获取所述目标数据文件中的目标数据压缩比率，同时，获取所述有效数据的数据长度；

根据所述数据长度，并按照所述目标数据压缩比率，计算所述有效数据在所述目标数据文件中进行压缩所需要的压缩时间；

基于所述压缩时间，对所述N个目标数据文件中的所述有效数据按照所述目标压缩比率进行压缩整合，获取整合好的所述外部数据。

该实施例中，关键字段值指的是外部数据的内存字段信息中的重要信息字段，该字段的信息可以代表该内存字段信息的信息值。

该实施例中，内存字段信息齐全的有效数据指的是内存字段信息中的关键字、字符特征等。

该实施例中，映射关系可以是一个第一内容值对对应一个第二内容值，也可以是一个第一内容值对应多个第二内容值。

该实施例中，目标数据文件中包含外部数据包中的有效数据，是最终进行整合的文件。

该实施例中，目标数据压缩比率是通过多次训练学习得到的，根据该压缩比率对数据进行压缩，便于对数据进行整合。

上述技术方案的有益效果是：通过获取外部数据中的内存字段信息，并通过关键字将外部数据分成N个外部数据包，通过解读外部数据包中的对象、属性元素，将外部数据包中的有效数据长度进行压缩整合，确保了对外部数据包中的关键信息进行整合，避免对外部数据包中的无效信息做无用功，提高了外部数据整合的效果以及整合的效率。

本发明提出一种基于金融风控业务的外部数据整合方法，将整合处理结果进行可视化展现包括：

确定与所述预处理场景相关的所有展示节点以及基于所述展示节点构成的展示路径，并基于所述展示节点以及展示路径，构成第一展示树，且所述第一展示树是包括多个展示层在内的，且每个展示层包括至少两个展示节点以及至少一条展示路径；

确定所述展示节点是否响应所述整合处理结果，若响应，将所述展示节点保留使用，否则，将所述展示节点暂留使用，同时，根据响应的展示节点对所述第一展示树进行调整，获得第二展示树；

对所述整合处理结果进行聚类分析，确定主金融类型、次金融类型以及影响金融类型；

所述主金融类型、次金融类型以及影响金融类型融合到所述第二展示树中，获取第三展示树；

从所述第三展示树中提取与所述整合处理结果相关的待需要层，并对所述待需要层进行层级排序，构建层级路径，并按照所述层级路径以及所述待需要层的展示路径，将所述整合处理结果进行可视化展现；

其中，所述展示节点与预设金融类型以及与所述预设金融类型对应的可展示结果相关。

该实施例中，预处理场景相关的展示节点，例如是以柱形、折线等形式进行展示，且展示路径，例如是将一些数据进行柱形展示，一些数据进行折线展现，再将一些数据进行柱形、折线进行同步展示。

该实施例中，判断展示节点是否相应，一是为了筛选有效节点，二是为了提高展示效率。

该实施例中，第一展示树是预先设定好的，第二展示树是基于响应结果进行调整得到的。

该实施例中，通过对整合处理结果进行聚类分析，进而来对第二展示树进行再次调整得到的。

该实施例中，待需要层是与展示节点和展示路径有关，进而筛选层级路径，最后进行可视化展现。

该实施例中，层级是将模型进行层级划分之后获得的，且获得多个层级，层级路径是从多个层级中筛选某些层级构成的路径，且每个层级路径中是包含多个展示节点和展示路径在内的。

该实施例汇总，展示节点，例如是数据可展示的某个形状，如柱形。

上述技术方案的有益效果是：通过设置展示节点、展示路径、层级路径以及两次优化，便于确定有效的展示整合处理结果，方便观看。

本发明提出一种基于金融风控业务的外部数据整合方法，判断所述接收口与优化后的传输口是否适配包括：

获取所述接收口的网络测试数据，并将所述网络测试数据进行转换，获取转换网络测试数据；

将所述网络转换测试数据向优化后的传输口发送，并获取此时优化后的传输口所接收到所述网络转换测试数据的传递速率；

根据所述传递速率，确定优化后的传输口的数据回归系数，并根据所述数据回归系数，计算所述接收口与优化后的传输口的适配度；

其中，ξ表示所述接收口与优化后的传输口的适配度；λ表示优化后的传输口的数据回归系数；

表示第i个所述网络转换测试数据节点的数据平均值；i表示所述网络转换数据的数据节点；δ表示所述网络转换测试数据的标准差；v表示所述传递速率；v₁表示所述传输口所能接收的最大数据传递速率；g表示所述接收口与优化后的传输口在匹配时的自由度比值；σ表示所述接收口与优化后的传输口的匹配灵敏度；a表示优化后的传输口在接收到所述网络转换数据时的数据分辨率；u所述接收口与优化后的传输口的匹配系数；

将当前所述接收口与优化后的传输口的适配度与预设标准适配度进行比较；

若当前所述接收口与优化后的传输口的适配度等于或大于所述预设标准适配度，判定所述接收口与优化后的传输口适配；

否则，判定所述接收口与优化后的传输口不适配，并对所述接收口与优化后的传输口进行二次优化。

该实施例中，数据回归系数指的是输出接口中外界影响因素对数据传输效果的影响，外界影响因素越大，数据传输效果越差。

该实施例中，匹配系数、匹配灵敏度是预先进行训练设定好的。

该实施例中，获取适配度时的初始学习率的取值范围为(0，1)。

上述技术方案的有益效果是：通过公式，计算接收口与优化后的传输口的适配度，来判断是否需要进行二次优化，来保证传输数据口的统一性，便于数据整合后，有利于数据的传输，其主要通过涉及数据节点的数据平均值、匹配灵敏度、网络转换数据时的数据分辨率，确保了在计算适配度时对外界因素影响的考虑，来保证判断的精准性，便于后续的有效判断。

本发明提出一种基于金融风控业务的外部数据整合方法，对所述接收口与优化后的传输口进行二次优化包括：

基于当前所述接收口与优化后的传输口的适配度，确定所述接收口与优化后的传输口的优化特征值；

其中，M表示所述接收口与优化后的传输口的优化特征值；ξ表示所述接收口与优化后的传输口的适配度；τ表示所述接收口与优化后的传输口的疲劳系数；σ表示当前优化后的传输口接收所述网络转换测试数据的梯度值；q表示所述述接收口与优化后的传输口在获取适配度时的初始学习率；Q表示所述接收口与优化后的传输口在获取优化特征值时的自动调整学习率；k表示优化系数；s表示所述接收口与优化后的传输口之间平滑系数，且取值范围为

f表示优化后的传输口接收到所述网络转换测试数据所需要的优化梯度值；

基于所述接收口与优化后的传输口的优化特征值，从优化数据库中，调取与优化特征值相关的接口优化模型；

同时，根据所述接收口与优化后的传输口的适配度与所述预设标准适配度之间的差异度以及所述优化后的传输口上叠加的待扩展开口函数，从差异数据库中，调取接口差异模型；

基于所述接口优化模型和接口差异模型，对所述接收口与优化后的传输口进行二次优化。

该实施例中，优化特征值时的自动调整学习率的取值范围为(0，1)。

该实施例中，优化数据库以及差异数据库是预先设定好的，且对应的接口优化模型，例如是升级接口，提高其格式的兼容性，且接口差异模型，例如接口只接收a类型的数据，但是经过接口差异模型处理后，可以接收a、b两种类型的数据。

上述技术方案的有益效果是：当适配度与预设的不符合时，通过基于适配度的基础上，根据公式，计算优化特征值，其涉及适配度时的初始学习率、自动调整学习率、转换测试数据的梯度值，确保涉及的参数对接口优化是必不可少的因素，最终通过优化特征值以及对应的差异度和待扩展开口函数，确定的模型，来对接收口与优化后的传输口进行优化，便于保证数据格式的统一性，且还便于确保数据在进行可视化操作时数据传输的高效性、及时性。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种基于金融风控业务的外部数据整合方法，其特征在于，包括：

采集不同结构的外部数据；

基于同步传输规则，将采集的外部数据进行同步传输到预处理场景，进行预处理；

按照预设数据整合模型以及统一性整合规律，将预处理后的外部数据进行整合处理；

将整合处理结果进行可视化展现；

其中，将预处理后的外部数据进行整合处理，其整合处理的步骤包括：

对所述外部数据的数据结构进行预处理，获取所述外部数据的内存字段信息；

设置所述外部数据的内存字段信息的关键字段值，并根据所述关键字段值对所述外部数据进行排序，并按照排序结果分成N个外部数据包；

从所述N个外部数据包中选取包含所述内存字段信息齐全的有效数据，同时，将所述有效数据进行分解，分解为对象、属性两类基本元素；

将分解好的所述对象、属性两类基本元素进行分类整理，并在所述N个外部数据包内创建表格；

同时，根据所述表格获取表格模板，并读取所述对象中的第一内容值，以及读取属性中的第二内容值；

基于预设匹配数据集对所述第一内容值与所述第二内容值进行匹配，同时，将符合匹配的所述第一内容值与所述第二内容值建立映射关系；

基于所述映射关系，构建所述N个外部数据包中有关于所述有效数据的N个目标数据文件；

获取所述目标数据文件中的目标数据压缩比率，同时，获取所述有效数据的数据长度；

根据所述数据长度，并按照所述目标数据压缩比率，计算所述有效数据在所述目标数据文件中进行压缩所需要的压缩时间；

基于所述压缩时间，对所述N个目标数据文件中的所述有效数据按照所述目标数据压缩比率进行压缩整合，获取整合好的所述外部数据。

2.如权利要求1所述的外部数据整合方法，其特征在于，将采集的外部数据进行同步传输到预处理场景，进行预处理的步骤包括：

对所述外部数据进行聚类分析，获得数据集合，且所述数据集合包括M条子数据；

确定每条子数据的数据属性，并按照所述数据属性，从场景数据库中调取相关的预处理子场景，且多个预处理子场景构成预处理场景；

将每条所述子数据同步传输到对应的预处理子场景中，同时，按照所述子数据的数据状态，对所述预处理子场景进行条件部署以及空间场景调度；

其中，所述数据状态与所述子数据中存在的源数据和目标数据相关。

3.如权利要求1所述的外部数据整合方法，其特征在于，将采集的外部数据进行同步传输到预处理场景之前，还包括：

确定所述预处理场景对应的接收口；

同时，确定所述外部数据的数据类型，并按照所述数据类型，判断传输所述外部数据的传输口的传输类型是否包括所述数据类型在内；

若包括，判断所述接收口与所述传输口是否适配；

若不包括，确定差别类型，同时，调取与所述差别类型相关的待扩展开口函数，并将所述待扩展开口函数叠加在传输外部数据的传输口所对应的程序中，来对传输口进行优化，同时，判断所述接收口与优化后的传输口是否适配。

4.如权利要求1所述的外部数据整合方法，其特征在于，

所述不同结构的外部数据包括：结构化数据、半结构化数据、非结构化数据；

所述统一性整合规律与数据业务、数据指标相关；

所述可视化展现包括：BI报表展示或者视图展示。

5.如权利要求1所述的外部数据整合方法，其特征在于，将整合处理结果进行可视化展现包括：

确定与所述预处理场景相关的所有展示节点以及基于所述展示节点构成的展示路径，并基于所述展示节点以及展示路径，构成第一展示树，且所述第一展示树是包括多个展示层在内的，且每个展示层包括至少两个展示节点以及至少一条展示路径；

确定所述展示节点是否响应所述整合处理结果，若响应，将所述展示节点保留使用，否则，将所述展示节点暂留使用，同时，根据响应的展示节点对所述第一展示树进行调整，获得第二展示树；

对所述整合处理结果进行聚类分析，确定主金融类型、次金融类型以及影响金融类型；

所述主金融类型、次金融类型以及影响金融类型融合到所述第二展示树中，获取第三展示树；

从所述第三展示树中提取与所述整合处理结果相关的待需要层，并对所述待需要层进行层级排序，构建层级路径，并按照所述层级路径以及所述待需要层的展示路径，将所述整合处理结果进行可视化展现；

其中，所述展示节点与预设金融类型以及与所述预设金融类型对应的可展示结果相关。

6.如权利要求3所述的外部数据整合方法，其特征在于，判断所述接收口与优化后的传输口是否适配包括：

获取所述接收口的网络测试数据，并将所述网络测试数据进行转换，获取网络转换测试数据；

将所述网络转换测试数据向优化后的传输口发送，并获取此时优化后的传输口所接收到所述网络转换测试数据的传递速率；

根据所述传递速率，确定优化后的传输口的数据回归系数，并根据所述数据回归系数，计算所述接收口与优化后的传输口的适配度；

其中，ξ表示所述接收口与优化后的传输口的适配度；λ表示优化后的传输口的数据回归系数；

表示第i个所述网络转换测试数据节点的数据平均值；i表示所述网络转换测试数据的数据节点；δ表示所述网络转换测试数据的标准差；v表示所述传递速率；v₁表示所述传输口所能接收的最大数据传递速率；g表示所述接收口与优化后的传输口在匹配时的自由度比值；σ表示所述接收口与优化后的传输口的匹配灵敏度；a表示优化后的传输口在接收到所述网络转换测试数据时的数据分辨率；u所述接收口与优化后的传输口的匹配系数；

将当前所述接收口与优化后的传输口的适配度与预设标准适配度进行比较；

若当前所述接收口与优化后的传输口的适配度等于或大于所述预设标准适配度，判定所述接收口与优化后的传输口适配；

否则，判定所述接收口与优化后的传输口不适配，并对所述接收口与优化后的传输口进行二次优化。

Images