CN116862664A - 信贷数据指标控制方法、系统及存储介质 - Google Patents

Abstract

本发明属于数据处理技术领域，公开了一种信贷数据指标控制方法、系统及存储介质，技术角度：数据标准化在框架中分为了两层：数据预处理、数据映射；在进行数据标准化开发时，开发者不需要进行复杂的逻辑运算，只需要根据需求，首先设计出数据的映射关系，然后使用提供的预处理函数将数据预处理为可以直接一对一映射的标准表结构，最后只需要将字段的映射关系在页面进行配置，在数据源复杂度不高的情况下，不涉及任何代码层级的开发。本发明对于指标的分类也是最大程度的减少了开发指标人员的工作量，在涉及简单指标的场景下，不需要走复杂的流程，甚至不需要技术人员介入。

Description

信贷数据指标控制方法、系统及存储介质

技术领域

本发明属于数据处理技术领域，尤其涉及一种信贷数据指标控制方法、系统及存储介质。

背景技术

目前，在信贷业务中，风险控制环节、数据统计环节等都需要使用到指标。指标，即使用原始的基础元数据，经过数据清洗，遵循一定的逻辑规则，加工成有一定业务含义的新数据字段。指标，用在风险控制环节的模型建模、规则判断，数据统计环节的定量分析、定性分析等。现有的指标加工的技术方案，通常分为3个环节，数据解析、数据清洗、指标加工。数据解析，即将原始报文解析落库到数据库表中。数据清洗，即按照一定的业务逻辑，清洗数据库表中的数据。指标加工，即根据数据库表中的数据，按照一定的逻辑进行指标计算，生成指标后落库保存。现有的指标加工，通常在2类系统进行实现。一类系统是风险决策平台；一类系统是大数据平台。风险决策平台，主要功能仍是面向规则、模型、策略等的部署配置，对于指标衍生层面，功能点比较小，大部分需要在代码层实现，只有非常简单的指标可以通过配置实现，且每次对接新数据源都要进行重复开发。大数据平台，主要功能面向数据接入、数据处理、数据加工等，对于风控使用场景等，兼顾较少。

现有技术对于同种类型，多数据源，无法形成统一资产数据，现有的加工范式，数据解析、数据清洗、指标加工，每对接一次数据，都需要重新开发，哪怕是相同类型的数据。比如说税务数据，数据源非常多，当多数据源接入时，每次都要重新开发，无法形成统一范式，既不方便进行统一的资产数据分类和治理，也对开发人员的开发内容造成极大地冗余损耗。

现有技术对复杂指标无法灵活配置和上线，需要等待技术排期基于简单的最大值、最小值、平均数等编程语言内置的计数方式，可以进行配置实现，对于较为复杂的指标，完全依赖于代码上线。无法通过页面编辑的形式，进行复杂指标的配置增加。

现有技术兼顾使用场景少，对于风险控制常用的回溯功能、跑批功能、指标分析功能，没有进行深入设计，无法兼顾多种风控使用场景，风控人员的场景外操作很多，无法在系统上实现。

通过上述分析，现有技术存在的问题及缺陷为：

1.缺乏统一资产数据：现有技术无法处理同种类型但来自多个数据源的数据，导致无法形成统一的资产数据，影响数据分类和治理。这意味着每次接入新的数据源都需要重新开发，造成了重复劳动和开发资源的浪费。

2.繁琐的指标加工流程：现有技术对于复杂指标的配置和上线过程较为繁琐，需要依赖程序员的编程工作，而无法通过页面编辑的形式进行简单的配置。这限制了业务人员自主配置复杂指标的能力，增加了开发排期和上线时间。

3.场景兼容性不足：现有技术对风险控制常用的回溯功能、跑批功能和指标分析功能设计不够深入，无法满足多种风控使用场景的需求。风控人员需要在系统之外进行一些操作，导致系统无法全面覆盖他们的实际需求。

现有技术存在的急需解决的技术问题：

1.统一资产数据处理：急需解决的问题是如何实现同种类型的数据源，能够在数据接入阶段就进行统一的资产数据处理，确保数据的格式、结构和质量一致，从而减少重复开发工作，提高数据集成的效率。

2.灵活指标配置：需要研发一种简便且灵活的指标配置系统，使得业务人员能够通过页面编辑的方式自主配置复杂的指标计算逻辑，而不必依赖开发人员的编程工作，从而提高指标配置的效率和灵活性。

3.多场景应用：需开发能够兼容多种风控使用场景的系统，包括回溯功能、跑批功能和指标分析功能等。这样风控人员就可以在一个系统中完成大部分工作，提高工作效率和便捷性。

综上所述，解决现有技术的缺陷和急需的技术问题包括统一资产数据处理、灵活指标配置以及多场景应用的开发，这些改进将有助于提高数据处理效率、降低开发成本，并为业务人员提供更加灵活和便捷的工作方式。

发明内容

针对现有技术存在的问题，本发明提供了一种信贷数据指标控制方法、系统及存储介质。

本发明是这样实现的，一种信贷数据指标控制方法，该信贷数据指标控制方法通过预处理函数和映射配置，实现了不同数据源之间的字段映射和数据标准化，将信贷数据指标统一进行处理和管理。

进一步，该控制方法采用的数据处理过程为：

a.数据解析：针对相同数据类型的不同数据源，从数据接入开始，依次进行数据解析，将原始信贷数据解析为可处理的数据格式；

b.数据标准化：根据需求，设计数据的映射关系，将不同数据源的字段映射为统一的标准表结构；在数据标准化层将相同类型的不同数据源数据标准化为同一数据结构的标准数据表；

c.数据清洗：对标准化的数据进行清洗，去除重复、缺失、错误或不符合要求的数据，确保数据的准确性和一致性；

d.指标加工：根据业务需求，使用提供的预处理函数将数据预处理为直接一对一映射的标准表结构；

e.配置映射关系：在页面上进行字段的映射关系配置，确保不同数据源的字段在数据标准化后映射为统一的标准表结构；

f.最终处理：经过上述数据处理过程后，得到的信贷数据指标经过标准化和映射配置，使得数据能够统一、一致地存储在标准表结构中。

进一步，预处理函数包括数据预处理和标准化映射两个步骤：

数据预处理：将不同结构的无法直接映射的源数据经过表连接、行列转换、列展开合并等操作处理为可直接映射的预处理数据；

标准化映射：将数据映射进入标准表结构中，生成可贯通后续步骤的标准化数据。

进一步，所述信贷数据指标控制方法，具体包括以下步骤：

第一步，针对相同数据类型的不同数据源，从数据接入开始，依次进行数据解析、数据标准化、数据清洗、指标加工流程，在数据标准化层将相同类型的不同数据源数据标准化为同一数据结构的标准数据表；

第二步，在数据标准化流程内部，分为数据预处理和标准化映射两步，数据预处理将不同结构的无法直接映射的源数据经过表连接、行列转换、列展开合并操作处理为可直接映射的预处理数据，在经过标准化的映射，将数据映射进入标准表结构中，生成可贯通后续步骤的标准化数据。

进一步，所述信贷数据指标控制方法将指标分为三类：统计类指标、公式类指标、自定义指标；所述统计类指标指的是对于数据表的某个字段进行时间切片、数据筛选、指定方式分析而得到的指标，将时间切片、数据筛选、统计方式，进行前台的无代码配置，允许用户在页面进行调整，得到不同的结果；

公式类指标指的是基于其他指标而产生的衍生类指标，允许用户在前台选择公式类指标的来源指标，并配置对应的转换关系，由框架自动在后台进行血缘关系的加工顺序排序，加工得到公式类指标；

自定义指标指的是统计类指标、公式类指标无法实现的指标，允许用户在函数库定义一个自定义的指标函数，在对应的指标配置时需要调用对应的函数并传入不同的参数。

进一步，所述信贷数据指标控制方法包含对于风控人员的的回溯功能、跑批功能、指标分析功能。

进一步，所述信贷数据指标控制方法对于不同数据类型的数据展示上，根据不同业务的数据特征，展示其对应的按业务域划分的数据；对于数据的批量回溯，结合业务实际，允许用户根据不同场景手动回溯或设置定期回溯，以满足对应场景的需求。

本发明的另一目的在于提供一种一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1～6任意一项所述信贷数据指标控制方法。

本发明的另一目的在于提供一种基于上述信贷数据指标控制方法的信贷数据指标控制系统，其特征在于，所述信贷数据指标控制系统包括：

数据预处理模块，用于在进行数据标准化开发时，根据需求，设计出数据的映射关系，使用提供的预处理函数将数据预处理为直接一对一映射的标准表结构；

数据映射模块，用于将字段的映射关系在页面进行配置。

进一步，所述数据处理模块包括：

数据接入子模块：负责从不同数据源中获取原始信贷数据，并进行初步解析，将数据转换为可处理的格式；

数据标准化子模块：在数据标准化层，根据需求设计数据的映射关系，将不同数据源的字段映射为统一的标准表结构；相同类型的不同数据源数据经过标准化后变为同一数据结构的标准数据表；

数据清洗子模块：对标准化的数据进行清洗，去除重复、缺失、错误或不符合要求的数据，确保数据的准确性和一致性；

指标加工子模块：根据业务需求，使用提供的预处理函数将数据预处理为直接一对一映射的标准表结构；

映射配置子模块：在页面上进行字段的映射关系配置，确保不同数据源的字段在数据标准化后映射为统一的标准表结构；

最终处理子模块：经过数据处理过程后，信贷数据指标得到标准化和映射配置，使得数据能够统一、一致地存储在标准表结构中。

结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：

第一、本发明在数据清洗、指标加工环节只需要针对数据类型做相应的统一规则配置，对于存在数据特征差异较大的数据源，可以额外在数据清洗层进行针对化的清洗配置，消除特征差异。

本发明根据信贷风控行业最常用的TOB数据进行业务分析、总结出最合适的、最大集标准化表结构，可以应对不同数据源的不同场景；在每一次接入相同数据源的情况下避免了每一次重新开发对应的指标衍生规则；增加了数据开发效率，这一技术在数据源接入越多的情况下，优势越明显；数据标准化在框架中分为了两层：数据预处理、数据映射；在进行数据标准化开发时，开发者不需要进行复杂的逻辑运算，只需要根据需求，首先设计出数据的映射关系，然后使用提供的预处理函数将数据预处理为可以直接一对一映射的标准表结构，最后只需要将字段的映射关系在页面进行配置，在数据源复杂度不高的情况下，不涉及任何代码层级的开发。

第二，本发明将同种类型，多数据源数据归一为同种结构的统一数据资产，为数据统一分析、应用提供有效、省力的支持；对于新增开发指标，避免相同逻辑反复设计开发；对于同种类型、多数据源，对相同逻辑的指标只开发一次，避免重复开发；无论逻辑复杂度高低，兼容指标的前台配置化，对于简单逻辑指标可以实现无代码的前台配置，相对复杂的指标可以实现前台页面编辑的形式配置；直接面向业务人员，深入不同数据类型的业务场景使用回溯功能、跑批功能、指标分析功能，节省业务流转时间，增加风控人员效率。

本发明在中间插入数据标准化层后，新数据源接入的开发效率提升至少50％，对于相同数据类型，不同数据源的开发工作量节省可达到80％，对于最终的指标结果，也不需要重复开发，在某些应用场景下(如备用数据源)，可以达到无缝切换数据源而不需要考虑指标的切换以及其影响；

本发明对于指标的分类也是最大程度的减少了开发指标人员的工作量，在涉及简单指标的场景下，不需要走复杂的流程，甚至不需要技术人员介入，风控人员可以在不接触代码的情况下自行开发指标进行上线；在涉及复杂指标场景时，也可以设计可复用的函数逻辑，在后续所有类似情境下统一使用。

第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：

1)数据解析：在数据解析阶段，取得的显著技术进步是能够从不同数据源中获取原始信贷数据并进行初步解析，将数据转换为可处理的格式。这可能涉及不同数据源的数据格式解析，如处理不同的数据文件格式、数据库结构等，实现了数据源的兼容性和灵活性，降低了数据接入的难度。

2)数据标准化：在数据标准化阶段，通过设计数据的映射关系，将不同数据源的字段映射为统一的标准表结构。这一技术进步使得来自不同数据源的数据能够统一处理和管理，解决了数据异构性的问题，提高了数据的一致性和可比性。

3)数据清洗：数据清洗阶段的显著技术进步在于实现了对标准化的数据进行清洗，去除重复、缺失、错误或不符合要求的数据，确保数据的准确性和完整性。数据清洗技术的引入有效地提高了数据质量，降低了数据处理过程中的错误率和不确定性。

4)指标加工：通过预处理函数的使用，实现了数据预处理和标准化映射两个步骤。数据预处理阶段将不同结构的无法直接映射的源数据经过表连接、行列转换、列展开合并等操作处理为可直接映射的预处理数据。标准化映射阶段将预处理数据映射进入标准表结构中，生成可贯通后续步骤的标准化数据。这一技术进步提高了数据处理的效率和准确性，实现了数据在不同数据源之间的无缝对接。

5)映射配置：在页面上进行字段的映射关系配置，实现了简便且灵活的字段映射。这一技术进步使得业务人员能够通过页面编辑的方式自主配置复杂的指标计算逻辑，提高了指标配置的效率和灵活性。

通过上述的技术进步，信贷数据指标控制方法实现了不同数据源之间的字段映射和数据的标准化，提高了数据处理的效率和准确性，降低了开发的冗余工作。同时，通过统一标准表结构，使得数据能够以统一的方式进行处理和管理，为后续的数据分析和应用提供了便捷的基础。

附图说明

图1是本发明实施例提供的信贷数据指标控制方法流程图；

图2是本发明实施例提供的信贷数据指标控制方法原理图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例提供的信贷数据指标控制方法，包括以下步骤：

S101：针对相同数据类型的不同数据源，从数据接入开始，依次进行数据解析、数据标准化、数据清洗、指标加工流程，在数据标准化层将相同类型的不同数据源数据标准化为同一数据结构的标准数据表；

S102：在数据标准化流程内部，分为数据预处理和标准化映射两步，数据预处理将不同结构的无法直接映射的源数据经过表连接、行列转换、列展开合并等操作处理为可直接映射的预处理数据，在经过标准化的映射，将数据映射进入标准表结构中，生成可贯通后续步骤的标准化数据。

根据提供的描述，这是一个信贷数据指标控制方法，旨在处理来自不同数据源的信贷数据并将其标准化为一个共同的数据结构。以下是可能的实现方案：

作为本发明实施例的一个优化方案，步骤S101：信贷数据标准化方法

1)数据接入：从不同的信贷数据源获取数据，这些数据源可能包括银行、金融机构、信用机构等。

2)数据解析：对接收到的数据进行解析，将其转换为计算机可读取的格式，例如将文本数据转换为结构化数据。

3)数据标准化：在这一步骤中，对不同数据源的数据进行标准化处理，确保它们都遵循同一种数据结构和格式。这可以通过以下方式实现：

a.统一字段：对于相同类型的数据，确保字段名称和数据类型一致，例如将"客户姓名"、"姓名"、"借款人名称"等字段统一为一个标准的"姓名"字段。

b.统一数据格式：确保日期、金额、利率等数据在各个数据源中都采用相同的格式，避免混淆和错误。

c.缺失值处理：处理缺失值，可以根据业务规则填充缺失数据或使用插值等方法处理。

d.数据单位转换：将数据统一转换为特定单位，例如将货币统一转换为特定币种。

4.数据清洗：在这一步骤中，对数据进行清洗，排除无效数据、重复数据、异常数据等。常见的数据清洗方法包括去重、异常值处理、逻辑校验等。

5)指标加工流程：在这一步骤中，可以对数据进行计算、聚合和衍生，生成新的指标或特征。这些指标可以是信贷风险评估指标，如信用评分、逾期率等，也可以是其他与信贷业务相关的指标。

6)数据标准化为同一数据结构的标准数据表：将经过处理的数据标准化为一个统一的数据结构，并生成一个标准数据表。该数据表可以包含所有信贷数据源的信息，以便后续的分析和决策使用。

具体实现方案可能因应用场景、数据类型和业务需求而有所不同。上述步骤提供了一个通用的信贷数据标准化方法的框架，实际应用中可能需要根据具体情况进行调整和扩展。同时，在实施该方法时，需要关注数据安全和隐私保护等问题，确保数据处理过程符合相关法规和标准。

在数据标准化流程内部，将数据预处理和标准化映射拆分为两步是为了应对不同结构的源数据，确保能够将其映射到一个共同的标准数据表中。下面是实现这两步的具体方法：

作为本发明实施例的一个优化方案，步骤S102：数据标准化流程内部

1.数据预处理：

a.表连接：对于来自不同数据源的数据，可能存在需要合并的情况。通过表连接操作，将包含相关信息的数据表联接在一起，形成一个更大的数据表。表连接的依据可以是共同的字段，如客户ID、贷款号等。

b.行列转换：不同数据源的数据结构可能不同，某些字段可能以行方式存储，而在标准表结构中，可能是以列方式呈现。通过行列转换操作，将行数据转换为列数据，使得数据能够在标准化映射步骤中进行对应映射。

c.列展开合并：在数据预处理过程中，可能遇到某些字段以合并或数组形式存储的情况。通过展开合并操作，将这些字段拆分成单独的数据项，使得它们能够正确映射到标准表结构的对应字段。

2.标准化映射：

a.映射规则定义：在这一步骤中，需要定义将预处理数据映射到标准化数据表结构的规则。这些规则可以包括字段映射关系、数据类型转换、缺失值处理等。根据业务需求和数据类型的差异，制定适当的映射规则。

b.数据映射：根据上一步骤中定义的映射规则，将预处理数据映射到标准数据表结构中。确保数据按照规则正确地填充到对应字段，并保持数据的一致性和准确性。

c.标准化数据生成：通过映射操作，生成标准化的数据表，该表包含来自不同数据源的数据，已经被统一映射到一个共同的标准结构。这样生成的标准化数据表可供后续的数据分析、挖掘和决策使用。

实际实现中，数据预处理和标准化映射的具体步骤和方法会因数据的类型、来源以及标准化要求而有所差异。因此，在应用该方法时，需要根据具体情况设计适合的数据预处理和映射策略，并确保数据在整个过程中的完整性和准确性。同时，对于大规模数据处理，还应考虑性能优化措施，以确保数据标准化流程的高效性和可扩展性。

在本发明的实施例中，本发明可以避免相同数据类型的不同数据源的指标反复开发，但是对于同个数据源内的指标维度，也会存在许多相同逻辑的指标，针对此情况，本发明将指标分为三类：统计类指标、公式类指标、自定义指标；

统计类指标指的是对于数据表的某个字段进行时间切片、数据筛选、指定方式分析而得到的指标，是使用频率最高，逻辑也最相似的一类指标；本发明将时间切片、数据筛选、统计方式，都进行前台的无代码配置，允许用户在页面进行调整，从而得到不同的结果；对于开发人员而言，只需要在前台简单配置即可实现，对于开发效率而言有极大的提高；

公式类指标指的是基于其他指标而产生的衍生类指标，也是较为多见的一种；本发明允许用户在前台选择公式类指标的来源指标，并配置对应的转换关系，由框架自动在后台进行血缘关系的加工顺序排序，从而加工得到公式类指标，换言之，用户只需要关注公式的实现即可，对于基础、衍生指标加工的层级关系是无感的；

自定义指标指的是上述两种指标无法实现的指标，往往有着复杂的逻辑，较高的精度要求，本发明允许用户在函数库定义一个自定义的指标函数，在对应的指标配置时只需要调用对应的函数并传入不同的参数，即可避免相同逻辑的自定义指标的冗余开发。

在本发明的实施例中，对于风控人员常用的的回溯功能、跑批功能、指标分析功能等，本发明进行了深入业务的设计，对于不同场景下的使用，都可以最大程度满足风控人员的操作需求；

对于不同数据类型的数据展示上，本发明根据不同业务的数据特征，展示其对应的按业务域划分的数据，让数据展示井井有序；对于数据的批量回溯，本发明结合业务实际，允许用户根据不同场景手动回溯或设置定期回溯，以满足对应场景的需求等。

本发明实施例提供的信贷数据指标控制系统，包括：

数据预处理模块，用于在进行数据标准化开发时，根据需求，设计出数据的映射关系，使用提供的预处理函数将数据预处理为直接一对一映射的标准表结构；

数据映射模块，用于将字段的映射关系在页面进行配置。

本发明实施例提供的信贷数据指标控制方法的数据处理过程包含以下系统模块：

1.数据接入子模块：负责从不同数据源中获取原始信贷数据，并进行初步解析，将数据转换为可处理的格式。

2.数据标准化子模块：在数据标准化层，根据需求设计数据的映射关系，将不同数据源的字段映射为统一的标准表结构。相同类型的不同数据源数据经过标准化后变为同一数据结构的标准数据表。

3.数据清洗子模块：对标准化的数据进行清洗，去除重复、缺失、错误或不符合要求的数据，确保数据的准确性和一致性。

4.指标加工子模块：根据业务需求，使用提供的预处理函数将数据预处理为直接一对一映射的标准表结构。该子模块包括数据预处理和标准化映射两个步骤：

数据预处理：将不同结构的无法直接映射的源数据经过表连接、行列转换、列展开合并等操作处理为可直接映射的预处理数据。

标准化映射：将数据映射进入标准表结构中，生成可贯通后续步骤的标准化数据。

5.映射配置子模块：在页面上进行字段的映射关系配置，确保不同数据源的字段在数据标准化后映射为统一的标准表结构。

6.最终处理子模块：经过上述数据处理过程后，信贷数据指标得到标准化和映射配置，使得数据能够统一、一致地存储在标准表结构中。

这些系统模块共同组成了信贷数据指标控制方法的数据处理流程，实现了不同数据源之间字段的映射和数据的标准化，从而为后续数据分析和应用提供了方便和准确性。

在本发明实施例试用服务的金融客户中，为某银行提供的数据指标平台内容完全展示和阐述了本发明实施例提供的方法的创造性和技术价值。

某银行应用实施例的数据平台的主要服务内容主要包括以下三部分：平台基础功能、数据管理与应用、数据模型及指标体系，具体详细展示如下：

在某银行的服务案例中，利用本发明实施例提供的数据指标平台，内容涵盖请求管理、数据管理、数据应用服务、数据分析及系统数据可视化管理等内容，并在平台上实现不同数据源的(税票数据、征信数据、工商数据、司法数据等)衍生和管理，可兼容同一数据的不同数据来源渠道，比如来自“银税直连”和RPA方式的税票数据，并根据不同的数据源的需要在平台上设计不同的接口形式，兼容网页版和接口版本，实现对不同数据的管理和服务，提高行方对数据的管理及应用能力。

在提供天犀数据的指标处理平台的产品的过程中，针对行内已对接的数据进行定制化集中接入，包含税务、发票、企业征信、工商、司法等数据。对行内相关系统进行集成。适配行方的部署要求，适配行内SQL规范平台相关的技术要求级其他在行内部署时需要适配的改造。

以下是本发明提供的六个具体的实施例。

实施例一：信贷数据指标控制方法-贷款金额标准化

1.设计数据的映射关系：确定不同数据源中的贷款金额字段名称，并设计映射关系，如"A数据源-贷款金额"对应"B数据源-借款金额"。

2.使用预处理函数：根据设计好的映射关系，编写预处理函数将不同数据源的贷款金额字段转换为统一的名称。

3.标准化映射配置：在页面上配置字段的映射关系，确保不同数据源的贷款金额在数据标准化后映射为同一字段，并生成标准表结构。

实施例二：信贷数据指标控制方法-还款期限标准化

1.映射关系设计：确定不同数据源中的还款期限字段名称，并设计映射关系，如"A数据源-还款期限"对应"B数据源-贷款期限"。

2.预处理函数应用：根据映射关系编写预处理函数将不同数据源的还款期限字段转换为统一的名称格式。

3.配置映射关系：在页面上配置字段的映射关系，确保不同数据源的还款期限在数据标准化后映射为同一字段，并生成标准表结构。

实施例三：信贷数据指标控制方法-客户年龄标准化

1.设计映射关系：确定不同数据源中的客户年龄字段名称，并设计映射关系，如"A数据源-客户年龄"对应"B数据源-年龄"。

2.预处理函数编写：根据映射关系编写预处理函数将不同数据源的客户年龄字段转换为统一的年龄格式。

3.映射配置：在页面上配置字段的映射关系，确保不同数据源的客户年龄在数据标准化后映射为同一字段，并生成标准表结构。

实施例四：信贷数据指标控制方法-贷款类型标准化

1.映射关系设计：确定不同数据源中的贷款类型字段名称，并设计映射关系，如"A数据源-贷款类型"对应"B数据源-借款类别"。

2.预处理函数应用：编写预处理函数将不同数据源的贷款类型字段转换为统一的名称格式。

3.配置映射关系：在页面上配置字段的映射关系，确保不同数据源的贷款类型在数据标准化后映射为同一字段，并生成标准表结构。

实施例五：信贷数据指标控制方法-逾期天数标准化

1.映射关系设计：确定不同数据源中的逾期天数字段名称，并设计映射关系，如"A数据源-逾期天数"对应"B数据源-超期天数"。

2.预处理函数编写：根据映射关系编写预处理函数将不同数据源的逾期天数字段转换为统一的格式。

3.映射配置：在页面上配置字段的映射关系，确保不同数据源的逾期天数在数据标准化后映射为同一字段，并生成标准表结构。

实施例六：信贷数据指标控制方法-客户职业标准化

1.映射关系设计：确定不同数据源中的客户职业字段名称，并设计映射关系，如"A数据源-客户职业"对应"B数据源-职业类型"。

2.预处理函数应用：编写预处理函数将不同数据源的客户职业字段转换为统一的职业格式。

3.配置映射关系：在页面上配置字段的映射关系，确保不同数据源的客户职业在数据标准化后映射为同一字段，并生成标准表结构。

通过上述六个实施例，可以看出该信贷数据指标控制方法能够根据需求快速配置数据的映射关系，实现对不同数据源的数据标准化和统一表结构，提高数据处理的效率和准确性，同时降低了开发的冗余损耗。

本发明实施例在某银行数据指标平台项目中，利用本发明实施例提供的数据指标平台，在以下几个方面有效的支撑和改进了行方对数据的管理与对接使用效果：

本发明实施例提供的方法可灵活通过API、KAFKA方式接入数据源，实现通过异步的方式主动从数据库或者本地文件的方式接入数据源，再异步批量处理加工数据变量；

本发明实施例提供的方法有效满足与银行变量工厂的对接，提供实时变量加工、变量查询的服务内容；

本发明实施例提供的方法节点内各服务全年整体运行可靠性达99.99％；

本发明实施例提供的方法有应急处理机制，保证服务的连续性或者中断后的迅速恢复服务；

本发明实施例提供的方法对产品级的指标加工响应时间在15S以内完成，有效保证了数据的处理及调用的时效性；

本发明实施例提供的方法整体的吞吐量可达50TPS，可有效支撑业务的高并发及高运行效率的要求；

本发明实施例提供的方法具有高可扩容性，并保证根据行方实际使用需求情况支持弹性扩容，并保证扩容的同时，数据处理效率不变或者变小；

本发明实施例提供的方法在中间插入数据标准化层后，新数据源接入的开发效率提升至少50％，对于相同数据类型，不同数据源的开发工作量节省可达到80％，对于最终的指标结果，也不需要重复开发，在某些应用场景下(如备用数据源)，可以达到无缝切换数据源而不需要考虑指标的切换以及其影响。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种信贷数据指标控制方法，其特征在于，该信贷数据指标控制方法通过预处理函数和映射配置，实现了不同数据源之间的字段映射和数据标准化，将信贷数据指标统一进行处理和管理。

2.如权利要求1所述的信贷数据指标控制方法，其特征在于，该控制方法采用的数据处理过程为：

a.数据解析：针对相同数据类型的不同数据源，从数据接入开始，依次进行数据解析，将原始信贷数据解析为可处理的数据格式；

b.数据标准化：根据需求，设计数据的映射关系，将不同数据源的字段映射为统一的标准表结构；在数据标准化层将相同类型的不同数据源数据标准化为同一数据结构的标准数据表；

c.数据清洗：对标准化的数据进行清洗，去除重复、缺失、错误或不符合要求的数据，确保数据的准确性和一致性；

d.指标加工：根据业务需求，使用提供的预处理函数将数据预处理为直接一对一映射的标准表结构；

e.配置映射关系：在页面上进行字段的映射关系配置，确保不同数据源的字段在数据标准化后映射为统一的标准表结构；

f.最终处理：经过上述数据处理过程后，得到的信贷数据指标经过标准化和映射配置，使得数据能够统一、一致地存储在标准表结构中。

3.如权利要求2所述的信贷数据指标控制方法，其特征在于，预处理函数包括数据预处理和标准化映射两个步骤：

数据预处理：将不同结构的无法直接映射的源数据经过表连接、行列转换、列展开合并操作处理为可直接映射的预处理数据；

标准化映射：将数据映射进入标准表结构中，生成可贯通后续步骤的标准化数据。

4.如权利要求1所述的信贷数据指标控制方法，其特征在于，所述信贷数据指标控制方法，具体包括以下步骤：

第一步，针对相同数据类型的不同数据源，从数据接入开始，依次进行数据解析、数据标准化、数据清洗、指标加工流程，在数据标准化层将相同类型的不同数据源数据标准化为同一数据结构的标准数据表；

第二步，在数据标准化流程内部，分为数据预处理和标准化映射两步，数据预处理将不同结构的无法直接映射的源数据经过表连接、行列转换、列展开合并操作处理为可直接映射的预处理数据，在经过标准化的映射，将数据映射进入标准表结构中，生成可贯通后续步骤的标准化数据。

5.如权利要求4所述的信贷数据指标控制方法，其特征在于，所述信贷数据指标控制方法将指标分为三类：统计类指标、公式类指标、自定义指标；所述统计类指标指的是对于数据表的某个字段进行时间切片、数据筛选、指定方式分析而得到的指标，将时间切片、数据筛选、统计方式，进行前台的无代码配置，允许用户在页面进行调整，得到不同的结果；

公式类指标指的是基于其他指标而产生的衍生类指标，允许用户在前台选择公式类指标的来源指标，并配置对应的转换关系，由框架自动在后台进行血缘关系的加工顺序排序，加工得到公式类指标；

自定义指标指的是统计类指标、公式类指标无法实现的指标，允许用户在函数库定义一个自定义的指标函数，在对应的指标配置时需要调用对应的函数并传入不同的参数。

6.如权利要求4所述的信贷数据指标控制方法，其特征在于，所述信贷数据指标控制方法包含对于风控人员的的回溯功能、跑批功能、指标分析功能。

7.如权利要求4所述的信贷数据指标控制方法，其特征在于，所述信贷数据指标控制方法对于不同数据类型的数据展示上，根据不同业务的数据特征，展示其对应的按业务域划分的数据；对于数据的批量回溯，结合业务实际，允许用户根据不同场景手动回溯或设置定期回溯，以满足对应场景的需求。

8.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1～7任意一项所述信贷数据指标控制方法。

9.一种基于权利要求1～7任意一项所述信贷数据指标控制方法的信贷数据指标控制系统，其特征在于，所述信贷数据指标控制系统包括：

数据预处理模块，用于在进行数据标准化开发时，根据需求，设计出数据的映射关系，使用提供的预处理函数将数据预处理为直接一对一映射的标准表结构；

数据映射模块，用于将字段的映射关系在页面进行配置。

10.如权利要求9所述信贷数据指标控制方法的信贷数据指标控制系统，其特征在于，所述数据处理模块包括：

数据接入子模块：负责从不同数据源中获取原始信贷数据，并进行初步解析，将数据转换为可处理的格式；

数据标准化子模块：在数据标准化层，根据需求设计数据的映射关系，将不同数据源的字段映射为统一的标准表结构；相同类型的不同数据源数据经过标准化后变为同一数据结构的标准数据表；

数据清洗子模块：对标准化的数据进行清洗，去除重复、缺失、错误或不符合要求的数据，确保数据的准确性和一致性；

指标加工子模块：根据业务需求，使用提供的预处理函数将数据预处理为直接一对一映射的标准表结构；

映射配置子模块：在页面上进行字段的映射关系配置，确保不同数据源的字段在数据标准化后映射为统一的标准表结构；

最终处理子模块：经过数据处理过程后，信贷数据指标得到标准化和映射配置，使得数据能够统一、一致地存储在标准表结构中。