CN116700718A - 基于页面配置的数据处理方法及系统 - Google Patents

Abstract

本发明涉及一种基于页面配置的数据处理方法及系统，其中，基于页面配置的数据处理方法包括：响应于用户的第一操作，显示数据服务管理页面；响应于用户对所述数据服务管理页面的第二操作，确定待接入数据对应的采集接口；响应于用户对业务处理流程配置页面的第三操作，确定所述采集接口对应的业务处理流程；响应于目标业务请求，基于所述采集接口获取待接入数据；并基于所述待接入数据以及所述目标业务请求对应的业务处理流程，确定业务处理结果。基于此，提供一种便于快速开发、便于维护以及应用的外部数据采集及应用方法。

Description

基于页面配置的数据处理方法及系统

技术领域

本发明涉及计算机技术领域，特别是涉及基于页面配置的数据处理方法及系统。

背景技术

随着金融风控类型的业务的发展，需要与第三方系统平台交互，以从中获取一些外部数据(比如采集个人或者企业的银行征信数据，法院裁判文书数据)，但是由于外部数据差异性大，导致针对每一种外部数据均需编写相应的代码，以进行外部数据的采集，因此导致开发工作量大且开发周期长，且开发者不同编写的代码存在较大的差异，后期迭代维护成本大，数据应用成本较大。

因此，如何提供一种能够快速开发、便于维护以及应用的外部数据采集及应用方法是目前的一个研究方向。

发明内容

本发明提供一种基于页面配置的数据处理方法及系统，用以解决现有技术中的进行外部数据的采集，开发工作量大且开发周期长，后期迭代维护成本大，数据应用成本较大的问题，提供一种便于快速开发、便于维护以及应用的外部数据采集及应用方法。

一种基于页面配置的数据处理方法，所述方法包括：响应于用户的第一操作，显示数据服务管理页面；响应于用户对所述数据服务管理页面的第二操作，确定待接入数据对应的采集接口；响应于用户对业务处理流程配置页面的第三操作，确定所述采集接口对应的业务处理流程；响应于目标业务请求，基于所述采集接口获取待接入数据；并基于所述待接入数据以及所述目标业务请求对应的业务处理流程，确定业务处理结果。

在其中一个实施例中，在所述响应于用户对业务处理流程配置页面的第三操作，确定所述采集接口对应的业务处理流程之前，所述方法还包括：响应于用户对三方手工调用页面中所述采集接口及其对应的待配置的入参以及调用功能按钮的第四操作，获取返回的出参以及服务状态码；基于所述服务状态码，确定所述所述采集接口是否正常。

在其中一个实施例中，所述响应于用户对所述数据服务管理页面的第二操作，确定待接入数据对应的采集接口，包括：响应于用户对所述数据服务管理页面的新增功能按钮的点击操作，显示数据信息配置页面；响应于用户对所述数据信息配置页面的接入信息以及缓存时间信息的配置操作，确定所述待接入数据的接入信息以及缓存时间信息；其中，所述待接入数据的接入信息用于获取待接入数据；所述缓存时间信息用于确定待接入数据的缓存时间；基于所述待接入数据的接入信息和所述缓存时间信息，确定待接入数据对应的采集接口。

在其中一个实施例中，所述待接入数据的接入信息中包括：待接入数据的基本信息以及待接入数据的第三方接入服务信息，所述待接入数据的基本信息包括：待接入数据的名称、标识；所述第三方接入服务信息包括：第三方接入的服务类型、第三方接入接口类型、第三方接入接口地址、第三方接入接口的调用方式、第三方接入接口数据返回方式、第三方接入接口入参、第三方接入接口出参。

在其中一个实施例中，第三方接入接口类型包括：POST或者GET。

在其中一个实施例中，所述响应于目标业务请求，基于所述采集接口获取待接入数据，包括：响应于目标业务请求，确定预设缓存中是否保存有缓存期限内的待接入数据；在确定预设缓存中保存有缓存期限内的待接入数据的情况下，从预设的缓存中获取待接入数据；或，在确定预设缓存中没有保存缓存期限内的待接入数据的情况下，基于所述采集接口获取待接入数据。

在其中一个实施例中，所述基于所述待接入数据的接入信息和所述缓存时间信息，确定待接入数据对应的采集接口，包括：响应于用户对ETL处理器管理页面的预处理信息的配置操作，确定所述待接入数据的预处理信息；所述预处理信息用于对服务入参进行预处理，并用于和接入信息结合确定请求获取待接入数据的请求报文；基于所述待接入数据的接入信息、所述缓存时间信息和所述预处理信息，确定待接入数据对应的采集接口。

在其中一个实施例中，所述预处理信息还用于对所述待接入数据进行预处理得到输出的指标值，相应地，所述响应于目标业务请求，基于所述采集接口获取待接入数据，包括：基于所述采集接口，从第三方服务器或者预设缓存中获取待接入数据；基于所述预处理信息对所述待接入数据进行解析，得到输出的指标值。

在其中一个实施例中，在调用所述采集接口之后，所述方法还包括：在确定所述采集接口调用异常的情况下，在异常件管理页面更新所述采集接口调用异常的通知。

一种基于页面配置的数据处理系统，所述系统包括：数据服务管理页面，用于用户新增以及修改待接入数据对应的采集接口的信息；决策引擎，用于用户进行待接入数据对应的采集接口对应的业务处理流程的配置；并用于基于用户的配置生成相应的业务处理流程以及确定业务处理结果；三方手工调用页面，用于用户调用已经配置好的待接入数据对应的采集接口；ETL处理器管理页面，用于用户配置相应的ETL处理器。

一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述所述基于页面配置的数据处理方法的步骤。

一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述基于页面配置的数据处理方法的步骤。

上述基于页面配置的数据处理方法及系统，通过提供一个数据服务管理页面，用于管理待接入数据的采集接口的信息，便于基于用户的配置快速的生成以及后期维护相应的待接入数据的采集接口，从而实现减少待接入数据对应的采集接口开发的工作量，缩短开发周期。此外，通过提供一个业务处理流程配置页面，使用户可以配置已经确定的待接入数据对应的采集接口与业务处理流程其他组件之间的逻辑关系，从而实现待接入数据应用的简单化。

附图说明

图1为一个实施例中提供的基于页面配置的数据处理方法的实施环境图；

图2为一个实施例中提供的基于页面配置的数据处理方法的流程示意图之一；

图3为一个实施例中提供的数据服务管理页面的示意图；

图4为一个实施例中提供的数据信息配置页面的示意图；

图5为一个实施例中提供的数据信息配置页面的示意图；

图6为一个实施例中提供的ETL处理器管理页面的示意图；

图7为一个实施例中提供的基于页面配置的数据处理方法的流程示意图之二；

图8为一个实施例中提供的基于页面配置的数据处理方法的流程示意图之三；

图9为一个实施例中提供的基于页面配置的数据处理方法的流程示意图之四；

图10为一个实施例中提供的基于页面配置的数据处理系统的结构框图；

图11为一个实施例中提供的电子设备的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

针对以往进行外部数据采集的开发以及测试工作量大且开发周期长，且后期迭代维护成本大，数据应用成本较大的缺点，本发明提供了一种全生命周期的实现方案，具体地，通过页面配置的方式实现外部数据采集接口的生成，从而能够实现快速生成外部数据采集接口，减少外部数据采集接口的开发的工作量，缩短外部数据采集接口的开发周期。并且，在通过配置的预处理解析器(extract-transform-load，ETL)解析器实现对采集到的数据进行解析，获得相应的指标值，从而在从外部数据采集接口采集的数据不满足业务需求时，可以对采集到的数据进一步的处理，使其对应的输出值满足业务的需求。以及通过页面实现对外部数据采集接口的测试，减少外部数据采集接口的测试工作量，缩短外部数据采集接口的测试周期。此外，还通过页面配置使应用引用简单化，以及后期维护版本化。并且，针对测试中调用异常的数据采集数据进行调用异常通知。从而提供了外部数据采集接口的开发、测试、应用以及维护的全生命周期的方案。

下面结合附图描述本发明的基于页面配置的数据处理方法及系统。

图1为一个实施例中提供的基于页面配置的数据处理方法的实施环境图，包括计算机设备110以及第三方服务器120。

第三方服务器120可以为存储待接入数据的服务器。计算机设备110上包括数据服务管理引擎，用于响应于用户的操作，确定待接入数据对应的采集接口，并基于所述接入数据对应的获取接口从所述第三方服务器获取待接入数据，并根据待接入数据以确定业务处理结果。计算机设备110上还包括显示模块，用于显示数据服务管理页面、业务处理流程配置页面、ETL处理器管理页面以及调用异常通知。具体地，计算机设备110用于响应于用户的第一操作，显示数据服务管理页面；响应于用户对所述数据服务管理页面的第二操作，确定待接入数据对应的采集接口；响应于用户对业务处理流程配置页面的第三操作，确定所述采集接口对应的业务处理流程；响应于目标业务请求，基于所述采集接口获取待接入数据；并基于所述待接入数据以及所述目标业务请求对应的业务处理流程，确定业务处理结果。

其中，数据服务管理引擎上至少包括：对接中心以及决策引擎。其中，所述决策引擎中包括业务处理流程配置。对接中心包括业务服务配置、数据服务管理、ETL处理器管理以及三方手工调用。

需要说明的是，第三方服务器120以及计算机设备110可为智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。

图2为本发明提供的一种基于页面配置的数据处理方法，该基于页面配置的数据处理方法可以由上述计算机设备110执行。具体地，如图2所示，本发明提供的基于页面配置的数据处理方法可以包括以下步骤：

步骤210，响应于用户的第一操作，显示数据服务管理页面。

其中，用户可以为开发人员。可以理解，上述计算机设备110上包括数据服务管理引擎。用户的第一操作可以为：开发人员通过数据服务管理引擎进行的对数据服务管理的搜索或者选择操作。

步骤220，响应于用户对所述数据服务管理页面的第二操作，确定待接入数据对应的采集接口。

其中，待接入数据为需要从第三方服务器获取的数据。待接入数据例如可以为个人或者企业的银行征信数据或法院裁判文书数据。第二操作可以为用户对数据服务管理页面中的配置项的选择或者输入操作。

其中，数据服务管理页面用于管理多种类型的待接入数据，多种类型的待接入数据例如可以为XXX个人征信数据、XXX财报数据、XX法院裁判文书数据以及XXX企业征信数据。具体地，数据服务管理页面可以参考下文中图3的描述，为了简洁，此处先不祥述。

可以理解，通常情况下，由于待接入数据为需要从第三方服务器获取的外部数据，因此，若首次使用待接入数据，通常需要编写相应的待接入数据的采集代码，以便于后续从第三方服务器获取相应的待接入数据。但是，为了减少待接入数据对应的采集接口开发的工作量，缩短开发周期，本发明通过提供一个数据服务管理页面，用于管理待接入数据的采集接口的信息，便于基于用户的配置快速的生成以及后期维护相应的待接入数据的采集接口。

步骤230，响应于用户对业务处理流程配置页面的第三操作，确定所述采集接口对应的业务处理流程。

其中，业务处理流程配置页面用于配置每个待接入数据涉及对应的业务处理流程。具体地，业务处理流程配置页面提供了业务处理流程所需的组件的图标，所述的组件主要包括：流程开始功能按钮、流程暂停功能按钮、流程判定等待功能按钮、判定等待功能按钮、排他功能组件、并行功能组件、规则集组件、三方服务组件、决策补充组件、决策工具组件、模型组件、计算公式组件。用户可以通过选择这些组件从而确定待接入数据对应的采集接口对应的业务处理流程，并基于选择的决策工具组件完成对业务处理流程的测试。

第三操作可以为用户对业务处理流程配置页面中的触发操作和配置操作以及测试操作。

其中，用户对业务处理流程配置页面中的配置操作用于对业务处理流程中涉及的组件以及对应关系进行配置。可以理解，业务处理流程中涉及的组件可以为预设设定或者存储好的。

在其中一个实施例中，所述配置操作可以包括：将待接入数据配置至对应的业务流程的相应位置，并选择相应的预设规则集以及相应的测试决策树。其中，测试决策树用于完成对配置的业务流程进行测试。可以理解，在所述待接入数据按照预设的顺序输入预设规则，确定满足预设规则的情况下，再按照预设的顺序进行下一预设规则的判断。例如，首先可以判断个人征信数据中的信贷信息中及时还款的百分比是否大于预设阈值，然后再确定信贷信息中及时还款的百分比大于预设阈值的情况下，进一步确定征信数据中的公共信息，例如社保公积金的连续缴纳时间是否大于预设阈值。

可以理解，由于提供了一个业务处理流程配置页面，使用户可以配置已经确定的待接入数据对应的采集接口与业务处理流程其他组件之间的逻辑关系，从而实现待接入数据应用的简单化。

步骤240，响应于目标业务请求，基于所述采集接口获取待接入数据；并基于所述待接入数据以及所述目标业务请求对应的业务处理流程，确定业务处理结果。

其中，目标业务请求对应的业务处理流程为上述步骤230中确定的待接入数据对应的采集接口对应的业务处理流程中的一个业务流程。

可以理解，在步骤220以及步骤230完成后，也就是说在基于用户的配置生成待接入数据的采集接口以及确定所述采集接口对应的业务处理流程后，在接收到目标业务请求后，即可执行步骤240。

本发明提供的基于页面配置的数据处理方法，通过提供一个数据服务管理页面，用于管理待接入数据的采集接口的信息，便于基于用户的配置快速的生成以及后期维护相应的待接入数据的采集接口，从而实现减少待接入数据对应的采集接口开发的工作量，缩短开发周期。此外，通过提供一个业务处理流程配置页面，使用户可以配置已经确定的待接入数据对应的采集接口与业务处理流程其他组件之间的逻辑关系，从而实现待接入数据应用的简单化。

图3为本发明提供的数据服务管理页面的示意图。如图3所示，数据服务管理页面可以包括包含多种类型的待接入数据的采集接口，并将采集接口以列表的形式展现，并且，可以包含三方数据的索引框、搜索功能按钮、新增功能按钮、导入功能按钮、删除功能按钮以及页码相关信息。

可以理解，用户通过三方数据的索引框可以快速地搜索得到对应的三方数据的采集接口选项。用户通过新增功能按钮以进入数据信息配置页面，以便用户对三方数据的采集接口进行配置，从而实现增加新的待接入数据的采集接口到三方数据的采集接口选项列表中。用户可以通过导入功能按钮，将新增的三方数据的采集接口导入到实际生产应用环境中。用户可以通过双击或者通过鼠标右键点击进入三方数据的采集接口的数据信息配置页面中，对三方数据的采集接口的信息进行修改。数据信息配置页面可以以悬浮窗的形式位于数据服务管理页面上方。具体地，数据信息配置页面可以参考图4至图5。

图4为数据信息配置页面的示意图之一。如图4所示，数据信息配置页面提供了三方数据名称、三方数据标识、数据缓存期(天)、数据重试次数、数据超时时间(默认时间单位为ms)、第三方接入的服务类型、是否查询缓存、eureka服务名、接口适用对象这些配置项信息。此外，还具有下一步功能按钮以及关闭页面功能按钮，下一步功能按钮用于跳转到下一个数据信息配置页面，关闭页面功能按钮用于关闭数据信息配置页面返回至数据服务管理页面。

可以理解，用户可以通过设置数据缓存期以设置数据的缓存时间，并结合是否查询缓存配置项，实现避免在三方数据有效期内重复调用数据而产生冗余费用问题。用户还可以通过配置数据重试次数，在服务异常时可自动重试；以及配置数据连接时间，超时自动放弃调用。

用户可以通过设置接口适用对象限定三方数据的适用对象，例如个人或者企业，从而能够避免三方数据的采集接口被错误的调用或者应用。

图5为数据信息配置页面的示意图之二。如图5所示，数据信息配置页面提供了第三方接入接口类型、第三方接入接口地址(url地址)、第三方数据的调用方式、数据返回方式、后置ETL处理器的类型、输入处理器模板、输出处理器模板以及服务入参和服务出参的相关配置项。

可以理解，图4和图5中示例的数据信息配置页面仅为一种可能的示例，实际应用中也可在一个页面上显示图4和图5的所有内容。

图6为ETL处理器管理页面的示意图。如图6所示，数据信息配置页面提供了ETL处理器的相关配置项，主要包括：ETL处理器名称、ETL处理器标识以及ETL处理对应的代码编辑区。用户可以在ETL处理对应的代码编辑区编写相应的预处理代码，实现对所述待接入数据进行预处理得到输出的指标值。

在其中一个实施例中，在所述响应于用户对业务处理流程配置页面的第三操作，确定所述采集接口对应的业务处理流程之前，所述方法还包括：响应于用户对三方手工调用页面中所述采集接口及其对应的待配置的入参以及调用功能按钮的第四操作，获取所述采集接口返回的出参以及服务状态码；基于所述服务状态码，确定所述采集接口是否正常。

可以理解，在步骤220确定待接入数据对应的采集接口之后，即可将采集接口增加至相应的数据服务管理页面中的第三方数据采集接口选项列表，并将采集接口增加至以及三方手工调用页面中。并且，为了测试新增的待接入数据对应的采集接口是否有效，可以在三方手工调用页面中调用待接入数据对应的采集接口，以及测试其是否有效。通过提供三方手工调用页面，使待接入数据对应的采集接口的测试过程更加简单。

其中，所述三方手工调用页面用于显示所述采集接口及其对应的待配置的入参，还用于展示调用功能按钮。

如前所述，三方调用页面中以列表的形式显示所有已经确定的采集接口。因此，如果用户想要通过三方调用页面确定所述采集接口是否能够正常调用，首先可以点击采集接口对应的项，然后三方调用页面会显示采集接口对应的待配置的入参，在显示待配置的入参后，用户可以配置对应的入参，配置完入参后即可点击调用功能按钮，计算机设备可以响应于用户对采集接口待配置的入参以及调用功能按钮的操作，向第三方服务器发起请求，进而从第三方服务器获取返回的出参以及服务状态码。

其中，服务状态码例如可以为http请求状态码，比如200表示采集接口连接正常，404表示采集接口连接失败等，也可以是和采集接口服务方约定好的其他状态码，本发明对此不做限定。因此，实际应用中，可以根据实际情况设定的服务状态码确定所述采集接口是否正常。

在其中一个实施例中，如图7所示，所述响应于用户对所述数据服务管理页面的第二操作，确定待接入数据对应的采集接口，包括以下步骤：

步骤710，响应于用户对所述数据服务管理页面的新增功能按钮的点击操作，显示数据信息配置页面。

具体地，该步骤中的数据信息配置页面可以为上文中的图4或者图5所示的数据信息配置页面。

步骤720，响应于用户对所述数据信息配置页面的接入信息以及缓存时间信息的配置操作，确定所述待接入数据的接入信息以及缓存时间信息。

其中，所述待接入数据的接入信息用于获取待接入数据；所述缓存时间信息用于确定待接入数据的缓存时间；具体地，缓存时间信息可以对应上述图4中的数据缓存期。

所述待接入数据的接入信息中包括：待接入数据的基本信息以及待接入数据的第三方接入服务信息，所述待接入数据的基本信息包括：待接入数据的名称、待接入数据的标识；所述第三方接入服务信息包括：第三方接入的服务类型、第三方接入接口类型、第三方接入接口地址、第三方接入接口的调用方式、第三方接入接口数据返回方式、第三方接入接口入参、第三方接入接口出参。

其中，第三方接入接口数据返回方式用于确定数据是否进行预处理，可以包括解析报文或者默认，解析报文即进行预处理，默认则表示不进行预处理。

在其中一个实施例中，第三方接入接口类型包括：POST或者GET。

其中，POST是超文本传输协议(hyper text transfer protocol，HTTP)协议中的一个重要组成部分。POST接口类型一般用于向目的服务器发出更新请求，并附有请求实体。Get是向服务器发索取数据的一种请求，而Post是向服务器提交数据的一种请求，Get是向服务器发索取数据的一种请求，而Post是向服务器提交数据的一种请求，POST把提交的数据则放置在是HTTP包的包体中。

步骤730，基于所述待接入数据的接入信息和所述缓存时间信息，确定待接入数据对应的采集接口。

可以理解，一方面，可以基于所述待接入数据的接入信息，确定待接入数据对应的采集接口中向第三方服务器发送请求以获取待接入数据的方式，例如可以获取新增采集接口时配置的第三方接入接口地址(url地址)、第三方数据的调用方式、第三方接入接口类型以及基于其他接入信息确定的header信息，以及按照预设的格式拼接成的请求报文，从而确定待接入数据对应的采集接口中向第三方服务器发送请求的方式，后续在应用过程中，用httpclient基于请求报文去调用对应的第三方服务器以获取待接入数据。另一方面，用户还可以进一步配置缓存时间信息，从而便于计算机根据缓存时间信息，进一步确定是否需要重新以向第三方服务器发送请求的方式查询待接入数据。从而可以根据实际应用情况，使采集接口在待接入数据的缓存期限内，可以直接从预设缓存中获取对应的待接入数据。

具体地，在实际应用中，首次获取待接入数据时，可以基于待接入数据的采集接口通过向第三方服务器发送请求的方式获取待接入数据，并将待接入数据保存至预设缓存中，且保存查询的时间，并基于缓存时间信息确定待接入数据的缓存期限，从而便于在缓存期限内再次接收到待接入数据的查询请求时，采集接口可以直接从缓存中获取待接入数据，避免在三方数据有效期内重复调用数据而产生冗余费用问题。

示例性地，新增征信查询采集接口的时候配置的数据缓存期为30天，而用户在2023年3月1日通过征信查询采集接口成功查询一笔A客户征信报告数据，如果用户在2023年3月1日到2023年4月1日再次查询A客户的征信报告数据，征信查询采集接口返回的是3月1日成功查询且保存在预设缓存中的该笔A客户数据、只有过了2023年4月1日，才会再次向第三方服务器发送查询新的征信报告数据的请求。

在其中一个实施例中，如图8所示，响应于目标业务请求，基于所述采集接口获取待接入数据，包括：

步骤810，响应于目标业务请求，确定预设缓存中是否保存有缓存期限内的待接入数据。

可以理解，在接收到目标业务请求之前，可能存在已经从采集接口获取了相应的待接入数据，并将待接入数据保存到预设缓存的情况。因此，在接收到目标业务请求后，可以先确定预设缓存中是否保存有缓存期限内的待接入数据。

在该步骤之后可以包括步骤8201和步骤8202。

步骤8201，在确定预设缓存中保存有缓存期限内的待接入数据的情况下，基于所述采集接口从预设的缓存中获取待接入数据。

步骤8202，在确定预设缓存中没有保存缓存期限内的待接入数据的情况下，基于所述采集接口从第三方服务器获取所述待接入数据。

可以理解，从第三方服务器获取的待接入数据可以进一步进行预处理，可以结合图5中的第三方接入接口数据返回方式可以选择是否进行预处理，具体地，若第三方接入接口数据返回方式为解析报文，则进行预处理；若第三方接入接口数据返回方式默认则表示不进行预处理。

因此，在其中一个实施例中，如图9所示，所述基于所述待接入数据的接入信息和所述缓存时间信息，确定待接入数据对应的采集接口，包括以下步骤：

步骤910，响应于用户对ETL处理器管理页面的预处理信息的配置操作，确定所述待接入数据的预处理信息。

结合图5和图6中的ETL处理器管理页面，可知，对ETL处理器管理页面的预处理信息的配置操作包括：配置后置ETL处理器的类型、输入处理器模板、输出处理器模板、ETL处理器名称和ETL处理器标识，以及在ETL处理对应的代码编辑区输入预处理的代码。其中，所述预处理信息可以用于对服务入参进行预处理，并用于和接入信息结合确定请求获取待接入数据的请求报文。

其中，输入处理器模板用于兼容待接入数据的格式，输出处理器模板确定预处理后输出的数据格式。

步骤920，基于所述待接入数据的接入信息、缓存时间信息和预处理信息，确定待接入数据对应的采集接口。

如前所述，所述预处理信息用于对服务入参进行预处理，并用于和接入信息结合确定请求获取待接入数据的请求报文。

具体地，可以基于配置的预处理信息确定的ETL处理器对服务入参进行预处理，根据预处理信息中的输入处理器模板，结合所述待接入数据的接入信息，生成对应请求获取待接入数据的请求报文。并结合缓存时间信息，确定采集接口是否从预设缓存中查询待接入数据。

可以理解，所述预处理信息还用于对所述待接入数据进行预处理得到输出的指标值。

因此，在其中一个实施例中，响应于目标业务请求，基于所述采集接口获取待接入数据，包括：

基于所述采集接口，从第三方服务器或者预设缓存中获取待接入数据；基于所述预处理信息对所述待接入数据进行解析，得到输出的指标值。

可以理解，预处理信息除了用于在采集接口调用过程，根据所述待接入数据的接入信息，获取调用的url地址，调用方式，接口协议，header信息，拼装的请求报文，用httpclient去调用对应的待接入数据。预处理信息还用于在采集接口调用后，拿到返回信息，根据预处理信息中的ETL处理器对返回结果进行解析，报文指标化，使获取的待接入数据符合实际应用场景。

示例性地，可以对基于征信数据采集接口获取的个人征信数据进行预处理，得到信贷信息中的贷款信息以及公共信息中的社保公积金缴纳数据。

在其中一个实施例中，在调用所述采集接口之后，所述方法还包括：

在确定所述采集接口调用异常的情况下，在异常件管理页面更新所述采集接口调用异常的通知。

其中，异常件管理页面用于管理所有待接入数据的采集接口的调用异常的通知。因此，在待接入数据的采集接口调用异常的情况下，可以在异常件管理页面更新所述采集接口调用异常的通知。

具体地，异常件管理页面中以列表的形式显示所有调用异常的通知，每一行可以用于表示一个采集接口或其他组件调用异常的通知，具体地，每一行显示的异常通知的内容可以包括组件对应的名称、编号、类型、处置状态、发生异常的时间、原因、用于查看报告的详细功能按钮以及用于删除异常通知的功能按钮。此外，在异常件管理页面中还可以进行选择日期、输入所述产品类型、采集接口对应的编号以及客户名称，并通过搜索功能按钮进行搜索选定日期、产品类型、采集接口对应的编号以及客户名称中的至少一项。

下面对本发明提供的基于页面配置的数据处理系统进行描述，下文描述的基于页面配置的数据处理系统与上文描述的基于页面配置的数据处理方法相互对应参照。

图10为本发明提供的基于页面配置的数据处理系统的示意性框图。如图10所示，本发明提供的基于页面配置的数据处理系统包括：

数据服务管理页面1010，用于用户新增以及修改待接入数据对应的采集接口的信息；

决策引擎1020，用于用户进行待接入数据对应的采集接口对应的业务处理流程的配置；并用于基于用户的配置生成相应的业务处理流程以及确定业务处理结果；

三方手工调用页面1030，用于用户调用已经配置好的待接入数据对应的采集接口；

ETL处理器管理页面1040，用于用户配置相应的ETL处理器。

本发明提供的基于页面配置的数据处理系统，通过提供一个数据服务管理页面，用于管理待接入数据的采集接口的信息，便于基于用户的配置快速的生成以及后期维护相应的待接入数据的采集接口，从而实现减少待接入数据对应的采集接口开发的工作量，缩短开发周期。此外，通过提供一个业务处理流程配置页面，使用户可以配置已经确定的待接入数据对应的采集接口与业务处理流程其他组件之间的逻辑关系，从而实现待接入数据应用的简单化。

在一个实施例中，提出了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：响应于用户的第一操作，显示数据服务管理页面；响应于用户对所述数据服务管理页面的第二操作，确定待接入数据对应的采集接口；响应于用户对业务处理流程配置页面的第三操作，确定所述采集接口对应的业务处理流程；响应于目标业务请求，基于所述采集接口获取待接入数据；并基于所述待接入数据以及所述目标业务请求对应的业务处理流程，确定业务处理结果。

图11示例了一种电子设备的实体结构示意图，如图11所示，该电子设备可以包括：处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory)1130和通信总线1140，其中，处理器1110，通信接口1120，存储器1130通过通信总线1140完成相互间的通信。处理器1110可以调用存储器1130中的逻辑指令，以执行本发明提供的基于页面配置的数据处理方法，基于页面配置的数据处理方法包括：响应于用户的第一操作，显示数据服务管理页面；响应于用户对所述数据服务管理页面的第二操作，确定待接入数据对应的采集接口；响应于用户对业务处理流程配置页面的第三操作，确定所述采集接口对应的业务处理流程；响应于目标业务请求，基于所述采集接口获取待接入数据；并基于所述待接入数据以及所述目标业务请求对应的业务处理流程，确定业务处理结果。

此外，上述的存储器1130中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行本发明提供的基于页面配置的数据处理方法，其中，基于页面配置的数据处理方法包括：响应于用户的第一操作，显示数据服务管理页面；响应于用户对所述数据服务管理页面的第二操作，确定待接入数据对应的采集接口；响应于用户对业务处理流程配置页面的第三操作，确定所述采集接口对应的业务处理流程；响应于目标业务请求，基于所述采集接口获取待接入数据；并基于所述待接入数据以及所述目标业务请求对应的业务处理流程，确定业务处理结果。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行本发明提供的基于页面配置的数据处理方法，其中，基于页面配置的数据处理方法包括：响应于用户的第一操作，显示数据服务管理页面；响应于用户对所述数据服务管理页面的第二操作，确定待接入数据对应的采集接口；响应于用户对业务处理流程配置页面的第三操作，确定所述采集接口对应的业务处理流程；响应于目标业务请求，基于所述采集接口获取待接入数据；并基于所述待接入数据以及所述目标业务请求对应的业务处理流程，确定业务处理结果。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于页面配置的数据处理方法，其特征在于，所述方法包括：

响应于用户的第一操作，显示数据服务管理页面；

响应于用户对所述数据服务管理页面的第二操作，确定待接入数据对应的采集接口；

响应于用户对业务处理流程配置页面的第三操作，确定所述采集接口对应的业务处理流程；

响应于目标业务请求，基于所述采集接口获取待接入数据；并基于所述待接入数据以及所述目标业务请求对应的业务处理流程，确定业务处理结果。

2.如权利要求1所述的基于页面配置的数据处理方法，其特征在于，在所述响应于用户对业务处理流程配置页面的第三操作，确定所述采集接口对应的业务处理流程之前，所述方法还包括：

响应于用户对三方手工调用页面中所述采集接口及其对应的待配置的入参以及调用功能按钮的第四操作，获取返回的出参以及服务状态码；

基于所述服务状态码，确定所述所述采集接口是否正常。

3.如权利要求1所述的基于页面配置的数据处理方法，其特征在于，所述响应于用户对所述数据服务管理页面的第二操作，确定待接入数据对应的采集接口，包括：

响应于用户对所述数据服务管理页面的新增功能按钮的点击操作，显示数据信息配置页面；

响应于用户对所述数据信息配置页面的接入信息以及缓存时间信息的配置操作，确定所述待接入数据的接入信息以及缓存时间信息；其中，所述待接入数据的接入信息用于获取待接入数据；所述缓存时间信息用于确定待接入数据的缓存时间；

基于所述待接入数据的接入信息和所述缓存时间信息，确定待接入数据对应的采集接口。

4.如权利要求3所述的基于页面配置的数据处理方法，其特征在于，所述响应于目标业务请求，基于所述采集接口获取待接入数据，包括：

响应于目标业务请求，确定预设缓存中是否保存有缓存期限内的待接入数据；

在确定预设缓存中保存有缓存期限内的待接入数据的情况下，从预设的缓存中获取待接入数据；或，

在确定预设缓存中没有保存缓存期限内的待接入数据的情况下，基于所述采集接口获取待接入数据。

5.如权利要求4所述的基于页面配置的数据处理方法，其特征在于，所述基于所述待接入数据的接入信息和所述缓存时间信息，确定待接入数据对应的采集接口，包括：

响应于用户对ETL处理器管理页面的预处理信息的配置操作，确定所述待接入数据的预处理信息；所述预处理信息用于对服务入参进行预处理，并用于和接入信息结合确定请求获取待接入数据的请求报文；

基于所述待接入数据的接入信息、所述缓存时间信息和所述预处理信息，确定待接入数据对应的采集接口。

6.如权利要求5所述的基于页面配置的数据处理方法，其特征在于，所述预处理信息还用于对所述待接入数据进行预处理得到输出的指标值，相应地，所述响应于目标业务请求，基于所述采集接口获取待接入数据，包括：

基于所述采集接口，从第三方服务器或者预设缓存中获取待接入数据；

基于所述预处理信息对所述待接入数据进行解析，得到输出的指标值。

7.如权利要求1所述的基于页面配置的数据处理方法，其特征在于，在调用所述采集接口之后，所述方法还包括：

在确定所述采集接口调用异常的情况下，在异常件管理页面更新所述采集接口调用异常的通知。

8.一种基于页面配置的数据处理系统，其特征在于，所述系统包括：

数据服务管理页面，用于用户新增以及修改待接入数据对应的采集接口的信息；

决策引擎，用于用户进行待接入数据对应的采集接口对应的业务处理流程的配置；并用于基于用户的配置生成相应的业务处理流程以及确定业务处理结果；

三方手工调用页面，用于用户调用已经配置好的待接入数据对应的采集接口；

ETL处理器管理页面，用于用户配置相应的ETL处理器。

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，其特征在于，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项权利要求所述基于页面配置的数据处理方法的步骤。

10.一种存储有计算机可读指令的存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述基于页面配置的数据处理方法的步骤。