CN115293877A - 资信平台数据采集方法、系统、计算机设备和存储介质 - Google Patents

Abstract

本发明涉及一种资信平台数据采集方法、系统、计算机设备和存储介质，方法包括：接收资信产品的业务请求，并对资信产品的业务请求进行权限校验；待权限校验通过后，根据资信产品与供应商之间的供应商选择策略选择相应的供应商，根据资信产品和选择的供应商确定相应的供应商接口，并对供应商接口进行多维度熔断；获取供应商接口的入参配置，在入参配置中定义供应商接口参数名称和对应的数据获取输入项，并将供应商接口参数名称和数据获取输入项输入到数据获取平台，通过数据获取平台返回业务参数值；根据资信产品有效期和业务参数值确定相应的数据源，从数据源中获取业务数据，并将业务数据发布至中间件。采用本发明，有效提高了数据采集的效率。

Description

资信平台数据采集方法、系统、计算机设备和存储介质

技术领域

本发明涉及资信领域，特别是涉及一种资信平台数据采集方法、系统、计算机设备和存储介质。

背景技术

信贷业务需要大量使用外部数据源，通过信贷业务中需要接入的外部数据源来获取资信数据，资信数据获取完成并进行发布上线之后即可对上游系统暴露接入的供应商接口，由于业务的需要，资信人员会对供应商接口进行调整，每次供应商接口的调整都需要资信人员进行代码的修改，增加了资信人员的作业复杂度，因此资信平台的数据采集效率极为低下。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高数据采集效率的资信平台数据采集方法、系统、计算机设备和存储介质。

一方面，提供一种资信平台数据采集方法，所述资信平台数据采集方法包括：

接收资信产品的业务请求，并对所述资信产品的业务请求进行权限校验；

待所述权限校验通过后，根据所述资信产品与供应商之间的供应商选择策略选择相应的供应商，根据所述资信产品和选择的供应商确定相应的供应商接口，并对所述供应商接口进行多维度熔断；

获取所述供应商接口的入参配置，在所述入参配置中定义供应商接口参数名称和对应的数据获取输入项，并将供应商接口参数名称和数据获取输入项输入到数据获取平台，通过所述数据获取平台返回业务参数值；

根据资信产品有效期和业务参数值确定相应的数据源，从所述数据源中获取业务数据，并将所述业务数据发布至中间件；

其中，所述供应商选择策略包括默认供应商策略、优先级供应商策略、决策流供应商策略和业务流供应商策略。

在其中一个实施例中，所述对所述资信产品的业务请求进行权限校验，包括：

对资信产品及其相应的场景标识进行鉴权；

对所述资信产品的业务请求进行限流。

在其中一个实施例中，所述根据所述资信产品与供应商之间的供应商选择策略选择相应的供应商前，还包括：

建立默认供应商策略；

根据供应商接口的不同服务因素建立不同的优先级供应商策略；

根据决策逻辑建立决策流供应商策略；

根据业务内容建立业务流供应商策略。

在其中一个实施例中，所述对所述供应商接口进行多维度熔断，包括：

基于非关系型数据库计数，至少对供应商接口、供应商接口+场景标识两个维度进行熔断。

在其中一个实施例中，所述将供应商接口参数名称和数据获取输入项输入到数据获取平台，通过所述数据获取平台返回业务参数值，包括：

将供应商接口参数名称和数据获取输入项输入到数据获取平台；

所述数据获取平台通过计算返回资信产品本次业务的业务参数值及资信产品本次业务的请求时间；

获取资信产品上次业务的业务参数值及资信产品上次业务的请求时间。

在其中一个实施例中，所述根据资信产品有效期和业务参数值确定相应的数据源，包括：

判断资信产品本次业务的业务参数值与资信产品上次业务的业务参数值是否一致，且资信产品本次业务的请求时间减去资信产品上次业务的请求时间是否小于等于资信产品有效期；

若资信产品本次业务的业务参数值与资信产品上次业务的业务参数值一致，且资信产品本次业务的请求时间减去资信产品上次业务的请求时间小于等于资信产品有效期，则从对象存储服务缓存中获取该资信产品的数据源；

若资信产品本次业务的业务参数值与资信产品上次业务的业务参数值不一致，或者资信产品本次业务的请求时间减去资信产品上次业务的请求时间大于资信产品有效期，则从供应商获取该资信产品的数据源。

在其中一个实施例中，所述将所述业务数据发布至中间件，包括：

确定该资信产品的业务数据的对象存储服务缓存路径；

将该资信产品的业务数据的对象存储服务缓存路径发布至中间件。

另一方面，提供了一种资信平台数据采集系统，所述资信平台数据采集系统包括：

权限校验模块，用于对所述资信产品的业务请求进行权限校验；

供应商策略模块，用于根据所述资信产品与供应商之间的供应商选择策略选择相应的供应商，根据所述资信产品和选择的供应商确定相应的供应商接口；

熔断模块，用于对所述供应商接口进行多维度熔断；

数据处理模块，用于获取所述供应商接口的入参配置，在所述入参配置中定义供应商接口参数名称和对应的数据获取输入项，并将供应商接口参数名称和数据获取输入项输入到数据获取平台，通过所述数据获取平台返回业务参数值；

业务数据模块，根据资信产品有效期和业务参数值确定相应的数据源，从所述数据源中获取业务数据，并将所述业务数据发布至中间件。

再一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

接收资信产品的业务请求，并对所述资信产品的业务请求进行权限校验；

待所述权限校验通过后，根据所述资信产品与供应商之间的供应商选择策略选择相应的供应商，根据所述资信产品和选择的供应商确定相应的供应商接口，并对所述供应商接口进行多维度熔断；

获取所述供应商接口的入参配置，在所述入参配置中定义供应商接口参数名称和对应的数据获取输入项，并将供应商接口参数名称和数据获取输入项输入到数据获取平台，通过所述数据获取平台返回业务参数值；

根据资信产品有效期和业务参数值确定相应的数据源，从所述数据源中获取业务数据，并将所述业务数据发布至中间件。

又一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有程序，当所述程序被处理器执行时，使得所述处理器执行以下步骤：

接收资信产品的业务请求，并对所述资信产品的业务请求进行权限校验；

待所述权限校验通过后，根据所述资信产品与供应商之间的供应商选择策略选择相应的供应商，根据所述资信产品和选择的供应商确定相应的供应商接口，并对所述供应商接口进行多维度熔断；

获取所述供应商接口的入参配置，在所述入参配置中定义供应商接口参数名称和对应的数据获取输入项，并将供应商接口参数名称和数据获取输入项输入到数据获取平台，通过所述数据获取平台返回业务参数值；

根据资信产品有效期和业务参数值确定相应的数据源，从所述数据源中获取业务数据，并将所述业务数据发布至中间件。

本发明的上述技术方案相比现有技术具有以下优点：

上述资信平台数据采集方法、系统、计算机设备和存储介质，指定了不同的供应商选择策略，并将供应商选择策略封装到资信平台中，资信人员不再需要直接修改代码进行供应商的选择，资信人员只需确定资信产品即可，供应商选择策略直接封装到资信平台，由资信平台完成供应商的自动选择，减轻了资信人员的负担，有效的提高了数据采集的效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明的方法资信平台数据采集的第一方法流程图；

图2是本发明的资信平台数据采集方法的第二方法流程图；

图3是本发明的资信平台数据采集方法的时序图；

图4是本发明的资信平台数据采集系统的系统结构图；

图5是本发明的计算机设备的设备结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

实施例一：

本实施例的资信平台数据采集方法，参照图1～图3所示，图1为本发明的资信平台数据采集方法的第一方法流程图；图2是本发明的资信平台数据采集方法的第二方法流程图；

图3是本发明的资信平台数据采集方法的时序图。

资信平台数据采集方法包括以下步骤：

接收资信产品的业务请求，并对所述资信产品的业务请求进行权限校验；

风险系统在信贷业务中对客户的资信进行调查，风险系统请求资信平台来完成数据的采集工作，针对具体的资信产品获取资信数据的过程，从底层上来讲是资信平台内部完成的一系列数据获取流程。当资信人员启动资信平台的采集资信数据流程时，会首先接收资信人员在资信平台选择的资信产品，然后资信平台会对该资信产品进行权限校验，如果资信产品的权限校验通过，则会进一步进行供应商的选择，以确定相应的供应商接口；如果资信产品的权限校验不通过，则会拒绝该资信产品的业务请求，提高了资信产品数据获取的安全性。

待所述权限校验通过后，根据所述资信产品与供应商之间的供应商选择策略选择相应的供应商，根据所述资信产品和选择的供应商确定相应的供应商接口，并对所述供应商接口进行多维度熔断；

资信平台接收到资信产品的业务请求后，首先进行资信产品的权限校验，待资信产品的权限校验通过后，会根据资信产品与供应商之间的供应商选择策略选择相应的供应商，然后依据资信产品和供应商确定相应的供应商接口，确定供应商接口后，便可以进一步进行多维度熔断，以防止业务请求超量从而降低数据获取的成本。一般的，一个资信产品对应一个或多个供应商，一个供应商对应一个或多个供应商接口，资信产品根据供应商选择策略可以确定供应商，供应商确定后再加上资信产品可以确定相应的供应商接口。

获取所述供应商接口的入参配置，在所述入参配置中定义供应商接口参数名称和对应的数据获取输入项，并将供应商接口参数名称和数据获取输入项输入到数据获取平台，通过所述数据获取平台返回业务参数值；

获取到资信产品的供应商接口后，便需要获取供应商接口的入参配置，入参配置包括供应商接口参数名称，以及对应的数据获取输入项，数据获取输入项是数据获取平台中执行数据获取的相应字段，将供应商接口参数名称和数据获取输入项输入到数据获取平台后，数据获取平台会识别供应商接口参数名称和数据获取输入项，数据获取平台会根据数据获取输入项执行相关的数据处理流程，数据获取平台最终会返回该资信产品的业务参数值，根据业务参数值可以进一步判断该资信产品的数据获取的来源，以便于降低数据获取的成本。进一步的，例如，OCR(optical character recognition，光学字符识别)资信产品(对身份证信息进行识别)，风险系统请求资信平台进行数据采集时，如果风险系统中已经提供了身份证的照片，则可以直接通过风险系统提供的照片进行识别；如果风险系统中没有身份证的照片，则通过根据供应商接口参数名称和数据获取输入项从该数据获取平台中获取到身份证信息。此外，数据获取平台存储了用户的常用信息，例如身份证、姓名、手机号、营业执照和银行卡等信息。

根据资信产品有效期和业务参数值确定相应的数据源，从所述数据源中获取业务数据，并将所述业务数据发布至中间件。

为了降低数据获取中的成本，例如车辆信息、房产信息等信息，只要该资信产品对应的数据在有效期内便不需要获取实时的数据。因此将数据源分为两类，一类是缓存中的数据，一类是从供应商处实时获取的数据。根据资信产品有效期和业务参数值来判断需要从缓存中获取数据，还是从供应商处获取实时数据，以降低数据获取的成本，确定好数据源后，通过数据源获取业务数据，将业务数据发布至中间件。

其中，所述供应商选择策略包括默认供应商策略、优先级供应商策略、决策流供应商策略和业务流供应商策略。

现有技术的资信人员需要手动修改代码进行供应商接口的选择，本发明指定了不同的供应商选择策略，并将供应商选择策略封装到资信平台中，资信人员不再需要直接修改代码进行供应商的选择，资信人员只需确定资信产品即可，供应商选择策略直接封装到资信平台，由资信平台完成供应商的自动选择，减轻了资信人员的负担，有效的提高了数据采集的效率。

在其中一个实施方式中，所述接收资信产品的业务请求，并对所述资信产品的业务请求进行权限校验，包括：

对资信产品及其相应的场景标识(token)进行鉴权；

接收资信产品的业务请求后，首先要对资信产品及其相应的token进行鉴权。鉴权是为了校验资信产品是否有请求该业务的权限，token是一个唯一的标识，通过token创建需要关联的业务及具体的使用场景，在获取数据前要验证该token是否已授权给资信产品，如果该token已授权给请求业务的资信产品，则允许执行资信产品的数据获取流程；如果该token未授权给请求业务的资信产品，则不允许执行资信产品的数据获取流程，以提高资信产品数据获取的安全性。

对所述资信产品的业务请求进行限流；

限流用来阻止在多资信产品请求同一个请求接口的情况下，某一资信产品把资源耗尽而让其它的资信产品都无法访问该请求接口的问题，针对资信产品进行限流。优选的，采用令牌桶算法，原理是资信平台以一个恒定的速度往令牌桶里放入令牌，如果资信产品的业务请求需要被处理，则需要先从令牌桶里获取一个令牌，当桶里没有令牌可取时，则拒绝服务，以对资信产品的业务请求进行限流操作。请求供应商接口进行数据采集，供应商会收取费用，不同的供应商接口通过限流来限制业务请求次数，以降低数据采集成本。

在其中一个实施方式中，所述根据所述资信产品与供应商之间的接口选择策略选择相应的供应商前，还包括：

建立默认供应商策略；

默认供应商策略是指在选择供应商时选择指定的供应商，如果没有接收到资信人员选择的供应商选择策略，则执行默认供应商策略。此外，一般的会按照优先级供应商策略，或者决策流供应商策略，或者业务流供应商策略进行供应商的选择；例如，如果当供应商接口在近5分钟的请求失败率超过50％时，则直接使用该默认供应商策略，最大程度的保证了资信平台数据采集服务的高可用性和容错性。

根据供应商接口的不同服务因素建立不同的优先级供应商策略；

优先级供应商策略是指根据供应商接口的不同服务因素建立的供应商选择策略。例如，供应商接口服务的稳定性、数据的质量、计费逻辑等因素会影响供应商接口的选择，可以按照具体的实际需求选择合适的服务因素，制定与服务因素相应的优先级供应商策略，使用较为简单，优先级供应商策略是性价比较好的供应商选择策略。

根据决策逻辑建立决策流供应商策略；

决策流供应商策略是根据决策逻辑建立的供应商选择策略。例如，资信产品为地图&地址编码，供应商为A地图服务商、B地图服务商、C地图服务商、D地图服务商，预先设置地理位置和手机型号两个决策逻辑，例如A城市使用A地图服务商接口，B城市使用B地图服务商接口，A型号手机使用C地图服务商接口，B型号手机使用D地图服务商，根据决策逻辑建立决策流供应商策略，实现简单的决策逻辑的供应商选择。

根据业务内容建立业务流供应商策略。

业务流供应商策略是根据业务内容建立的供应商选择策略。例如，资信产品为贷款某银行数据，需要上一次的借款时间信息、上一次放款的资方信息、签署的授权协议等等一系列复杂的业务信息来进行决策，此时便需要选择业务流供应商策略，以根据复杂的业务进行供应商的选择。

在其中一个实施方式中，所述根据所述资信产品与供应商之间的供应商选择策略选择相应的供应商前，还包括：

接收资信人员选择的供应商选择策略。

资信平台在进行数据采集的时候，资信人员会在资信平台上选择合适的供应商选择策略，资信平台会接收到资信人员选择的供应商选择策略，如果资信平台没有接收到资信人员选择的供应商选择策略，则按照默认供应商选择策略执行。

在其中一个实施方式中，所述对所述供应商接口进行多维度熔断，还包括：

基于非关系型数据库计数至少对供应商接口、供应商接口+场景标识两个维度进行熔断。

熔断是为了避免有限时间内过多的业务请求的重试。之所以重试这么多次，可能是服务端或者请求方本身出现了问题。而引入熔断之后，可能避免过多无意义的失败请求，控制数据采集成本。若服务方出现问题，请求方被熔断，从而使得请求方不会继续盲目调用；若请求方本身出现问题，也可以让请求方直接失败，避免自身无意义的等待或阻塞。在本发明中，采取了至少两个维度的熔断，一个维度是总的规则，就是基于redis(非关系型数据库)计数对整个供应商接口总的访问次数进行熔断；另一个是基于redis计数对供应商接口+token维度的熔断，token就是对整个接口下的具体业务场景的熔断，例如首借场景、复借场景等；通过两个维度进行了基于redis的熔断，提高了业务处理能力，降低了成本。此外，redis数据库还可以设置时间周期，在固定的时间周期内，资信产品的业务请求次数重置清零，继续下一周期的计数。此外，通过token可以对具体应用场景的费用成本进行分析；通过token可以辨别核心业务与非核心业务，因token还可以对核心业务与非核心业务进行熔断，保证核心业务的正常运行。

在其中一个实施方式中，所述将供应商接口参数名称和数据获取输入项输入到数据获取平台，通过所述数据获取平台返回业务参数值，包括：

将供应商接口参数名称和数据获取输入项输入到数据获取平台；

在供应商接口的入参配置中定义好供应商接口参数名称和对应的数据获取输入项后，将供应商接口参数名称和数据获取输入项输入到数据获取平台，数据获取平台收到供应商接口参数名称和数据获取输入项后会识别供应商接口参数名称和数据获取输入项，然后根据数据获取输入项的字段执行相关的数据处理流程，以便于数据获取平台返回业务参数值。

所述数据获取平台通过计算返回资信产品本次业务的业务参数值及资信产品本次业务的请求时间；

数据获取平台根据数据获取输入项的字段执行相关的数据处理流程，通过计算获得资信产品通过供应商接口请求资信产品本次业务的MD5值(业务参数值)以及资信产品本次业务的请求时间，以便于根据MD5值和请求时间来确定获取数据的来源。

获取资信产品上次业务的MD5值及资信产品上次业务的请求时间。

通过计算获得资信产品通过供应商接口请求资信产品本次业务的MD5值以及资信产品本次业务的请求时间后，然后获取资信产品上次业务的MD5值及资信产品上次业务的请求时间，以便于根据MD5值和请求时间来确定获取数据的来源。

在其中一个实施方式中，所述数据获取平台通过计算返回资信产品本次业务的MD5值及资信产品上次业务的请求时间前，还包括：

接收资信人员在资信平台预设的资信产品有效期。

获取到资信产品通过供应商接口请求资信产品本次业务的MD5值以及资信产品本次业务的请求时间、资信产品通过供应商接口请求资信产品上次业务的MD5值以及资信产品上次业务的请求时间后，通过资信产品本次业务的请求时间与资信产品上次业务的请求时间的作差后，便可以判断作差的时间是否在产品有效期内，因此要预先接收资信人员在资信平台预设的资信产品有效期，该产资信品有效期可以根据实际情况来确定，不同的资信产品对应不同的资信产品有效期。

在其中一个实施方式中，所述根据资信产品有效期和业务参数值确定相应的数据源，还包括：

判断资信产品本次业务的MD5值与资信产品上次业务的MD5值是否一致，且资信产品本次业务的请求时间减去资信产品上次业务的请求时间是否小于等于资信产品有效期；

确定数据源是通过MD5值和资信产品有效期来确定的，具体的判断方法为：判断资信产品本次业务的MD5值与资信产品上次业务的MD5值是否一致，且资信产品本次业务的请求时间减去资信产品上次业务的请求时间是否小于等于资信产品有效期。

若资信产品本次业务的MD5值与资信产品上次业务的MD5值一致，且资信产品本次业务的请求时间减去资信产品上次业务的请求时间小于等于资信产品有效期，则从对象存储服务缓存中获取该资信产品的数据源；

如果资信产品本次业务的MD5值与资信产品上次业务的MD5值一致，则说明本次请求业务与上次请求业务是同一个资信产品通过同一个供应商接口获取数据；如果同时满足资信产品本次业务的请求时间减去资信产品上次业务的请求时间小于等于资信产品有效期，则说明本次业务请求的数据还在有效期内，无需从供应商处获取实时的数据，只需要从oss缓存(Object Storage Service，对象存储服务缓存)中读取就可以。实时获取数据会存在供应商收费的可能，因此这样可以降低成本。

若资信产品本次业务的MD5值与资信产品上次业务的MD5值不一致，或者资信产品本次业务的请求时间减去资信产品上次业务的请求时间大于资信产品有效期，则从供应商获取该资信产品的数据源。

如果资信产品本次业务的MD5值与资信产品上次业务的MD5值不一致，则说明本次请求业务与上次请求业务不是同一个资信产品通过同一个供应商接口获取数据，因此本次请求业务与上次请求业务获取的数据会不一样，因此不能通过oss缓存来获取数据；或者如果资信产品本次业务的请求时间减去资信产品上次业务的请求时间大于资信产品有效期，则说明本次业务请求的数据已不在有效期内，供应商的数据有可能发生变化，因此要从供应商处获取实时的数据，进一步的，请求资信网关，资信网关从供应商处获取实时的数据。

在其中一个实施方式中，所述将所述业务数据发布至中间件，包括：

确定该资信产品的业务数据的对象存储服务缓存路径；

为了提高业务数据在资信平台中流转的效率，有的获取的业务数据占用较大空间，例如视频等数据，如果在业务数据的流转过程中每次都要传送业务数据会产生资源的拥堵，因此在业务数据的流转过程中不需要将业务数据实时传送，只需要传送该视频资源的地址(对象存储服务缓存路径)，在最后一次业务数据的流转时获取具体的视频资源即可，提高了资信平台的处理效率。

将该资信产品的数据源的对象存储服务缓存路径发布至中间件。

最终获得资信产品的业务数据后，便可以将业务数据的oss路径(对象存储服务缓存路径)发布至中间件(rabbitmq，面向消息的中间件)，需要获取该业务数据的节点从中间件读取即可。

实施例二：

参照图2所示，图2为本发明的资信平台数据采集方法的第二方法流程图。

接收资信产品的业务请求，对资信产品及其相应的场景标识进行鉴权；

当资信人员启动获取资信数据流程时，会首先接收资信人员选择的资信产品，然后资信平台会对该资信产品进行权限校验，即，鉴权和限流，首先是对资信产品及其相应的token(场景标识)进行鉴权，验证该token是否已授权给资信产品，如果该token已授权给请求业务的资信产品，则允许执行资信产品的数据获取流程；如果该token未授权给请求业务的资信产品，则不允许执行资信产品的数据获取流程，以提高资信产品数据获取的安全性。

对所述资信产品的业务请求进行限流；

限流用来阻止在多资信产品请求同一个请求接口的情况下，某一资信产品把资源耗尽而让其它的资信产品都无法访问该请求接口的问题，针对资信产品进行限流。优选的，采用令牌桶算法，原理是资信平台以一个恒定的速度往令牌桶里放入令牌，如果资信产品的业务请求需要被处理，则需要先从令牌桶里获取一个令牌，当桶里没有令牌可取时，则拒绝服务，以对资信产品的业务请求进行限流操作。

接收资信人员选择的供应商选择策略；

资信平台在进行数据采集的时候，资信人员会在资信平台上选择合适的供应商选择策略，资信平台会接收到资信人员选择的供应商选择策略，如果资信平台没有接收到资信人员选择的供应商选择策略，则按照默认供应商选择策略执行。

根据所述资信产品与供应商之间的供应商选择策略选择相应的供应商，根据所述资信产品和选择的供应商确定相应的供应商接口；

接收到资信产品的业务请求后，首先进行资信产品的权限校验，待资信产品的权限校验通过后，会根据资信产品与供应商之间的供应商选择策略选择相应的供应商，然后依据资信产品和供应商确定相应的供应商接口。

基于非关系型数据库计数至少对供应商接口、供应商接口+场景标识两个维度进行熔断；

采取至少两个维度的熔断，一个维度是总的规则，就是基于redis(非关系型数据库)计数对整个供应商接口总的访问次数进行熔断；另一个是基于redis计数对供应商接口+token维度的熔断，token就是对整个接口下的具体业务场景的熔断，例如首借场景、复借场景等；通过两个维度进行了基于redis的熔断，提高了业务处理能力，降低了成本。

获取所述供应商接口的入参配置，在所述入参配置中定义供应商接口参数名称和对应的数据获取输入项；

获取到资信产品的供应商接口后，便需要获取供应商接口的入参配置，入参配置包括供应商接口参数名称，以及对应的数据获取输入项，数据获取输入项是数据获取平台中执行数据获取的相应字段。

接收资信人员在资信平台预设的产品有效期；

获取到资信产品通过供应商接口请求资信产品本次业务的MD5值以及资信产品本次业务的请求时间、资信产品通过供应商接口请求资信产品上次业务的MD5值以及资信产品上次业务的请求时间后，通过资信产品本次业务的请求时间与资信产品上次业务的请求时间的作差后，便可以判断作差的时间是否在产品有效期内，因此要预先接收资信人员在资信平台预设的资信产品有效期，该产资信品有效期可以根据实际情况来确定，不同的资信产品对应不同的资信产品有效期。

将供应商接口参数名称和数据获取输入项输入到数据获取平台；

获取到资信产品的供应商接口后，便需要获取供应商接口的入参配置，入参配置包括供应商接口参数名称，以及对应的数据获取输入项，数据获取输入项是数据获取平台中执行数据获取的相应字段，供应商接口参数名称，以及对应的数据获取输入项配置好后，将供应商接口参数名称和数据获取输入项输入到数据获取平台。

所述数据获取平台通过计算返回资信产品本次业务的业务参数值及资信产品本次业务的请求时间；

数据获取平台根据数据获取输入项的字段执行相关的数据处理流程，通过计算获得资信产品通过供应商接口请求资信产品本次业务的MD5值(业务参数值)以及资信产品本次业务的请求时间，以便于根据MD5值和请求时间来确定获取数据的来源。

获取资信产品上次业务的业务参数值及资信产品上次业务的请求时间；

通过计算获得资信产品通过供应商接口请求资信产品本次业务的MD5值以及资信产品本次业务的请求时间后，然后获取资信产品上次业务的MD5值及资信产品上次业务的请求时间，以便于根据MD5值和请求时间来确定获取数据的来源。

判断资信产品本次业务的业务参数值与资信产品上次业务的业务参数值是否一致，且资信产品本次业务的请求时间减去资信产品上次业务的请求时间是否小于等于资信产品有效期；

判断资信产品本次业务的MD5值与资信产品上次业务的MD5值是否一致，且资信产品本次业务的请求时间减去资信产品上次业务的请求时间是否小于等于资信产品有效期；如果资信产品本次业务的MD5值与资信产品上次业务的MD5值一致，则说明本次请求业务与上次请求业务是同一个资信产品通过同一个供应商接口获取数据；如果同时满足资信产品本次业务的请求时间减去资信产品上次业务的请求时间小于等于资信产品有效期，则说明本次业务请求的数据还在有效期内，无需从供应商处获取实时的数据，只需要从oss缓存中读取就可以。实时获取数据会存在供应商收费的可能，因此这样可以降低成本；如果资信产品本次业务的MD5值与资信产品上次业务的MD5值不一致，则说明本次请求业务与上次请求业务不是同一个资信产品通过同一个供应商接口获取数据，因此本次请求业务与上次请求业务获取的数据会不一样，因此不能通过oss缓存来获取数据；或者如果资信产品本次业务的请求时间减去资信产品上次业务的请求时间大于资信产品有效期，则说明本次业务请求的数据已不在有效期内，供应商的数据有可能发生变化，因此要从供应商处获取实时的数据。

从所述数据源中获取业务数据，确定该资信产品的业务数据的对象存储服务缓存路径；

获取数据源后，从数据源中获取业务数据；确定该资信产品的业务数据的oss路径(对象存储服务缓存)，因此在业务数据的流转过程中不需要将业务数据实时传送，只需要传送该视频资源的地址，也就是该资信产品的业务数据的oss路径，在最后一次业务数据的流转时获取具体的视频资源即可，提高了资信平台的处理效率。

将该资信产品的业务数据的对象存储服务缓存路径发布至中间件。

最终获得资信产品的业务数据后，便可以将业务数据的oss路径发布至中间件，需要获取该业务数据的节点从中间件读取即可。

应该理解的是，虽然图1～2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1～2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

实施例三：

参照图4所示，图4为本发明的资信平台数据采集系统的系统结构图。

本实施例的资信平台数据采集系统，包括：

权限校验模块，用于对所述资信产品的业务请求进行权限校验；

资信人员根据具体的资信产品获取资信数据的过程，从底层上来讲是资信平台内部完成的一系列数据获取流程。当资信人员启动获取资信数据流程时，会首先接收资信人员选择的资信产品，然后资信平台会通过权限校验模块对该资信产品进行权限校验，如果资信产品的权限校验通过，则会进一步进行供应商的选择，以确定相应的供应商接口；如果资信产品的权限校验不通过，则会拒绝该资信产品的业务请求，提高了资信产品数据获取的安全性。

供应商策略模块，用于根据所述资信产品与供应商之间的供应商选择策略选择相应的供应商，根据所述资信产品和选择的供应商确定相应的供应商接口；

接收到资信产品的业务请求后，首先进行资信产品的权限校验，待资信产品的权限校验通过后，会通过供应商策略模块根据资信产品与供应商之间的供应商选择策略选择相应的供应商，然后依据资信产品和供应商确定相应的供应商接口。供应商策略模块还用于建立默认供应商策略、优先级供应商策略、决策流供应商策略和业务流供应商策略。

熔断模块，用于对所述供应商接口进行多维度熔断；

确定供应商接口后，便可以通过熔断模块进一步进行多维度熔断，以防止业务请求超量从而降低数据获取的成本。

数据处理模块，用于获取所述供应商接口的入参配置，在所述入参配置中定义供应商接口参数名称和对应的数据获取输入项，并将供应商接口参数名称和数据获取输入项输入到数据获取平台，通过所述数据获取平台返回业务参数值；

获取到资信产品的供应商接口后，便需要通过数据处理模块获取供应商接口的入参配置，入参配置包括供应商接口参数名称，以及对应的数据获取输入项，数据获取输入项是数据获取平台中执行数据获取的相应字段，将供应商接口参数名称和数据获取输入项输入到数据获取平台后，数据获取平台会识别供应商接口参数名称和数据获取输入项，数据获取平台会根据数据获取输入项执行相关的数据处理流程，数据获取平台最终会返回业务参数值，根据业务参数值可以进一步判断该资信产品的数据获取的来源，以便于降低数据获取的成本。

业务数据模块，根据资信产品有效期和业务参数值确定相应的数据源，从所述数据源中获取业务数据，并将所述业务数据发布至中间件。

为了降低数据获取中的成本，例如车辆信息、房产信息等信息，只要该资信产品对应的数据在有效期内便不需要获取实时的数据。因此将数据源分为两类，一类是缓存中的数据，一类是从供应商处实时获取的数据。通过业务数据模块根据资信产品有效期和业务参数值来判断需要从缓存中获取数据，还是从供应商处获取实时数据，以降低数据获取的成本，确定好数据源后，通过数据源获取业务数据，将业务数据发布至中间件。

数据源判断模块，用于判断资信产品本次业务的MD5值与资信产品上次业务的MD5值是否一致，且资信产品本次业务的请求时间减去资信产品上次业务的请求时间是否小于等于资信产品有效期。

若资信产品本次业务的MD5值与资信产品上次业务的MD5值一致，且资信产品本次业务的请求时间减去资信产品上次业务的请求时间小于等于资信产品有效期，则从oss缓存中获取该资信产品的数据源；若资信产品本次业务的MD5值与资信产品上次业务的MD5值不一致，或者资信产品本次业务的请求时间减去资信产品上次业务的请求时间大于资信产品有效期，则从供应商获取该资信产品的数据源。

关于资信平台数据采集系统的具体限定可以参见上文中对于方法的限定，在此不再赘述。上述资信平台数据采集系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

实施例四：

本实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现资信平台数据采集方法的步骤。

该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现资信平台数据采集方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域内的技术人员应明白，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在其中一个实施方式中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

接收资信产品的业务请求，并对所述资信产品的业务请求进行权限校验；

待所述权限校验通过后，根据所述资信产品与供应商之间的供应商选择策略选择相应的供应商，根据所述资信产品和选择的供应商确定相应的供应商接口，并对所述供应商接口进行多维度熔断；

获取所述供应商接口的入参配置，在所述入参配置中定义供应商接口参数名称和对应的数据获取输入项，并将供应商接口参数名称和数据获取输入项输入到数据获取平台，通过所述数据获取平台返回业务参数值；

根据资信产品有效期和业务参数值确定相应的数据源，从所述数据源中获取业务数据，并将所述业务数据发布至中间件。

在其中一个实施方式中，处理器执行计算机程序时还实现以下步骤：

对资信产品及其相应的场景标识进行鉴权；

对所述资信产品的业务请求进行限流。

在其中一个实施方式中，处理器执行计算机程序时还实现以下步骤：

建立默认供应商策略；

根据供应商接口的不同服务因素建立不同的优先级供应商策略；

根据决策逻辑建立决策流供应商策略；

根据业务内容建立业务流供应商策略

在其中一个实施方式中，处理器执行计算机程序时还实现以下步骤：

基于非关系型数据库计数，至少对供应商接口、供应商接口+场景标识两个维度进行熔断。

在其中一个实施方式中，处理器执行计算机程序时还实现以下步骤：

将供应商接口参数名称和数据获取输入项输入到数据获取平台；

所述数据获取平台通过计算返回资信产品本次业务的业务参数值及资信产品本次业务的请求时间；

获取资信产品上次业务的业务参数值及资信产品上次业务的请求时间。

在其中一个实施方式中，处理器执行计算机程序时还实现以下步骤：

判断资信产品本次业务的业务参数值与资信产品上次业务的业务参数值是否一致，且资信产品本次业务的请求时间减去资信产品上次业务的请求时间是否小于等于资信产品有效期；

若资信产品本次业务的业务参数值与资信产品上次业务的业务参数值一致，且资信产品本次业务的请求时间减去资信产品上次业务的请求时间小于等于资信产品有效期，则从对象存储服务缓存中获取该资信产品的数据源；

若资信产品本次业务的业务参数值与资信产品上次业务的业务参数值不一致，或者资信产品本次业务的请求时间减去资信产品上次业务的请求时间大于资信产品有效期，则从供应商获取该资信产品的数据源。

在其中一个实施方式中，处理器执行计算机程序时还实现以下步骤：

确定该资信产品的业务数据的对象存储服务缓存路径；

将该资信产品的业务数据的对象存储服务缓存路径发布至中间件。

实施例五：

本实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

接收资信产品的业务请求，并对所述资信产品的业务请求进行权限校验；

待所述权限校验通过后，根据所述资信产品与供应商之间的供应商选择策略选择相应的供应商，根据所述资信产品和选择的供应商确定相应的供应商接口，并对所述供应商接口进行多维度熔断；

获取所述供应商接口的入参配置，在所述入参配置中定义供应商接口参数名称和对应的数据获取输入项，并将供应商接口参数名称和数据获取输入项输入到数据获取平台，通过所述数据获取平台返回业务参数值；

根据资信产品有效期和业务参数值确定相应的数据源，从所述数据源中获取业务数据，并将所述业务数据发布至中间件。

在其中一个实施方式中，处理器执行计算机程序时还实现以下步骤：

对资信产品及其相应的场景标识进行鉴权；

对所述资信产品的业务请求进行限流。

在其中一个实施方式中，处理器执行计算机程序时还实现以下步骤：

建立默认供应商策略；

根据供应商接口的不同服务因素建立不同的优先级供应商策略；

根据决策逻辑建立决策流供应商策略；

根据业务内容建立业务流供应商策略

在其中一个实施方式中，处理器执行计算机程序时还实现以下步骤：

基于非关系型数据库计数，至少对供应商接口、供应商接口+场景标识两个维度进行熔断。

在其中一个实施方式中，处理器执行计算机程序时还实现以下步骤：

将供应商接口参数名称和数据获取输入项输入到数据获取平台；

所述数据获取平台通过计算返回资信产品本次业务的业务参数值及资信产品本次业务的请求时间；

获取资信产品上次业务的业务参数值及资信产品上次业务的请求时间。

在其中一个实施方式中，处理器执行计算机程序时还实现以下步骤：

判断资信产品本次业务的业务参数值与资信产品上次业务的业务参数值是否一致，且资信产品本次业务的请求时间减去资信产品上次业务的请求时间是否小于等于资信产品有效期；

若资信产品本次业务的业务参数值与资信产品上次业务的业务参数值一致，且资信产品本次业务的请求时间减去资信产品上次业务的请求时间小于等于资信产品有效期，则从对象存储服务缓存中获取该资信产品的数据源；

若资信产品本次业务的业务参数值与资信产品上次业务的业务参数值不一致，或者资信产品本次业务的请求时间减去资信产品上次业务的请求时间大于资信产品有效期，则从供应商获取该资信产品的数据源。

在其中一个实施方式中，处理器执行计算机程序时还实现以下步骤：

确定该资信产品的业务数据的对象存储服务缓存路径；

将该资信产品的业务数据的对象存储服务缓存路径发布至中间件。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种资信平台数据采集方法，其特征在于，所述资信平台数据采集方法包括：

接收资信产品的业务请求，并对所述资信产品的业务请求进行权限校验；

待所述权限校验通过后，根据所述资信产品与供应商之间的供应商选择策略选择相应的供应商，根据所述资信产品和选择的供应商确定相应的供应商接口，并对所述供应商接口进行多维度熔断；

获取所述供应商接口的入参配置，在所述入参配置中定义供应商接口参数名称和对应的数据获取输入项，并将供应商接口参数名称和数据获取输入项输入到数据获取平台，通过所述数据获取平台返回业务参数值；

根据资信产品有效期和业务参数值确定相应的数据源，从所述数据源中获取业务数据，并将所述业务数据发布至中间件；

其中，所述供应商选择策略包括默认供应商策略、优先级供应商策略、决策流供应商策略和业务流供应商策略。

2.根据权利要求1所述的资信平台数据采集方法，其特征在于，所述对所述资信产品的业务请求进行权限校验，包括：

对所述资信产品及其相应的场景标识进行鉴权；

对所述资信产品的业务请求进行限流。

3.根据权利要求1所述的资信平台数据采集方法，其特征在于，所述根据所述资信产品与供应商之间的供应商选择策略选择相应的供应商前，还包括：

建立默认供应商策略；

根据供应商接口的不同服务因素建立不同的优先级供应商策略；

根据决策逻辑建立决策流供应商策略；

根据业务内容建立业务流供应商策略。

4.根据权利要求1所述的资信平台数据采集方法，其特征在于，所述对所述供应商接口进行多维度熔断，包括：

基于非关系型数据库计数，至少对供应商接口、供应商接口+场景标识两个维度进行熔断。

5.根据权利要求1所述的资信平台数据采集方法，其特征在于，所述将供应商接口参数名称和数据获取输入项输入到数据获取平台，通过所述数据获取平台返回业务参数值，包括：

将供应商接口参数名称和数据获取输入项输入到数据获取平台；

所述数据获取平台通过计算返回资信产品本次业务的业务参数值及资信产品本次业务的请求时间；

获取资信产品上次业务的业务参数值及资信产品上次业务的请求时间。

6.根据权利要求5所述的资信平台数据采集方法，其特征在于，所述根据资信产品有效期和业务参数值确定相应的数据源，包括：

判断资信产品本次业务的业务参数值与资信产品上次业务的业务参数值是否一致，且资信产品本次业务的请求时间减去资信产品上次业务的请求时间是否小于等于资信产品有效期；

若资信产品本次业务的业务参数值与资信产品上次业务的业务参数值一致，且资信产品本次业务的请求时间减去资信产品上次业务的请求时间小于等于资信产品有效期，则从对象存储服务缓存中获取该资信产品的数据源；

若资信产品本次业务的业务参数值与资信产品上次业务的业务参数值不一致，或者资信产品本次业务的请求时间减去资信产品上次业务的请求时间大于资信产品有效期，则从供应商获取该资信产品的数据源。

7.根据权利要求1所述的资信平台数据采集方法，其特征在于，所述将所述业务数据发布至中间件，包括：

确定该资信产品的业务数据的对象存储服务缓存路径；

将该资信产品的业务数据的对象存储服务缓存路径发布至中间件。

8.一种资信平台数据采集系统，其特征在于，所述资信平台数据采集系统包括：

权限校验模块，用于对所述资信产品的业务请求进行权限校验；

供应商策略模块，用于根据所述资信产品与供应商之间的供应商选择策略选择相应的供应商，根据所述资信产品和选择的供应商确定相应的供应商接口；

熔断模块，用于对所述供应商接口进行多维度熔断；

数据处理模块，用于获取所述供应商接口的入参配置，在所述入参配置中定义供应商接口参数名称和对应的数据获取输入项，并将供应商接口参数名称和数据获取输入项输入到数据获取平台，通过所述数据获取平台返回业务参数值；

业务数据模块，根据资信产品有效期和业务参数值确定相应的数据源，从所述数据源中获取业务数据，并将所述业务数据发布至中间件。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～7中任意一项所述方法的步骤。

10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有程序，当所述程序被处理器执行时，使得所述处理器执行如权利要求1～7中任意一项所述的方法的步骤。

Images