CN111523297A - 一种数据处理方法及装置 - Google Patents
一种数据处理方法及装置 Download PDFInfo
- Publication number
- CN111523297A CN111523297A CN202010316005.0A CN202010316005A CN111523297A CN 111523297 A CN111523297 A CN 111523297A CN 202010316005 A CN202010316005 A CN 202010316005A CN 111523297 A CN111523297 A CN 111523297A
- Authority
- CN
- China
- Prior art keywords
- data
- variable
- information
- data access
- external data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/186—Templates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/03—Credit; Loans; Processing thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- General Business, Economics & Management (AREA)
- Technology Law (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Strategic Management (AREA)
- General Health & Medical Sciences (AREA)
- Marketing (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种数据处理方法及装置，应用于变量中台，该方法包括：获取业务需求所需数据的类型信息；调用预先生成的数据接入模版，预先生成的数据接入模版包括：用于实现数据接入的信息配置项；基于与业务需求所需数据的类型信息，及数据接入模版中的信息配置项，配置得到数据接入信息；通过数据接入信息，从外部数据源接入数据。在本申请中，通过以上方式可以提高数据接入的效率及灵活性。
Description
技术领域
本申请涉及金融技术领域，特别涉及一种数据处理方法及装置。
背景技术
在信贷领域，数据是信贷用户进行决策的依据，并且，数据的丰富性可以影响决策的有效性。
为了达到数据丰富性的要求，信贷用户需要从外部接入不同的数据。但是，采用目前的数据接入方式，针对不同外部数据需分别编写不同的数据接入编码，工作量大，数据接入效率较低。
发明内容
为解决上述技术问题，本申请实施例提供一种数据处理方法及装置，以达到提高数据接入的效率及灵活性的目的，技术方案如下：
一种数据处理方法，应用于变量中台，该方法包括：
获取业务需求所需数据的类型信息；
调用预先生成的数据接入模版，所述预先生成的数据接入模版包括：用于实现数据接入的信息配置项；
基于所述与业务需求所需数据的类型信息，及所述数据接入模版中的信息配置项，配置得到数据接入信息；
通过所述数据接入信息，从外部数据源接入数据。
优选的，所述数据接入模版中的信息配置项，包括：
调用服务配置项及外部数据接口的URL配置项；
所述数据接入信息，包括：调用服务信息及需调用的外部数据接口的URL；
所述通过所述数据接入信息，从外部数据源接入数据，包括：
通过所述需调用的外部数据接口的URL，访问所述需调用的外部数据接口；
通过所述调用服务信息，获取并基于调用服务逻辑，从所述需调用的外部数据接口接入数据。
优选的，所述数据接入模版中的信息配置项，还包括：
数据查询条件信息配置项；
所述数据接入信息，还包括：
数据查询条件信息；
所述通过所述数据接入信息，从外部数据源接入数据，包括：
通过所述需调用的外部数据接口的URL，访问所述需调用的外部数据接口；
将所述数据查询条件信息发送给所述需调用的外部数据接口；
通过所述需调用的外部数据接口的调用服务信息，获取并按照调用服务逻辑，从所述需调用的外部数据接口接入所述需调用的外部数据接口依据所述数据查询条件信息提供的数据。
优选的，所述数据接入模版中的信息配置项，还包括：
数据输出条件信息配置项；
所述数据接入信息，还包括：
数据输出条件信息；
所述通过所述数据接入信息，从外部数据源接入数据，还包括：
依据所述数据输出条件信息，对从外部数据源接入的数据进行数据清洗。
优选的，所述方法还包括：
基于从外部数据源接入的数据，生成符合所述业务需求的变量；
按照有向无环图的结构对所述变量进行存储，得到变量按照所述有向无环图的结构分布的变量集合。
优选的，所述方法还包括：
获取变量输出请求；
从所述变量集合中查找与所述变量输出请求对应的出度为0的变量；
若查找到，则在所述变量集合中查找与所述与所述变量输出请求对应的出度为0的变量，关联的出度不为0的变量；
将查找到的出度不为0的信贷变及所述与所述变量输出请求对应的出度为0的变量输出。
一种数据处理装置，应用于变量中台，该装置包括：
第一获取模块，用于获取业务需求所需数据的类型信息；
调用模块，用于调用预先生成的数据接入模版，所述预先生成的数据接入模版包括：用于实现数据接入的信息配置项；
配置模块，用于基于所述与业务需求所需数据的类型信息，及所述数据接入模版中的信息配置项，配置得到数据接入信息；
接入模块，用于通过所述数据接入信息，从外部数据源接入数据。
优选的，所述数据接入模版中的信息配置项，包括：
调用服务配置项及外部数据接口的URL配置项；
所述数据接入信息，包括：调用服务信息及需调用的外部数据接口的URL；
所述接入模块，具体用于：
通过所述需调用的外部数据接口的URL，访问所述需调用的外部数据接口；
通过所述调用服务信息，获取并基于调用服务逻辑，从所述需调用的外部数据接口接入数据。
优选的，所述数据接入模版中的信息配置项，还包括：
数据查询条件信息配置项；
所述数据接入信息，还包括：
数据查询条件信息；
所述接入模块，具体用于：
通过所述需调用的外部数据接口的URL，访问所述需调用的外部数据接口；
将所述数据查询条件信息发送给所述需调用的外部数据接口；
通过所述需调用的外部数据接口的调用服务信息，获取并按照调用服务逻辑，从所述需调用的外部数据接口接入所述需调用的外部数据接口依据所述数据查询条件信息提供的数据。
优选的，所述数据接入模版中的信息配置项，还包括：
数据输出条件信息配置项；
所述数据接入信息，还包括：
数据输出条件信息；
所述接入模块，还用于：
依据所述数据输出条件信息，对从外部数据源接入的数据进行数据清洗。
优选的，所述装置还包括：
生成模块，用于基于从外部数据源接入的数据，生成符合所述业务需求的变量；
管理模块，用于按照有向无环图的结构对所述变量进行存储，得到变量按照所述有向无环图的结构分布的变量集合。
优选的，所述装置还包括：
第二获取模块，用于获取变量输出请求；
第一查找模块，用于从所述变量集合中查找与所述变量输出请求对应的出度为0的变量；
第二查找模块，用于若查找到与所述变量输出请求对应的出度为0的变量，则在所述变量集合中查找与所述与所述变量输出请求对应的出度为0的变量，关联的出度不为0的变量；
输出模块，用于将查找到的出度不为0的信贷变及所述与所述变量输出请求对应的出度为0的变量输出。
与现有技术相比，本申请的有益效果为：
在本申请中，在需接入不同的业务需求所需数据时，可以分别通过获取与业务需求所需数据的类型信息，并调用预先生成的数据接入模版，基于业务需求所需数据的类型信息及数据接入模版中的信息配置项，配置得到数据接入信息的方式，相比于分别编写不同的数据接入编码的方式，更加简化，工作量小，可以缩短数据接入信息的开发时间，在此基础上，可以缩短从外部数据源接入数据的时间，提高数据接入的效率。
并且，针对不同的业务需求所需数据的接入，可以基于相同的数据接入模板，配置得到不同的数据接入信息，使数据接入信息的开发更加灵活，提高数据接入的灵活性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的一种数据处理方法实施例1的流程图；
图2是本申请提供的一种配置界面的示意图；
图3是本申请提供的一种数据处理方法实施例2的流程图；
图4是本申请提供的一种变量按照有向无环图的结构分布的示意图；
图5是本申请提供的一种数据处理方法实施例2的流程图；
图6是本申请提供的一种数据处理装置的逻辑结构示意图；
图7是本申请提供的另一种数据处理装置的逻辑结构示意图；
图8是本申请提供的再一种数据处理装置的逻辑结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例公开了一种数据处理方法，应用于变量中台，该方法包括：获取业务需求所需数据的类型信息；调用预先生成的数据接入模版，所述预先生成的数据接入模版包括：用于实现数据接入的信息配置项；基于所述与业务需求所需数据的类型信息，及所述数据接入模版中的信息配置项，配置得到数据接入信息；通过所述数据接入信息，从外部数据源接入数据。在本申请中，可以提高数据接入的效率及数据接入的灵活性。
本申请实施例公开的数据处理方法应用于变量中台，如图1所示，为本申请提供的一种数据处理方法实施例1的流程图，可以包括以下步骤：
步骤S11、获取业务需求所需数据的类型信息。
对于数据需求方来说，不同的业务需求所需的数据会有所不同，而不同的数据可以利用数据的类型信息进行区分。
业务需求所需数据的类型信息可以表征业务需求需要哪些数据，如，业务需求所需数据的类型信息可以为：身份证明信息(如，姓名和身份证号等)或学历信息等。
本实施例中，变量中台可以理解为数据需求方开发的变量中台。在数据需求方需要获取外部数据时，变量中台需要首先获取数据需求方的业务需求所需数据的类型信息。
本实施例中，变量中台可以为但不局限于：变量中台。业务需求可以为但局限于：信贷业务需求。
步骤S12、调用预先生成的数据接入模版，所述预先生成的数据接入模版包括：用于实现数据接入的信息配置项。
预先生成的数据接入模板可以理解为：数据接入的规范。
本实施例中，预先生成的数据接入模版中的信息配置项可以通过配置界面进行展示。
预先生成的数据接入模版中的信息配置项可以包括但不局限于：调用服务配置项、外部数据接口的URL配置项、输入查询条件信息配置项、数据输出条件信息配置项、超时时间配置项、重试次数配置项、接口日外部查询阈值配置项、是否需要数据留存的配置项、是否离线存储的配置项和接口外部查询预警阈值的配置项中的任意一种或多种。
外部数据接口可以理解为：外部数据源提供的数据接口。
基于外部数据接口的URL配置项，可以生成需调用的外部数据接口的URL。通过需调用的外部数据接口的URL，可以访问到需调用的外部数据接口。
调用服务配置项，可以生成调用服务信息。通过调用服务信息可以获取针对业务需求定制的调用服务逻辑。调用服务逻辑可以理解为：用于处理需调用的外部数据接口的业务的逻辑。如，需调用的外部数据接口为人行征信系统的数据接口时，由于需要基于人行系统提供的账户登陆人行征信系统，才能从人行征信系统请求数据，因此需要基于调用服务逻辑即模拟登陆人行征信系统的逻辑，先登陆到人行征信系统，再从人行征信系统的数据接口接入数据到变量中台。
本实施例中，调用服务逻辑可以根据业务需求进行调整，对调用服务逻辑进行定制化，更加适用于业务需求的数据接入，提高数据接入效率。
本实施例中，调用服务配置项可以包括但不局限于：调用服务类的配置项及调用服务方法的配置项。其中，调用服务方法聚合成的类为调用服务类。调用服务方法实现的逻辑可以理解为调用服务逻辑。
基于输入查询条件信息配置项，可以配置得到输入查询条件信息。输入查询条件信息可以发送给外部数据源，告知外部数据源需要查询哪些数据。
输入查询条件信息配置项可以包括但不局限于：参数名称、参数键名、加密类型、参数类型、映射参数键名、是否必填和操作。
本实施例中，变量中台可以设置针对输入查询条件信息配置项的参数模版。可以通过针对输入查询条件信息配置项的参数模板，对输入查询条件信息配置项进行配置，实现输入查询条件信息配置项的灵活配置。
基于数据输出条件信息配置项，可以配置得到数据输出条件信息。数据输出条件信息可以作为对数据进行清洗的依据。
输入查询条件信息配置项可以包括但不局限于：参数名称、参数键名、加密类型、参数类型、映射参数键名、是否必填和操作。
本实施例中，变量中台可以设置针对数据输出条件信息配置项的参数模版。可以通过针对数据输出条件信息配置项的参数模板，对数据输出条件信息配置项进行配置，实现数据输出条件信息配置项的灵活配置。
基于超时时间配置项，可以配置得到超时时间。超时时间可以用于监控外部数据接口是否在超时时间内返回数据。若在超时时间内未返回数据，则认为外部数据接口有问题。
基于重试次数配置项，可以配置得到重试次数。重试次数可以用于在多次尝试调用外部数据源大于重试次数后，不再重试调用外部数据源，并认为外部数据源是失败的。
基于接口日外部查询阈值配置项，可以配置得到接口日外部查询阈值。接口日外部查询阈值可以表示在一天内能调用外部数据接口的最大次数。
基于是否需要数据留存的配置项，可以配置得到是否需要数据留存的信息。是否需要数据留存的信息可以表示是否需要对数据进行存储。具体可以针对收费的外部数据源配置为需要数据留存，以将数据存储下来供后续使用，减少后续使用的费用，降低成本。
基于是否离线存储的配置项，可以配置得到是否离线存储的信息。是否离线存储的信息可以表示是否将在线数据发布到离线存储。离线存储可以方便离线分析数据。
基于接口外部查询预警阈值的配置项，可以配置得到接口外部查询预警阈值。接口外部查询预警阈值可以用于当数据源调用量超过接口外部查询预警阈值时，产生报警，防止接口查询过多，并可以通知人工介入查询问题。
本实施例中，包含上述信息配置项的数据接入模板的配置界面可以参见图2。如图2所述，配置界面支持在信息配置项的输入框中输入信息，相应地，变量中台则可以获取配置界面中输入的信息，配置界面中输入的信息可以后续数据处理的依据。
步骤S13、基于所述与业务需求所需数据的类型信息，及所述数据接入模版中的信息配置项，配置得到数据接入信息。
本实施例中，数据接入模版提供了通用的信息配置项，但是，不同的业务需求所需数据可能不同，因此，需要基于与业务需求所需数据的类型信息，及所述数据接入模版中的信息配置项，配置得到与业务需求对应的数据接入信息。
在所述数据接入模版中的信息配置项，包括：调用服务配置项及外部数据接口的URL配置项的情况下，数据接入信息可以包括：调用服务信息及需调用的外部数据接口的URL。相应地，所述通过所述数据接入信息，从外部数据源接入数据，可以包括：
S1311、通过所述需调用的外部数据接口的URL，访问所述需调用的外部数据接口；
S1312、通过所述调用服务信息，获取并基于调用服务逻辑，从所述需调用的外部数据接口接入数据。
在所述数据接入模版中的信息配置项，包括：调用服务配置项、外部数据接口的URL配置项及数据查询条件信息配置项的情况下，数据接入信息可以包括：调用服务信息、需调用的外部数据接口的URL及数据查询条件信息。相应地，所述通过所述数据接入信息，从外部数据源接入数据，可以包括：
S1321、通过所述需调用的外部数据接口的URL，访问所述需调用的外部数据接口；
S1322、将所述数据查询条件信息发送给所述需调用的外部数据接口；
需调用的外部数据接口可以依据所述数据查询条件信息，向变量中台提供数据。
S1323、通过所述需调用的外部数据接口的调用服务信息，获取并按照调用服务逻辑，从所述需调用的外部数据接口接入所述需调用的外部数据接口依据所述数据查询条件信息提供的数据。
从所述需调用的外部数据接口接入所述需调用的外部数据接口依据所述数据查询条件信息提供的数据，在保证能接入业务需求所需数据的同时，可以减少接入数据量，提高数据接入效率。
在所述数据接入模版中的信息配置项，包括：调用服务配置项、外部数据接口的URL配置项及数据输出条件信息配置项的情况下，数据接入信息可以包括：调用服务信息、需调用的外部数据接口的URL及数据输出条件信息。相应地，所述通过所述数据接入信息，从外部数据源接入数据，可以包括：
S1331、通过所述需调用的外部数据接口的URL，访问所述需调用的外部数据接口；
S1332、通过所述调用服务信息，获取并基于调用服务逻辑，从所述需调用的外部数据接口接入数据；
S1333、依据所述数据输出条件信息，对从外部数据源接入的数据进行数据清洗。
本实施例中，依据所述数据输出条件信息，对从外部数据源接入的数据进行数据清洗，对从外部数据源接入的数据进行优化。
步骤S14、通过所述数据接入信息，从外部数据源接入数据。
作为本申请另一可选实施例，参照图3，为本申请提供的一种数据处理方法实施例2的流程示意图，本实施例主要是对上述实施例1描述的数据处理方法的扩展方案，如图3所示，该方法可以包括但并不局限于以下步骤：
步骤S21、获取业务需求所需数据的类型信息。
步骤S22、调用预先生成的数据接入模版，所述预先生成的数据接入模版包括：用于实现数据接入的信息配置项。
步骤S23、基于所述与业务需求所需数据的类型信息，及所述数据接入模版中的信息配置项，配置得到数据接入信息。
步骤S24、通过所述数据接入信息，从外部数据源接入数据。
步骤S21-S24的详细过程可以参见实施例1中步骤S11-S14的相关介绍，在此不再赘述。
步骤S25、基于从外部数据源接入的数据，生成符合所述业务需求的变量。
在变量中台为信贷变量中台，业务需求为信贷业务需求的情况下，基于从外部数据源接入的数据，生成符合所述业务需求的变量，可以包括：基于从外部数据源接入的数据，生成符合所述信贷业务需求的信贷变量。
步骤S26、按照有向无环图的结构对所述变量进行存储，得到变量按照所述有向无环图的结构分布的变量集合。
本实施例中，举例对按照所述有向无环图的结构分布的变量集合进行说明，例如，如图4所示，变量集合包括：isEduInfoFquals(教育信息是否一致)、education(学信网)、zxEducation(征信学历变量)、ifNeedQueryZx(是否查询征信)、certype(证件类别)、prcid(身份证号)和name(姓名)，isEduInfoFquals、education、zxEducation、ifNeedQueryZx、certype、prcid和name按照有向无环图的结构分布。如，图4中的zxEducation(征信学历变量)指向prcid(身份证号)和name(姓名)，可以明确的确定征信学历变量与身份证号和姓名之间的关系。
本实施例中，按照有向无环图的结构对所述变量进行存储，得到变量按照所述有向无环图的结构分布的变量集合，可以明确的确定变量之间的关系，降低对变量管理的难度。
并且，按照有向无环图的结构对所述变量进行存储，也可以解决业务上不再使用的变量进行退出的问题。如果某一个变量不再被使用，那么依赖它的所有变量都将不被使用，会随该变量一起退出，以此保证变量退出的高效管理。
与基于从外部数据源接入的数据，生成符合所述信贷业务需求的信贷变量相对应，按照有向无环图的结构对所述变量进行存储，得到变量按照所述有向无环图的结构分布的变量集合，可以包括：按照有向无环图的结构对所述信贷变量进行存储，得到信贷变量按照所述有向无环图的结构分布的信贷变量集合。
作为本申请另一可选实施例，参照图5，为本申请提供的一种数据处理方法实施例3的流程示意图，本实施例主要是对上述实施例2描述的数据处理方法的扩展方案，如图5所示，该方法可以包括但并不局限于以下步骤：
步骤S31、获取业务需求所需数据的类型信息。
步骤S32、调用预先生成的数据接入模版，所述预先生成的数据接入模版包括：用于实现数据接入的信息配置项。
步骤S33、基于所述与业务需求所需数据的类型信息，及所述数据接入模版中的信息配置项，配置得到数据接入信息。
步骤S34、通过所述数据接入信息，从外部数据源接入数据。
步骤S35、基于从外部数据源接入的数据，生成符合所述业务需求的变量。
步骤S36、按照有向无环图的结构对所述变量进行存储，得到变量按照所述有向无环图的结构分布的变量集合。
步骤S31-S36的详细过程可以参见实施例2中步骤S21-S26的相关介绍，在此不再赘述。
步骤S37、获取变量输出请求。
步骤S38、从所述变量集合中查找与所述变量输出请求对应的出度为0的变量。
出度为0可以理解为：有向无环图中指出的结点个数为0，出度为0的变量可以理解为最基本的变量，其它变量与出度为0的变量存在依赖关系。如图4中的prcid和name均为出度为0的变量。
若查找到，则执行步骤S39。
步骤S39、在所述变量集合中查找与所述与所述变量输出请求对应的出度为0的变量，关联的出度不为0的变量。
与所述与所述变量输出请求对应的出度为0的变量，关联的出度不为0的变量，可以理解为：与所述与所述变量输出请求对应的出度为0的变量有关联关系的上层变量。
步骤S310、将查找到的出度不为0的信贷变及所述与所述变量输出请求对应的出度为0的变量输出。
将查找到的出度不为0的信贷变及所述与所述变量输出请求对应的出度为0的变量输出，实现变量输出请求所需变量的输出，用于信贷业务进行分析。
需要说明的是，对应同一个信贷业务可能会存在多个变量输出请求，在这种情况下，可以分别将针对每个变量输出请求获取的变量进行输出，也可以在获取到每个变量输出请求对应的变量之后，一次性将全部权利输出请求对应的变量输出。
本实施例中，变量中台进行的数据接入及变量存储管理，均和信贷业务无关，并在变量输出时结合信贷业务，这种方式可以将变量输出复用于不同的信贷业务场景，可以加速业务迭代效率。
接下来对本申请提供的一种数据处理装置进行介绍，下文介绍的数据处理装置与上文介绍的数据处理方法可相互对应参照。
数据处理装置应用于变量中台，请参见图6，数据处理装置包括：第一获取模块11、调用模块12、配置模块13和接入模块14。
第一获取模块11，用于获取业务需求所需数据的类型信息；
调用模块12，用于调用预先生成的数据接入模版，所述预先生成的数据接入模版包括：用于实现数据接入的信息配置项；
配置模块13，用于基于所述与业务需求所需数据的类型信息，及所述数据接入模版中的信息配置项，配置得到数据接入信息；
接入模块14，用于通过所述数据接入信息，从外部数据源接入数据。
本实施例中，第一获取模块11、调用模块12、配置模块13和接入模块14用于实现变量中台的数据接入功能。
本实施例中，所述数据接入模版中的信息配置项，可以包括：
调用服务配置项及外部数据接口的URL配置项；
所述数据接入信息，可以包括：调用服务信息及需调用的外部数据接口的URL；
所述接入模块14，具体可以用于：
通过所述需调用的外部数据接口的URL，访问所述需调用的外部数据接口；
通过所述调用服务信息，获取并基于调用服务逻辑，从所述需调用的外部数据接口接入数据。
本实施例中，所述数据接入模版中的信息配置项，还可以包括：
数据查询条件信息配置项；
所述数据接入信息，还可以包括：
数据查询条件信息；
所述接入模块14，具体可以用于：
通过所述需调用的外部数据接口的URL，访问所述需调用的外部数据接口；
将所述数据查询条件信息发送给所述需调用的外部数据接口；
通过所述需调用的外部数据接口的调用服务信息，获取并按照调用服务逻辑，从所述需调用的外部数据接口接入所述需调用的外部数据接口依据所述数据查询条件信息提供的数据。
本实施例中，所述数据接入模版中的信息配置项，还可以包括：
数据输出条件信息配置项；
所述数据接入信息，还可以包括：
数据输出条件信息；
所述接入模块14，还可以用于：
依据所述数据输出条件信息，对从外部数据源接入的数据进行数据清洗。
本实施例中，请参见图7，上述数据处理装置还可以包括：生成模块15，用于基于从外部数据源接入的数据，生成符合所述业务需求的变量；
管理模块16，用于按照有向无环图的结构对所述变量进行存储，得到变量按照所述有向无环图的结构分布的变量集合。
本实施例中，生成模块15和管理模块16用于实现变量中台的变量管理功能。
本实施例中，请参见图8，上述数据处理装置还可以包括：
第二获取模块17，用于获取变量输出请求；
第一查找模块18，用于从所述变量集合中查找与所述变量输出请求对应的出度为0的变量；
第二查找模块19，用于若查找到与所述变量输出请求对应的出度为0的变量，则在所述变量集合中查找与所述与所述变量输出请求对应的出度为0的变量，关联的出度不为0的变量；
输出模块110，用于将查找到的出度不为0的信贷变及所述与所述变量输出请求对应的出度为0的变量输出。
本实施例中，第二获取模块17、第一查找模块18、第二查找模块19和输出模块110用于实现变量中台的变量输出功能。
需要说明的是，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
以上对本申请所提供的一种数据处理方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种数据处理方法，其特征在于，应用于变量中台，该方法包括：
获取业务需求所需数据的类型信息；
调用预先生成的数据接入模版，所述预先生成的数据接入模版包括：用于实现数据接入的信息配置项；
基于所述与业务需求所需数据的类型信息，及所述数据接入模版中的信息配置项，配置得到数据接入信息；
通过所述数据接入信息，从外部数据源接入数据。
2.根据权利要求1所述的方法，其特征在于，所述数据接入模版中的信息配置项，包括：
调用服务配置项及外部数据接口的URL配置项；
所述数据接入信息，包括：调用服务信息及需调用的外部数据接口的URL；
所述通过所述数据接入信息，从外部数据源接入数据，包括：
通过所述需调用的外部数据接口的URL，访问所述需调用的外部数据接口；
通过所述调用服务信息，获取并基于调用服务逻辑，从所述需调用的外部数据接口接入数据。
3.根据权利要求2所述的方法，其特征在于，所述数据接入模版中的信息配置项，还包括：
数据查询条件信息配置项；
所述数据接入信息，还包括：
数据查询条件信息；
所述通过所述数据接入信息，从外部数据源接入数据，包括：
通过所述需调用的外部数据接口的URL，访问所述需调用的外部数据接口；
将所述数据查询条件信息发送给所述需调用的外部数据接口；
通过所述需调用的外部数据接口的调用服务信息，获取并按照调用服务逻辑，从所述需调用的外部数据接口接入所述需调用的外部数据接口依据所述数据查询条件信息提供的数据。
4.根据权利要求2所述的方法，其特征在于，所述数据接入模版中的信息配置项，还包括：
数据输出条件信息配置项；
所述数据接入信息，还包括：
数据输出条件信息；
所述通过所述数据接入信息，从外部数据源接入数据，还包括：
依据所述数据输出条件信息，对从外部数据源接入的数据进行数据清洗。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于从外部数据源接入的数据，生成符合所述业务需求的变量；
按照有向无环图的结构对所述变量进行存储，得到变量按照所述有向无环图的结构分布的变量集合。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
获取变量输出请求；
从所述变量集合中查找与所述变量输出请求对应的出度为0的变量；
若查找到，则在所述变量集合中查找与所述与所述变量输出请求对应的出度为0的变量，关联的出度不为0的变量；
将查找到的出度不为0的信贷变及所述与所述变量输出请求对应的出度为0的变量输出。
7.一种数据处理装置，其特征在于，应用于变量中台，该装置包括：
第一获取模块，用于获取业务需求所需数据的类型信息；
调用模块，用于调用预先生成的数据接入模版，所述预先生成的数据接入模版包括：用于实现数据接入的信息配置项；
配置模块，用于基于所述与业务需求所需数据的类型信息，及所述数据接入模版中的信息配置项，配置得到数据接入信息；
接入模块，用于通过所述数据接入信息，从外部数据源接入数据。
8.根据权利要求7所述的装置，其特征在于，所述数据接入模版中的信息配置项，包括：
调用服务配置项及外部数据接口的URL配置项；
所述数据接入信息，包括：调用服务信息及需调用的外部数据接口的URL；
所述接入模块，具体用于：
通过所述需调用的外部数据接口的URL，访问所述需调用的外部数据接口；
通过所述调用服务信息，获取并基于调用服务逻辑，从所述需调用的外部数据接口接入数据。
9.根据权利要求7所述的装置，其特征在于，所述装置还包括：
生成模块，用于基于从外部数据源接入的数据，生成符合所述业务需求的变量；
管理模块，用于按照有向无环图的结构对所述变量进行存储，得到变量按照所述有向无环图的结构分布的变量集合。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
第二获取模块，用于获取变量输出请求；
第一查找模块，用于从所述变量集合中查找与所述变量输出请求对应的出度为0的变量；
第二查找模块，用于若查找到与所述变量输出请求对应的出度为0的变量，则在所述变量集合中查找与所述与所述变量输出请求对应的出度为0的变量，关联的出度不为0的变量；
输出模块，用于将查找到的出度不为0的信贷变及所述与所述变量输出请求对应的出度为0的变量输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010316005.0A CN111523297A (zh) | 2020-04-21 | 2020-04-21 | 一种数据处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010316005.0A CN111523297A (zh) | 2020-04-21 | 2020-04-21 | 一种数据处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111523297A true CN111523297A (zh) | 2020-08-11 |
Family
ID=71903869
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010316005.0A Pending CN111523297A (zh) | 2020-04-21 | 2020-04-21 | 一种数据处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111523297A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111967798A (zh) * | 2020-09-07 | 2020-11-20 | 上海优扬新媒信息技术有限公司 | 实验样本分配的方法及装置、设备及计算机可读存储介质 |
| CN112365345A (zh) * | 2021-01-14 | 2021-02-12 | 北京江融信科技有限公司 | 一种基于dag的多类型授信额度动态管控方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101908178A (zh) * | 2010-08-13 | 2010-12-08 | 广州联奕信息科技有限公司 | 应用于数据交换的中间件及数据交换方法 |
| CN107886429A (zh) * | 2017-11-20 | 2018-04-06 | 上海维信荟智金融科技有限公司 | 信贷服务管理方法及系统 |
| CN108241892A (zh) * | 2016-12-23 | 2018-07-03 | 北京国双科技有限公司 | 一种数据建模方法和装置 |
| CN109978680A (zh) * | 2019-03-18 | 2019-07-05 | 杭州绿度信息技术有限公司 | 一种细分客群信贷业务风控差异化定价的风控方法和系统 |
| CN110113257A (zh) * | 2019-05-14 | 2019-08-09 | 北京京投亿雅捷交通科技有限公司 | 一种基于大数据的统一数据接入网关及实现方法 |
| CN110162560A (zh) * | 2019-04-16 | 2019-08-23 | 深圳壹账通智能科技有限公司 | 金融数据接口对接方法、装置、计算机设备及存储介质 |
| CN110705891A (zh) * | 2019-10-11 | 2020-01-17 | 集奥聚合(北京)人工智能科技有限公司 | 一种基于高可配可变更的数据处理方法 |
| CN110837356A (zh) * | 2018-08-15 | 2020-02-25 | 北京京东尚科信息技术有限公司 | 一种数据处理方法和装置 |
-
2020
- 2020-04-21 CN CN202010316005.0A patent/CN111523297A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101908178A (zh) * | 2010-08-13 | 2010-12-08 | 广州联奕信息科技有限公司 | 应用于数据交换的中间件及数据交换方法 |
| CN108241892A (zh) * | 2016-12-23 | 2018-07-03 | 北京国双科技有限公司 | 一种数据建模方法和装置 |
| CN107886429A (zh) * | 2017-11-20 | 2018-04-06 | 上海维信荟智金融科技有限公司 | 信贷服务管理方法及系统 |
| CN110837356A (zh) * | 2018-08-15 | 2020-02-25 | 北京京东尚科信息技术有限公司 | 一种数据处理方法和装置 |
| CN109978680A (zh) * | 2019-03-18 | 2019-07-05 | 杭州绿度信息技术有限公司 | 一种细分客群信贷业务风控差异化定价的风控方法和系统 |
| CN110162560A (zh) * | 2019-04-16 | 2019-08-23 | 深圳壹账通智能科技有限公司 | 金融数据接口对接方法、装置、计算机设备及存储介质 |
| CN110113257A (zh) * | 2019-05-14 | 2019-08-09 | 北京京投亿雅捷交通科技有限公司 | 一种基于大数据的统一数据接入网关及实现方法 |
| CN110705891A (zh) * | 2019-10-11 | 2020-01-17 | 集奥聚合(北京)人工智能科技有限公司 | 一种基于高可配可变更的数据处理方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111967798A (zh) * | 2020-09-07 | 2020-11-20 | 上海优扬新媒信息技术有限公司 | 实验样本分配的方法及装置、设备及计算机可读存储介质 |
| CN111967798B (zh) * | 2020-09-07 | 2023-10-03 | 度小满科技(北京)有限公司 | 实验样本分配的方法及装置、设备及计算机可读存储介质 |
| CN112365345A (zh) * | 2021-01-14 | 2021-02-12 | 北京江融信科技有限公司 | 一种基于dag的多类型授信额度动态管控方法及系统 |
| CN112365345B (zh) * | 2021-01-14 | 2021-04-13 | 北京江融信科技有限公司 | 一种基于dag的多类型授信额度动态管控方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10812354B2 (en) | Parallel computational framework and application server for determining path connectivity | |
| US20230098818A1 (en) | Systems and methods for conducting more reliable assessments with connectivity statistics | |
| CN102890696B (zh) | 基于社交网络的上下文排序 | |
| CN102682059B (zh) | 用于将用户分配到集群的方法和系统 | |
| CN107741976B (zh) | 智能应答方法、装置、介质和电子设备 | |
| Majithia et al. | Reputation-based semantic service discovery | |
| US20130166601A1 (en) | Systems and methods for conducting reliable assessments with connectivity information | |
| US20090299932A1 (en) | System and method for providing a virtual persona | |
| WO2021260981A1 (ja) | 情報処理装置及び情報処理方法 | |
| WO2018148442A1 (en) | Decision support system and methods associated with same | |
| CN111523297A (zh) | 一种数据处理方法及装置 | |
| Rai et al. | Using open source intelligence as a tool for reliable web searching | |
| CN109324955A (zh) | 一种具有智能推荐功能的it运维系统界面生成方法 | |
| WO2020135420A1 (zh) | 对用户进行分类的方法和装置 | |
| US20180150890A1 (en) | Trust circle through machine learning | |
| CN109635193B (zh) | 一种书籍阅读共享平台 | |
| CN116912039A (zh) | 一种服务平台的管理方法及系统 | |
| Li et al. | A user-oriented trust model for web services | |
| CN109584012A (zh) | 用于生成物品推送信息的方法和装置 | |
| CN117112809B (zh) | 一种知识追踪方法及系统 | |
| Gaur et al. | A ga-tabu based user centric approach for discovering optimal qos composition | |
| Pulikal et al. | Profile Based Service Selection for Cloud Brokering Systems with a Focus on SaaS | |
| CN107291753A (zh) | 一种基于用户的个性化数据搜索方法和装置 | |
| CN111368158A (zh) | 基于人工智能平台的服务查找方法及装置 | |
| Yaswanth et al. | INTERNATIONAL JOURNAL OF ENGINEERING SCIENCES & RESEARCH TECHNOLOGY QoE (S) BASED WEB SERVICE AND PRODUCT ENDORSEMENT USING PARETO OPTIMISATION |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 401121 b7-7-2, Yuxing Plaza, No.5 Huangyang Road, Yubei District, Chongqing Applicant after: Chongqing duxiaoman Youyang Technology Co.,Ltd. Address before: 201800 room j1328, 3 / F, building 8, 55 Huiyuan Road, Jiading District, Shanghai Applicant before: SHANGHAI YOUYANG NEW MEDIA INFORMATION TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211214 Address after: 100193 Room 606, 6 / F, building 4, West District, courtyard 10, northwest Wangdong Road, Haidian District, Beijing Applicant after: Du Xiaoman Technology (Beijing) Co.,Ltd. Address before: 401121 b7-7-2, Yuxing Plaza, No.5 Huangyang Road, Yubei District, Chongqing Applicant before: Chongqing duxiaoman Youyang Technology Co.,Ltd. |