CN111027284B - 一种基于数据灵活接入标准化输出方法 - Google Patents

Abstract

本发明提出了一种基于数据灵活接入标准化输出方法，包括：步骤S1，接收用户选择的数据类型；步骤S2，根据用户选择的数据类型，设置接入方式；步骤S3，根据选择的接入方式，将用户需要的数据源接口接入，以接入对应的数据；步骤S4，对接入的数据格式进行判断识别；步骤S5，将识别得到的多种格式的原始数据，按照预设的数据格式进行标准化转换；步骤S6，生成预设的数据格式的接口，输出转换后的数据，以得到符合预设的数据格式的数据。本发明提供数据接口管理可灵活配置，是实现数据调用的一个重要节省成本的功能，提供数据范围可配置，实现调用范围的可控，将会节省企业调用数据的成本以及精力。

Description

一种基于数据灵活接入标准化输出方法

技术领域

本发明涉及数据管理技术领域，特别涉及一种基于数据灵活接入标准化输出方法。

背景技术

随着互联网发展，各种各样的数据不断充斥着我们的生活，现如今已经有越来越多的公司和机构需要接入各种各样的数据，以满足该公司、机构对其他公司、其他团体的了解以及筛选。例如济南农村商业银行需要接入政府公积金数据对客户进行评级，新华保险需要接入社保中心的数据为其进行服务，武汉银行需要接入省建委的数据进行分析等等，而且一般情况下企业用户都是要接入多种数据才能满足其自身的需求。

具体来说，支撑这些场景需求的数据调用系统，面临大致相同的技术挑战：

1.由于各种数据协议拥有的优势不同，各企业应用的数据格式也是非常多样的，企业用户在接入其他机构数据的时候，首先面临的问题就是数据格式的转换，企业用户可能会遇到的不同类型的数据格式包括：Jdbc、SOAP、xml、json、FTP、Restful API。一个企业只有将其他企业的数据格式转换成自己常用的格式才能进行出具处理等工作。然而将各个企业不同格式的数据进行转换并且对接的工作错综复杂，传统的做法是针对不同格式的数据进行定制化开发，这种方式大大延长了数据传输的周期。另外，数据传输方式也存在多样性问题，包括并行传输、串行传输、异步传输、同步传输、单工传输、半双工数据传输、全双工数据传输等类别，不同的数据传输方式的不同必定会影响数据传输的时间、周期等要素。传统的数据格式转换是需要开发人员通过程序进行处理，需要过多的研发人员参入和过程繁琐费事。

2.数据库协议类型多样性，导致各个数据库之间的数据不能交互处理，在表面上看：企业能拿到数据，但是不能处理数据。一般情况下企业会单独开发数据库协议接口使各个数据之间实现数据交互，但是需要其针对每种数据源需要定制化开发对接应用系统，开发过程存在周期长、程繁琐等问题，已经远远不能满足现在快速发展的需要。

3.企业调用数据需要支付一定费用，通常调用多种数据才能满足企业的需要，但是一些情况下，企业不需要调用全部接入的数据也可满足需求，为解决这样的困难，企业只能靠人为操作提高某些数据调用的优先级，存在不灵活、耗费人力资源的现象。

4.容错机制，在数据调用过程中存在数据源或者网络不稳定的特殊情况，在出现特殊情况的时候(如：断网、调用数据不成功)，如何将数据调用工作进行下去成为一个亟待解决的问题。

5.在调用数据过程中，企业对需要的各个数据使用范围的控制也是一个企业比较节省成本的一个功能，企业使用一项数据往往是这项数据的一部分，不会全部使用，如何实现调用范围可控是当前需要解决的技术问题。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种基于数据灵活接入标准化输出方法

为了实现上述目的，本发明的实施例提供一种基于数据灵活接入标准化输出方法，包括：

步骤S1，接收用户选择的数据类型；

步骤S2，根据用户选择的数据类型，设置接入方式；

步骤S3，根据选择的接入方式，将用户需要的数据源接口接入，以接入对应的数据；

步骤S4，对接入的数据格式进行判断识别；

步骤S5，将识别得到的多种格式的原始数据，按照预设的数据格式进行标准化转换；

步骤S6，生成预设的数据格式的接口，输出转换后的数据，以得到符合预设的数据格式的数据。

进一步，在所述步骤S2中，所述接入方式包括：

(1)数据源管理：接入用户授权管理的数据，管理第三方数据源接入，支持用户登录验证，支持连接时长控制，支持参数配置，支持系统参数和在线联调测试；

(2)源接口管理：接入软件拥有公司已经授权管理的数据，管理数据源下的数据接口接入，配置数据源下各种数据接口，支持多种请求方式，数据接口返回代码及代码值，支持数据加密、数据接口在线热插拔，支持接口联调测试。

进一步，在所述步骤S4中，所述数据格式包括：Restful API、JDBC、FTP、Socket、WebService、ESB。

进一步，在所述步骤S6中，将原始数据转换为一种或多种预设的数据格式。

进一步，在所述步骤S6中，对接口进行优先级配置，以实现接口的优先调用。

进一步，将费用较低的接口优先级调高，费用较高的接口调低，当费用较低的接口成功返回数据时，将不再调用费用较高的接口；

当优先级较高的接口故障时，进行容错处理，如果该接口无响应，再继续顺序调用，依次类推直到最后一层。

进一步，在数据调用中，设置缓存机制，设置原始接口的缓存天数，缓存主键是接口名+KeyID，当该KeyID的接口在有效性期内，直接调用上次的缓存，否则调用数据源；当在有效期内，使用缓存速度远高于原始接口的速度。

进一步，还包括如下步骤：向用户提供在线查看使用日志，查看用户在各时间调用的具体接口的数据格式、输入参数、输出参数和当时调用状态。

进一步，还包括如下步骤：统计展示以下数据：

(1)当日调用的源接口总次数、成功次数和失败次数；

(2)数据源各时间调用情况和排名；

(3)源接口调用占比，分别从成功、失败维度统计和总调用量统计。

根据本发明实施例的基于数据灵活接入标准化输出方法,可以支持多种类型的数据协议接入配置，这些数据协议的类型包括Restful API、JDBC、FTP、Socket、WebService、ESB；实现接口管理，将多种格式的原始数据，按照用户的自定义的数据项标准化输出；用户可配置输出数据范围，并集或者交集可由用户自行配置。本发明能满足用户多种个性化开发场景，使得用户不用进行研发介入即可实现转换数据格式的目的，并且能同时接入用户需要的多个数据，并根据用户的个性化需求，而产生用户需要的数据接口，将数据进行高效地输出。本发明提供数据接口管理可灵活配置，是实现数据调用的一个重要节省成本的功能。本发明提供数据范围可配置，实现调用范围的可控，将会节省企业调用数据的成本以及精力。

本发明可以使企业在调用数据过程中清除数据格式多样化带来的障碍，打通不同类型数据库之间的交互通道，满足企业在调用数据过程中的节省成本、容错、数据范围可配置等需求。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于数据灵活接入标准化输出方法的流程图；

图2为根据本发明实施例的基于数据灵活接入标准化输出方法的示意图；

图3为根据本发明实施例的整个数据在“数据源管理”、“源接口管理”、“接口管理”三个模块间流转的示意图；

图4为根据本发明实施例的“计费中心”、“监控中心”、“用户管理”三模块之间的关系；

图5为根据本发明实施例的数据源管理的示意图；

图6为根据本发明实施例的源接口管理的示意图；

图7为根据本发明实施例的接口管理的示意图；

图8a和图8b为根据本发明实施例的软件首页界面图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本发明提出一种基于数据灵活接入标准化输出方法，可以灵活调用并满足企业基本数据处理需求，可集成为一个集智插线板。

如图1和图2所示，本发明实施例的基于数据灵活接入标准化输出方法，包括：

步骤S1，接收用户选择的数据类型。

具体的，在本步骤中，用户首先确定自己需要的数据有哪些，例如：企业用户需要数据1、数据2、数据3、数据4等。

步骤S2，根据用户选择的数据类型，设置接入方式。

具体的，接入方式包括：

(1)数据源管理：接入用户授权管理的数据，管理第三方数据源接入，支持用户登录验证，支持连接时长控制，支持参数配置，支持系统参数和在线联调测试等，如图5所示；

(2)源接口管理：接入软件拥有公司已经授权管理的数据，管理数据源下的常用数据接口接入，该模块可灵活配置数据源下各种数据接口，支持多种请求方式，数据接口返回代码及代码值可灵活配置，支持数据加密、数据接口在线热插拔，支持接口联调测试等，如图6所示。

根据数据的种类确定该数据是通过“数据源管理”还是通过“源接口管理”接入本发明。

步骤S3，根据选择的接入方式，将用户需要的数据源接口接入，以接入对应的数据。

具体的，根据选择的数据源管理和源接口管理方式，将用户需要的数据源接口接入，从而将数据接入到本发明的平台中。

步骤S4，对接入的数据格式进行判断识别。

在本发明的实施例中，将多种数据格式转换的方式进行融合，数据格式包括：Restful API、JDBC、FTP、Socket、WebService、ESB等，从而大大提升了用户在使用不同数据格式时的便利性，也缩短了数据接入的周期。

需要说明的是，本发明支持的数据格式不限于上述举例，还可以包括其他类型的数据格式，在此不再赘述。

步骤S5，将识别得到的多种格式的原始数据，按照预设的数据格式进行标准化转换。即，将多种格式的原始数据，按照企业用户的自定义的数据项标准化转换。

步骤S6，生成预设的数据格式的接口，输出转换后的数据，以得到符合预设的数据格式的数据。

具体的，本发明可以将转换后的数据进行输出，用户可以在“接口管理”获得自己需要的特定数据格式的接口，可以配置和源接口一对一的输出，也可配置一个对多个源接口，如图7所示。

在本步骤中，支持将原始数据转换为一种或多种预设的数据格式。在数据输出过程中，用户可以根据自己的需求，既可以将一种数据格式转换成自己需要的一种数据格式，也可以将一种数据格式同时转换成多种数据格式。

参考图3所示，公司1、公司2、公司3和公司4作为提供数据的公司，其中，数据源管理中，公司1和公司2分别提供数据1和数据2；在源接口管理中，接入软件拥有公司已经授权管理的数据，即公司3和公司4，提供数据3和数据4。其中，数据1、数据2、数据3和数据4均为用户需要的数据。然后进行数据格式转换及处理，分别生成新数据1、新数据2、新数据3和新数据4，输出为用户所需格式的接口。

参考图4，后台提供数据源管理和源接口管理。计费中心和监控中心实现将用户需要的数据转换为用户所需的数据，然后输出日志、导出列表、数据使用明细等。将输出得到的用户需要的数据提供至用户中心的相应用户。需要说明的是，用户中心的用户数量，可以根据需要进行添加设置。

输出数据范围可配置：当用户需要同时使用两个或更多源数据的并集或交集时，可以在一个模板中配置多个数据接口，灵活配置每个接口的返回值，可以是多个接口的并集也可以是交集。

在本发明的实施例中，实现接口的灵活配置，对接口进行优先级配置，以实现接口的优先调用。

具体的，将费用较低的接口优先级调高，费用较高的接口调低，当费用较低的接口成功返回数据时，将不再调用费用较高的接口。

容错机制：当优先级较高的接口故障时，进行容错处理，如果该接口无响应，再继续顺序调用，依次类推直到最后一层。

其中，接口故障包括：网络或数据接口不稳定，在设置的规定的时间内无响应。

综上，在识别出数据格式类型后，再根据用户确定的自己需要的数据格式类型，进行指定数据格式的接口生成，也可以将一种数据同时输出多种格式的数据。

在本发明的的进一步实施例中，在数据调用中，设置缓存机制。由于外部数据源的一般根据使用次数收费，部分数据在一定时间内调用过，下次无需再调用原始接口，可直接使用上次的数据。针对这种情况，本发明设置缓存机制，可以灵活设置原始接口的缓存天数，缓存主键是接口名+KeyID，当该KeyID的接口在有效性期内，直接调用上次的缓存，否则调用数据源；当在有效期内，使用缓存速度远高于原始接口的速度。

此外，本发明实施例的基于数据灵活接入标准化输出方法，还包括如下步骤：向用户提供在线查看使用日志，查看用户在各时间调用的具体接口的数据格式、输入参数、输出参数和当时调用状态。

具体的，用户在通过本发明使用数据的时候，需要收取用户费用，本发明可实现：统计数据源、源接口和接口使用情况，在线查看使用日志，查看具体用户在某时间调用的具体接口，传入参数和输出参数，当时调用状态等。

此外，本发明可以提供用户调用数据的状态：用于管理员监控数据源、源接口和数据接口的调用情况，是否成功，在线查看日志详情，可实时根据条件查看用户的调用数据情况。并且，管理员可以在“用户中心”配置用户使用权限，没有经过授权，不能使用本发明的平台进行处理。

并且，本发明实施例的基于数据灵活接入标准化输出方法，还包括如下步骤：统计展示系统整体使用情况的部分，统计数据源和接口调用情况。其中，统计展示以下数据：

(1)当日调用的源接口总次数、成功次数和失败次数；

(2)数据源各时间调用情况和排名，例如提取最多的前6个数据的排名；

(3)源接口调用占比，分别从成功、失败维度统计和总调用量统计。

图8a和图8b为根据本发明实施例的软件首页界面图。

根据本发明实施例的基于数据灵活接入标准化输出方法,可以支持多种类型的数据协议接入配置，这些数据协议的类型包括Restful API、JDBC、FTP、Socket、WebService、ESB；实现接口管理，将多种格式的原始数据，按照用户的自定义的数据项标准化输出；用户可配置输出数据范围，并集或者交集可由用户自行配置。本发明能满足用户多种个性化开发场景，使得用户不用进行研发介入即可实现转换数据格式的目的，并且能同时接入用户需要的多个数据，并根据用户的个性化需求，而产生用户需要的数据接口，将数据进行高效地输出。本发明提供数据接口管理可灵活配置，是实现数据调用的一个重要节省成本的功能。本发明提供数据范围可配置，实现调用范围的可控，将会节省企业调用数据的成本以及精力。

本发明可以使企业在调用数据过程中清除数据格式多样化带来的障碍，打通不同类型数据库之间的交互通道，满足企业在调用数据过程中的节省成本、容错、数据范围可配置等需求。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。

Claims (5)

1.一种基于数据灵活接入标准化输出方法，其特征在于，包括：

步骤S1，接收用户选择的数据类型；

步骤S2，根据用户选择的数据类型，设置接入方式；其中，所述接入方式包括：

(1)数据源管理：接入用户授权管理的数据，管理第三方数据源接入，支持用户登录验证，支持连接时长控制，支持参数配置，支持系统参数和在线联调测试；

(2)源接口管理：接入软件拥有公司已经授权管理的数据，管理数据源下的数据接口接入，配置数据源下各种数据接口，支持多种请求方式，数据接口返回代码及代码值，支持数据加密、数据接口在线热插拔，支持接口联调测试；

步骤S3，根据选择的接入方式，将用户需要的数据源接口接入，以接入对应的数据；

步骤S4，对接入的数据格式进行判断识别；

步骤S5，将识别得到的多种格式的原始数据，按照预设的数据格式进行标准化转换；其中，对接口进行优先级配置，以实现接口的优先调用；将费用低的接口优先级调高，费用高的接口优先级调低，当费用低的接口成功返回数据时，将不再调用费用高的接口；

当优先级高的接口故障时，进行容错处理，如果该接口无响应，再继续顺序调用，依次类推直到最后一层；

在数据调用中，设置缓存机制，设置原始接口的缓存天数，缓存主键是接口名+KeyID，当该KeyID的接口在有效性期内，直接调用上次的缓存，否则调用数据源；当在有效期内，使用缓存速度高于原始接口的速度；

步骤S6，生成预设的数据格式的接口，输出转换后的数据，以得到符合预设的数据格式的数据；

其中，将转换后的数据进行输出，用户在接口管理获得自己需要的特定数据格式的接口，配置和源接口一对一的输出，或者配置一个对多个源接口；

支持将原始数据转换为一种或多种预设的数据格式；在数据输出过程中，用户根据自己的需求，既将一种数据格式转换成自己需要的一种数据格式，也将一种数据格式同时转换成多种数据格式；

后台提供数据源管理和源接口管理；计费中心和监控中心实现将用户需要的数据转换为用户所需的数据，然后输出日志、导出列表、数据使用明细；将输出得到的用户需要的数据提供至用户中心的相应用户；用户中心的用户数量根据需要进行添加设置；当用户需要同时使用两个或更多源数据的并集或交集时，在一个模板中配置多个数据接口，灵活配置每个接口的返回值，是多个接口的并集也是交集。

2.如权利要求1所述的基于数据灵活接入标准化输出方法，其特征在于，在所述步骤S4中，所述数据格式包括：RestfulAPI、JDBC、FTP、Socket、WebService、ESB。

3.如权利要求1所述的基于数据灵活接入标准化输出方法，其特征在于，在所述步骤S6中，将原始数据转换为一种或多种预设的数据格式。

4.如权利要求1所述的基于数据灵活接入标准化输出方法，其特征在于，还包括如下步骤：向用户提供在线查看使用日志，查看用户在各时间调用的具体接口的数据格式、输入参数、输出参数和当时调用状态。

5.如权利要求1所述的基于数据灵活接入标准化输出方法，其特征在于，还包括如下步骤：统计展示以下数据：

(1)当日调用的源接口总次数、成功次数和失败次数；

(2)数据源各时间调用情况和排名；

(3)源接口调用占比，分别从成功、失败维度统计和总调用量统计。