CN107562820A - 一种征信数据的采集方法及系统 - Google Patents

Abstract

本发明提供一种征信数据的采集方法及系统，该方法包括：根据数据配置单元写入接入数据对应的接入配置信息，以形成接入数据对应的接入组件；根据加解密服务单元写入接入数据对应的解密配置信息，以形成接入数据对应的解密组件；根据报文处理单元写入接入数据对应的报文信息，以形成接入数据对应的报文解析组件；根据数据格式化单元写入接入数据对应的数据存储信息，以形成接入数据对应的数据存储组件；根据本次接入数据运行该数据对应的接入组件、解密组件、报文解析组件及数据存储组件以采集本次数据。本发明能够提高征信数据的采集效率并降低采集成本。

Description

一种征信数据的采集方法及系统

技术领域

本发明涉及计算机技术领域，特别涉及一种征信数据的采集方法及系统。

背景技术

信用体系的建设是建设具有中国特色社会主义市场经济的重要组成部分。目前我国已初步建成符合国情的信用记录体系。目前金融行业通过外部征信大数据(数据源来自工商、司法、海关、运营商、航旅等部门)的引用来补充内部数据，解决信息不对称的问题，更好的进行营销及风险控制。

外部征信大数据种类众多、数据来源不同(比如数据源包括数据服务商、政府)、数据结构不同、数据量大等问题。现有的采集方式对每类数据进行硬编码，开发量大，不利于征信数据的后期维护，主要缺陷至少包括：

其一现有技术对每类数据的采集进行硬编码(硬编码是指将可变变量用一个固定值来代替的方法。用这种方法编译后，如果以后需要更改此变量就非常困难。通常情况下，都应该避免使用硬编码方法)提高数据接入的时间、加大数据接入的工作量、不利于维护；

其二后期源数据结构变化后还需要进行代码的重新编写，提升了维护成本。

发明内容

本发明技术方案所解决的技术问题为，如何提高采集征信数据的效率，如何降低采集征信数据的成本。

为了解决上述技术问题，本发明技术方案提供了一种征信数据的采集方法，包括：

根据数据配置单元写入接入数据对应的接入配置信息，以形成接入数据对应的接入组件；

根据加解密服务单元写入接入数据对应的解密配置信息，以形成接入数据对应的解密组件；

根据报文处理单元写入接入数据对应的报文信息，以形成接入数据对应的报文解析组件；

根据数据格式化单元写入接入数据对应的数据存储信息，以形成接入数据对应的数据存储组件；

根据本次接入数据运行该数据对应的接入组件、解密组件、报文解析组件及数据存储组件以采集本次数据。

可选的，所述征信数据的采集方法还包括：预先配置所述数据配置单元以存储各数据对应的接入配置信息；所述根据数据配置单元写入接入数据对应的接入配置信息包括：

根据数据配置单元预先存储的接入配置信息选择本次接入数据对应的接入配置信息。

可选的，所述接入配置信息包括：数据渠道信息、数据接入方式信息、数据接入付费信息及数据接入频率信息中的一种或多种信息。

可选的，所述征信数据的采集方法还包括：预先配置所述加解密服务单元以存储各数据对应的解密配置信息；所述根据加解密服务单元写入接入数据对应的解密配置信息包括：

根据数据配置单元预先存储的解密配置信息选择本次接入数据对应的解密配置信息。

可选的，所述解密配置信息根据接入数据的编码种类确定。

可选的，所述根据报文处理单元写入接入数据对应的报文信息包括：

根据配置接口返回接入数据的格式，解析接入数据；

基于解析后的接入数据输入该数据的节点信息。

可选的，所述节点信息包括：节点编码信息、父节点编码信息、节点名称信息、节点描述信息、子节点信息及节点路径信息中的一种或多种信息。

可选的，所述根据数据格式化单元写入接入数据对应的数据存储信息包括：

配置接入数据存储的数据模型对象；

读入所述数据模型对象的存储任务信息。

可选的，所述存储任务信息包括：任务名称信息、任务类型信息、任务备注信息及存储数据库信息。

可选的，所述根据本次接入数据运行该数据对应的接入组件、解密组件、报文解析组件及数据存储组件以采集本次数据包括：

检测本次接入数据的类型；

根据本次接入数据的类型匹配与该数据对应的接入组件、解密组件、报文解析组件及数据存储组件；

基于匹配的接入组件、解密组件、报文解析组件及数据存储组件完成本次接入数据的采集。

为了解决上述技术问题，本发明技术方案还提供了一种征信数据的采集系统，包括如上所述的接入组件、解密组件、报文解析组件及数据存储组件。

本发明技术方案的有益效果至少包括：

本发明技术方案提供一种征信数据的采集方法及系统，能够将接入数据采集存储方法进行抽象，完成可视化输入处理，实现数据采集、存储的可配置；本发明技术方案将接入数据采集、存储过程组件化，规则化，从而降低采集系统开发、维护成本，一定程度上实现征信数据采集、存储的组件化、规则化、可视化、配置化。

本发明技术方案提供的方法在征信数据接入时，将原有的数据接入流程原子化，每部分功能由硬编码转化成组件配置，如接入组件、解密组件、报文解析组件、数据存储组件等，在通过组件间的串连，即形成征信数据的接入流程。通过组件化的方式将复杂的多元异构数据采集方式，简化成可视化的配置界面，减少硬编码及后期的维护工作量。本发明技术方案通过集成不同功能的组件，将征信数据接入的硬编码工作转换为界面配置，避免使用了现有技术具有缺陷的硬编码接入方式。本发明技术方案内置的组件提供不同类别、不同数据源、不同结构的征信数据接入及解析方式，还减少了征信数据接入时的编码量。根据不同的接入数据，本发明技术方案集成的各种组件具有强大的适应性，灵活的扩展性，可满足不同接入数据的采集需要，适用各种类型的征信数据的采集。

本发明技术方案将不同的数据来源(接口方式、爬取方式、批量文本导入方式等)、不同数据结构(即接入数据的格式，包括批量文本数据、XML格式数据、JSON格式数据等)、不同的数据交互协议(FTP、HTTP、SOAP等)高度集成；通过对不同数据结构进行数据存储模型规范化，形成标准的数据视图。在通过可视化的配置工具进行海量、多元、异构征信数据的采集和存储管理。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其他特征、目的和优点将会变得更明显：

图1为本发明技术方案提供的一种服务单元集合的结构示意图；

图2为本发明技术方案提供的一种征信数据的采集方法流程示意图；

图3为本发明技术方案提供的另一种征信数据的采集方法流程示意图；

图4为本发明技术方案提供的对数据配置单元进行组件功能选择的可视化界面示意图；

图5为本发明技术方案提供的又一种征信数据的采集方法流程示意图；

图6为本发明技术方案提供的对加解密服务单元进行组件功能选择的可视化界面示意图；

图7为本发明技术方案提供的对报文处理单元进行组件功能选择的可视化界面示意图；

图8为本发明技术方案提供的对数据格式化单元进行组件功能选择的可视化界面示意图；

图9为本发明技术方案提供的接入数据时功能组件运行过程流程示意图；

图10为本发明技术方案提供的一种征信数据的采集系统结构示意图；

图11为本发明技术方案提供的接入数据时采集系统运行示意图。

具体实施方式

为了更好的使本发明的技术方案清晰的表示出来，下面结合附图对本发明作进一步说明。

现有技术中，为了应对外部征信数据种类众多，数据来源复杂的问题，只能针对每种征信数据进行硬编码以进行采集。上述采集征信数据的方式不仅开发量大，而且硬编码不易修正，不利于征信数据的后期维护，如果征信数据的数据源及数据结构发生变化，只能对该类数据的编码进行重新编写，大大提升了采集数据及其维护成本。

本发明技术方案为了解决上述现有技术的采集缺陷，进行了如下构思：依据征信数据不同的数据来源(接口方式、爬取方式、批量文本导入方式等)、不同数据结构(批量文本数据、XML格式数据、JSON格式数据等)、不同的数据交互协议(FTP、HTTP、SOAP等)高度集成；通过对不同数据结构进行数据存储模型规范化，形成标准的数据视图。在通过可视化的配置工具进行海量、多元、异构征信数据的采集和存储管理。

本发明技术方案通过开发如下功能模块，以实现上述技术构思，即包括采集体系架构中的服务组件。

服务组件，也即采集体系架构中的功能单元，或称之为模块，本发明技术方案所涉及的所有的服务与异构数据源都是以组件的形式插入到服务平台中，组件通过统一的总线来相互通信，相互之间不直接通信。服务平台不但用来注册和注销服务，而且它还具有相应的平台管理功能对这些“插入”的组件进行管理，同时也对自身内部环境进行管理。这些组件可为来自第三方的终端用户所用，尤其在应用系统集成时遇到问题时，它们可以提供一些通用的或标准的功能。在本发明技术方案中，所述服务组件可以分为两种不同的类型：

服务引擎(Service Engine[SE])服务引擎既为其他组件提供了业务逻辑和数据转换服务，同时也消费这些服务。服务引擎可以集成基于Java的应用(和其他资源)或提供了Java API接口的应用。服务引擎系统中表现为业务逻辑驱动，可以编排服务的消费和提供，例如在一个长时间的业务处理进程中，既可以提供服务同时自身也消费服务。服务引擎可以提供简单的服务，如数据转换；也可以提供复杂的路由或EDI服务，如消息验证。同时服务引擎还可以通过聚合其他服务来构造新的服务。WS-BPEL语言正是使用的这种重要的合成模式，通过多个服务构造复杂的处理过程。

绑定组件(Binding Component[BC])绑定组件为特定环境下的服务提供了连通性，。绑定组件主要是集成了Java环境不能提供标准化访问技术的应用或其他资源。因此可以设计一个绑定组件，根据特定协议和传输器发送和接收消息，同时可以把消息在特定于协议的格式和规格化格式之间进行转换，使系统只需处理规格化消息，从而把系统与特定协议分离。服务引擎和绑定组件可以是服务提供者，服务消费者或两者兼具。服务引擎和绑定组件基于合理的架构原则，但两者之间的差别完全由实际应用决定。把业务处理逻辑同通信逻辑分离降低了实现的复杂度并提高了灵活性。

通过上述组件类型的添加、并设定组件间的数据通信，可以实现数据资源集合与消息交换的实现。具体的，当组件安装到系统中时，用户还可以为安装的引擎或绑定组件提供与组件功能相关的资源，这些资源称为服务单元(Service Units)。服务集合(ServiceAssembly)就是一个或者多个服务单元组合成的部署文件。服务集合包含一个部署描述符，用于指明每个服务单元所要部署到的目标组件。因此服务组件与服务集合的区别，就是服务集合是根据特定的应用为组件运行添加相关的描述信息，从而定制组件。任何服务都是由组件使用WSDL1.1或2.0规范进行描述的，WSDL为基于XML的消息交换提供了一种抽象的，独立于特定技术的服务模型。WSDL也为服务消费者和环境本身提供了一种声明额外的服务元数据的机制，组件可以通过各个容器查询可用的WSDL描述的服务。

服务集合的内部结构示例可参考图1，当每一个服务集合添加了描述符即规定了其提供及部署到的目标组件，即代表了一个定制应用功能的服务组件。

结合图1，其示意了如下单元服务集合：

数据源服务单元集合，其包括数据源信息管理单元及连接方式单元，当其被进行功能描述并添加了描述符，则可对应部署至数据源接入组件，形成征信数据的接入功能组件。

报文处理服务单元集合，其包括XML数据格式处理单元、JSON数据格式处理单元、TXT数据格式处理单元等，当其被进行功能描述并添加了描述符，则可对应部署至报文处理组件，形成征信数据报文处理的功能组件。

加密解密服务单元集合，其包括DES数据加解密单元、BSAE64数据加解密单元、MD5数据加解密单元等，当其被进行功能描述并添加了描述符，则可对应部署至数据加解密组件，形成征信数据加解密的功能组件。

数据访问服务单元集合，其包括访问权限单元、数据视图单元、访问策略单元等，当其被进行功能描述并添加了描述符，则可对应部署至数据访问服务组件，形成征信数据访问服务的功能组件。

数据存储服务单元集合，其包括生命周期策略单元、迁移策略单元、任务调度单元等，当其被进行功能描述并添加了描述符，则可对应部署至数据存储服务组件，形成征信数据存储服务的功能组件。

数据格式化单元集合，其包括数据可视化单元、数据存储模型单元、数据校验单元等，当其被进行功能描述并添加了描述符，则可对应部署至数据格式化服务组件，形成征信数据格式化服务的功能组件。

由于上述单元及单元集合被添加了功能描述及描述符，则可实现针对于不同类型数据的个性化调用，以形成针对不同类型数据的功能组件。当接入数据类型需要更改时，只需要根据更改类型及其他描述语言指引，即可调用及运行针对本次采集数据所对应的功能组件。

以下结合实例说明本发明技术方案的理念与精髓。

作为本发明技术方案的一个具体实施例，如图2所示的是一种征信数据的采集方法，包括如下步骤：

步骤S100，根据数据配置单元写入接入数据对应的接入配置信息，以形成接入数据对应的接入组件；

步骤S101，根据加解密服务单元写入接入数据对应的解密配置信息，以形成接入数据对应的解密组件；

步骤S102，根据报文处理单元写入接入数据对应的报文信息，以形成接入数据对应的报文解析组件；

步骤S103，根据数据格式化单元写入接入数据对应的数据存储信息，以形成接入数据对应的数据存储组件；

步骤S104，根据本次接入数据运行该数据对应的接入组件、解密组件、报文解析组件及数据存储组件以采集本次数据。

在本实施例中，所示单元可以是单元集合，也可以是单独的一个单元，其配置适于单元是被组合使用，还是单独使用。结合图1所示的单元结构，可以认为本实施例所述单元为单元集合的概念。

本发明技术方案所写入至各单元的信息可以是根据单元预制的描述语言，本发明技术方案的写入过程可以是选择需要部署运行的组件所对应的描述语言，也可以是直接写入所需要的组件描述语言以选择所需组件。

在本实施例的应用过程中，步骤S100～S103之间的执行顺序可以不分先后，但是在引导性的软件流程下，其写入顺序可以按步骤S100～S103的步骤序号进行排列，以起到引导用户做出选择的作用。

在本实施例的应用过程中，步骤S104即服务发布，也即包括将接入组件、解密组件、报文解析组件及数据存储组件配置好，发布到生产环境后，即可以自动进行此类征信数据的采集。

上述实施例是对征信数据，也即接入数据的采集配置及运行的过程，作为上述实施例所对应的数据处理过程，其数据的存储及访问方式也是类似的，即包括：

根据数据存储服务单元、数据访问服务单元、加解密单元及报文处理单元写入采集数据对应的存储配置信息、访问配置信息、加密配置信息及报文处理信息，以形成存储服务组件、访问服务组件、加密组件及报文处理组件。

当接入数据采集后，需要运行该采集数据对应的存储服务组件、加密组件及报文处理组件，以存储采集数据。

当用户需要访问存储数据时，需要运行该存储数据对应的访问服务组件、解密组件及报文解析组件，以访问存储数据。

也就是说，利用本发明技术方案的思路，征信数据的采集、存储及访问都是可以实现灵活配置与实时发布组件及修改组件类型的。

如图3所示的是本发明技术方案的另一则实例，该征信数据的采集方法不同于前例的是，还包括：

步骤S105，预先配置所述数据配置单元以存储各数据对应的接入配置信息。

所述根据数据配置单元写入接入数据对应的接入配置信息包括：

根据数据配置单元预先存储的接入配置信息选择本次接入数据对应的接入配置信息。

在本实施例中，所述预先配置即根据单元的描述内容对单元可选组件功能在可视化界面中予以显示，以供用户选择运行组件的功能。

结合图4，图4是对数据配置单元进行组件功能选择的可视化界面，该服务单元的配置过程包括但不限于：

1)配置数据源管理，包括数据源渠道、数据源接入方式(批量、逐笔)、接入计费方式、接入频率等；

2)配置数据源连接协议及协议相关信息(FTP/SOAP/HTTP/SOCKET协议，以及协议对应的IP、端口、用户认证信息等)；

3)通过连接配置流程进行到下一个服务单元。

根据本实施例的实施方案，所述接入配置信息可以包括：数据渠道信息、数据接入方式信息、数据接入付费信息及数据接入频率信息中的一种或多种信息。而图4中则全部包括。

如图5所示的是本发明技术方案的另一则实例，该征信数据的采集方法不同于前例的是，该征信数据的采集方法还包括：

步骤S106，预先配置所述加解密服务单元以存储各数据对应的解密配置信息。

所述根据加解密服务单元写入接入数据对应的解密配置信息包括：

根据数据配置单元预先存储的解密配置信息选择本次接入数据对应的解密配置信息。

步骤S106可以与如图2所示的技术方案结合，也可以与如图3所示的技术方案结合，图5示意的是前者，在与图3所示的技术方案结合时，步骤S106与S105没有前后顺序执行关系，其执行的顺序可以任意。

类似的，在本实施例中，所述预先配置的解密配置信息即根据单元的描述内容对单元可选组件功能在可视化界面中予以显示，以供用户选择运行组件的功能。

结合图6，图6是对加解密服务单元进行组件功能选择的可视化界面，该服务单元的配置过程包括但不限于：

1)对返回的数据报文进行解密配置；

2)通过连接配置流程进行到下一个服务单元。

根据本实施例的实施方案，所述解密配置信息可以是根据接入数据的编码种类确定的描述性功能语言，其指向对应加解密单元，比如Base64加解密单元，DES加解密单元，3DES加解密单元，AES加解密单元，TDEA加解密单元，Blowfish加解密单元，RC5加解密单元，IDEA加解密单元，其描述语言的具体方式可参看图6。

结合本发明技术方案的前述实例，对本发明技术方案的报文处理单元及数据格式化单元也可以采用信息预置的配置方式，即预先将上述单元对应的报文信息、数据存储信息预先配置至上述单元的可选组件的可视化界面并显示，以供用户选择配置并发布。这对于本发明技术方案范畴内的所有功能单元/单元集合的信息配置方案都是可以通用的。

结合图7，图7是对报文处理单元进行组件功能选择的可视化界面，该服务单元的配置过程包括但不限于：

根据配置接口返回接入数据的格式，解析接入数据；

基于解析后的接入数据输入该数据的节点信息。

结合图7的实例，其中报文处理单元配置接口返回数据格式为XML格式，并通过组件进行解析，并连接到下一个服务单元。所述解析过程中输入的节点信息包括：节点编码为Gender、父节点编码为personalIdentity，节点描述为性别，节点别名为C。

在图7的实例中，所述节点信息可包括：节点编码信息、父节点编码信息、节点名称信息、节点描述信息、子节点信息及节点路径信息。在其他实例中，所述节点信息可包括上述节点信息中的一种或多种。

图8是对数据格式化单元进行组件功能选择的可视化界面，该服务单元的配置过程包括但不限于：

配置接入数据存储的数据模型对象；

读入所述数据模型对象的存储任务信息。

结合图8的实例，其中数据存储的数据模型对象为SQL任务/存储过程，任务名称为司法数据保存，任务批注为将司法数据直接存储到数据库司法数据表中，数据库名称为OUTDATA，并通过连接配置流程进行到下一个服务单元；

在图8的实例中，所述存储任务信息包括：任务名称信息、任务类型信息、任务备注信息及存储数据库信息。根据实例的需要，可对上述存储任务信息进行变更或扩展。

针对本发明技术方案的上述实例的步骤S104，其描述了接入数据时功能组件运行过程，其中包括针对本次接入数据类型的组件发布及组件运行，结合图9，包括如下步骤：

步骤S200，检测本次接入数据的类型；

步骤S201，根据本次接入数据的类型匹配与该数据对应的接入组件、解密组件、报文解析组件及数据存储组件；

步骤S202，基于匹配的接入组件、解密组件、报文解析组件及数据存储组件完成本次接入数据的采集。

在上述过程中，所述接入数据的类型包括：不同类别、不同数据源、不同结构的征信数据，由于本发明技术方案提供了针对不同类型接入数据的组件配置来完成数据的接入及解析，能够在接入数据时检测数据类型并调用不同功能组件，在接入数据变更时，也可以在对应功能单元的可视化窗口对有关接入数据的配置信息进行变更，从而快速发布及运行匹配的组件，实现接入数据采集功能的完美对接。

在描述了采集数据的存储及存储数据的访问时，其相关功能组件运行过程也是类似的，即根据采集数据的类型，调用与采集数据类型匹配的存储服务组件、加密组件及报文处理组件完成采集数据的存储；或者，根据存储数据的类型，调用与存储数据类型匹配的访问服务组件、解密组件及报文解析组件完成存储数据的访问，其原理及过程都是类似的，此处不再赘述。

基于本发明技术方案的上述实例，本实施例提供一种征信数据的采集系统，如图10所示，包括实现上述实例功能的接入组件、解密组件、报文解析组件及数据存储组件。

结合上述系统的一则实例，如图11所示的是接入数据时采集系统运行示意图：

接入数据为某类司法数据，结合该采集系统，其采集服务流程为：

1、运行接入组件，通过HTTP协议接口进行对接某数据服务商的司法数据采集接入；

2、运行解密组件，基于对数据返回报文进行解密，加密方法为BASE64；

3、运行报文解析组件对数据返回报文进行解析，报文格式为XML、

4、运行数据存储组件，将解析后的数据保存到数据库。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (11)

1.一种征信数据的采集方法，其特征在于，包括：

根据数据配置单元写入接入数据对应的接入配置信息，以形成接入数据对应的接入组件；

根据加解密服务单元写入接入数据对应的解密配置信息，以形成接入数据对应的解密组件；

根据报文处理单元写入接入数据对应的报文信息，以形成接入数据对应的报文解析组件；

根据数据格式化单元写入接入数据对应的数据存储信息，以形成接入数据对应的数据存储组件；

根据本次接入数据运行该数据对应的接入组件、解密组件、报文解析组件及数据存储组件以采集本次数据。

2.如权利要求1所述的征信数据的采集方法，其特征在于，还包括：预先配置所述数据配置单元以存储各数据对应的接入配置信息；所述根据数据配置单元写入接入数据对应的接入配置信息包括：

根据数据配置单元预先存储的接入配置信息选择本次接入数据对应的接入配置信息。

3.如权利要求1或2所述的征信数据的采集方法，其特征在于，所述接入配置信息包括：数据渠道信息、数据接入方式信息、数据接入付费信息及数据接入频率信息中的一种或多种信息。

4.如权利要求1所述的征信数据的采集方法，其特征在于，还包括：预先配置所述加解密服务单元以存储各数据对应的解密配置信息；所述根据加解密服务单元写入接入数据对应的解密配置信息包括：

根据数据配置单元预先存储的解密配置信息选择本次接入数据对应的解密配置信息。

5.如权利要求1或4所述的征信数据的采集方法，其特征在于，所述解密配置信息根据接入数据的编码种类确定。

6.如权利要求1所述的征信数据的采集方法，其特征在于，所述根据报文处理单元写入接入数据对应的报文信息包括：

根据配置接口返回接入数据的格式，解析接入数据；

基于解析后的接入数据输入该数据的节点信息。

7.如权利要求6所述的征信数据的采集方法，其特征在于，所述节点信息包括：节点编码信息、父节点编码信息、节点名称信息、节点描述信息、子节点信息及节点路径信息中的一种或多种信息。

8.如权利要求1所述的征信数据的采集方法，其特征在于，所述根据数据格式化单元写入接入数据对应的数据存储信息包括：

配置接入数据存储的数据模型对象；

读入所述数据模型对象的存储任务信息。

9.如权利要求8所述的征信数据的采集方法，其特征在于，所述存储任务信息包括：任务名称信息、任务类型信息、任务备注信息及存储数据库信息。

10.如权利要求1所述的征信数据的采集方法,其特征在于，所述根据本次接入数据运行该数据对应的接入组件、解密组件、报文解析组件及数据存储组件以采集本次数据包括：

检测本次接入数据的类型；

根据本次接入数据的类型匹配与该数据对应的接入组件、解密组件、报文解析组件及数据存储组件；

基于匹配的接入组件、解密组件、报文解析组件及数据存储组件完成本次接入数据的采集。

11.一种征信数据的采集系统，其特征在于，包括如权利要求1至10任一项所述的接入组件、解密组件、报文解析组件及数据存储组件。