CN109299173A - 数据传输方法、装置及存储介质 - Google Patents

Abstract

本发明涉及大数据技术，提供了一种数据传输方法、装置及计算机可读存储介质。该方法包括：建立数据中转平台，接收各关联系统发送的数据信息；对具有依赖关系的数据信息按照生成时间的先后顺序进行排序，并按照预设转换规则将排序后的数据信息转换为外部系统接受的数据形式；调用外部系统接口将转换后的数据信息发送至所述外部系统。通过对各关联系统发送的数据信息进行统一的处理，可以消除各关联系统与外部系统的架构差异和数据表现形式差异对数据传输造成的影响，并保证数据传输有序可控。因此，利用本发明，可以消除外部系统变更对关联系统造成的影响，并提高数据传输质量。

Description

数据传输方法、装置及存储介质

技术领域

本发明涉及数据处理和传输技术领域，尤其涉及一种数据传输方法、装置及计算机可读存储介质。

背景技术

随着计算机技术的发展和大数据时代的到来，数据传输技术越来越受到人们的重视。对于多个系统间的数据传输，目前大多是通过各自调用系统接口来传输数据。然而各系统在数据的存储方式和表达形式上可能存在差异，软件架构也不尽相同，数据信息难以实现直接交换。

另外，在关联系统与外部系统间传输数据时，如果各关联系统各自调用外部系统的接口进行数据传输，则难以处理各关联系统间的数据依赖关系。例如，某财产保险的出单系统、审核系统和理赔系统存在关联关系，为关联系统，各关联系统中关于某个保单的数据信息存在依赖关系，如，所述审核系统中的审核信息需要引用所述出单系统中的保单信息。若根据现有技术，各关联系统单独向外部系统传输数据，则数据传输顺序混乱，数据传输质量无法得到保障。

发明内容

鉴于以上原因，有必要提供一种数据传输方法、装置及计算机可读存储介质，用来消除各关联系统与外部系统的架构差异和数据表现形式差异对数据传输造成的影响，并实现对具有依赖关系的数据信息的依序传输，提高数据传输质量。

为实现上述目的，本发明提供一种数据传输方法，应用于电子装置，该方法包括：

接收步骤：建立数据中转平台，接收各关联系统发送的数据信息；

处理步骤：对具有依赖关系的数据信息按照生成时间的先后顺序进行排序，并按照预设转换规则将排序后的数据信息转换为外部系统接受的数据形式；及

发送步骤：调用外部系统接口将转换后的数据信息发送至所述外部系统。

优选地，所述处理步骤还包括：

从接收的数据信息中获取所述外部系统的信息；

从已注册的外部系统中查询与所述获取的信息相匹配的外部系统；

获取所述相匹配的外部系统的接口地址。

优选地，该方法还包括：

记录所述关联系统与所述外部系统进行数据传输的历史数据；

将数据传输失败的记录写入异常任务表，定时扫描该异常任务表，根据异常任务内容重复执行所述接收步骤、处理步骤或发送步骤，直至数据传输成功或重复执行次数超过预设阈值触发报警；

当所述外部系统有返回数据时，通过回调方式或消息方式通知对应的关联系统。

优选地，所述关联系统通过消息方式向所述数据中转平台发送数据信息，所述数据中转平台与所述外部系统通过FTP方式完成数据传输。

优选地，在所述发送步骤中，调用外部系统接口采用同步调用和异步调用两种方式。

本发明还提供一种电子装置，该电子装置包括存储器和处理器，所述存储器中包括数据传输程序，该数据传输程序被所述处理器执行时实现如下步骤：

接收步骤：建立数据中转平台，接收各关联系统发送的数据信息；

处理步骤：对具有依赖关系的数据信息按照生成时间的先后顺序进行排序，并按照预设转换规则将排序后的数据信息转换为外部系统接受的数据形式；及

发送步骤：调用外部系统接口将转换后的数据信息发送至所述外部系统。

优选地，所述处理步骤还包括：

从接收的数据信息中获取所述外部系统的信息；

从已注册的外部系统中查询与所述获取的信息相匹配的外部系统；

获取所述相匹配的外部系统的接口地址。

优选地，该方法还包括：

记录所述关联系统与所述外部系统进行数据传输的历史数据；

将数据传输失败的记录写入异常任务表，定时扫描该异常任务表，根据异常任务内容重复执行所述接收步骤、处理步骤或发送步骤，直至数据传输成功或重复执行次数超过预设阈值触发报警；

当所述外部系统有返回数据时，通过回调方式或消息方式通知对应的关联系统。

优选地，所述关联系统通过消息方式向所述数据中转平台发送数据信息，所述数据中转平台与所述外部系统通过FTP方式完成数据传输。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有数据传输程序，该数据传输程序被处理器执行时实现如上所述的数据传输方法中的任意步骤。

本发明提供的数据传输方法、装置及计算机可读存储介质，通过建立数据中转平台，对接收的数据信息进行统一处理，包括对具有依赖关系的数据信息进行排序以及按照预设转换规则将排序后的数据信息转换为外部系统接受的数据形式，然后调用外部系统接口将转换后的数据信息发送至所述外部系统。利用数据中转平台对数据信息进行统一处理，可以消除各关联系统与外部系统的架构差异和数据表现形式差异对数据传输造成的影响，进而消除外部系统变更对关联系统造成的影响，并保证数据传输的有序性。因此，利用本发明，可以实现关联系统与外部系统的解耦，并提高数据传输质量。

附图说明

图1为本发明电子装置较佳实施例的应用环境示意图；

图2为图1中数据传输程序较佳实施例的程序模块图；

图3为本发明数据传输方法第一较佳实施例的流程示意图；

图4为本发明数据传输方法第二较佳实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚明白，下面将结合若干附图及实施例，对本发明进行进一步的详细说明。应当理解的是，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种电子装置。参照图1所示，为本发明电子装置1电子装置较佳实施例的应用环境示意图。在该实施例中，电子装置1是数据传输方法的执行主体，该电子装置1分别与第一关联系统3和第二关联系统5通过网络2和网络4连接，若干外部系统(图中未示出)通过网络与该电子装置1连接，该电子装置1通过建立数据中转平台，完成数据传输任务。

所述电子装置1可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有存储和运算功能的终端设备。在一个实施例中，当电子装置1为服务器时，该服务器可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器等的一种或几种。

所述电子装置1包括存储器11、处理器12及网络接口13。

其中，存储器11包括至少一种类型的可读存储介质。所述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器等的非易失性存储介质。在一些实施例中，所述可读存储介质可以是所述电子装置1的内部存储单元，例如该电子装置1的硬盘。在另一些实施例中，所述可读存储介质也可以是所述电子装置1的外部存储器11，例如所述电子装置1上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。

在本实施例中，所述存储器11的可读存储介质通常用于存储配置的数据转换规则、数据传输程序10、传输数据信息的历史数据以及异常任务表等。所述存储器11还可以用于暂时地存储已经输出或者将要输出的数据。

处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行数据传输程序10等。

网络接口13可以包括标准的有线接口、无线接口(如WI-FI接口)。通常用于在该电子装置1与其他电子设备或系统之间建立通信连接。

图1仅示出了具有组件11-13和数据传输程序10的电子装置1以及第一关联系统3、第二关联系统5、网络2和网络4。但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。例如，电子装置1可以通过网络连接若干外部系统以及更多的关联系统，预设的接口从各第二关联系统实时调用所需数据。又如，上述组件可以通过通信总线实现连接通信。

可选地，该电子装置1还可以包括输入单元比如键盘(Keyboard)，语音输入装置比如麦克风(Microphone)等具有语音识别功能的设备以及语音输出装置比如音响、耳机等。用户可利用这些装置和设备完成数据转换规则的设置等操作。

可选地，该电子装置1还可以包括显示器，也可以称为显示屏或显示单元。在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(OrganicLight-Emitting Diode，OLED)显示器等。显示器用于显示在电子装置1中处理的信息以及用于显示可视化的用户界面。

可选地，该电子装置1还包括触摸传感器。所述触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外，这里所述的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且，所述触摸传感器不仅包括接触式的触摸传感器，也可包括接近式的触摸传感器等。此外，所述触摸传感器可以为单个传感器，也可以为例如阵列布置的多个传感器。用户可以通过触摸所述触控区域启动数据传输程序10。

该电子装置1还可以包括射频(Radio Frequency，RF)电路、传感器、音频电路、有线接口和无线接口等等，在此不再赘述。

在上述实施例中，处理器12执行存储器11中存储的数据传输程序10时可以实现如下步骤：

接收步骤：建立数据中转平台，接收各关联系统发送的数据信息；

处理步骤：对具有依赖关系的数据信息按照生成时间的先后顺序进行排序，并按照预设转换规则将排序后的数据信息转换为外部系统接受的数据形式；及

发送步骤：调用外部系统接口将转换后的数据信息发送至所述外部系统。

关于上述步骤的详细介绍，请参照下述图2关于数据传输程序10较佳实施例的程序模块图以及图3、图4关于数据传输方法较佳实施例的流程图的说明。

在其他实施例中，数据传输程序10可以被分割为多个模块，该多个模块被存储于存储器12中，并由处理器13执行，以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。

参照图2所示，为图1中数据传输程序10较佳实施例的程序模块图。在本实施例中，所述数据传输程序10可以被分割为：接收模块110、处理模块120和发送模块130。

接收模块110，用于接收关联系统发送的数据信息以及外部系统返回的数据信息。所述数据信息包括外部系统的信息或关联系统的信息，用来指明数据传输目的地。所述关联系统通过消息方式向所述电子装置1发送数据信息，所述外部系统与所述电子装置1通过FTP方式传输数据信息，接收模块110接收这些从所述关联系统和所述外部系统传输来的数据信息。例如，当该数据传输程序10用于某财产保险各系统与外部各监管系统之间的数据传输时，所述关联系统可包括该财产保险的出单系统、审核系统和理赔系统，所述外部系统可包括车险系统、交通安全服务管理系统、地方税务局系统以及意健险系统等。接收模块110接收上述系统向所述电子装置1发送或返回的数据信息。

处理模块120，用于对所述接收模块110接收的数据信息进行处理，包括对具有依赖关系的数据信息按照生成时间的先后顺序进行排序以及按照预设转换规则将排序后的数据信息转换为外部系统接受的数据形式。所述依赖关系是指各关联系统针对同一数据对象的上下游数据在传输过程中可能存在的影响传输顺序的关系。依上述例子，所述依赖关系具体是指针对同一份保单，所述出单系统的保单信息、所述审核系统的审核信息以及所述理赔系统的理赔信息存在的数据逻辑关系。财产保险的流程包括以下几个节点：承保-核保-理赔，可以理解的是，所述出单系统生成保单信息后，所述审核系统才会针对该保单信息生成审核信息，所述理赔系统生成理赔信息时也需要引用所述出单系统的保单信息。财产保险各系统在向外部监管系统上传数据信息时，外部监管系统可能要求针对同一保单的保单信息一定要先于审核信息上传。处理模块120将根据外部监管系统的要求对具有上述依赖关系的数据信息按照生成时间的先后顺序进行排序，保证发送模块130发送数据信息的顺序满足外部监管系统的要求。

所述预设转换规则包括字典导入转换规则和关联导入转换规则。所述字典导入转换规则是指按字典对应关系进行转换，例如，外部系统需要的关于性别的数据是男、女和未知，而关联系统发送的用来表示性别的数据为0、1和2。其中0表示男，1表示女，2表示未知。处理模块120利用字典对应关系将排序后的数据信息转换为外部系统接受的数据形式。所述关联导入转换规则通常通过预先定义的SQL语句完成，例如，外部系统需要关于客户年龄的数据信息，而关联系统中存储有客户身份证号码信息，处理模块120可以通过预先定义的SQL语句根据身份证号码得到对应的年龄信息。在一个实施例中，利用转换规则对照表设置所述关联系统与所述外部系统的数据信息对应关系，可以根据所述外部系统的具体要求对该转换规则对照表中的转换规则进行灵活地增删、修改。

可以理解的是，因为关联系统和外部系统在数据的存储方式和表达形式上可能存在差异，所以外部系统获取数据信息时对数据格式等的要求可能各不相同，且这些要求随时可能改变。为此，在本发明中，处理模块120能够将各关联系统发送的数据信息转换成外部系统接受的数据形式，实现了关联系统与外部系统的解耦，使关联系统无须关注外部系统对数据形式的要求，大大降低了外部系统变更对各关联系统的影响。

此外，处理模块120还可以用于从接收模块110接收的数据信息中获取外部系统信息，进而获取外部系统的接口地址。无论是关联系统发送的数据信息还是外部系统返回的数据信息中都包括接收数据信息的外部系统或关联系统的信息。在一个实施例中，处理模块120从接收模块110接收的数据信息中获取外部系统的信息，然后从已注册的外部系统中查询与所述获取的信息相匹配的外部系统，进而获取所述相匹配的外部系统的接口地址。在外部系统注册时，电子装置1会为各外部系统分配数据接口，因此，确定接收数据信息的外部系统后，处理模块120可以进一步得到该外部系统的接口地址。

发送模块130，用于调用外部系统接口，将转换后的数据信息发送至对应的外部系统或将外部系统返回的数据信息发送至对应的关联系统。例如，发送模块130通过FTP方式向所述外部系统发送经处理模块120处理过的数据信息。FTP协议是一个双向的文件传输协议，在FTP方式下，发送模块130将按外部系统要求打包好的包含所述数据信息的文件传输至外部系统FTP服务器，完成数据传输。又如，当外部系统有返回数据时，发送模块130将通过回调方式或消息方式将返回数据发送至对应的关联系统。

需要说明的是，发送模块130在调用外部系统接口或关联系统接口时，采用同步调用和异步调用两种方式。在同步调用方式下，发送模块130实时调用外部系统或关联系统数据接口，这些数据接口都是预先约定的。在异步调用方式下，接收模块110可将接收到的数据信息以消息方式存储至异步任务表，处理模块120定时扫描所述异步任务表，组装参数，然后由发送模块130调用数据接口，完成数据传输。

在一个实施例中，所述处理模块120包括排序单元、转换单元、查询提取单元等。所述排序单元用于对具有依赖关系的数据信息按照生成时间的先后顺序进行排序。所述转换单元用于按照预设转换规则将排序后的数据信息转换为外部系统接受的数据形式。所述查询提取单元用于从接收到的数据信息中获取接口地址。关于排序单元、转换单元、查询提取单元的详细介绍，请参照上述关于处理模块120的详细介绍，在此不再赘述。

此外，本发明还提供一种数据传输方法。通过上面的介绍，我们可以了解到，所述数据中转平台可以是双向的，也就是说，既可以将关联系统的数据信息传输至外部系统，也可以将外部系统返回的数据信息传输回对应的关联系统。为了简洁，以下关于本发明数据传输方法的介绍可以假定所述关联系统作为数据源，所述外部系统作为数据终点。

参照图3所示，为本发明数据传输方法的第一较佳实施例的流程示意图。电子装置1的处理器12执行存储器11中存储的数据传输程序10时实现数据传输方法的如下步骤：

步骤S300，接收模块110建立数据中转平台，接收各关联系统发送的数据信息。该数据信息包括外部系统的相关信息，例如外部系统的名称或接口地址。假设所述关联系统包括某财产保险的出单系统、审核系统和理赔系统，所述外部系统包括车险系统、交通安全服务管理系统、地方税务局系统以及意健险系统，则接收模块110接收的数据信息可以是所述出单系统发送的关于某一客户某份保单的保单信息，其中包括外部系统的信息，例如地方税务局系统名称或地方税务局系统的接口地址。接收模块110接收的数据信息还可以是所述理赔系统发送的关于该客户该份保单的理赔信息。

步骤S301，处理模块120对具有依赖关系的数据信息按照生成时间的先后顺序进行排序，并按照预设转换规则将排序后的数据信息转换为外部系统接受的数据形式。依上述例子，在财产保险的流程中，同一份保单的保单信息先于理赔信息生成，为了满足所述外部系统对数据传输顺序的要求，保证数据传输的条理性和完整性，处理模块120对同一份保单的保单信息、审核信息和理赔信息等具有依赖关系的数据信息按照生成时间的先后顺序进行排序，以实现对数据信息传输顺序的调控。所述预设转换规则包括字典导入转换规则和关联导入转换规则。关于处理模块120按照预设转换规则，对数据信息进行转换的过程，请参照上述关于处理模块120的详细介绍，在此不再赘述。

步骤S302，发送模块130调用外部系统接口，将转换后的数据信息发送至所述外部系统。例如，发送模块130通过FTP方式向外部系统发送经处理模块120处理过的数据信息。在FTP方式下，发送模块130将按外部系统要求打包好的文件发送至外部系统FTP服务器，完成数据传输。

发送模块130在调用外部系统接口或关联系统接口时，采用同步调用和异步调用两种方式。在同步调用方式下，发送模块130实时调用外部系统的数据接口，这些数据接口可以是所述外部系统在注册时与电子装置1预先约定的。在异步调用方式下，接收模块110可将接收到的数据信息以消息方式存储至异步任务表，处理模块120定时扫描所述异步任务表，组装参数，然后由发送模块130调用外部系统的数据接口，完成数据传输。

参照图4所示，为本发明数据传输方法的第二较佳实施例的流程示意图。在本实施例中，所述数据传输方法的步骤S400-S402与第一较佳实施例的步骤S300-S302相类似，区别在于该实施例还包括步骤S403-S404。

步骤S403，记录所述关联系统与所述外部系统进行数据传输的历史数据。例如，利用日志文件对所述关联系统与所述外部系统进行数据传输的历史数据进行记录，当数据传输失败触发报警或需要核查数据传输过程时，调用所述日志文件，通过所述关联系统与所述外部系统进行数据传输的历史数据对传输失败的原因或数据传输过程暴露的问题进行分析。

步骤S404，将数据传输失败的记录写入异常任务表，定时扫描该异常任务表，根据异常任务内容重复执行所述接收步骤、处理步骤或发送步骤，直至数据传输成功或重复执行次数超过预设阈值触发报警。

此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器等等中的任意一种或者几种的任意组合。

本发明之计算机可读存储介质的具体实施方式与上述数据传输方法和电子装置1的具体实施方式大致相同，请参照上述图2关于数据传输程序10较佳实施例的程序模块图以及图3、图4关于数据传输方法较佳实施例的流程图的详细介绍，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质中，包括若干指令用以使得电子装置执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据传输方法，应用于电子装置，其特征在于，该方法包括：

接收步骤：建立数据中转平台，接收各关联系统发送的数据信息；

处理步骤：对具有依赖关系的数据信息按照生成时间的先后顺序进行排序，并按照预设转换规则将排序后的数据信息转换为外部系统接受的数据形式；及

发送步骤：调用外部系统接口将转换后的数据信息发送至所述外部系统。

2.如权利要求1所述的数据传输方法，其特征在于，所述处理步骤还包括：

从接收的数据信息中获取所述外部系统的信息；

从已注册的外部系统中查询与所述获取的信息相匹配的外部系统；

获取所述相匹配的外部系统的接口地址。

3.如权利要求1或2所述的数据传输方法，其特征在于，该方法还包括：

记录所述关联系统与所述外部系统进行数据传输的历史数据；

将数据传输失败的记录写入异常任务表，定时扫描该异常任务表，根据异常任务内容重复执行所述接收步骤、处理步骤或发送步骤，直至数据传输成功或重复执行次数超过预设阈值触发报警；

当所述外部系统有返回数据时，通过回调方式或消息方式通知对应的关联系统。

4.如权利要求1所述的数据传输方法，其特征在于，所述关联系统通过消息方式向所述数据中转平台发送数据信息，所述数据中转平台与所述外部系统通过FTP方式完成数据传输。

5.如权利要求1所述的数据传输方法，其特征在于，在所述发送步骤中，调用外部系统接口采用同步调用和异步调用两种方式。

6.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中包括数据传输程序，该数据传输程序被所述处理器执行时实现如下步骤：

接收步骤：建立数据中转平台，接收各关联系统发送的数据信息；

处理步骤：对具有依赖关系的数据信息按照生成时间的先后顺序进行排序，并按照预设转换规则将排序后的数据信息转换为外部系统接受的数据形式；及

发送步骤：调用外部系统接口将转换后的数据信息发送至所述外部系统。

7.如权利要求6所述的电子装置，其特征在于，所述处理步骤还包括：

从接收的数据信息中获取所述外部系统的信息；

从已注册的外部系统中查询与所述获取的信息相匹配的外部系统；

获取所述相匹配的外部系统的接口地址。

8.如权利要求6或7所述的电子装置，其特征在于，所述数据传输程序被所述处理器执行时还实现如下步骤：

记录所述关联系统与所述外部系统进行数据传输的历史数据；

将数据传输失败的记录写入异常任务表，定时扫描该异常任务表，根据异常任务内容重复执行所述接收步骤、处理步骤或发送步骤，直至数据传输成功或重复执行次数超过预设阈值触发报警；

当所述外部系统有返回数据时，通过回调方式或消息方式通知对应的关联系统。

9.如权利要求8所述的电子装置，其特征在于，所述关联系统通过消息方式向所述数据中转平台发送数据信息，所述数据中转平台与所述外部系统通过FTP方式完成数据传输。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括数据传输程序，该数据传输程序被处理器执行时实现如权利要求1至5中任意一项所述的数据传输方法的步骤。