CN115086453B - 数据交换方法、装置及系统 - Google Patents
数据交换方法、装置及系统 Download PDFInfo
- Publication number
- CN115086453B CN115086453B CN202210788221.4A CN202210788221A CN115086453B CN 115086453 B CN115086453 B CN 115086453B CN 202210788221 A CN202210788221 A CN 202210788221A CN 115086453 B CN115086453 B CN 115086453B
- Authority
- CN
- China
- Prior art keywords
- data
- fragment
- message
- processing
- unloading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 239000012634 fragment Substances 0.000 claims abstract description 82
- 238000012545 processing Methods 0.000 claims abstract description 78
- 238000003860 storage Methods 0.000 claims abstract description 36
- 238000005520 cutting process Methods 0.000 claims abstract description 23
- 238000012856 packing Methods 0.000 claims abstract description 17
- 230000006835 compression Effects 0.000 claims abstract description 14
- 238000007906 compression Methods 0.000 claims abstract description 14
- 230000008676 import Effects 0.000 claims abstract description 13
- 238000004458 analytical method Methods 0.000 claims abstract description 12
- 230000003993 interaction Effects 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 18
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000004806 packaging method and process Methods 0.000 claims 1
- 230000006837 decompression Effects 0.000 abstract description 9
- 238000013075 data extraction Methods 0.000 abstract description 7
- 230000002688 persistence Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 238000013467 fragmentation Methods 0.000 description 11
- 238000006062 fragmentation reaction Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 6
- 239000000872 buffer Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000013523 data management Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种数据交换方法、装置及系统，所述方法包括：获取并解析数据汇入报文，得到数据分片存储地址，根据所述数据分片存储地址，获取分片数据，并对所述分片数据进行合并解压及数据加载处理，以完成数据汇入；获取并解析数据汇出报文，根据所述数据汇出报文的解析结果，对合并解压处理后的分片数据进行数据卸载处理，并对数据卸载处理后的数据进行打包压缩、分片切割及发送处理，以完成数据汇出。本发明通过数据分片汇入汇出交换方式，实现数据持久化和数据抽取功能，完善了数据交换链路，保证了各业务系统之间的数据交换的便捷性。
Description
技术领域
本发明涉及数据传输技术领域，尤指一种数据交换方法、装置及系统。
背景技术
目前，银行各业务系统之间进行数据交换主要依赖于数据管理平台，数管平台自上线以来承接了26个业务系统的37个数据交换业务，交换数据量每天60G。根据统一规划要求，数管平台运行于其上的交换业务需要新的平台和技术来承载，目前已有交换方式，不具备把交换数据持久化到大数据平台的能力，缺少按照规则从大数据平台抽取数据并交换到各业务系统的手段。
发明内容
针对现有技术中存在的问题，本发明实施例的主要目的在于提供一种数据交换方法、装置及系统，实现从大数据平台抽取数据并交换到各业务系统。
为了实现上述目的，本发明实施例提供一种数据交换方法，方法包括：
获取并解析数据汇入报文，得到数据分片存储地址，根据数据分片存储地址，获取分片数据，并对分片数据进行合并解压及数据加载处理，以完成数据汇入；
获取并解析数据汇出报文，根据数据汇出报文的解析结果，对合并解压处理后的分片数据进行数据卸载处理，并对数据卸载处理后的数据进行打包压缩、分片切割及发送处理，以完成数据汇出。
可选的，在本发明一实施例中，对数据卸载处理后的数据进行打包压缩、分片切割及发送处理包括：
对数据卸载处理后的数据进行打包压缩及分片切割，得到分片信息，记录分片信息，并对分片切割处理后的数据进行发送处理。
可选的，在本发明一实施例中，方法还包括：在发送处理后，利用服务器向外部业务系统发送通知报文。
本发明实施例还提供一种数据交换装置，装置包括：
数据汇入模块，用于获取并解析数据汇入报文，得到数据分片存储地址，根据所述数据分片存储地址，获取分片数据，并对分片数据进行合并解压及数据加载处理，以完成数据汇入；
数据汇出模块，用于获取并解析数据汇出报文，根据数据汇出报文的解析结果，对合并解压处理后的分片数据进行数据卸载处理，并对数据卸载处理后的数据进行打包压缩、分片切割及发送处理，以完成数据汇出。
可选的，在本发明一实施例中，数据汇出模块还用于对数据卸载处理后的数据进行打包压缩及分片切割，得到分片信息，记录分片信息，并对分片切割处理后的数据进行发送处理。
可选的，在本发明一实施例中，装置还包括：通知报文模块，用于在发送处理后，利用服务器向外部业务系统发送通知报文。
本发明实施例还提供一种数据交换系统，系统包括：数据交互平台及服务器；
服务器用于从外部业务系统获取切片数据，向所述数据交互平台发送数据汇入报文及数据汇出报文，并接收数据交互平台发送处理后的数据；
数据交互平台用于获取并解析数据汇入报文，得到数据分片存储地址，根据数据分片存储地址，从服务器获取分片数据，并对分片数据进行合并解压及数据加载处理，以完成数据汇入；获取并解析数据汇出报文，根据数据汇出报文的解析结果，对合并解压处理后的分片数据进行数据卸载处理，并对数据卸载处理后的数据进行打包压缩、分片切割及发送处理，以完成数据汇出。
可选的，在本发明一实施例中，数据交互平台还用于对数据卸载处理后的数据进行打包压缩及分片切割，得到分片信息，记录分片信息，并对分片切割处理后的数据进行发送处理。
可选的，在本发明一实施例中，服务器还用于在发送处理后，向外部业务系统发送通知报文。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述程序时实现上述方法。
本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有执行上述方法的计算机程序。
本发明还提供一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时实现上述方法的步骤。
本发明通过数据分片汇入汇出交换方式，实现数据持久化和数据抽取功能，完善了数据交换链路，保证了各业务系统之间的数据交换的便捷性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一种数据交换方法的流程图；
图2为本发明实施例一种数据交换系统的结构示意图；
图3为本发明实施例中系统的数据汇入流程示意图；
图4为本发明实施例中系统的数据汇出流程示意图；
图5为本发明实施例中数据汇入示意图；
图6为本发明实施例中数据汇出示意图；
图7为本发明实施例一种数据交换装置的结构示意图；
图8为本发明另一实施例中数据交换装置的结构示意图；
图9为本发明一实施例所提供的电子设备的结构示意图。
具体实施方式
本发明实施例提供一种数据交换方法、装置及系统。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示为本发明实施例一种数据交换方法的流程图，本发明实施例提供的数据交换方法的执行主体包括但不限于数据交互平台的计算机。本发明通过数据分片汇入汇出交换方式，实现数据持久化和数据抽取功能，完善了数据交换链路，保证了各业务系统之间的数据交换的便捷性。图1中所示方法包括：
步骤S1，获取并解析数据汇入报文，得到数据分片存储地址，根据数据分片存储地址，获取分片数据，并对分片数据进行合并解压及数据加载处理，以完成数据汇入；
步骤S2，获取并解析数据汇出报文，根据数据汇出报文的解析结果，对合并解压处理后的分片数据进行数据卸载处理，并对数据卸载处理后的数据进行打包压缩、分片切割及发送处理，以完成数据汇出。
其中，外部系统对数据进行压缩切片，发送分片数据存放到FTP(文件传输协议)服务器，并发送报文给数据交互平台，数据交互平台通过服务器获取并解析数据汇入报文。数据交互平台解析报文后获取数据分片存储地址，从FTP服务器上拉取分片数据到本地，等数据分片全部到达后进行合并解压，并调起外部业务系统提供的数据加载脚本将数据装载入大数据平台。
进一步的，数据交换分片汇出报文是数据分片汇入报文的一个逆向交换过程，数据交互平台从数据获取方获取并解析数据汇出报文，根据解析结果，执行数据获取方提供的数据卸载脚本在大数据平台端进行数据卸载，卸载完成后打包压缩并进行分片切割，记录分片信息并缓存分片，再逐个组装分片数据分片报文并进行发送。通过上述数据汇入处理与数据汇出处理，完成数据交互过程。
作为本发明的一个实施例，对数据卸载处理后的数据进行打包压缩、分片切割及发送处理包括：对数据卸载处理后的数据进行打包压缩及分片切割，得到分片信息，记录分片信息，并对分片切割处理后的数据进行发送处理。
其中，数据交互平台从服务器获取并解析数据汇出报文，根据解析结果，执行数据获取方提供的数据卸载脚本在大数据平台端进行数据卸载，卸载完成后打包压缩并进行分片切割，记录分片信息并缓存分片，再逐个对组装分片数据分片报文进行发送。
作为本发明的一个实施例，方法还包括：在发送处理后，利用服务器向外部业务系统发送通知报文。
其中，数据交互平台对共享存储上的数据文件进行合并、解压、检查处理，并将数据上传至大数据平台，操作完成后发送数据处理完成通知报文发送给服务器，服务器将通知报文下发至业务系统，业务系统根据报文中处理结果标识字段发送回应信息。
本发明通过数据分片汇入汇出交换方式，实现数据持久化和数据抽取功能，完善了数据交换链路，保证了各业务系统之间的数据交换的便捷性。
从现有交换技术架构来看，由于现有系统缺少数据持久化和数据抽取能力，因而亟需发明一种可适配高并发多模态的技术方式来完善数据交换链路，保障数管下线后总行各业务系统之间的数据交换能够平滑过渡至新的交换架构。如图2所示为本发明实施例一种数据交换系统的结构示意图，图中所示系统包括：数据交互平台及服务器；
服务器用于从外部业务系统获取切片数据，向数据交互平台发送数据汇入报文及数据汇出报文，并接收数据交互平台发送处理后的数据；
数据交互平台用于获取并解析数据汇入报文，得到数据分片存储地址，根据数据分片存储地址，从服务器获取分片数据，并对分片数据进行合并解压及数据加载处理，以完成数据汇入；获取并解析数据汇出报文，根据数据汇出报文的解析结果，对合并解压处理后的分片数据进行数据卸载处理，并对数据卸载处理后的数据进行打包压缩、分片切割及发送处理，以完成数据汇出。
作为本发明的一个实施例，数据交互平台还用于对数据卸载处理后的数据进行打包压缩及分片切割，得到分片信息，记录分片信息，并对分片切割处理后的数据进行发送处理。
作为本发明的一个实施例，服务器还用于在发送处理后，向外部业务系统发送通知报文。
在本实施例中，如图3及图5所示的数据汇入示意图，外部系统对数据进行压缩切片，把分片数据存放到FTP(文件传输协议)服务器，并转发报文给数据交互平台，数据交互平台通过服务器获取并解析数据汇入报文。数据交互平台解析报文后获取数据分片存储地址，从FTP服务器上拉取分片数据到本地，等数据分片全部到达后进行合并解压，并调起外部业务系统提供的数据加载脚本将数据装载入大数据平台。
其中，如图4及图6所示的数据汇出示意图，数据交换分片汇出报文是数据分片汇入报文的一个逆向交换过程，数据交互平台执行数据获取方提供的数据卸载脚本在大数据平台端进行数据卸载，卸载完成后打包压缩并进行分片切割，记录分片信息并缓存分片，再逐个组装分片数据分片报文并进行发送。
进一步的，系统支持报文通知，具体的，FTP+通知报文是大数据平台端数据换服务将卸载的数据文件整体打包压缩后放置FTP服务器上，并发送通知报文给业务系统的一种数据文件交换方式。适合大数据量文件的一次性传输操作。FTP报送通知汇入汇出报文为业务系统向数据交互平台及服务器、数据交互平台及服务器向业务系统发送数据文件时使用。报文为汇入汇出通用报文，报文发送方和接收方为业务系统或数据交互平台。
进一步的，系统支持数据处理完成通知报文，具体的，数据交互平台对共享存储上的数据文件进行合并、解压、检查处理，并将数据上传至大数据平台，操作完成后发送数据处理完成通知报文，服务器将通知报文下发至业务系统，业务系统根据报文中处理结果标识字段发送回应信息。
本发明通过数据分片汇入汇出交换方式，实现数据持久化和数据抽取功能，完善了数据交换链路，保证了各业务系统之间的数据交换的便捷性。
如图7所示为本发明实施例一种数据交换装置的结构示意图，图中所示装置包括：
数据汇入模块10，用于获取并解析数据汇入报文，得到数据分片存储地址，根据数据分片存储地址，获取分片数据，并对分片数据进行合并解压及数据加载处理，以完成数据汇入；
数据汇出模块20，用于获取并解析数据汇出报文，根据数据汇出报文的解析结果，对合并解压处理后的分片数据进行数据卸载处理，并对数据卸载处理后的数据进行打包压缩、分片切割及发送处理，以完成数据汇出。
其中，外部业务系统对数据进行压缩切片，发送数据到数据交互管理端。数据交互管理端把分片数据存放到FTP(文件传输协议)服务器，并转发数据汇入报文给数据交互平台，数据交互平台通过服务器获取并解析数据汇入报文。数据交互平台解析报文后获取数据分片存储地址，从FTP服务器上拉取分片数据到本地，等数据分片全部到达后进行合并解压，并调起外部业务系统提供的数据加载脚本将数据装载入大数据平台。
进一步的，数据交换分片汇出报文是数据分片汇入报文的一个逆向交换过程，数据交互平台从服务器获取并解析数据汇出报文，根据解析结果，执行数据获取方提供的数据卸载脚本在大数据平台端进行数据卸载，卸载完成后打包压缩并进行分片切割，记录分片信息并缓存分片，再逐个组装分片数据分片报文并进行发送。通过上述数据汇入处理与数据汇出处理，完成数据交互过程。
作为本发明的一个实施例，数据汇出模块还用于对数据卸载处理后的数据进行打包压缩及分片切割，得到分片信息，记录分片信息，并对分片切割处理后的数据进行发送处理。
作为本发明的一个实施例，如图8所示，装置还包括：通知报文模块30，用于在发送处理后，利用服务器向外部业务系统发送通知报文。
基于与上述一种数据交换方法相同的申请构思，本发明还提供了上述一种数据交换装置。由于该一种数据交换装置解决问题的原理与一种数据交换方法相似，因此该一种数据交换装置的实施可以参见一种数据交换方法的实施，重复之处不再赘述。
本发明通过数据分片汇入汇出交换方式，实现数据持久化和数据抽取功能，完善了数据交换链路，保证了各业务系统之间的数据交换的便捷性。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
本发明还提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。
如图9所示，该电子设备600还可以包括：通信模块110、输入单元120、音频处理器130、显示器160、电源170。值得注意的是，电子设备600也并不是必须要包括图9中所示的所有部件；此外，电子设备600还可以包括图9中没有示出的部件，可以参考现有技术。
如图9所示，中央处理器100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器100接收输入并控制电子设备600的各个部件的操作。
其中，存储器140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序，以实现信息存储或处理等。
输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142，该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。
存储器140还可以包括数据存储部143，该数据存储部143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132，以经由扬声器131提供音频输出，并接收来自麦克风132的音频输入，从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器130还耦合到中央处理器100，从而使得可以通过麦克风132能够在本机上录音，且使得可以通过扬声器131来播放本机上存储的声音。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (11)
1.一种数据交换方法，其特征在于，所述方法包括：
外部系统对数据进行压缩切片，发送分片数据存放到FTP服务器，并发送报文给数据交互平台，数据交互平台通过FTP服务器获取并解析数据汇入报文，得到数据分片存储地址，根据所述数据分片存储地址，获取分片数据，并对所述分片数据进行合并解压，利用从外部业务系统获取的数据加载脚本将数据装载入大数据平台，以完成数据汇入；
数据交互平台从数据获取方获取并解析数据汇出报文，根据所述数据汇出报文的解析结果，利用从数据获取方获取的数据卸载脚本对合并解压处理后的分片数据进行数据卸载处理，并对数据卸载处理后的数据进行打包压缩、分片切割，记录分片信息并缓存分片，再逐个组装分片数据分片报文并进行发送，以完成数据汇出。
2.根据权利要求1所述的方法，其特征在于，所述对数据卸载处理后的数据进行打包压缩、分片切割及发送处理包括：
对数据卸载处理后的数据进行打包压缩及分片切割，得到分片信息，记录所述分片信息，并对分片切割处理后的数据进行发送处理。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：在发送处理后，利用FTP服务器向外部业务系统发送通知报文。
4.一种数据交换装置，其特征在于，所述装置包括：
数据汇入模块，用于通过FTP服务器获取并解析数据汇入报文，得到数据分片存储地址，根据所述数据分片存储地址，获取分片数据，并对所述分片数据进行合并解压，利用从外部业务系统获取的数据加载脚本将数据装载入大数据平台，以完成数据汇入；其中，所述数据汇入模块还用于在外部系统对数据进行压缩切片，发送分片数据存放到FTP服务器后，接收外部系统发送的报文；
数据汇出模块，用于从数据获取方获取并解析数据汇出报文，根据所述数据汇出报文的解析结果，利用从数据获取方获取的数据卸载脚本对合并解压处理后的分片数据进行数据卸载处理，并对数据卸载处理后的数据进行打包压缩、分片切割，记录分片信息并缓存分片，再逐个组装分片数据分片报文并进行发送，以完成数据汇出。
5.根据权利要求4所述的装置，其特征在于，所述数据汇出模块还用于对数据卸载处理后的数据进行打包压缩及分片切割，得到分片信息，记录所述分片信息，并对分片切割处理后的数据进行发送处理。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：通知报文模块，用于在发送处理后，利用服务器向外部业务系统发送通知报文。
7.一种数据交换系统，其特征在于，所述系统包括：数据交互平台及FTP服务器；
所述FTP服务器用于从外部业务系统获取切片数据，向所述数据交互平台发送数据汇入报文及数据汇出报文，并接收所述数据交互平台发送处理后的数据；
所述数据交互平台用于通过FTP服务器获取并解析数据汇入报文，得到数据分片存储地址，根据所述数据分片存储地址，从所述FTP服务器获取分片数据，并对所述分片数据进行合并解压，利用从外部业务系统获取的数据加载脚本将数据装载入大数据平台，以完成数据汇入；从数据获取方获取并解析数据汇出报文，根据所述数据汇出报文的解析结果，利用从数据获取方获取的数据卸载脚本对合并解压处理后的分片数据进行数据卸载处理，并对数据卸载处理后的数据进行打包压缩、分片切割，记录分片信息并缓存分片，再逐个组装分片数据分片报文并进行发送，以完成数据汇出。
8.根据权利要求7所述的系统，其特征在于，所述数据交互平台还用于对数据卸载处理后的数据进行打包压缩及分片切割，得到分片信息，记录所述分片信息，并对分片切割处理后的数据进行发送处理。
9.根据权利要求8所述的系统，其特征在于，所述FTP服务器还用于在发送处理后，向外部业务系统发送通知报文。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3任一项所述方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至3任一项所述方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210788221.4A CN115086453B (zh) | 2022-07-06 | 2022-07-06 | 数据交换方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210788221.4A CN115086453B (zh) | 2022-07-06 | 2022-07-06 | 数据交换方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115086453A CN115086453A (zh) | 2022-09-20 |
| CN115086453B true CN115086453B (zh) | 2024-03-26 |
Family
ID=83257660
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210788221.4A Active CN115086453B (zh) | 2022-07-06 | 2022-07-06 | 数据交换方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115086453B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020205A (zh) * | 2012-12-05 | 2013-04-03 | 北京普泽天玑数据技术有限公司 | 一种分布式文件系统上基于硬件加速卡的压缩解压缩方法 |
| CN105338424A (zh) * | 2015-10-29 | 2016-02-17 | 努比亚技术有限公司 | 一种视频处理方法及系统 |
| CN107045534A (zh) * | 2017-01-20 | 2017-08-15 | 中国航天系统科学与工程研究院 | 大数据环境下基于HBase的异构数据库在线交换与共享系统 |
| CN108763403A (zh) * | 2018-05-22 | 2018-11-06 | 中国建设银行股份有限公司 | 一种数据卸载方法和装置 |
| CN108776710A (zh) * | 2018-06-28 | 2018-11-09 | 农信银资金清算中心有限责任公司 | 一种数据库数据的并发装载方法及装置 |
| CN110557651A (zh) * | 2019-09-09 | 2019-12-10 | 云南师范大学 | 一种基于大数据分布式存储技术的超高清动态图像展示方法 |
| CN111510155A (zh) * | 2020-04-17 | 2020-08-07 | 深圳市科思科技股份有限公司 | 数据压缩方法、数据解压方法、电子设备及存储介质 |
| CN111552899A (zh) * | 2020-03-20 | 2020-08-18 | 广联达科技股份有限公司 | 提升前端报表显示性能的方法及系统 |
| CN112286865A (zh) * | 2020-10-23 | 2021-01-29 | 江苏云坤信息科技有限公司 | 基于政务领域的数据交换方法 |
| CN113094346A (zh) * | 2021-03-10 | 2021-07-09 | 北京四达时代软件技术股份有限公司 | 基于时间序列的大数据编解码方法及装置 |
| CN114710558A (zh) * | 2022-04-25 | 2022-07-05 | 广州大学 | 一种基于云存储的异步安全传输通道构建方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10313486B2 (en) * | 2015-01-07 | 2019-06-04 | Sonicwall Inc. | Optimizing transfer of fragmented packetized data |
| US11451480B2 (en) * | 2020-03-31 | 2022-09-20 | Micron Technology, Inc. | Lightweight artificial intelligence layer to control the transfer of big data |
-
2022
- 2022-07-06 CN CN202210788221.4A patent/CN115086453B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020205A (zh) * | 2012-12-05 | 2013-04-03 | 北京普泽天玑数据技术有限公司 | 一种分布式文件系统上基于硬件加速卡的压缩解压缩方法 |
| CN105338424A (zh) * | 2015-10-29 | 2016-02-17 | 努比亚技术有限公司 | 一种视频处理方法及系统 |
| CN107045534A (zh) * | 2017-01-20 | 2017-08-15 | 中国航天系统科学与工程研究院 | 大数据环境下基于HBase的异构数据库在线交换与共享系统 |
| CN108763403A (zh) * | 2018-05-22 | 2018-11-06 | 中国建设银行股份有限公司 | 一种数据卸载方法和装置 |
| CN108776710A (zh) * | 2018-06-28 | 2018-11-09 | 农信银资金清算中心有限责任公司 | 一种数据库数据的并发装载方法及装置 |
| CN110557651A (zh) * | 2019-09-09 | 2019-12-10 | 云南师范大学 | 一种基于大数据分布式存储技术的超高清动态图像展示方法 |
| CN111552899A (zh) * | 2020-03-20 | 2020-08-18 | 广联达科技股份有限公司 | 提升前端报表显示性能的方法及系统 |
| CN111510155A (zh) * | 2020-04-17 | 2020-08-07 | 深圳市科思科技股份有限公司 | 数据压缩方法、数据解压方法、电子设备及存储介质 |
| CN112286865A (zh) * | 2020-10-23 | 2021-01-29 | 江苏云坤信息科技有限公司 | 基于政务领域的数据交换方法 |
| CN113094346A (zh) * | 2021-03-10 | 2021-07-09 | 北京四达时代软件技术股份有限公司 | 基于时间序列的大数据编解码方法及装置 |
| CN114710558A (zh) * | 2022-04-25 | 2022-07-05 | 广州大学 | 一种基于云存储的异步安全传输通道构建方法 |
Non-Patent Citations (2)
| Title |
|---|
| TrajStore: An adaptive storage system for very large trajectory data sets;Philippe Cudre-Mauroux等;2010 IEEE 26th International Conference on Data Engineering (ICDE 2010);全文 * |
| 模块化云储存安全技术的研究;高菲;唐晓强;;自动化与仪器仪表(10);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115086453A (zh) | 2022-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111782470B (zh) | 分布式容器日志数据处理方法及装置 | |
| CN201075279Y (zh) | 具有图像缓存存储器的图像显示设备 | |
| CN110602122A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN113014510B (zh) | 惯导系统分布式测试中数据缓存方法及装置 | |
| CN112134789A (zh) | 邮件发送、接收的方法及装置 | |
| CN112187616A (zh) | 消息发送方法、设备及存储介质 | |
| CN115086453B (zh) | 数据交换方法、装置及系统 | |
| CN113190516B (zh) | 数据同步监控方法及装置 | |
| CN111222869A (zh) | 交易数据处理方法、装置、计算机设备及介质 | |
| CN111917813A (zh) | 通信方法、装置、设备、系统及存储介质 | |
| CN101341767A (zh) | 移动动画消息服务方法和系统及终端 | |
| CN111221792B (zh) | 一种基于ceph的rbd文件传输方法及其系统 | |
| CN105262491A (zh) | 数据压缩方法及系统、数据解压缩方法及系统、通信设备 | |
| CN114285657B (zh) | 防火墙安全策略变更验证方法及装置 | |
| WO2020107168A1 (zh) | 视频解码方法、装置、电子设备、计算机可读存储介质 | |
| CN103906007A (zh) | 一种彩信转发方法及装置 | |
| CN113672488A (zh) | 日志文本处理方法及装置 | |
| CN114697339A (zh) | 集中式架构下的负载均衡方法及装置 | |
| CN114490402A (zh) | 一种报文字段合法性检查方法及装置 | |
| CN112929706A (zh) | 视频数据的回放方法、装置、存储介质以及电子装置 | |
| CN112052026B (zh) | 系统间交互关系确定方法及装置 | |
| CN113342501B (zh) | 系统故障处理方法及装置 | |
| CN111158744B (zh) | 跨平台异构数据的整合方法及装置 | |
| CN113157277B (zh) | 一种主机文件处理方法及装置 | |
| CN114070902B (zh) | 基于delphi的报文处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |