CN111225024A - 大体积数据的传输方法、系统、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请提供了一种大体积数据的传输方法、系统、装置、电子设备及计算机可读存储介质，涉及数据传输领域。该方法包括：响应于监听到KAFKA中的简易消息，根据所述简易消息中包含的地址从预置的数据库中获取对应的大体积数据，所述地址为所述大体积数据在所述数据库中的地址；整合所述简易消息和所述大体积数据，得到全量消息；传输根据所述全量消息得到的待传输数据。本发明实施例能够在KAFKA发生数据堆积的情况下依然保持一定的数据传输速度，从而提高数据传输系统的鲁棒性。

Description

大体积数据的传输方法、系统、装置、电子设备及计算机可读 存储介质

技术领域

本申请涉及数据传输技术领域，具体而言，本申请涉及一种大体积数据的传输方法、系统、装置、电子设备及计算机可读存储介质。

背景技术

目前，在治安监控领域，常将图像采集设备采集的图像数据作为消息发布在KAFKA中，由消费者去KAFKA中获取消息。当KAFKA中的消息体积较大或消息生产的速度过快时，KAFKA会被消息填满而发生数据堆积，从而导致数据传输速度减慢的情况。

发明内容

有鉴于此，本发明的目的在于提供一种大体积数据的传输方法、系统、装置、电子设备及计算机可读存储介质，能够在KAFKA中发生数据堆积的情况下依然保持一定的数据传输速度。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种大体积数据的传输方法，应用于第一网络，包括：响应于监听到KAFKA中的简易消息，根据所述简易消息中包含的地址从预置的数据库中获取对应的大体积数据，所述地址为所述大体积数据在所述数据库中的地址；整合所述简易消息和所述大体积数据，得到全量消息；传输根据所述全量消息得到的待传输数据。

进一步，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述传输根据所述全量消息得到的待传输数据包括：获取所述全量消息；将所述全量消息序列化为二进制对象，得到FTP/SFTP协议的数据，将得到的FTP/SFTP协议的数据作为待传输数据；传输所述待传输数据。

进一步，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述方法还包括：获取图像采集设备的信息，所述大体积数据是由所述图像采集设备中的至少一个目标图像采集设备采集的；根据所述图像采集设备的信息生成第一FTP/SFTP服务器的文件目录。

进一步，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述简易消息还包括所述目标图像采集设备的信息；所述传输根据所述全量消息得到的待传输数据包括：将所述待传输数据写入第一FTP/SFTP服务器的目标文件目录，所述目标文件目录为与所述目标采集设备的信息对应的文件目录。

第二方面，本发明实施例提供了一种大体积数据的传输方法，应用于第二网络，包括：获取外部系统发送的数据拉取请求，所述数据拉取请求包括所要请求的大体积数据对应的目标采集设备的信息；根据所述数据拉取请求从第二FTP/SFTP服务器的目标文件目录中获取与所述大体积数据对应的待传输数据；所述目标文件目录为与所述目标采集设备的信息对应的文件目录，所述待传输数据是由权利要求1-4中任一项所述的方法传输至所述第二FTP/SFTP服务器的目标文件目录的；将根据所述待传输数据得到的响应数据响应给所述外部系统。

进一步，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述根据所述数据拉取请求从第二FTP/SFTP服务器的目标文件目录中获取与所述大体积数据对应的待传输数据，包括：解析、封装所述数据拉取请求得到中间请求，将所述中间请求放入第一队列；响应于第一循环模块从所述第一队列获取了所述中间请求，从第二FTP/SFTP服务器的目标文件目录中获取与所述大体积数据对应的待传输数据。

进一步，本发明实施例提供了第二方面的第三种可能的实施方式，其中，所述将根据所述待传输数据得到的响应数据响应给所述外部系统，包括：根据所述待传输数据得到中间数据；将所述中间数据放入第二队列；响应于第二循环模块从所述第二队列获取了所述中间数据，将所述中间数据转换为所述外部系统所需协议的响应数据，发送给所述外部系统。

第三方面，本发明实施例还提供了一种大体积数据的传输系统，包括：位于第一网络的第一传输系统和第一FTP/SFTP服务器；位于第二网络的第二传输系统和第二FTP/SFTP服务器；以及用于在第一网络和第二网络之间进行数据传输的网闸；所述第一传输系统用于使用上述第一方面任一项所述的方法将根据所述大体积数据得到的待传输数据传输至所述第一FTP/SFTP服务器；所述网闸用于将所述待传输数据从所述第一FTP/SFTP服务器的文件目录摆渡至第二FTP/SFTP服务器的对应文件目录；所述第二传输系统用于使用上述第二方面任一项所述的方法从所述第二FTP/SFTP服务器的对应文件目录获取所述待传输数据，并将由所述待传输数据得到的响应数据响应给所述外部系统。

第四方面，本发明实施例提供了一种大体积数据的传输装置，所述装置应用于第一网络，包括：大体积数据获取模块，用于响应于监听到KAFKA中的简易消息，根据所述简易消息中包含的地址从预置的数据库中获取对应的大体积数据，所述地址为所述大体积数据在所述数据库中的地址；整合模块，用于整合所述简易消息和所述大体积数据，得到全量消息；传输模块，用于传输根据所述全量消息得到的待传输数据。

第五方面，本发明实施例提供了一种大体积数据的传输装置，所述装置位于第二网络，包括：数据拉取请求获取模块，用于获取外部系统发送的数据拉取请求，所述数据拉取请求包括所要请求的大体积数据对应的目标采集设备的信息；待传输数据获取模块，用于根据所述数据拉取请求从第二FTP/SFTP服务器的目标文件目录中获取与所述大体积数据对应的待传输数据；所述目标文件目录为与所述目标采集设备的信息对应的文件目录，所述待传输数据是由上述第一方面任一项所述的方法传输至所述第二FTP/SFTP服务器的目标文件目录的；响应模块，用于将根据所述待传输数据得到的响应数据响应给所述外部系统。

第六方面，本发明实施例提供了一种电子设备，所述电子设备包括：处理器、存储器和总线；所述总线，用于连接所述处理器和所述存储器；所述存储器，用于存储操作指令；所述处理器，用于通过调用所述操作指令，执行上述第一方面或第二方面任一项所述的方法。

第七方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面或第二方面任一项所述的方法。

本发明实施例提供了一种大体积数据的传输方法、传输系统、传输装置、电子设备和计算机可读存储介质，将包含大体积数据在数据库中的存储地址的简易消息发布在KAFKA中、将大体积数据存储在数据库中，而不是将大体积数据作为消息发布在KAFKA中，能够在KAFKA中发生数据堆积的情况下依然保持一定的数据传输速度。

本发明实施例的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明实施例的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种电子设备的结构示意图；

图2示出了本发明实施例所提供的一种大体积数据的传输方法流程图；

图3示出了本发明实施例所提供的另一种大体积数据的传输方法流程图；

图4示出了本发明实施例所提供的一种大体积数据的传输方法一种具体实施方式的示意图；

图5示出了本发明实施例所提供的一种大体积数据的传输系统的结构框图；

图6示出了本发明实施例所提供的一种大体积数据的传输装置的结构框图；

图7示出了本发明实施例所提供的另一种大体积数据的传输装置的结构框图；

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，将图像采集设备采集的图像数据作为消息发布在KAFKA中，由消费者去KAFKA中获取消息。考虑到目前的数据传输方法存在KAFKA发生数据堆积后传输速度变慢的问题，本发明实施例提供了一种大体积数据的传输方法、系统及装置。以下对本发明实施例进行详细介绍。

实施例一：

首先，参照图1来描述用于实现本发明实施例的一种大体积数据传输的方法、系统及装置的示例电子设备100。

如图1所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的安防成本的确定方法、装置及系统的示例电子设备可以被实现为诸如智能手机、平板电脑、计算机等智能终端。

实施例二：

当KAFKA中的消息体积较大或消息生产的速度过快时，KAFKA中会发生数据堆积，从而导致数据传输速度缓慢的情况。例如，发生数据堆积后，每秒只能从KAFKA中取出30M左右的数据。对于2-3M的图像数据来说，每秒大约只能取出10个图像数据，远远不能满足用户需求。如此将导致数据堆积越来越严重，形成恶性循环。本发明实施例能够在KAFKA发生数据堆积后仍保持一定的数据传输速度，从而提高数据传输系统的鲁棒性。

参见图2所示的大体积数据的传输方法的流程图，该方法应用于第一网络，包括以下步骤S202～步骤S206：

步骤S202，响应于监听到KAFKA中的简易消息，根据所述简易消息中包含的地址从预置的数据库中获取对应的大体积数据，所述地址为所述大体积数据在所述数据库中的地址。

响应于监听到KAFKA中的简易消息，KAFKA的消费者根据所述简易消息中包含的地址从预置的数据库中获取对应的大体积数据。

上述大体积数据是指数据所占存储空间在100k以上的数据，优选指数据所占存储空间在2M以上的数据。

在KAFKA中发生数据堆积后，每秒只能从KAFKA中取出30M左右的数据。如果KAFKA中只存储简易消息即大体积数据在数据库中的存储地址(可以理解为大体积数据在数据库中的索引数据)而不存储大体积数据，由于一个大体积数据的索引数据只有几十kb-100kb，即使KAFKA中发生了数据堆积，每秒仍能从KAFKA中取出300个索引数据。根据这300个索引数据能够从数据库中取出300个大体积数据。即，即使KAFKA中发生了数据堆积，每秒仍能取出300个大体积数据。

当然，这种读取速度的优势在大体积数据的体积大于一定值时尤为明显。可以理解的是，如果大体积数据的体积本身只有100kb，直接存在KAFKA中与存在数据库中将获得类似的读取速度。考虑到从数据库中读取的延迟，直接存在KAFKA中可能会有更快的读取速度。

在一例中，预置的数据库为Object store对象存储系统。

步骤S204，整合所述简易消息和所述大体积数据，得到全量消息。

上述简易消息中，除上述大体积数据在数据库中的地址之外，还可以包括体积小于100kb的小体积数据。

在一例中，大体积数据为高清视频数据，小体积数据为音频数据，简易消息中包含高清视频数据在数据库中的地址和音频数据。KAFKA的消费者获取到上述简易消息后，根据简易消息中包含的高清视频数据在数据库中的地址，从数据库中取出高清视频数据，和音频数据整合，得到全量消息。

KAFKA的消费者获取到上述简易消息后，会根据简易消息中包含的上述大体积数据在数据库中的地址，获取上述大体积数据，并将上述简易消息和上述大体积数据整合，得到全量消息。

在一例中，参见图4，KAFKA的消费者获取到一个简易消息后，通过Kafkacmd/Listener，将上述简易消息中包含的地址以及简易消息中包含的其他内容解析、封装为model对象(一种被剥离为与源协议数据没有任何关系，可以被其他协议处理的内建对象)并提交到多线程处理kafkaDataTask中，kafkaDataTask根据地址获取大体积数据，再对上述简易消息和大体积数据进行整合，得到全量消息，并将全量消息放在全量消息队列中。可以理解的是，全量消息也是一种model对象。

步骤S206，传输根据所述全量消息得到的待传输数据。

在本步骤中，将全量消息转换为数据传输所需协议的待传输数据，并对其进行传输。如果全量消息本身已经满足数据传输所需协议，则全量消息即为待传输数据。

本发明实施例提供的上述大体积数据的传输方法，将包含大体积数据在数据库中的存储地址的简易消息发布在KAFKA中、将大体积数据存储在数据库中，而不是将大体积数据作为消息发布在KAFKA中，本发明实施例能够在KAFKA发生数据堆积的情况下依然保持一定的数据传输速度，从而提高数据传输系统的鲁棒性。

为了便于理解，以下给出了一种步骤S206的具体实施方式，在本实施方式中，全量数据被转换为FTP/SFTP协议的待传输数据，以供后续传输。具体可以参照如下步骤S2061～步骤S2062执行：

步骤S2061：获取全量消息；

步骤S2062：将所述全量消息序列化为二进制对象，得到FTP/SFTP协议的数据，将得到的FTP/SFTP协议的数据作为待传输数据；

步骤S2063：传输所述待传输数据。

在一例中，参见图4，loop层会不断的从全量消息队列中获取全量消息，每获取到一个全量消息，会开启一个线程调用FTP的cmd/cmdListener的send()对全量消息进行处理。FTP的cmd/cmdListener.send()将全量消息序列化为二进制对象，所述二进制对象即为FTP/SFTP协议的待传输数据。

本实施方式中，全量数据被转换为FTP/SFTP协议的待传输数据，以供后续传输至FTP/SFTP服务器。

在一种具体实施方式中，大体积数据来源于图像采集设备，待传输数据将被写入位于第一网络的第一FTP/SFTP服务器上与上述大体积数据来源的图像采集设备对应的文件目录中。也就是说，在对第一FTP/SFTP客户端进行初始化的过程中，需要在第一FTP/SFTP服务器上建立与图像采集设备的信息一一对应的文件目录，随后才能够将各图像采集设备采集的数据传输至与该图像采集设备对应的文件目录。本具体实施方式中，大体积数据的传输方法还包含如下对FTP/SFTP客户端进行初始化的步骤S200和步骤S201。

步骤S200：获取图像采集设备的信息，所述大体积数据是由所述图像采集设备中的至少一个目标图像采集设备采集的。

图像采集设备的信息可以是图像采集设备的ID，可以从图像采集设备管理系统获取。

步骤S201：根据所述图像采集设备的信息生成FTP/SFTP文件目录。

获取到图像采集设备的信息后，可以根据图像采集设备的信息生成FTP/SFTP文件目录。例如，以图像采集设备的ID为文件目录，以日期为该文件目录下的子文件目录，生成FTP/SFTP文件目录。

为了便于理解，以下给出了一种步骤S206的具体实施方式，具体可以参照如下步骤执行：

所述简易消息还包括所述目标图像采集设备的信息；将所述待传输数据写入第一FTP/SFTP服务器的目标文件目录，所述目标文件目录为与所述目标采集设备的信息对应的文件目录。

可以理解的是，该步骤可以理解为步骤S206的一种具体实施方式，也可以理解为步骤S2063的一种具体实施方式。

在一例中，参见图4，FTP的cmd/cmdListener.send()在步骤S2062中将全量消息序列化为二进制对象，在步骤S2063中将作为待传输数据的二进制对象写入位于第一网络中的第一FTP/SFTP服务器的目标文件目录中。

在本实施方式中，将采集简易消息对应的大体积数据的图像采集设备作为目标图像采集设备，将根据简易消息和大体积数据得到的待传输数据写入第一FTP/SFTP服务器上与目标图像采集设备对应的目标文件目录，使得在后续根据数据获取请求从FTP/SFTP服务器上获取数据时，能够确定应当从哪个目录获取。

实施例三：

参见图3所示的大体积数据的传输方法的流程图，该方法应用于第二网络，包括以下步骤S302～步骤S306：

S302:获取外部系统发送的数据拉取请求，所述数据拉取请求包括所要请求的大体积数据对应的目标采集设备的信息。

参见图4，当外部系统有数据拉取需求时，会向与外部系统同处于第二网络中的第二大体积数据的传输系统发送数据拉取请求，使第二大体积数据的传输系统的nettyhandler获取到数据拉取请求。数据拉取请求包括所要请求的大体积数据对应的目标采集设备的信息。例如，外部系统的数据拉取请求是拉取ID为C12345的图像采集设备采集的数据。数据拉取请求还可以包括所要请求的大体积数据的其他信息，例如外部系统的数据拉取请求是拉取ID为C12345的图像采集设备在2019年1月1日采集的数据。可以理解的是，外部系统能够获知位于第一网络的图像采集设备的信息。

S304:根据所述数据拉取请求从第二FTP/SFTP服务器的目标文件目录中获取与所述大体积数据对应的待传输数据；所述目标文件目录为与所述目标采集设备的信息对应的文件目录，所述待传输数据是由上述第一方面任一项所述的方法传输至所述第二FTP/SFTP服务器的目标文件目录的。

通过第一方面任一项所述的方法，并结合或不结合其他步骤，将待传输数据传输至第二FTP/SFTP服务器的目标文件目录。例如，通过第一方面任一项所述的方法，将待传输数据传输至第一FTP/SFTP服务器的目标文件目录，进而，通过其他步骤将第一FTP/SFTP服务器的目标文件目录中的待传输数据摆渡至第二FTP/SFTP服务器的目标文件目录，使得第二FTP/SFTP服务器的目标文件目录中存在待传输数据。

例如，数据拉取请求中包含的目标采集设备的ID为C12345，第二FTP/SFTP服务器中与C12345对应的文件夹为C12345，待传输数据被传输至第二FTP/SFTP服务器中C12345文件夹下。根据数据拉取请求中包含的目标采集设备的ID C12345，第二大体积数据传输系统即可从第二FTP/SFTP服务器的C12345文件夹下获取待传输数据。

可以理解的是，与第一大体积数据的传输系统相同，第二大体积数据的传输系统也采用步骤S200和S201进行了初始化，在第二FTP/SFTP服务器上生成了与图像采集设备的信息对应的文件目录。

S306:将根据所述待传输数据得到的响应数据响应给所述外部系统。

本步骤中，向外部系统反馈其请求的响应数据。可以理解的是，如果待传输数据的协议与外部系统所需的协议相同，则将待传输数据直接作为响应数据响应给外部系统。如果待传输数据的协议与外部系统所需的协议不同，则将待传输数据转换为与外部系统所需协议相同的响应数据响应给外部系统。

本发明实施例提供的上述大体积数据的传输方法，将包含大体积数据在数据库中的存储地址的简易消息发布在KAFKA中、将大体积数据存储在数据库中，而不是将大体积数据作为消息发布在KAFKA中，本发明实施例能够在KAFKA发生数据堆积的情况下依然保持一定的数据传输速度，从而提高数据传输系统的鲁棒性，使KAFKA的数据堆积情况得到有效缓解，外部系统的数据拉取请求能够得到快速、稳定的反馈。

为了便于理解，以下给出了一种步骤S304的具体实施方式，具体可以参照如下步骤S3041-步骤3042执行：

步骤3041：解析、封装所述数据拉取请求得到中间请求，将所述中间请求放入第一队列。

在一例中，参见图4，数据拉取请求为HTTP请求。netty handler获取到外部系统的数据拉取请求后，会调用netty的cmd/Listener层的obtain()对数据拉取请求进行处理，netty的cmd/Listener的obtain()通过对请求数据的解析、封装将数据拉取请求转换为中间请求，然后将中间请求放到第一队列中。中间请求是一种model对象，其中保留了数据拉取请求中包括的所要请求的大体积数据对应的目标采集设备的信息，以及大体积数据的其他信息如采集时间等。

步骤S3042：响应于第一循环模块从所述第一队列获取了所述中间请求，从第二FTP/SFTP服务器的目标文件目录中获取与所述大体积数据对应的待传输数据。

参见图4，第一循环模块从所述第一队列获取了所述中间请求后，FTP的Task会根据中间请求中包含的目标图像采集设备的信息通过FTP的cmd/cmdListener.list()访问第二FTP/SFTP服务器的目标文件目录，并开启线程调用FTP的cmd/cmdListener.obtain()获取所述目标文件目录下的待传输数据。

在本具体实施方式中，通过对数据拉取请求的解析、封装使得数据拉取请求转换为可以被后续流程处理的对象，通过循环模块能够连续的处理外部系统发送的数据拉取请求。

为了便于理解，以下给出了一种步骤S306的具体实施方式，具体可以参照如下步骤S3061-步骤S3063执行：

S3061:根据所述待传输数据得到中间数据。

中间数据是一种model对象。待传输数据是FTP/SFTP协议的数据，首先将其转换为model对象以便后续处理为外部系统所需协议的数据。

在一例中，参见图4，在步骤S3042中调用FTP的cmd/cmdListener.obtain()获取所述目标文件目录下的待传输数据后，在步骤S3061中将所述待传输数据反序列化为中间数据。

S3062:将所述中间数据放入第二队列。

S3063:响应于第二循环模块从所述第二队列获取了所述中间数据，将所述中间数据转换为所述外部系统所需协议的响应数据，发送给所述外部系统。

在一例中，参见图4，第二循环模块每获取到一个中间数据，会开启一个线程调用netty的cmd/listener对中间数据进行处理，中间数据在netty的cmd/listener.send()中，被转为外部系统所需协议(例如HTTP协议)的响应数据，通过netty响应给外部系统。

在本具体实施方式中，通过对待传输数据的解析、封装使其转换为可以被后续流程处理的对象，通过循环模块，能够连续的将根据数据拉取请求获取的待传输数据转换为响应数据响应给外部系统。

实施例四：

参见图5所示的大体积数据的传输系统的架构图，该系统包括位于第一网络的第一大体积数据传输系统和第一FTP/SFTP服务器；

位于第二网络的第二大体积数据传输系统和第二FTP/SFTP服务器；

以及用于在第一网络和第二网络之间进行数据传输的网闸；

所述第一大体积数据传输系统用于使用上述第一方面任一项所述的方法将根据所述大体积数据得到的待传输数据传输至所述第一FTP/SFTP服务器；

所述网闸用于将所述待传输数据从所述第一FTP/SFTP服务器的文件目录摆渡至第二FTP/SFTP服务器的对应文件目录；

所述第二大体积数据传输系统用于使用上述第二方面任一项所述的方法从所述第二FTP/SFTP服务器的对应目录获取所述待传输数据，并将由所述待传输数据得到的响应数据响应给所述外部系统。

可以理解的是，在进行数据传输之前，需要对第一FTP/SFTP服务器和第一FTP/SFTP服务器进行初始化，即在第一、第二FTP/SFTP服务器上建立与图像采集设备的信息一一对应的FTP/SFTP文件目录。在第一大体积数据传输系统和第二大体积数据传输系统获取到图像采集设备的信息之后，会在第一FTP/SFTP服务器和第一FTP/SFTP服务器上建立与图像采集设备的信息一一对应的FTP/SFTP文件目录。可以理解的是，第一大体积数据传输系统和第二大体积数据传输系统获取到的图像采集设备的信息至少有一部分是相同的，大多数情况下是完全相同的。

在一种具体实施方式中，第一网络为视频网，第二网络为安全等级高于第一网络的安全网，图像采集设备位于第一网络中。图像采集设备采集到图像数据后，图像数据处理设备会将新采集的图像数据拆分成大体积数据、大体积数据在数据库中的存储地址，以及与大体积数据对应的小体积数据(新采集的图像数据中不存在与大体积数据对应的小体积数据时，图像数据处理设备会将新采集的图像数据拆分成大体积数据、大体积数据在数据库中的存储地址)，将大体积数据存储到预置的数据库，将小体积数据和大体积数据在数据库中的存储地址作为简易消息发布在KAFKA中(或将大体积数据在数据库中的存储地址作为简易消息发布在KAFKA中)。响应于监听到KAFKA中的简易消息，第一大体积数据传输系统会整合简易消息和根据简易消息中包含的大体积数据的地址获取到的大体积数据，得到全量消息，并将全量消息处理得到的待传输数据同步至第一FTP/SFTP服务器与采集到图像数据的图像采集设备相对应的文件夹内。网闸检测到该文件夹中有新增内容，则会将新增内容同步至第二FTP/SFTP服务器中的同名文件夹。第二网络中的外部系统需要拉取某个图像采集设备采集的数据时，会向第二大体积数据传输系统发出数据拉取请求，根据数据拉取请求中包含的图像采集设备的信息，第二大体积数据传输系统从第二FTP/SFTP服务器与该图像采集设备的信息相对应的文件夹中获取该文件夹中的数据，将该数据响应给外部系统。可以理解的是，外部系统发出的数据拉取请求通常是HTTP协议的，第一FTP/SFTP服务器、第二FTP/SFTP服务器中存储的数据是FTP/SFTP协议的，需要转换为HTTP协议才能响应给外部系统。

本发明实施例提供的上述大体积数据的传输系统，将包含大体积数据在数据库中的存储地址的简易消息发布在KAFKA中、将大体积数据存储在数据库中，而不是将大体积数据作为消息发布在KAFKA中，能够在KAFKA发生数据堆积的情况下依然保持一定的数据传输速度，从而提高大体积数据由第一网络传输至第二网络时的传输稳定性，使位于第二网络的外部系统的数据拉取请求能够得到快速、稳定的拉取到位于第一网络的图像采集设备所采集的图像数据。

实施例五：

对应于实施例二中所提供的大体积数据的传输方法，本发明实施例提供了一种大体积数据的传输装置，参见图6所示的一种大体积数据的传输装置500的结构框图，该装置包括大体积数据获取模块510、整合模块520和传输模块530。所述各个模块可分别执行上文中结合图2、图4描述的大体积数据的传输方法的各个步骤/功能。以下仅对该传输装置500的各部件的主要功能进行描述，而省略以上已经描述过的细节内容。

大体积数据获取模块510，用于响应于监听到KAFKA中的简易消息，根据所述简易消息中包含的地址从预置的数据库中获取对应的大体积数据，所述地址为所述大体积数据在所述数据库中的地址。大体积数据获取模块510可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

整合模块520，用于整合所述简易消息和所述大体积数据，得到全量消息。整合模块520可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

传输模块530，用于传输根据所述全量消息得到的待传输数据。传输模块530可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

实施例六：

对应于实施例三中所提供的大体积数据的传输方法，本发明实施例提供了一种大体积数据的传输装置，参见图7所示的一种大体积数据的传输装置600的结构框图，该装置包括数据拉取请求获取模块610、待传输数据获取模块620和响应模块630。所述各个模块可分别执行上文中结合图3、图4描述的大体积数据的传输方法的各个步骤/功能。以下仅对该传输装置600的各部件的主要功能进行描述，而省略以上已经描述过的细节内容。

数据拉取请求获取模块610，用于获取外部系统发送的数据拉取请求，所述数据拉取请求包括所要请求的大体积数据对应的目标采集设备的信息。数据拉取请求获取模块610可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

待传输数据获取模块620，用于根据所述数据拉取请求从第二FTP/SFTP服务器的目标文件目录中获取与所述大体积数据对应的待传输数据；所述目标文件目录为与所述目标采集设备的信息对应的文件目录，所述待传输数据是由本发明第一方面任一项所述的方法传输至所述第二FTP/SFTP服务器的目标文件目录的。待传输数据获取模块620可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

响应模块630，用于将根据所述待传输数据得到的响应数据响应给所述外部系统。响应模块630可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

实施例七：

本发明实施例提供了一种电子设备。电子设备700包括存储装置710、处理器720和总线730。

所述存储装置710存储用于实现根据本发明实施例的大体积数据的传输方法中的相应步骤的操作指令。

所述处理器720用于通过调用所述操作指令，执行本发明实施例的大体积数据的传输方法。

在一个实施例中，所述操作指令被所述处理器720运行时用于执行以下步骤：响应于监听到KAFKA中的简易消息，根据所述简易消息中包含的地址从预置的数据库中获取对应的大体积数据，所述地址为所述大体积数据在所述数据库中的地址；整合所述简易消息和所述大体积数据，得到全量消息；传输根据所述全量消息得到的待传输数据。

在另一个实施例中，所述操作指令被所述处理器720运行时用于执行以下步骤：获取外部系统发送的数据拉取请求，所述数据拉取请求包括所要请求的大体积数据对应的目标采集设备的信息；根据所述数据拉取请求从第二FTP/SFTP服务器的目标文件目录中获取与所述大体积数据对应的待传输数据；所述目标文件目录为与所述目标采集设备的信息对应的文件目录，所述待传输数据是由本发明第一方面中任一项所述的方法传输至所述第二FTP/SFTP服务器的目标文件目录的；将根据所述待传输数据得到的响应数据响应给所述外部系统。

实施例八

本发明实施例提供了一种计算机可读存储介质，在所述计算机可读存储介质上存储了计算机指令，在所述计算机指令被计算机或处理器运行时用于执行本发明实施例的大体积数据的传输方法的相应步骤，并且用于实现根据本发明实施例的大体积数据的传输装置的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。

在一个实施例中，所述计算机指令在被计算机或处理器运行时可以使得计算机或处理器实现根据本发明实施例的大体积数据的传输装置的各个功能模块，并和/或者可以执行根据本发明实施例的大体积数据的传输方法。

在一个实施例中，所述计算机指令在运行时用于执行以下步骤：响应于监听到KAFKA中的简易消息，根据所述简易消息中包含的地址从预置的数据库中获取对应的大体积数据，所述地址为所述大体积数据在所述数据库中的地址；整合所述简易消息和所述大体积数据，得到全量消息；传输根据所述全量消息得到的待传输数据。

在一个实施例中，所述计算机指令在运行时用于执行以下步骤：获取外部系统发送的数据拉取请求，所述数据拉取请求包括所要请求的大体积数据对应的目标采集设备的信息；根据所述数据拉取请求从第二FTP/SFTP服务器的目标文件目录中获取与所述大体积数据对应的待传输数据；所述目标文件目录为与所述目标采集设备的信息对应的文件目录，所述待传输数据是由第一方面任一项所述的方法传输至所述第二FTP/SFTP服务器的目标文件目录的；将根据所述待传输数据得到的响应数据响应给所述外部系统。

根据本发明实施例的电子设备中的各模块可以通过根据本发明实施例的实施大体积数据传输的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的电子设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种大体积数据的传输方法，应用于第一网络，其特征在于，所述方法包括：

响应于监听到KAFKA中的简易消息，根据所述简易消息中包含的地址从预置的数据库中获取对应的大体积数据，所述地址为所述大体积数据在所述数据库中的地址；

整合所述简易消息和所述大体积数据，得到全量消息；

传输根据所述全量消息得到的待传输数据。

2.根据权利要求1所述的方法，其特征在于，所述传输根据所述全量消息得到的待传输数据包括：

获取所述全量消息；

将所述全量消息序列化为二进制对象，得到FTP/SFTP协议的数据，将得到的FTP/SFTP协议的数据作为待传输数据；

传输所述待传输数据。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

获取图像采集设备的信息，所述大体积数据是由所述图像采集设备中的至少一个目标图像采集设备采集的；

根据所述图像采集设备的信息生成第一FTP/SFTP服务器的文件目录。

4.根据权利要求3所述的方法，其特征在于，所述简易消息还包括所述目标图像采集设备的信息；

所述传输根据所述全量消息得到的待传输数据包括：

将所述待传输数据写入第一FTP/SFTP服务器的目标文件目录，所述目标文件目录为与所述目标采集设备的信息对应的文件目录。

5.一种大体积数据的传输方法，应用于第二网络，其特征在于，所述包括：

获取外部系统发送的数据拉取请求，所述数据拉取请求包括所要请求的大体积数据对应的目标采集设备的信息；

根据所述数据拉取请求从第二FTP/SFTP服务器的目标文件目录中获取与所述大体积数据对应的待传输数据；所述目标文件目录为与所述目标采集设备的信息对应的文件目录，所述待传输数据是由权利要求1-4中任一项所述的方法传输至所述第二FTP/SFTP服务器的目标文件目录的；

将根据所述待传输数据得到的响应数据响应给所述外部系统。

6.根据权利要求5所述的方法，所述根据所述数据拉取请求从第二FTP/SFTP服务器的目标文件目录中获取与所述大体积数据对应的待传输数据，包括：

解析、封装所述数据拉取请求得到中间请求，将所述中间请求放入第一队列；

响应于第一循环模块从所述第一队列获取了所述中间请求，从第二FTP/SFTP服务器的目标文件目录中获取与所述大体积数据对应的待传输数据。

7.根据权利要求5所述的方法，所述将根据所述待传输数据得到的响应数据响应给所述外部系统，包括：

根据所述待传输数据得到中间数据；

将所述中间数据放入第二队列；

响应于第二循环模块从所述第二队列获取了所述中间数据，将所述中间数据转换为所述外部系统所需协议的响应数据，发送给所述外部系统。

8.一种大体积数据的传输系统，其特征在于，包括位于第一网络的第一大体积数据传输系统和第一FTP/SFTP服务器；

位于第二网络的第二大体积数据传输系统和第二FTP/SFTP服务器；

以及用于在第一网络和第二网络之间进行数据传输的网闸；

所述第一大体积数据传输系统用于使用权利要求1-4任一项所述的方法将根据所述大体积数据得到的待传输数据传输至所述第一FTP/SFTP服务器；

所述网闸用于将所述待传输数据从所述第一FTP/SFTP服务器的文件目录摆渡至第二FTP/SFTP服务器的对应文件目录；

所述第二大体积数据传输系统用于使用权利要求5-7任一项所述的方法从所述第二FTP/SFTP服务器的对应目录获取所述待传输数据，并将由所述待传输数据得到的响应数据响应给所述外部系统。

9.一种大体积数据的传输装置，应用于第一网络，其特征在于，所述装置包括：

大体积数据获取模块，用于响应于监听到KAFKA中的简易消息，根据所述简易消息中包含的地址从预置的数据库中获取对应的大体积数据，所述地址为所述大体积数据在所述数据库中的地址；

整合模块，用于整合所述简易消息和所述大体积数据，得到全量消息；

传输模块，用于传输根据所述全量消息得到的待传输数据。

10.一种大体积数据的传输装置，应用于第二网络，其特征在于，所述装置包括：

数据拉取请求获取模块，用于获取外部系统发送的数据拉取请求，所述数据拉取请求包括所要请求的大体积数据对应的目标采集设备的信息；

待传输数据获取模块，用于根据所述数据拉取请求从第二FTP/SFTP服务器的目标文件目录中获取与所述大体积数据对应的待传输数据；所述目标文件目录为与所述目标采集设备的信息对应的文件目录，所述待传输数据是由权利要求1-4中任一项所述的方法传输至所述第二FTP/SFTP服务器的目标文件目录的；

响应模块，用于将根据所述待传输数据得到的响应数据响应给所述外部系统。

11.一种电子设备，其特征在于，所述电子设备包括：

处理器、存储器和总线；

所述总线，用于连接所述处理器和所述存储器；

所述存储器，用于存储操作指令；

所述处理器，用于通过调用所述操作指令，执行上述权利要求1-7中任一项所述的大体积数据的传输方法。

12.一种计算机可读存储介质，其特征在于，所述计算机存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行上述权利要求1至7中任一项所述的大体积数据的传输方法。

Images