CN117675800A - 一种跨安全区域高效文件同步方法 - Google Patents

Abstract

本发明涉及一种跨安全区域高效文件同步方法，视频专网侧设置有高性能FTP服务、消息队列组件和摆渡网关，同步方法包括：视频专网侧通过高性能FTP服务接收到互联网侧同步过来的文件后，发送同步文件消息给消息队列组件；摆渡网关从消息队列组件中订阅对应消息，对同步数据进行解析还原后返回给消息队列组件；视频专网侧的应用程序从消息队列组件中订阅对应消息，通过FilePath进行文件下载；解决现有技术中跨安全区域文件同步时性能、可靠性、使用便捷性上存在的问题，相对于现有方案具备横向拓展性、集群化部署，稳定性更高。

Description

一种跨安全区域高效文件同步方法

技术领域

本发明涉及数据安全技术领域，尤其涉及一种跨安全区域高效文件同步方法。

背景技术

公安边界数据安全交换平台业内简称安全边界，按照用途分为数据边界和视频边界，其中数据边界按照传输方式分为文件摆渡、数据库同步和端口映射(安全规范禁止使用)。

如图1所示为现有技术中互联网数据传入视频专网的流程示意图，图2和图3所示分别为现有技术中互联网数据传入视频专网时安全边界文件同步内部简要流程图和视频专网侧应用程序处理流程图。

结合图1图3可知，现有技术存在的问题包括：1、B侧程序需要定时扫描FTP才能判断是否存在新文件，继而进行后续业务处理；在大批量数据同步时存在性能问题；2、业务处理延迟一方面依赖与应用程序扫描频率，扫描频率过高反向影响FTP服务性能；3、大批量数据文件同步时，B侧FTP单节点存在性能瓶颈且存在单点故障问题；4、B侧使用FTP集群+共享存储解决了单点故障问题，但B侧应用程序只能用单进程进行FTP扫描(多进程扫描文件列表重复)，性能瓶颈后置到B侧应用程序；5、没有可视化软件来完成不同业务系统不同数据种类跨网数据传输。

发明内容

本发明针对现有技术中存在的技术问题，提供一种跨安全区域高效文件同步方法，解决现有技术中性能、可靠性、使用便捷性上存在的问题。

根据本发明的第一方面，提供了一种跨安全区域高效文件同步方法，视频专网侧设置有高性能FTP服务、消息队列组件和摆渡网关，所述同步方法包括：

步骤1，视频专网侧通过所述高性能FTP服务接收到互联网侧同步过来的文件后，发送同步文件消息给所述消息队列组件；

步骤2，所述摆渡网关从所述消息队列组件中订阅对应消息，对同步数据进行解析还原后返回给所述消息队列组件；

步骤3，视频专网侧的应用程序从所述消息队列组件中订阅对应消息，通过FilePath进行文件下载。

在上述技术方案的基础上，本发明还可以作出如下改进。

可选的，所述高性能FTP服务模块包括：FTP模块、配置模块、消息发送模块和HTTP服务模块；

所述FTP模块用于将接收到文件完成文件流写入磁盘；

所述配置模块用于配置所述同步文件消息的消息体格式，所述同步文件消息的内容包括：^文件h _ttp ^地址、当前ftp的ip、接收到文件的时间和发送消息的时间；

所述HTTP服务模块用于提供文件访问的http服务，并对外提供文件删除RESTful服务；

所述消息模块用于发送所述同步文件消息到所述消息队列组件。

可选的，所述步骤2包括：

步骤201，系统配置，包括：运行模式配置、FTP配置、文件打包配置、消息组件配置和分布式文件存储配置；

步骤202，添加同步任务并进行消息体HTTP处理；

步骤203，设置所述摆渡网关的运维管理；

步骤204，配置完成后摆渡网关处理逻辑。

可选的，所述步骤201中所述运行模式配置为配置所述摆渡网关作为文件上传端或是文件下载端运行，并对文件上传端进行TTP配置和文件打包配置以及对文件下载端进行消息组件配置和分布式文件存储配置；

所述FTP配置包括：在运行模式为上传端时配置单节点或集群FTP的主机IP、用户名、端口、密码以及根目录信息；

所述文件打包配置包括：基于从消息队列获取到的消息数量配置打包条数以及配置等待时长；

所述消息组件配置包括：配置下载端依赖的消息组件信息，包括消息组件类型，以及对应消息队列IP、端口和路由键/Topic；

所述分布式文件存储配置包括配置下载端压缩包中非结构化文件上传至分布式存储。

可选的，所述步骤202中添加同步任务的过程包括：

消息组件类型为RabbitMQ/ActiveMQ时，配置同步任务数据来源为消息队列信息中的IP、端口、用户名、密码、交换器、队列名和路由键，以及任务名称和任务唯一标识；

消息组件类型为Kafka时，配置同步任务数据来源为消息队列信息中的IP、端口和Topic，以及任务名称和任务唯一标识。

可选的，所述步骤202中进行消息体HTTP处理的过程包括：

判断消息体中有字段是HTTP路径时，上传端根据场景进行Http路径代理配置或者下载文件字段配置；

进行Http路径代理配置的内容包括：设置消息体中相应字段http文件路径代理模式，填写的信息有HTTP路径代理策略、代理服务地址以及需代理的字段列表；

进行下载文件字段配置的内容包括：设置消息体中文件字段列表，配置后上传端同步时会取出字段对应的HTTP地址值，然后下载文件联同数据json文件一起打包成压缩包。

可选的，所述步骤203中设置所述摆渡网关的运维管理包括：

在所述摆渡网关任务执行过程中将每个文件同步明细存入同步记录日志表中；

清理过期同步记录日志数据；

将同步日志记录表中创建时间为昨日的数据打包成文件同步至所述视频专网侧，所述视频专网侧解析处理后将数据写入同步记录日志_其它表中；

根据同步记录日志表提供明细查询以及报表统计的可视化界面；

根据所述同步记录日志表和同步记录日志_其它表中关联查询提供文件同步明细核对以及文件同步明细统计功能，对比每个文件是否成功同步完成，快速进行问题定位。

可选的，所述步骤204中配置完成后摆渡网关处理逻辑中上传端的处理方法包括：

步骤20401，读取同步任务列表数据；

步骤20402，根据任务设置消息队列信息创建对应的消费者程序；

步骤20403，同步任务未配置消息体HTTP处理或者仅进行了Http路径代理配置时，根据配置模块-文件打包配置中的等待时长以及打包条数，进行批处理逻辑，多条数据生成一个json文件；

步骤20404，同步任务配置了消息体HTTP处理且为文件打包配置时，则进行单条处理逻辑，一条数据生成一个压缩包文件；

步骤20405，将文件上传至FTP；

步骤20406，记录运维数据至同步记录日志表。

可选的，所述步骤204中配置完成后摆渡网关处理逻辑中下载端的处理方法包括：

步骤20411，读取同步任务列表数据，根据任务设置消息队列信息创建对应的生产者程序；

步骤20412，创建高性能FTP服务对应的消息消费者程序，用于监听通过安全边界同步过来的文件消息；

步骤20413，通过文件消息体中的文件HTTP路径下载文件，并解析文件名取出任务唯一标识字段值；

步骤20414，通过所述唯一标识找到对应生产者程序以及同步任务配置信息；

步骤20415，判断下载文件类型，文件类型为json文件时则直接读出文件内容，反序列化后循环将数据通过生产者程序发送到对应消息队列中；

步骤20415，判断下载文件类型，文件类型为zip文件时则先解压，将json文件数据反序列化成map对象；将压缩包中非json文件上传至分布式文件存储中获取到新的http地址，将新的http地址赋值给文件名中解析出的字段名称字段；最后将处理后的map对象通过生产者程序发送到对应消息队列中；

步骤20416，记录运维数据至同步记录日志表。

本发明提供的一种跨安全区域高效文件同步方法，使用高性能FTP+摆渡网关方案后，应用程序无需关注安全边界、FTP；只需将需要通过的数据发送到消息队列、从队列中取出同步的数据进行后续业务逻辑处理；高性能FTP可以根据要同步的数据量通过LVS做横向拓展，保证FTP高可用，提升接入性能；通过消息队列把FTP文件列表扫描操作转换成消息监听，降低了数据同步延迟；通过高性能FTP HTTP模块，将原本的FTP文件下载、删除操作，转换成了性能更佳的HTTP协议；提高了FTP接入性能；双网部署的摆渡网关，大大降低应用程序同步数据逻辑；提供配置化界面，业务方可按需配置数据同步任务；通过摆渡网关消息体HTTP处理模块，跨网调阅文件；通过摆渡网关运维管理模块，提供快速便捷核对同步数据，定位同步问题根源；使用消息队列组件后摆渡网关无需做任何调整即可横向拓展，提高处理性能。可以使屏蔽了应用侧对FTP文件扫描，读取逻辑。相对于现有方案具备横向拓展性、集群化部署，稳定性更高；通过高性能FTP服务避免的FTP定时扫描操作，数据同步延迟更低。

附图说明

图1为现有技术中互联网数据传入视频专网的流程示意图；

图2为现有技术中互联网数据传入视频专网时安全边界文件同步内部简要流程图；

图3为现有技术中互联网数据传入视频专网时视频专网侧应用程序处理流程图；

图4为本发明实施例提供的基于摆渡网关+高性能FTP通用文件摆渡方案数据流向示意图；

图5为本发明实施例提供的高性能FTP服务的结构框图；

图6为本发明实施例提供的摆渡网关的功能结构框图；

图7为本发明实施例提供的运行模式与其它配置模块关系示意图；

图8为本发明实施例提供的添加同步任务的流程图；

图9为本发明实施例提供的上传端同步数据文件HTTP地址配置逻辑流程图；

图10为本发明实施例提供的Http路径代理策略示意图；

图11为本发明实施例提供的摆渡网关上传端处理逻辑流程图；

图12为本发明实施例提供的摆渡网关下载端处理逻辑流程图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

图4为本发明实施例提供的基于摆渡网关+高性能FTP通用文件摆渡方案数据流向示意图，如图4所示，视频专网侧设置有高性能FTP服务、消息队列组件和摆渡网关，该同步方法包括：

步骤1，视频专网侧通过高性能FTP服务接收到互联网侧同步过来的文件后，发送同步文件消息给消息队列组件。

步骤2，摆渡网关从消息队列组件中订阅对应消息，对同步数据进行解析还原后返回给消息队列组件。

步骤3，视频专网侧的应用程序从消息队列组件中订阅对应消息，通过FilePath进行文件下载。具体实施中，应用程序通过FilePath进行文件下载，业务逻辑处理完成后，调用删除的RESTful服务进行文件删除即可。

视频专网侧程序当前只需和消息队列进行交互，依赖消息队列高性能可多节点消费的特征，解决了视频专网侧程序不能同时消费的问题，提升性能。

本发明提供的一种跨安全区域高效文件同步方法，相对于现有方案具备横向拓展性、集群化部署，稳定性更高。

实施例1

本发明提供的实施例1为本发明提供的一种跨安全区域高效文件同步方法的实施例，结合图4-12可知，视频专网侧设置有高性能FTP服务、消息队列组件和摆渡网关，该同步方法的实施例包括：

步骤1，视频专网侧通过高性能FTP服务接收到互联网侧同步过来的文件后，发送同步文件消息给消息队列组件。

在一种可能的实施例方式中，高性能FTP服务模块包括：FTP模块、配置模块、消息发送模块和HTTP服务模块。

FTP模块用于将接收到文件完成文件流写入磁盘。

配置模块用于配置同步文件消息的消息体格式，同步文件消息的内容包括：^文件h _ttp ^地址、当前ftp的ip、接收到文件的时间和发送消息的时间。

本发明提供的一种实施例中，打包上传至FTP文件分为两种类型：

结构化数据：纯文本数据；消息队列中的消息以json文本数据存储。

结构化数据+文件类型数据(图片、视频等)组合以压缩文件上传形式；消息队列中消息以json文本数据存储，消息体部分文件字段下载后的文件数据，合并成压缩包。

以下述消息体为示例

{

"FilePath":"http://192.168.0.166:8100/pass/test.jpg",//文件http地址

"SourceIP":"192.168.0.166",//当前ftp的ip

"RecoredTime":"20190816170109",//接收到文件的时间

"ReportedTime":"20190816170110"//发送消息的时间

}

结构化数据：a.json内容则为上述消息体

压缩文件：a.zip压缩包里面包含a.json、test.jpg(FilePath字段http地址下载下来的文件)

其中FilePath通过HTTP服务模块生成。

HTTP服务模块用于提供文件访问的http服务，并对外提供文件删除RESTful服务。

本发明提供的一种实施例中，文件的访问地址为：http://192.168.0.166:8100/pass/test.jpg。

对应文件删除请求为：post http://192.168.0.166:8100/deleteFiles{files:["地址一","地址二"]}。

消息模块用于发送同步文件消息到消息队列组件。

步骤2，摆渡网关从消息队列组件中订阅对应消息，对同步数据进行解析还原后返回给消息队列组件。

在一种可能的实施例方式中，步骤2包括：

步骤201，系统配置，包括：运行模式配置、FTP配置、文件打包配置、消息组件配置和分布式文件存储配置。

在一种可能的实施例方式中，步骤201中运行模式配置为配置摆渡网关作为文件上传端或是文件下载端运行，并对文件上传端进行TTP配置和文件打包配置以及对文件下载端进行消息组件配置和分布式文件存储配置。

以文件从A->B为例，那么A则为文件上传端(文件上传至FTP)，B则为文件下载端(从FTP中下载文件)；运行模式与其它配置信息关系如图7所示。

FTP配置包括：在运行模式为上传端时配置单节点或集群FTP的主机IP、用户名、端口、密码以及根目录信息。

文件打包配置包括：基于从消息队列获取到的消息数量配置打包条数以及配置等待时长(s)；解决因单条数据打包，生成文件个数多，导致处理性能低的问题；数据先在内存中缓存，然后批量打包，例如打包条数为100，等待时间为2s，表示的含义为任一条件满足则缓存的数据打包成一个文件上传至FTP。

等待时间	打包条数	是否满足打包条件
			<＝2s	100	是
＝2s	<＝100	是

消息组件配置包括：配置下载端依赖的消息组件信息，包括消息组件类型(RabbitMQ/Kafka/ActiveMQ)，以及对应消息队列IP、端口和路由键/Topic等信息。

分布式文件存储配置包括配置下载端压缩包中非结构化文件上传至分布式存储如minio的信息。

步骤202，添加同步任务并进行消息体HTTP处理。

在一种可能的实施例方式中，步骤202中添加同步任务的过程包括：

消息组件类型为RabbitMQ/ActiveMQ时，配置同步任务数据来源为消息队列信息中的IP、端口、用户名、密码、交换器、队列名和路由键，以及任务名称和任务唯一标识。

消息组件类型为Kafka时，配置同步任务数据来源为消息队列信息中的IP、端口和Topic，以及任务名称和任务唯一标识。

在判断配置信息正确后，保存配置信息到数据库。

在一种可能的实施例方式中，步骤202中进行消息体HTTP处理的过程包括：

判断消息体中有字段是HTTP路径时，上传端则需要根据场景进行Http路径代理配置或者下载文件字段配置；具体实施中，判断是否能够申请到端口映射边界，是则进行Http路径代理配置，否则进行下载文件字段配置。

进行Http路径代理配置的内容包括：设置消息体中相应字段http文件路径代理模式，填写的信息有HTTP路径代理策略、代理服务地址以及需代理的字段列表。

具体实施过程中，HTTP路径代理策略包括：替换前缀、默认策略以及添加前缀；替换前缀包括：配置HTTP代理服务地址以及原始HTTP地址中相对路径地址；默认策略则不做任何处理；添加前缀包括：配置HTTP代理服务地址以及URL编码(及原始HTTP地址进行)。HTTP路径代理完成后将文件同步至视频专网侧的HTTP地址。

进行下载文件字段配置的内容包括：设置消息体中文件字段列表，配置后上传端同步时会取出字段对应的HTTP地址值，然后下载文件联同数据json文件一起打包成压缩包。

步骤203，设置摆渡网关的运维管理。

在一种可能的实施例方式中，步骤203中设置摆渡网关的运维管理包括：

在摆渡网关任务执行过程中将每个文件同步明细存入同步记录日志表中；具体实施中，该同步记录日志表包含记录id、文件状态(成功/失败)【上传端表示含义：文件上传FTP状态，下载端表示含义：文件下载状态】、文件内数据条数、文件创建时间、文件名、任务类型【取任务唯一标识字段值】字段。

清理过期同步记录日志数据；具体实施中，可根据设置保留的时长进行自动清理。

将同步日志记录表中创建时间为昨日的数据打包成文件同步至视频专网侧，视频专网侧解析处理后将数据写入另一张【同步记录日志_其它】表中；具体实施中，可在每晚凌晨一点进行该过程。

根据同步记录日志表提供明细查询以及报表统计(每日同步文件总数、每日同步数据总数、每日每种数据类型同步数据总数等)的可视化界面，方便运维排错。

根据同步记录日志表和同步记录日志_其它表中关联查询提供文件同步明细核对以及文件同步明细统计功能，可对比每个文件是否成功同步完成，快速进行问题定位。

步骤204，配置完成后摆渡网关处理逻辑。

在一种可能的实施例方式中，步骤204中配置完成后摆渡网关处理逻辑中上传端的处理方法包括：

步骤20401，读取同步任务列表数据。

步骤20402，根据任务设置消息队列信息创建对应的消费者程序。

具体实施中，Kafka消费者Group名称命名规则为：程序简称_任务唯一标识。

MQ消费者队列名称命名规则为：程序简称_任务唯一标识。

步骤20403，同步任务未配置【消息体HTTP处理】或者仅进行了【Http路径代理配置】时，根据【配置模块-文件打包配置】中的等待时长以及打包条数，进行批处理逻辑，多条数据生成一个json文件。

步骤20404，同步任务配置了【消息体HTTP处理】且为【文件打包配置】时，则进行单条处理逻辑，一条数据生成一个压缩包文件。

具体实施中，压缩包中非json文件命名规则为：字段名称_文件原始名称。

文件命名规则为：任务唯一标识_uuid_时间戳.拓展名。

步骤20405，将文件上传至FTP。

步骤20406，记录运维数据至【同步记录日志表】。

在一种可能的实施例方式中，步骤204中配置完成后摆渡网关处理逻辑中下载端的处理方法包括：

步骤20411，读取同步任务列表数据，根据任务设置消息队列信息创建对应的生产者程序。

步骤20412，创建高性能FTP服务对应的消息消费者程序，用于监听通过安全边界同步过来的文件消息。

步骤20413，通过文件消息体中的文件HTTP路径下载文件，并解析文件名取出任务【唯一标识】字段值。

步骤20414，通过【唯一标识】找到对应生产者程序以及同步任务配置信息。

步骤20415，判断下载文件类型，文件类型为json文件时则直接读出文件内容，反序列化后循环将数据通过生产者程序发送到对应消息队列中。

步骤20415，判断下载文件类型，文件类型为zip文件时则先解压，将json文件数据反序列化成map对象；将压缩包中非json文件上传至【分布式文件存储】中获取到新的http地址，将新的http地址赋值给文件名中解析出的【字段名称】字段；最后将处理后的map对象通过生产者程序发送到对应消息队列中。

步骤20416，记录运维数据至【同步记录日志表】。

步骤3，视频专网侧的应用程序从消息队列组件中订阅对应消息，通过FilePath进行文件下载。

本发明实施例提供的一种跨安全区域高效文件同步方法，使用高性能FTP+摆渡网关方案后，应用程序无需关注安全边界、FTP；只需将需要通过的数据发送到消息队列、从队列中取出同步的数据进行后续业务逻辑处理；高性能FTP可以根据要同步的数据量通过LVS做横向拓展，保证FTP高可用，提升接入性能；通过消息队列把FTP文件列表扫描操作转换成消息监听，降低了数据同步延迟；通过高性能FTP HTTP模块，将原本的FTP文件下载、删除操作，转换成了性能更佳的HTTP协议；提高了FTP接入性能；双网部署的摆渡网关，大大降低应用程序同步数据逻辑；提供配置化界面，业务方可按需配置数据同步任务；通过摆渡网关消息体HTTP处理模块，跨网调阅文件；通过摆渡网关运维管理模块，提供快速便捷核对同步数据，定位同步问题根源；使用消息队列组件后摆渡网关无需做任何调整即可横向拓展，提高处理性能。可以使屏蔽了应用侧对FTP文件扫描，读取逻辑。相对于现有方案具备横向拓展性、集群化部署，稳定性更高；通过高性能FTP服务避免的FTP定时扫描操作，数据同步延迟更低。

需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (9)

1.一种跨安全区域高效文件同步方法，其特征在于，视频专网侧设置有高性能FTP服务、消息队列组件和摆渡网关，所述同步方法包括：

步骤1，视频专网侧通过所述高性能FTP服务接收到互联网侧同步过来的文件后，发送同步文件消息给所述消息队列组件；

步骤2，所述摆渡网关从所述消息队列组件中订阅对应消息，对同步数据进行解析还原后返回给所述消息队列组件；

步骤3，视频专网侧的应用程序从所述消息队列组件中订阅对应消息，通过FilePath进行文件下载。

2.根据权利要求1所述的同步方法，其特征在于，所述高性能FTP服务模块包括：FTP模块、配置模块、消息发送模块和HTTP服务模块；

所述FTP模块用于将接收到文件完成文件流写入磁盘；

所述配置模块用于配置所述同步文件消息的消息体格式，所述同步文件消息的内容包括：^文件h _ttp ^地址、当前ftp的ip、接收到文件的时间和发送消息的时间；

所述HTTP服务模块用于提供文件访问的http服务，并对外提供文件删除RESTful服务；

所述消息模块用于发送所述同步文件消息到所述消息队列组件。

3.根据权利要求1所述的同步方法，其特征在于，所述步骤2包括：

步骤201，系统配置，包括：运行模式配置、FTP配置、文件打包配置、消息组件配置和分布式文件存储配置；

步骤202，添加同步任务并进行消息体HTTP处理；

步骤203，设置所述摆渡网关的运维管理；

步骤204，配置完成后摆渡网关处理逻辑。

4.根据权利要求3所述的同步方法，其特征在于，所述步骤201中所述运行模式配置为配置所述摆渡网关作为文件上传端或是文件下载端运行，并对文件上传端进行TTP配置和文件打包配置以及对文件下载端进行消息组件配置和分布式文件存储配置；

所述FTP配置包括：在运行模式为上传端时配置单节点或集群FTP的主机IP、用户名、端口、密码以及根目录信息；

所述文件打包配置包括：基于从消息队列获取到的消息数量配置打包条数以及配置等待时长；

所述消息组件配置包括：配置下载端依赖的消息组件信息，包括消息组件类型，以及对应消息队列IP、端口和路由键/Topic；

所述分布式文件存储配置包括配置下载端压缩包中非结构化文件上传至分布式存储。

5.根据权利要求3所述的同步方法，其特征在于，所述步骤202中添加同步任务的过程包括：

消息组件类型为RabbitMQ/ActiveMQ时，配置同步任务数据来源为消息队列信息中的IP、端口、用户名、密码、交换器、队列名和路由键，以及任务名称和任务唯一标识；

消息组件类型为Kafka时，配置同步任务数据来源为消息队列信息中的IP、端口和Topic，以及任务名称和任务唯一标识。

6.根据权利要求3所述的同步方法，其特征在于，所述步骤202中进行消息体HTTP处理的过程包括：

判断消息体中有字段是HTTP路径时，上传端根据场景进行Http路径代理配置或者下载文件字段配置；

进行Http路径代理配置的内容包括：设置消息体中相应字段http文件路径代理模式，填写的信息有HTTP路径代理策略、代理服务地址以及需代理的字段列表；

进行下载文件字段配置的内容包括：设置消息体中文件字段列表，配置后上传端同步时会取出字段对应的HTTP地址值，然后下载文件联同数据json文件一起打包成压缩包。

7.根据权利要求3所述的同步方法，其特征在于，所述步骤203中设置所述摆渡网关的运维管理包括：

在所述摆渡网关任务执行过程中将每个文件同步明细存入同步记录日志表中；

清理过期同步记录日志数据；

将同步日志记录表中创建时间为昨日的数据打包成文件同步至所述视频专网侧，所述视频专网侧解析处理后将数据写入同步记录日志_其它表中；

根据同步记录日志表提供明细查询以及报表统计的可视化界面；

根据所述同步记录日志表和同步记录日志_其它表中关联查询提供文件同步明细核对以及文件同步明细统计功能，对比每个文件是否成功同步完成，快速进行问题定位。

8.根据权利要求3所述的同步方法，其特征在于，所述步骤204中配置完成后摆渡网关处理逻辑中上传端的处理方法包括：

步骤20401，读取同步任务列表数据；

步骤20402，根据任务设置消息队列信息创建对应的消费者程序；

步骤20403，同步任务未配置消息体HTTP处理或者仅进行了Http路径代理配置时，根据配置模块的文件打包配置中的等待时长以及打包条数，进行批处理逻辑，多条数据生成一个json文件；

步骤20404，同步任务配置了消息体HTTP处理且为文件打包配置时，则进行单条处理逻辑，一条数据生成一个压缩包文件；

步骤20405，将文件上传至FTP；

步骤20406，记录运维数据至同步记录日志表。

9.根据权利要求3所述的同步方法，其特征在于，所述步骤204中配置完成后摆渡网关处理逻辑中下载端的处理方法包括：

步骤20411，读取同步任务列表数据，根据任务设置消息队列信息创建对应的生产者程序；

步骤20412，创建高性能FTP服务对应的消息消费者程序，用于监听通过安全边界同步过来的文件消息；

步骤20413，通过文件消息体中的文件HTTP路径下载文件，并解析文件名取出任务唯一标识字段值；

步骤20414，通过所述唯一标识找到对应生产者程序以及同步任务配置信息；

步骤20415，判断下载文件类型，文件类型为json文件时则直接读出文件内容，反序列化后循环将数据通过生产者程序发送到对应消息队列中；

步骤20415，判断下载文件类型，文件类型为zip文件时则先解压，将json文件数据反序列化成map对象；将压缩包中非json文件上传至分布式文件存储中获取到新的http地址，将新的http地址赋值给文件名中解析出的字段名称字段；最后将处理后的map对象通过生产者程序发送到对应消息队列中；

步骤20416，记录运维数据至同步记录日志表。