CN115834584A

CN115834584A - 跨网数据传输方法、装置、设备及介质

Info

Publication number: CN115834584A
Application number: CN202211475323.7A
Authority: CN
Inventors: 黄平
Original assignee: Chongqing Unisinsight Technology Co Ltd
Current assignee: Chongqing Unisinsight Technology Co Ltd
Priority date: 2022-11-23
Filing date: 2022-11-23
Publication date: 2023-03-21
Anticipated expiration: 2042-11-23
Also published as: CN115834584B

Abstract

本申请提出了一种跨网数据传输方法、装置、设备及介质，该方法包括：获取至少两个网络中任一网络下所对应的业务数据；根据业务数据的类型匹配相应传输协议对业务数据进行封装，生成由业务字段信息与业务属性字段信息构成的数据包；将业务字段信息与业务属性字段信息按数据结构划分为结构化数据与文件数据；根据传输协议的类型匹配相应加密方式对结构数据进行加密处理，利用第三方网络将加密的数据包传输到另一网络；将文件数据备份至预设目录，以使另一网络通过第三方网络下载文件数据，完成跨网数据传输。通过上述方式，满足了自定义配置业务场景，可同时传输数据、文件；也提高了业务数据的安全性与通用能力。

Description

跨网数据传输方法、装置、设备及介质

技术领域

本申请涉及数据传输领域，尤其涉及一种跨网数据传输方法、装置、设备及介质。

背景技术

跨网数据传输是指在不同的局域网内，通过互联网进行跨局域网的传输。例如，为保护公民信息安全，一般存在两个网络环境，一是基础信息网，存储着公民大量的重要基础信息如身份证号、手机号、微信号、证件照、车牌号等，采用专用网络搭建；二是视频专网，用于民警侦察，只能获取到一些录像视频、抓拍图片等轻量级数据，两种网络采用公有网络搭建，可从根本上隔离两个网络环境的数据传输。网络隔离，虽可以保证数据的安全性，不被泄露，但是网络间不能传输数据也对用户使用上造成了极大的不变。

然而，上述网络隔离虽然可以确保数据安全，但在两种网络进行协同处理某个事件或业务时，往往由于网络隔离，导致处理的业务中断，因此，亟需一种跨网数据传输方式，既确保数据传输安全，又不影响业务场景的业务处理。

申请内容

鉴于以上所述现有技术的缺点，本申请提供一种跨网数据传输方法、装置、设备及介质以解决上述跨网数据传输方法无法既确保数据传输安全又不影响业务处理的技术问题。

在第一方面，本申请提供的一种跨网数据传输方法，应用于至少两个网络，所述网络之间采用第三方网络连接以实现数据转发，所述方法包括：

获取所述至少两个网络中任一网络下所对应的业务数据；

根据所述业务数据的类型匹配相应传输协议对所述业务数据进行封装，生成由业务字段信息与业务属性字段信息构成的数据包；

将所述业务字段信息与业务属性字段信息按数据结构划分为结构化数据与文件数据；

根据所述传输协议的类型匹配相应加密方式对所述结构数据进行加密处理，利用所述第三方网络将加密的所述数据包传输到另一网络；将所述文件数据备份至预设目录，以使另一网络通过所述第三方网络下载所述文件数据，完成跨网数据传输。

在一种可能的实施方式中，所述根据所述业务数据的类型匹配相应传输协议对所述业务数据进行封装之前，还包括：

对所述业务数据内业务字段信息与业务属性字段信息进行校验，确定所述数据的合法性；

待所述业务数据满足合法性后，根据所述业务属性字段信息内标识数据类型确定当前所述业务数据配置的业务场景是否匹配；

若当前所述业务数据的获取时间在预设时间内，且所述业务数据配置的业务场景相匹配则确定所述业务数据有效；

若当前所述业务数据的获取时间不在预设时间内，或，所述业务数据配置的业务场景不匹配，则确定所述业务数据无效。

在一种可能的实施方式中，所述业务属性字段信息包括业务场景标识、数据唯一标识、数据收藏时间与创建者标识，根据所述业务数据所对应的业务场景不同，动态配置所述业务数据中所述业务字段信息的字段名称、字段数目以及字段含义。

在一种可能的实施方式中，根据所述传输协议的类型匹配相应加密方式对所述结构数据进行加密处理，包括以下至少之一：

根据所述业务数据的类型匹配相应传输协议，基于所述传输协议使用认证证书、密文片段、主题消费权限或文件使用权限来进行协议加密处理，其中，所述传输协议包括文件传输协议、超文本传输协议、消息中间件协议之一；

对所述结构数据进行加密处理，确定第一结构数据，对所述第一结构数据进行签名加密确定第二结构数据；

基于预设用户权限映射关系对所述第二结构数据的接收方设置不同访问权限，以使不同访问权限的接收方显示不同程度的所述第二结构数据。

在一种可能的实施方式中，将所述文件数据备份至预设目录，以使另一网络通过所述第三方网络下载所述文件数据，还包括：

将备份至预设目录的所述文件数据确定为待传输文件；

根据所述待传输文件与预设文件大小进行判断，确定所述待传输文件为第一传输文件或第二传输文件，所述第一传输文件或第二传输文件包括以下至少之一：图片数据、文字数据视频数据、音频数据；

若所述待传输文件为第一传输文件，则发起IO请求同步读取文件IO；当所述IO请求中断造成进程阻塞时，等待所述第一传输文件从磁盘控制器缓冲区拷贝到页高缓，再将所述第一传输文件从所述页高缓拷贝到用户进程缓冲区；

若所述待传输文件为第二传输文件，则利用拷贝进程异步读取文件IO，将所述第二传输文件从磁盘控制器缓冲区拷贝到用户进程缓冲区。

在一种可能的实施方式中，利用所述第三方网络将加密的所述数据包传输到另一网络之后，还包括：

根据选择的所述传输协议使用不同的协议解密方式来处理所述业务数据，完成协议解密；

对所述第二结构数据进行签名验证，以解密方式确定为第一结构数据，对所述第一结构数据进行对称或非对称解密处理，确定结构数据；

若所述业务数据所对应的协议解密、签名验证以及解密处理都通过，则将所述结构数据进行存储；

若所述业务数据所对应的协议解密、签名验证以及解密处理任一不通过，则进行异常记录，并形成安全预警。

在一种可能的实施方式中，将所述文件数据备份至预设目录，以使另一网络通过所述第三方网络下载所述文件数据之后，还包括：

根据所述传输协议以及预设用户权限映射关系确定所述待传输文件的拷贝方案，利用拷贝方案端对所述待传输文件进行文件备份，得到文件数据完成数据存储。

在第二方面，本申请还提供了一种跨网数据传输装置，应用于至少两个网络，所述网络之间采用第三方网络连接以实现数据转发，所述装置包括：

获取模块，用于获取所述至少两个网络中任一网络下所对应的业务数据；

协议封装模块，用于根据所述业务数据的类型匹配相应传输协议对所述业务数据进行封装，生成由业务字段信息与业务属性字段信息构成的数据包；

数据划分模块，用于将所述业务字段信息与业务属性字段信息按数据结构划分为结构化数据与文件数据；

跨网传输模块，用于根据所述传输协议的类型匹配相应加密方式对所述结构数据进行加密处理，利用所述第三方网络将加密的所述数据包传输到另一网络；将所述文件数据备份至预设目录，以使另一网络通过所述第三方网络下载所述文件数据，完成跨网数据传输。

在第三方面，本申请还提供了一种电子设备，包括处理器、存储器和通信总线；

所述通信总线用于将所述处理器和存储器连接；

所述处理器用于执行所述存储器中存储的计算机程序，以实现如上述中任一项实施例所述的跨网数据传输方法。

在第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于使计算机执行如上述任一项实施例所述的跨网数据传输方法。

本申请的有益效果：本申请提出的一种跨网数据传输方法、装置、设备及介质，该方法通过不同业务场景所对应不同类型业务数据，根据不同业务数据的类型匹配相应传输协议对所述业务数据进行封装，生成由业务字段信息与业务属性字段信息构成的数据包，一方面，满足了自定义配置业务场景，可同时传输数据、文件；另一方面，也提高了业务数据的安全性与通用能力。

附图说明

图1是本申请一实施例中提供的一种跨网数据传输方法实施环境应用示意图；

图2是本申请一实施例中提供的跨网数据传输方法流程图；

图3是本申请一实施例中提供的跨网数据传输方法中校验流程图；

图4是本申请一实施例中提供的跨网数据传输方法中加密流程图；

图5是本申请一实施例中提供的跨网数据传输方法中拷贝流程图；

图6是本申请一实施例中提供的跨网数据传输方法完整流程图；

图7是本申请一实施例中提供的跨网数据传输方法中小文件拷贝图；

图8是本申请一实施例中提供的跨网数据传输方法中大文件拷贝图；

图9是本申请一实施例中提供的跨网数据传输装置框架图；

图10是本申请一实施例提供的一种电子设备的结构示意图。

具体实施方式

以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，遂图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在下文描述中，探讨了大量细节，以提供对本申请实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本申请的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本申请的实施例难以理解。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在相关技术中，在互联网络发达的今天，公民信息安全是极其重要的，因此在公安系统中，为保护信息安全，一般存在两个网络环境，一是公安网(即，基础信息网络)，存储着公民大量的重要基础信息，如身份证号、手机号、微信号、证件照、车牌号等，采用专用网络搭建；二是视频专网主要用于民警侦察，只能获取到一些录像视频、抓拍图片等轻量级数据，采用公有网络搭建，可从根本上隔离两个网络环境的数据传输。网络隔离，虽可以保证数据的安全性，不被泄露，但是网络间不能传输数据也对民警使用上造成了极大的不变。例如，在以下的场景中，民警在视频专网侦察过程中，发现了一名嫌疑人，需要进一步研判追踪，获取嫌疑人的身份信息，由于身份信息仅存放于基础信息网络环境中，这时，侦察就会中断。如何确保两个网络之间数据传输的安全性，因此，亟需一种跨网数据传输方案，面对不同的业务场景，构建一种通用数据传输能力，且能防止数据被篡改或泄露，具体详见以下描述。

请参见图1，为本申请一实施例中提供的一种跨网数据传输方法实施环境应用示意图。如图1所示，该实施环境应用网络架构可以包括服务器01(服务器集群)和监视终端集群。该监视终端集群可以包括一个或者多个监视终端，这里将不对监视终端的数量进行限制。如图1所示，具体可以包括监视终端100a、监视终端100b、监视终端100c、…、监视终端100n。如图1所示，监视终端100a、监视终端100b、监视终端100c、…、监视终端100n可以分别与上述服务器10进行网络连接，以便于每个监视终端可以通过该网络连接与服务器10进行数据交互。其中，这里不限定该网络连接的具体连接方式，比如，可以通过有线通信方式进行直接或间接地连接，也可以通过无线通信方式进行直接或间接地连接。

如图1所示，本申请实施例中的服务器01可以为监视终端对应的服务器。该服务器01可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式装置，还可以是提供云计算服务的云服务器。为便于理解，监视终端可以通过采集监控视频发送至务器01进行跨网数据传输。其中，上述跨网数据传输方法可以在服务器、服务器集群或云计算服务集群等任意设备中进行。例如，服务器兼具目标跨网数据传输功能。

请参阅图2，为本申请一实施例中提供的跨网数据传输方法流程示意图，应用于至少两个网络，所述网络之间采用第三方网络连接以实现数据转发，所述跨网数据传输方法包括：

步骤S210，获取所述至少两个网络中任一网络下所对应的业务数据；

具体地，至少两个网络，例如，第一个网络为内网与第二个网络为外网，具体而言，第一个网络为基础信息网络，第二个网络为视频专网，其中，第一个网络与第二个网络采用第三方网络进行连接，实现数据转发。

步骤S220，根据所述业务数据的类型匹配相应传输协议对所述业务数据进行封装，生成由业务字段信息与业务属性字段信息构成的数据包；

具体地，传输协议包括但不限于超文本传输协议、消息中间件与FTP协议。

超文本传输协议(Hyper Text Transfer Protocol，HTTP)，它是一种用于分布式、协作式和超媒体信息系统的应用层协议，是万维网的数据通信的基础，也是互联网应用最为广泛的一种网络传输协议。

消息中间件，利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成，通过提供消息传递和消息排队模型，它可以在分布式环境下扩展进程间的通信。

FTP协议(File Transfer Protocol，文件传输协议)是一个用于在计算机网络上客户端和服务器之间进行文件传输的应用层协议，包括FTP服务器和FTP客户端两个组成部分。

在此，需要说明的是，由于不同业务场景所对应的业务数据类型不同，当确定业务场景后就确定业务数据，选择与其业务数据相匹配的传输协议进行封装，生成由业务字段信息与业务属性字段信息构成的数据包。

例如，所述业务属性字段信息包括业务场景标识、数据唯一标识、数据收藏时间与创建者标识，根据所述业务数据所对应的业务场景不同，动态配置所述业务数据中所述业务字段信息的字段名称、字段数目以及字段含义。

需要说明的是，支持常见协议，例如，http协议：首先，需要通过网络端口隐射等配置使得基础信息网络与视频专网互通；然后，接收方定义传输私有http接口，发送信息方通过该接口将数据传输到接收信息方。消息中间件：首先，需要增加消息中间件，通过网络配置使得该网络能与基础信息网络、视频专网互通；然后，定义发送消息topic，发送信息网络通过topic协议按照数据结构转换后，将数据传输到中间环境，进行过渡，不用进行数据缓存；最后定义接收消息topic，接收信息网络通过该topic获取数据，并按照数据结构进行解析处理。ftp协议：首先，需要部署ftp服务器，通过网络配置使得该网络能与基础信息网络、视频专网互通；然后，发送信息网络定义文件类型及数据结构，连接ftp后将数据上传的ftp对应目录，进行存放；最后，接收信息网络定时检查ftp对应目录文件，然后根据数据结构、文件类型进行解析或备份存储。其中，http协议适合数据量小，实时性高的场景，支持携带少量的小文件；消息中间件适合数据量大，准时性的场景，不支持携带文件；ftp协议适合数据量大，时效性一般，携带不同类型文件的场景，该方案支持页面动态配置，根据不同应用场景更改协议类型。

通过上述方式，使用多种传输协议，满足不同业务场景需求，可同时传输数据、文件，提供通用业务能力，可自定义配置业务场景，提高了业务数据通用性。

步骤S230，将所述业务字段信息与业务属性字段信息按数据结构划分为结构化数据与文件数据；

具体地，通过对业务数据进行拆分，将所述业务字段信息与业务属性字段信息按数据结构划分为结构化数据与文件数据，例如，业务数据中业务字段信息可包括结构数据与文件数据，通过对业务字段进行拆分，确定结构化数据与文件数据，有利于后续分别对不同数据分别处理，有利于后续快速实现跨网传输。

步骤S240，根据所述传输协议的类型匹配相应加密方式对所述结构数据进行加密处理，利用所述第三方网络将加密的所述数据包传输到另一网络；将所述文件数据备份至预设目录以使另一网络通过所述第三方网络下载所述文件数据，完成跨网数据传输。

具体地，通过对结构数据与文件数据采用不同传输协议以及传输方式，不仅提高了业务数据的通用性，也确保数据安全性。

在本实施例中，根据不同业务数据的类型匹配相应传输协议对所述业务数据进行封装，生成由业务字段信息与业务属性字段信息构成的数据包，一方面，满足了自定义配置业务场景，可同时传输结构化数据(即，数据)、文件数据(即，文件)；另一方面，也提高了业务数据的安全性与通用能力。

在另一些实施例中，通用数据结构，其中，通用数据结构的业务数据分成两部分，一部分是基础信息字段，直接定义，供所有业务使用，不支持动态扩展，也称为业务固定字段信息，包含业务场景标识(biz_type)、数据唯一标识(id)、数据来源(data_from)、数据收藏时间(create_time)、数据创建者标识(creator_id)、数据创建者名称(creator_name)；一部分是业务信息字段，业务场景不同，对应的字段名称、字段个数、字段含义均可能不同，所以这部分是需要进行配置的。比如收藏图片摆渡场景，业务字段包含抓拍时间、抓拍设备、目标类型、图片来源、收藏用户、目标图及目标场景图等；案件摆渡场景，业务字段包含案件中心、案件地点、案件时间、嫌疑人图片集合、案件资料文件、案件创建人等。实际业务场景中，部分业务字段可能是文件，因此通用数据结构应该为：

与data_info同级的字段表示基础信息字段，data_info内部的字段表示业务信息字段，data_file表示的业务场景特殊字段，如图片、视频、文档等。其中，data_info、data_file内部的业务字段支持动态配置，能够满足不同业务场景的配置需求，提高了数据的通用性。

在一种可能的实施方式中，请参阅图3，为本申请一实施例中提供的跨网数据传输方法中校验流程图，详述如下：

所述根据所述业务数据的类型匹配相应传输协议对所述业务数据进行封装之前，还包括：

步骤S310，对所述业务数据内业务字段信息与业务属性字段信息进行校验，确定所述数据的合法性；

具体地，数据合法性指的是数据所有字段信息为空校验、长度校验、类型校验、格式校验等，不仅能确保业务数据的完整性，还能准确数据准确性。

步骤S320，待所述业务数据满足合法性后，根据所述业务属性字段信息内标识数据类型确定当前所述业务数据配置的业务场景是否匹配；

具体地，通过标识数据类型确定当前所述业务数据配置的业务场景是否匹配，提高业务数据的业务场景配置能力。

步骤S330，若当前所述业务数据的获取时间在预设时间内，且所述业务数据配置的业务场景相匹配，则确定所述业务数据有效；

具体地，有效即有效性校验，数据有效性指的是数据字段信息是否符合业务要求，如业务场景只配置了图片摆渡，传入案件摆渡数据肯定是无效的，属于业务场景不匹配；再如摆渡数据对实时性要求很高，当传入过期很久的数据肯定也是无效的。

步骤S340，若当前所述业务数据的获取时间不在预设时间内，或，所述业务数据配置的业务场景不匹配，则确定所述业务数据无效。

具体地，摆渡数据超出预设时间，意味着业务数据无效；同理，根据业务场景配置的业务场景字段来反映业务数据类型，若所述业务数据与配置的业务场景不匹配，也意味着业务数据无效。

还需要说明的是，步骤S330与步骤S340之间根据满足条件二选一，且两者之间没有先后执行顺序。

在本实施例中，通过自定义配置业务场景字段，完成数据合法性需要在配置业务场景字段时，增加字段验证的配置，这样就可以感知业务场景字段，从而进行相应验证；完成数据有效性需要在配置业务场景字段的时候，增加有效性配置(支持表达式，如target＝1,pass_time>1652507943000)，这样就可以验证数据有效性。

通过上述方式，针对不同业务场景对应的数据结构支持自定义，并提供业务数据字段的合法性和有效性的通用校验能力。

在一种可能的实施方式中，请参阅图4，为本申请一实施例中提供的跨网数据传输方法中加密流程图；其中，根据所述传输协议的类型匹配相应加密方式对所述结构数据进行加密处理，包括以下至少之一：

步骤S410，根据所述业务数据的类型匹配相应传输协议，基于所述传输协议使用认证证书、密文片段、主题消费权限或文件使用权限来进行协议加密处理，其中，所述传输协议包括文件传输协议、超文本传输协议、消息中间件协议之一；

具体地，http协议可以升级为https协议，通过证书认证来增加接口的私密性，也可以在应用层自定义tcp协议(传输控制协议)，同时，在协议的报头中增加密文片段。消息中间件需要对topic(即，主题)消费增加权限，非接收方系统不允许消费消息。ftp协议需要创建独立的文件夹，设置文件夹权限为可读和配置用户权限，即仅权限内用户才可查看，通过上述协议加密处理，防止被篡改。

步骤S420，对所述结构数据进行加密处理，确定第一结构数据，对所述第一结构数据进行签名加密，确定第二结构数据；

在此，需要说明的是，步骤S410与步骤S420可以任选其一进行执行，也可以是在步骤S410之后，再执行步骤S420。

具体地，可以采用两种方式实现，一是对数据加解密，发送方对数据进行加密处理后发送，接收方接收到数据后进行解密，加密方式可以采用对称性加密或非对称性加密；二是对数据进行签名验签，发送方对数据字段按照某规则排序后进行MD5(信息摘要算法)加密，生成加密字段，接收方接收到数据后按照发送方的数据字段(不包含加密字段)按规则进行排序后进行MD5加密，接下来，比对发送方的加密串与接收方的加密串，如果不一致则表示数据被篡改过，忽略掉该数据，然后该异常数据进行记录留存，通过数据加密方式，也是防止数据被篡改。

步骤S430，基于预设用户权限映射关系对所述第二结构数据的接收方设置不同访问权限，以使不同访问权限的接收方显示不同程度的所述第二结构数据。

具体地，首先，需要建立网络环境间的用户权限映射关系(默认方案是保持两个网络环境对应的用户编码一致)，然后，接收方接收数据后进行权限赋值，即可达到对指定用户可见，设置数据访问权限，主要防止数据被泄露。

在本实施例中，第一是根据协议进行加密处理，第二是对数据、文件加解密处理，第三是设置数据访问权限，通过上述方式，防止数据被篡改或泄露。

在一种可能的实施方式中，请参阅图5，为是本申请一实施例中提供的跨网数据传输方法中拷贝流程图将所述文件数据备份至预设目录，以使另一网络通过所述第三方网络下载所述文件数据，还包括：

步骤S510，将备份至预设目录的所述文件数据确定为待传输文件；

具体地，备份至预设目标的文件数据确定为待传输文件，即，通过拷贝方式传输的文件数据。

步骤S520，根据所述待传输文件与预设文件大小进行判断，确定所述待传输文件为第一传输文件或第二传输文件，所述第一传输文件或第二传输文件包括以下至少之一：图片数据、文字数据、视频数据、音频数据；

具体地，预设文件大小可根据经验进行设定，例如，以1MB为例，若待传输文件小于1MB，则为小文件，若待传输文件不小于1MB为小文件，则为大文件。

步骤S530，若所述待传输文件为第一传输文件，则发起IO请求同步读取文件IO；当所述IO请求中断造成进程阻塞时，等待所述第一传输文件从磁盘控制器缓冲区拷贝到页高缓，再将所述第一传输文件从所述页高缓拷贝到用户进程缓冲区；

具体地，请参阅图7，为是本申请一实施例中提供的跨网数据传输方法中小文件拷贝图。例如，当读取小文件时，可以采用同步IO读取，当发生线程阻塞时，通过数据拷贝到PageCache(页高缓)缓存区，然后拷贝到线程缓存区。

步骤S540，若所述待传输文件为第二传输文件，则利用拷贝进程异步读取文件IO(输入/输出)，将所述第二传输文件从磁盘控制器缓冲区拷贝到用户进程缓冲区。

具体地，请参阅图8，为是本申请一实施例中提供的跨网数据传输方法中大文件拷贝图。例如，当读取大文件时，可以采用异步IO读取，实现线程无阻塞，且跳过数据拷贝到PageCache缓存区，直接拷贝到线程缓存区，也称为直接I0。

还需要说明的是，步骤S530与步骤S540之间根据满足条件二选一，且两者之间没有先后执行顺序。

在本实施例中，传输到ftp服务器的文件，补充接收方下载的优化方案说明。例如，传输文件一般分为图片、文档、视频。对于图片、文档、小视频来讲，相对较小(不大于1M作为界定条件)，可采用拷贝进程同步读取文件IO，当进程阻塞，等待数据从磁盘控制器缓冲区拷贝到PageCache(大小为4k)，然后拷贝到用户进程缓存区后，唤醒用户拷贝进程同步执行写入操作，PageCache作用有两点：一是磁盘读取效率远低于内存，所以采用内存读取替代磁盘读取，二是旋转磁头查找数据所在的扇形区很慢，而PageCache使用了预读功能；对于大文件(大于1M作为界定条件)，可以采用异步IO读取文件IO，进程不阻塞，并将数据从磁盘控制器缓冲区拷贝用户进程缓冲区，然后进行IO处理，跳过PageCache作用原因有两点：一是PageCache内存空间有限，大文件读取时会占满，导致小文件的热点数据不能充分享受，二是多做一次拷贝，消耗性能，高并发场景下更为明显。

请参阅图6，为本申请一实施例中提供的跨网数据传输方法完整流程图，详述如下：

例如，新增业务场景配置包括基础信息、业务字段与文件信息，其中，基础信息包括业务名称与业务编码，业务名称为疑似目标收藏摆渡，业务编码为favourite_imge_cascade；

业务字段包括字段信息与验证规则，其中，字段信息包括字段名、字段类型、字段描述例如，字段名为pass_time，字段描述为抓拍时间，字段类型为长整形，验证规则包括空值校验、最小值校验；

又例如，例如，字段名为target_img，字段描述为目标图片，字段类型为字符串，验证规则包括空值校验、表达式校验；

其中，新增的业务字段为文件信息，例如，文件信息包括字段信息，该字段信息中文件类型为image，字段名为target_img。

在本实施例中，该方案可以动态新增业务场景，是一种通用数据传输能力。其中基础信息部分表示业务场景通用属性，支持统一固定扩展；业务字段部分表示该业务场景中使用到的字段，支持动态扩展，同时支持字段信息合法性、有效性规则配置；文件信息部分表示该业务场景中传输的文件信息，支持基于业务字段进行动态扩展，如图中业务字段的target_img实际传输的是文件，传输完成后会根据该配置的映射关系同步更新结构化数据中的target_img为文件路径。

请参阅图9，本实施例提供了一种跨网数据传输装置，应用于至少两个网络，所述网络之间采用第三方网络连接以实现数据转发，所述跨网数据传输装置包括：

获取模块901，用于获取所述至少两个网络中任一网络下所对应的业务数据；

协议封装模块902，用于根据所述业务数据的类型匹配相应传输协议对所述业务数据进行封装，生成由业务字段信息与业务属性字段信息构成的数据包；

数据划分模块903，用于将所述业务字段信息与业务属性字段信息按数据结构划分为结构化数据与文件数据；

跨网传输模块904，用于根据所述传输协议的类型匹配相应加密方式对所述结构数据进行加密处理，利用所述第三方网络将加密的所述数据包传输到另一网络；将所述文件数据备份至预设目录，以使另一网络通过所述第三方网络下载所述文件数据，完成跨网数据传输。

在本实施例中，该跨网数据传输装置实质上是设置了多个模块用以执行上述实施例中的方法，具体功能和技术效果参照上述方法实施例即可，此处不再赘述。

参见图10，本申请实施例还提供了一种电子设备1000，包括处理器1001、存储器1002和通信总线1003；

通信总线1003用于将处理器1001和存储器连接1002；

处理器1001用于执行存储器1002中存储的计算机程序，以实现如上述实施例一中的一个或多个的方法。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序用于使计算机执行如上述实施例一中的任一项的方法。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的实施例一所包含步骤的指令(instructions)。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。

上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims

1.一种跨网数据传输方法，其特征在于，应用于至少两个网络，所述网络之间采用第三方网络连接以实现数据转发，所述方法包括：

获取所述至少两个网络中任一网络下所对应的业务数据；

2.如权利要求1所述的方法，其特征在于，所述根据所述业务数据的类型匹配相应传输协议对所述业务数据进行封装之前，还包括：

3.如权利要求2所述的方法，其特征在于，所述业务属性字段信息包括业务场景标识、数据唯一标识、数据收藏时间与创建者标识，根据所述业务数据所对应的业务场景不同，动态配置所述业务数据中所述业务字段信息的字段名称、字段数目以及字段含义。

4.如权利要求1至3任一所述的方法，其特征在于，根据所述传输协议的类型匹配相应加密方式对所述结构数据进行加密处理，包括以下至少之一：

5.如权利要求1至3任一所述的方法，其特征在于，将所述文件数据备份至预设目录，以使另一网络通过所述第三方网络下载所述文件数据，还包括：

将备份至预设目录的所述文件数据确定为待传输文件；

6.如权利要求4所述的方法，其特征在于，利用所述第三方网络将加密的所述数据包传输到另一网络之后，还包括：

7.如权利要求5所述的方法，其特征在于，将所述文件数据备份至预设目录，以使另一网络通过所述第三方网络下载所述文件数据之后，还包括：

8.一种跨网数据传输装置，其特征在于，应用于至少两个网络，所述网络之间采用第三方网络连接以实现数据转发，所述装置包括：

9.一种电子设备，其特征在于，包括处理器、存储器和通信总线；

所述通信总线用于将所述处理器和存储器连接；

所述处理器用于执行所述存储器中存储的计算机程序，以实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序用于使计算机执行如权利要求1-7中任一项所述的方法。