CN111614712B - 数据校验系统、方法、装置、服务器及存储介质 - Google Patents

数据校验系统、方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN111614712B
CN111614712B CN202010178005.9A CN202010178005A CN111614712B CN 111614712 B CN111614712 B CN 111614712B CN 202010178005 A CN202010178005 A CN 202010178005A CN 111614712 B CN111614712 B CN 111614712B
Authority
CN
China
Prior art keywords
data
sequence number
data packet
network
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010178005.9A
Other languages
English (en)
Other versions
CN111614712A (zh
Inventor
孔帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN202010178005.9A priority Critical patent/CN111614712B/zh
Publication of CN111614712A publication Critical patent/CN111614712A/zh
Application granted granted Critical
Publication of CN111614712B publication Critical patent/CN111614712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/004Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056Systems characterized by the type of code used
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/12Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/1607Details of the supervisory signal
    • H04L1/1628List acknowledgements, i.e. the acknowledgement message consisting of a list of identifiers, e.g. of sequence numbers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/34Flow control; Congestion control ensuring sequence integrity, e.g. using sequence numbers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/02Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0209Architectural arrangements, e.g. perimeter networks or demilitarized zones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/12Applying verification of the received information
    • H04L63/123Applying verification of the received information received data contents, e.g. message integrity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/55Push-based network services

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种跨网单向传输的数据校验系统、方法、装置、服务器及存储介质,该系统包括:部署于第一网络中的第一视图库、第一代理服务器和第一跨网工具,和部署于第二网络中的第二跨网工具、第二代理服务器和第二视图库;第一代理服务器对每条数据进行顺序编号,计算正确性校验码,并封装为数据包,由第一跨网工具跨过网闸将数据包推送至第二跨网工具;第二跨网工具将数据包推送至第二代理服务器;第二代理服务器根据正确性校验码和序号分别对数据包进行正确性校验和完整性校验,并将正确性校验正确的数据包推送至第二视图库;将校验错误的序号和丢失的序号存储到第二数据库中;根据导出请求将第二数据库中的序号导出为校验失败列表。

Description

数据校验系统、方法、装置、服务器及存储介质
技术领域
本发明涉及跨网传输技术领域,特别是涉及一种跨网单向传输的数据校 验系统、方法、装置、服务器及存储介质。
背景技术
在数据进行跨网单向传输时,数据只能从一个网络跨过网闸传输至另 一网络,而第一个网络无法获取另一网络的数据,从而第一个网络无法 对传输的数据进行校验,因此数据在不同网络之间进行单向传输时如何 进行数据的校验就成为了一个亟待解决的难题。
发明内容
鉴于上述问题,提出了本发明实施例以便提供一种克服上述问题或者至 少部分地解决上述问题的一种跨网单向传输的数据校验系统、方法、装置、 服务器及存储介质。
依据本发明实施例的第一方面,提供了一种跨网单向传输的数据校验系 统,包括:
第一视图库,部署于第一网络中,用于向第一代理服务器推送待发送数 据,所述待发送数据包括多条数据;
第一代理服务器,部署于第一网络中,用于对所述待发送数据中的每条 数据进行顺序编号,得到每条数据的序号,并计算每条数据的正确性校验码, 作为第一正确性校验码,将所述序号、第一正确性校验码和对应的数据封装 为数据包,得到多个数据包,并将所述多个数据包推送至第一跨网工具,接 收导入的校验失败列表;
第一跨网工具,部署于第一网络中,用于将所述多个数据包跨过网闸传 输至第二网络中的第二跨网工具;
第二跨网工具,部署于第二网络中,用于接收所述第一跨网工具发送的 多个数据包,并将所述多个数据包推送至第二代理服务器;
第二代理服务器,部署于第二网络中,用于根据所述每个数据包中的第 一正确性校验码,对每个数据包中的数据进行正确性校验,得到正确性校验 结果;将所述正确性校验结果为错误的数据包的序号存储到第二数据库中; 根据所述多个数据包中的序号,确定丢失的数据包的序号,并将丢失的数据 包的序号存储到所述第二数据库中;在接收到对所述第二数据库中的序号的 导出请求时,将所述第二数据库中的序号导出为校验失败列表;
第二视图库,部署于第二网络中,用于存储正确性校验结果为正确的数 据包。
依据本发明实施例的第二方面,提供了一种跨网单向传输的数据校验方 法,应用于第一代理服务器中,包括:
接收第一视图库推送来的待发送数据,所述待发送数据包括多条数据, 所述第一视图库部署于第一网络中;
对所述待发送数据中的每条数据进行顺序编号,得到每条数据的序号, 并计算每条数据的正确性校验码,作为第一正确性校验码;
将所述每条数据的序号、第一正确性校验码和对应的数据封装为数据 包,得到多个数据包,并将所述多个数据包推送至第一跨网工具,以使所述 第一跨网工具将所述多个数据包跨过网闸传输至第二网络中的第二跨网工 具,第二跨网工具将所述多个数据包推送至第二代理服务器,第二代理服务 器对所述多个数据包进行校验;
接收导入的校验失败列表,所述校验失败列表包括所述第二网络中的第 二代理服务器对所述多个数据包进行校验得到的校验失败的数据包的序号。
依据本发明实施例的第三方面,提供了一种跨网单向传输的数据校验方 法,应用于第二代理服务器中,包括:
接收第二跨网工具推送来的多个数据包,每个数据包包括序号、第一正 确性校验码和数据,所述多个数据包是部署于第一网络中的第一跨网工具推 送到第二跨网工具的,是部署于第一网络中的第一代理服务器封装得到的;
根据所述每个数据包中的第一正确性校验码,对每个数据包中的数据进 行正确性校验,得到正确性校验结果;
将所述正确性校验结果为错误的数据包的序号存储到第二数据库中;
根据所述多个数据包中的序号,确定丢失的数据包的序号,并将丢失的 数据包的序号存储到所述第二数据库中;
在接收到对所述第二数据库中的序号的导出请求时,将所述第二数据库 中的序号导出为校验失败列表。
依据本发明实施例的第四方面,提供了一种跨网单向传输的数据校验装 置,应用于第一代理服务器中,包括:
数据接收模块,用于接收第一视图库推送来的待发送数据,所述待发送 数据包括多条数据,所述第一视图库部署于第一网络中;
数据编号模块,用于对所述待发送数据中的每条数据进行顺序编号,得 到每条数据的序号,并计算每条数据的正确性校验码,作为第一正确性校验 码;
数据封装模块,用于将所述每条数据的序号、第一正确性校验码和对应 的数据封装为数据包,得到多个数据包,并将所述多个数据包推送至第一跨 网工具,以使所述第一跨网工具将所述多个数据包跨过网闸传输至第二网络 中的第二跨网工具,第二跨网工具将所述多个数据包推送至第二代理服务 器,第二代理服务器对所述多个数据包进行校验;
失败列表导入模块,用于接收导入的校验失败列表,所述校验失败列表 包括所述第二网络中的第二代理服务器对所述多个数据包进行校验得到的 校验失败的数据包的序号。
依据本发明实施例的第五方面,提供了一种跨网单向传输的数据校验装 置,应用于第二代理服务器中,包括:
数据接收模块,用于接收第二跨网工具推送来的多个数据包,每个数据 包包括序号、第一正确性校验码和数据,所述多个数据包是部署于第一网络 中的第一跨网工具推送到第二跨网工具的,是部署于第一网络中的第一代理 服务器封装得到的;
正确性校验模块,用于根据所述每个数据包中的第一正确性校验码,对 每个数据包中的数据进行正确性校验,得到正确性校验结果;
序号存储模块,用于将所述正确性校验结果为错误的数据包的序号存储 到第二数据库中;
完整性校验模块,用于根据所述多个数据包中的序号,确定丢失的数据 包的序号,并将丢失的数据包的序号存储到所述第二数据库中;
失败列表导出模块,用于在接收到对所述第二数据库中的序号的导出请 求时,将所述第二数据库中的序号导出为校验失败列表。
依据本发明实施例的第六方面,提供了一种服务器,包括:处理器、存 储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计 算机程序被所述处理器执行时实现如第二方面中所述的跨网单向传输的数 据校验方法,或者,实现如第三方面中所述的跨网单向传输的数据校验方法。
依据本发明实施例的第七方面,提供了一种计算机可读存储介质,所述 计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时 实现如第二方面中所述的跨网单向传输的数据校验方法,或者,实现如第三 方面中所述的跨网单向传输的数据校验方法。
本发明实施例提供的跨网单向传输的数据校验系统、方法、装置、服 务器及存储介质,通过第一代理服务器对待发送数据中的每条数据进行编 号,并将序号、正确性校验码和对应的数据封装为数据包,通过第一跨 网工具将数据包跨过网闸传输至第二网络中的第二跨网工具,第二跨网 工具将数据包推送至第二代理服务器,第二代理服务器根据数据包中的 正确性校验码对数据包进行正确性校验,并根据数据包的序号对数据包 进行完整性校验,将校验失败的数据包的序号均保存至第二数据库中, 在接收到的导出请求时,将第二数据库中的序号导出为校验失败列表, 并由用户将校验失败列表导入第一代理服务器,从而第一代理服务器可 以获知到校验失败的数据包的序号,从而通过部署于第一网络中的第一 代理服务器和部署于第二网络中的第二代理服务器解决了跨网单向传输 的数据校验问题。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明 的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上 述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实 施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本 领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的, 而并不认为是对本发明的限制。
图1是本发明实施例提供的一种跨网单向传输的数据校验系统的结 构示意图;
图2是本发明实施例提供的一种跨网单向传输的数据校验方法的步骤 流程图;
图3是本发明实施例中的数据组织形式的示意图;
图4是本发明实施例提供的一种跨网单向传输的数据校验方法的步骤 流程图;
图5是本发明实施例中的数据重发的流程图;
图6是本发明实施例提供的一种跨网单向传输的数据校验方法的步骤 流程图;
图7a是本发明实施例中当前数据包的序号与所述序号向量游标的值之 差大于1的示意图;
图7b是本发明实施例中当前数据包的序号小于所述序号向量游标的值 的示意图;
图8是本发明实施例中的对多个数据包的正确性校验和完整性校验的校 验结果的示意图;
图9是本发明实施例提供的一种跨网单向传输的数据校验方法的步骤 流程图;
图10是本发明实施例提供的一种跨网单向传输的数据校验装置的结构 框图;
图11是本发明实施例提供的一种跨网单向传输的数据校验装置的结构 框图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中 显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本 发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了 能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领 域的技术人员。
图1是本发明实施例提供的一种跨网单向传输的数据校验系统的结 构示意图,如图1所示,所述跨网单向传输的数据校验系统包括:
第一视图库11,部署于第一网络10中,用于向第一代理服务器12推送 待发送数据,所述待发送数据包括多条数据;
第一代理服务器12,部署于第一网络10中,用于对所述待发送数据中 的每条数据进行顺序编号,得到每条数据的序号,并计算每条数据的正确性 校验码,作为第一正确性校验码,将所述序号、第一正确性校验码和对应的 数据封装为数据包,得到多个数据包,并将所述多个数据包推送至第一跨网 工具13,接收导入的校验失败列表;
第一跨网工具13,部署于第一网络10中,用于将所述多个数据包跨过 网闸传输至第二网络20中的第二跨网工具21;
第二跨网工具21,部署于第二网络20中,用于接收所述第一跨网工具 13发送的多个数据包,并将所述多个数据包推送至第二代理服务器22;
第二代理服务器22,部署于第二网络20中,用于根据所述每个数据包 中的第一正确性校验码,对每个数据包中的数据进行正确性校验,得到正确 性校验结果,将所述正确性校验结果为错误的数据包的序号存储到第二数据 库中;根据所述多个数据包中的序号,确定丢失的数据包的序号,并将丢失 的数据包的序号存储到所述第二数据库中;在接收到对所述第二数据库中的 序号的导出请求时,将所述第二数据库中的序号导出为校验失败列表;
第二视图库23,部署于第二网络20中,用于存储正确性校验结果为正 确的数据包。
如图1所示,所述跨网单向传输的数据校验系统还包括部署于第一 网络中的数据采集系统14和第一应用平台15,以及部署于第二网络中的 第二应用平台24。数据采集系统14用于采集数据并存储到第一视图库中, 用户可以通过第一应用平台15查看并编辑第一视图库11中的数据。第 一视图库11是一款遵循GA1400标准的安防视频图像信息应用系统,是 数据的源泉,所有的数据都从第一视图库11发出,第一视图库主要包括 GA1400标准所规定的11类资源数据(如人脸数据、人员数据、机动车 数据、非机动车数据等等)以及数据采集系统14的信息。数据采集系统 可以包括多个数据采集设备。在第二网络中,用户可以通过第二应用平 台24查看第二视图库中的数据。
第一代理服务器作为第二视图库的代理服务,从而第一视图库和第 一代理服务器的交互可使用通用的标准协议;第二代理服务器作为第一 视图库的代理服务,从而第二代理服务器和第二视图库的交互也可以使 用通用的标准协议。所述标准协议可以是GA1400标准协议。
所述第一网络中的数据只能单向传输至第二网络中,而第二网络中 的数据不会传输至第一网络中,因此,第二代理服务器存储到第二数据 库中的校验失败的数据包的序号不能传输至第一网络中,这就需要人工 从第二代理服务器中导出,即需要用户从第二代理服务器中将校验失败 的数据包的序号导出为校验失败列表,之后再将校验失败列表导入到第 一代理服务器中。
第一代理服务器12和第二代理服务器22的具体工作过程在下述实 施例中详细说明。
本发明实施例提供的跨网单向传输的数据校验系统,通过第一代理 服务器对待发送数据中的每条数据进行编号,并将序号、正确性校验码 和对应的数据封装为数据包,通过第一跨网工具将数据包跨过网闸传输 至第二网络中的第二跨网工具,第二跨网工具将数据包推送至第二代理 服务器,第二代理服务器根据数据包中的正确性校验码对数据包进行正 确性校验,并根据数据包的序号对数据包进行完整性校验,将校验失败 的数据包的序号均保存至第二数据库中,在接收到导出请求时,将第二 数据库中的序号导出为校验失败列表,并由用户将校验失败列表导入第 一代理服务器,从而第一代理服务器可以获知到校验失败的数据包的序 号,从而通过部署于第一网络中的第一代理服务器和部署于第二网络中 的第二代理服务器解决了跨网单向传输的数据校验问题。
图2是本发明实施例提供的一种跨网单向传输的数据校验方法的步骤 流程图,该方法应用于上述跨网单向传输的数据校验系统中的第一代理 服务器中,如图2所示,该方法可以包括:
步骤101,接收第一视图库推送来的待发送数据,所述待发送数据包括 多条数据,所述第一视图库部署于第一网络中。
第一视图库和第一代理服务器均部署于第一网络中,第一视图库是一 款遵循GA1400标准的安防视频图像信息应用系统,是数据的源泉,所有 的数据都从第一视图库发出,第一视图库主要包括GA1400标准所规定的 11类资源数据(如人脸数据、人员数据、机动车数据、非机动车数据等 等)以及数据采集系统的信息。第一视图库会使用GA1400标准协议主动 推送待发送数据到第一代理服务器。
步骤102,对所述待发送数据中的每条数据进行顺序编号,得到每条数 据的序号,并计算每条数据的正确性校验码,作为第一正确性校验码。
第二代理服务器在接收到第一视图库推送来的待发送数据后,对待发送 数据进行打包处理。首先对待发送数据中的每条数据进行顺序编号,并计算 每条数据的正确性校验码,将每条数据的正确性校验码作为第一正确性校验 码,第一正确性校验码是用于封装到数据包中的,便于第二网络中的第二代 理服务器根据数据包中的第一正确性校验码对数据进行正确性校验。其中, 所述正确性校验码可以为MD5值。
步骤103,将所述每条数据的序号、第一正确性校验码和对应的数据封 装为数据包,得到多个数据包,并将所述多个数据包推送至第一跨网工具, 以使所述第一跨网工具将所述多个数据包跨过网闸传输至第二网络中的第 二跨网工具,第二跨网工具将所述多个数据包推送至第二代理服务器,第二 代理服务器对所述多个数据包进行校验。
对应于每条数据单独进行打包,将一条数据的序号、第一正确性校验码 和对应的数据封装为一个数据包,从而将待发送数据中的多条数据封装为多 个数据包。图3是本发明实施例中的数据组织形式的示意图,如图3所示, 每个数据包包括序号、第一正确性校验码和数据,n为一次发送的数据包的 总数量。
第一代理服务器将数据包推送至第一跨网工具,第一跨网工具将数据包 跨过网闸传输至第二网络中的第二跨网工具,第二跨网工具将数据包推送至 第二代理服务器,第二代理服务器通过数据包中的第一正确性校验码对数据 包中的数据进行正确性校验,得到正确性校验结果,将正确性校验结果为正 确的数据包推送至第二网络中的第二视图库,将正确性校验结果为错误的数 据包的序号和推送失败的数据包的序号存储至第二数据库中,根据接收到的 多个数据包的序号进行完整性校验,判定是否丢失数据包,并在丢失数据包 时,将丢失的数据包的序号存储至第二数据库中,第二代理服务器提供导出 校验失败的序号的接口,在接收到导出请求时,将第二数据库中的校验失败 的序号导出为校验失败列表,用户可将从第二代理服务器中导出的校验失败 列表导入第一代理服务器中。
第二代理服务器进行数据校验的具体过程将在下述实施例中具体说明, 此处不再赘述。
步骤104,接收导入的校验失败列表,所述校验失败列表包括所述第二 网络中的第二代理服务器对所述多个数据包进行校验得到的校验失败的数 据包的序号。
第一代理服务器提供校验失败列表的导入接口,用户可以通过导入 接口将校验失败列表导入到第一代理服务器中,从而第一代理服务器可 以了解到第二代理服务器校验失败的数据包的序号,后续可根据校验失 败列表进行数据的重发。校验失败的数据包的序号包括正确性校验结果 为错误的数据包的序号以及完整性校验中丢失的数据包的序号,还可以 包括推送至第二视图库时推送失败的数据包的序号。
本实施例提供的跨网单向传输的数据校验方法,通过第一代理服务 器在接收到第一视图库推送来的待发送数据后,对待发送数据中的每条 数据进行顺序编号,并计算每条数据的正确性校验码,作为第一正确性 校验码,将每条数据的序号、第一正确性校验码和对应的数据封装为数 据包,将数据包推送至第一跨网工具,第一跨网工具将数据包跨过网闸 传输至第二网络的第二跨网工具,第二跨网工具将数据包推送至第二代 理服务器,第二代理服务器对数据包进行正确性校验和完整性校验,并 可以将校验失败的数据包的序号导出为校验失败列表,第一代理服务器 可以接收导入的校验失败列表,从而通过数据包中的第一正确性校验码 第二代理服务器可以对数据包进行正确性校验,通过数据包中的序号第 二代理服务器可以对接收到的多个数据包进行完整性校验,解决了跨网 单向传输中的数据校验问题,实现了对跨网单向传输中的数据的正确性 校验和完整性校验。
在上述技术方案的基础上,所述接收第一视图库推送来的待发送数据, 包括:通过第一HTTP句柄接收第一视图库推送来的待发送数据;
所述接收导入的校验失败列表,包括:通过第二HTTP句柄接收导入的 校验失败列表。
第一HTTP句柄是第一代理服务器中接收第一视图库推送来的待发送数 据的接口。第二HTTP句柄是第一代理服务器中供用户导入校验失败列表的 接口。
图4是本发明实施例提供的一种跨网单向传输的数据校验方法的步骤 流程图,该方法应用于上述跨网单向传输的数据校验系统中的第一代理 服务器中,如图4所示,该方法可以包括:
步骤401,接收第一视图库推送来的待发送数据,所述待发送数据包括 多条数据,所述第一视图库部署于第一网络中。
步骤402,对所述待发送数据中的每条数据进行顺序编号,得到每条数 据的序号,并计算每条数据的正确性校验码,作为第一正确性校验码。
步骤403,将所述每条数据的序号、第一正确性校验码和对应的数据封 装为数据包,得到多个数据包,并将所述多个数据包推送至第一跨网工具, 以使所述第一跨网工具将所述多个数据包跨过网闸传输至第二网络中的第 二跨网工具,第二跨网工具将所述多个数据包推送至第二代理服务器,第二 代理服务器对所述多个数据包进行校验。
步骤404,将数据包的序号、数据包的数据在所述第一视图库中的URL 以及数据包对应的数据更新时间作为一条数据记录对应存储到第一数据库 中,所述数据更新时间是接收到所述第一视图库推送数据的时间。
第一代理服务器在接收到第一视图库推送的待发送数据中的每条数 据时,可以确定该条数据的URL(Uniform Resource Locator,统一资源 定位符)以及接收到该条数据的时间,将接收到该条数据的时间作为该 条数据的数据更新时间,从而在将数据封装为数据包后,可以将数据包 的序号、数据在第一视图库中的URL以及数据包对应的数据更新时间作 为一条数据记录,并将数据记录存储到第一数据库中,从而后续可以根据 第一数据库中的数据记录和校验失败列表确定发送成功的数据包的序号 并对校验失败的数据包执行重发操作。其中,第一数据库为levelDB数据 库。
步骤405,接收导入的校验失败列表,所述校验失败列表包括所述第二 网络中的第二代理服务器对所述多个数据包进行校验得到的校验失败的数 据包的序号。
步骤406,根据所述校验失败列表中的序号,从所述第一数据库中获取 与所述序号对应的URL。
在接收到导入的校验失败列表后,可以遍历校验失败列表中的序号,在 遍历到一个序号后,从第一数据库中获取与该序号对应的URL。
步骤407,根据所述URL从第一视图库获取所述URL对应的数据,计 算获取到的数据的正确性校验码,作为第一正确性校验码,将所述序号、 第一正确性校验码和数据重新封装为数据包,将重新封装的数据包推送至第 一跨网工具,并将该数据包的序号在所述第一数据库中对应的数据更新时间 更新为从第一视图库获取到数据的时间。
从第一数据库中获取到校验失败列表中的序号对应的URL后,可以 根据该URL从第一视图库中获取URL对应的数据,获取到数据后,计 算该数据的正确性校验码,作为第一正确性校验码,将序号、第一正确 性校验码和数据重新封装为数据包,将重新封装的数据包推送至第一跨 网工具,由第一跨网工具将该数据包重新跨过网闸发送至第二网络中的第二跨网工具,第二跨网工具会将该数据包重新推送至第二代理服务器, 第二代理服务器在对该数据包校验正确的情况下推送至第二视图库。
通过更新第一数据库中序号对应的数据更新时间,便于后续根据数 据更新时间对第一数据库中的数据进行清理。
本实施例提供的跨网单向传输的数据校验方法,通过在将多个数据 包推送至第一跨网工具之后,将数据包的序号、数据包的数据在第一视 图库中的URL以及数据包对应的数据更新时间对应存储到第一数据库 中,在接收到导入的校验失败列表之后,根据校验失败列表中的序号从 第一数据库中获取与序号对应的URL,根据URL从第一视图库获取URL对应的数据,计算获取到的数据的正确性校验码,作为第一正确性校验 码,将序号、第一正确性校验码和数据重新封装为数据包,将重新封装 的数据包推送至第一跨网工具,实现了对跨网单向传输中的校验失败的 数据的重发,可以避免第二视图库中的数据不完整。
在上述技术方案的基础上,所述第一数据库包括数据清理游标,在所 述第一数据库中数据清理游标的值为上次发送成功的最后一个数据包的序 号;
在所述接收导入的校验失败列表之后,还包括:
根据所述第一数据库中的数据清理游标的值,以及所述校验失败列表中 的序号,确定本次发送成功的数据包的序号,并从所述第一数据库中清理掉 本次发送成功的数据包的序号对应的数据记录,将数据清理游标的值更新为 本次发送成功的最后一个数据包的序号。
第一数据库中保存有本次发送的所有数据包的序号,数据包的序号是顺 序编号的,而数据清理游标的值为上次已发送成功的最后一个数据包的 序号,从而将第一数据库中从数据清理游标的值开始增加的序号依次与 校验失败列表中的序号进行对比,如果校验失败列表中不存在当前比对 的序号,则确定该序号对应的数据包本次发送成功,从第一数据库中清 理掉该序号对应的数据记录,如果校验失败列表中存在当前比对的序号, 则保留第一数据库中该序号对应的数据记录。例如,数据清理游标的值 是4,本次数据发送的是序号为5-20的数据包,且序号为5和9的数据 包发送失败,则将序号5-20中除了序号为5和9以外的数据从第一数据 库中删除,如果校验失败列表中没有发送失败的序号,直接把序号5-20 对应的数据记录删除即可,并将数据清理游标的值更新为20。
通过数据清理游标的值和校验失败列表可以确定本次已发送成功的 数据包的序号,并及时从第一数据库中清理掉对应的数据记录,释放存 储空间。
在上述技术方案的基础上,所述方法还可选包括:
若所述第一数据库中的数据更新时间超过第一预设时间,则根据所述数 据更新时间对应的URL从所述第一视图库获取对应的数据,计算获取到的 数据的正确性校验码,并将所述数据更新时间对应的序号、获取到的数据、 正确性校验码封装为数据包,将所述数据包重新推送至第一跨网工具,并将 所述数据库中的数据更新时间更新为从所述第一视图库获取数据的时间。
第一预设时间可以根据需要设定,例如可以是24小时。第一数据库 中的数据更新时间超过第一预设时间,可能是由以下原因导致的:第一 种原因是第一预设时间内没有导入校验失败列表,这说明这个数据包可 能发送成功也可能发送失败;第二种原因是第一预设时间内导入的校验 失败列表中均没有该数据更新时间对应的序号,说明这个数据包没有跨 过网络就丢失了。不论是上述两种原因中的哪一种原因导致的,都对该 数据更新时间对应的数据进行重发,并更新第一数据库中该数据对应的 数据更新时间,即使是第一种原因且数据发送成功了重发一次也不会占 用多少资源,而且在其他情况下可以避免该数据包丢失导致第二视图库 中数据不完整的情况。
在上述技术方案的基础上,所述方法还可选包括:
若所述第一数据库中的数据更新时间超过第二预设时间,则删除该数据 更新时间对应的数据记录。
第二预设时间可以是第一数据库中的数据的有效期,可以提供接口 供用户进行配置,从而用户可以根据需要设置第二预设时间,例如可以 设置为30天。如果当前时间与第一数据库中的一条数据记录的数据更新 时间的时间差已超过第二预设时间,则删除该条数据记录,可以避免第 一数据库中长期存储无效数据,释放存储空间。
图5是本发明实施例中的数据重发的流程图,如图5所示,在进行 数据重发时包括如下步骤:
步骤501,接收导入的校验失败列表;
步骤502,从第一数据库中的数据清理游标的值开始遍历第一数据库中 的各个数据包的序号;
步骤503,判断当前遍历到的序号在校验失败列表中是否存在,若不存 在则执行步骤504,若存在则执行步骤505;
步骤504,从第一数据库中清理掉该遍历到的序号对应的数据记录,之 后执行步骤507;
步骤505,根据遍历到的序号从第一数据库中获取到对应的URL,并从 第一视图库获取该URL对应的数据,计算数据的正确性校验码,作为第一 正确性校验码,将序号、第一正确性校验码和数据重新封装为数据包,并将 数据包推送至第一跨网工具;
步骤506,将第一数据库中该遍历到的序号对应的数据更新时间更新为 根据URL从第一视图库获取到数据的时间,之后执行步骤507;
步骤507,对第一数据库中的数据记录进行检测,确定数据更新时间超 过第一预设时间的数据包的序号,并根据该序号对应的URL从第一视图库 获取该URL对应的数据,计算数据的正确性校验码,作为第一正确性校验 码,将序号、第一正确性校验码和数据重新封装为数据包,并将数据包重新 推送至第一跨网工具。
根据上述步骤501至步骤507,实现了对数据的重发,保证了传输至 第二网络的数据的完整性。
在上述技术方案的基础上,在对所述待发送数据中的每条数据按照顺 序进行编号之前,还包括:将所述待发送数据存放到第一消息队列;
所述对所述待发送数据中的每条数据进行顺序编号,得到每条数据的序 号,包括:按照顺序从所述第一消息队列取出一条数据,作为当前处理数据, 并对当前处理数据进行顺序编号,得到当前处理数据的序号,循环从第一消 息队列中取出下一条数据并进行编号,直至处理完第一消息队列中的所有数 据。
第一消息队列用于缓存从第一视图库接收到的数据,在接收到第一 视图库推送的待发送数据中的一条数据后,将该条数据存放到第一消息 队列中,在第一代理服务器对数据进行处理并发送时,从第一消息队列 中取出一条数据,作为当前处理数据,对当前处理数据进行顺序编号, 即如果上一次处理的数据的序号为3,则将当前处理数据编号为4,得到 当前处理数据的序号后,可以计算当前处理数据的正确性校验码,作为 第一正确性校验码,将当前处理数据的序号、第一正确性校验码和当前 处理数据封装为数据包,并推送至第一跨网工具,之后可以循环从第一 消息队列中取出下一条数据并执行上述的编号、封装数据包及发送数据 包的操作,直至处理完成第一消息队列中的所有数据,从而可以有序的 对每条数据进行处理。
在上述技术方案的基础上,在所述对当前处理数据进行顺序编号,得 到当前处理数据的序号之后,还包括:将接收到当前处理数据的时间作为当 前处理数据的数据更新时间,并将当前处理数据的序号、当前处理数据在第 一视图库中的URL和所述数据更新时间对应存放到第二消息队列中;
所述将数据包的序号、数据包的数据在所述第一视图库中的URL以及 数据包对应的数据更新时间作为一条数据记录对应存储到第一数据库中,包 括:将一个数据包推送至第一跨网工具后,从所述第二消息队列中取出该数 据包的序号、序号对应的数据在第一视图库中的URL和数据更新时间,并 将该数据包的序号、序号对应的数据在第一视图库中的URL和数据更新时 间作为一条数据记录对应存储到第一数据库中。
第二消息队列用于在对数据进行编号后到发送至第一跨网工具之间 对数据的序号、数据更新时间和在第一视图库中的URL进行缓存。在对 当前处理数据进行编号后,将接收到当前处理数据的时间作为当前处理 数据的数据更新时间,将当前处理数据的序号、当前处理数据在第一视 图库中的URL和数据更新时间对应存放到第二消息队列中,第一代理服 务器在将一个数据包推送至第一跨网工具后,从第二消息队列中取出该 数据包的序号、序号对应的数据在第一视图库中的URL和数据更新时间, 并将这些数据作为一条数据记录对应存储到第一数据库中。通过第二消息 队列可以有序缓存数据的序号、数据更新时间和数据在第一视图库中的 URL。
需要说明的是,第一代理服务器在启动时会进行初始化,第一代理 服务器初始化流程包括:首先初始化第一数据库,如果第一代理服务器 是第一次启动,在将第一数据库中的数据清理游标的值初始化为0,如果 第一代理服务器不是第一次启动,则数据清理游标的值从第一数据库读 取;之后,初始化第一消息队列和第二消息队列;之后启动数据推送任 务、第一数据库存储任务、数据重发任务和定时清理任务;最后注册第 一HTTP句柄和第二HTTP句柄。其中,数据推送任务用于执行从第一 消息队列获取数据、进行编号,并打包发送至第一跨网工具;第一数据 库存储任务用于执行从第二消息队列中取出已发送的数据包的序号、数 据在第一视图库中的URL和数据更新时间,并存储到第一数据库中;数 据重发任务用于执行对导入的校验失败列表中的校验失败的数据包的序 号进行处理,按照序号对应的URL从第一视图库获取该序号对应的数据, 并重新计算正确性校验码,重新打包发送给第一跨网工具,即对丢失的 数据进行重发;定时清理任务用于执行将第一数据库中数据更新时间超 过第二预设时间的数据记录清理掉。定时清理任务可以每隔一个小时轮 询一次,将第一数据库中数据更新时间超过第二预设时间的数据记录及 时清理掉。
图6是本发明实施例提供的一种跨网单向传输的数据校验方法的步骤 流程图,该方法应用于上述跨网单向传输的数据校验系统中的第二代理 服务器中,如图6所示,该方法可以包括:
步骤601,接收第二跨网工具推送来的多个数据包,每个数据包包括序 号、第一正确性校验码和数据,所述多个数据包是部署于第一网络中的第一 跨网工具推送到第二跨网工具的,是部署于第一网络中的第一代理服务器封 装得到的。
部署于第二网络中的第二跨网工具在接收到部署于第一网络中的第一 跨网工具发送的数据包后,将数据包推送至第二代理服务器,从而第二代理 服务器接收到第二跨网工具推送的数据包。
步骤602,根据所述每个数据包中的第一正确性校验码,对每个数据包 中的数据进行正确性校验,得到正确性校验结果。
解析每个数据包,得到每个数据包的序号、第一正确性校验码和数据, 计算数据的正确性校验码,作为第二正确性校验码,比较第一正确性校验码 和第二正确性校验码是否一致,确定数据包中的数据是否正确,即若一个数 据包的第一正确性校验码和第二正确性校验码一致,则确定该数据包的正确 性校验结果为正确,若一个数据包的第一正确性校验码和第二正确性校验码 不一致,则确定该数据包的正确性校验结果为错误。其中,第二正确性校验 码的计算方式和第一正确性校验码的计算方式相同,例如,第二正确性校验码和第一正确性校验码都可以是MD5值。
步骤603,将所述正确性校验结果为错误的数据包的序号存储到第二数 据库中。
正确性校验结果为错误的数据包需要第一网络重新发送,因此,将正确 性校验结果为错误的数据包的序号存储到第二数据库中。其中,第二数据库 为levelDB数据库。
步骤604,根据所述多个数据包中的序号,确定丢失的数据包的序号, 并将丢失的数据包的序号存储到所述第二数据库中。
根据多个数据包中的序号,确定序号之间是否有不连续的序号,若有不 连续的序号,则将相邻两个序号之间的序号确定为丢失的数据包的序号,并 将丢失的数据包的序号存储到第二数据库中。第二数据库可以是<k,v>结构 的NoSQL。
在本发明的一个实施例中,所述根据所述多个数据包中的序号,确定丢 失的数据包的序号,并将丢失的数据包的序号存储到所述第二数据库中,包 括:
将当前正在进行完整性校验的当前数据包的序号与序号向量游标的值 进行比较,所述序号向量游标的值表示经过完整性校验的数据包的最大序 号;
若当前数据包的序号与所述序号向量游标的值之差大于1,则将所述当 前数据包的序号和所述序号向量游标的值之间的序号存储到第二数据库中, 将所述序号向量游标的值更新为所述当前数据包的序号;
若当前数据包的序号与所述序号向量游标的值之差等于1,则将所述序 号向量游标的值更新为所述当前数据包的序号;
若当前数据包的序号小于所述序号向量游标的值并且所述当前数据包 的正确性校验结果为正确,则将所述当前数据包的序号从所述第二数据库删 除。
通过序号向量游标的值表示经过完整性校验的数据包的最大序号,在对 当前数据包进行处理时,将当前数据包的序号与序号向量游标的值进行比 较,比较结果会存在如下四种情况:
第一种情况:当前数据包的序号与所述序号向量游标的值之差大于1。 图7a是本发明实施例中当前数据包的序号与所述序号向量游标的值之差大 于1的示意图,如图7a所示,序号向量游标的值为n,表示上次校验到的数 据包的序号为n,而当前数据包的序号为n+m,而m>1,这说明接收数据的 时候出现了乱序现象,先接收到了序号大的数据包,先前只是处理到了序号 为n的数据包,但是此时处理的数据包的序号值是n+m,那么序号在[n,n+m-1] 区间的数据包还没有接收到或者已经丢失,此时的处理逻辑就是将这一区间 的数据统统认为丢失,先记录在第二数据库中,并将所述序号向量游标的值 更新为所述当前数据包的序号。
第二种情况:当前数据包的序号小于所述序号向量游标的值。图7b是 本发明实施例中当前数据包的序号小于所述序号向量游标的值的示意图,如 图7b所示,序号向量游标的值为n+m,当前数据包的序号为n,这说明接 收数据的时候出现了乱序现象,之前已经先接收到了序号大的数据包,本次 又接收到了比上次序号小的数据包,因此之前已经在第一种情况中处理过 了,并且当前数据包的序号在之前处理时被作为丢包数据被记录在第二数据 库中了,这时需要判断当前数据包的正确性校验结果是否正确,在正确性校 验结果为正确的情况下,将当前数据包的序号从第二数据库删除即可。
第三种情况:当前数据包的序号与所述序号向量游标的值之差等于1。 这是一种理想的数据传输状态,说明收到的数据包的序号是递增的,并且中 间没有丢失现象,这时将所述序号向量游标的值更新为所述当前数据包的序 号。
第四种情况:当前数据包的序号等于所述序号向量游标的值。这种情况 基本不会出现,如果出现则说明是数据发重了,不予理会即可。
通过序号向量游标来记录经过完整性校验的数据包的最大序号,并根据 当前数据包的序号和序号向量游标的值可以很好的确定丢失的数据包的序 号,实现了对跨网单向传输的数据的完整性校验,提高校验的准确性。
步骤605,在接收到对所述第二数据库中的序号的导出请求时,将所述 第二数据库中的序号导出为校验失败列表。
由于第一网络的数据只能单向传输至第二网络中,因此,第二代理服务 器可以接收对第二数据库中的序号的导出请求,并在接收到导出请求时,将 第二数据库中的序号导出为校验失败列表,由用户将校验失败列表导入第一 网络的第一代理服务器中,通过第一代理服务器对校验失败列表中的数据包 进行重发。
在本发明的一个实施例中,所述第二数据库包括导出游标,在所述第二 数据库中导出游标的值为已导出校验失败列表中包含的最后一个数据包的 序号;
所述在接收到对所述第二数据库中的序号的导出请求时,将所述第二数 据库中的序号导出为校验失败列表,包括:在接收到对所述第二数据库中的 序号的导出请求时,从所述第二数据库中获取所述导出游标的值之后的所有 数据包的序号,生成校验失败列表,导出所述校验失败列表,并将所述导出 游标的值更新为所述第二数据库中最后一个数据包的序号。
在第二数据库中通过导出游标来标识已导出到校验失败列表的最后一 个数据包的序号,本次在根据导出请求将校验失败的序号导出为校验失败列 表时,只需遍历第二数据库,将第二数据库中从导出游标的值之后的序号导 出为校验失败列表即可,从而通过导出游标可以准确导出校验失败的序号, 而且不会与之前已导出的序号重复。
本实施例提供的跨网单向传输的数据校验方法,通过接收第二跨网 工具推送来的多个数据包,每个数据包包括序号、第一正确性校验码和 数据,根据每个数据包中的第一正确性校验码对每个数据包的数据进行 正确性校验,得到正确性校验结果,并将正确性校验结果为正确的数据 包推送至第二视图库,将正确性校验结果为错误的数据包的序号存储到第 二数据库中,根据多个数据包的序号确定丢失的数据包的序号,并将丢 失的数据包的序号存储到第二数据库中,在接收到对第二数据库中的序 号的导出请求时,将第二数据库中的序号导出为校验失败列表,从而通 过数据包中的第一正确性校验码实现了对数据包的正确性校验,通过数 据包的序号实现了对多个数据包的完整性校验,并可以导出校验失败的 序号,解决了跨网单向传输中的数据校验问题,实现了对跨网单向传输 中的数据的正确性校验和完整性校验。
在上述技术方案的基础上,在所述接收第二跨网工具推送来的多个数 据包之后,还包括:将所述多个数据包存放到第三消息队列中;
所述根据所述每个数据包中的第一正确性校验码,对每个数据包中的数 据进行正确性校验,得到正确性校验结果,包括:按照顺序从所述第三消息 队列中取出一个数据包,作为当前数据包;对所当前数据包进行解析,得到 当前数据包的序号、第一正确性校验码和数据;计算所述数据的正确性校验 码,作为第二正确性校验码;若所述第二正确性校验码和所述第一正确性校 验码一致,则确定所述当前数据包的正确性校验结果为正确;若所述第二正 确性校验码和第一正确性校验码不一致,则确定所述当前数据包的正确性校验结果为错误。
第三消息队列用于缓存第二代理服务器接收到的第二跨网工具推送 来的数据包。第二代理服务器在对接收到的数据包进行校验时,按照顺 序从第三消息队列中取出一个数据包,作为当前数据包,对当前数据包 进行解析,得到当前数据包的序号、第一正确性校验码和数据,并计算 数据的正确性校验码,作为第二正确性校验码,若本次计算得到的第二 正确性校验码和数据包中的第一正确性校验码一致,则说明数据在传输 过程中没有发生错误,确定当前数据包的正确性校验结果为正确,若本次 计算得到的第二正确性校验码和数据包中的第一正确性校验码不一致, 则说明数据在传输过程中发生了错误,确定当前数据包的正确性校验结果 为错误。通过第三消息队列可以对数据包进行有序的校验,提高正确性校 验结果的准确性。
在对一个数据包进行正确性校验后,可以对该数据包进行完整性校 验,完成完整性校验后,再从第三消息队列取出下一个数据包,并进行 校验,循环这样执行,直至校验完成第三消息队列中的所有数据包。
在上述技术方案的基础上,在所述得到正确性校验结果之后,还包括: 将正确性校验结果为正确的数据包推送至第二视图库,获取推送状态;将推 送状态为推送失败的数据包的序号存储到所述第二数据库中。
若一个数据包的正确性校验结果为正确,则将该数据包推送至第二视图 库,并获取推送状态,即获取数据包是否成功推送至第二视图库,若一个数 据包在推送至第二数据库的过程中推送失败,则将该数据包的序号存储到第 二数据库中。之后可以将第二数据库中的序号导出为校验失败列表,从而第 一代理服务器可以对这些序号的数据进行重发,保证推送至第二视图库的数 据的完整性。
图8是本发明实施例中的对多个数据包的正确性校验和完整性校验的校 验结果的示意图,如图8所示,对于序号错误、正确性校验码不一致、序号 没收到和推送至第二视图库失败的数据包均作为校验失败的数据包,将这些 数据包的序号存储到第二数据库中。
在上述技术方案的基础上,所述接收第二跨网工具推送来的多个数据 包,包括:通过第三HTTP句柄接收第二跨网工具推送来的多个数据包;
所述在接收到对所述第二数据库中的序号的导出请求时,将所述第二数 据库中的序号导出为校验失败列表,包括:在通过第四HTTP句柄接收到对 第二数据库中的序号的导出请求时,将所述第二数据库中的序号通过所述第 四HTTP句柄导出为校验失败列表。
第三HTTP句柄是第二代理服务器中接收第二跨网工具推送来的数据包 的接口。第四HTTP句柄是第二代理服务器中供用户导出校验失败列表的接 口。
需要说明的是,第二代理服务器在启动时会进行初始化,第二代理服务 器初始化流程包括:首先初始化第二数据库,如果第二代理服务器是第一次 启动,则将第二数据库中的导出游标的值初始化为0,如果第二代理服务器 不是第一次启动,则导出游标的值从第二数据库读取;之后初始化第三消息 队列;之后启动数据推送任务;最后注册第三HTTP句柄和第四HTTP句柄。 其中,数据推送任务即执行上述的数据校验,在数据校验成功时将数据包推 送至第二视图库,并将校验失败的数据包的序号存入第二数据库。
图9是本发明实施例提供的一种跨网单向传输的数据校验方法的步骤 流程图,该方法应用于上述跨网单向传输的数据校验系统中的第二代理 服务器中,如图9所示,该方法可以包括:
步骤901,接收第二跨网工具推送来的数据包,将数据包存放到第三消 息队列中。
步骤902,按照顺序从第三消息队列中取出一个数据包,作为当前数据 包,对当前数据包进行解析,得到当前数据包的序号、第一正确性校验码和 数据。
步骤903,计算所述数据的正确性校验码,作为第二正确性校验码。
步骤904,判断第二正确性校验码和第一正确性校验码是否一致,若一 致,则执行步骤905,若不一致则执行步骤907。
步骤905,将当前数据包推送至第二视图库。
步骤906,判断当前数据包是否推送成功,若推送成功则执行步骤908, 若推送失败则执行步骤907。
步骤907,将当前数据包的标志位设置为失败,并将当前数据包的序号 存储到第二数据库中。
步骤908,将当前数据包的序号与序号向量游标的值进行比较。
步骤909,若当前数据包的序号与所述序号向量游标的值之差大于1, 则将所述当前数据包的序号和所述序号向量游标的值之间的序号存储到第 二数据库中,将所述序号向量游标的值更新为所述当前数据包的序号,之后 执行步骤912。
步骤910,若当前数据包的序号小于所述序号向量游标的值并且所述当 前数据包的正确性校验结果为正确,则将所述当前数据包的序号从所述第二 数据库删除,之后执行步骤912。
步骤911,若当前数据包的序号与所述序号向量游标的值之差等于1, 则将序号向量游标的值更新为所述当前数据包的序号,之后执行步骤912。
步骤912,在接收到对所述第二数据库中的序号的导出请求时,将所述 第二数据库中的序号导出为校验失败列表。
具体各步骤的处理方式可参看上述实施例对各相应步骤的描述,此处不 再赘述。
本实施例提供的跨网单向传输的数据校验方法,通过数据包中的第 一正确性校验码实现了对数据包的正确性校验,通过数据包的序号实现 了对多个数据包的完整性校验,并可以导出校验失败的序号,解决了跨 网单向传输中的数据校验问题,实现了对跨网单向传输中数据的正确性 校验和完整性校验。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系 列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述 的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或 者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例 均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
图10是本发明实施例提供的一种跨网单向传输的数据校验装置的结构 框图,该跨网单向传输的数据校验装置应用于上述跨网单向传输的数据校 验系统中的第一代理服务器中,如图10所示,该跨网单向传输的数据校验 装置可以包括:
数据接收模块1001,用于接收第一视图库推送来的待发送数据,所述待 发送数据包括多条数据,所述第一视图库部署于第一网络中;
数据编号模块1002,用于对所述待发送数据中的每条数据进行顺序编 号,得到每条数据的序号,并计算每条数据的正确性校验码,作为第一正确 性校验码;
数据封装模块1003,用于将所述每条数据的序号、第一正确性校验码和 对应的数据封装为数据包,得到多个数据包,并将所述多个数据包推送至第 一跨网工具,以使所述第一跨网工具将所述多个数据包跨过网闸传输至第二 网络中的第二跨网工具,第二跨网工具将所述多个数据包推送至第二代理服 务器,第二代理服务器对所述多个数据包进行校验;
失败列表导入模块1004,用于接收导入的校验失败列表,所述校验失败 列表包括所述第二网络中的第二代理服务器对所述多个数据包进行校验得 到的校验失败的数据包的序号。
可选的,所述装置还包括:
数据信息记录模块,用于将数据包的序号、数据包的数据在所述第一视 图库中的URL以及数据包对应的数据更新时间作为一条数据记录对应存储 到第一数据库中,所述数据更新时间是接收到所述第一视图库推送数据的时 间。
可选的,所述装置还包括:
URL获取模块,用于根据所述校验失败列表中的序号,从所述第一数据 库中获取与所述序号对应的URL;
第一数据重发模块,用于根据所述URL从第一视图库获取所述URL对 应的数据,计算获取到的数据的正确性校验码,作为第一正确性校验码,将 所述序号、第一正确性校验码和数据重新封装为数据包,将重新封装的数据 包推送至第一跨网工具,并将该数据包的序号在所述第一数据库中对应的数 据更新时间更新为从第一视图库获取到数据的时间。
可选的,所述第一数据库包括数据清理游标,在所述第一数据库中数据 清理游标的值为上次发送成功的最后一个数据包的序号;
所述装置还包括:
数据清理模块,用于根据所述第一数据库中的数据清理游标的值,以及 所述校验失败列表中的序号,确定本次发送成功的数据包的序号,并从所述 第一数据库中清理掉本次发送成功的数据包的序号对应的数据记录,将数据 清理游标的值更新为本次发送成功的最后一个数据包的序号。
可选的,所述装置还包括:
第二数据重发模块,用于若所述第一数据库中的数据更新时间超过第一 预设时间,则根据所述数据更新时间对应的URL从所述第一视图库获取对 应的数据,计算获取到的数据的正确性校验码,并将所述数据更新时间对应 的序号、获取到的数据、正确性校验码封装为数据包,将所述数据包重新推 送至第一跨网工具,并将所述数据库中的数据更新时间更新为从所述第一视 图库获取数据的时间。
可选的,所述装置还包括:
定时清理模块,用于若所述第一数据库中的数据更新时间超过第二预设 时间,则删除该数据更新时间对应的数据记录。
可选的,所述装置还包括:
第一缓存模块,用于将所述待发送数据存放到第一消息队列;
所述数据编号模块包括:
数据编号单元,用于按照顺序从所述第一消息队列取出一条数据,作为 当前处理数据,并对当前处理数据进行顺序编号,得到当前处理数据的序号, 循环从第一消息队列中取出下一条数据并进行编号,直至处理完第一消息队 列中的所有数据。
可选的,所述装置还包括:
第二缓存模块,用于将接收到当前处理数据的时间作为当前处理数据的 数据更新时间,并将当前处理数据的序号、当前处理数据在第一视图库中的 URL和所述数据更新时间对应存放到第二消息队列中;
所述数据信息记录模块具体用于:
将一个数据包推送至第一跨网工具后,从所述第二消息队列中取出该数 据包的序号、序号对应的数据在第一视图库中的URL和数据更新时间,并 将该数据包的序号、序号对应的数据在第一视图库中的URL和数据更新时 间作为一条数据记录对应存储到第一数据库中。
可选的,所述数据接收模块具体用于:
通过第一HTTP句柄接收第一视图库推送来的待发送数据;
所述失败列表导入模块具体用于:
通过第二HTTP句柄接收导入的校验失败列表。
本实施例提供的跨网单向传输的数据校验装置,通过数据接收模块接 收第一视图库推送来的待发送数据,数据编号模块对待发送数据中的每 条数据进行顺序编号,并计算每条数据的正确性校验码,作为第一正确 性校验码,数据封装模块将每条数据的序号、第一正确性校验码和对应 的数据封装为数据包,将数据包推送至第一跨网工具,第一跨网工具将 数据包跨过网闸传输至第二网络的第二跨网工具,第二跨网工具将数据 包推送至第二代理服务器,第二代理服务器对数据包进行正确性校验和 完整性校验,并可以将校验失败的数据包的序号导出为校验失败列表, 失败列表导入模块可以接收导入的校验失败列表,从而通过数据包中的 第一正确性校验码第二代理服务器可以对数据包进行正确性校验,通过 数据包中的序号第二代理服务器可以对接收到的多个数据包进行完整性 校验,解决了跨网单向传输中的数据校验问题,实现了对跨网单向传输 中的数据的正确性校验和完整性校验。
图11是本发明实施例提供的一种跨网单向传输的数据校验装置的结构 框图,该跨网单向传输的数据校验装置应用于上述跨网单向传输的数据校 验系统中的第二代理服务器中,如图11所示,该跨网单向传输的数据校验 装置可以包括:
数据接收模块1101,用于接收第二跨网工具推送来的多个数据包,每个 数据包包括序号、第一正确性校验码和数据,所述多个数据包是部署于第一 网络中的第一跨网工具推送到第二跨网工具的,是部署于第一网络中的第一 代理服务器封装得到的;
正确性校验模块1102,用于根据所述每个数据包中的第一正确性校验 码,对每个数据包中的数据进行正确性校验,得到正确性校验结果;
序号存储模块1103,用于将所述正确性校验结果为错误的数据包的序号 存储到第二数据库中;
完整性校验模块1104,用于根据所述多个数据包中的序号,确定丢失的 数据包的序号,并将丢失的数据包的序号存储到所述第二数据库中;
失败列表导出模块1105,用于在接收到对所述第二数据库中的序号的导 出请求时,将所述第二数据库中的序号导出为校验失败列表。
可选的,所述完整性校验模块包括:
序号游标比较单元,用于将当前正在进行完整性校验的当前数据包的序 号与序号向量游标的值进行比较,所述序号向量游标的值表示经过完整性校 验的数据包的最大序号;
序号存储单元,用于若当前数据包的序号与所述序号向量游标的值之差 大于1,则将所述当前数据包的序号和所述序号向量游标的值之间的序号存 储到第二数据库中将所述序号向量游标的值更新为所述当前数据包的序号;
序号更新单元,用于若当前数据包的序号与所述序号向量游标的值之差 等于1,则将所述序号向量游标的值更新为所述当前数据包的序号;
序号清理单元,用于若当前数据包的序号小于所述序号向量游标的值并 且所述当前数据包的正确性校验结果为正确,则将所述当前数据包的序号从 所述第二数据库删除。
可选的,所述装置还包括:
缓存模块,用于将所述多个数据包存放到第三消息队列中;
所述正确性校验模块包括:
当前数据包取出单元,用于按照顺序从所述第三消息队列中取出一个数 据包,作为当前数据包;
数据解析单元,用于对所当前数据包进行解析,得到当前数据包的序号、 第一正确性校验码和数据;
MD5计算单元,用于计算所述数据的正确性校验码,作为第二正确性 校验码;
正确性校验单元,用于若所述第二正确性校验码和所述第一正确性校验 码一致,则确定所述当前数据包的正确性校验结果为正确;若所述第二正确 性校验码和第一正确性校验码不一致,则确定所述当前数据包的正确性校验 结果为错误。
可选的,所述第二数据库包括导出游标,在所述第二数据库中导出游标 的值为已导出校验失败列表中包含的最后一个数据包的序号;
所述失败列表导出模块具体用于:
在接收到对所述第二数据库中的序号的导出请求时,从所述第二数据库 中获取所述导出游标的值之后的所有数据包的序号,生成校验失败列表,导 出所述校验失败列表,并将所述导出游标的值更新为所述第二数据库中最后 一个数据包的序号。
可选的,所述数据接收模块具体用于:
通过第三HTTP句柄接收第二跨网工具推送来的多个数据包;
所述失败列表导出模块具体用于:
在通过第四HTTP句柄接收到对第二数据库中的序号的导出请求时,将 所述第二数据库中的序号通过所述第四HTTP句柄导出为校验失败列表。
可选的,所述装置还包括:
推送模块,用于将正确性校验结果为正确的数据包推送至第二视图库, 获取推送状态;
推送失败序号存储模块,用于将推送状态为推送失败的数据包的序号存 储到所述第二数据库中。
本实施例提供的跨网单向传输的数据校验装置,通过数据接收模块接 收第二跨网工具推送来的多个数据包,每个数据包包括序号、第一正确 性校验码和数据,正确性校验模块根据每个数据包中的第一正确性校验 码对每个数据包的数据进行正确性校验,得到正确性校验结果,序号存 储模块将正确性校验结果为错误的数据包的序号存储到第二数据库中, 完整性校验模块根据多个数据包中的序号确定丢失的数据包的序号,并 将丢失的数据包的序号存储到第二数据库中,失败列表导出模块在接收 到对第二数据库中的序号的导出请求时,将第二数据库中的序号导出为 校验失败列表,从而通过数据包中的第一正确性校验码实现了对数据包 的正确性校验,通过数据包的序号实现了对多个数据包的完整性校验, 并可以导出校验失败的序号,解决了跨网单向传输中的数据校验问题, 实现了对跨网单向传输中的数据的正确性校验和完整性校验。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较 简单,相关之处参见方法实施例的部分说明即可。
进一步地,根据本发明的一个实施例,提供了一种服务器,所述服务器 包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计 算机程序,所述计算机程序被所述处理器执行时实现前述实施例的跨网单向 传输的数据校验方法。
根据本发明的一个实施例,还提供了一种计算机可读存储介质,所述计 算机可读存储介质包括但不限于磁盘存储器、CD-ROM、光学存储器等,所 述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行 时实现前述实施例的跨网单向传输的数据校验方法。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明 的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见 即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装 置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全 软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例 可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介 质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程 序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计 算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令 实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框 图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、 专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生 一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的 指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或 多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理 终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读 存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个 流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设 备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计 算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用 于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中 指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦 得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以, 所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所 有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语 仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求 或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术 语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得 包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且 还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或 者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终 端设备中还存在另外的相同要素。
以上对本发明所提供的一种跨网单向传输的数据校验系统、方法、装置、 服务器及存储介质,进行了详细介绍,本文中应用了具体个例对本发明的原 理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方 法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想, 在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不 应理解为对本发明的限制。

Claims (20)

1.一种跨网单向传输的数据校验系统,其特征在于,包括:
第一视图库,部署于第一网络中,用于向第一代理服务器推送待发送数据,所述待发送数据包括多条数据;
第一代理服务器,部署于第一网络中,用于对所述待发送数据中的每条数据进行顺序编号,得到每条数据的序号,并计算每条数据的正确性校验码,作为第一正确性校验码,将所述序号、第一正确性校验码和对应的数据封装为数据包,得到多个数据包,并将所述多个数据包推送至第一跨网工具,接收用户导入的校验失败列表;
第一跨网工具,部署于第一网络中,用于将所述多个数据包跨过网闸传输至第二网络中的第二跨网工具;
第二跨网工具,部署于第二网络中,用于接收所述第一跨网工具发送的多个数据包,并将所述多个数据包推送至第二代理服务器;
第二代理服务器,部署于第二网络中,用于根据每个数据包中的第一正确性校验码,对每个数据包中的数据进行正确性校验,得到正确性校验结果;将所述正确性校验结果为错误的数据包的序号存储到第二网络的第二数据库中;根据所述多个数据包中的序号,确定丢失的数据包的序号,并将丢失的数据包的序号存储到所述第二数据库中;在接收到对所述第二数据库中的序号的导出请求时,将所述第二数据库中的序号导出为校验失败列表;第二视图库,部署于第二网络中,用于存储正确性校验结果为正确的数据包。
2.一种跨网单向传输的数据校验方法,其特征在于,应用于第一代理服务器中,包括:
接收第一视图库推送来的待发送数据,所述待发送数据包括多条数据,所述第一视图库部署于第一网络中;
对所述待发送数据中的每条数据进行顺序编号,得到每条数据的序号,并计算每条数据的正确性校验码,作为第一正确性校验码;
将所述每条数据的序号、第一正确性校验码和对应的数据封装为数据包,得到多个数据包,并将所述多个数据包推送至第一跨网工具,以使所述第一跨网工具将所述多个数据包跨过网闸传输至第二网络中的第二跨网工具,第二跨网工具将所述多个数据包推送至第二代理服务器,第二代理服务器对所述多个数据包进行校验;
接收用户导入的校验失败列表,所述校验失败列表包括所述第二网络中的第二代理服务器对所述多个数据包进行校验得到的校验失败的数据包的序号。
3.根据权利要求2所述的方法,其特征在于,在将所述多个数据包推送至第一跨网工具之后,还包括:
将数据包的序号、数据包的数据在所述第一视图库中的URL以及数据包对应的数据更新时间作为一条数据记录对应存储到第一数据库中,所述数据更新时间是接收到所述第一视图库推送数据的时间。
4.根据权利要求3所述的方法,其特征在于,在所述接收导入的校验失败列表之后,还包括:
根据所述校验失败列表中的序号,从所述第一数据库中获取与所述序号对应的URL;
根据所述URL从第一视图库获取所述URL对应的数据,计算获取到的数据的正确性校验码,作为第一正确性校验码,将所述序号、第一正确性校验码和数据重新封装为数据包,将重新封装的数据包推送至第一跨网工具,并将该数据包的序号在所述第一数据库中对应的数据更新时间更新为从第一视图库获取到数据的时间。
5.根据权利要求3或4所述的方法,其特征在于,所述第一数据库包括数据清理游标,在所述第一数据库中数据清理游标的值为上次发送成功的最后一个数据包的序号;
在所述接收导入的校验失败列表之后,还包括:
根据所述第一数据库中的数据清理游标的值,以及所述校验失败列表中的序号,确定本次发送成功的数据包的序号,并从所述第一数据库中清理掉本次发送成功的数据包的序号对应的数据记录,将数据清理游标的值更新为本次发送成功的最后一个数据包的序号。
6.根据权利要求5所述的方法,其特征在于,还包括:
若所述第一数据库中的数据更新时间超过第一预设时间,则根据所述数据更新时间对应的URL从所述第一视图库获取对应的数据,计算获取到的数据的正确性校验码,并将所述数据更新时间对应的序号、获取到的数据、正确性校验码封装为数据包,将所述数据包重新推送至第一跨网工具,并将所述数据库中的数据更新时间更新为从所述第一视图库获取数据的时间。
7.根据权利要求5所述的方法,其特征在于,还包括:
若所述第一数据库中的数据更新时间超过第二预设时间,则删除该数据更新时间对应的数据记录。
8.根据权利要求3或4所述的方法,其特征在于,在对所述待发送数据中的每条数据按照顺序进行编号之前,还包括:
将所述待发送数据存放到第一消息队列;
所述对所述待发送数据中的每条数据进行顺序编号,得到每条数据的序号,包括:
按照顺序从所述第一消息队列取出一条数据,作为当前处理数据,并对当前处理数据进行顺序编号,得到当前处理数据的序号,循环从第一消息队列中取出下一条数据并进行编号,直至处理完第一消息队列中的所有数据。
9.根据权利要求8所述的方法,其特征在于,在所述对当前处理数据进行顺序编号,得到当前处理数据的序号之后,还包括:
将接收到当前处理数据的时间作为当前处理数据的数据更新时间,并将当前处理数据的序号、当前处理数据在第一视图库中的URL和所述数据更新时间对应存放到第二消息队列中;
所述将数据包的序号、数据包的数据在所述第一视图库中的URL以及数据包对应的数据更新时间作为一条数据记录对应存储到第一数据库中,包括:
将一个数据包推送至第一跨网工具后,从所述第二消息队列中取出该数据包的序号、序号对应的数据在第一视图库中的URL和数据更新时间,并将该数据包的序号、序号对应的数据在第一视图库中的URL和数据更新时间作为一条数据记录对应存储到第一数据库中。
10.根据权利要求2-4任一项所述的方法,其特征在于,所述接收第一视图库推送来的待发送数据,包括:
通过第一HTTP句柄接收第一视图库推送来的待发送数据;
所述接收导入的校验失败列表,包括:
通过第二HTTP句柄接收导入的校验失败列表。
11.一种跨网单向传输的数据校验方法,其特征在于,应用于第二代理服务器中,包括:
接收第二跨网工具推送来的多个数据包,每个数据包包括序号、第一正确性校验码和数据,所述多个数据包是部署于第一网络中的第一跨网工具推送到第二跨网工具的,是部署于第一网络中的第一代理服务器封装得到的;
根据所述每个数据包中的第一正确性校验码,对每个数据包中的数据进行正确性校验,得到正确性校验结果;
将所述正确性校验结果为错误的数据包的序号存储到第二网络的第二数据库中;
根据所述多个数据包中的序号,确定丢失的数据包的序号,并将丢失的数据包的序号存储到所述第二数据库中;
在接收到对所述第二数据库中的序号的导出请求时,将所述第二数据库中的序号导出为校验失败列表,以使用户将第二代理服务器中导出的校验失败列表导入第一网络的第一代理服务器中。
12.根据权利要求11所述的方法,其特征在于,所述根据所述多个数据包中的序号,确定丢失的数据包的序号,并将丢失的数据包的序号存储到所述第二数据库中,包括:
将当前正在进行完整性校验的当前数据包的序号与序号向量游标的值进行比较,所述序号向量游标的值表示经过完整性校验的数据包的最大序号;
若当前数据包的序号与所述序号向量游标的值之差大于1,则将所述当前数据包的序号和所述序号向量游标的值之间的序号存储到第二数据库中,将所述序号向量游标的值更新为所述当前数据包的序号;
若当前数据包的序号与所述序号向量游标的值之差等于1,则将所述序号向量游标的值更新为所述当前数据包的序号;
若当前数据包的序号小于所述序号向量游标的值并且所述当前数据包的正确性校验结果为正确,则将所述当前数据包的序号从所述第二数据库删除。
13.根据权利要求11所述的方法,其特征在于,在所述接收第二跨网工具推送来的多个数据包之后,还包括:
将所述多个数据包存放到第三消息队列中;
所述根据所述每个数据包中的第一正确性校验码,对每个数据包中的数据进行正确性校验,得到正确性校验结果,包括:
按照顺序从所述第三消息队列中取出一个数据包,作为当前数据包;
对所当前数据包进行解析,得到当前数据包的序号、第一正确性校验码和数据;
计算所述数据的正确性校验码,作为第二正确性校验码;
若所述第二正确性校验码和所述第一正确性校验码一致,则确定所述当前数据包的正确性校验结果为正确;若所述第二正确性校验码和第一正确性校验码不一致,则确定所述当前数据包的正确性校验结果为错误。
14.根据权利要求11-13任一项所述的方法,其特征在于,所述第二数据库包括导出游标,在所述第二数据库中导出游标的值为已导出校验失败列表中包含的最后一个数据包的序号;
所述在接收到对所述第二数据库中的序号的导出请求时,将所述第二数据库中的序号导出为校验失败列表,包括:
在接收到对所述第二数据库中的序号的导出请求时,从所述第二数据库中获取所述导出游标的值之后的所有数据包的序号,生成校验失败列表,导出所述校验失败列表,并将所述导出游标的值更新为所述第二数据库中最后一个数据包的序号。
15.根据权利要求11-13任一项所述的方法,其特征在于,所述接收第二跨网工具推送来的多个数据包,包括:
通过第三HTTP句柄接收第二跨网工具推送来的多个数据包;
所述在接收到对所述第二数据库中的序号的导出请求时,将所述第二数据库中的序号导出为校验失败列表,包括:
在通过第四HTTP句柄接收到对第二数据库中的序号的导出请求时,将所述第二数据库中的序号通过所述第四HTTP句柄导出为校验失败列表。
16.根据权利要求11-13任一项所述的方法,其特征在于,在所述得到正确性校验结果之后,还包括:
将正确性校验结果为正确的数据包推送至第二视图库,获取推送状态;
将推送状态为推送失败的数据包的序号存储到所述第二数据库中。
17.一种跨网单向传输的数据校验装置,其特征在于,应用于第一代理服务器中,包括:
数据接收模块,用于接收第一视图库推送来的待发送数据,所述待发送数据包括多条数据,所述第一视图库部署于第一网络中;
数据编号模块,用于对所述待发送数据中的每条数据进行顺序编号,得到每条数据的序号,并计算每条数据的正确性校验码,作为第一正确性校验码;
数据封装模块,用于将所述每条数据的序号、第一正确性校验码和对应的数据封装为数据包,得到多个数据包,并将所述多个数据包推送至第一跨网工具,以使所述第一跨网工具将所述多个数据包跨过网闸传输至第二网络中的第二跨网工具,第二跨网工具将所述多个数据包推送至第二代理服务器,第二代理服务器对所述多个数据包进行校验;
失败列表导入模块,用于接收用户导入的校验失败列表,所述校验失败列表包括所述第二网络中的第二代理服务器对所述多个数据包进行校验得到的校验失败的数据包的序号。
18.一种跨网单向传输的数据校验装置,其特征在于,应用于第二代理服务器中,包括:
数据接收模块,用于接收第二跨网工具推送来的多个数据包,每个数据包包括序号、第一正确性校验码和数据,所述多个数据包是部署于第一网络中的第一跨网工具推送到第二跨网工具的,是部署于第一网络中的第一代理服务器封装得到的;
正确性校验模块,用于根据所述每个数据包中的第一正确性校验码,对每个数据包中的数据进行正确性校验,得到正确性校验结果;
序号存储模块,用于将所述正确性校验结果为错误的数据包的序号存储到第二网络的第二数据库中;
完整性校验模块,用于根据所述多个数据包中的序号,确定丢失的数据包的序号,并将丢失的数据包的序号存储到所述第二数据库中;
失败列表导出模块,用于在接收到对所述第二数据库中的序号的导出请求时,将所述第二数据库中的序号导出为校验失败列表,以使用户将第二代理服务器中导出的校验失败列表导入第一网络的第一代理服务器中。
19.一种服务器,其特征在于,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求2-10任一项所述的跨网单向传输的数据校验方法,或者,实现如权利要求11-16任一项所述的跨网单向传输的数据校验方法。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求2-10任一项所述的跨网单向传输的数据校验方法,或者,实现如权利要求11-16任一项所述的跨网单向传输的数据校验方法。
CN202010178005.9A 2020-03-13 2020-03-13 数据校验系统、方法、装置、服务器及存储介质 Active CN111614712B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010178005.9A CN111614712B (zh) 2020-03-13 2020-03-13 数据校验系统、方法、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010178005.9A CN111614712B (zh) 2020-03-13 2020-03-13 数据校验系统、方法、装置、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN111614712A CN111614712A (zh) 2020-09-01
CN111614712B true CN111614712B (zh) 2022-09-20

Family

ID=72205432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010178005.9A Active CN111614712B (zh) 2020-03-13 2020-03-13 数据校验系统、方法、装置、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN111614712B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112564863A (zh) * 2020-12-24 2021-03-26 中国兵器装备集团自动化研究所 一种通信时效性错误检测系统及检测方法
CN112738188A (zh) * 2020-12-24 2021-04-30 广东电网有限责任公司电力科学研究院 一种数据跨网传输方法及装置
CN112804227B (zh) * 2021-01-11 2022-01-14 北京鼎轩科技有限责任公司 数据单向传输装置、方法、电子设备及存储介质
CN112788030B (zh) * 2021-01-11 2022-04-05 北京鼎轩科技有限责任公司 一种高低密网络间的数据交换方法及系统
CN113194129A (zh) * 2021-04-22 2021-07-30 山东浪潮通软信息科技有限公司 一种数据的摆渡方法、设备及介质
CN113239026B (zh) * 2021-04-29 2022-08-16 上海德衡数据科技有限公司 基于云服务器的云数据的处理方法及云服务器
CN115190036B (zh) * 2022-06-02 2024-01-16 国能数智科技开发(北京)有限公司 一种实时数据汇聚的一致性校验方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107454094A (zh) * 2017-08-23 2017-12-08 北京明朝万达科技股份有限公司 一种数据交互方法和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101334240B1 (ko) * 2012-09-20 2013-11-28 한국전력공사 일방향 데이터 전송 시스템
US9189637B2 (en) * 2014-03-17 2015-11-17 Saudi Arabian Oil Company Systems, methods, and computer medium to securely transfer business transactional data between physically isolated networks having different levels of network protection utilizing barcode technology
US9575987B2 (en) * 2014-06-23 2017-02-21 Owl Computing Technologies, Inc. System and method for providing assured database updates via a one-way data link
US20200084264A1 (en) * 2018-09-11 2020-03-12 Owl Cyber Defense Solutions, Llc System and method for secure cross-domain file transfer

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107454094A (zh) * 2017-08-23 2017-12-08 北京明朝万达科技股份有限公司 一种数据交互方法和系统

Also Published As

Publication number Publication date
CN111614712A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
CN111614712B (zh) 数据校验系统、方法、装置、服务器及存储介质
CN107122297B (zh) 用于测试接口的请求消息生成的方法及设备
KR102177411B1 (ko) 물리적 단방향 암호화 원격 모니터링을 통해 산업 제어 시스템을 관리하는 방법
CN110888838B (zh) 基于对象存储的请求处理方法、装置、设备及存储介质
CN111158933A (zh) 一种基于消息队列的分布式事务处理方法及系统
US9753802B1 (en) Dead letter queue for smart fleet management
CN110599180B (zh) 一种基于区块链的疫苗流通管理方法及装置
CN112822260B (zh) 文件传输方法及装置、电子设备、存储介质
CN110830442A (zh) 报文处理方法、装置及网关
CN111147196A (zh) 数据传输方法、数据发送设备及数据接收设备
CN114553863B (zh) 文件传输方法及装置、存储介质和电子设备
CN111404872A (zh) 一种报文处理方法、装置及系统
CN112860679A (zh) 一种设备信息管理方法、装置、电子设备及存储介质
CN106446138B (zh) 数据包的存储方法及装置
CN109067503B (zh) 一种数据重传方法和装置
CN106411684B (zh) 消息处理方法及装置
CN115277149A (zh) 一种安全域通信方法、装置、电子设备及存储介质
CN115952515A (zh) 一种基于大数据的数据安全处理方法及装置
CN112749142B (zh) 句柄管理方法和系统
CN112688905B (zh) 数据传输方法、装置、客户端、服务器及存储介质
CN108880994B (zh) 一种重发邮件的方法和装置
CN113194129A (zh) 一种数据的摆渡方法、设备及介质
CN106341480B (zh) 数据包的上传方法及装置
CN108964974B (zh) 一种网络访问的方法和装置
CN113064869B (zh) 日志处理方法、装置、发送端、接收端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant