CN113645248A - 一种跨网环境下数据交换系统及方法 - Google Patents

一种跨网环境下数据交换系统及方法 Download PDF

Info

Publication number
CN113645248A
CN113645248A CN202110943406.3A CN202110943406A CN113645248A CN 113645248 A CN113645248 A CN 113645248A CN 202110943406 A CN202110943406 A CN 202110943406A CN 113645248 A CN113645248 A CN 113645248A
Authority
CN
China
Prior art keywords
data
message
sending
receiving
sending end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110943406.3A
Other languages
English (en)
Other versions
CN113645248B (zh
Inventor
黄鑫
王军华
曹品奇
黄金
张帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Traffic Management Research Institute of Ministry of Public Security
Original Assignee
Traffic Management Research Institute of Ministry of Public Security
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Traffic Management Research Institute of Ministry of Public Security filed Critical Traffic Management Research Institute of Ministry of Public Security
Priority to CN202110943406.3A priority Critical patent/CN113645248B/zh
Publication of CN113645248A publication Critical patent/CN113645248A/zh
Application granted granted Critical
Publication of CN113645248B publication Critical patent/CN113645248B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3247—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving digital signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/547—Messaging middleware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种跨网环境下数据交换系统，其保证不同网络系统之间的数据安全、可靠地交换，降低不同系统数据对接的复杂度，节约时间成本。本专利技术方案中，交换系统中设置发送端和接收端，将接收数据和处理数据分开，即使在任何一端数据处理和摆渡机异常情况下，另一端可以继续接收数据；发送端第三方系统、接收端第三方系统都有自己的数据交换独享通道交换，通道相互不受干扰；同时，本专利也公开了一种块网环境下数据交换的方法。

Description

一种跨网环境下数据交换系统及方法
技术领域
本发明涉及网间数据交换技术领域，具体为一种跨网环境下数据交换系统及方法。
背景技术
随着信息系统的发展，系统功能和系统架构越来越复杂，网络环境越来越复杂，不同网络系统之间数据交换日益频繁。为了避免未知网络连接和数据泄密，不同网络环境进行了物理隔离。处于不同网络环境的系统之间数据有大量交换需求，然而现有的网间数据交换方法，无法同时满足数据交换量大、时效性高、安全性高的技术要求。
发明内容
现有的网间数据交换方法，无法同时满足数据交换量大、时效性高、安全性高的技术要求的问题，本发明提供一种跨网环境下数据交换系统，其保证不同网络系统之间的数据安全、可靠地交换，降低不同系统数据对接的复杂度，节约时间成本。同时，本专利也公开了一种块网环境下数据交换的方法。
本发明的技术方案是这样的：一种跨网环境下数据交换系统，其包括：发送端、接收端、摆渡机，所述发送端连接发送端第三方系统，所述接收端连接接收端第三方系统，所述发送端第三方系统、所述接收端第三方系统是被物理隔绝的第三方系统；
其特征在于：
所述发送端、所述接收端之间基于消息报文进行通信，交换的消息报文的报文类型包括：发送消息报文、接收消息报文、回执消息报文；
所述发送端包括：数据接收服务、批处理服务；
所述数据接收服务：接收所述发送端第三方系统的数据交换请求，缓存所述发送端第三方系统的发送端数据；生成发送消息报文，放入消息队列；
所述批处理服务：从所述消息队列中批量读取所述发送消息报文，加密并打包所述发送消息报文对应的所述发送端数据，生成待交换数据的数据包；
所述接收端包括：批处理服务、数据发送服务和反馈服务；
所述批处理服务：批量从所述摆渡机读取摆渡文件，并基于所述摆渡文件生成所述接收消息报文；将所述接收消息报文存入数据接收报文队列，等待其他线程消费；
所述数据发送服务：解析所述接收消息报文的数据，从摆渡机读取数据作为待发送数据，发送到所述接收端第三方系统；
数据反馈服务：当所述待发送数据发送成功时，生成所述回执消息报文，并将所述回执消息报文写入所述摆渡机。
其进一步特征在于：
所述数据接收服务中，如果所述发送端数据为非关系型数据，则将数据缓存到非关系型数据库中，对应的发送消息报文缓存到关系型数据库；
如果所述发送端数据为关系型数据，则将数据和对应的发送消息报文都缓存到关系型数据库中；
所述批处理服务在关系型数据库中读取报文之后，判断报文对应的所述发送端数据的类型，如果所述发送端数据为非关系型数据，则还要去非关系型数据库中读取对应的所述发送端数据；
所述消息报文的报文协议包括：报文结构、报文签名；
所述报文结构包括：报文类型，报文版本号、报文序号、报文加密类型、报文压缩类型、报文数据；
所述报文类型表示报文消息的类型，包括：发送消息、接收消息、回执消息；
所述报文版本号：表示报文版本号；
所述报文序号：表示报文的唯一编号；
所述报文加密类型：表示报文内容的加密类型；
所述报文压缩类型：表示报文消息的压缩类型；
所述报文数据：表示具体的数据；
所述报文签名：报文数据的签名；
所述发送消息报文的状态包括：初始、已交换、已完成；
初始：已经接收到数据，但是还未处理；
已交换：处理接收到的数据，并把数据包成功写入摆渡机；
已完成：所述接收端收到数据，并生成回执消息，表示数据已经成功地交换到所述发送端；
所述报文版本号实现系统兼容不同的版本，在系统升级之后，如果有关键数据结构改动，通过升级报文版本进行兼容。
一种跨网环境下数据交换方法，其特征在于，其包括：交换控制方法、交换监控方法；
所述交换控制方法包括以下步骤：
a1：发送端的数据接收服务接收发送端第三方系统的数据传输请求，保存所述发送端第三方系统的传输过来的发送端数据，生成发送消息报文，此时所述发送消息报文的状态处于初始状态；
a2：发送端的批处理服务批量读取所述发送消息报文，获取所述发送消息报文对应的所述发送端数据，加密并打包，生成待交换数据的数据包，并写入摆渡机，此时所述发送消息报文的状态为：已交换状态；
a3：接收端的批处理服务从所述摆渡机批量读取摆渡文件，并生成接收消息报文，将所述接收消息报文存入数据接收报文队列，等待其他线程消费；
a4：接收端的数据发送服务从所述数据接收报文队列读取所述接收消息报文的数据，并解析报文，从摆渡机读取对应数据作为待发送数据，发送到所述接收端第三方系统；
a5：接收端第三方系统成功收到数据后，数据反馈服务生成回执消息报文，并写入所述摆渡机；
发送端的批处理服务接收并处理回执消息，此时数据处于已完成状态；
所述交换监控方法为：设置发送端监控指标、接收端监控指标；
所述发送端监控指标包括：
接口调用监控：实时统计每分钟接口调用次数，收到的待交换数据的数据量，实时监控每分钟、每小时、每日、每月接口调用趋势；
待交换数据的数据量监控：按照所述接收发送端第三方系统分通道，分别监控来自每个接收发送端第三方系统的所述待交换数据的数据量；
数据交换状态监控：按照发送消息报文的状态分别统计交换数据包情况，实时监控每个数据包状态变化；
所述接收端监控指标包括：
待发送数据包的数据量监控：实时监控收到的所述待发送数据的数据包数量，并分析每分钟、每小时、每天变化趋势；
数据转发情况监控：实时监控数据转发到所有的所述接收端第三方系统的接收结果，统计总的接收成功率。
其进一步特征在于：
其还包括交换运行可靠性方法，所述交换运行可靠性方法包括：重试机制和熔断机制；
所述重试机制包括：
发送端：预设消息重置时间阈值M1、消息重发时间阈值M2；
c1：发送消息报文如果在M1分钟后还是初始状态，会把该消息再次加入消息队列；
c2：发送消息报文如果在M2分钟后还是已交换状态，会再次重发消息对应的数据包；
接收端：预设消息再处理施加阈值M3；
接收消息报文如果在M3分钟之内未被处理，会再次加入待处理消息队列；
所述熔断机制包括：
d1：预设熔断数据量阈值N1、熔断时间阈值N2、熔断成功率阈值N3、服务再开时间阈值N4；
d2：所述发送端实时监控自身与所述摆渡机之间对数据的处理能力，
如果接口调用监控实时监测到的收到的所述待交换数据的数据量超过N1，同时N2分钟内交换成功率低于N3，则停止写入交换文件到所述摆渡机；
d3：等待N4分钟后，所述发送端重新评估所述待交换文件的数据量和交换成功率；
如果N2分钟内交换成功率大于等于N3，则恢复交换；
所述交换运行可靠性方法中：
所述消息重置时间阈值M1取值为15分钟；
所述消息重发时间阈值M2取值为2小时；
所述熔断数据量阈值N1取值为10000；
所述熔断时间阈值N2取值为15分钟；
所述熔断成功率阈值N3取值为0.6；
所述服务再开时间阈值N4取值为15分钟。
本发明提供的一种跨网环境下数据交换系统，设置发送端和接收端，将接收数据和处理数据分开，即使在任何一端数据处理和摆渡机异常情况下，另一端可以继续接收数据，确保能够高效、安全的进行数据交换；发送端第三方系统、接收端第三方系统都有自己的数据交换独享通道交换，通道相互不受干扰，确保数据确保能够高效的完成数据交换，满足时效性要求；本专利的交换系统接收和转发接口设计简洁，第三方系统对接难度低；由交换系统内部机制确保数据交换成功，第三方系统只需要数据成功发送至交换系统，不需要额外重传，节省不同系统数据对接的复杂度和时间成本；交换系统有基于交换控制方法、交换监控方法、交换运行可靠性方法等多重策略控制交换的完整性、可靠性和及时性。
附图说明
图1为本专利的数据交换系统的总体架构图；
图2为本专利的数据交换系统的总体流程图；
图3为发送端处理逻辑图；
图4为接收端处理逻辑图。
具体实施方式
如图1所示，本发明一种跨网环境下数据交换系统，其包括：发送端、接收端、摆渡机，发送端连接发送端第三方系统（图1中的第三方系统A~C），接收端连接接收端第三方系统，发送端第三方系统、接收端第三方系统是被物理隔绝的第三方系统（图1中的第三方系统D~F）。本专利中的第三方系统，可以是具体的业务系统，也可以是网络系统，都可以基于本专利技术方案进行数据交换。本专利中的发送端、接收端可以分别同时为多个不同的第三方系统提供提供数据缓存、处理和交换服务，适合应用于不同的生产生活场景中。
本专利技术方案中的交换系统采用分布式部署，把服务和数据，分散部署到多台物理服务器上，组合起来，形成一个整体对外提供服务。交换系统支持横向扩展，用更多的节点支撑更大量的请求，交换系统的服务按需要独立扩展部署节点，保证高并发、高可用和高性能。
如图3、4所示，本实施例中，本专利技术方中的跨网环境下数据交换系统部署物理隔离的网络中，发送端的2个服务部署在内网中，接收端的3个服务部署在外网中。基于摆渡机实现内网中的第三方业务系统和外网的第三方业务系统的数据交换。
在交换系统录入第三方系统的信息，包括：基本信息和数据转发地址，自动生成交换通道号和接口授权号。处于内网的发送端第三方系统通过授权号调用发送端接口服务发送待交换数据，发送端收到数据先缓存，生成发送消息报文写入消息队列，并向发送端第三方系统返回接收成功的消息。
在本专利数据交换系统内部，完成数据可靠性传输。发送端从消息队列批量读取数据之后，生成待交换数据包写入摆渡机，并通过摆渡机从内网摆渡到外网；因为内网和外网是物理隔离的，处于外网的接收端解析数据之后，按照配置，通过http协议转发给接收端第三方系统，接收端确认接收端第三方系统接收成功之后，生成一条回执报文，用于描述这条数据已经收到，并写入摆渡机交换到内网。总体流程图如附图2所示。
本专利数据交换系统内部的发送端、接收端之间基于消息报文进行通信。
消息报文的报文协议包括：报文结构、报文签名；
报文结构包括：报文类型，报文版本号、报文序号、报文加密类型、报文压缩类型、报文数据。
报文类型表示报文消息的类型，包括：发送消息、接收消息、回执消息；即，的发送端、接收端之间交换的消息报文的报文类型包括：发送消息报文、接收消息报文、回执消息报文
报文版本号：表示报文版本号；
报文序号：表示报文的唯一编号；
报文加密类型：表示报文内容的加密类型；
报文压缩类型：表示报文消息的压缩类型；本专利中发送端、接收端之间传递的数据一般为压缩后的数据，通过报文压缩类型传递压缩信息；
报文数据：表示具体的数据；
报文签名：报文数据的签名，用于防止数据被非法篡改。
发送消息报文的状态包括：初始、已交换、已完成。
初始：已经接收到数据，但是还未处理；
已交换：处理接收到的数据，并把数据包成功写入摆渡机。
已完成：接收端收到数据，并生成回执消息，表示数据已经成功地交换到发送端。
本专利的数据交换系统中，服务之间通过消息报文耦合，没有相互之间的依赖。基于报文版本号确保让系统兼容不同的版本，在系统升级之后，如果有关键数据结构改动，可以通过升级报文版本进行兼容，从而实现系统平稳升级。
发送端包括：数据接收服务、批处理服务；
数据接收服务：接收发送端第三方系统的数据交换请求，缓存发送端第三方系统的发送端数据；生成发送消息报文，放入消息队列；如果发送端数据为非关系型数据，则将数据缓冲到非关系型数据库中，对应的发送消息报文缓存到关系型数据库；
如果发送端数据为关系型数据，则将数据和对应的发送消息报文都缓存到消息型数据库中；
批处理服务：从消息队列中批量读取发送消息报文，加密并打包发送消息报文对应的发送端数据，生成待交换数据的数据包；
批处理服务在关系型数据库中读取报文之后，判断报文对应的发送端数据的类型，如果发送端数据为非关系型数据，则还要去非关系型数据库中读取对应的发送端数据；如果发送端数据为关系型数据，则直接在关系型数据中读取对应的发送端数据；
通过对关系型数据、非关系型数据进行不同的处理，确保本专利技术方案适用于不同的应用场景。
接收端包括：批处理服务、数据发送服务和反馈服务；
批处理服务：批量从摆渡机读取摆渡文件，并基于摆渡文件生成接收消息报文；将接收消息报文存入数据接收报文队列，等待其他线程消费；
数据发送服务：解析接收消息报文的数据，从摆渡机读取数据作为待发送数据，发送到接收端第三方系统；
数据反馈服务：当待发送数据发送成功时，生成回执消息报文，并将回执消息报文写入摆渡机。
基于上述数据交换系统实现的跨网环境下数据交换方法，其包括：交换控制方法、交换监控方法。
参照说明书附图的图3，交换控制方法包括以下步骤：
a1：发送端的数据接收服务接收发送端第三方系统的数据传输请求，保存发送端第三方系统的传输过来的发送端数据，生成发送消息报文，此时发送消息报文的状态处于初始状态；
a2：发送端的批处理服务批量读取发送消息报文，获取发送消息报文对应的发送端数据，加密并打包，生成待交换数据的数据包，并写入摆渡机，此时发送消息报文的状态为：已交换状态；
a3：接收端的批处理服务从摆渡机批量读取摆渡文件，并生成接收消息报文，将接收消息报文存入数据接收报文队列，等待其他线程消费；
a4：接收端的数据发送服务从数据接收报文队列读取接收消息报文的数据，并解析报文，从摆渡机读取对应数据作为待发送数据，发送到接收端第三方系统；
a5：接收端第三方系统成功收到数据后，数据反馈服务生成回执消息报文，并写入摆渡机。
参照说明书附图的图4，发送端的批处理服务接收并处理回执消息，此时数据处于已完成状态；
交换监控方法为：设置发送端监控指标、接收端监控指标；
发送端监控指标包括：
接口调用监控：实时统计每分钟接口调用次数，收到的待交换数据的数据量，实时监控每分钟、每小时、每日、每月接口调用趋势；
待交换数据的数据量监控：按照接收发送端第三方系统分通道，分别监控来自每个接收发送端第三方系统的待交换数据的数据量；
数据交换状态监控：按照发送消息报文的状态分别统计交换数据包情况，实时监控每个数据包状态变化；
接收端监控指标包括：
待发送数据包的数据量监控：实时监控收到的待发送数据的数据包数量，并分析每分钟、每小时、每天变化趋势；
数据转发情况监控：实时监控数据转发到所有的接收端第三方系统的接收结果，统计总的接收成功率。
本专利的数据交换方法还包括交换运行可靠性方法，交换运行可靠性方法包括：重试机制和熔断机制，通过重试机制和熔断机制确保系统能够处理因为意外导致的数据交换中断或者数据堆积问题，确保系统更具备实用性和可靠性。
重试机制包括：
发送端：预设消息重置时间阈值M1、消息重发时间阈值M2；
c1：发送消息报文如果在M1分钟后还是初始状态，会把该消息再次加入消息队列；
c2：发送消息报文如果在M2分钟后还是已交换状态，会再次重发消息对应的数据包；
接收端：预设消息再处理施加阈值M3；
接收消息报文如果在M3分钟之内未被处理，会再次加入待处理消息队列。
熔断机制包括：
d1：预设熔断数据量阈值N1、熔断时间阈值N2、熔断成功率阈值N3、服务再开时间阈值N4；
d2：发送端实时监控自身与摆渡机之间对数据的处理能力，
如果接口调用监控实时监测到的收到的待交换数据的数据量超过N1，同时N2分钟内交换成功率低于N3，则停止写入交换文件到摆渡机；
d3：等待N4分钟后，发送端重新评估待交换文件的数据量和交换成功率；
如果N2分钟内交换成功率大于等于N3，则恢复交换；
本实施例的交换运行可靠性方法中：
消息重置时间阈值M1取值为15分钟；
消息重发时间阈值M2取值为2小时；
熔断数据量阈值N1取值为10000；
熔断时间阈值N2取值为15分钟；
熔断成功率阈值N3取值为0.6；
服务再开时间阈值N4取值为15分钟。
本专利中采用自定义报文协议，包括报文描述和报文数据两部分，并在加密和压缩之后传输，保证数据完整性和安全性；同时基于交换监控方法，设置发送端监控指标、接收端监控指标；基于发送端监控指标、接收端监控指标使用重试机制和熔断机制，确保了系统运行的稳定性；同时，本专利技术方案中，对发送消息报文设置3个状态：初始、已交换、已完成，基于报文状态进行报文传输闭环控制算法，保证数据能够进行可靠的交换。

Claims (8)

1.一种跨网环境下数据交换系统，其包括：发送端、接收端、摆渡机，所述发送端连接发送端第三方系统，所述接收端连接接收端第三方系统，所述发送端第三方系统、所述接收端第三方系统是被物理隔绝的第三方系统；
其特征在于：
所述发送端、所述接收端之间基于消息报文进行通信，交换的所述消息报文的报文类型包括：发送消息报文、接收消息报文、回执消息报文；
所述发送端包括：数据接收服务、批处理服务；
所述数据接收服务：接收所述发送端第三方系统的数据交换请求，缓存所述发送端第三方系统的发送端数据；生成发送消息报文，放入消息队列；
所述批处理服务：从所述消息队列中批量读取所述发送消息报文，加密并打包所述发送消息报文对应的所述发送端数据，生成待交换数据的数据包；
所述接收端包括：批处理服务、数据发送服务和反馈服务；
所述批处理服务：批量从所述摆渡机读取摆渡文件，并基于所述摆渡文件生成所述接收消息报文；将所述接收消息报文存入数据接收报文队列，等待其他线程消费；
所述数据发送服务：解析所述接收消息报文的数据，从摆渡机读取数据作为待发送数据，发送到所述接收端第三方系统；
数据反馈服务：当所述待发送数据发送成功时，生成所述回执消息报文，并将所述回执消息报文写入所述摆渡机。
2.根据权利要求1所述一种跨网环境下数据交换系统，其特征在于：所述数据接收服务中，如果所述发送端数据为非关系型数据，则将数据缓存到非关系型数据库中，对应的发送消息报文缓存到关系型数据库；
如果所述发送端数据为关系型数据，则将数据和对应的发送消息报文都缓存到关系型数据库中；
所述批处理服务在关系型数据库中读取报文之后，判断报文对应的所述发送端数据的类型，如果所述发送端数据为非关系型数据，则还要去非关系型数据库中读取对应的所述发送端数据。
3.根据权利要求1所述一种跨网环境下数据交换系统，其特征在于：所述消息报文的报文协议包括：报文结构、报文签名；
所述报文结构包括：报文类型，报文版本号、报文序号、报文加密类型、报文压缩类型、报文数据；
所述报文类型表示报文消息的类型，包括：发送消息、接收消息、回执消息；
所述报文版本号：表示报文版本号；
所述报文序号：表示报文的唯一编号；
所述报文加密类型：表示报文内容的加密类型；
所述报文压缩类型：表示报文消息的压缩类型；
所述报文数据：表示具体的数据；
所述报文签名：报文数据的签名。
4.根据权利要求1所述一种跨网环境下数据交换系统，其特征在于：所述发送消息报文的状态包括：初始、已交换、已完成；
初始：已经接收到数据，但是还未处理；
已交换：处理接收到的数据，并把数据包成功写入摆渡机；
已完成：所述接收端收到数据，并生成回执消息，表示数据已经成功地交换到所述发送端。
5.根据权利要求3所述一种跨网环境下数据交换系统，其特征在于：所述报文版本号实现系统兼容不同的版本，在系统升级之后，如果有关键数据结构改动，通过升级报文版本进行兼容。
6.一种跨网环境下数据交换方法，其特征在于，其包括：交换控制方法、交换监控方法；
所述交换控制方法包括以下步骤：
a1：发送端的数据接收服务接收发送端第三方系统的数据传输请求，保存所述发送端第三方系统的传输过来的发送端数据，生成发送消息报文，此时所述发送消息报文的状态处于初始状态；
a2：发送端的批处理服务批量读取所述发送消息报文，获取所述发送消息报文对应的所述发送端数据，加密并打包，生成待交换数据的数据包，并写入摆渡机，此时所述发送消息报文的状态为：已交换状态；
a3：接收端的批处理服务从所述摆渡机批量读取摆渡文件，并生成接收消息报文，将所述接收消息报文存入数据接收报文队列，等待其他线程消费；
a4：接收端的数据发送服务从所述数据接收报文队列读取所述接收消息报文的数据，并解析报文，从摆渡机读取对应数据作为待发送数据，发送到所述接收端第三方系统；
a5：接收端第三方系统成功收到数据后，数据反馈服务生成回执消息报文，并写入所述摆渡机；
发送端的批处理服务接收并处理回执消息，此时数据处于已完成状态；
所述交换监控方法为：设置发送端监控指标、接收端监控指标；
所述发送端监控指标包括：
接口调用监控：实时统计每分钟接口调用次数，收到的待交换数据的数据量，实时监控每分钟、每小时、每日、每月接口调用趋势；
待交换数据的数据量监控：按照所述接收发送端第三方系统分通道，分别监控来自每个接收发送端第三方系统的所述待交换数据的数据量；
数据交换状态监控：按照发送消息报文的状态分别统计交换数据包情况，实时监控每个数据包状态变化；
所述接收端监控指标包括：
待发送数据包的数据量监控：实时监控收到的所述待发送数据的数据包数量，并分析每分钟、每小时、每天变化趋势；
数据转发情况监控：实时监控数据转发到所有的所述接收端第三方系统的接收结果，统计总的接收成功率。
7.根据权利要求6所述一种跨网环境下数据交换方法，其特征在于：其还包括交换运行可靠性方法，所述交换运行可靠性方法包括：重试机制和熔断机制；
所述重试机制包括：
发送端：预设消息重置时间阈值M1、消息重发时间阈值M2；
c1：发送消息报文如果在M1分钟后还是初始状态，会把该消息再次加入消息队列；
c2：发送消息报文如果在M2分钟后还是已交换状态，会再次重发消息对应的数据包；
接收端：预设消息再处理施加阈值M3；
接收消息报文如果在M3分钟之内未被处理，会再次加入待处理消息队列；
所述熔断机制包括：
d1：预设熔断数据量阈值N1、熔断时间阈值N2、熔断成功率阈值N3、服务再开时间阈值N4；
d2：所述发送端实时监控自身与所述摆渡机之间对数据的处理能力，
如果接口调用监控实时监测到的收到的所述待交换数据的数据量超过N1，同时N2分钟内交换成功率低于N3，则停止写入交换文件到所述摆渡机；
d3：等待N4分钟后，所述发送端重新评估所述待交换文件的数据量和交换成功率；
如果N2分钟内交换成功率大于等于N3，则恢复交换。
8.根据权利要求7所述一种跨网环境下数据交换方法，其特征在于：所述交换运行可靠性方法中：
所述消息重置时间阈值M1取值为15分钟；
所述消息重发时间阈值M2取值为2小时；
所述熔断数据量阈值N1取值为10000；
所述熔断时间阈值N2取值为15分钟；
所述熔断成功率阈值N3取值为0.6；
所述服务再开时间阈值N4取值为15分钟。
CN202110943406.3A 2021-08-17 2021-08-17 一种跨网环境下数据交换系统及方法 Active CN113645248B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110943406.3A CN113645248B (zh) 2021-08-17 2021-08-17 一种跨网环境下数据交换系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110943406.3A CN113645248B (zh) 2021-08-17 2021-08-17 一种跨网环境下数据交换系统及方法

Publications (2)

Publication Number Publication Date
CN113645248A true CN113645248A (zh) 2021-11-12
CN113645248B CN113645248B (zh) 2023-02-28

Family

ID=78422578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110943406.3A Active CN113645248B (zh) 2021-08-17 2021-08-17 一种跨网环境下数据交换系统及方法

Country Status (1)

Country Link
CN (1) CN113645248B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113918999A (zh) * 2021-12-15 2022-01-11 天津联想协同科技有限公司 安全摆渡通道的建立方法、装置、网盘及存储介质
CN117714218A (zh) * 2024-02-06 2024-03-15 成方金融科技有限公司 跨网络服务调用方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101697536A (zh) * 2009-10-16 2010-04-21 深圳市科陆电子科技股份有限公司 穿透正向物理隔离装置大数据量实时传输的方法
WO2010123475A1 (en) * 2009-04-23 2010-10-28 United Parcel Service Of America, Inc. Methods and systems for monitoring message oriented middleware systems
CN104363221A (zh) * 2014-11-10 2015-02-18 青岛微智慧信息有限公司 一种网络安全隔离文件传输控制方法
CN107454186A (zh) * 2017-08-24 2017-12-08 国网浙江省电力公司衢州供电公司 一种基于消息队列的数据安全传输方法
WO2018072715A1 (zh) * 2016-10-19 2018-04-26 北京豆荚科技有限公司 通信系统和电子设备
CN108306847A (zh) * 2017-01-13 2018-07-20 北京国双科技有限公司 通信系统及方法
US20190156301A1 (en) * 2017-11-22 2019-05-23 Cornell University Real-time cryptocurrency exchange using trusted hardware
CN111741017A (zh) * 2020-07-23 2020-10-02 平安国际智慧城市科技股份有限公司 内外网之间的数据传输方法及相关设备
CN112073536A (zh) * 2020-09-21 2020-12-11 福建威盾科技集团有限公司 一种实现不能直接互访网络之间安全传递处理数据的方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010123475A1 (en) * 2009-04-23 2010-10-28 United Parcel Service Of America, Inc. Methods and systems for monitoring message oriented middleware systems
CN101697536A (zh) * 2009-10-16 2010-04-21 深圳市科陆电子科技股份有限公司 穿透正向物理隔离装置大数据量实时传输的方法
CN104363221A (zh) * 2014-11-10 2015-02-18 青岛微智慧信息有限公司 一种网络安全隔离文件传输控制方法
WO2018072715A1 (zh) * 2016-10-19 2018-04-26 北京豆荚科技有限公司 通信系统和电子设备
CN108306847A (zh) * 2017-01-13 2018-07-20 北京国双科技有限公司 通信系统及方法
CN107454186A (zh) * 2017-08-24 2017-12-08 国网浙江省电力公司衢州供电公司 一种基于消息队列的数据安全传输方法
US20190156301A1 (en) * 2017-11-22 2019-05-23 Cornell University Real-time cryptocurrency exchange using trusted hardware
CN111741017A (zh) * 2020-07-23 2020-10-02 平安国际智慧城市科技股份有限公司 内外网之间的数据传输方法及相关设备
CN112073536A (zh) * 2020-09-21 2020-12-11 福建威盾科技集团有限公司 一种实现不能直接互访网络之间安全传递处理数据的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
廖楷炜;伍健勇;蒋海平;王季光;: "公安信息网与互联网数据双向安全交换研究", 《广东公安科技》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113918999A (zh) * 2021-12-15 2022-01-11 天津联想协同科技有限公司 安全摆渡通道的建立方法、装置、网盘及存储介质
CN113918999B (zh) * 2021-12-15 2022-02-22 天津联想协同科技有限公司 安全摆渡通道的建立方法、装置、网盘及存储介质
CN117714218A (zh) * 2024-02-06 2024-03-15 成方金融科技有限公司 跨网络服务调用方法及装置
CN117714218B (zh) * 2024-02-06 2024-07-05 成方金融科技有限公司 跨网络服务调用方法及装置

Also Published As

Publication number Publication date
CN113645248B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
CN108200544B (zh) 短信下发方法和短信平台
CN113645248B (zh) 一种跨网环境下数据交换系统及方法
US20040235523A1 (en) System for replicating data of a mobile station
US11251898B2 (en) Device and method for the unidirectional transmission of data
CN101111832B (zh) 用于向服务器提供客户机标识信息的系统和方法
CN100433735C (zh) 通信系统
EP0464014A2 (en) Communications systems using a fault tolerant protocol
EP2677440A2 (en) Method and apparatus for separating in order to upgrade software remotely in m2m communication
AU2002238720A1 (en) Data Storage System
US8886702B2 (en) Hardware triggering in a management system
CN110808948B (zh) 远程过程调用方法、装置及系统
CN104580158A (zh) 一种分布式平台文件与内容分发方法及系统
KR101702047B1 (ko) 통신 레코딩
CN103259797A (zh) 数据文件传输方法及平台
CN103546427B (zh) 一种实现加密机应用的高可用性的方法和系统
CN114816785A (zh) 业务数据处理方法、装置、电子设备及存储介质
CN104821889B (zh) 一种备份报文的处理方法和设备
EP2912599B9 (en) Device monitoring using multiple servers optimized for different types of communications
CN112055088A (zh) 一种基于光闸的文件可靠传输系统及其方法
CN104753774A (zh) 一种分布式企业综合接入网关
CN114143278B (zh) 核心系统支持外围系统国密升级的报文处理方法及服务器
CN110535743B (zh) 一种数据包的处理方法、装置、存储介质及电子装置
KR20130141371A (ko) ｅＵＩＣＣ 환경에서 프로파일을 백업하고 복원하는 방법 및 장치
CN112769926A (zh) 一种物联网中心、系统和通信方法
CN102439959A (zh) 通信装置和通信方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant