CN110912669A - 一种基于文件流和数据流的双通道数据传输方法 - Google Patents
一种基于文件流和数据流的双通道数据传输方法 Download PDFInfo
- Publication number
- CN110912669A CN110912669A CN201911117575.0A CN201911117575A CN110912669A CN 110912669 A CN110912669 A CN 110912669A CN 201911117575 A CN201911117575 A CN 201911117575A CN 110912669 A CN110912669 A CN 110912669A
- Authority
- CN
- China
- Prior art keywords
- data
- channel
- information
- unit
- bytes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L5/00—Arrangements affording multiple use of the transmission path
- H04L5/0091—Signaling for the administration of the divided path
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L5/00—Arrangements affording multiple use of the transmission path
- H04L5/003—Arrangements for allocating sub-channels of the transmission path
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于文件流和数据流的双通道数据传输方法，包括以下步骤：自助设备终端的数据通过客户端通道和接口通道分别以文件流和数据流的方式将要上传的数据上传到接收服务器；接收服务器通过网络间的摆渡通道，分别以文件流及块数据流两种方式将数据摆渡到对端网络服务器；对端网络服务器接收到数据后，进行数据还原比对，如数据比对不一致则生产缺失信息流，通过命令方式下发到缺失信息的目标自助设备终端对缺失数据再次通过客户端通道和接口通道进行上传；如数据比对一致，剔除冗余数据，得到完整的目标数据。本发明采用文件流及数据流的双通道方式进行网络间的数据传递，彻底解决了数据传递过程中丢失问题，提高了信息交互的可靠性。
Description
技术领域
本发明涉及信息技术领域，特别是一种数据传输方法。
背景技术
近年来，随着信息化的日益发展，以及国家“互联网+”发展战略实施，先 进的信息化技术手段已融入各种行业。公安、市政、银行等行业利用信息技术 及联网技术，推行便民化服务，落实大量的、无人值守的智能自助终端。
国家安全是各项工作必须首要保障的，网络信息安全又是重中之重。公安、 银行等特定行业的网络建设一般采用专网建设，和他其网络间进行数据交互有 较高的隔离性与单向性，需要数据交互时采用特殊的边界设备，进行极低数据 量的回馈式交互。而无论是公安、银行等特定行业，还是其他行业中，随着人 工智能的快速发展，也逐渐部署了大量的前端智能自助设备，方便人们的业务 办理。这些智能自助设备的各种信息日志都需要汇总到统一的设备运维管理平 台，以便进行各项安全风险分析、评估、研判，以及设备维护。
传统的数据交互一般采用TCP/IP传输方式，通过增加一定的数据校验来保 障数据的完整性，但是对于网络间强物理隔离，且具备向一个方向大量数据传 递、反方向小数据回馈特征的网络，TCP/IP方式极易出现数据丢失问题；同时 这种信息通过隔离设备进行单通道传输时，传输速度上也存在一定的限制瓶颈。
发明内容
本发明需要解决的技术问题是提供一种数据传输方法，以解决自助设备在 信息汇总到运维平台部署网络过程中数据的丢失问题。
为解决上述技术问题，本发明所采取的技术方案如下。
一种基于文件流和数据流的双通道数据传输方法，该方法是基于自助设备 终端和接收服务器之间的数据传输，具体包括以下步骤：
A.自助设备终端的数据通过客户端通道和接口通道分别以文件流和数据流 的方式将要上传的数据上传到接收服务器；
B.接收服务器通过网络间的摆渡通道，分别以文件流及块数据流两种方式 将数据摆渡到对端网络服务器；
C.对端网络服务器接收到数据后，分别进行数据还原比对，如数据比对不 一致则生产缺失信息流，通过命令方式下发到缺失信息的目标自助设备终端对 缺失数据再次通过客户端通道和接口通道进行上传；如数据比对一致，以数据 流为主，剔除冗余数据，得到完整的目标数据。
上述一种基于文件流和数据流的双通道数据传输方法，步骤A中数据传输 前的处理方法如下：
A1.首先，对每个自助设备终端均按照设备编码规则设定一个32字节的唯 一设备编码字符串；
A2.将需要传输的信息按照1456字节为一个单元分割打包，单元序号从1 开始编号，每个分片序号按1递增；每个单元头部由4字节单元序号、8字节信 息内容代号、4字节信息总长度、32字节设备编码、4字节单元数据长度和4字 节单元数据CRC校验值组成；
A3.信息生成时对信息进行编号，形成八字节信息内容代号，其中前四字节 为该信息生成时的绝对秒，后四字节为当日信息生成的流水号；
A4.实际信息数据装载于头部52字节之后的数据区，数据区总长度1400字 节；每个单元的实际数据长度由头部4字节单元数据长度确定,实际信息用CRC 校验值来进行校验。
上述一种基于文件流和数据流的双通道数据传输方法，步骤C中的数据还 原的方法为：对端网络服务器根据单元序号进行数据内容组装，组装总长度与4 字节信息总长度相等则数据完整。
上述一种基于文件流和数据流的双通道数据传输方法，对端网络服务器进 行数据组装时以文件流通道为主，当发生数据单元丢失，则从数据流单元提取 对应数据块组装；如果数据流对应单元块也缺失，则按照下特定协议构建短数 据重传消息的命令，并通过网络边界发回数据上传端网络，然后下发到缺失信 息的目标自助设备终端；目标自助设备终端根据缺失的单元序号使用文件流和 数据流通道对缺失数据单元重新上传。
上述一种基于文件流和数据流的双通道数据传输方法，所述特定协议的命 令格式为4字节数据长度、8字节信息内容代号、32字节设备编号、4字节单元 数据长度、4字节单元数据CRC校验值和4字节缺失数据单元序号。
由于采用了以上技术方案，本发明所取得技术进步如下。
本发明采用文件流及数据流的双通道方式进行网络间的数据传递，通过两 路途径冗余传递，在数据汇总后进行数据完整性的验证，对丢失的数据进行双 通道再次上传，彻底解决了数据传递过程中丢失问题，提高了信息交互的可靠 性。
具体实施方式
下面将结合具体实施例对本发明进行进一步详细说明。
一种基于文件流和数据流的双通道数据传输方法，该方法是基于自助设备 终端和接收服务器之间的数据传输，具体包括以下步骤。
A.自助设备终端的数据通过客户端通道和接口通道分别以文件流和数据流 的方式将要上传的数据上传到接收服务器。
数据上传前，需要对数据进行处理，处理方法如下。
A1.首先，对每个自助设备终端均按照设备编码规则设定一个32字节的唯 一设备编码字符串；
A2.将需要传输的信息按照1456字节为一个单元分割打包，单元序号从1 开始编号，每个分片序号按1递增；每个单元头部由4字节单元序号、8字节信 息内容代号、4字节信息总长度、32字节设备编码、4字节单元数据长度和4字 节单元数据CRC校验值组成；
A3.信息生成时对信息进行编号，形成八字节信息内容代号，其中前四字节 为该信息生成时的绝对秒，后四字节为当日信息生成的流水号；
A4.实际信息数据装载于头部56字节之后的数据区，数据区总长度1400字 节；每个单元的实际数据长度由头部4字节单元数据长度确定,实际信息用CRC 校验值来进行校验。
B.接收服务器通过网络间的摆渡通道，分别以文件流及块数据流两种方式将 数据摆渡到对端网络服务器。
C.对端网络服务器接收到数据后，分别进行数据还原比对，如数据比对不一 致则生产缺失信息流，通过命令方式下发到缺失信息的目标自助设备终端对缺 失数据再次通过客户端通道和接口通道进行上传；如数据比对一致，如数据比 对一致，以数据流为主，剔除文件流的冗余数据，得到完整的目标数据。
本步骤中，数据还原的方法为：对端网络服务器根据单元序号进行数据内 容组装，组装总长度与4字节信息总长度相等则数据完整。组装步骤为：4字节 单元序号+8字节信息内容代号+4字节信息总长度+32字节设备编码+4字节单元 数据长度+4字节单元数据+数据区总长度1400字节，共计1456字节为一个单元
对端网络服务器进行数据组装时，以文件流通道为主，当发生数据单元丢 失，则从数据流单元提取对应数据块组装；如果数据流对应单元块也缺失，则 按照下特定协议构建短数据重传消息的命令，并通过网络边界发回数据上传端 网络，然后下发到缺失信息的目标自助设备终端；上述特定协议的命令格式为4 字节数据长度、8字节信息内容代号、32字节设备编号、4字节单元数据长度、 4字节单元数据CRC校验值和4字节缺失数据单元序号。
目标自助设备终端根据缺失的单元序号，使用文件流和数据流通道对缺失 数据单元重新上传，从而可靠保证了数据传输的完整性。
Claims (5)
1.一种基于文件流和数据流的双通道数据传输方法，该方法是基于自助设备终端和接收服务器之间的数据传输，其特征在于，具体包括以下步骤：
A.自助设备终端的数据通过客户端通道和接口通道分别以文件流和数据流的方式将要上传的数据上传到接收服务器；
B.接收服务器通过网络间的摆渡通道，分别以文件流及块数据流两种方式将数据摆渡到对端网络服务器；
C.对端网络服务器接收到数据后，分别进行数据还原比对，如数据比对不一致则生产缺失信息流，通过命令方式下发到缺失信息的目标自助设备终端对缺失数据再次通过客户端通道和接口通道进行上传；如数据比对一致，以数据流为主，剔除文件流的冗余数据，得到完整的目标数据。
2.根据权利要求1所述的一种基于文件流和数据流的双通道数据传输方法，其特征在于，步骤A中数据传输前的处理方法如下：
A1.首先，对每个自助设备终端均按照设备编码规则设定一个32字节的唯一设备编码字符串；
A2.将需要传输的信息按照1456字节为一个单元分割打包，单元序号从1开始编号，每个分片序号按1递增；每个单元头部由4字节单元序号、8字节信息内容代号、4字节信息总长度、32字节设备编码、4字节单元数据长度和4字节单元数据CRC校验值组成；
A3.信息生成时对信息进行编号，形成八字节信息内容代号，其中前四字节为该信息生成时的绝对秒，后四字节为当日信息生成的流水号；
A4.实际信息数据装载于头部56字节之后的数据区，数据区总长度1400字节；每个单元的实际数据长度由头部4字节单元数据长度确定,实际信息用CRC校验值来进行校验。
3.根据权利要求2所述的一种基于文件流和数据流的双通道数据传输方法，其特征在于，步骤C中的数据还原的方法为：对端网络服务器根据单元序号进行数据内容组装，组装总长度与4字节信息总长度相等则数据完整。
4.根据权利要求3所述的一种基于文件流和数据流的双通道数据传输方法，其特征在于，对端网络服务器进行数据组装时以文件流通道为主，当发生数据单元丢失，则从数据流单元提取对应数据块组装；如果数据流对应单元块也缺失，则按照下特定协议构建短数据重传消息的命令，并通过网络边界发回数据上传端网络，然后下发到缺失信息的目标自助设备终端；目标自助设备终端根据缺失的单元序号使用文件流和数据流通道对缺失数据单元重新上传。
5.根据权利要求4所述的一种基于文件流和数据流的双通道数据传输方法，其特征在于，所述特定协议的命令格式为4字节数据长度、8字节信息内容代号、32字节设备编号、4字节单元数据长度、4字节单元数据CRC校验值和4字节缺失数据单元序号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911117575.0A CN110912669A (zh) | 2019-11-15 | 2019-11-15 | 一种基于文件流和数据流的双通道数据传输方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911117575.0A CN110912669A (zh) | 2019-11-15 | 2019-11-15 | 一种基于文件流和数据流的双通道数据传输方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110912669A true CN110912669A (zh) | 2020-03-24 |
Family
ID=69817625
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911117575.0A Pending CN110912669A (zh) | 2019-11-15 | 2019-11-15 | 一种基于文件流和数据流的双通道数据传输方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110912669A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112491513A (zh) * | 2020-11-13 | 2021-03-12 | 北京经纬恒润科技股份有限公司 | 一种spi通信方法、装置及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070087690A1 (en) * | 2001-09-14 | 2007-04-19 | Atc Technologies, Llc | Additional aggregate radiated power control for multi-band/multi-mode satellite radiotelephone communications systems and methods |
| CN101902479A (zh) * | 2010-08-05 | 2010-12-01 | 华东电网有限公司 | 网络隔离系统及其数据传输方法 |
| CN103546455A (zh) * | 2013-09-16 | 2014-01-29 | 北京电视台 | 一种传输链路的调度方法和系统 |
| CN104285425A (zh) * | 2012-05-15 | 2015-01-14 | 高通股份有限公司 | 通过经由多个信道进行服务来限制故障率的方法、系统和装置 |
| CN108769726A (zh) * | 2018-06-14 | 2018-11-06 | 腾讯科技（深圳）有限公司 | 多媒体数据推送方法、装置、存储介质及设备 |
| CN109698837A (zh) * | 2019-02-01 | 2019-04-30 | 重庆邮电大学 | 一种基于单向传输物理介质的内外网隔离与数据交换装置及方法 |
| CN110460599A (zh) * | 2019-08-13 | 2019-11-15 | 常州华龙通信科技股份有限公司 | 基于多级缓存及主备机制实现单向传输方法 |
-
2019
- 2019-11-15 CN CN201911117575.0A patent/CN110912669A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070087690A1 (en) * | 2001-09-14 | 2007-04-19 | Atc Technologies, Llc | Additional aggregate radiated power control for multi-band/multi-mode satellite radiotelephone communications systems and methods |
| CN101902479A (zh) * | 2010-08-05 | 2010-12-01 | 华东电网有限公司 | 网络隔离系统及其数据传输方法 |
| CN104285425A (zh) * | 2012-05-15 | 2015-01-14 | 高通股份有限公司 | 通过经由多个信道进行服务来限制故障率的方法、系统和装置 |
| CN103546455A (zh) * | 2013-09-16 | 2014-01-29 | 北京电视台 | 一种传输链路的调度方法和系统 |
| CN108769726A (zh) * | 2018-06-14 | 2018-11-06 | 腾讯科技（深圳）有限公司 | 多媒体数据推送方法、装置、存储介质及设备 |
| CN109698837A (zh) * | 2019-02-01 | 2019-04-30 | 重庆邮电大学 | 一种基于单向传输物理介质的内外网隔离与数据交换装置及方法 |
| CN110460599A (zh) * | 2019-08-13 | 2019-11-15 | 常州华龙通信科技股份有限公司 | 基于多级缓存及主备机制实现单向传输方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112491513A (zh) * | 2020-11-13 | 2021-03-12 | 北京经纬恒润科技股份有限公司 | 一种spi通信方法、装置及系统 |
| CN112491513B (zh) * | 2020-11-13 | 2023-06-16 | 北京经纬恒润科技股份有限公司 | 一种spi通信方法、装置及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101663867B (zh) | 在维持端点到端点认证的同时压缩数据分组 | |
| KR101649374B1 (ko) | 가속화된 처리율을 달성하는 시스템 및 방법 | |
| CN106850188B (zh) | 一种基于多路异构单向传输通道的数据传输系统 | |
| CN111083161A (zh) | 数据传输的处理方法及装置、物联网设备 | |
| CN109818930B (zh) | 一种基于tcp协议的通讯文本数据传输方法 | |
| CN105763317B (zh) | 基于BitTorrent协议Have消息的秘密信息传输方法 | |
| CN108645450B (zh) | 一种智慧城市环保系统 | |
| CN103428227B (zh) | 基于Huffman编码的IP隐秘通信方法 | |
| JP2004096738A (ja) | ヘッダ圧縮／復元装置及びヘッダ圧縮／復元方法 | |
| CN103916483A (zh) | 一种针对编码冗余存储系统的自适应数据存储与重构方法 | |
| CN109547467A (zh) | 媒体数据纠错传输及纠错方法、装置、设备及存储介质 | |
| CN110086850B (zh) | 一种文件的处理方法和视联网网盘系统 | |
| CN101453463B (zh) | 一种移动多媒体广播系统的数据包封装、发送和接收方法 | |
| US9313291B2 (en) | Systems and methods for transparent communication with bandwidth conservation and HTTP caching | |
| CN107508828B (zh) | 一种超远程数据交互系统及方法 | |
| CN110912669A (zh) | 一种基于文件流和数据流的双通道数据传输方法 | |
| CN108894915B (zh) | 一种风力发电远程监控系统及其工作方法 | |
| CN113746605B (zh) | 可靠的工业数据流的传输方法 | |
| WO2015101152A1 (zh) | 基于dfa的http分块传输编码的传输载荷提取方法 | |
| CN202160197U (zh) | 一种基于广域网vpn加速网关的加速通信装置 | |
| CN111273998A (zh) | 一种基于喷泉码与网络编码的虚拟机动态迁移方法及系统 | |
| CN117768131A (zh) | 一种工业控制系统网络边界的单向隔离方法 | |
| CN112637703B (zh) | 一种web端实时对讲系统及对讲方法 | |
| CN108881258B (zh) | 一种用于网络文件安全传输的智能系统 | |
| CN111050134A (zh) | 一种基于多通道冗余的高容错无反馈链路影像传输方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200324 |
|
| RJ01 | Rejection of invention patent application after publication |