CN109474594A - 船端数据轻量化装置、岸端数据还原装置、船岸一体化数据轻量化传输系统及传输方法 - Google Patents
船端数据轻量化装置、岸端数据还原装置、船岸一体化数据轻量化传输系统及传输方法 Download PDFInfo
- Publication number
- CN109474594A CN109474594A CN201811334330.9A CN201811334330A CN109474594A CN 109474594 A CN109474594 A CN 109474594A CN 201811334330 A CN201811334330 A CN 201811334330A CN 109474594 A CN109474594 A CN 109474594A
- Authority
- CN
- China
- Prior art keywords
- end data
- ship end
- ship
- data
- slice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
- H04L9/0618—Block ciphers, i.e. encrypting groups of characters of a plain text message using fixed encryption transformation
- H04L9/0631—Substitution permutation network [SPN], i.e. cipher composed of a number of stages or rounds each involving linear and nonlinear transformations, e.g. AES algorithms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
- H04L9/0618—Block ciphers, i.e. encrypting groups of characters of a plain text message using fixed encryption transformation
- H04L9/0637—Modes of operation, e.g. cipher block chaining [CBC], electronic codebook [ECB] or Galois/counter mode [GCM]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明涉及一种船端数据轻量化装置、岸端数据还原装置、船岸一体化数据轻量化传输系统及传输方法,该船端数据轻量化装置,包括:模型化船端数据计算模块,用于接收多种船端数据,并根据船端数据计算模型对多种船端数据进行计算,生成模型化船端数据;船端数据切片计算模块,用于将预定时间内各时刻的模型化船端数据融合为船端数据切片;船端数据压缩模块,用于对相邻两时刻的船端数据切片进行差异运算,计算得到船端数据差异切片,对船端数据差异切片进行压缩,得到船端数据压缩包。本发明利用“数据轻量化”,只传输轻量化之后的发生变化的数据,降低实际需要传输的数据量,以大幅度降低通信费用。
Description
技术领域
本发明涉及船岸一体化数据传输技术领域,尤其涉及一种船端数据轻量化装置、岸端数据还原装置、船岸一体化数据轻量化传输系统及传输方法。
背景技术
随着计算机、网络、通信、新能源、物联网、大数据、人工智能等现代科学技术的发展和应用,船舶自动化、控制以及通信导航等电气系统也正朝着分布型、网络型和智能型的方向发展,船舶智能化水平快速提升,开发智能船舶已具备了技术可行性,大大推进了船舶智能化的进程。
智能船技术需求明确要将船和岸通过网络结合在一起,将船上的所有感知数据发送到岸基平台;而岸基结合了大数据分析技术后,在航线和航速优化,辅助驾驶与避碰,保障支持和运营管理等方面发挥作用。连续的船舶数据搜集,可以在岸基构筑一套虚拟的数字船,连续跟踪和分析船舶运行状态,对未来航行过程作出预判,给出辅助决策。
因此,船岸之间的持续的数据通信是实现并充分发挥智能船完整功能的最基本保障条件。受限于船舶采用通信卫星段,船岸之间庞大的数据交互量将造成较高的成本费用。分析项目需求,以散货船为例,监测船舶主机、辅机等设备运行的传感器每天可能产生的数据量超过 300MB。采用传统数据无损压缩技术,数据压缩率可能达到4-10,即压缩后的数据量可能变为30-75MB。这个数据量对于采用卫星通信来说,其费用还是很高(海事卫星通信费率大致为9$/MB)。
由于海事卫星传输费用高昂,但又需要通过船岸之间的数据交换跟踪和监控船只,方便船只的管理。结合船舶航行的实际情况,需要传输的数据包括船舶的航行数据、机舱数据、气象数据、洋流数据等。船岸间通讯的网络带宽是限制船岸一体化的主要原因之一,同时通讯的经济成本和数据安全也是现实的必要考量。因此,如何减少传输过程中数据量,以及怎样保证传输数据的完整性是亟待解决的问题。
因此,提供一种船端数据轻量化装置、岸端数据还原装置、船岸一体化数据轻量化传输系统及传输方法。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的船端数据轻量化装置、岸端数据还原装置、船岸一体化数据轻量化传输系统及传输方法,利用船端动态数据模型化技术,将大量的原始数据按照预定模型进行变换,获得模型的状态或数据,提取该模型的特征或变化,在岸端按照同样的模型进行无损重构,实现“数据轻量化”,只传输轻量化之后的发生变化的数据,解决智能船在实船演示示范过程中船岸之间较大数据量传输带来的高昂通信成本。
根据本发明的一个方面,提供一种船端数据轻量化装置,包括:
模型化船端数据计算模块,用于接收不同类型的船端数据,并根据船端数据计算模型对不同类型的船端数据进行计算,生成模型化船端数据;
船端数据切片计算模块,用于根据时间顺序对模型化船端数据进行切片化处理,得到船端数据切片;
船端数据压缩模块,用于对相邻两船端数据切片进行差异运算,计算得到船端数据差异切片,对船端数据差异切片进行压缩,得到船端数据压缩包。
进一步地,各船端数据切片通过预定时间内各时刻的模型化船端数据融合而成。
进一步地,预定时间的设定根据船端数据的误差范围和船端数据的数据采集完整性确定。
进一步地,模型化船端数据为二维矩阵时,通过以下公式计算船端数据差异切片:
B(t[n+1])=A(t[n+1])⊕A(t[n])
其中,A(t)为船端数据切片,B(t)为船端数据差异切片,⊕为异或运算符,n≥1。
根据本发明的另一方面,提供一种岸端数据还原装置,用于接收上述船端数据轻量化装置发送的船端数据压缩包,包括:
船端数据解压模块,用于接收并对船端数据压缩包进行解压,得到船端数据差异切片;
船端数据切片还原模块,用于根据船端数据差异切片和预存的原始船端数据切片计算船端数据切片;
船端数据提取模块,用于根据船端数据计算模型从船端数据切片中提取船端数据。
进一步地,各船端数据切片是通过预定时间内各时刻的模型化船端数据融合而成的。
根据本发明的又一方面,提供一种船岸一体化数据轻量化传输系统,包括:
上述船端数据轻量化装置和上述岸端数据还原装置。
进一步地,船端数据轻量化装置还包括船端数据加密模块,岸端数据还原装置还包括岸端数据解密模块,
船端数据加密模块,用于根据加密密钥对待发送的船端数据压缩包进行加密;
岸端数据解密模块,用于根据解密密钥对接收的船端数据压缩包进行解密。
根据本发明的还一方面,提供一种基于上述系统实现的船岸一体化数据轻量化传输方法,包括以下步骤:
接收并根据船端数据计算模型对不同类型的船端数据进行计算,生成模型化船端数据,根据时间顺序对模型化船端数据进行切片化处理,得到船端数据切片,对相邻两船端数据切片进行差异运算,计算得到船端数据差异切片,对船端数据差异切片进行压缩,得到船端数据压缩包,发送至岸端数据还原装置;
接收并对船端数据压缩包进行解压,得到船端数据差异切片,根据船端数据差异切片和预存的原始船端数据切片计算船端数据切片,根据船端数据计算模型从船端数据切片中提取船端数据。
进一步地,在船端数据压缩包发送至岸端数据还原装置之前,还包括:根据加密密钥对待发送的船端数据压缩包进行加密;
对船端数据压缩包进行解压之前,还包括:根据解密密钥对接收的船端数据压缩包进行解密。
本发明与现有技术相比具有以下的优点:
1.本发明的船端数据轻量化装置、岸端数据还原装置、船岸一体化数据轻量化传输系统及传输方法,利用船端动态数据模型化技术,将大量的原始数据按照预定模型进行变换,获得模型的状态或数据,提取该模型的特征或变化,在岸端按照同样的模型进行无损重构,实现“数据轻量化”,只传输轻量化之后的发生变化的数据,降低实际需要传输的数据量,以大幅度降低通信费用,充分发挥项目目标,对于项目实施和推广非常重要;
2.本发明的船端数据轻量化装置、岸端数据还原装置、船岸一体化数据轻量化传输系统及传输方法,在通信信道上传输的是模型化数据,且仅仅是变化的数据,即增量,在无法获取基准数据的情况下,无法还原出模型化前的数据,而且,无法获得模型设计的情况下,无法实现无损重构,即无法破解数据,确保数据传输的安全性;
3.本发明的船端数据轻量化装置、岸端数据还原装置、船岸一体化数据轻量化传输系统及传输方法,各船端数据切片通过预定时间内各时刻的模型化船端数据融合而成,减少差异运算量并节省差异运算时间,降低差异运算成本,并提高数据传输效率;
4.本发明的船岸一体化数据轻量化传输系统及传输方法对传输数据进行加解密,进一步提高数据传输的安全性和完整性。
附图说明
以下结合附图和实施例对本发明作进一步说明。
图1是本发明的船端数据轻量化装置框图;
图2是本发明的岸端数据还原装置框图;
图3是本发明的船岸一体化数据轻量化传输系统框图;
图4是本发明的船岸一体化数据轻量化传输方法步骤图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非被特定定义,否则不会用理想化或过于正式的含义来解释。
本发明利用船岸之间进行轻量化数据传输的技术,对船端动态数据经模型化之后的数据进行无损轻量化处理,经过轻量化处理的数据,需要在接收到进行轻量化处理的逆过程以重构原始的模型化数据,进而恢复原始发送的数据,实现船岸之间的信息传输,其中,无损轻量化处理采用数据差异切片,大部分的数据在差异切片中的数值为0,对数据差异切片进行压缩可以极大提高压缩比率,减少数据传输量,降低了数据传输的费用,并且,在数据安全性方面,使用密码技术提供传输数据的完整性保护。
图1是本发明的船端数据轻量化装置框图,如图1所示,本发明提供的船端数据轻量化装置,包括:
模型化船端数据计算模块,用于接收不同类型的船端数据,并根据船端数据计算模型对不同类型的船端数据进行计算,生成模型化船端数据;
船端数据切片计算模块,用于根据时间顺序对模型化船端数据进行切片化处理,得到船端数据切片;
船端数据压缩模块,用于对相邻两船端数据切片进行差异运算,计算得到船端数据差异切片,对船端数据差异切片进行压缩,得到船端数据压缩包。
其中,船端数据计算模型为二维矩阵模型。模型化船端数据为二维矩阵。
本发明的船端数据轻量化装置,利用船端动态数据模型化技术,将大量的原始数据按照预定模型进行变换,获得模型的状态或数据,提取该模型的特征或变化,在岸端按照同样的模型进行无损重构,实现经数据压缩来获得最小通信传输数据的“数据轻量化”,只传输轻量化之后的发生变化的数据,降低实际需要传输的数据量,以大幅度降低通信费用,充分发挥项目目标,对于项目实施和推广非常重要。
本发明的船端数据轻量化装置,在通信信道上传输的是模型化数据,且仅仅是变化的数据,即增量,在无法获取基准数据的情况下,无法还原出模型化前的数据,而且,无法获得模型设计的情况下,无法实现无损重构,即无法破解数据,确保数据传输的安全性。
进一步地,各船端数据切片通过预定时间内各时刻的模型化船端数据融合而成。其中,预定时间的设定根据船端数据的误差范围和船端数据的数据采集完整性确定。
船端数据为低频变化数据。预定时间的设定根据船端数据的误差范围和船端数据的数据采集完整性确定,例如,当3s内能够完整地采集到所有船端数据并且在所有船端数据的误差范围,则预定时间为3s,融合3s内采集的所有船端数据。
具体地,结合船舶航行的实际情况,需要传输的船端数据包括船舶的航行数据、机舱数据、气象数据、洋流数据等,这些数据的特点是数据变化差异的数据大小一般小于完整数据的数据大小,而差异数据再经过压缩等技术手段最终在网络上传输的数据量就大大减少了,当接收端接收到某差异数据后,参照最近一次的完整数据进行差异补偿即可得到完整的最新数据,这就是信息的轻量化技术,同时由于传输差异部分的参照值只在发送端和接收端保留,所以即使某数据被截获或泄露,由于没有参照值,也是没有任何使用意义的。
本发明的船端数据轻量化装置中,各船端数据切片通过预定时间内各时刻的模型化船端数据融合而成,减少差异运算量并节省差异运算时间,降低差异运算成本,并提高数据传输效率。
船端数据轻量化装置还包括船端数据加密模块,用于根据加密密钥对待发送的船端数据压缩包进行加密.
其中,AES对称算法CBC模式进行计算加密密钥。
本发明的船端数据轻量化装置对传输数据进行加密,进一步提高数据传输的安全性和完整性。
具体地,本发明的船端数据轻量化装置工作流程如下:
1)数据切片:
为提高差异运算的效率,对某时刻的航行数据、机舱数据、洋流数据等进行数据切片。
数据切片的过程需按照以下步骤:
第一步,模型化处理,即是一种将多参数进行矩阵的表达方式处理,被模型化后的数据代表一个数据集。
第二步,时间颗粒化,即在时间顺序上,将预定时间间隔的多个模型化后的数据进行融合,形成一个数据切片,其中,融合的这段时间间隔,需根据实际工况数据的变化特点,在满足误差范围内即可。
经过以上步骤,一数据集的时间切片就处理好了。在实际应用中为保证数据的完整性,还需要对切片进行数据校验处理。
第三步,对T0、T1、T2……Tn等数据切片进行差异运算:由于T0、T1、T2……Tn等数据切片均是完整数据切片,因此,能够按照时间顺序,将前一时刻的数据切片和当前时刻的数据切片进行数学差值运算,得到差异切片。因为在船舶领域上,航行与机舱的传感器采集到数据,时间方向的变化都比较慢(即不会秒级的时间内有很大变化),因此可以确定,经过差异后的数据,是一个0多1少的稀疏矩阵。
第四步,数据压缩:将差异切片进行数据压缩,这样没有差异的部分在切片中都应该是零,而这样的数据会被大大的压缩掉,从而极大的轻量化了要传输的数据。
图2是本发明的岸端数据还原装置框图,如图2所示,本发明提供的岸端数据还原装置,包括:
用于接收上述船端数据轻量化装置发送的船端数据压缩包,包括:
船端数据解压模块,用于接收并对船端数据压缩包进行解压,得到船端数据差异切片;
船端数据切片还原模块,用于根据船端数据差异切片和预存的原始船端数据切片计算船端数据切片;
船端数据提取模块,用于根据船端数据计算模型从船端数据切片中提取船端数据。
进一步地,各船端数据切片是通过预定时间内各时刻的模型化船端数据融合而成的。
本发明的岸端数据还原装置中,各船端数据切片通过预定时间内各时刻的模型化船端数据融合而成,减少差异运算量并节省差异运算时间,降低差异运算成本,并提高数据传输效率。
本发明的岸端数据还原装置,利用船端动态数据模型化技术,将大量的原始数据按照预定模型进行变换,获得模型的状态或数据,提取该模型的特征或变化,在岸端按照同样的模型进行无损重构,实现经数据压缩来获得最小通信传输数据的“数据轻量化”,只传输轻量化之后的发生变化的数据,降低实际需要传输的数据量,以大幅度降低通信费用,充分发挥项目目标,对于项目实施和推广非常重要。
本发明的岸端数据还原装置,在通信信道上传输的是模型化数据,且仅仅是变化的数据,即增量,在无法获取基准数据的情况下,无法还原出模型化前的数据,而且,无法获得模型设计的情况下,无法实现无损重构,即无法破解数据,确保数据传输的安全性。
岸端数据还原装置还包括岸端数据解密模块,用于根据解密密钥对接收的船端数据压缩包进行解密。其中,AES对称算法CBC模式进行计算解密密钥。
本发明的岸端数据还原装置对传输数据进行解密,进一步提高数据传输的安全性和完整性。
具体地,本发明的岸端数据还原装置工作流程如下:第一步,接收到的数据经过解压,得到差异切片数据;第二步,再参照前一个时刻的完整数据切片进行差异补偿,得到当前的完整数据切片,最后再将数据从数据切片中截取出来就得到了真实的实际数据。
图3是本发明的船岸一体化数据轻量化传输系统框图,如图3所示,本发明提供的船岸一体化数据轻量化传输系统,包括:
上述船端数据轻量化装置和上述岸端数据还原装置。
本发明的船岸一体化数据轻量化传输系统,分析船岸之间动态数据网络通信需求,利用船端动态数据模型化技术,将大量的原始数据按照预定模型进行变换,获得模型的状态或数据,提取该模型的特征或变化,在岸端按照同样的模型进行无损重构,实现经数据压缩来获得最小通信传输数据的“数据轻量化”,只传输轻量化之后的发生变化的数据,降低实际需要传输的数据量,以大幅度降低通信费用,充分发挥项目目标,对于项目实施和推广非常重要。
本发明的船岸一体化数据轻量化传输系统,在通信信道上传输的是模型化数据,且仅仅是变化的数据,即增量,在无法获取基准数据的情况下,无法还原出模型化前的数据,而且,无法获得模型设计的情况下,无法实现无损重构,即无法破解数据,确保数据传输的安全性。
进一步地,各船端数据切片通过预定时间内各时刻的模型化船端数据融合而成。其中,预定时间的设定根据船端数据的误差范围和船端数据的数据采集完整性确定。
本发明的船岸一体化数据轻量化传输系统中,各船端数据切片通过预定时间内各时刻的模型化船端数据融合而成,减少差异运算量并节省差异运算时间,降低差异运算成本,并提高数据传输效率。
进一步地,船端数据轻量化装置还包括船端数据加密模块,岸端数据还原装置还包括岸端数据解密模块,
船端数据加密模块,用于根据加密密钥对待发送的船端数据压缩包进行加密;
岸端数据解密模块,用于根据解密密钥对接收的船端数据压缩包进行解密。
其中,AES对称算法CBC模式进行计算加密密钥和解密密钥。
本发明的船岸一体化数据轻量化传输系统对传输数据进行加解密,进一步提高数据传输的安全性和完整性。
具体地,本发明的船岸一体化数据轻量化传输系统通过以下工作过程减少传输过程中数据量并且保证传输数据的完整性。
一方面,为了减少传输过程中数据量进行的传输数据轻量化具体如下:
通过分析得到传输的这些数据随时间的变化是高度相关的。比如气象数据在一段时间内可能没有任何变化或者只有很小的变化。那么在任意时刻t的模型化数据表示成一个二维矩阵,记为A(t)=f(x,y,t)。差异切片矩阵记为B(t)=g(x,y,t)。任意时刻的差异切片 B(t[n+1])=A(t[n+1])⊕A(t[n])(n>=1),当f(x,y,t[n+1])=f(x,y,t[n])时,g(x,y,t[n+1])=f(x,y,t[n+1])⊕f(x,y,t[n])=0。此时B(t[n])是大部分元素为 0的一个稀疏矩阵,能大幅进行数据压缩。传输过程中,首先传输A(t1),之后只需传输差异切片矩阵B(t[2]),B(t[3]),,,,B(t[n]),对差异切片矩阵压缩后传输。当客户需要知道t[n]时刻的数据A(t[n]),只需先解压出B(t[2]),B(t[3]),,,,B(t[n]),计算A(t[n])=A(t[1])⊕B(t[2])⊕B(t[3]) ⊕…⊕B(t[n])得到最终结果。
另一方面,为了保证传输数据的完整性而进行的数据加解密具体如下:
通信的双方需要使用下发的密码资源才能进行通信。密码资源包括用户证书,公私密钥对等信息。然后通过安全密码传输协议建立通信隧道。
密码协议分两个阶段进行:握手阶段和加密数据通信阶段。握手阶段的目标是确报身份合法的通信双方协商出一致的加解密密钥,用于数据传输。加密数据通信阶段使用握手阶段协商出的加解密密钥对数据进行加解密,保证传输过程中数据的机密性与完整性。
具体地,通过密码协议用户A和用户B的通信过程如下:
数据通信阶段的数据处理过程采用AES对称算法加密数据,算法模式采用CBC模式。握手阶段将产生两个加解密密钥(Kab和Kba) 和两个HMAC密钥(HKab和HKba)。通信方A使用密钥Kab用于A 到B方向的加密;密钥Kba用于B到A方向的数据解密,密钥HKab 用于A到B方向的数据MAC完整性计算,密钥HKba用于B到A方向的数据MAC校验。通信方B使用密钥Kba用于B到A方向的加密;密钥Kab用于A到B方向的数据解密,密钥HKba用于B到A方向的数据MAC完整性计算,密钥HKab用于A到B方向的数据MAC校验。为了提高有效数据在传输过程中的比率,实现中Kab或Kba进行PRF 散列后数值作为伪随机数,当作加密算法的IV值输入,减少了传输过程中的传输字节,节约使用卫星线路进行数据传输的成本。
数据的完整性通过传输协议中HMAC算法保障。同时也保证了数据的机密性。
在船岸一体化数据轻量化传输系统中,接收各时刻的多种船端数据具体可以如下表1。
表1
通道号 | 时间T<sub>1</sub> | 时间T<sub>2</sub> | 时间T<sub>3</sub> | 时间T<sub>4</sub> | 时间T<sub>5</sub> | 时间T<sub>6</sub> |
43307 | 1.024399 | 1.034928 | 1.027054 | 1.025315 | 1.032731 | 1.0317235 |
43309 | 8.230717 | 8.147097 | 8.147097 | 8.148317 | 8.220341 | 8.18493938 |
43311 | 0.018067 | 0.019776 | 0.025635 | 0.027588 | 0.019287 | 0.01684596 |
43313 | 43.52483 | 43.43328 | 43.16777 | 42.94804 | 42.69169 | 42.3071632 |
43315 | 46.31723 | 46.03342 | 45.76791 | 45.45663 | 45.2369 | 45.0263214 |
43317 | 0.201419 | 0.256352 | 0.292973 | 0.201419 | 0.201419 | 0.347905695 |
43319 | 36.62165 | 41.19936 | 45.77707 | 39.36827 | 39.36827 | 39.3682747 |
43321 | 11345.46 | 11720.07 | 12911.04 | 12439.15 | 12332.72 | 12103.4561 |
由表1可知,一个通道在不同时刻采集的数值在一个范围内变动且幅度不大。对于原始数据会因为干扰产生一些噪声数据,所以在正式处理数据前需要对数据的合理范围进行设定,对原始数据进行清洗,去掉噪声数据。
因此,可以将船端数据轻量化装置分为三层:交互控制层、业务处理层和数据模型层,其中,数据模型层包括模型化船端数据计算模块、船端数据切片计算模块、船端数据压缩模块和船端数据加密模块。交互控制层接收用户的指令,交给业务层处理。业务处理层处理用户的主要的业务流程,并将用户指令转化为数据模型层的参数。数据模型层将模型化数据经过轻量化模块和密码协议模块处理后,反馈给交互控制层。
因此,本发明的船岸一体化数据轻量化传输系统首先使用密码协议建立通信连接,传输在开始时刻t1采集的模型化的数据A(t1),以后任意时刻tn(n>1)使用异或运算计算差异切片B(t[n]),然后将差异切片B(t[n])压缩后传输,实现了轻量化的数据通信并确保数据的机密性。
图4是本发明的船岸一体化数据轻量化传输方法步骤图,如图4 所示,本发明提供的基于上述系统的船岸一体化数据轻量化传输方法,包括以下步骤:
接收并根据船端数据计算模型对不同类型的船端数据进行计算,生成模型化船端数据,根据时间顺序对模型化船端数据进行切片化处理,得到船端数据切片,对相邻两船端数据切片进行差异运算,计算得到船端数据差异切片,对船端数据差异切片进行压缩,得到船端数据压缩包,发送至岸端数据还原装置;
接收并对船端数据压缩包进行解压,得到船端数据差异切片,根据船端数据差异切片和预存的原始船端数据切片计算船端数据切片,根据船端数据计算模型从船端数据切片中提取船端数据。
本发明的船岸一体化数据轻量化传输方法,分析船岸之间动态数据网络通信需求,利用船端动态数据模型化技术,将大量的原始数据按照预定模型进行变换,获得模型的状态或数据,提取该模型的特征或变化,在岸端按照同样的模型进行无损重构,实现经数据压缩来获得最小通信传输数据的“数据轻量化”,只传输轻量化之后的发生变化的数据,降低实际需要传输的数据量,以大幅度降低通信费用,充分发挥项目目标,对于项目实施和推广非常重要。
本发明的船岸一体化数据轻量化传输方法,在通信信道上传输的是模型化数据,且仅仅是变化的数据,即增量,在无法获取基准数据的情况下,无法还原出模型化前的数据,而且,无法获得模型设计的情况下,无法实现无损重构,即无法破解数据,确保数据传输的安全性。
进一步地,各船端数据切片通过预定时间内各时刻的模型化船端数据融合而成。其中,预定时间的设定根据船端数据的误差范围和船端数据的数据采集完整性确定。
本发明的船岸一体化数据轻量化传输方法中,各船端数据切片通过预定时间内各时刻的模型化船端数据融合而成,减少差异运算量并节省差异运算时间,降低差异运算成本,并提高数据传输效率。
进一步地,在船端数据压缩包发送至岸端数据还原装置之前,还包括:根据加密密钥对待发送的船端数据压缩包进行加密;
对船端数据压缩包进行解压之前,还包括:根据解密密钥对接收的船端数据压缩包进行解密。
本发明的船岸一体化数据轻量化传输方法对传输数据进行加解密,进一步提高数据传输的安全性和完整性。
对于方法实施例而言,由于其与系统实施例基本相似,所以描述的比较简单,相关之处参见系统实施例的部分说明即可。
本发明采用密码协议保护了数据完整性,并且对轻量化传输提供了支撑,解决数据的轻量化传输和数据完整性问题,不仅考虑到船岸之间传输数据的传输成本,进行数据的轻量化传输,而且考虑到由于船岸之间跨越的网络环境复杂导致的数据安全性问题。
对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种船端数据轻量化装置,其特征在于,包括:
模型化船端数据计算模块,用于接收不同类型的船端数据,并根据船端数据计算模型对不同类型的船端数据进行计算,生成模型化船端数据;
船端数据切片计算模块,用于根据时间顺序对模型化船端数据进行切片化处理,得到船端数据切片;
船端数据压缩模块,用于对相邻两船端数据切片进行差异运算,计算得到船端数据差异切片,对船端数据差异切片进行压缩,得到船端数据压缩包。
2.根据权利要求1所述的船端数据轻量化装置,其特征在于,各船端数据切片通过预定时间内各时刻的模型化船端数据融合而成。
3.根据权利要求2所述的船端数据轻量化装置,其特征在于,
预定时间的设定根据船端数据的误差范围和船端数据的数据采集完整性确定。
4.根据权利要求1所述的船端数据轻量化装置,其特征在于,模型化船端数据为二维矩阵时,通过以下公式计算船端数据差异切片:
B(t[n+1])=A(t[n+1])⊕A(t[n])
其中,A(t)为船端数据切片,B(t)为船端数据差异切片,⊕为异或运算符,n≥1。
5.一种岸端数据还原装置,其特征在于,用于接收权利要求1所述船端数据轻量化装置发送的船端数据压缩包,包括:
船端数据解压模块,用于接收并对船端数据压缩包进行解压,得到船端数据差异切片;
船端数据切片还原模块,用于根据船端数据差异切片和预存的原始船端数据切片计算船端数据切片;
船端数据提取模块,用于根据船端数据计算模型从船端数据切片中提取船端数据。
6.根据权利要求5所述的船端数据轻量化装置,其特征在于,各船端数据切片是通过预定时间内各时刻的模型化船端数据融合而成的。
7.一种船岸一体化数据轻量化传输系统,其特征在于,包括:
权利要求1所述的船端数据轻量化装置和权利要求5所述的岸端数据还原装置。
8.根据权利要求7所述的船岸一体化数据轻量化传输系统,其特征在于,船端数据轻量化装置还包括船端数据加密模块,岸端数据还原装置还包括岸端数据解密模块,
船端数据加密模块,用于根据加密密钥对待发送的船端数据压缩包进行加密;
岸端数据解密模块,用于根据解密密钥对接收的船端数据压缩包进行解密。
9.一种基于权利要求6所述系统的船岸一体化数据轻量化传输方法,其特征在于,包括以下步骤:
接收并根据船端数据计算模型对不同类型的船端数据进行计算,生成模型化船端数据,根据时间顺序对模型化船端数据进行切片化处理,得到船端数据切片,对相邻两船端数据切片进行差异运算,计算得到船端数据差异切片,对船端数据差异切片进行压缩,得到船端数据压缩包,发送至岸端数据还原装置;
接收并对船端数据压缩包进行解压,得到船端数据差异切片,根据船端数据差异切片和预存的原始船端数据切片计算船端数据切片,根据船端数据计算模型从船端数据切片中提取船端数据。
10.根据权利要求9所述的船岸一体化数据轻量化传输方法,其特征在于,
在船端数据压缩包发送至岸端数据还原装置之前,还包括:根据加密密钥对待发送的船端数据压缩包进行加密;
对船端数据压缩包进行解压之前,还包括:根据解密密钥对接收的船端数据压缩包进行解密。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811334330.9A CN109474594B (zh) | 2018-11-09 | 2018-11-09 | 船端数据轻量化装置、岸端数据还原装置、船岸一体化数据轻量化传输系统及传输方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811334330.9A CN109474594B (zh) | 2018-11-09 | 2018-11-09 | 船端数据轻量化装置、岸端数据还原装置、船岸一体化数据轻量化传输系统及传输方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109474594A true CN109474594A (zh) | 2019-03-15 |
CN109474594B CN109474594B (zh) | 2023-05-09 |
Family
ID=65672594
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811334330.9A Active CN109474594B (zh) | 2018-11-09 | 2018-11-09 | 船端数据轻量化装置、岸端数据还原装置、船岸一体化数据轻量化传输系统及传输方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109474594B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111582364A (zh) * | 2020-05-06 | 2020-08-25 | 智慧航海(青岛)科技有限公司 | 一种基于船端及岸基感知信息的分步式融合系统及方法 |
CN111619761A (zh) * | 2020-05-10 | 2020-09-04 | 哈尔滨工程大学 | 一种无人艇状态估计观测器设计方法 |
CN112333425A (zh) * | 2020-10-20 | 2021-02-05 | 青岛博瑞斯自动化技术有限公司 | 一种用于船联网的通讯系统 |
CN112486989A (zh) * | 2020-11-28 | 2021-03-12 | 河北省科学技术情报研究院(河北省科技创新战略研究院) | 一种多源数据颗粒化融合及指标分类分层处理方法 |
CN113114661A (zh) * | 2021-04-08 | 2021-07-13 | 湘潭大学 | 一种面向智能楼宇物联网设备的云边协同轻量化数据处理方法 |
CN113765571A (zh) * | 2020-06-03 | 2021-12-07 | 千寻位置网络有限公司 | 用于gnss数据的发送和接收方法、系统 |
CN114579657A (zh) * | 2022-05-09 | 2022-06-03 | 浙江九州云信息科技有限公司 | 一种基于车路协同的v2x边缘云控方法及系统 |
CN116095114A (zh) * | 2023-01-11 | 2023-05-09 | 上海船舶运输科学研究所有限公司 | 一种基于物联网模式的船岸数据传输的方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020091905A1 (en) * | 1999-01-29 | 2002-07-11 | Interactive Silicon, Incorporated, | Parallel compression and decompression system and method having multiple parallel compression and decompression engines |
WO2003001748A8 (en) * | 2001-06-21 | 2004-04-22 | Ziplabs Pte Ltd | Method and apparatus for compression and decompression of data |
CN101364235A (zh) * | 2008-09-27 | 2009-02-11 | 复旦大学 | 一种基于文件差异的xml文档压缩方法 |
CN101918935A (zh) * | 2007-12-05 | 2010-12-15 | 生命力有限公司 | 用于减少通信信道上的分组丢失的效果的视频压缩系统及方法 |
US20140161139A1 (en) * | 2011-08-26 | 2014-06-12 | European Space Agency | Method, device and system for compressing time series data |
CN106487441A (zh) * | 2016-10-20 | 2017-03-08 | 宁波盛域海洋电子科技有限公司 | 一种基于北斗通信的船舶信息传输系统 |
CN106856495A (zh) * | 2015-12-09 | 2017-06-16 | 重庆蓝阳船舶修造有限公司 | 一种船舶综合数据采集、处理与传输系统 |
CN107590054A (zh) * | 2017-09-21 | 2018-01-16 | 大连君方科技有限公司 | 船舶服务器日志监控系统 |
CN107961034A (zh) * | 2016-10-19 | 2018-04-27 | 北京东软医疗设备有限公司 | 处理通道数据的方法及装置 |
-
2018
- 2018-11-09 CN CN201811334330.9A patent/CN109474594B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020091905A1 (en) * | 1999-01-29 | 2002-07-11 | Interactive Silicon, Incorporated, | Parallel compression and decompression system and method having multiple parallel compression and decompression engines |
WO2003001748A8 (en) * | 2001-06-21 | 2004-04-22 | Ziplabs Pte Ltd | Method and apparatus for compression and decompression of data |
CN101918935A (zh) * | 2007-12-05 | 2010-12-15 | 生命力有限公司 | 用于减少通信信道上的分组丢失的效果的视频压缩系统及方法 |
CN101364235A (zh) * | 2008-09-27 | 2009-02-11 | 复旦大学 | 一种基于文件差异的xml文档压缩方法 |
US20140161139A1 (en) * | 2011-08-26 | 2014-06-12 | European Space Agency | Method, device and system for compressing time series data |
CN106856495A (zh) * | 2015-12-09 | 2017-06-16 | 重庆蓝阳船舶修造有限公司 | 一种船舶综合数据采集、处理与传输系统 |
CN107961034A (zh) * | 2016-10-19 | 2018-04-27 | 北京东软医疗设备有限公司 | 处理通道数据的方法及装置 |
CN106487441A (zh) * | 2016-10-20 | 2017-03-08 | 宁波盛域海洋电子科技有限公司 | 一种基于北斗通信的船舶信息传输系统 |
CN107590054A (zh) * | 2017-09-21 | 2018-01-16 | 大连君方科技有限公司 | 船舶服务器日志监控系统 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111582364A (zh) * | 2020-05-06 | 2020-08-25 | 智慧航海(青岛)科技有限公司 | 一种基于船端及岸基感知信息的分步式融合系统及方法 |
CN111619761A (zh) * | 2020-05-10 | 2020-09-04 | 哈尔滨工程大学 | 一种无人艇状态估计观测器设计方法 |
CN113765571A (zh) * | 2020-06-03 | 2021-12-07 | 千寻位置网络有限公司 | 用于gnss数据的发送和接收方法、系统 |
CN113765571B (zh) * | 2020-06-03 | 2022-12-30 | 千寻位置网络有限公司 | 用于gnss数据的发送和接收方法、系统 |
CN112333425A (zh) * | 2020-10-20 | 2021-02-05 | 青岛博瑞斯自动化技术有限公司 | 一种用于船联网的通讯系统 |
CN112486989A (zh) * | 2020-11-28 | 2021-03-12 | 河北省科学技术情报研究院(河北省科技创新战略研究院) | 一种多源数据颗粒化融合及指标分类分层处理方法 |
CN112486989B (zh) * | 2020-11-28 | 2021-08-27 | 河北省科学技术情报研究院(河北省科技创新战略研究院) | 一种多源数据颗粒化融合及指标分类分层处理方法 |
CN113114661A (zh) * | 2021-04-08 | 2021-07-13 | 湘潭大学 | 一种面向智能楼宇物联网设备的云边协同轻量化数据处理方法 |
CN114579657A (zh) * | 2022-05-09 | 2022-06-03 | 浙江九州云信息科技有限公司 | 一种基于车路协同的v2x边缘云控方法及系统 |
CN116095114A (zh) * | 2023-01-11 | 2023-05-09 | 上海船舶运输科学研究所有限公司 | 一种基于物联网模式的船岸数据传输的方法 |
CN116095114B (zh) * | 2023-01-11 | 2023-11-03 | 上海船舶运输科学研究所有限公司 | 一种基于物联网模式的船岸数据传输的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109474594B (zh) | 2023-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109474594A (zh) | 船端数据轻量化装置、岸端数据还原装置、船岸一体化数据轻量化传输系统及传输方法 | |
Mishra et al. | Delphi: A cryptographic inference system for neural networks | |
CN112395643B (zh) | 一种神经网络的数据隐私保护方法及系统 | |
Venu et al. | An efficient low complexity compression based optimal homomorphic encryption for secure fiber optic communication | |
CN110032878B (zh) | 一种安全的特征工程方法和装置 | |
US9158925B2 (en) | Server-aided private set intersection (PSI) with data transfer | |
Xiong et al. | Toward lightweight, privacy-preserving cooperative object classification for connected autonomous vehicles | |
CN112580821A (zh) | 一种联邦学习方法、装置、设备及存储介质 | |
CN109460536B (zh) | 一种矩阵运算的安全外包方法 | |
CN116167084A (zh) | 一种基于混合策略的联邦学习模型训练隐私保护方法及系统 | |
Boussif et al. | Securing DICOM images by a new encryption algorithm using Arnold transform and Vigenère cipher | |
CN111783129A (zh) | 一种保护隐私的数据处理方法及系统 | |
CN113065145A (zh) | 一种基于秘密共享和随机扰动的隐私保护线性回归方法 | |
CN113240129A (zh) | 一种面向多类型任务图像分析的联邦学习系统 | |
CN116667996A (zh) | 一种基于混合同态加密的可验证联邦学习方法 | |
CN111563262A (zh) | 一种基于可逆深度神经网络的加密方法及系统 | |
Shen et al. | A novel digital image encryption algorithm based on orbit variation of phase diagram | |
CN104717644A (zh) | 一种可验证隐私保护的两层传感器网络范围查询方法 | |
CN113691313A (zh) | 一种星地一体量子密钥链路虚拟化应用服务系统 | |
CN117195972A (zh) | 一种基于ckks的密文神经网络构建方法及系统 | |
CN115994559A (zh) | 一种高效的不经意神经网络转化方法 | |
CN114239862A (zh) | 一种保护用户数据隐私的抗拜占庭攻击的联邦学习方法 | |
CN116502732B (zh) | 基于可信执行环境的联邦学习方法以及系统 | |
CN108599941A (zh) | 随机非对称扩充字节通信数据加密方法 | |
Lang et al. | Optical image cryptosystem using chaotic phase-amplitude masks encoding and least-data-driven decryption by compressive sensing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |