CN118300664A

CN118300664A - 一种基于北斗自组织网络的图像感知传输方法、系统计算机设备及介质

Info

Publication number: CN118300664A
Application number: CN202410317852.7A
Authority: CN
Inventors: 谭银朝
Original assignee: Weihai Ocean Vocational College
Current assignee: Weihai Ocean Vocational College
Priority date: 2024-03-20
Filing date: 2024-03-20
Publication date: 2024-07-05

Abstract

一种基于北斗自组织网络的图像感知传输方法、系统计算机设备及介质，属于北斗通信技术领域，解决了北斗自组织系统没有充分利用北斗多卡机终端和多北斗卡传输机制、解码没有针对性、北斗信道传输带宽的限制、北斗卫星多链路资源浪费的问题。本发明设计了船端智能图像处理模块，生成显著性目标区域的掩膜图像，通过图像渐进式压缩编码算法，采用位平面提升和混合编码算法对图像进行分层渐进式压缩；设计了北斗自组织系统的北斗三代多卡机终端阵列分配算法以及北斗多卡机轮传机制，可有效的增加北斗自组织系统发送信息的频度和速率。本发明对我国的远海态势实时监测以及航行安全保障等综合能力的提高具有极其重要的军用价值和民用价值。

Description

一种基于北斗自组织网络的图像感知传输方法、系统计算机设备及介质

技术领域

本发明属于北斗通信技术领域，具体涉及一种船舶远海视频监控技术。

背景技术

在远海视频监控技术领域，当船舶航行在境内、公海领域，没有任何无线信号，监测到的图像信息传输到岸端指挥中心是一大难点。如果建设信号基站，即采用光纤通信、无线专网、电力线载波等专用通信网进行全方面覆盖，存在建设困难、投资成本大、资源利用率低等突出矛盾。

与此相比，卫星通讯优势突出明显，北斗卫星具有全球定位和短消息的功能，且短消息通信成本低，北斗三代系统于2021年完成建设，其提供了更高的数据传输速率，使得短报文通信更加快速和高效，这对于图像传输的应用非常重要。

但是基于北斗自组织网络的图像感知传输系统是在短报文传输的基础上，考虑北斗信道传输带宽的限制与图像传输的实时性不足，在船端设计北斗终端阵列以及北斗多卡机轮传机制，实现有效的增加北斗自组织系统发送信息的频度和可发送数据的容量；通过北斗自组织网络高效编码与传输技术，对图像的显著性区域和背景区域分别进行分层渐进式压缩，压缩后的图像数据根据其重要程度进行序号分配实现对感知图像进行高效编码与传输，进而有效的提高北斗图像传输的实时性；并针对北斗三号系统采用北斗多链路并行传输规划，有效的减少北斗星间链路传输的延时性，达到北斗信道的充分利用和图像的实时性传输；最后通过基于多尺度生成对抗网络的图像超分辨率重建算法有效地利用岸端接收到的原始图像信息，恢复超分辨率的图像，具有更清晰的细节，更真实的图像，尚未被发明。

北斗三代的短报文通信系统还支持位置信息的发送，这对于需要实时位置共享的应用非常有用。目前北斗三号短报文的最大通信容量可以达到1750字节/条或1000汉字/条，最高通信频度可申请1s，基于北三短报文升级后的频度和容量，可以实现图片传输功能，北斗自组织网络图像感知传输系统可以充分利用北斗信道有限的带宽，极大的提高图像传输的实时性。可使岸端指挥中心第一时间能够接收到船舶在远海监控到的画面。

发明内容

针对现有技术的不足，本发明提供了一种基于北斗自组织网络的图像感知传输方法、系统、计算机设备及介质，其能够解决在北斗自组织系统下没有充分利用北斗多卡机终端和多北斗卡传输机制、北斗图像压缩编码、解码没有针对性、北斗信道传输带宽的限制、北斗卫星多链路资源浪费，以及对接收图像没有使用特定算法进行分辨率提高从而导致图像传输速率较低、无法达到实时性传输、接收到的图像分辨率低的问题。

本发明提出的一种基于北斗自组织网络的图像感知传输系统包括：

船端图像采集模块、船端智能图像处理模块、智能船端数据库模块、北斗自组织系统发送模块、北斗三代卫星模块、北斗三代卫星岸端接收模块、智能岸端数据库模块、岸端图像超分辨率重建模块以及岸端综合显控模块；

所述船端图像采集模块用于采集船端图像，并传输至所述船端智能图像处理模块；

所述船端智能图像处理模块用于对所述船端图像进行显著性目标检测，生成显著性目标区域的掩膜图像，并对所述船端图像和掩膜图像进行压缩，得到处理后的图像数据，并传输到所述智能船端数据库模块；

所述北斗自组织系统发送模块通过所述北斗三代卫星模块，将所述智能船端数据库模块中的图像数据传输至所述北斗三代卫星岸端接收模块；

所述北斗三代卫星岸端接收模块用于将所述图像数据实时更新到所述智能岸端数据库模块；

所述岸端综合显控模块将所述智能岸端数据库模块中的图像数据进行解码显示；

所述岸端图像超分辨率重建模块采用超分辨重建算法，提高显示出的图像的分辨率。

更进一步地，提供优选方案：所述船端智能图像处理模块采用图像渐进式压缩编码算法、位平面提升和混合编码算法对所述船端图像和掩膜图像进行压缩。

更进一步地，提供优选方案：所述北斗自组织系统发送模块包括北斗多终端阵列和北斗多卡机轮传机制；所述北斗三代卫星岸端接收模块采用基于TCP/IP和B/S结合的构架搭建岸端通信网络。

更进一步地，提供优选方案：所述所述岸端综合显控模块根据所述显著性目标检测的结果，优先解码所述显著性目标区域的图像数据，并判断背景区域数据包是否需要继续传输，向船端发送特定指令。

本发明还提出一种基于北斗自组织网络的图像感知传输方法，所述方法包括：

S1：采集船端图像；

S2：对所述船端图像进行显著性目标检测，生成显著性目标区域的掩膜图像，并对所述船端图像和掩膜图像进行压缩，得到处理后的图像数据；

S3：对所述处理后的图像数据进行分包，并根据图像数据的重要程度进行序号分配，得到有序图像数据包，并传输到智能船端数据库模块；

S4：北斗自组织系统发送模块采用北斗三代卫星模块将所述有序图像数据包分配到北斗三代卫星岸端接收模块；

S5：所述北斗三代卫星岸端接收模块，根据所述有序图像数据包的序号，将所述有序图像数据包实时更新到智能岸端数据库模块；

S6：将所述智能岸端数据库模块中的有序图像数据包进行解码显示；

S7：采用超分辨率重建算法提高显示出的图像的分辨率。

更进一步地，提供优选方案：所述北斗自组织系统发送模块包括数个北斗三代多卡机终端阵列。

更进一步地，提供优选方案：所述S4包括：

所述北斗自组织系统发送模块根据所述有序图像数据包的最高序号选择北斗三代多卡机终端阵列的终端，并采用北斗终端分配算法对所述有序图像数据包进行分配。

更进一步地，提供优选方案：所述北斗三代多卡机终端阵列包括数个北斗多卡机，每一个北斗多卡机采用多北斗卡轮传算法和北斗三代卫星长报文机制对所述有序图像数据包进行发送，实现图像数据的传输。

本发明还提出一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行上述任意一种方案组合所述的一种基于北斗自组织网络的图像感知传输方法。

本发明还提出一种计算机可读存储介质，所述计算机可读存储介质用于储存计算机程序，所述计算机程序执行上述任意一种方案组合所述的一种基于北斗自组织网络的图像感知传输方法。

本发明具有以下有益效果：

现有关北斗卫星的发明局限于定位与导航、农业资源管理、渔业船舶管理等领域，但是针对于北斗自组织网络的图像感知传输设计的发明专利尚未出现，本发明充分考虑北斗信道传输带宽的限制与图像传输的实时性不足问题，发明了新的船端智能图像处理模块、北斗自组织系统发送模块、北斗三代卫星多链路并行发送模块、北斗岸端图像超分辨率重建模块以及岸端综合显控模块，具有新的效益；考虑到北斗信道带宽的限制，可优先传输图像的重要区域，并且可根据实际需求随时终止无效压缩与传输，节约北斗卫星网络资源，设计了船端智能图像处理模块，通过显著性目标检测方法，生成显著性目标区域的掩膜图像，作为后续根据图像区域像素点的优先级传输的判断条件，之后通过图像渐进式压缩编码算法，采用位平面提升和混合编码算法对图像进行分层渐进式压缩；针对北斗发送图像的特殊性，设计北斗自组织系统，提出北斗三代多卡机终端阵列分配算法以及北斗多卡机轮传机制，可有效的增加北斗自组织系统发送信息的频度和速率；

本发明采用最新的北斗三代卫星系统设计了北斗多链路并行传输方法，分别通过对同轨道、异轨道的卫星进行星间可见性分析、并行星间链路的永久链路和非永久链路智能路径规划，实现北斗三代卫星间的并行多链路传输数据；为了实现北斗信道资源的最佳利用，同时提高每一幅图像的传输实时性。

本发明还设计了岸端综合显控模块，对接收到的图像数据进行按序解码，优先解码图像的显著性区域，根据实际需求规定了向船端发送的特定指令格式。

最后，本发明设计了岸端图像超分辨率重建模块，提出了一种基于多尺度的生成对抗网络，利用多分支路径提取图像特征，获取多尺度特征信息，将三分支路径下提取的多尺度特征信息与全局特征进行融合，并利用亚像素卷积来恢复高分辨率图像，这与其他图像重建方法式不一样的，可以有效地利用原始图像信息，恢复超分辨率的图像，具有更清晰的细节，更真实的图像。

本发明对我国的远海态势实时监测以及航行安全保障等综合能力的提高具有极其重要的军用价值和民用价值。

附图说明

图1为实施方式一所述的一种基于北斗自组织网络的图像感知传输系统示意图；

图2为实施方式二所述的船端智能图像处理模块内部图；

图3为实施方式二所述的北斗多卡机阵列数据分包示意图；

图4为实施方式二所述的岸端图像超分辨率重建模块内部图；

图5为实施方式三所述的同轨道卫星可见性分析图；

图6为实施方式三所述的异轨道卫星可见性分析图；

图7为实施方式三所述的轨道1卫星与地面站可见性分析图。

具体实施方式

下面将结合本发明的附图对本发明实施方式中的技术方案进行清楚、完整地描述。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

实施方式一

参照图1说明本实施方式。

本实施方式所述的一种基于北斗自组织网络的图像感知传输系统包括：

下面对本实施方式所述的系统进行详细说明：

所述船端图像采集模块使用摄像头采集船端图像，摄像头采用DCMI接口与所述船端图像采集模块连接，将采集到的船端图像传输至所述船端智能图像处理模块；

所述船端智能图像处理模块通过显著性目标检测方法，生成显著性目标区域的掩膜图像，作为后续根据图像区域像素点的优先级传输的判断条件，之后通过图像渐进式压缩编码算法，采用位平面提升和混合编码算法，对图像进行分层渐进式压缩，实现图像重要区域优先性传输，并且可根据实际需求随时终止无效压缩与传输；

将处理后的图像数据实时更新至智能船端数据库模块；

所述北斗自组织系统发送模块由北斗多终端阵列和北斗多卡机轮传机制组成，北斗自组织系统发送模块连接北斗三代卫星模块，通过北斗三代卫星系统的并行多链路将处理后的图像数据传输至北斗三代卫星岸端接收模块，采用基于TCP/IP和B/S结合的构架搭建岸端通信网络；

北斗三代卫星岸端接收模块将接收到的图像数据实时更新到智能岸端数据库模块，然后通过岸端综合显控模块将接收到的图像数据包按序进行解码显示，根据显著性目标检测结果优先解码图像的显著性区域，并根据实际需求判断背景区域数据包是否需要继续传输，向船端发送特定指令；

岸端图像超分辨率重建模块采用超分辨重建算法对图像进行分辨率的提高，最后通过对图像进行实时显示，并记录北斗三代卡发送频度、发送速率、不同序号图像数据包接收记录。

实施方式二

参照图2、图3、图4说明本实施方式。

本实施方式所述的一种基于北斗自组织网络的图像感知传输方法包括：

S1：采集船端图像；

S7：采用超分辨率重建算法提高显示出的图像的分辨率。

下面对本实施方式所述的方法进行详细说明：

所述S1包括：

船舶端调整摄像头的焦距和方向，以确保可以捕捉到所需的图像，并采用DCMI接口与船端图像采集模块连接，实现船端图像的采集。

所述S2包括：

将船端图像采集模块采集到的船端图像传输至船端智能图像处理模块，船端智能图像处理模块执行显著性目标检测方法，生成显著性目标区域的掩膜图像，作为后续根据图像区域像素点的优先级传输的判断条件，之后通过图像渐进式压缩编码算法，采用位平面提升和混合编码算法对图像进行分层渐进式压缩，得到处理后的图像数据。

具体为：

S2.1：采用Mallat二维小波变换通过行和列方向的分解获取北斗感知图像的小波系数，定义图像信号为x(t)∈V_j,则x(t)可表示为：

其中d_j[k]＝<x(t),ψ_j,k(t)>、

h₀[k]表示尺度函数的系数，可得小波系数d_j[k]：

S2.2：采用回溯法通过逆变换的方式对图像区域的小波系数进行标记，通过下式进行标记：

其中，单个像素点的标记需要LL子带中的LL(n,n)和LL(n,n+1)、LH子带中的LH(n,n),LH(n,n+1)和LH(n,n-1)、HL子带中的HL(n-1,n),HL(n-1,n+1),HL(n,n)和HL(n,n+1),以及H子带中的HH(n-1,n-1),HH(n-1,n),HH(n-1,n+1),HH(n,n),HH(n,n+1)和HH(n+1,n+1)参与运算；

S2.3：采用交错位平面提升法对显著性目标区域的小波系数进行提升(扩大)，使其高于背景区域，实现的显著性目标区域小波系数传输的优先级，将ROI和BG按照两者的重要关系进行不同程度的提升，其中ROI和BG区域提升后的位平面分别如下式所示：

其中s、s₁,和s₂是三个提升参数,s表示图像系数量化后的最大位平面，s₁表示ROI图像中重要区域的位平面，s₂表示BG中重要区域的位平面数；

S2.4：采用B-SPC编码方法对图像的显著性区域进行压缩编码，利用图像C的子带内相关性，B-SPC方法将坐标集合C划分为多个块状集合，对坐标属于同一个块状集合的所有系数进行统一编码处理，实现使用更少的比特位，进而得到更好的编解码性能以保证获得高质量的图像解码数据，采用下式分析B-SPC方法对C的系数幅值的编码情况：

其中，b为图像位深度，灰度图像一般有b＝8；由于DWT的能量集中性，C的位深度更大，能够达到b＝12左右；

S2.5：采用B-EZW编码方法对图像的背景区域信息进行大压缩比的有损压缩，对图像背景区域的像素进行排序，根据岸端综合显控模块的指令“00”或“01X”可以随时结束数据的传输进程，并且设置可选择性的压缩比，根据岸端发送回来的指令实时更新压缩比，实现图像的最有效压缩，首先进行阈值选择，统计最大系数C_max,从而确定初始设定阈值其中log₂(C_max)向下取整，主扫描按照“Z字形”顺序依次对系数矩阵扫描，分别对其标记为重要的系数(正或负)、零树根节点和孤立节点等符号，辅扫描根据当前设定的阀值T_i分别构建两个量化区间和量化步长为针对小波系数矩阵中的重要系数进行量化，最后在完成一次关于T_i的符号编码和细化编码后，将T_i,更新为通过不断对主、辅系数表采用如上方法进行编码。

所述S3包括：

将进行图像压缩后得到的图像数据进行数据分包，并根据图像的重要程度进行序号分配，序号越小，重要等级越高，传输的优先级也相应越高，将排列好的有序图像数据包实时更新到智能船端数据库模块，便于后续的图像数据包补发与数据查询。

所述S4包括：

3个北斗三代多卡机终端阵列组成北斗自组织系统发送模块，每个北斗多卡机装配16张容量为1750字节/条、通信频度为1s的北斗三代通信卡，北斗自组织系统发送模块根据图像数据包的最高序号选择北斗三代多卡机终端阵列中的终端，采用北斗终端分配算法分配不同序号的图像数据包；

具体地：

北斗自组织系统发送模块根据图像数据包最高序号选择北斗三代多卡机终端阵列中的终端，例如北斗三代多卡机终端阵列为A个，待发送图像共B张，第一张图像压缩编码后的数据包个数为P₁，第二张图像压缩编码后的数据包个数为P₂，第B张图像压缩编码后的数据包个数为P_B，北斗自组织系统发送模块对北斗三代多卡机终端的分配如下：

若P₁≥A，北斗三代多卡机1负责传输序号为1、A+1、2A+1、L、P₁-A的数据包，北斗三代多卡机2负责传输序号为2、A+2、2A+2、L、P₁+1-A的数据包，以此类推，北斗三代多卡机A负责传输序号为A、2A、3A、L、P₁的数据包；

若P₁+P₂+L+P_q≤A(q≤B)，北斗三代多卡机1传输第一张图像的序号为1的数据包，北斗三代多卡机2传输第一张图像的序号为2的数据包，北斗三代多卡机P传输第一张图像序号为P₁的数据包，北斗三代多卡机P+1传输第二张图像序号为1的数据包，北斗三代多卡机P+2传输第二张图像序号为2的数据包，以此类推，北斗三代多卡机A传输第q张图像序号为P_q的数据包。

北斗三代多卡机终端阵列中的每一个北斗多卡机采用设定的多北斗卡轮传算法和北斗三代卫星长报文机制对所分配的图像数据包进行发送，实现数据传输；

具体地：

S4.1：获取北斗三代多卡机中每张北斗通信卡的通信状态信息，其中，上述北斗卡通信状态信息包括当前待发送的图像数据包序号、北斗通信卡当前可用信道容量、最大报文长度和最高传输时延，多卡轮传机制根据不同北斗卡提前设置数据发送频度，将发送频度的时间缓存的所有数据包作为待发送数据包，并进行数据包分配和传输控制，第一个待发送数据包是当前时刻需要分配和发送的一张图像压缩编码数据包中序列号最小的待发送数据包，北斗多卡机优先发送序列号小的待发送数据包；

S4.2：根据北斗三代多卡机中不同北斗通信卡的发送带宽和传输时延，传输时延小的北斗通信卡优先发送序列号小的数据包，传输时延大的北斗通信卡则选取序列号较大的数据包进行发送，北斗三代卫星岸端接收模块将接收到的数据包按顺序进行重组，无需数据等待。

北斗自组织系统发送模块将图像数据发送至北斗三代卫星模块，北斗三代卫星模块采用3颗高度为35786千米的GEO卫星、25颗高度为21518千米MEO卫星，采用北斗多链路并行传输规划机制，分别通过对同轨道、异轨道的卫星进行星间可见性分析、星地可见性分析以及并行星间链路的永久链路和非永久链路路径规划，实现地面站到卫星的转发跳数最小，链路中卫星间的距离最小，减少数据传输时延，加快数据传输速率。

具体地：

1)北斗三代卫星模块共三个轨道面，三个轨道中的不同卫星都处于运动状态，随着时间的不断变化，三个轨道中的卫星之间的相对位置也不断地发生变化，由于其运动特性，同轨道以及异轨道卫星之间的卫星之间的可见性关系也随着其位置的变化而不断改变，卫星间的可见性是保证链路可实现数据传输的前提，因此对卫星间可见性进行具体分析：

首先对相同轨道间的卫星进行可见性分析,由于卫星所载卫星天线扫描范围的限制、地球本身以及大气的遮挡，同轨道间卫星并不是随时可见的，即数据传输不能随时形成通路；

不同轨道间的卫星根据其运行的周期及轨迹，计算得到其可见范围和角度位置，分析其星间可见性；

2)北斗卫星地面站提供通信支持，通过卫星连接不同地区的用户，这对于远海或者偏远区域的通信是至关重要的，因此对北斗三代三个轨道的卫星与北斗卫星地面站进行星地可见性分析:

对一天之内的不同时刻，对每个轨道中的卫星与地面站之间的可见时刻进行分析，分析计算不同轨道的每一颗北斗三代卫星与地面站可见时间的长短，以此作为对落地卫星选择的数据参考依据，将一天中与地面站可见时间最长的卫星作为北斗三代卫星系统数据传输链路的落地中继卫星，大大减少数据传输的时延，提高图像数据传输的实时性；

3)通过对同轨道、异轨道的卫星进行星间、星地可见性分析，将可见时间较长，即建立链路时间较长的大多数同轨道卫星以及少量异轨道卫星间的星间链路作为永久链路，可见时间较短，即建立链路时间较短的大多数异轨道卫星链路及卫星与地面站间的链路作为非永久链路，实现北斗三代卫星间的并行多链路传输数据；

4)由于星间链路、星地链路可见性约束条件的复杂性，采用智能规划算法对星间链路进行规划，北斗三代卫星星间链路分配是在给定的可见性矩阵M，将可见性矩阵M拆分为N个链路矩阵L₁,L₂,L,L_N，满足下式：

M＝L₁+L₂+L+L_N+β

其中，β为余项；

链路分配矩阵L_i是一个二维矩阵，矩阵中行表示卫星i,矩阵的列表示时隙k,矩阵中元素L(i，k)＝j代表卫星i在时隙k时与卫星j建立链路；

将当前星间链路规划矩阵信息传输所产生的平均通信时延T_f进行求和，得到适应值之和T_total，然后计算要选择的单个卫星的概率拟合值，生成[0,px]之间的随机数，并进行从小到大的排序进行大小比较，直到选出px个卫星组成新的链路，进行下一步的迭代，然后输入初始矩阵L与交叉算子c，对0到py之间的随机取整数值，随机确定一个位置开始进行函数值的互换，产生更多的星间链路分配矩阵，得到最优星间链路。

所述S5包括：

所述北斗三代卫星岸端接收模块接收到北斗三代卫星模块的有序图像数据包后，按照序号从低到高的顺序，将图像数据包实时更新到智能岸端数据库模块存储，方便后序图像数据的恢复和查询。

所述S6包括：

岸端综合显控模块将接收到的图像数据包按序进行解码显示，根据S2得到的显著性目标检测结果，优先解码图像的显著性区域，并根据实际需求判断背景区域数据包是否需要继续传输，向船端发送“00”或“01X”的指令，“00”代表终止传输背景区域数据包，“01”代表继续传输背景区域数据包，“X”代表压缩比，可根据背景区域的重要程度实时更新船端图像处理模块的压缩比，实现北斗信道资源的最佳利用，同时提高每一幅图像的传输实时性。

所述S7包括：

岸端图像超分辨率重建模块采用超分辨率重建算法提高所接收图像的质量，通过从低分辨率(LR)输入生成高分辨率(HR)输出，实现对岸端接收图像的清晰度和细节的改善。

具体地：

S7.1：岸端图像超分辨率重建模块将创建不同的特征图用于浅层特征提取，在三个不同的路径上使用3×3、5×5和7×7大小的卷积核对接收到的低分辨率图像进行卷积处理。然后，通过在DRDAM中使用2个通道和空间注意力块(CSAB)和16个增强型残余致密块(ERDB)来提取图像更深层的纹理结构信息，从而增强了特征的重用，CSAB改进了高频特征信息，ERDB实现了网络中不同深度的特征信息交换，以增强特征重用；

S7.2：在全局特征融合步骤中，首先进行拼接操作，将来自不同路径的特征融合成一个输出特征。然后利用瓶颈层来降低组合特征的维数，从而降低网络参数。在进行图像重建之前，对GRL进行了集成输入图像的特征采用浅层特征提取，使用亚像素卷积上采样，首先卷积原始特征地图扩大通道的数量，然后将卷积特征地图组织成一个特定的格式获得一个大地图，从而实现图像放大过程；

S7.3：利用8个大小为3×3的卷积核提取判别网络中的特征，随着卷积层深度的增加，通道数翻倍。为了避免神经元死亡，使用了LeakyReLU激活函数，并在第2-8层添加了SN，以稳定神经网络参数的波动，最后，通过s型函数，得到一个一维张量来反映图像的实度；

S7.4：损失函数是每个像素的重建精度和组成的优化目标。因此，对生成网络的总损失函数的定义如下：

L_G＝ωL_percep+λL_gen+μL_pixel

其中第一项表示感知损失，它约束了原始图像和生成的图像，第二项是生成损失，鉴别器认为生成的图像是准确的，因此生成的图像的分布往往更接近于真实图像，第三项表示像素损失，它是预测图像与真实图像之间的像素差的绝对值的总和，也防止了由于过度平滑而导致的重建图像的失真。VGG-19网络用于计算HR和SR特征图之间的差异程度，防止生成的图像被生成与实际的图像有明显的不同。感知损失的定义是：

其中，W_i,j、H_i,j、C_i,j为VGG网络的宽度、高度和信道数。是VGG网络在i池化之前和j卷积之后的特征映射。G(I^LR)是由生成器从低分辨率图像中重建的HR图像；

像素损失的定义为：

L_pixel＝E_x,y(Py-G(x)P₁)

其中，E为数学期望，G(x)为生成器为低分辨率图像生成的高分辨率图像。

将岸端图像超分辨率重建模块重建后的高分辨率图像输出，基于北斗自组织网络的图像感知传输系统及方法实现完成。

实施方式三

参照图5、图6、图7说明本实施方式。

本实施方式是对实施方式一所述的一种基于北斗自组织网络的图像感知传输系统的进一步举例说明。

船端图像采集模块、船端智能图像处理模块、智能船端数据库模块、北斗自组织系统发送模块、北斗三代卫星模块、北斗三代卫星岸端接收模块、智能岸端数据库模块、岸端图像超分辨率重建模块以及岸端综合显控模块。

船端图像采集模块使用DCMI接口与船端智能图像处理模块连接，将采集到的图像传输至船端图像处理模块，通常采用OV2640摄像头、低功率的单片机、高性能服务器结合作为该模块的主要硬件设备。船端图像智能处理模块将接收到的图像进行显著性目标检测，生成显著性目标区域的掩膜图像，作为后续根据图像区域像素点的优先级传输的判断条件，之后通过图像渐进式压缩编码算法，采用位平面提升和混合编码算法对图像的显著性区域和背景区域分别进行分层渐进式压缩；压缩后的图像数据根据其重要程度进行序号分配，序号越小，重要等级越高，传输的优先级也相应越高，根据序号排列好的图像数据包实时更新到智能船端数据库模块，智能数据库实时按序存储图像数据包，便于后续的数据包查询与数据包补发；

智能船端数据库模块安装于船端本地综合服务管理器，通过RS232串口连接北斗自组织系统发送模块，建立数据通信连接，北斗自组织系统发送模块由多个北斗三代多卡机组成，每个多卡机装有12张北斗五级卡，北斗五级卡通信容量为1750字节/条、通信频度为1s，多个北斗三代多卡机组成终端阵列，使用本发明设计的北斗终端分配算法和北斗卡的多卡轮传机制分配不同序号的图像数据包，加快数据传输的频度和速率，从而达到图像的实时性传输；多卡轮传机制根据不同北斗卡提前设置数据发送频度，将发送频度的时间缓存的所有数据包作为待发送数据包，并进行数据包分配和传输控制，根据北斗多卡机中不同北斗卡的发送带宽和传输时延，传输时延小的北斗卡优先发送序列号小的数据包，传输时延大的北斗卡则选取序列号较大的数据包进行发送。

北斗自组织网络系统发送模块通过北斗2.1协议将图像数据发送至北斗三代卫星模块，北斗卫星指挥中心将3颗高度为35786千米的GEO卫星和25颗高度为21518千米MEO卫星对其进行多链路并行传输规划，分别通过对同轨道、异轨道的卫星进行星间可见性分析、并行星间链路的永久链路和非永久链路路径规划，实现地面站到卫星的转发跳数最小，链路中卫星间的距离最小，减少数据传输时延，加快数据传输速率；然后北斗三代卫星岸端接收模块接收到北斗三代卫星模块的不同序号的图像数据包后，按照序号从低到高的顺序，将图像数据包实时更新到智能岸端数据库存储，方便后序的查询。

岸端综合显控模块负责将接收到的图像数据包按序进行解码显示，根据显著性目标检测结果优先解码图像的显著性区域，并根据实际需求判断背景区域数据包是否需要继续传输，向船端发送“00”或“01X”的指令，“00”代表终止传输背景区域数据包，“01”代表继续传输背景区域数据包，“X”代表压缩比，可根据背景区域的重要程度实时更新船端图像处理模块的压缩比，实现北斗信道资源的最佳利用，同时提高每一幅图像的传输实时性。

为了提高所接收图像的质量，实现对岸端接收图像清晰度和细节的改善，岸端综合显控模块将图像传输至岸端图像超分辨率重建模块，使用一种基于多尺度的生成对抗网络，利用多分支路径提取图像特征，获取多尺度特征信息，将三分支路径下提取的多尺度特征信息与全局特征进行融合，并利用亚像素卷积来恢复高分辨率图像。

本实施方式所述的一种基于北斗自组织网络的图像感知传输系统的优势在于：

1)船端图像处理模块将接收到的图像进行显著性目标检测，生成显著性目标区域的掩膜图像，作为后续根据图像区域像素点的优先级传输的判断条件，之后通过图像渐进式压缩编码算法，本实施方式考虑到每张图像的显著性区域和背景区域对于岸端显控中心的重要程度是完全不同的，因此采用位平面提升和混合编码算法对图像的显著性区域和背景区域分别进行分层渐进式压缩；压缩后的图像数据根据其重要程度进行序号分配，序号越小，重要等级越高，传输的优先级也相应越高，并考虑到北斗卫星链路传输存在丢包情况，因此根据序号排列好的图像数据包实时更新到智能船端数据库模块，智能数据库实时按序存储图像数据包，便于后续的数据包查询与数据包补发；

2)针对北斗发送图像频度和速率的特殊性，采用配备多张北斗卡的多个北斗三代多卡机阵列组成北斗自组织系统，现有技术仅使用单一的北斗终端，本实施方式提出北斗三代多卡机终端阵列分配算法以及北斗多卡机轮传机制，分配不同序号的图像数据包，加快数据传输的频度和速率，从而达到图像的实时性传输；

3)北斗三代卫星模块充分利用北斗三代的同轨道及异轨道卫星，考虑到同轨道、异轨道的卫星的星间可见性、星地可见性时间不同，对其进行分析，采用智能规划算法对并行星间链路进行路径规划，实现地面站到卫星的转发跳数最小，链路中卫星间的距离最小，减少数据传输时延，加快数据传输速率；

4)岸端综合显控模块利用了北斗卫星的双向通信功能，现有技术局限于单向通信，没有充分使用双向通信向发送端发送指令，本实施方式规定了向船端发送的特定指令格式，根据实际需求判断背景区域数据包是否需要继续传输，向船端发送“00”或“01X”的指令，“00”代表终止传输背景区域数据包，“01”代表继续传输背景区域数据包，“X”代表压缩比，可根据背景区域的重要程度实时更新船端图像处理模块的压缩比，实现北斗信道资源的最佳利用，同时提高每一幅图像的传输实时性；

5)岸端超分辨率重建模块采用基于多尺度的生成对抗网络，现有的超分辨率模型存在着细节缺失、自然纹理扭曲、细节模糊、图像重建后过于平滑等问题，多尺度的生成对抗网络可以解决上述问题，利用多分支路径提取图像特征，获取多尺度特征信息，将三分支路径下提取的多尺度特征信息与全局特征进行融合，并利用亚像素卷积来恢复高分辨率图像，这与其他图像重建方法是不一样的，可以有效地利用原始图像信息，恢复超分辨率的图像，具有更清晰的细节，更真实的图像。

图5为同轨道卫星可见性分析图，其中Time(UTCG)表示遵循协调世界时标准的具体时间点或时间范围，以格里高利历形式表示，用于仿真过程中的时间参考；BDS-3_MEO-10-To-BDS-3_ME0-9-Times、BDS-3_MEO-10-To-BDS-3_ME0-8-Times、BDS-3_MEO-10-To-BDS-3_ME0-7-Times、BDS-3_MEO-10-To-BDS-3_ME0-22-Times、BDS-3_MEO-10-To-BDS-3_ME0-21-Times、BDS-3_MEO-10-To-BDS-3_ME0-16-Times分别表示在2023年4月5日4时-2023年4月6日4时范围内北斗三代卫星MEO10与同轨道卫星MEO9、MEO8、MEO7、MEO22、MEO21、MEO16的可见时间。

图6为异轨道卫星可见性分析图，其中，_BDS-3_MEO-1-To-BDS-3_ME0-9-Times、_BDS-3_MEO-1-To-BDS-3_ME0-8-Times、_BDS-3_MEO-1-To-BDS-3_ME0-7-Times、_BDS-3_MEO-1-To-BDS-3_ME0-6-Times、_BDS-3_MEO-1-To-BDS-3_ME0-5-Times、_BDS-3_MEO-1-To-BDS-3_ME0-24-Times、_BDS-3_MEO-1-To-BDS-3_ME0-23-Times、_BDS-3_MEO-1-To-BDS-3_ME0-22-Times、_BDS-3_MEO-1-To-BDS-3_ME0-21-Times、_BDS-3_MEO-1-To-BDS-3_ME0-16-Times、_BDS-3_MEO-1-To-BDS-3_ME0-15-Times、_BDS-3_MEO-1-To-BDS-3_ME0-11-Times、_BDS-3_MEO-1-To-BDS-3_ME0-10-Times分别表示在2023年4月5日4时-2023年4月6日4时范围内北斗三代卫星MEO1与异轨道卫星MEO8、MEO7、MEO6、MEO5、MEO24、MEO23、MEO22、MEO21、MEO16、MEO15、MEO11、MEO10的可见时间。

图7为轨道1卫星与地面站可见性分析图，其中，BJ_FOV-To-BDS-3_MEO-9-Times、BJ_FOV-To-BDS-3_MEO-8-Times、BJ_FOV-To-BDS-3_MEO-7-Times、BJ_FOV-To-BDS-3_MEO-22-Times、BJ_FOV-To-BDS-3_MEO-21-Times、BJ_FOV-To-BDS-3_MEO-16-Times、BJ_FOV-To-BDS-3_MEO-15-Times、BJ_FOV-To-BDS-3_MEO-10-Times分别表示在2023年4月5日4时-2023年4月6日4时范围内北斗三代卫星系统轨道1中的卫星MEO9、MEO8、MEO7、MEO22、MEO21、MEO16、MEO16、MEO15、MEO10与北京地面站的可见时间。

从以上分析图可得到北斗三代卫星系统同轨道卫星、异轨道卫星以及卫星与地面站之间的可见时间，且在大多数时间是可见的，在其可见时间里可建立多条链路对图像数据进行并行传输，从而提高图像传输的速率。

Claims

1.一种基于北斗自组织网络的图像感知传输系统，其特征在于，所述系统包括：

2.根据权利要求1所述的一种基于北斗自组织网络的图像感知传输系统，其特征在于，所述船端智能图像处理模块采用图像渐进式压缩编码算法、位平面提升和混合编码算法对所述船端图像和掩膜图像进行压缩。

3.根据权利要求1所述的一种基于北斗自组织网络的图像感知传输系统，其特征在于，所述北斗自组织系统发送模块包括北斗多终端阵列和北斗多卡机轮传机制；所述北斗三代卫星岸端接收模块采用基于TCP/IP和B/S结合的构架搭建岸端通信网络。

4.根据权利要求1所述的一种基于北斗自组织网络的图像感知传输系统，其特征在于，所述所述岸端综合显控模块根据所述显著性目标检测的结果，优先解码所述显著性目标区域的图像数据，并判断背景区域数据包是否需要继续传输，向船端发送指令。

5.一种基于北斗自组织网络的图像感知传输方法，其特征在于，所述方法包括：

S1：采集船端图像；

S7：采用超分辨率重建算法提高显示出的图像的分辨率。

6.根据权利要求5所述的一种基于北斗自组织网络的图像感知传输方法，其特征在于，所述北斗自组织系统发送模块包括数个北斗三代多卡机终端阵列。

7.根据权利要求6所述的一种基于北斗自组织网络的图像感知传输方法，其特征在于，所述S4包括：

8.根据权利要求6所述的一种基于北斗自组织网络的图像感知传输方法，其特征在于，所述北斗三代多卡机终端阵列包括数个北斗多卡机，每一个北斗多卡机采用多北斗卡轮传算法和北斗三代卫星长报文机制对所述有序图像数据包进行发送，实现图像数据的传输。

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据权利要求5-8中任一项所述的一种基于北斗自组织网络的图像感知传输方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于储存计算机程序，所述计算机程序执行权利要求5-8中任一项所述的一种基于北斗自组织网络的图像感知传输方法。