CN111586358A - 基于5g传输和改进残差神经网络的海面视频压缩感知方法 - Google Patents

基于5g传输和改进残差神经网络的海面视频压缩感知方法 Download PDF

Info

Publication number
CN111586358A
CN111586358A CN202010385818.5A CN202010385818A CN111586358A CN 111586358 A CN111586358 A CN 111586358A CN 202010385818 A CN202010385818 A CN 202010385818A CN 111586358 A CN111586358 A CN 111586358A
Authority
CN
China
Prior art keywords
sea surface
network
residual error
transmission
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010385818.5A
Other languages
English (en)
Inventor
张义红
姜诗高
李德敏
刘子豪
杨义锦
曹永胜
李帅
林晓东
吴森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
National Dong Hwa University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN202010385818.5A priority Critical patent/CN111586358A/zh
Publication of CN111586358A publication Critical patent/CN111586358A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/15—Active relay systems
    • H04B7/185—Space-based or airborne stations; Stations for satellite systems
    • H04B7/18502—Airborne stations
    • H04B7/18506—Communications with or from aircraft, i.e. aeronautical mobile service
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Astronomy & Astrophysics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明公开了一种基于5G传输和改进残差神经网络的海面视频压缩感知方法，属于传感器相关领域，包括：该发明通过建立一种改进的残差卷积神经网络结构对视频进行压缩感知，提高视频帧图像的重构精度和重构速度。针对传统通信方案传输速度慢、延时高、带宽不足的问题，本发明拟采用5G技术传输无人机拍摄的海面搜救区域的视频数据，提高海面视频数据传输的实时性，并提供高分辨率的视频帧图像。

Description

基于5G传输和改进残差神经网络的海面视频压缩感知方法
技术领域
本发明涉及一种基于5G传输和改进残差神经网络的海面视频压缩感知方法，属于传感器相关领域。
背景技术
压缩感知(Compressive Sensing，CS)能够以远低于奈奎斯特采样频率对传输视频进行采样，并以较高的概率完全重建原高清视频。该技术改变传统先采样再压缩的数据处理方式，在采样的同时完成对数据的压缩，既降低对传感器的高频技术要求，又能节约数据存储资源和传输带宽。然而由于传统的压缩感知方法采用多次迭代的方法重建原视频信号，计算复杂度高，难以实现实时性，限制了压缩感知方法在视频传输与重构中的应用广度和深度。
发明内容
本发明要解决的技术问题是：海面视频数据传输过程中信号保真度不足、图像边缘模糊、传输延时高。
为了解决上述技术问题，本发明的技术方案是提供了一种基于5G传输和改进残差神经网络的海面视频压缩感知方法，其特征在于，包括以下步骤：
步骤1、利用无人机采集海面搜救区域的海面视频数据；
步骤2、经过残差神经网络改进的压缩编码网络对采集到的海面视频数据进行编码，得到经过压缩采样后的视频信号y；
步骤3、视频信号y经过海上5G通讯网络传输至海面控制中心，海面控制中心利用残差网络对视频信号y进行重构，获得原始的高质量海面视频图像。
本发明充分发挥5G网络与残差网络各自的优势，解决无人机海面视频数据传输过程中信号保真度不足、图像边缘模糊、传输延时高的问题。本发明通过建立一种改进的残差卷积神经网络结构对海面视频进行压缩感知，实现视频帧图像的重构精度和重构速度。针对传统通信方案传输速度慢、延时高、带宽不足的问题，本发明拟采用5G技术传输无人机拍摄的海面搜救区域的视频数据，提高海面视频数据传输的实时性，并为后续图像检测、定位与追踪模型提供高分辨率的视频帧图像。
优选地，步骤2中，在所述压缩编码网络中多次采用下采样方案，在保留海面视频数据主要特征的同时减少图像参数，提升传输速度。
优选地，使用无人机群联合构建步骤3中所述的海上5G通讯网络。
本发明采用改进的残差神经网络对原始图像进行采样并重构，提高视频保真度。
优选地，步骤3中，基于残差模块的重构网络中，在多次上采样之间使用残差网络模块对重构网络进行优化，采用两种残差模块构成所述重构网络，其中，残差模块一的组成更为复杂，能够更好地对两次上采样之间的特征图进行优化；而残差模块二采用直接跨越连接方式有利于加速网络的训练，能使所述压缩编码网络快速收敛。
本发明提供了一种基于5G网络传输和改进残差神经网络的无人机海面视频压缩感知方法，该方法采用基于5G网络传输和改进残差神经网络的无人机视频压缩感知方法，充分发挥5G网络与残差网络各自的优势，解决海面视频数据传输过程中信号保真度不足、图像边缘模糊、传输延时高的问题。与现有技术相比，本发明的有益效果是，充分发挥5G网络与残差网络各自的优势，解决海面视频数据传输过程中信号保真度不足、图像边缘模糊、传输延时高的问题。
附图说明
图1为基于5G传输和改进残差神经网络的视频压缩感知流程图；
图2为基于5G技术的无人机海面视频传输方案结构图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
如图1所示，为改进的无人机海面视频压缩感知方法流程图，无人机采集的海面搜救区域的海面视频数据，经过残差神经网络改进的压缩编码网络对原始海面视频数据进行编码，得到经过压缩采样后的视频信号y。在编码网络中多次采用下采样方案，在保留图像主要特征的同时减少图像参数，提升传输速度。视频信号y经过5G通讯网络传输至海面控制中心，海面控制中心利用残差网络对信号y进行重构，获得原始高质量视频图像。本实施例中，使用无人机群联合构建海上5G通讯网络。
受残差网络ResNet和超分辨率图像成像方法的启发，本发明提出一种基于 5G传输和改进残差神经网络的海面视频传输与重构方法。图像重构可以看成图像特征提取的逆过程，进行多次双线性插值算法的上采样操作，将特征图变换为与原始图像具有相同尺寸的特征图。并在多次上采样之间使用残差网络模块对重构网络进行优化。本发明使用的基于残差模块的重构网络如图1所示，此重构网络有残差模块一和残差模块二两种残差模块构成。两种结构的残差模块，其卷积层、批标准化层和LeakyReLU非线性激活层分别用符号Conv、BN和LReLU 表示。其中，残差模块一的组成更为复杂，能够更好地对两次上采样之间的特征图进行优化；而残差模块二采用直接跨越连接方式有利于加速网络的训练，能使重构网络快速收敛。该网络交替使用这两种残差网络块，以获得网络优化效果和网络训练收敛速度的平衡。最后利用优化后的重构网络将特征图聚合成重构图像。通过改进残差神经网络优化的无人机海面视频压缩感知方法，可以大幅提高视频的重构精度和更有效地传输高分辨率视频数据。
目前5G作为新一代移动通信技术，以全新的网络架构，提供10Gbit/s以上的带宽、毫秒级时延、超高密度连接，实现网络性能新的跃升。本发明从科学问题角度出发大胆假设、严谨验证，创新性地提出在海面救援时，利用多无人机搭载的5G基站构建成5G核心网，如图2所示，无人机通过搭载的高清摄像头采集海面视频数据，并通过5G终端模组将采集的视频数据实时传输至海面控制中心，并为后续图像检测、定位与追踪模型提供有效的视频数据。5G网络的大带宽、低时延、高可靠等特点能够有效满足海面无人机高清视频数据传输与远程实时控制的需求。

Claims (4)

1.一种基于5G传输和改进残差神经网络的海面视频压缩感知方法，其特征在于，包括以下步骤：
步骤1、利用无人机采集海面搜救区域的海面视频数据；
步骤2、经过残差神经网络改进的压缩编码网络对采集到的海面视频数据进行编码，得到经过压缩采样后的视频信号y；
步骤3、视频信号y经过海上5G通讯网络传输至海面控制中心，海面控制中心利用基于残差模块的重构网络对视频信号y进行重构，获得原始的高质量海面视频图像。
2.如权利要求1所述的一种基于5G传输和改进残差神经网络的海面视频压缩感知方法，其特征在于，步骤2中，在所述压缩编码网络中多次采用下采样方案，在保留海面视频数据主要特征的同时减少图像参数，提升传输速度。
3.如权利要求1所述的一种基于5G传输和改进残差神经网络的海面视频压缩感知方法，其特征在于，使用无人机群联合构建步骤3中所述的海上5G通讯网络。
4.如权利要求1所述的一种基于5G传输和改进残差神经网络的海面视频压缩感知方法，其特征在于，步骤3中，基于残差模块的重构网络中，在多次上采样之间使用残差网络模块对重构网络进行优化，采用两种残差模块构成所述重构网络，其中，残差模块一的组成更为复杂，能够更好地对两次上采样之间的特征图进行优化；而残差模块二采用直接跨越连接方式有利于加速网络的训练，能使所述压缩编码网络快速收敛。
CN202010385818.5A 2020-05-09 2020-05-09 基于5g传输和改进残差神经网络的海面视频压缩感知方法 Pending CN111586358A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010385818.5A CN111586358A (zh) 2020-05-09 2020-05-09 基于5g传输和改进残差神经网络的海面视频压缩感知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010385818.5A CN111586358A (zh) 2020-05-09 2020-05-09 基于5g传输和改进残差神经网络的海面视频压缩感知方法

Publications (1)

Publication Number Publication Date
CN111586358A true CN111586358A (zh) 2020-08-25

Family

ID=72113380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010385818.5A Pending CN111586358A (zh) 2020-05-09 2020-05-09 基于5g传输和改进残差神经网络的海面视频压缩感知方法

Country Status (1)

Country Link
CN (1) CN111586358A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105416584A (zh) * 2015-11-12 2016-03-23 广州杰赛科技股份有限公司 一种灾后生命循迹无人机系统
CN107027044A (zh) * 2017-03-31 2017-08-08 大鹏高科（武汉）智能装备有限公司 一种无人船监控视频直播方法和系统
CN108111811A (zh) * 2017-12-16 2018-06-01 广东容祺智能科技有限公司 一种基于5g网络数据通信的无人机通信系统及通信方法
CN108737823A (zh) * 2018-04-04 2018-11-02 中国传媒大学 基于超分辨技术的图像编码方法和装置、解码方法和装置
CN108945343A (zh) * 2018-05-30 2018-12-07 佛山市神风航空科技有限公司 一种海上救援系统
US20190384285A1 (en) * 2016-10-13 2019-12-19 Navico Holding As Unmanned vehicle control and operation in a marine environment
CN110894704A (zh) * 2019-11-15 2020-03-20 东南大学 一种基于无人机的公路路面病害的定位方法
CN110933429A (zh) * 2019-11-13 2020-03-27 南京邮电大学 基于深度神经网络的视频压缩感知与重构方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105416584A (zh) * 2015-11-12 2016-03-23 广州杰赛科技股份有限公司 一种灾后生命循迹无人机系统
US20190384285A1 (en) * 2016-10-13 2019-12-19 Navico Holding As Unmanned vehicle control and operation in a marine environment
CN107027044A (zh) * 2017-03-31 2017-08-08 大鹏高科（武汉）智能装备有限公司 一种无人船监控视频直播方法和系统
CN108111811A (zh) * 2017-12-16 2018-06-01 广东容祺智能科技有限公司 一种基于5g网络数据通信的无人机通信系统及通信方法
CN108737823A (zh) * 2018-04-04 2018-11-02 中国传媒大学 基于超分辨技术的图像编码方法和装置、解码方法和装置
CN108945343A (zh) * 2018-05-30 2018-12-07 佛山市神风航空科技有限公司 一种海上救援系统
CN110933429A (zh) * 2019-11-13 2020-03-27 南京邮电大学 基于深度神经网络的视频压缩感知与重构方法和装置
CN110894704A (zh) * 2019-11-15 2020-03-20 东南大学 一种基于无人机的公路路面病害的定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张帆,徐志超: "基于残差神经网络的矿井图像重构方法", 《煤炭学报》 *

Similar Documents

Publication Publication Date Title
CN113362223B (zh) 基于注意力机制和双通道网络的图像超分辨率重建方法
CN110099280B (zh) 一种无线自组织网络带宽受限下的视频业务质量增强方法
CN109949222B (zh) 基于语义图的图像超分辨率重建方法
CN103167284B (zh) 一种基于画面超分辨率的视频流传输方法及系统
CN111861884B (zh) 一种基于深度学习的卫星云图超分辨率重建方法
CN112699844A (zh) 一种基于多尺度残差层级密连接网络的图像超分辨率方法
CN110889895A (zh) 一种融合单帧重建网络的人脸视频超分辨率重建方法
CN113379601A (zh) 基于降质变分自编码器的真实世界图像超分辨方法及系统
CN115052187B (zh) 一种基于在线训练的超分辨率直播系统
CN111711817A (zh) 一种结合卷积神经网络的hevc帧内编码压缩性能优化研究
CN113132729A (zh) 一种基于多参考帧的环路滤波方法及电子装置
CN111726638A (zh) 一种结合去压缩效应与超分辨率的hevc编码优化方法
CN112887679A (zh) 无损视频远程采集方法和系统
CN112492313B (zh) 一种基于生成对抗网络的图片传输系统
CN112862675A (zh) 时空超分辨率的视频增强方法和系统
CN111586358A (zh) 基于5g传输和改进残差神经网络的海面视频压缩感知方法
CN109194968B (zh) 一种融合信源信道译码的图像压缩感知方法
CN116980611A (zh) 图像压缩方法、装置、设备、计算机程序产品及介质
CN115546030A (zh) 基于孪生超分辨率网络的压缩视频超分辨率方法及系统
CN112348745B (zh) 一种基于残差卷积网络的视频超分辨率重构方法
CN113132732B (zh) 一种人机协同的视频编码方法及视频编码系统
CN113837935A (zh) 基于增强注意力网络的压缩图像超分辨率重建方法
CN113191948A (zh) 多分辨率特征交叉融合的图像压缩感知重构系统及其方法
Liu et al. A new low bit-rate coding scheme for ultra high definition video based on super-resolution reconstruction
CN117078516B (zh) 基于残差混合注意力的矿井图像超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200825

RJ01 Rejection of invention patent application after publication