CN111970519A - 机载视频回传方法 - Google Patents

机载视频回传方法 Download PDF

Info

Publication number
CN111970519A
CN111970519A CN202010887027.2A CN202010887027A CN111970519A CN 111970519 A CN111970519 A CN 111970519A CN 202010887027 A CN202010887027 A CN 202010887027A CN 111970519 A CN111970519 A CN 111970519A
Authority
CN
China
Prior art keywords
neural network
video
confusion
video frame
code table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010887027.2A
Other languages
English (en)
Other versions
CN111970519B (zh
Inventor
魏祥麟
俞石云
王彦刚
施伟
杨海涛
王龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202010887027.2A priority Critical patent/CN111970519B/zh
Publication of CN111970519A publication Critical patent/CN111970519A/zh
Application granted granted Critical
Publication of CN111970519B publication Critical patent/CN111970519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/04—Large scale networks; Deep hierarchical networks
    • H04W84/06—Airborne or Satellite Networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Astronomy & Astrophysics (AREA)
  • Multimedia (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种机载视频回传方法，涉及网络数据通信方法技术领域。所述方法包括如下步骤：参数训练与部署：将训练得到的压缩加密神经网络、目标识别神经网络和计算得到的混淆置乱码表加载到机载发送端，将训练得到的解压缩解密神经网络、目标识别神经网络和计算得到的解混淆置乱码表加载到视频接收端；视频数据采集与传输：飞机到达任务区域后，由机载发送端将机载摄像头拍摄的视频，经由无线通信信道，回传到视频接收端；参数更新与部署。所述方法具有对传输带宽要求低，且恢复出的视频一致性高等优点。

Description

机载视频回传方法
技术领域
本发明涉及网络数据通信方法技术领域，尤其涉及一种机载视频回传方法。
背景技术
在灾害预警响应、远海维权执法等应用场景中，通过部署携带摄像头的有人或无人飞机，可以第一时间获得任务地域的视频信息。机载视频信息回传到控制中心后，可以为控制决策提供依据，具有重要的经济和社会价值。但是，机载场景下，视频回传所采用的无线通信信道或网络链路带宽较小且不稳定，难以传输原始视频流，需要进行视频压缩传输。此外，为了避免回传的视频被第三方捕获，还需要对视频进行加密或混淆处理，保证传输安全性。现有技术中对视频的压缩和加密通常分开进行。
视频压缩具有多种标准，如H.264、AVS等，其中一些已经应用到机载视频处理上。例如：中国发明专利申请“一种无人机机载多传感器多处理器的视频压缩处理方法和装置”(申请号：202010211934.5，公开号：CN 111314710A，公开日：2020年6月19日)，采用H.264标准对无人机载视频进行压缩。但其并未考虑视频加密问题。
视频加密一般通过顺序置乱、混沌系统、选择性加密等方法完成。例如：中国发明专利申请“基于滑动加密窗口的混沌视频加密方法”(申请号：201810017207.8，公开号：CN108199823 A，公开日：2018年6月22日)采用混沌系统和量子细胞神经网络对H.264视频进行加密。但由于混沌系统的帧间依赖性，该方法难以解决传输过程中数据丢失带来的问题。
深度神经网络具有发现图像中隐含特征的能力，因而近年来被广泛应用于图像识别和分类研究，也可以用于进行图像压缩和加密处理。例如：文献“基于神经网络的视频加密与压缩技术的研究”，(大连理工大学，硕士论文，2009年6月)，提出了基于BP神经网络将视频加密和压缩一体化完成的方法。包括首先训练一个包含1个输入层、1个输出层和1个隐含层的BP神经网络用于图像压缩和恢复，然后利用由输入层和隐含层构成的神经网络进行视频压缩和加密，之后采用由隐含层和输出层构成的神经网络进行视频解压缩和解密，并由发送端将BP神经网络的结构和参数通过信道传输到接收端。
但是，该方法存在的问题是：1)由于需要将神经网络的参数与压缩和加密后的视频流一起传输，当前典型神经网络参数规模可以高达几十甚至几百兆比特，远大于机载视频的无线信道带宽的承载能力，难以适用；2)BP神经网络的有损压缩过程使得恢复出的视频与原始视频存在一定的不一致性，如何提高接收端恢复出的视频与发送端的视频的一致性缺乏手段。
发明内容
本发明所要解决的技术问题是如何提供一种对传输带宽要求低，且恢复出的视频一致性高的机载视频回传方法。
为解决上述技术问题，本发明所采取的技术方案是：一种机载视频回传方法，其特征在于包括如下步骤：
参数训练与部署：将训练得到的压缩加密神经网络、目标识别神经网络和计算得到的混淆置乱码表部署到机载发送端，将训练得到的解压缩解密神经网络、目标识别神经网络和计算得到的解混淆置乱码表部署到视频接收端；
视频数据采集与传输：飞机到达任务区域后，由机载发送端将机载摄像头拍摄的视频，经由无线通信信道，回传到视频接收端；
参数更新与部署：飞机完成视频采集返回后，根据导出的拍摄的原始视频、接收端恢复出的视频、接收端一致性校验的结果，进行压缩加密神经网络、解压缩解密神经网络、目标识别神经网络的更新训练，计算新的混淆置乱码表、解混淆置乱码表，并将更新后的数据部署到机载发送端和视频接收端，供下次任务执行使用。
采用上述技术方案所产生的有益效果在于：第一，对传输带宽要求低：本申请对机载视频进行压缩和加密，但不需要传输庞大的神经网络参数，显著降低了传输的数据量，因而可以更好地适应机载环境下无线通信信道带宽受限的场景。
第二，接发一致性好：本申请通过在接收端和发送端加入一致性校验功能，并基于一致性校验结果进行神经网络参数更新与部署，可以不断提升接收端恢复视频与机载发送端视频的一致性，更好地适应环境的变化。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明实施例所述方法的流程图；
图2是本发明实施例所述方法中参数训练与部署步骤的流程图；
图3是本发明实施例所述方法中视频数据采集与传输步骤的流程图；
图4是本发明实施例所述系统的通信原理框图；
图5是本发明实施例所述系统的原理框图；
图6是本发明实施例所述系统中参数训练与部署模块的原理框图；
图7是本发明实施例所述系统中视频数据采集与传输模块的原理框图。
图8是本发明实施例所述方法中的混淆置乱码表示意图；
图9是本发明实施例所述方法中的解混淆置乱码表示意图；
图10是本发明实施例所述方法中的混淆置乱过程示意图；
图11是本发明实施例所述方法中的解混淆置乱过程示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
如图1所示，本发明实施例公开了一种机载视频回传方法，所述方法包括如下步骤：
S101：参数训练与部署：将训练得到的压缩加密神经网络、目标识别神经网络和计算得到的混淆置乱码表加载到机载发送端，将训练得到的解压缩解密神经网络、目标识别神经网络和计算得到的解混淆置乱码表加载到视频接收端；
S102：视频数据采集与传输：飞机到达任务区域后，由机载发送端将机载摄像头拍摄的视频，经由无线通信信道，回传到视频接收端；
S103：参数更新与部署：飞机完成视频采集返回后，根据导出的拍摄的原始视频、接收端恢复出的视频、接收端一致性校验的结果，进行压缩加密神经网络、解压缩解密神经网络、目标识别神经网络的更新训练，计算新的混淆置乱码表、解混淆置乱码表，并将更新后的数据加载到机载发送端和视频接收端，供下次任务执行使用。
进一步的，如图2所示，所述步骤S101参数训练与部署的方法包括如下步骤：
S1011：加密解密神经网络训练：将飞机采集的视频帧作为训练数据，依据无线通信信道带宽，设计压缩加密和解压缩解密神经网络的结构，采用端到端迭代联合训练方法，同时进行压缩加密和解压缩解密神经网络训练，压缩加密神经网络的目标是视频帧的最紧凑表示，解压缩解密神经网络的训练目标是最小化恢复的视频帧与输入帧的差异；
所述压缩加密和解压缩解密神经网络可以采用卷积神经网络或全连接神经网络实现，视频帧的尺寸和颜色(彩色或灰度)决定压缩加密神经网络的输入层的神经元数量和通道数量，压缩加密神经网络的输出层的神经元数量取决于无线通信信道的带宽，解压缩解密神经网络的输入层神经元数量等于压缩加密神经网络输出层的神经元数量，解压缩解密神经网络的输出层神经元数量和通道数量取决于视频帧的尺寸和颜色，压缩加密神经网络的层数、解压缩解密神经网络的层数取决于机载计算单元和接收方计算单元的计算能力，例如，压缩加密神经网络层数取为3-5层，解压缩解密神经网络的层数取为5-10层；
所述压缩加密和解压缩解密神经网络训练可以采用误差反向传播方法进行端到端迭代联合训练，迭代联合训练的目标是使得解压缩解密神经网络的输出视频帧与输入视频帧的质量差异最小化，进而更新压缩加密和解压缩解密神经网络的参数，例如，当采用卷积神经网络作为压缩加密和解压缩解密神经网络时，可以采用文献“An End-to-EndCompression Framework Based on Convolutional Neural Networks”(IEEETransactions on Circuits and Systems for Video Technology，第28卷，第10期，3007页–3018页，2018年10月)所提出的端到端方法进行训练；
所述视频帧的最紧凑表示是指压缩加密神经网络的输出层数据量小于无线通信信道的带宽约束，根据此约束设计压缩加密神经网络输出层神经元数量，并根据设计的网络结构，在满足解压缩解密神经网络恢复的视频帧与输入视频帧的质量差异小于约束阈值的情况下，使得压缩加密神经网络的参数最优；
所述约束阈值可以根据视频传输质量需求确定，例如，采用峰值信噪比设定阈值；
所述恢复的视频帧与输入帧的差异是指，解压缩解密神经网络输出层得到的视频帧与输入视频帧的差别，可以采用欧式距离、峰值信噪比等指标进行评价；
S1012：混淆置乱码表计算：根据压缩加密神经网络的输出层神经元数量b和发送端识别目标信息向量的长度c，确定混淆置乱码表、解混淆置乱码表的列数为b+c，生成随机种子，产生1个包含k行b+c列的混淆置乱码表、1个包含k行b+c列的解混淆置乱码表；
所述混淆置乱码表表达为表格形式，共k行，每行包含一个长度为b+c的数值向量，实现压缩加密神经网络输出数据和发送端目标识别信息的置乱，从而去除相邻视频帧加密后的相关性，增强传输安全性；
所述解混淆置乱码表表达为表格形式，共k行，每行包含一个长度为b+c的数值向量，用于在接收端实现对接收到数据的解混淆置乱；
例如，一种混淆置乱码表和解混淆置乱码表的产生方法是：采用当前时钟作为随机种子，产生k个随机数，对于混淆置乱码表的第i行，采用第i个随机数作为种子，产生b+c个位于0至g之间的随机数，然后确定该行对应的混淆置乱函数fi，如图8所示，给出了一种示例混淆置乱码表的结构，其中Ei,j表示混淆置乱码表的第i行的第j列的元素，fi是混淆置乱码表第i行对应的混淆置乱函数，该混淆置乱码表对应的解混淆置乱码表表示形式与其相同，如图9所示，Qi,j表示解混淆置乱码表的第i行的第j列的元素，qi是解混淆置乱码表第i行对应的解混淆置乱函数；
所述随机数的上界g可以根据可识别目标数量的数值编码的最大值确定；
所述混淆置乱码表中行的数量k可以根据应用环境选择，比如1000、2000等，当然还可以为其他数量；
S1013：目标识别神经网络训练：将飞机采集的视频帧和标注的目标集合作为训练数据，训练目标识别神经网络；
所述目标识别神经网络可以采用深度卷积神经网络架构，例如采用YOLO v3算法，基于飞机采集的视频帧和人工标注的目标集合，采用误差反向传播进行参数训练，最大化目标识别精度，得到YOLO v3算法的最优参数，当然还可以采用其他算法；
所述目标集合由人工确定，并对每个目标进行数值编码，便于目标间的区分和发送端目标识别信息的表示；
S1014：神经网络与置乱码表部署：将压缩加密神经网络、目标识别神经网络和混淆置乱码表加载到机载发送端，将解压缩解密神经网络、目标识别神经网络和解混淆置乱码表加载到接收端。
进一步的，如图3所示，所述视频数据采集与传输的方法包括如下步骤：
S1021：视频数据采集：机载摄像头采集视频数据，得到一个视频帧，对视频帧进行累加编号，当编号值累加为最大值m时，重置视频帧编号为1，然后将视频帧传输到机载发送端；
所述编号最大值m可以根据飞机飞行时长确定，以避免短时间内编号重复为原则，比如以1个小时内视频帧编号不重复为原则确定m的取值；
S1022：视频帧目标识别：机载发送端采用目标识别神经网络识别视频帧中的目标，得到发送端识别目标信息；
所述目标识别神经网络可以采用包括YOLO v3算法在内的卷积神经网络实现，将视频帧作为S1013步骤训练得到的YOLO v3算法的输入，对视频帧中进行目标识别，将识别结果中的每个目标所对应的数值编码组成一个长度为c的数值向量；
S1023：视频帧压缩加密：机载发送端采用压缩加密神经网络对视频帧进行压缩加密，得到压缩视频帧；
所述视频帧压缩加密，是指将视频帧作为压缩加密神经网络的输入，进行正向神经网络计算，将所得到的压缩加密神经网络输出层神经元的值作为输出的压缩视频帧，然后表示为大小为b的向量；
S1024：数据混淆编码：机载发送端选择混淆置乱码表中视频帧编号模k得到的数字加1所对应的行及该行的混淆置乱函数，对压缩视频帧、发送端识别目标信息进行数据混淆置乱；
所述数据置乱混淆是指，将压缩视频帧和发送端识别目标信息组合为长度为b+c的数值向量，然后视频帧编号模k得到的数字加1所对应的混淆置乱码表的行及该行的混淆置乱函数，进行压缩视频帧、发送端识别目标信息的混淆置乱；
例如，当编号模k得到的数字加1等于i时，混淆置乱码表的第i行被选择进行混淆置乱，对于给定的长度为b+c的向量的第j个元素gj，采用第i行对应的置乱混淆函数fi对其进行混淆，fi(gj)＝gj+Ei,j，1≤i≤k，1≤j≤b+c，如图10所示；
S1025：混淆数据传输：机载发送端将混淆置乱后的数据通过无线通信信道进行传输；所述无线通信信道可以是飞机到通信中继卫星、中继卫星到接收端的卫星信道，也可以是飞机之间建立的空中中继信道等，图4给出了通过中继卫星作为无线通信信道的场景；
S1026：混淆数据解码：接收端从无线通信信道接收混淆数据，基于解混淆置乱码表中接收视频帧编号模k得到的数字加1所对应的行及该行对应的解混淆置乱函数，对混淆数据进行解混淆置乱，得到压缩视频帧和发送端识别目标信息；
所述对混淆数据进行解混淆置乱是指，采用接收视频帧编号模k得到的数字加1所对应的解混淆置乱码表所在行及该行对应的解混淆置乱函数，对长度为b+c的混淆数据进行解混淆置乱，并将解混淆置乱后得到的前b个元素作为压缩视频帧，后c个元素作为发送端识别目标信息；
例如，当接收视频帧编号模k得到的数字加1等于i时，选择解混淆置乱码表的第i行进行解混淆置乱，使用该行对应的解混淆置乱函数qi，对接收到的数据进行解混淆置乱，对于给定混淆数据的第j个元素pj，qi(pj)＝pj-Qi,j，其中Qi,j是解混淆置乱码表的第i行的第j个元素，如图11所示，此时Qi,j＝Ei,j，且函数fi和qi的操作互逆，1＜i≤k，1＜j≤b+c；
S1027：视频帧解压缩：接收端采用解压缩解密神经网络对压缩视频帧进行解压缩和解密，得到恢复视频帧；
所述对压缩视频帧进行解压缩和解密是指，采用解压缩解密神经网络，将步骤S1026混淆数据解码中得到的压缩视频帧作为解压缩解密神经网络的输入，进行正向神经网络计算，将解压缩解密神经网络的输出作为恢复出的视频帧；
S1028：视频帧识别：接收端采用目标识别神经网络对恢复视频帧进行目标识别，得到接收端目标识别信息；
所述对恢复视频帧进行目标识别，是指将步骤S1027视频帧解压缩中得到的恢复视频帧作为目标识别神经网络的输入，进行正向神经网络计算，得到接收端目标识别信息；
所述目标识别神经网络可以采用包括YOLO v3算法等进行实现；
所述接收端目标识别信息可以表示为，目标识别神经网络从恢复视频帧中识别出的每个目标所对应的数值编码所组成的向量；
S1029：一致性校验：接收端对比发送端识别目标信息和接收端目标识别信息，计算二者的匹配程度，匹配程度小于阈值a时，标记该帧为校验未通过帧，将其存储到校验未通过视频帧集合中；
所述匹配程度定义为：发送端识别的目标中被接收端识别出的比例；
所述阈值a根据任务的重要性以及对神经网络训练的开销容忍程度确定，0＜a≤1。
本发明所述方法对机载视频进行了压缩和加密，但不需要传输庞大的神经网络参数，显著降低了传输的数据量，因而不再因为需要将高达几十甚至几百兆比特的神经网络的参数与压缩和加密后的视频流一起传输，从而可以更好地适应机载环境下无线通信信道带宽受限的场景。且所述方法通过在接收端加入一致性校验功能，并基于一致性校验结果进行神经网络参数更新与部署，可以不断提升接收端恢复视频与机载发送端视频的一致性，更好地适应环境的变化。
相应的，如图4-5所示，本发明还公开了一种使用上述方法的机载视频回传系统，包括：
参数训练与部署模块101：用于将训练得到的压缩加密神经网络、目标识别神经网络和计算得到的混淆置乱码表加载到机载发送端，并将训练得到的解压缩解密神经网络、目标识别神经网络和计算得到的解混淆置乱码表加载到视频接收端；
视频数据采集与传输模块102：用于在飞机到达任务区域后，由机载发送端将机载摄像头拍摄的视频经由无线通信信道回传到视频接收端；
参数更新与部署模块103：用于在飞机完成视频采集返回后，根据导出的拍摄的原始视频、接收端恢复出的视频、接收端一致性校验的结果，进行压缩加密神经网络、解压缩解密神经网络、目标识别神经网络的更新训练，计算新的混淆置乱码表、解混淆置乱码表，并将更新后的数据加载到机载发送端和视频接收端，供下次任务执行使用。
进一步的，如图6所示，所述参数训练与部署模块101包括：
加密解密神经网络训练模块1011：用于将飞机采集的视频帧作为训练数据，依据无线通信信道带宽，设计压缩加密和解压缩解密神经网络的结构，采用端到端迭代联合训练端方法，同时进行压缩加密和解压缩解密神经网络训练，压缩加密神经网络的目标是视频帧的最紧凑表示，解压缩解密神经网络的训练目标是最小化恢复的视频帧与输入帧的差异；所述压缩加密和解压缩解密神经网络可以采用卷积神经网络或全连接神经网络实现；
所述压缩加密和解压缩解密神经网络可以采用卷积神经网络或全连接神经网络实现，视频帧的尺寸和颜色(彩色或灰度)决定压缩加密神经网络的输入层的神经元数量和通道数量，压缩加密神经网络的输出层的神经元数量取决于无线通信信道的带宽，解压缩解密神经网络的输入层神经元数量等于压缩加密神经网络输出层的神经元数量，解压缩解密神经网络的输出层神经元数量和通道数量取决于视频帧的尺寸和颜色，压缩加密神经网络的层数、解压缩解密神经网络的层数取决于机载计算单元和接收方计算单元的计算能力，例如，压缩加密神经网络层数取为3-5层，解压缩解密神经网络的层数取为5-10层；
所述压缩加密和解压缩解密神经网络训练可以采用误差反向传播方法进行端到端迭代联合训练，迭代联合训练的目标是使得解压缩解密神经网络的输出视频帧与输入视频帧的质量差异最小化，进而更新压缩加密和解压缩解密神经网络的参数，例如，当采用卷积神经网络作为压缩加密和解压缩解密神经网络时，可以采用文献“An End-to-EndCompression Framework Based on Convolutional Neural Networks”(IEEETransactions on Circuits and Systems for Video Technology，第28卷，第10期，3007页–3018页，2018年10月)所提出的端到端方法进行训练；
所述视频帧的最紧凑表示是指压缩加密神经网络的输出层数据量小于无线通信信道的带宽约束，根据此约束设计压缩加密神经网络输出层神经元数量，并根据设计的网络结构，在满足解压缩解密神经网络恢复的视频帧与输入视频帧的质量差异小于约束阈值的情况下，使得压缩加密神经网络的参数最优；
所述约束阈值可以根据视频传输质量需求确定，例如，采用峰值信噪比设定阈值；
所述恢复的视频帧与输入帧的差异是指，解压缩解密神经网络输出层得到的视频帧与输入视频帧的差别，可以采用欧式距离、峰值信噪比等指标进行评价；
混淆置乱码表计算模块1012：用于根据压缩加密神经网络的输出层神经元数量b和发送端识别目标信息向量的长度c，确定混淆置乱码表、解混淆置乱码表的列数为b+c，生成随机种子，产生1个包含k行b+c列的混淆置乱码表、1个包含k行b+c列的解混淆置乱码表；
所述混淆置乱码表表达为表格形式，共k行，每行包含一个长度为b+c的数值向量，实现压缩加密神经网络输出数据和发送端目标识别信息的置乱，从而去除相邻视频帧加密后的相关性，增强传输安全性；
所述解混淆置乱码表表达为表格形式，共k行，每行包含一个长度为b+c的数值向量，用于在接收端实现对接收到数据的解混淆置乱；
例如，一种混淆置乱码表和解混淆置乱码表的产生方法是：采用当前时钟作为随机种子，产生k个随机数，对于混淆置乱码表的第i行，采用第i个随机数作为种子，产生b+c个位于0至g之间的随机数，然后确定该行对应的混淆置乱函数fi，如图8所示，给出了一种示例混淆置乱码表的结构，其中Ei,j表示混淆置乱码表的第i行的第j列的元素，fi是混淆置乱码表第i行对应的混淆置乱函数，该混淆置乱码表对应的解混淆置乱码表表示形式与其相同，如图9所示，Qi,j表示解混淆置乱码表的第i行的第j列的元素，qi是解混淆置乱码表第i行对应的解混淆置乱函数；
所述随机数的上界g可以根据可识别目标数量的数值编码的最大值确定；
所述混淆置乱码表中行的数量k可以根据应用环境选择，比如1000、2000等，当然还可以为其他数量。
目标识别神经网络训练模块1013：用于将飞机采集的视频帧和标注的目标集合作为训练数据，训练目标识别神经网络；
所述目标识别神经网络可以采用深度卷积神经网络架构，例如采用YOLO v3算法，基于飞机采集的视频帧和人工标注的目标集合，采用误差反向传播进行参数训练，最大化目标识别精度，得到YOLO v3算法的最优参数，当然还可以采用其他算法；
所述目标集合由人工确定，并对每个目标进行数值编码，便于目标间的区分和发送端目标识别信息的表示；
神经网络与置乱码表部署模块1014：用于将压缩加密神经网络、目标识别神经网络和混淆置乱码表加载到机载发送端，将解压缩解密神经网络、目标识别神经网络和解混淆置乱码表加载到接收端。
进一步的，如图7所示，所述视频数据采集与传输模块102包括：
视频数据采集模块1021：机载摄像头采集视频数据，得到一个视频帧，对视频帧进行累加编号，当编号值累加为最大值m时，重置视频帧编号为1，然后将视频帧传输到机载发送端；
所述编号最大值m可以根据飞机飞行时长确定，以避免短时间内编号重复为原则，比如以1个小时内视频帧编号不重复为原则确定m的取值；
视频帧目标识别模块1022：机载发送端采用目标识别神经网络识别视频帧中的目标，得到发送端识别目标信息；
所述目标识别神经网络可以采用包括YOLO v3算法在内的卷积神经网络实现，将视频帧作为S1013步骤训练得到的YOLO v3算法的输入，对视频帧中进行目标识别，将识别结果中的每个目标所对应的数值编码组成一个长度为c的数值向量；
视频帧压缩加密模块1023：机载发送端采用压缩加密神经网络对视频帧进行压缩加密，得到压缩视频帧；
所述视频帧压缩加密，是指将视频帧作为压缩加密神经网络的输入，进行正向神经网络计算，将所得到的压缩加密神经网络输出层神经元的值作为输出的压缩视频帧，然后表示为大小为b的向量；
数据混淆编码模块1024：机载发送端选择混淆置乱码表中视频帧编号模k得到的数字加1所对应的行及该行的混淆置乱函数，对压缩视频帧、发送端识别目标信息进行数据混淆置乱；
所述数据置乱混淆是指，将压缩视频帧和发送端识别目标信息组合为长度为b+c的数值向量，然后视频帧编号模k得到的数字加1所对应的混淆置乱码表的行及该行的混淆置乱函数，进行压缩视频帧、发送端识别目标信息的混淆置乱；
例如，当编号模k得到的数字加1等于i时，混淆置乱码表的第i行被选择进行混淆置乱，对于给定的长度为b+c的向量的第j个元素gj，采用第i行对应的置乱混淆函数fi对其进行混淆，fi(gj)＝gj+Ei,j，1≤i≤k，1≤j≤b+c，如图10所示；
混淆数据传输模块1025：机载发送端将混淆置乱后的数据通过无线通信信道进行传输；所述无线通信信道可以是飞机到通信中继卫星、中继卫星到接收端的卫星信道，也可以是飞机之间建立的空中中继信道等，图4给出了通过中继卫星作为无线通信信道的场景；
混淆数据解码模块1026：接收端从无线通信信道接收混淆数据，基于解混淆置乱码表中接收视频帧编号模k得到的数字加1所对应的行及该行对应的解混淆置乱函数，对混淆数据进行解混淆置乱，得到压缩视频帧和发送端识别目标信息；
所述对混淆数据进行解混淆置乱是指，采用接收视频帧编号模k得到的数字加1所对应的解混淆置乱码表所在行及该行对应的解混淆置乱函数，对长度为b+c的混淆数据进行解混淆置乱，并将解混淆置乱后得到的前b个元素作为压缩视频帧，后c个元素作为发送端识别目标信息；
例如，当接收视频帧编号模k得到的数字加1等于i时，选择解混淆置乱码表的第i行进行解混淆置乱，使用该行对应的解混淆置乱函数qi，对接收到的数据进行解混淆置乱，对于给定混淆数据的第j个元素pj，qi(pj)＝pj-Qi,j，其中Qi,j是解混淆置乱码表的第i行的第j个元素，如图11所示，此时Qi,j＝Ei,j，且函数fi和qi的操作互逆，1＜i≤k，1＜j≤b+c；
视频帧解压缩模块1027：接收端采用解压缩解密神经网络对压缩视频帧进行解压缩和解密，得到恢复视频帧；
所述对压缩视频帧进行解压缩和解密是指，采用解压缩解密神经网络，将混淆数据解码模块1026混淆数据解码中得到的压缩视频帧作为解压缩解密神经网络的输入，进行正向神经网络计算，将解压缩解密神经网络的输出作为恢复出的视频帧；
视频帧识别模块1028：接收端采用目标识别神经网络对恢复视频帧进行目标识别，得到接收端目标识别信息；
所述对恢复视频帧进行目标识别，是指将步骤S1027视频帧解压缩中得到的恢复视频帧作为目标识别神经网络的输入，进行正向神经网络计算，得到接收端目标识别信息；
所述目标识别神经网络可以采用包括YOLO v3算法等进行实现；
所述接收端目标识别信息可以表示为，目标识别神经网络从恢复视频帧中识别出的每个目标所对应的数值编码所组成的向量；
一致性校验模块1029：接收端对比发送端识别目标信息和接收端目标识别信息，计算二者的匹配程度，匹配程度小于阈值a时，标记该帧为校验未通过帧，将其存储到校验未通过视频帧集合中；
所述匹配程度定义为：发送端识别的目标中被接收端识别出的比例；
所述阈值a根据任务的重要性以及对神经网络训练的开销容忍程度确定，0＜a≤1。
本发明所述系统对机载视频进行了压缩和加密，但不需要传输庞大的神经网络参数，显著降低了传输的数据量，因而不再因为需要将高达几十甚至几百兆比特的神经网络的参数与压缩和加密后的视频流一起传输，从而可以更好地适应机载环境下无线通信信道带宽受限的场景。且所述系统通过在接收端加入一致性校验功能，并基于一致性校验结果进行神经网络参数更新与部署，可以不断提升接收端恢复视频与机载发送端视频的一致性，更好地适应环境的变化。

Claims (10)

1.一种机载视频回传方法，其特征在于包括如下步骤：
参数训练与部署：将训练得到的压缩加密神经网络、目标识别神经网络和计算得到的混淆置乱码表加载到机载发送端，将训练得到的解压缩解密神经网络、目标识别神经网络和计算得到的解混淆置乱码表加载到视频接收端；
视频数据采集与传输：飞机到达任务区域后，由机载发送端将机载摄像头拍摄的视频，经由无线通信信道，回传到视频接收端；
参数更新与部署：飞机完成视频采集返回后，根据导出的拍摄的原始视频、接收端恢复出的视频、接收端一致性校验的结果，进行压缩加密神经网络、解压缩解密神经网络、目标识别神经网络的更新训练，计算新的混淆置乱码表、解混淆置乱码表，并将更新后的数据加载到机载发送端和视频接收端，供下次任务执行使用。
2.如权利要求1所述的机载视频回传方法，其特征在于，所述步骤参数训练与部署中加密解密神经网络训练的方法如下：
将飞机采集的视频帧作为训练数据，依据无线通信信道带宽，设计压缩加密和解压缩解密神经网络的结构，采用端到端迭代联合训练方法，同时进行压缩加密和解压缩解密神经网络训练，压缩加密神经网络的目标是视频帧的最紧凑表示，解压缩解密神经网络的训练目标是最小化恢复的视频帧与输入帧的差异。
3.如权利要求1所述的机载视频回传方法，其特征在于，所述步骤参数训练与部署中混淆置乱码表的方法如下：
根据压缩加密神经网络的输出层神经元数量b和发送端识别目标信息向量的长度c，确定混淆置乱码表、解混淆置乱码表的列数为b+c，生成随机种子，产生1个包含k行b+c列的混淆置乱码表、1个包含k行b+c列的解混淆置乱码表；
所述混淆置乱码表表达为表格形式，共k行，每行包含一个长度为b+c的数值向量，实现压缩加密神经网络输出数据和发送端目标识别信息的置乱；
所述解混淆置乱码表表达为表格形式，共k行，每行包含一个长度为b+c的数值向量，用于在接收端实现对接收到数据的解混淆置乱。
4.如权利要求1所述的机载视频回传方法，其特征在于，所述步骤参数训练与部署中：
目标识别神经网络训练的方法如下：将飞机采集的视频帧和标注的目标集合作为训练数据，训练目标识别神经网络。
5.如权利要求1所述的机载视频回传方法，其特征在于，所述步骤参数训练与部署中：
神经网络与置乱码表部署的方法如下：将压缩加密神经网络、目标识别神经网络和混淆置乱码表加载到机载发送端，将解压缩解密神经网络、目标识别神经网络和解混淆置乱码表加载到接收端。
6.如权利要求1所述的机载视频回传方法，其特征在于，所述视频数据采集与传输的方法如下：
视频数据采集：机载摄像头采集视频数据，得到一个视频帧，对视频帧进行累加编号，当编号值累加为最大值m时，重置视频帧编号为1，然后将视频帧传输到机载发送端；
视频帧目标识别：机载发送端采用目标识别神经网络识别视频帧中的目标，得到发送端识别目标信息；
视频帧压缩加密：机载发送端采用压缩加密神经网络对视频帧进行压缩加密，得到压缩视频帧；
数据混淆编码：机载发送端选择混淆置乱码表中视频帧编号模k得到的数字加1所对应的行及该行的混淆置乱函数，对压缩视频帧、发送端识别目标信息进行数据混淆置乱；
混淆数据传输：机载发送端将混淆置乱后的数据通过无线通信信道进行传输；
混淆数据解码：接收端从无线通信信道接收混淆数据，基于解混淆置乱码表中接收视频帧编号模k得到的数字加1所对应的行及该行对应的解混淆置乱函数，对混淆数据进行解混淆置乱，得到压缩视频帧和发送端识别目标信息；
视频帧解压缩：接收端采用解压缩解密神经网络对压缩视频帧进行解压缩和解密，得到恢复视频帧；
视频帧识别：接收端采用目标识别神经网络对恢复视频帧进行目标识别，得到接收端目标识别信息；
一致性校验：接收端对比发送端识别目标信息和接收端目标识别信息，计算二者的匹配程度，匹配程度小于阈值a时，标记该帧为校验未通过帧，将其存储到校验未通过视频帧集合中；
所述匹配程度定义为：发送端识别的目标中被接收端识别出的比例；
所述阈值a根据任务的重要性以及对神经网络训练的开销容忍程度确定，
Figure 635061DEST_PATH_IMAGE001
。
7.如权利要求2所述的机载视频回传方法，其特征在于：
所述压缩加密神经网络和解压缩解密神经网络采用卷积神经网络或全连接神经网络实现，视频帧的尺寸和颜色决定压缩加密神经网络的输入层的神经元数量和通道数量，压缩加密神经网络的输出层的神经元数量取决于无线通信信道的带宽，解压缩解密神经网络的输入层神经元数量等于压缩加密神经网络输出层的神经元数量，解压缩解密神经网络的输出层神经元数量和通道数量取决于视频帧的尺寸和颜色，压缩加密神经网络的层数、解压缩解密神经网络的层数取决于机载计算单元和接收方计算单元的计算能力；
所述压缩加密神经网络和解压缩解密神经网络训练采用误差反向传播方法进行端到端迭代联合训练，迭代联合训练的目标是使得解压缩解密神经网络的输出视频帧与输入视频帧的质量差异最小化，进而更新压缩加密和解压缩解密神经网络的参数；
所述视频帧的最紧凑表示是指压缩加密神经网络的输出层数据量小于无线通信信道的带宽约束，根据此约束设计压缩加密神经网络输出层神经元数量，并根据设计的网络结构，在满足解压缩解密神经网络恢复的视频帧与输入视频帧的质量差异小于约束阈值的情况下，使得压缩加密神经网络的参数最优；
所述约束阈值根据视频传输质量需求确定；
所述恢复的视频帧与输入帧的差异是指，解压缩解密神经网络输出层得到的视频帧与输入视频帧的差别。
8.如权利要求3所述的机载视频回传方法，其特征在于，混淆置乱码表和解混淆置乱码表的产生方法是：
采用当前时钟作为随机种子，产生k个随机数，对于混淆置乱码表的第i行，采用第i个随机数作为种子，产生b+c个位于0至g之间的随机数，然后确定该行对应的混淆置乱函数fi；所述随机数的上界g根据可识别目标数量的数值编码的最大值确定。
9.如权利要求6所述的机载视频回传方法，其特征在于：
当接收视频帧编号模k得到的数字加1等于i时，混淆置乱码表的第i行被选择进行混淆置乱，对于给定的长度为b+c的向量的第j个元素gj，采用第i行对应的置乱混淆函数fi对其进行混淆，fi(gj)=gj+Ei,j，
Figure 295849DEST_PATH_IMAGE002
，Ei,j表示混淆置乱码表的第i行的第j列的元素。
10.如权利要求6所述的机载视频回传方法，其特征在于：
当接收视频帧编号模k得到的数字加1等于i时，选择解混淆置乱码表的第i行进行解混淆置乱，使用该行对应的解混淆置乱函数qi，对接收到的数据进行解混淆置乱，对于给定混淆数据的第j个元素pj，qi(pj)= pj-Qi,j，其中Qi,j是解混淆置乱码表的第i行的第j个元素，此时Qi,j=Ei,j，且函数fi和qi的操作互逆，
Figure 579063DEST_PATH_IMAGE003
，
Figure 978689DEST_PATH_IMAGE004
。
CN202010887027.2A 2020-08-28 2020-08-28 机载视频回传方法 Active CN111970519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010887027.2A CN111970519B (zh) 2020-08-28 2020-08-28 机载视频回传方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010887027.2A CN111970519B (zh) 2020-08-28 2020-08-28 机载视频回传方法

Publications (2)

Publication Number Publication Date
CN111970519A true CN111970519A (zh) 2020-11-20
CN111970519B CN111970519B (zh) 2021-06-15

Family

ID=73400831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010887027.2A Active CN111970519B (zh) 2020-08-28 2020-08-28 机载视频回传方法

Country Status (1)

Country Link
CN (1) CN111970519B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113726979A (zh) * 2021-07-31 2021-11-30 浪潮电子信息产业股份有限公司 一种图片加密方法、解密方法、加密系统及相关装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102123026A (zh) * 2011-04-12 2011-07-13 南开大学 基于混沌与超混沌的两层次视频流媒体加密方法
US20150193693A1 (en) * 2014-01-06 2015-07-09 Cisco Technology, Inc. Learning model selection in a distributed network
CN105791853A (zh) * 2016-03-04 2016-07-20 广东工业大学 一种h.264编码后加密的嵌入式视频混沌保密通信方法
CN107547773A (zh) * 2017-07-26 2018-01-05 新华三技术有限公司 一种图像处理方法、装置及设备
CN108133447A (zh) * 2016-12-01 2018-06-08 钦州市晶通科技有限公司 一种彩色图像的混沌加密方法
CN109361447A (zh) * 2018-09-10 2019-02-19 清华大学 基于机器学习的遥测数据弹性传输方法及装置
CN110557638A (zh) * 2019-10-28 2019-12-10 广东电网有限责任公司 一种巡检无人机通信网络切换方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102123026A (zh) * 2011-04-12 2011-07-13 南开大学 基于混沌与超混沌的两层次视频流媒体加密方法
US20150193693A1 (en) * 2014-01-06 2015-07-09 Cisco Technology, Inc. Learning model selection in a distributed network
CN105791853A (zh) * 2016-03-04 2016-07-20 广东工业大学 一种h.264编码后加密的嵌入式视频混沌保密通信方法
CN108133447A (zh) * 2016-12-01 2018-06-08 钦州市晶通科技有限公司 一种彩色图像的混沌加密方法
CN107547773A (zh) * 2017-07-26 2018-01-05 新华三技术有限公司 一种图像处理方法、装置及设备
CN109361447A (zh) * 2018-09-10 2019-02-19 清华大学 基于机器学习的遥测数据弹性传输方法及装置
CN110557638A (zh) * 2019-10-28 2019-12-10 广东电网有限责任公司 一种巡检无人机通信网络切换方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FENG JIANG ET AL: "《An End-to-End Compression Framework Based on Convolutional Neural Networks》", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113726979A (zh) * 2021-07-31 2021-11-30 浪潮电子信息产业股份有限公司 一种图片加密方法、解密方法、加密系统及相关装置
CN113726979B (zh) * 2021-07-31 2024-04-26 浪潮电子信息产业股份有限公司 一种图片加密方法、解密方法、加密系统及相关装置

Also Published As

Publication number Publication date
CN111970519B (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
Conoscenti et al. Constant SNR, rate control, and entropy coding for predictive lossy hyperspectral image compression
EP3583777A1 (en) A method and technical equipment for video processing
Manohar et al. Data encryption & decryption using steganography
CN105975866A (zh) 基于同类系数置乱的jpeg图像加密方法
EP2717475B1 (en) Method and apparatus for compression of generalized sensor data
CN111970519B (zh) 机载视频回传方法
US20210225039A1 (en) Predictive Joint Compression and Encryption for Images and Videos
Ravi et al. Optimized wavelet filters and modified huffman encoding-based compression and chaotic encryption for image data
Chamain et al. End-to-End Image Classification and Compression with variational autoencoders
CN111970509A (zh) 一种视频图像的处理方法、装置与系统
Zhang et al. REMT: A real-time end-to-end media data transmission mechanism in UAV-aided networks
Ravi et al. RETRACTED ARTICLE: Image compression using optimized wavelet filter derived from grey wolf algorithm
Zafari et al. Attention-based generative neural image compression on solar dynamics observatory
CN112351151B (zh) 基于fcn的图像信息加密方法及装置
Wang et al. Sparse representation-based hyperspectral data processing: Lossy compression
Rengarajaswamy et al. SPIRT compression on encrypted images
Khelifi et al. Joined spectral trees for scalable SPIHT-based multispectral image compression
Bajpai et al. 3D modified wavelet block tree coding for hyperspectral images
Hawkins III et al. Algorithm for compressing time-series data
Kumar et al. An efficient compression of encrypted images using WDR coding
CN116095339A (zh) 图像传输方法、训练方法、电子设备及可读存储介质
Baviskar et al. Sub-band exchange DWT based image fusion algorithm for enhanced security
Tverdokhlib et al. Technology Increasing Capacity Protected Channel Delivery Video Data Telecommunication Systems Critical Infrastructure
George et al. PWLCM based image encryption through compressive sensing
Ravi et al. A Hybrid Bat‐Genetic Algorithm–Based Novel Optimal Wavelet Filter for Compression of Image Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant