CN109714602B - 一种基于背景模板和稀疏编码的无人机视频压缩方法 - Google Patents

一种基于背景模板和稀疏编码的无人机视频压缩方法 Download PDF

Info

Publication number
CN109714602B
CN109714602B CN201811653152.6A CN201811653152A CN109714602B CN 109714602 B CN109714602 B CN 109714602B CN 201811653152 A CN201811653152 A CN 201811653152A CN 109714602 B CN109714602 B CN 109714602B
Authority
CN
China
Prior art keywords
template
sparse coding
sparse
unmanned aerial
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811653152.6A
Other languages
English (en)
Other versions
CN109714602A (zh
Inventor
王中元
邵振峰
肖晶
何政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201811653152.6A priority Critical patent/CN109714602B/zh
Publication of CN109714602A publication Critical patent/CN109714602A/zh
Application granted granted Critical
Publication of CN109714602B publication Critical patent/CN109714602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于背景模板和稀疏编码的无人机视频压缩方法,通过收集典型地面环境的无人机视频图像,构造模板和残差训练样本集;采用背景建模方法训练模板库;通过非负稀疏编码训练稀疏编码字典;在模板库的基础上,进行模板匹配和残差计算;将残差信息进行非负稀疏分解,得到稀疏编码系数,再对系数进行量化和熵编码。采用本发明方法可有效消除无人机视频中占比最大的地面背景冗余,显著提升无人机视频压缩效率。

Description

一种基于背景模板和稀疏编码的无人机视频压缩方法
技术领域
本发明属于视频编码技术领域,涉及一种无人机视频编码方法,具体涉及一基于背景模板和稀疏编码的无人机视频压缩方法。
技术背景
无人机由于经济环保、安全便捷,现已越来越广泛地应用于土地监测、森林防火、电力巡线、城市管理等领域。
随着机载成像设备能力的迅速提高和小型化,视频影像已经成为无人机获取的一种主要的地面观测信息。无人机从空中获取的影像分辨率高,实时采集的视频数据量庞大,而且无人机只能通过无线方式向地面传送数据,通信带宽受到限制。因此,无人机视频必须经过高倍率的压缩处理。此外,由于机载设备性能和功耗的限制,无人机采用的视频压缩算法运算复杂度不能过高。
目前,无人机视频压缩主要使用H.264、H.265等标准算法,算法核心是基于块的运动补偿/DCT变换的混合编码,算法复杂度较高,无法实现实时压缩和传输。无人机在执行侦察、勘测任务时,大部分飞行高度都在500m以上,航拍视频中独立的运动目标在画幅中所占比例较小,视频内容分布变差大,空间相邻块之间相似性不强,以消除空域冗余为目的DCT变换作用有限。无人机的飞行速度一般在100~300km/h,相邻帧之间存在整体性的全局运动趋势,而且由于无人机机身重量较轻,在飞行过程中容易受到外界环境因素影响,成像平台的微小运动将引起图像序列帧间的较大偏移,因此,无人机视频的运动特性比较复杂,传统的基于块匹配的运动补偿机制难以发挥时域冗余去除效果。
发明内容
为了解决上述技术问题,本发明综合背景建模、非负稀疏编码和结构化的字典学习等技术,开拓性地提出了一种适合于无人机应用环境下的无人机视频压缩方法。
本发明所采用的技术方案是:一种基于背景模板和稀疏编码的无人机视频压缩方法,其特征在于,包括以下步骤:
步骤1:收集不同场景地面环境的无人机视频图像,构造模板样本数据集和残差样本数据集,分别用于后续的模板库和稀疏编码字典训练;
步骤2:利用构造的模板样本数据集,采用背景建模方法训练模板样本数据集,得到模板库;
步骤3:利用构造的残差样本数据集,通过非负稀疏编码训练残差样本数据集,得到稀疏编码字典;
步骤4:根据步骤2训练得到的模板库,进行模板匹配和残差计算;
步骤5:将步骤4中得到的残差帧往步骤3中训练的稀疏编码字典上作非负稀疏分解,得到稀疏编码系数,再对系数进行量化和熵编码。
相对于现有普遍应用的H.264、MPEG等混合编码框架,本发明具有以下优点和积极效果:
(1)本发明利用训练得到的代表性的背景模板消除无人机视频中占比最大的地面背景冗余,有效克服了传统混合视频编码框架中运动补偿机制不能应对整体运动的缺陷,显著提升了时域压缩效率;
(2)本发明通过训练的体现纹理、边缘、平坦三种视觉成份的稀疏编码字典对模板匹配残差进行高效表达,进一步提升了空域压缩效率;
(3)由于背景模板和稀疏编码字典都提前离线训练得到,本发明方法享有极高的实时运算效率。
附图说明
图1:本发明具体实施例的原理图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
背景匹配比运动补偿更适合表达整体性运动,而且从空中一定高度获取地面的高分辨率影像可以忽略地表起伏以及独立的运动目标,便于创建背景模板。另一方面,无人机视频也存在场景和光照的不确定性,纹理丰富的复杂场景(如建筑物密集的城区)中往往含有数量众多的图像特征,纹理单一的场景(如田地) 却因为缺乏足够特征,光照与大气状况变化以及摄像机自动白平衡,使得航拍序列中同一地物的灰度发生较大畸变。针对这些特点,本发明综合背景建模、非负稀疏编码和结构化的字典学习等技术,得到一种适合于无人机应用环境下的视频压缩方法。
请见图1,本发明提供的基于背景模板和稀疏编码的无人机视频压缩方法,包括以下步骤:
一种基于背景模板和稀疏编码的无人机视频压缩方法,其特征在于,包括以下步骤:
步骤1:收集不同场景地面环境的无人机视频图像,构造模板样本数据集和残差样本数据集,分别用于后续的模板库和稀疏编码字典训练;本实施例的模板样本数据集,直接由原始的无人机视频构成。
本实施例的残差样本数据集,通过计算模板样本数据集中两两图像之间的差值,得到残差图像;残差图像按16x16像素为单位分类成纹理、边缘、平坦块,三种类型的块构成残差样本数据集。
步骤2:利用构造的模板样本数据集,采用背景建模方法训练模板样本数据集,得到模板库;
具体包括以下子步骤:
步骤2.1:每个像素值Xt同当前K个模型进行比较,直到找到匹配的新像素值的分布模型,匹配准则为均值偏差在2.5σ内即|Xtk,t-1|≤2.5σk,t-1;匹配到模型,则该像素属于背景,否则属于前景;其中μk,t-1k,t-1分别表示模型的均值和标准差;
步骤2.2:各模型权值按公式wk,t=(1-α)wk,t-1+αMk,t更新,其中α是学习速率,对于匹配的模型Mk,t=1,否则Mk,t=0,然后各模型的权重wk,t进行归一化;
步骤2.3:未匹配模型的均值μ与标准差σ不变,匹配模型的参数按照如下公式更新:
ρ=αη(Xtk,t-1k,t-1)
μk,t=(1-ρ)μk,t-1+ρXt
Figure GDA0003838678080000031
其中,η表示模型的概率分布函数,ρ为像素值Xt的概率;
步骤2.4:各模型根据
Figure GDA0003838678080000041
按降序排列,权重大、标准差小的模型排列靠前;
步骤2.5:选前B个模型作为背景,B满足
Figure GDA0003838678080000042
参数T表示背景所占比例。
步骤3:利用构造的残差样本数据集,通过非负稀疏编码训练残差样本数据集,得到稀疏编码字典;
人眼对于自然图像感知具有非负叠加特性,为此,本发明在传统的稀疏编码的基础上引入非负约束,得到非负稀疏编码目标优化函数:
Figure GDA0003838678080000043
其中,X表示稀疏分解系数,Y表示残差图像块,D表示稀疏编码字典,l 表示稀疏性阈值,||||0表示L0-范数,||||F表示LF-范数。
本实施例采取交替迭代方法优化建立的目标函数,具体步骤包括:
步骤A.1:对残差样本数据集进行白化低通滤波预处理,随机初始化稀疏编码字典D;
步骤A.2:固定稀疏编码字典D,求解稀疏分解系数X;
步骤A.3:固定稀疏分解系数X,求解稀疏编码D;
步骤A.4:若训练次数达到设定值,得到训练好的稀疏编码字典D;否则转入步骤A.2继续进行优化。
具体稀疏分解算法参考现成的,在此不再赘述。
步骤4:根据步骤2训练得到的模板库,进行模板匹配和残差计算;
具体实现包括以下子步骤:
步骤4.1:模板匹配的度量准则为SAD(帧间残差的绝对值),从模板库中选取SAD最小的模板作为最优模板;
步骤4.2:求取输入帧与最优模板的残差。
步骤5:将步骤4中得到的残差帧往步骤3中训练的稀疏编码字典上作非负稀疏分解,得到稀疏编码系数,再对系数进行量化和熵编码。
量化和熵编码参考视频编码中的成熟技术,非负稀疏分解采取与步骤3同样的优化方法,不同之处是这里的稀疏编码字典D已经固定。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。

Claims (5)

1.一种基于背景模板和稀疏编码的无人机视频压缩方法,其特征在于,包括以下步骤:
步骤1:收集不同场景地面环境的无人机视频图像,构造模板样本数据集和残差样本数据集,分别用于后续的模板库和稀疏编码字典训练;
所述模板样本数据集,直接由原始的无人机视频构成;
所述残差样本数据集,通过计算模板样本数据集中两两图像之间的差值,得到残差图像;残差图像按16x16像素为单位分类成纹理、边缘、平坦块,三种类型的块构成残差样本数据集;
步骤2:利用构造的模板样本数据集,采用背景建模方法训练模板样本数据集,得到模板库;
步骤3:利用构造的残差样本数据集,通过非负稀疏编码训练残差样本数据集,得到稀疏编码字典;
步骤4:根据步骤2训练得到的模板库,进行模板匹配和残差计算;
步骤5:将步骤4中得到的残差帧往步骤3中训练的稀疏编码字典上作非负稀疏分解,得到稀疏编码系数,再对系数进行量化和熵编码。
2.根据权利要求1所述的基于背景模板和稀疏编码的无人机视频压缩方法,其特征在于:步骤3中,通过非负稀疏编码训练稀疏编码字典,其中非负稀疏编码的目标优化函数为:
Figure FDA0003838678070000011
其中,X表示稀疏分解系数,Y表示残差图像块,D表示稀疏编码字典,l表示稀疏性阈值,||||0表示L0-范数,||||F表示LF-范数。
3.根据权利要求1所述的基于背景模板和稀疏编码的无人机视频压缩方法,其特征在于,步骤4的具体实现包括以下子步骤:
步骤4.1:模板匹配的度量准则为SAD,从模板库中选取SAD最小的模板作为最优模板;
步骤4.2:求取输入帧与最优模板的残差。
4.根据权利要求1所述的基于背景模板和稀疏编码的无人机视频压缩方法,其特征在于,步骤5中,非负稀疏编码的目标优化函数为:
Figure FDA0003838678070000021
其中,X表示稀疏分解系数,Y表示残差图像块,D表示稀疏编码字典,l表示稀疏性阈值,||||0表示L0-范数,||||F表示LF-范数。
5.根据权利要求2或4所述的基于背景模板和稀疏编码的无人机视频压缩方法,其特征在于:采取交替迭代方法优化建立的目标函数,具体步骤包括:
步骤A.1:对残差样本数据集进行白化低通滤波预处理,随机初始化稀疏编码字典D;
步骤A.2:固定稀疏编码字典D,求解稀疏分解系数X;
步骤A.3:固定稀疏分解系数X,求解稀疏编码D;
步骤A.4:若训练次数达到设定值,得到训练好的稀疏编码字典D;否则转入步骤A.2继续进行优化。
CN201811653152.6A 2018-12-29 2018-12-29 一种基于背景模板和稀疏编码的无人机视频压缩方法 Active CN109714602B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811653152.6A CN109714602B (zh) 2018-12-29 2018-12-29 一种基于背景模板和稀疏编码的无人机视频压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811653152.6A CN109714602B (zh) 2018-12-29 2018-12-29 一种基于背景模板和稀疏编码的无人机视频压缩方法

Publications (2)

Publication Number Publication Date
CN109714602A CN109714602A (zh) 2019-05-03
CN109714602B true CN109714602B (zh) 2022-11-01

Family

ID=66259794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811653152.6A Active CN109714602B (zh) 2018-12-29 2018-12-29 一种基于背景模板和稀疏编码的无人机视频压缩方法

Country Status (1)

Country Link
CN (1) CN109714602B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419560B (zh) * 2022-04-01 2022-07-12 苏州万店掌网络科技有限公司 一种检测目标物体的方法、装置以及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203495A (zh) * 2016-07-01 2016-12-07 广东技术师范学院 一种基于稀疏判别学习的目标跟踪方法
EP3166020A1 (en) * 2015-11-06 2017-05-10 Thomson Licensing Method and apparatus for image classification based on dictionary learning
CN107093185A (zh) * 2017-04-21 2017-08-25 重庆大学 一种基于低秩矩阵恢复的背景建模方法
CN107197275A (zh) * 2017-06-15 2017-09-22 武汉大学深圳研究院 基于长程大尺度背景模板的巡航无人机视频压缩方法
CN108632625A (zh) * 2017-03-21 2018-10-09 华为技术有限公司 一种视频编码方法、视频解码方法和相关设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9152881B2 (en) * 2012-09-13 2015-10-06 Los Alamos National Security, Llc Image fusion using sparse overcomplete feature dictionaries
US9734588B2 (en) * 2015-08-19 2017-08-15 Tata Consultancy Services Limited Method and system for compressing a video using background subtraction and change detection in videos

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3166020A1 (en) * 2015-11-06 2017-05-10 Thomson Licensing Method and apparatus for image classification based on dictionary learning
CN106203495A (zh) * 2016-07-01 2016-12-07 广东技术师范学院 一种基于稀疏判别学习的目标跟踪方法
CN108632625A (zh) * 2017-03-21 2018-10-09 华为技术有限公司 一种视频编码方法、视频解码方法和相关设备
CN107093185A (zh) * 2017-04-21 2017-08-25 重庆大学 一种基于低秩矩阵恢复的背景建模方法
CN107197275A (zh) * 2017-06-15 2017-09-22 武汉大学深圳研究院 基于长程大尺度背景模板的巡航无人机视频压缩方法

Also Published As

Publication number Publication date
CN109714602A (zh) 2019-05-03

Similar Documents

Publication Publication Date Title
DE112018005149T5 (de) Punktwolkenkomprimierung
CN109410307B (zh) 一种场景点云语义分割方法
EP3287949B1 (en) Image analysis system and method
Wang et al. Towards analysis-friendly face representation with scalable feature and texture compression
CN104301735B (zh) 城市交通监控视频全局编码方法及系统
CN110097605B (zh) 一种基于支持向量机的点云压缩编码器关键参数优化方法
CN109389569B (zh) 基于改进DehazeNet的监控视频实时去雾方法
CN103826125B (zh) 用于已压缩监控视频的浓缩分析方法和装置
CN109685045A (zh) 一种运动目标视频跟踪方法及系统
CN105894507B (zh) 基于图像信息量自然场景统计特征的图像质量评价方法
TWI512685B (zh) 移動物體偵測方法及其裝置
CN112164010A (zh) 一种多尺度融合卷积神经网络图像去雾方法
CN118614061A (zh) 编解码方法、编码器、解码器以及存储介质
Liu et al. Scene background estimation based on temporal median filter with Gaussian filtering
Chakraborty et al. MAGIC: Machine-learning-guided image compression for vision applications in Internet of Things
CN109714602B (zh) 一种基于背景模板和稀疏编码的无人机视频压缩方法
CN116250008A (zh) 点云的编码、解码方法、编码器、解码器以及编解码系统
Wei et al. Enhanced intra prediction scheme in point cloud attribute compression
US11503292B2 (en) Method and apparatus for encoding/decoding video signal by using graph-based separable transform
WO2022067776A1 (zh) 点云的解码、编码方法、解码器、编码器和编解码系统
CN111510740A (zh) 转码方法、装置、电子设备和计算机可读存储介质
CN117808721B (zh) 基于深度学习的低照度图像增强方法、装置、设备及介质
CN114782878B (zh) 一种视频显著性检测方法
CN113486716B (zh) 机场场面目标分割方法及其系统
CN110414436B (zh) 一种机场天气视频辅助观测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant