CN112884660B - 一种适合嵌入式dsp平台的无人机航拍图像清晰化方法 - Google Patents

一种适合嵌入式dsp平台的无人机航拍图像清晰化方法 Download PDF

Info

Publication number
CN112884660B
CN112884660B CN201911210527.6A CN201911210527A CN112884660B CN 112884660 B CN112884660 B CN 112884660B CN 201911210527 A CN201911210527 A CN 201911210527A CN 112884660 B CN112884660 B CN 112884660B
Authority
CN
China
Prior art keywords
image
aerial
pixel matrix
matrix
clear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911210527.6A
Other languages
English (en)
Other versions
CN112884660A (zh
Inventor
姜博
宫玲瑞
陈晓璇
汪霖
周延
孟娜
李艳艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NORTHWEST UNIVERSITY
Original Assignee
NORTHWEST UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NORTHWEST UNIVERSITY filed Critical NORTHWEST UNIVERSITY
Priority to CN201911210527.6A priority Critical patent/CN112884660B/zh
Publication of CN112884660A publication Critical patent/CN112884660A/zh
Application granted granted Critical
Publication of CN112884660B publication Critical patent/CN112884660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种适合嵌入式DSP平台的无人机航拍图像清晰化方法，包括以下步骤：S1：读取原始清晰航拍图像并提取其像素信息；S2：给定航拍图像模糊参数中的像移长度和像移角度两个模拟参数，生成模糊矩阵；S3：利用该模糊矩阵与原始清晰航拍图像像素合成模糊图像像素矩阵；S4：利用S2所述模糊矩阵对S3所得模糊图像像素矩阵进行后期非盲去模糊；S5：对S4中非盲去模糊后的图像像素矩阵进行后期增强型去雾处理，即基于导引滤波器提取去模糊后图像的边缘细节，再以一定的倍数放大叠加到滤波前图像像素矩阵之上，得到最终无人机航拍清晰化图像像素矩阵；S6：合并航拍清晰化图像的头文件信息和像素矩阵，并将所得航拍清晰化图像输出到指定的内存空间。

Description

一种适合嵌入式DSP平台的无人机航拍图像清晰化方法
技术领域
本发明基于两种经典的理论方法——维纳滤波和导引滤波，结合对航拍观测的飞行运动模式的理论分析，提出了一种适合嵌入式DSP平台的无人机航拍图像清晰化方法。
背景技术
相较于大型飞行器平台，无人机航拍观测有着成本低、时效性高、测绘尺度灵活等技术优势。由于无人机航拍属于运动拍摄模式，将会带来飞行方向的运动像移问题，当像移达到一定程度甚至会混淆相邻目标，使地面上不同目标对象难以分辨。除了飞行方向的像移外，飞行器在飞行中还存在自身随机的横滚、俯仰、偏航运动，它们同样会带来运动像移的问题。
除上述飞行器运动对航拍清晰化带来的挑战外，航拍观测由于成像路径较长而导致空气粒子对光线衰减较大，相当于地面摄像时有雾的天气条件。因而即使在良好天气条件下，对得到的航拍图像进行相应的去雾处理也将提升其图像清晰化水平。
本发明中所用到的维纳滤波理论是由Norbert Wiener[1942]首先提出的，是一种经典的图像复原方法。导引滤波理论是由Kaiming He等人提出的，参见：Kaiming He etal.，Guided Image Filtering，IEEE Transactions on Pattern Analysis and MachineIntelligence，2013，35：1-4，该理论是在原有双边滤波的基础上提出的一种边缘保持滤波理论。
发明内容
为达到上述航拍图像清晰化的目的，本发明提供了一种适合嵌入式DSP平台的无人机航拍图像清晰化方法，本发明的实施例采用如下技术方案：
一种适合嵌入式DSP平台的无人机航拍图像清晰化方法，包括以下步骤：
S1：读取原始清晰航拍图像并提取其像素信息；
S2：给定航拍图像模糊参数中的像移长度和像移角度两个模拟参数，生成模糊矩阵；
S3：利用该模糊矩阵与原始清晰航拍图像像素合成模糊图像像素矩阵；
S4：利用S2所述模糊矩阵对S3所得模糊图像像素矩阵进行后期非盲去模糊；
S5：对S4中非盲去模糊后的图像像素矩阵进行后期增强型去雾处理，即基于导引滤波器提取去模糊后图像的边缘细节，再以一定的倍数放大叠加到滤波前图像像素矩阵之上，得到最终无人机航拍清晰化图像像素矩阵；
S6：合并航拍清晰化图像的头文件信息和像素矩阵，并将所得航拍清晰化图像输出到指定的内存空间。
较佳的，步骤S1中获取的原始清晰图像以8深度位图的格式读入并存储，具体为存储位图的文件头信息、位图头信息及调色板信息，并将无符号字符型的图像像素矩阵读取出来，做后续的图像清晰化处理。
较佳的，步骤S5中增强型去雾的计算公式为：Ie＝p+ε(p-q)，其中Ie表示航拍图像增强型去雾结果，p为导引滤波前图像，q为导引滤波后图像，ε为放大倍数，其范围可取大于1且小于3的正数。
较佳的，放大倍数ε的范围为1.3到1.7。
较佳的，针对航拍图像中边缘细节损失较大的特点，对去模糊后图像导引滤波提取边缘细节信息，并放大一定倍数后叠加到滤波前图像像素矩阵之上，实现增强型去雾处理，以得到去雾处理后的航拍清晰化图像像素矩阵。
较佳的，步骤S6中，对S5中得到的清晰化图像像素矩阵添加文件头信息、位图头信息和调色板信息，再以8深度位图格式将该无人机航拍清晰化图像输出到指定的储存地址。
本发明的有益效果在于：所述的一种适合嵌入式DSP平台的无人机航拍图像清晰化方法，通过相对底层的算法设计实现了嵌入式DSP平台上航拍图像非盲去模糊和去雾处理，所提出的适合DSP平台的图像清晰化算法结构简单，运行使用方便，在DSP平台上开展了相关验证实验，验证了所提技术方案的有效性，能够满足航拍后期清晰化处理的使用需求。
附图说明
附图1为本发明所述的一种适合嵌入式DSP平台的无人机航拍图像清晰化方法的流程图。
图2为基于DSP平台的航拍图像后期非盲去模糊结果。
图3为基于DSP平台的航拍图像后期增强型去雾结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1～3所示，为本发明所述适合嵌入式DSP平台的无人机航拍图像清晰化方法的较佳实施例，图1为本发明方法的流程图，具体包括以下步骤：
S 1：读取原始清晰航拍图像并提取其像素信息；
S2：给定航拍图像模糊参数中的像移长度和像移角度两个模拟参数，生成模糊矩阵；
S3：利用该模糊矩阵与原始清晰航拍图像像素合成模糊图像像素矩阵；
S4：利用S2所述模糊矩阵对S3所得模糊图像像素矩阵进行后期非盲去模糊；
S5：对S4中非盲去模糊后的图像像素矩阵进行后期增强型去雾处理，即基于导引滤波器提取去模糊后图像的边缘细节，再以一定的倍数放大叠加到滤波前图像像素矩阵之上，得到最终无人机航拍清晰化图像像素矩阵；
S6：合并航拍清晰化图像的头文件信息和像素矩阵，并将所得航拍清晰化图像输出到指定的内存空间。
在具体实施时，步骤S1中获取的原始清晰图像以8深度位图的格式读入并存储，具体为存储位图的文件头信息、位图头信息及调色板信息，并将无符号字符型的图像像素矩阵读取出来，做后续的图像清晰化处理。
在具体实施时，步骤S4中使用噪声为零情况下的维纳滤波算子。
在具体实施时，步骤S5中增强型去雾的计算公式为：Ie＝p+ε(p-q)，其中Ie表示航拍图像增强型去雾结果，p为导引滤波前图像，q为导引滤波后图像，ε为增强系数，其范围可取大于1且小于3的正数。
在具体实施时，参考Kaiming He等人的导引滤波器增强应用思路，但针对航拍图像中边缘细节损失较大的特点，对去模糊后图像导引滤波提取边缘细节信息，并放大一定倍数后叠加到滤波前图像像素矩阵之上，实现增强型去雾处理，以减少滤波操作对去雾增强结果的干扰，也使得去雾增强处理的效果更为显著。
在具体实施时，步骤S6中，对S5中得到的清晰化图像像素矩阵添加文件头信息、位图头信息和调色板信息，再以8深度位图格式将该无人机航拍清晰化图像输出到指定的储存地址。
如图1所示，基于DSP平台的系统实现方案包括了图像输入模块、模糊矩阵生成模块、模糊图像合成模块、图像清晰化模块、图像输出模块五部分，具体实现方案如下：图像输入模块使用无人机悬停工作拍摄的图像作为原始清晰图像，将该清晰图像以8深度位图的格式读入并存储，即分别存储位图的文件头信息、位图头信息及调色板信息，并把数据类型为8位无符号字符型的图像像素矩阵提取出来，做后续的图像清晰化处理；模糊矩阵生成模块模拟航拍模糊生成原理，利用图像像移长度和像移角度两个参数生成模糊矩阵；模糊图像合成模块使用模拟生成的模糊矩阵和原始清晰图像像素矩阵，合成模糊图像像素矩阵；图像清晰化模块利用模糊矩阵(作为已知量)对合成模糊图像像素矩阵进行维纳滤波，得到非盲去模糊后的图像像素矩阵，接着对去模糊后图像像素矩阵再进行导引滤波，提取去模糊后图像的边缘细节，再放大一定倍数叠加到滤波前图像像素矩阵之上，得到最终无人机航拍清晰化图像像素矩阵；最后，图像输出模块为该清晰化像素矩阵添加文件头信息、位图头信息和调色板信息，以8深度位图格式将其输出到指定的储存地址。本实施例选用图像压缩幅度较低的bmp对位图作为图像存储格式，以尽可能地保留图像像素信息。
本发明对航拍观测的飞行运动模式进行了理论分析，发现横滚、俯仰及偏航方向的像移模糊本质上是相同的，都是绕某一固定轴旋转而产生的像移，而直线飞行所产生的像移是典型的平移运动像移。由于航拍观测属于中、长焦距成像，相较于地面景物拍摄而言航拍成像通常曝光时间较短，其在曝光期间的旋转运动可近似等效为平移运动。此外，由于飞行器在实际航拍成像中，通过一定的方式(如安装相应的传感器)可以获得飞行器飞行速度、横滚、俯仰、偏航速度，已知的曝光时间就可通过换算，得到这四种运动在曝光期间折算到成像面上的具体像移量，所以实际的航拍图像去模糊本质上属于模糊核已知的非盲平移去模糊问题，因而可以在已知模糊矩阵的情况下对其进行非盲平移去模糊处理。基于此，本发明将无人机悬停状态拍摄图像作为原始清晰图像，再对该清晰图像进行加平移模糊的方式，获取待处理的航拍像移模糊图像。这相当于模拟实际航拍中已知成像模糊矩阵的情况下进行的非盲去模糊，具体运用维纳滤波在DSP平台上进行了航拍图像后期非盲去模糊处理。
本申请人所述的图像清晰化算法在上述理论基础上，利用模拟的模糊参数求解模糊矩阵，再对模糊矩阵和原始清晰图像进行卷积操作，合成不含噪声的航拍模糊图像，随后依据维纳滤波理论得到图像在无噪声条件下的维纳滤波算子，逆卷积求解非盲去模糊后的航拍图像。
除上述飞行器运动对航拍清晰化带来的挑战外，航拍观测由于成像路径较长导致空气粒子对光线衰减较大，相当于地面摄像时有雾的天气条件。由于小型DSP系统的硬件资源有限，故采用基于图像增强这种简单可靠的图像去雾方法。在图像中大尺度边缘是人眼对图像中场景的结构、几何关系和距成像点远近的主要判断依据；而边缘内部的细节从一定程度上来讲属于小尺度边缘，同样对于人眼了解场景具体结构有着不可替代的作用，所以对于航拍图像(有雾图像)而言，可以通过提取其边缘细节信息并进行增强处理的形式，间接达到图像去雾的目的。虽然从理论上来讲，导引滤波器应该能较好地保持图像的边缘信息，对边缘内部细节信息进行均值平滑，但整个导引滤波器模型的求解过程并非定值求解，而是近似求解过程，其对边缘信息的保持以及对边缘内部细节的均值平滑都是近似的，即导引滤波后图像边缘信息会受到损失。参考Kaiming He等人的导引滤波器的增强应用思路，但针对航拍图像中边缘细节损失较大的特点进行了针对性改进，即基于导引滤波提取去模糊后图像矩阵的边缘细节，再以一定的倍数放大叠加到滤波前图像像素矩阵之上，而非滤波后像素矩阵之上。基于此，本发明对去模糊后航拍图像在DSP平台上又进行了后期增强型去雾处理。
具体的，本实施例中选用导引滤波正则化参数为0.01，局部窗口半径为17，放大倍数为1.3的实验参数，所设计的系统选取以TMS320C6748 DSP为核心芯片的嵌入式平台，即Tronlong公司TL138/1808/6748-EVM-A3 DSP开发板作为本实施例的硬件平台。如图2所示，为基于DSP平台的航拍图像后期非盲去模糊结果；如图3所示，为基于DSP平台的航拍图像后期增强型去雾结果。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种适合嵌入式DSP平台的无人机航拍图像清晰化方法，其特征在于，包括以下步骤：
S1：读取原始清晰航拍图像并提取其像素信息；
S2：给定航拍图像模糊参数中的像移长度和像移角度两个模拟参数，生成模糊矩阵；
S3：利用该模糊矩阵与原始清晰航拍图像像素合成模糊图像像素矩阵；
S4：利用S2所述模糊矩阵对S3所得模糊图像像素矩阵进行后期非盲去模糊；
S5：对S4中非盲去模糊后的图像像素矩阵进行后期增强型去雾处理，即基于导引滤波器提取去模糊后图像的边缘细节，再以一定的倍数放大叠加到滤波前图像像素矩阵之上，得到最终无人机航拍清晰化图像像素矩阵；
S6：合并航拍清晰化图像的头文件信息和像素矩阵，并将所得航拍清晰化图像输出到指定的内存空间。
2.根据权利要求1所述的一种适合嵌入式DSP平台的无人机航拍图像清晰化方法，其特征在于：步骤S1中获取的原始清晰图像以8深度位图的格式读入并存储，具体为存储位图的文件头信息、位图头信息及调色板信息，并将无符号字符型的图像像素矩阵读取出来，做后续的图像清晰化处理。
3.根据权利要求1所述的一种适合嵌入式DSP平台的无人机航拍图像清晰化方法，其特征在于：步骤S5中增强型去雾的计算公式为：Ie＝p+ε(p-q)，其中Ie表示航拍图像增强型去雾结果，p为导引滤波前图像，q为导引滤波后图像，ε为放大倍数，其范围可取大于1且小于3的正数。
4.根据权利要求1所述的一种适合嵌入式DSP平台的无人机航拍图像清晰化方法，其特征在于：对去模糊后图像导引滤波提取边缘细节信息，并放大一定倍数后叠加到滤波前图像像素矩阵之上，实现增强型去雾处理，以得到去雾处理后的航拍清晰化图像像素矩阵。
5.根据权利要求1所述的一种适合嵌入式DSP平台的无人机航拍图像清晰化方法，其特征在于：步骤S6中，对S5中得到的清晰化图像像素矩阵添加文件头信息、位图头信息和调色板信息，再以8深度位图格式将该无人机航拍清晰化图像输出到指定的储存地址。
CN201911210527.6A 2019-11-29 2019-11-29 一种适合嵌入式dsp平台的无人机航拍图像清晰化方法 Active CN112884660B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911210527.6A CN112884660B (zh) 2019-11-29 2019-11-29 一种适合嵌入式dsp平台的无人机航拍图像清晰化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911210527.6A CN112884660B (zh) 2019-11-29 2019-11-29 一种适合嵌入式dsp平台的无人机航拍图像清晰化方法

Publications (2)

Publication Number Publication Date
CN112884660A CN112884660A (zh) 2021-06-01
CN112884660B true CN112884660B (zh) 2024-01-23

Family

ID=76039488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911210527.6A Active CN112884660B (zh) 2019-11-29 2019-11-29 一种适合嵌入式dsp平台的无人机航拍图像清晰化方法

Country Status (1)

Country Link
CN (1) CN112884660B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616248A (zh) * 2014-11-20 2015-05-13 杭州电子科技大学 一种利用边缘分析与总变分的单幅图像去模糊清晰化方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8611690B2 (en) * 2009-10-21 2013-12-17 Hewlett-Packard Development Company, L.P. Real-time video deblurring

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616248A (zh) * 2014-11-20 2015-05-13 杭州电子科技大学 一种利用边缘分析与总变分的单幅图像去模糊清晰化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何杰 ; 宋洪军 ; 胡军国 ; 郜园园 ; .基于混合进化算法优化模糊对比度的图像去雾.计算机时代.2016,(01),全文. *
魏文力 ; 李宝树 ; 崔克彬 ; 徐雪涛 ; .基于改进的最大熵航拍输电线路图像复原方法.科学技术与工程.2013,(32),全文. *

Also Published As

Publication number Publication date
CN112884660A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
Pan et al. Physics-based generative adversarial models for image restoration and beyond
Rückert et al. Adop: Approximate differentiable one-pixel point rendering
Yeh et al. Multi-scale deep residual learning-based single image haze removal via image decomposition
Zhang et al. Fast depth image denoising and enhancement using a deep convolutional network
CN110163818B (zh) 一种用于海事无人机的低照度视频图像增强方法
Du et al. Recursive deep residual learning for single image dehazing
CN110223377A (zh) 一种基于立体视觉系统高精度的三维重建方法
CN110136075B (zh) 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法
KR102311796B1 (ko) 지역적 신체영역 정보를 이용한 휴먼 모션 디블러링 방법 및 장치
Gao et al. Atmospheric turbulence removal using convolutional neural network
Farhadifard et al. Learning-based underwater image enhancement with adaptive color mapping
CN111968047A (zh) 一种基于生成式对抗网络的自适应光学图像盲复原方法
CN113837952A (zh) 基于法向量的三维点云降噪方法、装置、计算机可读存储介质及电子设备
Caruso et al. 3d reconstruction of non-cooperative resident space objects using instant ngp-accelerated nerf and d-nerf
Du et al. Perceptually optimized generative adversarial network for single image dehazing
CN112884660B (zh) 一种适合嵌入式dsp平台的无人机航拍图像清晰化方法
Zhang et al. Enhanced visual perception for underwater images based on multistage generative adversarial network
Song et al. Under-display camera image restoration with scattering effect
Ramwala et al. Reminiscent net: conditional GAN-based old image de-creasing
Hou et al. Joint learning of image deblurring and depth estimation through adversarial multi-task network
Nouduri et al. Deep realistic novel view generation for city-scale aerial images
Du et al. Recursive image dehazing via perceptually optimized generative adversarial network (POGAN)
Hu et al. Multiscale representation for real-time anti-aliasing neural rendering
CN114926367A (zh) 煤矿降质图像的全息图生成方法
CN115034381A (zh) 一种基于多分辨率网络结构的神经绘制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant