CN115861141B - 基于pcnn神经网络的无人机获取图像处理系统及方法 - Google Patents

基于pcnn神经网络的无人机获取图像处理系统及方法 Download PDF

Info

Publication number
CN115861141B
CN115861141B CN202211534473.0A CN202211534473A CN115861141B CN 115861141 B CN115861141 B CN 115861141B CN 202211534473 A CN202211534473 A CN 202211534473A CN 115861141 B CN115861141 B CN 115861141B
Authority
CN
China
Prior art keywords
image
coefficients
module
low
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211534473.0A
Other languages
English (en)
Other versions
CN115861141A (zh
Inventor
王乐宁
解春明
盛金伟
钟义亮
褚富民
朱浩楠
熊浩浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Lingyun Times Technology Co ltd
Original Assignee
Beijing Lingyun Times Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Lingyun Times Technology Co ltd filed Critical Beijing Lingyun Times Technology Co ltd
Priority to CN202211534473.0A priority Critical patent/CN115861141B/zh
Publication of CN115861141A publication Critical patent/CN115861141A/zh
Application granted granted Critical
Publication of CN115861141B publication Critical patent/CN115861141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Processing (AREA)

Abstract

一种基于PCNN神经网络的无人机获取图像处理系统及方法，涉及通信及图像处理技术领域。本发明提供的方法及系统探测无人机发送信息的信道并与无人机对接，接收无人机获取的获取光谱图像以及全色图像；将光谱图像进行了IHS变换，对强度分量和全色图像进行匹配而后进行分解，得到两个低频子带图像系数以及两个高频子带图像系数；将两个低频子带图像系数进行融合，得到融合后的低通子带图像系数；通过PCNN模块将两个高频子带图像系数进行融合，得到融合后的高频子带系数；利用融合后的低通子带图像系数和高频子带系数进行重构得到融合图像。融合图像光谱信息丰富，纹理细节清晰，具有较高的空间细节表现能力且同时保留多光谱图像的光谱特性。

Description

基于PCNN神经网络的无人机获取图像处理系统及方法
技术领域
本发明属于人工智能技术领域，特别是涉及一种基于PCNN神经网络的无人机获取图像处理系统及方法。
背景技术
多光谱成像技术自从面世以来，便被应用于空间遥感领域，而随着搭载平台的小型化和野外应用的需求，光谱成像仪在农业、林业、军事、医药、科研等领域的需求也越来越大，而在此之前成像技术并没有那么高，只能对特定的单一的谱段进行成像，虽然分辨率高但是数据量大难以进行分析、存储、检索，而多光谱成像是将所有的信息结合在一起，这不仅仅是二维空间信息，同时也把光谱的辐射信息也包含在内，从而在更宽的谱段范围内成像。
现有的多光谱成像技术中，首先多光谱摄像机将目标反射光谱引入光学镜头，光路中对应的通过窄带滤光片隔离其他波段的光，将目标特定波段的光线独立分离出来投射到成像器件，成像器件完成光电转换并输出特定波长的图像，各谱段图像被送到图像处理单元，图像处理单元完成光谱图像同步采集并进行融合，将多通道图像合成一路伪彩色视频图像，处理后的伪彩色视频图像具有目标的光谱特征，再经过差异化显示，使更容易从复杂背景中判读出目标智。
现有的多光谱图像处理系统中对用于获取R、G、B三个通道的光谱图像以及全色图像进行融合，存在处理图像不够精确，图像融合效果差的缺点，因此有必要提出一种新的解决方案。
发明内容
本发明的目的在于提供一种基于PCNN神经网络的无人机获取图像处理系统及方法，解决现有的图像处理系统存在处理图像不够精确，效果差的缺点。
为实现所述发明目的，本发明一方面提供一种基于PCNN神经网络的无人机获取图像处理方法其包括如下步骤：
通过信息交互模块探测无人机发送信息的信道并与通过该信道接收无人机载光机模块获取的获取R、G、B三个通道的光谱图像A以及全色图像P；
通过图像处理模块对光谱图像A以及全色图像P进行处理，图像处理模块包括IHS变换模块、匹配模块、分解模块、低频融合模块、PCNN模块、重构模块和逆变换模块，其中，IHS变换模块被配置为对光谱图像A进行IHS变换，得到多光谱图像的强度分量I、色调分量H和饱和度分量S；匹配模块被配置为对多光谱图像的强度分量I和全色图像P进行直方图匹配；分解模块将相匹配的图像的强度分量和全色图像进行NSCT分解，得到两个低频子带图像系数和两个多层高频子带图像系数，两个低频子带图像系数包括相匹配的图像的强度分量低频子带图像系数DI,L(m,n)和相匹配的全色图像低频子带图像系数DP,L(m,n),两个多层高频子带图像系数包括相匹配的图像的强度分量的高频子带图像系数
Figure BDA0003977039450000021
Figure BDA0003977039450000022
相匹配的全色图像低频子带图像系数/>
Figure BDA0003977039450000023
其中，J＝1,2,3，....，L，L为分解层数，k为各层分解的方向数；低频融合模块对相匹配的图像的强度分量低频子带图像系数DI,L(m,n)和相匹配的全色图像的低频子带图像系数DP,L(m,n)进行低频融合得到低频子带图像系数DF,L(m,n)；PCNN模块对相匹配的图像的强度分量的高频子带图像系数/>
Figure BDA0003977039450000024
和相匹配的图像的全色图像高频子带图像系数/>
Figure BDA0003977039450000025
处理得到融合后的高频子带系数/>
Figure BDA0003977039450000026
重构模块将低频子带图像系数DF,L(m,n)和高频子带系数/>
Figure BDA0003977039450000027
进行NSCT重构得到重构后得到强度分量I1；逆变换模块将重构后的强度分量I1、色调分量H和饱和度分量进行IHS逆变换得到最终的融合图像。
优选地，低频融合模块对相匹配的图像的强度分量低频子带图像系数DI,L(m,n)和相匹配的全色图像的低频子带图像系数DP,L(m,n)进行低频融合得到低频子带图像系数DF,L(m,n)具体包括：对相匹配的图像的强度分量低频子带图像系数DI,L(m,n)和相匹配的全色图像的低频子带图像系数DP,L(m,n)进行边界延拓，则得到以像素(m,n)为中心的8邻域相匹配的图像的强度分量局部能量EI,L(m,n)和相匹配的全色图像局部能量EP,L(m,n)：
Figure BDA0003977039450000031
Figure BDA0003977039450000032
根据下式计算加权系数
Figure BDA0003977039450000033
则：DF,L(m,n)＝α1DI,L(m,n)+α2DP,L(m,n)。
优选地，PCNN模块对相匹配的图像的强度分量的高频子带图像系数
Figure BDA0003977039450000034
和相匹配的图像的全色图像高频子带图像系数/>
Figure BDA0003977039450000035
处理得到融合后的高频子带系数
Figure BDA0003977039450000036
具体包括：将相匹配的多光谱图像的强度分量和全色图像的高频系数作为PCNN的外部输入激励，进行点火运算，达到两幅图像的点火映射图，系数分别为
Figure BDA0003977039450000037
再计算两幅图像点火映射图的区域能量，能量区域采用3X3的窗口，对系数进行边界延拓扑，则两幅点火映射以像素(m,n)为中心8邻域局部能量为：
Figure BDA0003977039450000038
Figure BDA0003977039450000041
式中，
Figure BDA0003977039450000042
为窗口掩膜矩阵；
以两幅图像点火映射图的区域能量作为高频融合系数选择的判决算子，计算两幅图像点火映射图区域能量大小，通过判决算子选择，将区域能量大的待融合图像高频子带系数作为融合图像的高频子带系数，高频融合公式如下：
Figure BDA0003977039450000043
优选地，无人机在其发送图像的信道中在发送图像前连续发发送循环伪随机序列直到接收到信息交互模块发送的回应信息。
优选地，信息交互模块包括噪声强度估计模块、信道参数估计模块和信道参数确定模块，其中，
噪声强度估计模块被配置为接收无人机发送的循环伪随机序列与本地存储的循环伪随机序列进行相关运算,取长度为NK的数据序列：Y＝
{y(0),…,y(n)，…,y(NK―1)}
式中，n＝0,…,NK―1，NK为循环伪随机序列的长度；
信道估计模块，通过下列步骤确定多径数量的粗估计值
Figure BDA0003977039450000047
S02-1通过下式确定噪声功率：
Figure BDA0003977039450000044
S02-2通过下式确定幅度门限：
Figure BDA0003977039450000045
S02-3：统计|y(n)|≥A的数量作为信道多径数量的粗估计值
Figure BDA0003977039450000046
S02-4：估计粗估计值
Figure BDA0003977039450000051
中每条路径的参数初始估计值。
优选地，估计粗估计值
Figure BDA0003977039450000052
中每条路径的参数初始估计值具体包括：
S05-1使l←1,Xl(n)←y(n),通过下式求得路径l的时延初始估计值τl、系数初始估计值hl和相关峰Spl(n)：
τl＝argmaxn[|Xl(n)|2]
Figure BDA0003977039450000053
Spl(n)＝hlR|n―τl|NK
式中，R(0)表示伪随机序列对齐时相关峰峰值，R|n―τl|NK表示伪随机序列相关函数在|n―τl|NK处的取值，|n―τl|NK表示对n―τl对NK取模；
S05-2令l←l+1；
S05-3使Xl(n)←y(n)―Spl―1(n)，通过下式计算路径l的时延初始估计值τl:
τl＝argmaxn[|Xl(n)|2]，
S05-4判断τl＝τl―1+1和τl＝τl―1―1是否都成立，如果是，则
Figure BDA0003977039450000054
其中R(1)表示伪随机序列相关函数在1处的取值；如果不是，则
Figure BDA0003977039450000055
S05-5重构相关峰
Figure BDA0003977039450000056
其中,R|n―τt|NK表示伪随机序列相关函数在|n―τt|NK处的取值，|n―τt|NK表示对n―τt对NK取模；
S05-6判断
Figure BDA0003977039450000057
是否成立，若不成立，则返回到S05-2，若成立，开始实施信道确定模块。
优选地，信道确定模块通过下述步骤确定路径的系数和时延：
S06-1 i←0
S06-2更新第
Figure BDA0003977039450000061
条路径，重构其它多径的相关峰：/>
Figure BDA0003977039450000062
Figure BDA0003977039450000063
其中hm表示信道系数，τm表示时延,并使Xl'(n)←y(n)―Spl'―1(n)，通过下式更新每条路径时延初始估计值和系数初始估计值得得到路径的时延初值τl'和系数hl'：
τl'＝argmaxn[|Xl'(n)|2]，
Figure BDA0003977039450000064
S06-3判断多径时延是否存在重复搜索,若是，则重复路径合并，并将系数合并，而后执行S06-5，若否，更新时延值；
S06-5判断
Figure BDA0003977039450000065
是否成立，若不成立，则使得i←i+1，并返回到S06-2；若成立，则根据路径及其时延值和系数值确定无人机发送信息的信道。
为实现所述发明目的，本发明还提供一种存储介质，其特征在于，用于存储上述的方法利用计算机语言编成处理器可执行的程序代码。
为实现所述发明目的，本发明还提供一种系统，其包括一个或者多个处理器，所述处理器调用上述的存储介质中存储的程序代码并执行。
本发明具有以下有益效果：
(1)本发明中的图像处理系统中对光机模块获取的R、G、B三个通道的光谱图像进行处理，其处理过程中，首先将R、G、B三个通道的光谱图像进行了IHS变换，其次对多光谱图像强度分量Ⅰ的分量图像和直方图匹配后的全色图像P分别进行NSCT分解，NSCT分解后得到两个低频子带图像系数以及两个高频子带图像系数：两个低频子带图像系数包括图像I的低频子带图像系数和图像P的低频子带图像系数，两个多层高频子带图像系数包括强度图像I的高频子带图像系数和图像P的高频子带图像系数，将两个低频子带图像系数进行融合，得到融合后的低通子带图像系数，将两个高频子带图像系数进行融合，得到融合后的高频子带系数，最后利用融合后的低通子带图像系数和高频子带系数进行NSCT重构得到融合图像，使得大视场多光谱和全色波段图像取得了良好的效果，融合图像光谱信息丰富，纹理细节清晰，融合后的图像具有较高的空间细节表现能力且同时保留多光谱图像的光谱特性。
(2)本发明通过信息交互模块在低信干噪比条件下，有效提升信道多径提取的性能，获得超分辨率多径参数估计。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于PCNN神经网络的无人机获取图像处理方法的流程图；
图2是本发明提供通过图像处理模块的组成框图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，本文所用的术语仅用于描述特定实施例的目的，而并非旨在限制本发明。除非上下文明确指出，否则如本文中所使用的单数形式“一”、“一个”和“该”等意图也包括复数形式。使用“包括”和/或“包含”等术语时，是意图说明存在该特征、整数、步骤、操作、元素和/或组件，而不排除一个或多个其他特征、整数、步骤、操作、元素、组件、和/或其他组合的存在或增加。术语“和/或”包括一个或多个相关列出项目的任何和所有组合。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
第一实施例
图1是本发明提供的基于PCNN神经网络的无人机获取图像处理方法的流程图，如图1所示，本发明第一实施例提供的基于PCNN神经网络的无人机获取图像处理方法包括如下步骤：通过信息交互模块探测无人机发送信息的信道并与无人机对接通，而后接收无人机载光机模块获取的获取R、G、B三个通道的光谱图像A以及全色图像P；通过图像处理模块对光谱图像A以及全色图像P进行处理。
图2是本发明提供通过图像处理模块的组成框图，如图2所示，图像处理模块包括IHS变换模块、匹配模块、分解模块、低频融合模块、PCNN模块、重构模块和逆变换模块，其中，IHS变换模块被配置为对光谱图像A进行IHS变换，得到多光谱图像的强度分量I、色调分量H和饱和度分量S；匹配模块被配置为对多光谱图像的强度分量I和全色图像P进行直方图匹配；分解模块将相匹配的图像的强度分量和全色图像进行NSCT分解，得到两个低频子带图像系数和两个多层高频子带图像系数，两个低频子带图像系数包括相匹配的图像的强度分量低频子带图像系数DI,L(m,n)和相匹配的全色图像低频子带图像系数DP,L(m,n),式中，(m,n)表示图像中位于m行n列的像素；两个多层高频子带图像系数包括相匹配的图像的强度分量的高频子带图像系数
Figure BDA0003977039450000091
相匹配的全色图像低频子带图像系数/>
Figure BDA0003977039450000092
其中，J＝1,2,3，....，L，L为分解层数，k为各层分解的方向数；低频融合模块对相匹配的图像的强度分量低频子带图像系数DI,L(m,n)和相匹配的全色图像的低频子带图像系数DP,L(m,n)进行低频融合得到低频子带图像系数DF,L(m,n)；PCNN模块对相匹配的图像的强度分量的高频子带图像系数/>
Figure BDA0003977039450000093
和相匹配的图像的全色图像高频子带图像系数/>
Figure BDA0003977039450000094
处理得到融合后的高频子带系数/>
Figure BDA0003977039450000095
重构模块将低频子带图像系数DF,L(m,n)和高频子带系数/>
Figure BDA0003977039450000096
进行NSCT重构得到重构后得到强度分量I1；逆变换模块将重构后的强度分量I1、色调分量H和饱和度分量进行IHS逆变换得到最终的融合图像。
优选地，低频融合模块对相匹配的图像的强度分量低频子带图像系数DI,L(m,n)和相匹配的全色图像的低频子带图像系数DP,L(m,n)进行低频融合得到低频子带图像系数DF,L(m,n)具体包括：对相匹配的图像的强度分量低频子带图像系数DI,L(m,n)和相匹配的全色图像的低频子带图像系数DP,L(m,n)进行边界延拓，则得到以像素(m,n)为中心的8邻域相匹配的图像的强度分量局部能量EI,L(m,n)和相匹配的全色图像局部能量EP,L(m,n)：
Figure BDA0003977039450000097
Figure BDA0003977039450000098
根据下式计算加权系数
Figure BDA0003977039450000099
则：DF,L(m,n)＝α1DI,L(m,n)+α2DP,L(m,n)。
第一实施例中，PCNN模块对相匹配的图像的强度分量的高频子带图像系数
Figure BDA0003977039450000101
Figure BDA0003977039450000102
和相匹配的图像的全色图像高频子带图像系数/>
Figure BDA0003977039450000103
处理得到融合后的高频子带系数/>
Figure BDA0003977039450000104
具体包括：将相匹配的多光谱图像的强度分量和全色图像的高频系数作为PCNN的外部输入激励，进行点火运算，达到两幅图像的点火映射图，系数分别为
Figure BDA0003977039450000105
再计算两幅图像点火映射图的区域能量，能量区域采用3X3的窗口，对系数进行边界延拓扑，则两幅点火映射以像素(m,n)为中心8邻域局部能量为：
Figure BDA0003977039450000106
Figure BDA0003977039450000107
式中，
Figure BDA0003977039450000108
为窗口掩膜矩阵；
以两幅图像点火映射图的区域能量作为高频融合系数选择的判决算子，计算两幅图像点火映射图区域能量大小，通过判决算子选择，将区域能量大的待融合图像高频子带系数作为融合图像的高频子带系数，高频融合公式如下：
Figure BDA0003977039450000109
本发明通过上述步骤使得大视场多光谱和全色波段图像取得了良好的效果，融合图像光谱信息丰富，纹理细节清晰，融合后的图像具有较高的空间细节表现能力且同时保留多光谱图像的光谱特性。
可选地，第一实施例中，无人机在其发送图像的信道中在发送图像前连续发发送循环伪随机序列直到接收到信息交互模块发送的回应信息。
第一实施例中，信息交互模块包括噪声强度估计模块、信道参数估计模块和信道参数确定模块，其中，
噪声强度估计模块被配置为接收无人机发送的循环伪随机序列与本地存储的循环伪随机序列进行相关运算,取长度为NK的数据序列：Y＝{y(0),…,y(n)，…,y(NK―1)}
式中，n＝0,…,NK―1，NK为循环伪随机序列的长度；
信道估计模块，通过下列步骤确定多径数量的粗估计值
Figure BDA0003977039450000111
S02-1通过下式确定噪声功率：
Figure BDA0003977039450000112
式中，n＝0,…,NK―1
S02-2通过下式确定幅度门限：
Figure BDA0003977039450000113
S02-3：统计|y(n)|≥A的数量作为信道多径数量的粗估计值
Figure BDA0003977039450000114
S02-4：估计粗估计值/>
Figure BDA0003977039450000115
中每条路径的参数初始估计值。
第一实施例中，估计粗估计值
Figure BDA0003977039450000116
中每条路径的参数初始估计值具体包括：
S05-1使l←1,Xl(n)←y(n),通过下式求得路径l的时延初始估计值τl、系数初始估计值hl和相关峰Spl(n)：
τl＝argmaxn[|Xl(n)|2]
Figure BDA0003977039450000117
Spl(n)＝hlR|n―τl|NK
式中，n＝0,…,NK―1；R(0)表示伪随机序列对齐时相关峰峰值，R|n―τl|NK表示伪随机序列相关函数在|n―τl|NK处的取值，|n―τl|NK表示对n―τl对NK取模；
S05-2令l←l+1；
S05-3使Xl(n)←y(n)―Spl―1(n)，通过下式计算路径l的时延初始估计值τl:
τl＝argmaxn[|Xl(n)|2]，
S05-4判断τl＝τl―1+1和τl＝τl―1―1是否都成立，如果是，则
Figure BDA0003977039450000121
式中，n＝0,…,NK―1，R(1)表示伪随机序列相关函数在1处的取值；如果不是，则
Figure BDA0003977039450000122
S05-5重构相关峰
Figure BDA0003977039450000123
其中,n＝0,…,NK―1，R|n―τt|NK表示伪随机序列相关函数在|n―τt|NK处的取值，|n―τt|NK表示对n―τt对NK取模；
S05-6判断
Figure BDA0003977039450000124
是否成立，若不成立，则返回到S05-2，若成立，开始实施信道确定模块。
第一实施例中，信道确定模块通过下述步骤确定路径的系数和时延：
S06-1 i←0
S06-2更新第
Figure BDA0003977039450000125
条路径，重构其它多径的相关峰：/>
Figure BDA0003977039450000126
Figure BDA0003977039450000127
其中hm表示信道系数，τm表示时延,并使Xl'(n)←y(n)―Spl'―1(n)，通过下式更新每条路径时延初始估计值和系数初始估计值得得到路径的时延初值τl'和系数hl'：
τl'＝argmaxn[|Xl'(n)|2]，
Figure BDA0003977039450000128
S06-3判断多径时延是否存在重复搜索,若是，则重复路径合并，并将系数合并，而后执行S06-5，若否，更新时延值；
S06-5判断
Figure BDA0003977039450000131
是否成立，若不成立，则使得i←i+1，并返回到S06-2；若成立，则根据路径及其时延值和系数值确定无人机发送信息的信道。
本发明通过信息交互模块在低信干噪比条件下，有效提升信道多径提取的性能，获得超分辨率多径参数估计，从而确定无人机发送信息的信道。
第二实施例
为实现所述发明目的，本发明还提供一种存储介质，其特征在于，用于存储第一实施例所述方法利用计算机语言编成处理器可执行的程序代码。
第三实施例
为实现所述发明目的，本发明还提供一种系统，其包括一个或者多个处理器，所述处理器调用上述的存储介质中存储的程序代码并执行。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (6)

1.一种基于PCNN神经网络的无人机获取图像处理方法，其包括如下步骤：
通过信息交互模块探测无人机发送信息的信道并与通过该信道接收无人机载光机模块获取的获取R、G、B三个通道的光谱图像A以及全色图像P；
通过图像处理模块对光谱图像A以及全色图像P进行处理，图像处理模块包括IHS变换模块、匹配模块、分解模块、低频融合模块、PCNN模块、重构模块和逆变换模块，其中，IHS变换模块被配置为对光谱图像A进行IHS变换，得到多光谱图像的强度分量I、色调分量H和饱和度分量S；匹配模块被配置为对多光谱图像的强度分量I和全色图像P进行直方图匹配；分解模块将相匹配的图像的强度分量和全色图像进行NSCT分解，得到两个低频子带图像系数和两个多层高频子带图像系数，两个低频子带图像系数包括相匹配的图像的强度分量低频子带图像系数DI,L(m,n)和相匹配的全色图像低频子带图像系数DP,L(m,n),两个多层高频子带图像系数包括相匹配的图像的强度分量的高频子带图像系数
Figure QLYQS_1
相匹配的全色图像低频子带图像系数/>
Figure QLYQS_2
其中，J＝1,2,3，....，L，L为分解层数，k为各层分解的方向数；低频融合模块对相匹配的图像的强度分量低频子带图像系数DI,L(m,n)和相匹配的全色图像的低频子带图像系数DP,L(m,n)进行低频融合得到低频子带图像系数DF,L(m,n))；PCNN模块对相匹配的图像的强度分量的高频子带图像系数/>
Figure QLYQS_3
和相匹配的图像的全色图像高频子带图像系数/>
Figure QLYQS_4
处理得到融合后的高频子带系数/>
Figure QLYQS_5
重构模块将低频子带图像系数DF,L(m,n)和高频子带系数/>
Figure QLYQS_6
进行NSCT重构得到重构后得到强度分量I1；逆变换模块将重构后的强度分量I1、色调分量H和饱和度分量进行IHS逆变换得到最终的融合图像；
无人机在其发送图像的信道中在发送图像前连续发发送循环伪随机序列直到接收到信息交互模块发送的回应信息；
信息交互模块包括噪声强度估计模块、信道参数估计模块和信道参数确定模块，其中，
噪声强度估计模块被配置为接收无人机发送的循环伪随机序列与本地存储的循环伪随机序列进行相关运算,取长度为NK的数据序列：Y＝{y(0),…,y(n)，…,y(NK-1)}
式中，n＝0,…,NK-1，NK为循环伪随机序列的长度；
信道估计模块，通过下列步骤确定多径数量的粗估计值
Figure QLYQS_7
S02-1通过下式确定噪声功率：
Figure QLYQS_8
S02-2通过下式确定幅度门限：
Figure QLYQS_9
S02-3：统计|y(n)|≥A的数量作为信道多径数量的粗估计值
Figure QLYQS_10
S02-4：估计粗估计值
Figure QLYQS_11
中每条路径的参数初始估计值；
估计粗估计值
Figure QLYQS_12
中每条路径的参数初始估计值具体包括：
S05-1使l←1,Xl(n)←y(n),通过下式求得路径l的时延初始估计值τl、系数初始估计值hl和相关峰Spl(n)：
τl＝argmaxn[|Xl(n)|2]
Figure QLYQS_13
Spl(n)＝hlR|n-τl|NK
式中，R(0)表示伪随机序列对齐时相关峰峰值，R|n-τl|NK表示伪随机序列相关函数在|n-τl|NK处的取值，|n-τl|NK表示对n-τl对NK取模；
S05-2令l←l+1；
S05-3使Xl(n)←y(n)-Spl-1(n)，通过下式计算路径l的时延初始估计值τl:
τl＝argmaxn[|Xl(n)|2]，
S05-4判断τl＝τl-1+1和τl＝τl-1-1是否都成立，如果是，则
Figure QLYQS_14
其中R(1)表示伪随机序列相关函数在1处的取值；如果不是，则/>
Figure QLYQS_15
S05-5重构相关峰
Figure QLYQS_16
其中,R|n-τt|NK表示伪随机序列相关函数在|n-τt|NK处的取值，|n-τt|NK表示对n-τt对NK取模；
S05-6判断
Figure QLYQS_17
是否成立，若不成立，则返回到S05-2，若成立，开始实施信道确定模块。
2.根据权利要求1所述的方法，其特征在于，低频融合模块对相匹配的图像的强度分量低频子带图像系数DI,L(m,n)和相匹配的全色图像的低频子带图像系数DP,L(m,n)进行低频融合得到低频子带图像系数DF,L(m,n)具体包括：对相匹配的图像的强度分量低频子带图像系数DI,L(m,n)和相匹配的全色图像的低频子带图像系数DP,L(m,n)进行边界延拓，则得到以像素(m,n)为中心的8邻域相匹配的图像的强度分量局部能量EI,L(m,n)和相匹配的全色图像局部能量EP,L(m,n)：
Figure QLYQS_18
Figure QLYQS_19
根据下式计算加权系数
Figure QLYQS_20
则：DF,L(m,n)＝α1DI,L(m,n)+α2DP,L(m,n)。
3.根据权利要求1所述的方法，其特征在于，PCNN模块对相匹配的图像的强度分量的高频子带图像系数
Figure QLYQS_21
和相匹配的图像的全色图像高频子带图像系数/>
Figure QLYQS_22
处理得到融合后的高频子带系数/>
Figure QLYQS_23
具体包括：将相匹配的多光谱图像的强度分量和全色图像的高频系数作为PCNN的外部输入激励，进行点火运算，达到两幅图像的点火映射图，系数分别为/>
Figure QLYQS_24
再计算两幅图像点火映射图的区域能量，能量区域采用3X3的窗口，对系数进行边界延拓扑，则两幅点火映射以像素(m,n)为中心8邻域局部能量为：
Figure QLYQS_25
Figure QLYQS_26
式中，
Figure QLYQS_27
为窗口掩膜矩阵；
以两幅图像点火映射图的区域能量作为高频融合系数选择的判决算子，计算两幅图像点火映射图区域能量大小，通过判决算子选择，将区域能量大的待融合图像高频子带系数作为融合图像的高频子带系数，高频融合公式如下：
Figure QLYQS_28
4.根据权利要求1所述的方法，其特征在于，信道确定模块通过下述步骤确定路径的系数和时延：
S06-1 i←0
S06-2更新第
Figure QLYQS_29
条路径，重构其它多径的相关峰：/>
Figure QLYQS_30
Figure QLYQS_31
其中hm表示信道系数，τm表示时延,并使Xl’(n)←y(n)-Spl’-1(n)，通过下式更新每条路径时延初始估计值和系数初始估计值得得到路径的时延初值τl’和系数hl’：
τl’＝argmaxn[|Xl’(n)|2]，
Figure QLYQS_32
S06-3判断多径时延是否存在重复搜索,若是，则重复路径合并，并将系数合并，而后执行S06-5，若否，更新时延值；
S06-5判断
Figure QLYQS_33
是否成立，若不成立，则使得i←i+1，并返回到S06-2；若成立，则根据路径及其时延值和系数值确定无人机发送信息的信道。
5.一种存储介质，其特征在于，用于存储将权利要求1-4任一项所述的方法利用计算机语言编成处理器可执行的程序代码。
6.一种系统，其包括一个或者多个处理器，所述处理器调用权利要求5所述的存储介质中存储的程序代码并执行。
CN202211534473.0A 2022-12-02 2022-12-02 基于pcnn神经网络的无人机获取图像处理系统及方法 Active CN115861141B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211534473.0A CN115861141B (zh) 2022-12-02 2022-12-02 基于pcnn神经网络的无人机获取图像处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211534473.0A CN115861141B (zh) 2022-12-02 2022-12-02 基于pcnn神经网络的无人机获取图像处理系统及方法

Publications (2)

Publication Number Publication Date
CN115861141A CN115861141A (zh) 2023-03-28
CN115861141B true CN115861141B (zh) 2023-06-16

Family

ID=85669122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211534473.0A Active CN115861141B (zh) 2022-12-02 2022-12-02 基于pcnn神经网络的无人机获取图像处理系统及方法

Country Status (1)

Country Link
CN (1) CN115861141B (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7061967B2 (en) * 2002-06-24 2006-06-13 Comsys Communication & Signal Processing Ltd. Multipath channel tap delay estimation in a CDMA spread spectrum receiver
US7548071B2 (en) * 2006-01-31 2009-06-16 University Of Utah Research Foundation Reflectometry test system using a sliding pseudo-noise reference
CN101578829B (zh) * 2007-03-21 2013-01-30 中兴通讯股份有限公司 一种信道估计方法
CN105873135B (zh) * 2015-01-20 2019-05-10 富士通株式会社 多路径信道的参数确定方法、装置以及通信系统
CN108921809B (zh) * 2018-06-11 2022-02-18 上海海洋大学 整体原则下基于空间频率的多光谱和全色图像融合方法
CN112260972B (zh) * 2020-10-21 2021-08-13 天津大学 一种符号干扰信道下基于比特域叠加训练序列的均衡方法
CN114926452B (zh) * 2022-06-10 2024-04-02 大连民族大学 一种基于NSST和β散度非负矩阵分解的遥感图像融合方法
CN115294001A (zh) * 2022-08-03 2022-11-04 桂林理工大学 一种改进ihs与小波变换的夜光遥感影像融合方法

Also Published As

Publication number Publication date
CN115861141A (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
JP6929047B2 (ja) 画像処理装置、情報処理方法及びプログラム
US11798147B2 (en) Image processing method and device
US20220301114A1 (en) Noise Reconstruction For Image Denoising
US6801672B1 (en) Removing noise from a color image using wavelets
US8447129B2 (en) High-speed diversity-based imaging method for parallel atmospheric turbulence compensation
KR101928391B1 (ko) 다중분광 영상과 레이더 영상의 융합방법 및 장치
Nirmalraj et al. An adaptive fusion of infrared and visible image based on learning of sparse fuzzy cognitive maps on compressive sensing
CN116309126B (zh) 基于自回归模型的五波段多光谱图像重建方法
CN114529830A (zh) 基于混合卷积网络遥感图像时空融合方法
Yue et al. Image noise estimation and removal considering the bayer pattern of noise variance
CN115861141B (zh) 基于pcnn神经网络的无人机获取图像处理系统及方法
CN113781326A (zh) 解马赛克方法、装置、电子设备及存储介质
CN111353982B (zh) 一种深度相机图像序列筛选方法及装置
Ponomaryov et al. Fuzzy color video filtering technique for sequences corrupted by additive Gaussian noise
CN116579959B (zh) 用于高光谱图像的融合成像方法及装置
US11997246B2 (en) Trained artificial intelligence model for raw to RGB image transformation
Pan et al. Deep panchromatic image guided residual interpolation for multispectral image demosaicking
CN116309139A (zh) 一种适用于一对多红外多光谱图像去马赛克方法
CN113160104B (zh) 一种基于密集连接网络的图像融合方法
Panguluri et al. Efficient DWT based fusion algorithm for improving contrast and edge preservation
CN115311149A (zh) 图像去噪方法、模型、计算机可读存储介质及终端设备
KR101928393B1 (ko) 적외선 영상과 레이더 영상의 융합방법 및 장치
CN112989593A (zh) 基于双相机的高光谱低秩张量融合计算成像方法
Talal et al. Fusion-based Resolution Enhancement of Satellite Images: Comparative Study and Performance Evaluation
Zhang et al. Long Range Imaging Using Multispectral Fusion of RGB and NIR Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant