CN115082310A - 一种卫星视频的超分辨率重建方法、装置及处理设备 - Google Patents
一种卫星视频的超分辨率重建方法、装置及处理设备 Download PDFInfo
- Publication number
- CN115082310A CN115082310A CN202210639384.6A CN202210639384A CN115082310A CN 115082310 A CN115082310 A CN 115082310A CN 202210639384 A CN202210639384 A CN 202210639384A CN 115082310 A CN115082310 A CN 115082310A
- Authority
- CN
- China
- Prior art keywords
- images
- image
- processing
- super
- resolution reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 180
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000005457 optimization Methods 0.000 claims abstract description 28
- 230000008569 process Effects 0.000 claims description 28
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000006073 displacement reaction Methods 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 230000008030 elimination Effects 0.000 claims description 9
- 238000003379 elimination reaction Methods 0.000 claims description 9
- 238000012952 Resampling Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000003491 array Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种卫星视频的超分辨率重建方法、装置及处理设备，用于在现有的超分辨率重建处理的基础上，引入相关的图像处理以提高图像质量，从而最终可以合并得到高分辨率卫星视频。方法包括：处理设备获取多张第一图像；处理设备对多张第一图像进行同名像点优化处理，得到多张第二图像；处理设备将两张第二图像之间同名像点的偏移量作为两张第二图像之间的偏移量，对多张第二图像进行图像对齐处理，以剔除掉非重叠区域，得到多张第三图像；处理设备对多张第三图像逐个像素进行最优值拟合处理，得到多张第四图像；处理设备将多张第四图像组合为比卫星视频具有更高分辨率的高分辨率卫星视频。
Description
技术领域
本申请涉及卫星遥感领域，具体涉及一种卫星视频的超分辨率重建方法、装置及处理设备。
背景技术
由于传感器和光学镜头的限制，光学遥感卫星的地面分辨率在硬件层面难以提高，因此，光学遥感卫星图像的超分辨率重建被广泛用于提高空间分辨率。
而借助高精度姿态控制设备，LAPAN-A1(A2)、Sky-sat-1视频、Iris、吉林一号敏捷视频卫星、OVS—1A(1B)等空间视频传感器已发射并开始获取新型卫星视频，这些新型视频传感器可以获得不同于传统静态图像的光学动态视频，其中一些卫星可以在一段时间内锁定某一区域，并获得连续多个观测角度的卫星视频。
卫星视频不同于普通的监控视频，普通的监控视频可以理解为观察地面上的静态和动态物体，但对被观察物体的观察角度不会改变，而卫星视频则可以获得对被观察物体进行多角度的观测。
而在现有的相关技术的研究过程中，发明人发现，由于各种条件限制，获取的卫星视频存在微量的偏移，从而影响到超分辨率重建的精度，也就是说，随着新型视频遥感卫星的投入使用，传统的遥感超分辨率重建方法在应用于卫星视频时，存在精度有限的问题，而这显然是无法满足卫星遥感处理的高精度需求的。
发明内容
本申请提供了一种卫星视频的超分辨率重建方法、装置及处理设备，用于在现有的超分辨率重建处理的基础上，引入相关的图像处理以提高图像质量，从而最终可以合并得到高分辨率卫星视频。
第一方面，本申请提供了一种卫星视频的超分辨率重建方法，方法包括：
处理设备获取多张第一图像，多个第一图像是由卫星视频解析得到的多个图像经过超分辨率重建处理后得到的，卫星视频为在卫星遥感处理中卫星对目标观察对象进行多观察角度拍摄得到的视频；
处理设备对多张第一图像进行同名像点优化处理，得到多张第二图像，其中，同名像点优化处理包括采用基于特征的同名像点匹配处理获取每两张第一图像之间的同名像点，并计算所有同名像点的平均偏移量及2倍中误差，再剔除超过2倍中误差的目标同名像点，然后用剔除后的剩下同名像点计算平均位移，经过多轮剔除直到没有超过前一轮所有同名像点偏移量的2倍中误差的同名像点；
处理设备将两张第二图像之间同名像点的偏移量作为两张第二图像之间的偏移量，对多张第二图像进行图像对齐处理，以剔除掉非重叠区域，得到多张第三图像；
处理设备对多张第三图像逐个像素进行最优值拟合处理，得到多张第四图像，其中，最优值拟合处理包括统计每个波段每个像素在不同第三图像中的值，将每个波段每个像素在不同第三图像中的值按照图像序列顺序或者拍摄时间顺序排列为一个数组，对每个数组进行三次曲线拟合，然后将三次曲线拟合的值赋值并代替原始像素在每一张第三图像中的值；
处理设备将多张第四图像组合为比卫星视频具有更高分辨率的高分辨率卫星视频。
结合本申请第一方面，在本申请第一方面第一种可能的实现方式中，处理设备将两张第二图像之间同名像点的偏移量作为两张第二图像之间的偏移量，对多张第二图像进行图像对齐处理，包括：
处理设备根据两张第二图像之间的偏移量，将所有第二图像与所有第二图像的图像序列中的最中间图像进行对齐，其中，如果图像位移的数量不满足整数像素颗粒度，则进行重采样以及重对齐，直至图像位移的数量满足整数像素颗粒度。
结合本申请第一方面第一种可能的实现方式，在本申请第一方面第二种可能的实现方式中，偏移量的计算处理包括：
如果第二图像的数量为双数，则取与第二图像的图像序列中的最中间两张图像的第一张图像之间的偏移量。
结合本申请第一方面，在本申请第一方面第三种可能的实现方式中，在最优值拟合处理的过程中，遵循以下策略：
如果影像是黑白颜色的图像，则对一个波段进行处理；
如果影像是彩色或多光谱的图像，则对每个波段进行单独处理。
结合本申请第一方面，在本申请第一方面第四种可能的实现方式中，处理设备获取多张第一图像之前，方法还包括：
处理设备获取卫星视频；
处理设备将卫星视频解析得到多个图像进行超分辨率重建处理，得到多张第一图像。
结合本申请第一方面第四种可能的实现方式，在本申请第一方面第五种可能的实现方式中，超分辨率重建处理具体通过预先训练好的FSRCNN卷积神经网络进行。
结合本申请第一方面第四种可能的实现方式，在本申请第一方面第六种可能的实现方式中，超分辨率重建处理具体通过预先训练好的Bicubic算法进行。
第二方面，本申请提供了一种卫星视频的超分辨率重建装置，装置包括：
获取单元，用于获取多张第一图像，多个第一图像是由卫星视频解析得到的多个图像经过超分辨率重建处理后得到的，卫星视频为在卫星遥感处理中卫星对目标观察对象进行多观察角度拍摄得到的视频；
优化单元，用于对多张第一图像进行同名像点优化处理，得到多张第二图像，其中，同名像点优化处理包括采用基于特征的同名像点匹配处理获取每两张第一图像之间的同名像点，并计算所有同名像点的平均偏移量及2倍中误差，再剔除超过2倍中误差的目标同名像点，然后用剔除后的剩下同名像点计算平均位移，经过多轮剔除直到没有超过前一轮所有同名像点偏移量的2倍中误差的同名像点；
对齐单元，用于将两张第二图像之间同名像点的偏移量作为两张第二图像之间的偏移量，对多张第二图像进行图像对齐处理，以剔除掉非重叠区域，得到多张第三图像；
拟合单元，用于对多张第三图像逐个像素进行最优值拟合处理，得到多张第四图像，其中，最优值拟合处理包括统计每个波段每个像素在不同第三图像中的值，将每个波段每个像素在不同第三图像中的值按照图像序列顺序或者拍摄时间顺序排列为一个数组，对每个数组进行三次曲线拟合，然后将三次曲线拟合的值赋值并代替原始像素在每一张第三图像中的值；
合并单元，用于将多张第四图像组合为比卫星视频具有更高分辨率的高分辨率卫星视频。
结合本申请第二方面，在本申请第二方面第一种可能的实现方式中，对齐单元，具体用于：
根据两张第二图像之间的偏移量，将所有第二图像与所有第二图像的图像序列中的最中间图像进行对齐，其中，如果图像位移的数量不满足整数像素颗粒度，则进行重采样以及重对齐，直至图像位移的数量满足整数像素颗粒度。
结合本申请第二方面第一种可能的实现方式，在本申请第二方面第二种可能的实现方式中，偏移量的计算处理包括：
如果第二图像的数量为双数，则取与第二图像的图像序列中的最中间两张图像的第一张图像之间的偏移量。
结合本申请第二方面，在本申请第二方面第三种可能的实现方式中，在最优值拟合处理的过程中，遵循以下策略：
如果影像是黑白颜色的图像，则对一个波段进行处理；
如果影像是彩色或多光谱的图像，则对每个波段进行单独处理。
结合本申请第二方面，在本申请第二方面第四种可能的实现方式中，获取单元，还用于：
获取卫星视频；
将卫星视频解析得到多个图像进行超分辨率重建处理，得到多张第一图像。
结合本申请第二方面第四种可能的实现方式，在本申请第二方面第五种可能的实现方式中，超分辨率重建处理具体通过预先训练好的FSRCNN卷积神经网络进行。
结合本申请第二方面第四种可能的实现方式，在本申请第二方面第六种可能的实现方式中，超分辨率重建处理具体通过预先训练好的Bicubic算法进行。
第三方面，本申请提供了一种处理设备，包括处理器和存储器，存储器中存储有计算机程序，处理器调用存储器中的计算机程序时执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。
第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。
从以上内容可得出，本申请具有以下的有益效果：
针对于卫星视频涉及的超分辨率重建，本申请在初始的超分辨率重建处理得到的多个第一图像的基础上，先进行同名像点优化处理，以提供高精度的偏移量依据，再根据同名像点的偏移量进行图像对齐处理，以剔除掉图像之间的非重叠区域，接着进行最优值拟合处理，以进一步强化各图像中的像素，通过这几个阶段的图像处理大大提高了各图像的图像质量，最终可以合并得到高分辨率卫星视频，完成整体层面的超分辨率重建，较好地满足卫星遥感处理的高精度需求。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请卫星视频的超分辨率重建方法的一种流程示意图；
图2为本申请同名像点优化处理的一种场景示意图；
图3为本申请卫星视频的超分辨率重建方法的一种场景示意图；
图4为本申请四种超分辨率重建方案的一种方案效果对比图；
图5为本申请四种超分辨率重建方案的又一种方案效果对比图；
图6为本申请卫星视频的超分辨率重建装置的一种结构示意图；
图7为本申请处理设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相类似的技术效果即可。
本申请中所出现的模块的划分，是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。
在介绍本申请提供的卫星视频的超分辨率重建方法之前，首先介绍本申请所涉及的背景内容。
本申请提供的卫星视频的超分辨率重建方法、装置以及计算机可读存储介质，可应用于处理设备，用于在现有的超分辨率重建处理的基础上，引入相关的图像处理以提高图像质量，从而最终可以合并得到高分辨率卫星视频。
本申请提及的卫星视频的超分辨率重建方法，其执行主体可以为卫星视频的超分辨率重建装置，或者集成了该卫星视频的超分辨率重建装置的服务器、物理主机或者用户设备(User Equipment，UE)等不同类型的处理设备。其中，卫星视频的超分辨率重建装置可以采用硬件或者软件的方式实现，UE具体可以为智能手机、平板电脑、笔记本电脑、台式电脑或者个人数字助理(Personal Digital Assistant，PDA)等终端设备，卫星视频的超分辨率重建处理设备可以通过设备集群的方式设置。
下面，开始介绍本申请提供的卫星视频的超分辨率重建方法。
首先，参阅图1，图1示出了本申请卫星视频的超分辨率重建方法的一种流程示意图，本申请提供的卫星视频的超分辨率重建方法，具体可包括如下步骤S101至步骤S105：
步骤S101，处理设备获取多张第一图像，多个第一图像是由卫星视频解析得到的多个图像经过超分辨率重建处理后得到的，卫星视频为在卫星遥感处理中卫星对目标观察对象进行多观察角度拍摄得到的视频；
可以理解，本申请所涉及的超分辨率重建，是从整体层面上来说的，而在具体的处理中，相比于现有技术中直接合并经过超分辨率重建的各图像，本申请则是从初始的单张图像的超分辨率重建开始，通过相关的图像强化处理，加强各图像的图像质量，进而提高合并得到的卫星视频的分辨率及其超分辨率重建精度。
因此，步骤S101所涉及的对于第一图像的获取处理，可以理解为是对采用现有技术、卫星视频解析得到的多个图像经过超分辨率重建处理后图像的调取处理。
所谓的超分辨率重建，通俗来讲，是在图像处理层面上，通过相关的图像处理算法，提高目标图像的分辨率。
此外，在具体应用中，本申请在步骤S101之前，也可以包括对卫星视频解析得到的多个图像经过超分辨率重建处理，如此可以得到第一图像，供后续步骤S101的数据使用。
即，作为一种可能的实现方式，在步骤S101之前，本申请还可以包括以下步骤：
处理设备获取卫星视频；
处理设备将卫星视频解析得到多个图像进行超分辨率重建处理，得到多张第一图像。
可以理解的是，在实际应用中，对单张图像所进行的超分辨率重建处理，可以采用现有的超分辨率重建算法，当然，还可以采用优化的超分辨率重建算法。
具体的，作为一种适于实用的实现方式，此处所涉及的超分辨率重建处理，具体可以通过预先训练好的FSRCNN卷积神经网络进行。
可以理解，FSRCNN卷积神经网络在训练过程中，主要包括：
首先配置相应的样本图像，并标注其对应的超分辨率重建结果，再依次输入至初始的FSRCNN卷积神经网络，使得网络进行超分辨率重建处理，进行正向传播，再根据超分辨率处理结果计算损失函数，结合损失函数计算结果优化网络中的参数，进行反向传播，如此经过多轮的训练，当达到训练次数、训练时长、处理精度等预设的训练要求时，则可完成网络的训练，可投入实际的超分辨率重建使用。
可以理解，FSRCNN卷积神经网络具有网络结构紧凑的特点，通过使用反卷积替代了SRCNN模型中的插值，直接学习低分辨率图像到高分辨率图像的映射，实现了端到端的训练，具有不错的超分辨率重建效果。
又例如，作为又一种适于实用的实现方式，此处所涉及的超分辨率重建处理，具体还可以通过预先训练好的Bicubic算法(双三次插值算法)进行。
Bicubic算法其训练方式与上述的FSRCNN卷积神经网络类似，具体在此不再赘述。
而对于Bicubic算法而言，该算法利用待采样像素点周围16个像素点的灰度值进行三次插值，输出的像素值是最近的4乘4邻域中像素的加权平均值，Bicubic算法不仅考虑到周围四个直接相邻像素点的灰度影响，而且考虑到各邻点间灰度值变化率的影响，因此可以提供更好的视觉效果。
当然，除了此处列举的FSRCNN卷积神经网络、Bicubic算法，在具体应用中，还可以采用其他类型的卷积神经网络或者相关算法来实现单张图像的超分辨率重建。
作为一个超分辨率重建的实例，在具体应用中，可以将原始图像中的每个像素，重建为3×3个像素共9个像素，重建后的图像像素长度和宽度均为原始图像的三分之一，重建后的图像像素总数是原始图像像素的9倍。
步骤S102，处理设备对多张第一图像进行同名像点优化处理，得到多张第二图像，其中，同名像点优化处理包括采用基于特征的同名像点匹配处理获取每两张第一图像之间的同名像点，并计算所有同名像点的平均偏移量及2倍中误差，再剔除超过2倍中误差的目标同名像点，然后用剔除后的剩下同名像点计算平均位移，经过多轮剔除直到没有超过前一轮所有同名像点偏移量的2倍中误差的同名像点；
在获取到初始的、多张的第一图像后，则可从整体的层面出发，对这些第一图像进行本申请配置的同名像点优化处理，在该过程中，首先涉及到第一图像之间同名像点的识别，其次需要针对这些识别出的同名像点计算对应的平均偏移量、2倍中误差，接着又需要剔除超过该2倍中误差的同名像点，再对剩余的同名像点计算平均位移，如此经过多轮的剔除直到没有超过前一轮所有同名像点偏移量的2倍中误差的同名像点，完成众多第一图像的同名像点的优化，使得同名像点之间的偏移量稳定在小范围内，为后续的图像对其提供高精度的偏移量依据。
其中，对于同名像点，就是地面上同一个点在不同影像上形成的像点，同名像点可构成立体影像；
对于平均偏移量，首先需要确定一个同名像点，计算多张第一图像同名像点的偏移均值即为平均偏移量；
对于2倍中误差，在测量中按有限次观测的偶然误差求得的标准差为中误差，通常以2倍中误差作为允许的误差极限。
具体的，还可结合图2示出的本申请同名像点优化处理的一种场景示意图进行理解。
在图2中，涉及到第一图像之间同名像点的识别，本申请采用基于特征的同名像点匹配方法获取两幅影像间的同名像点。
步骤S103，处理设备将两张第二图像之间同名像点的偏移量作为两张第二图像之间的偏移量，对多张第二图像进行图像对齐处理，以剔除掉非重叠区域，得到多张第三图像；
在通过上面的同名像点的优化处理、使其偏移量稳定在小范围内后，本申请则可将同名像点的偏移量，作为图像之间的偏移量，即，将相邻图像中局部的偏移量作为相邻图像整体的偏移量，如此，从同名像点出发，解决图像整体偏移量难以量化、计算的问题。
接着，在此处，本申请则是以同名像点的偏移量，来对图像进行其对齐处理，此处的对齐处理，可以理解为，以同名像点的偏移量出发，识别并剔除两张图像中的非重叠区域，保留下两张图像中的重叠区域，如此可以保留下多角度观测下的同一对象的图像区域，为后续的图像处理提供更为精简化的图像内容。
作为又一种适于实用的实现方式，在对齐处理过程中，具体还可包括以下内容：
处理设备根据两张第二图像之间的偏移量，将所有第二图像与所有第二图像的图像序列中的最中间图像进行对齐，其中，如果图像位移的数量不满足整数像素颗粒度，则进行重采样以及重对齐，直至图像位移的数量满足整数像素颗粒度。
可以理解，在此处设置中，本申请具体则是将所有图像往最中间图像进行对齐，如此在实际应用中，所有第二图像的图像内容，通过对齐处理后是往该最中间的图像靠拢的，保留下以最中间图像为主的图像内容。
进一步的，还存在第二图像为双数数量的情况，如此最中间图像则为两张图像，针对该情况，作为又一种适于实用的实现方式，还可配置以下机制：
如果第二图像的数量为双数，则取与第二图像的图像序列中的最中间两张图像的第一张图像之间的偏移量。
可以看出，该偏移量的具体取值策略，为第二图像为双数数量的情况提供了一具体的应用方案。
当然，在对齐处理的具体应用中，也可以是与第一张图像进行对齐，或者与最后一张图像进行对齐，或者与任意一张图像进行对齐，而在实际应用中，本申请则印证得到，与最中间图像的对齐处理，符合了最中间图像在图像采集工作中获得最主要、最多的图像内容的情况下可以对齐得到更多、更有用的图像内容的预期效果。
步骤S104，处理设备对多张第三图像逐个像素进行最优值拟合处理，得到多张第四图像，其中，最优值拟合处理包括统计每个波段每个像素在不同第三图像中的值，将每个波段每个像素在不同第三图像中的值按照图像序列顺序或者拍摄时间顺序排列为一个数组，对每个数组进行三次曲线拟合，然后将三次曲线拟合的值赋值并代替原始像素在每一张第三图像中的值；
在经过图像对齐后，本申请还可继续对图像中的具体像素进行优化处理，此处的优化处理本申请记为最优值拟合处理，其则是从波段出发，锁定相同像素在不同图像中的具体值，再排列成数组，以组为单位，分别进行三次曲线拟合，拟合结果的值代替对应数组所涉及的像素的值，完成该像素在各图像中的强化，如此各图像中的局部的像素在图像切换时则可呈现更为平滑的效果，保留下合理的图像内容，使得最终大大提高了分辨率的视频的呈现效果更为流畅，在动态的图像内容中不会出现突兀的、显示异常的像素。
其中，对于波段，是指图像中的图层，例如，卫星图像通常包含不同波长的多个波段，即从电磁光谱的紫外区到可见光区和红外区，在遥感技术中，通常把电磁波谱划分为不同的波段。
在具体应用中，作为又一种适于实用的实现放方式，在最优值拟合处理的过程中，还可遵循以下策略：
如果影像是黑白颜色的图像，则对一个波段进行处理；
如果影像是彩色或多光谱的图像，则对每个波段进行单独处理。
可以理解，在该设置下，提供了一套具体落地方案，则针对与颜色相关的具体波段，发起针对像素的最优值拟合处理，如此适配于具体的图像颜色情况，取得更为细腻的、细颗粒度的像素平滑效果。
步骤S105，处理设备将多张第四图像组合为比卫星视频具有更高分辨率的高分辨率卫星视频。
而在通过上述几个图像处理，分别提高了图像质量后，此时则可按照预设的卫星视频格式，对其进行合并，合并出相较于步骤S101所提及的卫星视频具有显著提高分辨率且不丢失细节的卫星视频，该新的卫星视频本申请则记为高分辨率卫星视频。
而该高分辨率卫星视频，则可为后续的光学遥感等相关图像处理、数据加工处理提供更为清晰的数据支持。
为方便理解以上内容，还可结合图3示出的本申请卫星视频的超分辨率重建方法的一种场景示意图进行理解，依照图3中从左到右的图片顺序，在整个的超分辨率重建处理中，主要包括以下5个阶段，也对应上上面的步骤S101至步骤S105：
1.获取多张第一图像；2.对多张第一图像进行同名像点优化处理，得到多张第二图像；3.将两张第二图像之间同名像点的偏移量作为两张第二图像之间的偏移量，对多张第二图像进行图像对齐处理，以剔除掉非重叠区域，得到多张第三图像；4.对多张第三图像逐个像素进行最优值拟合处理，得到多张第四图像；5.将多张第四图像组合为比卫星视频具有更高分辨率的高分辨率卫星视频。
此外，本申请还可借助以下一组实例进行补充说明。
本申请获取原始数据，作为实验输入数据，然后通过以下四种超分辨率重建方案进行超分辨率重建，并与原始数据对比，生成每一帧的峰值信噪比(Peak Signal-To-NoiseRatio，PSNR)，其中，四种超分辨率重建方案分别是：
1.基于FSRCNN卷积神经网络进行图像的超分辨率重建后，就合并为卫星视频(现有方案)；
2.基于Bicubic算法进行图像的超分辨率重建后，就合并为卫星视频(现有方案)；
3.基于FSRCNN卷积神经网络进行图像的超分辨率重建后，通过上面步骤S102至步骤S104的图像处理，再合并为卫星视频(本申请方案)；
4.基于Bicubic算法进行图像的超分辨率重建后，通过上面步骤S102至步骤S104的图像处理，再合并为卫星视频(本申请方案)。
从图4示出的本申请四种超分辨率重建方案的一种方案效果对比图可看出，本申请方案基于Bicubic算法进行图像的超分辨率重建后，远高于现有基于Bicubic算法进行图像的超分辨率重建方案，甚至许多图像的峰值信噪比都可以达到甚至超过现有基于FSRCNN算法进行图像的超分辨率重建方案结果。并且，使用本申请基于FSRCNN卷积神经网络进行图像的超分辨率重建，比直接采用FSRCNN方法对每帧图像进行图像的超分辨率重建，峰值信噪比(PSNR)平均每帧提高了2.59dB，最大提高了4.20dB。
此外，除了PSNR，还可从结构相似性(Structural Similarity，SSIM)来进行方案效果的比对。从图5示出的本申请四种超分辨率重建方案的又一种方案效果对比图可看出，本申请所构建的图像超分辨率重建方案，相比于现有图像的超分辨率重建方案仍具有明显的优势。
从以上内容可以看出，针对于卫星视频涉及的超分辨率重建，本申请在初始的超分辨率重建处理得到的多个第一图像的基础上，先进行同名像点优化处理，以提供高精度的偏移量依据，再根据同名像点的偏移量进行图像对齐处理，以剔除掉图像之间的非重叠区域，接着进行最优值拟合处理，以进一步强化各图像中的像素，通过这几个阶段的图像处理大大提高了各图像的图像质量，最终可以合并得到高分辨率卫星视频，完成整体层面的超分辨率重建，较好地满足卫星遥感处理的高精度需求。
以上是本申请提供卫星视频的超分辨率重建方法的介绍，为便于更好的实施本申请提供的卫星视频的超分辨率重建方法，本申请还从功能模块角度提供了一种卫星视频的超分辨率重建装置。
参阅图6，图6为本申请卫星视频的超分辨率重建装置的一种结构示意图，在本申请中，卫星视频的超分辨率重建装置600具体可包括如下结构：
获取单元601，用于获取多张第一图像，多个第一图像是由卫星视频解析得到的多个图像经过超分辨率重建处理后得到的，卫星视频为在卫星遥感处理中卫星对目标观察对象进行多观察角度拍摄得到的视频；
优化单元602，用于对多张第一图像进行同名像点优化处理，得到多张第二图像，其中，同名像点优化处理包括采用基于特征的同名像点匹配处理获取每两张第一图像之间的同名像点，并计算所有同名像点的平均偏移量及2倍中误差，再剔除超过2倍中误差的目标同名像点，然后用剔除后的剩下同名像点计算平均位移，经过多轮剔除直到没有超过前一轮所有同名像点偏移量的2倍中误差的同名像点；
对齐单元603，用于将两张第二图像之间同名像点的偏移量作为两张第二图像之间的偏移量，对多张第二图像进行图像对齐处理，以剔除掉非重叠区域，得到多张第三图像；
拟合单元604，用于对多张第三图像逐个像素进行最优值拟合处理，得到多张第四图像，其中，最优值拟合处理包括统计每个波段每个像素在不同第三图像中的值，将每个波段每个像素在不同第三图像中的值按照图像序列顺序或者拍摄时间顺序排列为一个数组，对每个数组进行三次曲线拟合，然后将三次曲线拟合的值赋值并代替原始像素在每一张第三图像中的值；
合并单元605，用于将多张第四图像组合为比卫星视频具有更高分辨率的高分辨率卫星视频。
在一种示例性的实现方式中，对齐单元603具体用于：
根据两张第二图像之间的偏移量，将所有第二图像与所有第二图像的图像序列中的最中间图像进行对齐，其中，如果图像位移的数量不满足整数像素颗粒度，则进行重采样以及重对齐，直至图像位移的数量满足整数像素颗粒度。
在又一种示例性的实现方式中，偏移量的计算处理包括：
如果第二图像的数量为双数，则取与第二图像的图像序列中的最中间两张图像的第一张图像之间的偏移量。
在又一种示例性的实现方式中，在最优值拟合处理的过程中，遵循以下策略：
如果影像是黑白颜色的图像，则对一个波段进行处理；
如果影像是彩色或多光谱的图像，则对每个波段进行单独处理。
在又一种示例性的实现方式中，获取单元601，还用于：
获取卫星视频；
将卫星视频解析得到多个图像进行超分辨率重建处理，得到多张第一图像。
在又一种示例性的实现方式中，超分辨率重建处理具体通过预先训练好的FSRCNN卷积神经网络进行。
在又一种示例性的实现方式中，超分辨率重建处理具体通过预先训练好的Bicubic算法进行。
本申请还从硬件结构角度提供了一种处理设备，参阅图7，图7示出了本申请处理设备的一种结构示意图，具体的，本申请处理设备可包括处理器701、存储器702以及输入输出设备703，处理器701用于执行存储器702中存储的计算机程序时实现如图1对应实施例中卫星视频的超分辨率重建方法的各步骤；或者，处理器701用于执行存储器702中存储的计算机程序时实现如图6对应实施例中各单元的功能，存储器702用于存储处理器701执行上述图1对应实施例中卫星视频的超分辨率重建方法所需的计算机程序。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器702中，并由处理器701执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。
处理设备可包括，但不仅限于处理器701、存储器702、输入输出设备703。本领域技术人员可以理解，示意仅仅是处理设备的示例，并不构成对处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如处理设备还可以包括网络接入设备、总线等，处理器701、存储器702、输入输出设备703等通过总线相连。
处理器701可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是处理设备的控制中心，利用各种接口和线路连接整个设备的各个部分。
存储器702可用于存储计算机程序和/或模块，处理器701通过运行或执行存储在存储器702内的计算机程序和/或模块，以及调用存储在存储器702内的数据，实现计算机装置的各种功能。存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据处理设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器701用于执行存储器702中存储的计算机程序时，具体可实现以下功能：
获取多张第一图像，多个第一图像是由卫星视频解析得到的多个图像经过超分辨率重建处理后得到的，卫星视频为在卫星遥感处理中卫星对目标观察对象进行多观察角度拍摄得到的视频；
对多张第一图像进行同名像点优化处理，得到多张第二图像，其中，同名像点优化处理包括采用基于特征的同名像点匹配处理获取每两张第一图像之间的同名像点，并计算所有同名像点的平均偏移量及2倍中误差，再剔除超过2倍中误差的目标同名像点，然后用剔除后的剩下同名像点计算平均位移，经过多轮剔除直到没有超过前一轮所有同名像点偏移量的2倍中误差的同名像点；
将两张第二图像之间同名像点的偏移量作为两张第二图像之间的偏移量，对多张第二图像进行图像对齐处理，以剔除掉非重叠区域，得到多张第三图像；
对多张第三图像逐个像素进行最优值拟合处理，得到多张第四图像，其中，最优值拟合处理包括统计每个波段每个像素在不同第三图像中的值，将每个波段每个像素在不同第三图像中的值按照图像序列顺序或者拍摄时间顺序排列为一个数组，对每个数组进行三次曲线拟合，然后将三次曲线拟合的值赋值并代替原始像素在每一张第三图像中的值；
将多张第四图像组合为比卫星视频具有更高分辨率的高分辨率卫星视频。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的卫星视频的超分辨率重建装置、处理设备及其相应单元的具体工作过程，可以参考如图1对应实施例中卫星视频的超分辨率重建方法的说明，具体在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请如图1对应实施例中卫星视频的超分辨率重建方法的步骤，具体操作可参考如图1对应实施例中卫星视频的超分辨率重建方法的说明，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器(Read Only Memory，ROM)、随机存取记忆体(Random Access Memory，RAM)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本申请如图1对应实施例中卫星视频的超分辨率重建方法的步骤，因此，可以实现本申请如图1对应实施例中卫星视频的超分辨率重建方法所能实现的有益效果，详见前面的说明，在此不再赘述。
以上对本申请提供的卫星视频的超分辨率重建方法、装置、处理设备以及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种卫星视频的超分辨率重建方法，其特征在于，所述方法包括：
处理设备获取多张第一图像，多个所述第一图像是由卫星视频解析得到的多个图像经过超分辨率重建处理后得到的，所述卫星视频为在卫星遥感处理中卫星对目标观察对象进行多观察角度拍摄得到的视频；
所述处理设备对多张所述第一图像进行同名像点优化处理，得到多张第二图像，其中，同名像点优化处理包括所述采用基于特征的同名像点匹配处理获取每两张所述第一图像之间的同名像点，并计算所有所述同名像点的平均偏移量及2倍中误差，再剔除超过所述2倍中误差的目标同名像点，然后用剔除后的剩下同名像点计算平均位移，经过多轮剔除直到没有超过前一轮所有同名像点偏移量的2倍中误差的同名像点；
所述处理设备将两张所述第二图像之间所述同名像点的偏移量作为两张所述第二图像之间的偏移量，对多张所述第二图像进行图像对齐处理，以剔除掉非重叠区域，得到多张第三图像；
所述处理设备对多张所述第三图像逐个像素进行最优值拟合处理，得到多张第四图像，其中，所述最优值拟合处理包括统计每个波段每个像素在不同所述第三图像中的值，将所述每个波段每个像素在不同所述第三图像中的值按照图像序列顺序或者拍摄时间顺序排列为一个数组，对每个所述数组进行三次曲线拟合，然后将所述三次曲线拟合的值赋值并代替原始像素在每一张所述第三图像中的值；
所述处理设备将多张所述第四图像组合为比所述卫星视频具有更高分辨率的高分辨率卫星视频。
2.根据权利要求1所述的方法，其特征在于，所述处理设备将两张所述第二图像之间所述同名像点的偏移量作为两张所述第二图像之间的偏移量，对多张所述第二图像进行图像对齐处理，包括：
所述处理设备根据两张所述第二图像之间的偏移量，将所有所述第二图像与所有所述第二图像的图像序列中的最中间图像进行对齐，其中，如果图像位移的数量不满足整数像素颗粒度，则进行重采样以及重对齐，直至所述图像位移的数量满足所述整数像素颗粒度。
3.根据权利要求2所述的方法，其特征在于，所述偏移量的计算处理包括：
如果所述第二图像的数量为双数，则取与所述第二图像的图像序列中的最中间两张图像的第一张图像之间的偏移量。
4.根据权利要求1所述的方法，其特征在于，在所述最优值拟合处理的过程中，遵循以下策略：
如果影像是黑白颜色的图像，则对一个波段进行处理；
如果影像是彩色或多光谱的图像，则对每个波段进行单独处理。
5.根据权利要求1所述的方法，其特征在于，所述处理设备获取多张第一图像之前，所述方法还包括：
所述处理设备获取所述卫星视频；
所述处理设备将所述卫星视频解析得到多个图像进行超分辨率重建处理，得到多张所述第一图像。
6.根据权利要求5所述的方法，其特征在于，所述超分辨率重建处理具体通过预先训练好的FSRCNN卷积神经网络进行。
7.根据权利要求5所述的方法，其特征在于，所述超分辨率重建处理具体通过预先训练好的Bicubic算法进行。
8.一种卫星视频的超分辨率重建装置，其特征在于，所述装置包括：
获取单元，用于获取多张第一图像，多个所述第一图像是由卫星视频解析得到的多个图像经过超分辨率重建处理后得到的，所述卫星视频为在卫星遥感处理中卫星对目标观察对象进行多观察角度拍摄得到的视频；
优化单元，用于对多张所述第一图像进行同名像点优化处理，得到多张第二图像，其中，同名像点优化处理包括所述采用基于特征的同名像点匹配处理获取每两张所述第一图像之间的同名像点，并计算所有所述同名像点的平均偏移量及2倍中误差，再剔除超过所述2倍中误差的目标同名像点，然后用剔除后的剩下同名像点计算平均位移，经过多轮剔除直到没有超过前一轮所有同名像点偏移量的2倍中误差的同名像点；
对齐单元，用于将两张所述第二图像之间所述同名像点的偏移量作为两张所述第二图像之间的偏移量，对多张所述第二图像进行图像对齐处理，以剔除掉非重叠区域，得到多张第三图像；
拟合单元，用于对多张所述第三图像逐个像素进行最优值拟合处理，得到多张第四图像，其中，所述最优值拟合处理包括统计每个波段每个像素在不同所述第三图像中的值，将所述每个波段每个像素在不同所述第三图像中的值按照图像序列顺序或者拍摄时间顺序排列为一个数组，对每个所述数组进行三次曲线拟合，然后将所述三次曲线拟合的值赋值并代替原始像素在每一张所述第三图像中的值；
合并单元，用于将多张所述第四图像组合为比所述卫星视频具有更高分辨率的高分辨率卫星视频。
9.一种处理设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210639384.6A CN115082310B (zh) | 2022-06-07 | 2022-06-07 | 一种卫星视频的超分辨率重建方法、装置及处理设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210639384.6A CN115082310B (zh) | 2022-06-07 | 2022-06-07 | 一种卫星视频的超分辨率重建方法、装置及处理设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115082310A true CN115082310A (zh) | 2022-09-20 |
| CN115082310B CN115082310B (zh) | 2023-04-07 |
Family
ID=83252333
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210639384.6A Active CN115082310B (zh) | 2022-06-07 | 2022-06-07 | 一种卫星视频的超分辨率重建方法、装置及处理设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115082310B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116934588A (zh) * | 2023-06-12 | 2023-10-24 | 华能澜沧江水电股份有限公司 | 一种卫星视频的超分辨率重建方法及相关设备 |
| CN117011193A (zh) * | 2023-09-28 | 2023-11-07 | 生态环境部长江流域生态环境监督管理局生态环境监测与科学研究中心 | 一种轻量化凝视卫星视频去噪方法及去噪系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060038891A1 (en) * | 2003-01-31 | 2006-02-23 | Masatoshi Okutomi | Method for creating high resolution color image, system for creating high resolution color image and program creating high resolution color image |
| JP2011182330A (ja) * | 2010-03-03 | 2011-09-15 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理方法及び画像処理装置及びプログラム |
| US20170140245A1 (en) * | 2015-11-16 | 2017-05-18 | Orbital Insight, Inc. | Moving vehicle detection and analysis using low resolution remote sensing imagery |
| CN111986134A (zh) * | 2020-08-26 | 2020-11-24 | 中国空间技术研究院 | 面阵相机遥感成像方法及装置 |
| CN113256811A (zh) * | 2021-07-16 | 2021-08-13 | 生态环境部长江流域生态环境监督管理局生态环境监测与科学研究中心 | 建筑物建模方法、设备和计算机可读存储介质 |
| CN114494014A (zh) * | 2022-01-21 | 2022-05-13 | 中国科学院深圳先进技术研究院 | 一种磁共振图像超分辨率重建方法及装置 |
-
2022
- 2022-06-07 CN CN202210639384.6A patent/CN115082310B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060038891A1 (en) * | 2003-01-31 | 2006-02-23 | Masatoshi Okutomi | Method for creating high resolution color image, system for creating high resolution color image and program creating high resolution color image |
| JP2011182330A (ja) * | 2010-03-03 | 2011-09-15 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理方法及び画像処理装置及びプログラム |
| US20170140245A1 (en) * | 2015-11-16 | 2017-05-18 | Orbital Insight, Inc. | Moving vehicle detection and analysis using low resolution remote sensing imagery |
| CN111986134A (zh) * | 2020-08-26 | 2020-11-24 | 中国空间技术研究院 | 面阵相机遥感成像方法及装置 |
| CN113256811A (zh) * | 2021-07-16 | 2021-08-13 | 生态环境部长江流域生态环境监督管理局生态环境监测与科学研究中心 | 建筑物建模方法、设备和计算机可读存储介质 |
| CN114494014A (zh) * | 2022-01-21 | 2022-05-13 | 中国科学院深圳先进技术研究院 | 一种磁共振图像超分辨率重建方法及装置 |
Non-Patent Citations (5)
| Title |
|---|
| SHAO, XP (SHAO, XIAOPENG)，XU, J (XU, JIE) AND ETC,.: "Design of a wide-field imaging optical system with super-resolution reconstruction", 《SATELLITE DATA COMPRESSION, COMMUNICATIONS, AND PROCESSING XI》 * |
| 徐杰: "提高星载成像传感器空间分辨率的方法研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》 * |
| 胡愈炘，彭玉等: "基于环境DNA宏条形码的丹江口水库浮游生物多样性及群落特征", 《湖泊科学》 * |
| 胡愈炘，曹亮等: "长江流域着生藻类群落结构的空间格局及其生态评价", 《环境科学》 * |
| 陈功，刘佳莹等: "基于深度学习的多源遥感影像输电线路通道地物智能提取研究", 《绿色科技》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116934588A (zh) * | 2023-06-12 | 2023-10-24 | 华能澜沧江水电股份有限公司 | 一种卫星视频的超分辨率重建方法及相关设备 |
| CN117011193A (zh) * | 2023-09-28 | 2023-11-07 | 生态环境部长江流域生态环境监督管理局生态环境监测与科学研究中心 | 一种轻量化凝视卫星视频去噪方法及去噪系统 |
| CN117011193B (zh) * | 2023-09-28 | 2023-12-05 | 生态环境部长江流域生态环境监督管理局生态环境监测与科学研究中心 | 一种轻量化凝视卫星视频去噪方法及去噪系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115082310B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115082310B (zh) | 一种卫星视频的超分辨率重建方法、装置及处理设备 | |
| US11875475B2 (en) | Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers | |
| US6366694B1 (en) | Integrated color interpolation and color space conversion algorithm from 8-bit Bayer pattern RGB color space to 24-bit CIE XYZ color space | |
| US6356276B1 (en) | Median computation-based integrated color interpolation and color space conversion methodology from 8-bit bayer pattern RGB color space to 12-bit YCrCb color space | |
| US6366692B1 (en) | Median computation-based integrated color interpolation and color space conversion methodology from 8-bit bayer pattern RGB color space to 24-bit CIE XYZ color space | |
| Fu et al. | Adaptive spatial-spectral dictionary learning for hyperspectral image restoration | |
| US20020101524A1 (en) | Integrated color interpolation and color space conversion algorithm from 8-bit bayer pattern RGB color space to 12-bit YCrCb color space | |
| Valsesia et al. | Permutation invariance and uncertainty in multitemporal image super-resolution | |
| KR102083721B1 (ko) | 딥 러닝을 이용한 양안기반 초해상 이미징 방법 및 그 장치 | |
| US9336570B2 (en) | Demosaicking system and method for color array based multi-spectral sensors | |
| Chakrabarti et al. | Rethinking color cameras | |
| EP2175416A1 (en) | Method and system for image deblurring | |
| CN110443865B (zh) | 基于rgb相机和深度神经网络的多光谱成像方法和装置 | |
| Kapah et al. | Demosaicking using artificial neural networks | |
| Nam et al. | Neural image representations for multi-image fusion and layer separation | |
| Nguyen et al. | L1BSR: Exploiting Detector Overlap for Self-Supervised Single-Image Super-Resolution of Sentinel-2 L1B Imagery | |
| CN113298740A (zh) | 一种图像增强方法、装置、终端设备及存储介质 | |
| AU2016250291B2 (en) | Determining multispectral or hyperspectral image data | |
| US8731281B2 (en) | Wavelet transform on incomplete image data and its applications in image processing | |
| Bai et al. | Convolutional sparse coding for demosaicking with panchromatic pixels | |
| Spote et al. | Joint demosaicing of colour and polarisation from filter arrays | |
| KR101882739B1 (ko) | 패턴을 이용한 영상 해상도 변환 장치 및 방법 | |
| Briand | Low memory image reconstruction algorithm from RAW images | |
| Amaranageswarao et al. | Multi-scale image super-resolution via hierarchical filter groups | |
| CN112446824B (zh) | 一种图像重建方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |