CN117011193B - 一种轻量化凝视卫星视频去噪方法及去噪系统 - Google Patents

一种轻量化凝视卫星视频去噪方法及去噪系统 Download PDF

Info

Publication number
CN117011193B
CN117011193B CN202311269882.7A CN202311269882A CN117011193B CN 117011193 B CN117011193 B CN 117011193B CN 202311269882 A CN202311269882 A CN 202311269882A CN 117011193 B CN117011193 B CN 117011193B
Authority
CN
China
Prior art keywords
pixel
coordinate
pixel coordinate
frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311269882.7A
Other languages
English (en)
Other versions
CN117011193A (zh
Inventor
周正
徐杰
杨超
姚远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecological Environment Monitoring And Scientific Research Center Of Yangtze River Basin Ecological Environment Supervision And Administration Bureau Ministry Of Ecological Environment
Original Assignee
Ecological Environment Monitoring And Scientific Research Center Of Yangtze River Basin Ecological Environment Supervision And Administration Bureau Ministry Of Ecological Environment
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ecological Environment Monitoring And Scientific Research Center Of Yangtze River Basin Ecological Environment Supervision And Administration Bureau Ministry Of Ecological Environment filed Critical Ecological Environment Monitoring And Scientific Research Center Of Yangtze River Basin Ecological Environment Supervision And Administration Bureau Ministry Of Ecological Environment
Priority to CN202311269882.7A priority Critical patent/CN117011193B/zh
Publication of CN117011193A publication Critical patent/CN117011193A/zh
Application granted granted Critical
Publication of CN117011193B publication Critical patent/CN117011193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种轻量化凝视卫星视频去噪方法及去噪系统，去噪方法包括：按照时间顺序获取视频流的每一帧图像中相同像素的第一像素坐标，组成同一个像素的第一像素坐标序列；基于同一个像素的第一像素坐标序列中的多个第一像素坐标，进行曲线拟合，获取第一像素坐标序列中的每一个第一像素坐标在拟合曲线上的第二像素坐标；根据第一像素坐标和对应的第二像素坐标之间的差值，判断是否用第二像素坐标替换第一像素坐标，实现每一帧图像中的每一个像素的去噪处理。本发明利用视频中同类地物在统计学上具有相似性，同类地物在同一太阳入射角的不同反射角上具有连续变化的特性的特点，在较小计算量的条件下，较好的对视频采集时的各类噪音进行处理。

Description

一种轻量化凝视卫星视频去噪方法及去噪系统
技术领域
本发明涉及视频去噪领域，更具体地，涉及一种轻量化凝视卫星视频去噪方法及去噪系统。
背景技术
随着遥感卫星的发展，卫星可以采集的内容从静态图像逐渐发展为动态视频，尤其是凝视同一块区域的凝视卫星视频，可以在一段时间内锁定某一区域，并获得连续多个观测角度的卫星视频。
由于卫星距离地面较远，卫星传感器尺寸有限，从地面反射到卫星传感器中的光子较地面条件少，导致凝视卫星视频数据中普遍存在大量噪音，从而影响到卫星视频的使用效果。目前较多学者采用机器学习的方法进行去噪，但是机器学习和处理的方法，需要大量的数据集进行训练，对机器学习的训练过程计算量较大，在普通电脑上处理耗时较长。
发明内容
本发明针对现有技术中存在的技术问题，利用地物在太阳入射角基本不变的情况下，连续放射方向变化存在较强规律的特性，提供一种轻量化凝视卫星视频去噪方法及去噪系统，相比传统的机器学习方法，将算量小，且耗时时间短。
根据本发明的第一方面，提供了一种轻量化凝视卫星视频去噪方法，包括：
按照时间顺序获取视频流的每一帧图像中相同像素的第一像素坐标，组成同一个像素的第一像素坐标序列；
基于同一个像素的第一像素坐标序列中的多个第一像素坐标，进行曲线拟合，获取第一像素坐标序列中的每一个第一像素坐标在拟合曲线上的第二像素坐标；
根据第一像素坐标和对应的第二像素坐标之间的差值，判断是否用第二像素坐标替换第一像素坐标，实现每一帧图像中的每一个像素的去噪处理；
其中，所述基于同一个像素的第一像素坐标序列中的多个第一像素坐标，进行曲线拟合，包括：
根据任一块地物中的任一个像素在不同帧图像中的第一像素坐标，进行三次曲线拟合，得到拟合三次曲线；
基于所述任一个像素在不同帧图像中的坐标位置，在拟合三次曲线上找到所述任一个像素的第一像素坐标对应的第二像素坐标，不同帧图像中的第二像素坐标构成数组b；
所述根据第一像素坐标和对应的第二像素坐标之间的差值，判断是否用第二像素坐标替换第一像素坐标，包括：
对于任一个像素，根据数组a和数组b，计算所述任一个像素在每一帧图像中的第一像素坐标和第二像素坐标的差值，在所有帧中的差值组成数组c，其中，数组a中存放第一像素坐标序列；
计算数组c的平均值和二倍中误差y；
逐帧计算数组a中的第一像素坐标与数组c中的平均值的差值是否超过二倍中误差y，如果超过，则用第二像素坐标替换对应的第一像素坐标，否则，不作处理，实现所述任一个像素在不同帧中的像素坐标的去噪。
在上述技术方案的基础上，本发明还可以作出如下改进。
可选的，所述按照时间顺序获取视频流的每一帧图像中相同像素的第一像素坐标，之前还包括：
提取视频流中的第一帧图像，采用图像分割法对所述第一帧图像进行静态分割，将单张图像分割为在坐标上连续的m块地物，并记录每一块地物中n个像素的坐标位置，m≥1，且m，n为正整数。
可选的，所述按照时间顺序获取视频流的每一帧图像中相同像素的第一像素坐标，包括：
根据提取的第一帧图像中每一块地物中n个像素的坐标位置，按照顺序提取每一块地物中的每一个像素在不同帧图像中的第一像素坐标；
对于任一块地物中的任一个像素，将其在不同帧图像中的第一像素坐标组成数组a。
可选的，所述实现所述任一个像素在不同帧中的像素坐标的去噪，还包括：
对每一块地物中的n个像素在不同帧中的第一像素坐标进行去噪，实现所有地物的所有像素在不同帧中的第一像素坐标的去噪；
将去噪后的每一块地物进行拼接，形成视频帧，按照视频帧的时间顺序重新组织视频流，得到去噪后的视频流。
可选的，当每一帧图像为彩色图像时，其像素包括R波段像素，G波段像素和B波段像素，分别提取每一帧图像中的R波段的第一像素坐标，G波段的第一像素坐标和B波段的第一像素坐标。
根据本发明的第二方面，提供一种轻量化凝视卫星视频去噪系统，包括：
获取模块，用于按照时间顺序获取视频流的每一帧图像中相同像素的第一像素坐标，组成同一个像素的第一像素坐标序列；
曲线拟合模块，用于基于同一个像素的第一像素坐标序列中的多个第一像素坐标，进行曲线拟合，获取第一像素坐标序列中的每一个第一像素坐标在拟合曲线上的第二像素坐标；
去噪处理模块，用于根据第一像素坐标和对应的第二像素坐标之间的差值，判断是否用第二像素坐标替换第一像素坐标，实现每一帧图像中的每一个像素的去噪处理；
其中，其中，所述基于同一个像素的第一像素坐标序列中的多个第一像素坐标，进行曲线拟合，包括：
根据任一块地物中的任一个像素在不同帧图像中的第一像素坐标，进行三次曲线拟合，得到拟合三次曲线；
基于所述任一个像素在不同帧图像中的坐标位置，在拟合三次曲线上找到所述任一个像素的第一像素坐标对应的第二像素坐标，不同帧图像中的第二像素坐标构成数组b；
所述根据第一像素坐标和对应的第二像素坐标之间的差值，判断是否用第二像素坐标替换第一像素坐标，包括：
对于任一个像素，根据数组a和数组b，计算所述任一个像素在每一帧图像中的第一像素坐标和第二像素坐标的差值，在所有帧中的差值组成数组c，其中，数组a中存放第一像素坐标序列；
计算数组c的平均值和二倍中误差y；
逐帧计算数组a中的第一像素坐标与数组c中的平均值的差值是否超过二倍中误差y，如果超过，则用第二像素坐标替换对应的第一像素坐标，否则，不作处理，实现所述任一个像素在不同帧中的像素坐标的去噪。
可选的，所述获取模块，用于按照时间顺序获取视频流的每一帧图像中相同像素的第一像素坐标，组成同一个像素的第一像素坐标序列，之前还包括：
分割模块，用于提取视频流中的第一帧图像，采用图像分割法对所述第一帧图像进行静态分割，将单张图像分割为在坐标上连续的m块地物，并记录每一块地物中n个像素的坐标位置，m≥1，且m，n为正整数。
可选的，所述获取模块，用于按照时间顺序获取视频流的每一帧图像中相同像素的第一像素坐标，包括：
根据提取的第一帧图像中每一块地物中n个像素的坐标位置，按照顺序提取每一块地物中的每一个像素在不同帧图像中的第一像素坐标；
对于任一块地物中的任一个像素，将其在不同帧图像中的第一像素坐标组成数组a。
根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现轻量化凝视卫星视频去噪方法的步骤。
根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现轻量化凝视卫星视频去噪方法的步骤。
本发明提供的一种轻量化凝视卫星视频去噪方法及去噪系统，首先提取每一帧图像中相同像素的第一像素坐标，并基于同一个像素的多个第一像素坐标，进行曲线拟合，在拟合后的曲线上找到与第一像素坐标对应的第二像素坐标；根据第一像素坐标和对应的第二像素坐标之间的差值，判断第一像素是否存在噪声，如果存在噪声，则用第二像素坐标替换第一像素坐标，实现每一帧图像中的每一个像素的去噪处理。本发明利用视频中同类地物在统计学上具有相似性，同类地物在同一太阳入射角的不同反射角上具有连续变化的特性的特点，基于多个第一像素坐标进行曲线拟合，在拟合曲线上找到第一像素坐标对应的第二像素坐标，根据第二像素坐标替换第一像素坐标，来实现对第一像素坐标的噪声去除，在较小计算量的条件下，较好的对视频采集时的各类噪音进行处理。
附图说明
图1为本发明提供的一种轻量化凝视卫星视频去噪方法流程图；
图2为本发明提供的一种轻量化凝视卫星视频去噪系统的结构示意图；
图3为本发明提供的一种可能的电子设备的硬件结构示意图；
图4为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，本发明提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，这种结合不受步骤先后次序和/或结构组成模式的约束，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
在介绍本申请提供的轻量化凝视卫星视频去噪方法之前，首先介绍本申请所涉及的背景内容。
本申请提及的轻量化凝视卫星视频去噪方法，其执行主体可以为轻量化凝视卫星视频去噪装置，或者集成了该轻量化凝视卫星视频去噪装置的网络节点、服务器、物理主机或者用户设备（User Equipment，UE）等不同类型的处理设备。其中，轻量化凝视卫星视频去噪装置可以采用硬件或者软件的方式实现，UE具体可以为智能手机、平板电脑、笔记本电脑、台式电脑或者个人数字助理（Personal Digital Assistant，PDA）等终端设备，处理设备可以通过设备集群的方式设置。
可以理解的是，本申请所涉及的网关产品，既可以是以软件服务的形式配置的应用服务，需要在网络架构中搭载到相应的设备上才能作为实际意义上的网关节点，或者，也可以是直接为在网络架构中以设备形式存在的网关节点，这是随灵活的部署需求/应用需求来灵活调整的。
与此同时，本申请所提供的轻量化凝视卫星视频去噪方法，方案的主要目标是对凝视卫星视频进行去噪，在实际情况下，执行本申请所提供的轻量化凝视卫星视频去噪方法的处理设备，既可以直接是网关产品所在设备/网关产品本身，也可以是与网关产品相关的设备。
如此，执行本申请所提供的轻量化凝视卫星视频去噪方法的处理设备，具体可以为网络节点、服务器、物理主机或者UE等不同类型的设备，随实际需要进行灵活配置即可，本申请并不做具体限定。
基于背景技术中使用传统的机器学习方式对视频流中的噪声去除，的计算量大和耗时较长的缺陷，本发明提供了一种轻量化凝视卫星视频去噪方法流程图，如图1所示，该方法包括：
步骤1，按照时间顺序获取视频流的每一帧图像中相同像素的第一像素坐标，组成同一个像素的第一像素坐标序列。
可理解的是，卫星遥感用来获取地面上的凝视卫星视频，从凝视卫星视频中获取遥感影像，对遥感影像进行处理，可以了解地面状况。比如，地面的植被、农田种植情况。但是常常因为一些客观原因，卫星遥感获取的地面的凝视卫星视频中会存在一些噪声，会影响到后续的处理结果。因此，需要对凝视卫星视频中的噪声去除。其中，凝视卫星视频中包括一系列的帧图像，对凝视卫星视频进行去噪，需要对其中对每一帧图像中的噪声去除。
因此，对于卫星遥感连续拍摄的卫星视频，从中获取每一帧图像，并按照拍摄的顺序对每一帧图像进行排序，且对每一帧图像中的相同像素位置的坐标进行提取。比如，凝视卫星视频中包括w帧图像，首先，按照时间顺序对w帧图像进行排序，然后，从每一帧图像中提取相同像素位置的坐标，对于每一个像素位置，总共有w个像素坐标，称为第一像素坐标，w个第一像素坐标组成第一像素坐标序列。
其中，在获取视频流的每一帧图像中相同像素的第一像素坐标，之前，提取视频流中的第一帧图像，采用图像分割法对第一帧图像进行静态分割，将单张图像分割为在坐标上连续的m块地物，并记录每一块地物中n个像素的坐标位置，m≥1，且m，n为正整数。
可理解的是，对于采集的视频流中的每一帧图像，图像中通常包括多个不同的地物，因此，本发明实施例对每一帧图像中的不同地物进行划分，在后续进行噪声去除时，可以考虑以每一个地物为单元对每一帧图像中的噪声进行去噪处理。具体的，提取视频流中的第一帧图像，采用图像分割法对第一帧图像进行图像分割，将单张图像分割为在坐标上连续的m块地物，并记录m块地物中每个像素的坐标位置。其它帧图像，在获取相同像素位置的像素坐标时，可以参考第一帧图像中分割的地物的像素位置进行获取。
将帧图像按照地物分为多块区域，对每一块区域中的像素坐标进行处理，可以加快噪声处理的速度。
比如，每一个地物中包括n个像素，那么根据第一帧图像中每一块地物中n个像素的坐标位置，按照顺序提取每一块地物中的每一个像素在不同帧图像中的第一像素坐标；对于同一个地物中的同一个像素位置，将其在不同帧图像中的第一像素坐标形成第一像素坐标序列，将第一像素坐标序列存储到数组a中。
具体的，在第一帧图像中提取出了每一个地物的每一个像素的坐标位置，根据每一个像素的坐标位置，可提取其它帧中该像素的像素坐标，那么了提取了每一个像素在不同帧中的像素坐标，称为第一像素坐标。其中，本申请以地物为单位，先对同一块地物中的像素进行去噪处理，然后遍历到不同的地物，直到所有地物中的所有像素都去噪完毕。
对于同一块地物的n个像素，按照时间顺序提取一个像素位置在不同帧中的第一像素坐标，构成该像素的数组a，数组a中存放着该像素位置在不同帧中的第一像素坐标。
步骤2，基于同一个像素的第一像素坐标序列中的多个第一像素坐标，进行曲线拟合，获取第一像素坐标序列中的每一个第一像素坐标在拟合曲线上的第二像素坐标。
其中，本步骤是方法的核心步骤，利用地物在相同太阳入射角时，在连续变化反射角上的反射值，一般遵循连续变化而非跳跃变化的物理特性，对每个像素在连续观测角上，基于跳跃变化的原始值拟合出一条连续变化的曲线，在每个反射角上，用连续变化曲线上的拟合值代替原始反射值，理论上连续变化的值通常较原始值更接近于真实情况，也就是噪音更小。
可理解的是，对于任一个像素的数组a中的多个第一像素坐标，进行曲线拟合，曲线拟合所用到的曲线可根据需要选取，本发明中进行三次曲线拟合，得到拟合三次曲线，也可以进行二次曲线拟合或多次曲线拟合等，本发明不作具体限制。
然后基于每一个像素的坐标位置，在拟合三次曲线上找到每一帧中的第一像素坐标对应的第二像素坐标，那么就找到了同一个像素在不同帧中的第一像素坐标和在拟合曲线上的第二像素坐标。同一个像素在不同帧中的第一像素坐标形成数组a，在拟合三次曲线上的第二像素坐标形成数组b，其中，数组a中的第一像素坐标与数组b中的第二像素坐标是一一对应的。
步骤3，根据第一像素坐标和对应的第二像素坐标之间的差值，判断是否用第二像素坐标替换第一像素坐标，实现每一帧图像中的每一个像素的去噪处理。
可理解的是，第一像素坐标作为从原始视频流中提取的，可能会存在噪声，如果存在噪声，那么需要对该第一像素坐标进行处理，如果不存在噪声，则无需处理。因此，首先需要对第一像素坐标是否存在噪声、是否需要处理进行判断。
具体的，对于任一个像素，根据数组a和数组b，计算任一个像素在每一帧图像中的第一像素坐标和第二像素坐标的差值，在所有帧中的差值组成数组c，数组c中记录了数组a中每一个第一像素坐标和数组b中的每一个第二像素坐标之间的差值，那么数组c中包括多个差值数据。
计算数组c中的多个差值数据的平均值和二倍中误差y；逐帧计算数组a中的第一像素坐标与数组c中的平均值的差值是否超过二倍中误差y，如果超过，则说明该像素存在噪声，则用第二像素坐标替换对应的第一像素坐标。如果数组a中的第一像素坐标与数组c中的平均值的差值未超过二倍中误差y，则说明该像素不存在噪声，则对第一像素坐标不作处理。通过该种方法实现任一个像素在不同帧中的像素坐标的去噪。
可理解的是，上述步骤1中提取了每一帧图像中不同地物的像素的第一像素坐标，步骤2通过拟合曲线获取了每一个像素的第二像素坐标。可以先对一个地物的所有像素进行去噪，待一个地物中的所有像素均去噪完成后，再对另一个地物的像素进行去噪，直到所有地物的像素完成去噪。通过分开对每一个地物的像素进行去噪处理的方式，可并行同时对多个地物的像素进行去噪处理，提高了对视频流去噪的速度。
具体的，对每一块地物中的n个像素在不同帧中的第一像素坐标进行去噪，实现所有地物的所有像素在不同帧中的第一像素坐标的去噪；将去噪后的每一块地物进行拼接，形成视频帧，按照视频帧的时间顺序重新组织视频流，得到去噪后的视频流。
其中，对同一个地物中的一个像素在不同帧中的像素坐标进行去噪，然后，对同一个地物中的所有像素做相同的去噪处理，完成一个地物中的所有像素在不同帧中的像素坐标的去噪。随后，对其他的地物中的所有像素做去噪处理，完成所有地物的所有像素在所有帧中的像素坐标的去噪处理。
最后，按照时间顺序将去噪后的图像帧按照时间顺序重新组织成视频流，得到去噪后的视频流。
需要说明的是，如果视频流中的图像为彩色RGB图像，则需要对RGB三个波段的像素均进行去噪处理，对每一个波段的像素分别基于上述步骤1~步骤3的方式进行去噪，最后对RGB三个波段的像素均完成像素的去噪。对于每一个波段的像素进行去噪的具体方式包括：将视频数据中三个波段的帧图像分割出来，比如，对于R波段的帧图像，从中获取相同像素位置的第一像素坐标，基于多个第一像素坐标，进行曲线拟合，在拟合曲线上找到与第一像素坐标对应的第二像素坐标，在第一像素坐标存在噪声时，基于第二像素坐标替换第一像素坐标，来完成第一像素坐标的噪声去除。对于另外两个波段，G波段和B波段的视频帧图像，采用同样的方式进行去噪，不再重复说明。
参见图2，为本发明提供的一种轻量化凝视卫星视频去噪系统，该系统包括获取模块201、曲线拟合模块202和去噪处理模块203，其中：
获取模块201，用于按照时间顺序获取视频流的每一帧图像中相同像素的第一像素坐标，组成同一个像素的第一像素坐标序列；
曲线拟合模块202，用于基于同一个像素的第一像素坐标序列中的多个第一像素坐标，进行曲线拟合，获取第一像素坐标序列中的每一个第一像素坐标在拟合曲线上的第二像素坐标；
去噪处理模块203，用于根据第一像素坐标和对应的第二像素坐标之间的差值，判断是否用第二像素坐标替换第一像素坐标，实现每一帧图像中的每一个像素的去噪处理。
其中，所述获取模块，用于按照时间顺序获取视频流的每一帧图像中相同像素的第一像素坐标，组成同一个像素的第一像素坐标序列，之前还包括：
分割模块，用于提取视频流中的第一帧图像，采用图像分割法对所述第一帧图像进行静态分割，将单张图像分割为在坐标上连续的m块地物，并记录每一块地物中n个像素的坐标位置，m≥1，且m，n为正整数。
以及所述获取模块，用于按照时间顺序获取视频流的每一帧图像中相同像素的第一像素坐标，包括：
根据提取的第一帧图像中每一块地物中n个像素的坐标位置，按照顺序提取每一块地物中的每一个像素在不同帧图像中的第一像素坐标；
对于任一块地物中的任一个像素，将其在不同帧图像中的第一像素坐标组成数组a。
可以理解的是，本发明提供的一种轻量化凝视卫星视频去噪系统与前述各实施例提供的轻量化凝视卫星视频去噪方法相对应，轻量化凝视卫星视频去噪系统的相关技术特征可参考轻量化凝视卫星视频去噪方法的相关技术特征。
具体的，对于卫星遥感连续拍摄的卫星视频，从中获取每一帧图像，并按照拍摄的顺序对每一帧图像进行排序，且对每一帧图像中的相同像素位置的坐标进行提取。比如，凝视卫星视频中包括w帧图像，首先，按照时间顺序对w帧图像进行排序，然后，从每一帧图像中提取相同像素位置的坐标，对于每一个像素位置，总共有w个像素坐标，称为第一像素坐标，w个第一像素坐标组成第一像素坐标序列，存储在数组a中。
对于任一个像素的数组a中的多个第一像素坐标，进行曲线拟合，本发明中进行三次曲线拟合，得到拟合三次曲线。然后基于每一个像素的坐标位置，在拟合三次曲线上找到每一帧中的第一像素坐标对应的第二像素坐标，那么就找到了同一个像素在不同帧中的第一像素坐标和在拟合曲线上的第二像素坐标。同一个像素在不同帧中的第一像素坐标形成数组a，在拟合三次曲线上的第二像素坐标形成数组b，其中，数组a中的第一像素坐标与数组b中的第二像素坐标是一一对应的。
对于任一个像素，根据数组a和数组b，计算任一个像素在每一帧图像中的第一像素坐标和第二像素坐标的差值，在所有帧中的差值组成数组c，数组c中记录了数组a中每一个第一像素坐标和数组b中的每一个第二像素坐标之间的差值，那么数组c中包括多个差值数据。
计算数组c中的多个差值数据的平均值和二倍中误差y；逐帧计算数组a中的第一像素坐标与数组c中的平均值的差值是否超过二倍中误差y，如果超过，则说明该像素存在噪声，则用第二像素坐标替换对应的第一像素坐标。如果数组a中的第一像素坐标与数组c中的平均值的差值未超过二倍中误差y，则说明该像素不存在噪声，则对第一像素坐标不作处理。通过该种方法实现任一个像素在不同帧中的像素坐标的去噪。
请参阅图3，图3为本发明实施例提供的电子设备的实施例示意图。如图3所示，本发明实施例提了一种电子设备300，包括存储器310、处理器320及存储在存储器310上并可在处理器320上运行的计算机程序311，处理器320执行计算机程序311时实现轻量化凝视卫星视频去噪方法的步骤。
请参阅图4，图4为本发明提供的一种计算机可读存储介质的实施例示意图。如图4所示，本实施例提供了一种计算机可读存储介质400，其上存储有计算机程序411，该计算机程序411被处理器执行时实现轻量化凝视卫星视频去噪方法的步骤。
本发明实施例提供的一种轻量化凝视卫星视频去噪方法及去噪系统，首先提取每一帧图像中相同像素的第一像素坐标，并基于同一个像素的多个第一像素坐标，进行曲线拟合，在拟合后的曲线上找到与第一像素坐标对应的第二像素坐标；根据第一像素坐标和对应的第二像素坐标之间的差值，判断第一像素是否存在噪声，如果存在噪声，则用第二像素坐标替换第一像素坐标，实现每一帧图像中的每一个像素的去噪处理。本发明利用视频中同类地物在统计学上具有相似性，同类地物在同一太阳入射角的不同反射角上具有连续变化的特性的特点，基于多个第一像素坐标进行曲线拟合，在拟合曲线上找到第一像素坐标对应的第二像素坐标，根据第二像素坐标替换第一像素坐标，来实现对第一像素坐标的噪声去除，在较小计算量的条件下，较好的对视频采集时的各类噪音进行处理。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种轻量化凝视卫星视频去噪方法，其特征在于，包括：
按照时间顺序获取视频流的每一帧图像中相同像素的第一像素坐标，组成同一个像素的第一像素坐标序列；
基于同一个像素的第一像素坐标序列中的多个第一像素坐标，进行曲线拟合，获取第一像素坐标序列中的每一个第一像素坐标在拟合曲线上的第二像素坐标；
根据第一像素坐标和对应的第二像素坐标之间的差值，判断是否用第二像素坐标替换第一像素坐标，实现每一帧图像中的每一个像素的去噪处理；
其中，所述基于同一个像素的第一像素坐标序列中的多个第一像素坐标，进行曲线拟合，包括：
根据任一块地物中的任一个像素在不同帧图像中的第一像素坐标，进行三次曲线拟合，得到拟合三次曲线；
基于所述任一个像素在不同帧图像中的坐标位置，在拟合三次曲线上找到所述任一个像素的第一像素坐标对应的第二像素坐标，不同帧图像中的第二像素坐标构成数组b；
所述根据第一像素坐标和对应的第二像素坐标之间的差值，判断是否用第二像素坐标替换第一像素坐标，包括：
对于任一个像素，根据数组a和数组b，计算所述任一个像素在每一帧图像中的第一像素坐标和第二像素坐标的差值，在所有帧中的差值组成数组c，其中，数组a中存放第一像素坐标序列；
计算数组c的平均值和二倍中误差y；
逐帧计算数组a中的第一像素坐标与数组c中的平均值的差值是否超过二倍中误差y，如果超过，则用第二像素坐标替换对应的第一像素坐标，否则，不作处理，实现所述任一个像素在不同帧中的像素坐标的去噪。
2.根据权利要求1所述的轻量化凝视卫星视频去噪方法，其特征在于，所述按照时间顺序获取视频流的每一帧图像中相同像素的第一像素坐标，之前还包括：
提取视频流中的第一帧图像，采用图像分割法对所述第一帧图像进行静态分割，将单张图像分割为在坐标上连续的m块地物，并记录每一块地物中n个像素的坐标位置，m≥1，且m，n为正整数。
3.根据权利要求2所述的轻量化凝视卫星视频去噪方法，其特征在于，所述按照时间顺序获取视频流的每一帧图像中相同像素的第一像素坐标，包括：
根据提取的第一帧图像中每一块地物中n个像素的坐标位置，按照顺序提取每一块地物中的每一个像素在不同帧图像中的第一像素坐标；
对于任一块地物中的任一个像素，将其在不同帧图像中的第一像素坐标组成数组a。
4.根据权利要求3所述的轻量化凝视卫星视频去噪方法，其特征在于，所述实现所述任一个像素在不同帧中的像素坐标的去噪，还包括：
对每一块地物中的n个像素在不同帧中的第一像素坐标进行去噪，实现所有地物的所有像素在不同帧中的第一像素坐标的去噪；
将去噪后的每一块地物进行拼接，形成视频帧，按照视频帧的时间顺序重新组织视频流，得到去噪后的视频流。
5.根据权利要求1所述的轻量化凝视卫星视频去噪方法，其特征在于，当每一帧图像为彩色图像时，其像素包括R波段像素，G波段像素和B波段像素，分别提取每一帧图像中的R波段的第一像素坐标，G波段的第一像素坐标和B波段的第一像素坐标。
6.一种轻量化凝视卫星视频去噪系统，其特征在于，包括：
获取模块，用于按照时间顺序获取视频流的每一帧图像中相同像素的第一像素坐标，组成同一个像素的第一像素坐标序列；
曲线拟合模块，用于基于同一个像素的第一像素坐标序列中的多个第一像素坐标，进行曲线拟合，获取第一像素坐标序列中的每一个第一像素坐标在拟合曲线上的第二像素坐标；
去噪处理模块，用于根据第一像素坐标和对应的第二像素坐标之间的差值，判断是否用第二像素坐标替换第一像素坐标，实现每一帧图像中的每一个像素的去噪处理；
其中，所述基于同一个像素的第一像素坐标序列中的多个第一像素坐标，进行曲线拟合，包括：
根据任一块地物中的任一个像素在不同帧图像中的第一像素坐标，进行三次曲线拟合，得到拟合三次曲线；
基于所述任一个像素在不同帧图像中的坐标位置，在拟合三次曲线上找到所述任一个像素的第一像素坐标对应的第二像素坐标，不同帧图像中的第二像素坐标构成数组b；
所述根据第一像素坐标和对应的第二像素坐标之间的差值，判断是否用第二像素坐标替换第一像素坐标，包括：
对于任一个像素，根据数组a和数组b，计算所述任一个像素在每一帧图像中的第一像素坐标和第二像素坐标的差值，在所有帧中的差值组成数组c，其中，数组a中存放第一像素坐标序列；
计算数组c的平均值和二倍中误差y；
逐帧计算数组a中的第一像素坐标与数组c中的平均值的差值是否超过二倍中误差y，如果超过，则用第二像素坐标替换对应的第一像素坐标，否则，不作处理，实现所述任一个像素在不同帧中的像素坐标的去噪。
7.根据权利要求6所述的轻量化凝视卫星视频去噪系统，其特征在于，所述获取模块，用于按照时间顺序获取视频流的每一帧图像中相同像素的第一像素坐标，组成同一个像素的第一像素坐标序列，之前还包括：
分割模块，用于提取视频流中的第一帧图像，采用图像分割法对所述第一帧图像进行静态分割，将单张图像分割为在坐标上连续的m块地物，并记录每一块地物中n个像素的坐标位置，m≥1，且m，n为正整数。
8.根据权利要求7所述的轻量化凝视卫星视频去噪系统，其特征在于，所述获取模块，用于按照时间顺序获取视频流的每一帧图像中相同像素的第一像素坐标，包括：
根据提取的第一帧图像中每一块地物中n个像素的坐标位置，按照顺序提取每一块地物中的每一个像素在不同帧图像中的第一像素坐标；
对于任一块地物中的任一个像素，将其在不同帧图像中的第一像素坐标组成数组a。
9.一种电子设备，其特征在于，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求1-5任一项所述的轻量化凝视卫星视频去噪方法的步骤。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如权利要求1-5任一项所述的轻量化凝视卫星视频去噪方法的步骤。
CN202311269882.7A 2023-09-28 2023-09-28 一种轻量化凝视卫星视频去噪方法及去噪系统 Active CN117011193B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311269882.7A CN117011193B (zh) 2023-09-28 2023-09-28 一种轻量化凝视卫星视频去噪方法及去噪系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311269882.7A CN117011193B (zh) 2023-09-28 2023-09-28 一种轻量化凝视卫星视频去噪方法及去噪系统

Publications (2)

Publication Number Publication Date
CN117011193A CN117011193A (zh) 2023-11-07
CN117011193B true CN117011193B (zh) 2023-12-05

Family

ID=88574652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311269882.7A Active CN117011193B (zh) 2023-09-28 2023-09-28 一种轻量化凝视卫星视频去噪方法及去噪系统

Country Status (1)

Country Link
CN (1) CN117011193B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7054474B1 (en) * 2001-07-25 2006-05-30 3D Sharp, Inc. Image noise reduction
CN104732531A (zh) * 2015-03-11 2015-06-24 中国空间技术研究院 一种高分辨率遥感图像信噪比曲线自适应获取方法
CN106651792A (zh) * 2016-11-28 2017-05-10 苏州中科天启遥感科技有限公司 一种卫星影像条带噪声去除方法及装置
CN107197121A (zh) * 2017-06-14 2017-09-22 长春欧意光电技术有限公司 一种基于舰载设备的电子稳像方法
CN107730454A (zh) * 2016-08-10 2018-02-23 苏州中科天启遥感科技有限公司 一种基于线追踪的线阵影像中横条纹噪声去除的改进算法
CN108305288A (zh) * 2017-10-24 2018-07-20 国家卫星气象中心 用于静止轨道对地观测卫星线列仪器的恒星质心提取方法
CN110264492A (zh) * 2019-06-03 2019-09-20 浙江大学 一种高效的卫星图像自纠正多目标跟踪方法
CN111179201A (zh) * 2019-12-31 2020-05-19 广州市百果园信息技术有限公司 一种视频去噪方法和电子设备
CN111833269A (zh) * 2020-07-13 2020-10-27 字节跳动有限公司 视频降噪方法、装置、电子设备及计算机可读介质
CN113379629A (zh) * 2021-06-08 2021-09-10 深圳思谋信息科技有限公司 卫星图像去噪方法、装置、计算机设备和存储介质
CN114627087A (zh) * 2022-03-21 2022-06-14 国网江苏省电力有限公司无锡供电分公司 一种多时相卫星遥感图像的地物变化自动检测方法及系统
CN115082310A (zh) * 2022-06-07 2022-09-20 生态环境部长江流域生态环境监督管理局生态环境监测与科学研究中心 一种卫星视频的超分辨率重建方法、装置及处理设备
CN115242933A (zh) * 2021-04-22 2022-10-25 广州视源电子科技股份有限公司 一种视频图像去噪方法、装置、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8571117B2 (en) * 2009-06-05 2013-10-29 Cisco Technology, Inc. Out of loop frame matching in 3D-based video denoising
US20170150014A1 (en) * 2015-11-24 2017-05-25 Le Holdings (Beijing) Co., Ltd. Method and electronic device for video denoising and detail enhancement

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7054474B1 (en) * 2001-07-25 2006-05-30 3D Sharp, Inc. Image noise reduction
CN104732531A (zh) * 2015-03-11 2015-06-24 中国空间技术研究院 一种高分辨率遥感图像信噪比曲线自适应获取方法
CN107730454A (zh) * 2016-08-10 2018-02-23 苏州中科天启遥感科技有限公司 一种基于线追踪的线阵影像中横条纹噪声去除的改进算法
CN106651792A (zh) * 2016-11-28 2017-05-10 苏州中科天启遥感科技有限公司 一种卫星影像条带噪声去除方法及装置
CN107197121A (zh) * 2017-06-14 2017-09-22 长春欧意光电技术有限公司 一种基于舰载设备的电子稳像方法
CN108305288A (zh) * 2017-10-24 2018-07-20 国家卫星气象中心 用于静止轨道对地观测卫星线列仪器的恒星质心提取方法
CN110264492A (zh) * 2019-06-03 2019-09-20 浙江大学 一种高效的卫星图像自纠正多目标跟踪方法
CN111179201A (zh) * 2019-12-31 2020-05-19 广州市百果园信息技术有限公司 一种视频去噪方法和电子设备
CN111833269A (zh) * 2020-07-13 2020-10-27 字节跳动有限公司 视频降噪方法、装置、电子设备及计算机可读介质
CN115242933A (zh) * 2021-04-22 2022-10-25 广州视源电子科技股份有限公司 一种视频图像去噪方法、装置、设备及存储介质
CN113379629A (zh) * 2021-06-08 2021-09-10 深圳思谋信息科技有限公司 卫星图像去噪方法、装置、计算机设备和存储介质
CN114627087A (zh) * 2022-03-21 2022-06-14 国网江苏省电力有限公司无锡供电分公司 一种多时相卫星遥感图像的地物变化自动检测方法及系统
CN115082310A (zh) * 2022-06-07 2022-09-20 生态环境部长江流域生态环境监督管理局生态环境监测与科学研究中心 一种卫星视频的超分辨率重建方法、装置及处理设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
去相关卡尔曼滤波算法在视频跟踪中的应用;戚国庆;陈黎;;计算机仿真(第11期);全文 *
基于运动信息的视频图像空间目标检测;张学阳;项军华;;海军航空工程学院学报(第02期);全文 *
顾及空间相关性的遥感影像信息量的度量方法;张盈;张景雄;;测绘学报(第10期);全文 *

Also Published As

Publication number Publication date
CN117011193A (zh) 2023-11-07

Similar Documents

Publication Publication Date Title
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
US20170280073A1 (en) Systems and Methods for Reducing Noise in Video Streams
WO2020152521A1 (en) Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures
CN111428575B (zh) 一种基于孪生网络的针对模糊目标的跟踪方法
US9760999B2 (en) Image processing apparatus, imaging apparatus, and image processing method
CN107749987B (zh) 一种基于块运动估计的数字视频稳像方法
CN110555808B (zh) 一种图像处理方法、装置、设备及机器可读存储介质
CN110991287A (zh) 一种实时视频流人脸检测跟踪方法及检测跟踪系统
CN111079764A (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN111445496B (zh) 一种水下图像识别跟踪系统及方法
CN115880177A (zh) 聚合上下文和增强细节的全分辨率低照度图像增强方法
CN116433496A (zh) 一种图像去噪方法、装置和存储介质
CN112801890B (zh) 一种视频处理方法、装置及设备
CN115810112A (zh) 图像处理方法、装置及存储介质、电子设备
CN117011193B (zh) 一种轻量化凝视卫星视频去噪方法及去噪系统
CN111754412B (zh) 构建数据对的方法、装置及终端设备
CN115760641B (zh) 基于多尺度特征注意力网络的遥感影像去云雾方法和设备
CN108460768B (zh) 层次化时域切分的视频关注对象分割方法和装置
CN113160082B (zh) 一种基于参考图像的晕影校正方法、系统、装置及介质
CN111986312B (zh) 一种船舶轨迹绘制方法、终端设备及存储介质
CN112055255B (zh) 拍摄画质优化方法、装置、智能电视和可读存储介质
CN114998172A (zh) 图像处理方法及相关系统
CN113658050A (zh) 一种图像的去噪方法、去噪装置、移动终端及存储介质
CN113935910A (zh) 一种基于深度学习的图像模糊长度测量方法
Zeng et al. Single image motion deblurring based on modified denseNet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant