CN108076341B - 一种视频卫星成像在轨实时稳像方法及系统 - Google Patents

一种视频卫星成像在轨实时稳像方法及系统 Download PDF

Info

Publication number
CN108076341B
CN108076341B CN201711378999.3A CN201711378999A CN108076341B CN 108076341 B CN108076341 B CN 108076341B CN 201711378999 A CN201711378999 A CN 201711378999A CN 108076341 B CN108076341 B CN 108076341B
Authority
CN
China
Prior art keywords
image
frame
reference frame
tile
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711378999.3A
Other languages
English (en)
Other versions
CN108076341A (zh
Inventor
王密
何鲁晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Land Sea Space Yantai Information Technology Co ltd
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201711378999.3A priority Critical patent/CN108076341B/zh
Publication of CN108076341A publication Critical patent/CN108076341A/zh
Application granted granted Critical
Publication of CN108076341B publication Critical patent/CN108076341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/20—Adaptations for transmission via a GHz frequency band, e.g. via satellite

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种视频卫星成像在轨实时稳像方法及系统，包括设定第一帧为参考帧影像，序列帧为待匹配影像；基于临近区域ORB特征匹配的运动估计，对参考帧进行分块匹配处理，包括依据序列影像间的连贯性，建立参考帧与序列帧之间的粗几何关系，依据粗几何关系建立同名匹配瓦片，采用基于临近区域搜索的ORB匹配方式进行匹配；计算序列帧与参考帧之间的运动补偿参数，对序列帧影像进行运动补偿，投影到参考帧的坐标系中；根据参考帧和运动补偿后的序列帧生成卫星视频流。本发明能够将卫星视频影像进行稳像，消除卫星视频影像间的抖动，生成流畅的卫星视频影像，该技术方案降低了内存需求，提高了运行效率，可靠性好，能够满足在轨稳像需求。

Description

一种视频卫星成像在轨实时稳像方法及系统
技术领域
本发明属于航天遥感影像处理领域，涉及到一种低内存、高效率、高可靠性的特征匹配运动估计和基于GPU运动补偿的视频卫星成像在轨实时稳像方法及系统。
背景技术
视频卫星是一种新型对地观测卫星，与传统的对地观测卫星相比，其最大的特点是可以对某一区域进行“凝视”观测，以“视频录像”的方式获得比传统卫星更多的动态信息，特别适于观测动态目标，分析其瞬时特性。由于卫星传感器平台的运动，导致的序列视频影像之间存在抖动，影响运动目标监测、识别等应用，需要对其进行稳像，消除视频卫星影像间的随机抖动，保证视频的流畅性。
在轨影像快速处理，能够减少爆炸式增长的遥感数据给数据下传链路与地面处理系统的巨大压力，节省从卫星数据生成到地面有效信息获取时间，减少信息获取时效性。由于在轨处理平台存在体积、功耗限制，在轨处理的计算能力有限，同时视频卫星影像宽幅较大，对计算内存的需求较大，影像间存在一定的视角差异、辐射差异，对快速稳像中运动估计造成困难。需要找到一种计算资源需求量小、速度较快、效率较高，同时具有较高可靠性的稳像方法。
发明内容
本发明解决了在轨视频卫星稳像处理中对可靠性和速度的需求，满足了在轨视频快速、可靠的稳像处理需求。
本发明技术方案提供一种视频卫星成像在轨实时稳像方法，包括以下步骤：
步骤1，数据准备，包括设定第一帧为参考帧影像，序列帧为待匹配影像；
步骤2，基于临近区域ORB特征匹配的运动估计，对参考帧进行分块匹配处理，得到序列帧与参考帧之间的同名匹配点，包括依据序列影像间的连贯性，建立参考帧与序列帧之间的粗几何关系，依据影像间的粗几何关系建立同名匹配瓦片，采用基于临近区域搜索的ORB匹配方式进行匹配；
步骤3，运动补偿，包括根据步骤2匹配所得同名点计算序列帧与参考帧之间的运动补偿参数，对序列帧影像进行运动补偿，投影到参考帧的坐标系中；
步骤4，视频影像生成，包括根据参考帧和运动补偿后的序列帧生成卫星视频流。
而且，步骤2采用以下子步骤实现，
步骤2.1，将参考帧影像进行分块，并建立影像间的粗几何关系；
步骤2.2，对参考帧影像中每个影像块，分别进行以下处理，
步骤2.2.1，块内进行瓦片细分，执行以下处理，
步骤2.2.1.1，依次取该影像块内一个瓦片，依据影像间的粗几何关系，在待匹配影像上建立同名匹配瓦片，对瓦片内部采用基于临近区域ORB特征匹配的方式进行匹配，包括对于参考帧影像上瓦片中的各特征点，分别在待匹配影像上同名匹配瓦片内以同样坐标为中心点半径为R的区域内搜索匹配点，匹配完成后进行误匹配点剔除；
步骤2.2.1.2，判断正确的匹配点数是否大于四个点，
若是则该瓦片得到匹配点，则该块成功匹配，进入步骤2.2.2,；
若否则返回步骤2.2.2.1，采用从左到右从上到下的方式，在参考帧影像中该影像块内取下一个瓦片，在待匹配影像上建立同名匹配瓦片进行匹配，直到该块成功匹配；
步骤2.2.2，进行最小二乘匹配精化，得到匹配结果。
而且，所述影像间的粗几何关系，提取方式为，在第二帧与参考帧进行配准后，得到第二帧与参考帧的精几何关系，第三帧与参考帧进行配准时，第三帧与参考帧之间的粗几何关系根据第二帧与参考帧之间的精几何关系得到，依次类推。
而且，步骤2中，块间采用基于openMP的多线程运算
而且，步骤3中，采用基于GPU的快速运动几何校正。
本发明还提供一种视频卫星成像在轨实时稳像系统，包括以下模块：
第一模块，用于数据准备，包括设定第一帧为参考帧影像，序列帧为待匹配影像；
第二模块，用于基于临近区域ORB特征匹配的运动估计，对参考帧进行分块匹配处理，得到序列帧与参考帧之间的同名匹配点，包括依据序列影像间的连贯性，建立参考帧与序列帧之间的粗几何关系，依据影像间的粗几何关系建立同名匹配瓦片，采用基于临近区域搜索的ORB匹配方式进行匹配；
第三模块，用于运动补偿，包括根据第二模块匹配所得同名点计算序列帧与参考帧之间的运动补偿参数，对序列帧影像进行运动补偿，投影到参考帧的坐标系中；
第四模块，用于视频影像生成，包括根据参考帧和运动补偿后的序列帧生成卫星视频流。
而且，第二模块执行以下流程，
步骤2.1，将参考帧影像进行分块，并建立影像间的粗几何关系；
步骤2.2，对参考帧影像中每个影像块，分别进行以下处理，
步骤2.2.1，块内进行瓦片细分，执行以下处理，
步骤2.2.1.1，依次取该影像块内一个瓦片，依据影像间的粗几何关系，在待匹配影像上建立同名匹配瓦片，对瓦片内部采用基于临近区域ORB特征匹配的方式进行匹配，包括对于参考帧影像上瓦片中的各特征点，分别在待匹配影像上同名匹配瓦片内以同样坐标为中心点半径为R的区域内搜索匹配点，匹配完成后进行误匹配点剔除；
步骤2.2.1.2，判断正确的匹配点数是否大于四个点，
若是则该瓦片得到匹配点，则该块成功匹配，进入步骤2.2.2,；
若否则返回步骤2.2.2.1，采用从左到右从上到下的方式，在参考帧影像中该影像块内取下一个瓦片，在待匹配影像上建立同名匹配瓦片进行匹配，直到该块成功匹配；
步骤2.2.2，进行最小二乘匹配精化，得到匹配结果。
而且，所述影像间的粗几何关系，提取方式为，在第二帧与参考帧进行配准后，得到第二帧与参考帧的精几何关系，第三帧与参考帧进行配准时，第三帧与参考帧之间的粗几何关系根据第二帧与参考帧之间的精几何关系得到，依次类推。
而且，第二模块中，块间采用基于openMP的多线程运算
而且，第三模块中，采用基于GPU的快速运动几何校正。
本发明提供的稳像技术方案，考虑到帧间影像连贯性的特点，提出了基于临近区域匹配的算法，能够对影像进行分块处理，降低内存需求，采用多线程匹配的方法，提高了匹配的效率，采用GPU快速几何校正，提高了运动补偿的效率，整个方案不仅考虑到了运行的内存需求和处理时间效率，同时考虑了结果的可靠性。
附图说明
图1为本发明实施例的示意图。
图2为本发明实施例的影像分块及同名匹配块建立的示意图。
图3为本发明实施例的基于临近区域匹配搜索的示意图。
图4为本发明实施例的基于临近区域ORB特征匹配的运动估计的示意图。
图5为本发明实施例的运动补偿示意图。
具体实施方式
本发明技术方案可采用计算机软件方式支持自动运行流程。以下结合附图和实施例详细说明本发明技术方案。
本发明提出的方法主要包括以下设计：
(1)数据准备：将首帧卫星影像视为参考影像，将序列卫星视频影像视为待配准影像。
(2)运动估计：将待配准影像与参考影像进行多线程基于临近区域ORB特征匹配运动估计算法，得到同名点，直至所有序列帧处理完毕。
(3)运动补偿：采用固定帧运动补偿算法，采用GPU快速投影校正。
参见图1，本发明实施例提供一种快速、低内存、可靠的视频卫星成像在轨实时稳像方法，包括以下步骤：
步骤1，数据准备，将首帧卫星影像视为参考影像，将后续的序列卫星视频影像中各帧分别视为待配准影像进行处理。
实施例中，设定第一帧为参考帧影像，序列帧为待匹配影像。
步骤2，序列帧运动估计，将待配准影像与参考影像进行多线程基于临近区域ORB特征匹配运动估计算法，得到同名点，直至所有序列帧处理完毕。
本发明提出采用基于临近区域搜索的ORB(Orientation Brief)匹配算法。
进一步地，影像匹配中需对参考帧进行分块处理。
进一步地，根据帧间影像间的连贯性，建立序列帧与参考帧之间的粗几何关系。
进一步地，块内划分为瓦片，依据粗几何关系建立同名瓦片。
进一步地，瓦片内采用临近区域搜索的ORB特征匹配。
进一步地，块间采用基于openMP的多线程快速匹配算法。
实施例中，基于临近区域ORB特征匹配的运动估计，对参考帧进行分块匹配处理，降低内存需求；依据序列影像间的连贯性，建立参考帧与序列帧之间的粗几何关系；块内细分为瓦片，依据影像间的粗几何关系，建立同名匹配瓦片，即对应相同区域的影像；瓦片内采用基于临近区域搜索的ORB匹配算法；块间采用基于openMP的多线程运算。得到序列帧与参考帧之间的同名匹配点。
步骤3，序列帧运动补偿，本发明提出采用基于GPU的快速运动几何校正。
实施例进行GPU运动补偿，包括采用固定帧运动补偿算法，计算序列帧与参考帧之间的运动补偿参数，即根据步骤2匹配所得同名点计算序列帧与参考帧之间的仿射变换系数，并采用GPU并行处理，对序列帧影像进行运动补偿，投影到参考帧的坐标系中。
步骤4，视频影像生成，根据参考帧和运动补偿后的序列帧生成卫星视频流。
本发明提出了多线程基于临近区域搜索的ORB快速运动估计算法，和基于GPU的快速运动补偿算法。提供具体说明如下：
参见图2中影像分块及同名瓦片建立的算法。本发明依据所给定的匹配数目对影像进行分块处理，如匹配点数需求为16个点，则对影像分块为4*4宫格，每个宫格为一个影像块。每个块内细化为瓦片，瓦片块像素大小为512*512，每个块内只需要一个瓦片匹配到同名点。
若序列帧影像n-1与序列帧影像n是相邻的帧间影像，则影像n-1与影像n之间的粗几何关系可认为如下关系：
其中(xn，yn)为第n帧上的点，(xn-1，yn-1)为第n-1帧上的点，由于视频卫星的对某一区域进行“凝视”观测的特点，序列帧之间存在一定的连贯性，影像间偏移较小，具体实施时可根据情况预设参数R的取值。实施例中R的取值为50。
进行视频稳像时，设定首帧为参考帧，需要第二帧直至第n帧与参考帧进行配准，计算运动参数。由于第二帧与参考帧进行配准后，得到第二帧与参考帧的精几何关系，第三帧与参考帧进行配准时，第三帧与参考帧之间的粗几何关系根据第二帧与参考帧之间的精几何关系得到，依次类推，第n帧与参考帧之间的粗几何关系，根据第n-1帧与参考帧之间的精几何关系得到。第n-1帧与参考帧之间的精几何关系如下，
其中，(x1，y1)为参考帧上面的坐标，fn-1(,)为参考帧到第n-1帧的精几何关系，可得第n帧与参考帧之间的粗几何关系可为：
可采用该关系可建立第n帧与参考帧之间的序列关系。
依据影像间的粗几何关系，将瓦片投影到待匹配影像上，即在待匹配影像上寻找同样坐标的区域，并在边缘拓展尺寸为R的宽度，该区域即为同名瓦片，实施例中投影后瓦片块像素大小为(512+50*2)*(512+50*2)，即对应相同区域的影像。
参见图3中基于临近区域匹配搜索算法。影像在特征匹配搜索时，只搜索存在同名匹配点的区域，而不搜索整幅影像，能够减少误匹配，降低匹配复杂度。
由于影像的粗几何关系已知，一般均在几十个像素以内，偏移较小，R的取值为50。而现有技术中特征点匹配搜索的是基于全局搜索，即影像上每一个区域特征点都要参与，而本发明采用临近区域特征点搜索匹配，只在其对应的区域进行特征点搜索匹配。如图3所示参考帧像素点(x1，y1)，其在待配准影像上可能存在的同名点的区域进行匹配，即在待配准第n帧上，以点位置(x1，y1)半径为R的圆区域内，进行特征搜索。
参见图4中基于临近区域ORB特征匹配视频卫星运动估计算法。本发明依据所给定的匹配数目采用图2所示的方法对影像分块，对每个块细化为瓦片，每个块内只需要一个瓦片匹配到同名点，并且是在依据粗几何关系建立的同名匹配瓦片中匹配。瓦片内采用基于临近区域的ORB算法进行匹配，匹配结果采用RANSAC算法剔除误匹配点。若正确的匹配点数小于等于四个点，则该瓦片未得到匹配点，依从左到右从上到下的方式进入下一个瓦片进行匹配，直到瓦片匹配到同名点。若正确的匹配点数大于四个点，则该瓦片得到匹配点，该块得到匹配点。影像瓦片匹配完毕后，将得到的正确匹配点采用LSM匹配提高匹配点位精度。
如图4，实施例中步骤2的实现流程包括以下几个步骤，
步骤2.1，设将参考帧影像进行分块成为M*N个块，并建立影像间的粗几何关系；
步骤2.2，对参考帧影像中每个影像块，分别进行以下处理：
步骤2.2.1，块内进行瓦片细分，因为每一个块内只需一个瓦片匹配得到同名点则结束，对块内执行以下处理，
步骤2.2.1.1，依次取该影像块内一个瓦片(第一次执行本步骤可取该块内左上角第一个瓦片)，依据影像间的粗几何关系，在待匹配影像上建立同名匹配瓦片，对瓦片内部采用基于临近区域ORB特征匹配的方法进行匹配，即对于参考帧影像上瓦片中的各特征点，分别在待匹配影像上同名匹配瓦片内以同样坐标为中心点半径为R的区域内搜索匹配点，匹配完成后进行误匹配点剔除；
步骤2.2.1.2，判断正确的匹配点数是否大于四个点，
若是则该瓦片得到匹配点，则该块成功匹配，进入步骤2.2.2,；
若否则返回步骤2.2.2.1，采用从左到右从上到下的方式，在参考帧影像中该影像块内取下一个瓦片，在待匹配影像上建立同名匹配瓦片进行匹配，直到该块成功匹配；
步骤2.2.2，进行最小二乘匹配精化，得到匹配结果。
块内采用基于临近区域ORB特征匹配的方法进行匹配，实现方式为首先，采用ORB特征算子提取特征点，并进行特征描述；然后，采用图2所示的临近区域匹配搜索算法进行特征匹配，在待匹配影像上同名匹配瓦片内以同样坐标为中心点半径为R的区域内搜索匹配点。
优选地，块间采用基于openMP的多线程匹配方法。由于卫星影像实际数据量非常大，为提高效率，影像被分为M*N个块，块内采用临近区域ORB算法匹配，每个块相互独立，在M*N次循环中，没有内存冲突，并行化程度较高，可对其进行并行化处理，具体实施时可在循环前加入相对应的openMP并行指令#pragma omp parallel，调用CPU多核进行处理，实现并行匹配。按本发明的距离，每个处理线程执行相应的块内匹配时，只涉及序列帧影像n-1中一个512*512瓦片和序列帧影像n中一个(512+50*2)*(512+50*2)的同名瓦片的数据，大大减少了计算资源要求，提高了处理效率。
优选地，采用RANSAC算法剔除误匹配点。RANSAC假设，给定一组正确的数据，存在可以计算出符合这些数据的模型参数的方法。
对于剔除粗差后的同名点，采用LSM匹配提高匹配点位精度。在剔除误匹配点后，匹配点具有较好的点位精度(在一个像素以内)。然而，由于特征匹配描述子点位精度不高，仍然存在一定的点位误差。本实施例采用最小二乘匹配(Least Squares ImageMatching)，以特征匹配的同名点作为初始匹配点，进行匹配点位精化。
考虑到待匹配影像和参考影像之间的几何变形和灰度畸变，则可得：
k1Is(xs，ys)+k2-Ir(xr，yr)＝0
其中xr＝a0+a1xs+a2ys,yr＝b0+b1ys+b2ys，a0，a1，a2，b0，b1，b2为几何变形系数，为仿射变换，k1，k2为辐射畸变系数，Ir(xr，yr)为参考影像上的灰度值，Is(xs，ys)为待配准影像上的灰度值。
参见图5中基于GPU的运动估计算法。本发明的运动估计的算法，采用固定帧运动补偿算法，即采用匹配点，计算序列帧与参考帧之间的几何投影系数，投影到参考帧基准中。
几何投影校正公式如下：
式中x、y为像元在原始影像上的坐标，X、Y为像元在校正后的影像上的像元图像坐标,ajk和bjk为几何校正系数。得到函数F1(X,Y)和F2(X,Y)的方法是采用原始图像与参考图像的同名点对(控制点)，应用最小二乘法求得。n取值2，采用二次多项式进行校正。
步骤3中，影像间几何校正的流程为：
1)根据同名点计算影像间的几何校正系数；
2)将待校正影像拷贝至GPU全局存储器中，将几何校正系数拷贝到GPU常量存储器中；
3)设置GPU线程块大小，根据校正后影像大小确定线程块数量。
4)GPU线程块内根据几何校正系数执行反算像点坐标，并进行双线性内插和赋值。
5)将校正后的影像拷贝回主机内存中。
具体实施时，本发明所提供方法可基于软件技术实现自动运行流程，也可采用模块化方式实现相应系统。本发明实施例还提供一种视频卫星成像在轨实时稳像系统，包括以下模块：
第一模块，用于数据准备，包括设定第一帧为参考帧影像，序列帧为待匹配影像；
第二模块，用于基于临近区域ORB特征匹配的运动估计，对参考帧进行分块匹配处理，得到序列帧与参考帧之间的同名匹配点，包括依据序列影像间的连贯性，建立参考帧与序列帧之间的粗几何关系，依据影像间的粗几何关系建立同名匹配瓦片，采用基于临近区域搜索的ORB匹配方式进行匹配；
第三模块，用于运动补偿，包括根据第二模块匹配所得同名点计算序列帧与参考帧之间的运动补偿参数，对序列帧影像进行运动补偿，投影到参考帧的坐标系中；
第四模块，用于视频影像生成，包括根据参考帧和运动补偿后的序列帧生成卫星视频流。
各模块具体实现可参见相应步骤，本发明不予赘述。
本文中所描述的具体实例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种视频卫星成像在轨实时稳像方法，其特征在于，包括以下步骤：
步骤1，数据准备，包括设定第一帧为参考帧影像，序列帧为待匹配影像；
步骤2，基于临近区域ORB特征匹配的运动估计，对参考帧进行分块匹配处理，得到序列帧与参考帧之间的同名匹配点；
包括采用以下子步骤实现，
步骤2.1，将参考帧影像进行分块，并建立影像间的粗几何关系；
所述影像间的粗几何关系，提取方式为，预设影像间偏移的相关参数R，在第二帧与参考帧进行配准后，得到第二帧与参考帧的精几何关系，第三帧与参考帧进行配准时，第三帧与参考帧之间的粗几何关系根据第二帧与参考帧之间的精几何关系得到，依次类推；
步骤2.2，对参考帧影像中每个影像块，分别进行以下处理，
步骤2.2.1，根据预设的瓦片块像素大小在影像块内进行瓦片细分，每个影像块内只需要一个瓦片匹配到同名点，匹配实现包括执行以下处理，
步骤2.2.1.1，依次取该影像块内一个瓦片，依据影像间的粗几何关系，在待匹配影像上建立同名匹配瓦片，对瓦片内部采用基于临近区域ORB特征匹配的方式进行匹配；
所述对瓦片内部采用基于临近区域ORB特征匹配的方式进行匹配，是对于参考帧影像上瓦片中的各特征点，分别在待匹配影像上同名匹配瓦片内以同样坐标为中心点半径为R的区域内搜索匹配点，匹配完成后进行误匹配点剔除；
步骤2.2.1.2，判断正确的匹配点数是否大于四个点，
若是则该瓦片得到匹配点，则该块成功匹配，进入步骤2.2.2；
若否则返回步骤2.2.1.1，采用从左到右从上到下的方式，在参考帧影像中该影像块内取下一个瓦片，在待匹配影像上建立同名匹配瓦片进行匹配，直到该块成功匹配；
步骤2.2.2，进行最小二乘匹配精化，得到匹配结果；
步骤3，运动补偿，包括根据步骤2匹配所得同名点计算序列帧与参考帧之间的运动补偿参数，对序列帧影像进行运动补偿，投影到参考帧的坐标系中；
步骤4，视频影像生成，包括根据参考帧和运动补偿后的序列帧生成卫星视频流。
2.根据权利要求1所述一种视频卫星成像在轨实时稳像方法，其特征在于：步骤2中，块间采用基于openMP的多线程运算。
3.根据权利要求1或2所述一种视频卫星成像在轨实时稳像方法，其特征在于：步骤3中，采用基于GPU的快速运动几何校正。
4.一种视频卫星成像在轨实时稳像系统，其特征在于，包括以下模块：
第一模块，用于数据准备，包括设定第一帧为参考帧影像，序列帧为待匹配影像；
第二模块，用于基于临近区域ORB特征匹配的运动估计，对参考帧进行分块匹配处理，得到序列帧与参考帧之间的同名匹配点；
包括采用以下子步骤实现，
步骤2.1，将参考帧影像进行分块，并建立影像间的粗几何关系；
所述影像间的粗几何关系，提取方式为，预设影像间偏移的相关参数R，在第二帧与参考帧进行配准后，得到第二帧与参考帧的精几何关系，第三帧与参考帧进行配准时，第三帧与参考帧之间的粗几何关系根据第二帧与参考帧之间的精几何关系得到，依次类推；
步骤2.2，对参考帧影像中每个影像块，分别进行以下处理，
步骤2.2.1，根据预设的瓦片块像素大小在影像块内进行瓦片细分，每个影像块内只需要一个瓦片匹配到同名点，匹配实现包括执行以下处理，
步骤2.2.1.1，依次取该影像块内一个瓦片，依据影像间的粗几何关系，在待匹配影像上建立同名匹配瓦片，对瓦片内部采用基于临近区域ORB特征匹配的方式进行匹配；
所述对瓦片内部采用基于临近区域ORB特征匹配的方式进行匹配，是对于参考帧影像上瓦片中的各特征点，分别在待匹配影像上同名匹配瓦片内以同样坐标为中心点半径为R的区域内搜索匹配点，匹配完成后进行误匹配点剔除；
步骤2.2.1.2，判断正确的匹配点数是否大于四个点，
若是则该瓦片得到匹配点，则该块成功匹配，进入步骤2.2.2；
若否则返回步骤2.2.1.1，采用从左到右从上到下的方式，在参考帧影像中该影像块内取下一个瓦片，在待匹配影像上建立同名匹配瓦片进行匹配，直到该块成功匹配；
步骤2.2.2，进行最小二乘匹配精化，得到匹配结果；
第三模块，用于运动补偿，包括根据第二模块匹配所得同名点计算序列帧与参考帧之间的运动补偿参数，对序列帧影像进行运动补偿，投影到参考帧的坐标系中；
第四模块，用于视频影像生成，包括根据参考帧和运动补偿后的序列帧生成卫星视频流。
5.根据权利要求4所述一种视频卫星成像在轨实时稳像系统，其特征在于：第二模块中，块间采用基于openMP的多线程运算。
6.根据权利要求4或5所述一种视频卫星成像在轨实时稳像系统，其特征在于：第三模块中，采用基于GPU的快速运动几何校正。
CN201711378999.3A 2017-12-19 2017-12-19 一种视频卫星成像在轨实时稳像方法及系统 Active CN108076341B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711378999.3A CN108076341B (zh) 2017-12-19 2017-12-19 一种视频卫星成像在轨实时稳像方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711378999.3A CN108076341B (zh) 2017-12-19 2017-12-19 一种视频卫星成像在轨实时稳像方法及系统

Publications (2)

Publication Number Publication Date
CN108076341A CN108076341A (zh) 2018-05-25
CN108076341B true CN108076341B (zh) 2019-10-25

Family

ID=62158604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711378999.3A Active CN108076341B (zh) 2017-12-19 2017-12-19 一种视频卫星成像在轨实时稳像方法及系统

Country Status (1)

Country Link
CN (1) CN108076341B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109712088A (zh) * 2018-12-14 2019-05-03 航天恒星科技有限公司 一种基于稳像的遥感视频卫星图像处理方法及系统
CN110646795B (zh) * 2019-09-16 2021-09-24 武汉大学 一种简缩极化sar的海洋溢油检测方法和系统
CN111010494B (zh) * 2019-10-28 2020-11-03 武汉大学 一种带有地理编码的光学卫星视频稳像方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10057593B2 (en) * 2014-07-08 2018-08-21 Brain Corporation Apparatus and methods for distance estimation using stereo imagery
CN107036629B (zh) * 2017-04-20 2020-07-24 武汉大学 视频卫星在轨相对辐射定标方法及系统
CN107146239B (zh) * 2017-04-21 2020-01-07 武汉大学 卫星视频运动目标检测方法及系统
CN107040695B (zh) * 2017-04-28 2019-12-10 武汉大学 基于rpc定位模型的星载视频稳像方法及系统

Also Published As

Publication number Publication date
CN108076341A (zh) 2018-05-25

Similar Documents

Publication Publication Date Title
CN105245841B (zh) 一种基于cuda的全景视频监控系统
US7565029B2 (en) Method for determining camera position from two-dimensional images that form a panorama
CN108076341B (zh) 一种视频卫星成像在轨实时稳像方法及系统
US11568516B2 (en) Depth-based image stitching for handling parallax
CN109754459B (zh) 一种用于构建人体三维模型的方法及系统
US9036037B1 (en) System and method for pattern detection and camera calibration
CN103106688A (zh) 基于双层配准方法的室内三维场景重建方法
CN112907631B (zh) 一种引入反馈机制的多rgb相机实时人体动作捕捉系统
CN108022261B (zh) 一种基于改进光流场模型的非刚性图像配准方法
CN110375765A (zh) 基于直接法的视觉里程计方法、系统及存储介质
CN116310131A (zh) 一种考虑多视图融合策略的三维重建方法
WO2022018811A1 (ja) 被写体の３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム
CN109447946A (zh) 一种架空通信光缆异常检测方法
JP6113406B2 (ja) 赤外線目標検出装置
EP3089109A1 (en) Method and apparatus for multiple image registration in the gradient domain
CN111047513A (zh) 一种用于柱面全景拼接的鲁棒性图像对齐方法及装置
CN114399547B (zh) 一种基于多帧的单目slam鲁棒初始化方法
JP2006202152A (ja) 画像処理装置および画像処理方法並びにこれらに用いるプログラム
Arevalo et al. Improving piecewise linear registration of high-resolution satellite images through mesh optimization
CN112419172A (zh) 倾斜图像校正去模糊的遥感图像处理方法
CN112017108A (zh) 基于独立模型法区域网平差的卫星正射影像颜色相对校正方法
CN110223250A (zh) 基于单应变换的sar几何校正方法
Gao et al. MC-NeRF: Muti-Camera Neural Radiance Fields for Muti-Camera Image Acquisition Systems
JPH11190611A (ja) ３次元計測方法およびその方法を用いた３次元計測処理装置
KR101775124B1 (ko) 위성영상의 위치 정확도 개선을 위한 자동영상처리시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240104

Address after: No. 120, Haixiang Middle Road, Fengcheng Street, Haiyang City, Yantai City, Shandong Province, 265100

Patentee after: Land sea space (Yantai) Information Technology Co.,Ltd.

Address before: 430072 Hubei Province, Wuhan city Wuchang District of Wuhan University Luojiashan

Patentee before: WUHAN University

TR01 Transfer of patent right