CN108230374A - 通过地理配准增强原始传感器图像的方法和装置 - Google Patents

通过地理配准增强原始传感器图像的方法和装置 Download PDF

Info

Publication number
CN108230374A
CN108230374A CN201711381176.6A CN201711381176A CN108230374A CN 108230374 A CN108230374 A CN 108230374A CN 201711381176 A CN201711381176 A CN 201711381176A CN 108230374 A CN108230374 A CN 108230374A
Authority
CN
China
Prior art keywords
sensor
image
estimation
original
inertial states
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711381176.6A
Other languages
English (en)
Other versions
CN108230374B (zh
Inventor
丹尼尔·T·菲利普斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN108230374A publication Critical patent/CN108230374A/zh
Application granted granted Critical
Publication of CN108230374B publication Critical patent/CN108230374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)

Abstract

本申请公开了通过地理配准增强原始传感器图像的方法和装置。用于从原始传感器数据生成图像的方法和设备。在一个实施方式中，该方法包括：从传感器读取原始传感器数据，该原始传感器数据由传感器在传感器惯性状态下获取；生成传感器惯性状态的估计；保留原始传感器数据，同时执行以下步骤，包括：生成图像，该图像至少部分地从估计的传感器惯性状态和原始传感器数据生成，并且生成传感器惯性状态的更新估计，该传感器惯性状态的更新估计至少部分地从生成的图像和估计的传感器惯性状态生成。最后，增强图像从保留的原始传感器数据和传感器惯性状态的更新估计生成。

Description

通过地理配准增强原始传感器图像的方法和装置
相关申请的交叉引证
本申请要求于2016年12月21日向美国专利局提交的申请号15/387,486、标题为“通过地理配准增强原始传感器图像的方法和装置”的优先权权益。
技术领域
本公开涉及用于从原始传感器数据生成图像的系统和方法，并且具体地，涉及用于通过地理配准增强这样的图像生成的系统和方法。
背景技术
图像配准是将不同组的图像数据转换至单个坐标系的过程。配准过程中使用的图像数据通常包括大致相同场景的多个图像，并且这些图像可以是同时拍摄的，或者在不同的时间或视点拍摄的。数据配准技术用于计算机视觉、医疗成像、军事的自动目标识别、以及编译和分析来自卫星的图像和数据。配准是必要的以便能够比较或结合从这些不同的测量方法获得的数据。
在一些情况下，图像可以结合图像中描绘的相同场景的参考视图合成模型来配准。例如，美国专利公开2005/0220363描述了利用参考图像数据库和/或数字高程模型(DEM)自动配准图像的处理架构，通过引用结合于此。
传感器数据的收集和后续的图像处理由于获取原始的传感器测量的传感器的位置的不确定性而失真。这是由于安装有传感器的平台的导航系统的不确定性，图像配准过程中的误差，并且通常仅有限的一组参考高程数据可用于处理图像。
需要的是减少这样的失真的系统和方法。这样的系统和方法在下文中公开。
发明内容
为了解决以上描述的要求，本文件公开了用于从原始传感器数据生成图像的系统和方法。在一个实施方式中，方法包括从传感器读取原始传感器数据，该原始传感器数据由传感器在传感器惯性状态下拍摄；生成传感器惯性状态的估计；保留原始传感器数据，同时执行以下步骤，包括：生成图像，该图像至少部分地从估计的传感器惯性状态和原始传感器数据生成，以及生成传感器惯性状态的更新估计，该传感器惯性状态的更新估计至少部分地从生成的图像和估计的传感器惯性状态生成。最后，增强图像从保留的原始传感器数据和传感器惯性状态的更新估计生成。另一个实施方式通过用于执行以上操作的装置例证。
又一个实施方式通过用于从原始传感器数据生成图像的设备例证，该设备包括：传感器，用于生成原始传感器数据；图像处理器，通信地耦接至传感器，用于从传感器读取原始传感器数据，该原始传感器数据由传感器在传感器惯性状态下拍摄；惯性导航系统，用于生成传感器惯性状态的估计；图像处理器，通信地耦接至传感器和惯性导航系统，用于从原始传感器数据生成图像，该图像至少部分地从估计的传感器惯性状态和原始传感器数据生成；以及地理配准系统，通信地耦接至惯性导航系统和图像处理器，用于至少部分地从生成的图像和估计的传感器惯性状态生成传感器惯性状态的更新估计。在这个实施方式中，图像处理器从保留的原始传感器数据和传感器惯性状态的估计生成增强图像，并且传感器保留原始传感器数据，而图像从原始传感器数据和传感器惯性状态的更新估计生成。又一个实施方式通过具有处理器和存储用于执行前述操作的处理器指令的通信地耦接的存储器的设备来例证。
已经论述的特征、功能和优点可以在本发明的各种实施方式中独立地实现或者也可以在其他实施方式中进行组合，其更多细节可以参考以下描述和附图看出。
附图说明
现在参考附图，其中相同的附图标号自始至终表示相应的部件：
图1是示出了传感器平台的操作的示图；
图2是呈现了示例性地理配准系统的示图；
图3是示出了地理配准系统的更详细的实施方式的示图；
图4A至图4D是呈现了可用于从原始传感器数据生成图像的示例性过程步骤的示图；
图5是改善的地理配准系统的一个实施方式的示图；以及
图6示出了可以用于实现处理部件的示例性计算机或系统600。
具体实施方式
在下面的描述中，参考附图，这些附图构成了说明书的一部分，并且通过示意的方式示出了若干实施方式。应该理解，可利用其他的实施方式，并且在不背离本公开的范围的情况下，可以对其进行结构改变。
概述
与从原始传感器数据生成图像的现有系统和方法不同，本文中描述的系统和方法保留原始的传感器图像数据(例如，合成孔径雷达(SAR)IQ收集数据)。在对高分辨率参考图像进行成功地理配准时，利用计算的增强传感器位置和参考图像数据重新处理原始传感器数据，从而导致具有更高准确性和减少失真的增强的输出传感器图像，例如，使用类似反投影的算法重新处理原始传感器SAR数据，这样做的主要好处将在具有显著的平面外加速度的高分辨率收集中看出来。可以改善的其他失真包括透视收缩失真和临时滞留失真，这都是SAR应用中的问题。
平台
图1是示出了传感器平台104(在下文中可选地称为平台)的操作的示图。传感器平台104可以在地球大气或太空中操作，并且可以是无人的或载人的。在一个实施方式中，传感器平台是无人飞行器(UAV)。平台104通常包括传感器106(可以安装在可旋转的炮塔105上)，具有监视地面上或地面附近的对象110的视场(FOV)108。
平台104通常还包括通信地耦接至存储器116的处理器112，存储器116存储用于执行本文中描述的操作的处理器指令；以及对平台104的运动进行惯性测量，并将这些测量结果转换(或者经由合适的坐标变换)成平台104(传感器106)的惯性状态的估计的装置，诸如惯性导航系统(INS)114。通常，INS 114包括惯性参考单元(IRU)，该惯性参考单元包括提供在三个正交方向上的加速度测量的三个加速度计；以及感测在三个正交方向上的旋转的三个速率传感器，诸如陀螺仪。通常，INS 114还可以包括用于接收全球导航信息(诸如可以从诸如全球定位系统(GPS)的系统中获得)的另一个接收器。GPS包括多个卫星102A-102N，这些卫星发送帮助INS 114确定其在惯性空间中的位置的信号。在一些应用中，INS 114还可以包括星体跟踪仪或用于估计位置的其他装置。
在一个实施方式中，平台104还包括通信地耦接至处理器112的接收器117，该接收器用于与地面站118收发命令和其他信息。使用地面站118中的计算机和其他设备，用户120将命令提供至平台104并接收数据，其包括由传感器106获得的数据。
传感器实施方式
在一个实施方式中，传感器106包括SAR，该SAR扫描包括对象110的场景109，并且利用从这样的扫描生成的原始传感器数据构造对象110和/或场景109的图像。
SAR是大多数一致的空中或太空中的侧视雷达系统，该系统利用平台104的飞行路径来电子地模拟非常大的天线或孔径，并生成高分辨率遥感图像。随着时间的过去，单独的发射/接收周期随着来自每个周期的数据被电子地存储而完成。信号处理使用在来自合成孔径的元件的连续脉冲上的接收信号的振幅和相位。在给定数量的周期之后，将存储的数据重新组合(将不同的发射器所固有的多普勒效应纳入考虑以用于在每个后续的周期中的对象几何形状)以创建飞过的地带的高分辨率图像。
SAR的工作方式很像相控阵列，但是代替相控阵列的大量的平行天线元件，SAR使用一个天线(生成可以机械地或电子地转向的波束)并且时分复用测量结果以模拟大孔径传感器。天线元件的不同几何位置是移动平台104的结果。
图像处理器将一定时间段内的所有雷达返回信号均存储为振幅和相位，每个信号表示从惯性空间中的相关位置拍摄的数据。现在，可以重构已经由长度v·T的天线得到的信号，其中v是平台速度，并且T是时间段。因为视线方向沿着雷达平台轨迹而变化，所以合成孔径由具有延长天线的效果的信号处理产生。使T变大使得“合成孔径”变大，由此可以实现较高的分辨率。
随着对象110首先进入雷达波束，开始记录每个发射脉冲的反向散射回波。随着平台继续向前移动，在对象在波束内的全部时间期间中记录对于每个脉冲的来自对象的所有回波。对象在一段时间之后离开雷达波束的视野的点确定了模拟或合成天线的长度。合成的扩大波束宽度，与随着地面范围增加对象在波束内的增加的时间彼此相平衡，使得分辨率横跨整个扫描带仍然是恒定的。SAR的可达到的方位角分辨率大约等于实际(真实)天线的长度的二分之一并且不取决于平台高度(距离)。生成图像的过程可以被认为是输入的原始传感器数据被提供至移位寄存器，每个新的原始传感器数据的到来使得先前测量的原始数据被移位至相邻的移位寄存器元件，并且新的数据被放置到空出的元件中。然后，使用算术运算或处理函数将来自每个移位寄存器的数据组合，使得图像的分辨率随着每个新的原始图像数据组的处理而提高(预期的结果)，因为每个新的测量数据使与总的图像数据相关联的“孔径”增大。通常，一旦生成图像，移位寄存器中的数据就会被删除或覆盖，因此消除了对可用于提高图像的质量的传感器的惯性状态的估计(经由地理配准从图像生成)进行改进的可能性。
因此，SAR使用原始图像数据的连续实例生成图像，利用SAR图像处理技术组合原始图像数据的连续实例，该SAR图像处理技术组合在惯性空间中的不同点获取的每个数据实例以创建完整的图像。得到的图像的准确度取决于若干因素，包括在拍摄每个连续图像时对于平台104位置的任意一次确定的准确度。对于这样的系统的要求是稳定，完全一致的发射器，高效和强大的SAR图像处理器，以及对于传感器的飞行路径和/或速度的了解。
SAR易经受倾斜范围失真，包括透视收缩、临时滞留和阴影效应。这样的倾斜范围失真的发生是因为雷达测量距倾斜范围内的地貌特征的距离而不是沿着地面的真正的水平距离。这导致变化的图像尺度，从近范围移动至远范围。透视收缩在雷达波束到达顶部之前到达向着雷达倾斜的高的地貌特征(例如，山脉)的底部时发生。因为雷达测量倾斜范围而不是水平范围内的距离，斜坡出现压缩并且倾斜的长度将被错误地表示在图像平面处。临时滞留在雷达波束到达底部之前到达高的地貌特征的顶部时发生。来自地貌特征的顶部的返回信号将在来自底部的信号之前被接收。因此，地貌特征的顶部从其在地面上的实际位置向着雷达位移，并覆盖地貌特征的底部。阴影效应随着入射角θ的变大而增大，正如我们的影子随着太阳下山而伸长一样。对所有这样的倾斜范围的失真进行补偿是可能的，但是这样的补偿至少部分地取决于对传感器的惯性状态(例如，其位置和/或速率)的准确了解。对SAR的基本原理的描述在http://www.radartutorial.eu/20.airborne/ab07.en.html中呈现。
在另一个实施方式中，传感器106包括平面成像传感器，该平面成像传感器同样扫描包括对象110的场景109，并且利用从这样的扫描生成的原始传感器数据构建对象110和/或场景109的图像。通常，平面成像传感器包括允许拍摄一系列图像的摄像机，诸如电影摄影机，并且可以感应到可见光、红外线(IR)或紫外线波长中的能量。在一些应用中，平面传感器收集在电磁波谱中的其他波长的数据。通常，成像传感器106可以通过操纵平台104俯仰、偏航和翻滚来定向，并且还可以与平台104主体在倾斜和平移方向上无关地定向。这样的倾斜和平移可以利用转塔105或相似结构来电子地或机械地实现。
地理配准系统
图2是呈现示例性地理配准系统200的示图。地理配准系统包括通信地耦接至图像处理器204的传感器106。图像处理器204处理原始传感器数据202以生成图像206。通常，图像处理器204是专用于生成图像206的目的的专用处理器，并且与平台处理器112不同。然而，平台处理器112也可以用于执行图像处理器204的功能。
地理配准系统200还包括通信地耦接至图像处理器204的INS 114。如上所述，随着时间的过去，INS 114生成对平台104的惯性状态的估计，并且通过合适的坐标变换生成对传感器106的惯性状态的估计。传感器惯性状态208可以包括，例如，传感器106的位置、速度、加速度、姿态或姿态变化率。这些状态可以相对于惯性坐标空间来表示，该惯性坐标空间可以是笛卡尔坐标、极坐标或其他坐标方案(NED、ECEF、系统/传感器主体)。为简单起见，与一个或多个原始传感器数据收集事件相对应的传感器的位置、速度、加速度、姿态或姿态变化率的一个或多个估计分别被限定为传感器惯性状态和原始传感器数据。图像处理器204接收原始传感器数据202并处理这些数据以生成图像。在传感器106是SAR的实施方式中，图像处理器204接收传感器106在多个物理传感器106位置获取的原始的IQ传感器数据202，并且使用在获取每个这样的原始传感器数据时的传感器106的物理位置的估计，生成图像206。
图像206和传感器惯性状态208被提供至地理配准模块210。地理配准模块210从传感器惯性状态208、图像206以及来自参考图像数据库的参考图像和/或其他参考地理空间数据(例如，高程)生成地理配准的传感器图像212。
图3是示出了地理配准系统300的更详细实施方式的示图。平台参数322(可以转换成传感器惯性状态208)和传感器参数332(例如，视场或FOV)被提供至传感器足迹分析模块324以生成由图像和传感器足迹所描绘的场景位置的估计。该信息被提供至感兴趣区域(AOI)提取模块326，该模块使用参考图像数据库214和参考数字高程模型(DEM)数据库340以生成参考碎片(chip)330和DEM碎片342。
平台参数322和传感器参数320还被提供至传感器透视(perspective)分析模块350，其生成透视参数352，透视参数与描述平台和传感器之间的关系的传感器变换模型354一起使用以生成将参考图像转换成传感器透视的变换式(transform)。参考碎片330和DEM碎片342被提供至正射影像构建模块344以生成参考正射影像碎片348和参考DEM碎片346，这些碎片通过传感器透视模块356被转换成传感器透视以生成透视参考图像358。透视参考图像358通过图像匹配模块360与从原始传感器数据生成的传感器图像匹配以生成匹配参数。这些匹配参数限定反映变换式(例如，平移、旋转、反透视等)的匹配函数362以将传感器图像与透视参考图像相匹配。前述系统的示例性实施方式在美国专利公开2005/0220363号中进一步描述，通过引用结合于此。
该地理配准的传感器图像212可用于增加收集时发生的传感器106的惯性状态的确定的准确度，由此增加平台104本身的准确度。重要地，并且如以下论述的，如果保留原始传感器数据202，那么与传感器106的惯性状态有关的这种更准确的数据也可以用于生成增强(例如，更好质量)的图像206。为了实现此，原始传感器数据202必须保留或以其他方式存储，使得用于生成图像206的图像处理使用更准确的传感器106惯性状态数据进行重复(例如，再次执行)。因此，在对高分辨率的参考图像成功地理配准时，利用计算的增强的传感器位置和参考图像数据来重新处理原始传感器数据202，从而导致更大准确度且降低失真(例如，平面外加速度、透视收缩和临时滞留)的增强输出传感器图像。
增强图像生成
图4A至图4D是提供了可用于从原始传感器数据202生成图像206的示例性过程步骤的示图。首先转向图4A，在框402中，从传感器106读取原始传感器数据202。在框404中，通过INS 114生成传感器惯性状态208的估计。通常，读取原始传感器数据202的过程和生成传感器106的惯性状态的估计的过程是通过独立过程同时执行的，每个过程的数字数据被加上时间标签以便允许原始传感器数据202与在原始传感器数据202被读取时的估计的传感器惯性状态208相关。因此，传感器惯性状态208的惯性估计可以在从传感器106读取原始传感器数据期间生成或与从传感器读取原始传感器数据同时生成。
如框406中所描述的，原始传感器数据202被保留或另外存储以便随后在生成更新(或增强)版的图像206中使用。在一个实施方式中，这是通过将原始传感器数据202存储在与传感器106分离的存储器(例如，在图5中示出的存储器502)中实现的。在其他实施方式中，这是通过将原始传感器数据202存储在传感器106本身的存储器中、存储在作为图像处理器204或平台处理器112的一部分的或者图像处理器或平台处理器可访问的存储器中来实现的。
如框408中所示，图像206至少部分地从原始传感器数据202生成。这可以例如使用在图5中示出的图像处理器204来实现。在一个实施方式中，原始传感器数据包括从平面成像传感器(诸如具有对红外光或可见光敏感的元件阵列的红外光传感器或可见光传感器)获得的数据。在这个实施方式中，可以在没有估计的传感器惯性状态的情况下从原始传感器数据生成图像，因为不需要用读取原始数据时的传感器位置来生成图像。尽管不需要用来生成图像，但这些数据可以用作第二传感器数据输入以增强平台的惯性状态的估计，如图4C中的。
在另一个实施方式中，图像处理器204需要用估计的传感器惯性状态208来生成图像。例如，在通过组合从多个传感器106位置获取的原始传感器数据202生成图像206的应用中(例如，诸如SAR的合成孔径系统)，不仅使用原始传感器数据202，而且使用在获取原始传感器数据202时的传感器106的惯性状态，来生成图像206。
如框410中所示，传感器惯性状态的更新估计至少部分地来自生成的图像206和估计的传感器惯性状态。在一个实施方式中，通过地理配准在框408中生成的图像并使用地理配准的图像以获得传感器惯性状态的更新估计，生成传感器惯性状态的更新的估计。在下文中参照图5对此进一步描述。最后，在框412中，从保留的原始传感器数据和传感器惯性状态的更新估计生成增强图像。
在一个实施方式中，在框412中生成的增强图像被提供至框410并用于进一步改善传感器惯性状态的更新估计。因为原始传感器数据仍然可用，所以允许在重复框412的操作时生成进一步的增强图像。这个过程可以反复重复，改善生成的图像和传感器惯性状态的估计直至这样的反复操作不再充分改善传感器惯性状态的估计。
前述过程可以对另外的原始传感器数据和传感器惯性状态的另外的估计重复。这可以应用于例如使用诸如SAR的合成孔径技术的实施方式(其中多个原始传感器数据在不同的时间点从不同的位置获取)或多传感器实施方式(其中多个原始传感器数据在相同或几乎相同的时间点从不同位置获取)中。
图4B是示出了另外的原始传感器数据和传感器惯性状态的估计的使用的示图。这个实施方式是有用的，例如，在选择的SAR应用中。在框422中，从传感器读取第二原始数据。在这个实施方式中，传感器是与读取上述第一原始数据的传感器相同的传感器(但是在不同的时间在不同的位置)。在框424中，生成第二传感器惯性状态的估计。第二传感器惯性状态是相同传感器的状态，但是与以上描述的传感器惯性状态在不同的位置(和时间)。在框426中，保留第二原始传感器数据(第一原始传感器数据也已经被保留以便使用)。
在框428中，生成图像。这个图像至少部分地从传感器惯性状态的更新估计、第二传感器惯性状态的估计、原始传感器数据以及第二原始传感器数据生成。例如，在SAR实施方式中，从第一传感器位置处获取的第一原始数据和第二位置处获取的第二原始数据，以及获取原始数据的位置处的传感器的状态生成进一步生成的图像。
在框430中，生成第二传感器惯性状态的更新估计。第二传感器惯性状态的这个更新估计至少部分地从在框428中生成的进一步生成的图像和估计的第二传感器惯性状态生成。
最后，在框432中，使用保留的原始传感器数据、保留的第二原始传感器数据、传感器惯性状态的更新估计以及第二传感器惯性状态的更新估计生成进一步的增强图像。
与在图4A中示出的过程相似，前述过程可以对另外的原始传感器数据和传感器惯性状态的另外估计重复。这可以应用于例如使用诸如SAR的合成孔径技术的实施方式(其中多个原始传感器数据在不同的时间点从不同的位置获取)或多传感器实施方式(其中多个原始传感器数据在相同或几乎相同的时间点从不同位置获取)中。
图4C是示出了在使用两个传感器的实施方式中的另外的原始传感器数据和惯性状态的估计的使用的示图。在这个实施方式中，第一原始传感器数据和第二原始传感器从两个不同的传感器获取，并且可以在相同的或不同的时间获取。框432从第二传感器读取第二原始传感器数据，并且框434生成第二传感器惯性状态的估计。框436至少保留第二原始传感器数据到执行框438和440的操作(第一原始传感器数据也已经被保留供使用)。在框438中，至少部分地从传感器惯性状态的更新估计(第一传感器的)、估计的第二惯性状态(第二传感器的)以及来自第一传感器和第二传感器的原始数据进一步生成图像。在框440中，第二传感器惯性状态的更新估计(第二传感器的)至少部分地从进一步生成的图像和第二传感器惯性状态(第二传感器的)生成。最后，在框442中，从保留的第一原始传感器数据和保留的第二原始传感器数据生成进一步的增强图像。
再次，与结合图4A和图4B论述的实施方式相似，在框442中生成的增强图像可以被提供至框440并用于进一步改善第二传感器惯性状态的更新估计。因为第二原始传感器数据仍然可用，所以允许在重复框442的操作时生成进一步的增强图像。
图4D是可用于从原始传感器数据202生成图像206的示例性过程步骤的另一个实施方式的示图。在这个实施方式中，希望对象110的图像以某个分辨率覆盖某个区域109。生成关于将花费多久来收集图像(时间)的预测并对预计图像在收集过程中保持在传感器106的视场108之内进行验证。当收集在不同的传感器位置的更多数据点时(通常反映在收集数据的更长时间段)，实现更高的分辨率。随着传感器平台104移动，传感器106开始在多个传感器位置或惯性状态收集原始数据(在SAR的情况下，每组原始数据从射频脉冲获得)。INS114生成与脉冲相对应的每组原始数据的传感器位置或惯性状态的估计。然后将每组原始传感器数据202与传感器106的惯性位置的估计相关联。这可以例如通过使从每个脉冲收集原始传感器数据202的记录时间与传感器106的惯性状态的估计时间相关来实现。
在框458中，至少部分地从原始传感器数据202(包括来自多个脉冲中的每个的数据组)和与每个原始传感器数据202组相对应的传感器208的惯性状态的估计，来生成图像206。在框460中，至少部分地从生成的图像和估计的传感器惯性状态生成传感器惯性状态的更新估计。在一个实施方式中，这是通过从生成的图像206和参考图像数据库214生成地理配准图像212，然后使用地理配准图像212生成传感器位置的更新估计来实现的。在框462中，从保留的原始传感器数据组456和传感器惯性状态的更新估计生成增强图像。
再次，与结合图4A至图4C论述的实施方式相似，在框462中生成的增强图像可以被提供至框460并用于进一步改善传感器惯性状态的更新估计。因为原始传感器数据仍然可用，所以允许在重复框462的操作时生成进一步的增强图像。
此外，传感器惯性状态的改善的估计可用于改善用于将来的原始传感器数据202组收集的估计的惯性状态，因此进一步改善生成的图像206。
在参考图4A至图4D论述的实施方式中，估计的传感器惯性状态可以包括不同的数据，这取决于所使用的传感器106。例如，在由相同的传感器在不同的传感器位置拍摄原始传感器数据的实施方式中(例如，SAR)，估计的传感器惯性状态包括惯性空间中的传感器位置并且还可以包括惯性空间中的传感器速度。在实施方式中(例如，使用具有对IR、uV或可见光带宽中的能量敏感的像素阵列的平面传感器)，传感器惯性状态可以包括在读取原始传感器数据时的传感器位置和传感器姿态。
图5是改善的地理配准系统500的一个实施方式的示图。图4A、图4B、图4C和图4D的框410、430、440和460分别描述传感器惯性状态(或第二传感器惯性状态)的更新估计至少部分地从相关的图像生成的操作。这可以通过地理配准模块210实现，该地理配准模块从生成的图像和参考图像数据库214以及以上提到的上述参考DEM数据库，生成地理配准图像。然后至少部分地从地理配准图像生成更新的传感器惯性状态。这可以通过以下做法来实现：即将该地理配准图像与DEM数据库340中已知的特征和如在美国专利公开2005/0220363中描述的配准图像相比较，以提供关于在读取生成图像所使用的原始传感器数据时的传感器的位置的附加信息。这样的比较可以通过INS 114的硬件、软件或固件模块506，图像处理器204的硬件、软件或固件模块504和/或平台处理器112的硬件、软件或固件模块来执行。
最后，因为可以从以上描述的过程中获得增强图像，所以增强的地理配准图像可以从增强图像和更新的传感器位置生成。这是通过将增强图像206(使用更新传感器惯性状态208创建的)和更新的传感器惯性状态208本身提供至地理配准模块210来实现的。因为地理配准模块210现在具有增强图像和更新的(和更加准确的)传感器惯性状态208，所以可以生成增强的地理配准传感器图像212。当然，这个增强的地理配准传感器图像212可用于进一步增加传感器惯性状态208的准确度，其可进而用于改善图像206，然后允许生成进一步增强的地理配准传感器图像212。因此，通过保留原始的传感器数据202使得可以以通过地理配准处理可实现的改善的准确度使用传感器惯性状态208数据来重新处理该原始传感器数据，限定闭合环路的处理，该处理不断改变图像和传感器状态的估计两者。
处理环境
图6示出了可以用于实现以上公开的处理部件的示例性计算机或系统600，包括平台处理器112、图像处理器204、地理配准模块210、INS 114的部分、接收器117以及地面站118。计算机602包括处理器604和存储器，诸如随机存取存储器(RAM)606。在需要人机界面的实施方式中，计算机602可操作地耦接至显示器622，该显示器在图形用户界面618B上向用户呈现诸如窗口的图像。计算机602可以耦接至其他设备，诸如键盘614、鼠标装置616、打印机等。当然，本领域技术人员将认识到，以上组件或任意数量的不同的组件、外围设备、以及其他设备的任意组合可以与计算机602一起使用。
通常，计算机602在存储在存储器606中的操作系统608的控制之下操作，并且与用户交互以接受输入和命令并通过图形用户界面(GUI)模块618A呈现结果。尽管GUI模块618B被描述为单独的模块，但执行GUI功能的指令可以驻留或分布在操作系统608、计算机程序610中，或者利用专用存储器和处理器实现。计算机602还实现允许用程序语言(诸如Java、C++、C#或被转换为处理器604可读代码的其他语言)编写的应用程序610的编译器612。在完成之后，应用程序610使用编译器612生成的关系和逻辑访问并操纵存储在计算机602的存储器606中的数据。类似的结果可以利用现场可编程门阵列(FPGA)实现。计算机602还可选地包括外部通信装置，诸如调制解调器、卫星链路、以太网卡、或用于与其他计算机通信的其他装置。
在一个实施方式中，实现操作系统608、计算机程序610和编译器612的指令有形地体现在计算机可读介质中，例如，数据存储设备620，可以包括一个或多个固定的或可移动的数据存储设备，诸如压缩驱动、软盘驱动624、硬盘驱动、光盘驱动、带驱动等。此外，操作系统608和计算机程序610由指令组成，在指令由计算机602读取和执行时，指令使得计算机602执行本文中描述的操作。计算机程序610和/或操作指令还可以有形地体现在存储器606和/或数据通信装置630中，从而制成计算机程序产品或制品。因此，如在本文中使用的术语“制品”、“程序存储设备”和“计算机程序产品”旨在涵盖从任意计算机可读设备或介质可存取的计算机程序。
应理解的是，计算机系统的前述实施方式包括可能对地面站118和相似的应用有用的外围设备(例如，显示器622、GUI模块618A、GUI 618、鼠标设备616、键盘614、打印机628或编译器612)，但是不是必须被包括在另一个处理部件中。
本领域技术人员将认识到，在不背离本公开的范围的情况下，可以对这个配置进行许多修改。例如，本领域技术人员将认识到，可以使用以上组件或任意数量的不同的组件、外围设备以及其他设备的任意组合。
结论
本发明归纳了对本公开的优选实施方式的描述。优选的实施方式的前述描述被提供用于示出性和描述性的目的。并不旨在是穷尽的或将本公开限制为所公开的精确形式。许多修改和变形根据教导是可能的。其目的在于，权利的范围不由该详细描述限制，而是由所附权利要求限制。

Claims (17)

1.一种生成图像的方法，包括：
从传感器读取第一原始传感器数据，所述第一原始传感器数据由传感器在第一传感器惯性状态下获取；
生成所述第一传感器惯性状态的估计；
保留所述第一原始传感器数据，而且执行以下步骤，包括：
生成图像，至少部分地从所述第一传感器惯性状态的所述估计和所述第一原始传感器数据生成所述图像；并且
生成所述第一传感器惯性状态的更新估计，至少部分地从生成的所述图像和所述第一传感器惯性状态的所述估计生成所述第一传感器惯性状态的所述更新估计；以及
从保留的所述第一原始传感器数据和所述第一传感器惯性状态的所述更新估计生成增强的图像。
2.根据权利要求1所述的方法，其中：
所述第一传感器惯性状态的所述估计包括与所述第一原始传感器数据相关联的传感器位置的估计；并且
生成所述第一传感器惯性状态的更新估计包括：
生成所述传感器位置的更新估计，至少部分地从生成的图像和所述传感器位置的估计生成所述传感器位置的所述更新估计。
3.根据权利要求2所述的方法，其中，至少部分地从生成的图像生成所述传感器位置的更新估计包括：
从生成的图像和参考图像数据库生成地理配准图像；并且
至少部分地从所述地理配准图像生成所述传感器位置的所述更新估计。
4.根据权利要求3所述的方法，进一步包括：
从所述增强的图像和所述传感器位置的所述更新估计生成增强的地理配准图像。
5.根据权利要求1所述的方法，进一步包括：
从所述传感器读取第二原始传感器数据，所述第二原始传感器数据由所述传感器在第二传感器惯性状态下获取；
生成第二传感器惯性状态的估计；
保留所述第二原始传感器数据，并且执行以下步骤，包括：
进一步生成图像，至少部分地从所述第一传感器惯性状态的所述更新估计、所述第二传感器惯性状态的估计、所述第一原始传感器数据以及所述第二原始传感器数据进一步生成图像；并且
生成所述第二传感器惯性状态的更新估计，至少部分地从进一步生成的图像和所述第二传感器惯性状态的所述估计生成所述第二传感器惯性状态的所述更新估计；
从保留的所述第一原始传感器数据、保留的所述第二原始传感器数据、所述第一传感器惯性状态的所述更新估计和所述第二传感器惯性状态的所述更新估计生成进一步增强的图像。
6.根据权利要求1所述的方法，进一步包括：
从所述传感器读取第二原始传感器数据，所述第二原始传感器数据由第二传感器在第二传感器惯性状态下获取；
生成所述第二传感器惯性状态的估计；
保留所述第二原始传感器数据，并且执行以下步骤，包括：
进一步生成图像，至少部分地从所述第一传感器惯性状态的所述估计、所述第二传感器惯性状态的估计、所述第一原始传感器数据以及所述第二原始传感器数据进一步生成图像；
进一步生成所述第二传感器惯性状态的所述更新估计，至少部分地从进一步生成的图像和所述第二传感器惯性状态的估计生成所述第二传感器惯性状态的进一步生成的所述更新估计；
从保留的所述第一原始传感器数据、保留的所述第二原始传感器数据、所述第一传感器惯性状态的进一步生成的更新估计和所述第二传感器惯性状态的进一步的更新估计生成进一步增强的图像。
7.一种用于生成图像的设备，包括：
传感器，用于生成第一原始传感器数据；
图像处理器，通信地耦接至所述传感器，用于从所述传感器读取所述第一原始传感器数据，所述第一原始传感器数据由所述传感器在第一传感器惯性状态下获取；
惯性导航系统，用于生成所述第一传感器惯性状态的估计；
图像处理器，通信地耦接至所述传感器和所述惯性导航系统，
用于从所述第一原始传感器数据生成图像，所述图像至少部分地从所述第一传感器惯性状态的所述估计和所述第一原始传感器数据生成；以及
地理配准系统，通信地耦接至所述惯性导航系统和所述图像处理器，用于至少部分地从生成的图像和所述第一传感器惯性状态的所述估计生成所述第一传感器惯性状态的更新估计；
其中，所述图像处理器从保留的所述第一原始传感器数据和所述第一传感器惯性状态的所述更新估计生成增强的图像，并且所述传感器保留所述第一原始传感器数据，而所述图像从所述第一原始传感器数据和所述第一传感器惯性状态的所述更新估计生成。
8.根据权利要求7所述的设备，其中：
所述第一传感器惯性状态的所述估计包括与所述第一原始传感器数据相关联的传感器位置的估计；并且
所述地理配准系统至少部分地从生成的图像和所述传感器位置的所述估计生成所述第一传感器惯性状态的更新估计。
9.根据权利要求8所述的设备，其中，所述地理配配准系统用于：
通过从生成的图像和参考图像数据库生成地理配准图像，来至少部分地从生成的图像生成所述传感器位置的更新估计；并且
至少部分地从所述地理配准图像生成所述传感器位置的所述更新估计。
10.根据权利要求7所述的设备，其中：
所述传感器进一步生成第二原始传感器数据；
所述图像处理器从所述传感器进一步读取所述第二原始传感器数据，所述第二原始传感器数据由所述传感器在第二传感器惯性状态下获取；
所述惯性导航系统进一步生成所述第二传感器惯性状态的估计；
所述图像处理器从所述第一传感器惯性状态的所述估计、所述第二传感器惯性状态的所述估计、所述第一原始传感器数据和所述第二原始传感器数据进一步生成图像；并且
所述地理配准系统进一步生成所述第二传感器惯性状态的更新估计，所述第二传感器惯性状态的进一步的更新估计至少部分地从进一步生成的图像、所述第一传感器惯性状态的所述估计和所述第二传感器惯性状态的所述估计生成；
其中所述图像处理器从保留的所述第一原始传感器数据、保留的所述第二原始传感器数据、所述第一传感器惯性状态的进一步生成的所述估计以及所述第二传感器惯性状态的进一步的更新估计生成进一步增强的图像。
11.根据权利要求10所述的设备，其中，所述传感器包括合成孔径雷达(SAR)。
12.一种用于生成图像的设备，包括：
用于从传感器读取第一原始传感器数据的装置，所述第一原始传感器数据由传感器在第一传感器惯性状态下获取；
用于生成所述第一传感器惯性状态的估计的装置；
用于生成图像的装置，所述图像至少部分地从所述第一传感器惯性状态的估计和所述第一原始传感器数据生成；以及
用于生成所述第一传感器惯性状态的更新估计的装置，所述第一传感器惯性状态的所述更新估计至少部分地从生成的图像和所述第一传感器惯性状态的估计生成；
用于保留所述第一原始传感器数据以供生成所述图像并生成所述第一传感器惯性状态的所述更新估计用的装置；以及
用于从保留的所述第一原始传感器数据和所述第一传感器惯性状态的所述更新估计生成增强的图像的装置。
13.根据权利要求12所述的设备，其中：
所述第一传感器惯性状态的所述估计包括与所述第一原始传感器数据相关联的传感器位置的估计；并且
用于生成所述第一传感器惯性状态的更新估计的所述装置包括；
用于生成所述传感器位置的更新估计的装置，所述传感器位置的所述更新估计至少部分地从生成的图像和所述传感器位置的所述估计生成。
14.根据权利要求13所述的设备，其中，用于至少部分地从生成的图像生成所述传感器位置的更新估计的装置包括：
用于从所生成的图像和参考图像数据库生成地理配准图像的装置；以及
用于至少部分地从所述地理配准图像生成所述传感器位置的所述更新估计的装置。
15.根据权利要求14所述的设备，进一步包括：
用于从所述增强的图像和所述传感器位置的所述更新估计生成增强的地理配准图像的装置。
16.根据权利要求15所述的设备，其中，所述传感器包括平面成像传感器。
17.根据权利要求12所述的设备，还包括：
用于从所述传感器读取第二原始传感器数据的装置，所述第二原始传感器数据由所述传感器在第二传感器惯性状态下获取；
用于生成所述第二传感器惯性状态的估计的装置；
用于进一步生成所述图像的装置，至少部分地从所述第一传感器惯性状态的估计、所述第二传感器惯性状态的估计、所述第一原始传感器数据以及所述第二原始传感器数据进一步生成图像；
用于进一步生成所述第二传感器惯性状态的所述更新估计的装置，所述第二传感器惯性状态的进一步的所述更新估计至少部分地从进一步生成的图像、所述第一传感器惯性状态的估计和所述第二传感器惯性状态的估计生成；
用于保留所述第二原始传感器数据以供进一步生成所述图像和所述第二传感器惯性状态的所述更新估计用的装置；以及
从保留的所述第一原始传感器数据、保留的所述第二原始传感器数据、所述第一传感器惯性状态的进一步生成的所述更新估计以及所述第二传感器惯性状态的进一步的更新估计生成进一步增强的图像的装置。
CN201711381176.6A 2016-12-21 2017-12-20 通过地理配准增强原始传感器图像的方法和装置 Active CN108230374B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/387,486 US10802135B2 (en) 2016-12-21 2016-12-21 Method and apparatus for raw sensor image enhancement through georegistration
US15/387,486 2016-12-21

Publications (2)

Publication Number Publication Date
CN108230374A true CN108230374A (zh) 2018-06-29
CN108230374B CN108230374B (zh) 2023-06-16

Family

ID=60923299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711381176.6A Active CN108230374B (zh) 2016-12-21 2017-12-20 通过地理配准增强原始传感器图像的方法和装置

Country Status (5)

Country Link
US (1) US10802135B2 (zh)
EP (1) EP3340175A1 (zh)
JP (1) JP7138428B2 (zh)
CN (1) CN108230374B (zh)
TW (1) TWI758362B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110703245A (zh) * 2019-10-15 2020-01-17 北京理工大学 基于同名点匹配与dem辅助的地基sar多角度图像配准方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10591300B2 (en) * 2017-05-01 2020-03-17 RideOn Ltd. Fixing magnetometer based azimuth according to sun positioning
JP7124956B2 (ja) * 2019-03-28 2022-08-24 日本電気株式会社 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム
CN113160071B (zh) * 2021-03-11 2023-11-07 北京师范大学 卫星影像自动化几何纠正方法、系统、介质及终端设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102322858A (zh) * 2011-08-22 2012-01-18 南京航空航天大学 用于地磁/捷联惯导组合导航系统的地磁匹配导航方法
US20120038770A1 (en) * 2010-08-10 2012-02-16 International Business Machines Corporation Precise target positioning in geographical imaging
CN102506868A (zh) * 2011-11-21 2012-06-20 清华大学 基于联邦滤波的sins/smans/trns组合导航方法及系统
CN103398725A (zh) * 2013-07-29 2013-11-20 哈尔滨工程大学 一种基于星敏感器的捷联惯导系统初始对准的方法
EP2894602A1 (en) * 2014-01-13 2015-07-15 Honeywell International Inc. A method of using image warping for geo-registration feature matching in vision-aided positioning
CN105180938A (zh) * 2015-06-03 2015-12-23 北京理工大学 一种基于粒子滤波的重力采样矢量匹配定位方法
US9245343B1 (en) * 2013-03-28 2016-01-26 Rockwell Collins, Inc. Real-time image geo-registration processing
US20160098838A1 (en) * 2013-04-24 2016-04-07 Commissariat à l'Energie Atomique et aux Energies Alternatives Registration of sar images by mutual information
CN105608458A (zh) * 2015-10-20 2016-05-25 武汉大学 一种高分辨率遥感影像建筑物提取方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6597818B2 (en) * 1997-05-09 2003-07-22 Sarnoff Corporation Method and apparatus for performing geo-spatial registration of imagery
US6587601B1 (en) 1999-06-29 2003-07-01 Sarnoff Corporation Method and apparatus for performing geo-spatial registration using a Euclidean representation
US6738532B1 (en) 2000-08-30 2004-05-18 The Boeing Company Image registration using reduced resolution transform space
US7197160B2 (en) * 2001-03-05 2007-03-27 Digimarc Corporation Geographic information systems using digital watermarks
JP3707418B2 (ja) 2001-10-16 2005-10-19 三菱電機株式会社 合成開口レーダ信号処理装置
JP2003219252A (ja) 2002-01-17 2003-07-31 Starlabo Corp 移動体搭載用撮影装置を用いた撮影システム及び撮影方法
US20030225513A1 (en) * 2002-04-12 2003-12-04 Nikhil Gagvani Method and apparatus for providing multi-level blended display of arbitrary shaped textures in a geo-spatial context
US7773799B2 (en) 2004-04-02 2010-08-10 The Boeing Company Method for automatic stereo measurement of a point of interest in a scene
US7751651B2 (en) 2004-04-02 2010-07-06 The Boeing Company Processing architecture for automatic image registration
US7191056B2 (en) 2005-01-04 2007-03-13 The Boeing Company Precision landmark-aided navigation
US20060210169A1 (en) 2005-03-03 2006-09-21 General Dynamics Advanced Information Systems, Inc. Apparatus and method for simulated sensor imagery using fast geometric transformations
US7395156B2 (en) * 2005-06-23 2008-07-01 Raytheon Company System and method for geo-registration with global positioning and inertial navigation
US7580591B2 (en) 2005-07-01 2009-08-25 The Boeing Company Method for generating a synthetic perspective image
US7873240B2 (en) 2005-07-01 2011-01-18 The Boeing Company Method for analyzing geographic location and elevation data and geocoding an image with the data
EP2423873B1 (en) * 2010-08-25 2013-12-11 Lakeside Labs GmbH Apparatus and Method for Generating an Overview Image of a Plurality of Images Using a Reference Plane
US9727148B2 (en) * 2013-12-24 2017-08-08 Pixart Imaging Inc. Navigation device and image display system with inertial mode
IL232853A (en) * 2014-05-28 2015-11-30 Elbit Systems Land & C4I Ltd Imaging Georegistration System and Method
WO2016073642A1 (en) 2014-11-04 2016-05-12 The Regents Of The University Of California Visual-inertial sensor fusion for navigation, localization, mapping, and 3d reconstruction
ITUA20164568A1 (it) * 2016-06-21 2017-12-21 Thales Alenia Space Italia Spa Con Unico Socio Metodo di formazione di immagini sar per analisi interferometriche

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120038770A1 (en) * 2010-08-10 2012-02-16 International Business Machines Corporation Precise target positioning in geographical imaging
CN102322858A (zh) * 2011-08-22 2012-01-18 南京航空航天大学 用于地磁/捷联惯导组合导航系统的地磁匹配导航方法
CN102506868A (zh) * 2011-11-21 2012-06-20 清华大学 基于联邦滤波的sins/smans/trns组合导航方法及系统
US9245343B1 (en) * 2013-03-28 2016-01-26 Rockwell Collins, Inc. Real-time image geo-registration processing
US20160098838A1 (en) * 2013-04-24 2016-04-07 Commissariat à l'Energie Atomique et aux Energies Alternatives Registration of sar images by mutual information
CN103398725A (zh) * 2013-07-29 2013-11-20 哈尔滨工程大学 一种基于星敏感器的捷联惯导系统初始对准的方法
EP2894602A1 (en) * 2014-01-13 2015-07-15 Honeywell International Inc. A method of using image warping for geo-registration feature matching in vision-aided positioning
CN105180938A (zh) * 2015-06-03 2015-12-23 北京理工大学 一种基于粒子滤波的重力采样矢量匹配定位方法
CN105608458A (zh) * 2015-10-20 2016-05-25 武汉大学 一种高分辨率遥感影像建筑物提取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHIHAO SUN: ""Attitude/Position Estimation of Rigid-Body using Inertial and Vision Sensors"", 《JOURNAL OF ROBOTICS,NETWORKS AND ARTIFICIAL LIFE》 *
ZWMAQING: ""图像配准"", 《HTTPS://WWW.CNBLOGS.COM/SCZW-MAQING/P/3251261.HTML》 *
王晓华: ""基于集成互补不变特征的多源遥感影像配准方法研究"", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110703245A (zh) * 2019-10-15 2020-01-17 北京理工大学 基于同名点匹配与dem辅助的地基sar多角度图像配准方法
CN110703245B (zh) * 2019-10-15 2021-08-17 北京理工大学 基于同名点匹配与dem辅助的地基sar多角度图像配准方法

Also Published As

Publication number Publication date
JP2018112543A (ja) 2018-07-19
TWI758362B (zh) 2022-03-21
TW201828251A (zh) 2018-08-01
EP3340175A1 (en) 2018-06-27
US10802135B2 (en) 2020-10-13
CN108230374B (zh) 2023-06-16
US20180174312A1 (en) 2018-06-21
JP7138428B2 (ja) 2022-09-16

Similar Documents

Publication Publication Date Title
CN108230374A (zh) 通过地理配准增强原始传感器图像的方法和装置
US9709673B2 (en) Method and system for rendering a synthetic aperture radar image
EP2233947B1 (en) Increasing measurement rate in time of flight measurement apparatuses
CN108225309B (zh) 通过地理配准增强多个原始传感器图像的方法和设备
EP0589554A2 (en) Airborne survey method and apparatus
CN116778104B (zh) 一种动态遥感监测的测绘方法及系统
US20040054488A1 (en) Method of using a self-locking travel pattern to achieve calibration of remote sensors using conventionally collected data
US20090033548A1 (en) System and method for volume visualization in through-the-obstacle imaging system
US7869952B1 (en) Interlaced limb scanning method
US20240044645A1 (en) Apparatus and method for area mapping
JPH09126761A (ja) 地球形状計測装置
WO2021101612A2 (en) Passive wide-area three-dimensional imaging
Edwards Digital surface modelling in developing countries using spaceborne SAR techniques
Maier Direct multispectral photogrammetry for UAV-based snow depth measurements
JPH10197244A (ja) 地球形状計測装置
Dolph et al. Optical Geolocation for small Unmanned Aerial System
Rambat A low-cost remote sensing system for agricultural applications
Olawale Near real-time monitoring of buried oil pipeline right-of-way for third-party incursion
Zhen et al. A new airborne remote sensing system integrating scanning altimeter with infrared scanner
Divak Simulated SAR with GIS data and pose estimation using affine projection
Koo et al. iSIM—An integrated SAR product simulator for system designers and researchers
Forster An introduction to modern Remote Sensing techniques and their implication for surveying practice
Twu Automatic height extraction from stereoscopic SAR imagery
KR20080033287A (ko) 이미지와 관련된 위치를 결정하는 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant