CN102741706B - 地理参照图像区域的方法 - Google Patents

地理参照图像区域的方法 Download PDF

Info

Publication number
CN102741706B
CN102741706B CN201080062973.8A CN201080062973A CN102741706B CN 102741706 B CN102741706 B CN 102741706B CN 201080062973 A CN201080062973 A CN 201080062973A CN 102741706 B CN102741706 B CN 102741706B
Authority
CN
China
Prior art keywords
image
detector
point
measurement
point distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080062973.8A
Other languages
English (en)
Other versions
CN102741706A (zh
Inventor
A·西蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Publication of CN102741706A publication Critical patent/CN102741706A/zh
Application granted granted Critical
Publication of CN102741706B publication Critical patent/CN102741706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/30Interpretation of pictures by triangulation
    • G01C11/34Aerial triangulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及使用成像光电子系统(100)来地理参照区域的方法,其包括使用检测器(1)获取M个连续图像的步骤,成像区域分布在这M个图像之间,其中M≥1。本发明还包括以下步骤:测量在系统与所述区域中被称为测距点的P个点之间的P个距离d1、d2、...、dP,其中P≥3,这些测距点分布在所述图像的K个图像中,其中1≤K≤M,在获取M个图像的同时获取检测器的定位xm,ym,zm,在获取M个图像的同时测量检测器的空间方位角θm,Ψm,获取这K个图像中与P个测距点对应的被称为像点的点的坐标(p1,q1)、(p2,q2)、…、(pP,qP),以及以下步骤:根据定位、空间方位角、距离和像点坐标,估计与M个图像对应的曝光条件参数xe,ye,zeee,以便校正M个图像中的每一个图像的参数xm,ym,zmm,θm,的误差。

Description

地理参照图像区域的方法
技术领域
本发明涉及依靠具有十公尺特性等级的光电子系统来地理参照区域,尤其在严重倾斜的曝光条件下。
背景技术
图1示出了在严重倾斜的曝光条件下所遇到的测量不确定性所导致的区域点P的定位(或地理定位)误差,例如在航空-陆地应用中,其中与至对象的距离相比,光电子系统位于地面附近(空运的,对于低高度飞行或陆地应用,至对象的距离与飞行高度之比为大约5甚至更高)。
图1A示出了由光电子系统的竖直位置h的测量不确定性εh导致的平面误差εP
适用以下等式:
εPh/tanθ=(r/h)εh≈εh
例如,在比对象的高度大20kft的高度处误差εh为20m时,这将导致30km处的点P的定位的误差εP为120m。
图1B示出了由从光电子系统观测点P时的定向角的测量不确定性εθ所导致的误差εP,即在照相机光轴(或LdV)的竖直平面中的取向误差。
适用以下等式:
εP=r.εθ/sinθ=r.εθ.(h2+r2)1/2/h=r2θ(1+(h/r)2)1/2≈r2θ/h
在前述实例的相同条件下,例如误差εθ为1mrd时(对应于非常有利的情形)在150m的点P的定位上引起误差εθ
这些误差可能累计,最终导致点P的定位误差接近270m。
然而,在固定在例如车辆桅杆或船桅杆的顶部的低高度陆地光电子系统(直升飞机,迷你无人驾驶飞机)中也发现了该误差。然而,大部分这些系统必须获取并且表征以十公尺效率的较大距离移动的对象的定位。
已经说明了测量误差对点P的地理定位误差的影响。地理参照由成像区域的所有点而非单个点的地理定位组成。
为了在上述条件下实现十公尺等级的地理参照,常规办法是使用一般由专门操作人员在地面上执行的后处理操作,所述专门操作人员对依靠地理参考(或具有优选全世界或者至少足以覆盖所表示的需求的地标)所获取的图像重新排列。然而,通常由接近竖直的曝光所采集的这些地标难于与严重倾斜的图像自动地配对,并且受信息老化影响。
其中一个难点在于快速获取地球任一点上的该特性,而不需要使用难于与图像立即配对但不受信息老化影响的真实世界覆盖信息。
现有技术领域中为建立数字高度模型或MNT而实施的一种方案由以下步骤组成,即在有利的获取条件下使用飞行激光执行多个光束距离和方向的测量。实际上,该应用在能够在接近竖直的条件下获取信息的低曝光约束下,在飞行高度很低的情形下执行,以使取向误差不至于损害直接位置特性。所使用的系统一般不会提供任何关联成像,并且当它们提供关联成像时,这两个系统不耦合。这些空运激光器绘制技术旨在单独使用距离测量以便重构MNT,并且在所遇到的与严重倾斜目标的远程采集条件有关的应用中不提供与图像的耦合。此外,这些方法有利地适用于更新所产生的信息并由此控制立体绘制地点,这涉及在地面站中在操作员的控制下产生成像区域上的数字地形模型(MNT)和正射图像。
通常用于产生正射图像、MNT以便最终生成地图和矢量数据库(BDD)的另一种方案是,使用基于从飞机或从卫星获取的光学或雷达图像的航空三角测量技术。
卫星上的传感器通常用来基于图像获取以及位置和高度测量来覆盖大部分区域,此外,这在地域和更大的尺度上进行。基于整流后的对象景物的形状观测而对光学图像的内部一致性的所进行的控制依靠矩阵检测器来产生。这一点可利用轨迹和/或扫描技术来保证,同时保证信息的重叠和连续重构,即信息可以基于一些地标来整体地取向,以便校正其余取向偏差。当从观测或远程检测卫星获取时,也需要该空间三角测量技术。
航空三角测量应用对应于具有宽测量基础(基础是检测器在两个图像之间的位移)的获取,从而与获取速率达到每3分钟将近10,000个图像的战略应用相比(几十Hz),对应于相对低速率的获取(0.1Hz的量级)。
再者,图像在操作人员的控制下来处理并且用在地面站中。在生成信息的任务中,操作人员还会进行:
-对具有已合格的地理参照的外部参考数据进行访问
-使用设备来识别对象和图像的相关细节,并且将它们与参考数据相关联,以便在图像中得到地标点,从而强化图像的地理参照。
由地面上的操作人员对图像地理参照的强化,由以下处理构成:即使当与待被地理参照的图像有关的信息的品质较差时,该处理对结果而言仍是有效的,同时限制了执行时间、所需参考地理数据、校正任务和所包括的时间。
航空三角测量任务确定所有图像的绝对取向。必要时,可以假定它们为单个图像(或图像块)并且依靠输入类似的点和/或地标点来校正结果,以及提供手动或目视特性检查。该要求对于操作人员来说,在对图像的组装品质和由多个图像覆盖的区域的地理参照的品质进行控制的循环中,在使用尤其要求更短的执行时间——接近实际时间的应用的条件下,是不能实行的。
除了与曝光条件(或CPDV)有关的该特性问题以外,还必须具有:
-更好的图像分辨率,以便查看细节,换句话说,强化在图像中用来表示地面距离的分辨率,或“GRD”(地面采样距离),以及
-更大的地面覆盖,换句话说,增加成像区域以利于在环境、安全、战略和战术自然条件的操作上的使用,而不用以任何方式牺牲待被地理参照的信息的获取范围。
通过移动检测器或者/并且使用更大的检测器或/和更大的视野,来确保大区域覆盖。
卫星装置的大区域覆盖通过沿卫星轨道的卫星移动和曝光参数之间较好的相对品质来促成,因为:
-定位的品质依赖于由天体力学等式限制的传导地理学的测量和参数控制。这允许在时间上其形状的简单且刚性的建模。
-空间方位角通过轨迹的稳定性和相关控制装置而具有一致性。
对于陆地应用,检测器不总是可以移动,并且相对于待获取区域,检测器的尺寸有时是有限的。航空陆地的大区域覆盖更困难,因为:
-在空运情形中,通过操纵平台来确保轨迹,
-在陆地情形中,平台固定或者移动性很小。
在材料品质严格控制的情形下,所述使用大检测器首选使用阵列检测器。然而,关于很好地了解随时间的指向(在与阵列方向对应的图像的方向之间)的困难使图像的内部一致性(这允许控制图像的几何形状)劣化,从而使光电子件的强大特性中的一个劣化。此外,必须减小积分时间,以便相对于成像区域来适应与检测器移动有关的涡卷效应。
使用更大的视野来覆盖大区域的可能性与GRD中给定获取距离范围的需求相冲突。为了弥补该约束,使用快速的基于扫描的获取模式诸如帧步进(frame-step)(或步进注视(stepstaring)),并且增加同一平台上的检测器数量。
对于军事应用,必须能够对分辨率较高的大量图像进行快速地理参照。
发明内容
本发明旨在,在遵守十公尺等级地理参照的约束的同时,通过适应于地面上的表面区域在严重倾斜曝光和具有足够的获取区域的条件下成像的要求,克服执行时间、需要地面操作人员和外部参考数据、图像中的景物分辨率不足的缺点。
根据本发明的地理参照方法基于以下具有高准确度和精确度的两种信息的提供:
-在同一个图像信息单元中的多个距离测量,其中准确度为公尺,
-精度为像素的角尺寸量级(10μrad)的测距距离的像素之间的定向的角背离,取决于:
○确定与距离测量相关的图像坐标所需的质量。
○良好的光电子图像的内部几何一致性和使存在小于或达到像素量级的重叠的图像之间配对的能力。
算法处理操作基于前述信息计算每一个图像的曝光的条件参数。
从而,少数准确的距离测量和精确的角偏差(使用光电子图像的内部一致性信息和/或内部测量的精确度)可以在地面稍微不平坦的假定下或者通过具有MNT来更好地执行区域的地理参照。则成像区域的地理参照的品质在整体上因距离测量的准确度而受益,而在局部上因光电子角度测量的相对品质所具有的几何致性而受益。
根据所生成的误差平衡表,与所使用信息的各自品质有关的一致性将被记录,所使用信息的各个分量具有米量级(高度为20kft的30km处的大小为10μrad的一些像素表示1.5m的距离)。
更具体而言,本发明的主题是依靠成像光电子系统地理参照区域的方法,该方法包括依靠检测器来获取M个连续图像的步骤,成像区分布在这M个图像之间,其中M≥1,主要特征在于,该方法还包括以下步骤:
-测量在系统与区域中被称为测距点的P个点之间的P个距离d1、d2、...、dP,其中P≥3,这些测距点分布在所述图像的K个图像中,其中1≤K≤M,
-在获取M个图像的同时获取检测器的定位xm,ym,zm
-在获取M个图像的同时测量检测器的空间方位角θmm
-获取这K个图像中与P个测距点对应的被称为像点的点的坐标(p1,q1)、(p2,q2)、…、(pP,qP),
-以及以下步骤:即根据定位、空间方位角、距离和像点坐标,估计与M个图像对应的曝光条件参数xe,ye,zeee,以便减小M个图像中的每一个图像的参数xm,ym,zmmm,的误差。
该方法允许以下述方式对整个成像区域进行地理定位,而不限于景物的单个点:
-在十公尺等级的准确度的情形下,尤其通常在空运应用和检测器位于地面附近的情形中经常遇到的严重倾斜曝光条件下,因为特性很大程度上不受空间方位角测量误差的影响(大大减小与方位取向误差和绕LdV的旋转误差相关联的平面定位误差的敏感度)。
-自主地,即不用操作人员的干涉并且不访问参考数据,
-实时地,由于通常以测距仪的速率(一般为10Hz)来访问信息,并且没必要执行任何后处理或者不需要特定的信息强化装置,
-不管获取范围和图像中地面分辨率(地面采样距离GRD)之间的冲突而采用最广泛且分辨率最好的景物覆盖,
-离散地,因为可以对未被测距仪直接照射的对象进行地理定位,这避免不得不对待定位的敏感对象执行主动测量,从而在要求离散等级的战术操作中具有优势。
根据本发明一个实施例,在M≥3的情形下,连续获取区域的M个图像,这些图像示出了两两重叠的区域,并且该方法包括提取这M个图像的重叠区域中的类似图元的步骤和基于这些类似图元两两地映射图像的步骤。
根据前述实施例的特殊实现,当P=K时,测距点分别位于每一个图像的中心。
优选地,当光电子系统固定时,描述定位的参数(xe,ye,ze)仅被估计一次。
当光电子系统包括定位装置并且其在已知的轨迹上移动时,可以基于连续位置测量和轨迹模式对定位xe,ye,ze进行估计。
当光电子系统访问(或包括)指明其定位、其速度、其加速度的测量装置时,则以参数形式的对其轨迹进行建模。然后,在进行获取(图像和测距)的同时估计位置的定位xe,ye,ze
根据第一变型,当在同一个图像中存在多个测距点时,同时获取这些点的距离测量。
根据另一个变型,当在同一个图像中存在多个测距点时,连续获取这些点的距离测量,获取每一个距离的时间小于获取这个图像的时间与图像中的这些点的数量之比。
此外,本发明的主题是地理参照光电子系统,其包括:检测器,其具有光轴LdV;对该检测器进行定位的装置;对检测器的空间方位角进行测量的装置;测距仪,其与检测器的LdV协调;以及处理单元,其连接至上述元件,并且能够执行P=K时的方法。
根据本发明的一个特征,发射激光束的测距仪配备有用于分裂或偏转被发射的激光束并且对所接收的信号进行分析以便依靠适于执行上述方法的处理操作来确定飞行时间(ToF)和光束相对于图像的取向的装置。
附图说明
通过阅读作为非限制性实例给出的以下详细描述并且参考附图,本发明的其它特征和优点将变得明显,其中:
图1A和图1B示意性示出了在倾斜曝光条件下的地理定位误差;
图2示意性示出了用在根据本发明的地理参照方法中图像的曝光条件参数和其它信息;
图3示意性示出了在基于单个图像的本发明第一实施例的背景下使用的且具有多个测距点的示意性图像;
图4示意性示出了设置有偏转装置的测距仪的操作模式;
图5示意性示出了根据基于M个图像的本发明方法的第二实施例的实例,其中M=2并且每个图像中具有多个测距点;
图6A和图6B示意性示出了根据基于M个图像的本发明的方法的该第二实施例的另一个实例,其中M=4且每一个图像中具有一个或多个测距点,具有获取图像和测距点的步骤(图6A)和提取图像中的类似点的步骤(图6B);
图7A和图7B示意性示出了根据基于M个图像的本发明的方法的第三实施例的实例,其中M=4并且在这些图像中的3个的中心处具有单个测距点,具有获取图像和测距点的步骤(图7A)和提取图像中的类似点的步骤(图7B);
图8示意性示出了根据本发明的示意性光学电子系统;
图9示出了从MNT网格开始以三角形式密化空间方位角的处理和结果;
图10示出了景物模型的密化结果对互见度计算的影响。
附图之间,相同的元件由相同的附图标记标识。
具体实施方式
区域的地理参照误差受六个外部参数的品质制约,所述六个外部参数也称为曝光参数,示出在图2中并且表示为:
-检测器的绝对位置,其通过定位装置来获得,并且其在局部地理坐标系统中表征为:
○其平面坐标x和y,以及,
○其高度坐标z,
-通过诸如导航惯性系统(CNI)的惯性装置和/或惯性测量单元(UMI)获得的图像的绝对空间方位角,并且其可以表征为:
○由其方位角ψ和量化其俯角的定向角θ限定的LdV的方向,
○图像绕LdV的第三旋转角也称为摆动角。
检测器(或站照相机)的位置优选在以下笛卡尔地理坐标系统中使用:
-或者以地球为中心的全球系统(或ECEF,表示地心地固),
-或者以地面上某点为中心的局部系统(或ENU,表示东北向上),或者等效地,因其简单地摆动轴线x和y并且反转轴线z,因此局部地理坐标系统也称为NED(即北东向下)。
该位置测量在平台上获取或者,如果传感器允许安装在平台上的话,在传感器上获取(陆地照相机实例)。为了得到很精确的位置信息,优选地使用由局部导航卫星系统(GNSS)生成并且与可用惯性信息(诸如,平台的CNI、传感器的UMI)理想混合的信息。目前,所设想的GNSS系统尤其依赖于GPS及其配件EGNOS、Galiléo(当Galiléo可利用时)和GLONASS(当其更新完成时)。
6个曝光参数(xm,ym,zm,θmm)被确定为具有受测量仪器和相关处理单元的品质约束的品质。
假定光电子系统的内部参数(图像的焦点和光学畸变、基本像点等)的校准在其它地方进行。然而,方法也可以估计这些参数并且更精确地确定例如在传感器操作条件(温度和机械应力)下假定的光学畸变模型的参数的特定值。
用于地理参照区域方法依靠图8中所示的成像光电子系统100来执行,所述成像光电子系统100包括:
-检测器1,诸如照相机,
-测距仪2,其LdV在检测器的光电子通道上协调,
-装置3,其定位检测器,诸如GNSS器件、或可了利用诸如GPS的辅助器件来混合的UMI、恒星传感器、地平传感器等,
-惯性装置4,其测量诸如惯性单元等的检测器的空间方位角,
-装置5,其利用适当的科技器件(反射镜、光学纤维、特定的检测器,等)和适当的信号处理来获取与测距点对应的像点的坐标,
-处理单元6,其包括用于将所获得的图像的位置和空间方位角测量与距离同步的装置,并且包括用于提取并测量像点的坐标的装置5。用于测量同步的时间戳记基准优选在具有最高的图像获取速率或距离测量速率的信息基础上进行。
通常,方法包括以下步骤:
-依靠检测器1获取M个连续图像,在这M个图像之间分割成像区域,其中M≥1,
-通过测距仪2在系统与被称为测距点的区域的P个点之间测量P个距离d1、d2、...、dP,其中P≥3,这些测距点分布在K个所述图像中,其中1≤K≤M,
-在获取M个图像时,通过定位装置3获取检测器的定位xm,ym,zm
-在获取M个图像时,通过惯性装置4测量检测器1的空间方位角θmm
-通过装置5获取这K个图像中与这P个测距点对应的被称为像点的点的坐标(p1,q1)、(p2,q2)、…、(pP,qP),
-根据允许定位(xm,ym,zm)的测量和检测器的空间方位角(Ψmm,P个距离和P个像点坐标,通过处理单元6估计与M个图像对应的曝光条件参数(xe,ye,ze,θee),以便校正M个图像的参数(x0,y0,z000,上的误差。
通常,表征K个图像中每一个图像的CPDV的参数的估计利用以下要素来执行:
-定位测量和空间方位角测量,
-距离测量以及,
-像点坐标,
-地面的景物模型或假设。
以下描述了四种应用,该应用在成像区域上应用多次距离测量以便进一步掌握与通过测量而提供的描述曝光站和图像空间方位角的照相机参数(CPDV)有关的知识,或者甚至在不需要角度测量的情形下确定这些参数。
应用(1):利用3个距离来强化空间方位角和高度。使用具有3个距离测量的连续图像区域,以便精确地确定表征LdV取向(不包括最后绕LdV的旋转角和传感器的高度z0的2个角度值(Ψ0和θ0)(参见图2)。
需要重申的是,这三个参数包括在严重倾斜的视野中(参见图1)测量误差对图像的地理参照具有最关键的影响的两个参数。基于准确度和精确度都比角度测量所提供的准确度和精确度更好的测量所进行的确定,其构成了根据本发明的方法的重点。
该应用构成了启发性示例和该方法基本原理的展示。
应用(2):密化成像区域上地表。使用与待估计参数数量有关的距离和图像测量的冗余。除3个所需的最小距离之外,每一个新的距离提供与至目标点处的景物的距离有关的相关测量,因此对于已经知晓的传感器位置和图像空间方位角,相关信息着眼于定位地面上的目标点。确定分散点的高度和位置以密化地面模型的初始知识。在曝光参数和景物参数的联合估计中,处理将所有测量充分考虑在内。然而,显然为了阐明其意义,可以使用一些测量去估计CPDV,并且使用剩下的测量去识别地面上作为测量主体的位置上的高度。
应用(3):采用一组图像和距离测量的航空分割测量(aéro-latération)。利用一组重叠图像、图像之间的相似图元的观测、图像上的距离测量、景物模型和近似测量,能够初始化图像的曝光参数,以便强化每一个图像的曝光参数和描述景物模型的参数。该应用重点在于外部参数的估计,而非由焦点组成的内部参数,图像主点(PPI)的坐标和光学畸变的描述也可以在该应用的背景下进行估计。使用图像上距离测量的冗余,以便密化景物模型,由此强化相应特征(MEC)与估计迭代中提取的定位之间的映射。该应用示出了在最一般尺寸的操作应用背景下处理的执行。
应用(4):地标的使用。在与地理参照的参考图像数据配对的成像区域的点上使用至少3个距离测量,以便清楚地计算外部曝光参数并且强化其知识。
下文中给出了执行这些应用的一些细节。
应用(1):采用3个距离来强化CPDV
对于远景曝光,将图像和地形坐标联系在一起的共线性等式可以写出将地面点“G”的坐标(xk,yk,zk)与图像像素相关联的位置函数,如:
(等式1)
以上等式包括以下:
-焦点“f0”,其用像素表示,
-图像坐标系统(光轴与图像平面交叉)中图像主点(PPI)的坐标(p0,q0),
-因子μk,表示比例因子,
-旋转矩阵R,其描述图像的空间方位角,并且旋转矩阵的元素Rij是角度(Ψ,θ,的三角函数,
-传感器在地理坐标系统(x,y,z)中的位置(对应于图像主点),其表示为(x0,y0,z0),
-测距点在图像坐标系统中的坐标(pk,qk)和在地理坐标系统中的坐标(xG,yG,zG)。
表征图像的空间方位角的旋转矩阵R按其最小表示法写成3个欧拉角(Ψ00,的函数:
或者,进一步展开的形式为:
等式(1)在图像没有畸变的情形下给出。实际上,这通过将图像中的具有图像坐标(p,q)的理想像素(没有畸变)的位置与具有坐标(p’,q’)的实际像素(存在畸变)的位置联系在一起的网格或参数模型来估计。畸变的主要影响是根据以下式子通过将理想像素坐标(p,q)变为(p’,q’)来在理想像素坐标(p,q)上引入径向变形:
p'=pc+L(r)(p-pc)
q'=qc+L(r)(q-qc)
r = ( p - p c ) 2 + ( q - q c ) 2
其中像素坐标(pc,qc)与畸变中心对应,所述畸变中心也被称为对称主点(PPS)。
对于r>0且L(0)=1时,函数L(r)利用近似法通过N阶泰勒展开式来定义:
L ( r ) = 1 + K ( r ) = 1 + Σ n = 1 N K n r n
考虑到与图像尺寸相比畸变校正仍较小,对以上等式进行变换,写为:
p = p ′ + K ( r ) p c 1 + K ( r ) ≈ p ′ + K ( r ) ( p ′ - p c )
q = q ′ + K ( r ) q c 1 + K ( r ) ≈ q ′ + K ( r ) ( q ′ - q c )
从而,注意,在这种建模方式下所考虑的畸变限于更宽的参数线性估计。因此,该步骤表现出很小的复杂性,这可以:
-或者,设想使用在地面上的校准步骤中已测量到的参数值,
-或者,通过将额外的建模参数K1引入例如1阶来在所提出的处理中估计除外部参数以外的这些参数。
得出以下3个观测量:
-与地理坐标系统中传感器的尺寸对应的坐标z0
-图像绕曝光轴的旋转角(也被称为摆动角或反旋角),
-图像相对于水平面的旋转角θ(限定为在定向中的倾斜),
具体目的在于,计算定向角,该定向角代表对空间方位角误差的最敏感的分量。
对于N个测距像点,可以基于传感器的位置函数(等式1)写出以下2N个关系式,从而写出以下关系式:
x k - x 0 = R 11 p k + R 11 q k - R 13 f R 31 p k + R 32 q k - R 33 f ( z k - z 0 ) ; y k - y 0 = R 21 p k + R 22 q k - R 23 f R 31 p k + R 32 q k - R 33 f ( z k - z 0 ) ;
用于测量传感器位置与地面上的特定点之间的距离的等式还可以表示为:
d k = ( x k - x 0 ) 2 + ( y k - y 0 ) 2 + ( z k - z 0 ) 2 + ν k
(等式2)
通过将后者代入前面的表达式中并且不考虑测量噪声ν,则利用旋转矩阵“R”的正交特性来获得以下观测表达式:
R 31 p k + R 32 q k - R 33 f = ± z k - z 0 d k p k 2 + q k 2 + f 2
(等式3)
我们注意到,量R3n仅仅涉及反映ψ(绕竖直轴旋转的角度)的不可观测性的角度和θ。在该表达式中,符号取决于共线性因子μ,所述共线性因子μ可以构造成>0(通过将图像与光心对置或者放置在光心前面——底片快照)。该操作通过转换图像坐标系统的3个坐标轴(p,q,f)而关于PPI中心对称来实现。
利用mk来指定仅仅取决于测量(点k的图像坐标、与点k的方向和传感器的高度zk有关的至地面的距离)和与地面高度(z0)有关的信息或假定的量:
m k = ± z k - z 0 d k p k 2 + q k 2 + f 2
(等式4)
当3个像点(pk,qk)没有对齐时,则获得两个角度的表达式。在没有描述其书写细节的情形下,计算可以表示为:
-根据以下形式的定向角:
(等式5)
-根据以下形式的摆动角:
(等式6)
-通过推导,传感器的尺寸为:
A2=μ1(q2-q3)+μ2(q3-q1)+μ3(q1-q2)
A1=μ1(q2-q3)z12(q3-q1)z23(q1-q2)z3
A 0 = μ 1 ( q 2 - q 3 ) z 1 2 + μ 2 ( q 3 - q 1 ) z 3 2 + μ 3 ( q 1 - q 2 ) z 3 2
μ k = p k 2 + q k 2 + f 2 d k 2
或者,传感器的尺寸满足以下表达式:
[ μ 1 ( q 2 - q 3 ) + μ 2 ( q 3 - q 1 ) + μ 3 ( q 1 - q 2 ) ] z 0 2
- 2 [ μ 1 ( q 2 - q 3 ) z 1 + μ 2 ( q 3 - q 1 ) z 2 + μ 3 ( q 1 - q 2 ) z 3 ] z 0
+ μ 1 ( q 2 - q 3 ) z 1 2 + μ 2 ( q 3 - q 1 ) z 3 2 + μ 3 ( q 1 - q 2 ) z 3 2 = 0
或甚至:
(等式7)
应该注意,作为测量(1,2,3)的函数的这些表达式的循环反映了3个点(P1,P2,P3)的角色的互换性。
此外,应该注意:
-这些表达式的分析形式和简单性有利于研究所获得的值的敏感性。例如,可以利用协方差传播技术来具体研究以下影响:
○误差对参数(角度和高度)的影响,作为3个测量(p,q)、3个距离和地形上的点的位置z上的误差函数,
○图像中或地面上的测量分布(△zk)对根据CPDV的值的结果的影响。
-仅包括传感器和地面高度的差,这反映了图像的空间方位角是相对于与地面的关系来获知的,
-可以利用近似空间方位角信息和/或地面模型(z(x,y))来获取平面值z。通过获取更佳的图像空间方位角和传感器高度,可以强化与地面高度有关的知识。然后,可以从比与初始测量相关的信息更好的信息出发来重复处理。显然,这可以利用MNT来强化关于地面的点的高度的知识,并且在对冗余测量(超过3个距离)进行处理的情形下使观测系统线性化,以尽可能接近真实值。
应用(2):建模并且密化成像区域上的地表
对于地形处理,可以根据地面是否为以下情形来提出不同的用法:
-用作简单的可用信息;根据假设或可用的几乎精美的模型,其在这种情形下是完全已知的,
-根据比作为先验的初始模型更优化的网格,通过在距离测量的位置上的补充高度的估计来进行密化,
-基于由传感器执行的测量在总体上细优化或估计。
为了利用可用模型,所提出的方法由以下步骤组成:以参数的形式对景物表面进行建模;以及使用基于多项式的函数展开模型。为此,关心区域的离散化采用规则网格的形式。位于网格的节点(i,j)上的高度信息用于确定具有以下形式的模型的参数“hij”:
z ( x , y ) = Σ i , j I , J c ij ( x , y ) h ij
(等式8)
利用多项式形式的基本函数“cij”将该高度(或高度)展开为根据不同的表示法的x和y的幂,诸如:
-具有以下形式的边界支持多项式:
c ij ( x , y ) = ( 1 - x - x ij x i + 1 , j - x ij x - x ij x i , j - x i - 1 , j ) ( 1 - y - y ij y i + 1 , j - y ij y - y ij y i , j - y i - 1 , j )
-样条,其根据规则网格[P×Q]的节点上的已知值来产生区域上的高度的达式,诸如:
z(x,y)=(1y...yN-1)UNxPHPxQVQxM(1x...xM-1)T
其中U和V是尺寸分别为N×P和Q×M的固定矩阵。尺寸为(P×Q)的矩阵H表示被估计的系数矩阵。对于N=M=4和标准化网格的[-1,1]2处的支点上,矩阵U=VT写成,例如:
U = 1 4 0 4 0 - 2 0 2 3 - 6 3 - 1 2 - 1
实际上,前述的两个展开式中的一个展开式可以用于将z表示成同一种形式的系数hij的线性函数,系数hij根据可用的先验来知晓。
为了密化现有模型,再次使用前述建模(等式8)和地形上可用的初始信息。建议密化在规则网格的节点上已知的原始空间信息,网格的间距与例如MNT标准等级1(赤道上的间距接近90米)对应。该MNT可以使图9a所示的三角形单元初始化。为了进行密化,基于可用观测来确定除网格的初始点以外的高度,然后通过图9b中所示的三角形来完成表面模型。该图示出了,例如,在网格的初始平面内确定2个点来使初始平面细分成分别对应于不同空间平面的5个小平面的情形,其中高度在单个平面上变化。
在大于3的多个距离测量的情形下,补充信息可以用于密化在执行距离测量的点上的景物模型。由于至地面的距离的投影没有根据规则网格来分布,因此所获得的密化将导致MNT以三角形式富集而不会在将来的使用中引起问题(图9)。
为了估计模型,区域上的假设或现有“粗糙”模型、或者第n次迭代所获得的估计用作起点。用于估计或使所有可用信息诸如应用3中所描述的信息一致的处理用于找到待用于以下形式的高度的校正:
z n = h ( x n , y n ) + Δ z n = Σ i , j c ij ( x , y ) h ij + Δz n
其中hij项是在估计处理的在前迭代中在网格的节点上所确定的高度。
我们注意到,如果通过更一般的形式来对高度zk进行建模,则观测等式(等式3)仍有效。
R 31 p k + R 32 q k - R 33 f = ± Σ i , j I , J c ij ( x , y ) h ij - z 0 d k p k 2 + q k 2 + f 2
(等式9)
从而,高度展开系数可以与旋转元素组合在一起来求解线性系统:
AX=B+v
其中v是表示测量误差的一阶项。
在缺乏初始高度信息时,也可以估计地面模型。最简单的包括,在由图像覆盖的区域的范围上对作为中介平面的表面进行建模。然后,将高度在空间平面上转变为,如:
z=h00+h10x+h01y
在该表达式中,h00表示原点的高度,而h10和h01分别表示沿两个方向x和y的斜率。采用该平面模型,写为例如以下形式:
X=[R31R32h00h10h00]T
A = p 1 - p K q 1 - q K 1 / d K - 1 / d 1 x K / d K - x 1 / d 1 y K / d K - y 1 / d 1 . . . . . . . . . . . . . . . p K - 1 - p K q K - 1 - q K 1 / d K - 1 / d K - 1 x K / d K - x K - 1 / d K - 1 y K / d K - y K - 1 / d K - 1
B = - z 0 p 1 2 + q 1 2 + f 2 d 1 - p K 2 + q K 2 + f 2 d K . . . p K - 1 2 + q K - 1 2 + f 2 d K - 1 - p K 2 + q K 2 + f 2 d K
利用6个距离测量来精确地确定量X(在测量噪声v内),其同时给出:
-前述与CPDV有关的信息,以及
-由近似平面表征的地表的参数。
利用更多测量,在前系统:
-或者通过对所有观测进行最小平方来估计,
-或者当距离测量可用时迭代地估计。随着时间的推移,该方法可以优化系统的参数估计。
从而,所提出的处理能够密化或强化景物的初始近似地面模型或者从头构建它。
表示地表的模型的密化或估计处理具有多个优点,因为它们特别考虑到了以下要素的更高的特性等级:
-基于被动技术的位置,所述被动技术通过将像素的方向与景物模型相交来进行,
-依赖于可视度或互视度的应用(图10):
○或者,直接根据传感器在某个方向上或在区域轮廓中的给定区域上的位置,
○或者,间接在使用传感器内产生的信息的第三方系统之间。
应用(3):航空分割测量
起该名字是为了重申一下事实:所提出的处理构成常规航空三角测量处理的延伸,所述常规航空三角测量没有使用距离测量来进行。对于该应用,应该注意:
-E[X],随机变量X的期望值,
-δ(X)=X-X*,其中X*指定量X的真实值或理想值,
-ΛX,矩阵X的协方差矩阵。
量Λ和σ表示参数的先验矩阵。
对于该应用,存在:
-K个图像,其目的是强化曝光参数Θk(k=1…K)。我们注意到,仅仅利用6个外部参数将矢量Θk写成(xk,yk,zk,θkk)T。利用测量的值(xm,ym,zm,θmm)和相关协方差Λm将每一个图像的曝光参数初始化。曝光参数矢量的初始值Θ与理想值Θ*之间的偏差或残差以及其协方差ΛΘ由下标表达式表示:
δ Θ k = Θ k - Θ *
Λ Θ k = E [ Θ k Θ k T ]
-图像K上映射在地面坐标为(xi,yi,zi)的对象Gi上的坐标为(pki,qki)的像点P,根据表征曝光几何条件的位置函数GΘ而具有残差和协方差:
δ P ik = x Gi - x ki y Gi - y ki z Gi - z ki
x ki y ki z ki = G ( Θ k , p ki , q ki )
Λ P ik = E x ki y ki z ki x ki y ki z ki
在以上表达式中,量zki根据以下景物模型来估计:
z ki = Σ m , n c mn ( x ki , y ki ) h mn
-在地面上点Gi测得的距离传感器位置Sk的传感器-地形距离,其具有以下残差和协方差:
δ d = d ki - d ki *
Λ d ki = E [ d ki d ki T ] = σ d ki 2
d ki = ( x Gi - x ki ) 2 + ( y Gi - y ki ) 2 + ( z Gi - z ki ) 2
-地理坐标(xi,yi,zi)的一次性地标点Ai(参见应用4),对于一个标记点,残差和协方差为:
δ A i = A i - A i *
Λ A i = E [ A i A i T ]
当具有图像和观测组时,则该组图像的曝光参数通过使前述不同的残差的平方和“J”或者以下表达式最小化来获得:
Θ=minJ
J=JM+JΘ+JT
-观测的影响由以下等式给出:
J M = Σ i = 1 I [ Σ k = 1 K { ( δ P ik Λ P ik - 1 δ P ik T ) + Σ k = 1 K ( δ d ik δ P ik T σ d ik 2 ) } + δ A i Λ A i - 1 δ A i T ]
-曝光参数的影响由以下等式给出:
J Θ = Σ k = 1 K δ Θ k Λ Θ k - 1 δ Θ k T
-地形模型的影响由以下等式给出:
J T = Σ i = 1 K z i Λ T i - 1 z i T
不用专门想办法来求解该系统,因为它取决于具有关联图元的图像数量以及图元出现在所有图像上的事件的发生,待求解等式的结构产生矩阵线性系统。系统的尺寸取决于图像的数量、MEC的数量以及距离的量,并且很大但之后也很空,因为MEC仅耦合少量图像。当每一个图元在大于两个图像上的出现数量减小并且图像数量增加时,系统的矩阵变得更加空。
应该注意,另一种可能的方法是分两步执行:
1)通过常规航空三角测量技术使所有图像相对于彼此取向(不用考虑距离测量)从而获得几何特征一致的图像块。该步骤尤其优化图像之间的相对取向并且可以获取由连续图像构造的图像块。
2)根据应用(1)通过具有至少3个距离来将前述图像块处理为单个图像。
应用(4):通过地标点测距的CPDV
该应用可以通过对地标点测距并且强化由近似测量所获得的参数的值来计算曝光参数。该程序被限定为主动绘制程序。对于该应用,光电子系统访问地理信息,以使其能够经由适当处理来使该信息配对,这样可以将信息减至最小的3个地标点。然后,可以通过具有已知坐标的测距对象(地标点)来估计所有的6个外部参数。
传感器位置及其图像空间方位角的近似测量尤其可以将图像中的测距点映射至参考图像数据,以便获取这些地形点的坐标。具体而言,该方法是用测量(xm,ym,zmmm,提供CPDV,从而能够近似地地理参照图像并且将地理坐标与依靠位置函数提取的图元固定,由此根据测量初始化参数Θm。该图元的地理参照可以通过自动程序来使它们与具有参考数据的地标配对,从而根据CPDV的测量来校正初始赋予它们的地理坐标。然后,可以将图元视为地标Gke,对于该地标Gke,地面上的坐标(xk,yk,zk)具有参考数据(几米的等级)的品质,图像坐标(pk,qk)根据具有像素级的采集品质的信号的处理来知晓,并且至景物的距离(dk)根据具有公尺品质的测距仪来测量。
该方法与前述方法的不同点在于,存在景物中的参照信息(地面上的点的地理坐标Gke)。
对于常规绘制的问题,所述常规绘制原则上依赖于图像坐标(及其方向)和地标点来估计全部6个参数(包括传感器位置和图像的空间方位角),归纳为通过将距离测量添加至传统信息。该信息的补充供应具有两种优势:
-可以计算传感器位置和图像空间方位角,而不用像常规绘制处理那样求解严重非线性的等式,
-提供与被估计CPDV有关的更好的性能。
该主动绘制技术如下进行:
-使用为图像的每一个地标而写就的位置函数(等式1),
-该等式(x0,y0,z0)包括传感器在笛卡尔坐标系统中的坐标,并且(Ψ00,是初始根据近似测量所获得的角度,(p0,q0)是图像的主点的坐标(以下,在图像中心获取以简化等式的书写),并且f0是传感器的焦距(在像素单元中)。应该注意,比例因子μk专门用于地形的每一个点或图像的方向。
i.对于地面上的每一个地标点Gk(该地标点Gk的坐标(xk,yk,zk)已经知晓并且可以在成像区中看到),具有图像坐标(pk,qk)和距离dk的测量,共线性等式存在未知数μk
ii对于每一个图像,具有6个光束、或曝光、未知数(x0,y0,z000,
iii.总计,对于M个地标点,具有3M个共线性等式和若干6+M个未知数(光束参数+M个值μk)。在点的个数M≥3(确保3M≥6+M)的情形下,则具有足够的信息来估计曝光参数。
接着,提出以下计算方案。
i.根据(等式2)由3个点上的距离测量来计算传感器的位置。
在写这3个等式时,通过它们中的两个等式与第三个等式之差来获取x0,y0和z0处的2个线性等式。这可以获取例如作为x0和y0的线性表达式的z0。转换为二次表达式的这些表达式给出z0,作为二级等式的解,从而传感器的位置z具有2个解。由此,对于两个值z中的每一个,两个线性等式可以获取位置(xe,ye,ze),与测量(xm,ym,zm)最接近的解被保留。
ii然后,通过在共线性等式的任一侧在2个矢量之间写范数等式,并且利用旋转矩阵的矢量的列和行的范数特性和旋转矩阵的列和行的数量积为零来计算因子μk,获得以下等式:
μ k = d k ( p k - p 0 ) 2 + ( q k - q 0 ) 2 + f 0 2 k = { 1,2,3 }
iii.然后,采用以下两种可能的方法来计算图像的空间方位角(Ψee,
1.或者,利用可用测量和预先计算的量。利用测量时,可使用近似取向(Ψmm,然后问题通过写成以下形式来线性化:
具有相同阶数的3个基本旋转(δΨe,δθe,是线性系统的解。
2.或者,不利用空间方位角测量。在该方法中,旋转矩阵R的9个参数通过由3个地标上的3个共线性等式所提供的9个关系式来求解。该方法的优点在于,其利用与旋转矩阵的9个参数对应的9个未知数来求解具有9个等式的线性系统。然后,通过用Rij表示矩阵R的i行和j列的元素,根据以下等式来获取被求解角度(Ψee,
Ψe=arctan2(R12,R11)
θe=-arcsin(R21)
φe=arctan2(R32,R33)
-在具有依靠3个地标点来分析计算光束参数的程序的情形下,利用3以上的点可以通过使前述步骤中所获得的解(xe,ye,zeee,的周围的观测等式线性化来求解直接问题。
从而,利用参考图像数据,所提出的方法可以通过使由测距点获得的图像与参考数据自动配对来强化并简化用于估计参数(xe,ye,zeee,的程序。
对于所示的不同应用,根据本发明方法的一个重要优点在于,强化与俯角θe和飞行高度ze有关的知识,俯角θe和飞行高度ze是对地理参照平衡表最敏感的2个参数,如文中开头与图1有关的描述。
检测器绕LdV的摆动角或旋转角也具有优点,因为根据用于光电子传感器的头部取向的机理,该量不用总被测量,甚至不用根据性能进行指定。
该方法的另一优点在于,用在对误差性质(距离准确度和角度精确度)的补偿上和接近于米的性能等级上使用的信息具有一致性。
通常定位和空间方位角测量的获取没有同时或甚至在获取图像时执行。在该情形下,必须提供用于使这些测量的获取同步在图像获取时间上的步骤。这些定位和空间方位角还与距离测量同步化。
根据结合图2和图3所描述的方法的第一实施例,获取单个图像并且在该图像中对P点进行测距(两个图中M=K=1,图2中P=3,并且图3中P=5)。这可以与通过测距仪获取可调数量的距离的操作几乎同时地执行成像区域的地理参照。
如图4所示,为了在同一个图像中获取这P个距离,测距仪配备有例如用于将所发射光束分裂成P个分离光束的装置,每一个分离光束朝向被测距的点,在该情形下,分离光束的能量Ep小于Et/P,Et是光束在分离之前的总能量。
根据一个替代方式,测距仪配备有快速光束偏转装置。该偏转为,使获取每一个距离的时间小于或等于获取该图像的时间与测距数量P之比。最常规的激光束偏转技术使用棱镜或旋转反射镜。其还可以使用具有取向反射或折射元件、具有双折射偏转器和具有干扰件的器件。最新近的技术使用声光部件、MESM来使激光束沿不同的方向折射。光纤系统也可以有效地用来通过在图像中的相对分布方面优选的位置处提供激光束来产生该功能。该装置可以与不同的光纤同步或者可以是依次的,以便在光纤中提供所有的可用激光能。基于该原则,可以使每一个光纤加倍,以便在接收方分析信号。该功能也可以直接利用同时执行成像功能和测距功能的矩阵检测器,采用更密集的空间采样来产生。
无论使用什么方法,其都要能够进行大量测距,以便通过距离测量的冗余来强化特性并且容许检查它们的一致性以检测赝品(多路径类型中)。
根据另一个替代方式,测距仪的激光散度覆盖所有的图像,并且测距仪的接收是基于矩阵的。
通常,每一个图像的测距点的数量是相同的,但不必须相同。
图像中的测距点越多,则所获得的结果就越有效且越鲁棒。
根据结合图5和图6所描述的方法的第二实施例,依次获取M个图像(其中M>1),并且在K个图像中对P个点进行测距,其中1≤K≤M。该方式与前述实施例相同,只是扩展到了M个图像。
应该注意,可以由M个图像形成一个大图像,但这在估计每一个图像的参数xe、ye、zeθe、Ψe时不是必须的。
当存在一个以上的图像时,图像必须至少两两地重叠,以使它们能够映射在一起。重叠可以在从最小级别10%至约100%的宽范围内变化(60%的值与采集为竖直的民用常规航空三角测量条件对应)。两个连续图像利用属于图像重叠区的类似图元(表示景物的相同细节)来映射在一起。这些图元可以通过点或片段,更广义地,以参数的方式对与景物中的可见元素对应的形状轮廓进行描述的形状。这些形状描述通过适于提取具有以下辐射测量信息特征的自动处理操作来获取:即线性或甚至表面取向的一次性几何形状,诸如路段(线性)的十字路口(一次性)或场地的轮廓(表面)。这些类似图元与测距点无关。
图5中,2个图像的每一个中M=K=2且P=10,具有5个测距点。两个图像的重叠区域中具有3个类似点。
图6A中,每一个图像中M=K=4且P=18,具有6个测距点。在附图中示出了(通过虚线示意性示出)每一个图像内一个相同的分布,尽管该分布在每一个图像总可能变化。
图6B示出了由处理单元6所执行的提取类似图元的步骤和将图像映射在一起的步骤。在图像1和图像2相同的图像部分中,即所谓的两个图像的重叠区域,提取两个类似点,在图像2和图像3重叠的区域中提取3个类似的点,并且在图像3和图像4重叠的区域中提取2个类似的点。
在一些情形中,从固定光电子系统,即其位置x0,y0,z0在获取期间没有变化的光电子系统中获取这M个连续图像。这些图像例如通过检测器扫描或者通过平台的旋转来获取。在该构造中,传感器的地理位置在不同的获取中没有发生变化,因此其位置xe,ye,ze只可以估计一次。另一方面,空间方位角从一个图像至另一个图像发生变化,因此取向θee被估计M次。最后,当系统固定时,表征CPDV的3M+3个外部参数被估计。
基于检测器扫描的方法存在以下优点,即具有由获取时间和扫描速度约束的、仅比检测器的瞬时视野更大的、期望尺寸的地理参照区域。显然,该性能可以通过优先使用小视野(NFOV,表示窄视野)而非大视野(WFOV,表示宽FOV)以便在通常位于远距离处的信息上具有更好的GRD来执行获取。其可以在不花费任何额外的硬件成本的情形下,在已经具有测距仪和扫描LdV的装置的系统上执行。这可以考虑到现有传感器的升级。
此外,当在每一个图像上绘制多个距离时,因在估计曝光参数和重叠区域的处理中的距离测量冗余,则基于扫描的方法的优点将同时具有强化性能。
在其它情形下,从放置在移动平台上的光电子系统上获取这M个连续图像。在该情形下,其位置随时间变化。因此,通常具有M个位置xe,ye,ze和空间方位角θee的估计:M个定位和空间方位角参数获取为(xm,ym,zm,θmm),然后估计为(xe,ye,ze,θee)或者6M个参数。
在该情形下,可以通过扫描来获取图像。
当平台描述了由参数模型限定的已知轨迹时,可以通过对包括N个参数的轨迹进行建模来减小待估计的参数数量。
轨迹模型可以限制传感器的位置变化(在使参数的走向与系统的运动学性能一致的范围内)并且可以通过过滤或内插信息而具有测量次数以外的位置值。轨迹模型例如按以下形式的常规多项式来给出平台位置,其中t0是原点或参数时间,并且OM(n)是时间t0的位置的n阶导数:
OM = Σ n = 0 N ( t - t 0 ) n n ! ( OM ( n ) ) t 0
由于获取间隔与短时间期间对应,因此2阶展开通常足于说明平台的任何动作。此外,如果必须使用更高次幂多项式,则优选以样条曲线的形式来展开轨迹,以避免采用前述多项式方法可能出现的任何非真实振动。受限于加速度的建模包括9个待估计参数而以50Hz的图像速率在1秒内所产生的位置分量的数量达到150个,这足以说明由建模所带来的复杂性减小。
在多项式方法中,展开系数可以在瞬时t0由运动学特性的测量来获取,然而,对于两种方法,系数可以通过调整最小平方形式由多个测量(位置、速度)来估计。该程序较基本,因为作为位置、速度和加速度三个分量上的分量值函数的模型是线性的。
从而,轨迹模型的创建或者基于一组(时间、位置、速度)中的最小值,或者根据多个组以及最小平方估计程序。所获得的展开式可以确定在传感器的测量时刻平台的位置(由此间接地确定传感器的),以便得到同步信息。必要时,可以执行相同类型的操作,以使图像测量与测距同步。
轨迹参数可以按以下方式估计,即:
-独立于曝光参数的估计,并且随时间而以到达新位置的速率进行优化。在该情形下,存在利用3N个参数对轨迹进行估计的处理和另外的对3M个CPDV参数进行估计的处理。然后使用获取每一个图像的时间,并且根据在该获取时间处参数模型计算相应的传感器定位,
-取决于曝光参数的估计,并且在该情形下被估计矢量同时包括轨迹和CPDV参数,或者3N+3M个待估计参数。
实际上,参数数量N根据轨迹在用于测量校正的时间窗口上的可能动作而等于6或9。
根据结合图7A和图7B所述的且作为前述实施例的特殊情况的本发明的第三实施例,获取M个图像并且在K=P的K个图像中对P个点进行测距,由此在K个图像的每一个图像中具有单个测距点(图中M=4,K=P=3)。由于测距仪与检测器的LdV相协调,因此这些测距点分别位于K个图像中的每一个图像的中心。从图7B中可以看出,在图像1和2之间的重叠区域中提取了2个类似点,在图像2和3之间的重叠区域中提取了3个类似点,并且在图像3和4之间的重叠区域中提取了2个类似点。该方法不要求现有设备或目前所设想的设备进行任何材料变化。
还应该注意,可以使P>K。一些图像不可以有任何测距点,因为它们具有与自身具有测距点的其它图像类似的图元。
根据本发明的方法被启用来获取特定地理位置的环境。根据传感器的测量位置来推导用于校正的近似取向。然后计算待用于LdV的角度方向,以便将以下因素纳入考虑:
-地面上的期望表面,
-检测器的特征(视野或“FOV”),
-建立在图像之间的重叠定位点(从20%至100%)。
由于取向测量具有更短时期的准确度(在两个接近图像之间)并且待沿方位角产生的图像数量一般大于沿定向角产生的图像数量以获取具有类似尺寸的区域,因此优选地,选择沿定向角比沿方位角更大的重叠,并且首先沿方位角进行扫描然后沿定向角进行扫描。则2个定向角值之间的视线角位移偏差比两个方位角值之间的视线角位移偏差更大。
根据本发明的方法可以更好地确定对严重倾斜曝光的地理参照特性的影响很大的参数,尤其航空陆地操作中包括:
-战术空运任务,出于安全的原因其要求离关心区域留有一定距离;
-来自陆地系统或在低高度上移动的系统的监视任务。

Claims (10)

1.一种依靠成像光电子系统(100)自主地理参照区域的方法,所述成像光电子系统(100)包括:具有LdV的检测器(1),定位该检测器的装置(3),测量该检测器的空间方位角的装置(4),与检测器的LdV协调的测距仪(2),获取与测距点相对应的图像坐标的装置(5),以及处理单元(6),所述处理单元(6)连接至所述检测器、所述定位该检测器的装置、所述测量该检测器的空间方位角的装置、所述测距仪和所述获取与测距点相对应的图像坐标的装置,所述方法包括依靠所述检测器(1)获取M个连续图像的步骤,M个图像示出了至少两两重叠的区域,成像区分布在这M个图像之间,其中M≥2,特征在于,所述方法还包括以下步骤:
-自动提取这M个图像的重叠区域中的类似图元以及基于这些类似图元自动映射图像,
-利用所述测距仪(2)测量在系统与所述区域中被称为测距点的P个点之间的P个距离d1、d2、...、dP,其中P≥3,这些测距点分布在所述映射图像的K个图像中,其中1≤K≤M,
-在获取M个图像的同时利用定位装置(3)获取在地理坐标系统中的检测器的定位xm,ym,zm
-在获取M个图像的同时利用测量该检测器的空间方位角的装置(4)测量检测器的空间方位角θmm
-利用装置(5)获取这K个图像中与P个测距点对应的被称为像点的点的坐标(p1,q1)、(p2,q2)、…、(pP,qP),
-以及以下步骤:根据定位、空间方位角、距离和像点坐标利用所述处理单元(6)估计与M个图像对应的曝光条件参数xe,ye,zeee,以便校正M个图像中的每一个图像的检测器的参数xm,ym,zmmm,的误差。
2.根据权利要求1所述的地理参照区域的方法,其特征在于,M≥3。
3.根据权利要求2所述的地理参照区域的方法,其特征在于,当P=K时,测距点分别位于每一个图像的中心。
4.根据权利要求3所述的地理参照区域的方法,其特征在于,由于所述光电子系统固定,因此所述参数xe、ye、ze仅被估计一次。
5.根据权利要求3所述的地理参照区域的方法,其特征在于,所述光电子系统包括用于测量定位系统(3)的轨迹、速度、加速度并且在以参数形式建模的该轨迹上运动的运动学装置,估计与图像获取、测距对应的时刻的位置的定位xe,ye,ze
6.根据权利要求1所述的地理参照区域的方法,其特征在于,当在同一个图像中存在多个测距点时,同时获取这些点的距离测量。
7.根据权利要求1所述的地理参照区域的方法,其特征在于,当在同一个图像中存在多个测距点时,连续获取这些点的距离测量,获取每一个距离的时间小于或等于获取这个图像的时间与图像中的这些点的数量之比。
8.根据权利要求1所述的地理参照区域的方法,其特征在于,其包括利用参考地理参照数据使动态图像的测距点与这些参考数据自动配对的步骤。
9.一种地理参照光电子系统(100),其包括:检测器(1),其具有LdV;装置(3),其定位该检测器;装置(4),其测量检测器的空间方位角;测距仪(2),其与检测器的LdV协调;装置(5),其获取测距点的图像坐标;以及处理单元(6),其连接至所述检测器、所述定位该检测器的装置、所述测量该检测器的空间方位角的装置、所述测距仪和所述获取与测距点相对应的图像坐标的装置,并且能够执行如权利要求3所述的方法。
10.根据前一项权利要求所述的地理参照光电子系统(100),其特征在于,所述测距仪(2)发射激光束并且配备有用于分裂或偏转被发射激光束的装置,并且所述处理单元(6)能够执行如权利要求1至8任意一项所述的方法。
CN201080062973.8A 2009-12-16 2010-12-15 地理参照图像区域的方法 Active CN102741706B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0906095 2009-12-16
FR0906095A FR2953940B1 (fr) 2009-12-16 2009-12-16 Procede de geo-referencement d'une zone imagee
PCT/EP2010/069697 WO2011073227A1 (fr) 2009-12-16 2010-12-15 Procede de geo-referencement d'une zone imagee

Publications (2)

Publication Number Publication Date
CN102741706A CN102741706A (zh) 2012-10-17
CN102741706B true CN102741706B (zh) 2016-08-03

Family

ID=42734779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080062973.8A Active CN102741706B (zh) 2009-12-16 2010-12-15 地理参照图像区域的方法

Country Status (6)

Country Link
US (1) US9194954B2 (zh)
EP (1) EP2513668B1 (zh)
CN (1) CN102741706B (zh)
FR (1) FR2953940B1 (zh)
IL (1) IL220461A (zh)
WO (1) WO2011073227A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8027029B2 (en) 2007-11-07 2011-09-27 Magna Electronics Inc. Object detection and tracking system
FR2954494B1 (fr) * 2009-12-18 2012-07-27 Thales Sa Procede de calibrage d'un instrument de mesure d'un systeme optronique
US9746988B2 (en) * 2011-05-23 2017-08-29 The Boeing Company Multi-sensor surveillance system with a common operating picture
US8433515B2 (en) * 2011-07-06 2013-04-30 Tsinghua University Method for measuring precision of star sensor and system using the same
EP2600173A1 (de) * 2011-11-29 2013-06-05 Hexagon Technology Center GmbH Verfahren zum Betreiben eines Laserscanners
JP5947634B2 (ja) * 2012-06-25 2016-07-06 株式会社トプコン 航空写真撮像方法及び航空写真撮像システム
US9372081B2 (en) 2013-01-21 2016-06-21 Vricon Systems Aktiebolag Method and system for geo-referencing at least one sensor image
US9619934B2 (en) 2013-01-21 2017-04-11 Vricon Systems Aktiebolag Method and an apparatus for estimating values for a set of parameters of an imaging system
EP2987145A4 (en) * 2013-04-19 2017-01-11 Vricon Systems Aktiebolag A method and system for analysing images from satellites
IL226752A (en) * 2013-06-04 2017-02-28 Padowicz Ronen Independent navigation system and method
US11721066B2 (en) 2013-07-23 2023-08-08 Hover Inc. 3D building model materials auto-populator
WO2015061735A1 (en) * 2013-10-25 2015-04-30 Hover Inc. Estimating dimensions of geo-referenced ground-level imagery using orthogonal imagery
DE102014101587B4 (de) * 2014-02-09 2015-10-01 Faro Technologies, Inc. Registrierung einer Szene mit Konsistenzprüfung
KR102214332B1 (ko) * 2014-04-30 2021-02-10 주식회사 만도 운전자 편의 시스템 및 운전자 편의 시스템에서 레이더 센서의 수직각도 이상 판정 방법
US10146999B2 (en) * 2015-10-27 2018-12-04 Panasonic Intellectual Property Management Co., Ltd. Video management apparatus and video management method for selecting video information based on a similarity degree
CA2978197A1 (en) * 2016-01-07 2017-07-13 Peck Tech Consulting Ltd. A method and system for georeferencing underground data
US10096154B2 (en) * 2016-04-04 2018-10-09 University Of Cincinnati Localized contour tree method for deriving geometric and topological properties of complex surface depressions based on high resolution topographical data
US20210295540A1 (en) * 2016-09-21 2021-09-23 Nec Corporation Displacement measurement device, displacement measurement system, and displacement measurement method
US10097757B1 (en) * 2017-03-24 2018-10-09 Fotonation Limited Method for determining bias in an inertial measurement unit of an image acquisition device
CN109871616B (zh) * 2019-02-20 2023-07-25 哈尔滨工程大学 一种设备内部参量关联性辨识方法
US11194034B2 (en) * 2019-03-07 2021-12-07 Utilis Israel Ltd. System and method for determining a geographic location of pixels in a scan received from a remote sensor
FR3107977B1 (fr) * 2020-03-03 2022-03-18 Thales Sa Procede d'aide a la detection d'elements, dispositif et plateforme associes
CN113435227B (zh) * 2020-03-23 2023-04-07 阿里巴巴集团控股有限公司 地图生成及车辆定位方法、系统、设备及存储介质
CN111831257A (zh) * 2020-06-29 2020-10-27 湖南毂梁微电子有限公司 一种用于计算正弦或余弦函数的实现方法及装置
KR102473804B1 (ko) * 2020-10-16 2022-12-05 이노뎁 주식회사 영상관제 시스템에서 카메라 영상내 관제 지점의 지도 매핑 방법
CN114332634B (zh) * 2022-03-04 2022-06-10 浙江国遥地理信息技术有限公司 风险电塔的位置确定方法、装置、电子设备及存储介质
CN115510694B (zh) * 2022-11-23 2023-02-21 中国航天三江集团有限公司 基于引射喷流的湍流边界层气动光学效应抑制方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6009190A (en) * 1997-08-01 1999-12-28 Microsoft Corporation Texture map construction method and apparatus for displaying panoramic image mosaics
EP1248940A1 (en) * 1999-11-12 2002-10-16 Go Sensors, L.L.C. Methods and apparatus for measuring orientation and distance
US6664529B2 (en) * 2000-07-19 2003-12-16 Utah State University 3D multispectral lidar
US6757445B1 (en) * 2000-10-04 2004-06-29 Pixxures, Inc. Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models
US6735348B2 (en) * 2001-05-01 2004-05-11 Space Imaging, Llc Apparatuses and methods for mapping image coordinates to ground coordinates
US7218384B2 (en) * 2002-02-27 2007-05-15 Pentax Corporation Surveying system
US7098997B2 (en) * 2002-06-26 2006-08-29 Pentax Corporation Surveying system
US7075634B2 (en) * 2002-06-28 2006-07-11 Pentax Corporation Surveying system
US7127348B2 (en) * 2002-09-20 2006-10-24 M7 Visual Intelligence, Lp Vehicle based data collection and processing system
US6928194B2 (en) * 2002-09-19 2005-08-09 M7 Visual Intelligence, Lp System for mosaicing digital ortho-images
US20060215935A1 (en) * 2004-04-02 2006-09-28 The Boeing Company System and architecture for automatic image registration
EP1681533A1 (de) * 2005-01-14 2006-07-19 Leica Geosystems AG Verfahren und geodätisches Gerät zur Vermessung wenigstens eines Zieles
US20070103671A1 (en) * 2005-11-08 2007-05-10 Honeywell International Inc. Passive-optical locator
US7437062B2 (en) * 2005-11-10 2008-10-14 Eradas, Inc. Remote sensing system capable of coregistering data from sensors potentially having unique perspectives
FR2897163B1 (fr) * 2006-02-08 2008-04-11 Thales Sa Procede de geo-localisation d'une ou plusieurs cibles
US7873238B2 (en) * 2006-08-30 2011-01-18 Pictometry International Corporation Mosaic oblique images and methods of making and using same
US20080310757A1 (en) * 2007-06-15 2008-12-18 George Wolberg System and related methods for automatically aligning 2D images of a scene to a 3D model of the scene
US20090087013A1 (en) * 2007-09-28 2009-04-02 Zoom Information Systems (The Mainz Group Ll) Ray mapping
US9123159B2 (en) * 2007-11-30 2015-09-01 Microsoft Technology Licensing, Llc Interactive geo-positioning of imagery
KR100912715B1 (ko) * 2007-12-17 2009-08-19 한국전자통신연구원 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치
US8497905B2 (en) * 2008-04-11 2013-07-30 nearmap australia pty ltd. Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features
WO2010001940A1 (ja) * 2008-07-01 2010-01-07 株式会社トプコン 位置測定方法、位置測定装置、およびプログラム
US8159524B2 (en) * 2009-11-09 2012-04-17 Google Inc. Orthorectifying stitched oblique imagery to a nadir view, and applications thereof

Also Published As

Publication number Publication date
US20120257792A1 (en) 2012-10-11
WO2011073227A1 (fr) 2011-06-23
FR2953940B1 (fr) 2012-02-03
FR2953940A1 (fr) 2011-06-17
EP2513668B1 (fr) 2018-01-24
IL220461A (en) 2017-07-31
EP2513668A1 (fr) 2012-10-24
US9194954B2 (en) 2015-11-24
CN102741706A (zh) 2012-10-17

Similar Documents

Publication Publication Date Title
CN102741706B (zh) 地理参照图像区域的方法
Hu et al. Understanding the rational function model: methods and applications
EP3454008B1 (en) Survey data processing device, survey data processing method, and survey data processing program
CN102753987B (zh) 光电子系统的测量仪器的校准方法
US5774826A (en) Optimization of survey coordinate transformations
US9909866B2 (en) Synthetic digital sextant for navigation
US7778534B2 (en) Method and apparatus of correcting geometry of an image
Poli A rigorous model for spaceborne linear array sensors
CN107144293A (zh) 一种视频卫星面阵相机的几何定标方法
CN107202582A (zh) 静止卫星在轨实时成像导航与配准方法
CN105352509A (zh) 地理信息时空约束下的无人机运动目标跟踪与定位方法
CN107633108A (zh) 静止卫星成像导航与配准的轨道运动补偿方法
Cheng et al. Making an onboard reference map from MRO/CTX imagery for Mars 2020 lander vision system
CN113029132A (zh) 一种结合地面影像与恒星光行差测量的航天器导航方法
KR101224830B1 (ko) 지리 참조 영상 획득을 위한 휴대용 멀티센서 시스템 및 그 방법
Wierzbicki et al. Determining the elements of exterior orientation in aerial triangulation processing using UAV technology
Cramer On the use of direct georeferencing in airborne photogrammetry
Pan et al. A penalized spline-based attitude model for high-resolution satellite imagery
Zhan et al. Adaptive celestial positioning for the stationary mars rover based on a self-calibration model for the star sensor
Carozza et al. Error analysis of satellite attitude determination using a vision-based approach
CN116753918B (zh) 基于空天线阵传感器的地面目标位置估计方法和装置
Toth Direct platform orientation of multisensor data acquisition systems
Ip et al. Performance analysis of integrated IMU/DGPS systems for mobile mapping systems
Li The calibration methodology of a low cost land vehicle mobile mapping system
Alix Error characterization of flight trajectories reconstructed using structure from motion

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant