CN103038761B - 自校准的远程成像和数据处理系统 - Google Patents

Abstract

一种成像传感器系统，包括：固定到运载工具的刚性安装板；固定到安装板的第一刚性安装单元，第一刚性安装单元具有布置在其中的至少两个成像传感器，其中第一成像传感器和第二成像传感器都具有通过第一安装单元和安装板中的孔径的焦轴，其中第一和第二成像传感器都产生像素的第一阵列，其中像素的每个阵列至少是二维的，其中使第一和第二成像传感器偏移，以在目标区域具有第一图像重叠区，其中在第一图像重叠区中，第一传感器图像数据平分第二传感器图像数据。

Description

自校准的远程成像和数据处理系统

相关申请的交叉引用

本申请是2006年10月11日提交的序号为11/581，235的美国专利申请的部分继续申请案，该美国专利申请要求2003年9月18日提交的序号为10/664，737的美国专利申请（其要求2002年9月20日针对“基于车辆的数据收集和处理系统”提交的序号为60/412，504的美国临时专利申请的优先权）的优选权。

技术领域

本发明通常涉及远程成像技术的领域，更具体地说，涉及在极大的视场内，绘制高分辨率、高精度、低失真数字图像的系统。

背景技术

遥感和成像是具有许多不同并且极其重要的实际应用-比如地质填图和分析，和气象预报-的包含广泛的技术。基于航空和卫星的摄影和成像是特别有用的远程成像技术，近年来，这些远程成像技术变得极为依赖于数字图像的数据，包括光谱、空间、高程及车辆位置和方位参数的收集和处理。现在能够以数字格式收集、处理和传送空间数据-表征真实的房屋改造和定位，道路和高速公路，环境危害和状况，公用事业基础设施(例如，电话线，管道)和地球物理特征，以便方便地为各种应用(例如，动态GPS测绘)提供高度精确的测绘和监测数据。高程数据可用于提高整个系统的空间和位置精度，可以从现有的数字高程模型(DEM)数据集获得，或者和光谱传感器数据一起从主动的基于多普勒的辐射测量装置或者被动的立体摄影计算当中收集数据。

遥感和成像应用面对的主要挑战是空间分辨率和光谱保真。诸如球面像差、散光、场曲、失真和色差之类的摄影问题是在任何传感器/成像应用中都必须处理的公知问题。某些应用要求很高的图像分辨率-通常具有数英寸的容许量。取决于使用的特定系统(例如，飞机、卫星或航天器)，实际的数字成像装置可以位于离其目标数英尺到数英里的任何地方，导致极大的标度因子。提供具有极大标度因子，还具有数英寸的分辨率容许量的图像对甚至最可靠的成像系统也提出了挑战。从而，常规系统通常必须在分辨率质量和能够成像的目标区域的大小之间作出折衷。如果系统被设计成提供高分辨率数字图像，那么成像装置的视场(FOV)一般较小。如果系统提供较大的FOV，那么光谱和空间数据的分辨率通常被降低，从而失真增大。

正射成像是为试图解决该问题而使用的一种方法。通常，正射成像通过编辑目标的各不相同的子图像，绘制目标的合成图像。一般来说，在航空成像应用中，范围和分辨率有限的数字成像装置顺序记录目标区域的固定分区的图像。随后按照某种顺序对齐这些图像，从而绘制目标区域的合成图像。

通常，这样的绘制处理非常费时，并且劳动密集。在许多情况下，这些处理需要显著恶化图像质量和分辨率的迭代处理-尤其是在绘制成千上万的子图像的情况下。在能够自动处理成像数据的情况下，该数据通常被反复变换和采样-从而随着每个连续操作，降低色彩保真和图像锐度。如果采用自动化的校正或均衡系统，那么这样的系统可能对图像异常(例如，异乎寻常地明亮或黑暗的物体)敏感-导致过度校正或校正不足和图像数据的不可靠判读。在需要或者期望图像的人工绘制的情况下，时间和劳动成本极大。

于是，需要一种为极大的FOV和相关的数据集提供高效并且通用的成像，同时保持图像质量、精度、位置精度和清晰度的正射图像绘制系统。另外，在计划、收集、导航和处理所有相关操作的每个阶段，大量应用自动化算法。

发明内容

本发明涉及利用各种传感器的远程数据收集和处理系统。所述系统可包括实时地控制运输工具和系统操作的计算机控制台单元。系统还可包括链接到计算机控制台，并与计算机控制台通信的全球定位系统。另外，照相机和/或照相机阵列组合件可用于产生通过孔径查看的目标的图像。照相机阵列组合件通信连接到计算机控制台。照相机阵列组合件具有安装机架，中央耦接到所述机架并具有通过所述孔径的第一焦轴的第一成像传感器。照相机阵列组合件还具有耦接到所述机架并且沿着轴偏离第一成像传感器的第二成像传感器，第二成像传感器具有通过所述孔径，并且在相交区内与第一焦轴相交的第二焦轴。照相机阵列组合件具有耦接到所述机架并且与第二成像传感器相反沿着轴偏离第一成像传感器的第三成像传感器，第三成像传感器具有通过所述孔径，并且在相交区内与第一焦轴相交的第三焦轴。按照这种方式，可以使用任意数目的1到n个照相机，其中“n”可以是任意奇数或偶数。

系统还可包括姿态测量单元(AMU)，比如通信连接到计算机控制台和照相机阵列组合件的惯性、光学或类似测量单元。AMU可以确定飞机在时间上的任意瞬间的横摆、俯仰和/或滚转，连续的DGPS位置可用于测量相对于大地北极的运载工具航向。使AMU数据与精确的DGPS数据结合，以产生可靠的实时AMU系统。系统还可包括容纳在计算机控制台内的镶嵌模块。镶嵌模块包括对输入图像进行初始处理的第一组件。镶嵌模块还包括确定输入图像的地理边界的第二组件，第二组件协同地与第一组件接合。镶嵌模块还包括地理位置精确地把输入图像绘制到复合图像中的第三组件。第三组件协同地与第一和第二组件接合。镶嵌模块中还包括均衡绘制到复合图像中的输入图像的颜色的第四组件。第四组件可协同地与第一、第二和第三组件接合。另外，镶嵌模块可包括融合绘制到复合图像中的相邻输入图像之间的边界的第五组件。第五组件可协同地与第一、第二、第三和第四组件接合。

可以实现第六组件，可选的前向倾斜和/或可选的向后倾斜照相机阵列系统，该系统收集倾斜图像数据，并合并该图像数据与姿态和位置测量结果，以便利用立体摄影技术，产生数字高程模型。数字高程模型的产生可以在飞机上实时地进行，或者稍后后处理。第六组件与其它组件协同地工作。所有组件可被安装到刚性平台上，以便提供传感器数据的联合配准。振动、湍流和其它因素会按照产生传感器之间的对准关系的误差的方式，作用于运载工具。与不利用这种联合配准体系结构的其它系统相比，对各个传感器使用公共的刚性平台安装可带来显著的优点。

此外，本发明可以采用一定程度的横向过采样来改善输出质量和/或联合安装、联合配准过采样，从而克服物理像素分辨率极限。

附图说明

为了更好地理解本发明，和举例表示可如何实现本发明，现在参考本发明的详细说明，以及附图，其中不同图中的对应附图标记表示对应的部分，其中：

图1图解说明本发明的基于车辆的数据收集和处理系统；

图1A图解说明图1的基于车辆的数据收集和处理系统的一部分；

图1B图解说明图1的基于车辆的数据收集和处理系统的一部分；

图2图解说明图1的基于车辆的数据收集和处理系统，同时更详细地表示了本发明的照相机阵列组合件；

图3图解说明按照本发明的一些方面的照相机阵列组合件；

图4图解说明利用图1的照相机阵列组合件取回的成像模式的一个实施例；

图5描述图解说明本发明的某些方面的成像模式；

图6图解说明按照本发明的图像条带；

图7图解说明按照本发明的图像条带的另一个实施例；

图8图解说明按照本发明的成像处理的一个实施例；

图9图解说明可如何对齐利用照相机阵列组合件拍摄的照片，以获得单帧；

图10是按照本发明的一些实施例的处理逻辑的方框图；

图11是按照本发明的一些实施例，从运载工具俯视的横向过采样的图示；

图12是按照本发明的一些实施例，从运载工具俯视的横向过采样的图示；

图13是按照本发明的一些实施例，从运载工具俯视的航线过采样的图示；

图14是按照本发明的一些实施例，从运载工具俯视的航线过采样的图示；

图15是按照本发明的一些实施例，从运载工具俯视的渐次放大的图示；

图16是按照本发明的一些实施例，从运载工具俯视的渐次放大的图示；

图17是按照本发明的一些实施例，从运载工具俯视的渐次放大的图示；

图18是按照本发明的一些实施例的系统体系结构的示意图；

图19是按照本发明的一些实施例，从运载工具俯视的单一照相机阵列的旁向重叠子像素区中的横向联合安装(co-mounted)，联合配准过采样的图示；

图20是按照本发明的一些实施例，从运载工具俯视的两个重叠的照相机阵列的旁向重叠子像素区中的横向联合安装，联合配准过采样的图示；

图21是按照本发明的一些实施例，从运载工具俯视的两个立体照相机阵列的旁向重叠子像素区中的前向和横向联合安装，联合配准过采样的图示。

具体实施方式

虽然下面详细说明了本发明的各个实施例的实现和使用，不过应理解本发明提供可在各种具体环境中体现的许多适用的发明原理。这里讨论的具体实施例仅仅作为实现和使用本发明的具体途径的例证，并不限制本发明的范围。

图1、1A和1B中表示了本发明的基于运载工具的数据收集和处理系统100。在图2和18中表示了本发明的另外方面和实施例。系统100包括一个或多个计算机控制台102。计算机控制台包括用于控制运载工具和系统操作的一个或多个计算机104。计算机控制台的功能的例子是控制可与数据收集和处理系统相关的数字颜色传感器系统，向驾驶员提供显示数据，协调卫星产生的GPS秒脉冲(PPS)事件触发脉冲(它可以是每秒20个以上的脉冲)，数据记录，传感器控制和调整，检查并对错误事件报警，记录和索引照片，保存和处理数据，使运载工具的导航自动化的飞行计划能力，数据以及和提供相关信息的实时显示。控制计算机控制台和运载工具自动驾驶仪控制器之间的通信接口提供实时实际控制运载工具的航迹的能力。这导致与人工控制相比，运载工具的路径的更精确控制。所有这些功能可以通过利用与GPSPPS信号同步，并且考虑到测量装置的各种电气反应时间的各种计算机程序来实现。在一个实施例中，计算机被嵌入传感器内。

一个或多个差分全球定位系统106被合并到系统100中。全球定位系统106用于在运载工具和系统操作期间，导航和确定精确的航迹。为了实现这一点，全球定位系统106通信链接到计算机控制台102，以使得能够在不中断飞行的情况下，获得和处理来自全球定位系统106的信息。零个以上的GPS单元可以位于已知的测量点，以便提供每个亚秒的基于GPS卫星的误差的记录，从而能够反向(back)校正系统100的精度。可以使用GPS和/或地基定位服务，这完全消除了对地面控制点的需要。这种技术导致数据捕获运载工具的极大改善的逐个亚秒的位置精度。

提供实时横摆、俯仰和滚转信息的一个或多个AMU108也通信链接到计算机控制台102，所述横摆、俯仰和滚转信息用于精确地确定运载工具在数据捕获的时刻的姿态。目前的姿态测量单元(AMU)(例如，ApplanixPOSAV)利用每一个分别用于横摆、俯仰和滚转测量的3个高性能光纤陀螺。也可以使用其它制造商生产的AMU以及使用其它惯性测量装置的AMU。另外，AMU可用于确定运载工具的瞬时姿态，并且使系统对AMU读数中的统计错误的容错性更高。一个或多个多频DGPS接收器110可以连接到AMU。多频DGPS接收器110可以与AMU的横摆、俯仰和滚转姿态数据结合，以便更精确地确定遥感器平台在三维空间中的位置。另外，利用依据与GPSPPS信号同步记录的连续DGPS位置产生的向量，可以确定大地北极的方向。

用于产生通过孔径查看的目标的图像的一个或多个照相机阵列组合件112也可通信耦接到所述一个或多个计算机控制台102。将在下面更详细说明的照相机阵列组合件112向数据收集和处理系统提供高分辨率、高精度逐行扫描或线扫描，彩色数字摄影的能力。

系统还可包括DC电源和调节设备114，以调节DC电源和把DC电源转换成AC电源，从而为系统提供电力。系统还可包括导航显示器116，导航显示器116图形呈现运载工具的位置与供运载工具的驾驶员(在运载工具上或者在远程)使用的飞行计划，从而能够在水平平面和垂直平面中实现精确的航迹。系统还可包括由LIDAR、SAR118或前后倾斜的照相机阵列构成的EMU模块，用于捕获三维高程/地貌数据。EMU模块118可包括激光器单元120、EMU控制单元122和EMU控制计算机124。也可酌情部署温度控制装置，比如固态冷却模块，以便为系统提供适当的热环境。

系统还可包括容纳在计算机控制台102内的镶嵌模块(未示出)。将在下面更详细说明的镶嵌模块向系统提供收集利用全球定位系统106、AMU108和照相机系统112获得的数据的能力，并把所述数据处理成可用的正射地图。

系统100还可包括自锁航迹技术，自锁航迹技术提供微校正相邻航迹的位置精度，以便独自实现超过AMU和DGPS传感器的本生精度的精度的能力。

完整飞行计划方法被用于微计划任务的所有方面。输入是各个任务参数(纬度/经度、分辨率、颜色、精度等)，输出是保存在数据收集运载工具上的、用于实时导航和报警的详细在线数字地图和数据文件。把飞行计划数据直接连接到自动驾驶仪的能力是附加的集成能力。可以使用自动控制航迹、姿态调整、图形显示、航迹的移动地图，检查报警条件和校正动作，把整个系统的状态通知驾驶员和/或机组人员，和提供故障安全操作和控制的计算机程序。可以不断地监测和报告安全操作参数。虽然当前的系统利用了机组人员，不过系统也可被设计成同样完全适用于无人运载工具。

图2表示本发明的另一种描述。在图2中，更详细地表示了照相机阵列组合件12。如图所示，照相机阵列组合件12允许从后斜位置，前斜位置和天底位置获得图像。图3更详细地描述本发明的照相机阵列组合件。图3提供在目标302(例如，地形)上方空中的照相机阵列组合件300。出于举例说明的目的，图3中没有按比例描绘组合件300的相对大小，和组合件300与地形302之间的相对距离。照相机阵列组合件300包含机架304，在机架304内，沿着凹曲轴316布置成像传感器306、308、310、312和314。轴316的曲率半径可以变化或者显著改变，提供在轴316中实现非常精细或者非常急剧的凹度。另一方面，轴316可以是完全线性的-根本没有任何曲率。借助联接件318，成像传感器306、308、310、312和314直接或者间接地耦接到机架304。联接件318可包括许多固定或者动态的永久或临时连接设备。例如，联接件318可包括简单焊接、可拆卸的夹紧装置、或者机电控制的万向接头。

另外，系统100可具有实时的机载导航系统，以便向运载工具驾驶员提供可视的生物反馈显示，或者提供远程显示(就无人驾驶运载工具中的操作来说)。驾驶员能够实时调整运载工具的位置，以理提供更精确的航迹。驾驶员可以在运载工具上，或者位于远程位置，从而通过通信链路，利用飞行显示来控制运载工具。

系统100还可利用高度容错的方法，所述方法是为了提供软件交错磁盘存储方法而提出的，软件交错磁盘存储方法允许一个或两个磁盘驱动器发生故障，而仍然不失去保存在驱动器上的目标数据。相对于其它硬件方法，比如RAID-5，这种软件交错磁盘存储方法提供出众的容错性和可移植性。

系统100还可包含提出的刚好在任务数据捕获之前，允许短路校准步骤的方法。这种校准方法步骤根据对环境光强度采样，并且正好在到达关心的区域之前，设定几乎最佳的值，调整照相机设置（尤其是曝光时间）。随后利用移动平均算法进行逐秒的照相机调整，以便传递改善的始终如一的照片结果。这改善了正射地图的颜色处理。另外，校准可被用于检查或确定每个传感器装置(照相机、DPG、AMU、EMU等)的精确空间位置。按照这种方式，可以考虑到在这些装置的空间位置方面发生的变化，从而保持整个系统的精度指标。

另外，系统100可包括提出的允许通过飞过包含多个已知的、可视的并且非常精确的地理位置，校准运载工具上的每个传感器装置(照相机、DPG、AMU、EMU等)的精确位置和姿态的方法。程序把该数据作为输入，并输出微位置数据，所述微位置数据随后用于精确地处理正射地图。

如图3中所示，机架304包含简单的机壳，成像传感器306、308、310、312和314布置在所述机壳内。尽管图3描述5照相机阵列，不过当利用从1到任意数目的许多照相机传感器时，系统同样适用。传感器306-314经联接件318共同耦接到单个横向横梁，或者单独耦接到置于机架304的相对侧壁之间的侧向横梁。在备选实施例中，机架304本身可以只包含凹曲度的支承横梁，成像传感器306-314经构件318耦接到该支撑横梁。在其它实施例中，机架304可包含机壳和支承横梁的混合组合。机壳304还包含在成像传感器和目标302之间，在机壳表面形成的孔径320。取决于主飞行器的具体种类，孔径320可以只包含孔隙，或者它可以包含保护屏或保护窗，以保持机架304内的环境完整性。在把保护性透明板用于任何传感器的情况下，可对所述透明板涂覆特殊涂层，以提高传感器数据的质量。可选的是，孔径320可以包含透镜或其它光学器件，以增强或改变传感器记录的图像的性质。利用足以向成像传感器306-314提供到地形302上的目标区域322的适当视线的尺寸和形状，形成孔径320。

在机架304内，或者顺着机架304布置成像传感器306-314，以使所有传感器的焦轴在由孔径320限制的相交区内会聚和彼此相交。取决于收集的图像数据的种类，使用的具体成像传感器，和采用的其它光学器件或设备，可能必须或者理想的是在孔径320上方或下方，偏移相交区或者会聚点。成像传感器306-314相互隔开一定的角度。成像传感器之间的准确偏位角可随使用的成像传感器的数目，和收集的成像数据的种类而极大变化。如果需要，成像传感器之间的角位移也可不相等，以便提供期望的图像偏移或对齐。取决于利用的成像传感器的数目，和阵列的特殊结构，所有成像传感器的焦轴可以完全相交在相同点，或者可以相交在多个点，所有多个点都彼此紧邻，并且在由孔径320限定的相交区内。

如图3中所示，顺着轴316，在机架304内在中央布置成像传感器310。成像传感器310具有从机架304正交指向的焦轴324，以便使成像传感器的视线对准区域322的图像区326。邻近成像传感器310，顺着轴316，在机架304内布置成像传感器308。图像传感器308被对准，以使其视线与区域322的图像区328一致，并且以使其焦轴330在孔径320限定的区域内，与轴324会聚和相交。在轴316的与成像传感器308相反的一侧，邻近成像传感器310，在机架304内布置成像传感器312。图像传感器312被对准，以使其视线与区域322的图像区332一致，并且以使其焦轴334在孔径320限定的区域内，与轴324和330会聚和相交。邻近传感器308，顺着轴316在机架304内布置成像传感器306。成像传感器306被对准，以使其视线与区域322的图像区336一致，并且以使其焦轴338在孔径320限定的区域内，与其它焦轴会聚和相交。在轴316相反的一侧，邻近传感器312在机架304内布置成像传感器314作为传感器306。图像传感器314被对准，以使其视线与区域322的图像区340一致，并且以使其焦轴344在孔径320限定的区域内，与其它焦轴会聚和相交。

成像传感器306-314可包含许多数字成像装置，例如包括单独的面扫描照相机、线扫描照相机、红外传感器、高光谱和/或地震传感器。每个传感器可包含单独的成像装置，或者它本身可包含成像阵列。成像传感器306-314可以都具有同样的性质，或者可包含各种各样的成像装置的组合。为了易于引用，下面分别把成像传感器306-314称为照相机306-314。

在大号胶片或数字照相机中，透镜畸变一般是成像问题的来源。必须仔细地校准每个单独的透镜，以确定精确的畸变因数。在本发明的一个实施例中，利用透镜角宽度为17°的小号数字照相机。这有效并且可负担得起的减轻了可察觉的畸变。

另一方面，照相机306-314沿着轴316布置在机架304内，以使每个照相机的焦轴会聚到孔径320，穿过焦轴324，使其视场对准与它在阵列中的相应位置相对的目标区域，从而结果产生照相机和成像目标之间的“斜视”视网膜关系。照相机阵列组合件300被配置成使得图像区326、328、332、336和340的邻接边界稍微重叠。

如果联接件318是永久并且固定的(例如，焊接)，那么孔径320，照相机和它们的视线之间的空间关系保持固定，图像区326、328、332、336和340之间的空间关系也将保持固定。在例如卫星监测应用中，这样的结构是合乎需要的，在所述卫星监测应用中，照相机阵列组合件300将保持在离区域322大体固定距离的位置。设定照相机的位置和对准，以使区域326、328、332、336和340提供区域322的完全成像覆盖。不过，如果联接件318是临时的或者可调整的，那么理想的是手动地或者借助远程自动化，有选择地调整照相机的位置或对准，以便移动、缩小或加宽区域326、328、332、336和340-从而增强或改变利用照相机阵列组合件300收集的图像的质量。

在一个实施例中，多个，即，至少两个刚性安装单元被固定到相同的刚性安装板上。安装单元是任意刚性结构，至少一个成像传感器可被固定到其上。安装单元最好是封闭成像传感器的机架，不过可以是任何刚性结构，包括支柱、三角架等。对本公开来说，成像传感器意味能够接收和处理来自目标区域的主动或被动辐射能量，即，光、声音、热、重力等的任何装置。特别地，成像传感器可包括任何数目的数字照相机，包括利用红-蓝-绿滤光片、bushbroom滤光片或高光谱滤光片的数字照相机，LIDAR传感器，红外传感器，热感传感器，重力计等。成像传感器不包括用于借助卫星数据和/或惯性数据，为运载工具定位的姿态测量传感器，比如陀螺仪、GPS装置和类似装置。最好，所述多个传感器是不同的传感器。

在其中成像传感器是照相机、LIDAR或类似的成像传感器的实施例中，安装单元最好具有光和/或能量可通过的孔径。安装板最好是平面的，不过可以是非平面的。在其中成像传感器是照相机、LIDAR或者类似成像传感器的实施例中，安装板最好具有与光和/或能量可通过的安装单元的孔径对齐的孔径。

刚性结构是在使用时，弯曲小于约0.01°，优选小于约0.001°，最好小于约0.0001°的结构。可取的是，刚性结构是当在正常，即，非湍流飞行期间，固定到飞机上时，弯曲小于约0.01°，优选小于约0.001°，最好小于约0.0001°的结构。如果在正常工作期间，物体被相互刚性固定，那么它们相对于彼此弯曲小于约0.01°，优选小于约0.001°，更优选的是小于约0.0001°。

照相机310被指定为主照相机。照相机310的像面326充当基准面。相对于基准面测量其它照相机306、308、312和314的方位。利用为把照相机的像面旋转成平行于基准面而需要的横摆角、俯仰角和滚转角，测量每个照相机的相对方位。旋转的顺序最好是横摆、俯仰和滚转。

固定到安装单元的成像传感器可以不在相同平面中对齐。可改为使成像传感器的安装相对于固定到第一安装单元的第一传感器，最好第一安装单元的标准天底点照相机的安装角的角度偏移。因而，成像传感器可被联合配准，以校准每个成像传感器相对于彼此的物理安装角偏移量。在一个实施例中，多个，即至少两个刚性安装单元被固定到相同的刚性安装板，并被联合配准。在一个实施例中，照相机306-314被固定到刚性安装单元上，并被联合配准。在这个实施例中，利用GPS和惯性数据，确定AMU，最好陀螺仪的几何中心点。相对于基准点，最好AMU的几何中心点，计算固定到第一安装单元的第一传感器，最好第一安装单元的标准天底点照相机的物理位置。同样地，直接地，或者相对于相同基准点间接地计算所有安装单元内的所有剩余传感器的物理位置。

传感器的视轴角被定义成从传感器的几何中心到基准面的角度。最好，所述基准面与目标区域正交。利用地面目标点，可以确定第一传感器的视轴角。最好参考第一传感器的视轴角，计算后续传感器的视轴角。最好利用已知的地面目标(所述已知的地面目标最好是可照片识别的)，校准传感器，另一方面，利用自锁航迹或者如在美国专利申请公布No.2004/0054488A1(现在的美国专利No.7,212,938B2)中公开的任何其它方法校准传感器，该美国专利的公开内容在此全部引为参考。

第二安装单元内的成像传感器可以是任何成像传感器，最好是LIDAR。另一方面，第二成像传感器是数字照相机，或者数字照相机的阵列。在一个实施例中，参考第一传感器的视轴角，计算固定到第二安装单元的传感器的视轴角。参考在第一安装单元内的第一传感器的视轴角，可以校准在第二安装单元内的成像传感器的物理偏移。

按照这种方式，利用相同的GPS信号，相同的地面目标，在大体相同的大气条件下，在大体相同的时间(epoch)校准所有的传感器。这显著减小了当利用不同的GPS信号，对照不同的地面目标，并在不同的大气条件下，单独校准每个传感器时实现的复合误差。

现在参见图4，用俯视图图解说明分别利用照相机306-314拍摄的区域336、328、326、332和340的图像。再次，由于“斜视”安排，区域336的图像用照相机306拍摄，区域340的图像用照相机314拍摄，诸如此类。在本发明的一个实施例中，在透视变换之后，除利用中央照相机310拍摄的图像之外的图像呈现梯形。照相机306-314沿着在多数应用中，垂直向下指向的轴316形成阵列。在备选实施例中，相对于第一照相机阵列，对齐类似于照相机306-314的阵列构成的第二照相机阵列，以具有提供“抬头”透视的倾斜视野。抬头照相机阵列组合件相对于水平面的倾斜角可因任务目标和参数而变化，不过一般为25-45°角。本发明类似地构思了改变照相机阵列的安装的其它备选实施例。在所有这样的实施例中，精确地测量和校准照相机的相对位置和姿态，以便按照本发明使图像处理更容易。

在本发明的一个实施例中，外部机构(例如，GPS定时信号)被用于同时触发照相机，从而捕获一批输入图像。镶嵌模块随后把来自这样的阵列的各个输入图像表现成正射校正的复合图像(或者“镶嵌图”)，相邻图像之间没有任何明显的接缝。镶嵌模块执行一组任务，包括：确定每个输入图像的地理边界和尺寸；利用精确的地理定位，把每个输入图像投射到镶嵌图上；均衡镶嵌图中的各个图像的颜色；和在相邻输入图像的共有接缝处，融合所述相邻输入图像。取决于输入的图像数据的大小和性质，执行的各个任务的确切顺序可变化。在一些实施例中，在镶嵌期间，镶嵌模块只对原始输入图像进行一次变换。所述变换可以用4×4矩阵表示。通过把多个变换矩阵组合成单一矩阵，减少了处理时间，并且保持了原始输入图像锐度。

在输入图像到镶嵌图的映射期间，尤其是当以较高的分辨率进行镶嵌时，输入图像中的任何像素(即，输入像素)可能不映射到镶嵌图中的像素(即，输出像素)。扭曲的线条可能在镶嵌图中产生伪像。本发明的一些实施例利用其中每个输入像素和输出像素被进一步分成子像素的n×m网格的超采样系统，克服了这个问题。从子像素到子像素进行变换。输出像素的最终值是其子像素的平均值，所述子像素存在对应的输入子像素。较大的n和m值产生更高分辨率的镶嵌图，不过需要额外的处理时间。

在处理图像数据的过程中，镶嵌模块可以利用以下信息：在捕获输入图像的时候，每个照相机的焦点的空间位置(例如，x、y、z坐标)；在捕获输入图像的时候，每个照相机的像面相对于目标区域的地平面的姿态(即，横摆、俯仰、滚转)；每个照相机的视场(即，沿航迹和跨航迹)；和区域的数字地形模型(DTM)。姿态可由与系统相关的AMU提供。根据利用LIDAR模块118获得的信息，可以创建数字地形模型(DTM)或者数字表面模型(DSM)。LIDAR类似于更常见的雷达，可被视为激光雷达。在雷达中，无线电波被发射到大气中，大气把一些能量散射回到雷达的接收器。LIDAR也发射和接收电磁辐射，不过是以更高的频率发射和接收电磁辐射，因为它工作在电磁频谱的紫外区、可见光区和红外区中。操作中，LIDAR把光发射到目标区域。发射的光与目标区域相互作用，从而被目标区域改变。一些光被反射/散射回能够对它进行分析的LIDAR仪器。光的性质的变化使得能够确定目标区域的一些性质。光传送到目标区域，然后返回LIDAR装置所用的时间被用于确定到目标的距离。

DTM和DSM数据集也可从照相机阵列组合件捕获。也可以使用获得高程数据的传统手段，比如立体摄影技术。

目前存在三种基本的LIDAR：测距仪、差分吸收LIDAR(DIAL)和多普勒LIDAR。测距仪LIDAR是最简单的LIDAR，用于测量从LIDAR装置到固体或硬质目标的距离。DIALLIDAR用于测量大气中的化学物浓度(比如臭氧、水汽、污染物)。DIALLIDAR利用两个不同的激光波长，所述两个不同的激光波长是这样选择的，使得波长之一被所关心的分子吸收，而另一个波长不被吸收。两个返回信号的强度差可被用于推断正在调查的分子的浓度。DopplerLIDAR用于测量目标的速度。当从LIDAR发出的光射到朝着LIDAR或者离开LIDAR移动的目标时，从目标反射/散射的光的波长将轻微改变。这被称为多普勒频移，于是DopplerLIDAR。如果目标正在移离LIDAR，那么返回光将具有更长的波长(有时称为红移)，如果目标正在朝着LIDAR移动，那么返回光将具有较短的波长(蓝移)。目标可以是硬目标或者大气目标(例如，风携带的微小灰尘和悬浮颗粒)。

最好使用照相机的焦点作为透视变换中心。其在空间中的位置可由例如安装在主飞行器上的多频载波相位后处理GPS系统确定。最好对照GPS天线的中心，仔细地测量照相机的焦点在三个维度的偏移量。这些偏移量可以与GPS天线的位置，以及主飞行器的方位结合，以确定照相机的焦点的准确位置。最好通过对照部署在精确勘测的各个点的类似地基GPS天线，处理收集的GPS数据，确定GPS天线的位置。

最好在运载工具上安装一个或多个AMU(例如，ApplanixPOSAV)，以确定姿态。最好每隔较短的时间，以好于0.01°的精度，测量和记录AMU基准面相对于目标区域的地平面的姿态。AMU基准面的姿态可被定义成为使它平行于地平面，可对AMU基准面的各个轴进行的一系列旋转。术语“对准”也可用于描述该操作。

最好精确地校准中央照相机310(即其像面)相对于AMU的姿态。最好还仔细地校准每个其它照相机相对于中央照相机310的姿态。这种从属校准比直接校准每个照相机更高效。当重新安装照相机阵列组合件300时，只需要重新校准中央照相机310。事实上，对来自中央照相机310的输入图像应用一系列的两次变换。首先，使中央照相机的像面对齐AMU平面。随后，再次使AMU平面与地平面对准。不过，通过剩余它们相应的变换矩阵，这些变换组合成单一操作。对于来自各个其它照相机的图像，首先进行额外的变换，以使它与中央照相机的像面对准。

如上所述可确定中央照相机310的焦点的位置。该位置的x和y分量最好确定镶嵌图的天底点400在地面的位置。每个照相机的视场(FOV)已知，从而利用该照相机的焦点的z分量，可以确定每个输入图像的尺寸。最好通过计算区域的DTM中的各个点的平均高程，确定地面的平均高程，随后把每个输入图像投影到在该高程的假想水平面。随后，最好利用该区域的DTM，应用投影差。可从许多来源获得DTM，包括：可供美国大部之用的USGS30米或10米DTM；商用DTM；或者利用安装在主飞行器上，与照相机同时捕获数据的LIDAR或SAREMU装置获得的DTM。

除了在地理上被正确放置之外，作为结果的复合图像还需要处处具有辐射一致性，并且在两个相邻图像之间的接合处，没有明显的接缝。本发明提供实现此目的的许多技术。

常规照相机的一个特征是曝光时间(即，打开快门，以把光收集到像面的时间)。曝光时间越长，作为结果的图像越明亮。曝光时间必须适应于由诸如：云遮盖；太阳相对于照相机的角度和位置等条件引起的环境照明的变化。最佳曝光时间还取决于照相机相对于光源的方位(例如，与对着阴暗物体的照相机相比，对着太阳照射的物体的照相机一般接收更多的环境光)。调整曝光时间，以使图像的平均强度保持在某个期望的范围内。例如，在24比特彩色图像中，每个红色、绿色和蓝色分量可具有从0到255的强度值。不过，在多数情况下，理想的是把平均强度保持在平均值(即，127)。

在本发明中，曝光控制模块控制每个照相机或成像传感器的曝光时间。它检查每个输入图像，并计算平均图像强度。根据移动平均值(即，至少X个图像的平均强度)，曝光控制模块判定是增大还是减小曝光时间。曝光控制模块可以使用较长的移动平均值来实现对照明条件变化的较慢反应，结果对异常黑暗或明亮图像(例如，沥青路或水)不太敏感。曝光控制模块单独控制每个照相机的曝光时间。

在其中在没有前移补偿机构的情况下，安装照相机的系统中，必须存在曝光时间的最大极限。把曝光时间设定成大于最大值的值会导致运动诱导模糊。例如，假定照相机安装在以170英里/小时(或者约3英寸/ms)行进的飞机上。假定期望的像素分辨率为6英寸。图像捕获期间的前移应局限于像素大小的一半-在这种情况下，等于3英寸。从而，最大曝光时间例如为1毫秒。

在控制成像质量的时候，有益的是能够确定光强度的变化是由环境光的变化引起的，还是由于存在异常明亮或黑暗的物体(例如，反射水体，金属屋顶，沥青等)引起的。本发明的一些应用涉及航空摄影或监测。注意到地面的航空图像通常包含作物和植被-与水体或者诸如道路和建筑物之类的人造结构相比，它们具有更加一致的反射率。当然，作物和植被的图像通常绿色占优(即，在红色、绿色和蓝色值之中，绿色分量是最大的)。于是，通过专注于绿色占优的像素，可以使强度相关性更精确。

曝光控制模块通过只选择绿色占优的像素，计算图像的平均强度。例如，如果图像具有100万个像素，而30万个像素是绿色占优的，那么在平均强度的计算中，只包括这30万个绿色占优的像素。这结果产生对由其像素通常不是绿色占优的人造结构和水体引起的偏离不太敏感的成像处理。如前所述，理想的是保持约127的强度值。当强度值高于127(即，曝光过度)时，减小曝光时间，以使得捕获较少的光。类似地，当强度值低于127(即，曝光不足)时，增大曝光时间，以使得捕获更多的光。例如，考虑飞越具有许多白色屋顶(其强度非常高)的目标地形区域的系统。捕获的图像的平均强度往往会较高。在许多常规的系统中，曝光时间会被降低，以便进行补偿。不过，在这样的例子中，降低曝光时间并不适当，因为明亮的屋顶使图像的平均强度发生了偏差。降低曝光时间结果会产生其中地面比实际更暗的图像。相反，如果按照本发明，只处理绿色占优的像素，那么代表过度明亮的屋顶的像素确实偏离平均强度，从而曝光时间不被改变。

从而，曝光控制模块降低输入图像之间的强度差异。尽管如此，还提供进一步的处理，以增强色调均衡。导致从像面的不均匀受光的因素很多(例如，透镜物理性质、大气条件、成像装置的空间/位置关系)。与在边缘相比，在照相机或传感器的中心接收更多的光。

本发明的镶嵌模块利用现在参考图5图解说明的防渐晕功能，解决该问题。当它们延伸穿过成像目标区512(例如，地面地形)时，许多焦点列500、502、504、506和508从像面509会聚并穿过焦点510。列500-508可包含单个照相机或传感器的各个分辨率列，或者可以代表许多独立的照相机或传感器的焦轴。为了引用起见，列504起轴的作用，列504与像面509相交的点513起主点的作用。曝光控制模块应用把输入像素的原始强度乘以随列而定的防渐晕系数的防渐晕函数。由于接收面被表示成具有坐标系的平面，因此每列将具有许多分辨率行(未示出)。对于在列x和行y的像素p，可以如下表述这种关系：

<调整后的强度>=<初始强度>*f(x)；

其中f(x)是以下形式的函数：

f(x)=cos(离轴角)**4。

离轴角514为：0(对中央列504来说)；较大(对列502和506来说)；更大(对列500和508来说)。在列504和508之间描述了整个视场角516(FOVx角)。

函数f(x)可用在列之间的许多线段近似。对在任意给定列c1和c2之间的线段上的点来说，如下计算调整系数：

<c的调整系数>=f(c1)+[f(c2)-f(cl)*(c-cl)/(c2-cl)]；

其中f(c1)和f(c2)是分别在列c1和c2的离轴角的f函数值。

每组输入图像需要被拼接成镶嵌图像。尽管曝光控制模块调整每个照相机或传感器接收的光量，作为结果的输入图像仍然可能在强度方面不同。本发明提供强度均衡模块，所述强度均衡模块比较相邻输入图像之间的重叠区域，以进一步均衡相对强度。由于邻接的输入图像是同时拍摄的，因此在两个输入图像中，重叠区域理论上应具有相同的强度。不过，由于各种因素，强度值通常不同。导致强度差异的一些所述因素可包括例如仅仅存在于特定照相机的视场中的异常明亮或黑暗的物体使曝光控制模块发生偏差，或者照相机的视轴角不同(即，与更加垂直的那些照相机相比，更加倾斜的照相机接收较少的光)。

为了均衡两个相邻图像，一个图像被选为基准图像，另一个图像是二次图像。利用例如以下处理，确定相关向量(fR,fG，FB)。令V是代表像素的值(R、G和B)的3×1向量：

$V=\begin{array}{c}R\\ G\\ B\end{array}$

可如下导出相关矩阵C：

$C=\begin{array}{ccc}\mathrm{FR}& 0& 0\\ 0& \mathrm{FG}& 0\\ 0& 0& \mathrm{FB}\end{array}$

其中FR=AvgIr/AvgIn；AvgIr=基准图像中的重叠区域的红色平均强度；AvgIn=新图像中的重叠区域的红色平均强度；并且类似地导出FG和FB。

相关矩阵比例缩放二次图像的像素值，以使二次图像的重叠区域的平均强度变得等于基准图像的重叠区域的平均强度。通过把其像素值乘以相关矩阵，二次图像可被均衡到基准图像。

从而，在按照本发明的均衡处理的一个实施例中，中央图像被视为基准图像。基准图像首先被复制到复合图像(或者镶嵌图)。使基准图像和邻接图像(例如，近左图像)相互关联，以计算均衡相关矩阵(BCM)。随后把BCM乘以代表邻近图像的像素的向量，以使重叠区域的强度在两个图像中相同。这种关系的一个实施例可以表示成：

令I(center)=中央图像中的重叠区域的平均强度；

I(adjoining)=邻接图像中的重叠的平均强度；那么

均衡因子=I(center)/I(adjoining)。

单独计算每个颜色通道(即，红、绿和蓝)的均衡因子。这三个值构成BCM。把现在均衡的邻接图像复制到镶嵌图。借助利用掩模的“羽化”，提供在被复制图像的边界的平滑转变。所述掩模具有和邻接图像相同的尺寸，包含许多元素。掩模中的每个元素指示镶嵌图中的对应邻接图像像素的权重。对在边界的像素来说，权重为0(即，输出值获取自基准图像)，并且权重沿着邻接图像的方向逐渐增大，直到变为1为止-在达到选择的融合宽度之后。超出融合区，镶嵌图将完全由邻接图像的像素决定。类似地，分析和处理所有其它构成输入图像之间的重叠，以计算相关向量和均衡图像的强度。

利用例如参考图6的以下处理，确定相关矩阵。图6描述按照本发明形成的条带600。基础镶嵌图602和沿着路径(或者轨迹)606添加的新的镶嵌图604在区域608中相互交迭。令V是表示像素的R、G和B值的向量：

$V=\begin{array}{c}R\\ G\\ B\end{array}$

令h是区域608的转变宽度，y是从重叠区域的边界610到点A的沿着轨迹606的距离，点A的像素值用V表示。令C是相关矩阵：

$C=\begin{array}{ccc}\mathrm{FR}& 0& 0\\ 0& \mathrm{FG}& 0\\ 0& 0& \mathrm{FB}\end{array}$

V的均衡值(称为V')为：

V′＝[y/h.I+(1-y/h).C]×V，当0<y<h时；

V′＝V，当y>=h时；

其中I是单位矩阵

$I=\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}$

注意还结合梯度使用“羽化”技术，以使接缝可见性降至最小。

当镶嵌图较长时，从镶嵌图的一端到另一端，重叠部分的强度的差异会发生变化。计算单一相关向量，以避免产生明显接缝也许并不可能。可把镶嵌图分成与构成镶嵌图的初始输入图像的位置对应的许多片段。对每个片段单元应用上面说明的处理，以提供更好的局部颜色一致性。

按照这种修正的算法，在两个片段的边界的像素会产生垂直接缝(假定北-南航线)。为了避免这种问题，必须使在该区域中的各个像素的均衡因子从一个片段的均衡因子“转变”成另一个片段的均衡因子。现在参考图7说明这一点。

图7描述按照本发明形成的条带700。基础镶嵌图702和新片段704在区域706中交叠。镶嵌图702和另一个新片段708在区域710中交叠。片段704和708在区域712中交叠，区域706、710和712都在区域714交叠且重合。为了便于说明，点716充当y轴718和x轴720的原点。沿着y轴718的移动代表沿着成像系统的航迹的移动。点716位于区域714的左下侧。

按照本发明，条带的尺寸由构成镶嵌图的最小和最大x和y值决定。输出条带被初始化成背景颜色。第一个镶嵌图被转移到所述条带。之后处理下一个镶嵌图(沿着航迹)。对于每个颜色通道单独地关联新的镶嵌图和第一个镶嵌图的重叠区的强度值。新的镶嵌图被分成与构成该镶嵌图的初始输入图像对应的许多片段。为新的镶嵌图创建包含许多掩模元素的掩模矩阵。掩模元素包含新的镶嵌图中的对应像素的相关矩阵。掩模中的所有元素被初始化为1。掩模的大小可被限制成仅仅为新的镶嵌图的转变区。为中心片段计算相关矩阵。处理对应于中心片段的掩模区域。在重叠区的边缘的各个元素的值被设定为相关向量。随后，当顺着条带逐渐离开第一镶嵌图时，相关矩阵的元素被增大或者被减小(它们不是小于1就是大于1)，直到它们在预定的转变距离变成1为止。随后类似地处理与邻接中心片段的片段对应的掩模的区域。不过，由第一镶嵌图和新图像的中心片段和邻接片段形成的区域714需要特殊的处理。由于邻接片段的相关矩阵可能不同于中心片段的相关矩阵，因此在与第一个镶嵌图的重叠区714中的两个片段的边界，出现接缝。于是，角落受两个片段的相关矩阵的影响。对于到与中心片段的边界的距离为x，到重叠边缘的距离为y的掩模单元A来说，其相关矩阵是如下评估的这两个片段的距离加权平均值：

对于区域714中，到与中心片段的边界的距离为x的像素A(x,y)来说，以利用这两个片段计算的值的距离加权值的形式，计算其均衡因子；

V1是基于片段704的均衡RGB向量；

V2是基于片段708的均衡RGB向量；

V'是组合(最终)的均衡RGB向量

V′＝((d-x)/d).V1+(x/d).V2；

其中

x轴是通过重叠区的底部的直线；

y轴是通过片段704和708之间的重叠区的左侧的直线；

h是转变宽度；和

d是片段704和片段708之间的重叠区的宽度。

类似地计算与其它邻接片段对应的掩模区。

此外，按照本发明，应用色彩保真(即，白平衡)滤镜。这把R分量和B分量乘以可确定的因子，以增强色彩保真性。通过校准照相机和透镜，可以确定所述因子。色彩保真滤镜确保图像中的色彩保持其逼真度，和人眼直接感知的一样。在图像捕获设备中，红色、绿色和蓝色受光元件对于它们应该捕获的颜色具有不同的灵敏度。应用“白平衡”处理-其中捕获白色物体的图像。理论上，该白色物体的图像中的像素应具有相同的R、G和B值。不过事实上，由于不同的灵敏度和其它因素，每个R、G和B的平均颜色值可能分别为avgR、avgG和avgB。为了均衡颜色分量，把像素的R、G和B值乘以以下比值：

R值被乘以比值avgG/avgR；和

B值被乘以比值avgG/avgB。

最终结果是白色物体的图像被设定成具有相同的R、G、B分量。

在多数应用中，条带通常覆盖较大面积的非水表面。从而，诸如高反射表面之类的异常物不太可能扭曲条带的平均强度。本发明提供强度归一化模块，强度归一化模块使每个条带的平均强度归一化，以使平均值和标准偏差具有期望的值。例如，为127的平均值是摄影测量学中的范数。为51的标准有助于把强度值遍布在图像特征的视觉感知的最佳范围内。每个条带是在不同的照明条件下获得的，于是，具有不同的成像数据简档(即，平均强度和校准偏差)。该模块使条带归一化，以使所有条带具有相同的平均值和标准偏差。这使条带能够被拼接在一起，而没有明显的接缝。

这种强度归一化包含每个通道R、G和B，以及所有通道的平均强度的计算。随后计算总的标准偏差。每个像素的每个R、G和B值被变换成新的平均数和标准偏差：

新值=新的平均数+(旧值-旧的平均数)*(新的标准偏差/旧的标准偏差)

之后，组合多个相邻的条带，从而产生所关心的区域的平铺镶嵌图。完成的平铺图对应于USGSquads或者季度四边形(quarter-quads)。把条带拼接成镶嵌图类似于把镶嵌图拼接在一起，从而产生条带，现在条带起镶嵌图的作用。在两个条带之间的接缝线，如果该接缝线穿过诸如建筑物、桥梁之类的高架结构，那么会出现问题。摄影测量学中的这个经典问题起因于从两个不同的视角观看的相同物体引起的视差。例如在建筑物的成像中，一个条带可呈现从建筑物的一侧看的视图，而另一个条带呈现从建筑物的另一侧看的视图。在把图像拼接在一起之后，所得到的镶嵌图可能看起来像圆锥形帐蓬。为了解决这个问题，可以实现地形引导的镶嵌处理，以引导接缝线的放置。例如，可以处理和图像数据一起收集的，或者从图像数据分析的LIDAR或者DEM数据，以便在把图像镶嵌在一起的时候，确定图像的配置和形状。从而，在一些镶嵌的图像中，接缝线可能不是直线-改为包含来回移动，从而迂回通过衣帽架结构的接缝线。

现在参见图8，按照如上所述的本发明，图解说明成像处理800的一个实施例。处理800从一个或者更多的收集的原始图像的序列802开始。随后通过白平衡处理804处理图像802，把它们变换成一系列的中间图像。随后通过消除黑解难功能806处理序列802，之后前进到正射校正处理808。如前所述，正射校正依赖于来自成像传感器系统或平台的位置和姿态数据810，而且依赖于DTM数据812。DTM数据812可以由位置数据810，以及由例如USGSDTM数据814或LIDAR数据816产生。序列802现在被正射校正，然后处理继续进行色彩平衡818。在色彩平衡之后，序列802被镶嵌模块820转换成复合图像822。在该转换过程中，模块820进行镶嵌处理和羽化处理。现在，在步骤824中，通过与梯度和羽化镶嵌，一个或多个复合图像822被进一步组合成图像条带826。通过强度归一化828处理图像条带。然后通过再次与梯度和羽化镶嵌，在步骤830中把现在归一化的条带828镶嵌在一起，从而绘制最后的平铺镶嵌图832。在步骤830中进行的镶嵌可包括依赖于DTM数据812或LIDAR数据816的地形引导的镶嵌。

图9图解说明可如何对齐利用照相机阵列组合件拍摄的照片，以获得单帧。本实施例表示利用来自5个照相机的正射校正的数据，表示从运载工具俯视的照片模式例示。

图10是按照本发明的一些实施例的处理逻辑的方框图。如方框图1000中所示，处理逻辑接受一个或多个输入，所述一个或多个输入包括高程测量结果1002，姿态测量结果1004和/或照片和传感器影像1006。可以在分析之前，使某些输入通过初始处理步骤，如在方框1008中所示，其中使姿态测量结果与来自地面控制点的数据结合。可以结合高程测量结果1002和姿态测量结果1004，以产生处理后的高程数据1010。处理后的高程数据1010随后可被用于产生高程DEM1014和DTM1016。类似地，可以结合姿态测量结果1006和传感器影像1006，以产生地理坐标参考的图像1012，图像1012随后经历图像处理1018，图像处理1018可包括色彩平衡和梯度滤波。

取决于要使用的数据集(1020)，使DTM1016或USGSDEM1022与处理后的图像1018结合，从而产生正射校正的影像1024。正射影像1024随后进入自锁航线(self-lockingflightline)1026。随后进行均衡投影镶嵌1028，以产生最终的照片输出1030。

本发明可以采用一定程度的横向过采样来提高输出质量。图11是按照本发明的一些实施例，从运载工具俯视的横向过采样模式1100的图示，显示出最小的横向过采样。在该图示中，分配给中央照相机的中央天底区1102仅仅稍微与左天底区1104和右天底区1106重叠，以使重叠降至最小。图12是按照本发明的一些实施例，从运载工具俯视的横向过采样模式1200的图示，显示出更大程度的横向过采样。在该图示中，中央天底区1202显示与左天底区1204和右天底区1206的较大程度的重叠。

除了如图11和12中所示的横向重叠的使用之外，本发明也可以采用航线过采样。图13是按照本发明的一些实施例，从运载工具俯视的航线过采样模式1300的图示，显示出一定程度的航线过采样，但是最小的横向过采样。中央天底区1302和1304沿着航线相互重叠，但是不横向与左天底区1306和1308，或者与右天底区1310和1312重叠。

图14是按照本发明的一些实施例，从运载工具俯视的航线过采样的图示，显示出相当大的航线过采样以及相当大的横向过采样。可以看出每个中央天底区1402-1406相互较大地重叠，以及与左天底区1408-1412和右天底区1414-1418较大地重叠。左天底区1408-1412相互重叠，右天底区1414-1418一样地相互重叠。因而，该表面上的每个点被采样至少两次，在一些情况下，多达四次。这种技术利用了在由不同的照相机传感器覆盖两次或者更多次的图像的区域中，在横向(跨航迹)和航线(沿航迹)方向，图像分辨率的加倍是可能的，从而使分辨率整体提高四倍的事实。实践中，图像/传感器分辨率的改善在每个维度稍微小于两倍，在每个维度近似40%，或者说1.4×1.4=～2倍。这归因于子像素对准/方位的统计变化。实际上，像素网格离覆盖的像素网格的距离很少完全相等。如果在子像素层面作出极其精确的横向照相机传感器对准，那么可以实现图像分辨率的四倍提高。

图15是按照本发明的一些实施例，从运载工具俯视的渐次放大模式1500的图示。中央天底区1502在其左右边缘分别由左侧内部天底区1504和右侧内部天底区1506限制。左侧内部天底区1504在其左边缘由左侧外部天底区1508限制，而右侧内部天底区1506在其右边缘由右侧外部天底区1510限制。注意这些区域表现出从一个区域到另一个区域的最小程度的重叠和过采样。

图16是按照本发明的一些实施例，从运载工具俯视的渐次放大模式1600的图示。中央天底区1602在其左右边缘分别由左侧内部天底区1604和右侧内部天底区1606限制。左侧内部天底区1604在其左边缘由左侧外部天底区1608限制，而右侧内部天底区1606在其右边缘由右侧外部天底区1610限制。注意，如上所述，这些区域表现出从一个区域到另一个区域的最小程度的重叠和过采样。在每个天底区1604-1610内，存在用灰色阴影表示的中央图像区1614-1620。

图17是按照本发明的一些实施例，从运载工具俯视的渐次放大模式1700的图示。在模式1700的中心，左侧内部天底区1702和右侧内部天底区1704在中央重叠。左侧中间天底区1706和右侧中间天底区1708分别被部分布置在区域1702和1704之外，分别与相应的相邻区域共享大约50%的重叠区域。左侧外部天底区1710和右侧外部天底区1712分别被部分布置在区域1706和1708之外，分别与相应的相邻区域共享大约50%的重叠区域。中央图像区1714被布置在模式1700的中央，由天底区1702-1712的中心部分组成。

图18描述按照本发明的某些实施例的系统1800的体系结构的示意图。系统1800可包括一个或多个GPS卫星1802和一个或多个SATCOM卫星1804。还可包括一个或多个GPS定位系统1806，所述一个或多个GPS定位系统1806在操作上连接到一个或多个模块1808，所述一个或多个模块1808收集LIDAR、GPS和/或X、Y、Z位置数据，然后把这样的信息提供给一个或多个数据捕获系统应用程序1812。一个或多个数据捕获系统应用程序1812还可接收来自照相机阵列1822的光谱数据。DGPS1810可以通过无线通信链路1826，与一个或多个SATCOM卫星1804通信。一个或多个SATCOM卫星1804又可与一个或多个数据捕获系统应用程序1812通信。

一个或多个数据捕获系统应用程序1812可以与彼此也可相互作用的自动驾驶仪1816、SSD和/或实时StichG系统1820对接。SSD1814可在操作上连接到实时DEM1818。最后，实时DEM1818和实时StitchG1820可以连接到诸如磁盘阵列1824之类的存储装置。

本发明可以采用一定程度的联合安装、联合配准过采样来克服物理像素分辨率限制。图19是按照本发明的一些实施例，从运载工具俯视的单个照相机阵列112的横向联合安装、联合配准的过采样结构1900的图示，显示了最小的横向过采样。照相机在垂直的旁向重叠区1904和1908中重叠几度。虽然图19描述了3照相机阵列，不过当利用从2个到任意数目的校准照相机的许多照相机传感器时，这些子像素校准技术同样适用。

类似于图3和4中的成像传感器，照相机传感器可被联合配准，以校准每个传感器相对于彼此和/或相对于天底点照相机的物理安装角偏移。这提供初始的“近似”校准。这些初始校准参数可被输入系统100中的机载计算机系统104中，并利用过采样技术，在飞行期间更新。

现在参见图19，矩形A、B和C代表来自3照相机阵列C-B-A(未示出)的图像区1902、1906和1910。图中俯视地图解说明分别利用照相机A-C(未示出)拍摄的区域1902、1906和1910的图像。再次，类似于图3和4，由于“斜视”安排的缘故，区域1902的图像由右照相机A拍摄，区域1906的图像由中央/天底点照相机B拍摄，区域1910的图像由左照相机C拍摄。照相机A-C形成在多数应用中，垂直向下指向的阵列(未示出)。

在图19中，标记为A/B和B/C旁向重叠的阴影区分别代表图像重叠区1904和1908。左图像重叠区1904是右照相机A与中央/天底点照相机B重叠的地方，右图像重叠区1908是左照相机C与中央/天底点照相机B重叠的地方。在这些旁向重叠区1904和1908中，照相机传感器网格平分重叠区1904和1908中的每个像素，这实际上借助联合安装、联合配准过采样的机制，使这些区域1904和1908中的图像分辨率四倍化。实际上，图像/传感器分辨率的改善在每个维度被加倍，或者2×2=4倍。图像分辨率的这种四倍提高还使相邻照相机之间的对准精度四倍化。

此外，相邻照相机之间的对准精度的这种四倍提高改善了固定到刚性安装板的所有传感器的系统100对准精度。如上所述，照相机和传感器被固定到刚性安装单元上，刚性安装单元被固定到刚性安装板上。特别地，当固定到刚性安装单元的相邻照相机的角度对准被改善时，其它传感器的角度对准也被提高。固定到刚性安装板的其它传感器的对准精度的这种提高也改善了这些传感器的图像分辨率。

图20中图解说明关于两个重叠的照相机阵列112的横向联合安装、联合配准过采样配置2000。特别地，图20是按照本发明的一些实施例，从运载工具俯视的两个重叠照相机阵列112的横向联合安装、联合配准过采样配置2000的图示，显示最大的横向过采样。相邻的照相机在垂直的旁向重叠区2006、2008、2014和2016中重叠几度，对应的照相机在图像区2002、2010、2018和2004、2012、2020中完全重叠。虽然图20描述两个3照相机阵列，不过当利用具有从2个到任意数目的被校准照相机的许多照相机传感器的两个重叠的照相机阵列时，这些子像素校准技术同样适用。

类似于图3和4中的成像传感器，照相机传感器可被联合配准，以校准每个传感器相对于彼此和/或相对于天底点照相机的物理安装角偏移。在本实施例中，多个，即至少两个刚性安装单元被固定到刚性安装板，并被联合配准。这提供初始的“近似”校准。这些初始校准参数可被输入系统100中的机载计算机系统104中，并在飞行期间更新。

现在参见图20，标记为A、B和C矩形分别代表来自两个重叠的3-照相机阵列C-B-A(未示出)的图像区2002、2010、2018和2004、2012、2020。图中俯视地图解说明分别利用照相机A-C(未示出)和重叠的照相机A'-C'(未示出)拍摄的区域2002、2010、2018和2004、2012、2020的图像。再次，类似于图3和4，由于“斜视”安排的缘故，区域2002的图像由右照相机A拍摄，区域2010的图像由中央/天底点照相机B拍摄，区域2018的图像由左照相机C拍摄。此外，区域2004的图像由右照相机A'拍摄，区域2012的图像由中央照相机B'拍摄，区域2020的图像由左照相机C'拍摄。照相机A-C和重叠的照相机A'-C'形成在多数应用中，垂直向下指向的阵列(未示出)。

在图20中，标记为A/B和B/C旁向重叠的阴影区分别代表两个重叠的图像重叠区2006、2008和2014、2016。左图像重叠区2006、2008分别是右照相机A与中央/天底点照相机B重叠的地方，和右照相机A'与中央照相机B'重叠的地方。右图像重叠区2014、2016是左照相机C与中央/天底点照相机B重叠的地方，和左照相机C'与中央照相机B'重叠的地方。在这些旁向重叠区2006、2008和2014、2016中，照相机传感器网格分别平分重叠区2006、2008和2014、2016中的每个像素，这实际上借助联合安装、联合配准过采样的机制，使这些区域2006、2008和2014、2016中的图像分辨率四倍化。实际上，图像/传感器分辨率的改善在每个维度被加倍，或者2×2=4倍。图像分辨率的这种四倍提高使相邻照相机之间的对准精度四倍化，如上所述。

通过具有两个重叠的照相机阵列，对于交迭的旁向重叠的重叠区2006、2008和2014、2016，图像分辨率事实上被再次四倍化。这在系统100校准和照相机对准方面，产生令人震惊的总共64倍的改进。

在交迭的旁向重叠区2006和2008中，重叠的照相机传感器网格平分旁向重叠区2006和2008中的每个像素，这实际上借助联合安装、联合配准过采样的机制，使这些区域2006和2008中的图像分辨率四倍化。类似地，在交迭的旁向重叠区2014和2016中，重叠的照相机传感器网格平分旁向重叠区2014和2016中的每个像素，这实际上使这些区域2014和2016中的图像分辨率四倍化。实际上，图像/传感器分辨率的改进再次在每个维度被加倍，或者说2×2×2×2×2×2=64倍。图像分辨率的这种总共64倍改进还使相邻照相机之间的对准精度提高64倍。

相邻和对应照相机之间的对准精度的这种64倍改进提高了固定到刚性安装板的所有传感器的系统100对准精度。照相机A-C，以及其它传感器(可选)被固定到第一刚性安装单元，照相机A'-C'，以及其它传感器(可选)被固定到第二刚性安装单元，第一和第二刚性安装单元都被固定到刚性安装板。特别地，当固定到第一和/或第二刚性安装单元的相邻和/或对应照相机的角度对准得到改善时，其它传感器的角度对准也得到提高。固定到刚性安装板的其它传感器的对准精度的这种提高也改善了这些传感器的图像分辨率。

通过具有两个重叠的照相机阵列，对于整个图像，而不仅仅对于A/B和B/C旁向重叠的重叠区，图像分辨率事实上变成四倍。现在参见图20，标记为“重叠网格4×”的重叠网格细节分别代表右图像区2018和2020中的重叠区2022和2024。在重叠区2022和2024中，重叠的照相机传感器网格平分重叠区2022和2024中的每个像素，这实际上借助联合安装、联合配准过采样的机制，使这些区域2022和2024中的图像分辨率四倍化。实际上，图像分辨率的改善在每个维度被加倍，或者说2×2=4倍。

在一个优选实施例中，一个照相机阵列是单色的，而另一个照相机阵列是红-绿-蓝的。即使每个阵列覆盖不同的色带，也可使用简单的图像处理技术，从而使得所有色带实现分辨率增大的益处。这些技术提供的另一个优点在于在一个照相机阵列是红-绿-蓝，而另一个重叠的照相机阵列是红外或近红外(或者某个其它带宽)的情况下，这结果产生优良的多光谱图像。

因而，对于上面讨论的图19的实施例确认的所有改进(即，4倍)适应于图20的实施例，不过，通过两个重叠的照相机阵列，可以实现对系统100校准精度和总体图像分辨率的额外显著提高(即，64倍)。

图21是按照本发明的一些实施例，从运载工具俯视的两个照相机阵列112的前向和横向联合安装，联合配准过采样结构2100的图示。特别地，图21是按照本发明的一些实施例，从运载工具俯视的两个过采样照相机阵列112的前向和横向联合安装，联合配准过采样结构2100的图示，显示了最小前向和最小横向过采样。相邻照相机在垂直的旁向重叠区2104、2108、2124和2128中重叠几度，对应照相机顺着水平前向重叠区2112、2116和2120，重叠几度。虽然图21描述两个3照相机阵列，不过，当利用具有从2个到任意数目的被校准照相机的许多照相机传感器的两个重叠的照相机阵列时，这些子像素校准技术同样适用。

与图3和4中的成像传感器类似，照相机传感器可被联合配准，以校准每个传感器相对于彼此和/或相对于天底点照相机的物理安装角偏移。在本实施例中，多个，即至少两个刚性安装单元被固定到刚性安装板上，并被联合配准。这提供初始的“近似”校准。这些初始校准参数可被输入系统100中的机载计算机系统104中，并在飞行期间更新。

现在参见图21，标记为A、B和C的矩形代表来自3照相机阵列C-B-A(未示出)的图像区2102、2106和2110，矩形D、E和F代表来自3照相机阵列F-E-D(未示出)的图像区2122、2126和2130。图中俯视地图解说明了分别利用照相机A-C(未示出)拍摄的区域2102、2106和2110的图像，和利用照相机D-F(未示出)拍摄的区域2122、2126和2130的图像。再次，类似于图3和4，由于“斜视”安排的缘故，区域2102的左后图像由右后照相机A拍摄，区域2106的中后图像由后面的中央/天底点照相机B拍摄，区域2110的右后图像由左后照相机C拍摄。此外，区域2122的左前图像由右前照相机D拍摄，区域2126的中前图像由前面的中央照相机E拍摄，区域2020的右前图像由左前照相机F拍摄。照相机A-C和重叠的照相机D-F形成在多数应用中，垂直向下指向的阵列(未示出)。

在图21中，垂直阴影区代表4个图像重叠区2104、2108、2124和2128。左后图像重叠区2104是右后照相机A与中央/天底点照相机B重叠的地方，右后图像重叠区2108是左后照相机C与中央/天底点照相机B重叠的地方。左前图像重叠区2124是右前照相机D与中央/天底点照相机E重叠的地方，右前图像重叠区2128是左前照相机F与中央照相机E重叠的地方。

现在参见图21，标记为“旁向重叠区4:1”的重叠网格细节代表交迭的旁向重叠的重叠区2104、2108和2124、2128。在这些旁向重叠的重叠区2104、2108和2124、2128中，照相机传感器网络平分重叠区2104、2108、2124和2128中的每个像素，这实际上借助联合安装、联合配准过采样的机制，使这些区域2104、2108、2124和2128中的图像分辨率四倍化。事实上，图像/传感器分辨率的改善在每个维度被加倍，或者2×2=4倍。图像分辨率的这种四倍提高使相邻照相机之间的对准精度四倍化，如上所述。

相邻照相机之间的对准精度的这种四倍提高改善了固定到刚性安装板的所有传感器的系统100对准精度。照相机A-C，以及其它传感器(可选)固定到第一刚性安装单元，照相机D-F，以及其它传感器(可选)被固定到第二刚性安装单元，第一和第二刚性安装单元都被固定到刚性安装板。特别地，当固定到第一或第二刚性安装单元的相邻照相机的角度对准得到改善时，固定到安装单元的其它传感器的角度对准也得到提高。固定到刚性安装板的其它传感器的对准精度的这种提高还改善了这些传感器的图像分辨率。

类似地，水平阴影区代表3个图像重叠区2112、2116和2120。左前图像重叠区2112是右后照相机A与右前照相机D重叠的地方，中前图像重叠区2116是后面的中央/天底点照相机B与中前照相机E重叠的地方，右后图像重叠区2120是左后照相机C与左前照相机F重叠的地方。

现在参见图21，标记为“前向重叠区4:1”的重叠网格细节表示交迭的前向重叠的重叠区2112、2116和2120。在这些前向重叠的重叠区2112、2116和2120中，照相机传感器网格平分重叠区2112、2116和2120中的每个像素，这实际上借助联合安装、联合配准过采样的机制，使这些区域2112、2116和2120中的图像分辨率四倍化。事实上，图像/传感器分辨率的改善在每个维度被加倍，或者2×2=4倍。图像分辨率的这种四倍提高使对应照相机之间的对准精度四倍化。

对应照相机之间的对准精度的这种四倍提高改善了固定到刚性安装板的所有传感器的系统100对准精度。照相机A-C，以及其它传感器(可选)固定到第一刚性安装单元，照相机D-F，以及其它传感器(可选)被固定到第二刚性安装单元，第一和第二刚性安装单元都被固定到刚性安装板。特别地，当固定到第一或第二刚性安装单元的对应照相机的角度对准得到改善时，其它传感器的角度对准也得到提高。固定到刚性安装板的其它传感器的对准精度的这种提高还改善了这些传感器的图像分辨率。

类似于图20中的交迭的旁向重叠的重叠区2006、2008和2014、2016，图21中的相交的前向重叠和旁向重叠的重叠区2114和2118在系统校准和照相机对准方面，产生令人震惊的总共64倍改进。现在参见图21，标记为“四重重叠区64:1”的相交网格细节代表相交的前向重叠和旁向重叠的重叠区2118。在相交的前向重叠和旁向重叠的重叠区2114和2118中，重叠的照相机传感器网格平分相交的区域2114和2118中的每个像素，这实际上借助联合安装、联合配准的过采样的机制，使这些区域2114和2118中的图像分辨率四倍化。事实上，图像/传感器分辨率的改善在每个维度再次被加倍，或者2×2×2×2×2×2=64倍。图像分辨率的这种总共64倍改进还使相邻照相机之间的对准精度提高64倍。

相邻和对应照相机之间的对准精度的这种64倍改进提高了固定到刚性安装板的所有传感器的系统100对准精度。照相机A-C，以及其它传感器(可选)被固定到第一刚性安装单元，照相机D-E，以及其它传感器(可选)被固定到第二刚性安装单元，第一和第二刚性安装单元都被固定到刚性安装板。特别地，当固定到第一和/或第二刚性安装单元的相邻和/或对应照相机的角度对准得到改善时，其它传感器的角度对准也得到提高。固定到刚性安装板的其它传感器的对准角度的这种提高也改善了这些传感器的图像分辨率。

在一个优选实施例中，一个照相机阵列是单色的，另一个照相机阵列是红-绿-蓝的。即使每个阵列覆盖不同的色带，也可使用简单的图像处理技术，从而使得所有色带实现分辨率增大的益处。这些技术提供的另一个优点在于在一个照相机阵列是红-绿-蓝，而另一个重叠的照相机阵列是红外或近红外(或者某个其它带宽)的情况下，这结果产生优良的多光谱图像。

如图19-21中所示，这些技术可用于克服由于光学玻璃不能解析“非常小的”物体而对照相机系统施加的分辨率极限。特别地，存在照相机透镜中的光学玻璃解析极小物体的能力的已知物理极限。这通常被称为“玻璃的解析极限”。例如，如果从10000英尺的海拔高度要求1毫米像素，那么会要求使用放大率极高的望远镜头，以获得约100英尺的地面覆盖宽度。这是因为不论电荷耦合器件传感器能够产生多少像素(例如，十亿像素)，在10000英尺的海拔高度，最纯净的玻璃的解析能力也不允许达到1毫米像素的图像分辨率。本例用于清楚地说明存在关于玻璃的像素分辨率的物理极限，以及关于成像传感器的像素密度极限。

固定到刚性安装板的刚性安装单元中的系统100成像传感器对准，和相关的校准技术提供对这种问题的独特解决方案，如上所述。通过利用这些技术，能够有效地克服玻璃的解析极限。例如，单个照相机阵列产生1倍(或者没有)过采样的益处。不过，两个重叠的照相机阵列在图像分辨率，以及整体地理空间水平和垂直精度方面产生4倍的总体改进。此外，3个重叠的照相机阵列结果产生16倍的整体改进，4个重叠的照相机阵列结果产生64倍的整体改进，依次类推。

从这些例子可以推导出，关于整体改进的等式如下所示：

整体改进=4^N

其中N是重叠照相机阵列的数目。

如果存在4个照相机阵列，那么存在3个重叠的照相机阵列(即，N=3)。因而，4个照相机阵列提供图像分辨率，以及整体地理空间水平和垂直精度方面的64倍整体改进(即，4³=64倍)。

此外，这些子像素校准技术可以与如在美国专利申请公布No.2004/0054488A1(现在的美国专利No.7,212,938B2)中公开的自锁航迹技术结合，该专利的公开内容在此整体引为参考。

除了如图19-21中所示的前向和/或横向联合安装、联合配准过采样之外，本发明也可采用航线过采样来进一步提高图像分辨率，如图13-17中所示。如图13-17中所示，在图像区域中，航线相互重叠，因为每条航线相互平行。这些重叠的图像区域可用于利用立体摄影技术，借助相邻航线中的图像的沿航迹和跨航迹视差，校准传感器。

在一个实施例中，自锁航迹可以包含产生一组3条或者更多的行进路线中的至少3条大体平行的行进路线的任何模式。此外，行进路线中的至少一条应在与其它大体平行的行进路线相反的方向上。在优选实施例中，行进模式包含匹配方向的至少一对行进路线，和相反方向的至少一对行进路线。

当沿着相反方向利用自锁航迹时，在一些图像区域中，可观察的位置误差会被加倍。因而，自锁航线技术包括显著降低这些位置误差的算法。在其中发生最大的位置误差的外面的，或者说最左“翼”和最右“翼”图像区中，位置误差的这种降低尤其重要。

在一个实施例中，可以通过利用自动匹配从航线(例如，北/南)获得的像素模式区和从相邻航线(例如，北/南)获得的相同像素模式区的模式匹配技术，实现这些位置改进。在一个优选实施例中，来自一个或多个GPS定位系统的纬度/经度坐标可用于加速该模式匹配处理。

类似地，这些子像素校准和自锁航迹技术可以与立体摄影技术结合，因为立体摄影技术极其依赖于每个像素相对于所有其它像素的位置精度。特别地，这些技术提高了立体摄影图像分辨率，以及整体地理水平和垂直精度，尤其是在其中发生最大位置误差的最左“翼”和最右“翼”图像区中。此外，立体摄影技术用于匹配已知的高程数据和改进的立体摄影数据集。因而，组合的子像素校准、自锁航迹和立体摄影技术提供极大改进的数字高程模型，这结果产生优良的图像。

此外，这些子像素校准和自锁航迹技术可用于提供系统100的动态实时校准。特别地，这些技术提供快速把一个或多个照相机阵列组合件112“滚装”到系统100上，立即开始收集目标区域的图像数据，和快速产生高质量图像的能力，因为如上所述，各个传感器已最初在固定到刚性安装板的刚性安装单元中被校准。特别地，照相机传感器被联合配准，以校准每个传感器相对于彼此的和/或相对于天底点照相机的物理安装角偏移。在一个实施例中，多个，即至少两个刚性安装单元被固定到刚性安装板上，并被联合配准。这提供初始的“近似”校准。这些初始校准参数可被输入系统100中的机载计算机系统104中，并利用过采样技术，在飞行期间更新，如上所述。

在一个实施例中，系统100包括实时自校准系统，以更新校准参数。特别地，机载计算机104软件包含实时软件“daemon”(即，后台闭环监控软件)，以利用联合安装、联合配准过采样和航线过采样技术，不断监控和更新校准参数，如上所述。在优选实施例中，实时daemon结合子像素校准、自锁航迹和立体摄影技术，改进立体摄影图像分辨率，以及整体地理水平和垂直精度。特别地，立体摄影技术被用于匹配已知的高程数据和改进的立体摄影数据集。因而，组合的子像素校准、自锁航迹和立体摄影技术提供极大改进的数字高程模型，从而结果产生优良的图像。

在一个实施例中，系统100包含实时GPS数据系统，以提供GPS输入数据。校准精度由来自诸如GPS和IMU之类的电子装置的输入数据，和由利用产业标准GPS和IMU软件系统扩充的校准软件驱动。因而，该实时自校准系统的关键要素是经可能低带宽的通信信道，比如卫星电话、蜂窝电话、RF调制解调器或者类似装置的实时GPS输入数据。实时GPS输入数据的潜在来源包括项目控制的点对点(ad-hoc)站，固定广播GPS位置(或者类似的)，或者借助机载IMU的惯性导航。

上面说明的模块、算法和处理可以用各种技术和结构来实现。本发明的实施例可包括软件或硬件的功能实例，或者它们的组合。此外，本发明的模块和处理可以一起组合在单个功能实例(例如，一个软件程序)中，或者可以包含操作上相关的独立功能装置(例如，多个连网的处理器/存储块)。本发明包含所有这样的实现。

为了更好地解释本发明及其实际应用，从而使本领域技术人员能够产生和利用本发明，给出了这里陈述的实施例和例子。不过，本领域的技术人员会认识到上述说明和例子只是出于举例说明的目的给出的。所进行的说明并不是详尽的，也不意图把本发明局限于公开的明确形式。鉴于上面的教导，许多修改和变化是可能的，而不脱离以下权利要求的精神和范围。

Claims (35)

1.一种用于产生地图的系统，包括：

全球定位接收器；

与目标区域一致的运载工具；

与所述运载工具通信的高程测量单元；

与所述运载工具通信的全球定位天线；

与所述运载工具通信的姿态测量单元；

布置于所述运载工具的成像传感器系统，包括：

固定到所述运载工具的刚性安装板；

固定到所述安装板的第一刚性安装单元，所述第一刚性安装单元具有布置在其中的至少两个成像传感器，其中第一成像传感器和第二成像传感器都具有通过所述第一刚性安装单元和所述安装板中的孔径的焦轴，其中所述第一成像传感器和所述第二成像传感器都产生像素的第一数据阵列，其中像素的每个数据阵列至少是二维的，其中使所述第一成像传感器和所述第二成像传感器偏移，以在所述目标区域具有第一图像重叠区，其中在所述第一图像重叠区中，第一成像传感器图像数据平分第二成像传感器图像数据；

固定到所述安装板的第二刚性安装单元，所述第二刚性安装单元具有第三成像传感器，所述第三成像传感器布置在所述第二刚性安装单元中，其中所述第三成像传感器具有通过所述第二刚性安装单元和所述安装板中的所述孔径的焦轴，其中所述第三成像传感器产生像素的第三数据阵列；以及

与所述高程测量单元、所述全球定位天线、所述姿态测量单元、所述第一成像传感器和所述第二成像传感器通信的计算机；所述计算机根据来自所述高程测量单元、所述全球定位天线和所述姿态测量单元中的一个或多个的输入，使来自所述第一成像传感器和所述第二成像传感器的图像区域的至少一部分和所述目标区域的一部分相互关联。

2.按照权利要求1所述的系统，其中像素的所述第三数据阵列至少是二维的。

3.按照权利要求2所述的系统，还包括：

布置在所述第二刚性安装单元内的第四成像传感器，其中所述第四成像传感器具有通过所述第二刚性安装单元和所述安装板中的孔径的焦轴，其中所述第四成像传感器产生像素的第四数据阵列，其中像素的所述第四数据阵列至少是二维的，其中使所述第三成像传感器和所述第四成像传感器偏移，以在所述目标区域中具有第二图像重叠区，其中在所述第二图像重叠区中，第三成像传感器图像数据平分第四成像传感器图像数据。

4.按照权利要求3所述的系统，其中使包含所述第一成像传感器和所述第二成像传感器的第一传感器阵列、和包含所述第三成像传感器和第四成像传感器的第二传感器阵列偏移，以在所述目标区域中具有第三图像重叠区，其中在所述第三图像重叠区中，所述第一成像传感器阵列图像数据平分所述第二成像传感器阵列图像数据。

5.按照权利要求3所述的系统，其中所述第一成像传感器阵列图像数据完全重叠所述第二成像传感器阵列图像数据。

6.按照权利要求1所述的系统，其中在操作中，所述第一刚性安装单元和所述安装板的弯曲小于0.01°。

7.按照权利要求6所述的系统，其中在操作中，所述第一刚性安装单元和所述安装板的弯曲小于0.001°。

8.按照权利要求7所述的系统，其中在操作中，所述第一刚性安装单元和所述安装板的弯曲小于0.0001°。

9.按照权利要求2所述的系统，其中所述第三成像传感器选自数字照相机、LIDAR、红外传感器、热感传感器和重力计。

10.按照权利要求2所述的系统，其中所述第三成像传感器选自具有高光谱滤光片的数字照相机和LIDAR。

11.按照权利要求1所述的系统，其中相对于选自陀螺仪、IMU和GPS的一个或多个姿态测量装置，校准所述第一成像传感器。

12.按照权利要求1所述的系统，其中所述第一成像传感器和所述第二成像传感器选自数字照相机、LIDAR、红外传感器、热感传感器和重力计。

13.按照权利要求2所述的系统，其中所述第一成像传感器和所述第二成像传感器是数字照相机，所述第三成像传感器是LIDAR。

14.按照权利要求3所述的系统，其中第三成像传感器和第四成像传感器选自数字照相机、LIDAR、红外传感器、热感传感器和重力计。

15.按照权利要求3所述的系统，其中所述第一成像传感器和所述第二成像传感器是数字照相机，所述第三成像传感器是LIDAR。

16.一种成像传感器系统，包括：

与目标区域对准地固定到运载工具的刚性安装板；

固定到所述安装板的第一刚性安装单元，所述第一刚性安装单元具有布置在其中的至少两个成像传感器，其中第一成像传感器和第二成像传感器都具有通过所述第一刚性安装单元和所述安装板中的孔径的焦轴，其中所述第一成像传感器和所述第二成像传感器都产生像素的第一数据阵列，其中像素的每个数据阵列至少是二维的，其中使所述第一成像传感器和所述第二成像传感器偏移，以在目标区域具有第一图像重叠区，其中在所述第一图像重叠区中，第一成像传感器图像数据平分第二成像传感器图像数据；

固定到所述安装板的第二刚性安装单元，所述第二刚性安装单元具有第三成像传感器，所述第三成像传感器布置在所述第二刚性安装单元中，其中所述第三成像传感器具有通过所述第二刚性安装单元和所述安装板中的所述孔径的焦轴，其中所述第三成像传感器产生像素的第三数据阵列。

17.按照权利要求16所述的系统，其中像素的所述第三数据阵列至少是二维的。

18.按照权利要求17所述的系统，还包括：

布置在所述第二刚性安装单元内的第四成像传感器，其中所述第四成像传感器具有通过所述第二刚性安装单元和所述安装板中的孔径的焦轴，其中所述第四成像传感器产生像素的第四数据阵列，其中像素的所述第四数据阵列至少是二维的，其中使所述第三成像传感器和所述第四成像传感器对准以及偏移，以在所述目标区域中具有第二图像重叠区，其中在所述第二图像重叠区中，第三成像传感器图像数据平分第四成像传感器图像数据。

19.按照权利要求18所述的系统，其中使包含所述第一成像传感器和所述第二成像传感器的第一传感器阵列、和包含所述第三成像传感器和所述第四成像传感器的第二传感器阵列偏移，以在所述目标区域中具有第三图像重叠区，其中在所述第三图像重叠区中，所述第一成像传感器阵列图像数据平分所述第二成像传感器阵列图像数据。

20.按照权利要求18所述的系统，其中所述第一成像传感器阵列图像数据完全重叠所述第二成像传感器阵列图像数据。

21.按照权利要求16所述的系统，其中在操作中，所述第一刚性安装单元和所述安装板的弯曲小于0.01°。

22.按照权利要求21所述的系统，其中在操作中，所述第一刚性安装单元和所述安装板的弯曲小于0.001°。

23.按照权利要求22所述的系统，其中在操作中，所述第一刚性安装单元和所述安装板的弯曲小于0.0001°。

24.按照权利要求17所述的系统，其中所述第三成像传感器选自数字照相机、LIDAR、红外传感器、热感传感器和重力计。

25.按照权利要求17所述的系统，所述第三成像传感器选自具有高光谱滤光片的数字照相机和LIDAR。

26.按照权利要求16所述的系统，其中相对于选自陀螺仪、IMU和GPS的一个或多个姿态测量装置，校准所述第一成像传感器。

27.按照权利要求16所述的系统，其中所述第一成像传感器和所述第二成像传感器选自数字照相机、LIDAR、红外传感器、热感传感器和重力计。

28.按照权利要求17所述的系统，其中所述第一成像传感器和所述第二成像传感器是数字照相机，所述第三成像传感器是LIDAR。

29.按照权利要求18所述的系统，其中所述第三成像传感器和所述第四成像传感器选自数字照相机、LIDAR、红外传感器、热感传感器和重力计。

30.按照权利要求18所述的系统，其中所述第一成像传感器和所述第二成像传感器是数字照相机，所述第三成像传感器是LIDAR。

31.一种校准成像传感器的方法，包括以下步骤：

设置权利要求1的系统；

进行成像传感器的初始校准，包括：

确定姿态测量单元的位置；

确定在第一刚性安装单元内的第一成像传感器相对于所述姿态测量单元的位置；

确定在所述第一刚性安装单元内的第二成像传感器相对于所述姿态测量单元的位置；

对照目标区域校准所述第一成像传感器，和确定所述第一成像传感器的视轴角；和

计算所述第一刚性安装单元内的一个或多个后续成像传感器相对于所述第一成像传感器的位置；和

利用所述第一成像传感器的视轴角，校准所述一个或多个后续成像传感器；和

利用过采样技术，更新对照目标区域的所述第一成像传感器的至少一个初始校准参数，和所述第一成像传感器的视轴角；

利用过采样技术，更新所述第一刚性安装单元内的一个或多个后续成像传感器相对于所述第一成像传感器的位置；和

利用所述第一成像传感器的更新的视轴角，更新所述第一刚性安装单元内的一个或多个后续成像传感器的至少一个校准参数。

32.按照权利要求31所述的方法，其中初始校准步骤还包括以下步骤：

利用所述第一成像传感器的更新的视轴角，校准所述第二成像传感器；

计算所述第一刚性安装单元内的一个或多个后续成像传感器相对于所述第一成像传感器的位置；和

利用所述第一成像传感器的更新的视轴角，校准所述第一刚性安装单元内的所述一个或多个后续成像传感器。

33.按照权利要求32所述的方法，还包括以下步骤：

利用过采样技术更新所述第一刚性安装单元内的第二成像传感器相对于所述第一成像传感器的位置；

利用过采样技术更新第一刚性安装单元内的一个或多个后续成像传感器相对于所述第一成像传感器的位置；和

利用所述第一成像传感器的更新的视轴角，更新所述第一刚性安装单元内的一个或多个后续成像传感器的至少一个校准参数。

34.按照权利要求31所述的方法，还包括以下步骤：

利用航线过采样技术，更新对照目标区域的所述第一成像传感器的校准，以及所述第一成像传感器的视轴角；

利用航线过采样技术，更新所述第一刚性安装单元内的所述一个或多个后续成像传感器相对于所述第一成像传感器的位置；和

利用所述第一成像传感器的更新的视轴角，更新一个或多个后续成像传感器的至少一个校准参数。

35.按照权利要求34所述的方法，还包括以下步骤：

利用航线过采样技术，更新所述第一刚性安装单元内的第二成像传感器相对于所述第一成像传感器的位置；

利用航线过采样技术，更新所述第一刚性安装单元内的所述一个或多个后续成像传感器相对于所述第一成像传感器的位置；和

利用所述第一成像传感器的更新的视轴角，更新所述第一刚性安装单元内的所述一个或多个后续成像传感器的至少一个校准参数。