CN103377476B - 使用三维地理弧的多模型数据的图像配准 - Google Patents
使用三维地理弧的多模型数据的图像配准 Download PDFInfo
- Publication number
- CN103377476B CN103377476B CN201310156319.9A CN201310156319A CN103377476B CN 103377476 B CN103377476 B CN 103377476B CN 201310156319 A CN201310156319 A CN 201310156319A CN 103377476 B CN103377476 B CN 103377476B
- Authority
- CN
- China
- Prior art keywords
- sensor
- target image
- dimensional
- geographical
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 129
- 150000001875 compounds Chemical class 0.000 claims abstract description 18
- 230000015654 memory Effects 0.000 claims description 28
- 230000000007 visual effect Effects 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 13
- 230000014509 gene expression Effects 0.000 claims description 13
- 238000013519 translation Methods 0.000 claims description 4
- 235000013399 edible fruits Nutrition 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 38
- 230000004927 fusion Effects 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 26
- 238000004891 communication Methods 0.000 description 25
- 238000012545 processing Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 16
- 230000008901 benefit Effects 0.000 description 13
- 238000012360 testing method Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 239000004744 fabric Substances 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 238000007514 turning Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 241000208340 Araliaceae Species 0.000 description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 235000008434 ginseng Nutrition 0.000 description 3
- 235000017060 Arachis glabrata Nutrition 0.000 description 2
- 244000105624 Arachis hypogaea Species 0.000 description 2
- 235000010777 Arachis hypogaea Nutrition 0.000 description 2
- 235000018262 Arachis monticola Nutrition 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000007850 degeneration Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 235000020232 peanut Nutrition 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000001638 cerebellum Anatomy 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 230000004614 tumor growth Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
本发明描述一种用于多模型图像配准的准确、灵活且可缩放的技术，该技术不需要依靠直接特征匹配并且不需要依靠精确的几何模型。在本申请中描述的方法和/或系统除其他信息之外使用源自生成目标图像（402）的传感器（706、1214、1306）的视点数据和三维地理弧3D‑GeoArc，使得景象（700）的多模型图像能够与相同景象（700）的三维（3D）表示配准（融合）。本申请的配准技术可以由三个主步骤构成，如在图1中示出。第一主步骤包括形成景象（700）的3D参考模型。第二主步骤包括使用3D‑GeoArc估计生成目标图像（402）的传感器（706、1214、1306）的3D地理空间视点。第三主步骤包括将目标图像的数据投影进入复合3D景象表示。
Description
技术领域
本申请涉及图像配准系统和方法，并更特别涉及使用3D-GeoArc(三维地理弧)将景象的一个或更多的多模型图像与相同景象的3D表示组合的图像配准技术。
背景技术
图像配准是将一个或更多组的数据组合从而形成单个数据表示的过程。数据集可以是多个照片、源自不同传感器的数据、源自不同时间的数据，或以不同格式存储的数据。图像配准技术可以包括将两个或更多图像组合，或将源自图像的已选择点组合，从而产生含有源自原图像中的每个的数据的复合图像。一些图像配准技术可以将源自一个数据集(称为目标)的详情投影到第二数据集(称为参考)上。一些图像配准技术可以比较或变换目标图像从而与一个或多个已存储图像对齐。这些图像配准技术可以使用涉及在图像之间的点的算法，因此在图像中的已涉及点或结构在产生的复合图像中相关。
图像配准的一些方法搜索在图像中的特别特征，例如相似呈现的点、线和轮廓之间的详细对应。这些基于外观的算法使用已发现对应从而将目标图像变换或映射到一个或更多参考图像。这样的技术可以包括源自在图像中表示的该类型物体、景象或结构上具有专长个人的输入。该专家可以识别配准技术应将其相关的在图像中的一组界标特征。例如，图像配准技术可以比较人头的不同轴向层面的两个MRI图像，并且外科医生可以识别两个图像中对应于小脑(界标)的点(和/或围绕这些点的轮廓)。图像配准算法可以然后通过依靠在界标之间的已知关系将目标图像映射到参考图像。因此，通过将目标图像中的可见界标与参考图像中的先前识别界标匹配，配准技术可以取得关于怎样将目标图像与参考图像对齐的结论。
图像配准的其他方法使用相关矩阵比较在图像中的基于详细体积的(或3D几何形状的)影像。这些基于几何形状的方法中的一些可以然后基于该基于体积特征怎样紧密对齐，来测量表示目标图像和参考图像之间不一致的距离。两个图像的配准可以利用帮助寻找减小该距离测量值的映射的最优化方程。这些方法可以记录整个图像或子图像，并且如果记录子图像，那么子图像可以作为对应特征点对待。
图像配准的一些其他方法已使用地理空间信息提供结构或特征的参考源。地理空间信息(或地理位置(geolocation))一般涉及物体的现实世界地理位置的识别。地理位置可以涉及评估该位置的实践，或涉及实际评估的位置。地理空间信息可以表示在这样的特征或位置的照片和实际地理位置中的特征之间的联系。例如，一些当前地点识别算法使用源自与直接特征匹配技术和多视角几何形状耦合的在线库的GPS标记的、人群来源的图像收集。目标图像可以取自街上来客、街角或界碑，并然后地点识别算法尝试通过扫描大量已保存参考图像，在参考数据库中寻找最相似特征。这些地点识别算法需要大规模的图像数据库从而使得能够执行这样的地理定位。
发明内容
本申请的一个或更多实施例描述使得能够除其他信息之外使用源自生成目标图像的传感器的视点(viewpoint)数据以及3D-GeoArc，将带有景象的三维(3D)表示的相同景象的多模型图像配准的方法、系统、技术和/或解决方案。
在一个有利实施例中，用于图像配准的方法可以执行(例如，在数据处理系统例如计算机中至少部分执行)，其中该方法包含以下步骤。该方法的第一步可以包括建立景象的三维参考模型。该方法的下个步骤可以包括获取景象的目标图像，该目标图像可能用传感器捕捉。该方法的下个步骤可以包括使用一个或更多三维地理弧(也称为GeoArc)确定捕捉目标图像的传感器的视点(viewpoint)，其中可以相对于三维参考模型确定传感器的视点。该方法的下个步骤可以包括通过将源自目标图像的数据与源自三维参考模型的数据关联来生成景象的复合三维表示，其中传感器的视点可以用来执行该关联。
在本申请的一些实施例中，确定传感器视点的步骤可以进一步包含以下子步骤。第一子步骤可以包括识别三维参考模型中的一个或更多特征对。可以使用源自地理空间智能系统数据库的信息建立三维参考模型。下个子步骤可以包括识别目标图像中的一个或更多特征对。在三维参考模型中和在目标图像中识别的特征对可以表征，以使它们不随着参考模型和目标图像的旋转和缩放而变化。接下来，对于在目标图像中的每个特征对，该方法可以(1)将目标图像中的特征对与三维参考模型中的特征对中的一个关联；(2)估计与目标图像中的特征对关联的角度；(3)生成与三维参考模型关联的三维地理弧表面，其中该地理弧表面可以表示在目标图像中的特征对和已估计角度之间的关系。下个子步骤可以包括在三维空间中相对于三维参考模型识别位置，其中两个或更多的三维地理弧表面重叠。在本申请的一些实施例中，生成三维地理弧表面可以包括通过改变地理弧表面的厚度来表示在已估计角度中的不确定度。在本申请的一些实施例中，已生成的地理弧表面可以与先前生成的地理弧表面重叠，创建三维体积。
在本申请的一些实施例中，确定传感器视点的步骤可以进一步包含以下子步骤。第一子步骤可以包括将其中最多地理弧表面重叠的位置选为传感器的已确定视点。接下来，对于在目标图像中的每个特征对，该方法可以通过基于用参考数据检查忽略或移除涉及不正确视点的三维地理弧表面的部分，将已生成三维地理弧表面细化。下个子步骤可以包括通过参照参考数据确认传感器的已确定视点，从而预测如果传感器的已确定视点正确那么应在目标图像中可见的另外特征。在本申请的一些实施例中，确定传感器视点的步骤可以包括将三维参考模型划分成数个区域，并在该区域中的一个或更多内确定传感器的潜在视点。
在本申请的一些实施例中，生成复合三维表示的步骤可以进一步包含以下子步骤。第一子步骤可以包括确定相对于复合三维表示的传感器位置和传感器角度。下个子步骤可以包括通过为每个物体向传感器位置添加平移(translational offset)，确定在目标图像中可见的一个或更多物体相对于复合三维表示的位置。下个子步骤可以包括将与目标图像关联的一个或更多物体实时投影进入3D复合景象。
在另一有利实施例中，可以执行用于图像配准的方法(例如至少部分在数据处理系统例如计算机中执行)，其中该方法包含以下步骤。该方法的第一步可以包括识别三维参考模型中的一个或更多特征对。下个子步骤可以包括识别目标图像中的一个或更多特征对。接下来，对于在目标图像中的每个特征对，该方法可以(1)将目标图像中的特征对与三维参考模型中的特征对中的一个关联；(2)估计与目标图像中的特征对关联的角度；(3)生成与三维参考模型关联的三维地理弧表面，其中该地理弧表面可以表示在目标图像中的特征对和已估计角度之间的关系；以及(3)在三维空间中相对于三维参考模型识别位置，其中两个或更多的三维地理弧表面重叠。在本申请的一些实施例中，可以通过改变地理弧表面的厚度来表示在已估计角度中的不确定度。在本申请的一些实施例中，已生成的地理弧表面可以与先前生成的地理弧表面重叠，创建三维体积。
在另一有利实施例中描述航空器，其包含适应捕捉图像的传感器，以及通信耦合到传感器的数据处理系统。数据处理系统可以经编程建立景象的三维参考模型。数据处理系统可以经进一步编程从传感器获取景象的目标图像。数据处理系统可以经进一步编程使用一个或更多三维地理弧确定捕捉目标图像的传感器的视点，其中可以相对于三维参考模型确定传感器的视点。数据处理系统可以经进一步编程通过将源自目标图像的数据与源自三维参考模型的数据关联来生成景象的复合三维表示，其中传感器的视点可以用来执行该关联。
在本申请的一些实施例中，为确定传感器的视点，数据处理系统可以经进一步编程识别三维参考模型中的一个或更多特征对。数据处理系统可以经进一步编程识别目标图像中的一个或更多特征对。对于在目标图像中的每个特征对，数据处理系统可以经进一步编程(1)将目标图像中的特征对与三维参考模型中的特征对中的一个关联；(2)估计与目标图像中的特征对关联的角度；(3)生成与三维参考模型关联的三维地理弧表面，其中该地理弧表面可以表示在目标图像中的特征对和已估计角度之间的关系。数据处理系统可以经进一步编程在三维空间中相对于三维参考模型识别位置，其中两个或更多的三维地理弧表面重叠。在本申请的一些实施例中，数据处理系统可以经进一步编程将与目标图像关联的一个或更多物体实时投影进入3D复合景象。
在本申请的一些实施例中，传感器可以位于航空器上，以使风景和景象可以落入传感器的视场内。在本申请的一些实施例中，数据处理系统可以包括存储器，其中该存储器可以存储包括三维参考模型的参考数据，并且其中该存储器可以存储由传感器捕捉的图像。
已讨论的特征、功能和优点可以在各种实施例中独立实现，或可以在更其他的实施例中组合，这些实施例的进一步详情参考以下详细描述和附图可见。
附图说明
在以下申请中描述若干特征和优点，其中使用以下附图作为例子解释若干实施例。
图1是示出根据本申请的一个或更多实施例执行的例子步骤的高级流程图的图解。
图2是示出根据本申请的一个或更多实施例执行的例子步骤的高级流程图的图解。
图3A和图3B示出可以帮助描述本申请的一个或更多实施例的例子几何形状的图解。
图4A-图4C示出可以帮助描述本申请的一个或更多实施例的信息的例子流程。
图5A-图5C示出可以帮助描述本申请的一个或更多实施例的例子几何形状的图解。
图6示出可以帮助描述本申请的一个或更多实施例的例子几何形状的图解。
图7示出例子径向和本申请的一个或更多实施例的技术的例子应用。
图8A-图8F示出再一个例子测试的结果。
图9A-图9C示出再一个例子模拟的例子图像和结果。
图10示出根据本申请的一个或更多实施例的航空器的成角度自顶向下视图。
图11示出根据本申请的一个或更多实施例的航空器的成角度自顶向下视图。
图12示出根据本申请的一个或更多实施例的例子数据处理系统的框图。
图13示出框图的图解，该框图示出根据本申请的一个或更多实施例的在程序代码和其他部件之间的例子交互。
图14示出根据本申请的一个或更多实施例的联网数据处理系统和部件的例子系统的图示的图解。
具体实施方式
尽管存在用于图像配准的技术，但具有当前技术的若干缺点。例如，许多当前技术试图寻找具体特征之间的对应以便执行直接配准。因为可以需要考虑大量数据点以便确认两个特征匹配，所以这些技术可以需要复杂计算。一些当前技术需要变换图像，例如在从相机或传感器获得的目标图像和参考图像或模型之间变换。另外，这些技术需要大规模搜索数据库从而发现匹配特征，并需要将目标图像与在参考数据库中的视觉相似图像或模型匹配的复杂算法。这些技术使用各种复杂方法确定相似性，包括“词袋(bag-of-words)法”(在图像内检测数个相似特征从而评估所有相似性)。这些复杂方法对于良好拍照的位置和城市区域可以是足够的，但在更多乡间区域中，可以不足够构成数据库。另外，如果特征从在不同的波长或不同的传感器类型制作的记录生成，那么在具体特征之间寻找对应可以是困难的。
当前的基于几何形状的方法也具有缺点。这些技术在其中可以从现实世界(或地平面)结构数据生成准确几何模型的城市设定中更广泛使用。配准技术然后使用区别点、重复图案和线群集相似性检测目标图像和已存储模型之间的3D对齐。尽管这些技术已示出有希望的结果，但它们不适合没有形成参考模型和参考数据库的显著地平面图像覆盖的任意景象或区域。另外，当前技术可以检测并匹配图像中的子区域，并且这些已匹配子区域可以使配准算法混乱并导致整个图像的不正确配准。
此外，因为在记录不同模型的图像时，当前技术依靠的假设不可以证明为真，所以当前技术不能准确记录使用不同模型获取的图像(例如，用不同传感器获取的图像或以不同格式或尺寸捕捉的图像)。例如，许多常规图像配准技术假设对应图像元素(例如像素、体元等)的图像强度在有待配准的图像中是相同的。另外，不同模型的图形可以具有不同的分辨率、尺寸或格式，或它们可以从广泛变化的视点记录。
当前的地理位置配准技术也具有限制。例如，它们不基于照片在其拍摄的变化视点提供准确配准。另外，因为需要其他信息的图像的海量数据库，所以这些技术限于高人口的区域例如城市区域或吸引许多游客的其他区域(因此游客可以向数据库贡献图像)。此外，依靠直接特征或图案匹配的技术的准确性可以随着光照、季节或天气的改变而恶化。由于需要海量的参考图像，因此这些技术也受到可缩放性问题的影响。
因此，希望用于多模型图像配准的更准确、灵活且可缩放的技术，该技术不需要依靠直接特征匹配并且不需要依靠精确的几何模型。本申请描述除其他信息之外使用源自生成目标图像的传感器的视点数据和GeoArc(也称为地理弧)，使得景象的多模型图像能够与相同景象的三维(3D)表示配准(融合)的技术、方法/或系统。
不同于现有视点配准系统，在本申请中描述的解决方案不需要试图在目标图像和高度精细的参考模型之间执行直接匹配或寻找对应。本申请的解决方案可以关于人们怎样将其自身在地理位置内定位来图案化。在生态心理学中的研究已示出人们通过主要使用该地区的地形图在不熟悉的环境中将其自身定位。人们不形成他们周围的复杂模型并且试图将这些模型中的具体特征与已存储的参考模型直接匹配。代替地，人们遵循反复的证据收集过程，其中他们考虑小数目的可观察一般地标特征之间的关系。他们然后形成假设并尝试使用参考数据确认该假设。以相似方式，在此描述的技术涉及获得证据、生成多个假设，并然后使用最优满足由参考模型和可能的其他参考数据施加的多个约束的假设生成最终地理位置。该技术避免解决是当前图像配准系统的基础的强特征到特征对应问题的需要。在此描述的解决方案可以仅需要确定目标图像中的特征是否具有与参考模型中的特征相同的类型，以及特征是否具有与其他特征相似的关系。只要可以在景象的目标图像和3D参考模型中检测到相同的特征类型(例如基于边缘和拐角)，那么目标和参考可以融合成复合3D表示。
在此描述的配准技术允许多模型数据例如2D数据(例如EO、IR和SAR数据)和3D数据(例如LIDAR数据)的准确且灵活的融合。EO(电-光)传感器是将光或光的改变转换成电子信号的电子检测器。它们在许多工业和消费者应用中使用。红外(IR)传感器是测量从其视场中的物体辐射的红外光的电子装置。SAR(合成孔径雷达)是经常在遥感应用中使用的电磁成像传感器。SAR传感器可以安装在飞行器或卫星上，并用来制作地表的高分辨率图像。LIDAR(光检测和测距，也称为LADAR)是可以通过用光照明目标，经常使用源自激光器的脉冲来测量目标性质的光学遥感技术。先前描述类型的传感器可以集成进入在本申请中描述的系统和解决方案。描述类型(或其他类型)的一个或更多传感器可以耦合到实施在此描述的解决方案中的一些或全部的系统。例如，2D图像传感器可以耦合到包括可以执行计算机代码的处理器的通用计算机，由此该计算机在处理器执行计算机代码时可以从2D图像传感器接受信息，并进展到执行本申请的解决方案。
遍及本申请，术语融合指代将景象的一个或更多目标图像与景象的一个或更多参考图像和/或3D表示组合并配准的过程。术语地理配准也可以遍及本申请用来指代配准的过程，其中该配准在目标图像和已与现实世界地理位置和结构匹配的已存储3D景象表示之间发生。另外，应理解尽管在此的描述可以指代图像例如由传感器创建的目标图像，但本申请的解决方案也可以应用于视频。因此，本申请设想能够将景象的视频与相同景象的3D表示融合的技术、方法和/或系统。尽管为清晰本申请主要指代目标图像，但在此的解决方案也可以对目标视频有效。另外，尽管本申请主要描述目标图像和/或视频与参考3D表示的融合，但应理解参考表示也可以是代替3D表示的2D图像。
本申请的配准技术可以由三个主要步骤构成，如在图1中示出。图1是示出根据本申请的一个或更多实施例执行的例子主步骤的高级流程图100的图解。第一主步骤是包括形成景象的3D参考模型的参考模型步骤102。第二主步骤是包括估计生成目标图像的传感器的3D地理空间视点的视点确定步骤104。第三主步骤是包括将目标图像的数据投影进入复合3D景象表示的投影步骤106。
在此描述的配准技术的第一主步骤是参考模型步骤102。该主步骤可以进一步包括两个子步骤。第一，可以创建称为参考模型的景象3D模型。用来创建3D模型的信息可以来自例如参考地图。在一个例子中，用来创建3D模型的信息可以来自地理空间智能系统数据库，该数据库可以由政府机构或一些其他实体维护，并可以包括涉及地球上各种位置的影像、特征和海拔高度数据的全面收集。地理空间智能系统数据库可以将特别的现实世界特征与它们的地理位置相关。
在下个子步骤中，在3D参考模型中的各种类型的特征(或地标)的位置可以识别并标记为理想候选以便将目标图像匹配到3D参考模型。为处理可以从其捕捉目标图像的视场的潜在巨大变化，这些特征可以用使得它们不随着图像旋转和缩放而变化的方式表征或存储。例如，在此描述的解决方案可以仅需要确定参考模型中的特征是否具有与目标图像中的特征相同的类型(即相似曲线和/或拐角)，以及特征是否具有与其他特征相似的关系。
在此描述的配准技术的第二主步骤是包括估计生成目标图像的传感器的视点的视点确定步骤104。确定传感器的视点可以包括确定传感器的地理位置信息(传感器在预定义3D参考景象中的位置)并确定成传感器的观察方向(角度)。更多详情在图2中可见，图2是示出根据一个例子视点确定步骤执行的例子子步骤的高级流程图200的图解。在该例子中，视点确定步骤可以包括六个子步骤：(1)子步骤202——给定目标图像，在目标图像中检测涉及在3D模型中识别的特征类型的特征；(2)子步骤204——使用已校准的传感器视场确定目标图像中特征对之间的角度；(3)子步骤206——对于形成与目标图像中的特征相同类型的特征对的3D模型中的每个特征对，使用已测量的目标图像特征对角度和不确定度生成3D-GeoArc(在下面描述)；(4)子步骤208——通过细分出表示不与参考数据一致的视点位置的每个3D-GeoArc的部分，将3D-GeoArc结果细化；(5)子步骤210——寻找相对于3D参考模型空间的3D体积，其中最多3D-GeoArc重叠(几何投票)，由此确定其中最与证据一致的近似视点位置；以及(6)子步骤212——将目标图像与3D模型配准，并任选确认该配准。
关于第一子步骤202，检测目标图像中的特征，首先假设由在相同点的相机或传感器取得目标图像。暂时参考图1，可见在一些点目标图像必须生成(任务108)，尽管在本申请的一些实施例中，图像配准过程可以对于任务108发生的精确时间是灵活的。目标图像可以实时捕捉，或主步骤104可以使用预先捕捉的目标图像。转回图2，给定目标图像，子步骤202包括检测目标图像中的特征，子步骤202的解决方案可以仅需要确定目标图像中的特征是否具有与参考模型中的特征相同的类型。例如，只要目标图像中的特征具有相同的特征类型(例如相似的边缘和/或拐角)，那么该特征可以在目标图像中检测到，并且对参考模型中的相似特征关系检查该特征与其他特征的空间关系。该技术避免解决是当前图像配准系统的基础的强特征到特征对应问题的需要。尽管特征匹配的该相同类型关系技术可以比强特征到特征对应方法较不准确，但在匹配中的不确定度可以在配准过程的其他步骤中处理。
在本申请的一些实施例中，参考模型可以分成数个区域或单元，并且特征检测(子步骤202)可以在每个区域或单元内分离执行。该划分的原因可以是在整个参考模型内考虑的数个特征关系在性质上是潜在组合的。例如，考虑整个参考模型，如果N个地标特征在参考模型中存在，并且r个特征在目标图像中可见，那么配准技术可以需要在这些特征的全部C(N，r)＝N！/(N-r)！r！r个元素子集上发展假设，并为定位一致性将它们排序。这可以给出最优可能的结果，但这样的技术可以是不够的。
一些实施例使用分层途径从而避免立即考虑全部特征/视点组合，因此限制传感器位置假设的组合爆炸(combinatorial explosion)的潜在性。例子分层途径可以首先执行粗糙定位步骤，借此更大、更独特的特征对用来将全局搜索划分成粗糙区域。可能因为小数目的独特特征和这样特征的大小，所以粗糙区域可以由视点位于该区域内的高置信度，但关于在视点位于的粗糙区域内哪里的低精度来表征。可以用于粗糙定位的巨大、独特的特征的例子是山顶和巨大建筑物。
在每个粗糙区域内，分层图解可以执行精细定位步骤，借此与较大特征对一致的较小特征对用来提高视点位置的精度。精细定位步骤可以按照粗糙区域的粗糙定位质量的顺序进行。另外，这些精细区域可以基于可视性约束受限制。例如，虽然精细定位步骤可以考虑一些较小特征，但由于障碍物等，因此不是所有特征都可见。另外，分层途径可以考虑一个或更多特征类型的“可见半径”，并然后将参考模型分成与一个或更多特征的可见性相关的单元。可见半径可以是传感器可以离开特征定位并仍能够捕捉到它的最大距离。单元的形状可以是例如圆形的，以便更精确匹配可见性半径，或其可以具有不同形状(例如正方形)。与不同特征的可见性相关的不同单元可以重叠。
在涉及精细区域或可见性单元或该两者的组合时，在此描述的配准算法和技术可以在每个区域和/或单元上个别执行。在每个区域和/或单元内，可能特征的数目受约束，并且潜在假设的数目显著减小。例如，在其中存在K个单元的情况下，分层途径可以将算法的渐进复杂度减小到KC(N/k，r)，这是巨大的改善。虽然处理多个参考模型单元和/或区域可以初始导致更大数目的可能最终视点，但该不确定度如前面解释处理，并且在后面的子步骤中进一步处理。
为进一步理解子步骤的剩余部分(子步骤204-212)，因为GeoArc(s)(也称为地理位置弧(Geolocation Arcs)或地理弧(geoarcs))可以用来定义(也称为假设)特征对之间的关系，所以GeoArc的讨论可以是有用的。以下首先是2D-GeoArc的讨论。图3A 和图3B示出可以帮助描述GeoArc的几何形状的图解。图3A包括可以表示特征对的两个点302、304。遍及本申请，用来创建GeoArc或假设的图像中的两个特征可以称为特征对。图3A也包括距两个特征(点302、304)的变化距离的多个点306、308、310(视点)，以及将每个视点连接到该两个特征的两条连接线。可见随着视点越进一步远离两个特征，在与视点关联的两条连接线之间的角度(角度312、314、316为点306、308、310分别示出)越小。此外，如在图3B中示出，对于在两条连接线之间的给定角度，具有可以允许带有给定角度的连接线的无限视点(其沿圆弧存在)。应理解，参考前面描述，术语“连接线”不意味着实体线或连接。代替地，其指代可以在两个点之间延伸的假想直线的几何概念。
参考图4A-图4C，并考虑前面描述，可见怎样可以使用2D-GeoArc 将源自目标图像(在图4A中示出)的信息投影进入参考模型(在图4C中示出)。假设目标图像用传感器或相机取得(例如一块地)。图4A示出可以由相机或传感器取得的例子目标图像402。在相机或传感器取得图像402时，其可以检测特征404和406，并且其也可以例如通过扫描关于目标图像的细节，估计在传感器(未示出)与特征404和406之间延伸的假想连接线(没有在图4A中示出)之间的角度(θ)。图4B进一步概念上示出传感器怎样可以估计在传感器与特征404和406之间延伸的假想连接线之间的角度(θ)。
在一些实施例中，为估计在特征之间的角度，配准技术可以利用关于传感器的已校准视场(FOV)的细节。在一些例子中，与相机关联的FOV细节可以提前已知。FOV细节包括例如传感器可以同时捕捉的景象的最大角度/视野(宽度和高度)。例如，关于相机的镜头、焦距，传感器大小等的信息可以提供有用的FOV细节。可替换地，传感器的FOV可以测量。在一些实施例中，也可以通过调整FOV的值以便将通过使从观察数据生成的GeoArc重叠来测量的稠密度和精度最大化来估计FOV。在其他实施例中，可以通过在图像创建之后扫描图像的细节来估计传感器的FOV。一旦已知传感器的最大角度/视野(即传感器可视距离的全部范围)，然后可以为落入传感器的最大可视距离内的物体估计子角度。
假设参考图像存在(例如一块地的鸟瞰图)，该参考图像可以包括数个特征，借此数个2D-GeoArc可以基于特征对生成。假设在目标图像402中检测到的特征404和406可以匹配在参考图像412(在图4C中示出)中的两个参考特征414和416，那么配准技术可以计算映射到参考模型412的两个圆弧418、420(GeoArc)。两个弧418、420示出其中在传感器捕捉目标图像时该传感器可以相对于参考图像定位的可能视点。因此，2D-GeoArc指代与目标图像中两个特征之间特别角度关系一致的参考图像中的可能2D位置的圆弧(潜在多于一个实体弧)。在2D-GeoArc上的全部位置看到两个特征之间的相同角度。与参考图像关联的2D-GeoArc限制2D空间中的可能传感器视点位置。
因此，通过将在目标图像中检测到的两个特征之间的角度关系与源自参考图像的角度关系匹配，并考虑源自通过与已检测角度关联的GeoArc定义的参考图像的约束，可以定义地理位置假设，该已检测角度源自目标图像。地理位置假设是在2D空间中的一组位置，目标图像可以从该组位置取得。例如，地理位置假设可以由组{(LFr1，LFr2)，(LFq1，LFq2)，θ}来表示，其中LFri是参考模型特征，LFqi是输入图像特征，并且θ是在LFri和LFqi之间的角度分离。
应理解，遍及本申请，当向由传感器执行的决策、估计和/或计算做出参考时，这些决策、估计和/或计算可以由在该传感器自身内的仪器、电路或代码执行，或可以可替换地由在传感器已捕捉图像之后分析图像的另一设备执行。例如，在一些实施例中，在传感器内的电路或仪器可以估计假想连接线之间的角度(θ)。在其他实施例中，另一设备例如在数据处理系统上运行的计算机程序可以执行这样的估计。
与在上面解释相同的创建2D Geo-Arc/假设的过程可以为更多特征关系执行，并因此更多GeoArc/假设可以生成。由每个特征关系映射生成的2D-GeoArc可以然后重叠(如在图5A中示出)，生成地理位置可能性地图(GLM)。例如，参考图5A并假设优选2D-GeoArc，GLM 502可以是由两个或更多的2D-GeoArc的交点构成的点。如果2D-GeoArc不是优选的，那么GLM可以表示2D空间内的区域，在其内具有传感器视点存在的高度可能性。在此情况下，另外的GeoArc可以(尽管不必需)为更精细的定位提供另外的证据，导致更小的GLM区域。因此，在其中最多2D-GeoArc重叠的2D空间中的区域可以呈现最优证据从而确定地理位置面积(GA)。GA是配准过程确定具有是其中取得目标图像的地点的最高可能性的2D空间中的最终位置。
任何配准技术可能必须处理一些水平的不确定度，意味着GeoArc可以不是优选的线/弧。例如，在已描述技术中的误差的一个可能来源可以是因为难以确定传感器和特征之间的精确距离和定向，所以捕捉目标图像的传感器(或后来扫描目标图像的方法)必须将两个特征之间的角度求近似。如在图5B中可见，例如，在传感器数据中的误差或不确定度可以将不确定度引入2D-GeoArc生成过程。如图5B示出，不确定度可以导致与每个2D-GeoArc关联的更大范围的可能2D位置，这可以因此在GeoArc映射到参考图像上的时候导致与GeoArc关联的“厚度”。因此，如在图5C中示出，当不确定度引入多个GeoArc配准过程时，两个2D-GeoArc的交点可以形成交点区域510代替如在图5A中示出的交点。然而，随着分析更多特征关系并随着更多的GeoArc映射到参考图像，交点区可以变得相对小并因此关于GA的总不确定度水平可以最小化。
由于奠定基础的2D-GeoArc的理解，以下描述2D-GeoArc概念怎样延伸到3D-GeoArc。图6示出在3D空间中存在的特征对602、604之间的角度分离(θ)。如在图6中示出，3D-GeoArc是通过将2D-GeoArc绕连接特征对的直线(或轴)“摆动”或旋转(在含有特征对的平面中)来形成的表面。因此，相似于2D-GeoArc概念，在目标图像中特征对之间的已观察角度分离可以定义与3D参考模型关联的3d-GeoArc，并且3D-GeoArc限制3D空间中的可能传感器视点位置。因此，对于3D情况，特征对关系/关联假设是在目标图像(例如2D图像)中的特征对与在3D参考模型中的特征对之间的对应。该关联(假设)定义3D空间中的表面，真实地理位置可以位于该表面上，表示为3D-GeoArc。
图7示出其中使用在此描述的3D-GeoArc的配准技术可以有用的例子3D景象700。如在图7中可见，建筑物的两个拐角702、704可以由传感器706在其捕捉该景象的目标图像时识别为特征对。然后，传感器可以估计特征对之间分离(θ)的角度。然后假设特征(角落702、704)可以涉及3D参考模型中的两个相似特征，并且给定已估计角度(θ)，那么配准技术可以创建类似于带有零圆孔大小的“退化圆环”的3D-GeoArc 708。该“退化圆环”的表面可以定义3D参考模型内3D位置的范围，在传感器捕捉景象的目标图像时该传感器可以位于该范围内。
另外，关于使用在此描述的3D-GeoArc的配准技术，可以识别目标图像中的另外特征对，并且随着分析目标图像和3D参考模型之间的另外特征关系，另外的假设/3D-GeoArc可以映射到3D参考模型。3D-GeoArc的重叠或交叉创建3D地理位置可能映射(3D-GLM)。假设在特征对角度中没有不确定度，那么两个3D-GeoArc的焦点在3D空间中导致曲线，并且三个GeoArc的交点导致点。然而，实际上3D-GeoArc配准可以必须处理可以从目标图像传感器(或后来分析目标图像的装置)中的误差或不确定度导致的不确定度。关于3D-GeoArc，这些不确定度可以将GeoArc的表面“变厚”，如果两个或更多3D-GeoArc交叉或重叠，那么该“变厚”导致3D-GeoArc交叉体积。因此，3D-GLM可以表示3D空间内的体积，在该体积内具有传感器视点存在的高度可能性。另外的3D-GeoArc可以(尽管不必需)为更精细的定位提供另外的证据，导致更小的3D-GLM区域。因此，在其中若干3D-GeoArc重叠的3D空间中的体积可以是3D地理位置体积(3D-GV)的良好候选。3D-GV是配准过程确定具有是其中取得目标图像的地点的最高可能性的3D空间中的最终位置组。
作为视点确定步骤104(见于图1)的子步骤，每个3D-GeoArc可以在3D-GeoArc生成之后，并在3D-GeoArc添加到选举子步骤中可以考虑的3D-GeoArc的集合之前经历细化过程。其可以是对于特别生成的3D-GeoArc，不足以(或错误的)考虑沿全部GeoArc的点作为可能视点位置的情况。因此，细化过程可以分割出或忽略表示由于闭塞(阻塞)因此不可从其看到特征对的视点位置，即不可以从其检测到重要特征的视点位置的3D-GeoArc的部分。另外，细化过程可以基于参考数据(例如源于地理空间数据库的数据)分割出或忽略表示实际上不可能的视点位置的部分。例如，如果其中假设潜在视点的物体存在(例如巨大岩石或建筑物)，那么可以忽视该视点。同样，关于传感器必须(或必须不)在哪里的任何其他信息可以帮助细化3D-GeoArc。
另外，在一些实施例中，如在上面解释，参考模型分成数个重叠单元或区域。同时在多个区域中仅考虑小数目的特征关系可以导致相对大数目的初始可能的视点位置。然而，可以通过用参考数据执行检查从而预测应是可见的给定候选假设的特征来细化候选池(可以拒绝许多候选)。如果观察到预测特征，那么它们用作另外证据从而增强假设并允许另外地标特征的预测。通过凭借这些细化技术的多次重复进展到减小可能位置的数目，可以在不需要执行全局特征匹配的情况下迅速且有效估计地理位置。
一旦细化的GeoArc池添加到可以考虑的GeoArc的集合，那么下个子步骤可以执行——选择或“选举”通过将3D-GeoArc重叠来创建的最可能的地理位置(3D体积)。该子步骤搜索与景象的目标数据和参考3D模型中的特征对关系最一致的地理位置体积。每个特征对关系(3D-GeoArc)在与该关系一致的可能传感器视点组上施加几何约束。因此，可以使用3D-GeoArc选举(或几何形状选举)确定最可能的传感器视点，从而发现最紧密满足由在目标图像和3D参考模型中的已观察特征对角度施加的约束的视点。
3D-GeoArc选举(或几何形状选举)指代寻找带有最多重叠3D-GeoArc的体积(并且理想地一个体积)的过程。因此，可以通过寻找其中最多3D-GeoArc的3D体积，由此确定与证据最一致的近似视点位置来确定关于3D空间中传感器的视点位置的不确定度的水平。该几何形状选举过程向配准过程添加鲁棒性。尽管在目标传感器信息中的潜在误差，并且没有密集构成的数据库(由当前配准技术所需要)，但本申请的解决方案仍可以通过主要依靠不限于地平面图的容易可得的地理空间地图数据准确并迅速确定传感器的3D位置。
在估计视点的主步骤内的最终子步骤是将目标图像与3D参考模型配准，并任选确认该配准。一旦已确定传感器的地理位置，那么相机的定向(角度)可以确定，例如通过参考用来相对于最终视点生成GeoArc的特征来确定。最终图像配准(将目标图像和3D参考模型融合)可以通过将目标图像和参考模型之间的特征匹配来执行，该特征与有助于确定正确相机视点的地理位置的3D-GeoArc对应。在一些实施例中，一旦最终配准过程完成，那么可以通过预测如果配准/视点确定正确那么应该可见另外特征，将3D参考模型再次用于确认。
在此描述的配准技术的第三主步骤是投影步骤，其包括基于3D参考模型将目标图像的数据投影进入复合3D景象表示。一旦定位传感器或相机(视点确定)，那么投影步骤可以确定在传感器的视场中(从目标图像)识别的一个或更多物体的地理位置。通过使用源自相机/传感器的信息、源自3D参考模型的信息和在视点确定步骤期间累积的关系信息，投影步骤可以估计在目标图像的任何像素的3D复合景象内的空间位置。
在一个例子中，地平面信息从3D参考模型获取。地平面可以指代与3D参考模型中的地面最一致的3D表面。然后，相似于其中可以估计目标图像中特征之间的角度的方式，传感器可以估计与传感器和目标图像中的像素之间的视线关联的角度。然后，投影步骤可以执行光线跟踪技术，借此假想线(或光线)从传感器的视点/位置(其可以是已知的)延伸到地平面。在该例子中，与地平面上的物体关联的每个像素可以投影到参考模型的地平面上。在另一例子中，光线可以延伸直到其接触代替地面的建筑物、桥梁等，因此可以投影与结构上的物体关联的像素。在更另一例子中，传感器可以估计与传感器和目标图像中的像素之间的视线关联的角度，并估计像素和传感器之间的距离。然后在3D复合景象中像素的地理位置可以作为相机/传感器的地理位置(原点)加上平移(基于由传感器估计的角度和距离信息的相对于原点的角度和距离)来计算。
在相机中检测到的物体的模型或化身可以在3D地图或模型上投影进入正确位置。在该方面中，3D参考模型可以用作共同框架以便将2D多模型图像以及视频组合并地理配准，从而创建复合3D景象表示。该投影可以实时(动态地)完成，以使在目标图像中识别的物体可以迅速投影进入3D复合图像，由此为将多模型图像数据组合提供景象和融合框架的动态实时共同操作图片。在2D景象图像中检测到的移动物体可以作为化身实时投影进入3D框架。
应理解即使本申请的描述可以涉及“投影进入参考模型”的目标图像数据，但该短语不必需按字面解释。在本申请的一些实施例中，复合3D景象表示可以是基于3D参考模型的数据的复合，即使其是数据的分离复合。在这些例子中，目标图像数据可以投影进入复合景象表示，或在复合景象表示中表示。
应用2D-GeoArc的测试已证明在此描述的配准技术的可行性，并且证明尽管有目标图像感测误差和其他不确定度，但仍保持鲁棒性。在一个测试中，在加利福尼亚州马里布的16km2面积的地形地图数据用作参考模型，并且目标图像用位于附近的45°视场(FOV)的相机取得。测试假设可观察地标特征在相机FOV内随机分布，而且相机具有最小(接近)和最大(远离)范围，在该范围内可以检测到特征。对于全部试验，测试假设FOV估计的特征角度分离测量值中的20％误差。然后通过为在目标图像中检测到的各种数目的地标特征叠加2D-GeoArc来计算地理位置可能性地图(GLM)。然后通过识别带有最高程度的重叠2D-GeoArc的GLM的部分来检测地理位置面积(GA)。测试包括50个随机试验，其中GA在每个试验中确定。
应用2D-GeoArc的测试结果在图8A-C中示出。图8A-C示出参考图像(例如地形)的三个例子视图，其中每个参考图像都包括作为相机在目标图像中检测到不同数目地标的结果创建的一个或更多地理位置可能性地图(GLM)。图8A示出其中相机检测到两个地标特征810、812并且GLM 802被创建的测试的结果。图8B示出其中相机检测到三个地标特征814、816、818并且两个GLM 804、806被创建的测试的结果。图8C示出其中相机检测到四个地标特征820、822、824、826并且GLM 808被创建的测试的结果。在图8A-C的图像的全部中，暗灰色区域标记GLM(其中拍摄目标图像的相机可以相对于参考图像定位的可能点的区域)。如在图8A-C的连续图像中可见，随着相机检测到更多特征，GLM(暗灰色区域)的大小非常迅速减小。在相机检测到两个特征(图8A)时，GLM 802由两个完整的新月形(完整的2D-GeoArc)构成。然而，在相机检测到四个特征(图8C)时，GLM由相对小的区域构成。
图8D-F示出作为已检测特征的数目的函数由50个随机试验生成的GA(最终地理位置面积)的“盒须图(box and whisker)”图表。图8D-F示出三个图表，其每个图表是三个不同范围中的一个。图8D示出表示其中仅考虑在距相机2和4km之间距离的地标的结果的图表(接近情况)。图8E示出表示其中仅考虑在距相机4和6km之间距离的地标的结果的图表(远离情况)。图8F示出表示其中仅考虑在距相机2和6km之间距离的地标的结果的图表(混合情况)。一般地，图表示出随着特征的数目从3增加到6，由暗色水平线表明的中值GA(例如直线852、854、856、858、860)以10X下降。例如，在4到6km范围(图8E)中，对于3个特征，中值GA是0.06km2，而对于6个特征，中值GA下降到0.005km2，10x下降。在50个试验上的由高于和低于每条中值GA线的彩色方盒(例如方盒870、872)的顶部和底部表明的在最大和最小GA之间的下降甚至是更动态的，在从3个特征达到7个特征中从最高的最大值下降几乎100x到最低的最小值。
另外，应用3D-GeoArc的模拟已证明在此描述的配准技术的可行性。源自例子模拟的测试图像和结果在图9A-C中示出。在该例子模拟中，景象的2D图像(在图9A中示出)用作目标图像。使用EO图像传感器捕捉该2D图像。两个特征对(902、904和906、908)在目标图像中在不同定向挑选。然后3D-GeoArc表面(910、912)为每个特征对生成(在图9B中示出)。如在图9B中可见，两个3D-GeoArc表面的交叉914导致3D曲线(或如果引入不确定度那么是弯曲体积)。因此，可以通过在3D-GeoArc的交叉914上聚焦来估计传感器视点，并且更多的3D-GeoArc可以为另外特征对考虑从而改善准确度。
模拟也测试创建3D参考模型的过程，该过程通过分析实际景象的LIDAR图像(在图9C中示出)来估计特征类型和特征位置。该过程从LIDAR数据成功分割出地面特征类型和特征位置。地面特征(即，公路、停车场角落和边缘)对于在相同景象的2D EO图像和3D表示之间相似特征类型和特征位置的区域位置匹配是有用的。
除在本申请中已经描述的配准技术的益处之外，以下描述一个或更多实施例的进一步益处。理解遍及本申请描述的益处和优点不是限制或需求，并且一下实施例可以省略描述的益处和/或优点中的一个或更多。
本申请的解决方案的一个益处是可以完成复杂景象配准的速度，该速度允许可缩放性。可缩放性一般指代采取作用于小比例上并将其应用到大得多比例的问题上的技术的能力。例如，良好作用于简单参考模型和简单目标图像的图像配准技术(例如在其上利用直接特征匹配)不良好作用于复杂地形或没有已知地标的巨大数据库的区域，或在照明改变使得已检测地标看上去不同于已存储地标时不良好作用。由于可缩放性对于全局定位是重要的，因此作者已发展用于索引并匹配数千万个视觉特征的方法，并且因此这些方法也需要复杂特征树从而查找已知特征。索引特征树可以是复杂且计算密集的过程，这可以直接降低配准过程的存储和匹配能力，这可以导致特征匹配的降低区别性。
本申请的解决方案可以不需要直接特征匹配，并且可以不需要依靠从地平面图像和3D扫描建立的精确几何模型。因此，在此描述的解决方案可以不需要执行与由当前技术使用的计算一样处理器密集的匹配计算。因此，在此描述的解决方案可以能够比当前技术快得多地计算物体的地理位置，这意味着在此描述的解决方案可以缩放从而处理复杂得多的情境。另外，因为在此描述的解决方案不依靠直接特征匹配，所以可以无关于密集构成的特征数据库是否存在，并且无关于照明、季节和天气的改变来计算地理位置。同样，在此描述的解决方案可以使用天然和人工的特征，这允许任意环境的一般化。
本申请的一个或更多实施例可以具有各种应用，这可以使在此描述的解决方案的一些益处进一步显著。理解遍及本申请描述的应用、益处和优点不是限制或需求，并且一些实施例可以更适合于一些应用。
例如，本申请的一个或更多实施例可以应用于航空监视和/或UAV(无人航空器)。图10和11每个都示出包括在风景1004、1104上方飞行的UAV 1002、1102的例子景象1000、1100。图10示出UAV 1002的成角度自顶向下视图，并且图11示出UAV 1102的成角度自顶向下视图。每个UAV 1002、1102都可以包括可以执行在此描述的图像配准技术的部分或全部的数据处理系统。例子数据处理系统的详情在下面进一步详细描述。数据可以系统可以安装在UAV上，例如容纳在UAV的机身里面。每个UAV 1002、1102可以进一步包括能够捕捉在传感器的视场内捕捉风景1004、1104的图像的传感器或相机。例如，参考图11，传感器或相机可以位于UAV的机鼻附近，可能在机鼻的下侧上，容纳在透明外壳1106内。在该例子中，因为传感器向下成角度并位于UAV的下侧上，所以该传感器可以具有允许传感器立刻捕捉大视野的风景1104的宽视场1108(FOV)。在操作中，在UAV上的传感器可以拍摄在UAV下面的风景的一个或更多目标图像。然后在UAV内的数据处理系统可以执行将目标图像的详情映射到预定3D参考模型的图像配准技术。可替换地，UAV可以将一个或更多目标图像传输到可以执行配准技术的远程数据处理系统。
航空器或监视位置可以需要将源自多个传感器和平台的多模型2D和3D图像数据配准/融合进入单个共同操作景象。除了传感器数据的融合之外，在传感器的视场中检测到的物体的模型或化身可以需要投影进入3D地图或模型上的正确位置，提供动态实时3D融合框架和共同的操作景象。该图像融合可以需要使用许多不同的相机角度在扩展的地理图形区域上迅速且正确作用。本申请的一个或更多实施例可以供应这样的解决方案。
在其他例子中，本申请的一个或更多实施例可以用于计算机视觉、医学成像、军用自动目标识别、遥感(制图更新)以及编译和分析源自卫星的图像和数据。图像配准技术也可以用来将内科病人的数据配准到解剖学图集例如Talairach图集以便神经成像。图像复原(Image restoration techniques)技术也可以在天体照相学中使用从而将拍摄空间的图像对齐，其中计算机使用控制点并在一个图像上执行变换从而使得主要特征与第二图像对齐。图像配准也是全景图像创建的基本部分。此外，具有可以实时实施并可以在嵌入式装置如相机和相机电话上运行的许多不同技术。本申请的一个或更多实施例可以供应向这些应用中的全部添加灵活性的解决方案。
此外，由于图像配准技术可以应用到的广泛应用，因此直到现在难以发展为全部用途最优化的方法。代替地，许多应用已包括另外技术从而处理应用的独特状况。例如，在时间上的不同点取得的涉及单个病人的数据的医学图像配准经常另外涉及弹性的(也称为非刚性的)配准，从而处理对象(例如由于呼吸、解剖学改变、肿瘤生长等的变形)。因为可以由本申请的一个或更多实施例供应的灵活性，因此本申请可以提供为如果不为全部则为许多的用途最优化的通用图像配准方法。
在本申请的一些实施中，包括在不同的示出实施例的一个或更多流程图或框图中图解的例子方法和例程的技术、方法、例程和/或解决方案可以由数据处理系统执行，该数据处理系统经编程以使该数据处理系统适于实行和/或执行在此描述的方法、例程和解决方案。在此参考的框图或流程图中的每个方框或符号可以表示计算机可用或可读程序代码的模块、分段或部分，该计算机可用或可读程序代码包含一个或更多可执行指令以便由一个或更多数据处理系统实施指定的功能或多个功能。应理解，在一些实施例中，在框图或流程图的方框或符号中图解的功能或多个功能可以在图中提到顺序之外的顺序发生。例如，在一些情况下连续示出的两个方框可以基本同时执行，或该方框可以有时以颠倒顺序执行，取决于涉及的功能性。因此，本申请的不同实施例可以采取可从计算机可用或计算机可读媒体访问的计算机程序产品的形式，该计算机可用或计算机可读媒体提供程序代码以便由执行指令的计算机或任何装置或系统使用，或与该计算机或装置或系统一起使用。可替换地，本申请的不同实施例可以采取存储在计算机可读媒体例如永久存储或硬盘驱动器上(并可以从该计算机可读媒体访问)的计算机程序的形式。
现在转到图12，示出可以执行本申请的方法、例程和解决方案的例子数据处理系统1200的框图。在该例子中，数据处理系统1200包括通信构造1202，通信构造1202在处理器单元1204、存储器1206、永久存储器1208、通信单元1210、输入/输出(I/O)装置1212以及传感器或相机1214之间提供通信。总线系统可以用来实施通信构造1202，并可以由一条或更多总线例如系统总线或输入/输出总线构成。可以使用为数据提供在附加到总线系统的不同部件或装置之间传递的任何合适类型的架构来实施总线系统。
处理器单元1204用来执行可以从永久存储器(例如硬盘驱动器)或从计算机程序产品1220(例如CD或DVD)装载进入存储器1206的指令。处理器单元1204可以是一组一个或更多处理器或可以是多处理器核心，取决于特别实施。进一步地，处理器单元1204可以使用其中主处理器和从处理器在单个芯片上一起存在的一个或更多异构处理器系统来实施。作为另一图解例子，处理器单元1204可以是含有相同类型的多个处理器的对称多处理器系统。
存储器1206在这些例子中可以是例如随机访问存储器或任何其他合适的易失或非易失存储装置。永久存储器1208可以采取各种形式，取决于特别实施。例如，永久存储器1208可以含有一个或更多部件或装置。例如，永久存储器1208可以是硬盘驱动器、闪存存储器、可重写光盘、可重写磁带或上面的一些组合。由永久存储器1208使用的媒体也可以是可移除的。例如可以使用可移除硬盘驱动器。
用于操作系统的指令可以位于永久存储器1208上。在一个具体实施例中，操作系统可以是数个已知操作系统的一些版本。用于应用程序和/或程序的指令也可以位于永久存储器1208上。这些指令和/或程序可以加载进入存储器1206以便由处理器单元1204执行。例如，在本申请中描述的不同实施例的过程可以由处理器单元1204使用可以加载进入存储器例如存储器1206的计算机实施指令来执行。这些指令称为可以由处理器单元1204中的处理器读取并执行的程序代码、计算机可用程序代码或计算机可读程序代码。在不同实施例中的程序代码可以在不同的实体或有形计算机可读媒体例如存储器1206、永久存储器1208上实施。
用于应用程序和/或程序的指令也可以作为不永久包括在数据处理系统1200中的计算机程序产品1220的部分被包括。计算机程序产品1220可以包括计算机可读媒体1222和程序代码1224的形式。例如，程序代码1224可以以功能形式位于计算机可读媒体1222上，并可以装载进入或传递到数据处理系统1200以便由处理器单元1204执行。程序代码1224和计算机可读媒体1222可以形成计算机程序产品1220。在一个例子中，计算机可读媒体1222可以是有形形式例如光盘或磁盘，该光盘或磁盘插入或放入驱动器其他装置，以便传递到是永久存储器1208的部分的存储装置例如硬盘驱动器上。该驱动器或其他装置可以连接到数据处理系统1200的其他部件并与该其他部件通信，例如经通信构造1202连接并通信。在另一有形形式中，计算机可读媒体可以是连接到数据处理系统1200的永久存储例如硬盘驱动器或闪存存储器。
为了本申请，计算机可用或计算机可读媒体可以一般指代可以含有、存储、通信、传播或传送数据(例如软件程序)，以便由系统例如执行指令的系统使用或与该系统一起使用的任何有形设备。计算机可用或计算机可读媒体可以是无限制例如电、磁、光、电磁、红外或半导体系统或传播媒体。计算机可读媒体的非限制例子包括半导体或固态存储器、磁带、可移除计算机磁盘、随机访问存储器(RAM)、只读存储器(ROM)、硬磁盘和光盘。光盘可以包括紧凑盘只读存储器(CD-ROM)、紧凑盘读/写(CD-R/W)和DVD。进一步地，计算机可用或计算机可读媒体可含有或储存计算机可读或可用程序代码，以使在计算机可读或可用程序代码在计算机上执行时，该计算机可读或可用程序代码的执行导致计算机执行具体的例程、规程、步骤等。计算机可读媒体的有形形式也称为计算机可记录存储媒体。
输入/输出装置1212允许用可以连接到数据处理系统1200的其他装置输入和输出数据。例如，输入/输出装置1212可以是可以读取存储在计算机可读媒体(例如CD或DVD)，例如计算机可读媒体1222上的数据的CD或DVD驱动器。输入/输出装置可以直接或通过中介I/O控制器间接耦合到系统。程序代码1224可以从计算机可读媒体1222通过输入/输出装置1212传递到数据处理系统1200。
为数据处理系统1200图解的不同部件不意味着向其中可以实施不同有利实施例的方式提供架构限制。可以在包括除为数据处理系统1200图解的部件之外或替代该部件的数据处理系统中实施不同的图解实施例。在图12中示出的其它部件可以从示出的图解例子变化。
程序代码1224可以采取执行由在此描述的图像配准技术需要的计算和过程中的许多的计算机代码的形式。图13示出例子程序代码1302，其可以包括在此描述的图像配准技术中的一个或更多，包括由本申请的流程图中的一个或更多描述的技术。程序代码1302可以与参考数据库1304通信，其中参考数据库1304含有参考数据，例如由在此描述的解决方案中的一个或更多需要的一个或更多参考模型。参考数据库1304可以存储在例如相似于在图12中示出的永久存储的永久存储上。可替换地，参考数据库1304可以存储在相对远离可以执行程序代码1302定位的存储装置上。程序代码1302也可以与相机或传感器1306通信，其中该传感器可以能够捕捉一个或更多目标图像(例如在传感器视场1308内的景象)，从而由在此描述的解决方案中的一个或更多使用。传感器1306可以直接耦合到数据处理系统，相似于图12的传感器1214耦合到数据处理系统1200，其中该数据处理系统执行图像配准技术(程序代码1302)。可替换地，执行图像配准技术(程序代码1302)的系统可以相对远离传感器1306定位，在此情况下由传感器1306捕捉的目标图像可以传输到远程系统。
再次参考图12，数据处理系统1200可以包括可以在数据处理系统1200和其他数据处理系统或装置之间提供通信的通信单元1210。在这些例子中，通信单元1210可以是网络接口卡。通信单元1210可以通过使用允许输入和输出数据的实体和无线通信链路中的任意一个或两个来提供通信。通信单元可以包括用来传输和接收数据的一个或更多装置，例如调制解调器或网络适配器。通信链路在图解例子中可以是实体的或无线的。在本申请的一些实施例中，如果例如参考数据库或传感器/相机安装在远离数据处理系统1200的位置，那么通信单元1210可以提供接口因此数据可以传输到这些远程部件，并可以从这些远程部件传输。例如，数据处理系统1200可以从远程传感器/相机经通信单元1210接收数据，或数据处理系统1200可以从远程参考数据库经通信单元1210接收数据。
图14示出根据本申请的一个或更多实施例的联网数据处理系统和部件的例子网络系统1400的图示。网络系统1400可以包括网络1410，网络1410潜在连接一个或更多客户端机或客户端1404、潜在连接一个或更多服务器机或服务器1402、潜在连接独立存储装置例如存储器1406以及可以安装在交通工具1408(例如UAV)上的数据处理系统。客户端机或客户端1404可以是例如个人计算机或最终用户计算机。网络1410是用来在各种数据处理系统(以及可能的其他部件)之间提供通信链路的媒体，并且网络1410可以包括连接例如有线或无线通信链路或可能的光缆。网络1410可以包括互联网连接和可能的远程安全连接。在一些例子中，网络1410表示使用传输控制协议互联网协议(TCP/IP)的协议组从而相互通信的网络和网关的世界范围集合。网络系统1400也可以实施为数个相似或不同类型的网络，例如内部网、局域网(LAN)或广域网(WAN)。通常，在网络系统1400内的每个数据处理系统和部件包括通信单元例如图12的通信单元410，由此允许数据处理系统或部件与网络1410并进而与其他联网的数据处理系统交互。
在一个例子中，数据处理系统可以安装在交通工具1408(例如UAV)上，并且该数据处理系统可以包括通信单元，该通信单元允许与网络1410并进而与其他联网的数据处理系统的无线连接1412。安装在交通工具1408上的数据处理系统可以相似于图12的数据处理系统1200。安装在交通工具1408上的数据处理系统可以执行在此描述的配准技术的部分或全部。例如，数据处理系统可以经网络1410获取参考数据(例如从服务器机或服务器1402或联网存储例如存储器1406)，并然后经交通工具1408上的数据处理系统执行配准计算的剩余部分。在另一例子中，数据处理系统可以经交通工具1408搭载的传感器获取目标图像，并然后经网络1410传输目标图像到联网数据处理系统(例如包括在客户端机或客户端1404或服务器机或服务器1402内)，借此联网数据处理系统执行配准计算中的大部分。
图14旨在作为例子并且不作为不同实施例的架构限制。应理解网络系统1400可以包括另外的(或更少的)服务器机或服务器1402、客户端机或客户端1404、存储器1406、交通工具1408以及未示出的可能的其他数据处理系统和/或装置。另外，交通工具1408可以是UAV之外的一些交通工具，例如另一类型的飞行器、机动车、船只等。另外，代替交通工具1408或除交通工具1408之外，网络系统1400可以包括容纳在装置内但不是容纳在交通工具内的传感器或相机(并任选包括数据处理系统)。例如，相机系统可以安装在柱杆、建筑物、天然地标上，甚至由人携带。
在附图和文本中，在一方面中申请用于图像配准的方法，该方法包括建立景象(700)的三维参考模型；获取景象(700)的目标图像(402)，目标图像(402)用传感器(706、1214、1306)捕捉；使用一个或更多三维地理弧确定捕捉目标图像(402)的传感器(706、1214、1306)的视点，其中相对于三维参考模型确定传感器(706、1214、1306)的视点；通过将源自目标图像(402)的数据与源自三维参考模型的数据关联来生成景象(700)的复合三维表示，其中传感器(706、1214、1306)的视点用来执行该关联。在一个变体中，用于图像配准地方法包括其中确定传感器(706、1214、1306)的视点的步骤，该步骤进一步包括：识别三维参考模型中的一个或更多特征对；
识别目标图像(402)中的一个或更多特征对；对于目标图像(402)中的每个特征对，将目标图像(402)中的每个特征对与三维参考模型中的特征对中的一个关联，估计与目标图像(402)中的特征对关联的角度(θ)，生成与三维参考模型关联的三维地理弧表面(910、912)，其中该地理弧表面(910、912)表示在目标图像(402)中的特征对和已估计角度(θ)之间的关系；以及在三维空间中相对于三维参考模型识别位置，其中两个或更多的三维地理弧表面重叠。
在一个变体中，用于图像配准的方法包括其中生成三维地理弧表面(910、912)的步骤，该步骤包括通过改变地理弧表面(910、912)的厚度来表示在已估计角度(θ)中的不确定度。在另一变体中，用于图像配准的方法包括其中已生成的地理弧表面(910、912)可以与先前生成的地理弧表面(910、912)重叠，创建三维体积。在另一变体中，用于图像配准的方法进一步包括：将其中最多地理弧表面重叠的位置选为传感器(706、1214、1306)的已确定视点。在更另一变体中，用于图像配准的方法进一步包括：对于在目标图像中的每个特征对，
通过基于用参考数据检查忽略或移除涉及不正确视点的三维地理弧表面(910、912)的部分，将已生成三维地理弧表面(910、912)细化。在更另一变体中，用于图像配准的方法进一步包括：通过参照参考数据确认传感器(706、1214、1306)的已确定视点，从而预测如果传感器(706、1214、1306)的已确定视点正确那么应在目标图像(402)中可见的另外特征。
在一个例子中，用于图像配准的方法包括其中生成复合三维表示的步骤，该步骤进一步包括：确定相对于复合三维表示的传感器(706、1214、1306)的位置和传感器(706、1214、1306)的角度(θ)；以及通过为每个物体向传感器(706、1214、1306)的位置添加平移，确定在目标图像(402)中可见的一个或更多物体相对于复合三维表示的位置。在更另一例子中，用于图像配准的方法包括其中生成景象(700)的复合三维表示的步骤，该步骤包括将与目标图像(402)关联的一个或更多物体实时投影进入3D复合景象(700)。在更另一例子中，用于图像配准的方法包括其中建立三维参考模型，建立三维参考模型包括使用源自地理空间智能数据库的信息建立三维参考模型。
在一个实例中，用于图像配准的方法包括其中表征在三维参考模型中和在目标图像(402)中识别的特征对的特征，以使它们不随着参考模型和目标图像(402)的旋转和缩放而变化。在另一实例中，用于图像配准的方法包括其中确定传感器(706、1214、1306)的视点的步骤，该步骤包括将三维参考模型划分成数个区域，并在该区域中的一个或更多内确定传感器(706、1214、1306)的潜在视点。
在一个方面中，申请用于图像配准的方法，该方法包括：识别三维参考模型中的一个或更多特征对；识别目标图像(402)中的一个或更多特征对；对于在目标图像(402)中的每个特征对，将目标图像(402)中的特征对与三维参考模型中的特征对中的一个关联，估计与目标图像(402)中的特征对关联的角度(θ)，生成与三维参考模型关联的三维地理弧表面(910、912)，其中该地理弧表面(910、912)表示在目标图像(402)中的特征对和已估计角度(θ)之间的关系；以及在三维空间中相对于三维参考模型识别位置，其中两个或更多的三维地理弧表面重叠。
在一个变体中，用于图像配准的方法进一步包括改变地理弧表面(910、912)的厚度，从而表示已估计角度(θ)中的不确定度。在另一变体中，用于图像配准的方法包括其中已生成的地理弧表面(910、912)可以与先前生成的地理弧表面重叠，创建三维体积。
在一个方面中，申请航空器，包括：适应捕捉图像的传感器(706、1214、1306)，以及通信耦合到传感器(706、1214、1306)的数据处理系统，该数据处理系统经编程：建立景象(700)的三维参考模型；从传感器(706、1214、1306)获取景象(700)的目标图像(402)；
使用一个或更多三维地理弧确定捕捉目标图像(402)的传感器(706、1214、1306)的视点，其中相对于三维参考模型确定传感器(706、1214、1306)的视点；以及通过将源自目标图像(402)的数据与源自三维参考模型的数据关联来生成景象(700)的复合三维表示，其中传感器(706、1214、1306)的视点用来执行该关联。在一个变体中，航空器包括其中确定传感器(706、1214、1306)的视点，所述数据处理系统经进一步编程：识别三维参考模型中的一个或更多特征对；识别目标图像(402)中的一个或更多特征对；对于目标图像(402)中的每个特征对，将目标图像(402)中的每个特征对与三维参考模型中的特征对中的一个关联，估计与目标图像(402)中的特征对关联的角度(θ)，生成与三维参考模型关联的三维地理弧表面(910、912)，其中该地理弧表面(910、912)表示在目标图像(402)中的特征对和已估计角度(θ)之间的关系；以及在三维空间中相对于三维参考模型识别位置，其中两个或更多的三维地理弧表面(910、912)重叠。
在另一变体中，航空器包括其中生成景象(700)的复合三维表示，所述数据处理系统经进一步编程：将与目标图像(402)关联的一个或更多物体实时投影进入3D复合景象(700)。在更另一变体中，航空器包括其中传感器(706、1214、1306)位于该航空器上，以使风景和景象(700)可以落入传感器的视场内。在更另一变体中，航空器包括其中数据处理系统包括存储器，其中该存储器可操作从而存储包括三维参考模型的参考数据，并且其中该存储器可操作从而存储由传感器(706、1214、1306)捕捉的图像。
不同有利实施例的描述为图解和描述目的呈现，并且其不旨在以申请的形式排斥或限制实施例。许多修改和变化对于本领域技术人员明显。进一步地，不同有利实施例可以提供与其它有利实施例比较的不同优点。挑选和描述已选择的实施例或多个实施例以便最优解释实施例的原理、实际应用，并使本领域技术人员能够理解具有各种修改的各种实施例的本申请适合设想的特别用途。
Claims (9)
1.一种用于图像配准的方法，所述方法包含：
建立景象(700)的三维参考模型；
获取所述景象(700)的目标图像(402)，所述目标图像(402)用传感器(706、1214、1306)捕捉；
使用一个或更多三维地理弧确定捕捉所述目标图像(402)的所述传感器(706、1214、1306)的视点，
其中相对于所述三维参考模型确定所述传感器(706、1214、1306)的所述视点；以及
通过将源自所述目标图像(402)的数据与源自所述三维参考模型的数据关联来生成所述景象(700)的复合三维表示，
其中所述传感器(706、1214、1306)的所述视点被用来执行所述关联；
其中确定所述传感器的所述视点的步骤进一步包含：
识别所述三维参考模型中的一个或更多特征对；
识别所述目标图像(402)中的一个或更多特征对；
对于所述目标图像(402)中的每个特征对，
将所述目标图像(402)中的所述特征对与所述三维参考模型中的所述特征对中的一个关联，
估计与所述目标图像(402)中的所述特征对关联的角度，
生成与所述三维参考模型关联的三维地理弧表面(910、912)，
其中所述地理弧表面(910、912)表示在所述目标图像(402)中的所述特征对和已估计角度之间的关系；以及
识别在三维空间中两个或更多三维地理弧表面重叠的相对于三维参考模型的位置。
2.根据权利要求1所述的用于图像配准的方法，
其中，生成三维地理弧表面(910、912)的步骤包括通过改变所述地理弧表面(910、912)的厚度来表示在所述已估计角度中的不确定度；以及
其中，已生成的地理弧表面(910、912)可以与先前生成的地理弧表面重叠，创建三维体积。
3.根据权利要求2所述的用于图像配准的方法，进一步包含：
将其中最多地理弧表面重叠的位置选为所述传感器(706、1214、1306)的已确定视点；以及
通过参照参考数据确认所述传感器(706、1214、1306)的所述已确定视点，从而预测如果所述传感器(706、1214、1306)的所述已确定视点正确那么应在所述目标图像(402)中可见的另外特征。
4.根据权利要求2所述的用于图像配准的方法，进一步包含：
对于在所述目标图像中的每个特征对，
基于用参考数据检查，通过忽略或移除涉及不正确的视点的所述三维地理弧表面(910、912)的部分，将所述已生成的三维地理弧表面(910、912)细化。
5.根据权利要求1所述的用于图像配准的方法，其中生成复合三维表示的步骤进一步包含：
确定相对于所述复合三维表示的所述传感器(706、1214、1306)的所述位置和所述传感器(706、1214、1306)的所述角度；以及
通过为每个物体向所述传感器(706、1214、1306)的所述位置添加平移，确定在所述目标图像(402)中可见的一个或更多物体相对于所述复合三维表示的位置；
其中生成所述景象(700)的复合三维表示的步骤包括将与所述目标图像(402)关联的一个或更多物体实时投影进入3D复合景象；以及
其中建立三维参考模型包含使用源自地理空间智能系统数据库的信息建立三维参考模型。
6.根据权利要求2所述的用于图像配准的方法，其中表征在所述三维参考模型中和在所述目标图像(402)中识别的所述特征对的所述特征，以使它们不随着所述参考模型和所述目标图像(402)的旋转和缩放而变化；以及
其中确定所述传感器(706、1214、1306)的所述视点的步骤包括将所述三维参考模型划分成数个区域，并在所述区域中的一个或更多内确定所述传感器(706、1214、1306)的潜在视点。
7.一种航空器，包含：
适于捕捉图像的传感器(706、1214、1306)；
通信耦合到所述传感器(706、1214、1306)的数据处理系统，所述数据处理系统经编程：
建立景象(700)的三维参考模型；
从所述传感器(706、1214、1306)获取所述景象(700)的目标图像(402)；
使用一个或更多三维地理弧确定捕捉所述目标图像(402)的所述传感器(706、1214、1306)的视点，
其中相对于所述三维参考模型确定所述传感器(706、1214、1306)的视点；以及
通过将源自所述目标图像(402)的数据与源自所述三维参考模型的数据关联来生成所述景象(700)的复合三维表示，
其中所述传感器(706、1214、1306)的所述视点被用来执行所述关联；
其中为了确定所述传感器(706、1214、1306)的所述视点，所述数据处理系统经进一步编程：
识别所述三维参考模型中的一个或更多特征对；
识别目标图像(402)中的一个或更多特征对；
对于所述目标图像(402)中的每个特征对，
将所述目标图像(402)中的所述特征对与所述三维参考模型中的所述特征对中的一个关联，
估计与所述目标图像(402)中的所述特征对关联的角度，
生成与所述三维参考模型关联的三维地理弧表面(910、912)，
其中所述地理弧表面(910、912)表示在所述目标图像(402)中的所述特征对和已估计角度之间的关系；以及
识别在三维空间中两个或更多三维地理弧表面(910、912)重叠的相对于三维参考模型的位置。
8.根据权利要求7所述的航空器，其中为了生成所述景象(700)的复合三维表示，所述数据处理系统经进一步编程将与所述目标图像(402)关联的一个或更多物体实时投影进入3D复合景象。
9.根据权利要求7所述的航空器，其中所述传感器(706、1214、1306)位于所述航空器上，以使风景和景象(700)可以落入传感器的视场内；以及
其中所述数据处理系统包括存储器，以及
其中所述存储器可操作从而存储包括所述三维参考模型的参考数据，并且其中所述存储器可操作从而存储由所述传感器(706、1214、1306)捕捉的图像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/459,643 US8855442B2 (en) | 2012-04-30 | 2012-04-30 | Image registration of multimodal data using 3D-GeoArcs |
| US13/459,643 | 2012-04-30 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103377476A CN103377476A (zh) | 2013-10-30 |
| CN103377476B true CN103377476B (zh) | 2018-04-03 |
Family
ID=48128081
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310156319.9A Active CN103377476B (zh) | 2012-04-30 | 2013-04-28 | 使用三维地理弧的多模型数据的图像配准 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US8855442B2 (zh) |
| EP (1) | EP2660777B1 (zh) |
| JP (1) | JP6168833B2 (zh) |
| CN (1) | CN103377476B (zh) |
| AU (1) | AU2013200708B2 (zh) |
| BR (1) | BR102013010781B1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12033230B2 (en) * | 2020-02-18 | 2024-07-09 | International Business Machines Corporation | Development of geo-spatial physical models using historical lineage data |
Families Citing this family (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9501700B2 (en) | 2012-02-15 | 2016-11-22 | Xactware Solutions, Inc. | System and method for construction estimation using aerial images |
| US9756280B2 (en) * | 2013-02-22 | 2017-09-05 | Ohio University | Reduction of sensor captured data streamed to an operator |
| EP3541071A1 (en) * | 2013-08-02 | 2019-09-18 | Xactware Solutions Inc. | System and method for detecting features in aerial images using disparity mapping and segmentation techniques |
| CN103810686A (zh) * | 2014-02-27 | 2014-05-21 | 苏州大学 | 无缝拼接全景辅助驾驶系统及方法 |
| ES2774678T3 (es) * | 2014-04-14 | 2020-07-22 | Vricon Systems Ab | Procedimiento y sistema para determinar un objetivo |
| CN104036520B (zh) * | 2014-07-02 | 2017-02-15 | 中国科学院长春光学精密机械与物理研究所 | 异源建筑物图像配准方法 |
| US10311638B2 (en) | 2014-07-25 | 2019-06-04 | Microsoft Technology Licensing, Llc | Anti-trip when immersed in a virtual reality environment |
| US9766460B2 (en) | 2014-07-25 | 2017-09-19 | Microsoft Technology Licensing, Llc | Ground plane adjustment in a virtual reality environment |
| US10416760B2 (en) | 2014-07-25 | 2019-09-17 | Microsoft Technology Licensing, Llc | Gaze-based object placement within a virtual reality environment |
| US9858720B2 (en) | 2014-07-25 | 2018-01-02 | Microsoft Technology Licensing, Llc | Three-dimensional mixed-reality viewport |
| US10451875B2 (en) | 2014-07-25 | 2019-10-22 | Microsoft Technology Licensing, Llc | Smart transparency for virtual objects |
| US9904055B2 (en) | 2014-07-25 | 2018-02-27 | Microsoft Technology Licensing, Llc | Smart placement of virtual objects to stay in the field of view of a head mounted display |
| US9865089B2 (en) * | 2014-07-25 | 2018-01-09 | Microsoft Technology Licensing, Llc | Virtual reality environment with real world objects |
| US10670396B2 (en) | 2014-09-08 | 2020-06-02 | Sikorsky Aircraft Corporation | Multi-sensor target location registration |
| US9288545B2 (en) * | 2014-12-13 | 2016-03-15 | Fox Sports Productions, Inc. | Systems and methods for tracking and tagging objects within a broadcast |
| CN104751458B (zh) * | 2015-03-23 | 2017-08-25 | 华南理工大学 | 一种基于180°旋转算子的标定角点检测方法 |
| CN104778284B (zh) * | 2015-05-11 | 2017-11-21 | 苏州大学 | 一种空间图像查询方法和系统 |
| FR3037429B1 (fr) * | 2015-06-15 | 2018-09-07 | Donecle | Systeme et procede d'inspection automatique de surface |
| US9830706B2 (en) * | 2015-09-17 | 2017-11-28 | Skycatch, Inc. | Generating georeference information for aerial images |
| CN105744222B (zh) * | 2016-02-03 | 2019-03-26 | 普宙飞行器科技（深圳）有限公司 | 一种无人机无线图像/视频传输、共享及存储系统 |
| FR3049744B1 (fr) * | 2016-04-01 | 2018-03-30 | Thales | Procede de representation synthetique d'elements d'interet dans un systeme de visualisation pour aeronef |
| SE539807C2 (en) * | 2016-04-06 | 2017-12-05 | Advanced Technical Solutions In Scandinavia Ab | A METHOD FOR GENERATING A 3D COMBINED MODEL REPRESENTING A SCENE |
| JP6673761B2 (ja) * | 2016-06-24 | 2020-03-25 | 八千代エンジニヤリング株式会社 | 視点場候補提示プログラム及び視点場候補提示装置 |
| US10013798B2 (en) * | 2016-08-30 | 2018-07-03 | The Boeing Company | 3D vehicle localizing using geoarcs |
| US10402675B2 (en) * | 2016-08-30 | 2019-09-03 | The Boeing Company | 2D vehicle localizing using geoarcs |
| CA3040599C (en) * | 2016-11-29 | 2022-09-06 | Continental Automotive Gmbh | Method and system for generating environment model and for positioning using cross-sensor feature point referencing |
| US10482339B2 (en) | 2016-12-09 | 2019-11-19 | United States Of America As Represented By The Secretary Of The Air Force | Quantifying computer vision algorithm performance in the presence of system uncertainty |
| US10235566B2 (en) * | 2017-07-21 | 2019-03-19 | Skycatch, Inc. | Determining stockpile volume based on digital aerial images and three-dimensional representations of a site |
| US10515458B1 (en) * | 2017-09-06 | 2019-12-24 | The United States Of America, As Represented By The Secretary Of The Navy | Image-matching navigation method and apparatus for aerial vehicles |
| WO2019133374A1 (en) * | 2017-12-29 | 2019-07-04 | Walmart Apollo, Llc | System and method for determining autonomous vehicle location using incremental image analysis |
| US11055862B2 (en) | 2018-10-26 | 2021-07-06 | Here Global B.V. | Method, apparatus, and system for generating feature correspondence between image views |
| EP3664038A1 (en) * | 2018-12-06 | 2020-06-10 | Ordnance Survey Limited | Geospatial surveying tool |
| CN113743228B (zh) * | 2018-12-10 | 2023-07-14 | 百度在线网络技术（北京）有限公司 | 基于多数据融合结果的障碍物存在性检测方法和装置 |
| KR102522923B1 (ko) * | 2018-12-24 | 2023-04-20 | 한국전자통신연구원 | 차량의 자기위치 추정 장치 및 그 방법 |
| EP4296943A3 (en) | 2018-12-26 | 2024-04-03 | Elbit Systems Land and C4I Ltd. | Methods and systems for camera 3d pose determination |
| CN110472670B (zh) * | 2019-07-24 | 2022-03-01 | 上海联影智能医疗科技有限公司 | 图像中线检测方法、计算机设备和存储介质 |
| US11568638B2 (en) * | 2019-09-30 | 2023-01-31 | Raytheon Company | Image targeting via targetable 3D data |
| CN110889905B (zh) * | 2019-11-21 | 2023-06-06 | 宁波财经学院 | 基于裸眼3d的产品展示方法和系统 |
| US11094113B2 (en) | 2019-12-04 | 2021-08-17 | Geomni, Inc. | Systems and methods for modeling structures using point clouds derived from stereoscopic image pairs |
| US11676374B1 (en) | 2020-04-17 | 2023-06-13 | Raytheon Company | Three-dimensional-enabled targeting of imagery with rigorous error propagation |
| CN113724300A (zh) * | 2020-05-25 | 2021-11-30 | 北京达佳互联信息技术有限公司 | 图像配准方法、装置、电子设备及存储介质 |
| US20210377240A1 (en) * | 2020-06-02 | 2021-12-02 | FLEX Integration LLC | System and methods for tokenized hierarchical secured asset distribution |
| CN111830966B (zh) * | 2020-06-04 | 2023-12-19 | 深圳市无限动力发展有限公司 | 角落识别和清扫方法、装置及存储介质 |
| CN113223065B (zh) * | 2021-03-30 | 2023-02-03 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | Sar卫星图像与光学图像自动匹配方法 |
| US11842504B2 (en) * | 2021-08-13 | 2023-12-12 | Mitsubishi Electric Research Laboratories, Inc. | Systems and methods for image processing based on optimal transport and epipolar geometry |
| CN114220063B (zh) * | 2021-11-17 | 2023-04-07 | 浙江大华技术股份有限公司 | 目标检测方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1696606A (zh) * | 2004-05-14 | 2005-11-16 | 佳能株式会社 | 用于获得目标物体的位置和方位的信息处理方法和设备 |
| EP2357835A2 (en) * | 2002-03-27 | 2011-08-17 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU5406796A (en) * | 1996-03-28 | 1997-10-17 | Synthonics Incorporated | Methods and apparatus for using image data to determine camera location and orientation |
| IL120136A0 (en) * | 1997-02-03 | 1997-06-10 | Yissum Res Dev Co | Synthesizing virtual two dimensional images of three dimensional space from a collection of real two dimensional images |
| WO1999006956A1 (en) * | 1997-07-29 | 1999-02-11 | Koninklijke Philips Electronics N.V. | Method of reconstruction of tridimensional scenes and corresponding reconstruction device and decoding system |
| JP3720587B2 (ja) * | 1998-07-13 | 2005-11-30 | 大日本印刷株式会社 | 画像合成装置 |
| WO2001043070A2 (en) | 1999-12-10 | 2001-06-14 | Miller Michael I | Method and apparatus for cross modality image registration |
| US7580591B2 (en) | 2005-07-01 | 2009-08-25 | The Boeing Company | Method for generating a synthetic perspective image |
| EP1862969A1 (en) * | 2006-06-02 | 2007-12-05 | Eidgenössische Technische Hochschule Zürich | Method and system for generating a representation of a dynamically changing 3D scene |
| US9123159B2 (en) * | 2007-11-30 | 2015-09-01 | Microsoft Technology Licensing, Llc | Interactive geo-positioning of imagery |
| US8191828B2 (en) | 2008-05-13 | 2012-06-05 | The Boeing Company | Methods and apparatus for aerial recovery of flying apparatus |
| US20090295791A1 (en) * | 2008-05-29 | 2009-12-03 | Microsoft Corporation | Three-dimensional environment created from video |
| WO2012018497A2 (en) * | 2010-07-25 | 2012-02-09 | Raytheon Company | ENHANCED SITUATIONAL AWARENESS AND TARGETING (eSAT) SYSTEM |
-
2012
- 2012-04-30 US US13/459,643 patent/US8855442B2/en active Active
-
2013
- 2013-02-06 AU AU2013200708A patent/AU2013200708B2/en active Active
- 2013-04-04 EP EP13162342.3A patent/EP2660777B1/en active Active
- 2013-04-26 JP JP2013093877A patent/JP6168833B2/ja active Active
- 2013-04-28 CN CN201310156319.9A patent/CN103377476B/zh active Active
- 2013-04-30 BR BR102013010781-6A patent/BR102013010781B1/pt active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2357835A2 (en) * | 2002-03-27 | 2011-08-17 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
| CN1696606A (zh) * | 2004-05-14 | 2005-11-16 | 佳能株式会社 | 用于获得目标物体的位置和方位的信息处理方法和设备 |
Non-Patent Citations (1)
| Title |
|---|
| Geometric reasoning under uncertainty for map-based localization;William B. Thompson等;《Spatial Cognition and Computation》;19990930;第1卷(第3期);291-321 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12033230B2 (en) * | 2020-02-18 | 2024-07-09 | International Business Machines Corporation | Development of geo-spatial physical models using historical lineage data |
Also Published As
| Publication number | Publication date |
|---|---|
| US20130287290A1 (en) | 2013-10-31 |
| AU2013200708B2 (en) | 2017-07-20 |
| EP2660777A2 (en) | 2013-11-06 |
| JP6168833B2 (ja) | 2017-07-26 |
| BR102013010781A2 (pt) | 2015-06-23 |
| US8855442B2 (en) | 2014-10-07 |
| BR102013010781B1 (pt) | 2021-01-26 |
| EP2660777B1 (en) | 2019-01-02 |
| JP2013232195A (ja) | 2013-11-14 |
| AU2013200708A1 (en) | 2013-11-14 |
| EP2660777A3 (en) | 2016-11-02 |
| CN103377476A (zh) | 2013-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103377476B (zh) | 使用三维地理弧的多模型数据的图像配准 | |
| US20200401617A1 (en) | Visual positioning system | |
| CN107709928B (zh) | 用于实时建图与定位的方法和装置 | |
| Majdik et al. | Air‐ground matching: Appearance‐based GPS‐denied urban localization of micro aerial vehicles | |
| CN110617821B (zh) | 定位方法、装置及存储介质 | |
| CN107690840B (zh) | 无人机视觉辅助导航方法及系统 | |
| CN108920584A (zh) | 一种语义栅格地图生成方法及其装置 | |
| KR102200299B1 (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
| Wang et al. | Automated road sign inventory system based on stereo vision and tracking | |
| CN109596121A (zh) | 一种机动站自动目标检测与空间定位方法 | |
| CN109871739A (zh) | 基于yolo-sioctl的机动站自动目标检测与空间定位方法 | |
| Tao et al. | Automated processing of mobile mapping image sequences | |
| Li et al. | 3D map system for tree monitoring in hong kong using google street view imagery and deep learning | |
| Majdik et al. | Micro air vehicle localization and position tracking from textured 3d cadastral models | |
| Mohedano et al. | Camera localization usingtrajectories and maps | |
| Ostrowski et al. | Analysis of point cloud generation from UAS images | |
| Drouin et al. | Modeling and simulation framework for airborne camera systems | |
| Baeck et al. | Drone based near real-time human detection with geographic localization | |
| CN113196341A (zh) | 用于对道路的表面上的对象进行检测和建模的方法 | |
| CN116917936A (zh) | 双目相机外参标定的方法及装置 | |
| Wu et al. | An Assessment of Errors Using Unconventional Photogrammetric Measurement Technology-with UAV Photographic Images as an Example | |
| Zhang et al. | UAV-Borne Mapping Algorithms for Low-Altitude and High-Speed Drone Applications | |
| LaTourette et al. | Dense 3D reconstruction for video stabilization and georegistration | |
| Ulicny et al. | Combining geolocation and height estimation of objects from street level imagery | |
| Jonchery et al. | A Stixel approach for enhancing semantic image segmentation using prior map information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |