CN101002069A - 产生具有非均匀分辨率的合成图像的方法 - Google Patents

Abstract

一种方法，用于从视频数据流的图像中产生合成图像，并用于识别两个合成图像中发生变化的特征。将来自视频数据流的帧变换为投影后的ZD图像，将其与相邻的帧进行对准，并且对重叠区域进行平均，从而提供更高的可见分辨率。由图像的非重叠部分和图像的平均重叠部分形成合成图像。能够实时地存储合成图像。由于之后在相同的位置处产生第二合成图像，所以在对图像的亮度进行均衡后，可以将第二图像的一部分与存储的图像的一部分进行比较。对绝对差异超过阈值的图像区域再次进行亮度均衡。能够对仍旧高于阈值的区域做出标记，以便由人或执行对象识别的机器来进一步详细检查。按照这种方式，能够实时地产生并比较场景的合成视频图像。

Description

产生具有非均匀分辨率的合成图像的方法

技术领域

本发明总体上涉及图像分析，更具体地，本发明涉及图像数据的比较。

背景技术

航空摄影成像的产生是花费较高且耗时的过程。通过采取如下步骤产生航空摄影的成像数据：寻找高分辨率的航空摄影照片；使底片显影；将照片组合并配准为马赛克图案；以及对合成照片进行数字化。这个过程花费较高且耗时。需要一种方法，用于花费较少且快速地从运动图像或视频数据流中产生高分辨率的场景合成成像。

发明内容

在本发明的各个实施例中，提出了一种装置和方法，用于从视频数据流中产生诸如地形场景之类场景的合成图像。视频流包括图像序列，其中某些图像包含场景的重叠范围。对图像进行变换和对准，然后对图像的重叠区域进行平均。有利地，对重叠图像进行平均提供了更高的可见分辨率。由于创建了场景的合成图像的一部分，因而可以立即使用这些部分进行实时处理，包括从早先获得的相同场景图像中识别出显著的差异。可以对场景的合成图像进行存储，以便之后进行处理和比较。

根据本发明的一方面，一种装置和方法能够识别出两个场景合成图像中的差异。例如，两个图像中一个是特定地貌的归档合成图像，一个是从相同地貌的实时图像数据流中产生的合成图像。在产生第二合成图像时，可以进行实时比较。实施例可以使用若干技术，以确保所述比较对于季节性变化(例如光线)来说实质上是不变的，从而产生一致的差异结果。

本发明的示意性实施例以具有计算机可用介质的计算机程序产品的形式而实现，其中所述计算机可用介质上具有计算机可读程序代码。所述计算机可读代码可以由根据传统处理的计算机系统进行读取和使用。

附图说明

参考下文结合附图的详细描述，本发明的上述特征将会变得易于理解，其中：

图1是根据本发明实施例将视频数据流变换为2D视图的过程的流程图；

图2是示出了根据本发明实施例将视频数据流帧与之前处理的帧进行对准的过程的流程图；

图3是示出了根据本发明实施例对图像片数据进行平均的流程图；以及

图4是示出了根据本发明实施例对两个合成图像进行比较以确定显著差异的过程的流程图。

具体实施方式

在本发明的各个实施例中，提出了一种装置和方法，用于从视频数据流中产生诸如地形场景之类场景的合成图像。视频流包括图像序列，其中某些图像包含场景中的重叠范围。对图像进行变换和对准，然后对图像中的重叠区域进行平均。有利地，对重叠图像进行平均提供了更高的可见分辨率。由于创建了场景的合成图像的一部分，因而可以立即使用这些部分进行实时处理，包括对从相同场景早先获得的图像中识别出显著的差异。可以对场景的合成图像进行存储，以便之后进行处理和比较。

根据本发明的另一方面，一种装置和方法能够实时地识别出视频数据流中的差异。场景的一个图像可以是存储的图像，而另一个图像可以是实时处理的图像，或是两个图像都是存储的图像。根据上文所述的本发明实施例来产生在不同时间获得的相同场景的合成图像。通过调整将相同位置与相同平均亮度进行对应的每一个图像的子片(tile)，对场景的两个图像进行比较。然后，计算子片之间的绝对差异，并将其与指定阈值进行比较。如果片的任意区域中的差异高于阈值，则可以在两个图像之间均衡该特定区域中的平均亮度。如果该差异仍旧高于阈值，那么对该区域做出标记，以便进一步的详细检查。如本技术领域中所公知，如果需要，可以把最后得到的差异图像传送到分析程序包，该程序包能够辨认之前定义的图案。所述结果是针对后续视频数据流中的预定变化或事件的自动和实时识别。

本发明的示意性实施例以具有计算机可用介质的计算机程序产品的形式而实现，其中所述计算机可用介质具有计算机可读程序代码。所述计算机可读代码可以由按照传统处理的计算机系统进行读取和使用。下文讨论示意性实施例的细节。

图像合成器

在本发明的实施例中，一种装置和方法从视频图像序列中产生场景的合成图像。图像合成器包括图像变换器模块、图像对准模块和图像平均器模块。

滤波器以串联的方式实时工作，从而能够将图像归档和/或与另一个图像进行比较。图像合成器的目的是建立场景的逐时间段(piecewise time)不变图像。

A.图像变换

如图1所示，图像变换器模块100使用GPS、指示向量、范围、以及具有视频流的摄像机视锥的信息对视频进行变换，从而能够将其投影到平面图中。所述变换信息也可以来自其它来源110，例如用户定义的视锥或自动定义的用于图像匹配的标石点(monument point)。计算简单的3D变换矩阵120，从而以线性方式把视频图像投影到平坦表面上。关于多个坐标轴对结果图像进行缩放和旋转130，以便补偿摄像机的透视视图。通过矩阵运算对每一个像素进行乘法运算。所述变换补偿了非正方形像素140，并且可以使用双立方内插作为缩放过程的一部分。

B.图像对准

如图2所示，然后对图像的一部分进行对准200。一旦将图像投影到平面上，在对其进行补偿后，图像被分割为近似于视频分辨率大小的片，从而像素成为正方形。之后，将每一个片细分为9个子片210。将每一个子片与重叠处之前存储的片进行比较220。该过程包括将当前位置的片和四个其它相邻的位置处的片进行比较。所述相邻位置与子片的上、下、左、右方向具有距离子片中心50％的偏移。使用简单的相关技术对偏移图像与已有的重叠图像进行比较。计算旋转和缩放矩阵230以调整整个片，从而该片与相邻重叠图像能够获得最高为0.1像素精度的精确匹配。在迭代过程中，平移子片240，直到相关性达到最大或是执行了最大次数的迭代。如果不存在重叠图像，那么将片存储到合成图像中。如果图像未能进行相关，则对图像进行检查以验证该图像是有效图像。如果是有效图像，则把该图像传递到图像平均器模块250。

C.图像平均

如图3所示，图像平均器模块通过比较图像数据的数值310来确定片与已有片发生重叠之处300。如果新的片中存在有效数据320，而且已有合成图像片在该区域中具有有效数据，那么使用修正的移动平均技术对重叠图像进行平均330。由于将每一个片调整为子像素对准，最后得到的平均合成图像具有比视频数据流中更高的可见分辨率。

如果新片的一部分不具有合成片中的已有数据340，那么把新信息照原样输入合成图像350。如果合成图像的一部分具有数据，但是新片没有数据360，那么合成图像中的已有数据实际上保持不变370。

一旦图像片移出合成区域的范围，则可以对其进行归档。在本发明的特殊实施例中，归档器模块可以使用片的几何位置将片归档到修正的四叉树文件存储系统。对树进行索引，从而允许通过几何位置非常快速地访问图像。树的顶部存储有整个树的范围。在几何上将树细分为表示全部区域中的子区域的分支。由于新的图像被插入到树中，树的整个范围可以逐段生长。当进行查询时，树中的未占用(unpopulated)分支返回null值，从而能够快速地确定空闲区域。

图像比较器

如图4所示，图像比较器模块获得已在图像合成器中建立的图像的片或一部分，并将片与场景的第二图像(可以是存储的图像)中的相应位置进行比较400。对重叠区域(即与场景中相同位置相对应的区域)进行调整410，从而每一个图像中的一部分均具有相同的平均亮度。然后，计算两个重叠图像部分之间的绝对差异420。如果任意区域中的差异高于用户定义的阈值430，那么对输入的合成图像中存在显著差异的区域进行检查。对该区域中的平均亮度进行补偿440，从而使其与第二图像中的相应区域相同。再次针对该区域计算绝对差异。如果差异仍旧高于用户定义的阈值450，则对其进行标记，从而能够向用户高亮显示对比度和亮度460。如本技术领域中所公知，如果需要，可以把最后得到的差异图像传送到分析程序包，该程序包能够辨认出之前定义的图案。有利地，图像比较器可以提供后续视频数据流中预定变化或事件的自动、实时识别。

在本发明这个方面的特殊实施例中，在比较两个图像之前检测并消除图像中对象的边缘。由于视角稍微不同，对象经常有所不同。如果消除了这些边缘，那么仅对对象的内在部分进行比较。这个过程导致了较少的假阳性比较。

应当注意的是，所讨论的视频数据流是示范性的，并没有限制所有实施例的范围。相反，各种实施例应用于能够被图形化地表示并被记录到某些介质的图像数据。在示意性实施例中，可以2D地记录图像数据。按照相似的方式，所讨论的环境对象(例如地貌)是示范性的。例如，示意性实施例可以用于内部位置(例如包含银行或飞机库的建筑物)，以检测特定的感兴趣项目中的变化。

本发明的各种实施例至少部分地能够以任意传统的计算机编程语言而实现。例如，某些实施例能够以面向过程的编程语言(例如“C”)而实现，或是以面向对象的编程语言而实现(例如“C++”)。本发明的其它实施例能够以预先编程的硬件元件(例如专用集成电路、FPGA和数字信号处理器)或其它有关的组件而实现。

在一些实施例中，所公开的装置和方法能够以计算机系统使用的计算机程序产品而实现。这种实施方式可以包括一系列计算机指令，所述指令固定在诸如计算机可读介质(例如磁盘、CD-ROM、ROM或硬盘)的有形介质上，或可以通过调制解调器或诸如与网络相连的通信设备的其它接口设备基于介质向计算机系统发送。所述介质是有形介质(例如光通信线路或模拟通信线路)，或是以无线技术(例如WiFi、微波、红外线或其它传输技术)而实现的介质。所述计算机指令序列能够相对于系统而实现上文所述的所有功能或部分功能。

本领域的技术人员可以理解，这种计算机指令能够以多种计算机架构或操作系统所使用的多种编程语言而编写。此外，这种指令可以存储在任意的存储器件中，例如半导体、磁性、光学或其它存储器件中，并且可以使用任意的通信技术来发送，例如光学、红外线、微波或其它传输技术。

特别地，这种计算机程序产品可以分布在具有随附的纸件或电子文档的可移动介质(例如压缩软件)上、使用计算机系统预加载(例如在系统ROM或固定磁盘上)、或分布在网络(例如因特网或万维网)上的服务器或电子公告板。当然，本发明的一些实施例能够以软件(例如计算机程序产品)和硬件的组合来实现。本发明的其它方面完全由硬件或完全由软件来实现。

虽然上述讨论公开了本发明的各种实施例，可以明显看出的是，在不背离本发明的真实范围的前提下，本领域的技术人员能够做出各种修改以实现本发明的某些优点。

Claims (18)

1.一种方法，用于产生第一场景的第一合成图像，所述方法包括：

a.提供第一图像序列，每一个图像与所述第一场景的一部分相对应，至少两个图像包含所述第一场景中的重叠区域；

b.将所述第一场景的至少两个图像对准；

c.将所述第一场景的至少两个图像的重叠区域进行平均；以及

d.由所述第一场景的至少两个图像的非重叠部分以及所述第一场景的至少两个图像的平均重叠部分形成所述第一合成图像，

从而针对所述合成图像的一部分提供了比所述图像序列的分辨率更高的分辨率。

2.根据权利要求1所述的方法，其中，提供第一图像序列包括：使用视频摄像机捕获视频序列。

3.根据权利要求1所述的方法，其中，所述第一场景是地形场景。

4.根据权利要求1所述的方法，其中，提供所述第一图像序列包括对所述第一图像序列进行变换。

5.根据权利要求4所述的方法，其中，对所述第一图像序列进行变换包括：将所述第一图像序列投影到二维平面上。

6.根据权利要求1所述的方法，其中，将至少两个图像对准包括：对所述至少两个图像的一部分进行相关。

7.根据权利要求1所述的方法，用于比较所述第一合成图像和第二场景的第二合成图像，还包括：

e.存储所述第一合成图像；

f.产生所述第二合成图像，包括：

i.提供第二图像序列，每一个图像与所述第二场景的一部分相对应，至少两个图像包含所述第二场景中的重叠区域，

ii.将所述第二场景的至少两个图像对准，

iii.将所述第二场景的至少两个图像的重叠区域进行平均，以及

iv.由所述第二场景的至少两个图像的非重叠部分以及所述第二场景的至少两个图像的平均重叠部分形成所述第二合成图像；

g.将所述第一合成图像与所述第二合成图像的重叠部分调整为近似相同的平均亮度；以及

h.计算调整亮度后图像的重叠部分之间的差异，并识别所述调整亮度后图像的重叠部分中差异高于阈值的区域。

8.根据权利要求7所述的方法，其中，在产生所述第二合成图像完成之前，开始识别所述调整亮度后图像中重叠部分中差异高于阈值的区域。

9.根据权利要求7所述的方法，其中，在计算所述图像之间的差异之前，从所述合成图像中去除边缘。

10.一种由计算机系统使用的计算机程序产品，用于产生第一场景的第一合成图像，所述计算机程序产品包括计算机可用介质，其上具有计算机可读程序代码，所述计算机可读程序代码包括：

a.用于提供第一图像序列的程序代码，每一个图像与所述第一场景的一部分相对应，至少两个图像包含所述第一场景的重叠区域；

b.用于将所述第一场景的至少两个图像对准的程序代码；

c.用于将所述第一场景的至少两个图像的重叠区域进行平均的程序代码；以及

d.用于由所述第一场景的至少两个图像的非重叠部分以及所述第一场景的至少两个图像的平均重叠部分来形成所述第一合成图像的程序代码，

从而为所述合成图像的一部分提供比所述图像序列的分辨率更高的分辨率。

11.根据权利要求10所述的计算机程序产品，其中，提供第一图像序列包括：使用视频摄像机捕获视频序列。

12.根据权利要求10所述的计算机程序产品，其中，所述第一场景是地形场景。

13.根据权利要求10所述的计算机程序产品，其中，用于提供所述第一图像序列的程序代码包括：用于对所述第一图像序列进行变换的程序代码。

14.根据权利要求13所述的计算机程序产品，其中，用于对所述第一图像序列进行变换的程序代码包括：用于将所述第一图像序列投影到二维平面上的程序代码。

15.根据权利要求10所述的计算机程序产品，其中用于将至少两个图像对准的程序代码包括：用于对所述至少两个图像中的一部分进行相关的程序代码。

16.根据权利要求10所述的计算机程序产品，用于比较所述第一合成图像和第二场景的第二合成图像，还包括：

e.用于存储所述第一合成图像的程序代码；

f.用于产生所述第二合成图像的程序代码，包括：

i.用于提供第二图像序列的程序代码，每一个图像与所述第二场景的一部分相对应，至少两个图像包含所述第二场景的重叠区域，

ii.用于将所述第二场景的至少两个图像对准的程序代码，

iii.用于将所述第二场景中的至少两个图像的重叠区域进行平均的程序代码，以及

iv.用于由所述第二场景中的至少两个图像的非重叠部分以及所述第二场景的至少两个图像的平均重叠部分来形成所述第二合成图像的程序代码；

g.用于将所述第一合成图像与所述第二合成图像的重叠部分调整为近似相同的平均亮度的程序代码；以及

h.用于计算所述调整亮度后图像的重叠部分之间的差异、并识别所述调整亮度后图像的重叠部分中差异高于阈值的区域的程序代码。

17.根据权利要求16所述的计算机程序产品，其中，配置用于识别所述调整亮度后图像中的重叠部分中差异高于阈值的区域的程序代码，以便在用于产生所述第二合成图像的程序代码完成之前执行。

18.根据权利要求16所述的计算机程序产品，其中，对程序代码进行配置，以便在计算所述图像之间的差异之前，检测并去除所述合成图像中的边缘。

Images