CN103827921A

CN103827921A - 用于在存在长期图像漂移的情况下使实时视频稳定的方法和系统

Info

Publication number: CN103827921A
Application number: CN201280047576.2A
Authority: CN
Inventors: L.斯特里内; A.博比克; J.布拉格
Original assignee: Siemens Building Technologies AG
Current assignee: Siemens Schweiz AG
Priority date: 2011-09-30
Filing date: 2012-09-19
Publication date: 2014-05-28
Anticipated expiration: 2032-09-19
Also published as: EP2761596A1; WO2013048837A1; AU2012316522B2; CA2850431C; CN103827921B; US20130083192A1; US20140240496A1; US8947529B2; AU2012316522A1; US8760513B2; CA2850431A1

Abstract

提供了用于短期或“支柱震动”和较长期“支柱漂移”的照相机图像的稳定化的方法和系统。照相机被附接于固定结构。支柱漂移在各时间段内是足够长的使得成像能够在基础参考帧与当前稳定瞬态帧之间显著地变化。保持大量的映射帧和关联信息。将缓慢变化的照相机定向（“支柱漂移”）从快速运动抖动（“支柱震动”）解耦，并针对每个计算单独变换。可针对任何一个输入帧将多达三个变换组合在一起。将单独变换组合在一起，使得仅对每个帧执行仅一个全开图像变换计算。监视系统应用稳定化方法。

Description

用于在存在长期图像漂移的情况下使实时视频稳定的方法和系统

技术领域

本发明涉及用于视频监视的系统和方法且更具体地涉及在视频图像中补偿监视照相机的长期位置变化。

背景技术

本发明一般地涉及安全监视系统且更特别地涉及包含安装在高的室外支柱或其他构造上的安全监视系统，其中，对该支柱或构造起作用的风、热及其他效应可能使一个或多个照相机的确切位置和定向随时间推移而变化。照相机姿势的这些变化是由长期、较低频率效应（例如，热）和短期、较高频率效应（例如，风）所引起的。术语“支柱漂移”在本文中被用来表示长期效应，并且术语“支柱震动”被用来表示短期效应。

视频监视系统中的图像稳定化补偿了例如由照相机的安装支柱上的风和振动效应引起的照相机运动。这种被补偿的照相机运动一般是（相对）高频率的且转化成视频流中的表观像素运动，其进而将引起假警报和大量“虚假”对象的检测。当然，实际上，正在移动的常常是照相机而不是世界。调谐系统的运动检测灵敏度参数使得此运动被过滤出通常还使很多的合理运动被滤出。大多数图像稳定化算法尝试补偿这种类型的短期的支柱引发的照相机运动。

照相机安装支柱或其他安装结构也经受长期、较低频率效应，其将在几分钟或几小时的过程内干扰其附接的照相机的位置和定向。本发明的一个实施例中的安装结构相对于该结构被附接到的地面或建筑物是基本上固定或静态的。在不变的条件下，由此类结构保持的照相机将产生相对于其环境稳定的图像。诸如支柱由太阳或没有太阳的情况下进行加热和冷却的热效应是支柱运动的一个明显来源，其可以是相对缓慢且长期的效应。接近于结构的风和通过的重型车辆例如可以是对于快速移动和短期效应的来源。然而，可以是季节性的、老化相关的或基于环境的缓慢移动且以长期的方式影响监视图像的其他效应也是完全想到的，并且能够通过本文所提供的方法和系统来解决。

这些效应相对缓慢地起作用；一般地，其在看守视频的观察者的视觉阈值下面起作用，并且通常其是如此缓慢的，以致于其并不显著地影响运动检测。这些效应本质上是循环的。其也可以是永久的。

本发明的各方面能够解决循环以及非循环效应。例如，非循环效应可以是新结构到永久位置的缓慢沉降。这可以是饱和效应，其中，沉降在几天或几个星期内发生。

将二维图像数据转换成三维世界数据的视频监视系统十分受到这些长期效应的影响。这些长期效应实际上使照相机视图相对于建立图像至世界坐标映射时的照相机视图移位，并且因此能够对图像至世界坐标计算具有较大的影响。系统因此失去其准确地将图像平面对象放置在真实三维世界中的能力，因为与图像平面中的对象位置相对应的像素不再表示其在三维世界中的正确位置。

相应地，需要补偿诸如被保持在结构上的监视照相机的照相机相对于其监视环境的短期和长期移动的新型且改善的方法和系统。

发明内容

提供了用于在存在长期图像漂移的情况下使实时视频稳定的系统和方法。

根据本发明的一个方面，一种监视系统，包括用于产生多个视频帧的一个或多个照相机、用以存储所述多个视频帧的存储器、与存储器通信以通过以下各项来处理所述多个视频帧中的每个帧的处理器：（1）接收所述多个视频帧中的帧；（2）确定瞬态变换，所述瞬态变换将所述帧变换到得自于瞬态帧的相关瞬态坐标系；（3）确定基础变换，所述基础变换将所述瞬态坐标系变换到得自于基础帧的基础坐标系；（4）确定组合变换，所述组合变换将所述瞬态变换和所述基础变换进行组合；以及（5）对所述帧执行所述组合变换。

监视系统还可以包括从所述帧提取特征的处理器。根据本发明的另一方面，瞬态变换将所述帧中的特征变换成所述瞬态帧中的特征。

根据本发明的另一方面，利用所述帧来在监视系统的操作期间更新所述瞬态帧。

根据本发明的另一方面，基于偏置检测来选择所述帧作为已更新瞬态帧。

根据本发明的另一方面，在监视系统的设立阶段期间确定基础帧变换。

根据本发明的另一方面，所述瞬态变换修正了诸如支柱震动的高频效应。

根据本发明的另一方面，基础帧变换修正了诸如热变化的较缓慢作用的效应。

根据本发明的另一方面，已更新瞬态帧不能被变换成基础帧并且被存储在存储器中以用于以后处理。

根据本发明的另一方面，所述一个或多个照相机中的至少一个被附接于静态结构，其经历环境引起的移动，所述环境引起的移动不大于所述一个或多个照相机中的至少一个的视场。

根据本发明的另一方面，所述组合变换将所述帧到所述已更新瞬态帧的已更新瞬态变换、所述已更新瞬态帧到先前瞬态帧的变换和所述先前瞬态帧到所述基础帧的变换进行组合。

根据本发明的各种方面还提供了对应的方法。

附图说明

图1是图示出根据本发明的一个方面的步骤的流程图；

图2是图示出根据本发明的一个方面的步骤的流程图；

图3图示出作为图像中的可检测特征的拐角；

图4和5是图示出根据本发明的一个方面的步骤的流程图；

图6—8是根据本发明的一个方面的由照相机拍摄并显示的图像；以及

图9和10均图示出根据本发明的一个方面的系统。

具体实施方式

本发明的各方面通过提供对由在本文中由术语“支柱漂移”捕捉的长期效应所引起的支柱位置和定向中的变化的补偿来扩展视频监视系统中的典型图像稳定化方法的能力。支柱漂移可在一天的过程内达到图像中的10—30个像素的图像漂移作为支柱漂移的一个指示。该效应可小于30个像素或大于20个像素。支柱漂移是相对缓慢的，并且与支柱震动相比在较长时间段内发生。用于支柱漂移的此补偿能够与用于在本文中由术语“支柱震动”捕捉的较高频率效应的图像稳定化补偿计算相结合地完成。支柱震动是快得多的效应，其在频率方面可以在从0.1—10Hz的范围变动。支柱震动振幅可达到15—20个像素，但是可以更小。振幅还可以更大。对支柱震动的此补偿是在预处理步骤中在输入视频的每个帧中完成的，并且得到的稳定视频被“下游”发送以用于进一步视频分析处理。

本发明的一个方面是“基础帧坐标系”的理念，其是这样的坐标系，即针对其对照相机进行初始校准并在三维世界中定向。与基础帧坐标系相关联的是“基础帧图像”，其是与此坐标系相对应的照相机视图。其常常是在照相机校准和系统设立时从照相机的视频流获取的快照。被对准到基础帧坐标系的照相机视频将执行对象的正确地理空间定位。

本发明的各方面在第一阶段方法针对诸如支柱震动之类的较高频率效应补偿输入视频流之后提供额外的稳定化步骤。第一阶段方法通过相对于输入视频流中的任意帧（称为“瞬态图像”）建立“瞬态坐标系”并且然后接着将每个输入帧变换回到该瞬态坐标系中来补偿高频效应。此瞬态坐标系被周期性地更新（通常约为每几分钟）并跟踪由变化的照明水平及其他短期现象所引起的成像中的变化。此瞬态坐标系可以不同于针对其对照相机进行初始校准的坐标系。

上述额外的稳定化步骤在输入帧已被变换回到瞬态坐标系中之后发生，并用于将在瞬态坐标系中对准的该已变换的图像变换回到基础帧坐标系中。在此额外的变换被完成之后，得到的视频流中的每个像素在三维世界中被适当地定向。因此，在图像平面中检测和处理的对象将被准确地定位于三维世界中。

本发明的各方面使得场景中的固定对象在一天的过程内处于同一像素位置中成为可能，即使在支柱顶部处的照相机运动本应使该对象在一天的过程内在表观上移动许多像素，因为热效应及其他效应改变了安装在支柱或其他保持结构上的照相机的位置和定向。

在本发明的一个实施例中，本文提供的稳定化方法适用于落在照相机的视场内的照相机的移动。

图1是图示出根据本发明的一个方面的用于支柱漂移补偿的图像稳定化方法及其扩展的步骤的流程图。此方法对输入视频流的每个帧执行。

首先将所有输入帧稳定回到通过从输入视频流选择帧所周期性建立的瞬态坐标系。瞬态坐标系每几分钟被更新并跟踪成像中的相当快速的变化（例如，黎明和黄昏时的照明上的变化）。无论何时建立新的瞬态坐标系，该方法尝试计算从瞬态坐标系到基础帧坐标系的变换。

随后，每个输入帧将具有对其应用的两个逻辑变换：将每个帧映射回到此瞬态坐标系的每帧变换104，和然后的将得到的帧映射回到针对其对照相机进行初始校准的坐标系的固定（在瞬态坐标系的使用期限内）变换106。注意的是，虽然在逻辑上这是两步过程，但在实践中将该变换表示为矩阵，并在输入图像被完全变换之前计算并在单个变换108中组合这些矩阵。最后结果是仅一个物理变换必须被应用于输入图像。这限制了处理要求。

因此只有当在步骤102中建立新的瞬态坐标系时才执行用以确定所需支柱漂移补偿的量的实际计算。

该方法的可选特征将随时间推移缓慢地将图像“拉”向最终支柱漂移补偿，以使在由于某种原因而计算支柱漂移补偿的较大变化的情况下的视频中的突然“震摇（jerk）”的可能性最小化。

图2是详述计算新支柱漂移补偿变换所需要的步骤的流程图。无论何时建立新的瞬态坐标系，执行这些计算。首先，对与瞬态坐标系相关联的新输入图像执行（步骤20）Harris拐角检测。此新输入图像将变成新瞬态坐标系的基础。该方法将尝试找到这些拐角在每个后续输入帧中的位置；这捕捉对支柱震动及其他高频移动的补偿。虽然在本文中使用Harris拐角检测，但本文提供的方法不限于这种特征检测方法。还能够应用其他特征检测方法。

该方法接下来执行支柱漂移计算。首先，在启动时，该方法读取与基础帧坐标系相关联的图像（这被称为“基础帧文件”）。该方法还保持成对的变换和图像的数据库，该数据库提供“中间”图像和变换，其自身能够被直接映射回到基础帧坐标系。因此能够在两个逻辑步骤中将能够与中间图像匹配的输入图像匹配回到基础帧坐标系，经历所选中间图像/变换对。

在步骤22中，针对基础帧中的拐角检查输入帧中的拐角。相对于支柱漂移，因此存在用于每个新瞬态图像和关联的瞬态坐标系的两种可能性：

（1）如果能够将瞬态图像直接变换回到基础帧坐标系（即，能够建立两个图像中的拐角之间的适当对应关系），则能够直接地建立瞬态图像至基础帧坐标系；或者

（2）如果能够将瞬态图像直接映射回到数据库中的中间图像/变换对，其转而能够被直接映射回到基础帧坐标图像，则能够将两个变换组合以提供从瞬态图像到基础帧坐标图像的直接映射。“直接映射回”意指在相应图像中的拐角之间存在足以定义两个图像之间的数学变换的强相关。

在现有基础帧图像与中间图像的数据库之间，任何输入的新瞬态图像和坐标系可匹配多个图像。在步骤24中，检查在数据库中的已存储结果之间是否存在匹配。

在步骤28中选择“最佳”（即，拐角之间的最强相关）拟合并将其用在新瞬态至基础帧坐标系的步骤32中的计算中。在以上任一种情况下，该相关可以足够强以创建映射，却充分弱，使得得到的图像/变换对本身在步骤30中被存储在数据库中，并被用作用于未来瞬态图像的潜在匹配候选。如果在步骤28中未能建立匹配，则按照定义，有可能将输入图像映射回到基础帧坐标系。因此，不能应用支柱漂移补偿。然而，此未能匹配的图像被“保存”，使得稍后，该方法可使此图像匹配新的输入瞬态图像，其转而能够被映射回到基础帧图像。如果事实上能够执行当前、不可匹配图像与稍后、可匹配图像/变换对之间的此稍后匹配，则：（a）将计算变换，以及（b）此当前图像将被保存在图像/变换数据库中。

希望稍后被匹配的被保存的不匹配图像被称为“僵尸（zombie）”。本情境中的不匹配图像意指不能建立将图像变换成瞬态图像或基础图像的变换。“僵尸”被保存在表格中，例如在图2中的步骤30中，其可以是二维表格，其中，每个列包含通过计算变换而彼此相关的“僵尸”。当输入的新图像与列的首位匹配时，能够针对该列中的每个“僵尸”计算回到基础帧坐标系的变换。

当在步骤34中将新的变换存储在数据库中时，扫描“僵尸”的列表。如果能够使任何“僵尸”匹配回到新的变换，则将其从“僵尸”列表去除，转换成有效中间图像/变换对并存储在数据库中。

进一步的细节

以下小节将更详细地解释根据本发明的各种方面提供的上述方法。若干个概念支承了作为本发明的一个方面所提供的支柱漂移补偿方法。

1. 漂移处于非常长的时间段内：长到足以使得成像能够在基础参考帧（也称为基础帧）与当前周期性变化的稳定参考帧（也称为“瞬态帧”或“瞬态参考帧”）之间显著地变化。

2. 保持众多的映射帧和关联信息—即这样一组帧，基础帧先前已被匹配和映射到该组帧，且能够向该组帧进行与新建立的瞬态参考帧的所尝试的匹配。这些也称为“桥帧”，因为其能够充当输入帧与基础帧之间的‘桥’；

3. 将缓慢变化的照相机定向（“支柱漂移”）的概念从快速运动抖动（“支柱震动”）解耦，并针对每一个来计算单独的变换；

4. 可针对任何一个输入帧将多达三个变换组合在一起：从输入帧到瞬态帧的一个变换、从瞬态帧到在#2中参考的众多映射帧中的一个帧的变换、以及从该映射帧回到基础帧的变换；

5. 最后经由矩阵乘法将这些单独变换组合在一起，使得针对每个帧仅执行一次全开图像变换计算；以及

6. 该变换是参数化的基于图像的变换，不是类似于俯仰、摇摄或缩放的实际照相机运动参数。

图像稳定化在三个不同坐标系中创建并操纵仿射变换以及仿射变换的子集：

（a）输入图像的坐标系；

（b）‘瞬态参考’帧的坐标系，其被用作针对其参考短期震动和支柱振动的坐标系；以及

（c）‘基础帧’的坐标系，其是已消除了所有震动和长期漂移现象之后的‘真’参考帧。基础帧被表示为例如.bmp文件。

仿射变换将一个坐标系中的图像映射到另一坐标系中的对应图像。

在安装时配置该系统，使得基础帧中的每个像素位置（u，v）的（在某世界坐标系中的）世界坐标（X、Y、Z）被计算、存储并假设正确。这能够利用配置工具在系统安装时被完成。该配置工具在安装时创建像素坐标与世界坐标关系的表格。其与为每个地点准备的“实体世界的模型”相结合地起作用。具有坐标（X、Y、Z）的任意固定世界点将在以上坐标系中的每个中具有图像空间坐标（u，v）。如果条件是“完美的”—无支柱震动或漂移、基础帧与输入图像之间的完美对应关系等—则三组（u，v）坐标原则上应当是相同的。然而，支柱震动和支柱漂移效应常常导致针对实体世界中的同一点跨全部三个坐标系而变化的（u，v）坐标。

根据本发明的一个方面所提供的补偿方法的一个目的是创建组合变换，其将输入图像的坐标系变换成基础帧的坐标系。一旦被适当地变换，输入图像中的图像将在基础帧中（图像空间）和世界的系统显示中（世界空间）的其适当位置处进行显示。

稳定化方法

稳定化包含四个步骤或过程。

（1）该方法周期性地从输入图像流选择瞬态参考帧。该方法尝试选择相对于施加的图像修正的当前流无偏置的参考帧（即，其尝试选择位于抖动的“中心”或“中间（mean）”处的瞬态帧）。也许不可能选择瞬态参考帧，在该情况下，稳定化方法重置成已知起始状态并用下一帧再次进行尝试。如果在短时间段内存在过多失败，则该方法在当前条件对于表现良好的稳定化而言过于欠明了的假设下将其本身禁用达几分钟。

（２）无论何时建立新的瞬态帧，进行在此瞬态参考帧与基础帧之间建立映射或变换的尝试。此映射可以是直接的，或者可使用“中间变换”以回到基础帧的坐标系。此最终变换被表示为称为C的3×3矩阵，并被实现为3×3同构矩阵。如果使用中间变换，其可以是两个分量矩阵变换的乘积。建立此映射并不总是可能的；

（3）对于每个输入帧，确定将输入图像映射到瞬态参考帧的唯一每帧变换。此变换被表示为3×3同构矩阵W；以及

（4）对于每个输入帧，计算复合变换T_3×3 = C_3×3×W _3×3。此变换将输入帧的坐标系映射到基础帧的坐标系。其被应用于输入图像以产生被发送到分析管线的其余部分上的新的已变换图像。

‘C’和‘W’源自于某些替换术语。‘C’表示‘冷’或瞬态至基础帧变换，并且‘W’表示‘暖’或输入图像至瞬态变换。‘W’变换每帧都改变，因此是‘暖’的；‘C’变换以慢得多的速率改变，表示从当前（“暖”）支柱状态到原始（“冷”）状态的支柱漂移。

（1）瞬态参考帧的选择

该方法以无瞬态参考帧开始。初始输入帧被评估为候选参考帧。在瞬态帧的初始选择之后，周期性地评估输入帧，并且其可变成新的瞬态参考帧。

当使用例如Harris拐角检测方法在图像中能够找到足够的充分强的拐角时，输入参考帧变成瞬态参考帧。“足够”和“充分强”是可调谐参数。“足够”是按照找到的拐角的数目所定义的。“充分强”是按照在每个拐角处的二阶矩矩阵的最小特征值所定义的。根据本发明的一个方面所提供的方法还具有用以确保拐角不会过于接近地簇拥在一起的预防措施。该方法的支柱漂移部分中的拐角发现添加了用以尝试迫使所选拐角均匀地分散在整个图像上，而不是仅仅群集在图像的某些部分中的逻辑。

（2）瞬态参考帧与基础帧之间的映射

该方法的此部分是支柱漂移补偿的方面。在以下情况下，该方法将尝试补偿长期支柱漂移：

i）启用支柱漂移补偿，以及

ii）如果有可能在此新的瞬态参考帧与基础帧之间建立映射的话。如果未满足这些条件中的一个或多个，则禁用支柱漂移补偿。

每当建立新的瞬态参考帧时，进行计算变换矩阵C_3×3的尝试。在全部的仿射变换中实际上存在六个有意义数，并且因此能够将其表示为2×3矩阵，并且为了计算简化，使用2×3矩阵的数学库能够被使用，但是从所使用的方程的“理论”观点出发，每件事物确实是3×3矩阵。3×3还允许透视变换。矩阵的底行是‘0 0 1’。矩阵将瞬态帧的坐标系映射成基础帧的坐标系。由于矩阵W（来自先前步骤）能够被用来将输入帧映射到瞬态帧，所以由此可见一旦计算了C，则能够将C和W组成或组合在一起作为单个变换，以实现通过将以下进行组合而将输入图像坐标系变换成基础帧坐标系的变换：输入图像坐标系—＞瞬态坐标系—＞基础帧坐标系。

除了作为用于真实坐标系的最后参考帧的一个基础帧之外，运行系统维持了持久中间变换I₁、I₂、I₃、...、I_n的数据库，其中，n是表示数据库大小的操作参数。每个桥图像是经由关联变换直接可变换回到基础帧的坐标系中的。给定桥变换可充当输入瞬态参考帧与基础帧之间的“桥”。此数据库中的每个记录包含：

（a）图像（例如以.jpg格式），其对应于创建此记录时的确切场景；

（b）对应变换I_2×3，其将此中间图像的坐标系变换回到基础帧的坐标系；以及

（c）应用此变换的最后时间。

在运行时间，基础帧和此数据库中的每个记录两者都计算并存储其自己的拐角的列表。这些拐角列表并未被持续到数据库中。

当建立新的瞬态帧时，该方法获取来自基础帧和数据库帧两者的拐角的列表并尝试找到新瞬态帧中的对应拐角。在后续步骤中使用所有成功匹配中的最佳。如果不能找到成功匹配，则不执行支柱漂移补偿。

对于新瞬态帧与任何基础帧或数据库文件之间的成功匹配，必须通过两个测试。首先，对于基础帧或数据库图像中的每个拐角周围的每个N×N块（patch）（其中N是小的可调谐奇整数），搜索瞬态帧中的较大M×M邻域内的所有对应N×N块。针对这些N×N块中的每一个计算归一化相关系数。具有最高归一化相关系数的块是与基础帧或数据库帧中的拐角的最佳匹配。如果此归一化相关值高于操作阈值，则认为该匹配是成功的。为了通过第一测试，针对阈值成功地匹配的所有拐角的百分比必须超过另一操作阈值。为了通过第二测试，然后必须找到如下面所定义的“有效”仿射变换矩阵。

如下找到仿射变换。考虑二维仿射变换矩阵I，其中I=

Figure 2012800475762100002DEST_PATH_IMAGE001

如果a00＝a11＝1且a10＝a00＝0，则将该变换称为平移变换。如果a00＝a11且a01＝- a10，则该矩阵表示相似变换。两者都是仿射变换的子集。每个都能够通过作为本发明的一个方面所提供的方法来计算。

为了计算此矩阵，经由QR分解和回代来对以下约束过多的最小二乘问题进行求解：

A_2n×6I_6×1 = B_2n×1，其中

A是被相互上下地堆叠的瞬态拐角的矩阵。B是被相互上下地堆叠的基础帧或瞬态拐角的矢量。使用迭代稳健最小二乘法来对此约束过多的线性方程系进行求解。I 矢量是需要被确定的变换系数的矢量。

稳健最小二乘如下起作用。对于每个拐角，尝试找到准确地预测参考帧中的每个对应拐角的实际位置的“最佳”变换。用于拐角‘n’的实际位置是（x_nr，y_nr）。预测位置是（a00*x_ni+a01*y_ni+a02, a10*x_ni+a11*y_ni+a20）。这两个点之间的欧几里德距离是模型已经多么准确地预测该拐角的位置的度量。在稳健最小二乘中，如果拐角对之间的欧几里德距离超过操作阈值且模型重新运行，则丢弃该拐角对。此过程反复地进行直至不从该模型丢弃点为止。

在以下情况下认为得到的仿射变换矩阵是“有效”的

i）其存在，

ii）在所有稳健最小二乘迭代之后包括在模型中的点的数目超过操作阈值，

iii）稳健最小二乘迭代的数目未超过操作阈值，以及

iv）得到的变换不使任何像素移动超过像素的操作阈值数。

所有成功匹配中的“最佳”被定义成是具有成功匹配拐角的最高百分比的匹配。可将图像/变换对输入到数据库中也是在一点上。以下情况是可能的。

（a）如果所有成功匹配中的最佳是基础帧，则矩阵I事实上是矩阵C并表示瞬态坐标系至基础帧坐标系变换。

（b）如果所有成功匹配中的最佳是从数据库获取的图像/变换对，则能够将矩阵I与数据库中的变换Q组合以计算C＝Q*I。更新所选数据库记录的‘最近更新时间’。

（c）如果不存在成功匹配，则禁用支柱漂移补偿直至能够针对后续新的瞬态参考帧来执行成功匹配。

（d）如果已经找到回到基础帧坐标系的成功变换或变换系列，则有可能的是中间变换的数据库可能需要被更新。一旦已确定了从瞬态至基础帧的变换，则基于瞬态帧中的拐角与基础帧或数据库帧中的对应拐角之间的匹配的总强度，该方法将该变换视为‘强匹配’、‘平均匹配’或‘弱匹配’。如果帧并未强匹配，则输入的新瞬态帧连同其到基础帧的变换（六个数）和当前时间一起被存储在数据库中。该理念是稍后的瞬态帧可能已从基础参考帧足够远地‘漂移’（在视觉表观的意义上），使得其不能与该帧匹配，但也许能够被匹配到此新存储的帧。还计算此新存储的帧的拐角以促进到新的瞬态参考帧的后续匹配。如果数据库大小超过操作阈值，则将最新近使用的变换/图像/时间戳记录从数据库删除。作为此过程中的最后步骤，检查是否能够唤醒（下面所定义的）任何僵尸。如果能够‘唤醒’任何“僵尸”，则将其放置在数据库中。

“僵尸”是不能与任何中间数据库帧或与基础帧本身匹配的输入瞬态参考帧和关联变换。如果“僵尸”矩阵不是完全的（另一可调谐参数），则将其放置在“僵尸”的二维阵列中的某处。“僵尸”矩阵的第一行包含不能与矩阵中的任何其他“僵尸”图像匹配的瞬态图像。如果后续候选“僵尸”瞬态帧在视觉上“接近但不过于接近”现有“僵尸”，则将其连同将其映射回到行0中的“僵尸”（列的首位）的坐标系的变换一起添加到匹配“僵尸”列上。如果“过于接近”现有“僵尸”，则不将其输入到矩阵中。如果其“远离”任何其他“僵尸”，则创建矩阵中的新列，其中此“僵尸”在其首位处。

这里的理念是将与基础帧或中间数据库图像不同的图像连同将其带回到在列的首位处的“僵尸”的变换一起存储在“僵尸”阵列中（除非其看起来过于像现有“僵尸”）。使虚恒等变换与行0中的“僵尸”相关联；尚不能将其匹配回到基础帧或匹配到中间变换。

如果随后能够使“僵尸”的特定列的首位与输入瞬态帧匹配并建立从“僵尸”坐标至瞬态坐标的有效变换T，则能够将该变换T与将输入瞬态帧映射到基础帧的变换Q相组合以产生组合变换I＝Q*T。类似地，该列中的每个“僵尸”具有关联变换Z，并且组合变换I＝Z * Q * T将把该特定“僵尸”映射回到基础帧。在这种情况下，“僵尸”被“唤醒”，被放置到数据库中，并从“僵尸”矩阵删除。

（3）输入图像—＞瞬态参考帧

现在考虑第二仿射变换矩阵W，其中W＝

如果a00＝a11＝1且a10＝a01＝0，则将该变换称为平移变换。如果a00＝a11且a01＝- a10，则该矩阵表示相似变换。两者都是仿射变换的子集。每个都能够通过该方法来计算。

为了计算此矩阵，经由与暖参考帧中的拐角（x_r1，y_r1）相对应的返回图像来对以下约束过多的最小二乘问题进行求解。

A_2n×6W_6×1 = B_2n×1 ，其中

和

Figure 2012800475762100002DEST_PATH_IMAGE005

在A和B的矩阵中，所有拐角被相互上下地“堆叠”，并且使用迭代稳健最小二乘来对约束过多的线性方程系进行求解。丢弃其（实际预测的）值落在可编程阈值之外的点并重新运行模型直至没有点落在（实际预测的）阈值之外为止。

矩阵W现在已经被计算并且将输入帧映射到瞬态参考帧的坐标系中。这足以修正高频率震动。应用第二步骤来补偿长期支柱漂移。

（4）复合变换

给定从输入帧到瞬态帧的变换W和从瞬态帧到基础帧的变换C，组合变换T＝W*C将把输入帧映射到基础帧。注意的是：

（a）每帧一次地计算W，并且每个瞬态帧一次地计算C；

（b）C的计算潜在地涉及到许多子变换，子变换涉及到中间数据库记录以及“僵尸”计算，其本身可能涉及到两步变换；

（c）C的计算成本＞＞W的计算成本，但是远不如W那么频繁地计算C；

（d）在适当的情况下将所有矩阵组合，因此在最后，仅对图像应用最终组合变换。组合变换到图像的实际应用是相对昂贵的；与单独地应用各个变换相反，将变换组合并应用组合变换一次从计算观点出发是更加有效的。

详细功能描述

接下来将根据本发明的各种方面在本文中所提供的方法描述为处理器上的说明性实现方式。处理器当然是已知的。能够通过应用例如Intel^?的集成性能原语（Intel^?IPP）来实现例如图像处理的常见功能步骤。关于这些功能处理器实现方式的细节广泛地再现可得。例如在<URLhttp://software. intel.com/en-us/articles/intel-integrated-performance-primitives-documentation/>处。要注意的是，根据本发明的各种方面在本文中所提供的方法被认为是新颖的。即使它们能够通过至少部分地使用基本功能图像处理步骤来在处理器上实现，该方法本身不可用作Intel^? IPP的一部分，并且要求如本文所公开和描述的步骤。

除以下描述之外的其他实施方式是可能的且是完全想到的。

图像稳定化

稳定化方法可包括至少两个部分：检测部分（例如拐角检测方法和光流方法。光流是实现的第一方法且在理想条件下较好地起作用，但是对照相机噪声、光度变化以及其他形式的图像扰动是敏感的。如果拐角检测方法具有问题，但是该拐角检测方法被设想成是优选图像稳定化方法，则其仍在该方法中被实现，并且能够可被用作参考点。

概述和数学预备

拐角方法通过使当前帧中的拐角与参考帧中的对应拐角对准来使当前帧稳定。

“拐角”是在两个正交方向上具有急剧亮度变化的点——单个像素。注意，变化的方向不需要平行于x轴，如图3中所图示的。

在如图3中所图示的示例中，带圆圈300的一个拐角的“强度”沿着从帧的原始x和y轴以45度角（或多或少）定向的线或“主轴”行进。

首先在参考帧上检测拐角。拐角在参考帧中具有（x，y）位置。来自拐角的小图像剪辑被保存为模板以在与以下帧的模板匹配中被使用。

在以下帧中，对当前帧中的预测区域中的每个参考拐角进行“模板匹配”。如果找到匹配，则保存该匹配对。

（x，y）坐标的保存的匹配对—一组（x，y）坐标对应于参考帧中的拐角，并且另一组（x，y）坐标对应于输入帧中的对应拐角—将被用来使用稳健最小二乘的方法来计算变换参数。这些变换参数被用来将输入、未稳定的帧变换成输出、稳定的帧。

这里是此过程的机制的简化数值示例。假设一个在参考帧中具有两个拐角，一个拐角位于（10，10）处且一个拐角位于（20，25）处。假设找到输入帧中的对应拐角位于（11,12）和（21,27）处。所搜索的变换是将输入帧映射回到参考帧的“最佳”变换。在这种情况下，我们正在搜索的变换是：

x' = x - 1

y' = y - 2

这意味着输入帧中的每个像素（x，y）处的灰度值需要被显示在输出帧中的位置（x'，y'）处。例如，输入帧中的（21,27）—锐角拐角—需要被显示在输出稳定帧中的（20,25）处。类似地，输入帧中的（152,193）需要被显示在输出、稳定帧中的（151,191）处。

将方程组（x' = x - 1, y' = y - 2）称为变换。将此变换应用于输入图像并产生输出、稳定图像。数字-1和-2被称为变换参数：它们是对于此帧而言人们正在尝试确定的数字。针对需要被稳定的每个输入帧，该稳定化方法计算用于能够被应用于该帧的指定类型的“最佳”可能变换的变换参数。

使用稳健最小二乘的方法来计算变换参数。稳健最小二乘提出用于使每个（x，y）坐标与每个（x'，y'）坐标相关的方程的系数。该方程在最小二乘意义上是“最佳的”—即，其使预测的（x'，y'）坐标与实际的（x'，y'）之间的均方误差的和最小化。存在四个不同种类的方程，每个具有其自己的一组系数，并且该方法计算用于期望种类的方程的系数。（下面描述的四个类型的方程是平移、相似、仿射以及透视；‘ModelType’参数控制由该方法使用哪个模型。）

能够将上述变换表示为2×3矩阵：

[0 0 -1]

[0 0 2]

使用矩阵代数，人们可以将此变换表示为：

[0 0 -1] [x] = [x']

[0 0 2] [y] = [y']

此矩阵乘法将输入图像中的每个（x，y）像素值与输出、稳定帧中的已变换（x'，y'）位置相关。上述矩阵被称为变换矩阵。针对每个帧，人们提出变换矩阵以应用于输入的未稳定帧，以产生输出稳定帧。

注意，本示例是简化的，并且分数数学可能开始起作用。例如，输入位置（86,22）处的输入像素值可结束要位于输出帧中的（84.3, 20.6）处的需要。在输出帧中不存在（84.3, 20.6）位置，当然—仅存在整数像素位置。将这些分数位置转换成在每个整数值像素位置处具有正确值的“平滑”输出图像的过程被称为内插。存在不同类型的内插（其能够在注册表设置中被定义。）一般地，更复杂的内插方法产生“更好”（更平滑）的结果，以增加的计算时间为代价。图像稳定化默认为‘线性内插’（‘L’）且应当足以用于大多数情况。

我们在上文示范的简单变换的一般形式如下：

x' = x + a

y' = y + b

其中a和b是实数。这种类型的变换被称为平移变换并适应上下和左右（能够将其组合以产生对角线运动）照相机运动。在平移变换中，‘a’和‘b’是变换参数，并且是该方法所“求解”的内容。由于存在两个未知数，所以将此模型说成是具有“两个自由度”。

更复杂的变换是

x' = ax + by + c

y' = -bx + ay + d

其中，a、b、c和d是实数。这种类型的变换被称为相似变换，并适应平移、加上旋转和缩放（图像变得更大或更小）。此模型具有四个自由度且a、b、c和d系数是该方法求解的内容。

另外的更一般的变换是：

x' = ax + by + c

y' = dx + ey + f

其中，a、b、c、d、e和f是实数。这种类型的变换被称为仿射变换，并且适应相似变换所适应的任何内容，外加剪切。剪切一般不对真实震动效应进行建模，并且可能向输出图像中引入不期望的视觉伪像。此模型具有六个自由度。

下面讨论的另外的更一般的变换是透视变换。其在理论上更好地适应图像中的“距离”的理念—例如，进入该距离的铁路轨道在二维图像中会聚到单个点的理念。透视变换具有九个自由度。

将此计算变换应用于图像的过程也被称为将帧翘曲。

基本理念是非常直接的，但是需要相当精细的程序和支持模块以使得其对真实生活的情形起作用。特别地，确保参考帧是“最佳的”并在必要的情况下将图像稳定化重置是该方法的重要部分。

稳定化映射表

稳定化映射表是在系统设立期间根据映射表创建工具而创建的。其指示不适合于挑选用于稳定化的实心拐角的不稳定区域，诸如天空、水、摇摆的树和植被等。将稳定化映射表中的具有100或200的数值的像素从稳定化排除—即它们不被认为是可能的拐角点候选。

沿着稳定化映射表的边界的像素也是“静默的”。如果参考拐角过于接近图像边界，则搜索区域将被挤压并且人们可能甚至不具有用于模板匹配的足够空间。

当被启用时，还可能将稳定化映射表与方法映射表组合。原因在于如果针对方法映射表上的运动检测将区域排除，则非常可能的是该区域不适合于挑选用于稳定化的拐角。

以上3个步骤产生将在每个帧中使用的固定映射表。

在每个帧处，还将此固定映射表与由检测器从最后的帧所生成的当前运动映射表组合。运动映射表被略微扩大以适应两个连续帧之间的斑点（blob）移动。

可与包括布尔设置（即，0/1）的稳定化映射表相关地实现相关注册表设置。到稳定化映射表的路径确定运动映射表被“加宽”或“扩展”多少，较大的值排除更多像素等等。

参考帧

参考帧是后续帧将被翘曲回到的帧。其包含充当将针对以下帧与之匹配的模板的几十个拐角（默认50个）。模板是每个拐角周围的小区域，通常在一侧上为5个像素。将此小区域与输入帧中的所有可能在一侧上的5个像素的区域匹配，在拐角位置附近；最佳匹配被用作用于此特定拐角的匹配。

在以下条件下，将更新参考帧：

（1）在某个时间段（默认6000个帧）之后，如果新的输入帧仅需要“可忽略”变换，则当前帧将变成新的参考帧。这保持光度相关性。

（2）如果在参考帧中存在持久偏置且如果针对新输入帧计算的变换产生与偏置非常良好匹配的修正，则当前帧将替换当前参考帧。

（3）针对某些错误条件，参考帧将被无效，或者被无效并更新。例如，当稳定器未能找到用于参考帧的足够拐角或未能与参考帧匹配或者不能计算变换以使当前帧翘曲回到参考帧时，则稳定器将本身进行重置；在此过程中，其将尝试获取新的参考帧。

拐角搜索

就数学上而言，拐角是沿着两个正交方向具有大的梯度的像素。在Intel? IPP图像处理文献中的第14章中说明的其定义。简而言之，使用小邻域内的灰度值，构造2乘2梯度矩阵以表示该像素周围的梯度分布。来自此梯度矩阵的两个特征值表示拐角强度。该两个特征矢量表示拐角边缘的方向。

如果矩阵具有2个大的特征值，则其表示拐角。如果其具有一个大的特征值和一个小的特征值，则其表示边缘像素。如果两个特征值都是小的，则其是光滑表面内的像素。

如果较小特征值超过注册表可定义阈值，则将对应的像素视为拐角。

这种方法被称为Harris拐角检测方法。

IPP拐角函数将针对原始帧中的每个像素填充6个元素的阵列，其包括2个特征值和2个特征矢量（4个元素）。因此，输出特征图像是与输入帧相同高度的但是输入帧的6倍宽。

良好的拐角要求两个特征值超过阈值，并且是小邻域内的局部最大值。第二条件是避免找到一串拐角。

一般地，将存在围绕真实拐角的一串像素，其最小特征值超过拐角阈值。人们希望仅具有一个像素来表示该拐角，以便避免模板匹配中的失配。因此，忽视了小邻域内的非最大像素。

这使用IPP最大滤波器来实现。此最大滤波器将分配在其邻域内具有最大拐角强度（最小特征值）的像素。当从由最大滤波器所滤波的图像减去当前拐角强度图像时，那些未改变的像素是局部最大值。

总而言之，拐角必须通过以下3个测试以合格为参考拐角。

（1）局部最大值

（2）其拐角强度超过拐角强度阈值。

（3）位于稳定化掩模上的“on”区域中，其排除图像边界并将稳定化映射表与运动映射表组合在一起。

如果存在过多的参考拐角，则将影响帧速率；如果存在过少的参考拐角，则可能不足以产生良好的性能。每帧的时间与所使用的参考拐角的数目几乎具有线性关系。其在可变帧尺寸的情况下几乎是恒定的。

只需要4对匹配拐角以满足最高级翘曲模型（透视）的要求，但实际上，人们将需要更多以实现稳健的性能。默认下，使用50个拐角。

由于相同拐角强度阈值将在差异场景（甚至是不同气候条件下的相同场景）上生成非常不同数目的拐角，自动化阈值调整机制保持恒定数目的拐角。

拐角强度阈值与拐角数目之间的函数是明显非线性的。然而，其保证是单调的。因此，简单的线性搜索方案将始终会聚到指定数目的拐角，除非当多个拐角具有相同拐角强度时。其是非常不可能的。但是在其可能的情况下，其将容易地通过允许其找到的拐角的数目上的一定公差来处理。

拐角坐落在中间的正方形图像片（11像素乘11像素）充当模板。模板在参考帧更新期间被预处理以避免在随后的帧中反复地计算相同的值。

相关注册表设置可包括：控制在参考帧中找到的拐角的“强度”、额外扩展到在参考帧中找到的任何拐角的添加、在拐角计算方法中使用的拐角尺寸—可以是3或5。

模板匹配

IPP具有其自己的模板匹配函数。其是基于FFT的方法（直到5.1）。基于FFT的方法在处理大模板而不是小模板方面是非常有效的。对于基于拐角的稳定化而言，模板大多数为10个像素左右。由于IPP函数将每当其被调用时处理模板，所以对于稳定化而言由IPP完成的工作的相当大的一块是冗余的。因此，开发了“优化”版本。该优化版本直接地实现归一化互相关。由于其将模板匹配过程分解成各步骤，所以其允许在每个帧处跳过处理模板。

测试示出了当模板尺寸小于16个像素（这对需要稳定化的大部分情形成立）时，优化方法具有速度优点。然而，仅仅为了为到目前为止未经测试的情况提供更多选项起见，还将基于FFT的IPP版本放入代码中。根据由用户设置的模板尺寸来完成切换。当其大于16时，将使用基于FFT的IPP函数。否则，使用优化版本。

使图像翘曲（稳定）

使用匹配拐角，运行稳健的最小二乘拟合例程以找到翘曲参数以使当前图像翘曲到参考图像上。翘曲矩阵是恒定的2乘3矩阵。存在定义此翘曲矩阵的四个方式，对应于四个翘曲变换。全部的四个方法在计算变换参数时整齐地落入同一框架中。

存在四个模型类型，称为t、s、a和p，其能够在注册表设置中被定义。

平移变换（‘t’）

其中t_x和t_y分别表示x和y方向上的平移。

其仅将图像的震动性建模为x和y方向上的平移。这对应于以从左至右和/或上下方式的照相机震动（并且也包括“对角线”震动—例如，当照相机相对于先前帧向左且向上移动时）。

相似变换（‘s’）

Figure 2012800475762100002DEST_PATH_IMAGE007

其中，s是比例因数，α是旋转角，并且t_x和t_y分别地表示x和y方向上的平移。

在此系统中存在4个变量。因此，其能够对更复杂的变换进行建模。其将图像的震动性建模为旋转、平移和缩放。缩放对应于变焦上的变化。

当计算参数时，更容易用两个中间变量来替换s·cos（α）和s·sin（α），并且当求解这些中间变量时，能够容易地求解s和α。

此变换能够捕捉照相机旋转，尤其是平行于图像平面的平面中的照相机旋转。

仿射变换（‘a’）

表示用于2乘3矩阵的最复杂变换。其具有6个变量。除平移、旋转、缩放之外，其还能够表示剪切等效应。很少需要对如此多的变化类型进行建模。但是如果存在非线性效应，诸如透镜畸变，则其可能产生更好的结果。其还能够在理论上对某种类的透视效应进行建模（即，与背景像素相比前景像素更加接近透镜）。

翘曲变换的实现注意到使用IPP函数。唯一的所需其他变量是内插模式，其支配用于所显示图像的某些最终每像素计算。

透视变换（‘ρ’）

表示透视变换，其是在给定针孔照相机模型的情况下将2D平面映射到另一2D平面上的完美模型。照相机成像平面是2D平面，因此如果场景是大的2D平面，诸如机场停机坪，则可以应用此模型。

[c]是具有9个元素的3乘3矩阵。然而，由于其是齐次方程，则人们能够将一个元素设置成常数（c₃₃＝1）。因此，如果存在4个点，则人们能够求解透视变换C。如果存在更多的点，则应当使用最小二乘法。

然而，更复杂的可能不会给出最佳的性能。实践中，相似变换似乎对于正常震动视频而言具有更好的性能。

在这里是用于选择模型类型的某些方针。

（1）‘t’是最廉价的，并且应当足以用于“简单”（上下、左右）照相机震动条件；

（2）‘s’是默认值。这覆盖了平移效应，并向混合中添加旋转效应。

一般地，不使用‘a’和‘p’变换。

在图4中提供了根据本发明的一个方面的基于拐角的图像稳定器的流程图。在本文中步骤40是模糊检测，步骤42评估变换，步骤44报告凸块（bump）或过度偏差。在本发明的一个实施例中且如图4中所图示的图像稳定器（I.S.）具备检查I.S.是否正适当地起作用的控制机制。在若干个阶段处，可要求图像稳定器执行被图示为步骤48的硬重置。在步骤46中，设置用于变换计算中的错误之后的重置的标记。路径50和52图示出图像稳定化的流程图，其中，检测ni初始凸块。在步骤54处，检查帧是否被拍为参考帧。如果未报告错误，则系统在步骤56中移动至下一帧。下面将进一步描述的偏置参考检测器被图示为方框58。

检测器反馈

在本发明的一个实施例中，将运动检测器放置在处理管线中的图像稳定化之后。但是其将向图像稳定化中向前馈送背景图像和运动映射表以改善稳定化性能。这在图5中的示图中被图示出。图像稳定化在60中发生。检测器62向输出到60的光度单元70提供运动映射表64、背景图像66和STD映射表68。然而，运动映射表还被直接地提供给60。

运动映射表

为了避免将来自参考图像的拐角匹配到输入帧中的移动对象上，有必要排除具有移动对象的区域。由于运动映射表是根据最后的帧所计算的，所以应将其扩大以容忍当前帧中的运动映射表中的可能变化。

模糊帧检测器

当照相机非常快速地震动时，图像可能变得模糊。模糊图像将减少拐角位置方面的准确度。其导致不准确且不稳定的变换。由于表观上的急剧变化，检测器还应避免将模糊帧用于运动检测。因此，放入模糊检测器以检测模糊帧并用信号指示稳定器和检测器跳过该帧。模糊检测步骤在图4的流程图中被识别为步骤40。

模糊性被定义为用高通滤波器所滤波的当前帧的平均值。对同一场景进行成像，较锐利的图像将具有更高的平均值。

使图像模糊类似于针对图像中的每个像素取局部平均。就数学上而言，其等效于在图像上应用低通滤波。将减少或消除图像中的高频信息。因此，高通滤波将在模糊图像上产生与来自正常图像的响应相比更少的响应。

参考偏置检测器（在图4中图示为方框58）

期望的是将当照相机处于其平衡位置处时的帧用为参考帧。

（a）其最可能与映射表和查找表匹配。

（b）平均起来，其还只需要具有较小量值的变换以使当前帧稳定。

（c）可能由于照相机移动而未在每个帧处都被更新的边界像素将被更一致地更新。

然而，稳定器一般将锁定到其看到的第一帧上。该帧可能是也可能不是来自平衡位置的帧。

参考帧具有4个偏置，矩形图像的每个拐角各一个（左上、左下、右上、右下）。用于特定拐角的偏置被定义为该拐角的平均位移，其超过由biasQdepth所定义的帧数目。biasQdepth当前被设置为一百帧，并由‘BiasQDepth’注册表设置所控制。

如果存在具有显著偏置的2个以上拐角，则认为参考帧被偏置，并且因此需要将其替换。“显著偏置”意指平均偏差，其超过多于‘areferenceBiasThreshold’个像素的‘biasQdepth’帧数目。

为了允许平面在3D空间中来回移动，允许在3D中被“钉住”的平面上的点的最大数目是2。换言之，对于3D的矩形而言，不可能在其他拐角被固定的同时具有经历较大移动的仅一个角；被允许在其他拐角被固定的同时移动的拐角的最小数目是2。考虑到此平面是照相机图像平面，显然的是人们应当使用2个拐角作为用于检测参考偏置的阈值。

从实践角度出发，大部分照相机震动移动是平面内的刚性移动。如果2个拐角具有显著偏置，则最可能全部的4个也将具有该偏置。最后结果在将2个或4个拐角用于检测偏置之间几乎是相同的。

当现有参考帧与其在平衡位置处的相对部分具有相当大的偏置时，参考偏置检测器将检测到它并当其到来时推荐替换。

推荐的替换是这样的帧，该帧的用于其全部四个拐角的位移非常类似于来自现有参考帧的对应拐角的偏置。

偏置检测器将检查每个输入帧，直至找到其偏置落在阈值以下的帧。其然后将使用此帧作为新的参考帧。此“透视中的移位”将很可能引起检测器重置。

漂移补偿

图像稳定化将尝试补偿长期“支柱漂移”，诸如对由一天过程内的加热和冷却所引起的支柱高度和定向的变化。以下讨论描述了漂移补偿如何起作用。

图像稳定化能够通过以下起作用：获取每个输入帧、在其与参考帧之间建立对应关系（经由找到每个帧中的共同拐角的位置，并且然后找到使两者相关的方程）、以及然后以输入帧的拐角被放置在参考帧中它们被发现所处于的相同位置中的这样的方式来变换输入帧。当处理器中的稳定化线程（例如名为CameraAPipeline）启动时建立此参考帧，并且将其随着CameraAPipeline运行而随时间推移被周期性地更新。此参考帧被称为“暖”参考帧，因为其随时间推移而改变。暖参考帧的此周期性更新允许图像稳定化跟踪天气和照明方面的变化。

如果热效应正在引起支柱在日间移动，则此暖参考将跟踪这些随时间推移的变化。例如，假设热效应正在引起照相机随时间推移而“下移”。如果照相机正在下移，则图像中的给定固定点正在“上移”。此给定点也将在人们随时间推移而观看暖参考帧时看起来“上移”。

类似地，如果照相机正在“上移”，则漂移补偿将有效地将图像“向下”拉动。并未落在相对于原始基础帧文件的映射表和LUT的范围内此被下拉的图像的各部分被显示为白色。例如，假设在特定时间点处，这是如图6中所示的当前照相机图像。

假设原始基础帧看起来像如图7中所提供的图像。很可能难以分辨，但图6的输入图像已相对于图7的基础帧向上并向右移位。漂移补偿将把输入图像“向下且向左”拉动。将处于右上方的输入图像的未被覆盖部分被涂以白色，如图8中所示。图8也示出了识别所检测对象的框。

描述此总体过程的另一方式即是图像稳定化调整了输入图像的坐标系以匹配暖参考帧的坐标系。

当照相机随时间推移而“下移”（或向上或旋转）时，图像稳定化将（适当地）调整每个输入图像的坐标系以与当前参考帧对准。然而，一个或多个暖参考帧的坐标系随时间推移而改变。这里的问题是系统的映射表和LUT仅在一个特定参考帧中是有效的：在其中将它们产生的参考帧。在其中将它们产生的参考帧与连同映射表和LUT一起下载到CameraAPipeline的“基础帧文件”相对应。在支柱漂移推动输入图像的坐标系远离冷坐标系时，所报告的对象位置逐渐地变得不那么准确，分类性能降低（因为分类映射表不再反映真是世界），并且由稳定化映射表和算法映射表所辅助的计算也受到影响。为了解决此问题，必须建立输入暖参考帧与冷参考帧（其中产生了映射表和LUT）之间的对应关系。

漂移补偿因此是第二层的图像稳定化。第一层的图像稳定化将输入帧映射到暖参考帧的坐标系中。第二层将暖参考帧的坐标系映射到针对其产生映射表和LUT的基础帧文件的坐标系。此后一个坐标系从不改变，并被称为“冷参考帧”。

漂移补偿方法仅在建立新的参考帧时运行。当建立新的暖参考帧时，该方法计算变换，该变换将把暖参考帧的坐标系映射到基础帧图像、映射表和LUT的冷坐标系中。此变换是通过在与现有稳定化算法如何将输入帧对准到暖参考帧类似的过程中找到并匹配拐角而计算的。然后将此变换连同从输入图像到暖参考帧的每帧变换一起应用于每个后续输入帧，以产生最终图像。

输入图像→暖参考坐标系→冷坐标系

系统因此必须能够将每个输入暖参考帧与冷参考帧对准。也许有可能直接完成这一点。在不可能直接地创建此映射的情况下，漂移补偿创建“中间变换”的数据库，其使用该数据库来帮助将输入帧对准回到冷参考帧。

如下创建“中间变换”。假设CameraAPipeline启动，将第一暖参考帧与基础帧匹配，并开始正常地运行。在太阳下山或者在条件改变时，输入暖参考帧图像的表观将从基础帧文件的表观“漂移开”是非常可能的。其可“漂移开”如此远，使得其也许不可能在输入暖参考帧与冷参考帧之间对准拐角。为了防止这种情况发生，漂移补偿将注意输入暖参考帧的表观何时从基础帧文件“漂移开”。通过注意到能够在两个帧之间匹配的拐角的百分比足以完成匹配，但仅仅是刚好足够，来计算“漂移开”。如果情况如此，则算法保存暖参考帧的副本和将该暖参考帧带回到冷参考帧所必需的变换。如果后续暖参考帧与此保存变换匹配，则能够将输入参考帧变换回到已保存暖帧（这被称为“中间变换”），并且从那里返回到冷帧。

在本发明的一个实施例中，这些中间变换被存储在计算机文件中，诸如存储于存储介质上的预设目录中的磁盘文件。针对每个已保存中间变换，此磁盘文件包含将此图像映射回到冷参考帧的变换矩阵，并包括其中存储了对应图像的.bmp文件的名称以及此图像与输入图像之间的最后匹配的时间戳。

用于支柱漂移补偿的系统

如在本文中所提供的方法在本发明的一个实施例中被实现在系统或计算机设备上。使在图9中所图示出且如本文所提供的系统1800能够用于接收、处理和生成数据。该系统具备能够被存储于存储器1801上的数据。可从诸如照相机1811之类的传感器获得数据，照相机1811可以是多个照相机的一部分，或者可从数据源提供数据。可在输入端1806上提供数据。此类数据可以是图像数据或者在监视系统中有帮助的任何其他数据。还为处理器提供指令集或程序或用该指令集或程序对处理器进行编程，该指令集或程序执行本发明的方法，其被存储于存储器1802上并被提供给处理器1803，处理器1803执行1802的指令以处理来自1801的数据或其他输入数据。能够在输出设备1804上输出诸如图像数据或由处理器提供的任何其他数据之类的数据，输出设备1804可以是用以显示数据的显示器或数据存储设备。在一个实施例中，输出设备1804是屏幕或显示器，其中，在处理器上显示图像，诸如图示出所检测拐角和/或图像漂移和/或所检测对象的视频图像。处理器还具有通信信道1807以从通信设备接收外部数据并向外部设备发送数据。本发明的一个实施例中的系统具有输入设备1805，其是诸如键盘之类的输入设备，该输入设备例如允许用户对系统进行配置。输入设备还可以是或包括键盘、鼠标、指示设备、一个或多个照相机或能够生成将提供给处理器1803的数据的任何其他设备。

处理器可以是专用硬件。然而，处理器还可以是CPU或能够执行1802的指令的任何其他计算设备。相应地，如图9中所图示的系统提供了用于由传感器、照相机或任何其他数据源引起的数据处理的系统，并能够执行如在本文中作为本发明的方面所提供的方法的步骤。

图10示出了系统1200的示图，其具有被附接于结构1204的照相机1201，结构1204经历与其环境有关的影响照相机的稳定参考帧的短期和较长期移动。包括处理器的计算机系统1202被编程为从照相机接收图像数据并根据本发明的一个或多个方面来处理图像。将已处理图像经由输出1205提供给示出稳定监视视频的显示器。还可以处理稳定视频图像以检测视频中的对象或人并确定其在稳定图像空间中的位置。

虽然已示出、描述并指出了如应用于本发明的优选实施例的本发明的基本新颖特征，但将理解的是在不脱离本发明的精神的情况下可由本领域的技术人员进行所说明的方法和系统的形式和细节上及其操作上的各种省略和替换及改变。因此意图在于仅仅如由权利要求的范围所指示的进行限制。

Claims

1. 一种监视系统，包括：

一个或多个照相机，用于生成多个视频帧；

存储器，用以存储所述多个视频帧；

处理器，与所述存储器通信以通过以下步骤来处理所述多个视频帧中的每一个：

接收所述多个视频帧中的帧；

确定瞬态变换，所述瞬态变换将所述帧变换到得自于瞬态帧的相关瞬态坐标系；

确定基础变换，所述基础变换将所述瞬态坐标系变换到得自于基础帧的基础坐标系；

确定将所述瞬态变换和所述基础变换进行组合的组合变换；以及

对所述帧执行所述组合变换。

2. 权利要求1的监视系统，还包括所述处理器从所述帧提取特征。

3. 权利要求2的监视系统，其中，所述瞬态变换将所述帧中的特征变换为瞬态帧中的特征。

4. 权利要求1的监视系统，其中，在所述监视系统用所述帧进行的操作期间更新所述瞬态帧。

5. 权利要求4的监视系统，其中，基于偏置检测将所述帧选择为已更新瞬态帧。

6. 权利要求1的监视系统，其中，在所述监视系统的设立阶段期间确定所述基础帧变换。

7. 权利要求1的监视系统，其中，所述瞬态变换修正诸如支柱震动之类的高频效应。

8. 权利要求1的监视系统，其中，所述基础帧变换修正诸如热变化之类的较缓慢作用的效应。

9. 权利要求5的监视系统，其中，所述已更新瞬态帧不能被变换为基础帧并且被存储在所述存储器中以用于以后处理。

10. 权利要求1的监视系统，其中，所述一个或多个照相机中的至少一个被附接于静态结构，所述静态结构经历环境引起的移动，所述环境引起的移动不大于所述一个或多个照相机中的至少一个的视场。

11. 权利要求4的监视系统，其中，所述组合变换将所述帧到所述已更新瞬态帧的已更新瞬态变换、所述已更新瞬态帧到先前瞬态帧的变换和所述先前瞬态帧到所述基础帧的变换进行组合。

12. 一种管理监视系统的方法，包括：

处理器接收多个视频帧中的帧；

所述处理器确定瞬态变换，所述瞬态变换将所述帧变换到得自于瞬态帧的相关瞬态坐标系；

所述处理器确定基础变换，所述基础变换将所述瞬态坐标系变换到得自于基础帧的基础坐标系；

所述处理器确定将所述瞬态变换和所述基础变换进行组合的组合变换；以及

所述处理器对所述帧执行所述组合变换。

13. 权利要求12的方法，还包括所述处理器从所述帧提取特征。

14. 权利要求13的方法，其中，所述瞬态变换将所述帧中的特征变换为瞬态帧中的特征。

15. 权利要求12的方法，其中，在所述监视系统用所述帧进行的操作期间更新所述瞬态帧。

16. 权利要求15的方法，其中，基于偏置检测将所述帧选择为已更新瞬态帧。

17. 权利要求12的方法，其中，在所述监视系统的设立阶段期间确定所述基础帧变换。

18. 权利要求12的方法，其中，所述瞬态变换修正诸如支柱震动之类的高频效应。

19. 权利要求12的方法，其中，所述基础帧变换修正诸如热变化之类的较缓慢作用的效应。

20. 权利要求12的方法系统，其中，所述一个或多个照相机中的至少一个被附接于静态结构，所述静态结构经历环境引起的移动，所述环境引起的移动不大于所述一个或多个照相机中的至少一个的视场。