CN101479767A - 视频缝合的方法和设备 - Google Patents

Abstract

提出了一种用于视频缝合的方法和设备。本发明确定表示图像(视频)序列的两幅连续图像间变化的一个或多个运动矢量。还通过检验来自从具有重叠视场的相邻放置的摄像机获得的两个不同视频的两幅图像及其组合，来确定空间相关函数。本发明通过应用针对组合图像的后续集合使匹配值在预定的范围内的相关函数，来实现更快速的图像缝合。匹配值是表示针对要组合的图像的后续集合的相关函数的变化的值。根据表示图像的后续集合中的重叠部分的坐标值的集合和相关函数来确定所述匹配值。根据运动矢量来确定坐标值集合。

Description

视频缝合的方法和设备

技术领域

本发明涉及一种用于视频缝合(stitching)的方法和设备。本方法还涉及一种计算机程序产品。

背景技术

定义1：为了简洁、简化、清晰和例证起见，下文中，仅考虑两个视频来对从多个视频产生镶嵌视频进行解释；然而，本领域的技术人员将理解的是相同的解释也可以扩展至多于两个视频。

包括监视系统、视频会议视觉系统、家庭视频应用、车辆视觉系统以及其他系统的多种应用需要广视角，以便能够很容易地了解发生在各个角度的事件。然而，通常普通摄像机的视角在水平面上的最大角度为90度。多个相邻放置的摄像机常常用于拓宽视角。将这些摄像机所获得的图像/视频缝合在一起来构造全景或镶嵌图像/视频，从而实现广视角。获得全景或镶嵌图像/视频是一件计算量大并耗时的事情。通常，由于产生全景或镶嵌视频所需的计算时间较多，因此不可能实时地获取全景或镶嵌视频。

美国专利申请2006/0066730(下文称作D1)描述了一种用于分布式孔径系统的多摄像机图像缝合。根据D1，该系统使用围绕车辆分布的多个监视传感器来提供对目标的自动检测，并且提供各个方向的成像功能。该系统确定视线和视场、获得用于镶嵌的输入图像集合、以及布置从输入图像到镶嵌图像的组成。该系统需要大量的计算资源，并提供耗时的解决方案。

因此，具有时间和资源上均高效的图像或视频缝合系统是有利的。

发明内容

为此，本发明提供了一种用于至少从第一和第二图像序列中产生镶嵌图像序列的方法，所述方法包括以下步骤：

a.从第一图像序列中获得第一运动矢量，从第二图像序列中获得第二运动矢量；

b.从第一图像序列的第一图像中提取第一坐标值集合，并且从第二图像序列的第一图像中提取第二坐标值集合，其中，所述第一和第二集合与第一图像的重叠部分相对应；

c.从所述集合获得相关函数，所述相关函数表示第一图像的坐标值之间的关系；

d.使用相关函数，将第一图像序列的第一图像与第二图像序列的第一图像进行组合；

e.使用第一序列的第二图像和第二序列的第二图像来更新运动矢量，其中第二图像在第一图像之后；

f.如果至少一个运动矢量的幅度大于阈值，则提取第二图像的坐标值集合，否则使用运动矢量和第二图像的坐标值集合来更新坐标值集合；

g.使用坐标值集合和相关函数来计算匹配值；

h.如果匹配值在预定的数值范围内，则

·使用相关函数将第一图像序列的第二图像与第二图像序列的第二图像进行组合以及，

·从步骤e开始重复本方法，其中，紧接在第一序列的第二图像之后的图像代替第一序列的第二图像，并且紧接在第二序列的第二图像之后的图像代替第二序列的第二图像以及；

i.从步骤b开始重复方法，其中，第一序列的第二图像代替第一序列的第一图像，并且第二序列的第二图像代替第二序列的第一图像。

根据本发明的所述方法的这个方面使用的事实在于，视频是图像的序列，并运动矢量表示图像序列的两个连续图像之间的变化。此外，从多个视频中产生镶嵌视频需要从多个视频获得的图像序列组合。空间相关函数可以从来自从具有重叠视场的相邻放置的摄像机获得的相互不同的视频中导出。本发明通过检验需要组合的图像来计算相关函数、并且如果匹配值在预定的范围内则针对组合图像的后续集合应用相关函数，来实现更快速的图像缝合。匹配值是表示针对要组合的图像的后续集合的相关函数的变化。根据表示图像的后续集合中的重叠部分的坐标值集合和相关函数来确定所述匹配值。针对图像的后续集合来更新运动矢量。更新的运动矢量表示与在前述步骤中组合的图像相比图像的后续集合的变化。根据运动矢量来确定坐标值的集合。这意味着，通过适当地将运动向量添加至已经在前述步骤中组合的图像的重叠部分的坐标集合，来获得图像的后续集合中的相互重叠部分的坐标。只有当运动向量的任一项的大小大于阈值时，才从后续图像中获得坐标的新集合。因此，本发明避免了针对要组合的每一对图像重复计算相关函数的需要。

可以通过检验图像序列的第一个图像来确定视频(或图像的序列)的运动矢量。每幅图像特征的坐标值的平均变化可以表示运动矢量。也可以通过光流方法来确定运动矢量。对于计算相关函数，获得要组合的两个图像。在两幅图像中，确定表示重叠部分的特征的坐标值。获得表示两幅图像的重叠部分的坐标值之间关系的相关函数。诸如随机样本一致分析的方法或超定(over-determined)矩阵的系统的分析可以用于获得相关函数。然后使用相关函数将两幅图像组合。随后，使用要组合的后续图像集合来对运动矢量进行更新。如果更新后的运动矢量的幅度小于阈值，则运动矢量和从两幅图像获得的坐标值用于估计与后续图像集合的重叠部分相对应的特征的坐标值。如果不是这种情况，则为后续图像集合确定新的坐标值集合。检查运动矢量的幅度确保了针对后续图像集合所获得的坐标值刚好或基本上刚好表示图像的重叠部分。后续图像集合之一的坐标值在与相关函数一起应用时，应当提供与后续图像集合的其他图像的重叠部分的所估计坐标值相对应的特征的坐标值。然而，实际上，由于在计算相关函数和运动矢量期间引入的误差或由于视频捕获设备本身，可能并非是上述情况。因此，根据镶嵌图像的期望质量来估计容许的匹配值。无论如何，后续图像集合之一的所估计坐标值，相关函数的应用提供基本上(大于匹配值)与后续图像的其他图像的重叠部分的估计坐标值不同的坐标值，然后，随后针对图像的后续集合进行相关函数的新过程。如果不是这样的情况，则使用相同的相关函数将后续图像集合与随后的图像集合进行组合，直到差值在匹配值之内为止。

根据一个方面，本发明提供一种设备，所述设备包括：处理单元，具有一个或多个输入和一个或多个输出。该设备设置为接收多个输入图像序列并根据上述步骤提供输出图像的一个或多个镶嵌序列。根据一个实施例的设备可以具有用于对图像的输入和/或输出序列进行通信的通信工具。通信工具可以是有线通信工具或无线通信工具或其任意组合。向设备提供这样的工具允许从设备至附近或远程位置、和从附近或远程位置至设备的图像(或图像序列)通信。

根据本发明的另一方面，提供了一种计算机程序产品。通过计算机装置来加载包括指令的计算机程序产品，所述指令用于产生镶嵌图像序列，计算机装置包括处理单元和存储器，计算机程序产品在被加载后，向所述处理单元提供执行上述步骤的能力。

附图说明

参照附图，下文将更详细地对本发明的实施例进行描述，附图中：

图1示出了根据本发明实施例的方法的流程图；

图2示出了根据本发明实施例的设备；

图3示出了根据本发明另一实施例的另一设备，以及；

图4示出了根据本发明又一实施例的设备的可能的专用集成电路(ASIC)实现之一。

具体实施方式

图1示出了用于实践根据本发明实施例的方法的步骤100。在第一步骤102中，至少获得第一和第二图像序列。镶嵌图像序列需要从所述第一和第二图像序列产生。在步骤104中，从第一图像序列获得第一运动矢量并且从第二图像序列获得第二运动矢量。

根据一个实施例，可以使用块相关方法来获得运动矢量。在该方法中，采用特征块(例如，在MPEG中，16×16特征的宏块)对图像进行分割。第一图像中的每一块与第二图像中大小相同的块相对应。第一图像中的块可以观测在第二图像中其位置的位移。通过运动矢量来表示该位移。因此，可以通过利用两幅图像中匹配块的坐标值的差值来计算运动矢量。还可以使用对于块的DCT对运动矢量进行优化。这被称作相位相关；一种确定两幅图像之间的相对移动运动的频域方法。根据另一实施例，还可以使用光流方法来获得运动矢量。

在步骤106中，从第一图像序列中提取第一坐标值集合并从第二图像序列中提取第二坐标值集合。所述第一和第二集合与第一图像的重叠部分相对应。

在随后的步骤108中，相关函数来自所述集合，所述相关函数表示第一图像的坐标值之间的关系。针对给出的坐标值集合，以下可以获得相关函数。

如果通过(x，y，1)和(x’，y’，1)来表示所获得的坐标值集合，则可以通过求解以下方程来获得相关函数H。其中，相关函数H是3×3矩阵。

$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=H*\left[\begin{array}{c}x\′\\ y\′\\ 1\end{array}\right]$

$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]*\left[\begin{array}{c}x\′\\ y\′\\ 1\end{array}\right]$

$x=\frac{h_{1}x\′+h_{12}y\′+h_{13}}{h_{31}x\′+h_{32}y\′+h_{33}};$ $y=\frac{h_{21}x\′+h_{22}y\′+h_{23}}{h_{31}x\′+h_{32}y\′+h_{33}}$

对上述进行重新整理

[x′ y′ 1 0 0 0 -xx′ -xy′ -x]＊h＝0........(1)

[x′ y′ 1 0 0 0 -xy′ -yy′ -y]＊h＝0........(2)

其中，h＝[h₁₁ h₁₂ h₁₃ h₂₁ h₂₂ h₂₅ h₃₁ h₃₂ h₃₃]^T

可以通过针对多个坐标值求解上述等式来获得相关函数。

在步骤110中，使用相关函数将第一图像序列的第一图像与第二图像序列的第一图像进行组合。在另一步骤112中，使用第一序列的第二图像和第二序列的第二图像对运动矢量进行更新，其中第二图像在第一图像之后。在随后的步骤114中，确定至少一个运动矢量的幅度是否大于阈值。确定运动矢量的幅度确定了后续图像中特征位置的改变。如果运动矢量的幅度大于阈值，即，实质上特征位置的位置改变。在当至少一个运动矢量的幅度大于阈值的情况下，则除了用第二图像代替第一图像以外，则采用如步骤106所述的方式，在步骤126中，提取第二图像的坐标值集合。如果运动矢量的幅度在阈值的范围内，则在步骤116中，使用运动矢量来更新坐标值集合。更新后的坐标值集合表示第二图像的重叠部分。第二图像在第一图像之后。为了从坐标值中获得更新的坐标值，向坐标值添加或从坐标值中减去运动矢量。

一旦新的坐标值集合是可用的，则在步骤118计算匹配值E。对于给出的坐标值集合和相关函数，如下可以计算匹配值E：

$E=\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]-H*\left[\begin{array}{c}x\′\\ y\′\\ 1\end{array}\right]$

匹配值E确定是否相关函数对于第二图像仍旧有效。如果匹配值E足够小，小于预定值(步骤120)，则使用相同的相关函数来组合第二图像(步骤122)，并且从步骤112开始重复所述方法，其中，紧接在第一序列的第二图像之后的图像代替第一序列的第二图像，并且紧接在第二序列的第二图像之后的图像代替第二序列的第二图像(步骤124)。

如果匹配值大于预定值，则从步骤108开始重复所述方法，其中，第一序列的第二图像代替第一序列的第一图像，并且第二序列的第二图像代替第二序列的第一图像。

图2示出了根据本发明实施例的设备200。设备200具有处理单元202并具有一个或多个输入204以及一个或多个输出206。设备200的处理单元202被设置为接收多个输入图像序列并在输出处产生和提供一个或多个镶嵌图像序列。处理单元被设置为执行参照图1所述的方法步骤。

图3示出了根据本发明另一实施例的另一设备300。设备300配备了用于对输入和/或输出图像序列进行通信的通信工具308。通信工具308可以是有线通信工具或无线通信工具或其任意组合。向该设备提供这样的工具，来允许从设备至附近或远程位置和从附加或远程位置至设备的图像(图像序列)通信。设备300具有用于通过有线通信工具提供/接收输出/输入图像的输入304和输出306。设备300配备了被设置为执行参照图1所述的方法步骤的处理单元。

根据又一实施例，可以采用ASIC来实现本发明。图4示出了一种这样的ASIC 400的实现。ASIC 400可以包括通过系统总线460连接的微处理器/微控制器410(下文中，用语“微处理器”将表示微控制器和/或微处理器)。系统总线460还连接ASIC控制器420、存储器架构430和外围设备。微处理器410还可以配备测试工具450。测试工具450可以是JTAG边界扫描机构。微处理器410包括：用于根据图像序列进行运动向量计算的模块411；特征坐标值提取模块412，用于从两幅或多幅图像中提取特征坐标值；相关函数计算模块413，用于根据坐标值计算相关函数；图像缝合模块414，用于使用相关函数来缝合图像；和中央逻辑415，用于控制上述模块。可以使用FPGA(现场可编程门阵列)来实现中央逻辑415。使用FPGA实现中央逻辑模块415对控制缝合的质量提供了灵活性。

ASIC控制器420可以包括：定时器421、电源管理系统422、锁相环控制423、系统标志424和控制用于管理ASIC操作的模块425的其他重要系统状态符号(例如，中断等)。

存储器构架430可以包括存储器控制器431和一种或多种类型的存储器(例如，闪速存储器432、SRAM433、SIMD存储器和其他存储器)。存储器控制器431允许这些存储器访问微处理器410。

外围设备440包括用于在外部与ASCI 400进行通信的模块。通信模块可以包括无线通信模块441、有线通信模块442。这些通信模块可以使用通信工具，诸如USB(通用串行总线)443、以太网444、RS-232(445)或任何其他工具。

根据本发明的另一方面，提供了一种计算机程序产品。计算机程序产品可以通过计算装置加载，所述计算机程序产品包括用于产生镶嵌图像序列的指令，计算机装置包括处理单元和存储器，计算机程序产品在被加载之后，向所述处理单元提供执行上述步骤的功能。

当前讨论的方法和设备的所述实施例的次序不是强制性的，仅出于说明的目的。本领域的技术人员在不背离当前讨论预期概念的前提下，可以改变步骤的次序或使用线程模块、多处理器系统或多处理来并行地执行所述步骤。任一这样的实施例将落在讨论范围内并是保护的主旨。应当注意的是，上述实施例仅说明而非限制所述方法和设备，并且本领域的技术人员在不背离所附权利要求范围的前提下，将能够设计许多可选实施例。

尽管所附权利要求针对特定的特征组合，但应当理解的是，无论本发明的公开范围是否涉及任一项权利要求中目前所要求的相同发明，无论其是否减少本发明的任一或所有相同的技术问题，本发明的公开范围还包括任何新颖特征或这里显示或隐式或其任何一般化公开的任何新颖的特征组合。

因此，申请人提醒，在本申请或从其导出的任何其他申请公布期间，使新的权利要求针对这样的特征和/或这样特征的组合。

在权利要求中，置于括号之间的任何附图标记不应视作对本权利要求的限制。单词“包括”不排除权利要求中所列出的那些元件或步骤以外的元件或步骤的存在。元件之前的单词“一”或“一个”不排除多个这种元件的出现。方法和设备可以通过包括若干不同元件的硬件和/或通过适当编程的处理器来实现。在列举若干装置的设备权利要求中，可以通过一个或同一项计算机可读软件或硬件来体现这些装置中的一些。事实在于，彼此不同的从属权利要求中陈述的特定措施并不表示使用这些措施的组合是不利的。

Claims (7)

1、一种用于至少从第一和第二图像序列中产生镶嵌图像序列的方法(100)，所述方法包括以下步骤：

a)从第一图像序列中获得第一运动矢量，从第二图像序列中获得第二运动矢量(104)；

b)从第一图像序列的第一图像中提取第一坐标值集合，并且从第二图像序列的第一图像中提取第二坐标值集合(106)，其中，所述第一和第二集合与第一图像的重叠部分相对应；

c)从所述集合获得相关函数(108)，所述相关函数表示第一图像的坐标值之间的关联；

d)使用相关函数，将第一图像序列的第一图像与第二图像序列的第一图像进行组合(110)；

e)使用第一序列的第二图像和第二序列的第二图像来更新运动矢量(112)，其中第二图像在第一图像之后；

f)如果至少一个运动矢量的幅度大于阈值，则提取第二图像的坐标值集合(126)，否则使用运动矢量和第二图像的坐标值集合来更新坐标值集合；

g)使用坐标值集合和相关函数来计算匹配值(118)；

h)如果匹配值在预定的数值范围内，则

·使用相关函数将第一图像序列的第二图像与第二图像序列的第二图像进行组合(122)，以及

·从步骤e开始重复所述方法，其中，紧接在第一序列的第二图像之后的图像代替第一序列的第二图像，并且紧接在第二序列的第二图像之后的图像代替第二序列的第二图像；以及

i)从步骤b开始重复所述方法，其中，第一序列的第二图像代替第一序列的第一图像，并且第二序列的第二图像代替第二序列的第一图像。

2、根据权利要求1所述的方法，其中，所述预定值和所述阈值取决于所需的镶嵌图像质量。

3、根据权利要求1所述的方法，其中，获得运动矢量的步骤(104)包括步骤：从图像序列获得第一数量的图像，确定每幅图像的特征的坐标值平均变化，和/或确定光流。

4、根据权利要求1所述的方法，其中，获得相关函数的步骤(108)包括步骤：执行随机样本一致分析算法。

5、一种设备(200、300)包括：处理单元(202)，具有输入和输出，所述设备被配置为接收两个或多个输入图像序列，并根据权利要求1的方法提供一个或多个镶嵌输出图像序列。

6、根据权利要求5所述的设备(300)，还包括：通信工具(308)，对输入和/或输出图像序列进行通信。

7、一种要由计算机装置加载的计算机程序产品，所述计算机装置包括处理单元和存储器，计算机程序产品包括用于产生镶嵌图像序列指令，并且所述计算机程序产品在被加载后，向所述处理单元提供执行根据权利要求1的步骤的能力。

Images