CN105100688A - 图像处理方法、图像处理装置和监视系统 - Google Patents

Abstract

本公开涉及用于包括多个摄像装置的监视系统的图像处理方法和图像处理装置，以及监视系统。该图像处理方法包括：从多个摄像装置中的每个摄像装置所获取的视频中提取关键帧；对于每个所提取的关键帧，确定监视区域与关键帧的监视区域邻近的邻近摄像装置，并从邻近摄像装置获取与关键帧同时刻的相应视频帧；将从各摄像装置提取的关键帧与相应视频帧进行融合以生成全景关键帧；生成由各关键帧的全景关键帧构成的序列作为监视系统的视频摘要。

Description

图像处理方法、图像处理装置和监视系统

技术领域

本申请一般涉及监视领域，更具体地，涉及用于包括多个摄像装置的监视系统的图像处理方法和图像处理装置，以及监视系统。

背景技术

视频监视系统可以应用视频摘要技术，视频摘要是监视系统获得的视频内容的概要。例如，可以通过运动目标分析等手段，提取包含运动目标的片段，以对原始视频进行浓缩。利用视频摘要，能够快速了解监视系统获得的视频的内容，例如浏览监视区域中出现的对象或事件等。

发明内容

在下文中给出了关于本发明实施例的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，以下概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

根据本公开的一个方面，提供一种用于包括多个摄像装置的监视系统的图像处理方法。该方法包括以下步骤：从多个摄像装置中的每个摄像装置所获取的视频中提取关键帧；对于每个所提取的关键帧，确定监视区域与关键帧的监视区域邻近的邻近摄像装置，并从邻近摄像装置获取与关键帧同时刻的相应视频帧；将从各摄像装置提取的关键帧与相应视频帧进行融合以生成全景关键帧；以及生成由各关键帧的全景关键帧构成的序列作为监视系统的视频摘要。

根据本公开的另一个方面，提供一种用于包括多个摄像装置的监视系统的图像处理装置。该装置包括关键帧提取单元、相应帧获取单元、帧融合单元以及视频摘要生成单元。关键帧提取单元被配置为从多个摄像装置中的每个摄像装置所获取的视频中提取关键帧。相应帧获取单元被配置为对于每个所提取的关键帧，确定监视区域与关键帧的监视区域邻近的邻近摄像装置，并从邻近摄像装置获取与关键帧同时刻的相应视频帧。帧融合单元被配置为将从各摄像装置提取的关键帧与相应视频帧进行融合以生成全景关键帧。视频摘要生成单元被配置为生成由各关键帧的全景关键帧构成的序列作为监视系统的视频摘要。

本公开的方面还包括监视系统，该监视系统包括根据本公开的实施例的图像处理装置。

根据本公开的实施例，通过多个摄像装置的监视结果的融合，提供更大范围的全景视频摘要，使得能够更全面地提供对监视区域内的对象或事件的监视。

附图说明

本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附图中：

图1是示出根据一个实施的图像处理方法的过程示例的流程图；

图2是示出根据一个实施例的图像处理方法中生成全景关键帧的过程示例的流程图；

图3是示出根据一个实施例的图像处理装置的配置示例的框图；

图4是示出根据一个实施例的图像处理装置中的帧融合单元的配置示例的框图；

图5是示出根据一个实施例的监视系统的配置示例的框图；以及

图6是示出实现本申请的方法和设备的计算机的示例性结构的框图。

具体实施方式

下面将参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

本公开的一个实施例是用于包括多个摄像装置的监视系统的图像处理方法。其中，摄像装置可以包括固定摄像装置或可移动摄像装置。

在本文中，“固定摄像装置”是指位置固定的摄像装置，“可移动摄像装置”是指位置可移动的摄像装置。固定摄像装置例如可以包括本领域熟知的固定摄像头，其被固定在监视区域处的固定设施例如墙体、电线杆等。需要指出的是，虽然被称为固定摄像装置，但其仍然可以具有一定的自由度，例如可以改变其拍摄角度、焦距等，相应地，其可以具有不同的拍摄区域。可移动摄像装置可以不被固定在固定的设施上，因此除了拍摄角度、焦距等自由度外，还可以根据需要改变其位置。根据具体应用，可移动摄像装置可以包括多种具有摄像功能的可移动设备。例如，可移动摄像装置可以是摄像机、移动电话、可穿戴电子设备如智能眼镜等，其由特定人员持有或佩戴，并随着该人员移动以起到可移动摄像装置的作用。此外，可移动摄像装置也可以包括例如设置有摄像装置的可移动设备，例如本领域已知的远程监控机器人等，其能够根据控制信号，通过驱动机制如轮或轨道等进行移动。

如图1所示，在步骤S110，从多个摄像装置中的每个摄像装置所获取的视频中提取关键帧。

关键帧是指对视频的内容具有代表性的一个或者多个帧，其可以是对应于视频中较特殊的事件的帧。其中，多个帧可以包括时间上不连续的多个帧，也可以包括时间上连续的帧序列(视频片段)。换句话说，本文中提到的关键帧可以包括单个帧、多个时间上不连续的帧、视频片段或者多段视频片段。

可以采用本领域已知的多种方法进行关键帧提取，例如基于镜头边界的方法、基于帧图像信息的方法、基于运动分析的方法和基于聚类的方法等。(例如参见“基于RoughSet与SVM的关键帧提取方法”，韩加亮、吴渝，计算机应用与软件，第29卷第6期，2012年6月)。

接下来，仅作为示例，简要描述一种基于场景的关键帧提取过程。

对于监视系统中的某个摄像装置，首先可以将其拍摄的视频分成若干个场景，其中每个场景由一系列时间上连续的视频序列构成。

可以通过基于颜色、纹理、边缘或者运动特征等的分析来进行场景的分割。例如，可以通过提取各视频帧的主要颜色，根据各帧之间的相似度来进行聚类的方法得到各个场景。

具体地，以基于颜色的场景分割方式为例，可以首先计算每帧的颜色空间值，颜色空间例如可以包括RBG、YCbCr、HSV、HMMD等类型。对于某个视频帧，可以根据其在颜色空间中的参数值进行矢量化，计算归一化后的颜色直方图，得到每种颜色占整幅图象的百分比，可以将百分比最大的颜色确定为该帧的主颜色。可以通过聚类将视频中一系列连续的帧分成若干个连续的序列，其中每个序列对应于一个场景。

在将视频分成若干场景之后，可以针对每个场景确定其中的关键帧。其中，可以通过视频的图像特征或声音特征或两者的组合来确定关键帧。

具体地，例如可以根据图像特征，例如图像的运动特征，或者根据声音特征，例如音频中的笑声、鼓掌声、异常声音(如枪声、玻璃破碎声、尖叫声、打架声等)来确定关键帧。此外，可以基于根据图像特征确定的关键帧结果和根据声音特征确定的关键帧结果两者来获取某个场景的最终关键帧结果。例如，如果根据图像特征确定的关键帧结果(其可以包括多个帧的序列)与根据声音特征确定的关键帧结果有重叠，则可以将重叠的那些帧确定为最终的关键帧结果。或者，可以通过比较根据图像特征和声音特征确定的关键帧结果的时长、能量等，例如选择时长或能量较大的作为最终的关键帧结果。

然而，本领域技术人员能够明白，除了上面描述的基于场景进行关键帧提取的示例过程之外，也可以采用其他多种方式提取关键帧。例如，可以不划分场景，而是直接基于图像特征，例如通过运动检测找到变化比较剧烈的一些帧作为关键帧。其中，例如可以通过帧间差分法，即连续两帧或几帧之间的差异来进行运动检测，也可以通过其他的方法，如背景减法、光流法及运动能量法等。另外，也可以基于声音特征，通过检测相应音频信号中的特殊事件(例如异常声音的检测)来确定关键帧。例如，可以首先训练这些异常声音的模型，通过模式识别的方法来找到异常事件在视频中的位置从而确定相应的关键帧。

需要指出，在根据本实施例的图像处理方法中，提取关键帧的步骤以及后面将要描述的其他相应步骤可以在监视过程中实时地进行(例如，一旦在拍摄的视频中检测到特定触发事件则提取相应关键帧)、按照预定定时进行(例如，周期性地进行)、根据预定触发条件进行(例如，在拍摄的监视视频达到预定时长或者达到预定存储量时进行)或者根据操作指令进行(例如，在操作者发出生成视频摘要的指令时进行)。

此外，在摄像装置(例如便携式智能设备如智能手机、智能眼镜等)本身具有关键帧提取功能的情况下，获取关键帧的步骤可以包括从摄像装置直接获取由摄像装置确定的关键帧。

继续参照图1，在步骤S120，对于每个所提取的关键帧，确定监视区域与该关键帧的监视区域邻近的邻近摄像装置，并从邻近摄像装置获取与该关键帧同时刻的相应视频帧。

如前所述，摄像装置可以包括固定摄像装置和可移动摄像装置，根据固定摄像装置和可移动摄像装置的工作参数，其可以各自具有特定的监视区域。其中，固定摄像装置的工作参数例如可以包括方位角、视角范围、焦距等，可移动摄像装置的工作参数例如包括位置、方位角、视角范围、焦距等。相应地，针对从某个摄像装置的视频中提取的关键帧，可以根据监视系统中的固定摄像装置或可移动摄像装置的当前工作参数来确定拍摄该关键帧的摄像装置的邻近摄像装置。应注意，这里所说的邻近摄像装置是指监视区域彼此邻近的摄像装置，其并不一定意味着摄像装置本身的位置邻近。

可以根据摄像装置拍摄的视频帧的时间轴信息确定与关键帧同时刻的相应帧。

接下来，在步骤S130，将从各摄像装置提取的关键帧与相应视频帧进行融合以生成全景关键帧。

如本领域已知的，图像融合是指通过特定算法将两幅或多幅图像合成为一幅新图像的技术。作为融合对象，关键帧和相应视频帧之间可能具有重叠部分，在这种情况下，可以通过配准、拼接、以及相应的图像处理(例如，使分辨率、灰度、色彩等图像特征尽量一致)等操作进行图像融合，从而可以使得融合后的图像表现为无缝的全景图像。此外，本申请实施例也可以适用于关键帧与相应视频帧之间没有重叠部分的情况。在这种情况下，例如可以根据相应摄像装置的工作参数估计图像间的相互位置关系，并按照所估计的相对位置将关键帧与相应视频帧组合在一起。此外，可以通过图像处理使得组合在一起的图像的分辨率、灰度、色彩等特征相互接近。从而，即使不能得到无缝拼接的全景图像，也可以根据所估计的相互位置提供与无缝拼接的全景图像类似的参考作用。

关于图像融合的具体方式，可以采用本领域已知的多种方式。例如，参见“一种全自动稳健的图像拼接融合算法(AnAutomaticandRobustImageMosaicAlgorithm)”，赵向阳、杜利民，中国图象图形学报(JournalofImageandGraphics)，第9卷，第4期，2004年4月。

此外，对于某个拍摄装置的关键帧，可以将其于预定数量的邻近拍摄装置或者预定范围内的邻近拍摄装置的相应视频帧融合以得到全景关键帧。换句话说，可以预先设置要得到的全景关键帧所包含的视频帧的数量或全景关键帧所要包含的监视区域的范围。

根据一个具体实施例，可以以某个关键帧为中心，将该关键帧与预定数量个邻近拍摄装置的相应视频帧融合，以生成所述全景关键帧。或者，全景关键帧也可以不以关键帧为中心。例如，可以使全景帧包含特定的n个邻近的摄像装置的视频帧，并且这n个邻近摄像装置的视频帧在全景帧中的位置可以是固定的。

继续参照图1，接下来，在步骤S140，生成由各关键帧的全景关键帧构成的序列作为监视系统的视频摘要。

与所提取的关键帧相应地，所生成的全景关键帧也可以包括单个帧、多个时间上不连续的帧、视频片段或者多段视频片段。因此，根据本公开的实施例的图像处理方法生成的视频摘要可以包括单个图像、多个图像、视频片段或者多段视频片段。

与提供由单个摄像装置的拍摄图像构成的视频摘要的现有方式相比，通过将关键帧与邻近区域的相应视频帧进行融合，并提供由融合成的全景关键帧构成的视频摘要，能够更全面地提供监视区域内的对象或事件的监视。

例如，当监视区域内发生了跨不同摄像装置出现的对象或事件时，能够方便且全面地了解对象或事件，而不需要单独分析和比较每个摄像装置的视频摘要。

接下来，参照图2说明根据一个实施例的图像处理方法中生成全景关键帧的过程。

在步骤S210，确定从某个摄像装置拍摄的视频中提取的关键帧与从邻近摄像装置获取的与该关键帧同时刻的相应视频帧的重叠区域。

监视区域相邻并且具有接近的视角的摄像装置(例如，彼此间距小于其视野宽度并且视角方向彼此平行的摄像装置，或者视角差别小于预定值的广角摄像装置)的拍摄范围可以具有重叠部分。相应地，其获取的图像中包含的对应于该重叠部分的图像区域被称为重叠区域。

在本实施例中，假设关键帧与邻近摄像装置的相应视频帧具有重叠区域。对于关键帧与相应视频帧不具有重叠区域的情况，在必要时例如可以通过调整摄像装置的工作参数使其拍摄图像具有重叠区域。

可以根据基于各摄像装置的工作参数确定的监视区域来确定邻近摄像装置的视频帧的重叠区域，或者可以通过图像匹配来确定邻近摄像装置的视频帧的重叠区域。例如，在应用场所的空间形态已知的情况下，可以根据摄像装置的位置和视角来估算出其拍摄的图像所对应的实际空间范围，从而能够估算出邻近摄像装置拍摄的视频帧的重叠区域。或者，例如可以通过对邻近摄像装置的视频帧的图像边界附近的相应部分进行匹配，来确定重叠区域。此外，可以采用以上方式的组合，例如，通过摄像装置的工作参数大致估计重叠位置，然后通过图像匹配具体确定重叠区域。

在步骤S220，根据所确定的重叠区域内的特征对象，对关键帧与相应视频帧进行归一化。

特征对象例如可以包括重叠区域内的物品或者线条等。

通过归一化，关键帧与相应视频帧被处理为具有一致的尺度。

接下来，在步骤S230，将经归一化的视频帧进行拼接。

可以采用本领域已知的图像拼接方式，例如基于特征点的图像配准和拼接方法，来进行视频帧的拼接。

另外，根据具体应用，生成全景关键帧的过程还可以包括其他图像处理。例如，在关键帧与相应视频帧具有不同的分辨率、灰度、色彩等图像特征时，可以包括使要用于构成全景关键帧的各视频帧的分辨率、灰度、色彩等图像特征一致的图像处理过程。

此外，在用于生成全景关键帧的相关视频帧的分辨率等特征不满足生成全景关键帧的要求时，可以通过调整相应摄像装置的工作参数，例如视角范围、焦距等，来使得该摄像装置的拍摄图像满足相应要求。

另外，在用于生成全景关键帧的相关视频帧存在图像畸变的情况下(例如由球形(鱼眼)摄像头获取的拍摄图像有可能存在一定畸变)，可以采用相应图像校正处理来把这些畸变的图像校正成符合直观感觉的平面图像，以用于生成适于观看的全景关键帧。

以上说明了根据本公开一个方面的图像处理方法的过程示例，接下来，说明根据本公开另一方面的图像处理装置的配置示例。

如图3所示，根据本公开的一个实施例图像处理装置300包括关键帧提取单元310、相应帧提取单元320、帧融合单元330以及视频摘要生成单元340。

图像处理装置300用于包括多个摄像装置的监视系统，摄像装置可以包括固定摄像装置如固定摄像头或可移动摄像装置。可移动摄像装置可以包括多种具有摄像功能的可移动设备。例如，摄像机、移动电话、可穿戴电子设备如智能眼镜等。此外，可移动摄像装置也可以包括例如设置有摄像装置的可移动设备，例如远程监控机器人等。

关键帧提取单元310被配置为从多个摄像装置中的每个摄像装置所获取的视频中提取关键帧。

关键帧提取单元310可以根据视频的图像特征、声音特征或其组合来提取关键帧。

另外，在摄像装置本身具有关键帧提取功能的情况下，关键帧提取单元310可以被配置为从摄像装置直接获取由摄像装置确定的关键帧。

相应帧获取单元320被配置为对于每个所提取的关键帧，确定监视区域与关键帧提取单元310所提取的关键帧的监视区域邻近的邻近摄像装置，并从邻近摄像装置获取与该关键帧同时刻的相应视频帧。

在监视系统中的摄像装置包括可移动摄像装置的情况下，相应帧获取单元可以包括位置关系确定单元(图中未示出)。位置关系确定单元可以被配置为根据可移动摄像装置的当前工作参数来确定获得关键帧的摄像装置的邻近摄像装置。

可移动摄像装置的工作参数例如可以包括位置、方位角、视角范围或焦距等。

帧融合单元330被配置为将从各摄像装置提取的关键帧与相应视频帧进行融合以生成全景关键帧。

根据一个具体实施例，帧融合单元可以被配置为以关键帧为中心，将关键帧与预定数量个邻近拍摄装置的相应视频帧进行融合，以生成全景关键帧。然而，如前所述，在其他实施例中，全景关键帧也可以不以关键帧为中心，而是可以例如以固定相对位置关系，由预定数量个邻近摄像装置的视频帧构成。

视频摘要生成单元340被配置为生成由各关键帧的全景关键帧构成的序列作为监视系统的视频摘要。

由全景关键帧构成的视频摘要可以包括单个图像、多个图像、视频片段或者多段视频片段。

图4示出了根据一个实施例的图像处理装置的帧融合单元的配置示例。

帧融合单元430包括：重叠区域确定单元431、归一化单元432以及拼接单元433。

重叠区域确定单元431被配置为确定从各摄像装置提取的关键帧与相应视频帧的重叠区域。可以根据基于各摄像装置的工作参数确定的监视区域来确定邻近摄像装置的视频帧的重叠区域，或者可以通过图像匹配来确定邻近摄像装置的视频帧的重叠区域。

归一化单元432被配置根据重叠区域内的特征对象对关键帧与相应视频帧进行归一化。特征对象例如可以包括重叠区域内的物品或者线条等。

拼接单元433被配置为将经归一化的视频帧进行拼接。

此外，根据需要，根据本公开实施例的图像处理装置还可以包括其他图像处理单元，例如使要用于生成全景关键帧的各视频帧的分辨率、灰度、色彩等图像特征一致的图像处理单元，或者用于对存在畸变的图像进行校正的单元。

根据本公开的另一个方面，提供一种监视系统。

如图5所示，监视系统500包括多个摄像装置520、530、……、以及图像处理装置510。图像处理装置可以具有上述根据本公开实施例的图像处理装置的配置，或其任意组合。图像处理装置510从各摄像装置获取关键帧，并通过将关键帧与邻近摄像装置的相应视频帧进行融合以生成全景关键帧，并基于全景关键帧生成视频摘要。

作为示例，上述方法的各个步骤以及上述装置的各个组成模块和/或单元可以实施为软件、固件、硬件或其组合。在通过软件或固件实现的情况下，可以从存储介质或网络向具有专用硬件结构的计算机(例如图6所示的通用计算机600)安装构成用于实施上述方法的软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。

在图6中，运算处理单元(即CPU)601根据只读存储器(ROM)602中存储的程序或从存储部分608加载到随机存取存储器(RAM)603的程序执行各种处理。在RAM603中，也根据需要存储当CPU601执行各种处理等等时所需的数据。CPU601、ROM602和RAM603经由总线604彼此链路。输入/输出接口605也链路到总线604。

下述部件链路到输入/输出接口605：输入部分606(包括键盘、鼠标等等)、输出部分607(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分608(包括硬盘等)、通信部分609(包括网络接口卡比如LAN卡、调制解调器等)。通信部分609经由网络比如因特网执行通信处理。根据需要，驱动器610也可链路到输入/输出接口605。可拆卸介质611比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器610上，使得从中读出的计算机程序根据需要被安装到存储部分608中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质611安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图6所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质611。可拆卸介质611的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM602、存储部分608中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

本发明的实施例还涉及一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本发明实施例的方法。

相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。

在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以用相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

在上述实施例和示例中，采用了数字组成的附图标记来表示各个步骤和/或单元。本领域的普通技术人员应理解，这些附图标记只是为了便于叙述和绘图，而并非表示其顺序或任何其他限定。

此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。

尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露，但是，应该理解，上述的所有实施例和示例均是示例性的，而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。

Claims (15)

1.一种用于包括多个摄像装置的监视系统的图像处理方法，所述方法包括以下步骤：

从所述多个摄像装置中的每个摄像装置所获取的视频中提取关键帧；

对于每个所提取的关键帧，确定监视区域与所述关键帧的监视区域邻近的邻近摄像装置，并从所述邻近摄像装置获取与所述关键帧同时刻的相应视频帧；

将从各摄像装置提取的所述关键帧与所述相应视频帧进行融合以生成全景关键帧；以及

生成由各关键帧的所述全景关键帧构成的序列作为所述监视系统的视频摘要。

2.根据权利要求1所述的图像处理方法，其中，生成所述全景关键帧的步骤包括：

确定所述关键帧与所述相应视频帧的重叠区域；

根据所述重叠区域内的特征对象对所述关键帧与所述相应视频帧进行归一化；以及

将经归一化的视频帧进行拼接。

3.根据权利要求1所述的图像处理方法，其中，在生成所述全景关键帧的步骤中，以所述关键帧为中心，将所述关键帧与预定数量个邻近拍摄装置的所述相应视频帧进行融合，以生成所述全景关键帧。

4.根据权利要求1所述的图像处理方法，其中，根据所述视频的图像特征和/或声音特征来提取所述关键帧。

5.根据权利要求1至4中任一项所述的图像处理方法，其中，所述摄像装置包括可移动摄像装置，并且根据所述可移动摄像装置的当前工作参数来确定所述邻近摄像装置。

6.根据权利要求5所述的图像处理方法，其中，所述可移动摄像装置的所述工作参数包括：位置、方位角、视角范围、和/或焦距。

7.根据权利要求1至4中任一项所述的图像处理方法，其中，所述摄像装置包括智能眼镜。

8.一种用于包括多个摄像装置的监视系统的图像处理装置，包括：

关键帧提取单元，被配置为从所述多个摄像装置中的每个摄像装置所获取的视频中提取关键帧；

相应帧获取单元，被配置为对于每个所提取的关键帧，确定监视区域与所述关键帧的监视区域邻近的邻近摄像装置，并从所述邻近摄像装置获取与所述关键帧同时刻的相应视频帧；

帧融合单元，被配置为将从各摄像装置提取的所述关键帧与所述相应视频帧进行融合以生成全景关键帧；以及

视频摘要生成单元，被配置为生成由各关键帧的所述全景关键帧构成的序列作为所述监视系统的视频摘要。

9.根据权利要求8所述的图像处理装置，其中，所述帧融合单元包括：

重叠区域确定单元，被配置为确定所述关键帧与所述相应视频帧的重叠区域；

归一化单元，被配置根据所述重叠区域内的特征对象对所述关键帧与所述相应视频帧进行归一化；以及

拼接单元，被配置为将经归一化的视频帧进行拼接。

10.根据权利要求8所述的图像处理装置，其中，所述帧融合单元被配置为：以所述关键帧为中心，将所述关键帧与预定数量个邻近拍摄装置的所述相应视频帧进行融合，以生成所述全景关键帧。

11.根据权利要求8所述的图像处理装置，其中，所述关键帧提取单元根据所述视频的图像特征和/或声音特征来提取所述关键帧。

12.根据权利要求8至11中任一项所述的图像处理装置，其中，所述摄像装置包括可移动摄像装置，并且

所述相应帧获取单元包括位置关系确定单元，所述位置关系确定单元被配置为：根据所述可移动摄像装置的当前工作参数来确定所述邻近摄像装置。

13.根据权利要求12所述的图像处理装置，其中，所述可移动摄像装置的所述工作参数包括：位置、方位角、视角范围、和/或焦距。

14.根据权利要求8至11中任一项所述的图像处理装置，其中，所述摄像装置包括智能眼镜。

15.一种监视系统，其包括多个摄像装置，以及如权利要求8-14中任一项所述的图像处理装置。