CN102289490A - 视频摘要生成方法及设备 - Google Patents

Abstract

本发明公开了视频摘要生成方法及设备。方法包括：当摄像机镜头参数保持不变时，根据摄像机的云台转动范围确定摄像机能观察到的球面范围，用该球面范围映射的空白图像初始化全局背景图像；从摄像机的实况码流中分离出背景图像和前景图像，根据摄像机云台当前位置确定当前背景图像在当前全局背景图像中的位置，将当前全局背景图像中该位置的图像作为当前基准背景图像；计算分离出的背景图像与当前基准背景图像的变化值，若变化值不在预设范围内，则根据分离出的背景图像更新当前基准背景图像和当前全局背景图像，根据当前全局背景图像和当前前景图像构造视频摘要索引。本发明提高了视频摘要的准确性。

Description

视频摘要生成方法及设备

技术领域

本发明涉及视频摘要技术领域，具体涉及视频摘要生成方法及设备。

背景技术

视频摘要是指从原始视频中提取感兴趣的目标的活动信息，然后和背景视频缝合剪辑而成的较短视频片断，可以用短小精悍，信息全面来描述它。例如：图1的左图为原始视频中的一幅图像，图1的右图为根据原始视频生成的一视频摘要。

现有的视频摘要分析算法通常为：分析模块从实况图像中分离出背景(所有静态、不移动的物体)和前景图像(移动的物体)；比较分离出的背景与基准背景的变化值，若变化值超过阈值，则以分离出的背景刷新基准背景；将前景图像提取出来，将前景图像对应的描述插入到数据库中。

现有的视频摘要分析算法是基于摄像头固定而设计的。当摄像机的云台转动、焦距变化时，从画面提取出来的背景图像会发生变化，例如：云台转动，固定物体在画面的位置会发生变化，这会导致实际固定的物体，也被计算为移动的物体，降低视频摘要的准确性。

发明内容

本发明提供视频摘要生成方法及设备，以提高视频摘要的准确性。

本发明的技术方案是这样实现的：

一种视频摘要生成方法，当摄像机镜头参数保持不变时，根据摄像机的云台转动范围确定摄像机能观察到的球面范围，用该球面范围映射的空白图像初始化全局背景图像，该方法包括：

从摄像机的实况码流中分离出背景图像和前景图像，存储前景图像；

根据摄像机云台当前位置确定当前背景图像在当前全局背景图像中的位置，将当前全局背景图像中该位置的图像作为当前基准背景图像；

计算分离出的背景图像与当前基准背景图像的变化值，若该变化值不在预设范围内，则以分离出的背景图像更新当前基准背景图像，以分离出的背景图像更新当前全局背景图像中当前背景图像，存储更新后的当前全局背景图像；

根据当前全局背景图像和当前前景图像构造视频摘要索引。

所述从摄像机的实况码流中分离出背景图像和前景图像之后进一步包括：

若摄像机的镜头参数发生变化，则根据摄像机的新镜头参数，查找存储的与该参数对应的全局背景图像，将该全局背景图像作为当前全局背景图像，根据当前云台位置，计算当前背景图像在当前全局背景图像中的位置，将当前全局背景图像中该位置的图像作为当前基准背景图像；

计算分离出的背景图像与当前基准背景图像的变化值，若该变化值不在预设范围内，则以分离出的背景图像更新当前基准背景图像，同时，以分离出的背景图像更新当前全局背景图像中当前背景图像，存储更新后的当前全局背景图像；

根据当前全局背景图像和当前前景图像构造视频摘要索引。

所述从摄像机的实况码流中分离出背景图像和前景图像之后进一步包括：

若摄像机的镜头参数发生变化，且根据摄像机的新镜头参数未查找到存储的与该参数对应的全局背景图像，则根据新镜头参数、云台的转动范围确定摄像机能观察到的球面范围，用该球面范围映射的空白图像初始化全局背景图像，根据当前云台位置，计算当前背景图像在当前全局背景图像中的位置，将分离出的背景图像放入该空白全局背景图像的该位置上，同时将分离出的背景图像作为当前基准背景图像，存储当前全局背景图像；

根据当前全局背景图像和当前前景图像构造视频摘要索引。

所述视频摘要索引包括：当前全局背景图像的存储路径或当前全局背景图像、当前前景图像的存储路径、当前前景图像的位置和/或运动规则描述信息；

当播放视频摘要时，根据视频摘要索引中的当前全局背景图像的存储路径查找到当前全局背景图像，显示当前全局背景图像，或者直接显示视频摘要索引中的当前全局背景图像；根据当前前景图像的存储路径查找到当前前景图像，根据当前前景图像的位置和/或运动规则描述信息，将当前前景图像叠加到当前全局背景图像上显示。

所述视频摘要索引包括：当前全局背景图像的存储路径或当前全局背景图像、当前背景图像在当前全局背景图像中的位置信息、当前前景图像的存储路径、当前前景图像的位置和/或运动规则描述信息；

当播放视频摘要时，根据视频摘要索引中的当前全局背景图像的存储路径查找到当前全局背景图像，或者在视频摘要索引中直接找到全局背景图像；根据当前背景图像在当前全局背景图像中的位置信息，在当前全局背景图像中查找到当前背景图像，显示当前背景图像；根据当前前景图像的存储路径查找到当前前景图像，根据当前前景图像的位置和/或运动规则描述信息，将当前前景图像叠加到当前背景图像上显示。

一种视频摘要处理设备，包括：

码流分离模块：从摄像机的实况码流中分离出背景图像和前景图像，存储前景图像；

全局背景图像存储更新模块：当摄像机镜头参数保持不变时，根据摄像机的云台转动范围确定摄像机能观察到的球面范围，用该球面范围映射的空白图像初始化全局背景图像；接收码流分离模块发来的分离出的背景图像，根据摄像机云台当前位置确定当前背景图像在当前全局背景图像中的位置，将当前全局背景图像中该位置的图像作为当前基准背景图像，计算分离出的背景图像与当前基准背景图像的变化值，若该变化值不在预设范围内，则以分离出的背景图像更新当前基准背景图像，以分离出的背景图像更新当前全局背景图像中当前背景图像，存储更新后的当前全局背景图像；

视频摘要索引构造模块：根据当前全局背景图像和当前前景图像构造视频摘要索引。

所述全局背景图像存储更新模块进一步用于，

接收码流分离模块发来的分离出的背景图像，若摄像机的镜头参数发生变化，则根据摄像机的新镜头参数，查找存储的与该参数对应的最新全局背景图像，将该全局背景图像作为当前全局背景图像，根据当前云台位置，计算当前背景图像在当前全局背景图像中的位置，将当前全局背景图像中该位置的图像作为当前基准背景图像；计算分离出的背景图像与当前基准背景图像的变化值，若该变化值不在预设范围内，则以分离出的背景图像更新当前基准背景图像，同时，以分离出的背景图像更新当前全局背景图像中当前背景图像，存储更新后的当前全局背景图像。

所述全局背景图像存储更新模块进一步用于，

接收码流分离模块发来的分离出的背景图像，若摄像机的镜头参数发生变化，且根据摄像机的新镜头参数未查找到存储的与该参数对应的全局背景图像，则根据新镜头参数、云台的转动范围确定摄像机能观察到的球面范围，用该球面范围映射的空白图像初始化全局背景图像，根据当前云台位置，计算当前背景图像在当前全局背景图像中的位置，将分离出的背景图像放入该空白全局背景图像的该位置上，同时将分离出的背景图像作为当前基准背景图像，存储当前全局背景图像。

所述视频摘要索引构造模块构造的视频摘要索引包括：当前全局背景图像的存储路径或当前全局背景图像、当前前景图像的存储路径、当前前景图像的位置和/或运动规则描述信息；

且所述视频摘要处理设备进一步包括：视频摘要播放模块，用于当接收到视频摘要播放请求时，根据视频摘要索引构造模块中的当前全局背景图像的存储路径查找到当前全局背景图像，显示当前全局背景图像，或者直接显示视频摘要索引中的全局背景图像；根据当前前景图像的存储路径查找到当前前景图像，根据当前前景图像的位置和/或运动规则描述信息，将当前前景图像叠加到当前全局背景图像上显示。

所述视频摘要索引构造模块构造的视频摘要索引包括：当前全局背景图像的存储路径或当前全局背景图像、当前背景图像在当前全局背景图像中的位置信息、当前前景图像的存储路径、当前前景图像的位置和/或运动规则描述信息；

且所述视频摘要处理设备进一步包括：视频摘要播放模块，用于当接收到视频摘要播放请求时，根据视频摘要索引构造模块中的当前全局背景图像的存储路径查找到当前全局背景图像，或者直接在视频摘要索引中查找到全局背景图像；根据当前背景图像在当前全局背景图像中的位置信息，在当前全局背景图像中查找到当前背景图像，显示当前背景图像，根据当前前景图像的存储路径查找到当前前景图像，根据当前前景图像的位置和/或运动规则描述信息，将当前前景图像叠加到当前背景图像上显示。

与现有技术相比，本发明中，当摄像机的云台位置和/或镜头参数发生变化时，能够更新背景图像，从而提高了视频摘要的准确性。

附图说明

图1为现有的生成视频摘要的示例图；

图2为本发明实施例提供的摄像机在一固定焦距下观察到的球面范围的示意图；

图3-1为本发明实施例提供的摄像机在焦距f下，云台转动到30°时观察到的全局背景图像示意图；

图3-2为本发明实施例提供的摄像机在焦距f下，云台转动到90°时观察到的全局背景图像示意图；

图3-3为本发明实施例提供的摄像机在焦距f下，云台转动到150°时观察到的全局背景图像示意图；

图4为本发明实施例提供的摄像机的云台转动幅度较小时观察到的全局背景图像示意图；

图5为本发明实施例提供的生成视频摘要的方法流程图；

图6为本发明实施例提供的当云台位置和镜头参数均未发生变化时，视频摘要生成模块的处理方法流程图；

图7为本发明实施例提供的当镜头参数不变、云台位置发生变化时，视频摘要生成模块的处理方法流程图；

图8为本发明实施例提供的当云台位置不变、镜头参数发生变化时，视频摘要生成模块的处理方法流程图；

图9为本发明实施例一提供的根据视频摘要索引播放视频摘要的方法流程图；

图10为本发明实施例二提供的根据视频摘要索引播放视频摘要的方法流程图；

图11为本发明实施例提供的视频摘要处理设备的组成示意图。

具体实施方式

下面结合附图及具体实施例对本发明再作进一步详细的说明。

本发明实施例中提出了“全局背景图像”的概念，为了方便理解该概念，以下首先对该概念进行详细描述。

全局背景图像指的是：在同一镜头焦距下，当云台在不同位置时，摄像机采集到的所有背景组成的一幅图像。

例如：当将摄像机调准到一个焦距f，当云台完成一个完整转动时，摄像机能精确观察的范围是半径为r的球面A。图2给出了摄像机在一固定焦距下观察到的球面范围的示意图。根据云台转动的范围的不同，球面的大小也不同，可能是一个小于一半的球面，也可能是一个半球面，也可能是一个多于一半的球面。位于球面A上的物体，摄像机可以精确地观察到，而不在球面A上的物体，摄像机不能精确成像。

球面A就可以看成是焦距f下的全局背景图像。

当焦距f不变时，云台转动到不同位置，摄像机观察到的范围是球面A上的不同区域。这样，摄像机在一个云台位置上观察到的背景图像，仅对应全局背景图像的一部分，当云台完成了完整转动时，就会得到完整的全局背景图像。

当摄像机处于不同镜头焦距下时，所观察到的球面半径是不同的，即得到的全局背景图像的大小是不同的。

以下通过举例给出全局背景图像的典型生成过程：

F1：设摄像机的焦距为f，摄像机的云台从左向右转动，云台的转动范围为30°～150°，摄像机的视角为60°，根据摄像机的焦距f、云台的转动范围以及视角，确定全局背景图像GlobalGPic的大小。全局背景图像GlobalGPic初始时是空白。

F2：当云台在30°时，摄像机能观察到的范围是半径为r、角度范围为(0°，60°)的一部分球面，设该部分球面对应的背景图像为G1，则将G1添加到全局背景图像GlobalGPic的对应位置上，如图3-1所示。

F3：当云台转动到90°时，摄像机能观察到的范围是半径为r、角度为(60°，120°)的一部分球面，设该部分球面对应的背景图像为G2，则将G2添加到全局背景图像GlobalGPic的对应位置上，如图3-2所示。

F4：当云台转动到150°时，摄像机能观察到的范围是半径为r、角度为(120°，180°)的一部分球面，设该部分球面对应的背景图像为G3，则将G3添加到全局背景图像GlobalGPic的对应位置上，如图3-3所示。

从上述过程可以看出，当云台从30°转动到90°再转动到150°时，云台完成了一个完整的转动过程，从而得到了焦距f下的完整全局背景图像。

需要说明的是，在实际应用中，当云台的转动幅度较小时，后一次采集到的背景图像与前一次采集到的背景图像可能会有重叠部分，例如：G2有一部分G21与G1的一部分G12重叠，此时，在全局背景图像GlobalGPic中后采集到的G21会覆盖先采集到的G12，如图4所示。

从以上描述也可以看出：当摄像机在不同焦距下，其观察到的球面半径是不同的，因此，其对应的全局背景图像的大小是不同的；当摄像机在同一焦距的不同云台位置时，其观察到的球面半径是相同的，因此，其对应的全局背景图像的大小是相同的。

图5为本发明实施例提供的生成视频摘要的方法流程图，如图5所示，其具体步骤如下：

步骤501：摄像机采集实况码流，将实况码流以及摄像机的云台位置、镜头参数发送给视频摘要生成模块。

镜头参数可以是镜头焦距和镜头视角范围，也可以是镜头放大倍数和镜头视角范围。

步骤502：视频摘要生成模块接收实况码流，从当前实况码流中分离出背景图像和前景图像，存储前景图像。

步骤503：视频摘要生成模块根据摄像机的云台的转动范围、镜头参数确定摄像机观察到的球面范围，将该球面范围映射为一幅空白全局背景图像，根据摄像机的云台位置确定当前背景图像在当前全局背景图像中的位置，将分离出的背景图像放入该空白全局背景图像的该位置上，同时将分离出的背景图像作为初始基准背景图像，存储当前全局背景图像。

步骤504：视频摘要生成模块将当前视频源标识、当前视频采集时间、当前全局背景图像的存储路径或者当前全局背景图像、当前背景图像在当前全局背景图像中的位置信息、当前前景图像的存储路径及描述信息构造成视频摘要索引，将该视频摘要索引放入数据库中。

全局背景图像可直接存放在视频摘要索引中，也可以存放在数据库的专门区域中，也可以存放在数据库外的存储区域中。

表1、2分别给出了视频摘要索引的两种形式：

表1视频摘要索引示例一

表1中也可以直接存放全局背景图像，而不是全局背景图像的存储路径。

由于每个云台位置都对应全局背景图像中的一个固定区域，因此，表1中，当前背景图像在当前全局背景图像中的位置信息可以当前摄像机的云台位置来表示，当然也可以当前背景图像在当前全局背景图像中的坐标来表示；表1中，以前景图像的坐标来描述前景图像，前景图像的坐标通常是前景图像的左上端点在全局背景图像或当前背景图像中的坐标。

表1中，视频摘要索引2中的全局背景图像与视频摘要索引1中的全局背景图像都是GlobalGPic1，说明在生成视频摘要索引2时，未对全局背景图像GlobalGPic1进行更新，即未对基准背景图像进行更新；视频摘要索引3中的全局背景图像GlobalGPic2与视频摘要索引2中的全局背景图像GlobalGPic1不同，说明在生成视频摘要索引3时，全局背景图像发生了变化，该变化可能是云台位置变化引起的，也可能是镜头参数变化引起的。

表2视频摘要索引示例二

表2中也可以直接存放全局背景图像，而不是全局背景图像的存储路径。

表2与表1的不同之处在于，当前景图像以一定规则运动时，以运动规则来描述前景图像，如视频摘要索引2中，当前景图像以速度1向y方向运动时，以该运动规则描述当前前景图像。

后续根据云台位置是否变化、镜头参数是否变化分别阐述视频摘要生成模块的处理过程。

图6为本发明实施例提供的当云台位置和镜头参数均未发生变化时，视频摘要生成模块的处理方法流程图，如图6所示，其具体步骤如下：

步骤601：视频摘要生成模块接收摄像机发来的实况码流，从当前实况码流中分离出背景图像和前景图像，存储前景图像。

步骤602：视频摘要生成模块计算分离出的背景图像与当前基准背景图像的变化值，判断该变化值是否在预设范围内，若是，执行步骤604；否则，执行步骤603。

步骤603：视频摘要生成模块以分离出的背景图像更新当前基准背景图像，同时，根据当前摄像机的云台位置和镜头参数，确定当前背景图像在当前全局背景图像中的位置，复制当前全局背景图像，以分离出的背景图像更新该复制的当前全局背景图像的该位置，将更新后的全局背景图像作为当前全局背景图像，存储当前全局背景图像。

由于摄像机的云台位置和镜头参数都未发生变化，因此，视频摘要生成模块可以直接采用最近一次存储的视频摘要索引中的当前背景图像在当前全局背景图像中的位置信息。

步骤604：视频摘要生成模块将当前视频源标识、当前视频采集时间、当前全局背景图像的存储路径或当前全局背景图像、当前背景图像在当前全局背景图像中的位置信息、当前前景图像的存储路径及描述信息构造成视频摘要索引，将该视频摘要索引放入数据库中。

图7为本发明实施例提供的当镜头参数不变、云台位置发生变化时，视频摘要生成模块的处理方法流程图，如图7所示，其具体步骤如下：

步骤701：视频摘要生成模块接收摄像机发来的实况码流及新云台位置，从当前实况码流中分离出背景图像和前景图像，存储前景图像。

步骤702：视频摘要生成模块根据摄像机的新云台位置，计算当前背景图像在当前全局背景图像中的位置，将当前全局背景图像中的该位置的图像作为当前基准背景图像。

当摄像机的镜头参数不变，而只是云台位置发生了变化时，当前背景图像在当前全局背景图像中的位置发生改变，因此，必须重新选择基准背景图像。

步骤703：视频摘要生成模块计算分离出的背景图像与当前基准背景图像的变化值，判断该变化值是否在预设范围内，若是，执行步骤705；否则，执行步骤704。

步骤704：视频摘要生成模块以分离出的背景图像更新当前基准背景图像，复制当前全局背景图像，以分离出的背景图像更新该复制的全局背景图像中步骤702中计算出的位置，将更新后的全局背景图像作为当前全局背景图像，存储当前全局背景图像。

步骤705：视频摘要生成模块将当前视频源标识、当前视频采集时间、当前全局背景图像的存储路径或当前全局背景图像、当前背景图像在当前全局背景图像中的位置信息、当前前景图像的存储路径及描述信息构造成视频摘要索引，将该视频摘要索引放入数据库中。

图8为本发明实施例提供的当云台位置不变、镜头参数发生变化时，视频摘要生成模块的处理方法流程图，如图8所示，其具体步骤如下：

步骤801：视频摘要生成模块接收摄像机发来的实况码流及新镜头参数，从当前实况码流中分离出背景图像和前景图像，存储前景图像。

步骤802：视频摘要生成模块根据摄像机的新镜头参数，查找存储的与该参数对应的最新全局背景图像，将该全局背景图像作为当前全局背景图像，存储当前全局背景图像，根据当前云台位置，计算当前背景图像在当前全局背景图像中的位置，将当前全局背景图像中该位置的图像作为当前基准背景图像。

当摄像机的镜头参数发生了变化时，全局背景图像的大小改变。

这里，若未查找到与新镜头参数对应的全局背景图像，则根据新镜头参数、云台的转动范围确定摄像机能观察到的球面范围，将该球面范围映射为一幅空白全局背景图像，然后根据当前云台位置，计算当前背景图像在当前全局背景图像中的位置，将分离出的背景图像放入该空白全局背景图像的该位置上，同时将分离出的背景图像作为当前基准背景图像，存储当前全局背景图像，然后直接转至步骤805。

步骤803：视频摘要生成模块计算分离出的背景图像与当前基准背景图像的变化值，判断该变化值是否在预设范围内，若是，执行步骤805；否则，执行步骤804。

步骤804：视频摘要生成模块以分离出的背景图像更新当前基准背景图像，同时，以分离出的背景图像更新存储的当前全局背景图像中步骤802中计算出的位置。

步骤805：视频摘要生成模块将当前视频源标识、当前视频采集时间、当前全局背景图像的存储路径或当前全局背景图像、当前背景图像在当前全局背景图像中的位置信息、当前前景图像的存储路径及描述信息构造成视频摘要索引，将该视频摘要索引放入数据库中。

在实际应用中，还存在镜头参数和云台位置同时发生变化的情况，该情况下的处理过程与图8所示实施例类似，不同之处在于：摄像机还要将云台的新位置信息发送给视频摘要生成模块。

图9为本发明实施例一提供的根据视频摘要索引播放视频摘要的方法流程图，如图9所示，其具体步骤如下：

步骤901：视频摘要播放模块接收携带播放参数的播放请求。

播放参数可能包括：视频源标识、视频采集时间或时间范围等。

步骤902：视频摘要播放模块按照各视频摘要索引中的视频采集时间，按照从前到后的顺序，在数据库中查找与播放请求中的播放参数匹配的视频摘要索引，读取匹配的各视频摘要索引。

步骤903：对于读取的每一条视频摘要索引，视频摘要播放模块根据该索引中的全局背景图像的存储路径查找到全局背景图像，显示全局背景图像，根据前景图像的存储路径查找到前景图像，根据前景图像的描述信息，将前景图像叠加到全局背景图像上显示。

若视频摘要索引中直接包含了全局背景图像，则视频摘要播放模块直接播放该全局背景图像即可。

图10为本发明实施例二提供的根据视频摘要索引播放视频摘要的方法流程图，如图10所示，其具体步骤如下：

步骤1001：视频摘要播放模块接收携带播放参数的播放请求。

步骤1002：视频摘要播放模块按照各视频摘要索引中的视频采集时间，按照从前到后的顺序，在数据库中查找与播放请求中的播放参数匹配的视频摘要索引，读取匹配的各视频摘要索引。

步骤1003：对于读取的每一条视频摘要索引，视频摘要播放模块根据该索引中的全局背景图像的存储路径查找到全局背景图像，根据当前背景图像在当前全局背景图像中的位置信息，在当前全局背景图像中查找到当前背景图像，显示当前背景图像，根据前景图像的存储路径查找到前景图像，根据前景图像的描述信息，将前景图像叠加到当前背景图像上显示。

若视频摘要索引中直接包含了全局背景图像，则视频摘要播放模块直接播放该全局背景图像即可。

图11为本发明实施例提供的视频摘要处理设备的组成图，如图11所示，其主要包括：视频摘要生成模块111、视频摘要索引存储模块112和视频摘要播放模块113，其中，视频摘要生成模块111包括码流分离模块1111、全局背景图像存储更新模块1112和视频摘要索引构造模块1113，各个模块具体如下：

码流分离模块1111：接收摄像机发来的实况码流，从实况码流中分离出背景图像和前景图像，存储前景图像，将当前视频源标识、当前视频采集时刻、当前前景图像的存储路径和描述信息发送到视频摘要索引构造模块1113，将分离出的背景图像发送给全局背景图像存储更新模块1112。

全局背景图像存储更新模块1112：初始时，根据摄像机的云台转动范围和当前镜头参数，确定摄像机能观察到的球面范围，将该球面范围映射为空白全局背景图像，根据当前云台位置确定初始背景图像在全局背景图像中的位置，将摄像机初始采集的背景图像映射到空白全局背景图像的该位置上，将摄像机初始采集的背景图像作为初始基准背景图像；接收码流分离模块1111发来的分离出的背景图像，若摄像机的云台位置发生变化，则根据新云台位置确定当前背景图像在当前全局背景图像中的位置，将当前全局背景图像中该位置的图像作为当前基准背景图像，计算分离出的背景图像与当前基准背景图像的变化值，若该变化值不在预设范围内，则以分离出的背景图像更新当前基准背景图像，以分离出的背景图像更新当前全局背景图像中当前背景图像所在位置，存储更新后的当前全局背景图像，将更新后的当前全局背景图像的存储路径或更新后的当前全局背景图像、当前背景图像在当前全局背景图像中的位置信息发送给视频摘要索引构造模块1113。

全局背景图像存储更新模块1112进一步用于，当接收到码流分离模块1111发来的分离出的背景图像时，若摄像机的镜头参数发生变化，则根据摄像机的新镜头参数，查找存储的与该参数对应的最新全局背景图像，将该全局背景图像作为当前全局背景图像，根据当前云台位置，计算当前背景图像在当前全局背景图像中的位置，将当前全局背景图像中该位置的图像作为当前基准背景图像；计算分离出的背景图像与当前基准背景图像的变化值，若该变化值不在预设范围内，则以分离出的背景图像更新当前基准背景图像，同时，以分离出的背景图像更新当前全局背景图像中当前背景图像所在位置，存储更新后的当前全局背景图像，将更新后的当前全局背景图像的存储路径或更新后的当前全局背景图像、当前背景图像在当前全局背景图像中的位置信息发送给视频摘要索引构造模块1113。

全局背景图像存储更新模块1112进一步用于，当接收到码流分离模块1111发来的分离出的背景图像时，若摄像机的镜头参数发生变化，且根据摄像机的新镜头参数未查找到存储的与该参数对应的全局背景图像，则根据新镜头参数、云台的转动范围确定摄像机能观察到的球面范围，将该球面范围映射为空白全局背景图像，根据当前云台位置，计算当前背景图像在当前全局背景图像中的位置，将分离出的背景图像放入该空白全局背景图像的该位置上，同时将分离出的背景图像作为当前基准背景图像，存储当前全局背景图像，将当前全局背景图像的存储路径或当前全局背景图像、当前背景图像在当前全局背景图像中的位置信息发送给视频摘要索引构造模块1113。

全局背景图像存储更新模块1112进一步用于，当接收到码流分离模块1111发来的分离出的背景图像时，若摄像机的镜头参数和云台位置都未发生变化，则计算分离出的背景图像与当前基准背景图像的变化值，若该变化值不在预设范围内，则以分离出的背景图像更新当前基准背景图像，以分离出的背景图像更新当前全局背景图像中当前背景图像所在位置，存储更新后的当前全局背景图像，将更新后的当前全局背景图像的存储路径或更新后的当前全局背景图像、当前背景图像在当前全局背景图像中的位置信息发送给视频摘要索引构造模块1113。

视频摘要索引构造模块1113：根据码流分离模块1111发来的当前视频源标识、当前视频采集时刻、当前前景图像的存储路径和描述信息，以及全局背景图像存储更新模块1112发来的当前全局背景图像的存储路径或当前全局背景图像、当前背景图像在当前全局背景图像中的位置信息构造视频摘要索引，将该视频摘要索引放入视频摘要索引存储模块112。

视频摘要索引存储模块112：存储视频摘要索引。

视频摘要播放模块113：接收外部发来的携带播放参数的播放请求，在视频摘要索引存储模块112中，按照视频采集时间的先后顺序，查找与该播放参数匹配的视频摘要索引，对于匹配的各视频摘要索引，根据该索引中的当前全局背景图像的存储路径查找到当前全局背景图像，显示当前全局背景图像，根据当前前景图像的存储路径查找到当前前景图像，根据当前前景图像的描述信息，将当前前景图像叠加到当前全局背景图像上显示；或者，对于匹配的各视频摘要索引，根据该索引中的当前全局背景图像的存储路径查找到当前全局背景图像，根据当前背景图像在当前全局背景图像中的位置信息，在当前全局背景图像中查找到当前背景图像，显示当前背景图像，根据当前前景图像的存储路径查找到当前前景图像，根据当前前景图像的描述信息，将当前前景图像叠加到当前背景图像上显示。

若视频摘要索引中直接包含了全局背景图像，则视频摘要播放模块113直接播放该全局背景图像即可。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种视频摘要生成方法，其特征在于，当摄像机镜头参数保持不变时，根据摄像机的云台转动范围确定摄像机能观察到的球面范围，用该球面范围映射的空白图像初始化全局背景图像，该方法包括：

从摄像机的实况码流中分离出背景图像和前景图像，存储前景图像；

根据摄像机云台当前位置确定当前背景图像在当前全局背景图像中的位置，将当前全局背景图像中该位置的图像作为当前基准背景图像；

计算分离出的背景图像与当前基准背景图像的变化值，若该变化值不在预设范围内，则以分离出的背景图像更新当前基准背景图像，以分离出的背景图像更新当前全局背景图像中当前背景图像，存储更新后的当前全局背景图像；

根据当前全局背景图像和当前前景图像构造视频摘要索引。

2.根据权利要求1所述的方法，其特征在于，所述从摄像机的实况码流中分离出背景图像和前景图像之后进一步包括：

若摄像机的镜头参数发生变化，则根据摄像机的新镜头参数，查找存储的与该参数对应的全局背景图像，将该全局背景图像作为当前全局背景图像，根据当前云台位置，计算当前背景图像在当前全局背景图像中的位置，将当前全局背景图像中该位置的图像作为当前基准背景图像；

计算分离出的背景图像与当前基准背景图像的变化值，若该变化值不在预设范围内，则以分离出的背景图像更新当前基准背景图像，同时，以分离出的背景图像更新当前全局背景图像中当前背景图像，存储更新后的当前全局背景图像；

根据当前全局背景图像和当前前景图像构造视频摘要索引。

3.根据权利要求2所述的方法，其特征在于，所述从摄像机的实况码流中分离出背景图像和前景图像之后进一步包括：

若摄像机的镜头参数发生变化，且根据摄像机的新镜头参数未查找到存储的与该参数对应的全局背景图像，则根据新镜头参数、云台的转动范围确定摄像机能观察到的球面范围，用该球面范围映射的空白图像初始化全局背景图像，根据当前云台位置，计算当前背景图像在当前全局背景图像中的位置，将分离出的背景图像放入该空白全局背景图像的该位置上，同时将分离出的背景图像作为当前基准背景图像，存储当前全局背景图像；

根据当前全局背景图像和当前前景图像构造视频摘要索引。

4.根据权利要求1至3任一所述的方法，其特征在于，所述视频摘要索引包括：当前全局背景图像的存储路径或当前全局背景图像、当前前景图像的存储路径、当前前景图像的位置和/或运动规则描述信息；

当播放视频摘要时，根据视频摘要索引中的当前全局背景图像的存储路径查找到当前全局背景图像，显示当前全局背景图像，或者直接显示视频摘要索引中的当前全局背景图像；根据当前前景图像的存储路径查找到当前前景图像，根据当前前景图像的位置和/或运动规则描述信息，将当前前景图像叠加到当前全局背景图像上显示。

5.根据权利要求1至3任一所述的方法，其特征在于，所述视频摘要索引包括：当前全局背景图像的存储路径或当前全局背景图像、当前背景图像在当前全局背景图像中的位置信息、当前前景图像的存储路径、当前前景图像的位置和/或运动规则描述信息；

当播放视频摘要时，根据视频摘要索引中的当前全局背景图像的存储路径查找到当前全局背景图像，或者在视频摘要索引中直接找到全局背景图像；根据当前背景图像在当前全局背景图像中的位置信息，在当前全局背景图像中查找到当前背景图像，显示当前背景图像；根据当前前景图像的存储路径查找到当前前景图像，根据当前前景图像的位置和/或运动规则描述信息，将当前前景图像叠加到当前背景图像上显示。

6.一种视频摘要处理设备，其特征在于，包括：

码流分离模块：从摄像机的实况码流中分离出背景图像和前景图像，存储前景图像；

全局背景图像存储更新模块：当摄像机镜头参数保持不变时，根据摄像机的云台转动范围确定摄像机能观察到的球面范围，用该球面范围映射的空白图像初始化全局背景图像；接收码流分离模块发来的分离出的背景图像，根据摄像机云台当前位置确定当前背景图像在当前全局背景图像中的位置，将当前全局背景图像中该位置的图像作为当前基准背景图像，计算分离出的背景图像与当前基准背景图像的变化值，若该变化值不在预设范围内，则以分离出的背景图像更新当前基准背景图像，以分离出的背景图像更新当前全局背景图像中当前背景图像，存储更新后的当前全局背景图像；

视频摘要索引构造模块：根据当前全局背景图像和当前前景图像构造视频摘要索引。

7.根据权利要求6所述的模块，其特征在于，所述全局背景图像存储更新模块进一步用于，

接收码流分离模块发来的分离出的背景图像，若摄像机的镜头参数发生变化，则根据摄像机的新镜头参数，查找存储的与该参数对应的最新全局背景图像，将该全局背景图像作为当前全局背景图像，根据当前云台位置，计算当前背景图像在当前全局背景图像中的位置，将当前全局背景图像中该位置的图像作为当前基准背景图像；计算分离出的背景图像与当前基准背景图像的变化值，若该变化值不在预设范围内，则以分离出的背景图像更新当前基准背景图像，同时，以分离出的背景图像更新当前全局背景图像中当前背景图像，存储更新后的当前全局背景图像。

8.根据权利要求6所述的模块，其特征在于，所述全局背景图像存储更新模块进一步用于，

接收码流分离模块发来的分离出的背景图像，若摄像机的镜头参数发生变化，且根据摄像机的新镜头参数未查找到存储的与该参数对应的全局背景图像，则根据新镜头参数、云台的转动范围确定摄像机能观察到的球面范围，用该球面范围映射的空白图像初始化全局背景图像，根据当前云台位置，计算当前背景图像在当前全局背景图像中的位置，将分离出的背景图像放入该空白全局背景图像的该位置上，同时将分离出的背景图像作为当前基准背景图像，存储当前全局背景图像。

9.根据权利要求6至8任一所述的模块，其特征在于，所述视频摘要索引构造模块构造的视频摘要索引包括：当前全局背景图像的存储路径或当前全局背景图像、当前前景图像的存储路径、当前前景图像的位置和/或运动规则描述信息；

且所述视频摘要处理设备进一步包括：视频摘要播放模块，用于当接收到视频摘要播放请求时，根据视频摘要索引构造模块中的当前全局背景图像的存储路径查找到当前全局背景图像，显示当前全局背景图像，或者直接显示视频摘要索引中的全局背景图像；根据当前前景图像的存储路径查找到当前前景图像，根据当前前景图像的位置和/或运动规则描述信息，将当前前景图像叠加到当前全局背景图像上显示。

10.根据权利要求6至9任一所述的模块，其特征在于，所述视频摘要索引构造模块构造的视频摘要索引包括：当前全局背景图像的存储路径或当前全局背景图像、当前背景图像在当前全局背景图像中的位置信息、当前前景图像的存储路径、当前前景图像的位置和/或运动规则描述信息；

且所述视频摘要处理设备进一步包括：视频摘要播放模块，用于当接收到视频摘要播放请求时，根据视频摘要索引构造模块中的当前全局背景图像的存储路径查找到当前全局背景图像，或者直接在视频摘要索引中查找到全局背景图像；根据当前背景图像在当前全局背景图像中的位置信息，在当前全局背景图像中查找到当前背景图像，显示当前背景图像，根据当前前景图像的存储路径查找到当前前景图像，根据当前前景图像的位置和/或运动规则描述信息，将当前前景图像叠加到当前背景图像上显示。

Images