CN103905734A - 一种智能跟踪摄像方法和装置 - Google Patents

Abstract

本发明公开了一种智能跟踪摄像方法和装置，包括：预设置模块，用于设置摄像中的场景切换规则以及全景视频图像的范围；摄像机，用于对全景视频图像进行采集；图像分析模块，用于对采集的全景视频图像进行图像分析，识别场景状态；抠图模块，用于根据场景切换规则从全景视频图像的画面中提取场景画面；编码模块，用于对视频图像进行图像编码。本发明的智能跟踪摄像方法和装置解决了现有技术的教学摄像系统体构造复杂，成本昂贵，会产生垃圾镜头，不能实现场景画面的无缝切换的技术问题。

Description

一种智能跟踪摄像方法和装置

技术领域

本发明涉及摄像方法和装置领域，尤其涉及一种智能跟踪摄像方法和装置。

背景技术

随着学习方式的改变、网络教学的日益普及等，近年来网络教学或视频教学逐渐在我国大中小学课堂教学推广，成为远程教学技能培训的重要形式之一。智能跟踪教学摄像系统可以让教师在不受任何约束地进行授课的同时拍摄实时跟踪图像。例如，在日常教学中，教师可以按照平时的教学习惯进行授课，系统将会自动对其运动特征进行分析计算，通过跟踪策略保证教师时刻处于拍摄画面的适当区域，然后将教师授课以及与学生互动交流的过程录制成多媒体文件，借助网络教学、远程点播等平台实现教学资源共享。该系统还为政府会议、企业培训、学术交流、基础教育等行业提供多媒体信息化解决方案。

目前，常见的智能跟踪教学摄像系统方案是采用判定教学动作后控制摄像机跟踪拍摄并实现场景切换。例如公布号为“CN103428461A”的中国专利中公开了一种授课影像录制的系统和方法，基于图像处理算法对全景摄像机摄取图像进行分析以实时跟踪教学对象，通过云台控制跟踪摄像机的镜头缩放和拍摄角度进行图像采集；根据录制模板，将相应图像信号传至录像装置，并编码压缩后存储在存贮装置中。其缺点是云台长时间运作容易发生故障，整套系统体构造复杂，安装及维护工作相对繁杂，而且成本昂贵。

公告号为“CN202309958U”，公告日为“2012.07.04”的中国专利说明书公开了一种具有跟踪功能的智能球形教学摄像机，通过视频采集模块对固定摄像头进行视频数据采集，通过视频解码器将视频数据信号传给主CPU进行实时处理，采用算法及策略计算目标信息，由从CPU根据设定的跟踪区域及教师或学生的活动情况驱动控制板对CCD摄像头进行运动控制及光学镜头控制，实现对教师或学生的智能跟踪和远景近景之间切换。与传统方案相比，其可以简化系统构造，降低成本。但是，由于该方案采用单摄像机内置双镜头，增加CPU的处理负担，采用的主、从CPU设计使其内部结构相对复杂，增加不可靠性。另外，其通过运动电机控制CCD摄像头转动以及镜头拉伸过程中，会产生垃圾镜头，不能实现场景画面的无缝切换。

发明内容

为此，本发明要解决的技术问题在于现有技术的摄像系统结构复杂，安装及维护困难，成本昂贵，会产生垃圾镜头，不能实现场景画面的无缝切换，从而提出一种智能跟踪摄像方法和装置。

为解决上述技术问题，本发明采用以下技术方案：

一种智能跟踪摄像方法，包括以下步骤：S1：设置摄像中的场景切换规则以及全景视频图像的范围；S2：通过摄像机对全景视频图像进行采集；S3：对采集的全景视频图像进行图像分析，识别场景状态；S4：根据场景切换规则，从全景视频图像的画面中提取全部或部分内容作为场景画面；S5：对上述视频图像进行图像编码。

作为本发明的智能跟踪摄像方法的进一步改进，所述场景切换规则包括：场景状态为单个跟踪目标在识别区域时，场景画面切换成跟踪目标特写画面；场景状态为跟踪目标不在识别区域或者2个及以上跟踪目标进入识别区域时，场景画面切换成全景画面；场景画面长时间为特写画面，定时切换成全景画面。

作为本发明的智能跟踪摄像方法的进一步改进，所述对采集的全景视频图像进行图像分析，识别场景状态的过程包括：在视频画面中划定跟踪目标的识别区域；对所述识别区域进行高斯背景建模，提取运动目标；对所述运动目标进行特征提取，判断该运动目标是否符合跟踪目标的类别，进而可以判断场景状态为跟踪目标不在识别区域或者单个跟踪目标在识别区域或者2个及以上跟踪目标进入识别区域。

作为本发明的智能跟踪摄像方法的进一步改进，所述从全景视频图像的画面中提取场景画面的过程包括：场景画面为跟踪目标特写画面时，在所述全景视频图像中识别出跟踪目标所在区域，以所述跟踪目标为中心提取一定大小的画面作为特写画面；场景画面为全景画面时，直接提取所述全景视频图像作为全景画面。

作为本发明的智能跟踪摄像方法的进一步改进，所述摄像机为具有电子云台的摄像机。

基于同一发明构思，本发明还提出一种智能跟踪摄像装置，包括：

预设置模块，用于设置摄像中的场景切换规则以及全景视频图像的范围；摄像机，用于对全景视频图像进行采集；图像分析模块，用于对采集的全景视频图像进行图像分析，识别场景状态；抠图模块，用于根据场景切换规则从全景视频图像的画面中提取场景画面；编码模块，用于对视频图像进行图像编码。

作为本发明的智能跟踪摄像装置的进一步改进，所述预设置模块包括场景切换规则设置模块，所述场景切换规则设置模块包括：特写画面切换设置单元，用于设置场景状态为单个跟踪目标在识别区域时，场景画面切换成跟踪目标特写画面；全景画面切换设置单元，用于设置场景状态为跟踪目标不在识别区域或者2个及以上跟踪目标进入识别区域时，场景画面切换成全景画面；防疲劳切换设置单元，用于设置场景画面长时间为特写画面时，定时切换成全景画面。

作为本发明的智能跟踪摄像装置的进一步改进，所述图像分析模块包括：识别区域划定单元，用于在视频画面中划定跟踪目标的识别区域；运动目标提取单元，用于对所述识别区域进行高斯背景建模，提取运动目标；场景状态识别单元，用于对所述运动目标进行特征提取，判断该运动目标是否符合跟踪目标的类别，进而可以判断场景状态为跟踪目标不在识别区域或者单个跟踪目标在识别区域或者2个及以上跟踪目标进入识别区域。

作为本发明的智能跟踪摄像装置的进一步改进，抠图模块包括：特写画面抠取单元，用于在所述全景视频图像中识别出跟踪目标所在区域，以所述跟踪目标为中心提取一定大小的画面作为特写画面；全景画面抠取单元，用于直接提取所述全景视频图像作为全景画面。

作为本发明的智能跟踪摄像装置的进一步改进，所述摄像机为具有电子云台的摄像机。

本发明的智能跟踪摄像方法和装置的有益效果为：

(1)通过图像分析模块对采集的全景视频图像进行图像分析，识别场景状态，并在抠图模块中，根据场景切换规则从全景视频图像的画面中提取全部或部分内容作为场景画面，按照该技术方案实现的教学摄像装置，不但整体结构简单，硬件实现容易，成本较低，而且安装及维护方便，没有垃圾镜头，实现场景画面的无缝切换，使录制的视频更加贴近真实现场环境。

(2)由于预设置模块包括场景切换规则设置模块，所述场景切换规则设置模块包括特写画面切换设置单元、全景画面切换设置单元和防疲劳切换设置单元，按照该技术方案实现的教学摄像装置，能够更好地适应跟踪摄像，特别是教学跟踪摄像的特点和要求。

(3)由于图像分析模块识别区域划定单元、运动目标提取单元、场景状态识别单元，按照该技术方案实现的教学摄像装置，能够有效地实现跟踪目标的识别和跟踪，跟踪过程中画面平滑自然，并能够准确地识别场景状态。

(4)由于抠图模块包括特写画面抠取单元、全景画面抠取单元，按照该技术方案实现的教学摄像装置，可以高效地从全景视频图像中提取需要的场景画面。

(5)由于摄像机为具有电子云台的摄像机，按照该技术方案实现的教学摄像装置，可以克服传统云台长时间运作造成机械故障或老化的缺点，提高设备和系统的可靠性。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中

图1是本发明实施例的一种智能跟踪教学摄像方法的流程图。

图2是本发明实施例的一种智能跟踪教学摄像方法的全景画面示意图。

图3是本发明实施例的一种智能跟踪教学摄像方法的特写画面示意图。

图4是本发明实施例的一种智能跟踪教学摄像方法的教师识别和跟踪算法流程图。

图5是本发明实施例的一种智能跟踪教学摄像装置的系统架构图。

具体实施方式

实施例1：

作为本发明的智能跟踪摄像方法的一个实施例，图1示出了一种智能跟踪教学摄像方法的流程图。在预设置步骤S1中，设置教学摄像中的场景切换规则以及全景视频图像的范围；在图像采集步骤S2中，通过摄像机对全景视频图像进行采集；在图像分析步骤S3中，对采集的全景视频图像进行图像分析，识别场景状态；在抠图步骤S4中，根据场景切换规则，从全景视频图像的画面中提取全部或部分内容作为场景画面；在图像编码步骤S5中，对上述视频图像进行图像编码。

其中，所述场景切换规则包括：场景状态为单个跟踪目标在识别区域时，场景画面切换成跟踪目标特写画面；场景状态为跟踪目标不在识别区域或者2个及以上跟踪目标进入识别区域时，场景画面切换成全景画面；场景画面长时间为特写画面，定时切换成全景画面。特写画面切换设置、全景画面切换设置和防疲劳切换设置能更好地适应跟踪摄像的特点和要求。

此外，图像分析步骤S3中，所述对采集的全景视频图像进行图像分析，识别场景状态的过程包括：在视频画面中划定跟踪目标的识别区域；对所述识别区域进行高斯背景建模，提取运动目标；对所述运动目标进行特征提取，判断该运动目标是否符合跟踪目标的类别，进而可以判断场景状态为跟踪目标不在识别区域或者单个跟踪目标在识别区域或者2个及以上跟踪目标进入识别区域。通过识别区域划定、运动目标提取和目标特征提取的过程实现全景视频图像分析，并识别场景特征，能够有效地实现跟踪目标的识别和跟踪，跟踪过程中画面平滑自然，并能够准确地识别场景状态。

在抠图步骤S4中，所述从全景视频图像的画面中提取场景画面的过程包括：场景画面为跟踪目标特写画面时，在所述全景视频图像中识别出跟踪目标所在区域，以所述跟踪目标为中心提取一定大小的画面作为特写画面；场景画面为全景画面时，直接提取所述全景视频图像作为全景画面。分别通过特写画面抠取和全景画面抠取实现场景画面提取，可以高效地从全景视频图像中提取特写画面或者全景画面。

本实施例中，所述摄像机为具有电子云台的摄像机。电子云台是相对于机械云台而言的一种新型集成云台，它没有可见的机械转动部分，通过其程序设置，在摄像机内部控制镜头的视角变化和变焦，它可以实现全景视频图像的采集。具有电子云台的摄像机能够克服传统云台长时间运作造成机械故障或老化的缺点，从而提高设备和系统的可靠性。

实施例2：

在本实施例中，给出一个具体的应用实例，本实施例为对教师授课进行跟踪录像的方法，其包括的主要步骤如实施例1所示，预设置步骤S1，设置教学摄像中的场景切换规则以及全景视频图像的范围；图像采集步骤S2，通过摄像机对全景视频图像进行采集；图像分析步骤S3，对采集的全景视频图像进行图像分析，识别场景状态；抠图步骤S4，根据场景切换规则，从全景视频图像的画面中提取全部或部分内容作为场景画面；图像编码步骤S5，对上述视频图像进行图像编码。具体的步骤如下：

在本应用实例中，在预设置步骤S1中所述的场景切换规则如表1所示，场景切换规则以能够更好地适应教学跟踪摄像的特点和要求而进行设置：场景状态为教师在讲台区域时，场景画面切换成教师特写画面；场景状态为教师不在讲台区域或者学生进入讲台区域时，场景画面切换成全景画面；当场景画面长时间为教师特写画面，即教师长时间处于讲台区域，场景画面由教师特写定时切换成教学全景画面。

表1 教学场景切换规则

在预设置步骤S1中对教学全景视频图像的范围进行设置。如图2所示，在摄像机采集的教学全景视频图像画面200中，包含黑板201、讲台202、学生课桌203以及教师211。在该教学全景视频图像画面200中，教师211正在黑板201左半部分板书，即场景状态为教师211正在讲台202区域活动。根据教学场景切换规则，场景画面切换为教师特写画面210，如图3所示。

在图像采集步骤S2中，采用具有电子云台的摄像机对全景视频图像进行采集，从而获得教师教学的全景视频图像。具有电子云台的摄像机能够克服传统云台长时间运作造成机械故障或老化的缺点，提高设备和系统的可靠性。此处的全景视频图像根据具体的场景进行选择。

在图像分析步骤S3中，所述对采集的全景视频图像进行图像分析，识别场景状态的过程包括：在视频画面中划定教师的识别区域，即讲台区域；对讲台区域进行高斯背景建模，提取运动目标；对所述运动目标进行特征提取，判断该运动目标是否为教师或者学生，进而可以判断场景状态为教师不在讲台区域或者教师在识别区域或者学生进入识别区域。

图4示出了对教师进行识别和跟踪的算法流程图，其有效地了实现跟踪目标的识别和跟踪，并且跟踪过程中画面平滑自然，识别的场景状态准确性好。首先，在其初始化设置中对教师在全景视频图像画面中的活动区域进行划定，该活动区域即为讲台区域。然后，对教师活动区域进行高斯背景建模，进而对运动目标进行检测。如果检测到运动目标，则对运动目标进行特征提取，判断运动目标是否为2个或以上以及运动目标是否为人。

进一步地，如果判断结论是运动目标为2个或以上，并且运动目标为人，则可以确定场景状态为学生走上讲台，通过meanshif和光流跟踪的跟踪方法对各个运动目标进行跟踪，并采用卡尔曼滤波对各个运动目标的轨迹进行平滑处理。

如果判断结论是只有1个运动目标为人，则可以确定场景状态为教师走上讲台或者教师在讲台区域活动或者学生走下讲台，通过meanshif和光流跟踪的跟踪方法对运动目标进行跟踪，并采用卡尔曼滤波对运动目标轨迹进行平滑处理。

对于图4示出的对教师进行识别和跟踪的算法流程没有检测到运动目标的情形，则可以初步确认场景状态为教师在讲台区域静止或者教师走下讲台。

另外，通过设计一个定时器判断教师是否一直处于讲台区域，如果是，则可以确认场景状态为教师长时间处于讲台。

在抠图步骤S4中，根据图像分析步骤S3分析识别的场景状态以及预设置步骤S1设置的场景切换规则，可以确定切换场景画面为教师特写画面或者教学全景画面，进而从全景视频图像的画面中提取场景画面。场景画面的提取过程包括：场景画面为教师特写画面时，在全景视频图像中识别出教师所在区域，以所述跟踪目标为中心提取一定大小的画面作为特写画面；场景画面为全景画面时，直接提取全景视频图像作为教学全景画面；特写画面或者教学全景画面的提取技术手段可以采用对全景视频图像进行裁剪缩放。这样，高效地实现了从全景视频图像中提取教室特写画面或者教学全景画。

通过上述方式即实现了对教师教学视频的跟踪摄像和录制，对上述视频进行编码用于直接输出，或者存储后作为网络或远程教学视频。

本发明实施例的对教师授课进行跟踪录像的方法，在图像分析S3中对采集的全景视频图像进行图像分析，识别场景状态，并在抠图步骤S4中根据场景切换规则从全景视频图像的画面中提取全部或部分内容作为场景画面，通过该方法的实施而制造的智能跟踪教学摄像装置，这样不但整体结构简单，硬件实现容易，成本较低，而且安装及维护方便，没有垃圾镜头，实现场景画面的无缝切换，使录制的视频更加贴近教室环境。

实施例3：

作为本发明的智能跟踪摄像装置的一个实施例，图5示出了一种智能跟踪教学摄像装置的系统架构图。本发明的智能跟踪摄像装置包括预设置模块100、摄像机110、图像分析模块120、抠图模块130以及编码模块140。在预设置模块100中设置场景切换规则，并设置全景视频图像的范围。根据在预设置模块100中设置的全景视频图像范围，摄像机110通过高分辨率图像传感器111对全景视频图像进行实时采集，所采集全景视频图像放在缓存112中。此处的摄像机110选择为具有电子云台的摄像机。具有电子云台的摄像机能够克服传统云台长时间运作造成机械故障或老化的缺点，提高设备和系统的可靠性。图像分析模块120通过图像缩放处理芯片按照采集顺序按帧依次提取存放在缓存112中的全景视频图像，并进行图像缩小处理。图像缩小处理后的全景视频图像输出高性能DSP进行图像分析，识别场景状态。抠图模块130从缓存111中提取所分析全景视频图像对应帧的原始采集图像，根据在预设置模块100设置的场景切换规则，通过图像裁剪缩放处理芯片对该原始全景视频图像进行裁剪缩放处理，提取场景画面。编码模块140提取的场景视频图像进行图像编码，并保存到存储器中或者进行直播。

预设置模块100包括场景切换规则设置模块，场景切换规则设置模块包括：特写画面切换设置单元、全景画面切换设置单元以及防疲劳切换单元。所述特写画面切换设置单元用于设置：场景状态为教师走上讲台或者在讲台区域活动或者在讲台区域静止或者学术走下讲台时，场景画面切换成教师特写画面。所述全景画面切换设置单元用于设置：场景状态为教师走下讲台或者学生走上讲台时，场景画面切换成全景画面。所述防疲劳切换设置单元用于设置：场景画面长时间为特写画面，即教师长时间处于讲台区域，定时切换成全景画面。场景切换规则设置模块的设计能够更好地适应教学跟踪摄像的特点和要求。

图像分析模块120包括识别区域划定单元、运动目标提取单元以及场景状态识别单元。所述识别区域划定单元，用于在视频画面中划定教师的活动区域，即讲台区域。所述运动目标提取单元，用于对讲台区域进行高斯背景建模，提取运动目标。所述场景状态识别单元，用于对所述运动目标进行特征提取，判断该运动目标是否为人，进而可以判断场景状态为教师不在讲台区域或者教师在讲台区域或者学生走上讲台。识别区域划定单元、运动目标提取单元、场景状态识别单元的设计能够有效地实现跟踪目标的识别和跟踪，跟踪过程中画面平滑自然，并能准确地识别场景状态。

抠图模块130包括特写画面抠取单元和全景画面抠取单元。所述特写画面抠取单元用于在所述全景视频图像中识别出跟教师所在区域，以所述跟踪目标为中心提取一定大小的画面作为教师特写画面。所述全景画面抠取单元，用于直接提取所述全景视频图像作为全景画面。特写画面抠取单元、全景画面抠取单元的设计可以高效地实现从全景视频图像中提取需要的场景画面。

本发明实施例的智能跟踪教学摄像装置，在图像分析模块120对采集的全景视频图像进行图像分析，识别场景状态，并在抠图模块130中根据场景切换规则从全景视频图像的画面中提取全部或部分内容作为场景画面。这样，不但整体结构简单，硬件实现容易，成本较低，而且安装及维护方便，没有垃圾镜头，实现场景画面的无缝切换，使录制的视频更加贴近教室环境。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种智能跟踪摄像方法，其特征在于包括以下步骤：

S1：设置摄像中的场景切换规则以及全景视频图像的范围；

S2：通过摄像机对全景视频图像进行采集；

S3：对采集的全景视频图像进行图像分析，识别场景状态；

S4：根据场景切换规则，从全景视频图像的画面中提取全部或部分内容作为场景画面；

S5：对上述视频图像进行图像编码。

2.根据权利要求1所述的智能跟踪摄像方法，其特征在于所述场景切换规则包括：场景状态为单个跟踪目标在识别区域时，场景画面切换成跟踪目标特写画面；场景状态为跟踪目标不在识别区域或者2个及以上跟踪目标进入识别区域时，场景画面切换成全景画面；场景画面长时间为特写画面，定时切换成全景画面。

3.根据权利要求1所述的智能跟踪摄像方法，其特征在于所述对采集的全景视频图像进行图像分析，识别场景状态的过程包括：

在视频画面中划定跟踪目标的识别区域；

对所述识别区域进行高斯背景建模，提取运动目标；

对所述运动目标进行特征提取，判断该运动目标是否符合跟踪目标的

类别，进而可以判断场景状态为跟踪目标不在识别区域或者单个跟踪

目标在识别区域或者2个及以上跟踪目标进入识别区域。

4.根据权利要求1所述的智能跟踪摄像方法，其特征在于所述从全景视频图像的画面中提取场景画面的过程包括：

场景画面为跟踪目标特写画面时，在所述全景视频图像中识别出跟踪目标所在区域，以所述跟踪目标为中心提取一定大小的画面作为特写画面；

场景画面为全景画面时，直接提取所述全景视频图像作为全景画面。

5.根据权利要求1所述的智能跟踪摄像方法，其特征在于，所述摄像机为具有电子云台的摄像机。

6.一种智能跟踪摄像装置，其特征在于，包括：

预设置模块，用于设置摄像中的场景切换规则以及全景视频图像的范围；

摄像机，用于对全景视频图像进行采集；

图像分析模块，用于对采集的全景视频图像进行图像分析，识别场景状态；

抠图模块，用于根据场景切换规则从全景视频图像的画面中提取场景画面；

编码模块，用于对视频图像进行图像编码。

7.根据权利要求6所述的智能跟踪摄像装置，其特征在于所述预设置模块包括场景切换规则设置模块，所述场景切换规则设置模块包括：

特写画面切换设置单元，用于设置场景状态为单个跟踪目标在识别区域时，场景画面切换成跟踪目标特写画面；

全景画面切换设置单元，用于设置场景状态为跟踪目标不在识别区域或者2个及以上跟踪目标进入识别区域时，场景画面切换成全景画面；

防疲劳切换设置单元，用于设置场景画面长时间为特写画面时，定时切换成全景画面。

8.根据权利要求6所述的智能跟踪摄像装置，其特征在于，所述图像分析模块包括：

识别区域划定单元，用于在视频画面中划定跟踪目标的识别区域；

运动目标提取单元，用于对所述识别区域进行高斯背景建模，提取运动目标；

场景状态识别单元，用于对所述运动目标进行特征提取，判断该运动目标是否符合跟踪目标的类别，进而可以判断场景状态为跟踪目标不在识别区域或者单个跟踪目标在识别区域或者2个及以上跟踪目标进入识别区域。

9.根据权利要求6所述的智能跟踪摄像装置，其特征在于，抠图模块包括：

特写画面抠取单元，用于在所述全景视频图像中识别出跟踪目标所在区域，以所述跟踪目标为中心提取一定大小的画面作为特写画面；

全景画面抠取单元，用于直接提取所述全景视频图像作为全景画面。

10.根据权利要求6所述的智能跟踪摄像装置，其特征在于，所述摄像机为具有电子云台的摄像机。

Images