CN102647559A - 一种云台跟踪录制的方法和装置 - Google Patents

Abstract

本申请提供了一种云台跟踪录制的方法和装置，其中，所述方法包括：采集原始视频流；计算所述原始视频流中的各视频帧的运动补偿信息；将所述运动补偿信息压缩保存为视频文件，以及，根据所述运动补偿信息生成云台跟踪目标的控制指令。本申请可以提高云台跟踪录制的处理效率，并降低硬件成本。

Description

一种云台跟踪录制的方法和装置

技术领域

本申请涉及云台控制的技术领域，特别是涉及一种云台跟踪录制的方法，一种云台跟踪录制的装置，以及，一种用于云台跟踪录制的DSP处理器。

背景技术

云台是安装、固定摄像机的支撑设备，它分为固定云台和运动云台两种，固定云台适用于监视范围不大的情况，在固定云台上安装好摄像机后可调整摄像机的水平和俯仰的角度，达到最好的工作姿态后只要锁定调整机构就可以了。运动云台适用于对大范围进行扫描监视，它可以扩大摄像机的监视范围。运动云台高速姿态是由两台执行电动机来实现，电动机接受来自控制器的信号精确地运行定位。在控制信号的作用下，云台上的摄像机既可自动扫描监视区域，也可在监控中心值班人员的操纵下跟踪监视对象。在诸多视频会议、远程教学、视频监控的应用中，运动云台得到了越来越广泛的应用。

现有技术中，最常用的云台跟踪录制方案为采用ARM和DSP硬件的方案。具体而言，ARM是一种通用处理器，适合于整数与浮点数运算，在云台跟踪录制方案中用于运行云台跟踪算法；DSP是一种专用的数据处理器，除了整数和浮点数运算之外，还能处理一些特殊指令的运算，有专门的针对视频数据处理的指令集，因此它在处理视频数据的时候比Arm快一些，在云台跟踪录制方案中用于运行基于h264编码标准的视频编码算法。也就是说，采用这种ARM和DSP硬件的方案，主要包括运行在DSP上的基于h264编码标准的视频编码算法，以及，运行在ARM上的云台跟踪算法，其中，基于h264编码标准的视频编码算法主要包括如下两部分的处理：

A)运动补偿计算部分；

B)视频压缩与编码部分；

云台跟踪算法主要包括如下两部分的处理：

C)运动补偿计算部分；

D)跟踪策略计算部分。

由于ARM核作为一种通用处理器，适合处理整数与浮点数运算，而并不适合处理运动补偿计算部分过程，故其处理运动补偿计算会花费较多时间，导致整个云台跟踪录制处理的时间比较长，再者，现有技术采用ARM和DSP两种处理器所需的成本也比较高。

因此，目前需要本领域技术人员迫切解决的一个技术问题就是：提出一种全新的云台跟踪录制的机制，用以提高云台跟踪录制的处理效率，并降低硬件成本。

发明内容

本申请的目的是提供一种云台跟踪录制的方法和装置，用以提高云台跟踪录制的处理效率，并降低硬件成本。

为了解决上述问题，本申请公开了一种云台跟踪录制的方法，包括：

采集原始视频流；

计算所述原始视频流中的各视频帧的运动补偿信息；

将所述运动补偿信息压缩保存为视频文件，以及，根据所述运动补偿信息生成云台跟踪目标的控制指令。

优选的，所述原始视频流为YUV格式，所述计算原始视频流中的各视频帧的运动补偿信息的步骤包括：

将所述原始视频流中的各视频帧切分成宏块，所述宏块包括Y宏块、U宏块和V宏块；

计算所述各个宏块相对于前一帧相应宏块的运动方向和运动距离。

优选的，所述将运动补偿信息压缩保存为视频文件的步骤包括：

将所述运动补偿信息压缩为位流；

连接每一帧的位流并进行封装，形成视频文件。

优选的，所述根据运动补偿信息生成云台跟踪目标的控制指令的步骤包括：

确定运动目标；

根据所述运动补偿信息计算运动目标的坐标范围和运动方向，生成相应的云台移动和/或缩放的云台控制命令。

本申请实施例还公开了一种云台跟踪录制的装置，包括：

原始视频采集模块，用于采集原始视频流；

运动补偿计算模块，用于计算所述原始视频流中的各视频帧的运动补偿信息；

视频文件生成模块，用于将所述运动补偿信息压缩保存为视频文件，以及，

控制指令生成模块，用于根据所述运动补偿信息生成云台跟踪目标的控制指令。

优选的，所述原始视频流为YUV格式，所述运动补偿计算模块包括：

宏块切分子模块，用于将所述原始视频流中的各视频帧切分成宏块，所述宏块包括Y宏块、U宏块和V宏块；

运动信息计算子模块，用于计算所述各个宏块相对于前一帧相应宏块的运动方向和运动距离。

优选的，所述视频文件生成模块包括：

压缩子模块，用于将所述运动补偿信息压缩为位流；

封装子模块，用于连接每一帧的位流并进行封装，形成视频文件。

优选的，所述控制指令生成模块包括：

运动目标确定子模块，用于确定运动目标；

指令生成子模块，用于根据所述运动补偿信息计算运动目标的坐标范围和运动方向，生成相应的云台移动和/或缩放的云台控制命令。

本申请实施例还公开了一种用于云台跟踪录制的DSP处理器，包括：

原始视频采集模块，用于采集原始视频流；

运动补偿计算模块，用于计算所述原始视频流中的各视频帧的运动补偿信息；

视频文件生成模块，用于将所述运动补偿信息压缩保存为视频文件，以及，

控制指令生成模块，用于根据所述运动补偿信息生成云台跟踪目标的控制指令。

优选的，所述原始视频流为YUV格式，所述运动补偿计算模块包括：

宏块切分子模块，用于将所述原始视频流中的各视频帧切分成宏块，所述宏块包括Y宏块、U宏块和V宏块；

运动信息计算子模块，用于计算所述各个宏块相对于前一帧相应宏块的运动方向和运动距离；

所述视频文件生成模块包括：

压缩子模块，用于将所述运动补偿信息压缩为位流；

封装子模块，用于连接每一帧的位流并进行封装，形成视频文件；

所述控制指令生成模块包括：

运动目标确定子模块，用于确定运动目标；

指令生成子模块，用于根据所述运动补偿信息计算运动目标的坐标范围和运动方向，生成相应的云台移动和/或缩放的云台控制命令。

与现有技术相比，本申请包括以下优点：

本申请将现有的采用ARM和DSP硬件的云台跟踪录制方案，简化为只需要采用DSP硬件的云台跟踪录制方案，并对其算法进行了改进，去除了ARM处理的运动补偿计算部分，仅需DSP执行运动补偿计算、视频压缩与编码以及跟踪策略计算，从而有效提高了云台跟踪录制的处理效率，并大大降低了硬件成本。

附图说明

图1是本申请的一种云台跟踪录制的方法实施例1的步骤流程图；

图2是本申请的一种示例中帧间压缩编码的前一次运动估计过程的示意图；

图3是本申请的一种示例中帧间压缩编码的前一次运动补偿过程的示意图；

图4是本申请的一种示例中帧间压缩编码的后一次运动估计过程的示意图；

图5是本申请的一种示例中帧间压缩编码的后一次运动补偿过程的示意图；

图6是本申请的一种云台跟踪录制的装置实施例的结构框图；

图7是本申请的一种用于云台跟踪录制的DSP处理器的结构框图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

以下描述一下基于h264编码标准的视频编码算法和云台跟踪算法的原理。

H.264是ITU-T的VCEG(视频编码专家组)和ISO/IEC的MPEG(活动图象编码专家组)的联合视频组(JVT：joint videoteam)开发的一个新的数字视频编码标准，它既是ITU-T的H.264，又是1SO/IEC的MPEG-4的第10部分。新一代标准H.264可以得到更好的压缩图像效果、拥有更多的功能和更大的灵活性。

基于h264编码标准的视频编码算法是当前主流的视频编码算法，采用运动补偿的方式对视频进行压缩。运动补偿是指，由于拍摄的视频一般是连贯的，拍摄的物体不断的在运动，因此当前帧和上一帧的差别很小。如果指定某一帧为关键帧，并完整的保存此帧，后面的帧则只保存差量。这样就不会每一帧都完整保存，也就节省了空间。解码的时候首先获得关键帧，然后依次把差量加上去，就能得到原始视频。其中，计算差量的具体实现细节是，把每帧的视频分成16x16的小块，分别计算每一个小块与上一帧之间的差异。因为拍摄的物体是在运动着的，所以当前块可能与上一帧相同位置的块差异较大。但是，当前块里面的物体可能在上一帧的时候处于左上角偏移几个像素(比如，3像素)的位置。如果拿当前块跟上一帧中位于左上角偏移3像素的块来作比较的话，则差异较小，那么需要保存的数据量也就少一些，更加适于压缩。所以需要找到一个最佳匹配的位置，它可能在当前位置的上下左右偏移几个像素的地方。同时，它也代表了物体的运动方向，物体向右下角移动了3像素。计算完差量后，保存最佳匹配块的偏移量和与最佳匹配块的差量。

基于h264编码标准的视频编码算法通常是在DSP上运行的，DSP有专门的指令集用于寻找最佳匹配块和计算差量，也有指令集进行后续的步骤，比如说位流压缩等等，可以加速整个基于h264编码标准的视频编码算法。

云台跟踪算法的基本原理是将视频分成多个小块，计算每一个块与上一帧之间的最佳匹配块，计算出运动目标的运动方向。例如，跟踪的运动目标是当前讲台上移动的老师，或者座位上起立或者坐下的学生。如果运动目标恰好位于讲台上，则判定为老师。如果运动目标位于座位上，并且运动方向是垂直向上或者向下，则判定为学生起立或者坐下。然后根据判定的结果来控制云台移动和缩放。比如老师走动的时候镜头要给特写，学生起立的时候给特写，学生坐下的时候回全景，等等。因此云台跟踪算法的大部分步骤与前面描述的基于h264编码标准的视频编码算法的计算差值部分是一样的。计算差值完成后，云台跟踪算法只需要判断运动目标的坐标范围和运动方向即可。

参考图1，示出了本申请的一种云台跟踪录制的方法实施例的步骤流程图，具体可以包括如下步骤：

步骤101、采集原始视频流；

在具体实现中，所述原始视频流为YUV格式。若采集的是其它格式的视频，如RGB格式，则可以将其预先转换成YUV格式再进行后续处理。

步骤102、计算所述原始视频流中的各视频帧的运动补偿信息；

在本申请的一种优选实施例中，所述步骤102可以包括如下子步骤：

子步骤S11、将所述原始视频流中的各视频帧切分成宏块，所述宏块包括Y宏块、U宏块和V宏块；

子步骤S12、计算所述各个宏块相对于前一帧相应宏块的运动方向和运动距离。

需要说明的是，在本说明书，所述“块”，均指“宏块”，所谓宏块，是指视频帧内的16X16像素采样区域的数据，根据数据类型(亮度、色度)的不同，可以分为Y宏块、Cb宏块、Cr宏块(亦称Y宏块、U宏块和V宏块，其中Y代表亮度，UV代表色度，色度定义了颜色的两个方面-饱和度与色调)一般来说，亮度宏块为16x16大小的像素块，而两个色度图像像素宏块的大小依据其图像的采样格式而定，如：对于YUV420采样图像，色度块为8x8大小的像素块。每个图像中，若干宏块被排列成片的形式，视频编码算法以宏块为单位，逐个宏块进行编码，组织成连续的视频码流。

步骤103、将所述运动补偿信息压缩保存为视频文件，以及，根据所述运动补偿信息生成云台跟踪目标的控制指令。

在本申请的一种优选实施例中，可以通过如下子步骤将运动补偿信息压缩保存为视频文件：

子步骤S21、将所述运动补偿信息压缩为位流；

子步骤S22、连接每一帧的位流并进行封装，形成视频文件。

在具体实现中，所述压缩算法可以采用GOLOMB压缩算法，当然，上述压缩算法仅仅用作示例，本领域技术人员根据实际情况采用任一种压缩算法均是可行的，本申请对此不作限制。

对于H264格式的视频文件而言，其本质上是每一帧的位流连在一起，每一帧加上一点信息做封装，包括：宏块大小、帧的属性(关键帧或者差量帧)、帧的长和宽等等，封装后既为可播放的视频文件。H264格式的视频文件可以封装成不同的文件格式，如mkv，mp4，ts等等，这只是文件头的不同，也就是封装方式的不同。其本质，每一帧的位流都是一样的。

在本申请的一种优选实施例中，还可以通过如下子步骤根据运动补偿信息生成云台跟踪目标的控制指令：

子步骤S31、确定运动目标；

子步骤S32、根据所述运动补偿信息计算运动目标的坐标范围和运动方向，生成相应的云台移动和/或缩放的云台控制命令。

通过分析运动补偿信息，根据每帧中每个小块的运动情况，确定云台所跟踪的运动目标的位置，并输出云台控制命令。

在压缩编码过程中，基于相邻两帧之间的较大相似性，通常采用帧间编码的方法来去除图像的冗余度，实现帧间编码的方法是运动估计和运动补偿。

帧间压缩编码的过程可以如图2至图5所示。

图2为帧间压缩编码的前一次运动估计过程的示意图。如图2所示，帧A为参考帧，是对帧B的前一输入帧进行压缩编码之后得到并存储于存储器1中的；帧B为当前输入帧；帧A和帧B中均包括多个16行x 16列的宏块。将帧B中的当前宏块减去帧A中的匹配宏块，得到亮度、色度的残差宏块，同时根据帧B中的当前宏块与帧A中的匹配宏块的位置差，得到当前宏块的的运动矢量，实现对帧B的运动估计。对帧B中每个宏块编码后得到的残差宏块和运动矢量，在压缩后即可作为帧B的码流输出。

在做运动估计和运动补偿时，是以16×16的块(称宏块)逐个进行的，即将当前帧划分为N×N(16×16)的块。在这种情况下，运动估计中的全局搜索块匹配是指对每一块在参考帧中范围为(N+2W_Y)×(N+2W_X)(宏块大小的各方向上延伸N个像素)的范围内进行搜索，以求得最优匹配，从而得到运动矢量的估值(dx，dy)。衡量匹配好坏的准则可以是均方误差最小准则；搜索方法可以是全局搜索法，即对搜索范围内的每一点都计算均方误差，选最小值即对应最优匹配

例如，从帧B的第一行第一个的宏块开始，以帧B中当前宏块所对应的位置为中心，在作为参考帧的帧A中，按照当前宏块大小+/-N个像素行的运动估计搜索区域，寻找与帧B中当前宏块最佳匹配的匹配宏块。

图3为帧间压缩编码的前一次运动补偿过程的示意图。如图3所示，在输出码流的同时，对于帧B中每个宏块编码后的残差宏块和运动矢量，还需要依次进行解码，并在解码后与该宏块对应的帧A中的匹配宏块相加，得到该宏块对应的重构宏块，帧B中每个宏块的重构宏块即构成了帧B的重构帧B’，实现对帧B的运动补偿。然后，将重构帧B’存储于存储器2中，作为下一个输入帧的参考帧。

图4为帧间压缩编码的后一次运动估计过程的示意图。如图4所示，重构帧B’为参考帧；帧C为当前输入帧；重构帧B’和帧C中均包括多个16行X16列的宏块。与前一次运动估计相同，在重构帧B’中寻找与帧C中当前宏块最佳匹配的匹配宏块，并将帧C中的当前宏块减去重构帧B’中的匹配宏块，得到亮度、色度的残差宏块，同时根据帧C中的当前宏块与重构帧B’中的匹配宏块的位置差，得到当前宏块的的运动矢量，实现对帧C的运动估计。对帧C中每个宏块编码后得到的残差宏块和运动矢量，在压缩后即可作为帧C的码流输出。

图5为帧间压缩编码的后一次运动补偿过程的示意图。如图5所示，在输出码流的同时，同样对于帧C中每个宏块编码后的残差宏块和运动矢量，还需要依次进行解码，并在解码后与该宏块对应的重构帧B’中的匹配宏块相加，得到该宏块对应的重构宏块，帧C中每个宏块的重构宏块即构成了帧C的重构帧C’，实现对帧C的运动补偿。

然后，将重构帧C’存储于存储器1中，覆盖原有的帧A，作为再下一个输入帧的参考帧。

如此反复交替，对利用一个存储器中存储的参考帧对当前输入帧进行帧间压缩编码后，均将该帧的重构帧作为下一输入帧的参考帧，并存储于另一存储器中，覆盖前一输入帧的参考帧。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

参考图6，示出了本申请的一种云台跟踪录制的装置实施例的结构框图，具体可以包括如下模块：

原始视频采集模块601，用于采集原始视频流；

运动补偿计算模块602，用于计算所述原始视频流中的各视频帧的运动补偿信息；

视频文件生成模块603，用于将所述运动补偿信息压缩保存为视频文件，以及，

控制指令生成模块604，用于根据所述运动补偿信息生成云台跟踪目标的控制指令。

在具体实现中，所述原始视频流为YUV格式，所述运动补偿计算模块602可以包括如下子模块：

宏块切分子模块，用于将所述原始视频流中的各视频帧切分成宏块，所述宏块包括Y宏块、U宏块和V宏块；

运动信息计算子模块，用于计算所述各个宏块相对于前一帧相应宏块的运动方向和运动距离。

在本申请的一种优选实施例中，所述视频文件生成模块603可以包括如下子模块：

压缩子模块，用于将所述运动补偿信息压缩为位流；

封装子模块，用于连接每一帧的位流并进行封装，形成视频文件。

在本申请的一种优选实施例中，所述控制指令生成模块604可以包括如下子模块：

运动目标确定子模块，用于确定运动目标；

指令生成子模块，用于根据所述运动补偿信息计算运动目标的坐标范围和运动方向，生成相应的云台移动和/或缩放的云台控制命令。

参考图7，示出了本申请的一种用于云台跟踪录制的DSP处理器的结构框图，所述DSP处理器71具体可以包括如下模块：

原始视频采集模块701，用于采集原始视频流；

运动补偿计算模块702，用于计算所述原始视频流中的各视频帧的运动补偿信息；

视频文件生成模块703，用于将所述运动补偿信息压缩保存为视频文件，以及，

控制指令生成模块704，用于根据所述运动补偿信息生成云台跟踪目标的控制指令。

在本申请的一种优选实施例中，所述原始视频流为YUV格式，所述运动补偿计算模块702具体可以包括如下子模块：

宏块切分子模块，用于将所述原始视频流中的各视频帧切分成宏块，所述宏块包括Y宏块、U宏块和V宏块；

运动信息计算子模块，用于计算所述各个宏块相对于前一帧相应宏块的运动方向和运动距离；

所述视频文件生成模块703具体可以包括如下子模块：

压缩子模块，用于将所述运动补偿信息压缩为位流；

封装子模块，用于连接每一帧的位流并进行封装，形成视频文件；

所述控制指令生成模块704具体可以包括如下子模块：

运动目标确定子模块，用于确定运动目标；

指令生成子模块，用于根据所述运动补偿信息计算运动目标的坐标范围和运动方向，生成相应的云台移动和/或缩放的云台控制命令。

对于上述装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

以上对本申请所提供的一种云台跟踪录制的方法，一种云台跟踪录制的装置，以及，一种用于云台跟踪录制的DSP处理器进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种云台跟踪录制的方法，其特征在于，包括：

采集原始视频流；

计算所述原始视频流中的各视频帧的运动补偿信息；

将所述运动补偿信息压缩保存为视频文件，以及，根据所述运动补偿信息生成云台跟踪目标的控制指令。

2.根据权利要求1所述的方法，其特征在于，所述原始视频流为YUV格式，所述计算原始视频流中的各视频帧的运动补偿信息的步骤包括：

将所述原始视频流中的各视频帧切分成宏块，所述宏块包括Y宏块、U宏块和V宏块；

计算所述各个宏块相对于前一帧相应宏块的运动方向和运动距离。

3.根据权利要求1或2所述的方法，其特征在于，所述将运动补偿信息压缩保存为视频文件的步骤包括：

将所述运动补偿信息压缩为位流；

连接每一帧的位流并进行封装，形成视频文件。

4.根据权利要求3所述的方法，其特征在于，所述根据运动补偿信息生成云台跟踪目标的控制指令的步骤包括：

确定运动目标；

根据所述运动补偿信息计算运动目标的坐标范围和运动方向，生成相应的云台移动和/或缩放的云台控制命令。

5.一种云台跟踪录制的装置，其特征在于，包括：

原始视频采集模块，用于采集原始视频流；

运动补偿计算模块，用于计算所述原始视频流中的各视频帧的运动补偿信息；

视频文件生成模块，用于将所述运动补偿信息压缩保存为视频文件，以及，

控制指令生成模块，用于根据所述运动补偿信息生成云台跟踪目标的控制指令。

6.根据权利要求5所述的装置，其特征在于，所述原始视频流为YUV格式，所述运动补偿计算模块包括：

宏块切分子模块，用于将所述原始视频流中的各视频帧切分成宏块，所述宏块包括Y宏块、U宏块和V宏块；

运动信息计算子模块，用于计算所述各个宏块相对于前一帧相应宏块的运动方向和运动距离。

7.根据权利要求5或6所述的装置，其特征在于，所述视频文件生成模块包括：

压缩子模块，用于将所述运动补偿信息压缩为位流；

封装子模块，用于连接每一帧的位流并进行封装，形成视频文件。

8.根据权利要求7所述的装置，其特征在于，所述控制指令生成模块包括：

运动目标确定子模块，用于确定运动目标；

指令生成子模块，用于根据所述运动补偿信息计算运动目标的坐标范围和运动方向，生成相应的云台移动和/或缩放的云台控制命令。

9.一种用于云台跟踪录制的DSP处理器，其特征在于，包括：

原始视频采集模块，用于采集原始视频流；

运动补偿计算模块，用于计算所述原始视频流中的各视频帧的运动补偿信息；

视频文件生成模块，用于将所述运动补偿信息压缩保存为视频文件，以及，

控制指令生成模块，用于根据所述运动补偿信息生成云台跟踪目标的控制指令。

10.根据权利要求4所述的用于云台跟踪录制的DSP处理器，其特征在于，所述原始视频流为YUV格式，所述运动补偿计算模块包括：

宏块切分子模块，用于将所述原始视频流中的各视频帧切分成宏块，所述宏块包括Y宏块、U宏块和V宏块；

运动信息计算子模块，用于计算所述各个宏块相对于前一帧相应宏块的运动方向和运动距离；

所述视频文件生成模块包括：

压缩子模块，用于将所述运动补偿信息压缩为位流；

封装子模块，用于连接每一帧的位流并进行封装，形成视频文件；

所述控制指令生成模块包括：

运动目标确定子模块，用于确定运动目标；

指令生成子模块，用于根据所述运动补偿信息计算运动目标的坐标范围和运动方向，生成相应的云台移动和/或缩放的云台控制命令。

Images