CN114339259A - 视频压缩方法和装置 - Google Patents

Abstract

本申请提供视频压缩方法和装置，方法包括：根据传感器与视频采集装置之间的位置关系以及传感器采集的实时运动数据，获取视频采集装置采集的原始视频序列中各个原始图像各自对应的旋转运动矢量；基于各个原始图像各自对应的旋转运动矢量分别对各个原始图像进行运动补偿，得到各个原始图像各自对应的目标图像；对各个目标图像分别进行图像补偿，得到由各个经图像补偿的目标图像组成的目标视频序列，以对目标视频序列进行压缩处理。本申请能够有效提高视频压缩过程中对视频中各个图像进行稳像的有效性及精确性，并能够有效降低运动估计的计算复杂度，提高运动估计及运动补偿的效率，进而能够有效提高视频压缩的有效性、精确性及效率。

Description

视频压缩方法和装置

技术领域

本申请涉及视频压缩技术领域，尤其涉及视频压缩方法和装置。

背景技术

视频压缩技术通过减少图像间空间和时间的冗余，在保证画面质量的前提下，有效降低视频所需的存储容量和传输带宽。电子稳像技术是以数字图像处理和计算机应用等技术手段，对抖动的视频序列进行处理，消除视频序列中不规律的随机运动，保留主观运动，从而在一定程度上减轻或彻底消除视频抖动的现代科学技术。电子稳像技术主要划分为运动估计、运动补偿、图像补偿三个环节，其中关键是在运动估计期间获取到图像间实时的运动矢量，并在运动补偿期间通过该运动矢量对图像进行矫正变换，以达到减小视频帧间差异的目的。

目前，视频压缩过程中的运动估计及运动补偿的处理方式通常为：在运动估计环节，通过FAST特征点检测识别相邻两帧的特征点，并对特征点进行了均匀化处理，降低了下一步特征点匹配的计算时间和误匹配现象；对粗匹配后的特征点进行精匹配处理，提高匹配精度；最终将优化后的特征点代入运动模型计算出两帧的运动矢量。在运动补偿环节，通过滤波后的运动矢量对当前帧进行反向补偿。

然而，现有的视频压缩过程中的运动估计及运动补偿的处理方式，利用算法如特征点检测等估计帧的运动矢量，其计算复杂度较高，不适于部署到计算能力有限的设备当中；且当图像的特征不够显著时，也会造成匹配的误差。

发明内容

鉴于此，本申请实施例提供了视频压缩方法和装置，以消除或改善现有技术中存在的一个或更多个缺陷。

本申请的一个方面提供了一种视频压缩方法，包括：

根据传感器与视频采集装置之间的位置关系以及所述传感器采集的实时运动数据，获取所述视频采集装置采集的原始视频序列中各个原始图像各自对应的旋转运动矢量；

基于各个所述原始图像各自对应的旋转运动矢量分别对各个所述原始图像进行运动补偿，得到各个所述原始图像各自对应的目标图像；

对各个所述目标图像分别进行图像补偿，得到由各个经图像补偿的目标图像组成的目标视频序列，以对所述目标视频序列进行压缩处理。

在本申请的一些实施例中，所述对各个所述目标图像分别进行图像补偿，得到由各个经图像补偿的目标图像组成的目标视频序列，以对所述目标视频序列进行压缩处理，包括：

基于最大矩形截取算法对各个所述目标图像分别进行图像补偿，得到由各个经图像补偿的目标图像组成的目标视频序列；

对所述目标视频序列进行压缩处理。

在本申请的一些实施例中，所述根据传感器与视频采集装置之间的位置关系以及所述传感器采集的实时运动数据，获取所述视频采集装置采集的原始视频序列中各个原始图像各自对应的旋转运动矢量，包括：

接收传感器采集的实时运动数据，并根据传感器与视频采集装置之间的位置关系以及所述传感器采集的实时运动数据，获取所述视频采集装置当前的初始旋转角度值；

接收所述视频采集装置采集的原始视频序列，并根据所述初始旋转角度值、所述传感器的采样频率以及所述视频采集装置的采样频率，应用线性插值方式获取所述原始视频序列中各个原始图像各自对应的旋转运动矢量。

在本申请的一些实施例中，所述接收传感器采集的实时运动数据，并根据传感器与视频采集装置之间的位置关系以及所述传感器采集的实时运动数据，获取所述视频采集装置当前的初始旋转角度值，包括：

接收传感器采集的实时姿态数据，并自该实时姿态数据中读取角速度及时间数据；

基于卡尔曼滤波方式对所述角速度及时间数据进行平滑滤波处理，以得到当前应的角度值；

根据所述角度值以及所述传感器与视频采集装置之间的位置关系，确定所述视频采集装置当前的初始旋转角度值。

在本申请的一些实施例中，所述基于各个所述原始图像各自对应的旋转运动矢量分别对各个所述原始图像进行运动补偿，得到各个所述原始图像各自对应的目标图像，包括：

基于各个所述原始图像各自对应的旋转运动矢量分别对各个所述原始图像进行无损旋转校正处理，以得到各个所述原始图像各自对应的目标图像。

在本申请的一些实施例中，所述基于最大矩形截取算法对各个所述目标图像分别进行图像补偿，得到由各个经图像补偿的目标图像组成的目标视频序列，包括：

自各个所述目标图像中，基于最大矩形截取算法获取与各自对应的原始图像比例相同且均为已定义区域的最大面积图像；

基于各个所述目标图像与对应的最大面积图像的宽度均值获取目标宽度，并基于各个所述目标图像与对应的最大面积图像的高度均值获取目标高度；

自各个所述目标图像中分别截取所述目标宽度和所述目标高度的部分作为截取图像；

对各个所述截取图像中的未定义区域进行像素填充，并插值还原为与所述原始图像尺寸相同的结果图像，以形成由各个所述结果图像组成的目标视频序列。

在本申请的一些实施例中，所述对所述目标视频序列进行压缩处理，包括：

对所述目标视频序列进行H.264压缩编码处理，并输出经H.264压缩编号处理后的码流。

本申请的另一个方面提供了一种视频压缩装置，包括：

运动估计模块，用于根据传感器与视频采集装置之间的位置关系以及所述传感器采集的实时运动数据，获取所述视频采集装置采集的原始视频序列中各个原始图像各自对应的旋转运动矢量；

运动补偿模块，用于基于各个所述原始图像各自对应的旋转运动矢量分别对各个所述原始图像进行运动补偿，得到各个所述原始图像各自对应的目标图像；

图像补偿模块，用于对各个所述目标图像分别进行图像补偿，得到由各个经图像补偿的目标图像组成的目标视频序列，以对所述目标视频序列进行压缩处理。

本申请的另一个方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的视频压缩方法；

所述电子设备与无线多媒体传感器网络及视频采集装置之间通信连接，以自所述无线多媒体传感器网络中的传感器接收实时运动数据，并自所述视频采集装置接收原始视频序列。

本申请的另一个方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的视频压缩方法。

本申请的视频压缩方法，通过根据传感器与视频采集装置之间的位置关系以及所述传感器采集的实时运动数据获取所述视频采集装置采集的原始视频序列中各个原始图像各自对应的旋转运动矢量，再根据各个所述原始图像各自对应的旋转运动矢量分别对各个所述原始图像进行运动补偿，得到所述原始视频序列对应的各个目标图像，能够有效提高视频压缩过程中对视频中各个图像进行稳像的有效性及精确性，并能够有效降低运动补偿的计算复杂度，提高运动补偿的效率，进而能够有效提高视频压缩的有效性、精确性及效率。

本申请的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本申请的实践而获知。本申请的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。

本领域技术人员将会理解的是，能够用本申请实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本申请能够实现的上述和其他目的。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，并不构成对本申请的限定。附图中的部件不是成比例绘制的，而只是为了示出本申请的原理。为了便于示出和描述本申请的一些部分，附图中对应部分可能被放大，即，相对于依据本申请实际制造的示例性装置中的其它部件可能变得更大。在附图中：

图1为本申请一实施例中的视频压缩方法的第一种流程示意图。

图2为本申请一实施例中的视频压缩方法的第二种流程示意图。

图3为本申请一实施例中的视频压缩方法的具体流程示意图。

图4为本申请应用实例提供的基于传感器信息的视频压缩方法的流程示意图。

图5为本申请应用实例提供的传感器和摄像头位置示意图。

图6为本申请应用实例提供的宽w<高h的图像间几何关系示意图。

图7为本申请应用实例提供的宽w>＝高h的图像间几何关系示意图。

图8为本申请应用实例提供的图像a、b、c的几何关系示意图。

图9为本申请另一实施例中的视频压缩装置的结构示意图。

图10为本申请另一实施例中的电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本申请做进一步详细说明。在此，本申请的示意性实施方式及其说明用于解释本申请，但并不作为对本申请的限定。

在此，还需要说明的是，为了避免因不必要的细节而模糊了本申请，在附图中仅仅示出了与根据本申请的方案密切相关的结构和/或处理步骤，而省略了与本申请关系不大的其他细节。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。

在下文中，将参考附图描述本申请的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。

视频压缩技术通过减少图像间空间和时间的冗余，在保证画面质量的前提下，有效降低视频所需的存储容量和传输带宽。H.264/AVC是在2003年由ITU-T和ISO/IEC工作组共同提出的新一代视频编码标准，相比于之前提出的标准，H.264具有码率低、应用目标范围广、容错能力强、良好的图像传输质量以及网络适应性强等优势。H.264/AVC编码标准采用混合编码框架，主要划分为帧内、帧间预测、变换、量化和熵编码等环节。特别地，帧间预测编码利用视频存在的时间冗余，计算视频帧间的残差数据和相关参数，在熵编码环节转换为相应的码字。视频帧间的差异越大，编码产生的码字越多，视频压缩比例就越低。

电子稳像技术EIS是以数字图像处理和计算机应用等技术手段，对抖动的视频序列进行处理，消除视频序列中不规律的随机运动，保留主观运动，从而在一定程度上减轻或彻底消除视频抖动的现代科学技术。电子稳像技术主要划分为运动估计、运动补偿、图像补偿三个环节，其中关键是在运动估计模块获取到图像间实时的运动矢量，通过该运动矢量对图像进行矫正变换，以达到减小视频帧间差异的目的。运动矢量的获取主要通过硬件和软件两种方式，硬件方式是通过传感器等设备检测相机的偏移量，转换为相应的运动矢量，其运算速度快，稳像精度取决于传感器的精度，不易受运动前景的干扰。软件方式是直接通过各种运动估计算法进行图像匹配，从而获得帧间的运动偏移量，比如，块匹配法、位平面匹配法、特征匹配法等，其稳像的结果受图像质量的影响较大，运动估计算法的复杂度也相对较高。

视频压缩过程中的运动估计及运动补偿的现有处理方式将基于软件的电子稳像技术引入到H.264帧间预测编码当中，通过稳像平滑视频序列，具体为：在运动估计环节，通过FAST特征点检测识别相邻两帧的特征点，并对特征点进行了均匀化处理，降低了下一步特征点匹配的计算时间和误匹配现象；对粗匹配后的特征点进行精匹配处理，提高匹配精度；最终将优化后的特征点代入运动模型计算出两帧的运动矢量。在运动补偿环节，通过滤波后的运动矢量对当前帧进行反向补偿。在图像补偿环节，对补偿后图像周围存在的未定义区域进行裁剪，并利用插值法进行尺寸变换还原为初始大小。然后将稳像处理后的视频进行H.264压缩，降低了视频帧间差异，从而使编码的帧间预测环节产生的残差数据减少，提高压缩比。

也就是说，现有的运动估计及运动补偿方式利用算法如特征点检测等估计帧的运动矢量，其计算复杂度较高，不适于部署到计算能力有限的设备当中；当图像的特征不够显著时，也会造成匹配的误差。

基于此，本申请实施例提供一种视频压缩方法，根据传感器与视频采集装置之间的位置关系以及所述传感器采集的实时运动数据，获取所述视频采集装置采集的原始视频序列中各个原始图像各自对应的旋转运动矢量；基于各个所述原始图像各自对应的旋转运动矢量分别对各个所述原始图像进行运动补偿，得到各个所述原始图像各自对应的目标图像；对各个所述目标图像分别进行图像补偿，得到由各个经图像补偿的目标图像组成的目标视频序列，以对所述目标视频序列进行压缩处理，能够有效提高视频压缩过程中对视频中各个图像进行稳像的有效性及精确性，并能够有效降低运动补偿的计算复杂度，提高运动补偿的效率，进而能够有效提高视频压缩的有效性、精确性及效率。

在本申请的一个或多个实施例中，视频采集装置可以采用独立摄像头或具备视频采集功能的客户端设备等视频采集设备。

在本申请的一个或多个实施例中，传感器可以采用无线多媒体传感器网络WMSNs中的任一传感器节点。

在本申请的一个或多个实施例中，无线多媒体传感器网络WMSNs(Wirelessmultimedia sensor networks)中包含大量的传感器节点，这些节点的电池容量、运算能力和存储能力有限，节点之间多通过无线网络进行通信，完成对标量数据和多媒体数据实时或非实时地检测和传输。在需要进行监测的环境如海洋、车辆当中部署WMSNs系统可以实现设备的互联互通和信息的整合。视频信息作为多媒体数据业务的主体，在实际进行视频数据采集的过程中，采集数据的载体设备会受到真实环境的影响，如海面波浪的波动会造成浮标设备的晃动，导致采集到的视频图像间差异较大，视频的压缩率有所降低，仍会产生不小的数据量，对数据的传输产生一定的压力。

基于上述内容，本申请还提供一种用于实现本申请一个或多个实施例中提供的视频压缩方法的视频压缩装置，该视频压缩装置可以为一处理器、服务器或控制器等，该视频压缩装置可以自行或通过第三方服务器等与无线多媒体传感器网络WMSNs中的各个传感器节点之间依次通信连接，以接收传感器节点采集的实时运动数据；所述视频压缩装置还可以自行或通过第三方服务器等与视频采集装置之间通信连接，以接收视频采集装置采集的原始视频序列；所述视频压缩装置还可以自行或通过第三方服务器等与客户端设备之间通信连接，以将压缩处理的码流发送至所述客户端设备进行存储和/或播放等等。

前述的视频压缩装置进行视频压缩的部分可以在如上述内容的服务器、控制器或处理器中执行，而在另一种实际应用情形中，也可以所有的操作都在客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器，用于视频压缩的具体处理。

可以理解的是，所述客户端设备可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、个人数字助理(PDA)、车载设备、智能穿戴设备等任何能够装载应用的移动设备。其中，所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。

上述的客户端设备可以具有通信模块(即通信单元)，可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。

上述服务器与所述客户端设备端之间可以使用任何合适的网络协议进行通信，包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然，所述网络协议例如还可以包括在上述协议之上使用的RPC协议(Remote Procedure Call Protocol，远程过程调用协议)、REST协议(Representational State Transfer，表述性状态转移协议)等。

具体通过下述各个实施例及应用实例分别进行详细说明。

为了降低视频压缩过程中运动估计的计算复杂度并提高运动补偿的准确性，本申请提供一种视频压缩方法的实施例，参见图1，基于所述视频压缩装置执行的所述视频压缩方法具体包含有如下内容：

步骤100：根据传感器与视频采集装置之间的位置关系以及所述传感器采集的实时运动数据，获取所述视频采集装置采集的原始视频序列中各个原始图像各自对应的旋转运动矢量。

可以理解的是，所述传感器与视频采集装置之间的位置关系可以为预先获取并存储在所述视频压缩装置本地的。且传感器可以为无线多媒体传感器网络WMSNs中的传感器节点。

步骤200：基于各个所述原始图像各自对应的旋转运动矢量分别对各个所述原始图像进行运动补偿，得到各个所述原始图像各自对应的目标图像。

可以理解的是，各个所述原始图像是指原始视频序列中的各帧原始图像，目标图像是指各个所述原始图像分别经运动补偿后得到的图像。

步骤300：对各个所述目标图像分别进行图像补偿，得到由各个经图像补偿的目标图像组成的目标视频序列，以对所述目标视频序列进行压缩处理。从上述描述可知，本申请实施例提供的视频压缩方法，通过根据传感器与视频采集装置之间的位置关系以及所述传感器采集的实时运动数据，获取所述视频采集装置采集的原始视频序列中各个原始图像各自对应的旋转运动矢量；根据各个所述原始图像各自对应的旋转运动矢量分别对各个所述原始图像进行运动补偿，得到所述原始视频序列对应的各个目标图像，能够有效提高视频压缩过程中对视频中各个图像进行稳像的有效性及精确性，并能够有效降低运动补偿的计算复杂度，提高运动补偿的效率，进而能够有效提高视频压缩的有效性、精确性及效率。

基于前述内容可知，现有的视频压缩方式在图像补偿环节，对补偿后图像周围存在的未定义区域进行裁剪，并利用插值法进行尺寸变换还原为初始大小。但当抖动较为剧烈时，运动补偿后图像的未定义区域增加，若采取直接裁剪的方法，会导致图像边缘信息的大量丢失，影响图像画面质量，不利于后面进行的视频压缩编码以及对环境的实时监测。

基于此，在降低视频压缩过程中运动估计的计算复杂度并提高运动补偿的准确性的基础上，为了进一步解决视频压缩过程中容易出现图像补偿中边缘信息的丢失的技术问题，以在视频压缩过程中避免图像补偿中边缘信息的丢失并提高图像补偿准确性，本申请提供的一种视频压缩方法的实施例中，参见图2，所述步骤300具体包含有如下内容：

步骤310：基于最大矩形截取算法对各个所述目标图像分别进行图像补偿，得到由各个经图像补偿的目标图像组成的目标视频序列；

步骤320：对所述目标视频序列进行压缩处理。

可以理解的是，步骤320中对所述目标视频序列进行压缩处理的具体方式可以采用视频压缩编码标准对所述目标视频序列进行压缩处理，其中的视频压缩编码标准可以采用H.264、H.265及AVS等，具体可以根据实际应用情形选取。

从上述描述可知，本申请实施例提供的视频压缩方法，通过基于最大矩形截取算法对各个所述目标图像分别进行图像补偿，能够在视频压缩过程中有效避免图像补偿中边缘信息的丢失，能够有效提高图像补偿的准确性，进而能够进一步提高视频压缩的准确性及可靠性，尤其针对视频采集时抖动较为剧烈的情形，能够有效保证图像的画面质量，更利于后面进行的视频压缩编码以及对环境的实时监测的准确性。

为了进一步提高获取所述原始视频序列中各个原始图像各自对应的旋转运动矢量的效率及准确性，在本申请提供的视频压缩方法的一个实施例中，所述视频压缩方法的步骤100具体包含有如下内容：

步骤110：接收传感器采集的实时运动数据，并根据传感器与视频采集装置之间的位置关系以及所述传感器采集的实时运动数据，获取所述视频采集装置当前的初始旋转角度值；

步骤120：接收所述视频采集装置采集的原始视频序列，并根据所述初始旋转角度值、所述传感器的采样频率以及所述视频采集装置的采样频率，应用线性插值方式获取所述原始视频序列中各个原始图像各自对应的旋转运动矢量。

具体来说，可以根据传感器和摄像头的采样频率，使用线性插值技术，估计视频帧时间摄像头的旋转角度值，然后通过上一步摄像头的旋转角度获得原始图像的旋转运动矢量。

从上述描述可知，本申请实施例提供的视频压缩方法，根据所述初始旋转角度值、所述传感器的采样频率以及所述视频采集装置的采样频率，应用线性插值方式获取所述原始视频序列中各个原始图像各自对应的旋转运动矢量，能够进一步提高获取所述原始视频序列中各个原始图像各自对应的旋转运动矢量的效率及准确性。

为了提高确定所述视频采集装置当前的初始旋转角度值的准确性及有效性，在本申请提供的视频压缩方法的一个实施例中，本申请提供的一种视频压缩方法的实施例中，参见图3，所述步骤110具体包含有如下内容：

步骤111：接收传感器采集的实时姿态数据，并自该实时姿态数据中读取角速度及时间数据。

步骤112：基于卡尔曼滤波方式对所述角速度及时间数据进行平滑滤波处理，以得到当前应的角度值。

步骤113：根据所述角度值以及所述传感器与视频采集装置之间的位置关系，确定所述视频采集装置当前的初始旋转角度值。

具体来说，首先对传感器进行初始化处理，设置设备内置的姿态传感器的端口号和采样频率，传感器输出一帧数据时，从数据中读取角速度以及时间部分的信息。然后通过使用卡尔曼滤波技术，对采集到的数据进行平滑滤波操作，得到当前数据时间精确的角度值，再根据上一步的角度以及摄像头和传感器的位置关系，推导出当前数据时间摄像头的旋转角度值。

从上述描述可知，本申请实施例提供的视频压缩方法，通过基于卡尔曼滤波方式对所述角速度及时间数据进行平滑滤波处理，以得到当前应的角度值，能够有效提高根据该角度值以及所述传感器与视频采集装置之间的位置关系确定所述视频采集装置当前的初始旋转角度值的准确性及有效性，进而能够进一步提高视频压缩过程中对视频中各个图像进行稳像的有效性及精确性。

为了提高视频压缩过程中运动补偿的准确性及可靠性，在本申请提供的视频压缩方法的一个实施例中，本申请提供的一种视频压缩方法的实施例中，参见图3，所述步骤200具体包含有如下内容：

步骤210：基于各个所述原始图像各自对应的旋转运动矢量分别对各个所述原始图像进行无损旋转校正处理，以得到各个所述原始图像各自对应的目标图像。

从上述描述可知，本申请实施例提供的视频压缩方法，通过对对各个所述原始图像进行无损旋转校正处理，以得到各个所述原始图像各自对应的目标图像，能够有效提高视频压缩过程中运动补偿的准确性及可靠性，以进一步提高视频压缩的准确性及可靠性。

为了提高对各个所述目标图像分别进行图像补偿的准确性及有效性，在本申请提供的视频压缩方法的一个实施例中，本申请提供的一种视频压缩方法的实施例中，参见图3，所述步骤310具体包含有如下内容：

步骤311：自各个所述目标图像中，基于最大矩形截取算法获取与各自对应的原始图像比例相同且均为已定义区域的最大面积图像。

步骤312：基于各个所述目标图像与对应的最大面积图像的宽度均值获取目标宽度，并基于各个所述目标图像与对应的最大面积图像的高度均值获取目标高度。

步骤313：自各个所述目标图像中分别截取所述目标宽度和所述目标高度的部分作为截取图像。

步骤314：对各个所述截取图像中的未定义区域进行像素填充，并插值还原为与所述原始图像尺寸相同的结果图像，以形成由各个所述结果图像组成的目标视频序列。

具体来说，对运动补偿后的图像b，采用最大矩形截取算法，计算和图像a相同比例且不包含未定义区域的最大面积的图像，记为图像c；在图像b中再次截取部分图像，其宽度为图像b和图像c的宽度均值，高度为图像b和图像c的高度均值，作为图像d；对图像d四周存在的未定义区域进行像素填充，并插值还原为图像a的尺寸，得到结果图像。

从上述描述可知，本申请实施例提供的视频压缩方法，通过自各个所述目标图像中，基于最大矩形截取算法获取与各自对应的原始图像比例相同且均为已定义区域的最大面积图像，自各个所述目标图像中分别截取所述目标宽度和所述目标高度的部分作为截取图像，能够有效提高对各个所述目标图像分别进行图像补偿的准确性及有效性，尤其针对视频采集时抖动较为剧烈的情形，能够进一步保证图像的画面质量，更利于后面进行的视频压缩编码以及对环境的实时监测的准确性。

为了减少编码的帧间预测环节产生的残差数据，在本申请提供的视频压缩方法的一个实施例中，本申请提供的一种视频压缩方法的实施例中，参见图3，所述步骤320具体包含有如下内容：

步骤321：对所述目标视频序列进行H.264压缩编码处理，并输出经H.264压缩编号处理后的码流。

从上述描述可知，本申请实施例提供的视频压缩方法，通过对所述目标视频序列进行H.264压缩编码处理，能够有效降低视频帧间差异，从而使编码的帧间预测环节产生的残差数据减少，提高压缩比。

由于载体设备在监测环境的干扰下会产生抖动的情况，导致采集到的视频图像存在较大的差异，不利于之后进行的视频压缩以及数据的传输。载体设备的抖动会造成图像存在一定的平移和旋转，其中旋转因素对后期的环境画面监测有着较大影响。

基于此，针对上述视频压缩方法的实施例，本申请还提供一种视频压缩方法的具体应用实例以进一步说明，本申请应用实例提出了一种基于传感器信息的视频压缩方法，

提出一种基于传感器信息的视频压缩优化方法，通过WMSNs中的传感器获取设备实时的运动数据，并对运动数据进行处理，转换为摄像头视频中每一帧图像的旋转运动矢量，并对当前图像按照该运动矢量进行反向补偿，并尽量保留更多的图像信息，得到相对稳定的帧间序列。对处理后的视频再进行H.264压缩，减少视频帧间预测编码过程中产生的编码块残差，降低产生的编码数据量，以适应传输的带宽。

参见图4，基于传感器信息的视频压缩方法具体包含有如下内容：

1、传感器数据获取：

1)对传感器进行初始化处理，设置设备内置的姿态传感器的端口号和采样频率。

2)传感器输出一帧数据时，从数据中读取角速度以及时间部分的信息。

2、传感器数据预处理：

1)通过使用卡尔曼滤波技术，对采集到的数据进行平滑滤波操作，得到当前数据时间精确的角度值。

2)根据上一步的角度以及摄像头和传感器的位置关系，推导出当前数据时间摄像头的旋转角度值。

3、运动估计：

1)根据传感器和摄像头的采样频率，使用线性插值技术，估计视频帧时间摄像头的旋转角度值。

2)通过上一步摄像头的旋转角度获得原始图像的旋转运动矢量，原始图像记为图像a。

4、运动补偿：根据旋转运动矢量对图像进行无损的旋转校正操作，新图像记为图像b。

5、图像补偿：

1)对运动补偿后的图像b，采用最大矩形截取算法，计算和图像a相同比例且不包含未定义区域的最大面积的图像，记为图像c。

2)在图像b中再次截取部分图像，其宽度为图像b和图像c的宽度均值，高度为图像b和图像c的高度均值，作为图像d。

3)对图像d四周存在的未定义区域进行像素填充，并插值还原为图像a的尺寸，得到结果图像。

6、H.264压缩：对稳像处理后的视频序列进行H.264压缩编码，输出编码的码流。

基于此，以海洋上部署WMSNs的浮标设备为例，本申请应用实例提供的基于传感器信息的视频压缩方法具体体现为下述举例：

在海上浮标设备当中，数字姿态传感器和摄像头存在一定的位置关联：

摄像头的坐标系包括x、y、z轴，其中摄像头拍摄方向定义为z轴，垂直于摄像头的方向定义为x轴，平行于摄像头的方向定义为y轴。

传感器的坐标系同样包括x、y、z轴，其中航向角方向定义为z轴，滚转角方向定义为x轴，俯仰角方向角定义为y轴。

浮标上的传感器设备和摄像头为平行安装，两者的位置关系如图5所示。

同一时刻，当传感器绕自身z轴产生角度

的航向角时，摄像头绕z轴旋转产生的角度为

摄像头拍摄的图像旋转角度为θ，三者角度之间的关系由图5可知，即下述公式(1)：

基于以上背景，对基于传感器信息的视频压缩方法的流程作进一步的详细描述：

S1：传感器数据获取：

<1>姿态传感器在采集运动数据前，需要对一些参数进行设置，包括连接的端口号和采样的频率即波特率。波特率越高，采样的频率就越快，输出的数据精度越高。

<2>传感器按照波特率实时输出数据，一帧数据中包含2个数据包(加速度包、角度包)和系统时间。根据背景信息，从数据包中需获取当前时间和航向角方向的角速度。

S2：传感器数据预处理：

<1>由于海上环境是不稳定且多变的，从数据包中获取到的z轴角速度可能存在噪声误差，直接进行积分计算得到的角度不够准确。引入卡尔曼滤波技术对采集的角速度数据进行最优估计，去除噪声的影响，得到相对平滑的数据值，再经过积分计算得到传感器绕z轴的旋转角度

<2>由传感器的旋转角度和公式(1)，得到传感器数据时间下，摄像头绕z轴的旋转角度α。

S3：运动估计：

<1>由于姿态传感器的采样频率和摄像头的采样频率不同，某一时刻的视频帧可能没有对应的角度值。为了获得更精确的效果，需要采用线性插值技术，估计当前视频帧时间下，摄像头绕z轴的旋转角度

角度

和α的转换如公式(2)所示，其中(t₁,α₁),(t₂,α₂)表示传感器在t₁、t₂时刻得到的角度值α₁、α₂，

表示t时刻的视频图像旋转角度值

<2>由摄像头的旋转角度和公式(1)，得到当前图像的旋转运动矢量即旋转角度为θ。

S4：运动补偿：

对当前图像根据公式(3)计算无损旋转后，新图像的宽度值和高度值，再根据公式(4)对原图像进行无损的旋转校正操作。其中w为原始图像a的宽度值，w_New为新图像的宽度值，h为原始图像a的高度值，h_New为新图像的高度值，(c_x,c_y)为新图像的中心点坐标，(x₁,y₁)表示原图像某一像素点的坐标，(x₂,y₂)表示旋转后图像内对应像素点的坐标，θ为旋转角度。无损旋转后的新图像记为图像b。

w_New＝h*sinθ+w*cosθ

h_New＝w*sinθ+h*cosθ 公式(3)

S5：图像补偿：

<1>运动补偿后的图像b，四周存在部分未定义的区域即黑色边界。图像补偿的第一步采用最大矩形截取算法，在图像b中截取和原始图像a相同比例且不包含黑边的最大面积图像。

最大矩形截取算法从两种情况进行分析，一种情况是原始图像a的宽度值w小于高度值h，图像间的几何关系如图6所示，其中w′为最大面积图像的宽度值，h′为最大面积图像的高度值。

同理对于原始图像a的宽度值w大于等于高度值h的情况，图像几何关系如图7所示，公式(5)计算了两种情况下长度OA＝OB+BA，其中

推导公式(5)得到比例的计算方式，如公式(6)所示，最大面积图像记为图像c。

k＝r*sinθ+cosθ

<2>在海上浮标设备轻微晃动时，产生的图像旋转矢量也相对较小，那么上一步得到的图像c既不包含由旋转校正产生的未定义区域，并且图像边缘的信息损失较少。但是当海上浮标设备受恶劣天气的干扰，产生的旋转矢量较大时，图像c虽然去除了黑色边界，四周的图像信息却损失的更多。

图像a、b、c的几何关系如图8所示，这里取原始图像a的宽度值w小于高度值h的情况。

由图8可知，图像b包含了原始图像a的全部信息，同时四周存在最大面积的黑色边界，而图像c包含了原始图像a的部分信息，但是四周不存在黑边。为了尽量保留更多的图像信息，取图像b和图像c的宽度值均值

高度值均值

进行图像的截取，得到的图像记为图像d。对图像d四周存在的未定义区域进行像素填充，并插值还原为图像a的尺寸，得到结果图像。

S6：H.264压缩：使用x264编码器对上述经过旋转校正后的视频图像进行视频压缩，输出编码的码流。

综上所述，本申请应用实例将WMSNs传感器采集的信息运用到视频数据的压缩编码优化当中。具体通过传感器信息获取设备实时的运动数据，对运动数据进行处理，转换为摄像头视频中每一帧图像的旋转运动矢量；对当前图像按照该运动矢量进行反向补偿，尽量保留更多的图像信息，得到相对稳定的视频序列；对处理后的视频再进行H.264视频压缩，减少帧间预测编码过程中产生的编码块残差，降低产生的编码数据量，以适应传输的带宽。

本申请应用实例将WMSNs传感器采集的信息运用到视频数据的压缩编码优化当中，为了更好地适应不稳定的监测环境，本发明通过对获取的传感器信息进行处理和应用，辅助视频数据的压缩编码，在尽量保障视频画面质量的同时，提高视频的压缩率，以适应数据传输的带宽。

基于上述内容，本申请还提供一种用于实现本申请一个或多个实施例中提供的视频压缩方法的视频压缩装置，该视频压缩装置的具体实现可以为一处理器、控制器或服务器，在一种具体举例中，参见图9，所述视频压缩装置具体包含有如下内容：

运动估计模块10，用于根据传感器与视频采集装置之间的位置关系以及所述传感器采集的实时运动数据，获取所述视频采集装置采集的原始视频序列中各个原始图像各自对应的旋转运动矢量。

运动补偿模块20，用于基于各个所述原始图像各自对应的旋转运动矢量分别对各个所述原始图像进行运动补偿，得到各个所述原始图像各自对应的目标图像。

图像补偿模块30，用于对各个所述目标图像分别进行图像补偿，得到由各个经图像补偿的目标图像组成的目标视频序列，以对所述目标视频序列进行压缩处理。

本申请提供的视频压缩装置的实施例具体可以用于执行上述实施例中的视频压缩方法的实施例的处理流程，其功能在此不再赘述，可以参照上述视频压缩方法实施例的详细描述。

从上述描述可知，本申请实施例提供的视频压缩装置，通过根据传感器与视频采集装置之间的位置关系以及所述传感器采集的实时运动数据，获取所述视频采集装置采集的原始视频序列中各个原始图像各自对应的旋转运动矢量；根据各个所述原始图像各自对应的旋转运动矢量分别对各个所述原始图像进行运动补偿，得到所述原始视频序列对应的各个目标图像，能够有效提高视频压缩过程中对视频中各个图像进行稳像的有效性及精确性，并能够有效降低运动补偿的计算复杂度，提高运动补偿的效率，进而能够有效提高视频压缩的有效性、精确性及效率。

本发明实施例还提供了一种计算机设备(也即电子设备)，如图10所示，该计算机设备可以包括处理器810、存储器820及图像采集装置830，其中处理器810和存储器820可以通过总线或者其他方式连接，图10中以通过总线连接为例。该图像采集装置830可通过有线或无线方式与处理器810、存储器820连接。所述计算机设备与无线多媒体传感器网络及视频采集装置之间通信连接，以自所述无线多媒体传感器网络中的传感器接收实时运动数据，并自所述视频采集装置接收原始视频序列。

处理器810可以为中央处理器(Central Processing Unit，CPU)。处理器810还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器820作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的车载显示装置按键屏蔽方法对应的程序指令/模块。处理器810通过运行存储在存储器820中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。

存储器820可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器810所创建的数据等。此外，存储器820可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器820可选包括相对于处理器810远程设置的存储器，这些远程存储器可以通过网络连接至处理器810。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器820中，当被所述处理器810执行时，执行实施例中的视频压缩方法。

在本公开的一些实施例中，用户设备可以包括处理器、存储器和收发单元，该收发单元可包括接收器和发送器，处理器810、存储器820、接收器830和发送器840可通过总线系统连接，存储器用于存储计算机指令，处理器用于执行存储器中存储的计算机指令，以控制收发单元收发信号。

作为一种实现方式，本发明中接收器和发送器的功能可以考虑通过收发电路或者收发的专用芯片来实现，处理器可以考虑通过专用处理芯片、处理电路或通用芯片实现。

作为另一种实现方式，可以考虑使用通用计算机的方式来实现本发明实施例提供的服务器。即将实现处理器，接收器和发送器功能的程序代码存储在存储器中，通用处理器通过执行存储器中的代码来实现处理器，接收器和发送器的功能。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述视频压缩方法的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。

本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。

需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

本申请中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频压缩方法，其特征在于，包括：

根据传感器与视频采集装置之间的位置关系以及所述传感器采集的实时运动数据，获取所述视频采集装置采集的原始视频序列中各个原始图像各自对应的旋转运动矢量；

基于各个所述原始图像各自对应的旋转运动矢量分别对各个所述原始图像进行运动补偿，得到各个所述原始图像各自对应的目标图像；

对各个所述目标图像分别进行图像补偿，得到由各个经图像补偿的目标图像组成的目标视频序列，以对所述目标视频序列进行压缩处理。

2.根据权利要求1所述的视频压缩方法，其特征在于，所述对各个所述目标图像分别进行图像补偿，得到由各个经图像补偿的目标图像组成的目标视频序列，以对所述目标视频序列进行压缩处理，包括：

基于最大矩形截取算法对各个所述目标图像分别进行图像补偿，得到由各个经图像补偿的目标图像组成的目标视频序列；

对所述目标视频序列进行压缩处理。

3.根据权利要求1所述的视频压缩方法，其特征在于，所述根据传感器与视频采集装置之间的位置关系以及所述传感器采集的实时运动数据，获取所述视频采集装置采集的原始视频序列中各个原始图像各自对应的旋转运动矢量，包括：

接收传感器采集的实时运动数据，并根据传感器与视频采集装置之间的位置关系以及所述传感器采集的实时运动数据，获取所述视频采集装置当前的初始旋转角度值；

接收所述视频采集装置采集的原始视频序列，并根据所述初始旋转角度值、所述传感器的采样频率以及所述视频采集装置的采样频率，应用线性插值方式获取所述原始视频序列中各个原始图像各自对应的旋转运动矢量。

4.根据权利要求3所述的视频压缩方法，其特征在于，所述接收传感器采集的实时运动数据，并根据传感器与视频采集装置之间的位置关系以及所述传感器采集的实时运动数据，获取所述视频采集装置当前的初始旋转角度值，包括：

接收传感器采集的实时姿态数据，并自该实时姿态数据中读取角速度及时间数据；

基于卡尔曼滤波方式对所述角速度及时间数据进行平滑滤波处理，以得到当前应的角度值；

根据所述角度值以及所述传感器与视频采集装置之间的位置关系，确定所述视频采集装置当前的初始旋转角度值。

5.根据权利要求1所述的视频压缩方法，其特征在于，所述基于各个所述原始图像各自对应的旋转运动矢量分别对各个所述原始图像进行运动补偿，得到各个所述原始图像各自对应的目标图像，包括：

基于各个所述原始图像各自对应的旋转运动矢量分别对各个所述原始图像进行无损旋转校正处理，以得到各个所述原始图像各自对应的目标图像。

6.根据权利要求2所述的视频压缩方法，其特征在于，所述基于最大矩形截取算法对各个所述目标图像分别进行图像补偿，得到由各个经图像补偿的目标图像组成的目标视频序列，包括：

自各个所述目标图像中，基于最大矩形截取算法获取与各自对应的原始图像比例相同且均为已定义区域的最大面积图像；

基于各个所述目标图像与对应的最大面积图像的宽度均值获取目标宽度，并基于各个所述目标图像与对应的最大面积图像的高度均值获取目标高度；

自各个所述目标图像中分别截取所述目标宽度和所述目标高度的部分作为截取图像；

对各个所述截取图像中的未定义区域进行像素填充，并插值还原为与所述原始图像尺寸相同的结果图像，以形成由各个所述结果图像组成的目标视频序列。

7.根据权利要求2所述的视频压缩方法，其特征在于，所述对所述目标视频序列进行压缩处理，包括：

对所述目标视频序列进行H.264压缩编码处理，并输出经H.264压缩编号处理后的码流。

8.一种视频压缩装置，其特征在于，包括：

运动估计模块，用于根据传感器与视频采集装置之间的位置关系以及所述传感器采集的实时运动数据，获取所述视频采集装置采集的原始视频序列中各个原始图像各自对应的旋转运动矢量；

运动补偿模块，用于基于各个所述原始图像各自对应的旋转运动矢量分别对各个所述原始图像进行运动补偿，得到各个所述原始图像各自对应的目标图像；

图像补偿模块，用于对各个所述目标图像分别进行图像补偿，得到由各个经图像补偿的目标图像组成的目标视频序列，以对所述目标视频序列进行压缩处理。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的视频压缩方法；

所述电子设备与无线多媒体传感器网络及视频采集装置之间通信连接，以自所述无线多媒体传感器网络中的传感器接收实时运动数据，并自所述视频采集装置接收原始视频序列。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7任一项所述的视频压缩方法。

Images