CN103561261A - 基于视觉注意的全景可定位视频编码方法 - Google Patents

Abstract

本发明公开了一种基于视觉注意的全景可定位视频编码方法，它涉及视频编码技术领域，包括以下步骤：全景可定位视频拼接与分割；视频帧内运动捕捉；帧内噪声区域标记；帧注意度标记；视频编码优化。它可以实现全景GIS视频在移动终端上的应用，优化后的编码大大降低了全景GIS视频资源对传输资源的占用，同时通用的解码方案也有利于视频GIS应用的推广与普及。

Description

基于视觉注意的全景可定位视频编码方法

技术领域

本发明涉及一种基于视觉注意的全景可定位视频编码方法，属于视频编码技术领域。 

背景技术

作为一种能通过视频数据的方式为用户提供直观、细致的空间地理信息的技术，视频GIS早在20世纪80年代就被提出。应用实践中，Hwang(2003)提出了MPEG-7元数据方案用于位置相关服务(Hwang T H,Choi K H,Joo I H,Lee J H.MPEG-7metadata for video-based GIS applications.I-GARSS'03Proceedings，Toulouse,France,21-25July2003;MPEG-7元数据用于视频GIS应用服务,2003年IGARSS（国际地球科学与遥感）学术会议论文集,法国图卢兹,2003年7月21-25日)；Joo(2004)引入视频影像元数据概念，实现地图与视频影像的相互参照，用于支持GIS与视频影像的交互操作(Joo I H,Hwang T H,Choi K H.Generation of video metadata supporting video-GIS integration.ICIP’04Proceedings,Oct-24-27,2004,Singapore.支持视频与GIS集成的视频元数据生成,2004年ICIP(国际图像处理学术会议)论文集，新加坡，2004年10月24-27日)；Paul(2009)完成了面向车载系统的全景定位视频编码方法，但不支持直播(Paul L,BSc.Linking Spatial Video and GIS.Doctor Thesis,Department of Computer Science&National Centre for Geocomputation National University of Ireland Maynooth,2009.将GIS与空间视频联系起来，博士学位论文，梅努斯大学计算机科学系，2009)；美国Red Hen Systems公司先后推出了MediaMapper和GeoVideo等面向GIS视频应用的软件（ ,2013-10-7）。闾国年等在中国发明专利(200810024763.4)中提出“基于ASF数据融合技术获得可定位流媒体的方法”。其核心是将GPS接收机、视频传感器、音频采集装置采集到的位置信息和音视频信息实时自动融合。 

然而，目前的视频GIS均直接采用面向通信或广播的编码方法，没有针对任务本身进行特殊的编码，没有表达数据包含的语义信息。使得编码效率与应用范围具有很大的局限性。 

视频编码效率的提高有很多方法，最常用的是基于人类视觉系统(Human Visual System,HVS)的可视媒体编码方法。目前已经形成基于HVS评价标准的混合视频编码；基于纹理分析与合成的编码；基于图像修复的图像/视频编码。HVS已可以使码率缩减20%-40%。 

综上所述，尽管相关领域研究取得了丰富的成果，但也存在一些需要解决的问题： 

一、采集的全景GIS视频往往数据量庞大，视频编码需要在专业设备上播放，不利于GIS视频服务在便携终端上推广和应用。 

二、HVS编码没有针对GIS应用的成果出现。尽管大部分成果具有通用性，但多义性是可视媒体对象固有的，GIS视频图像中往往包含有地理空间认知特有的语义。 

发明内容

针对以上现有技术中的不足，本发明的目的在于提供一种基于视觉注意的全景可定位视频编码方法。本发明的技术方案如下： 

一种基于视觉注意的全景可定位视频编码方法,其特征在于，包括以下步骤： 

101、将n个镜头视角大于

度的摄像头组成一个360度镜头组，将360度镜头组中n个摄像头在同一时刻拍摄的视频帧进行拼接得到360度全景帧，并将360度全景帧分解成前向帧和后向帧，其中n为整数且n≥2； 

102、在步骤101中得到的前向帧和后向帧中设置均匀分布特征点，采用光流法分别对前向帧和后向帧对应的特征点进行检测捕捉，得出特征点的运动矢量V，并统计出若干个特征点的集合M(V,(x,y))，其中(x,y)为特征点在视频帧区域中的位置坐标，并对特征点的集合M(V,(x,y)规模归一化得到规模Scale_i,其中Scale_i∈(0,1)； 

103、对步骤102中规模归一化后的视频帧区域进行噪声区域标记； 

104、对步骤103中噪声区域标记后的视频帧区域进行注意度标记； 

105、采用X264码率控制算法对步骤104中注意度标记后的视频帧区域进行视频编码优化，完成视频编码。 

进一步的，步骤101中，设置有4个摄像头，每个摄像头的视角大于90度。 

进一步的，步骤103中，所述噪声区域标记包括以下步骤： 

A1、当规模Scale_i大于规模阈值N_Scale时，则将视频帧区域分割成3*9*3个子域，并计算每个子域运动向量的均值向量，跳转至步骤A2；当规模Scale_i小于或者等于规模阈值N_Scale时，跳转至步骤A3； 

A2、参照步骤A1得到的均值向量消减每个子域规模，当消减后的Scale_i小于N_Scale，则跳转至步骤A3；若消减后的Scale_i仍然大于N_Scale，则对消减后新的点集重复消减处理,消减函数中的

参数值减半，消减完成后跳转至步骤A3; 

A3、导出标记矩阵，完成噪声区域标记。 

进一步的，步骤104中，所述视频编码优化包括以下步骤： 

B1、将视频帧区域分解为8X8大小的视频宏块，其中视频宏块与步骤A3中的标记矩阵中的元素一一对应，元素坐标即为视频宏块坐标。 

B2、依次扫描标记矩阵，记录标记矩阵中位于边界或与0元素相邻的1元素的位置，若不存在，则循环结束；若存在，则将对应视频宏块的像素矩阵分别做离散余弦变换，得到各自的频域信号矩阵块； 

B3、将小于Qp_block的高频系数量化为0，其中Qp_block为固定块量化参数， 

B4、将标记矩阵中记录过的元素值置为0，执行步骤B2，且Qp_block值翻倍； 

B5、利用帧级注意度的值优化X264默认的编码量化参数，根据式： 

其中，Qp_frame表示默认的量化值，

表示帧级注意度，ε表示调整参数，完成视频编码优化。 

本发明的优点及有益效果如下： 

通过噪声区域标记、注意度标记及视频编码优化，可以实现全景GIS视频 在移动终端上的应用，优化后的编码大大降低了全景GIS视频资源对传输资源的占用，同时通用的解码方案也有利于视频GIS应用的推广与普及。 

附图说明

图1为本发明的流程示意图； 

图2为本发明中摄像头视角示意图； 

图3为本发明中前/后向视频帧示意图； 

图4为本发明中标记矩阵计算流程图； 

图5为本发明中视频子域分割示意图； 

图6为本发明中消减函数示意图。 

具体实施方式

下面结合附图给出一个非限定性的实施例对本发明作进一步的阐述。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。 

如图1所示，本具体实施方式采用以下技术方案：它的编码方法为：全景视频拼接与分割→视频帧区域内运动捕捉→帧内噪声区域标记→帧注意度标记→视频编码优化。 

进一步的，所述的全景视频拼接与分割： 

利用四个镜头视角大于90度的摄像头可以组成一个360度镜头组，根据每个镜头的空间位置，有效利用每个镜头内视频序列在视觉注意上的时间与空间相关性，以及多个镜头之间的相关性，可以快速以像素为单位将同一时刻拍摄的视频帧拼接为一个360度全景帧。如图2所示，图中F、B、L、R分别表示前后左右四个摄像头的视角，由四个镜头获得360度全景帧。 

为了便于视频帧处理。将360度全景帧分解为如图3所示的前向帧和后向帧来处理。 

进一步的，所述的视频帧区域内运动捕捉： 

视频帧区域内运动捕捉需要对运动目标进行检测，光流法适合摄像机运动情况下的运动检测，且对运动目标的运动位置和运动方向较为敏感。因此通过均匀分布特征点，利用光流法分析前帧与后帧相同特征点的运动变化，求取特征点的运动矢量V，最终得到集合M(V,(x,y))，其中(x,y)为特征点在视频帧区域中的位置坐标。 

集合M可以表示视频帧区域内捕捉到的运动，基于GIS视频图像中背景往往比前景目标大的特点，通过统计每一帧M集合规模（特征点个数），表征当前视频帧的总体运动情况。对已知帧的规模归一化可得到一个范围在0到1之间的参数，记作Scale_i∈(0,1)，规模参数可用作帧注意度的计算。 

进一步的，所述的视频帧内噪声区域标记： 

视频GIS注意度的特点是侧重关注背景的信息，区别于背景运动的前景运动目标往往不具备注意的价值，在视频帧内标记前景区域，并将标记区域视为噪声区域。整个标记流程如图4所示；流程中具体操作如下： 

首先，基于摄像机视场特点，将视频区域分割为图5所示的3+9+3的子域。 

视频GIS中拍摄视频时摄像机的位置运动有一定的规律性，可以认为发生在图5中各个子域的背景运动是相对稳定的。 

然后，依据视频GIS运动规模大小直接关系到背景运动的可能性这一概念，对不同规模的运动点集做不同的处理。当全局的规模Scale_i大于规模阈值N_Scale时，判断背景在运动，则计算子域范围内的运动点的均值向量，如式(2-1)： 

${\stackrel{\→}{V}}_{\mathrm{avg}}=(\stackrel{\‾}{x},\stackrel{\‾}{y})=(\frac{{\mathrm{\Σ}}_{i=0}^n{X}_i}{n},\frac{{\mathrm{\Σ}}_{i=0}^n{Y}_i}{n})---(2-1)$

每个子域均值向量

可以代表该区域背景运动的方向和位移，因此可以利用均值向量消减运动点集中背景的特征点，从而消减运动点集的规模。针对每个运动矢量的消减表达式为(2-2)： 

${\stackrel{\→}{V}}_i=(f(x_i,\stackrel{\‾}{x}),f(y_i,\stackrel{\‾}{y}))---(2-2)$

其中f(x)为消减函数，如式(2-3)： 

运动向量的

值和

值同时为0时，则将点(x_i,y_i)从运动点集中消去。消减函数做的工作可以由图6表示，图中

是a、b、c、d、e、f的平均值，a、b、c、d、e可以理解为背景的运动矢量，f为前景目标的运动矢量，消减运算实际上是一个水平坐标轴上移过程。因此，通过消减处理一方面减少了背景特征点的数量，另一方面也放大了前景目标的运动。 

完成视频图像中所有子域的消减后重新计算新运动点集的规模，若新的Scale_i小于N_Scale，N_Scale为均匀分布的特征点总数最大值的八分之一,通常特征点值不会超过50X16的数量取,此处值不会超过100;则直接结束消减过程；若新的Scale_i仍然大于N_Scale，则对新的点集再次做消减处理,消减函数中的

参数值减半，消减完成后结束过程。 

最后，消减完成得到新的运动点集S_i，此时认为S_i中点集坐标就位于运动的前景目标中，由于前景目标是一个具有闭合性的区域，因此本技术使用通常视频图像处理的块大小（8X8）对图像进行分块，当块中落有运动点时块标记为1，没有时标记为0，此时可以建立一个标记矩阵，如式(2-4): 

进一步的，所述的帧注意度标记： 

将视频GIS的特点与人类视觉注意机制的心理学理论结合，可以知道GIS视频更加关注靠近图像中心的背景运动，且视频的运动状态直接关系背景的更新频率。因此，选择运动点集规模

前景规模

和视野中心距离均值

三个标准作为计算帧级注意度的指标，帧间注意度

的计算公式为（2-5）： 

运动点集规模：这里即是上文求得的全局运动点集规模，定义式为(2-6)： 

前景规模：前景标记矩阵Mask_i中1的数量与元素总量的比值，定义式为(2-7)： 

视野中心距离均值：所有运动点与视频中心点距离的均值，定义式为(2-8)： 

完成对所有视频帧的分析后归一化处理

使得

可以表征视频帧整体的注意度，当背景运动规模大、较靠近中心时，则说明该帧注意价值高。 

进一步的，所述的视频编码优化： 

它综合考虑视频GIS的应用环境与性能需求，选择在X264码率控制算法的基础上进行编码优化，从而提高视频的压缩效率。 

首先，将前景标记矩阵Mask_i作为宏块级码率控制的调整参数，并利用离散余弦变换能将时域信号转换为频域信号的特性，对前景宏块中人眼视觉特性不敏感的高频系数做量化处理，从而减少宏块编码的比特数，具体过程如下： 

(1)、将视频帧区域分解为8X8大小的宏块，则标记矩阵中元素能与视频宏块一一对应，元素坐标即为宏块坐标。 

(2)、依次扫描标记矩阵，记录矩阵中位于边界或与0元素相邻的1元素的位置，若不存在这样的位置，则循环结束；若存在这样的位置，则将对应宏块的像素矩阵分别做离散余弦变换，得到各自的频域信号矩阵块； 

(3)、利用离散余弦变换后图像信号能量集中于低频系数、高频系数接近于0的特性，将小于Qp_block的高频系数量化为0，其中Qp_block为块量化参数，通常值为20。 

(4)、将标记矩阵中记录过的元素值置为0，执行步骤(2)，且Qp_block值翻倍。 

整个过程是一个对前景宏块进行信号压缩的过程，其中分批次选取标记为1的位置是为了可以由外向内的选取前景区域，实现对闭合的前景区域做逐级提高的有损压缩，从而减少块效应、弥补标记误差带来的影响。 

然后，利用帧级注意度的值优化X264默认的编码量化参数，如式(2-9)： 

其中，Qp_frame表示默认的量化值(常量26)，

(取值范围为0到1)表示帧级注意度，ε表示调整参数(取值范围为1到10，ε越大表示压缩度越大)通过 这种方法，可以合理调整视频的码率分布，使比特数尽可能的用来编码GIS信息。 

本发明通过在可定位视频编码过程中引入视觉注意要素，在不影响视频主观视觉质量的前提下，实现压缩率提高50%(由目前的1:100提高到1:150)。同时，控制计算资源的消耗，使全景可定位视频编码能够通过普通嵌入式终端完成。 

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明视频编码方法权利要求所限定的范围。 

Claims (4)

1.一种基于视觉注意的全景可定位视频编码方法,其特征在于，包括以下步骤：

101、将n个镜头视角大于

度的摄像头组成一个360度镜头组，将360度镜头组中n个摄像头在同一时刻拍摄的视频帧进行拼接得到360度全景帧，并将360度全景帧分解成前向帧和后向帧，其中n为整数且n≥2；

102、在步骤101中得到的前向帧和后向帧中设置均匀分布特征点，采用光流法分别对前向帧和后向帧对应的特征点进行检测捕捉，得出特征点的运动矢量V，并统计出若干个特征点的集合M(V,(x,y))，其中(x,y)为特征点在视频帧中的位置坐标，并对特征点的集合M(V,(x,y)规模归一化得到规模Scale_i,其中Scale_i∈(0,1)；

103、对步骤102中规模归一化后的视频帧区域进行噪声区域标记；

104、对步骤103中噪声区域标记后的视频帧区域进行注意度标记；

105、采用X264码率控制算法对步骤104中注意度标记后的视频帧区域进行视频编码优化，完成视频编码。

2.根据权利要求1所述的基于视觉注意的全景可定位视频编码方法，其特征在于：步骤101中，设置有4个摄像头，每个摄像头的视角大于90度。

3.根据权利要求1所述的基于视觉注意的全景可定位视频编码方法，其特征在于：步骤103中，所述噪声区域标记包括以下步骤：

A1、当规模Scale_i大于规模阈值N_Scale时，则将视频帧区域分割成3*9*3个子域，并计算每个子域运动向量的均值向量，跳转至步骤A2；当规模Scale_i小于或者等于规模阈值N_Scale时，跳转至步骤A3；

A2、参照步骤A1得到的均值向量消减每个子域规模，当消减后的Scale_i小于N_Scale，则跳转至步骤A3；若消减后的Scale_i仍然大于N_Scale，则对消减后新的点集重复消减处理,消减函数中的x参数值减半，消减完成后跳转至步骤A3;

A3、导出标记矩阵，完成噪声区域标记。

4.根据权利要求1所述的基于视觉注意的全景可定位视频编码方法，其特征在于：步骤104中，所述视频编码优化包括以下步骤：

B1、将视频帧区域分解为8X8大小的视频宏块，其中视频宏块与步骤A3中的标记矩阵中的元素一一对应，元素坐标即为视频宏块坐标；

B2、依次扫描标记矩阵，记录标记矩阵中位于边界或与0元素相邻的1元素的位置，若不存在，则循环结束；若存在，则将对应视频宏块的像素矩阵分别做离散余弦变换，得到各自的频域信号矩阵块；

B3、将小于Qp_block的高频系数量化为0，其中Qp_block为固定块量化参数，

B4、将标记矩阵中记录过的元素值置为0，执行步骤B2，且Qp_block值翻倍；

B5、利用帧级注意度的值优化X264默认的编码量化参数，根据式：

其中，Qp_frame表示默认的量化值，

表示帧级注意度，ε表示调整参数，完成视频编码优化。

Images