CN108495111B - 一种基于成像几何特征的立体元图像阵列编码方法 - Google Patents

Abstract

一种基于成像几何特征的立体元图像阵列编码方法属计算机图像处理技术领域，本发明包括下列步骤：对输入的一幅8M×8N的立体元图像阵列进行分块，块大小为R×R，称为最大编码单元；对最大编码单元按从左到右从上到下的顺序进行分组及确定编码顺序；根据同名像点的偏移量确定最大编码单元的预测块；计算最大编码单元与其预测块之间的残差块；对残差块进行HEVC编码。本发明利用立体元图像阵列成像的几何特征，提出了一种高效的编码方法，不仅对比了传统的HEVC帧内预测编码方法，还将立体元图像阵列中的所有立体元图像，按照Z字扫描顺序组成一个视频序列进行编码。本发明相比于以上两种传统的编码方法，有较好的率失真性能。

Description

一种基于成像几何特征的立体元图像阵列编码方法

技术领域

本发明属计算机图像处理技术领域，具体涉及一种基于成像几何特征的立体元图像阵列编码方法。

背景技术

真三维显示技术通过光线叠加实现了立体图像的空间重现，观看者只需裸眼即可观看到具有物理景深的三维图像。真三维显示具有不会产生视觉疲劳、图像色彩真实、视差完整、多视角、可多人同时观看等优点，成为学术和工业界公认的未来三维显示的发展方向。

真三维显示技术主要包括集成成像技术、全息显示技术和体显示技术等。其中集成成像技术具有观众无需佩戴任何特制的眼镜和头盔、实现过程相对简单、无需相干光源、对记录环境没有特殊要求和系统易实现等优点，使其在军事、医学、生物学和娱乐等领域中具有广泛应用，也是最有可能实现真三维电视的技术。因此，集成成像技术已成为目前国际上的研究热点。

典型的集成成像系统包括采集、编码以及显示部分，其采集部分生成的视频是由一帧帧时间上连续的立体元图像阵列组成。立体元图像是构成立体元图像阵列的基本单元，它由集成成像系统中的每个微透镜从不同方向对目标场景的一小部分区域成像形成，因此具有纹理结构简单的特点。集成成像系统中的每一帧(即为一幅立体元图像阵列)通常由几十甚至成百上千幅小尺寸的立体元图像组成，从而存储或传输一幅立体元图像阵列所需的存储空间或传输带宽将比存储或传输一幅传统图像多几倍甚至几十倍，对视频也是如此。所以探索集成成像(也称立体元图像阵列)的视频高效编解码方法是集成成像技术推广应用的一个重要课题。

国内外针对立体元图像阵列编码(一些文章也称为集成成像编码)的研究可分为两大类，一类是基于视频编码国际标准的方法，从二十几年前的MPEG-2，到十几年前的MPEG-4、H.264/AVC，再到最新的H.265/HEVC；另一类是基于小波变换、3D-DCT、K-L变换以及基于进化策略的编码等非视频编码标准的方法。目前，立体元图像阵列编码方法的编码效率还有待提高。

发明内容

根据立体元图像阵列采集过程中的成像几何特征，即相邻的立体元图像之间存在很大部分的重叠区域，提出一种基于成像几何特征的立体元图像阵列编码方法。此方法是在高效视频编码(HEVC)的框架下实现的，根据采集系统中的相关物理参数，充分利用立体元图像之间的相关性进行编码。

本发明是基于成像几何特征的立体元图像阵列编码方法，包括下列步骤：

1.1对输入的一幅8M×8N的立体元图像阵列进行分块，块大小为R×R，称为最大编码单元，其中M、N、R为任意正整数；

1.2对步骤1.1中得到的最大编码单元按从左到右、从上到下的顺序进行分组，其中分组根据立体元图像阵列获取过程中透镜阵列的物理参数及立体元图像大小确定，具体包括下列步骤：

1.2.1透镜阵列的物理参数包括物距h，像距g，以及透镜阵列中相邻透镜中心的间距p，立体元图像阵列采集所用的透镜阵列中相邻透镜的水平间距和垂直间距相等；立体元图像的大小为q×q；

1.2.2计算每个分组中最大编码单元的个数m，m向下取整，m定义为：

1.3对步骤1.2中得到的分组，首先编码每行每个分组中的第一个最大编码单元，然后对相邻两个分组中已编码的两个最大编码单元中间的最大编码单元进行编码，再依次编码每组中剩余的最大编码单元，并逐行进行编码；

1.4按步骤1.3的编码顺序，根据同名像点的偏移量确定最大编码单元的预测块，包括下列步骤：

1.4.1对于每个分组中的第一个最大编码单元，预测块的所有像素值设为0或128；

1.4.2对于其它最大编码单元的预测块，首先根据透镜阵列的物理参数，确定同名像点间距，同名像点间距与立体元图像大小相减即为同名像点的偏移量，再根据同名像点的偏移量，将预测块的所有像素值设为左右最近邻已编码最大编码单元的对应同名像点的像素值；

1.5计算最大编码单元与步骤1.4中得到的最大编码单元的预测块之间的残差块；

1.6对步骤1.5中得到的残差块进行HEVC编码。

现有的面向集成成像的视频编码方法很多，但没有充分利用立体元图像区别于传统图像的特征进行编码，而本发明就是利用这个特征提出的方法，根据立体元图像阵列获取过程中透镜阵列的物理参数及立体元图像大小，确定编码顺序，改进预测方式。不仅对比了传统的HEVC帧内预测编码算法，还将立体元图像阵列中的所有立体元图像按照Z字扫描顺序组成一个视频序列，然后采用HEVC运动补偿的方式对该视频序列进行编码。在相同重构图像质量的前提下，本发明的方法大幅度的减少了编码的比特率。

附图说明

图1为基于成像几何特征的立体元图像阵列编码方法的流程图

图2为两组最大编码单元及其编码顺序的示意图

图3为一幅1056×800的风景测试图

图4为一幅800×544的卡通测试图

图3和图4中：(a)为二维普通图像示意图，(b)为相应的立体元图像阵列示意图

图5为风景测试图的实验结果对比图

图6为卡通测试图的实验结果对比图

具体实施方式

本发明的核心内容在于：根据立体元图像阵列生成过程中的透镜阵列参数，可以得出相邻立体元图像的同名像点的偏移量，根据这一特征改进立体元图像阵列中最大编码单元的编码顺序以及最大编码单元间的预测方式，从而减少比特率。

为使本发明的目的、技术方案和优点更加清楚，下面结合附图及实例做进一步的详细叙述：

1.1对输入的一幅8M×8N的立体元图像阵列进行分块，块大小为R×R，称为最大编码单元，附图中用LCU进行表示，其中M、N、R为任意正整数；

1.2对步骤1.1中得到的最大编码单元按从左到右、从上到下的顺序进行分组，其中分组根据立体元图像阵列获取过程中透镜阵列的物理参数及立体元图像大小确定，具体步骤如下：

1.2.1透镜阵列的物理参数包括物距h，像距g以及透镜阵列中相邻透镜中心之间的距离p，通常立体元图像阵列采集所用的透镜阵列中相邻透镜的水平间距和垂直间距相等；立体元图像的大小为q×q；

1.2.2计算每个分组中最大编码单元的个数m，m向下取整，m定义为：

1.3对步骤1.2中得到的分组，首先编码每行每个分组中的第一个最大编码单元，然后对相邻两个分组中已编码的两个最大编码单元中间的最大编码单元进行编码，再依次编码每组中剩余的最大编码单元，并逐行进行编码。附图2以8个LCU为一组为例对两组最大编码单元说明了每组中最大编码单元具体的编码顺序；

1.4按步骤1.3的编码顺序，根据同名像点的偏移量确定最大编码单元的预测块，同名像点定义为空间一物点，经过不同的成像系统，分别在其像面上成像，所成的像点互为同名像点。包括下列步骤：

1.4.1对于每个分组中的第一个最大编码单元，预测块的所有像素值设为0或128；

1.4.2对于其它最大编码单元的预测块，首先根据透镜阵列的物理参数确定同名像点间距，同名像点间距表示为：

同名像点间距与立体元图像大小相减即为同名像点的偏移量，同名像点的偏移量可以表示为：

再根据同名像点的偏移量将预测块的所有像素值设为左右最近邻已编码最大编码单元的对应同名像点的像素值；

1.5计算最大编码单元与步骤1.4中得到的最大编码单元的预测块之间的残差块；

1.6对步骤1.5中得到的残差块进行HEVC(高效视频编码)编码。

下面以具体的测试来验证本发明的可行性。实验中不仅对比了传统的HEVC帧内预测编码算法，还将立体元图像阵列中的所有立体元图像，按照Z字扫描顺序组成一个视频序列，然后采用HEVC运动补偿的方式，对该视频序列进行编码。还将本发明与以上两种编码方式在比特率和解码重构图像质量方面进行了对比分析。

1.工作条件

本发明的实验采用Intel(R)Core(TM)i3-2100CPU@3.10GHz3.10GHz，内存为2GB，运行Windows7的PC机，编程语言为C++语言。

2.实验内容与结果分析

图3为一幅1056×800的风景测试图。图4为一幅800×544的卡通测试图。其中(a)为原始普通的二维图像，(b)为对应的立体元图像阵列，由图(b)可以观察到相邻的立体元图像之间有很大部分的重叠区域，重叠区域是同名像点所组成的，同名像点的偏移量计算如下：

对于实验结果的展示，采用率失真曲线来说明，率失真曲线是表示峰值信噪比(Y-PSNR)与比特率(Bitrate)关系的曲线，前者单位为dB，后者单位为比特每像素(bpp)，具体说明如下：

PSNR的计算公式如下：

其中：f(x,y)和f'(x,y)为位于(x,y)处的原始图像像素值和重构图像像素值，M×N为图像的空间分辨率。

比特率的计算公式如下：

通过图5和图6可以看出，其不仅将本发明提出的算法与经典HEVC进行了比较，而且考虑到相邻立体元图像之间较强的相关性，还将立体元图像阵列中的所有立体元图像，按照Z字扫描顺序组成一个视频序列，然后采用HEVC运动补偿的方式对该视频序列进行编码，编码结果如图5和图6中的HEVC+视频序列。可见，在比特率基本相同的情况下，本发明获得的重构图像PSNR，远远高于基于HEVC的两种编码方法得到的重构图像PSNR，可见本发明更适合于立体元图像阵列编码，且能获得较好的编码效果。

Claims (1)

1.一种基于成像几何特征的立体元图像阵列编码方法，其特征在于包括下列步骤：

1.1对输入的一幅8M×8N的立体元图像阵列进行分块，块大小为R×R，称为最大编码单元，其中M、N、R为任意正整数；

1.2对步骤1.1中得到的最大编码单元按从左到右、从上到下的顺序进行分组，其中分组根据立体元图像阵列获取过程中透镜阵列的物理参数及立体元图像大小确定，具体包括下列步骤：

1.2.1透镜阵列的物理参数包括物距h，像距g，以及透镜阵列中相邻透镜中心的间距p，立体元图像阵列采集所用的透镜阵列中相邻透镜的水平间距和垂直间距相等；立体元图像的大小为q×q；

1.2.2计算每个分组中最大编码单元的个数m，m向下取整，m定义为：

1.3对步骤1.2中得到的分组，首先编码每行每个分组中的第一个最大编码单元，然后对相邻两个分组中已编码的两个最大编码单元中间的最大编码单元进行编码，再依次编码每组中剩余的最大编码单元，并逐行进行编码；

1.4按步骤1.3的编码顺序，根据同名像点的偏移量确定最大编码单元的预测块，包括下列步骤：

1.4.1对于每个分组中的第一个最大编码单元，预测块的所有像素值设为0或128；

1.4.2对于其它最大编码单元的预测块，首先根据透镜阵列的物理参数，确定同名像点间距，同名像点间距与立体元图像大小相减即为同名像点的偏移量，再根据同名像点的偏移量，将预测块的所有像素值设为左右最近邻已编码最大编码单元的对应同名像点的像素值；

1.5计算最大编码单元与步骤1.4中得到的最大编码单元的预测块之间的残差块；

1.6对步骤1.5中得到的残差块进行HEVC编码。