CN112637601A - 基于鱼眼全景视频的编码方法及装置 - Google Patents

Abstract

本发明提供了一种基于鱼眼全景视频的编码方法及装置，所述方法包括：获取背对背安装的两个鱼眼镜头同一时刻采集的第一图像和第二图像；对所述第一图像和第二图像进行预处理，得到第一处理图像和第二处理图像，以使得第一处理图像和第二处理图像满足融合要求；提取第一处理图像和第二处理图像的图像特征，根据所述图像特征获取对应的配准点；根据所述配准点利用重叠区线性过渡法进行图像融合，得到融合图像；将所述融合图像分为若干宏块，分别计算每个宏块的量化参数；根据所述每个宏块的量化参数确定Qp值；根据所述Qp值对图像进行压缩编码。

Description

基于鱼眼全景视频的编码方法及装置

技术领域

本发明属于图像编码技术领域，尤其是涉及一种基于鱼眼全景视频的编码方法及装置。

背景技术

鱼眼镜头是一种焦距为16mm或更短的并且视角接近或等于180°的镜头。它是一种极端的广角镜头，“鱼眼镜头”是它的俗称。为使镜头达到最大的摄影视角，这种摄影镜头的前镜片直径很短且呈抛物状向镜头前部凸出，与鱼的眼睛颇为相似，“鱼眼镜头”因此而得名。

目前，全景视频拼接摄像机通常采用鱼眼镜头作为全景视频图像的采集装置，以其具有大视角、高分辨率的全局图像，备受市场青睐。但全景视频图像由于其分辨率较高，不利于网络传输。因此，需要对视频图像进行压缩。在视频压缩传输过程中，编码器产生的码流长度直接影响解码恢复的图像质量，对于同样分辨率，视频文件的码流越大，压缩比就越小，画面质量就越好，码率控制技术是影响视频编码效果的重要因素之一。目前，视频编解码协议中已存在码率处理算法，例如，MPEG-2中的TM5算法和H.263中的TMN8算法，主要通过控制编码器量化参数来控制编码端输出码率。

但是，目前的码率的处理方法主要基于H264，而H264的码率处理方法的核心是率失真优化，导致现有的码率的处理方法存在计算复杂度高，处理时间长的缺点，且不能满足人眼关注部分的视觉体验。

发明内容

有鉴于此，本发明旨在提出一种基于鱼眼全景视频的编码方法及装置，以解决现有技术中全景视频压缩后不能满足人眼关注部分的视觉体验的技术问题。

为达到上述目的，本发明的技术方案是这样实现的：

一方面，本发明实施例提供了一种基于鱼眼全景视频的编码方法，包括：

获取背对背安装的两个鱼眼镜头同一时刻采集的第一图像和第二图像；

对所述第一图像和第二图像进行预处理，得到第一处理图像和第二处理图像，以使得第一处理图像和第二处理图像满足融合要求；

提取第一处理图像和第二处理图像的图像特征，根据所述图像特征获取对应的配准点；

根据所述配准点利用重叠区线性过渡法进行图像融合，得到融合图像；

将所述融合图像分为若干宏块，分别计算每个宏块的量化参数；

根据所述每个宏块的量化参数确定Qp值；

根据所述Qp值对图像进行压缩编码。

进一步的，所述计算每个宏块的量化参数，包括：

计算所述宏块的复杂度，所述复杂度用于体现所述宏块中的灰度级数量；

计算所述宏块的畸变校正参数，所述畸变校正参数用于体现图像畸变率；

计算所述宏块的中心融合参数，所述中心融合参数用于体现区域融合度；

根据所述宏块的复杂度、宏块的畸变校正参数和宏块的中心融合参数计算每个宏块的量化参数。

进一步的，所述计算所述宏块的复杂度，采用如下方式实现：

z表示灰度，p(z_i)为对应直方图，L是不同灰度级的数量，m是z的均值。

进一步的，所述计算所述宏块的畸变校正参数，采用如下方式实现：

a为鱼眼图像长轴半径，y为宏块中心点纵坐标。

进一步的，所述计算所述宏块的中心融合参数，采用如下方式实现：

x_max、x_min分别为x轴上的最大值和最小值，

为x轴平均值。

更进一步的，所述根据所述宏块的复杂度、宏块的畸变校正参数和宏块的中心融合参数计算每个宏块的量化参数采用如下方式计算：

λ(x,y)＝μ(x,y)*w₁+ν(x,y)*w₂+d(x)*w₃，

w₁、w₂、w₃分别为复杂度、畸变校正参数和融合区域参数的加权系数。

另一方面，本发明实施例还提供了一种基于鱼眼全景视频的编码装置，包括：

图像获取模块，用于获取背对背安装的两个鱼眼镜头同一时刻采集的第一图像和第二图像；

预处理模块，用于对所述第一图像和第二图像进行预处理，得到第一处理图像和第二处理图像，以使得第一处理图像和第二处理图像满足融合要求；

提取模块，用于提取第一处理图像和第二处理图像的图像特征，根据所述图像特征获取对应的配准点；

融合模块，用于根据所述配准点利用重叠区线性过渡法进行图像融合，得到融合图像；

计算模块，用于将所述融合图像分为若干宏块，分别计算每个宏块的量化参数；

确定模块，用于根据所述每个宏块的量化参数确定Qp值；

压缩编码模块，用于根据所述Qp值对图像进行压缩编码。

进一步的，所述计算模块，包括：

复杂度计算单元，用于计算所述宏块的复杂度，所述复杂度用于体现所述宏块中的灰度级数量；

畸变校正参数计算单元，用于计算所述宏块的畸变校正参数，所述畸变校正参数用于体现图像畸变率；

中心融合参数计算单元，用于计算所述宏块的中心融合参数，所述中心融合参数用于体现区域融合度；

量化参数计算单元。根据所述宏块的复杂度、宏块的畸变校正参数和宏块的中心融合参数计算每个宏块的量化参数。

进一步的，所述畸变校正参数计算单元用于：

采用如下方式实现：

a为鱼眼图像长轴半径，y为宏块中心点纵坐标。

进一步的，所述复杂度计算单元，用于：

采用如下方式实现：

z表示灰度，p(z_i)为对应直方图，L是不同灰度级的数量，m是z的均值。

进一步的，所述中心融合参数计算单元，用于：

采用如下方式实现：

x_max、x_min分别为x轴上的最大值和最小值，

为x轴平均值。

更进一步的，所述量化参数计算单元，用于采用如下方式计算：

λ(x,y)＝μ(x,y)*w₁+ν(x,y)*w₂+d(x)*w₃，

w₁、w₂、w₃分别为复杂度、畸变校正参数和融合区域参数的加权系数。

相对于现有技术，本发明所述的基于鱼眼全景视频的编码方法及装置具有以下优势：

本发明所述的基于鱼眼全景视频的编码方法及装置，通过将背对背安装的两个鱼眼同时采集到的图像进行融合，并计算融合后的图像的量化参数，并根据所述量化参数确定对应的Qp值对图像进行编码压缩，可以通过编码减少非人眼关注部分图像得细节，使得图像表现质量更好，易于传输，其压缩率高，可以有效降低网络带宽，提高传输视频的图像质量。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例一提供的基于鱼眼全景视频的编码方法得流程示意图；

图2为本发明实施例二所述的基于鱼眼全景视频的编码装置的结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

下面将参考附图并结合实施例来详细说明本发明。

实施例一

图1为本发明实施例一提供的基于鱼眼全景视频的编码方法的流程示意图，参见图1，所述基于鱼眼全景视频的编码方法，包括：

S110，获取背对背安装的两个鱼眼镜头同一时刻采集的第一图像和第二图像。

在本实施例中采用两个鱼眼镜头同时采集图像，所述两个鱼眼镜头按照背对背的方式进行安装。通过背对背的两个鱼眼镜头能够获取到360°的所有影像，利用背对背安装的两个鱼眼镜头同时采集，分别得到同一时刻采集得到的第一图像和第二图像。

S120，对所述第一图像和第二图像进行预处理，得到第一处理图像和第二处理图像，以使得第一处理图像和第二处理图像满足融合要求。

为了达到180度的超大视角，鱼眼镜头的设计者不得不作出牺牲，即允许这种变形(桶形畸变)的合理存在。其结果是除了画面中心的景物保持不变，其他本应水平或垂直的景物都发生了相应的变化。由于其一般采用两块或三块负弯月形透镜作为前光组，将物方超大视场压缩至常规镜头要求的视场范围。对于大视场的物点成像，光束以较大的入射角打在前光组的光学面上，经光学系统成像后，子午和弧矢平面内的聚焦位置与波阵面参数可能完全不一致。因此，需要对第一图形和第二图像进行相应的处理，并且二者之间存在一定的重合范围，也需要进行处理，以满足第一图像和第二图像的融合需求。

示例性的，所述对所述第一图像和第二图像进行预处理，可以包括：

对所述第一图像和第二图像进行降噪处理；对降噪后的第一图像和第二图像进行白平衡处理，从白平衡处理后的第一图像和第二图像中划分有效区域，并对有效区域进行畸变校正。

通过降噪和白平衡处理，可以使得第一图像和第二图像去除相应的图像噪声，以及控制色温的目的。在经过白平衡处理后的第一图像和第二图像划分有效区域，所述有效区域可以是鱼眼镜头光学器件参数相关的畸变范围符合预设要求的图像区域，并可采用现有的畸变校正方法对图像进行畸变校正。最后达到第一处理图像和第二处理图像满足融合要求。

S130，提取第一处理图像和第二处理图像的图像特征，根据所述图像特征获取对应的配准点。

在本实施例中，采用配准方式进行图像融合，在本实施例中，首先提取第一处理图像和第二处理图像的图像特征，所述图像特征可以是像素变化较大的区域的图像特征，根据所述图像特征获取到对应的配准点。

S140，根据所述配准点利用重叠区线性过渡法进行图像融合，得到融合图像。

该种方式使得过渡部分较为平衡，消除台阶。能够使得传输的图像更加符合人眼视觉。通过上述方法可以实现第一处理图像和第二处理图像融合，形成融合图像。

S150，将所述融合图像分为若干宏块，分别计算每个宏块的量化参数。

在进行视频压缩编码过程中，经常采用宏块进行压缩编码。宏块是视频编码技术中的一个基本概念。通过将画面分成一个个大小不同的块来来不同位置实行不同的压缩策略。

在视频编码中，一个编码图像通常划分成若干宏块组成，一个宏块由一个亮度像素块和附加的两个色度像素块组成。一般来说，亮度块为16x16大小的像素块，而两个色度图像像素块的大小依据其图像的采样格式而定，如：对于YUV420采样图像，色度块为8x8大小的像素块。每个图象中，若干宏块被排列成片的形式，视频编码算法以宏块为单位，逐个宏块进行编码，组织成连续的视频码流。

通常，认为较为重要的宏块其需要较低的压缩率，以保证相应的压缩后的画质。

因此，在本实施例中首先将所述融合图像划分为若干宏块，分别计算每个宏块的量化参数。

示例性的，所述量化参数可以包括：当前宏块的复杂度，当前宏块中心点的畸变校正参数，和当前宏块中心点的融合区域参数。

相应的，所述分别计算每个宏块的量化参数，可以包括：计算所述宏块的复杂度，所述复杂度用于体现所述宏块中的灰度级数量；

计算所述宏块的畸变校正参数，所述畸变校正参数用于体现图像畸变率；计算所述宏块的中心融合参数，所述中心融合参数用于体现区域融合度；根据所述宏块的复杂度、宏块的畸变校正参数和宏块的中心融合参数计算每个宏块的量化参数。

具体的，所述计算所述宏块的复杂度，采用如下方式实现：

z表示灰度，p(z_i)为对应直方图，L是不同灰度级的数量，m是z的均值。

所述计算所述宏块的畸变校正参数，采用如下方式实现：

a为鱼眼图像长轴半径，y为宏块中心点纵坐标。

所述计算所述宏块的中心融合参数，采用如下方式实现：

x_max、x_min分别为x轴上的最大值和最小值，

为x轴平均值。

根据所述每个宏块的量化参数确定Qp值。

所述根据所述宏块的复杂度、宏块的畸变校正参数和宏块的中心融合参数计算每个宏块的量化参数采用如下方式计算：

λ(x,y)＝μ(x,y)*w₁+ν(x,y)*w₂+d(x)*w₃，

w₁、w₂、w₃分别为复杂度、畸变校正参数和融合区域参数的加权系数。

S160，根据所述每个宏块的量化参数确定Qp值。

QP值对应量化步长的序号，对于亮度而言，此值范围为0～51。值越小，量化步长越小，量化的精度就越高，意味着同样画质的情况下，产生的数据量可能会更大。QP值每增加6，量化步长就增加一倍。

在本实施例中，w₁、w₂、w₃分别为复杂度、畸变校正参数和融合区域参数的加权系数，分别取1/255²、1、2。最终λ取值范围[0，3]，最终将λ*7的值作为最终量化参数求取的标准，范围[0，21]，对应Qp值为[22，48]。

S170，根据所述Qp值对图像进行压缩编码。

可以根据所述Qp值采用对应的压缩方式对图像进行压缩编码，以实现根据图像的重要程度分别编码，减少数据量的目的。

本发明实施例通过将背对背安装的两个鱼眼同时采集到的图像进行融合，并计算融合后的图像的量化参数，并根据所述量化参数确定对应的Qp值对图像进行编码压缩，可以通过编码减少非人眼关注部分图像得细节，使得图像表现质量更好，易于传输，其压缩率高，可以有效降低网络带宽，提高传输视频的图像质量。

实施例二

图2为本发明实施例二提供的基于鱼眼全景视频的编码装置的结构示意图，参见图2，所述基于鱼眼全景视频的编码装置，包括：

图像获取模块210，用于获取背对背安装的两个鱼眼镜头同一时刻采集的第一图像和第二图像；

预处理模块220，用于对所述第一图像和第二图像进行预处理，得到第一处理图像和第二处理图像，以使得第一处理图像和第二处理图像满足融合要求；

提取模块230，用于提取第一处理图像和第二处理图像的图像特征，根据所述图像特征获取对应的配准点；

融合模块240，用于根据所述配准点利用重叠区线性过渡法进行图像融合，得到融合图像；

计算模块250，用于将所述融合图像分为若干宏块，分别计算每个宏块的量化参数；

确定模块260，用于根据所述每个宏块的量化参数确定Qp值；

压缩编码模块270，用于根据所述Qp值对图像进行压缩编码。

本发明实施例所述的基于鱼眼全景视频的编码装置，通过将背对背安装的两个鱼眼同时采集到的图像进行融合，并计算融合后的图像的量化参数，并根据所述量化参数确定对应的Qp值对图像进行编码压缩，可以通过编码减少非人眼关注部分图像得细节，使得图像表现质量更好，易于传输，其压缩率高，可以有效降低网络带宽，提高传输视频的图像质量。

在本实施例的一个优选实施方式中，所述计算模块，包括：

复杂度计算单元，用于计算所述宏块的复杂度，所述复杂度用于体现所述宏块中的灰度级数量；

畸变校正参数计算单元，用于计算所述宏块的畸变校正参数，所述畸变校正参数用于体现图像畸变率；

中心融合参数计算单元，用于计算所述宏块的中心融合参数，所述中心融合参数用于体现区域融合度；

量化参数计算单元。根据所述宏块的复杂度、宏块的畸变校正参数和宏块的中心融合参数计算每个宏块的量化参数。

在本实施例的一个优选实施方式中，所述畸变校正参数计算单元用于：

采用如下方式实现：

a为鱼眼图像长轴半径，y为宏块中心点纵坐标。

在本实施例的一个优选实施方式中，所述复杂度计算单元，用于：

采用如下方式实现：

z表示灰度，p(z_i)为对应直方图，L是不同灰度级的数量，m是z的均值。

在本实施例的一个优选实施方式中，所述中心融合参数计算单元，用于：

采用如下方式实现：

x_max、x_min分别为x轴上的最大值和最小值，

为x轴平均值。

在本实施例的一个优选实施方式中，所述量化参数计算单元，用于采用如下方式计算：

λ(x,y)＝μ(x,y)*w₁+ν(x,y)*w₂+d(x)*w₃，

w₁、w₂、w₃分别为复杂度、畸变校正参数和融合区域参数的加权系数。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于鱼眼全景视频的编码方法，其特征在于，所述方法包括：

获取背对背安装的两个鱼眼镜头同一时刻采集的第一图像和第二图像；

对所述第一图像和第二图像进行预处理，得到第一处理图像和第二处理图像，以使得第一处理图像和第二处理图像满足融合要求；

提取第一处理图像和第二处理图像的图像特征，根据所述图像特征获取对应的配准点；

根据所述配准点利用重叠区线性过渡法进行图像融合，得到融合图像；

将所述融合图像分为若干宏块，分别计算每个宏块的量化参数；

根据所述每个宏块的量化参数确定Qp值；

根据所述Qp值对图像进行压缩编码。

2.根据权利要求1所述的基于鱼眼全景视频的编码方法，其特征在于，所述计算每个宏块的量化参数，包括：

计算所述宏块的复杂度，所述复杂度用于体现所述宏块中的灰度级数量；

计算所述宏块的畸变校正参数，所述畸变校正参数用于体现图像畸变率；

计算所述宏块的中心融合参数，所述中心融合参数用于体现区域融合度；

根据所述宏块的复杂度、宏块的畸变校正参数和宏块的中心融合参数计算每个宏块的量化参数。

3.根据权利要求2所述的基于鱼眼全景视频的编码方法，其特征在于，所述计算所述宏块的复杂度，采用如下方式实现：

z表示灰度，p(z_i)为对应直方图，L是不同灰度级的数量，m是z的均值。

4.根据权利要求2所述的基于鱼眼全景视频的编码方法，其特征在于，所述计算所述宏块的畸变校正参数，采用如下方式实现：

a为鱼眼图像长轴半径，y为宏块中心点纵坐标。

5.根据权利要求2所述的基于鱼眼全景视频的编码方法，其特征在于，所述计算所述宏块的中心融合参数，采用如下方式实现：

x_max、x_min分别为x轴上的最大值和最小值，

为x轴平均值。

6.根据权利要求2所述的基于鱼眼全景视频的编码方法，其特征在于，所述根据所述宏块的复杂度、宏块的畸变校正参数和宏块的中心融合参数计算每个宏块的量化参数，采用如下方式计算：

λ(x,y)＝μ(x,y)*w₁+ν(x,y)*w₂+d(x)*w₃，

w₁、w₂、w₃分别为复杂度、畸变校正参数和融合区域参数的加权系数。

7.一种基于鱼眼全景视频的编码装置，其特征在于，所述装置包括：

图像获取模块，用于获取背对背安装的两个鱼眼镜头同一时刻采集的第一图像和第二图像；

预处理模块，用于对所述第一图像和第二图像进行预处理，得到第一处理图像和第二处理图像，以使得第一处理图像和第二处理图像满足融合要求；

提取模块，用于提取第一处理图像和第二处理图像的图像特征，根据所述图像特征获取对应的配准点；

融合模块，用于根据所述配准点利用重叠区线性过渡法进行图像融合，得到融合图像；

计算模块，用于将所述融合图像分为若干宏块，分别计算每个宏块的量化参数；

确定模块，用于根据所述每个宏块的量化参数确定Qp值；

压缩编码模块，用于根据所述Qp值对图像进行压缩编码。

8.根据权利要求7所述的基于鱼眼全景视频的编码装置，其特征在于，所述计算模块，包括：

复杂度计算单元，用于计算所述宏块的复杂度，所述复杂度用于体现所述宏块中的灰度级数量；

畸变校正参数计算单元，用于计算所述宏块的畸变校正参数，所述畸变校正参数用于体现图像畸变率；

中心融合参数计算单元，用于计算所述宏块的中心融合参数，所述中心融合参数用于体现区域融合度；

量化参数计算单元，用于根据所述宏块的复杂度、宏块的畸变校正参数和宏块的中心融合参数计算每个宏块的量化参数。

9.根据权利要求8所述的基于鱼眼全景视频的编码装置，其特征在于：所述畸变校正参数计算单元用于：

采用如下方式实现：

a为鱼眼图像长轴半径，y为宏块中心点纵坐标。

10.根据权利要求9所述的基于鱼眼全景视频的编码装置，其特征在于，所述复杂度计算单元，用于：

采用如下方式实现：

z表示灰度，p(z_i)为对应直方图，L是不同灰度级的数量，m是z的均值。

Images