CN106791800B - 全景视频的质量诊断方法及装置 - Google Patents

Abstract

本发明公开了一种全景视频的质量诊断方法，包括：通过全景摄像机预置的多摄像头获取多路视频图像，将所述多路视频图像拼接成一路全景视频图像；将所述全景视频图像根据拼接效果划分成多个区域的视频图像；建立视频图像质量诊断的数学模型，根据所述数学模型对所述多个区域的视频图像进行质量诊断；将各区域的视频图像诊断结果进行融合，生成全景视频图像的质量诊断结果。本发明还公开了一种全景视频的质量诊断装置。本发明提高了对全景视频图像进行质量诊断的便捷性，以保证全景视频图像的质量。

Description

全景视频的质量诊断方法及装置

技术领域

本发明涉及全景摄像机参数处理技术领域，尤其涉及一种全景视频的质量诊断方法及装置。

背景技术

视频质量的可靠可用性是视频监控领域对视频最基本的要求。视频质量诊断在类型上可分为主观视频质量诊断和客观视频质量诊断。主观视频质量诊断方法结果准确性较高，但容易受实验环境制约、可操作性差、成本过高等。客观视频质量诊断方法虽然与人眼的主观评价仍有一定的距离，但其可重复性好、计算速度快、评价成本低、可移植性高等。

但是，目前的视频质量诊断仅局限于单摄像头的视频质量诊断，并非应用于全景视频的质量诊断。

发明内容

本发明的主要目的在于提供一种全景视频的质量诊断方法及装置，旨在提高对全景视频图像进行质量诊断的便捷性。

为实现上述目的，本发明提供了一种全景视频的质量诊断方法，包括：

通过全景摄像机预置的多摄像头获取多路视频图像，将所述多路视频图像拼接成一路全景视频图像；

将所述全景视频图像根据拼接效果划分成多个区域的视频图像；

建立视频图像质量诊断的数学模型，根据所述数学模型对所述多个区域的视频图像进行质量诊断；

将各区域的视频图像诊断结果进行融合，生成全景视频图像的质量诊断结果。

优选地，所述将各区域的视频图像诊断结果进行融合，生成全景视频图像的质量诊断结果包括：

对所述全景视频图像中所述各区域的视频图像分别对应设定一个权值；

将所述各区域的视频图像诊断结果分别与对应区域所设定的权值进行运算，得到所述各区域的视频图像在所述全景视频图像中的诊断贡献值；

将所述各区域的视频图像的诊断贡献值进行累加，得到所述全景视频图像的质量诊断结果。

优选地，所述建立视频图像质量诊断的数学模型，根据所述数学模型对所述多个区域的视频图像进行质量诊断包括：

确定视频图像质量诊断功能；所述视频图像质量诊断功能包括清晰度检测、视频噪声检测、亮度异常检测、视频雪花检测、偏色检测、视频冻结检测、视频丢失检测和视频拼接效果检测；

根据所确定的视频图像质量诊断功能，设定对应的视频图像质量评价函数，根据所述视频图像质量评价函数建立视频图像质量诊断的数学模型；

根据所述数学模型对所述多个区域的视频图像进行质量诊断。

优选地，所述将所述全景视频图像根据拼接效果划分成多个区域的视频图像包括：

根据拼接效果确定所述全景视频图像中各路视频图像之间的拼接缝隙；

根据所述拼接缝隙将各单摄像头采集的视频图像在所述全景视频图像中，与其他摄像头采集的视频图像没有融合部分划分成一区域；以及，

将各单摄像头采集的视频图像与其他摄像头采集的视频图像有融合部分，且所述融合部分在所述单摄像头采集的视频图像中不越过所述拼接缝隙的视频图像部分划分成另一区域，在完成对所述全景摄像机预置的多摄像头头采集的视频图像进行划分后，得到所述全景视频图像中待质量诊断的多个区域的视频图像。

优选地，所述将所述多路视频图像拼接成一路全景视频图像包括：

建立投影模型，根据所述投影模型对所述多路视频图像进行投影；

提取投影后的所述多路视频图像的特征信息；

根据所述特征信息，对每两路存在相交区域的视频图像进行特征匹配；

根据特征匹配结果对所述多路视频图像进行视频图像融合；

根据视频图像融合结果生成一路全景视频图像。

此外，为实现上述目的，本发明还提供了一种全景视频的质量诊断装置，包括：

拼接模块，用于通过全景摄像机预置的多摄像头获取多路视频图像，将所述多路视频图像拼接成一路全景视频图像；

划分模块，用于将所述全景视频图像根据拼接效果划分成多个区域的视频图像；

诊断模块，用于建立视频图像质量诊断的数学模型，根据所述数学模型对所述多个区域的视频图像进行质量诊断；

融合模块，用于将各区域的视频图像诊断结果进行融合，生成全景视频图像的质量诊断结果。

优选地，所述融合模块还用于，对所述全景视频图像中所述各区域的视频图像分别对应设定一个权值；

将所述各区域的视频图像诊断结果分别与对应区域所设定的权值进行运算，得到所述各区域的视频图像在所述全景视频图像中的诊断贡献值；

将所述各区域的视频图像的诊断贡献值进行累加，得到所述全景视频图像的质量诊断结果。

优选地，所述诊断模块还用于，确定视频图像质量诊断功能；所述视频图像质量诊断功能包括清晰度检测、视频噪声检测、亮度异常检测、视频雪花检测、偏色检测、视频冻结检测、视频丢失检测和视频拼接效果检测；

根据所确定的视频图像质量诊断功能，设定对应的视频图像质量评价函数，根据所述视频图像质量评价函数建立视频图像质量诊断的数学模型；

根据所述数学模型对所述多个区域的视频图像进行质量诊断。

优选地，所述划分模块还用于根据拼接效果确定所述全景视频图像中各路视频图像之间的拼接缝隙；

根据所述拼接缝隙将各单摄像头采集的视频图像在所述全景视频图像中，与其他摄像头采集的视频图像没有融合部分划分成一区域；以及，

将各单摄像头采集的视频图像与其他摄像头采集的视频图像有融合部分，且所述融合部分在所述单摄像头采集的视频图像中不越过所述拼接缝隙的视频图像部分划分成另一区域，在完成对所述全景摄像机预置的多摄像头头采集的视频图像进行划分后，得到所述全景视频图像中待质量诊断的多个区域的视频图像。

优选地，所述拼接模块还用于，建立投影模型，根据所述投影模型对所述多路视频图像进行投影；

提取投影后的所述多路视频图像的特征信息；

根据所述特征信息，对每两路存在相交区域的视频图像进行特征匹配；

根据特征匹配结果对所述多路视频图像进行视频图像融合；

根据视频图像融合结果生成一路全景视频图像。

本发明实施例通过全景摄像机预置的多摄像头获取多路视频图像，将该多路视频图像拼接成一路全景视频图像，然后将全景视频图像根据拼接效果划分成多个区域的视频图像。再建立视频图像质量诊断的数学模型，根据数学模型对多个区域的视频图像进行质量诊断，将各区域的视频图像诊断结果进行融合，生成全景视频图像的质量诊断结果。实现了对全景视频图像进行质量诊断，提高了对全景视频图像进行质量诊断的便捷性，以保证全景视频图像的质量。

附图说明

图1为本发明全景视频的质量诊断方法第一实施例的流程示意图；

图2为本发明在全景摄像机坐标系中视平面的位置关系的示意图；

图3为本发明在全景摄像机坐标系中圆柱图像投影的示意图；

图4为本发明将全景视频图像划分成多个区域的视频图像的示意图；

图5为本发明全景视频的质量诊断装置第一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，示出了本发明一种全景视频的质量诊断方法第一实施例。该实施例的全景视频的质量诊断方法包括：

步骤S10、通过全景摄像机预置的多摄像头获取多路视频图像，将所述多路视频图像拼接成一路全景视频图像；

本实施例中，全景视频的质量诊断方法应用于全景摄像机对采集到的全景视频图像进行质量诊断，该全景摄像机可包括多摄像头，在对全景视频进行质量诊断之前，首先需要通过全景摄像机预置的多摄像头获取多路视频图像，然后对多路视频图像进行拼接处理，得到一路全景视频图像。

在将多路视频图像拼接成全景视频的过程中，在一实施例中，首先建立投影模型，将采集到的多路视频图像绘制在投影模型上，然后通过提取特征检测算子和描述符提取图像的特征信息，通过分别提取两个或多个图像的特征信息(该特征信息包括点、线、面等特征)，对特征信息进行参数描述。再运用所描述的参数来进行特征匹配，对每两相邻摄像头存在共同视频区域的视频图像进行拼接，并对拼接的边界进行平滑处理，让缝隙自然过渡，以进行视频图像的融合。将经过所有融合后的视频图像生成全景视频图像。以下实施例将进行详细说明。

步骤S20、将所述全景视频图像根据拼接效果划分成多个区域的视频图像；

在融合得到全景视频图像后，将全景视频图像根据拼接效果分成若干区域，优选地，上述步骤S20包括：

根据拼接效果确定所述全景视频图像中各路视频图像之间的拼接缝隙；

根据所述拼接缝隙将各单摄像头采集的视频图像在所述全景视频图像中，与其他摄像头采集的视频图像没有融合部分划分成一区域；以及，

将各单摄像头采集的视频图像与其他摄像头采集的视频图像有融合部分，且所述融合部分在所述单摄像头采集的视频图像中不越过所述拼接缝隙的视频图像部分划分成另一区域，在完成对所述全景摄像机预置的多摄像头头采集的视频图像进行划分后，得到所述全景视频图像中待质量诊断的多个区域的视频图像。

具体地，首先步骤一，在全景视频图像中标记出各路视频拼接缝隙；步骤二，各单摄像头视频在全景视频中没有和其他摄像头视频图像有融合的部分划分成一个区域；步骤三，各单摄像头视频和其他某单摄像头视频有融合部分，且融合部分在该单摄像头视频中不越过拼接缝隙的视频部分划分成另外一个区域；然后将整幅全景视频图像依照步骤一至步骤三划分成若干待质量诊断区域。

如图4所示，本实施以三路摄像视频图像为例但不限于三路摄像视频图像，其中第一、二路视频的匹配区为Ⅱ和Ⅲ，第二、三路视频匹配区为Ⅴ和Ⅵ，第一、三路视频的匹配区域为Ⅶ和Ⅷ。匹配区域及其之间的缝隙将全景视频图像划分成Ⅰ、Ⅱ、Ⅲ、Ⅳ、Ⅴ、Ⅵ、Ⅶ、Ⅷ和Ⅸ这九个区域的视频图像。在多路视频图像处理中，假设全景视频图像按此方式划分成N个区域，其中N为自然正整数。

步骤S30、建立视频图像质量诊断的数学模型，根据所述数学模型对所述多个区域的视频图像进行质量诊断；

在将全景视频图像划分成多个区域的视频图像后，建立视频图像质量诊断的数学模型，将该数学模型应用于若干帧已划分好的各区域视频图像进行质量诊断。

优选地，本实施例中上述步骤S30包括：

确定视频图像质量诊断功能；所述视频图像质量诊断功能包括清晰度检测、视频噪声检测、亮度异常检测、视频雪花检测、偏色检测、视频冻结检测、视频丢失检测和视频拼接效果检测；

根据所确定的视频图像质量诊断功能，设定对应的视频图像质量评价函数，根据所述视频图像质量评价函数建立视频图像质量诊断的数学模型；

根据所述数学模型对所述多个区域的视频图像进行质量诊断。

具体地，首先确定图像质量诊断功能，该图像质量诊断功能包括但不限于：清晰度检测、视频噪声检测、亮度异常检测、视频雪花检测、偏色检测、视频冻结检测、视频丢失检测或视频拼接效果检测等。然后根据所选择的图像质量诊断功能选择一个合适的视频图像质量评价函数，该评价函数和所确定的图像质量诊断功能相关，不同的图像质量诊断功能需要建立相应的评价函数，从而建立该诊断功能的数学模型。

将该数学模型应用于若干帧已划分好的各区域视频图像进行质量诊断，该诊断为将得出全景视频图像被划分的N个区域，分别将视频质量评价函数应用于这些区域，得出每个区域的诊断值，假设各区域对应的诊断值为α₁,α₂,…,α_N。

现以清晰度检测为例进行举例说明，当待检测的视频图像是彩色时，先将其进行灰度化，然后采用Tenengrad函数作为清晰度评价函数。

Tenengrad函数是使用Sobel算子来提取水平和垂直方向的梯度值。梯度检测中，使用高斯函数的一阶微分形式对图像进行滤波，得到以下公式(1)：

梯度为矢量，函数的梯度方向给出了方向导数取最大值的方向，如以下公式(2)所示：

而这个方向的方向导数等于梯度的模，如以下公式(3)所示：

对于数字图像公式式(1)的导数可用差分来近似，最简单的梯度表达式为：

评价函数f(I)定义为梯度的平方和，梯度G(x,y)要高于一个阈值T，即

式中是在点(x,y)上Sobel算子的卷积，T为经验值，从而实现了根据建立的数学模型对多个区域的视频图像进行清晰度检测的质量诊断。

步骤S40、将各区域的视频图像诊断结果进行融合，生成全景视频图像的质量诊断结果。

在根据数学模型对多个区域的视频图像进行质量诊断后，将各区域的视频图像的诊断结果进行加权融合，生成全景视频图像诊断结果。融合方法包括直接平均融合、中值滤波、羽化、加权/线性融合、多频带融合或金字塔融合等。例如，先对全景视频图像每一个区域分布一个权值，然后将每各区域的诊断结果与该区域分布的权值做数学运算，得到该区域在全景视频图像的诊断贡献值，再将每个区域的诊断贡献值进行累加得到全景视频图像的质量诊断结果，最后输出全景视频图像的质量诊断结果。以下实施例将进行详细说明。

本发明实施例通过全景摄像机预置的多摄像头获取多路视频图像，将该多路视频图像拼接成一路全景视频图像，然后将全景视频图像根据拼接效果划分成多个区域的视频图像。再建立视频图像质量诊断的数学模型，根据数学模型对多个区域的视频图像进行质量诊断，将各区域的视频图像诊断结果进行融合，生成全景视频图像的质量诊断结果。实现了对全景视频图像进行质量诊断，提高了对全景视频图像进行质量诊断的便捷性，以保证全景视频图像的质量。

进一步地，基于上述全景视频的质量诊断方法第一实施例，提出了本发明全景视频的质量诊断方法第二实施例，该实施例中上述步骤S40包括：

对所述全景视频图像中所述各区域的视频图像分别对应设定一个权值；

将所述各区域的视频图像诊断结果分别与对应区域所设定的权值进行运算，得到所述各区域的视频图像在所述全景视频图像中的诊断贡献值；

将所述各区域的视频图像的诊断贡献值进行累加，得到所述全景视频图像的质量诊断结果。

本实施例中，首先对全景视频图像中每一个区域的视频图像分布一个权值，假设N个区域的权值分别为ω₁,ω₂,…,ω_N；其中，ω_i取值可以根据区域个数进行简单的取值为这样设置权重无需考虑到区域大小的贡献率。ω_i取值也可以根据每个区域的像素占所有区域像素的比值来作为权重值，假设N个区域总像素为N_p，每个区域包含像素数为M_i(i＝1,2,…,N)，则

然后将每个区域的视频图像诊断结果与该区域分布的权值做数学运算，得到该区域在全景视频图像中的诊断贡献值，每个区域的诊断贡献值为x_i(i∈[1,N])，计算方式可以采用如下方式但不限于该方式：x_i＝α_i·ω_i(i∈[1,N])。

将每个区域的视频图像的诊断贡献值进行累加，得到全景视频图像的质量诊断结果y。该质量诊断结果y计算方式为

本实施例通过对全景视频图像中各区域的视频图像分别对应设定一个权值，并结合各区域的视频图像诊断结果，运算得到各区域的视频图像在全景视频图像中的诊断贡献值，将各诊断贡献值进行累加得到全景视频图像的质量诊断结果，提高了对全景视频图像进行质量诊断的可靠性及灵活性。

进一步地，基于上述全景视频的质量诊断方法第一或第二实施例，提出了本发明全景视频的质量诊断方法第三实施例，该实施例中上述步骤S10包括：

建立投影模型，根据所述投影模型对所述多路视频图像进行投影；

提取投影后的所述多路视频图像的特征信息；

根据所述特征信息，对每两路存在相交区域的视频图像进行特征匹配；

根据特征匹配结果对所述多路视频图像进行视频图像融合；

根据视频图像融合结果生成一路全景视频图像。

本实施例中，在将多路视频图像拼接成一路全景视频图像时，首先建立投影模型，该投影模型包括平面、圆柱面、球面或多面体等。然后将各路视频图像根据投影模型进行投影，包括：通过建立投影模型，将多路视频图像绘制在投影模型上，可根据匹配特征点之间的映射关系来表现视频图像之间的投影位置，从而将待拼接视频图像映射到指定坐标空间。

将各路投影后的视频图像进行图像特征的提取，得到视频图像的特征信息，例如，通过特征检测算子和描述符提取图像的特征信息。该特征信息包括视频图像的物理特征、视频图像的内容描述特征等，例如，Harris算子、Sift特征等。

提取视频图像的特征信息后，将每两路存在相交区域的视频图像进行特征匹配，包括：通过分别提取两个或多个图像的特征(点、线、面等特征)，生成特征描述符，然后通过特征描述符进行匹配。该特征匹配方法包括基于流的特征匹配方法、基于相位的特征匹配方法或基于特征的特征匹配方法等。

然后根据特征匹配结果进行视频图像融合，包括：对各摄像视频图像进行拼接，并对拼接的边界进行平滑处理，让缝隙自然过渡。视频图像特征的融合方法还包括直接平均融合、中值滤波、羽化、加权/线性融合、多频带融合或金字塔融合等。根据视频图像融合结果生成全景视频。

下面以柱面投影为例进行举例说明：

假设全景摄像机中相机的坐标系为OXYZ，视平面的位置关系如图2所示，其中，Z＝-f为视平面，则实景图像上任意一点在Z轴坐标值为-f，假设相机的镜头中心没有任何的偏差，则实景图像的中心就是相机的光轴(相机坐标系中的Z轴)与视觉平面的交点。在相机坐标系下，X轴与Y轴分别平行于图像坐标系的横轴和纵轴，因此实景图像上的任意一个像素点(x,y)在相机坐标系OXYZ下的像素坐标为(x-W/2,y-H,-f)，其中，W,H分别代表实景图像的宽度和高度。

如图3所示，J为相机拍摄的一张实景图像，P(x,y)为实景图像J上的一个像素点，则该像素点在相机坐标系下的坐标可表示为：

其中，W,H为实景图像的宽度和高度，相机坐标系中的原点O为圆柱的中心，圆柱的半径为相机的焦距f，柱面投影的目标就是求出实景图像J中的任意一像素点P(x,y)在圆柱面上的投影点Q(x',y')。

相机坐标系中的原点O与像素点P的直线方程可用参数方程的形式来表示，如以下公式(11)所示：

其中t表示参数，则圆柱的方程可表示为：

u²+v²＝f² (12)

联立公式(11)、公式(12)可得：

其中(u,v,w)是P(x,y)在圆柱面上的投影后的坐标，可用公式(14)实现将三维的参数坐标转换为二维的图像坐标：

其中，hfov是相机的水平视角。

联立公式(13)和公式(14)就可得到实景图像J上的任意一点P(x,y)投影到柱面坐标系上的对应点Q(x',y')的投影变换公式：

其中相机焦距f＝W/(2tan(hfov/2))，hfov为相机的水平视角。

相应的，由柱面投影公式(15)可得柱面反投影公式：

在对多路视频图像进行投影后可提取特征信息，并进行特征匹配，根据匹配结果将多路视频图像融合生成全景视频图像。

本实施例通过建立投影模型对多路视频图像进行投影，并对投影后的视频图像进行特征信息及特征匹配，根据特征匹配结果将多路视频图像融合生成全景视频图像，提高了对全景视频图像融合的准确性及便捷性。

对应地，如图5所示，提出本发明一种全景视频的质量诊断装置第一实施例。该实施例的全景视频的质量诊断装置包括：

拼接模块100，用于通过全景摄像机预置的多摄像头获取多路视频图像，将所述多路视频图像拼接成一路全景视频图像；

本实施例中，全景视频的质量诊断装置应用于全景摄像机对采集到的全景视频图像进行质量诊断，该全景摄像机可包括多摄像头，在对全景视频进行质量诊断之前，拼接模块100首先需要通过全景摄像机预置的多摄像头获取多路视频图像，然后对多路视频图像进行拼接处理，得到一路全景视频图像。

拼接模块100在将多路视频图像拼接成全景视频的过程中，在一实施例中，首先建立投影模型，将采集到的多路视频图像绘制在投影模型上，然后通过提取特征检测算子和描述符提取图像的特征信息，通过分别提取两个或多个图像的特征信息(该特征信息包括点、线、面等特征)，对特征信息进行参数描述。再运用所描述的参数来进行特征匹配，对每两相邻摄像头存在共同视频区域的视频图像进行拼接，并对拼接的边界进行平滑处理，让缝隙自然过渡，以进行视频图像的融合。将经过所有融合后的视频图像生成全景视频图像。以下实施例将进行详细说明。

划分模块200，用于将所述全景视频图像根据拼接效果划分成多个区域的视频图像；

在融合得到全景视频图像后，划分模块200将全景视频图像根据拼接效果分成若干区域，优选地，上述划分模块200还用于，根据拼接效果确定所述全景视频图像中各路视频图像之间的拼接缝隙；

根据所述拼接缝隙将各单摄像头采集的视频图像在所述全景视频图像中，与其他摄像头采集的视频图像没有融合部分划分成一区域；以及，

将各单摄像头采集的视频图像与其他摄像头采集的视频图像有融合部分，且所述融合部分在所述单摄像头采集的视频图像中不越过所述拼接缝隙的视频图像部分划分成另一区域，在完成对所述全景摄像机预置的多摄像头头采集的视频图像进行划分后，得到所述全景视频图像中待质量诊断的多个区域的视频图像。

具体地，首先步骤一，在全景视频图像中标记出各路视频拼接缝隙；步骤二，各单摄像头视频在全景视频中没有和其他摄像头视频图像有融合的部分划分成一个区域；步骤三，各单摄像头视频和其他某单摄像头视频有融合部分，且融合部分在该单摄像头视频中不越过拼接缝隙的视频部分划分成另外一个区域；然后将整幅全景视频图像依照步骤一至步骤三划分成若干待质量诊断区域。

如图4所示，本实施以三路摄像视频图像为例但不限于三路摄像视频图像，其中第一、二路视频的匹配区为Ⅱ和Ⅲ，第二、三路视频匹配区为Ⅴ和Ⅵ，第一、三路视频的匹配区域为Ⅶ和Ⅷ。匹配区域及其之间的缝隙将全景视频图像划分成Ⅰ、Ⅱ、Ⅲ、Ⅳ、Ⅴ、Ⅵ、Ⅶ、Ⅷ和Ⅸ这九个区域的视频图像。在多路视频图像处理中，假设全景视频图像按此方式划分成N个区域，其中N为自然正整数。

诊断模块300，用于建立视频图像质量诊断的数学模型，根据所述数学模型对所述多个区域的视频图像进行质量诊断；

在将全景视频图像划分成多个区域的视频图像后，诊断模块300建立视频图像质量诊断的数学模型，将该数学模型应用于若干帧已划分好的各区域视频图像进行质量诊断。

优选地，本实施例中上述诊断模块300还用于，确定视频图像质量诊断功能；所述视频图像质量诊断功能包括清晰度检测、视频噪声检测、亮度异常检测、视频雪花检测、偏色检测、视频冻结检测、视频丢失检测和视频拼接效果检测；

根据所确定的视频图像质量诊断功能，设定对应的视频图像质量评价函数，根据所述视频图像质量评价函数建立视频图像质量诊断的数学模型；

根据所述数学模型对所述多个区域的视频图像进行质量诊断。

具体地，首先诊断模块300确定图像质量诊断功能，该图像质量诊断功能包括但不限于：清晰度检测、视频噪声检测、亮度异常检测、视频雪花检测、偏色检测、视频冻结检测、视频丢失检测或视频拼接效果检测等。然后根据所选择的图像质量诊断功能选择一个合适的视频图像质量评价函数，该评价函数和所确定的图像质量诊断功能相关，不同的图像质量诊断功能需要建立相应的评价函数，从而建立该诊断功能的数学模型。

将该数学模型应用于若干帧已划分好的各区域视频图像进行质量诊断，该诊断为将得出全景视频图像被划分的N个区域，分别将视频质量评价函数应用于这些区域，得出每个区域的诊断值，假设各区域对应的诊断值为α₁,α₂,…,α_N。

现以清晰度检测为例进行举例说明，当待检测的视频图像是彩色时，先将其进行灰度化，然后采用Tenengrad函数作为清晰度评价函数。

Tenengrad函数是使用Sobel算子来提取水平和垂直方向的梯度值。梯度检测中，使用高斯函数的一阶微分形式对图像进行滤波，得到以下公式：

梯度为矢量，函数的梯度方向给出了方向导数取最大值的方向，如下所示：

而这个方向的方向导数等于梯度的模，如下所示：

对于数字图像公式式(1)的导数可用差分来近似，最简单的梯度表达式为：

评价函数f(I)定义为梯度的平方和，梯度G(x,y)要高于一个阈值T，即

式中是在点(x,y)上Sobel算子的卷积，T为经验值，从而实现了根据建立的数学模型对多个区域的视频图像进行清晰度检测的质量诊断。

融合模块400，用于将各区域的视频图像诊断结果进行融合，生成全景视频图像的质量诊断结果。

在根据数学模型对多个区域的视频图像进行质量诊断后，融合模块400将各区域的视频图像的诊断结果进行加权融合，生成全景视频图像诊断结果。融合方法包括直接平均融合、中值滤波、羽化、加权/线性融合、多频带融合或金字塔融合等。例如，融合模块400先对全景视频图像每一个区域分布一个权值，然后将每各区域的诊断结果与该区域分布的权值做数学运算，得到该区域在全景视频图像的诊断贡献值，再将每个区域的诊断贡献值进行累加得到全景视频图像的质量诊断结果，最后输出全景视频图像的质量诊断结果。以下实施例将进行详细说明。

本发明实施例通过全景摄像机预置的多摄像头获取多路视频图像，将该多路视频图像拼接成一路全景视频图像，然后将全景视频图像根据拼接效果划分成多个区域的视频图像。再建立视频图像质量诊断的数学模型，根据数学模型对多个区域的视频图像进行质量诊断，将各区域的视频图像诊断结果进行融合，生成全景视频图像的质量诊断结果。实现了对全景视频图像进行质量诊断，提高了对全景视频图像进行质量诊断的便捷性，以保证全景视频图像的质量。

进一步地，基于上述全景视频的质量诊断装置第一实施例，提出了本发明全景视频的质量诊断装置第二实施例，该实施例中上述融合模块400还用于，对所述全景视频图像中所述各区域的视频图像分别对应设定一个权值；

将所述各区域的视频图像诊断结果分别与对应区域所设定的权值进行运算，得到所述各区域的视频图像在所述全景视频图像中的诊断贡献值；

将所述各区域的视频图像的诊断贡献值进行累加，得到所述全景视频图像的质量诊断结果。

本实施例中，融合模块400首先对全景视频图像中每一个区域的视频图像分布一个权值，假设N个区域的权值分别为ω₁,ω₂,…,ω_N；其中，ω_i取值可以根据区域个数进行简单的取值为这样设置权重无需考虑到区域大小的贡献率。ω_i取值也可以根据每个区域的像素占所有区域像素的比值来作为权重值，假设N个区域总像素为N_p，每个区域包含像素数为M_i(i＝1,2,…,N)，则

然后将每个区域的视频图像诊断结果与该区域分布的权值做数学运算，得到该区域在全景视频图像中的诊断贡献值，每个区域的诊断贡献值为x_i(i∈[1,N])，计算方式可以采用如下方式但不限于该方式：x_i＝α_i·ω_i(i∈[1,N])。

将每个区域的视频图像的诊断贡献值进行累加，得到全景视频图像的质量诊断结果y。该质量诊断结果y计算方式为

本实施例通过对全景视频图像中各区域的视频图像分别对应设定一个权值，并结合各区域的视频图像诊断结果，运算得到各区域的视频图像在全景视频图像中的诊断贡献值，将各诊断贡献值进行累加得到全景视频图像的质量诊断结果，提高了对全景视频图像进行质量诊断的可靠性及灵活性。

进一步地，基于上述全景视频的质量诊断装置第一或第二实施例，提出了本发明全景视频的质量诊断装置第三实施例，该实施例中上述拼接模块100还用于，建立投影模型，根据所述投影模型对所述多路视频图像进行投影；

提取投影后的所述多路视频图像的特征信息；

根据所述特征信息，对每两路存在相交区域的视频图像进行特征匹配；

根据特征匹配结果对所述多路视频图像进行视频图像融合；

根据视频图像融合结果生成一路全景视频图像。

本实施例中，拼接模块100在将多路视频图像拼接成一路全景视频图像时，首先建立投影模型，该投影模型包括平面、圆柱面、球面或多面体等。然后将各路视频图像根据投影模型进行投影，包括：通过建立投影模型，将多路视频图像绘制在投影模型上，可根据匹配特征点之间的映射关系来表现视频图像之间的投影位置，从而将待拼接视频图像映射到指定坐标空间。

拼接模块100将各路投影后的视频图像进行图像特征的提取，得到视频图像的特征信息，例如，通过特征检测算子和描述符提取图像的特征信息。该特征信息包括视频图像的物理特征、视频图像的内容描述特征等，例如，Harris算子、Sift特征等。

提取视频图像的特征信息后，将每两路存在相交区域的视频图像进行特征匹配，包括：通过分别提取两个或多个图像的特征(点、线、面等特征)，生成特征描述符，然后通过特征描述符进行匹配。该特征匹配方法包括基于流的特征匹配方法、基于相位的特征匹配方法或基于特征的特征匹配方法等。

然后根据特征匹配结果进行视频图像融合，包括：对各摄像视频图像进行拼接，并对拼接的边界进行平滑处理，让缝隙自然过渡。视频图像特征的融合方法还包括直接平均融合、中值滤波、羽化、加权/线性融合、多频带融合或金字塔融合等。根据视频图像融合结果生成全景视频。

下面以柱面投影为例进行举例说明：

假设全景摄像机中相机的坐标系为OXYZ，视平面的位置关系如图2所示，其中，Z＝-f为视平面，则实景图像上任意一点在Z轴坐标值为-f，假设相机的镜头中心没有任何的偏差，则实景图像的中心就是相机的光轴(相机坐标系中的Z轴)与视觉平面的交点。在相机坐标系下，X轴与Y轴分别平行于图像坐标系的横轴和纵轴，因此实景图像上的任意一个像素点(x,y)在相机坐标系OXYZ下的像素坐标为(x-W/2,y-H,-f)，其中，W,H分别代表实景图像的宽度和高度。

如图3所示，J为相机拍摄的一张实景图像，P(x,y)为实景图像J上的一个像素点，则该像素点在相机坐标系下的坐标可表示为：

其中，W,H为实景图像的宽度和高度，相机坐标系中的原点O为圆柱的中心，圆柱的半径为相机的焦距f，柱面投影的目标就是求出实景图像J中的任意一像素点P(x,y)在圆柱面上的投影点Q(x',y')。

相机坐标系中的原点O与像素点P的直线方程可用参数方程的形式来表示，如以下公式(110)所示：

其中t表示参数，则圆柱的方程可表示为：

u²+v²＝f² (120)

联立公式(110)、公式(120)可得：

其中(u,v,w)是P(x,y)在圆柱面上的投影后的坐标，可用公式(140)实现将三维的参数坐标转换为二维的图像坐标：

其中，hfov是相机的水平视角。

联立公式(130)和公式(140)就可得到实景图像J上的任意一点P(x,y)投影到柱面坐标系上的对应点Q(x',y')的投影变换公式：

其中相机焦距f＝W/(2tan(hfov/2))，hfov为相机的水平视角。

相应的，由柱面投影公式(150)可得柱面反投影公式：

在对多路视频图像进行投影后可提取特征信息，并进行特征匹配，根据匹配结果将多路视频图像融合生成全景视频图像。

本实施例通过建立投影模型对多路视频图像进行投影，并对投影后的视频图像进行特征信息及特征匹配，根据特征匹配结果将多路视频图像融合生成全景视频图像，提高了对全景视频图像融合的准确性及便捷性。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种全景视频的质量诊断方法，其特征在于，所述全景视频的质量诊断方法包括以下步骤：

通过全景摄像机预置的多摄像头获取多路视频图像，将所述多路视频图像拼接成一路全景视频图像；

将所述全景视频图像根据拼接效果划分成多个区域的视频图像；其中，所述将所述全景视频图像根据拼接效果划分成多个区域的视频图像包括：根据拼接效果确定所述全景视频图像中各路视频图像之间的拼接缝隙；根据所述拼接缝隙将各单摄像头采集的视频图像在所述全景视频图像中，与其他摄像头采集的视频图像没有融合部分划分成一区域；以及，将各单摄像头采集的视频图像与其他摄像头采集的视频图像有融合部分，且所述融合部分在所述单摄像头采集的视频图像中不越过所述拼接缝隙的视频图像部分划分成另一区域，在完成对所述全景摄像机预置的多摄像头采集的视频图像进行划分后，得到所述全景视频图像中待质量诊断的多个区域的视频图像；

建立视频图像质量诊断的数学模型，根据所述数学模型对所述多个区域的视频图像进行质量诊断；

将各区域的视频图像诊断结果进行融合，生成全景视频图像的质量诊断结果。

2.如权利要求1所述的全景视频的质量诊断方法，其特征在于，所述将各区域的视频图像诊断结果进行融合，生成全景视频图像的质量诊断结果包括：

对所述全景视频图像中所述各区域的视频图像分别对应设定一个权值；

将所述各区域的视频图像诊断结果分别与对应区域所设定的权值进行运算，得到所述各区域的视频图像在所述全景视频图像中的诊断贡献值；

将所述各区域的视频图像的诊断贡献值进行累加，得到所述全景视频图像的质量诊断结果。

3.如权利要求1所述的全景视频的质量诊断方法，其特征在于，所述建立视频图像质量诊断的数学模型，根据所述数学模型对所述多个区域的视频图像进行质量诊断包括：

确定视频图像质量诊断功能；所述视频图像质量诊断功能包括清晰度检测、视频噪声检测、亮度异常检测、视频雪花检测、偏色检测、视频冻结检测、视频丢失检测和视频拼接效果检测；

根据所确定的视频图像质量诊断功能，设定对应的视频图像质量评价函数，根据所述视频图像质量评价函数建立视频图像质量诊断的数学模型；

根据所述数学模型对所述多个区域的视频图像进行质量诊断。

4.如权利要求1-3任一项所述的全景视频的质量诊断方法，其特征在于，所述将所述多路视频图像拼接成一路全景视频图像包括：

建立投影模型，根据所述投影模型对所述多路视频图像进行投影；

提取投影后的所述多路视频图像的特征信息；

根据所述特征信息，对每两路存在相交区域的视频图像进行特征匹配；

根据特征匹配结果对所述多路视频图像进行视频图像融合；

根据视频图像融合结果生成一路全景视频图像。

5.一种全景视频的质量诊断装置，其特征在于，所述全景视频的质量诊断装置包括：

拼接模块，用于通过全景摄像机预置的多摄像头获取多路视频图像，将所述多路视频图像拼接成一路全景视频图像；

划分模块，用于将所述全景视频图像根据拼接效果划分成多个区域的视频图像；其中，所述划分模块还用于根据拼接效果确定所述全景视频图像中各路视频图像之间的拼接缝隙；根据所述拼接缝隙将各单摄像头采集的视频图像在所述全景视频图像中，与其他摄像头采集的视频图像没有融合部分划分成一区域；以及，将各单摄像头采集的视频图像与其他摄像头采集的视频图像有融合部分，且所述融合部分在所述单摄像头采集的视频图像中不越过所述拼接缝隙的视频图像部分划分成另一区域，在完成对所述全景摄像机预置的多摄像头采集的视频图像进行划分后，得到所述全景视频图像中待质量诊断的多个区域的视频图像；

诊断模块，用于建立视频图像质量诊断的数学模型，根据所述数学模型对所述多个区域的视频图像进行质量诊断；

融合模块，用于将各区域的视频图像诊断结果进行融合，生成全景视频图像的质量诊断结果。

6.如权利要求5所述的全景视频的质量诊断装置，其特征在于，所述融合模块还用于，对所述全景视频图像中所述各区域的视频图像分别对应设定一个权值；

将所述各区域的视频图像诊断结果分别与对应区域所设定的权值进行运算，得到所述各区域的视频图像在所述全景视频图像中的诊断贡献值；

将所述各区域的视频图像的诊断贡献值进行累加，得到所述全景视频图像的质量诊断结果。

7.如权利要求5所述的全景视频的质量诊断装置，其特征在于，所述诊断模块还用于，确定视频图像质量诊断功能；所述视频图像质量诊断功能包括清晰度检测、视频噪声检测、亮度异常检测、视频雪花检测、偏色检测、视频冻结检测、视频丢失检测和视频拼接效果检测；

根据所确定的视频图像质量诊断功能，设定对应的视频图像质量评价函数，根据所述视频图像质量评价函数建立视频图像质量诊断的数学模型；

根据所述数学模型对所述多个区域的视频图像进行质量诊断。

8.如权利要求5-7任一项所述的全景视频的质量诊断装置，其特征在于，所述拼接模块还用于，建立投影模型，根据所述投影模型对所述多路视频图像进行投影；

提取投影后的所述多路视频图像的特征信息；

根据所述特征信息，对每两路存在相交区域的视频图像进行特征匹配；

根据特征匹配结果对所述多路视频图像进行视频图像融合；

根据视频图像融合结果生成一路全景视频图像。