发明内容
本发明所要解决的技术问题是提供一种拼接图像质量评价方法,其能够有效地提高客观评价结果与人眼主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为:一种拼接图像质量评价方法,其特征在于包括以下步骤:
步骤1:选取N个视点的多视点图像,将多视点图像的第
个视点的视图记为
令I
sti表示由N个视点的多视点图像拼接得到的拼接图像;其中,N为正整数,N>1,
I
sti的宽度为Width且高度为Height;
步骤2:采用尺度不变特征转换,提取出多视点图像的不同视点的视图中的所有特征点,将
中的第
个特征点记为
将
中的所有特征点构成的集合记为
然后采用随机抽样一致方法,建立多视点图像的相邻视点的视图中的特征点之间的匹配关系,将多视点图像的第γ个视点的视图
中的第q
(γ)个特征点
与多视点图像的第γ+1个视点的视图
中的匹配特征点的偏移向量记为
其中,
为正整数,
表示
中的特征点的总个数,
表示
的横坐标位置,
表示
的纵坐标位置,1≤γ≤N-1,q
(γ)为正整数,1≤q
(γ)≤Q
(γ),Q
(γ)表示
中的特征点的总个数,
表示
的横坐标位置,
表示
的纵坐标位置,
用于表示水平方向,
用于表示垂直方向,
表示
的水平偏移量,
表示
的垂直偏移量;
步骤3:采用尺度不变特征转换,提取出I
sti中的所有特征点;然后采用随机抽样一致方法,建立多视点图像的不同视点的视图中的特征点与I
sti中的特征点之间的匹配关系,将
中的第
个特征点
与I
sti中的匹配特征点的偏移向量记为
其中,
表示
的水平偏移量,
表示
的垂直偏移量;
步骤4:计算I
sti的鬼影失真,记为f
gho,
其中,D和B均为中间变量,符号“||||
2”为求取矩阵的2-范数符号,
表示多视点图像的第γ个视点的视图
中的第q
(γ)个特征点
与I
sti中的匹配特征点的偏移向量,
表示多视点图像的第γ+1个视点的视图
中坐标位置为
的特征点与I
sti中的匹配特征点的偏移向量;
步骤5:计算I
sti的错位失真,记为f
dis,
其中,
表示多视点图像的第γ+1个视点的视图
中的第q
(γ+1)个特征点
的纵坐标位置,1≤q
(γ+1)≤Q
(γ+1),Q
(γ+1)表示
中的特征点的总个数;
步骤6:计算I
sti的倾斜失真,记为f
ske,
其中,对
中的所有特征点按特征点的横坐标位置的大小进行排序,选择横坐标位置最小的5%的特征点和横坐标位置最大的5%的特征点,将所选择的横坐标位置最小的5%的特征点随机与所选择的横坐标位置最大的5%的特征点一一对应两两连接,构成
条直线,将
对应的所有直线构成的集合记为
表示
中的第
条直线,
表示
对应的直线的数量,
的值等于所选择的横坐标位置最小的5%的特征点的数量或所选择的横坐标位置最大的5%的特征点的数量;根据
中的每个特征点与I
sti中的匹配特征点的偏移向量,获得
中的每条直线的两个特征点在I
sti中的匹配特征点,进而获得
中的每条直线在I
sti中的匹配直线,
表示
在I
sti中的匹配直线,符号“<>”表示内积操作符号,符号“||||”为求取矩阵的1-范数符号;
步骤7:计算I
sti的几何失真,记为f
geo,
其中,
表示
的几何失真,
对应表示
的第1个元素、第2个元素、第4个元素、第5个元素、第7个元素、第8个元素,符号“||”表示取绝对值操作符号,
表示
与I
sti之间的相似性变换矩阵,
为
的转置,
为
的逆,
和
对应表示
中的第1个特征点
的横坐标位置和纵坐标位置,
和
对应表示
中的第
个特征点
的横坐标位置和纵坐标位置,A1、A2、A3、A4、A5、A6、A7、A8均为中间变量,
表示
中的第1个特征点
与I
sti中的匹配特征点的偏移向量
的水平偏移量,
表示
中的第1个特征点
与I
sti中的匹配特征点的偏移向量
的垂直偏移量,
表示
中的第
个特征点
与I
sti中的匹配特征点的偏移向量
的水平偏移量,
表示
中的第
个特征点
与I
sti中的匹配特征点的偏移向量
的垂直偏移量,
的维数为
的维数为
的维数为8×1;
步骤8:根据fgho、fdis、fske和fgeo,获得Isti的局部特征矢量,记为Flocal,Flocal=[fgho,fdis,fske,fgeo];其中,Flocal的维数为1×4,符号“[]”为矢量表示符号,[fgho,fdis,fske,fgeo]表示将fgho、fdis、fske和fgeo连接起来形成一个特征矢量;
步骤9:计算Isti的全局特征矢量,记为Fglobal;其中,Fglobal的维数为1×11;
步骤10:根据Flocal和Fglobal,获得Isti的特征矢量,记为F,F=[Flocal,Fglobal];其中,F的维数为1×15;
步骤11:将n′幅拼接图像及每幅拼接图像对应的原始多视点图像构成拼接图像集合;然后采用主观质量评价方法,获取拼接图像集合中的每幅拼接图像的平均主观评分差值,将拼接图像集合中的第i幅拼接图像的平均主观评分差值记为DMOSi;并按照步骤1至步骤10的过程,以相同的方式获取拼接图像集合中的每幅拼接图像的特征矢量,将拼接图像集合中的第i幅拼接图像的特征矢量记为Fi;其中,n′为正整数,n′>1,i为正整数,1≤i≤n′,DMOSi∈[0,100],Fi的维数为1×15;
步骤12:从拼接图像集合中随机选择m幅拼接图像构成训练集;然后将训练集中的所有拼接图像的特征矢量和平均主观评分差值构成训练样本数据集合;接着采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权重矢量
和最优的偏置项
再利用得到的最优的权重矢量
和最优的偏置项
构造拼接图像的支持向量回归训练模型,记为
其中,m为正整数,1≤m<n′,
为函数表示形式,F
inp表示拼接图像的支持向量回归训练模型的输入矢量,为拼接图像的特征矢量,F
inp的维数为1×15,
为
的转置,
表示拼接图像的支持向量回归训练模型的输入矢量F
inp的线性函数;
步骤13:将拼接图像集合中剩余的n′-m幅拼接图像构成测试集;然后将测试集中的所有拼接图像的特征矢量构成测试样本数据集合;接着根据构造得到的拼接图像的支持向量回归训练模型,对测试样本数据集合中的每个特征矢量进行测试,预测得到测试样本数据集合中的每个特征矢量对应的拼接图像的客观质量评价预测值,将测试样本数据集合中的第η个特征矢量对应的拼接图像的客观质量评价预测值记为quality
η,
其中,η为正整数,1≤η≤n′-m,F
η表示测试样本数据集合中的第η个特征矢量,F
η的维数为1×15,
表示F
η的线性函数;
步骤14:重复执行步骤12至步骤13共number次,并使拼接图像集合中的每幅拼接图像至少有一次属于测试集,经过number次执行后计算拼接图像集合中的每幅拼接图像的若干个客观质量评价预测值的平均值,再将拼接图像集合中的每幅拼接图像的若干个客观质量评价预测值的平均值作为该幅拼接图像的最终的客观质量评价预测值;其中,number为正整数,number之100。
所述的步骤9中,Fglobal的获取过程为:
步骤9_1:对多视点图像的N个视点的视图进行去除重叠区域操作,在进行去除重叠区域操作后再重组得到重组的多视点图像,记为
其中,1≤x′≤Width′,1≤y′≤Height′,Width′表示重组的多视点图像的宽度,Height′表示重组的多视点图像的高度,
表示
中坐标位置为(x′,y′)的像素点的像素值;
步骤9_2:对
进行归一化操作,将
经归一化操作后得到的图像记为
将
中坐标位置为(x′,y′)的像素点的像素值记为
并对I
sti进行归一化操作,将I
sti经归一化操作后得到的图像记为
将
中坐标位置为(x,y)的像素点的像素值记为
其中,μ
org表示
中的所有像素点的像素值的均值,
σ
org表示
中的所有像素点的像素值的标准差,
1≤x≤Width,1≤y≤Height,I
sti(x,y)表示I
sti中坐标位置为(x,y)的像素点的像素值,μ
sti表示I
sti中的所有像素点的像素值的均值,
σ
sti表示I
sti中的所有像素点的像素值的标准差,
步骤93:采用广义高斯分布模型对
的颜色分布进行拟合,拟合得到
的拟合曲线,记为C
org(h),
并采用广义高斯分布模型对
的颜色分布进行拟合,拟合得到
的拟合曲线,记为C
sti(h),
其中,0≤h≤255,α
org表示拟合曲线C
org(h)的尺度参数,β
org表示拟合曲线C
org(h)的形状参数,exp()表示以自然基数e为底的指数函数,符号“||”为取绝对值符号,
t为积分变量,α
sti表示拟合曲线C
sti(h)的尺度参数,β
sti表示拟合曲线C
sti(h)的形状参数,
步骤94:将
在YUV颜色空间的Y分量、U分量和V分量对应记为
和
并将I
sti在YUV颜色空间的Y分量、U分量和V分量对应记为
和
其中,
表示
中坐标位置为(x′,y′)的像素点的像素值,
表示
中坐标位置为(x′,y′)的像素点的像素值,
表示
中坐标位置为(x′,y′)的像素点的像素值,
表示
中坐标位置为(x,y)的像素点的像素值,
表示
中坐标位置为(x,y)的像素点的像素值,
表示
中坐标位置为(x,y)的像素点的像素值;
步骤95:计算
的直方图分布,记为
计算
的直方图分布,记为
计算
的直方图分布,记为
计算
的直方图分布,记为
计算
的直方图分布,记为
计算
的直方图分布,记为
其中,
表示
中的第j个直方图节点的出现概率,
表示
中的第j个直方图节点的出现概率,
表示
中的第j个直方图节点的出现概率,
表示
中的第j个直方图节点的出现概率,
表示
中的第j个直方图节点的出现概率,
表示
中的第j个直方图节点的出现概率;
步骤96:计算
的均值、标准差和斜度,对应记为
和
计算
的均值、标准差和斜度,对应记为
和
计算
的均值、标准差和斜度,对应记为
和
计算
的均值、标准差和斜度,对应记为
和
计算
的均值、标准差和斜度,对应记为
和
计算
的均值、标准差和斜度,对应记为
和
步骤9_7:将α
org、β
org、
和
按序排列构成
的特征矢量,记为F
org,
并将α
sti、β
sti、
和
按序排列构成I
sti的特征矢量,记为F
sti,
步骤9_8:计算Isti的全局特征矢量Fglobal,Fglobal=Forg-Fsti。
与现有技术相比,本发明的优点在于:
本发明方法在训练阶段,考虑到匹配误差、扭曲失真等局部失真及颜色、模糊等全局失真对拼接图像质量的影响,提取鬼影失真、错位失真、倾斜失真、几何失真构成局部特征矢量,提取颜色分布的广义高斯分布模型和颜色直方图的均值、标准差和斜度构成全局特征矢量,并将局部特征矢量和全局特征矢量结合构成拼接图像的特征矢量,然后利用支持向量回归对所有拼接图像的特征矢量进行训练,构造拼接图像的支持向量回归训练模型;在测试阶段,通过计算测试集中的拼接图像的特征矢量,并根据训练阶段构造的拼接图像的支持向量回归训练模型,预测得到测试集中的拼接图像的客观质量评价预测值,由于获得的特征矢量具有较强的稳定性且能够较好地反映拼接图像的失真情况,因此有效地提高了客观评价结果与人眼主观感知之间的相关性。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种拼接图像质量评价方法,其总体实现框图如图1所示,其包括以下步骤:
步骤1:选取N个视点的多视点图像,将多视点图像的第
个视点的视图记为
令I
sti表示由N个视点的多视点图像拼接得到的拼接图像;其中,N为正整数,N>1,在本实施例中取N=5,
I
sti的宽度为Width且高度为Height。
步骤2:采用现有的尺度不变特征转换(Scale Invariant Feature Transform,SIFT),提取出多视点图像的不同视点的视图中的所有特征点,将
中的第
个特征点记为
将
中的所有特征点构成的集合记为
然后采用现有的随机抽样一致(Random Samplc Consensus,RANSAC)方法,建立多视点图像的相邻视点的视图中的特征点之间的匹配关系,将多视点图像的第γ个视点的视图
中的第q
(γ)个特征点
与多视点图像的第γ+1个视点的视图
中的匹配特征点的偏移向量记为
其中,
为正整数,
表示
中的特征点的总个数,
表示
的横坐标位置,
表示
的纵坐标位置,1≤γ≤N-1,q
(γ)为正整数,1≤q
(γ)≤Q
(γ),Q
(γ)表示
中的特征点的总个数,
表示
的横坐标位置,
表示
的纵坐标位置,
用于表示水平方向,
用于表示垂直方向,
表示
的水平偏移量,
表示
的垂直偏移量。
步骤3:采用现有的尺度不变特征转换(Scale Invariant Feature Transform,SIFT),提取出I
sti中的所有特征点;然后采用现有的随机抽样一致(Random SampleConsensus,RANSAC)方法,建立多视点图像的不同视点的视图中的特征点与I
sti中的特征点之间的匹配关系,将
中的第
个特征点
与I
sti中的匹配特征点的偏移向量记为
其中,
表示
的水平偏移量,
表示
的垂直偏移量。
步骤4:计算I
sti的鬼影失真,记为f
gho,
其中,D和B均为中间变量,符号“||||
2”为求取矩阵的2-范数符号,
表示多视点图像的第γ个视点的视图
中的第q
(γ)个特征点
与I
sti中的匹配特征点的偏移向量,
表示多视点图像的第γ+1个视点的视图
中坐标位置为
的特征点与I
sti中的匹配特征点的偏移向量。
步骤5:计算I
sti的错位失真,记为f
dis,
其中,
表示多视点图像的第γ+1个视点的视图
中的第q
(γ+1)个特征点
的纵坐标位置,1≤q
(γ+1)≤Q
(γ+1),Q
(γ+1)表示
中的特征点的总个数。
步骤6:计算I
sti的倾斜失真,记为f
ske,
其中,对
中的所有特征点按特征点的横坐标位置的大小进行排序,选择横坐标位置最小的5%的特征点和横坐标位置最大的5%的特征点,将所选择的横坐标位置最小的5%的特征点随机与所选择的横坐标位置最大的5%的特征点一一对应两两连接,构成
条直线,即:将从横坐标位置最小的5%的特征点中随机选择的一个特征点与从横坐标位置最大的5%的特征点中随机选择的一个特征点连接构成一条直线,将
对应的所有直线构成的集合记为
表示
中的第
条直线,
表示
对应的直线的数量,
的值等于所选择的横坐标位置最小的5%的特征点的数量或所选择的横坐标位置最大的5%的特征点的数量;根据
中的每个特征点与I
sti中的匹配特征点的偏移向量,获得
中的每条直线的两个特征点在I
sti中的匹配特征点,进而获得
中的每条直线在I
sti中的匹配直线,
表示
在I
sti中的匹配直线,符号“<>”表示内积操作符号,符号“||||”为求取矩阵的1-范数符号。
步骤7:计算I
sti的几何失真,记为f
geo,
其中,
表示
的几何失真,
对应表示
的第1个元素、第2个元素、第4个元素、第5个元素、第7个元素、第8个元素,符号“||”表示取绝对值操作符号,
表示
与I
sti之间的相似性变换矩阵,
为
的转置,
为
的逆,
和
对应表示
中的第1个特征点
的横坐标位置和纵坐标位置,
和
对应表示
中的第
个特征点
的横坐标位置和纵坐标位置,A1、A2、A3、A4、A5、A6、A7、A8均为中间变量,
表示
中的第1个特征点
与I
sti中的匹配特征点的偏移向量
的水平偏移量,
表示
中的第1个特征点
与I
sti中的匹配特征点的偏移向量
的垂直偏移量,
表示
中的第
个特征点
与I
sti中的匹配特征点的偏移向量
的水平偏移量,
表示
中的第
个特征点
与I
sti中的匹配特征点的偏移向量
的垂直偏移量,
的维数为
的维数为
的维数为8×1。
步骤8:根据fgho、fdis、fske和fgeo,获得Isti的局部特征矢量,记为Flocal,Flocal=[fgho,fdis,fske,fgeo];其中,Flocal的维数为1×4,符号“[]”为矢量表示符号,[fgho,fdis,fske,fgeo]表示将fgho、fdis、fske和fgeo连接起来形成一个特征矢量。
步骤9:计算Isti的全局特征矢量,记为Fglobal;其中,Fglobal的维数为1×11。
在本实施例中,步骤9中,Fglobal的获取过程为:
步骤91:对多视点图像的N个视点的视图进行去除重叠区域操作,在进行去除重叠区域操作后再重组得到重组的多视点图像,记为
其中,1≤x′≤Width′,1≤y′≤Height′,Width′表示重组的多视点图像的宽度,Height′表示重组的多视点图像的高度,
表示
中坐标位置为(x′,y′)的像素点的像素值。
步骤92:对
进行归一化操作,将
经归一化操作后得到的图像记为
将
中坐标位置为(x′,y′)的像素点的像素值记为
并对I
sti进行归一化操作,将I
sti经归一化操作后得到的图像记为
将
中坐标位置为(x,y)的像素点的像素值记为
其中,μ
org表示
中的所有像素点的像素值的均值,
σ
org表示
中的所有像素点的像素值的标准差,
1≤x≤Width,1≤y≤Height,I
sti(x,y)表示I
sti中坐标位置为(x,y)的像素点的像素值,μ
sti表示I
sti中的所有像素点的像素值的均值,
σ
sti表示I
sti中的所有像素点的像素值的标准差,
步骤9_3:采用广义高斯分布模型对
的颜色分布进行拟合,拟合得到
的拟合曲线,记为C
org(h),
并采用广义高斯分布模型对
的颜色分布进行拟合,拟合得到
的拟合曲线,记为C
sti(h),
其中,0≤h≤255,α
org表示拟合曲线C
org(h)的尺度参数,β
org表示拟合曲线C
org(h)的形状参数,exp()表示以自然基数e为底的指数函数,e=2.17…,符号“||”为取绝对值符号,
t为积分变量,α
sti表示拟合曲线C
sti(h)的尺度参数,β
sti表示拟合曲线C
sti(h)的形状参数,
步骤94:将
在YUV颜色空间的Y分量、U分量和V分量对应记为
和
并将I
sti在YUV颜色空间的Y分量、U分量和V分量对应记为
和
其中,
表示
中坐标位置为(x′,y′)的像素点的像素值,
表示
中坐标位置为(x′,y′)的像素点的像素值,
表示
中坐标位置为(x′,y′)的像素点的像素值,
表示
中坐标位置为(x,y)的像素点的像素值,
表示
中坐标位置为(x,y)的像素点的像素值,
表示
中坐标位置为(x,y)的像素点的像素值。
步骤95:计算
的直方图分布,记为
计算
的直方图分布,记为
计算
的直方图分布,记为
计算
的直方图分布,记为
计算
的直方图分布,记为
计算
的直方图分布,记为
其中,
表示
中的第j个直方图节点的出现概率,
表示
中的第j个直方图节点的出现概率,
表示
中的第j个直方图节点的出现概率,
表示
中的第j个直方图节点的出现概率,
表示
中的第j个直方图节点的出现概率,
表示
中的第j个直方图节点的出现概率。
步骤96:计算
的均值、标准差和斜度,对应记为
和
计算
的均值、标准差和斜度,对应记为
和
计算
的均值、标准差和斜度,对应记为
和
计算
的均值、标准差和斜度,对应记为
和
计算
的均值、标准差和斜度,对应记为
和
计算
的均值、标准差和斜度,对应记为
和
步骤9_7:将α
org、β
org、
和
按序排列构成
的特征矢量,记为F
org,
并将α
sti、β
sti、
和
按序排列构成I
sti的特征矢量,记为F
sti,
步骤9_8:计算Isti的全局特征矢量Fglobal,Fglobal=Forg-Fsti。
步骤10:根据Flocal和Fglobal,获得Isti的特征矢量,记为F,F=[Flocal,Fglobal];其中,F的维数为1×15。
步骤11:将n′幅拼接图像及每幅拼接图像对应的原始多视点图像构成拼接图像集合;然后采用主观质量评价方法,获取拼接图像集合中的每幅拼接图像的平均主观评分差值,将拼接图像集合中的第i幅拼接图像的平均主观评分差值记为DMOSi;并按照步骤1至步骤10的过程,以相同的方式获取拼接图像集合中的每幅拼接图像的特征矢量,将拼接图像集合中的第i幅拼接图像的特征矢量记为Fi;其中,n′为正整数,n′>1,i为正整数,1≤i≤n′,DMOSi∈[0,100],Fi的维数为1×15。
步骤12:从拼接图像集合中随机选择m幅拼接图像构成训练集;然后将训练集中的所有拼接图像的特征矢量和平均主观评分差值构成训练样本数据集合;接着采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权重矢量
和最优的偏置项
再利用得到的最优的权重矢量
和最优的偏置项
构造拼接图像的支持向量回归训练模型,记为
其中,m为正整数,1≤m<n′,
为函数表示形式,F
inp表示拼接图像的支持向量回归训练模型的输入矢量,为拼接图像的特征矢量,F
inp的维数为1×15,
为
的转置,
表示拼接图像的支持向量回归训练模型的输入矢量F
inp的线性函数。
步骤13:将拼接图像集合中剩余的n′-m幅拼接图像构成测试集;然后将测试集中的所有拼接图像的特征矢量构成测试样本数据集合;接着根据构造得到的拼接图像的支持向量回归训练模型,对测试样本数据集合中的每个特征矢量进行测试,预测得到测试样本数据集合中的每个特征矢量对应的拼接图像的客观质量评价预测值,将测试样本数据集合中的第η个特征矢量对应的拼接图像的客观质量评价预测值记为quality
η,
其中,η为正整数,1≤η≤n′-m,F
η表示测试样本数据集合中的第η个特征矢量,F
η的维数为1×15,
表示F
η的线性函数。
步骤14:重复执行步骤12至步骤13共number次,并使拼接图像集合中的每幅拼接图像至少有一次属于测试集,经过number次执行后计算拼接图像集合中的每幅拼接图像的若干个客观质量评价预测值的平均值,再将拼接图像集合中的每幅拼接图像的若干个客观质量评价预测值的平均值作为该幅拼接图像的最终的客观质量评价预测值;其中,number为正整数,number≥100。
为了进一步说明本发明方法的可行性和有效性,对本发明方法进行试验。
在本实施例中,采用本发明方法对印度科学研究所建立的拼接图像质量评价数据库进行测试。该数据库包含26个不同的场景,每个场景有4幅或5幅具有重叠区域的多视点图像。通过选择不同的拼接算法或者改变算法中的不同参数,得到了264幅不同质量的拼接图像,并给出了每幅拼接图像的平均主观评分差值。
在本实施例中,利用评估图像质量评价方法的3个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient,PLCC)、Spearman相关系数(Spearman rank order correlationcoefficient,SROCC)、均方误差(rootmeansquared error,RMSE),PLCC和RMSE反映客观质量评价预测值的准确性,SROCC反映其单调性。表1给出了采用本发明方法得到的客观质量评价预测值与平均主观评分差值之间的相关性。
表1采用本发明方法得到的客观质量评价预测值与平均主观评分差值之间的Pearson相关系数比较、Spearman相关系数和均方误差比较
|
Pearson相关系数 |
Spearman相关系数 |
均方误差 |
本发明方法 |
0.8532 |
0.8406 |
6.7551 |
从表1中可以看出,采用本发明方法得到的客观质量评价预测值与平均主观评分差值之间的相关性是很高的,充分表明了本发明方法的客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的可行性和有效性。