CN111178163B - 基于立方体投影格式的立体全景图像显著区域预测方法 - Google Patents

基于立方体投影格式的立体全景图像显著区域预测方法 Download PDF

Info

Publication number
CN111178163B
CN111178163B CN201911273003.1A CN201911273003A CN111178163B CN 111178163 B CN111178163 B CN 111178163B CN 201911273003 A CN201911273003 A CN 201911273003A CN 111178163 B CN111178163 B CN 111178163B
Authority
CN
China
Prior art keywords
super
pixel
pixel block
num
cmp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911273003.1A
Other languages
English (en)
Other versions
CN111178163A (zh
Inventor
蒋刚毅
张君君
陈华
宋洋
郁梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201911273003.1A priority Critical patent/CN111178163B/zh
Publication of CN111178163A publication Critical patent/CN111178163A/zh
Application granted granted Critical
Publication of CN111178163B publication Critical patent/CN111178163B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于立方体投影格式的立体全景图像显著区域预测方法，其将立体全景图像处理成立方体投影格式；构建立方体投影格式的立体全景图像的水平局部面、水平全局面、垂直面；计算水平局部面、水平全局面、垂直面各自的显著图；将水平局部面的显著图加权水平全局面的显著图获取水平面显著图，将垂直面的显著图作为垂直面显著图；根据水平面显著图和垂直面显著图获取立方体投影格式的立体全景图像的显著图，将该显著图处理成等矩形投影格式，再使用纬度增强权重加权，得到待处理的立体全景图像的显著图；优点是其能够有效准确地预测出立体全景图像的显著区域，且显著区域与主观感知的一致性高。

Description

基于立方体投影格式的立体全景图像显著区域预测方法
技术领域
本发明涉及一种图像显著区域预测方法，尤其是涉及一种基于立方体投影格式的立体全景图像显著区域预测方法。
背景技术
追求沉浸式视觉体验以模拟真实世界一直是一个热门的话题，随着360°相机如Surround360相机的上市，立体全景视觉内容已逐渐吸引越来越多研究者以及消费者的关注。与传统图像相比，立体全景图像的显著特点是具有较广的视野范围，360°相机可以拍摄覆盖整个内球面的整个视场，观看者通过佩戴HMD(Head Mounted Display)以视口的形式自由地选择并观看立体全景图像的局部区域。
人类视觉系统(HVS)的视觉注意机制往往是有选择地关注较为感兴趣的内容而忽略视觉环境中的其他部分，从而有效地分配有限的视觉处理资源。显著性预测是对人眼的这一机制进行模拟，从而将后续更多的关注以及更复杂的操作应用到显著区域，近年来在图像压缩、质量评价、图像分割等领域都有较为广泛的应用。
现有的全景图像显著性预测模型大多先直接将平面全景图像处理成等矩形(Equirectangular Projection，ERP)投影格式(等矩形投影是全景视频编码中默认的投影格式)，但这种处理方法会使等矩形投影格式的平面全景图像产生严重的形变，而且与人们主观观看内容并不一致。全景视频编码中的立方体投影(Cube Map Projection，CMP)由6个面组成，具有较少的形状失真，与人眼观看到的视口图像类似，因此，对立方体投影格式的平面全景图像进行预测会大大提升预测的准确性，但是预测结果存在严重的边界效应。目前，还没有针对立体全景图像的显著区域预测方法，而现有的全景图像显著性预测模型没有考虑双目视差的影响，对立体全景图像的显著区域预测结果不准确。
发明内容
本发明所要解决的技术问题是提供一种基于立方体投影格式的立体全景图像显著区域预测方法，其能够有效准确地预测出立体全景图像的显著区域，且显著区域与主观感知的一致性高。
本发明解决上述技术问题所采用的技术方案为：一种基于立方体投影格式的立体全景图像显著区域预测方法，其特征在于包括以下步骤：
步骤1：将待处理的宽度为W且高度为H的立体全景图像处理成立方体投影格式的立体全景图像，记为ICMP，ICMP由6个面组成，ICMP表述为ICMP＝(V1,V2,V3,V4,V5,V6)；其中，V1表示ICMP的左部面，V2表示ICMP的前部面，V3表示ICMP的右部面，V4表示ICMP的后部面，V5表示ICMP的顶部面，V6表示ICMP的底部面；
步骤2：构建ICMP的水平局部面，记为Vhl；并构建ICMP的水平全局面，记为Vhg；
步骤3：计算Vhl的显著图，记为Shl；并计算Vhg的显著图，记为Shg；其中，Shl和Shg的宽度一致且高度一致；
步骤4：使用Shl加权Shg，得到ICMP的水平面显著图，记为Shv；其中，Shv的宽度为4M且高度为M，M表示V1、V2、V3、V4、V5、V6的宽和高；
步骤5：构建ICMP的垂直面，记为Vv；
步骤6：计算Vv的显著图；然后将Vv的显著图作为ICMP的垂直面显著图，记为Svv；其中，的宽度为M且高度为3M；
步骤7：将Shv在宽度方向上从左往右以M个像素点为距离进行切分，获得四个面，将Shv表述为Shv＝(S1,S'2,S3,S4)；并将Svv在高度方向上从上往下以M个像素点为距离进行切分，获得三个面，将Svv表述为Svv＝(S5,S”2,S6)；然后计算ICMP的显著图，记为SCMP，SCMP＝(S1,S2,S3,S4,S5,S6)，
Figure BDA0002314736410000031
其中，令(x1,x2)表示Shv中的像素点的坐标位置，1≤x1≤4M,1≤x2≤M，S1表示Shv中坐标位置在1≤x1≤M，1≤x2≤M范围内的所有像素点构成的面，S'2表示Shv中坐标位置在M+1≤x1≤2M，1≤x2≤M范围内的所有像素点构成的面，S3表示Shv中坐标位置在2M+1≤x1≤3M，1≤x2≤M范围内的所有像素点构成的面，S4表示Shv中坐标位置在3M+1≤x1≤4M，1≤x2≤M范围内的所有像素点构成的面，令(x'1,x'2)表示Svv中的像素点的坐标位置，1≤x'1≤M,1≤x'2≤3M，S5表示Svv中坐标位置在1≤x'1≤M，1≤x'2≤M范围内的所有像素点构成的面，S”2表示Svv中坐标位置在1≤x'1≤M，M+1≤x'2≤2M范围内的所有像素点构成的面，S6表示Svv中坐标位置在1≤x'1≤M，2M+1≤x'2≤3M范围内的所有像素点构成的面，S1表示SCMP的左部面，S2表示SCMP的前部面，S3表示SCMP的右部面，S4表示SCMP的后部面，S5表示SCMP的顶部面，S6表示SCMP的底部面；
步骤8：将SCMP处理成等矩形投影格式的图像，记为SERP；然后使用纬度增强权重w加权SERP，得到待处理的立体全景图像的显著图，记为Sw，将Sw中坐标位置为(a,b)的像素点的像素值记为Sw(a,b)，Sw(a,b)＝SERP(a,b)×w(a,b)；其中，1≤a≤W,1≤b≤H，SERP(a,b)表示SERP中坐标位置为(a,b)的像素点的像素值，w(a,b)表示w中下标为(a,b)的元素的值，
Figure BDA0002314736410000032
所述的步骤2中，Vhl由8个面组成，Vhl表述为Vhl＝(V1,V2,V3,V4,V1',V2',V3',V4')；Vhg由2个面组成，Vhg表述为Vhg＝(Vhg1,Vhg2)；其中，V1'表示V1向左移动L1个像素点距离后得到的面，V2'表示V2向左移动L1个像素点距离后得到的面，V3'表示V3向左移动L1个像素点距离后得到的面，V'4表示V4向左移动L1个像素点距离后得到的面，
Figure BDA0002314736410000033
M表示V1、V2、V3、V4、V5、V6的宽和高，Vhg1由V1、V2、V3、V4按顺序拼接成一行而成，Vhg1的宽度为4M且高度为M，Vhg2表示Vhg1向左移动L2个像素点距离后得到的面，/>
Figure BDA0002314736410000041
M'表示Vhg1的宽度，即M'＝4M。
所述的步骤3的具体过程为：
步骤3_1：将Vhl中的每个面和Vhg中的每个面均作为待处理的面；
步骤3_2：将当前待处理的面定义为当前面；
步骤3_3：对当前面进行超像素分割，分割得到多个超像素块；
步骤3_4：对当前面中的每个超像素块进行张量分解，得到当前面中的每个超像素块的张量域第一子带；然后将当前面中的每个超像素块的张量域第一子带中的所有像素点的像素值的均值作为该超像素块的颜色特征；再计算当前面中的每两个超像素块的颜色特征之间的距离，将当前面中的第i个超像素块的颜色特征与第j个超像素块的颜色特征之间的距离记为distci,j，distci,j＝||ci-cj||2；其中，1≤i≤Num，1≤j≤Num，i≠j，Num表示当前面中的超像素块的个数，Num＞1，ci表示当前面中的第i个超像素块的颜色特征，cj表示当前面中的第j个超像素块的颜色特征，符号“|| ||2”为求2-范数符号；
步骤3_5：计算当前面的左视图与右视图的视差图；然后将视差图中的每个超像素块中的所有像素点的像素值的均值作为当前面中的每个超像素块的深度特征，即将视差图中的第i个超像素块中的所有像素点的像素值的均值作为当前面中的第i个超像素块的深度特征；再计算当前面中的每两个超像素块的深度特征之间的距离，将当前面中的第i个超像素块的深度特征与第j个超像素块的深度特征之间的距离记为distdi,j，distdi,j＝||di-dj||2；其中，di表示当前面中的第i个超像素块的深度特征，cj表示当前面中的第j个超像素块的深度特征；
步骤3_6：计算当前面中的每两个超像素块之间的特征距离，将当前面中的第i个超像素块与第j个超像素块之间的特征距离记为disti,j，disti,j＝λc×distci,j+λd×distdi,j；其中，λc表示distci,j的权重，λd表示distdi,j的权重，λc+λd＝1；
步骤3_7：计算当前面中的每两个超像素块之间的边权重，将当前面中的第i个超像素块与第j个超像素块之间的边权重记为wti,j，
Figure BDA0002314736410000051
其中，e表示自然基数，σ为常数，符号“|| ||”为求欧氏距离符号；
步骤3_8：以当前面中的每个超像素块为节点构造图模型，记为G，G＝(X,E)；其中，X表示所有节点构成的集合，即当前面中的所有超像素块构成的集合，E表示所有边构成的集合，当前面中的第i个超像素块与第j个超像素块之间的边的边权重为wti,j；
步骤3_9：计算G的关联矩阵和度矩阵，对应记为WT和D，WT＝[wti,j]Num×Num，D＝diag{D1,1,D2,2,...,Di,i,...,DNum,Num}；其中，diag{}表示构造一个对角矩阵操作，Di,i＝∑jwti,j，D1,1、D2,2、DNum,Num均根据Di,i＝∑jwti,j计算得到；
步骤3_10：采用前景先验方法，将G中的所有节点视为查询节点，计算G的指示向量，记为y，y＝[y1,…,yi,…,yNum]T；其中，y1,…,yi,…,yNum对应表示y中的第1个元素、……、第i个元素、……、第Num个元素，若G中的第1个节点为查询节点则令y1＝1，若G中的第i个节点为查询节点则令yi＝1，若G中的第Num个节点为查询节点则令yNum＝1，“[]T”表示向量或矩阵的转置；
步骤3_11：计算当前面的显著图，记为f*，f*＝(D-α×WT)-1y；其中，α为常数，α＝0.99，()-1表示向量或矩阵的逆；
步骤3_12：将下一个待处理的面作为当前面，然后返回步骤3_3继续执行，直至Vhl中的所有面和Vhg中的所有面处理完毕；
步骤3_13：计算Shl和Shg，
Figure BDA0002314736410000052
其中，Shl1由Vhl中的V1、V2、V3、V4各自的显著图按顺序拼接成一行而成，Shl1的宽度为4M且高度为M，M表示V1、V2、V3、V4、V5、V6的宽和高，Shl3表示Shl2向右移动L1个像素点距离后得到的图像，/>
Figure BDA0002314736410000061
Shl2由Vhl中的V1'、V2'、V3'、V4'各自的显著图按顺序拼接成一行而成，Shl2的宽度为4M且高度为M，Shg1表示Vhg1的显著图，Shg1的宽度为4M且高度为M，Shg3表示Shg2向右移动L2个像素点距离后得到的图像，/>
Figure BDA0002314736410000062
M'＝4M，Shg2表示Vhg2的显著图，Shg2的宽度为4M且高度为M。
所述的步骤4中，将Shv中坐标位置为(x1,x2)的像素点的像素值记为Shv(x1,x2)，Shv(x1,x2)＝Shg(x1,x2)×Shl(x1,x2)；其中，1≤x1≤4M,1≤x2≤M，4M为Shv的宽度，M为Shv的高度，Shg(x,y)表示Shg中坐标位置为(x1,x2)的像素点的像素值，Shl(x,y)表示Shl中坐标位置为(x1,x2)的像素点的像素值。
所述的步骤5中，Vv由V5、V2、V6按顺序拼接成一列而成，Vv的宽度为M且高度为3M，M表示V1、V2、V3、V4、V5、V6的宽和高。
所述的步骤6的具体过程为：
步骤6_1：将Vv定义为当前面；
步骤6_2：对当前面进行超像素分割，分割得到多个超像素块；
步骤6_3：对当前面中的每个超像素块进行张量分解，得到当前面中的每个超像素块的张量域第一子带；然后将当前面中的每个超像素块的张量域第一子带中的所有像素点的像素值的均值作为该超像素块的颜色特征；再计算当前面中的每两个超像素块的颜色特征之间的距离，将当前面中的第i个超像素块的颜色特征与第j个超像素块的颜色特征之间的距离记为distci,j，distci,j＝||ci-cj||2；其中，1≤i≤Num，1≤j≤Num，i≠j，Num表示当前面中的超像素块的个数，Num＞1，ci表示当前面中的第i个超像素块的颜色特征，cj表示当前面中的第j个超像素块的颜色特征，符号“|| ||2”为求2-范数符号；
步骤6_4：计算当前面的左视图与右视图的视差图；然后将视差图中的每个超像素块中的所有像素点的像素值的均值作为当前面中的每个超像素块的深度特征，即将视差图中的第i个超像素块中的所有像素点的像素值的均值作为当前面中的第i个超像素块的深度特征；再计算当前面中的每两个超像素块的深度特征之间的距离，将当前面中的第i个超像素块的深度特征与第j个超像素块的深度特征之间的距离记为distdi,j，distdi,j＝||di-dj||2；其中，di表示当前面中的第i个超像素块的深度特征，cj表示当前面中的第j个超像素块的深度特征；
步骤6_5：计算当前面中的每两个超像素块之间的特征距离，将当前面中的第i个超像素块与第j个超像素块之间的特征距离记为disti,j，disti,j＝λc×distci,j+λd×distdi,j；其中，λc表示distci,j的权重，λd表示distdi,j的权重，λc+λd＝1；
步骤6_6：计算当前面中的每两个超像素块之间的边权重，将当前面中的第i个超像素块与第j个超像素块之间的边权重记为wti,j，
Figure BDA0002314736410000071
其中，e表示自然基数，σ为常数，符号“|| ||”为求欧氏距离符号；
步骤6_7：以当前面中的每个超像素块为节点构造图模型，记为G，G＝(X,E)；其中，X表示所有节点构成的集合，即当前面中的所有超像素块构成的集合，E表示所有边构成的集合，当前面中的第i个超像素块与第j个超像素块之间的边的边权重为wti,j；
步骤6_8：计算G的关联矩阵和度矩阵，对应记为WT和D，WT＝[wti,j]Num×Num，D＝diag{D1,1,D2,2,…,Di,i,…,DNum,Num}；其中，diag{}表示构造一个对角矩阵操作，Di,i＝∑jwti,j，D1,1、D2,2、DNum,Num均根据Di,i＝∑jwti,j计算得到；
步骤6_9：按步骤3_2至步骤3_11的过程，以相同的方式获取当前面中的V2部分的显著图；然后计算判定为属于当前面中的V2部分的显著图的每个超像素块的二值化结果；再采用前景先验方法，将判定为属于当前面中的V2部分的显著图的所有超像素块视为查询节点，计算G的指示向量，记为y'，y'＝[y'1,…,y'i,…,y'Num]T；其中，若当前面中的一个超像素块的部分或全部落于当前面中的V2部分中，则将该超像素块判定为属于当前面中的V2部分，y'1,…,y'i,…,y'Num对应表示y'中的第1个元素、……、第i个元素、……、第Num个元素，若G中的第k个节点即当前面中的第k个超像素块被判定为属于当前面中的V2部分，则令y'k的值等于该超像素块的二值化结果，若G中的第k个节点即当前面中的第k个超像素块被判定为不属于当前面中的V2部分，则令y'k＝0，“[]T”表示向量或矩阵的转置，k为正整数，1≤k≤Num；
步骤6_10：计算当前面的显著图，记为f**，f**＝(D-α×WT)-1y'；其中，α为常数，α＝0.99，()-1表示向量或矩阵的逆；
步骤6_11：将f**重新记为Svv。
与现有技术相比，本发明的优点在于：
1)本发明方法考虑到等矩形投影处理方法具有较大的几何失真，并且人眼通过头戴式设备观看到的图像是无几何失真的视口图像，因此提出使用立方体投影处理方法求取立体全景图像的显著图，同时考虑到面与面之间的边界效应，对水平全局面和水平局部面进行移动以减轻边界效应的影响，为了联系视口间的相关性，用水平局部面的显著图加权水平全局面的显著图，这样提取出的显著图的准确率高，具有较高的有效性。
2)本发明方法考虑了颜色特征内部结构信息的完整性，采用在张量域提取第一子带的方法计算颜色特征，并与深度特征结合在一起作为特征距离计算显著图，同时为了更好地抑制立体全景图像的顶部与底部的背景区域，采用前景先验方法计算显著图，因此，更好地模拟了人类视觉系统，提高了计算出的显著图与主观感知之间的一致性。
附图说明
图1为本发明方法的总体实现框图；
图2a为从ODI数据库中选取的一幅立体全景图像的左视图；
图2b为从ODI数据库中选取的一幅立体全景图像的右视图；
图2c为利用BMS方法对图2a和图2b进行处理计算出的显著图；
图2d为利用MR方法对图2a和图2b进行处理计算出的显著图；
图2e为利用Wang’s方法对图2a和图2b进行处理计算出的显著图；
图2f为利用SMAP方法对图2a和图2b进行处理计算出的显著图；
图2g为利用Hu’s方法对图2a和图2b进行处理计算出的显著图；
图2h为利用CDSR方法对图2a和图2b进行处理计算出的显著图；
图3a为对图2a和图2b进行等矩形投影处理后预测得到的显著图；
图3b为对图2a和图2b直接采用立方体投影处理后预测得到的显著图；
图3c为利用本发明方法对图2a和图2b进行处理计算出的显著图；
图3d为图2a和图2b对应的Ground-truth图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
等矩形投影是全景视频编码中默认的投影格式，但它会使图像产生严重的形变，而且与人们主观观看内容并不一致，立方体投影由6个面组成，具有较少的形状失真，为了更好地与人眼观看到的图像保持一致，同时考虑到投影格式转换之间的方便性，本发明方法聚焦于基于立方体投影格式的立体全景图像显著性预测方法。考虑到用张量提取颜色信息可以保留颜色数据内部的结构信息，提取张量域第一子带作为颜色特征，同时提取深度特征，利用颜色和深度信息计算超像素节点之间的特征距离，此外，考虑到立体全景图像的背景区域难以提取，为了更好地抑制顶部与底部的显著值，采用前景先验的方法计算显著图。
本发明提出的一种基于立方体投影格式的立体全景图像显著区域预测方法，其总体实现框图如图1所示，其包括以下步骤：
步骤1：将待处理的宽度为W且高度为H的立体全景图像处理成立方体投影格式的立体全景图像，记为ICMP，ICMP由6个面组成，ICMP表述为ICMP＝(V1,V2,V3,V4,V5,V6)；其中，V1表示ICMP的左部面，V2表示ICMP的前部面，V3表示ICMP的右部面，V4表示ICMP的后部面，V5表示ICMP的顶部面，V6表示ICMP的底部面。
步骤2：构建ICMP的水平局部面，记为Vhl；并构建ICMP的水平全局面，记为Vhg。
在本实施例中，步骤2中，Vhl由8个面组成，Vhl表述为Vhl＝(V1,V2,V3,V4,V1',V2',V3',V4')；Vhg由2个面组成，Vhg表述为Vhg＝(Vhg1,Vhg2)；其中，V1'表示V1向左移动L1个像素点距离后得到的面，V2'表示V2向左移动L1个像素点距离后得到的面，V3'表示V3向左移动L1个像素点距离后得到的面，V4'表示V4向左移动L1个像素点距离后得到的面，
Figure BDA0002314736410000101
M表示V1、V2、V3、V4、V5、V6的宽和高，即V1、V2、V3、V4、V5、V6的宽和高一致为M，Vhg1由V1、V2、V3、V4按顺序拼接成一行而成，Vhg1的宽度为4M且高度为M，Vhg2表示Vhg1向左移动L2个像素点距离后得到的面，/>
Figure BDA0002314736410000102
M'表示Vhg1的宽度，即M'＝4M。
步骤3：计算Vhl的显著图，记为Shl；并计算Vhg的显著图，记为Shg；其中，Shl和Shg的宽度一致且高度一致。
在本实施例中，步骤3的具体过程为：
步骤3_1：将Vhl中的每个面和Vhg中的每个面均作为待处理的面。
步骤3_2：将当前待处理的面定义为当前面。
步骤3_3：利用现有的SLIC算法对当前面进行超像素分割，分割得到多个超像素块。
步骤3_4：对当前面中的每个超像素块进行张量分解，得到当前面中的每个超像素块的张量域第一子带；然后将当前面中的每个超像素块的张量域第一子带中的所有像素点的像素值的均值作为该超像素块的颜色特征；再计算当前面中的每两个超像素块的颜色特征之间的距离，将当前面中的第i个超像素块的颜色特征与第j个超像素块的颜色特征之间的距离记为distci,j，distci,j＝||ci-cj||2；其中，1≤i≤Num，1≤j≤Num，i≠j，Num表示当前面中的超像素块的个数，Num＞1，ci表示当前面中的第i个超像素块的颜色特征，cj表示当前面中的第j个超像素块的颜色特征，符号“|| ||2”为求2-范数符号。
步骤3_5：利用现有的光流法计算当前面的左视图与右视图的视差图；然后将视差图中的每个超像素块中的所有像素点的像素值的均值作为当前面中的每个超像素块的深度特征，即将视差图中的第i个超像素块中的所有像素点的像素值的均值作为当前面中的第i个超像素块的深度特征；再计算当前面中的每两个超像素块的深度特征之间的距离，将当前面中的第i个超像素块的深度特征与第j个超像素块的深度特征之间的距离记为distdi,j，distdi,j＝||di-dj||2；其中，di表示当前面中的第i个超像素块的深度特征，cj表示当前面中的第j个超像素块的深度特征。
步骤3_6：计算当前面中的每两个超像素块之间的特征距离，将当前面中的第i个超像素块与第j个超像素块之间的特征距离记为disti,j，disti,j＝λc×distci,j+λd×distdi,j；其中，λc表示distci,j的权重，λd表示distdi,j的权重，λc+λd＝1，在本实施例中取λc＝λd＝0.5。
步骤3_7：计算当前面中的每两个超像素块之间的边权重，将当前面中的第i个超像素块与第j个超像素块之间的边权重记为wti,j，
Figure BDA0002314736410000111
其中，e表示自然基数，σ为常数，在本实施例中取σ＝10，符号“|| ||”为求欧氏距离符号。
步骤3_8：以当前面中的每个超像素块为节点构造图模型，记为G，G＝(X,E)；其中，X表示所有节点构成的集合，即当前面中的所有超像素块构成的集合，E表示所有边构成的集合，当前面中的第i个超像素块与第j个超像素块之间的边的边权重为wti,j。
步骤3_9：计算G的关联矩阵和度矩阵，对应记为WT和D，WT＝[wti,j]Num×Num，D＝diag{D1,1,D2,2,...,Di,i,...,DNum,Num}；其中，diag{}表示构造一个对角矩阵操作，Di,i＝∑jwti,j，D1,1、D2,2、DNum,Num均根据Di,i＝∑jwti,j计算得到。
步骤3_10：采用前景先验方法，将G中的所有节点视为查询节点，计算G的指示向量，记为y，y＝[y1,…,yi,…,yNum]T；其中，y1,…,yi,…,yNum对应表示y中的第1个元素、……、第i个元素、……、第Num个元素，若G中的第1个节点为查询节点则令y1＝1，若G中的第i个节点为查询节点则令yi＝1，若G中的第Num个节点为查询节点则令yNum＝1，“[]T”表示向量或矩阵的转置。
步骤3_11：计算当前面的显著图，记为f*，f*＝(D-α×WT)-1y；其中，α为常数，α＝0.99，()-1表示向量或矩阵的逆。
步骤3_12：将下一个待处理的面作为当前面，然后返回步骤3_3继续执行，直至Vhl中的所有面和Vhg中的所有面处理完毕。
步骤3_13：计算Shl和Shg，
Figure BDA0002314736410000121
其中，Shl1由Vhl中的V1、V2、V3、V4各自的显著图按顺序拼接成一行而成，Shl1的宽度为4M且高度为M，M表示V1、V2、V3、V4、V5、V6的宽和高，Shl3表示Shl2向右移动L1个像素点距离后得到的图像，/>
Figure BDA0002314736410000122
Shl2由Vhl中的V1'、V2'、V3'、V4'各自的显著图按顺序拼接成一行而成，Shl2的宽度为4M且高度为M，Shg1表示Vhg1的显著图，Shg1的宽度为4M且高度为M，Shg3表示Shg2向右移动L2个像素点距离后得到的图像，/>
Figure BDA0002314736410000123
M'＝4M，Shg2表示Vhg2的显著图，Shg2的宽度为4M且高度为M，Shl1+Shl3即为Shl1与Shl3中对应像素点的像素值相加，Shg1+Shg3即为Shg1与Shg3中对应像素点的像素值相加。
步骤4：使用Shl加权Shg，得到ICMP的水平面显著图，记为Shv；其中，Shv的宽度为4M且高度为M，M表示V1、V2、V3、V4、V5、V6的宽和高，即V1、V2、V3、V4、V5、V6的宽和高一致为M。
在本实施例中，步骤4中，将Shv中坐标位置为(x1,x2)的像素点的像素值记为Shv(x1,x2)，Shv(x1,x2)＝Shg(x1,x2)×Shl(x1,x2)；其中，1≤x1≤4M,1≤x2≤M，4M为Shv的宽度，M为Shv的高度，Shg(x,y)表示Shg中坐标位置为(x1,x2)的像素点的像素值，Shl(x,y)表示Shl中坐标位置为(x1,x2)的像素点的像素值。
步骤5：构建ICMP的垂直面，记为Vv。
在本实施例中，步骤5中，Vv由V5、V2、V6按顺序拼接成一列而成，Vv的宽度为M且高度为3M，M表示V1、V2、V3、V4、V5、V6的宽和高。
步骤6：计算Vv的显著图；然后将Vv的显著图作为ICMP的垂直面显著图，记为Svv；其中，的宽度为M且高度为3M。
在本实施例中，步骤6的具体过程为：
步骤6_1：将Vv定义为当前面。
步骤6_2：利用现有的SLIC算法对当前面进行超像素分割，分割得到多个超像素块。
步骤6_3：对当前面中的每个超像素块进行张量分解，得到当前面中的每个超像素块的张量域第一子带；然后将当前面中的每个超像素块的张量域第一子带中的所有像素点的像素值的均值作为该超像素块的颜色特征；再计算当前面中的每两个超像素块的颜色特征之间的距离，将当前面中的第i个超像素块的颜色特征与第j个超像素块的颜色特征之间的距离记为distci,j，distci,j＝||ci-cj||2；其中，1≤i≤Num，1≤j≤Num，i≠j，Num表示当前面中的超像素块的个数，Num＞1，ci表示当前面中的第i个超像素块的颜色特征，cj表示当前面中的第j个超像素块的颜色特征，符号“|| ||2”为求2-范数符号。
步骤6_4：利用现有的光流法计算当前面的左视图与右视图的视差图；然后将视差图中的每个超像素块中的所有像素点的像素值的均值作为当前面中的每个超像素块的深度特征，即将视差图中的第i个超像素块中的所有像素点的像素值的均值作为当前面中的第i个超像素块的深度特征；再计算当前面中的每两个超像素块的深度特征之间的距离，将当前面中的第i个超像素块的深度特征与第j个超像素块的深度特征之间的距离记为distdi,j，distdi,j＝||di-dj||2；其中，di表示当前面中的第i个超像素块的深度特征，cj表示当前面中的第j个超像素块的深度特征。
步骤6_5：计算当前面中的每两个超像素块之间的特征距离，将当前面中的第i个超像素块与第j个超像素块之间的特征距离记为disti,j，disti,j＝λc×distci,j+λd×distdi,j；其中，λc表示distci,j的权重，λd表示distdi,j的权重，λc+λd＝1，在本实施例中取λc＝λd＝0.5。
步骤6_6：计算当前面中的每两个超像素块之间的边权重，将当前面中的第i个超像素块与第j个超像素块之间的边权重记为wti,j，
Figure BDA0002314736410000141
其中，e表示自然基数，σ为常数，在本实施例中取σ＝10，符号“|| ||”为求欧氏距离符号。
步骤6_7：以当前面中的每个超像素块为节点构造图模型，记为G，G＝(X,E)；其中，X表示所有节点构成的集合，即当前面中的所有超像素块构成的集合，E表示所有边构成的集合，当前面中的第i个超像素块与第j个超像素块之间的边的边权重为wti,j。
步骤6_8：计算G的关联矩阵和度矩阵，对应记为WT和D，WT＝[wti,j]Num×Num，D＝diag{D1,1,D2,2,...,Di,i,...,DNum,Num}；其中，diag{}表示构造一个对角矩阵操作，Di,i＝∑jwti,j，D1,1、D2,2、DNum,Num均根据Di,i＝∑jwti,j计算得到。
步骤6_9：按步骤3_2至步骤3_11的过程，以相同的方式获取当前面中的V2部分的显著图；然后计算判定为属于当前面中的V2部分的显著图的每个超像素块的二值化结果；再采用前景先验方法，将判定为属于当前面中的V2部分的显著图的所有超像素块视为查询节点，计算G的指示向量，记为y'，y'＝[y'1,…,y'i,…,y'Num]T；其中，若当前面中的一个超像素块的部分或全部落于当前面中的V2部分中，则将该超像素块判定为属于当前面中的V2部分，y'1,…,y'i,…,y'Num对应表示y'中的第1个元素、……、第i个元素、……、第Num个元素，若G中的第k个节点即当前面中的第k个超像素块被判定为属于当前面中的V2部分，则令y'k的值等于该超像素块的二值化结果，若G中的第k个节点即当前面中的第k个超像素块被判定为不属于当前面中的V2部分，则令y'k＝0，“[]T”表示向量或矩阵的转置，k为正整数，1≤k≤Num。
步骤6_10：计算当前面的显著图，记为f**，f**＝(D-α×WT)-1y'；其中，α为常数，α＝0.99，()-1表示向量或矩阵的逆。
步骤6_11：将f**重新记为Svv。
步骤7：将Shv在宽度方向上从左往右以M个像素点为距离进行切分，获得四个面，将Shv表述为Shv＝(S1,S'2,S3,S4)；并将Svv在高度方向上从上往下以M个像素点为距离进行切分，获得三个面，将Svv表述为Svv＝(S5,S”2,S6)；然后计算ICMP的显著图，记为SCMP，SCMP＝(S1,S2,S3,S4,S5,S6)，
Figure BDA0002314736410000151
其中，令(x1,x2)表示Shv中的像素点的坐标位置，1≤x1≤4M,1≤x2≤M，S1表示Shv中坐标位置在1≤x1≤M，1≤x2≤M范围内的所有像素点构成的面，S'2表示Shv中坐标位置在M+1≤x1≤2M，1≤x2≤M范围内的所有像素点构成的面，S3表示Shv中坐标位置在2M+1≤x1≤3M，1≤x2≤M范围内的所有像素点构成的面，S4表示Shv中坐标位置在3M+1≤x1≤4M，1≤x2≤M范围内的所有像素点构成的面，令(x'1,x'2)表示Svv中的像素点的坐标位置，1≤x'1≤M,1≤x'2≤3M，S5表示Svv中坐标位置在1≤x'1≤M，1≤x'2≤M范围内的所有像素点构成的面，S”2表示Svv中坐标位置在1≤x'1≤M，M+1≤x'2≤2M范围内的所有像素点构成的面，S6表示Svv中坐标位置在1≤x'1≤M，2M+1≤x'2≤3M范围内的所有像素点构成的面，S'2+S”2表示S'2与S”2中对应坐标位置的像素点的像素值相加，S1表示SCMP的左部面，S2表示SCMP的前部面，S3表示SCMP的右部面，S4表示SCMP的后部面，S5表示SCMP的顶部面，S6表示SCMP的底部面。
步骤8：将SCMP处理成等矩形投影格式的图像，记为SERP；然后使用纬度增强权重w加权SERP，得到待处理的立体全景图像的显著图，记为Sw，将Sw中坐标位置为(a,b)的像素点的像素值记为Sw(a,b)，Sw(a,b)＝SERP(a,b)×w(a,b)；其中，1≤a≤W,1≤b≤H，SERP(a,b)表示SERP中坐标位置为(a,b)的像素点的像素值，w(a,b)表示w中下标为(a,b)的元素的值，
Figure BDA0002314736410000161
为进一步说明本发明方法的可行性和有效性，进行如下实验。
在本实施例中，选取ODI数据库进行实验，该数据库是一个公开的权威的数据库，由96幅立体全景图像组成，并给出了每幅立体全景图像的显著图。在此，采用6种常用指标对显著性预测方法进行定量比较，即Linear Correlation Coefficient(CC)、Kullback-Leibler(KL)、Normalized Scanpath Saliency(NSS)、Similarity、AUC_Borji、AUC_Judd，其中，KL值越小，表明显著性预测方法越好，反之越差；其他指标值越大，表示显著性预测方法的预测越准确，性能越好，反之，则越差。
对于上述ODI数据库中的所有立体全景图像，分别按本发明方法的步骤1至步骤8的过程，采用相同的方式计算得到每幅立体全景图像的显著图，然后选取6种现有的显著性算法进行对比，包括两种二维图像显著性算法BMS方法、MR方法，三种立体图像显著性算法Wang’s方法、SMAP方法、Hu’s方法，和一种普通全景显著性算法CDSR方法，分别用这6种显著性算法计算每幅立体全景图像的显著图，最后计算这6种显著性算法以及本发明方法各自计算出的显著图与Ground-truth图的性能指标值。图2a是从ODI数据库中选取的一幅立体全景图像的左视图，图2b是从ODI数据库中选取的一幅立体全景图像的右视图，图2c是利用BMS方法对图2a和图2b进行处理计算出的显著图，图2d是利用MR方法对图2a和图2b进行处理计算出的显著图，图2e是利用Wang’s方法对图2a和图2b进行处理计算出的显著图，图2f是利用SMAP方法对图2a和图2b进行处理计算出的显著图，图2g是利用Hu’s方法对图2a和图2b进行处理计算出的显著图，图2h是利用CDSR方法对图2a和图2b进行处理计算出的显著图，图3c给出了利用本发明方法计算出的显著图，图3d给出了Ground-truth图。通过比较可以发现，利用本发明方法计算出的显著图能够较好地定位显著区域。表1显示了不同显著性预测方法的客观比较结果，由表1可以看出，本发明方法的各项指标均优于其他对比方法，具有较好的性能。
为了验证本发明方法在对立方体投影格式的全景立体图像中的每个面进行处理后求取显著图的有效性，在ODI数据库上进行3组实验，分别使用等矩形投影格式处理方法、立方体投影格式处理方法和本发明方法提出的对立方体投影格式的立体全景图像中的每个面消除边界的方法计算出立体全景图像的显著图，图3a为使用等矩形投影格式方法求取立体全景图像的显著图的效果，图3b为使用立方体投影格式方法求取立体全景图像的显著图的效果，图3c为使用本发明方法求取立体全景图像的显著图的效果。表2是图3a、图3b、图3c的客观对比结果。从表2可以看出，本发明方法在对立方体投影格式的全景立体图像中的每个面消除边界后预测效果较好，如果不对立方体投影格式的全景立体图像做任何改进直接求取显著图，效果较差。
表1不同显著性预测方法的客观比较
Figure BDA0002314736410000171
表2在不同投影平面的性能对比
Figure BDA0002314736410000172
上述，BMS方法是引自Zhang J,Sclaroff S.Saliency detection:A Boolean mapapproach.IEEE International Conference on Computer Vision(ICCV),2013,1:153-160.(Zhang J，Sclaroff S等人，“显著检测：布尔映射方法”，IEEE国际计算机视觉会议，2013，1:153-160)；MR方法是引自Yang C,Zhang L,Lu H,et al.Saliency detection viagraph-based manifold ranking.IEEE Conference on Computer Vision&PatternRecognition,2013,9(4):3166-3173.(Yang C,Zhang L,Lu H等人“基于图的流形排序显著性检测”，IEEE计算机视觉与模式识别会议，2013，9(4)：3166-3173)；Wang’s方法引自WangW,Shen J,Yu Y,et al.Stereoscopic thumbnail creation via efficient stereosaliency detection.IEEE Transactions on Visualization and Computer Graphics,2017,23(8):2014-2027.(Wang W,Shen J,Yu Y等人，“通过有效的立体显著性检测创建立体缩略图”，IEEE可视化与计算机图形学业务，2017，23(8)：2014-2027)；SMAP方法引自FangY,Wang J,Narwaria M,et al.Saliency detection for stereoscopic images.IEEETransactions on Image Processing,2014,23(6):2625-2636.(Fang Y,Wang J,NarwariaM等人，“立体图像的显著性检测”，IEEE图像处理业务，2014，23(6)：2625-2636)；Hu’s方法引自Hu B,Kane-Jackson R,Niebur E.A proto-object based saliency model inthree-dimensional space.Vision Research,2016,119:42-49.(Hu B,Kane-Jackson R,Niebur E，“三维空间中基于原型对象的显著性模型”，视觉研究，2016，119:42-49)；CDSR方法是引自Ling J,Zhang K,Zhang Y,et al.A saliency prediction model on 360degreeimages using color dictionary based sparse.Signal Processing:ImageCommunication,2018,69:60-68.(Ling J,Zhang K,Zhang Y，“基于颜色字典稀疏的360度图像显著性预测模型”，信号处理：图像通信，2018，69:60-68)。

Claims (4)

1.一种基于立方体投影格式的立体全景图像显著区域预测方法，其特征在于包括以下步骤：
步骤1：将待处理的宽度为W且高度为H的立体全景图像处理成立方体投影格式的立体全景图像，记为ICMP，ICMP由6个面组成，ICMP表述为ICMP＝(V1,V2,V3,V4,V5,V6)；其中，V1表示ICMP的左部面，V2表示ICMP的前部面，V3表示ICMP的右部面，V4表示ICMP的后部面，V5表示ICMP的顶部面，V6表示ICMP的底部面；
步骤2：构建ICMP的水平局部面，记为Vhl；并构建ICMP的水平全局面，记为Vhg；
所述的步骤2中，Vhl由8个面组成，Vhl表述为Vhl＝(V1,V2,V3,V4,V1',V2',V3',V4')；Vhg由2个面组成，Vhg表述为Vhg＝(Vhg1,Vhg2)；其中，V1'表示V1向左移动L1个像素点距离后得到的面，V2'表示V2向左移动L1个像素点距离后得到的面，V3'表示V3向左移动L1个像素点距离后得到的面，V4'表示V4向左移动L1个像素点距离后得到的面，
Figure QLYQS_1
M表示V1、V2、V3、V4、V5、V6的宽和高，Vhg1由V1、V2、V3、V4按顺序拼接成一行而成，Vhg1的宽度为4M且高度为M，Vhg2表示Vhg1向左移动L2个像素点距离后得到的面，/>
Figure QLYQS_2
M'表示Vhg1的宽度，即M'＝4M；
步骤3：计算Vhl的显著图，记为Shl；并计算Vhg的显著图，记为Shg；其中，Shl和Shg的宽度一致且高度一致；
所述的步骤3的具体过程为：
步骤3_1：将Vhl中的每个面和Vhg中的每个面均作为待处理的面；
步骤3_2：将当前待处理的面定义为当前面；
步骤3_3：对当前面进行超像素分割，分割得到多个超像素块；
步骤3_4：对当前面中的每个超像素块进行张量分解，得到当前面中的每个超像素块的张量域第一子带；然后将当前面中的每个超像素块的张量域第一子带中的所有像素点的像素值的均值作为该超像素块的颜色特征；再计算当前面中的每两个超像素块的颜色特征之间的距离，将当前面中的第i个超像素块的颜色特征与第j个超像素块的颜色特征之间的距离记为distci,j，distci,j＝||ci-cj||2；其中，1≤i≤Num，1≤j≤Num，i≠j，Num表示当前面中的超像素块的个数，Num＞1，ci表示当前面中的第i个超像素块的颜色特征，cj表示当前面中的第j个超像素块的颜色特征，符号“|| ||2”为求2-范数符号；
步骤3_5：计算当前面的左视图与右视图的视差图；然后将视差图中的每个超像素块中的所有像素点的像素值的均值作为当前面中的每个超像素块的深度特征，即将视差图中的第i个超像素块中的所有像素点的像素值的均值作为当前面中的第i个超像素块的深度特征；再计算当前面中的每两个超像素块的深度特征之间的距离，将当前面中的第i个超像素块的深度特征与第j个超像素块的深度特征之间的距离记为distdi,j，distdi,j＝||di-dj||2；其中，di表示当前面中的第i个超像素块的深度特征，cj表示当前面中的第j个超像素块的深度特征；
步骤3_6：计算当前面中的每两个超像素块之间的特征距离，将当前面中的第i个超像素块与第j个超像素块之间的特征距离记为disti,j，disti,j＝λc×distci,j+λd×distdi,j；其中，λc表示distci,j的权重，λd表示distdi,j的权重，λc+λd＝1；
步骤3_7：计算当前面中的每两个超像素块之间的边权重，将当前面中的第i个超像素块与第j个超像素块之间的边权重记为wti,j，
Figure QLYQS_3
其中，e表示自然基数，σ为常数，符号“|| ||”为求欧氏距离符号；
步骤3_8：以当前面中的每个超像素块为节点构造图模型，记为G，G＝(X,E)；其中，X表示所有节点构成的集合，即当前面中的所有超像素块构成的集合，E表示所有边构成的集合，当前面中的第i个超像素块与第j个超像素块之间的边的边权重为wti,j；
步骤3_9：计算G的关联矩阵和度矩阵，对应记为WT和D，WT＝[wti,j]Num×Num，D＝diag{D1,1,D2,2,...,Di,i,...,DNum,Num}；其中，diag{}表示构造一个对角矩阵操作，Di,i＝∑jwti,j，D1,1、D2,2、DNum,Num均根据Di,i＝∑jwti,j计算得到；
步骤3_10：采用前景先验方法，将G中的所有节点视为查询节点，计算G的指示向量，记为y，y＝[y1,…,yi,…,yNum]T；其中，y1,…,yi,…,yNum对应表示y中的第1个元素、……、第i个元素、……、第Num个元素，若G中的第1个节点为查询节点则令y1＝1，若G中的第i个节点为查询节点则令yi＝1，若G中的第Num个节点为查询节点则令yNum＝1，“[]T”表示向量或矩阵的转置；
步骤3_11：计算当前面的显著图，记为f*，f*＝(D-α×WT)-1y；其中，α为常数，α＝0.99，()-1表示向量或矩阵的逆；
步骤3_12：将下一个待处理的面作为当前面，然后返回步骤3_3继续执行，直至Vhl中的所有面和Vhg中的所有面处理完毕；
步骤3_13：计算Shl和Shg，
Figure QLYQS_4
其中，Shl1由Vhl中的V1、V2、V3、V4各自的显著图按顺序拼接成一行而成，Shl1的宽度为4M且高度为M，M表示V1、V2、V3、V4、V5、V6的宽和高，Shl3表示Shl2向右移动L1个像素点距离后得到的图像，/>
Figure QLYQS_5
Shl2由Vhl中的V1'、V2'、V3'、V4'各自的显著图按顺序拼接成一行而成，Shl2的宽度为4M且高度为M，Shg1表示Vhg1的显著图，Shg1的宽度为4M且高度为M，Shg3表示Shg2向右移动L2个像素点距离后得到的图像，
Figure QLYQS_6
M'＝4M，Shg2表示Vhg2的显著图，Shg2的宽度为4M且高度为M；
步骤4：使用Shl加权Shg，得到ICMP的水平面显著图，记为Shv；其中，Shv的宽度为4M且高度为M，M表示V1、V2、V3、V4、V5、V6的宽和高；
步骤5：构建ICMP的垂直面，记为Vv；
步骤6：计算Vv的显著图；然后将Vv的显著图作为ICMP的垂直面显著图，记为Svv；其中，的宽度为M且高度为3M；
步骤7：将Shv在宽度方向上从左往右以M个像素点为距离进行切分，获得四个面，将Shv表述为Shv＝(S1,S'2,S3,S4)；并将Svv在高度方向上从上往下以M个像素点为距离进行切分，获得三个面，将Svv表述为Svv＝(S5,S”2,S6)；然后计算ICMP的显著图，记为SCMP，SCMP＝(S1,S2,S3,S4,S5,S6)，
Figure QLYQS_7
其中，令(x1,x2)表示Shv中的像素点的坐标位置，1≤x1≤4M,1≤x2≤M，S1表示Shv中坐标位置在1≤x1≤M，1≤x2≤M范围内的所有像素点构成的面，S'2表示Shv中坐标位置在M+1≤x1≤2M，1≤x2≤M范围内的所有像素点构成的面，S3表示Shv中坐标位置在2M+1≤x1≤3M，1≤x2≤M范围内的所有像素点构成的面，S4表示Shv中坐标位置在3M+1≤x1≤4M，1≤x2≤M范围内的所有像素点构成的面，令(x'1,x'2)表示Svv中的像素点的坐标位置，1≤x'1≤M,1≤x'2≤3M，S5表示Svv中坐标位置在1≤x'1≤M，1≤x'2≤M范围内的所有像素点构成的面，S”2表示Svv中坐标位置在1≤x'1≤M，M+1≤x'2≤2M范围内的所有像素点构成的面，S6表示Svv中坐标位置在1≤x'1≤M，2M+1≤x'2≤3M范围内的所有像素点构成的面，S1表示SCMP的左部面，S2表示SCMP的前部面，S3表示SCMP的右部面，S4表示SCMP的后部面，S5表示SCMP的顶部面，S6表示SCMP的底部面；
步骤8：将SCMP处理成等矩形投影格式的图像，记为SERP；然后使用纬度增强权重w加权SERP，得到待处理的立体全景图像的显著图，记为Sw，将Sw中坐标位置为(a,b)的像素点的像素值记为Sw(a,b)，Sw(a,b)＝SERP(a,b)×w(a,b)；其中，1≤a≤W,1≤b≤H，SERP(a,b)表示SERP中坐标位置为(a,b)的像素点的像素值，w(a,b)表示w中下标为(a,b)的元素的值，
Figure QLYQS_8
2.根据权利要求1所述的基于立方体投影格式的立体全景图像显著区域预测方法，其特征在于所述的步骤4中，将Shv中坐标位置为(x1,x2)的像素点的像素值记为Shv(x1,x2)，Shv(x1,x2)＝Shg(x1,x2)×Shl(x1,x2)；其中，1≤x1≤4M,1≤x2≤M，4M为Shv的宽度，M为Shv的高度，Shg(x,y)表示Shg中坐标位置为(x1,x2)的像素点的像素值，Shl(x,y)表示Shl中坐标位置为(x1,x2)的像素点的像素值。
3.根据权利要求1所述的基于立方体投影格式的立体全景图像显著区域预测方法，其特征在于所述的步骤5中，Vv由V5、V2、V6按顺序拼接成一列而成，Vv的宽度为M且高度为3M，M表示V1、V2、V3、V4、V5、V6的宽和高。
4.根据权利要求3所述的基于立方体投影格式的立体全景图像显著区域预测方法，其特征在于所述的步骤6的具体过程为：
步骤6_1：将Vv定义为当前面；
步骤6_2：对当前面进行超像素分割，分割得到多个超像素块；
步骤6_3：对当前面中的每个超像素块进行张量分解，得到当前面中的每个超像素块的张量域第一子带；然后将当前面中的每个超像素块的张量域第一子带中的所有像素点的像素值的均值作为该超像素块的颜色特征；再计算当前面中的每两个超像素块的颜色特征之间的距离，将当前面中的第i个超像素块的颜色特征与第j个超像素块的颜色特征之间的距离记为distci,j，distci,j＝||ci-cj||2；其中，1≤i≤Num，1≤j≤Num，i≠j，Num表示当前面中的超像素块的个数，Num＞1，ci表示当前面中的第i个超像素块的颜色特征，cj表示当前面中的第j个超像素块的颜色特征，符号“|| ||2”为求2-范数符号；
步骤6_4：计算当前面的左视图与右视图的视差图；然后将视差图中的每个超像素块中的所有像素点的像素值的均值作为当前面中的每个超像素块的深度特征，即将视差图中的第i个超像素块中的所有像素点的像素值的均值作为当前面中的第i个超像素块的深度特征；再计算当前面中的每两个超像素块的深度特征之间的距离，将当前面中的第i个超像素块的深度特征与第j个超像素块的深度特征之间的距离记为distdi,j，distdi,j＝||di-dj||2；其中，di表示当前面中的第i个超像素块的深度特征，cj表示当前面中的第j个超像素块的深度特征；
步骤6_5：计算当前面中的每两个超像素块之间的特征距离，将当前面中的第i个超像素块与第j个超像素块之间的特征距离记为disti,j，disti,j＝λc×distci,j+λd×distdi,j；其中，λc表示distci,j的权重，λd表示distdi,j的权重，λc+λd＝1；
步骤6_6：计算当前面中的每两个超像素块之间的边权重，将当前面中的第i个超像素块与第j个超像素块之间的边权重记为wti,j，
Figure QLYQS_9
其中，e表示自然基数，σ为常数，符号“||||”为求欧氏距离符号；
步骤6_7：以当前面中的每个超像素块为节点构造图模型，记为G，G＝(X,E)；其中，X表示所有节点构成的集合，即当前面中的所有超像素块构成的集合，E表示所有边构成的集合，当前面中的第i个超像素块与第j个超像素块之间的边的边权重为wti,j；
步骤6_8：计算G的关联矩阵和度矩阵，对应记为WT和D，WT＝[wti,j]Num×Num，D＝diag{D1,1,D2,2,...,Di,i,...,DNum,Num}；其中，diag{}表示构造一个对角矩阵操作，Di,i＝∑jwti,j，D1,1、D2,2、DNum,Num均根据Di,i＝∑jwti,j计算得到；
步骤6_9：按步骤3_2至步骤3_11的过程，以相同的方式获取当前面中的V2部分的显著图；然后计算判定为属于当前面中的V2部分的显著图的每个超像素块的二值化结果；再采用前景先验方法，将判定为属于当前面中的V2部分的显著图的所有超像素块视为查询节点，计算G的指示向量，记为y'，y'＝[y'1,…,y'i,…,y'Num]T；其中，若当前面中的一个超像素块的部分或全部落于当前面中的V2部分中，则将该超像素块判定为属于当前面中的V2部分，y'1,…,y'i,…,y'Num对应表示y'中的第1个元素、……、第i个元素、……、第Num个元素，若G中的第k个节点即当前面中的第k个超像素块被判定为属于当前面中的V2部分，则令y'k的值等于该超像素块的二值化结果，若G中的第k个节点即当前面中的第k个超像素块被判定为不属于当前面中的V2部分，则令y'k＝0，“[]T”表示向量或矩阵的转置，k为正整数，1≤k≤Num；
步骤6_10：计算当前面的显著图，记为f**，f**＝(D-α×WT)-1y'；其中，α为常数，α＝0.99，()-1表示向量或矩阵的逆；
步骤6_11：将f**重新记为Svv。
CN201911273003.1A 2019-12-12 2019-12-12 基于立方体投影格式的立体全景图像显著区域预测方法 Active CN111178163B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911273003.1A CN111178163B (zh) 2019-12-12 2019-12-12 基于立方体投影格式的立体全景图像显著区域预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911273003.1A CN111178163B (zh) 2019-12-12 2019-12-12 基于立方体投影格式的立体全景图像显著区域预测方法

Publications (2)

Publication Number Publication Date
CN111178163A CN111178163A (zh) 2020-05-19
CN111178163B true CN111178163B (zh) 2023-06-09

Family

ID=70651975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911273003.1A Active CN111178163B (zh) 2019-12-12 2019-12-12 基于立方体投影格式的立体全景图像显著区域预测方法

Country Status (1)

Country Link
CN (1) CN111178163B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114898120B (zh) * 2022-05-27 2023-04-07 杭州电子科技大学 一种基于卷积神经网络的360度图像显著目标检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008021926A1 (de) * 2008-05-02 2009-11-05 Sicat Gmbh & Co. Kg Erstellung und Präsentation von patientenindividuellen Panoramadarstellungen
CN107666606A (zh) * 2016-07-29 2018-02-06 东南大学 双目全景图像获取方法及装置
CN107977660A (zh) * 2017-10-13 2018-05-01 天津工业大学 基于背景先验和前景节点的感兴趣区域检测方法
CN109166178A (zh) * 2018-07-23 2019-01-08 中国科学院信息工程研究所 一种视觉特性与行为特性融合的全景图像显著图生成方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018193330A1 (en) * 2017-04-20 2018-10-25 Nokia Technologies Oy Method and apparatus for delivery of streamed panoramic images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008021926A1 (de) * 2008-05-02 2009-11-05 Sicat Gmbh & Co. Kg Erstellung und Präsentation von patientenindividuellen Panoramadarstellungen
CN107666606A (zh) * 2016-07-29 2018-02-06 东南大学 双目全景图像获取方法及装置
CN107977660A (zh) * 2017-10-13 2018-05-01 天津工业大学 基于背景先验和前景节点的感兴趣区域检测方法
CN109166178A (zh) * 2018-07-23 2019-01-08 中国科学院信息工程研究所 一种视觉特性与行为特性融合的全景图像显著图生成方法及系统

Also Published As

Publication number Publication date
CN111178163A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
Liu et al. PQA-Net: Deep no reference point cloud quality assessment via multi-view projection
CN107767413B (zh) 一种基于卷积神经网络的图像深度估计方法
Lee et al. From big to small: Multi-scale local planar guidance for monocular depth estimation
Niu et al. 2D and 3D image quality assessment: A survey of metrics and challenges
CN108038420B (zh) 一种基于深度视频的人体行为识别方法
CN109360178B (zh) 基于融合图像的无参考立体图像质量评价方法
CN109831664B (zh) 基于深度学习的快速压缩立体视频质量评价方法
CN101610425B (zh) 一种评测立体图像质量的方法和装置
CN110189294B (zh) 基于深度可信度分析的rgb-d图像显著性检测方法
CN111988593B (zh) 一种基于深度残差优化的立体图像颜色校正方法及系统
CN108520510B (zh) 一种基于整体和局部分析的无参考立体图像质量评价方法
CN111488951B (zh) 一种用于rgb-d图像分类的对抗度量学习模型生成方法
Xu et al. EPES: Point cloud quality modeling using elastic potential energy similarity
CN108388901B (zh) 基于空间-语义通道的协同显著目标检测方法
CN115546162A (zh) 一种虚拟现实图像质量评估方法及系统
CN111178163B (zh) 基于立方体投影格式的立体全景图像显著区域预测方法
CN108492275B (zh) 基于深度神经网络的无参考立体图像质量评价方法
CN116740261A (zh) 图像重建方法和装置、图像重建模型的训练方法和装置
CN114092540A (zh) 基于注意力机制的光场深度估计方法及计算机可读介质
CN117730530A (zh) 图像处理方法及装置、设备、存储介质
CN107665488B (zh) 一种立体图像视觉显著提取方法
Dedhia et al. Saliency prediction for omnidirectional images considering optimization on sphere domain
Wu et al. Stereo superpixel segmentation via dual-attention fusion networks
CN112488122B (zh) 一种基于卷积神经网络的全景图像视觉显著性预测方法
Karakottas et al. 360D: a dataset and baseline for dense depth estimation from 360 images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant