CN105915892A - 全景视频质量判断方法及系统 - Google Patents

全景视频质量判断方法及系统 Download PDF

Info

Publication number
CN105915892A
CN105915892A CN201610299406.3A CN201610299406A CN105915892A CN 105915892 A CN105915892 A CN 105915892A CN 201610299406 A CN201610299406 A CN 201610299406A CN 105915892 A CN105915892 A CN 105915892A
Authority
CN
China
Prior art keywords
frame
video
psnr
panoramic video
noise ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610299406.3A
Other languages
English (en)
Inventor
邓欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LeCloud Computing Co Ltd
LeTV Holding Beijing Co Ltd
LeTV Cloud Computing Co Ltd
Original Assignee
LeTV Holding Beijing Co Ltd
LeTV Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LeTV Holding Beijing Co Ltd, LeTV Cloud Computing Co Ltd filed Critical LeTV Holding Beijing Co Ltd
Priority to CN201610299406.3A priority Critical patent/CN105915892A/zh
Publication of CN105915892A publication Critical patent/CN105915892A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开一种全景视频质量判断方法,其包括:将全景视频的视频帧映射成具有前景区域和背景区域的图像;根据所述图像的峰值信噪比来确定所述视频帧的帧峰值信噪比;其中,根据所述图像的峰值信噪比来确定所述视频帧的帧峰值信噪比包括:至少根据所述图像的前景区域的峰值信噪比和背景区域的峰值信噪比进行加权求和来确定所述视频帧的帧峰值信噪比;至少基于所述全景视频的一部分视频帧的帧峰值信噪比的平均值来判断所述全景视频的质量;相应的本公开还提供一种全景视频质量判断系统;本公开的全景视频质量判断方法及系统可以更加准确地度量全景视频的质量。

Description

全景视频质量判断方法及系统
技术领域
本发明涉及信息技术领域,特别涉及一种全景视频质量判断方法及系统。
背景技术
在不久的将来,传统的单视角视频服务将被多视角的全景视频服务所代替,因为全景视频能够带给人们更加沉浸式的视觉体验。目前,在针对全景视频的新的编码方式未出来之前,全景视频依然采用传统的平面视频编码方式进行编码。尽管现有的视频编码技术很先进,但由于全景视频自身特点的特殊性,在全景视频编码中仍然存在很多亟待解决的问题。其中一个问题就是关于全景视频的质量评价体系的确立。
目前,由于全景视频刚刚流行,专门针对全景视频的质量评价方法并不完善,各个标准机构也并没有建立全景视频的有效的质量评价体系。因此,传统的峰值信噪比(PSNR,是“Peak Signal to Noise Ratio”的缩写)依然是主流的视频质量评价方法。但非常明显的是,用PSNR进行质量评价的方法并不适用于全景视频,因为在这种评价体系中视频中每一个像素点的失真都会对视频整体的质量评价产生影响。而实际上,对于全景视频而言,人们在观看时,由于外界观看设备(比如VR头盔)和人类自身视觉系统的限制,人们的视觉注意点通常会集中在某一个小范围和小场景中。这样,事实上,只有被关注区域的像素点的失真才会影响到全景视频整体的质量,而对于未受到关注的区域,其像素点的失真并不会对视频整体的质量产生影响,因为这种失真并没有进入观测者的视觉系统中。
发明内容
本公开提供一种全景视频质量判断方法及系统,以至少解决上述技术问题之一。
一方面,提供一种全景视频质量判断方法,所述方法包括:
将全景视频的视频帧映射成具有前景区域和背景区域的图像;
根据所述图像的峰值信噪比来确定所述视频帧的帧峰值信噪比;其中,根据所述图像的峰值信噪比来确定所述视频帧的帧峰值信噪比包括:至少根据所述图像的前景区域的峰值信噪比和背景区域的峰值信噪比进行加权求和来确定所述视频帧的帧峰值信噪比;
至少基于所述全景视频的一部分视频帧的帧峰值信噪比的平均值来判断所述全景视频的质量。
另一方面,提供一种全景视频质量判断系统,所述系统包括:
视频帧映射模块,用于将全景视频的视频帧映射成具有前景区域和背景区域的图像;
帧峰值信噪比确定模块,用于根据所述图像的峰值信噪比来确定所述视频帧的帧峰值信噪比;其中,根据所述图像的峰值信噪比来确定所述视频帧的帧峰值信噪比包括:至少根据所述图像的前景区域的峰值信噪比和背景区域的峰值信噪比进行加权求和来确定所述视频帧的帧峰值信噪比;
全景视频质量评价模块,用于至少基于所述全景视频的一部分视频帧的帧峰值信噪比的平均值来判断所述全景视频的质量。
本公开的全景视频质量判断方法及系统首先通过将全景视频映射为具有前景区域和背景区域的图像,然后根据所述图像的前景区域的峰值信噪比和背景区域的峰值信噪比进行加权求和来确定所述视频帧的帧峰值信噪比,以用于确定全景视频的一部分视频帧的帧峰值信噪比的平均值来判断全景视频的质量,从而不仅实现了对全景视频的质量的度量,还通过加权系数的设定 能够将观察者主要关注的前景区域划定为主要影响全景视频质量的因素,将背景区域划分为影响全景视频质量的次要因素,从而提升了对全景视频质量的度量的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的全景视频质量判断方法的一实施例的流程图;
图2为本发明的全景视频质量判断方法的另一实施例的流程图;
图3为本发明的全景视频质量判断系统的一实施例的流程图;
图4为本发明的全景视频质量判断系统的另一实施例的示意图;
图5为本发明的全景视频质量判断装置的一实施例的示意图。
具体实施例
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
本发明可用于众多通用或专用的计算系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、 基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”,不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
如图1所示,本发明的一实施例的全景视频质量判断方法,所述方法包括:
S11、将全景视频的视频帧映射成具有前景区域和背景区域的图像;
S12、根据所述图像的峰值信噪比来确定所述视频帧的帧峰值信噪比;其中,根据所述图像的峰值信噪比来确定所述视频帧的帧峰值信噪比包括:至少根据所述图像的前景区域的峰值信噪比和背景区域的峰值信噪比进行加权求和来确定所述视频帧的帧峰值信噪比;
S13、至少基于所述全景视频的一部分视频帧的帧峰值信噪比的平均值来判断所述全景视频的质量。
本公开的全景视频质量判断方法首先通过将全景视频映射为具有前景区域和背景区域的图像(这里的前景区域指的是全景视频观察者的面部所在平面之前的区域,背景区域指的是全景视频观察者的面部所在平面之后的区域),然后根据所述图像的前景区域的峰值信噪比和背景区域的峰值信噪比进行加权求和来确定所述视频帧的帧峰值信噪比,以用于确定全景视频的一部分视频帧的帧峰值信噪比的平均值来判断全景视频的质量,从而不仅实现了对全景视频的质量的度量,还通过加权系数的设定能够将观察者主要关注的前景区域划定为主要影响全景视频质量的因素,将背景区域划分为影响全景视频质量的次要因素,从而提升了对全景视频质量的度量的准确性。
在一些实施例中,前景区域的峰值信噪比的加权系数大于后景区域的峰值信噪比的加权系数,以更加准确的单端全景视频的质量,该判断结果更加贴近观看全景视频的用户的观影体验。
本公开针对全景视频的特点和人们在观看全景视频时的视觉特性,提出一种有效的基于视觉关注点的全景视频质量判断方法。
全景视频是包括水平360度和垂直180度的视觉全方位覆盖的一类视频,对其进行编码的第一步是将其映射成平面视频,现在比较常用的映射方式包括对称的六面体映射、非对称的六面体映射、棱锥映射,这里我们以对称的六面体映射为例,其分为上、下、左、右、前、后六个平面(即,六幅图像),这六个平面可以将观测者完全包围在全景视频中(这里以观测者所面向的方向为前),使其产生身临其境的临场感和沉浸感。另一方面,由于外在设备和人眼自身的限制,观看者的关注区域大部分时间会集中在前向场景中(即,前景区域),在这里,前向场景主要包括正前,前左(即,左平面的前一部分),前右,前上和前下。剩下的区域称之为后向区域(即,后景区域),一般来说,人眼对于后向区域关注度没有前向区域强。因此,后向区域的失真有很大的可能性被人眼忽略。在本公开中,我们提出对前后景区域的像素点失真采用 不同的权重的方式来契合人眼的这种观察特性,以提高全景视频质量评价的准确性,其质量VPSNR可以由如下公式得到:
VPSNR=wf·PSNRf+wb·PSNRb (公式1)
在公式1中,wf表示前景区域质量PSNRf的加权系数,wb表示后景区域质量PSNRb加权系数,在这里,wf是大于wb的,wf的取值范围为0.5~1,wb的取值范围为0~0.5,并且二者的代数和为1。wf和wb的取值大小是可以根据视频特性进行确定的,比如,对于前景区域中的画面的活跃性特别强,并且后景区域中的画面基本为固定不变的背景时,wf可以取值为0.9,wb可以取值0.1;相反当前景区域中的画面与后向面中的画面存在比较频繁的交互性而需要观察者频繁的回头观看时,则可以将wf取值为0.6,wb取值0.4。
在本公开的另一些实施例中,根据所述图像的峰值信噪比来确定所述视频帧的帧峰值信噪比包括:将所述图像划分成对应不同方位的子图像,对每一子图像的峰值信噪比进行加权求和以确定所述视频帧的帧峰值信噪比;其中,至少根据所述每一子图像对应的前景和背景区域以及所述每一子图像的运动密度来确定所述每一子图像的所述峰值信噪比的权重。
在上述实施例中,除了考虑了前景和背景区域对的观察者对全景视频的质量的体验的影响之外,同时还进一步的通过将具有前景区域和背景区域的图像划分为对应于不同方位的子图像,以考虑前景和背景区域中的每一个子图像活跃程度,因为活跃程度高的面会转移将观察者注意力,从而将观察者吸引至当前面对的面之外的其它的面,这样构成影响全景视频质量的观察者前一刻所关注的面就转变成了这一刻因其它的面的活跃程度比较高而转向的其它的面,这时在判断全景视频的质量时需要重点考虑的就是转向的该“其它的面”了(例如,观察者当前观察的是正前方的可视区域(正前平面),这 时这个正前方的可视区域就是影响全景视频质量的最重要区域,当突然观察者的头部区域有一架飞机飞过时,观察者就会立即抬头看飞机,这时,头顶的这个可视区域(前上平面)就成为了当前影响全景视频的质量的最重要区域),因此,本实施例充分考虑了观察者的关注点可能会随着外界不同位置的活跃程度的不同而随着改变的特点,从而得出了更加准确的度量全景视频质量的方法。
在本实施例中,划分得到的对应于不同方位的子图像中属于前景区域的子图像的峰值信噪比的权重包括前向加权系数和面加权系数两部分;划分得到的对应于不同方位的子图像中属于后景区域的子图像的峰值信噪比的权重包括后向加权系数和面加权系数两部分;其中前向加权系数和后向加权系数之和为1,且前向加权系数大于后向加权系数;此外,面加权系数由相对应的子图像的运动密度来确定。
如图2所示,本公开的另一实施例的全景视频质量判断方法中,确定每一子图像的运动密度包括:
获取所述每一子图像中的至少一部分像素点的运动矢量;
确定所获取的像素点的运动矢量的平均值;
对求均值结果取二阶范数以确定所述每一子图像的运动密度。
本实施例中的每个像素点的运动矢量是在标准的视频编解码中的过程量,因此,每个像素点的运动矢量是可以直接在视频编解码过程中获得的。
为了使得本实施例更加清楚,下面我们还是以六面体为例来进行进一步的阐述:在全景视频中,除了前后景的重要性有明显的区分之外,根据视频场景的不同,六个不同的平面也有重要性的区分。在本实施例中,这种重要性是通过运动密度来衡量的(即,体现为区域的活跃程度)。一般情况下,在 观看全景视频时,受到人眼最多的关注的区域是正前平面,我们称之为“主视野”,相对应的,人眼在观测时存在“侧视野”,包括前左、前右、前上和前下四个区域,当“侧视野”发生突然的剧烈运动而“主视野”相对静止时,人眼的关注区域将从原先的“主视野”转移到“侧视野”,这样,原本的“侧视野”将会变成新的“主视野”。这种主侧视野的转移通常表现为观测者头部的上下或左右的转动,但很少表现为突然的转身,因此,即使这种情况下,观察者所背向的正后平面、后左、后右、后上和后下五个区域仍然是次要考虑的因素。
在本公开的实施例中,我们采用区域内平均运动矢量(MV)作为运动密度的衡量。以“上平面”为例,其运动密度可以表示为:
其中,(m,n)为属于“上平面”的像素点,M为“上平面”的宽度,N为“上平面”的高度,M和N的单位为像素,1/(M·N)表示对“上平面”内所有的像素点求平均值。鉴于MVTOP为矢量,不便进行衡量,我们对其取二阶范数来得到一个标量值,这个值的大小可以反映该区域运动的活跃程度。
其中,x和y分别为MVTOP的横纵坐标的数值。
同理,可以根据上述公式2和公式3来确定正前平面、正后平面、左平面、右平面和下平面五个区域的活跃程度,在获得了六个平面各自的活跃程度之后,我们就可以根据其活跃程度的大小来决定其各自的重要性,一般来说,运动密度越大的区域,其获得关注的几率越大,该区域的失真对视频质量的影响越大,因此应该赋予其更高的重要性。根据六个平面活跃程度的大小我们可以获得每个平面的基于活跃程度的权重,前后左右上下六个面分别为“w1,w2,w3,w4,w5,w6”,注意他们的代数和应该为1;具体的一种确定 w1,w2,w3,w4,w5,w6中数值大小的方法可以为:通过计算六个面的活跃程度值之和,并确定各个面的活跃程度值在上述和值中所占的比重来相应的确定为各个面的权重值w1,w2,w3,w4,w5,w6
将基于前后景的权重(wf,wb)与基于运动密度的权重(w1,w2,w3,w4,w5,w6)相结合,我们可以获得10个区域(即,10个子图像)各自的权重,包括正前(W1=wf+w1),正后(W2=wb+w2),前左(W3=wf+w3),后左(W4=wb+w3),前右(W5=wf+w4),后右(W6=wb+w4),前上(W7=wf+w5),后上(W8=wb+w5),前下(W9=wf+w6),后下(W10=wb+w6)。这样,最终的全景视频的质量评价标准VPSNR可以通过下面的公式得到:
其中,公式4中的系数1/2是用来归一化的。如果该视频帧为I帧,则不存在运动密度信息(即基于运动密度的权重全部为0),这种情况下,Wi中就只包括基于前后景的权重,VPSNR将会变成:
在获取了所有帧的VPSNR后,视频整体的质量等于所有视频帧的VPSNR的加和平均值以度量全景视频的质量。
本实施例中,I帧(I frame)又称为内部画面(intra picture),I帧通常是每个GOP(Group of Pictures,图像组,HEVC将所有编码帧分成若干个图像组进行编码,其中,HEVC是High Efficiency Video Coding的缩写)的第一个帧,不依赖于其它参考帧,经过帧内压缩,做为随机访问的参考点,可以当成图象。在HEVC编码的过程中,部分视频帧序列压缩成为I帧;部分压缩成P帧;还有部分压缩成B帧。
I帧表示关键帧,可以理解为这一帧画面的完整保留;解码时只需要本帧数据就可以完成(因为包含完整画面);
P帧表示的是这一帧跟之前的一个关键帧(或P帧)的差别,解码时需要用之前缓存的画面叠加上本帧定义的差别,生成最终画面。(也就是差别帧,P帧没有完整画面数据,只有与前一帧的画面差别的数据);
B帧是双向差别帧,也就是B帧记录的是本帧与前后帧的差别(具体比较复杂,有4种情况),换言之,要解码B帧,不仅要取得之前的缓存画面,还要解码之后的画面,通过前后画面的与本帧数据的叠加取得最终的画面。
本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作合并,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
如图3所示,本公开以实施例的全景视频质量判断系统,所述系统包括:
视频帧映射模块,用于将全景视频的视频帧映射成具有前景区域和背景区域的图像;
帧峰值信噪比确定模块,用于根据所述图像的峰值信噪比来确定所述视频帧的帧峰值信噪比;其中,根据所述图像的峰值信噪比来确定所述视频帧的帧峰值信噪比包括:至少根据所述图像的前景区域的峰值信噪比和背景区 域的峰值信噪比进行加权求和来确定所述视频帧的帧峰值信噪比;
全景视频质量评价模块,用于至少基于所述全景视频的一部分视频帧的帧峰值信噪比的平均值来判断所述全景视频的质量。
本公开的全景视频质量判断系统首先通过将全景视频映射为具有前景区域和背景区域的图像,然后根据所述图像的前景区域的峰值信噪比和背景区域的峰值信噪比进行加权求和来确定所述视频帧的帧峰值信噪比,以用于确定全景视频的一部分视频帧的帧峰值信噪比的平均值来判断全景视频的质量,从而不仅实现了对全景视频的质量的度量,还通过加权系数的设定能够将观察者主要关注的前景区域划定为主要影响全景视频质量的因素,将背景区域划分为影响全景视频质量的次要因素,从而提升了对全景视频质量的度量的准确性。
在一些实施例中,前景区域的峰值信噪比的加权系数大于后景区域的峰值信噪比的加权系数,以更加准确的单端全景视频的质量,该判断结果更加贴近观看全景视频的用户的观影体验。
本公开针对全景视频的特点和人们在观看全景视频时的视觉特性,提出一种有效的基于视觉关注点的全景视频质量评价系统。
全景视频是包括水平360度和垂直180度的视觉全方位覆盖的一类视频,对其进行编码的第一步是将其映射成平面视频,现在比较常用的映射方式包括对称六面体映射,非对称六面体映射和棱锥映射,这里我们以对称六面体为例,但并不限于对称六面体,其分为上、下、左、右、前、后六个平面,这六个平面可以将观测者完全包围在全景视频中,使其产生身临其境的临场感和沉浸感。另一方面,由于外在设备和人眼自身的限制,观看者的关注区域大部分时间会集中在前向场景中,在这里,前向场景主要包括正前,前左,前右,前上和前下。剩下的区域称之为后向区域,一般来说,人眼对于后向区域关注度没有前向区域强。因此,后向区域的失真有很大的可能性被人眼 忽略。在本发明中,我们提出对前后景区域的像素点失真采用不同的权重的方式来契合人眼的这种观察特性,以提高全景视频质量评价的准确性,其质量VPSNR可以由如下公式得到:
VPSNR=wf·PSNRf+wb·PSNRb
在公式中,wf表示前景区域质量PSNRf的加权系数,wb表示后景区域质量PSNRb加权系数,在这里,wf是大于wb的,wf的取值范围为0.5~1,wb的取值范围为0~0.5,并且二者的代数和为1。
在本公开的另一些实施例中,根据所述图像的峰值信噪比来确定所述视频帧的帧峰值信噪比包括:将所述图像划分成对应不同方位的子图像,对每一子图像的峰值信噪比进行加权求和以确定所述视频帧的帧峰值信噪比;其中,至少根据所述每一子图像对应的前景和背景区域以及所述每一子图像的运动密度来确定所述每一子图像的所述峰值信噪比的权重。
在上述实施例中,除了考虑了前景和背景区域对的观察者对全景视频的质量的体验的影响之外,同时还进一步的通过将具有前景区域和背景区域的图像划分为对应于不同方位的子图像,以考虑前景和背景区域中的每一个子图像活跃程度,因为活跃程度高的面会转移将观察者注意力,从而将观察者吸引至当前面对的面之外的其它的面,这样构成影响全景视频质量的观察者前一刻所关注的面就转变成了这一刻因其它的面的活跃程度比较高而转向的其它的面,这时在判断全景视频的质量时需要重点考虑的就是转向的该“其它的面”了(例如,观察者当前观察的是正前方的可视区域(正前平面),这时这个正前方的可视区域就是影响全景视频质量的最重要区域,当突然观察者的头部区域有一架飞机飞过时,观察者就会立即抬头看飞机,这时,头顶的这个可视区域(前上平面)就成为了当前影响全景视频的质量的最重要区域),因此,本实施例充分考虑了观察者的关注点可能会随着外界不同位置的 活跃程度的不同而随着改变的特点,从而得出了更加准确的度量全景视频质量的方法。
在本实施例中,划分得到的对应于不同方位的子图像中属于前景区域的子图像的峰值信噪比的权重包括前向加权系数和面加权系数两部分;划分得到的对应于不同方位的子图像中属于后景区域的子图像的峰值信噪比的权重包括后向加权系数和面加权系数两部分;其中前向加权系数和后向加权系数之和为1,且前向加权系数大于后向加权系数;此外,面加权系数由相对应的子图像的运动密度来确定。
如图4所示,在本发明的另一实施例的度量全景视频质量的系统中,还包括运动密度确定模块,其包括:
运动矢量获取单元,用于获取所述每一子图像中的至少一部分像素点的运动矢量;
运动矢量求均值单元,用于确定所获取的像素点的运动矢量的平均值;
运动密度确定单元,用于对求均值结果取二阶范数以确定所述每一子图像的运动密度。
在一些实施例中,当所述视频帧为关键帧时,所述视频帧转换的所述图像的运动密度为0。
在一些实施例中,子图像的数量为六幅。
另一方面,本公开的一些实施例还提供一种全景视频质量判断装置,其包括:
存储器,用于存储运行指令;
处理器,用于执行所述存储器存储的运行指令,以执行:
将全景视频的视频帧映射成具有前景区域和背景区域的图像;
根据所述图像的峰值信噪比来确定所述视频帧的帧峰值信噪比;其中,根据所述图像的峰值信噪比来确定所述视频帧的帧峰值信噪比包括:至少根据所述图像的前景区域的峰值信噪比和背景区域的峰值信噪比进行加权求和来确定所述视频帧的帧峰值信噪比;
至少基于所述全景视频的一部分视频帧的帧峰值信噪比的平均值来判断所述全景视频的质量。
图5为本公开的全景视频质量判断装置500的结构示意图,本申请具体实施例并不对用户设备500的具体实现做限定。如图5所示,该用户设备500可以包括:
处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530、以及通信总线540。其中:
处理器510、通信接口520、以及存储器530通过通信总线540完成相互间的通信。
通信接口520,用于与比如客户端等的网元通信。
处理器510,用于执行程序532,具体可以执行上述方法实施例中的相关步骤。
具体地,程序532可以包括程序代码,所述程序代码包括计算机操作指令。
处理器510可能是一个中央处理器CPU,或者是特定集成电路ASIC(Application Specific Integrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电路。
以上所描述的方法实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或 者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施例的描述,本领域的技术人员可以清楚地了解到各实施例可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设 备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种全景视频质量判断方法,所述方法包括:
将全景视频的视频帧映射成具有前景区域和背景区域的图像;
根据所述图像的峰值信噪比来确定所述视频帧的帧峰值信噪比;其中,根据所述图像的峰值信噪比来确定所述视频帧的帧峰值信噪比包括:至少根据所述图像的前景区域的峰值信噪比和背景区域的峰值信噪比进行加权求和来确定所述视频帧的帧峰值信噪比;
至少基于所述全景视频的一部分视频帧的帧峰值信噪比的平均值来判断所述全景视频的质量。
2.根据权利要求1所述的方法,所述根据所述图像的峰值信噪比来确定所述视频帧的帧峰值信噪比包括:将所述图像划分成对应不同方位的子图像,对每一子图像的峰值信噪比进行加权求和以确定所述视频帧的帧峰值信噪比;其中,至少根据所述每一子图像对应的前景和背景区域以及所述每一子图像的运动密度来确定所述每一子图像的所述峰值信噪比的权重。
3.根据权利要求2所述的方法,其中,确定所述每一子图像的运动密度包括:
获取所述每一子图像中的至少一部分像素点的运动矢量;
确定所获取的像素点的运动矢量的平均值;
对求均值结果取二阶范数以确定所述每一子图像的运动密度。
4.根据权利要求2所述的方法,其中,当所述视频帧为关键帧时,所述视频帧转换的所述图像的运动密度为0。
5.根据权利要求2-4其中任一项所述的方法,其中,所述子图像的数量为六幅。
6.一种全景视频质量判断系统,所述系统包括:
视频帧映射模块,用于将全景视频的视频帧映射成具有前景区域和背景区域的图像;
帧峰值信噪比确定模块,用于根据所述图像的峰值信噪比来确定所述视频帧的帧峰值信噪比;其中,根据所述图像的峰值信噪比来确定所述视频帧的帧峰值信噪比包括:至少根据所述图像的前景区域的峰值信噪比和背景区域的峰值信噪比进行加权求和来确定所述视频帧的帧峰值信噪比;
全景视频质量判断模块,用于至少基于所述全景视频的一部分视频帧的帧峰值信噪比的平均值来判断所述全景视频的质量。
7.根据权利要求6所述的系统,所述根据所述图像的峰值信噪比来确定所述视频帧的帧峰值信噪比包括:将所述图像划分成对应不同方位的子图像,对每一子图像的峰值信噪比进行加权求和以确定所述视频帧的帧峰值信噪比;其中,至少根据所述每一子图像对应的前景和背景区域以及所述每一子图像的运动密度来确定所述每一子图像的所述峰值信噪比的权重。
8.根据权利要求6所述的系统,其中,还包括运动密度确定模块,其包括:
运动矢量获取单元,用于获取所述每一子图像中的至少一部分像素点的运动矢量;
运动矢量求均值单元,用于确定所获取的像素点的运动矢量的平均值;
运动密度确定单元,用于对求均值结果取二阶范数以确定所述每一子图像的运动密度。
9.根据权利要求6所述的系统,其中,当所述视频帧为关键帧时,所述视频帧转换的所述图像的运动密度为0。
10.根据权利要求7-9其中任一项所述的系统,其中,所述子图像的数量为六幅。
CN201610299406.3A 2016-05-06 2016-05-06 全景视频质量判断方法及系统 Pending CN105915892A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610299406.3A CN105915892A (zh) 2016-05-06 2016-05-06 全景视频质量判断方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610299406.3A CN105915892A (zh) 2016-05-06 2016-05-06 全景视频质量判断方法及系统

Publications (1)

Publication Number Publication Date
CN105915892A true CN105915892A (zh) 2016-08-31

Family

ID=56748603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610299406.3A Pending CN105915892A (zh) 2016-05-06 2016-05-06 全景视频质量判断方法及系统

Country Status (1)

Country Link
CN (1) CN105915892A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106657980A (zh) * 2016-10-21 2017-05-10 乐视控股(北京)有限公司 全景视频的质量测试方法和装置
CN106713741A (zh) * 2016-11-16 2017-05-24 深圳六滴科技有限公司 全景视频的质量诊断方法及装置
CN106791800A (zh) * 2016-11-16 2017-05-31 深圳六滴科技有限公司 全景视频的质量诊断方法及装置
CN107347153A (zh) * 2016-10-20 2017-11-14 中国科学技术大学 经纬图全景视频的质量评价方法
CN108055533A (zh) * 2017-01-04 2018-05-18 北京航空航天大学 一种针对全景视频的主观质量评价方法
CN114079777A (zh) * 2020-08-20 2022-02-22 华为技术有限公司 视频处理方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060177150A1 (en) * 2005-02-01 2006-08-10 Microsoft Corporation Method and system for combining multiple exposure images having scene and camera motion
CN101002479A (zh) * 2004-08-13 2007-07-18 庆熙大学校产学协力团 用于全景图像的运动估计和补偿的方法和设备
CN101667295A (zh) * 2009-09-09 2010-03-10 北京航空航天大学 一种将线搜索扩展于全景视频运动估计的方法
CN103561261A (zh) * 2013-10-12 2014-02-05 重庆邮电大学 基于视觉注意的全景可定位视频编码方法
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
CN104767993A (zh) * 2015-04-08 2015-07-08 宁波大学 一种基于质降时域加权的立体视频客观质量评价方法
CN105163109A (zh) * 2015-08-26 2015-12-16 上海国茂数字技术有限公司 一种视频客观评价方法及系统
WO2016023642A1 (en) * 2014-08-15 2016-02-18 Sony Corporation Panoramic video

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101002479A (zh) * 2004-08-13 2007-07-18 庆熙大学校产学协力团 用于全景图像的运动估计和补偿的方法和设备
US20060177150A1 (en) * 2005-02-01 2006-08-10 Microsoft Corporation Method and system for combining multiple exposure images having scene and camera motion
CN101667295A (zh) * 2009-09-09 2010-03-10 北京航空航天大学 一种将线搜索扩展于全景视频运动估计的方法
CN103561261A (zh) * 2013-10-12 2014-02-05 重庆邮电大学 基于视觉注意的全景可定位视频编码方法
WO2016023642A1 (en) * 2014-08-15 2016-02-18 Sony Corporation Panoramic video
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
CN104767993A (zh) * 2015-04-08 2015-07-08 宁波大学 一种基于质降时域加权的立体视频客观质量评价方法
CN105163109A (zh) * 2015-08-26 2015-12-16 上海国茂数字技术有限公司 一种视频客观评价方法及系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107347153A (zh) * 2016-10-20 2017-11-14 中国科学技术大学 经纬图全景视频的质量评价方法
CN107347153B (zh) * 2016-10-20 2019-02-26 中国科学技术大学 经纬图全景视频的质量评价方法
CN106657980A (zh) * 2016-10-21 2017-05-10 乐视控股(北京)有限公司 全景视频的质量测试方法和装置
CN106713741A (zh) * 2016-11-16 2017-05-24 深圳六滴科技有限公司 全景视频的质量诊断方法及装置
CN106791800A (zh) * 2016-11-16 2017-05-31 深圳六滴科技有限公司 全景视频的质量诊断方法及装置
CN106791800B (zh) * 2016-11-16 2019-02-22 深圳六滴科技有限公司 全景视频的质量诊断方法及装置
CN106713741B (zh) * 2016-11-16 2020-09-25 深圳六滴科技有限公司 全景视频的质量诊断方法及装置
CN108055533A (zh) * 2017-01-04 2018-05-18 北京航空航天大学 一种针对全景视频的主观质量评价方法
CN108055533B (zh) * 2017-01-04 2020-03-27 北京航空航天大学 一种针对全景视频的主观质量评价方法
CN114079777A (zh) * 2020-08-20 2022-02-22 华为技术有限公司 视频处理方法和装置
CN114079777B (zh) * 2020-08-20 2024-06-04 华为技术有限公司 视频处理方法和装置

Similar Documents

Publication Publication Date Title
Xu et al. State-of-the-art in 360 video/image processing: Perception, assessment and compression
CN105915892A (zh) 全景视频质量判断方法及系统
Xu et al. Assessing visual quality of omnidirectional videos
US10474227B2 (en) Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10499082B2 (en) Optimized coding method for omnidirectional video, computer readable storage medium and computer device
US20180033209A1 (en) Stereo image generation and interactive playback
CN108596965A (zh) 一种光场图像深度估计方法
CN103345771A (zh) 一种基于建模的图像高效渲染方法
CN112468796B (zh) 注视点生成方法、系统及设备
CN107484036B (zh) 一种弹幕显示方法和装置
US11202099B2 (en) Apparatus and method for decoding a panoramic video
JP2023507968A (ja) マシン向け映像符号化における方法及び装置
CN113038123A (zh) 无参考全景视频质量评价方法、系统、终端及介质
CN115661403A (zh) 显式辐射场的处理方法、设备和存储介质
Chen et al. Salbinet360: Saliency prediction on 360 images with local-global bifurcated deep network
CN116071412A (zh) 融合全尺度和相邻帧特征信息的无监督单目深度估计方法
Wu et al. Virtual reality video quality assessment based on 3d convolutional neural networks
CN117730530A (zh) 图像处理方法及装置、设备、存储介质
US20180322689A1 (en) Visualization and rendering of images to enhance depth perception
CN114765689A (zh) 视频编码方法、装置、设备及存储介质
Li et al. State-of-the-art in 360 {\deg} Video/Image Processing: Perception, Assessment and Compression
Jin et al. From capture to display: A survey on volumetric video
WO2024007181A1 (zh) 基于多尺度时空编码的动态场景三维重建方法及系统
CN113139913B (zh) 一种面向人物肖像的新视图修正生成方法
US20230326128A1 (en) Techniques for processing multiplane images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160831