CN113784118A - 视频质量评估方法及装置、电子设备和存储介质 - Google Patents
视频质量评估方法及装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113784118A CN113784118A CN202111072591.XA CN202111072591A CN113784118A CN 113784118 A CN113784118 A CN 113784118A CN 202111072591 A CN202111072591 A CN 202111072591A CN 113784118 A CN113784118 A CN 113784118A
- Authority
- CN
- China
- Prior art keywords
- video
- evaluated
- frame
- quality evaluation
- alignment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本公开是关于一种视频质量评估方法及装置、电子设备以及计算机可读存储介质,涉及视频处理技术领域,可以应用于对视频质量进行评估场景。该方法包括:获取待评估视频与参考视频,并分别获取各自对应的解码时间戳;基于解码时间戳对待评估视频与参考视频进行视频对齐处理,得到视频对齐结果;确定经视频对齐处理后的待评估视频的时域特征;根据时域特征与视频对齐结果对经视频对齐处理后的待评估视频进行质量评估处理。本公开可以可以对直播视频或离线视频进行视频质量评估处理,通过解码时间戳与视频帧相似度相结合的方式进行帧对齐处理,并将视频的时域特征作为视频质量评估的考虑因素,使得确定出的质量评估结果更全面。
Description
技术领域
本公开涉及视频处理技术领域,具体而言,涉及一种视频质量评估方法、视频质量评估装置、电子设备以及计算机可读存储介质。
背景技术
随着直播技术的快速发展,人们针对直播视频的观看需求越来越多,例如,人们可以通过各种直播平台观看直播。对于直播视频的清晰度,在相同帧率和码率的情况下,一般码率越高,视频清晰度越高,因此用户观看的视频码率越高,视频越清晰。从传输角度讲,数据量越少,传输速度越快,延迟、丢包发生概率更小,用户端观看的视频会更流畅。
在平衡视频的清晰度与流畅性时,通常期望在尽可能低码率的情况下,保证尽可能高的清晰度。但是清晰度是一个主观感受,需要引入一个客观指标用于量化清晰度,这一过程可以称之为视频质量评估。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种视频质量评估方法、视频质量评估装置、电子设备以及计算机可读存储介质,进而至少在一定程度上克服无法针对直播视频流进行实时质量评估,以及质量评估过程中视频对齐处理较为复杂且无法对视频进行全面质量评估的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本发明的实践而习得。
根据本公开的第一方面,提供一种视频质量评估方法,包括:获取待评估视频与参考视频,并分别获取各自对应的解码时间戳;基于解码时间戳对待评估视频与参考视频进行视频对齐处理,得到视频对齐结果;确定经视频对齐处理后的待评估视频的时域特征;根据时域特征与视频对齐结果对经视频对齐处理后的待评估视频进行质量评估处理,以确定质量评估结果。
在本公开的一种示例性实施方案中,上述方法还包括:对待评估视频进行视频解码处理,得到对应的待评估视频帧与待评估视频的解码时间戳;待评估视频帧包括待评估颜色编码帧;对参考视频分别进行视频解码处理,得到对应的参考视频帧与参考视频的解码时间戳;参考视频帧包括参考颜色编码帧;将待评估颜色编码帧与参考颜色编码帧分别推送至待评估视频队列与参考视频队列。
在本公开的一种示例性实施方案中,基于解码时间戳对待评估视频与参考视频进行视频对齐处理,得到视频对齐结果,包括:分别从待评估视频队列与参考视频队列中获取待评估队首元素与参考队首元素;对比待评估队首元素与参考队首元素之间的解码时间戳;如果参考队首元素的解码时间戳大于待评估队首元素的解码时间戳,则更新参考队首元素;如果参考队首元素的解码时间戳小于待评估队首元素的解码时间戳,则更新待评估队首元素;将具有相同解码时间戳的待评估队首元素与参考队首元素确定为初始待评估首帧与初始参考首帧;根据初始待评估首帧与初始参考首帧进行视频对齐处理,得到视频对齐结果。
在本公开的一种示例性实施方案中,根据初始待评估首帧与初始参考首帧进行视频对齐处理,得到视频对齐结果,包括:获取帧对比数量;根据初始待评估首帧与帧对比数量确定多个候选待评估视频帧;根据初始参考首帧与帧对比数量确定多个候选参考视频帧;对各候选待评估视频帧分别与对应的候选参考视频帧进行相似度对比,以确定目标待评估首帧与目标参考首帧;根据目标待评估首帧与目标参考首帧确定多个待评估对齐视频帧与对应的参考对齐视频帧。
在本公开的一种示例性实施方案中,视频对齐结果包括多个待评估对齐视频帧以及对应的参考对齐视频帧,时序特征包括时序运动特征;根据时域特征与视频对齐结果对经视频对齐处理后的待评估视频进行质量评估处理,包括:获取视频质量评估模型;视频质量评估模型基于训练视频的空间图像失真与时序运动失真训练得到;将多个待评估对齐视频帧、多个参考对齐视频帧以及时序运动特征输入至视频质量评估模型;通过视频质量评估模型对经视频对齐处理后的待评估视频进行质量评估处理,以确定视频评估结果;基于视频评估结果确定质量评估结果。
在本公开的一种示例性实施方案中,基于视频评估结果确定质量评估结果,包括:确定各待评估对齐视频帧对应的待评估通道信息,并确定参考对齐视频帧对应的参考通道信息;获取图像质量评估模型;通过图像质量评估模型对待评估通道信息与参考通道信息进行对比,以确定待评估视频的图像评估结果;根据图像评估结果与视频评估结果确定质量评估结果。
在本公开的一种示例性实施方案中,确定各待评估对齐视频帧对应的待评估通道信息,并确定参考对齐视频帧对应的参考通道信息,包括:对待评估对齐视频帧进行通道分离处理,以得到待评估帧通道信息;对参考对齐视频帧进行通道分离处理,以得到参考帧通道信息。
在本公开的一种示例性实施方案中,上述方法还包括:根据质量评估结果确定各评估模型对应的质量评估分数;对质量评估分数进行格式转换处理,以生成转换评估数据;获取待评估视频的基本信息,并展示转换评估数据与基本信息。
根据本公开的第二方面,提供一种视频质量评估装置,包括:时间戳确定模块,用于获取待评估视频与参考视频,并分别获取各自对应的解码时间戳;视频对齐模块,用于基于解码时间戳对待评估视频与参考视频进行视频对齐处理,得到视频对齐结果;时域特征确定模块,用于确定经视频对齐处理后的待评估视频的时域特征;质量评估模块,用于根据时域特征与视频对齐结果对经视频对齐处理后的待评估视频进行质量评估处理,以确定质量评估结果。
在本公开的一种示例性实施方案中,视频质量评估装置还包括视频解码模块,用于对待评估视频进行视频解码处理,得到对应的待评估视频帧与待评估视频的解码时间戳;待评估视频帧包括待评估颜色编码帧;对参考视频分别进行视频解码处理,得到对应的参考视频帧与参考视频的解码时间戳;参考视频帧包括参考颜色编码帧;将待评估颜色编码帧与参考颜色编码帧分别推送至待评估视频队列与参考视频队列。
在本公开的一种示例性实施方案中,视频对齐模块包括视频对齐单元,用于分别从待评估视频队列与参考视频队列中获取待评估队首元素与参考队首元素;对比待评估队首元素与参考队首元素之间的解码时间戳;如果参考队首元素的解码时间戳大于待评估队首元素的解码时间戳,则更新参考队首元素;如果参考队首元素的解码时间戳小于待评估队首元素的解码时间戳,则更新待评估队首元素;将具有相同解码时间戳的待评估队首元素与参考队首元素确定为初始待评估首帧与初始参考首帧;根据初始待评估首帧与初始参考首帧进行视频对齐处理,得到视频对齐结果。
在本公开的一种示例性实施方案中,视频对齐单元包括视频对齐子单元,用于获取帧对比数量;根据初始待评估首帧与帧对比数量确定多个候选待评估视频帧;根据初始参考首帧与帧对比数量确定多个候选参考视频帧;对各候选待评估视频帧分别与对应的候选参考视频帧进行相似度对比,以确定目标待评估首帧与目标参考首帧;根据目标待评估首帧与目标参考首帧确定多个待评估对齐视频帧与对应的参考对齐视频帧。
在本公开的一种示例性实施方案中,质量评估模块包括质量评估单元,用于获取视频质量评估模型;视频质量评估模型基于训练视频的空间图像失真与时序运动失真训练得到;将多个待评估对齐视频帧、多个参考对齐视频帧以及时序运动特征输入至视频质量评估模型;通过视频质量评估模型对经视频对齐处理后的待评估视频进行质量评估处理,以确定视频评估结果;基于视频评估结果确定质量评估结果。
在本公开的一种示例性实施方案中,质量评估单元包括质量评估子单元,用于确定各待评估对齐视频帧对应的待评估通道信息,并确定参考对齐视频帧对应的参考通道信息;获取图像质量评估模型;通过图像质量评估模型对待评估通道信息与参考通道信息进行对比,以确定待评估视频的图像评估结果;根据图像评估结果与视频评估结果确定质量评估结果。
在本公开的一种示例性实施方案中,质量评估单元包括还包括通道分离子单元,用于对待评估对齐视频帧进行通道分离处理,以得到待评估帧通道信息;对参考对齐视频帧进行通道分离处理,以得到参考帧通道信息。
在本公开的一种示例性实施方案中,视频质量评估装置还包括结果展示模块,用于根据质量评估结果确定各评估模型对应的质量评估分数;对质量评估分数进行格式转换处理,以生成转换评估数据;获取待评估视频的基本信息,并展示转换评估数据与基本信息。
根据本公开的第三方面,提供一种电子设备,包括:处理器;以及存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现根据上述任意一项所述的视频质量评估方法。
根据本公开的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现根据上述任意一项所述的视频质量评估方法。
本公开提供的技术方案可以包括以下有益效果:
本公开的示例性实施例中的视频质量评估方法,获取待评估视频与参考视频,并分别获取各自对应的解码时间戳;基于解码时间戳对待评估视频与参考视频进行视频对齐处理,得到视频对齐结果;确定经视频对齐处理后的待评估视频的时域特征;根据时域特征与视频对齐结果对经视频对齐处理后的待评估视频进行质量评估处理,以确定质量评估结果。一方面,根据解码时间戳对待评估视频与参考视频进行视频对齐处理,对齐方式更加简单,并提高了对齐结果的准确性。另一方面,结合待评估视频的时域特征进行视频质量评估,使得视频质量评估更具全面性。又一方面,待评估视频可以是实时获取的直播视频流,并针对直播视频流进行实时质量评估处理。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示意性示出了根据本公开的示例性实施方式的视频质量评估方法的流程图;
图2示意性示出了根据本公开的示例性实施方式的视频质量评估的系统结构图;
图3示意性示出了根据本公开的示例性实施方式的进行视频对齐处理的流程图;
图4示意性示出了根据本公开的示例性实施方式的对待评估视频进行视频质量评估处理的流程图;
图5示意性示出了根据本公开的示例性实施方式的对质量评估结果进行可视化展示的流程图;
图6示意性示出了根据本公开的示例性实施方式的视频质量评估装置的方框图;
图7示意性示出了根据本公开一示例性实施例的电子设备的框图;
图8示意性示出了根据本公开一示例性实施例的计算机可读存储介质的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以多种形式实施,且不应被理解为限于在此阐述的实施例;相反,提供这些实施例使得本公开将全面和完整,并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本公开的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而没有所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个软件硬化的模块中实现这些功能实体或功能实体的一部分,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
在一些视频质量评估模型中,在获取到待评估视频与原始视频后,可以在待评估视频中添加视频帧标签以进行视频对齐处理,进而根据视频对齐处理结果对待评估视频进行视频质量评估。由于根据特定的帧标签进行帧对齐,需要在视频编码时进行特殊处理,具有局限性。另外,在此方案对视频质量进行评估时,并未考虑视频的时域特征,因此,得到的视频质量评估结果不够全面。
根据本公开的实施方式,提出了一种视频质量评估方法、视频质量评估装置、介质和电子设备。
在本文中,需要理解的是,所涉及的术语,比如:帧率可以是每秒钟播放的图片数量,如24帧就是每秒钟播放24张图片,帧率越高视频越流畅。码率(即视频码率)可以是数据传输时单位时间传送的数据位数,码率越高则编码的视频越接近原始文件编码出的文件大小也越大,视频的清晰度越高。分辨率简单来说是图像的尺寸,它决定了视频图像细节的精细程度,分辨率越高,所包含的像素就越多,视频画面就越细腻、越清晰。转码可以是指改变视频编码参数,如帧率、码率、分辨率等,例如,将1080p视频转换成体积更小的720p、540p、360p视频以适应不同的网络带宽和观看需求。
在本示例实施例中,首先提供了一种视频质量评估方法,可以利用服务器来实现本公开的视频质量评估方法,也可以利用终端设备来实现本公开所述的方法,其中,本公开中描述的终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant, PDA)等移动终端,以及诸如台式计算机等固定终端。图1示意性示出了根据本公开的一些实施例的视频质量评估方法流程的示意图。参考图 1,该视频质量评估方法可以包括以下步骤:
步骤S110,获取待评估视频与参考视频,并分别获取各自对应的解码时间戳。
在本公开的一些示例性实施方式中,待评估视频可以是参考视频经过视频预处理操作后得到的视频。视频预处理可以包括视频压缩、视频图像处理以及视频传输等相关操作。参考视频可以是原始生成的、未经过任何预处理的视频。例如,参考视频可以包括无失真或未被压缩的高品质的视频等。解码时间戳(Decoding Time Stamp,DTS)可以是对待评估视频与参考视频进行视频解码处理所产生的时间戳。
在对视频进行视频质量评估之前,可以获取未经过视频预处理的视频作为参考视频,将经过视频处理的参考视频作为待评估视频。举例而言,在直播场景中,可以将直播平台中产生的原始直播流作为参考视频,将转码后的原始直播流作为待评估视频。如参考视频和待评估视频可以分别是蓝光视频和超清视频。另外,参考视频可以是通过离线获取到的视频流,待评估视频可以是对线下获取的离线参考视频进行视频转码处理后得到的视频流。
例如,在直播平台上,可以获取某个主播线上直播的原画视频(即参考视频)和待评估视频两个视频流原始地址。在获取到待评估视频与参考视频后,可以分别对待评估视频与参考视频进行解码处理,以确定待评估视频与参考视频各自对应的解码时间戳。DTS是视频帧压缩编码里的一个成员,表示这个压缩视频包应该什么时候被解码。如果视频里各帧的编码是按输入顺序(也就是显示顺序)依次进行的,那么解码和显示时间应该是一致的。可事实上,在大多数编解码标准中,如新的视频压缩标准(High Efficiency VideoCoding,HEVC),或数字视频压缩格式H.264等,编码顺序和输入顺序并不一致,因此,需要DTS标志解码时间。
在其他实施例中,参考视频可以是基于网络视频资源、光盘或者有线电视节目等来源确定的视频。本申请实施对参考视频的来源不做限定。
步骤S120,基于解码时间戳对待评估视频与参考视频进行视频对齐处理,得到视频对齐结果。
在本公开的一些示例性实施方式中,视频对齐处理可以是对待评估视频中的视频帧与参考视频中的视频帧进行匹配处理的过程。视频对齐结果可以是经过视频对齐处理后得到的结果。例如,视频帧对齐处理结果可以是得到解码时间戳一一对应的参考视频帧和待评估视频帧。
在确定出解码时间戳后,可以基于解码时间戳对待评估视频与参考视频进行视频对齐处理,例如,可以将待评估视频中的待评估视频帧与参考视频中与其具有相同解码时间戳的参考视频帧作为匹配的视频帧。将根据解码时间戳匹配到的视频帧作为视频首帧,按照视频帧的时间先后顺序得到视频对齐结果。
步骤S130,确定经视频对齐处理后的待评估视频的时域特征。
在本公开的一些示例性实施方式中,时域特征可以是待评估视频中包含的多个视频帧之间在时间先后方面具有的特征。例如,根据视频帧的时间先后可以确定多个连续视频帧。
在对待评估视频与参考视频进行视频对齐处理后,可以确定经对齐处理后,待评估视频中包含的时域特征。
步骤S140,根据时域特征与视频对齐结果对经视频对齐处理后的待评估视频进行质量评估处理,以确定质量评估结果。
在本公开的一些示例性实施方式中,质量评估处理可以是对待评估视频的视频质量进行评估的处理过程。例如,质量评估处理可以对待评估视频的清晰度等指标进行评价。
在得到视频帧对齐结果之后,在视频帧对齐结果的基础上,结合待评估视频的时域特征可以对待评估视频进行视频质量评估,可以基于与待评估视频帧对应的参考视频帧进行视频质量评估,从而保证视频质量评估计算的准确性和可靠性。
参考图2,图2示意性示出了根据本公开的示例性实施方式的视频质量评估的系统结构图。通过图2中的视频处理模块,获取待评估视频与参考视频,并确定两者的解码时间戳;然后根据解码时间戳对待评估视频与参考视频进行视频对齐处理,得到视频对齐结果。视频评估模块 220可以根据视频对齐结果对待评估视频进行视频质量评估处理,得到质量评估结果。由结果解析模块230根据质量评估结果进行解析以及可视化展示。
根据本示例实施例中的视频质量评估方法,一方面,根据解码时间戳对待评估视频与参考视频进行视频对齐处理,对齐方式更加简单,并提高了对齐结果的准确性。另一方面,结合待评估视频的时域特征进行视频质量评估,使得视频质量评估更具全面性。又一方面,待评估视频可以是实时获取的直播视频流,并针对直播视频流进行实时质量评估处理。
下面,将对本示例实施例中的视频质量评估方法进行进一步的说明。
在本公开的一种示例性实施方案中,对待评估视频进行视频解码处理,得到对应的待评估视频帧与待评估视频的解码时间戳;待评估视频帧包括待评估颜色编码帧;对参考视频分别进行视频解码处理,得到对应的参考视频帧与参考视频的解码时间戳;参考视频帧包括参考颜色编码帧;将待评估颜色编码帧与参考颜色编码帧分别推送至待评估视频队列与参考视频队列。
其中,视频解码处理可以是对视频进行解码以确定视频中包含的视频帧的处理过程。待评估视频帧可以是对待评估视频进行视频解码处理后得到的视频帧。参考视频帧可以是对参考视频进行视频解码处理后得到的视频帧。颜色编码帧可以是采用颜色编码处理方式对视频帧进行解码处理后得到的图像画面。待评估颜色编码帧可以是对待评估视频帧进行解码处理后得到的图像画面。参考颜色编码帧可以是对参考视频帧进行解码处理后得到的图像画面。待评估视频队列可以是存储待评估颜色编码帧的队列。参考视频队列可以是存储参考颜色编码帧的队列。
参考图3,图3示意性示出了根据本公开的示例性实施方式的进行视频对齐处理的流程图。在步骤S310中,对获取到的参考视频310与待评估视频320进行视频解码处理。例如,可以采用前向快速动态图像专家组(Fast Forward Moving Picture Experts Group,FFmpeg)软件解码技术分别对获取到的两个视频流进行解码。对获取到的参考视频310与待评估视频320进行视频解码处理,不仅可以得到两者对应的解码时间戳,而且,可以将待评估视频与参考视频分别从压缩视频格式解码为颜色编码视频画面(YUV视频画面);另外,将视频进行视频解码处理,还可以得到色彩模式视频画面(RGB视频画面),RGB画面可以用于画面显示。
对待评估视频帧与参考视频帧分别进行视频解码处理后,可以得到待评估视频帧包括的待评估颜色编码帧,以及参考视频帧包括的参考颜色编码帧。将待评估颜色编码帧推送至待评估视频队列340,并将参考颜色编码帧推送至参考视频队列330,以进行视频对齐处理。
在本公开的一种示例性实施方案中,分别从待评估视频队列与参考视频队列中获取待评估队首元素与参考队首元素;对比待评估队首元素与参考队首元素之间的解码时间戳;如果参考队首元素的解码时间戳大于待评估队首元素的解码时间戳,则更新参考队首元素;如果参考队首元素的解码时间戳小于待评估队首元素的解码时间戳,则更新待评估队首元素;将具有相同解码时间戳的待评估队首元素与参考队首元素确定为初始待评估首帧与初始参考首帧;根据初始待评估首帧与初始参考首帧进行视频对齐处理,得到视频对齐结果。
其中,待评估队首元素可以是待评估视频队列中位于队列首部的待评估颜色编码帧。参考队首元素可以是参考视频队列中位于队列首部的参考颜色编码帧。初始待评估首帧可以是根据解码时间戳进行视频对齐处理后确定出的位于队首的待评估颜色编码帧。初始参考首帧可以是根据解码时间戳进行视频对齐处理后确定出的位于队首的参考颜色编码帧。初始待评估首帧与初始参考首帧两者对应的解码时间戳(Decoding Time Stamp,DTS)相同。
继续参考图3,在得到两个视频队列,在步骤S320中,可以采用解码时间戳对两个视频队列中的元素进行视频对齐处理。具体的视频对齐处理过程为:每次获取参考队首元素(即参考视频队列的队首元素)的解码时间戳dts1与待评估队首元素(即待评估视频队列的队首元素)的解码时间戳dts2对比。如果参考队首元素的解码时间戳大于待评估队首元素的解码时间戳,即dts1>dts2,则更新参考队首元素,如丢弃当前处于参考视频队列的队首元素,并将队列中处于第二位的元素作为新的队首元素。如果参考队首元素的解码时间戳小于待评估队首元素的解码时间戳,即dts1<dts2,则更新待评估队首元素,如丢弃当前处于待评估视频队列的队首元素,并将队列中处于第二位的元素作为新的队首元素。重复上述对齐处理操作,直至dts1与dts2相等,则将此时分别处于待评估队首元素与参考队首元素确定为初始待评估首帧与初始参考首帧。
上述对齐处理方式简单高效,无需预先对视频进行标签处理,当确定出初始待评估首帧与初始参考首帧后,可以根据初始待评估首帧与初始参考首帧进行视频对齐处理,得到视频对齐结果。
在本公开的一种示例性实施方案中,获取帧对比数量;根据初始待评估首帧与帧对比数量确定多个候选待评估视频帧;根据初始参考首帧与帧对比数量确定多个候选参考视频帧;对各候选待评估视频帧分别与对应的候选参考视频帧进行相似度对比,以确定目标待评估首帧与目标参考首帧;根据目标待评估首帧与目标参考首帧确定多个待评估对齐视频帧与对应的参考对齐视频帧。
其中,帧对比数量可以对两个视频队列中的视频帧进行对齐处理时所需要的视频帧数量,例如,帧对比数量可以确定为20、30、50等。候选待评估视频帧可以是用于视频帧相似度对比所需的待评估视频帧。候选参考视频帧可以是用于视频帧相似度对比所需的参考视频帧。目标待评估首帧可以是经过视频帧相似度对比后确定出的待评估视频队列的队首元素。目标参考首帧可以是经过视频帧相似度对比后确定出的参考视频队列的队首元素。待评估对齐视频帧可以是经过视频对齐处理之后从待评估视频中确定出的视频帧。参考对齐视频帧可以是经过视频对齐处理之后从参考视频中确定出的视频帧。
继续参考图3,在步骤S330中,采用相似视频帧对齐的处理方式对两个视频队列中的视频帧进行对齐处理。获取预先设定的帧对比数量,根据帧对比数量与目标待评估首帧可以从待评估视频队列中确定出多个候选待评估视频帧;根据初始参考首帧与帧对比数量确定多个候选参考视频帧。例如,当帧对比数量为30时,可以将待参考视频队列找那个自初始参考首帧开始,选取后续30个视频帧作为候选参考视频帧。另外,可以采用同样的方式确定候选待评估视频帧。
在确定出候选待评估视频帧与候选参考视频帧后,可以逐一将候选待评估视频帧与其对应的候选参考视频帧进行相似度对比处理,以确定出目标待评估首帧与目标参考首帧。例如,可以将具有最高相似度的候选待评估视频帧与候选参考视频帧分别作为目标待评估首帧与目标参考首帧。将目标待评估首帧作为视频对齐处理后的首个视频帧,并根据目标待评估首帧从待评估视频队列中确定多个待评估对齐视频帧360与对应的参考对齐视频帧350,以进行后续质量评估处理。
通过上述采用时间戳和图像相似度计算相结合以进行视频对齐的处理方法,无需对原始的参考视频进行特殊处理,任意视频均可采用该方法得到对齐视频首帧。
在本公开的一种示例性实施方案中,获取视频质量评估模型;视频质量评估模型基于训练视频的空间图像失真与时序运动失真训练得到;将多个待评估对齐视频帧、多个参考对齐视频帧以及时序运动特征输入至视频质量评估模型;通过视频质量评估模型对经视频对齐处理后的待评估视频进行质量评估处理,以确定视频评估结果;基于视频评估结果确定质量评估结果。
其中,视频质量评估模型可以是基于视频总体进行质量评估处理的网络模型,即对结合视频中时域特征对视频整体进行质量评估处理的网络模型,视频质量评估模型可以是基于深度学习算法构建的网络模型。训练视频可以是用于训练指令评估模型的训练视频集合。失真又称“畸变”,指信号在传输过程中与原有信号或标准相比所发生的偏差。空间图像失真可以是视频对应的图像产生的失真。时序运动失真可以是视频的多个视频帧之间长时间运动所产生失真。时序运动特征可以是待评估视频中多个视频帧之间的时序运动相关的特征。视频评估结果可以是视频质量评估模型对经视频对齐处理后的待评估视频进行质量评估处理得到的结果。
参考图4,图4示意性示出了根据本公开的示例性实施方式的对待评估视频进行视频质量评估处理的流程图。在确定出待评估对齐视频帧 360与参考对齐视频帧350分别对应的待评估通道信息和参考通道信息后,可以采用质量评估模型410进行视频质量评估,质量评估模型41.0 可以是视频质量评估模型,视频质量评估模型可以是多个结合视频中的时域特征进行质量评估的算法;例如,视频质量评估模型可以包括基于 2帧视频帧的质量评估算法(Visual Multimethod Assessment Fusion, VMAF)以及基于深度学习和多层次时空融合的视频质量评估(Multi-Level Fusion Quality Assessment,MFVQA)算法。将多个待评估对齐视频帧、多个参考对齐视频帧以及时域特征输入至视频质量评估模型中,可以通过视频质量评估模型确定出经视频对齐处理后的待评估视频的视频评估结果(视频质量分数420)。
具体的,视频质量评估模型可以是基于VMAF算法得到的网络模型, VMAF算法相比于单帧的图像质量评估算法,考虑了视频前后帧之间的时域信息,一定程度上可以评估视频时序上的运动信息编码质量,但它缺乏长时间的运动失真评估。因此,还可以采用MFVQA算法对待评估视频进行质量评估。视频质量评估模型可以是基于MFVQA算法构建的神经网络模型,它通过神经网络对时序运动失真和空间图像失真进行特征层和预测层的融合。在视频质量评估模型中,多层次的融合在训练阶段自主学习图像失真和运动失真对视频质量的影响,并可在测试阶段根据视频场景对时空域的失真预测进行调整,因此,采用视频质量评估模型进行视频质量评估时,可以在更多的场景下得到更符合人眼预测的视频质量得分,兼顾模型准确率的同时具有更强的泛化性。另外,MFVQA 算法仅需要Y通道图像数据,运行效率更高。
在本公开的一种示例性实施方案中,基于视频评估结果确定质量评估结果,包括:确定各待评估对齐视频帧对应的待评估通道信息,并确定参考对齐视频帧对应的参考通道信息;获取图像质量评估模型;通过图像质量评估模型对待评估通道信息与参考通道信息进行对比,以确定待评估视频的图像评估结果;根据图像评估结果与视频评估结果确定质量评估结果。
其中,待评估通道信息可以是对待评估对齐视频帧进行通道分离处理,对应得到的通道数据。参考通道信息可以是对参考对齐视频帧进行通道分离处理,对应得到的通道数据。图像质量评估模型可以是侧重于对视频的图像进行质量评估处理的方案,即对视频中的视频帧进行质量评估处理所对应的方案。
在另外一些实施例中,质量评估模型410还可以是图像质量评估模型,可以将图像质量评估模型与视频质量评估模型相结合对经过对齐处理后的待评估视频进行视频质量评估。图像质量评估模型可以包括多个针对视频的图像进行质量评估的算法;例如,图像质量评估模型可以包括均方误差(Mean-squared-error,MSE)算法、基于误差评估的峰值信噪比(Peak-signal-to-noise-ratio,PSNR)算法、结构相似度(Structure SimilarityIndex,SSIM)算法以及基于深度学习的图像质量评估(Hyper Image Quality Assessment,Hyper IQA)算法等等。将待评估通道信息与参考通道信息分别输入图像质量评估模型的各个算法模块,算法模型将采用预加载方式加速评估算法运行速度,并采用多线程的方式同时计算各种评估算法所得的图像评估结果(即视频质量分数420)。
图像质量评估模型基于视频中的图像特征进行评估,使用场景比较受限,但分数比较稳定。这类算法针对图像进行评估,仅对解码后的单个视频帧逐帧进行评价,缺乏视频时域信息和视频的语义理解,由于视频压缩编码需要参考前后视频帧信息,编码质量与视频时域信息相关,单纯的图像质量评估算法的评分不能完全代表视频编码质量。因此,将图像质量评估模型与视频质量评估模型相结合对待评估视频进行视频质量评估,基于得到的视频评估结果和图像评估结果共同确定最终的质量评估结果,可以有效提高质量评估结果的准确性。
在本公开的一种示例性实施方案中,对待评估对齐视频帧进行通道分离处理,以得到待评估帧通道信息;对参考对齐视频帧进行通道分离处理,以得到参考帧通道信息。
其中,通道分离处理可以是获取颜色编码帧中包含的通道信息的过程。
由于在进行视频对齐处理之前,待评估视频队列与参考视频队列中存储的已经是待评估颜色编码帧与参考颜色编码帧,因此,得到的待评估对齐视频帧与参考对齐视频帧分别为对齐后的待评估颜色编码帧与对应的参考颜色编码帧。在得到对齐后的待评估颜色编码帧(待评估YUV 画面)与对应的参考颜色编码帧(参考YUV画面)后,可以对两者分别进行通道分离;其中,“Y”可以表示明亮度(Luminance或Luma),也就是灰阶值,“U”和“V”可以表示的则是色度(Chrominance或 Chroma),作用是描述影像色彩及饱和度,用于指定像素的颜色。分别对待评估视频的YUV画面以及参考视频的YUV画面进行通道分离处理,分离出各自的Y通道数据,即待评估帧通道信息与参考帧通道信息。
在本公开的一种示例性实施方案中,根据质量评估结果确定各评估模型对应的质量评估分数;对质量评估分数进行格式转换处理,以生成转换评估数据;获取待评估视频的基本信息,并展示转换评估数据与基本信息。
其中,质量评估分数可以对待评估视频进行质量评估处理后得到的分数。转换评估数据可以是经过格式转换处理后的质量评估分数。基本信息可以是待评估视频的码率、帧率、分辨率等相关基本信息。
继续参考图2,图2中的结果解析模块230可以包括:分数统计、评估结果格式化和评估结果可视化等多个功能部分。在得到各质量评估算法针对待评估视频的质量评估分数之后,参考图5,图5示意性示出了根据本公开的示例性实施方式的对质量评估结果进行可视化展示的流程图。
在步骤S510中,统计评估分数。分数统计部分可以采用数组数据结构接收上述质量评估算法输出的各个算法输出结果(即视频质量分数 420),分别保存各算法每帧视频的评估分数。
在步骤S520中,格式转化处理。当各个视频评估算法运行结束之后,可以对得到视频评估结果进行格式转化处理,例如,可以采用JS对象简谱(JavaScript ObjectNotation,JSON)格式进行格式转换处理,格式化各个质量评估算法的平均分、最高分和最低分;并且,可以汇总从视频处理模块210获取待评估视频的基本信息,例如,可以获取待评估视频的视频流码率、分辨率、帧率等信息。
在步骤S530中,绘制评估分数数图。结果可视化部分可以读取经步骤S520经过格式转化处理后的视频评估结果,并对各个算法的质量评估得分进行标准化处理以柱状图的形式绘制视频的质量评估结果。另外,对待评估视频和参考视频进行视频解码处理之后,还可以确定出两者对应的颜色编码(Red Green Blue,RGB)画面,结果可视化部分可以将待评估视频和参考视频分别对应的RGB画面展示在显示界面中。
综上所述,本公开的视频质量评估方法,获取待评估视频与参考视频,并分别获取各自对应的解码时间戳;基于解码时间戳对待评估视频与参考视频进行视频对齐处理,得到视频对齐结果;确定经视频对齐处理后的待评估视频的时域特征;根据时域特征与视频对齐结果对经视频对齐处理后的待评估视频进行质量评估处理。一方面,根据解码时间戳对待评估视频与参考视频进行视频对齐处理,对齐方式更加简单,并提高了对齐结果的准确性。另一方面,结合待评估视频的时域特征进行视频质量评估,使得视频质量评估更具全面性。又一方面,待评估视频可以是实时获取的直播视频流,并针对直播视频流进行实时质量评估处理。再一方面,在视频质量评估处理中,采用视频质量评估模型与图像质量评估模型相结合进行质量评估处理,可以进一步提高待评估视频的质量评估结果的准确性。
需要说明的是,尽管在附图中以特定顺序描述了本发明中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
此外,在本示例实施例中,还提供了一种视频质量评估装置。参考图6,该视频质量评估装置600可以包括:时间戳确定模块610、视频对齐模块620、时域特征确定模块630以及质量评估模块640。
具体的,时间戳确定模块610,用于获取待评估视频与参考视频,并分别获取各自对应的解码时间戳;视频对齐模块620,用于基于解码时间戳对待评估视频与参考视频进行视频对齐处理,得到视频对齐结果;时域特征确定模块630,用于确定经视频对齐处理后的待评估视频的时域特征;质量评估模块640,用于根据时域特征与视频对齐结果对经视频对齐处理后的待评估视频进行质量评估处理。
在本公开的一种示例性实施方案中,视频质量评估装置还包括视频解码模块,用于对待评估视频进行视频解码处理,得到对应的待评估视频帧与待评估视频的解码时间戳;待评估视频帧包括待评估颜色编码帧;对参考视频分别进行视频解码处理,得到对应的参考视频帧与参考视频的解码时间戳;参考视频帧包括参考颜色编码帧;将待评估颜色编码帧与参考颜色编码帧分别推送至待评估视频队列与参考视频队列。
在本公开的一种示例性实施方案中,视频对齐模块包括视频对齐单元,用于分别从待评估视频队列与参考视频队列中获取待评估队首元素与参考队首元素;对比待评估队首元素与参考队首元素之间的解码时间戳;如果参考队首元素的解码时间戳大于待评估队首元素的解码时间戳,则更新参考队首元素;如果参考队首元素的解码时间戳小于待评估队首元素的解码时间戳,则更新待评估队首元素;将具有相同解码时间戳的待评估队首元素与参考队首元素确定为初始待评估首帧与初始参考首帧;根据初始待评估首帧与初始参考首帧进行视频对齐处理,得到视频对齐结果。
在本公开的一种示例性实施方案中,视频对齐单元包括视频对齐子单元,用于获取帧对比数量;根据初始待评估首帧与帧对比数量确定多个候选待评估视频帧;根据初始参考首帧与帧对比数量确定多个候选参考视频帧;对各候选待评估视频帧分别与对应的候选参考视频帧进行相似度对比,以确定目标待评估首帧与目标参考首帧;根据目标待评估首帧与目标参考首帧确定多个待评估对齐视频帧与对应的参考对齐视频帧。
在本公开的一种示例性实施方案中,质量评估模块包括质量评估单元,用于获取视频质量评估模型;视频质量评估模型基于训练视频的空间图像失真与时序运动失真训练得到;将多个待评估对齐视频帧、多个参考对齐视频帧以及时序运动特征输入至视频质量评估模型;通过视频质量评估模型对经视频对齐处理后的待评估视频进行质量评估处理,以确定视频评估结果;基于视频评估结果确定质量评估结果。
在本公开的一种示例性实施方案中,质量评估单元包括质量评估子单元,用于确定各待评估对齐视频帧对应的待评估通道信息,并确定参考对齐视频帧对应的参考通道信息;获取图像质量评估模型;通过图像质量评估模型对待评估通道信息与参考通道信息进行对比,以确定待评估视频的图像评估结果;根据图像评估结果与视频评估结果确定质量评估结果。
在本公开的一种示例性实施方案中,质量评估单元包括还包括通道分离子单元,用于对待评估对齐视频帧进行通道分离处理,以得到待评估帧通道信息;对参考对齐视频帧进行通道分离处理,以得到参考帧通道信息。
在本公开的一种示例性实施方案中,视频质量评估装置还包括结果展示模块,用于根据质量评估结果确定各评估模型对应的质量评估分数;对质量评估分数进行格式转换处理,以生成转换评估数据;获取待评估视频的基本信息,并展示转换评估数据与基本信息。
上述中各视频质量评估装置的虚拟模块的具体细节已经在对应的视频质量评估方法中进行了详细的描述,因此此处不再赘述。
应当注意,尽管在上文详细描述中提及了视频质量评估装置的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,在本公开的示例性实施例中,还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施例、完全的软件实施例(包括固件、微代码等),或硬件和软件方面结合的实施例,这里可以统称为“电路”、“模块”或“系统”。
下面参考图7来描述根据本发明的这种实施例的电子设备700。图 7显示的电子设备700仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示,电子设备700以通用计算设备的形式表现。电子设备 700的组件可以包括但不限于:上述至少一个处理单元710、上述至少一个存储单元720、连接不同系统组件(包括存储单元720和处理单元 710)的总线730、显示单元740。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元710执行,使得所述处理单元710执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。
存储单元720可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)721和/或高速缓存存储单元722,还可以进一步包括只读存储单元(ROM)723。
存储单元720可以包括具有一组(至少一个)程序模块725的程序 /实用工具724,这样的程序模块725包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线730可以表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备700也可以与一个或多个外部设备770(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备700交互的设备通信,和/或与使得该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口750进行。并且,电子设备700 还可以通过网络适配器760与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器760通过总线730与电子设备700的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备700使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施例的描述,本领域的技术人员易于理解,这里描述的示例实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是 CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等) 执行根据本公开实施例的方法。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。
参考图8所示,描述了根据本发明的实施例的用于实现上述方法的程序产品800,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器 (RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外,上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。
Claims (11)
1.一种视频质量评估方法,其特征在于,包括:
获取待评估视频与参考视频,并分别获取各自对应的解码时间戳;
基于所述解码时间戳对所述待评估视频与所述参考视频进行视频对齐处理,得到视频对齐结果;
确定经所述视频对齐处理后的待评估视频的时域特征;
根据所述时域特征与所述视频对齐结果对经所述视频对齐处理后的待评估视频进行质量评估处理,以确定质量评估结果。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述待评估视频进行视频解码处理,得到对应的待评估视频帧与所述待评估视频的解码时间戳;所述待评估视频帧包括待评估颜色编码帧;
对所述参考视频分别进行视频解码处理,得到对应的参考视频帧与所述参考视频的解码时间戳;所述参考视频帧包括参考颜色编码帧;
将所述待评估颜色编码帧与所述参考颜色编码帧分别推送至待评估视频队列与参考视频队列。
3.根据权利要求2所述的方法,其特征在于,所述基于所述解码时间戳对所述待评估视频与所述参考视频进行视频对齐处理,得到视频对齐结果,包括:
分别从所述待评估视频队列与所述参考视频队列中获取待评估队首元素与参考队首元素;
对比所述待评估队首元素与所述参考队首元素之间的解码时间戳;
如果所述参考队首元素的解码时间戳大于所述待评估队首元素的解码时间戳,则更新所述参考队首元素;
如果所述参考队首元素的解码时间戳小于所述待评估队首元素的解码时间戳,则更新所述待评估队首元素;
将具有相同解码时间戳的待评估队首元素与参考队首元素确定为初始待评估首帧与初始参考首帧;
根据所述初始待评估首帧与所述初始参考首帧进行视频对齐处理,得到所述视频对齐结果。
4.根据权利要求3所述的方法,其特征在于,所述根据所述初始待评估首帧与所述初始参考首帧进行视频对齐处理,得到所述视频对齐结果,包括:
获取帧对比数量;
根据所述初始待评估首帧与所述帧对比数量确定多个候选待评估视频帧;
根据所述初始参考首帧与所述帧对比数量确定多个候选参考视频帧;
对各所述候选待评估视频帧分别与对应的所述候选参考视频帧进行相似度对比,以确定目标待评估首帧与目标参考首帧;
根据所述目标待评估首帧与目标参考首帧确定多个待评估对齐视频帧与对应的参考对齐视频帧。
5.根据权利要求1所述的方法,其特征在于,所述视频对齐结果包括多个待评估对齐视频帧以及对应的多个参考对齐视频帧,所述时序特征包括时序运动特征;所述根据所述时域特征与所述视频对齐结果对经所述视频对齐处理后的待评估视频进行质量评估处理,以确定质量评估结果,包括:
获取所述视频质量评估模型;所述视频质量评估模型基于训练视频的空间图像失真与时序运动失真训练得到;
将多个所述待评估对齐视频帧、多个所述参考对齐视频帧以及所述时序运动特征输入至所述视频质量评估模型;
通过所述视频质量评估模型对经所述视频对齐处理后的待评估视频进行质量评估处理,以确定视频评估结果;
基于所述视频评估结果确定所述质量评估结果。
6.根据权利要求5所述的方法,其特征在于,所述基于所述视频评估结果确定所述质量评估结果,包括:
确定各所述待评估对齐视频帧对应的待评估通道信息,并确定参考对齐视频帧对应的参考通道信息;
获取图像质量评估模型;
通过所述图像质量评估模型对所述待评估通道信息与所述参考通道信息进行对比,以确定所述待评估视频的图像评估结果;
根据所述图像评估结果与所述视频评估结果确定所述质量评估结果。
7.根据权利要求5所述的方法,其特征在于,所述确定各所述待评估对齐视频帧对应的待评估通道信息,并确定参考对齐视频帧对应的参考通道信息,包括:
对所述待评估对齐视频帧进行通道分离处理,以得到所述待评估帧通道信息;
对所述参考对齐视频帧进行通道分离处理,以得到所述参考帧通道信息。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述质量评估结果确定各评估模型对应的质量评估分数;
对所述所述质量评估分数进行格式转换处理,以生成转换评估数据;
获取所述待评估视频的基本信息,并展示所述转换评估数据与所述基本信息。
9.一种视频质量评估装置,其特征在于,包括:
时间戳确定模块,用于获取待评估视频与参考视频,并分别获取各自对应的解码时间戳;
视频对齐模块,用于基于所述解码时间戳对所述待评估视频与所述参考视频进行视频对齐处理,得到视频对齐结果;
时域特征确定模块,用于确定经所述视频对齐处理后的待评估视频的时域特征;
质量评估模块,用于根据所述时域特征与所述视频对齐结果对所述待评估视频进行质量评估处理,以确定质量评估结果。
10.一种电子设备,其特征在于,包括:
处理器;以及
存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现根据权利要求1至8中任一项所述的视频质量评估方法。
11.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现根据权利要求1至8中任一项所述的视频质量评估方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111072591.XA CN113784118A (zh) | 2021-09-14 | 2021-09-14 | 视频质量评估方法及装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111072591.XA CN113784118A (zh) | 2021-09-14 | 2021-09-14 | 视频质量评估方法及装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113784118A true CN113784118A (zh) | 2021-12-10 |
Family
ID=78843441
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111072591.XA Pending CN113784118A (zh) | 2021-09-14 | 2021-09-14 | 视频质量评估方法及装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113784118A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114222066A (zh) * | 2021-12-23 | 2022-03-22 | 上海商米科技集团股份有限公司 | 网络视频质量的检测系统、方法和计算机可读介质 |
CN115243073A (zh) * | 2022-07-22 | 2022-10-25 | 腾讯科技(深圳)有限公司 | 一种视频处理方法、装置、设备及存储介质 |
CN116843690A (zh) * | 2023-09-01 | 2023-10-03 | 荣耀终端有限公司 | 图像质量评估方法、设备及系统 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012204878A (ja) * | 2011-03-23 | 2012-10-22 | Tektronix Internatl Sales Gmbh | ビデオ・データ・ストリーム評価方法及びシステム |
CN103222277A (zh) * | 2010-06-04 | 2013-07-24 | 三星电子株式会社 | 基于用于确定内容质量的多个元素的自适应流传输的方法和装置 |
US20170093738A1 (en) * | 2014-10-27 | 2017-03-30 | Hitachi, Ltd. | Stream data processing method and stream data processing device |
US20170208220A1 (en) * | 2016-01-14 | 2017-07-20 | Disney Enterprises, Inc. | Automatically synchronizing multiple real-time video sources |
CN109714634A (zh) * | 2018-12-29 | 2019-05-03 | 青岛海信电器股份有限公司 | 一种直播数据流的解码同步方法、装置及设备 |
CN110493638A (zh) * | 2019-08-20 | 2019-11-22 | 广州虎牙科技有限公司 | 视频帧对齐方法、装置、电子设备及可读存储介质 |
CN110738657A (zh) * | 2019-10-28 | 2020-01-31 | 北京字节跳动网络技术有限公司 | 视频质量评估方法、装置、电子设备及存储介质 |
CN110943796A (zh) * | 2019-11-19 | 2020-03-31 | 深圳市道通智能航空技术有限公司 | 时间戳对齐方法、装置、存储介质及设备 |
CN111277827A (zh) * | 2020-02-24 | 2020-06-12 | 腾讯科技(深圳)有限公司 | 一种视频数据处理方法、装置、设备以及可读存储介质 |
CN111355549A (zh) * | 2018-12-21 | 2020-06-30 | 深圳市中兴微电子技术有限公司 | 一种数据保护方法及装置 |
CN111641858A (zh) * | 2020-04-29 | 2020-09-08 | 上海推乐信息技术服务有限公司 | 一种音视频同步方法及系统 |
US20200389665A1 (en) * | 2018-06-20 | 2020-12-10 | Tencent Technology (Shenzhen) Company Limited | Video encoding and decoding method, and storage medium thereof |
CN112272170A (zh) * | 2020-10-19 | 2021-01-26 | 广州博冠信息科技有限公司 | 语音通信方法及装置、电子设备、存储介质 |
CN112399190A (zh) * | 2020-10-16 | 2021-02-23 | 北京达佳互联信息技术有限公司 | 音视频数据获取方法及其装置 |
CN112714309A (zh) * | 2020-12-22 | 2021-04-27 | 北京百度网讯科技有限公司 | 视频质量评估方法、装置、设备、介质及程序产品 |
CN112751983A (zh) * | 2021-04-02 | 2021-05-04 | 湖北亿咖通科技有限公司 | 图像时间同步方法、装置、电子设备及存储介质 |
CN113163222A (zh) * | 2021-03-31 | 2021-07-23 | 杭州奥点科技股份有限公司 | 一种视频帧同步方法、系统、设备及可读存储介质 |
-
2021
- 2021-09-14 CN CN202111072591.XA patent/CN113784118A/zh active Pending
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103222277A (zh) * | 2010-06-04 | 2013-07-24 | 三星电子株式会社 | 基于用于确定内容质量的多个元素的自适应流传输的方法和装置 |
JP2012204878A (ja) * | 2011-03-23 | 2012-10-22 | Tektronix Internatl Sales Gmbh | ビデオ・データ・ストリーム評価方法及びシステム |
US20170093738A1 (en) * | 2014-10-27 | 2017-03-30 | Hitachi, Ltd. | Stream data processing method and stream data processing device |
US20170208220A1 (en) * | 2016-01-14 | 2017-07-20 | Disney Enterprises, Inc. | Automatically synchronizing multiple real-time video sources |
US20200389665A1 (en) * | 2018-06-20 | 2020-12-10 | Tencent Technology (Shenzhen) Company Limited | Video encoding and decoding method, and storage medium thereof |
CN111355549A (zh) * | 2018-12-21 | 2020-06-30 | 深圳市中兴微电子技术有限公司 | 一种数据保护方法及装置 |
CN109714634A (zh) * | 2018-12-29 | 2019-05-03 | 青岛海信电器股份有限公司 | 一种直播数据流的解码同步方法、装置及设备 |
CN110493638A (zh) * | 2019-08-20 | 2019-11-22 | 广州虎牙科技有限公司 | 视频帧对齐方法、装置、电子设备及可读存储介质 |
CN110738657A (zh) * | 2019-10-28 | 2020-01-31 | 北京字节跳动网络技术有限公司 | 视频质量评估方法、装置、电子设备及存储介质 |
CN110943796A (zh) * | 2019-11-19 | 2020-03-31 | 深圳市道通智能航空技术有限公司 | 时间戳对齐方法、装置、存储介质及设备 |
CN111277827A (zh) * | 2020-02-24 | 2020-06-12 | 腾讯科技(深圳)有限公司 | 一种视频数据处理方法、装置、设备以及可读存储介质 |
CN111641858A (zh) * | 2020-04-29 | 2020-09-08 | 上海推乐信息技术服务有限公司 | 一种音视频同步方法及系统 |
CN112399190A (zh) * | 2020-10-16 | 2021-02-23 | 北京达佳互联信息技术有限公司 | 音视频数据获取方法及其装置 |
CN112272170A (zh) * | 2020-10-19 | 2021-01-26 | 广州博冠信息科技有限公司 | 语音通信方法及装置、电子设备、存储介质 |
CN112714309A (zh) * | 2020-12-22 | 2021-04-27 | 北京百度网讯科技有限公司 | 视频质量评估方法、装置、设备、介质及程序产品 |
CN113163222A (zh) * | 2021-03-31 | 2021-07-23 | 杭州奥点科技股份有限公司 | 一种视频帧同步方法、系统、设备及可读存储介质 |
CN112751983A (zh) * | 2021-04-02 | 2021-05-04 | 湖北亿咖通科技有限公司 | 图像时间同步方法、装置、电子设备及存储介质 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114222066A (zh) * | 2021-12-23 | 2022-03-22 | 上海商米科技集团股份有限公司 | 网络视频质量的检测系统、方法和计算机可读介质 |
CN115243073A (zh) * | 2022-07-22 | 2022-10-25 | 腾讯科技(深圳)有限公司 | 一种视频处理方法、装置、设备及存储介质 |
CN115243073B (zh) * | 2022-07-22 | 2024-05-14 | 腾讯科技(深圳)有限公司 | 一种视频处理方法、装置、设备及存储介质 |
CN116843690A (zh) * | 2023-09-01 | 2023-10-03 | 荣耀终端有限公司 | 图像质量评估方法、设备及系统 |
CN116843690B (zh) * | 2023-09-01 | 2024-03-01 | 荣耀终端有限公司 | 图像质量评估方法、设备及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113784118A (zh) | 视频质量评估方法及装置、电子设备和存储介质 | |
US20180192063A1 (en) | Method and System for Virtual Reality (VR) Video Transcode By Extracting Residual From Different Resolutions | |
CN110418177B (zh) | 视频编码方法、装置、设备和存储介质 | |
US6989868B2 (en) | Method of converting format of encoded video data and apparatus therefor | |
US20150117545A1 (en) | Layered Video Encoding and Decoding | |
CN112954398B (zh) | 编码方法、解码方法、装置、存储介质及电子设备 | |
CN111263243B (zh) | 视频编码方法、装置、计算机可读介质及电子设备 | |
CN110827380A (zh) | 图像的渲染方法、装置、电子设备及计算机可读介质 | |
CN111510766A (zh) | 视频编码实时评估及播放工具 | |
WO2023134523A1 (zh) | 内容自适应视频编码方法、装置、设备和存储介质 | |
CN111524110B (zh) | 视频质量的评价模型构建方法、评价方法及装置 | |
Xie et al. | Modeling the perceptual quality of viewport adaptive omnidirectional video streaming | |
Min et al. | Perceptual Video Quality Assessment: A Survey | |
CN113452996B (zh) | 一种视频编码、解码方法及装置 | |
CN111818338B (zh) | 一种异常显示检测方法、装置、设备及介质 | |
Saha et al. | Perceptual video quality assessment: The journey continues! | |
CN114071121B (zh) | 影像品质评估装置及其影像品质评估方法 | |
WO2019196573A1 (zh) | 一种流媒体转码方法、装置、计算机设备及可读介质 | |
US10764578B2 (en) | Bit rate optimization system and method | |
CN115834952A (zh) | 基于视觉感知的视频帧率检测方法及装置 | |
JP4740967B2 (ja) | 映像品質推定装置、方法、およびプログラム | |
CN111669541A (zh) | 预监画面显示方法及显示系统 | |
US11190774B1 (en) | Screen content encoding mode evaluation including intra-block evaluation of multiple potential encoding modes | |
Shi et al. | A user-perceived video quality assessment metric using inter-frame redundancy | |
US11908340B2 (en) | Magnification enhancement of video for visually impaired viewers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |