CN103747238B - 视频静止失真程度评估方法和装置 - Google Patents
视频静止失真程度评估方法和装置 Download PDFInfo
- Publication number
- CN103747238B CN103747238B CN201310054674.5A CN201310054674A CN103747238B CN 103747238 B CN103747238 B CN 103747238B CN 201310054674 A CN201310054674 A CN 201310054674A CN 103747238 B CN103747238 B CN 103747238B
- Authority
- CN
- China
- Prior art keywords
- video flowing
- static
- static event
- video
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/38—Transmitter circuitry for the transmission of television signals according to analogue transmission standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明实施例提供了一种视频静止失真程度评估方法和装置。该方法包括:获取视频流的帧率以及静止事件的静止特征参数,所述静止事件的静止特征参数与所述视频流的静止事件的时长相关,其中,所述静止事件用于表征所述视频流的停顿;根据所述视频流的帧率和静止特征参数,获取所述视频流的静止事件失真值,所述静止事件失真值用于表征所述视频流的失真程度。本发明实施例的视频静止失真程度评估方法和装置,更符合人眼主观感受,提高了失真程度评估的准确性。
Description
技术领域
本发明涉及通信技术领域,并且更具体地,涉及一种视频静止失真程度评估方法和装置。
背景技术
在网络视频迅速发展的背景下,由于视频业务数据量大,实时性要求高,并且用户敏感性强,使得运营商需要对传输的视频业务质量进行监控并及时采取相应措施进行调节以保证用户对视频业务的体验需求。网络视频质量受到许多复杂因素的影响,网络视频失真质量评估是网络视频应用中必不可少的一项重要技术。
然而,现有的无参考客观视频失真程度评估方法中,考虑的因素不全面,且不能准确反映人眼的主观感受,具有一定的局限性,因此,失真程度预测的准确性低。
发明内容
本发明实施例提供了一种视频静止失真程度评估方法和装置,能够提高失真程度预测的准确性。
第一方面,提供了一种视频静止失真程度评估方法,包括:获取视频流的帧率以及静止事件的静止特征参数,该静止事件的静止特征参数与该视频流的静止事件的时长相关,其中,该静止事件用于表征该视频流的停顿;根据该视频流的帧率和静止事件的静止特征参数,获取该视频流的静止事件失真值,该静止事件失真值用于表征该视频流的失真程度。
结合第一方面,在第一方面的第一种可能的实现方式中,静止事件的时长是通过静止时间来表征或者是通过静止帧的数目来表征的。
结合第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,在所述静止事件的时长是通过静止帧的数目来表征时,所述静止事件的静止特征参数与所述视频流的静止事件的时长相关,包括:所述静止事件的静止特征参数通过静止帧的数目和视频流的视频帧总数目的比例关系来表征;或者所述静止事件的静止特征参数通过静止帧的数目和视频流的连续播放的数目的比例关系来表征。
结合第一方面的第二种可能的实现方式,在第一方面的第三种可能的实现方式中,在所述静止事件的静止特征参数通过静止帧的数目和视频流的视频帧总数目的比例关系来表征时,该获取视频流的帧率以及静止事件的静止特征参数,包括:获取该视频流的帧率以及根据公式
其中,i_total_num_frames表示视频流的视频帧总数目,i_total_num_freezing_frames表示视频流的静止事件对应的所有静止帧的数目,f_freezing_length表示静止事件的静止特征参数。
结合第一方面,第一方面的第一种可能的实现方式,第一方面的第二种可能的实现方式或第一方面的第三种可能的实现方式,在第一方面的第四种可能的实现方式中,该根据该视频流的帧率以及静止事件的静止特征参数,获取该视频流的静止事件失真值,包括:根据公式
其中,fps为视频流的帧率,f_freezing_length为视频流的静止事件的静止特征参数,freezing_artifact_value为静止事件失真值,a1、a2、a3以及a4为正常数。
结合第一方面,第一方面的第一种可能的实现方式,第一方面的第二种可能的实现方式或第一方面的第三种可能的实现方式,在第一方面的第五种可能的实现方式中,该方法还包括:获取该视频流的与该视频流的运动变化程度和运动一致性中的至少一种相关的视频运动特征参数;该根据该视频流的帧率以及静止事件的静止特征参数,获取该视频流的静止事件失真值包括:根据该视频流的视频运动特征参数、帧率和静止事件的静止特征参数,获取该视频流的静止事件失真值。
结合第一方面的第五种可能的实现方式,在第一方面的第六种可能的实现方式中,该获取该视频流的视频运动特征参数,包括:根据该视频流的静止事件发生前的编码帧的运动矢量,确定该视频流的视频运动特征参数;或根据该视频流的静止事件结束后的编码帧的运动矢量,确定该视频流的视频运动特征参数;或根据该视频流的静止事件发生前的编码帧的运动矢量和该视频流的静止事件结束后的编码帧的运动矢量,确定该视频流的视频运动特征参数;或根据该视频流的所有编码帧的运动矢量,确定该视频流的视频运动特征参数。
结合第一方面的第六种可能的实现方式,在第一方面的第七种可能的实现方式中,该根据该视频流的静止事件发生前的编码帧的运动矢量,确定该视频流的视频运动特征参数,包括:根据该视频流的静止事件发生前的最后一个解码或显示的编码帧的运动矢量,确定该视频流的视频运动特征参数。
结合第一方面的第五种可能的实现方式,第一方面的第六种可能的实现方式或第一方面的第七种可能的实现方式,在第一方面的第八种可能的实现方式中,该根据该视频流的视频运动特征参数、帧率和静止事件的静止特征参数,获取该视频流的静止事件失真值,包括:根据公式
确定该视频流的静止事件失真值;
其中,fps为视频流的帧率,f_freezing_length为视频流的静止事件的静止特征参数,MV为视频流的视频运动特征参数,a9、a10、a11、a12以及a13为正常数。
结合第一方面的第五种可能的实现方式,第一方面的第六种可能的实现方式,第一方面的第七种可能的实现方式或第一方面的第八种可能的实现方式,在第一方面的第九种可能的实现方式中,视频运动特征参数与视频流的运动变化程度之间的相关关系的方向与视频运动特征参数与静止事件失真值之间的相关关系的方向一致,视频运动特征参数与视频流的运动一致性之间的相关关系的方向与视频运动特征参数与静止事件失真值之间的相关关系的方向一致。
结合第一方面,第一方面的第一种可能的实现方式,第一方面的第二种可能的实现方式,第一方面的第三种可能的实现方式,第一方面的第四种可能的实现方式,第一方面的第五种可能的实现方式,第一方面的第六种可能的实现方式中,第一方面的第七种可能的实现方式,第一方面的第八种可能的实现方式或第一方面的第九种可能的实现方式,在第一方面的第十种可能的实现方式中,帧率与静止事件失真值正相关,静止事件的静止特征参数与静止事件的时长之间的相关关系的方向与静止事件的静止特征参数与静止事件失真值之间的相关关系的方向一致。
第二方面,提供了一种视频静止失真程度评估装置,包括:第一获取单元,用于获取视频流的帧率以及静止事件的静止特征参数,该静止事件的静止特征参数与该视频流的静止事件的时长相关,其中,该静止事件用于表征该视频流的停顿;第二获取单元,用于根据该视频流的帧率和静止事件的静止特征参数,获取该视频流的静止事件失真值,该静止事件失真值用于表征该视频流的失真程度。
结合第二方面,在第二方面的第一种可能的实现方式中,静止事件的时长是通过静止时间来表征或者是通过静止帧的数目来表征的。
结合第二方面的第一种可能的实现方式,在第二方面的第二种可能的实现方式中,在所述静止事件的时长是通过静止帧的数目来表征时,所述静止事件的静止特征参数与所述视频流的静止事件的时长相关,包括:所述静止事件的静止特征参数通过静止帧的数目和视频流的视频帧总数目的比例关系来表征;或者所述静止事件的静止特征参数通过静止帧的数目和视频流的连续播放的数目的比例关系来表征。
结合第二方面的第二种可能的实现方式,在第二方面的第三种可能的实现方式中,在所述静止事件的静止特征参数通过静止帧的数目和视频流的视频帧总数目的比例关系来表征时,该第一获取单元具体用于:获取该视频流的帧率以及根据公式
其中,i_total_num_frames表示视频流的视频帧总数目,i_total_num_freezing_frames表示视频流的静止事件对应的所有静止帧的数目,f_freezing_length表示静止事件的静止特征参数。
结合第二方面,第二方面的第一种可能的实现方式或第二方面的第二种可能的实现方式或第二方面的第三种可能的实现方式,在第二方面的第四种可能的实现方式中,该第二获取单元具体用于:根据公式
其中,fps为视频流的帧率,f_freezing_length为视频流的静止事件的静止特征参数,freezing_artifact_value为静止事件失真值,a1、a2、a3以及a4为正常数。
结合第二方面,第二方面的第一种可能的实现方式,第二方面的第二种可能的实现方式或第二方面的第三种可能的实现方式,在第二方面的第五种可能的实现方式中,该第一获取单元还用于:获取该视频流的与该视频流的运动变化程度和运动一致性中的至少一种相关的视频运动特征参数;该第二获取单元具体用于:根据该视频流的视频运动特征参数、帧率和静止事件的静止特征参数,获取该视频流的静止事件失真值。
结合第二方面的第五种可能的实现方式,在第二方面的第六种可能的实现方式中,该第一获取单元具体用于:根据该视频流的静止事件发生前的编码帧的运动矢量,确定该视频流的视频运动特征参数;或根据该视频流的静止事件结束后的编码帧的运动矢量,确定该视频流的视频运动特征参数;或根据该视频流的静止事件发生前的编码帧的运动矢量和该视频流的静止事件结束后的编码帧的运动矢量,确定该视频流的视频运动特征参数;或根据该视频流的所有编码帧的运动矢量,确定该视频流的视频运动特征参数。
结合第二方面的第六种可能的实现方式,在第二方面的第七种可能的实现方式中,该第一获取单元具体用于:根据该视频流的静止事件发生前的最后一个解码或显示的编码帧的运动矢量,确定该视频流的视频运动特征参数。
结合第二方面的第五种可能的实现方式,第二方面的第六种可能的实现方式或第二方面的第七种可能的实现方式,在第二方面的第八种可能的实现方式中,该第二获取单元具体用于:根据公式
确定该视频流的静止事件失真值;
其中,fps为视频流的帧率,f_freezing_length为视频流的静止事件的静止特征参数,MV为视频流的视频运动特征参数,a9、a10、a11、a12以及a13为正常数。
结合第二方面的第五种可能的实现方式,第二方面的第六种可能的实现方式,第二方面的第七种可能的实现方式或第二方面的第八种可能的实现方式,在第二方面的第九种可能的实现方式中,视频运动特征参数与视频流的运动变化程度之间的相关关系的方向与视频运动特征参数与静止事件失真值之间的相关关系的方向一致,视频运动特征参数与视频流的运动一致性之间的相关关系的方向与视频运动特征参数与静止事件失真值之间的相关关系的方向一致。
结合第二方面,第二方面的第一种可能的实现方式,第二方面的第二种可能的实现方式,第二方面的第三种可能的实现方式,第二方面的第四种可能的实现方式,第二方面的第五种可能的实现方式,第二方面的第六种可能的实现方式中,第二方面的第七种可能的实现方式,第二方面的第八种可能的实现方式,或第二方面的第九种可能的实现方式,在第二方面的第十种可能的实现方式中,帧率与静止事件失真值正相关,静止事件的静止特征参数与静止事件的时长之间的相关关系的方向与静止事件的静止特征参数与静止事件失真值之间的相关关系的方向一致。
因此,在本发明实施例中,通过获取视频流的帧率以及与所述视频流的静止事件的时长相关的静止特征参数,根据该视频流的帧率以及静止特征参数,获取该视频流的静止事件失真值,在进行静止事件失真程度评估时,考虑的因素更为全面,且更符合人的主观感受,从而提高了失真程度预测的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种视频静止失真程度评估方法的示意性流程图。
图2是本发明实施例的一种视频静止失真程度评估装置的示意性框图。
图3是本发明实施例的另一种视频静止失真程度评估装置的示意性框图。
图4是本发明实施例的视频静止失真程度评估装置的应用场景图。
图5是本发明另一实施例的视频静止失真程度评估装置的应用场景图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都应属于本发明保护的范围。
应理解,本发明实施例的技术方案可以应用于各种通信系统,例如:全球移动通讯(Global System of Mobile communication,简称“GSM”)系统、码分多址(Code Division Multiple Access,简称“CDMA”)系统、宽带码分多址(Wideband Code Division Multiple Access,简称“WCDMA”)系统、通用分组无线业务(General Packet Radio Service,简称“GPRS”)、长期演进(Long Term Evolution,简称“LTE”)系统、LTE频分双工(Frequency DivisionDuplex,简称“FDD”)系统、LTE时分双工(Time Division Duplex,简称“TDD”)、通用移动通信系统(Universal Mobile Telecommunication System,简称“UMTS”)等。
本发明实施例中的视频静止失真程度评估方法可以用于视频失真质量评估。
图1是根据本发明实施例的视频静止失真程度评估方法100的示意性流程图。如图1所示,该方法100包括:
S110,获取视频流的帧率以及静止事件的静止特征参数,该静止事件的静止特征参数与该视频流的静止事件的时长相关,其中,所述静止事件用于表征所述视频流的停顿。
需要说明的是,本发明实施例中的静止特征参数与该视频流的静止事件的时长相关,其相关性表现为,静止特征参数的获得需要参考静止时间的时长或者能够反应时长的等同变形,此处不做特别限定,例如静止事件的时长可以通过时间来表征,也可以通过静止帧的数目来表征。
在本发明实施例中,在所述静止事件的时长是通过静止帧的数目来表征时,该静止事件的静止特征参数与该视频流的静止事件的时长相关,包括:该静止事件的静止特征参数通过静止帧的数目和视频流的视频帧总数目的比例关系来表征;或者该静止事件的静止特征参数通过静止帧的数目和视频流的连续播放的数目的比例关系来表征。
具体的,静止特征参数可以为静止事件的时长,可以为静止事件的时长与该视频流的连续播放时长的比值,可以为静止事件的时长与(该视频流的连续播放时长+静止事件的时长)的比值,可以是一次或多次静止事件对应的静止帧的数目,可以是一次或多次静止事件对应的静止帧的数目与该视频流连续播放的视频帧的个数的比值,也可以是一次或多次静止事件对应的静止帧的数目与视频流的视频帧的总数目的比值,其中,该视频流的视频帧的总数目是指视频流连续播放的视频帧的个数与静止帧的数目之和,即该视频流在正常播放下所应播放的视频帧的数目或者视频流的视频帧的总数目是该视频流被播放的所有的视频帧之和。
S120,根据该视频流的帧率以及静止事件的静止特征参数,获取该视频流的静止事件失真值。其中,该静止事件失真值可以用于视频失真质量的评估。
在本发明实施例中,视频流的帧率与静止事件失真值正相关,静止特征参数与静止事件的时长之间的相关关系的方向与静止特征参数与静止事件失真值之间的相关关系的方向一致。
在本发明实施例中,视频流的帧率可以从码流中获取,可以从视频流的传输包头中获取,也可以是从外界传输的辅助信息中获取。
在本发明实施例中,在获取视频流的帧率和静止特征参数之外,还可以获取视频流的与视频流的运动变化程度和运动一致性中的至少一种相关的视频运动特征参数;并可以根据视频流的视频运动特征参数、帧率和静止特征参数,获取该视频流的静止事件失真值。
在本发明实施例中,视频运动特征参数与视频流的运动变化程度之间的相关关系的方向与视频运动特征参数与静止事件失真值之间的相关关系的方向一致。视频运动特征参数与视频流的运动一致性之间的相关关系的方向与视频运动特征参数与静止事件失真值之间的相关关系的方向一致。
本发明实施例所述的视频流是指被进行失真程度评估的视频流,可以是一个完整的视频流中的一部分,或者一个完整的视频流;当然,也可以是对多个完整视频流共同进行失真评估。例如,两段完整的视频流A和B,视频流A的总时长为10min,被划分为5个片段,其中,每个片段为2min,视频流B的总时长为5min,被划分为5个片段,其中,每个片段为1min,则可以只对视频流A中的一个或多个片段进行失真程度评估,也可以只对视频流B中的一个或多个片段进行失真程度评估,还可以对视频流A中的一个或多个片段以及视频流B中的一个或多个片段共同进行失真评估。
本发明实施例所述的静止事件是指视频停顿一段时间,可以将视频停顿时长称之为静止事件的时长。视频停顿的过程中,可以显示静止事件发生前的最后一帧图像,也可以显示其他图像,例如,黑屏但显示停顿符号的图像,或者最后一帧显示图像结合显示停顿符号的综合图像。
本发明实施例所述的静止事件可以是网络时延引起的,也可以是网络丢包引起的。
在所述静止事件是因网络时延引起的时,由于没有数据包的丢失,所述静止事件可以是静止不带跳帧的静止事件,在静止事件发生期间,可以显示该静止事件发生前的最后一个正确接收或解码或显示的视频帧,并在静止事件结束时,可以继续播放视频流停顿期间本应播放的视频帧,当然,在静止事件结束时,也可以丢弃在停顿期间本应播放的视频帧,只继续播放停顿期间应当播放的视频帧后的视频帧。此时,可以将静止事件期间应当播放而被延迟到静止事件结束后播放的视频帧或者上述丢弃的视频帧称之为静止帧。
在所述静止事件是网络丢包引起的时,由于数据包的丢失,则会出现整帧丢失,和/或解码错误和/或误码传播,从而导致静止带跳帧的静止事件的发生,在一次静止带跳帧的静止事件中,视频会被停顿一次,此时,该视频流会丢弃一个或多个视频帧,并显示该静止事件发生前的最后一个正确接收或解码或显示的视频帧。其中,可以将该丢弃的一个或多个视频帧称之为静止帧。应理解,在本发明实施例中,如果某次静止事件同时出现了整帧丢失、解码错误和误码传播中的至少两种事件,则该次静止事件的静止帧包括因该整帧丢失、解码错误和误码传播中的该至少两种事件所被丢弃的所有视频帧。
在本发明实施例中,在静止事件发生后,如果出现一个视频帧本身没有丢包且在解码时没有受到前面丢包所产生的误码传播的影响,或者出现一个视频帧本身没有丢包且在解码时该帧的参考帧没有受到丢包和/或误码传播的影响,可以使得此次静止事件结束。
在本发明实施例中,静止事件的时长可以通过时间来表征,也可以通过静止帧的数目来表征。
在本发明实施例中,视频流的帧率与静止事件失真值正相关意味着:视频流的帧率越大则静止事件失真值越大,而视频流的帧率越小则静止事件失真值越小。
在本发明实施例中,静止特征参数与静止事件的时长之间的相关关系的方向与静止特征参数与静止事件失真值之间的相关关系的方向一致意味着:静止事件的时长越长则静止事件失真值越大,静止事件的时长越短则静止事件失真值越小。也就是说,在静止特征参数与静止事件的时长之间的相关关系的方向为正相关(静止事件时长越大则静止特征参数越大,静止事件时长越小则静止特征参数越小)时,静止特征参数与静止事件失真值的相关关系的方向也为正相关(静止特征参数越大则静止事件失真值越大,静止特征参数越小则静止事件失真值越小);在静止特征参数与静止事件的时长之间的相关关系的方向为负相关(静止事件的时长越大则静止特征参数越小,静止事件的时长越小则静止特征参数越大)时,静止特征参数与静止事件失真值的相关关系的方向也为负相关(静止特征参数越大则静止事件失真值越小,静止特征参数越小则静止事件失真值越大)。
在本发明实施例中,视频运动是指视频内容在时间上的变化,可以是由摄像机运动导致或者视频内容变化导致,可以是局部变化,也可以是全局变化,例如,平移运动(translation)、缩放运动(zooming)、摇摄(pan)运动、倾斜(tilt)运动、物体运动等。而视频运动特征参数则表征至少一种运动的运动变化程度(即视频内容在时间上的变化程度(例如,快,慢、大、小等)),和/或至少一种运动的运动一致性(即视频内容在时间上的一致性变化(例如,规则运动,不规则运动等))。越规则的运动,运动越一致,例如:平移运动(translation)、缩放运动(zooming)、摇摄(pan)运动,全局运动等,反之,越不规则的运动,运动越不一致。
在本发明实施例中,所述视频运动特征参数与所述视频流的运动变化程度之间的相关关系的方向与所述视频运动特征参数与所述静止事件失真值之间的相关关系的方向一致意味着:视频流的运动变化程度越大则静止事件失真值越大。也就是说,在视频运动特征参数与视频流的运动变化程度之间的相关关系的方向为正相关(运动变化程度越大则视频运动特征参数越大,运动变化程度越小则视频运动特征参数越小)时,视频运动特征参数与静止事件失真值之间的相关关系的方向也为正相关(视频运动特征参数越大则静止事件失真值越大,视频运动特征参数越小则静止事件失真值越小);在视频运动特征之与视频流的运动变化程度之间的相关关系的方向为负相关(运动变化程度越大则视频运动特征参数越小,运动变化程度越小则视频运动特征参数越大)时,视频运动特征参数与静止事件失真值之间的相关关系的方向也为负相关(视频运动特征参数越大则静止事件失真值越小,视频运动特征参数越小则静止事件失真值越大)。
在本发明实施例中,视频运动特征参数与视频流的运动一致性之间的相关关系的方向与视频运动特征参数与静止事件失真值之间的相关关系的方向一致意味着:视频流的运动越一致,则静止事件失真值越大。也就是说,在视频运动特征参数与视频流的运动一致性之间的相关关系的方向为正相关(运动越一致则视频运动特征参数越大,运动越不一致则视频运动特征参数越小)时,视频运动特征参数与静止事件失真值之间的相关关系的方向也为正相关(视频运动特征参数越大则静止事件失真值越大,视频运动特征参数越小则静止事件失真值越小);在视频运动特征之与视频流的运动一致性之间的相关关系的方向为负相关(运动越一致则视频运动特征参数越小,运动越不一致则视频运动特征参数越大)时,视频运动特征参数与静止事件失真值之间的相关关系的方向也为负相关(视频运动特征参数越大则静止事件失真值越小,视频运动特征参数越小则静止事件失真值越大)。
在本发明实施例中,视频的运动变化程度以及运动一致性均可以通过帧间编码帧的运动矢量来获取,如果将运动矢量调整至某一区间,例如,区间[-128.0,128.0]。可选地,可以进一步将被调整至某一区间的运动矢量再乘以帧率。该运动变化程度是通过调整后的运动矢量来获取。
为了更加清楚地理解本发明,下面将对本发明实施例进行详细说明,其中,以上述各个相关关系的方向为正相关为例进行说明,但是本发明并不限定于此。
以下将对如何获取视频流的视频运动特征参数进行详细说明。
在本发明实施例中,可以根据视频流的帧间编码帧的运动矢量(例如,对该视频流的所有显示或解码的帧间编码帧的运动矢量求平均)或视频流的编码帧的离散余弦变换(Discrete Cosine Transform,简称DCT)系数(例如,对该视频流的所有显示或解码的编码帧(帧间编码帧和/或帧内编码帧)的DCT系数求平均),确定该视频流的视频运动特征参数。
在本发明实施例中,可以根据该视频流的静止事件发生前的帧间编码帧的运动矢量,确定该视频流的视频运动特征参数;可以根据该视频流的静止事件结束后的帧间编码帧的运动矢量,确定该视频流的视频运动特征参数;可以根据该视频流的静止事件发生前的帧间编码帧的运动矢量和结束后的帧间编码帧的运动矢量,确定该视频流的视频运动特征参数;可以根据该视频流的静止事件发生前的编码帧的离散余弦变换DCT系数,确定该视频流的视频运动特征参数;可以根据该视频流的静止事件结束后的编码帧的DCT系数,确定该视频流的视频运动特征参数;可以根据该视频流的静止事件发生前的编码帧的离散余弦变换DCT系数和结束后的编码帧的DCT系数,确定该视频流的视频运动特征参数。
在本发明实施例中,具体可以根据该视频流的静止事件发生前的最后一个解码或显示的帧间编码帧的运动矢量确定该视频流的视频运动特征参数。
以下以公式(1)、(2)、(3)和(4)确定与视频流的运动变化程度相关的视频运动特征参数为例进行说明。
例如,可以根据公式(1)获取该视频流的视频运动特征参数MV:
其中,d_MVInfluence为正常数,例如,0.05,当然也可以是别的正常数,其中,针对不同分辨率的视频流可以采用不同的数值,也可以采用相同的数值,具体可以通过训练或经验值得到,d_MVInfluence也可以是与静止事件发生前的所有运动矢量的平均值相关的值;d_mv[i]表示该视频流的第i次静止事件发生前的最后一个解码或显示的帧间编码帧的运动矢量对应的值,i=1表示该视频流的第一次静止事件,n表示该视频流的静止事件总次数。
或者,在本发明实施例中,可以根据公式(2)获取该视频流的视频运动特征参数MV:
其中,d_MVInfluence为正常数,例如,2.5,当然也可以是别的正常数,其中,针对不同分辨率的视频流可以采用不同的数值,具体可以通过训练或经验值得到,d_MVInfluence也可以是与静止事件发生前的所有运动矢量的平均值相关的值;d_mv[i]表示该视频流的第i次静止事件发生前的最后一个解码或显示的帧间编码帧的运动矢量对应的值,i=1表示该视频流的第一次静止事件,n表示该视频流的静止事件总次数。
在本发明实施例中,对于公式(1)或公式(2)中的d_mv[i]可以通过公式(3)获取:
其中,该mvmedian[i]l表示该视频流的第i次静止事件发生前的最后一个帧间编码帧中第l个宏块的运动矢量对应的值,g表示该视频流的第i次静止事件发生前的最后一个解码或显示的帧间编码帧所具有的宏块的总数量。
在本发明实施例中,对于公式(1)或公式(2)中的d_mv[i]也可以通过公式(4)获取:
其中,该mvmedian[i]l表示该视频流的第i次静止事件发生前的最后一个解码或显示的帧间编码帧中第l个宏块的运动矢量对应的值,g表示该视频流的第i次静止事件发生前的最后一个解码或显示的帧间编码帧所具有的宏块的总数量。
以上公式(3)和(4)中的d_mv[i]分别是对该帧的所有的宏块的运动矢量对应的值求和或对该帧的所有的宏块的运动矢量对应的值求平均得到的。当然,本发明实施例中的d_mv[i]也可以通过其他方式得到,例如,通过对该帧的所有的宏块的运动矢量对应的值进行中值计算而得到该d_mv[i]。
在本发明实施例中,在根据公式(3)或(4)获取d_mv[i]之后,可以对该d_mv[i]进行调整再进行MV的计算,例如,可以将该d_mv[i]进行调整至区间[C1,C2],其中,可以对d_mv[i]进行归一化处理,即调整至[0.0,1.0],例如,通过将该d_mv[i]进行调整以将其调整至[0.0,1.0]之间,其中,其中,C2=1.0,C3和C4为常数,例如,C3=64.0,C4=1/4。当然,也可以将该d_mv[i]调整至别的区间,本发明实施例并不对此进行限定。
在本发明实施例中,可以根据该第l个宏块的所有运动矢量确定该第l个宏块的运动矢量对应的值mvmedian[i]l。具体可以通过以下两种方法进行确定。
方法一
1)将该宏块l的mvx,t,l和mvy,t,l调整至区间[b1,b2]之间,其中,mvx,t,l为该该宏块l的第t个块的水平方向的运动矢量,mvy,t,l为该该宏块l的第t个块的垂直方向的运动矢量,t=1,2,3....T,T为该宏块l所具有的块的总数目,b1以及b2为常数,例如,b1=-128.0,b2=128.0;当然,b1以及b2也可以为其他常数,具体可以通过训练或经验值得到。
2)对调整后的mvx,t,l和mvy,t,l分别进行中值计算,各自取中值作为该宏块的水平方向的运动矢量值mvx,l和垂直方向的运动矢量值mvy,l;
3)通过公式 或者mvmedian[i]l=|mvx,l|+|mvy,l|获取mvmedian[i]l。
4)将mvmedian[i]l调整至[b3,b4],其中,b3以及b4为常数,具体可以通过训练或经验值得到。
方法二
1)将该宏块l的mvx,t,l和mvy,t,l调整至区间[b1,b2]之间,其中,mvx,t,l为该该宏块l的第t个块的水平方向的运动矢量,mvy,t,l为该该宏块l的第t个块的垂直方向的运动矢量,t=1,2,3....T,T为该宏块l所具有的块的总数目,b1以及b2为常数,例如,b1=-128.0,b2=128.0;当然,b1以及b2也可以为其他常数,具体可以通过训练或经验值得到。
2)通过公式或者mvt,l=|mvx,l|+|mvy,l|对该宏块l的所有运动矢量进行求值计算;
3)对该宏块l的mvt,l进行中值计算,取中值作为该宏块的运动矢量的中值mvmedian[i]l;
4)将mvmedian[i]l调整至[b5,b6]其中,b5以及b6为常数,具体可以通过训练或经验值得到。
应理解,以上两种方法只是获取宏块的运动矢量的对应的值的具体实现方式。本发明实施例还可以有其他实现方式。例如,对于方法一而言,不进行步骤1)和/或4)中的调整,对于方法二而言,也不进行步骤1)和/或4)中的调整;再例如,通过其他方式确定方法一和方法二中的步骤2)和3);再例如,对于方法一和方法二而言,在mvx,t,l和mvy,t,l被调整至区间[b1,b2]之后,可以再将调整后的值分别乘以帧率来作为要使用的mvx,t,l和mvy,t,l。具体可以根据实际情况而定,本发明实施例并不对此进行限定。还应理解,本发明实施例中所述的宏块在一些标准中,例如,在HEVC标准中,还可以被称为编解码单元(coding unit)。
在本发明实施例中,虽然上述通过公式(1)或(2)以每一次静止事件发生前的最后一个解码或显示的帧间编码帧的运动矢量确定视频流的视频运动特征参数为例进行说明,但本发明还可以有其他的实现方式。例如,通过每一次静止事件结束后的任一个(例如,第一个)解码或显示的帧间编码帧的运动矢量确定视频流的视频运动特征参数;或者,通过每一次静止事件发生前的任一个或多个(例如,最后一个)解码或显示的帧间编码帧的运动矢量与结束后的任一个或多个(例如,第一个)解码或显示的帧间编码帧的运动矢量共同确定视频流的视频运动特征参数(例如,首先对每一次静止事件发生前的最后一个解码或显示的帧间编码帧的运动矢量对应的值与结束后的第一个解码或显示的帧间编码帧的运动矢量对应的值求平均,然后根据该平均值确定视频流的视频运动特征参数,其中,结束后的第一个解码或显示的帧间编码帧的运动矢量对应的值的获取方法可以参见静止事件发生前的最后一个解码或显示的帧间编码帧的运动矢量对应的值的获取方法);或者,通过每一次静止事件发生前的任一个(例如,第一个)解码或显示的编码帧的DCT系数确定该视频流的视频运动特征参数;或者,通过每一次静止事件结束后的任一个(例如,第一个)解码或显示的编码帧的DCT系数确定该视频流的视频运动特征参数;或者,通过每一次静止事件发生前的任一个(例如,最后一个)解码或显示的编码帧的DCT系数与结束后的任一个(例如,第一个)解码或显示的编码帧的DCT系数共同确定视频流的视频运动特征参数;或者,通过每一次静止事件发生前的多个解码或显示帧间编码帧的运动矢量确定视频流的视频运动特征参数(例如,对该多个解码或显示帧间编码帧的运动矢量对应的值求平均,然后根据该平均值确定视频流的视频运动特征参数);或者,通过每一次静止事件结束后的多个解码或显示帧间编码帧的运动矢量确定视频流的视频运动特征参数;或者,通过每一次静止事件发生前的多个解码或显示的编码帧的DCT系数确定视频流的视频运动特征参数;或者,通过每一次静止事件结束后的多个解码或显示的编码帧的DCT系数确定视频流的视频运动特征参数。
以下以公式(5)、(6)、(7)、(8)、(9)、(10)和(11)确定与该视频流的运动一致性相关的视频运动特征参数为例进行说明。
在本发明实施例中,还可以根据公式(5)确定该视频流的视频运动特征参数MV:
其中,i=1表示视频流的第一次静止事件,n表示视频流的静止事件总次数,pan_factori表示视频流的第i次静止事件对应的摇摄运动特征参数或平移运动特征参数(当是摇摄运动或者平移运动时,pan_factori相对更大,可以理解为运动越一致),zoom_factori表示视频流的第i次静止事件对应的拉伸运动特征参数(当是拉伸运动时,zoom_factori相对更大,可以理解为运动越一致)。
在本发明实施例中,可以根据多种方法确定上述pan_factori和zoom_factori,例如,可以通过以下三种方法确定上述pan_factori和zoom_factori。
方法A
1)通过公式(6)确定pan_factori:
其中,m表示第m个宏块;p表示第p个帧间编码帧(例如,第i次静止事件发生前最后一个解码或者显示的帧间编码帧或结束后的第一个解码或者显示的帧间编码帧);t表示第p个帧间编码帧中第m个宏块中的第t个块;Aerat,m表示第t个块的面积,此时,Aerat,m是以像素为单位,例如:块大小为8x8,即64个像素,块大小为16x16,即256个像素;mvx,t,m表示第t个块的水平方向的运动矢量值,其中,mvx,t,m可以是第t个块的水平方向的原始运动矢量值,也可以是调整后的运动矢量值(例如:取值属于区间[-128.0,128.0],最大值为128.0,最小值为-128.0;再例如,被调整至[-128.0,128.0]之后,再乘以帧率后的运动矢量);mvy,t,m表示第t个块的垂直方向的运动矢量值,其中,mvy,t,m可以是第t个块的垂直方向的原始运动矢量值,也可以是调整后的运动矢量值(例如:取值属于区间[-128.0,128.0],最大值为128.0,最小值为-128.0;再例如,被调整至[-128.0,128.0]之后,再乘以帧率后的运动矢量);i_nbr_mbs表示第p个帧间编码帧所具有的宏块的总数。
2)通过公式(7)确定zoom_factori:
其中,m表示第m个宏块;pL表示第p个帧间编码帧左半部分;pR表示第p个帧间编码帧右半部分;pT表示第p个帧间编码帧上半部分;pB表示第p个帧间编码帧下半部分;t表示第p个帧间编码帧中pL或pR或pT或pB中第m个宏块中的第t个块;Aerat,m表示第t个块的面积,以像素为单位,例如:块大小为8x8,即64个像素,块大小为16x16,即256个像素;mvx,t,m表示第t个块的水平方向的运动矢量值,其中,mvx,t,m可以是第t个块的水平方向的原始运动矢量值,也可以是调整后的运动矢量值(例如:取值属于区间[-128.0,128.0],最大值为128.0,最小值为-128.0;再例如,被调整至[-128.0,128.0]之后,再乘以帧率后的运动矢量);mvy,t,m表示第t个块的垂直方向的运动矢量值,其中,mvy,t,m可以是第t个块的垂直方向的原始运动矢量值,也可以是调整后的运动矢量值(例如:取值属于区间[-128.0,128.0],最大值为128.0,最小值为-128.0;再例如,被调整至[-128.0,128.0]之后,再乘以帧率后的运动矢量);i_nbr_mbs表示第p个帧间编码帧所具有的宏块的总数。
方法B
1)通过公式(8)确定pan_factori:
2)通过公式(9)确定zoom_factori:
其中,公式(8)和(9)中的video_width·video_height表示第p个帧间编码帧的面积(以像素为单位),其他参数的含义请参考公式(6)和(7),为了简洁,在此不再赘述。
方法C
1)通过公式(10)确定pan_factori:
2)通过公式(11)确定zoom_factori:
其中,公式(10)和(11)中各个参数的含义请参考公式(6)和(7),为了简洁,在此不再赘述。
应理解,本发明实施例还可以通过其他方式获取视频流的视频运动特征参数,本发明实施例并不对此进行限定。例如,对于公式(5),可以将其变换为 或为
上述以如何获取视频流的视频运动特征参数进行了说明,以下将对如何获取视频流的静止特征参数进行说明。
需要说明的是,本发明实施例中的静止特征参数与该视频流的静止事件的时长相关,其相关性表现为,静止特征参数的获得需要参考静止时间的时长或者能够反应时长的等同变形,此处不做特别限定,例如静止事件的时长可以通过时间来表征,也可以通过静止帧的数目来表征,也可以通过静止帧的数目和视频流的视频帧总数目的比例关系来表征。具体的,具体的,静止特征参数可以为静止事件的时长,可以为静止事件的时长与该视频流的连续播放时长的比值,可以为静止事件的时长与(该视频流的连续播放时长+静止事件的时长)的比值,可以是一次或多次静止事件对应的静止帧的数目,可以是一次或多次静止事件对应的静止帧的数目与该视频流连续播放的视频帧的个数的比值,也可以是一次或多次静止事件对应的静止帧的数目与视频流的视频帧的总数目的比值,其中,该视频流的视频帧的总数目是指视频流连续播放的视频帧的个数与静止帧的数目之和,即该视频流在正常播放下所应播放的视频帧的数目或者视频流的视频帧的总数目是该视频流被播放的所有的视频帧之和。
在本发明实施例中,对于静止事件是因网络时延引起的时,静止事件的信息(例如,静止事件起始位置,静止事件的时长(可以通过时间来表征))可以是从视频停顿设备中获取的,也可以是视频流接收端反馈的。对于静止事件是因网络丢包引起的时,可以采用视频流接收端的视频解码器所采用的视频错误隐藏方法,从而可以得到与视频解码器所得到的静止事件相同的静止事件,并得到静止事件的信息(例如,静止事件的时长(可以通过静止帧的数目来表征))。
例如,可以根据公式(12)获取该视频流的静止特征参数f_freezing_length:
其中,i_total_num_frames表示该视频流的视频帧总数目,i_total_num_freezing_frames表示该视频流的静止事件对应的静止帧的总数目。
在本发明实施例中,在获取了视频流的视频运动特征参数,帧率和静止特征参数之后,则可以获取该视频流的静止事件失真值。
例如,通过以下公式(13)获取该视频流的静止事件失真值freezing_artifact_value:
其中,fps为视频流的帧率,f_freezing_length为视频流的静止特征参数,MV为该视频流的视频运动特征参数,a1、a2、a3以及a4为正常数,具体值可以通过训练得到。
再例如,通过以下公式(14)获取该视频流的静止事件失真值freezing_artifact_value:
其中,fps为该视频流的帧率,f_freezing_length为视频流的静止特征参数,MV为视频流的视频运动特征参数。a9、a10、a11以及a12为正常数,具体值可以通过训练或经验值得到。对于不同的分辨率,a9、a10、a11以及a12可以有不同的取值。例如,在标清分辨率下,a11=6.284277,a12=0.725262,a13=0.089219;在1280x720分辨率下,a11=4.04767,a12=0.914548,a13=0.066144;在1920x1080分辨率下,a11=9.269669,a12=0.758998,a13=0.064108。再例如,在标清分辨率下,a11=6.2843,a12=0.7253,a13=0.0892;在1280x720分辨率下,a11=4.0477,a12=0.9145,a13=0.0661;在1920x1080分辨率下,a11=9.2697,a12=0.7590,a13=0.0641。可选地,当a9等于4,a10等于1时,静止事件失真值大于等于0且小于等于4(0.0≤freezing_artifact_value≤4.0),当a9等于1,a10等于1时,静止事件失真值大于等于0且小于等于1(0.0≤freezing_artifact_value≤1.0)。
在本发明实施例中,也可以直接根据视频流的帧率和静止特征参数确定该视频流的静止事件失真值。
例如,可以根据公式(15)确定该视频流的静止事件失真值freezing_artifact_value:
其中,fps为视频流的帧率,f_freezing_length为视频流的静止特征参数,MV为视频流的视频运动特征参数,a1、a2、a3以及a4为正常数,具体值可以通过训练或经验值得到,并且在不同的分辨率下,可以有不同的取值。可选地,当a1等于4,a2等于1时,静止事件失真值大于等于0.0且小于等于4.0(0.0≤freezing_artifact_value≤4.0),当a1等于1,a2等于1时,静止事件失真值大于等于0.0且小于等于1.0(0.0≤freezing_artifact_value≤1.0)。
因此,在本发明实施例中,通过获取视频流的帧率以及与所述视频流的静止事件的时长相关的静止特征参数,根据该视频流的帧率以及静止特征参数,获取该视频流的静止事件失真值,在进行静止事件失真程度评估时,考虑的因素更为全面,且更符合人的主观感受,从而提高了失真预测的准确性。
图2是根据本发明实施例的视频静止失真程度评估装置200的示意性框图。如图2所示,该装置200包括:
第一获取单元210,用于获取视频流的帧率以及静止事件的静止特征参数,所述静止事件的静止特征参数与所述视频流的静止事件的时长相关,其中,该静止事件用于表征该视频流的停顿;
第二获取单元220,用于根据该视频流的帧率和静止事件的静止特征参数,获取该视频流的静止事件失真值,该静止事件失真值用于表征该视频流的失真程度。
可选地,静止事件的时长是通过静止时间来表征或者是通过静止帧的数目来表征的。
可选地,在所述静止事件的时长是通过静止帧的数目来表征时,该静止事件的静止特征参数与该视频流的静止事件的时长相关,包括:该静止事件的静止特征参数通过静止帧的数目和视频流的视频帧总数目的比例关系来表征;或者该静止事件的静止特征参数通过静止帧的数目和视频流的连续播放的数目的比例关系来表征。
可选地,在该静止事件的静止特征参数通过静止帧的数目和视频流的视频帧总数目的比例关系来表征时,该第一获取单元210具体用于:获取所述视频流的帧率以及根据公式
其中,i_total_num_frames表示视频流的视频帧总数目,i_total_num_freezing_frames表示视频流的静止事件对应的所有静止帧的数目,f_freezing_length表示静止特征参数。
可选地,该第二获取单元220具体用于:根据公式
其中,fps为视频流的帧率,f_freezing_length为视频流的静止特征参数,freezing_artifact_value为静止事件失真值,a1、a2、a3以及a4为正常数。
可选地,该第一获取单元210在获取该视频流的帧率和静止特征参数之外,还用于获取该视频流的与该视频流的运动变化程度和运动一致性中的至少一种相关的视频运动特征参数;则该第二获取单元220具体用于根据该视频流的视频运动特征参数、帧率和静止事件的静止特征参数,获取该视频流的静止事件失真值。
可选地,该第一获取单元210具体用于:
根据该视频流的静止事件发生前的编码帧的运动矢量,确定该视频流的视频运动特征参数;或
根据该视频流的静止事件结束后的编码帧的运动矢量,确定该视频流的视频运动特征参数;或
根据该视频流的静止事件发生前的编码帧的运动矢量和该视频流的静止事件结束后的编码帧的运动矢量,确定该视频流的视频运动特征参数;或
根据该视频流的所有编码帧的运动矢量,确定该视频流的视频运动特征参数。
可选地,该第一获取单元210具体用于:
根据该视频流的静止事件发生前的最后一个解码或显示的帧间编码帧的运动矢量,确定该视频流的视频运动特征参数。
可选地,该第二获取单元220具体用于:根据公式
确定该视频流的静止事件失真值;
其中,fps为视频流的帧率,f_freezing_length为视频流的静止事件的静止特征参数,MV为视频流的视频运动特征参数,a9、a10、a11、a12以及a13为正常数。
可选地,视频运动特征参数与视频流的运动变化程度之间的相关关系的方向与视频运动特征参数与静止事件失真值之间的相关关系的方向一致,视频运动特征参数与视频流的运动一致性之间的相关关系的方向与视频运动特征参数与静止事件失真值之间的相关关系的方向一致。
可选地,帧率与静止事件失真值正相关,静止特征参数与静止事件的时长之间的相关关系的方向与静止特征参数与静止事件失真值之间的相关关系的方向一致。
上述视频失真质量评估装置200可以是终端,例如,可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置,或者,装置200还可以是服务器,等等。
应理解,根据本发明实施例的视频失真质量评估装置200中的各个部件的上述和其它操作和/或功能分别为了实现图1和图2的方法100的相应流程,为了简洁,在此不再赘述。
因此,在本发明实施例中,通过获取视频流的帧率以及与该视频流的静止事件的时长相关的静止特征参数,根据该视频流的帧率以及静止特征参数,获取该视频流的静止事件失真值,在进行静止事件失真程度评估时,考虑的因素更为全面,且更符合人的主观感受,从而提高了失真程度预测的准确性。
图3是根据本发明实施例的视频失真质量评估装置300的示意性框图。该装置300包括处理器310、存储器320和总线330,其中,处理器310和存储器320通过总线330相连接。
存储器320中存储一组程序代码,且处理器310调用存储器320中存储的程序代码,用于执行以下操作:
获取视频流的帧率以及静止事件的静止特征参数,所述静止事件的静止特征参数与所述视频流的静止事件的时长相关,其中,该静止事件用于表征该视频流的停顿;
根据该视频流的帧率和静止事件的静止特征参数,获取该视频流的静止事件失真值,该静止事件失真值用于表征该视频流的失真程度。
可选地,静止事件的时长是通过静止时间来表征或者是通过静止帧的数目来表征的。
可选地,在所述静止事件的时长是通过静止帧的数目来表征时,该静止事件的静止特征参数与该视频流的静止事件的时长相关,包括:该静止事件的静止特征参数通过静止帧的数目和视频流的视频帧总数目的比例关系来表征;或者该静止事件的静止特征参数通过静止帧的数目和视频流的连续播放的数目的比例关系来表征。
可选地,在该静止事件的静止特征参数通过静止帧的数目和视频流的视频帧总数目的比例关系来表征时,处理器310调用存储器320中存储的程序代码,具体用于执行以下操作:获取所述视频流的帧率以及根据公式
其中,i_total_num_frames表示视频流的视频帧总数目,i_total_num_freezing_frames表示视频流的静止事件对应的所有静止帧的数目,f_freezing_length表示静止特征参数。
可选地,处理器310调用存储器320中存储的程序代码,具体用于执行以下操作:根据公式
其中,fps为视频流的帧率,f_freezing_length为视频流的静止事件的静止特征参数,freezing_artifact_value为静止事件失真值,a1、a2、a3以及a4为正常数。
可选地,处理器310调用存储器320中存储的程序代码,还用于执行以下操作:在获取该视频流的帧率和静止特征参数之外,还获取该视频流的与该视频流的运动变化程度和运动一致性中的至少一种相关的视频运动特征参数,并具体用于根据该视频流的视频运动特征参数、帧率和静止事件的静止特征参数,获取该视频流的静止事件失真值。
可选地,处理器310调用存储器320中存储的程序代码,具体用于执行以下操作:根据该视频流的静止事件发生前的编码帧的运动矢量,确定该视频流的视频运动特征参数;或根据该视频流的静止事件结束后的编码帧的运动矢量,确定该视频流的视频运动特征参数;或根据该视频流的静止事件发生前的编码帧的运动矢量和该视频流的静止事件结束后的编码帧的运动矢量,确定该视频流的视频运动特征参数;或根据该视频流的所有编码帧的运动矢量,确定该视频流的视频运动特征参数。
可选地,处理器310调用存储器320中存储的程序代码,具体用于执行以下操作:根据该视频流的静止事件发生前的最后一个解码或显示的帧间编码帧的运动矢量,确定该视频流的视频运动特征参数。
可选地,处理器310调用存储器320中存储的程序代码,具体用于执行以下操作:根据公式
确定该视频流的静止事件失真值;
其中,fps为视频流的帧率,f_freezing_length为视频流的静止事件的静止特征参数,MV为视频流的视频运动特征参数,a9、a10、a11、a12以及a13为正常数。
可选地,视频运动特征参数与视频流的运动变化程度之间的相关关系的方向与视频运动特征参数与静止事件失真值之间的相关关系的方向一致,视频运动特征参数与视频流的运动一致性之间的相关关系的方向与视频运动特征参数与静止事件失真值之间的相关关系的方向一致。
可选地,帧率与静止事件失真值正相关,静止特征参数与静止事件的时长之间的相关关系的方向与静止特征参数与静止事件失真值之间的相关关系的方向一致。
上述视频失真质量评估装置300可以是终端,例如,可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置,或者,装置300还可以是服务器,等等。
应理解,根据本发明实施例的视频失真质量评估装置300中的各个部件的上述和其它操作和/或功能分别为了实现图1和图2的方法100的相应流程,为了简洁,在此不再赘述。
因此,在本发明实施例中,通过获取视频流的帧率以及与该视频流的静止事件的时长相关的静止特征参数,根据该视频流的帧率以及静止特征参数,获取该视频流的静止事件失真值,在进行静止事件失真程度评估时,考虑的因素更为全面,且更符合人的主观感受,从而提高了失真程度预测的准确性。
本发明实施例的装置200和300可以是独立于视频流的接收端的一个设备,也可以是集成于接收端内部的一个设备。
图4是根据本发明实施例的视频静止失真程度评估装置所应用的场景图。
如图4所示,视频静止失真程度评估装置位于视频流的发送端和接收端之间,发送端发送的视频流一路传输至接收端,另一路传输至评估装置以及停顿预测设备。评估装置可以从停顿预测设备获取视频流的因网络时延导致的静止事件的信息(例如,静止事件的时长(可以通过时间来表征)、静止事件起始位置等),并可以从外界获取该视频流的帧率,以及其他辅助信息,例如接收端的视频解码器所采用的视频错误隐藏方法,从而可以获取因网络丢包所引起的静止事件,并得到静止事件的信息(例如,静止事件的时长(可以通过静止帧的数目来表征))。视频静止失真程度评估装置在获取到静止事件失真值后,可以将该静止事件失真值作为评估结果进行输出,也可以结合压缩失真值和/或压缩质量和/或其他失真质量得到一个综合的评估结果进行输出。
图5是根据本发明另一实施例的视频静止失真程度评估装置所应用的场景图。
如图5所示,视频静止失真程度评估装置集成于视频流的接收端内部,发送端发送的视频流达到接收端之后,一路传输至视频解码器,另一路传输至评估装置以及停顿预测设备。评估装置可以从停顿预测设备获取视频流的因网络时延导致的静止事件的信息(例如,静止事件的时长(可以通过时间来表征)、静止事件起始位置等),并可以从外界获取该视频流的帧率,以及其他辅助信息,例如接收端视频解码器所采用的错误修复策略,从而可以获取因网络丢包所引起的静止事件,并得到静止事件的信息(例如,静止帧的数量(可以数量))。视频静止失真程度评估装置在获取到静止事件失真值后,可以将该静止事件失真值作为评估结果进行输出,也可以结合压缩失真值和/或压缩质量和/或其他失真质量得到一个综合的评估结果进行输出。
本发明实施例中所述的视频错误隐藏方法,也可以理解为数据包丢失隐藏方法(Packet loss concealment method),这种技术并不找回丢失的数据包,只是把丢失数据包对解码的视频产生的不利影响(例如:花屏、花块等)掩盖起来。例如,利用相邻无错误的图像块,或前面解码或显示的无错误的图像块的信息(例如,像素、运动矢量等),或前面正确解码或显示的无错误的视频帧来恢复丢失的或受误码传播的图像块或视频帧。
本发明实施例中的视频静止失真程度评估装置也可以应用于其他场景下,例如,视频静止失真程度评估装置被集成于包括视频流缓存设备的接收端,并从该视频流缓存设备获取视频流的因网络时延导致的静止事件的信息。
因此,在本发明实施例中,通过获取视频流的帧率以及与该视频流的静止事件的时长相关的静止特征参数,根据该视频流的帧率以及静止特征参数,获取该视频流的静止事件失真值,在进行静止事件失真程度评估时,考虑的因素更为全面,且更符合人的主观感受,从而提高了失真程度预测的准确性。
本领域普通技术人员可以意识到,结合本文中所公开的实施例中描述的各方法步骤和单元,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或步骤可以用硬件、处理器执行的软件程序,或者二者的结合来实施。软件程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述,但本发明并不限于此。在不脱离本发明的精神和实质的前提下,本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换,而这些修改或替换都应在本发明的涵盖范围内。
Claims (18)
1.一种视频静止失真程度评估方法,其特征在于,包括:
获取视频流的帧率以及静止事件的静止特征参数,所述静止事件的静止特征参数与所述视频流的静止事件的时长相关,其中,所述静止事件用于表征所述视频流的停顿;
根据所述视频流的帧率和静止事件的静止特征参数,获取所述视频流的静止事件失真值,所述静止事件失真值用于表征所述视频流的失真程度;
所述根据所述视频流的帧率以及静止事件的静止特征参数,获取所述视频流的静止事件失真值,包括:根据公式
其中,fps为视频流的帧率,f_freezing_length为视频流的静止事件的静止特征参数,freezing_artifact_value为静止事件失真值,a1、a2、a3以及a4为正常数。
2.根据权利要求1所述的方法,其特征在于,静止事件的时长是通过静止时间来表征或者是通过静止帧的数目来表征的。
3.根据权利要求2所述的方法,其特征在于,在所述静止事件的时长是通过静止帧的数目来表征时,所述静止事件的静止特征参数与所述视频流的静止事件的时长相关,包括:
所述静止事件的静止特征参数通过静止帧的数目和视频流的视频帧总数目的比例关系来表征;
或者所述静止事件的静止特征参数通过静止帧的数目和视频流的连续播放的数目的比例关系来表征。
4.根据权利要求3所述的方法,其特征在于,在所述静止事件的静止特征参数通过静止帧的数目和视频流的视频帧总数目的比例关系来表征时,所述获取视频流的帧率以及静止事件的静止特征参数,包括:获取所述视频流的帧率以及根据公式
其中,i_total_num_frames表示视频流的视频帧总数目,i_total_num_freezing_frames表示视频流的静止事件对应的所有静止帧的数目,f_freezing_length表示静止事件的静止特征参数。
5.一种视频静止失真程度评估方法,其特征在于,包括:
获取视频流的帧率以及静止事件的静止特征参数,所述静止事件的静止特征参数与所述视频流的静止事件的时长相关,其中,所述静止事件用于表征所述视频流的停顿;
获取所述视频流的与所述视频流的运动变化程度和运动一致性中的至少一种相关的视频运动特征参数;
根据所述视频流的视频运动特征参数、帧率和静止事件的静止特征参数,获取所述视频流的静止事件失真值,所述静止事件失真值用于表征所述视频流的失真程度;
所述根据所述视频流的视频运动特征参数、帧率和静止事件的静止特征参数,获取所述视频流的静止事件失真值,包括:根据公式
确定所述视频流的静止事件失真值;
其中,fps为视频流的帧率,f_freezing_length为视频流的静止事件的静止特征参数,MV为视频流的视频运动特征参数,a9、a10、a11、a12以及a13为正常数。
6.根据权利要求5所述的方法,其特征在于,所述获取所述视频流的视频运动特征参数,包括:
根据所述视频流的静止事件发生前的编码帧的运动矢量,确定所述视频流的视频运动特征参数;或
根据所述视频流的静止事件结束后的编码帧的运动矢量,确定所述视频流的视频运动特征参数;或
根据所述视频流的静止事件发生前的编码帧的运动矢量和所述视频流的静止事件结束后的编码帧的运动矢量,确定所述视频流的视频运动特征参数;或
根据所述视频流的所有编码帧的运动矢量,确定所述视频流的视频运动特征参数。
7.根据权利要求6所述的方法,其特征在于,所述根据所述视频流的静止事件发生前的编码帧的运动矢量,确定所述视频流的视频运动特征参数,包括:
根据所述视频流的静止事件发生前的最后一个解码或显示的编码帧的运动矢量,确定所述视频流的视频运动特征参数。
8.根据权利要求5所述的方法,其特征在于,视频运动特征参数与视频流的运动变化程度之间的相关关系的方向与视频运动特征参数与静止事件失真值之间的相关关系的方向一致,视频运动特征参数与视频流的运动一致性之间的相关关系的方向与视频运动特征参数与静止事件失真值之间的相关关系的方向一致。
9.根据权利要求5所述的方法,其特征在于,帧率与静止事件失真值正相关,静止事件的静止特征参数与静止事件的时长之间的相关关系的方向与静止事件的静止特征参数与静止事件失真值之间的相关关系的方向一致。
10.一种视频静止失真程度评估装置,其特征在于,包括:
第一获取单元,用于获取视频流的帧率以及静止事件的静止特征参数,所述静止事件的静止特征参数与所述视频流的静止事件的时长相关,其中,所述静止事件用于表征所述视频流的停顿;
第二获取单元,用于根据所述视频流的帧率和静止事件的静止特征参数,获取所述视频流的静止事件失真值,所述静止事件失真值用于表征所述视频流的失真程度;
所述第二获取单元具体用于:根据公式
其中,fps为视频流的帧率,f_freezing_length为视频流的静止事件的静止特征参数,freezing_artifact_value为静止事件失真值,a1、a2、a3以及a4为正常数。
11.根据权利要求10所述的装置,其特征在于,静止事件的时长是通过静止时间来表征的或者是通过静止帧的数目来表征的。
12.根据权利要求11所述的装置,其特征在于,在所述静止事件的时长是通过静止帧的数目来表征时,所述静止事件的静止特征参数与所述视频流的静止事件的时长相关,包括:
所述静止事件的静止特征参数通过静止帧的数目和视频流的视频帧总数目的比例关系来表征;
或者所述静止事件的静止特征参数通过静止帧的数目和视频流的连续播放的数目的比例关系来表征。
13.根据权利要求12所述的装置,其特征在于,在所述静止事件的静止特征参数通过静止帧的数目和视频流的视频帧总数目的比例关系来表征时,所述第一获取单元具体用于:获取所述视频流的帧率以及根据公式
其中,i_total_num_frames表示视频流的视频帧总数目,i_total_num_freezing_frames表示视频流的静止事件对应的所有静止帧的数目,f_freezing_length表示静止事件的静止特征参数。
14.一种视频静止失真程度评估装置,其特征在于,包括:
第一获取单元,用于获取视频流的帧率以及静止事件的静止特征参数,所述静止事件的静止特征参数与所述视频流的静止事件的时长相关,其中,所述静止事件用于表征所述视频流的停顿,所述第一获取单元还用于获取所述视频流的与所述视频流的运动变化程度和运动一致性中的至少一种相关的视频运动特征参数;
第二获取单元,用于根据所述视频流的视频运动特征参数、帧率和静止事件的静止特征参数,获取所述视频流的静止事件失真值,所述静止事件失真值用于表征所述视频流的失真程度;
所述第二获取单元具体用于:根据公式
确定所述视频流的静止事件失真值;
其中,fps为视频流的帧率,f_freezing_length为视频流的静止事件的静止特征参数,MV为视频流的视频运动特征参数,a9、a10、a11、a12以及a13为正常数。
15.根据权利要求14所述的装置,其特征在于,所述第一获取单元具体用于:
根据所述视频流的静止事件发生前的编码帧的运动矢量,确定所述视频流的视频运动特征参数;或
根据所述视频流的静止事件结束后的编码帧的运动矢量,确定所述视频流的视频运动特征参数;或
根据所述视频流的静止事件发生前的编码帧的运动矢量和所述视频流的静止事件结束后的编码帧的运动矢量,确定所述视频流的视频运动特征参数;或
根据所述视频流的所有编码帧的运动矢量,确定所述视频流的视频运动特征参数。
16.根据权利要求15所述的装置,其特征在于,所述第一获取单元具体用于:
根据所述视频流的静止事件发生前的最后一个解码或显示的编码帧的运动矢量,确定所述视频流的视频运动特征参数。
17.根据权利要求14所述的装置,其特征在于,视频运动特征参数与视频流的运动变化程度之间的相关关系的方向与视频运动特征参数与静止事件失真值之间的相关关系的方向一致,视频运动特征参数与视频流的运动一致性之间的相关关系的方向与视频运动特征参数与静止事件失真值之间的相关关系的方向一致。
18.根据权利要求14所述的装置,其特征在于,帧率与静止事件失真值正相关,静止事件的静止特征参数与静止事件的时长之间的相关关系的方向与静止事件的静止特征参数与静止事件失真值之间的相关关系的方向一致。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310054674.5A CN103747238B (zh) | 2013-02-20 | 2013-02-20 | 视频静止失真程度评估方法和装置 |
CN201510280140.3A CN104935918B (zh) | 2013-02-20 | 2013-02-20 | 视频静止失真程度评估方法和装置 |
EP13875919.6A EP2908522B1 (en) | 2013-02-20 | 2013-08-06 | Method and device for evaluating video freeze distortion degree |
ES13875919.6T ES2608358T3 (es) | 2013-02-20 | 2013-08-06 | Método y aparato para evaluar el grado de distorsión de congelamiento de vídeo |
PCT/CN2013/080892 WO2014127608A1 (zh) | 2013-02-20 | 2013-08-06 | 视频静止失真程度评估方法和装置 |
US14/721,610 US20150256822A1 (en) | 2013-02-20 | 2015-05-26 | Method and Apparatus for Assessing Video Freeze Distortion Degree |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310054674.5A CN103747238B (zh) | 2013-02-20 | 2013-02-20 | 视频静止失真程度评估方法和装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510280140.3A Division CN104935918B (zh) | 2013-02-20 | 2013-02-20 | 视频静止失真程度评估方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103747238A CN103747238A (zh) | 2014-04-23 |
CN103747238B true CN103747238B (zh) | 2015-07-08 |
Family
ID=50504222
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310054674.5A Active CN103747238B (zh) | 2013-02-20 | 2013-02-20 | 视频静止失真程度评估方法和装置 |
CN201510280140.3A Active CN104935918B (zh) | 2013-02-20 | 2013-02-20 | 视频静止失真程度评估方法和装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510280140.3A Active CN104935918B (zh) | 2013-02-20 | 2013-02-20 | 视频静止失真程度评估方法和装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20150256822A1 (zh) |
EP (1) | EP2908522B1 (zh) |
CN (2) | CN103747238B (zh) |
ES (1) | ES2608358T3 (zh) |
WO (1) | WO2014127608A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10158868B2 (en) * | 2013-10-15 | 2018-12-18 | Nvidia Corporation | Systems and methods to limit lag between a client and a server for remote computing |
CN105812706A (zh) * | 2016-03-17 | 2016-07-27 | 掌赢信息科技(上海)有限公司 | 一种视频通话质量评估方法及电子设备 |
CN110636380A (zh) * | 2018-06-21 | 2019-12-31 | 中国电信股份有限公司 | 用于检测视频播放异常的机顶盒及方法、异常检测系统 |
CN113542804B (zh) * | 2021-07-09 | 2023-10-27 | 杭州当虹科技股份有限公司 | 基于码流统计特征检测静帧序列的方法 |
US20230063814A1 (en) * | 2021-09-02 | 2023-03-02 | Charter Communications Operating, Llc | Scalable real-time anomaly detection |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101227604A (zh) * | 2007-01-18 | 2008-07-23 | 上海未来宽带技术及应用工程研究中心有限公司 | 一种通过网络损伤度检测网络视频质量的方法 |
CN101635846A (zh) * | 2008-07-21 | 2010-01-27 | 华为技术有限公司 | 一种视频质量评估方法、系统及装置 |
CN102740108A (zh) * | 2011-04-11 | 2012-10-17 | 华为技术有限公司 | 一种视频数据质量评估方法和装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2003204340B2 (en) * | 2002-05-27 | 2006-01-19 | Canon Kabushiki Kaisha | Assessment of Video Picture Degradation Arising from Poor Cinematography |
JP4460523B2 (ja) * | 2005-11-11 | 2010-05-12 | 日本電信電話株式会社 | ユーザ体感品質推定装置、方法、およびプログラム |
EP1964408A1 (en) * | 2005-12-23 | 2008-09-03 | SwissQual License AG | Non-intrusive determination of an objective mean opinion score of a video sequence |
EP1883068B1 (en) * | 2006-02-16 | 2013-09-04 | Nippon Telegraph And Telephone Corporation | Signal distortion elimination device, method, program, and recording medium containing the program |
US9025673B2 (en) * | 2006-04-05 | 2015-05-05 | Qualcomm Incorporated | Temporal quality metric for video coding |
EP2106154A1 (en) * | 2008-03-28 | 2009-09-30 | Deutsche Telekom AG | Audio-visual quality estimation |
US20090323807A1 (en) * | 2008-06-30 | 2009-12-31 | Nicholas Mastronarde | Enabling selective use of fractional and bidirectional video motion estimation |
US8184163B2 (en) * | 2009-03-05 | 2012-05-22 | Tektronix, Inc. | Methods and systems for detecting and locating skipped frames in a video sequence |
EP2400758A1 (en) * | 2010-06-24 | 2011-12-28 | Alcatel Lucent | Method to Determine The Global Quality of a Video Stream |
AU2010358309B2 (en) * | 2010-07-30 | 2014-12-04 | Thomson Licensing | Method and apparatus for measuring video quality |
US8458757B2 (en) * | 2010-08-31 | 2013-06-04 | At&T Intellectual Property I, L.P. | Method and system for region-based monitoring of video assets |
US9210419B2 (en) * | 2011-09-30 | 2015-12-08 | Netscout Systems, Inc. | System and method for diagnostic modeling of audio and video quality of service |
US10075710B2 (en) * | 2011-11-24 | 2018-09-11 | Thomson Licensing | Video quality measurement |
-
2013
- 2013-02-20 CN CN201310054674.5A patent/CN103747238B/zh active Active
- 2013-02-20 CN CN201510280140.3A patent/CN104935918B/zh active Active
- 2013-08-06 ES ES13875919.6T patent/ES2608358T3/es active Active
- 2013-08-06 EP EP13875919.6A patent/EP2908522B1/en active Active
- 2013-08-06 WO PCT/CN2013/080892 patent/WO2014127608A1/zh active Application Filing
-
2015
- 2015-05-26 US US14/721,610 patent/US20150256822A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101227604A (zh) * | 2007-01-18 | 2008-07-23 | 上海未来宽带技术及应用工程研究中心有限公司 | 一种通过网络损伤度检测网络视频质量的方法 |
CN101635846A (zh) * | 2008-07-21 | 2010-01-27 | 华为技术有限公司 | 一种视频质量评估方法、系统及装置 |
CN102740108A (zh) * | 2011-04-11 | 2012-10-17 | 华为技术有限公司 | 一种视频数据质量评估方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN104935918B (zh) | 2017-04-05 |
EP2908522A4 (en) | 2015-11-04 |
CN103747238A (zh) | 2014-04-23 |
WO2014127608A1 (zh) | 2014-08-28 |
EP2908522B1 (en) | 2016-10-05 |
EP2908522A1 (en) | 2015-08-19 |
US20150256822A1 (en) | 2015-09-10 |
CN104935918A (zh) | 2015-09-23 |
ES2608358T3 (es) | 2017-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10075710B2 (en) | Video quality measurement | |
CN103747238B (zh) | 视频静止失真程度评估方法和装置 | |
KR20150027248A (ko) | 비디오 인코딩 압축 품질을 획득하는 방법 및 장치 | |
JP2008301026A (ja) | 映像品質推定方法、装置、およびプログラム | |
US9769501B2 (en) | Video quality assessment at a bitstream level | |
US9723301B2 (en) | Method and apparatus for context-based video quality assessment | |
US20150222905A1 (en) | Method and apparatus for estimating content complexity for video quality assessment | |
EP2954677B1 (en) | Method and apparatus for context-based video quality assessment | |
Martínez-Rach et al. | Quality assessment metrics vs. PSNR under packet lossscenarios in manet wireless networks | |
JP4266227B2 (ja) | 動画像信号処理装置 | |
JP6010625B2 (ja) | 歪み/品質測定 | |
US9723266B1 (en) | Lightweight content aware bit stream video quality monitoring service | |
Nemethova et al. | Subjective evaluation of video quality for H. 264 encoded sequences | |
Martinez-Rach et al. | Behavior of quality assessment metrics under packet losses on wireless networks | |
Zhao et al. | Research on Quality Assessment of Network Video Based Frame Freezing Duration | |
WO2014198062A1 (en) | Method and apparatus for video quality measurement | |
US20150170350A1 (en) | Method And Apparatus For Estimating Motion Homogeneity For Video Quality Assessment | |
Shi et al. | Research on transmission distortion of video streaming quality over China Mobile Multimedia Broadcast |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |