CN113709453A - 视频质量评估方法、装置、设备及介质 - Google Patents
视频质量评估方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113709453A CN113709453A CN202111070287.1A CN202111070287A CN113709453A CN 113709453 A CN113709453 A CN 113709453A CN 202111070287 A CN202111070287 A CN 202111070287A CN 113709453 A CN113709453 A CN 113709453A
- Authority
- CN
- China
- Prior art keywords
- video
- color
- channel
- evaluated
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 35
- 238000001303 quality assessment method Methods 0.000 claims abstract description 54
- 238000011156 evaluation Methods 0.000 claims abstract description 45
- 238000004458 analytical method Methods 0.000 claims abstract description 35
- 230000002123 temporal effect Effects 0.000 claims description 41
- 238000000605 extraction Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000013075 data extraction Methods 0.000 claims description 4
- 238000012731 temporal analysis Methods 0.000 claims description 2
- 238000012732 spatial analysis Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及一种视频质量评估方法、装置、设备及介质。其中，视频质量评估方法包括：获取待评估视频；从待评估视频中提取各个颜色通道对应的视频颜色数据；根据视频颜色数据，对待评估视频进行多颜色通道的时空域分析，得到待评估视频的时空域评估参数；根据时空域评估参数，确定待评估视频的视频质量。根据本公开实施例，能够提高视频质量评估的准确性，并且可以适用于各种视频质量评估场景。
Description
技术领域
本公开涉及视频处理技术领域，尤其涉及一种视频质量评估方法、装置、设备及介质。
背景技术
视频质量评估在自动驾驶场景中起着至关重要的作用，它可以用于评测视频中车辆外界场景的可见性。通常有两类评估视频质量的方法：主观方法和客观方法。主观方法依赖于人类主体观看视频并提供质量评级，客观方法使用算法来预测人类观看者如何评价视频。
由于客观方法不需要强烈的人类参与，因而对于自动驾驶场景的实时评估更加实用。取决于是否需要参考视频(或参考视频的特征)，客观方法可以进一步分为三类：全参考(Full Reference，FR)视频质量评估方法、部分参考(Reduced Reference，RR)视频质量评估方法和无参考(No Reference，NR)视频质量评估方法，其中全参考视频质量评估方法使用完整的原始视频信号作为对比数据来评估视频质量，部分参考视频质量评估方法使用经过提取的部分视频特征作为对比数据来评估视频质量，无参考视频质量评估方法仅使用用户得到的实际数据来评估视频质量。
但是，目前的客观方法均存在使用场景受限以及准确性不高的问题。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种视频质量评估方法、装置、设备及介质。
第一方面，本公开提供了一种视频质量评估方法，包括：
获取待评估视频；
从待评估视频中提取各个颜色通道对应的视频颜色数据；
根据视频颜色数据，对待评估视频进行多颜色通道的时空域分析，得到待评估视频的时空域评估参数；
根据时空域评估参数，确定待评估视频的视频质量。
第二方面，本公开提供了一种视频质量评估装置，包括：
视频获取模块，配置为获取待评估视频；
数据提取模块，配置为从待评估视频中提取各个颜色通道对应的视频颜色数据；
参数分析模块，配置为根据视频颜色数据，对待评估视频进行多颜色通道的时空域分析，得到待评估视频的时空域评估参数；
质量评估模块，配置为根据时空域评估参数，确定待评估视频的视频质量。
第三方面，本公开提供了一种视频质量评估设备，包括：
处理器；
存储器，用于存储可执行指令；
其中，处理器用于从存储器中读取可执行指令，并执行可执行指令以实现第一方面的视频质量评估方法。
第四方面，本公开提供了一种计算机可读存储介质，该存储介质存储有计算机程序，当计算机程序被处理器执行时，使得处理器实现第一方面的视频质量评估方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点：
本公开实施例的视频质量评估方法、装置、设备及介质，能够从待评估视频中提取各个颜色通道对应的视频颜色数据，然后，根据视频颜色数据对待评估视频进行多颜色通道的时空域分析，从而得到待评估视频的时空域评估参数，并根据时空域评估参数对待评估视频的视频质量进行评估，以利用待评估视频自身的多颜色通道的时空域特征对待评估视频进行视频质量评估，如此，即使没有参考视频，也能够实现对待评估视频的视频质量评估，由于待评估视频自身的多颜色通道的时空域特征能够表征事物的可见性，因此，在对待评估视频进行视频质量评估时，能够更关注视频中事物的可见性而非丰富性，对于一些图像清晰但边缘信息少的场景也适用，可见，本公开实施例的视频质量评估方法可以适用于各种质量评估场景，提高了视频质量评估的准确性。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1示出了本公开实施例提供的一种视频质量评估方法的流程示意图；
图2示出了本公开实施例提供的一种视频质量评估过程的流程示意图；
图3示出了本公开实施例提供的一种视频质量评估装置的结构示意图；
图4示出了本公开实施例提供的一种视频质量评估设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
在相关技术中，通常有两类评估视频质量的方法：主观方法和客观方法。主观方法需要人为主观评估视频质量，效率低，且评估标准难以统一制定。客观方法包括FR视频质量评估方法、RR视频质量评估方法和NR视频质量评估方法。
FR视频质量评估方法和PR视频质量评估方法，由于需要参考视频，因此在只有待评估视频可用的场景下，FR视频质量评估方法和PR视频质量评估方法无法进行评测，导致适用场景受限。
NR视频质量评估方法通常包括基于视频信息量的视频质量评估方法和基于视频图像边缘特征的视频质量评估方法。基于视频信息量的视频质量评估方法多用于分析视频内容的丰富性，然而自动驾驶场景下更关心视频中车辆外界场景的可见性，而非视频内容的丰富性，因此，此方法不适用于自动驾驶场景。基于视频图像边缘特征的视频质量评估方法基于视频图像中的边缘特征来进行估的，对于一些图像清晰但边缘信息少的场景，此方法的准确性不高。
可见，相关技术中的视频质量评估方法准确性不高，应用场景也比较受限。
有鉴于此，本公开实施例提供了一种视频质量评估方法、装置、设备及介质，能够提高视频质量评估的准确性，并且可以适用于各种视频质量评估场景。下面，首先对本公开实施例提供的视频质量评估方法进行说明。
图1示出了本公开实施例提供的一种视频质量评估方法的流程示意图。
在本公开一些实施例中，图1所示的方法可以应用于车辆的视频质量评估装置。
如图1所示，该视频质量评估方法可以包括如下步骤。
S110、获取待评估视频。
具体地，待评估视频是需要被进行视频质量评估的视频。
本公开对待评估视频的色彩模式不作限定，示例性地，待评估视频的色彩模式可以为“红绿蓝”色彩模式(简称RGB色彩模式)、印刷色彩模式(简称CMYK色彩模式)等。RGB色彩模式是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色。CMYK色彩模式是通过对青(C)、品红(M)、黄(Y)、黑(K)四个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色。
本公开对待评估视频所属的场景也不作限定，示例性地，待评估视频可以是自动驾驶、直播等场景下获取的视频。可选地，在本公开实施例中，待评估视频可以为在车辆行驶的过程中所采集的车辆外界环境视频。例如，车辆在自动驾驶场景中所采集的用于辅助自动驾驶的车辆外界环境视频。
本公开对待评估视频的格式也不作限定，示例性地，待评估视频可以包括RealMedia可变比特率(Real Media Variable Bitrate，RMVB)、MP4、动态图像专家组(MovingPicture Experts Group，MPEG)、音频视频交错(Audio Video Interleaved，AVI)等格式的视频。
S120、从待评估视频中提取各个颜色通道对应的视频颜色数据。
具体地，待评估视频中通常包括多帧图像(一帧图像也称为一个视频帧)，每帧图像中包括多个像素，每个像素由M(M为待评估视频的颜色通道数量)种不同颜色通道的色值合成。待评估视频中各帧图像里面的各个像素的同一种颜色通道的色值构成了该颜色通道对应的视频颜色数据，通过提取各个颜色通道对应的视频颜色数据可将待评估视频中不同颜色通道中的视频颜色数据独立区分开来。
具体地，提取某一颜色通道对应的视频颜色数据即将待评估视频中每帧图像里面的各像素的该颜色通道对应的色值提取出来。
示例性地，RGB色彩模式的待评估视频需要分别提取出R通道对应的视频颜色数据、G通道对应的视频颜色数据以及B视频颜色数据。提取R通道对应的视频颜色数据即将待评估视频中每帧图像里面的各像素的R通道的色值提取出来，提取G、B通道对应的视频颜色数据同理，此处不再赘述。
示例性地，CMYK色彩模式的视频需要分别提取出C通道对应的视频颜色数据、M通道对应的视频颜色数据、Y通道对应的视频颜色数据以及K视频颜色数据。提取C通道对应的视频颜色数据即将待评估视频中每帧图像里面的各像素的C通道的色值提取出来，提取M、Y、K通道对应的视频颜色数据同理，此处不再赘述。
S130、根据视频颜色数据，对待评估视频进行多颜色通道的时空域分析，得到待评估视频的时空域评估参数。
具体地，时空域评估参数表示的是从时域和空域两个角度综合影响视频质量的因素。时空域评估参数可以是对时域评估参数进行空域分析后，得到的时空域评估参数。
可选地，时空域评估参数可以包括多个颜色通道对应的时空域评估参数，每个颜色通道对应的时空域评估参数可以是对该颜色通道对应的时域特征值进行空域分析后，得到的该颜色通道对应的时空域特征值。
示例性地，对于RGB色彩模式的待评估视频，时空域评估参数可以包括R通道时空域评估参数、G通道时空域评估参数以及B通道时空域评估参数；对于CMYK色彩模式的待评估视频，时空域评估参数可以包括C通道时空域评估参数、M通道时空域评估参数、Y通道时空域评估参数以及K通道时空域评估参数。
S140、根据时空域评估参数，确定待评估视频的视频质量。
具体地，时空域评估参数可以是量化参数，则根据时空域评估参数确定的是视频质量也可以是一个量化参数，如此，可更加直观地了解该待评估视频的视频质量。
具体地，本公开不对根据时空域评估参数确定视频质量的具体实施方式进行限定。
可选地，可以通过对各颜色通道的时空域评估参数进行加权求和的方式或者直接加和的方式，来计算待评估视频的视频质量。
示例性地，对于RGB色彩模式的待评估视频，可以通过对R通道的时空域评估参数、G通道的时空域评估参数、以及B通道的时空域评估参数进行加权求和的方式或者直接加和的方式，来计算待评估视频的视频质量。
本公开实施例的视频质量评估方法、装置、设备及介质，能够从待评估视频中提取各个颜色通道对应的视频颜色数据，然后，根据视频颜色数据对待评估视频进行多颜色通道的时空域分析，从而得到待评估视频的时空域评估参数，并根据时空域评估参数对待评估视频的视频质量进行评估，如此，即使没有参考视频，也能够实现对待评估视频的视频质量评估，由于待评估视频自身的多颜色通道的时空域特征能够表征事物的可见性，因此，在对待评估视频进行视频质量评估时，能够更关注视频中事物的可见性而非丰富性，对于一些图像清晰但边缘信息少的场景也适用，可见，本公开实施例的视频质量评估方法可以适用于各种质量评估场景，提高了视频质量评估的准确性。
在本公开另一种实施例中，从待评估视频中提取各个颜色通道对应的视频颜色数据，包括：从待评估视频中抽取多个视频帧；针对每个视频帧，对视频帧进行颜色分解，得到各个颜色通道对应的图像颜色数据；根据图像颜色数据，生成各个颜色通道对应的视频颜色数据。
具体地，本公开对抽取视频帧的抽取方式不进行限定，示例性地，对待评估视频按照预设抽帧频率进行抽帧，如此，对抽取出的视频帧进行质量评估的结果更能代表待评估视频整体的真实质量；或者，抽取待评估视频中的关键视频帧，如此，可着重对待评估视频中的关键视频段的质量进行评估。
可选地，从待评估视频中抽取多个视频帧，包括：根据待评估视频的视频类型，确定视频解码方式；按照视频解码方式，对待评估视频进行视频解码，得到视频解码数据；按照预设抽帧频率，对视频解码数据进行抽帧处理，得到多个视频帧。
通常情况下，用户可以直接观看的视频是视频数据经过视频编码处理后得到的。根据待评估视频的视频类型可确定该待评估视频的视频编码方式，解码可以看作编码的逆向过程，因此，当确定待评估视频的视频编码方式之后即可确定视频解码方式。
对待评估视频进行视频解码之后，得到的视频解码数据包括每帧图像对应的图像帧解码数据，按照预设抽帧频率对视频解码数据进行抽帧处理，可以抽取多帧图像对应的图像帧解码数据，即可得到多个视频帧。示例性地，从待评估视频中抽取出n个视频帧，分别为imgt1、imgt2、imgt3…imgt4，其中，imgti表示在ti时间戳抽取的视频帧。
可以理解的是，在对待评估视频进行抽帧处理之前先进行视频解码处理，可使无论待评估视频为何种类型视频，均可将通过视频解码处理得到原始的视频解码数据，便于后续进行抽帧处理。
具体地，如上所述，每帧图像中包括多个像素，每个像素由M种不同颜色通道的色值合成。每帧图像里面的同一颜色通道的色值构成了该颜色通道对应的图像颜色数据。提取某一颜色(例如S颜色)通道对应的图像颜色数据即把单帧图像对应的视频解码数据作为操作对象，将同一帧图像里面的各像素的该颜色(例如S颜色)通道的色值提取出来。示例性地，提取R通道对应的图像颜色数据即将中同一帧图像中的各像素的R通道的色值提取出来，提取其它通道对应的图像颜色数据同理，此处不再赘述。
具体地，抽取出的n个视频帧中，各视频帧的同一颜色通道对应的图像颜色数据按照预设拼接方式拼接，即可得到该颜色通道对应的视频颜色数据。其中，本公开不对预设拼接方式进行限定，可选地，根据图像颜色数据，生成各个颜色通道对应的视频颜色数据，包括：按照多个视频帧的视频帧顺序，将每个颜色通道对应的各个图像颜色数据进行拼接，得到每个颜色通道对应的视频颜色数据。某一颜色(例如S颜色)通道对应的视频颜色数据可以呈列表形式，对应表达为Slist＝[St1,St2,…,Stn]，其中，Sti表示在ti时间戳抽取的视频帧的S颜色通道对应的图像颜色数据。
示例性地，对于RGB色彩模式的待评估视频，从中抽取出的n个视频帧的色彩模式也为RGB色彩模式。将同一帧图像中的各像素的R通道的色值提取出来即可得到该视频帧的R通道对应的图像颜色数据，将各视频帧的R通道对应的图像颜色数据按照其所属的视频帧的视频帧顺序进行拼接，即可得到R通道对应的视频颜色数据，R通道对应的视频颜色数据可以呈列表形式，对应表达为Rlist＝[Rt1,Rt2,…,Rtn]，其中，Rti表示在ti时间戳抽取的视频帧的R通道对应的图像颜色数据。对于G、B通道对应的视频颜色数据的获取方式同理，此处不再赘述，G通道对应的视频颜色数据也可以呈列表形式，对应表达为Glist＝[Gt1,Gt2,…,Gtn]，其中，Gti表示在ti时间戳抽取的视频帧的G通道对应的图像颜色数据；B通道对应的视频颜色数据也可以呈列表形式，对应表达为Blist＝[Bt1,Bt2,…,Btn]，其中，Bti表示在ti时间戳抽取的视频帧的B通道对应的图像颜色数据。
示例性地，对于CMYK色彩模式的待评估视频，从中抽取出的n个视频帧的色彩模式也为CMYK色彩模式。将同一帧图像中的各像素的C通道的色值提取出来即可得到该视频帧的C通道对应的图像颜色数据，将各视频帧的C通道对应的图像颜色数据按照其所属的视频帧的视频帧顺序进行拼接，即可得到C通道对应的视频颜色数据，C通道对应的视频颜色数据可以呈列表形式，对应表达为Clist＝[Ct1,Ct2,…,Ctn]，其中，Cti表示在ti时间戳抽取的视频帧的C通道对应的图像颜色数据。对于M、Y、K通道对应的视频颜色数据的获取方式同理，此处不再赘述，M通道对应的视频颜色数据也可以呈列表形式，对应表达为Mlist＝[Mt1,Mt2,…,Mtn]，其中，Mti表示在ti时间戳抽取的视频帧的G通道对应的图像颜色数据；Y通道对应的视频颜色数据也可以呈列表形式，对应表达为Ylist＝[Yt1,Yt2,…,Ytn]，其中，Yti表示在ti时间戳抽取的视频帧的Y通道对应的图像颜色数据；K通道对应的视频颜色数据也可以呈列表形式，对应表达为Klist＝[Kt1,Kt2,…,Ktn]，其中，Yti表示在ti时间戳抽取的视频帧的K通道对应的图像颜色数据。
可以理解的是，通过将各视频帧的同一颜色通道对应的图像颜色数据按照多个视频帧的视频帧顺序进行拼接，可使得到的各颜色通道对应的视频颜色数据中的数据列表的排列顺序与其在待评估视频中的排列顺序相同，便于后续根据视频颜色数据进行视频质量评估，并且，有利于提高视频质量评估结果的准确性。
在本公开另一种实施例中，根据视频颜色数据，对待评估视频进行多颜色通道的时空域分析，得到待评估视频的时空域评估参数，包括：针对每个颜色通道，根据视频颜色数据，对待评估视频进行时空域分析，得到颜色通道对应的单通道时空域特征值；对单通道时空域特征值进行融合，得到多通道时空域特征值；将多通道时空域特征值作为时空域评估参数。
具体地，某一颜色(例如S颜色)通道对应的单通道时空域特征值指的是从时域和空域两个维度影响待评估视频一个颜色(例如S颜色)通道的视频质量的因素，其是根据颜色(例如S颜色)通道对应的视频颜色数据，对待评估视频从时空域进行分析得到的，本公开不对获取单通道时空域特征值的具体实施方式进行限定。
可选地，针对每个颜色通道，根据视频颜色数据，对待评估视频进行时空域分析，得到颜色通道对应的单通道时空域特征值包括：针对每个颜色通道，根据视频颜色数据，对待评估视频进行时域分析，得到待评估视频的针对颜色通道的时域特征值；根据时域特征值，对待评估视频进行针对颜色通道的空域分析，得到颜色通道对应的单通道时空域特征值。
可选地，时域特征值包括局部时域特征值和全局时域特征值。局部时域特征值用于表征两个连续视频帧之间的颜色通道值变化率，其中，这里所述的“两个连续视频帧”指的是从待评估视频中抽取出的多个视频帧中的相邻两帧。全局时域特征值用于表征两个间隔预设帧数的视频帧之间的颜色通道值变化率。
可选地，针对每个颜色通道，根据视频颜色数据，对待评估视频进行时域分析，得到待评估视频的针对颜色通道的时域特征值包括：针对每个颜色通道，根据视频颜色数据，对待评估视频进行时域分析，得到待评估视频的针对颜色通道的时域特征值的局部时域特征值和全局时域特征值；将局部时域特征值和全局时域特征值融合为待评估视频的针对颜色通道的时域特征值。
可以理解的是，局部时域特征值可以更好地表达连续两帧之间的相似度，进而表达视频的抖动程度，而全局时域特征可以更好地表达时序上整体的特征，通过将局部时域特征值和全局时域特征值融合形成时域特征值，可使时域特征值既能更好地表达连续两帧之间的相似度，又能更好地表达时序上整体的特征。本公开不对局部时域特征值和全局时域特征的具体融合方式进行限定。
具体地，多通道时空域特征值指的是从时域和空域两个维度影响待评估视频的各颜色通道的视频质量的因素，其是通过对单通道时空域特征值进行融合得到的，本公开不对单通道时空域特征值的具体融合方式进行限定，后文中也将就典型示例进行说明，此处先不作赘述。
在本公开另一个实施中，针对每个颜色通道，根据视频颜色数据，对待评估视频进行时空域分析，得到颜色通道对应的单通道时空域特征值包括：针对待评估视频的视频画面中的每个像素，根据视频颜色数据，对像素进行时域分析，得到像素的针对颜色通道的时域特征值；根据时域特征值，对待评估视频进行针对颜色通道的空域分析，得到颜色通道对应的单通道时空域特征值。
具体地，像素的针对颜色通道的时域特征值指的是从时域角度影响待评估视频中一个像素的视频质量的因素。本公开不对获取像素的针对颜色通道的时域特征值的具体实施方式进行限定。
可选地，根据视频颜色数据，对像素进行时域分析，得到像素的针对颜色通道的时域特征值，包括：根据视频颜色数据，计算像素的针对颜色通道的时域特征值的局部时域特征值和全局时域特征值；将局部时域特征值和全局时域特征值融合为像素的针对颜色通道的时域特征值。
具体地，像素的针对颜色通道的局部时域特征值用于表征两个连续视频帧在同一像素位置上的颜色通道值变化率。本公开不对像素的针对颜色通道的局部时域特征值的具体计算方式进行限定。
可选地，根据如下公式计算像素的针对颜色通道的局部时域特征值：
其中，fl代表面向单通道连续帧数据的时序局部特征提取器，n表示从待评估视频中抽取出的视频帧的数量，list[i]表示时间戳为ti的视频帧在该像素下的数据，list[i+1]表示时间戳为ti+l的视频帧在该像素下的数据。
将某一颜色(例如S颜色)通道对应的视频颜色数据Slist输入时序局部特征提取器fl即可得到各像素的针对S通道的局部时域特征值Slocal，Slocal＝fl(Slist)。
具体地，像素的针对颜色通道的全局时域特征值用于表征两个连续视频帧在同一像素位置上的颜色通道值变化率。本公开不对像素的针对颜色通道的全局时域特征值的具体计算方式进行限定。
可选地，根据如下公式计算像素的针对颜色通道的全局时域特征值：
其中，fg代表面向单通道连续帧数据的时序全局特征提取器，n表示从待评估视频中抽取出的视频帧的数量，list[i]表示时间戳为ti的视频帧在该像素下的数据，list[i+x]表示时间戳为ti+x的视频帧在该像素下的数据，X为间隔预设帧数，本公开不对X的具体值进行限定，示例性地，X＝10。
将某一颜色(例如S颜色)通道对应的视频颜色数据Slist输入时序局部特征提取器fg即可得到各像素的针对S通道的局部时域特征值Sglocal，Sglocal＝fg(Slist)。
示例性地，当待评估视频的色彩模式为RGB色彩模式时，将R通道对应的视频颜色数据Rlist分别输入时序局部特征提取器fl以及时序全局特征提取器fg即可得到各像素的针对R通道的局部时域特征值Rlocal以及各像素的针对R通道的全局时域特征值Rglocal，Rlocal＝fl(Rlist)，Rglocal＝fg(Rlist)。同理，可得到各像素的针对G通道的局部时域特征值Glocal和全局时域特征值Ggocal、以及各像素的针对B通道的局部时域特征值Blocal和全局时域特征值Bgocal，Glocal＝fl(Glist)，Blocal＝fl(Blist)，Gglocal＝fg(Glist)，Bglocal＝fg(Blist)。
示例性地，当待评估视频的色彩模式为CMYK色彩模式时，将C通道对应的视频颜色数据Clist分别输入时序局部特征提取器fl以及时序全局特征提取器fg即可得到各像素的针对C通道的局部时域特征值Clocal以及各像素的针对C通道的全局时域特征值Cglocal，Clocal＝fl(Clist)，Cglocal＝fg(Clist)。同理，可得到各像素的针对M通道的局部时域特征值Mlocal和全局时域特征值Mglocal、各像素的针对Y通道的局部时域特征值Ylocal和全局时域特征值Yglocal、以及各像素的针对K通道的局部时域特征值Klocal和全局时域特征值Kglocal，Mlocal＝fl(Mlist)，Ylocal＝fl(Ylist)，Klocal＝fl(Klist)，Mglocal＝fg(Mlist)，Yglocal＝fg(Ylist)，Kglocal＝fg(Klist)。
可选地，将局部时域特征值和全局时域特征值融合为像素的针对颜色通道的时域特征值，包括：将局部时域特征值和全局时域特征值进行拼接，得到像素的针对颜色通道的时域特征值。
具体地，局部时域特征值和全局时域特征值进行拼接过程中所使用的函数，本公开对此不作限定，示例性地，可通过文本链接(concat)操作实现局部时域特征值和全局时域特征值的拼接，concat操作可以用CONCATENATE函数实现。如此像素的针对某一颜色(例如S颜色)通道的时域特征值Stemp＝θ(Slocal,Sglobal)，θ代表concat操作。
示例性地，当待评估视频的色彩模式为RGB色彩模式时，像素的针对R通道的时域特征值Rtemp＝θ(Rlocal,Rglobal)，像素的针对G通道的时域特征值Gtemp＝θ(Glocal,Gglobal)，像素的针对B通道的时域特征值Gtemp＝θ(Blocal,Bglobal)。
示例性地，当待评估视频的色彩模式为CMYK色彩模式时，像素的针对C通道的时域特征值Ctemp＝θ(Clocal,Cglobal)，像素的针对M通道的时域特征值Mtemp＝θ(Mlocal,Mglobal)，像素的针对Y通道的时域特征值Ytemp＝θ(Ylocal,Yglobal)，像素的针对K通道的时域特征值Ktemp＝θ(Klocal,Kglobal)。
可选地，根据时域特征值，对待评估视频进行针对颜色通道的空域分析，得到颜色通道对应的单通道时空域特征值，包括：将视频画面划分为多个图像块；针对每个图像块，根据图像块所包含的像素对应的时域特征值，计算图像块针对颜色通道的空间域特征值；将各个图像块对应的空间域特征值作为颜色通道对应的单通道时空域特征值。
具体地，在空间域上，将视频画面划分为多个图像块时，可将视频画面等分为多个图像块，如此，可使图像块的划分简单；还可以划分出至少两个面积不同的图像块，如此，可根据实际情况灵活划分图像块。
具体地，每个图像块中均包括多个像素，每个像素的各颜色通道均对应有时域特征值，可将同一图像块中各像素的相同颜色通道对应的时域特征值按照预设计算方式进行计算得到图像块针对该颜色通道的空间域特征值。本公开不对预设计算方式的具体实施方式进行限定。
可选地，将图像块中各像素的同一颜色通道对应的时域特征值进行加和计算得到图像块的该颜色通道的单通道空间域特征值。
具体地，将视频画面划分为m1*m2个图像块，第z个图像块的针对某一颜色(S颜色)的单通道空间域特征值为：
其中，xz，yz分别表示第z个图像块的左上角的横纵坐标；hz，wz分别表示第z个图像块的高度和宽度；p，q分别表示像素的横纵坐标。
示例性地，当待评估视频的色彩模式为RGB色彩模式时，可以将视频画面均分为m1*m2个图像块，第z个图像块的针对R的单通道空间域特征值为
针对G的单通道空间域特征值为
针对B的单通道空间域特征值为
示例性地，当待评估视频的色彩模式为CMYK色彩模式时，可以将视频画面均分为m1*m2个图像块，第z个图像块的针对C的单通道空间域特征值为
针对M的单通道空间域特征值为
针对Y的单通道空间域特征值为
针对K的单通道空间域特征值为
可选地，对单通道时空域特征值进行融合，得到多通道时空域特征值，包括：针对每个颜色通道，计算每个图像块对应的最大空间域特征值与最小空间域特征值之间的差值；将各个图像块对应的差值作为多通道时空域特征值。
具体地，针对第z个图像块的多通道时空域特征值Mulst(z)按照如下公式计算：
Mulst(z)＝
max(S1st[z],S2st[z],…SMst[z])-min(S1st[z],S2st[z],…SMst[z])；
其中，Smst[z]为第z个图像块的针对Sm颜色的单通道空间域特征值，m为正整数，1≤m≤M，M为待评估视频包含的颜色通道总数。
示例性地，当待评估视频的色彩模式为RGB色彩模式时，针对第z个图像块的多通道时空域特征值如下：
Mulst(z)＝max(Rst[z],Gst[z],Bst[z])-min(Rst[z],Gst[z],Bst[z])。
示例性地，当待评估视频的色彩模式为CMYK色彩模式时，针对第z个图像块的多通道时空域特征值Mulst(z)如下：
Mulst(z)＝
max(Cst[z],Mst[z],Yst[z],Kst[z])，-min(Rst[z],Gst[z],Bst[z],Kst[z])。
可选地，根据时空域评估参数，确定待评估视频的视频质量，包括：将各个图像块对应的差值相加，得到视频质量。
具体地，
下面，将基于一个具体示例，对本公开实施例提供的车辆控制方法进行详细说明。
图2示出了本公开实施例提供的一种视频质量评估过程的流程示意图。
如图2所示，该视频质量评估过程可以具体包括如下步骤。
S210、按照预设抽帧频率，对待评估视频进行抽帧处理，得到n个视频帧。
如图2所示，n个视频帧分别为imgt1、imgt2、…imgtn。
S220、针对每个视频帧，对视频帧进行颜色分解，得到红色颜色通道对应的图像颜色数据、绿色颜色通道对应的图像颜色数据、以及蓝色通道对应的图像颜色数据。
如图2所示，视频帧imgt1进行颜色分解后，得到红色颜色通道对应的图像颜色数据Rt1、绿色颜色通道对应的图像颜色数据Gt1、以及蓝色通道对应的图像颜色数据Bt1；视频帧imgt2进行颜色分解后，得到红色颜色通道对应的图像颜色数据Rt2、绿色颜色通道对应的图像颜色数据Gt2、以及蓝色通道对应的图像颜色数据Bt2；依此类推。
S230、按照n个视频帧的视频帧顺序，将每个颜色通道对应的各个图像颜色数据进行拼接，得到红色颜色通道对应的视频颜色数据、绿色颜色通道对应的视频颜色数据、以及蓝色通道对应的视频颜色数据。
如图2所示，将红色通道对应的各个图像颜色数据(Rt1至Rtn)进行拼接，得到红色颜色通道对应的视频颜色数据；将绿色通道对应的各个图像颜色数据进行拼接，得到绿色颜色通道对应的视频颜色数据(Gt1至Gtn)；将蓝色通道对应的各个图像颜色数据进行拼接，得到蓝色颜色通道对应的视频颜色数据(Bt1至Btn)。
S240、针对每个颜色通道，根据视频颜色数据，对待评估视频进行时空域分析，得到红色通道对应的单通道时空域特征值、绿色通道对应的单通道时空域特征值、以及蓝色通道对应的单通道时空域特征值。
S250、对红色通道对应的单通道时空域特征值、绿色通道对应的单通道时空域特征值、以及蓝色通道对应的单通道时空域特征值进行融合，得到多通道时空域特征值。
S260、根据多通道时空域特征，确定待评估视频的视频质量。
图3示出了本公开实施例提供的一种视频质量评估装置300的结构示意图。
在本公开一些实施例中，图3所示的装置可以应用于车辆的视频质量评估设备中，其中，车辆的视频质量评估设备可以为车辆的自动驾驶系统控制器。
如图3所示，该视频质量评估装置300可以包括视频获取模块310，配置为获取待评估视频；数据提取模块320，可以配置为从待评估视频中提取各个颜色通道对应的视频颜色数据；参数分析模块330，可以配置为根据视频颜色数据，对待评估视频进行多颜色通道的时空域分析，得到待评估视频的时空域评估参数；质量评估模块340，可以配置为根据时空域评估参数，确定待评估视频的视频质量。
本公开实施例的视频质量评估装置，能够从待评估视频中提取各个颜色通道对应的视频颜色数据，然后，根据视频颜色数据对待评估视频进行多颜色通道的时空域分析，从而得到待评估视频的时空域评估参数，并根据时空域评估参数对待评估视频的视频质量进行评估，如此，即使没有参考视频，也能够实现对待评估视频的视频质量评估，由于待评估视频自身的多颜色通道的时空域特征能够表征事物的可见性，因此，在对待评估视频进行视频质量评估时，能够更关注视频中事物的可见性而非丰富性，对于一些图像清晰但边缘信息少的场景也适用，可见，本公开实施例的视频质量评估方法可以适用于各种质量评估场景，提高了视频质量评估的准确性。
在本公开一些实施例中，数据提取模块320可以包括：视频帧抽取子模块、图像颜色数据得到子模块、以及视频颜色数据生成子模块；
视频帧抽取子模块，可以配置为从待评估视频中抽取多个视频帧；
图像颜色数据得到子模块，可以配置为针对每个视频帧，对视频帧进行颜色分解，得到各个颜色通道对应的图像颜色数据；
视频颜色数据生成子模块，可以配置为根据图像颜色数据，生成各个颜色通道对应的视频颜色数据。
在本公开一些实施例中，视频帧抽取子模块可以包括：视频解码方式确定单元、视频解码数据得到单元、以及视频帧得到单元；
视频解码方式确定单元，可以配置为根据待评估视频的视频类型，确定视频解码方式；
视频解码数据得到单元，可以配置为按照视频解码方式，对待评估视频进行视频解码，得到视频解码数据；
视频帧得到单元，可以配置为按照预设抽帧频率，对视频解码数据进行抽帧处理，得到多个视频帧。
在本公开一些实施例中，视频颜色数据生成子模块，具体可以配置为按照多个视频帧的视频帧顺序，将每个颜色通道对应的各个图像颜色数据进行拼接，得到每个颜色通道对应的视频颜色数据。
在本公开一些实施例中，参数分析模块330可以包括：单通道时空域特征值得到子模块、多通道时空域特征值得到子模块、以及时空域评估参数得到子模块；
单通道时空域特征值得到子模块，可以配置为针对每个颜色通道，根据视频颜色数据，对待评估视频进行时空域分析，得到颜色通道对应的单通道时空域特征值；
多通道时空域特征值得到子模块，可以配置为对单通道时空域特征值进行融合，得到多通道时空域特征值；
时空域评估参数得到子模块，可以配置为将多通道时空域特征值作为时空域评估参数。
在本公开一些实施例中，单通道时空域特征值得到子模块可以包括：像素时域特征值得到单元、以及单通道时空域特征值得到单元；
像素时域特征值得到单元，可以配置为针对待评估视频的视频画面中的每个像素，根据视频颜色数据，对像素进行时域分析，得到像素的针对颜色通道的时域特征值；
单通道时空域特征值得到单元，根据时域特征值，对待评估视频进行针对颜色通道的空域分析，得到颜色通道对应的单通道时空域特征值。
在本公开一些实施例中，像素时域特征值得到单元可以包括：时域特征值计算子单元、以及像素时域特征值得到子单元；
时域特征值计算子单元，可以配置为根据视频颜色数据，计算像素的针对颜色通道的时域特征值的局部时域特征值和全局时域特征值；
像素时域特征值得到子单元，可以配置为将局部时域特征值和全局时域特征值融合为像素的针对颜色通道的时域特征值。
在本公开一些实施例中，局部时域特征值用于表征两个连续视频帧之间的颜色通道值变化率，全局时域特征值用于表征两个间隔预设帧数的视频帧之间的颜色通道值变化率。
在本公开一些实施例中，像素时域特征值得到子单元，具体可以配置为将局部时域特征值和全局时域特征值进行拼接，得到像素的针对颜色通道的时域特征值。
在本公开一些实施例中，单通道时空域特征值得到单元可以包括：视频画面划分子单元、图像块空间域特征值计算子单元、以及单通道时空域特征值得到子单元；
视频画面划分子单元，可以配置为将视频画面划分为多个图像块；
图像块空间域特征值计算子单元，可以配置为针对每个图像块，根据图像块所包含的像素对应的时域特征值，计算图像块针对颜色通道的空间域特征值；
单通道时空域特征值得到子单元，可以配置为将各个图像块对应的空间域特征值作为颜色通道对应的单通道时空域特征值。
在本公开一些实施例中，多通道时空域特征值得到子模块可以包括：差值计算单元、以及多通道时空域特征值得到单元；
差值计算单元，可以配置为针对每个颜色通道，计算每个图像块对应的最大空间域特征值与最小空间域特征值之间的差值；
多通道时空域特征值得到单元，可以配置为将各个图像块对应的差值作为多通道时空域特征值。
质量评估模块340，具体可为配置为将各个图像块对应的差值相加，得到视频质量。
需要说明的是，图3所示的视频质量评估装置300可以执行图1和图2所示的方法实施例中的各个步骤，并且实现图1和图2所示的方法实施例中的各个过程和效果，在此不做赘述。
图4示出了本公开实施例提供的一种视频质量评估设备的结构示意图。
在本公开一些实施例中，图4所示的视频质量评估设备可以为车辆的自动驾驶系统。
如图4所示，该视频质量评估设备可以包括处理器401以及存储有计算机程序指令的存储器402。
具体地，上述处理器401可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器402可以包括用于信息或指令的大容量存储器。举例来说而非限制，存储器402可以包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个及其以上这些的组合。在合适的情况下，存储器402可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器402可在综合网关设备的内部或外部。在特定实施例中，存储器402是非易失性固态存储器。在特定实施例中，存储器402包括只读存储器(Read-Only Memory，ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable ROM，PROM)、可擦除PROM(Electrical Programmable ROM，EPROM)、电可擦除PROM(Electrically ErasableProgrammable ROM，EEPROM)、电可改写ROM(Electrically Alterable ROM，EAROM)或闪存，或者两个或及其以上这些的组合。
处理器401通过读取并执行存储器402中存储的计算机程序指令，以执行本公开实施例所提供的视频质量评估方法的步骤。
在一个示例中，该视频质量评估设备还可包括收发器403和总线404。其中，如图4所示，处理器401、存储器402和收发器403通过总线404连接并完成相互间的通信。
总线404包括硬件、软件或两者。举例来说而非限制，总线可包括加速图形端口(Accelerated Graphics Port，AGP)或其他图形总线、增强工业标准架构(ExtendedIndustry Standard Architecture，EISA)总线、前端总线(Front Side BUS，FSB)、超传输(Hyper Transport，HT)互连、工业标准架构(Industrial Standard Architecture，ISA)总线、无限带宽互连、低引脚数(Low Pin Count，LPC)总线、存储器总线、微信道架构(MicroChannel Architecture，MCA)总线、外围控件互连(Peripheral Component Interconnect，PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial Advanced TechnologyAttachment，SATA)总线、视频电子标准协会局部(Video Electronics StandardsAssociation Local Bus，VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线404可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
本公开实施例还提供了一种计算机可读存储介质，该存储介质可以存储有计算机程序，当计算机程序被处理器执行时，使得处理器实现本公开实施例所提供的视频质量评估方法。
上述的存储介质可以例如包括计算机程序指令的存储器402，上述指令可由视频质量评估设备的处理器401执行以完成本公开实施例所提供的视频质量评估方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(Random Access Memory，RAM)、光盘只读存储器(CompactDiscROM，CD-ROM)、磁带、软盘和光数据存储设备等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (15)
1.一种视频质量评估方法，其特征在于，包括：
获取待评估视频；
从所述待评估视频中提取各个颜色通道对应的视频颜色数据；
根据所述视频颜色数据，对所述待评估视频进行多颜色通道的时空域分析，得到所述待评估视频的时空域评估参数；
根据所述时空域评估参数，确定所述待评估视频的视频质量。
2.根据权利要求1所述的方法，其特征在于，所述从所述待评估视频中提取各个颜色通道对应的视频颜色数据，包括：
从所述待评估视频中抽取多个视频帧；
针对每个所述视频帧，对所述视频帧进行颜色分解，得到各个所述颜色通道对应的图像颜色数据；
根据所述图像颜色数据，生成各个所述颜色通道对应的视频颜色数据。
3.根据权利要求2所述的方法，其特征在于，所述从所述待评估视频中抽取多个视频帧，包括：
根据所述待评估视频的视频类型，确定视频解码方式；
按照所述视频解码方式，对所述待评估视频进行视频解码，得到视频解码数据；
按照预设抽帧频率，对所述视频解码数据进行抽帧处理，得到所述多个视频帧。
4.根据权利要求2所述的方法，其特征在于，所述根据所述图像颜色数据，生成各个所述颜色通道对应的视频颜色数据，包括：
按照所述多个视频帧的视频帧顺序，将每个所述颜色通道对应的各个所述图像颜色数据进行拼接，得到每个所述颜色通道对应的视频颜色数据。
5.根据权利要求1所述的方法，其特征在于，所述根据所述视频颜色数据，对所述待评估视频进行多颜色通道的时空域分析，得到所述待评估视频的时空域评估参数，包括：
针对每个所述颜色通道，根据所述视频颜色数据，对所述待评估视频进行时空域分析，得到所述颜色通道对应的单通道时空域特征值；
对所述单通道时空域特征值进行融合，得到多通道时空域特征值；
将所述多通道时空域特征值作为所述时空域评估参数。
6.根据权利要求5所述的方法，其特征在于，所述根据所述视频颜色数据，对所述待评估视频进行时空域分析，得到所述颜色通道对应的单通道时空域特征值，包括：
针对所述待评估视频的视频画面中的每个像素，根据所述视频颜色数据，对所述像素进行时域分析，得到所述像素的针对所述颜色通道的时域特征值；
根据所述时域特征值，对所述待评估视频进行针对所述颜色通道的空域分析，得到所述颜色通道对应的单通道时空域特征值。
7.根据权利要求6所述的方法，其特征在于，所述根据所述视频颜色数据，对所述像素进行时域分析，得到所述像素的针对所述颜色通道的时域特征值，包括：
根据所述视频颜色数据，计算所述像素的针对所述颜色通道的时域特征值的局部时域特征值和全局时域特征值；
将所述局部时域特征值和所述全局时域特征值融合为所述像素的针对所述颜色通道的时域特征值。
8.根据权利要求7所述的方法，其特征在于，所述局部时域特征值用于表征两个连续视频帧之间的颜色通道值变化率，所述全局时域特征值用于表征两个间隔预设帧数的视频帧之间的颜色通道值变化率。
9.根据权利要求7所述的方法，其特征在于，所述将所述局部时域特征值和所述全局时域特征值融合为所述像素的针对所述颜色通道的时域特征值，包括：
将所述局部时域特征值和所述全局时域特征值进行拼接，得到所述像素的针对所述颜色通道的时域特征值。
10.根据权利要求6所述的方法，其特征在于，所述根据所述时域特征值，对所述待评估视频进行针对所述颜色通道的空域分析，得到所述颜色通道对应的单通道时空域特征值，包括：
将所述视频画面划分为多个图像块；
针对每个所述图像块，根据所述图像块所包含的像素对应的所述时域特征值，计算所述图像块针对所述颜色通道的空间域特征值；
将各个所述图像块对应的所述空间域特征值作为所述颜色通道对应的单通道时空域特征值。
11.根据权利要求10所述的方法，其特征在于，所述对所述单通道时空域特征值进行融合，得到多通道时空域特征值，包括：
针对每个所述颜色通道，计算每个所述图像块对应的最大空间域特征值与最小空间域特征值之间的差值；
将各个所述图像块对应的差值作为所述多通道时空域特征值。
12.根据权利要求11所述的方法，其特征在于，所述根据所述时空域评估参数，确定所述待评估视频的视频质量，包括：
将各个所述图像块对应的差值相加，得到所述视频质量。
13.一种视频质量评估装置，其特征在于，包括：
视频获取模块，配置为获取待评估视频；
数据提取模块，配置为从所述待评估视频中提取各个颜色通道对应的视频颜色数据；
参数分析模块，配置为根据所述视频颜色数据，对所述待评估视频进行多颜色通道的时空域分析，得到所述待评估视频的时空域评估参数；
质量评估模块，配置为根据所述时空域评估参数，确定所述待评估视频的视频质量。
14.一种视频质量评估设备，其特征在于，包括：
处理器；
存储器，用于存储可执行指令；
其中，所述处理器用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现上述权利要求1-12中任一项所述的视频质量评估方法。
15.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，当所述计算机程序被处理器执行时，使得处理器实现用上述权利要求1-12中任一项所述的视频质量评估方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111070287.1A CN113709453B (zh) | 2021-09-13 | 2021-09-13 | 视频质量评估方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111070287.1A CN113709453B (zh) | 2021-09-13 | 2021-09-13 | 视频质量评估方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113709453A true CN113709453A (zh) | 2021-11-26 |
| CN113709453B CN113709453B (zh) | 2023-09-08 |
Family
ID=78660146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111070287.1A Active CN113709453B (zh) | 2021-09-13 | 2021-09-13 | 视频质量评估方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113709453B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114697648A (zh) * | 2022-04-25 | 2022-07-01 | 上海为旌科技有限公司 | 变帧率视频无参考评估方法、系统、电子设备及存储介质 |
| CN116055710A (zh) * | 2022-08-10 | 2023-05-02 | 荣耀终端有限公司 | 一种视频时域噪声的评估方法、装置及系统 |
| WO2024041268A1 (zh) * | 2022-08-24 | 2024-02-29 | 腾讯科技（深圳）有限公司 | 视频质量评估方法、装置、计算机设备、计算机存储介质及计算机程序产品 |
| CN118628590A (zh) * | 2024-07-11 | 2024-09-10 | 南京霍话留技术开发有限公司 | 上播主播测试成像分析系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030081124A1 (en) * | 2001-10-31 | 2003-05-01 | Vivaik Balasubrawmanian | Video quality assessment with test video sequences |
| CN101635846A (zh) * | 2008-07-21 | 2010-01-27 | 华为技术有限公司 | 一种视频质量评估方法、系统及装置 |
| CN103561259A (zh) * | 2013-07-10 | 2014-02-05 | 杭州云本科技有限公司 | 面向应用共享服务的网络会议视觉质量自动化评估方法 |
| CN106028026A (zh) * | 2016-05-27 | 2016-10-12 | 宁波大学 | 一种基于时空域结构的高效视频质量客观评价方法 |
| CN107809631A (zh) * | 2017-10-08 | 2018-03-16 | 天津大学 | 基于背景消除的小波域视频质量评价方法 |
| CN109862350A (zh) * | 2019-02-27 | 2019-06-07 | 江南大学 | 基于时空域特征提取的无参考视频质量评价方法 |
| WO2020080698A1 (ko) * | 2018-10-19 | 2020-04-23 | 삼성전자 주식회사 | 영상의 주관적 품질을 평가하는 방법 및 장치 |
| CN111311584A (zh) * | 2020-02-24 | 2020-06-19 | 北京百度网讯科技有限公司 | 视频质量评估方法及装置、电子设备、可读介质 |
| US20210233259A1 (en) * | 2020-01-28 | 2021-07-29 | Ssimwave Inc. | No-reference visual media assessment combining deep neural networks and models of human visual system and video content/distortion analysis |
-
2021
- 2021-09-13 CN CN202111070287.1A patent/CN113709453B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030081124A1 (en) * | 2001-10-31 | 2003-05-01 | Vivaik Balasubrawmanian | Video quality assessment with test video sequences |
| CN101635846A (zh) * | 2008-07-21 | 2010-01-27 | 华为技术有限公司 | 一种视频质量评估方法、系统及装置 |
| CN103561259A (zh) * | 2013-07-10 | 2014-02-05 | 杭州云本科技有限公司 | 面向应用共享服务的网络会议视觉质量自动化评估方法 |
| CN106028026A (zh) * | 2016-05-27 | 2016-10-12 | 宁波大学 | 一种基于时空域结构的高效视频质量客观评价方法 |
| CN107809631A (zh) * | 2017-10-08 | 2018-03-16 | 天津大学 | 基于背景消除的小波域视频质量评价方法 |
| WO2020080698A1 (ko) * | 2018-10-19 | 2020-04-23 | 삼성전자 주식회사 | 영상의 주관적 품질을 평가하는 방법 및 장치 |
| CN109862350A (zh) * | 2019-02-27 | 2019-06-07 | 江南大学 | 基于时空域特征提取的无参考视频质量评价方法 |
| US20210233259A1 (en) * | 2020-01-28 | 2021-07-29 | Ssimwave Inc. | No-reference visual media assessment combining deep neural networks and models of human visual system and video content/distortion analysis |
| CN111311584A (zh) * | 2020-02-24 | 2020-06-19 | 北京百度网讯科技有限公司 | 视频质量评估方法及装置、电子设备、可读介质 |
Non-Patent Citations (1)
| Title |
|---|
| 王朝云;郁梅;陈芬;彭宗举;: "结合人眼视觉关注特性的视频质量评价", 光学技术, no. 04, pages 351 - 356 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114697648A (zh) * | 2022-04-25 | 2022-07-01 | 上海为旌科技有限公司 | 变帧率视频无参考评估方法、系统、电子设备及存储介质 |
| CN114697648B (zh) * | 2022-04-25 | 2023-12-08 | 上海为旌科技有限公司 | 变帧率视频无参考评估方法、系统、电子设备及存储介质 |
| CN116055710A (zh) * | 2022-08-10 | 2023-05-02 | 荣耀终端有限公司 | 一种视频时域噪声的评估方法、装置及系统 |
| CN116055710B (zh) * | 2022-08-10 | 2023-10-20 | 荣耀终端有限公司 | 一种视频时域噪声的评估方法、装置及系统 |
| WO2024041268A1 (zh) * | 2022-08-24 | 2024-02-29 | 腾讯科技（深圳）有限公司 | 视频质量评估方法、装置、计算机设备、计算机存储介质及计算机程序产品 |
| CN118628590A (zh) * | 2024-07-11 | 2024-09-10 | 南京霍话留技术开发有限公司 | 上播主播测试成像分析系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113709453B (zh) | 2023-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113709453A (zh) | 视频质量评估方法、装置、设备及介质 | |
| Winkler | Perceptual video quality metrics—A review | |
| US9167232B2 (en) | System for converting 2D video into 3D video | |
| KR101369915B1 (ko) | 영상 식별자 추출 장치 | |
| Ahn et al. | Deep blind video quality assessment based on temporal human perception | |
| WO2011155698A2 (ko) | 입체 영상 오류 개선 방법 및 장치 | |
| US7340106B2 (en) | Image processing apparatus and method, and image-capturing apparatus | |
| Moorthy et al. | Efficient video quality assessment along temporal trajectories | |
| WO2013074365A1 (en) | Subjective based post-filter optimization | |
| Jakhetiya et al. | A prediction backed model for quality assessment of screen content and 3-D synthesized images | |
| Ghadiyaram et al. | A no-reference video quality predictor for compression and scaling artifacts | |
| Zhao et al. | Computationally efficient demosaicing filter estimation for forensic camera model identification | |
| US8471933B2 (en) | Image processing apparatus, image processing method and computer program | |
| US20210319230A1 (en) | Keyframe Extractor | |
| Luo et al. | Vmaf oriented perceptual optimization for video coding | |
| Tandon et al. | CAMBI: Contrast-aware multiscale banding index | |
| Göring et al. | Cencro-speedup of video quality calculation using center cropping | |
| US20160119605A1 (en) | Video processing method and apparatus for use with a sequence of stereoscopic images | |
| Nur Yilmaz | A no reference depth perception assessment metric for 3D video | |
| Rodrigues et al. | Blind quality assessment of 3-D synthesized views based on hybrid feature classes | |
| KR20190021993A (ko) | 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법 | |
| WO2020027511A1 (ko) | 압축영상에 대한 신택스 기반의 히트맵 생성 방법 | |
| CN103647963A (zh) | 基于GoP场景复杂度的视频质量评价方法 | |
| Boujut et al. | Weighted-MSE based on Saliency map for assessing video quality of H. 264 video streams | |
| JP5076002B1 (ja) | 画像処理装置及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |