CN115345855A - 视频质量评估的方法、装置、设备以及存储介质 - Google Patents

视频质量评估的方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN115345855A
CN115345855A CN202210982792.1A CN202210982792A CN115345855A CN 115345855 A CN115345855 A CN 115345855A CN 202210982792 A CN202210982792 A CN 202210982792A CN 115345855 A CN115345855 A CN 115345855A
Authority
CN
China
Prior art keywords
video
data
target
target object
video frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210982792.1A
Other languages
English (en)
Inventor
王伟
刘一卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210982792.1A priority Critical patent/CN115345855A/zh
Publication of CN115345855A publication Critical patent/CN115345855A/zh
Priority to US18/113,860 priority patent/US20240062351A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本公开提供了视频质量评估的方法、装置、设备以及存储介质，涉及计算机技术领域，尤其涉及人工智能、云计算、计算机视觉、深度学习技术领域。具体实现方案为：确定目标视频中包含有目标对象的多个视频帧；至少获取多个视频帧中对应目标对象的图像区域的HSL数据；根据HSL数据，对目标视频进行质量评估。根据本公开的方案，利用视频帧中局部图像区域的目标对象的HSL数据进行目标视频质量评估，更符合人眼观看视频时通常聚焦视频局部内容的感知特点，使得目标视频的质量评估过程和评估结果更加合理准确。

Description

视频质量评估的方法、装置、设备以及存储介质
技术领域
本公开涉及计算机技术领域，尤其涉及人工智能、云计算、计算机视觉、深度学习技术领域。
背景技术
近年来，随着互联网的发展，视频行业受到了越来越多人的关注，视频用户呈现爆发式增长。随着而来的用户体验需求也更加强烈，因此，如何提升用户的观看体验，成为视频行业的从业者需要重点关注的问题。
发明内容
本公开提供了一种视频质量评估的方法、装置、设备以及存储介质。
根据本公开的一方面，提供了一种视频质量评估的方法，包括：
确定目标视频中包含有目标对象的多个视频帧；
至少获取多个视频帧中对应目标对象的图像区域的HSL数据；以及
根据HSL数据，对目标视频进行质量评估。
根据本公开的另一方面，提供了一种视频质量评估的装置，包括：
确定模块，用于确定目标视频中包含有目标对象的多个视频帧；
获取模块，用于至少获取多个视频帧中对应目标对象的图像区域的HSL数据；以及
评估模块，用于根据HSL数据，对目标视频进行质量评估。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开中任一实施例的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开中任一实施例的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开中任一实施例的方法。
根据本公开的方案，利用视频帧中局部图像区域的目标对象的HSL数据进行目标视频质量评估，更符合人眼观看视频时通常聚焦视频局部内容的感知特点，使得目标视频的质量评估过程和评估结果更加合理准确。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例的视频质量评估的方法的流程示意图；
图2是根据本公开实施例的视频质量评估的方法的视频帧的示意图；
图3是根据本公开另一实施例的视频质量评估的方法的视频帧的示意图；
图4是根据本公开另一实施例的视频质量评估的方法的视频帧的示意图；
图5是根据本公开另一实施例的视频质量评估的方法的视频帧的示意图；
图6是根据本公开实施例的视频质量评估的方法的数据格式转换的示意图；
图7是根据本公开实施例的视频质量评估的方法的灰度图的示意图；
图8是根据本公开另一实施例的视频质量评估的方法的灰度图的示意图；
图9是根据本公开另一实施例的视频质量评估的方法的灰度图的示意图；
图10是根据本公开另一实施例的视频质量评估的方法的流程示意图；
图11是根据本公开实施例的视频质量评估的装置的结构示意图；
图12是用来实现本公开实施例的视频质量评估的方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开实施例提供了一种视频质量评估的方法，如图1所示，该方法包括：
步骤S101：确定目标视频中包含有目标对象的多个视频帧。
步骤S102：至少获取多个视频帧中对应目标对象的图像区域的HSL数据。
步骤S103：根据HSL数据，对目标视频进行质量评估。
根据本公开上述实施例，需要说明的是：
目标视频，可以理解为需要进行视频质量评估的视频。目标视频的种类在此不做具体限定，例如，目标视频可以是短视频、电影、电视剧、直播视频等。目标视频由若干个视频帧组成(如图2中右侧图所示)，每个视频帧可以看做是一个静态的图像(如图2中左侧图所示)，通过顺序播放若干个视频帧，即实现了目标视频的视频内容播放。
目标对象，可以理解为目标视频播放内容中的任意人物或物体。该目标对象可以出现在目标视频的每个视频帧中，也可以进出现在部分视频帧中。
包含有目标对象的多个视频帧，可以理解为多个视频帧中的每个视频帧的图像内容中均包含有目标对象，所包含的目标对象可以是显示完全的目标对象，也可以是仅显示出部分的目标对象。多个视频帧可以是时间连续的多个视频帧，也可以是时间不连续的具有时间间隔的多个视频帧。
视频帧中对应目标对象的图像区域，可以理解为视频帧中出现的目标对象所覆盖的图像区域。该图像区域可以理解为视频帧中的局部图像区域。
HSL数据，可以理解为包含有色相(Hue)、饱和度(Saturation)和亮度(Lightness)的数据。其中，色相H：用角度度量，取值范围为0°～360°，表示色彩信息，从红色开始按逆时针方向计算，红色为0°，绿色为120°，蓝色为240°。它们的补色是：黄色为60°，青色为180°，紫色为300°。在RGB中颜色由三个值共同决定，比如，黄色为(255，0，255)；在HSL中，黄色只由一个值决定，Hue＝60即可。亮度L：表示颜色明亮的程度。亮度为100，表示白色，亮度为0，表示黑色。饱和度S：表示颜色接近光谱色的程度。饱和度越高，说明颜色越深，越接近光谱色；饱和度越低，说明颜色越浅，越接近白色。饱和度为0表示纯白色。通常取值范围为：0％～100％，值越大，颜色越饱和。一种颜色，可以看成是某种光谱色与白色混合的结果。其中光谱色所占的比例愈大，颜色接近光谱色的程度就愈高，颜色的饱和度也就愈高。饱和度高，颜色则鲜艳。
至少获取多个视频帧中对应目标对象的图像区域的HSL数据，可以理解为至少从多个视频帧中的每个视频帧所显示的目标对象所覆盖的图像区域中获取HSL数据。目标对象覆盖的图像区域的HSL数据至少基于该图像区域中的部分像素点的HSL数据所计算得出。
质量评估，质量评估包括但不限于评估目标视频的清晰度、亮度、饱和度、对比度等，可以从任意评估维度对目标视频进行质量评价。基于目标视频的质量评估结果，可以有针对性的对目标视频进行优化。
根据本公开实施例，对于视频帧而言，局部信息的相关性大于全局信息，在整个视频帧的范围内进行HSL信息的计算，往往无法正确描述视频的局部色相、饱和度信息。并且，在观看视频时，人眼通常每次只会聚焦于视频中的某一处，更关注局部数据而非全局数据。因此，利用视频帧中局部图像区域的目标对象的HSL数据进行目标视频质量评估，更符合人眼观看视频时通常聚焦视频局部内容的感知特点，使得目标视频的质量评估过程和评估结果更加合理准确，使得视频工作人员可以基于评测结果准确的对目标视频进行优化处理，例如，进一步对目标视频的色相、饱和度等进行调整，以提升用户观看视频时的主观体验。
现有技术中的视频质量评估的方法主要有两种，一种是普遍采用的人眼主观评估视频的方式，直接通过评测人员观看终端播放的视频或直播内容进行评估；这种方式，在视频相近的情况下，不易区分出视频间的差异，并且，长时间观测的视觉疲劳会对评测置信度产生影响。另一种是根据视频的psnr(Peak Signal to Noise Ratio，即峰值信噪比)和ssim(Structural Similarity，结构相似性)等客观质量指标，进行质量评估。这种方式，需要评测人员具备一定的专业知识，只适合“专家”评估。而本公开实施例的视频质量评估的方法，有效解决了现有的两种视频质量评估的方法所带来的问题。通过HSL数据进行客观的视频质量评估，代替评测人员人眼主观观察的方式。同时，HSL数据所显示的信息较为直观，评测人员根据HSL数据的数值既可以大体获知视频的色相、饱和度和亮度情况，从而做出评估，不需要具备专业知识，也能够完成。
在一种实施方式中，本公开实施例的视频质量评估的方法包括步骤S101至S103，其中，步骤S101：确定目标视频中包含有目标对象的多个视频帧，可以包括：
步骤S1011：根据目标视频的视频内容，确定目标视频的类型。
步骤S1012：根据目标视频的类型，确定目标对象。
步骤S1013：从目标视频中确定包含有目标对象的多个视频帧。
根据本公开上述实施例，需要说明的是：
目标视频的类型，可以理解为目标视频属于哪一领域的视频。例如，目标视频的类型可以包括体育赛事视频、对话访谈视频、直播带货视频等。
根据目标视频的类型，确定目标对象，可以理解为确定的目标对象需要与目标视频的类型有关联性。该目标对象是用户观看该类型的目标视频是容易聚焦关注的内容。例如，如果目标视频的类型是足球比赛视频，则用户会更加关注足球在球场上的运动轨迹，而基本不会去关注看台上的观众的举动。因此，在目标视频的类型是足球比赛视频的情况下，如图3所示，将图3所示的三个视频帧中分别出现的足球(图3中虚线框所框内容)作为目标对象，同时将包含有足球的视频帧作为包含有目标对象的多个视频帧。
用户在观看视频时，人眼通常每次只会聚焦于视频中的某一处的内容，而所聚焦的内容通常与视频的类型息息相关。例如，足球比赛视频，用户则更加关注足球的运动轨迹。直播带货视频，用户则更加关注货物本身和主播。并且，会基于所关注的对象的清晰度、色相、饱和度等信息，评价该视频的质量好坏。根据本公开实施例，基于用户在观看视频时，人眼通常每次只会聚焦于视频中的某一处的感知特点，引入目标视频的类型作为判断依据，可以更加准确的确定出用户在观看该类型的视频时更有可能关注的目标对象。基于该目标对象的HSL数据进行视频评估，可以更加贴合用户视角评估目标视频质量的好坏。使得视频工作人员可以基于评测结果准确的对目标视频进行优化处理，例如，进一步对目标视频的色相、饱和度等进行调整，以提升用户观看视频时的主观体验。
在一种实施方式中，本公开实施例的视频质量评估的方法至少包括步骤S101至S103、步骤S1011至S1013，其中，步骤S1013：从目标视频中确定包含有目标对象的多个视频帧，可以包括：
利用图像分割技术，从目标视频中确定包含有目标对象的多个视频帧。
根据本公开实施例，需要说明的是，图像分割技术可以采用现有技术中的任意图像分割方式，只要能够实现从视频帧中识别并提取出目标对象即可。例如，图像分割技术可采用均等分割，灰度-阈值分割，边沿分割等分割方式。在进行目标对象的识别和提取时还可以利用预训练的模型进行，具体所使用的模型在此不做具体限定。
根据本公开实施例，利用图像分割技术，可以快速准确的从目标视频中确定出包含有目标对象的视频帧。
在一个示例中，如图4所示，可以使用均等分割的方式，将视频帧均等分割为多个图像块，然后基于每一个图像块进行图像识别，从确定出具有目标对象的图像块。
在一种实施方式中，本公开实施例的视频质量评估的方法包括步骤S101至S103，其中，步骤S102：至少获取多个视频帧中对应目标对象的图像区域的HSL数据，可以包括：
步骤S1021：至少获取多个视频帧中对应目标对象的图像区域的RGB数据。
步骤S1022：根据RGB数据的位深和/或色深，将RGB数据的数据格式转换为预设数据格式。
步骤S1023：根据数据格式转换后的RGB数据，获取多个视频帧中对应目标对象的图像区域的HSL数据。
根据本公开上述实施例，需要说明的是：
RGB数据，可以理解为包括Red(红色)，Green(绿色)，Blue(蓝色)信息的数据。
预设数据格式可以根据目标视频的数据格式进行调整，预设数据格式可以定义数据存储时的数位宽度，定义数据格式中所包含的指数位、尾数位的数位宽度，以及定义在数据转换时，数据格式中的符号位、指数位、尾数位的转换计算方式。需要说明的是，预设数据格式可以包括符号位、指数位和尾数位中的一个或多个。
根据本公开实施例，通过对RGB数据进行格式转换，可以使得本公开实施例的方法的应用范围更加广泛，满足不同数据格式的视频帧的RGB数据的转换。同时，还能够保证数据格式转换时，数据精度和准确度不会损失。RGB数据是对机器友好，适用于显示系统的数据。但在视频评测中，人眼对视频或视频中的物体描述主要包括：“颜色”，“是否鲜艳”，“明暗程度是怎样的”。通过RGB数据来作为视频评测参数，其参考度会有所下降。HSL数据相对于RGB数据，是一种对人眼视觉描述更方便、更友好的颜色模型。因此，通过将RGB数据转换为HSL数据，可以更加直观、便捷地使评测人员利用HSL数据对目标视频进行质量评估。
在一个示例中，在确定出视频帧中的目标对象后，可以根据视频帧或目标视频的分辨率，确定目标对象所覆盖的图像区域的分割方式。然后根据分割方式对每一个分割出的图像块进行RGB数据的获取。
具体的，如图5所示，在确定出视频帧中的目标对象后，根据视频帧或目标视频的分辨率，确定每一个分割图像块是一个像素点4x4的矩阵，基于该矩阵对目标对象所覆盖的图像区域进行分割，并基于每一个图像块所包含的四个像素点，计算每个图像块的RGB数据，然后基于每个图像块的RGB数据，计算目标对象所覆盖的图像区域的RGB数据。
在一个示例中，RGB数据可以通过下述公式转换为HSL数据。
Figure BDA0003800844040000081
Cmax＝max(R',G',B')；Cmin＝min(R',G',B')
Δ＝Cmax-Cmin
色相H的转换公式:
Figure BDA0003800844040000082
饱和度S的转换公式:
Figure BDA0003800844040000083
亮度L的转换公式:
Figure BDA0003800844040000084
其中，R为数据格式转换后的目标图像对应的图像区域的红色信息，G为数据格式转换后的目标图像对应的图像区域的绿色信息，B为数据格式转换后的目标图像对应的图像区域的蓝色信息。Cmax为目标图像对应的图像区域中最大值的RGB数据，Cmin为目标图像对应的图像区域中最小值的RGB数据，Δ为目标图像对应的图像区域中最大值的RGB数据与最小值的RGB数据的差值。
在一个示例中，可以用矩阵的形式表示目标对象对应的目标区域内各像素点或各图像块的HSL数据。
Figure BDA0003800844040000085
其中，H表示色相数据，L表示亮度数据，S表示饱和度数据。H00-Hkj表示目标对象对应的目标区域中的各像素点或各图像块的色相数据，L00-Lkj表示目标对象对应的目标区域中的各像素点或各图像块的亮度数据，S00-Skj表示目标对象对应的目标区域中的各像素点或各图像块的饱和度数据。
在一个示例中，如图6所示，对于视频而言有不同的存储格式，例如YUV420P存储格式和YUV420P10le存储格式等。对于YUV420P格式而言，每个颜色通道采用8bit(比特，Binary digit)来表示，和RGB24的颜色通道是一致的(每个颜色通道采用8bit表示)。但是，对于YUV420P10le而言，每个Y、U、V分量用10bit来表示的，并且为了存储方便，会使用16bit来存储。如果将10bit的YUV数据，直接转换成8bit的RGB数据，然后再计算HSL值，则会导致计算精度的丢失。为了计算方便，在本公开实施例中，将YUV420P10le数据转换为RGB48格式的数据，然后再通过RGB48格式的数据来计算10bit色深的视频的HSL信息。
在一种实施方式中，本公开实施例的视频质量评估的方法至少包括步骤S101至S103、步骤步骤S1021至S1023，其中，步骤S1021：至少获取多个视频帧中对应目标对象的图像区域的RGB数据，包括：
至少获取多个视频帧中对应目标对象的图像区域的YUV数据。
根据YUV数据，获取多个视频帧中对应目标对象的图像区域的RGB数据。
根据本公开上述实施例，需要说明的是：
YUV数据通过对目标视频的多个视频帧进行解码获取。YUV数据包括“Y”表示明亮度(Luminance或Luma)的数据，也就是灰阶值，包括“U”和“V”表示色度(Chrominance或Chroma)的数据，“U”和“V”作用是描述影像色彩及饱和度，用于指定像素的颜色。
YUV数据转换为RGB数据的方式，可以采用现有技术中的任意转换方式，在此不做具体限定。
根据本公开实施例，利用多个视频帧中对应目标对象的图像区域的YUV数据，可以准确的获取到多个视频帧中对应目标对象的图像区域的RGB数据。
在一种实施方式中，本公开实施例的视频质量评估的方法至少包括步骤S101至S103，其中，步骤S103：根据HSL数据，对目标视频进行质量评估，包括：
根据多个视频帧的数量，获取HSL数据的平均值。
根据平均值和HSL评估阈值，对目标视频进行质量评估。
根据本公开上述实施例，需要说明的是：
HSL评估阈值可以根据需要进行选择和调整。HSL评估阈值用于作为评估视频质量好坏的基准。
根据本公开实施例，利用HSL评估阈值和HSL数据的平均值，准确的对目标视频进行质量评估。
在一种实施方式中，本公开实施例的视频质量评估的方法至少包括步骤S101至S103，还包括：
将多个视频帧分别与对应的HSL数据关联并通过可视化方式显示。其中，可视化方式包括数据日志和/或灰度图。
根据本公开上述实施例，需要说明的是：
将多个视频帧分别与对应的HSL数据关联并通过可视化方式显示，可以理解为在查看对应的视频帧时，会相应的实时显示出该视频帧的HSL数据。
可视化方式为灰度图时，HSL数据的三个分量可以分别显示不同的灰度图。如图7所示，为饱和度S分量的灰度图。如图8所示，为亮度L分量的灰度图。如图9所示，为色相H分量的灰度图。
根据本公开实施例，评测人员进行视频评测、打分时，将多个视频帧的HSL数据可视化方式显示，可便捷地使评测人员了解该目标视频和/或该视频帧的“颜色”相关的信息，“是否鲜艳”相关的信息，“明暗程度”相关的信息(HSL颜色模型下的参数)。
在一个实施例中，如图10所示，视频质量评估的方法包括：
将目标视频(视频文件和/或直播流)分割为多个视频帧，多个视频帧均包含有目标对象；
通过对多个视频帧解码，至少获取多个视频帧中对应目标对象的图像区域的YUV数据；
根据所述YUV数据，获取多个视频帧中对应目标对象的图像区域的RGB数据；
根据RGB数据的位深和/或色深，将不同数位宽度的RGB数据的数据格式转换为预设数据格式；
根据数据格式转换后的RGB数据，获取多个视频帧中对应目标对象的图像区域的HSL数据；
将多个视频帧分别与对应的HSL数据关联并通过可视化方式实施展示。
本公开实施例提供了一种视频质量评估的装置，如图11所示，该方法包括：
确定模块1101，用于确定目标视频中包含有目标对象的多个视频帧。
获取模块1102，用于至少获取多个视频帧中对应目标对象的图像区域的HSL数据。以及
评估模块1103，用于根据HSL数据，对目标视频进行质量评估。
在一种实施方式中，确定模块1101包括：
第一确定子模块，用于根据目标视频的视频内容，确定目标视频的类型。
第二确定子模块，用于根据目标视频的类型，确定目标对象。
第三确定子模块，用于从目标视频中确定包含有目标对象的多个视频帧。
在一种实施方式中，第三确定子模块，还用于利用图像分割技术，从目标视频中确定包含有目标对象的多个视频帧。
在一种实施方式中，获取模块1102包括：
第一获取子模块，用于至少获取多个视频帧中对应目标对象的图像区域的RGB数据。
转换子模块，用于根据RGB数据的位深和/或色深，将RGB数据的数据格式转换为预设数据格式。
第二获取子模块，用于根据数据格式转换后的RGB数据，获取多个视频帧中对应目标对象的图像区域的HSL数据。
在一种实施方式中，第一获取子模块，还用于至少获取多个视频帧中对应目标对象的图像区域的YUV数据。以及，根据YUV数据，获取多个视频帧中对应目标对象的图像区域的RGB数据。
在一种实施方式中，评估模块1103包括：
第三获取子模块，用于根据多个视频帧的数量，获取HSL数据的平均值。
评估子模块，用于根据平均值和HSL评估阈值，对目标视频进行质量评估。
在一种实施方式中，视频质量评估的装置还包括：
可视化模块，用于将多个视频帧分别与对应的HSL数据关联并通过可视化方式显示。其中，可视化方式包括数据日志和/或灰度图。
本公开实施例的装置的各模块、子模块的具体功能和示例的描述，可以参见上述方法实施例中对应步骤的相关描述，在此不再赘述。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图12示出了可以用来实施本公开的实施例的示例电子设备1200的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图12所示，设备1200包括计算单元1201，其可以根据存储在只读存储器(ROM)1202中的计算机程序或者从存储单元1208加载到随机访问存储器(RAM)1203中的计算机程序，来执行各种适当的动作和处理。在RAM 1203中，还可存储设备1200操作所需的各种程序和数据。计算单元1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。
设备1200中的多个部件连接至I/O接口1205，包括：输入单元1206，例如键盘、鼠标等。输出单元1207，例如各种类型的显示器、扬声器等。存储单元1208，例如磁盘、光盘等。以及通信单元1209，例如网卡、调制解调器、无线通信收发机等。通信单元1209允许设备1200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1201的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1201执行上文所描述的各个方法和处理，例如视频质量评估的方法。例如，在一些实施例中，视频质量评估的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1208。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1202和/或通信单元1209而被载入和/或安装到设备1200上。当计算机程序加载到RAM 1203并由计算单元1201执行时，可以执行上文描述的视频质量评估的方法的一个或多个步骤。备选地，在其他实施例中，计算单元1201可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行视频质量评估的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)。以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互。例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)。并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (17)

1.一种视频质量评估的方法，包括：
确定目标视频中包含有目标对象的多个视频帧；
至少获取所述多个视频帧中对应所述目标对象的图像区域的HSL数据；以及
根据所述HSL数据，对所述目标视频进行质量评估。
2.根据权利要求1所述的方法，其中，所述确定目标视频中包含有目标对象的多个视频帧，包括：
根据目标视频的视频内容，确定所述目标视频的类型；
根据所述目标视频的类型，确定目标对象；
从所述目标视频中确定包含有所述目标对象的多个视频帧。
3.根据权利要求2所述的方法，其中，所述从所述目标视频中确定包含有所述目标对象的多个视频帧，包括：
利用图像分割技术，从所述目标视频中确定包含有所述目标对象的多个视频帧。
4.根据权利要求1至3任一项所述的方法，其中，所述至少获取所述多个视频帧中对应所述目标对象的图像区域的HSL数据，包括：
至少获取所述多个视频帧中对应所述目标对象的图像区域的RGB数据；
根据所述RGB数据的位深和/或色深，将所述RGB数据的数据格式转换为预设数据格式；
根据数据格式转换后的RGB数据，获取所述多个视频帧中对应所述目标对象的图像区域的HSL数据。
5.根据权利要求4所述的方法，其中，所述至少获取所述多个视频帧中对应所述目标对象的图像区域的RGB数据，包括：
至少获取所述多个视频帧中对应所述目标对象的图像区域的YUV数据；
根据所述YUV数据，获取所述多个视频帧中对应所述目标对象的图像区域的RGB数据。
6.根据权利要求1至3任一项所述的方法，其中，所述根据所述HSL数据，对所述目标视频进行质量评估，包括：
根据所述多个视频帧的数量，获取所述HSL数据的平均值；
根据所述平均值和HSL评估阈值，对所述目标视频进行质量评估。
7.根据权利要求1至3任一项所述的方法，还包括：
将所述多个视频帧分别与对应的HSL数据关联并通过可视化方式显示；其中，所述可视化方式包括数据日志和/或灰度图。
8.一种视频质量评估的装置，包括：
确定模块，用于确定目标视频中包含有目标对象的多个视频帧；
获取模块，用于至少获取所述多个视频帧中对应所述目标对象的图像区域的HSL数据；以及
评估模块，用于根据所述HSL数据，对所述目标视频进行质量评估。
9.根据权利要求8所述的装置，其中，所述确定模块包括：
第一确定子模块，用于根据目标视频的视频内容，确定所述目标视频的类型；
第二确定子模块，用于根据所述目标视频的类型，确定目标对象；
第三确定子模块，用于从所述目标视频中确定包含有所述目标对象的多个视频帧。
10.根据权利要求9所述的装置，其中，所述第三确定子模块，还用于利用图像分割技术，从所述目标视频中确定包含有所述目标对象的多个视频帧。
11.根据权利要求8至10任一项所述的装置，其中，所述获取模块包括：
第一获取子模块，用于至少获取所述多个视频帧中对应所述目标对象的图像区域的RGB数据；
转换子模块，用于根据所述RGB数据的位深和/或色深，将所述RGB数据的数据格式转换为预设数据格式；
第二获取子模块，用于根据数据格式转换后的RGB数据，获取所述多个视频帧中对应所述目标对象的图像区域的HSL数据。
12.根据权利要求11所述的装置，其中，所述第一获取子模块，还用于至少获取所述多个视频帧中对应所述目标对象的图像区域的YUV数据；以及，根据所述YUV数据，获取所述多个视频帧中对应所述目标对象的图像区域的RGB数据。
13.根据权利要求8至10任一项所述的装置，其中，所述评估模块包括：
第三获取子模块，用于根据所述多个视频帧的数量，获取所述HSL数据的平均值；
评估子模块，用于根据所述平均值和HSL评估阈值，对所述目标视频进行质量评估。
14.根据权利要求8至10任一项所述的装置，还包括：
可视化模块，用于将所述多个视频帧分别与对应的HSL数据关联并通过可视化方式显示；其中，所述可视化方式包括数据日志和/或灰度图。
15.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至7中任一项所述的方法。
17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至7中任一项所述的方法。
CN202210982792.1A 2022-08-16 2022-08-16 视频质量评估的方法、装置、设备以及存储介质 Pending CN115345855A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210982792.1A CN115345855A (zh) 2022-08-16 2022-08-16 视频质量评估的方法、装置、设备以及存储介质
US18/113,860 US20240062351A1 (en) 2022-08-16 2023-02-24 Method for evaluating video quality, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210982792.1A CN115345855A (zh) 2022-08-16 2022-08-16 视频质量评估的方法、装置、设备以及存储介质

Publications (1)

Publication Number Publication Date
CN115345855A true CN115345855A (zh) 2022-11-15

Family

ID=83951657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210982792.1A Pending CN115345855A (zh) 2022-08-16 2022-08-16 视频质量评估的方法、装置、设备以及存储介质

Country Status (2)

Country Link
US (1) US20240062351A1 (zh)
CN (1) CN115345855A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020073860A1 (zh) * 2018-10-08 2020-04-16 传线网络科技（上海）有限公司 一种视频裁剪方法及装置
CN112818737A (zh) * 2020-12-18 2021-05-18 广州视源电子科技股份有限公司 视频识别方法、装置、存储介质及终端
CN113033475A (zh) * 2021-04-19 2021-06-25 北京百度网讯科技有限公司 目标对象追踪方法、相关装置及计算机程序产品
WO2021217828A1 (zh) * 2020-04-30 2021-11-04 网宿科技股份有限公司 一种对视频进行转码的方法和装置
CN114339306A (zh) * 2021-12-28 2022-04-12 广州虎牙科技有限公司 直播视频图像处理方法、装置及服务器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020073860A1 (zh) * 2018-10-08 2020-04-16 传线网络科技（上海）有限公司 一种视频裁剪方法及装置
WO2021217828A1 (zh) * 2020-04-30 2021-11-04 网宿科技股份有限公司 一种对视频进行转码的方法和装置
CN112818737A (zh) * 2020-12-18 2021-05-18 广州视源电子科技股份有限公司 视频识别方法、装置、存储介质及终端
CN113033475A (zh) * 2021-04-19 2021-06-25 北京百度网讯科技有限公司 目标对象追踪方法、相关装置及计算机程序产品
CN114339306A (zh) * 2021-12-28 2022-04-12 广州虎牙科技有限公司 直播视频图像处理方法、装置及服务器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KALPANA SESHADRINATHAN: ""Image Quality Assessment"", pages 1 - 51 *
YANG YANG: ""Color Image Quality Assessment Based on CIEDE2000"", pages 1 - 7 *

Also Published As

Publication number Publication date
US20240062351A1 (en) 2024-02-22

Similar Documents

Publication Publication Date Title
US11750785B2 (en) Video signal processing method and apparatus
Ma et al. Objective quality assessment for color-to-gray image conversion
US9524028B2 (en) Visual language for human computer interfaces
US8290252B2 (en) Image-based backgrounds for images
US8780996B2 (en) System and method for encoding and decoding video data
CN107507144B (zh) 肤色增强的处理方法、装置及图像处理装置
CN110533117B (zh) 图像比对方法、装置、设备和存储介质
US20180314916A1 (en) Object detection with adaptive channel features
CN111160215B (zh) 图像标识的亮度调节装置及方法
CN102088539A (zh) 一种预拍照画质评价方法和系统
CN112836692A (zh) 用于处理图像的方法、装置、设备和介质
CN111768377A (zh) 图像色彩评估方法、装置、电子设备及存储介质
CN111754492A (zh) 图像质量评估方法、装置、电子设备及存储介质
CN112511890A (zh) 视频图像处理方法、装置及电子设备
CN109413413B (zh) 视频质量评价方法及装置
CN107318023A (zh) 图像帧的压缩方法及装置
CN115063800B (zh) 文本识别方法和电子设备
CN115345855A (zh) 视频质量评估的方法、装置、设备以及存储介质
US10574958B2 (en) Display apparatus and recording medium
CN116071623A (zh) 模型训练方法、基于图像的处理方法、装置、设备及介质
EP3360321B1 (en) Projection apparatus, projection system, program, and non-transitory computer-readable recording medium
CN112801997B (zh) 图像增强质量评估方法、装置、电子设备及存储介质
CN112601080B (zh) 判断电视单色场信号的方法
CN114092359A (zh) 花屏处理方法、装置和电子设备
CN114005059A (zh) 视频转场的检测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20221115