CN111754492A - 图像质量评估方法、装置、电子设备及存储介质 - Google Patents
图像质量评估方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111754492A CN111754492A CN202010599049.9A CN202010599049A CN111754492A CN 111754492 A CN111754492 A CN 111754492A CN 202010599049 A CN202010599049 A CN 202010599049A CN 111754492 A CN111754492 A CN 111754492A
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- video
- brightness
- exposure quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 64
- 238000012549 training Methods 0.000 claims abstract description 42
- 238000000605 extraction Methods 0.000 claims abstract description 39
- 230000015654 memory Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 14
- 238000002372 labelling Methods 0.000 claims description 7
- 238000001303 quality assessment method Methods 0.000 claims description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 abstract description 2
- 239000013598 vector Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 241000282414 Homo sapiens Species 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000255969 Pieris brassicae Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本申请公开了图像质量评估方法、装置、电子设备及存储介质，涉及人工智能、深度学习、图像处理领域。具体实现方案为：获取视频流数据；对所述视频流数据进行视频帧提取操作，得到至少一帧图像；对所述至少一帧图像进行曝光质量指标的统计，得到统计结果；将所述统计结果输入预先训练得到的图像处理网络，得到针对所述视频流数据的曝光质量评估结果。采用本申请实施例，可以提高曝光质量评估结果的准确性。
Description
技术领域
本申请涉及信息处理领域。本申请尤其涉及人工智能、深度学习、图像处理领域、可应用于与视频信息相关的视频采集、视频搜索、视频推荐、视频显示等领域。
背景技术
用户感知外界信息的方式有多种多样，用户之间传播信息的方式也有多种多样，比如，可以感知或传播图文信息、视频信息等。便携设备、手机终端等电子设备相比以往更加智能化，芯片的解析能力更强，尤其对视频信息的解析、画面渲染等比以往更快、更清晰，使得用户感知或彼此传播信息的用户习惯已经从图文信息向视频信息转移。
视频信息的质量，受到曝光程度好坏的影响，曝光程度好坏会直接影响视频的清晰度和美观度。然而，相关技术中，对曝光程度好坏(即曝光质量)，更多依赖人工评估，从而影响到最终曝光质量评估结果的准确性。
发明内容
本申请提供了一种图像质量评估方法、装置、电子设备及存储介质。
根据本申请的一方面，提供了一种图像质量评估方法，包括：
获取视频流数据；
对所述视频流数据进行视频帧提取操作，得到至少一帧图像；
对所述至少一帧图像进行曝光质量指标的统计，得到统计结果；
将所述统计结果输入预先训练得到的图像处理网络，得到针对所述视频流数据的曝光质量评估结果。
根据本申请的另一方面，提供了一种图像质量评估装置，包括：
数据获取模块，用于获取视频流数据；
视频帧提取模块，用于对所述视频流数据进行视频帧提取操作，得到至少一帧图像；
指标统计模块，用于对所述至少一帧图像进行曝光质量指标的统计，得到统计结果；
曝光质量评估模块，用于将所述统计结果输入预先训练得到的图像处理网络，得到针对所述视频流数据的曝光质量评估结果。
根据本申请的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本申请任意一实施例所提供的方法。
根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使该计算机执行本申请任意一项实施例所提供的方法。
采用本申请实施例，可以通过获取视频流数据，对所述视频流数据进行视频帧提取操作，以得到至少一帧图像，可以对所述至少一帧图像进行曝光质量指标的统计，以得到统计结果，将所述统计结果输入预先训练得到的图像处理网络，相比依赖于人工评估，所得到的针对所述视频流数据的曝光质量评估结果更为准确，从而提高了曝光质量评估结果的准确性。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是应用于本申请实施例的一视频信息交互的硬件实体示意图；
图2是根据本申请实施例的图像质量评估方法的流程示意图；
图3是根据本申请实施例的图像质量评估方法的流程示意图；
图4是根据本申请实施例的视频对数明度频率的统计图；
图5是根据本申请实施例的图像质量评估装置的组成结构示意图；
图6是用来实现本申请实施例的图像质量评估方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。本文中术语“第一”、“第二”表示指代多个类似的技术用语并对其进行区分，并不是限定顺序的意思，或者限定只有两个的意思，例如，第一特征和第二特征，是指代有两类/两个特征，第一特征可以为一个或多个，第二特征也可以为一个或多个。
另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。
图1是应用于本申请实施例的一视频信息交互的硬件实体示意图，图1中包括：流媒体服务器11(如由多个服务器构成的服务器集群)、各终端(终端21-终端26)，比如台式机，PC机，手机，一体机等类型，及各硬件实体之间彼此分享的视频信息31-视频信息33。其中，各终端可以通过有线网络或者无线网络与流媒体服务器11进行视频信息交互。视频信息31-视频信息33可以通过各终端进行视频采集得到，也可以通过网络从流媒体服务器11的视频数据库得到，视频信息31-视频信息33还可以提供给视频搜索、视频推荐、视频显示等场景使用。
上述图1的例子只是实现本申请实施例的一个系统架构实例，本申请实施例并不限于上述图1所述的系统结构，基于该系统架构，提出本申请各个实施例。
针对视频信息而言，视频曝光质量受到视频曝光程度好坏的影响，视频曝光程度好坏会直接影响视频的清晰度和美观度。这里，视频曝光质量指的是人类对于观看视频感受到主观曝光程度的好坏，一般来说，影响视频曝光质量的因素包括：曝光过度、曝光不足和曝光不稳定。其中，曝光过度会导致视频亮部的信息丢失，呈现大片白色区域；曝光不足会导致视频暗部信息丢失，呈现大片黑色区域；曝光不稳定会导致视频的整体明度不稳定，忽暗忽亮，影响人类观感。
曝光程度可以一定程度帮助用户分析视频是否曝光过度和曝光不足，但其本身并不能代表曝光质量，也不能反映曝光稳定性。而且曝光程度是一个客观指标，一般通过传统算法公式直接计算得到，并不能反映人类的主观感受。
评估视频曝光质量是精细化评估视频清晰度和视频美观度的基础，对于终端厂商(如手机终端厂商)、设置于终端侧的视频采集软件、视频搜索、视频推荐、视频显示等各个方面，针对视频曝光质量进行评估的方法具有重要意义，可以基于视频曝光质量的评估，使得上述各个方面在实际应用可以满足用户主观感觉层面上对高质量、高清晰度视频数据流的设计要求，从而吸引用户眼球，有助于视频信息的交互传播，提高了传播转化率。
针对视频曝光质量进行评估的方法，考虑到视频曝光质量受到上述视频曝光程度好坏的影响，相关技术中的一些方法主要是评估该视频曝光程度，可以通过统计视频的整体及局部的明度来得到视频整体的曝光程度。或者，更多依赖人工评估，比如，采用取值范围内的得分进行视频曝光质量的评估，该取值范围可以为0-10分的取值，其中，0分为曝光最差的视频，10分为曝光最好的视频，对于任意视频打分落在0-10分之前，数值越大，代表视频曝光质量越好。可这种依赖人工评估的主观打分，并不精确，从而影响到最终视频曝光质量评估结果的准确性。
根据本申请的实施例，提供了一种图像质量评估方法，图2是根据本申请实施例的图像质量评估方法的流程示意图，该方法可以应用于图像质量评估装置，例如，该装置可以部署于终端或服务器或其它处理设备执行的情况下，可以执行视频帧提取、曝光质量统计、曝光质量评估等等。其中，终端可以为用户设备(UE，User Equipment)、移动设备、蜂窝电话、无绳电话、个人数字处理(PDA，Personal Digital Assistant)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图2所示，包括：
S101、获取视频流数据。
一示例中，视频流数据可以为用户自制的各短视频，各视频播放平台提供的电影、电视剧、综艺节目等。
S102、对所述视频流数据进行视频帧提取操作，得到至少一帧图像。
一示例中，可以基于固定帧率对视频流数据进行视频帧提取操作，以得到至少一帧图像，其中，固定帧率可以是25FPS，“FPS”是图像领域中的定义，指画面每秒传输帧数，则25FPS指一秒25帧。每秒的帧数愈多，视频流数据所显示的动作就会越流畅。一般来说，要使得动作流畅，帧率最低可以设置为30帧，一些视频流数据的视频格式，每秒还可以提供15帧来显示。
S103、对所述至少一帧图像进行曝光质量指标的统计，得到统计结果。
一示例中，曝光质量指标可以是对应明度参数的频率指标，其中，明度参数可以为明度分量，频率指标可以为对应明度分量的明度频率值。
一示例中，统计结果可以为对上述频率指标进行对数运算后拼接至少一帧图像得到的视频对数明度频率统计图。
S104、将所述统计结果输入预先训练得到的图像处理网络，得到针对所述视频流数据的曝光质量评估结果。
一示例中，图像处理网络的网络类型可以为回归神经网络，本申请实施例不限于该网络类型，只要能实现本申请实施例图像质量评估的神经网络都在本申请实施例的保护范围之内。
一示例中，在预先训练该图像处理网络的训练过程中，可以采用评估曝光质量的数据标注及统计结果(如上述视频对数明度频率统计图)作为样本数据来训练该图像处理网络，训练后图像处理网络输出曝光质量评估结果。应用该训练后图像处理网络的情况下，输入统计结果(如上述视频对数明度频率统计图)至训练后图像处理网络，可直接得到所需的曝光质量评估结果(如曝光质量的评分)。
采用本申请实施例，可以通过获取视频流数据，对所述视频流数据进行视频帧提取操作，以得到至少一帧图像，可以对所述至少一帧图像进行曝光质量指标的统计，以得到统计结果，将所述统计结果输入预先训练得到的图像处理网络，相比依赖于人工评估，所得到的针对所述视频流数据的曝光质量评估结果更为准确，从而提高了曝光质量评估结果的准确性。
在一种实施方式中，对所述至少一帧图像进行曝光质量指标的统计，得到统计结果，包括：对所述至少一帧图像中的每帧图像分别进行明度特征提取，得到明度参数(包括但不限于明度分量)，根据明度参数，统计得到对应明度参数的频率指标(包括但不限于明度频率)，将所述频率指标作为所述曝光质量指标。根据所述频率指标，得到所述统计结果。
采用本申请实施例，由于影响视频曝光质量的因素包括：曝光过度、曝光不足和曝光不稳定等，与明暗度有关，因此，可以通过对至少一帧图像中的每帧图像分别进行明度特征提取，以得到明度参数，可以将由明度参数得到的明度出现在每帧图像中的频率指标作为曝光质量指标，从而根据该频率指标得到更为精确的统计结果。
根据本申请的实施例，提供了一种图像质量评估方法，图3是根据本申请实施例的图像质量评估方法的流程示意图，如图3所示，包括：
S201、获取视频流数据。
一示例中，视频流数据可以为用户自制的各短视频，各视频播放平台提供的电影、电视剧、综艺节目等。
S202、对所述视频流数据进行视频帧提取操作，得到至少一帧图像。
一示例中，可以基于固定帧率对视频流数据进行视频帧提取操作，以得到至少一帧图像，其中，固定帧率可以是25FPS，“FPS”是图像领域中的定义，指画面每秒传输帧数，则25FPS指一秒25帧。每秒的帧数愈多，视频流数据所显示的动作就会越流畅。一般来说，要使得动作流畅，帧率最低可以设置为30帧，一些视频流数据的视频格式，每秒还可以提供15帧来显示。
S203、对所述至少一帧图像中的每帧图像分别进行明度分量提取，得到针对每帧图像的各明度分量。
S204、统计所述每帧图像的各明度分量对应像素数量在该帧图像总像素数量的占比，得到对应各明度分量的明度频率值，将所述对应各明度分量的明度频率值作为所述曝光质量指标。
S205、根据所述对应各明度分量的明度频率值进行所述至少一帧图像的拼接处理，得到明度频率统计图。
可以将所述明度频率统计图作为所述统计结果，通过上述S203-S205，可以对至少一帧图像进行曝光质量指标的统计，从而得到该统计结果。
一示例中，针对S203而言，可以将至少一帧图像中的每帧图像从RGB模式转化为HSV模式，并提取出明度分量。其中，RGB模式指：一种标准的颜色模式，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的。HSV模式指一种颜色空间的模式，也称六角锥体模型，是根据颜色的直观特性创建的一种颜色空间。HSV模型是指色彩(H)、纯度(S)、明度(V)三维颜色空间中的一个可见光子集，它包含某个颜色域的所有颜色。
一示例中，针对S204而言，统计所述每帧图像的各明度分量对应像素数量在该帧图像总像素数量的占比，得到对应各明度分量的明度频率值，还可以进行对数运算，以得到对数频率值(如对数明度频率向量)。具体的，可以统计每一帧各个明度分量值(0-255)的像素的数量，并除以该帧的总像素数，作为该明度分量值的频率f。然后进行对数运算，以得到对应的对数频率值：(ln(f+e)+b)/b，其中，f为明度分量值的频率；参数e＝0.00001，参数b＝-ln(0.00001)，b可以为对数运算的最小值。得到对数频率值后，可以将0-255共256个明度分量值的对数频率值进行拼接，以得到一个长度为256的对数明度频率向量。
一示例中，针对S205而言，可以根据所述对应各明度分量的明度频率值进行所述至少一帧图像的拼接处理，得到明度频率统计图。该过程可以包括：1)根据每帧图像对应各明度分量的明度频率值进行对应该帧图像的拼接处理(即，针对每帧图像的该明度频率值进行该帧多个明度频率值的拼接处理)，拼接得到针对每帧图像的明度频率向量；2)将针对每帧图像的明度频率向量按顺序(比如时序顺序)进行拼接处理(即，针对每帧图像的该明度频率向量进行多帧拼接)并拼接在一起，得到明度频率统计图。也就是说，将对上述视频流数据(整个视频)执行视频帧提取操作后得到的多帧图像，针对每帧图像分别处理，得到针对每帧图像的明度频率向量后再进行多帧图像按顺序拼接在一起，从而得到上述视频流数据的明度频率统计图。
一示例中，图4是根据本申请实施例的视频对数明度频率的统计图，如图4所示，可以直观看出：该统计图可以同时涵盖了各帧的曝光程度和视频级的曝光稳定性，从而，采用该统计图为统计结果，有利于后续应用图像处理网络进行曝光质量评估。
S206、将明度频率统计图输入预先训练得到的图像处理网络，得到针对所述视频流数据的曝光质量评估结果。
采用本申请实施例，可以通过获取视频流数据，对所述视频流数据进行视频帧提取操作，以得到至少一帧图像，可以对所述至少一帧图像进行曝光质量指标的统计，统计过程中，可以根据所述对应各明度分量的明度频率值进行所述至少一帧图像的拼接处理(即针对每帧的该明度频率值进行多帧拼接)，得到明度频率统计图，并将所述明度频率统计图输入预先训练得到的图像处理网络，相比依赖于人工评估，所得到的针对所述视频流数据的曝光质量评估结果更为准确，从而提高了曝光质量评估结果的准确性。
一实施方式中，还包括网络训练过程，针对该网络训练过程，可以将所述统计结果(如明度频率统计图)作为样本数据来训练第一图像处理网络，得到所述第一图像处理网络输出的用于曝光质量评估的预测值。其中，为了区分训练前后的图像处理网络，本实施方式中，将第一图像处理网络指代“训练前的图像处理网络”，将图像处理网络自身指代“训练后的图像处理网络”
一示例中，所述样本数据还包括：用于曝光质量评估的标注数据，可以根据所述标注数据及所述预测值得到损失函数，如平均绝对误差损失函数(L1-Loss)。根据所述损失函数的反向传播，对所述第一图像处理网络进行训练，直至网络收敛，从而网络训练结束，训练后得到所述图像处理网络。
应用示例：
应用本申请实施例一处理流程包括如下内容：
一、收集一批目标场景的视频数据，让标注人员进行标注，每个标注人员根据自己的主观判断给视频的曝光质量进行打分。每个视频需要多个标注人员同时打分，每个视频的最终标注得分可以为多个标注人员的平均值，将其作为用于曝光质量评估的标注数据。
二、提取视频对数明度频率统计图。
三、将视频对数明度频数统计图输入图像处理网络(网络类型可以是回归神经网络)，得到曝光质量评估结果(如曝光质量评分)。
四、根据图像处理网络输出的曝光质量评估结果、及标注数据，优化图像处理网络的权重，直至网络收敛，结束网络训练。
其中，第一步及第四步仅用于训练，在应用该图像处理网络时，仅需引用第二步及第三步这两个步骤。接下来具体描述第二步、第三步、第四步。
其中，图像处理网络一设计可以包括：设计图像处理网络的输入为：针对视频数据的视频对数明度频率统计图，其高为256，宽为视频的总帧数。为保证图像输入大小一致，首先将视频对数明度频率统计图宽统一缩放为256，则输入图像处理网络的图片为固定的256x256尺寸。图像处理网络可以采用用于特征提取的主干(backbone)网络，则输入该图片到backbone网络以提取特征。
一示例中，backbone网络可以为任何一个图像分类网络，比如ResNet-50，视觉几何群网络(VGG，Visual Geometry Group Network)等。由于图像分类网络一般有多个输出，比如，有几个分类，就对应几个输出，而本示例只是为了提取特征，不涉及分类，因此，需要将backbone网络最后的分类全连接层去掉，则可以得到backbone网络的特例，只有一个输出的特征提取网络，之后，在该特征提取网络的后面，或者特征提取网络中还可以增加多个全连接层(用于对所提取的多个特征向量进行向量整合)和激活层(用于对整合得到的向量进行非线性处理)，最终得到维度为1的输出，并作为该视频流数据的曝光质量评估结果。
对上述输出维度为1的特征提取网络，在该特征提取网络的后面增加多个全连接层和激活层的情况，可以将该特征提取网络和后面的全连接层一起进行训练并调整网络的权重，直至网络收敛，结束网络训练。
其中，该特征提取网络可以先采用ImageNet图像分类的权重(即已有的用于图像分类的数据权重)进行初始化，然后采用L1-Loss进行训练以调整网络的权重。采用L1-Loss进行训练的训练方法可以采用任意的神经网络优化方法，比如自适应矩估计(Adam，adaptive moment estimation)等，只要是用于梯度优化的方法都在本申请的保护范围之内。
采用本应用示例，通过应用上述训练得到基于图像处理网络变形的各网络类型或结构，可以直接得到曝光质量评估结果，且涵盖了曝光过度、曝光不足和曝光稳定性等多个影响曝光质量的因素，能准确且快速的得到所需的曝光质量评估结果。需要指出的是：利用人类对视频数据的真实数据标注作为样本数据进行训练，使得基于图像处理网络变形的各网络类型或结构输出结果更加接近人类的主观评价标准，更符合用户需求。
根据本申请的实施例，提供了一种图像质量评估装置，图5是根据本申请实施例的图像质量评估装置的组成结构示意图，如图5所示，包括：数据获取模块41，用于获取视频流数据；视频帧提取模块42，用于对所述视频流数据进行视频帧提取操作，得到至少一帧图像；指标统计模块43，用于对所述至少一帧图像进行曝光质量指标的统计，得到统计结果；曝光质量评估模块44，用于将所述统计结果输入预先训练得到的图像处理网络，得到针对所述视频流数据的曝光质量评估结果。
一实施方式中，所述视频帧提取模块42，还用于：基于固定帧率对所述视频流数据进行所述视频帧提取操作，得到所述至少一帧图像。
一实施方式中，指标统计模块43，包括：第一提取子模块，用于对所述至少一帧图像中的每帧图像分别进行明度特征提取，得到明度参数；第一统计子模块，用于根据所述明度参数，统计得到对应明度参数的频率指标，将所述频率指标作为所述曝光质量指标；第一指标处理子模块，用于根据所述频率指标，得到所述统计结果。
一实施方式中，指标统计模块43，包括：第二提取子模块，用于对所述至少一帧图像中的每帧图像分别进行明度分量提取，得到针对每帧图像的各明度分量；第二统计子模块，用于统计所述每帧图像的各明度分量对应像素数量在该帧图像总像素数量的占比，得到对应各明度分量的明度频率值，将所述对应各明度分量的明度频率值作为所述曝光质量指标；第二指标处理子模块，用于根据所述对应各明度分量的明度频率值进行所述至少一帧图像的拼接处理，得到明度频率统计图，将所述明度频率统计图作为所述统计结果。
一实施方式中，所述装置还包括训练模块，用于：将所述统计结果作为样本数据来训练第一图像处理网络，得到所述第一图像处理输出的用于曝光质量评估的预测值；所述样本数据还包括：用于曝光质量评估的标注数据；根据所述标注数据及所述预测值得到损失函数；根据所述损失函数的反向传播，对所述第一图像处理网络进行训练，直至网络收敛，从而网络训练结束，训练后得到所述图像处理网络。
本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图6所示，是用来实现本申请实施例的图像质量评估方法的电子设备的框图。该电子设备可以为前述部署设备或代理设备。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器801为例。
存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的图像质量评估方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像质量评估方法。
存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像质量评估方法对应的程序指令/模块(例如，附图5所示的数据获取模块、视频帧提取模块、指标统计模块、曝光质量评估模块等模块)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像质量评估方法。
存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
图像质量评估方法的电子设备，还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置803可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
采用本申请实施例，可以通过获取视频流数据，对所述视频流数据进行视频帧提取操作，以得到至少一帧图像，可以对所述至少一帧图像进行曝光质量指标的统计，以得到统计结果，将所述统计结果输入预先训练得到的图像处理网络，相比依赖于人工评估，所得到的针对所述视频流数据的曝光质量评估结果更为准确，从而提高了曝光质量评估结果的准确性。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (12)
1.一种图像质量评估方法，所述方法包括：
获取视频流数据；
对所述视频流数据进行视频帧提取操作，得到至少一帧图像；
对所述至少一帧图像进行曝光质量指标的统计，得到统计结果；
将所述统计结果输入预先训练得到的图像处理网络，得到针对所述视频流数据的曝光质量评估结果。
2.根据权利要求1所述的方法，其中，所述对所述视频流数据进行视频帧提取操作，得到至少一帧图像，包括：
基于固定帧率对所述视频流数据进行所述视频帧提取操作，得到所述至少一帧图像。
3.根据权利要求1或2所述的方法，其中，所述对所述至少一帧图像进行曝光质量指标的统计，得到统计结果，包括：
对所述至少一帧图像中的每帧图像分别进行明度特征提取，得到明度参数；
根据所述明度参数，统计得到对应明度参数的频率指标，将所述频率指标作为所述曝光质量指标；
根据所述频率指标，得到所述统计结果。
4.根据权利要求1或2所述的方法，其中，所述对所述至少一帧图像进行曝光质量指标的统计，得到统计结果，包括：
对所述至少一帧图像中的每帧图像分别进行明度分量提取，得到针对每帧图像的各明度分量；
统计所述每帧图像的各明度分量对应像素数量在该帧图像总像素数量的占比，得到对应各明度分量的明度频率值，将所述对应各明度分量的明度频率值作为所述曝光质量指标；
根据所述对应各明度分量的明度频率值进行所述至少一帧图像的拼接处理，得到明度频率统计图，将所述明度频率统计图作为所述统计结果。
5.根据权利要求1或2所述的方法，所述方法还包括：
将所述统计结果作为样本数据来训练第一图像处理网络，得到所述第一图像处理网络输出的用于曝光质量评估的预测值；
所述样本数据还包括：用于曝光质量评估的标注数据；
根据所述标注数据及所述预测值得到损失函数；
根据所述损失函数的反向传播，对所述第一图像处理网络进行训练，直至网络训练结束，训练后得到所述图像处理网络。
6.一种图像质量评估装置，所述装置包括：
数据获取模块，用于获取视频流数据；
视频帧提取模块，用于对所述视频流数据进行视频帧提取操作，得到至少一帧图像；
指标统计模块，用于对所述至少一帧图像进行曝光质量指标的统计，得到统计结果；
曝光质量评估模块，用于将所述统计结果输入预先训练得到的图像处理网络，得到针对所述视频流数据的曝光质量评估结果。
7.根据权利要求6所述的装置，其中，所述视频帧提取模块，还用于：
基于固定帧率对所述视频流数据进行所述视频帧提取操作，得到所述至少一帧图像。
8.根据权利要求6或7所述的装置，其中，所述指标统计模块，包括：
第一提取子模块，用于对所述至少一帧图像中的每帧图像分别进行明度特征提取，得到明度参数；
第一统计子模块，用于根据所述明度参数，统计得到对应明度参数的频率指标，将所述频率指标作为所述曝光质量指标；
第一指标处理子模块，用于根据所述频率指标，得到所述统计结果。
9.根据权利要求6或7所述的装置，其中，所述指标统计模块，包括：
第二提取子模块，用于对所述至少一帧图像中的每帧图像分别进行明度分量提取，得到针对每帧图像的各明度分量；
第二统计子模块，用于统计所述每帧图像的各明度分量对应像素数量在该帧图像总像素数量的占比，得到对应各明度分量的明度频率值，将所述对应各明度分量的明度频率值作为所述曝光质量指标；
第二指标处理子模块，用于根据所述对应各明度分量的明度频率值进行所述至少一帧图像的拼接处理，得到明度频率统计图，将所述明度频率统计图作为所述统计结果。
10.根据权利要求6或7所述的装置，所述装置还包括训练模块，用于：
将所述统计结果作为样本数据来训练第一图像处理网络，得到所述第一图像处理网络输出的用于曝光质量评估的预测值；
所述样本数据还包括：用于曝光质量评估的标注数据；
根据所述标注数据及所述预测值得到损失函数；
根据所述损失函数的反向传播，对所述第一图像处理网络进行训练，直至网络训练结束，训练后得到所述图像处理网络。
11.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010599049.9A CN111754492A (zh) | 2020-06-28 | 2020-06-28 | 图像质量评估方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010599049.9A CN111754492A (zh) | 2020-06-28 | 2020-06-28 | 图像质量评估方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111754492A true CN111754492A (zh) | 2020-10-09 |
Family
ID=72677651
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010599049.9A Pending CN111754492A (zh) | 2020-06-28 | 2020-06-28 | 图像质量评估方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111754492A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112837319A (zh) * | 2021-03-29 | 2021-05-25 | 深圳大学 | 真实失真图像质量智能评价方法、装置、设备及介质 |
| CN116152233A (zh) * | 2023-04-17 | 2023-05-23 | 北京邮电大学 | 图像处理方法、智能终端及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006237676A (ja) * | 2005-02-22 | 2006-09-07 | Fuji Xerox Co Ltd | 画像評価方法および画像評価装置並びにプログラム |
| CN102955943A (zh) * | 2011-08-18 | 2013-03-06 | 株式会社Pfu | 图像处理装置和图像处理方法 |
| CN109741281A (zh) * | 2019-01-04 | 2019-05-10 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及终端 |
| CN110619628A (zh) * | 2019-09-09 | 2019-12-27 | 博云视觉（北京）科技有限公司 | 一种人脸图像质量评估方法 |
| CN111193923A (zh) * | 2019-09-24 | 2020-05-22 | 腾讯科技（深圳）有限公司 | 视频质量评估方法、装置、电子设备及计算机存储介质 |
-
2020
- 2020-06-28 CN CN202010599049.9A patent/CN111754492A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006237676A (ja) * | 2005-02-22 | 2006-09-07 | Fuji Xerox Co Ltd | 画像評価方法および画像評価装置並びにプログラム |
| CN102955943A (zh) * | 2011-08-18 | 2013-03-06 | 株式会社Pfu | 图像处理装置和图像处理方法 |
| CN109741281A (zh) * | 2019-01-04 | 2019-05-10 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及终端 |
| CN110619628A (zh) * | 2019-09-09 | 2019-12-27 | 博云视觉（北京）科技有限公司 | 一种人脸图像质量评估方法 |
| CN111193923A (zh) * | 2019-09-24 | 2020-05-22 | 腾讯科技（深圳）有限公司 | 视频质量评估方法、装置、电子设备及计算机存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 贾永红, 李德仁: "SAR与TM影像的IHS变换复合及其质量定量评价", 国土资源遥感, no. 03, 20 September 1997 (1997-09-20) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112837319A (zh) * | 2021-03-29 | 2021-05-25 | 深圳大学 | 真实失真图像质量智能评价方法、装置、设备及介质 |
| CN112837319B (zh) * | 2021-03-29 | 2022-11-08 | 深圳大学 | 真实失真图像质量智能评价方法、装置、设备及介质 |
| CN116152233A (zh) * | 2023-04-17 | 2023-05-23 | 北京邮电大学 | 图像处理方法、智能终端及存储介质 |
| CN116152233B (zh) * | 2023-04-17 | 2023-09-26 | 北京邮电大学 | 图像处理方法、智能终端及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9706111B2 (en) | No-reference image and video quality evaluation | |
| CN111833340B (zh) | 图像检测方法、装置、电子设备及存储介质 | |
| WO2022227308A1 (zh) | 图像处理方法、装置、设备以及介质 | |
| CN106951346B (zh) | 一种响应时间的测试方法和装置 | |
| CN111768377B (zh) | 图像色彩评估方法、装置、电子设备及存储介质 | |
| CN112328345B (zh) | 用于确定主题色的方法、装置、电子设备及可读存储介质 | |
| CN111090778B (zh) | 一种图片生成方法、装置、设备及存储介质 | |
| CN112262427B (zh) | 拖影评价、改善方法和电子设备 | |
| CN105744115A (zh) | 用于处理视频内容的方法和系统 | |
| CN112102462A (zh) | 图像的渲染方法、装置 | |
| CN111754492A (zh) | 图像质量评估方法、装置、电子设备及存储介质 | |
| CN112233075A (zh) | 视频清晰度评估方法、装置、存储介质及电子设备 | |
| CN109544441B (zh) | 图像处理方法及装置、直播中的肤色处理方法及装置 | |
| CN113297937A (zh) | 一种图像处理方法、装置、设备及介质 | |
| CN114038370B (zh) | 显示参数调整方法、装置、存储介质及显示设备 | |
| Song et al. | Naturalness index for a tone-mapped high dynamic range image | |
| CN113781384A (zh) | 视频质量评估方法和装置 | |
| CN116229188B (zh) | 图像处理显示方法、分类模型的生成方法及其设备 | |
| CN112511890A (zh) | 视频图像处理方法、装置及电子设备 | |
| CN105611430B (zh) | 用于处理视频内容的方法和系统 | |
| CN116071623A (zh) | 模型训练方法、基于图像的处理方法、装置、设备及介质 | |
| US10764578B2 (en) | Bit rate optimization system and method | |
| Choudhury et al. | HDR image quality assessment using machine-learning based combination of quality metrics | |
| WO2023001110A1 (zh) | 神经网络训练方法、装置及电子设备 | |
| CN113762058A (zh) | 一种视频合成方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |