CN110378883A - 图像评价模型生成方法、图像数据处理方法、装置、计算机设备和存储介质 - Google Patents

图像评价模型生成方法、图像数据处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110378883A
CN110378883A CN201910626635.5A CN201910626635A CN110378883A CN 110378883 A CN110378883 A CN 110378883A CN 201910626635 A CN201910626635 A CN 201910626635A CN 110378883 A CN110378883 A CN 110378883A
Authority
CN
China
Prior art keywords
sub
model
evaluation
image
evaluation model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910626635.5A
Other languages
English (en)
Inventor
蒋紫东
姚亮
章琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201910626635.5A priority Critical patent/CN110378883A/zh
Publication of CN110378883A publication Critical patent/CN110378883A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Abstract

本申请涉及一种图像评价模型生成方法、图像数据处理方法、装置、计算机设备和存储介质。所述图像数据处理方法包括:输入图像至预设图像评价模型中的多个子评价模型,通过各个子评价模型分别评价图像,输出图像对应的多个子目标评价值,输入各个子目标评价值至预设图像评价模型中的总评价模型,输出图像的目标总评价值。通过多个子评价模型对图像的多个维度进行评价,并根据多个维度的评价进行总评价,得到图像的多个维度的评价信息和总的评价信息,通过多个维度对图像进行评价,得到的更为全面和准确的评价信息。

Description

图像评价模型生成方法、图像数据处理方法、装置、计算机设 备和存储介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种图像评价模型生成方法、图像数据处理方法、装置、计算机设备和存储介质。
背景技术
图像质量评价是指对图像的质量进行评价,图像质量的评价过程中,人为评价存在很大的个人主观因素,无法得出准确的评价结果。为了解决该问题,提出了基于图像的参数的自动评价方法,现有的图像评价方法都是对图像的单个参数进行评价,得到的评价不全面。
发明内容
为了解决上述技术问题,本申请提供了一种图像评价模型生成方法和装置、计算机设备和存储介质。
第一方面,本申请提供了一种图像评价模型生成方法,包括:
获取多个训练图像,各个训练图像携带标注信息,标注信息包括标注总评价值;
输入各个训练图像至第一图像评价模型中的子评价模型;
通过各个子评价模型分别评价训练图像,输出各个训练图的多个子评价值;
输入各个训练图的子评价值至第一图像评价模型中的总评价模型,输出训练总评价值;
计算标注总评价值和训练总评价值的总差异度;
判断总差异度是否小于或等于预设总差异度阈值;
当总差异度小于或等于预设总差异度阈值时,将第一图像评价模型作为目标图像评价模型。
第二方面,本申请提供了一种图像评价模型生成装置,包括:
训练数据获取模块,用于获取多个训练图像,各个训练图像携带标注信息,标注信息包括标注总评价值;
子评价模块,用于输入各个训练图像至第一图像评价模型中的子评价模型,通过各个子评价模型分别评价训练图像,输出各个训练图的多个子评价值;
总评价模块,用于输入各个训练图的子评价值至第一图像评价模型中的总评价模型,输出训练总评价值;
差异度计算模块,用于计算标注总评价值和训练总评价值的总差异度;
差异度拍的面孔,用于判断总差异度是否小于或等于预设总差异度阈值;
模型生成模块,用于当总差异度小于或等于预设总差异度阈值时,将第一图像评价模型作为目标图像评价模型。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取多个训练图像,各个训练图像携带标注信息,标注信息包括标注总评价值;
输入各个训练图像至第一图像评价模型中的子评价模型;
通过各个子评价模型分别评价训练图像,输出各个训练图的多个子评价值;
输入各个训练图的子评价值至第一图像评价模型中的总评价模型,输出训练总评价值;
计算标注总评价值和训练总评价值的总差异度;
判断总差异度是否小于或等于预设总差异度阈值;
当总差异度小于或等于预设总差异度阈值时,将第一图像评价模型作为目标图像评价模型。
一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取多个训练图像,各个训练图像携带标注信息,标注信息包括标注总评价值;
输入各个训练图像至第一图像评价模型中的子评价模型;
通过各个子评价模型分别评价训练图像,输出各个训练图的多个子评价值;
输入各个训练图的子评价值至第一图像评价模型中的总评价模型,输出训练总评价值;
计算标注总评价值和训练总评价值的总差异度;
判断总差异度是否小于或等于预设总差异度阈值;
当总差异度小于或等于预设总差异度阈值时,将第一图像评价模型作为目标图像评价模型。
上述图像评价模型生成方法、装置、计算机设备和存储介质,方法包括:获取多个训练图像,各个训练图像携带标注信息,标注信息包括标注总评价值;输入各个训练图像至第一图像评价模型中的子评价模型;通过各个子评价模型分别评价训练图像,输出各个训练图的多个子评价值;输入各个训练图的子评价值至第一图像评价模型中的总评价模型,输出训练总评价值;计算标注总评价值和训练总评价值的总差异度;判断总差异度是否小于或等于预设总差异度阈值;当总差异度小于或等于预设总差异度阈值时,将第一图像评价模型作为目标图像评价模型。对训练图像进行多个维度的评价,输出多个维度评价,并输入多个维度的子评价值至总评价模型,得到图像的训练总评价值,根据训练总评价值和真实的标注总评价值的差异度,确定总评价模型的收敛,直至得到目标图像评价模型,得到的目标图像评价模型可以对图像进行多维度的评价和总评价,采用该模型可以更为全面的对图像进行评价。
为了解决上述技术问题,本申请提供了一种图像数据处理方法、装置、计算机设备和存储介质。
第一方面,本申请提供了一种图像数据处理方法,包括:
输入图像至预设图像评价模型中的多个子评价模型;
通过各个子评价模型分别评价图像,输出图像对应的多个子目标评价值;
输入各个子目标评价值至预设图像评价模型中的总评价模型,输出图像的目标总评价值。
第二方面,本申请提供了一种图像数据处理装置,包括:
数据输入模块,用于输入图像至预设图像评价模型中的子评价模型;
子评价模型,用于通过各个子评价模型分别评价图像,得到各个评价子模块的子目标评价值;
总评价模型,用于输入各个子目标评价值至预设图像评价模型中的总评价模型,输出图像的目标总评价值。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
输入图像至预设图像评价模型中的多个子评价模型;
通过各个子评价模型分别评价图像,输出图像对应的多个子目标评价值;
输入各个子目标评价值至预设图像评价模型中的总评价模型,输出图像的目标总评价值。
一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
输入图像至预设图像评价模型中的多个子评价模型;
通过各个子评价模型分别评价图像,输出图像对应的多个子目标评价值;
输入各个子目标评价值至预设图像评价模型中的总评价模型,输出图像的目标总评价值。
上述图像数据处理方法、装置、计算机设备和存储介质,方法包括:输入图像至预设图像评价模型中的多个子评价模型,通过各个子评价模型分别评价图像,输出图像对应的多个子目标评价值,输入各个子目标评价值至预设图像评价模型中的总评价模型,输出图像的目标总评价值。通过多个子评价模型对图像的多个维度进行评价,并根据多个维度的评价进行总评价,得到图像的多个维度的评价信息和总的评价信息,通过多个维度对图像进行评价,得到更为全面和准确的总评价信息。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中图像数据处理方法的应用环境图;
图2为一个实施例中图像评价模型生成方法的流程示意图;
图3为一个实施例中图像数据处理方法的流程示意图;
图4为一个实施例中子评价模型的网络结构图;
图5为一个实施例中图像评价模型的网络结构图。
图6为另一个实施例中图像评价模型的网络框架结构图;
图7为一个实施例中图像评价模型生成装置的结构框图;
图8为另一个实施例中图像评价模型生成装置的结构框图;
图9为一个实施例中子评价模型生成模块的结构框图;
图10为另一个实施例中子评价模型生成模块的结构框图;
图11为一个实施例中图像数据处理装置的结构框图;
图12为另一个实施例中图像数据处理装置的结构框图;
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1为一个实施例中图像数据处理方法的应用环境图。参照图1,该图像模型生成方法和/或图像数据处理方法应用于图像数据处理系统。该图像数据处理系统包括终端110和服务器120。终端110具体可以是台式终端或移动终端,移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
如图2所示,在一个实施例中,提供了一种图像评价模型生成方法。本实施例主要以该方法应用于上述图1中的终端110(或服务器120)来举例说明。参照图2,该图像评价模型生成具体包括如下步骤:
步骤S201,获取多个训练图像。
在本具体实施例中,各个训练图像携带标注信息,标注信息包括标注总评价值。
步骤S202,输入各个训练图像至第一图像评价模型中的子评价模型.
步骤S203,通过各个子评价模型分别评价训练图像,输出各个训练图的多个子评价值。
步骤S204,输入各个训练图的子评价值至第一图像评价模型中的总评价模型,输出训练总评价值。
步骤S205,计算标注总评价值和训练总评价值的总差异度。
步骤S206,判断总差异度是否小于或等于预设总差异度阈值。
步骤S207,当总差异度小于或等于预设总差异度阈值时,得到目图像评价模型。
具体地,训练图像是用于训练模型的图像,训练图像中携带标注信息,其中标注信息包括标注总评价值和多个子标注评价值等等。标注总评价值是指用户对图像的真实评价值,子标注评价值是指用户对图像各个维度的真实评价值。子标注评价值包括各个维度的评价,如用户从失真、模糊、块效应和噪声等等方面,对图像进行评价得到的真实评价值作为各个子标注评价值。第一图像评价模型中包含多个子评价模型和总评价模型,其中子评价模型为已经训练好的评价模型,在训练初始图像评价模型时,不更新各个子评价模型的模型参数,仅更新第一图像评价模型中的总评价模型中的模型参数。
将训练图像输入各个子评价模型中,通过各个子评价模型评价各个训练图像,得到各个训练图像的多个子评价值,输入各个训练图像的子评价值至总评价模型,输出各个训练图像的训练总评价值,计算各个训练图像的训练总评价值与标注总评价值的差异度,得到总差异度。其中差异度常用常见的数值差异度表示,如采用训练总评价值与标注总评价值的差异度,可以采用包括但不限于差值、比值、差值的平方或对数等表示数据之间的差异的值进行表示。预设总差异度阈值是预先设置的用于判断第一图像评价模型是否收敛的临界值,当总差异度小于或等于预设总差异度阈值时,第一图像评价模型收敛,将收敛的第一图像评价模型作为目标图像评价模型。
在一个实施例中,当总差异度大于预设总差异度阈值时,更新第一图像评价模型中各子评价模型的模型参数以及总评价模型的模型参数,得到第二图像评价模型;输入各个训练图像至第二图像评价模型中的子评价模型,直至当得到的总差异度大于预设总差异度阈值时得到目标图像评价模型。
具体地,当总差异度大于预设总差异度阈值时,模型未收敛,更新第一图像评价模型中的总评价模型的模型参数,模型参数的更新可以常用的神经网络的模型更新方法,如采用梯度回传算法或端到端的训练方法更新模型参数,将更新了模型参数的第一图像评价模型作为初始图像评价模型,输入各个训练图像至第二图像评价模型中的子评价模型,通过个子评价模型评价各个训练图像,得到各个训练图像对应的多个子评价值,输入各个子评价值至总评价模型,输出各个训练图像的训练总评价值,判断输出的训练总评价值与标注总评价值的差异度的是否小于或等于预设总差异度阈值,当小于或等于时,将第二图像评价模型作为目标图像评价模型,反之,第二图像评价模型的模型参数,直至第二图像评价模型得到目标图像评价模型。通过重复执行图像输入、预测图像子评价值、预测总评价值、判断总差异度的步骤,直至更新一次或多次总评价模型的模型参数的第一图像评价模型收敛,得到目标图像评价模型。
在一个实施例中,当总差异度大于预设总差异度阈值时,更新第一图像评价模型中总评价模型的模型参数,得到第三图像评价模型,输入各个训练图的子评价值至第三图像评价模型中的总评价模型,直至当得到的总差异度大于预设总差异度阈值时得到目标图像评价模型。
具体地,第一图像评价模型中的子评价模型为已训练好的评价模型,故可以先得到各个训练图像对应的多个子评价值,保留各个训练图像对应的多个子评价值,当模型未收敛时,即总差异度大于预设总差异度阈值,更新初始图像评价模型中的总评价模型的模型参数,输入各个训练图的子评价值至总评价模型,输出各个训练图像的子评价值至更新了模型参数的总评价模型,判断输出的训练总评价值与标注总评价值的差异度的是否小于或等于预设总差异度阈值,当小于或等于时,将第三图像评价模型作为目标图像评价模型,反之,更新第三图像评价模型的中的总评价模型的模型参数,直至得到目标图像评价模型。通过重复执行图像输入、预测图像子评价值、预测总评价值、判断总差异度的步骤,直至更新了总评价模型的模型参数的第三图像评价模型收敛,得到目标图像评价模型。
在一个实施例中,构建多个第一子评价模型,输入各个训练图像至各个第一子评价模型,输出训练图像对应的各个第一子评价模型的子训练评价值,计算各个第一子评价模型的子训练评价值,和对应的子标注评价值的子差异度,判断各个第一子评价模型的子差异度是否小于或等于对应的预设子差异度阈值,将第一子评价模型的子差异度小于或等于对应的预设子差异度阈值的第一子评价模型,作为第一图像评价模型中对应的子评价模型。
具体地,第一子评级模型是指根据需求构建的数学模型,如卷积神经网络(Convolutional Neural Network,CNN)、循环神经网络(Recurrent Neural Networks,RNN)或深度神经网络(Deep NeuralNetworks,DNN)等等。各个第一子评价模型相互独立,即各个第一子评价模型的训练过程是分开进行的,输入训练图像时,不同的第一子评价模型根据不同的需求进行训练。如需求包括失真、噪声、块效应、对比度和模糊等等,不同的子评价模型的训练图像对应的标注信息不同,如训练失真评价模型时,训练图像的标注信息为失真评价值,训练噪声评价模型时,训练图像的标注信息为噪声评价值。各个子评价模型的训练过程为相互独立过程,为了方便说明,以多个子评价模型中任意一个子评价模型的训练为例,训练过程具体包括:输入训练图像至第一子评价模型,输出各个训练图像的子训练评价值,计算子训练评价值和对应的子标注评价值的差异度,得到子差异度。差异度的计算方法可以采用常见的数据差异度计算方法。判断子差异度是否小于或等于预设子差异度。预设子差异度为技术人员根据经验或需求确定的用于判断第一子评价模型是否收敛的临界值。当第一子评价模型对应的子差异度小于或等于预设子差异度时,第一子评价模型收敛时,将收敛的第一子评价模型作为子评价模型。通过重复上述单个子评价模型的训练过程,得到多个不同的子评价模型,其中各个子评价模型输入的训练图像的标注信息为不同维度的信息,通过不同维度的标注信息训练得到不同的子评价模型。
在一个实施例中,根据第一子评价模型的子差异度大于对应的预设子差异度阈值的第一子评价模型的子差异度,更新第一子评价模型的模型参数,将更新了模型参数的第一子评价模型作为第二子评价模型,输入训练图像至各个第二子评价模型,输出训练图像对应的各个第一子评价模型的子训练评价值,直至得到第一图像评价模型中对应的全部的子评价模型。
具体地,以多个子评价模型中的任意一个子评价模型的训练为例,当第一子评价模型的子差异度大于对应的预设子差异度阈值时,根据子差异度调整第一子评价模型的模型参数,将调整了模型参数的第一子评价模型作为第二子评价模型,执行输入训练图像至第二子评价模型,输出子训练评价值,计算子训练评价值与子标注评价值之间的子差异度,判断子差异度是否小于或等于预设子差异度,当小于或等于时,得到子评价模型,反之,则调整第二子评价模型的模型参数,直至得到子评价模型。通过上述模型参数更新,得到各个子评价模型。
如图3所示,在一个实施例中,提供了一种图像数据处理方法。本实施例主要以该方法应用于上述图1中的终端110(或服务器120)来举例说明。参照图3,该图像数据处理方法具体包括如下步骤:
步骤S301,输入图像至预设图像评价模型中的多个子评价模型。
具体地,图像是指用户上传或网络下载的图像。预设图像评价模型是用于对图像的质量进行评价的数学模型。预设图像评价模型包含多个子评价模型和一个总评价模型,各个子评价模型用于从不同的维度对图像进行评价,得到不同纬度的评价信息。各个子评价模型的网络结构可以相同,也可以不相同。其中子评价模型用于评价的维度包括但不限于失真、背景噪声、模糊、对比度和块效应等等。设置多少个不同评价维度的子评价模型可以根据业务需求确定。其中预设评价模型为上述任意一个实施例中的目标评价模型。
在一个实施例中,每个子评价模型的网络结构相同,每个子评价模型是通过不同的训练标注信息确定的,如训练用于评价图像的失真的子评价模型时,采用标注了失真信息的训练图像进行训练,训练用于评价图像的背景噪声的子评价模型时,采用标注了背景噪声信息的图像进行训练。
步骤S302,通过各个子评价模型分别评价图像,输出图像对应的多个子目标评价值。
具体地,各个子评价模型提取对应的用于评价的图像特征,根据提取的图像特征评价图像,得到各个子评价模型对应的子目标评价值,各个子目标评价值为同一个图像在不同维度的评价值。
在一个实施例中,在输入图像至各个子评价模型之前,还包括:分割图像,得到多个分割区域,通过各个子评价模型分别评价各个分割区域,得到各个分割区域对应的各个子评价模型的区域评价值,计算图像在各个子评价模型中的各个区域评价值的加权值,将加权值作为子目标评价值。
具体地,由于图像与模型的输入预设图像评价模型所要求的尺寸不一致,在输入图像时可以对图像进行调整,如可以对图像进行分割,得到多个分割区域。各个分割区域可以重叠也可以不重叠,如可以将图像划分成多个具有相同尺寸,且不存在重叠区域的矩形区域。输入各个分割区域至各个子评价模型中,通过各个子评价模型分别评价各个分割区域,得到各个分割区域对应的区域评价值,对图像的各个子评价模型中得到各个分割区域的区域评价值加权求和,得到整个图像在各个子评价模型中的子目标评价值。其中加权时,各个分割区域的加权系数可以相同,也可以不相同,具体的加权系数根据具体情况确定,如可以采用各个分割区域的区域评价值的均值作为图像的子目标评价值。对图像进行划分,通过子评价模型对局部图像数据(分割区域)进行评价,对各个分割区域的评价值进行加权,综合整个图像的图像内容的评价结果,得到的评价值更为准确。
在一个实施例中,子评价模型包含至少一个卷积层、池化层、预测层,通过各个子评价模型对图像进行评价,输出图像对应的多个子目标评价值,包括:通过各个子评价模型中的卷积层对输入数据进行卷积运算,得到卷积特征图,当卷积层为第一个卷积层时,输入数据为图像,当卷积层不是第一个卷积层时,输入数据包括卷积层之前的全部卷积层的输出特征图,当卷积层为最后一个卷积层时,输入卷积特征图至池化层,通过池化层的预设池化算法提取卷积特征图的图像特征,得到池化特征图,输入池化特征图至预测层,输出图像的各个子目标评价值。
具体地,第一个卷积层是用于接收图像,并对图像进行卷积运算的网络层,最后一个卷积层与池化层连接。即各个卷积层的输入数据,为各个卷积层之前的全部的卷积层输出的卷积特征图。即第一个卷积层对图像进行卷积运算之后,输出的卷积特征图为第二个卷积层至最后一个卷积层的各个卷积层的输入数据,第二卷积层输出的卷积特征图,为第三个卷积层至最后一个卷积层的各个卷积层的输入数据,以此类推。当卷积层为最后一个卷积层时,输入最后一个卷积层输出的卷积特征图至池化层,通过池化层的池化算法对最后一个卷积层输出的特征图进行池化运算,得到池化特征图。其中池化算法可以为但不限于随机池化算法、平局池化算法和极大值池化算法等等。预测层一般采用全连接层,可以设置一个或多个全连接网络层作为预测层。输入池化特征图至预测层,得到图像对应的各个子评价模型的子目标评价值。
步骤S303,输入各个子目标评价值至预设图像评价模型中的总评价模型,输出图像的目标总评价值。
具体地,输入各个图像对应的多个子目标评价值至总评价模型,通过总评价模型对各个子目标评价值进行预测,得到图像的目标总评价值。
上述图像数据处理方法,包括:输入图像至预设图像评价模型中的多个子评价模型,通过各个子评价模型分别评价图像,输出图像对应的多个子目标评价值,输入各个子目标评价值至预设图像评价模型中的总评价模型,输出图像的目标总评价值。通过多个子评价模型对图像的多个维度进行评价,并根据多个维度的评价进行总评价,得到图像的多个维度的评价信息和总的评价信息,通过多个维度对图像进行评价,得到的更为准确的评价信息。
在一个具体的实施例中,上述图像数据处理方法,包括:
构建多个第一子评价模型,各个第一子评价模型为卷积网络模型,卷积网络模型包含多个卷积层、池化层和全连接层(预测层),其中卷积层的层数可以定义。参照图4,图4为第一子评价模型的网络结构示意图,第一子评价模型包含5个卷积层,一个全局平局池化层和一个全连接层,5个卷积层中,第一个卷积层011的输入为原图Iin,输出为I1out,第二个卷积层012的输入为I1out,输出为I2out,第三个卷积层013的输入为I1out+I2out,输出为I3out,第四个卷积层014的输入为I1out+I2out+I3out,输出为I4out,第四个卷积层015的输入为I1out+I2out+I3out+I4out,输出为I5out,池化层016的输入为I5out,输出为I6out,全连接层017的输入为I6out,输出为I7out。设输入图像的尺寸为64*64*3,则定义各个卷积层的参数为(输入通道数,卷积核的宽,卷积核的高,输出通道数),第一个卷积层的参数为(3,3,3,32),第二个卷积层的参数为(32,3,3,32),第三个卷积层的参数为(64,3,3,48),第四个卷积层的参数为(112,3,3,64),第五个卷积层的参数为(176,3,3,80)。第一个卷积层至第五个卷积层中都设置有激活函数RELU。池化层016中的池化算法为全局平均池化算法。全连接层017的输入通道数为80,输出通道数为1。图片质量是与图片语义无关的底层信息,故设计的网络的网络层数不多,仅包括5个卷积层,为了尽量的融合底层特征,各个卷积层的输入数据包括前面的卷积层的输出数据。
分别针对失真、块效应、模糊和噪声训练第一子评价模型,得到4个子评价模型,即为失真评价模型、块效应评价模型、模糊评价模型和噪声评价模型。训练时,各个初始子评级模型采用的损失函数为各个第一子评价模型中子训练评价值与对应的真实的子评价值(子标注评价值)的均方误差(Mean Squared Error,MSE),采用SGD优化器,步长为0.001。各个初始子评级模型的训练过程一致,仅仅是训练数据不相同,为了方便说明,以失真评价模型为例,在训练失真评价模型时,输入携带有失真评价值(子标注评价值)的训练图像,通过失真评价模型评价训练图像的失真值,得到训练失真值(子训练评价值),计算失真评价值和训练失真值的MSE,判断MSE是否小于或等于预设MSE阈值(预设子差异度阈值),当MSE小于或等于预设MSE阈值时,得到训练好的失真评价模型。反之,则根据MSE更新失真评价模型的模型参数,采用更新了模型参数的失真评价模型再次对训练图像进行学习,得到新的训练失真值,判断失真评价值与新的训练失真值的MSE,直至得到训练好的失真评价模型。
构建初始图像评价模型,其中初始图像评价模型包括四个并列的子评价模型,即失真评价模型、块效应评价模型、模糊评价模型和噪声评价模型,和一个总评价模型,总评价模型为两个全连接层。参照图5,图5为一个初始图像评价模型的网络结构示意图。初始图像评价模型包括:子评价模型000和总评价模型050。子评价模型000包括:失真评价模型010、块效应评价模型020、噪声评价模型030和模糊评价模型040。失真评价模型010、块效应评价模型020、噪声评价模型030和模糊评价模型040的网络结构参照图3,总评价模型050包括:第一个全连接层051和第二个全连接层052。第一个全连接层051的输入通道为4,输出通道为10,第二个全连接层052的输入通道数为10,输出通道数为1。
模型使用。参照图6,图6为预设图像评价模型的框架结构示意图。图像分别输入失真评价模型、块效应评价模型、模糊评价模型和噪声评价模型,输出失真评价值、块效应评价值、模糊评价值和噪声评价值。输入失真评价值、块效应评价值、模糊评价值和噪声评价值至总评价模型,输出总评价值。设图片尺寸为W*H,对图像按照64*64尺寸进行划分,得到W//64*H//64个小图,如图像尺寸为128*128,得到(128//64)*(128//64)=2*2=4个小图。通过各个子评级模型对各个小图(分割区域)进行单独评价,得到各个小图的区域评价值,对同一个图像的各个子评价模型中的区域评价值求均值,得到图像的各个子评价模型对应的子目标评价值。输入图像的各个子评价模型对应的子目标评价值至总评价模型,输出图像的目标总评价值。其中评价值可以自定义,如可以设置评价值的分数范围为1至5、1至10等等整数,也可以设置不同的等级,如设置A、B、C、D和E五个等级等等。在模型运算过程中,数据的类型均为浮点型,采用四舍五入的方式对目标总评价值的浮点型中的小数点进行取舍,得到最终的输出结果。以分数范围为1至5为例,输出结果为1、2、3、4或5中的任意一个数值。
上述图像数据处理方法,通过大量携带标签的训练数据训练得到预设图像评价模型,采用预设图像评价模型对图像的多个维度进行自动评价,节省了人工审核的时间和人力支出,以及避免了人工审核带来的审核差异大的问题。反馈图像多个维度的评价,当图像质量低下时,确定质量出现的问题,为后续对图像的质量进行增强做准备。
在一个具体的实施例中,在对数据进行搜索和推荐时,采用智能识别算法识别图片的质量。智能识别图像质量,可以将识别结果反馈给用户,用户并根据评价结果确定图像是否需要增加,需要增强时,可以自行对图像进行增强,或将图像发送至图像增强模型对图像进行增强处理,得到增强后的图像。从而在推荐信息时可以将质量更好的图像推送给用户,检索时可以检索到质量更好的图像。
图2和图3分别为一个实施例中图像评价模型生成方法和图像数据处理方法的流程示意图。应该理解的是,虽然图2或图3的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2图3中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图7所示,在一个实施例中,提供了一个图像评价模型生成装置200,包括:
训练数据获取模块201,用于获取多个训练图像,各个训练图像携带标注信息,标注信息包括标注总评价值。
子评价模块202,用于输入各个训练图像至第一图像评价模型中的子评价模型,通过各个子评价模型分别评价训练图像,输出各个训练图的多个子评价值。
总评价模块203,用于输入各个训练图的子评价值至第一图像评价模型中的总评价模型,输出训练总评价值。
差异度计算模块204,用于计算标注总评价值和训练总评价值的总差异度。
差异度判断模块205,用于判断总差异度是否小于或等于预设总差异度阈值。
模型生成模块206,用于当总差异度小于或等于预设总差异度阈值时,将第一图像评价模型作为预设图像评价模型。
在一个实施例中,如图8所示,上述图像评价模型生成装置200,还包括:
参数更新模块207,用于当总差异度大于预设总差异度阈值时,更新第一图像评价模型中总评价模型的模型参数,得到第二图像评价模型。
模型生成模块206还用于输入各个训练图像至第二图像评价模型中的子评价模型,直至当得到的总差异度大于预设总差异度阈值时得到预设图像评价模型。
在一个实施例中,上述图像评价模型生成装置200,还包括:
参数更新模块207,用于当总差异度大于预设总差异度阈值时,更新第一图像评价模型中总评价模型的模型参数,得到第三图像评价模型。
模型生成模块206还用于输入各个训练图的子评价值至第三图像评价模型中的总评价模型,直至当得到的总差异度大于预设总差异度阈值时得到目标图像评价模型。
在一个实施例中,如图9所示,上述图像评价模型生成装置200,还包括:
子评价模型生成模块208,用于生成子评价模型,其中,子评价模型生成模块,包括:
子评价模型构建单元2081,用于构建多个第一子评价模型。
子训练评价模型训练单元2082,用于输入各个训练图像至各个第一子评价模型,输出训练图像对应的各个第一子评价模型的子训练评价值。
子差异度计算单元2083,用于计算各个第一子评价模型的子训练评价值,和对应的子标注评价值的子差异度。
子差异度判断单元2084,用于判断各个第一子评价模型的子差异度是否小于或等于对应的预设子差异度阈值。
子评价模型生成单元2085,用于将第一子评价模型的子差异度小于或等于对应的预设子差异度阈值的第一子评价模型,作为初始图像评价模型中对应的子评价模型。
在一个实施例中,如图10所示,子评价模型生成模块208,还包括:
参数更新单元2086,用于根据第一子评价模型的子差异度大于对应的预设子差异度阈值的第一子评价模型的子差异度,更新第一子评价模型的模型参数。
子评价模型生成单元2085还用于将更新了模型参数的第一子评价模型作为第二子评价模型,输入训练图像至各个第二子评价模型,输出训练图像对应的各个第一子评价模型的子训练评价值,直至得到初始图像评价模型中对应的全部的子评价模型。
在一个实施例中,如图11所示,提供了一种图像数据处理装置300,包括:
数据输入模块301,用于输入图像至预设图像评价模型中的子评价模型。
子目标评价值计算模块302,用于通过各个子评价模型分别评价图像,输出图像对应的多个子目标评价值。
总目标评价值计算模块303,用于输入各个子目标评价值至预设图像评价模型中的总评价模型,输出图像的目标总评价值。
在一个实施例中,如图12所示,上述图像数据处理装置,还包括:
图像关联判断模块304,用于判断图像是否存在关联图像,图像和关联图像为原始图像的不同区域图像;
总目标评价值计算模块303还用于当图像存在关联图像时,将图像以及关联图像的子目标评价值,输入至总评价模型,得到原始图像的目标总评价值。
在一个实施例中,子目标评价值计算模块302具体用于通过各个子评价模型中的卷积层对输入数据进行卷积运算,得到卷积特征图,当卷积层为第一个卷积层时,输入数据为图像,当卷积层不是第一个卷积层时,输入数据包括卷积层之前的全部卷积层的输出特征图,当卷积层为最后一个卷积层时,输入卷积特征图至池化层,通过池化层的预设池化算法提取卷积特征图的图像特征,得到池化特征图,输入池化特征图至预测层,输出图像的各个子目标评价值。
图13示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110(或服务器120)。如图13所示,该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现图像评价模型生成方法和/或图像数据处理方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行图像数据处理方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图13中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的图像评价模型生成装置可以实现为一种计算机程序的形式,计算机程序可在如图13所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像数据处理装置的各个程序模块,比如,图7所示的训练数据获取模块201、子评价模块202、总评价模块203、差异度计算模块204、差异度判断模块205和模型生成模块206。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像评价模型生成方法中的步骤。
例如,图13所示的计算机设备可以通过如图11所示的图像评级模型生成装置中的训练数据获取模块201执行获取多个训练图像,各个训练图像携带标注信息,标注信息包括标注总评价值。计算机设备可以通过子评价模块202执行输入各个训练图像至第一图像评价模型中的子评价模型,通过各个子评价模型分别评价训练图像,输出各个训练图的多个子评价值。计算机设备可以通过总评价模块203执行输入各个训练图的子评价值至第一图像评价模型中的总评价模型,输出训练总评价值。计算机设备可以通过差异度计算模块204执行计算标注总评价值和训练总评价值的总差异度。计算机设备可以通过差异度判断模块205执行判断总差异度是否小于或等于预设总差异度阈值。计算机设备可以通过模型生成模块206执行当总差异度小于或等于预设总差异度阈值时,将第一图像评价模型作为目标图像评价模型。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:获取多个训练图像,各个训练图像携带标注信息,标注信息包括标注总评价值;输入各个训练图像至第一图像评价模型中的子评价模型,通过各个子评价模型分别评价训练图像,输出各个训练图的多个子评价值,输入各个训练图的子评价值至第一图像评价模型中的总评价模型,输出训练总评价值,计算标注总评价值和训练总评价值的总差异度,判断总差异度是否小于或等于预设总差异度阈值,当总差异度小于或等于预设总差异度阈值时,将第一图像评价模型作为目标图像评价模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:当总差异度大于预设总差异度阈值时,更新第一图像评价模型中总评价模型的模型参数总评价模型的模型参数,得到第二图像评价模型,输入各个训练图像至第二图像评价模型中的子评价模型,直至当得到的总差异度大于预设总差异度阈值时得到目标图像评价模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:当总差异度大于所述预设总差异度阈值时,更新第一图像评价模型中总评价模型的模型参数,得到第三图像评价模型;输入各个训练图的子评价值至第三图像评价模型中的总评价模型,直至当得到的总差异度大于预设总差异度阈值时得到目标图像评价模型。
在一个实施例中,标注信息包括多个子标注评价值,处理器执行计算机程序时还实现以下步骤:构建多个第一子评价模型,输入各个训练图像至各个第一子评价模型,输出训练图像对应的各个第一子评价模型的子训练评价值,计算各个第一子评价模型的子训练评价值,和对应的子标注评价值的子差异度,判断各个第一子评价模型的子差异度是否小于或等于对应的预设子差异度阈值,将第一子评价模型的子差异度小于或等于对应的预设子差异度阈值的第一子评价模型,作为第一图像评价模型中对应的子评价模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据第一子评价模型的子差异度大于对应的预设子差异度阈值的第一子评价模型的子差异度,更新第一子评价模型的模型参数,将更新了模型参数的第一子评价模型作为第二子评价模型,输入训练图像至各个第二子评价模型,输出训练图像对应的各个第二子评价模型的子训练评价值,直至得到第一图像评价模型中对应的全部的子评价模型。
在一个实施例中,子评价模型包括:失真评价模型、块效应评价模型、模糊评价模型和噪声评价模型。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:获取多个训练图像,各个训练图像携带标注信息,标注信息包括标注总评价值;输入各个训练图像至第一图像评价模型中的子评价模型,通过各个子评价模型分别评价训练图像,输出各个训练图的多个子评价值,输入各个训练图的子评价值至第一图像评价模型中的总评价模型,输出训练总评价值,计算标注总评价值和训练总评价值的总差异度,判断总差异度是否小于或等于预设总差异度阈值,当总差异度小于或等于预设总差异度阈值时,将第一图像评价模型作为目标图像评价模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:当总差异度大于预设总差异度阈值时,更新第一图像评价模型中总评价模型的模型参数总评价模型的模型参数,得到第二图像评价模型,输入各个训练图像至第二图像评价模型中的子评价模型,直至当得到的总差异度大于预设总差异度阈值时得到目标图像评价模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:当总差异度大于所述预设总差异度阈值时,更新第一图像评价模型中总评价模型的模型参数,得到第三图像评价模型;输入各个训练图的子评价值至第三图像评价模型中的总评价模型,直至当得到的总差异度大于预设总差异度阈值时得到目标图像评价模型。
在一个实施例中,标注信息包括多个子标注评价值,计算机程序被处理器执行时还实现以下步骤:构建多个第一子评价模型,输入各个训练图像至各个第一子评价模型,输出训练图像对应的各个第一子评价模型的子训练评价值,计算各个第一子评价模型的子训练评价值,和对应的子标注评价值的子差异度,判断各个第一子评价模型的子差异度是否小于或等于对应的预设子差异度阈值,将第一子评价模型的子差异度小于或等于对应的预设子差异度阈值的第一子评价模型,作为第一图像评价模型中对应的子评价模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据第一子评价模型的子差异度大于对应的预设子差异度阈值的第一子评价模型的子差异度,更新第一子评价模型的模型参数,将更新了模型参数的第一子评价模型作为第二子评价模型,输入训练图像至各个第二子评价模型,输出训练图像对应的各个第一子评价模型的子训练评价值,直至得到第一图像评价模型中对应的全部的子评价模型。
在一个实施例中,子评价模型包括:失真评价模型、块效应评价模型、模糊评价模型和噪声评价模型。
一个实施例中,本申请提供的图像数据处理装置可以实现为一种计算机程序的形式,计算机程序可在图11所示的数据输入模块301、子目标评价值计算模块302和目标评价值计算模块303。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像数据处理方法中的步骤。例如,图13所示的计算机设备可以通过如图11所示的图像数据处理装置中的数据输入模块301执行输入图像至预设图像评价模型中的子评价模型。计算机设备可以通过子目标评价值计算模块302执行通过各个子评价模型分别评价图像,输出图像对应的多个子目标评价值。计算机设备可以通过目标评价值计算模块303执行输入各个子目标评价值至预设图像评价模型中的总评价模型,输出图像的目标总评价值。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:输入图像至预设图像评价模型中的多个子评价模型,通过各个子评价模型分别评价图像,输出图像对应的多个子目标评价值,输入各个子目标评价值至预设图像评价模型中的总评价模型,输出图像的目标总评价值
在一个实施例中,处理器执行计算机程序时还实现以下步骤:判断图像是否存在关联图像,图像和关联图像为原始图像的不同区域图像,当图像存在关联图像时,将图像以及关联图像的子目标评价值,输入至总评价模型,得到原始图像的目标总评价值。
在一个实施例中,每个子评价模型包括至少一个卷积层、池化层和预测层,通过各个子评价模型对图像进行评价,输出图像对应的多个子目标评价值,包括:通过各个子评价模型中的卷积层对输入数据进行卷积运算,得到卷积特征图,当卷积层为第一个卷积层时,输入数据为图像,当卷积层不是第一个卷积层时,输入数据包括卷积层之前的全部卷积层的输出特征图,当卷积层为最后一个卷积层时,输入卷积特征图至池化层,通过池化层的预设池化算法提取卷积特征图的图像特征,得到池化特征图,输入池化特征图至预测层,输出图像的各个子目标评价值。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:输入图像至预设图像评价模型中的多个子评价模型,通过各个子评价模型分别评价图像,输出图像对应的多个子目标评价值,输入各个子目标评价值至预设图像评价模型中的总评价模型,输出图像的目标总评价值
在一个实施例中,处理器执行计算机程序时还实现以下步骤:判断图像是否存在关联图像,图像和关联图像为原始图像的不同区域图像,当图像存在关联图像时,将图像以及关联图像的子目标评价值,输入至总评价模型,得到原始图像的目标总评价值。
在一个实施例中,每个子评价模型包括至少一个卷积层、池化层和预测层,通过各个子评价模型对图像进行评价,输出图像对应的多个子目标评价值,包括:通过各个子评价模型中的卷积层对输入数据进行卷积运算,得到卷积特征图,当卷积层为第一个卷积层时,输入数据为图像,当卷积层不是第一个卷积层时,输入数据包括卷积层之前的全部卷积层的输出特征图,当卷积层为最后一个卷积层时,输入卷积特征图至池化层,通过池化层的预设池化算法提取卷积特征图的图像特征,得到池化特征图,输入池化特征图至预测层,输出图像的各个子目标评价值。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (13)

1.一种图像评价模型生成方法,其特征在于,所述方法包括:
获取多个训练图像,各个所述训练图像携带标注信息,所述标注信息包括标注总评价值;
输入各个所述训练图像至第一图像评价模型中的子评价模型;
通过各个所述子评价模型分别评价所述训练图像,输出各个所述训练图的多个子评价值;
输入各个所述训练图的子评价值至所述第一图像评价模型中的总评价模型,输出训练总评价值;
计算所述标注总评价值和所述训练总评价值的总差异度;
判断所述总差异度是否小于或等于预设总差异度阈值;
当所述总差异度小于或等于预设总差异度阈值时,将所述第一图像评价模型作为所述目标图像评价模型。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述总差异度大于所述预设总差异度阈值时,更新所述第一图像评价模型中总评价模型的模型参数,得到第二图像评价模型;
输入各个所述训练图像至所述第二图像评价模型中的子评价模型,直至当得到的总差异度大于预设总差异度阈值时得到目标图像评价模型。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述总差异度大于所述预设总差异度阈值时,更新所述第一图像评价模型中总评价模型的模型参数,得到第三图像评价模型;
输入各个所述训练图的子评价值至所述第三图像评价模型中的总评价模型,直至当得到的总差异度大于预设总差异度阈值时得到目标图像评价模型。
4.根据权利要求1所述的方法,其特征在于,所述标注信息包括多个子标注评价值,所述获取多个训练图像之前,所述方法还包括:
构建多个第一子评价模型;
输入各个所述训练图像至各个所述第一子评价模型,输出所述训练图像对应的各个所述第一子评价模型的子训练评价值;
计算各个所述第一子评价模型的子训练评价值,和对应的子标注评价值的子差异度;
判断各个所述第一子评价模型的子差异度是否小于或等于对应的预设子差异度阈值;
将所述第一子评价模型的子差异度小于或等于对应的预设子差异度阈值的所述第一子评价模型,作为所述第一图像评价模型中对应的子评价模型。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
根据所述第一子评价模型的子差异度大于对应的预设子差异度阈值的所述第一子评价模型的子差异度,更新所述第一子评价模型的模型参数;
将更新了模型参数的第一子评价模型作为第二子评价模型,输入所述训练图像至各个所述第二子评价模块,输出所述训练图像对应的各个所述第二子评价模型的子训练评价值,直至得到所述第一图像评价模型中对应的全部的子评价模型。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述子评价模型包括:失真评价模型、块效应评价模型、模糊评价模型和噪声评价模型。
7.一种图像数据处理方法,其特征在于,所述方法包括:
输入图像至预设图像评价模型中的多个子评价模型;
通过各个所述子评价模型分别评价所述图像,输出所述图像对应的多个子目标评价值;
输入各个所述子目标评价值至所述预设图像评价模型中的总评价模型,输出所述图像的目标总评价值。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
判断所述图像是否存在关联图像,所述图像和所述关联图像为原始图像的不同区域图像;
当所述图像存在关联图像时,将所述图像以及关联图像的子目标评价值,输入至所述总评价模型,得到所述原始图像的目标总评价值。
9.根据权利要求7所述的方法,其特征在于,每个所述子评价模型包括至少一个卷积层、池化层和预测层,所述通过各个所述子评价模型对所述图像进行评价,得到所述图像对应的多个子目标评价值,包括:
通过各个所述子评价模型中的卷积层对输入数据进行卷积运算,得到卷积特征图,当所述卷积层为第一个卷积层时,所述输入数据为所述图像,当所述卷积层不是第一个卷积层时,所述输入数据包括所述卷积层之前的全部卷积层的输出特征图;
当所述卷积层为最后一个卷积层时,输入所述卷积特征图至所述池化层;
通过所述池化层的预设池化算法提取所述卷积特征图的图像特征,得到池化特征图;
输入所述池化特征图至所述预测层,输出所述图像的各个所述子目标评价值。
10.一种图像评价模型生成装置,其特征在于,所述装置包括:
训练数据获取模块,用于获取多个训练图像,各个所述训练图像携带标注信息,所述标注信息包括标注总评价值;
子评价模块,用于输入各个所述训练图像至第一图像评价模型中的子评价模型,通过各个所述子评价模型分别评价所述训练图像,输出各个所述训练图的多个子评价值;
总评价模块,用于输入各个所述训练图的子评价值至所述第一图像评价模型中的第一总评价模型,输出训练总评价值;
差异度计算模块,用于计算所述标注总评价值和所述训练总评价值的总差异度;
差异度拍的面孔,用于判断所述总差异度是否小于或等于预设总差异度阈值;
模型生成模块,用于当所述总差异度小于或等于预设总差异度阈值时,将第一图像评价模型作为目标图像评价模型。
11.一种图像数据处理装置,其特征在于,所述装置包括:
数据输入模块,用于输入图像至预设图像评价模型中的子评价模型;
子目标评价值计算模块,用于通过各个所述子评价模型分别评价所述图像,输出所述图像对应的多个子目标评价值;
总目标评价值计算模块,用于输入各个所述子目标评价值至所述预设图像评价模型中的总评价模型,输出所述图像的目标总评价值。
12.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述方法的步骤。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
CN201910626635.5A 2019-07-11 2019-07-11 图像评价模型生成方法、图像数据处理方法、装置、计算机设备和存储介质 Pending CN110378883A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910626635.5A CN110378883A (zh) 2019-07-11 2019-07-11 图像评价模型生成方法、图像数据处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910626635.5A CN110378883A (zh) 2019-07-11 2019-07-11 图像评价模型生成方法、图像数据处理方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN110378883A true CN110378883A (zh) 2019-10-25

Family

ID=68252757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910626635.5A Pending CN110378883A (zh) 2019-07-11 2019-07-11 图像评价模型生成方法、图像数据处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110378883A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807769A (zh) * 2019-10-30 2020-02-18 腾讯科技(深圳)有限公司 图像显示控制方法及装置
CN114862819A (zh) * 2022-05-24 2022-08-05 深圳大学 基于非对称网络的图像质量评价方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446651A (zh) * 2018-03-27 2018-08-24 百度在线网络技术(北京)有限公司 人脸识别方法和装置
CN108510485A (zh) * 2018-03-27 2018-09-07 福州大学 一种基于卷积神经网络的无参照图像质量评估方法
CN108960087A (zh) * 2018-06-20 2018-12-07 中国科学院重庆绿色智能技术研究院 一种基于多维度评估标准的人脸图像质量评估方法及系统
CN109215028A (zh) * 2018-11-06 2019-01-15 福州大学 一种基于卷积神经网络的多目标优化图像质量评估方法
CN109272499A (zh) * 2018-09-25 2019-01-25 西安电子科技大学 基于卷积自编码网络的无参考图像质量评价方法
CN109685785A (zh) * 2018-12-20 2019-04-26 上海众源网络有限公司 一种图像质量评估方法、装置及电子设备
CN109961434A (zh) * 2019-03-30 2019-07-02 西安电子科技大学 面向层级语义衰减的无参考图像质量评价方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446651A (zh) * 2018-03-27 2018-08-24 百度在线网络技术(北京)有限公司 人脸识别方法和装置
CN108510485A (zh) * 2018-03-27 2018-09-07 福州大学 一种基于卷积神经网络的无参照图像质量评估方法
CN108960087A (zh) * 2018-06-20 2018-12-07 中国科学院重庆绿色智能技术研究院 一种基于多维度评估标准的人脸图像质量评估方法及系统
CN109272499A (zh) * 2018-09-25 2019-01-25 西安电子科技大学 基于卷积自编码网络的无参考图像质量评价方法
CN109215028A (zh) * 2018-11-06 2019-01-15 福州大学 一种基于卷积神经网络的多目标优化图像质量评估方法
CN109685785A (zh) * 2018-12-20 2019-04-26 上海众源网络有限公司 一种图像质量评估方法、装置及电子设备
CN109961434A (zh) * 2019-03-30 2019-07-02 西安电子科技大学 面向层级语义衰减的无参考图像质量评价方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807769A (zh) * 2019-10-30 2020-02-18 腾讯科技(深圳)有限公司 图像显示控制方法及装置
CN110807769B (zh) * 2019-10-30 2021-12-14 腾讯科技(深圳)有限公司 图像显示控制方法及装置
CN114862819A (zh) * 2022-05-24 2022-08-05 深圳大学 基于非对称网络的图像质量评价方法、装置、设备及介质
CN114862819B (zh) * 2022-05-24 2023-02-03 深圳大学 基于非对称网络的图像质量评价方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN109002861A (zh) 联邦建模方法、设备及存储介质
CN110377814A (zh) 题目推荐方法、装置及介质
CN110046304A (zh) 一种用户推荐方法和装置
CN108961279A (zh) 图像处理方法、装置及移动终端
Al-Fattah et al. Predicting natural gas production using artificial neural network
Zhang et al. Testing for common trends in semi‐parametric panel data models with fixed effects
CN109598340A (zh) 卷积神经网络的裁剪方法、装置及存储介质
Chen et al. A self-adaptive Armijo stepsize strategy with application to traffic assignment models and algorithms
CN110245132A (zh) 数据异常检测方法、装置、计算机可读存储介质和计算机设备
WO2022116862A1 (zh) 信息推送方法和系统、模型训练方法及相关设备
CN110378883A (zh) 图像评价模型生成方法、图像数据处理方法、装置、计算机设备和存储介质
He et al. What matters for regional industrial dynamics in a transitional economy?
CN111563810A (zh) 信贷风控模型生成方法、信用评估方法、系统、机器可读介质及设备
Fithian et al. Semiparametric exponential families for heavy-tailed data
CN109598285A (zh) 一种模型的处理方法、装置及设备
CN113239985B (zh) 一种面向分布式小规模医疗数据集的分类检测方法
Zanfei et al. How does missing data imputation affect the forecasting of urban water demand?
Al-Fattah et al. Neural network approach predicts US natural gas production
CN107729424A (zh) 一种数据可视化方法及设备
Nosratipour et al. An adaptive nonmonotone global Barzilai–Borwein gradient method for unconstrained optimization
Bigi et al. Combining approximation and exact penalty in hierarchical programming
Waller Fungible correlation matrices: A method for generating nonsingular, singular, and improper correlation matrices for Monte Carlo research
Weiser On goal-oriented adaptivity for elliptic optimal control problems
CN115438755A (zh) 分类模型的增量训练方法、装置和计算机设备
Antczak Parametric saddle point criteria in semi-infinite minimax fractional programming problems under (p, r)-invexity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191025