CN114936998A - 模型优化方法、装置、设备、存储介质及计算机程序产品 - Google Patents

模型优化方法、装置、设备、存储介质及计算机程序产品 Download PDF

Info

Publication number
CN114936998A
CN114936998A CN202210262876.8A CN202210262876A CN114936998A CN 114936998 A CN114936998 A CN 114936998A CN 202210262876 A CN202210262876 A CN 202210262876A CN 114936998 A CN114936998 A CN 114936998A
Authority
CN
China
Prior art keywords
image
loss value
value calculation
model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210262876.8A
Other languages
English (en)
Other versions
CN114936998B (zh
Inventor
张博深
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210262876.8A priority Critical patent/CN114936998B/zh
Publication of CN114936998A publication Critical patent/CN114936998A/zh
Application granted granted Critical
Publication of CN114936998B publication Critical patent/CN114936998B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例公开了一种模型优化方法、装置、设备、存储介质及计算机程序产品，其中模型优化方法包括：分别按照一个或多个损失值计算指标所对应的图像处理任务对训练图像进行图像处理，得到训练图像在每个损失值计算指标下的一个或多个图像；分别调用图像预测模型对每个损失值计算指标下的各个图像进行特征提取，得到每个损失值计算指标下的各个图像的图像特征；分别根据每个损失值计算指标下的各个图像特征，计算训练图像在每个损失值计算指标下的损失值，以得到图像预测模型的模型损失值；按照减小模型损失值的方向，优化图像预测模型中的模型参数，以构建图像分类模型。本申请实施例可构建模型性能较好的图像分类模型。

Description

模型优化方法、装置、设备、存储介质及计算机程序产品
技术领域
本申请涉及计算机技术领域，尤其涉及一种模型优化方法、装置、设备、存储介质及计算机程序产品。
背景技术
目前，在对任一图像进行图像分类之前，通常可基于训练样本集对图像分类模型中的特征提取模块进行训练，以通过训练后的图像分类模型来对该任一图像进行特征提取，并采用提取出的图像特征来进行类别预测。但在对特征提取模块进行训练的过程中，现有技术通常基于训练样本集中各样本图像的人工标注信息与相应的预测信息之间的差异，来训练特征提取模块；由于人工标注信息具有主观性，导致训练样本集中的各样本图像的人工标注信息带有噪声，使得基于人工标注信息训练得到的特征提取模块的模型性能较低，进而导致图像分类模型的模型性能较低。基于此，如何提升特征提取模块的模型性能，进而提高图像分类模型的模型性能成为一个研究热点。
发明内容
本申请实施例提供了一种模型优化方法、装置、设备、存储介质及计算机程序产品，可以提升图像预测模型的模型性能，以构建模型性能较好的图像分类模型，也就是说，本申请实施例可以提升图像分类模型的模型性能。
一方面，本申请实施例提供了一种模型优化方法，所述方法包括：
获取训练图像，并分别按照一个或多个损失值计算指标所对应的图像处理任务对所述训练图像进行图像处理，得到所述训练图像在每个损失值计算指标下的一个或多个图像；
分别调用图像预测模型对所述每个损失值计算指标下的各个图像进行特征提取，得到所述每个损失值计算指标下的各个图像的图像特征；
分别根据所述每个损失值计算指标下的各个图像特征，计算所述训练图像在所述每个损失值计算指标下的损失值；并对所述训练图像在所述一个或多个损失值计算指标下的损失值进行融合处理，得到所述图像预测模型的模型损失值；
按照减小所述模型损失值的方向，优化所述图像预测模型中的模型参数，以构建图像分类模型。
另一方面，本申请实施例提供了一种模型优化装置，所述装置包括：
获取单元，用于获取训练图像；
处理单元，用于分别按照一个或多个损失值计算指标所对应的图像处理任务对所述训练图像进行图像处理，得到所述训练图像在每个损失值计算指标下的一个或多个图像；
所述处理单元，还用于分别调用图像预测模型对所述每个损失值计算指标下的各个图像进行特征提取，得到所述每个损失值计算指标下的各个图像的图像特征；
所述处理单元，还用于分别根据所述每个损失值计算指标下的各个图像特征，计算所述训练图像在所述每个损失值计算指标下的损失值；并对所述训练图像在所述一个或多个损失值计算指标下的损失值进行融合处理，得到所述图像预测模型的模型损失值；
所述处理单元，还用于按照减小所述模型损失值的方向，优化所述图像预测模型中的模型参数，以构建图像分类模型。
再一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器、存储器，其中，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现如下步骤：
获取训练图像，并分别按照一个或多个损失值计算指标所对应的图像处理任务对所述训练图像进行图像处理，得到所述训练图像在每个损失值计算指标下的一个或多个图像；
分别调用图像预测模型对所述每个损失值计算指标下的各个图像进行特征提取，得到所述每个损失值计算指标下的各个图像的图像特征；
分别根据所述每个损失值计算指标下的各个图像特征，计算所述训练图像在所述每个损失值计算指标下的损失值；并对所述训练图像在所述一个或多个损失值计算指标下的损失值进行融合处理，得到所述图像预测模型的模型损失值；
按照减小所述模型损失值的方向，优化所述图像预测模型中的模型参数，以构建图像分类模型。
再一方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序适于由处理器加载并执行如下步骤：
获取训练图像，并分别按照一个或多个损失值计算指标所对应的图像处理任务对所述训练图像进行图像处理，得到所述训练图像在每个损失值计算指标下的一个或多个图像；
分别调用图像预测模型对所述每个损失值计算指标下的各个图像进行特征提取，得到所述每个损失值计算指标下的各个图像的图像特征；
分别根据所述每个损失值计算指标下的各个图像特征，计算所述训练图像在所述每个损失值计算指标下的损失值；并对所述训练图像在所述一个或多个损失值计算指标下的损失值进行融合处理，得到所述图像预测模型的模型损失值；
按照减小所述模型损失值的方向，优化所述图像预测模型中的模型参数，以构建图像分类模型。
再一方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述所提及的模型优化方法。
本申请实施例在获取到训练图像后，可先分别按照一个或多个损失值计算指标所对应的图像处理任务对训练图像进行图像处理，得到训练图像在每个损失值计算指标下的一个或多个图像；然后，分别调用图像预测模型对每个损失值计算指标下的各个图像进行特征提取，得到每个损失值计算指标下的各个图像的图像特征，进而可分别根据每个损失值计算指标下的各个图像特征，计算训练图像在每个损失值计算指标下的损失值，以得到图像预测模型的模型损失值，从而按照减小模型损失值的方向，优化图像预测模型中的模型参数，以提升图像预测模型的模型性能，进而构建模型性能较好的图像分类模型，也就是说，本申请实施例可提高图像分类模型的模型性能。另外，本申请实施例在模型优化过程中未引入带有噪声的人工标注信息，可有效避免人工标签信息所带来的干扰，进而更好地对图像分类模型进行构建，使得构建出的图像分类模型能够输出更为精准的结果。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的一种模型优化方案的流程示意图；
图1b是本申请实施例提供的一种终端和服务器交互的示意图；
图2是本申请实施例提供的一种模型优化方法的流程示意图；
图3是本申请实施例提供的另一种模型优化方法的流程示意图；
图4是本申请实施例提供的又一种模型优化方法的流程示意图；
图5a是本申请实施例提供的一种花屏检测结果的示意图；
图5b是本申请实施例提供的另一种花屏检测结果的示意图；
图6是本申请实施例提供的一种模型优化装置的结构示意图；
图7是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
随着互联网技术的不断发展，人工智能(Artificial Intelligence，AI)技术也随之得到更好的发展。所谓的人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。而深度学习则是一种利用深层神经网络系统，进行机器学习的技术；机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
基于AI技术中的计算机视觉技术和机器学习/深度学习技术，本申请实施例提出了一种模型优化方法，以提升图像预测模型的模型性能，进而构建模型性能较好的图像分类模型。需要说明的是，本申请实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。
参见图1a所示，本申请实施例所提出的模型优化方案的大致原理如下：首先，可获取训练图像，并分别按照一个或多个损失值计算指标所对应的图像处理任务对训练图像进行图像处理，得到训练图像在每个损失值计算指标下的一个或多个图像。然后，可基于训练图像在每个损失值计算指标下的一个或多个图像，优化图像预测模型，以构建图像分类模型；具体的，可分别调用图像预测模型对每个损失值计算指标下的各个图像进行特征提取，得到每个损失值计算指标下的各个图像的图像特征；并分别根据每个损失值计算指标下的各个图像特征，计算训练图像在每个损失值计算指标下的损失值，从而对训练图像在一个或多个损失值计算指标下的损失值进行融合处理，得到图像预测模型的模型损失值，便可按照减小模型损失值的方向，优化图像预测模型中的模型参数，以构建图像分类模型。
经实践表明，本申请实施例提出的模型优化方案可至少具有如下几点有益效果：①可基于训练图像在每个损失值计算指标下的一个或多个图像，确定图像预测模型的模型损失值，进而通过模型损失值提升图像预测模型的模型性能，以构建模型性能较好的图像分类模型，提升图像分类模型的模型性能；②整个训练过程不需要人工标签的参与，可有效克服带有噪声的人工标签对模型训练造成的干扰。
在具体实现中，上述所提及的模型优化方案可由一个计算机设备执行，该计算机设备可以是终端或者服务器；其中，此处所提及的终端可以包括但不限于：手机、电脑、智能手表、智能语音交互设备、智能家电、车载终端、飞行器等；终端内可运行各式各样的客户端(application，APP)，如视频播放客户端、社交客户端、浏览器客户端、信息流客户端、教育客户端，等等。此处所提及的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算(cloudcomputing)、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器，等等。并且，本申请实施例所提及的计算机设备可以位于区块链网络外，也可以位于区块链网络内，对此不作限定；所谓的区块链网络是一种由点对点网络(P2P网络)和区块链所构成的网络，而区块链则是指一种分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式，其本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块(或称为区块)。
或者，在其他实施例中，上述所提及的模型优化方案也可由服务器和终端共同执行；终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。例如：可由终端负责获取训练图像，并确定训练图像在每个损失值计算指标下的一个或多个图像，进而将训练图像在每个损失值计算指标下的一个或多个图像发送至服务器；使得服务器可基于训练图像在每个损失值计算指标下的一个或多个图像，优化图像预测模型，以构建图像分类模型，如图1b所示。又如，可由终端获取训练图像，并将训练图像发送至服务器；使得服务器可确定训练图像在每个损失值计算指标下的一个或多个图像，进而基于训练图像在每个损失值计算指标下的一个或多个图像，计算图像预测模型的模型损失值，并将图像预测模型的模型损失值发送至终端；进一步的，再由终端按照减小模型损失值的方向，优化图像预测模型中的模型参数，以构建图像分类模型。应当理解的是，此处只是示例性地阐述了终端和服务器共同执行上述模型优化方案的两种情况，并非穷举。
基于上述模型优化方案的相关描述，本申请实施例提出一种模型优化方法，该模型优化方法可以由上述所提及的计算机设备(终端或服务器)执行；或者，该模型优化方法可由终端和服务器共同执行。为便于阐述，后续均以计算机设备执行该模型优化方法为例进行说明；请参见图2，该模型优化方法可包括以下步骤S201-S204：
S201，获取训练图像，并分别按照一个或多个损失值计算指标所对应的图像处理任务对训练图像进行图像处理，得到训练图像在每个损失值计算指标下的一个或多个图像。
在本申请实施例中，上述一个或多个损失值计算指标包括但不限于：一致性损失值计算指标和角度预测损失值计算指标，等等；也就是说，一个或多个损失值计算指标可以包括一致性损失值计算指标，也可以包括角度预测损失值计算指标，还可以包括一致性损失值计算指标和角度预测损失值计算指标等，本申请对此不做限制。
需要说明的是，上述训练图像的获取方式包括但不限于以下几种：
第一种获取方式：计算机设备可以先获取图像下载链接，再根据该图像下载链接进行图像下载；若该图像下载链接所对应的图像的数量为1，则将下载的图像作为训练图像；若该图像下载链接所对应的图像的数量大于1，则可从下载的图像中选取一个图像作为训练图像。或者，计算机设备可在存储的一个或多个图像中选取一个图像，并将选取的图像作为训练图像。
第二种获取方式：计算机设备可配置有拍摄组件，那么计算机设备可通过该拍摄组件在环境中采集图像，并将采集的图像作为训练图像。
第三种获取方式：计算机设备可先获取任一视频数据，并在该任一视频数据中提取一帧图像，进而将提取出的图像作为训练图像。
应当理解的是，上述训练图像为训练图像集中的任一图像，那么相应的，计算机设备可采用训练图像集中的各个图像，对图像预测模型进行模型优化，以构建图像分类模型；也就是说，计算机设备可将训练图像集中的每个图像均作为上述训练图像。其中，训练图像集可以包括下载的图像中的至少一个图像，也可以包括采集的一个或多个图像，还可以包括一个或多个视频数据中的至少一帧图像，等等。
S202，分别调用图像预测模型对每个损失值计算指标下的各个图像进行特征提取，得到每个损失值计算指标下的各个图像的图像特征。
需要说明的是，图像预测模型可以指的是CNN(Convolutional Neural Networks，卷积神经网络)模型，也可以指的是ResNet(Residual Network，残差网络)模型，本申请对此不做限制；也就是说，本申请对图像预测模型的具体网络结构不做限制，如计算机设备可以使用较为成熟的CNN模型作为深度网络的结构，以进一步提升效果。
S203，分别根据每个损失值计算指标下的各个图像特征，计算训练图像在每个损失值计算指标下的损失值；并对训练图像在一个或多个损失值计算指标下的损失值进行融合处理，得到图像预测模型的模型损失值。
应当理解的是，计算机设备根据任一损失值计算指标下的各个图像特征，则可计算训练图像在该任一损失值计算指标下的损失值，即计算机设备可不引入带有噪声的人工标注信息，那么相应的，本申请所提出的模型优化方法是通过一种自监督的学习策略来对图像预测模型进行学习和鲁棒训练的过程。
需要说明的是，当训练图像为训练图像集中的任一图像时，计算机设备可采用训练图像集中的各个图像对图像预测模型进行模型训练，相应的，可对训练图像集中的各个图像在一个或多个损失值计算指标下的损失值进行融合处理，得到图像预测模型的模型损失值。
S204，按照减小模型损失值的方向，优化图像预测模型中的模型参数，以构建图像分类模型。
需要说明的是，本申请所提出的方法可应用于图像的花屏检测任务，在此种情况下，构建出的图像分类模型可用于对任一图像的花屏检测，即可通过图像分类模型来确定任一图像是否为花屏的检测结果(如花屏图像或正常图像)；或者，本申请所提出的方法还可应用于图像的清晰度检测任务，在此种情况下，构建出的图像分类模型可用于对任一图像的清晰度检测，即可通过图像分类模型来确定任一图像是否清晰的检测结果(如清晰图像或非清晰图像)，等等；本申请对此不做限制。其中，花屏检测是指对一个图像(即一张图片)进行是否存在花屏现象的检测，最终输出的结果可以是当前图像是花屏图像的概率值，即花屏置信度，进而可输出当前图像是否是花屏图像的二值结果；而清晰度检测是指对一个图像进行是否清晰的检测，最终输出的结果可以是指当前图像是清晰图像的概率值，等等。
本申请实施例在获取到训练图像后，可先分别按照一个或多个损失值计算指标所对应的图像处理任务对训练图像进行图像处理，得到训练图像在每个损失值计算指标下的一个或多个图像；然后，分别调用图像预测模型对每个损失值计算指标下的各个图像进行特征提取，得到每个损失值计算指标下的各个图像的图像特征，进而可分别根据每个损失值计算指标下的各个图像特征，计算训练图像在每个损失值计算指标下的损失值，以得到图像预测模型的模型损失值，从而按照减小模型损失值的方向，优化图像预测模型中的模型参数，以提升图像预测模型的模型性能，进而构建模型性能较好的图像分类模型，也就是说，本申请实施例可提高图像分类模型的模型性能。另外，本申请实施例在模型优化过程中未引入带有噪声的人工标注信息，可有效避免人工标签信息所带来的干扰，进而更好地对图像分类模型进行构建，使得构建出的图像分类模型能够输出更为精准的结果。
请参见图3，是本申请实施例提供的另一种模型优化方法的流程示意图。该模型优化方法可以由上述所提及的计算机设备(终端或服务器)执行；或者，该模型优化方法可由终端和服务器共同执行。为便于阐述，后续均以计算机设备执行该模型优化方法为例进行说明；请参见图3，该模型优化方法可包括以下步骤S301-S308：
S301，获取训练图像，并分别按照一个或多个损失值计算指标所对应的图像处理任务对训练图像进行图像处理，得到训练图像在每个损失值计算指标下的一个或多个图像。
在一种实施方式中，一个或多个损失值计算指标包括一致性损失值计算指标，且一致性损失值计算指标所对应的图像处理任务是指图像画质调整任务；那么相应的，计算机设备在分别按照一个或多个损失值计算指标所对应的图像处理任务对训练图像进行图像处理，得到训练图像在每个损失值计算指标下的一个或多个图像时，可按照图像画质调整任务对训练图像进行图像处理，以调整训练图像的一个或多个画质影响因素，得到训练图像在一致性损失值计算指标下的至少两个画质调整图像。
需要说明的是，上述一个或多个画质影响因素包括但不限于：光照、对比度以及饱和度，等等。其中，光照也可称为亮度，即图像的光照是指照射在图像上光线的明暗程度，图像的光照越大时，图像就会显得越耀眼或刺眼，而图像的光照越小时，图像就会显得越灰暗；对比度是指不同颜色之间的差别，对比度越大，不同颜色之间的反差越大，相应的，对比度越小，则不同颜色之间的反差越小；饱和度是指图像颜色的浓度，饱和度越高则颜色越饱满，相应的，饱和度越低则颜色就会显得越陈旧、灰暗，且当饱和度为0时，图像就为灰度图像。应当理解的是，本申请对按照图像画质调整任务对训练图像进行图像处理的具体方式不做限制；示例性的，本申请可通过光照、对比度以及饱和度等变化来实现数据增强的效果，但本申请对于无标签的数据采用的数据增强手段不局限于光照、对比度以及饱和度等变化，还可以采用更加复杂的数据增强手段来进一步提升效果。
另一种实施方式中，一个或多个损失值计算指标包括角度预测损失值计算指标，且角度预测损失值计算指标所对应的图像处理任务是指图像角度旋转任务；那么相应的，计算机设备在分别按照一个或多个损失值计算指标所对应的图像处理任务对训练图像进行图像处理，得到训练图像在每个损失值计算指标下的一个或多个图像时，可按照目标旋转角度对训练图像进行图像角度旋转处理，得到训练图像在角度预测损失值计算指标下的角度旋转图像。可选的，计算机设备可对训练图像进行角度旋转图像的标签构造，也就是说，计算机设备可将目标旋转角度作为角度旋转图像的角度标签，以便于后续基于角度旋转图像的角度标签来计算相应的损失值。
值得注意的是，上述目标旋转角度可以是计算机设备随机生成的旋转角度，也可以是预设的旋转角度，本申请对此不做限制。
应当理解的是，当一个或多个损失值计算指标包括一致性损失值计算指标和角度预测损失值计算指标时，计算机设备可按照图像画质调整任务对训练图像进行图像处理，得到训练图像在一致性损失值计算指标下的至少两个画质调整图像；并且，计算机设备可按照目标旋转角度对训练图像进行图像角度旋转处理，得到训练图像在角度预测损失值计算指标下的角度旋转图像。
S302，分别调用图像预测模型对每个损失值计算指标下的各个图像进行特征提取，得到每个损失值计算指标下的各个图像的图像特征。
需要说明的是，图像预测模型可以包括特征提取模块，也就是说，计算机设备可以分别调用图像预测模型中的特征提取模块，对每个损失值计算指标下的各个图像进行特征提取，得到每个损失值计算指标下的各个图像的图像特征。
可以理解的是，当一个或多个损失值计算指标包括一致性损失值计算指标时，计算机设备可调用图像预测模型对上述至少两个画质调整图像中的各个画质调整图像进行特征提取，得到至少两个画质调整图像中的各个画质调整图像的图像特征；当一个或多个损失值计算指标包括角度预测损失值计算指标时，计算机设备可调用图像预测模型对上述角度旋转图像进行特征提取，得到角度旋转图像的图像特征；当一个或多个损失值计算指标包括一致性损失值计算指标和角度预测损失值计算指标时，计算机设备可调用图像预测模型对至少两个画质调整图像中的各个画质调整图像进行特征提取，并调用图像预测模型对角度旋转图像进行特征提取，以得到至少两个画质调整图像中的各个画质调整图像的图像特征，以及角度旋转图像的图像特征。
S303，分别根据每个损失值计算指标下的各个图像特征，计算训练图像在每个损失值计算指标下的损失值；并对训练图像在所述一个或多个损失值计算指标下的损失值进行融合处理，得到图像预测模型的模型损失值。
在一种实施方式中，当一个或多个损失值计算指标包括一致性损失值计算指标时，计算机设备可对至少两个画质调整图像中各个画质调整图像的图像特征进行类别置信度估计处理，得到各个画质调整图像的类别置信度；并根据至少两个画质调整图像的类别置信度中每两个类别置信度之间的差异，计算每两个类别置信度对应的两个画质调整图像之间的损失值；基于此，可对至少两个画质调整图像中每两个画质调整图像之间的损失值进行融合处理，得到训练图像在一致性损失值计算指标下的损失值。
可以理解的是，本申请所提出的方法在应用于花屏检测任务时，上述类别置信度可以是花屏置信度，也可以是正常置信度，即非花屏置信度，本申请对此不做限制；相应的，若类别置信度为花屏置信度，则计算机设备可以根据至少两个画质调整图像的花屏置信度中每两个花屏置信度之间的差异，计算每两个花屏置信度对应的两个画质调整图像之间的损失值；若类别置信度为正常置信度，则计算机设备可以根据至少两个画质调整图像的正常置信度中每两个正常置信度之间的差异，计算每两个正常置信度对应的两个画质调整图像之间的损失值，等等。
进一步的，假设上述至少两个画质调整图像的数量为N，N为大于1的整数，也就是说，当一个或多个损失值计算指标包括一致性损失值计算指标时，计算机设备可对训练图像进行N次随机的画质调整(包括但不限于光照、对比度以及饱和度等变换)，得到N个画质调整图像(如x1，x2，...，xN)；相应的，计算机设备可将这N个画质调整图像输入图像预测模型(即输入图像预测模型中的特征提取模块)，以提取各个画质调整图像的图像特征，进而得到各个画质调整图像的类别置信度(如p1、p2...pN)，且该类别置信度也可称为概率输出或概率值；在此种情况下，计算机设备可采用N个画质调整图像的类别置信度计算一致性损失值，即计算训练图像在一致性损失值计算指标下的损失值；具体的，计算机设备可对N个画质调整图像中每两个画质调整图像之间的损失值进行融合处理，得到训练图像在一致性损失值计算指标下的损失值；基于此，训练图像在一致性损失值计算指标下的损失值(即一致性损失值)的计算方式可采用下述公式1.1进行表示：
Figure BDA0003551316020000121
其中，i∈[1，N]，j∈[1，N]，且pi用于表示第i个画质调整图像的类别置信度，pj用于表示第j个画质调整图像的类别置信度；可以理解的是，该项损失是用来约束N个画质调整图像对应的图像特征之间的相似性的，这是由于对训练图像进行一些轻微的颜色扰动等处理所生成的N个画质调整图像对应的图像特征分布应该是接近的，则对各个画质调整图像的图像特征进行类别置信度估计处理，得到的各个画质调整图像的类别置信度应该是接近的，故计算机设备可基于各个画质调整图像的类别置信度来确定训练图像在一致性损失值计算指标下的损失值。
另一种实施方式中，当一个或多个损失值计算指标包括角度预测损失值计算指标时，计算机设备可对角度旋转图像的图像特征进行旋转角度预测处理，得到角度旋转图像相对训练图像的预测旋转角度；从而根据预测旋转角度与目标旋转角度之间的差异，计算训练图像在角度预测损失值计算指标下的损失值。
相应的，计算机设备在对角度旋转图像进行特征提取后，可引入额外的辅助分支对角度旋转图像的旋转角度进行预测，也就是说，可对网络结构(即图像预测模型)进行较小的修改，引入一个全连接层用于对角度旋转图像的角度进行预测，即引入一个全连接层对角度旋转图像的图像特征进行旋转角度预测处理；基于此，训练图像在角度预测损失值计算指标下的损失值(即角度预测损失值)的计算方式可采用下述公式1.2进行表示：
Lθ(xθ)＝||f(xθ,α)-θ|| 式1.2
其中，θ用于表示目标旋转角度，即计算机设备可先对训练图像进行目标旋转角度θ的角度旋转图像xθ的构造，进而对角度旋转图像进行旋转角度预测处理，且上述f(xθ,α)用于表示图像预测模型对角度旋转图像进行的旋转角度预测处理，即可用于表示角度旋转图像相对训练图像的预测旋转角度，且α为用于计算预测旋转角度的预测参数，本申请对预测参数的具体取值不做限制。
进一步的，一个或多个损失值计算指标可包括一致性损失值计算指标和角度预测损失值计算指标。在此种情况下，计算机设备可基于至少两个画质调整图像确定训练图像在一致性损失值计算指标下的损失值，并基于角度旋转图像确定训练图像在角度预测损失值计算指标下的损失值。那么相应的，计算机设备可对训练图像在一个或多个损失值计算指标下的损失值进行融合处理，得到图像预测模型的模型损失值；也就是说，计算机设备可对训练图像在一致性损失值计算指标下的损失值和训练图像在角度预测损失值计算指标下的损失值进行融合处理，得到图像预测模型的模型损失值。基于此，图像预测模型的模型损失值的计算方式可采用下述公式1.3进行表示：
L＝Lθ+βLe 式1.3
其中，β用于控制对应的两项损失函数的权重，即用于控制训练图像在一致性损失值计算指标下的损失值，和训练图像在角度预测损失值计算指标下的损失值的权重；并且，β可根据实际需求或者经验值设置，本申请对此不做限制。在此种情况下，计算机设备可基于训练图像在一致性损失值计算指标下的损失值对图像预测模型中的特征提取模块进行监督，并基于训练图像在角度预测损失值计算指标下的损失值对图像预测模型中的特征提取模块进行进一步的监督。
例如，如图4所示，当一个或多个损失值计算指标包括一致性损失值计算指标和角度预测损失值计算指标时，计算机设备可构造一致性损失值和角度预测损失值对应的两个损失函数分支。在此种情况下，计算机设备可通过第一个分支，按照图像画质调整任务对训练图像进行N次图像处理，即可对训练图像进行N次图像画质调整处理，得到N个画质调整图像，并可将这N个画质调整图像输入图像预测模型(即深度模型)中进行特征提取，进而得到N个画质调整图像的类别置信度；其中，本申请实施例采用线条深浅程度来表示图像的画质，也就是说，若图像的线条较深则图像的画质较强(如光照较强等)，若图像的线条较浅则图像的画质较弱(如光照较弱等)。那么相应的，计算机设备可通过第二个分支，按照目标旋转角度对训练图像进行图像角度旋转处理(即角度标签构造处理)，也就是说，计算机设备对训练图像进行旋转，得到角度旋转图像，并将目标旋转角度作为角度旋转图像的角度标签，并可将角度旋转图像输入图像预测模型中进行特征提取，进而得到角度旋转图像的预测旋转角度PR。基于此，计算机设备可采用N个画质调整图像的类别置信度，计算训练图像在一致性损失值计算指标下的损失值(即一致性损失值)；并采用预测旋转角度，计算训练图像在角度预测损失值计算指标下的损失值(即角度预测损失值)，从而基于一致性损失值和角度预测损失值确定图像预测模型的模型损失值。
需要说明的是，图4仅示例性地表示了模型损失值的计算方式，本申请对此不做限制；例如，计算机设备也可仅采用一致性损失值来确定模型损失值，即一个或多个损失值计算指标可仅包括一致性损失值计算指标；又如，计算机设备也可仅采用角度预测损失值来确定模型损失值，即一个或多个损失值计算指标可仅包括角度预测损失值；再如，计算机设备还可采用一致性损失值、角度预测损失值以及平移预测损失值来确定模型损失值，即一个或多个损失值计算指标可包括一致性损失值计算指标、角度预测损失值计算指标以及平移预测损失值计算指标，等等。应当理解的是，图像预测模型在对任一图像进行特征提取时所涉及的模型参数相同，且计算机设备可根据实际需求调用图像预测模型中的相应结构进行预测，以得到相应的类别置信度或相应的预测旋转角度等。
S304，按照减小模型损失值的方向，优化图像预测模型中的模型参数，以构建图像分类模型。
具体的，图像预测模型可包括特征提取模块；计算机设备在按照减小模型损失值的方向，优化图像预测模型中的模型参数，以构建图像分类模型时，可按照减小模型损失值的方向，优化图像预测模型中的特征提取模块的模型参数，以构建图像分类模型；其中，图像分类模型包括优化后的特征提取模块。
S305，调用图像分类模型对目标图像进行特征提取，得到目标图像的图像特征。
其中，目标图像(即测试图像)可以指的是需要进行类别预测的任一图像；例如，在花屏检测任务中，若计算机设备要对至少一个图像进行花屏检测，则计算机设备可将至少一个图像中的每个图像均作为目标图像。可以理解的是，计算机设备也可从任一视频数据中获取一帧或多帧图像，并将一帧或多帧图像中的每帧图像均作为目标图像，在此种情况下，计算机设备可基于一帧或多帧图像中的每帧图像的检测结果，对该任一视频数据的视频质量进行评估，得到该任一视频数据的视频质量评估结果；例如，若针对花屏检测任务，则计算机设备可以确定一帧或多帧图像中的花屏图像的数量，进而根据一帧或多帧图像中的花屏图像的数量与花屏图像阈值之间的大小关系，确定该任一视频数据的视频质量评估结果(如花屏视频数据或正常视频数据)，该花屏图像阈值可以是按照需求或者经验值设置的，本申请对此不做限制。
可以理解的是，由于图像分类模型包括优化后的特征提取模块，也就是说，计算机设备可调用优化后的特征提取模块对目标图像进行特征提取，得到目标图像的图像特征。
S306，将目标图像的图像特征与第一类别对应的聚类中心特征进行比对，得到第一相似度。
需要说明的是，图像分类模型还可以包括类别确定模块，也就是说，在得到目标图像的图像特征后，可调用类别确定模块以确定目标图像的类别，等等。在此种情况下，计算机设备可调用图像分类模型中的类别确定模块，将目标图像的图像特征与第一类别对应的聚类中心特征进行比对，得到第一相似度。
可以理解的是，在得到优化后的特征提取模块(即训练完成之后的特征提取器)后，计算机设备可对训练样本集中的各个样本图像进行特征提取，得到各个样本图像的图像特征，并对各个样本图像的图像特征进行聚类分析处理，得到至少两个聚类中心特征；具体的，计算机设备可对各个样本图像的图像特征进行聚类分析处理，得到至少两个聚类簇，进而对各个聚类簇中包括的至少一个样本图像的图像特征进行均值运算，得到各个聚类簇的聚类中心特征。其中，至少两个聚类中心特征的数量为分类数量，该分类数量可以是按照实际需求或者经验值设置的，本申请对此不做限制；例如，当分类数量为2时，计算机设备可对各个样本图像的图像特征进行聚类分析处理，得到两个聚类中心特征(即第一类别对应的聚类中心特征和第二类别对应的聚类中心特征)。
相应的，若第一类别对应的聚类中心特征，以及第二类别对应的聚类中心特征是通过图像分类模型所得到的；则计算机设备可调用图像分类模型对训练样本集中的各个样本图像进特征提取，得到各个样本图像的图像特征；并对各个样本图像的图像特征进行聚类分析处理，得到第一类别对应的聚类中心特征，以及第二类别对应的聚类中心特征。
进一步的，计算机设备在将目标图像的图像特征与第一类别对应的聚类中心特征进行比对，得到第一相似度时，可计算目标图像的图像特征与第一类别对应的聚类中心特征之间的余弦相似度，并将目标图像的图像特征与第一类别对应的聚类中心特征之间的余弦相似度作为第一相似度；也可计算目标图像的图像特征与第一类别对应的聚类中心特征之间的欧几里得距离，并将目标图像的图像特征与第一类别对应的聚类中心特征之间的欧几里得距离作为第一相似度，等等；本申请对目标图像的图像特征与第一类别对应的聚类中心特征进行比对的具体实施方式不做限制。
S307，将目标图像的图像特征与第二类别对应的聚类中心特征进行比对，得到第二相似度。
相应的，计算机设备可计算目标图像的图像特征与第二类别对应的聚类中心特征之间的余弦相似度，并将目标图像的图像特征与第二类别对应的聚类中心特征之间的余弦相似度作为第二相似度；也可计算目标图像的图像特征与第二类别对应的聚类中心特征之间的欧几里得距离，并将目标图像的图像特征与第二类别对应的聚类中心特征之间的欧几里得距离作为第二相似度，等等；本申请对目标图像的图像特征与第二类别对应的聚类中心特征进行比对的具体实施方式不做限制。
应当理解的是，第二相似度所对应的度量方式与第一相似度所对应的度量方式相同，也就是说，计算机设备可将目标图像的图像特征与第一类别对应的聚类中心特征之间的余弦相似度作为第一相似度，并将目标图像的图像特征与第二类别对应的聚类中心特征之间的余弦相似度作为第二相似度；或者，计算机设备可将目标图像的图像特征与第一类别对应的聚类中心特征之间的欧几里得距离作为第一相似度，并将目标图像的图像特征与第二类别对应的聚类中心特征之间的欧几里得距离作为第二相似度，等等。
S308，基于第一相似度和第二相似度，确定目标图像的类别。
在一种实施方式中，计算机设备可根据第一相似度和第二相似度之间的大小关系，确定目标图像的类别。具体的，若第一相似度小于或等于第二相似度，则计算机设备可确定目标图像的类别为第一类别；若第一相似度大于第二相似度，则计算机设备可确定目标图像的类别为第二类别，等等。
另一种实施方式中，计算机设备可基于第一相似度和第二相似度确定目标图像的目标类别置信度(即目标概率值)，并根据目标图像的目标类别置信度确定目标图像的类别。具体的，若目标图像的目标类别置信度大于或等于目标类别置信度阈值，则计算机设备则可确定目标图像的类别为目标类别；若目标图像的目标类别置信度小于目标类别置信度阈值，则计算机设备可确定目标图像的类别为第一类别和第二类别中除目标类别以外的另一类别。其中，目标类别可以是第一类别，也可以是第二类别，本申请对此不做限制；那么相应的，若目标类别为第一类别，则目标类别置信度是指目标图像属于第一类别的概率值，且目标类别置信度阈值是指将目标图像的类别确定为第一类别所对应的最小的目标类别置信度；若目标类别为第二类别，则目标类别置信度是指目标图像属于第二类别的概率值，且目标类别置信度阈值是指将目标图像的类别确定为第二类别所对应的最小的目标类别置信度。
需要说明的是，计算机设备在基于第一相似度和第二相似度确定目标图像的目标类别置信度时，可对第一相似度和第二相似度进行融合处理，得到融合后的相似度；若目标类别为第一类别，则计算机设备可根据第一相似度与融合后的相似度之间的比值，确定目标图像的目标类别置信度；若目标类别为第二类别，则计算机设备可根据第二相似度与融合后的相似度之间的比值，确定目标图像的目标类别置信度。
举例来说，在花屏检测任务中，计算机设备可先调用图像分类模型对训练样本集中的各个样本图像进行特征提取，得到各个样本图像的图像特征，并通过聚类算法(如k均值聚类算法或模糊c-均值聚类算法等)对各个样本图像的图像特征进行聚类分析，从而将各个样本图像的图像特征划分为两个聚类簇，且这两个聚类簇分别代表了花屏图像和非花屏图像(即正常图像)，进而得到花屏(即第一类别)对应的聚类中心特征δ1，以及非花屏(即第二类别)对应的聚类中心特征δ2，并将这两个聚类中心特征保留下来，以便于后续基于这两个聚类中心特征确定目标图像的类别。在此种情况下，计算机设备可根据目标图像的图像特征与这两个聚类中心特征之间的特征相似度(即第一相似度和第二相似度)，得到目标图像是花屏的概率值，即得到目标图像的花屏置信度，并最终得到目标图像是否是花屏图像的二值结果。如图5a所示，假设目标图像的花屏置信度为0.99，且此时的花屏置信度大于花屏置信度阈值，则计算机设备可确定目标图像为花屏图像；如图5b所示，假设目标图像的花屏置信度为0.05，且此时的花屏置信度小于花屏置信度阈值，则计算机设备可将目标图像确定为正常图像。应当理解的是，针对花屏检测任务，本申请实施例可以精准地对目标图像的花屏置信度(即花屏程度)进行检测。
需要说明的是，上述关于步骤S306-S308的相关描述只是示例性地阐述了计算机设备确定目标图像的类别的实施方式。在其他实施例中，假设图像预测模型还包括类别置信度计算模块，且在训练过程中，各画质调整图像的类别置信度是通过图像预测模型中的类别置信度计算模块所得到的，则图像分类模型也可以包括优化后的类别置信度计算模块，即计算机设备可将优化后的类别置信度计算模块作为图像分类模型中的类别确定模块，也就是说，计算机设备可将图像预测模型中，用于确定图像的类别置信度的分支作为图像分类模型，使得图像分类模型可包括优化后的特征提取模块和优化后的类别置信度计算模块，进而调用优化后的特征提取模块对目标图像进行特征提取，并调用优化后的类别置信度计算模块确定目标图像的类别置信度，以确定目标图像的类别。
本申请实施例可在优化图像预测模型后，构建模型性能较好的图像分类模型，该图像分类模型包括图像预测模型中的优化后的特征提取模块，使得图像分类模型可更为准确地对任一图像进行特征提取，以提升图像特征的准确性。并且，在对图像预测模型进行优化的过程中，本申请不引入带有噪声的人工标注信息，使得训练所得的模型可以避免受到噪声标签的干扰，从而输出稳定、可靠的目标类别检测结果(如花屏检测结果)。另外，本申请实施例还可通过对视频数据中的一帧或多帧图像进行目标类别检测(如花屏检测)，并通过一帧或多帧图像的目标类别检测结果来评估视频数据的视频质量，进而为视频质量评估提供可靠的技术支撑。
基于上述模型优化方法的相关实施例的描述，本申请实施例还提出了一种模型优化装置，该模型优化装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)。该模型优化装置可以执行图2或图3所示的模型优化方法；请参见图6，所述模型优化装置可以运行如下单元：
获取单元601，用于获取训练图像；
处理单元602，用于分别按照一个或多个损失值计算指标所对应的图像处理任务对所述训练图像进行图像处理，得到所述训练图像在每个损失值计算指标下的一个或多个图像；
所述处理单元602，还用于分别调用图像预测模型对所述每个损失值计算指标下的各个图像进行特征提取，得到所述每个损失值计算指标下的各个图像的图像特征；
所述处理单元602，还用于分别根据所述每个损失值计算指标下的各个图像特征，计算所述训练图像在所述每个损失值计算指标下的损失值；并对所述训练图像在所述一个或多个损失值计算指标下的损失值进行融合处理，得到所述图像预测模型的模型损失值；
所述处理单元602，还用于按照减小所述模型损失值的方向，优化所述图像预测模型中的模型参数，以构建图像分类模型。
在一种实施方式中，一个或多个损失值计算指标包括一致性损失值计算指标，且所述一致性损失值计算指标所对应的图像处理任务是指图像画质调整任务；处理单元602在分别按照一个或多个损失值计算指标所对应的图像处理任务对所述训练图像进行图像处理，得到所述训练图像在每个损失值计算指标下的一个或多个图像时，可具体用于：
按照所述图像画质调整任务对所述训练图像进行图像处理，以调整所述训练图像的一个或多个画质影响因素，得到所述训练图像在所述一致性损失值计算指标下的至少两个画质调整图像。
另一种实施方式中，处理单元602在分别根据所述每个损失值计算指标下的各个图像特征，计算所述训练图像在所述每个损失值计算指标下的损失值时，可具体用于：
对所述至少两个画质调整图像中各个画质调整图像的图像特征进行类别置信度估计处理，得到所述各个画质调整图像的类别置信度；
根据所述至少两个画质调整图像的类别置信度中每两个类别置信度之间的差异，计算所述每两个类别置信度对应的两个画质调整图像之间的损失值；
对所述至少两个画质调整图像中每两个画质调整图像之间的损失值进行融合处理，得到所述训练图像在所述一致性损失值计算指标下的损失值。
另一种实施方式中，一个或多个损失值计算指标包括角度预测损失值计算指标，且所述角度预测损失值计算指标所对应的图像处理任务是指图像角度旋转任务；处理单元602在分别按照一个或多个损失值计算指标所对应的图像处理任务对所述训练图像进行图像处理，得到所述训练图像在每个损失值计算指标下的一个或多个图像时，可具体用于：
按照目标旋转角度对所述训练图像进行图像角度旋转处理，得到所述训练图像在所述角度预测损失值计算指标下的角度旋转图像。
另一种实施方式中，处理单元602在分别根据所述每个损失值计算指标下的各个图像特征，计算所述训练图像在所述每个损失值计算指标下的损失值时，可具体用于：
对所述角度旋转图像的图像特征进行旋转角度预测处理，得到所述角度旋转图像相对所述训练图像的预测旋转角度；
根据所述预测旋转角度与所述目标旋转角度之间的差异，计算所述训练图像在所述角度预测损失值计算指标下的损失值。
另一种实施方式中，图像预测模型包括特征提取模块；处理单元602在按照减小所述模型损失值的方向，优化所述图像预测模型中的模型参数，以构建图像分类模型时，可具体用于：
按照减小所述模型损失值的方向，优化所述图像预测模型中的特征提取模块的模型参数，以构建图像分类模型；其中，所述图像分类模型包括优化后的特征提取模块。
另一种实施方式中，处理单元602还可用于：
调用所述图像分类模型对目标图像进行特征提取，得到所述目标图像的图像特征；
将所述目标图像的图像特征与第一类别对应的聚类中心特征进行比对，得到第一相似度；
将所述目标图像的图像特征与第二类别对应的聚类中心特征进行比对，得到第二相似度；
基于所述第一相似度和所述第二相似度，确定所述目标图像的类别。
另一种实施方式中，第一类别对应的聚类中心特征，以及所述第二类别对应的聚类中心特征是通过调用所述图像分类模型所得到的；处理单元602还可用于：
调用所述图像分类模型对训练样本集中的各个样本图像进特征提取，得到所述各个样本图像的图像特征；
对所述各个样本图像的图像特征进行聚类分析处理，得到所述第一类别对应的聚类中心特征，以及所述第二类别对应的聚类中心特征。
根据本申请的一个实施例，图2或图3所示的方法所涉及的各个步骤均可由图6所示的模型优化装置中的各个单元来执行的。例如，图2中所示的步骤S201可由图6中所示的获取单元601和处理单元602共同执行，步骤S202-S204均可由图6中所示的处理单元602执行。又如，图3中所示的步骤S301可由图6所示的获取单元601和处理单元602共同执行，步骤S302-S308均可由图6所示的处理单元602执行，等等。
根据本申请的另一个实施例，图6所示的模型优化装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，模型优化装置也可以包括其他单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
根据本申请的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图3中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图6中所示的模型优化装置，以及来实现本申请实施例的模型优化方法。所述计算机程序可以记载于例如计算机存储介质上，并通过计算机存储介质装载于上述计算设备中，并在其中运行。
本申请实施例在获取到训练图像后，可先分别按照一个或多个损失值计算指标所对应的图像处理任务对训练图像进行图像处理，得到训练图像在每个损失值计算指标下的一个或多个图像；然后，分别调用图像预测模型对每个损失值计算指标下的各个图像进行特征提取，得到每个损失值计算指标下的各个图像的图像特征，进而可分别根据每个损失值计算指标下的各个图像特征，计算训练图像在每个损失值计算指标下的损失值，以得到图像预测模型的模型损失值，从而按照减小模型损失值的方向，优化图像预测模型中的模型参数，以提升图像预测模型的模型性能，进而构建模型性能较好的图像分类模型，也就是说，本申请实施例可提高图像分类模型的模型性能。另外，本申请实施例在模型优化过程中未引入带有噪声的人工标注信息，可有效避免人工标签信息所带来的干扰，进而更好地对图像分类模型进行构建，使得构建出的图像分类模型能够输出更为精准的结果。
基于上述方法实施例以及装置实施例的描述，本申请实施例还提供一种计算机设备。请参见图7，该计算机设备至少包括处理器701、输入接口702、输出接口703以及计算机存储介质704。其中，计算机设备内的处理器701、输入接口702、输出接口703以及计算机存储介质704可通过总线或其他方式连接。
计算机存储介质704可以存储在计算机设备的存储器中，所述计算机存储介质704用于存储计算机程序，所述计算机程序包括程序指令，所述处理器701用于执行所述计算机存储介质704存储的程序指令。处理器701(或称CPU(Central Processing Unit，中央处理器))是计算机设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能；在一个实施例中，本申请实施例所述的处理器701可以用于进行一系列的模型优化，具体包括：获取训练图像，并分别按照一个或多个损失值计算指标所对应的图像处理任务对所述训练图像进行图像处理，得到所述训练图像在每个损失值计算指标下的一个或多个图像；分别调用图像预测模型对所述每个损失值计算指标下的各个图像进行特征提取，得到所述每个损失值计算指标下的各个图像的图像特征；分别根据所述每个损失值计算指标下的各个图像特征，计算所述训练图像在所述每个损失值计算指标下的损失值；并对所述训练图像在所述一个或多个损失值计算指标下的损失值进行融合处理，得到所述图像预测模型的模型损失值；按照减小所述模型损失值的方向，优化所述图像预测模型中的模型参数，以构建图像分类模型。
本申请实施例还提供了一种计算机存储介质(Memory)，所述计算机存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了计算机设备的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的，还可以是至少一个位于远离前述处理器的计算机存储介质。在一个实施例中，可由处理器加载并执行计算机存储介质中存放的一条或多条指令，以实现上述有关图2或图3所示的模型优化方法的实施例中的各个方法步骤。
本申请实施例在获取到训练图像后，可先分别按照一个或多个损失值计算指标所对应的图像处理任务对训练图像进行图像处理，得到训练图像在每个损失值计算指标下的一个或多个图像；然后，分别调用图像预测模型对每个损失值计算指标下的各个图像进行特征提取，得到每个损失值计算指标下的各个图像的图像特征，进而可分别根据每个损失值计算指标下的各个图像特征，计算训练图像在每个损失值计算指标下的损失值，以得到图像预测模型的模型损失值，从而按照减小模型损失值的方向，优化图像预测模型中的模型参数，以提升图像预测模型的模型性能，进而构建模型性能较好的图像分类模型，也就是说，本申请实施例可提高图像分类模型的模型性能。另外，本申请实施例在模型优化过程中未引入带有噪声的人工标注信息，可有效避免人工标签信息所带来的干扰，进而更好地对图像分类模型进行构建，使得构建出的图像分类模型能够输出更为精准的结果。
需要说明的是，根据本申请的一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机存储介质中。计算机设备的处理器从计算机存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图2或图3所示的模型优化方法实施例方面的各种可选方式中提供的方法。
并且，应理解的是，以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (12)

1.一种模型优化方法，其特征在于，包括：
获取训练图像，并分别按照一个或多个损失值计算指标所对应的图像处理任务对所述训练图像进行图像处理，得到所述训练图像在每个损失值计算指标下的一个或多个图像；
分别调用图像预测模型对所述每个损失值计算指标下的各个图像进行特征提取，得到所述每个损失值计算指标下的各个图像的图像特征；
分别根据所述每个损失值计算指标下的各个图像特征，计算所述训练图像在所述每个损失值计算指标下的损失值；并对所述训练图像在所述一个或多个损失值计算指标下的损失值进行融合处理，得到所述图像预测模型的模型损失值；
按照减小所述模型损失值的方向，优化所述图像预测模型中的模型参数，以构建图像分类模型。
2.根据权利要求1所述的方法，其特征在于，所述一个或多个损失值计算指标包括一致性损失值计算指标，且所述一致性损失值计算指标所对应的图像处理任务是指图像画质调整任务；所述分别按照一个或多个损失值计算指标所对应的图像处理任务对所述训练图像进行图像处理，得到所述训练图像在每个损失值计算指标下的一个或多个图像，包括：
按照所述图像画质调整任务对所述训练图像进行图像处理，以调整所述训练图像的一个或多个画质影响因素，得到所述训练图像在所述一致性损失值计算指标下的至少两个画质调整图像。
3.根据权利要求2所述的方法，其特征在于，所述分别根据所述每个损失值计算指标下的各个图像特征，计算所述训练图像在所述每个损失值计算指标下的损失值，包括：
对所述至少两个画质调整图像中各个画质调整图像的图像特征进行类别置信度估计处理，得到所述各个画质调整图像的类别置信度；
根据所述至少两个画质调整图像的类别置信度中每两个类别置信度之间的差异，计算所述每两个类别置信度对应的两个画质调整图像之间的损失值；
对所述至少两个画质调整图像中每两个画质调整图像之间的损失值进行融合处理，得到所述训练图像在所述一致性损失值计算指标下的损失值。
4.根据权利要求1所述的方法，其特征在于，所述一个或多个损失值计算指标包括角度预测损失值计算指标，且所述角度预测损失值计算指标所对应的图像处理任务是指图像角度旋转任务；所述分别按照一个或多个损失值计算指标所对应的图像处理任务对所述训练图像进行图像处理，得到所述训练图像在每个损失值计算指标下的一个或多个图像，包括：
按照目标旋转角度对所述训练图像进行图像角度旋转处理，得到所述训练图像在所述角度预测损失值计算指标下的角度旋转图像。
5.根据权利要求4所述的方法，其特征在于，所述分别根据所述每个损失值计算指标下的各个图像特征，计算所述训练图像在所述每个损失值计算指标下的损失值，包括：
对所述角度旋转图像的图像特征进行旋转角度预测处理，得到所述角度旋转图像相对所述训练图像的预测旋转角度；
根据所述预测旋转角度与所述目标旋转角度之间的差异，计算所述训练图像在所述角度预测损失值计算指标下的损失值。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述图像预测模型包括特征提取模块；所述按照减小所述模型损失值的方向，优化所述图像预测模型中的模型参数，以构建图像分类模型，包括：
按照减小所述模型损失值的方向，优化所述图像预测模型中的特征提取模块的模型参数，以构建图像分类模型；其中，所述图像分类模型包括优化后的特征提取模块。
7.根据权利要求1-5中任一项所述的方法，其特征在于，所述方法还包括：
调用所述图像分类模型对目标图像进行特征提取，得到所述目标图像的图像特征；
将所述目标图像的图像特征与第一类别对应的聚类中心特征进行比对，得到第一相似度；
将所述目标图像的图像特征与第二类别对应的聚类中心特征进行比对，得到第二相似度；
基于所述第一相似度和所述第二相似度，确定所述目标图像的类别。
8.根据权利要求7所述的方法，其特征在于，所述第一类别对应的聚类中心特征，以及所述第二类别对应的聚类中心特征是通过调用所述图像分类模型所得到的；所述方法还包括：
调用所述图像分类模型对训练样本集中的各个样本图像进特征提取，得到所述各个样本图像的图像特征；
对所述各个样本图像的图像特征进行聚类分析处理，得到所述第一类别对应的聚类中心特征，以及所述第二类别对应的聚类中心特征。
9.一种模型优化装置，其特征在于，包括：
获取单元，用于获取训练图像；
处理单元，用于分别按照一个或多个损失值计算指标所对应的图像处理任务对所述训练图像进行图像处理，得到所述训练图像在每个损失值计算指标下的一个或多个图像；
所述处理单元，还用于分别调用图像预测模型对所述每个损失值计算指标下的各个图像进行特征提取，得到所述每个损失值计算指标下的各个图像的图像特征；
所述处理单元，还用于分别根据所述每个损失值计算指标下的各个图像特征，计算所述训练图像在所述每个损失值计算指标下的损失值；并对所述训练图像在所述一个或多个损失值计算指标下的损失值进行融合处理，得到所述图像预测模型的模型损失值；
所述处理单元，还用于按照减小所述模型损失值的方向，优化所述图像预测模型中的模型参数，以构建图像分类模型。
10.一种计算机设备，其特征在于，包括处理器、存储器，其中，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1-8中任一项所述的方法。
11.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的方法。
12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的方法。
CN202210262876.8A 2022-03-17 2022-03-17 模型优化方法、装置、设备、存储介质及计算机程序产品 Active CN114936998B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210262876.8A CN114936998B (zh) 2022-03-17 2022-03-17 模型优化方法、装置、设备、存储介质及计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210262876.8A CN114936998B (zh) 2022-03-17 2022-03-17 模型优化方法、装置、设备、存储介质及计算机程序产品

Publications (2)

Publication Number Publication Date
CN114936998A true CN114936998A (zh) 2022-08-23
CN114936998B CN114936998B (zh) 2024-10-18

Family

ID=82862276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210262876.8A Active CN114936998B (zh) 2022-03-17 2022-03-17 模型优化方法、装置、设备、存储介质及计算机程序产品

Country Status (1)

Country Link
CN (1) CN114936998B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599421A (zh) * 2019-09-12 2019-12-20 腾讯科技（深圳）有限公司 模型训练方法、视频模糊帧转换方法、设备及存储介质
CN111523621A (zh) * 2020-07-03 2020-08-11 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质
CN112560649A (zh) * 2020-12-09 2021-03-26 广州云从鼎望科技有限公司 一种行为动作检测方法、系统、设备及介质
CN113222846A (zh) * 2021-05-18 2021-08-06 北京达佳互联信息技术有限公司 图像处理方法和图像处理装置
CN113516125A (zh) * 2021-06-24 2021-10-19 北京世纪好未来教育科技有限公司 模型训练方法、使用方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599421A (zh) * 2019-09-12 2019-12-20 腾讯科技（深圳）有限公司 模型训练方法、视频模糊帧转换方法、设备及存储介质
CN111523621A (zh) * 2020-07-03 2020-08-11 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质
CN112560649A (zh) * 2020-12-09 2021-03-26 广州云从鼎望科技有限公司 一种行为动作检测方法、系统、设备及介质
CN113222846A (zh) * 2021-05-18 2021-08-06 北京达佳互联信息技术有限公司 图像处理方法和图像处理装置
CN113516125A (zh) * 2021-06-24 2021-10-19 北京世纪好未来教育科技有限公司 模型训练方法、使用方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHENG WAN等: "Feature Consistency Training With JPEG Compressed Images", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》, vol. 30, no. 12, 16 December 2019 (2019-12-16), pages 4769 - 4780, XP011825239, DOI: 10.1109/TCSVT.2019.2959815 *

Also Published As

Publication number Publication date
CN114936998B (zh) 2024-10-18

Similar Documents

Publication Publication Date Title
CN112734775B (zh) 图像标注、图像语义分割、模型训练方法及装置
CN110490239B (zh) 图像质控网络的训练方法、质量分类方法、装置及设备
CN116958825B (zh) 一种移动式遥感图像采集方法及公路维护监测方法
CN111767906B (zh) 人脸检测模型训练方法、人脸检测方法、装置及电子设备
CN111680753A (zh) 一种数据标注方法、装置、电子设备及存储介质
CN114693624B (zh) 一种图像检测方法、装置、设备及可读存储介质
CN113158554B (zh) 模型优化方法、装置、计算机设备及存储介质
CN113313215B (zh) 图像数据处理方法、装置、计算机设备和存储介质
WO2019180310A1 (en) A method, an apparatus and a computer program product for an interpretable neural network representation
KR20210151773A (ko) 대상 재인식 방법 및 장치, 단말 및 저장 매체
CN112668608A (zh) 一种图像识别方法、装置、电子设备及存储介质
CN115062709A (zh) 模型优化方法、装置、设备、存储介质及程序产品
KR102576747B1 (ko) 심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템 및 이를 위한 로컬 데이터베이스 생성 방법
CN117392499B (zh) 一种显著性目标的检测方法及装置
CN116701706B (zh) 一种基于人工智能的数据处理方法、装置、设备及介质
CN117786058A (zh) 一种多模态大模型知识迁移框架的构建方法
CN114936998B (zh) 模型优化方法、装置、设备、存储介质及计算机程序产品
CN116129417A (zh) 一种基于低质量图像的数字仪表读数检测方法
Lin et al. Development of preprocessing methods and revised EfficientNet for diabetic retinopathy detection
CN115577797A (zh) 一种基于本地噪声感知的联邦学习优化方法及系统
Yuan et al. RM-IQA: A new no-reference image quality assessment framework based on range mapping method
CN116994019B (zh) 模型训练方法、相关设备、存储介质及计算机产品
CN118155214B (zh) 一种提示学习方法、图像分类方法及相关装置
CN116883673B (zh) 语义分割模型训练方法、装置、设备及存储介质
CN118470466B (zh) 一种模型处理方法、装置、设备、介质及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant