CN111095293B - 图像美学处理方法及电子设备 - Google Patents

图像美学处理方法及电子设备 Download PDF

Info

Publication number
CN111095293B
CN111095293B CN201880060615.XA CN201880060615A CN111095293B CN 111095293 B CN111095293 B CN 111095293B CN 201880060615 A CN201880060615 A CN 201880060615A CN 111095293 B CN111095293 B CN 111095293B
Authority
CN
China
Prior art keywords
neural network
image
data set
images
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880060615.XA
Other languages
English (en)
Other versions
CN111095293A (zh
Inventor
张晴
谢淼
芮祥麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN111095293A publication Critical patent/CN111095293A/zh
Application granted granted Critical
Publication of CN111095293B publication Critical patent/CN111095293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种图像美学处理方法及电子设备，其中，图像美学评分模型生成方法包括：根据预设的卷积结构集合构建第一神经网络；获取图像分类神经网络，其中，所述图像分类神经网络用于对图像的场景进行分类；根据所述第一神经网络以及所述图像分类神经网络，得到第二神经网络，所述第二神经网络为包含场景信息的神经网络；根据所述第二神经网络，确定图像美学评分模型，所述图像美学评分模型的输出信息包括图像场景分类信息。该方法中，通过在主干神经网络上融合了场景信息，使得所得到的图像美学评分模型具有可解释性，同时，使用预设的卷积结构集合，可以提升图像美学评分模型的评分准确率。

Description

图像美学处理方法及电子设备
本申请要求于2017年12月15日提交中国专利局、申请号为201711351283.4、发明名称为“一种图像评分的方法和设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机技术，尤其涉及一种图像美学处理方法及电子设备。
背景技术
图像美感是指人们在观察图像时的美学感受。美感评估是希望通过计算机，模拟人类的感知来判断图像的美感，实现对图像进行美感高低分类，或者对图像的美感程度给出评分。
现有技术中，提出了一种深度模型图像美学评分方法，该方法基于固定的神经网络来学习出图像的特征，进而，根据图像的特征为图像分配相应的美学评分。
但是，通过现有方法无法对所得出的图像美学评分结果进行解释。
发明内容
本申请提供一种图像美学处理方法及电子设备，用于解决现有技术中无法对图像美学评分结果进行解释的问题。
本申请第一方面提供一种图像美学评分模型生成方法，该方法包括：
根据预设的卷积结构集合构建第一神经网络；
获取图像分类神经网络，其中，所述图像分类神经网络用于对图像的场景进行分类；
根据所述第一神经网络以及所述图像分类神经网络，得到第二神经网络，所述第二神经网络为包含场景信息的神经网络；
根据所述第二神经网络，确定图像美学评分模型，所述图像美学评分模型的输出信息包括图像场景分类信息。
该方法中，通过在主干神经网络上融合了场景信息，使得所得到的图像美学评分模型具有可解释性，同时，使用预设的卷积结构集合，可以提升图像美学评分模型的评分准确率。
在一种可能的设计中，所述图像美学评分模型应用于电子设备，所述电子设备中包括双域执行环境，所述图像美学评分模型运行在所述双域执行环境中的可信执行环境中。
在一种可能的设计中，将所述第一神经网络与所述图像分类神经网络串联，得到所述第二神经网络。
在一种可能的设计中，对所述第一神经网络与所述图像分类神经网络进行参数共享，得到所述第二神经网络。
通过加入图像分类神经网络，使得最终得到的图像美学评分模型能够给出包括场景是否协调、色彩是否均衡、光照是否合适、内容是否突出等场景信息的解释，从而使得图像的评分结果具有可解释性，极大提升了用户的使用感受。
在一种可能的设计中，得到第三神经网络的过程为：
在所述第二神经网络中增加损失函数计算层，得到第三神经网络；
基于预设的训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息；
基于预设的验证数据集，对所述第三神经网络进行验证，以确定所述图像美学评分模型。
在一种可能的设计中，所述损失函数计算层包括多个分类器，每个分类器对应一种分数，每个所述分类器用于确定图像的评分与所述分类器对应的分数的关系。
在一种可能的设计中，所述损失计算层的损失函数为交叉熵损失函数和类中心损失函数。
通过设定基于排序的损失函数，将图像评分过程转换为多个独立的一对多分类器的集成结果，从而提升了系统的鲁棒性。
在一种可能的设计中，在基于预设的训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息时，具体可以包括：
根据第一训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息，其中，所述第一训练数据集中包括多幅图像，每幅图像包含分数信息；
和/或，
根据第二训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息，其中，所述第二训练数据集中包括多幅图像，每幅图像包含所述图像在所述第二训练数据集中的分数排序信息。
通过单图像训练模式和/或批量图像训练模式对第三神经网络进行训练，能够提升模型的准确性。另外，批量图像训练模式所使用的训练图像无需标注图像的分数信息，仅需标注分数排序信息，而标注分数排序信息的复杂度更低，因此通过批量图像训练模式能够显著降低模型训练时对训练数据的要求，从而有效扩展训练数据集。
在一种可能的设计中，在根据第一训练数据集，对所述第三神经网络进行训练时，具体可以包括：
将所述第一训练数据集中的图像逐一输入所述第三神经网络，对所述第三神经网络进行训练。
在一种可能的设计中，在根据第二训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息时，具体可以包括：
将所述第二训练数据集中的图像划分为多组图像对，将每组图像对中的两幅图像分别输入所述第三神经网络以及对所述第三神经网络进行复制所得到的神经网络中；
根据所述两幅图像的评分以及分数排序信息进行损失计算，确定所述第三神经网络的权值信息。
在一种可能的设计中，在根据第二训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息时，具体可以包括：
将所述第二训练数据集中的图像划分为多组子集合，将每组子集合中的图像输入所述第三神经网络中，得到评分信息；
根据所述评分信息，使用基于统计学概率分布的损失函数，利用梯度下降反向传播，确定所述第三神经网络的权值信息。
在一种可能的设计中，在基于预设的验证数据集，对所述第三神经网络进行验证之后，还包括：
根据验证之后得到的指标值，使用预设的遍历算法，构建新的第一神经网络。
通过上述预设的卷积类型库以及使用遍历算法来调整卷积结构，可以有效地增加模型的评分准确率，并且可以灵活地评估不同卷积核和卷积之间的组合对美学评分的实际影响。
本申请第二方面提供一种图像评分降档处理方法，该方法包括：
根据预设的图像美学评分模型、预设的至少一个质量判别模型以及预设的降档策略，得到目标评分模型。
根据所述目标评分模型，对图像进行评分降档处理。
该方法中，在图像美学评分模型上集成了图像评分降档处理，该降档处理使得美学评分结果对特定应用场景中所关心的低质量因素的敏感度得到极大提升。
在一种可能的设计中，在根据预设的图像美学评分模型、预设的至少一个质量判别模型以及预设的降档策略，得到目标评分模型时，具体包括：
将所述图像美学评分模型与所述至少一个质量判别模型集成，并使用所述预设的降档策略对集成的模型的输出进行降档处理，得到所述目标评分模型。
在一种可能的设计中，所述降档策略包括如下至少一种：
第一降档策略，所述第一降档策略中，影响图像评分的低质量因素与图像的评分具有第一预设对应关系；
第二降档策略，所述第二降档策略中，影响图像评分的低质量因素与图像的降分比例具有第二预设对应关系；
第三降档策略，所述第三降档策略将低质量图像作为训练数据，学习所述图像美学评分模型与所述质量判别模型之间的降档函数。
在一种可能的设计中，所述目标评分模型应用于电子设备，所述电子设备中包括双域执行环境，所述图像美学评分模型运行在所述双域执行环境中的可信执行环境中。
本申请第三方面提供一种图像重排序方法，该方法包括：
获取待排序图像集合，所述待排序图像集合中每幅图像包含评分信息；
根据预设的重排序模型，对所述待排序图像集合排序，得到排序后的图像集合；
其中，所述重排序模型基于强化学习框架构建，所述重排序模型用于反馈用户的特征信息，所述强化学习框架包括状态以及奖赏。
在一种可能的设计中，在获取待排序图像集合之前，还包括：
根据用户信息以及所述评分信息，训练所述重排序模型，所述用户信息根据用户的操作获取，所述用户的操作包括操作内容、操作顺序以及操作时间。
该方法中，通过对已有图像美学评分模型的评分结果进行重排序，使得排序结果更好地反应出用户的个性化信息。重排序中基于强化学习框架，可以更为灵活地考虑用户反馈信息，以进行自适应学习调整排序结果。
在一种可能的设计中，所述方法应用于电子设备，所述电子设备中包括双域执行环境，所述图像美学评分模型运行在所述双域执行环境中的可信执行环境中。
通过上述架构，使得所输出的美学评分模型、可进行降档处理的目标评分模型以及图像重排序器能够依赖安全域提供的安全机制予以实现。在电子设备中，通过双域隔离机制和TA对CA的鉴权策略，使得本申请所涉及的美学评分模型、可进行降档处理的目标评分模型以及图像重排序器不被篡改、安全运行，保证了美学评分模型、可进行降档处理的目标评分模型以及图像重排序器的安全性。
本申请第四方面提供一种电子设备，该电子设备有实现第一方面中的功能。这些功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一种可能的设计中，该电子设备可以包括处理模块，该处理模块可以执行上述方法中的相应功能，例如：根据预设的卷积结构集合构建第一神经网络；获取图像分类神经网络，其中，所述图像分类神经网络用于对图像的场景进行分类；根据所述第一神经网络以及所述图像分类神经网络，得到第二神经网络，所述第二神经网络为包含场景信息的神经网络；根据所述第二神经网络，确定图像美学评分模型，所述图像美学评分模型的输出信息包括图像场景分类信息。
本申请第五方面提供一种电子设备，该电子设备有实现第二方面中的功能。这些功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一种可能的设计中，该电子设备可以包括处理模块，该处理模块可以执行上述方法中的相应功能，例如：根据预设的图像美学评分模型、预设的至少一个质量判别模型以及预设的降档策略，得到目标评分模型。根据所述目标评分模型，对图像进行评分降档处理。
本申请第六方面提供一种电子设备，该电子设备有实现第三方面中的功能。这些功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一种可能的设计中，该电子设备可以包括处理模块，该处理模块可以执行上述方法中的相应功能，例如：获取待排序图像集合，所述待排序图像集合中每幅图像包含评分信息；根据预设的重排序模型，对所述待排序图像集合排序，得到排序后的图像集合。
本申请第七方面提供一种电子设备，该电子设备包括：存储器和处理器。存储器用于存储程序指令，处理器用于调用存储器中的程序指令，实现上述第一方面中的方法。
本申请第八方面提供一种电子设备，该电子设备包括：存储器和处理器。存储器用于存储程序指令，处理器用于调用存储器中的程序指令，实现上述第二方面中的方法。
本申请第九方面提供一种电子设备，该电子设备包括：存储器和处理器。存储器用于存储程序指令，处理器用于调用存储器中的程序指令，实现上述第三方面中的方法。
本申请第十方面提供一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括用于执行上述第一方面所述的方法的指令。
本申请第十一方面提供一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括用于执行上述第二方面所述的方法的指令。
本申请第十二方面提供一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括用于执行上述第三方面所述的方法的指令。
本申请中，使用由多个卷积结构或者多个经典神经网络所组成的卷积结构集合构建成主干神经网络，并将该主干神经网络与预先构建的包含场景信息的图像分类神经网络进行串联，从而得到第二神经网络，使得图像评分结果具有可解释性。进而在第二神经网络上增加损失函数计算层，得到第三神经网络，损失函数计算层包括多个分类器，使得系统的鲁棒性得以提升。进而对第三神经网络使用单图像训练模式和批量训练模式结合的方式进行训练，通过这种方式能够显著降低模型训练时对训练数据的要求，扩展了数据集。基于每次验证得到的指标值，本申请不断调整主干神经网络，即通过不断迭代的过程使得最终得到的美学评分模型的准确性最高。本申请进一步的还可以基于生成的美学评分模型生成支持图像降档的目标评分模型，即实现图像降档，使得使用本申请的方法所得到的美学评分结果对图像低质量因素的敏感度得到极大提升。本申请进一步的还可以根据用户的偏好对具有美学评分的图像进行重排序，具体基于强化学习框架进行重排序，使得排序结果更好地反应出用户的个性化信息，而重排序中基于强化学习框架，可以更为灵活地考虑用户反馈信息，以进行自适应学习调整排序结果。
附图说明
图1为支持双域执行环境的电子设备的系统架构图；
图2为将本申请的图像美学评分处理方法应用于电子设备后的系统架构图；
图3为本申请提供的图像美学评分模型生成方法的流程示意图；
图4为本申请提供的图像评分降档处理方法的流程示意图；
图5为本申请提供的图像重排序方法的流程示意图；
图6为基于MDP的强化学习框架的示意图；
图7为图像美学评分模型生成以及评分降档处理示例的流程示意图；
图8为经典神经网络结构的示例图；
图9为将图像分类神经网络与第一神经网络串联经过串联层串联的示意图；
图10为本申请提供的一种电子设备的实体框图；
图11为本申请提供的另一种电子设备的实体框图；
图12为本申请提供的又一种电子设备的实体框图；
图13为本申请提供的一种电子设备的模块结构图；
图14为本申请提供的另一种电子设备的模块结构图；
图15为本申请提供的又一种电子设备的模块结构图。
具体实施方式
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
为使本领域技术人员更好地理解本申请的技术方案，以下首先对本申请涉及的技术术语进行解释：
1、卷积神经网络
卷积神经网络是在普通的人工神经网络的基础上提出的，人工神经网络是从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。而卷积神经网络与普通的人工神经网络的区别在于，卷积神经网络中加入了特定的卷积层等进行特征抽取。卷积神经网络可以由三部分组成，第一部分为输入层，第二部分由特定数量的卷积层和池化层的组合组成。第三部分由一个全连结的多层感知机分类器构成。
需要说明的是，本申请以下实施例中所涉及的神经网络，均属于卷积神经网络。
2、卷积核
卷积核是卷积层进行卷积操作中所采用的卷积运算矩阵。
3、损失函数
损失函数(Loss Function)，即目标函数，是最终需要优化的函数，其中包括经验损失和结构损失。
4、可信执行环境
可信执行环境是存在于智能手机、平板电脑，或任意电子设备主处理器中的一个安全区域，确保各种敏感数据在一个可信环境中被存储、处理和受到保护。TEE为授权的安全软件(也称为“可信应用”)提供一个安全的执行环境，通过实施保护、保密性、完整性和数据访问权限确保端到端的安全。可信执行环境在智能手机、平板电脑等移动终端中可以简称为TEE，即为Trusted Execution Environment的缩写。本申请以下实施例以及附图中以TEE为例来标识可信执行环境。
5、富执行环境
富执行环境(Rich Execution Environment，REE)主要包括运行于通用嵌入式处理器中的一般操作系统及其上的客户端应用程序。
图1为支持双域执行环境的电子设备的系统架构图。如图1所示，支持双域执行环境的设备中包括了支持TEE的硬件资源，进而，通过硬件隔离的手段，将电子设备中的软件系统切分为独立运行的两个运行环境，分别为图1中所示的REE侧和TEE侧。两个运行环境有其独立的运行内存资源和单独的内核软件，在运行过程中，可通过软硬件进行动态切换。
在REE侧，最底层为REE内核，向上依次为TEE客户端应用程序接口(TEE ClientApplication Programming interface，TEE Client API)和至少一个客户端应用程序(CA)。其中，TEE ClientAPI是被CA调用，访问TEE服务的编程接口。CA是可以调用TEE服务的在REE侧运行的客户端应用程序。另外，图1中所示的图库APP为涉及图像处理的APP的一个示例，如图1所示，对于涉及图像处理的APP，其可以直接调用TEE Client API实现调用TEE服务的功能，即本身可以作为一个CA程序，或者，其也可以通过调用CA实现调用TEE服务的功能。
在TEE侧，最底层为TEE内核，向上依次为TEE内部应用编程接口(TEE InternalApplication Programming interface，TEE Internal API)和至少一个可信应用程序(Trusted Application，TA)。其中，TEE Internal API是被TA调用，访问TEE内核的编程接口。
图2为将本申请的图像美学评分处理方法应用于电子设备后的系统架构图，如图2所示，通过本申请提供的图像美学评分模型生成方法所生成的图像美学评分模型以及基于图像美学评分模型所得到的可进行降档处理的目标评分模型可以通过离线过程生成，并以评分模型文件的形式部署于图像美学评分TA中。进而，图库APP通过双域隔离机制调用该TA服务，完成对输入的图像进行美学评分的任务。另一方面，通过本申请提供的图像重排序方法所形成的重排序器则可以直接部署在电子设备的TEE中，并且同样可以调用该TA服务。另外，本申请还可以通过双域系统中的鉴权策略，来保证仅允许REE中已通过鉴权的应用来访问图像美学评分TA。
基于图2所示的系统架构，使得所输出的美学评分模型、可进行降档处理的目标评分模型以及图像重排序器能够依赖安全域提供的安全机制予以实现。在电子设备中，通过双域隔离机制和TA对CA的鉴权策略，使得本申请所涉及的美学评分模型、可进行降档处理的目标评分模型以及图像重排序器不被篡改、安全运行，保证了美学评分模型、可进行降档处理的目标评分模型以及图像重排序器的安全性。
需要说明的是，上述的电子设备可以是智能手机、平板电脑、笔记本电脑、台式电脑等，本申请对此不做限制。
以下首先对本申请所提供方法的执行步骤进行介绍，进而再结合一个具体实例再说明本申请的执行过程，最后再介绍本申请在实际图像处理场景中的应用。
图3为本申请提供的图像美学评分模型生成方法的流程示意图，该方法的执行主体为上述的电子设备，其具体的部署架构如上述的图2所示的系统架构。如图3所示，该方法具体包括：
S301、根据预设的卷积结构集合构建第一神经网络。
其中，上述预设的卷积结构集合具体为包括多个卷积结构的集合或者为多个神经网络的集合。第一神经网络具体为主干神经网络。
可选的，上述预设的卷积类型库可以预先构建，构建方法可以有以下两种：
(1)基于卷积结构的构建方法
在该构建方法中，可以选择特定的卷积结构。示例性的，可以选择的卷积结构包括：固定几何结构的卷积结构(例如3*3的矩形卷积核)、可变形卷积、扩大卷积、残余结构卷积等。
该方法主要构建卷积原子结构，即通过该方法所构建出的卷积类型库中包括多个卷积结构，该卷积类型库能够实现细粒度地构建主干神经网络，从而使得基于该卷积类型库所构建的神经网络具有更优的结构。
(2)基于神经网络的构建方法
在该构建方法中，可以选择多个经典神经网络结构，例如AlexNet、VGG等。
该方法主要构建经典的网络整体结构，即通过该方法所构建出的卷积类型库中包括多个经典的神经网络。基于该卷积类型库的神经网络的训练时间短，效率高。
需要说明的是，使用上述任何一种构建方法所形成的卷积结构集合中，所包含的卷积结构的数量不限，并且扩展灵活。
具体实施过程中，可以根据实际需要灵活选择构建上述预设的卷积结构集合的方法，本申请对此不作限制。
进一步的，基于上述预设的卷积结构集合，可以构建主干神经网络。
可选的，以上述预设的卷积集合中的卷积结构或神经网络为候选的网络结构单元，并以图像美学评分模型所需要的特征为约束(所需要特征包括规则、参数等)，可以构建一个对所需要的特征抽取可行的主干神经网络。
S302、获取图像分类神经网络。
其中，上述图像分类神经网络用于对图像的场景进行分类，可以输出图像场景分类信息。
S303、根据上述第一神经网络以及上述图像分类神经网络，得到第二神经网络。
其中，上述第二神经网络为包含场景信息的神经网络。
经过上述步骤S301所得到的主干神经网络中的隐层不具备可解释性，如果直接基于该主干神经网络生成图像美学评分模型，则在使用该图像美学评分模型对图像评分时，无法给出评分的原因。因此，在本步骤中，在主干神经网络的基础上，结合图像分类神经网络生成一个包含场景信息的神经网络，以使得最终生成的图像美学评分模型具有可解释性。
具体的，上述图像分类神经网络可以是预先生成的神经网络，该图像分类神经网络对图像中包含的隐含场景信息与色彩信息进行分类识别。所能识别的隐含场景信息例如可以包括：人像场景、风景场景、运动场景等，具体例如可以是：人脸识别、表情识别、夜晚与白天识别、室内与室外识别、静态物体与动态物体识别、是否采用三分构图法等，从而可以从场景是否协调、色彩是否均衡、光照是否合适、内容是否突出等方面对图像解释图像的评分。
可选的，在根据主干神经网络和图像分类神经网络得到第二神经时，可以通过如下方法中的任意一种来得到：
(1)、串联方法
具体的，将上述第一神经网络与上述图像分类神经网络串联，得到第二神经网络。
其中，图像分类神经网络也是一种卷积神经网络，由卷积神经网络的原子结构构建，因此可以通过串联层直接将上述第一神经网络与上述图像分类神经网络串联起立，得到包含场景信息的第二神经网络。
(2)、参数共享方法
具体的，对上述第一神经网络与上述图像分类神经网络进行参数共享，得到第二神经网络。
该方法中，通过对主干神经网络和图像分类神经网络共享参数，使得得到的第二神经网络的隐含层能够更好地提取与评分相关的隐含信息。
本步骤中，通过加入图像分类神经网络，使得最终得到的图像美学评分模型能够给出包括场景是否协调、色彩是否均衡、光照是否合适、内容是否突出等场景信息的解释，从而使得图像的评分结果具有可解释性，极大提升了用户的使用感受。
S304、在上述第二神经网络中增加损失函数计算层，得到第三神经网络。
上述损失函数计算层通过设定基于排序的损失函数，将图像评分过程转换为多个独立的一对多分类器的集成结果。
在一种可选的实施方式中，在上述损失函数计算层中包括了多个分类器，每个分类器对应一种分数，每个分类器用于确定图像的评分与该分类器所对应的分数之间的关系。进而使得一幅图像的最终评分作为多个分类器预测结果的综合体现。
示例性的，上述损失函数计算层中的损失函数具体可以为交叉熵损失函数和类中心损失函数。
本步骤中，通过设定基于排序的损失函数，将图像评分过程转换为多个独立的一对多分类器的集成结果，从而提升了系统的鲁棒性。
S305、基于预设的训练数据集，对上述第三神经网络进行训练，以确定上述第三神经网络的权值信息。
可选的，可以基于单图像训练模式或者批量图像训练模式，或者二者的结合来进行训练。以下进行具体说明。
(1)单图像训练模式
该单图像训练模式所对应的训练数据集(即第一训练数据集)中包括了多幅图像，其中，每幅图像都包含分数信息。即训练数据集中不仅包含图像像素信息，还包含分数标注信息。
使用该单图像训练模式进行模型训练时，将第一训练数据集中的图像逐一输入第三神经网络，对第三神经网络进行训练。
(2)批量图像训练模式
该批量图像训练模式所对应的训练数据集(即第二训练数据集)中包括了多幅图像，其中，每幅图像包含图像在第二训练数据集中的分数排序信息。即第二训练数据集中不包含图像的分数标注信息，而仅包含分数排序信息。
可选的，在使用批量图像训练模式进行模型训练时，可以将图像划分为多组图像对进行训练，或者，将图像划分为多组子集合进行训练。
具体的，在将图像划分为多组图像对进行训练时，训练集中的图像两两一组，首先对上述第三神经网络进行复制，进而，将每组图像对中的两幅图像分别输入第三神经网络以及对其进行复制所得到的神经网络中，分别得到两幅图像的评分。进而，根据两幅图像的评分以及两幅图像的分数排序信息之间的差异，进行损失计算，确定第三神经网络的权值信息。
另一种方式中，在将图像划分为多组子集合时，每个子集合中包括多幅图像，首先将每组子集合中的图像输入到第三神经网络中，即将子集合中的图像批量输入第三神经网络中，得到每幅图像的评分信息。进而，根据每幅图像的评分信息，使用基于统计学概率分布的损失函数，利用梯度下降反向传播，确定第三神经网络的权值信息。
需要说明的是，在具体实施过程中，可以根据实际需要选择使用上述两种图像训练模式中的其中一种或者其结合。当使用二者的结合时，可以首先通过单图像训练模式来学习和拟合具体分数数值，再通过批量图像训练模式来学习图像间的分数排序，以确定高分数段图片与低分数段图片的差异。
本步骤中，通过单图像训练模式和/或批量图像训练模式对第三神经网络进行训练，能够提升模型的准确性。另外，批量图像训练模式所使用的训练图像无需标注图像的分数信息，仅需标注分数排序信息，而标注分数排序信息的复杂度更低，因此通过批量图像训练模式能够显著降低模型训练时对训练数据的要求，从而有效扩展训练数据集。
S306、基于预设的验证数据集，对第三神经网络进行验证，以确定图像美学评分模型。
具体的，经过上述步骤S305可以训练出第三神经网络的权值信息，即得到了具备真实权值信息的第三神经网络。而在本步骤中，基于预设的验证数据集，对具备了真实权值信息的第三神经网络进行验证，得到验证指标值，该指标值可以用于衡量该第三网络的质量效果。
可选的，验证指标可以包括准确率、召回率、预测结果与标准信息的统计相关性。
需要说明的是，上述预设的验证数据集和上述预设的训练数据集可以来源于同一个数据集合，在具体实施过程中，可以根据特定的方法从该同一个数据集合中选择训练数据集和验证数据集。示例性的，可以使用交叉验证、固定比例切分等方法来选择训练数据集和验证数据集。
通过上述步骤S301-S306，已经得到了一个完整的第三神经网络，并通过验证得到了该第三神经网络的指标值。进一步的，将该第三神经网络的指标值应用于步骤S301中的构建第一神经网络的过程中。具体的，根据当前的指标值，使用预设的遍历算法来调整第一神经网络的卷积结构，例如对部分卷积层进行替换，从而构建新的第一神经网络，进而继续执行步骤S302-S306，以得到新的指标值，依次类推，不断进行迭代，直至所得到的指标值逼近预设的最优值，则此时所使用的第三神经网络则为最终得到的图像美学评分模型。
通过上述预设的卷积类型库以及使用遍历算法来调整卷积结构，可以有效地增加模型的评分准确率，并且可以灵活地评估不同卷积核和卷积之间的组合对美学评分的实际影响。
需要说明的是，基于实际的需要，在执行步骤S301时，可以同时选择不同的卷积结构以构建出多个主干神经网络，并针对每个主干神经网络分别执行后续的步骤，从而可以并行得到多个候选的神经网络及其指标值，从而可以提升模型生成的效率。
本实施例中，在主干神经网络上融合了场景信息，使得所得到的图像美学评分模型具有可解释性，同时，使用预设的卷积结构集合，可以提升图像美学评分模型的评分准确率。
以下为本申请提供的图像评分降档处理方法的具体执行过程。
图4为本申请提供的图像评分降档处理方法的流程示意图，该方法的执行主体为上述的电子设备，如图4所示，该方法包括：
S401、根据预设的图像美学评分模型、预设的至少一个质量判别模型以及至少一个降档策略，得到目标评分模型。
其中，上述预设的图像美学评分模型可以是由上述实施例所生成的图像美学评分模型，也可以是其他预先生成的图像美学评分模型，该图像美学评分模型的输入为一幅图像，输出为该幅图像评分，并且该幅图像的评分具有可解释性。
上述预设的质量判别模型用于对造成图像低质量的因素进行识别处理，其中，造成图像低质量的因素例如可以包括过度曝光、抖动、物体失焦、画面干扰、背景杂乱、人像或风景歪斜等。
可选的，本申请可以使用至少一个单因素质量判别模型，即每个质量判别模型用于识别处理一种低质量因素。这些单因素质量判别模型可以是已有的模型，可以通过任何的分类算法和模型来构建，本申请对此不做限制。电子设备可以预先通过用户设置等方式来选择与特定应用场景相匹配的低质量因素，进而，电子设备根据所选择的低质量因素选择与该低质量因素对应的质量判别模型。
示例性的，假设用户通过设置选择图像歪斜、人脸闭眼和曝光过度这三个低质量因素，则电子设备会选择这三个低质量因素所对应的三个质量判别模型。进而，电子书设备将这三个质量判别模型与预先得到的图像美学评分模型集成，将图像美学评分模型的输出作为三个质量判别模型的输入，并且，使用预设的降档策略对集成的模型进行降档处理，从而得到目标评分模型，该目标评分模型即为与特定的美学评分应用场景相关的最佳预测模型。
可选的，上述预设的降档策略例如可以是：
(1)第一降档策略
该降档策略为绝对降档策略，在该降档策略中，为低质量因素建立单独的评分分数等级，一旦质量判别模型识别图像中存在特定因素，则图像的美学评分即固定在一个较低的评分档内。即影响图像评分的低质量因素与图像的评分具有第一预设对应关系。
例如，出现画面抖动，则图像评分不高于2分。出现过度曝光，则图像评分不高于3分。进而，再结合图像美学评分模型所输出的评分，取最低分，作为目标评分模型的输出评分。
(2)第二降档策略
该降档策略为相对降档策略，在该降档策略中，对每个低质量因素设定一个降分比例，在评分时，先利用图像美学评分模型预测图像评分，进而，通过质量判别模型对低质量因素进行识别，如果图像出现低质量因素，则逐一按照该因素的降分比例对图像美学评分模型所输出的评分进行降分。即影响图像评分的低质量因素与图像的降分比例具有第二预设对应关系。
(3)第三降档策略
该降档策略为通过回归学习降档函数策略，在该降档策略中，通过以低质量图像为训练数据，用监督学习，例如逻辑回归等，自动学习出图像美学评分模型与质量判别模型之间的降档函数。
S402、根据上述目标评分模型，对图像进行评分降档处理。
通过上述步骤S401得到的目标评分模型，不仅具有前述的图像美学评分模型的功能，并且在其基础上集成了图像评分降档处理，该降档处理使得美学评分结果对特定应用场景中所关心的低质量因素的敏感度得到极大提升。
本实施例中，在图像美学评分模型上集成了图像评分降档处理，该降档处理使得美学评分结果对特定应用场景中所关心的低质量因素的敏感度得到极大提升。
以下为本申请提供的图像重排序方法的具体执行过程。
图5为本申请提供的图像重排序方法的流程示意图，该方法的执行主体为上述的电子设备，具体为上述图2中所示的重排序器，如图5所示，该方法包括：
S501、获取待排序图像集合，该待排序图像集合中每幅图像包含评分信息。
可选的，上述待排序图像集合中每幅图像的评分信息可以由前述的图像美学评分模型或前述的目标评分模型来得到，由具体应用场景确定具体使用哪种模型。
示例性的，当应用场景是无需对任何低质量因素敏感时，则使用前述的图像美学评分模型。具体的，将原始的待排序的图像集合中的图像(仅有图像，没有评分信息)输入到图像美学评分模型中，得到待排序的图像集合中每幅图像的评分信息，即可获取到待排序图像集合。
S502、根据预设的重排序模型，对上述待排序图像集合排序，得到排序后的图像集合。
具体的，经过上述步骤S501所得到的待排序图像集合中的每幅图像都具有评分信息，即上述待排序图像集合中的图像可以根据评分信息进行一次排序，在本步骤中，再根据预设的重排序模型对待排序图像集合再进行一次排序，即重排序，该重排序的结果能够反映用户的特征信息，即用户的习惯、喜好等个性化信息。
其中，上述重排序模型基于强化学习框架构建，该重排序模型用于反馈用户的特征信息，该强化学习框架包括状态以及奖赏。用户的特征信息用于表征用户的偏好。
可选的，本申请基于马尔科夫决策过程(Markov Decision Process，MDP)构建重排序模型，MDP是一种典型强化学习建模方法。基于MDP框架，需要定义动作、策略、状态、状态转移以及奖赏。其中，状态和奖赏描述了随机环境，策略为状态到动作的映射。
本申请中，首先基于MDP构建和训练上述重排序模型，训练完成之后，再执行上述步骤S502，即根据重排序模型对上述待排序集合排序，得到排序后的图像集合。
以下首先说明模型构建的过程。
图6为基于MDP的强化学习框架的示意图，如图6所示，该强化学习框架包括：
(1)主体
该主体是指进行图片重排序的执行主体，其以环境状态作为输入，根据学习到的策略从动作集中选择一个动作执行
(2)状态
设定当前位置为t，剩余的待选择的照片特征集合为Xt，“特征向量x”为图片卷积神经网络特征向量(来自神经网络模型的高层)以及用户画像特征向量的拼接。
(3)动作
为当前位置t选择集合Xt中的图片。
(4)转移
从当前位置t转移到当前位置的下一位置t+1。，其中，t+1不等于t。
(5)奖赏
奖赏可以包括如下类型：
基于用户点击的奖赏。
基于用户停留时间的奖赏，计算方式可以是计算与用户停留时间长的图片集合的相似度，或者直接计算用户历史在该图像的访问累积时间。
基于用户画像匹配度的奖赏，计算方式可以是计算图像和用户画像的匹配程度分数。
基于个性化“喜爱”图集的奖赏，计算方式可以是实时根据系统日志，收集用户点击类型最多的图片集合。
基于个性化“厌恶/违禁”图集的奖赏：计算方式例如可以是收集不健康图片集合，排除不健康图片等。
基于先验的奖赏：计算方式可以是获取图片在例如前述目标评分模型中的打分等。
总体奖赏：通过奖赏函数将上述的奖赏数值进行组合，例如可以使用基于权值的线性函数作为奖赏函数。
以下为模型训练的过程。
可选的，构建重排序模型之后，可以根据用户信息以及上述评分信息，训练该重排序模型。
其中，用户信息可以根据用户的操作获取，用户的操作包括操作内容、操作顺序以及操作时间。
可选的，用户的操作可以根据用户反馈来获得，也可以通过用户的点击日志来获取。其中，用户点击日志主要记录用户对于每个返回结果的点击情况，以及用户的点击顺序信息和停留时间。
在训练重排序模型时，首先定义一个神经网络(或其他分类模型)，学习从状态到动作的映射，即作为上述强化学习框架中的主体来进行决策。该神经网络可以采用任意网络结构，如卷积神经网络。该策略网络的输入为状态向量，面向不同的排序问题，输出可以为不同形式的节点，建模对于不同图像(行为)选择的概率。进而，针对每个美学评分模型或目标评分模型的输出，采用蒙特卡洛模拟方式，计算每个可选行为集合所能达到的期望回报，选择最优的期望回报的行为策略，对神经网络的输出进行损失计算，最后反向传播，直接优化策略网络的参数。
其中，初始的策略网络，采用原始神经网络的排序分值大小作为选择依据，分值越高，选择的概率越大。
本申请针对图像美学评分模型或目标评分模型的输出长度，按照两种情况进行分类，分别为定长重排序集合情况和变长重排序集合情况。其中，对于定长重排序集合情况，即使用图像美学评分模型或目标评分模型每次排序的图片个数是固定的：策略网络输出可以定长的softmax概率输出。对于变长重排序集合情况，即图像美学评分模型每次排序的图片个数不是固定的：因为softmax无法建模行为策略的选择，因此输出可以设置为单节点。
本实施例中，示例性的，采用卷积神经网络，该网络的输入节点为待排序图像的特征集合和用户画像数据，采用定长重排序结合情况的策略(可固定图像集合数量为一个给定参数)。
进一步的，使用重排序模型进行重排序时，具体为利用策略网络进行预测的过程。具体的，根据策略网络，在每个阶段的决策点选择图片，从而实现排序。
本实施例中，通过对已有图像美学评分模型的评分结果进行重排序，使得排序结果更好地反应出用户的个性化信息。重排序中基于强化学习框架，可以更为灵活地考虑用户反馈信息，以进行自适应学习调整排序结果。
以下结合具体实例对本申请提供的图像美学评分模型生成方法、图像评分降档处理方法以及图像重排序方法进行进一步解释说明。
需要说明的是，以下示例将图像美学评分模型生成方法与图像评分降档处理方法在一个示例中进行说明，即将图像美学评分模型生成方法所生成的图像美学评分模型作为图像评分降档处理方法中所使用的图像美学评分模型。另外，针对具有多种可选实施方式的步骤，以下示例选择其中一个可选方式进行说明。
图7为图像美学评分模型生成以及评分降档处理示例的流程示意图，如图7所示，具体处理过程为：
S701、使用包含多个神经网络的卷积结构集合构建第一神经网络。
本示例中，卷积结构集合中包括多个经典神经网络结构，具体为AlexNet，ResNet，VGG和Google Inception Net v1，v3和MobileNet。图8为经典神经网络结构的示例图。
进而，电子设备从多个经典神经网络结构中选择至少一个神经网络结构，分别作为第一神经网络，并且并行执行后续的步骤S702-S704，分别得到验证结果。
S702、将预先构建的图像分类神经网络与第一神经网络串联，得到第二神经网络。
图9为将图像分类神经网络与第一神经网络串联经过串联层串联的示意图，如图9所示，图像分类神经网络包括5层3*3卷积结构的隐含层以及串联层，通过串联层与第一神经网络串联之后，所得到的第二神经网络即包含了场景信息。
S703、在第二神经网络中增加损失函数计算层，得到第三神经网络。
本示例中，损失函数计算层由20个节点组成，每两个节点为一组，可以看成是10个独立的分类器(C1，...，C10)，每个分类器按照他们的排列次序，对图像的评分进行如下判别：分类器Ci负责判别该待评分图像评分为i(第一个节点输出1，第二个节点输出0)，还是其分数大于i(第一个节点输出0，第二个节点输出1)，C10负责判别其分数是否为10。则输出层预测的分数，可以通过如下公式计算：
其中fk函数为第k个评分器对待评分图像x‘的评分结果，该分类器中第一个节点为1，则fk(x’)为0，否则为1。
所选用的损失函数为：
其中Ls为每个分类器的交叉熵损失函数，而Lc为类中心损失函数(Center lossfunction)，其度量了待评分图像x’与同标准类别样本的平均值之间的差异。并使用超参数λ来均衡Ls(保证了不同类距离尽量远)和Lc(保证了相同类中的特征向量距离尽量近)。
S704、基于训练数据集和验证数据集，对第三神经网络进行训练和验证，得到图像美学评分模型。
本示例中，使用单图像训练模式与批量图像训练模式结合的方式训练第三神经网络，首先将训练数据集中标注了评分的图像逐一输入第三神经网络进行训练，再将训练数据集中仅标注了分数排序信息的图像批量输入第三神经网络进行训练，得到权值信息。
另外，在步骤701中选择了多个经典神经网络分别进行模型构建、训练和验证，本步骤中，根据每种经典神经网络的结果，选择最优的验证指标值所对应的第三神经网络作为图像美学评分模型。
S705、使用步骤S704得到的图像美学评分模型得到目标评分模型，并根据该目标评分模型进行图像评分降档处理。
本示例中，采用通过回归学习降档函数的降档策略，对图像歪斜、人脸闭眼和曝光过度的分类器和图像美学评分模型的预测结果，通过softmax回归学习降档函数，从而得到目标评分模型。
需要说明的是，经过实际测试验证，证明本申请所提供的方法在图像评分中的准确率相较现有技术有明显提升。其中，实际测试验证中使用Top-1准确率以及Spearman相关性指标衡量，结果显示，使用本申请的方法的Top-1准确率达到95％，Spearman相关性达到0.64，较现有技术有明显提升。
以下对本申请以上所述的方法的具体应用进行说明。
示例性的，本申请上述实施例所述的方法可以应用于以下图像处理场景中：
场景1：
按照一定的周期，对于用户在一段时间内拍摄的图像，使用本申请提供的方法对每幅图像进行美学评分、降档处理以及重排序，其中，可以根据实际需要选择三种方法中的一种或多种来使用。示例性的，对每幅图像都执行美学评分、降档处理以及重排序，并以重排序结果作为图像的最终排序结果。
进而，根据图像的最终排序结果选择该一段时间内的预设数量的图片，或者评分超过预设评分的图片，形成“精彩时刻”图集。即通过本申请的方法可以自动并且准确地为用户筛选出最符合用户感受的最优图像，极大提升用户的使用感受。
场景2：
用户在较短时间内在同一地点连续拍摄了多张图像，使用本申请提供的方法对每幅图像进行美学评分、降档处理以及重排序，根据得到的评分以及排序，筛选出其中最优的预设数量的图像进行标记，例如在这些最优的图像上加上星形标记，以供用户快速查看并选择，极大提升用户的使用感受。
场景3：
用户在较短时间内在同一地点连续拍摄了多张图像，使用本申请提供的方法对每幅图像进行美学评分、降档处理以及重排序，根据得到的评分以及排序，筛选出其中最优的预设数量的图像进行保存，而对于其他图像则询问用户是否需要删除，并在用户确认之后予以删除，以帮助用户快速删除拍摄效果不佳的图像，极大提升用户的使用感受。
图10为本申请提供的一种电子设备的实体框图，如图10所示，该电子设备包括：存储器1001和处理器1002。
存储器1001用于存储程序指令。
处理器1002用于调用存储器1001中的程序指令，执行如下方法：
根据预设的卷积结构集合构建第一神经网络；
获取图像分类神经网络，其中，所述图像分类神经网络用于对图像的场景进行分类；
根据所述第一神经网络以及所述图像分类神经网络，得到第二神经网络，所述第二神经网络为包含场景信息的神经网络；
根据所述第二神经网络，确定图像美学评分模型，所述图像美学评分模型的输出信息包括图像场景分类信息。
进一步的，所述图像美学评分模型应用于电子设备，所述电子设备中包括双域执行环境，所述图像美学评分模型运行在所述双域执行环境中的可信执行环境中。
进一步的，处理器1002具体用于：
将所述第一神经网络与所述图像分类神经网络串联，得到所述第二神经网络。
进一步的，处理器1002具体还用于：
对所述第一神经网络与所述图像分类神经网络进行参数共享，得到所述第二神经网络。
进一步的，处理器1002具体还用于：
在所述第二神经网络中增加损失函数计算层，得到第三神经网络；
基于预设的训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息；
基于预设的验证数据集，对所述第三神经网络进行验证，以确定所述图像美学评分模型。
进一步的，所述损失函数计算层包括多个分类器，每个分类器对应一种分数，每个所述分类器用于确定图像的评分与所述分类器对应的分数的关系。
进一步的，所述损失计算层的损失函数为交叉熵损失函数和类中心损失函数。
进一步的，处理器1002具体还用于：
根据第一训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息，其中，所述第一训练数据集中包括多幅图像，每幅图像包含分数信息；
和/或，
根据第二训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息，其中，所述第二训练数据集中包括多幅图像，每幅图像包含所述图像在所述第二训练数据集中的分数排序信息。
进一步的，处理器1002具体还用于：
将所述第一训练数据集中的图像逐一输入所述第三神经网络，对所述第三神经网络进行训练。
进一步的，处理器1002具体还用于：
将所述第二训练数据集中的图像划分为多组图像对，将每组图像对中的两幅图像分别输入所述第三神经网络以及对所述第三神经网络进行复制所得到的神经网络中；
根据所述两幅图像的评分以及分数排序信息进行损失计算，确定所述第三神经网络的权值信息。
进一步的，处理器1002具体还用于：
将所述第二训练数据集中的图像划分为多组子集合，将每组子集合中的图像输入所述第三神经网络中，得到评分信息；
根据所述评分信息，使用基于统计学概率分布的损失函数，利用梯度下降反向传播，确定所述第三神经网络的权值信息。
进一步的，处理器1002还用于：
根据验证之后得到的指标值，使用预设的遍历算法，构建新的第一神经网络。
图11为本申请提供的另一种电子设备的实体框图，如图11所示，该电子设备包括：存储器1101和处理器1102。
存储器1101用于存储程序指令。
处理器1102用于调用存储器1101中的程序指令，执行如下方法：
根据预设的图像美学评分模型、预设的至少一个质量判别模型以及预设的降档策略，得到目标评分模型。
根据所述目标评分模型，对图像进行评分降档处理。
进一步的，处理器1102具体用于：
将所述图像美学评分模型与所述至少一个质量判别模型集成，并使用所述预设的降档策略对集成的模型的输出进行降档处理，得到所述目标评分模型。
进一步的，所述降档策略包括如下至少一种：
第一降档策略，所述第一降档策略中，影响图像评分的低质量因素与图像的评分具有第一预设对应关系；
第二降档策略，所述第二降档策略中，影响图像评分的低质量因素与图像的降分比例具有第二预设对应关系；
第三降档策略，所述第三降档策略将低质量图像作为训练数据，学习所述图像美学评分模型与所述质量判别模型之间的降档函数。
进一步的，所述目标评分模型应用于电子设备，所述电子设备中包括双域执行环境，所述图像美学评分模型运行在所述双域执行环境中的可信执行环境中。
图12为本申请提供的又一种电子设备的实体框图，如图12所示，该电子设备包括：存储器1201和处理器1202。
存储器1201用于存储程序指令。
处理器1202用于调用存储器1201中的程序指令，执行如下方法：
获取待排序图像集合，所述待排序图像集合中每幅图像包含评分信息；
根据预设的重排序模型，对所述待排序图像集合排序，得到排序后的图像集合；
其中，所述重排序模型基于强化学习框架构建，所述重排序模型用于反馈用户的特征信息，所述强化学习框架包括状态以及奖赏。
进一步的，处理器1202具体用于：
根据用户信息以及所述评分信息，训练所述重排序模型，所述用户信息根据用户的操作获取，所述用户的操作包括操作内容、操作顺序以及操作时间。
图13为本申请提供的一种电子设备的模块结构图，如图13所示，该电子设备包括：处理模块1301，用于：
根据预设的卷积结构集合构建第一神经网络；
获取图像分类神经网络，其中，所述图像分类神经网络用于对图像的场景进行分类；
根据所述第一神经网络以及所述图像分类神经网络，得到第二神经网络，所述第二神经网络为包含场景信息的神经网络；
根据所述第二神经网络，确定图像美学评分模型，所述图像美学评分模型的输出信息包括图像场景分类信息。
进一步的，所述图像美学评分模型应用于电子设备，所述电子设备中包括双域执行环境，所述图像美学评分模型运行在所述双域执行环境中的可信执行环境中。
进一步的，处理模块1301具体用于：
将所述第一神经网络与所述图像分类神经网络串联，得到所述第二神经网络。
进一步的，处理模块1301具体还用于：
对所述第一神经网络与所述图像分类神经网络进行参数共享，得到所述第二神经网络。
进一步的，处理模块1301具体还用于：
在所述第二神经网络中增加损失函数计算层，得到第三神经网络；
基于预设的训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息；
基于预设的验证数据集，对所述第三神经网络进行验证，以确定所述图像美学评分模型。
进一步的，所述损失函数计算层包括多个分类器，每个分类器对应一种分数，每个所述分类器用于确定图像的评分与所述分类器对应的分数的关系。
进一步的，所述损失计算层的损失函数为交叉熵损失函数和类中心损失函数。
进一步的，处理模块1301具体还用于：
根据第一训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息，其中，所述第一训练数据集中包括多幅图像，每幅图像包含分数信息；
和/或，
根据第二训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息，其中，所述第二训练数据集中包括多幅图像，每幅图像包含所述图像在所述第二训练数据集中的分数排序信息。
进一步的，处理模块1301具体还用于：
将所述第一训练数据集中的图像逐一输入所述第三神经网络，对所述第三神经网络进行训练。
进一步的，处理模块1301具体还用于：
将所述第二训练数据集中的图像划分为多组图像对，将每组图像对中的两幅图像分别输入所述第三神经网络以及对所述第三神经网络进行复制所得到的神经网络中；
根据所述两幅图像的评分以及分数排序信息进行损失计算，确定所述第三神经网络的权值信息。
进一步的，处理模块1301具体还用于：
将所述第二训练数据集中的图像划分为多组子集合，将每组子集合中的图像输入所述第三神经网络中，得到评分信息；
根据所述评分信息，使用基于统计学概率分布的损失函数，利用梯度下降反向传播，确定所述第三神经网络的权值信息。
进一步的，处理模块1301还用于：
根据验证之后得到的指标值，使用预设的遍历算法，构建新的第一神经网络。
图14为本申请提供的另一种电子设备的模块结构图，如图14所示，该电子设备包括：处理模块1401，用于：
根据预设的图像美学评分模型、预设的至少一个质量判别模型以及预设的降档策略，得到目标评分模型。
根据所述目标评分模型，对图像进行评分降档处理。
进一步的，处理模块1401具体用于：
将所述图像美学评分模型与所述至少一个质量判别模型集成，并使用所述预设的降档策略对集成的模型的输出进行降档处理，得到所述目标评分模型。
进一步的，所述降档策略包括如下至少一种：
第一降档策略，所述第一降档策略中，影响图像评分的低质量因素与图像的评分具有第一预设对应关系；
第二降档策略，所述第二降档策略中，影响图像评分的低质量因素与图像的降分比例具有第二预设对应关系；
第三降档策略，所述第三降档策略将低质量图像作为训练数据，学习所述图像美学评分模型与所述质量判别模型之间的降档函数。
进一步的，所述目标评分模型应用于电子设备，所述电子设备中包括双域执行环境，所述图像美学评分模型运行在所述双域执行环境中的可信执行环境中。
图15为本申请提供的又一种电子设备的模块结构图，如图15所示，该电子设备包括：处理模块1501，用于：
获取待排序图像集合，所述待排序图像集合中每幅图像包含评分信息；
根据预设的重排序模型，对所述待排序图像集合排序，得到排序后的图像集合；
其中，所述重排序模型基于强化学习框架构建，所述重排序模型用于反馈用户的特征信息，所述强化学习框架包括状态以及奖赏。
进一步的，处理模块1501具体用于：
根据用户信息以及所述评分信息，训练所述重排序模型，所述用户信息根据用户的操作获取，所述用户的操作包括操作内容、操作顺序以及操作时间。

Claims (23)

1.一种图像美学评分模型生成方法，其特征在于，包括：
根据预设的卷积结构集合构建第一神经网络；
获取图像分类神经网络，其中，所述图像分类神经网络用于对图像的场景进行分类；
根据所述第一神经网络以及所述图像分类神经网络，得到第二神经网络，所述第二神经网络为包含场景信息的神经网络；
根据所述第二神经网络，确定图像美学评分模型，所述图像美学评分模型的输出信息包括图像场景分类信息；
所述根据所述第二神经网络，确定图像美学评分模型，包括：
在所述第二神经网络中增加损失函数计算层，得到第三神经网络；
基于预设的训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息；
基于预设的验证数据集，对所述第三神经网络进行验证，以确定所述图像美学评分模型。
2.根据权利要求1所述的方法，其特征在于，所述图像美学评分模型应用于电子设备，所述电子设备中包括双域执行环境，所述图像美学评分模型运行在所述双域执行环境中的可信执行环境中。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一神经网络以及所述图像分类神经网络，得到第二神经网络，包括：
将所述第一神经网络与所述图像分类神经网络串联，得到所述第二神经网络。
4.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一神经网络以及所述图像分类神经网络，得到第二神经网络，包括：
对所述第一神经网络与所述图像分类神经网络进行参数共享，得到所述第二神经网络。
5.根据权利要求1所述的方法，其特征在于，所述损失函数计算层包括多个分类器，每个分类器对应一种分数，每个所述分类器用于确定图像的评分与所述分类器对应的分数的关系。
6.根据权利要求1所述的方法，其特征在于，所述损失函数计算层的损失函数为交叉熵损失函数和类中心损失函数。
7.根据权利要求1所述的方法，其特征在于，所述基于预设的训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息，包括：
根据第一训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息，其中，所述第一训练数据集中包括多幅图像，每幅图像包含分数信息；
和/或，
根据第二训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息，其中，所述第二训练数据集中包括多幅图像，每幅图像包含所述图像在所述第二训练数据集中的分数排序信息。
8.根据权利要求7所述的方法，其特征在于，所述根据第一训练数据集，对所述第三神经网络进行训练，包括：
将所述第一训练数据集中的图像逐一输入所述第三神经网络，对所述第三神经网络进行训练。
9.根据权利要求7或8所述的方法，其特征在于，所述根据第二训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息，包括：
将所述第二训练数据集中的图像划分为多组图像对，将每组图像对中的两幅图像分别输入所述第三神经网络以及对所述第三神经网络进行复制所得到的神经网络中；
根据所述两幅图像的评分以及分数排序信息进行损失计算，确定所述第三神经网络的权值信息。
10.根据权利要求7或8所述的方法，其特征在于，所述根据第二训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息，包括：
将所述第二训练数据集中的图像划分为多组子集合，将每组子集合中的图像输入所述第三神经网络中，得到评分信息；
根据所述评分信息，使用基于统计学概率分布的损失函数，利用梯度下降反向传播，确定所述第三神经网络的权值信息。
11.根据权利要求1所述的方法，其特征在于，所述基于预设的验证数据集，对所述第三神经网络进行验证之后，还包括：
根据验证之后得到的指标值，使用预设的遍历算法，构建新的第一神经网络。
12.一种电子设备，其特征在于，包括：存储器和处理器；
所述存储器用于存储程序指令；
所述处理器用于调用所述存储器中的程序指令，执行如下方法：
根据预设的卷积结构集合构建第一神经网络；
获取图像分类神经网络，其中，所述图像分类神经网络用于对图像的场景进行分类；
根据所述第一神经网络以及所述图像分类神经网络，得到第二神经网络，所述第二神经网络为包含场景信息的神经网络；
根据所述第二神经网络，确定图像美学评分模型，所述图像美学评分模型的输出信息包括图像场景分类信息；
所述处理器具体还用于：
在所述第二神经网络中增加损失函数计算层，得到第三神经网络；
基于预设的训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息；
基于预设的验证数据集，对所述第三神经网络进行验证，以确定所述图像美学评分模型。
13.根据权利要求12所述的电子设备，其特征在于，所述图像美学评分模型应用于电子设备，所述电子设备中包括双域执行环境，所述图像美学评分模型运行在所述双域执行环境中的可信执行环境中。
14.根据权利要求12或13所述的电子设备，其特征在于，所述处理器具体用于：
将所述第一神经网络与所述图像分类神经网络串联，得到所述第二神经网络。
15.根据权利要求12或13所述的电子设备，其特征在于，所述处理器具体还用于：
对所述第一神经网络与所述图像分类神经网络进行参数共享，得到所述第二神经网络。
16.根据权利要求12所述的电子设备，其特征在于，所述损失函数计算层包括多个分类器，每个分类器对应一种分数，每个所述分类器用于确定图像的评分与所述分类器对应的分数的关系。
17.根据权利要求12所述的电子设备，其特征在于，所述损失函数计算层的损失函数为交叉熵损失函数和类中心损失函数。
18.根据权利要求12所述的电子设备，其特征在于，所述处理器具体还用于：
根据第一训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息，其中，所述第一训练数据集中包括多幅图像，每幅图像包含分数信息；
和/或，
根据第二训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息，其中，所述第二训练数据集中包括多幅图像，每幅图像包含所述图像在所述第二训练数据集中的分数排序信息。
19.根据权利要求18所述的电子设备，其特征在于，所述处理器具体还用于：
将所述第一训练数据集中的图像逐一输入所述第三神经网络，对所述第三神经网络进行训练。
20.根据权利要求18或19所述的电子设备，其特征在于，所述处理器具体还用于：
将所述第二训练数据集中的图像划分为多组图像对，将每组图像对中的两幅图像分别输入所述第三神经网络以及对所述第三神经网络进行复制所得到的神经网络中；
根据所述两幅图像的评分以及分数排序信息进行损失计算，确定所述第三神经网络的权值信息。
21.根据权利要求18或19所述的电子设备，其特征在于，所述处理器具体还用于：
将所述第二训练数据集中的图像划分为多组子集合，将每组子集合中的图像输入所述第三神经网络中，得到评分信息；
根据所述评分信息，使用基于统计学概率分布的损失函数，利用梯度下降反向传播，确定所述第三神经网络的权值信息。
22.根据权利要求12所述的电子设备，其特征在于，所述处理器具体还用于：
对所述第三神经网络进行验证之后，根据验证之后得到的指标值，使用预设的遍历算法，构建新的第一神经网络。
23.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括用于执行权利要求1-11任一项所述的方法的指令。
CN201880060615.XA 2017-12-15 2018-03-26 图像美学处理方法及电子设备 Active CN111095293B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201711351283 2017-12-15
CN2017113512834 2017-12-15
PCT/CN2018/080533 WO2019114147A1 (zh) 2017-12-15 2018-03-26 图像美学处理方法及电子设备

Publications (2)

Publication Number Publication Date
CN111095293A CN111095293A (zh) 2020-05-01
CN111095293B true CN111095293B (zh) 2023-09-12

Family

ID=66819909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880060615.XA Active CN111095293B (zh) 2017-12-15 2018-03-26 图像美学处理方法及电子设备

Country Status (3)

Country Link
US (1) US11314988B2 (zh)
CN (1) CN111095293B (zh)
WO (1) WO2019114147A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11367222B2 (en) * 2018-04-20 2022-06-21 Hewlett-Packard Development Company, L.P. Three-dimensional shape classification and retrieval using convolutional neural networks and majority vote
US11531840B2 (en) * 2019-02-08 2022-12-20 Vizit Labs, Inc. Systems, methods, and storage media for training a model for image evaluation
US10467504B1 (en) 2019-02-08 2019-11-05 Adhark, Inc. Systems, methods, and storage media for evaluating digital images
CN110610479B (zh) * 2019-07-31 2024-05-03 花瓣云科技有限公司 一种对象评分方法及装置
CN111340073A (zh) * 2020-02-12 2020-06-26 杭州涂鸦信息技术有限公司 一种图像等级评判的深度学习训练方法及系统
CN113704525A (zh) * 2020-05-22 2021-11-26 北京搜狗科技发展有限公司 一种搜索方法、装置和电子设备
US11494886B2 (en) * 2020-05-29 2022-11-08 Adobe Inc. Hierarchical multiclass exposure defects classification in images
CN113744012A (zh) * 2020-08-10 2021-12-03 北京沃东天骏信息技术有限公司 一种信息处理方法、装置和存储介质
CN112418295A (zh) * 2020-11-18 2021-02-26 北京三快在线科技有限公司 图像处理方法、装置、设备及存储介质
CN112559884B (zh) * 2020-12-25 2023-09-26 北京百度网讯科技有限公司 全景图与兴趣点挂接的方法、装置、电子设备及存储介质
CN112650870A (zh) * 2020-12-30 2021-04-13 北京天广汇通科技有限公司 一种训练图片排序模型的方法、图片排序的方法以及装置
CN112839167B (zh) * 2020-12-30 2023-06-30 Oppo（重庆）智能科技有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN112967358A (zh) * 2021-03-08 2021-06-15 上海微电机研究所(中国电子科技集团公司第二十一研究所) 基于美学质量的数字相册筛选方法、装置和电子设备
CN113012153A (zh) * 2021-04-30 2021-06-22 武汉纺织大学 一种铝型材瑕疵检测方法
CN114970654B (zh) * 2021-05-21 2023-04-18 华为技术有限公司 数据处理方法、装置和终端
CN114283083B (zh) * 2021-12-22 2024-05-10 杭州电子科技大学 一种基于解耦表示的场景生成模型的美学增强方法
CN114494130A (zh) * 2021-12-24 2022-05-13 吉林建筑大学 一种基于最优模型评价准则的产品美学评价体系
CN114324361B (zh) * 2021-12-31 2024-03-15 大连理工大学 一种金相组织劣化评级方法及装置
CN116452904B (zh) * 2023-02-10 2023-09-15 北京航空航天大学 图像美学质量确定方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107018330A (zh) * 2017-04-19 2017-08-04 中国电子科技集团公司电子科学研究院 一种实时拍照指导方法及装置
CN107146198A (zh) * 2017-04-19 2017-09-08 中国电子科技集团公司电子科学研究院 一种照片智能裁剪方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9659384B2 (en) * 2014-10-03 2017-05-23 EyeEm Mobile GmbH. Systems, methods, and computer program products for searching and sorting images by aesthetic quality
CN104333707B (zh) * 2014-11-25 2017-10-10 广东威创视讯科技股份有限公司 相机参数调整方法和系统
US9613058B2 (en) * 2014-12-17 2017-04-04 Adobe Systems Incorporated Neural network image curation control
CN105528757B (zh) 2015-12-08 2019-01-29 华南理工大学 一种基于内容的图像美学质量提升方法
CN105787510A (zh) * 2016-02-26 2016-07-20 华东理工大学 基于深度学习实现地铁场景分类的系统及方法
US10455408B2 (en) * 2016-05-31 2019-10-22 Samsung Electronics Co., Ltd. Network use method using virtual SIM and apparatus therefor
CN107169586A (zh) * 2017-03-29 2017-09-15 北京百度网讯科技有限公司 基于人工智能的资源组合优化方法、装置及存储介质
CN107153838A (zh) * 2017-04-19 2017-09-12 中国电子科技集团公司电子科学研究院 一种照片自动分级方法及装置
US10521705B2 (en) * 2017-11-14 2019-12-31 Adobe Inc. Automatically selecting images using multicontext aware ratings

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107018330A (zh) * 2017-04-19 2017-08-04 中国电子科技集团公司电子科学研究院 一种实时拍照指导方法及装置
CN107146198A (zh) * 2017-04-19 2017-09-08 中国电子科技集团公司电子科学研究院 一种照片智能裁剪方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谢燕娟等.特征互补的图像美学质量评分方法.《模式识别与人工智能》.2017,第30卷(第30期),第865-873页. *

Also Published As

Publication number Publication date
US20210182613A1 (en) 2021-06-17
WO2019114147A1 (zh) 2019-06-20
CN111095293A (zh) 2020-05-01
US11314988B2 (en) 2022-04-26

Similar Documents

Publication Publication Date Title
CN111095293B (zh) 图像美学处理方法及电子设备
CN112052787B (zh) 基于人工智能的目标检测方法、装置及电子设备
CN110188641B (zh) 图像识别和神经网络模型的训练方法、装置和系统
CN108140032B (zh) 用于自动视频概括的设备和方法
Kao et al. Hierarchical aesthetic quality assessment using deep convolutional neural networks
CN110765860B (zh) 摔倒判定方法、装置、计算机设备及存储介质
CN112445823A (zh) 神经网络结构的搜索方法、图像处理方法和装置
CN109829391B (zh) 基于级联卷积网络和对抗学习的显著性目标检测方法
CN107683469A (zh) 一种基于深度学习的产品分类方法及装置
CN109871821B (zh) 自适应网络的行人重识别方法、装置、设备及存储介质
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
WO2020205049A1 (en) N-ary relation prediction over text spans
CN107909038B (zh) 一种社交关系分类模型训练方法、装置、电子设备及介质
CN112084917A (zh) 一种活体检测方法及装置
CN113761359B (zh) 数据包推荐方法、装置、电子设备和存储介质
CN112115805A (zh) 带双模态难挖掘三元-中心损失的行人重识别方法及系统
CN114241587B (zh) 人脸活体检测对抗鲁棒性的评估方法及装置
CN112052816A (zh) 基于自适应图卷积对抗网络的人体行为预测方法及系统
US20070016576A1 (en) Method and apparatus for blocking objectionable multimedia information
CN112116589A (zh) 虚拟形象的评测方法、装置、设备及计算机可读存储介质
Neggaz et al. Boosting Archimedes optimization algorithm using trigonometric operators based on feature selection for facial analysis
KR101961462B1 (ko) 객체 인식 방법 및 장치
CN110135428A (zh) 图像分割处理方法和装置
CN110866866B (zh) 图像仿色处理方法、装置、电子设备及存储介质
Dong et al. Scene-oriented hierarchical classification of blurry and noisy images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant