CN109978836A - 基于元学习的用户个性化图像美感评价方法、系统、介质和设备 - Google Patents

基于元学习的用户个性化图像美感评价方法、系统、介质和设备 Download PDF

Info

Publication number
CN109978836A
CN109978836A CN201910166317.5A CN201910166317A CN109978836A CN 109978836 A CN109978836 A CN 109978836A CN 201910166317 A CN201910166317 A CN 201910166317A CN 109978836 A CN109978836 A CN 109978836A
Authority
CN
China
Prior art keywords
user
individual image
image
parameter
user individual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910166317.5A
Other languages
English (en)
Other versions
CN109978836B (zh
Inventor
王伟凝
苏俊杰
李乐敏
邓芮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910166317.5A priority Critical patent/CN109978836B/zh
Publication of CN109978836A publication Critical patent/CN109978836A/zh
Application granted granted Critical
Publication of CN109978836B publication Critical patent/CN109978836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种基于元学习的用户个性化图像美感评价方法、系统、介质和设备，该方法具体步骤为：获取通用美感模型；获取图像深度特征；构建用户个性化图像美感评价模型和元学习器学习策略；训练元学习器：采用训练用户图像及其用户评分作为训练数据，对元学习器的参数进行优化；用户提供图像以及用户评分，采用元学习器获取用户个性化图像美感评价模型参数；采用通用美感模型以及用户个性化图像美感评价模型预测用户个性化图像美感评分。本发明根据已有的训练任务集，训练能快速适应由少量数据所构成的新任务模型，在用户提供不同图片数目时，均能得到很好的用户个性化图像美感评分性能，也对用户间的关联进行有效利用。

Description

基于元学习的用户个性化图像美感评价方法、系统、介质和 设备
技术领域
本发明涉及计算机视觉的技术领域，具体涉及一种基于元学习的用户个性化图像美感评价方法、用户个性化图像美感评价系统、介质和设备。
背景技术
图像美感评估在深度学习的帮助下取得了长足的进步，而基于用户的个性化图像美感评估并未能相应地取得突破。受限于较小的用户数据数量，常见的深度学习方法无法直接用于用户的个性化图像美感评估，特别是对于新用户的个性化图像美感评估这一问题上。因此，用户个性化图像美感评价是一项非常具有挑战性的任务。
现有的用户个性化图像美感评价多集中在对已有用户的个性化建模上，对于新用户，特别是用户图像数量较少的新用户，较难快速建立用户个性化评分模型。
针对只有少量图像的新用户，现有技术通过构建通用美感模型与用户偏好模型，利用维度较小的图像的内容特征与美学属性特征，利用SVR算法建立用户个性化评分模型。上述方法，为了适应较少的图像数量，对图像特征进行降维，损失了图像信息，且将用户进行了隔离，没有对不同用户之间的联系进行利用。现有的方法受限于用户只评分图片，样本数量过少，无法利用潜在的相似美感偏好用户的信息。
发明内容
为了克服现有技术存在的缺陷，本发明提供一种基于元学习的用户个性化图像美感评价方法，在使用相同图像特征的情况下，能更充分地利用图像特征的信息，所预测的用户个性化图像评分的排序相关性取得较大的提升。
本发明的第二目的在提供一种基于元学习的用户个性化图像美感评价系统。
本发明的第三目的在于提供一种存储介质。
本发明的第四目的在于提供一种计算设备。
为了达到上述目的，本发明采用以下技术方案：
一种基于元学习的用户个性化图像美感评价方法，包括下述步骤：
S1：获取通用美感模型：根据数据集内图像的平均美感评分作为训练标签，采用深度卷积神经网络训练得到通用美感模型；
S2：获取图像深度特征：采用特定任务下的深度卷积神经网络的中间输出作为图像深度特征；
S3：构建用户个性化图像美感评价模型和元学习器学习策略，所述用户个性化图像美感评价模型根据图像深度特征为输入，图像对应的分数作为输出，所述元学习器学习策略将训练用户图像以及训练用户评分作为输入，对用户个性化图像美感评价模型的参数进行更新；
S4：训练元学习器：采用训练用户图像及训练用户评分作为训练数据，对元学习器的参数进行优化；
S5：用户提供图像以及用户评分，采用元学习器获取用户个性化图像美感评价模型参数；
S6：采用通用美感模型获得图像的通用美感评分预测，使用用户个性化图像美感评价模型获得图像的用户个性化图像美感评分偏差预测，将两者相加的结果作为需要预测的用户个性化图像美感评分。
作为优选的技术方案，步骤S3中所述构建用户个性化图像美感评价模型，具体是建立一个两层的线性网络，第一层网络输入为图像深度特征，第一层网络输出作为第二层网络输入，第二层网络输出为用户个性化图像美感评价的预测值。
作为优选的技术方案，步骤S3中所述元学习器学习策略的具体实施方式，将用户个性化图像美感评价模型的参数记为θt，具体公式为：
其中，Ltr表示用户个性化图像美感评价模型对多张用户图像训练集的预测损失均值；表示计算损失时用户个性化图像美感评价模型各参数的梯度；表示用户个性化图像美感评价模型对多张用户图像训练集的预测损失的方差；表示伪学习率；Φwd表示伪正则化系数；σ为Sigmoid函数；γ、η、μ是固定参数；式中的下标t表明一个循环迭代的过程，参数下标的不同的t的值代表了不同迭代次序下对应参数的值；t的取值范围为1到N，具体的N的取值根据情况选定；t＝1时的θt-1、it-1以及WI、bI均为元学习器的内部参数，在构建学习策略时需要进行参数初始化。
作为优选的技术方案，步骤S4中所述训练元学习器，具体步骤如下所述：
S41：使用通用美感模型与训练用户提供的用户评分获得训练用户的个性化评分偏差；
S42：依次挑选某个训练用户，对其用户图像集进行随机挑选，划分用户图像训练集以及用户图像测试集；
S43：采用元学习器对用户个性化图像美感评价模型参数进行初始化；
S44：采用用户个性化图像美感评价模型预测用户图像训练集的美感分数偏差，得到相应的预测损失均值、预测损失标准差以及用户个性化图像美感评价模型各参数的梯度；
S45：采用元学习器的学习策略对用户个性化图像美感模型的参数进行更新；
S46：循环执行步骤S44-S45，直到达到预设的条件；
S47：将最后使用元学习器学习策略所更新得到的参数设置为此时的用户个性化图像美感模型参数，以用户图像测试集为输入得到用户个性化图像预测评分偏差，计算与实际偏差的均方误差，得到预测损失，并据此计算元学习器中的参数计算梯度，利用已有优化器的优化公式对元学习器中的参数进行优化；
S48：循环执行步骤S42-S47，直到所有的训练用户被选出；
S49：循环执行步骤S42-S48，直到达到指定的迭代次数。
作为优选的技术方案，步骤S47中所述的采用用户图像测试集预测损失，对元学习器中的参数进行优化，损失函数采用均方误差损失函数，参数优化器采用Adam优化器。
作为优选的技术方案，步骤S5中所述的采用元学习器获取用户个性化图像美感评价模型参数，具体步骤如下所述：
S51：使用通用美感模型与用户提供的用户评分获得用户的个性化评分偏差；
S52：采用元学习器对用户个性化图像美感评价模型参数进行初始化；
S53：采用用户个性化图像美感评价模型预测用户图像训练集的美感分数偏差，得到相应的预测损失均值、预测损失标准差、以及用户个性化图像美感评价模型各参数的梯度；
S54：采用元学习器的学习策略对用户个性化图像美感模型的参数进行更新；
S55：循环执行步骤S53-S54，直至达到预设的条件；
S56：将元学习器最终获得的用户个性化图像美感模型的参数作为需要获取的用户个性化图像美感评价模型参数。
为了到达上述第二目的，本发明采用以下技术方案：
一种基于元学习的用户个性化图像美感评价系统，包括：
通用美感模型获取模块，用于根据数据集内图像的平均美感评分作为训练标签，采用深度卷积神经网络训练得到通用美感模型；
图像深度特征获取模块，用于将特定任务下的深度卷积神经网络的中间输出作为图像深度特征；
用户个性化图像美感评价模型和元学习器学习策略构建模块，用于根据图像深度特征为输入，图像对应的分数作为输出构建用户个性化图像美感评价模型、根据伪学习率和伪正则化系数构建元学习器学习策略；
元学习器训练模块，用于将训练用户图像及其用户评分作为训练数据，对元学习器的参数进行优化；
用户个性化图像美感评价模型参数获取模块，用于将用户提供的图像以及用户评分，通过元学习器获取用户个性化图像美感评价模型参数；
用户个性化图像美感评分预测模块，用于通过通用美感模型获得图像的通用美感评分预测，使用用户个性化图像美感评价模型获得图像的用户个性化图像美感评分偏差预测，将两者相加的结果作为需要预测的用户个性化图像美感评分。
作为优选的技术方案，所述用户个性化图像美感评价模型参数获取模块包括：
评分偏差计算单元，用于通过通用美感模型与用户提供的用户评分获得用户的个性化评分偏差；
参数初始化单元，用于采用元学习器对用户个性化图像美感评价模型参数进行初始化；
美感分数偏差预测单元，用于通过用户个性化图像美感评价模型预测用户图像训练集的美感分数偏差，得到相应的预测损失均值、预测损失标准差、以及用户个性化图像美感评价模型各参数的梯度；
参数更新单元，用于通过元学习器的学习策略对用户个性化图像美感模型的参数进行更新；
循环执行单元，用于循环执行美感分数偏差预测、参数更新，直至达到预设条件；
参数输出单元，用于将元学习器最终获得的用户个性化图像美感模型的参数作为需要获取的用户个性化图像美感评价模型参数输出。
为了达到上述第三目的，本发明采用以下技术方案：
一种存储介质，存储有程序，所述程序被处理器执行时实现基于元学习的用户个性化图像美感评价方法。
为了达到上述第四目的，本发明采用以下技术方案：
一种计算设备，包括处理器和用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现基于元学习的用户个性化图像美感评价方法。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明构建新的元学习器的学习策略，将循环机制与梯度下降机制结合起来，在使用相同图像特征的情况下，能更充分地利用图像特征的信息，所预测的用户个性化图像评分的排序相关性取得较大的提升。
(2)本发明将用户个性化图像美感评价模型构建成适用于元学习的形式，解决了用户数据量过少以及忽略用户之间的联系等的问题，达到了更好的用户美感个性化建模的效果。
(3)本发明针对用户提供图像数目的多种场景，设计了自适应的正则化参数(伪正则化系数)，增强了模型的泛用性，在用户提供不同数目的评分图片的情况下，性能都能取得了较大的提升。
附图说明
图1为本发明的实施例1元学习器模型训练流程图；
图2为本发明的实施例1用户个性化图像美感评价模型流程图；
图3为本发明的实施例2用户个性化图像美感评价系统的方框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
在本实施例中，提供一种基于元学习的用户个性化图像美感评价方法，包括下述步骤：
S1：获取通用美感模型：是以数据集内图像的平均美感评分作为训练标签，使用深度卷积神经网络训练得到的模型，在本实施例中，所述深度卷积神经网络使用了Rao等人改进后的bninception网络，所述的数据集为FLICKR-AES数据集。本实施例中虽然使用了上述的深度卷积神经网络，但实际上对使用的卷积神经网络的具体结构并无特别的限制，只要是能对一张输入图像给出一个预测分数的网络结构均可使用本发明所给出的方法。
S2：获取图像深度特征：是指使用特定任务下的深度卷积神经网络的中间输出；具体使用了Ioffe等人的bninception网络[S.Ioffe and C.Szegedy.Batch normalization:Accelerating deep network training by reducing internal covariate shift]。该网络的结构是一个多层的卷积网络。前几层均为单个卷积结构，后面的卷积层连接了多个不同深度的多层卷积结构分支，并在最后拼接在一起，作为下一层的输入。同时，每个卷积结构后还引入了批正则化的结构。本实例中的网络的参数是在一个大规模的图像数据集ImageNet上训练得到的。在本实施例中，取该网络最后一个全连接层的输入值作为图像深度特征，该特征是一个1024维的特征。本实施例中虽然使用了上述的深度卷积神经网络以及相应输出，但实际上对使用的卷积神经网络的具体结构并无特别的限制，只要是存在大小为一维向量的中间层的网络均可使用本发明所给出的方法。
S3：构建用户个性化图像美感评价模型和元学习器学习策略；用户个性化图像美感评价模型是指以图像深度特征为输入，以图像对应的分数作为输出的模型，所述元学习器学习策略将训练用户图像以及训练用户评分作为输入，对用户个性化图像美感评价模型的参数进行更新；；
在本实施例中，所述构建用户个性化图像美感评价模型，具体是建立一个两层的线性网络，第一层网络输入为1024维，输出为30维的线性网络，第二层网络输入为30维，输出为1维的线性网络。上述两个网络都有一个偏置参数。第一层网络输入为图像深度特征，第一层网络输出作为第二层网络输入，第二层网络输出为用户个性化图像美感评价的预测值；
在本实施例中，所述元学习器学习策略的具体公式为：
其中，Ltr表示用户个性化图像美感评价模型对多张用户图像训练集的预测损失均值；表示计算损失时用户个性化图像美感评价模型各参数的梯度；表示用户个性化图像美感评价模型对多张用户图像训练集的预测损失的方差；表示伪学习率；Φwd表示伪正则化系数；σ为Sigmoid函数；γ、η、μ是固定参数；式中的下标t表明一个循环迭代的过程，参数下标的不同的t的值代表了不同迭代次序下对应参数的值；t的取值范围为1到N，具体的N的取值根据情况选定；t＝1时的θ0、i0以及WI、bI均为元学习器的内部参数，在构建学习策略时需要进行参数初始化；
S4：训练元学习器：采用训练用户图像及其用户评分作为训练数据，对元学习器的参数进行优化；
如图1所示，所述训练元学习器，具体步骤如下所述：
S41：使用通用美感模型与训练用户提供的用户评分获得训练用户的个性化评分偏差，
S42：依次挑选某个用户，对其用户图像集进行随机挑选，得到不重复的用户图像训练集以及用户图像测试集；其中用户图像测试集为32张图像，用户图像训练集根据不同的场景可设为10张或100张等。
S43：采用元学习器对用户个性化图像美感评价模型参数进行初始化；
S44：采用用户个性化图像美感评价模型预测用户图像训练集的美感分数偏差，得到相应的预测损失均值、预测损失标准差以及用户个性化图像美感评价模型各参数的梯度；
S45：采用元学习器的学习策略对用户个性化图像美感模型的参数进行更新。
S46：循环执行步骤S44-S45，直到达到预设的条件，这个条件包括但不限于指定的循环次数，循环次数可设为20次；
S47：采用用户图像测试集预对元学习器中的参数进行优化；损失函数采用的是均方误差损失函数，参数优化器采用的是Adam优化器，
S48：循环执行步骤S42-S47，直到选出所有用户；
S49：循环执行步骤S42-S48，直到达到指定的迭代次数，迭代次数可设为10次；
S5：用户提供图像以及用户评分，采用元学习器获取用户个性化图像美感评价模型参数；
如图2所示，根据不同的使用场景，用户提供相应数量图像以及用户评分评分作为用户训练集，使用元学习器获取用户个性化图像美感评价模型参数，具体步骤如下所述：
S51：使用通用美感模型与用户提供的用户评分获得用户的个性化评分偏差；
S52：采用元学习器对用户个性化图像美感评价模型参数进行初始化；
S53：采用用户个性化图像美感评价模型预测用户图像训练集的美感分数偏差，得到相应的预测损失均值、预测损失标准差、以及用户个性化图像美感评价模型各参数的梯度；
S54：采用元学习器的学习策略对用户个性化图像美感模型的参数进行更新；
S55：循环执行步骤S53-S54，直至达到预设的条件，本实施例中，预设的条件与步骤S46提及的预设条件一致，循环次数均可设为20次；
S56：将元学习器最终获得的用户个性化图像美感模型的参数作为需要获取的用户个性化图像美感评价模型参数；
S6：使用通用美感模型以及用户个性化图像美感评价模型预测用户个性化图像美感评分；具体指使用通用美感模型获得图像的通用美感评分预测，使用用户个性化图像美感评价模型获得图像的用户个性化图像美感评分偏差预测，将两者相加的结果作为需要预测的用户个性化图像美感评分。
实施例2
如图3所示，本实施例中还提供一种基于元学习的用户个性化图像美感评价系统，包括：
通用美感模型获取模块，用于根据数据集内图像的平均美感评分作为训练标签，采用深度卷积神经网络训练得到通用美感模型；
图像深度特征获取模块，用于将特定任务下的深度卷积神经网络的中间输出作为图像深度特征；
用户个性化图像美感评价模型和元学习器学习策略构建模块，用于根据图像深度特征为输入，图像对应的分数作为输出构建用户个性化图像美感评价模型、根据伪学习率和伪正则化系数构建元学习器学习策略；
元学习器训练模块，用于将训练用户图像及其用户评分作为训练数据，对元学习器的参数进行优化；
用户个性化图像美感评价模型参数获取模块，用于将用户提供的图像以及用户评分，通过元学习器获取用户个性化图像美感评价模型参数；
用户个性化图像美感评分预测模块，用于通过通用美感模型获得图像的通用美感评分预测，使用用户个性化图像美感评价模型获得图像的用户个性化图像美感评分偏差预测，将两者相加的结果作为需要预测的用户个性化图像美感评分。
在本实施例中，基于元学习的少样本学习指根据已有的训练任务集，训练一个能够快速适应由少量数据所构成的新任务的模型。元学习模型的输出是一个以任务中的样本为输入的模型。元学习模型内部通过一个元学习策略模拟了对所需要输出的模型的参数优化这一步骤。元学习模型的参数优化指的是优化元学习策略中的各个参数。元学习作为一种框架性的方法，主要应用在少样本学习、强化学习等领域。
在本实施例中，根据已有的训练任务集，训练能快速适应由少量数据所构成的新任务模型，在用户提供不同图片数目时，均能得到很好的用户个性化图像美感评分性能，也对用户间的关联进行有效利用。
实施例3
本实施例还提供一种存储介质，存储介质可以是ROM、RAM、磁盘、光盘等储存介质，该存储介质存储有一个或多个程序，所述程序被处理器执行时，实现实施例1基于元学习的用户个性化图像美感评价方法：
S1：获取通用美感模型：根据数据集内图像的平均美感评分作为训练标签，采用深度卷积神经网络训练得到通用美感模型；
S2：获取图像深度特征：采用特定任务下的深度卷积神经网络的中间输出作为图像深度特征；
S3：构建用户个性化图像美感评价模型和元学习器学习策略，所述用户个性化图像美感评价模型根据图像深度特征为输入，图像对应的分数作为输出，所述元学习器学习策略将训练用户图像以及训练用户评分作为输入，对用户个性化图像美感评价模型的参数进行更新；
S4：训练元学习器：采用训练用户图像及训练用户评分作为训练数据，对元学习器的参数进行优化；
S5：用户提供图像以及用户评分，采用元学习器获取用户个性化图像美感评价模型参数；
S6：采用通用美感模型获得图像的通用美感评分预测，使用用户个性化图像美感评价模型获得图像的用户个性化图像美感评分偏差预测，将两者相加的结果作为需要预测的用户个性化图像美感评分。
实施例4
本实施例还提供一种计算设备，该计算设备包括该计算设备包括处理器和存储器，存储器存储有一个或多个程序，处理器执行存储器存储的程序时，实现上述基于元学习的用户个性化图像美感评价方法，该方法包括下述步骤：
S1：获取通用美感模型：根据数据集内图像的平均美感评分作为训练标签，采用深度卷积神经网络训练得到通用美感模型；
S2：获取图像深度特征：采用特定任务下的深度卷积神经网络的中间输出作为图像深度特征；
S3：构建用户个性化图像美感评价模型和元学习器学习策略，所述用户个性化图像美感评价模型根据图像深度特征为输入，图像对应的分数作为输出，所述元学习器学习策略将训练用户图像以及训练用户评分作为输入，对用户个性化图像美感评价模型的参数进行更新；
S4：训练元学习器：采用训练用户图像及训练用户评分作为训练数据，对元学习器的参数进行优化；
S5：用户提供图像以及用户评分，采用元学习器获取用户个性化图像美感评价模型参数；
S6：采用通用美感模型获得图像的通用美感评分预测，使用用户个性化图像美感评价模型获得图像的用户个性化图像美感评分偏差预测，将两者相加的结果作为需要预测的用户个性化图像美感评分。
所述的计算设备可以是台式电脑、笔记本电脑、智能手机、PDA手持终端、平板电脑或其他具有显示功能的终端设备。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于元学习的用户个性化图像美感评价方法，其特征在于，包括下述步骤：
S1：获取通用美感模型：根据数据集内图像的平均美感评分作为训练标签，采用深度卷积神经网络训练得到通用美感模型；
S2：获取图像深度特征：采用特定任务下的深度卷积神经网络的中间输出作为图像深度特征；
S3：构建用户个性化图像美感评价模型和元学习器学习策略，所述用户个性化图像美感评价模型根据图像深度特征为输入，图像对应的分数作为输出，所述元学习器学习策略将训练用户图像以及训练用户评分作为输入，对用户个性化图像美感评价模型的参数进行更新；
S4：训练元学习器：采用训练用户图像及训练用户评分作为训练数据，对元学习器的参数进行优化；
S5：用户提供图像以及用户评分，采用元学习器获取用户个性化图像美感评价模型参数；
S6：采用通用美感模型获得图像的通用美感评分预测，使用用户个性化图像美感评价模型获得图像的用户个性化图像美感评分偏差预测，将两者相加的结果作为需要预测的用户个性化图像美感评分。
2.根据权利要求1所述的基于元学习的用户个性化图像美感评价方法，其特征在于，步骤S3中所述构建用户个性化图像美感评价模型，具体是建立一个两层的线性网络，第一层网络输入为图像深度特征，第一层网络输出作为第二层网络输入，第二层网络输出为用户个性化图像美感评价的预测值。
3.根据权利要求1或2所述的基于元学习的用户个性化图像美感评价方法，其特征在于，步骤S3中所述元学习器学习策略的具体实施方式，将用户个性化图像美感评价模型的参数记为θt，具体公式为：
其中，Ltr表示用户个性化图像美感评价模型对多张用户图像训练集的预测损失均值；表示计算损失时用户个性化图像美感评价模型各参数的梯度；表示用户个性化图像美感评价模型对多张用户图像训练集的预测损失的方差；表示伪学习率；Φwd表示伪正则化系数；σ为Sigmoid函数；γ、η、μ是固定参数；式中的下标t表明一个循环迭代的过程，参数下标的不同的t的值代表了不同迭代次序下对应参数的值；t的取值范围为1到N，具体的N的取值根据情况选定；t＝1时的θt-1、it-1以及WI、bI均为元学习器的内部参数，在构建学习策略时需要进行参数初始化。
4.根据权利要求1所述的基于元学习的用户个性化图像美感评价方法，其特征在于，步骤S4中所述训练元学习器，具体步骤如下所述：
S41：使用通用美感模型与训练用户提供的用户评分获得训练用户的个性化评分偏差；
S42：依次挑选某个训练用户，对其用户图像集进行随机挑选，划分用户图像训练集以及用户图像测试集；
S43：采用元学习器对用户个性化图像美感评价模型参数进行初始化；
S44：采用用户个性化图像美感评价模型预测用户图像训练集的美感分数偏差，得到相应的预测损失均值、预测损失标准差以及用户个性化图像美感评价模型各参数的梯度；
S45：采用元学习器的学习策略对用户个性化图像美感模型的参数进行更新；
S46：循环执行步骤S44-S45，直到达到预设的条件；
S47：将最后使用元学习器学习策略所更新得到的参数设置为此时的用户个性化图像美感模型参数，以用户图像测试集为输入得到用户个性化图像预测评分偏差，计算与实际偏差的均方误差，得到预测损失，并据此计算元学习器中的参数计算梯度，利用已有优化器的优化公式对元学习器中的参数进行优化；
S48：循环执行步骤S42-S47，直到所有的训练用户被选出；
S49：循环执行步骤S42-S48，直到达到指定的迭代次数。
5.根据权利要求4所述的基于元学习的用户个性化图像美感评价方法，其特征在于，步骤S47中所述的采用用户图像测试集预测损失，对元学习器中的参数进行优化，损失函数采用均方误差损失函数，参数优化器采用Adam优化器。
6.根据权利要求1所述的基于元学习的用户个性化图像美感评价方法，其特征在于，步骤S5中所述的采用元学习器获取用户个性化图像美感评价模型参数，具体步骤如下所述：
S51：使用通用美感模型与用户提供的用户评分获得用户的个性化评分偏差；
S52：采用元学习器对用户个性化图像美感评价模型参数进行初始化；
S53：采用用户个性化图像美感评价模型预测用户图像训练集的美感分数偏差，得到相应的预测损失均值、预测损失标准差、以及用户个性化图像美感评价模型各参数的梯度；
S54：采用元学习器的学习策略对用户个性化图像美感模型的参数进行更新；
S55：循环执行步骤S53-S54，直至达到预设的条件；
S56：将元学习器最终获得的用户个性化图像美感模型的参数作为需要获取的用户个性化图像美感评价模型参数。
7.一种基于元学习的用户个性化图像美感评价系统，其特征在于，包括：
通用美感模型获取模块，用于根据数据集内图像的平均美感评分作为训练标签，采用深度卷积神经网络训练得到通用美感模型；
图像深度特征获取模块，用于将特定任务下的深度卷积神经网络的中间输出作为图像深度特征；
用户个性化图像美感评价模型和元学习器学习策略构建模块，用于根据图像深度特征为输入，图像对应的分数作为输出构建用户个性化图像美感评价模型、根据伪学习率和伪正则化系数构建元学习器学习策略；
元学习器训练模块，用于将训练用户图像及其用户评分作为训练数据，对元学习器的参数进行优化；
用户个性化图像美感评价模型参数获取模块，用于将用户提供的图像以及用户评分，通过元学习器获取用户个性化图像美感评价模型参数；
用户个性化图像美感评分预测模块，用于通过通用美感模型获得图像的通用美感评分预测，使用用户个性化图像美感评价模型获得图像的用户个性化图像美感评分偏差预测，将两者相加的结果作为需要预测的用户个性化图像美感评分。
8.根据权利要求7所述的基于元学习的用户个性化图像美感评价系统，其特征在于，所述用户个性化图像美感评价模型参数获取模块包括：
评分偏差计算单元，用于通过通用美感模型与用户提供的用户评分获得用户的个性化评分偏差；
参数初始化单元，用于采用元学习器对用户个性化图像美感评价模型参数进行初始化；
美感分数偏差预测单元，用于通过用户个性化图像美感评价模型预测用户图像训练集的美感分数偏差，得到相应的预测损失均值、预测损失标准差、以及用户个性化图像美感评价模型各参数的梯度；
参数更新单元，用于通过元学习器的学习策略对用户个性化图像美感模型的参数进行更新；
循环执行单元，用于循环执行美感分数偏差预测、参数更新，直至达到预设条件；
参数输出单元，用于将元学习器最终获得的用户个性化图像美感模型的参数作为需要获取的用户个性化图像美感评价模型参数输出。
9.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6任一项所述的基于元学习的用户个性化图像美感评价方法。
10.一种计算设备，包括处理器和用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-6任一项所述的基于元学习的用户个性化图像美感评价方法。
CN201910166317.5A 2019-03-06 2019-03-06 基于元学习的用户个性化图像美感评价方法、系统、介质和设备 Active CN109978836B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910166317.5A CN109978836B (zh) 2019-03-06 2019-03-06 基于元学习的用户个性化图像美感评价方法、系统、介质和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910166317.5A CN109978836B (zh) 2019-03-06 2019-03-06 基于元学习的用户个性化图像美感评价方法、系统、介质和设备

Publications (2)

Publication Number Publication Date
CN109978836A true CN109978836A (zh) 2019-07-05
CN109978836B CN109978836B (zh) 2021-01-19

Family

ID=67078020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910166317.5A Active CN109978836B (zh) 2019-03-06 2019-03-06 基于元学习的用户个性化图像美感评价方法、系统、介质和设备

Country Status (1)

Country Link
CN (1) CN109978836B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110379416A (zh) * 2019-08-15 2019-10-25 腾讯科技（深圳）有限公司 一种神经网络语言模型训练方法、装置、设备及存储介质
CN110689523A (zh) * 2019-09-02 2020-01-14 西安电子科技大学 基于元学习个性化图像信息评价方法、信息数据处理终端
CN110728656A (zh) * 2019-09-06 2020-01-24 西安电子科技大学 基于元学习的无参考图像质量数据处理方法、智能终端
CN111145310A (zh) * 2019-12-27 2020-05-12 北京奇艺世纪科技有限公司 一种海报生成方法及装置
CN111199540A (zh) * 2019-12-27 2020-05-26 Oppo广东移动通信有限公司 图像质量评价方法、装置、电子设备及存储介质
CN111461249A (zh) * 2020-04-09 2020-07-28 上海城诗信息科技有限公司 一种照片打分分析方法及系统
CN111862061A (zh) * 2020-07-27 2020-10-30 携程旅游网络技术（上海）有限公司 图片美学质量的评估方法、系统、设备和介质
CN112487169A (zh) * 2020-12-11 2021-03-12 北京邮电大学 一种基于元学习的个性化对话改写方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680121A (zh) * 2013-11-27 2015-06-03 腾讯科技（深圳）有限公司 一种人脸图像的处理方法及装置
CN105069122A (zh) * 2015-08-12 2015-11-18 天津大学 一种基于用户行为的个性化推荐方法及其推荐装置
CN107944035A (zh) * 2017-12-13 2018-04-20 合肥工业大学 一种融合视觉特征和用户评分的图像推荐方法
CN108304435A (zh) * 2017-09-08 2018-07-20 腾讯科技（深圳）有限公司 信息推荐方法、装置、计算机设备及存储介质
CN108492290A (zh) * 2018-03-19 2018-09-04 携程计算机技术（上海）有限公司 图像评价方法及系统
CN108985899A (zh) * 2018-07-13 2018-12-11 合肥工业大学 基于cnn-lfm模型的推荐方法、系统及存储介质
US20190026609A1 (en) * 2017-07-24 2019-01-24 Adobe Systems Incorporated Personalized Digital Image Aesthetics in a Digital Medium Environment

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680121A (zh) * 2013-11-27 2015-06-03 腾讯科技（深圳）有限公司 一种人脸图像的处理方法及装置
CN105069122A (zh) * 2015-08-12 2015-11-18 天津大学 一种基于用户行为的个性化推荐方法及其推荐装置
US20190026609A1 (en) * 2017-07-24 2019-01-24 Adobe Systems Incorporated Personalized Digital Image Aesthetics in a Digital Medium Environment
CN108304435A (zh) * 2017-09-08 2018-07-20 腾讯科技（深圳）有限公司 信息推荐方法、装置、计算机设备及存储介质
CN107944035A (zh) * 2017-12-13 2018-04-20 合肥工业大学 一种融合视觉特征和用户评分的图像推荐方法
CN108492290A (zh) * 2018-03-19 2018-09-04 携程计算机技术（上海）有限公司 图像评价方法及系统
CN108985899A (zh) * 2018-07-13 2018-12-11 合肥工业大学 基于cnn-lfm模型的推荐方法、系统及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIAN REN ; XIAOHUI SHEN ; ZHE LIN ; RADOMÍR MECH ; DAVID J. FORA: "《Personalized Image Aesthetics》", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110379416A (zh) * 2019-08-15 2019-10-25 腾讯科技（深圳）有限公司 一种神经网络语言模型训练方法、装置、设备及存储介质
CN110379416B (zh) * 2019-08-15 2021-10-22 腾讯科技（深圳）有限公司 一种神经网络语言模型训练方法、装置、设备及存储介质
CN110689523A (zh) * 2019-09-02 2020-01-14 西安电子科技大学 基于元学习个性化图像信息评价方法、信息数据处理终端
CN110728656A (zh) * 2019-09-06 2020-01-24 西安电子科技大学 基于元学习的无参考图像质量数据处理方法、智能终端
CN111145310A (zh) * 2019-12-27 2020-05-12 北京奇艺世纪科技有限公司 一种海报生成方法及装置
CN111199540A (zh) * 2019-12-27 2020-05-26 Oppo广东移动通信有限公司 图像质量评价方法、装置、电子设备及存储介质
CN111461249A (zh) * 2020-04-09 2020-07-28 上海城诗信息科技有限公司 一种照片打分分析方法及系统
CN111862061A (zh) * 2020-07-27 2020-10-30 携程旅游网络技术（上海）有限公司 图片美学质量的评估方法、系统、设备和介质
CN112487169A (zh) * 2020-12-11 2021-03-12 北京邮电大学 一种基于元学习的个性化对话改写方法
CN112487169B (zh) * 2020-12-11 2023-02-07 北京邮电大学 一种基于元学习的个性化对话改写方法

Also Published As

Publication number Publication date
CN109978836B (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN109978836A (zh) 基于元学习的用户个性化图像美感评价方法、系统、介质和设备
CN111931062B (zh) 一种信息推荐模型的训练方法和相关装置
CN111797321B (zh) 一种面向不同场景的个性化知识推荐方法及系统
CN108920641A (zh) 一种信息融合个性化推荐方法
CN111949865A (zh) 基于图神经网络与用户长短期偏好的兴趣点推荐方法
CN109657156A (zh) 一种基于循环生成对抗网络的个性化推荐方法
CA3069365A1 (en) Generation of point of interest copy
CN108334592B (zh) 一种基于内容与协同过滤相结合的个性化推荐方法
CN108431833A (zh) 端到端深度协作过滤
US20220171760A1 (en) Data processing method and apparatus, computer-readable storage medium, and electronic device
CN104182543B (zh) 基于相似性传播与流行度降维的混合推荐方法
CN109889923B (zh) 利用结合视频描述的分层自注意力网络总结视频的方法
CN112699310A (zh) 基于深度神经网络的冷启动跨域混合推荐的方法及系统
CN108475256A (zh) 从同现矩阵生成特征嵌入
CN110119479A (zh) 一种餐馆推荐方法、装置、设备及可读存储介质
CN114065048A (zh) 基于多异构图图神经网络的物品推荐方法
CN114817712A (zh) 一种基于多任务学习和知识图谱增强的项目推荐方法
Murrugarra-Llerena et al. Image retrieval with mixed initiative and multimodal feedback
CN115270007A (zh) 一种基于混合图神经网络的poi推荐方法及系统
US20240037133A1 (en) Method and apparatus for recommending cold start object, computer device, and storage medium
CN112313697A (zh) 用于生成描述角度增强的可解释的基于描述的推荐的系统和方法
CN116910375B (zh) 一种基于用户偏好多样性的跨域推荐方法及系统
CN111897999B (zh) 一种用于视频推荐且基于lda的深度学习模型构建方法
CN116975686A (zh) 训练学生模型的方法、行为预测方法和装置
CN112765474B (zh) 一种基于深度协同过滤的推荐方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant