CN117529737A

CN117529737A - 信息处理系统和信息处理方法

Info

Publication number: CN117529737A
Application number: CN202180099149.8A
Authority: CN
Inventors: 西川润; 石井雅人; 成平拓也
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2021-06-15
Filing date: 2021-12-27
Publication date: 2024-02-06
Also published as: WO2022264461A1; JPWO2022264461A1

Abstract

本发明提供了一种信息处理系统，该信息处理系统执行与已经使用机器学习模型生成的数据的主观评价有关的处理。该信息处理系统包括：系统反馈获取单元，获取生成的数据以及基于相对于生成的数据的评价模型的评价信息；系统反馈呈现单元，呈现生成的数据和评价信息；用户反馈获取单元，获取相对于生成的数据或者评价信息的用户评价；以及输出单元，输出已经由用户反馈获取单元获取的用户评价。

Description

信息处理系统和信息处理方法

技术领域

在本说明书中公开的技术(在下文中，“本公开”)涉及执行与使用机器学习模型生成的数据的评价有关的处理的信息处理系统和信息处理方法。

背景技术

机器学习是用于使计算机学习大量数据并自动构建执行数据分类和预测等操作的模型和算法的技术。例如，可以通过机器学习来获得分析诸如图像、语音和文本的数据的识别模型和新生成诸如图像、语音和文本的数据的生成模型。该模型由例如神经网络配置。最近，与其中神经网络被深度学习的深度神经网络(DNN)有关的技术已经被显著地开发。

例如，作为使用机器学习模型的数据生成技术，已知有生成对立网络(GAN)(例如参照非专利文献1)。所述GAN包含产生数据的生成器和识别所述数据的真实性的鉴别器，且所述生成器与所述鉴别器之间的相互学习使得所述生成器能够产生无法由所述鉴别器识别真实性的数据。

另一方面，可能需要反映用户的主观性或偏好的数据。GAN中的鉴别器可以确定数据的真实性，但不能评价用户的主观性。因此，在GAN中，无法生成反映用户主观性和喜好的数据。

此外，已知学习的感知图像块相似性(LPIPS)作为用于评价生成的图像的图像质量的指标，但不是指示生成的图像是否反映用户的主观性或偏好的指标。

现有技术文献

非专利文献

非专利文献1：I.Goodfeller等人，“Generative adversarial nets”,Advancesin neural information processing systems,pp.2672-2680,2014

发明内容

本发明要解决的问题

本公开的目的是提供执行与使用机器学习模型生成的数据的主观评价有关的处理的信息处理系统和信息处理方法。

问题的解决方案

鉴于上述问题而做出本公开，并且其第一方面是一种信息处理系统，包括：

系统反馈获取单元，获取生成数据并且基于用于生成数据的评价模型来获取评价信息；

系统反馈呈现单元，呈现生成数据和评价信息；

用户反馈获取单元，获取对生成数据或评价信息的用户评价；以及

输出单元，输出由用户反馈获取单元获取的用户评价。

然而，如本文所使用的术语“系统”是指多个装置(或实现特定功能的功能模块)的逻辑组件，并且每个装置或功能模块可以在或可以不在单个壳体中。即，包括多个部件或功能模块的一个装置以及多个装置的组件对应于“系统”。

根据第一方面的信息处理系统还包括界面呈现单元，其呈现输入用户评价的界面。

系统反馈获取单元从使用生成模型生成数据并且使用评价模型评价生成数据的一个或多个装置获取生成数据和评价信息。此外，输出单元将用户评价输出至用于对生成数据的生成模型和评价生成数据的评价模型中的每个模型进行更新的装置。

此外，本公开的第二方面是一种信息处理方法，包括：

系统反馈获取步骤，获取生成数据并且基于用于生成数据的评价模型来获取评价信息；

系统反馈呈现步骤，呈现生成数据和评价信息；

用户反馈获取步骤，获取对生成数据或评价信息的用户评价；以及

输出步骤，输出由用户反馈获取步骤所获取的用户评价。

此外，本公开的第三方面是一种信息处理系统，包括：

评价单元，通过使用评价模型生成用于所生成的数据的评价信息；

获取单元，获取针对评价信息的用户评价信息；以及

评价模型更新单元，基于用户评价信息更新评价模型。

根据第三方面的信息处理装置，还包括：生成单元，使用生成模型生成数据；以及生成模型更新单元，基于用户评价信息来更新生成模型，其中，评价单元针对由生成单元生成的数据生成评价信息。

评价单元将评价信息输出到信息终端。然后，获取单元从信息终端获取通过在信息终端上呈现的界面输入的用户评价信息。

此外，本公开的第四方面是一种信息处理方法，包括：

评价步骤，通过使用评价模型生成用于所生成的数据的评价信息；

获取步骤，用于获取针对评价信息的用户评价信息；以及

评价模型更新步骤，基于用户评价信息更新评价模型。

本发明的效果

根据本公开，可以提供用于通过机器学习模型获得用户对模拟主观评价的评价的信息处理系统和信息处理方法，以及用于通过使用机器学习模型生成用于通过使用机器学习模型生成的主观数据的主观评价的信息处理系统和信息处理方法。

应注意，在本说明书中描述的效果仅是示例，并且本公开要带来的效果不限于此。此外，除了上述效果之外，本公开在某些情况下可进一步表现出另外的效果。

通过参考稍后描述的实施方式和附图的进一步详细描述，本公开的又一个目标、特征以及优点将变得清晰。

附图说明

图1是示出数据生成系统100的配置示例的示图。

图2是示出数据生成系统100中的数据生成、评价和学习过程的流程图。

图3是示出数据生成阶段中的生成器101的示图。

图4是示出评价阶段中的生成器101和评价器102的示图。

图5是示出模型更新阶段中的生成模型和评价模型的示图。

图6是示出用于系统反馈和用户反馈的界面的配置示例(第一示例)的示图。

图7是示出在系统反馈和用户反馈中使用的界面的配置示例(第二示例)的示图。

图8是示出在系统反馈和用户反馈中使用的界面的配置示例(第三示例)的示图。

图9是示出在系统反馈和用户反馈中使用的界面的配置示例(第四示例)的示图。

图10是示出用于系统反馈和用户反馈的界面的配置示例(第五示例)的示图。

图11是示出用于系统反馈和用户反馈的界面的配置示例(第六示例)的示图。

图12是示出用于系统反馈和用户反馈的界面的配置示例(第七示例)的示图。

图13是示出用于在相之间传输数据的路径的示图。

图14是示出相之间的具体数据流的示图。

图15是示出信息处理系统1500的配置示例的示图。

具体实施方式

在以下描述中，将参考附图按照以下顺序解释本公开。

A.概述

B.数据生成、评价和学习的过程

C.界面的配置示例

D.数据生成、评价和学习的过程的细节

E.信息处理系统

A.概述

本公开涉及一种用于使用机器学习模型来生成反映用户的主观性和偏好的数据的技术。数据是诸如图像、语音(包括音乐)和文本等各种数据。在下文中，为了方便起见，将描述数据限于图像的实施方式。

GAN是用于通过在生成数据的生成器与标识所生成的数据的真实性的鉴别器之间的相互学习来生成其真实性难以标识的数据的技术。另一方面，本公开是通过使用生成数据的生成器以及评价所生成的特定用户的数据的评价器来生成反映用户的主观性和偏好的数据的技术。

图1示意性地示出了生成反映用户的主观性和偏好的数据的数据生成系统100的配置示例。

数据生成系统100包括生成图像的生成器101和根据用户的主观性或偏好评价生成器101生成的图像的评价器102。生成器101和评价器102中的每个是包括神经网络的机器学习模型，并且通过设置在学习时获取的参数(每个神经元的系数)来生成图像并对所生成的图像执行主观评价。

图1示出了在数据生成阶段的生成器101和在数据评价阶段的评价器102。生成器101包括设置学习时获取的系数的神经网络，接收随机数，并且输出新生成的图像。此外，评价器102包括神经网络，在该神经网络中设置在学习时获取的系数，接收由生成器101生成的图像，并且输出模拟主观评价，在该模拟主观评价中，估计特定用户对所生成的图像的主观评价。

生成器101更新神经网络的系数，使得评价器102对其自身的生成数据的模拟主观评价更好。如果评价器102具有以反映用户的原始主观性和偏好的形式创建的主观评价模型，则生成器101可以通过这样的更新处理学习生成反映用户的主观性和偏好的数据。

在此，在评价器102中使用神经网络对主观评价进行建模，但是存在评价指标受到目的或个体差异的极大影响的问题。因此，期望能够在短时间内以低成本创建针对每个目的不同的主观评价模型，并且更优选地，提供一种以能够反映每个用户的主观性和偏好的形式创建主观评价模型的方法。

例如，现有的数据生成技术中没有反映用户意图的界面或评价指标，如GAN或LPIPS中使用的区分器作为图像质量评价指标。

因此，在本公开中，对于各种元素中的每个，裁剪由生成器101生成的数据并且将其数学建模为评价指标，并且准备用户可以调整每个评价指标的界面。此外，在本公开中，新生成与由生成器101生成的数据相关的生成数据，相对主观地评价这些生成数据，并且对结果进行建模。由生成器101生成的数据(诸如图像)具有各种特征。根据本公开，能够执行其中用户经由接口适当地调整包括在生成数据中的每个特征的增益的详细用户反馈，并且执行其中确定相关生成数据的质量的简单用户反馈。因此，根据本公开，实现了反映大量用户意图的模型评价指标，并且容易实现被视为对用户有利的数据(即，反映用户的主观性和偏好的数据)的自动生成。

B.学习程序

图2以流程图的形式示出了应用本公开的数据生成系统100中的数据生成、评价和学习过程。

在数据生成阶段，生成器101接收随机数并且输出新生成的图像(步骤S201)。

接下来，在生成数据的数据评价阶段中，评价器102接收由生成器101生成的图像并且输出模拟主观评价，该模拟主观评价模拟特定用户对所生成的图像的主观评价(步骤S202)。

接下来，在从数据生成系统100到用户的反馈(系统反馈)阶段中，将生成器101在数据生成阶段中新生成的数据和评价器102在数据评价阶段中针对生成数据输出的模拟主观评价呈现给用户(步骤S203)。

接下来，在用户反馈阶段，用户将生成器101的生成数据和评价器102的模拟主观评价反馈给数据生成系统100(步骤S204)。

在前面的数据评价阶段中，评价器102利用通过将生成数据的特征划分为多个元素而获得的评价指标输出对生成数据的模拟主观评价。在随后的系统反馈阶段中，将针对每个评价指标的模拟主观评价与生成数据一起呈现给用户。然后，在该用户反馈阶段中，用户将每个评价指标的用户自身的主观评价反馈给数据生成系统100。在步骤S203至S204中，准备用于将生成数据和模拟主观评价呈现给用户的界面以及用于输入用户对于生成数据的原始主观评价的界面。用于输入用户自己的主观评价的界面可以是其中用户调整模拟主观评价的每个元素的评价指标的界面。稍后将描述这些接口的细节。

然后，在生成器101和评价器102的模型更新(生成器&评价器更新)阶段中，基于在之前的用户反馈阶段中来自用户的反馈来更新构成生成器101和评价器102的相应神经网络的系数(步骤S205)。

图3示出了数据生成阶段中的生成器101。在数据生成阶段中，在构成生成器101的神经网络中设置在学习时获取的系数，输入随机数，并且输出新生成的数据。

图4示出了在生成数据的数据评价阶段中的评价器102。在生成数据的评价阶段中，在构成评价器102的神经网络中设置在学习时获取的系数，输入生成器101的生成数据，并且输出其中估计用户对生成数据的主观评价的模拟主观评价。

图5示出了在模型更新阶段中的生成模型和评价模型。在学习阶段中，更新构成生成器101和评价器102中的每一个的神经网络的系数(生成器&评价器更新)。在图3所示的示例中，基于生成器101新生成的数据的用户评价(用户反馈)，更新相应神经网络的系数。

具体地，评价器102相对于生成器101的生成数据的模拟主观评价和用户反馈被输入到评价模型。例如，输出模拟主观评价作为通过将生成数据的特征划分为多个元素而获得的评价指标，并且针对每个评价指标的模拟主观评价调整用户反馈。然后，更新神经网络的系数，使得最小化基于相对于模拟主观评价的用户反馈的误差的损失函数。以这种方式，学习评价器102，以便可以获得反映用户的主观性和偏好的模拟主观评价用于生成器101的新生成数据。此外，生成器101输入针对生成器101自身的生成数据的用户反馈，并且更新神经网络的系数，使得用户反馈变得更好。以这种方式，学习生成器101，使得可以生成反映用户的主观性和偏好的数据。

要注意的是，图2中的所有阶段可在单个装置上实现，但是每个阶段的处理可分布并且实现给多个装置。例如，在用户反馈阶段，为了方便用户直接输入的操作，可以想到在用户拥有的信息终端(智能电话、平板电脑、个人计算机等)中实现。另一方面，在数据生成、数据评价、系数更新等的每个阶段中，神经网络被处理，并且计算负荷大。因此，可以想到在云上具有高计算能力的装置中实现神经网络。例如，可以在第一装置中实现生成器101的数据生成和评价器102的评价的每个阶段，可以在第二装置中实现向用户呈现生成数据和模拟的主观数据的系统反馈阶段，并且可以在第三装置中实现基于用户反馈的数据更新阶段。此外，在系统反馈阶段向用户呈现生成数据和模拟的主观数据的第二装置和在用户反馈阶段接收用户反馈的信息终端可以是相同装置。在这种情况下，用户可通过基于生成数据和显示在信息终端上的模拟主观数据操作鼠标、键盘、触摸面板等来执行用户反馈。

C.界面的配置示例

在本节中，将参考图6至图12描述用于系统反馈和用户反馈的界面的配置示例。

在图6中示出的第一示例中，假设评价器102通过将生成器101生成的数据的特征划分为多个元素来对每个元素执行模拟主观评价。然后，在图6的左半部所示的系统反馈阶段中，通过将生成数据的特征划分为多个元素将由生成器101新生成的数据(生成器输出)和由评价器102输出的模拟主观评价(评价器输出)同时呈现给用户。此外，在图6的右半部分中示出的用户反馈阶段中，例如，在用户使用的信息终端的屏幕上准备用于用户调整每个元素的模拟主观评价的界面。用户可通过经由界面调整表征系统反馈中所呈现的生成数据的一些元素的评价值来进行用户反馈。如图6的右半部分所示，呈现配备有用于分别调整元素1的评价值a₁和元素2的评价值a₂的界面的屏幕。用户可通过例如手动输入、上下光标按钮的操作、拨号操作等来改变每个评价值。

如图6所示，通过使用调整表征生成数据的多个元素的界面，可以在数据生成系统100中详细地反映用户的主观性和偏好。

在图7中示出的第二示例中，假设评价器102输出与生成器101生成的数据相关的生成数据作为模拟主观评价。在此，“相关”是指，例如，“被评价为用户预期的数据”。在图7的左半部所示的系统反馈阶段中，将由生成器101新生成的数据(生成器输出)和由评价器102输出的相关的生成数据(评价器输出)同时呈现给用户。然后，在图7的右半部分中示出的用户反馈阶段中，例如，在用户使用的信息终端的屏幕上准备用于指示作为模拟主观评价的相关的生成数据是否是用户预期的数据的界面。用户可通过界面指示系统反馈中所呈现的相关的生成数据是否是用户所预期的数据来执行用户反馈。在图7的右半部分中示出的屏幕配置示例中，准备了用于用户评价相关的生成数据的质量的○和×按钮，并且用户可以通过鼠标操作或屏幕触摸操作来选择任何按钮。

如图7所示，通过将与生成数据相关的生成数据呈现为模拟主观评价并且使用简单地输入对相关的生成数据的意见的接口，可以容易地反映数据生成系统100中的用户的主观性和偏好。

图8至图12示出用于由生成器101生成的每个数据类型的数据的接口的具体配置示例。其中，图8和图9示出了在生成器101生成面部图像的情况下的界面的具体配置示例，图10和图11示出了在生成器101生成语音的情况下的界面的具体配置示例，并且图10示出了在生成器101生成广告内容的情况下的界面的具体配置示例。

在图8中示出的第三示例中，假设评价器102将生成器101生成的面部图像的特征划分为多个元素，并且为每个元素执行模拟主观评价。然后，在图8的左半部所示的系统反馈阶段中，通过将面部图像的特征分割成诸如肤色和嘴的多个元素，同时向用户呈现由生成器101新生成的面部图像(生成器输出)和由评价器102输出的模拟主观评价(评价器输出)。然后，在图8的右半部分中示出的用户反馈阶段中，例如，在用户使用的信息终端的屏幕上准备用于用户调整诸如肤色或嘴的每个元素的模拟主观评价的界面。用户可通过经由界面调整表征系统反馈中呈现的面部图像的一些元素的评价值来执行用户反馈。用户可在界面上执行由用户他/她自己以改变主观指标值的形式的主观评价的反馈，诸如，“使皮肤颜色更暗”或者“使嘴更大”，并且对数据生成系统100执行详细的用户反馈。例如，可以通过在屏幕上手动输入数值、上下光标按钮的操作、拨盘操作等来改变主观指标值。

如图8所示，通过使用用于调整表征所生成的面部图像的多个元素的界面，可以在数据生成系统100中详细地反映用户的主观性和偏好。

在图9中示出的第四示例中，假设评价器102输出与由生成器101生成的面部图像相关的面部图像作为模拟主观评价。在图9的左半部示出的系统反馈阶段中，由生成器101新生成的面部图像(生成器输出)和由评价器102生成的相关的面部图像(评价器输出)同时呈现给用户。然后，在图9的右半部分中示出的用户反馈阶段中，例如，在用户使用的信息终端的屏幕上准备用于指示作为模拟主观评价的相关的面部图像是否是用户预期的面部图像的界面。用户能够通过经由接口指示系统反馈中呈现的相关的面部图像是否是用户想要的面部图像来容易地执行用户反馈。在图9的右半部分中示出的屏幕配置示例中，准备了用于用户评价相关的面部图像的质量的按钮○和×按钮，并且用户可以通过鼠标操作或屏幕触摸操作来选择任何按钮。

如图9所示，与所生成的面部图像相关的面部图像呈现为模拟主观评价，并且通过使用用于简单地输入对相关面部图像的意见的接口，可以在数据生成系统100中容易地反映用户的主观性和偏好。

在图10中示出的第五示例中，假设评价器102将由生成器101生成的语音的特征划分为多个元素并且针对每个元素执行模拟主观评价。在图10的左半部所示的系统反馈阶段中，通过将语音的特征划分为诸如音量和音高的多个元素，同时向用户呈现由生成器101新生成的语音(生成器输出)和由评价器102输出的模拟主观评价(评价器输出)。用户可再现产生的语音以检查例如音量和音高的特征。然后，在图10的右半部分中示出的用户反馈阶段中，例如，在用户使用的信息终端的屏幕上准备用于用户调整诸如音量和音高的每个元素的模拟主观评价的界面。用户可通过经由界面调整表征系统反馈中所呈现的语音的一些元素的评价值来执行用户反馈。用户可以在界面上以主观指标值的调整的形式执行用户本身的主观评价的反馈，诸如，“减小音量”或者“增加音高”，并且对数据生成系统100执行详细的用户反馈。如图10的右半部分所示，呈现配备有用于调整音量和音高的每个评价值的界面的屏幕。用户可通过例如手动输入、上下光标按钮的操作、拨号操作等来改变每个评价值。

如图10所示，通过使用调整表征生成的语音的多个元素的界面，可以在数据生成系统100中详细地反映用户的主观性和偏好。

在图11中示出的第六示例中，假设评价器102输出与由生成器101生成的语音相关的语音作为模拟主观评价。在图11的左半部所示的系统反馈阶段中，将由生成器101新生成的语音(生成器输出)和由评价器102生成的相关语音(评价器输出)同时呈现给用户。用户可再现产生的语音和相关语音以检查诸如每个语音的音量和音高的特征。然后，在图11的右半部分所示的用户反馈阶段中，例如，在用户使用的信息终端的屏幕上准备用于指示作为模拟主观评价的相关语音是否是用户想要的语音的界面。用户能够通过经由接口指示系统反馈中呈现的相关语音是否是用户想要的语音来容易地执行用户反馈。在图11的右半部分中示出的屏幕配置示例中，为用户准备评价相关语音的质量的○和×按钮，并且用户可以通过鼠标操作或屏幕触摸操作来选择按钮中的一个。

如图11所示，通过呈现与所生成的语音相关的语音作为模拟主观评价并且使用简单地输入对相关语音的意见的接口，可以容易地反映数据生成系统100中的用户的主观性和偏好。

例如，对于使用数据生成系统100从黑白图像的内容生成彩色图像的内容的情况下的主观评价，可通过图8和图9中示出的界面通过主观评价的反馈执行生成器101和评价器102的学习。

此外，对于使用数据生成系统100生成视频内容的语音效果的情况下的主观评价，能够通过图10和图11中所示的接口通过主观评价的反馈执行生成器101和评价器102的学习。

此外，对于使用数据生成系统100生成动画的字符图像或者字符的语音的情况下的主观评价，可以通过在图8至图11中示出的界面通过主观评价的反馈来学习生成器101和评价器102。

此外，在图8至图11中示出的示例中的用户反馈阶段中，用户可以选择由生成器101新生成的数据的一部分，使得可以执行对于所选择的部分的用户反馈。在图8和图10中所示的示例中，例如，在用户选择内容的一部分的情况下，呈现用于评价与所选部分相对应的元素的界面。此外，在图9和图11中所示的示例中，例如，在用户选择内容的一部分的情况下，呈现用于评价所选择的部分是否是用户所预期的数据的界面。

在接收用户反馈的信息终端上呈现与生成器输出和评价器输出相对应的内容的情况下，用户可以使用鼠标、键盘、触摸面板等选择在信息终端上呈现的内容的一部分，并且可以在与内容选择位置相对应的位置处呈现用于执行用户反馈的界面。

在图12中示出的第七示例中，假设评价器102执行关于在生成器101生成的广告内容中用户想要强调哪一部分的模拟主观评价。在图12的左半部分中示出的系统反馈阶段中，将由生成器101生成的广告内容(生成器输出)和包括用户想要强调并且在广告内容中由评价器102模拟和主观评价的部分的指定的广告内容(评价器输出)同时呈现给用户。然后，在图12的右半部分中示出的用户反馈阶段中，例如，在用户使用的信息终端的屏幕上准备用于指示用户最初想要强调广告内容的部分的界面。用户可通过经由界面指示用户最初想要强调广告内容的部分来执行用户反馈。注意，与评价器输出对应的广告内容不限于包括对用户期望强调并且经受模拟主观评价的部分的指定的广告内容，并且由模拟主观评价指定的部分可以呈现为该部分被实际强调的广告内容。类似地，由用户指定的部分被强调的广告内容也可以被呈现在由用户使用的信息终端的屏幕上呈现的界面中。

在使用数据生成系统100自动生成广告的情况下，可以通过在图12中示出的界面通过主观评价的反馈来学习生成器101和评价器102。

如图12所示，包括所生成的广告内容中的用户已对主观评价进行成像的部分(用户想要强调该部分)的指定的广告内容被呈现为所成像的主观评价，并且通过使用简单地指定广告内容中用户最初想要强调的部分的界面，在数据生成系统100中可容易地反映用户的主观性和偏好。

D.数据生成、评价和学习的过程的细节

在上述部分B中，已经示意性地描述了数据生成系统100中的数据生成、评价和学习的过程。在本D部分中，将描述在数据生成系统100中执行数据生成、评价和学习时的过程的细节，包括数据流。

在此，假设在第一装置中实现生成器101的数据生成和评价器102的评价的每个阶段，在第二装置中实现将生成数据和模拟的主观数据呈现给用户的系统反馈阶段，在第三装置中实现基于用户反馈的数据更新阶段，并且在用户终端中实现用户反馈阶段。

此外，图13示出了用于在相之间传输数据的路径。如图所示，将从数据生成阶段到数据评价阶段的数据传输路径定义为Path1，将从数据评价阶段到系统反馈阶段的数据传输路径定义为Path2，系统反馈阶段到用户反馈阶段的数据传输路径定义为Path3，用户反馈阶段到模型更新阶段的数据传输路径定义为Path4，从数据评价阶段到模型更新阶段的数据传输路径定义为Path5，从模型更新阶段到数据生成阶段的数据传输路径定义为Path6。在以分布的方式在多个物理上独立的装置(诸如第一至第三装置和用户信息终端)中实现各个阶段的情况下，Path1至Path6包括连接相应装置的通信介质。此外，在单个装置中实现的多个阶段之间的数据传输路径(例如，在数据生成阶段和数据评价阶段之间的Path1)通过例如应用之间的通信来实现。

图14示出了阶段之间的具体数据流。

在数据生成阶段中，在构成生成器101的神经网络中设置在学习时获取的系数，输入随机数，并且输出新生成的数据。生成数据经由Path1被传送到数据评价阶段。

在生成数据的评价阶段中，在构成评价器102的神经网络中设置在学习时获取的系数，经由Path1输入生成数据，并且输出其中估计用户对生成数据的主观评价的模拟主观评价。

在系统反馈阶段，在执行系统反馈的第二装置中，经由Path2获取由生成器101新生成的数据(发生器输出)和由评价器102通过将生成数据的特征划分为多个元素而输出的模拟主观评价(评价器输出)，并且将这些同时呈现给用户。

在用户反馈阶段，例如，将通过Path3获取的模拟评价结果呈现在界面上供用户调整每个元素的模拟主观评价，显示在用户使用的信息终端的屏幕上。然后，用户可通过信息终端的屏幕上的界面调整表征生成数据的一些元素的评价值。

在模型更新阶段中，用于学习由生成器101使用的生成模型和由评价器102使用的评价模型的第三装置经由Path5获取评价器102对生成数据的模拟主观评价并且经由Path4获取对模拟主观评价的用户反馈。此处，评价器102相对于生成器101的生成数据的模拟主观评价和用户反馈被输入至评价模型。在图14中所示的示例中，模拟主观评价是通过将生成数据的特征划分为多个元素而获得的评价指标，并且用户反馈是针对每个评价指标的模拟主观评价的调整。然后，在第三装置中，更新构成评价模型的神经网络的系数，使得最小化基于相对于模拟主观评价的用户反馈的误差的损失函数。此外，用于生成数据的模拟主观评价的用户反馈被输入到生成模型。然后，在第三装置中，更新构成生成模型的神经网络的系数，使得用户反馈变得更好。

然后，将在模型更新阶段中更新的生成模型的系数经由Path6设置为生成器101所使用的生成模型，并在下一数据生成阶段中使用。此外，在模型更新阶段中更新的评价模型的系数用于经由Path6在评价器102所使用的评价模型中设置的下一个数据评价阶段中。

虽然主观评价的评价指标受目的或个体差异的影响，但是根据本公开，根据如图14所示的过程，可以在短时间内以低成本创建不同的主观评价模型。此外，根据本公开，由于提供了反映评价模型中的用户意图的界面，因此可以提供以能够反映用户的主观性和偏好的形式学习评价模型并且生成用户所预期的数据的数据处理系统100。

E.信息处理系统

图15示出了用作例如第一到第三装置或用户的信息终端的信息处理系统1500的配置示例。下面将描述信息处理系统1500的每个元件。

中央处理单元(CPU)1501经由总线1610与只读存储器(ROM)1502、随机存取存储器(RAM)1503、大容量存储装置1504和输入/输出接口1505的每个单元互连。

CPU 1501执行从ROM 1502或大容量存储装置1504加载到RAM 1503的程序，并且可以在暂时保持在RAM 1503中执行的工作数据的同时实现各种处理。由CPU 1501执行的程序的示例包括存储在ROM 1502中的基本输入/输出程序和安装在大容量存储装置1504中的操作系统(OS)和应用程序。OS提供应用程序的执行环境。此外，应用程序包括执行以下各项中的至少一项的应用程序：机器学习模型的学习处理、使用所学习的机器学习模型生成数据、估计生成数据的主观评价、呈现生成数据及其模拟主观评价、获取用于模拟主观评价的用户反馈等。信息处理系统1500通过CPU 1501在由OS提供的执行环境下执行应用程序而作为与本公开相关的各种装置进行操作。

注意，由于与机器学习模型(诸如学习)有关的处理在计算量上是巨大的，并且并行处理是可想象的，因此信息处理系统1500可以包括图形处理单元(GPU)或图形处理单元(GPGPU)上的通用计算来代替CPU 1501或者与CPU 1501一起。

ROM 1502是永久性地存储基本输入/输出程序、装置信息等的只读存储器。RAM1503包括诸如动态RAM(DRAM)的易失性存储器，并且用作CPU 1501的工作区域。大容量存储装置1504是硬盘驱动器(HDD)、固态驱动器(SSD)等，并且以文件格式存储程序和数据。HDD是使用固定在单元中的一个或多个磁盘作为记录媒质的存储装置。

诸如输出单元1511、输入单元1512、通信单元1513和驱动器1514的各种输入/输出装置连接到输入/输出接口1505。输出单元1511包括液晶显示器(LCD)、扬声器、打印机等，并输出例如CPU 1501的程序执行结果。输入单元1512包括键盘、鼠标、麦克风等，并且从用户接收指令。

通信单元1513包括符合预定通信协议的有线或无线通信接口，并执行与外部装置的数据通信。在信息处理系统1500作为第一至第三装置中的任操作的情况下，通信单元1513与第一至第三装置中的其他装置通信。此外，在信息处理系统1500作为用户的信息终端操作的情况下，通信单元1513与第二装置和第三装置通信。

此外，通信单元1513被连接到诸如互联网的广域网。可以使用通信单元1516从互联网上的下载站点下载应用程序并且将其安装在信息处理系统1500中。

驱动器1514加载可移除记录介质1515并且执行从可移除记录介质1515的读取处理和对可移除记录介质1515的写入处理(然而，在可写入记录介质的情况下)。可移除记录介质1515以文件格式记录程序、数据等。可移除记录介质1515的示例包括软盘、只读光盘存储器(CD-ROM)、磁光(MO)盘、数字通用盘(DVD)、磁盘、半导体存储器等。

例如，通过安装用于使用生成模型生成数据的程序和用于使用评价模型估计数据的主观评价的程序，信息处理系统1500可用作第一装置。

此外，信息处理系统1500可以通过安装获取并呈现通过生成模型的生成数据和通过评价模型对生成数据进行的模拟主观评价的程序，作为第二装置操作。

此外，信息处理系统1500呈现用于输入通过生成模型的生成数据和通过评价模型的用户对生成数据的模拟主观评价的评价的界面，并且安装用于上传从界面获取的用户反馈的评价的程序，从而操作为用户的信息终端。

此外，信息处理系统1500可以通过安装用于基于评价模型对生成数据的模拟主观评价和从用户反馈的评价对生成模型和评价模型执行学习(即，更新每个神经网络的系数)的程序来作为第三装置操作。

工业实用性

上面已经参考具体实施方式详细描述了本公开。然而，显而易见的是，在不背离本公开的主旨的情况下，本领域技术人员可对实施方式进行修改和替换。

在本说明书中，已经主要描述了本公开主要应用于生成图像的数据生成系统的实施方式，但是本公开的要旨不限于此。除了图像以外，本公开还可应用于诸如语音、音乐和文本的各种数据的生成，以及所生成的数据的主观评价。

此外，基于本公开学习的评价模型可应用于从黑白图像的内容生成的彩色图像的内容的主观评价、从视频内容生成的语音效果的主观评价以及自动生成的动画的字符图像或字符的语音的主观评价。

简而言之，已经以例证的形式描述了本公开，并且因此在此描述的内容不应当被以限制的方式解释。为了确定本公开的要点，应考虑权利要求的范围。

应注意，本公开可具有以下配置。

(1)一种信息处理系统，包括：

系统反馈呈现单元，呈现生成数据和评价信息；

输出单元，输出由用户反馈获取单元获取的用户评价。

(2)根据上述(1)的信息处理系统，还包括界面呈现单元，其呈现输入用户评价的界面。

(3)根据上述(1)和(2)中任一项的信息处理系统，其中

系统反馈获取单元从使用生成模型生成数据并且使用评价模型评价生成数据的一个或多个装置获取生成数据和评价信息。

(4)根据上述(2)和(3)中任一项的信息处理系统，其中

系统反馈获取单元获取通过将生成数据的特征划分为多个元素而获得的评价指标作为生成数据的评价信息，

系统反馈呈现单元呈现针对每个元素的生成数据和评价指标，并且

界面呈现单元呈现调整针对每个元素的评价指标的界面。

(5)根据上述(2)至(4)中任一项的信息处理系统，其中

系统反馈获取单元获取与生成数据相关的生成数据作为生成数据的评价信息，

系统反馈呈现单元呈现生成数据和相关的生成数据，以及

界面呈现单元呈现输入用户对相关生成数据的意图的界面。

(6)根据上述(1)的信息处理系统，其中，

输出单元将用户评价输出至对生成数据的生成模型和评价生成数据的评价模型中的每个模型进行更新的装置。

(7)根据上述(1)至(6)中任一项的信息处理系统，还包括：

第一装置，第一装置包括系统反馈获取单元和系统反馈呈现单元；以及

第二装置，包括用户反馈获取单元和输出单元。

(8)根据上述(1)至(7)中任一项的信息处理系统，还包括：

第三装置，更新生成数据的生成模型和评价生成数据的评价模型中的每个模型，

其中，输出单元将用户评价输出至第三装置。

(9)根据上述(1)至(8)中任一项的信息处理系统，还包括：

一个或多个装置，使用生成模型生成数据并且使用评价模型评价生成模型，

其中，系统反馈获取单元从一个或者多个装置获取生成数据并且使用评价模型对生成数据进行评价。

(10)根据上述(1)至(9)中任一项的信息处理系统，还包括：

第一装置，第一装置包括系统反馈获取单元、系统反馈呈现单元、用户反馈获取单元和输出单元。

(11)一种信息处理方法，包括：

系统反馈呈现步骤，呈现生成数据和评价信息；

输出步骤，输出由用户反馈获取步骤所获取的用户评价。

(12)根据权利要求11的信息处理方法，还包括界面呈现步骤，呈现输入用户评价的界面。

(13)根据上述(12)的信息处理方法，其中，

在系统反馈获取步骤中，获取通过将生成数据的特征划分为多个元素而获得的评价指标作为生成数据的评价信息，

在系统反馈呈现步骤中，呈现用于每个元素的生成数据和评价指标，并且

在界面呈现步骤中，呈现调整每个元素的评价指标的界面。

(14)根据上述(12)的信息处理方法，其中，

在系统反馈获取步骤中，获取与生成数据相关的生成数据作为生成数据的评价信息，

在系统反馈呈现步骤中，呈现生成数据和相关生成数据，并且

在界面呈现步骤中，呈现输入用于相关生成数据的用户意图的界面。

(15)一种信息处理系统，包括：

获取单元，获取针对评价信息的用户评价信息；以及

评价模型更新单元，基于用户评价信息更新评价模型。

(16)根据上述(15)的信息处理系统，还包括：

生成单元，使用生成模型来生成数据；以及

生成模型更新单元，基于用户评价信息更新生成模型，

其中，评价单元生成针对由生成单元生成的数据的评价信息。

(17)根据上述(15)和(16)中任一项的信息处理系统，其中

评价单元将评价信息输出至信息终端，并且

获取单元从信息终端获取通过在信息终端上呈现的界面输入的用户评价信息。

(18)根据上述(15)至(17)中任一项的信息处理系统，其中

评价单元将所生成的数据的特征划分为多个元素，以对元素中的每个元素执行评价，并且

获取单元获取用户评价信息，用户评价信息包括用于调整多个元素中的每个元素的评价的信息。

(19)根据上述(15)至(18)中任一项的信息处理系统，其中

评价单元生成与所生成的数据相关的生成数据，并且

获取单元获取包括用户对相关生成数据的意图的用户评价信息。

(20)一种信息处理方法，包括：

获取步骤，用于获取针对评价信息的用户评价信息；以及

评价模型更新步骤，基于用户评价信息更新评价模型。

(21)一种数据生成系统，包括：

生成单元，使用生成模型来生成数据；以及

评价单元，通过使用评价模型生成对由生成单元生成的数据的主观评价。

(22)根据上述(21)的数据生成系统，还包括：

模型更新单元，模型更新单元基于针对包括生成单元的生成数据和评价单元的主观评价的系统反馈的用户评价，更新生成模型环绕评价模型中的至少一者。

(23)根据上述(22)的数据生成系统，其中，

评价单元生成通过将生成数据的特征划分为多个元素而获得的评价指标作为对生成数据的主观评价，并且

模型更新单元基于用户对每个元素的评价指标的调整结果来更新模型。

(24)根据上述(21)的数据生成系统，其中，

评价单元生成与生成数据相关的数据作为对生成数据的主观评价，并且

模型更新单元基于用户对相关数据的意图更新模型。

参考符号列表

100 数据生成系统

101 生成器

102 评价器

1500 信息处理系统

1501CPU

1502ROM

1503RAM

1504大容量存储装置

1505输入/输出接口

1510 总线

1511 输出单元

1512 输入单元

1513 通信单元

1514 驱动器

1515 可移除记录介质。

Claims

1.一种信息处理系统，包括：

系统反馈获取单元，获取生成数据并且基于用于所述生成数据的评价模型来获取评价信息；

系统反馈呈现单元，呈现所述生成数据和所述评价信息；

用户反馈获取单元，获取针对所述生成数据或所述评价信息的用户评价；以及

输出单元，输出由所述用户反馈获取单元获取的所述用户评价。

2.根据权利要求1所述的信息处理系统，还包括界面呈现单元，所述界面呈现单元呈现用于输入所述用户评价的界面。

3.根据权利要求1所述的信息处理系统，其中，

所述系统反馈获取单元从一个或多个装置获取所述生成数据和所述评价信息，所述一个或多个装置使用生成模型生成数据并且使用所述评价模型评价所述生成数据。

4.根据权利要求2所述的信息处理系统，其中，

所述系统反馈获取单元获取通过将所述生成数据的特征划分为多个元素而获得的评价指标，作为所述生成数据的评价信息，

所述系统反馈呈现单元呈现每个元素的所述生成数据和所述评价指标，并且

所述界面呈现单元呈现用于调整所述每个元素的所述评价指标的界面。

5.根据权利要求2所述的信息处理系统，其中，

所述系统反馈获取单元获取与所述生成数据相关的生成数据，作为所述生成数据的评价信息，

所述系统反馈呈现单元呈现所述生成数据和所述相关的生成数据，并且

所述界面呈现单元呈现用于输入用户对所述相关的生成数据的意图的界面。

6.根据权利要求1所述的信息处理系统，其中，

所述输出单元将所述用户评价输出至用于对生成数据的生成模型和评价所述生成数据的评价模型中的每个模型进行更新的装置。

7.根据权利要求1所述的信息处理系统，还包括：

第一装置，包括所述系统反馈获取单元和所述系统反馈呈现单元；以及

第二装置，包括所述用户反馈获取单元和所述输出单元。

8.根据权利要求1所述的信息处理系统，还包括：

第三装置，对生成数据的生成模型和评价所述生成数据的评价模型中的每个模型进行更新，

其中，所述输出单元将所述用户评价输出至所述第三装置。

9.根据权利要求1所述的信息处理系统，还包括：

一个或多个装置，使用生成模型生成数据并且使用所述评价模型评价生成模型，

其中，所述系统反馈获取单元从所述一个或多个装置获取所述生成数据以及使用所述评价模型对所述生成数据进行的评价。

10.根据权利要求1所述的信息处理系统，还包括：

第一装置，包括所述系统反馈获取单元、所述系统反馈呈现单元、所述用户反馈获取单元和所述输出单元。

11.一种信息处理方法，包括：

系统反馈获取步骤，获取生成数据并且基于用于所述生成数据的评价模型来获取评价信息；

系统反馈呈现步骤，呈现所述生成数据和所述评价信息；

用户反馈获取步骤，获取针对所述生成数据或所述评价信息的用户评价；以及

输出步骤，输出通过所述用户反馈获取步骤获取的所述用户评价。

12.根据权利要求11所述的信息处理方法，还包括呈现用于输入所述用户评价的界面的界面呈现步骤。

13.根据权利要求12所述的信息处理方法，其中，

在所述系统反馈获取步骤中，获取通过将所述生成数据的特征划分为多个元素而获得的评价指标，作为所述生成数据的评价信息，

在所述系统反馈呈现步骤中，呈现每个元素的所述生成数据和所述评价指标，并且

在所述界面呈现步骤中，呈现用于调整所述每个元素的所述评价指标的界面。

14.根据权利要求12所述的信息处理方法，其中，

在所述系统反馈获取步骤中，获取与所述生成数据相关的生成数据，作为所述生成数据的评价信息，

在所述系统反馈呈现步骤中，呈现所述生成数据和所述相关的生成数据，并且

在所述界面呈现步骤中，呈现用于输入用户对所述相关的生成数据的意图的界面。

15.一种信息处理系统，包括：

评价单元，通过使用评价模型来针对所生成的数据生成评价信息；

获取单元，获取针对所述评价信息的用户评价信息；以及

评价模型更新单元，基于所述用户评价信息更新所述评价模型。

16.根据权利要求15所述的信息处理系统，还包括：

生成单元，使用生成模型来生成数据；以及

生成模型更新单元，基于所述用户评价信息更新所述生成模型，

其中，所述评价单元针对所述生成单元所生成的数据来生成所述评价信息。

17.根据权利要求15所述的信息处理系统，其中，

所述评价单元将所述评价信息输出至信息终端，并且

所述获取单元从所述信息终端获取通过所述信息终端上呈现的界面输入的用户评价信息。

18.根据权利要求15所述的信息处理系统，其中，

所述评价单元将所生成的数据的特征划分为多个元素，以针对每个元素执行评价，并且

所述获取单元获取包括用于调整所述多个元素中的每个元素的评价的信息的用户评价信息。

19.根据权利要求15所述的信息处理系统，其中，

所述评价单元生成与所生成的数据相关的生成数据，并且

所述获取单元获取包括用户对所述相关的生成数据的意图的用户评价信息。

20.一种信息处理方法，包括：

评价步骤，通过使用评价模型来针对所生成的数据生成评价信息；

获取步骤，获取针对所述评价信息的用户评价信息；以及

评价模型更新步骤，基于所述用户评价信息来更新所述评价模型。