CN109891519A - 信息处理装置、信息处理方法和程序 - Google Patents

Abstract

构建一种评价模型，用于从脑波特征量估计主观评价值，并且通过使用该评价模型，可以基于客观脑波信号获取不偏离主观评价结果的评价数据。通过向受试者呈现刺激来构建表示受试者的脑波特征量和受试者关于刺激的主观评价值之间的相关性的评价模型。例如，具有不同图像质量的图像和标准图像被交替显示在作为刺激呈现单元的显示单元上，获取观察显示图像的受试者的与图像质量相对应的脑波特征量和与图像质量相对应的主观评价值，并且通过机器学习来构建使得能够从脑波特征量估计主观评价值的图像质量评价模型，在该模型中，脑波特征量和主观评价值被用作输入数据。

Description

信息处理装置、信息处理方法和程序

技术领域

本公开涉及一种信息处理装置、信息处理方法和程序，更具体地，涉及这样一种信息处理装置、信息处理方法和程序，其能够执行生成评价模型的处理，该评价模型用于基于例如呈现了诸如图像呈现处理之类的刺激的用户(受试者)的脑波来估计对诸如图像之类的刺激的用户的评价(主观评价)，并且执行对应用了评价模型的评价值的估计。

背景技术

近年来，用于图像的图像质量改进技术已经进步，并且具有扩展颜色或亮度范围的高动态范围(HDR)图像的使用已经扩展，该高动态范围(HDR)图像可以作为电视广播或媒体记录内容(例如蓝光(注册商标)光盘(BD))的传送内容输出。

注意，具有比HDR图像更窄的可输出颜色或亮度范围的相关技术的图像被称为标准动态范围(SDR)图像。

HDR图像具有比相关技术的SDR图像进一步扩展的可输出颜色或可输出亮度范围，因此可以输出像人们眼睛实际看到的场景一样更自然的图像。

HDR图像具有最大亮度颜色和最小亮度颜色之间的对比度，例如10000:1或更高，因此可以逼真地表达实际世界。

HDR图像可以记录几乎所有可见范围的亮度，因此支持与人类视觉特性相同的动态范围和色域。就阴影的逼真表达、眩光的表达等而言，HDR图像可以说是比相关技术的图像高得多的质量的图像。

另一方面，图像质量评价处理可以分为客观评价处理和主观评价处理。

主观评价处理是从感觉上评价图像观察者判断观察对象图像质量好坏的处理。客观评价处理是通过消除这种个人主观性而执行的评价处理。

目前，已经对图像的新图像质量改进进行了各种研究。当开发图像质量改进技术或图像压缩编码技术时，图像质量主观评价的改进是要考虑的因素之一。

例如，作为图像质量评价的主观方案，有以下由图像处理专家或非专家一起执行的各种评价方案：

n阶段评价(Mean Opinion Score，MOS：平均意见得分)，(其中n＝5、7等)；

分数评价(幅度估计方法(magnitude estimation method)等)；和

反思评价(评论记录)。

这些方案是执行图像质量评价处理的主观方案，通过用数字或文本替换图像处理专家或非专家观察的图像的感觉。

然而，主观评价处理存在以下问题：

(1)由于主观评价，每个人的结果都不规则；

(2)由于指定了评价轴，因此不评价偏离轴的项目；

(3)评价结果受到受试者经验或知识的显著影响；和

(4)为了保证结果的准确性，必须有许多受试者，需要时间和成本。

例如，存在上述问题。

为了解决这些问题，有必要客观地进行图像质量评价。

这里，当客观评价结果偏离主观评价结果时，没有意义。

因此，重要的是生成不偏离主观评价结果的客观评价结果。

作为一种客观的图像质量评价方案，峰值信噪比(PSNR)和结构相似性指数度量(SSIM)是已知的。

这两种方案都是输出图像质量评价值作为客观数值的方案。

然而，指出了由前述PSNR和SSIM获得的作为图像质量评价值的数值与图像观察者的实际感受不匹配的情况，因此主观评价还没有被完全取代。

为了解决这个问题，最近进行了一项利用图像观察者的脑波对图像质量进行客观评价的方案的研究。

使用脑波的图像质量评价方案被配置为通过监测脑波的变化来检测观察评价对象图像的受试者的感受。

认为通过将作为客观评价结果的图像观察者的脑波与基于图像观察者的主观评价结果的实际感觉相联系，可以从脑波推断出呈现给图像观察者的刺激的人类感觉或种类。

然而，该方案存在以下问题：

(1)引入和管理装置需要成本和培训；和

(2)该方案比上述客观评价方案更复杂，因为电极目前佩戴在受试者身上。

然而，人们认为可以获得很少受到受试者的知识或经验以及评价轴影响的结果。

此外，通过使图像的呈现定时与脑波的记录定时同步，可以记录受试者感觉的东西和时间。

作为公开了使用脑波的图像的评价结构的相关技术的例子，例如，有专利文献1(JP 2014-021986A)、专利文献2(JP 2003-058298A)、非专利文献1和非专利文献2。

专利文献1公开了例如能够通过分析观察图像内容的用户的脑波和用户的观察区域之间的相关性并确定对内容的偏好来根据用户的喜好提供内容的配置。

专利文献2公开了一种装置，该装置针对脑波特别是事件相关电位(event-related potential，ERP)中用户关于观察对象的主观知识、兴趣等进行分类。

另一方面，非专利文献1是与从脑波测量的稳态视觉诱发电位(steady-statevisual evoked potential，SSVEP)的研究相关的文献，并且报告了具有不同压缩比的纹理图像的主观质量和SSVEP特征量具有高度相关性。

此外，非专利文献2公开了一种通过在不对应于HDR的显示器上显示低动态范围(LDR)图像和高动态范围(HDR)运动图像来评价图像质量的方案，低动态范围(LDR)图像是低动态图像，而高动态范围(HDR)运动图像是色调映射的高动态图像。

具体而言，该报告描述了一项研究，该研究通过测量观察者脑波中的视觉诱发电位，进一步获得观察者的主观评价，并执行机器学习，其中VEP的特征量被用作学生，主观评价值被用作监督者，来构建模型，用于辨别是否获得脑波作为HDR和SDR的运动图像之间的鉴赏结果。

引文目录

专利文献

专利文献1：JP 2014-021986A

专利文献2：JP 2003-058298A

非专利文献

非专利文献1：Sebastian Bosse,et al,“Neurophysiological assessment ofperceived image quality using steady-state visual evoked potentials,”SPIEOptical Engineering Applications,International Society for Optics andPhotonics(2015)

非专利文献2：S.Moon,et al,“Perceptual experience analysis for tone-mapped HDR videos based on EEG and peripheral physiological signals,”IEEETransactions on Autonomous Menta Development,Vol.7,No.3,236-247(2015)

发明内容

技术问题

在上述专利文献1中，由于没有具体公开基于脑波的测量结果确定偏好的方法，因此存在使用的脑波的特征量和用于确定偏好的特征量的变化不清楚的问题。

此外，专利文献2公开了一种仅使用ERP对受试者的主观知识或兴趣进行分类而不进行主观评价实验的配置。然而，总的来说，有一个问题是，要从ERP中辨别出受试者的共同倾向并不容易。这是因为对于主观知识或兴趣的评价术语，ERP的特征量或特征量的变化没有明确确定。

此外，ERP特征量的个体差异很大。因此，即使在一些受试者中可以看到特征量的变化，在其他受试者中也根本看不到这种变化。也就是说，存在一个问题，即难以根据符合某一标准的ERP变化来高精度地执行辨别。

此外，非专利文献1中描述的研究仅示出SSVEP的特征量和主观评价结果具有相关性，但是没有描述评价对象图像分类处理或图像质量确定处理的执行。

此外，非专利文献2中描述的研究描述了通过结合VEP和主观评价结果来构建与受试者无关的模型(受试者无关模型)的配置。然而，该模型对HDR和SDR的测定精度达不到60％。如本文所述，有一个问题是，通过分析VEP，很难找到受试者共有的明确倾向。

例如，鉴于上述问题，设计了本公开，并且本公开的目的是提供一种信息处理装置、信息处理方法和程序，其能够执行生成评价模型的处理，该评价模型用于使得用户(受试者)对刺激(例如图像)的评价(主观评价)能够基于例如被呈现刺激(例如图像呈现处理)的用户的脑波来估计，并执行对应用评价模型的评价值的估计。

本公开的一个实施例的目的是提供一种信息处理装置、信息处理方法和程序，其能够构建用于实现不偏离主观评价结果的客观评价的评价模型，该客观评价通过将作为对作为图像观察者的受试者呈现刺激的结果的反应而出现的脑波的变化与受试者对呈现的刺激的主观评价相关联来实现，并且能够使用评价模型评价刺激。

本公开的实施例的目的是提供一种信息处理装置、信息处理方法和程序，其能够通过基于受试者的脑波测量稳态视觉诱发电位(SSVEP)来抑制受试者之间的差距，以提高诸如作为评价对象的图像的刺激的确定精度。

问题的解决方案

本公开的第一方面是一种信息处理装置，包括：脑波分析单元，其被配置为测量被呈现刺激的受试者的脑波，并计算脑波特征量；主观评价分析单元，其被配置为获取关于受试者的刺激的主观评价值；以及模型构建单元，其被配置为构建表示脑波特征量和主观评价值之间相关性的评价模型。

本公开的第二方面是一种信息处理装置，包括：脑波分析单元，其被配置为测量被呈现刺激的受试者的脑波，并计算脑波特征量；存储单元，其被配置为存储评价模型，该评价模型用于使得能够获取基于脑波特征量的主观评价值；以及刺激确定单元，其被配置为应用评价模型来根据受试者的脑波特征量估计主观评价值。

本公开的第三方面是一种在信息处理装置中执行的信息处理方法，包括：脑波分析步骤，由脑波分析单元测量被呈现刺激的受试者的脑波，并计算脑波特征量；主观评价分析步骤，由主观评价分析单元获取关于对象的刺激的主观评价值；以及模型构建步骤，由模型构建单元构建表示脑波特征量和主观评价值之间相关性的评价模型。

本公开的第四方面是一种在信息处理装置中执行的信息处理方法，包括：脑波分析步骤，由脑波分析单元测量被呈现刺激的受试者的脑波，并计算脑波特征量。刺激确定单元执行刺激确定步骤，该步骤应用评价模型，该评价模型用于使得能够获取基于脑波特征量的主观评价值，以从受试者的脑波特征量估计主观评价值。

本公开的第五方面是一种使信息处理装置执行信息处理的程序，该程序包括：脑波分析步骤，在脑波分析单元中测量被呈现刺激的受试者的脑波，并计算脑波特征量；主观评价分析步骤，在主观评价分析单元中获取关于受试者的刺激的主观评价值；以及模型构建步骤，在模型构建单元中构建表示脑波特征量和主观评价值之间相关性的评价模型。

本公开的第六方面是一种使信息处理装置执行信息处理的程序，该程序包括：脑波分析步骤，在脑波分析单元中测量被呈现刺激的受试者的脑波，并计算脑波特征量；以及刺激确定步骤，在刺激确定单元中应用评价模型，该评价模型用于使得能够获取基于脑波特征量的主观评价值，以根据受试者的脑波特征量来估计主观评价值。

注意，根据本公开的程序是例如以计算机可读格式提供给能够执行各种程序代码的信息处理装置或计算机系统的程序，该程序可由存储介质或通信介质提供。通过以计算机可读格式提供这样的程序，在信息处理装置或计算机系统上实现了与该程序相对应的处理。

基于下文描述的本公开的实施例和附图，通过更详细的描述，将阐明本公开的进一步目的、特征和优点。注意，在本说明书中，术语“系统”是指多个装置的逻辑集合配置，并且该配置的各个装置不限于在同一壳体内。

发明的有益效果

根据本公开的实施例的配置，可以实现能够构建评价模型的配置，该评价模型能够根据脑波特征量来估计主观评价值，并且通过使用评价模型来基于客观脑波信号获取不偏离主观评价结果的评价数据。

具体地，通过向受试者呈现刺激来构建表示受试者的脑波特征量和受试者关于刺激的主观评价值之间的相关性的评价模型。例如，不同图像质量的图像和标准图像被交替显示在作为刺激呈现单元的显示单元上，获取观察显示图像的受试者的与图像质量相对应的脑波特征量和与图像质量相对应的主观评价值，并且通过机器学习来构建使得能够根据脑波特征量估计主观评价值的图像质量评价模型，在机器学习中，脑波特征量和主观评价值被用作输入数据。

在这种配置中，可以构建用于使得能够从脑波特征量估计主观评价值的评价模型，并且通过使用评价模型实现能够基于客观脑波信号获取不偏离主观评价结果的评价数据的配置。

注意，在本说明书中描述的有益效果仅仅是为了示例而非限制，并且可以存在额外的有益效果。

附图说明

图1是示出作为根据本公开的信息处理装置的实施例的评价模型构建装置的配置示例的说明图。

图2是示出作为评价模型构建装置100的构成元件的刺激呈现单元的具体示例的说明图。

图3是示出佩戴在受试者头上的电极的布置示例的说明图。

图4是示出呈现给受试者的图像的具体示例的说明图。

图5是示出使用HDR图像和SDR图像生成混合图像的处理作为在图像呈现单元中生成输出图像的处理的示例的说明图。

图6是示出图像呈现单元中的图像输出示例的说明图。

图7是示出使用HDR图像和亮度经过调节的SDR图像生成混合图像的处理的说明图。

图8是示出从电极检测到的脑波信号的示例的说明图。

图9是示出从电极检测到的脑波信号的示例的说明图。

图10是示出根据脑波信号(电位)计算的检测强度信号Si、噪声分量Ni和脑波强度信号Fi的示例的图，脑波信号(电位)是从电极检测的测量数据。

图11是示出脑波分析单元基于通过将具有多个(10种)不同图像质量的图像设置为从不同显示对象配置的图像01、02等中的评价对象图像并以特定频率(3Hz)交替显示评价对象图像和标准图像而获得的数据的示例的图。

图12是示出由主观评价获取单元执行的处理的示例的说明图。

图13是示出由主观评价分析单元执行的分析处理的示例的说明图。

图14是示出由结果合并单元执行的处理的说明图。

图15是示出模型构建单元的配置示例的说明图。

图16是示出由机器学习执行单元生成的图像质量评价模型的示例的说明图。

图17是示出由机器学习执行单元生成的图像质量评价模型的示例的说明图。

图18是示出由机器学习执行单元生成的图像质量评价模型的示例的说明图。

图19是示出用于描述由评价模型构建装置执行的评价模型构建处理的执行顺序的流程图的图。

图20是示出用于描述由评价模型构建装置执行的评价模型构建处理的执行顺序的流程图的图。

图21是示出评价模型应用图像质量确定装置的配置示例的框图。

图22是示出信息处理装置的硬件配置示例的说明图。

具体实施方式

以下，将参照附图描述根据本公开的信息处理装置、信息处理方法和程序的细节。请注意，将根据以下章节进行描述。

1.评价模型构建装置的配置和处理

2.刺激呈现单元执行的处理的细节

3.脑波测量单元、脑波记录单元和脑波分析单元执行的处理的细节

4.主观评价获取单元、主观评价记录单元和主观评价分析单元的处理细节

5.结果合并单元执行的处理

6.模型构建单元执行的处理的细节

7.信息处理装置执行的处理序列

8.评价模型应用图像质量评价装置的配置和处理

9.信息处理装置的硬件配置示例

10.本公开的配置概述

[1.评价模型构建装置的配置和流程]

将参照图1和随后的附图描述根据本公开的信息处理装置的配置和处理。

将参照图1描述作为根据本公开的信息处理装置的实施例的评价模型构建装置100的总体配置和总体处理。

注意，首先将参照图1和随后的附图描述评价模型构建装置100的总体配置和总体处理的概述。图1所示的评价模型构建装置100的每个组成单元的处理的细节将在后面的部分中描述。

图1所示的评价模型构建装置100构建例如图像质量评价模型，用于使得能够基于观察图像的用户(受试者)的脑波测量结果评价呈现给用户的图像的质量。

图1所示的评价模型构建装置100通过将作为对作为图像观察者的受试者呈现刺激(图像等)的结果的反应而出现的脑波的变化与受试者相对于呈现的刺激(图像等)的主观评价相关联，构建用于使得能够执行不偏离主观评价值的客观评价的评价模型。

通过使用该评价模型基于脑波执行图像质量评价，可以获得不偏离主观评价的图像质量的客观评价结果。

如上所述，例如，作为在诸如电视的显示单元上显示的显示图像，存在具有各种图像质量的图像。

具体地，存在从高质量图像到低质量图像的各种图像，例如高动态范围(HDR)图像，其是具有宽亮度范围或可输出颜色的高质量图像，以及标准动态范围(SDR)图像，其具有比HDR图像窄的亮度范围或可输出颜色。

图像是接受了各种图像质量改善技术或压缩编码技术的图像。例如，即使相同的HDR图像也是给人印象不同的图像，这是由于在某些情况下在各种图像处理中应用的处理参数不同。

也就是说，存在观察图像的用户(受试者)的主观评价高的HDR图像或低的HDR图像等。

为了计算用于生成具有更高主观评价的HDR图像的图像处理参数，有必要累积用户(受试者)的主观评价结果。

然而，累积用户(受试者)的主观评价结果的处理存在一个问题，即需要大量时间和成本。

解决这个问题的方法之一是找出用户(受试者)的主观评价结果和用户(受试者)的脑波之间的相关性。

根据本公开的评价模型构建装置100构建图像质量评价模型，用于例如基于指示在观察具有不同图像质量的图像(诸如HDR图像和SDR图像)时获得的脑波与用户(受试者)的主观评价结果之间的相关性的数据来评价图像质量。

根据本公开的评价模型构建装置100执行的处理过程的概述如下。

将具有高质量图像到低质量图像的各种质量的图像(例如HDR图像和SDR图像)呈现给用户(受试者)，测量具有各种图像质量的图像呈现时受试者的脑波，并获取受试者的主观图像质量评价。

此外，基于所获取的数据(脑波测量结果和主观图像质量评价结果)，分析当受试者观察图像时，脑波(客观评价)和受试者的主观评价之间的相关性，并且构建仅基于脑波信号(客观评价数据)评价图像质量的图像质量评价模型。

图像质量评价模型是这样一种评价模型，在该评价模型中，可以对图像质量进行客观评价，而不会偏离图像观察者的主观评价值。

通过使用该评价模型基于脑波执行图像质量评价，可以获得不偏离主观评价的图像质量的客观评价结果。

将参照图1和随后的附图描述根据本公开的评价模型构建装置100的配置和处理。

如图1所示，评价模型构建装置100包括刺激呈现单元101、脑波测量单元121、脑波记录单元122、脑波分析单元123、主观评价获取单元131、主观评价记录单元132、主观评价分析单元133、结果合并单元141和模型构建单元150。

刺激呈现单元101从外部向受试者呈现刺激。

具体地，呈现例如图像或视频之类的视觉刺激或者例如声音或音乐之类的听觉刺激。假设要呈现的刺激的规格符合脑波测量方案。

注意，作为脑波测量方案，例如，以下方案中的任何一种都是可用的：

(a)事件相关电位(ERP)测量方案；

(b)视觉诱发电位(VEP)测量方案；和

(c)稳态视觉诱发电位(SSVEP)测量方案。

注意，每个脑波测量方案与上述专利文献2和非专利文献1和2中公开的方案类似，并且是相关技术中已知的脑波测量方案。

在根据本公开的配置中，可以使用任何脑波测量方案。

将参照图2描述刺激呈现单元101的具体示例，该刺激呈现单元101是根据本公开的评价模型构建装置100的组成元件。

图2所示的示例是其中向受试者180显示图像的显示单元(显示器)被用作刺激呈现单元101的示例。

在用作刺激呈现单元101的显示单元上，以例如3Hz的频率交替显示评价对象图像和标准图像。

也就是说，例如，其中图像呈现频率为3Hz的设置是其中1秒执行三次评价对象图像和标准图像的显示切换的设置。

注意，图像呈现频率＝3Hz的设置是示例性的，并且可以应用其他频率。

在图像呈现频率＝3Hz的情况下，受试者180观察以3Hz的频率交替显示的图像。

作为评价对象图像，使用具有各种不同图像质量的图像，例如HDR图像或SDR图像。

假设与评价对象图像一起交替显示的标准图像是与所有评价对象图像具有相同图像质量的图像。具体地，例如，HDR图像可以用作标准图像。

注意，各种不同的图像被用作显示对象。例如，在显示单元上显示与显示对象具有不同图像质量的各种不同图像，例如图2(1)所示的夜景图像或图2(2)所示的水果图像。

当受试者180观察显示在作为刺激呈现单元101的显示单元上的图像时，输出基于视觉刺激的脑波。

脑波测量单元121通过佩戴在受试者头部的电极(节点)测量受试者头皮上的电位变化。

电极(节点)的配置是称为国际10-20系统的标准配置，但是可以使用独特配置或限制了电极数量的配置。

此外，在佩戴电极时，在一些情况下使用凝胶或电解液来提高导电性，或者在一些情况下通过机械施加压力来紧密粘附电极。可以使用任何方法。

请注意，当记录脑波时，有必要将呈现刺激(图像)时的脑波与刺激联系起来。因此，与刺激(图像)呈现的定时相关的信息与脑波一起被记录。此外，在记录多个受试者的脑波的情况下，有必要记录获取脑波信号的受试者。

具体地，诸如受试者、呈现的图像、脑波和受试者的主观评价值的数据彼此相关联以被记录。

图3示出了佩戴在受试者180的头部上的电极的布置示例。

图3的上侧是受试者180的头部前侧，图3的下侧是受试者180的头部后侧。

电极位于图3所示的1至32的32个位置。

脑波测量单元121测量从图3所示的32个电极中的至少一些电极获得的信号。

例如，可以使用从所有32个电极获得的信号。

或者，可以仅使用从已知测量与视觉刺激相对应的脑波的电极(例如图3所示的电极编号9、10、20)等获得的脑波测量信号。

首先，如参照图2所描述的，图像即评价对象图像和标准图像以预定周期(例如，3Hz的频率)交替显示在用作刺激呈现单元101的显示单元上。

受试者180观察以3Hz的频率交替显示的图像。

脑波测量单元121测量与交替显示的图像相对应的受试者180的脑波。

注意，作为脑波测量单元121的测量信号，可以使用以电极为单位的脑波信号，或者可以使用来自多个电极的多个脑波信号的合并分量(加权信号等)。

脑波记录单元122记录从脑波测量单元121获取的受试者的脑波。

注意，由于脑波是模拟信号，所以脑波在脑波记录单元122中接受模数(AD)转换，并作为数字信号记录。

此外，由于脑波天生是微弱的，所以在许多情况下，干扰噪声会叠加在一起。因此，优选使用通过应用噪声去除滤波器的处理去除噪声而获得的结果信号作为分析对象，该噪声去除滤波器通过应用带通滤波器或陷波滤波器提取具有期望带宽的脑波信号。

这样，脑波记录单元122优选地通过在脑波记录单元122执行记录脑波测量单元121获取的受试者的脑波的分析结果的处理时，考虑叠加在信号上的噪声分量，执行去除噪声分量的算术处理来生成记录信号并记录该记录信号。

脑波分析单元123分析脑波记录单元122中记录的受试者180的脑波。

在对脑波的分析中，通常分析每个刺激，其中在时间轴上呈现电位的变化，或者在频率轴上呈现电位的强度或相位的变化。在某些情况下，可以决定可以根据呈现的刺激来分析的项目。

具体地，例如，获取刺激呈现单元101中的刺激(图像)呈现频率(3Hz)或该频率的二次谐波(6Hz)或三次谐波(9Hz)的强度分量或相位分量。

脑波分析处理的一个具体例子将在后面的章节中详细描述。

另一方面，主观评价获取单元131基于预定评价标准获取受试者的主观响应的结果。一般来说，在许多情况下，受试者180的响应是通过操纵键盘或鼠标或检测视线位置来获取的。可以使用任何方法。

主观评价记录单元132记录由主观评价获取单元131获取的受试者的响应。

考虑到后面部分分析的方便性，作为主观评价输入的响应与被给出响应的刺激(图像)相关联地被记录。

如上所述，诸如受试者、呈现的图像、脑波和受试者的主观评价值的数据彼此相关联以被记录。

主观评价分析单元133分析由主观评价获取单元132记录的受试者的响应。

结果合并单元141将脑波分析单元123分析的脑波与主观评价分析单元133分析的主观评价相结合。

具体而言，通过将向受试者180呈现刺激时的脑波与主观评价相关联来生成将在后面部分中用于模型构建单元150的学习数据。

模型构建单元150使用在结果合并单元141中获得的信息作为学习数据来执行机器学习，以构建表示脑波特征量和主观评价之间相关性的评价模型。具体而言，模型构建单元150构建图像质量评价模型，用于基于观察图像的用户(受试者)的脑波测量结果来确定呈现给用户的图像的图像质量，该图像质量是主观图像质量结果。

应用于模型构建单元150中的机器学习的学习数据包括学生数据和监督者数据，并且执行受监督的机器学习。这里，学生数据是与脑波特征量相关的数据，监督者数据是与主观评价相关的数据。

模型构建单元150使用学习数据执行机器学习处理，以构建图像质量评价模型，用于基于观察图像的用户(受试者)的脑波测量结果来确定呈现给用户的图像的主观评价图像质量。

上面已经描述了根据图1所示的本公开的评价模型构建装置100的总体配置和总体处理的概述。

下面，将按顺序描述图1所示的根据本公开的评价模型构建装置100的组成单元的具体处理。

[2.刺激呈现单元执行的处理的细节]

首先，将描述由图1所示的评价模型构建装置100的刺激呈现单元101执行的处理的细节。

如图1所示的评价模型构建装置100的刺激呈现单元101以预定周期，例如3Hz的频率，交替显示图像即评价对象图像和标准图像，如上面参照图2所述。

受试者180观察以3Hz的频率交替显示的图像。

当受试者180观察显示在作为刺激呈现单元101的显示单元上的图像时，输出基于视觉刺激的脑波。

呈现给受试者180的图像是具有各种不同图像质量的图像，例如HDR图像和SDR图像。

将参照图4描述特定呈现图像的示例。

首先，如图4的步骤S01所示，准备作为同一对象的图像的高质量图像，例如HDR图像和低质量图像，例如SDR图像。

随后，如步骤S02所示，基于两种图像(HDR/SDR)生成多个中等质量图像(pHDR图像)。

例如，在生成中间图像的处理中，可以生成每个对应像素值的α混合处理。

中等质量图像(pHDR图像)的像素值pHDRa在计算表达式中决定，在该计算表达式中执行以下α混合处理：

pHDRa＝αHDR+(1-α)SDR。

注意，上述表达式中的HDR和SDR是HDR图像和SDR图像的相同像素值。

前述表达式中的α值被设置在0到1.0的范围内。

α值越大(越接近1)，图像质量越来越高。随着α值越来越小(越接近0)，图像质量越来越低。

将α值设置为各种值，并生成具有多个不同图像质量的中等质量图像。

例如，图4的(步骤S03)所示的示例是生成包括HDR图像和SDR图像在内的10种不同图像质量的图像的示例。

也就是说，该示例是这样一个示例，其中α的值被设置为八种不同的值，并且生成八种具有不同图像质量的中等质量图像。

结果，设置了具有十种不同图像质量的以下图像：

(1)高质量图像01-1(IMG 01-1)(＝HDR图像)；

(2)至(9)中等质量图像01-2至9(IMG 01-2至9)(＝pHDR图像(混合图像))；和

(10)低质量图像01-10(IMG 01-10)(＝SDR图像)。

图像呈现单元101按顺序显示十种评价对象图像。

将参照图5描述显示方法中的图像输出示例。

图5所示的(图像呈现示例1)是在作为刺激呈现单元101的显示单元上显示高质量图像01-1(IMG 01-1)(＝HDR图像)的示例。

图像即评价对象图像和标准图像以预定周期，例如3Hz的频率交替显示。

即，图像呈现频率为3Hz，并且评价对象图像和标准图像1秒钟交替显示三次。

注意，图像呈现频率＝3Hz的设置是示例性的，并且可以应用其他频率。

例如，高质量图像(HDR图像)被用作标准图像。

在图像呈现频率＝3Hz的情况下，受试者180以3Hz的频率观察交替显示评价对象图像和标准图像的图像。

当受试者180观察显示在作为刺激呈现单元101的显示单元上的图像时，输出基于视觉刺激的脑波。

脑波测量单元121测量脑波。

此外，受试者180观察交替显示的图像，执行观察图像的图像质量评价，并记录或输入评价值。主观评价值被输入到主观评价获取单元131。

图5所示的(图像呈现示例2)在图5所示的(图像呈现示例1)之后执行。

图5所示的(图像呈现示例2)是在作为刺激呈现单元101的显示单元上显示中等质量图像01-2(IMG 01-2)(＝pHDR图像)的示例。

在(图像呈现示例2)中，评价对象图像和标准图像也1秒钟交替显示三次。

注意，这里使用的标准图像被假定为与(图像呈现示例1)中使用的标准图像相同的图像。

在(图像呈现示例2)中，脑波测量和主观评价获取处理也同样执行。

图5所示的(图像呈现示例10)是在作为刺激呈现单元101的显示单元上显示低质量图像01-10(IMG 01-10)(＝SDR图像)的示例。

在(图像呈现示例10)中，评价对象图像和标准图像也1秒钟交替显示三次。

注意，这里使用的标准图像被假定为与(图像呈现示例1)中使用的标准图像相同的图像。

在(图像呈现示例10)中，脑波测量和主观评价获取处理也同样执行。

以这种方式，执行在作为刺激呈现单元101的显示单元上交替显示评价对象图像和具有给定图像质量的标准图像并且以预定周期为单位改变评价对象图像(例如，具有十种图像质量的图像)的处理。在每个显示处理中，执行脑波测量和主观评价值获取处理。

注意，在上述示例中，描述了将高质量图像(HDR图像)用作标准图像的示例。作为标准图像，使用具有给定图像质量的图像就足够了，并且可以使用除高质量图像(HDR图像)之外的图像。

注意，此外，对具有不同显示对象的各种图像执行类似的处理。

如图6所示，关于图像01(IMG-01)，具有多种(例如，十种)不同图像质量的图像被呈现给受试者，并且执行来自受试者的脑波测量和主观评价值获取处理。

此外，对于具有不同于图像01(IMG-01)的显示对象的图像02(IMG-02)，向受试者呈现具有多种(例如，十种)不同图像质量的图像，并且执行来自受试者的脑波测量和主观评价值获取处理。

可以使用更多种类的图像。例如，优选地，执行应用大约3至10种具有不同特征的图像的处理，向受试者呈现具有不同图像质量的图像，并执行来自受试者的脑波测量和主观评价值获取处理。

注意，在以上参照图4描述的处理中，即，生成具有不同图像质量的中等质量图像的处理，设置为执行使用HDR图像和SDR图像的α混合处理。然而，HDR图像和被执行亮度调节的SDR图像可以被配置为用作被执行α混合处理的原始图像。

将参照图7描述该示例。

因为HDR图像和SDR图像具有不同的输出亮度范围，所以SDR图像给出比HDR图像更暗的印象。

由于图像的亮度和暗度，在某些情况下受试者可能会做出主观评价，表明SDR图像的质量很差。

为了解决图像的亮度和暗度之间的差异，生成通过增加整个SDR图像的亮度获得的亮度调节SDR图像，并且通过基于HDR图像和亮度调节SDR图像的α混合处理生成中等质量图像。

图7所示的示例是生成包括HDR图像和亮度调节SDR图像在内的10种不同图像质量的图像的示例。

设置以下具有十种不同图像质量的图像：

(1)高质量图像01-1(IMG 01-1)(＝HDR图像)；

(2)至(9)中等质量图像01-2至9(IMG 01-2至9)(＝pHDR图像(α混合图像))；和

(10)亮度调节后的低质量图像01-10(IMG 01-10)(＝亮度调节SDR图像)。

以这种方式，具有多种不同图像质量的图像被设置成使得从整个图像感受到的亮度基本匹配，可以被配置成生成并呈现给对象。

[3.脑波测量单元、脑波记录单元和脑波分析单元执行的处理的细节]

接下来，将描述由图1所示的评价模型构建装置100的脑波测量单元121、脑波记录单元122和脑波分析单元123执行的处理的细节。

如上所述，脑波测量单元121根据刺激呈现单元101呈现的刺激的说明，根据例如以下方案中的任一方案执行脑波测量。

(a)事件相关电位(ERP)测量方案；

(b)视觉诱发电位(VEP)测量方案；和

(c)稳态视觉诱发电位(SSVEP)测量方案。

注意，脑波对呈现刺激的分析对象数据根据要应用的测量方案而不同。

例如，在分析脑波对呈现刺激的时间或频率变化的情况下，优选评价ERP或VEP。

在ERP或VEP的测量中，注意到刺激呈现后的电位如何随时间变化，例如刺激呈现中大约200毫秒后的负电位变化(N2)或刺激呈现中大约300毫秒后的正电位变化(P300)，或者注意到脑波中包括的频率分量如δ波、θ波、α波、β波或γ波的功率如何随时间变化。

当测量ERP或VEP时，可以对空间轴(电极)、时间轴和频率轴进行多边分析。相比之下，缺点是很难确定在获得的结果中是否存在有意义的差异。

另一方面，在呈现刺激的频率变化被专门化和分析的情况下，优选评价SSVEP。在SSVEP的测量中，使标准刺激和评价对象刺激以预定呈现频率交替显示。

例如，以上参照图5描述的示例等同于测量SSVEP处理中图像的替代显示示例。评价对象刺激是评价对象图像，标准刺激是标准图像。呈现频率为3Hz。

以这种方式，通过使评价对象刺激在每个预定时间改变，受试者逐渐感知标准刺激和评价对象刺激之间的差异，该差异表现为脑波。

在SSVEP的情况下，电位被转换成频率分量，并且分析呈现频率以及二次谐波或三次谐波的强度或相位的变化。当每个评价对象刺激被呈现时，强度或相位的变化会被注意到。在评价SSVEP时，优势在于脑波是否相对于评价对象刺激发生了变化，例如频率成分的强度是否发生了变化，这一点可以清楚地理解。

在下文中，将描述执行分析应用SSVEP作为脑波测量方案的脑波的频率分量并提取规则频率下的强度的处理的情况的处理示例。

如上所述，规则频率被假设为刺激的呈现频率或二次谐波或三次谐波。

在以上参照图5描述的图像呈现示例中，呈现频率是3Hz。也就是说，图像和标准图像被设置为在1秒内交替显示三次。

在这种情况下，分析对象脑波的频率分量是诸如3Hz或二次谐波或三次谐波6Hz、9Hz等的频率分量。

为了在该频率处获得清晰的响应，时间频率优选地被设置为大约几Hz，但是也可以获得在另一时间频率处的响应。

在以上参照图3描述的电极设置示例中，在图8中示出了从一个特定电极(例如电极9)检测到的脑波信号的示例。

图8(1)示出了当以3Hz交替显示高质量图像01-1(IMG 01-1)(＝HDR图像)和标准图像时获得的脑波信号(电位)的示例。横轴表示时间，纵轴表示脑波信号(电位)。

注意，图8所示的脑波信号示例是用于描述脑波信号的概念的图，而不是实际测量信号本身的数据。

图8(10)示出了当以3Hz交替显示低质量图像01-10(IMG 01-10)(＝SDR图像)和标准图像时获得的脑波信号的示例。

根据要呈现的图像质量，测量的脑波信号不同。

在呈现不同于图8所示的夜景图像01的水果图像02的情况下，在图9中示出了从一个特定电极(例如电极9)检测到的脑波信号的示例。

图9(1)示出了当以3Hz交替显示高质量水果图像02-1(IMG 02-1)(＝HDR图像)和标准图像时获得的脑波信号(电位)的示例。横轴表示时间，纵轴表示脑波信号(电位)。

图9(10)示出了当以3Hz交替显示低质量图像02-10(IMG 02-10)(＝SDR图像)和标准图像时获得的脑波信号的示例。

以这种方式，根据图像中包括的对象测量的脑波信号以及要呈现的图像的质量不同。

注意，脑波测量单元121测量例如参照图3描述的每个电极的电位变化。

图8和图9所示的脑波信号的示例被描述为从图3所示的多个电极中的一个电极检测到的信号(电位)的示例。然而，可以配置为获取多个电极的电位的相加信号或其中使用在每个电极位置处预先调节的加权的加权相加信号。

注意，在检测对象电极的数量为N的情况下，脑波的测量结果被表示为N维空间向量数据和1维时间数据的组合。在N大的情况下，数据量很大。因此，可以使用独立分量分析等找到有效表达空间向量数据的特征量的轴，可以获得投影矩阵，并且可以利用使用该结果的配置。该方案与将N维空间向量数据投影到另一个空间并使该维度小于N的方案同义。

请注意，脑波自身电位变化的幅度因受试者而异，因为ERP、VEP和SSVEP中的任何一个都是以μV为单位的微弱信号。

因此，即使当在相同条件下对多个受试者测量SSVEP时，信号的强度也有可能显著变化。以这种方式，在相同条件下获取的数据组的平均值或分散度对于每个受试者而言显著不同的情况下，优选执行将平均值设置为0并将分散度设置为1的转换处理，并使用转换结果执行分析。

请注意，数据转换处理称为数据标准化。通过标准化数据，受试者之间的差异被吸收，数据可以用相同的标准进行分析。

如上所述，在SSVEP的情况下，电位被转换成频率分量，并且分析二次或三次谐波的呈现频率和强度的变化。当每个评价对象刺激被呈现时，会注意到强度的变化。当SSVEP被评价时，优势在于脑波是否相对于评价对象刺激发生了变化，即频率成分的强度是否发生了变化，这一点可以清楚地理解。

在SSVEP被用作脑波测量方案的情况下，分析SSVEP的频率分量，并且规定频率下的信号幅度可以被定义为强度。

例如，当对脑波信号(电位)执行特定频率(3Hz、6Hz、9Hz等)的频率分量分析时，在一些情况下，在与特定频率(3Hz、6Hz、9Hz等)相等的周期检测到峰值，该脑波信号是从图8或图9所示的电极检测到的测量数据。

例如，通过对作为测量数据的脑波信号(电位)执行傅立叶变换，在某些情况下，可以获得峰值在特定频率(3Hz、6Hz、9Hz等)的峰值信号。具有特定频率的峰值信号是根据所呈现图像的周期的信号，并且可以被分析为基于所呈现图像发生的脑波。通过将具有特定频率的信号的幅度定义为脑波信号的强度，并以所呈现的图像为单位获取强度以进行分析，可以根据图像或图像质量获取脑波强度信号。

这里，测量信号包括在外部环境中引起的噪声、装置特有的噪声、受试者的生物测定信号噪声等。优选地，通过从由测量信号获得的检测强度信号Si中去除噪声分量Ni来计算最终脑波强度信号Fi。

图10示出了检测强度信号Si和噪声分量Ni的示例，所述检测强度信号Si和噪声分量Ni是根据脑波信号(电位)和脑波强度信号Fi计算的，所述脑波信号是从图8或图9所示的电极检测到的测量数据，所述脑波强度信号Fi是通过从检测强度信号Si中去除噪声分量Ni而计算的。

在图10所示的曲线图中，横轴表示作为刺激呈现单元101的显示单元上显示的图像质量(可见性水平)。

左侧设置为指示更好的图像质量，右侧设置为指示更差的图像质量。

竖轴代表信号强度。

图10的曲线图中所示的检测强度信号Si例如是基于通过按顺序呈现具有图8所示的图像01的10种不同图像质量的图像而获得的10种脑波信号(电位)数据而获得的信号。

如上所述，对作为从电极检测到的测量数据的脑波信号(电位)执行特定频率(3Hz)的频率分量分析，将与特定频率(3Hz)相等的周期的峰值检测为脑波强度，并且连接各种图像质量的图像单位的信号强度的线是图10的曲线图中所示的检测强度信号Si。

这里，检测强度信号Si包括由于各种外部环境引起的噪声、装置特有的噪声、受试者的生物测定信号噪声等。噪声的信号强度是图10所示的噪声分量Ni。

请注意，i是指示测量次数的标识参数。在图中示出的示例中，i是通过呈现具有10种不同图像质量并且i＝1至10的图像而获得的测量处理结果。

脑波分析单元123通过从检测强度信号Si中去除噪声分量Ni来计算最终脑波强度信号Fi，并将最终脑波强度信号Fi输出到结果合并单元141。另外，可选地，脑波强度信号Fi存储在存储单元中。

具体地，例如，脑波分析单元123通过应用以下任何计算表达式来计算最终脑波强度信号Fi，并将最终脑波强度信号Fi输出到结果合并单元141或存储单元：

(示例1)脑波强度信号Fi＝Si；

(示例2)脑波强度信号Fi＝Si-Ni；

(示例3)脑波强度信号Fi＝Si-平均值(其中N1，N2，...，Nn)；

(示例4)脑波强度信号Fi＝Si/Ni；并且

(示例5)脑波强度信号Fi＝Si/平均值(其中N，N2，...，Nn)。

(示例1)脑波强度信号Fi＝Si是这样一个示例，其中检测强度信号Si被原样用作脑波强度信号Fi，而不减去噪声分量。

(示例2)脑波强度信号Fi＝Si-Ni是这样一个示例，其中以每次测量(i)为单位从检测强度信号Si中减去噪声分量(Ni)，以计算脑波强度信号Fi。

(示例3)脑波强度信号Fi＝Si-平均值(其中N1，N2，...Nn)是其中计算噪声分量(Ni)的平均值并且通过从检测强度信号Si减去噪声分量平均值来计算脑波强度信号Fi的示例。

(示例4)脑波强度信号Fi＝Si/Ni是这样一个示例，其中通过以每个测量(i)为单位将检测强度信号Si除以噪声分量(Ni)，将检测强度信号Si与噪声分量(Ni)的比率设置为脑波强度信号Fi。

(示例5)脑波强度信号Fi＝Si/平均值(其中N，N2，...Nn)是这样一个示例，其中计算噪声分量(Ni)的平均值，并且通过将检测强度信号Si除以噪声分量(Ni)的平均值，将检测强度信号Si与噪声分量(Ni)的平均值的比率设置为脑波强度信号Fi。

这样，脑波分析单元123执行考虑叠加在脑波测量单元121获取的受试者的检测强度信号Si上的噪声分量的去除噪声分量的计算处理，以生成脑波强度信号Fi，并将脑波强度信号Fi输出到结果合并单元141。另外，可选地，脑波强度信号Fi存储在存储单元中。

图11是示出脑波分析单元123基于通过以特定频率(3Hz)交替显示从不同显示对象配置的图像01、02等中的每一个中的具有多种(10种)不同图像质量的图像以及标准图像而获得的数据而获取的数据的示例的图。

示出了噪声Ni和通过检测两种不同频率(3Hz和6Hz)的周期的峰值作为佩戴在受试者180上的电极的测量电位的强度而产生的检测强度信号Si。

脑波分析单元123执行获取通过呈现多个图像和具有不同图像质量的图像的处理获得的受试者的检测强度信号Si的处理，以及通过执行去除噪声分量并将脑波强度信号Fi输出到结果合并单元141的计算处理或者将脑波强度信号Fi存储在存储单元中来生成脑波强度信号Fi的处理中的任一个。

注意，脑波强度信号Fi被输出到结果合并单元141，或者与受试者和图像相关联地存储在存储单元中。

[4.主观评价获取单元、主观评价记录单元和主观评价分析单元的处理细节]

接下来，将描述由图1所示的评价模型构建装置100的主观评价获取单元131、主观评价记录单元132和主观评价分析单元133执行的处理的细节。

例如，作为图像的主观评价处理方案，例如，存在以下评价方案。

n阶段评价(MOS：平均意见得分)，(其中n＝5、7等)；

分数评价(幅度估计方法等)；和

反思评价(评论记录)

在使用MOS执行评价的情况下，许多情况下使用5阶段评价或7阶段评价。在5阶段评价的情况下，在每个评价对象图像中设置1分至5分范围内的评价值。在7阶段评价中，分数设定在1分到7分的范围内。

每一分的含义都是预先规定的，并事先作为评价标准公布给受试者。通常，有以下评价标准：

绝对评价(绝对类别评级：ACR)；和

退化评价(退化类别评级：DCR)。

注意，在MOS进行评价的情况下，记录的MOS的数值可以被视为主观评价结果。

作为另一个主观评价方案，在每个图像中，也可以应用将设置的阈值与MOS的数值进行比较、确定哪个更大、以及设置两个分类评价结果的方案，其中当数值大于阈值时设置1，当数值小于阈值时设置0。

作为又一主观评价方案，可以通过统计测试来确定作为标准的数值和作为比较目标的MOS的数值之间是否存在统计意义。

具体地，该方案是使用t检验来确定MOS对单独调节的标准刺激的数值平均值和MOS对标准刺激的特征量改变的评价对象刺激的数值平均值之间是否存在统计意义的方案。

将参照图12描述由主观评价获取单元121执行的处理示例。

图12所示的(图像呈现示例1)是在作为刺激呈现单元101的显示单元上显示高质量图像01-1(IMG 01-1)(＝HDR图像)的示例。

图像即评价对象图像和标准图像以预定周期(例如，3Hz的频率)交替显示。

图像呈现方法类似于以上参照图5描述的方法，交替显示评价对象图像和具有给定图像质量的标准图像，并且执行以预定周期为单位改变评价对象图像的处理。

也就是说，图像呈现频率为3Hz，并且评价对象图像和标准图像被设置为1秒钟显示三次。

注意，图像呈现频率＝3Hz的设置是示例性的，并且可以应用其他频率。

在图像呈现频率＝3Hz的情况下，受试者180以3Hz的频率观察评价对象图像和标准图像交替显示的图像。

受试者180对观察到的图像执行主观图像质量评价。

例如，设定主观评价值＝1至5的主观评价值。这里，5是在受试者感觉到最高图像质量的图像中设置的主观评价值，1是在受试者感觉到最低图像质量的图像中设置的主观评价值。

主观评价值例如通过键盘或鼠标的操作或视线位置的检测来输入，并且输入值被输入到主观评价获取单元131，并且被记录在主观评价记录单元132上。

主观评价值被记录为与受试者和每个图像相关联的主观评价值。

主观评价分析单元133分析由主观评价获取单元132记录的受试者的响应。

将参照图13描述由主观评价分析单元133执行的分析处理示例。

图13是示出在以特定频率(3Hz)交替显示从不同显示对象配置的图像01、02等中的每一个中具有多种(10种)不同图像质量的图像和标准图像的情况下，基于受试者输入的主观评价值(1至5)获得的主观评价结果的示例的图。

在(A)呈现图像中，示出了从不同显示对象配置的图像01、02等。对于每个图像，具有多种(十种)图像质量的图像以3Hz分别交替显示。然后，受试者评价观察图像的质量，并输入主观评价值。

在图13(B)的主观评价结果中，对于图像01和02中的每一个，示出了其中图像质量绘制在横轴上并且主观评价值绘制在纵轴上的曲线图。

横轴表示显示在作为刺激呈现单元101的显示单元上的图像质量(可见性水平)。左侧设置为指示更好的图像质量，右侧设置为指示更差的图像质量。

在图13所示的示例中，在呈现由夜景对象配置的图像01的情况下，HDR图像的主观评价值约为4.0，SDR图像的主观评价值约为0.7。

此外，在呈现由水果对象配置的图像02的情况下，HDR图像的主观评价值约为3.2，SDR图像的主观评价值约为1.2。

注意，主观评价值与脑波信号一样也输出到结果合并单元141，或者与受试者和图像相关联地存储在存储单元中。

[5.结果合并单元执行的处理]

接下来，将描述由图1所示的评价模型构建装置100的结果合并单元141执行的处理的细节。

将参照图14描述结果合并单元141执行的处理。

结果合并单元141将脑波分析单元123分析的脑波和主观评价分析单元133分析的主观评价与其相关联地合并，并将合并数据存储在存储单元中，或将合并数据输出到模型构建单元150。

由结果合并单元141生成的合并数据是对应于当刺激被呈现给受试者180时的脑波和主观评价的数据，并且是等同于将在后面部分的模型构建单元150中使用的学习数据的数据。

图14是示出由结果合并单元141执行的处理的说明图。

图14示出了以下数据中的每一个：

(A)在脑波分析单元123中生成的每个受试者的对应于每个图像的脑波分析结果；

(B)在主观评价分析单元133中生成的每个受试者的对应于每个图像的主观评价结果；和

(C)在结果合并单元141中生成的合并数据。

如图14所示，结果合并单元141合并以下数据：

(A)在脑波分析单元123中生成的每个受试者的对应于每个图像的脑波分析结果(＝客观评价结果)；和

(B)在主观评价分析单元133中生成的每个受试者的对应于每个图像的主观评价结果。

结果合并单元141将合并数据作为集合了每个受试者的对应于每个图像的脑波分析结果和主观评价结果的数据存储在存储单元201中。

也就是说，结果合并单元141在存储单元201中存储以下数据彼此相关联的数据作为合并数据：

受试者-图像-脑波分析结果-主观评价结果。

在模型构建单元150中执行的构建图像质量评价模型的机器学习处理中，将该合并数据，即每个受试者的对应于每个图像的脑波分析结果以及主观评价结果用作学习数据。

[6.模型构建单元执行的处理细节]

接下来，将描述由图1所示的评价模型构建装置100的模型构建单元150执行的处理的细节。

模型构建单元150的配置示例在图15中示出。

模型构建单元150使用由结果合并单元140生成的合并数据执行机器学习处理：

(A)在脑波分析单元123中生成的每个受试者的对应于每个图像的脑波分析结果；和

(B)在主观评价分析单元133中生成的每个受试者的对应于每个图像的主观评价结果，

也就是说，其中以下数据相互关联以构建图像质量评价模型的合并数据：

受试者-图像-脑波分析结果-主观评价结果。

也就是说，通过将作为对作为图像观察者的受试者呈现刺激的结果的响应而出现的脑波的变化与受试者对呈现的刺激的主观评价相关联，构建了图像质量评价模型，用于基于观察图像的用户(受试者)的脑波测量结果来评价呈现给用户的图像的图像质量(作为主观评价结果的图像质量)。

具体地，例如，基于观察图像的用户(受试者)的脑波测量结果，构建用于使得能够识别呈现给用户的图像是HDR图像还是SDR图像的图像质量评价模型。

模型构建单元150通过使用在结果合并单元141中生成的合并数据(即，其中以下数据作为学习数据彼此相关联的合并数据)执行机器学习来构建图像质量评价模型：

受试者-图像-脑波分析结果-主观评价结果。

在结果合并单元141中生成的合并数据被存储在图15所示的存储单元201中。

学习数据输入单元从存储单元201向机器学习执行单元203输出合并数据，即以下数据相互关联的合并数据：

受试者-图像-脑波分析结果-主观评价结果。

机器学习执行单元203通过使用合并数据执行机器学习处理来构建图像质量评价模型。

应用于机器学习执行单元203中的机器学习处理的学习数据包括学生数据和监督者数据。机器学习执行单元203执行受监督的机器学习。

这里，学生数据是脑波分析结果，也就是说，与脑波特征量相关的数据，监督者数据是主观评价结果。

机器学习执行单元203使用学习数据执行机器学习处理，构建图像质量评价模型，用于使得能够基于观察图像的用户(受试者)的脑波测量结果来评价呈现给用户的图像的质量，并将图像质量评价模型存储在评价模型存储单元204中。

注意，在模型构建单元150中执行的图像质量评价模型构建处理包括以下多个处理步骤：

(a)学习设置步骤；

(b)机器学习步骤；

(c)性能验证步骤；和

(d)评价模型输出步骤。

包括上述步骤。

(a)学习设置步骤和(b)机器学习步骤由图15所示的机器学习执行单元203执行。

(c)性能验证步骤由图15所示的评价模型验证单元212执行。

(d)评价模型输出步骤由图15所示的评价模型输出单元213执行。

在由图15所示的机器学习执行单元203执行的(a)学习设置步骤中，执行选择机器学习算法、设置学习参数以及根据机器学习算法对机器学习数据进行整形。

具体地说，作为机器学习算法，例如，有各种算法。例如，可以使用支持向量机(SVM)。以下，将描述使用支持向量机(SVM)的示例。

支持向量机(SVM)是一种有监督机器学习算法，可以实现高精度的分类处理。

注意，在该示例的有监督机器学习处理中，学生数据是脑波分析结果，即，与脑波的特征量相关的数据和监督者数据是主观评价结果。

类别分类是定义预定数量的待分类类别并基于数据的特征量决定(预测)每条数据被分类到的类别的处理。

例如，分类对象数据是图像数据。分类类别例如是高质量图像类别和低质量图像类别两个类别，具体地，HDR图像和SDR图像两个类别。

特征量是脑波分析结果。

机器学习执行单元203在学习设置步骤完成之后执行(b)机器学习步骤。

在(b)机器学习步骤中，基于学习设置步骤的设置，对输入的机器学习数据执行回归处理或分类处理。

预回归处理是根据输入数据预测输出的处理。

分类处理是将输入数据分类为两个或更多类别的处理。

例如，在评价输入刺激的质量(在该示例中，是呈现的图像)的情况下，构建回归模型来预测质量，或者构建具有多个类别的分类模型来确定质量。

也就是说，机器学习执行单元203利用观察图像的用户(受试者)的脑波分析结果(特征量)，构建图像质量评价模型，用于执行决定(预测)在高质量图像类和低质量图像类之间将观察对象图像分类为哪个类别的处理，具体而言，HDR图像和SDR图像两个类别。

构建的图像质量评价模型存储在评价模型存储单元204中。

机器学习执行单元203构建例如图16所示的图像质量评价模型。

图16所示的图像质量评价模型是用于基于两种不同的脑波特征量将图像分成两类的图像质量评价模型。

也就是说，图像质量评价模型是用于将图像分为以下两类的图像质量评价模型：

(第一类)高质量图像类，其中图像观察者的主观评价被估计为高质量图像(HDR)；和

(第二类)低质量图像类，其中图像观察者的主观评价被估计为低质量图像(SDR)。

通过应用图像质量评价模型，即使在允许用户(受试者)观察具有高图像质量或低图像质量的未知图像的情况下，当获取用户(受试者)的脑波特征量时，也可以估计所呈现的图像是高质量图像(HDR)还是低质量图像(SDR)。

注意，在图16所示的图像质量评价模型中，在该示例中使用了两个脑波特征量。然而，应用于图像质量评价模型的脑波特征量的数量可以设置为1或3或更多。具体的示例将在后面描述。

当机器学习执行单元203构建图像质量评价模型并且将构建的图像质量评价模型存储在评价模型存储单元204中时，处理进行到(c)性能验证步骤。

评价模型性能验证单元212从测试数据输入单元211输入存储在存储单元201中的合并数据作为测试数据，并使用测试数据执行由机器学习执行单元203生成的图像质量评价模型的性能验证。

注意，被用作测试数据的合并数据被假设为没有被应用于机器学习执行单元203中构建图像质量评价模型的处理的数据。

评价模型性能验证单元212验证通过将测试数据中包括的脑波分析结果(特征量)应用于由机器学习执行单元203生成的图像质量评价模型而获得的类别分类结果是否与测试数据中包括的主观评价结果(综合数据)匹配。

当类别分类结果与主观评价结果匹配时，意味着通过应用由机器学习执行单元203生成的图像质量评价模型执行了正确的类别分类。

相反，当类别分类结果与主观评价结果不匹配时，意味着由机器学习执行单元203生成的图像质量评价模型执行了错误的类别分类。

评价模型性能验证单元212执行评价处理，在该评价处理中，例如，在评价由机器学习执行单元203生成的图像质量评价模型的处理中应用诸如准确率、精度、再现率或通常已知的模型评价指标的F值之类的指标。

在评价由机器学习执行单元203生成的图像质量评价模型的处理中，在每个指标值指示等于或大于预设阈值的值的情况下，由机器学习执行单元203生成的图像质量评价模型的性能被确定为可允许的性能，并且处理进行到随后的(d)评价模型输出步骤。

相反，当不满足预定性能时，该处理返回到(a)学习设置步骤。然后，再次执行选择机器学习算法、设置学习参数以及根据机器学习算法对机器学习数据进行整形。

在评价模型性能验证单元212确定由机器学习执行单元203生成的图像质量评价模型的性能是可允许性能的情况下，评价模型输出单元213执行(d)评价模型输出步骤。

评价模型输出单元213输出在评价模型输出步骤中被评价为具有足够性能的图像质量评价模型220。

图17示出了由评价模型输出单元213输出的图像质量评价模型220的一个具体示例。

图17所示的图像质量评价模型是这样一种模型，其中以下两个特征量被用作要应用于图像质量估计的脑波特征量：

(特征量1)节点(电极)09和10的脑波强度(标准化值)；和

(特征量2)节点(电极)20的脑波强度(标准化值)。

节点(电极)09、10和20是以上参照图3描述的脑波测量电极的设置示例的节点(电极)。

注意，标准化值是在执行将平均值设置为0并将分散度设置为1的转换处理之后的值。

如上所述，由于ERP、VEP和SSVEP中的任一个都是以μV为单位的微弱信号，所以脑波本身的电位变化幅度对于每个受试者都不同。

因此，即使当在相同条件下对多个受试者测量SSVEP时，信号的强度也有可能显著变化。以这种方式，在相同条件下获取的数据组的平均值或分散度对于每个受试者而言显著不同的情况下，优选应用将平均值设置为0并将分散度设置为1的转换处理的方案，这被称为数据标准化。通过将数据标准化，受试者之间的差异被吸收，可以用相同的标准分析数据。

图17所示的图像质量评价模型是用于通过检测观察图像的用户的以下两个脑波特征量来估计由图像观察用户观察的图像的质量(主观评价图像质量)的模型。

(特征量1)节点(电极)09和10的脑波强度(标准化值)；和

(特征量2)节点(电极)20的脑波强度(标准化值)。

当从观察图像的用户的脑波测量结果获得的特征量1(节点(电极)09和10的脑波强度)和特征量2(节点(电极)20的脑波强度)在图17所示的区域A的范围内时，图像观察用户观察的图像的质量(主观评价图像质量)可以被估计为等同于HDR图像的图像质量。

当从观察图像的用户的脑波测量结果获得的特征量1(节点(电极)09和10的脑波强度)和特征量2(节点(电极)20的脑波强度)在图17所示的区域B的范围内时，图像观察用户观察的图像的质量(主观评价图像质量)可以被估计为等同于SDR图像的图像质量。

图像质量评价模型220是用于描述脑波和主观评价结果之间的定量关系的图像质量评价模型，该定量关系是通过对脑波和主观评价结果之间的关系执行机器学习而导出的。

通过使用图像质量评价模型220，可以基于观察图像的用户(受试者)的脑波信号来估计图像的质量是例如高质量还是低质量，或者图像是HDR图像还是SDR图像。

也就是说，通过允许用户(受试者)观察具有未知图像质量的图像，测量用户的脑波，计算对应于在图像质量评价模型220中设置的脑波特征量的脑波特征量，并将计算出的脑波特征量应用于图像质量评价模型220，可以估计图像质量是例如高质量还是低质量，或者图像是HDR图像还是SDR图像。

注意，例如，图17所示的图像质量评价模型是用于执行高图像质量(HDR)和低图像质量(SDR)的二元确定模型，但是图像质量评价模型可以被不同地设置，从而执行图16所示的两种类别分类。

例如，通过应用图像质量评价模型获得的确定结果可以是0或1或是或否的二元格式。此外，可以输出根据所构建的评价模型的格式的各种分类结果，例如表示为0至100的分数。

此外，两种特征量被用于图17所示的图像质量评价模型，并且图像质量评价模型被二维设置。例如，如图18所示，可以仅使用应用于图像质量评价模型的一个脑波特征量，或者可以设置三个或更多脑波特征量。

图18(1)示出了使用一个脑波特征量的一维图像质量评价模型的示例。

图18(2)示出了使用三个脑波特征量的三维图像质量评价模型的示例。

注意，从脑波测量结果获得的各种特征量可以用作图像质量评价模型中设置的特征量。

例如，在图3所示的脑波测量的电极布置示例中，可以使用从“预定电极的测量信号”计算出的“预定信号分量”。

“预定电极的测量信号”包括例如以下信号：

(a)从任何位置的一个或多个电极获得的测量信号；和

(b)在从多个电极或所有电极获取测量信号的情况下，通过独立分量分析等压缩信号获取电极的维度的数量(在所有电极的情况下为32)来压缩维度的数量而获得的测量信号。

此外，“预定信号分量”包括例如以下信号分量：

(a)图像呈现频率(在参照图5和其他附图描述的示例中为3Hz)或二次或三次谐波(6Hz、9Hz等)的强度分量；

(b)图像呈现频率(在参照图5和其他附图描述的示例中为3Hz)或二次或三次谐波(6Hz、9Hz等)的相位分量；和

(c)通过对从多个电极获取的信号分量的多个频率的强度分量进行合并来计算的信号分量(例如，相加平均值、加权相加结果等)。

根据上述本公开的评价模型构建装置被配置为构建评价模型，该评价模型用于通过将作为向作为图像观察者的受试者呈现刺激(图像等)获得的结果的响应而出现的脑波的变化与受试者对被呈现的刺激(图像等)的主观评价相关联来执行不偏离主观评价结果的客观评价。

通过使用评价模型基于脑波执行图像质量评价，可以获得不偏离主观评价的图像质量的客观评价结果。

注意，在上述实施例中，其中图像被用作要呈现给受试者的刺激的示例，具有不同动态范围的HDR图像到SDR图像的多种不同图像质量的图像被呈现给受试者，获取受试者的脑波和主观评价，并且已经描述了图像质量评价模型的构建。

在根据本公开的配置中，具有不同于动态范围的图像质量的图像可以呈现给受试者，可以获取受试者的脑波和主观评价，并且还可以构建图像质量评价模型，具体而言，例如，该图像是根据像素数的不同图像质量，诸如具有诸如4K或8K之类的大量像素数的高精度图像，以及具有诸如2K之类的比4K或8K图像更少像素数的普通图像。

此外，例如，可以允许受试者听到具有多种不同声音质量的声音数据，并且观察图像，可以获取受试者的脑波和主观评价，并且还可以构建声音质量评价模型。

通过使用声音质量评价模型执行基于脑波的声音质量评价，可以获取不偏离主观评价的声音质量的客观评价结果。

[7.由信息处理装置执行的处理序列]

接下来，将参照图19和图20所示的流程图描述由图1所示的评价模型构建装置100执行的评价模型构建处理的执行顺序。

注意，图1所示的评价模型构建装置100包括数据处理单元，该数据处理单元包括具有程序执行功能的CPU。根据图19和20所示流程图的处理在数据处理单元的控制下执行。注意，信息处理装置的硬件配置示例将在后面部分中描述。

由图1所示的评价模型构建装置100执行的评价模型构建处理可以大致分为以下四个步骤：

(A)准备步骤；

(B)呈现和测量步骤；

(C)分析步骤；和

(D)模型构建步骤。

包括这四个步骤。

在下文中，将描述每个步骤的详细处理。

(A)准备步骤

准备步骤是图19所示的流程图的步骤S101至S107的处理。在下文中，将描述每个步骤的处理。

(步骤S101和S102)

在步骤S101和S102的刺激呈现准备步骤和准备完成检查步骤中，检查是否准备了要呈现给受试者的刺激(具体而言是图像)，或者设置了诸如刺激呈现单元即显示单元(显示器)的图像输出频率的参数。

当准备完成时，该处理进行到步骤S103的脑波测量准备步骤。

(步骤S103和S104)

在步骤S103和S104的脑波测量准备步骤和测量准备完成检查步骤中，检查获取受试者的脑波的硬件是否准备好，软件是否设置好。

当进行准备时，处理进行到步骤S105的主观评价获取准备步骤。

(步骤S105和S106)

在步骤S105和S106的主观评价获取准备步骤和评价准备完成检查步骤中，检查是否可以获取被呈现刺激的受试者的主观评价。

注意，在脑波测量和主观评价获取不同时执行的情况下仅执行准备步骤就足够了。

当直到这里的准备完成时，处理进行到步骤S107的同步建立步骤。

(步骤S107)

在步骤S107的同步建立步骤中，在刺激呈现、脑波测量和主观评价获取期间执行同步操作。

执行这个是为了以后确定脑波响应的刺激，脑波变化和刺激呈现时间之间的时间关系，以及被执行主观评价的刺激。

(B)呈现和测量步骤

呈现和测量步骤是图19所示流程图的步骤S108至S114的处理。在下文中，将描述每个步骤的处理。

(步骤S108)

在步骤S108的刺激呈现步骤中，根据预定规则将预先准备的刺激(在该示例中，评价对象图像和标准图像的交替显示)呈现给受试者。

例如，执行3Hz的交替显示。

(步骤S109)

在步骤S109的脑波测量步骤中，测量受试者在所呈现的刺激(在该示例中，评价对象图像和标准图像的交替显示)下的脑波。

例如，脑波测量处理使用设置在图3所示的电极设置位置设置的电极来执行。

(步骤S110)

在步骤S110的主观评价获取步骤中，获取受试者对所呈现刺激的主观评价。

注意，在脑波测量和主观评价获取没有同时执行的情况下，执行脑波测量步骤和主观评价获取步骤中的任何一个就足够了。

(步骤S111)

在步骤S111中，当检查到预定刺激(在该示例中，图像呈现处理)都被呈现时，处理进行到步骤S112的结束处理步骤。

(步骤S112)

在步骤S112的结束处理步骤中，执行断开先前建立的同步的处理、将获取的脑波的数据或测量的主观评价存储在存储单元中的处理等。

(步骤S113)

在步骤S113的脑波测量结果记录步骤中，将在步骤S109的脑波测量步骤中测量的脑波记录为数据。

例如，执行上面参照图8和图9描述的脑波信号记录处理。

(步骤S114)

在步骤S114的主观评价结果记录步骤中，在步骤S110的主观评价获取步骤中获取的主观评价结果被记录为数据。

例如，用户(受试者)对图像质量的主观评价值被记录为1至5的5阶段评价值等。

当所有数据的记录完成时，该处理进行到随后的分析步骤。

(C)分析步骤

分析步骤是图20所示流程图的步骤S121至S127的处理。在下文中，将描述每个步骤的处理。

(步骤S121和S122)

在步骤S121的脑波分析步骤中，根据适当的方法分析在步骤S113的脑波测量结果记录步骤中记录的脑波。

如上所述，在测量的脑波是ERP或VEP的情况下，在许多情况下，在空间轴、时间轴和频率轴上执行分析。在测量的脑波是SSVEP的情况下，在许多情况下，在频率轴上执行分析。

注意，在分析之前，优选对记录的脑波应用带通滤波器或陷波滤波器的滤波处理，以去除不必要的信号或抑制噪声。

例如，通过脑波分析处理，生成参照图10和图11描述的脑波的检测强度信号Si、脑波强度信号Fi等的分析结果。

注意，脑波分析数据被生成为分析数据，其中受试者和每个图像彼此相关联。

当在步骤S122中检查脑波分析完成时，处理进行到步骤S123的主观评价分析步骤。

(步骤S123和S124)

在步骤S123的主观评价分析步骤中，根据适当的方法分析在步骤S114的主观评价结果记录步骤中记录的主观评价结果。

例如，在多次呈现相同刺激的情况下，认为计算了得分的平均值、模式或中值。

例如，通过主观评价结果分析处理，生成参照图13描述的主观评价结果。

注意，主观评价结果也作为其中受试者和每个图像彼此相关联的数据生成，就像脑波分析数据中那样。

在步骤S124中，当检查主观评价分析完成时，处理进行到步骤S125的分析结果整合步骤。

(步骤S125和S126)

在步骤S125的分析结果整合步骤中，将单独的脑波分析结果和主观评价分析结果与受试者和图像相关联地整合。

该处理是由以上参照图14描述的结果合并单元141执行的处理。

如图14所示，结果合并单元141合并以下数据：

(A)在脑波分析单元123中生成的每个受试者的对应于每个图像的脑波分析结果；和

(B)在主观评价分析单元133中生成的每个受试者的对应于每个图像的主观评价结果。

结果合并单元141将合并数据存储为数据，其中每个受试者的对应于每个图像的脑波分析结果和主观评价结果被收集在存储单元中。

也就是说，结果合并单元141将以下数据作为合并数据彼此相关联的数据存储在存储单元中：

受试者-图像-(脑波分析结果，主观评价结果)。

当在步骤S126中检查到分析结果都被集成时，处理进行到步骤S127的合并数据输出步骤。

(步骤S127)

在步骤S127的合并数据输出步骤中，合并分析结果作为机器学习数据被输出到图1所示的评价模型构建装置100的模型构建单元，并且处理进行到模型构建步骤。

(D)模型构建步骤

模型构建步骤是图20所示流程图的步骤S128至S134的处理。在下文中，将描述每个步骤的处理。

(步骤S128和S129)

在步骤S128的机器学习设置步骤中，执行选择机器学习算法、设置学习参数以及根据机器学习算法对机器学习数据进行整形。

例如，被称为上述有监督机器学习算法的支持向量机(SVM)被选择作为机器学习算法。

此外，执行将脑波分析结果(即，与脑波的特征量相关的数据)设置为学生数据并将主观评价结果设置为监督者数据等的处理。

当在步骤S129中检查到设置完成时，处理进行到步骤S130的机器学习步骤。

(步骤S130和S131)

在步骤S130的机器学习步骤中，基于步骤S128的机器学习设置步骤中的设置，对输入的机器学习数据执行机器学习处理。例如，执行伴随回归和分类的机器学习处理。

注意，如上所述，在回归中预测来自输入数据的输出。分类是将输入数据分为两个或更多类别。

例如，在评价输入刺激(在此示例中，图像)的质量(例如，高质量(HDR)或低质量(SDR))的情况下，构建回归模型以预测质量，或者构建具有多个类别的分类模型以确定质量。

在步骤S130的机器学习步骤中执行的处理是以上参照图15至图18描述的处理，并且具体地是以下处理。

也就是说，使用观察图像的用户(受试者)的脑波分析结果(特征量)，构建图像质量评价模型，用于执行在高质量图像类和低质量图像类之间决定(预测)观察对象图像被分类到哪个类的处理，具体地，HDR图像和SDR图像两个类。

构建的图像质量评价模型存储在图15所示的评价模型存储单元204中。

在步骤S130的机器学习步骤中，图15所示的机器学习执行单元203构建例如图16所示的图像质量评价模型。

当在步骤S131中检查机器学习完成时，处理进行到步骤S132的性能验证步骤。

(步骤S132和S133)

在步骤S132的性能验证步骤中，评价在步骤S130的机器学习步骤中构建的评价模型的性能。

作为评价指标，使用模型的准确率、精度、再现率、F值等。

该处理是由图15所示的评价模型验证单元212执行的处理。

如上所述，评价模型性能验证单元212验证通过将测试数据中包括的脑波分析结果(特征量)应用于由机器学习执行单元203生成的图像质量评价模型而获得的类别分类结果是否与测试数据中包括的主观评价结果(合并数据)匹配。

当类别分类结果与主观评价结果匹配时，意味着通过应用由机器学习执行单元203生成的图像质量评价模型来执行正确的类别分类。

相反，当类别分类结果与主观评价结果不匹配时，意味着由机器学习执行单元203生成的图像质量评价模型执行了错误的类别分类。

在步骤S133中检查生成的评价模型满足预定性能的情况下，处理进行到步骤S134的评价模型输出步骤。

相反，当不满足预定性能时，处理返回到步骤S128的机器学习设置步骤。然后，再次执行选择机器学习算法、设置学习参数以及根据机器学习算法对机器学习数据进行整形。

(步骤S134)

在步骤S134的评价模型输出步骤中，输出被评价为具有足够性能的图像质量评价模型。

如上所述，该处理是由图15所示的评价模型输出单元213执行的处理。

由评价模型输出单元213输出的图像质量评价模型220例如是以上参照图17描述的图像质量评价模型。

根据上述序列生成的图像质量评价模型是这样的模型，其中作为通过向作为图像观察者的受试者呈现图像而获得的结果的响应而出现的脑波的变化与受试者对呈现图像的主观评价相关联，并且是用于实现不偏离主观评价结果的客观评价的图像质量评价模型。

通过使用评价模型基于脑波执行图像质量评价，可以获得不偏离主观评价的图像质量的客观评价结果。

注意，上述序列是主观评价处理与脑波测量处理一起执行的序列，但是脑波测量处理和主观评价处理也可以分开执行。

在这种情况下，与主观评价处理相关的步骤S105、S106、S114、S123和S124作为与脑波测量处理分离的处理来执行。此后，步骤S125之后的处理可以被配置为使用两个处理的结果来执行。

[8.评价模型应用图像质量评价装置的配置和处理]

接下来，将描述作为信息处理装置的评价模型应用图像质量评价装置的配置和处理，该评价模型应用图像质量评价装置使用由参照图1和后续附图描述的评价模型构建装置100通过机器学习处理生成的图像质量评价模型来执行图像质量确定。

图21是示出评价模型应用图像质量确定装置300的配置示例的框图。

图21所示的评价模型应用图像质量确定装置300将图像质量评价模型存储在评价模型存储单元351中，该图像质量评价模型是参照图1和后续附图描述的评价模型构建装置100通过机器学习处理生成的评价模型。

例如，参照图17描述的图像质量评价模型被存储在评价模型存储单元351中。

评价模型应用图像质量确定装置300通过使用存储在评价模型存储单元351中的图像质量评价模型来执行识别呈现给用户(受试者)的图像是高质量图像(例如HDR图像)还是低质量图像(例如SDR图像)的处理。

在识别处理中，使用观察识别对象图像的用户(受试者)的脑波的分析信号。

即，例如，在执行使用图17所示的图像质量评价模型的处理的情况下，从用户(受试者)的脑波生成与图17所示的图像质量评价模型中设置的两个脑波特征量相同的特征量，即，如下两个特征量。

(特征量1)节点(电极)09和10的脑波强度(标准化值)；和

(特征量2)节点(电极)20的脑波强度(标准化值)。

此外，确定生成的两个特征量的值是包括在图17所示的图像质量评价模型的区域A(高质量(HDR))还是区域B(低质量(SDR))中。

基于确定结果，识别呈现给用户(受试者)的图像是诸如HDR图像的高质量图像还是诸如SDR图像的低质量图像。

将描述图21所示的评价模型应用图像质量确定装置300的配置和处理。

如图21所示，评价模型应用图像质量确定装置300包括刺激呈现单元301、脑波测量单元321、脑波记录单元322、脑波分析单元323、评价模型存储单元351、刺激确定单元352和结果(图像质量评价结果)输出单元353。

刺激呈现单元301从外部向受试者呈现刺激，就像上面参照图1描述的评价模型构建装置100的刺激呈现单元101中那样。

具体地，呈现视觉刺激，例如图像或视频，或者听觉刺激，例如声音或音乐。

要呈现的刺激方案是以下方案中的任一个，例如上述评价模型构建装置100的刺激呈现单元101。

(a)事件相关电位(ERP)测量方案；

(b)视觉诱发电位(VEP)测量方案；和

(c)稳态视觉诱发电位(SSVEP)测量方案。

这里，假设使用与在构建图像质量评价模型的处理中使用的方案相同的方案。

例如，图像、评价对象图像和标准图像以预定周期(例如，3Hz的频率)交替显示在显示单元上。

即，图像呈现频率为3Hz，并且评价对象图像和标准图像1秒钟交替显示三次。

脑波测量单元321通过佩戴在受试者头部上的电极测量受试者头皮上的电位变化，就像上面参照图1描述的评价模型构建装置100的脑波测量单元121中那样。

电极的布置与构建模型时使用的电极的布置相同。例如，假设使用上面参照图3描述的电极布置。

脑波记录单元322记录脑波测量单元321获取的受试者的脑波，就像上面参照图1描述的评价模型构建装置100的脑波记录单元122中一样。

注意，由于脑波是模拟信号，所以脑波在脑波记录单元322中接受模数(AD)转换，并作为数字信号记录。

脑波分析单元323分析脑波记录单元322记录的受试者的脑波，就像上面参照图1描述的评价模型构建装置100的脑波分析单元123中一样。

如上所述，在测量的脑波是ERP或VEP的情况下，在许多情况下，在空间轴、时间轴和频率轴上执行分析。在测量的脑波是SSVEP的情况下，在许多情况下，在频率轴上执行分析。

注意，在分析之前，优选对记录的脑波应用带通滤波器或陷波滤波器的滤波处理，以去除不必要的信号或抑制噪声。

注意，在脑波分析处理中，执行获取与存储在评价模型存储单元351中的图像质量评价模型中设置的脑波特征量相同的特征量的处理。

例如，在评价模型存储单元351中存储的图像质量评价模型是图17所示的图像质量评价模型的情况下，从用户(受试者)的脑波生成与图17所示的图像质量评价模型中设置的两个脑波特征量相同的特征量。即，生成以下两个特征量。

(特征量1)节点(电极)09和10的脑波强度(标准化值)；和

(特征量2)节点(电极)20的脑波强度(标准化值)。

刺激确定单元352通过将脑波分析单元323生成的图像观察者的脑波的分析结果，即，与存储在评价模型存储单元351中的图像质量评价模型中设置的脑波特征量相同的特征量，应用于从评价模型存储单元351读取的评价模型，来确定与特征量对应的区域所对应的图像质量评价模型的图像质量区域(类别)。

例如，在评价模型存储单元351中存储的图像质量评价模型是图17所示的图像质量评价模型的情况下，确定作为图像观察者的脑波分析结果获取的特征量的值是包括在图17所示的图像质量评价模型的区域A(高质量(HDR))还是区域B(低质量(SDR))中。

基于确定结果，确定呈现给用户(受试者)的图像是诸如HDR图像的高质量图像还是诸如SDR图像的低质量图像。

确定结果从结果(图像质量评价结果)输出单元353输出。

通过以上述方式应用图像质量评价模型，即使在允许用户(受试者)观察具有高图像质量或低图像质量的未知图像的情况下，当获取用户(受试者)的脑波特征量时，也可以估计所呈现的图像是高质量图像(HDR)还是低质量图像(SDR)。

也就是说，通过使用用户(受试者)的脑波特征量的客观图像质量评价处理，可以获得不偏离用户(受试者)的主观图像质量评价结果的图像质量评价结果。

注意，在上述实施例中，已经描述了将用于确定具有不同动态范围的HDR图像到SDR图像的图像质量的模型应用为图像质量评价模型的示例。如上所述，用于评价除了动态范围之外的图像质量的图像质量评价模型也可以被应用作为图像质量评价模型，该图像质量例如是根据像素数量的图像质量，例如具有大量像素(例如4K或8K)的高精度图像，或者像素数量小于4K或8K图像(例如2K)的普通图像等。

此外，例如，通过允许受试者听到具有多种不同声音质量的声音数据以及观察图像，并使用通过获取受试者的脑波和主观评价生成的声音质量评价模型基于脑波执行声音质量评价，还可以获取不偏离主观评价的声音质量的客观评价结果。

[9.信息处理装置的硬件配置示例]

接下来，将参照图22描述被配置为以上参照图1和其他附图描述的评价模型构建装置100的信息处理装置以及以上参照图21描述的评价模型应用图像质量确定装置300的硬件配置的配置示例。

中央处理单元(CPU)501用作根据存储在只读存储器(ROM)502或存储单元508中的程序执行各种处理的数据处理单元。例如，CPU 501根据上述实施例中描述的顺序执行处理。随机存取存储器(RAM)503存储数据或由CPU 501执行的程序。CPU 501、ROM 502和RAM503通过总线504彼此连接。

CPU 501经由总线504连接到输入和输出接口505。包括各种开关、键盘、鼠标、麦克风等中的任一个的输入单元506、包括显示器、扬声器等的输出单元507连接到输入和输出接口505。CPU 501响应于从输入单元506输入的指令执行各种处理，并将处理结果输出到例如输出单元507。

连接到输入和输出接口505的存储单元508包括例如硬盘，并且存储各种数据或由CPU 501执行的程序。通信单元509用作经由诸如互联网或局域网的网络进行数据通信的收发器单元，并且还用作广播波与外部装置通信的收发器单元。

连接到输入和输出接口505的驱动器510驱动可移动介质511，例如磁盘、光盘、磁光盘或半导体存储器，例如存储卡，以执行数据记录或读取。

[10.本公开的配置概述]

因此，以上参考具体实施例提供了对本公开的实施例的详细解释。然而，显而易见的是，本领域技术人员可以对这些实施例进行修改和替换，而不背离本公开的主旨。换句话说，本公开已经通过示例的方式公开，并且不应该以受限制的方式解释。应该考虑权利要求来确定本公开的主旨。

此外，本技术也可以如下配置。

(1)

一种信息处理装置，包括：

脑波分析单元，被配置为测量被呈现刺激的受试者的脑波，并计算脑波特征量；

主观评价分析单元，被配置为获取所述受试者的关于所述刺激的主观评价值；以及

模型构建单元，被配置为构建表示所述脑波特征量和所述主观评价值之间的相关性的评价模型。

(2)

根据(1)所述的信息处理装置，

其中，所述脑波分析单元获取对应于通过向所述受试者呈现具有不同图像质量的图像而获得的图像质量的脑波特征量，并且

所述主观评价分析单元获取与通过向所述受试者呈现具有所述不同图像质量的所述图像而获得的所述图像质量相对应的主观评价值。

(3)

根据(1)或(2)所述的信息处理装置，其中，所述模型构建单元使用所述脑波特征量和所述主观评价值作为输入数据，并使用所述输入数据作为学习数据，通过机器学习构建表示所述脑波特征量和所述主观评价值之间的相关性的评价模型。

(4)

根据(3)所述的信息处理装置，其中，所述模型构建单元使用所述主观评价值作为监督者数据，并且使用所述脑波特征量作为学生数据来执行有监督的机器学习。

(5)

根据(3)或(4)所述的信息处理装置，其中，所述模型构建单元执行机器学习，其中应用支持向量机(SVM)作为机器学习算法。

(6)

根据(2)所述的信息处理装置，其中，具有所述不同图像质量的所述图像包括具有不同动态范围的图像。

(7)

根据(1)至(6)中任一项所述的信息处理装置，

其中，所述刺激的呈现被执行为评价对象图像和标准图像的交替呈现，并且

所述脑波分析单元基于根据所述图像的显示周期的脑波变化来获取脑波特征量。

(8)

根据(1)至(7)中任一项所述的信息处理装置，其中，所述脑波分析单元从所述受试者的脑波获取稳态视觉诱发电位(SSVEP)，并计算所述脑波特征量。

(9)

根据(8)所述的信息处理装置，

其中，所述刺激的呈现被执行为评价对象图像和标准图像的交替呈现，并且

所述脑波分析单元根据所述图像的显示周期分析所述受试者的SSVEP的强度。

(10)

根据(1)至(9)中任一项所述的信息处理装置，

其中，所述主观评价分析单元根据平均意见得分(MOS)方案获取受试者的主观评价值。

(11)

根据(1)至(10)中任一项所述的信息处理装置，

其中，所述模型构建单元构建用于从所述脑波特征量估计主观评价值的评价模型。

(12)

根据(11)所述的信息处理装置，

其中，所述脑波分析单元计算多个不同的脑波特征量，并且

所述模型构建单元构建用于从所述多个不同脑波特征量估计主观评价值的评价模型。

(13)

一种信息处理装置，包括：

脑波分析单元，被配置为测量被呈现刺激的受试者的脑波，并计算脑波特征量；

存储单元，被配置为存储评价模型，用于使得能够获取基于所述脑波特征量的主观评价值；以及

刺激确定单元，被配置为应用所述评价模型从所述受试者的所述脑波特征量估计所述主观评价值。

(14)

根据(13)所述的信息处理装置，

其中，所述评价模型是表示对应于通过向所述受试者呈现具有不同图像质量的图像而获得的图像质量的脑波特征量和对应于所述图像质量的所述主观评价值之间的对应关系的评价模型。

(15)

根据(13)或(14)所述的信息处理装置，

其中，所述评价模型是通过有监督机器学习生成的图像质量评价模型，其中所述主观评价值被用作监督者数据，所述脑波特征量被用作学生数据。

(16)

根据(13)至(15)中任一项所述的信息处理装置，

其中，所述刺激的呈现被执行为评价对象图像和标准图像的交替呈现，并且

所述脑波分析单元基于根据所述图像的显示周期的脑波变化来获取脑波特征量。

(17)

一种在信息处理装置中执行的信息处理方法，包括：

脑波分析步骤，由脑波分析单元测量被呈现刺激的受试者的脑波，并计算脑波特征量；

主观评价分析步骤，由主观评价分析单元获取所述受试者关于所述刺激的主观评价值；以及

模型构建步骤，由模型构建单元构建表示所述脑波特征量和所述主观评价值之间的相关性的评价模型。

(18)

一种在信息处理装置中执行的信息处理方法，包括：

脑波分析步骤，由脑波分析单元测量被呈现刺激的受试者的脑波，并计算脑波特征量，

其中，刺激确定单元执行应用评价模型的刺激确定步骤，该评价模型用于使得能够获取基于所述脑波特征量的主观评价值，以从所述受试者的所述脑波特征量估计所述主观评价值。

(19)

一种使信息处理装置执行信息处理的程序，所述程序包括：

刺激呈现步骤，在刺激呈现单元中向受试者呈现刺激；

脑波分析步骤，在脑波分析单元中测量被呈现刺激的受试者的脑波，并计算脑波特征量；

主观评价分析步骤，在主观评价分析单元中获取所述受试者关于所述刺激的主观评价值；以及

模型构建步骤，在模型构建单元中构建表示所述脑波特征量和所述主观评价值之间的相关性的评价模型。

(20)

一种使信息处理装置执行信息处理的程序，所述程序包括：

脑波分析步骤，在脑波分析单元中测量被呈现刺激的受试者的脑波，并计算脑波特征量；以及

刺激确定步骤，在刺激确定单元中应用评价模型，该评价模型用于使得能够获取基于所述脑波特征量的主观评价值，以从所述受试者的所述脑波特征量估计所述主观评价值。

此外，本说明书中描述的一系列处理可以通过硬件、软件或硬件和软件的组合配置来执行。在通过软件执行处理的情况下，记录处理序列的程序可以安装在嵌入专用硬件中的计算机的存储器中以待执行，或者程序可以安装在能够执行各种处理的通用计算机中以待执行。例如，程序可以预先记录在记录介质上。除了从记录介质安装在计算机上之外，该程序还可以通过诸如局域网(LAN)或互联网之类的网络接收，并且可以安装在诸如内置硬盘之类的记录介质上。

此外，本说明书中描述的各种处理可以如上所述按时间顺序执行，并且也可以根据执行这些处理的装置的处理能力或根据需要并行或单独执行。注意，在本说明书中，术语“系统”是指多个装置的逻辑集合配置，并且该配置的各个装置不限于在同一外壳内。

工业适用性

如上所述，根据本公开的实施例的配置，可以实现能够构建评价模型的配置，该评价模型使得能够从脑波特征量估计主观评价值，并且通过使用评价模型基于客观脑波信号获取不偏离主观评价结果的评价数据。

具体地，通过向受试者呈现刺激来构建表示受试者的脑波特征量和受试者关于刺激的主观评价值之间的相关性的评价模型。例如，具有不同图像质量的图像和标准图像被交替显示在作为刺激呈现单元的显示单元上，获取与观察显示图像的受试者的图像质量相对应的脑波特征量和与图像质量相对应的主观评价值，并且通过机器学习来构建图像质量评价模型，用于使得能够从脑波特征量估计主观评价值，在该模型中，脑波特征量和主观评价值被用作输入数据。

在这种配置中，可以构建评价模型，用于使得能够从脑波特征量估计主观评价值，并且通过使用评价模型实现能够基于客观脑波信号获取不偏离主观评价结果的评价数据的配置。

参考符号列表

100 评价模型构建装置

101 刺激呈现单元

121 脑波测量单元

122 脑波记录单元

123 脑波分析单元

131 主观评价获取单元

132 主观评价记录单元

133 主观评价分析单元

141 结果合并单元

150 模型构建单元

180 受试者

201 存储单元

202 学习数据输入单元

203 机器学习执行单元

204 评价模型存储单元

211 测试数据输入单元

212 评价模型验证单元

213 评价模型输出单元

220 图像质量评价模型

301 刺激呈现单元

321 脑波测量单元

322 脑波记录单元

323 脑波分析单元

351 评价模型存储单元

352 刺激确定单元

353 结果(图像质量评价结果)输出单元

501 CPU

502 ROM

503 RAM

504 总线

505 输入和输出接口

506 输入单元

507 输出单元

508 存储单元

509 通信单元

510 驱动器

511 可移动介质。

Claims (20)

1.一种信息处理装置，包括：

脑波分析单元，被配置为测量被呈现刺激的受试者的脑波，并计算脑波特征量；

主观评价分析单元，被配置为获取所述受试者的关于所述刺激的主观评价值；以及

模型构建单元，被配置为构建表示所述脑波特征量和所述主观评价值之间的相关性的评价模型。

2.根据权利要求1所述的信息处理装置，

其中，所述脑波分析单元获取对应于通过向所述受试者呈现具有不同图像质量的图像而获得的图像质量的脑波特征量，并且

所述主观评价分析单元获取对应于通过向所述受试者呈现具有所述不同图像质量的所述图像而获得的所述图像质量的主观评价值。

3.根据权利要求1所述的信息处理装置，其中，所述模型构建单元使用所述脑波特征量和所述主观评价值作为输入数据，并使用所述输入数据作为学习数据，通过机器学习构建表示所述脑波特征量和所述主观评价值之间的相关性的评价模型。

4.根据权利要求3所述的信息处理装置，其中，所述模型构建单元使用所述主观评价值作为监督者数据，并且使用所述脑波特征量作为学生数据来执行有监督的机器学习。

5.根据权利要求3所述的信息处理装置，其中，所述模型构建单元执行机器学习，其中应用支持向量机(SVM)作为机器学习算法。

6.根据权利要求2所述的信息处理装置，其中，具有所述不同图像质量的所述图像包括具有不同动态范围的图像。

7.根据权利要求1所述的信息处理装置，

其中，所述刺激的呈现被执行为评价对象图像和标准图像的交替呈现，并且

所述脑波分析单元基于根据所述图像的显示周期的脑波变化来获取脑波特征量。

8.根据权利要求1所述的信息处理装置，其中，所述脑波分析单元从所述受试者的脑波获取稳态视觉诱发电位(SSVEP)，并计算所述脑波特征量。

9.根据权利要求8所述的信息处理装置，

其中，所述刺激的呈现被执行为评价对象图像和标准图像的交替呈现，并且

所述脑波分析单元根据所述图像的显示周期分析所述受试者的SSVEP的强度。

10.根据权利要求1所述的信息处理装置，

其中，所述主观评价分析单元根据平均意见得分(MOS)方案获取所述受试者的主观评价值。

11.根据权利要求1所述的信息处理装置，

其中，所述模型构建单元构建用于从所述脑波特征量估计主观评价值的评价模型。

12.根据权利要求11所述的信息处理装置，

其中，所述脑波分析单元计算多个不同的脑波特征量，并且

所述模型构建单元构建用于从所述多个不同脑波特征量估计主观评价值的评价模型。

13.一种信息处理装置，包括：

脑波分析单元，被配置为测量被呈现刺激的受试者的脑波，并计算脑波特征量；

存储单元，被配置为存储评价模型，用于使得能够获取基于所述脑波特征量的主观评价值；以及

刺激确定单元，被配置为应用所述评价模型从所述受试者的所述脑波特征量估计所述主观评价值。

14.根据权利要求13所述的信息处理装置，

其中，所述评价模型是表示对应于通过向所述受试者呈现具有不同图像质量的图像而获得的图像质量的脑波特征量和对应于所述图像质量的主观评价值之间的对应关系的评价模型。

15.根据权利要求13所述的信息处理装置，

其中，所述评价模型是通过有监督机器学习生成的图像质量评价模型，其中所述主观评价值被用作监督者数据，所述脑波特征量被用作学生数据。

16.根据权利要求13所述的信息处理装置，

其中，所述刺激的呈现被执行为评价对象图像和标准图像的交替呈现，并且

所述脑波分析单元基于根据所述图像的显示周期的脑波变化来获取脑波特征量。

17.一种在信息处理装置中执行的信息处理方法，包括：

脑波分析步骤，由脑波分析单元测量被呈现刺激的受试者的脑波，并计算脑波特征量；

主观评价分析步骤，由主观评价分析单元获取所述受试者关于所述刺激的主观评价值；以及

模型构建步骤，由模型构建单元构建表示所述脑波特征量和所述主观评价值之间的相关性的评价模型。

18.一种在信息处理装置中执行的信息处理方法，包括：

脑波分析步骤，由脑波分析单元测量被呈现刺激的受试者的脑波，并计算脑波特征量，

其中，刺激确定单元执行应用评价模型的刺激确定步骤，该评价模型用于使得能够获取基于所述脑波特征量的主观评价值，以从所述受试者的所述脑波特征量估计所述主观评价值。

19.一种程序，其使信息处理装置执行信息处理，所述程序包括：

脑波分析步骤，在脑波分析单元中测量被呈现刺激的受试者的脑波，并计算脑波特征量；

主观评价分析步骤，在主观评价分析单元中获取所述受试者关于所述刺激的主观评价值；以及

模型构建步骤，在模型构建单元中构建表示所述脑波特征量和所述主观评价值之间的相关性的评价模型。

20.一种程序，其使信息处理装置执行信息处理，所述程序包括：

脑波分析步骤，在脑波分析单元中测量被呈现刺激的受试者的脑波，并计算脑波特征量；以及

刺激确定步骤，在刺激确定单元中应用评价模型，该评价模型用于使得能够获取基于所述脑波特征量的主观评价值，以从所述受试者的所述脑波特征量估计所述主观评价值。