CN114207736A - 信息处理装置、信息处理方法、信息处理系统和程序 - Google Patents

Abstract

信息处理装置包括：评估单元，用于使用已学习从眼底图像获得的特征与根据特征评估的疾病发生风险之间的关系的已学习模型来评估受检者的疾病发生风险；和校正单元，用于基于受检者的生物信息校正评估的疾病发生风险。

Description

信息处理装置、信息处理方法、信息处理系统和程序

技术领域

本发明涉及一种信息处理装置、信息处理方法、信息处理系统和程序。

背景技术

为筛查和诊断疾病，使用普通X射线摄像、X射线计算机断层扫描(CT)、核磁共振(NMR)摄像、超声波检查法、正电子发射断层扫描(PET)或单光子发射计算机断层扫描(SPECT)的各种类型的诊断摄像装置用来拍摄身体各个部位的图像。

特别是，眼睛是唯一可以直接从外部观察到血管的部位。糖尿病视网膜病变和年龄相关性黄斑变性(AMD)等眼部疾病已通过眼科检查而确诊。这种技术的应用不仅限于眼部疾病，已经考虑将这种技术应用于诸如动脉硬化和糖尿病(DM)等生活方式疾病的早期诊断，并应用于诸如脑梗死和痴呆的风险评估等各种疾病的筛查。例如，已知有使用眼科检查设备确定疾病风险的技术。PTL 1公开了通过分析从眼科检查设备获得的检查数据来生成指示特定疾病风险的风险信息。

引用列表

专利文献

PTL 1：日本特开2017-386号公报

发明内容

技术问题

然而，仅使用从利用诊断摄像装置或眼科检查设备拍摄的生物图像中获得的信息，很难达到足够的风险确定精度。

鉴于上述情况，本说明书公开的目的是提高疾病风险确定的确定精度。

应注意，本说明书的公开不限于上述目的，并且，从实施稍后描述的发明的实施例中所示的配置中得到的且可能无法通过现有技术获得的操作效果的实现可以定位为本说明书公开的其他目的之一。

问题的解决方案

本说明书中公开的信息处理装置包括：评估单元，用于使用已学习从眼底图像获得的特征与根据特征评估的疾病发生风险之间的关系的已学习模型来评估受检者的疾病发生风险；和校正单元，用于基于受检者的生物信息来校正评估的疾病发生风险。

发明的有利效果

根据本说明书的公开，可以提高疾病风险确定的确定精度。

附图说明

图1是示出根据第一实施例的检查系统的整体配置的示例的图。

图2是示出根据第一实施例的信息处理装置的功能配置的框图。

图3是示出根据第一实施例的信息处理装置的过程的示例的流程图。

图4A是示出根据第一实施例的疾病风险评估结果的显示示例的图。

图4B是示出根据第一实施例的疾病风险评估结果的显示示例的图。

图4C是示出根据第一实施例的疾病风险评估结果的显示示例的图。

图4D是示出根据第一实施例的疾病风险评估结果的显示示例的图。

图4E是示出根据第一实施例的疾病风险评估结果的显示示例的图。

图4F是示出根据第一实施例的疾病风险评估结果的显示示例的图。

图5是示出根据第一实施例的变型的医疗预约系统的配置的示例的图。

图6是根据第二实施例的风险评估的流程图。

图7是示出根据第一实施例的检查系统的整体配置的示例的图。

图8是示出根据第一实施例的检查系统的整体配置的示例的图。

图9是示出根据第四变型的用作机器学习模型的神经网络的配置示例的图。

图10A是示出根据第八变型的用作机器学习模型的神经网络的配置示例的图。

图10B是示出根据第八变型的用作机器学习模型的神经网络的配置示例的图。

图11A是示出根据第八变型的用作机器学习模型的神经网络的配置示例的图。

图11B是示出根据第八变型的用作机器学习模型的神经网络的配置示例的图。

具体实施方式

根据本实施例的信息处理装置的特征在于，基于使用诊断摄像装置或眼科检查设备拍摄的生物图像(在检查中被检体的医学图像)和从其他检查获得的生物信息来执行疾病风险评估。

以下，将根据附图详细描述本说明书中公开的信息处理装置的优选实施例。注意，这些实施例中描述的元件只是示例性的，并且本说明书中公开的信息处理装置的技术范围由权利要求确定，并且不受以下各个实施例的限制。此外，本说明书的公开不限于以下实施例，并且基于本说明书公开的要点可以进行各种变型(包括实施例的有机组合)，并且这些变型不会排除在本说明书公开的范围之外。也就是说，通过组合后面描述的实施例及其变型而获得的配置都包括在本说明书中公开的实施例中。

在以下实施例中，尽管将眼底照相机用作用于拍摄用于疾病风险评估的生物图像的摄像装置的情况描述为代表性示例，但这不是唯一可能的情况，其他诊断摄像装置或眼科检查设备也适用。例如，可以根据执行风险评估的疾病来使用能够拍摄眼底和眼前节图像的其他眼科检查设备，例如光学相干断层扫描设备(OCT扫描仪)。此外，还可以使用用于疾病筛查和诊断的诊断摄像装置，例如普通X射线摄像、X射线计算机断层扫描(CT)、核磁共振(NMR)摄像、超声波检查法、正电子发射断层扫描(PET)或单光子发射计算机断层扫描(SPECT)。

【第一实施例】

图1是示出包括根据本实施例的信息处理装置的信息处理系统100的整体配置的图。

信息处理系统100包括眼底照相机101、生物信息检查装置102、云服务器103和信息处理装置104。

眼底照相机101拍摄眼底图像，其是用于疾病风险评估的生物图像。

例如，为了使用眼底照相机101拍摄图像，可以使用近红外光。通常，在拍摄图像的情况下，存在可能降低静止图像质量的因素，例如受检者的眼睛位置、身体移动、眨眼以及图像中混合进异物。因此，在所拍摄图像不适于计算图像特征的情况下，有必要再次拍摄图像。然而，在使用现有技术的眼底照相机中使用的可见光闪光灯拍摄图像的情况下，发生瞳孔缩小，并且再次拍摄图像需要一些时间。因此，使用近红外光可以防止瞳孔缩小，并且可以进行连续和重复的摄像。此外，通过使用近红外光可以容易地拍摄运动图像而不会引起瞳孔缩小。

或者，弱可见光可用于利用眼底照相机101拍摄图像。如上所述，一般来说，在拍摄图像的情况下，存在可能降低静止图像质量的因素，例如受检者的眼睛位置、身体移动、眨眼以及图像中混合进异物。在拍摄图像不适于计算图像特征的情况下，有必要再次拍摄图像。然而，在使用现有技术的眼底照相机中使用可见光闪光灯拍摄图像的情况下，发生瞳孔缩小，并且再次拍摄图像需要一些时间。因此，可以通过使用弱可见光来防止瞳孔缩小，并且可以进行连续和重复的摄像。此外，通过使用弱可见光，可以拍摄运动图像而不会引起瞳孔缩小。

或者，在使用眼底照相机101拍摄图像的情况下，可以使用与用于搜索眼前节位置的观察光相同的光源或具有相同照度的光源。

应当注意，以上仅仅是一个示例，并且只要可以拍摄眼底图像，以上不是唯一可能的摄像方法。

在本实施例中，用眼底照相机101拍摄的眼底图像被发送到生物信息检查装置102一次。作为发送方法，使用诸如USB的有线通信单元或诸如Wi-Fi(无线保真度)(注册商标)或蓝牙(注册商标)的无线通信单元。注意，眼底图像可以不经过生物信息检查装置102而发送到云服务器103，或者可以发送到信息处理装置104。

生物信息检查装置102获得用于疾病风险评估的生物信息。生物信息检查装置102能够测量生物信息，例如受检者的身高、体重、体脂百分比、收缩压、舒张压、不规则脉搏波、心率或体温。注意，生物信息不需要从检查或测量中获得，可以从用户的输入中获得，例如，用户是否有吸烟习惯，或者用户的病史。此外，生物信息检查装置102可以具有例如用于测量来自受检者血液的血糖水平、红细胞数、血红蛋白或尿酸的血液检查功能，或是用于检查受检者尿液的尿液检查功能。在使用生物样本检查的情况下，例如血液检查和尿液检查，如图8所示，通过邮寄等向受检者提供生物信息检查试剂盒108。受检者可经由个人计算机107或移动信息终端106在云服务器103中保存他/她自己完成的检查的结果。受检者还可以使用相同或类似的方法在云服务器103中保存不涉及样本的数据，例如使用血压计109或体重计110测量的血压或体重。注意，上述生物检查方法的类型以及数据发送和接收的流程仅为示例性的，并不限于上述示例。只需要将必要的生物信息发送到信息处理装置104。

云服务器103存储和管理诸如用眼底照相机101拍摄的图像和由生物信息检查装置102获得的生物信息之类的数据。

如图2所示，作为功能配置，信息处理装置104包括通信IF(接口)111、ROM(只读存储器)112、RAM(随机存取存储器)113、存储单元114、操作单元115、显示单元116和控制单元117。

通信IF 111由LAN卡等实现，并且负责外部装置(例如云服务器103)与信息处理装置104之间的通信。ROM 112由非易失性存储器等实现，并存储各种程序等。RAM 113由易失性存储器等实现，并且临时存储各种类型的信息。存储单元114是计算机可读存储介质的示例，通过由硬盘驱动器(HDD)或固态驱动器(SSD)表示的大容量信息存储设备实现，并且存储各种类型的信息。操作单元115由键盘、鼠标等实现，并将来自用户的指令输入到装置。显示单元116通过显示器等实现，并且为用户显示各种类型的信息。控制单元117由CPU(中央处理单元)、GPU(图形处理单元)等实现，并执行信息处理装置104中的各种处理的综合控制。

控制单元117包括获取单元118、评估单元119、校正单元120和显示控制单元121作为其功能配置。

获取单元118从云服务器103读取并获取诸如用眼底照相机101拍摄的受检者的眼底图像和由生物信息检查装置102获得的受检者的生物信息之类的数据。注意，不需要从云服务器103获得数据，并且可以获得直接从眼底照相机101或生物信息检查装置102发送的数据。

评估单元119根据由获取单元118获得的受检者的眼底图像评估受检者的疾病风险(执行风险评估处理)。在本实施例中，疾病风险指示在特定时期内发生疾病的概率。疾病发生的概率可以定量表示，如百分比，也可以定性表示，如高风险或低风险。

校正单元120校正由评估单元119评估的疾病风险评估，并计算最终的疾病风险。更具体地说，校正单元120通过使用针对由生物信息检查装置102获得的针对每个生物信息项预先设置的每个疾病发生概率的权重系数，来校正由已学习模型评估的疾病风险评估结果。也就是说，校正单元120对应于校正装置的示例，该校正装置用于利用针对每个生物信息项确定的某一权重系数来校正发生疾病的风险。

显示控制单元121在显示单元116上显示由校正单元120校正的最终疾病风险评估结果。

接下来，将使用图3中的流程图描述根据本实施例的信息处理装置104用于执行疾病风险评估的过程。

(S3000)(眼底图像加载)

在S3000中，获取单元118加载并获取由眼底照相机101拍摄并存储在云服务器103中的眼底图像。或者，获取单元118获取直接从眼底照相机101发送的眼底图像。

(S3010)(图像特征的计算)

在S3010中，评估单元119从通过云服务器103获得的眼底图像中检测用于评估疾病风险的特征。

或者，评估单元119可以从云服务器103获得用眼底照相机101拍摄的运动图像，并从运动图像中检测期望的图像特征。通常，在拍摄图像的情况下，存在可能降低静止图像质量的因素，例如受检者的眼睛位置、身体移动、眨眼以及图像中混合进异物。因此，通过从运动图像中没有图像质量问题且适于计算图像特征的部分来计算图像特征，可以适当地评估疾病风险。为了选择运动图像的最佳部分，可以适当地使用图像亮度、对比度和锐度以及与预注册图案的匹配。

待检测特征包括例如缺陷部分的形态特征，例如血管直径、曲率、角度和分叉，以及颜色信息。或者，待检测特征可以是例如由于出血、白癜风等导致的除血管以外的部分的异常形状、图像对比度和颜色信息。请注意，这些特征不是用于风险评估的唯一可能特征，可以使用各种特征。

(S3020)(疾病风险评估)

在S3020中，评估单元119通过将在S3010中检测到的特征输入到已学习模型来评估疾病风险。也就是说，评估单元119对应于用于使用学习了从眼底图像获得的特征与根据特征评估的疾病发生风险之间的关系的已学习模型、来评估受检者的疾病发生风险的评估单元的示例。更具体地，评估单元119对应于用于通过将从受检体的眼底图像获得的特征输入到已学习模型来评估受检体将发展为疾病的概率的评估单元的示例。

这里，已学习模型表示遵循机器学习算法(例如，支持向量机)并且已经利用适当的学习数据预先执行学习的机器学习模型。注意，已学习模型不是不执行进一步学习的模型，而是可以执行追加学习的模型。

学习数据包括一组一对或多对输入数据和输出数据(正确答案数据)。根据本实施例的学习模型遵循任意学习算法，并且学习针对输入数据(关于从诸如眼底图像的生物图像检测到的特征的数据)的输出数据(关于疾病风险的数据)来作为学习数据。具体地，例如，学习由于从眼底图像中检测到出血、白癜风等引起的除血管以外的部分的异常形状与发生糖尿病视网膜病变的概率之间的相关性。或者，学习关于表示例如动脉直径、静脉直径、动脉直径与静脉直径之比、血管分叉角度、分叉不对称性、动脉-静脉狭窄或血管扭曲等血管形态的特征与根据该特征评估出的发生心血管疾病、中风等的风险之间的相关性。注意，如上所述，发生疾病的风险可以以百分比进行输出，或者可以以多个定性等级(例如高风险、低风险等)中的一个等级进行识别和输出。要学习的输入数据和输出数据之间的相关性不限于上述组合，可以学习与疾病风险评估相关的各种相关性。

此外，已学习模型可以基于包括输入数据和输出数据的数据集合重复执行学习。

在本实施例中，用于执行疾病风险评估的已学习模型可以由信息处理装置104生成，或者可以是由不同于信息处理装置104的信息处理装置生成的模型。

在信息处理装置104也生成用于执行疾病风险评估的已学习模型的情况下，信息处理装置104还包括生成单元(未示出)。

如上所述，生成单元遵循任意学习算法，学习用于输入数据的输出数据作为训练数据，并生成已学习模型。用于机器学习的具体算法包括最近邻算法、朴素贝叶斯、决策树、支持向量机等。此外，也可以使用利用神经网络生成要学习的特征和自身的耦合权重系数的深度学习。在使用神经网络进行深度学习的情况下，通过学习一组眼底图像和从眼底图像评估的疾病发生风险来获得学习模型。例如，由于称为视网膜小动脉的血管在视网膜小动脉较细的人中比在视网膜小动脉较粗的人中具有更高的发生高血压的风险，因此，如上文所述，将高风险组合为被评估为具有较细视网膜小动脉的眼底图像的学习数据。

即，评估单元119对应于用于通过将获取单元获得的受检者的眼底图像输入到已深入学习了眼底图像与根据眼底图像评估的疾病发生风险之间的关系的已学习模型、从而评估(执行风险评估处理)受检者的疾病发生风险的评估单元的示例。

注意，要学习的输入数据和输出数据之间的关系不限于上述组合，并且可以学习与疾病风险评估相关的各种相关性。在上述算法中，可用的算法适当地适用于本实施例。

注意，可以根据要评估其风险的疾病生成多个已学习模型，或者可以生成一个学习模型以便能够评估多个疾病的风险。

也就是说，评估单元119对应于这样的评估单元的示例：该评估单元用于使用已学习从眼底图像获得的特征与从特征评估的第一疾病发生风险之间的关系以及从眼底图像获得的特征与从特征评估的第二疾病发生风险之间的关系的已学习模型、来评估受检者发生第一疾病和第二疾病的风险。

或者，评估单元119对应于这样的评估单元的示例：该评估单元用于使用已学习从眼底图像获得的特征与从特征评估的第一疾病发生风险之间的关系的第一已学习模型以及已学习从眼底图像获得的特征与从特征评估的第二疾病发生风险之间的关系的第二已学习模型、来评估受检者发生第一疾病和第二疾病的风险。

(S3030)(评估结果的保存)

在S3030中，信息处理装置104将评估的疾病风险保存在存储单元114中。或者，信息处理装置104经由通信IF 111将评估的疾病风险传送到云服务器103，并将其保存在云服务器103中。注意，信息处理装置104可以将评估的疾病风险保存在存储单元114和云服务器104二者中。

(S3040)(生物信息的加载)

在S3040中，信息处理装置104加载从生物信息检查装置102获得并存储在云服务器103中的生物信息。或者，信息处理装置104获得直接从生物信息检查装置102发送的生物信息。

(S3050)(评估结果的加载)

在S3050中，获取单元118加载存储在存储单元114或云服务器103中的疾病风险评估结果。

(S3060)(评估结果的校正)

在S3060中，校正单元120校正由评估单元119评估的疾病风险评估结果，并计算最终的疾病风险。更具体地说，校正单元120使用针对利用生物信息检查装置102测量和检查的生物信息的每个项目预先设置的每个疾病发生概率的权重系数来校正每个疾病发生的概率。例如，由于根据从身高和体重获得的每个受检者的血压或体重指数(BMI)而发生疾病的概率不同，因此，根据生物信息对基于从眼底图像获得的特征而计算出的概率进行校正。作为校正量，使用从作为受检者的患有疾病的人的眼底图像和从健康人的眼底图像获得的特征以及评估其生物信息的结果计算出的值。

此后，计算校正概率作为最终风险评估结果。注意，可以为疾病发生的概率设置多个阈值，可以使用阈值将概率分类为多个风险等级的类别之一，并且分类的类别可以用作最终风险评估结果。例如，疾病发生的概率分为三个等级，“0-33％、34-66％和67-100％”，它们分别被分为“低风险、中风险和高风险”的类别。请注意，上述并非唯一可能的分类方法，概率可分为两个等级，或四个以上等级。此外，这些阈值只是示例性的，不是唯一可能的阈值。也就是说，上述不是输出待输出评估结果的唯一可能的方法，并且仅需要受检者识别发生疾病的风险程度。此外，尽管将校正后的评估结果分类为上述类别之一，但输出数据可以预先分类为诸如“低风险、中风险和高风险”的类别之一，并且在训练已学习模型时进行学习，并且当在S3020中评估疾病风险时，评估结果可以以已分类形式输出。

(S3070)(校正后的评估结果的保存)

在S3070中，信息处理装置104将校正后的疾病风险保存在存储单元114中。或者，信息处理装置104经由通信IF 111将评估的疾病风险传送到云服务器103，并将其保存在云服务器103中。注意，信息处理装置104可以将评估的疾病风险保存在存储单元114和云服务器104二者中。

(S3080)(显示结果或输出硬拷贝)

在S3080中，显示控制单元121在显示单元116上显示评估的最终疾病风险。或者，可以将评估的最终疾病风险发送到单独的打印机以输出硬拷贝。

图4A至图4F示出了疾病风险评估结果的显示示例。图4A示出了将计算为疾病风险等级的疾病风险评估结果分类为高风险、中风险和低风险三个等级之一并进行显示的情况。即，显示控制单元121将发生疾病的校正风险分类为多个类别之一，并在显示单元上显示分类的风险。此外，将显示每个类别所代表的内容的描述。例如，如果评估类别为“低风险”，则会显示“发生疾病风险低。请继续健康的生活方式”的描述。注意，以上描述只是示例性的，并且不是唯一可能的描述。此外，类别不需要附有描述，可以提供选项卡，仅当受检者希望更多地了解疾病时，例如当受检者评估处于高风险时，才提供补充描述。或者，类别可以伴随简单的描述，并且可以提供选项卡，用于在主体希望知道更多细节时提供补充描述。

此外，疾病风险评估结果可以图形化显示。如图4B所示，可使用雷达图指示评估多种疾病风险的结果。或者，如图4C所示，可以使用条形图指示评估多种疾病的风险的结果。注意，以上只是示例性的，形式不受特别限制，只要在二维中直观地表示评估一种或多种疾病的风险的结果即可。

此外，图4D到图4F示出显示用眼底照相机101拍摄的眼底图像。通过将这些眼底图像与图4A至图4C中的结果并行显示，可同时查看疾病风险评估结果和眼底图像。即，显示控制单元121可以并行地显示评估发生一种或多种疾病的风险的校正结果和受检者的眼底图像。

具体地，图4D示出了并行显示左眼和右眼的图像。另外，图4E示出了在不同时间拍摄的两个图像(当前图像和过去图像)被并行显示。此外，图4F示出了用描述指示与风险评估相关的主要图像部分的示例。也就是说，在眼底图像中，与疾病高度相关的部分会突出显示。

注意，这些不是唯一可能的显示方法，可以执行显示风险评估结果的各种方法，或者不仅使用拍摄的图像，而且还使用生物信息、其过去信息、进度等进行显示。此外，不仅可以在信息处理装置104的显示单元116上显示评估结果，还可以在生物信息检查装置102的显示单元上显示评估结果。或者，如图7所示，专用于检查系统的应用软件安装在移动信息终端106中。这可以允许接收到的疾病风险评估结果和关于其他检查系统的其他信息经由应用软件显示在移动信息终端106上。也就是说，信息处理装置104不是用于显示评估结果的唯一可能的装置。

此外，疾病风险评估结果不仅可以显示在显示单元上，还可以发送到单独的打印机以输出硬拷贝。

因此，实现信息处理装置104的处理。

根据上述内容，在评估受检者的疾病风险的情况下，使用针对每项生物信息预先设置的每种疾病发生概率的权重系数来校正基于从眼底图像获得的特征评估的评估结果，从而提高了评估结果的精度。此外，由于它不涉及进行疾病风险评估的专业化，因此无论用户是谁，都可以轻松地进行疾病风险评估。此外，通过将疾病风险分类为多个等级中的一个，并以允许受检者容易识别的显示形式显示评估结果，受检者可以直观地识别疾病风险。此外，通过与评估结果并行地显示用作检查目标的生物图像(例如眼底图像)，可以更容易地识别疾病的位置。

(第一变型例)

在第一实施例中，疾病风险被评估，并通过显示或打印来输出。在该变型中，评估结果被发送到医疗机构等，以便受检者能够接受额外的检查，访问适当的医疗机构和临床科室，并接受诸如生活方式相关指导等咨询。

图5示出了用于与医疗机构130合作并向受检者提供建议的系统的配置。

在本实施例的检查系统中，根据疾病类型和风险评估结果，从预先注册的医疗机构130中将推荐的医疗机构130和临床科室与输出风险评估结果一起输出。例如，受检者可以在生物信息检查装置102的显示单元、硬拷贝、移动信息终端106或个人计算机107上检查上述输出结果。

云服务器103根据疾病的类型和疾病风险程度保存医疗机构102和相关临床科室。通过根据风险评估结果从云服务器103读出这些信息项，可以将医疗机构130和临床科室发送到生物信息检查装置102、移动信息终端106和/或个人计算机107以呈现给受检者。

此外，可以在生物信息检查装置102、移动信息终端106和/或个人计算机107上预约医疗机构130。用于预约医疗机构的预约应用软件安装在生物信息检查装置102中。

此外，为了在移动信息终端106或个人计算机107上进行预约，下载并安装预约应用软件。

预约应用软件与医疗机构130的医疗预约系统132通信，并询问受检者的ID以及期望的预约日期和时间。如果在与保存在医疗预约系统中的最新预约情况进行核对之后可以预约，则医疗预约系统132对ID进行预约。此外，如果预约完成，则拍摄的图像、生物信息以及风险评估结果可根据咨询情况传送至医疗机构130。在预约应用软件上选择拍摄的图像、生物信息和风险评估结果的传送。通过该操作，诸如拍摄的图像、生物信息和风险评估结果之类的信息项被从云服务器103读出，安全地传送，并保存在医疗机构130的医疗预约系统132的患者信息存储单元133中。

此外，在本实施例的检查系统中，可以根据在检查系统中获得的疾病风险，在系统上提供医生的诊断和咨询。例如，如果使用眼底照相机101的图像的风险评估的结果指示眼底疾病的高风险，则将眼底图像传送给医生。基于此，受检者可经由包含在生物信息检查装置102或受检者的移动信息终端106或个人计算机107中的视频通信功能(能够执行视频通信的系统)接收与医生的面对面诊断和咨询。

同样，如果另一种疾病的风险高，受检者可以接受额外的检查，访问适当的医疗机构和临床科室，并接受咨询，如生活方式相关的指导。

此外，在本实施例的检查系统中，基于风险评估结果和生物信息系统102获得的结果，检查系统可以直接建议受检者改善其生活方式，并服用补充剂和普通药物。

此时，根据疾病类型和疾病风险程度的生活方式改善、推荐补充剂和普通药物的内容保存在云服务器103中。

通过根据来自云服务器103的风险评估结果读取这些信息项，可以将上述建议发送到生物信息检查装置102、移动信息终端106和/或个人计算机107以呈现给受检者。

这些不是唯一可能的服务，可以根据上述风险评估结果提供各种服务。

【第二实施例】

在第一实施例中，使用针对通过生物检查获得的每一项生物信息而预先设置的权重系数，来校正通过将从生物图像获得的特征输入到已学习模型而评估的疾病风险，从而提高疾病风险评估的精度。

相反，在本实施例中，利用从用眼底照相机101拍摄的图像而获得的图像特征和疾病发生概率、由生物信息检查装置102获得的生物信息以及已学习疾病发生概率的已学习模型，来评估疾病的风险。

根据本实施例的信息处理系统的整体配置与第一实施例相同。此外，本实施例中使用的眼底照相机101、生物信息检查装置102和云服务器103与第一实施例相同。

以下，将使用图6描述本实施例的处理步骤。由于S6000至S6040和S6070与第一实施例相同，因此省略其描述。

(S6050)(疾病风险的评估)

在S6050中，获取单元118首先获取被保存在云服务器103中的、从受检者的眼底图像获得的特征和使用生物信息检查装置102测量和检查的生物信息。评估单元119将由获取单元118获得的特征和生物信息输入到预生成的已学习模型，从而评估受检者发生疾病的风险(执行风险评估处理)。

具体而言，从眼底图像获得的特征(例如动脉直径、静脉直径、动脉直径与静脉直径之比、血管分叉角度、分叉不对称性、动脉-静脉狭窄或血管扭曲)以及诸如血压、BMI指数、年龄、性别、病史、抽烟习惯等生物信息作为输入数据，并学习与从特征和生物信息中评估的发生心血管疾病或脑血管疾病等疾病的概率的相关性。

注意，要学习的输入数据和输出数据之间的相关性不限于上述组合，可以学习与疾病风险评估相关的各种相关性。

在本实施例中，用于执行疾病风险评估的已学习模型可以由信息处理装置104生成，或者可以是由不同于信息处理装置104的信息处理装置生成的模型。

(S6060)(评估结果的保存)

在S6060中，信息处理装置104将疾病风险评估结果保存在存储单元114中。或者，信息处理装置104经由通信IF 111将评估的疾病风险传送到云服务器103，并将其保存在云服务器103中。注意，信息处理装置104可以将评估的疾病风险保存在存储单元114和云服务器104中。

因此，实现信息处理装置104的处理。

根据以上内容，在评估受检者的疾病风险的情况下，可通过使用已学习从眼底图像获得的特征与从根据生物检查获得的生物信息中评估的疾病发生概率之间的相关性的已学习模型，来提高疾病风险评估的精度。

(第二变型例)

在上述各种实施例和变型例中，可以对每个受检者执行用于调谐用于关于被检查对象的疾病的评估处理的已学习模型(用于评估的已学习模型)的学习，并且可以生成专用于该受检者的已学习模型。例如，使用在受检者的过去检查中获得的断层图像，可以执行用于评估被检查对象的疾病的通用已学习模型的迁移学习，并且可以生成专用于该受检者的已学习模型。通过将专用于受检者的已学习模型与受检者ID相关联地存储在存储单元114或诸如服务器的外部装置中，在进行受检者现在的检查时，控制单元117可以基于受检者的ID识别并使用专用于受检者的已学习模型。使用专用于受检者的已学习模型，可以提高关于每个受检者的疾病的评估精度。

(第三变型例)

在上述各种实施例和变型例中，控制单元117可以使用通过摄像获得的图像执行各种类型的图像处理。例如，对于通过摄像获得的图像，控制单元117可以生成高质量图像，使用用于图像质量增强的已学习模型(图像质量增强模型)从而增强其质量。这里，图像质量的增强包括降低噪声、转换为便于观察摄像目标的颜色和灰度、提高分辨率和空间分辨率以及在没有或较少分辨率降低的情况下放大图像大小。

例如，作为用于图像质量增强的机器学习模型，可以使用CNN等。此外，作为图像质量增强模型的学习数据，诸如眼前节图像和SLO图像之类的各种图像用作输入数据，并且与输入图像相对应的高质量图像(诸如为质量增强而处理的图像)用作输出数据。这里，图像质量增强处理包括对准在同一空间位置多次拍摄的图像，并执行对准图像的相加平均处理。注意，图像质量增强处理不限于相加平均处理，可以是例如使用平滑滤波器的处理、最大后验概率评估处理(MAP评估处理)、灰度转换处理等。此外，作为为质量增强而处理的图像，例如，可以使用已经过诸如噪声去除和边缘增强之类的滤波处理的图像，或者其对比度已经从低亮度图像调整到高亮度图像的图像。此外，由于仅需要根据图像质量增强模型的学习数据的输出数据是高质量图像，因此可以使用利用比用于拍摄用作输入数据的断层图像的OCT扫描仪性能更高的OCT扫描仪拍摄的图像，或者使用利用更高负载设置拍摄的图像。

如果使用尚未针对质量增强而适当处理的图像作为学习数据的输出数据来执行机器学习，存在这样一种可能性：利用已使用该学习数据进行学习的已学习模型而获得的图像也可能成为尚未针对质量增强而进行适当处理的图像。因此，通过从训练数据中排除包括这样的图像的对，可以降低使用已学习模型产生不适当图像的可能性。

通过使用这样的图像质量增强模型执行图像质量增强处理，控制单元117可以以更高的速度获得已被精确处理以用于质量增强的图像。

注意，可以为用作输入数据的各种图像的每种类型准备图像质量增强模型。例如，可以准备用于眼前节图像的图像质量增强模型、用于SLO图像的图像质量增强模型、用于断层图像的图像质量增强模型以及用于OCTA正面图像的图像质量增强模型。此外，对于OCTA正面图像和En-Face图像，可以为用于生成图像的每个深度范围准备图像质量增强模型。例如，可以准备表层图像质量增强模型和深层图像质量增强模型。此外，图像质量增强模型可以是已经学习了每个摄像部分(例如黄斑中心或视神经头中心)的图像的模型，或是不考虑摄像部分而已进行学习的模型。

此时，例如，可以使用通过将眼底OCTA正面图像作为学习数据进行学习而获得的图像质量增强模型来增强眼底OCTA正面图像的图像质量，并且，可以使用通过将眼前节OCTA正面图像作为学习数据进行学习而获得的图像质量增强模型来增强眼前节OCTA正面图像的图像质量。此外，图像质量增强模型可以是不考虑摄像部分而已完成学习的模型。这里，例如，眼底OCTA正面图像和眼前节OCTA正面图像在作为摄像目标的血管分布上可能相对相似。如本文所述，其中摄像目标的外观相对相似的多种类型的医学图像可以具有相对相似的特征。因此，例如，可以配置为：使用通过将眼底OCTA正面图像作为学习数据进行学习而获得的图像质量增强模型，不仅增强眼底OCTA正面图像的图像质量，而且还可以增强眼前节OCTA正面图像的图像质量。此外，例如，可以配置为：使用通过将眼前节OCTA正面图像作为学习数据进行学习而获得的图像质量增强模型，不仅增强眼前节OCTA正面图像的图像质量，而且还可以增强眼底OCTA正面图像的图像质量。也就是说，可以配置为：使用通过将眼底OCTA正面图像和眼前节OCTA正面图像中的至少一种作为学习数据进行学习而获得的图像质量增强模型，可增强眼底OCTA正面图像或眼前节OCTA正面图像中的至少一种类型的正面图像的图像质量。

这里，考虑能够摄像眼底的OCT扫描仪也能够摄像眼前节的情况。此时，例如，对于OCTA的En-Face图像，可以在眼底摄像模式中应用眼底OCTA正面图像，并且可以在眼前节摄像模式中应用眼前节OCTA正面图像。此时，可以配置为：响应于图像质量增强按钮的按下，例如，在眼底摄像模式下，在OCTA的En-Face图像的显示区域中，正在显示的低质量眼底OCTA正面图像和高质量眼底OCTA正面图像中的一个改变为另一个。此外，可以配置为：响应于图像质量增强按钮的按下，例如，在眼前节摄像模式下，在OCTA的En-Face图像的显示区域中，正在显示的低质量眼前节OCTA正面图像和高质量眼前节OCTA正面图像中的一个改变为另一个。

如果能够摄像眼底的OCT扫描仪也能够摄像眼前节，则眼前节适配器可配置为可穿戴。或者，代替使用眼前节适配器，OCT扫描仪的光学系统可配置为可移动约为被检查眼睛轴向长度的距离。此时，可以配置为OCT扫描仪的焦点位置可向正视侧大幅度改变至在眼前节上形成图像的程度。

此外，对于断层图像，例如，可以在眼底摄像模式中应用眼底OCT断层图像，并且可以在眼前节摄像模式中应用眼前节OCT断层图像。此外，上述的眼底OCTA正面图像和眼前节OCTA正面图像的图像质量增强处理也适用于例如眼底OCT断层图像和眼前节OCT断层图像的图像质量增强处理。此时，可以配置为：响应于图像质量增强按钮的按下，例如，在眼底摄像模式下，在断层图像的显示区域中，将正在显示的低质量眼底OCT断层图像和高质量眼底OCT断层图像中的一个改变为另一个。此外，可以配置为：响应于图像质量增强按钮的按下，例如，在眼前节摄像模式下，在断层图像的显示区域中，将正在显示的低质量眼前节OCT断层图像和高质量眼前节OCT断层图像中的一个改变为另一个。

此外，对于断层图像，例如，可以在眼底摄像模式中应用眼底OCTA断层图像，并且可以在眼前节摄像模式中应用眼前节OCTA断层图像。此外，上述的眼底OCTA正面图像和眼前节OCTA正面图像的图像质量增强处理也适用于例如眼底OCTA断层图像和眼前节OCTA断层图像的图像质量增强处理。此时，例如，可以配置为在：眼底摄像模式下，在断层图像的显示区域中，指示眼底OCTA断层图像的血管区域(例如大于或等于阈值的运动对比度数据)的信息被叠加在相应位置的眼底OCT断层图像上进行显示。此外，例如，在眼前节摄像模式下，在断层图像的显示区域中，指示眼前节OCTA断层图像的血管区域的信息被叠加在相应位置的眼前节OCT断层图像上进行显示。

如本文所述，例如，在多个类型的医学图像的特征(摄像目标的外观)被认为是相对相似的情况下，可以配置为能够使用通过将多种类型的医学图像中的至少一种类型的医学图像作为学习数据进行学习而获得的图像质量增强模型、来增强多种类型的医学图像中的至少一种类型的医学图像的质量。因此，例如，可以配置为可以使用公共已学习模型(公共图像质量增强模型)来执行多种类型的医学图像的图像质量增强。

注意，眼底摄像模式下的显示画面和眼前节摄像模式下的显示画面可以具有相同的显示布局或对应于其摄像模式的相应显示布局。在眼底摄像模式和眼前节摄像模式中，摄像条件和分析条件等各种条件可能相同或不同。

这里，为了质量增强而要处理的图像可以是，例如，多个OCTA正面图像(对应于多个深度范围)(OCTA的En-Face图像或运动对比度的En-Face图像)。此外，为了质量增强而要处理的图像可以是例如对应于一个深度范围的一个OCTA正面图像。此外，为了质量增强而要处理的图像可以是例如亮度的正面图像(亮度的En-Face图像)或作为B扫描图像的OCT断层图像或是运动对比度数据的断层图像(OCTA断层图像)，而不是OCTA正面图像。此外，为了质量增强而要处理的图像不仅可以是OCTA正面图像，而且还可以是各种医学图像，例如亮度的正面图像、作为B扫描图像的OCT断层图像和运动对比度数据的断层图像(OCTA断层图像)。也就是说，仅需要为了质量增强而要处理的图像是例如显示在显示单元116的显示画面上的各种医学图像中的至少一个。此时，例如，由于根据图像的类型，图像可能具有不同的特征，因此可以使用与要处理的用于质量增强的每种类型的图像相对应的用于图像质量增强的已学习模型。例如，可以配置为：当按照检查者的指示按下图像质量增强按钮时，不仅使用与OCTA正面图像对应的用于图像质量增强的已学习模型来处理OCTA正面图像以进行质量增强，而且，还使用与OCT断层图像相对应的用于图像质量增强的已学习模型来处理OCT断层图像以进行质量增强。此外，例如，可以配置为：当按照检查者的指示按下图像质量增强按钮时，不仅显示被改变为利用与OCTA正面图像对应的用于图像质量增强的已学习模型所生成的高质量OCTA正面图像，而且，显示也被改变为利用与OCT断层图像对应的用于图像质量增强的已学习模型所生成的高质量OCT断层图像。此时，可以配置为：在OCTA正面图像上叠加显示指示OCT断层图像的位置的线。此外，可以配置为：响应于来自检查者的指示，上述线在OCTA正面图像上是可移动的。此外，可以配置为，在图像质量增强按钮的显示被激活的情况下，在移动上述线之后，显示被改变为通过对与当前线的位置相对应的OCT断层图像应用图像质量增强处理而获得的高质量OCT断层图像。此外，可以配置为：如果针对要处理以用于质量增强的每个图像而显示图像质量增强按钮，则每个图像可独立地处理以用于质量增强。

此外，指示OCTA断层图像的血管区域(例如大于或等于阈值的运动对比度数据)的信息可以叠加显示在作为对应位置的B扫描图像的OCT断层图像上。此时，例如，当OCT断层图像的图像质量被增强时，相应位置处的OCTA断层图像的图像质量可以被增强。指示质量增强的OCTA断层图像的血管区域的信息可以叠加显示在质量增强的OCT断层图像上。注意，指示血管区域的信息可以是任何信息，只要颜色等是可区分的即可。此外，可以配置为：指示血管区域的信息的叠加显示和不显示可根据来自检查者的指示而改变。此外，当指示OCT断层图像的位置的线在OCTA正面图像上移动时，OCT断层图像的显示可以根据该线的位置而更新。此时，由于相应位置处的OCTA断层图像也被更新，因此可以更新指示从OCTA断层图像获得的血管区域的信息的叠加显示。因此，例如，在容易地检查血管区域和任意位置的关注区域之间的位置关系的同时，检查者可以检查血管区域的三维分布和状态。此外，OCTA断层图像的图像质量增强处理可以通过对在相应位置获得的多个OCTA断层图像进行相加平均处理来执行，而不是使用用于图像质量增强的已学习模型。此外，OCT断层图像可以是伪OCT断层图像，其被重新配置为OCT体积数据的任意位置处的横截面。此外，八度断层图像可以是伪OCTA断层图像，其被重新配置为OCT体数据的任意位置处的横截面。注意，仅需要任意位置是至少一个任意位置，并且可以被配置为根据来自审查者的指示可以改变任意位置。此时，可以配置为重新配置对应于多个位置的多个伪断层图像。

注意，可能会显示一个或多个断层图像(例如OCT断层图像或OCTA断层图像)。在显示多个断层图像的情况下，可以显示在副扫描方向上的不同位置获得的断层图像。在提高通过例如交叉扫描等获得的多个断层图像的质量并对其进行显示的情况下，可以显示不同扫描方向的图像。此外，在提高通过例如径向扫描等获得的多个断层图像的质量并显示其的情况下，可以显示一些选择的断层图像(例如，在相对于基准线的对称位置处的两个断层图像)。此外，可以在后续显示画面上显示多个断层图像，并且可以使用与上述方法相同或类似的方法来显示用于图像质量增强的指令和分析结果(例如特定层的厚度)。此时，显示的断层图像可以是在不同日期和时间获得的被检查眼睛的特定部分的断层图像，或者可以是在同一检查日的不同时间获得的断层图像。此外，可以使用与上述方法相同或类似的方法，基于保存在数据库中的信息，对断层图像应用图像质量增强处理。

类似地，例如，在增强SLO图像的质量并显示该图像的情况下，可以处理显示在同一显示画面上的SLO图像以进行质量增强并进行显示。此外，例如，在增强亮度的正面图像的质量并显示该正面图像的情况下，可以处理显示在同一显示画面上的亮度的正面图像以进行质量增强并显示。此外，可以在后续显示画面上显示多个SLO图像或亮度的正面图像，并且可以使用与上述方法相同或类似的方法显示用于图像质量增强的指令或分析结果(例如特定层的厚度)。此外，可以使用与上述方法相同或类似的方法、基于保存在数据库中的信息，将图像质量增强处理应用于SLO图像或亮度的正面图像。注意，断层图像、SLO图像和亮度的正面图像的显示只是示例性的，可以根据期望的配置以任意格式显示这些图像。此外，可以根据一次给出的指令，处理OCTA正面图像、断层图像、SLO图像或亮度的正面图像中的至少两个，以提高质量并进行显示。

通过这种配置，显示控制单元121可以在显示单元116上显示通过执行图像质量增强处理而获得的高质量图像。可以配置为，如果选择了关于高质量图像的显示、分析结果的显示和显示的正面图像的深度范围的条件中的至少一个，则即使当显示画面改变时，也保持所选择的条件。注意，显示控制单元121可以控制各种高质量图像、上述线和指示血管区域的信息的显示。

此外，图像质量增强模型可用于显示控制单元121在显示单元116上显示的预览画面上的实时运动图像的至少每一帧。此时，可以配置为：在预览画面上显示不同部分或不同类型的多个实时运动图像的情况下，使用对应于每个实时运动图像的已学习模型。例如，对于用于对准处理的眼前节图像，可以使用已经使用用于眼前节图像的图像质量增强模型进行质量增强处理的图像。类似地，对于用于检测各种图像中的特定区域的各种图像，可以使用已经使用各个图像的图像质量增强模型进行质量增强处理的图像。

此时，例如，可以配置为：当按照检查者的指示按下图像质量增强按钮时，不同类型的多个实时运动图像(例如眼前节图像、SLO图像和断层图像)的显示(同时)更改为通过处理这些运动图像以增强质量从而获得的高质量运动图像的显示。此时，可以通过连续显示通过处理每个帧以进行质量增强而获得的高质量图像，从而显示高质量运动图像。此外，例如，由于根据图像类型不同，图像可能具有不同特征，因此可以使用与要处理以增强质量的每种类型的图像相对应的用于图像质量增强的已学习模型。例如，可以配置为：当按照检查者的指示按下图像质量增强按钮时，不仅使用对应于眼前节图像的图像质量增强模型来处理眼前节图像以进行质量增强，而且，还使用与SLO图像相对应的用于图像质量增强的已学习模型来处理SLO图像以进行质量增强。此外，例如，可以配置为：当按照检查者的指示按下图像质量增强按钮时，不仅显示改变为使用对应于眼前节图像的图像质量增强模型所生成的高质量眼前节图像，而且，显示也改变为使用与SLO图像相对应的图像质量增强模型所生成的高质量SLO图像。此外，例如，可以配置为：当按照检查者的指示按下图像质量增强按钮时，不仅使用对应于SLO图像的图像质量增强模型处理SLO图像以进行质量增强，而且，还使用对应于断层图像的图像质量增强模型来处理断层图像以进行质量增强。此外，例如，可以配置为：当按照检查者的指示按下图像质量增强按钮时，不仅显示被改变为使用与SLO图像相对应的图像质量增强模型生成的高质量SLO图像，而且，显示也被改变为使用与断层图像对应的图像质量增强的已学习模型生成的高质量断层图像。此时，可以配置为：在SLO图像上叠加显示指示断层图像的位置的线。此外，可以配置为：根据来自检查者的指示，上述线在SLO图像上是可移动的。此外，可以配置为：在图像质量增强按钮的显示被激活的情况下，在移动上述线之后，显示被改变为通过对与线的当前位置对应的断层图像应用图像质量增强处理而获得的高质量断层图像。此外，可以配置为：如果针对要处理以增强质量的每个图像显示图像质量增强按钮，则每个图像可独立地处理以增强质量。

因此，例如，即使在实时运动图像的情况下，处理时间也可以缩短，并且相应地，检查者可以在开始摄像之前获得高度准确的信息。因此，例如，在操作者在检查预览画面的同时修改对准位置的情况下，操作者不太可能再次拍摄图像失败，并且可以提高诊断的精度和效率。此外，控制单元117可以控制上述扫描单元的驱动，以便响应于关于摄像开始的指令，在摄像期间或摄像结束时再次摄像(重新扫描)部分区域，例如通过分割处理等获得的伪影区域。根据检查时眼睛的运动等状态，单次重新扫描可能无法拍摄到良好的图像。因此，可以控制驱动以重复一定次数的重新扫描。此时，可以配置为：即使在重新扫描一定次数期间，仍响应于来自操作者的指示(例如在按下摄像取消按钮之后)，终止重新扫描。此时，可将其配置为：保存摄像数据，直到响应于操作者的指示而终止重新扫描为止。注意，例如，可以配置为：在按下摄像取消按钮之后，显示确认对话框，从而允许操作者响应于来自操作者的指令而选择是保存还是丢弃摄像数据。此外，例如，可以配置为：在按下摄像取消按钮后不执行下一次重新扫描(尽管当前重新扫描一直执行直到完成为止)，并且状态进入待机状态，直到在确认对话框上给出来自操作者的指令(输入)为止。此外，例如，可以配置为：如果指示关于关注部分的物体识别结果的确定性的信息(例如，指示比例的数值)超过阈值，则自动执行各调整或摄像开始。此外，例如，可以配置为：如果指示关于关注部分的物体识别结果的确定性的信息(例如，指示比例的数值)超过阈值，则根据检查者的指令，改变状态(取消执行禁止状态)至可执行各调整或摄像开始的状态。

有一种可能性是，在自动对准过程中，摄像目标(如检查中的眼睛E的视网膜)尚未成功摄像。因此，由于输入到已学习模型的医学图像与用作学习数据的医学图像之间的差异很大，因此存在无法准确获得高质量图像的可能性。因此，如果断层图像(B扫描图像)的图像质量评估的评估值超过阈值，则可以将其配置为自动开始显示高质量运动图像(连续显示高质量帧)。此外，如果断层图像的图像质量评估的评估值超过阈值，则可以将其配置为将状态改变为允许检查者指定图像质量增强按钮的状态(激活状态)。注意，图像质量增强按钮是用于指定图像质量增强处理的执行的按钮。不用说，图像质量增强按钮可以是用于指示显示高质量图像的按钮。

此外，其可以被配置为：针对具有不同扫描模式等的每个摄像模式准备不同的图像质量增强模型，并且选择与所选的摄像模式相对应的用于图像质量增强的已学习模型。或者，可以使用通过学习包括在不同摄像模式下获得的各种医学图像的学习数据而获得的单个图像质量增强模型。

在诸如这里的OCT扫描仪之类的眼科设备中，对于每个摄像模式，用于测量的光束的扫描模式和摄像部分是不同的。因此，对于具有断层图像作为输入数据的已学习模型，可以将其配置为针对每个摄像模式准备已学习模型，并且允许选择与根据来自操作者的指令所选的摄像模式相对应的已学习模型。在这种情况下，摄像模式可以包括例如视网膜摄像模式、眼前节摄像模式、玻璃体摄像模式、黄斑摄像模式、视神经头摄像模式和OCTA摄像模式。此外，扫描模式可包括三维扫描、径向扫描、交叉扫描、圆扫描、光栅扫描和利萨如扫描(沿利萨如曲线扫描)。注意，在OCTA摄像模式中，驱动控制单元(未示出)控制上述扫描单元，以使用测定光多次扫描被检查眼睛的相同区域(相同位置)。此外，在OCTA摄像模式中，例如，光栅扫描、径向扫描、交叉扫描、圆扫描或利萨如扫描可以被设置为扫描模式。另外，对于以断层图像作为输入数据的已学习模型，可以使用根据不同方向上的横截面的断层图像作为学习数据来执行学习。例如，可以使用xz方向上横截面的断层图像或yz方向上横截面的断层图像作为学习数据来执行学习。

注意，可以根据操作者针对显示画面上提供的图像质量增强按钮给出的指示，或者根据预先存储在存储单元114中的设置，来确定是否需要使用图像质量增强模型来执行图像质量增强处理(或显示通过执行图像质量增强处理获得的高质量图像)。注意，处理是用于使用已学习模型(图像质量增强模型)的图像质量增强这一事实可以使用图像质量增强按钮的激活状态进行显示，或者可以作为消息显示在显示画面上。此外，图像质量增强处理的执行可以维持眼科设备的上次激活时的执行状态，或者可以维持每个受检者的上次检查时的执行状态。

此外，适用诸如图像质量增强模型等各种已学习模型的运动图像不限于实时运动图像，可以是例如存储(保存)在存储单元114中的运动图像。此时，例如，通过对存储(保存)在存储单元114中的眼底的断层运动图像的至少每一帧执行对准而获得的运动图像可以显示在显示画面上。例如，为了以合适的方式观察玻璃体，可以首先基于在帧上存在尽可能多的玻璃体这一条件来选择基准帧。此时，每个帧是XZ方向上的断层图像(B扫描图像)。通过将XZ方向上的其他帧与所选基准帧对准而获得的运动图像可以显示在显示画面上。此时，例如，可以将其配置为连续显示由图像质量增强模型针对运动图像的至少每一帧顺次生成的高质量图像(高质量帧)。

注意，作为上述帧到帧的对准方法，相同的方法或完全不同的方法应用于X方向的对准方法和Z方向(深度方向)的对准方法。此外，可以使用不同的方法在一个方向上执行多次对准。例如，可以执行粗略对准，然后执行精确对准。此外，对准方法的示例包括使用通过对断层图像(B扫描图像)应用分段处理而获得的视网膜层边界(在Z方向上)的(粗略)对准，使用通过分割断层图像而获得的多个区域与基准图像之间的相关信息(相似性)(在X方向或Z方向上)的(精确对准)，使用为每个断层图像(B扫描图像)生成的一维投影图像(在X方向上)的对准，以及使用二维正面图像(在X方向上)的对准。此外，可以配置为以像素为单位执行粗略对准，然后以子像素为单位执行精确对准。

此外，可以通过使用响应于检查者的指令而设置(改变)的比例值进行追加学习来更新图像质量增强模型。例如，当输入图像相对较暗时，如果检查者倾向于将输入图像相对于高质量图像的比例设置为高比例，则已学习模型执行追加学习以采取这种倾向。因此，例如，已学习模型可以被定制为获得适合检查者喜好的合并比例的已学习模型。此时，可在显示画面上显示用于确定是否响应于来自检查者的指示而使用所设置(改变)的比例值的按钮。此外，可以配置为将使用已学习模型确定的比例设置为默认值，然后根据检查者的指示，可以从默认值改变比例值。此外，图像质量增强模型可以是通过对至少包括使用图像质量增强模型生成的高质量图像的学习数据执行追加学习而获得的已学习模型。此时，可以配置为：根据检查者的指示，可选择是否使用高质量图像作为用于追加学习的学习数据。

(第四变型例)

在上述各种实施例和变型例中，对于通过摄像获得的图像，控制单元117可以使用用于图像分割的已学习模型生成标签图像，并执行图像分割处理。这里，标签图像是指以断层图像的像素为单位给出区域标签的标签图像。具体地，标签图像是在所获得的图像中绘制的一组区域中、由一组可识别像素值(以下称为标签值)分隔任意区域的图像。这里，所识别的任意区域包括关注区域或关注体积(VOI)。

当从图像中识别具有任意标签值的像素的坐标组时，可以识别绘制诸如图像中的对应视网膜层之类的区域的像素的坐标组。具体地，例如，如果表示构成视网膜的神经节细胞层的标签值为1，则从图像的像素组中识别像素值为1的坐标组，并且从图像中提取对应于该坐标组的像素组。因此，可以在图像中识别神经节细胞层的区域。

注意，图像分割处理可以包括缩小或放大标签图像尺寸的处理。此时，假设作为用于缩小或放大标签图像的尺寸的图像完成处理方法，将使用不会错误地生成未定义的标签值或在相应坐标处不存在的标签值的最近邻算法。

图像分割处理是指识别被称为ROI(关注区域)或VOI的区域(例如图像中绘制的器官或病变)以用于图像诊断或图像分析的处理。例如，根据图像分割处理，可以从使用OCT对用作摄像目标的眼后段摄像而获得的图像中识别出构成视网膜的层组的区域组。如果图像中没有绘制待识别的区域，则识别的区域的数目为0。或者，如果图像中绘制了多个要识别的区域组，则识别的区域的数量可以是多个，或者区域组周围可以有单个区域。

所识别的区域组被作为可用于其他处理的信息进行输出。具体地，例如，构成每个识别区域组的像素组的坐标组可以作为数值数据组输出。此外，例如，指示包括每个识别的区域组的矩形区域、椭圆形区域、长方体区域、椭球体区域等的坐标组可以作为数值数据组输出。此外，例如，在所识别的区域组的边界处指示线、曲线、平面、曲面等的坐标组可以作为数值数据组。此外，例如，可以输出指示所识别的区域组的标签图像。

这里，例如，作为用于图像分割的机器学习模型，可以使用卷积神经网络(CNN)。这里，参考图9，将描述由CNN配置根据本变型例的机器学习模型的示例。图9示出了用于图像分割的已学习模型的配置示例。在已学习模型的示例中，例如，响应于断层图像1301的输入，可以输出指示识别区域组的标签图像1302。

图9所示的机器学习模型包括负责处理输入值组并输出结果的过程的多个层组。作为包括在该机器学习组的配置中的层的类型，有卷积层、下采样层、上采样层和合并层。

卷积层是用于根据诸如设置的滤波器内核大小、滤波器数量、步长值和膨胀值等参数对输入值组执行卷积处理的层。注意，滤波器内核大小的维数可以根据输入图像的维数而改变。

下采样层是用于通过抽取或组合输入值组来执行将输出值组的数量减少到小于输入值组的数量的处理的层。具体来说，例如，作为这种处理，存在最大池。

上采样层是用于通过复制输入值组或添加从输入值组插值的值、执行将输出值组的数量增加到大于输入值组的数量的处理的层。具体地，例如，作为这种处理，存在线性插值处理。

合并层是用于通过从多个源接收诸如特定层的输出值组或构成图像的像素组之类的值组、并将它们连接或相加来执行合并处理的层。

应注意，如果构成神经网络的层组或节点组的参数设置不同，则根据训练数据训练的倾向在输出数据中可再现的程度可能不同。简言之，由于在许多情况下，根据实现的形式，适当的参数是不同的，因此可以根据需要将其更改为首选值。

此外，不仅通过如上所述改变参数的方法，而且通过改变CNN的配置，CNN可能具有更好的特性。更好的特性意味着，例如，输出更精确的对准位置信息，处理时间更短，或者训练机器学习模型所需的时间更短。

注意，在本变型例中使用的CNN的配置是U-net机器学习模型，其具备具有包括多个下采样层的多个层的编码器的功能，以及具备具有包括多个上采样层的多个层的解码器的功能。U-net机器学习模型被配置为：使得在配置为编码器的多个层中不明确的位置信息(空间信息)在配置为解码器的多个层中具有相同维度的层(彼此对应的层)中可用。

尽管在附图中未示出，但是作为CNN的配置的改变示例，例如，可以在卷积层之后并入批量归一化层或使用归一化线性函数(整流器线性单元)的激活层。通过CNN的这些步骤，可以提取拍摄图像的特征。

作为根据本变型例的机器学习模型，例如，可以使用如图9所示的CNN(U-net机器学习模型)、结合CNN和LSTM的模型、FCN(全卷积网络)或SegNet。此外，可根据所需配置，使用执行物体识别的机器学习模型。作为执行物体识别的机器学习模型，例如，可以使用RCNN(区域CNN)、快速RCNN或更快速RCNN。此外，还可以使用以区域为单位执行物体识别的机器学习模型。作为以区域为单位执行物体识别的机器学习模型，可以使用YLO(您只看一次)或SSD(单激发检测器或单激发多盒检测器)。

此外，用于图像分割的机器学习模型的学习数据包括由OCT获得的断层图像作为输入数据，以及其中以断层图像的像素为单位附着区域标签作为输出数据的标签图像。作为标签图像，可以使用标记为例如内界膜(ILM)、神经纤维层(NFL)、神经节细胞层(GCL)、感光细胞的内段和外段的连接(ISOS)、视网膜色素上皮层(RPE)、布鲁赫膜(BM)和脉络膜等的标签图像。请注意，作为其他区域，也可以使用标记为玻璃体、巩膜、外丛状层(OPL)、外核层(ONL)、内丛状层(IPL)、内核层(INL)、角膜、前房、虹膜和晶状体等的图像。

此外，用于图像分割的机器学习模型的输入数据不限于断层图像。可以使用眼前节图像、SLO图像或OCTA图像。在这种情况下，学习数据可以包括各种图像作为输入数据，以及以这些各种图像的像素为单位标记区域名称的标签图像作为输出数据。例如，在学习数据的输入数据是SLO图像的情况下，输出数据可以是标记为视神经头外围、盘、杯等的图像。

注意，用作输出数据的标签图像可以是由医生等标记断层图像的每个区域的图像，或者是通过基于规则的区域检测处理标记每个区域的图像。如果使用未被适当标记为学习数据的输出数据的标签图像来执行机器学习，则利用已使用该学习数据完成学习的已学习模型获得的图像也可能成为未被适当标记的标签图像。因此，通过从学习数据中排除包括这样的标签图像的对，可以降低使用已学习模型产生不适当标签图像的可能性。这里，基于规则的区域检测处理例如是指使用诸如视网膜形状的规则性等已知规则性的检测处理。

通过使用这种用于图像分割的已学习模型执行图像分割处理，期望控制单元117快速且准确地检测各种图像的特定区域。注意，可以为用作输入数据的每种类型的各种图像准备用于图像分割的已学习模型。此外，对于OCTA正面图像和En-Face图像，可以为用于生成图像的每个深度范围准备已学习模型。此外，用于图像分割的已学习模型可以是已经学习了每个摄像部分(例如黄斑中心或视神经头中心)的图像的学习模型，或者已经与摄像部分无关地进行学习的已学习模型。

此外，对于用于图像分割的学习模型，可以使用根据操作者的指示手动修改的数据作为学习数据来执行追加学习。此外，可以使用相同或类似的方法来确定是否执行追加学习或是否向服务器发送数据。在这些情况下，可以预计每个过程的精度得到提高，或者根据检查者的喜好倾向进行处理。

此外，在控制单元117使用已学习模型检测正在检查的眼睛E的部分区域(例如关注部分、伪影区域、异常部分等)的情况下，控制单元117可以对每个检测到的部分区域应用某些图像处理。例如，将讨论检测玻璃体区域、视网膜区域或脉络膜区域中的至少两个部分区域的情况。在这种情况下，当将诸如对比度调整之类的图像处理应用于检测到的至少两个部分区域时，控制单元117可以通过使用不同的图像处理参数来执行适合于每个区域的调整。通过显示已经执行适合于每个区域的调整的图像，操作者可以更合适地诊断每个部分区域中的疾病等。注意，对于每个检测到的部分区域使用不同的图像处理参数的配置类似地适用于通过在不使用学习模型的情况下检测被检眼睛E的部分区域而获得的被检眼睛E的部分区域。

(第五变型例)

上述各种实施例和变型例中的显示控制单元121可以在拍摄断层图像之后在显示画面上的报告画面上显示分析结果，例如期望层的厚度或各种血管的密度。此外，作为分析结果，可以显示关于包括视神经头、黄斑、血管区域、毛细血管区域、动脉区域、静脉区域、神经纤维束、玻璃体区域、黄斑区域、脉络膜区域、巩膜区域、筛板区域、视网膜层边界、视网膜层边界的末端、感光细胞、血细胞、血管壁、血管内壁边界、血管外边界、神经节细胞、角膜区、角区或Schlemm管中的至少一个的关注部分的参数的值(分布)。这里，关注部分可以是例如涡流静脉，其是Haller层中的血管(部分脉络膜区域的深度范围内的示例性血管)向眼睛外部的流出口。此时，关于关注部分的示例性参数包括涡流静脉的数量(例如每个区域中的数量)、从视神经头到每个涡流静脉的距离以及每个涡流静脉位于视神经头周围的角度。因此，例如，关于厚脉络膜(增厚的脉络膜)的各种疾病(例如脉络膜新生血管)可以被准确诊断。此外，通过分析已被处理以减少各种伪影的医学图像，可以将上述各种分析结果显示为准确的分析结果。注意，伪影可以是例如由血管区域等的光吸收产生的假图像区域、投影伪影和发生在测量光的主扫描方向上、取决于被检查眼睛的状态(运动、眨眼等)的正面图像中的带状伪影。此外，伪影可以是任何东西，只要它们是，例如，每当拍摄图像时在受检体的特定部分的医学图像上随机出现的摄像失败区域即可。此外，显示控制单元121可以在显示单元116上显示关于包括如上所述的各种伪影(摄像故障)中的至少一个的区域的参数的值(分布)作为分析结果。此外，作为分析结果，显示控制单元121可以显示关于包括异常部分(例如玻璃膜疣、新生血管、白癜风(硬渗出物)和伪玻璃膜疣)中的至少一个的区域的参数的值(分布)。此外，可以显示通过将使用标准数据库获得的标准值和标准范围与分析结果进行比较而获得的比较结果。

此外，可以使用分析图或指示对应于划分区域的统计值的扇区来显示分析结果。注意，分析结果可以是利用通过使用医学图像的分析结果作为学习数据执行学习而获得的已学习模型(分析结果生成引擎、用于分析结果生成的已学习模型)生成的分析结果。此时，已学习模型可以是通过使用包括医学图像和医学图像的分析结果的学习数据、或是包括医学图像和与前述医学图像不同类型的医学图像的分析结果的学习数据进行学习而获得的模型。

此外，用于执行图像分析的学习数据可以是包括使用用于图像分割处理的已学习模型生成的标签图像和使用标签图像的医学图像的分析结果的数据。在这种情况下，控制单元117可以用作分析结果生成单元的示例，该分析结果生成单元通过使用例如用于分析结果生成的已学习模型来从图像分割处理的结果中生成断层图像的分析结果。此外，已学习模型可以是通过使用学习数据进行学习而获得的模型，学习数据包括具有例如稍后描述的En-Face图像和运动对比度正面图像(OCTA的En-Face图像)等特定部分的不同类型的一组医学图像的输入数据。

此外，其可以被配置为显示使用利用图像质量增强模型生成的高质量图像所获得的分析结果。在这种情况下，包括在学习数据中的输入数据可以是使用用于图像质量增强的已学习模型生成的高质量图像，或者是低质量图像和高质量图像的集合。注意，学习数据可以是手动或自动校正其质量已被使用已学习模型增强的图像的至少一部分而获得的图像。

此外，学习数据可以是通过使用包括通过解析分析区域获得的分析值(例如，平均值、中值等)、包括分析值的表、分析图、或者图像中诸如扇区等分析区域的位置中的至少一个的信息作为(监督学习的)正确答案数据来标记(注释)输入数据、从而获得的数据。注意，它可以配置为响应于操作者的指示，显示使用用于分析结果生成的已学习模型获得的分析结果。

此外，上述实施例和变型例中的评估单元119可以通过使用例如已被处理以减少上述各种伪影的图像来输出准确的评估结果，以用于评估处理。此外，显示控制单元121可以通过在图像上显示识别出的异常部分等的位置，或者通过在文本中显示异常部分的状态来输出评估结果。此外，除了疾病的评估结果之外，显示控制单元121还可以显示异常部分的分类结果(例如Curtin分类)作为诊断结果。此外，例如，作为分类结果，可以显示指示每个异常部分的确定性的信息(例如，指示比例的数值)。此外，医生确认诊断所需的信息可以显示为诊断结果。例如，关于追加摄像的建议被视为上述所需信息的示例。例如，响应于在OCTA图像的血管区域中检测到异常部分，可以显示关于使用允许比OCTA更详细观察血管的造影剂进行追加荧光照相术的建议。此外，诊断结果可以是关于例如受检体的未来医疗方针的信息。此外，诊断结果可以是包括例如诊断名称、病变(异常部分)的类型和状态(程度)、病变在图像中的位置、病变相对于关注区域的位置、结果(解释结果等)、诊断名称的依据(肯定的医疗支持信息等)，或拒绝诊断名称的依据(否定的医疗支持信息)中的至少一个的信息。此时，例如，看起来比诸如根据检查者的指示输入的诊断名称等诊断结果更确定的诊断结果可以显示为医疗支持信息。此外，例如，在使用多种类型的医学图像的情况下，可以可区分地显示可能是诊断结果的依据的类型的医学图像。此外，诊断结果的依据可以是可视化由已学习模型提取的特征的图(注意图或激活图)，其可以是例如以颜色指示特征的颜色图(热图)。此时，例如，热图可以叠加显示在用作输入数据的医学图像上。注意，可以通过使用例如作为用于可视化对预测(评估)类的输出值具有更大贡献的区域(具有更大梯度的区域)的Grad-CAM(梯度加权类激活映射)、引导Grad-CAM等来获得热图。

注意，诊断结果可以是使用通过将医学图像的诊断结果作为学习数据学习而获得的已学习模型(诊断结果生成引擎、用于诊断结果生成的已学习模型)而生成的结果。此外，已学习模型可以是通过使用包括医学图像和医学图像的诊断结果的学习数据、或是包括医学图像和与前述医学图像不同类型的医学图像的诊断结果的学习数据进行学习从而获得的模型。

此外，学习数据可以是包括使用用于图像分割处理的已学习模型生成的标签图像和使用标签图像的医学图像的诊断结果的数据。在这种情况下，控制单元117可以用作诊断结果生成单元的示例，其通过使用例如用于诊断结果生成的已学习模型，从图像分割处理的结果中生成断层图像的诊断结果。

此外，它可以被配置为显示使用利用用于图像质量增强的已学习模型生成的高质量图像获得的诊断结果。在这种情况下，包括在学习数据中的输入数据可以是使用用于图像质量增强的已学习模型生成的高质量图像，或者是低质量图像和高质量图像的集合。注意，学习数据可以是手动或自动校正其质量已被通过使用学习模型增强的图像的至少一部分而获得的图像。

此外，学习数据可以是通过使用包括例如诊断名称、病变(异常部分)的类型和状态(程度)、病变在图像中的位置、病变相对于关注区域的位置、结果(解释结果等)、诊断名称的依据(肯定的医疗支持信息等)或拒绝诊断名称的依据(否定的医疗支持信息)中的至少一个的信息作为(监督学习的)正确答案数据来标记(注释)输入数据、从而获得的数据。注意，它可以配置为响应于操作者的指示，显示使用用于诊断结果生成的已学习模型获得的诊断结果。

注意，可以为用作输入数据的每个项目或每种类型的信息准备已学习模型，并且可以使用已学习模型获得诊断结果。在这种情况下，可以对从每个已学习模型输出的信息执行统计处理，以确定最终诊断结果。例如，可以针对每种类型的信息，将从每个已学习模型输出的信息的比例相加，并且比其他信息具有更高的总和比例的信息可以被确定为最终诊断结果。请注意，统计处理不限于总和的计算，可以是平均值或中值的计算。此外，例如，在从单个已学习模型输出的信息项中，可以使用比其他信息比例更高的信息(比例最高的信息)来确定诊断结果。类似地，在从各个已学习模型输出的信息项中，可以使用其比例大于或等于阈值的信息来确定诊断结果。

此外，其可以配置为，根据操作者的指示(选择)，可以确定(可核准)所确定的诊断结果是好是坏。此外，根据操作者的指示(选择)，可以根据从各个已学习模型输出的信息项确定诊断结果。此时，例如，显示控制单元121可以在显示单元116上并排显示从各个已学习模型输出的信息项及其比例。其可以配置为：当操作者选择比例高于其他信息的信息时，所选信息被确定为诊断结果。此外，可以使用机器学习模型根据从各个已学习模型输出的信息项确定诊断结果。在这种情况下，机器学习算法可以是与用于诊断结果生成的机器学习算法不同类型的机器学习算法，并且可以使用例如神经网络、支持向量机、AdaBoost、贝叶斯网络或随机森林。

注意，上述各种已学习模型的学习不仅可以是监督学习(使用标记学习数据的学习)，还可以是半监督学习。半监督学习是这样一种方法：其中，例如，在标识符(分类器)各自执行监督学习并且标识符(分类器)识别(分类)未标记的学习数据之后，根据识别结果(分类结果)的可靠性，执行(例如，确定性大于或等于阈值的识别结果)的自动标记(注释)，并使用标记的学习数据执行学习。例如，半监督学习可以是联合训练或多视点。此时，用于诊断结果生成的已学习模型可以是，例如，通过使用识别被检查的正常物体的医学图像的第一标识符和识别包括特定病变的医学图像的第二标识符进行半监督学习(例如联合训练)获得的已学习模型。注意，诊断不是唯一可能的目的，目的可以是例如支持摄像等。在这种情况下，第二标识符可以是识别例如包括诸如关注部分或伪影区域的部分区域的医学图像的标识符。

根据上述各种实施例和变型例的显示控制单元121可以在显示画面的报告画面上显示物体识别结果(物体检测结果)或诸如如上所述的关注部分、伪影区域和异常部分等部分区域的分割结果。此时，例如，可以在图像中的物体周围叠加显示矩形框等。此外，例如，可以在图像中的物体上叠加显示颜色等。注意，物体识别结果或分割结果可以是通过使用已学习模型(物体识别引擎、用于物体识别的已学习模型，分割引擎、用于分割的已学习模型)生成的结果，该已学习模型是通过学习通过用指示物体识别或分割的信息作为正确答案数据来标记(注释)医学图像获得的学习数据而获得的。注意，上述分析结果生成或诊断结果生成可以是通过使用上述物体识别结果或分割结果而获得的结果。例如，可以对通过处理物体识别或分割获得的关注部分执行分析结果生成或诊断结果生成的处理。

为了检测异常部分，控制单元117可以使用生成对抗网络(GAN)或可变自动编码器(VAE)。例如，包括通过学习医学图像生成而获得的生成器和通过学习由该生成器生成的新医学图像与真实医学图像之间的区别而获得的标识符的DCGAN(深卷积GAN)可以用作机器学习模型。

例如，在使用DCGAN的情况下，标识符将输入医学图像编码为潜变量，并且生成器基于潜变量生成新的医学图像。之后，可以提取(检测)输入的医学图像和生成的新医学图像之间的差异作为异常部分。例如，在使用VAE的情况下，编码器将输入的医学图像编码为潜变量，并且解码器解码潜变量以生成新的医学图像。之后，可以提取输入的医学图像和生成的新医学图像之间的差异，作为异常部分。

此外，控制单元117可以通过使用卷积自动编码器(CAE)来检测异常部分。在使用CAE的情况下，在学习时学习相同的医学图像作为输入数据和输出数据。因此，响应于在向CAE评估时具有异常部分的医学图像的输入，根据学习趋势输出没有异常部分的医学图像。之后，可以将输入到CAE的医学图像与从CAE输出的医学图像之间的差异提取为异常部分。

在这些情况下，控制单元117可以生成关于使用生成对抗网络或自动编码器获得的医学图像与输入到生成对抗网络或自动编码器的医学图像之间的差异的信息，作为关于异常部分的信息。因此，可以期望控制单元117快速且准确地检测异常部分。例如，即使在难以收集包括异常部分在内的许多医学图像作为学习数据以提高检测异常部分的精度时，也可以使用相对多且易于收集的被检查的正常物体的图像作为学习数据。因此，例如，可以有效地执行用于准确检测异常部分的学习。这里，自动编码器包括VAE和CAE。此外，生成性对抗网络的生成器可以部分地包括VAE。因此，例如，可以在减少生成类似数据的现象的同时生成相对清晰的图像。例如，控制单元117可以生成关于使用生成对抗网络或自动编码器从各种医学图像获得的医学图像与输入到生成对抗网络或自动编码器的医学图像之间的差异的信息，作为关于异常部分的信息。另外，例如，显示控制单元121可以在显示单元116上显示关于使用生成对抗网络或自动编码器从各种医学图像获得的医学图像与输入到生成对抗网络或自动编码器的医学图像之间的差异的信息，作为关于异常部分的信息。

此外，用于诊断结果生成的已学习模型尤其可以是通过学习包括具有受检体特定部分的一组不同类型的医学图像的输入数据的学习数据所获得的学习模型。此时，例如，将具有眼底的运动对比度正面图像和亮度正面图像(或亮度断层图像)的集合的输入数据视为包括在学习数据中的输入数据。可选择地，例如，具有眼底的断层图像(B扫描图像)和彩色眼底图像(或荧光眼底图像)的集合的输入数据也可以视为包括在学习数据中的输入数据。此外，不同类型的医学图像可以是任何东西，只要它们是通过不同的模式、不同的光学系统、不同的原理等获得的即可。

此外，用于诊断结果生成的已学习模型尤其可以是通过学习包括具有受检体特定部分的一组不同类型的医学图像的输入数据的学习数据所获得的学习模型。此时，例如，可将具有眼底的断层图像(B扫描图像)和眼前节的断层图像(B扫描图像)的集合的输入数据视为包括在学习数据中的输入数据。可选择地，例如，具有眼底黄斑的三维OCT图像(三维断层图像)和眼底视神经头的圆扫描(或光栅扫描)断层图像的集合的输入数据也可以视为包括在学习数据中的输入数据。

注意，学习数据中包含的输入数据可以是受检者不同部位和不同类型的医学图像。此时，例如，具有眼前节的断层图像和彩色眼底图像的集合的输入数据可以视为包括在学习数据中的输入数据。此外，上述已学习模型可以是通过学习包括具有在不同摄像视角下的受检体的特定部分的一组医学图像的输入数据的学习数据而获得的已学习模型。此外，包括在学习数据中的输入数据可以是如在全景图像中那样、将通过将特定部分时间分割为多个区域而获得的医学图像附着在一起而获得的数据。此时，通过使用具有宽视角的图像(例如全景图像)作为学习数据，由于信息量大于窄视角的图像的信息量，因此，存在可以准确获得图像的特征的可能性。因此，可以改进处理结果。此外，包括在学习数据中的输入数据可以是具有在不同日期和时间的受检体的特定部分的一组医学图像的输入数据。

此外，显示上述评估结果、分析结果、诊断结果、物体识别结果或分割结果中的至少一个的显示画面不限于报告画面。这样的显示画面可以显示在例如摄像确认画面、后续显示画面或用于摄像前的各种调整的预览画面(显示各种实时运动图像的显示画面)中的至少一个上。例如，通过在摄像确认画面上显示使用上述已学习模型获得的上述结果中的至少一个，操作者甚至可以在摄像之后立即检查准确结果。

此外，例如，可以配置为：响应于对特定物体的识别，在实时运动图像上叠加显示围绕所识别物体的帧。此时，如果指示物体识别结果的确定性的信息(例如，指示比例的数值)超过阈值，则可以通过例如改变物体周围的帧的颜色来突出显示物体识别结果。因此，检查者可以容易地在实时运动图像上识别物体。

为了生成用于学习上述各种已学习模型的正确答案数据，可以使用用于生成正确答案数据的正确答案数据生成的已学习模型，例如标记(注释)。此时，用于正确答案数据生成的已学习模型可以是通过(顺次)追加学习通过检查者进行的标记(注释)所获得的正确答案数据而获得的模型。也就是说，用于正确答案数据生成的已学习模型可以是通过追加学习包括未标记数据作为输入数据和标记数据作为输出数据的学习数据而获得的模型。此外，可以配置为：在运动图像等的连续帧中，考虑特定帧前后的帧的物体识别或分割的结果，并且修改被确定为结果精度低的帧的结果。此时，可以配置为：响应于来自检查者的指示，执行修改结果作为正确答案数据的追加学习。此外，可以配置为：例如，对于结果精度低的医学图像，使用在检查者检查指示颜色特征的颜色图(热图)时标记(注释)的图像作为输入数据来执行追加学习，该颜色图(热图)是在医学图像上将已学习模型提取的特征可视化的图(注意图或激活图)的示例。例如，如果紧接在学习模型中输出结果之前的层上的热图上，关注点与检查者的意图不同，则可以追加学习其中检查者的关注点被标记(注释)的医学图像。因此，例如，已学习模型可以追加学习对已学习模型的输出结果具有相对较大影响的医学图像的部分区域的特征，并且优先于(加权)其他区域。

这里，可以通过使用学习数据的机器学习来获得上述各种已学习模型。机器学习的一个例子包括包含多层神经网络的深度学习。此外，例如，卷积神经网络可用于多层神经网络中的至少一些。此外，关于自动编码器的技术可用于多层神经网络中的至少一些。此外，关于反向传播的技术可用于学习。此外，随机停用每个单元(每个神经元或每个节点)的方法(退出)可用于学习。此外，在应用激活函数(例如ReLu函数)之前、将传送到多层神经网络的每一层的数据归一化的方法(批量归一化)可用于学习。注意，机器学习不限于深度学习，可以是任何类型的学习，只要它使用能够通过学习自己提取(表示)学习数据(例如图像)的特征的模型即可。这里，机器学习模型是指基于机器学习算法(例如深度学习)的学习模型。此外，已学习模型是基于任意机器学习算法、通过使用适当的学习数据预先训练(学习)机器学习模型而获得的模型。注意，假设已学习模型不是不执行进一步学习的模型，而是可以执行追加学习的模型。此外，学习数据包括一对输入数据和输出数据(正确答案数据)。这里，学习数据有时被称为训练数据，正确答案数据有时被称为训练数据。

注意，GPU可以通过并行处理更多的数据项来有效地执行操作。因此，在如在深度学习中那样使用学习模型多次执行学习的情况下，使用GPU执行处理是有效的。因此，在本变型例中，除了CPU之外，GPU也用于作为学习单元(未示出)的示例的控制单元117的处理。具体地说，在执行包括学习模型的学习程序时，CPU和GPU协同操作以执行学习。注意，学习单元的处理可以仅通过CPU或GPU的操作来执行。此外，使用上述各种已学习模型执行处理的处理器(评估单元119)可以像学习单元一样使用GPU。此外，学习单元可以包括误差检测单元和更新单元(未示出)。误差检测单元获得响应于输入到输入层的输入数据而从神经网络的输出层输出的输出数据与正确答案数据之间的误差。误差检测单元可以使用损失函数计算来自神经网络的输出数据和正确答案数据之间的误差。此外，更新单元基于由误差检测单元获得的误差，更新神经网络的节点之间的耦合权重系数以减小误差。更新单元使用例如反向传播来更新耦合权重系数。反向传播是一种调整各神经网络的节点间耦合权重系数以减小上述误差的方法。

此外，作为用于上述物体识别、分割或图像质量增强的机器学习模型，具备具有包括多个下采样层的多层编码器的功能和具有包括多个上采样层的多层解码器的功能的U-net机器学习模型是适用的。U-net机器学习模型被配置为：使得在配置为编码器的多个层中变得模糊的位置信息(空间信息)在配置为解码器的多个层中具有相同维度的层(彼此对应的层)中可用。

此外，例如，作为用于上述物体识别、分割或图像质量增强的机器学习模型，FCN(完全卷积网络)或SegNet是可用的。此外，可以使用根据期望配置以区域为单位执行物体识别的机器学习模型。作为执行物体识别的机器学习模型，例如，可以使用RCNN(区域CNN)、快速RCNN或更快速RCNN。此外，作为以区域为单位执行物体识别的机器学习模型，可以使用YLO(您只看一次)或SSD(单激发检测器或单激发多盒检测器)。

此外，机器学习模型例如可以是胶囊网络(CapsNet)。这里，在一般的神经网络中，每个单元(每个神经元或每个节点)被配置为输出标量值，从而减少例如关于图像中特征之间(的相对位置)的空间位置关系的空间信息。因此，例如，可以执行学习以减少图像的局部变形或平移的影响。相反，在胶囊网络中，每个单元(每个胶囊)被配置为输出空间信息作为向量，从而维持例如空间信息。因此，例如，可以执行学习以便将图像中特征之间的空间位置关系纳入考虑。

(第六变型例)

在上述各种实施例和变型例中的预览画面上，可以配置为将上述各种已学习模型用于实时运动图像的至少每一帧。此时，可以配置为，在预览画面上显示不同部分或不同类型的多个实时运动图像的情况下，使用对应于每个实时运动图像的已学习模型。因此，例如，即使在实时运动图像的情况下，处理时间也可以缩短，并且相应地，检查者可以在开始摄像之前获得高度准确的信息。因此，例如，再次拍摄图像失败的可能性降低，并且可以提高诊断的精度和效率。

注意，多个实时运动图像可以是，例如，用于在XYZ方向上对准的眼前节的运动图像，以及用于眼底观察光学系统的焦点调整或用于OCT焦点调整的眼底正面运动图像。此外，多个实时运动图像可以是例如用于OCT相干门调整(测量光路长度和基准光路长度之间的光路长度差的调整)的眼底的断层运动图像。在显示这样的预览图像的情况下，控制单元117可以被配置为执行上述各种调整，使得使用上述用于物体识别的已学习模型或用于分割的已学习模型检测到的区域将满足特定条件。例如，其可以配置为执行包括OCT焦点调整在内的各种调整，以便使用用于物体识别的已学习模型或用于分割的已学习模型检测到的关于玻璃体区域或诸如RPE等特定视网膜层的值(例如对比度值或强度值)将超过阈值(或成为峰值)。此外，例如，可以配置为执行OCT相干门调整，以便使用用于物体识别的已学习模型或用于分割的已学习模型检测到的玻璃体区域或诸如RPE等特定视网膜层将位于深度方向上的特定位置。

在这些情况下，控制单元117可以使用已学习模型处理用于质量增强的运动图像，并生成高质量的运动图像。此外，驱动控制单元(未示出)可以控制用于改变参考镜等的摄像范围的光学部件的驱动，以便在显示高质量运动图像的同时，通过分割处理等获得的关注部分等部分区域将位于显示区域中的特定位置。在这种情况下，驱动控制单元可以基于准确信息自动执行对准处理，使得期望区域将位于显示区域中的期望位置。注意，摄像范围将被改变的光学部件可以是例如用于调整相干门位置的光学部件，其具体可以是反射参考光的参考镜。此外，可以通过改变测量光路长度和参考光路长度之间的光路长度差的光学部件来调整相干门位置，并且光学部件可以是用于改变测量光的光路长度的镜(未示出)。注意，用于改变摄像范围的光学部件例如可以是台单元(未示出)。此外，驱动控制单元可以控制扫描单元的驱动，以便响应于关于摄像开始的指令，在摄像期间或摄像结束时对部分区域(例如通过分割处理等获得的伪影区域)再次摄像(重新扫描)。此外，例如，如果指示关于关注部分的物体识别结果的确定性的信息(例如，指示比例的数值)超过阈值，则可以将其配置为自动执行各种调整或开始摄像。此外，例如，可以配置为，如果指示关于关注部分的物体识别结果的确定性的信息(例如，指示比例的数值)超过阈值，则改变状态(取消执行禁止状态)至可根据检查者的指示执行每次调整或摄像开始的状态。

此外，上述各种已学习模型适用的运动图像不限于实时运动图像，可以是例如存储(保存)在存储单元114中的运动图像。此时，例如，通过对存储(保存)在存储单元114中的眼底的断层运动图像的至少每一帧执行对准而获得的运动图像可以显示在显示画面上。例如，为了以合适的方式观察玻璃体，可以首先选择基于在帧上存在尽可能多的玻璃体这一条件的基准帧。此时，每个帧是XZ方向上的断层图像(B扫描图像)。通过将XZ方向上的其他帧与所选基准帧对准而获得的运动图像可以显示在显示画面上。此时，例如，它可以被配置为连续显示由用于图像质量增强的已学习模型针对运动图像的至少每一帧而顺次生成的高质量图像(高质量帧)。

注意，作为上述帧之间的对准方法，可以应用与X方向对准方法和Z方向对准方法(深度方向)相同的方法，或者可以应用完全不同的方法。此外，可以使用不同的方法在一个方向上执行多次对准。例如，可以执行粗略对准，然后执行精确对准。此外，对准方法的示例包括使用通过对断层图像(B扫描图像)应用分段处理而获得的视网膜层边界(在Z方向上)的(粗略)对准，使用通过分割断层图像而获得的多个区域与基准图像之间的相关信息(相似性)(在X方向或Z方向上)的(精确对准)，使用为每个断层图像(B扫描图像)生成的一维投影图像(在X方向上)的对准，以及使用二维正面图像(在X方向上)的对准。此外，可以配置为以像素为单位执行粗略对准，然后以子像素为单位执行精确对准。

这里，在各种调整中，有一种可能性是摄像目标(例如被检查眼睛的视网膜)尚未被成功摄像。因此，由于输入到已学习模型的医学图像与用作学习数据的医学图像之间的差异很大，因此存在无法准确获得高质量图像的可能性。因此，可以配置为：如果断层图像(B扫描)的图像质量评估的评估值超过阈值，则自动开始高质量运动图像的显示(高质量帧的连续显示)。此外，可以配置为：如果断层图像(B扫描)的图像质量评估的评估值超过阈值，则状态改变为检查者能够指定图像质量增强按钮的状态(激活状态)。

此外，例如，可以配置为针对具有不同扫描模式等的每个摄像模式准备不同的用于图像质量增强的已学习模型，从而允许选择对应于所选摄像模式的用于图像质量增强的已学习模型。或者，可以使用用于图像质量增强的单个学习模型，其是通过学习包括在不同摄像模式下获得的各种医学图像的学习数据而获得的。

(第七变型例)

在上述实施例和变型例中，当各种已学习模型当前正在执行追加学习时，有可能难以使用当前正在执行追加学习的已学习模型来执行输出(评估/预测)。因此，优选地，配置为禁止除了当前执行追加学习的已学习模型的学习数据之外的医学图像的输入。此外，可以准备与执行追加学习之前的已学习模型相同的已学习模型，作为备用已学习模型。此时，优选地，配置为：在执行追加学习期间，允许执行除备用已学习模型的学习数据之外的医学图像的输入。在追加学习完成之后，可以评估已执行追加学习的已学习模型，并且，如果没有问题，则可以用已执行追加学习的已学习模型来替换备用已学习模型。如果存在问题，则可以使用备用已学习模型。

作为已执行追加学习的已学习模型的评估，例如，可使用用于将由用于图像质量增强的已学习模型获得的高质量图像分类为另一类型的图像分类的用于分类的已学习模型。用于分类的已学习模型可以是，例如，通过学习学习数据获得的学习模型，学习数据包括：包含由用于图像质量增强的已学习模型获得的高质量图像和低质量图像的图像来作为输入数据，以及其中这些图像的类型被标记(注释)的数据来作为正确答案数据。此时，评估(预测)时输入数据的图像类型可以与指示学习时正确答案数据中包括的每种类型的图像的确定性的信息(例如，指示比例的数值)一起显示。除了上述图像之外，用于分类的已学习模型的输入数据还可以包括通过叠加低质量图像(例如，通过使对准的低质量图像平均化)从而已增强对比度或降低噪声的高质量图像。此外，作为对已执行追加学习的已学习模型的评估，例如，可以比较使用已执行追加学习的已学习模型和执行追加学习之前的已学习模型(备用已学习模型)从相同图像获得的高质量图像，或者可以比较分析这些高质量图像的结果。此时，例如，可以确定高质量图像的比较结果(由追加学习引起的改变的示例)或是高质量图像的分析结果的比较结果(由追加学习引起的改变的示例)是否在特定范围内，并且可以显示确定结果。

此外，可以选择性地使用通过以摄像部分为单位学习而获得的已学习模型。具体地，可以准备多个已学习模型，包括使用包含第一摄像部分(例如前段、后段等)的学习数据获得的第一已学习模型，以及使用包含与第一摄像部分不同的第二摄像部分的学习数据获得的第二已学习模型。控制单元117可以包括用于选择这些已学习模型中的任何一个的选择单元。此时，控制单元117可以包括用于执行所选已学习模型的追加学习的控制单元。响应于来自检查者的指示，控制单元可以搜索其中与所选择的已学习模型相对应的摄像部分和摄像部分的拍摄图像被配对的数据，并且使用检索到的数据作为学习数据来执行学习，作为所选择的已学习模型的追加学习。注意，与所选择的已学习模型相对应的摄像部分可以从数据的头部信息获得，或者可以由检查者手动输入。此外，可以通过网络从例如外部设施(例如医院或实验室)中的服务器搜索数据。因此，可以使用对应于已学习模型的摄像部分的拍摄图像，对每个摄像部分有效地执行追加学习。

注意，选择单元和控制单元可以由通过诸如控制单元117的CPU或MPU之类的处理器执行的软件模块来配置。此外，选择单元和控制单元可以由执行特定功能的电路(例如ASIC)或独立设备来配置。

此外，在通过网络从外部设施(例如医院或实验室)中的服务器获取用于追加学习的学习数据的情况下，减少由于追加学习时的篡改或系统故障而导致的可靠性降低是有用的。可通过使用数字签名或散列检查一致性来检测用于追加学习的学习数据的有效性。因此，可以保护用于追加学习的学习数据。此时，假设如果作为使用数字签名或散列来检查一致性的结果而未检测到用于追加学习的学习数据的有效性，则给出该效果的警告，并且不使用该学习数据执行追加学习。注意，服务器的位置没有特别限制，服务器可以是任何形式，例如云服务器、雾服务器或边缘服务器。

通过如上所述的一致性检查的数据保护不限于用于追加学习的学习数据，还适用于包括医学图像的数据。此外，图像管理系统可以被配置为使得分布式网络来管理包括多个设施中的服务器之间的医学图像的数据交换。此外，图像管理系统可以被配置为使得将交换日志和先前块的散列值一起记录的多个块按时间顺序连接。作为检查一致性的技术，可以使用即使使用量子计算机(例如量子门)也难以计算的加密(例如基于晶格的加密或使用量子密钥分配的量子加密)。这里，图像管理系统可以包括接收和保存由摄像装置拍摄的图像或经处理的图像的装置和系统。此外，图像管理系统可以响应于来自连接的设装置的请求而发送图像，处理保存的图像，或者请求另一装置执行图像处理。图像管理系统包括例如图像存档和通信系统(PACS)。此外，图像管理系统包括能够保存诸如与接收到的图像相关的受检体信息和摄像时间等各种类型的信息的数据库。此外，图像管理系统可以连接到网络，并且响应于来自另一装置的请求，发送和接收图像、转换图像或者发送和接收与保存的图像相关的各种类型的信息。

在执行各种已学习模型的追加学习的情况下，可以使用GPU高速执行处理。由于GPU能够通过并行处理更多的数据项来有效地执行操作，因此在使用学习模型多次执行学习的情况下(如在深度学习中)，使用GPU执行处理是有效的。注意，追加学习的处理可以由GPU和CPU协同执行。

(第八变型例)

在上述各种实施例和变型例中，除了手动给出的指令(例如使用用户界面等的指令)之外，来自检查者的指令还可以是通过语音等给出的指令。此时，例如，可以使用包括通过机器学习获得的语音识别模型(语音识别引擎，用于语音识别的已学习模型)的机器学习模型。此外，手动给出的指令可以是通过使用键盘或触摸屏输入字符给出的指令。此时，例如，可以使用包括通过机器学习获得的字符识别模型(字符识别引擎，用于字符识别的已学习模型)的机器学习模型。此外，来自检查者的指令可以是通过手势等给出的指令。此时，可以使用通过机器学习获得的包括手势识别模型(手势识别引擎，用于手势识别的已学习模型)的机器学习模型。

此外，来自检查者的指令可以是在显示单元116的显示画面上检测检查者的视线的结果。例如，视线检测结果可以是使用通过从显示单元116的显示画面周围拍摄图像而获得的检查者的运动图像的瞳孔检测结果。此时，来自运动图像的瞳孔检测可以使用如上所述的物体识别引擎。此外，来自检查者的指令可以是脑波、流经身体的微弱电信号等发出的指令。

在这种情况下，例如，学习数据可以是包括表示显示通过如上所述处理各种已学习模型获得的结果的指令的字符数据或语音数据(波形数据)作为输入数据、以及用于在显示单元116上实际显示通过处理各种已学习模型而获得的结果的执行命令作为正确答案数据的学习数据。此外，学习数据可以是例如包括关于是否执行摄像参数的自动设置的执行命令、以及用于将用于命令的按钮改变为活动状态的执行命令作为正确答案数据的学习数据。注意，学习数据可以是任何数据，只要例如由字符数据、语音数据等指示的指令的内容和执行命令的内容彼此对应即可。此外，可以使用声学模型和语言模型将语音数据转换为字符数据。此外，可以使用由麦克风获得的波形数据来执行减少叠加在语音数据上的噪声数据的处理。此外，可以配置为可根据来自检查者的指令、选择使用字符或语音给出的指令以及使用鼠标或触摸屏给出的指令。此外，可以配置为可根据来自检查者的指令来选择使用字符、语音等给出的指令的开/关。

这里，机器学习包括如上所述的深度学习，并且例如，递归神经网络(RNN)可用于多层神经网络中的至少一些。这里，作为根据本变型例的机器学习模型的示例，将参考图10A和图10B描述作为处理时序信息的神经网络的RNN。此外，将参考图11A和图11B描述作为RNN的一种类型的长短期存储器(以下称为LSTM)。

图10A示出了用作机器学习模型的RNN的结构。RNN 3520包含具有环路结构的网络，并且在时间t接收数据x^t 3510并输出数据h^t 3530。由于RNN 3520包含具有环路结构的网络，因此RNN 3520能够将当前时刻的状态传递到下一状态，并且相应地，RNN 3520能够处理时序信息。图10B示出了时刻t的参数向量的输入/输出的示例。数据x^t 3510包括N个(Params1到ParamsN)数据项。此外，从RNN 3520输出的数据h^t 3530包括对应于输入数据的N个(Params1到ParamsN)数据项。

然而，由于RNN不能在反向传播时处理长期信息，因此可以使用LSTM。由于LSTM包括遗忘门、输入门和输出门，所以LSTM能够学习长期信息。这里，图11A示出了LSTM的结构。在LSTM 3540中，由网络传递到下一时刻t的信息包括被称为单元的网络的内部状态c^t-1和输出数据h^t-1。注意，图中的下标(c、h和x)表示向量。

接下来，图11B示出LSTM 3540的细节。在图11B中，FG表示忘记门网络，IG表示输入门网络，OG表示输出门网络，每个均是sigmoid层。因此，每个元素输出值为0到1的向量。忘记门网络FG用于确定保留了多少过去的信息，而输入门网络IG用于确定要更新的值。CU是单元更新候选网络，是激活函数tanh层。这将生成添加到单元的新候选值的向量。输出门网络OG选择单元候选元素，并选择下一次要传递多少信息。

由于上述LSTM模型是一种基本形式，因此LSTM不限于此处所示的网络。网络之间的耦合可以改变。可以使用QRNN(准递归神经网络)代替LSTM。此外，机器学习模型不限于神经网络，可以使用boosting和支持向量机。此外，在来自检查者的指令通过字符或语音输入的情况下，可以应用关于自然语言处理的技术(例如序列到序列)。此时，例如，作为关于自然语言处理的技术，可以应用对每个输入句子执行输出的模型。此外，上述各种已学习模型不仅适用于检查者的指令，而且也适用于检查者的输出。此外，可以应用对话引擎(对话模型，用于对话的已学习模型)，该引擎以字符或语音的输出响应检查者。

此外，作为关于自然语言处理的技术，可以使用通过无监督学习预学习文档数据而获得的已学习模型。此外，作为关于自然语言处理的技术，可以使用通过根据目的对通过预学习获得的已学习模型进行进一步迁移学习(或微调)获得的学习模型。此外，例如，作为关于自然语言处理的技术，可以应用BERT(来自转换器的双向编码器表示)。此外，作为关于自然语言处理的技术，可以应用能够通过从左、右两侧的上下文中预测句子中的特定单词来自己提取(表示)上下文(特征)的模型。此外，作为关于自然语言处理的技术，可以应用能够确定输入时序数据中两个序列(句子)的关系(连续性)的模型。此外，作为关于自然语言处理的技术，可以应用在隐藏层中使用变压器的编码器、并输入和输出向量序列的模型。

这里，本变型例适用的检查者的指令可以是任何指令，只要它们用于以下至少一项：改变在上述各种实施例和变型例中描述的各种图像和分析结果的显示；选择用于生成En-Face图像的深度范围；选择是否使用图像作为追加学习的学习数据；选择已学习模型；或输出(显示或发送)或保存使用各种已学习模型获得的结果。此外，本变型例适用的来自检查者的指令不仅可以是摄像后给出的指令，还可以是摄像前给出的指令。例如，这些指令可以是关于各种调整的指令、关于各种摄像条件的设置的指令以及关于摄像开始的指令。此外，本变型例适用的来自检查者的指令可以是用于改变显示画面(画面转换)的指令。

注意，机器学习模型可以是结合关于诸如CNN的图像的机器学习模型和关于诸如RNN的时序数据的机器学习模型的机器学习模型。例如，在这样的机器学习模型中，可以学习关于图像的特征和关于时序数据的特征之间的关系。例如，在机器学习模型的输入层侧为CNN而输出层侧为RNN的情况下，可以使用包括医学图像作为输入数据、包括关于医学图像的文本(例如是否存在病变、病变类型或推荐的下一次检查)作为输出数据的学习数据来执行学习。因此，例如，由于关于医学图像的医学信息被自动地以文本解释，因此即使在医学领域经验较少的检查者也可以容易地掌握关于医学图像的医学信息。此外，例如，在机器学习模型的输入层侧为RNN而输出层侧为CNN的情况下，可以使用包括关于诸如病变、发现或诊断之类的医疗的文本作为输入数据、包括与关于医疗的文本相对应的医学图像作为输出数据的学习数据来执行学习。因此，例如，可以容易地检索与检查者需要检查的疾病相关的医学图像。

此外，对于来自检查者的指令或检查者的输出，可以使用机器翻译引擎(机器翻译模型，用于机器翻译的已学习模型)，其将字符或语音中的文本机器翻译成任意语言。注意，可以配置为可根据来自检查者的指令选择任意语言。此外，其可以配置为通过使用自动识别语言类型的已学习模型来自动选择任意语言。此外，其可以配置为可根据检查者的指令修改自动选择的语言类型。例如，上述关于自然语言处理的技术(例如序列到序列)可以应用于机器翻译引擎。例如，其可以配置为，在输入到机器翻译引擎的文本被机器翻译之后，机器翻译文本被输入到字符识别引擎等中。此外，例如，其可以配置为将从上述各种已学习模型输出的文本输入到机器翻译引擎，并且将从机器翻译引擎输出的文本进行输出。

此外，可以组合使用上述各种已学习模型。例如，可以配置为将与来自检查者的指令相对应的字符输入到字符识别引擎，并且将从输入字符获得的语音输入到另一类型的机器学习引擎(例如机器翻译引擎)。此外，例如，可以配置为将从另一类型的机器学习引擎输出的字符输入到字符识别引擎，并且输出从输入字符获得的语音。此外，例如，可以配置为将与来自检查者的指令相对应的语音输入到语音识别引擎，并且将从输入语音获得的字符输入到另一类型的机器学习引擎(例如机器翻译引擎)。此外，例如，可以配置为将从另一类型的机器学习引擎输出的语音输入到语音识别引擎，并且在显示单元116上显示从输入语音获得的字符。此时，例如，可以配置为，作为检查者的输出，可以根据检查者的指令选择字符输出或语音输出。此外，可以配置为，作为来自检查者的指令，可以根据来自检查者的指令选择字符输入或语音输入。此外，响应于来自检查者的指令的选择，可以采用上述各种配置。

(第九变型例)

响应于来自操作者的指令，可以将关于通过该摄像获得的图像的标签图像、高质量图像等保存在存储单元114中。此时，例如，在操作者给出保存高质量图像的指令之后，在注册文件名时，响应于操作者的指令，以可编辑状态显示在文件名的任何部分(例如第一部分或最后一部分)中包括指示文件是通过使用用于图像质量增强的已学习模型进行处理(图像质量增强处理)生成的图像这一信息(例如字符)的文件名，作为推荐文件名。类似地，对于标签图像等，可以显示包括指示该文件是通过使用已学习模型进行处理而生成的图像的信息的文件名。

此外，在诸如报告画面的各种显示画面上，在显示单元116上显示高质量图像的情况下，指示所显示的图像是通过使用图像质量增强模型进行处理而生成的高质量图像的显示可以与高质量图像一起显示。在这种情况下，由于操作者可以容易地从显示中识别正在显示的高质量图像不是通过摄像获得的图像，因此可以减少错误诊断，或者可以提高诊断效率。注意，指示图像是通过使用图像质量增强模型的处理生成的高质量图像的显示可以是任何形式，只要输入图像和通过处理生成的高质量图像是可区分的即可。此外，不仅对于使用图像质量增强模型的处理，而且对于使用如上所述的各种已学习模型的处理，指示结果是通过使用该特定类型的已学习模型的处理生成的结果的显示都可以与结果一起进行显示。例如，在使用用于图像分割处理的已学习模型显示分割结果的分析结果的情况下，可以与分析结果一起显示指示结果是基于使用用于图像分割的已学习模型的结果的分析结果的显示。

此时，响应于来自操作者的指令，诸如报告画面之类的显示画面可以作为图像数据保存在存储单元114中。例如，报告画面可以作为单个图像保存在存储单元114中，在单个图像中，并排布置高质量图像等以及指示这些图像是通过使用已学习模型进行处理而生成的图像的显示。

此外，对于指示图像是通过使用图像质量增强模型进行处理而生成的高质量图像的显示，可以在显示单元116上显示指示使用了何种学习数据来训练图像质量增强模型的显示。该显示可以包括对学习数据的输入数据和正确答案数据的类型的描述，以及关于例如包括在输入数据和正确答案数据中的摄像部分等的正确答案数据的任意显示。注意，例如，同样对于使用上述各种已学习模型(例如图像分割处理)的处理，可以在显示单元116上显示指示使用了何种学习数据来训练该特定类型的已学习模型的显示。

此外，可以配置为在图像上叠加显示或保存指示图像是通过使用已学习模型进行处理而生成的图像的信息(例如字符)。此时，在图像上叠加信息的位置可以在任何区域(例如图像的边缘)中，只要该区域不与用作摄像目标的关注部分被显示的区域重叠即可。此外，可以确定非重叠区域，并且可以将信息叠加在所确定的区域上。不仅通过使用图像质量增强模型进行处理、而且还通过使用上述各种已学习模型(例如图像分割处理)进行处理而获得的图像可以以相同或类似的方式进行处理。

此外，可以配置为，如果作为报告画面的初始显示画面，图像质量增强处理按钮等默认设置为激活(图像质量增强处理开启)，则与包括高质量图像等的报告画面相对应的报告图像被发送到服务器。此外，可以配置为，如果按钮在默认情况下被设置为激活，则在检查结束时(例如，在摄像检查画面或预览画面响应于检查者的指示而改变为报告画面的情况下)，与包括高质量图像等的报告画面相对应的报告图像被(自动)发送到服务器。此时，可以配置基于默认设置的各种设置(例如，用于在报告画面的初始显示画面上生成En-Face图像的深度范围、是否叠加分析图、图像是否为高质量图像或显示画面是否为后续显示画面中的至少一个的设置)生成的报告图像被发送到服务器。请注意，按钮表示分段处理切换的情况可以以相同或类似的方式处理。

(第十变型例)

在上述实施例和变型例中，在如上所述的各种已学习模型中，通过第一类型的已学习模型获得的图像(例如高质量图像、指示诸如分析图等分析结果的图像、指示特定区域检测结果的图像或指示分割结果的图像)可以输入到与第一类型不同的第二类型的已学习模型。此时，可以配置为通过处理第二类型的已学习模型生成结果(例如评估结果、分析结果、诊断结果、特定区域检测结果或分割结果)。

此外，在如上所述的各种已学习模型中，使用通过处理第一类型的已学习模型获得的结果(例如评估结果、分析结果、诊断结果、特定区域检测结果或分割结果)，可以从输入到第一类型的已学习模型的图像中生成要输入到与第一类型不同的第二类型的已学习模型的图像。此时，生成的图像很可能是适合作为使用第二类型的已学习模型进行处理的图像。因此，通过将生成的图像输入到第二类型的已学习模型而获得的图像(例如高质量图像、指示例如分析图等分析结果的图像、指示特定区域检测结果的图像或指示分割结果的图像)的精度可以得到改进。

注意，可以配置为，通过将公共图像输入到第一类型的已学习模型和第二类型的已学习模型，执行使用这些已学习模型的处理结果的生成(或显示)。例如，此时，可以配置为：响应于检查者的指令，集体(协作)执行使用这些已学习模型的处理结果的生成(或显示)。此外，可以配置为：可根据来自检查者的指令，选择待输入图像的类型(例如高质量图像、物体识别结果、分割结果或相似病例图像)、待生成(或显示)处理结果的类型(例如高质量图像、评估结果、诊断结果、分析结果、物体识别结果、分割结果或相似病例图像)，或是输入类型或输出类型(如字符、语音或语言)。此外，可配置为：可使用自动识别输入类型的已学习模型来自动选择输入类型。此外，可配置为：可自动选择输出类型，以便与输入类型相对应(例如属于同一类型)。此外，可以配置为：可根据来自检查者的指令，修改自动选择的类型。此时，可以配置为：根据所选类型选择至少一个已学习模型。此时，如果选择了多个已学习模型，则可以根据所选类型来确定如何组合这些已学习模型(例如输入数据的顺序)。注意，例如，可以配置为：待输入图像的类型和待生成(或显示)的处理结果的类型可选择为不同，或者，如果类型相同，则可配置为将用于提示检查者选择不同类型的信息输出给检查者。注意，每个已学习模型可在任何位置执行。例如，可将其配置为，在多个已学习模型中，一些模型在云服务器上使用，其他模型在诸如雾服务器或边缘服务器等另一台服务器上使用。如果设施中、包含设施的用地中或包含多个设施的区域中的网络被配置为能够进行无线通信，则可通过例如配置网络使用专门分配给设施、用地或区域的专用波段的无线电波来提高网络的可靠性。此外，网络可以通过允许高速、大容量、低延迟通信以及多个同时连接的无线通信进行配置。这样，例如玻璃体、白内障、青光眼、角膜屈光矫正、外眼等外科手术以及诸如激光凝固等的治疗甚至可以从远程位置进行实时支持。此时，例如，可以配置为：使用各种已学习模型中的至少一种、通过已无线接收到由关于此类手术和治疗的装置获得的各种医学图像中的至少一个的雾服务器、边缘服务器等获得的信息被无线地发送到关于手术和治疗的装置。此外，例如，在关于手术和治疗的装置处无线地接收到的信息可以是运动上述光学系统或光学部件的移动量(矢量)，以及，在这种情况下，关于手术和治疗的装置可以配置为被自动控制。此外，例如，为了支持检查者执行的操作，可以将其配置为涉及检查者的许可的自动控制(半自动控制)。

此外，可以将通过如上所述处理已学习模型获得的分析结果或诊断结果用作搜索关键字，利用存储在服务器等中的外部数据库进行相似病例图像搜索。此外，可以将通过如上所述处理各种已学习模型获得的物体识别结果或分割结果用作搜索关键字，利用存储在服务器等中的外部数据库进行相似病例图像搜索。如果数据库中保存的医学图像在其特征已通过机器学习等附加为补充信息的状态下被管理，则可以使用将医学图像本身用作搜索关键字的相似病例图像搜索引擎(相似病例图像搜索模型，用于相似病例图像搜索的已学习模型)。例如，使用用于相似病例图像搜索的已学习模型(不同于用于图像质量增强的学习模型)，控制单元117可以从各种医学图像中搜索与前述医学图像相关的相似病例图像。此外，例如，显示控制单元121可以在显示单元116上显示通过使用用于相似病例图像搜索的已学习模型从各种医学图像中获得的相似病例图像。此时，例如，相似病例图像是具有与输入到已学习模型的医学图像的特征相似的特征的图像。此外，例如，如果输入到已学习模型的医学图像包括例如异常部分等部分区域，则相似病例图像是具有与例如异常部分等部分区域特征相似的特征的图像。因此，例如，除了有效地执行用于准确搜索相似病例图像的学习这一事实之外，如果医学图像包括异常部分，检查者还可以有效地诊断异常部分。此外，可以检索多个相似病例图像，并且可以以特征相似的顺序可识别的方式来显示相似病例图像。此外，用于相似病例图像搜索的已学习模型可以配置为使用学习数据执行追加学习，该学习数据包括根据检查者得指令从相似病例图像中选择的图像和该图像的特征。

此外，各种已学习模型的学习数据不限于使用实际拍摄图像的眼科设备获得的数据，可以是根据期望的配置，使用相同模型的眼科设备获得的数据或使用相同类型的眼科设备获得的数据。

注意，可以在控制单元117中配设根据上述实施例和变型例的各种已学习模型。已学习模型可以由例如通过处理器(例如CPU、MPU、GPU或FPGA)执行的软件模块或执行特定功能的电路(例如ASIC)来配置。或者，这些已学习模型可以配设在连接到控制单元117的另一个服务器装置中。在这种情况下，控制单元117可以通过经由诸如因特网之类的任意网络连接到包括已学习模型的服务器等来使用已学习模型。这里，包括已学习模型的服务器可以是例如云服务器、雾服务器或边缘服务器。在设施内、包括设施的用地内或包括多个设施的区域中的网络被配置为能够进行无线通信的情况下，可通过例如配置网络使用专门分配给设施、用地或区域的专用波段的无线电波来提高网络的可靠性。此外，网络可以通过允许高速、大容量、低延迟通信以及多个同时连接的无线通信进行配置。

(第十一变型例)

根据上述各种实施例和变型例由控制单元117处理的医学图像包括使用任意形式(摄像装置、摄像方法)获得的图像。待处理的医学图像可以包括由任意摄像装置等获得的医学图像，以及使用医学图像处理装置或医学图像处理方法创建的图像。

此外，待处理的医学图像受检者(被检查者)的特定部分的图像，并且特定部分的图像包括受检者的特定部分的至少一部分。此外，医学图像可以包括受检者的其他部分。此外，医学图像可以是静止图像或运动图像，并且可以是单色图像或彩色图像。此外，医学图像可以是表示特定部分的结构(形式)的图像，或表示其功能的图像。表示功能的图像包括表示血流动力学(血流量、血流速度等)的图像，如OCT图像、多普勒OCT图像、功能磁共振摄像图像和超声多普勒图像。请注意，受检者的特定部分可根据摄像目标确定，并包括人眼(被检查的眼睛)、脑、肺、肠、心脏、胰腺、肾脏和肝脏等器官，以及诸如头部、胸部、腿部和手臂等任意部分。特别是在上述各种实施例和变型例中，被检查眼睛的医学图像用于评估处理。对此，关于上述各种实施例和变型中用于评估处理的医学图像的被检查对象不限于被检查的眼睛，可以是在水平方向、垂直方向或水平和垂直方向上对称的任何被检查对象，例如，包括肺等的其他器官。注意，关于上述各种实施例和变型例的被检查对象不限于对称的被检查对象。在被检查对象是诸如肺之类的器官的情况下，摄像装置可以具有诸如内窥镜之类的配置。

此外，医学图像可以是受检者的断层图像或正面图像。正面图像包括例如眼底或眼前节的SLO图像、荧光眼底图像和使用在摄像目标的深度方向上覆盖通过OCT获得的数据(三维OCT数据)的至少一部分的数据生成的OCTA的En-Face图像。En-Face图像可以是使用在摄像目标深度方向上覆盖三维OCTA数据(三维运动对比度数据)的至少部分的数据生成的OCTA的En-Face图像(运动对比度正面图像)。另外，三维OCT数据和三维运动对比度数据是三维医学图像数据的示例。

这里，运动对比度数据是表示通过应用控制以使用观察光多次扫描被检查眼睛的相同区域(相同位置)而获得的体积数据项之间的变化的数据。此时，体积数据包括在不同位置获得的多个断层图像。由于在这些不同位置中的每一个处都获得指示在基本相同位置处获得的断层图像之间的变化的数据，因此可以获得运动对比度数据作为体积数据。注意，运动对比度正面图像也被称为关于测量血流运动的OCT血管造影(OCTA)的OCT正面图像(OCTA的En-Face图像)，并且运动对比度数据也被称为OCTA数据。可以获得运动对比度数据，作为例如两个断层图像或对应于该两个断层图像的干扰信号之间的解相关值、方差值或最大值除以最小值(最大值/最小值)，并且可以通过相关技术的任意方法来获得。此时，可以通过应用控制以使用观察光多次扫描被检查眼睛的相同区域(相同位置)来获得该两个断层图像。在控制扫描单元用观察光多次扫描基本相同位置的情况下，可以配置为改变(确定)一次扫描(一次B扫描)和下一次扫描(下一次B扫描)之间的时间间隔。因此，例如，即使在取决于血管状况的不同血流速度的情况下，也可以精确地可视化血管区域。此时，例如，可以配置为可根据来自检查者的指令改变上述时间间隔。此外，例如，可以配置为可根据来自检查者的指令选择对应于多个预设时间间隔的任何运动对比度图像。此外，例如，可以配置为，可以将获取运动对比度数据的时间间隔和运动对比度数据彼此关联地存储在存储单元114中。此外，例如，显示控制单元121可以在显示单元116上显示获得运动对比度数据的时间间隔和对应于运动对比度数据的运动对比度图像。此外，例如，可以配置为自动确定上述时间间隔，或者确定上述时间间隔的至少一个候选者。此时，例如，可以配置为使用机器学习模型从运动对比度图像确定(输出)上述时间间隔。这种机器学习模型可以通过例如学习学习数据来获得，该学习数据包括对应于多个时间间隔的多个运动对比度图像作为输入数据，以及从多个时间间隔到获得期望运动对比度图像的时间间隔的差作为正确答案数据。

此外，En-Face图像例如是通过在XY方向上投影位于两层边界之间的范围内的数据而生成的正面图像。此时，通过投影或累计与作为使用光学干涉获得并基于两个基准平面确定的体积数据(三维断层图像)的至少一部分的深度范围相对应的数据来生成正面图像。En-Face图像是通过将体积数据中与基于检测到的视网膜层确定的深度范围相对应的数据投影到二维平面而生成的正面图像。作为将与基于两个基准平面确定的深度范围相对应的数据投影到二维平面的方法，例如，可以使用将深度范围内的数据的代表值用作二维平面上的像素值的方法。这里，代表值可以包括在由两个基准平面包围的区域的深度方向上的范围内的像素值的平均值、中值或最大值。此外，关于En-Face图像的深度范围可以是，例如，包括相对于关于检测到的视网膜层的两层边界之一的较深或较浅方向上的特定数量的像素的范围。此外，关于En-Face图像的深度范围可以是例如响应于来自操作者的指令而从关于检测到的视网膜层的两层边界之间的范围改变(偏移)的范围。

此外，摄像装置是用于拍摄用于诊断的图像的装置。摄像装置包括例如通过用诸如光、X射线等放射线和电磁波或超声波照射受检者的特定部分来拍摄特定部分的图像的装置，以及通过检测从被摄体发出的放射线来拍摄特定部分的图像的装置。更具体地说，根据上述各种实施例和变型例的摄像装置至少包括X射线摄像机、CT扫描仪、MRI扫描仪、PET扫描仪、SPECT扫描仪、SLO扫描仪、OCT扫描仪、OCTA扫描仪、眼底照相机和内窥镜。注意，根据上述实施例和变型例的配置适用于这些摄像装置。在这种情况下，与上述被检查眼睛的待预测运动相对应的被检查物体的运动包括例如面部或身体的运动、心脏的运动(心跳)等。

注意，OCT扫描仪可包括时域OCT(TD-OCT)扫描仪或傅里叶域OCT(FD-OCT)扫描仪。此外，傅里叶域OCT扫描仪可包括光谱域OCT(SD-OCT)扫描仪和波长扫描OCT(SS-OCT)扫描仪。此外，OCT扫描仪可包括使用线光源的线OCT扫描仪(或SS线OCT扫描仪)。此外，OCT扫描仪可包括使用区域光的全场OCT扫描仪(或SS全场OCT扫描仪)。此外，OCT扫描仪可以包括多普勒OCT扫描仪。此外，SLO扫描仪和OCT扫描仪可包括使用波前补偿光学系统的波前补偿SLO(AO-SLO)扫描仪和波前补偿OCT(AO-OCT)扫描仪。此外，SLO扫描仪和OCT扫描仪可以包括偏振敏感SLO(PS-SLO)扫描仪和偏振敏感OCT(PS-OCT)扫描仪，用于可视化关于偏振相位差或去极化的信息。此外，SLO扫描仪和OCT扫描仪可包括病理显微镜SLO扫描仪和病理显微镜OCT扫描仪。此外，SLO扫描仪和OCT扫描仪可包括手持SLO扫描仪和手持OCT扫描仪。此外，SLO扫描仪和OCT扫描仪可包括导管SLO扫描仪和导管OCT扫描仪。此外，SLO扫描仪和OCT扫描仪可包括头戴式SLO扫描仪和头戴式OCT扫描仪。此外，SLO扫描仪和OCT扫描仪可以包括双目SLO扫描仪和双目OCT扫描仪。此外，SLO扫描仪和OCT扫描仪可以使用光学变倍配置来改变摄像视角。此外，SLO扫描仪可以能够利用其中一个光接收元件使用R、G和B光源以时分方式接收光的配置、或是多个光接收元件同时接收光的配置，来拍摄彩色图像或荧光照片图像。

此外，在上述实施例和变型例中，控制单元117可以配置为OCT扫描仪的一部分，或者可以与OCT扫描仪分开配置。在这种情况下，控制单元117可以经由互联网等连接到诸如OCT扫描仪之类的摄像装置。此外，OCT扫描仪的配置不限于上述配置，并且包括在OCT扫描仪中的一些配置(例如SLO摄像单元)可以是与OCT扫描仪分离的配置。

由于根据上述变型例的用于语音识别、字符识别和手势识别的已学习模型使用时序数据执行学习，因此认为输入的连续时序数据值之间的梯度被提取为特征的一部分，并用于评估处理。期望这种已学习模型通过使用用于评估处理的特定数值中的时间变化的影响来执行准确的评估。此外，在根据上述实施例和变型例的用于评估处理、图像质量增强、分割处理、图像分析和诊断结果生成的已学习模型中，认为断层图像的亮度值的大小、亮部和暗部的顺序、梯度、位置、分布以及连续性等被提取为特征的一部分，并用于评估处理。

【其他实施例】

此外，本说明书中公开的技术可以实现为例如系统、装置、方法、程序或记录介质(存储介质)。具体地，该技术适用于包括多个设备项(例如主机、接口设备、摄像装置和网络应用)的系统，或者适用于包括单个设备项的装置。

还应当理解，本说明书中公开的技术目标实现如下。即，向系统或装置提供在其上记录了实现上述实施例的功能的软件的程序代码(计算机程序)的记录介质(或存储介质)。不用说，存储介质是计算机可读存储介质。系统或装置的计算机(或CPU或MPU)读取并执行存储在记录介质中的程序代码。在这种情况下，从记录介质读取的程序代码本身实现上述实施例的功能，并且在其上记录了程序代码的记录介质形成本说明书中公开的技术。

此外，本说明书中公开的技术还可以通过经由网络或存储介质向系统或装置提供实现上述实施例和变型例的一个或多个功能的程序，以及通过系统或装置的计算机读取和执行该程序的过程来实现。计算机包括一个或多个处理器或电路，并且，为了读取和执行计算机可执行命令，计算机可以包括独立的多台计算机或独立的多个处理器或电路的网络。

处理器或电路可包括中央处理单元(CPU)、微处理单元(MPU)、图形处理单元(GPU)、专用集成电路(ASIC)或现场可编程网关(FPGA)。此外，处理器或电路可包括数字信号处理器(DSP)、数据流处理器(DFP)或神经处理单元(NPU)。

本发明不限于上述实施例，并且可以在不脱离本发明的精神和范围的情况下进行各种改变和变型。因此，附加以下权利要求以公开本发明的范围。

本申请基于2019年8月30日提交的日本专利申请号2019-158973和2020年8月5日提交的日本专利申请号2020-132816要求优先权，通过引用将其全部并入本文。

Claims (28)

1.一种信息处理装置，包括：

评估单元，用于使用已学习了从眼底图像获得的特征与根据特征评估的疾病发生风险之间的关系的已学习模型来评估受检者的疾病发生风险；和

校正单元，用于基于受检者的生物信息来校正评估的疾病发生风险。

2.根据权利要求1所述的信息处理装置，其中，评估单元利用已学习模型来评估受检者发生第一疾病和第二疾病的风险，已学习模型已学习从眼底图像获得的特征与根据特征评估的第一疾病发生风险之间的关系，以及从眼底图像获得的特征与根据特征评估的第二疾病发生风险之间的关系。

3.根据权利要求1所述的信息处理装置，其中，评估单元利用第一已学习模型和第二已学习模型来评估受检者发生第一疾病和第二疾病的风险，第一已学习模型已学习从眼底图像获得的特征与根据特征评估的第一疾病发生风险之间的关系，第二已学习模型已学习从眼底图像获得的特征与根据特征评估的第二疾病发生风险之间的关系。

4.根据权利要求1至3中任一项所述的信息处理装置，还包括：

获取单元，用于获取受检者的眼底图像，其中：

评估单元通过将从受检者眼底图像获得的特征输入到已学习模型来评估概率，作为受检者的疾病发生风险。

5.根据权利要求1至4中任一项所述的信息处理装置，其中：

已学习模型学习从眼底图像获得的血管形态与根据血管形态评估的发生心血管疾病风险之间的关系，以及

校正单元使用受检者的血压、体重指数(BMI)、年龄、性别、病史或吸烟习惯中的至少一种生物信息来执行校正。

6.根据权利要求5所述的信息处理装置，其中，血管形态包括指示动脉直径、静脉直径、动脉直径与静脉直径之比、血管分叉角度、分叉不对称性、动脉-静脉狭窄或血管扭曲的特征中的至少一个。

7.一种信息处理装置，包括：

获取单元，用于获取通过拍摄受检者的眼底而摄像的眼底图像；

评估单元，用于通过将获得的眼底图像输入到已深入学习了眼底图像与根据眼底图像评估的疾病发生风险之间的关系的已学习模型，来评估受检者的疾病发生风险；和

校正单元，用于基于受检者的生物信息来校正评估的疾病发生风险。

8.根据权利要求1至7中任一项所述的信息处理装置，其中，校正单元使用为生物信息的每一项确定的特定权重系数，校正评估的疾病发生风险。

9.根据权利要求1至8中任一项所述的信息处理装置，还包括：用于在显示单元上显示经校正后的疾病发生风险的显示控制单元。

10.根据权利要求9所述的信息处理装置，其中，显示控制单元在显示单元上显示被分类为多个类别中的一个类别的校正后的疾病发生风险。

11.根据权利要求9或10所述的信息处理装置，其中，显示控制单元在显示单元上与受检者的眼底图像并行地显示校正后的疾病发生风险。

12.根据权利要求9至11中任一项所述的信息处理装置，其中，显示控制单元基于与校正后的疾病发生风险相对应的概率，在显示单元上显示图形。

13.根据权利要求9至12中任一项所述的信息处理装置，其中，显示控制单元在显示单元上显示受检者的眼底图像，眼底图像的一部分与被强调的疾病高度相关。

14.根据权利要求9至13中任一项所述的信息处理装置，其中，显示控制单元根据校正后的疾病发生风险和疾病类型，在显示单元上显示推荐的医疗机构。

15.根据权利要求14所述的信息处理装置，其中，响应于完成与推荐医疗机构的预约，用于评估疾病发生风险的眼底图像、用于校正评估的疾病发生风险的生物信息以及评估的疾病发生风险被通过推荐医疗机构的系统发送到推荐医疗机构。

16.根据权利要求14或15所述的信息处理装置，其中，推荐医疗机构的医生通过能够执行视频通信的系统，根据校正后的疾病发生风险和疾病类型提供诊断或咨询。

17.一种信息处理装置，包括：

评估单元，用于使用已学习了从眼底图像获得的特征和由检查装置获得的生物信息与疾病发生风险间的关系的已学习模型，来评估受检者的疾病发生风险；和

显示控制单元，用于在显示单元上显示评估的疾病发生风险。

18.根据权利要求9至17中任一项所述的信息处理装置，其中，显示控制单元在显示单元上显示分析结果，分析结果是使用用于分析结果生成的已学习模型生成的，并且与用于评估疾病发生风险的眼底图像有关，用于分析结果生成的已学习模型是通过学习眼底图像获得的。

19.根据权利要求9至18中任一项所述的信息处理装置，其中，显示控制单元在显示单元上显示诊断结果，诊断结果是使用用于诊断结果生成的已学习模型生成的，并且与用于评估疾病发生风险的眼底图像有关，用于诊断结果生成的已学习模型是通过学习眼底图像获得的。

20.根据权利要求9至19中任一项所述的信息处理装置，其中，显示控制单元在显示单元上显示关于使用眼底图像输入到的生成对抗网络或自动编码器生成的图像与输入到生成对抗网络或自动编码器的眼底图像之间的差异的信息，作为关于异常部分的信息。

21.根据权利要求9至20中任一项所述的信息处理装置，其中，显示控制单元在显示单元上显示相似病例图像，相似病例图像是使用用于相似病例图像搜索的已学习模型检索的，并且与用于评估疾病发生风险的眼底图像有关，用于相似病例图像搜索的已学习模型是通过学习眼底图像获得的。

22.根据权利要求9至21中任一项所述的信息处理装置，其中，显示控制单元在显示单元上显示物体检测结果或分割结果，物体检测结果或分割结果是使用用于物体识别的已学习模型或用于分割的已学习模型生成的，并且与用于评估疾病发生风险的眼底图像有关，用于物体识别的已学习模型和用于分割的已学习模型是通过学习眼底图像获得的。

23.根据权利要求1至22中任一项所述的信息处理装置，其中，来自检查者的关于疾病发生风险的评估的指令是使用用于字符识别的已学习模型、用于语音识别的已学习模型或用于手势识别的已学习模型中的至少一个所获得的信息。

24.一种信息处理系统，包括：

拍摄受检者眼底图像的眼科设备；

检查受检者并获取生物信息的检查装置；和

根据权利要求1至23中任一项所述的信息处理装置。

25.一种信息处理方法，包括：

评估步骤，使用已学习从眼底图像获得的特征与根据特征评估的疾病发生风险之间的关系的已学习模型来评估受检者的疾病发生风险；和

校正步骤，基于受检者的生物信息校正评估的疾病发生风险。

26.一种信息处理方法，包括：

评估步骤，使用已学习从眼底图像获得的特征和由检查装置获得的生物信息与疾病发生风险间的关系的已学习模型，来评估受检者的疾病发生风险；和

显示控制步骤，在显示单元上显示评估的疾病发生风险。

27.一种信息处理方法，包括：

获取步骤，获取通过拍摄受检者的眼底而摄像的眼底图像；

评估步骤，通过将获得的眼底图像输入到已学习眼底图像与从眼底图像评估的疾病发生风险之间的关系的已学习模型，来评估受检者的疾病发生风险；和

校正步骤，基于受检者的生物信息来校正评估的疾病发生风险。

28.一种程序，使得根据权利要求1至23中任一项所述的信息处理装置的各单元被执行。

Images