CN113226153A - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

图像处理设备配设有：图像质量增强单元，其用于通过使用预训练模型对被检体的第一医学图像进行图像质量增强处理而从第一医学图像生成第二医学图像；比较单元，其用于将通过分析所述第一医学图像而获得的分析结果与通过分析所述第二医学图像而获得的分析结果进行比较；以及显示控制单元，其用于基于来自所述比较单元的比较结果来控制显示单元上的显示。

Description

图像处理装置、图像处理方法和程序

技术领域

本发明涉及图像处理装置、图像处理方法和程序。

背景技术

利用光学相干断层扫描(OCT)的装置(OCT装置)，使用于无损且无创地获得诸如生物体等被检对象的断层图像的方法实用化。OCT装置尤其被广泛用作获取眼科诊断用图像的眼科装置。

在OCT中，通过使从测量对象反射的光与从参考反射镜反射的光相互干涉并分析干涉光的强度(intensity)，可以获得被检对象的断层图像。已知时域OCT(TD-OCT)是此类OCT中的一种。在TD-OCT中，通过连续改变参考反射镜的位置来获得被检对象的深度信息。

还已知光谱域OCT(SD-OCT)和扫频源OCT(SS-OCT)。在SD-OCT中，将通过使用低相干光引起光干涉而获得的干涉光划分，并且用频率信息代替深度信息从而获取频率信息。在SS-OCT中，通过使用已预先利用波长扫描光源划分了波长的光来获取干涉光。请注意，SD-OCT和SS-OCT也统称为“傅里叶域OCT(FD-OCT)”。

通过使用OCT，可以获取基于被检对象的深度信息的断层图像。此外，通过在深度方向上积分所获取的三维断层图像并将该积分后的图像投影到二维平面上，可以生成测量对象的正面图像。常规上，为了改善这些图像的图像质量，多次获取图像并进行平均处理。然而，在这种情况下，多次进行摄像需要花费时间。

专利文献1公开了这样一种技术，即，为了应对医疗技术中的快速发展并且也符合紧急情况下的简单摄像，借助于人工智能(AI)引擎将先前获取的图像转换成具有更高分辨率的图像。根据该技术，例如，可以将通过进行较少次数的摄像而获取的图像转换成具有更高分辨率的图像。

[引用列表]

[专利文献]

专利文献1：日本特开第2018-5841号公报

发明内容

[技术问题]

然而，即使图像具有高分辨率，在某些情况下也不能说该图像是适合图像诊断的图像。例如，即使当图像的分辨率高时，如果图像中存在大量噪声或对比度低等，则在某些情况下也不能适当地认定应当观察的对象。

在这方面，本发明的一个目的是提供一种图像处理装置、图像处理方法和程序，该图像处理装置、图像处理方法和程序能够生成比常规技术更适合于图像诊断的图像。

[解决问题的方案]

根据本发明的一个实施例的图像处理装置包括：图像质量改善单元，其被构造为从被捡对象的第一医学图像来生成第二医学图像，所述第二医学图像是通过使所述第一医学图像经过使用学习模型的图像质量改善处理而生成的；比较单元，其被构造为将通过分析所述第一医学图像而获得的分析结果与通过分析所述第二医学图像而获得的分析结果进行比较；以及显示控制单元，其被构造为基于所述比较单元获得的比较结果来控制显示单元的显示。

根据下面参照附图对示例性实施例的描述，本发明的进一步特征将变得显而易见。

附图说明

[图1]是示出根据实施例1的OCT装置的示意构造的图。

[图2]是示出根据实施例1的控制单元的示意构造的图。

[图3A]是示出根据实施例1的训练数据的示例的图。

[图3B]是示出根据实施例1的训练数据的示例的图。

[图4]是示出根据实施例1的学习模型的构造的示例的图。

[图5]是示出根据实施例1的一系列图像处理操作的流程图。

[图6A]是示出在图像质量改善处理之前和之后所获得的图像之间切换显示的报告画面的示例的图。

[图6B]是示出在图像质量改善处理之前和之后所获得的图像之间切换显示的报告画面的示例的图。

[图7]是示出将在图像质量改善处理之前和之后所获得的图像并置显示的报告画面的示例的图。

[图8A]是示出将应用图像质量改善处理之前的多个图像同时显示的报告画面的示例的图。

[图8B]是示出将应用了图像质量改善处理的多个图像同时显示的报告画面的示例的图。

[图9]是示出根据实施例2的控制单元的示意构造的图。

[图10]是示出根据实施例2的一系列图像处理操作的流程图。

[图11A]是示出改变图像质量改善处理的示例的图。

[图11B]是示出改变图像质量改善处理的示例的图。

[图12A]是示出将应用图像质量改善处理之前的多个图像同时显示的报告画面的示例的图。

[图12B]是示出将应用了图像质量改善处理的多个图像同时显示的报告画面的示例的图。

[图13]是示出根据实施例3的一系列图像处理操作的流程图。

[图14]是示出根据实施例4的控制单元的示意构造的图。

[图15]是示出根据实施例4的一系列图像处理操作的流程图。

[图16A]是示出根据变型例的报告画面(显示画面)的示例的图。

[图16B]是示出根据变型例的报告画面(显示画面)的示例的图。

[图17]是示出根据变型例的报告画面(显示画面)的示例的图。

[图18A]是示出根据变型例12的用作机器学习模型的神经网络的构造示例的图。

[图18B]是示出根据变型例12的用作机器学习模型的神经网络的构造示例的图。

[图19A]是示出根据变型例12的用作机器学习模型的神经网络的构造示例的图。

[图19B]是示出根据变型例12的用作机器学习模型的神经网络的构造示例的图。

具体实施方式

在下文中，将参照附图详细地描述本发明的示例性实施例。

然而，以下实施例中描述的部件的尺寸、材料、形状和相对位置是不确定的，并且可以根据应用本发明的装置的构造或根据各种条件而改变。此外，在不同附图中，相同或功能相似的元件由相同的附图标记标示。

在以下的实施例中，虽然给出了被检眼作为被检对象(被检体)的示例，但也可以将人的其它器官等作为被检对象。此外，将被检眼的OCTA(OCT血管造影)图像描述为使用与机器学习模型(机器学习引擎)有关的学习模型进行图像质量改善处理的图像的示例。请注意，术语“OCTA”是指使用OCT而不使用造影剂的血管造影。在OCTA中，通过对基于被检对象在深度方向上的深度信息获得的三维运动对比度数据进行积分并将该积分数据投影到二维平面上，来生成OCTA图像(正面血管图像，或运动对比度正面图像)。

这里，术语“运动对比度数据”是指通过对被检对象的大致相同的位置进行重复摄像并且在摄像期间检测该对象内随时间的变化而获得的数据。请注意，短语“大致相同的位置”是指相同程度达到可允许生成运动对比度数据的位置，并且包括与严格相同的位置略有偏离的位置。运动对比度数据是通过例如基于差(difference)、比率或相关性等来计算复杂OCT信号的相位、向量或强度随时间的变化而获得的。

现在将提及与图像质量改善处理有关的要点，该图像质量改善处理使用与机器学习模型有关的学习模型。通过使用与机器学习模型有关的学习模型对图像进行图像质量改善处理，尽管一方面可以从少量图像中获得高质量图像，但是另一方面，在某些情况下，实际上不存在的组织在图像中被可视化，或者原本存在的组织在图像中未被可视化。因此，存在以下问题：在通过使用学习模型进行图像质量改善处理而经过图像质量改善的图像中，难以确定被可视化的组织的真实性。

因此，在以下实施例中，提供了一种图像处理装置，该图像处理装置通过使用机器学习模型，可以生成比常规技术更适合于图像诊断的图像，并且对于这种图像，还可以容易地确定在图像中被可视化的组织的真实性。

请注意，尽管在以下实施例中描述了OCTA图像，但是进行图像质量改善处理的图像不限于此，并且可以是断层图像或强度en-face图像等。这里，术语“en-face图像”是指通过针对被检对象的三维数据，将基于两个参考平面确定的预定深度范围内的数据投影或积分到二维平面上而生成的正面图像。en-face图像的示例包括基于强度断层图像的强度en-face图像和基于运动对比度数据的OCTA图像(运动对比度正面图像或运动对比度en-face图像)。

(实施例1)

在下文中，参照图1至图7来描述根据本发明的实施例1的光学相干断层摄影装置(OCT装置)和图像处理方法。图1是根据本实施例的OCT装置的示意构造。

根据本实施例的OCT装置1包括OCT摄像单元100、控制单元(图像处理装置)200、输入单元260和显示单元270。

OCT摄像单元100包括SD-OCT装置的摄像光学系统，并且基于干涉光来获取包括被检眼E的断层信息的信号，干涉光是通过使返回光与参考光彼此干涉而生成的，返回光来自通过扫描单元而照射有测量光的被检眼E，参考光与测量光相对应。在OCT摄像单元100中配设光学干涉单元110和扫描光学系统150。

控制单元200可以控制OCT摄像单元100，根据从OCT摄像单元100或其他装置(未示出)获得的信号来生成图像，并且处理所生成/所获取的图像。显示单元270是诸如LCD显示器的任何显示器，并且可以显示用于操作OCT摄像单元100和控制单元200的GUI、生成的图像、进行了任何类型的处理的图像以及诸如患者信息的各种信息。

输入单元260用于通过操作GUI并通过输入信息来操作控制单元200。输入单元260包括，例如，诸如鼠标、触摸板、轨迹球、触摸面板显示器或手写笔等指向设备和键盘。请注意，在使用触摸面板显示器的情况下，显示单元270和输入单元260可以彼此一体地构成。请注意，尽管在本实施例中，假定OCT摄像单元100、控制单元200、输入单元260和显示单元270是彼此分开的单元，但是这些单元中的一些或全部可以彼此一体地构成。

在OCT摄像单元100中的光学干涉单元110中配设光源111、耦合器113、准直光学系统121、色散补偿光学系统122、反射镜123、透镜131、衍射光栅132、成像透镜133和线传感器134。光源111是发射近红外光的低相干光源。从光源111发出的光通过光纤112a传播并进入作为分光单元的耦合器113。进入耦合器113的光被分成测量光和参考光，测量光向扫描光学系统150侧行进，参考光向包括准直光学系统121、色散补偿光学系统122和反射镜123的参考光光学系统侧行进。测量光进入光纤112b并被引导至扫描光学系统150。另一方面，参考光进入光纤112c并被引入到参考光光学系统。

进入光纤112c的参考光从光纤端射出，并通过准直光学系统121入射在色散补偿光学系统122上，并被引导至反射镜123。被反射镜123反射的参考光沿着相反方向上的光路行进，并再次进入光纤112c。色散补偿光学系统122是用于补偿光学系统相对于扫描光学系统150和作为被检对象的被检眼E的色散并且使测量光的色散与参考光的色散匹配的部件。反射镜123被构造为，通过由控制单元200控制的驱动单元(未示出)在参考光的光轴方向上可驱动，并且可以使参考光的光路长度相对于测量光的光路长度相对地改变并使参考光和测量光的光路长度匹配。

另一方面，进入光纤112b的测量光从光纤端射出并入射到扫描光学系统150上。扫描光学系统150是被构造为相对于被检眼E可相对移动的光学系统。扫描光学系统150被构造为通过由控制单元200控制的驱动单元(未示出)相对于被检眼E的眼球轴在前、后、向上、向下、左和右方向上可驱动，并且可以相对于被检眼E进行对准。请注意，扫描光学系统150可以被构造为包括光源111、耦合器113和参考光光学系统等。

在扫描光学系统150中配设准直光学系统151、扫描单元152和透镜153。从光纤112b的光纤端发出的光由准直光学系统151基本准直，并入射到扫描单元152上。

扫描单元152具有两个能够旋转镜面的检流计镜，其中一个检流计镜使水平方向的光偏转，而另一个检流计镜使垂直方向的光偏转。扫描单元152根据控制单元200的控制使入射光偏转。通过这种方式，扫描单元152可以在被检眼E的眼底Er上在两个方向(即，作为垂直于纸面的方向(X方向)的主扫描方向和作为平行于纸面的方向(Y方向)的副扫描方向)上扫描测量光。请注意，主扫描方向和副扫描方向不限于X方向和Y方向，只要主扫描方向和副扫描方向是与被检眼E的深度方向(Z方向)垂直且彼此相交的方向就足够了。因此，例如，主扫描方向可以是Y方向，而副扫描方向可以是X方向。

由扫描单元152扫描的测量光经由透镜153在被检眼E的眼底Er上形成照明斑。在扫描单元152接收面内偏转时，各个照明斑在被检眼E的眼底Er上移动(扫描)。从在照明斑的位置处的眼底Er反射并散射的测量光的返回光沿着相反方向上的光路行进，进入光纤112b，并返回到耦合器113。

如上所述，由反射镜123反射的参考光和来自被检眼E的眼底Er的测量光的返回光返回到耦合器113，并且彼此干涉而成为干涉光。干涉光穿过光纤112d并发射到透镜131。干涉光被透镜131基本准直，并且入射在衍射光栅132上。衍射光栅132具有周期性结构，并且将入射的干涉光分开。被分开的干涉光通过可以改变聚焦状态的成像透镜133在线传感器134上成像。线传感器134将与照射到各个传感器单元上的光的强度相对应的信号输出到控制单元200。控制单元200可以基于从线传感器134输出的干涉信号来生成被检眼E的断层图像。

通过上述一系列操作，可以获得在被检眼E的一个点处的与深度方向有关的断层信息。这样的一系列操作被称为“A扫描”。

此外，通过驱动扫描单元152的检流计镜，在与被检眼E相邻的一个点处生成干涉光，并且获取与被检眼E相邻的一个点处的深度方向上断层信息。通过重复这一系列控制，在任意的横向方向(主扫描方向)上进行多次A扫描，可以在前述的横向方向和深度方向上获取被检眼E的二维断层信息。这种操作被称为“B扫描”。控制单元200可以通过收集基于通过A扫描获取的干涉信号的多个A扫描图像来构造一个B扫描图像。在下文中，B扫描图像被称为“二维断层图像”。

另外，通过在与主扫描方向正交的副扫描方向上稍微驱动扫描单元152的检流计镜，可以获取在被检眼E的其他位置(相邻的扫描线)处的断层信息。通过重复该操作来收集多个B扫描图像，控制单元200可以获取被检眼E的预定范围内的三维断层图像。

接下来，参照图2描述控制单元200。图2示出了控制单元200的示意构造。在控制单元200中配设获得单元210、图像处理单元220、驱动控制单元230、存储器240和显示控制单元250。

获得单元210可以从OCT摄像单元100获得与被检眼E的干涉信号相对应的线传感器134的输出信号的数据。请注意，获得单元210获得的输出信号的数据可以是模拟信号或数字信号。在获得单元210获得模拟信号的情况下，控制单元200可以将模拟信号转换为数字信号。

此外，获得单元210可以获得由图像处理单元220生成的断层数据，以及诸如二维断层图像、三维断层图像、运动对比度图像和en-face图像等各种图像。这里，术语“断层数据”是指包括与被检对象的横截面有关的信息的数据，并且包括通过使通过OCT获得的干涉信号经过傅立叶变换而获得的信号、通过使相关信号经过任何处理而获得的信号以及基于这些信号的断层图像等。

另外，获得单元210获得要经过图像处理的图像的摄像条件组(例如，与摄像日期和时间、摄像部位名称、摄像区域、摄像视角、摄像系统、图像分辨率和灰度、图像尺寸、图像滤波器以及图像数据格式有关的信息)。请注意，摄像条件组不限于前述摄像条件组的示例。此外，摄像条件组不必包括前述示例中提到的所有条件，并且可以包括这些条件中的一些。

具体地，获得单元210获得在对相关图像进行摄像时OCT摄像单元100的摄像条件。此外，获得单元210根据图像的数据格式，还可以获得在构成该图像的数据结构中存储的摄像条件组。请注意，在图像的数据结构中没有存储摄像条件的情况下，获得单元210还可以从存储摄像条件的存储装置等分别获得包括摄像条件组的摄像信息组。

此外，获得单元210还可以从输入单元260等获得诸如被检体识别号等用于识别被检眼的信息。请注意，获得单元210可以从存储器240或连接至控制单元200的其他装置(未示出)获得各种数据、各种图像或各种信息。获得单元210可以将获得的各种数据或图像存储在存储器240中。

图像处理单元220可以从由获得单元210获得的数据或存储在存储器240中的数据来生成断层图像或en-face图像等，并且可以对所生成或所获得的图像进行图像处理。在图像处理单元220中配设断层图像生成单元221、运动对比度生成单元222、en-face图像生成单元223和图像质量改善单元224。

断层图像生成单元221可以使由获得单元210获得的干涉信号数据经过波数转换、傅立叶变换、绝对值转换(振幅的获取)等以生成断层数据，并且可以基于断层数据生成被检眼E的断层图像。由获得单元210获得的干涉信号数据可以是从线传感器134输出的信号的数据，或者可以是从存储器240或连接至控制单元200的装置(未示出)获得的干涉信号的数据。请注意，可以采用任何已知方法作为用于生成断层图像的方法，并且在此省略其详细描述。

断层图像生成单元221还可以基于所生成的多个部位的断层图像来生成三维断层图像。断层图像生成单元221例如可以通过在一个坐标系中并排布置多个部位的断层图像来生成三维断层图像。这里，断层图像生成单元221可以基于从存储器240或连接至控制单元200的装置(未示出)获得的多个部位的断层图像来生成三维断层图像。

运动对比度生成单元222可以使用通过对大致相同的位置进行摄像而获得的多个断层图像来生成二维运动对比度图像。此外，运动对比度生成单元222可以通过在一个坐标系中并排布置生成的各个部位的二维运动对比度图像来生成三维运动对比度图像。

在本实施例中，运动对比度生成单元222基于通过对被检眼E的大致相同位置进行摄像而获得的多个断层图像之间的解相关值(decorrelation value)来生成运动对比度图像。

具体地说，运动对比度生成单元222针对通过对大致相同的位置进行摄像时间彼此连续地摄像而获得的多个断层图像，获取进行了对准的多个断层图像。请注意，各种已知方法可以用作对准方法。例如，在多个断层图像当中选择一个参考图像，在改变参考图像的位置和角度的同时计算与其它断层图像的相似度，并且计算各个断层图像相对于参考图像的位移量。然后，通过基于计算结果校正各个断层图像来进行多个断层图像的对准。请注意，用于对准的处理可以由与运动对比度生成单元222分开的部件来进行。此外，对准方法不限于该方法，并且可以通过任何已知的方法来进行对准。

运动对比度生成单元222使用以下数学式1来计算进行了对准的多个断层图像当中的摄像时间彼此连续的每两个断层图像的解相关值。

【式1】

这里，A(x，z)表示断层图像A的位置(x，z)处的振幅，而B(x，z)表示断层图像B的相同位置(x，z)处的振幅。作为结果获得的解相关值M(x，z)从0到1取值，并且随着两个振幅值之间的差增加而变得更接近1。请注意，尽管在本实施例中已经描述了使用在X-Z平面上的二维断层图像的情况，但是也可以使用例如在Y-Z平面等上的二维断层图像。在这种情况下，位置(x，z)可以被位置(y，z)等代替。请注意，解相关值可以基于断层图像的强度值来确定，或者可以基于与断层图像相对应的干涉信号的值来确定。

运动对比度生成单元222基于在各个位置(像素位置)处的解相关值M(x，z)来确定运动对比度图像的像素值，并且生成运动对比度图像。请注意，尽管在本实施例中，运动对比度生成单元222针对摄像时间彼此连续的断层图像来计算解相关值，但是用于计算运动对比度数据的方法不限于此。获得解相关值M所针对的两个断层图像的摄像时间不必彼此连续，并且只要与彼此对应的各断层图像有关的摄像时间在预定时间间隔内就足够了。因此，例如，为了提取随时间变化小的对象，可以从所获取的多个断层图像中提取摄像间隔长于正常指定时间的两个断层图像并且可以计算解相关值。此外，代替解相关值，可以确定方差值或通过将最大值除以最小值而获得的值(最大值/最小值)等。

请注意，用于生成运动对比度图像的方法不限于前述方法，并且也可以使用任何其它已知方法。

en-face图像生成单元223可以从运动对比度生成单元222所生成的三维运动对比度图像生成作为正面图像的en-face图像(OCTA图像)。具体地，en-face图像生成单元223可以通过基于例如被检眼E在深度方向(Z方向)上的两个任意参考平面将三维运动对比度图像投影在二维平面上来生成作为正面图像的OCTA图像。此外，en-face图像生成单元223可以以类似的方式从断层图像生成单元221所生成的三维断层图像生成强度en-face图像。

更具体地，例如，en-face图像生成单元223确定被两个参考平面围绕的区域的在X-Y方向上的各个位置处的深度方向上的像素值的代表值，基于该代表值确定各个位置处的像素值，并生成en-face图像。在这种情况下，代表值的示例包括在被两个参考平面围绕的区域的深度方向上的范围内的像素值的平均值、中值或最大值。

请注意，参考平面可以是沿着被检眼E的横截面处的层边界的平面，或者可以是平面。在下文中，将用于生成en-face图像的参考平面之间的深度方向上的范围称为“en-face图像生成范围”。此外，根据本实施例的用于生成en-face图像的方法是一个示例，并且en-face图像生成单元223可以使用任何已知方法来生成en-face图像。

图像质量改善单元224使用稍后描述的学习模型，以基于由en-face图像生成单元223生成的OCTA图像来生成高质量OCTA图像。此外，图像质量改善单元224可以基于由断层图像生成单元221生成的断层图像或由en-face图像生成单元223生成的强度en-face图像生成高质量断层图像或高质量强度en-face图像。请注意，图像质量改善单元224还可以基于获得单元210从存储器240或连接至控制单元200的其他装置(未示出)获得的各种图像，而不仅仅是基于使用OCT摄像单元100等摄像的OCTA图像，来生成高质量图像。另外，图像质量改善单元224可以对三维运动对比度图像或三维断层图像，而不仅仅是对OCTA图像或断层图像，进行图像质量改善处理。

驱动控制单元230可以控制与控制单元200连接的OCT摄像单元100的诸如光源111、扫描光学系统150、扫描单元152和成像透镜133等部件的驱动。存储器240可以存储由获得单元210获得的各种数据，以及由图像处理单元220生成和处理的诸如断层图像或OCTA图像等各种数据和图像。此外，存储器240可以存储被检体的属性(姓名、年龄等)、使用其它检查设备获取的诸如测量结果等与被检眼有关的信息(眼球的轴向长度、眼内压等)、摄像参数、图像分析参数以及由操作者设置的参数。请注意，也可以采用将这些图像和信息存储在外部存储装置(未示出)中的构造。存储器240还可以存储由处理器执行的用于实现控制单元200的各部件的功能的程序。

显示控制单元250可以使由获得单元210获得的各种信息以及由图像处理单元220生成和处理的诸如断层图像、OCTA图像和三维运动对比度图像等各种图像显示在显示单元270上。显示控制单元250还可以使由用户等输入的信息等显示在显示单元270上。

控制单元200可以例如通过使用通用计算机来构成。请注意，控制单元200可以通过使用OCT装置1的专用计算机来构成。控制单元200配备有CPU(中央处理单元)(未示出)或MPU(微处理单元)和包括诸如光盘或ROM(只读存储器)的存储器的存储介质。控制单元200的存储器240之外的各部件可以由诸如CPU或MPU处理器执行的软件模块来构成。此外，所讨论的各部件可以由诸如ASIC等提供具体功能的电路或独立的装置等构成。例如，存储器240可以由诸如光盘或存储器的任意存储介质构成。

请注意，控制单元200可以包括一个或更多个诸如CPU的处理器和诸如ROM的存储介质。因此，控制单元200的各个部件可以被构造为在至少一个或更多个处理器和至少一个存储介质相连接并且至少一个或更多个处理器执行存储在至少一个存储介质中的程序的情况下起作用。请注意，处理器不限于CPU或MPU，并且可以是GPU(图形处理单元)等。

接下来，参照图3A至图4描述根据本实施例的与根据诸如深度学习的机器学习算法的机器学习模型有关的学习模型。根据本实施例的学习模型根据学习趋势，基于输入图像，生成并输出进行了图像质量改善处理的图像。

在本说明书中，术语“图像质量改善处理”是指将输入图像转换成具有更适合图像诊断的图像质量的图像，并且术语“高质量图像”是指已经转换为具有更适合图像诊断的图像质量的图像。这里，适合于图像诊断的图像质量的内容取决于期望使用各种图像诊断来诊断什么。因此，虽然不能一概而论，但是例如适合图像诊断的图像质量包括如下图像质量：噪声量低，对比度高，以使摄像目标易于观察的颜色和灰度显示摄像目标，图像尺寸大，且分辨率高。另外，适合于图像诊断的图像质量可以包括使得从图像中去除在图像生成过程中渲染的实际上不存在的对象或灰度的图像质量。

术语“学习模型”是指针对根据诸如深度学习的任何机器学习算法的机器学习模型，预先使用适当的训练数据进行了训练(学习)的模型。然而，假定学习模型不是不进行进一步学习的模型，而是还可以进行增量学习的模型。训练数据由输入数据和真值(正确答案数据)构成的一个或更多个对组(pair group(s))构成。在本实施例中，由输入数据和真值(ground truth)构成的对(a pair)由OCTA图像和通过使包括前述OCTA图像的多个OCTA图像经过诸如加法平均的平均处理而获得的OCTA图像构成。

经历平均处理的平均图像，由于增强了源图像组中通常可视化的像素，所以是适合于图像诊断的高质量图像。在这种情况下，由于增强了通常可视化的像素，所以生成的高质量图像是低强度区域与高强度区域之间的差异清晰的高对比度图像。另外，例如，在平均图像中，可以减少在每轮摄像中生成的随机噪声，并且可以使用其他源图像组使在特定时间点在源图像中未渲染好的区域经过插值处理。

请注意，在构成训练数据的对组中，可以从训练数据中去除对改善图像质量没有贡献的对。例如，如果作为在一对训练数据中包括的真值的高质量图像的图像质量不适合图像诊断，则存在以下可能性：使用相关训练数据学习的学习模型所输出的图像将具有不适合图像诊断的图像质量。因此，通过从训练数据中去除真值的图像质量不适合图像诊断的对，可以降低学习模型生成具有不适合图像诊断的图像质量的图像的可能性。

此外，在作为对的图像组中平均强度或强度分布相差很大的情况下，存在以下可能性：使用相关训练数据学习的学习模型将输出不适合于图像诊断且具有与低质量图像的强度分布有很大差异的强度分布的图像。因此，可以从训练数据中去除平均强度或强度分布相差很大的输入数据和真值的对。

另外，在作为对的图像组中要渲染的摄像目标的结构或位置相差很大的情况下，存在以下可能性：使用相关训练数据学习的学习模型将输出不适用于图像诊断且摄像目标被渲染的结构或位置与低质量图像有很大差异的图像。因此，还可以从训练数据中去除这样的输入数据和真值的对：要渲染的摄像目标的结构或位置在输入数据和真值之间有很大差异。

通过使用以这种方式进行了学习的学习模型，在输入通过一轮摄像(检查)获得的OCTA图像的情况下，图像质量改善单元224可以通过平均处理生成对比度提高或噪声降低等的高质量OCTA图像。因此，图像质量改善单元224可以基于作为输入图像的低质量图像来生成适合于图像诊断的高质量图像。

接下来，将描述进行学习时使用的图像。使用位置关系相对应的一定图像尺寸的矩形区域图像来创建构成对组的图像组，该对组由构成训练数据的OCTA图像301和高质量OCTA图像302构成。现在将参照图3A和图3B描述创建所讨论的图像的方式。

首先，描述一种情况，其中构成训练数据的一个对组被视为由OCTA图像301和高质量OCTA图像302构成。在这种情况下，如图3A所示，形成这样的对，其中整个OCTA图像301被视为输入数据，并且整个高质量OCTA图像302被视为真值。请注意，尽管在图3A所示的示例中，通过整体使用各个图像来形成由输入数据和真值构成的对，但是对不限于此。

例如，如图3B所示，可以形成这样的对，其中采用OCTA图像301中的矩形区域图像311作为输入数据，并且采用OCTA图像302中的作为对应摄像区域的矩形区域图像321作为真值。

请注意，在进行学习时，可以将扫描范围(摄像视角)和扫描密度(A扫描数量和B扫描数量)归一化，以使图像尺寸一致，从而可以使得在进行学习时的矩形区域尺寸一致。此外，在图3A和图3B中所示出的矩形区域图像是当各矩形区域尺寸被用于彼此单独地进行学习时的矩形区域尺寸的示例。

此外，矩形区域的数量在图3A中示出的示例中可以被设置为一个，并且在图3B中示出的示例中可以被设置为多个矩形区域。例如，在如图3B所示的示例中，也可以构成这样的对，其中采用OCTA图像301中的矩形区域图像312作为输入数据，并且采用作为高质量OCTA图像302中的对应摄像区域的矩形区域图像322作为真值。因此，可以从由一个OCTA图像和一个高质量OCTA图像组成的对来创建彼此不同的矩形区域图像对。请注意，可以通过在将区域的位置改变为作为源图像的OCTA图像和高质量OCTA图像中的不同坐标的同时，创建大量矩形区域图像对，来增强构成训练数据的对组的内容。

尽管在图3B中示出的示例中离散地示出了矩形区域，但是作为源图像的OCTA图像和高质量OCTA图像各自都可以被连续地并且无间隙地划分为具有一致图像尺寸的矩形区域图像的组。或者，作为源图像的OCTA图像和高质量OCTA图像可以各自在彼此对应的随机位置处被划分为矩形区域图像组。以这种方式，通过选择较小区域的图像作为由作为矩形区域的输入数据和真值组成的对，可以从构成原始对的OCTA图像301和高质量OCTA图像302生成大量对数据。因此，可以缩短训练机器学习模型所需的时间。

接下来，参照图4描述相对于输入断层图像进行图像质量改善处理的卷积神经网络(CNN)，作为根据本实施例的学习模型的一个示例。图4示出图像质量改善单元224使用的学习模型的构造401的示例。

在图4中示出的学习模型由负责处理用于输出的输入值组的处理的多个层组(layer group)构成。请注意，在学习模型的构造401中所包括的层的类型是卷积层、下采样层、上采样层和合并层。

卷积层是根据设置的诸如滤波器的内核尺寸、滤波器的数量、步幅值(value of astride)和膨胀值(dilation value)等参数针对输入值组进行卷积处理的层。请注意，滤波器的内核尺寸的维数可以根据输入图像的维数来改变。

下采样层是进行如下处理的层：通过细化或组合输入值组来使输出值组的数量小于输入值组的数量。具体地，例如，最大池化处理可用作这种处理。

上采样层是进行如下处理的层：通过复制输入值组或添加从输入值组内插的值来使输出值组的数量大于输入值组的数量。具体地，例如，线性插值处理可用作这种处理。

合并层是进行如下处理的层：从多个源输入诸如某一层的输出值组或构成图像的像素值组等值组，并通过将值组级联或相加来合并这些值组。

请注意，作为针对在图4所示的构造401中所包括的卷积层组设置的参数，例如，通过将滤波器的内核尺寸设置为3个像素的宽度和3个像素的高度并且将滤波器的数量设置为64，可以进行一定精度的图像质量改善处理。但是，在这方面需要注意，因为如果关于构成神经网络的层组和节点组的参数的设置不同，则在某些情况下，基于训练数据训练的趋势在输出数据中可再现的程度将不同。换句话说，在许多情况下，适当的参数将根据实施时的形式而不同，因此可以根据需要将参数改变为优选值。

此外，也存在如下情况：CNN可以通过改变CNN的构造，而不仅仅是通过使用如上所述的改变参数的方法，来获得更好的特性。术语“更好的特性”是指，例如，图像质量改善处理的精度增加、图像质量改善处理所花费的时间变短以及训练机器学习模型所需的时间变短。

虽然在附图中未示出，但是作为CNN的构造的变型例，例如，在卷积层等之后，可以并入批归一化层(batch normalization layer)或使用整流线性单元(ReLu)的激活层。

当将数据输入到这种机器学习模型的学习模型中时，输出根据机器学习模型的设计的数据。例如，根据使用训练数据训练机器学习模型的趋势，输出具有与输入数据相对应的概率高的输出数据。在根据本实施例的学习模型的情况下，当输入OCTA图像301时，根据使用训练数据对机器学习模型进行训练的趋势，输出高质量OCTA图像302。

请注意，在以将图像划分为区域的方式进行学习的情况下，学习模型输出作为与各矩形区域相对应的高质量OCTA图像的矩形区域图像。在这种情况下，首先，图像质量改善单元224基于进行学习时的图像尺寸将作为输入图像的OCTA图像301划分为矩形区域图像组，并将划分的矩形区域图像组输入到学习模型中。之后，图像质量改善单元224根据与输入到学习模型中的矩形区域图像组的各图像的位置关系相同的位置关系，布置作为从学习模型输出的高质量OCTA图像的一组矩形区域图像的各图像，并组合这些矩形区域图像。通过这种方式，图像质量改善单元224可以生成与输入的OCTA图像301相对应的高质量OCTA图像302。

接下来，参照图5至图7将描述根据本实施例的一系列图像处理操作。图5是示出根据本实施例的一系列图像处理操作的流程图。

首先，在步骤S501中，获得单元210获得通过对被检眼E进行多次摄像而获得的多项三维断层信息。获得单元210可以使用OCT摄像单元100来获得被检眼E的断层信息，或者可以从存储器240或连接至控制单元200的其他装置中获得断层信息。

这里，将描述通过使用OCT摄像单元100获得被检眼E的断层信息的情况。首先，操作者使作为被检体的患者坐在扫描光学系统150的前面、进行对准、将患者信息输入到控制单元200等中，然后开始OCT摄像。控制单元200的驱动控制单元230驱动扫描单元152的检流计镜以多次扫描被检眼的大致相同的位置，从而获得被检眼的大致相同的位置处的多项断层信息(干涉信号)。其后，驱动控制单元230在与主扫描方向正交的副扫描方向上略微驱动扫描单元152的检流计镜，并在被检眼E的其他位置(相邻扫描线)处获得多项断层信息。通过重复该控制，获得单元210获得在被检眼E的预定范围内的多项三维断层信息。

接下来，在步骤S502中，断层图像生成单元221基于获得的多项三维断层信息项来生成多个三维断层图像。请注意，在步骤S501中，获得单元210从存储器240或连接至控制单元200的其他装置获得多个三维断层图像的情况下，可以省略步骤S502。

在步骤S503中，运动对比度生成单元222基于多个三维断层图像来生成三维运动对比度数据(三维运动对比度图像)。请注意，运动对比度生成单元222可以基于关于大致相同的位置获取的三个或更多个断层图像来获得多项运动对比度数据，并生成多项运动对比度数据的平均值作为最终运动对比度数据。请注意，在步骤S501中获得单元210从存储器240或连接至控制单元200的其他装置获得三维运动对比度数据的情况下，可以省略步骤S502和步骤S503。

在步骤S504中，针对三维运动对比度数据，en-face图像生成单元223根据来自操作者的指令或基于预定的en-face图像生成范围来生成OCTA图像。请注意，在步骤S501中获得单元210从存储器240或连接至控制单元200的其他装置获得OCTA图像的情况下，可以省略步骤S502至步骤S504。

在步骤S505中，图像质量改善单元224使用学习模型对OCTA图像进行图像质量改善处理。图像质量改善单元224将OCTA图像输入到学习模型中，并且基于来自学习模型的输出生成高质量OCTA图像。请注意，在学习模型以将图像划分为区域的方式进行了学习的情况下，图像质量改善单元224首先基于学习时的图像尺寸将作为输入图像的OCTA图像划分为矩形区域图像组，并将划分后的矩形区域图像组输入到学习模型中。其后，图像质量改善单元224根据与输入到学习模型中的矩形区域图像组的各图像的位置关系相同的位置关系，布置作为从学习模型输出的高质量OCTA图像的一组矩形区域图像的各图像，并组合这些矩形区域图像，从而生成最终的高质量OCTA图像。

在步骤S506中，显示控制单元250使显示单元270从显示原始OCTA图像(第一医学图像)切换为显示由图像质量改善单元224生成的高质量OCTA图像(第二医学图像)。如上所述，在使用机器学习模型的图像质量改善处理中，在某些情况下，实际上不存在的血管在OCTA图像中被可视化，或者原本存在的血管在OCTA图像中未被可视化。在这方面，通过显示控制单元250使显示单元270从显示原始OCTA图像切换为显示生成的高质量OCTA图像，可以便于确定血管是通过图像质量改善处理新生成的血管还是在原始图像中也存在的血管。当显示控制单元250的显示处理结束时，一系列图像处理操作结束。

接下来，参照图6A至图7描述用于操作控制单元200的方法。图6A和图6B示出在图像质量改善处理之前和之后的图像之间切换显示的报告画面的示例。在图6A中示出的报告画面600上示出了断层图像611和图像质量改善处理之前的OCTA图像601。在图6B示出的报告画面600上示出了断层图像611和图像质量改善处理之后的OCTA图像602(高质量OCTA图像)。

在图6A示出的报告画面600上，当操作者使用作为输入单元260的一个示例的鼠标并且在OCTA图像601上按下鼠标右键时，显示用于选择是否进行图像质量改善处理的弹出菜单620。当操作者在弹出菜单620上选择进行图像质量改善处理时，图像质量改善单元224对OCTA图像601执行图像质量改善处理。

然后，如图6B所示，显示控制单元250使报告画面600上的显示从显示进行图像质量改善处理之前的OCTA图像601切换为显示进行图像质量改善处理之后的图像OCTA 602。请注意，还可以通过再次在OCTA图像602上按下鼠标右键来打开弹出菜单620，并且使得显示切换为显示进行图像质量之前的OCTA图像601。

请注意，尽管已经描述了通过使用根据操作者按下鼠标的右键的操作而显示的弹出菜单620在图像质量改善处理之前和之后的图像之间切换显示的示例，但是除了弹出菜单，还可以进行任何其他方法作为切换图像的方法。例如，还可以使用报告画面上配设的按钮(例如，图像质量改善按钮的示例)、下拉菜单、单选按钮、复选框或键盘操作来进行图像切换。另外，可以通过鼠标滚轮的操作或触摸面板显示器上的触摸操作来进行显示图像的切换。

操作者可以通过上述方法在显示进行图像质量改善处理之前的OCTA图像601与进行图像质量改善处理之后的OCTA图像602之间任意切换。因此，操作者可以容易地查看和比较图像质量改善处理之前和之后的OCTA图像，并且可以容易地确认由图像质量改善处理引起的OCTA图像之间的变化。因此，操作者可以容易地识别通过图像质量改善处理在OCTA图像中被可视化的实际上不存在的血管，或者由于图像质量改善处理而从OCTA图像中消失了的原本存在的血管，并可以容易地确定图像中被可视化的组织的真实性。

请注意，尽管在上述显示方法中，图像质量改善处理之前和之后的图像被切换显示，但是通过以并置或叠置方式显示这些图像，也可以获得类似的效果。图7示出了在以并置的方式显示图像质量改善处理之前和之后的图像的情况下的报告画面的示例。在图7示出的报告画面700上，以并置的方式显示图像质量改善处理之前的OCTA图像701和图像质量改善处理之后的OCTA图像702。

同样在这种情况下，操作者可以容易地查看和比较图像质量改善处理之前和之后的图像，并且可以容易地确认由图像质量改善处理引起的图像之间的变化。因此，操作者可以容易地识别通过图像质量改善处理在OCTA图像中被可视化的实际上不存在的血管，或者由于图像质量改善处理而从OCTA图像中消失的原本存在的血管，并可以容易地确定图像中被可视化的组织的真实性。请注意，在以叠置方式显示图像质量改善处理之前和之后的图像的情况下，显示控制单元250可以针对图像质量改善处理之前和之后的图像当中的至少一个图像来设置透明度，并且使图像质量改善处理之前和之后的图像以叠置方式显示在显示单元270上。

此外，如上所述，图像质量改善单元224还可以对断层图像或强度en-face图像而不仅仅是OCTA图像进行使用学习模型的图像质量改善处理。在这种情况下，作为学习模型的训练数据的对，可以使用这样的对：采用进行平均之前的断层图像或强度en-face图像作为输入数据，以及采用进行平均之后的断层图像或强度en-face图像作为真值。请注意，在这种情况下，学习模型可以是使用诸如OCTA图像或断层图像的训练数据进行了学习的单个学习模型，或者针对图像的各自种类进行了学习的多个学习模型可以用作学习模型。在使用多个学习模型的情况下，图像质量改善单元224可以使用与作为进行图像质量改善处理的对象的图像的种类相对应的学习模型。请注意，图像质量改善单元224可以针对三维运动对比度图像或三维断层图像使用学习模型来进行图像质量改善处理，并且在这种情况下的训练数据也可以以与上述相同的方式来准备。

在图7中，以并置的方式显示图像质量改善处理之前的断层图像711和图像质量改善处理之后的断层图像712。请注意，类似于如图6A和图6B中所示的图像质量改善处理之前和之后的OCTA图像，显示控制单元250可以使图像质量改善处理之前和之后的断层图像或强度en-face图像切换显示在显示单元270上。此外，显示控制单元250可以使图像质量改善处理之前和之后的断层图像或强度en-face图像以叠置方式显示在显示单元270上。同样在这些情况下，操作者可以容易地查看和比较图像质量改善处理之前和之后的图像，并且可以容易地确认由图像质量改善处理引起的图像之间的变化。因此，操作者可以容易地识别通过图像质量改善处理在图像中被可视化的实际上不存在的组织，或者由于图像质量改善处理而从图像中消失的原本存在的组织，并可以容易地确定图像中被可视化的组织的真实性。

如上所述，根据本实施例的控制单元200包括图像质量改善单元224和显示控制单元250。图像质量改善单元224使用学习模型从被检眼的第一医学图像生成与第一医学图像相比经过了噪声降低和对比度增强中的至少一项的第二医学图像。显示控制单元250在显示单元270上使第一医学图像和第二医学图像在切换、并置或叠置显示。请注意，显示控制单元250可以根据来自操作者的指令在第一医学图像和第二医学图像之间切换并在显示单元270上显示相关切换图像。

通过这种方式，控制单元200可以从源图像生成降低了噪声和/或增强了对比度的高质量图像。因此，与常规技术相比，控制单元200可以生成更适合于图像诊断的图像，诸如更清晰的图像或期望观察的部位或病变被增强的图像。

此外，操作者可以容易地查看和比较图像质量改善处理之前和之后的图像，并且可以容易地确认由图像质量改善处理引起的图像之间的变化。因此，操作者可以容易地识别通过图像质量改善处理在图像中被可视化的实际上不存在的组织，或者由于图像质量改善处理而从图像中消失了的原本存在的组织，并可以容易地确定图像中被可视化的组织的真实性。

尽管根据本实施例将平均图像用作用于学习模型的训练数据的真值，但是训练数据不限于此。例如，通过针对源图像组进行最大后验处理(MAP估计处理)而获得的高质量图像可以用作训练数据的真值。在MAP估计处理中，基于多个图像中的各个像素值的概率密度来获得似然函数，并且使用所获得的似然函数来估计真实信号值(像素值)。

通过MAP估计处理获得的高质量图像是基于接近真实信号值的像素值的高对比度图像。此外，由于估计信号值是基于概率密度确定的，因此在通过MAP估计处理获得的高质量图像中，随机生成的噪声被降低。因此，通过使用通过MAP估计处理获得的高质量图像作为训练数据，学习模型可以从输入图像生成适合于图像诊断的降低了噪声且具有高对比度的高质量图像。请注意，关于用于生成训练数据的输入数据和真值的对的方法，可以进行与将平均图像用作训练数据的情况类似的方法。

此外，可以使用通过对源图像应用平滑滤波处理而获得的高质量图像，作为训练数据的真值。在这种情况下，学习模型可以从输入图像生成降低了随机噪声的高质量图像。另外，通过对源图像应用灰度转换处理而获得的图像也可以用作训练数据的真值。在这种情况下，学习模型可以从输入图像生成增强了对比度的高质量图像。请注意，关于用于生成训练数据的输入数据和真值的对的方法，可以进行与将平均图像用作训练数据的情况类似的方法。

请注意，训练数据的输入数据可以是从具有与OCT摄像单元100相同的图像质量趋势的摄像装置获得的图像。此外，训练数据的真值可以是通过诸如使用逐次逼近法的处理等高成本处理而获得的高质量图像，或者可以是通过使用比OCT摄像单元100具有更高性能的摄像装置对与输入数据相对应的被检对象进行摄像而获得的高质量图像。此外，真值可以是通过进行基于规则的降噪处理而获得的高质量图像，所述基于规则的降噪处理是基于被检对象的结构等。这里，降噪处理可以包括，例如，用相邻的低强度像素值的平均值代替仅是一个像素的高强度像素的处理，该一个像素显然是出现在低强度区域中的噪声。因此，学习模型可以采用由比用于对输入图像进行摄像的摄像装置具有更高性能的摄像装置摄像的图像，或者通过涉及比用于获得输入图像的摄像处理更多的处理数量(number ofprocesses)的摄像处理获得的图像，作为训练数据。

请注意，尽管已经描述了图像质量改善单元224通过使用学习模型来生成降低了噪声或增强了对比度的高质量图像，但是图像质量改善单元224进行的图像质量改善处理不限于此。如上所述，图像质量改善单元224可以通过图像质量改善处理来生成具有更适合于图像诊断的图像质量的图像就足够了。

此外，在使图像质量改善处理之前和之后的图像以并置的方式显示在显示单元270上的情况下，根据来自操作者的指令，显示控制单元250可以放大显示以并置方式在显示单元270上正显示的图像质量改善处理之前和之后的图像当中的任何图像。更具体地，例如，在图7中示出的报告画面700上，如果操作者选择OCTA图像701，则显示控制单元250可以在报告画面700上放大显示OCTA图像701。此外，如果操作者选择图像质量改善处理之后的OCTA图像702，则显示控制单元250可以在报告画面700上放大显示OCTA图像702。在这种情况下，操作者可以更详细地观察图像质量改善处理之前和之后的图像当中的操作者希望观察的图像。

另外，在根据操作者的指令改变诸如OCTA图像等en-face图像的生成范围的情况下，控制单元200可以将显示从以叠置方式显示的图像改变为基于改变后的生成范围的图像和经过了图像质量改善的图像。更具体地，当操作者通过输入单元260改变en-face图像生成范围时，en-face图像生成单元223基于改变后的生成范围来生成图像质量改善处理之前的en-face图像。图像质量改善单元224使用学习模型从由en-face图像生成单元223新生成的en-face图像生成高质量en-face图像。其后，显示控制单元250使显示单元270从显示以并置的方式正在显示的图像质量改善处理之前和之后的en-face图像改变为显示图像质量改善处理之前和之后的新生成的en-face图像。在这种情况下，在操作者任意改变操作者希望观察的深度方向上的范围的同时，操作者可以基于深度方向上的改变后的范围来观察图像质量改善处理之前和之后的en-face图像。

(变型例1)

如上所述，在使用学习模型进行了图像质量改善处理的图像中，实际上不存在的组织可能会被可视化，或者原本存在的组织可能未被可视化。因此，由于操作者基于这样的图像进行图像诊断，可能发生误诊。因此，当在显示单元270上显示图像质量改善处理之后的OCTA图像或断层图像等时，显示控制单元250还可以显示大意如下的信息：所讨论的图像是使用学习模型进行了图像质量改善处理的图像。在这种情况下，可以抑制操作者发生误诊。请注意，显示形式可以是任何形式，只要该形式使得可以理解该图像是使用学习模型获得的高质量图像即可。

(变型例2)

在实施例1中，描述了将图像质量改善处理应用于通过一轮摄像(检查)获得的OCTA图像或断层图像等的示例。在这方面，使用学习模型的图像质量改善处理还可以应用于通过多次进行摄像(检查)获得的多个OCTA图像或断层图像等。在变型例2中，参照图8A和图8B描述了一种构造，其中同时显示通过对多个OCTA图像或断层图像等应用使用学习模型的图像质量改善处理而获得的图像。

图8A和图8B各自示出了时序报告画面的示例，该时序报告画面用于显示通过对同一被检眼随着时间推移进行多次摄像而获得的多个OCTA图像。在图8A中示出的报告画面800上，按时间顺序并排显示在进行图像质量改善处理之前的多个OCTA图像801。报告画面800还包括弹出菜单820，并且操作者可以经由输入单元260通过操作弹出菜单820来选择是否应用图像质量改善处理。

如果操作者选择应用图像质量改善处理，则图像质量改善单元224将使用学习模型的图像质量改善处理应用于正在显示的所有OCTA图像。随后，如图8B所示，显示控制单元250从显示正在显示的多个OCTA图像801切换为显示进行图像质量改善处理之后的多个OCTA图像802。

此外，如果操作者在弹出菜单820上选择不应用图像质量改善处理，则显示控制单元250从显示正在显示的图像质量改善处理之后的多个OCTA图像802切换为显示图像质量改善处理之前的多个OCTA图像801。

请注意，在本变型例中，已经描述了同时切换显示使用学习模型的图像质量改善处理之前和之后获得的多个OCTA图像的示例。然而，可以同时切换显示使用学习模型的图像质量改善处理之前和之后获得的多个断层图像或强度en-face图像等。请注意，操作方法不限于使用弹出菜单820的方法，并且可以采用任何操作方法，例如，使用在报告画面上配设的按钮(图像质量改善按钮的示例)、下拉菜单、单选按钮或复选框，或者针对键盘、鼠标滚轮或触摸面板的操作的方法。

(实施例2)

学习模型根据学习趋势输出具有与输入数据相对应的高概率的输出数据。在这方面，当学习模型使用彼此具有相似图像质量趋势的图像组作为训练数据来进行学习时，可以针对具有所讨论的相似趋势的图像来输出经历更有效的图像质量改善的图像。因此，在实施例2中，通过用多个学习模型来进行图像质量改善处理，来更有效地进行图像质量改善处理，其中，所述多个学习模型经历使用由对组构成的训练数据的学习，所述对组是针对诸如摄像部位的各个摄像条件或者针对各个en-face图像生成范围而被分组。

在下文中，参照图9和图10来描述根据本实施例的OCT装置。请注意，由于除了控制单元之外，根据本实施例的OCT装置的构造与根据实施例1的OCT装置1的构造相同，因此与图1中示出的部件相同的部件由与实施例1中的附图标记相同的附图标记标示，并且在下文中省略对这些部件的描述。在下文中，以与根据实施例1的OCT装置1不同之处为中心，对根据本实施例的OCT装置进行描述。

图9示出了根据本实施例的控制单元900的示意性构造。请注意，除了图像处理单元920和选择单元925之外，根据本实施例的控制单元900的部件与根据实施例1的控制单元200的各部件相同。因此，与图2中示出的部件相同的部件由与实施例1中的附图标记相同的附图标记标示，并且在下文中省略对这些部件的描述。

除了断层图像生成单元221、运动对比度生成单元222、en-face图像生成单元223和图像质量改善单元224之外，控制单元900的图像处理单元920中还配设选择单元925。

选择单元925基于要由图像质量改善单元224进行图像质量改善处理的图像的摄像条件或en-face图像生成范围，从多个学习模型当中选择要由图像质量改善单元224使用的学习模型。图像质量改善单元224使用由选择单元925选择的学习模型对目标OCTA图像或断层图像等进行图像质量改善处理，并生成高质量OCTA图像或高质量断层图像。

接下来，将描述根据本实施例的多个学习模型。如上所述，学习模型根据学习趋势输出具有与输入数据相对应的高概率的输出数据。在这方面，当学习模型使用彼此具有相似图像质量趋势的图像组作为训练数据来进行学习时，可以针对具有所讨论的相似趋势的图像输出经历了更有效的图像质量改善的图像。因此，在本实施例中，准备了多个学习模型，所述多个学习模型经历使用由对组构成的训练数据的学习，所述对组是根据包括诸如摄像部位、摄像系统、摄像区域、摄像视角、扫描密度和图像分辨率等条件的摄像条件或针对各个en-face图像生成范围而被分组。

更具体地，例如，准备了多个学习模型，例如采用将黄斑区域设置为摄像部位的OCTA图像作为训练数据的学习模型，以及采用将视神经头设置为摄像部位的OCTA图像作为训练数据的学习模型。请注意，黄斑区域和视神经头各自是摄像部位的一个示例，并且可以包括其他摄像部位。此外，可以准备这样的学习模型，针对该学习模型，采用针对诸如黄斑区域或视神经头的摄像部位的各个特定摄像区域的OCTA图像作为训练数据。

此外，例如，在以宽视角和低密度对视网膜摄像的情况与以窄视角和高密度对视网膜摄像的情况之间，在OCTA图像中被可视化的诸如血管的结构的可视化显著不同。因此，可以准备根据摄像视角和扫描密度对训练数据的各个集合进行学习的学习模型。另外，摄像系统的示例包括SD-OCT摄像系统和SS-OCT摄像系统，并且图像质量、摄像范围和深度方向上的穿透深度等根据这些摄像系统之间的差异而不同。因此，可以准备根据摄像系统的各自种类使用训练数据进行学习的学习模型。

此外，通常很少生成一次提取视网膜的所有层的血管的OCTA图像，并且通常生成仅提取预定深度范围内存在的血管的OCTA图像。例如，针对诸如视网膜的浅层、深层和外层以及浅脉络膜层等深度范围，生成在各深度范围内提取血管的OCTA图像。另一方面，在OCTA图像中被可视化的血管的形式根据深度范围而极大地不同。例如，在视网膜的浅层中被可视化的血管形成低密度、薄而清晰的血管网，而在浅脉络膜层中被可视化的血管以高密度被可视化，并且难以清楚地区分个别血管。因此，可以准备根据诸如OCTA图像的en-face图像的生成范围使用各自的训练数据集进行学习的学习模型。

尽管这里描述了采用OCTA图像作为训练数据的示例，但是与实施例1类似，在针对断层图像或强度en-face图像等进行图像质量改善处理的情况下，可以采用这些图像作训练数据。在这种情况下，准备根据这些图像的摄像条件或en-face图像生成范围使用各自的训练数据集进行学习的多个学习模型。

接下来，参照图10描述根据本实施例的一系列图像处理操作。图10是示出根据本实施例的一系列图像处理操作的流程图。请注意，适当地省略关于与根据实施例1的一系列图像处理操作中的处理相同的处理的描述。

首先，在步骤S1001中，与根据实施例1的步骤S501类似，获得单元210获得通过对被检眼E进行多次摄像而获得的多项三维断层信息。获得单元210可以使用OCT摄像单元100来获得被检眼E的断层信息，或者可以从存储器240或连接至控制单元200的其他装置中获得断层信息。

获得单元210还获得与断层信息有关的摄像条件组。具体地，当进行与断层信息有关的摄像时，获得单元210可以获得诸如摄像部位和摄像系统等摄像条件。请注意，根据断层信息的数据格式，获得单元210可以获得在构成断层信息的数据的数据结构中存储的摄像条件组。此外，在摄像条件没有存储在断层信息的数据结构中的情况下，获得单元210可以从存储了描述摄像条件的文件的服务器或数据库等获得摄像信息组。此外，获得单元210可以通过任何已知方法从基于断层信息的图像中估计摄像信息组。

此外，在获得单元210获得多个三维断层图像、多项三维运动对比度数据或多个OCTA图像等的情况下，获得单元210获得与获得的图像或数据有关的摄像条件组。请注意，在仅使用多个学习模型来进行图像质量改善处理的情况下，获得单元210不需要获得断层图像的摄像条件组，所述多个学习模型根据OCTA图像或强度en-face图像的生成范围使用各自种类的训练数据进行了学习。

步骤S1002至步骤S1004的处理与根据实施例1的步骤S502至S504的处理相同，因此这里省略该处理的描述。当在步骤S1004中en-face图像生成单元223生成OCTA图像时，处理进入步骤S1005。

在步骤S1005中，基于与生成的OCTA图像有关的摄像条件组或生成范围以及关于与多个学习模型有关的训练数据的信息，选择单元925选择由图像质量改善单元224使用的学习模型。更具体地，例如，在OCTA图像中的摄像部位是视神经头的情况下，选择单元925选择使用视神经头的OCTA图像作为训练数据进行了学习的学习模型。此外，例如，在OCTA图像的生成范围是视网膜的浅层的情况下，选择单元925选择使用视网膜的浅层被设置为生成范围的OCTA图像作为训练数据进行了学习的学习模型。

请注意，即使与所生成的OCTA图像有关的摄像条件组或生成范围和与学习模型的训练数据相关的信息不完全匹配，选择单元925也可以选择使用关于图像质量具有相似趋势的图像作为训练数据进行了学习的学习模型。在这种情况下，例如，选择单元925可以包括描述了与OCTA图像有关的摄像条件组或生成范围与要使用的学习模型之间的相关性的表格。

在步骤S1006中，图像质量改善单元224使用由选择单元925选择的学习模型来对在步骤S1004中生成的OCTA图像进行图像质量改善处理，从而生成高质量OCTA图像。用于生成高质量OCTA图像的方法与根据实施例1的步骤S505中相同，因此这里省略其描述。

步骤S1007与根据实施例1的步骤S506相同，因此这里省略其描述。当在步骤S1007中在显示单元270上显示高质量OCTA图像时，根据本实施例的一系列图像处理操作结束。

如上所述，根据本实施例的控制单元900包括选择单元925，该选择单元925从多个学习模型中选择要由图像质量改善单元224使用的学习模型。选择单元925基于在用于生成要进行图像质量改善处理的OCTA图像的深度方向上的范围来选择要由图像质量改善单元224使用的学习模型。

例如，选择单元925可以基于要经过图像质量改善处理的OCTA图像中的显示部位以及用于生成OCTA图像的深度方向上的范围来选择学习模型。此外，例如，选择单元925可以基于包括要进行图像质量改善处理的OCTA图像中的显示部位的摄像部位以及用于生成OCTA图像的深度方向上的范围，来选择要由图像质量改善单元224使用的学习模型。另外，例如，选择单元925可以基于要进行图像质量改善处理的OCTA图像的摄像条件来选择要由图像质量改善单元224使用的学习模型。

因此，通过借助于多个学习模型来进行图像质量改善处理，控制单元900可以更有效地进行图像质量改善处理，所述多个学习模型经历使用由对组构成的训练数据的学习，所述对组是针对各个摄像条件或者针对各个en-face图像生成范围而被分组的。

请注意，尽管在本实施例中描述了选择单元925基于诸如与OCTA图像有关的摄像部位或生成范围的摄像条件来选择学习模型的示例，但是也可以采用基于上述条件以外的条件改变学习模型的构造。例如，选择单元925可以根据生成OCTA图像或强度en-face图像时的投影方法(最大强度投影方法或平均强度投影方法)或者是否进行了去除由血管阴影导致的伪影的伪影去除处理，来选择学习模型。在这种情况下，可以准备根据投影方法以及是否进行了伪影去除处理来使用各自种类的训练数据进行了学习的学习模型。

(变型例3)

在实施例2中，选择单元925根据摄像条件或en-face图像的生成范围等自动选择合适的学习模型。在这方面，还存在操作者希望手动选择要应用于图像的图像质量改善处理的情况。因此，选择单元925可以根据操作者的指令来选择学习模型。

此外，还存在操作者希望改变应用于图像的图像质量改善处理的情况。因此，选择单元925可以根据操作者的指令来改变学习模型以改变要应用于图像的图像质量改善处理。

在下文中，参照图11A和图11B描述当手动改变要应用于图像的图像质量改善处理时的操作方法。图11A和图11B各自示出了在图像质量改善处理之前和之后的图像之间切换显示的报告画面的示例。在图11A所示的报告画面1100上，示出了已经应用了使用自动选择的学习模型的图像质量改善处理的断层图像1111和OCTA图像1101。在图11B所示的报告画面1100上，示出了已经应用了使用根据操作者的指令的学习模型的图像质量改善处理的断层图像1111和OCTA图像1102。此外，在图11A和图11B所示的报告画面1100上，示出了用于改变应用于OCTA图像的图像质量改善处理的处理指定部分1120。

显示在图11A所示的报告画面1100上的OCTA图像1101是黄斑区域中的深层毛细血管被可视化的OCTA图像。另一方面，使用由选择单元925自动选择的学习模型的应用于OCTA图像的图像质量改善处理是适合于径向乳头状毛细血管(RPC)的处理。因此，关于在图11A所示的报告画面1100上显示的OCTA图像1101，已经被应用于OCTA图像的图像质量改善处理对于在OCTA图像中提取的血管不是最佳处理。

因此，操作者通过输入单元260在处理指定部分1120中选择“深层毛细管”。响应于来自操作者的选择指令，选择单元925将图像质量改善单元224使用的学习模型改变为使用与黄斑区域的深层毛细血管有关的OCTA图像作为训练数据进行了学习的学习模型。

图像质量改善单元224使用由选择单元925改变的学习模型，再次对OCTA图像进行图像质量改善处理。如图11B所示，显示控制单元250使由图像质量改善单元224新生成的高质量OCTA图像1102显示在显示单元270上。

因此，通过将选择单元925构造为响应于操作者的指令而改变学习模型，操作者可以针对同一OCTA图像重新指定要进行的合适的图像质量改善处理。此外，图像质量改善处理的指定可以进行任意次数。

这里，已经示出了控制单元900被构造为使得可以手动改变要应用于OCTA图像的图像质量改善处理的示例。在这方面，控制单元900也可以被构造为使得可以手动改变要应用于断层图像或强度en-face图像等的图像质量改善处理。

此外，尽管图11A和图11B所示的报告画面是在图像质量改善处理之前和之后的图像之间切换显示的形式，但是报告画面可以是以并置方式或叠置方式显示图像质量改善处理之前和之后的图像的形式。另外，处理指定部分1120的形式不限于图11A和图11B所示的形式，并且可以是允许发出关于图像质量改善处理或学习模型的指令的任何形式。此外，图11A和图11B所示的图像质量改善处理的种类是一个示例，并且还可以包括根据用于学习模型的训练数据的其他种类的图像质量改善处理。

此外，类似于变型例2，可以同时显示应用了图像质量改善处理的多个图像。此时，还可以采用使得可以做出关于要应用的图像质量改善处理的指定的构造。这种情况下的报告画面的示例如图12A和图12B所示。

图12A和图12B各自示出了在图像质量改善处理之前和之后的多个图像之间切换显示的报告画面的示例。在图12A所示的报告画面1200上，示出了图像质量改善处理之前的OCTA图像1201。在图12B所示的报告画面1200上，示出了已经根据操作者的指令而应用了图像质量改善处理的OCTA图像1202。此外，在图12A和图12B所示的报告画面1200上，示出了用于改变应用于OCTA图像的图像质量改善处理的处理指定部分1220。

在这种情况下，选择单元925根据使用处理指定部分1220发出指令所针对的图像质量改善处理来选择学习模型，作为要由图像质量改善单元224使用的学习模型。图像质量改善单元224使用由选择单元925选择的学习模型对多个OCTA图像1201进行图像质量改善处理。显示控制单元250使所生成的具有高图像质量的多个OCTA图像1202同时显示在报告画面1200上，如图12B所示。

请注意，尽管以上描述了针对OCTA图像的图像质量改善处理，但是关于针对断层图像或强度en-face图像等进行的图像质量改善处理，还可以根据操作者的指令选择和改变学习模型。请注意，在图像质量改善处理之前和之后的多个图像也可以以并置方式或叠置方式显示在报告画面上。在这种情况下，也可以同时显示根据操作者的指令应用了图像质量改善处理的多个图像。

(实施例3)

在实施例1和2中，图像质量改善单元224在断层图像或OCTA图像被摄像之后自动执行图像质量改善处理。然而，使用图像质量改善单元224执行的学习模型来进行图像质量改善处理有时可能会花费很长时间。此外，通过运动对比度生成单元222生成运动对比度数据和通过en-face图像生成单元223生成OCTA图像也会花费时间。因此，在摄像后等待图像质量改善处理完成之后显示图像的情况下，摄像后可能需要很长时间才能显示图像。

在这方面，当使用OCT装置对被检眼进行摄像时，在某些情况下，由于被检眼的眨眼或无意识移动等而不能成功地进行摄像。因此，通过允许操作者在早期确认摄像是否成功，可以增强OCT装置的便利性。因此，在实施例3中，OCT装置被构造为使得在生成和显示高质量OCTA图像之前，可以在早期通过基于通过对被检眼进行摄像而获得的断层信息显示强度en-face图像或OCTA图像来对摄像的图像进行确认。

在下文中，参照图13描述根据本实施例的OCT装置。请注意，由于根据本实施例的OCT装置的构造与根据实施例1的OCT装置1的构造类似，因此与图1中示出的部件相同的部件由与实施例1中的附图标记相同的附图标记标示，并且在下文中省略对这些部件的描述。在下文中，以与根据实施例1的OCT装置1的不同之处为中心，对根据本实施例的OCT装置进行描述。

图13是根据本实施例的一系列图像处理操作的流程图。首先，在步骤S1301中，获得单元210获得通过由OCT摄像单元100对被检眼E进行摄像而获得的多项三维断层信息。

由于步骤S1302与根据实施例1的步骤S502相同，因此这里省略其描述。在步骤S1302中生成三维断层图像时，处理进入步骤S1303。

在步骤S1303中，en-face图像生成单元223通过将在步骤S1302中生成的三维断层图像投影在二维平面上来生成眼底的正面图像(强度en-face图像)。其后，在步骤S1304中，显示控制单元250在显示单元270上显示所生成的强度en-face图像。

由于步骤S1305和步骤S1306与根据实施例1的步骤S503和S504相同，因此这里省略对这些步骤的描述。在步骤S1306中生成OCTA图像时，处理进入步骤S1307。在步骤S1307中，显示控制单元250使显示单元270从显示强度en-face图像切换为显示在步骤S1306中生成的图像质量改善处理之前的OCTA图像。

在步骤S1308中，类似于根据实施例1的步骤S505，图像质量改善单元224使用学习模型使在步骤S1306中生成的OCTA图像经过图像质量改善处理，从而生成高质量OCTA图像。在步骤S1309中，显示控制单元250使显示单元270从显示图像质量改善处理之前的OCTA图像切换为显示所生成的高质量OCTA图像。

如上所述，在获得单元210获得OCTA图像之前，根据本实施例的显示控制单元250使强度en-face图像(第三图像)显示在显示单元270上，该强度en-face图像是基于在被检眼的深度方向上获得的断层数据而生成的正面图像。此外，在获得OCTA图像之后，显示控制单元250立即使显示单元270从显示强度en-face图像切换为显示OCTA图像。另外，在图像质量改善单元224生成高质量OCTA图像之后，显示控制单元250使显示单元270从显示OCTA图像切换为显示高质量OCTA图像。

因此，操作者可以在摄像之后立即检查被检眼的正面图像，并且可以立即确定摄像是否成功。此外，由于在生成OCTA图像之后立即显示OCTA图像，所以操作者可以在早期确定是否已经适当地获得了用于生成运动对比度数据的多项三维断层信息。

请注意，关于断层图像或强度en-face图像等，通过在进行图像质量改善处理之前显示断层图像或强度en-face图像，操作者可以在早期确定摄像是否成功。

尽管在本实施例中，用于生成运动对比度数据的处理(步骤S1305)在用于显示强度en-face图像的处理(步骤S1304)之后开始，但是，开始用于生成运动对比度数据的处理的定时并不限于此。例如，运动对比度生成单元222可以与用于生成强度en-face图像的处理(步骤S1303)或用于显示强度en-face图像的处理(步骤S1304)同时开始用于生成运动对比度数据的处理。类似地，图像质量改善单元224可以与用于显示OCTA图像的处理(步骤S1307)同时开始图像质量改善处理(步骤S1308)。

(实施例4)

在实施例1中，描述了切换显示图像质量改善处理之前和之后的OCTA图像的示例。相比之下，在实施例4中，在图像质量改善处理之前和之后的图像之间进行比较。

在下文中，参照图14和图15描述根据本实施例的OCT装置。请注意，由于除了控制单元之外，根据本实施例的OCT装置的构造与根据实施例1的OCT装置1的构造相同，因此与图1中示出的部件相同的部件由与实施例1中的附图标记相同的附图标记标示，并且在下文中省略对这些部件的描述。在下文中，以与根据实施例1的OCT装置1的不同之处为中心，对根据本实施例的OCT装置进行描述。

图14是示出根据本实施例的控制单元1400的示意构造的图。请注意，除了图像处理单元1420和比较单元1426之外，根据本实施例的控制单元1400的部件与根据实施例1的控制单元200的各部件相同。因此，与图2中示出的部件相同的部件由与实施例1中的附图标记相同的附图标记标示，并且在下文中省略对这些部件的描述。

除了断层图像生成单元221、运动对比度生成单元222、en-face图像生成单元223和图像质量改善单元224之外，在控制单元1400的图像处理单元1420中还配设比较单元1426。

比较单元1426将图像质量改善单元224进行图像质量改善处理之前的图像(原始图像)与进行图像质量改善处理之后的图像之间进行比较。更具体地，比较单元1426比较图像质量改善处理之前和之后的图像，并且计算图像质量改善处理之前和之后的图像中的对应像素位置处的像素值之间的各差。

然后，比较单元1426根据差值的大小生成有颜色的彩色图图像。例如，在图像质量改善处理之后的图像的像素值相对于图像质量改善处理之前的图像的像素值更大的情况下，使用暖色(黄色至橙色至红色)色调，而在图像质量改善处理之后的图像的像素值更小的情况下，使用冷色(黄绿色至绿色至蓝色)色调。通过使用这种颜色方案，可以容易地识别出在彩色图图像上由暖色指示的位置是通过图像质量改善处理而被恢复(或新创建)的组织。类似地，可以容易地识别出在彩色图图像上由冷色指示的位置是通过图像质量改善处理已经去除的噪声(或者已经擦除的组织)。

请注意，所讨论的彩色图图像的颜色方案是一个示例。例如，可以根据期望的构造来任意设置彩色图图像的颜色方案，例如，应用根据图像质量改善处理之后的图像中的像素值的大小相对于图像质量改善处理之前的图像中的像素值而不同的色调的颜色方案。

显示控制单元250可以将由比较单元1426生成的彩色图图像叠置在图像质量改善处理之前的图像上或图像质量改善处理之后的图像上，并且将所得的叠置图像显示在显示单元270上。

接下来，参照图15描述根据本实施例的一系列图像处理操作。请注意，由于步骤S1501至步骤S1505与根据实施例1的步骤S501至S505相同，因此这里省略对这些步骤的描述。当在步骤S1505中由图像质量改善单元224生成高质量OCTA图像时，处理进入步骤S1506。

在步骤S1506中，比较单元1426将在步骤S1504中生成的OCTA图像与在步骤S1505中生成的高质量OCTA图像进行比较，以计算各像素值之间的差，并基于各像素值之间的差来生成彩色图图像。请注意，代替高图像质量处理之前和之后的图像中的像素值之间的差，比较单元1426可以使用诸如通过使用高图像质量处理之前和之后的图像之间的像素值的比率或相关值等其他方法进行图像之间的比较，并且可以基于比较结果生成彩色图图像。

在步骤S1507中，显示控制单元250将彩色图图像叠置在图像质量改善处理之前的图像上或图像质量改善处理之后的图像上，并且将所得的叠置图像显示在显示单元270上。此时，显示控制单元250可以针对该彩色图设置透明度，以确保彩色图图像不遮挡叠置有彩色图图像的图像，并使彩色图图像以叠置方式显示在目标图像上。

此外，在彩色图图像中，显示控制单元250可以在图像质量改善处理之前和之后的图像之间的差小的位置处将透明度设置为高值(彩色图图像的像素值低)，或者可以设置透明度，以使差小于或等于预定值的位置完全透明。通过以这种方式设置透明度，可以以有利的方式在视觉上识别在彩色图图像下方显示的图像和彩色图图像两者。请注意，关于彩色图图像的透明度，比较单元1426还可以生成包括透明度设置的彩色图图像。

如上所述，根据本实施例的控制单元1400包括比较单元1426，比较单元1426将第一医学图像和进行了图像质量改善处理的第二医学图像进行比较。比较单元1426计算第一医学图像和第二医学图像之间的差，并基于该差生成有颜色的彩色图图像。显示控制单元250基于通过比较单元1426获得的比较结果来控制显示单元270的显示。更具体地，显示控制单元250将彩色图图像叠置在第一医学图像或第二医学图像上，并将所得的叠置图像显示在显示单元270上。

因此，通过观察叠置在图像质量改善处理之前和之后的图像上的彩色图图像，可以容易地确认由图像质量改善处理引起的图像之间的变化。因此，即使通过图像质量改善处理在图像中将实际上不存在的组织可视化，或者通过图像质量改善处理从图像中擦除了原来存在的组织，操作者也可以更容易地识别出这种组织，并且可以更容易地确定组织的真实性。此外，根据彩色图图像的颜色方案，操作者可以容易地识别该位置是通过图像质量改善处理新可视化的位置，还是是通过图像质量改善处理擦除的位置。

请注意，显示控制单元250可以根据来自操作者的指令来启用或禁用彩色图图图像的叠置显示。用于打开或关闭彩色图图像的叠置显示的操作可以同时应用于显示在显示单元270上的多个图像。在这种情况下，比较单元1426可以针对图像质量改善处理之前和之后的对应图像中的各个图像生成彩色图图像，并且显示控制单元250可以在图像质量改善处理之前的对应图像或图像质量改善处理之后的图像上叠置显示该彩色图图像。此外，显示控制单元250可以在显示彩色图图像之前使图像质量改善处理之前的图像或图像质量改善处理之后的图像显示在显示单元270上。

请注意，尽管以OCTA图像为例描述了本实施例，但是在对断层图像或强度en-face图像等进行图像质量改善处理的情况下，可以进行类似的处理。此外，根据本实施例的比较处理和用于显示彩色图的处理也可以应用于根据实施例2和实施例3的OCT装置。

(变型例4)

此外，比较单元1426可以对图像质量改善处理之前和之后的图像进行比较，并且根据比较单元1426的比较结果，显示控制单元250可以在显示单元270上显示警告。更具体地，在由比较单元1426计算出的图像质量改善处理之前和之后的图像中的像素值之间的差大于预定值的情况下，显示控制单元250在显示单元270上显示警告。根据这样的构造，在所生成的高质量图像中通过学习模型生成实际上不存在的组织或者擦除了原本存在的组织的情况下，能够引起操作者注意该事实。请注意，差和预定值之间的比较可以由比较单元1426进行，或者可以由显示控制单元250进行。此外，代替差，诸如差的平均值等统计值可以与预定值进行比较。

另外，显示控制单元250可以被构造为使得在图像质量改善处理之前和之后的图像之间的差大于预定值的情况下，在显示单元270上不显示进行图像质量改善处理之后的图像。在这种情况下，在生成的高质量图像中，如果生成了实际上不存在的组织或者通过学习模型擦除了原来存在的组织，则可以抑制基于所讨论的高质量图像发生误诊。请注意，差和预定值之间的比较可以由比较单元1426进行，或者可以由显示控制单元250进行。此外，代替差，诸如差的平均值等统计值可以是与预定值进行比较。

(变型例5)

此外，比较单元1426可以在通过分别对图像质量改善处理之前和之后的图像进行分析而获得的分析结果之间进行比较。更具体地，针对各个像素位置，比较单元1426计算通过分别对图像质量改善处理之前和之后的图像进行分析而获得的分析结果之间的差(增加/减少的程度或衰减的程度)。例如，如图16A所示，从图像质量改善处理之前和之后的图像(获得图像1601、高质量图像1602)获取差分图像1603，并使用不同的颜色等区分在差分图像中差分(difference)增加的位置和差分减少的位置，并在显示单元270上显示易于用户理解的诸如图像改善位置的信息。请注意，差分图像1603可以叠置在图像质量改善处理之前和之后的图像(获得图像1601和高质量图像1602)中的至少一个上。此外，可以显示诸如评估图1604等的各种图显示(map displays)，来示出不以像素为单位的具有较大变化的区域。具体地，这样的图可以在显示单元270上被显示为，示出被划分为多个象限的各个区域的评估结果的评估图。此时，例如，如显示区域1607所示，可以想到两个、四个或八个象限等作为象限的数量，但是象限的数量不限于此。此外，在象限数量为两个的情况下，例如，评估图可以被划分为上部区域和下部区域，或者可以被划分为左侧区域和右侧区域。此外，可以想到，象限的中心是例如黄斑区域或视神经头等关注部位，但是本变型例不限于此。此外，可以采用以下构造：操作者可以将图像质量改善处理后的图像或差分图像上的任意位置指定为象限的中心。此外，被计算为通过分别对图像质量改善处理之前和之后的图像进行分析而获得的分析结果之间的差分的结果匹配率也可以转换为数字形式并显示，例如，作为图像质量改善处理的评估结果1605，或图16B所示的图像质量改善处理的评估值1615。此时，关于评估图1604的各个象限，例如可以以如下的方式通过阴影指示各象限的评估：评估值越高显示的阴影越深，反之，评估值越低显示的阴影越浅，或者可以针对各个象限显示评估值。在这方面，存在图像质量改善处理会将由眼睛移动或眨眼等引起的伪影错误地识别为沿主扫描方向延伸的血管的可能性。在这种情况下，例如，在视神经头被设置在象限中心的情况下，由于在黄斑区域侧有许多沿主扫描方向的血管，则存在匹配率低于黄斑区域的相对侧的可能性。因此，通过示出各个象限的评估值，操作者可以有效地评估图像质量改善处理的结果。

这里，分析结果是与图16B中的显示区域1612例示的至少一个分析参数有关的值。例如，分析结果是与血管有关的值(例如，血管面积密度、血管长度密度或血管长度)、与无血管区有关的值(例如，圆周长度、体积、面积或圆度)以及与水肿区(病变区域，诸如脉络膜新生血管部位)有关的值(例如，体积或面积)中的至少一者。此外，分析结果可以是，例如，与至少一个分析参数有关的值的二维图(分析图)。此时，显示控制单元250可以使由比较单元1426获得的比较结果(比较分析结果的结果)显示在显示单元270上。更具体地，如图16A中的评估图1604所示，显示控制单元250可使根据差分值的大小而着色的彩色图图像作为比较结果而显示在显示单元270上。此外，如图16A中的评估结果1605所示，在分析结果之间的差分大于预定值的情况下，显示控制单元250可使警告显示在显示单元270上。此外，显示控制单元250可以使分析结果之间的差分大于预定值的区域与分析结果之间的差分等于或小于预定值的其它区域可区分地显示在显示单元270上。进一步地，在差分大于预定值的像素的数量大于另一预定值的情况下，显示控制单元250可使警告显示在显示单元270上。此外，可以同时大量显示这些显示。

根据这样的构造，在由学习模型生成的高质量图像中，例如，在生成了实际不存在的组织的情况下，或者擦除了原本存在的组织的情况下，能够容易地引起操作者注意该事实。请注意，代替各个像素位置的差，诸如差的平均值等统计值可以与预定值进行比较。在这种情况下，如果将图像质量改善处理之前和之后的图像只通过相互直接比较来进行评估，则存在未被关注的地方也会被评估的可能性。另一方面，根据分析的种类(例如，血管密度或特定层的厚度)，存在各种关注部位(例如，血管和特定层)。因此，可以考虑，当对图像质量改善处理之前和之后的图像的分析结果进行比较和评估时，与通过将图像彼此直接比较来评估图像的情况相比，可以更有效地获得关注部位的评估结果。请注意，可以采用以下构造：使得可以根据图像的种类有选择地执行上述图像之间的直接比较和图像的分析结果之间的比较，并且使得执行各种比较之后的任何评估结果都可以有选择地显示在显示单元270上。例如，在OCTA图像的情况下，由于存在如上所述的伪影被错误地识别为血管而出现问题的可能性，因此通过比较分析结果而获得的评估值可被选择性地显示在显示单元270上。

(变型例6)

此外，可以在图像质量改善处理之前和之后，由比较单元1426对通过在不同时间对被检眼的大致相同的位置进行摄像而获得的多个图像，以及通过使用前述多个图像进行图像质量改善处理而获得的多个图像进行比较。更具体地，关于多个图像，比较单元1426计算在图像质量改善处理之前和之后的图像中彼此对应的像素位置处的像素值之间的差分。此时，关于多个图像，显示控制单元250可使由比较单元1426获得的比较结果(差分)显示在显示单元270上。通过这种方式，操作者可以通过考虑各个比较结果(差分)来选择多个图像中的任何图像。此外，显示控制单元250可以使统计值，例如与多个图像对应的多个比较结果(差分)的平均值，显示在显示单元270上。此外，比较单元1426可以将通过平均多个图像而获得的单一图像与通过使用所讨论的单一图像进行图像质量改善处理而获得的图像进行比较。注意，在多个图像是基于与被检眼的深度方向上的范围有关的信息而生成的正面图像的情况下，如果深度方向上的范围彼此相同则更好。此时，例如，在根据操作者的指令设置了其中一个图像的深度方向的范围之后，可以设置其他图像的深度方向的范围。

为了简单起见，在本变型例中描述获得两个OCTA图像的情况。如图17中所示的第一获得图像1701和第二获得图像1703所示，获得两个OCTA图像。获取通过使第一获得图像1701和第二获得图像1703经过图像质量改善处理而获得的图像(在图17中被描述为“第一高质量图像”和“第二高质量图像”)。首先，如在第一获得图像1701的情况下，当在获取OCTA图像期间诸如玻璃体这样的不透明物体进入摄像范围时，会输出存在阴影1708的OCTA图像。因此，当第一获得图像1701经过图像质量改善处理时，输出具有阴影1709的第一高质量图像1702。此外，当使如在第二获得图像1703的情况下没有阴影的图像经过图像质量改善时，图像质量改善被适当地进行，并且可以获得第二高质量的图像1704。因此，通过将关于第一获得图像1701和第二获得图像1703的图像质量改善处理的评估分别呈现为数值，可以支持医生的适当确定。此外，由于存在不透明等影响的图像具有低评估值，因此可以优先显示具有高评估值的图像。例如，可以选择性地显示具有高评估值的图像，而不显示具有低评估值的图像。请注意，在第一获得图像1701和第二获得图像1703各自经过平均处理之后，可以进行图像质量改善处理。

(变型例7)

此外，在上述各种实施例和变型例中，通过使用具有多个图像质量改善单元(通过使用不同的训练数据进行学习而获得的多个学习模型)的装置执行相似评估，可以将不同种类的诊断信息呈现给医生。这里，如图16B所示的第二图像质量改善处理1613的情况，多个图像质量改善单元是可以分别使用通过利用由主要读取中心选择的训练图像进行学习而获得的学习模型来选择性地执行图像质量改善处理的单元。例如，通过选择多个设施(医院或实验室等)中的任何一个作为与预先准备好的第一图像质量改善处理不同的第二图像质量改善处理1613，用户不仅可以使通过进行第一图像质量改善处理而获得的图像(第一高质量图像1609)显示，而且还可以使通过进行第二图像质量改善处理而获得的图像(第二高质量图像1611)显示。此外，通过将国家名称(种族)与设施名称一起描述，可以通过第二图像质量改善处理1613适当地改善基因依赖性疾病或独特的眼底图像(近视、正常张力青光眼、血管扩张等)的图像质量。此时，在通过比较获得图像1608和第一高质量图像1610(1609)而获得诸如评估值1615的评估结果之后，可以通过将获得图像1608和第二高质量图像1611进行比较来获得诸如评估值1614的评估结果。因此，例如，根据各个评估结果，可以选择适当的图像质量改善处理，并将其反映在下一个诊断和随后的诊断中。此外，关于变型例4至变型例7所述的图像质量改善处理的评估，当将处理评估为适当(当获得多个图像时选择的图像，或在多种图像质量改善处理当中选择的处理)时，通过对关于设施名称和如显示区域1606或显示区域1706中所示的处理内容的数据进行发送，可以进行增量学习，从而使图像质量改善处理更加灵活。增量学习可以在服务器上进行，或者可以在基于云的设备中进行，或者在设备制造商处进行。此外，通过进行增量学习，如在变型例6中，可以通过进行图像质量改善处理从有阴影的图像1701获得没有阴影的图像1704。

在这种情况下，为了提高图像质量改善处理的学习精度，可以进行增量学习，在增量学习中，将通过将匹配率转换为数值形式而获得的前述评估值在一定程度上较高的图像对用作训练数据。因此，可以采用以下构造：使得如图17中的显示区域1707所示，可以选择用作用于确定是否利用相关图像作为增量学习的训练数据的标准的评估值。例如，在可以选择75％和85％中的一者作为前述标准的情况下，尽管如果选择评估值85％则训练数据的质量会更高，但是存在无法获得大量的训练数据项的可能性，而另一方面，虽然如果选择评估值75％则包括质量相对较低的训练数据，但有可能获得大量的训练数据项。注意，可选择的评估值不限于这些评估值，还可以采用从三个或更多的评估值中进行选择的构造。此外，在对多个图像进行图像质量改善处理的情况下，可以采用能够针对各个图像选择前述标准的构造。此外，可以采用预先准备好的评估值作为标准，还可以采用与设置为标准的评估值相比存在较大差分时不将图像用于增量学习的构造。

如前述变型例4至变型例7所述，通过使用经历图像质量改善处理的图像和源图像进行评估，能够支持医生进行关于使用经历图像质量改善处理的图像进行诊断是否良好的决定。根据这些数值，医生可以决定进行重新检查(重新获取OCTA图像)。另外，可以将阈值存储在装置中，并且可以自动进行重新检查。通过向具有评估功能的装置添加增量学习功能，能够提供更合适的图像质量改善处理程序。

(变型例8)

在上述各种实施例和变型例中，显示控制单元250可以使显示单元270显示根据来自检查者的指令从图像质量改善单元224生成的高质量图像和输入图像当中选择的图像。此外，响应于来自检查者的指令，显示控制单元250可以将显示在显示单元270上的图像从摄像图像(输入图像)切换为高质量图像。换句话说，显示控制单元250可以响应于来自检查者的指令将对低质量图像的显示改变为对高质量图像的显示。此外，显示控制单元250可以响应于来自检查者的指令将高质量图像的显示改变为低质量图像的显示。

另外，图像质量改善单元224可以响应于来自检查者的指令，开始由图像质量改善引擎(用于改善图像质量的学习模型)进行的图像质量改善处理(将图像输入到图像质量改善引擎中)，并且显示控制单元250可以使显示单元270显示由图像质量改善单元224生成的高质量图像。相比之下，当摄像装置(OCT摄像单元100)对输入图像进行摄像时，图像质量改善引擎可以基于输入图像自动生成高质量图像，并且显示控制单元250可以响应于来自检查者的指令使显示单元270显示高质量图像。这里，术语“图像质量改善引擎”包括进行上述图像质量改善处理的学习模型。

请注意，也可以针对分析结果的输出类似地进行这些处理操作。换句话说，显示控制单元250可以响应于来自检查者的指令将对低质量图像的分析结果的显示改变为对高质量图像的分析结果的显示。此外，显示控制单元250可以响应于来自检查者的指令将对高质量图像的分析结果的显示改变为对低质量图像的分析结果的显示。自然地，响应于来自检查者的指令，显示控制单元250可以将对低质量图像的分析结果的显示改变为对低质量图像的显示。此外，响应于来自检查者的指令，显示控制单元250可以将对低质量图像的显示改变为对低质量图像的分析结果的显示。而且，显示控制单元250可以响应于来自检查者的指令将对高质量图像的分析结果的显示改变为对高质量图像的显示。此外，响应于来自检查者的指令，显示控制单元250可以将对高质量图像的显示改变为对高质量图像的分析结果的显示。

另外，显示控制单元250可以响应于来自检查者的指令，将对低质量图像的分析结果的显示改变为对低质量图像的不同种类的分析结果的显示。此外，显示控制单元250可以响应于来自检查者的指令，将对高质量图像的分析结果的显示改变为对高质量图像的不同种类的分析结果的显示。

在这种情况下，可以进行对高质量图像的分析结果的显示，使得对高质量图像的分析结果以任何透明度以叠置方式显示在高质量图像上。此外，可以进行对低质量图像的分析结果的显示，使得对低质量图像的分析结果以任何透明度以叠置方式显示在低质量图像上。此时，改变为对分析结果的显示例如可以是改变为将分析结果以任何透明度叠置在正在显示的图像上的状态。此外，改变为对分析结果的显示可以是例如改变为通过以任何透明度使分析结果和图像经过融合处理而获得的图像(例如，二维图)的显示。

请注意，根据本变型例的与用于显示图像、图像质量改善以及图像分析等的处理有关的图像也可以是断层图像，而不仅仅是OCTA图像(运动对比度正面图像)。此外，图像的种类不限于通过B扫描获取的断层图像，并且可以是诸如SLO(扫描激光检眼镜)图像、眼底图像或荧光眼底图像等不同图像。在这种情况下，用于执行图像质量改善处理的用户界面可以是用于指示针对不同种类的多个图像执行图像质量改善处理的用户界面，或者可以是用于从不同种类的多个图像中选择任何图像并指示执行图像质量改善处理的用户界面。

例如，在使通过B扫描获取的断层图像经过图像质量改善并显示图像的情况下，可以使显示的断层图像中的至少一个经过图像质量改善并显示。此外，可以在正在显示OCTA正面图像的区域中显示经过了图像质量改善的断层图像。此外，通过B扫描获取的断层图像可以是利用运动对比数据获得的通过B扫描获取的断层图像，而不仅仅是强度断层图像。请注意，经过了图像质量改善并且显示的断层图像的数量可以仅是一个断层图像或者可以是多个断层图像。在仅显示一个断层图像的情况下，可以使通过例如圆形扫描等获得的断层图像经过图像质量改善并显示。此外，在显示多个断层图像的情况下，可以显示在副扫描方向上在彼此不同的位置处获取的断层图像，并且例如，在使通过交叉扫描等获得的多个断层图像经过图像质量改善并显示的情况下，可以显示在不同扫描方向上的各个图像。请注意，由于通过交叉扫描等获得的多个断层图像的图像特征在许多情况下彼此相似，因此，例如，可以使用通过使用这些断层图像作为训练数据进行学习而获得的共同学习模型，使在各个扫描方向上获得的图像经过图像质量改善。此外，例如，在使通过径向扫描等获得的多个断层图像经过图像质量改善并显示的情况下，一些选择的(多个)断层图像(例如，在关于参考线彼此对称的位置处的两个断层图像)可以各自显示。此外，可以在显示画面上显示在不同日期和时间获得的多个断层图像以用于后续观察，并且显示用于图像质量改善的指令或分析结果(例如，特定层的厚度)。此外，可以基于存储在数据库中的信息，对断层图像执行图像质量改善处理。

类似地，在使SLO眼底图像经过图像质量改善并显示所得图像的情况下，例如，可以使显示的SLO眼底图像经过图像质量改善并显示。另外，在使强度en-face图像经过图像质量改善并显示所得图像的情况下，例如，可以使显示的强度en-face图像经过图像质量改善并显示。此外，可以在显示画面上显示在不同日期和时间获得的多个SLO眼底图像或强度en-face图像以用于后续观察，并且显示用于图像质量改善的指令或分析结果(例如，特定层的厚度)。此外，可以通过基于存储在数据库中的信息，对SLO眼底图像或强度en-face图像执行图像质量改善处理。请注意，断层图像、SLO眼底图像和强度en-face图像的显示是示例，并且这些图像可以根据期望的构造以任何形式显示。此外，可以基于单个指令使OCTA正面图像、断层图像、SLO眼底图像和强度en-face图像中的至少两个或更多个经过图像质量改善并显示。

此外，根据上述各种实施例和变型例，在图像处理单元220中，除了图像质量改善单元224等之外，还可以配设分析单元(未图示)。分析单元基于针对各区域设置的分析条件，使由图像质量改善单元224生成的高质量断层图像经过图像分析。这里，作为针对各区域设置的分析条件，例如，针对视网膜部的区域和脉络膜部的区域设置层提取或血管提取，并且针对玻璃体部的区域设置玻璃体或玻璃体脱落的检测。请注意，分析条件可以被预先设置或者可以由操作者适当地设置。在将层提取设置为分析条件的情况下，分析单元针对设置了所讨论的分析条件的区域进行层提取，并且可以针对提取层进行层厚度值测量等。此外，在将血管提取设置为分析条件的情况下，分析单元针对设置了所讨论的分析条件的区域进行血管提取，并且可以针对提取的血管进行血管密度测量等。另外，在将玻璃体或玻璃体脱落的检测设置为分析条件的情况下，分析单元针对设置了所讨论的分析条件的区域进行玻璃体或玻璃体脱落的检测。其后，分析单元可以对检测到的玻璃体或玻璃体脱落进行量化，并且确定玻璃体或玻璃体脱落的厚度、宽度、面积或体积等。请注意，分析条件不限于上述条件，并且可以根据期望构造任意设置。例如，可以针对玻璃体部的区域设置玻璃体的纤维结构的检测。在这种情况下，分析单元可以对检测到的玻璃体的纤维结构进行量化，并且确定纤维结构的厚度、宽度、面积或体积等。此外，根据分析条件的分析处理也不限于上述处理，并且可以根据期望的构造任意设置。此外，显示控制单元250可以使由分析单元进行的图像分析的结果与高质量断层图像一起或者与高质量断层图像分开地显示在显示单元270上。

(变型例9)

在上述各种实施例和变型例中的显示控制单元250可以使诸如所需层的厚度或各种血管密度等分析结果显示在显示画面中的报告画面上。此外，可以显示与关注的部位有关的参数值(分布)作为分析结果，该关注部位包括视神经头、黄斑区、血管区域、神经束、玻璃体区域、黄斑区域，脉络膜区域、巩膜区域、筛板层区域、视网膜层边界、视网膜层边界边缘、感光细胞、血细胞、血管壁、血管内壁边界、血管外边界、神经节细胞、角膜区域、角区域和施莱姆氏管等中的至少一个。此时，例如，可以通过分析经过了各种伪影去除处理的医学图像来显示精确的分析结果。请注意，伪影可以是，例如，由血管区域等的光吸收引起的虚假图像区域，投影伪影，或者由于被检眼的状态(运动或眨眼等)而在测量光的主扫描方向上出现的正面图像中的带状伪影。此外，伪影可以是任何种类的，只要它是例如，在每次摄像时在被检体的预定部位的医学图像上随机地出现摄像故障区域即可。此外，可以显示与包括上述伪影的种类中的至少一种的区域(摄像故障区域)有关的参数的值(分布)作为分析结果。此外，可以显示与包括诸如玻璃疣、新血管部位、白细胞(硬性渗出液)、假性粉刺等至少一个异常部位的区域有关的参数的值(分布)作为分析结果。此外，可以显示通过将使用标准数据库获得的标准值或标准范围与分析结果进行比较而获得的比较结果。

可以使用分析图或使用指示与各个划分区域等相对应的统计值的扇区来显示分析结果。请注意，可以使用通过学习作为训练数据的医学图像的分析结果而获得的学习模型(分析结果生成引擎，或用于生成分析结果的学习模型)来生成分析结果。此时，学习模型可以是通过使用以下训练数据来学习而获得的模型：包括医学图像和对医学图像的分析结果的训练数据，或者包括医学图像和对与相关医学图像的种类不同的医学图像的分析结果的训练数据等。此外，学习模型可以是通过使用包括输入数据的训练数据进行学习而获得的模型，在该输入数据中，将诸如强度正面图像和运动对比度正面图像等预定部位的不同种类的多个医学图像取为集合。这里，强度正面图像与强度En-face图像相对应，而运动对比度正面图像与OCTA En-face图像相对应。此外，可以采用以下构造：使得显示使用高质量图像获得的分析结果，该高质量图像是通过用于改善图像质量的学习模型生成的。请注意，用于改善图像质量的学习模型可以是通过使用如下的训练数据进行学习而获得的学习模型，该训练数据采用第一图像作为输入数据并且采用比第一图像质量高的第二图像作为正确答案数据。此时，第二图像例如是通过对多个第一图像进行平均处理(例如对获得且对准的多个第一图像的平均处理)等而增强了对比度或减少了噪声等的高质量图像等。

另外，包括在训练数据中的输入数据可以是通过用于改善图像质量的学习模型生成的高质量图像，或者可以是由低质量图像和高质量图像组成的集合。此外，训练数据可以是，例如，通过标注输入数据(对输入数据进行注释)而获得的数据，对于该输入数据，采用包括通过对分析区域进行分析而获得的分析值(例如，平均值或中间值)、包括分析值的表、分析图和诸如图像中的扇区等分析区域的位置等当中的至少一种信息的信息作为(监督学习的)正确答案数据。请注意，可以采用以下构造：使得响应于来自检查者的指令而显示通过用于分析结果生成的学习模型而获得的分析结果。

此外，在上述各种实施例和变型例中，显示控制单元250可以使各种诊断结果，例如与青光眼或年龄相关的黄斑变性有关的结果，显示在显示画面中的报告画面上。此时，例如，可以通过分析经过了如上所述各种伪影去除处理的医学图像来显示精确的诊断结果。此外，在诊断结果中，可以在图像上显示指定的异常部位等的位置，并且可以使用字符等来显示异常部位等的状态。此外，可以显示对于异常部位的分类结果(例如，科廷的分类(Curtin's classification))，作为诊断结果。此外，作为分类结果，例如，可以显示指示各异常部位的可能性的信息(例如，指示百分比的数值)。另外，可以将使得医生能够对诊断进行确认所需的信息显示为诊断结果。例如，可以想到诸如进行额外的摄像的建议作为上述所需信息。例如，在OCTA图像中的血管区域中检测到异常部位的情况下，可以显示大意是建议医生使用能够比OCTA更详细地观察血管的造影剂额外地进行荧光摄像的信息。此外，诊断结果可以是关于被检体的医疗检查和治疗策略等的信息。此外，诊断结果可以是例如包括诊断、病变(异常部位)的种类或状态(程度)、病变在图像中的位置、病变相对于关注区域的位置、发现结果(解释发现结果等)、诊断的依据(肯定的医学支持信息等)、以及否定诊断的依据(否定的医学支持信息)中的至少一种的信息。此时，例如，与诸如根据检查者的指示输入的诊断的诊断结果相比，更可能将诊断结果显示为医学支持信息。此外，在使用多种医学图像的情况下，例如，可以区分地显示可作为诊断结果依据的医学图像的种类。

请注意，诊断结果可以是使用学习模型(诊断结果生成引擎，或用于生成诊断结果的学习模型)生成的结果，该学习模型是通过使用医学图像的诊断结果作为训练数据来学习而获得的。此外，学习模型可以是通过使用以下训练数据进行学习而获得的模型：包括医学图像和对医学图像的诊断结果的训练数据，或者包括医学图像和对与相关医学图像的种类不同的医学图像的诊断结果的训练数据等。此外，可以采用一种构造，使得显示使用高质量图像获得的诊断结果，该高质量图像是通过用于改善图像质量的学习模型生成的。

另外，包括在训练数据中的输入数据可以是由用于改善图像质量的学习模型生成的高质量图像，或者可以是由低质量图像和高质量图像组成的集合。此外，训练数据可以是，例如，通过标注输入数据(对输入数据进行注释)而获得的数据，对于该输入数据，采用包括诊断、病变(异常部位)的种类或状态(程度)、病变在图像中的位置、病变相对于关注区域的位置、发现结果(解释发现结果等)、诊断的依据(肯定的医学支持信息等)、以及否定诊断的依据(否定的医学支持信息)当中的至少一种信息的信息作为(监督学习的)正确答案数据。请注意，可以采用以下构造：使得响应于来自检查者的指令而显示通过用于诊断结果生成的学习模型而获得的诊断结果。

此外，在上述各种实施例和变型例中的显示控制单元250使关于如上所述的关注部位的部分区域、伪影区域或异常部位等的对象识别结果(对象检测结果)或分割结果显示在显示画面中的报告画面上。此时，例如，矩形框等可以被叠置在图像上的对象周围显示。此外，例如，可以将颜色等叠置在图像上的对象上显示。请注意，对象识别结果或分割结果可以是使用通过使用训练数据进行学习而获得的学习模型(对象识别引擎、用于对象识别的学习模型、分割引擎、用于分割的学习模型)生成的结果，在该训练数据中，在医学图像上将指示对象识别或分割的信息标注(注释)为正确答案数据。请注意，上述的分析结果生成或诊断结果生成可以通过利用上述的对象识别结果或分割结果来实现。例如，可以针对通过对象识别处理或分割处理获得的关注部位进行用于生成分析结果或用于生成诊断结果的处理。

此外，在检测到异常部位的情况下，可以使用生成对抗网络(GAN)或可变自动编码器(VAE)。例如，可以使用由生成器和鉴别器构成的DCGAN(深度卷积GAN)作为机器学习模型，该生成器是通过学习而获得以生成断层图像的生成器，该鉴别器是通过学习而获得的用于区分生成器生成的新断层图像与眼底的真实正面图像的鉴别器。

例如，在使用DCGAN的情况下，鉴别器使输入的断层图像经过编码以将断层图像转换为潜变量，并且生成器基于该潜变量来生成新的断层图像。此后，可以将输入断层图像与生成的新断层图像之间的差分提取为异常部位。此外，在使用VAE的情况下，例如，通过使用编码器对断层图像进行编码来将输入的断层图像转换为潜变量，并且通过使用解码器对潜变量进行解码来生成新的断层图像。此后，可以将输入的断层图像与生成的新断层图像之间的差分提取为异常部位。请注意，尽管已经以断层图像作为一个示例描述了输入数据的示例，但是眼前段的眼底图像或正面图像等也可以用作输入数据。

另外，图像处理单元220可以使用卷积自动编码器(CAE)来检测异常部位。在使用CAE的情况下，在学习期间将相同的图像作为输入数据和真值进行学习。因此，当在估计期间将存在异常部位的图像输入到CAE时，根据学习趋势输出没有异常部位的图像。之后，可以将输入到CAE的图像和从CAE输出的图像之间的差分作为异常部位提取。请注意，同样在这种情况下，不仅断层图像，而且眼前段的眼底图像或正面图像等也可以用作输入数据。

在这些情况下，图像处理单元220可以生成如下信息作为与异常部位有关的信息：该信息是与针对通过分割处理等被识别为各个不同的区域而使用生成对抗网络或自动编码器获得的医学图像与输入到生成对抗网络或自动编码器的医学图像之间的差分有关的信息。因此，可以预期到图像处理单元220将快速且精确地检测异常部位。这里，自动编码器的示例包括VAE和CAE。例如，图像处理单元220生成如下信息作为与异常部位有关的信息：该信息是关于使用生成对抗网络或自动编码器从各种医学图像获得的医学图像与输入到生成对抗网络或自动编码器的医学图像之间的差分有关的信息。此外，例如，显示控制单元250可以使与使用生成对抗网络或自动编码器从各种医学图像获得的医学图像与输入到生成对抗网络或自动编码器的医学图像之间的差分有关的信息，作为与异常部位有关的信息显示在显示单元270上。

此外，在患病的眼睛的情况下，图像特征会根据疾病的种类而有所不同。因此，可以针对各个疾病或各异常部位生成并准备在上述各种示例和变型例中使用的学习模型。在这种情况下，例如，控制单元200可以根据来自操作者的诸如疾病的种类或被检眼的异常部位等输入(指令)，来选择要用于处理的学习模型。请注意，针对各种疾病或各异常部位准备的学习模型不限于要用于检测视网膜层或用于生成区域标签图像等的学习模型，例如，可以是要在用于评估图像的引擎中或在用于分析等的引擎中使用的学习模型。此时，控制单元200可以使用单独准备的学习模型从图像中识别疾病的种类或被检眼的异常部位。在这种情况下，控制单元200可以基于使用单独准备的学习模型识别出的疾病的种类或异常部位，自动选择要在前述处理中使用的学习模型。请注意，用于识别疾病的种类或被检眼的异常部位的学习模型可以使用训练数据对来进行学习，对于该训练数据对，采用断层图像或眼底图像等作为输入数据，并且采用这些图像中的疾病的种类或异常部位作为真值。在这种情况下，对于训练数据的输入数据，可以独立地采用断层图像或眼底图像等作为输入数据，或者可以采用这些图像的组合作为输入数据。

此外，特别是用于诊断结果生成的学习模型可以是通过使用包括输入数据的训练数据进行学习而获得的学习模型，在该输入数据中，将作为被检体的预定部位的图像的不同种类的多个医学图像取为集合。此时，例如，可以想到将眼底的运动对比度正面图像和强度正面图像(或强度断层图像)取为集合的输入数据，作为训练数据中包括的输入数据。此外，例如，可以想到将眼底的断层图像(B扫描图像)和彩色眼底图像(或荧光眼底图像)取为集合的输入数据，作为训练数据中包括的输入数据。另外，不同种类的多个医学图像可以是任何种类的，只要医学图像是通过不同的模态、不同的光学系统或不同的原理等获得的即可。

此外，特别是用于诊断结果生成的学习模型可以是通过使用包括输入数据的训练数据进行学习而获得的学习模型，在该输入数据中，将被检体的不同部位的多个医学图像取为集合。此时，例如，可以想到将眼底的断层图像(B扫描图像)和眼前段的断层图像(B扫描图像)取为集合的输入数据，作为训练数据中包括的输入数据。此外，例如，也可以想到将眼底黄斑的三维OCT图像(三维断层图像)和通过眼底视神经头的圆形扫描(或光栅扫描)获得的断层图像取为集合的输入数据，作为训练数据中包括的输入数据。

请注意，包括在训练数据中的输入数据可以是被检体的不同部位和不同种类的多个医学图像。此时，例如，可以想到将眼前段的断层图像和彩色眼底图像取为集合的输入数据，作为训练数据中包括的输入数据。此外，上述各种学习模型可以是通过使用包括输入数据的训练数据进行学习而获得的学习模型，在该输入数据中，将作为被检体的预定部位的图像的不同摄像视角的多个医学图像取为集合。此外，训练数据中包括的输入数据可以是通过将多个医学图像接合在一起而获得的数据，该多个医学图像是例如，如全景图像的情况一样通过将预定部位在时间上划分为多个区域而获得的。此时，通过使用诸如全景图像的广角图像作为训练数据，由于诸如信息量大于窄角图像的情况中的信息量的事实的原因而有可能可以高精度地获取图像的特征值，因此可以增强各个处理的结果。例如，可以采用如下的构造：使得在估计时(预测时)，在广角图像中的多个位置处检测到异常部位的情况下，可以依次显示各个异常部位的放大图像。通过这种方式，由于例如可以有效率地查看多个位置处的异常部位，因此增强了检查者的便利性。例如，可以采用如下的构造，使得在这个时候检查者能够选择检测到异常部位的广角图像上的各位置，来显示所选位置处的异常部位的放大图像。此外，训练数据中包括的输入数据可以是将被检体的预定部位的在不同日期和时间获得的多个医学图像取为集合的输入数据。

此外，要显示上述的分析结果、诊断结果、对象识别结果和分割结果当中的至少一个结果的显示画面不限于报告画面。这种显示画面可以是，例如，摄像确认画面、用于后续观察的显示画面以及用于在摄像之前进行各种调整的预览画面(其上显示各种实时运动图像的显示画面)等当中的至少一个显示画面。例如，通过使使用上述各种学习模型获得的前述至少一个结果显示在摄像确认画面上，检查者甚至可在摄像之后立即检查精确的结果。此外，例如可以采用如下的构造：使得在识别特定被检体时，以叠置的方式在实时运动图像上显示包围被识别的被检体的框。在这个时候，在指示被检体识别结果的确定程度的信息(例如指示百分比的数值)超过阈值的情况下，例如可以通过诸如改变包围被检体的框的颜色等方式来强调地显示被识别的被检体。通过这种方式，检查者可以在实时运动图像上容易地区分被检体。此外，改变上述的低质量图像和高质量图像之间的显示可以是，例如，改变对低质量图像的分析结果和对高质量图像的分析结果之间的显示。

可以通过使用训练数据的机器学习来获得上述各种学习模型。例如，由多级神经网络构成的深度学习是一种机器学习。此外，例如，卷积神经网络(CNN)可以用于作为机器学习模型的多级神经网络的至少一部分。另外，与自动编码器有关的技术可以用于多级神经网络的至少一部分。此外，可以将与反向传播有关的技术(错误反向传播方法)用于学习。此外，可以将随机地使各个单元(各个神经元)失活的技术(退出)用于学习。此外，可以将在应用激活函数(例如，ReLu函数)之前对发送到多层神经网络的各个层的数据进行归一化的技术(批量归一化)用于学习。然而，该机器学习不限于深学习，并且可以采用任何学习，只要该学习使用本身能够通过学习提取(表示)诸如图像的训练数据的特征值即可。这里，术语“机器学习模型”是指根据诸如深度学习的机器学习算法的学习模型。此外，术语“学习模型”是指对于根据任何机器学习算法的机器学习模型，预先使用适当的训练数据来进行训练(进行学习)的模型。但是，假设学习模型不是不进行进一步学习的模型，而是还可以进行增量学习的模型。此外，术语“训练数据”是指由输入数据和真值(正确答案数据)对组成的数据。这里，在某些情况下，训练数据也被称为“示教数据”，并且在某些情况下，正确答案数据也被称为“示教数据”。

请注意，GPU可以通过对大量数据进行并行处理来进行有效的算术运算。因此，在使用诸如深度学习等学习模型进行多次学习的情况下，利用GPU进行处理是有效的。因此，在本变型例中，除了CPU之外，GPU也被用于作为学习单元(未示出)的示例的图像处理单元220的处理。具体地，当执行包括学习模型的学习程序时，由合作进行算术运算的CPU和GPU来进行学习。请注意，针对学习单元的处理，可以仅由CPU或GPU进行算术运算。此外，类似于学习单元，使用上述各种学习模型执行处理的处理单元(估计单元)也可以使用GPU。学习单元还可以包括错误检测单元和更新单元(未示出)。错误检测单元获得如下错误：根据输入到输入层的输入数据从神经网络的输出层输出的输出数据与正确答案数据之间的错误。错误检测单元可以被构造为使用损失函数来计算来自神经网络的输出数据与正确答案数据之间的错误。此外，基于由错误检测单元获得的错误，更新单元更新神经网络的节点之间的组合加权因子等，使得错误变小。更新单元使用例如错误反向传播方法来更新组合加权因子等。错误反向传播方法是一种调整各神经网络的节点之间的组合加权因子等从而使得上述错误变小的方法。

此外，U-Net型机器学习模型可以应用为要用于图像质量改善或分割等的机器学习模型，该U-Net型机器学习模型具有编码器的功能和解码器的功能，该编码器由包括多个下采样层的多个层级构成，并且该解码器由包括多个上采样层的多个层级构成。在U-Net型机器学习模型中，在被构造为编码器的多个层级中已经变得模糊的位置信息(空间信息)被构造(例如，使用跳过连接)，使得该信息可以被用于被构造为解码器的多个层级中相同维度的层级(相互对应的层级)中。

另外，例如，FCN(全卷积网络)或SegNet等也可以用作要用于图像质量改善或分割等的机器学习模型。另外，可以根据期望的构造使用以区域为单位进行对象识别的机器学习模型。作为进行对象识别的机器学习模型，例如，可以使用RCNN(区域CNN)、Fast-RCNN或Faster-RCNN。另外，YOLO(仅查看一次)或SSD(单发检测器或单发MultiBox检测器)也可用作以区域为单位进行对象识别的机器学习模型。

此外，机器学习模型可以是例如胶囊网络(CapsNet)。在这种情况下，在公共神经网络中，通过构造各单元(各神经元)以输出标量值，将神经网络构造为使得例如与图像中的特征之间的空间位置关系(相对位置)有关的空间信息减少。通过这种方式，例如，可以进行减少图像中的局部失真或平行位移的影响的学习。另一方面，在胶囊网络中，各单元(各胶囊)被构造为输出空间信息作为向量，并且例如被构造为保持空间信息。通过这种方式，例如，可以进行考虑图像中的特征之间的空间位置关系(相对位置)的学习。

而且，图像质量改善引擎(用于改善图像质量的学习模型)可以是通过使用训练数据的增量学习而获得的学习模型，该训练数据包括由图像质量改善引擎生成的至少一个高质量图像。此时，可以采用以下构造：通过来自检查者的指令能够选择关于是否将高质量图像用作用于要进行的增量学习的训练数据。请注意，这些构造不限于用于改善图像质量的学习模型，并且还可应用于上述各种学习模型。此外，生成诸如标记(注释)等正确答案数据的用于生成正确答案数据的学习模型，可以被用来生成上述各种学习模型进行学习所用的正确答案数据。此时，用于生成正确答案数据的学习模型可以是，通过进行对在检查者进行标记(注释)时获得的正确答案数据的(顺序)增量学习而获得的学习模型。换句话说，用于生成正确答案数据的学习模型可以是通过对训练数据进行增量学习而获得的学习模型，在该训练数据中，采用标记前的数据作为输入数据，并且采用标记后的数据作为真值。此外，在诸如运动图像的多个连续帧的情况下，也可以采用这样的构造：考虑到对象识别或在前帧和在后帧分割的结果，针对结果精度被确定为低的帧来修改结果。此时，可以采用这样的构造：根据来自检查者的指令，将修改后的结果作为正确答案数据进行增量学习。

请注意，在上述的各种实施例和变型例中，在使用用于对象识别的学习模型或用于分割的学习模型，来检测被检眼的部分区域(例如，关注部位、伪影区域、异常部位等)的情况下，还可以对各检测到的区域进行预定的图像处理。例如，让我们考虑检测玻璃体区域、视网膜区域和脉络膜区域中的至少两个区域的情况。在这种情况下，当针对所检测到的至少两个区域进行诸如对比度调整的图像处理时，可以通过使用用于各个区域的不同的图像处理参数，来进行适合于各个区域的调整。通过显示进行了适合于各个区域的调整的图像，操作者可以更适当地诊断各区域中的疾病等。请注意，对于使用针对各检测到的区域不同的图像处理参数的构造，例如，在不使用学习模型的情况下，也可以针对检测到的被检眼的区域类似地应用这种构造。

(变型例10)

可以采用以下构造：使得在上述各种实施例和变型例中的预览画面上，对于实时运动图像的每至少一帧使用上述各种学习模型。此时，也可以采用以下构造：使得在预览画面上显示不同部位或不同种类的多个实时运动图像的情况下，使用与各实时运动图像相对应的学习模型。通过这种方式，例如，由于即使对于实时运动图像也可以缩短处理时间，因此检查者可以在开始摄像之前获得高精度的信息。因此，例如，由于可以减少再摄像等故障，因此可以提高诊断的精度和效率。

请注意，多个实时运动图像可以包括例如用于在XYZ方向上对准的眼前段的运动图像，以及用于眼底观察光学系统的调焦或OCT调焦的眼底的正面运动图像。此外，多个实时运动图像还可以包括，例如，用于OCT中的相干门调整(测量光路长度与参考光路长度之间的光路长度差的调整)的眼底的断层运动图像等。此时，可以采用以下构造：进行上述各种调整，从而使得使用如上所述的用于对象识别的学习模型或用于分割的学习模型检测到的区域满足预定条件。例如，可以采用以下构造：进行诸如OCT焦点调整等各种调整，从而使得使用用于对象识别的学习模型或用于分割的学习模型检测到的与玻璃体区域或诸如RPE的预定的视网膜层有关的值(例如，对比度值或强度值)，超过阈值(或变为峰值)。此外，例如，可以采用以下构造：进行OCT中的相干门调整，以使得使用用于对象识别的学习模型或用于分割的学习模型检测到的玻璃体区域或诸如RPE的预定的视网膜层，在深度方向上的预定位置处。

在这些情况下，图像质量改善单元224可以使用学习模型针对运动图像进行图像质量改善处理，从而生成高质量运动图像。此外，在显示高质量运动图像的状态下，驱动控制单元230可以进行对光学构件(例如参考光光学系统中的反射镜123)的驱动控制，以改变摄像范围，从而使得由分割处理等获得的关注部位等的部分区域，位于显示区域中的预定位置处。在这种情况下，驱动控制单元230可以基于高精度信息自动进行对准处理，从而使得期望区域位于显示区域中的预定位置。请注意，改变摄像范围的光学构件可以是例如调整相干门位置的光学构件，并且具体地可以是参考光光学系统等中的反射镜123等。此外，可以通过改变测量光路长度与参考光路长度之间的光路长度差的光学构件来调整相干门位置，并且所讨论的光学构件可以是例如用于改变测量光的光路长度的反射镜(未示出)等。请注意，改变摄像范围的光学构件可以是例如台单元(未示出)。此外，根据与开始摄像有关的指令，驱动控制单元230可以控制上述扫描单元的驱动，使得在摄像期间或摄像结束时，对例如通过分割处理等获得的伪像区域的部分区域等再次摄像(重新扫描)。此外，例如，可以采用以下构造，以便在指示与关注部位有关的对象识别结果的可能性的信息(例如，表示百分比的数值)超过阈值时，自动执行各个调整或自动开始摄像等。此外，例如，可以采用以下构造，以便在指示与关注部位有关的对象识别结果的可能性的信息(例如，指示百分比的数值)超过阈值的情况下，改变(释放执行禁止状态)为可以根据检查者的指令执行各个调整或开始摄像等的状态。

此外，可以应用上述各种学习模型的运动图像不限于实时运动图像，并且，例如，运动图像可以是存储(保存)在存储器240中的运动图像。此时，例如，通过针对存储(保存)在存储器240中的眼底的断层运动图像的每至少一帧进行对准而获得的运动图像可以显示在显示画面上。例如，在期望适当地观察玻璃体的情况下，首先，可以基于诸如玻璃体尽可能多地存在于参考帧中的条件来选择该帧。此时，各个帧是X-Z方向上的断层图像(B扫描图像)。随后，已将其他帧在X-Z方向上关于所选择的参考帧对准的运动图像可以显示在显示画面上。此时，例如，可以采用如下构造，以便使由用于改善图像质量的学习模型针对运动图像的每至少一帧按顺序生成的高质量图像(高质量图像帧)连续显示。

请注意，作为上述的用于在帧之间进行对准的方法，关于在X方向上进行对准的方法和在Z方向(深度方向)上进行对准的方法，可以应用相同的方法，或者应用的方法可能都不同。另外，可以通过不同的方法多次进行相同方向上的对准。例如，可以进行粗对准，此后可以进行精对准。此外，对准的方法包括，例如，使用通过使断层图像(B扫描图像)经过分割处理而获得的视网膜层边界的(粗Z方向)对准，使用通过分割断层图像和参考图像获得的多个区域之间的相关性信息(相似度)的(精X方向或Z方向)对准，使用针对各断层图像(B扫描图像)生成的一维投影图像的(X方向)对准，以及使用二维正面图像的(X方向)对准。此外，可以采用一种构造，以便在以像素为单位进行粗对准之后，以子像素为单位进行精对准。

在这种情况下，有可能在各种调整期间诸如被检眼的视网膜等摄像目标还不能被成功地摄像。因此，由于输入到学习模型的医学图像和用作训练数据的医学图像之间存在很大的差异，所以有可能无法精确地获得高质量图像。因此，也可以采用以下构造：使得当诸如在评估断层图像(B扫描)的图像质量时获得的值等评价值超过阈值时，自动开始高质量运动图像的显示(高图像质量帧的连续显示)。此外，可以采用以下构造：使得当诸如在评估断层图像(B扫描)的图像质量时获得的值等评估值超过阈值时，将图像质量改善按钮改变为可由检查者选择按钮的状态(激活状态)。

此外，可以采用以下构造：针对扫描图案等不同的各个摄像模式准备用于改善图像质量的不同学习模型，并且选择与所选择的摄像模式相对应的用于改善图像质量的学习模型。此外，可以使用通过使用包括以不同摄像模式获得的各种医学图像的训练数据进行学习而获得的用于改善图像质量的一个学习模型。

(变型例11)

此外，在上述的各个实施例和变型例中，在学习模型正在进行增量学习的情况下，存在使用正在进行增量学习的学习模型本身将很难输出(推断/预测)的可能性。例如，存在在图像质量改善单元正进行增量学习的同时，难以用图像质量改善单元来执行图像质量改善处理的概率。因此，采用如下的构造是良好的：使得禁止将训练数据以外的医学图像输入到正在进行增量学习的学习模型中。此外，准备与进行增量学习之前的学习模型相同的学习模型作为分立的辅助学习模型。此时，采用以下构造是良好的：使得在进行增量学习的同时，可以执行将训练数据以外的医学图像输入到辅助学习模型。在增量学习完成之后，对进行了增量学习的学习模型进行评估，并且如果没有问题，则从辅助学习模型切换到进行了增量学习的学习模型就足够了。此外，可以采用以下构造：使得如果存在问题，则使用辅助学习模型。注意，作为对进行增量学习后获得的学习模型的评价，例如，可以使用用于分类的学习模型，该用于分类的学习模型将利用用于改善图像质量的学习模型而获得的高质量图像与其他种类的图像进行分类。例如，用于分类的学习模型是通过使用训练数据进行学习而获得的学习模型，该训练数据采用包括利用用于改善图像质量的学习模型而获得的高质量图像和低质量图像的多个图像作为输入数据，并采用这些图像的种类已被标记(注释)的数据作为正确答案数据。此时，指示在学习期间包含在正确答案数据中的各类图像的确定程度的信息(例如，指示百分比的数值)，可以在估计时(预测时)与输入数据的图像种类结合起来显示。请注意，除了上述图像外，通过对多个低质量图像进行平均处理(例如，对对准并获得的多个低质量图像进行平均处理)而提高对比度或降低噪声等的高质量图像，可被包括在用于分类的学习模型的输入数据中。此外，作为对进行增量学习后的学习模型的评价，例如，将使用进行增量学习后的学习模型和进行增量学习前的学习模型(辅助学习模型)中的各个从同一图像获得的多个高质量图像进行比较，或者将各自的多个高质量图像的分析结果进行比较。此时，例如可以确定，对各自的多个高质量图像的比较的结果(增量学习引起的变化的一个示例)，或对各自的多个高质量图像的分析结果的比较结果(增量学习引起的变化的一个示例)，是否在预定范围内，并且可以显示确定结果。

此外，可以采用以下构造：使得可以选择性地利用通过针对各摄像部位进行学习而获得的学习模型。具体地，可以准备多个学习模型，其包括使用包括第一摄像部位(肺，被检眼等)的训练数据获得的第一学习模型，以及使用包括第二摄像部位的训练数据获得的第二学习模型，该第二摄像部位与第一摄像部位不同。此外，控制单元200可以具有用于选择该多个学习模型中的任何一个的选择单元。此时，控制单元200可以具有用于针对选择的学习模型执行增量学习的控制单元。响应于来自操作者的指令，控制单元可以检索与所选择的学习模型相对应的摄像部位和通过对相关摄像部位进行摄像而获得的图像形成对的数据，并执行采用所检索和获得的数据作为训练数据的学习，作为针对所选择的学习模型的增量学习。请注意，与所选择的学习模型相对应的摄像部位可以是基于数据的标题信息获得的部位，或者是由检查者手动输入的部位。此外，可以例如通过网络从诸如医院或实验室等外部设施的服务器等进行数据的检索。通过这种方式，通过使用通过对与学习模型相对应的摄像部位进行摄像而获得的图像，可以针对各个摄像部位有效地进行增量学习。

请注意，选择单元和控制单元可以由控制单元200的诸如CPU或MPU的处理器执行的软件模块构成。此外，选择单元和控制单元可以由诸如ASIC等具有特定功能的电路或由独立的装置等构成。

此外，当通过网络从上述设施等的外部服务器等获得用于增量学习的训练数据时，期望减少由于增量学习等期间的篡改或系统故障而导致的可靠性降低。因此，可以经由通过数字签名或哈希确认一致性来检测用于增量学习的训练数据的正确性。通过这种方式，可以保护用于增量学习的训练数据。此时，在无法检测出用于增量学习的训练数据的正确性作为通过数字签名或哈希确认一致性的结果的情况下，给出对该事实的警告，并且不使用所讨论的训练数据进行增量学习。请注意，该服务器可以是诸如云服务器、FOG服务器或边缘服务器等任何形式的服务器，而与其安装位置无关。此外，通过确认上述的一致性来保护数据，不限于用于增量学习的训练数据，也适用于包括医学图像的数据。此外，图像管理系统可以被构造为：使得由分布式网络管理在多个设施的服务器之间涉及包括医学图像的数据的交易。此外，图像管理系统可以被构造为以时间序列将多个块连接在一起，在多个块中记录了交易历史和前一个块的哈希值。注意，可以将即使使用基于量子门系统等的量子计算机也难以计算的密码学(例如，基于晶格的密码学、或使用量子密钥分配的量子密码学)，用作用于确认一致性等的技术。

(变型例12)

在上述各种实施例和变型例中，除了手动指令(例如，使用用户界面等的指令)之外，来自检查者的指令还可以是语音指令等。此时，例如，可以使用包括通过机器学习获得的语音识别模型(语音识别引擎或用于语音识别的学习模型)的机器学习模型。此外，手动指令可以是使用键盘、触摸面板等通过字符输入的指令。此时，例如，可以使用包括通过机器学习获得的字符识别模型(字符识别引擎、用于字符识别的学习模型)的机器学习模型。此外，来自检查者的指令可以是通过手势等的指令。此时，可以使用包括通过机器学习获得的手势识别模型(手势识别引擎、用于手势识别的学习模型)的机器学习模型。

此外，来自检查者的指令可以是检测检查者在显示单元270上的显示画面等上的视线的结果。视线检测结果可以是，例如，使用通过从显示单元270的显示画面周围摄像而获得的检查者的运动图像的瞳孔检测结果。此时，根据运动图像的瞳孔检测可以使用如上所述的对象识别引擎。此外，来自检查者的指令可以是通过脑波或者是流经身体的微弱电信号等的指令。

在这种情况下，例如，训练数据可以是以下训练数据：采用指示显示通过上述各种学习模型的处理获得的结果的指令的字符数据或语音数据(波形数据)等作为输入数据，并且，采用用于实际上使通过各种学习模型的处理获得的结果实际上显示在显示单元上的执行命令，作为正确答案数据。此外，训练数据可以是以下训练数据：例如，采用指示显示通过用于改善图像质量的学习模型而获得的高质量图像的指令的字符数据或语音数据等，作为输入数据，并且采用用于显示高质量图像的执行命令和用于将图像质量改善按钮改变为激活状态的执行命令，作为正确答案数据。当然，也可以使用任何种类的训练数据，只要例如由该字符数据或语音数据等指示的指令内容与执行命令内容彼此相对应即可。此外，可以使用声学模型或语言模型等将语音数据转换为字符数据。此外，可以使用利用多个麦克风获得的波形数据来进行减少叠置在语音数据上的噪声数据的处理。此外，可以采用以下构造：使得可以根据来自检查者的指令，在由字符或语音等发出的指令与使用鼠标或触摸面板等输入的指令之间进行选择。另外，可以采用以下构造：使得可以根据来自检查者的指令进行选择以打开或关闭通过字符或语音等的指令。

在这种情况下，机器学习包括如上所描述的深度学习，并且，例如，可以使用递归神经网络(RNN)作为多层神经网络的至少一部分。这里，作为根据本变型例的机器学习模型的示例，将参照18A和图18B描述作为处理时间序列信息的神经网络的RNN。此外，将参照19A和图19B描述作为一种RNN的长短期存储器(以下称为“LSTM”)。

图18A示出了作为机器学习模型的RNN的结构。RNN 3520在网络中具有环路结构，并且在时间t输入数据x^t3510，并且输出数据h^t3530。由于RNN 3520在网络中具有循环功能，因此当前时间的状态可以被接管到下一个状态，因此可以处理时序信息。图18B示出了在时间t的参数向量的输入/输出的示例。数据x^t3510包括N个数据(参数1至参数N)。此外，由RNN3520输出的数据h^t3530包括与输入数据相对应的N条数据(参数1至参数N)。

然而，由于在反向传播期间RNN不能处理长时间信息，所以可以使用LSTM。LSTM可以通过提供遗忘门、输入门和输出门来学习长期信息。图19A示出了LSTM的结构。在LSTM3540中，网络在下一时间t接管的信息是称为小区的网络的内部状态c^t-1，和输出数据h^t-1。请注意，图中的小写字母(c,h,x)表示向量。

接下来，在图19B中详细示出LSTM 3540。在图19B中，附图标记FG标示遗忘门网络，附图标记IG标示输入门网络，附图标记OG标示输出门网络，并且这些网络中的各个网络都是S形层。因此，输出了各个元素具有从0到1的值的向量。遗忘门网络FG确定保留了多少过去信息，并且，输入门网络IG确定要更新哪个值。附图标记CU标示小区更新候选网络，其是激活功能tanh层。这将创建将添加到小区中的新候选值的向量。输出门网络OG选择小区候选的元素并选择在下一时间要发送多少信息。

请注意，上述LSTM模型是基本形式，并且本发明不限于这里示出的网络。可以改变网络之间的耦合。可以使用QRNN(准递归神经网络)代替LSTM。此外，该机器学习模型不限于神经网络，并且可以使用Boosting(提升)或Support Vector Machine(支持向量机)等。此外，在通过字符或语音等输入来自检查者的指令的情况下，可以应用与自然语言处理有关的技术(例如，序列到序列)。此外，可以应用用诸如文本或语音等输出来响应检查者的对话引擎(对话模型或用于对话的学习模型)。

此外，作为与自然语言处理有关的技术，可以使用通过对文档数据的无监督学习进行预学习而获得的学习模型。此外，作为与自然语言处理有关的技术，可以使用如下学习模型：使通过预学习获得的学习模型根据目的进一步进行转移学习(或微调)而获得的学习模型。此外，例如，BERT(来自变换器的双向编码器表示法)可以作为与自然语言处理有关的技术来应用。此外，本身能够通过从双向语境中预测句子中的特定词来提取(代表)语境(特征值)的模型，可以作为与自然语言处理有关的技术来应用。此外，能够确定输入的时间序列数据中两个序列(句子)的关系(连续性)的模型，可以作为与自然语言处理有关的技术来应用。此外，如下的模型可作为与自然语言处理有关的技术来应用，在该模型中，在隐蔽层中使用变换器的编码器，并向该模型输入和从该模型输出矢量序列。

这里，在本变型例中可应用的来自检查者的指令可以是任何指令，只要该指令是如上述各种实施例和变型例所述的、至少与改变各种图像或分析结果的显示、选择用于生成en-face图像的深度范围、选择是否使用图像作为增量学习的训练数据、选择学习模型以及输出(显示或发送等)或存储使用各种学习模型获得的结果等有关的指令。此外，在本变型例中可以应用的来自检查者的指令不仅是摄像后的指令，而且可以是摄像前的指令，例如，可以是与各种调整有关的指令，与各种摄像条件的设置有关的指令或与开始摄像有关的指令。此外，在本变型例中可以应用的来自检查者的指令可以是与改变显示画面(画面转换)有关的指令。

(变型例13)

在上述各种实施例和变型中，可以根据来自检查者的指令将高质量图像等存储在存储器240中。此时，在检查者指示保存高质量图像等之后，当登记文件名时，在可以根据来自检查者的指令编辑文件名的状态下，将文件名可以显示为推荐文件名，该文件名在该文件名的任何部分(例如，第一部分或最后一部分)处包括指示该图像是通过使用用于改善图像质量(图像质量改善处理)的学习模型进行处理而生成的图像的信息(例如，字符)。

此外，当使显示单元在诸如报告画面等各种显示画面上显示高质量图像时，可以将指示正在显示的图像是通过使用用于改善图像质量的学习模型进行处理而生成的高质量图像的显示与高质量图像一起显示。在这种情况下，由于用户可以通过相关显示容易地辨别出被显示的高质量图像不是通过摄像获得的实际图像，因此可以减少误诊，并且可以提高诊断效率。请注意，指示通过使用用于改善图像质量的学习模型的处理生成了高质量图像的显示可以是任何形式，只要它是可以区分输入图像和通过相关处理生成的高质量图像的显示即可。此外，同样针对使用上述的各种学习模型的处理，而不仅仅是使用用于改善图像质量的学习模型的处理，可以将指示正在显示的结果是通过使用相关种类的学习模型的处理而生成的显示与该相关结果一起显示。

此时，可以按照来自检查者的指令将诸如报告画面的显示画面作为图像数据存储在存储器240中。例如，报告画面可以作为单个图像存储在存储器240中，在该单个图像中，高质量图像等以及指示这些图像是通过使用用于改善图像质量的学习模型进行处理而生成的高质量图像的显示被并排显示。

此外，关于指示使用用于改善图像质量的学习模型进行处理而生成高质量图像的显示，可以在显示单元270上显示指示进行学习时用于改善图像质量的学习模型使用了哪种训练数据的显示。讨论的显示可以包括对训练数据的输入数据和正确答案数据的种类的描述，或者与输入数据和正确答案数据中包括的诸如摄像部位的正确答案数据有关的任何显示。请注意，同样关于使用上述各种学习模型的处理，而不仅是使用用于改善图像质量的学习模型的处理，还可以在显示单元270上显示指示进行学习时相关种类的学习模型使用哪种训练数据的显示。

此外，可以采用以下构造：使得可以在将信息叠置在高质量图像等上的状态下，显示或存储指示图像是通过使用用于改善图像质量的学习模型进行处理而生成的信息(例如，字符)。此时，将信息叠置在图像上的位置可以是任何位置，只要该位置在与显示作为摄像目标的关注部位等的区域不重叠的区域(例如，图像的边缘)中即可。此外，可以确定非重叠区域，并且可以在所确定的区域中叠置该信息。

此外，可以采用以下构造：使得在默认设置被设置为使得图像质量改善按钮进入激活状态(图像质量改善处理被设置为“开”)作为报告画面的初始显示画面的情况下，根据来自检查者的指令，将与包括高质量图像等的报告画面相对应的报告图像发送到服务器。此外，可以采用以下构造：使得在默认设置被设置为使得图像质量改善按钮进入激活状态的情况下，当检查结束时(例如，在根据来自检查者的指令将图像确认画面或预览画面改变为报告画面的情况下)，将与包括高质量图像等的报告画面相对应的报告图像(自动地)发送到服务器。此时，可以采用以下构造：使得将基于默认设置(例如，与报告画面的初始显示画面上的用于生成en-face图像的深度范围、是否叠置分析图、该图像是否是高质量图像以及是否示出用于后续观察的显示画面等中的至少一项有关的设置)的各种设置生成的报告图像发送到服务器。

请注意，尽管上面描述了使用存储器240进行存储的构造，但存储器240可以是网络上的数据服务器、基于云的存储器或数据库等。此外，显示单元270的显示控制可以通过存储器240、数据管理介质或图像管理系统来执行。这里，图像管理系统是指接收和存储由摄像装置摄像的图像和经过图像处理的图像的装置和系统。图像管理系统还可以响应于来自所连接的装置的请求来发送图像，对存储的图像进行图像处理，并且请求其他装置实施对图像处理的请求。图像管理系统的示例能够包括图片存档和通信系统(PACS)。特别地，根据前述变型例的图像管理系统包括数据库，该数据库还能够将各种信息(例如与被检体有关的信息以及与该图像相关联的摄像时间)与接收到的图像一起存储。此外，图像管理系统连接到网络，并且可以响应于来自其他装置的请求，发送和接收图像、转换图像以及发送和接收与所存储的图像相关联的各种信息。此外，在图像管理系统中，可以将用于识别与上述各种实施例和变型例中的学习有关的内容的信息(如上述，叠置在图像上的信息、在文件名中描述的信息、或在文件内的标题中描述的信息)与图像和信息相关联。因此，例如，可以很容易地识别存储的图像是否是使用学习模型进行处理后的图像。此外，图像管理系统可以被构造为：使得当收到这种图像数据时，图像管理系统向图像数据的发送者确认所收到的图像数据是否是使用学习模型处理后获得的数据。此外，关联信息可以是学习模型信息(其他处理、疾病、装置、阅读中心)。此外，在本变型例中存储的信息和显示的信息可以是上述的学习图像评估结果(与数值、评估内容和增量学习等有关的信息)。

(变型例14)

在上述的各种实施例和变型例中，在上述各种学习模型中，可以将使用第一种类的学习模型获得的图像(例如，高质量图像、示出诸如分析图的分析结果的图像、示出对象识别结果的图像或示出分割结果的图像)输入到不同于第一种类的第二种类的学习模型。此时，可以采用以下构造：使得通过第二种类的学习模型的处理来生成结果(例如，分析结果、诊断结果、对象识别结果或分割结果)。

此外，在上述各种学习模型中，可以通过使用通过第一种类的学习模型的处理获得的结果(例如，分析结果，诊断结果，对象识别结果或分割结果)从输入到第一种类的学习模型的图像生成要输入到与第一种类的学习模型不同的第二种类的学习模型中的图像。此时，有很高可能生成的图像是适合作为用于第二种类的学习模型的处理的图像的图像。因此，增强了当生成的图像被输入到第二种类的学习模型时获得的图像(例如，高质量图像、示出诸如分析图的分析结果的图像、示出对象识别结果的图像或示出分割结果的图像)的精度。

此外，上述的各种学习模型可以是通过使用包括被检查对象的二维医学图像的训练数据进行学习而获得的学习模型。此外，各种学习模型可以是通过使用包括被检查对象的三维医学图像的训练数据进行学习而获得的学习模型。

另外，使用通过上述学习模型的处理而获得的分析结果或诊断结果等作为搜索关键字，可以进行利用存储在服务器等中的外部数据库对相似病例图像的检索。请注意，在已经通过机器学习等将多个图像的各特征值作为补充信息附加的状态下，已经管理了数据库中存储的该多个图像的情况下，可以使用利用图像本身作为搜索键的相似病例图像搜索引擎(相似病例图像搜索模型或用于相似病例图像搜索的学习模型)。例如，控制单元200可以通过使用用于相似病例图像搜索的学习模型(该模型不同于用于改善图像质量的学习模型)，从各种医学图像当中进行与相关医学图像有关的相似病例图像的搜索。此外，例如，显示控制单元250可以使使用用于相似病例图像搜索的学习模型从各种医学图像当中获得的相似病例图像显示在显示单元270上。此时，相似病例图像是，例如，具有与输入到学习模型的医学图像的特征值相似的特征值的图像。此外，可以检索多个相似的病例图像，并且在可以区分特征值相似的顺序的条件下显示多个相似的病例图像。此外，可以采用如下构造：使得用于相似病例图像搜索的学习模型经过使用训练数据的增量学习，该训练数据包括根据来自检查者的指令从多个相似病例图像当中选择的图像，以及相关图像的特征值。

(变型例15)

请注意，在前述实施例和变型例中用于生成运动对比度数据的处理不限于基于断层图像的强度值进行处理的构造。对于用OCT摄像单元100获得的干涉信号、通过使干涉信号经过傅立叶变换而获得的信号、通过使相关信号经过任何处理而获得的信号以及包括基于这些信号的断层图像等的断层数据，可以应用上述各种处理。同样在这些情况下，可以获得与前述构造的效果类似的效果。

尽管使用了将耦合器用作分离单元的光纤系统，但是也可以使用利用准直器和分束器的空间光学系统。此外，OCT摄像单元100的构造不限于上述构造，并且可以将在OCT摄像单元100中包括的一些部件配设为与OCT摄像单元100分开的部件。

此外，尽管在前述实施例和变型例中，使用马赫曾德尔干涉仪的构造作为OCT摄像单元100的干涉光学系统的构造，但是干涉光学系统的构造不限于此。例如，OCT装置1的干涉光学系统可以具有迈克尔逊干涉仪的构造。

另外，虽然在上述实施例和变型例中将使用SLD作为光源的光谱域OCT(SD-OCT)装置描述为OCT装置，但是根据本发明的OCT装置的构造不限于此。例如，本发明也可以应用于使用能够扫频发出的光的波长的波长扫频光源的扫频源OCT(SS-OCT)装置或任何其他种类的OCT装置。此外，本发明还可以应用于使用线光的Line-OCT装置(或者SS-Line-OCT装置)。此外，本发明还可以应用于使用区域光的全域OCT装置(或者SS全域OCT装置)。

此外，在前述实施例和变型例中，获得单元210获得由OCT摄像单元100获得的干涉信号或由图像处理单元220生成的三维断层图像。然而，获得单元210获得这些信号或图像的构造不限于上述构造。例如，获得单元210可以从通过LAN、WAN或互联网等连接到控制单元的服务器或摄像装置获得这些信号。

请注意，可以在作为图像处理装置的控制单元200、900或1400中配设学习模型。学习模型可以例如由诸如CPU的处理器执行的软件模块构成。此外，可以在连接到控制单元200、900或1400的单独的服务器中配设学习模型。在这种情况下，控制单元200、900或1400可以通过经由诸如因特网的任何网络连接到包括学习模型的服务器，来使用学习模型进行图像质量改善处理。请注意，提供学习模型的服务器可以是诸如云服务器、FOG服务器或边缘服务器等任何形式的服务器。

(变型例16)

此外，要由根据上述各种实施例和变型例的图像处理装置或图像处理方法处理的图像包括使用任意模态(摄像装置或摄像方法)获得的医学图像。要处理的医学图像可以包括通过任何摄像装置等获得的医学图像，以及通过根据上述实施例和变型例的图像处理装置或图像处理方法创建的图像。

另外，要处理的医学图像是被检体(被检查者)的预定部位的图像，并且该预定部位的图像包括被检体的预定部位的至少一部分。医学图像还可包括被检体的其他部位。医学图像可以是静止图像或运动图像，并且可以是黑白图像或彩色图像。另外，医学图像可以是表示预定部位的结构(形式)的图像，或者可以是表示预定部位的功能的图像。例如，表示功能的图像包括诸如OCTA图像、多普勒OCT图像、fMRI图像和超声多普勒图像等表示血液动力学(血流量，血流速度等)的图像。请注意，可以根据摄像目标确定被检体的预定部位，并且这些预定部位包括诸如人眼(待检查的眼睛)、脑、肺、肠、心脏、胰腺、肾脏和肝脏等器官，以及诸如头、胸、腿和手臂等任何部位。

此外，医学图像可以是被检体的断层图像，或者可以是正面图像。正面图像的示例包括眼底的正面图像、眼前段的正面图像、通过荧光摄像获得的眼底图像以及针对通过OCT获得的数据(三维OCT数据)使用摄像目标在深度方向上的至少部分范围的数据生成的en-face图像。en-face图像可以是针对三维OCTA数据(三维运动对比度数据)使用摄像目标在深度方向上的至少部分范围的数据生成的OCTAen-face图像(运动对比度正面图像)。此外，三维OCT数据或三维运动对比度数据是三维医学图像数据的示例。

这里，术语“运动对比度数据”是指如下的数据，该数据示出通过控制使得在被检眼的同一区域(同一位置)上多次扫描测量光而获得的多个体积数据项之间的变化。此时，体积数据由在不同位置处获得的多个断层图像构成。然后，通过在彼此不同的各个位置处获得示出在大致相同的位置处获得的多个断层图像之间的变化的数据，可以获得作为体积数据的运动对比度数据。请注意，关于测量血流运动的OCT血管造影(OCTA)，运动对比度正面图像也被称为OCTA正面图像(OCTA en-face图像)，并且运动对比度数据也被称为OCTA数据。运动对比度数据例如可以作为两个断层图像之间或与两个断层图像相对应的干扰信号之间的方差值或解相关值来获得，或者作为通过将最大值除以最小值(最大值/最小值)获得的值来获得，并且可以通过任何已知方法获得。此时，可以例如通过控制使得在被检眼的相同区域(相同位置)上多次扫描测量光，来获得两个断层图像。

此外，en-face图像是例如通过将两个层边界之间的范围的数据在X方向和Y方向上投影而生成的正面图像。此时，该正面图像是通过将与深度范围对应的数据投影或积分到二维平面而生成的，该深度范围至少是使用光干涉获得的体积数据(三维断层图像)的局部深度范围，并且基于两个参考平面来定义该深度范围。en-face图像是通过将体积数据中的与深度范围相对应的数据投影到二维平面上而生成的正面图像，该深度范围是基于检测到的视网膜层来确定的。请注意，例如，可以使用采用相对深度范围内的数据的代表值作为二维平面上的像素值的技术，作为用于将与基于两个参考平面定义的深度范围相对应的数据投影在二维平面上的技术。在这种情况下，代表值可以包括在被两个参考平面围绕的区域的深度方向上的范围内的像素值的诸如平均值、中值或最大值等值。此外，与en-face图像有关的深度范围可以是，例如针对与检测到的视网膜层相关的两个层边界之一，在更深方向或更浅方向上仅包括与预定数量的像素相对应的范围。另外，与en-face图像有关的深度范围可以是，例如根据操作者的指令已经从与检测到的视网膜层有关的两个层边界之间的范围改变(偏移)了的范围。

另外，术语“摄像装置”是指用于进行摄像以获得要用于诊断的图像的装置。摄像装置的示例包括通过用光、诸如X射线的放射线、电磁波或超声波等照射预定部位来获得被检体的预定部位的图像的装置，以及通过检测从被检体发出的放射线来获得预定部位的图像的装置。更具体地，根据上述各种实施例和变型例的摄像装置的示例至少包括X射线摄像装置、CT装置、MRI装置、PET装置、SPECT装置、SLO装置、OCT装置、OCTA装置、眼底照相机和内窥镜。

注意，可以包括时域OCT(TD-OCT)装置和傅立叶域OCT(FD-OCT)装置作为OCT装置的示例。此外，傅里叶域OCT装置的示例可以包括频谱域OCT(SD-OCT)装置和扫频源OCT(SS-OCT)装置。此外，OCT装置的示例可以包括多普勒OCT装置。此外，可以包括使用自适应光学系统等的自适应光学SLO(AO-SLO)装置和自适应光学OCT(AO-OCT)装置，分别作为SLO装置或OCT装置的示例。此外，可以包括用于可视化与偏振相位差或退偏振有关的信息的偏振敏感SLO(PS-SLO)装置和偏振敏感OCT(PS-OCT)装置等，分别作为SLO装置或OCT装置的示例。此外，可以包括病理显微镜SLO装置和病理显微镜OCT装置等，分别作为SLO装置和OCT装置的示例。此外，可以包括手持式SLO装置和手持式OCT装置等，分别作为SLO装置和OCT装置的示例。此外，可以包括导管SLO装置和导管OCT装置等，分别作为SLO装置和OCT装置的示例。

根据上述的本发明的实施例和变型例之一，可以生成与根据传统技术生成的图像相比更适合图像诊断的图像。

(其他实施例)

本发明也可以通过一种处理来实现，在该处理中，实现根据上述各种实施例和变型例的一个或更多个功能的软件(程序)经由网络或存储介质被供给到系统或装置，并且，系统或装置的计算机中(CPU、MPU等)读取并执行该程序。计算机具有一个或多个处理器或电路，并且为了读取并执行计算机可执行指令，可以包括彼此分立的多个计算机、彼此分立的多个处理器或电路网。

此时，处理器或电路的示例包括中央处理单元(CPU)、微处理单元(MPU)、图形处理单元(GPU)、专用集成电路(ASIC)或现场可编程门阵列(FPGA)。此外，处理器或电路的示例包括数字信号处理器(DSP)、数据流处理器(DFP)或神经处理单元(NPU)。

本发明不限于上述实施例，并且在不脱离本发明的精神和范围的情况下可以进行各种改变和修改。因此，为了向公众告知本发明的范围，附加以下权利要求。

本申请要求2018年12月26日提交的日本专利申请第2018-243769号以及2019年11月29日提交的日本专利申请第2019-217331号的优先权利益，这些申请全部通过引用合并于此。

Claims (27)

1.一种图像处理装置，包括：

图像质量改善单元，其被构造为从被检对象的第一医学图像生成第二医学图像，所述第二医学图像是通过使所述第一医学图像经过使用学习模型的图像质量改善处理而生成的；

比较单元，其被构造为将通过分析所述第一医学图像而获得的分析结果与通过分析所述第二医学图像而获得的分析结果进行比较；以及

显示控制单元，其被构造为基于所述比较单元获得的比较结果来控制显示单元的显示。

2.根据权利要求1所述的图像处理装置，其中：

所述比较单元计算所述第一医学图像的分析结果与所述第二医学图像的分析结果之间的差分，并基于该差分生成有颜色的彩色图图像；并且

所述显示控制单元使所述彩色图图像显示在显示单元上。

3.根据权利要求2所述的图像处理装置，其中：

所述显示控制单元使所述彩色图图像以叠置的方式显示在所述第一医学图像或所述第二医学图像上。

4.根据权利要求1至3中的任一项所述的图像处理装置，其中：

所述比较单元计算所述第一医学图像的分析结果与所述第二医学图像的分析结果之间的差分；并且

在所述差分大于预定值的情况下，所述显示控制单元使显示单元上显示警告。

5.根据权利要求1至4中的任一项所述的图像处理装置，其中：

所述比较单元计算所述第一医学图像的分析结果与所述第二医学图像的分析结果之间的差分；并且

所述显示控制单元使差分大于预定值的区域与差分小于等于预定值的其它区域以可区分的方式显示在显示单元上。

6.根据权利要求1至5中的任一项所述的图像处理装置，其中：

所述比较单元计算所述第一医学图像的分析结果与所述第二医学图像的分析结果之间的差分；并且

在差分大于预定值的像素数量大于另一预定值的情况下，显示控制单元使显示单元显示警告。

7.根据权利要求1至6中的任一项所述的图像处理装置，其中：

所述分析结果是与血管有关的值、与无血管区有关的值和与水肿区域有关的数值中的至少一者。

8.一种图像处理装置，包括：

图像质量改善单元，其被构造为从被检对象的多个第一医学图像生成多个第二医学图像，所述多个第二医学图像是通过使所述多个第一医学图像经过使用学习模型的图像质量改善处理而生成的；

比较单元，其被构造为将图像质量改善处理之前和之后的多个第一医学图像和多个第二医学图像进行比较，以及

显示控制单元，其被构造为基于所述比较单元获得的比较结果来控制显示单元上的显示。

9.据权利要求8所述的图像处理装置，其中：

所述多个第一医学图像是基于与被检对象的深度方向上的共同范围有关的信息而生成的正面图像。

10.根据权利要求1至9中的任一项所述的图像处理装置，其中：

所述第一医学图像是被检对象的深度方向上的范围内的强度正面图像和运动对比度正面图像中的任一者。

11.根据权利要求1至10中的任一项所述的图像处理装置，其中：

学习模型的训练数据包括通过进行平均处理、最大后验处理、平滑滤波处理和灰度转换处理当中的至少一者而获得的图像。

12.根据权利要求1至11中的任一项所述的图像处理装置，其中：

学习模型的训练数据包括，用具有比用于对所述第一医学图像进行摄像的摄像装置高的性能的摄像装置进行摄像的图像，或者通过包括比用于对所述第一医学图像进行摄像的摄像处理的步骤数多的步骤数的摄像处理而获得的图像。

13.根据权利要求1至12中的任一项所述的图像处理装置，其中：

所述显示控制单元使与所述第一医学图像或所述第二医学图像有关的分析结果显示在显示单元上，所述分析结果是使用用于生成分析结果的学习模型而生成的分析结果，所述用于生成分析结果的学习模型是通过学习所述被检对象的医学图像而获得的。

14.根据权利要求1至13中的任一项所述的图像处理装置，其中：

所述显示控制单元使与所述第一医学图像或所述第二医学图像有关的诊断结果显示在显示单元上，所述诊断结果是使用用于生成诊断结果的学习模型生成的诊断结果，所述用于生成诊断结果的学习模型是通过学习所述被检对象的医学图像而获得的。

15.根据权利要求1至14中的任一项所述的图像处理装置，其中：

所述显示控制单元使与使用输入了所述第一医学图像或所述第二医学图像的生成对抗网络或自动编码器生成的图像，与输入到生成对抗网络或自动编码器的所述医学图像之间的差分有关的信息，作为与异常部位有关的信息显示在显示单元上。

16.根据权利要求1至15中的任一项所述的图像处理装置，其中：

所述显示控制单元使与所述第一医学图像或所述第二医学图像有关的相似病例图像显示在显示单元上，所述相似病例图像是通过使用用于相似病例图像搜索的学习模型搜索到的相似病例图像，所述用于相似病例图像搜索的学习模型是通过学习被检对象的医学图像而获得的。

17.根据权利要求1至16中的任一项所述的图像处理装置，其中：

所述显示控制单元使与第一医学图像或第二医学图像有关的对象检测结果或分割结果显示在显示单元上，所述对象检测结果或分割结果是通过使用用于对象识别的学习模型或用于分割的学习模型生成的对象检测结果或分割结果，用于对象识别的学习模型或用于分割的学习模型是通过学习被检对象的医学图像而获得的。

18.根据权利要求13至17中的任一项所述的图像处理装置，其中：

所述显示控制单元使通过将第一医学图像和第二医学图像输入学习模型而获得的图像、信息或结果显示在显示单元上。

19.根据权利要求1至18中的任一项所述的图像处理装置，其中：

来自检查者的与图像质量改善处理有关的指令或来自检查者的与对基于比较结果的显示的控制有关的指令是，使用用于字符识别的学习模型、用于语音识别的学习模型和用于手势识别的学习模型当中的至少一个学习模型获得的信息。

20.根据权利要求1至19中的任一项所述的图像处理装置，其中：

第二医学图像的文件名包括在根据检查者的指令能够编辑信息的状态下指示所述第二医学图像是通过进行图像质量改善处理而生成的图像的信息。

21.一种图像处理装置，包括：

选择单元，其被构造为选择多个学习模型中的任一个，所述多个学习模型包括使用包括第一摄像部位的训练数据获得的第一学习模型，和使用包括与第一摄像部位不同的第二摄像部位的训练数据获得的第二学习模型；以及

控制单元，其被构造为，能够根据来自操作者的指令，检索与所选择的学习模型相对应的摄像部位和通过对该摄像部位进行摄像而获得的图像形成了对的数据，并执行采用通过检索而获得的数据作为训练数据的学习，作为针对所选择的学习模型的增量学习。

22.根据权利要求21所述的图像处理装置，其中：

所述控制单元禁止将训练数据以外的医学图像输入到正在进行增量学习的学习模型中，并允许将训练数据以外的医学图像输入到辅助学习模型中，所述辅助学习模型是与在进行增量学习之前的所述学习模型相同的学习模型。

23.根据权利要求21或22所述的图像处理装置，其中：

所述控制单元在显示单元上显示比较结果或确定比较结果是否在预定范围内的结果，所述比较结果是利用使用进行增量学习之后的学习模型获得的图像和使用增量学习之前的学习模型获得的图像而获得的。

24.一种图像处理方法，包括：

从被检对象的第一医学图像生成第二医学图像，所述第二医学图像是通过使所述第一医学图像经过使用学习模型的图像质量改善处理而生成的；

将通过分析所述第一医学图像而获得的分析结果与通过分析所述第二医学图像而获得的分析结果进行比较；以及

基于通过所述比较获得的比较结果来控制显示单元的显示。

25.一种图像处理方法，包括：

从被检对象的多个第一医学图像生成多个第二医学图像，所述多个第二医学图像是通过使所述多个第一医学图像经过使用学习模型的图像质量改善处理而生成的；

将图像质量改善处理之前和之后的多个第一医学图像和多个第二医学图像进行比较，以及

基于通过所述比较获得的比较结果来控制显示单元的显示。

26.一种图像处理方法，包括：

选择多个学习模型中的任一个，所述多个学习模型包括使用包括第一摄像部位的训练数据获得的第一学习模型，和使用包括与第一摄像部位不同的第二摄像部位的训练数据获得的第二学习模型；以及

根据来自操作者的指令，检索与所选择的学习模型相对应的摄像部位和通过对该摄像部位进行摄像而获得的图像形成了对的数据，并执行采用通过检索而获得的数据作为训练数据的学习，作为针对所选择的学习模型的增量学习。

27.一种程序，当该程序在被处理器执行后，使处理器执行根据权利要求24至26中的任一项的图像处理方法的各步骤。

Images