CN112638234A - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

一种图像处理装置，包括：图像质量改善单元，其被构造为通过使用学习模型从被检眼的第一图像生成与第一图像相比进行了降噪和对比度增强中的至少一项的第二图像；以及显示控制单元，其被构造为通过切换、并排布置或叠置第一图像和第二图像，在显示单元上显示第一图像和第二图像。

Description

图像处理装置、图像处理方法和程序

技术领域

本发明涉及图像处理装置、图像处理方法和程序。

背景技术

利用光学相干断层扫描(OCT)的装置(OCT装置)，使用于无损且无创地获得诸如生物体等被检对象的断层图像的方法实用化。OCT装置尤其被广泛用作获取眼科诊断用图像的眼科装置。

在OCT中，通过使从测量对象反射的光与从参考反射镜反射的光相互干涉并分析干涉光的强度(intensity)，可以获得被检对象的断层图像。已知时域OCT(TD-OCT)是此类OCT中的一种。在TD-OCT中，通过连续改变参考反射镜的位置来获得被检对象的深度信息。

还已知光谱域OCT(SD-OCT)和扫频源OCT(SS-OCT)。在SD-OCT中，将通过使用低相干光引起光干涉而获得的干涉光划分，并且用频率信息代替深度信息从而获取频率信息。在SS-OCT中，通过使用已预先利用波长扫描光源划分了波长的光来获取干涉光。请注意，SD-OCT和SS-OCT也统称为“傅里叶域OCT(FD-OCT)”。

通过使用OCT，可以获取基于被检对象的深度信息的断层图像。此外，通过在深度方向上积分所获取的三维断层图像并将该积分后的图像投影到二维平面上，可以生成测量对象的正面图像。常规上，为了改善这些图像的图像质量，多次获取图像并进行平均处理。然而，在这种情况下，多次进行摄像需要花费时间。

专利文献1公开了这样一种技术，即，为了应对医疗技术中的快速发展并且也符合紧急情况下的简单摄像，借助于人工智能(AI)引擎将先前获取的图像转换成具有更高分辨率的图像。根据该技术，例如，可以将通过进行较少次数的摄像而获取的图像转换成具有更高分辨率的图像。

[引用列表]

[专利文献]

专利文献1：日本特开第2018-5841号公报

发明内容

[技术问题]

然而，即使图像具有高分辨率，在某些情况下也不能说该图像是适合图像诊断的图像。例如，即使当图像的分辨率高时，如果图像中存在大量噪声或对比度低等，则在某些情况下也不能适当地认定应当观察的对象。

在这方面，本发明的一个目的是提供一种图像处理装置、图像处理方法和程序，该图像处理装置、图像处理方法和程序能够产生比常规技术更适合于图像诊断的图像。

[解决问题的方案]

根据本发明的一个实施例的图像处理装置包括：图像质量改善单元，其被构造为使用学习模型从被检眼的第一图像生成与第一图像相比经过了降噪和对比度增强中的至少一项的第二图像；以及显示控制单元，其被构造为使第一图像和第二图像切换、并置或叠置显示在显示单元上。

根据本发明的另一实施例的图像处理装置包括：图像质量改善单元，其被构造为使用学习模型从第一图像生成第二图像，该第一图像是基于被检眼在深度方向上的范围内的信息而生成的正面图像，该第二图像与第一图像相比经过了降噪和对比度增强中的至少一项；以及选择单元，其被构造为基于用于生成第一图像的深度方向上的范围，从多个学习模型中选择图像质量改善单元要使用的学习模型。

根据下面参照附图对示例性实施例的描述，本发明的进一步特征将变得显而易见。

附图说明

[图1]是示出根据实施例1的OCT装置的示意构造的图。

[图2]是示出根据实施例1的控制单元的示意构造的图。

[图3A]是示出根据实施例1的训练数据的示例的图。

[图3B]是示出根据实施例1的训练数据的示例的图。

[图4]是示出根据实施例1的学习模型的构造的示例的图。

[图5]是示出根据实施例1的一系列图像处理操作的流程图。

[图6A]是示出在图像质量改善处理之前和之后所获得的图像之间切换显示的报告画面的示例的图。

[图6B]是示出在图像质量改善处理之前和之后所获得的图像之间切换显示的报告画面的示例的图。

[图7]是示出将在图像质量改善处理之前和之后所获得的图像并置显示的报告画面的示例的图。

[图8A]是示出将应用了图像质量改善处理的多个图像同时显示的报告画面的示例的图。

[图8B]是示出将应用了图像质量改善处理的多个图像同时显示的报告画面的示例的图。

[图9]是示出根据实施例2的控制单元的示意构造的图。

[图10]是示出根据实施例2的一系列图像处理操作的流程图。

[图11A]是示出改变图像质量改善处理的示例的图。

[图11B]是示出改变图像质量改善处理的示例的图。

[图12A]是示出将应用了图像质量改善处理的多个图像同时显示的报告画面的示例的图。

[图12B]是示出将应用了图像质量改善处理的多个图像同时显示的报告画面的示例的图。

[图13]是示出根据实施例3的一系列图像处理操作的流程图。

[图14]是示出根据实施例4的控制单元的示意构造的图。

[图15]是示出根据实施例4的一系列图像处理操作的流程图。

[图16A]是示出根据变型例9的用作机器学习模型的神经网络的构造示例的图。

[图16B]是示出根据变型例9的用作机器学习模型的神经网络的构造示例的图。

[图17A]是示出根据变型例9的用作机器学习模型的神经网络的构造示例的图。

[图17B]是示出根据变型例9的用作机器学习模型的神经网络的构造示例的图。

[图18]是示出根据实施例5的用户界面的示例的图。

[图19A]是示出多个OCTA en-face图像的示例的图。

[图19B]是示出多个OCTA en-face图像的示例的图。

[图20A]是示出根据实施例5的用户界面的示例的图。

[图20B]是示出根据实施例5的用户界面的示例的图。

具体实施方式

在下文中，将参照附图详细地描述本发明的示例性实施例。

然而，以下实施例中描述的部件的尺寸、材料、形状和相对位置是不确定的，并且可以根据应用本发明的装置的构造或根据各种条件而改变。此外，在不同附图中，相同或功能相似的元件由相同的附图标记标示。

在以下的实施例中，虽然给出了被检眼作为被检对象的示例，但也可以将人的其它器官等作为被检对象。此外，将被检眼的OCTA(OCT血管造影)图像描述为使用与机器学习模型(机器学习引擎)有关的学习模型进行图像质量改善处理的图像的示例。请注意，术语“OCTA”是指使用OCT而不使用造影剂的血管造影。在OCTA中，通过对基于被检对象在深度方向上的深度信息获得的三维运动对比度数据进行积分并将该积分数据投影到二维平面上，来生成OCTA图像(正面血管图像)。

这里，术语“运动对比度数据”是指通过对被检对象的大致相同的位置进行重复摄像并且在摄像期间检测该对象内随时间的变化而获得的数据。请注意，短语“大致相同的位置”是指相同程度达到可允许生成运动对比度数据的位置，并且包括与严格相同的位置略有偏离的位置。运动对比度数据是通过例如基于差、比率或相关性等来计算复杂OCT信号的相位、向量或强度随时间的变化而获得的。

现在将提及与图像质量改善处理有关的要点，该图像质量改善处理使用与机器学习模型有关的学习模型。通过使用与机器学习模型有关的学习模型对图像进行图像质量改善处理，尽管一方面可以从少量图像中获得高质量图像，但是另一方面，在某些情况下，实际上不存在的组织在图像中被可视化，或者原本存在的组织在图像中未被可视化。因此，存在以下问题：在通过使用学习模型进行图像质量改善处理而经过图像质量改善的图像中，难以确定被可视化的组织的真实性。

因此，在以下实施例中，提供了一种图像处理装置，该图像处理装置通过使用机器学习模型，可以生成比常规技术更适合于图像诊断的图像，并且对于这种图像，还可以容易地确定在图像中被可视化的组织的真实性。

请注意，尽管在以下实施例中描述了OCTA图像，但是进行了图像质量改善处理的图像不限于此，并且可以是断层图像或强度en-face图像等。这里，术语“en-face图像”是指通过针对被检对象的三维数据，将基于两个参考平面确定的预定深度范围内的数据投影或积分到二维平面上而生成的正面图像。en-face图像的示例包括基于强度断层图像的强度en-face图像和基于运动对比度数据的OCTA图像。

(实施例1)

在下文中，参照图1至图7来描述根据本发明的实施例1的光学相干断层摄影装置(OCT装置)和图像处理方法。图1是根据本实施例的OCT装置的示意构造。

根据本实施例的OCT装置1包括OCT摄像单元100、控制单元(图像处理装置)200、输入单元260和显示单元270。

OCT摄像单元100包括SD-OCT装置的摄像光学系统，并且基于干涉光来获取包括被检眼E的断层信息的信号，干涉光是通过使返回光与参考光彼此干涉而生成的，返回光来自通过扫描单元而照射有测量光的被检眼E，参考光与测量光相对应。在OCT摄像单元100中配设光学干涉单元110和扫描光学系统150。

控制单元200可以控制OCT摄像单元100，根据从OCT摄像单元100或其他装置(未示出)获得的信号来生成图像，并且处理所生成/所获取的图像。显示单元270是诸如LCD显示器的任何显示器，并且可以显示用于操作OCT摄像单元100和控制单元200的GUI、生成的图像、进行了任何类型的处理的图像以及诸如患者信息的各种信息。

输入单元260用于通过操作GUI并通过输入信息来操作控制单元200。输入单元260包括，例如，诸如鼠标、触摸板、轨迹球、触摸面板显示器或手写笔等指向设备和键盘。请注意，在使用触摸面板显示器的情况下，显示单元270和输入单元260可以彼此一体地构成。请注意，尽管在本实施例中，假定OCT摄像单元100、控制单元200、输入单元260和显示单元270是彼此分开的单元，但是这些单元中的一些或全部可以彼此一体地构成。

在OCT摄像单元100中的光学干涉单元110中配设光源111、耦合器113、准直光学系统121、色散补偿光学系统122、反射镜123、透镜131、衍射光栅132、成像透镜133和线传感器134。光源111是发射近红外光的低相干光源。从光源111发出的光通过光纤112a传播并进入作为分光单元的耦合器113。进入耦合器113的光被分成测量光和参考光，测量光向扫描光学系统150侧行进，参考光向包括准直光学系统121、色散补偿光学系统122和反射镜123的参考光光学系统侧行进。测量光进入光纤112b并被引导至扫描光学系统150。另一方面，参考光进入光纤112c并被引入到参考光光学系统。

进入光纤112c的参考光从光纤端射出，并通过准直光学系统121入射在色散补偿光学系统122上，并被引导至反射镜123。被反射镜123反射的参考光沿着相反方向上的光路行进，并再次进入光纤112c。色散补偿光学系统122是用于补偿光学系统相对于扫描光学系统150和作为被检对象的被检眼E的色散并且使测量光的色散与参考光的色散匹配的部件。反射镜123被构造为，通过由控制单元200控制的驱动单元(未示出)在参考光的光轴方向上可驱动，并且可以使参考光的光路长度相对于测量光的光路长度相对地改变并使参考光和测量光的光路长度匹配。

另一方面，进入光纤112b的测量光从光纤端射出并入射到扫描光学系统150上。扫描光学系统150是被构造为相对于被检眼E可相对移动的光学系统。扫描光学系统150被构造为通过由控制单元200控制的驱动单元(未示出)相对于被检眼E的眼球轴在前、后、向上、向下、左和右方向上可驱动，并且可以相对于被检眼E进行对准。请注意，扫描光学系统150可以被构造为包括光源111、耦合器113和参考光光学系统等。

在扫描光学系统150中配设准直光学系统151、扫描单元152和透镜153。从光纤112b的光纤端发出的光由准直光学系统151基本准直，并入射到扫描单元152上。

扫描单元152具有两个能够旋转镜面的检流计镜，其中一个检流计镜使水平方向的光偏转，而另一个检流计镜使垂直方向的光偏转。扫描单元152根据控制单元200的控制使入射光偏转。通过这种方式，扫描单元152可以在被检眼E的眼底Er上在两个方向(即，作为垂直于纸面的方向(X方向)的主扫描方向和作为平行于纸面的方向(Y方向)的副扫描方向)上扫描测量光。请注意，主扫描方向和副扫描方向不限于X方向和Y方向，只要主扫描方向和副扫描方向是与被检眼E的深度方向(Z方向)垂直且彼此相交的方向就足够了。因此，例如，主扫描方向可以是Y方向，而副扫描方向可以是X方向。

由扫描单元152扫描的测量光经由透镜153在被检眼E的眼底Er上形成照明斑。在扫描单元152接收面内偏转时，各个照明斑在被检眼E的眼底Er上移动(扫描)。从在照明斑的位置处的眼底Er反射并散射的测量光的返回光沿着相反方向上的光路行进，进入光纤112b，并返回到耦合器113。

如上所述，由反射镜123反射的参考光和来自被检眼E的眼底Er的测量光的返回光返回到耦合器113，并且彼此干涉而成为干涉光。干涉光穿过光纤112d并发射到透镜131。干涉光被透镜131基本准直，并且入射在衍射光栅132上。衍射光栅132具有周期性结构，并且将入射的干涉光分开。被分开的干涉光通过可以改变聚焦状态的成像透镜133在线传感器134上成像。线传感器134将与照射到各个传感器单元上的光的强度相对应的信号输出到控制单元200。控制单元200可以基于从线传感器134输出的干涉信号来生成被检眼E的断层图像。

通过上述一系列操作，可以获得在被检眼E的一个点处的与深度方向有关的断层信息。这样的一系列操作被称为“A扫描”。

此外，通过驱动扫描单元152的检流计镜，在与被检眼E相邻的一个点处生成干涉光，并且获取与被检眼E相邻的一个点处的深度方向上断层信息。通过重复这一系列控制，在任意的横向方向(主扫描方向)上进行多次A扫描，可以在前述的横向方向和深度方向上获取被检眼E的二维断层信息。这种操作被称为“B扫描”。控制单元200可以通过基于通过A扫描获取的干涉信号收集多个A扫描图像来构造一个B扫描图像。在下文中，B扫描图像被称为“二维断层图像”。

另外，通过在与主扫描方向正交的副扫描方向上稍微驱动扫描单元152的检流计镜，可以获取在被检眼E的另一位置(相邻的扫描线)处的断层信息。通过重复该操作来收集多个B扫描图像，控制单元200可以获取被检眼E的预定范围内的三维断层图像。

接下来，参照图2描述控制单元200。图2示出了控制单元200的示意构造。在控制单元200中配设获得单元210、图像处理单元220、驱动控制单元230、存储器240和显示控制单元250。

获得单元210可以从OCT摄像单元100获得与被检眼E的干涉信号相对应的线传感器134的输出信号的数据。请注意，获得单元210获得的输出信号的数据可以是模拟信号或数字信号。在获得单元210获得模拟信号的情况下，控制单元200可以将模拟信号转换为数字信号。

此外，获得单元210可以获得由图像处理单元220生成的断层数据，以及诸如二维断层图像、三维断层图像、运动对比度图像和en-face图像等各种图像。这里，术语“断层数据”是指包括与被检对象的横截面有关的信息的数据，并且包括通过使通过OCT获得的干涉信号经过傅立叶变换而获得的信号、通过使相关信号经过任何处理而获得的信号以及基于这些信号的断层图像等。

另外，获得单元210获得要经过图像处理的图像的摄像条件组(例如，与摄像日期和时间、摄像部位名称、摄像区域、摄像视角、摄像系统、图像分辨率和灰度、图像尺寸、图像滤波器以及图像数据格式有关的信息)。请注意，摄像条件组不限于前述摄像条件组的示例。此外，摄像条件组不必包括前述示例中提到的所有条件，并且可以包括这些条件中的一些。

具体地，获得单元210获得在对相关图像进行摄像时OCT摄像单元100的摄像条件。此外，获得单元210根据图像的数据格式，还可以获得在构成该图像的数据结构中存储的摄像条件组。请注意，在图像的数据结构中没有存储摄像条件的情况下，获得单元210还可以从存储摄像条件的存储装置等分别获得包括摄像条件组的摄像信息组。

此外，获得单元210还可以从输入单元260等获得诸如被摄体识别号等用于识别被检眼的信息。请注意，获得单元210可以从存储器240或连接至控制单元200的其他装置(未示出)获得各种数据、各种图像或各种信息。获得单元210可以将获得的各种数据或图像存储在存储器240中。

图像处理单元220可以从由获得单元210获得的数据或存储在存储器240中的数据来生成断层图像或en-face图像等，并且可以对所生成或所获得的图像进行图像处理。在图像处理单元220中配设断层图像生成单元221、运动对比度生成单元222、en-face图像生成单元223和图像质量改善单元224。

断层图像生成单元221可以使由获得单元210获得的干涉信号数据经过波数转换、傅立叶变换、绝对值转换(振幅的获取)等以生成断层数据，并且可以基于断层数据生成被检眼E的断层图像。由获得单元210获得的干涉信号数据可以是从线传感器134输出的信号的数据，或者可以是从存储器240或连接至控制单元200的装置(未示出)获得的干涉信号的数据。请注意，可以采用任何已知方法作为用于生成断层图像的方法，并且在此省略其详细描述。

断层图像生成单元221还可以基于所生成的多个部位的断层图像来生成三维断层图像。断层图像生成单元221例如可以通过在一个坐标系中并排布置多个部位的断层图像来生成三维断层图像。这里，断层图像生成单元221可以基于从存储器240或连接至控制单元200的装置(未示出)获得的多个部位的断层图像来生成三维断层图像。

运动对比度生成单元222可以使用通过对大致相同的位置进行摄像而获得的多个断层图像来生成二维运动对比度图像。此外，运动对比度生成单元222可以通过在一个坐标系中并排布置生成的各个部位的二维运动对比度图像来生成三维运动对比度图像。

在本实施例中，运动对比度生成单元222基于通过对被检眼E的大致相同位置进行摄像而获得的多个断层图像之间的解相关值(decorrelation value)来生成运动对比度图像。

具体地说，运动对比度生成单元222针对通过对大致相同的位置进行摄像时间彼此连续地摄像而获得的多个断层图像，获取进行了对准的多个断层图像。请注意，各种已知方法可以用作对准方法。例如，在多个断层图像当中选择一个参考图像，在改变参考图像的位置和角度的同时计算与其它断层图像的相似度，并且计算各个断层图像相对于参考图像的位移量。然后，通过基于计算结果校正各个断层图像来进行多个断层图像的对准。请注意，用于对准的处理可以由与运动对比度生成单元222分开的部件来进行。此外，对准方法不限于该方法，并且可以通过任何已知的方法来进行对准。

运动对比度生成单元222使用以下数学式1来计算进行了对准的多个断层图像当中的摄像时间彼此连续的每两个断层图像的解相关值。

【式1】

这里，A(x，z)表示断层图像A的位置(x，z)处的振幅，而B(x，z)表示断层图像B的相同位置(x，z)处的振幅。作为结果获得的解相关值M(x，z)从0到1取值，并且随着两个振幅值之间的差增加而变得更接近1。请注意，尽管在本实施例中已经描述了使用在X-Z平面上的二维断层图像的情况，但是也可以使用例如在Y-Z平面等上的二维断层图像。在这种情况下，位置(x，z)可以被位置(y，z)等代替。请注意，解相关值可以基于断层图像的强度值来确定，或者可以基于与断层图像相对应的干涉信号的值来确定。

运动对比度生成单元222基于在各个位置(像素位置)处的解相关值M(x，z)来确定运动对比度图像的像素值，并且生成运动对比度图像。请注意，尽管在本实施例中，运动对比度生成单元222针对摄像时间彼此连续的断层图像来计算解相关值，但是用于计算运动对比度数据的方法不限于此。获得解相关值M所针对的两个断层图像的摄像时间不必彼此连续，并且只要与彼此对应的各断层图像有关的摄像时间在预定时间间隔内就足够了。因此，例如，为了提取随时间变化小的对象，可以从所获取的多个断层图像中提取摄像间隔长于正常指定时间的两个断层图像并且可以计算解相关值。此外，代替解相关值，可以确定方差值或通过将最大值除以最小值而获得的值(最大值/最小值)等。

请注意，用于生成运动对比度图像的方法不限于前述方法，并且也可以使用任何其它已知方法。

en-face图像生成单元223可以从运动对比度生成单元222所生成的三维运动对比度图像生成作为正面图像的en-face图像(OCTA图像)。具体地，en-face图像生成单元223可以通过基于例如被检眼E在深度方向(Z方向)上的两个任意参考平面将三维运动对比度图像投影在二维平面上来生成作为正面图像的OCTA图像。此外，en-face图像生成单元223可以以类似的方式从断层图像生成单元221所生成的三维断层图像生成强度en-face图像。

更具体地，例如，en-face图像生成单元223确定被两个参考平面围绕的区域的在X-Y方向上的各个位置处的深度方向上的像素值的代表值，基于该代表值确定各个位置处的像素值，并生成en-face图像。在这种情况下，代表值的示例包括在被两个参考平面围绕的区域的深度方向上的范围内的像素值的平均值、中值或最大值。

请注意，参考平面可以是沿着被检眼E的横截面处的层边界的平面，或者可以是平面。在下文中，将用于生成en-face图像的参考平面之间的深度方向上的范围称为“en-face图像生成范围”。此外，根据本实施例的用于生成en-face图像的方法是一个示例，并且en-face图像生成单元223可以使用任何已知方法来生成en-face图像。

图像质量改善单元224使用稍后描述的学习模型，以基于由en-face图像生成单元223生成的OCTA图像来生成高质量OCTA图像。此外，图像质量改善单元224可以基于由断层图像生成单元221生成的断层图像或由en-face图像生成单元223生成的强度en-face图像生成高质量断层图像或高质量强度en-face图像。请注意，图像质量改善单元224还可以基于获得单元210从存储器240或连接至控制单元200的其他装置(未示出)获得的各种图像，而不仅仅是基于使用OCT摄像单元100等摄像的OCTA图像，来生成高质量图像。另外，图像质量改善单元224可以对三维运动对比度图像或三维断层图像，而不仅仅是对OCTA图像或断层图像，进行图像质量改善处理。

驱动控制单元230可以控制与控制单元200连接的OCT摄像单元100的诸如光源111、扫描光学系统150、扫描单元152和成像透镜133等部件的驱动。存储器240可以存储由获得单元210获得的各种数据，以及由图像处理单元220生成和处理的诸如断层图像或OCTA图像等各种数据和图像。此外，存储器240可以存储被摄体的属性(姓名，年龄等)、使用其它检查设备获取的诸如测量结果等与被检眼有关的信息(眼球的轴向长度、眼内压等)、摄像参数、图像分析参数以及由操作者设置的参数。请注意，也可以采用将这些图像和信息存储在外部存储装置(未示出)中的构造。存储器240还可以存储由处理器执行的用于实现控制单元200的各部件的功能的程序。

显示控制单元250可以使由获得单元210获得的各种信息以及由图像处理单元220生成和处理的诸如断层图像、OCTA图像和三维运动对比度图像等各种图像显示在显示单元270上。显示控制单元250还可以使由用户等输入的信息等显示在显示单元270上。

控制单元200可以例如通过使用通用计算机来构成。请注意，控制单元200可以通过使用OCT装置1的专用计算机来构成。控制单元200配备有CPU(中央处理单元)(未示出)或MPU(微处理单元)和包括诸如光盘或ROM(只读存储器)的存储器的存储介质。控制单元200的存储器240之外的各部件可以由诸如CPU或MPU处理器执行的软件模块来构成。此外，所讨论的各部件可以由诸如ASIC等提供具体功能的电路或独立的装置等构成。例如，存储器240可以由诸如光盘或存储器的任意存储介质构成。

请注意，控制单元200可以包括一个或更多个诸如CPU的处理器和诸如ROM的存储介质。因此，控制单元200的各个部件可以被构造为在至少一个或更多个处理器和至少一个存储介质相连接并且至少一个或更多个处理器执行存储在至少一个存储介质中的程序的情况下起作用。请注意，处理器不限于CPU或MPU，并且可以是GPU(图形处理单元)等。

接下来，参照图3A至图4描述根据本实施例的与根据诸如深度学习的机器学习算法的机器学习模型有关的学习模型。根据本实施例的学习模型根据学习趋势，基于输入图像，生成并输出进行了图像质量改善处理的图像。

在本说明书中，术语“图像质量改善处理”是指将输入图像转换成具有更适合图像诊断的图像质量的图像，并且术语“高质量图像”是指已经转换为具有更适合图像诊断的图像质量的图像。这里，适合于图像诊断的图像质量的内容取决于期望使用各种图像诊断来诊断什么。因此，虽然不能一概而论，但是例如适合图像诊断的图像质量包括如下图像质量：噪声量低，对比度高，以使摄像目标易于观察的颜色和灰度显示摄像目标，图像尺寸大，且分辨率高。另外，适合于图像诊断的图像质量可以包括使得从图像中去除在图像生成过程中渲染的实际上不存在的对象或灰度的图像质量。

术语“学习模型”是指针对根据诸如深度学习的任何机器学习算法的机器学习模型，预先使用适当的训练数据进行了训练(学习)的模型。然而，假定学习模型不是不进行进一步学习的模型，并且是还可以进行增量学习的模型。训练数据由输入数据和真值(正确答案数据)构成的一个或更多个对组构成。在本实施例中，由输入数据和真值(ground truth)构成的一对由OCTA图像和通过使包括前述OCTA图像的多个OCTA图像经过诸如加法平均的平均处理而获得的OCTA图像构成。

经历平均处理的平均图像，由于增强了源图像组中通常可视化的像素，所以是适合于图像诊断的高质量图像。在这种情况下，由于增强了通常可视化的像素，所以生成的高质量图像是低强度区域与高强度区域之间的差异清晰的高对比度图像。另外，例如，在平均图像中，可以减少在每轮摄像中产生的随机噪声，并且可以使用其他源图像组使在特定时间点在源图像中未渲染好的区域经过插值处理。

请注意，在构成训练数据的对组中，可以从训练数据中去除对改善图像质量没有贡献的对。例如，如果作为在一对训练数据中包括的真值的高质量图像的图像质量不适合图像诊断，则存在以下可能性：使用相关训练数据学习的学习模型所输出的图像将具有不适合图像诊断的图像质量。因此，通过从训练数据中去除真值的图像质量不适合图像诊断的对，可以降低学习模型生成具有不适合图像诊断的图像质量的图像的可能性。

此外，在作为一对的图像组中平均强度或强度分布相差很大的情况下，存在以下可能性：使用相关训练数据学习的学习模型将输出不适合于图像诊断且具有与低质量图像的强度分布有很大差异的强度分布的图像。因此，可以从训练数据中去除平均强度或强度分布相差很大的输入数据和真值的对。

另外，在作为一对的图像组中要渲染的摄像目标的结构或位置相差很大的情况下，存在以下可能性：使用相关训练数据学习的学习模型将输出不适用于图像诊断且摄像目标被渲染的结构或位置与低质量图像有很大差异的图像。因此，还可以从训练数据中去除这样一对的输入数据和真值：要渲染的摄像目标的结构或位置在输入数据和真值之间有很大差异。

通过使用以这种方式进行了学习的学习模型，在输入通过一轮摄像(检查)获得的OCTA图像的情况下，图像质量改善单元224可以通过平均处理生成对比度提高或噪声降低等的高质量OCTA图像。因此，图像质量改善单元224可以基于作为输入图像的低质量图像来生成适合于图像诊断的高质量图像。

接下来，将描述进行学习时使用的图像。使用位置关系相对应的一定图像尺寸的矩形区域图像来创建构成对组的图像组，该对组由构成训练数据的OCTA图像301和高质量OCTA图像302构成。现在将参照图3A和图3B描述创建所讨论的图像的方式。

首先，描述一种情况，其中构成训练数据的一个对组被视为由OCTA图像301和高质量OCTA图像302构成。在这种情况下，如图3A所示，形成这样的对，其中整个OCTA图像301被视为输入数据，并且整个高质量OCTA图像302被视为真值。请注意，尽管在图3A所示的示例中，通过整体使用各个图像来形成由输入数据和真值构成的对，但是该对不限于此。

例如，如图3B所示，可以形成这样一对，其中采用OCTA图像301中的矩形区域图像311作为输入数据，并且采用OCTA图像302中的作为对应摄像区域的矩形区域图像321作为真值。

请注意，在进行学习时，可以将扫描范围(摄像视角)和扫描密度(A扫描数量和B扫描数量)归一化，以使图像尺寸一致，从而可以使得在进行学习时的矩形区域尺寸一致。此外，在图3A和图3B中所示出的矩形区域图像是当各矩形区域尺寸被用于彼此单独地进行学习时的矩形区域尺寸的示例。

此外，矩形区域的数量在图3A中示出的示例中可以被设置为一个，并且在图3B中示出的示例中可以被设置为多个矩形区域。例如，在如图3B所示的示例中，也可以构成这样的一对，其中采用OCTA图像301中的矩形区域图像312作为输入数据，并且采用作为高质量OCTA图像302中的对应摄像区域的矩形区域图像322作为真值。因此，可以从由一个OCTA图像和一个高质量OCTA图像组成的对来创建彼此不同的矩形区域图像对。请注意，可以通过在将区域的位置改变为作为源图像的OCTA图像和高质量OCTA图像中的不同坐标的同时，创建大量矩形区域图像对，来增强构成训练数据的对组的内容。

尽管在图3B中示出的示例中离散地示出了矩形区域，但是作为源图像的OCTA图像和高质量OCTA图像各自都可以被连续地并且无间隙地划分为具有一致图像尺寸的矩形区域图像的组。或者，作为源图像的OCTA图像和高质量OCTA图像可以各自在彼此对应的随机位置处被划分为矩形区域图像组。以这种方式，通过选择较小区域的图像作为由作为矩形区域的输入数据和真值组成的对，可以从构成原始对的OCTA图像301和高质量OCTA图像302生成大量对数据。因此，可以缩短训练机器学习模型所需的时间。

接下来，参照图4描述相对于输入断层图像进行图像质量改善处理的卷积神经网络(CNN)，作为根据本实施例的学习模型的一个示例。图4示出图像质量改善单元224使用的学习模型的构造401的示例。

在图4中示出的学习模型由负责处理用于输出的输入值组的处理的多个层组构成。请注意，在学习模型的构造401中所包括的层的类型是卷积层、下采样层、上采样层和合并层。

卷积层是根据设置的诸如滤波器的内核尺寸、滤波器的数量、步幅值(value of astride)和膨胀值(dilation value)等参数针对输入值组进行卷积处理的层。请注意，滤波器的内核尺寸的维数可以根据输入图像的维数来改变。

下采样层是进行如下处理的层：通过细化或组合输入值组来使输出值组的数量小于输入值组的数量。具体地，例如，最大池化处理可用作这种处理。

上采样层是进行如下处理的层：通过复制输入值组或添加从输入值组内插的值来使输出值组的数量大于输入值组的数量。具体地，例如，线性插值处理可用作这种处理。

合并层是进行如下处理的层：从多个源输入诸如某一层的输出值组或构成图像的像素值组等值组，并通过将值组级联或相加来合并这些值组。

请注意，作为针对在图4所示的构造401中所包括的卷积层组设置的参数，例如，通过将滤波器的内核尺寸设置为3个像素的宽度和3个像素的高度并且将滤波器的数量设置为64，可以进行一定精度的图像质量改善处理。但是，在这方面需要注意，因为如果关于构成神经网络的层组和节点组的参数的设置不同，则在某些情况下，基于训练数据训练的趋势在输出数据中可再现的程度将不同。换句话说，在许多情况下，适当的参数将根据实施时的形式而不同，因此可以根据需要将参数改变为优选值。

此外，也存在如下情况：CNN可以通过改变CNN的构造，而不仅仅是通过使用如上所述的改变参数的方法，来获得更好的特性。术语“更好的特性”是指，例如，图像质量改善处理的精度增加、图像质量改善处理所花费的时间变短以及训练机器学习模型的训练所需的时间变短。

虽然在附图中未示出，但是作为CNN的构造的变型例，例如，在卷积层等之后，可以并入批归一化层(batch normalization layer)或使用整流线性单元的激活层。

当将数据输入到这种机器学习模型的学习模型中时，输出根据机器学习模型的设计的数据。例如，根据使用训练数据训练机器学习模型的趋势，输出具有与输入数据相对应的高概率的输出数据。在根据本实施例的学习模型的情况下，当输入OCTA图像301时，根据使用训练数据对机器学习模型进行训练的趋势，输出高质量OCTA图像302。

请注意，在以将图像划分为区域的方式进行学习的情况下，学习模型输出作为与各矩形区域相对应的高质量OCTA图像的矩形区域图像。在这种情况下，首先，图像质量改善单元224基于进行学习时的图像尺寸将作为输入图像的OCTA图像301划分为矩形区域图像组，并将划分的矩形区域图像组输入到学习模型中。之后，图像质量改善单元224根据与输入到学习模型中的矩形区域图像组的各图像的位置关系相同的位置关系布置作为从学习模型输出的高质量OCTA图像的一组矩形区域图像的各图像，并合并这些矩形区域图像。通过这种方式，图像质量改善单元224可以生成与输入的OCTA图像301相对应的高质量OCTA图像302。

接下来，参照图5至图7将描述根据本实施例的一系列图像处理操作。图5是示出根据本实施例的一系列图像处理操作的流程图。

首先，在步骤S501中，获得单元210获得通过对被检眼E进行多次摄像而获得的多项三维断层信息。获得单元210可以使用OCT摄像单元100来获得被检眼E的断层信息，或者可以从存储器240或连接至控制单元200的其他装置中获得断层信息。

这里，将描述通过使用OCT摄像单元100获得被检眼E的断层信息的情况。首先，操作者使作为被摄体的患者坐在扫描光学系统150的前面、进行对准、将患者信息输入到控制单元200等中，然后开始OCT摄像。控制单元200的驱动控制单元230驱动扫描单元152的检流计镜以多次扫描被检眼的大致相同的位置，从而获得被检眼的大致相同的位置处的多项断层信息(干涉信号)。其后，驱动控制单元230在与主扫描方向正交的副扫描方向上略微驱动扫描单元152的检流计镜，并在被检眼E的其他位置(相邻扫描线)处获得多项断层信息。通过重复该控制，获得单元210获得在被检眼E的预定范围内的多项三维断层信息。

接下来，在步骤S502中，断层图像生成单元221基于获得的多项三维断层信息项来生成多个三维断层图像。请注意，在步骤S501中，获得单元210从存储器240或连接至控制单元200的其他装置获得多个三维断层图像的情况下，可以省略步骤S502。

在步骤S503中运动对比度生成单元222基于多个三维断层图像来生成三维运动对比度数据(三维运动对比度图像)。请注意，运动对比度生成单元222可以基于关于大致相同的位置获取的三个或更多个断层图像来获得多项运动对比度数据，并生成多项运动对比度数据的平均值作为最终运动对比度数据。请注意，在步骤S501中获得单元210从存储器240或连接至控制单元200的其他装置获得三维运动对比度数据的情况下，可以省略步骤S502和步骤S503。

在步骤S504中，针对三维运动对比度数据，en-face图像生成单元223根据来自操作者的指令或基于预定的en-face图像生成范围来生成OCTA图像。请注意，在步骤S501中获得单元210从存储器240或连接至控制单元200的其他装置获得OCTA图像的情况下，可以省略步骤S502至步骤S504。

在步骤S505中，图像质量改善单元224使用学习模型对OCTA图像进行图像质量改善处理。图像质量改善单元224将OCTA图像输入到学习模型中，并且基于来自学习模型的输出生成高质量OCTA图像。请注意，在学习模型以将图像划分为区域的方式进行了学习的情况下，图像质量改善单元224首先基于学习时的图像尺寸将作为输入图像的OCTA图像划分为矩形区域图像组，并将划分后的矩形区域图像组输入到学习模型中。其后，图像质量改善单元224根据与输入到学习模型中的矩形区域图像组的各图像的位置关系相同的位置关系布置作为从学习模型输出的高质量OCTA图像的一组矩形区域图像的各图像，并合并这些矩形区域图像，从而生成最终的高质量OCTA图像。

在步骤S506中，显示控制单元250使显示单元270从显示原始OCTA图像(第一图像)切换为显示由图像质量改善单元224生成的高质量OCTA图像(第二图像)。如上所述，在使用机器学习模型的图像质量改善处理中，在某些情况下，实际上不存在的血管在OCTA图像中被可视化，或者原本存在的血管在OCTA图像中未被可视化。在这方面，通过显示控制单元250使显示单元270从显示原始OCTA图像切换为显示生成的高质量OCTA图像，可以便于确定血管是通过图像质量改善处理新生成的血管还是在原始图像中也存在的血管。当显示控制单元250的显示处理结束时，一系列图像处理操作结束。

接下来，参照图6A至图7描述用于操作控制单元200的方法。图6A和图6B示出在图像质量改善处理之前和之后的图像之间切换显示的报告画面的示例。在图6A中示出的报告画面600上示出了断层图像611和图像质量改善处理之前的OCTA图像601。在图6B示出的报告画面600上示出了断层图像611和图像质量改善处理之后的OCTA图像602(高质量OCTA图像)。

在图6A示出的报告画面600上，当操作者使用作为输入单元260的一个示例的鼠标并且在OCTA图像601上按下鼠标右键时，显示用于选择是否进行图像质量改善处理的弹出菜单620。当操作者在弹出菜单620上选择进行图像质量改善处理时，图像质量改善单元224对OCTA图像601执行图像质量改善处理。

然后，如图6B所示，显示控制单元250使报告画面600上的显示从显示进行图像质量改善处理之前的OCTA图像601切换为显示进行图像质量改善处理之后的图像OCTA 602。请注意，还可以通过再次在OCTA图像602上按下鼠标右键来打开弹出菜单620，并且使得显示切换为显示进行图像质量之前的OCTA图像601。

请注意，尽管已经描述了通过使用根据操作者按下鼠标的右键的操作而显示的弹出菜单620在图像质量改善处理之前和之后的图像之间切换显示的示例，但是除了弹出菜单，还可以进行任何其他方法作为切换图像的方法。例如，还可以使用报告画面上配设的按钮(例如，在图18、图20A和图20B中示出的按钮3420)、下拉菜单、单选按钮、复选框或键盘操作来进行图像切换。另外，可以通过鼠标滚轮的操作或触摸面板显示器上的触摸操作来进行显示图像的切换。

操作者可以通过上述方法在显示进行图像质量改善处理之前的OCTA图像601与进行图像质量改善处理之后的OCTA图像602之间任意切换。因此，操作者可以容易地查看和比较图像质量改善处理之前和之后的OCTA图像，并且可以容易地确认由图像质量改善处理引起的OCTA图像之间的变化。因此，操作者可以容易地识别通过图像质量改善处理在OCTA图像中被可视化的实际上不存在的血管，或者由于图像质量改善处理而从OCTA图像中消失了的原本存在的血管，并可以容易地确定图像中被可视化的组织的真实性。

请注意，尽管在上述显示方法中，图像质量改善处理之前和之后的图像被切换显示，但是通过以并置或叠置方式显示这些图像，也可以获得类似的效果。图7示出了在以并置的方式显示图像质量改善处理之前和之后的图像的情况下的报告画面的示例。在图7示出的报告画面700上，以并置的方式显示图像质量改善处理之前的OCTA图像701和图像质量改善处理之后的OCTA图像702。

同样在这种情况下，操作者可以容易地查看和比较图像质量改善处理之前和之后的图像，并且可以容易地确认由图像质量改善处理引起的图像之间的变化。因此，操作者可以容易地识别通过图像质量改善处理在OCTA图像中被可视化的实际上不存在的血管，或者由于图像质量改善处理而从OCTA图像中消失的原本存在的血管，并可以容易地确定图像中被可视化的组织的真实性。请注意，在以叠置方式显示图像质量改善处理之前和之后的图像的情况下，显示控制单元250可以针对图像质量改善处理之前和之后的图像当中的至少一个图像来设置透明度，并且使图像质量改善处理之前和之后的图像以叠置方式显示在显示单元270上。

此外，如上所述，图像质量改善单元224还可以对断层图像或强度en-face图像而不仅仅是OCTA图像进行使用学习模型的图像质量改善处理。在这种情况下，作为学习模型的训练数据的对，可以使用这样的对：采用进行平均之前的断层图像或强度en-face图像作为输入数据，以及采用进行平均之后的断层图像或强度en-face图像作为真值。请注意，在这种情况下，学习模型可以是使用诸如OCTA图像或断层图像的训练数据进行了学习的单个学习模型，或者针对图像的各自种类进行了学习的多个学习模型可以用作学习模型。在使用多个学习模型的情况下，图像质量改善单元224可以使用与作为进行图像质量改善处理的对象的图像的种类相对应的学习模型。请注意，图像质量改善单元224可以针对三维运动对比度图像或三维断层图像使用学习模型来进行图像质量改善处理，并且在这种情况下的训练数据也可以以与上述相同的方式来准备。

在图7中，以并置的方式显示图像质量改善处理之前的断层图像711和图像质量改善处理之后的断层图像712。请注意，类似于如图6A和图6B中所示的图像质量改善处理之前和之后的OCTA图像，显示控制单元250可以使图像质量改善处理之前和之后的断层图像或强度en-face图像切换显示在显示单元270上。此外，显示控制单元250可以使图像质量改善处理之前和之后的断层图像或强度en-face图像以叠置方式显示在显示单元270上。同样在这些情况下，操作者可以容易地查看和比较图像质量改善处理之前和之后的图像，并且可以容易地确认由图像质量改善处理引起的图像之间的变化。因此，操作者可以容易地识别通过图像质量改善处理在图像中被可视化的实际上不存在的组织，或者由于图像质量改善处理而从图像中消失的原本存在的组织，并可以容易地确定图像中被可视化的组织的真实性。

如上所述，根据本实施例的控制单元200包括图像质量改善单元224和显示控制单元250。图像质量改善单元224使用学习模型从被检眼的第一图像生成与第一图像相比经过了噪声降低和对比度增强中的至少一项的第二图像。显示控制单元250在显示单元270上使第一图像和第二图像切换、并置或叠置显示。请注意，显示控制单元250可以根据来自操作者的指令在第一图像和第二图像之间切换并在显示单元270上显示相关切换图像。

通过这种方式，控制单元200可以从源图像生成降低了噪声和/或增强了对比度的高质量图像。因此，与常规技术相比，控制单元200可以生成更适合于图像诊断的图像，诸如更清晰的图像或期望观察的部位或病变被增强的图像。

此外，操作者可以容易地查看和比较图像质量改善处理之前和之后的图像，并且可以容易地确认由图像质量改善处理引起的图像之间的变化。因此，操作者可以容易地识别通过图像质量改善处理在图像中被可视化的实际上不存在的组织，或者由于图像质量改善处理而从图像中消失了的原本存在的组织，并可以容易地确定图像中被可视化的组织的真实性。

尽管根据本实施例将平均图像用作用于学习模型的训练数据的真值，但是训练数据不限于此。例如，通过针对源图像组进行最大后验处理(MAP估计处理)而获得的高质量图像可以用作训练数据的真值。在MAP估计处理中，基于多个图像中的各个像素值的概率密度来获得似然函数，并且使用所获得的似然函数来估计真实信号值(像素值)。

通过MAP估计处理获得的高质量图像是基于接近真实信号值的像素值的高对比度图像。此外，由于估计信号值是基于概率密度确定的，因此在通过MAP估计处理获得的高质量图像中，随机产生的噪声被降低。因此，通过使用通过MAP估计处理获得的高质量图像作为训练数据，学习模型可以从输入图像生成适合于图像诊断的降低了噪声且具有高对比度的高质量图像。请注意，关于用于生成训练数据的输入数据和真值的对的方法，可以进行与将平均图像用作训练数据的情况类似的方法。

此外，可以使用通过对源图像应用平滑滤波处理而获得的高质量图像，作为训练数据的真值。在这种情况下，学习模型可以从输入图像生成降低了随机噪声的高质量图像。另外，通过对源图像应用灰度转换处理而获得的图像也可以用作训练数据的真值。在这种情况下，学习模型可以从输入图像生成增强了对比度的高质量图像。请注意，关于用于生成训练数据的输入数据和真值的对的方法，可以进行与将平均图像用作训练数据的情况类似的方法。

请注意，训练数据的输入数据可以是从具有与OCT摄像单元100相同的图像质量趋势的摄像装置获得的图像。此外，训练数据的真值可以是通过诸如使用逐次逼近法的处理等高成本处理而获得的高质量图像，或者可以是通过使用比OCT摄像单元100具有更高性能的摄像装置对与输入数据相对应的被检对象进行摄像而获得的高质量图像。此外，真值可以是通过进行基于规则的降噪处理而获得的高质量图像，所述基于规则的降噪处理是基于被检对象的结构等。这里，降噪处理可以包括，例如，用相邻的低强度像素值的平均值代替仅是一个像素的高强度像素的处理，该一个像素显然是出现在低强度区域中的噪声。因此，学习模型可以采用由比用于对输入图像进行摄像的摄像装置具有更高性能的摄像装置摄像的图像，或者通过涉及比用于获得输入图像的摄像处理更多的处理数量(number ofprocesses)的摄像处理获得的图像，作为训练数据。

请注意，尽管已经描述了图像质量改善单元224通过使用学习模型来生成降低了噪声或增强了对比度的高质量图像，但是图像质量改善单元224进行的图像质量改善处理不限于此。如上所述，图像质量改善单元224可以通过图像质量改善处理来生成具有更适合于图像诊断的图像质量的图像就足够了。

此外，在使图像质量改善处理之前和之后的图像以并置的方式显示在显示单元270上的情况下，根据来自操作者的指令，显示控制单元250可以放大显示以并置方式在显示单元270上正显示的图像质量改善处理之前和之后的图像当中的任何图像。更具体地，例如，在图7中示出的报告画面700上，如果操作者选择OCTA图像701，则显示控制单元250可以在报告画面700上放大显示OCTA图像701。此外，如果操作者选择图像质量改善处理之后的OCTA图像702，则显示控制单元250可以在报告画面700上放大显示OCTA图像702。在这种情况下，操作者可以更详细地观察图像质量改善处理之前和之后的图像当中的操作者希望观察的图像。

另外，在根据操作者的指令改变诸如OCTA图像等en-face图像的生成范围的情况下，控制单元200可以将显示从以叠置方式显示的图像改变为基于改变后的生成范围的图像和经过了图像质量改善的图像。更具体地，当操作者通过输入单元260改变en-face图像生成范围时，en-face图像生成单元223基于改变后的生成范围来生成图像质量改善处理之前的en-face图像。图像质量改善单元224使用学习模型从由en-face图像生成单元223新生成的en-face图像生成高质量en-face图像。其后，显示控制单元250使显示单元270从显示以并置的方式正在显示的图像质量改善处理之前和之后的en-face图像改变为显示图像质量改善处理之前和之后的新生成的en-face图像。在这种情况下，在操作者任意改变操作者希望观察的深度方向上的范围的同时，操作者可以基于深度方向上的改变后的范围来观察图像质量改善处理之前和之后的en-face图像。

(变型例1)

如上所述，在使用学习模型进行了图像质量改善处理的图像中，实际上不存在的组织可能会被可视化，或者原本存在的组织可能未被可视化。因此，由于操作者基于这样的图像进行图像诊断，可能发生误诊。因此，当在显示单元270上显示图像质量改善处理之后的OCTA图像或断层图像等时，显示控制单元250还可以显示大意如下的信息：所讨论的图像是使用学习模型进行了图像质量改善处理的图像。在这种情况下，可以抑制操作者发生误诊。请注意，显示形式可以是任何形式，只要该形式使得可以理解该图像是使用学习模型获得的高质量图像即可。

(变型例2)

在实施例1中，描述了将图像质量改善处理应用于通过一轮摄像(检查)获得的OCTA图像或断层图像等的示例。在这方面，使用学习模型的图像质量改善处理还可以应用于通过多次进行摄像(检查)获得的多个OCTA图像或断层图像等。在变型例2中，参照图8A和图8B描述了一种构造，其中同时显示通过对多个OCTA图像或断层图像等应用使用学习模型的图像质量改善处理而获得的图像。

图8A和图8B各自示出了时序报告画面的示例，该时序报告画面用于显示通过对同一被检眼随着时间推移进行多次摄像而获得的多个OCTA图像。在图8A中示出的报告画面800上，按时间顺序并排显示在进行图像质量改善处理之前的多个OCTA图像801。报告画面800还包括弹出菜单820，并且操作者可以经由输入单元260通过操作弹出菜单820来选择是否应用图像质量改善处理。

如果操作者选择应用图像质量改善处理，则图像质量改善单元224将使用学习模型的图像质量改善处理应用于正在显示的所有OCTA图像。随后，如图8B所示，显示控制单元250从显示正在显示的多个OCTA图像801切换为显示进行图像质量改善处理之后的多个OCTA图像802。

此外，如果操作者在弹出菜单820上选择不应用图像质量改善处理，则显示控制单元250从显示正在显示的图像质量改善处理之后的多个OCTA图像802切换为显示图像质量改善处理之前的多个OCTA图像801。

请注意，在本变型例中，已经描述了同时切换显示使用学习模型的图像质量改善处理之前和之后获得的多个OCTA图像的示例。然而，可以同时切换显示使用学习模型的图像质量改善处理之前和之后获得的多个断层图像或强度en-face图像等。请注意，操作方法不限于使用弹出菜单820的方法，并且可以采用任何操作方法，例如，使用在报告画面上配设的按钮、下拉菜单、单选按钮或复选框，或者针对键盘、鼠标滚轮或触摸面板的操作的方法。

(实施例2)

学习模型根据学习趋势输出具有与输入数据相对应的高概率的输出数据。在这方面，当学习模型使用彼此具有相似图像质量趋势的图像组作为训练数据来进行学习时，可以针对具有所讨论的相似趋势的图像来输出经历更有效的图像质量改善的图像。因此，在实施例2中，通过用多个学习模型来进行图像质量改善处理，来更有效地进行图像质量改善处理，其中，所述多个学习模型经历使用由对组构成的训练数据的学习，所述对组是针对诸如摄像部位的各个摄像条件或者针对各个en-face图像生成范围而被分组。

在下文中，参照图9和图10来描述根据本实施例的OCT装置。请注意，由于除了控制单元之外，根据本实施例的OCT装置的构造与根据实施例1的OCT装置1的构造相同，因此与图1中示出的部件相同的部件由与实施例1中的附图标记相同的附图标记标示，并且在下文中省略对这些部件的描述。在下文中，以与根据实施例1的OCT装置1不同之处为中心，对根据本实施例的OCT装置进行描述。

图9示出了根据本实施例的控制单元900的示意性构造。请注意，除了图像处理单元920和选择单元925之外，根据本实施例的控制单元900的部件与根据实施例1的控制单元200的各部件相同。因此，与图2中示出的部件相同的部件由与实施例1中的附图标记相同的附图标记标示，并且在下文中省略对这些部件的描述。

除了断层图像生成单元221、运动对比度生成单元222、en-face图像生成单元223和图像质量改善单元224之外，控制单元900的图像处理单元920中还配设选择单元925。

选择单元925基于要由图像质量改善单元224进行图像质量改善处理的图像的摄像条件或en-face图像生成范围，从多个学习模型当中选择要由图像质量改善单元224使用的学习模型。图像质量改善单元224使用由选择单元925选择的学习模型对目标OCTA图像或断层图像等进行图像质量改善处理，并生成高质量OCTA图像或高质量断层图像。

接下来，将描述根据本实施例的多个学习模型。如上所述，学习模型根据学习趋势输出具有与输入数据相对应的高概率的输出数据。在这方面，当学习模型使用彼此具有相似图像质量趋势的图像组作为训练数据来进行学习时，可以针对具有所讨论的相似趋势的图像输出经历了更有效的图像质量改善的图像。因此，在本实施例中，准备了多个学习模型，所述多个学习模型经历使用由对组构成的训练数据的学习，所述对组是根据包括诸如摄像部位、摄像系统、摄像区域、摄像视角、扫描密度和图像分辨率等条件的摄像条件或针对各个en-face图像生成范围而被分组。

更具体地，例如，准备了多个学习模型，例如采用将黄斑区域设置为摄像部位的OCTA图像作为训练数据的学习模型，以及采用将视神经头设置为摄像部位的OCTA图像作为训练数据的学习模型。请注意，黄斑区域和视神经头各自是摄像部位的一个示例，并且可以包括其他摄像部位。此外，可以准备这样的学习模型，针对该学习模型，采用针对诸如黄斑区域或视神经头的摄像部位的各个特定摄像区域的OCTA图像作为训练数据。

此外，例如，在以宽视角和低密度对视网膜摄像的情况与以窄视角和高密度对视网膜摄像的情况之间，在OCTA图像中被可视化的诸如血管的结构的可视化显著不同。因此，可以准备根据摄像视角和扫描密度对训练数据的各个集合进行学习的学习模型。另外，摄像系统的示例包括SD-OCT摄像系统和SS-OCT摄像系统，并且图像质量、摄像范围和深度方向上的穿透深度等根据这些摄像系统之间的差异而不同。因此，可以准备根据摄像系统的各自种类使用训练数据进行学习的学习模型。

此外，通常很少生成一次提取视网膜的所有层的血管的OCTA图像，并且通常生成仅提取预定深度范围内存在的血管的OCTA图像。例如，针对诸如视网膜的浅层、深层和外层以及浅脉络膜层等深度范围，生成在各深度范围内提取血管的OCTA图像。另一方面，在OCTA图像中被可视化的血管的形式根据深度范围而极大地不同。例如，在视网膜的浅层中被可视化的血管形成低密度、薄而清晰的血管网，而在浅脉络膜层中被可视化的血管以高密度被可视化，并且难以清楚地区分个别血管。因此，可以准备根据诸如OCTA图像的en-face图像的生成范围使用各自的训练数据集进行学习的学习模型。

尽管这里描述了采用OCTA图像作为训练数据的示例，但是与实施例1类似，在针对断层图像或强度en-face图像等进行图像质量改善处理的情况下，可以采用这些图像作训练数据。在这种情况下，准备根据这些图像的摄像条件或en-face图像生成范围使用各自的训练数据集进行学习的多个学习模型。

接下来，参照图10描述根据本实施例的一系列图像处理操作。图10是示出根据本实施例的一系列图像处理操作的流程图。请注意，适当地省略关于与根据实施例1的一系列图像处理操作中的处理相同的处理的描述。

首先，在步骤S1001中，与根据实施例1的步骤S501类似，获得单元210获得通过对被检眼E进行多次摄像而获得的多项三维断层信息。获得单元210可以使用OCT摄像单元100来获得被检眼E的断层信息，或者可以从存储器240或连接至控制单元200的其他装置中获得断层信息。

获得单元210还获得与断层信息有关的摄像条件组。具体地，当进行与断层信息有关的摄像时，获得单元210可以获得诸如摄像部位和摄像系统等摄像条件。请注意，根据断层信息的数据格式，获得单元210可以获得在构成断层信息的数据的数据结构中存储的摄像条件组。此外，在摄像条件没有存储在断层信息的数据结构中的情况下，获得单元210可以从存储了描述摄像条件的文件的服务器或数据库等获得摄像信息组。此外，获得单元210可以通过任何已知方法从基于断层信息的图像中估计摄像信息组。

此外，在获得单元210获得多个三维断层图像、多项三维运动对比度数据或多个OCTA图像等的情况下，获得单元210获得与获得的图像或数据有关的摄像条件组。请注意，在仅使用多个学习模型来进行图像质量改善处理的情况下，获得单元210不需要获得断层图像的摄像条件组，所述多个学习模型根据OCTA图像或强度en-face图像的生成范围使用各自种类的训练数据进行了学习。

步骤S1002至步骤S1004的处理与根据实施例1的步骤S502至S504的处理相同，因此这里省略该处理的描述。当在步骤S1004中en-face图像生成单元223生成OCTA图像时，处理进入步骤S1005。

在步骤S1005中，基于与生成的OCTA图像有关的摄像条件组或生成范围以及关于与多个学习模型有关的训练数据的信息，选择单元925选择由图像质量改善单元224使用的学习模型。更具体地，例如，在OCTA图像中的摄像部位是视神经头的情况下，选择单元925选择使用视神经头的OCTA图像作为训练数据进行了学习的学习模型。此外，例如，在OCTA图像的生成范围是视网膜的浅层的情况下，选择单元925选择使用视网膜的浅层被设置为生成范围的OCTA图像作为训练数据进行了学习的学习模型。

请注意，即使与所生成的OCTA图像有关的摄像条件组或生成范围和与学习模型的训练数据相关的信息不完全匹配，选择单元925也可以选择使用关于图像质量具有相似趋势的图像作为训练数据来进行了学习的学习模型。在这种情况下，例如，选择单元925可以包括描述了与OCTA图像有关的摄像条件组或生成范围与要使用的学习模型之间的相关性的表格。

在步骤S1006中，图像质量改善单元224使用由选择单元925选择的学习模型来对在步骤S1004中生成的OCTA图像进行图像质量改善处理，从而生成高质量OCTA图像。用于生成高质量OCTA图像的方法与根据实施例1的步骤S505中相同，因此这里省略其描述。

步骤S1007与根据实施例1的步骤S506相同，因此这里省略其描述。当在步骤S1007中在显示单元270上显示高质量OCTA图像时，根据本实施例的一系列图像处理操作结束。

如上所述，根据本实施例的控制单元900包括选择单元925，该选择单元925从多个学习模型中选择要由图像质量改善单元224使用的学习模型。选择单元925基于在用于生成要进行图像质量改善处理的OCTA图像的深度方向上的范围来选择要由图像质量改善单元224使用的学习模型。

例如，选择单元925可以基于要经过图像质量改善处理的OCTA图像中的显示部位以及用于生成OCTA图像的深度方向上的范围来选择学习模型。此外，例如，选择单元925可以基于包括要进行图像质量改善处理的OCTA图像中的显示部位的摄像部位以及用于生成OCTA图像的深度方向上的范围，来选择要由图像质量改善单元224使用的学习模型。另外，例如，选择单元925可以基于要进行图像质量改善处理的OCTA图像的摄像条件来选择要由图像质量改善单元224使用的学习模型。

因此，通过借助于多个学习模型来进行图像质量改善处理，控制单元900可以更有效地进行图像质量改善处理，所述多个学习模型经历使用由对组构成的训练数据的学习，所述对组是针对各个摄像条件或者针对各个en-face图像生成范围而被分组的。

请注意，尽管在本实施例中描述了选择单元925基于诸如与OCTA图像有关的摄像部位或生成范围的摄像条件来选择学习模型的示例，但是也可以采用基于上述条件以外的条件改变学习模型的构造。例如，选择单元925可以根据生成OCTA图像或强度en-face图像时的投影方法(最大强度投影方法或平均强度投影方法)或者是否进行了去除由血管阴影导致的伪影的伪影去除处理来选择学习模型。在这种情况下，可以准备根据投影方法以及是否进行了伪影去除处理来使用各自种类的训练数据进行了学习的学习模型。

(变型例3)

在实施例2中，选择单元925根据摄像条件或en-face图像的生成范围等自动选择合适的学习模型。在这方面，还存在操作者希望手动选择要应用于图像的图像质量改善处理的情况。因此，选择单元925可以根据操作者的指令来选择学习模型。

此外，还存在操作者希望改变应用于图像的图像质量改善处理的情况。因此，选择单元925可以根据操作者的指令改变学习模型以改变要应用于图像的图像质量改善处理。

在下文中，参照图11A和图11B描述当手动改变要应用于图像的图像质量改善处理时的操作方法。图11A和图11B各自示出了在图像质量改善处理之前和之后的图像之间切换显示的报告画面的示例。在图11A所示的报告画面1100上，示出了已经应用了使用自动选择的学习模型的图像质量改善处理的断层图像1111和OCTA图像1101。在图11B所示的报告画面1100上，示出了已经应用了使用根据操作者的指令的学习模型的图像质量改善处理的断层图像1111和OCTA图像1102。此外，在图11A和图11B所示的报告画面1100上，示出了用于改变应用于OCTA图像的图像质量改善处理的处理指定部分1120。

显示在图11A所示的报告画面1100上的OCTA图像1101是黄斑区域中的深层毛细血管被可视化的OCTA图像。另一方面，使用由选择单元925自动选择的学习模型的应用于OCTA图像的图像质量改善处理是适合于径向乳头状毛细血管(RPC)的处理。因此，关于在图11A所示的报告画面1100上显示的OCTA图像1101，已经被应用于OCTA图像的图像质量改善处理对于在OCTA图像中提取的血管不是最佳处理。

因此，操作者通过输入单元260在处理指定部分1120中选择“深层毛细管”。响应于来自操作者的选择指令，选择单元925将图像质量改善单元224使用的学习模型改变为使用与黄斑区域的深层毛细血管有关的OCTA图像作为训练数据进行了学习的学习模型。

图像质量改善单元224使用由选择单元925改变的学习模型，再次对OCTA图像进行图像质量改善处理。如图11B所示，显示控制单元250使由图像质量改善单元224新生成的高质量OCTA图像1102显示在显示单元270上。

因此，通过将选择单元925构造为响应于操作者的指令而改变学习模型，操作者可以针对同一OCTA图像重新指定要进行的合适的图像质量改善处理。此外，图像质量改善处理的指定可以进行任意次数。

这里，已经示出了控制单元900被构造为使得可以手动改变要应用于OCTA图像的图像质量改善处理的示例。在这方面，控制单元900也可以被构造为使得可以手动改变要应用于断层图像或强度en-face图像等的图像质量改善处理。

此外，尽管图11A和图11B所示的报告画面是在图像质量改善处理之前和之后的图像之间切换显示的形式，但是报告画面可以是以并置方式或叠置方式显示图像质量改善处理之前和之后的图像的形式。另外，处理指定部分1120的形式不限于图11A和图11B所示的形式，并且可以是允许发出关于图像质量改善处理或学习模型的指令的任何形式。此外，图11A和图11B所示的图像质量改善处理的种类是一个示例，并且还可以包括根据用于学习模型的训练数据的其他种类的图像质量改善处理。

此外，类似于变型例2，可以同时显示应用了图像质量改善处理的多个图像。此时，还可以采用使得可以做出关于要应用的图像质量改善处理的指定的构造。这种情况下的报告画面的示例如图12A和图12B所示。

图12A和图12B各自示出了在图像质量改善处理之前和之后的多个图像之间切换显示的报告画面的示例。在图12A所示的报告画面1200上，示出了图像质量改善处理之前的OCTA图像1201。在图12B所示的报告画面1200上，示出了已经根据操作者的指令而应用了图像质量改善处理的OCTA图像1202。此外，在图12A和图12B所示的报告画面1200上，示出了用于改变应用于OCTA图像的图像质量改善处理的处理指定部分1220。

在这种情况下，选择单元925根据使用处理指定部分1220发出指令所针对的图像质量改善处理来选择学习模型，作为要由图像质量改善单元224使用的学习模型。图像质量改善单元224使用由选择单元925选择的学习模型对多个OCTA图像1201进行图像质量改善处理。显示控制单元250使所生成的具有高图像质量的多个OCTA图像1202同时显示在报告画面1200上，如图12B所示。

请注意，尽管以上描述了针对OCTA图像的图像质量改善处理，但是关于针对断层图像或强度en-face图像等进行的图像质量改善处理，还可以根据操作者的指令选择和改变学习模型。请注意，在图像质量改善处理之前和之后的多个图像也可以以并置方式或叠置方式显示在报告画面上。在这种情况下，也可以同时显示根据操作者的指令应用了图像质量改善处理的多个图像。

(实施例3)

在实施例1和2中，图像质量改善单元224在断层图像或OCTA图像被摄像之后自动执行图像质量改善处理。然而，使用图像质量改善单元224执行的学习模型来进行图像质量改善处理有时可能会花费很长时间。此外，通过运动对比度生成单元222生成运动对比度数据和通过en-face图像生成单元223生成OCTA图像也会花费时间。因此，在摄像后等待图像质量改善处理完成之后显示图像的情况下，摄像后可能需要很长时间才能显示图像。

在这方面，当使用OCT装置对被检眼进行摄像时，在某些情况下，由于被检眼的眨眼或无意识移动等而不能成功地进行摄像。因此，通过允许操作者在早期确认摄像是否成功，可以增强OCT装置的便利性。因此，在实施例3中，OCT装置被构造为使得在生成和显示高质量OCTA图像之前，可以在早期通过基于通过对被检眼进行摄像而获得的断层信息显示强度en-face图像或OCTA图像来对摄像的图像进行确认。

在下文中，参照图13描述根据本实施例的OCT装置。请注意，由于根据本实施例的OCT装置的构造与根据实施例1的OCT装置1的构造类似，因此与图1中示出的部件相同的部件由与实施例1中的附图标记相同的附图标记标示，并且在下文中省略对这些部件的描述。在下文中，以与根据实施例1的OCT装置1的不同之处为中心，对根据本实施例的OCT装置进行描述。

图13是根据本实施例的一系列图像处理操作的流程图。首先，在步骤S1301中，获得单元210获得通过由OCT摄像装置100对被检眼E进行摄像而获得的多项三维断层信息。

由于步骤S1302与根据实施例1的步骤S502相同，因此这里省略其描述。在步骤S1302中生成三维断层图像时，处理进入步骤S1303。

在步骤S1303中，en-face图像生成单元223通过将在步骤S1302中生成的三维断层图像投影在二维平面上来生成眼底的正面图像(强度en-face图像)。其后，在步骤S1304中，显示控制单元250在显示单元270上显示所生成的强度en-face图像。

由于步骤S1305和步骤S1306与根据实施例1的步骤S503和S504相同，因此这里省略对这些步骤的描述。在步骤S1306中生成OCTA图像时，处理进入步骤S1307。在步骤S1307中，显示控制单元250使显示单元270从显示强度en-face图像切换为显示在步骤S1306中生成的图像质量改善处理之前的OCTA图像。

在步骤S1308中，类似于根据实施例1的步骤S505，图像质量改善单元224使用学习模型使在步骤S1306中生成的OCTA图像经过图像质量改善处理，从而生成高质量OCTA图像。在步骤S1309中，显示控制单元250使显示单元270从显示图像质量改善处理之前的OCTA图像切换为显示所生成的高质量OCTA图像。

如上所述，在获得单元210获得OCTA图像之前，根据本实施例的显示控制单元250使强度en-face图像(第三图像)显示在显示单元270上，该强度en-face图像是基于在被检眼的深度方向上获得的断层数据而生成的正面图像。此外，在获得OCTA图像之后，显示控制单元250立即使显示单元270从显示强度en-face图像切换为显示OCTA图像。另外，在图像质量改善单元224生成高质量OCTA图像之后，显示控制单元250使显示单元270从显示OCTA图像切换为显示高质量OCTA图像。

因此，操作者可以在摄像之后立即检查被检眼的正面图像，并且可以立即确定摄像是否成功。此外，由于在生成OCTA图像之后立即显示OCTA图像，所以操作者可以在早期确定是否已经适当地获得了用于生成运动对比度数据的多项三维断层信息。

请注意，关于断层图像或强度en-face图像等，通过在进行图像质量改善处理之前显示断层图像或强度en-face图像，操作者可以在早期确定摄像是否成功。

尽管在本实施例中，用于生成运动对比度数据的处理(步骤S1305)在用于显示强度en-face图像的处理(步骤S1304)之后开始，但是，开始用于生成运动对比度数据的处理的定时并不限于此。例如，运动对比度生成单元222可以与用于生成强度en-face图像的处理(步骤S1303)或用于显示强度en-face图像的处理(步骤S1304)同时开始用于生成运动对比度数据的处理。类似地，图像质量改善单元224可以与用于显示OCTA图像的处理(步骤S1307)同时开始图像质量改善处理(步骤S1308)。

(实施例4)

在实施例1中，描述了切换显示图像质量改善处理之前和之后的OCTA图像的示例。相比之下，在实施例4中，在图像质量改善处理之前和之后的图像之间进行比较。

在下文中，参照图14和图15描述根据本实施例的OCT装置。请注意，由于除了控制单元之外，根据本实施例的OCT装置的构造与根据实施例1的OCT装置1的构造相同，因此与图1中示出的部件相同的部件由与实施例1中的附图标记相同的附图标记标示，并且在下文中省略对这些部件的描述。在下文中，以与根据实施例1的OCT装置1的不同之处为中心，对根据本实施例的OCT装置进行描述。

图14是示出根据本实施例的控制单元1400的示意构造的图。请注意，除了图像处理单元1420和比较单元1426之外，根据本实施例的控制单元1400的部件与根据实施例1的控制单元200的各部件相同。因此，与图2中示出的部件相同的部件由与实施例1中的附图标记相同的附图标记标示，并且在下文中省略对这些部件的描述。

除了断层图像生成单元221、运动对比度生成单元222、en-face图像生成单元223和图像质量改善单元224之外，在控制单元1400的图像处理单元1420中还配设比较单元1426。

比较单元1426将图像质量改善单元224进行图像质量改善处理之前的图像(原始图像)与进行图像质量改善处理之后的图像之间进行比较。更具体地，比较单元1426比较图像质量改善处理之前和之后的图像，并且计算图像质量改善处理之前和之后的图像中的对应像素位置处的像素值之间的各差。

然后，比较单元1426根据差值的大小生成有颜色的彩色图图像。例如，在图像质量改善处理之后的图像的像素值相对于图像质量改善处理之前的图像的像素值更大的情况下，使用暖色(黄色至橙色至红色)色调，而在图像质量改善处理之后的图像的像素值更小的情况下，使用冷色(黄绿色至绿色至蓝色)色调。通过使用这种颜色方案，可以容易地识别出在彩色图图像上由暖色指示的位置是通过图像质量改善处理而被恢复(或新创建)的组织。类似地，可以容易地识别出在彩色图图像上由冷色指示的位置是通过图像质量改善处理已经去除的噪声(或者已经擦除的组织)。

请注意，所讨论的彩色图图像的颜色方案是一个示例。例如，可以根据期望的构造来任意设置彩色图图像的颜色方案，例如，应用根据图像质量改善处理之后的图像中的像素值的大小相对于图像质量改善处理之前的图像中的像素值而不同的色调的颜色方案。

显示控制单元250可以将由比较单元1426生成的彩色图图像叠置在图像质量改善处理之前的图像上或图像质量改善处理之后的图像上，并且将所得的叠置图像显示在显示单元270上。

接下来，参照图15描述根据本实施例的一系列图像处理操作。请注意，由于步骤S1501至步骤S1505与根据实施例1的步骤S501至S505相同，因此这里省略对这些步骤的描述。当在步骤S1505中由图像质量改善单元224生成高质量OCTA图像时，处理进入步骤S1506。

在步骤S1506中，比较单元1426将在步骤S1504中生成的OCTA图像与在步骤S1505中生成的高质量OCTA图像进行比较，以计算各像素值之间的差，并基于各像素值之间的差来生成彩色图图像。请注意，代替高图像质量处理之前和之后的图像中的像素值之间的差，比较单元1426可以使用诸如通过使用高图像质量处理之前和之后的图像之间的像素值的比率或相关值等其他方法进行图像之间的比较，并且可以基于比较结果生成彩色图图像。

在步骤S1507中，显示控制单元250将彩色图图像叠置在图像质量改善处理之前的图像上或图像质量改善处理之后的图像上，并且将所得的叠置图像显示在显示单元270上。此时，显示控制单元250可以针对该彩色图设置透明度，以确保彩色图图像不遮挡叠置有彩色图图像的图像，并使彩色图图像以叠置方式显示在目标图像上。

此外，在彩色图图像中，显示控制单元250可以在图像质量改善处理之前和之后的图像之间的差小的位置处将透明度设置为高值(彩色图图像的像素值低)，或者可以设置透明度，以使差小于或等于预定值的位置完全透明。通过以这种方式设置透明度，可以以有利的方式在视觉上识别在彩色图图像下方显示的图像和彩色图图像两者。请注意，关于彩色图图像的透明度，比较单元1426还可以生成包括透明度设置的彩色图图像。

如上所述，根据本实施例的控制单元1400包括比较单元1426，比较单元1426将第一图像和进行了图像质量改善处理的第二图像进行比较。比较单元1426计算第一图像和第二图像之间的差，并基于该差生成有颜色的彩色图图像。显示控制单元250基于通过比较单元1426获得的比较结果来控制显示单元270的显示。更具体地，显示控制单元250将彩色图图像叠置在第一图像或第二图像上，并将所得的叠置图像显示在显示单元270上。

因此，通过观察叠置在图像质量改善处理之前和之后的图像上的彩色图图像，可以容易地确认由图像质量改善处理引起的图像之间的变化。因此，即使通过图像质量改善处理在图像中将实际上不存在的组织可视化，或者通过图像质量改善处理从图像中擦除了原来存在的组织，操作者也可以更容易地识别出这种组织，并且可以更容易地确定组织的真实性。此外，根据彩色图图像的颜色方案，操作者可以容易地识别该位置是通过图像质量改善处理新可视化的位置，还是是通过图像质量改善处理擦除的位置。

请注意，显示控制单元250可以根据来自操作者的指令来启用或禁用彩色图图图像的叠置显示。用于打开或关闭彩色图图像的叠置显示的操作可以同时应用于显示在显示单元270上的多个图像。在这种情况下，比较单元1426可以针对图像质量改善处理之前和之后的对应图像中的各个图像生成彩色图图像，并且显示控制单元250可以在图像质量改善处理之前的对应图像或图像质量改善处理之后的图像上叠置显示该彩色图图像。此外，显示控制单元250可以在显示彩色图图像之前使图像质量改善处理之前的图像或图像质量改善处理之后的图像显示在显示单元270上。

请注意，尽管以OCTA图像为例描述了本实施例，但是在对断层图像或强度en-face图像等进行图像质量改善处理的情况下，可以进行类似的处理。此外，根据本实施例的比较处理和用于显示彩色图的处理也可以应用于根据实施例2和实施例3的OCT装置。

(变型例4)

此外，比较单元1426可以对图像质量改善处理之前和之后的图像进行比较，并且根据比较单元1426的比较结果，显示控制单元250可以在显示单元270上显示警告。具体地，在由比较单元1426计算出的图像质量改善处理之前和之后的图像中的像素值之间的差大于预定值的情况下，显示控制单元250在显示单元270上显示警告。根据这样的构造，在所生成的高质量图像中通过学习模型生成实际上不存在的组织或者擦除了原本存在的组织的情况下，能够引起操作者注意该事实。请注意，差和预定值之间的比较可以由比较单元1426进行，或者可以由显示控制单元250进行。此外，代替差，诸如差的平均值等统计值可以与预定值进行比较。

另外，显示控制单元250可以被构造为使得在图像质量改善处理之前和之后的图像之间的差大于预定值的情况下，进行图像质量改善处理之后的图像不显示在显示单元270上。在这种情况下，在生成的高质量图像中，如果生成了实际上不存在的组织或者通过学习模型擦除了原来存在的组织，则可以抑制基于所讨论的高质量图像发生误诊。请注意，差和预定值之间的比较可以由比较单元1426进行，或者可以由显示控制单元250进行。此外，代替差，诸如差的平均值等统计值可以是与预定值进行比较。

(实施例5)

接下来，参照图20A和图20B描述根据实施例5的图像处理装置(控制单元200)。在本实施例中，描述了显示控制单元250在显示单元270上显示图像质量改善单元224的处理结果的示例。请注意，尽管使用图20A和图20B描述了本实施例，但是显示画面不限于图20A和图20B所示的示例。如在进行后续观察时一样，图像质量改善处理也可以类似地应用于并排显示在不同日期和时间获得的多个图像的显示画面。此外，如在摄像确认画面的情况一样，图像质量改善处理也可以类似地应用于检查者在摄像之后立即确认摄像是否成功的显示画面。显示控制单元250可以使显示单元270显示图像质量改善单元224生成的多个高质量图像或未进行图像质量改善的低质量图像。因此，显示控制单元250可以根据检查者的指令分别输出低质量图像和高质量图像。

在下文中，参照图20A和图20B描述所讨论的界面3400的一个示例。附图标记3400标示整个画面，附图标记3401标示“患者”标签，附图标记3402标示“摄像”标签，附图标记3403标示“报告”标签，附图标记3404标示“设置”标签。此外，“报告”标签3403中的对角线指示报告画面的激活状态。在本实施例中，将描述显示报告画面的示例。附图标记Im3405标示SLO图像，附图标记Im3406标示由附图标记Im3407标示的OCTA en-face图像以叠置方式显示在SLO图像Im3405上的图像。这里，术语“SLO图像”是指通过SLO(扫描激光检眼镜)光学系统(未示出)获得的眼底的正面图像。附图标记Im3407和Im3408各自标示OCTA en-face图像，附图标记Im3409标示强度en-face图像，并且附图标记Im3411和Im3412各自标示断层图像。附图标记3413和3414分别标示由Im3407和Im3408标示的OCTA en-face图像的上下范围的边界线，它们以叠置方式显示在对应的断层图像上。按钮3420是用于指定图像质量改善处理的执行的按钮。自然地，如稍后所述，按钮3420可以是用于输入显示高质量图像的指令的按钮。

在本实施例中，当指定按钮3420时进行图像质量改善处理的执行，或者基于数据库中存储(保存)的信息来确定是否执行图像质量改善处理。首先，将描述通过根据来自检查者的指令指定按钮3420来在高质量图像的显示和低质量图像的显示之间进行切换的示例。请注意，将OCTA en-face图像描述为图像质量改善处理的目标图像。

当检查者进行操作来指定“报告”标签3403从而转变到报告画面时，显示低质量OCTA en-face图像Im3407和Im3408。其后，当检查者进行指定按钮3420的操作时，图像质量改善单元224对在画面上显示的图像Im3407和Im3408执行图像质量改善处理。在图像质量改善处理完成之后，显示控制单元250在报告画面上显示图像质量改善单元224生成的高质量图像。请注意，由于由附图标记Im3406标示的图像是通过以叠置方式在SLO图像Im3405上显示图像Im3407而获得的图像，因此图像Im3406也是经过了图像质量改善处理的图像。然后，将按钮3420的显示改变为激活状态，以提供可以理解为执行图像质量改善处理的显示。

在这种情况下，图像质量改善单元224的处理的执行不必限于检查者进行指定按钮3420的操作的定时。由于预先已知当报告画面被打开时要显示的OCTA en-face图像Im3407和Im3408的种类，所以当转变到报告画面时可以执行图像质量改善处理。随后，在按下按钮3420的定时，显示控制单元250可以在报告画面上显示高质量图像。另外，响应于来自检查者的指令或者当转变到报告画面时进行图像质量改善处理的图像的种类数不必为两个。也可以采用这样的构造，以对正在显示的可能性高的图像进行处理，例如，可以对诸如图19A和图19B中所示的表面层(Im2910)、深层(Im2920)、外层(Im2930)和脉络膜血管网络(Im2940)等多个OCTA en-face图像进行处理。在这种情况下，通过进行图像质量改善处理而获得的图像可以被临时存储在存储器中或者可以被存储在数据库中。

接下来，描述基于数据库中存储(保存)的信息执行图像质量改善处理的情况。在将要进行图像质量改善处理的执行的状态存储在数据库中的情况下，在显示转变为报告画面时，默认显示通过执行图像质量改善处理而获得的高质量图像。此外，可以采用这样的构造：使得默认按钮3420在激活状态下显示，从而检查者可以知道正在显示通过执行图像质量改善处理而获得的高质量图像。如果检查者希望在图像质量改善处理之前的状态下显示低质量图像，则检查者可以通过进行指定按钮3420的操作以从而释放激活状态，来显示低质量图像。如果检查者希望返回到高质量图像，则检查者指定按钮3420。

假定对于存储在数据库中的所有数据，和针对诸如摄像数据的各个组(针对各个检查)的数据的各自类别，可以共同地指定是否对数据库中存储的数据执行图像质量改善处理。例如，在已经存储了要对整个数据库执行图像质量改善处理的状态的情况下，如果检查者存储了不针对摄像数据的单个项目(单个检查)执行图像质量改善处理的状态，则下次显示相关摄像数据时，将以尚未对摄像数据执行图像质量改善处理的状态显示摄像数据。用户界面(未示出)(例如，“存储”按钮)可以用于存储已针对摄像数据的各个项目(针对各个检查)执行了图像质量改善处理的状态。另外，在转变到其他摄像数据(其他检查)或其他患者数据(例如，根据来自检查者的指令改变为报告画面之外的显示画面)时，基于显示状态(例如，按钮3420的状态)，可以存储要进行图像质量改善处理的执行的状态。通过这种方式，在尚未指定是否按摄像数据单位(检查单位)执行图像质量改善处理的情况下，可以基于针对整个数据库指定的信息来进行处理，然而在已经指定了按摄像数据单位(检查单位)执行图像质量改善处理的情况下，可以基于所讨论的信息来单独执行处理。

虽然在本实施例中示出了将图像Im3407和Im3408显示为OCTA en-face图像的示例，但是可以根据检查者的指定来改变要显示的OCTA en-face图像。因此，现在将描述关于当已经指定图像质量改善处理的执行(按钮3420处于激活状态)时改变图像。

使用用户界面(未示出)(例如，组合框)来进行图像的改变。例如，当检查者将图像的种类从表面层图像改变为脉络膜血管网络图像时，图像质量改善单元224对脉络膜血管网络图像执行图像质量改善处理，并且显示控制单元250在报告画面上显示图像质量改善单元224生成的高质量图像。换句话说，响应于来自检查者的指令，显示控制单元250可以将第一深度范围的高质量图像的显示改变为与第一深度范围至少部分不同的第二深度范围的高质量图像的显示。此时，通过响应于来自检查者的指令将第一深度范围改变为第二深度范围，显示控制单元250可以将第一深度范围的高质量图像的显示改变为第二深度范围的高质量图像的显示。请注意，在如上所述，针对转变到报告画面时正被显示的可能性高的图像已经生成了高质量图像的情况下，显示控制单元250可以显示已经生成的高质量图像。

请注意，用于改变图像种类的方法不限于上述方法，并且还可以通过改变用作参考的层和偏移值来生成设置了不同深度范围的OCTA en-face图像。在这种情况下，当改变用作参考的层或偏移值时，图像质量改善单元224针对任意OCTA en-face图像执行图像质量改善处理，并且显示控制单元250在报告画面上显示高质量图像。可以使用用户界面(未示出)(例如，组合框或文本框)来进行对用作参考的层或偏移值的改变。此外，可以通过拖动以叠置方式显示在断层图像Im3411和Im3412上的边界线3413和3414中的任一个(移动层边界)来改变用于生成OCTA en-face图像的范围。

在通过拖动改变边界线的情况下，连续发出针对图像质量改善处理的执行命令。因此，图像质量改善单元224可以总是针对执行命令进行处理，或者可以被构造为在通过拖动改变层边界之后执行处理。或者，虽然连续发出图像质量改善处理的执行，但是图像质量改善单元224可以被构造为在下一命令到达的时间点取消先前的命令，并执行最新的命令。

请注意，在某些情况下，图像质量改善处理花费相对较长的时间。因此，即使当该命令在上述定时中的任何定时被执行时，也可能直到显示高质量图象为止会花费相对较长时间。因此，在从响应于来自检查者的指令来设置用于生成OCTA en-face图像的深度范围时到显示高质量图像的时段期间，可以显示与设置的深度范围相对应的OCTA en-face图像(低质量图像)。换句话说，可以采用以下构造：当设置上述深度范围时，显示与设置的深度范围相对应的OCTA en-face图像(低质量图像)，并且当图像质量改善处理完成时，将相关OCTA en-face图像(低质量图像)的显示改变为高质量图像的显示。此外，可以在从设置上述深度范围到显示高质量图像的时段期间显示指示正在执行图像质量改善处理的信息。请注意，前述内容不仅可以应用于假定状态是已经指定了执行图像质量改善处理的状态(按钮3420处于激活状态)的情况，并且还可以针对例如从根据检查者的指令指示执行图像质量改善处理时直到显示高质量图像为止的时段来应用。

虽然在本实施例中示出了以下示例：不同的层被显示为作为OCTA en-face图像的图像Im3407和Im3408，并且通过在它们之间进行切换来显示低质量图像和高质量图像，但是本发明不限于此。例如，可以并排显示作为图像Im3407的低质量OCTA en-face图像和作为图像Im3408的高质量OCTA en-face图像。在通过在它们之间进行切换来显示图像的情况下，由于图像在同一地方被切换，因此容易比较有变化的部分，而在并排显示图像的情况下，由于可以同时显示图像，所以容易比较整个图像。

接下来，图20A和图20B将用于描述在画面转变的情况下图像质量改善处理的执行。图20B是以放大方式显示图20A所示的OCTA en-face图像Im3407的画面的示例。同样在图20B中，类似于图20A，显示按钮3420。例如，通过双击OCTA en-face图像Im3407来指定从图20A所示的画面到图20B所示的画面的画面转变，并且通过单击“关闭”按钮3430来指定从图20B所示的画面到图20A所示的画面的画面转变。请注意，关于画面转变，用于从一个画面转变到另一个画面的方法不限于这里描述的方法，并且也可以使用用户界面(未示出)。

当在画面转变时已经指定执行图像质量改善处理(按钮3420处于激活状态)的情况下，在发生画面转变时也保持该状态。换句话说，当图20B所示的画面转变为在图20A所示的画面上显示高质量图像的状态的情况下，高质量图像也显示在图20B所示的画面上。此外，按钮3420被置于激活状态。这同样适用于从图20B所示的画面转变到图20A所示的画面的情况。在图20B所示的画面上，还可以通过指定按钮3420将显示切换为低质量图像。

关于画面转变，画面转变不限于这里描述的画面，并且只要转变到显示相同摄像数据的画面，例如，用于后续观察的显示画面或用于全景图像的显示画面，就可以在保持高质量图像的显示状态的同时进行转变。换句话说，在转变之后的显示画面上，显示与转变之前的显示画面上的按钮3420的状态相对应的图像。例如，如果按钮3420在转变之前的显示画面上处于激活状态，则在转变之后的显示画面上显示高质量图像。此外，例如，如果按钮3420的激活状态在转变之前的显示画面上被释放，则在转变之后的显示画面上显示低质量图像。请注意，可以采用以下构造：如果按钮3420在用于后续观察的显示画面上处于激活状态，则在不同的日期和时间(不同的检查日期)获得的并排显示在用于后续观察的显示画面上的多个图像被切换为高质量图像。换句话说，可以采用以下构造：如果按钮3420在用于后续观察的显示画面上处于激活状态，则针对在不同日期和时间获得的多个图像共同地进行到高质量图像的切换。

在图18中示出了用于后续观察的显示画面的示例。在响应于来自检查者的指令而选择了标签3801时，显示如图18所示的用于后续观察的显示画面。此时，可以通过检查者进行从列表框中显示的预定义深度范围集合(3802和3803)中进行选择的操作来改变en-face图像的深度范围。例如，在列表框3802中选择了表面毛细血管，在列表框3803中选择了深层毛细血管。在上侧的显示区域中显示了对表面毛细血管的en-face图像的分析结果，并且在下侧的显示区域中显示了对深层毛细管的en-face图像的分析结果。换句话说，当选择深度范围时，在不同的日期和时间获得的多个图像被共同地改变为并行显示对在所选择的深度范围内的多个en-face图像的分析结果。

此时，如果将分析结果的显示置于未选择状态，则可以将显示共同地改变为并行显示在不同日期和时间获得的多个en-face图像的分析结果。此外，如果根据来自检查者的指令指定了按钮3420，则多个en-face图像的显示被共同地改变为多个高质量图像的显示。

另外，当分析结果的显示处于选择状态的情况下，如果根据来自检查者的指令指定了按钮3420，则对多个en-face图像的分析结果的显示被共同地改变为对多个高质量图像的分析结果的显示。这里，可以进行对分析结果的显示，使得分析结果以任何透明度以叠置方式显示在图像上。此时，改变为分析结果的显示例如可以是改变为将分析结果以任何透明度叠置在正在显示的图像上的状态。此外，改变为分析结果的显示可以是例如改变为通过以任何透明度使各分析结果和图像经过融合处理而获得的各分析结果和图像(例如，二维图)的显示。

此外，用于指定深度范围的这种层边界和偏移位置可各自从诸如由附图标记3805和3806来标示的用户界面被共同地改变。请注意，在不同的日期和时间获得的多个en-face图像的深度范围可以按照来自检查者的指令通过使断层图像与其一起显示并且移动叠置在断层图像上的层边界数据被共同地改变。此时，在不同的日期和时间获得的多个断层图像可以被并排显示，并且当在一个断层图像进行上述移动时，可以在其他断层图像上类似地移动该层边界数据。

例如，可以通过从诸如上下文菜单等用户界面的选择来改变图像投影方法，以及是否要进行投影伪影消除处理。

此外，可以选择选择按钮3807以显示选择画面，并且可以显示从在选择画面上显示的图像列表中选择的图像。请注意，在图18所示的画面的上部显示的箭头3804是指示当前选择的检查的标记，并且参考检查(基线)是在后续摄像时选择的检查(图18的最左侧的图像)。自然地，指示参考检查的标记可以显示在显示单元上。

此外，在指定“示出差异”复选框3808的情况下，在参考图像上显示关于参考图像的测量值分布(图或扇区图)。另外，在这种情况下，在与参考图像的检查日期之外的检查日期相对应的区域中，显示差分测量值图，该差分测量值图示出对于参考图像计算出的测量值分布与对于显示相关区域的图像计算出的测量分布之间的差异。作为测量结果，可以在报告画面上显示趋势曲线图(通过测量随时间的变化而获得的关于各检查日期的图像的测量值的曲线图)。换句话说，可以显示与在不同日期和时间获得的多个图像相对应的多个分析结果的时间序列数据(例如，时间序列图)。此时，关于和与所显示的多个图像相对应的多个日期和时间以外的日期和时间有关的分析结果，也可以在可以从与正在显示的多个图像相对应的多个分析结果中区分出分析结果(例如，时序图上的各个点的颜色根据是否显示相应的图像而不同)的状态下，将分析结果显示为时间序列数据。此外，趋势曲线图的回归线(曲线)和相应的数学式可以显示在报告画面上。

虽然在本实施例中已经给出了与OCTA en-face图像有关的描述，但是本发明不限于此。根据本实施例的与用于显示图像、图像质量改善以及图像分析等的处理有关的图像可以是强度en-face图像。另外，图像的种类不限于en-face图像，并且可以是诸如断层图像、SLO图像、眼底图像或荧光眼底图像等不同种类的图像。在这种情况下，用于执行图像质量改善处理的用户界面可以是用于指示针对不同种类的多个图像执行图像质量改善处理的用户界面，或者可以是用于从不同种类的多个图像中选择任何图像并指示执行图像质量改善处理的用户界面。

根据前述构造，显示控制单元250可以在显示单元270上显示根据本实施例的图像质量改善单元224处理的图像。此时，如上所述，在与高质量图像的显示、分析结果的显示和要显示的正面图像的深度范围等有关的多个条件当中选择了至少一个条件的状态下，即使将显示画面转变为其他显示画面，也可以保持选择状态。

此外，如上所述，在选择了多个条件当中的至少一个条件的状态的情况下，即使将其他条件改变为选择状态，也可以保持选择至少一个条件的状态。例如，在分析结果的显示处于选择状态的情况下，响应于来自检查者的指令(例如，当指定按钮3420时)，显示控制单元250可以将对低质量图像的分析结果的显示改变为对高质量图像的分析结果的显示。此外，在分析结果的显示处于选择状态的情况下，响应于来自检查者的指令(例如，当释放按钮3420的指定时)，显示控制单元250可以将对高质量图像的分析结果的显示改变为对低质量图像的分析结果的显示。

而且，在高质量图像的显示处于未选择状态的情况下，响应于来自检查者的指令(例如，当释放对分析结果的显示的指定时)，显示控制单元250可以将对低质量图像的分析结果的显示改变为低质量图像的显示。另外，在高质量图像的显示处于未选择状态的情况下，响应于来自检查者的指令(例如，当指定了分析结果的显示时)，显示控制单元250可以将低质量图像的显示改变为对低质量图像的分析结果的显示。此外，在高质量图像的显示处于选择状态的情况下，响应于来自检查者的指令(例如，当释放对分析结果的显示的指定时)，显示控制单元250可以将对高质量图像的分析结果的显示改变为对高质量图像的显示。此外，在高质量图像的显示处于选择状态的情况下，响应于来自检查者的指令(例如，当指定了分析结果的显示时)，显示控制单元250可以将对高质量图像的显示改变为对高质量图像的分析结果的显示。

而且，让我们考虑高质量图像的显示处于未选择状态并且第一种分析结果的显示处于选择状态的情况。在这种情况下，响应于来自检查者的指令(例如，当指定了第二种分析结果的显示时)，显示控制单元250可以将对低质量图像的第一种分析结果的显示改变为对低质量图像的第二种分析结果的显示。此外，让我们考虑高质量图像的显示处于选择状态并且第一种分析结果的显示处于选择状态的情况。在这种情况下，响应于来自检查者的指令(例如，当指定了第二种分析结果的显示时)，显示控制单元250可以将对高质量图像的第一种分析结果的显示改变为对高质量图像的第二种分析结果的显示。

请注意，可以采用以下的构造：在用于后续观察的显示画面上，如上所述，针对在不同日期和时间获得的多个图像，共同地反映这些显示的改变。这里，可以进行分析结果的显示，使得分析结果以任何透明度以叠置方式显示在图像上。此时，改变为分析结果的显示例如可以是改变为将分析结果以任何透明度叠置在正在显示的图像上的状态。此外，改变为分析结果的显示可以是例如改变为通过以任何透明度使各个分析结果和图像经过融合处理而获得的各个分析结果和图像(例如，二维图)的显示。

(变型例5)

在上述各种实施例和变型例中，显示控制单元224可以使显示单元270显示根据来自检查者的指令从图像质量改善单元404生成的高质量图像和输入图像当中选择的图像。此外，响应于来自检查者的指令，显示控制单元250可以将显示在显示单元270上的图像从摄像图像(输入图像)切换为高质量图像。换句话说，显示控制单元250可以响应于来自检查者的指令将对低质量图像的显示改变为对高质量图像的显示。此外，显示控制单元250可以响应于来自检查者的指令将高质量图像的显示改变为低质量图像的显示。

另外，图像质量改善单元224可以响应于来自检查者的指令，开始由图像质量改善引擎(用于改善图像质量的学习模型)进行的图像质量改善处理(将图像输入到图像质量改善引擎中)，并且显示控制单元224可以使显示单元270显示由图像质量改善单元224生成的高质量图像。相比之下，当摄像装置(OCT摄像单元100)对输入图像进行摄像时，图像质量改善引擎可以基于输入图像自动生成高质量图像，并且显示控制单元405可以响应于来自检查者的指令使显示单元270显示高质量图像。这里，术语“图像质量改善引擎”包括进行上述图像质量改善处理的学习模型。

请注意，也可以针对分析结果的输出类似地进行这些处理操作。换句话说，显示控制单元250可以响应于来自检查者的指令将对低质量图像的分析结果的显示改变为对高质量图像的分析结果的显示。此外，显示控制单元250可以响应于来自检查者的指令将对高质量图像的分析结果的显示改变为对低质量图像的分析结果的显示。自然地，响应于来自检查者的指令，显示控制单元250可以将对低质量图像的分析结果的显示改变为对低质量图像的显示。此外，响应于来自检查者的指令，显示控制单元250可以将对低质量图像的显示改变为对低质量图像的分析结果的显示。而且，显示控制单元250可以响应于来自检查者的指令将对高质量图像的分析结果的显示改变为对高质量图像的显示。此外，响应于来自检查者的指令，显示控制单元250可以将对高质量图像的显示改变为对高质量图像的分析结果的显示。

另外，显示控制单元250可以响应于来自检查者的指令，将对低质量图像的分析结果的显示改变为对低质量图像的不同种类的分析结果的显示。此外，显示控制单元250可以响应于来自检查者的指令，将对高质量图像的分析结果的显示改变为对高质量图像的不同种类的分析结果的显示。

在这种情况下，可以进行对高质量图像的分析结果的显示，使得对高质量图像的分析结果以任何透明度以叠置方式显示在高质量图像上。此外，可以进行对低质量图像的分析结果的显示，使得对低质量图像的分析结果以任何透明度以叠置方式显示在低质量图像上。此时，改变为对分析结果的显示例如可以是改变为将分析结果以任何透明度叠置在正在显示的图像上的状态。此外，改变为对分析结果的显示可以是例如改变为通过以任何透明度使分析结果和图像经过融合处理而获得的图像(例如，二维图)的显示。

(变型例6)

诸如所需层的厚度或各种血管密度等分析结果可以显示在上述各种实施例和变型例中描述的报告画面上。此外，可以显示与关注的部位有关的参数值(分布)作为分析结果，该关注部位包括视神经头、黄斑区、血管区域、神经束、玻璃体区域、黄斑区域，脉络膜区域、巩膜区域、筛板层区域、视网膜层边界、视网膜层边界边缘、感光细胞、血细胞、血管壁、血管内壁边界、血管外边界、神经节细胞、角膜区域、角区域和施莱姆氏管等中的至少一个。此时，例如，可以通过分析经过各种伪影去除处理的医学图像来显示精确的分析结果。请注意，伪影可以是，例如，由血管区域等的光吸收引起的虚假图像区域，投影伪影，或者由于被检眼的状态(运动或眨眼等)而在测量光的主扫描方向上出现的正面图像中的带状伪影。此外，伪影可以是任何种类的，只要它是例如，在每次摄像时在被摄体的预定部位的医学图像上随机地出现摄像故障区域即可。此外，可以显示与包括上述伪影的种类中的至少一种的区域(摄像故障区域)有关的参数的值(分布)作为分析结果。此外，可以显示与包括诸如玻璃疣、新血管部位、白细胞(硬性渗出液)、假性粉刺等至少一个异常部位的区域有关的参数的值(分布)作为分析结果。

可以使用分析图或使用指示与各个划分区域等相对应的统计值的扇区来显示分析结果。请注意，可以使用通过学习作为训练数据的医学图像的分析结果而获得的学习模型(分析结果生成引擎，或用于生成分析结果的学习模型)来生成分析结果。此时，学习模型可以是通过使用以下训练数据来学习而获得的模型：包括医学图像和对医学图像的分析结果的训练数据，或者包括医学图像和对与相关医学图像的种类不同的医学图像的分析结果的训练数据等。此外，学习模型可以是通过使用包括输入数据的训练数据进行学习而获得的模型，在输入数据中，将诸如强度正面图像和运动对比度正面图像等预定部位的不同种类的多个医学图像取为集合。这里，强度正面图像与强度En-face图像相对应，而运动对比度正面图像与OCTA En-face图像相对应。此外，可以采用以下构造：使得显示使用高质量图像获得的分析结果，该高质量图像是通过用于改善图像质量的学习模型生成的。

另外，包括在训练数据中的输入数据可以是通过用于改善图像质量的学习模型生成的高质量图像，或者可以是由低质量图像和高质量图像组成的集合。此外，训练数据可以是，例如，通过标注输入数据而获得的数据，对于该输入数据，采用包括通过对分析区域进行分析而获得的分析值(例如，平均值或中间值)、包括分析值的表、分析图和诸如图像中的扇区等分析区域的位置等当中的至少一种信息的信息作为(监督学习的)正确答案数据。请注意，可以采用以下构造：使得响应于来自检查者的指令而显示通过用于分析结果生成的学习模型而获得的分析结果。

此外，在上述各种实施例和变型例中，可以在报告画面上显示各种诊断结果，例如与青光眼或年龄相关的黄斑变性有关的结果。此时，例如，可以通过分析经过如上所述各种伪影去除处理的医学图像来显示精确的诊断结果。此外，在诊断结果中，可以在图像上显示指定的异常部位等的位置，并且可以使用字符等来显示异常部位等的状态。此外，可以显示对于异常部位的分类结果(例如，科廷的分类)，作为诊断结果。

请注意，诊断结果可以是使用学习模型(诊断结果生成引擎，或用于生成诊断结果的学习模型)生成的结果，该学习模型是通过使用医学图像的诊断结果作为训练数据来学习而获得的。此外，学习模型可以是通过使用以下训练数据进行学习而获得的模型：包括医学图像和对医学图像的诊断结果的训练数据，或者包括医学图像和对与相关医学图像的种类不同的医学图像的诊断结果的训练数据等。此外，可以采用一种构造，以便显示使用高质量图像获得的诊断结果，该高质量图像是通过用于改善图像质量的学习模型生成的。

另外，包括在训练数据中的输入数据可以是由用于改善图像质量的学习模型生成的高质量图像，或者可以是由低质量图像和高质量图像组成的集合。此外，训练数据可以是，例如，通过标注输入数据而获得的数据，对于该输入数据，采用包括诊断、病变(异常部位)的种类或状态(程度)、病变在图像中的位置、病变相对于关注区域的位置、发现结果(解释发现结果等)、诊断的依据(肯定的医疗支持信息等)、以及否定诊断的依据(负面的医疗支持信息)当中的至少一种信息的信息作为(监督学习的)正确答案数据。请注意，可以采用以下构造：使得响应于来自检查者的指令而显示通过用于诊断结果生成的学习模型而获得的诊断结果。

此外，在上述各种实施例和变型例中，可以在报告画面上显示关于如上所述的关注部位、伪影、异常部位等的对象识别结果(对象检测结果)或分割结果。此时，例如，矩形框等可以被叠置在图像上的对象周围显示。此外，例如，可以将颜色等叠置在图像上的对象上显示。请注意，对象识别结果或分割结果可以是使用通过使用训练数据进行学习而获得的学习模型生成的结果，在该训练数据中，在医学图像上将指示对象识别或分割的信息标注为正确答案数据。请注意，上述的分析结果生成或诊断结果生成可以通过利用上述的对象识别结果或分割结果来实现。例如，可以针对通过对象识别处理或分割处理获得的关注部位进行用于生成分析结果或用于生成诊断结果的处理。

上述学习模型可以是通过使用包括输入数据的训练数据进行学习而获得的学习模型，在该输入数据中，将作为被摄体的预定部位的图像的不同种类的多个医学图像取为集合。此时，例如，可以想到将眼底的运动对比度正面图像和强度正面图像(或强度断层图像)取为集合的输入数据，作为训练数据中包括的输入数据。此外，例如，可以想到将眼底的断层图像(B扫描图像)和彩色眼底图像(或荧光眼底图像)取为集合的输入数据，作为训练数据中包括的输入数据。另外，不同种类的多个医学图像可以是任何种类的，只要医学图像是通过不同的模态、不同的光学系统或不同的原理等获得的。

此外，上述学习模型可以是通过使用包括输入数据的训练数据进行学习而获得的学习模型，在该输入数据中，将被摄体的不同部位的多个医学图像取为集合。此时，例如，可以想到将眼底的断层图像(B扫描图像)和眼前段的断层图像(B扫描图像)取为集合的输入数据，作为训练数据中包括的输入数据。此外，例如，也可以想到将眼底黄斑的三维OCT图像(三维断层图像)和通过眼底视神经头的圆形扫描(或光栅扫描)获得的断层图像取为集合的输入数据，作为训练数据中包括的输入数据。

请注意，包括在训练数据中的输入数据可以是被摄体的不同部位和不同种类的多个医学图像。此时，例如，可以想到将眼前段的断层图像和彩色眼底图像取为集合的输入数据，作为训练数据中包括的输入数据。此外，上述学习模型可以是通过使用包括输入数据的训练数据进行学习而获得的学习模型，在该输入数据中，将作为被摄体的预定部位的图像的不同摄像视角的多个医学图像取为集合。此外，训练数据中包括的输入数据可以是通过将多个医学图像接合在一起而获得的数据，该多个医学图像是例如，如全景图像的情况一样通过将预定部位在时间上划分为多个区域而获得的。此时，通过使用诸如全景图像的广角图像作为训练数据，由于诸如信息量大于窄角图像的情况中的信息量的事实的原因而有可能可以高精度地获取图像的特征值，因此可以增强各个处理的结果。此外，训练数据中包括的输入数据可以是将被摄体的预定部位的在不同日期和时间获得的多个医学图像取为集合的输入数据。

此外，要显示上述的分析结果、诊断结果、对象识别结果和分割结果当中的至少一个结果的显示画面不限于报告画面。这种显示画面可以是，例如，摄像确认画面、用于后续观察的显示画面以及用于在摄像之前进行各种调整的预览画面(其上显示各种实时运动图像的显示画面)等当中的至少一个显示画面。例如，通过使使用上述的学习模型获得的前述至少一个结果显示在摄像确认画面上，检查者甚至可在摄像之后立即检查精确的结果。此外，改变上述的低质量图像和高质量图像之间的显示可以是，例如，改变对低质量图像的分析结果和对高质量图像的分析结果之间的显示。

可以通过使用训练数据的机器学习来获得上述各种学习模型。例如，由多级神经网络构成的深度学习是一种机器学习。此外，例如，卷积神经网络(CNN)可以用于多级神经网络的至少一部分。另外，与自动编码器有关的技术可以用于多级神经网络的至少一部分。此外，可以将与反向传播有关的技术(错误反向传播方法)用于学习。然而，该机器学习不限于深学习，并且可以使用任何模型，只要该模型本身能够通过学习提取(表示)诸如图像的训练数据的特征值即可。

而且，图像质量改善引擎(用于改善图像质量的学习模型)可以是通过使用训练数据的增量学习而获得的学习模型，该训练数据包括由图像质量改善引擎生成的至少一个高质量图像。此时，可以采用以下构造：通过来自检查者的指令能够选择关于是否将高质量图像用作用于要进行的增量学习的训练数据。

(变型例7)

可以采用以下构造：使得在上述各种实施例和变型例中的预览画面上，对于实时运动图像的每至少一帧使用上述学习模型。此时，也可以构成为以下构造：使得在预览画面上显示不同部位或不同种类的多个实时运动图像的情况下，使用与各实时运动图像相对应的学习模型。通过这种方式，例如，由于即使对于实时运动图像也可以缩短处理时间，因此检查者可以在开始摄像之前获得高精度的信息。因此，例如，由于可以减少再摄像等故障，因此可以提高诊断的精度和效率。请注意，多个实时运动图像可以包括例如用于在XYZ方向上对准的眼前段的运动图像，以及用于眼底观察光学系统的调焦或OCT调焦的眼底的正面运动图像。此外，多个实时运动图像还可以包括，例如，用于OCT中的相干门调整(测量光路长度与参考光路长度之间的光路长度差的调整)的眼底的断层运动图像等。

此外，可以应用上述学习模型的运动图像不限于实时运动图像，并且，例如，运动图像可以是存储(保存)在存储单元中的运动图像。此时，例如，通过针对存储(保存)在存储单元中的眼底的断层运动图像的每至少一帧进行对准而获得的运动图像可以显示在显示画面上。例如，在期望适当地观察玻璃体的情况下，首先，可以基于诸如玻璃体尽可能多地存在于参考帧中的条件来选择该帧。此时，各个帧是X-Z方向上的断层图像(B扫描图像)。随后，关于所选择的参考帧已将其他帧在X-Z方向上对准的运动图像可以显示在显示画面上。此时，例如，可以采用一种构造，以便使由用于改善图像质量的学习模型针对运动图像的每至少一帧按顺序生成的高质量图像(高质量图像帧)连续显示。

请注意，作为上述的用于在帧之间进行对准的方法，关于在X方向上进行对准的方法和在Z方向(深度方向)上进行对准的方法，可以应用相同的方法，或者应用的方法可能都不同。另外，可以通过不同的方法多次进行相同方向上的对准。例如，可以进行粗对准，此后可以进行精对准。此外，对准的方法包括，例如，使用通过使断层图像(B扫描图像)经过分割处理而获得的视网膜层边界的(粗Z方向)对准，使用通过分割断层图像和参考图像获得的多个区域之间的相关性信息(相似度)的(精X方向或Z方向)对准，使用针对各断层图像(B扫描图像)生成的一维投影图像的(X方向)对准，以及使用二维正面图像的(X方向)对准。此外，可以采用一种构造，以便在以像素为单位进行粗对准之后，以子像素为单位进行精对准。

在这种情况下，有可能在各种调整期间诸如被检眼的视网膜等摄像目标还不能被成功地摄像。因此，由于输入到学习模型的医学图像和用作训练数据的医学图像之间存在很大的差异，所以有可能无法精确地获得高质量图像。因此，也可以采用以下构造：使得当诸如在评估断层图像(B扫描)的图像质量时获得的值等评价值超过阈值时，自动开始高质量运动图像的显示(高图像质量帧的连续显示)。此外，可以采用以下构造：使得当诸如在评估断层图像(B扫描)的图像质量时获得的值等评估值超过阈值时，将图像质量改善按钮改变为可由检查者选择按钮的状态(激活状态)。

此外，可以采用以下构造：针对扫描图案等不同的各个摄像模式准备用于改善图像质量的不同学习模型，并且选择与所选择的摄像模式相对应的用于改善图像质量的学习模型。此外，可以使用通过使用包括以不同摄像模式获得的各种医学图像的训练数据进行学习而获得的用于改善图像质量的学习模型。

(变型例8)

在上述的各个实施例和变型例中，在学习模型正在经历增量学习的情况下，有可能使用正在经历增量学习的学习模型本身将很难输出(推断/预测)。因此，可以禁止将医学图像输入到正在经历增量学习的学习模型中。此外，准备与正在经历增量学习的学习模型相同的学习模型作为另外的辅助学习模型。此时，也可以采用以下构造：使得可以执行将医学图像输入到正在进行增量学习的辅助学习模型。随后，在增量学习完成之后，对经历了附加学习的学习模型进行评估，并且如果没有问题，则从辅助学习模型切换到经历了附加学习的学习模型就足够了。此外，可以采用以下构造：使得如果存在问题，则使用辅助学习模型。

此外，可以采用以下构造：使得可以选择性地利用通过针对各摄像部位进行学习而获得的学习模型。具体地，可以准备多个学习模型，其包括使用包括第一摄像部位(肺，被检眼等)的训练数据获得的第一学习模型，以及使用包括第二摄像部位的训练数据获得的第二学习模型，该第二摄像部位与第一摄像部位不同。此外，控制单元200可以具有用于选择该多个学习模型中的任何一个的选择单元。此时，控制单元200可以具有用于针对选择的学习模型执行增量学习的控制单元。响应于来自检查者的指令，控制单元可以检索与所选择的学习模型相对应的摄像部位和通过对相关摄像部位进行摄像而获得的图像形成一对的数据，并执行采用所检索和获得的数据作为训练数据的学习，作为针对所选择的学习模型的增量学习。请注意，与所选择的学习模型相对应的摄像部位可以是基于数据的标题信息获得的部位，或者是由检查者手动输入的部位。此外，可以例如通过网络从诸如医院或实验室等外部设施的服务器等进行数据的检索。通过这种方式，通过使用通过对与学习模型相对应的摄像部位进行摄像而获得的图像，可以针对各个摄像部位有效地进行增量学习。

请注意，选择单元和控制单元可以由控制单元200的诸如CPU或MPU的处理器执行的软件模块构成。此外，选择单元和控制单元可以由诸如ASIC等具有特定功能的电路或由独立的装置等构成。

此外，当通过网络从诸如医院或实验室的外部设施的服务器等获得用于增量学习的训练数据时，期望减少由于增量学习等期间的篡改或系统故障而导致的可靠性降低。因此，可以经由通过数字签名或哈希确认一致性来检测用于增量学习的训练数据的正确性。通过这种方式，可以保护用于增量学习的训练数据。此时，在无法检测出用于增量学习的训练数据的正确性作为通过数字签名或哈希确认一致性的结果的情况下，给出对该事实的警告，并且不使用所讨论的训练数据进行增量学习。请注意，该服务器可以是诸如云服务器、雾服务器或边缘服务器等任何形式的服务器，而与其安装位置无关。

(变型例9)

在上述各种实施例和变型例中，除了手动指令(例如，使用用户界面等的指令)之外，来自检查者的指令还可以是语音指令等。此时，例如，可以使用包括通过机器学习获得的语音识别模型(语音识别引擎或用于语音识别的学习模型)的机器学习模型。此外，手动指令可以是使用键盘、触摸面板等通过字符输入的指令。此时，例如，可以使用包括通过机器学习获得的字符识别模型(字符识别引擎，用于字符识别的学习模型)的机器学习模型。此外，来自检查者的指令可以是通过手势等的指令。此时，可以使用包括通过机器学习获得的手势识别模型(手势识别引擎，用于手势识别的学习模型)的机器学习模型。

此外，来自检查者的指令可以是检测检查者在监视器等上的视线的结果。视线检测结果可以是，例如，使用通过从监视器周围摄像而获得的检查者的运动图像的瞳孔检测结果。此时，根据运动图像的瞳孔检测可以使用如上所述的对象识别引擎。此外，来自检查者的指令可以是通过脑波或者是流经身体的微弱电信号等的指令。

在这种情况下，例如，训练数据可以是以下训练数据：采用指示显示通过上述各种学习模型的处理获得的结果的指令的字符数据或语音数据(波形数据)等作为输入数据，并且，采用用于实际上使通过各种学习模型的处理获得的结果实际上显示在显示单元上的执行命令作为正确答案数据。此外，训练数据可以是以下训练数据：例如，采用指示显示通过用于改善图像质量的学习模型而获得的高质量图像的指令的字符数据或语音数据等作为输入数据，并且采用用于显示高质量图像的执行命令和用于将按钮3420改变为激活状态的执行命令作为正确答案数据。当然，也可以使用任何种类的训练数据，只要例如由该字符数据或语音数据等指示的指令内容和执行命令内容彼此相对应即可。此外，可以使用声学模型或语言模型等将语音数据转换为字符数据。此外，可以使用利用多个麦克风获得的波形数据来进行减少叠置在语音数据上的噪声数据的处理。此外，可以采用以下构造：使得可以根据来自检查者的指令，在由字符或语音等发出的指令与使用鼠标或触摸面板等输入的指令之间进行选择。另外，可以采用以下构造：使得可以根据来自检查者的指令进行选择以打开或关闭通过字符或语音等的指令。

在这种情况下，机器学习包括如上所描述的深度学习，并且，例如，可以使用递归神经网络(RNN)作为多层神经网络的至少一部分。这里，作为根据本变型例的机器学习模型的示例，将参照16A和图16B描述作为处理时间序列信息的神经网络的RNN。此外，将参照17A和图17B描述作为一种RNN的长短期存储器(以下称为“LSTM”)。

图16A示出了作为机器学习模型的RNN的结构。RNN 3520在网络中具有环路结构，并且在时间t输入数据x^t3510，并且输出数据h^t3530。由于RNN 3520在网络中具有循环功能，因此当前时间的状态可以被接管到下一个状态，因此可以处理时序信息。图16B示出了在时间t的参数向量的输入/输出的示例。数据x^t3510包括N个数据(参数ms1至参数msN)。此外，由RNN 3520输出的数据h^t3530包括与输入数据相对应的N条数据(参数ms1至参数msN)。

然而，由于在反向传播期间RNN不能处理长时间信息，所以可以使用LSTM。LSTM可以通过提供遗忘门、输入门和输出门来学习长期信息。图17A示出了LSTM的结构。在LSTM3540中，网络在下一时间t接管的信息是称为小区的网络的内部状态c^t-1，和输出数据h^t-1。请注意，图中的小写字母(c,h,x)表示向量。

接下来，在图17B中详细示出了LSTM 3540。在图17B中，附图标记FG标示遗忘门网络，附图标记IG标示输入门网络，附图标记OG标示输出门网络，并且这些网络中的各个网络都是S形层。因此，输出了各个元素具有从0到1的值的向量。遗忘门网络FG确定保留了多少过去信息，并且，输入门网络IG确定要更新哪个值。附图标记CU标示小区更新候选网络，其是激活功能tanh层。这将创建将添加到小区中的新候选值的向量。输出门网络OG选择小区候选的元素并选择在下一时间要发送多少信息。

请注意，上述LSTM模型是基本形式，并且本发明不限于这里示出的网络。可以改变网络之间的耦合。可以使用QRNN(准递归神经网络)代替LSTM。此外，该机器学习模型不限于神经网络，并且可以使用Boosting(提升)或Support Vector Machine(支持向量机)等。此外，在通过字符或语音等输入来自检查者的指令的情况下，可以应用与自然语言处理有关的技术(例如，序列到序列)。此外，可以应用用诸如文本或语音等输出来响应检查者的对话引擎(对话模型或用于对话的学习模型)。

(变型例10)

在上述各种实施例和变型中，可以根据来自检查者的指令将高质量图像等存储在存储器中。此时，在检查者指示保存高质量图像等之后，当登记文件名时，在可以根据来自检查者的指令编辑文件名的状态下，将文件名可以显示为推荐文件名，该文件名在该文件名的任何部分(例如，第一部分或最后一部分)处包括指示该图像是通过使用用于改善图像质量(图像质量改善处理)的学习模型进行处理而生成的图像的信息(例如，字符)。

此外，当使显示单元在诸如报告画面等各种显示画面上显示高质量图像时，可以将指示正在显示的图像是通过使用用于改善图像质量的学习模型进行处理而生成的高质量图像的显示与高质量图像一起显示。在这种情况下，由于用户可以通过相关显示容易地辨别出被显示的高质量图像不是通过摄像获得的实际图像，因此可以减少误诊，并且可以提高诊断效率。请注意，指示通过使用用于改善图像质量的学习模型的处理生成了高质量图像的显示可以是任何形式，只要它是可以区分输入图像和通过相关处理生成的高质量图像的显示即可。此外，同样针对使用上述的各种学习模型的处理，而不仅仅是使用用于改善图像质量的学习模型的处理，可以将指示正在显示的结果是通过使用相关种类的学习模型的处理而生成的显示与该相关结果一起显示。

此时，可以按照来自检查者的指令将诸如报告画面的显示画面存储在存储单元中。例如，报告画面可以作为单个图像存储在存储单元中，在该单个图像中，高质量图像等以及指示这些图像是通过使用用于改善图像质量的学习模型进行处理而生成的高质量图像的显示被并排显示。

此外，关于指示使用用于改善图像质量的学习模型进行处理而生成高质量图像的显示，可以在显示单元上显示指示进行学习时用于改善图像质量的学习模型使用了哪种训练数据的显示。讨论的显示可以包括对训练数据的输入数据和正确答案数据的种类的描述，或者与输入数据和正确答案数据中包括的诸如摄像部位的正确答案数据有关的任何显示。请注意，同样关于使用上述各种学习模型的处理，而不仅是使用用于改善图像质量的学习模型的处理，还可以在显示单元上显示指示进行学习时相关种类的学习模型使用哪种训练数据的显示。

此外，可以采用以下构造：使得可以在将信息叠置在高质量图像等上的状态下，显示或存储指示图像是通过使用用于改善图像质量的学习模型进行处理而生成的信息(例如，字符)。此时，将信息叠置在图像上的位置可以是任何位置，只要该位置在与显示作为摄像目标的关注部位等的区域不重叠的区域(例如，图像的边缘)中即可。此外，可以确定非重叠区域，并且可以在所确定的区域中叠置该信息。

此外，可以采用以下构造：使得在默认设置被设置为使得按钮3420进入激活状态(图像质量改善处理被设置为“开”)作为报告画面的初始显示画面的情况下，根据来自检查者的指令，将与包括高质量图像等的报告画面相对应的报告图像发送到服务器。此外，可以采用以下构造：使得在默认设置被设置为使得按钮3420进入激活状态的情况下，当检查结束时(例如，在根据来自检查者的指令将图像确认画面或预览画面改变为报告画面的情况下)，将与包括高质量图像等的报告画面相对应的报告图像(自动地)发送到服务器。此时，可以采用以下构造：使得将基于默认设置(例如，与报告画面的初始显示画面上的用于生成en-face图像的深度范围、是否叠置分析图、该图像是否是高质量图像以及是否示出用于后续观察的显示画面等中的至少一项有关的设置)的各种设置生成的报告图像发送到服务器。

(变型例11)

在上述的各种实施例和变型例中，在上述各种学习模型中，可以将使用第一种类的学习模型获得的图像(例如，高质量图像、示出诸如分析图的分析结果的图像、示出对象识别结果的图像或示出分割结果的图像)输入到不同于第一种类的第二种类的学习模型。此时，可以采用以下构造：使得通过第二种类的学习模型的处理来生成结果(例如，分析结果、诊断结果、对象识别结果或分割结果)。

此外，在上述各种学习模型中，可以通过使用通过第一种类的学习模型的处理获得的结果(例如，分析结果，诊断结果，对象识别结果或分割结果)从输入到第一种类的学习模型的图像生成要输入到与第一种类的学习模型不同的第二种类的学习模型中的图像。此时，有很高可能生成的图像是适合作为用于第二种类的学习模型的处理的图像的图像。因此，增强了当生成的图像被输入到第二种类的学习模型时获得的图像(例如，高质量图像、示出诸如分析图的分析结果的图像、示出对象识别结果的图像或示出分割结果的图像)的精度。

另外，使用通过上述学习模型的处理而获得的分析结果或诊断结果等作为搜索关键字，可以进行利用存储在服务器等中的外部数据库对相似图像的检索。请注意，在已经通过机器学习等将多个图像的各特征值作为补充信息附加的状态下已经管理了数据库中存储的该多个图像的情况下，可以使用利用图像本身作为搜索关键字的相似图像搜索引擎(相似图像检查模型或用于相似图像搜索的学习模型)。

(变型例12)

请注意，在前述实施例和变型例中用于生成运动对比度数据的处理不限于基于断层图像的强度值进行处理的构造。对于用OCT摄像单元100获得的干涉信号、通过使干涉信号经过傅立叶变换而获得的信号、通过使相关信号经过任何处理而获得的信号以及包括基于这些信号的断层图像等的断层数据，可以应用上述各种处理。同样在这些情况下，可以获得与前述构造的效果类似的效果。

尽管使用了将耦合器用作分离单元的光纤系统，但是也可以使用利用准直器和分束器的空间光学系统。此外，OCT摄像单元100的构造不限于上述构造，并且可以将在OCT摄像单元100中包括的一些部件配设为与OCT摄像单元100分开的部件。

此外，尽管在前述实施例和变型例中，使用马赫曾德尔干涉仪的构造作为OCT摄像装置100的干涉光学系统的构造，但是干涉光学系统的构造不限于此。例如，OCT装置1的干涉光学系统可以具有迈克尔逊干涉仪的构造。

另外，虽然在上述实施例和变型例中将使用SLD作为光源的光谱域OCT(SD-OCT)装置描述为OCT装置，但是根据本发明的OCT装置的构造不限于此。例如，本发明也可以应用于使用能够扫频发出的光的波长的波长扫频光源的扫频源OCT(SS-OCT)装置或任何其他种类的OCT装置。此外，本发明还可以应用于使用线光的线-OCT装置。

此外，在前述实施例和变型例中，获得单元210获得由OCT摄像单元100获得的干涉信号或由图像处理单元220产生的三维断层图像。然而，获得单元210获得这些信号或图像的构造不限于上述构造。例如，获得单元210可以从通过LAN、WAN或互联网等连接到控制单元的服务器或摄像装置获得这些信号。

请注意，可以在作为图像处理装置的控制单元200、900或1400中配设学习模型。学习模型可以例如由诸如CPU的处理器执行的软件模块构成。此外，可以在连接到控制单元200、900或1400的单独的服务器中配设学习模型。在这种情况下，控制单元200、900或1400可以通过经由诸如因特网的任何网络连接到包括学习模型的服务器，来使用学习模型进行图像质量改善处理。

(变型例13)

此外，要由根据上述各种实施例和变型例的图像处理装置或图像处理方法处理的图像包括使用任意模态(摄像装置或摄像方法)获得的医学图像。要处理的医学图像可以包括通过任何摄像装置等获得的医学图像，以及通过根据上述实施例和变型例的图像处理装置或图像处理方法创建的图像。

另外，要处理的医学图像是被摄体(被检查者)的预定部位的图像，并且该预定部位的图像包括被摄体的预定部位的至少一部分。医学图像还可包括被摄体的其他部位。医学图像可以是静止图像或运动图像，并且可以是黑白图像或彩色图像。另外，医学图像可以是表示预定部位的结构(形式)的图像，或者可以是表示预定部位的功能的图像。例如，表示功能的图像包括诸如OCTA图像、多普勒OCT图像、fMRI图像和超声多普勒图像等表示血液动力学(血流量，血流速度等)的图像。请注意，可以根据摄像目标确定被摄体的预定部位，并且这些预定部位包括诸如人眼(待检查的眼睛)、脑、肺、肠、心脏、胰腺、肾脏和肝脏等器官，以及诸如头、胸、腿和手臂等任何部位。

此外，医学图像可以是被摄体的断层图像，或者可以是正面图像。正面图像的示例包括眼底的正面图像、眼前段的正面图像、通过荧光摄像获得的眼底图像以及针对通过OCT获得的数据(三维OCT数据)使用摄像目标在深度方向上的至少部分范围的数据生成的en-face图像。en-face图像可以是针对三维OCTA数据(三维运动对比度数据)使用摄像目标在深度方向上的至少部分范围的数据生成的OCTA en-face图像(运动对比度正面图像)。此外，三维OCT数据或三维运动对比度数据是三维医学图像数据的示例。

另外，术语“摄像装置”是指用于进行摄像以获得要用于诊断的图像的装置。摄像装置的示例包括通过用光、诸如X射线的放射线、电磁波或超声波等照射预定部位来获得被摄体的预定部位的图像的装置，以及通过检测从被摄体发出的放射线来获得预定部位的图像的装置。更具体地，根据上述各种实施例和变型例的摄像装置的示例至少包括X射线摄像装置、CT装置、MRI装置、PET装置、SPECT装置、SLO装置、OCT装置、OCTA装置、眼底照相机和内窥镜。

注意，可以包括时域OCT(TD-OCT)装置和傅立叶域OCT(FD-OCT)装置作为OCT装置的示例。此外，傅里叶域OCT装置的示例可以包括频谱域OCT(SD-OCT)装置和扫频源OCT(SS-OCT)装置。此外，可以包括使用自适应光学系统等的自适应光学SLO(AO-SLO)装置和自适应光学OCT(AO-OCT)装置，分别作为SLO装置或OCT装置的示例。此外，可以包括用于可视化与偏振相位差或退偏振有关的信息的偏振敏感SLO(PS-SLO)装置和偏振敏感OCT(PS-OCT)装置等，分别作为SLO装置或OCT装置的示例。

根据上述的本发明的实施例和变型例之一，可以生成与根据传统技术生成的图像相比更适合图像诊断的图像。

(其他实施例)

本发明也可以通过一种处理来实现，在该处理中，实现根据上述实施例的一个或更多个功能的程序经由网络或存储介质被供给到系统或装置，并且，在系统或装置的计算机中的一个或更多个处理器读取并执行该程序。另外，本发明可以通过实现一个或更多个功能的电路(例如，ASIC)来实现。

本发明不限于上述实施例，并且在不脱离本发明的精神和范围的情况下可以进行各种改变和修改。因此，为了向公众告知本发明的范围，附加以下权利要求。

本申请要求2018年9月6日提交的日本专利申请第2018-166817号以及2019年3月29日提交的日本专利申请第2019-068663号的优先权利益，这些申请全部通过引用合并于此。

[附图标记列表]

200 控制单元(图像处理装置)

224 图像质量改善单元

250 显示控制单元

Claims (33)

1.一种图像处理装置，包括：

图像质量改善单元，其被构造为使用学习模型从被检眼的第一图像生成与第一图像相比经过了降噪和对比度增强中的至少一项的第二图像；以及

显示控制单元，其被构造为使第一图像和第二图像切换、并置或叠置显示在显示单元上。

2.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

选择单元，其被构造为从多个学习模型中选择图像质量改善单元要使用的学习模型。

3.根据权利要求2所述的图像处理装置，其中：

第一图像是基于被检眼在深度方向上的范围内的信息生成的正面图像；并且

选择单元基于用于生成第一图像的深度方向上的范围来选择图像质量改善单元要使用的学习模型。

4.根据权利要求3所述的图像处理装置，其中：

选择单元基于第一图像中的显示部位和用于生成第一图像的深度方向上的范围，选择图像质量改善单元要使用的学习模型。

5.根据权利要求4所述的图像处理装置，其中：

选择单元基于包括所述显示部位的摄像部位和用于生成第一图像的深度方向上的范围来选择图像质量改善单元要使用的学习模型。

6.根据权利要求2所述的图像处理装置，其中：

选择单元基于第一图像的摄像条件来选择图像质量改善单元要使用的学习模型。

7.根据权利要求2所述的图像处理装置，其中：

选择单元根据来自操作者的指令，选择图像质量改善单元要使用的学习模型。

8.根据权利要求2至7中任一项所述的图像处理装置，其中：

选择单元根据来自操作者的指令，改变图像质量改善单元要使用的学习模型。

9.根据权利要求1至8中任一项所述的图像处理装置，其中：

显示控制单元根据来自操作者的指令使第一图像和第二图像切换显示在显示单元上。

10.一种图像处理装置，包括：

图像质量改善单元，其被构造为使用学习模型从被检眼的第一图像生成第二图像，该第二图像是通过使第一图像经过图像质量改善处理而生成的；

显示控制单元，其被构造为根据来自操作者的指令使第一图像和第二图像切换显示在显示单元上。

11.根据权利要求1至10中任一项所述的图像处理装置，其中：

图像质量改善单元从多个第一图像生成多个第二图像；并且

显示控制单元使所述多个第一图像和所述多个第二图像切换显示在显示单元上。

12.根据权利要求1至11中任一项所述的图像处理装置，所述图像处理装置还包括：

获得单元，其被构造为获得第一图像，

其中，显示控制单元：

在获得单元获得第一图像之后立即使第一图像显示在显示单元上，并且

在图像质量改善单元生成第二图像之后，从显示的第一图像切换到第二图像，以使第二图像显示在显示单元上。

13.根据权利要求12所述的图像处理装置，其中：

第一图像是基于被检眼在深度方向上的范围内的运动对比度数据生成的正面图像；并且

显示控制单元：

在获得单元获得第一图像之前，显示第三图像，该第三图像是基于被检眼在深度方向上的断层数据生成的正面图像，并且

在获得单元获得第一图像之后，立即从显示的第三图像切换到第一图像，以使第一图像显示在显示单元上。

14.根据权利要求1至8中任一项所述的图像处理装置，其中：

第一图像是基于被检眼在深度方向上的范围内的信息生成的正面图像；并且

在根据来自操作者的指令改变第一图像在深度方向上的范围时，显示控制单元从在显示单元上显示正以并置方式显示的第一图像和第二图像改变为在显示单元上显示基于在深度方向上的改变后的范围的第一图像和从第一图像生成的第二图像。

15.根据权利要求1至8和14中任一项所述的图像处理装置，其中：

根据来自操作者的指令，显示控制单元使在显示单元上正以并置方式显示的第一图像和第二图像中的任一个放大显示。

16.根据权利要求1至8中任一项所述的图像处理装置，其中：

显示控制单元为第一图像和第二图像中的至少一个设置透明度，并且使第一图像和第二图像以叠置方式显示在显示单元上。

17.一种图像处理装置，包括：

图像质量改善单元，其被构造为使用学习模型从第一图像生成第二图像，该第一图像是基于被检眼在深度方向上的范围内的信息而生成的正面图像，该第二图像与第一图像相比经过了降噪和对比度增强中的至少一项；以及

选择单元，其被构造为基于用于生成第一图像的深度方向上的范围，从多个学习模型中选择图像质量改善单元要使用的学习模型。

18.根据权利要求3至12和14至17中任一项所述的图像处理装置，其中：

第一图像是被检眼的强度正面图像和被检眼的正面血管图像中的任一个。

19.根据权利要求1至18中任一项所述的图像处理装置，所述图像处理装置还包括：

比较单元，其被构造为比较第一图像和第二图像，并基于比较结果生成有颜色的彩色图图像，

其中，彩色图图像以叠置方式显示在第一图像或第二图像上。

20.一种图像处理装置，包括：

图像质量改善单元，其被构造为使用学习模型从被检眼的第一图像生成与第一图像相比经过了降噪和对比度增强中的至少一项的第二图像；

比较单元，其被构造为比较第一图像和第二图像；以及

显示控制单元，其被构造为基于通过比较单元获得的比较结果来控制显示单元上的显示。

21.根据权利要求20所述的图像处理装置，其中：

比较单元计算第一图像和第二图像之间的差异，并基于该差异生成有颜色的彩色图图像；并且

显示控制单元使彩色图图像显示在显示单元上。

22.根据权利要求21所述的图像处理装置，其中：

显示控制单元使彩色图图像以叠置方式显示在第一图像或第二图像上。

23.根据权利要求21所述的图像处理装置，其中：

显示控制单元根据来自操作者的指令使彩色图图像以叠置方式显示在第一图像或第二图像上。

24.根据权利要求21至23中任一项所述的图像处理装置，其中：

显示控制单元使与多个第一图像或多个第二图像相对应的彩色图图像以叠置方式显示。

25.根据权利要求20所述的图像处理装置，其中：

比较单元计算第一图像和第二图像之间的差异；并且

在该差异大于预定值的情况下，显示控制单元使警告显示在显示单元上。

26.根据权利要求20所述的图像处理装置，其中：

比较单元计算第一图像和第二图像之间的差异；并且

在该差异大于预定值的情况下，显示控制单元不在显示单元上显示第二图像。

27.根据权利要求1至26中任一项所述的图像处理装置，其中：

学习模型的训练数据包括通过进行平均处理、最大后验处理、平滑滤波处理和灰度转换处理中的至少一种处理而获得的图像。

28.根据权利要求1至26中任一项所述的图像处理装置，其中：

学习模型的训练数据包括用具有比用于第一图像的摄像的摄像装置高的性能的摄像装置摄像的图像，或者通过包括大于用于摄像第一图像的摄像过程的处理数量的处理数量的摄像过程获得的图像。

29.一种图像处理方法，包括：

使用学习模型从被检眼的第一图像生成与第一图像相比经过了降噪和对比度增强中的至少一项的第二图像；以及

使第一图像和第二图像切换、并置或叠置显示在显示单元上。

30.一种图像处理方法，包括：

使用学习模型从被检眼的第一图像生成第二图像，该第二图像是通过使第一图像经过图像质量改善处理而生成的；以及

根据来自操作者的指令使第一图像和第二图像切换显示在显示单元上。

31.一种图像处理方法，包括：

使用学习模型从第一图像生成第二图像，该第一图像是基于被检眼在深度方向上的范围内的信息而生成的正面图像，该第二图像与第一图像相比经过了降噪和对比度增强中的至少一项；以及

基于用于生成第一图像的深度方向上的范围，从多个学习模型中选择要用于生成第二图像的学习模型。

32.一种图像处理方法，包括：

使用学习模型从被检眼的第一图像生成与第一图像相比经过了降噪和对比度增强中的至少一项的第二图像；

比较第一图像和第二图像；以及

基于比较第一图像和第二图像的结果，控制显示单元上的显示。

33.一种程序，用于当该程序由处理器执行时，使该处理器执行根据权利要求29至32中任一项所述的图像处理方法的各步骤。

Images