CN110942447B - Oct图像分割方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及人工智能技术领域，公开了一种OCT图像分割方法，基于去噪模型、分割模型和图形识别模型对OCT图像进行解析、分割和显示、缩略图的提取和显示，图像去噪结果的切换显示和保存，自定义绘制区域的CVI计算和显示；本发明还提供了一种OCT图像分割装置、设备及计算机可读存储介质，这样的OCT图像分割方式，不仅实现了对OCT图像的细化分割，并且还是基于病例的形态进行的分割，提高了图像分割的精准度，同时还实现了图像的可视化显示，便于用户的观察分析。

Description

OCT图像分割方法、装置、设备及存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种OCT图像分割方法、装置、设备及存储介质。

背景技术

医学影像设备是医疗设备中的图像处理设别中极为重要的一部分，特别是随着光学干涉断层成像(optical coherence tomography，OCT)技术的出现，该种设备的使用，大大帮助了医护人员对具有特定形态的疾病的诊断效率和准确度，可以通过影像直接观察出一些疾病以及疾病在身体上锁呈现的形态，同时也便于了科研人员对疾病的深度研究。然而，在现有技术中，对OCT图像的拍摄都是以一整张的形式提供给医护人员观看，可见这种大范围的图像，在解读时需要花费医生大量的时间，且不同的医生个体之间具有较强的主观性和个体差异性，为此计算机自动识别影像中不同成分成为关键。

而在现在有技术中，医生使用OCT图像仅仅是用于辅助的判断，OCT图像系统中并没有实现过于复杂的疾病预判功能，只有对图像的小切割功能，但是该切割方式也是按照图像的整体面积来进行等份切割，从而减少医生的观看范围，可见这种切割方式还是无法准确定位到疾病来实现，其准确率还是比较低。

发明内容

本发明的主要目的在于提供一种OCT图像分割方法、装置、设备及计算机可读存储介质，旨在解决现有的图像分割处理中难以定位的疾病本身上，而导致其分割精度较低的技术问题。

为实现上述目的，本发明提供一种OCT图像分割方法，应用于图像处理系统，所述OCT图像分割方法包括以下步骤：

获取至少一组OCT图像序列显示于所述图像处理系统的第一显示区域上，其中，所述OCT图像序列包括至少两张缩略图，且每张缩略图中显示的图像不存在重叠；

从所述OCT图像序列中选择一张缩略图，并通过预先训练得到的去噪模型，对其进行去噪处理，得到去噪图像，其中，所述去噪处理为剔除所述缩略图中由干扰信号产生的图像；

对所述去噪图像进行放大处理，并将放大后的去噪图像显示于所述图像处理系统的第二显示区域上；

检测所述图像处理系统上的操作界面中的图像分割按钮所在的区域是否存在触控操作，以确定图像分割功能是否被触发；

若存在，则调取所述图像处理系统中预设的分割模型，并根据所述分割模型识别所述去噪图像中与所述分割模型对应的图形形状的图像区域，并将所述图像区域中的图像切割出来，得到图像集合，其中，所述分割模型为基于历史疾病诊断病历中的各病例的形态进行训练得到；

以列表状态显示所述图像集合。

可选的，所述调取所述图像处理系统中预先训练得到的分割模型，并根据所述分割模型识别所述去噪图像中与所述分割模型对应的图形形状的图像区域，并将所述图像区域中的图像切割出来，得到图像集合包括：

确定所述图像分割功能被触发后产生的检测指令，并读取所述第二显示区域上的图像；

根据所述检测指令，从预设的数据库中调取与所述检测指令对应的疾病类型的模型库调度表；

根据所述分割模型，从所述模型库调度表中查询出与所述分割模型相匹配的模型动态链接库，其中，所述模型动态链接库为包含同一疾病类型的所有病例形态的图形识别模型；

将所述模型动态链接库中的图形识别模型与所述图像进行一一比对分析，筛选出所述图像中与所述图形识别模型相匹配的图像区域，并按照所述图形识别模型能识别的最小识别形状，对所述图像区域中的图像数据进行切割，得到多个目标图像，以形成所述图像集合。

可选的，所述在所述图像处理系统的显示设备上以列表状态显示所述图像集合包括：

将所述图像集合中的每个目标图像依次显示于所述第二显示区域上；

调用所述图像处理系统中的显示编辑插件对所述目标图像进行标注编辑，其中，所述标注编辑至少包括标注所述目标图像对应的病灶名称、图像的显示尺寸和治疗推荐方案中的一种。

可选的，在所述从所述OCT图像序列中选择一张缩略图，并通过预先训练得到的去噪模型，对其进行去噪处理，得到去噪图像的步骤之后，还包括：

检测所述去噪图像中是否存在封闭的框选区域，所述框选区域为所述图像处理系统在去噪处理过程中对所述图像中已进行图形形态异形的预检测的图像区域；

若存在，则计算所述框选区域中的图像的脉络膜血管占比，并将所述脉络膜血管占比标注于所述框选区域上，其中，所述脉络膜血管占比为框选区域中血管面积和所述框选区域的总面积之间的比例；

所述将所述模型动态链接库中的图形识别模型与所述图像进行一一比对分析，筛选出所述图像中与所述图形识别模型相匹配的图像区域，并按照所述图形识别模型能识别的最小识别形状，对所述图像区域中的图像数据进行切割，得到多个目标图像包括：

将所述图形识别模型对应的疾病形态与所述图像中的每个目标图像进行比对，得到比对的结果；

若所述比对的结果为匹配，则判断所述图像中的目标图像上的脉络膜血管占比是否满足阈值；

若满足，则将所述目标图像从所述图像中切割出来。

可选的，所述将所述脉络膜血管占比标注于所述框选区域上包括：

将根据病灶的识别模型识别出来的脉络膜血管区域进行高亮标注显示；

计算所述高亮标注显示的区域在所述目标图像中的面积与所述目标图像的总面积的比值，并将所述比值高亮显示于所述目标图像的角落上。

可选的，在所述调取所述图像处理系统中预先训练得到的分割模型，并根据所述分割模型识别所述去噪图像中与所述分割模型对应的图形形状的图像区域，并将所述图像区域中的图像切割出来，得到图像集合的步骤之后，还包括：

根据所述图像处理系统中的分割历史记录，计算所述图像集合中每个疾病的目标图像相对于历史记录中的分类概率值；

将所述分类概率值与预设的概率值进行比较；

若所述分类概率值不小于预设的概率值，则调用系统中的预设的分类检测模型对所述目标图像按照疾病类别进行分类处理；

若所述分类概率值大于预设的概率值，则需要执行采用图形识别模型对图形形态识别的迭代过程。

可选的，在所述根据所述图像处理系统中的分割历史记录，计算所述图像集合中每个疾病的目标图像相对于历史记录中的分类概率值之后，还包括：

根据所述分类概率值将分类后的目标图像转换为热力图进行显示，其中，所述热力图为每个疾病类别的目标图像的脉络膜血管占比对各模型分析准确度的权重等级分布。

此外，为实现上述目的，本发明还提供一种OCT图像分割装置，应用于图像处理系统，所述图像处理系统包括显示设备，且在所述显示设备上设有用于显示缩略图的第一显示区域和显示放大图的第二显示区域，所述OCT图像分割装置包括：

拍摄模块，用于获取至少一组OCT图像序列显示于所述第一显示区域上，其中，所述OCT图像序列包括至少两张缩略图，且每张缩略图中显示的图像不存在重叠；

去噪模块，用于从所述OCT图像序列中选择一张缩略图，并通过预先训练得到的去噪模型，对其进行去噪处理，得到去噪图像，其中，所述去噪处理为剔除所述OCT图像序列中由干扰信号产生的图像；

放大模型，用于对所述去噪图像进行放大处理，并将放大后的去噪图像显示于所述图像处理系统的第二显示区域上；

检测模块，用于检测所述图像处理系统上的操作界面中的图像分割按钮所在的区域是否存在触控操作，以确定图像分割功能是否被触发；

分割模块，用于检测到存在触控操作时，调取所述图像处理系统中预设的分割模型，并根据所述分割模型识别所述去噪图像中与所述分割模型对应的图形形状的图像区域，并将所述图像区域中的图像切割出来，得到图像集合，其中，所述分割模型为基于历史疾病诊断病历中的各病例的形态进行训练得到；

显示模块，用于以列表状态显示所述图像集合。

可选的，所述分割模块包括调度单元、匹配单元、对比单元和切割单元，其中：

所述调度单元，用于确定所述图像分割功能被触发后产生的检测指令，并读取所述第二显示区域上的图像；根据所述检测指令，从预设的数据库中调取与所述检测指令对应的疾病类型的模型库调度表；

所述匹配单元，用于根据所述分割模型，从所述模型库调度表中查询出与所述分割模型相匹配的模型动态链接库，其中，所述模型动态链接库为包含同一疾病类型的所有病例形态的图形识别模型；

所述对比单元，用于将所述模型动态链接库中的图形识别模型与所述图像进行一一比对分析，筛选出所述图像中与所述图形识别模型相匹配的图像区域；

所述切割单元，用于按照所述图形识别模型能识别的最小识别形状，对所述图像区域中的图像数据进行切割，得到多个目标图像，以形成所述图像集合。

可选的，所述显示模块，用于将所述图像集合中的每个目标图像依次显示于所述第二显示区域上；调用所述图像处理系统中的显示编辑插件对所述目标图像进行标注编辑，其中，所述标注编辑至少包括标注所述目标图像对应的病灶名称、图像的显示尺寸和治疗推荐方案中的一种。

可选的，所述OCT图像分割装置还包括预测模块和计算模块，其中，

所述预测模块，用于检测所述去噪图像中是否存在封闭的框选区域，所述框选区域为所述图像处理系统在去噪处理过程中对所述图像中已进行图形形态异形的预检测的图像区域；

所述计算模块，用于在检测存在框选区域时，计算所述框选区域中的图像的脉络膜血管占比，并将所述脉络膜血管占比标注于所述框选区域上，其中，所述脉络膜血管占比为框选区域中血管面积和所述框选区域的总面积之间的比例；

所述对比单元，用于将所述图形识别模型对应的疾病形态与所述图像中的每个目标图像进行比对，得到比对的结果；若所述比对的结果为匹配，则判断所述图像中的目标图像上的脉络膜血管占比是否满足阈值；

所述切割单元，在所述脉络膜血管占否满足阈值时，将所述目标图像从所述图像中切割出来。

可选的，所述OCT图像分割装置还包括注释模块，用于将根据病灶的识别模型识别出来的脉络膜血管区域进行高亮标注显示；计算所述高亮标注显示的区域在所述目标图像中的面积与所述目标图像的总面积的比值，并将所述比值高亮显示于所述目标图像的角落上。

可选的，所述OCT图像分割装置还包括分类模块，用于根据所述图像处理系统中的分割历史记录，计算所述图像集合中每个疾病的目标图像相对于历史记录中的分类概率值；将所述分类概率值与预设的概率值进行比较；若所述分类概率值不小于预设的概率值，则调用系统中的预设的分类检测模型对所述目标图像按照疾病的类别进行分类处理；若所述分类概率值大于预设的概率值，则需要执行采用图形识别模型对图形形态识别的迭代过程。

可选的，所述显示模块还用于根据所述分类概率值将分类后的目标图像转换为热力图进行显示，其中，所述热力图为每个疾病类别的目标图像的脉络膜血管占比对各模型分析准确度的权重等级分布。

此外，为实现上述目的，本发明还一种OCT图像分割设备，所述OCT图像分割设备包括：设有第一显示区域和第二显示区域的显示设备、存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的OCT图像分割程序，所述OCT图像分割程序被所述处理器执行时实现如上述任一项所述的OCT图像分割方法的步骤。

此外，为实现上述目的，本发明还一种计算机可读存储介质，所述计算机可读存储介质上存储有OCT图像分割程序，所述OCT图像分割程序被处理器执行时实现如上述任一项所述的OCT图像分割方法的步骤。

本发明实施例基于去噪模型、分割模型和病灶识别模型对OCT图像进行解析、分割和显示、缩略图的提取和显示，图像去噪结果的切换显示和保存，自定义绘制区域的CVI计算和显示，这样的OCT图像分割方式，不仅实现了对OCT图像的细化分割，并且还是基于病例的形态进行的分割，提高了图像分割的精准度，同时还实现了图像的可视化显示，便于用户的观察分析。

附图说明

图1为本发明实施例方案涉及的图像处理系统的运行环境的结构示意图；

图2为本发明OCT图像分割方法第一实施例的流程示意图；

图3为本发明OCT图像分割方法第二实施例的流程示意图；

图4为本发明OCT图像分割的界面显示图；

图5为本发明OCT图像分割装置的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供一种图像处理系统，参照图1，图1为本发明实施例方案涉及的图像处理系统的运行环境的结构示意图。

如图1所示，该图像处理系统包括：处理器101，例如CPU，通信总线102、用户接口103，网络接口104，存储器105。其中，通信总线102用于实现这些组件之间的连接通信。用户接口103可以包括显示屏（Display）、输入单元比如键盘（Keyboard），网络接口104可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器105可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器105可选的还可以是独立于前述处理器101的存储装置。

本领域技术人员可以理解，图1中示出的图像处理系统的硬件结构并不构成对OCT图像分割装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机可读存储介质的存储器105中可以包括操作系统、网络通信模块、用户接口模块以及用于实现OCT图像分割的OCT图像分割程序。其中，操作系统是管理和控制与系统相连的每个OCT图像设备、存储器中的软件资源调用的程序，支持OCT图像分割程序以及其它软件和/或程序的运行。

在图1所示的图像处理系统的硬件结构中，网络接口104主要用于接入网络；用户接口103主要用于检测系统中是否需要进行OCT图像分割操作或者是监控系统中的数据是否存在更新、异常等信息，而处理器101可以用于调用存储器105中存储的OCT图像分割程序，并执行以下OCT图像分割方法的各实施例的操作。

在本发明实施例中，对于图1的实现还可以是由移动终端和服务器组成的连网系统，其中，移动终端作为任务数据表的产生设备，服务器用于同步移动终端上的任务数据表的设备，该服务器的处理器通过读取存储在缓存器或者存储单元中的可以实现OCT图像分割方法的程序代码来分辨出增量任务数据，并实现同步的操作。

基于上述OCT图像分割系统的硬件结构，提出本发明OCT图像分割方法的各个实施例。本实施例提出的OCT图像分割方法具体是应用于医疗的影像设备、以及一些具有简单的摄影诊断移动设备等终端中，该系统包括显示设备，且在所述显示设备上设有用于显示缩略图的第一显示区域和显示放大图的第二显示区域，在本发明实施例中，提出了一种通过调用AI模型对OCT图像的疾病类型的分割和分类，按照病灶的AI模型进行分割即是实现了对OCT图像中疾病的初步诊断，该方法的具体处理步骤如下：

步骤S210，获取至少一组OCT图像序列显示于所述图像处理系统的第一显示区域上；

在该步骤中，所述OCT图像序列包括至少两张缩略图，且每张缩略图中显示的图像不存在重叠。

在实际应用中，对于OCT图像序列以缩略图的形式显示于第一显示区域上，并从所述OCT图像序列中选择一张图像进行放大展示于所述第二显示区域上，但是显示在第二显示区域之前，要进行去噪处理；

在本实施例中，该图像处理系统至少包括显示屏，在其显示屏上分为两个显示区域，分别是第一显示区域和第二显示区域，其中第一显示区域用于显示OCT图像的所缩略图，第二显示区域用于显示OCT图像的放大图。

在该步骤中，对于OCT图像序列是包含有多个OCT图像的，而OCT图像可以是由图像处理系统本身来拍摄获取，也可以是从外界读取获得，一般来说OCT图像都是针对某一部位上的整体影像，其中包含有多种小部位或者多个结构层的图像，且这里的图像处理系统仅用于实现对OCT图像的分割处理，并不存在诊断的功能，并且在分割时，是根据历史病历的病例形态学习得到的图形识别模型来进行识别分割。

例如，获取到的OCT图像序列中包含有视网膜内积液、视网膜下积液、色素上皮脱离、视网膜下高反射区等区域，而在实际应用中，每个层和区域都是用于诊断某种疾病，而这里为了减少医护人员在观看图像进行诊断时的工作量和消耗的时间，这里会对OCT图像进行下一步的分割处理，即是执行以下的步骤S220-S260。

在该步骤中的，放大显示便于医生选择OCT图像序列中的某一OCT图像进行查看，通过放大显示可以看清缩略图中无法看清的细节，便于用户对OCT图像中的诊断。

步骤S220，从所述OCT图像序列中选择一张缩略图，并通过预先训练得到的去噪模型，对其进行去噪处理，得到去噪图像，其中，所述去噪处理为剔除所述OCT图像序列中由干扰信号产生的图像；

在本实施例中，OCT是一种高分辨率的成像技术，对环境变化的感知非常敏感，对于信号数据的获取过程要求精度也高，所会存在一些不可避免的干扰因素。在实际应用中，对于所述第一显示区域上的缩略图也可以是去噪之后的图像，当然需要将其原本显示的图像进行替换为所述去噪图像。

在该步骤中，对根据预设的人工智能去噪模型对OCT图像进行去噪，具体可以通过以下方式实现：

通过去噪模型从成像的角度来分析干扰源，一般来说干扰源会存在以下几种：电子噪声、散斑噪声、光电子噪声，其中散斑噪声是干扰OCT图像的主要原因，他于成像组织表面的粗糙度有关，在根据去噪模型识别出干扰来源后，根据不同的干扰来源选择把不同的方法对成像后的图像进行去噪处理，例如，对于散斑噪声来说，其可以采用多级维纳滤波方法进行除噪，维纳滤波是根据在图像处理过程中全部获取到的和当前的拍摄数据x(n),x(n- 1),x(n- 2)来估计信号的当前值,具体是以均方误差最小条件下所得到的图像处理系统拍摄图像时的传递函数H(z)或单位样本响应h(n)的形式给出的。所谓均方误差最小即它的平方的统计平均值最小E[e2(n)]=E[(s-y)2]，其中e(n)表示真值于估计值之间的误差，即是e(n)=s(n)-y(n)；而多级维纳滤波则是对OCT图像进行逐级的滤波处理，从而减少OCT图像的噪源影像，最终获取到分辨率高的清晰图像。对于多级维纳滤波具体是：

通过一个初始滤波模板对图像进行维纳滤波,该滤波模板的大小与待处理图像质量和噪声特征相关,可根据实际情况进行选择,下面以7×7为例，经滤波处理得到大尺度下的噪声处理结果，例如：从原始图像中减去滤波后的图像,得到第一级噪声图像,再从滤波图像中再减去噪声图像,完成第一级处理，将第一级处理结果作为第二级的原始输入数据,缩小滤波模板重复上述过程,直到模板缩小至3×3，OCT原始图像（7×7）经逐级为纳滤波去噪得到第二级维纳滤波(模板为5×5)和第三级维纳滤波(模板为3×3)的结果。

步骤S230，对所述去噪图像进行放大处理，并将放大后的去噪图像显示于所述图像处理系统的第二显示区域上；

步骤S240，检测所述图像处理系统上的操作界面中的图像分割按钮所在的区域是否存在触控操作，以确定图像分割功能是否被触发；

在本实施例示的显示屏上，即是显示在系统显示OCT图像序列的界面上，用户通过触控显示屏，系统检测显示屏上的触控操作的坐标位置是否位于分割功能的坐标上，从而判断出分割功能是否被触发。

在实际应用中，医生一般在查看OCT图像时都会是习惯性的进行放大的操作，即是会在显示屏上进行滑动触控，那么这时可以通过检测显示屏上的滑动触控操作是否为封闭轨迹的滑动操作，若是，则视为触发分割操作，并且将封闭轨迹内框选的图像从OCT原始图像中分割出来，并进行病灶的检测分割。

步骤S250，若是，则调取所述图像处理系统中预设的分割模型，并根据所述分割模型识别所述去噪图像中与所述分割模型对应的图形形状的图像区域，并将所述图像区域中的图像切割出来，得到图像集合，其中，所述分割模型为基于历史疾病诊断病历中的各病例的形态进行训练得到；

在该步骤中，具体是通过软件调取人工智能模型中的分割模型对所述OCT图像进行分割处理，而在调用分割模型的同时，还根据分割模型与模型动态链接库的对应关系，调取对应的病灶模型进行病灶的图像进行识别分割。

在实际应用中，对于病灶的类型会根据大类先进行分割，然后基于大类进行病灶具体模型的收集，得到病灶小类，最后基于小类对OCT图像进行一一的识别匹配。

例如，大类为流感的病灶类型，在流感中还分为季节性流感、传播类流感和变异类流感等等的小分类，而在调取人工智能分割模型时，是基于大类流感调取分割模型，基于流感的分割模型选择对应于流感的动态链接库，在该库中包含了流感类的所有小类的病灶模型，优选的是根据分割模型对应调取接口和协议来直接查询调用对应的模型动态链接库.dll的接口即可实现，而在具体的分割时，是根据动态链接库中的病灶模型与OCT图像进行一一的识别比对，从而对OCT图像的分割，同时通过模型的分割实现了对OCT图像中的疾病的形态进行初步的诊断。

在本实施例中，为了提高分割的准确度，在实际应用中，还可以对动态链接库中的病灶模型类别做进一步的筛选提取，减少识别对比的模型数量，具体可以通过根据分割模型对OCT图像进行初步的检测确定图像中图形的形态，然后基于该形态计算属于哪类别的病灶概率较大，根据概率来选择动态链接库中的具体病灶模型的小类别。

步骤S260，以列表状态显示所述图像集合。

在本实施例中，这里的对图像集合的显示不仅仅是对分割后的图像中的病灶的形态进行展示，还包括系统根据图像形态和病灶模型识别分析诊断出来的疾病的诊断预测结果。

在本实施例中，在每检测分割完一张OCT图像后，都会实时的将分割结果（即是病灶的OCT图像集合）和分割之后的每个OCT图像的面积进行展示；若对于某些特殊的并来说，医生有可能会对拍摄的OCT图像有一定的要求，这时可以调用一些编辑工具设置一些参数，而图像处理系统通过检测到这些编辑工具输入的条件，根据条件对分割出来的OCT图像进行显示的处理，以便按照医生的实际需求进行病灶显示。

在本实施例中，在对OCT图像进行分割操作时，具体可以通过接收在操作指令的方式来执行，具体的：

通过检测图像处理系统上的触控操作确定是否为启动系统中的病灶分切功能，而该功能主要检测图像中是否存在与病灶相同或者相似的形态图形，若存在，则执行步骤S250，这时，对于步骤S250的具体实现方式可以是：

首先根据所述检测指令，调取与所述检测指令对应的疾病类型的模型库调度表；

根据所述分割模型，从所述模型库调度表中查询出与所述分割模型相匹配的模型动态链接库，其中，所述模型动态链接库为包含同一疾病类型的所有病例形态的图形识别模型；

将所述模型动态链接库中的图形识别模型与所述图像进行一一比对分析，筛选出所述图像中与所述图形识别模型相匹配的图像区域，并按照所述图形识别模型能识别的最小识别形状，对所述图像区域中的图像数据进行切割，得到多个目标图像，以形成所述图像集合。

在实际应用中，还可以是通过根据触发图像分割功能后的检测指令，读取所有缩略图中的OCT图像，然后根据指令来调取对应的模型动态链接库来对每个缩略图中的图像进行分割，从而得到图像集合，而这时的图像集合是包括了从所有缩略图中分割出来的病灶的目标图像。

在本实施例中，对于分割的对象可以是缩略图中的OCT图像，也可以是第二显示区域中的OCT图像，这里优先的选择第二显示区域中的OCT图像，当然医生也可在缩略图窗口中查看图像的缩略图并且可随意切换到目标图像，点击分割检测、分类检测按钮即可调用AI模型（由算法团队给出动态链接库.dll文件和.h头文件）进行检测和分割（AI检测和分割的技术细节由算法团队完成），在不改变接口的前提下，只需要替换AI模型的dll模块文件即可，无需重新编译。

在本实施例中，对于每次的分割只对第二显示区域中当前显示的图像进行分割的情况，其在将所述图像集合以列表状态显示于所述图像处理系统的显示设备上具体是通过将所述图像集合中的每个目标图像依次显示于所述第二显示区域上；

调用所述图像处理系统中的显示编辑插件对所述目标图像进行标注编辑，其中，所述标注编辑包括标注所述目标图像对应的病灶名称、图像的显示尺寸和治疗推荐方案中的至少一种。

在实际应用中，上述所提及到的各种模型，都可以使用AI模型来实现，该AI模型中集成了可以实现图像分割和识别的小模型算法。

在本发明实施例中，通过对上述方案的实施可以同时实现分割和显示，以及初步的诊断，具体是基于人工智能模型（AI模型）对OCT医疗影像进行解析和显示、缩略图的提取和显示，图像去噪结果的切换显示和保存，自定义绘制区域的CVI计算和显示，这样的OCT图像分割方式，不仅实现了对OCT图像的细化分割，并且还是基于病例的形态进行的分割，提高了图像分割的精准度，同时还实现了图像的可视化显示，便于用户的观察分析；

在实际应用中，基于该分割方式应用与ICT图像检测系统中获取的OCT图像，可以实现OCT图像检测系统对拍摄的图像的图形形态的初步判断，即是对图像中可能出现的疾病的图像区域进行初步诊断，有效地辅助了医生进行临床诊断和迭代验证，为医生的临床治疗提供了可靠的诊断依据，同时提高了医生的诊断效率，降低了漏诊、误诊率。

在本发明实施例中，为了保证分割的精准性，以及分析显示数据的完整性，本方法还可以通过以下的方式来对OCT图像进行分割和显示，即是可以通过将上述的去噪、分割等功能设置为一个软件应用界面的方式来实现，通过出界面的操作来触发一连续的操作，其步骤具体如图3所示，在图3所示的实现方式结合具体的图像来进行说明：

步骤S31，获取OCT图像序列，将图像显示在图像处理系统的显示设备的主窗口上，同时在辅助显示窗口上显示OCT图像对应的缩略图；

在该步骤中，对于缩略图中的图像的显示具体可以是显示一整张，也可以是将OCT图像序列切分为多个大图像进行显示，具体如图4所示，优选的，将显示设备的右侧设置为主窗口，显示放大的图像，将显示设备的左侧设置为缩略窗口，用于显示缩略图。

步骤S32，对显示出来的OCT图像进行去噪和计算CVI值；

在该步骤中，具体可以通过在显示设备上提供一个触发按钮的方式来实现，即是在右侧窗口上设置有个“图像去噪”的按钮，点击后会调用AI模型进行去噪处理，处理完毕后会将每张图像的去噪后图像进行保存，同时可以切换显示；对于CVI值的计算，首先需要绘制自由笔封闭曲线、矩形框或者多边形，形成一个区域后在调用AI模型，进行CVI的计算并将数值显示。

步骤S33，根据AI模型中的分割模型对图像按照不同病灶的形态进行分割；

在本实施例中，用户可以点击显示设备的显示窗口右侧的分割检测按钮，此时软件调用AI分割模型，然后将相关数据打包成一个结构体，按照和算法团队约定好的接口和协议，调用模型动态链接库.dll的接口，具体比如通过调用:algCreate_FR、algProcess_Denoise等等接口，接口的参数均通过C++中的struct(结构体)来设置并传递；然后将图像推入到AI模型中进行分割检测，在每检测完一张OCT影像后，都会实时的将分割结果和面积进行展示，并提供了各种编辑工具，以便按照医生的实际需求进行病灶显示。

步骤S34，根据AI模型中的分类模型对分割后的图像进行分类；

在该步骤中，其分类可以是按照病灶的类型进行分类，具体通过计算每个图像的分类概率值来进行分类。

步骤S35，将分类好的图像显示，以供用户进行查看分析。

在本实施例中，在对OCT图像去噪处理之后，还包括检测图像中显示的形态检测存在发病的概率，即是进行图形形态异常的预判断，并对检测到可能存在的进行标注，然后检测所述去噪图像中是否存在封闭的框选区域，所述框选区域为所述图像处理系统在去噪处理过程中对所述图像中已进行图形形态异形的预检测的图像区域；

若存在，则计算所述框选区域中的图像的脉络膜血管占比，并将所述脉络膜血管占比标注于所述框选区域上，其中，所述脉络膜血管占比为框选区域中血管面积和所述框选区域的总面积之间的比例，所述将所述模型动态链接库中的图形识别模型与所述图像进行一一比对分析，筛选出所述图像中与所述图形识别模型相匹配的图像区域，并按照所述图形识别模型能识别的最小识别形状，对所述图像区域中的图像数据进行切割，得到多个目标图像包括：

将所述图形识别模型对应的疾病形态与所述图像中的每个目标图像进行比对，得到比对的结果；

若所述比对的结果为匹配，则判断所述图像中的目标图像上的脉络膜血管占比是否满足阈值；

若满足，则将所述目标图像从所述图像中切割出来。

在本实施例中，对于封闭的框选区域是否存在的检测，可以通过检测医生在系统的显示屏上的操作来确定，而在观察OCT图像时医生诊断为可能存在病症的可能或者是看不清楚时，都会进行局部的选择查看，而选择的过程中都会在显示的OCT图像上进行圈选，在本实施例中，圈选的路径必须要是封闭的才可以进行分割的操作，同时还对圈选的区域进行脉络膜血管占比的计算，并在框选的区域中显示出来，以便于医生的参考诊断。

在实际应用中，对于所述将所述脉络膜血管占比标注于所述框选区域上的步骤，具体是通过以下方式实现：

将根据病灶的识别模型识别出来的脉络膜血管区域进行高亮标注显示；

计算所述高亮标注显示的区域在所述目标图像中的面积与所述目标图像的总面积的比值，并将所述比值高亮显示于所述目标图像的角落上。

在本实施例中，除了通过高亮的方式标注之外，还可以通过小浮标的方式显示，设置还可以是对检测认为是脉络膜血管的部分在图像中描线显示。

进一步的，对OCT图像进行去噪的基础上，进行图像CVI值的计算和切换显示，对于CVI值的计算，首先需要绘制自由笔封闭曲线、矩形框或者多边形，形成一个区域后在调用AI模型，进行CVI的计算并将数值显示。

在本实施例中，即是根据所述图像处理系统中的分割历史记录，计算所述图像集合中每个疾病的目标图像相对于历史记录中的分类概率值；

将所述分类概率值与预设的概率值进行比较；

若所述分类概率值不小于预设的概率值，则调用系统中的预设的分类检测模型对所述目标图像按照疾病的类别进行分类处理；

若所述分类概率值大于预设的概率值，则需要执行采用图形识别模型对图形形态识别的迭代过程。具体的，这里的迭代过程即是重复执行对OCT图像的分割识别过程。

具体的，调用AI模型进行分类检测，结束后可显示某个分类的概率值，同时也可切换显示对应该分类的热力图，同时可对结果进行编辑、删除、添加，且针对各种操作，软件中均有记录，且可以追溯mask的来源和修改记录，对后续AI模型迭代验证的策略和方向起到很重要的指导作用，概率值是指AI模型判断该张图像属于哪个类别的概率，以便向医生指示出AI模型对该计算结果的可信度。

进一步的，这里的修改主要是针对于图像处理系统预测的疾病输出结果后，在医生参考诊断时，若预测不准确或者有些细节需要进行修改时可以手段输入修改，比如说检测出的病灶矩形框，要由医生来看是否是正确的或者大小区域是否合适，若不正确则需要由医生进行修改或者调整，修改后的数据即可作为金标准继续放到模型训练中，以迭代优化模型

所述根据所述图像处理系统中的分割历史记录，计算所述图像集合中每个疾病的目标图像相对于历史记录中的分类概率值之后，还包括：

根据所述分类概率值将分类后的目标图像转换为热力图进行显示，其中，所述热力图为每个疾病类别的目标图像的脉络膜血管占比对各模型分析准确度的权重等级分布。

下面以具体的应用场景为例，对上述提供的方式进行说明，具体的本次开发的基于AI模型的OCT影像检测医疗工作站集成了：OCT医疗影像的解析和显示、缩略图的提取和显示；图像去噪结果的切换显示和保存；自定义绘制区域的CVI计算和显示；将包含在OCT图像中的视网膜内积液、视网膜下积液、色素上皮脱离、视网膜下高反射区等病灶的分割且将该类型病灶区域的面积定量计算并实时显示；将包含在OCT图像中的玻璃体黄斑牵引、黄斑前膜或视网膜前膜等13种病灶的多分类提取，属于该类的概率值也同步显示，且同时可以提取该图像的热力图图像；根据分割、分类结果和每个检测病灶的概率值，由一定策略生成定制化的病例报告，给医生在诊断时提供量化的参考以达到提高医生效率和辅助诊断的目的；该产品可正常同时运行在CPU或GPU机器上，在GPU机器上运行的速度会更快，医生在使用时可对当前的AI检测结果进行评价或编辑，产品会记录这些信息以便迭代验证AI模型，其具体的实现流程如下所示：

步骤1、加载OCT图像序列，将图像显示在主窗口，同时右侧有个缩略图窗口，显示该序列的每张图像的缩略图，具体的通过从外部OCT机器上拷贝过来并在本地存储好的，比如存储在某个文件夹中，而在图像处理系统上显示时的显示界面如图4所示。

步骤2、基于步骤1基础上，进行图像去噪处理和CVI值的计算和切换显示，软件右侧有个“图像去噪”的按钮，点击后会调用AI模型进行去噪处理，处理完毕后会将每张图像的去噪后图像进行保存，同时可以切换显示；对于CVI值的计算，首先需要绘制自由笔封闭曲线、矩形框或者多边形，形成一个区域后在调用AI模型，进行CVI的计算并将数值显示。

这里的框选区域就是指操作者要先框出脉络膜区域，然后将该区域的坐标值和整张图像通过调用接口传给AI模型，AI模型只计算该区域的血管和区域的面积比，输出就是一张带有CVI计算结果的图像，如下（2）图所示。

步骤3、多病灶的分割，医生可以点击右侧的分割检测按钮，此时软件调用AI分割模型，然后将相关数据打包成一个结构体，按照和算法团队约定好的接口和协议，调用模型动态链接库.dll的接口，具体比如通过调用:algCreate_FR、algProcess_Denoise等等接口，接口的参数均通过C++中的struct(结构体)来设置并传递；然后将图像推入到AI模型中进行分割检测，在每检测完一张OCT影像后，都会实时的将分割结果和面积进行展示，并提供了各种编辑工具，以便按照医生的实际需求进行病灶显示。

步骤4、多分类检测，医生可以点击右侧的分类检测按钮，此时会调用AI模型进行分类检测，结束后可显示某个分类的概率值，同时也可切换显示对应该分类的热力图，同时可对结果进行编辑、删除、添加，且针对各种操作，软件中均有记录，且可以追溯mask的来源和修改记录，对后续AI模型迭代验证的策略和方向起到很重要的指导作用。热力图是指AI模型在进行计算时，输入图像的哪块区域对于AI模型检测结果的影响比较大，就是指图像的哪块区域的数据对于AI模型的权重较大。

实际应用中，医生可在缩略图窗口中查看图像的缩略图并且可随意切换到目标图像；点击分割检测、分类检测按钮即可调用AI模型（由算法团队给出动态链接库.dll文件和.h头文件）进行检测和分割（AI检测和分割的技术细节由算法团队完成），在不改变接口的前提下，只需要替换AI模型的dll模块文件即可，无需重新编译。

基于上述的方法，本发明实施例，通过基于AI模型对OCT医疗影像的解析和显示、缩略图的提取和显示；图像去噪结果的切换显示和保存；自定义绘制区域的CVI计算和显示，实现了OCT图像系统的智能性，缩小了图像的范围，也大大减少了医生的诊断工作量；

1.为基于OCT医疗影像的AI模型提供了一款功能完善的医疗工作站，有效地辅助了医生进行临床诊断和AI模型的迭代验证；

2.使得对模型的去噪、CVI计算、分割、分类结果进行定量的实时可视化，同时提供了系列相关的上层功能和操作，如概率值显示，热力图显示等等，满足医生对AI输出结果的修正和反馈，且这些操作均会记录下来以满足算法人员后续对模型各项指标的迭代验证需求；

3.提供了定制化的病例报告，为患者和医生对模型的综合诊断结果输出有直观的展示，为医生的临床治疗提供了可靠的诊断依据，同时提高了医生的诊断效率，降低了漏诊、误诊率。

为了解决上述的问题，本发明实施例还提供了一种OCT图像分割装置，参照图5，图5为本发明实施例提供的OCT图像分割装置的功能模块的示意图。在本实施例中，应用于图像处理系统，所述图像处理系统包括显示设备，且在所述显示设备上设有用于显示缩略图的第一显示区域和显示放大图的第二显示区域，其特征在于，所述OCT影像分割装置包括：

拍摄模块51，用于获取至少一组OCT图像序列显示于所述第一显示区域上，其中，所述OCT图像序列包括至少两张缩略图，且每张缩略图中显示的图像不存在重叠；

去噪模块52，用于从所述OCT图像序列中选择一张缩略图，并通过预先训练得到的去噪模型，对其进行去噪处理，得到去噪图像，其中，所述去噪处理为剔除所述OCT图像序列中由干扰信号产生的图像；

放大模型53，用于对所述去噪图像进行放大处理，并将放大后的去噪图像显示于所述图像处理系统的第二显示区域上；

检测模块54，用于检测所述图像处理系统上的操作界面中的图像分割按钮所在的区域是否存在触控操作，以确定图像分割功能是否被触发；

分割模块55，用于检测到存在触控操作时，调取所述图像处理系统中预设的分割模型，并根据所述分割模型识别所述去噪图像中与所述分割模型对应的图形形状的图像区域，并将所述图像区域中的图像切割出来，得到图像集合，其中，所述分割模型为基于历史疾病诊断病历中的各病例的形态进行训练得到；

显示模块56，用于以列表状态显示所述图像集合。

基于与上述本发明实施例的OCT图像分割方法相同的实施例说明内容，因此本实施例对OCT图像分割装置的实施例内容不做过多赘述。

本发明还提供一种计算机可读存储介质。

本实施例中，所述计算机可读存储介质上存储有OCT图像分割程序，所述OCT图像分割程序被处理器执行时实现如上述任一项实施例中所述的OCT图像分割方法的步骤。其中，OCT图像分割程序被处理器执行时所实现的方法可参照本发明OCT图像分割方法的各个实施例，因此不再过多赘述。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM）中，包括若干指令用以使得一台终端（可以是手机，计算机，服务器或者网络设备等）执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本发明的保护之内。

Claims (8)

1.一种OCT图像分割方法，应用于图像处理系统，其特征在于，包括以下步骤：

获取至少一组OCT图像序列显示于所述图像处理系统的第一显示区域上，其中，所述OCT图像序列包括至少两张缩略图，且每张缩略图中显示的图像不存在重叠；

从所述OCT图像序列中选择一张缩略图，并通过预先训练得到的去噪模型，对其进行去噪处理，得到去噪图像，其中，所述去噪处理为剔除所述缩略图中由干扰信号产生的图像；

对所述去噪图像进行放大处理，并将放大后的去噪图像显示于所述图像处理系统的第二显示区域上；

检测所述图像处理系统上的操作界面中的图像分割按钮所在的区域是否存在触控操作，以确定图像分割功能是否被触发；

若存在，则调取所述图像处理系统中预设的分割模型，并根据所述分割模型识别所述去噪图像中与所述分割模型对应的图形形状的图像区域，并将所述图像区域中的图像切割出来，得到图像集合，其中，所述分割模型为基于历史疾病诊断病历中的各病例的形态进行训练得到；

以列表状态显示所述图像集合；

所述调取所述图像处理系统中预先训练得到的分割模型，并根据所述分割模型识别所述去噪图像中与所述分割模型对应的图形形状的图像区域，并将所述图像区域中的图像切割出来，得到图像集合包括：

确定所述图像分割功能被触发后产生的检测指令，并读取所述第二显示区域上的图像；

根据所述检测指令，从预设的数据库中调取与所述检测指令对应的疾病类型的模型库调度表；

根据所述分割模型，从所述模型库调度表中查询出与所述分割模型相匹配的模型动态链接库，其中，所述模型动态链接库为包含同一疾病类型的所有病例形态的图形识别模型；

将所述模型动态链接库中的图形识别模型与所述图像进行一一比对分析，筛选出所述图像中与所述图形识别模型相匹配的图像区域，并按照所述图形识别模型能识别的最小识别形状，对所述图像区域中的图像数据进行切割，得到多个目标图像，以形成所述图像集合；

在所述从所述OCT图像序列中选择一张缩略图，并通过预先训练得到的去噪模型，对其进行去噪处理，得到去噪图像的步骤之后，还包括：

检测所述去噪图像中是否存在封闭的框选区域，所述框选区域为所述图像处理系统在去噪处理过程中对所述图像中已进行图形形态异形的预检测的图像区域；

若存在，则计算所述框选区域中的图像的脉络膜血管占比，并将所述脉络膜血管占比标注于所述框选区域上，其中，所述脉络膜血管占比为框选区域中血管面积和所述框选区域的总面积之间的比例；

所述将所述模型动态链接库中的图形识别模型与所述图像进行一一比对分析，筛选出所述图像中与所述图形识别模型相匹配的图像区域，并按照所述图形识别模型能识别的最小识别形状，对所述图像区域中的图像数据进行切割，得到多个目标图像包括：

将所述图形识别模型对应的疾病形态与所述图像中的每个目标图像进行比对，得到比对的结果；

若所述比对的结果为匹配，则判断所述图像中的目标图像上的脉络膜血管占比是否满足阈值；

若满足，则将所述目标图像从所述图像中切割出来。

2.如权利要求1所述的OCT图像分割方法，其特征在于，所述以列表状态显示所述图像集合包括：

将所述图像集合中的每个目标图像依次显示于所述第二显示区域上；

调用所述图像处理系统中的显示编辑插件对所述目标图像进行标注编辑，其中，所述标注编辑至少包括标注所述目标图像对应的病灶名称、图像的显示尺寸和治疗推荐方案中的一种。

3.如权利要求1所述的OCT图像分割方法，其特征在于，所述将所述脉络膜血管占比标注于所述框选区域上包括：

将根据病灶的识别模型识别出来的脉络膜血管区域进行高亮标注显示；

计算所述高亮标注显示的区域在所述目标图像中的面积与所述目标图像的总面积的比值，并将所述比值高亮显示于所述目标图像的角落上。

4.如权利要求3所述的OCT图像分割方法，其特征在于，在所述调取所述图像处理系统中预先训练得到的分割模型，并根据所述分割模型识别所述去噪图像中与所述分割模型对应的图形形状的图像区域，并将所述图像区域中的图像切割出来，得到图像集合的步骤之后，还包括：

根据所述图像处理系统中的分割历史记录，计算所述图像集合中每个疾病的目标图像相对于历史记录中的分类概率值；

将所述分类概率值与预设的概率值进行比较；

若所述分类概率值不小于预设的概率值，则调用系统中的预设的分类检测模型对所述目标图像按照疾病类别进行分类处理；

若所述分类概率值大于预设的概率值，则需要执行采用图形识别模型对图形形态识别的迭代过程。

5.如权利要求4所述的OCT图像分割方法，其特征在于，在所述根据所述图像处理系统中的分割历史记录，计算所述图像集合中每个疾病的目标图像相对于历史记录中的分类概率值之后，还包括：

根据所述分类概率值将分类后的目标图像转换为热力图进行显示，其中，所述热力图为每个疾病类别的目标图像的脉络膜血管占比对各模型分析准确度的权重等级分布。

6.一种OCT图像分割装置，应用于图像处理系统，所述图像处理系统包括显示设备，且在所述显示设备上设有用于显示缩略图的第一显示区域和显示放大图的第二显示区域，其特征在于，所述OCT图像分割装置包括：

拍摄模块，用于获取至少一组OCT图像序列显示于所述第一显示区域上，其中，所述OCT图像序列包括至少两张缩略图，且每张缩略图中显示的图像不存在重叠；

去噪模块，用于从所述OCT图像序列中选择一张缩略图，并通过预先训练得到的去噪模型，对其进行去噪处理，得到去噪图像，其中，所述去噪处理为剔除所述OCT图像序列中由干扰信号产生的图像；

放大模型，用于对所述去噪图像进行放大处理，并将放大后的去噪图像显示于所述图像处理系统的第二显示区域上；

检测模块，用于检测所述图像处理系统上的操作界面中的图像分割按钮所在的区域是否存在触控操作，以确定图像分割功能是否被触发；

分割模块，用于检测到存在触控操作时，调取所述图像处理系统中预设的分割模型，并根据所述分割模型识别所述去噪图像中与所述分割模型对应的图形形状的图像区域，并将所述图像区域中的图像切割出来，得到图像集合，其中，所述分割模型为基于历史疾病诊断病历中的各病例的形态进行训练得到；

显示模块，用于以列表状态显示所述图像集合；

所述分割模块包括调度单元、匹配单元、对比单元和切割单元，其中：

所述调度单元，用于确定所述图像分割功能被触发后产生的检测指令，并读取所述第二显示区域上的图像；根据所述检测指令，从预设的数据库中调取与所述检测指令对应的疾病类型的模型库调度表；

所述匹配单元，用于根据所述分割模型，从所述模型库调度表中查询出与所述分割模型相匹配的模型动态链接库，其中，所述模型动态链接库为包含同一疾病类型的所有病例形态的图形识别模型；

所述对比单元，用于将所述模型动态链接库中的图形识别模型与所述图像进行一一比对分析，筛选出所述图像中与所述图形识别模型相匹配的图像区域；

所述切割单元，用于按照所述图形识别模型能识别的最小识别形状，对所述图像区域中的图像数据进行切割，得到多个目标图像，以形成所述图像集合；

所述OCT图像分割装置还包括预测模块和计算模块，其中，

所述预测模块，用于检测所述去噪图像中是否存在封闭的框选区域，所述框选区域为所述图像处理系统在去噪处理过程中对所述图像中已进行图形形态异形的预检测的图像区域；

所述计算模块，用于在检测存在框选区域时，计算所述框选区域中的图像的脉络膜血管占比，并将所述脉络膜血管占比标注于所述框选区域上，其中，所述脉络膜血管占比为框选区域中血管面积和所述框选区域的总面积之间的比例；

所述对比单元，用于将所述图形识别模型对应的疾病形态与所述图像中的每个目标图像进行比对，得到比对的结果；若所述比对的结果为匹配，则判断所述图像中的目标图像上的脉络膜血管占比是否满足阈值；

所述切割单元，在所述脉络膜血管占比否满足阈值时，将所述目标图像从所述图像中切割出来。

7.一种OCT图像分割设备，其特征在于，所述OCT图像分割设备包括：设有第一显示区域和第二显示区域的显示设备、存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的OCT图像分割程序，所述OCT图像分割程序被所述处理器执行时实现如权利要求1-5中任一项所述的OCT图像分割方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有OCT图像分割程序，所述OCT图像分割程序被处理器执行时实现如权利要求1-5中任一项所述的OCT图像分割方法的步骤。