CN106875445A - 基于oct影像的支架检测与评估的深度学习方法及系统 - Google Patents

Abstract

本发明提供了一种基于OCT影像的支架检测与评估的深度学习方法及系统，所述深度学习方法包括以下步骤：获取待检测的冠状动脉光学相干断层扫描图像；根据支架标记模型获取所述待检测的冠状动脉OCT图像中的支架的位置；根据内壁标记模型获取所述待检测的冠状动脉OCT图像中的冠状动脉的内壁的位置；计算所述支架的中心与所述冠状动脉的内壁的最短距离并根据所述最短距离是否不大于第一距离阈值获得所述支架的贴壁情况或根据所述最短距离是否不大于第二距离阈值获得所述支架的覆盖情况；对所述支架的贴壁情况或覆盖情况进行显示。本发明提出的基于OCT影像的支架检测与评估的深度学习方法及系统，识别率较高、性能稳定、检测准确率较高。

Description

基于OCT影像的支架检测与评估的深度学习方法及系统

技术领域

本发明涉及医疗器械技术领域，尤其涉及一种基于OCT影像的支架检测与评估的深度学习方法及系统。

背景技术

冠状动脉粥样硬化性心脏病，简称“冠心病(Coronary Artery Disease，CAD)”，是冠状动脉血管发生动脉粥样硬化病变而引起的血管狭窄或阻塞，造成心肌缺血、缺氧或坏死而导致的心脏病。目前，冠心病的主要治疗方法是经皮冠状动脉介入治疗，即向血管堵塞处植入支架。支架通常是用金属网状结构构成，支架经历了三代的变化，金属裸支架(BareMetal Stent，BMS)，管腔再狭窄和内膜增生的风险高；药物洗脱支架(Drug-ElutingStent,DES)，作为金属裸支架的一种替代，可以显著减轻血管再狭窄率，但会引起晚期支架血栓和晚期获得性贴壁不良；生物可吸收支架(Bioresorbable Vascular Scaffold，BVS)提供了临时的径向强度，避免了急性血管反冲和急性血管闭塞，在支架植入一段时间后，生物可吸收支架可被充分吸收从而使血管内血液流通顺畅。在冠心病介入治疗方面，生物可吸收支架将会得到越来越广泛的使用。

术中支架的贴壁情况以及术后支架的覆盖的程度与血栓等不良事件的发生有关，因此在支架植入过程中，临床医生需要判断支架是否贴壁良好，在术后随访时，也要判断支架的覆盖的程度。血管内光学相干断层扫描(Intravascular Optical CoherenceTomography，IVOCT)由于其分辨率达到了微米级，其轴向分辨率可达5-15um，纵向分辨率约为25um，探测深度约为2mm，是目前评估术中支架的贴壁情况以及术后支架的覆盖情况的最好的技术手段。

但是，在临床应用中，由于IVOCT影像分辨率高，对一段四厘米的支架扫描就会产生200多张图像，如果要定量地评估术中支架的贴壁情况以及术后支架的覆盖情况，一方面，需要医生花费大量的时间和精力来分析、判断IVOCT图像；另一方面，无法满足临床中实时分析的需求，且无法建立统一的临床标准。因此，有必要对支架的贴壁情况以及术后支架的覆盖情况实现自动检测，从而对基线支架的贴壁情况以及随访支架的覆盖情况进行定量分析和判断。

目前，已有的自动检测支架的方法都是基于图像灰度、梯度特征，这些基于图像灰度、梯度特征的方法存在设计复杂、性能不稳定、识别率低。

发明内容

为了解决上述问题，本发明提出一种基于OCT影像的支架检测与评估的深度学习方法及系统，能够自动检测支架和内壁的位置并获得支架的贴壁情况或支架的覆盖情况，检测准确率较高。

本发明提出的具体技术方案为：提供一种基于OCT影像的支架检测与评估的深度学习方法，所述深度学习方法包括以下步骤：获取待检测的冠状动脉光学相干断层扫描(Optical Coherence Tomography，OCT)图像；根据支架标记模型获取所述待检测的冠状动脉OCT图像中的支架的位置；根据内壁标记模型获取所述待检测的冠状动脉OCT图像中的冠状动脉的内壁的位置；计算所述支架的中心与所述冠状动脉的内壁的最短距离并根据所述最短距离是否不大于第一距离阈值获得所述支架的贴壁情况、或根据所述最短距离是否不大于第二距离阈值获得所述支架的覆盖情况；对所述支架的贴壁情况或覆盖情况进行显示。

进一步地，所述支架标记模型、内壁标记模型由以下步骤获得：获取样本冠状动脉OCT图像，所述样本冠状动脉OCT图像中包括支架标记样本和内壁标记样本；对所述样本冠状动脉OCT图像进行训练得到支架标记模型和内壁标记模型。

进一步地，对所述样本冠状动脉OCT图像进行训练得到支架标记模型和内壁标记模型步骤包括：对所述样本冠状动脉OCT图像依次交替进行n次卷积和n次池化，得到n个池化层A₁,A₂,......A_i,......A_n，i＝1～n；依次对n个池化层A_n,A_n-1,......A_i,......A₁进行像素到像素的全卷积网络训练，得到n个上采样预测B_n,B_n-1,......B_i,......B₁；依次对所述n个上采样预测B_n,B_n-1,......B_i,......B₁进行类平衡校正，得到n个校正图；依次对所述n个校正图进行权重校正，得到n个校正权重；根据所述n个校正权重对所述n个校正图进行融合细化，获得支架标记模型和内壁标记模型。

进一步地，当i＝1时，上采样预测B_n是由池化层A_n以步幅为2ⁿ进行上采样得到；当i＝2～n时，上采样预测B_n-i+1是由求和预测C_n-i+2以步幅为2^n-i+1进行上采样得到，C_n-i+2由下式得到：

C_n-i+2＝D_n-i+1+E_n-i+1

其中，当i＝2时，D_n-1是由池化层A_n以步幅为2进行上采样得到；当i＝3～n时，D_n-i+1是由求和预测C_n-i+3以步幅为2进行上采样得到，E_n-i+1是由池化层A_n-i+1添加一个1×1卷积层得到。

进一步地，获得支架标记模型和内壁标记模型后，所述深度学习方法还包括：根据所述支架标记模型、内壁标记模型获取所述样本冠状动脉OCT图像中的支架区域、内壁区域；判断所述支架区域、内壁区域是否与支架标记样本中的支架区域、内壁标记样本中的内壁区域一致，若所述支架区域、内壁区域与所述支架标记样本中的支架区域、内壁标记样本中的内壁区域一致，则存储所述支架标记模型和所述内壁标记模型。

进一步地，对所述校正图进行权重校正得到权重校正图步骤包括：计算所述校正图的权重与权重阈值的差；获取所述校正图的反向传播调权矩阵；根据所述校正图的权重与权重阈值的差对所述反向传播调权矩阵进行更新并根据更新后的反向传播调权矩阵对所述校正图进行权重校正得到校正权重。

进一步地，所述支架的中心的计算公式为：

其中，n_i为第i个支架内的像素点总数，x_ij、y_ij分别为第i个支架内的第j个像素点的横坐标、纵坐标。

本发明还提供了一种基于OCT影像的支架检测与评估的深度学习系统，所述深度学习系统包括依次连接的探测单元、光信号处理单元、数据处理单元及显示单元，所述数据处理单元包括：图像获取模块，用于获取待检测的冠状动脉OCT图像；支架检测模块，用于根据支架标记模型获取所述待检测的冠状动脉OCT图像中的支架的位置；内壁检测模块，用于根据内壁标记模型获取所述待检测的冠状动脉OCT图像中的冠状动脉的内壁的位置；计算模块，用于计算所述支架的中心与所述冠状动脉的内壁的最短距离并根据所述最短距离是否不大于第一距离阈值获得所述支架的贴壁情况、或根据所述最短距离是否不大于第二距离阈值获得所述支架的覆盖情况；图像输出模块，用于将所述支架的贴壁情况或覆盖情况发送给所述显示单元进行显示。

进一步地，所述数据处理单元还包括：样本输入模块，用于获取样本冠状动脉OCT图像，所述样本冠状动脉OCT图像中包括支架标记样本和内壁标记样本；训练模块，用于对所述样本冠状动脉OCT图像进行训练得到支架标记模型和内壁标记模型。

进一步地，所述训练模块包括：卷积/池化模块，用于对所述样本冠状动脉OCT图像进行卷积和池化得到特征图；反卷积层模块，用于对所述特征图进行上采样得到上采样图；校正模块，用于对所述上采样图进行类平衡校正得到校正图；权重校正模块，用于对所述校正图进行权重校正得到权重校正图；细化模块，用于对所述权重校正图进行细化处理获得支架标记模型和内壁标记模型。

本发明提出的基于OCT影像的支架检测与评估的深度学习方法及系统，通过对样本冠状动脉OCT图像进行训练获得支架标记模型和内壁标记模型，根据支架标记模型和内壁标记模型获取支架和内壁的位置，进而获得支架的贴壁情况和支架的覆盖情况，从而能够自动地、准确地为经皮冠状动脉介入治疗术中及术后提供直观的、量化的支架贴壁情况和覆盖情况分析。本发明提出的深度学习方法及系统识别率较高、性能稳定、检测准确率较高。

附图说明

通过结合附图进行的以下描述，本发明的实施例的上述和其它方面、特点和优点将变得更加清楚，附图中：

图1为基于OCT影像的支架检测与评估的深度学习系统的示意图；

图2为图1中探测单元的示意图；

图3为图1中数据处理单元的示意图；

图4为图3中支架训练模块的示意图；

图5为图4中第一训练模块的示意图；

图6为图5中第一权重模块的示意图；

图7为图3中内壁训练模块的示意图；

图8为图7中第二训练模块的示意图；

图9为图8中第二权重模块的示意图；

图10为基于OCT影像的支架检测与评估的深度学习方法的流程图；

图11为获取支架标记模型和内壁标记模型的流程图；

图12为对样本冠状动脉OCT图像进行训练得到支架标记模型的流程图；

图13为对训练集进行全卷积网络端到端训练的流程图；

图14A为利用经皮冠状动脉介入治疗术中支架的训练数据集合进行全卷积网络训练的示意图；

图14B为利用经皮冠状动脉介入治疗术后支架的训练数据集合进行全卷积网络训练的示意图；

图15A为利用经皮冠状动脉介入治疗术中内壁的训练数据集合进行全卷积网络训练的示意图；

图15B为利用经皮冠状动脉介入治疗术后内壁的训练数据集合进行全卷积网络训练的示意图；

图16为不同贴壁情况的支架及其中心到内壁的最短欧式距离的示意图；

图17为不同覆盖情况的支架及其中心到内壁的最短欧式距离的示意图；

图18为经皮冠状动脉介入治疗术中冠状动脉内的支架的位置、内壁的位置以及支架的贴壁情况；

图19为经皮冠状动脉介入治疗术后冠状动脉内的支架的位置、内壁的位置以及支架的覆盖情况。

具体实施方式

以下，将参照附图来详细描述本发明的实施例。然而，可以以许多不同的形式来实施本发明，并且本发明不应该被解释为限制于这里阐述的具体实施例。相反，提供这些实施例是为了解释本发明的原理及其实际应用，从而使本领域的其他技术人员能够理解本发明的各种实施例和适合于特定预期应用的各种修改。

参照图1，本实施例提供的基于OCT影像的支架检测与评估的深度学习系统包括依次连接的探测单元1、光信号处理单元2、数据处理单元3及显示单元5。本实施例中的支架指的是生物可吸收支架。

探测单元1用于采集待检测的冠状动脉内的光信号，光信号处理单元2用于对光信号进行处理并以待检测的冠状动脉OCT图像的形式呈现，数据处理单元3用于对待检测的冠状动脉OCT图像进行处理，以实现支架和冠状动脉的内壁的自动检测并根据支架和内壁的相对位置评估支架的贴壁情况及覆盖情况，显示单元5用于对支架的贴壁情况或覆盖情况进行显示。其中，为了便于对支架的贴壁情况及覆盖情况进行存储，本实施例提供的基于OCT影像的支架检测与评估的深度学习系统还包括数据存储单元4，其用于对数据处理单元3的检测结果进行存储并将检测结果发送给显示单元5进行显示。

参照图2，探测单元1包括探针11、导管12及导丝13。导丝13用于将探针11引入冠状动脉。探针11包括光纤110和探头111，导管12用于包裹光纤110和探头111以保护探头111，光纤110用于带动探头111在导管12内进行回拉运动，支架位于冠状动脉内，通过探头111采集冠状动脉的光信号并通过光纤110将采集的光信号发送给光信号处理单元2，经光信号处理单元2处理后便可以获得待检测的冠状动脉OCT图像。

参照图3，数据处理单元3包括检测单元30及训练单元。训练单元用于对样本冠状动脉OCT图像进行训练得到支架标记模型和内壁标记模型，检测单元30用于对待检测的冠状动脉OCT图像进行处理并根据支架标记模型和内壁标记模型检测支架和内壁。

具体的，检测单元30包括依次连接的图像获取模块31、支架检测模块32、内壁检测模块33、计算模块34及图像输出模块35。

图像获取模块31用于接收光信号处理单元2发送的待检测的冠状动脉OCT图像。支架检测模块32用于根据支架标记模型获取待检测的冠状动脉OCT图像中的支架所在的区域及支架的中心，其中支架检测模块3还用于对检测到的支架所在的区域及支架的中心进行标记。内壁检测模块33用于根据内壁标记模型获取待检测的冠状动脉OCT图像中的冠状动脉的内壁的位置，其中内壁检测模块33还用于对检测到的内壁进行标记。

计算模块34用于计算支架的中心与冠状动脉的内壁的最短距离并根据所述最短距离是否不大于第一距离阈值获得支架的贴壁情况、或根据所述最短距离是否不大于第二距离阈值获得支架的覆盖情况。除此之外，计算模块34还用于计算支架的覆盖情况，其中，支架的覆盖情况通过支架的覆盖率来表示即被覆盖的支架占总支架的百分比。支架的贴壁情况能够为经皮冠状动脉介入治疗术中提供指导，从而提高冠状动脉介入治疗手术的成功率；支架的覆盖情况能够为经皮冠状动脉介入治疗术后随访提供指导，从而有效降低术后形成支架血栓的可能性。

图像输出模块35用于将支架的贴壁情况或覆盖情况发送给显示单元5进行显示。

训练单元可以同时对样本冠状动脉OCT图像进行训练得到支架标记模型和内壁标记模型，也可以分别对样本冠状动脉OCT图像进行训练得到支架标记模型和内壁标记模型。本实施例中训练单元分别对样本冠状动脉OCT图像进行训练得到支架标记模型和内壁标记模型。训练单元包括支架训练模块40和内壁训练模块50。

参照图4，支架训练模块40利用样本冠状动脉OCT图像和支架标记样本，采用深度学习进行端到端、像素到像素全卷积网络的方法训练出可以标记冠状动脉OCT图像中支架位置的支架标记模型。支架训练模块40包括第一样本输入模块41及第一训练模块42。其中，支架标记样本指的是样本冠状动脉OCT图像中专家手动标记出支架位置的图像。

第一样本输入模块41用于获取冠状动脉段内所得到的一定数量的样本冠状动脉OCT图像，这里，样本冠状动脉OCT图像为包含有支架的冠状动脉OCT图像，例如，样本冠状动脉OCT图像的数量为10000张，其中，获取的样本冠状动脉OCT图像为基于笛卡尔坐标空间的图像，样本冠状动脉OCT图像的大小为1024*1024像素*像素，样本冠状动脉OCT图像为8位灰度图，即图像中的像素点的灰度值范围为0～255。第一训练模块42用于对样本冠状动脉OCT图像进行训练得到支架标记模型。

参照图5，具体的，第一训练模块42包括第一卷积/池化模块421、第一反卷积层模块422、第一校正模块423、第一权重校正模块424及第一细化模块425。

第一卷积/池化模块421用于对样本冠状动脉OCT图像依次交替进行n次卷积和n次池化，得到n个池化层A₁,A₂,......A_i,......A_n，i＝1～n。第一反卷积层模块422用于依次对n个池化层A_n,A_n-1,......A_i,......A₁进行像素到像素的全卷积网络训练，得到n个上采样预测B_n,B_n-1,......B_i,......B₁。第一校正模块423用于对n个上采样预测B_n,B_n-1,......B_i,......B₁进行类平衡校正，得到n个校正图。第一权重校正模块424用于对n个校正图进行权重校正，得到n个校正权重。第一细化模块425用于根据n个校正权重对所述n个校正图进行融合细化，获得支架标记模型并将支架标记模型发送给支架检测模块32，支架检测模块32将支架标记模型应用到待检测的冠状动脉OCT图像上，能够得到待检测的冠状动脉OCT图像中每一点的预测类别，从而得到支架精准的定位和标记。

参照图6，第一权重校正模块424包括第一损失计算模块100、第一反向传播模块101及第一权重更新模块102。

第一损失计算模块100用于计算校正图的权重与权重阈值的差。第一反向传播模块101用于获取校正图的反向传播调权矩阵。第一权重更新模块102用于根据校正图的权重与权重阈值的差对反向传播调权矩阵进行更新并根据更新后的反向传播调权矩阵对校正图进行权重校正得到权重校正图。

参照图7，内壁训练模块50利用样本冠状动脉OCT图像和内壁标记样本，采用深度学习进行端到端、像素到像素全卷积网络的方法训练出可以标记冠状动脉OCT图像中内壁位置的内壁标记模型。内壁训练模块50包括第二样本输入模块51及第二训练模块52。其中，内壁标记样本指的是样本冠状动脉OCT图像中专家手动标记出内壁位置的图像。

第二样本输入模块51用于获取冠状动脉段内所得到的一定数量的样本冠状动脉OCT图像，例如，样本冠状动脉OCT图像的数量为10000张，其中，获取的样本冠状动脉OCT图像为基于笛卡尔坐标空间的图像，样本冠状动脉OCT图像的大小为1024*1024像素*像素，样本冠状动脉OCT图像为8位灰度图，即图像中的像素点的灰度值范围为0～255。第二训练模块52用于对样本冠状动脉OCT图像进行训练得到内壁标记模型。

参照图8，具体的，第二训练模块52包括第二卷积/池化模块521、第二反卷积层模块522、第二校正模块523、第二权重校正模块524及第二细化模块525。

第二卷积/池化模块521用于对样本冠状动脉OCT图像进行卷积和池化得到特征图。第二反卷积层模块522用于对特征图进行上采样得到上采样图。第二校正模块523用于对上采样图进行类平衡校正得到校正图。第二权重校正模块524用于对校正图进行权重校正得到权重校正图。第二细化模块525用于对权重校正图进行细化处理获得内壁标记模型并将内壁标记模型发送给内壁检测模块33，内壁检测模块33将内壁标记模型应用到待检测的冠状动脉OCT图像上，能够得到待检测的冠状动脉OCT图像中每一点的预测类别，从而得到内壁精准的定位和标记。

参照图9，第二权重校正模块524包括第二损失计算模块200、第二反向传播模块201及第二权重更新模块202。

第二损失计算模块200用于计算校正图的权重与权重阈值的差。第二反向传播模块201用于获取校正图的反向传播调权矩阵。第二权重更新模块202用于根据校正图的权重与权重阈值的差对反向传播调权矩阵进行更新并根据更新后的反向传播调权矩阵对校正图进行权重校正得到权重校正图。

参照图10，本实施例还提供了一种基于OCT影像的支架检测与评估的深度学习方法，所述深度学习方法包括以下步骤：

步骤S1、获取待检测的冠状动脉OCT图像；其中，通过图像获取模块31获取待检测的冠状动脉OCT图像。

步骤S2、根据支架标记模型获取待检测的冠状动脉OCT图像中的支架的位置，其中，通过支架检测模块32获取待检测的冠状动脉OCT图像中的支架的位置。

步骤S3、根据内壁标记模型获取待检测的冠状动脉OCT图像中的冠状动脉的内壁的位置，通过内壁检测模块33获取待检测的冠状动脉OCT图像中的冠状动脉的内壁的位置。

参照图11，具体的，支架标记模型、内壁标记模型由以下步骤获得：

步骤S21、获取样本冠状动脉OCT图像，通过第一样本输入模块41、第二样本输入模块51获取样本冠状动脉OCT图像。其中，第一样本输入模块41还用于获取支架标记样本；第二样本输入模块51还用于获取内壁标记样本。

步骤S22、对样本冠状动脉OCT图像进行训练得到支架标记模型和内壁标记模型，通过第一训练模块42对样本冠状动脉OCT图像进行训练得到支架标记模型，通过第二训练模块52对样本冠状动脉OCT图像进行训练得到内壁标记模型。

本实施例中，对样本冠状动脉OCT图像进行训练得到支架标记模型和对样本冠状动脉OCT图像进行训练得到内壁标记模型的过程一样，下面以对样本冠状动脉OCT图像进行训练得到支架标记模型为例来具体描述整个训练过程，为了描述方便，以下描述中训练集指的是样本冠状动脉OCT图像。

参照图12，步骤S22中对训练集进行训练得到支架标记模型包括以下步骤：

S221、对训练集依次交替进行n次卷积和n次池化，得到n个池化层A₁,A₂,......A_i,......A_n，i＝1～n，通过第一卷积/池化模块421对训练集依次交替进行n次卷积和n次池化，这里，依次交替进行n次卷积和n次池化是指先进行第1次卷积，在第1次卷积的基础上进行第1次池化，然后在第1次池化的基础上进行第2次卷积，再在第2次卷积的基础上进行第2次池化，以此类推。其中，n为3～16，优选的，n＝5。

S222、依次对n个池化层A_n,A_n-1,......A_i,......A₁进行像素到像素的全卷积网络训练，得到n个上采样预测B_n,B_n-1,......B_i,......B₁，通过第一反卷积层模块422依次对n个池化层A_n,A_n-1,......A_i,......A₁进行像素到像素的全卷积网络训练，第一反卷积层模块422主要用于将上采样图进行放大，使得放大后的上采样图的大小与训练集的大小相同。

当i＝1时，上采样预测B_n是由池化层A_n以步幅为2ⁿ进行上采样得到；当i＝2～n时，上采样预测B_n-i+1是由求和预测C_n-i+2以步幅为2^n-i+1进行上采样得到，C_n-i+2由下式得到：

C_n-i+2＝D_n-i+1+E_n-i+1

其中，当i＝2时，D_n-1是由池化层A_n以步幅为2进行上采样得到；当i＝3～n时，D_n-i+1是由求和预测C_n-i+3以步幅为2进行上采样得到，E_n-i+1是由池化层A_n-i+1添加一个1×1卷积层得到。

S223、依次对n个上采样预测B_n,B_n-1,......B_i,......B₁进行类平衡校正，得到n个校正图W_n,W_n-1,......W_i,......W₁，通过第一校正模块423依次对n个上采样预测B_n,B_n-1,......B_i,......B₁进行类平衡校正，类平衡校正主要用于减轻上采样图中密集块之间的空间联系。

S224、依次对n个校正图W_n,W_n-1,......W_i,......W₁进行权重校正，得到n个校正权重λ_n,λ_n-1,......λ_i,......λ₁，通过第一权重校正模块424依次对n个校正图W_n,W_n-1,......W_i,......W₁进行权重校正，其中，

具体的，依次对n个校正图W_n,W_n-1,......W_i,......W₁进行权重校正，得到n个校正权重λ_n,λ_n-1,......λ_i,......λ₁包括以下步骤：

计算校正图W_i的权重与权重阈值的差，通过第一损失计算模块100计算校正图W_i的权重与权重阈值的差；

获取校正图W_i的反向传播调权矩阵，通过第一反向传播模块101获取校正图W_i的反向传播调权矩阵，其中，采用极小化误差的方法获得校正图W_i的反向传播调权矩阵，通过学习权重的大小可以得到更适合的放大参数；

根据校正图W_i的权重与权重阈值的差对反向传播调权矩阵进行更新并根据更新后的反向传播调权矩阵对校正图W_i进行权重校正得到校正权重λ_i，通过第一权重更新模块102对反向传播调权矩阵进行更新。

S225、根据n个校正权重λ_n,λ_n-1,......λ_i,......λ₁对n个校正图W_n,W_n-1,......W_i,......W₁进行融合细化，获得支架标记模型H，通过第一细化模块425对n个校正图W_n,W_n-1,......W_i,......W₁进行融合细化，其中，融合细化主要是实现深且粗燥层的语义信息和浅且精细层的表层信息的融合，通过下面的式子对n个校正图W_n,W_n-1,......W_i,......W₁进行融合细化获得支架标记模型H：

在获得支架标记模型后，所述深度学习方法还包括：根据支架标记模型获取训练集中的支架区域；判断支架区域是否与支架标记样本中的支架区域一致，若支架区域与支架标记样本中的支架区域一致，则将支架标记模型存储至第一训练模块42，以便于后续支架检测模块3进行调用。若支架区域与支架标记样本中的支架区域不一致，则再次执行步骤S224～S225，进行第一权重校正模块424的校正，利用深度学习端到端、像素到像素的全卷积网络重新训练支架标记模型，直到支架区域与支架标记样本中的支架区域一致，存储支架标记模型。

下面通过一个具体示例来描述对训练集进行训练得到支架标记模型的具体过程。参照图13，图13示出了对训练集进行全卷积网络端到端训练的流程图。输入样本冠状动脉OCT图像，这里，n＝5，对样本冠状动脉OCT图像依次交替进行5次卷积和5次池化后得到5个卷积层和5个池化层，5个卷积层分别为卷积1、卷积2、卷积3、卷积4、卷积5，5个池化层分别为池化1、池化2、池化3、池化4及池化5，其中，卷积层的输入是样本冠状动脉OCT图像或者图像特征，通过一线性变换输出新的图像特征，池化层主要将多个数值映射到一个数值，池化层连接在卷积层后面，用于加强学习到的图像特征的非线性、增强学习的特征的平移不变性。线性变换单元采用纠正线性单元ReLU(Rectified Linear Units)，在卷积层后面增加上述纠正线性单元ReLU，主要用于将卷积层的映射结果尽量稀疏一些，更接近人的视觉反应，从而使图像处理效果更好。对池化5进行步幅为2⁵上采样，产生FCN-32s(Fullconvolutional network-32stride)图像。在上述过程基础上，将粗糙的高层信息和精细的低层信息相结合，形成无回路有向网络，产生FCN-16s((Full convolutional network-16stride)图像和FCN-8s(Full convolutional network-8stride)图像。具体过程如下：在池化4即A₄上添加一个1x1的卷积层，产生池化4预测即E₄，在池化5即A₅上，以步幅为2⁵进行上采样预测(2x上采样初始化为非线性差值，但可以在过程中学习，进而改变调整)得到FCN-32s图像即B₅；将池化5经步幅为2上采样预测得到第一上采样预测即D₄，将第一上采样预测D₄与池化4预测E₄相加得到求和预测C₅，对求和预测C₅以步幅为2⁴进行上采样得到FCN-16s图像即B₄；在此基础上，在池化3即A₃上添加一个1x1卷积层，产生池化3预测即E₃，将求和预测C₄经步幅为2上采样预测得到第二上采样预测即D₃，将第二上采样预测D₃与池化3预测E₃相加得到求和预测C₄，对求和预测C₄以步幅为2³进行上采样得到FCN-8s图像即B₃，此时，图像处理达到较好的水平，不再继续，再执行步骤S223-S225，得到支架标记模型

参照图14，图14A示出了利用经皮冠状动脉介入治疗术中支架的训练数据集合进行全卷积网络训练的过程示意图，图14B示出了利用经皮冠状动脉介入治疗术后支架的训练数据集合进行全卷积网络训练的过程示意图。

参照图15，图15A示出了利用经皮冠状动脉介入治疗术中内壁的训练数据集合进行全卷积网络训练的过程示意图，图15B示出了利用经皮冠状动脉介入治疗术后内壁的训练数据集合进行全卷积网络训练的过程示意图。

步骤S4、计算支架的中心与冠状动脉的内壁的最短距离并根据最短距离是否不大于第一距离阈值获得支架的贴壁情况、或根据最短距离是否不大于第二距离阈值获得支架的覆盖情况，通过计算模块34计算支架的中心与冠状动脉的内壁的最短距离，本实施例中距离指的是欧式距离。

具体的，第i个支架的中心的坐标(x_c(i)、y_c(i))的计算公式为：

其中，n_i为第i个支架内的像素点总数，x_ij、y_ij分别为第i个支架内的第j个像素点的横坐标、纵坐标。

计算第i个支架的中心与冠状动脉的内壁的最短距离根据下式计算：

其中，d(i)表示第i个支架的中心到内壁的最短欧式距离，m表示内壁上的像素点的总数，x_c(i)、y_c(i)为第i个支架的中心的坐标，x_l(j)、y_l(j)为内壁上的第j个像素点的坐标。

参照图16，图16示出了不同贴壁情况的支架及其中心到内壁的最短欧式距离的示意图。图中标出了支架轮廓、支架中心和内壁轮廓，并对示意最短距离d的局部区域C和局部区域D进行了放大。

参照图17，图17示出了不同覆盖情况的支架及其中心到内壁的最短欧式距离的示意图。图中标出了支架轮廓、支架中心和内壁轮廓，并对示意最短距离d的局部区域进行了放大。

计算出支架的中心到内壁的最短欧式距离后，可根据确定好的第一距离阈值来判断支架的贴壁情况，其中，距离阈值根据支架的厚度和试验结果确定。具体来说，如果支架的中心到内壁的最短欧式距离小于等于第一距离阈值，则该支架的贴壁情况为贴壁良好；如果支架的中心到内壁的最短欧式距离大于第一距离阈值，则该支架的贴壁情况为贴壁不良。

计算出支架的中心到内壁的最短欧式距离后，可根据确定好的第二距离阈值来判断支架的覆盖情况。其中，第二距离阈值可根据经验和实际情况进行设置。具体来说，如果支架的中心到内壁的最短欧式距离小于第二距离阈值，则该支架被内壁覆盖不完全；如果支架的中心到内壁的最短欧式距离大于或等于第二距离阈值，则该支架被内壁完全覆盖。

步骤S5、对支架的贴壁情况或覆盖情况进行显示，通过显示单元5对支架的贴壁情况或覆盖情况进行显示。

参照图18，其示出了经皮冠状动脉介入治疗术中冠状动脉内的支架的位置、内壁的位置以及支架的贴壁情况。其中，实心白色区域表示贴壁良好的支架，拟合的样条曲线表示贴壁不良的支架。

参照图19，其示出了经皮冠状动脉介入治疗术后冠状动脉内的支架的位置、内壁的位置以及支架的覆盖情况。其中，实心白色区域表示没有被内壁完全覆盖的支架，拟合的样条曲线表示被内壁完全覆盖的支架。

在实际临床应用中，关于本实施例的基于OCT影像的支架检测与评估的深度学习方法的具体实施过程如下：

(1)经皮冠状动脉介入治疗术中支架的贴壁情况的分析即基线分析包括以下步骤：

步骤S10，临床医生基于冠状动脉的X光造影图像，通过经皮冠状动脉介入将生物可吸收支架植入到病灶位置，即冠状动脉堵塞最狭窄处；

步骤S20，通过对球囊加压，将支架撑开，但在X光造影图像中不能观察到支架撑开后的贴壁情况；

步骤S30，通过血管内光学相干断层扫描技术对植入支架的冠状动脉段进行扫描成像；

步骤S40，临床医生在图形用户界面上选择基线分析，便可利用本实施例提出的深度学习方法确定支架与冠状动脉的内壁之间的贴壁情况，并获取反映支架的贴壁情况的图像；

步骤S50，临床医生根据反映冠状动脉内支架的贴壁情况的图像进行判断，如果支架完全贴壁，则手术结束；如果支架未完全贴壁，则返回步骤S20，通过球囊重新对支架与冠状动脉的内壁贴合不良的位置进行扩张，重复执行步骤S20-S40，直到支架完全贴壁，手术结束。

(2)经皮冠状动脉介入治疗术后支架的覆盖情况的分析即随访分析包括以下步骤：

步骤S10，通过血管内光学相干断层扫描技术对植入支架的冠状动脉段进行扫描成像；

步骤S20，临床医生在图形用户界面上选择随访分析，便可利用本实施例提出的深度学习方法确定支架与内壁的相对位置，判断支架是否被内壁完全覆盖，并获取反映支架的覆盖情况的图像；

步骤S30，临床医生根据反映冠状动脉内支架覆盖情况的图像进行判断，确定下一步的治疗措施。

本实施例提出的基于OCT影像的支架检测与评估的深度学习方法及系统，通过对样本冠状动脉OCT图像进行训练获得支架标记模型和内壁标记模型，根据支架标记模型和内壁标记模型获取支架和内壁的位置，进而获得支架的贴壁情况和支架的覆盖情况，从而能够自动地、准确地为经皮冠状动脉介入治疗术中及术后提供直观的、量化的支架贴壁情况和覆盖情况分析。本实施例提出的深度学习方法及系统识别率较高、性能稳定、检测准确率较高。

以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种基于OCT影像的支架检测与评估的深度学习方法，其特征在于，所述深度学习方法包括以下步骤：

获取待检测的冠状动脉OCT图像；

根据支架标记模型获取所述待检测的冠状动脉OCT图像中的支架的位置；

根据内壁标记模型获取所述待检测的冠状动脉OCT图像中的冠状动脉的内壁的位置；

计算所述支架的中心与所述冠状动脉的内壁的最短距离并根据所述最短距离是否不大于第一距离阈值获得所述支架的贴壁情况、或根据所述最短距离是否不大于第二距离阈值获得所述支架的覆盖情况；

对所述支架的贴壁情况或覆盖情况进行显示。

2.根据权利要求1所述的深度学习方法，其特征在于，所述支架标记模型、内壁标记模型由以下步骤获得：

获取样本冠状动脉OCT图像；

对所述样本冠状动脉OCT图像进行训练得到支架标记模型和内壁标记模型。

3.根据权利要求2所述的深度学习方法，其特征在于，对所述样本冠状动脉OCT图像进行训练得到支架标记模型和内壁标记模型步骤包括：

对所述样本冠状动脉OCT图像依次交替进行n次卷积和n次池化，得到n个池化层A₁,A₂,......A_i,......A_n，i＝1～n；

依次对n个池化层A_n,A_n-1,......A_i,......A₁进行像素到像素的全卷积网络训练，得到n个上采样预测B_n,B_n-1,......B_i,......B₁；

依次对所述n个上采样预测B_n,B_n-1,......B_i,......B₁进行类平衡校正，得到n个校正图；

依次对所述n个校正图进行权重校正，得到n个校正权重；

根据所述n个校正权重对所述n个校正图进行融合细化，获得支架标记模型和内壁标记模型。

4.根据权利要求3所述的深度学习方法，其特征在于，

当i＝1时，上采样预测B_n是由池化层A_n以步幅为2ⁿ进行上采样得到；

当i＝2～n时，上采样预测B_n-i+1是由求和预测C_n-i+2以步幅为2^n-i+1进行上采样得到，C_n-i+2由下式得到：

C_n-i+2＝D_n-i+1+E_n-i+1

其中，当i＝2时，D_n-1是由池化层A_n以步幅为2进行上采样得到；当i＝3～n时，D_n-i+1是由求和预测C_n-i+3以步幅为2进行上采样得到，E_n-i+1是由池化层A_n-i+1添加一个1×1卷积层得到。

5.根据权利要求3所述的深度学习方法，其特征在于，获得支架标记模型和内壁标记模型后，所述深度学习方法还包括：

根据所述支架标记模型、内壁标记模型获取所述样本冠状动脉OCT图像中的支架区域、内壁区域；

判断所述支架区域、内壁区域是否与支架标记样本中的支架区域、内壁标记样本中的内壁区域一致，若所述支架区域、内壁区域与所述支架标记样本中的支架区域、内壁标记样本中的内壁区域一致，则存储所述支架标记模型和所述内壁标记模型。

6.根据权利要求3所述的深度学习方法，其特征在于，对所述校正图进行权重校正得到权重校正图步骤包括：

计算所述校正图的权重与权重阈值的差；

获取所述校正图的反向传播调权矩阵；

根据所述校正图的权重与权重阈值的差对所述反向传播调权矩阵进行更新并根据更新后的反向传播调权矩阵对所述校正图进行权重校正得到校正权重。

7.根据权利要求1所述的深度学习方法，其特征在于，所述支架的中心的计算公式为：

$x_c\left(i\right)=\frac{1}{n_i}\underset{j=1}{\overset{n_i}{\Σ}}{x}_{ij}$

$y_c\left(i\right)=\frac{1}{n_i}\underset{j=1}{\overset{n_i}{\Σ}}{y}_{ij}$

其中，n_i为第i个支架内的像素点总数，x_ij、y_ij分别为第i个支架内的第j个像素点的横坐标、纵坐标。

8.一种基于OCT影像的支架检测与评估的深度学习系统，所述深度学习系统包括依次连接的探测单元、光信号处理单元、数据处理单元及显示单元，其特征在于，所述数据处理单元包括：

图像获取模块，用于获取待检测的冠状动脉OCT图像；

支架检测模块，用于根据支架标记模型获取所述待检测的冠状动脉OCT图像中的支架的位置；

内壁检测模块，用于根据内壁标记模型获取所述待检测的冠状动脉OCT图像中的冠状动脉的内壁的位置；

计算模块，用于计算所述支架的中心与所述冠状动脉的内壁的最短距离并根据所述最短距离是否不大于第一距离阈值获得所述支架的贴壁情况、或根据所述最短距离是否不大于第二距离阈值获得所述支架的覆盖情况；

图像输出模块，用于将所述支架的贴壁情况或覆盖情况发送给所述显示单元进行显示。

9.根据权利要求8所述的深度学习系统，其特征在于，所述数据处理单元还包括：

样本输入模块，用于获取样本冠状动脉OCT图像，所述样本冠状动脉OCT图像中包括支架标记样本和内壁标记样本；

训练模块，用于对所述样本冠状动脉OCT图像进行训练得到支架标记模型和内壁标记模型。

10.根据权利要求9所述的深度学习系统，其特征在于，所述训练模块包括：

卷积/池化模块，用于对所述样本冠状动脉OCT图像进行卷积和池化得到特征图；

反卷积层模块，用于对所述特征图进行上采样得到上采样图；

校正模块，用于对所述上采样图进行类平衡校正得到校正图；

权重校正模块，用于对所述校正图进行权重校正得到权重校正图；

细化模块，用于对所述权重校正图进行细化处理获得支架标记模型和内壁标记模型。