CN117916766A - 医学图像中的纤维化帽检测 - Google Patents

Abstract

本公开的各方面提供了通过识别血管的医学图像中的纤维化帽来检测脂质的方法、系统和装置，包括计算机可读存储介质。一种方法包括接收血管的一个或多个输入图像，并使用机器学习模型来处理一个或多个输入图像，所述机器学习模型被训练成识别血管中的纤维化帽的位置。机器学习模型是使用多个训练图像进行训练的，每个训练图像注释有一个或多个纤维化帽的位置。一种方法包括基于在输入图像的不同位置测量出的径向信号强度的差异来识别脂质池的纤维化帽和刻画脂质池的纤维化帽的特征。系统可生成一个或多个输出图像，该一个或多个图像具有表示覆盖脂质斑块的纤维化帽的预测位置的可视化地注释的片段。

Description

医学图像中的纤维化帽检测

相关申请的交叉引用

本申请要求获得2021年7月1日提交的名称为“医学图像中的纤维化帽检测”(FIBROTIC CAP DETECTION IN MEDICAL IMAGES)的第63/217,527号美国临时专利申请的权益，该临时申请的全部公开内容在此通过引用的方式并入本文。

背景技术

光学相干断层扫描(OCT)是一种广泛应用于眼科学、心脏病学、胃肠病学以及其他医学和科学研究领域的成像技术。OCT可与各种其他成像技术结合使用，例如血管内超声(IVUS)、近红外光谱(NIRS)、血管造影、荧光镜检查和基于X射线的成像。

为了执行成像，成像探头可以安装在导管上并被操纵通过感兴趣的点或区域，例如通过患者的血管。成像探头可以返回感兴趣的点的多个图像帧，其可以被进一步处理或分析，例如用于诊断患者的健康状况，或作为科学研究的一部分。正常动脉具有层状结构，其包括内膜、中膜和外膜。由于某些医疗状况，例如动脉粥样硬化闭塞症，内膜或动脉的其他部分可能含有斑块，斑块可由不同类型的纤维、蛋白聚糖、脂质或钙形成。

神经网络是包括一层或多层非线性运算以预测接收到的输入的输出的机器学习模型。除了输入层和输出层，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出可以被输入到另一个隐藏层或神经网络的输出层。神经网络的每一层都可以根据该层的一个或多个模型参数，从接收到的输入中生成相应的输出。模型参数可以是权重或偏差。模型参数值和偏差通过训练算法确定，以使神经网络生成准确的输出。

发明内容

本公开的各方面提供了自动检测和血管图像中描绘的邻近脂质的区域或池的纤维化帽的特征。一种包括一个或多个处理器的系统，该系统可接收血管的图像，该血管的图像注释有表示所成像的血管周围的脂质池的纤维化帽的片段。系统可以处理这些图像，以进一步注释表示示出背景、血管的管腔、介质和/或钙的图像的部分的片段。通过这些处理过的图像，系统可以训练一个或多个机器学习模型，以识别血管的输入图像中描绘的纤维化帽的一个或多个片段，该一个或多个片段指示所成像的血管周围的组织中的脂质池。

额外或可替代地，系统可以基于测量成像信号强度穿过所成像的管腔的边缘并进入周围组织的衰减率来检测并刻画脂质池的纤维化帽的特征。基于衰减率与已知样本的比较，系统可以预测脂质池的纤维化帽的位置，并估计纤维化帽的特征。示例性特征可包括例如其厚度和/或纤维化帽和脂质池之间的边界。

本公开的各方面提供了通过识别血管的医学图像中的纤维化帽来检测脂质的方法、系统和装置，包括计算机可读存储介质。一种方法包括接收血管的一个或多个输入图像，并使用被训练成识别血管中的纤维化帽的位置的机器学习模型来处理一个或多个输入图像。机器学习模型是使用多个训练图像进行训练的，每个图像都注释有一个或多个纤维化帽的位置。一种方法包括基于在输入图像的不同位置测量出的径向信号强度的差异来识别脂质池的纤维化帽和刻画脂质池的纤维化帽的特征。系统可生成一个或多个输出图像，该一个或多个图像具有表示纤维化帽的预测位置的可视化地注释的片段。

纤维化帽可覆盖脂质斑块。本公开的各方面提供了识别纤维化帽以识别潜在的脂质斑块。

本公开的方面包括一种用于血管中的纤维化帽识别的方法，该方法包括：由一个或多个处理器接收血管的一个或多个输入图像；由一个或多个处理器使用机器学习模型来处理一个或多个输入图像，所述机器学习模型被训练成识别血管中的纤维化帽的位置，其中该机器学习模型使用多个训练图像进行训练，这些训练图像注释有一个或多个纤维化帽的一个或多个位置，每个纤维化帽邻近相应的脂质池；以及由一个或多个处理器接收一个或多个输出图像并且作为机器学习模型的输出，该一个或多个输出图像具有表示纤维化帽的预测位置的可视化地注释的片段。

本公开的方面包括一种系统，该系统包括：一个或多个处理器，所述一个或多个处理器被配置为：接收血管的一个或多个输入图像；使用被训练成识别血管中的纤维化帽的位置的机器学习模型来处理一个或多个输入图像，其中使用多个训练图像来训练该机器学习模型，这些训练图像注释有一个或多个纤维化帽的位置，每个纤维化帽邻近相应的脂质池；以及接收一个或多个输出图像作为机器学习模型的输出，该一个或多个输出图像具有表示或纤维化帽的图示预测位置的可视化地注释的片段。

本公开的一方面包括存储指令的一种或多种非暂时性计算机可读介质，当所述指令由一个或多个处理器执行时，使得所述一个或多个处理器执行操作，所述操作包括：接收血管的一个或多个输入图像；使用机器学习模型来处理一个或多个输入图像，所述机器学习模型被训练成识别血管中的纤维化帽的位置，其中使用多个训练图像来训练该机器学习模型，每个训练图像注释有一个或多个纤维化帽的位置，每个纤维化帽邻近相应的脂质池；以及接收一个或多个输出图像作为机器学习模型的输出，该一个或多个输出图像具有表示纤维化帽的预测位置的可视化地注释的片段。

本公开的一方面提供了一种用于血管中的纤维化帽识别的方法，该方法包括：由一个或多个处理器接收血管的一个或多个输入图像；由所述一个或多个处理器使用机器学习模型来处理所述一个或多个输入图像，所述机器学习模型被训练成识别血管中的纤维化帽的位置，其中使用多个训练图像来训练所述机器学习模型，所述多个训练图像注释有一个或多个纤维化帽的一个或多个位置，每个纤维化帽邻近相应的脂质池；由一个或多个处理器接收作为机器学习模型的输出，该一个或多个输出图像具有表示纤维化帽的预测位置的可视化地注释的片段；基于一个或多个输入图像中的多个点的信号强度，使用一个或多个处理器并且从一个或多个输出图像中生成纤维化帽相对于邻近的脂质池的更新后的边界。多个点可以沿着包围纤维化帽的一个或多个弧线。

生成更新后的边界可以包括测量沿着包围纤维化帽的一个或多个的弧线的多个点的信号强度；以及基于对多个点的信号强度的测量出的衰减率与穿过脂质的纤维化帽的信号强度的预先确定的衰减率的比较来确定纤维化帽与邻近的脂质池之间的边界。信号强度可存储为包括信号强度的轮廓的元数据。

该方法可进一步包括基于一个或多个纤维化帽的位置来识别脂质斑块。生成更新后的边界可以包括基于包括测量出的信号强度的径向强度轮廓并与一个或多个输入图像相关联来更新边界。

上述内容的其他方面包括一种系统，该系统包括一个或多个处理器，该一个或多个处理器被配置为执行用于纤维化帽检测的方法。上述内容的其他方面包括存储指令的一个或多个计算机可读存储介质，当这些指令由一个或多个处理器执行时，使得一个或多个处理器执行用于纤维化帽检测的方法。

本公开的一方面提供了一种用于血管中的纤维化帽识别的方法，该方法包括：由一个或多个处理器接收血管的一个或多个输入图像；使用一个或多个处理器来生成一个或多个第一输出图像，该一个或多个第一输出图像包括纤维化帽相对于邻近的脂质池的边界，该生成基于一个或多个输入图像中的多个点的信号强度；以及由所述一个或多个处理器使用机器学习模型来处理所述一个或多个输入图像，所述机器模型被训练成识别血管中的纤维化帽的位置，其中使用多个训练图像来训练所述机器学习模型，所述多个训练图像注释有一个或多个纤维化帽的一个或多个位置，每个纤维化帽邻近相应的脂质池；由一个或多个处理器接收一个或多个第二输出图像并作为机器学习模型的输出，该一个或多个第二输出图像具有表示纤维化帽的预测位置的可视化地注释的片段；以及使用一个或多个第二输出图像来更新一个或多个第一输出图像中的纤维化帽的边界。多个点可以沿着包围纤维化帽的一个或多个弧线。

本公开的一方面提供了一种用于血管中的纤维化帽识别的方法，该方法包括：由一个或多个处理器接收血管的一个或多个输入图像；使用一个或多个处理器生成一个或多个第一输出图像，该一个或多个第一输出图像包括纤维化帽相对于邻近的脂质池的边界，该生成基于一个和多个输入图像中的多个点的信号强度；由一个或多个处理器使用机器学习模型来处理一个或多个第一输出图像，所述机器模型被训练成识别血管中的纤维化帽的位置，其中使用多个训练图像来训练该机器学习模型，这些训练图像注释有一个或多个纤维化帽的一个或多个位置，每个纤维化帽邻近相应的脂质池；由一个或多个处理器接收一个或多个更新后的输出图像并作为来自机器学习模型的输出，该一个或多个更新后的输出图像具有表示纤维化帽的预测位置的可视化地注释的片段。

该方法可进一步包括基于识别出的一个或多个纤维化帽的位置来识别一个或多个脂质斑块。该方法可进一步包括将测量出的信号强度保存为对应于一个或多个输出图像的元数据中的轮廓。可以使用测量出的信号强度的轮廓来更新一个或多个更新后的输出图像，其中该更新包括修改使用机器学习模型生成的一个或多个纤维化帽的边界。

本公开的前述及其他方面可以包括以下一个或多个特征。在一些实现中，本公开的一方面可以包括所有以下特征的组合。

一个或多个输入图像可进一步注释有对应于钙、在血管中的管腔或介质中的至少一者的位置的片段。

该一个或多个输入图像包括表示介质的一个或多个区域的经注释的片段；其中所述一个或多个输入图像是在血管中的成像探头的回拉期间从所述成像探头接收到的图像；以及其中，该方法或操作进一步包括：由所述一个或多个处理器基于在所述一个或多个输入图像中的介质的区域的预测注释和所述一个或多个输入图像中的介质的区域的一个或多个真实(ground-truth)注释的比较来估计所述一个或多个输入图像的平均信噪比(SNR)；以及作为响应，响应于确定平均SNR在预先确定的阈值以下，由一个或多个处理器来标记对应于一个或多个输入图像的一个或多个输出图像。

成像探头可以是光学相干断层扫描(OCT)成像探头、血管内超声(IVUS)成像探头、近红外光谱(NIRS)成像探头、OCT-NIRS成像探头、微OCT(μOCT)成像探头等。在一些示例中，成像探头可被配置为根据上述技术和其他成像技术的组合生成图像。

成像探头可以是光学相干断层扫描(OCT)成像探头。

接收一个或多个输出图像可包括为每个输入图像接收表示纤维化帽的预测位置的所述输入图像的相应的可视化地注释的片段。

该方法或操作可进一步包括，对于一个或多个输出图像中的每个图像，由一个或多个处理器接收位置被预测为在该输出图像中的每个纤维化帽的厚度的一个或多个测量值。

该方法或操作可进一步包括使用一个或多个处理器并从一个或多个输出图像中生成纤维化帽相对于邻近的脂质池的更新后的边界，其中生成包括：由一个或多个处理器测量一个或多个输入图像中多个点的信号强度；以及基于对多个点的信号强度的测量出的衰减率与穿过脂质的纤维化帽的信号强度的预先确定的衰减率的比较，由一个或多个处理器确定纤维化帽与邻近的脂质池或脂质斑块之间的边界。多个点可以沿着包围纤维化帽的一个或多个弧线。

确定纤维化帽和邻近的脂质池之间的边界可以包括识别多个点中的在预先确定的阈值内具有与多个点的峰值信号强度成比例的测量出的信号强度的点。

系统可进一步包括通信连接至一个或多个处理器的成像探头；以及接收血管的一个或多个输入图像可以包括当成像探头在血管内部时从成像探头接收对应于一个或多个输入图像的图像数据。

系统可以进一步包括被配置为显示图像数据的一个或多个显示装置；以及其中一个或多个处理器进一步被配置为在一个或多个显示装置上显示一个或多个输出图像。

本公开的方面包括一种用于训练机器学习模型的方法，该机器学习模型用于在血管中的纤维化帽识别，该方法包括：由一个或多个处理器接收多个训练图像，其中每个训练图像注释有训练图像中的一个或多个纤维化帽的一个或多个位置，每个纤维化帽邻近于各自的脂质池；由一个或多个处理器处理多个训练图像，从而为每个训练图像注释钙、血管中的管腔或介质中的至少一者的位置；以及由一个或多个处理器使用经处理的多个训练图像来训练机器学习模型。处理多个训练图像进一步包括通过一个或多个机器学习模型来处理多个训练图像，这些机器学习模型经过训练以识别与钙、血管中的管腔和介质中的至少一者的位置相对应的输入图像的片段。

本公开的一方面提供了一种系统，该系统包括一个或多个处理器，该一个或多个处理器被配置为接收多个训练图像，其中每个训练图像都注释有训练图像中的一个或多个纤维化帽的位置，每个纤维化帽邻近于各自的脂质池；处理多个训练图像以注释带有相应的一个或多个片段的每个训练图像，该一个或多个片段对应于钙、血管中的管腔或介质中的至少一者的位置；以及使用处理后的多个训练图像来训练机器学习模型。

本公开的一方面提供了一种或多种存储指令的暂时性或非暂时性计算机可读介质，当所述指令由一个或多个处理器执行时，使得所述一个或多个处理器执行操作，所述操作包括：接收多个训练图像，其中每个训练图像注释有训练图像中的一个或多个纤维化帽的位置，每个纤维化帽邻近于各自的脂质池；处理多个训练图像以注释带有相应的一个或多个片段的每个训练图像，该一个或多个片段对应于钙、血管中的管腔和介质中的至少一者的位置；以及使用处理后的多个训练图像来训练机器学习模型。

机器学习模型可以是第一机器学习模型；以及该方法可以进一步包括：接收第二机器学习模型，该第二机器学习模型包括多个模型参数值，并经过训练以识别输入图像的片段，这些片段对应于血管的图像中的钙、血管中的管腔和介质中至少一者的位置，以及其中训练第一机器学习模型包括用来自第二机器学习模型的模型参数值的至少一部分进行初始化训练。

第二机器学习模型可以是卷积神经网络，该卷积神经网络包括多个层，多个层包括输出层，并且每个层包括一个或多个各自的模型参数值；以及训练第一机器学习模型可以进一步包括：用新的层替换第二机器学习模型的输出层，该新的层被配置为：(i)接收至第二机器学习模型的输出层的输入；(ii)生成输入图像的分割图作为输出，该分割图包括多个通道，该多个通道包括用于识别表示输入图像中的一个或多个纤维化帽的预测位置的输入图像的片段的通道，以及使用经处理的多个训练图像来训练具有替换后的输出层的第二机器学习模型。

分割图的多个通道可进一步包括一个或多个通道，用于识别表示钙、血管的管腔和介质中的至少一者的预测位置的输入图像的片段。

使用替换后的输出层来训练第一机器学习模型可进一步包括仅为第一机器学习模型的新的层更新模型参数值。

处理多个训练图像可进一步包括使用第二机器学习模型处理多个训练图像。

训练机器学习模型可包括训练机器学习模型，以便从血管的图像中输出表示纤维化帽的预测位置的图像的可视化地注释的片段。

训练机器学习模型可包括训练机器学习模型，以从血管的图像中输出在图像中识别出的每个纤维化帽的厚度和长度中至少一者的一个或多个测量值。

成像探头可以是光学相干断层扫描(OCT)成像探头、血管内超声(IVUS)成像探头、近红外光谱(NIRS)成像探头、OCT-NIRS成像探头、微OCT(μOCT)成像探头等。在一些示例中，成像探头可被配置为多模态成像，例如使用OCT、NIRS、OCT-NIRS、μOCT等的组合来成像。

多个训练图像是使用光学相干断层扫描(OCT)拍摄的图像。

本公开的一方面提供了一种方法，该方法包括：由一个或多个处理器接收血管的输入图像；由一个或多个处理器相对于输入图像中的血管参考点为弧线计算输入图像中的多个点中的每个点的成像信号的各自的信号强度；以及由一个或多个处理器根据多个点相对于参考点的各自的信号强度来识别在输入图像中描绘的邻近于脂质池的纤维化帽。多个点可以沿着包围纤维化帽的一个或多个弧线。

本公开的一方面提供了一种系统，该系统包括：一个或多个处理器，其中一个或多个处理器被配置为：接收血管的输入图像；为输入图像中相对于血管参考点的弧线计算输入图像中的多个点中的每个点的成像信号的各自信号强度；以及根据多个点相对于参考点的各自的信号强度识别输入图像中描绘的邻近于脂质池的纤维化帽。多个点可以沿着包围纤维化帽的一个或多个弧线。

本公开的一方面提供了一种或多种存储指令的暂时性或非暂时性计算机可读介质，当所述指令由一个或多个处理器执行时，使得所述一个或多个处理器执行操作，所述操作包括：由一个或多个处理器接收血管的输入图像；由一个或多个处理器为输入图像中的弧线相对于血管参考点计算输入图像中的多个点中的每个点的成像信号的各自的信号强度；以及由一个或多个处理器根据多个点相对于参考点的各自的信号强度来识别输入图像中描绘的邻近于脂质池的纤维化帽。多个点可以沿着包围纤维化帽的一个或多个弧线。

本公开的前述内容及其他方面可以包括以下一个或多个特征。

参考点可以是血管的管腔的中心。

输入图像可以被注释有对应于纤维化帽的一个或多个弧线。

输入图像可以被注释有与纤维化帽相对应的片段，并且其中识别包括识别纤维化帽和脂质池之间的更新后的边界。输入图像以输入图像中描绘的纤维化帽的可视化表示来注释，并且其中该方法或操作可进一步包括基于刻画纤维化帽的覆盖角来识别相对于参考点的一个或多个弧线。

多个点可以形成点的序列，这些点相对于管腔的中心的距离增加，其中序列的第一点最靠近参考点，并且序列的最后一点离参考点最远，并且识别纤维化帽和脂质池之间的更新后的边界可以包括：计算沿弧线的点的序列中的两个或更多个点的各自的信号强度的信号强度衰减率；确定计算出的衰减率在穿过纤维化帽和脂质池的信号强度的预先确定的衰减率的阈值以内；以及响应于确定计算出的衰减率在阈值以内，将两个或更多点之间的输入图像的片段识别为纤维化帽。

计算信号强度中的衰减率可进一步包括计算距离管腔的中心比沿着一个或多个弧线的第二点更远的弧线的各自的信号强度的信号强度衰减率。

将输入图像的片段识别为纤维化帽进一步包括标注纤维化帽与邻近纤维化帽的脂质池之间的边界。

确定计算出的衰减率在预先确定的衰减率的阈值以内包括测量计算出的衰减率与的曲线之间的拟合误差，该曲线至少部分地包括在相对于管腔的中心的距离与沿着一个或多个弧线的两个或更多个点的距离相同的点上的预先确定的衰减率。

该方法或操作可以进一步包括：响应于确定计算出的衰减率不在脂质池的纤维化帽的预先确定的衰减率的阈值以内，确定衰减率在一个或多个其他预先确定的衰减率的各自的阈值以内，其他预先确定的衰减率中的每一个对应于穿过各自的斑块或介质的非脂质区域的成像信号的各自的测量出的衰减率。

该方法或操作可进一步包括：将多个点中的第一点识别为对应于与多个点的各自的信号强度相关的峰值信号强度；将多个点中的第二点识别为对应于等于与峰值信号强度相关的阈值强度的相应的信号强度；以及将成像的血管的管腔的边缘与第二弧线之间的距离作为纤维化帽的厚度测量。

相对于峰值信号强度的阈值强度可以是80％。

该方法或操作可进一步包括将输入图像帧的识别出的纤维化帽的厚度和沿一个或多个弧线的多个点的衰减率的测量值中的一者或两者与一个或多个预先确定的阈值进行比较；以及如果厚度和衰减率的测量值中的一者或两者在一个或多个预先确定的阈值以内，则标记输入图像。

该方法或操作可进一步包括显示注释有纤维化帽的位置的输入图像。

该输入图像可以使用光学相干断层扫描(OCT)成像探头、血管内超声(IVUS)成像探头、近红外光谱(NIRS)成像探头、OCT-NIRS成像探头、微OCT(μOCT)成像探头等拍摄。

多个训练图像是使用光学相干断层扫描(OCT)、血管内超声(IVUS)、近红外光谱仪(NIRS)、OCT-NIRS或微OCT(μOCT)等拍摄的图像。

输入图像可以使用光学相干断层扫描(OCT)拍摄。

本公开的一方面提供了一种系统，该系统包括：一个或多个处理器，其中一个或多个处理器被配置为：由一个或多个处理器接收血管的输入图像；使用机器学习模型来处理输入图像，所述机器学习模型被训练成识别血管中的纤维化帽的位置，其中使用注释有一个或多个纤维化帽的位置的多个训练图像来训练该机器学习模型，每个纤维化帽邻近相应的脂质池；由一个或多个处理器接收输出图像，并作为机器学习模型的输出，输出图像包括表示纤维化帽的预测位置的可视化地注释的片段，包括纤维化帽和脂质池之间的边界；识别对应于输出图像中的片段的一个或多个弧线，该一个或多个弧线源自输出图像中的参考点；以及基于在输出图像中测量出的一个或多个弧线上的一个或多个点的信号强度中的差异来识别纤维化帽与脂质池之间的更新后的边界。

本公开的其他方面包括方法、装置和非暂态计算机可读存储介质，这些非暂态计算机可读存储介质存储了用于一个或多个计算机程序的指令，当执行这些指令时，使得一个或多个处理器执行方法的动作。

附图说明

图1是根据本公开的各方面的示例性图像分割系统的方框图。

图2示出了在示例性图像帧中描绘的贴有标签的纤维化帽的示例。

图3是根据本公开的各方面的用于训练纤维化检测模型的示例性过程的流程图。

图4A示出了根据本公开的各方面的由图像分割系统生成并以极坐标表示的示例性输入图像和相应的输出图像。

图4B示出了以直角系坐标表示的图4A的示例性输入图像和相应的输出图像。

图5是根据本公开的各方面的使用先前训练过的模型来训练纤维化帽检测模型的示例性过程的流程图。

图6A是根据本公开的各方面的用于检测血管周围的组织中的脂质池的纤维化帽的示例性过程的流程图。

图6B是根据本公开的各方面的用于标记具有低信噪比的纤维化帽的检测模型的输出图像的示例性过程的流程图。

图7A图示了从图像帧中描绘的管腔的中心开始的多个弧线。

图7B是根据本公开的各方面的用于基于从血管的输入图像测量出的弧线的径向信号强度来识别纤维化帽的示例性过程的流程图。

图8是基于从血管的输入图像测量出的弧线的径向信号强度的衰减率来识别纤维化帽的示例性过程的流程图。

图9示出了穿过不同组织和斑块的峰值信号强度和衰减率的图表。

图10是根据本公开的各方面的使用从血管的输入图像测量出的弧线的序列中的峰值径向信号强度来测量纤维化帽的厚度的示例性过程的流程图。

图11是根据本公开的各方面实现图像分割系统的示例计算环境的方框图。

具体实施方式

概述

本公开的各个方面提供了血管的图像中的脂质池的纤维化帽的自动检测。血管的图像可由成像探头拍摄，例如成像装置上的成像探头，例如被配置为被操纵以穿过患者的身体内的血管或其他感兴趣的区域的导管。然后可以分析图像的分段，并为其贴上对应于不同的组织或斑块的标签。成像的血管中的脂质积聚尤其引人关注，因为血管内和血管周围的脂质的存在和特征可被用于例如作为针对不同的心血管疾病筛查病人的一部分。

用OCT捕捉的图像的一个问题是，与钙或介质等其他组织或斑块不同，脂质池或脂质斑被成像的清晰度块往往不如被成像的血管的其他片段。这种情况的一个原因是因为从成像探头发出的成像信号随着该信号穿过纤维化帽传播到邻近脂质池时衰减。另一方面，其他斑块(如钙)可能更容易识别，至少是因为那些类型的斑块不具有像脂质那样的导致成像信号快速衰减的物理特征。

因此，脂质难以察觉，往往需要经过培训的专家进行手动检查才能识别。即便如此，专家们往往也无法直接地刻画脂质的特征，例如，通过刻画血管周围组织中的脂质池的深度或宽度而刻画脂质的特征，因为在用OCT捕捉到的图像中脂质池往往显示得不清楚。另一个挑战是正确地识别纤维化帽与脂质池本身之间的边界。之所以难以识别边界，至少是因为测量纤维化帽的厚度需要知道纤维化帽的终点和脂质池的起点。因此，手工贴标签的脂质和纤维化帽的图像往往不准确，而且制作费时。进一步地，不同图像之间的专家注释以及不同专家对同一图像的注释常常不一致。这些准确识别脂质的问题也可能发生在根据其他模态捕获的图像上，例如当图像是由血管内超声(IVUS)成像探头、近红外光谱(NIRS)成像探头、OCT-NIRS成像探头、微OCT(μOCT)成像探头，或各种探头或实现各种不同成像技术的装置中的任何其他一种捕获时。

本公开的各个方面提供了通过对模型进行训练来识别纤维化帽来识别成像的血管的周围的脂质池的技术。脂质池的纤维化帽可以指覆盖血管周围的组织中的脂质池的组织。本文所述系统可预测输入图像中的脂质池中的纤维化帽，并预测其他感兴趣的区域(如钙或介质)的存在。

本文提供的系统可以加强贴有纤维化帽覆盖的脂质池的标签、贴有其他感兴趣的区域的标签训练数据。由于相对于识别脂质，感兴趣的片段(例如钙)的自动和手动注释通常可以准确并快速地被执行，因此与不贴那些额外标签的情况相比，系统可以利用图像中其他感兴趣的区域的现有标签来更加准确地识别纤维化帽。系统可被配置为根据输入图像预测可见的感兴趣的区域的一个或多个通道，该一个或多个通道可用于注释血管的输入图像。例如，附加通道可对应于输入图像的血管的管腔、钙、介质、脂质和/或背景。

进一步地，本文提供的系统还能够利用感兴趣的脂质和非脂质区域的物理特征的差异，例如成像探头穿过不同感兴趣区域的信号衰减率。通过识别和比较与距管腔边缘的距离相关的区域的信号衰减率，系统可以预测该区域是否对应于脂质或非脂质。通过将成像信号的信号强度的衰减率与先前接收到的穿过不同组织和斑块的信号强度衰减率的样本进行比较，系统可以预测纤维化帽的物理特征，例如纤维化帽的厚度。

进一步地，本文所提供的系统还能通过为包含纤维化帽或脂质池的弧测量和比较沿着弧线的点的OCT图像的信号强度来更加准确地识别纤维化帽和脂质池之间的边界。在一些示例中，系统可以接收一个或多个纤维化帽的手工注释的图像或根据本文公开的各方面注释的图像作为输入。系统可以以纤维化帽和邻近的脂质池之间的边界来注释图像。作为接收注释有纤维化帽的输入图像的一部分，系统可基于注释的帽的覆盖角来计算一个或多个弧线。在一些实现中，系统可以处理使用NIRS、IVUS、OCT-NIRS和/或μOCT等拍摄的图像，以测量和比较图像的信号强度，识别纤维化帽和/或纤维化帽与脂质池或脂质斑块之间的边界。

在一些示例中，系统仅接收以对应于包含纤维化帽的角度的弧线所注释的图像，并且可识别由弧线包围的纤维化帽与邻近的脂质池之间的边界。在那些示例中，系统可被配置为对沿弧线的点执行信号强度分析，以预测纤维化帽的位置，包括纤维化帽与脂质池之间的边界。

纤维化帽的物理特征可用于改进冠状动脉疾病(如成像的血管中的薄帽纤维血管瘤(TCFA))的诊断。通过与其他方法相比改进了测量纤维化帽的厚度的准确性，该系统可提供在诊断病人时可使用的更有把握的数据。当纤维化帽的厚度的差异可能是诊断患者是相对良性的厚帽纤维瘤还是更危险的疾病(例如TCFA)之间的差异时，精确的测量就显得尤为重要。此外，本文所述的系统可基于可调节的阈值来识别边界，该阈值可根据用于诊断或评估心血管疾病或斑块破裂的风险增加(例如TCFA)的纤维化帽的标准或规范进行调整，也可基于对先前分析的纤维化帽样本(例如，用OCT捕获的图像、用IVUS捕获的图像、用NIRS捕获的图像、用OCT-NIRS捕获的图像、用μOCT捕获的图像和/或使用各种不同成像技术中的任何一种捕获的图像)的观察进行调整。

示例性系统

图1是根据本公开的各方面的图像分割系统100的方框图。图像分割系统100可以包括在一个或多个位置并跨越一个或多个装置的一个或多个处理器和存储装置，例如服务器计算装置或连接到成像设备和/或其他工具(例如在导管室中)的计算装置。图像分割系统100可以包括训练引擎105、注释引擎110和纤维化帽检测引擎115。

一般来说，图像分割系统100被配置为接收输入图像，例如由成像装置107拍摄的血管(例如血管102)的输入图像120。系统100可生成一个或多个输出图像125(包括以纤维化帽注释的图像125A和可选择的一个或多个有注释的图像126B至126N)作为输出。以纤维化帽注释的图像125A可以由系统100可视化地注释有预测的输入图像120中的纤维化帽的片段。例如，以纤维化帽注释的图像125A可以包括在输入图像120中预测出的纤维化帽的高亮部分或其他可视化地区分的部分的叠加。根据以纤维化帽注释的图像125A，系统可以测量或估计识别出的帽的一个或多个物理特征，例如帽的厚度。

如参考图7A至图10所更详细地描述的，图像分割系统100可被配置为通过分析从输入图像120测量出的成像信号的衰减并通过将穿过帽的成像信号的测量出的衰减率和先前获得的穿过各种斑块(包括脂质)的成像信号的衰减率进行比较来细化边界。

在一些示例中，系统100可以输出其他被注释的图像125B至125N，这些图像表示其他类型的感兴趣的区域(如钙、介质、背景)的预测位置，以及血管102的管腔的尺寸和形状。被注释的图像125B至125N可以分别与特定类型的感兴趣的区域(例如钙或介质)相关联。在一些示例中，系统100生成分割图或将输入图像120中的像素映射到一个或多个通道的其他数据结构，每个通道对应于一个感兴趣的区域。

分割图可以包括多个元素，例如数组中的元素，在该数组中，每个元素对应于输入图像120中的一个像素。数组中的每个元素可以包括不同的值(例如整数值)，其中每个值对应于预测的感兴趣的区域的不同通道。例如，输出分割图可以包括相应的像素被预测为纤维化帽的值为“1”的元素。输出分割图可以包括其他感兴趣的区域的其他值，例如相应的像素被预测为钙的值“2”。系统100可被配置为输出分割图，在分割图中表示一些或全部通道。

在一些示例中，系统可以生成一个或多个通道的分割图而不是生成输出图像125，并且用户计算装置135可以被配置为将分割图应用于输入图像120。作为示例，用户计算装置135可以被配置为使用分割图的一个或多个通道来处理输入图像120，以生成与一个或多个通道相对应的图像，例如，以纤维化帽注释的输出图像、以钙注释的输出图像等。多个通道可以被组合，例如以生成注释有钙和脂质的区域的输出图像。

对不同的感兴趣的区域(例如脂质池的纤维化帽)的预测可以通过多种不同方式进行注释。例如，分割图可以是一个或多个通道的一个或多个掩码，这些掩码可以作为叠加应用到输入图像120。另一个示例是，系统100可以复制和修改输入图像120中对应于不同的预测的感兴趣的区域的位置的像素。例如，系统100可以生成以纤维化帽注释的图像125A，该图像125A具有输入图像120中的如下像素：纤维化帽被预测为位于这些像素处并且这些像素被加阴影或修改，从而与输入图像120的其余部分具有可视化的不同。在其他示例中，系统可以以其他方式(例如通过预测的帽的轮廓、具有可视化地不同的图案、阴影或茅草状覆盖等)修改与预测的纤维化帽相对应的像素。

用户计算装置135可以被配置为从具有成像探头104的成像装置107接收输入图像120。作为示例，成像探头104可以是OCT探头和/或IVUS导管。虽然本文提供的示例是指OCT探头，但使用OCT探头或特定的OCT成像技术并不意味着是限制性的。例如，IVUS导管可与OCT探头一起使用或者可以代替OCT探头。导线(未示出)可用于将探头104引入血管102。探头104可以被沿着血管102的管腔的长度引入并拉回，同时收集数据，例如作为图像帧的序列。根据一些示例，探头104在拉回过程中可以保持静止，这样就可以收集OCT和/或IVUS数据集的多个扫描。这些数据集可以包括图像帧或其他图像数据，可用于识别脂质池的纤维化帽和其他感兴趣的区域。根据一些示例，探头104可被配置为微光学相干断层扫描(μOCT)。也可以使用其他成像技术，如近红外光谱和成像技术(NIRS)。

探头104可以通过光纤106连接到用户计算装置135。用户计算装置135可包括光源(如激光器)、具有样本臂和参考臂的干涉仪、各种光路、时钟发生器、光电二极管以及其他OCT和/或IVUS部件。在一些示例中，用户计算装置135连接到一个或多个其他装置和/或设备件(未示出)，这些装置和/或设备件被配置为使用成像装置107来执行医学成像。作为示例，用户计算装置135和成像装置107可以是导管室的一部分。在其他示例中，系统100、用户计算装置135、显示器109和成像装置107是用于医学成像的更大的系统的一部分，例如作为导管室的一部分实现。

系统100可以被配置为实时接收和处理输入图像120，例如，当成像装置107在对血管102进行成像时被操纵。在其他示例中，在执行了对血管102进行成像的过程之后系统100接收一个或多个图像帧，例如通过接收已存储在用户计算装置135或其他装置上的输入数据而接收图像帧。在其他示例中，系统100完全从不同的源接收输入图像，例如通过网络从一个或多个装置接收。在后一种示例中，系统100可以被配置为例如在一个或多个服务器计算装置上，这些服务器计算装置被配置为根据本文所述的技术来处理传入的输入图像。

如图所示，显示器109与用户计算装置135分开，然而，根据一些示例，显示器109可以是计算装置135的一部分。显示器109可以输出图像数据，例如输出图像125。在一些示例中，显示器109可以通过显示器视口(例如圆形显示器视口)来显示输出。

显示器109可以显示一个或多个图像帧，例如将其显示为血管102和周围组织的二维横截面。显示器109还可以包括一个或多个其他视图，以示出所成像的血管或患者身体中的另一感兴趣区域的不同透视关系。作为示例，显示器109可以包括血管102从起点到终点的长度的纵向视图。在一些示例中，显示器109可以沿着纵向视图高亮地显示血管102的某些部分，并且可以至少部分地遮挡当前未被选择用于查看的其他部分。在一些示例中，显示器109被配置为接收输入，以拖拽管腔201的不同部分，如纵向视图中所示。

输出可以被实时地显示，例如在成像探头104被操纵通过血管102的过程期间。可输出的其他数据(例如与输出图像125结合的数据)包括横截面扫描数据、纵向扫描、直径图、管腔边界、斑块尺寸、斑块周长、斑块位置的可视化指示、对支架扩张构成风险的可视化指示、流动速率等。显示器109可以用文字、箭头、颜色编码、突出显示、外形线或其他合适的人或机器可读的记号来识别特征。

根据一些示例，显示器109可以是图形用户界面(“GUI”)。本文描述的过程的一个或多个步骤可以自动地或在没有用户输入的情况下被执行，以导航图像、输入信息、选择输入和/或与输入交互等。显示器109单独或与用户计算装置135结合可允许响应用户输入在一种或多种查看模式之间切换。例如，用户可以能够在显示器109上的不同侧分枝之间切换，例如通过选择特定侧分枝和/或通过选择与特定侧分枝相关的视图来切换。

在一些示例中，显示器109单独或与用户计算装置135结合可以包括菜单。该菜单可以允许用户显示或隐藏各种特征。可以有一个以上的菜单。例如，可以有一种菜单用于选择要显示的血管特征，例如打开或关闭用于叠加在输入图像120的顶部的一个或多个掩码。此外或可替代地，可以有一个菜单用于选择显示器的虚拟摄像机角度。在一些示例中，显示器109可以被配置为接收输入。例如，显示器109可以包括触摸屏，该触摸屏被配置为接收用于与在显示器109上显示的菜单或其他可交互元素进行交互的触摸输入。

例如，输出图像帧125可用作医疗分析、诊断和/或一般研究的下游过程的一部分。例如，输出图像帧125可以被显示出来供用户(如医疗专业人员)查看和分析，或用作用于医疗诊断和评估的自动过程的输入，如专家系统或在一个或多个计算装置(如实现系统100的一个或多个计算装置)上实现的其他下游过程。根据输出图像帧125的注释的片段，系统100可以估计血管102周围的组织中与各自的脂质池邻近的一个或多个识别出的纤维化帽的厚度，例如根据本文参考图3和图7A至图10所描述的技术进行估计。

例如，基于预测的纤维化帽的估计出的物理特征，输出图像帧125至少可部分用于诊断TCFA和/或其他冠状动脉疾病。仅靠目测可能难以诊断TCFA，这至少是因为在OCT或其他成像信号减弱时(例如在使用NIRS、OCT-NIRS、IVUS、μOCT等拍摄的图像中)脂质池具有上述物理特征，这可能使得难以确定纤维化帽与其相应的脂质池之间的边界。

转向引擎105、110和115，纤维化帽检测引擎115通常被配置为预测输入图像120中的纤维化帽的存在，例如以高亮或其他可见的指示的形式预测。纤维化帽检测引擎115可以被配置为检测脂质池中的纤维化帽，例如通过本文参照图3至图6所述的经训练的一个或多个机器学习模型。在一些示例中，纤维化帽检测引擎115可以被配置为通过将血管的输入图像的径向信号强度和脂质池的纤维化帽的已知样本对比以进行分析来识别和刻画纤维化帽的特征，如本文参考图7至图10所述。在一些实现中，纤维化帽检测引擎115可以被配置为使用本文所述技术的组合来识别和刻画纤维化帽的特征。刻画输入图像中的纤维化帽或斑块的其他区域的特征可以指帽或斑块的区域的定量或定性特征的生成或测量。可构成刻画特征的一部分的示例性特征可以包括帽或斑块的区域的长度、宽度或整体几何形状。

训练引擎105被配置为接收传入的训练图像数据145并将实现的一个或多个机器学习模型训练为纤维化帽检测引擎115的一部分。训练图像数据145可以是注释有纤维化帽的血管的图像帧。如本文参考图3至图6B所述，训练引擎105可被配置为将实现的一个或多个机器学习模型训练为纤维化帽检测引擎115的一部分。训练引擎105可以使用训练图像数据145，训练图像数据145注释有相应的图像帧中的纤维化帽的位置，并由标注引擎110进一步注释出其他感兴趣的区域的位置。

图2示出了在示例性图像帧200中贴标签后的纤维化帽201的示例。在图2中，贴标签后的纤维化帽201是由一系列点勾勒出来的，但是纤维化帽201也可以用其他方式表示，例如通过对帽的区域相对于图像帧200的其余部分加阴影来表示。例如，可以根据用于评估纤维化帽的图像帧的标准手工生成标签。图像帧200还可以被额外贴上以下标签，例如，管腔的中心204的位置、成像装置捕获图像帧时的成像装置的中心202，以及指示邻近纤维化帽201的脂质池的区域203。

在一些示例中，训练引擎105接收用于训练的图像帧，例如图2的图像帧200，该图像帧未被注释有一个或多个感兴趣的其他区域(例如钙、介质，或被成像的血管的管腔所覆盖的轮廓或面积)。注释引擎110可以被配置为接收训练图像数据145，并进一步利用对应于钙区域、介质、管腔、背景等的注释对数据的图像帧进行注释。为此，注释引擎110可以使用多种不同技术中的任何一种来实现，以识别这些感兴趣的区域和对这些感兴趣的区域进行分类，例如使用一个或多个经过适当地训练的机器学习模型识别和分类。

例如，注释引擎110可以实现一个或多个经过训练的机器学习模型，以识别图像帧中描绘的钙的区域，并对图像帧中描绘的钙的区域进行分类。在一些示例中，注释引擎110生成的修改后的图像帧具有预测的感兴趣的区域的可视化的指示，例如围绕钙的区域或其他识别出的非脂质斑块的轮廓。在其他示例中，注释引擎110还可以生成数据，训练引擎105被配置为除了相应的训练图像帧以外还要处理这些数据。例如，生成的数据可以是限定训练图像帧的像素的掩码的数据，其中训练图像帧的每个像素对应于掩码中的一个像素，并指示该像素是否部分地表示训练图像中描绘的感兴趣的区域。

在一些示例中，生成的数据可以包括坐标数据，这些坐标数据对应于至少部分描绘感兴趣的区域的已处理的图像帧的像素。例如，生成的数据可以包括对应于检测到的非脂质斑块的区域的掩码的每个像素的空间坐标或直角坐标。注释引擎还可被配置为可选择地将根据一个系统(例如笛卡尔坐标)的坐标数据转换到另一个坐标系(例如相对于参考点(例如管腔的中心)的极坐标)。

同样，训练图像数据145还可以包括限定被注释为对应于脂质池的纤维化帽的区域的像素的位置的数据，系统100可以被配置为根据对训练引擎105和/或纤维化帽检测引擎115的输入要求进行转换。使用不同坐标系的一个原因可以是，因为训练图像数据145是以手工贴标签的多个单独的点，这些点共同限定了被注释的纤维化帽的周长，而纤维化帽检测引擎115被配置为处理以极坐标表示不同点的位置的同一图像数据。系统100可配置为生成根据极坐标系来布置像素的位置的输出图像125，并可选择地将输出图像125转换回直角坐标，以便在显示器109上显示。

虽然训练引擎105被示出作为图像分割系统100的一部分，但在一些示例中，训练引擎105是在与实现系统100的其余部分的一个或多个装置不同的一个或多个装置上实现的。此外，系统100可以对所述的一个或多个机器学习模型进行训练或微调，也可以不对所述的一个或多个机器学习模型进行训练或微调，而是根据本公开的各方面接收预先训练的模型。

示例性方法

图3是根据本公开的各方面用于训练纤维化帽检测模型的示例性过程300的流程图。过程300可由包括一个或多个处理器的系统执行，这些处理器位于一个或多个位置，并根据本公开的各方面进行适当配置。

纤维化帽检测模型可以包括一个或多个机器学习模型，例如神经网络，其可以使用贴标签的图像训练数据(例如参考图1所述的训练图像数据140)进行训练。纤维化帽检测引擎(例如系统100的纤维化帽检测引擎115)可以实现一个或多个数学模型，(例如上文参考图1至图2所述的一个或多个机器学习模型)，统称为纤维化帽检测模型，并被配置为识别和刻画如本文所述的图像帧的脂质池的纤维化帽的特征。

根据框310，系统接收多个训练图像，每个训练图像注释有训练图像中的一个或多个纤维化帽的位置。如本文参考图1至图2所述，系统可以接收以在每个图像中检测到的纤维化帽的位置作为标签的训练图像数据。作为接收多个训练图像的一部分，系统可将数据拆分成多个集，例如用于训练的图像帧、用于测试的图像帧和用于验证的图像帧。

根据框320，系统处理多个训练图像，从而以输入图像的一个或多个非脂质片段来注释每个图像。例如，如参照图1所述，系统可以包括注释引擎，该注释引擎被配置为以识别非脂质斑块(例如钙、介质、血管的管腔和背景)的预测区域的注释来注释训练图像帧。

根据框330，系统使用处理过的多个训练图像来训练纤维化帽检测模型。在一些示例中，该模型被配置为生成表示预测的一个或多个感兴趣的区域(包括被预测为纤维化帽的输入图像的部分)的分割图作为输出。

纤维化帽检测模型可以根据用于监督学习的任何技术进行训练，一般来说，用于机器学习模型的训练技术使用其中至少有一些训练示例被贴标签的数据集。例如，纤维化帽检测模型可以是具有模型参数值的一个或多个神经网络，作为训练过程的一部分，使用梯度下降的反向传播来更新这些模型参数值，例如在单个图像帧上或在一批图像帧上更新。

在一些示例中，纤维化帽检测模型可以是一个或多个卷积神经网络，该一个或多个卷积神经网络被配置为接收对应于输入图像的像素作为输入，并生成对应于输入图像中的感兴趣的区域的一个或多个通道的分割图作为输出。作为示例，纤维化帽检测模型可以是神经网络，该神经网络包括输入层和输出层，以及输入层和输出层之间的一个或多个隐藏层。每一层可包括一个或多个模型参数值。每一层可以接收一个或多个输入，例如，在隐藏层的情况下从前一层接收，或者在输入层的情况下为网络输入(例如输入图像)。接收输入的每一层可通过一个或多个激活函数来处理输入，根据该层的模型参数值对这些激活函数进行加权和/或偏重。该层可将输出传递到网络中的后续层，或者在输出层的情况下，该层被配置为输出分割图和/或一个或多个输出图像，例如，如本文参照图1至图2所述。

作为神经网络的纤维化帽检测模型可以包括各种不同类型的层，例如池化层、卷积层和全连接层，这些层可以根据用于接收和处理输入图像数据的各种不同配置中的任意一种进行布置和定尺寸。

虽然纤维化帽检测模型的示例是以神经网络和卷积神经网络提供的，但机器学习模型可以是指被配置为接收输入并根据输入生成输出的任何模型或系统，并且这些模型或系统可以被训练为使用输入训练图像数据和/或从输入训练图像数据中提取的数据生成准确的输出。如果纤维化帽检测模型包括一个以上的机器学习模型，那么可以对机器学习模型进行端到端的训练和执行，这样一个模型的输出可以作为后续模型的输入，直到获得最终模型的输出。

在一些示例中，纤维化帽检测模型至少部分包括具有跳过连接的编码器-解码器架构。作为另一个示例，纤维化帽检测模型可以包括一个或多个神经网络层作为自动编码器的一部分，该自动编码器经过训练以从无标签的训练数据中学习图像的紧凑(编码)表示，例如使用OCT、IVUS、NIRS、OCT-NIRS、μOCT或使用各种其他成像技术中的任何其他技术拍摄的图像。神经网络层可在如本文所述的输入训练图像上被进一步训练，并且纤维化帽检测模型可通过使用无标签的训练图像进行至少部分训练，以受益于更广泛的训练集。

在一些实现中，可对纤维化帽检测模型进行训练，以预测在输入图像中描绘的包含一个或多个脂质帽的覆盖角的弧线。纤维化帽检测模型可生成注释有弧线的输出图像，该输出图像可用作细化或识别脂质帽和邻近的脂质池的边界的输入，如本文参考图7A至图10所述。

在一些实现中，除了本文所述的图像分割之外，或作为本文所述的图像分割的可替代选择，纤维化帽检测模型可以被训练为用于脂质帽分类。在那些实现中，可以使用相同的输入训练图像数据来训练纤维化帽检测模型，并用脂质帽的位置以及感兴趣的非脂质区域对纤维化帽检测模型进行注释。

训练可使用损失函数来完成训练，该损失函数对由系统预测的脂质池的纤维化帽的位置与作为输入图像的训练数据一部分而接收的纤维化帽的真实位置之间的差异进行量化。

例如，损失函数可以是纤维化帽的预测位置和真实位置之间的距离，在预测位置和真实位置的一对或多对点对上测量。一般来说，可以使用将具有预测注释的训练图像与具有真实注释的训练图像的每个像素进行比较的任何损失函数。示例性损失函数可包括计算带有纤维化帽的预测位置的训练图像帧与带有纤维化帽的真实位置的训练图像帧之间的雅卡尔(Jaccard)相似系数或分数。另一个示例性损失函数可以是像素交叉熵损失，当然可以应用用于训练执行图像分割任务的模型的任何损失函数。

用作训练该系统的一部分的成本函数可以是经处理的训练图像帧的至少一部分上的损失函数的值的平均值。例如，成本函数可以是一组训练图像帧的平均雅卡尔分数。系统可以对纤维化帽检测模型进行训练，直到满足一个或多个训练标准，例如，当处理训练图像的验证测试集时的最大误差阈值。其他训练标准可包括训练迭代的最小次数或最大次数，例如，以处理的历时(即对所有训练数据的完整遍历)、批次和/或单个训练示例的数量来衡量，或执行用于训练纤维化帽检测模型的过程300所花费的最小时间量或最大时间量。

系统可以执行训练，直到确定已经满足一个或多个停止标准。例如，停止标准可以是预设的历时数、使用损失函数测量出的系统在历时之间的最小改进、经过挂钟时间的预先确定的数量，和/或直到计算预算耗尽，例如预先确定的数量的处理周期。

如图5中更详细的描述，可以用现有的机器学习模型来增强现有模型，现有的机器学习模型被训练用以预测感兴趣的非脂质区域，还用以预测脂质池的纤维化帽的位置，作为多个不同的输出通道之一。正如本文参考图1至图2所述，纤维化帽检测模型可以被训练成输出多个通道，每个通道对应于各自的感兴趣的区域，例如其可以被表示为一个或多个输出图像和/或被表示为分割图或其他数据，这些数据将输入图像的区域刻画为对应不同的感兴趣区域，包括脂质区域和非脂质区域两者。

通过包括感兴趣的非脂质区域的附加注释，纤维化帽检测模型可以利用来自更易辨别的区域(如钙区域)的附加信息来更准确地识别脂质池的纤维化帽。这至少是因为不同的感兴趣的区域(例如钙区域和脂质区域)具有不同的物理特征，可以在注释有斑块的两种类型的同一图像中将这些不同的物理特征进行比较。如本文参照图7至图10所详细描述的，系统可以分析OCT或其他成像信号(例如，使用IVUS、NIRS、OCT-NIRS、μOCT等生成的成像信号)穿过不同的纤维化帽的衰减率，以预测脂质池中的纤维化帽与非脂质斑块(如钙)的其他区域的纤维化帽。此外，由于处理注释有感兴趣的非脂质区域的图像数据的性质，纤维化帽检测模型还可额外输出具有多个通道的分割图，允许一起而不是单独地生成供分析的更多数据。

图4A示出了根据本公开的各方面由图像分割系统生成并以极坐标表示的示例性输入图像401A和相应的输出图像403A。图4还示出了带有脂质池的纤维化帽的区域的真实注释402B。图像403A示出为具有模型生成的注释403B，例如，使用本文参照图3所述的经训练的模型而生成。图像401A至403A示出为以相对于参考点(例如，成像的血管的管腔的中心)的极坐标表示。在一些示例中，系统可以对输出图像进行后处理，例如通过应用内核尺寸为(15,2)的最大(MAX)滤波器进行后处理。也可以交替使用或组合使用具有不同尺寸的其他类型的滤波器。进行后处理的原因之一是在显示注释之前使得注释的边界变得平滑。

图4B示出了以直角系坐标表示的图4A的示例性输入图像401A和相应的输出图像403A。图像402A也被示出。图4A至图4B示出了该系统可被配置为以各种不同格式并根据不同坐标系来输出图像。

图5是根据本公开的各方面使用先前训练过的模型来训练纤维化帽检测模型的示例性过程500的流程图。在一些示例中，过程500可以作为转移学习过程的一部分来执行，以使用另一个经过训练以执行不同任务的机器学习模型来微调或训练纤维化帽检测模型。

根据框510，系统接收机器学习模型。该机器学习模型可以包括多个模型参数值，并被训练以识别对应于感兴趣的非脂质的区域(例如血管的图像中的钙、管腔或介质)的输入图像。

根据框520，系统用新的层替换机器学习模型的输出层，该新的层被配置为接收至输出层的输入并为输入图像生成分割图。例如，可以用新的神经网络层替换之前的输出层，新的神经网络层被配置为接收来自之前输出层的输入并输出带有一个或多个通道的分割图。最初，新的神经网络层可以包括随机初始化的模型参数值。

系统使用处理过的多个训练图像，利用新的输出层来训练机器学习模型。训练图像可根据图3中的过程300的框320进行处理，每个图像可包括感兴趣的非脂质区域的位置的注释。在训练中，系统可以冻结机器学习模型中除新输出层之外的每一层的模型参数值。系统可以根据任何用于监督学习的技术来训练被部分冻结的模型，例如使用本文参照图3所述的技术和训练图像数据来训练。系统可以被配置为训练机器学习模型一定数量的历时，例如50个历时，然后在处理通过机器学习模型的训练图像的验证集以后保存识别出的机器学习模型的模型参数值的最佳集。

系统可以加载新输出层的最佳模型参数值(例如，对损失函数造成的损失最小并且属于训练图像的验证集的模型参数值)并训练直到满足另一个或多个训练标准，例如，200个历时，但这次是在解冻模型的其余模型参数值之后。换句话说，机器学习模型可以被训练，其模型参数值可以被更新，例如根据参照图3所描述的过程300进行。

图6A是根据本公开的各方面用于检测血管周围的组织中脂质池的纤维化帽的示例性过程600A的流程图。

根据框610，系统接收血管的一个或多个输入图像。例如，如本文参照图1所述，系统可以接收输入图像120和/或一个或多个附加图像。

根据框620，系统使用被训练为识别纤维化帽的位置的纤维化帽检测模型来处理一个或多个输入图像。可以用训练图像来训练纤维化帽检测模型，每个训练图像都注释有一个或多个纤维化帽的位置。在一些示例中，训练图像进一步被注释有与纤维化帽不同的感兴趣的非脂质区域(例如钙、介质和血管的腔)的位置。注释可包括叠加在输出图像上的可视边界，或例如作为单独的数据(例如作为像素的掩码)提供。

在本说明书中，识别和注释可以是近似的(例如在预定的误差范围或阈值范围内)。近似注释可在预先确定的误差范围或阈值范围内对纤维化帽欠注释或过注释。类似地，根据本公开的各方面对纤维化帽的识别可在预先确定的误差范围或阈值范围内将输入图像中的部分欠识别或过识别为对应于识别出的纤维化帽。

在一些实现中，系统被配置为使用输出图像的非脂质片段的预测作为估计输出图像序列的信噪比的一部分。如本文所述，至少由于在与成像信号相互作用时脂质区域与非脂质区域的物理特征，相对于脂质区域，可以以更高的精度来识别非脂质区域(如钙或介质)。如本文所述，虽然系统可以使用非脂质区域的注释来更准确地预测与脂质池邻近的纤维化帽的位置，但系统也可以利用识别非脂质的区域的可靠性来估计输出图像的序列的信噪比。

已经观察到，图像帧的序列中较低的信噪比(SNR)可以降低识别和刻画序列中纤维化帽的特征的准确度。系统可以通过对成像血管中对应于非脂质的区域(例如介质)的位置的真实注释与预测注释进行比较来估计SNR。如果估计出的SNR较低(例如低于阈值)，那么系统可将该序列标记为在检测脂质池的纤维化帽方面的准确度可能会降低。

图6B是根据本公开的各方面用于标记具有低信噪比的纤维化帽检测模型的输出图像的示例性过程的流程图。

根据框610B，系统接收来自纤维化帽检测模型的输出图像。例如，输出图像可以由本文参照图3和图5所描述的经过训练的纤维化帽检测模型生成。输出图像可以对应于输入图像的序列，例如，在作为成像过程的一部分的回拉期间由成像装置捕获的输入图像的序列。

除了检测脂质池的纤维化帽的位置外，过程600B中所述的纤维化帽检测模型还经过训练以检测输入图像中的至少一种类型的非脂质区域(例如介质或钙)。下文描述了在估计SNR时使用介质的区域的情况，但是也可以使用其他类型的斑块或组织(例如钙或背景)。

系统基于输出图像中的介质的预测区域的注释与介质的区域的真实注释之间的比较来估计图像的平均信噪比。系统可以接收真实注释，例如，作为输出图像的验证集的一部分，或者从配置为识别和刻画感兴趣的区域的特征的另一个源(例如图1的系统100的注释引擎110)接收。

系统可以通过计算图像中本应具有零信号的区域(例如血管的管腔)与图像帧中该区域处的信号的实际值之间的标准差来估计图像中的噪声。该区域处的信号的实际值与预期值之间的标准差可以是该图像的估计噪声值。除了与所成像的血管的管腔相对应的区域以外，或者可替代与所成像的血管的管腔相对应的区域的是，还可以选择图像的其他区域。例如，该区域可以是远离如图像中所示的导管的位置的一点，例如，因为在足够远的点处的区域将注册为零的信号值而没有噪声。另一个示例区域可以是导管的导丝后面的空间，因为导丝会阻挡其后面的所有信号。

在一些实现中，系统可以通过测量图像帧中描述的组织的折射的最高未归一化强度来估计噪声，而忽略导线、支架和导管的折射。在一些示例中，系统可以通过对图像帧的强度(不包括描绘导线、支架或导管的区域处的信号强度)直方图拟合双模式高斯混合模型来估计SNR。系统可将两个混合模型的平均值相除，其中低强度模型表示噪声，高强度模型表示信号。在一些示例中，系统可以通过将最亮的组织像素与最暗的管腔像素相除来估计SNR。

根据框630B，如果估计SNR在预先确定的阈值以下，则系统会标记输出图像。例如，被标记的输出图像可被搁置和/或手动复查。在一些示例中，系统仅执行过程600B，作为处理用于训练纤维化帽检测模型的验证集的一部分。

图像分割系统100可被配置为通过测量血管的输入图像中的弧线上的径向信号强度来识别和/或刻画脂质池的纤维化帽的特征。如本文所述，不同的组织和斑块具有不同的物理特征。示例性的特征包括穿过组织或斑块的成像信号(如OCT信号、IVUS信号、NIRS信号、OCT-NIRS信号、μOCT信号等)的峰值强度和衰减率。

信号的衰减率是指相对于参考点的距离增加时信号强度的变化。例如，参考点可以是以二维横截面查看时的成像的血管的管腔的中心，也可以是具有成像探头的导管的中心，信号最初就是从这里发出的。随着信号在管腔、组织和/或斑块中传播，峰值信号强度通常出现在管腔的边缘或其附近(例如，当管腔的边缘具有纤维化帽时)，峰值信号强度随后变弱。例如，峰值信号强度的出现可以是信号至少部分从管腔的边缘反射的结果。过了管腔边缘，信号通常会衰减，直到信号强度为零或低到无法再检测到它为止。

如本文所述，准确识别和刻画血管周围的组织中的脂质的特征的一个挑战源于脂质具有使穿透信号快速衰减的特征。然而，已观察到衰减率在多个血管中的不同的脂质池和纤维化帽的不同图像中相对一致。本公开的各方面提供了用于识别信号衰减率并将该衰减率与不同组织和斑块的已知衰减率进行比较的技术，以识别输入图像帧中描绘的纤维化帽。

图7A示出了从图像帧700A中描绘的管腔的中心760开始的多个弧线750A至750B。图像帧700A还描绘了成像探头的中心770，捕获图像帧700A的成像信号就源自该中心770。弧线750A至750B形成的覆盖角与由纤维化帽790占据的管腔壁的部分相对应。作为示例，弧线750A至750B相对于管腔的中心760示出，但弧线750A至750B可以相对于任何参考点，例如具有用于捕获图像帧700A的成像探头的导管的中心770。系统可被配置为沿弧线750A至750B的不同点测量图像帧中的信号强度。

出于说明性目的，图7A描绘了弧线750A至750B，但作为执行过程700B的一部分，该系统并不呈现或绘制该弧线以供显示。在一些实现中，系统可以被配置为额外发送相对于一个或多个测量出的弧线及其相应的信号强度的数据以供显示。图7A还描绘了纤维化帽785和脂质的区域795之间的边界780。如本文参考图7B至图9所述，图像分割系统可被配置为识别纤维化帽并识别纤维化帽与脂质池之间的边界。在一些示例中，图像分割系统被配置为接收带有纤维化帽注释的输入图像，并细化该注释以表示注释的帽与邻近的脂质池之间的更准确的边界。

图7B是根据本公开的各方面基于血管的输入图像中的弧线的径向信号强度来识别纤维化帽的示例性过程700B的流程图。

根据框710B，系统接收血管的输入图像帧。例如，输入图像帧可以是由用户计算装置通过成像装置接收到的图像帧，如本文参照图1所述。输入图像可以包括围绕血管的管腔的纤维化帽的一个或多个注释。例如，这些注释可以是手工贴标签的，也可以由图像分割系统生成，如本文参考图1所述。在一些示例中，如果输入图像被注释有纤维化帽但没有对应于该帽的覆盖角的弧线，则该系统可被配置为计算相对于参考点(例如图像帧中描绘的管腔的中心)的弧线。作为生成弧线的一部分，系统可以识别管腔的中心。

在一些示例中，系统接收输入图像帧，该图像帧仅被注释有输入图像中描绘的一个或多个纤维化帽的弧线。在那些示例中，输入图像帧可以被手工注释，或使用一个或多个经训练的机器学习模型来预测由输入图像帧中描绘的纤维化帽的覆盖角所限定的弧线。

根据框720B，系统为相对于图像帧中描绘的血管的管腔的中心的每个弧线计算各自的径向信号强度。径向信号强度(或“信号强度”)是指在图像帧的以下区域处的成像信号的强度：该区域对应于相对于参考点(例如成像的血管的管腔的中心)限定的各自的弧。系统可沿每个弧线上的若干点测量径向信号强度，这些弧线相对于参考点的距离各不相同。

系统可将信号转换为输入图像帧的每个像素的数值。对于每个像素，各自的数值可以对应于成像探头在该点处的反射光的量。在一些示例中，系统可以对每个图像帧进行归一化处理，使最高值为1，最低值为0。像素邻域内的归一化值可以被平均以提供噪声较小的信号。作为示例，像素邻域可以是邻近目标像素的所有像素，但随着实现的不同，像素邻域也可以被限定为与目标像素有关的其他像素。

每个弧线的信号强度测量值可以被平滑化，以去除不同采集测量值的噪声。例如，可以在角度维度(例如，由与一个点和参考点均相交的直线相对于共同原点形成的角度维度)上对多个样本(例如，每次12个样本)进行平均。另一个示例是，系统可以应用巴特利特(Bartlett)窗口函数或三角窗口函数(例如用13像素的窗口尺寸)来减少沿端点的径向维度(例如，以极坐标表示的沿弧线的点的径向维度)的噪声。每个弧线的信号强度测量值可通过用每个值除以管腔的边缘处的信号值来归一化。

根据框730B，系统从沿弧线的点的多个径向信号强度中识别输入图像中描绘的一个或多个纤维化帽。如本文参考图8和图9所述，系统计算多个径向信号强度的衰减率，并将该衰减率与穿过不同组织或斑块的其他已知的衰减率进行比较。例如，已发现穿过脂质的弧线在管腔的边缘之后具有高信号强度，随后的弧线的信号强度根据衰减曲线逐渐减弱，例如，衰减曲线可以随着距参考点的距离呈指数变化。

作为识别纤维化帽的一部分，系统可以接收注释有纤维化帽的图像，并识别纤维化帽与邻近的脂质池之间的边界。然后，系统可以更新纤维化帽的注释，以更准确地反映帽和池之间的边界。系统可配置为识别沿弧线的点的相对径向强度，该沿弧线的点作为对应于边界的点。相对径向强度可与沿弧线并且对应于管腔的壁的另一点测量出的峰值径向强度成比例。对应于纤维化帽和邻近的脂质池之间的边界的相对信号强度可以基于注释有纤维化帽的图像的已知样本的信号强度的衰减曲线，如下所述。

在一些示例中，最初生成的边界的最终边界可由系统通过取不同输出图像中识别出的注释过的纤维化帽的边界之间的像素的平均位置来确定，例如使用纤维化帽检测模型和使用径向强度分析而获得，如本文所述。像素中的每一个的平均位置可构成更新后的边界的一部分。

在一些示例中，系统可以确定单独生成的输出图像之间注释的像素的重叠的程度，并且包括更新后的边界中的如下像素：这些像素表示单独注释的输出图像重叠的位置。系统可以对更新后的边界的剩余像素进行插值，例如，在单独生成的输出图像的注释不重叠的位置处插值。

在一些示例中，系统可以被配置为首先基于从血管的输入图像测量出的多个弧线的径向信号强度的衰减率来识别纤维化帽，然后使用纤维化帽检测模型来更新纤维化帽的注释的边界。这样，所实现的任一方法都可以通过执行本文所述的补充技术进行额外处理而被增强。

在一些示例中，任一方法(例如，使用纤维化帽检测模型或使用如本文所述的径向强度分析)可用于检测由任一方法针对同一输入图像生成的假阳性或冲突识别。例如，如果用纤维化帽检测模型来处理输入图像，还可以基于从输入图像测量出的不同弧线的径向信号强度的衰减率(例如通过分别执行参照图7和图8所述的过程700和800)来处理同一输入图像以识别纤维化帽。

如果来自不同方法的输出图像不相符，例如不完全相符或在注释的输出图像之间的相似度的预先确定的阈值内不相符，则系统可以执行一个或多个操作。例如，系统可以标记明显的差异，以便例如由用户进一步审查。此外，或可替代地，系统还可以建议或自动选择两个生成的输出图像中的一个作为系统的“真”输出。例如，系统可以基于预先确定的偏好来决定。在一些示例中，使用本文所述的不同方法为同一输入生成两个或多个已生成的输出图像可以是用户启用或禁用的功能，以便可选择地提供错误检查和输出验证。

图8是基于从血管的输入图像测量出的多个弧线的径向信号强度的衰减率来识别纤维化帽的示例性过程800的流程图。

根据框810，系统计算沿弧线的两个或更多个点的衰减率。例如，系统计算从参考点发出并向外生长且远离参考点的弧线的不同点的信号强度的变化率。如本文所述，如图9所示，系统可以绘制将两个或更多个点的衰减率作为距参考点的距离的函数的曲线。

该两个或更多个点可以是基于两个或更多个弧线相对于参考点的距离而选择的多个点的子集。例如，基于对信号强度的衰减率开始衰减的可能位置的不同观测，系统可以计算从该位置开始的弧线的衰减率。例如，该位置可以距离参考点1毫米，但也可以将该位置调整为距离参考点更近或更远。在一些示例中，信号强度的曲线可以表示测量出的所有弧线上的信号强度。在那些示例中，测量出的衰减率从最靠近参考点的两个或更多个点中的第一个点开始，到离参考点最远的两个或更多个点中的最后一个点结束。

根据框820，系统确定衰减率是否在预先确定的衰减率的阈值以内。例如，系统通过将测量出衰减率的曲线与已知曲线进行拟合来确定衰减率是否在预先确定的衰减率的阈值以内(例如，通过纤维化帽和脂质池传播的弧线的信号强度的衰减率的已知曲线)。系统可使用任何统计误差测量技术(如均方根误差(RMSE))来计算曲线之间的差异或误差。RMSE或其他技术可生成误差值，系统可将该误差值与预先确定的阈值(例如其可以为0.02)进行比较。预先确定的阈值可以因实施方案而异，例如基于将测量出的曲线与已知曲线拟合到可接受的误差容限。

作为接收已知曲线的示例，在脂质池的纤维化帽的情况下，系统可以将测量出的曲线与根据贴有脂质池的一个或多个纤维化帽的标签的图像的样本集而计算出的曲线进行比较。例如，样本集可包括本文参照图1所述的训练图像数据和/或来自一个或多个其他源的专家注释的图像。在一些示例中，样本集可以包括由纤维化帽检测模型注释的图像帧，该模型被训练成预测输入图像帧中的纤维化帽，如本文参考图1至图6所述。

如果系统未确定衰减率在预先确定的衰减率的阈值以内(“否”)，则过程800结束。否则，根据框830，系统将两个或更多个点与管腔的边缘之间的输入帧的片段识别为描绘纤维化帽。

在识别脂质池的纤维化帽的情况下，衰减率对应于信号强度随着信号通过脂质池而减弱。在该点处识别出衰减率的两个或更多个点中的第一点可以表示信号穿过脂质池的第一个点。系统可将管腔边缘处的点与脂质的边界处的点(由曲线中在该点处比较后的衰减率开始的两个或更多个点中的第一个点指示)之间的空间识别为纤维化帽的位置。通过识别纤维化帽的位置，系统还确定帽与邻近的脂质池之间的边界。

系统可以被配置为识别管腔的边缘或周边，例如使用本文所述的纤维化帽检测模型来识别，该模型经过训练以输出对应于成像的血管的管腔的通道。

在一些示例中，系统可以通过处理训练数据来确定训练数据中的每个图像是否使用本文所述的径向强度分析来描绘纤维化帽，从而细化用于训练纤维化帽检测模型的训练数据。系统可以对接收到的用于训练纤维化帽检测模型的部分或全部接收到的训练数据进行采样，并在预先确定的置信度以内确定采样的训练数据是否包括不描绘纤维化帽的图像。系统可以标记这些图像供进一步审查(例如通过手动检查)以确定是否应丢弃这些图像或应将其保留在训练数据中。在一些示例中，系统可以被配置为自动执行标记和移除。

在一些示例中，系统可以通过使用本文所述的径向强度分析处理训练数据为用于训练纤维化帽检测模型的训练数据预贴标签。预贴的标签可用作用于训练数据和训练纤维化帽检测模型的标签。在其他示例中，可提供预贴的标签以供手动检查，以方便手动地对带有纤维化帽的训练数据贴标签。在一些示例中，系统提供至少一些预贴的标签作为接收到的训练数据的标签，并提供至少一些其他的预贴的标签用于手动检查。

在一些示例中，系统接收仅注释有相应的纤维化帽的覆盖角的输入图像帧。根据覆盖角，系统识别包含处于注释的角度的纤维化帽的弧线并且可以识别纤维化帽，如本文参照图8所述。图像数据可作为额外的训练数据提供，用于训练本文所述的纤维化帽检测模型。

通过覆盖角进行手动标注可能比注释纤维化帽本身的位置更容易，这可以允许在相同的时间量内生成更多的训练数据。系统可以在更多的数据上进行训练，这可以允许使用更广泛的各种训练数据来训练系统。此外，根据以纤维化帽的覆盖角注释的图像生成训练数据可以通过将训练数据中的注释进行标准化来改进手动注释。例如，在标注覆盖角时，手动注释者的注释可能彼此更加一致，这与注释纤维化帽本身的位置时的情况相反。后者可能更容易受到变异性的影响，例如，不同的注释者可能会对同一纤维化帽估计出不同的厚度。

图9示出了通过不同组织和斑块的峰值信号强度和衰减率的图表900A至图表900D。图表900A绘制了相对信号强度901A(相对于检测到的最高信号强度和检测到的最低信号强度)和距与参考点902A的距离(例如，以像素为单位)。实线曲线903A表示从共享共同特征(例如，都描绘脂质池的纤维化帽)的图像帧的一组样本中测量出的曲线。虚线曲线904A表示从输入图像帧的测量出的弧线计算出的曲线(例如本文参考图900所述的两个或更多个弧线)的至少一部分。

区域905A对应于图像帧的如下区域：在该区域中，衰减率是从弧线的两个或更多个点处测量的，对应于区域内的位置。如本文所述，两个或更多个点的衰减率被拟合为先前被系统接收到的实线曲线903A。在本示例中，曲线之间的拟合具有0.02的误差。区域906A对应于图像帧中被预测为描绘脂质池的纤维化帽的区域。如本文参考图10所述，系统可以估计脂质池的纤维化帽的厚度。线950对应于区域906A的端部，其也表示纤维化帽与脂质池之间的边界。换句话说，线950对应于如下的点：曲线903A在该点处以对应于之前通过脂质时测量出的信号强度的衰减率开始衰减。

图表900B至图表900D图示了对应于测量出的衰减率的虚线曲线904A，该测量出的衰减率具有实线曲线904B至图904D，实线曲线904B至图904D是之前根据具有不同特征(例如成像的血管周围的不同斑块)的图像帧的集生成的。图表900B的实线曲线904B是根据描绘脂质池的纤维化帽的一组图像帧测量出的曲线，如参照图表900A所述。实线曲线904B示出在管腔边缘之后的信号强度通常更高(更亮)。

图表900C中的实线曲线904C是从描述成像的血管的组织中的可见介质的一组图像帧中测量出的曲线。实线曲线904C示出信号强度在管腔边缘之后通常更高(更亮)，但曲线904C的衰减率并不拟合虚线曲线904A以及实线曲线903A或904B。在图表900C中，测量出曲线之间的拟合的误差为0.05。

图表900D中的实线曲线904D是从未描绘任何可见的介质、钙或脂质的一组图像帧中测量出的曲线。实线曲线904D示出的峰值强度相对于为生成实线曲线904A至904C而测量出的血管的管腔边缘更低，曲线904D和虚线曲线904A之间的拟合误差也高于(0.03)虚线曲线904A和实线曲线903A的拟合。在一些示例中，预定阈值可以基于比较已知样本集的曲线(例如实线曲线904A至904D)并比较不同曲线的拟合误差的差异来生成。

图10是根据本公开的各方面使用从成像的血管的测量出的弧线的序列中的峰值径向信号强度来测量纤维化帽的厚度的示例性过程1000的流程图。

根据框1010，系统识别对应于峰值径向信号强度的弧线的第一点。例如，系统可以沿弧线绘制多个点的径向信号强度，并识别具有最高信号强度值的点。如本文参考图8至图9所述，峰值信号强度通常可以出现在成像的血管的管腔的边缘之后。

根据框1020，系统识别对应于径向信号强度满足关于峰值径向信号强度的阈值强度值的弧线的第二点。例如，阈值强度值可设置为峰值信号强度的80％。阈值强度值可以在不同的实现中进行修改，例如基于对带注释的纤维化帽的图像帧的样本集的分析，并比较纤维化帽的任一端上沿弧线的点的信号强度。

根据框1030，系统将弧线上第一点和第二点之间的距离作为纤维化帽的厚度来测量。系统可以对源自同一参考点的多个弧线重复过程1000，以及对源自同一参考点的位于限定对应于纤维化帽的覆盖角的弧线之间的一个或多个线重复过程1000。例如，由于纤维化帽在不同点可以具有不同的厚度，系统可以根据框1030沿不同的线测量厚度，以识别纤维化帽的厚度较大或较小的区域。

在估计接收到的输入图像帧中的纤维化帽的位置和厚度之后，系统可被配置为输出限定估计的数据(例如在显示器上或作为用于诊断和/或分析的下游过程的一部分)，如本文参考图1至图2所述。在一些示例中，系统可以被配置为标记图像帧(例如通过显示器上的提示或通过一些可视化的指示符来标记图像帧)，其中预测的脂质池的纤维化帽比阈值厚度更薄。阈值厚度可被设置为标记图像帧，以便进行潜在的额外审查和分析，例如因为描绘比阈值厚度更薄的纤维化帽的图像帧可能是成像的血管的斑块破裂(例如TCFA)的风险增加的指示符。

示例性计算环境：

图11是根据本公开的各方面实现图像分割系统100的示例计算环境的方框图。系统100可以在一个或多个位置上的具有一个或多个处理器的一个或多个装置上实现，例如在服务器计算装置1115中实现。用户计算装置1112和服务器计算装置1115可以通过网络1160通信联接到一个或多个存储装置1130。存储装置1130可以是易失性存储器和非易失性存储器的组合，并且可以与计算装置1112、1115位于相同或不同的物理位置。例如，存储装置1130可以包括能够存储信息的任何类型的非暂态计算机可读介质，如硬盘、固态驱动器、磁带驱动器、光存储、存储卡、ROM、RAM、DVD、CD-ROM、可写存储器和只读存储器。

服务器计算装置1115可以包括一个或多个处理器1113和存储器1114。存储器1114可以存储处理器1113可以访问的信息，包括可以被处理器1113执行的指令1121。存储器1114还可以包括数据1123，该数据223可以由处理器1113检索、操作或存储。存储器1114可以是能够存储处理器1113可访问的信息的一种类型的非暂态计算机可读介质，例如易失性存储器和非易失性存储器。处理器1113可以包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)、现场可编程门阵列(FPGA)，和/或专用集成电路(ASIC)。

指令1121可以包括一个或多个指令，当这些指令被处理器1113执行时，使得一个或多个处理器执行由指令定义的操作。指令1121可以以目标代码格式存储，供处理器1113直接处理，也可以以其他格式存储，包括可解释脚本或按需解释或预先编译的独立源代码模块。指令1121可以包括用于实现符合本公开的各方面的系统100的指令。系统100可以使用处理器1113和/或位于服务器计算装置1115的远程位置的其他处理器来执行。

数据1123可由处理器1113根据指令1121进行检索、存储或修改。数据1123可以存储在计算机寄存器中、存储在关系数据库或非关系数据库中作为具有多个不同字段和记录的表，或者作为JSON、YAML、proto或XML文档。数据1123也可以被格式化成计算机可读的格式，例如但不限于二进制值、ASCII或Unicode。此外，数据1123可以包括足以识别相关信息的信息，如数字、描述性文本、专有代码、指针、对存储在其他存储器(包括其他网络位置)中的数据的引用，或被函数用来计算相关数据的信息。

用户计算装置1112也可以被配置为与服务器计算装置1115相似，具有一个或多个处理器1116、存储器1117、指令1118和数据1119。用户计算装置1112还可以包括用户输出1126和用户输入1124。用户输入1124可以包括用于接收来自用户的输入的任何适当的机制或技术，例如键盘、鼠标、机械致动器、软致动器、触摸屏、麦克风和传感器。

服务器计算装置1115可以配置为向用户计算装置1112传输数据，并且用户计算装置1112可以配置为在作为用户输出1126的一部分而实现的显示器上显示接收到的数据的至少一部分。用户输出1126还可用于显示用户计算装置1112与服务器计算装置1115之间的界面。用户输出1126可以可替代地或额外地包括一个或多个扬声器、换能器或其他音频输出、触觉接口或向用户计算装置1112的平台用户提供非视觉和非听觉信息的其他触觉反馈。

尽管图11示出了处理器1113、1116和存储器1114、1117位于计算装置1115、1112内，但本说明书中描述的部件(包括处理器1113、1116和存储器1114、1117)可以包括可以在不同的物理位置运行，并且不在同一计算装置中的多个处理器和多个存储器。例如，部分指令1121、1118和数据1123、1119可以存储在可移动SD卡中，而其他指令和数据则存储在只读计算机芯片中。部分或全部指令和数据可以存储在在物理上远离处理器1113、1116的位置，但仍可被处理器1113、1116访问。同样，处理器1113、1116可以包括可以执行并发和/或顺序操作的一系列的处理器。计算装置1115、1112可以各自包括一个或多个提供定时信息的内部时钟，这些时钟可用于由计算装置1115、1112进行的操作和运行的程序进行时间测量。

装置1112、1115能够通过网络1160进行直接和间接地通信。例如，使用网络套接字，用户计算装置1112可以通过互联网协议连接到在数据中心1150中操作的服务。装置1112、1115可以建立监听套接字，该监听套接字可以接受用于发送和接收信息的启动连接。网络1160本身可以包括各种配置和协议，包括互联网、万维网、内联网、虚拟专用网络、广域网、局域网和使用一个或多个公司的专有通信协议的私有网络。该网络1160可以支持各种短程连接和长距离连接。短程连接和长距离连接可以在不同的带宽上进行，例如2.402GHz至2.480GHz(通常与标准相关)、2.4GHz和5GHz(通常与/>通信协议相关)；或者采用各种通信标准，例如用于无线宽带通信的/>标准。另外或可替代地，网络1160还可以支持装置1112、1115之间的有线连接，包括通过各种类型的以太网连接。

虽然图11中示出了单个服务器计算装置1115和用户计算装置1112，但是应当理解，本公开的各个方面可以根据计算装置的各种不同配置和数量来实现，包括在顺序或并行处理的范例中，或通过多个装置的分布式网络来实现。在某些实现方式中，本公开的各方面可以在单个装置及其任意组合上执行。

虽然附图中所示和权利要求中记载的操作以特定顺序示出，但是应当理解，可以以与所示顺序不同的顺序来执行操作，并且可以省略一些操作、执行多次和/或与其他操作并行执行。此外，配置用于执行不同操作的不同系统部件的分离不应被理解为这些部件必须是分离的。所描述的部件、模块、程序和引擎可以集成在一起作为单个系统，或者作为多个系统的一部分。此外，如本文所描述的，例如图1的图像分割系统100之类的图像分割系统可以执行本文所描述的过程。

除非另有说明，否则前述替代性的示例不是相互排斥的，而是可以以各种组合来实现以实现独特的优点。由于可以在不脱离由权利要求所限定的主题的情况下利用上述特征的这些和其他变型以及组合，因此实施例的前述描述应当以说明的方式而不是以限制由权利要求所限定的主题的方式来理解。此外，本文中所描述的示例的提供以及措辞为“例如”、“包括”等的从句不应被解释为将权利要求的主题限制于具体示例；相反，这些示例旨在仅说明许多可能的实施例中的一种。此外，不同附图中的相同附图标记可以识别相同或相似的元件。

Claims (20)

1.一种用于血管中的纤维化帽识别的方法，所述方法包括：

由一个或多个处理器接收血管的一个或多个输入图像；

由所述一个或多个处理器使用机器学习模型来处理所述一个或多个输入图像，所述机器学习模型被训练成识别血管中的纤维化帽的位置，其中所述机器学习模型使用多个训练图像来训练，所述多个训练图像注释有一个或多个纤维化帽的一个或多个位置，每个纤维化帽邻近相应的脂质池；

由所述一个或多个处理器接收一个或多个输出图像作为所述机器学习模型的输出，所述一个或多个输出图像具有表示纤维化帽的预测位置的可视化地注释的片段；以及

使用所述一个或多个处理器并且从一个或多个输出图像中基于所述一个或多个输入图像中的多个点的信号强度来生成纤维化帽相对于邻近的脂质池的更新后的边界。

2.根据权利要求1所述的方法，其中所述一个或多个输入图像进一步注释有对应于钙、所述血管中的管腔、或介质中的至少一者的位置的片段。

3.根据权利要求2所述的方法，

其中所述一个或多个输入图像包括表示介质的一个或多个区域的注释片段；

其中所述一个或多个输入图像是在所述血管中回拉成像探头期间从所述成像探头接收到的图像；以及

其中所述方法进一步包括：

由所述一个或多个处理器基于所述一个或多个输入图像中的介质的区域的预测注释和所述一个或多个输入图像中的介质的区域的一个或多个真实注释的比较来估计所述一个或多个输入图像的平均信噪比(SNR)；以及

在响应中，响应于确定平均SNR在预先确定的阈值以下，由所述一个或多个处理器标记对应于所述一个或多个输入图像的所述一个或多个输出图像。

4.根据权利要求3所述的方法，其中所述成像探头是光学相干断层扫描(OCT)成像探头、血管内超声(IVUS)成像探头、近红外光谱(NIRS)成像探头、OCT-NIRS成像探头、或微OCT(μOCT)成像探头。

5.根据权利要求1所述的方法，其中所述多个点沿着包围所述纤维化帽的一个或多个弧线。

6.根据权利要求1所述的方法，其中接收所述一个或多个输出图像包括为每个输入图像接收表示纤维化帽的预测位置的所述输入图像的相应的可视化地注释的片段。

7.根据权利要求1所述的方法，其中所述方法进一步包括由所述一个或多个处理器为所述一个或多个输出图像中的每一个接收位置被预测为在所述输出图像中的每一个纤维化帽的厚度的一个或多个测量值。

8.根据权利要求1所述的方法，其中生成所述更新后的边界包括：

由所述一个或多个处理器测量沿着包围所述纤维化帽的一个或多个弧线的多个点的信号强度；以及

由所述一个或多个处理器基于对所述多个点的信号强度的测量出的衰减率与穿过脂质的纤维化帽的信号强度的预先确定的衰减率的比较来确定所述纤维化帽与所述邻近的脂质池之间的边界。

9.根据权利要求8所述的方法，其中确定所述纤维化帽和所述邻近的脂质池之间的边界包括识别所述多个点中的在预先确定的阈值内具有与所述多个点的峰值信号强度成比例的测量出的信号强度的点。

10.一种系统，包括：

一个或多个处理器，所述一个或多个处理器被配置为：

接收血管的一个或多个输入图像；

使用机器学习模型来处理所述一个或多个输入图像，所述机器模型被训练成识别血管中的纤维化帽的位置，其中所述机器学习模型使用多个训练图像来训练，所述多个训练图像注释有一个或多个纤维化帽的位置，每个纤维化帽邻近相应的脂质池；

接收一个或多个输出图像作为所述机器学习模型的输出，所述一个或多个输出图像具有表示纤维化帽的预测位置的可视化地注释的片段；以及

从所述一个或多个输出图像中基于所述一个或多个输入图像中的多个点的信号强度生成纤维化帽相对于邻近的脂质池的更新后的边界。

11.根据权利要求10所述的系统，其中所述一个或多个输入图像进一步注释有对应于钙、所述血管中的管腔、或介质中的至少一者的位置的片段。

12.根据权利要求11所述的系统，

其中所述一个或多个输入图像包括表示介质的一个或多个区域的注释的片段；

其中所述一个或多个输入图像是在所述血管中回拉成像探头期间从所述成像探头接收到的图像；以及

其中所述一个或多个处理器被进一步配置为：

基于所述一个或多个输入图像中的介质的区域的预测注释和所述一个或多个输入图像中的介质的区域的一个或多个真实注释的比较来估计所述一个或多个输入图像的所述平均信噪比(SNR)；以及

在响应中，响应于确定所述平均SNR在预先确定的阈值以下，标记对应于所述一个或多个输入图像的所述一个或多个输出图像。

13.根据权利要求12所述的系统，其中所述成像探头是光学相干断层扫描(OCT)成像探头、血管内超声(IVUS)成像探头、近红外光谱(NIRS)成像探头、OCT-NIRS成像探头、或微OCT(μOCT)成像探头。

14.根据权利要求10所述的系统，其中所述多个点沿着包围所述纤维化帽的一个或多个弧线。

15.根据权利要求11所述的系统，其中接收所述一个或多个输出图像包括为每个输入图像接收表示纤维化帽的预测位置的所述输入图像的相应的可视化地注释的片段。

16.根据权利要求11所述的系统，其中所述一个或多个处理器进一步被配置成为所述一个或多个输出图像中的每一个接收位置被预测为在所述输出图像中的每一个纤维化帽的厚度的一个或多个测量值。

17.根据权利要求11所述的系统，

其中所述系统进一步包括通信连接至所述一个或多个处理器的成像探头；以及

为了接收所述血管的所述一个或多个输入图像，所述一个或多个处理器进一步被配置为当所述成像探头位于所述血管内部时从所述成像探头接收对应于所述一个或多个输入图像的图像数据。

18.根据权利要求11所述的系统，其中在生成所述更新后的边界时，所述一个或多个处理器被进一步配置为：

测量沿着包围所述纤维化帽的一个或多个的弧线的多个点的信号强度；以及

基于对所述多个点的信号强度的测量出的衰减率与穿过脂质的纤维化帽的信号强度的预先确定的衰减率的比较来确定所述纤维化帽与所述邻近的脂质池之间的边界。

19.根据权利要求18所述的系统，其中为了确定所述纤维化帽和所述邻近的脂质池之间的边界，所述一个或多个处理器进一步被配置为识别所述多个点中的在预先确定的阈值内具有与所述多个点的峰值信号强度成比例的测量出的信号强度的点。

20.一种或多种存储指令的非暂时性计算机可读介质，当所述指令由一个或多个处理器执行时，使得所述一个或多个处理器执行操作，所述操作包括：

接收血管的一个或多个输入图像；

使用机器学习模型来处理所述一个或多个输入图像，所述机器模型被训练成识别血管中的纤维化帽的位置，其中所述机器学习模型使用多个训练图像来训练，所述多个训练图像中的每一个训练图像注释有一个或多个纤维化帽的位置，每个纤维化帽邻近相应的脂质池；

接收一个或多个输出图像作为所述机器学习模型的输出，所述一个或多个输出图像具有表示纤维化帽的预测位置的可视化地注释的片段；

从所述一个或多个输出图像中基于所述一个或多个输入图像中的多个点的信号强度生成纤维化帽相对于邻近的脂质池的更新后的边界。