CN117915826A - 基于深度学习的oct图像质量保证方法 - Google Patents

基于深度学习的oct图像质量保证方法 Download PDF

Info

Publication number
CN117915826A
CN117915826A CN202280058797.3A CN202280058797A CN117915826A CN 117915826 A CN117915826 A CN 117915826A CN 202280058797 A CN202280058797 A CN 202280058797A CN 117915826 A CN117915826 A CN 117915826A
Authority
CN
China
Prior art keywords
image
diagnostic medical
oct
images
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280058797.3A
Other languages
English (en)
Inventor
J·A·布拉伯
A·戈皮纳特
H·陈
K·E·萨维奇
A·张
G·P·阿米斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optical Experimental Imaging Co
Original Assignee
Optical Experimental Imaging Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optical Experimental Imaging Co filed Critical Optical Experimental Imaging Co
Publication of CN117915826A publication Critical patent/CN117915826A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30021—Catheter; Guide wire
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本公开的各方面涉及训练机器学习模型或神经网络以对OCT图像进行分类的系统、方法和算法。神经网络或机器学习模型可以接收带注释的OCT图像，所述带注释的OCT图像指示OCT图像的哪些部分被遮挡而哪些部分是清晰的以及OCT图像是清晰的还是被遮挡的分类。训练后，神经网络可用于对一个或多个新的OCT图像进行分类。用户界面可被提供来输出分类的结果，并概述对一个或多个OCT图像的分析。

Description

基于深度学习的OCT图像质量保证方法
相关申请的交叉引用
本申请要求获得2021年7月12日提交的第63/220,722号美国临时申请的申请日的权益，该临时申请的全部公开内容在此通过引用的方式并入本文。
技术领域
本公开总体上涉及血管系统成像和数据收集的系统和方法的领域。特别是，本公开涉及改进光学相干断层扫描(OCT)系统中的图像质量检测和图像分类的方法。
背景技术
光学相干断层扫描(OCT)是一种成像技术，其使用光来捕获微米尺度的组织的横截面图像。OCT可以是一种基于导管的成像方式，其利用光窥视冠状动脉或其他动脉壁并生成图像供研究。利用相干光、干涉测量学和微光学，OCT可在患病血管内以微米级分辨率提供体内断层扫描的视频速率。使用光纤探头以高分辨率观察亚表层结构，使OCT特别适用于内部组织和器官的微创成像。OCT的这种详细程度使医生能够诊断和监测冠状动脉疾病的进展。
由于各种原因，OCT图像可能会被降级。例如，在获取血管的OCT图像时，由于血管内血液的存在，OCT图像可能会降级。血液的存在会阻碍在血管内程序中血管边界的正确识别。被降级的图像可能无法用于解释或诊断。例如，在“回拉”中，用OCT装置扫描血管的长度的程序可能会获得成千上万的图像，其中的一些图像可能会降级、不准确，或由于在OCT回拉中阻挡管腔轮廓的血液的存在而无法用于分析。
要识别哪些OCT图像质量被降级需要对血管的OCT扫描期间获得的数百或数千个图像进行逐帧或逐个人工分析。此外，这种分析将在OCT程序完成后执行，可能需要额外的OCT扫描，以获得对应于被降级的图像的血管的一些部分的更高质量图像。
需要去检测血液的存在的额外设备可能会改变常见的临床工作流程，使图像质量降级或增加临床实现方式的复杂性。为检测可能不正确的管腔检测而开发的其他工具已被证明是不可靠的，不能直接检测所捕获的OCT图像是否被血液遮挡，因此对解释没有帮助。
发明内容
直接从图像中实时或近乎实时地识别哪些图像或哪组图像质量降级，将允许在解释OCT扫描时忽略这些图像，并允许在OCT设备仍在原位时重新扫描血管中被遮挡的部分。
本公开技术的各方面允许计算OCT回拉的清晰图像长度(CIL)。清晰图像长度可以是OCT回拉的连续部分上的指示，该连续部分没有被例如血液阻碍。
本公开技术的各方面包括对诊断医疗图像进行分类的方法。该方法可以包括接收诊断医疗图像；实时或接近实时地使用经过训练的机器学习模型分析所述诊断医疗图像，其中所述经过训练的机器学习模型是在带注释的诊断医疗图像的集上训练的；基于所述分析，识别针对所述诊断医疗图像的图像质量；以及实时或接近实时地输出所识别的图像质量的指示，以用于在用户界面上显示。诊断医疗图像可以是一系列诊断医疗图像中的单个图像。所述一系列诊断医疗图像通过光学相干断层扫描回拉而获得。诊断医疗图像可分类为第一分类或第二分类。当诊断医疗图像被分类为第二分类时，可提供警报或通知。带注释的诊断医疗图像的集带有注释，包括清晰、血液或导引导管。诊断医疗图像可以是光学相干断层扫描图像。诊断医疗图像可被分类为清晰医疗图像或血液医疗图像。可以计算指示诊断医疗图像是可接受的还是不可接受的概率。可使用阈值法将计算出的概率转换为诊断医疗图像的分类。可使用图形切割将计算出的概率转换为诊断医疗图像的分类。可使用形态学分类法将计算出的概率转换为诊断医疗图像的分类。“可接受的”可以是指诊断医疗图像高于预先限定的阈值质量，这允许对高于准确度或置信度的阈值水平的人体组织的特点进行评估。清晰图像长度或清晰图像长度指示物可被显示或输出。
本公开技术的各方面可以包括一种系统，该系统包括处理装置，该处理装置联接到存储指令的存储器，该指令使该处理装置：接收所述诊断医疗图像；实时或接近实时地使用经过训练的机器学习模型分析所述诊断医疗图像，其中所述经过训练的机器学习模型是在带注释的诊断医疗图像的集上训练的；基于所述分析，识别针对所述诊断医疗图像的图像质量；以及实时或接近实时地输出所识别的图像质量的指示，以用于在用户界面上显示。诊断医疗图像可以是光学相干断层扫描图像(OCT)。指令可被配置为显示多个OCT图像以及与多个OCT图像中每个图像的分类相关的指示物。一系列诊断医疗图像可以通过光学相干断层扫描回拉而获得。
本公开技术的各方面可以包括包含程序指令的非暂时性计算机可读介质，该指令在被执行时执行以下步骤：接收诊断医疗图像；实时或接近实时地使用经过训练的机器学习模型分析所述诊断医疗图像，其中所述经过训练的机器学习模型是在带注释的诊断医疗图像的集上训练的；基于所述分析，识别针对所述诊断医疗图像的图像质量；以及实时或接近实时地输出所识别的图像质量的指示，以用于在用户界面上显示。诊断医疗图像可以是一系列诊断医疗图像中的单个图像。所述一系列诊断医疗图像可以通过光学相干断层扫描回拉而获得。诊断医疗图像可分类为第一分类或第二分类。当诊断医疗图像被分类为第二分类时，可提供警报或通知。带注释的诊断医疗图像的集带有注释，包括清晰、血液或导引导管。诊断医疗图像可被分类为清晰医疗图像或血液医疗图像。可以计算指示诊断医疗图像是可接受的还是不可接受的概率。可使用阈值法将计算出的概率转换为诊断医疗图像的分类。可使用图形切割将计算出的概率转换为诊断医疗图像的分类。可使用形态学分类法将计算出的概率转换为诊断医疗图像的分类。“可接受的”可以是指诊断医疗图像高于预先限定的阈值质量，这允许对高于准确度或置信度的阈值水平的人体组织的特点进行评估。清晰图像长度或清晰图像长度指示物可被显示或输出。无法分类的图像可以存储起来，以便重新训练经过训练的机器学习模型。
附图说明
图1示出了根据本公开的各方面的成像和数据收集系统的示意图。
图2A图示了根据本公开的各方面的“清晰的”OCT图像。
图2B图示了根据本公开的各方面的带注释的“清晰的”OCT图像。
图3A图示了根据本公开的各方面的“被遮挡的”OCT图像。
图3B图示了根据本公开的各方面的带注释的“被遮挡的”OCT图像。
图4图示了根据本公开的各方面与数据的训练集相关的直方图。
图5图示了根据本公开的各方面的训练过程的流程图。
图6图示了根据本公开的各方面的与对OCT图像进行分类相关的流程图。
图7图示了根据本公开的各方面的可用于对一系列OCT图像进行分类或分组的技术的各方面。
图8图示了根据本公开的各方面的与腔体轮廓置信度和图像质量相关的用户界面。
图9图示了根据本公开的各方面的可用于产生或计算OCT回拉的清晰图像长度(CIL)的方法。
图10图示了根据本公开的各方面的示例性CIL成本矩阵。
图11图示了根据本公开的各方面的将CIL并入OCT回拉的示例性OCT回拉。
图12是根据本公开的各方面的图示了使用基于机器学习任务的方法来保证图像质量的示例方法的流程图。
图13A是根据本公开的各方面的来自管腔检测任务的示例性图像。
图13B是根据本公开的各方面的图13A的图像的示例性任务结果。
图13C是根据本公开的各方面的管腔检测任务的示例性置信度结果。
图14A至图14B提供了根据本公开的各方面的图示出与图13C相关的置信度值的示例性图表。
图15A是根据本公开的各方面的来自管腔检测任务的另一个示例性图像。
图15B是根据本公开的各方面的图15A的图像的另一个示例性任务结果。
图15C是根据本公开的各方面的管腔检测任务的另一个示例性置信度结果。
图16A至图16B提供了根据本公开的各方面的图示出与图15C相关的置信度值的示例性图表。
图17A图示了根据本公开的各方面的基于A线帧的示例性置信度聚合。
图17B图示了根据本公开的各方面的基于帧回拉的示例性置信度聚合。
图18是根据本公开的各方面的示例性用户界面的截图。
具体实施方式
本公开涉及通过使用基于机器学习的技术来实时识别图像质量差的医疗诊断图像的系统、方法和非暂时性计算机可读介质。医疗诊断图像的非限制性示例包括OCT图像、血管内超声(IVUS)图像、CT扫描或MRI扫描。例如，OCT图像被接收并使用经过训练的机器学习模型进行分析。在一些示例中，经过训练的机器学习模型可以在分析图像后输出概率。在一些示例中，输出的概率可以与图像是否属于特定类别或分类的概率有关。例如，分类可能与所获得图像的质量和/或质量是否足以执行进一步处理或分析有关。在一些示例中，分类可以是二元分类，例如“可接受/不可接受”或“清晰/遮挡”。
机器学习模型可以基于带注释或标记的数据集进行训练。带注释或标记的数据集可以包括对图像中的某些部分的分类或识别。根据一些示例，训练数据的集可被标记或分类为“血液遮挡”或“非血液遮挡”。在一些示例中，训练数据可标记为可接受或不可接受/遮挡。在一些示例中，数据的集可以包括在一次或多次OCT回拉中获得的OCT图像。在一些示例中，一个或多个训练数据集可以被选择或分层，使得训练数据的每个集具有对数据的分类的类似分配。
例如通过增强、修改或改变训练数据集，数据的训练集可以被操作。机器学习模型的训练也可以在经过操作的训练数据集上进行。在一些示例中，使用增强、修改或改变后的训练数据可以概括机器学习模型并防止机器学习模型的过度拟合。
在通过经过训练的机器学习模型进行OCT图像的分类之后，或者在获得图像属于特定类别的概率之后，可以在向用户显示与图像相关的信息之前对图像使用后处理技术。在一些示例中，后处理技术可包括舍入技术、图形切割、侵蚀、扩张或其他形态学方法。在向用户显示与OCT图像相关的输出时，还可以生成和使用与经分析的OCT图像相关的附加信息，例如，指示哪些OCT图像是不可接受或是被遮挡的信息。
如本公开中所使用的，OCT图像或OCT帧可以互换使用。进一步地，如本公开内容中所使用的，以及本领域技术人员所理解的，“不可接受的”或“被遮挡的”OCT图像是指由于血液或其他液体的存在而无法对管腔和血管壁进行清晰成像的图像。
尽管此处给出的示例主要是结合OCT图像进行描述，但本领域技术人员会理解，此处描述的技术可应用于其他成像调制。
图1说明了用于收集血管内数据的数据收集系统100。该系统可包括数据收集探头104，该数据收集探头104可用于对血管102进行成像。导线(未显示在图中)可用于将探头104引入血管102。探头104可以在收集数据时沿着血管的长度引入并回拉。当探头104回拉或缩回时，多个扫描或OCT和/或IVUS数据集可以被收集。这些数据集或图像数据帧可用于识别特征，例如血管尺寸、压力和流量特征。
探头104可以经由光纤106连接到子系统108。子系统108可包括光源(如激光器)、具有样本臂和参考臂的干涉仪、各种光路、时钟产生器、光电二极管以及其他OCT和/或IVUS部件。
探头104可以连接到光学接收器110。根据一些示例，光学接收器110可以是基于平衡光电二极管的系统。光学接收器110可以被配置为接收由探头102收集的光。
该子系统可以包括计算装置112。计算装置可以包括一个或多个处理器113、存储器114、指令115、数据116以及一个或多个模块117。
一个或多个处理器113可以是任何常规的处理器，例如市售的微处理器。或者，一个或多个处理器可以是专用装置，如专用集成电路(ASIC)或其他基于硬件的处理器。尽管图1在功能上说明了装置110的处理器、存储器和其他元件在同一区块内，但本领域普通技术人员将理解，处理器、计算装置或存储器实际上可以包括多个处理器、计算装置或存储器，它们可以被储存或不被储存在同一物理壳体内。同样，存储器可以是硬盘或其他存储介质，位于不同于装置112的壳体的壳体中。因此，对处理器或计算装置的提及将被理解为包括对处理器或计算装置或存储器的集合的提及，这些处理器或计算装置或存储器可以并行操作，或可以不并行操作。
存储器114可以存储处理器可访问的信息，包括可由处理器113执行的指令115，以及数据116。存储器114可以是一种存储器类型，该存储器类型可操作为存储处理器113可访问的信息，包括非暂时性计算机可读介质，或是存储可借助电子装置读取的数据的其他介质，例如硬盘、存储卡、只读存储器(“ROM”)、随机存取存储器(“RAM”)、光盘，以及其他可写存储器和只读存储器。本文公开的主题可以包括上述的不同组合，由此指令101和数据119的不同部分被存储在不同类型的介质上。
存储器114可由处理器113根据指令115检索、存储或修改。例如，尽管本公开内容不受特定数据结构的限制，但数据115可以被存储在计算机寄存器中，在关系数据库中作为具有多个不同字段和记录的表、XML文档或平面文件。数据115也可以格式化为计算机可读的格式，例如，但不限于，二进制值、ASCII或Unicode。仅通过进一步的示例，数据115可以存储为由像素组成的位图(该位图以压缩或未压缩的方式存储)，或各种图像格式(例如，JPEG)、基于矢量的格式(例如，SVG)或用于绘制图形的计算机指令。此外，数据115可以包括足以识别相关信息的信息，如数字、描述性文本、专有代码、指针、对存储在其他存储器(包括其他网络位置)中的数据的引用，或被函数用来计算相关数据的信息。存储器114还可以包含或存储训练数据集，例如OCT图像，以便与机器学习模型结合使用，以训练机器学习模型来分析未包含在训练数据集中的OCT图像。
指令115可以是由处理器113直接执行的指令(例如机器码)或间接执行的指令(例如脚本)的任何集。在这方面，术语“指令”、“应用”、“步骤”和“程序”可以在此互换使用。指令可以以目标代码格式存储，以便由处理器直接处理，或以任何其他计算装置语言(包括脚本或按需解释或提前编译的独立源代码模块的集合)存储。指令的功能、方法和例行程序将在下文中详细解释。
模块117可包括显示模块。在一些示例中，还可包括其他类型的模块，例如用于计算其他血管特点的模块。根据一些示例，这些模块可以包括图像数据处理管线或其部件模块。图像处理管线可用于将已收集的OCT数据转化为血管、支架和/或检测区域的二维(“2D”)和/或三维(“3D”)视图和/或表示。模块117还可以包含图像识别和图像处理模块，以识别和分类图像中的一个或多个元素。
模块117可包括机器学习模块。机器学习模块可以包括机器学习算法和机器学习模型，包括神经网络和神经网。机器学习模块可以包括机器学习模型，这些机器学习模型可以使用训练数据集进行训练。在一些示例中，但不限于此，机器学习模块或机器学习算法可以包括或由卷积神经网络、感知器网络、径向基网络、深度前馈网络、循环神经网络、自动编码器网络、门控循环单元网络、深度卷积网络、解卷积网络或支持向量机网络的任意组合形成。在一些示例中，机器学习算法或机器学习模型可以被配置为将医疗诊断图像(例如OCT图像)作为输入，并且提供该图像属于特定分类或类别的概率作为输出。
子系统108可以包括用于向用户输出内容的显示器118。如图所示，显示器118与计算装置112分开，然而，根据一些示例，显示器118可以是计算装置112的一部分。显示器118可以输出与血管中检测到的一个或多个特征有关的图像数据。例如，输出可包括但不限于横截面扫描数据、纵向扫描、直径图、图像掩膜等。输出可进一步包括病变和血管特点或病变特点的可视化指示物，如计算的压力值、血管大小和形状或类似指示物。输出可进一步包括与已收集的OCT图像有关的信息(例如所获得的OCT图像不“清晰的”区域)或有关OCT扫描的概要信息(例如扫描的总体质量)。显示器118可以用文字、箭头、颜色编码、突出显示、轮廓线或其他合适的人或机器可读的标志来识别特征。
根据一些示例，显示器118可以包括图形用户界面(“GUI”)。根据其他示例，用户可以与计算装置112进行交互，从而使用其他形式的输入(例如鼠标、键盘、触控板、麦克风、手势传感器或任何其他类型的用户输入装置)在显示器118上输出特定内容。一个或多个步骤可以自动地或在没有用户输入的情况下被执行，以导航图像、输入信息、选择和/或与输入互动等。显示器118和输入装置以及计算装置112可以允许在工作流程的不同阶段、不同查看模式等之间进行转换。例如，用户可以选择血管的一区段以查看OCT图像和对OCT图像的相关分析，例如该图像是否被认为是可接受的/清晰的或不可接受的/被遮挡的，如下文进一步解释。
图2A图示了“清晰的”OCT图像。图2A所示为清晰的OCT图像200。OCT图像200是血管组织的一部分的截面图表示。OCT图像可能是不均匀的，在程度、强度和形状上各不相同，并且包括伪影，例如来自导线的明亮同心环或明亮结构。图像200中图示的是管腔205以及位于中心的OCT导线210，该导线210被包括在OCT导引导管215的外周内。OCT图像200是清晰的，因为除了导引导管外，图像中没有观察管腔的障碍或伪影。在OCT图像200中，管腔的轮廓在图像中清晰可见，血液(如果有的话)的存在量是最小的或低于预先确定的阈值。因此，OCT图像200是“清晰的”。
图2B图示了图像200的带注释的版本，注释了清晰的OCT图像250。图2B中标注了OCT导线210和OCT导引导管215，以供参考。带注释的清晰图像250是清晰的OCT图像200的带注释或标记的版本，其中用管腔注释251标记了管腔。与管腔注释251相似，导引导管也可以进行注释，如图2B中虚线所描绘的那样。在一些示例中，注释的特定集可用于训练机器学习模型，而其他注释则被忽略或不用于训练。例如，由于预计导引导管可能会出现在所有OCT图像中，因此在训练机器学习模型时可能不会使用导引导管，之后在对新图像进行分类时也不会使用。图像250可分类为“清晰”图像，因为管腔大部分可见，且没有妨碍观察管腔的主要障碍物。
图像250还可以与标签、元数据相关联，或被归入一个类别(例如，“清晰”)以表明图像在用于训练机器学习模型时被认为是清晰的。机器学习模型可以被配置为执行新图像的分类。分类是一种基于一个或多个自变量确定因变量所属类别的技术。因此，分类将一个或多个自变量作为输入，并输出分类或与分类相关的概率。例如，图像250可以是机器学习训练数据的集的一部分，该机器学习训练数据被用于训练机器学习模型，以分类新图像。通过使用在用于训练机器学习模型的数据集中的图像的分类(包括图像250等的图像及其相关类别)，机器学习算法可以被训练以评估哪些特征或特征的组合会导致特定图像被归类为“清晰的”或被归类为不同类别。
图3A图示了“被遮挡的”OCT图像。图3图示为被遮挡的OCT图像300。从OCT图像300中可以看出，图像的一部分被图像的左上部分和居中的导引导管315及导线310周围的血液301遮挡。
在一些示例中，被视为“被遮挡的”或“不可接受”的遮挡程度可由用户配置或在制造中预先设定。仅通过示例的方式，管腔的25％或更多部分被血液遮挡的图像可视为“被遮挡的”图像。
图3B图示了带注释的“被遮挡的”OCT图像。带注释的被遮挡OCT图像350图示了被遮挡的OCT图像300的带注释版本。注释351(实心圆线)图示了管腔部分，注释352图示了管腔被血液301遮挡的部分，注释353(向左上凸的闭合形状)图示了OCT图像中血液的部分。与清晰的带注释图像250类似，被遮挡的带注释图像350也可以与标签、元数据相关联，或被放入一种类别中，例如“不清晰的”、“被遮挡的”或“血液”，以表明图像在用于机器学习模型训练时不可接受或被认为不清晰。
图4图示了与数据的训练集相关的直方图400。例如，训练数据可以包括具有不同清晰度或遮挡程度的OCT图像，如上文结合图2和图3所述的图像。数据的训练集可进一步包括附加信息(例如注释、元数据、测量或对应于OCT图像的其他信息)，这些附加信息可用于将OCT图像进行分类。数据的训练集可包括任意数量的图像，更多数量的图像可以提高机器学习模型的准确性。例如，可以使用数百或数千张OCT图像，这些图像可以从各种OCT回拉或其他OCT测量中获得。在直方图400中指示了或可见到图像的相对比例，这些图像已被分类或由导引导管组成，由于血液而被遮挡，或是清晰的。图像的相对比例可以被调整或调节，以调整对经过训练的机器学习模型的训练。数据的训练集可以被调整，以具有这些不同类别的适当比例，以确保正确的训练。例如，如果训练集是“不平衡的”(例如包括了较多清晰图像)，机器学习模型可能无法充分训练来区分导致图像不“清晰”的特征，并且可能会偏向于通过简单地将大多数图像分类为“清晰”而不真实地提高性能。通过使用更“平衡”的训练集，可以避免这一问题。
图5图示了方法500的流程图。方法500可被用于训练神经网、神经网络或其他机器学习模型。神经网络或神经网可以由模拟神经元的集合组成。神经网络的训练可以包括权衡神经元之间的各种连接或神经网络的连接。神经网络的训练可以发生在可以观察到与网络相关的误差的轮次(epoch)中，直到误差充分收敛。在一些示例中，但不限于此，神经网或神经网络可以是卷积神经网络、感知器网络、径向基网络、深度前馈网络、循环神经网络、自动编码器网络、门控循环单元网络、深度卷积网络、解卷积网络、支持向量机网络，或者这些或其他类型的网络的任意组合。
在方框505，可以获得医疗诊断图像的集。在一些示例中，医疗诊断图像的集可以从OCT回拉或其他血管内成像技术中获取。在其他示例中，医疗诊断图像的集可以随机化或取自各种样本、试样或血管组织，以提供大样本尺寸的图像。医疗诊断图像的集可以类似于OCT图像200或OCT图像300。
在方框510，医疗诊断图像的集可以准备用作训练机器学习模型的数据集。在此方框中，一种或多种技术可以被用来准备医疗诊断图像的集(用作训练数据)。
例如，医疗诊断图像可以被注释。医疗诊断图像的集当中的每个医疗诊断图像的一些部分可以被注释，以形成类似于例如带注释的清晰OCT图像250或带注释的被遮挡的OCT图像的图像。例如，每个图像都可以具有注释有“清晰”或“血液”的图像部分，以代表该图像中代表图像的部分。例如，可以对用于训练的医疗诊断图像的集进行注释或分类，以创建类似于带注释的清晰OCT图像250和带注释的被遮挡OCT图像350的图像。在其他示例中，注释可以通过数字方式绘制在图像上，以识别图像中对应于特定特征(如管腔、血液或导引导管)的部分。在一些示例中，带注释的数据可以表示为图像的一部分或像素的集。
医疗诊断图像也可以被分类或分成类别。在一些示例中，可以通过人工操作员进行分类。例如，医疗诊断图像可以在二元集的值之间进行分类，例如[不可接受、可接受]、[不清晰、清晰]、[被遮挡、未被遮挡]或[无用、有用]。在一些示例中，可以使用非二元分类，例如一组可以表示被遮挡百分比的分类，如[被遮挡0％、被遮挡20％、被遮挡40％、被遮挡60％、被遮挡80％或被遮挡100％]。每个医疗诊断图像都可放入最能代表该医疗诊断图像的类别。
在一些示例中，多种类型的分类可以被用在医疗诊断图像。医疗诊断图像可与多组类别相关联。例如，如果医疗诊断图像上具有支架且可能有血液遮挡，则图像的分类可以是<支架，被遮挡>。另一个示例是，帧是否包括导引导管，图像的分类可以是<导管，被遮挡>。在机器学习模型的训练或数据的分类过程中，可以共同使用多种分类。
在一些示例中，可对训练数据集进行精简或调整，以包括所需的被遮挡的和清晰图像的分布。
在用于训练之前，可以对医疗诊断图像的集进行再加工、操纵、修改、校正或概括。对医疗诊断图像的操纵允许机器学习模型的训练相对于一个或多个特征保持平衡，而不是对特定特征过度拟合。例如，医疗诊断图像的可以重新调整大小，使用随机傅里叶级数进行变换，在极坐标中翻转，随机旋转，调整对比度、亮度、强度、噪声、灰度、标度，或对其进行其他调整或改变。在其他示例中，任何由矩阵表示的线性映射都可以应用于OCT图像。当模型过于简单(例如只有两个特征)，并且不能准确代表分类或分析新图像所需的复杂性时，就会出现欠拟合。当训练的模型没有足够被概括来解决数据的训练集要表示的一般问题时，就会发生过拟合。例如，当经过训练的模型能更准确地对数据的训练集中的图像进行分类，但在数据的测试集中的准确率却较低时，该经过训练的模型可以说是过拟合的。因此，举例来说，如果所有图像都是一个方位或具有特定对比度，模型可能会变得过拟合，无法对具有不同对比度或不同方位的图像准确分类。
在方框515，神经网络、神经网或机器学习模型可以使用分类过的数据集训练。在一些示例中，机器学习模型的训练可以在轮次中处理，直到与机器学习模型相关的误差充分聚集或稳定。在一些示例中，神经网络被训练为对图像进行分类(例如在图像的二元集中)。例如，神经网络可以基于训练数据集进行训练(训练数据集包括清晰的图像和被遮挡的图像)，并且被训练为输出“清晰”或“被遮挡”作为输出。
在方框520，经过训练的神经网、神经网络或机器学习模型可以被测试。在一些示例中，神经网络可以基于那些未用于训练网络并且其分类是已知的图像来测试。在一些示例中，在进行图像的人工分类后，可将分析后认为是“边缘情况”的图像(例如无法明确分类的图像)用于重新训练神经网络。例如，如果确定特定图像描绘的是充满血液的血管横截面或是具有较低置信度的清晰血管横截面，则该特定图像可以被保存以供操作员分析。一旦人工操作员对图像进行了分类，则图像可以被添加到用于训练机器学习模型的数据集中，并用新的边缘情况图像对模型进行更新。
在方框525中，学习曲线(例如训练机器学习模型的各个轮次的损失或误差率曲线)可以被显示。在一些示例中，每个轮次可以与用于训练机器学习模型的OCT图像的独特的集相关。学习曲线可用于评估训练和测量中每次更新的效果，而绘制每个轮次或更新期间的模型的性能可以提供有关经训练的模型的特点和性能的信息。在一些示例中，对模型的选择可以使得该模型具有最小的验证损失，因此验证损失训练曲线最为重要。方框515和方框520可以重复，直到机器学习模型得到充分训练，并且经过训练的模型具有所需的性能特点。作为一个示例，经过训练的模型的计算时间或计算强度可以是低于某个阈值的性能特点。
模型可以保存在包括最低验证损失的轮次，该模型及其经过训练的特点可被用于评估测试集上的性能指标，该测试集可能未用于训练。如果这种模型的性能超过了阈值，该模型可以被认为经过了充分的训练。还可以研究与机器学习模型相关的其他特点。例如，接收者操作特征曲线或混淆矩阵可用于评估经过训练的机器学习模型的性能。
图6提供了图示出医疗诊断程序中图像分类的方法600的流程图。方法600可被用于刻画OCT图像或一系列OCT图像。例如，方法600可被用于刻画与OCT回拉有关的一系列OCT图像，在回拉中会获得对应于血管组织(如动脉)的特定长度的OCT图像。这种刻画可用于实时向医生表明是否获得了具有预先限定的质量阈值的图像。在这方面，如果OCT回拉的图像质量不够，那么当OCT探头和导管仍在患者血管内时，医生可以在同一医疗程序中执行另一次回拉，而不需要进行后续程序，在所述后续程序中需要重新插入OCT导管和探头。
在方框605中，一个或多个未分类的OCT图像可以被接收。接收到的OCT图像可以与血管组织内的特定位置相关联，这个位置随后可用于创建在OCT期间获得的数据的各种表示。
在方框610中，接收到的OCT图像可以使用经过训练的神经网络、经过训练的神经网或经过训练的机器学习模型进行分析或分类。经过训练的神经网络、经过训练的神经网或经过训练的机器学习模型已经过训练和调整，以从数据的训练集中识别各种特征(例如管腔或血液)。这些参数可以使用图像或物体识别技术来识别。在其他示例中，可以从图像或图像数据中收集一组特点，这些特点在机器学习模型或神经网络的训练过程中可以是已知变量或隐藏变量。例如，图像的元素的相对颜色、对比度或圆度可能是已知变量。其他隐藏变量可以在训练过程中导出，并且可能无法直接识别，但与所提供的图像相关。其他变量可能与图像元数据有关，例如哪个OCT系统拍摄了图像。在其他示例中，经过训练的神经网络可以基于网络的训练，在网络的各个神经元或连接之间设定权重。这些设定了权重的连接可以获取输入图像并权衡图像的各个部分或图像中包含的特征，从而生成最终结果(例如概率或分类)。在一些示例中，训练可以被认为是受到监督的，因为每个输入图像都具有与其相关联的手动注释。
经过训练的神经网络、经过训练的神经网或经过训练的机器学习模型可以将OCT图像作为输入，并将图像的分类提供作为输出。例如，所述输出可以是图像是“清晰的”还是“被遮挡的”。在一些示例中，神经网络、神经网络或机器学习模型可以提供与接收到的OCT图像相关的概率，例如OCT图像是“清晰的”还是“被遮挡的”。
在一些示例中，例如参照图7所述的示例，其他方法可以被用来对一系列OCT图像进行分类或分组。
在其他示例中，多个神经网络或机器学习模型可以被用来处理OCT图像。例如，可以使用任意数量的模型，并且可以对模型的概率结果进行平均以提供更稳健的预测或分类。当特定图像难以分类或是边缘情况(在边缘情况中，一个模型无法对OCT图像的结果进行明确分类)时，可以可选地使用多个模型。
在方框615，从方框610接收到的输出可以被附加或以其他方式与接收到的OCT图像相关联。在向用户显示OCT图像时，该信息可以被使用。
在方框620，关于OCT图像的信息和/或关于OCT图像质量的信息可以在用户界面上提供给用户。参照图8给出了用户界面的附加示例。例如，信息可以与每个OCT图像或者OCT扫描或OCT回拉的概要一起显示。在一些示例中，血管的纵向视图(例如图8所示)可以从OCT图像的组合来创建，并且可以在纵向视图旁边显示有关由于“被遮挡的”图像而未对血管的哪些部分进行成像的信息。
在其他示例中，有关扫描的概要信息可以被提供以便在显示器上向用户显示。概要信息可以包括例如被认为是被遮挡的帧或OCT图像的数量或被认为是清晰的OCT图像的总体百分比等信息，并且概要信息识别被遮挡的OCT图像的群组的区域。概要信息。在其他示例中，概要信息或通知可以提供关于为什么特定帧被遮挡的原因的附加信息(例如OCT回拉执行得太快)。
图7图示了可从概率对一系列OCT图像进行分类或分组的技术的各方面。图7所图示的图表710表示特定图像在0到1的标度内“清晰”或“被遮挡”的概率。图710是原始概率值，可从经过训练的机器学习模型或神经网络中获得。0的概率意味着图像被认为是完全清晰的，而1的概率则意味着图像被认为是被遮挡的。介于0和1之间的值表示图像清晰或被遮挡的可能性。图表710中的水平x轴可以代表一系列OCT图像或OCT帧的帧号(例如在OCT回拉过程中获得的帧号)。水平x轴还可以与为创建OCT图像而成像的血管组织的近端或远端位置相关。
图表720图示了使用“阈值”技术将图表710的概率分布分类为二元分类。在阈值技术中，概率值高于某一阈值的OCT图像可视为“被遮挡的”，而概率值低于相同阈值的图像可视为“清晰”。因此，图表710可被用作输入，图表720可用作输出。
图表730图示了使用图形切割技术对图表710的概率分布进行分类。例如，图形切割算法可被用于将概率分类为“清晰的”或“被遮挡的”。
图表740图示了使用形态学技术对图表710的概率分布进行分类。形态学技术将结构元素应用于输入图像，创建相同大小的输出图像。在形态学操作中，输出图像中每个像素的值基于输入图像中相应的像素与其邻近像素的比较。图表710的概率值可以通过这种方式进行比较，以创建图表740。
图8图示了示例性用户界面800，图示了管腔轮廓置信度和图像质量的各个方面。用户界面800图示了在部件810中一系列的OCT图像的线性表示，横轴指示血管组织内的位置或深度。部件810中的指示物811可以代表血管组织内的当前位置或OCT图像820所代表的血管组织内的深度。指示物812可以是对应于水平轴线的彩色指示物。指示物812可以是彩色的(例如是红色的)，以表示与该位置相关的OCT图像“被遮挡”或“清晰”的概率或置信度。在一些示例中，白色或半透明的叠加层可能会出现在图像的对应于指示物812的部分上，以进一步指示该区域的置信度较低。图像820可以是指示物812所代表的位置处的OCT图像。图像820还可以包含着色或其他指示物，以指示低置信度区域的管腔部分。用户界面800还可以包含重新执行OCT回拉或接受OCT回拉的结果的选项。
在一些示例中，与图像820相关的附加元数据可以被显示在用户界面800上。例如，如果关于图像的附加信息可用，例如，图像的分辨率、所用图像的波长、粒度、OCT帧的疑似直径或与OCT回拉有关的其他元数据，这些可协助于医生评估OCT帧。
如图8所示，界面可进一步向医生提供提示，以响应与图像的机器学习评估有关的通知或其他信息。例如，提示可以为医生提供选择是否接受已收集的图像并继续进行程序的下一步，还是重复图像收集步骤，例如通过执行另一个OCT回拉。例如，用户界面800可以包括提示830，该提示830可以使OCT回拉重复进行。一旦选择提示830或与之交互，计算装置就可以使OCT设备被配置为接收额外的OCT帧。界面800还可以包括允许接受OCT的结果的提示831。一旦与提示831交互，额外的OCT帧将不会被接受。此外，如参考图9至图11所进一步解释的，用户界面800可以显示OCT回拉的清晰图像长度(CIL)。在一些示例中，当CIL小于预先确定的长度时，用户界面800可建议或要求再次执行OCT回拉。
图9图示了方法900。方法900可用于生成或计算OCT回拉的清晰图像长度(CIL)。清晰图像长度或CIL可以是与OCT回拉的连续部分相关的指示或信息，该连续部分未被阻塞或被确定为是清晰的(例如未被血液遮挡或被视为血液帧)。“n”个帧的回拉的CIL矢量分数可以使用0到n之间的值来计算。0分代表完全不匹配，而n分代表完全匹配。参考图10给出了CIL向量分数的示例。匹配指的是与CIL分类相匹配的分类。在一些示例中，在CIL分类中，“禁区”内的所有内容都可以是0，而禁区外的所有内容都可以是1。如果CIL分类与每帧分类相匹配，则可以在分数中加上“1”，如果两者不匹配，则可以在分数中加上“0”。得分最高的CIL可以被选择。
在方框905，对于给定的OCT回拉，可以对回拉中的每个OCT图像执行每帧质量保证分类。在一些示例中，二元分类可以被使用，从而为每个OCT帧得出0或1分。在其他示例中，例如通过使用组装技术，可以为每个OCT帧生成范围在0到1之间的值。
在方框910，执行对例如标记x1和标记x2之类的标记位置的穷举搜索。在一些示例中，x1可对应于血液标记，x2对应于清晰标记。例如，参照图8，标记840和标记841可分别对应x1和x2。通过改变标记840和标记841，可以评估所有组合。在对每个位置执行过搜索后，每个x1和x2位置的排列可被计算出，从而使x2>x1，导致计算复杂度大致为(N^2)/2。
在方框915，对于每个排列，与该排列相关的成本可被计算出，并确定针对该成本的全局最优或最大值。在一些示例中，可以通过对自动图像质量向量分数向量和相应的CIL分数向量之间的匹配数求和来计算成本。参考图10给出了计算出的分数的示例。图10上的最大点可以对应于OCT回拉中最长或最大的CIL。该成本矩阵的最大值的位置就是所得到的针对CIL的最佳x1和x2位置。在一些示例中，CIL是非血液帧的“最佳”可能连续范围，但仍可能包括一些血液帧。在一些示例中，CIL可以是对回拉中造影剂团的位置的测量。在其他示例中，由于侧枝以及团与血液的混合，在该团中可能有一些血液帧。
在一些示例中，CIL可以在OCT回拉中自动计算。在一些示例中，下游算法可以使用与CIL相关的信息，以避免处理被血液阻塞的图像，从而改进OCT成像系统的性能并提高OCT系统的计算效率。
在方框920，基于计算出的最优或最大CIL，CIL指示物可以在OCT图像上绘制。例如，CIL可以在彩色虚线之间绘制。在CIL之外，如果有被检测到或分类为“血液”帧的OCT帧，则可以用透明的红色叠加这些帧，以指示该帧是“血液”帧。在CIL中，如果有帧被检测为“血液”帧，则可对这些帧进行视觉平滑处理并显示为透明的红色。
图10图示了示例性CIL成本矩阵1000。成本矩阵1000可以是右上矩阵，因为x2的值>＝x1。区域1005可以是x1和x2的允许值或可行值的区域。成本矩阵1000上还示出了点1010，即参照方框910讨论的最大值。点1010可以从区域1005内的x1和x2的值计算得出。点1010可以对应于成本函数的最大值。在一些示例中，区域1005可以以梯度着色，以二维格式示出强度和成本，点1010可以被选择为成本函数的最大值。
图11图示了将CIL并入OCT回拉的示例性OCT回拉1100。合并到OCT回拉中的CIL也可以参见图8。例如，参照图8，标记840和标记841可分别对应x1和x2。CIL可以是在标记840和标记841之间的长度。
OCT回拉1100可以显示在图形用户界面或用户界面上(例如用户界面800(图8))。OCT回拉1100的水平轴线可以指示OCT帧号、血管组织内的位置或血管组织内的深度。图11所示为OCT回拉1100上的各种标志。虚线1105和虚线1106可以表明CIL的边界。在CIL边界内，用模糊区域表明的是血液区域1115和血液区域1116。虚线1105左侧的区域1120表明CIL的边界以外的区域。在一些示例中，区域1120可以包含叠加的半透明、透的或半透的图像，为用户提供该区域位于CIL以外的视觉指示。位置指示物1130可以表明OCT回拉1100中的位置，该位置与OCT帧1135相对应。
该技术在基于经训练的机器学习模型或经训练的神经网络执行OCT程序时可以提供包含与图像质量有关的信息的实时或接近实时的通知。例如，所述通知可以是图标、文本、声音指示或其他形式的通知，警示医生注意机器学习模型所做的分类。例如，通知可以将图像识别为“清晰”或“被遮挡的”。根据一些示例，通知可包括对特定图像帧或血管区段中血管堵塞程度的量化。这允许医生能够具有对所获得的数据和图像是否足够清晰以用于诊断或其他目的的即时指示，并且不需要在程序完成后手动检查数百或数千张图像。由于手动检查所有OCT图像可能不切实际，因此该技术可以防止对不正确或不够清晰的OCT扫描进行不当解释。
此外，由于分析可以实时进行，因此与OCT图像相关的通知或警报可以表明OCT扫描或OCT回拉的哪些部分质量不够清晰(或被遮挡)，并允许对OCT扫描或OCT回拉的这些部分执行。这样就允许医生在OCT装置仍在原位时对那些不够清晰的部分进行另一次OCT扫描或OCT回拉，从而避免了患者返回进行另一次程序的需要。进一步地，计算装置还可以用一组新的OCT图像替换扫描中被认为有缺陷或被遮挡的部分，并“拼接”或组合这些图像，以提供在OCT回拉中获得的血管的单一纵向视图。
此外，OCT扫描或OCT回拉中不被认为可接受或清晰的部分的识别可由医生进行评估，以确定医生是否对对应于被遮挡的OCT图像的区域感兴趣。
此外，OCT扫描或OCT回拉的概要可提供给用户。例如，概要信息可以包括信息，该信息是关于可接受的帧的总体百分比或数量、第二次扫描是否有可能改进帧的百分比。在其他示例中，概要信息或通知可以提供关于为什么特定帧被遮挡的附加信息(例如OCT回拉执行得太快或血液没有移位)。
在一些示例中，用户或医生可以定义图像是否清晰或被遮挡，例如通过设置用于图像质量检测的阈值，而在其他示例中，计算任务的置信度水平可被用于确定图像是否足够清晰。例如，本文描述了一种基于任务的图像质量评估方法。该基于任务的图像质量评估方法的优点在于，它不需要人类操作员选择高质量和低质量的图像帧来训练预测模型。相反，图像质量是由所完成任务的置信度水平来确定的。图像质量保证方法可以适应计算任务中所用的技术的发展。例如，当完成任务的技术越来越先进时，图像质量保证结果也会随之发展，以更真实地反映图像质量。基于任务的质量保证可以帮助用户保留尽可能多的OCT图像，同时确保这些图像的临床可用性。
图12是图示了使用基于机器学习任务的方法来保证图像质量的示例方法1200的流程图。该任务可以是各种任务中的任何一种，例如管腔轮廓检测、钙检测或任何其他特点的检测。管腔轮廓检测可包括例如几何测量、血管壁或边界的检测、孔或开口的检测、曲线的检测等。此类检测可用于评估血管狭窄的严重程度、识别侧支、识别支架支柱、识别斑块、EEL或其他介质，或者其他类型的血管评估。
在方框1210中，针对任务收集数据。数据可以例如是血管内图像，如OCT图像、超声波图像、近红外光谱(NIRS)、微OCT、图像或任何其他类型的图像。在一些示例中，数据还可包括信息，例如患者信息、图像捕获信息(如日期、时间、图像捕获装置、操作员等)或任何其他类型的信息。数据可以使用一个或多个成像探头从一个或多个患者收集。根据一些示例，数据可以从数据库中检索，该数据库存储了在一段时间内从众多患者捕获的多个图像。在一些示例中，数据可以呈现在极坐标系中。在一些示例中，数据可以被人工注释，例如在任务是识别管腔轮廓时，可表明管腔轮廓的存在和位置。此外，数据可分为用于训练的第一子集和用于验证的第二子集。
在方框1220中，使用已收集到的数据训练机器学习模型。机器学习模型可根据任务进行配置。例如，该模型可被配置为检测管腔轮廓。例如，对模型进行训练可以包括输入与任务相匹配的已收集的数据。对于管腔检测，对模型进行训练可包括输入描绘管腔轮廓的图像。
在方框1230中，基于训练数据来优化机器学习模型。在管腔轮廓检测任务的示例中，模型输入可以是一系列灰度OCT图像，这些图像可以是三维补丁的形式。三维补丁是连续的OCT图像的堆叠，堆叠的大小取决于计算资源，如图形处理单元(GPU)的内存。训练期间的模型输出可能包括由人工操作员手动注释的每个相应的堆叠的二进制掩膜。对三维补丁进行人工注释非常耗时，因此可以在优化机器学习模型之前包括数据增强预处理步骤。数据增强可对带注释的数据执行各种变化，例如对OCT图像和注释的三维补丁进行随机旋转、裁剪、翻转和几何变形，从而生成足够的训练数据集。数据增强过程可因任务类型而异。一旦确定了数据增强步骤，损失函数和优化器就被指定为交叉熵和亚当优化器(Adamoptimizer)。同样，损失和优化器(以及训练过程中的其他超参数)也可因任务和图像数据的类型而异。对机器学习模型进行优化，直到在给定的迭代次数或轮次内的损失函数值最小(所述损失函数值测量模型计算输出与预期输出之间的差异)。
在方框1240中，数据的验证集可以被用于评估机器学习模型的准确性。例如，机器学习模型可以使用验证数据执行，并且机器学习模型是否产生了验证数据的预期结果是可以确定的。例如，带注释的验证图像和机器学习模型的输出可以被比较，以确定带注释的验证图像和机器学习输出图像之间的重叠的程度。重叠的程度可以用数值、比率、图像或任何其他评估相似度或差异度的机制来表示。机器学习模型可通过调整来进一步优化，以说明验证数据的预期结果与验证数据的输出结果之间的任何差异。准确度评估和机器学习优化可以重复进行，直到机器学习模型输出足够准确的结果。
在方框1250中，优化的机器学习模型可为任务提供输出以及对应于输出的置信度值。例如，对于检测管腔轮廓的任务，置信度值可表明图像的某一部分包括轮廓的可能性有多大。
虽然上文结合一项任务描述了方法1200，但在其他示例中，置信度值可以通过整合来自每项任务的信息，基于多项任务而获得。任一示例中的置信度值均可与被评估的图像帧一起输出。例如，置信度值可作为数值在显示器上输出。在其他示例中，置信度值可以作为视觉、音频、触觉或其他指示物输出。例如，所述指示物可以是颜色、阴影、图标、文本等。在一些示例中，视觉指示物可以指定置信度值所对应的图像的特定部分，单个图像可以有多个置信度值对应于图像的不同部分。在进一步的示例中，指示物可仅当置信值高于或低于特定阈值时被提供。例如，当置信度值低于阈值时，表明图像质量低，指示物可向医生发出信号，表明图像不够清晰。当置信度高于阈值时，指示物可发出信号，表明图像是可接受的。这种阈值可以通过上述机器学习优化自动确定。图像质量指示物不仅能捕获图像本身的清晰度，还能在整个分析管线中带来可靠的图像刻画结果，例如用于使用诊断医疗成像系统评估医疗状况。
图13A至图13C图示了使用上述参照图12所描述的机器学习模型来处理的图像。在图13A至图13C的每一个中，水平轴线表明A线的像素，竖直轴线表示图像帧的A线。例如，A线可以是扫描线等。当成像探头随着其通过血管而旋转时，每次旋转可包括多条A线，例如数百条A线。
图13A是血管内图像，例如OCT图像。图13B是机器学习模型的输出。例如，针对管腔检测任务的机器学习模型，该模型输出可以是二进制掩膜。二进制掩膜中的白色像素表示检测到的管腔，而后面的像素表明背景。图13C是管腔检测的置信度图。每个像素都用介于0和1之间的浮动数字表示，其中0表明无置信度，1表示满置信度。图13C的可视化图通过(1-置信度值)来反转数值，从而表示不确定性。如图13C所示，管腔的部分在视场之外，导致低置信度A线。
为了评估图像帧的质量，嵌入在置信度图中的信息可以被转换成关于高质量帧或低质量帧的二进制判定。给定所有OCT帧的置信度图，对于每个帧i，将每个A线上的像素的置信度值转换为代表整个A线的质量的单个置信度值。
图14A至图14B提供了图示出高置信度和低置信度质量A线之间差异的直方图。如果管腔检测任务识别了针对一条A线的管腔和非管腔之间的清晰分割，则任务中使用的计算模型将有把握地将A线上的像素分类为管腔或背景。因此，直方图会示出置信度大部分落在0和1之间。然而，如果沿A线的图像质量较低，则模型将不太有信心将像素确定为管腔或背景。这时，相应的直方图可将其清晰地可视化，呈现出介于0和1之间的几个概率值。这种直方图的差异可以通过下式中定义的熵来计算：
Ei,j表示第i条A线质量在第j帧的熵，a是第i条A线上像素的索引，n是第i条A线上像素的数量，p是位置(i，a)处像素置信度值的概率。
图14A图示了高置信度A线上的熵的示例。在本示例中，根据上式计算的熵为0.48。图14B图示了低置信度A线上的熵，其中熵为22.64。
第j帧质量可以通过以下式子确定：
/>
其中，计数(count)是一个函数，用于计算熵值大于第一阈值T1的A线的数量。T2是第二阈值，表明A线的百分比。第一阈值T1可在制造过程中根据实验结果设定。T1可以是熵值归一化后介于0和1之间的值。通过示例的方式，T1可以是2％、5％、10％、20％、30％、50％或任何其他值。根据一些示例，T1的值可基于用户偏好进行调整。在这个式子中，存在针对图像质量而定义的“好”类别和“坏”类别。例如，如果式子得出的值高于T2，表明高于第二阈值的百分比的A线具有高于第一阈值的熵值，则可将图像帧定义为“好”，并且如果式子得出的值低于T2，则可将图像帧定义为“坏”。在其他示例中，这种置信度分析可以延伸到进一步识别更精细的类别类型。例如，“坏”可进一步包括OCT中夹层、侧支、血栓、切向成像伪影的出现等子类别。
例如，T2的值可基于接收者操作特征(ROC)分析而确定。例如，T2的值可取决于用户可定义的因素或设置，例如灵敏度、特异性、阳性预测值等。通过示例的方式，如果用户希望捕捉每一张低质量图像，那么灵敏度可以设置为接近100％，T2可以设置得相对较低，例如0-10％之间。这可能会导致更多的假阳性，即当只有几个像素不清晰时，图像帧就会被分类为“坏”。在其他示例中，T2可以设置得更高，例如将更少的图像帧归类为“坏”。通过示例的方式，T2可以设置为约70％、50％、30％、20％或任何其他值。
图15A至图15C图示了使用机器学习模型进行图像质量检测的另一个示例。在本示例中，图15A所示的所获取的图像帧是带有血液伪影的图像。即使血液遍布整个管腔，分割任务也能正常完成。因此，图15B中的掩膜描绘了代表管腔的白色像素和代表背景的黑色像素之间清晰的分界。此外，图15C的输出图示了检测到的轮廓具有很高的置信度。这项任务中使用的模型有力地显示出血液伪影，因此图16A至图16B中A线的直方图示出置信度值大多在0和1之间。熵值低至0.44和2.08。因此，图15A中的帧被分类为质量良好。
图17A至图17B图示了置信度评估的汇总输出。图17A示出了回拉中所有帧的所有A线的质量，其中像素的强度表明A线质量。如图17B所示，可以使用帧质量(如使用上式确定的质量)确定OCT图像质量，其中0表明低质量，1表明高质量。可以对该结果进行某些后处理，以确保向用户提供不确定性最小的最长清晰图像长度。
虽然上式涉及熵指标，但也可使用其他指标。通过示例的方式，其他指标可包括数据序列的随机性或变化。置信度或不确定性指标可从不同类型的统计数据计算得出，例如标准偏差、方差或各种形式的熵，例如香农熵或计算熵。上面提到的阈值可由接收者操作特征(ROC)分析或经验确定。
根据一些示例，与基于任务的质量指标相匹配的图像质量指示物可以被输出。质量指示物可以例如是视觉、音频、触觉和/或其他类型的指示物。例如，当捕获的图像达到阈值质量时，系统可播放独特的音频。如另一示例，系统可以在显示器(其输出在成像过程中获取的图像)上放置视觉指示物。在这方面，执行程序的医生可以立即知道是否获得了足够的图像，从而减少了为获得更清晰的图像而进行后续程序的潜在需要。对后续程序的需求减少，从而提高了患者的安全性。
图18是成像系统的示例性用户界面的截图，该用户界面提供对图像帧的质量的可视化指示。例如，成像系统可以是血管内成像系统，例如OCT、超声、NIRS、微OCT等。在其他示例中，实时质量评估和指示可被提供给其他类型的医疗或非医疗成像。
图18的示例包括帧视图1810和区段视图1820。帧视图1810可以是区段视图1820中多个图像中的单个图像。例如，区段视图1820中的帧指示物1821可以识别相对于区段中的其他帧而言，哪个帧对应于帧视图1810中当前描绘的帧。在血管内成像程序的示例中，帧视图1810可以描绘被成像血管的横截面视图，而区段视图1820则描绘被成像血管的一区段或一部分的纵向视图。
图18的示例用于OCT回拉，其中的任务是检测管腔轮廓。医生可以在开始回拉之前确定任务，例如通过用户界面选择输入选项。质量指示物可针对所选任务而定。例如，对于检测管腔轮廓的任务，指示物可以识别描绘管腔轮廓的图像或部分图像在哪里是清晰或不清晰的。对于检测钙的任务，指示物可以识别图像中钙相对于阈值确定度的显示位置。根据一些示例，多个任务可以被选择，这样用户界面就会描绘针对多个任务的质量指示物。例如，可以提供针对管腔轮廓的第一指示物，同时提供针对钙的第二指示物。第一指示物和第二指示物可以是相同或不同的类型，如颜色、梯度、文本、注释、字母数字值等。
从帧视图1810中可以看到，在图像的右下方的图像的第一部分1812中，管腔轮廓清晰成像。在图像的左上方的图像的第二部分1814中，管腔轮廓的成像不太清晰。第一部分1812清楚地示出了管腔壁和管腔之间的边界，而第二部分1814则不太清楚地图示了边界。在本示例中，帧视图指示物1815对应于第二部分1814，在第二部分1814中没有清晰地描绘出管腔轮廓。帧视图指示物1815示出为一条彩色弧线，其部分地围绕管腔横截面的圆周延伸。弧线所覆盖的角距离对应于管腔轮廓未清晰成像的第二部分1814的角距离。例如，帧可以逐个像素评估，这样就可以评估每个像素的图像质量，质量指示物可以对应于特定像素。因此，帧指示物1815可以识别图像中图像质量低于特定阈值的具体部分。
虽然帧质量指示物1815示出为彩色弧线，但应该理解的是，可以使用各种其他类型的指示物。仅通过示例的方式，此类其他类型的指示物可包括但不限于叠加、注释、阴影、文本等。根据一些示例，指示物可以描述图像不同部分的质量的程度。例如，图18中的弧线可以是颜色、阴影、透明程度等的梯度，其中光谱的一端对应较低的质量，光谱的另一端对应较高的质量。
区段视图1820也可包括质量的指示物。如图所示，区段质量指示物1825可表明沿已成像的血管区段的每个图像帧的质量。在图18的示例中，区段质量指示物1825是沿区段视图的长度延伸的彩条。彩条包括第一颜色和第二颜色，第一颜色表明帧质量高于阈值的位置，第二颜色表明帧质量低于阈值的位置。例如，阈值可以对应于每一帧的一部分或百分比(对于每一帧，已经根据任务以足够的清晰度捕获了图像)。例如，这种阈值可以对应于与上述帧质量公式相关的阈值T2。在本示例中，区段质量指示物1825的第一部分1827是高于阈值的第一颜色，对应于区段中质量足够高的帧。区段质量指示物1825的第二部分1829是低于阈值的第二颜色，对应于区段中质量较低的帧，例如帧视图1810中所示的帧。虽然本示例中的区段质量指示物1825使用颜色来区分区段中每个帧的质量，但在其他示例中，区段质量指示物1825可以使用其他标志，如阴影、梯度、注释等。此外，虽然区段质量指示物1825示出为条形，但应理解为可以使用任何其他形状、大小或形式的标志。
虽然上文描述的一些示例与OCT图像有关，但上述使用直接深度学习或管腔置信度的自动实时质量检测技术可应用于各种医疗成像模式中的任何一种，包括但不限于IVUS、NIRS、微OCT等。例如，可以使用具有带注释的管腔的IVUS图像来训练用于管腔检测的机器学习模型。来自该模型的置信度信号可以被用于衡量图像质量。作为另一个示例，IVUS帧可被注释为高质量或低质量，并且检测图像质量的直接深度学习方法可应用于IVUS程序中的实时图像采集。作为又一个示例，在使用高清血管内超声(HD-IVUS)时，生理盐水冲洗可以被用来清除血液，以提供改进的IVUS图像质量。在这种情况下，质量检测技术可被应用于区分血管的已冲洗区域和未冲洗区域。在进一步的示例中，质量检测技术可以基于IVUS参数，如灰度或轴向/侧向分辨率。例如，可以对机器学习模型进行训练，以检测图像是否以阈值分辨率获得。应该理解的是，本文所述技术的各种进一步应用也是可能的。
所公开技术的各个方面可以包括以下特征的组合：
特征1、一种对诊断医疗图像进行分类的方法，所述方法包括：
接收所述诊断医疗图像；
实时或接近实时地使用经过训练的机器学习模型分析所述诊断医疗图像，其中所述经过训练的机器学习模型是在带注释的诊断医疗图像的集上训练的；
基于所述分析，识别针对所述诊断医疗图像的图像质量；以及
实时或接近实时地输出所识别的图像质量的指示，以用于在用户界面上显示。
特征2、根据特征1的方法，其中该诊断医疗图像是一系列的诊断医疗图像中的单个图像。
特征3、根据特征2的方法，其中该一系列的诊断医疗图像通过光学相干断层扫描回拉而获得。
特征4、根据特征1的方法，进一步包括将诊断医疗图像分类为第一分类或第二分类。
特征5、根据特征1至4的方法，进一步包括当诊断医疗图像被分类为第二分类时，提供警报或通知。
特征6、根据特征1的方法，其中带注释的诊断医疗图像的集包括注释，该注释包括清晰、血液或导引导管。
特征7、根据特征1的方法，其中诊断医疗图像是光学相干断层扫描图像。
特征8、根据特征1的方法，进一步包括将诊断医疗图像分类为清晰医疗图像或血液医疗图像。
特征9、根据特征1的方法，进一步包括计算指示诊断医疗图像是可接受的还是不可接受的概率。
特征10、根据特征9的方法，进一步包括使用阈值方法将所计算出的概率转换为诊断医疗图像的分类。
特征11、根据特征9的方法，进一步包括使用图形切割将所计算出的概率转换为诊断医疗图像的分类。
特征12、根据特征1至9的方法，进一步包括使用形态学分类将所计算出的概率转换为诊断医疗图像的分类。
特征13、根据特征1至9的方法，其中可接受的是指诊断医疗图像高于预先限定的阈值质量，这允许对高于准确度或置信度的阈值水平的人体组织的特点进行评估。
特征14、一种系统，所述系统包括处理装置，所述处理装置联接到存储指令的存储器，所述指令使所述处理装置：
接收所述诊断医疗图像；
实时或接近实时地使用经过训练的机器学习模型分析所述诊断医疗图像，其中所述经过训练的机器学习模型是在带注释的诊断医疗图像的集上训练的；
基于所述分析，识别针对所述诊断医疗图像的图像质量；以及
实时或接近实时地输出所识别的图像质量的指示，以用于在用户界面上显示。
特征15、根据特征14的系统，其中该诊断医疗图像是光学相干断层扫描(OCT)图像。
特征16、根据特征15的系统，其中该指令被配置为显示多个OCT图像以及与多个OCT图像中每个图像的分类相关的指示物。
特征17、根据特征14至16的系统，其中该系列诊断医疗图像通过光学相干断层扫描回拉而获得的。
特征18、一种包含程序指令的非暂时性计算机可读介质，所述指令在被执行时执行以下步骤：
接收所述诊断医疗图像；
实时或接近实时地使用经过训练的机器学习模型分析所述诊断医疗图像，其中所述经过训练的机器学习模型是在带注释的诊断医疗图像的集上训练的；
基于所述分析，识别针对所述诊断医疗图像的图像质量；以及
实时或接近实时地输出所识别的图像质量的指示，以用于在用户界面上显示。
特征19、根据特征18的非暂时性计算机可读介质，其中该诊断医疗图像是一系列的诊断医疗图像中的单个图像。
特征20、根据特征19的非暂时性计算机可读介质，其中该系列的诊断医疗图像通过光学相干断层扫描回拉而获得。
特征21、根据特征18至20的非暂时性计算机可读介质，进一步包括将诊断医疗图像分类为第一分类或第二分类。
特征22、根据特征18至21的非暂时性计算机可读介质，进一步包括当诊断医疗图像被分类为第二分类时，提供警报或通知。
特征23、根据特征18至22的非暂时性计算机可读介质，其中带注释的诊断医疗图像的集包括注释，该注释包括清晰、血液或导引导管。
特征24、根据特征18至22的非暂时性计算机可读介质，其中诊断医疗图像是光学相干断层扫描图像。
特征25、根据特征18至24的非暂时性计算机可读介质，进一步包括将诊断医疗图像分类为清晰医疗图像或血液医疗图像。
特征26、根据特征18的非瞬时性计算机可读介质，进一步包括计算指示诊断医疗图像是可接受的还是不可接受的概率。
特征27、根据特征18至26的非暂时性计算机可读介质，进一步包括使用阈值非暂时性计算机可读介质将计算出的概率转换为诊断医疗图像的分类。
特征28、根据特征27的非暂时性计算机可读介质，进一步包括存储无法分类的图像，以重新训练已经训练的机器学习模型。
特征29、根据特征18的非暂时性计算机可读介质，进一步包括输出清晰图像长度或清晰图像长度指示物。
特征30、根据特征14的系统，其中该指令被配置为显示清晰图像长度或清晰图像长度指示物。
特征31、根据特征1的方法，进一步包括显示或输出清晰图像长度或清晰图像长度指示物。
本公开的各方面、实施例、特征和示例应被视为在所有方面都是说明性的，并且并非旨在限制本公开，其范围仅由权利要求书界定。对于本领域的技术人员来说，在不背离本公开的精神和范围的情况下，其他实施例、修改方案和使用将是显而易见的。
本申请中标题和章节的使用并不意味着对本公开的限制；每个章节可适用于本公开的任何方面、实施例或特征。
在整个申请中，当组合物被描述为具有、包括或包含特定的部件时，或当方法被描述为具有、包括或包含特定的方法步骤时，可认为本发明的组合物也基本上由(或者由)所述的部件组成，并且本发明的方法也基本上由(或者由)所述的方法步骤组成。
在本申请中，当元件或部件被说成包括在和/或选自列举的元件或部件的清单中时，应该理解该元件或部件可以是列举的元件或部件中的任何一个，并且可以从由两个或更多个列举的元件或部件组成的组合中选出。此外，应当理解的是，本文所述的组合物、装置或方法的元件和/或特征可以以各种方式组合，而不偏离本发明的精神和范围，无论是明确的还是隐含的。
术语“包括”或“具有”的使用应被普遍理解为开放式和非限制性的，除非另有特别说明。
除非另有特别说明，否则此处使用的单数形式的词包括复数形式(反之亦然)。此外，单数形式“一”和“所述”包括复数形式，除非上下文明确规定了其他形式。此外，当术语“大约”或“基本上”用在量值之前时，除非另有特别说明，否则本发明也包括具体的量值本身。这里使用的术语“大约”和“基本上”指的是数字量的变化，这些变化的发生是由于，例如，在现实世界中的测量或处理程序；这些程序中无意产生的误差；材料(例如复合胶带)制造过程中的差异/故障，由于缺陷导致；以及被本领域技术人员认为是等同的变型，只要这些变形不涵盖现有技术中所实践的已知值。通常，术语“大约”和“基本上”是指大于或小于所述值或所述值的范围的1/10(例如±10％)。
应该理解的是，只要本发明保持可操作性，步骤的顺序或执行某些动作的顺序是不重要的。此外，两个或更多的步骤或动作可以同时进行。
在提供数值范围或列表的情况下，该范围或数值列表的上限和下限之间的每个间隔数值都是单独考虑的，并且包含在本公开中，就像每个数值在这里被具体列举一样。此外，在给定范围的上限和下限之间以及包括上限和下限在内的更小的范围也在本公开中被考虑和包含。列举示范性的数值或范围并不意味着放弃在给定范围的上下限之间和包括上下限在内的其他数值或范围。
应当理解，本公开的图和描述已经简化，以说明与清楚理解本公开相关的元素，同时为了清楚起见，去掉了其他元素。然而，本领域技术人员将认识到，这些和其它元素可能是可取的。然而，由于这些元素在本领域中是众所周知的，并且由于它们不利于更好地理解本公开，因此在此不对这些元素进行讨论。应当理解的是，这些图是为了说明目的而提出的，而不是作为结构图而被提出。省略的细节和修改或替代性实施例属于本领域技术人员的权限范围。
可以理解的是，在本公开的某些方面，单个部件可以被多个部件替换，并且多个部件可以被单个部件替换，以提供元件或结构或执行给定的功能或多个功能。除非这种替换对于实施本公开的某些实施例不具有可操作性，否则这种替换被视为在本公开的范围之内。
本文提出的实施例旨在说明本公开的潜在的和具体的实施方式。可以理解的是，这些示例主要是为了向本领域技术人员说明本公开的目的。在不背离本公开的精神的情况下，这些示意图或在此描述的操作可以有变形。例如，在某些情况下，可以以不同的顺序执行或实施方法步骤或操作，或者可以添加、删除或修改操作。

Claims (20)

1.一种对诊断医疗图像进行分类的方法，所述方法包括：
接收所述诊断医疗图像；
实时或接近实时地使用经过训练的机器学习模型分析所述诊断医疗图像，其中所述经过训练的机器学习模型是在带注释的诊断医疗图像的集上训练的；
基于所述分析，识别针对所述诊断医疗图像的图像质量；以及
实时或接近实时地输出所识别的图像质量的指示，以用于在用户界面上显示。
2.根据权利要求1所述的方法，其中所述诊断医疗图像是一系列的诊断医疗图像中的单个图像。
3.根据权利要求2所述的方法，其中所述一系列的诊断医疗图像通过光学相干断层扫描回拉而获得。
4.根据权利要求1所述的方法，进一步包括将所述诊断医疗图像分类为第一分类或第二分类。
5.根据权利要求4所述的方法，进一步包括当所述诊断医疗图像被分类为所述第二分类时，提供警报或通知。
6.根据权利要求1所述的方法，其中带注释的诊断医疗图像的所述集包括注释，所述注释包括清晰、血液或导引导管。
7.根据权利要求1所述的方法，其中所述诊断医疗图像是光学相干断层扫描图像。
8.根据权利要求1所述的方法，进一步包括将所述诊断医疗图像分类为清晰医疗图像或血液医疗图像。
9.根据权利要求1所述的方法，进一步包括计算指示所述诊断医疗图像是可接受的还是不可接受的概率。
10.根据权利要求9所述的方法，进一步包括使用阈值方法将所计算出的概率转换为所述诊断医疗图像的分类。
11.根据权利要求9所述的方法，进一步包括使用图形切割将所计算出的概率转换为所述诊断医疗图像的分类。
12.根据权利要求9所述的方法，进一步包括使用形态学分类将所计算出的概率转换为所述诊断医疗图像的分类。
13.根据权利要求9所述的方法，其中可接受的是指所述诊断医疗图像高于预先限定的阈值质量，其允许对高于准确度或置信度的阈值水平的人体组织的特点进行评估。
14.根据权利要求13所述的方法，其中所述预先限定的阈值质量的值是通过优化机器学习模型来确定的。
15.一种系统，所述系统包括处理装置，所述处理装置联接到存储指令的存储器，所述指令使所述处理装置：
接收所述诊断医疗图像；
实时或接近实时地使用经过训练的机器学习模型分析所述诊断医疗图像，其中所述经过训练的机器学习模型是在带注释的诊断医疗图像的集上训练的；
基于所述分析，识别针对所述诊断医疗图像的图像质量；以及
实时或接近实时地输出所识别的图像质量的指示，以用于在用户界面上显示。
16.根据权利要求15的系统，其中所述诊断医疗图像是光学相干断层扫描(OCT)图像。
17.根据权利要求16的系统，其中所述指令被配置为显示多个OCT图像以及与所述多个OCT图像中每个图像的分类相关的指示物。
18.根据权利要求15的系统，其中所述一系列的诊断医疗图像通过光学相干断层扫描回拉而获得。
19.一种包含程序指令的非暂时性计算机可读介质，所述指令在被执行时执行以下步骤：
接收所述诊断医疗图像；
实时或接近实时地使用经过训练的机器学习模型分析所述诊断医疗图像，其中所述经过训练的机器学习模型是在带注释的诊断医疗图像的集上训练的；
基于所述分析，识别针对所述诊断医疗图像的图像质量；以及
实时或接近实时地输出所识别的图像质量的指示，以用于在用户界面上显示。
20.根据权利要求19的非暂时性计算机可读介质，其中所述诊断医疗图像是一系列的诊断医疗图像中的单个图像。
CN202280058797.3A 2021-07-12 2022-07-12 基于深度学习的oct图像质量保证方法 Pending CN117915826A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163220722P 2021-07-12 2021-07-12
US63/220,722 2021-07-12
PCT/US2022/036805 WO2023287776A1 (en) 2021-07-12 2022-07-12 A deep learning based approach for oct image quality assurance

Publications (1)

Publication Number Publication Date
CN117915826A true CN117915826A (zh) 2024-04-19

Family

ID=84891478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280058797.3A Pending CN117915826A (zh) 2021-07-12 2022-07-12 基于深度学习的oct图像质量保证方法

Country Status (4)

Country Link
US (1) US20230018499A1 (zh)
EP (1) EP4370021A1 (zh)
CN (1) CN117915826A (zh)
WO (1) WO2023287776A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437211A (zh) * 2023-11-20 2024-01-23 电子科技大学 一种基于双偏置校准学习的低成本图像质量评价方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10213110B2 (en) * 2015-01-27 2019-02-26 Case Western Reserve University Analysis of optical tomography (OCT) images
CN113544737A (zh) * 2019-01-13 2021-10-22 光实验成像公司 用于动脉图像区域及其特征的分类的系统和方法
US11819309B2 (en) * 2019-03-17 2023-11-21 Lightlab Imaging, Inc. Arterial imaging and assessment systems and methods and related user interface based-workflows
CN114667099A (zh) * 2019-09-19 2022-06-24 光实验成像公司 组合成像的系统和方法
AU2020406470A1 (en) * 2019-12-19 2022-06-09 Alcon Inc. Deep learning for optical coherence tomography segmentation

Also Published As

Publication number Publication date
WO2023287776A1 (en) 2023-01-19
EP4370021A1 (en) 2024-05-22
US20230018499A1 (en) 2023-01-19

Similar Documents

Publication Publication Date Title
US20220079540A1 (en) Systems and methods for estimating healthy lumen diameter and stenosis quantificaton in coronary arteries
Chen et al. Development of a quantitative intracranial vascular features extraction tool on 3 D MRA using semiautomated open‐curve active contour vessel tracing
US11436731B2 (en) Longitudinal display of coronary artery calcium burden
US8270688B2 (en) Method for intelligent qualitative and quantitative analysis assisting digital or digitized radiography softcopy reading
EP2262410B1 (en) Retinal image analysis systems and method
US11357400B2 (en) Image processing method for glaucoma detection and computer program products thereof
WO2007026598A1 (ja) 医用画像処理装置及び画像処理方法
US7873196B2 (en) Medical imaging visibility index system and method for cancer lesions
CN107077731A (zh) 成像不确定性的可视化
JP2008104886A (ja) 医用画像処理装置及び画像処理方法
JP2009226043A (ja) 医用画像処理装置及び異常陰影検出方法
US20230018499A1 (en) Deep Learning Based Approach For OCT Image Quality Assurance
US20220061920A1 (en) Systems and methods for measuring the apposition and coverage status of coronary stents
Tessmann et al. Multi-scale feature extraction for learning-based classification of coronary artery stenosis
CN111971751A (zh) 用于评估动态数据的系统和方法
CN111862014A (zh) 一种基于左右侧脑室分割的alvi自动测量方法及装置
CN117036302B (zh) 主动脉瓣膜钙化程度的确定方法和系统
Azam et al. Automated Detection of Broncho-Arterial Pairs Using CT Scans Employing Different Approaches to Classify Lung Diseases. Biomedicines 2023, 11, 133
US20230005139A1 (en) Fibrotic Cap Detection In Medical Images
CN116563256A (zh) 血管狭窄率、栓塞等级确定方法、装置及存储介质
Ferraz et al. Comparative Analysis of Detection Transformers and YOLOv8 for Early Detection of Pulmonary Nodules
CN113313687A (zh) 一种基于能谱ct的钙化分数计算的方法和装置
KR20230151865A (ko) 의료 영상에서 세기의 분포에 기반한 보조 정보를 생성하고 시각화하는 의료 영상 진단 보조 장치 및 방법
CN117320628A (zh) 一种用于识别冠状动脉疾病的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination