CN114096993A - 图像分割置信度确定 - Google Patents
图像分割置信度确定 Download PDFInfo
- Publication number
- CN114096993A CN114096993A CN202080043506.4A CN202080043506A CN114096993A CN 114096993 A CN114096993 A CN 114096993A CN 202080043506 A CN202080043506 A CN 202080043506A CN 114096993 A CN114096993 A CN 114096993A
- Authority
- CN
- China
- Prior art keywords
- boundary prediction
- prediction
- models
- boundary
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003709 image segmentation Methods 0.000 title abstract description 24
- 230000011218 segmentation Effects 0.000 claims abstract description 133
- 238000000034 method Methods 0.000 claims description 55
- 230000000007 visual effect Effects 0.000 claims description 31
- 238000009826 distribution Methods 0.000 claims description 13
- 239000003086 colorant Substances 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000003909 pattern recognition Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 230000010354 integration Effects 0.000 description 8
- 210000004204 blood vessel Anatomy 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000002608 intravascular ultrasound Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000004351 coronary vessel Anatomy 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/752—Contour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
公开了用于确定与图像分割相关联的置信水平的示例。与集体图像分割结果相关联的置信水平可以通过分别从相同的图像数据生成多个单独分割结果来确定。这些示例然后可以聚合单独分割结果以形成集体图像分割结果,并测量每个单独分割结果距离集体图像分割结果的散布。然后可以使用每个单独分割结果的被测量出的散布来确定与集体图像分割结果相关联的置信水平。这可以允许确定与集体图像分割结果相关联的置信水平。该置信水平可以在无需比较基本事实与集体图像分割结果的情况下被确定。
Description
相关申请的交叉引用
本申请要求2019年9月24日提交的申请号为16/581,577的美国申请的优先权,并要求2019年7月2日提交的申请号为62/869,793的美国临时申请的权益,其内容通过引用并入本文。
技术领域
本公开总体上涉及图像分割,并且更具体地涉及用于确定并且在一些情况下指示与图像分割相关联的置信水平的设备、系统和方法。本文公开的示例可以应用于例如医学成像。
背景技术
医学成像技术可用于收集图像数据并生成感兴趣的解剖区域的体内可视化。一个这样的示例是血管内成像,其中可以对血管结构和管腔进行成像。例如,血管内成像可用于产生冠状动脉管腔、冠状动脉壁形态和冠状动脉壁处或附近的诸如支架的设备的一个或多个图像。这些图像可用于诊断目的,例如诊断识别血管的重要特征。
然而,在医学成像期间收集的信息可包括大量数据,其中一些可能与执行成像的目的无关。因此,进一步分析在成像期间收集的图像数据以简化某些解剖特征的图像解释和自动识别和/或临床上的有用参数的测量。
作为一个示例,图像分割可用于简化图像数据中的关键特征的解释和自动化识别和/或测量。图像分割可用于将图像或一组图像划分为一个或多个感兴趣的区域,以便于识别图像中的相关信息。
发明内容
在本文中描述了用于确定与图像分割结果相关联的诸如错误概率的置信水平的示例性示例。因为在许多应用中,图像分割的结果可用于促进有意义的决策,所以分割结果的可靠性很重要。在医学成像的示例中,图像分割的结果可用于促进临床相关信息的识别,因此,分割结果的可靠性对于准确识别临床相关信息可能是重要的。因此,本文公开的示例可以估计并提供分割结果的置信水平,使得用户可以在使用分割结果时考虑估计的置信水平。
对分割结果的置信水平的估计在自主分割中可以特别有帮助。用户手动分割图像数据可能既乏味又耗时,因此可期望的是在执行期间无需或具有最少用户输入的对图像数据执行分割操作的自主分割。然而,自主分割可能会带来一定程度的不确定性。提供估计的与自动分割结果相关联的置信水平可以允许用户在依靠自动分割结果时得到更多信息。
值得注意的是,本文公开的示例可以在没有与分割结果进行比较的基本事实的应用中确定与图像分割结果相关联的置信水平。在许多应用中,生成并分割图像数据以确定一条或多条未知信息。如此,因为未知信息可以通过分割结果来确定,所以分割结果的已知比较点的缺乏会在确定与分割结果相关联的置信水平方面提出挑战。本文公开的示例可以通过在无需将基本事实与分割结果进行比较的情况下确定与分割结果相关联的置信水平来解决该问题。例如,在血管内成像中,可以生成并分割血管壁、血管腔和斑块的图像数据以确定血管壁和血管腔之间的先前未知的边界。因为血管壁和管腔之间的边界是未知的,所以本文公开的示例可以为这样的图像数据提供包括与血管壁和管腔之间的分割边界相关联的置信水平的分割结果,而不使用血管壁和管腔之间的已知边界来确定置信水平。
在本文公开的一些示例中,与图像分割结果相关联的置信水平可以通过分别从相同的图像数据生成多个单独分割结果来确定。然后,这些示例可以根据所有分割结果的一致性(例如,根据从多个单独分割结果形成的集体分割结果)来测量每个单独分割结果的散布。然后可以使用每个单独分割结果的测量出的散布来确定与呈现给用户的一致性或集体图像分割结果相关联的置信水平。这可以允许确定与一致性或集体分割结果相关联的置信水平,而无需将基本事实与一致性或集体分割结果进行比较。
在一个示例中,一种方法包括由处理器接收包含对象的横截面视图的图像。该方法还包括,对于多个模型中的每一个,通过处理器并使用相应模型而生成图像内的对象的边界预测,其中每个边界预测包括多个边界预测部分并且多个模型中的每个模型包括唯一模型。该方法还包括,通过处理器并基于多个模型中的每个模型的边界预测而生成图像内的对象的聚类边界预测,聚类边界预测包括多个聚类边界预测部分,每个聚类边界预测部分对应于每个边界预测的多个边界预测部分中的一个。该方法还包括,对于多个聚类边界预测部分中的每一个,通过处理器并基于相应聚类边界预测部分与边界预测的对应边界预测部分之间的比较而确定相应聚类边界预测部分的置信水平。该方法还包括,通过处理器并为了在显示设备上显示而输出多个聚类边界预测部分中的每一个的图形指示,其中每个聚类边界预测部分具有指示相应聚类边界预测部分的置信水平的视觉特征。
在另一示例中,计算设备包括至少一个处理器和配置为存储指令的存储部件。指令可由至少一个处理器执行以接收包含对象的横截面视图的图像。指令还可由至少一个处理器执行,以对于多个模型中的每一个使用相应模型生成图像内的对象的边界预测,其中每个边界预测包括多个边界预测部分,并且多个模型中的每个模型包括唯一模型。指令还可以由至少一个处理器执行,以基于多个模型中的每个模型的边界预测而生成图像内的对象的聚类边界预测,聚类边界预测包括多个聚类边界预测部分,每个聚类边界预测部分对应于每个边界预测的多个边界预测部分中的一个。指令还可以由至少一个处理器执行,以对于多个聚类边界预测部分中的每一个,基于相应聚类边界预测部分与边界预测的对应边界预测部分之间的比较而确定相应聚类边界预测部分的置信水平。所述指令还可以由至少一个处理器执行,以输出多个聚类边界预测部分中的每一个的图形指示以显示在显示设备上,其中每个聚类边界预测部分具有指示相应聚类边界预测部分的置信水平的视觉特征。
在另一示例中,描述了一种存储有指令的非暂时性计算机可读存储介质,该指令在被执行时使计算设备的一个或多个处理器接收包含对象的横截面视图的图像。指令还使一个或多个处理器对于多个模型中的每一个使用相应模型生成图像内的对象的边界预测,其中每个边界预测包括多个边界预测部分,并且多个模型中的每一个模型包括唯一模型。指令还使一个或多个处理器基于多个模型中的每个模型的边界预测而生成图像内的对象的聚类边界预测,该聚类边界预测包括多个聚类边界预测部分,每个聚类边界预测部分对应于每个边界预测的多个边界预测部分中的一个。指令还使一个或多个处理器,对于多个聚类边界预测部分中的每一个,基于相应聚类边界预测部分与边界预测的对应边界预测部分之间的比较而确定相应聚类边界预测部分的置信水平。所述指令还使一个或多个处理器输出多个聚类边界预测部分中的每一个的图形指示以显示在显示设备上,其中每个聚类边界预测部分具有指示相应聚类边界预测部分的置信水平的视觉特征。
在附图和以下描述中阐述了一个或多个示例的细节。其他特征、对象和优点将从描述和附图中显而易见。
附图说明
以下附图示出本发明的特定示例,因此不限制本发明的范围。附图旨在与以下描述中的说明结合使用。下文将结合附图描述本发明的示例,其中相同的附图标记表示相同的元件。
图1是示例系统,包括配置为捕捉图像的相机和配置为根据本文描述的一种或多种技术分析图像的计算设备。
图2是血管的横截面视图的示例,示出了根据本文描述的一种或多种技术的多个示例性单独分割结果以及由多个单独分割结果形成的示例性集体分割结果。
图3是图2中的血管的横截面视图的示例,具有根据本文描述的一种或多种技术的具有相关联的置信水平的示例性集体分割结果。
图4是示出根据本文描述的一种或多种技术的使用单独分割结果的聚类来确定置信水平的方法的示例的示意图。图4的示意图示出了围绕特定值的相对较强的聚类。
图5是示出使用单独分割结果的聚类来确定置信水平的方法的示例的另一示意图。图5的示意图示出了缺乏围绕任何特定值的强聚类。
图6是示出根据本文描述的一种或多种技术的预测图像内的对象的聚类边界的示例过程的流程图。
具体实施方式
以下详细描述本质上是示例性的并且提供了一些实用的说明和示例。本领域技术人员将认识到,许多提到的示例具有多种合适的替代方案。
本文公开的示例可以确定与图像分割结果相关联的置信水平。特别地,本文公开的示例可以使用分别来自相同图像数据的多个单独分割结果。这样的示例可以应用集成过程的统计性质,通过测量每个单独分割结果从所有分割结果的一致性(例如,从多个单独分割结果所形成的集体分割结果)的散布来估计分割性能的置信度。这种估计出的图像分割结果的置信度可以为用户提供有关如何在不知道基本事实的情况下使用分割结果的额外信息。
图1是示例系统,其包括配置为捕捉图像的相机和配置为根据本文描述的一种或多种技术分析图像的计算设备。图1仅图示了计算设备2的一个特定示例,并且计算设备2的许多其他示例可以在其他情况下使用并且可以包括示例计算设备2中包括的部件的子集或者可以包括图1中未示出的附加部件。例如,相机20可以被结合到计算设备2中,或者以不同于无线连接的方式可操作地连接,而不是作为单独的部件。
如图1所示的例子,计算设备2包括一个或多个处理器4、一个或多个输入/输出(I/O)部件6、一个或多个通信单元14、以及一个或多个存储部件8。计算设备2的存储部件8包括聚类模块10和预测模型12。为了本公开的目的,预测模型可以类似于分割操作,其中每个模型描述不同的分割操作。通信信道(未图示)可以互连部件4、6、8、14中的每一个,用于部件间通信(物理地、通信地和/或操作地)。在一些示例中,通信通道可以包括系统总线、网络连接、进程间通信数据结构或任何其他用于通信数据的方法。
计算设备2的一个或多个通信单元14可以经由一个或多个有线和/或无线网络通过在一个或多个网络上发送和/或接收网络信号来与外部设备通信。通信单元14的示例包括网络接口卡(例如以太网卡)、光收发器、射频收发器、GPS接收器或可以发送和/或接收信息的任何其他类型的设备。通信单元14的其他示例可以包括短波无线电、蜂窝数据无线电、无线网络无线电以及通用串行总线(USB)控制器。通信单元14可以包括无线接口,无线接口配置为根据诸如或LTE的无线协议进行操作。
一个或多个I/O部件6可以包括可以接收输入的输入部件。输入的示例是触觉、音频和视频输入。在一个示例中,计算设备2的I/O部件6包括血管内超声导管、状态敏感输入设备(例如,触敏屏幕、PSD)、鼠标、键盘、语音响应系统、摄像机、麦克风或任何其他类型的用于检测来自人或机器的输入的设备。在一些示例中,I/O部件6可以包括一个或多个传感器部件、一个或多个位置传感器(GPS部件、Wi-Fi部件、蜂窝部件)、一个或多个温度传感器、一个或多个运动传感器(例如,加速度计、陀螺仪)、一个或多个压力传感器(例如气压计)、一个或多个环境光传感器以及一个或多个其他传感器(例如麦克风、相机、红外接近传感器、湿度计等)。
I/O部件6还可包括一个或多个生成输出的输出部件。输出的示例是触觉、音频和视频输出。在一个示例中,计算设备2的I/O部件6包括PSD、声卡、视频图形适配器卡、扬声器、阴极射线管(CRT)监视器、液晶显示器(LCD)或任何其他类型的用于向人或机器生成输出的设备。
一个或多个处理器4可以实现与计算设备2相关联的功能和/或执行与计算设备2相关联的指令。处理器4的示例包括应用处理器、显示控制器、辅助处理器、一个或多个传感器集线器以及配置为用作处理器、处理单元或处理设备的任何其他硬件。模块10和模型12可由处理器4操作以执行计算设备2的各种动作、操作或功能。例如,计算设备2的处理器4可检索并执行由存储部件8存储的指令,该指令使处理器4执行模块10和模型12的操作。当由处理器4执行指令时,该指令可以使计算设备2将信息存储在存储部件8中。
计算设备2内的一个或多个存储部件8可以存储用于在计算设备2的操作期间进行处理的信息(例如,计算设备2可以存储在计算设备2执行期间由模块10和预测模型12访问的数据)。在一些示例中,存储部件8是暂时性存储器,意味着存储部件8的主要目的不是长期存储。计算设备2上的存储部件8可以配置为作为易失性存储器短期存储信息并且因此如果断电则不保留存储的内容。易失性存储器的示例包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)和本领域已知的其他形式的易失性存储器。
在一些示例中,存储部件8还包括一个或多个计算机可读存储介质。在一些示例中,存储部件8包括一个或多个非暂时性计算机可读存储介质。存储部件8可以配置为存储比通常由易失性存储器存储的信息量更大的信息量。存储部件8还可以配置为作为非易失性存储器空间长期存储信息并在电源开/关循环之后保留信息。非易失性存储器的示例包括磁性硬盘、光盘、软盘、闪存或电可编程存储器(EPROM)或电可擦除可编程(EEPROM)存储器的形式。存储部件8可以存储与模块10和预测模型12相关联的程序指令和/或信息(例如,数据)。存储部件8可以包括配置为存储与模块10和预测模型12相关联的数据或其他信息的存储器。
相机20可以是能够捕捉对象图像的任何图像捕捉设备。在一些情况下,相机20可以是血管内超声导管,配置为捕获包括例如患者70的冠状动脉的横截面的图像。然而,在其他情况下,相机20可以是配置为捕捉对象的横截面图像的任何其他类型的相机。因此,尽管在本公开全文中被描述为在捕获血管内超声图像之后测量血管内对象的边界,但是相同的技术可以应用于需要限定图像内的对象的边界的任何图像。例如,类似的技术可以应用于自然图像(例如,彩色图像、灰度图像)、不同的医学模态图像(例如,通过磁共振成像(MRI)、X射线、计算机断层扫描(CT)、正电子发射断层扫描(PET)、单光子发射计算机断层扫描(SPECT)和超声波捕获的图像)和非自然图像(例如,热图像、紫外线图像)。此外,虽然在文中描述的技术是针对横截面区域描述的,但是相同的技术可以应用于任意图像内的对象,只要可以在图像内确定这种对象的边界。
根据本公开的技术,聚类模块10可以接收包含对象的截面视图的图像。聚类模块10可以从诸如照相机20的照相机接收图像。照相机20可以在聚类模块10的外部,其中聚类模块10经由通信单元14接收图像。在其他情况下,照相机20可以被合并到计算设备2中。图像可以是包括在图像内具有已知或未知边界的对象的任何图像,其中包括对象的横截面。例如,照相机20可以是血管内超声设备,配置为捕捉患者70的静脉或动脉的图像。
对于多个模型中的每一个,聚类模块10可以使用相应的模型生成图像内的对象的边界预测。边界预测也可以称为图像分割或单独分割结果。多个模型中的每个模型可以是唯一模型。此外,每个边界预测可以包括多个边界预测部分。例如,多个模型可以包括任何类型的机器学习或深度学习模型、模式识别模型、计算机视觉模型或参数修正模型等。例如,支持向量机(SVM)模型、UNet模型、随机森林模型和诸如Sobel滤波的边缘检测计算机视觉模型,并且它们在不同参数下的变化可以包括在多个模型中。最终,多个模型可以包括多达九个或更多个不同模型,其中不同模型中的每一个可以用于预测图像内的对象的边界。
聚类模块10可以基于多个模型中的每个模型的边界预测生成图像内的对象的聚类边界预测。聚类边界预测也可以称为集体分割结果。聚类模块10可以使用集成技术连同聚类度量来确定聚类边界预测。在一些情况下,聚类边界预测的聚类度量可以是独立图像分割结果(或边界预测的对应边界预测部分)的中值。在一些情况下,聚类边界预测的聚类度量可以是对多个模型的边界预测的对应边界预测部分中的每一个求平均而得到的平均边界。在其他情况下,聚类边界预测可以是图像内的对象的加权聚类边界预测。例如,聚类模块10可以针对多个模型中的每一个模确定相应模型的权重。然后,聚类模块10可以基于边界预测的对应边界预测部分和多个模型中的每个模型的权重,通过将权重应用于边界预测中的每一个并将边界预测的对应边界预测部分结合权重求平均而生成加权聚类边界预测。
聚类边界预测可以包括多个聚类边界预测部分,每个聚类边界预测部分对应于每个边界预测的多个边界预测部分中的一个。例如,如果每个边界预测被分解为100个边界预测部分,则聚类边界预测同样可以分为100个聚类边界预测部分,其中对应的部分具有相对于图像内的对象的相同的位置。对于聚类边界预测的多个聚类边界预测部分中的每一个,聚类模块10可以基于相应聚类边界预测部分与边界预测的对应边界预测部分之间的比较来确定相应聚类边界预测部分的置信水平。
在一些示例中,在确定置信水平时,对于多个模型中的每一个,聚类模块10可以基于聚类边界预测部分和边界预测的对应边界预测部分之间的比较来确定相应模型的散布。散布的一个这样的示例可以是z分数,尽管两个值之间的偏差的任何测量方式可以用于本文描述的技术目的。聚类模块10然后可以基于边界预测的对应边界预测部分中的每一个的散布来确定相应聚类边界预测部分的置信水平。
如按照统计性质所定义的,z分数等同于特定值距离平均值的标准偏差的数目。聚类模块10可以确定相应模型的z分数,这首先是通过使用聚类边界预测部分和边界预测的对应边界预测部分来创建预测分布,诸如图4和图5的预测分布,其中聚类边界预测部分作为预测分布的平均值。这种预测分布可能像沿线的点图一样简单,也可能是更复杂的分布,例如钟形曲线。聚类模块10然后可以确定预测分布的标准偏差。标准偏差可以根据典型的数学规则计算,或者通过对典型算法的专有调整来计算标准偏差。聚类模块10然后可以将边界预测的相应边界预测部分中的每一个的z分数确定为各个对应边界预测部分距离聚类边界预测部分的标准偏差的数目。
在一些情况下,模型中的一个或多个可能产生离群的结果:至少对于聚类边界预测的聚类边界预测部分,模型的预测很明显是错误的。在实践中,聚类模块10可以确定第一边界预测的第一对应边界预测部分的散布超过预测分布的偏差阈值,第一边界预测与多个模型中的第一模型相关联。在一些示例中,偏差阈值可以是用户定义的阈值,其中其他示例可以包括默认或预定义的阈值。响应于做出该确定,聚类模块10可以从多个模型中移除第一模型以生成模型子集,该子集包括来自多个模型的除第一模型之外的所有其他模型(例如,模型子集包括其他单独分割结果的非离群聚类边界预测部分)。聚类模块10然后可以仅使用模型子集重新计算至少聚类边界预测的相应聚类边界预测部分,而不是允许错误模型改变算法的结果。
聚类模块10可以输出至少集体分割结果的呈现以显示在显示设备(例如I/O部件6)上,该呈现包括用于聚类边界预测的多个聚类边界预测部分中的每一个的图形指示。多个聚类边界预测部分中的每个聚类边界预测部分具有指示相应聚类边界预测部分的置信水平的视觉特征或视觉指示物。视觉特征可以是可以指示相关特定聚类边界预测部分的置信水平的任何有区别的视觉特征。视觉特征的示例包括线条颜色、填充图案、线条粗细、线条分割、文本指示、图形图标或其任意组合。例如,当视觉特征包括线条颜色时,用于聚类边界预测的聚类边界预测部分的绿色指示可以指示聚类边界预测的聚类边界预测部分的高置信水平。相反,具有低置信水平的聚类边界预测的聚类边界预测部分可以在输出中被描绘为红色,而具有中等置信水平的聚类边界预测的部分可以被描绘为黄色。这可能是颜色光谱,随着置信水平的降低,从绿色光谱变为红色光谱。
图2示出了血管100的横截面视图的示例。血管100的横截面视图包括多个示例性单独分割结果105A-105E以及示例性集体分割结果110。集体分割结果110可以由一个或多个单独分割结果105A-105E形成。例如,一个或多个单独分割结果105A-105E可以被聚合以形成集体分割结果110。在所示示例中,集体分割结果110由单独分割结果105A-105E中的每一个形成。尽管参照五个单独分割结果105A-105E描述了所示示例,但是其他数量的单独分割结果(例如,多于五个、小于五个)可以在本公开的范围内的其他示例中使用。
如图2所示,血管100的横截面视图包括限定血管腔120的血管壁115。对同一图像数据执行多个独立的分割操作。在该示例中,对与血管100的横截面视图相对应的图像数据执行多个独立的分割操作。在所示示例中,执行多个独立的分割操作(或模型)以识别/预测血管壁115和血管腔120之间的界面或边界。
多个独立的分割操作中的每一个都可以产生单独分割结果。在所示示例中,每个独立的分割操作产生对应的单独分割结果105A-105E。例如,第一分割操作可以产生第一单独分割结果105A,第二分割操作可以产生第二单独分割结果105B,第三分割操作可以产生第三单独分割结果105C,第四分割操作可以产生第四单独分割结果105D,并且第五分割操作可以产生第五单独分割结果105E。每个分割操作可以不同。例如,在图示示例中,每个分割操作可以是用于识别血管壁115和血管腔120之间界面的不同分割算法。并且,可以对与血管100的横截面视图相对应的相同图像数据执行不同分割算法中的每一个。因此,在估算血管壁115和血管腔120之间的界面时,由这些不同分割操作产生的单独分割结果105A-105E中的每一个可包括与其他单独分割结果的位置相似的一个或多个区域,以及与其他单独分割结果的位置明显不同的一个或多个区域。
如图2所示,血管100的横截面视图可以包括一个或多个区域125A、125B、125C,其中单独分割结果105A-105E将类似的位置识别为血管壁115和血管腔120之间的界面。在区域125A、125B、125C处,单独分割结果105A-105E中的两个或多个通常重叠,因此将相似位置识别为血管壁115和血管腔120之间的界面。例如,如图2所示,在区域125A、125B、125C中的每一个处,单独分割结果105A-105E中的两个或多个(例如,每一个)在彼此的预定范围内,并且因此被认为大体上是重叠的并且将相似位置识别为血管壁115和血管腔120之间的界面。
同样如图2所示,血管100的横截面视图可包括一个或多个区域130A、130B、130C,其中单独分割结果105A-105E将明显不同的位置识别为血管壁115和血管腔120之间的界面。在区域130A、130B、130C处,单独分割结果105A-105E中的两个或多个通常是发散的,因此,将明显不同的位置识别为血管壁115和血管腔120之间的界面。例如,如图2所示,在区域130A、130B、130C中的每一个处,单独分割结果105A-105E中的两个或多个(例如,每一个)在彼此的预定范围之外,并且因此被认为大体上是发散的并且将明显不同的位置识别为血管壁115和血管腔120之间的界面。
如上所述,单独分割结果105A-105E中的两个或多个可用于形成集体分割结果110。例如,单独分割结果105A-105E中的两个或多个可被聚合以形成集体分割结果110。在图示示例中,单独分割结果105A-105E的中值集成被用来形成图2所示的集体分割结果110。在一些示例中,单独分割结果105A-105E中的每一个可以用于形成集体分割结果110。在其他示例中,可以丢弃一个或多个离群的单独分割结果105A-105E并且剩余的单独分割结果105A-105E可用于形成集体分割结果110。例如,在一个单独分割结果与其他单独分割结果中的每一个差异超过预定的离群阈值的情况下,该单独分割结果可以被排除用于形成集体分割结果110。在一些示例中,当单独分割结果的一部分与其他单独分割结果的对应部分的差异超过预定离群阈值时,单独分割结果的该部分可以被排除用于形成集体分割结果110(例如,使得集体分割结果110的对应部分由其他单独分割结果的对应非离群部分形成)。
图3示出了血管100的横截面视图的示例,包括呈现有相关联的置信水平的集体分割结果110。如图3所示,通过在集体分割结果110的集体分割结果110的位置存在不同错误概率的区域处包括不同的指示物,集体分割结果110呈现有关联的置信水平。在所示示例中,视觉指示物与集体分割结果110相关联以传达集体分割结果110的集体分割结果110的位置存在不同的错误概率的区域。例如,集体分割结果110可以包括:一种类型的视觉指示物,关联至集体分割结果110的集体分割结果110位置的错误概率相对较低的部分;以及另一种不同类型的视觉指示物,关联至集体分割结果110的集体分割结果110位置的错误概率相对较高的部分。
在所示示例中,集体分割结果110的部分包括不同的指示物205、210、215。
指示物205关联至集体分割结果110的集体分割结果110位置的错误概率相对低的部分。在集体分割结果110位置的错误概率相对较低的情况下,可以认为置信水平相对较高。在图示示例中,集体分割结果110的集体分割结果110位置的错误概率相对较低并因此与指示物205相关联的部分对应于图2中的区域125A、125B、125C,在区域125A、125B、125C中单独分割结果105A-105E将相似的位置识别为血管壁115和血管腔120之间的界面。
指示物215关联至集体分割结果110的集体分割结果110位置的错误概率相对高的部分。在集体分割结果110位置的错误概率相对较高的情况下,可以认为置信水平相对较低。在所示示例中,集体分割结果110的集体分割结果110位置的错误概率相对较高并因此与指示物215相关联的部分对应于图2中的区域130A、130C,在区域130A、130C中单独分割结果105A-105E将明显不同的位置识别为血管壁115和血管腔120之间的界面。
在一些示例中,指示物210还可以被包括在集体分割结果110的集体分割结果110位置的错误概率相对适中的部分,并且与该部分相关联。在集体分割结果110位置的错误概率相对适中的情况下,可以认为置信水平相对适中。例如,指示物210可以被包括在集体分割结果110的集体分割结果110位置的错误概率在相对高和低错误概率之间转变的部分,并且与该部分相关联。在图示示例中,集体分割结果110的集体分割结果110位置的错误概率相对适中并因此与指示物210相关联的部分可以对应于图2中的区域,其中单独分割结果105A-105E将在明显不同的位置和明显相似的位置之间转变的位置识别作为血管壁115和血管腔120之间的界面。
如所指出的,在所示示例中,指示物205、210、215可以是呈现在血管100的横截面视图的显示图像上的视觉指示物。如图所示,指示物205、210、215可以是位于代表集体分割结果110的线上。视觉指示物205、210、215可以是不同的视觉指示物,呈现不同的视觉特征,以便用户可以在视觉上区分集体分割结果110的与不同置信度水平(例如,错误概率)相关联的部分。例如,不同的视觉指示物205、210、215可以各自为不同的颜色。例如,视觉指示物205、210、215可以采用颜色梯度的形式,使得视觉指示物205用颜色梯度的第一部分(例如,通常为绿色的颜色光谱)显示,视觉指示物210用颜色梯度的第二、后续部分(例如,通常为黄色的颜色光谱)显示,并且视觉指示物215用颜色梯度的第三、后续部分(例如,通常为红色的颜色光谱)显示。在另一示例中,视觉指示物205、210、215可以在代表集体分割结果110的线处采用不同的线图案的形式。例如,不同的视觉指示物205、210、215可以各自是不同的虚线图案或不同实线和虚线图案的组合,使得用户可以在视觉上区分集体分割结果110的与不同置信水平(例如,错误概率)相关联的部分。不同的视觉指示物205、210、215在其他视觉特性方面可以不同。
可以利用各种技术来确定与集体分割结果110相关联的置信水平。下面描述用于确定与集体分割结果110相关联的置信水平的一个特定示例。在本公开的范围内可以使用其他技术来确定与集体分割结果110相关联的置信水平。
一种示例性技术执行多个不同的分割算法以获得相应的单独分割结果。然后,将聚类度量应用于这些单独分割结果,并将聚类度量转换为特定于问题的概率度量。
在该示例性技术中,为了获得聚类,可以利用集成预测的能力。集成通常意味着将若干个模型的结果(例如,单独分割结果)聚合在相同的数据(例如,对应于血管横截面视图的图像数据)上。聚合后,使用度量来获得最终的单个结果(例如,集体分割结果)。
在该示例性技术中,通过将结果集成在一起,可以获得几个可能的边界位置(例如,单独分割结果)以及最终计算的边界(例如,集体分割结果)。单个边界或附近边界的结果越多,所选边界正确的置信度就越高。如果大多数结果不同,则可以从图像数据中得出这些边界不明确的结论,因此在相应位置选择正确边界的置信度较低。
在示例性技术的集成过程中,可以通过测量每个算法的结果距离所有算法的一致性的散布来确定图像分割置信水平(例如,测量单独分割结果中的每一个距离集合分割结果的散布)。任何类型的测量统计信息,包括每个算法的结果(例如,及其加权组合)和任何类型的定义所有算法结果的一致性,都可以用于估计置信度。
例如,在该示例性技术中,可以使用预测的标准偏差(例如,单独分割结果)来确定聚类度量。高标准偏差可以与低置信度相关,而低标准偏差可以与高置信度相关。在某些情况下,可以移除一个或多个离群点,例如来自单个单独分割结果的离群点,以避免由于少量错误预测而导致结果出现偏离。
在该示例性技术中,一旦确定了预测的标准偏差(例如,单独分割结果),标准偏差就可以被转换成置信度量。例如,为此,可以根据经验确定裁剪(clip)的最小和最大标准偏差。例如,小于一的标准偏差可以认为是完美的预测,而大于十的标准偏差可以认为是完全猜测。在裁剪到最小和最大标准偏差之后,可以将确定的标准偏差归一化以提供错误概率。该错误概率值的倒数可以被认为是正确的最终计算出的边界(例如,集体分割结果)的置信水平。
这样的技术可以是有用的,因为它可以允许确定分割结果(例如,集体分割结果)的置信度,而无需将单独预测(例如,单独分割结果)与基本事实进行比较(例如,无需与图像数据中两个项目之间的实际边界进行比较)。虽然本公开在示例性血管内成像应用中描述了该技术,但本公开可以应用于其他成像应用。这些其他成像应用可以包括例如磁共振成像(MRI)图像数据、计算机断层扫描(CT)图像数据、可见光图像数据和热图像数据。
图4和图5示了使用单独分割结果的聚类来确定置信水平的方法的示例的示意图。图4中的示意图示出了围绕特定值的相对较强的聚类,而图5中的示意图示出了更宽的散布,没有围绕任何特定值的强聚类。在图4和图5所示的示例中,该方法试图预测位于2处的值,并且在图4和图5中绘制的每个点表示来自集成的独立预测(例如,单独分割结果)。
如图4所示,大多数预测(例如,单独分割结果)相对准确,而以大约5的值显示的单个预测相对不准确,因为它比任何其他预测离值2更远。因此,在图4的示例中,在值2周围存在相对较强的聚类。在一个示例中,显示值约为5的单个预测可以被视为离群值,因为它超出了距离其他预测的预定范围,并且可能被排除在进一步使用之外。图4在视觉上似乎表明,在集成之后,最终值的预测(例如,集体分割结果)会有相对较高的置信度。
如图5所示,单独预测(例如单独分割结果)相对分散,因此,任何单个预测的置信度都相对较低。在此示例中,不存在围绕特定值的强聚类。因此,在集成之后,可以确定与此处显示的单独预测相关联的置信度值相对较低。
如图4和图5中所示的示例,在没有基本事实(例如,在这些示例中,不知道真实值为2)的情况下,评估预测聚类可能与预测的置信水平具有很强的相关性。预测聚类可以使用任何通用聚类度量来评估,例如本文别处描述的标准偏差。
为了将聚类度量转化为置信水平,可以确定聚类度量和概率之间的映射。在许多示例下,可以系统地估计聚类度量和误差之间的关系以适合特定应用。使用标准偏差的示例,可以通过实验选择合适的标准偏差来解释大多数聚类误差。建立这种关系后,映射可以近似为适合各种应用。例如,一个示例映射可以是在实验确定最大允许标准偏差之后的简单归一化度量,如本文之前详述的。如果适用于特定应用,这种映射可以是非线性的。
图6是示出根据本文描述的一种或多种技术的预测图像内的对象的聚类边界的示例过程的流程图。图6的操作可由计算设备(例如图1的计算设备2)的一个或多个处理器执行。仅出于说明的目的,下面在图1的计算设备2的背景下描述图6。
根据本公开的技术,计算设备2接收包含对象的横截面视图的图像(602)。对于多个模型中的每一个,计算设备2使用相应模型生成图像内的对象的边界预测(604)。多个模型中的每个模型是唯一模型。此外,每个边界预测具有多个边界预测部分。计算设备2基于多个模型中的每个模型的边界预测生成图像内的对象的聚类边界预测(606)。聚类边界预测包括多个聚类边界预测部分,每个聚类边界预测部分对应于每个边界预测的多个边界预测部分中的一个。对于多个聚类边界预测部分中的每一个,计算设备2基于相应聚类边界预测部分与边界预测的对应边界预测部分之间的比较来确定相应聚类边界预测部分的置信水平(608)。计算设备2输出多个聚类边界预测部分中的每一个的图形指示以显示在显示设备上(610)。每个聚类边界预测部分具有指示相应聚类边界预测部分的置信水平的视觉特征。
应当认识到,根据示例,本文描述的任何技术的某些动作或事件可以以不同的顺序执行,可以添加、合并或完全省略(例如,并非所有描述的动作或事件是技术实践所必需的)。此外,在某些示例中,动作或事件可以例如通过多线程处理、中断处理或多个处理器同时执行,而不是顺序执行。
在一个或多个示例中,所描述的功能可以在硬件、软件、固件或其任何组合中实现。如果以软件实现,则这些功能可以作为一个或多个指令或代码存储在计算机可读介质上或作为一个或多个指令或代码传输并由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质,其对应于诸如数据存储介质之类的有形介质,或者通信介质,包括便于例如根据通信协议将计算机程序从一个地方转移到另一个地方的任何介质。以此方式,计算机可读介质通常可以对应于(1)非暂时性的有形计算机可读存储介质或(2)诸如信号或载波的通信介质。数据存储介质可以是任何可用介质,其可由一台或多台计算机或一个或多个处理器访问以检索用于实现本公开中描述的技术的指令、代码和/或数据结构。计算机程序产品可以包括计算机可读介质。
作为示例而非限制,此类计算机可读存储介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储部件、闪存或任何可用于以指令或数据结构的形式存储所需程序代码并可由计算机访问的其他介质。此外,任何连接都被恰当地称为计算机可读介质。例如,如果使用同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或诸如红外线、无线电和微波的无线技术从网站、服务器或其他远程源传输指令,则同轴电缆、光纤电缆、双绞线、DSL或诸如红外线、无线电和微波的无线技术都包含在介质的定义中。然而,应当理解,计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他瞬态介质,而是针对非暂时性的、有形存储介质。此处所用的磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘和蓝光光盘,其中磁盘通常以磁性方式再现数据,而盘则使用激光以光学方式再现数据。上述的组合也应包括在计算机可读介质的范围内。
指令可由一个或多个处理器执行,诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效的集成或离散逻辑电路。因此,如本文所使用的术语“处理器”可指任何前述结构或适合于实现本文所描述的技术的任何其他结构。此外,在一些方面,本文描述的功能可以在被配置用于编码和解码的专用硬件和/或软件模块内提供,或者并入组合编解码器中。此外,这些技术可以在一个或多个电路或逻辑元件中完全实现。
本公开的技术可以在多种设备或装置中实现,包括无线手持机、集成电路(IC)或一组IC(例如,芯片组)。本公开中描述了各种部件、模块或单元以强调被配置为执行所公开的技术的设备的功能方面,但不一定需要由不同的硬件单元来实现。相反,如上所述,各种单元可以结合在编解码器硬件单元中,或由包括如上所述的一个或多个处理器在内的一组互操作硬件单元连同合适的软件和/或固件一起提供。
已经参考某些公开的示例描述了各种示例。提供这些实施例是为了说明而非限制。本领域技术人员将理解,在不脱离本发明的范围的情况下可以进行各种改变、调整和修改。
Claims (20)
1.一种方法,包括:
由处理器接收包含对象的横截面视图的图像;
对于多个模型中的每一个,通过所述处理器并使用相应模型生成所述图像内的所述对象的边界预测,其中每个边界预测包括多个边界预测部分,并且所述多个模型中的每个模型包括唯一模型;
通过所述处理器并基于所述多个模型中的每个模型的边界预测,生成所述图像内的所述对象的聚类边界预测,所述聚类边界预测包括多个聚类边界预测部分,每个聚类边界预测部分对应于每个所述边界预测的多个边界预测部分中的一个;
对于所述多个聚类边界预测部分中的每一个,通过处理器并基于相应聚类边界预测部分与所述边界预测的对应边界预测部分之间的比较,确定所述相应聚类边界预测部分的置信水平;以及
通过所述处理器并为了在显示设备上显示而输出所述多个聚类边界预测部分中的每一个的图形指示,其中每个聚类边界预测部分具有指示相应聚类边界预测部分的置信水平的视觉特征。
2.根据权利要求1所述的方法,其中所述多个模型包括机器学习模型、深度学习模型、模式识别模型、计算机视觉模型和参数修正模型中的一个或多个。
3.根据权利要求1所述的方法,其中确定所述置信水平包括:
对于所述多个模型中的每一个,通过所述处理器并基于所述相应聚类边界预测部分与所述边界预测的对应边界预测部分之间的比较,确定相应模型的散布;以及
通过所述处理器并基于所述边界预测的对应边界预测部分中的每一个的散布,确定相应聚类边界预测部分的置信水平。
4.根据权利要求3所述的方法,其中确定所述边界预测的对应边界预测部分中的每一个的散布包括:
通过所述处理器并使用所述聚类边界预测部分和所述边界预测的对应边界预测部分中的每一个而创建预测分布,其中所述聚类边界预测部分作为所述预测分布的平均值;
由所述处理器确定所述边界预测的对应边界预测部分中的每一个的标准偏差;以及
由所述处理器确定所述边界预测的对应边界预测部分中的每一个的z分数,作为各个对应边界预测部分距离所述聚类边界预测的标准偏差的数目。
5.根据权利要求3所述的方法,还包括:
由所述处理器确定第一边界预测的第一对应边界预测部分的散布超过所述预测分布的偏差阈值,所述第一边界预测与所述多个模型中的第一模型相关联;
由所述处理器从所述多个模型中移除第一模型以生成模型子集;以及
由所述处理器仅使用所述模型子集重新计算至少所述相应聚类边界预测部分。
6.根据权利要求5所述的方法,其中所述偏差阈值包括用户定义的阈值或默认阈值之一。
7.根据权利要求1所述的方法,其中所述视觉特征包括线条颜色、填充图案、线条粗细、线条分割、文本指示或图形图标中的一种或多种。
8.根据权利要求1所述的方法,还包括:
由所述处理器对于所述多个模型中的每一个确定相应模型的权重;以及
由所述处理器基于所述边界预测的对应边界预测部分和所述多个模型中的每个模型的权重而生成所述聚类边界预测,作为所述图像内的对象的加权聚类边界预测。
9.根据权利要求1所述的方法,其中所述多个模型包括三个或更多个不同的模型。
10.一种计算设备,包括:
至少一个处理器;以及
存储部件,配置为存储能够由至少一个处理器执行的指令以:
接收包含对象的横截面视图的图像;
对于多个模型中的每一个,使用相应模型生成所述图像内的所述对象的边界预测,其中每个边界预测包括多个边界预测部分并且所述多个模型中的每个模型包括唯一模型;
基于所述多个模型中的每个模型的所述边界预测,生成所述图像内的所述对象的聚类边界预测,所述聚类边界预测包括多个聚类边界预测部分,每个聚类边界预测部分对应于每个所述边界预测的多个边界预测部分中的一个;
对于所述多个聚类边界预测部分中的每一个,基于相应聚类边界预测部分与所述边界预测的对应边界预测部分之间的比较,确定相应聚类边界预测部分的置信水平;以及
输出所述多个聚类边界预测部分中的每一个的图形指示以显示在显示设备上,其中每个聚类边界预测部分具有指示相应聚类边界预测部分的置信水平的视觉特征。
11.根据权利要求10所述的计算设备,其中所述多个模型包括机器学习模型、深度学习模型、模式识别模型、计算机视觉模型和参数修正模型中的一个或多个。
12.根据权利要求10所述的计算设备,其中能够由一个或多个处理器执行以确定所述置信水平的指令包括能够由一个或多个处理器执行以进行如下步骤的指令:
对于所述多个模型中的每一个,基于所述相应聚类边界预测部分与所述边界预测的对应边界预测部分之间的比较,确定相应模型的散布;以及
基于所述边界预测的对应边界预测部分中的每一个的散布,确定所述相应聚类边界预测部分的置信水平。
13.根据权利要求12所述的计算设备,其中能够由一个或多个处理器执行以确定所述边界预测的对应边界预测部分中的每一个的散布的指令包括能够由所述一个或多个处理器执行以进行如下步骤的指令:
使用所述聚类边界预测部分和所述边界预测的对应边界预测部分中的每一个创建预测分布,其中所述聚类边界预测部分作为所述预测分布的平均值;
确定所述边界预测的对应边界预测部分中的每一个的标准偏差;以及
确定所述边界预测的对应边界预测部分中的每一个的z分数,作为各个对应边界预测部分距离所述聚类边界预测部分的标准偏差的数目。
14.根据权利要求12所述的计算设备,其中所述指令进一步能够由一个或多个处理器执行以:
确定第一边界预测的第一对应边界预测部分的散布超过所述预测分布的偏差阈值,所述第一边界预测与所述多个模型中的第一模型相关联;
从所述多个模型中移除所述第一模型以生成模型子集;以及
仅使用所述模型子集重新计算至少所述相应聚类边界预测部分。
15.根据权利要求14所述的计算设备,其中所述偏差阈值包括用户定义的阈值或默认阈值之一。
16.根据权利要求10所述的计算设备,其中所述视觉特征包括线条颜色、填充图案、线条粗细、线条分割、文本指示或图形图标中的一种或多种。
17.根据权利要求10所述的计算设备,其中所述指令进一步能够由一个或多个处理器执行以:
对于所述多个模型中的每一个,确定相应模型的权重;以及
基于所述边界预测的对应边界预测部分和所述多个模型中的每个模型的权重,生成所述聚类边界预测作为所述图像内的所述对象的加权聚类边界预测。
18.根据权利要求10所述的计算设备,其中所述多个模型包括三个或更多个不同的模型。
19.根据权利要求10所述的计算设备,还包括配置为捕捉所述图像的相机。
20.一种非暂时性计算机可读存储介质,被描述为在其上存储有指令,所述指令在被执行时使计算设备的一个或多个处理器:
接收包含对象的横截面视图的图像;
对于多个模型中的每一个,使用相应模型生成所述图像内的所述对象的边界预测,其中每个边界预测包括多个边界预测部分并且所述多个模型中的每个模型包括唯一模型;
基于所述多个模型中的每个模型的所述边界预测,为所述图像内的所述对象生成聚类边界预测,所述聚类边界预测包括多个聚类边界预测部分,每个聚类边界预测部分对应于每个所述边界预测的多个边界预测部分中的一个;
对于所述多个聚类边界预测部分中的每一个,基于相应聚类边界预测部分与所述边界预测的对应边界预测部分之间的比较,确定所述相应聚类边界预测部分的置信水平;以及
输出所述多个聚类边界预测部分中的每一个的图形指示以显示在显示设备上,其中每个聚类边界预测部分具有指示相应聚类边界预测部分的置信水平的视觉特征。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962869793P | 2019-07-02 | 2019-07-02 | |
US62/869,793 | 2019-07-02 | ||
US16/581,577 | 2019-09-24 | ||
US16/581,577 US11024034B2 (en) | 2019-07-02 | 2019-09-24 | Image segmentation confidence determination |
PCT/US2020/040421 WO2021003217A1 (en) | 2019-07-02 | 2020-07-01 | Image segmentation confidence determination |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114096993A true CN114096993A (zh) | 2022-02-25 |
Family
ID=74065472
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080043506.4A Pending CN114096993A (zh) | 2019-07-02 | 2020-07-01 | 图像分割置信度确定 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11024034B2 (zh) |
EP (1) | EP3994663A1 (zh) |
JP (1) | JP2022538361A (zh) |
CN (1) | CN114096993A (zh) |
WO (1) | WO2021003217A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6922170B2 (ja) * | 2016-08-25 | 2021-08-18 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム、及び情報処理システム |
US20210233246A1 (en) * | 2020-01-28 | 2021-07-29 | Embodied Intelligence Inc. | Confidence-based segmentation of multiple units |
CN115082667A (zh) * | 2021-03-16 | 2022-09-20 | 腾讯云计算(北京)有限责任公司 | 图像处理方法、装置、设备及存储介质 |
US20230245293A1 (en) * | 2022-02-03 | 2023-08-03 | Fanuc Corporation | Failure detection and failure recovery for ai depalletizing |
EP4361942A1 (en) | 2022-10-27 | 2024-05-01 | Koninklijke Philips N.V. | System and method for segmenting an object in image data |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1906634A (zh) * | 2003-11-19 | 2007-01-31 | 西门子共同研究公司 | 利用外观和形状来检测和匹配解剖结构的系统和方法 |
CN102270342A (zh) * | 2010-06-01 | 2011-12-07 | 西门子公司 | 用于检查图像数据中的结构的分割的方法 |
CN104077765A (zh) * | 2013-03-26 | 2014-10-01 | 富士通株式会社 | 图像分割装置、图像分割方法和程序 |
US20150036906A1 (en) * | 2013-08-02 | 2015-02-05 | Seoul National University R&Db Foundation | Automated mammographic density estimation and display method using prior probability information, system for the same, and media storing computer program for the same |
US20150043797A1 (en) * | 2012-02-14 | 2015-02-12 | Koninklijke Philips N.V. | Method for quantification of uncertainty of contours in manual & auto segmenting algorithms |
US20160267673A1 (en) * | 2015-03-10 | 2016-09-15 | Siemens Aktiengesellschaft | Systems and Method for Computation and Visualization of Segmentation Uncertainty in Medical Images |
EP3246873A1 (en) * | 2016-07-15 | 2017-11-22 | Siemens Healthcare GmbH | Method and data processing unit for segmenting an object in a medical image |
US20180061046A1 (en) * | 2016-08-31 | 2018-03-01 | International Business Machines Corporation | Skin lesion segmentation using deep convolution networks guided by local unsupervised learning |
CN108010048A (zh) * | 2017-12-05 | 2018-05-08 | 华中科技大学 | 一种基于多图谱的自动脑部mri图像的海马体分割方法 |
US20180182101A1 (en) * | 2016-12-23 | 2018-06-28 | Heartflow, Inc. | Systems and methods for probabilistic segmentation in anatomical image processing |
US20180260957A1 (en) * | 2017-03-08 | 2018-09-13 | Siemens Healthcare Gmbh | Automatic Liver Segmentation Using Adversarial Image-to-Image Network |
CN108734718A (zh) * | 2018-05-16 | 2018-11-02 | 北京市商汤科技开发有限公司 | 用于图像分割的处理方法、装置、产品、存储介质及设备 |
CN108770373A (zh) * | 2015-10-13 | 2018-11-06 | 医科达有限公司 | 使用特征回归模型根据mr数据的伪ct生成 |
CN108830326A (zh) * | 2018-06-21 | 2018-11-16 | 河南工业大学 | 一种mri图像的自动分割方法及装置 |
Family Cites Families (164)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5519392B2 (zh) | 1973-07-25 | 1980-05-26 | ||
US4347443A (en) | 1981-06-18 | 1982-08-31 | Honeywell Inc. | Room thermostat with electronic circuit board heat removal air wash |
JPS62221335A (ja) | 1986-03-20 | 1987-09-29 | 株式会社島津製作所 | 血流速度変化曲線表示システム |
US4860758A (en) | 1986-08-14 | 1989-08-29 | Olympus Optical Co. Ltd. | Multiple diagnosable distance range ultrasonic diagnostic apparatus |
JPH074373B2 (ja) | 1986-10-16 | 1995-01-25 | オリンパス光学工業株式会社 | 超音波内視鏡装置 |
US5070734A (en) | 1988-06-15 | 1991-12-10 | Matsushita Electric Industrial Co., Ltd. | Ultrasonic diagnostic apparatus |
US4949310A (en) | 1988-11-21 | 1990-08-14 | Duke University | Maltese cross processor: a high speed compound acoustic imaging system |
JPH0744931B2 (ja) | 1990-06-25 | 1995-05-17 | 富士写真光機株式会社 | 超音波検査装置 |
JP3367666B2 (ja) | 1990-12-17 | 2003-01-14 | カーディオヴァスキュラー イメイジング システムズ インコーポレイテッド | 低輪郭の遠位端部を有する血管カテーテル |
US5183048A (en) | 1991-06-24 | 1993-02-02 | Endosonics Corporation | Method and apparatus for removing artifacts from an ultrasonically generated image of a small cavity |
US5361767A (en) | 1993-01-25 | 1994-11-08 | Igor Yukov | Tissue characterization method and apparatus |
US5453575A (en) | 1993-02-01 | 1995-09-26 | Endosonics Corporation | Apparatus and method for detecting blood flow in intravascular ultrasonic imaging |
US5396285A (en) | 1993-05-07 | 1995-03-07 | Acuson Corporation | Ultrasound imaging method and apparatus with dynamic non-linear filtering |
US5363849A (en) | 1994-01-26 | 1994-11-15 | Cardiovascular Imaging Systems, Inc. | Enhancing intravascular ultrasonic blood vessel image |
US5531679A (en) | 1994-03-14 | 1996-07-02 | Schulman; Joseph H. | Fluidic infusion system for catheter or probe |
US5462057A (en) | 1994-06-06 | 1995-10-31 | Hewlett-Packard Company | Ultrasound imaging system using line splicing and parallel receive beam formation |
US7110587B1 (en) | 1995-05-31 | 2006-09-19 | Ge Medical Systems Israel Ltd. | Registration of nuclear medicine images |
JPH09522A (ja) | 1995-06-23 | 1997-01-07 | Toshiba Corp | 超音波プローブ及び超音波診断装置 |
US5741552A (en) | 1995-06-27 | 1998-04-21 | Nippon Paint Co., Ltd. | Coating composition and method for forming multi-layer coating |
US5690115A (en) | 1995-09-21 | 1997-11-25 | Feldman; Charles L. | Detecting vascular stenosis in chronic hemodialysis patients |
EP1374777A1 (en) | 1995-10-10 | 2004-01-02 | Advanced Technology Laboratories, Inc. | Ultrasonic diagnostic imaging with contrast agents |
US6215910B1 (en) | 1996-03-28 | 2001-04-10 | Microsoft Corporation | Table-based compression with embedded coding |
US5795296A (en) | 1996-03-29 | 1998-08-18 | University Of Washington | Pipeline process for automatically measuring object boundary from ultrasound image samples |
US5848969A (en) | 1996-10-28 | 1998-12-15 | Ep Technologies, Inc. | Systems and methods for visualizing interior tissue regions using expandable imaging structures |
DE69735927T2 (de) | 1996-11-26 | 2007-05-24 | ATL Ultrasound, Inc., Bothell | Diagnostik-Bilderzeugung mittels Ultraschall unterschiedlicher Sende- und Empfangsfrequenz |
US5919137A (en) | 1996-12-04 | 1999-07-06 | Acuson Corporation | Ultrasonic diagnostic imaging system with programmable acoustic signal processor |
US20010017941A1 (en) | 1997-03-14 | 2001-08-30 | Navin Chaddha | Method and apparatus for table-based compression with embedded coding |
US5921931A (en) | 1997-04-08 | 1999-07-13 | Endosonics Corporation | Method and apparatus for creating a color blood flow image based upon ultrasonic echo signals received by an intravascular ultrasound imaging probe |
US5833615A (en) | 1997-05-09 | 1998-11-10 | Thomas Jefferson University | Excitation enhanced ultrasound system |
US6095976A (en) | 1997-06-19 | 2000-08-01 | Medinol Ltd. | Method for enhancing an image derived from reflected ultrasound signals produced by an ultrasound transmitter and detector inserted in a bodily lumen |
US6132374A (en) | 1997-08-01 | 2000-10-17 | Acuson Corporation | Ultrasonic imaging method and system |
US5876343A (en) | 1997-09-23 | 1999-03-02 | Scimed Life Systems, Inc. | Methods and apparatus for blood speckle detection in an intravascular ultrasound imaging system |
US5885218A (en) | 1997-11-07 | 1999-03-23 | Scimed Life Systems, Inc. | Method and apparatus for spatial filtering in an intravascular ultrasound imaging system |
US6036650A (en) | 1998-09-15 | 2000-03-14 | Endosonics Corporation | Ultrasonic imaging system and method with ringdown reduction |
US6102862A (en) | 1998-10-02 | 2000-08-15 | Scimed Life Systems, Inc. | Adaptive cancellation of ring-down artifact in IVUS imaging |
US6645147B1 (en) | 1998-11-25 | 2003-11-11 | Acuson Corporation | Diagnostic medical ultrasound image and system for contrast agent imaging |
US7194294B2 (en) | 1999-01-06 | 2007-03-20 | Scimed Life Systems, Inc. | Multi-functional medical catheter and methods of use |
US6216025B1 (en) | 1999-02-02 | 2001-04-10 | Optosonics, Inc. | Thermoacoustic computed tomography scanner |
US6139501A (en) | 1999-06-08 | 2000-10-31 | Atl Ultrasound, Inc. | Coincident tissue and motion ultrasonic diagnostic imaging |
US6381350B1 (en) | 1999-07-02 | 2002-04-30 | The Cleveland Clinic Foundation | Intravascular ultrasonic analysis using active contour method and system |
US6896658B2 (en) | 2001-10-20 | 2005-05-24 | Zonare Medical Systems, Inc. | Simultaneous multi-mode and multi-band ultrasonic imaging |
US6277075B1 (en) | 1999-11-26 | 2001-08-21 | Ge Medical Systems Global Technology Company, Llc | Method and apparatus for visualization of motion in ultrasound flow imaging using continuous data acquisition |
US6457365B1 (en) | 2000-02-09 | 2002-10-01 | Endosonics Corporation | Method and apparatus for ultrasonic imaging |
US6454715B2 (en) | 2000-04-11 | 2002-09-24 | Scimed Life Systems, Inc. | Methods and apparatus for blood speckle detection in an intravascular ultrasound imaging system |
US6561980B1 (en) * | 2000-05-23 | 2003-05-13 | Alpha Intervention Technology, Inc | Automatic segmentation of prostate, rectum and urethra in ultrasound imaging |
JP2001333902A (ja) | 2000-05-25 | 2001-12-04 | Olympus Optical Co Ltd | 超音波診断装置 |
US6590830B1 (en) | 2000-06-08 | 2003-07-08 | Advanced Imaging Technologies, Inc. | Apparatus and process modifications in ultrasonic holography to improve image quality |
CA2312142A1 (en) | 2000-06-22 | 2001-12-22 | An-Go-Gen Inc. | Injection system for gene delivery |
US6771803B1 (en) * | 2000-11-22 | 2004-08-03 | Ge Medical Systems Global Technology Company, Llc | Method and apparatus for fitting a smooth boundary to segmentation masks |
KR100722596B1 (ko) | 2001-04-19 | 2007-05-28 | 가부시끼가이샤 도시바 | 화상처리방법과 화상처리장치 |
WO2003011764A2 (en) | 2001-08-03 | 2003-02-13 | Volker Westphal | Real-time imaging system and method |
US7011632B2 (en) | 2001-09-18 | 2006-03-14 | Kretztechnik Ag | Methods and apparatus for ultrasonic compound imaging |
US6592523B2 (en) | 2001-11-21 | 2003-07-15 | Ge Medical Systems Global Technology Company, Llc | Computationally efficient noise reduction filter for enhancement of ultrasound images |
US6704590B2 (en) | 2002-04-05 | 2004-03-09 | Cardiac Pacemakers, Inc. | Doppler guiding catheter using sensed blood turbulence levels |
US6746401B2 (en) | 2002-05-06 | 2004-06-08 | Scimed Life Systems, Inc. | Tissue ablation visualization |
US7396332B2 (en) | 2002-06-10 | 2008-07-08 | Scimed Life Systems, Inc. | Transducer with multiple resonant frequencies for an imaging catheter |
JP3720797B2 (ja) | 2002-08-26 | 2005-11-30 | 芳文 西條 | 超音波診断装置 |
JP4226882B2 (ja) | 2002-11-29 | 2009-02-18 | 株式会社東芝 | 超音波診断装置 |
US20050119573A1 (en) | 2003-11-05 | 2005-06-02 | Boris Vilenkin | Method and system for quantification of arterial stenosis |
CA2449080A1 (en) | 2003-11-13 | 2005-05-13 | Centre Hospitalier De L'universite De Montreal - Chum | Apparatus and method for intravascular ultrasound image segmentation: a fast-marching method |
JP4528529B2 (ja) | 2004-01-20 | 2010-08-18 | 株式会社東芝 | 超音波診断装置及び超音波画像データ処理方法 |
CA2457171A1 (en) | 2004-02-09 | 2005-08-09 | Centre Hospitalier De L'universite De Montreal - Chum | Imaging apparatus and methods |
US7215802B2 (en) | 2004-03-04 | 2007-05-08 | The Cleveland Clinic Foundation | System and method for vascular border detection |
US7397935B2 (en) | 2004-05-10 | 2008-07-08 | Mediguide Ltd. | Method for segmentation of IVUS image sequences |
JP4648652B2 (ja) | 2004-06-24 | 2011-03-09 | テルモ株式会社 | 超音波診断装置および超音波診断装置の作動方法 |
JP2006014938A (ja) | 2004-07-01 | 2006-01-19 | Shimadzu Corp | 超音波診断装置 |
GB2445322B (en) | 2004-08-13 | 2008-08-06 | Stichting Tech Wetenschapp | Intravasular ultrasound techniques |
US20080015569A1 (en) | 2005-02-02 | 2008-01-17 | Voyage Medical, Inc. | Methods and apparatus for treatment of atrial fibrillation |
WO2006102511A2 (en) | 2005-03-23 | 2006-09-28 | New Health Sciences, Inc. | Systems and methods for using dynamic vascular assessment to distinguish among vascular states and for investigating intracranial pressure |
US20060253028A1 (en) | 2005-04-20 | 2006-11-09 | Scimed Life Systems, Inc. | Multiple transducer configurations for medical ultrasound imaging |
ES2425779T3 (es) | 2005-05-06 | 2013-10-17 | Vasonova, Inc. | Aparato para el guiado y posicionamiento de un dispositivo endovascular |
JP4691657B2 (ja) | 2005-07-28 | 2011-06-01 | 国立大学法人山口大学 | 柔軟な光ファイバーを関節内に挿入可能な関節内軟骨評価プローブ及び関節内軟骨評価装置 |
US7831081B2 (en) | 2005-08-15 | 2010-11-09 | Boston Scientific Scimed, Inc. | Border detection in medical image analysis |
WO2007047566A2 (en) | 2005-10-14 | 2007-04-26 | The Cleveland Clinic Foundation | System and method for characterizing vascular tissue |
US7801343B2 (en) | 2005-11-29 | 2010-09-21 | Siemens Medical Solutions Usa, Inc. | Method and apparatus for inner wall extraction and stent strut detection using intravascular optical coherence tomography imaging |
US8012094B2 (en) | 2006-02-17 | 2011-09-06 | Esi, Inc. | Immersion bag system for use with an ultrasound probe |
JP2007229015A (ja) | 2006-02-27 | 2007-09-13 | Fujifilm Corp | 超音波観測装置 |
US20080043024A1 (en) | 2006-06-26 | 2008-02-21 | Siemens Corporate Research, Inc. | Method for reconstructing an object subject to a cone beam using a graphic processor unit (gpu) |
US7831078B2 (en) | 2006-07-24 | 2010-11-09 | Siemens Medical Solutions Usa, Inc. | System and method for statistical shape model based segmentation of intravascular ultrasound and optical coherence tomography images |
US7967753B2 (en) | 2006-08-01 | 2011-06-28 | Stichting Voor de Technische Wetenschappen of Van Vollenhovenlaan | Pulse inversion sequences for nonlinear imaging |
US7515740B2 (en) | 2006-08-02 | 2009-04-07 | Fotonation Vision Limited | Face recognition with combined PCA-based datasets |
EP2111165B8 (en) | 2007-01-19 | 2017-10-04 | Sunnybrook Health Sciences Centre | Imaging probe with combined ultrasound and optical means of imaging |
US8060186B2 (en) | 2007-02-15 | 2011-11-15 | Siemens Aktiengesellschaft | System and method for intraoperative guidance of stent placement during endovascular interventions |
WO2008110013A1 (en) | 2007-03-15 | 2008-09-18 | Centre Hospitalier De L'universite De Montreal | Image segmentation |
US7789834B2 (en) | 2007-03-21 | 2010-09-07 | Volcano Corporation | Plaque characterization using multiple intravascular ultrasound datasets having distinct filter bands |
EP1988505B1 (en) | 2007-05-03 | 2020-05-06 | Sony Deutschland Gmbh | Method and system for initializing templates of moving objects |
US9596993B2 (en) | 2007-07-12 | 2017-03-21 | Volcano Corporation | Automatic calibration systems and methods of use |
US20090105579A1 (en) | 2007-10-19 | 2009-04-23 | Garibaldi Jeffrey M | Method and apparatus for remotely controlled navigation using diagnostically enhanced intra-operative three-dimensional image data |
US20120022360A1 (en) | 2008-03-28 | 2012-01-26 | Volcano Corporation | Methods for intravascular imaging and flushing |
US20090284332A1 (en) | 2008-05-15 | 2009-11-19 | Silicon Valley Medical Instruments, Inc. | Ivus system with rotary capacitive coupling |
EP2143384A1 (en) | 2008-07-09 | 2010-01-13 | Medison Co., Ltd. | Enhanced ultrasound data processing in an ultrasound system |
JP5778579B2 (ja) | 2008-10-14 | 2015-09-16 | ライトラボ・イメージング・インコーポレーテッド | 光コヒーレンス断層撮影法を使用するステントストラット検出ならびに関連する測定および表示のための方法 |
US8187191B2 (en) | 2009-01-08 | 2012-05-29 | Volcano Corporation | System and method for equalizing received intravascular ultrasound echo signals |
JP5390942B2 (ja) | 2009-06-03 | 2014-01-15 | 富士フイルム株式会社 | 超音波診断装置及び信号処理プログラム |
EP2742858B1 (en) | 2009-09-23 | 2024-06-05 | Light-Lab Imaging Inc. | Lumen morphology and vascular resistance measurements data collection systems, apparatus and methods |
EP2488107B1 (en) | 2009-10-12 | 2017-03-08 | Acist Medical Systems, Inc. | Intravascular ultrasound system for co-registered imaging |
CA2785655A1 (en) | 2009-12-29 | 2011-07-07 | Boston Scientific Scimed, Inc. | Systems and methods for multi-frequency imaging of patient tissue using intravascular ultrasound imaging systems |
US8811745B2 (en) * | 2010-01-20 | 2014-08-19 | Duke University | Segmentation and identification of layered structures in images |
US9204858B2 (en) | 2010-02-05 | 2015-12-08 | Ultrasonix Medical Corporation | Ultrasound pulse-wave doppler measurement of blood flow velocity and/or turbulence |
US20110257527A1 (en) | 2010-04-20 | 2011-10-20 | Suri Jasjit S | Ultrasound carotid media wall classification and imt measurement in curved vessels using recursive refinement and validation |
KR101999078B1 (ko) | 2010-06-09 | 2019-07-10 | 리전츠 오브 더 유니버스티 오브 미네소타 | 초음파 치료의 전달을 제어하기 위한 이중 모드 초음파 트랜스듀서(dmut) 시스템 및 방법 |
JP5514911B2 (ja) | 2010-07-15 | 2014-06-04 | 株式会社日立メディコ | 超音波撮像装置 |
JP5680654B2 (ja) | 2010-08-31 | 2015-03-04 | 株式会社日立メディコ | 超音波診断装置及び超音波画像表示方法 |
JP5926263B2 (ja) | 2010-09-10 | 2016-05-25 | アシスト・メディカル・システムズ,インコーポレイテッド | 医用画像検索のための装置及び方法 |
JP5209025B2 (ja) | 2010-10-27 | 2013-06-12 | ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー | 超音波診断装置 |
WO2012064413A1 (en) | 2010-11-12 | 2012-05-18 | Boston Scientific Scimed, Inc. | Systems and methods for making and using rotational transducers for concurrently imaging blood flow and tissue |
JP5756812B2 (ja) | 2010-11-25 | 2015-07-29 | 株式会社日立メディコ | 超音波動画像処理方法、装置、およびプログラム |
US8761469B2 (en) | 2011-01-03 | 2014-06-24 | Volcano Corporation | Artifact management in rotational imaging |
CN103917165B (zh) | 2011-08-26 | 2016-02-24 | Ebm株式会社 | 用于血流性状诊断的系统 |
JP5894426B2 (ja) * | 2011-12-13 | 2016-03-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 計測対象抽出装置、顔形状推定装置、計測対象抽出方法および顔形状推定方法 |
CA2866509A1 (en) | 2011-12-21 | 2013-06-27 | Volcano Corporation | Method for visualizing blood and blood-likelihood in vascular images |
US8965490B2 (en) | 2012-05-07 | 2015-02-24 | Vasonova, Inc. | Systems and methods for detection of the superior vena cava area |
US10869648B2 (en) | 2012-05-11 | 2020-12-22 | Philips Image Guided Therapy Corporation | Device, system and method for flow imaging in the body using a swept transducer |
WO2013170143A1 (en) | 2012-05-11 | 2013-11-14 | Volcano Corporation | Device and system for imaging and blood flow velocity measurement |
CN104379065B (zh) | 2012-05-25 | 2018-07-13 | 阿西斯特医疗系统有限公司 | 流体流量测量系统和方法 |
US9224207B2 (en) * | 2012-09-17 | 2015-12-29 | Raytheon Bbn Technologies Corp. | Segmentation co-clustering |
US9324141B2 (en) | 2012-10-05 | 2016-04-26 | Volcano Corporation | Removal of A-scan streaking artifact |
US9858668B2 (en) | 2012-10-05 | 2018-01-02 | Volcano Corporation | Guidewire artifact removal in images |
US11272845B2 (en) | 2012-10-05 | 2022-03-15 | Philips Image Guided Therapy Corporation | System and method for instant and automatic border detection |
US9292918B2 (en) | 2012-10-05 | 2016-03-22 | Volcano Corporation | Methods and systems for transforming luminal images |
WO2014065338A1 (ja) | 2012-10-23 | 2014-05-01 | 株式会社 東芝 | 超音波診断装置及び超音波診断装置制御方法 |
JP2014100249A (ja) | 2012-11-19 | 2014-06-05 | Toshiba Corp | 血管解析装置、医用画像診断装置、血管解析方法、及び血管解析プログラム |
JP6091870B2 (ja) | 2012-12-07 | 2017-03-08 | 東芝メディカルシステムズ株式会社 | 血管解析装置、医用画像診断装置、血管解析方法、及び血管解析プログラム |
US10398413B2 (en) | 2012-12-21 | 2019-09-03 | Volcano Corporation | Method for multi-frequency imaging and composite image display using high-bandwidth transducer outputs |
CA2896016A1 (en) | 2012-12-21 | 2014-06-26 | Paul Hoseit | System and method for flush-triggered imaging |
EP2934333B1 (en) | 2012-12-21 | 2019-05-15 | Volcano Corporation | Method for multi-frequency imaging using high-bandwidth transducer outputs |
US9173591B2 (en) | 2013-03-08 | 2015-11-03 | Lightlab Imaging, Inc. | Stent visualization and malapposition detection systems, devices, and methods |
US9301687B2 (en) | 2013-03-13 | 2016-04-05 | Volcano Corporation | System and method for OCT depth calibration |
US10219887B2 (en) | 2013-03-14 | 2019-03-05 | Volcano Corporation | Filters with echogenic characteristics |
US9702762B2 (en) | 2013-03-15 | 2017-07-11 | Lightlab Imaging, Inc. | Calibration and image processing devices, methods, and systems |
US10245007B2 (en) | 2013-03-15 | 2019-04-02 | Infraredx, Inc. | High resolution intravascular ultrasound imaging systems and methods |
WO2014162368A1 (ja) | 2013-04-05 | 2014-10-09 | テルモ株式会社 | 画像診断装置及びプログラム |
US9693754B2 (en) | 2013-05-15 | 2017-07-04 | Acist Medical Systems, Inc. | Imaging processing systems and methods |
US9430827B2 (en) * | 2013-05-31 | 2016-08-30 | Siemens Aktiengesellschaft | Segmentation of a calcified blood vessel |
EP3014573B1 (en) | 2013-06-28 | 2017-12-13 | Koninklijke Philips N.V. | Methods of utilizing image noise information |
US9805463B2 (en) * | 2013-08-27 | 2017-10-31 | Heartflow, Inc. | Systems and methods for predicting location, onset, and/or change of coronary lesions |
CN105530871B (zh) | 2013-09-11 | 2019-05-07 | 波士顿科学国际有限公司 | 使用血管内超声成像系统选择和显示图像的系统和方法 |
JP6437440B2 (ja) | 2013-09-27 | 2018-12-12 | テルモ株式会社 | 画像診断装置及びその作動方法、プログラム及びコンピュータ可読記憶媒体 |
EP3055709B1 (en) | 2013-10-07 | 2018-12-26 | Acist Medical Systems, Inc. | Signal processing for intravascular imaging |
CN107773273B (zh) | 2013-11-19 | 2023-12-01 | 港大科桥有限公司 | 超声流体向量成像装置及其方法 |
JP5918200B2 (ja) | 2013-11-29 | 2016-05-18 | 日立アロカメディカル株式会社 | 超音波診断装置 |
US9594976B2 (en) * | 2014-02-18 | 2017-03-14 | Siemens Healthcare Gmbh | Sparse appearance learning-based segmentation |
CN104881673B (zh) * | 2014-02-28 | 2018-06-01 | 国际商业机器公司 | 基于信息整合的模式识别的方法和系统 |
KR20150108701A (ko) * | 2014-03-18 | 2015-09-30 | 삼성전자주식회사 | 의료 영상 내 해부학적 요소 시각화 시스템 및 방법 |
US10542954B2 (en) | 2014-07-14 | 2020-01-28 | Volcano Corporation | Devices, systems, and methods for improved accuracy model of vessel anatomy |
JP6587624B2 (ja) | 2014-09-26 | 2019-10-09 | テルモ株式会社 | 断層像形成装置および制御方法 |
US10463247B2 (en) * | 2015-06-22 | 2019-11-05 | The Regents Of The University Of California | Automatic three-dimensional segmentation method for OCT and doppler OCT angiography |
AU2016297923B2 (en) | 2015-07-25 | 2021-02-18 | Lightlab Imaging, Inc. | Guidewire detection systems, methods, and apparatuses |
US10909661B2 (en) | 2015-10-08 | 2021-02-02 | Acist Medical Systems, Inc. | Systems and methods to reduce near-field artifacts |
US10653393B2 (en) | 2015-10-08 | 2020-05-19 | Acist Medical Systems, Inc. | Intravascular ultrasound imaging with frequency selective imaging methods and systems |
US10123689B2 (en) * | 2015-10-28 | 2018-11-13 | Oregon Health & Science University | Systems and methods for retinal layer segmentation in OCT imaging and OCT angiography |
US11369337B2 (en) | 2015-12-11 | 2022-06-28 | Acist Medical Systems, Inc. | Detection of disturbed blood flow |
KR101727836B1 (ko) * | 2015-12-22 | 2017-04-17 | 한국과학기술원 | 영상 복원 장치 및 방법 및 장치 |
WO2017117389A1 (en) | 2015-12-31 | 2017-07-06 | Acist Medical Systems, Inc. | Semi-automated image segmentation system and method |
WO2017200899A1 (en) * | 2016-05-16 | 2017-11-23 | Acist Medical Systems, Inc. | Motion-based image segmentation systems and methods |
GB201709672D0 (en) * | 2017-06-16 | 2017-08-02 | Ucl Business Plc | A system and computer-implemented method for segmenting an image |
US20190082117A1 (en) | 2017-09-14 | 2019-03-14 | Acist Medical Systems, Inc. | Intravascular ultrasound image processing of blood-filled or blood-displaced lumens |
US10258304B1 (en) * | 2017-11-29 | 2019-04-16 | Siemens Healthcare Gmbh | Method and system for accurate boundary delineation of tubular structures in medical images using infinitely recurrent neural networks |
US10650530B2 (en) * | 2018-03-29 | 2020-05-12 | Uveye Ltd. | Method of vehicle image comparison and system thereof |
US11210779B2 (en) * | 2018-09-07 | 2021-12-28 | Siemens Healthcare Gmbh | Detection and quantification for traumatic bleeding using dual energy computed tomography |
US11257213B2 (en) * | 2018-10-25 | 2022-02-22 | Koninklijke Philips N.V. | Tumor boundary reconstruction using hyperspectral imaging |
WO2020146905A1 (en) * | 2019-01-13 | 2020-07-16 | Lightlab Imaging, Inc. | Systems and methods for classification of arterial image regions and features thereof |
US11468538B2 (en) * | 2019-04-05 | 2022-10-11 | Baker Hughes Oilfield Operations Llc | Segmentation and prediction of low-level temporal plume patterns |
US10984290B1 (en) * | 2019-11-15 | 2021-04-20 | Zoox, Inc. | Multi-task learning for real-time semantic and/or depth aware instance segmentation and/or three-dimensional object bounding |
-
2019
- 2019-09-24 US US16/581,577 patent/US11024034B2/en active Active
-
2020
- 2020-07-01 WO PCT/US2020/040421 patent/WO2021003217A1/en unknown
- 2020-07-01 CN CN202080043506.4A patent/CN114096993A/zh active Pending
- 2020-07-01 EP EP20743513.2A patent/EP3994663A1/en active Pending
- 2020-07-01 JP JP2021577990A patent/JP2022538361A/ja active Pending
-
2021
- 2021-04-30 US US17/245,767 patent/US11763460B2/en active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1906634A (zh) * | 2003-11-19 | 2007-01-31 | 西门子共同研究公司 | 利用外观和形状来检测和匹配解剖结构的系统和方法 |
CN102270342A (zh) * | 2010-06-01 | 2011-12-07 | 西门子公司 | 用于检查图像数据中的结构的分割的方法 |
US20150043797A1 (en) * | 2012-02-14 | 2015-02-12 | Koninklijke Philips N.V. | Method for quantification of uncertainty of contours in manual & auto segmenting algorithms |
CN104077765A (zh) * | 2013-03-26 | 2014-10-01 | 富士通株式会社 | 图像分割装置、图像分割方法和程序 |
US20150036906A1 (en) * | 2013-08-02 | 2015-02-05 | Seoul National University R&Db Foundation | Automated mammographic density estimation and display method using prior probability information, system for the same, and media storing computer program for the same |
US20160267673A1 (en) * | 2015-03-10 | 2016-09-15 | Siemens Aktiengesellschaft | Systems and Method for Computation and Visualization of Segmentation Uncertainty in Medical Images |
CN108770373A (zh) * | 2015-10-13 | 2018-11-06 | 医科达有限公司 | 使用特征回归模型根据mr数据的伪ct生成 |
EP3246873A1 (en) * | 2016-07-15 | 2017-11-22 | Siemens Healthcare GmbH | Method and data processing unit for segmenting an object in a medical image |
US20180061046A1 (en) * | 2016-08-31 | 2018-03-01 | International Business Machines Corporation | Skin lesion segmentation using deep convolution networks guided by local unsupervised learning |
US20180182101A1 (en) * | 2016-12-23 | 2018-06-28 | Heartflow, Inc. | Systems and methods for probabilistic segmentation in anatomical image processing |
US20180260957A1 (en) * | 2017-03-08 | 2018-09-13 | Siemens Healthcare Gmbh | Automatic Liver Segmentation Using Adversarial Image-to-Image Network |
CN108010048A (zh) * | 2017-12-05 | 2018-05-08 | 华中科技大学 | 一种基于多图谱的自动脑部mri图像的海马体分割方法 |
CN108734718A (zh) * | 2018-05-16 | 2018-11-02 | 北京市商汤科技开发有限公司 | 用于图像分割的处理方法、装置、产品、存储介质及设备 |
CN108830326A (zh) * | 2018-06-21 | 2018-11-16 | 河南工业大学 | 一种mri图像的自动分割方法及装置 |
Non-Patent Citations (4)
Title |
---|
FENG SHI等: "Live-wire-based image segmentation with embedded edge confidence", 《OPTICAL ENGINEERING》, vol. 48, no. 3, 1 March 2009 (2009-03-01), pages 037007 - 1 * |
MARIE-H´EL`ENE ROY CARDINAL等: "Intravascular Ultrasound Image Segmentation: A Fast-Marching Method", 《R.E. ELLIS AND T.M. PETERS (EDS.): MICCAI 2003》, vol. 2879, no. 2003, 31 December 2003 (2003-12-31), pages 432, XP055299068, DOI: 10.1007/978-3-540-39903-2_53 * |
VIKRAM CHALANA等: "A Methodology for Evaluation of Boundary Detection Algorithms on Medical Images", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》, vol. 16, no. 5, 31 October 1997 (1997-10-31), pages 642 - 651, XP011035651 * |
田捷, 韩博闻, 王岩, 罗希平: "模糊C-均值聚类法在医学图像分析中的应用", 软件学报, no. 11, 23 November 2001 (2001-11-23), pages 43 - 49 * |
Also Published As
Publication number | Publication date |
---|---|
WO2021003217A1 (en) | 2021-01-07 |
US20210004965A1 (en) | 2021-01-07 |
EP3994663A1 (en) | 2022-05-11 |
US20210264610A1 (en) | 2021-08-26 |
JP2022538361A (ja) | 2022-09-01 |
US11763460B2 (en) | 2023-09-19 |
US11024034B2 (en) | 2021-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11763460B2 (en) | Image segmentation confidence determination | |
US9858665B2 (en) | Medical imaging device rendering predictive prostate cancer visualizations using quantitative multiparametric MRI models | |
US10424067B2 (en) | Image processing apparatus, image processing method and storage medium | |
CN112132265B (zh) | 模型训练方法、杯盘比确定方法、装置、设备及存储介质 | |
CN109191451B (zh) | 异常检测方法、装置、设备和介质 | |
CN112446866B (zh) | 血流参数的计算方法、装置、设备及存储介质 | |
US20150196281A1 (en) | Medical data processing device, medical data processing method, and ultrasound diagnostic device | |
US12073937B2 (en) | Medical information processing apparatus | |
CN112183627B (zh) | 生成预测密度图网络的方法和车辆年检标数量检测方法 | |
EP3686805A1 (en) | Associating a population descriptor with a trained model | |
JPWO2016159379A1 (ja) | 血管形状構築装置、その方法及びコンピュータソフトウエアプログラム | |
KR102327662B1 (ko) | 동맥류 파열 예측 장치 및 방법 | |
US20210295525A1 (en) | Digital Image Boundary Detection | |
CN114022614A (zh) | 一种三维重建目标位置置信度的估计方法及系统 | |
CN113827240B (zh) | 情绪分类方法和情绪分类模型的训练方法、装置及设备 | |
CN114972220B (zh) | 一种图像处理方法、装置、电子设备及可读存储介质 | |
EP3510937A1 (en) | Ultrasonic diagnosis device and operation method therefor | |
JP7440665B2 (ja) | 網膜画像処理 | |
US20230036757A1 (en) | Concurrent display of hemodynamic parameters and damaged brain tissue | |
CN117495951B (zh) | 颅内动脉瘤定位方法、装置、计算机设备及存储介质 | |
CN113593678B (zh) | 基于血管影像补全的脑卒中分型方法及装置 | |
EP4434443A1 (en) | Calibrating duct parameter measurements | |
US20230368393A1 (en) | System and method for improving annotation accuracy in mri data using mr fingerprinting and deep learning | |
CN118736390A (zh) | 用于审核图像检查质量的系统和方法 | |
WO2024116137A1 (en) | Method and system for training a machine learning system for image processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: Minn Applicant after: Asist Medical Systems Address before: Minn Applicant before: ACIST MEDICAL SYSTEMS, Inc. |