CN116546916A - 用于虚拟胰腺造影管线的系统和方法 - Google Patents

用于虚拟胰腺造影管线的系统和方法 Download PDF

Info

Publication number
CN116546916A
CN116546916A CN202180072197.8A CN202180072197A CN116546916A CN 116546916 A CN116546916 A CN 116546916A CN 202180072197 A CN202180072197 A CN 202180072197A CN 116546916 A CN116546916 A CN 116546916A
Authority
CN
China
Prior art keywords
segment
catheter
lesion
pancreatic
pancreas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180072197.8A
Other languages
English (en)
Inventor
A·考夫曼
K·德米特里耶夫
S·贾达夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
A Kaofuman
K Demiteliyefu
S Jiadafu
Research Foundation of State University of New York
Original Assignee
A Kaofuman
K Demiteliyefu
S Jiadafu
Research Foundation of State University of New York
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by A Kaofuman, K Demiteliyefu, S Jiadafu, Research Foundation of State University of New York filed Critical A Kaofuman
Publication of CN116546916A publication Critical patent/CN116546916A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/42Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222Evaluating particular parts, e.g. particular organs
    • A61B5/425Evaluating particular parts, e.g. particular organs pancreas
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30092Stomach; Gastric
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Abstract

公开了用于胰腺病变的非侵入性诊断和分类的虚拟胰腺造影(VP)的系统和方法。VP系统是一种端到端的视觉诊断系统,包括:胰腺和病变的自动分割、主胰腺导管的提取、将病变自动分类成多种病变类型、以及胰腺、病变和周围解剖结构的专门的3D和2D探查可视化。结合体积再现与胰腺和以病变为中心的可视化和测量,以用于有效诊断。

Description

用于虚拟胰腺造影管线的系统和方法
相关申请的交叉引用
本申请涉及2020年9月1日提交的美国专利申请No.63/073,122的,并要求其优先权,其全部公开内容通过引用并入本文。
技术领域
本发明总体上涉及用于计算机辅助诊断和治疗计划的胰腺三维可视化的生成和显示系统和方法。
背景技术
胰腺癌(PC)是最具侵袭性的癌症之一,其5年存活率低于10%。如此低的发病存活率部分归因于该疾病的无症状性质,导致大多数病例直到晚期才被发现。早期发现和表征独特的前驱病变可以显著改善PC的预后。然而,在CT扫描上准确描述病变的特征是具有挑战性的,因为相关的形态学和形状特征在常规2D视图中不是清晰可见的。这些特征也在病变类型之间重叠,使得人工评估在诊断中易受人为错误和可变性的影响:有经验的放射科医师的诊断准确性在67%-70%的范围内。
常规技术为胰腺疾病的成像和诊断提供了不充分的解决方案。例如,胰腺造影术需要侵入性的内窥镜程序来诊断胰腺。胰腺的常规2D成像也是不充分的图像,因为例如病变和胰腺导管之间的关系难以建立。图像采集、处理和可视化方面的技术进步已经使得全新的医学虚拟诊断和虚拟内窥镜检查成为可能。例如,虚拟结肠镜检查(VC)是一种用于评估结肠直肠癌的技术,其使用先进的可视化方法非常有效,例如电子活检、结肠展平和两次(例如俯卧、仰卧)扫描的同步显示。类似地,虚拟内窥镜已经应用于支气管镜检查、血管镜检查和窦腔检查。前列腺癌可视化和乳房造影筛查是渲染和机器学习技术帮助临床医生做出决策的例子。专门的可视化也已经用于外科手术和治疗计划。3D可视化用于对比增强的大鼠胰腺,MR显微镜用于小鼠胰腺的微观特征。然而,目前还没有用于对人体胰腺病变进行非侵入性筛查和分析的综合视觉诊断系统。
因此,需要一种具有工具和3D可视化的指定系统,其专门开发用于固有3D的胰腺和病变的检测、分割和分析,以便提供足够的诊断见解。
发明内容
本系统和方法的示例性实施例提供了以下这些和更多的优点。
本文所述的本系统和方法的实施例提供了用于虚拟胰腺造影(VirtualPancreatography,VP)的系统和方法。该系统和方法用于放射图像中的胰腺癌筛查,包括但不限于计算机断层摄影(“CT”)和磁共振成像(“MRI”)。
具体而言,该系统和方法提供了一套工具,用于对胰腺、胰腺病变进行自动分割,对胰腺导管进行医生指导的分割,对整个输入图像进行自动整体分析,对胰腺病变和相应的发育异常等级进行自动组织病理学分类,以及提供全面的3D和2D可视化工具。该系统和方法是一种非侵入性诊断设备,旨在用于由医生对具有潜在或已确认胰腺病变的患者进行诊断评估。
本文所述的系统和方法在腹部扫描(例如常规计算机断层扫描(CT)、光谱CT(又称双能量CT(DECT)),或磁共振成像(MRI))中提供非侵入性胰腺癌筛查,其为增强和扩展的虚拟胰腺造影(VP)系统。该系统和方法提供了自动检测和分割胰腺、胰腺病变和胰腺导管(或者医生引导的胰腺导管分割)、整个腹部扫描和所有当前异常的自动整体分析、将当前胰腺病变分类为组织病理学类型(例如,导管内乳头状粘液性肿瘤(IPMN)、粘液性囊性肿瘤(MCN)、浆液性囊腺瘤(SCA)、实性假乳头状肿瘤(SPN)等)和发育异常的等级(例如,低、中、高)的功能,以及具有以下特征的综合可视化界面。
具体而言,该系统和方法包括以下部分:
胰腺、病变和导管检测和分割:该系统和方法优选包括分割模块,用于对胰腺和胰腺病变进行自动检测和分割。分割模块包括神经网络,其分析输入的腹部扫描,检测目标结构,并如果存在目标结果的话,为构成目标结构(例如胰腺、病变)的体素生成概率图。此外,分割模块不必限于胰腺,可以被配置用于其他腹部结构(例如,肝脏、脾脏等)的分割。
交互式导管分割:该系统和方法优选提供提取模块,该模块为放射科医师(或其他使用者,例如医生)提供界面,以半自动方式分割胰腺内部的导管结构。如果可见的话,导管结构包括主导管和副导管以及胆管。提取模块从去噪滤波器开始,然后提取局部多尺度圆柱几何形状,并进行连接部分分析以选择重要血管。
腹部扫描的整体分析:该系统和方法分析整个腹部扫描,以获得所有临床发现(例如,癌症扩散、肝脏病变等)的整体图像。
病变分类和发育异常等级预测:利用患者的人口统计数据和获得的腹部区域的整体图像,系统和方法的分类模块对胰腺病变(如果存在的话)和相应的发育异常等级进行自动组织病理学分类。分类模块包括两个主要部分:(1)概率随机森林分类器,其从扫描的轮廓和强度导出患者的年龄和性别、胰腺内病变的位置、形状和强度特征;(2)神经网络,其分析病变的高级成像特征。这两部分组合成贝叶斯组合,以编码病变的估计特征与其组织病理学类型之间的关系,从而产生最终的分类概率。另一个实施例是当分割的机器学习与同一深度学习网络内的分类的机器学习相结合时。某些病变类型可以至少部分地通过接近导管结构来表征。优选地,该系统和方法提供导管中心线信息,该信息可以作为进一步的输入从而输入到病变分类模块。
可视化界面:该系统和方法的可视化模块构建并呈现胰腺、病变、导管和周围解剖结构的增强3D可视化和2D重建。它包括用户界面(UI),具有多个链接和同步的3D和2D视窗,以支持胰腺病变的交互式可视化诊断。它有助于医生从与胰腺病变的分类和诊断相关的扫描的结构特征中进行视觉检查。这包括整个扫描和分段结构的增强和3D可视化,例如不同组合中的胰腺、病变和导管结构;内部病变特征的3D可视化,例如分隔、钙化、囊性和实性部分;胰腺导管结构及其与病变的关系/联系的3D可视化;2D多平面(轴面、冠状面、矢状面和任意平面)和曲面重建(通过计算导管和胰腺的中心线构建),用于更接近和更省时有效地分析导管-病变关系。该界面还提供对分割的病变、胰腺和导管体积的自动体积测量;病变程度的自动测量;和3D、2D视点中的任意交互式线性测量。
多模态分析:利用DECT的多个阶段,例如来自多个能级的扫描和算法构建的单一能量和物质分解图像(例如碘、脂肪和水),来提供比较可视化(并排和重叠比较)以及进一步增强3D可视化。区域之间的更高对比度以及来自这些阶段的额外边缘和边界信息通过算法得到增强,以提高胰腺、病变和导管的分割、组织病理学分类和3D/2D可视化的准确性。特别地,DECT被用于更准确地检测更小(早期)的病变和导管分割。当DECT可用时,可以自动检测和分割胰腺导管。
该系统和方法有助于医生(通常为放射科医师)提高诊断的准确性和速度,并改善在放射扫描(如(双能量或单能量)CT或MRI)中识别的各种胰腺病变的鉴别的客观性。该系统和方法还支持胰腺病变的早期检测,这实质上改变了胰腺癌的存活率。
附图说明
为了使能更全面地理解本系统和方法及其目的和优点,现结合参考附图进行以下说明,其中:
图1示出了胰腺的2D切片视图和3D可视化的各种医学成像;
图2A示出了胰腺的图示;
图2B示出了包含四种示例性胰腺病变类型的示例性CT扫描;
图3A为示例性VP系统的示意图;
图3B为VP系统的示例性过程的框图;
图4示出了说明分割模块的示例性架构的框图;
图5示出了使用示例性实施例的分割和导管提取技术的胰腺和导管的各种视图(包括图5A、5B和5C);
图6示出了两个通过第一方法和第二方法确定的导管中心线的不同视图;
图7包含由本文所述技术生成的胰腺中心线段的两个图形表示(视图7A和视图7B);
图8示出了分类模块利用CAD算法对胰腺囊性病变进行分类的示例性过程;
图9示出了根据示例性实施例生成的可视化模块的用户界面的说明性快照;
图10示出了示例性实施例中由可视化模块生成的各种3D可视化;
图11示出了两名胰腺导管扩张患者的3D胰腺中心和曲面重建(“CPR”)视图的示例;
图12示出了示例性实施例和手动分割产生的分割;
图13示出了病变的DLR和EFR可视化的实例;
图14示出了可视化模块的用户界面中的分类结果的可视化结果;
图15示出了根据本公开的系统的示例性实施例的框图。
具体实施方式
将参照附图对本系统和方法的实施例进行以下详细描述。在描述本发明时,为了使能清楚地理解本发明的概念,省略了关于现有技术中已知的相关功能或结构的解释,以避免不必要的细节模糊了本发明。
示例性实施例提供了利用放射图像进行虚拟胰腺造影(VP)的非侵入式计算机实施系统和方法,包括但不限于计算机断层摄影和磁共振成像。
示例性实施例采用综合可视化系统,自动或半自动分割胰腺和胰腺病变,并将分割的病变分类为多种病变类型中的一种。它结合了用于主导管的用户辅助提取的工具,并提供了胰腺、病变和相关特征的有效探查可视化。VP结合通过多平面重组(MPR)和曲面重组(CPR)构建的3D体积渲染和2D可视化,以提供3D可视化和原始CT强度之间的更好映射。这种映射使得放射科医师(和/或其他用户)使用熟悉的2D CT重建来轻松地检查和验证感兴趣的3D区域。
胰腺是水平朝向腹部左上侧的细长腹部器官。它被胃、脾、肝和肠包围。它分泌重要的消化液用于食物消化,并产生调节血糖水平的激素。胰腺示意图如图2A所示,胰腺大致分为三个区域:头部201、主体部202和尾部203。主导管205大致沿着细长器官的中心轴线穿过,并且由于扩张而在CT扫描上可见。在图2A中还描绘了胆管204和副导管206。由于高质量横截面成像的使用增加,在CT扫描和其他类型的医学成像中经常遇到胰腺病变的情况。虽然体重减轻、恶心、黄疸和腹痛是常见症状,但大多数病例是偶然诊断的。胰腺病变最常见的类型是导管内乳头状粘液性肿瘤(IPMN)、粘液性囊性肿瘤(MCN)、浆液性囊腺瘤(SCA)和实性假乳头状肿瘤(SPN)。这些病变的恶性程度和侵袭性各不相同;IPMN和MCN被认为是胰腺癌的前体,并提供了早期疾病识别和干预的潜在可能,而SCA和SPN具有较低的恶性潜在可能。
胰腺病变的初始诊断通常从患者的年龄和性别,以及胰腺内的病变位置开始。通过在CT扫描的影像学特征加强了诊断。CT图像上病变的可见特征包括如下特征:(a)钙化——钙沉积物,表现为明亮的高密度斑点;(b)囊状部分——小囊(微囊型)和大囊(大囊型),通常为充满液体、看起来像黑色近似球形的区域;(c)分隔——通常为分隔囊性部分的相对较亮的壁状结构;(d)固体部分——病变内的浅灰色固体区域;(e)导管扩张和连通——主导管的扩张及其如何与病变区域连通。基于这些可见特征的病变形态外观有助于对其进行表征。然而,因为一些诊断特征在不同的病变类型之间重叠,作出正确的诊断是具有挑战性的。在CT扫描中这些病变出现的外观例子如图2B所示。这些病变的主要诊断特征描述如下。
IPMN在图2B的附图标记207中示出。IPMN常见于男性和女性,典型的平均年龄为69岁,可以出现在胰腺的任何部位。放射学上,IPMN有一个微囊外观,并与胰腺导管连通。它通常没有钙化。
图2B中的附图标记209示出了MCN。MCN通常在平均年龄为50岁的围绝经期妇女中诊断,并且通常位于胰腺的主体部或尾部。它通常包含一个单一的囊性部分(大囊),并可能有周边钙化和厚分隔。
图2B中的附图标记209中示出了SCA。SCA常见于平均年龄为65岁的女性,通常发生在胰头部。CT表现通常是分叶状肿块,呈蜂窝状(微小或巨大囊性),常伴有钙化。
图2B中的附图标记210中示出了SPN。SPN主要发生在平均年龄为25岁的年轻女性中。图2B显示的病变典型地表现为被可能钙化的实性肿块包裹的囊性部分。
示例性实施例中描述的VP系统和方法在诊断胰腺疾病方面优于常规2D胰腺成像。图1示出了胰腺的2D切片视图和3D可视化的各种医学成像。2D图像101是胰头上的病变的轴向切片,具有由附图标记102示出的明显的内部病变的分隔壁。3D可视化103和105显示了如2D图像101中所描绘的同一胰腺的同一区域。然而,如3D可视化103和105所示,明显的内部病变分隔壁102实际上是外部裂缝(如附图标记104和106中所指出的)。因此,3D可视化揭示了病变囊性部分的重要形状和大小信息,这可能影响诊断。图1中的2D图像107是胰腺体中病变和主导管(主导管用附图标记108表示)的轴向切片图像。在2D图像109中,连接到病变的副导管110在切片视图上显得非常细微。然而,3D可视化111清楚地显示了与病变连接的分支副导管112。因此,3D可视化可以引起人们对这些细微之处的注意。
在2D视图上解释病变形态通常具有挑战性。例如,如图1中的附图标记101、103和105所示,具有复杂非凸起形状的病变的壁可能看起来类似于内分隔。类似地,检查导管是麻烦的,因为它通过图1中的附图标记107、109和111所示的横截面分成多个部分。胰腺的典型跨度可以是150-200个轴向切片。病变、导管和导管-病变关系的3D结构在大脑中的重建需要大量的翻查滚动和脑力劳动。这既耗时又容易出错。此外,放射科医生专业知识的可变性,缺乏用于病变检测、分析和精确测量的专门工具,导致诊断不一致。基于这些时间和质量挑战,我们引入了专门的3D工具。本文示例性实施例提供了以下非详尽的益处和/或附加特征。采用自动算法进行胰腺和病变分割。提供具有相互链接的视图的胰腺和病变的3D和2D可视化,以从不同的视图探索和获取信息。提供预设模式以可视化病变并增强其特有的内部特征。
部署一种用于半自动提取胰腺导管的系统和方法,其支持3D可视化和2D改良视点,用于详细分析胰腺导管和病变之间的关系。重组后的视点包括:(a)沿导管中心线滑动(中心线引导的再分割)的正交切割平面,以提高跟踪导管在其长度上的覆盖区(横截面)的视觉一致性,以及(b)胰腺的CPR,以在单个2D视点中可视化整个导管和病变。通过利用已经分割的结构,采用更简单的本地ID传递函数(TF),并为传递函数操作提供简化的接口,以保持可视化直观性并避免数据的错误解释。虽然使用更广泛,但该工具的性能类似于放射科医生常用的灰度窗口/级别调整。基于对从放射图像得到的人口统计和临床数据以及放射特征的详细分析,结合用于病变自动分类的模块。此外,还提供了自动和手动评估病变大小的工具。
示例性实施例提供了用于定性分析的综合可视化工具,利用放射科医师在识别典型恶性特征方面的专业知识进行定性分析,同时通过自动定量分析(如自动分类和测量)增强诊断过程。
图3A为示例性VP系统的简化框图。广义地说,示例性VP系统采用以下模块:(1)分割模块315,用于执行胰腺和病变的自动和/或半自动分割;(2)提取模块320,其被配置为促进主胰腺导管的半自动和/或自动提取,随后是中心线和CPR计算;(3)中心线模块325,被配置为计算胰腺的各种分割部分的中心线;(4)CPR模块300,其被配置为执行分割的胰腺部分的曲面重组;(5)分类模块330,其被配置成将病变自动分类成多种(例如,四种)常见病变类型,如图3B的方框307所示;以及(6)可视化模块335,其被配置为提供用于探索性可视化和测量工具的全功能用户界面,如方框308所示。
图3B示出VP系统的示例性过程的简化流程/框图。
在框301处,示例性VP系统可接收腹部区域的放射图像作为输入。该图像数据可以是CT、MRI、多模式或其他合适的放射图像数据。在框302,VP系统可以接收人口统计和临床数据,该数据可以由分类模块使用,如本文进一步描述的。临床数据可以包括其他患者的放射学图像,以及这些患者的其他体征或症状,并且人口统计数据可以包括与胰腺疾病诊断相关的特定患者的个人特征(包括患者的年龄、性别、健康习惯、地理位置、共病等)。
在框303处,患者腹部区域的放射图像首先通过分割模块,该模块分割胰腺和胰腺病变(如有)。
在框304处,在自动分割模块中创建的分割可被传递至提取模块。提取模块可以包括提供导管提取窗口的图形用户界面,该窗口例如为放射科医师或其他技术人员提供通过半自动过程交互式隔离主胰腺导管的能力。与框304相关联的步骤是可选的,并且如果导管在放射图像中不可见,则可以跳过该步骤。
在框305中,例如,放射科医师或其他技术人员可通过提取模块自动调用3DSlicer,手动纠正分割掩模中的任何错误。根据在分割过程中发现的任何错误,步骤305也是可选的。
在框306,一旦分割结果最终确定,可通过中心线模块计算胰腺和导管中心线。
在框307,可通过CPR模块对胰腺结构进行CPR。
在框308,分类模块使用输入的人口统计和临床数据(来自框302)、来自分割结果的图像数据和中心线数据(来自框305)对分割的病变进行自动分类。优选地,自动病变分类模块产生多种病变类型的概率,以帮助识别病变的计算机辅助诊断。然后,在框309,将CT体积、分割的胰腺、病变、导管、计算的中心线和分类概率加载到主可视化模块中,以通过图形用户界面向用户显示可视化。
分割模块。由于胰腺位于腹膜后深处,很难看到。它非常接近阻塞周围的器官(胃、脾、肝、肠),进一步使其视觉分析和诊断复杂化。由于结构边界的明确知识,重要组成部分(胰腺、病变、导管)的分割可以提供对可视化设计和交互的更好控制。
示例性实施例通过分割模块采用具有高计算效率和通用性的自动分割过程。可以利用相同的体系结构和训练程序来执行胰腺和病变的分割,证明了这里公开的实施例的通用性。此外,这里公开的自动分割过程简化了实施方式,因为可以利用用于两种类型的放射图像的公共管线。分割模块的架构基于用于处理3D子体积(sub-volumes)的多尺度3DConvNet,其具有两个分支:(1)检测子体积是否包含用于分割的目标结构(胰腺的健康组织或病变组织),以及(2)预测构成目标结构的一组体素。除了改进收敛性之外,这种两分支模型还通过避免预测不包含目标结构的子体积的全分辨率分割掩模来加速推断,从而将推断过程平均加速34.8%。
分割模块的输入为原始放射图像数据(例如CT扫描)的3D子体积,输出为目标分割组织的二元标签和二元掩模。分割模块由解码器和编码器路径组成。然而,与传统系统不同,在这里描述的示例性实施例中,分割模块的编码器和解码器路径并不互为镜像。
图4描绘了说明分割模块的示例性架构的框图。图4中描绘的组件(包括编码器和解码器、各种内核大小和跨度、以及层数、分支和其他功能)仅仅是说明性的,并且是其微小的变化,其他置换也在本公开的范围内,这对于本领域普通技术人员来说是显然的。
如方框401、402和403所示,编码器包括三个相连的卷积层,每个卷积层具有不同的核大小和跨度。每个卷积层401、402、403之后是Leaky ReLU激活函数和批量归一化层,接着是框404、405和406中表示的三个ResNet框。解码器包括由框407、408和409表示的三个ResNet框,随后是由框410和411表示的两个卷积层,其中最后一层411以sigmoid函数结束。此外,框412中表示的辅助分支连接到编码器,以针对目标结构的存在执行输入的二元分类。这个辅助分支412由一个1*1×1大小的32个核的卷积层组成,接着是最大池化(max-pooling)和整形(reshaping)层以及三个完全由框413、414和415表示的连接的层,每一层由Leaky ReLU函数连接,而最后一层415以sigmoid函数结束。
有利的是,可对分割架构进行训练,以最大限度地减少联合损失(joint loss),联合损失是来自辅助分类器的二进制体素交叉熵和来自解码器部分的基于Dice系数(DC)的损失的总和。然而,当目标仅占据输入的一小部分时,由于学习过程陷入虚假的局部最小值而没有预测任何掩模,后一种损失函数可能难以优化。例如,以胰腺和胰腺病变的分割为目标的传统方法是不充分的,因为这些方法是为分割特定结构而定制的,并且不能容易地扩展到其他结构。
另一方面,示例性实施例使用任何基础模型,在任何结构的分割过程中,有利地最小化基于DC的损失函数,无论其大小如何。在分割模块中实现的优化技术基于以下迭代过程。为了减轻目标结构相对于总输入尺寸太小的阻碍性问题,分割模块利用一种过程,在从原始子体积的中心提取的较小子体积上训练模型,并向上采样到目标输入尺寸。这允许预先训练模型,其中目标结构可以占据输入子体积的显著部分。通过逐渐增加所提取的子体积的大小,可以微调模型权重,而不会使模型陷入局部最小值。可以在更大的子体积中逐渐训练该模型,并且最终,可以基于原始目标分辨率对该模型进行微调,例如,在涉及胰腺和病变分割的CT扫描的情况下,该目标分辨率可以是32×256×256。
导管提取模块。提取模块可以基于多尺度血管性滤波器(vesselness filter),使用可调整的阈值参数,改善用于导管分割的半自动方法。血管性滤波器可以被设计成通过估计局部几何形状来增强血管结构。提取模块可以利用局部计算的Hessian矩阵的特征值来估计每个体素x∈P的血管性(或圆柱度),其中P是分割的胰腺。较高的值表示在该体素处有血管的概率较高。此后可以计算归一化的血管性响应值R(x)。然后,用户(例如放射科医师或其他技术人员)可以调整阈值参数来计算响应:
在某些实施例中,前述过程采用阈值处理,如果零值被视为空白空间,则产生R(x)的多个连接部分。例如,t的默认值可以设置为0.0015。可以为每个结果连接部分Ci计算总血管性值SCi,作为Ci内响应值的总和:
用户(例如放射科医师或实施通过提取模块提供的图形用户界面的其他技术人员)可选择胰腺导管作为具有最大SCi值的前n个连接部分。换句话说,连接部分列表按SCi值排序(最大值优先),前n个部分被选作导管分割掩模。用户通过微调按钮选择整数值n。大多数情况下,默认值n=1就足够了。结合等式2描述的度量的使用比简单地按体积挑选n个最大的部分更可靠,因为它提供了部分的尺寸和血管概率的更平衡的组成。虽然血管性增强滤波器是公知的,但是等式2的方法可以被应用于例如消除由于噪声区域引起的闭塞,并且定制滤波器以用最少的用户交互来提取胰腺导管。
与常规手动或半自动方法相比,本文提供的提取模块显著改进并简化了工作流程。特别地,导管分割技术比传统方法更简单,并且允许例如放射科医师仅通过调节单个滑块来容易地提取。
中心线计算。一旦导管已经被分割并且导管提取窗口已经被关闭,两条中心线:导管中心线和胰腺中心线可以由中心线模块来计算。
与胰腺体积的正交2D原始CT截面相比,胰腺和导管中心线均创建了用于查看3D渲染的导航路径。导管中心线提供了沿导管体积的严格的再分割,这可用于更仔细地检查原始CT数据中的导管边界和横截面。它也用于计算CPR视图。另一方面,胰腺中心线在几何上较少扭曲,因此其提供了整个胰腺体积的更平滑的切除,并且还被自动病变分类模块用于确定胰腺内病变的位置。
图5描绘了使用本文所述分割和导管提取技术的胰腺和导管的各种视图(图5A、5B和5C)。
如图5中的视图5A所示,穿过主导管两个部分502和503的导管中心线501遵循胰腺细长形状,同时与胰腺表面保持恒定距离。视图5B显示了胰腺中心线504。视图5C示出了嵌入在视图5A和5C中所示的同一胰腺的3D视图中的中心线引导的再切片视图。附图标记505表示病变体积,附图标记596表示胰腺表面,附图标记507表示导管体积。
胰腺中心线。可以使用惩罚距离算法来计算胰腺中心线。例如,惩罚距离算法可以利用图形来表示体素网格中的路径。基于体素与胰腺表面的距离,将罚值分配给胰腺P中的每个体素(图形节点)x。在图中具有最小成本的胰腺末端之间的路径可以被计算为中心线。在每个节点上计算距离场d(x)作为到胰腺表面的最短距离。因为可以假设中心线穿过胰腺最内部的体素,所以示例性实施例可以为更接近表面的体素分配更高的罚值。因此,每个体素距离可以从最大距离dmax减去:
d′(x)=dmax-d(x)(3)
如所期望的,这导致更接近胰腺表面的体素的获得更高的罚值。注意d'(x)总是正的,因为d(x)<dmax。距离场d'可以用作罚值,并用于计算胰腺中心线。
导管中心线。由于CT扫描中的噪声和扩张中的可变性,提取的导管体积可以被分割成多个连接的部分。由于胰腺本身是一个细长的物体,所以可以遵循整个胰腺长度对导管中心线进行建模,并穿过所提取的导管的每个连接部分。在主导管断开的地方,中心线沿着胰腺的形状。惩罚距离算法集中于单个对象边界来计算骨架曲线(skeleton curves)。当计算导管中心线时,会出现处理多个对象(导管和胰腺的多个连接部分)的问题。第一种方法是使用罚域d’单独计算彼此连接的导管部分的中心线以及到胰腺末端的中心线。但是,这种方法可能会由于惩罚场的突然变化而当计算的导管中心线进入和退出导管部分时导致曲线过度弯曲。
第二种更有利的方法是对穿过主导管部分的曲线进行建模,并且在其进入和退出导管部分时遵循胰腺的几何形状,无需过度校正。导管中心线可以使用与胰腺中心线相同的端点(x0,x1),并穿过所有提取的导管片段。在主导管不连续的局部区域,导管中心线可以跟随胰腺形状。这可以通过找到最短路径和保持到胰腺表面的恒定距离之间的权衡来实现。如下所述,在一个例子中可通过修改算法中使用的惩罚距离来建模权衡(见图7)。
该方法首先计算中心线{ξi}使用与胰腺中心线该相同的过程,独立测量导管体积的每个连接部分。然后,中心线片段被正确地定向和分类,以沿着胰腺的长度对齐。然后,每对连续片段(ξk,ξk+1)通过计算它们最近的端点之间的最短惩罚路径{ζi}来连接。这包括到全局端点x0和x1的连接。当计算端点e1和e2之间的连接曲线ζ0时,先前计算的胰腺距离场d(x)从等式3转化为:
d″(x)=|l-d′(x)|(4)
其中l=(d(e1)+d’(e2))/2,是e1和e2之间的平均值。修改的距离场d(x)被用作体素图中的罚值,用于计算连接曲线ζ1。交替的曲线{ζi}和{ξi}共同形成了一条连续的导管中心线。
图7包含由本文描述的技术生成的胰腺的两个图示(视图7A和视图7B),并示出了第二种确定导管中心线的方法。视图7A示出了具有两个导管部分(701和702)的胰腺。x0、x1是胰腺中心线的端点。视图7B显示了ξ0,ξ1,它们是分离的导管部分中心线。ζ0,ζ1,ζ2是连接曲线。路径ζ0,ξ0,ζ1,ξ1与ζ2一起构成了整个导管中心线。
图6示出了两个不同的视图6A和6B,示出了使用第一种和第二种方法确定的导管中心线,并突出了使用第二种方法的优点。视图6A示出了使用第一种方法(使用罚场)确定的导管中心线601,而视图6B示出了使用第二种方法确定的导管中心线604。如图所示,导管中心线进入主导管的入口点和出口点之间的比较(即方法一中的入口点602与方法二中的入口点603相比,以及方法一中的出口点603与方法二中的入口点605相比)显示了与第一种方法相比,第二种方法中入口点和出口点处的弯曲减小。第二种方法的结果更有效,因为构建CPR和重新切片视图需要更平滑的中心线。
CPR模块。CPR模块可以利用分割的胰腺部分和部分的计算机中心线来创建可以加载到可视化模块中的可视化,如本文参照的可视化模块进一步所描述的。CPR模块可以合并到可视化模块中,或者可以是不同的模块。
分类模块。分类模块可以利用CAD算法对胰腺囊性病变进行分类,该分类模块可以使用患者人口统计和临床信息以及CT图像作为输入。分类模块可以例如包括两个主要模块:(1)概率随机森林(RF)分类器,在一组人工选择的特征上训练;以及(2)用于分析高级放射特征的卷积神经网络(CNN)。在国际专利公开文件WO 2019/005722中描述了这种分类模块的示例,其公开内容通过引用整体并入本文。为了自动估计胰腺内的病变位置,可将胰腺的中心线分成三个平坦段,分别代表其头部、主体部和尾部,并可确定离分割的病变质心最近的段。四种最常见病变类型的最终分类概率可以通过例如RF和CNN的贝叶斯组合来生成,其中分类器预测可以使用混淆矩阵形式的先验知识来加权。
图8描绘了分类模块利用CAD算法对胰腺囊性病变进行分类的示例性过程。附图标记801表示输入的分割病变,其可以利用本文描述的系统和方法生成。框802表示概率RF分类器,可以用一组从人口统计和临床数据中人工选择的特征来训练。RF分类器可以接收来自801的分割病变作为输入。框803表示用于分析分割的病变的高级放射特征的CNN,其也可以输入到CNN中。概率RF分类器802和CNN分类器803的输出可以通过方框804中表示的贝叶斯模型进行组合使用。
图14显示了可视化模块的用户界面中的分类结果的可视化示例。
本文所述的病变分类系统和方法有利于在诊断过程中提供帮助。在组合RF和CNN分类概率之前分别查看它们,进一步允许额外的控制来权衡每一个概率的重要性,并为最终诊断做出进一步的改进。
可视化模块。一旦胰腺、病变和导管被分割,中心线被计算,并且分类概率被生成,它们就可在图形用户界面中通过可视化模块用于可视化诊断。图9示出了根据示例性实施例生成的可视化模块的用户界面的说明性快照。用户界面可以被分成多个框,以同时向用户提供相应的2D、3D、人口统计和诊断数据。在一个实施例中,图形用户界面提供了七个查看框,尽管可以理解的是,框的具体配置和数量可以被配置为具有更多或更少的可见框以及被选择在每个框中显示的不同数据。图9中的框901可以是具有从CT扫描DICOM头部所提取的患者信息和CT图像元数据的可搜索表格。在患者信息表下方,在框902中可以显示胰腺CPR的2D视图,该视图可以在中心线引导的再分割和以导管为中心的CPR视图之间切换。在框903中,视口显示了在本文的示例性实施例中生成的多个3D可视化的以胰腺为中心的3D视图。在说明性用户界面的右手侧,可以显示在放射学应用中常见的三个平面视图框:轴向图904、冠状图905和矢状图906。三种不同的平面视图框可以支持放射学界面中常见的交互,包括平移、缩放和窗口/级别调整。
在诊断和视觉探测系统中,渲染画布(rendering canvases)如视窗和嵌入式切割平面/表面的链接通常用于跨视点的特征关联。在示例性实施例中,3D视图和2D视图链接,以便于跨视点相关胰腺和病变特征的关联。在任一2D视图上选择的点可以自动将其他2D视图导航到所点击的体素。此外,3D光标高亮显示3D视点中所选体素的位置。类似地,用户也可以通过从两个不同的相机位置(视点)点击来直接选择3D中的点。每次用户点击3D视图时,都会投射光线来标识穿过3D场景的直线。两次这样的点击可唯一地标识3D点。2D视图自动改变为所选的体素。这种视图链接允许使用说明性用户界面将3D可视化中的特征与2D的CT原始强度进行比较。
图9中屏幕底部为工具集907,其提供用户工具/选项以控制可视化模块中的3D和2D可视化及其参数。这些包括例如所有2D视图共有的分段结构的可见性(显示/隐藏)和不透明性、剪切平面和窗口/级别设置(灰度色图)。
图10描绘了示例性实施例中由可视化模块生成的各种3D可视化。在可视化模块中显示的各种胰腺部分(例如分隔、囊性部分、病变、导管等)可以用不同的颜色显示,具有不同的纹理和光照效果,以使用户更容易理解可视化并做出正确的诊断。
图10中的3D可视化1001、1002、1003和1004为以胰腺为中心的3D可视化的示例。1001包括从顶部和底部截取的胰腺周围的背景体积,用于聚焦可视化。可视化1002、1003和1004包括以不同组合渲染的分割的解剖结构和CT体积。可视化1005、1006和1007是增强的病变显像的示例。可视化1005是病变和胰腺的轴向视图的示例。可视化1006是显示分隔和囊性部分的直接病变再现(DLR)视图。可视化1007是显示钙化和分隔的增强特征渲染(EFR)视图。可视化1007可以例如通过基于Hessian的对象过滤器(objectness filter)来增强,以提供内部病变特征的更清晰视图。可视化1008、1009和1010示出了胰腺的CPR视图。可视化1008是胰腺的轴向2D视图,其中主胰腺导管不在单个平面中,并且看起来断裂的。可视化1009示出了胰腺的以导管为中心的CPR视图:其中主导管连同病变截面视图在单个平面中完全可见。可视化1010示出了嵌入在3D视图中的CPR表面:将这样的视图与3D可视化结合有助于理解CPR视图是如何构建的。
以胰腺为中心的3D视图在可视化模块的用户界面中单独或以不同组合呈现分割的解剖结构(胰腺、病变、导管),如图10中的1002、1003和1004所示。胰腺周围的环境也可以通过整个CT体积的形式被可视化。用户界面可以显示两个剪切平面(顶部和底部)来限制该上下文视图(如图10中的1001所示)。这有助于减少遮挡并聚焦于感兴趣的区域。
可为背景体积(胰腺周围的CT体积)预先设计传递函数,例如,可不需要手动编辑,因为CT强度在患者之间具有相似的范围。类似地,用于胰腺、病变和导管体积的TFs也可以预先设计,并针对每个患者重新缩放至分割结构内的标量强度范围。示例性实施例提供了对所呈现的3D可视化的光学属性的简化控制。它们可以通过使用两个滑块的简化界面进行修改:不透明度和偏移;而不是编辑具有更多自由度的多节点折线。不透明度滑块可以控制分段结构的全局不透明度,偏移滑块可以将负/正偏移应用于传递函数,以控制如何将颜色应用于分段。如果需要,用户界面还可以包括工具集中的高级选项卡,以便于将ID TFs编辑为多节点折线。
如本文所述,由可视化模块生成和显示的3D可视化具有以下额外益处。以胰腺为中心的三维可视化结合了胰腺轮廓、病变和导管体积,对于评估导管和病变的关系非常有用。例如,在IPMN的情况下,研究病变是否来自导管是至关重要的。3D可视化还可以有助于容易地识别导管扩张的形状,从而有助于进一步分析IPMN类型(主导管与侧支(sidebranch)的连通)。与传统技术相比,这种特征不仅有助于病变表征,还可以更好地为手术决策提供信息。这种分析在2D平面视图中要困难得多,因为导管扩张的形状和与侧支的连接性在2D切片中可能会产生误导。此外,该系统的3D可视化和测量能力对于术前计划是有用的,因为外科医生可以在实际手术之前以3D可视化该结构。此外,与传统系统相比,双滑块传递函数编辑界面非常简单和直观(例如,编辑多节点折线)。
如本文更详细描述的,CT扫描上胰腺病变的形态和外观(例如结合图2描述的那些)在其诊断中至关重要。这包括评估病变的可见特征,如分隔、中央和周围钙化以及囊性和实性部分的存在。为此,示例性实施例以两种不同的模式提供病变内部特征的可视化,即:直接病变再现(DLR)和增强特征再现(EFR)。
DLR可视化模式可使用双色(红色、黄色)预设传递函数进行病变直接体积渲染,该传递函数对较暗区域(例如,囊性部分)应用较高不透明度的红色,对相对较亮区域(例如,分隔、固体部分)应用较低不透明度的黄色。其他颜色及其色调可以替代这里描述的颜色,并且在本公开的范围内。这允许放射科医师容易地找到特征(例如,分隔、囊性部分)之间的正确边界。图10中的附图标记1006是DLR渲染的另一个例子。
为了增强体积渲染中的特征,EFR模式通过使用基于Hessian的增强过滤器增强局部几何形状来可视化病变(这种可视化显示在图10的参考标记1001、1002、1003和1004中)。在多个尺度上局部计算的Hessian可以量化局部结构,例如斑点、平板或血管的概率。平板增强可以应用于壁结构和斑点增强以及钙化的阈值处理。然后,可以将两个体积组合成2-通道(红绿)3D纹理,用于增强特征的同时体积渲染(例如图10中的附图标记1007所示的可视化)。
本文所述的3D病变可视化方法具有以下额外优点。与传统胰腺可视化方法相比,分隔、囊性部分和钙化更加明显可视。此外,更容易理解囊性部分的相对大小,特别是在具有大囊性外观的SCA和SPN的情况下。此外,通过病变3D形状更容易表征IPMN病变,在主导管和侧支的IPMN中,侧支IPMN容易识别,因为与主导管IPMN相比,侧支IPMN具有更规则的球形形状。
示例性实施例结合了探索性可视化,其将3D可视化与原始CT强度的2D切片视图相结合。正交相交平面沿着胰腺或导管中心线滑动,并以灰度级呈现原始CT强度。这种情况的一个例子在附图5C中示出。同时,所有3D解剖结构(胰腺、病变、主导管、周围CT体积)可以通过可见性控件组合在可视化中。滑动平面代表胰腺体积的中心线引导的再切片,并且可以在3D视图中观察,并且可以作为2D切片视图单独观察。该截面图提供了沿其长度的主导管的连贯跟踪,并仔细研究其与病变的关系。放射科医生或其他用户可以通过直接将3D渲染与相交平面重叠,来更仔细地查看3D解剖结构(例如病变和导管),如何与原始CT值相对应。这种方法在诊断过程中给放射科医生和其他用户注入了更大的信心,因为他们可以将3D结构与他们传统解释的2D图像相关联。它还提供了比在多个视口之间切换环境更好的比较。
与嵌入在3D胰腺中心视图中的中心线引导再切片视图相关的其他益处包括,通过将三维特征与原始CT强度的2D相交平面直接关联,提供验证3D特征的能力。通过所实现的链接视图和点选择,放射科医师和其他用户可以容易地在3D和2D视图之间关联相对应的点。
主导管尺寸及其与胰腺病变的关系对于视觉诊断通常很重要。例如,IPMN病变与主导管连通,而其他类型的病变通常不连通。CPR技术重建血管的纵向横截面,这使得能够在单个投影视点中可视化整个血管长度。可以沿着任意方向扫描血管中心线上的点,以沿着血管长度构建可展曲面。该表面在每一点对相交的体积进行采样,并且被展平成2D图像而没有扭曲。使用计算的导管中心线作为引导曲线,可以生成以胰腺导管为中心的CPR视图,如图10中的1008、1009和1010所示。CPR表面构造的中心线扫描的方向由用户通过显示胰腺、病变和中心线曲线的表面绘制的小部件来选择。扫描方向优选垂直于屏幕。该小部件允许用户选择适当的方向来生成期望的CPR视点,从而有助于在单个视点中可视化导管-病变关系。
本文所述的CPR重建过程的其他益处包括在单一视图中提供主导管和病变。通过显示CPR表面以及导管和病变的3D再现的3D嵌入式CPR视图,放射科医师或其他用户可以验证导管是否连接到病变,并且还可以识别导管在连接到病变时如何扩张。导管扩张的几何形状在2D视图中不清晰可见。可视化这种扩张也有助于手术决策,例如切除恶性病变的潜在切除位置。
测量是视觉诊断的组成部分,因为它有助于量化病变大小和囊性部分。可视化模块有利地为用户提供了通过点击和绘制测量结果在我们所有的2D平面视图中交互测量的能力。可视化模块还使用围绕病变的最佳拟合定向边界框的尺寸来提供自动病变3D测量。此外,分割结构(胰腺、病变、导管)的自动体积测量也可通过用户界面获得。
图12中附图标记为1202和1203显示了示例性实施例中描述的导管提取方法与手动分割产生的方法的定性比较。这里描述的示例性导管和中心线提取技术能够克服由用血管性滤波器错误增强的噪声体素引起的噪声和遮挡(如附图标记1201所示)。此外,本文所述的导管中心线方法通过利用在计算曲线时对导管和胰腺几何形状进行加权的惩罚模型(结合图6所述),减少了其进入和离开导管时的过度弯曲。
图11显示了两位导管扩张患者的3D胰腺中心视图和CPR视图的示例。例如,在特别困难的情况下常规的2D轴向视图不适用时,这些视图可以帮助确定导管和病变之间的连接的存在。图11中的行1101确认存在导管-病变连接,而行1102确认不存在导管-病变连接。病变的DLR和EFR可视化的例子如图13所示。与在2D图像中观察相比,通过增强特征性病变结构,例如外壁、钙化、内分隔、实性和囊性部分,这些可视化可以促进对病变形状和结构的更好理解。
在常规工作流程中,放射科医师通常严重依赖于原始2D轴对齐视图,并且经常不使用甚至熟悉的工具,例如去噪过滤器、切割平面和最大强度投影。根据具体情况,当胰腺的典型跨度可以是150-200个轴向切片时,放射科医师可能会花费大量时间进行来回滚动切片,以了解病变和导管之间的关系。相比之下,本文所述的系统和方法提供了3D可视化,其提高了诊断过程的有效性,并提供了额外的数据点来辅助决策。放射科医师可以使用这里描述的系统和方法来执行以下示例性工作流程:(1)使用2D轴对准视图和提供的分割轮廓来查看病例并检查病变;(2)对病变及其内部特征进行三维可视化,以进一步了解病变的形态结构;(3)在3D视图、CPR视图和以导管为中心的再切片视图中研究病变和导管的关系;以及(4)用自动分类结果确认自己的诊断和表征。放射科医生使用本文描述的VP系统和方法的准确性将从目前的67%-70%得到显著提高。
图15显示了根据本发明的系统的示例性实施例的简化框图。例如,根据本文描述的本公开(包括分割模块、提取模块、分类模块和可视化模块)的示例性过程可以由处理装置和/或计算装置1505(例如,计算机硬件装置)来执行。这种处理装置/计算装置1505可以是例如计算机/处理器1510的全部或一部分,或者包括但不限于计算机/处理器1510,其可以包括例如一个或多个微处理器,并且使用存储在计算机可访问介质(例如RAM、ROM、硬盘驱动器或其他存储设备)上的指令。
如图15所示,例如计算机可访问介质1515(如上文所述,如硬盘、软盘、记忆棒、CD-ROM、RAM、ROM等存储装置或其集合)可以被提供(例如,与处理装置1505通信)。计算机可访问介质1515可以包含其上的可执行指令1520。另外或可替换地,存储装置1525可以与计算机可访问介质1515分开提供,其可以向处理装置1505提供指令,以便配置处理装置来执行某些示例性程序、过程和方法,例如如上所述。
此外,示例性处理装置1505可配备或包括输入/输出端口1535,其可包括例如有线网络、无线网络、互联网、内联网、数据收集探头、传感器等。如图15所示,示例性处理装置1505可以与示例性显示装置1530通信,根据本公开的某些示例性实施例,该显示装置1530可以是触摸屏,其被配置为例如除了从处理装置输出信息之外,还向处理装置输入信息。此外,示例性显示装置1530和/或存储装置1525可以用于通过用户可访问的格式和/或用户可读的格式显示和/或存储数据。
应理解,为了实施上述实施例的方法,处理器和/或存储器不必物理上位于相同的地理位置。也就是说,在本公开的示例性实施例中使用的每个处理器和存储器可以位于地理上不同的位置并且被连接以便以任何合适的方式通信。此外,应当理解,每个处理器和/或存储器可以由不同的物理设备组成。因此,处理器不必是在一个位置的一件设备,而存储器不必是在另一个位置的另一件设备。也就是说,可以预期,处理器可以是在两个或更多不同物理位置的两件或更多件设备。这两个不同的设备可以以任何合适的方式连接。此外,存储器可以包括在两个或多个物理位置的两个或多个存储器部分。
如上所述,一组指令用于处理本发明的各种实施例。上面描述的服务器和个人计算设备可以包括存储在存储器(例如,包含由处理器执行的程序代码指令的非暂时性计算机可读介质)中的软件或计算机程序,用于执行这里描述的方法。这组指令可以是程序或软件或应用程序的形式。例如,软件可以是系统软件或应用软件的形式。例如,软件也可以是独立程序的集合、较大程序中的程序模块或程序模块的一部分的形式。所使用的软件也可能包括面向对象编程形式的模块化编程。软件告知处理器如何处理正在处理的数据。
此外,应当理解,本发明实施方式和操作中使用的指令或指令集可采用合适的形式,以便处理器可读取指令。例如,形成程序的指令可以是合适的编程语言的形式,其被转换成机器语言或目标代码以允许一个或多个处理器读取指令。也就是说,使用编译器、汇编器或解释器将特定编程语言的编程代码或源代码的书面行转换成机器语言。机器语言是二进制编码的机器指令,其专用于特定类型的处理器,例如特定类型的计算机。根据本公开的各种实施例,可以使用任何合适的编程语言。例如,所使用的编程语言可以包括汇编语言、Ada、APL、Basic、C、C++、COBOL、dBase、Fortran、Java、Modula-2、Pascal、Prolog、REXX、Visual Basic和/或JavaScript等。此外,本公开的系统和方法的操作没有必要结合使用单一类型的指令或单一编程语言。相反,根据需要或期望,可以使用任何数量的不同编程语言。
此外,根据需要,本发明各种实施例的实践中使用的指令和/或数据可利用任何压缩或加密技术或算法。加密模块可用于加密数据。此外,例如,可以使用合适的解密模块来解密文件或其他数据。
可利用一种或多种云服务模式,例如软件即服务(Software-as-a-Service,SaaS)、平台即服务(Platform-as-a-Service,PaaS)和基础设施即服务(Infrastructure-as-a-Service,IaaS),和/或利用一种或多种部署模式,例如公共云、私有云、混合云和/或社区云模式,提供本文所述的软件、硬件和服务。
在根据本发明示例性实施例的系统和方法中,可利用各种“用户界面”允许用户与个人计算装置进行交互。如这里所使用的,用户界面可以包括处理器使用的任何硬件、软件或硬件和软件的组合,其允许用户与通信设备的处理器交互。例如,用户界面可以是由应用程序提供的对话屏幕的形式。用户界面还可以包括触摸屏、键盘、语音阅读器、语音识别器、对话屏幕、菜单框、列表、复选框、拨动开关、按钮、虚拟环境(例如,虚拟机(VM)/云)或允许用户在处理器处理一组指令时接收关于处理器操作的信息和/或向处理器提供信息的任何其他设备。因此,用户界面可以是在用户和处理器之间提供通信的任何系统。例如,用户通过用户界面向处理器提供的信息可以是命令、数据选择或一些其他输入的形式。
尽管本公开的示例性实施例已在特定环境中针对特定目的的特定实施方式下进行了描述,但本领域技术人员应将认识到其用途并不限于此,本发明的实施例可在其他相关环境中针对类似目的进行有益实施。

Claims (20)

1.一种用于虚拟胰腺造影的方法,包括:
接收放射图像;
接收患者人口统计数据和临床数据中的至少一个;
执行所述放射图像的自动分割,以生成胰腺段、导管段和病变段中的至少一个;
基于所述胰腺段、所述导管段和所述病变段中的至少一个,确定胰腺和导管中心线中的至少一个;
基于所述放射图像,所述人口统计数据和所述临床数据中的至少一个,所述胰腺段、所述导管段和所述病变段中的至少一个,以及胰腺和导管中心线中的至少一个来执行自动病变分类,以确定病变分类;和
基于所述胰腺段、所述导管段和所述病变段中的至少一个、所述胰腺和导管中心线中的至少一个以及病变分类,在显示设备上生成和显示三维再现。
2.根据权利要求1所述的方法,还包括执行所述胰腺段、所述导管段和所述病变段中的至少一个的半自动提取。
3.根据权利要求2所述的方法,其中所述半自动提取是通过使用可调阈值参数的多尺度血管性滤波器来实现。
4.根据权利要求3所述的方法,其中所述胰腺段、所述导管段和所述病变段中的至少一个通过导管提取窗口,以生成主胰腺管图像。
5.根据权利要求1所述的方法,其中所述执行所述放射图像的自动分割包括将所述放射图像分成多个子体积,检测所述多个子体积中的每一个是否包括用于分割的目标结构,以及预测构成所述目标结构的一组体素。
6.根据权利要求5所述的方法,其中所述目标结构是健康组织或病变之一。
7.根据权利要求6所述的方法,其中所述执行所述放射图像的自动分割还包括通过从子体积的目标结构的中心提取子体积的子样本来预训练模型。
8.根据权利要求1所述的方法,其中所述确定胰腺和导管中心线中的至少一个是通过对基本上穿过主导管部分的曲线进行建模来执行的。
9.根据权利要求1所述的方法,其中所述确定胰腺和导管中心线中的至少一个是通过确定多个连接部分中的每一个的中心线,并使用最短惩罚路径连接连续部分来执行的。
10.根据权利要求1所述的方法,其中使用CAD算法执行所述自动病变分类,所述CAD算法包括基于人口统计数据和临床数据中的至少一个的概率随机森林(RF)分类器和基于所述放射图像的卷积神经网络(CNN)。
11.根据权利要求10所述的方法,其中分类概率是基于所述RF和CNN的贝叶斯组合生成的。
12.根据权利要求1所述的方法,其中所述生成和显示三维再现包括生成和显示所述胰腺段、所述导管段和所述病变段中的至少一个的三维可视化。
13.根据权利要求12所述的方法,其中通过基于Hessian的对象过滤器来增强可视化。
14.根据权利要求13所述的方法,还包括:修改不透明度和偏移滑块之一,并调整所述可视化的全局不透明度和负/正偏移之一。
15.一种用于虚拟胰腺造影(VP)的系统,包括:
分割模块,配置为对接收的放射图像执行自动分割,以生成胰腺段、导管段和病变段中的至少一个;
中心线模块,配置为基于所述胰腺段、所述导管段和所述病变段中的至少一个来确定胰腺和导管中心线中的至少一个;
曲面重组(CPR)模块,其配置为执行所述胰腺段、所述导管段和所述病变段中的至少一个的CPR,并生成CPR再现;
分类模块,配置为基于接收到的人口统计数据和临床数据中的至少一个、所述放射图像、胰腺段、导管段和病变段中的至少一个来执行自动病变分类;和
可视化模块,其配置为基于所述胰腺段、所述导管段和所述病变段中的至少一个、所述胰腺和导管中心线中的至少一个以及病变分类,在显示设备上生成和显示三维再现和所述CPR再现。
16.根据权利要求15所述的系统,进一步包括:
提取模块,配置为执行所述胰腺段、所述导管段和所述病变段中的至少一个的半自动提取。
17.根据权利要求15所述的系统,其中所述分割模块还配置成将所述放射图像划分成多个子体积,检测所述多个子体积中的每一个是否包括用于分割的目标结构,并预测构成所述目标结构的一组体素。
18.根据权利要求17所述的系统,其中所述执行放射图像的自动分割还包括通过从子体积的目标结构的中心提取子体积的子样本来预训练模型。
19.根据权利要求15所述的系统,其中所述分类模块进一步配置为使用CAD算法来执行所述自动病变分类,所述CAD算法包括基于所述人口统计数据和临床数据中的至少一个的概率随机森林(RF)分类器和基于所述放射图像的卷积神经网络(CNN)。
20.一种非暂时性计算机可访问介质,其上存储有计算机可执行指令,其中,所述计算机装置包括处理器,并且其在执行所述指令时,所述计算机装置配置成执行包括以下步骤的过程:
接收放射图像;
接收患者人口统计数据和临床数据中的至少一个;
执行所述放射图像的自动分割,以生成胰腺段、导管段和病变段中的至少一个;
基于所述胰腺段、所述导管段和所述病变段中的至少一个,确定胰腺和导管中心线中的至少一个;
基于所述放射图像,所述人口统计数据和所述临床数据中的至少一个,所述胰腺段、所述导管段和所述病变段中的至少一个,以及胰腺和导管中心线中的至少一个来执行自动病变分类,以确定病变分类;和
基于所述胰腺段、所述导管段和所述病变段中的至少一个、所述胰腺和导管中心线中的至少一个以及病变分类,在显示设备上生成和显示三维再现。
CN202180072197.8A 2020-09-01 2021-09-01 用于虚拟胰腺造影管线的系统和方法 Pending CN116546916A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063073122P 2020-09-01 2020-09-01
US63/073,122 2020-09-01
PCT/US2021/048632 WO2022051344A1 (en) 2020-09-01 2021-09-01 System and method for virtual pancreatography pipeline

Publications (1)

Publication Number Publication Date
CN116546916A true CN116546916A (zh) 2023-08-04

Family

ID=80491430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180072197.8A Pending CN116546916A (zh) 2020-09-01 2021-09-01 用于虚拟胰腺造影管线的系统和方法

Country Status (6)

Country Link
US (1) US20240008801A1 (zh)
EP (1) EP4208850A1 (zh)
JP (1) JP2023540284A (zh)
CN (1) CN116546916A (zh)
CA (1) CA3192033A1 (zh)
WO (1) WO2022051344A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4293613A1 (de) * 2022-06-19 2023-12-20 Bayer AG Identifizieren und charakterisieren von zystischen läsionen der bauchspeicheldrüse
JP2024032079A (ja) * 2022-08-29 2024-03-12 富士通株式会社 病変検出方法および病変検出プログラム
CN117314932A (zh) * 2023-09-12 2023-12-29 四川大学华西第四医院(四川大学华西职业病医院) 基于令牌金字塔的胰胆管分割方法、模型及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7177453B2 (en) * 2002-11-26 2007-02-13 General Electric Company Method and apparatus for partitioning a volume
CN104809730B (zh) * 2015-05-05 2017-10-03 上海联影医疗科技有限公司 从胸部ct图像提取气管的方法和装置
GB2549459B (en) * 2016-04-12 2020-06-03 Perspectum Diagnostics Ltd Method and apparatus for generating quantitative data for biliary tree structures
US11908584B2 (en) * 2017-05-15 2024-02-20 Ne Scientific, Llc Methods and systems for modeling a necrotized tissue volume in an ablation procedure
CA3067824A1 (en) * 2017-06-26 2019-01-03 The Research Foundation For The State University Of New York System, method, and computer-accessible medium for virtual pancreatography
JP7401540B2 (ja) * 2018-11-09 2023-12-19 バイダ ダイアグノスティクス,インコーポレイティド 管状構造の切断面表示
GB201819596D0 (en) * 2018-11-30 2019-01-16 Univ Oxford Innovation Ltd Reconstruction method

Also Published As

Publication number Publication date
EP4208850A1 (en) 2023-07-12
WO2022051344A1 (en) 2022-03-10
CA3192033A1 (en) 2022-03-10
JP2023540284A (ja) 2023-09-22
US20240008801A1 (en) 2024-01-11

Similar Documents

Publication Publication Date Title
JP6877868B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US7058210B2 (en) Method and system for lung disease detection
EP2157905B1 (en) A method for tracking 3d anatomical and pathological changes in tubular-shaped anatomical structures
RU2640000C2 (ru) Обработка и отображение изображения грудной железы
CN106651895B (zh) 一种分割三维图像的方法和装置
CN116546916A (zh) 用于虚拟胰腺造影管线的系统和方法
US8175348B2 (en) Segmenting colon wall via level set techniques
US9129391B2 (en) Semi-automated preoperative resection planning
EP3561768B1 (en) Visualization of lung fissures in medical imaging
US9089307B2 (en) Three-dimensional analysis of lesions represented by image data
KR20130023735A (ko) 장기 모델 영상 생성 방법 및 장치
KR20180022607A (ko) 다양한 측정으로부터의 의료 측정 데이터에 기초한 결과 데이터의 결정
JP2015066311A (ja) 画像処理装置、画像処理方法、画像処理装置の制御プログラム、記録媒体
CN112529834A (zh) 病理图像模式在3d图像数据中的空间分布
EP1782384B1 (en) System and method for colon wall extraction in the presence of tagged fecal matter or collapsed colon regions
Alirr et al. Survey on liver tumour resection planning system: steps, techniques, and parameters
Midya et al. Computerized diagnosis of liver tumors from CT scans using a deep neural network approach
US9767550B2 (en) Method and device for analysing a region of interest in an object using x-rays
Jadhav et al. 3D virtual pancreatography
JP7457011B2 (ja) 異常検出方法、異常検出プログラム、異常検出装置、サーバ装置及び情報処理方法
CN113470060A (zh) 基于ct影像的冠状动脉多角度曲面重建可视化方法
JP2023501282A (ja) 非侵襲的放射線イメージングからの肝疾患の重症度の自動的分類
Zheng et al. Visibility guided multimodal volume visualization
US20230222748A1 (en) Method for visualizing at least a zone of an object in at least one interface
Ortiz Automatic 3D segmentation of the breast in MRI

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination