CN114220534A - 针对前列腺癌的多模态计算机辅助诊断系统和方法 - Google Patents

针对前列腺癌的多模态计算机辅助诊断系统和方法 Download PDF

Info

Publication number
CN114220534A
CN114220534A CN202111023503.7A CN202111023503A CN114220534A CN 114220534 A CN114220534 A CN 114220534A CN 202111023503 A CN202111023503 A CN 202111023503A CN 114220534 A CN114220534 A CN 114220534A
Authority
CN
China
Prior art keywords
lesion
prostate
image
mapping
sector map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111023503.7A
Other languages
English (en)
Inventor
A·库罗
尼古拉斯·戈金
B·佩兰
洛林·詹姆斯
露西尔·诺什让
梅洛迪·斯佩兰迪奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Precision Healthcare LLC
Original Assignee
GE Precision Healthcare LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/011,778 external-priority patent/US11893729B2/en
Application filed by GE Precision Healthcare LLC filed Critical GE Precision Healthcare LLC
Publication of CN114220534A publication Critical patent/CN114220534A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30081Prostate

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了用于计算机辅助的前列腺病症诊断的方法和装置。一种示例性计算机辅助的前列腺病症诊断装置包括用于存储指令的存储器和处理器。该示例性处理器可从前列腺的图像检测病灶并生成该病灶从该图像到扇区映射的映射,该生成该病灶的该映射包括识别该病灶的深度区域,其中该深度区域指示该病灶沿深度轴线的位置。该处理器还可提供包括从该图像映射到该扇区映射的该前列腺内的该病灶的表示的该扇区映射。

Description

针对前列腺癌的多模态计算机辅助诊断系统和方法
相关申请的交叉引用
本事项是2018年11月20日提交的美国专利申请序列号16/196,887的 部分继续申请,该专利申请要求2017年11月22日提交的美国临时专利申 请序列号62/590,266的权益。美国专利申请序列号16/196,887和美国临时 专利申请序列号62/590,266据此全文以引用方式并入本文。据此要求美国 专利申请序列号16/196,887和美国临时专利申请序列号62/590,266的优先 权。
技术领域
本公开整体涉及经改善的医疗系统,并且更具体地讲,涉及用于医疗 图像处理的经改善的计算机辅助诊断系统和方法。
背景技术
多种经济、技术和管理障碍对向患者提供优质护理的医疗保健机构 (诸如医院、诊所、医生办公室等)提出了挑战。医疗保健企业的经济动 因、员工技能欠缺、员工较少、设备复杂以及最近兴起对控制和标准化辐 射暴露剂量用法的认证给患者检查、诊断和治疗的成像和信息系统的有效 管理和使用带来了困难。
医疗保健供应商的整合形成了跨地域分布的医院网络,在这些医院网 络中与系统的物理接触太昂贵。与此同时,转介医师希望更直接访问报告 中的支持性数据以及更好的合作渠道。医师具有更多患者、更少时间并且 被淹没在海量数据中,并且他们渴望得到帮助。
包括图像处理和分析等在内的医疗保健提供者任务是耗时且资源密集 型的任务,人类单独完成这些任务即使不是不可能的,也是不切实际的。
发明内容
在一个方面,提供了一种计算机辅助的前列腺病症诊断装置。该示例 性装置包括用于存储指令的存储器和处理器。该示例性处理器可从前列腺 的图像检测病灶并生成病灶从图像到扇区映射的映射,该生成病灶的映射 包括识别病灶的深度区域,其中该深度区域指示病灶沿深度轴的位置。在 一些示例中,该处理器还可提供包括从图像映射到扇区映射的前列腺内的 病灶的表示的扇区映射。
在一些示例中,该扇区映射可提供从图像映射的病灶的分类,该分类 提供前列腺健康的评估。在一个方面,深度区域可使用前列腺的顶点区 域、中间区域和基部区域来识别。在一些示例中,生成映射可包括计算相 对于图像中的病灶的中心的一个或多个极坐标。在一些方面,生成映射可 包括基于图像中的病灶的中心来计算归一化半径。在一些方面,生成映射 可包括基于归一化半径和扇区映射的一个或多个维度来计算去归一化半径。
在一些示例中,生成映射可包括计算笛卡尔坐标,该笛卡尔坐标表示 病灶和扇区映射内的病灶的直径。在一些方面,提供扇区映射可包括将扇 区映射和病灶到扇区映射的映射的表示传输到显示设备,其中病灶的映射 的表示可包括病灶的笛卡尔坐标和病灶的去归一化半径。在一些方面,该 显示设备电联接到该装置,或者其中该显示设备联接到远程设备,该远程 设备从该装置接收扇区映射和病灶到扇区映射的映射的表示。在一些示例中,该图像可包括三维体积。在一些方面,该处理器可通过使用数字孪生 来生成病灶的映射,并且使用机器学习技术和所提供的包括映射的表示的 扇区映射来生成评分。
在一些方面,非暂态机器可读存储介质可包括指令,该指令响应于由 处理器的执行而使处理器从前列腺的图像检测病灶并生成病灶从图像到扇 区映射的映射,其中该生成病灶的映射可包括识别病灶的深度区域,并且 其中该深度区域指示病灶沿深度轴的位置。该指令还可使处理器:提供包 括从图像映射到扇区映射的前列腺内的病灶的表示的扇区映射;以及显示 具有前列腺内的病灶的表示的扇区映射。
在一些方面,一种用于计算机辅助的前列腺病症诊断的方法可包括从 前列腺的图像检测病灶并生成病灶从图像到扇区映射的映射,该生成病灶 的映射包括识别病灶的深度区域,其中该深度区域指示病灶沿深度轴的位 置。该方法还可包括提供包括:提供扇区映射,该扇区映射包括从图像映 射到扇区映射的前列腺内的病灶的表示;以及显示具有前列腺内的病灶的 表示的扇区映射。
附图说明
图1A示出了本文所公开的方法、装置和制品可应用的示例性成像系 统。
图1B示出了示例性计算机辅助的前列腺分析系统。
图2描绘了示例性数字孪生环境。
图3是示例性学习神经网络的表示。
图4示出了作为卷积神经网络的示例性神经网络的特定实施方式。
图5是图像分析卷积神经网络的示例性实施方式的表示。
图6A示出了应用学习网络来处理和/或以其他方式评估图像的示例性 配置。
图6B示出了多个学习网络的组合。
图7示出了学习网络的示例性训练和部署阶段。
图8示出了利用经训练的网络包来提供深度学习产品供应的示例性产 品。
图9A至图9C示出了各种深度学习设备配置。
图10示出了用于计算机驱动的前列腺分析的示例性方法的流程图。
图11至图19C描绘了促进前列腺分析和相关联的患者诊断和治疗的示 例性界面。
图20是被构造成执行示例性机器可读指令以实施本文所公开和所述的 部件的处理器平台的框图。
图21是用于提供具有病灶的表示的扇区映射的示例性方法的过程流程 图。
图22示出了根据本文的示例的用于将病灶从图像映射到扇区映射的示 例的示意图。
图23示出了根据本文的示例的用于将病灶映射到前列腺的中心区或周 边区的示例的示意图。
当结合附图阅读时,将更好地理解前述发明内容以及以下对本发明的 某些实施方案的详细描述。出于说明本发明的目的,在附图中示出了某些 实施方案。然而,应当理解,本发明不限于附图中所示的布置和工具。附 图未按比例绘制。在所有的附图以及附带的书面描述中,只要有可能,都 会使用相同的附图标记来指代相同或类似的部件。
具体实施方式
在以下详细描述中,参考形成其一部分的附图,并且其中通过图示的 方式示出了可实践的具体示例。足够详细地描述了这些示例以使得本领域 技术人员能够实践本主题,并且应当理解,可以利用其他示例,并且可以 在不脱离本公开主题的范围的情况下进行逻辑、机械、电气和其他改变。 因此提供以下详细描述的目的是为了描述示例性实施方式,而非被看作对 本公开所述的主题的范围进行限制。来自以下描述的不同方面的某些特征 可组合形成下文所讨论的主题的新方面。
当介绍本公开的各种实施方案的元件时,词语“一个”、“一种”和 “该”旨在意指存在这些元件中的一个或多个元件。术语“第一”、“第 二”等不表示任何顺序、量或重要性,而是用于将一个元件与另一个元件 区分开。术语“包括”、“包含”和“具有”旨在是包含性的,并且意指 除了列出的元件之外还可存在附加元件。如本文使用术语“连接到”、 “联接到”等,一个对象(例如,材料、元件、结构、构件等)可以连接 到或联接到另一个对象,而无论该一个对象是否直接连接或联接到另一个 对象,或者在该一个对象和另一个对象之间是否存在一个或多个介入对 象。
如本文所用,术语“系统”、“单元”、“模块”、“引擎”等可以 包括操作以执行一个或多个功能的硬件和/或软件系统。例如,模块、单元 或系统可包括计算机处理器、控制器和/或基于存储在有形和非暂态计算机 可读存储介质(诸如计算机存储器)上的指令来执行操作的其他基于逻辑 的设备。另选地,模块、单元、引擎或系统可包括基于设备的硬连线逻辑来执行操作的硬连线设备。附图中示出的各种模块、单元、引擎和/或系统 可表示基于软件或硬连线指令操作的硬件、指示硬件执行操作的软件、或 其组合。
此外,应当理解,对本公开的“一个实施方案”或“实施方案”的引 用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。
概述
成像设备(例如,γ相机、正电子发射断层成像(PET)扫描仪、计算机 断层成像(CT)扫描仪、X射线机、磁共振(MR)成像机、超声扫描仪等)生 成表示身体部位(例如,器官、组织等)的医学图像(例如,原始医学数 字成像与通信(DICOM)图像)以诊断和/或治疗疾病。例如,MR是在不使 用x射线或其他电离辐射的情况下生成人体内部的图像的医学成像模态。 MR使用主磁体来产生强而均匀的静态磁场(例如,“主磁场”),并且使 用梯度线圈来在电流被施加到梯度线圈时产生振幅较小的空间变化的磁 场。当人体或人体的一部分置于主磁场中时,与组织水中的氢核相关联的 核自旋变成极化的。与这些自旋相关联的磁矩优先地沿着主磁场的方向对 准,使得沿着该轴(按照惯例,“z轴”)的净组织磁化较小,并且梯度线 圈对MR信号进行编码。
医学图像数据的采集、处理、分析和存储对医疗保健环境中患者的诊 断和治疗起着重要作用。医学成像工作流以及该工作流中涉及的设备可在 医学成像工作流和设备的整个操作中配置、监测和更新。机器学习、深度 学习和/或其他人工智能可用于例如帮助配置、监测和更新医学成像工作流 和设备。
某些示例提供和/或促进经改善的成像设备,由此提高诊断准确性和/或 覆盖率。某些示例促进经改善的图像重建和进一步处理,从而提高诊断准 确性。
某些示例提供对包括MR图像的医学图像的改进的管理和分析,计算 机辅助诊断(CAD)和/或其他人工智能可应用于这些医学图像来识别和分 类异常/畸形诸如前列腺癌等。
某些示例改善MR成像和图像数据处理技术,以实现执行肿瘤学评分 和CAD的自动化多部分临床分析,从而得到患者疾病(例如,前列腺癌 等)判定并发送/报告给另一个临床系统、专家、病历等。某些示例提供自 动化处理技术改进诸如图像分割、肿瘤学评分、报告生成等,以减少、最 小化或消除检测/诊断过程中的用户交互。
某些示例收集患者病史并基于血液测试数据评估患者的前列腺特异性 抗原(PSA)水平。PSA是由前列腺产生的物质,并且PSA水平升高可指 示前列腺癌或非癌性病症诸如前列腺增大。例如,通过使用图像数据(例 如,轴向、矢状等)、表观扩散系数(ADC)血流标测信息等,系统可计 算前列腺体积和PSA密度。然后例如,通过使用计算机辅助检测和/或用户 输入,可使用图像数据、ADC信息、密度、分割和/或其他自动化图像数据 分析来识别关于患者的前列腺的病灶。可围绕所识别的、可能的和/或大概 的病灶来定义感兴趣区域(ROI),以标记一个或多个图像中的一个或多个 病灶。例如,ROI中的病灶可随后由系统分割(例如,沿着长轴等)并评 分(例如,以确定病灶验证的可能性、恶性肿瘤/严重程度、尺寸等)。例 如,深度学习、机器学习和/或其他人工智能可用于自动分割并计算前列腺 体积和/或对前列腺中/上的一个或多个病灶进行自动分割、定位并评分。可 生成可能的前列腺癌的判定、患者护理计划/治疗的触发、给泌尿科医生和/ 或其他临床医生的报告等,其具有评分、病灶详细信息、观察、意见、结 论等。
表观扩散系数(ADC)图像或ADC映射是MR图像,该MR图像通 过消除常规扩散加权成像(DWI)中本来固有的某些(例如,T2)加权, 比常规DWI更具体地示出扩散。ADC成像通过以不同量的DWI加权采集 多个常规DWI图像来这样做,并且信号的变化与扩散速率成比例。
例如,评分(诸如pirads或pi-rads评分)可表示对可能的癌/肿瘤组织 的指示。PI-RADS是用于前列腺成像报告和数据系统的首字母缩略词,定 义了包括图像创建和报告的多参数MR成像的质量标准。基于动态对比度 增强(DCE或Dice)参数的“是”或“否”的评分为每个变量参数提供 PI-RADS评分,例如,T2加权(T2W)和扩散加权成像(DWI)的评分为 1到5。针对每个检测到的病灶确定评分,其中1是最可能良性的,5是高 度可疑的恶性肿瘤。例如,pirads 1是“非常低”(例如,非常不可能存在 临床上显著的癌症);pirads 2是“低”(例如,不可能存在临床上显著的 癌症);pirads 3是“中等”(例如,不明确临床上显著的癌症的存在); pirads 4是“高”(例如,可能存在临床上显著的癌症);并且pirads 5是 “非常高”(例如,非常可能存在临床上显著的癌症)。
例如,机器学习技术(不论是深度学习网络,还是其他体验/观察学习 系统)可用于定位图像中的对象,理解语音并且将语音转换为文本,并且 提高搜索引擎结果的相关性。深度学习是机器学习的子集,该机器学习使 用一套算法以使用具有多个处理层(包括线性和非线性变换)的深度图对 数据中的高层抽象化进行建模。虽然许多机器学习系统都是先植入初始特 征和/或网络权重、再通过机器学习网络的学习和更新加以修改,但是深度 学习网络是通过训练自身来识别分析的“良好”特征。使用多层架构时, 采用深度学习技术的机器对原始数据的处理可好于使用常规机器学习技术 的机器。使用评估或抽象化的不同层促进了各组高度相关的值或区别性主 题的数据检查。
示例性磁共振成像系统
转到图1A,示出了示例性磁共振成像(MRI)系统10的主要部件。 系统的操作通过操作员控制台12进行控制,该操作员控制台包括键盘或其 他输入设备13、控制面板14和显示屏16。控制台12通过链路18与单独 的计算机系统20通信,该计算机系统使得操作员能够控制显示屏16上的 图像的产生和显示。计算机系统20包括通过背板20a彼此通信的多个模块。这些模块包括图像处理器模块22、CPU模块24和存储器模块26(可 包括用于存储图像数据阵列的帧缓冲器)。计算机系统20链接到档案媒体 设备、永久或备份存储器或用于存储图像数据和程序的网络,并且通过高 速串行链路34与单独的系统控件32通信。输入设备13可包括鼠标、操纵 杆、键盘、跟踪球、触摸激活屏、光棒、语音控件或任何类似或等效的输入设备,并且可用于交互式几何形状需求。
系统控件32包括通过背板32a连接在一起的一组模块。这些模块包括 CPU模块36和脉冲发生器模块38,该脉冲发生器模块通过串行链路40连 接到操作员控制台12。通过链路40,系统控件32从操作员接收指示要执 行的扫描序列的命令。脉冲发生器模块38操作系统部件以执行所需的扫描 序列,并且生成指示所产生RF脉冲的时间、强度和形状以及数据采集窗口 的时间和长度的数据。脉冲发生器模块38连接到一组梯度放大器42,以指 示扫描期间产生的梯度脉冲的时间和形状。脉冲发生器模块38还可接收来 自生理采集控制器44的患者数据,该生理采集控制器接收来自连接到患者 的多个不同传感器的信号,诸如来自附接到患者的电极的ECG信号。脉冲 发生器模块38连接到扫描室接口电路46,该扫描室接口电路接收来自各种 传感器的与患者和磁体系统的状况相关联的信号。患者定位系统48也通过 扫描室接口电路46接收将患者移动到用于扫描的所需位置的命令。
由脉冲发生器模块38产生的梯度波形被应用到具有Gx、Gy和Gz放 大器的梯度放大器系统42。每个梯度放大器激励在大体标记为50的梯度线 圈组件中的对应的物理梯度线圈,以产生用于对采集的信号进行空间编码 的磁场梯度。梯度线圈组件50形成包括极化磁体54和全身RF线圈56的 磁体组件52的一部分。在本发明的一个实施方案中,RF线圈56是多通道 线圈。系统控件32中的收发器模块58产生脉冲,该脉冲被RF放大器60 放大并且通过发射/接收开关62耦接到RF线圈56。由患者体内的激发核发 射的所得信号可由相同的RF线圈56感测到,并且通过发射/接收开关62 耦接到前置放大器64。放大的MR信号在收发器58的接收器部分中被解 调、滤波和数字化。发射/接收开关62由来自脉冲发生器模块38的信号控 制,以在发射模式期间将RF放大器60电连接到线圈56,并且在接收模式 期间将前置放大器64连接到线圈56。发射/接收开关62可还使得单独的 RF线圈(例如,表面线圈)能够在发射或接收模式中使用。
由多通道RF线圈56接收/检测到的MR信号被收发器模块58数字化 并且被传输到系统控件32中的存储器模块66。当在存储器模块66中采集 到原始k空间数据的阵列时,扫描完成。对于每个要重建的图像,该原始k 空间数据被重新布置成单独的k空间数据阵列,并且这些单独的k空间数 据阵列中的每一个被输入到阵列处理器68,该阵列处理器操作以对数据进 行傅立叶变换为图像数据的阵列。该图像数据通过串行链路34传送到计算 机系统20,由此存储在存储器中。响应于从操作员控制台12接收到的命 令,该图像数据可归档在长期存储装置中,或者可由图像处理器22进一步 处理并且传送到操作员控制台12,并且呈现在显示器16上。
示例性计算机辅助的前列腺分析系统
图1B示出了示例性计算机辅助的前列腺分析系统100,该系统包括图 像采集模块110、前列腺检测器120、前列腺评估器130、病灶识别和评估 器140(在本文中也称为病灶评估器)以及结果生成器150。
示例性系统100实现了计算机辅助的前列腺癌诊断和分类。某些示例 分析前列腺信息并生成关于可能的前列腺癌、恶性病灶和/或其他前列腺问 题的预测和/或其他分析。例如,某些示例使用多模态多方案MR数据在前 列腺扇区映射上定位前列腺病灶,并且整合针对前列腺癌的计算机辅助诊 断和分类系统的前列腺病灶信息。
示例性图像采集模块110采集患者的图像数据,诸如ADC图像、DWI 图像和/或其他MR图像数据等。例如,图像数据包括患者的前列腺。例 如,图像采集模块110可预处理图像数据以使数据准备进行进一步分析。 例如,可调节对比度、窗口水平等以强调图像数据等中的前列腺。
示例性前列腺检测器120处理图像数据以识别图像中的前列腺。例 如,基于像素密度/强度值,前列腺检测器120可识别图像数据中的前列 腺。在其他示例中,可对图像进行分割并评分以识别和配准图像中的前列 腺(例如,MR图像、3D体积等)。
示例性前列腺评估器130结合患者病史信息处理图像数据并确定患者 的前列腺特异性抗原(PSA)水平。PSA水平升高(指示在患者血流中的 前列腺特异性抗原大于正常存在)可以是相关联的患者中前列腺癌的指示 标识。例如,前列腺评估器130可对图像中的前列腺进行分割并计算其体 积(例如,使用基于深度学习的方法等)。例如,前列腺评估器130可将 距离(例如,3个距离等)沉积在图像上(例如,使用专用距离工具等), 并且可自动计算前列腺体积和PSA密度。
示例性病灶识别和评估器140识别并处理图像数据上的病灶。例如, 病灶识别和评估器140可通过在一个或多个所采集的图像中的病灶上沉积 图形对象(例如,指示感兴趣区域(例如,沿其长轴等)等)来识别和处 理图像中的病灶。例如,椭圆沉积在前列腺扇区映射上,其中自动选择映 射下面的模式和一个或多个扇区(例如,椭圆沉积在轴向、矢状和冠状平 面上以自动选择对应的扇区等)。然后可由病灶识别和评估器140根据 PIRADS v2指南对病灶进行评分。又如,自动分割一个或多个病灶,然后 根据每一种可用MR成像技术(例如,使用所分割前列腺的非刚性配准和 前列腺扇区映射的3D模型以及基于深度学习的方法等)对该一个或多个病 灶进行定位并评分。例如,可根据各种MR技术病灶评分自动计算全局评 分。又如,使用可用的工具、算法、数字孪生等来识别一个或多个病灶。 在一些示例中,可基于由下文所述的病灶映射器160从图像映射到扇区映 射的病灶的表示来动对病灶进行评分。
根据病灶信息,可确定关于可能的一个或多个前列腺问题的结论、建 议和/或其他评估。定性评估、深度神经网络中的隐藏层处理以及对边缘、 一个或多个边缘组合、对象模型等的分析使得深度神经网络能够将MR图 像数据与可能的前列腺病灶和/或需要后续进一步验证、治疗等的其他缺陷 相关联。例如,来自图像分割和像素强度数据的卷积、去卷积、前向推断 和后向学习可帮助驱动MR图像信息与经由CAD确定可能的前列腺癌之间 的相关性。
基于病灶分析,报告和/或下一个动作触发可由示例性结果生成器150 生成并输出。例如,报告可被生成、保存、输出、传输等。例如,可基于 分析提供(例如,传输到另一个程序、触发另一个过程、保存、显示和/或 以其他方式输出)患者病史(例如,包括PSA水平的识别趋势等)、前列 腺体积、PSA水平、PSA密度、病灶详细信息、指数病灶、意见、PI- RADS评估、结论等,以驱动关于患者的进一步动作。
在一些示例中,病灶映射器160可检测表示二维空间或三维空间中的 病灶的数据,并且将表示病灶的数据映射到扇区映射。例如,病灶映射器 160可检测、获得或接收表示前列腺的切片的二维图像。在一些示例中,病 灶映射器160可通过从表示前列腺的任何合适的二维切片的三维图像或模 型中识别或选择数据子集来获得或计算二维图像。病灶映射器160可使用 任何合适的技术(诸如下文相对于图21至图23所述的技术)将病灶从图像映射到扇区映射。在一些示例中,病灶映射器160还可指示其中病灶位 于前列腺中的区(诸如中心区或周边区等等)。
数字孪生示例
在某些示例中,患者、患者解剖结构/区域(例如,前列腺等)的数字 表示可用于前列腺癌的计算机辅助检测和/或诊断。数字表示、数字模型、 数字“孪生”或数字“阴影”是关于物理系统、过程等的数字信息学构 造。即,数字信息可被实现为物理设备/系统/人/过程的“孪生”和与物理 设备/系统/过程相关联的和/或嵌入物理设备/系统/过程内的信息。数字孪生 通过物理系统的生命周期与物理系统相链接。在某些示例中,数字孪生包 括真实空间中的物理对象、存在于虚拟空间中的该物理对象的数字孪生以 及将物理对象与其数字孪生相链接的信息。数字孪生存在于对应于真实空 间的虚拟空间中,并且包括用于从真实空间到虚拟空间的数据流的链接以 及用于从虚拟空间到真实空间和虚拟子空间的信息流的连接。
例如,图2示出了真实空间215中的患者、前列腺和/或其他结构/解剖 区域210向虚拟空间235中的数字孪生230提供数据220。数字孪生230和 /或其虚拟空间235将信息240提供回真实空间215。数字孪生230和/或虚 拟空间235还可向一个或多个虚拟子空间250、252、254提供信息。如图2 示例所示,虚拟空间235可包括一个或多个虚拟子空间250、252、254和/ 或与该一个或多个虚拟子空间相关联,该一个或多个虚拟子空间可用于对 数字孪生230和/或数字“子孪生”的一个或多个部分建模,从而对总体数 字孪生230的子系统/子部分建模。
连接至物理对象(例如,患者210)的传感器可收集数据并将所收集 的数据220中继到数字孪生230(例如,经由自报告,使用临床或其他健康 信息系统诸如图像归档与通信系统(PACS)、放射学信息系统(RIS)、 电子病历系统(EMR)、实验室信息系统(LIS)、心血管信息系统 (CVIS)、医院信息系统(HIS)、MR成像扫描仪和/或其组合等)。例 如,数字孪生230和患者/前列腺210之间的交互可帮助改进患者210的诊 断、治疗、健康维护等(诸如前列腺疾病的识别等)。受益于实时或基本 实时(例如,从数据传输、处理和/或存储延迟考虑)的患者/前列腺210的 准确数字描述230允许系统200预测以疾病、身体机能和/或其他痼疾、病 症等形式出现的“故障”。
在某些示例中,当医疗保健从业者正在检查、治疗和/或以其他方式护 理患者210时,可将所获得的叠加有传感器数据、实验室结果等的图像用 于增强现实(AR)应用中。例如,数字孪生230使用AR来跟踪患者对与 医疗保健从业者进行交互的响应。因此,可对患者的前列腺建模以识别外 观、实验室结果、评分和/或其他特征的变化,以指示前列腺问题诸如癌 症、评估该问题、对治疗选项进行建模/预测等。
因此,数字孪生230并非一般模型,而是反映患者/前列腺210及他或 她相关联规范、病症等的基于物理的、基于解剖的和/或基于生物的实际模 型的集合。在某些示例中,对患者/前列腺210的三维(3D)建模为患者/前 列腺210创建了数字孪生230。例如,前列腺评估器130可使用数字孪生 230基于从源(例如,来自患者210、成像系统、从业者、健康信息系统、 传感器等)动态提供的输入数据220来确定(例如,建模、模拟、推断 等)并且查看患者/前列腺210的状态。
在某些示例中,前列腺评估器130可使用患者/前列腺210的数字孪生 230对患者/前列腺210进行监测、诊断和预后。可将传感器数据与历史信 息组合使用,使用数字孪生230识别、预测、监测患者/前列腺210的当前 和/或潜在的未来病症等。可经由数字孪生230来监视病因、加剧、改进 等。可使用数字孪生230,模拟并可视化患者/前列腺210的物理行为以用 于诊断、治疗、监测、维护等。
与计算机不同的是,人类不会按照有序的、循序渐进的过程处理信 息。相反,人试图将问题概念化并了解其背景。虽然人可以查看报告、表 格等的数据,但当人可视地查看问题并试图发现其解决方案时,才是最有 效的。然而,通常,当人以可视方式处理信息,以字母数字形式记录信 息,并且然后试图以可视方式重新概念化信息时,信息会丢失,并且随着 时间的推移,问题解决过程的效率极低。
然而,使用数字孪生230允许人和/或系统查看和评估情况(例如,患 者/前列腺210和相关联的患者问题等)的可视化,而无需来回转换数据。 利用与实际患者/前列腺210具有共同视角的数字孪生230,可动态且实时 (或基本实时,考虑到数据处理、传输和/或存储延迟)地查看物理信息和 虚拟信息两者。医疗保健从业者不阅读报告,而是用数字孪生230进行查 看和模拟,以评估患者/前列腺210的病症、进展、可能的治疗等。在某些 示例中,可在数字孪生230中以标签标记和/或以其他方式标记特征、病 症、趋势、指标、性状等,以允许从业者快速且容易地查看指定的参数、 值、趋势、警示等。
数字孪生230也可用于比较(例如,与患者/前列腺210、与“正 常”、标准或参考患者、一组临床标准/症状、最佳实践、协议步骤等比 较)。在某些示例中,患者/前列腺210的数字孪生230可用于测量和可视 化该患者/协议/项目的理想或“黄金标准”值状态、围绕该值的误差容许量 或标准偏差(例如,相对于黄金标准值的正偏差和/或负偏差等)、实际值、实际值的趋势等。实际值或实际值的趋势和黄金标准之间的差异(例 如,超出容许偏差)可以可视化为字母数字值、颜色指示、图案等。
此外,患者210的数字孪生230可有利于患者210的朋友、家人、护 理提供者等之间的协作。使用数字孪生230,可在包括护理提供者、家人、 朋友等在内的多个人之间共享患者210及他/她健康的概念化(例如,根据 护理计划等)。例如,人不需要与患者210处于相同位置,彼此也不需要 处于相同位置,仍可查看同一数字孪生230、与其交互并且由其得出结论。
因此,数字孪生230可定义为一组虚拟信息概念,其从微观层面(例 如,心脏、肺、脚、前列腺、前交叉韧带(ACL)、中风史等)到宏观层 面(例如,整体解剖、整体观、骨骼系统、神经系统、血管系统等)描述 (例如,充分描述)患者210。类似地,数字孪生230可表示处于各种详细 信息层面诸如宏观、微观等的项目和/或协议。在某些示例中,数字孪生 230可为参考数字孪生(例如,数字孪生原型等)和/或数字孪生实例。参 考数字孪生表示患者/前列腺210或特定类型/类别患者/前列腺210的原型或 “黄金标准”模型,而一个或多个参考数字孪生则表示一个或多个特定患 者/前列腺210。因此,儿童患者210的数字孪生230可实现为根据某些标 准或“典型”儿童特征组织的儿童参考数字孪生,特定数字孪生实例表示 特定儿童患者210。在某些示例中,多个数字孪生实例可聚合成数字孪生聚 合(例如,以表示共享共同的参考数字孪生等的多个儿童患者的累积或组 合)。例如,数字孪生聚合可用于识别由儿童数字孪生实例表示的儿童之 间的差异、相似性、趋势等。
在某些示例中,数字孪生230(和/或多个数字孪生实例等)在其中运 行的虚拟空间235被称为数字孪生环境。数字孪生环境235提供了在其中 操作数字孪生230的基于物理的和/或基于生物的集成多畴应用空间。例 如,可在数字孪生环境235中分析数字孪生230以预测患者/协议/项目210 的未来行为、病症、进展等。还可在数字孪生环境235中询问或查询数字 孪生230以检索和/或分析当前信息240、既往病史等。
在某些示例中,数字孪生环境235可分成多个虚拟空间250至254。每 个虚拟空间250至254可对不同的数字孪生实例和/或数字孪生230的组成 部分建模,并且/或者每个虚拟空间250至254可用于对同一数字孪生230 执行不同的分析、模拟等。使用多个虚拟空间250至254,可以以多种方式 廉价且有效地测试数字孪生230,同时保持患者210的安全。例如,医疗保 健供者随后可了解在各种场景中患者/前列腺210可如何对各种治疗作出反应。从真实空间到虚拟空间的连续、触发、周期性和/或其他输入260使得 数字孪生230能够继续演化。
示例性深度学习和其他机器学习
深度学习是采用表示学习方法的一类机器学习技术,其允许机器被给 予原始数据并且确定数据分类所需的表示。深度学习使用用于改变深度学 习机器的内部参数(例如,节点权重)的反向传播算法来确定数据集中的 结构。深度学习机器可利用多种多层架构和算法。例如,虽然机器学习涉 及识别要用于训练网络的特征,但深度学习处理原始数据来识别感兴趣特 征而无需外部识别。
神经网络环境中的深度学习包括许多称为神经元的互连节点。由外部 来源激活的输入神经元基于受机器参数控制的与其他神经元的连接来激活 这些其他神经元。神经网络以基于其自身参数的一定方式起作用。学习改 善机器参数,并且广义来说,改善网络中的各神经元之间的连接,使得神 经网络以所需方式起作用。
利用卷积神经网络的深度学习使用卷积滤波器来分割数据以定位并且 识别数据中学习到的可观测特征。CNN架构的每个滤波器或层变换输入数 据以增加数据的选择性和不变性。数据的该抽象化允许机器聚焦于数据中 其尝试分类的特征并且忽略不相关的背景信息。
深度学习的操作建立在许多数据集包括高级特征而高级特征又包括低 级特征这一理解上。例如,当检查图像时,并不查找对象,更有效的做法 是查找边缘,边缘形成模体,模体形成部分,部分形成要寻找的对象。特 征的这些层次可见于许多不同形式的数据,诸如语音和文本等。
学习到的可观测特征包括机器在监督学习期间学习到的对象和可量化 正则性。设置有有效分类的数据的大集合的机器更有条件区分并且提取与 新数据的成功分类相关的特征。
利用迁移学习的深度学习机器可将数据特征正确地连接到由人类专家 确认的某些分类。相反,同一机器可在人类专家告知分类错误时更新用于 分类的参数。例如,可通过学习到的设置和/或其他配置信息的使用来引导 设置和/或其他配置信息,并且当系统被使用更多次(例如,反复使用和/或 由多个用户使用)时,对于给定情况而言,可减少设置和/或其他配置信息 的变化和/或其他可能性的数量。
例如,可使用专家分类数据集来训练示例性深度学习神经网络。该数 据集构建了神经网络的第一参数,并且这将成为监督学习阶段。在监督学 习阶段期间,可测试神经网络是否已实现所需行为。
一旦已实现所需神经网络行为(例如,机器经过训练以根据指定阈值 来操作等),就可部署机器以便使用(例如,使用“真实”数据来测试机 器等)。在操作期间,可(例如,由专家用户、专家系统、参考数据库 等)确认或拒绝神经网络分类以继续改善神经网络行为。然后示例性神经 网络处于迁移学习状态,因为确定神经网络行为的分类参数基于正在进行 的交互来更新。在某些示例中,神经网络可向另一个过程提供直接反馈。 在某些示例中,神经网络输出的数据先经过缓冲(例如经由云等)和验 证,再提供给另一个过程。
使用卷积神经网络(CNN)的深度学习机器可用于图像分析。CNN分析 的阶段可用于自然图像中的面部识别、图像数据中的病灶识别、计算机辅 助诊断(CAD)等。
可使用诸如x射线、计算机断层成像(CT)、分子成像与计算机断层成 像(MICT)、磁共振成像(MRI)等一种或多种成像模式来采集高质量医学图像 数据。医学图像质量通常不受产生图像的机器的影响,而是受患者的影 响。例如,患者在MRI期间移动可形成模糊或畸变图像,从而可妨碍准确 诊断。
在不考虑质量的情况下解释医学图像仅仅是最近的发展。医学图像大 部分由医师解释,但这些解释可能带有主观性,受到医师在本领域中的经 验和/或疲劳状况的影响。经由机器学习的图像分析可支持医疗保健从业者 的工作流。
例如,深度学习机器可提供计算机辅助检测支持以在图像质量和分类 方面改进其图像分析。然而,应用于医疗领域的深度学习机器所面临的问 题通常会引起许多错误分类。例如,深度学习机器必须克服小的训练数据 集并且需要反复调节。
例如,深度学习机器在经过最少训练的情况下可用于确定医学图像的 质量。半监督和无监督深度学习机器可用于定量测量图像的质量方面。例 如,可在已采集图像之后利用深度学习机器来确定图像的质量是否足以用 于诊断。监督深度学习机器可也用于计算机辅助诊断。例如,病灶识别和 评估器140可使用深度学习网络模型来分析在图像中识别的病灶数据。例 如,前列腺评估器130可利用深度学习网络模型基于图像中识别的前列腺和相关联的患者健康信息来评估前列腺健康。例如,监督学习可有助于减 少错误分类敏感性。
深度学习机器可在与医师交互时利用迁移学习来抵消监督训练中可用 的小数据集。这些深度学习机器可随时间推移通过训练和迁移学习来改进 其计算机辅助诊断。在某些示例中,数字孪生230(例如,作为整体和/或 以其子部分250至254中的一个)可利用深度学习网络模型来对组成部分 诸如前列腺、病灶、其他器官等的行为进行建模。
示例性学习网络系统
图3是示例性学习神经网络300的表示。示例性神经网络300包括层 320、340、360和380。层320和340使用神经连接330来连接。层340和 360使用神经连接350来连接。层360和380使用神经连接370来连接。数 据经由输入312、314、316从输入层320向前流到输出层380并到达输出 390。
层320是输入层,其在图3的示例中包括多个节点322、324、326。层 340和360是隐藏层,并且在图3的示例中包括节点342、344、346、 348、362、364、366、368。神经网络300可包括比所示的更多或更少的隐 藏层340和360。层380是输出层,并且在图3的示例中包括具有输出390 的节点382。每个输入312至316对应于输入层320的节点322至326,并 且输入层320的每个节点322至326具有到隐藏层340的每个节点342至 348的连接330。隐藏层340的每个节点342至348具有到隐藏层360的每 个节点362至368的连接350。隐藏层360的每个节点362至368具有到输 出层380的连接370。输出层380具有输出390以提供来自示例性神经网络 300的输出。
在连接330、350和370中,某些示例性连接332、352、372可被赋予 增加的权重,而其他示例性连接334、354、374可在神经网络300中被赋 予较小的权重。例如,通过经由输入312至316接收输入数据来激活输入 节点322至326。通过数据分别经由连接330和350向前流过网络300来激 活隐藏层340和360的节点342至348和362至368。在经由连接370发送 在隐藏层340和360中处理的数据之后,激活输出层380的节点382。当输 出层380的输出节点382被激活时,节点382基于在神经网络300的隐藏层 340和360中完成的处理来输出适当的值。
图4示出了作为卷积神经网络400的示例性神经网络300的特定实施 方式。如图4的示例中所示,将输入310提供给第一层320,该第一层处理 输入310并将该输入传播到第二层340。输入310在第二层340中进一步被 处理并被传播到第三层360。第三层360对要提供给输出层e80的数据进行 分类。更具体地讲,如图4的示例中所示,将卷积404(例如,5×5卷积 等)应用于第一层320中的输入310(例如,32×32数据输入等)的部分或 窗口(也称为“接受域”)402以提供特征映射406(例如,(6×)28×28 特征映射等)。卷积404将来自输入310的元素映射到特征映射406。第一 层320还提供了子采样(例如,2×2子采样等)以生成减小的特征映射410 (例如,(6×)14×14特征映射等)。特征映射410发生卷积412并且从第一层320传播到第二层340,在第二层中,特征映射410变为扩展的特征映 射414(例如,(16×)10×10特征映射等)。在第二层340中的子采样416 之后,特征映射414变为减小的特征映射418(例如,(16×)4×5特征映 射等)。特征映射418发生卷积420并且传播到第三层360,在第三层中, 特征映射418变为分类层422,从而形成例如具有到卷积层422的连接426的N个类别的输出层424。
图5是图像分析卷积神经网络500的示例性实施方式的表示。卷积神 经网络500接收输入图像502,并且在卷积层504中将该图像抽象化以识别 学习到的特征510至522。在第二卷积层530中,图像被变换为多个图像 530至538,其中学习到的特征510至522各自在相应子图像530至538中 加强。进一步处理图像530至538以聚焦于图像540至548中的感兴趣特征 510至522。然后通过池化层处理所得图像540至548,该池化层减小图像 540至548的尺寸以分离包括感兴趣特征510至522在内的图像540至548 的部分550至554。卷积神经网络500的输出550至554从最后非输出层接 收值,并且基于从最后非输出层接收到的数据对图像进行分类。在某些示 例中,卷积神经网络500可包含卷积层、池化层、学习的特征和输出等的 许多不同变型。
图6A示出了应用学习(例如,机器学习、深度学习等)网络来处理 和/或以其他方式评估图像的示例性配置600。机器学习可应用于多种过 程,包括图像采集、图像重建、图像分析/诊断等。如图6A的示例性配置 600中所示,原始数据610(例如,从成像扫描仪诸如x射线、计算机断层 成像、超声、磁共振等扫描仪获得的原始数据610,诸如声谱图原始数据等)被馈入学习网络620。学习网络620处理数据610以将原始图像数据 620关联和/或以其他方式合并到所得图像630(例如,“良好质量”图像和 /或其他提供足以诊断的质量的图像等)中。学习网络620包括节点和连接 (例如,路径)以将原始数据610与完成的图像630相关联。例如,学习 网络620可为训练网络,其学习这些连接并且处理反馈以建立连接并识别模式。例如,学习网络620可为所部署的网络,其由训练网络生成,并且 利用在训练网络中建立的连接和模式来获取输入原始数据610并生成所得 图像630。
一旦学习620经过训练并从原始图像数据610产生良好图像630,网络 620就可继续“自学习”过程并且在操作时改善其性能。例如,输入数据 (原始数据)610中存在“冗余”,并且网络620中存在冗余,并且可利用 该冗余。
如果检查分配给学习网络620中的节点的权重,则可能存在许多具有 极低权重的连接和节点。低权重指示这些连接和节点对学习网络620的整 体性能的贡献很少。因此,这些连接和节点是冗余的。可评估此类冗余以 减少输入(原始数据)610中的冗余。例如,减少输入610冗余可节省扫描 仪硬件,降低对部件的要求,并且还减少对患者的暴露剂量。
在部署中,配置600形成包600,其包括输入定义610、经训练的网络 620和输出定义630。可相对于另一个系统诸如成像系统、分析引擎等来部 署并安装包600。
如图6B的示例中所示,学习网络620可与多个学习网络621至623链 接和/或以其他方式组合在一起而形成更大的学习网络。例如,网络620至 623的组合可用于进一步改善对输入的响应和/或将网络620至623分配给 系统的各个方面。
在一些示例中,在操作中,可最初将“弱”连接和节点设定为零。然 后学习网络620在保持过程中处理其节点。在某些示例中,不允许在重新 训练期间改变被设定为零的节点和连接。考虑到网络620中存在冗余,很 有可能会生成同样好的图像。如图6B所示,在重新训练之后,学习网络620变为DLN 621。还检查学习网络621以识别弱连接和节点,并且将它们 设定为零。该进一步重新训练的网络是学习网络622。示例性学习网络622 包括学习网络621中的“零点”以及节点和连接的新集合。学习网络622 继续重复该处理直到在学习网络623(其称为“最小可行性网(MVN)”)处 达到良好图像质量。学习网络623之所以为MVN,是因为如果试图在学习 网络623中将附加连接或节点设定为零,则图像质量会变差。
一旦已用学习网络623获得MVN,就将“零”区域(例如,图中的不 规则暗区域)映射到输入610。每个暗区可能映射到输入空间中的一个或一 组参数。例如,零区域之一可与原始数据中的视图数量和通道数量联系起 来。由于可减少与这些参数相对应的网络623中的冗余,因此很有可能可 减少输入数据并且该输入数据可生成同样好的输出。为了减少输入数据, 获得与减少的参数相对应的新的原始数据集并且通过学习网络621运行该 新的原始数据集。可简化或可不简化网络620至623,但处理学习网络620 至623中的一者或多者直到达到原始数据输入610的“最小可行性输入 (MVI)”。在MVI处,输入原始数据610的进一步减少可导致图像630质 量降低。例如,MVI可使得数据采集的复杂性降低、对系统部件的要求更 少、患者的紧张感减轻(例如,屏气或造影剂更少)和/或对患者的剂量减 少。
通过使学习网络620至623中的一些连接和节点强制变为零,网络620 至623构建“侧支”来补偿。在该过程中,获得对学习网络620至623的 拓朴结构的洞察。应当注意,网络621和网络622例如具有不同拓朴结 构,这是由于已强制一些节点和/或连接变为零。从网络有效移除连接和节 点的该过程超出了“深度学习”,并且可称为例如“深度-深度学习”。
在某些示例中,输入数据处理和深度学习阶段可被实现为单独系统。 然而,作为单独系统,两个模块可能都不知晓用于选择感兴趣/重要的输入 参数的更大的输入特征评估回路。由于输入数据处理选择对产生高质量输 出很重要,因此来自深度学习系统的反馈可用于经由模型来执行输入参数 选择优化或改进。并非通过在整个输入参数集内扫描来形成原始数据(例 如,这是强力的且昂贵的),而是可实现主动学习的变型。使用主动学习的该变型,可确定起始参数空间以在模型中产生所需或“最佳”结果。然 后可随机减小参数值以生成原始输入,这会降低结果的质量,同时仍保持 质量的可接受范围或阈值,并且通过处理对模型质量没有什么影响的输入 来缩短运行时间。
图7示出了学习网络的示例性训练和部署阶段,诸如深度学习或其他 机器学习网络。如图7的示例中所示,在训练阶段,向网络704提供一组 输入702以便进行处理。在该示例中,该组输入702可包括待识别的图像 的面部特征。网络704沿正向706处理输入702以关联数据元素并识别模 式。网络704确定输入702表示狗708。在训练中,将网络结果708与已知 结果712进行比较710。在该示例中,已知结果712是人脸(例如,输入数 据集702表示人脸,而不是狗脸)。由于网络704的确定708与已知结果 712不匹配710,因此生成错误714。错误714沿着通过网络704的后向通 路716触发对已知结果712和相关联数据702的反向分析。因此,训练网 络704通过网络704从前向通路706和后向通路716学习数据702、712。
一旦网络输出708与已知输出712的比较根据特定标准或阈值匹配710 (例如,匹配n次,匹配大于x%等),训练网络704就可以用于生成用于 与外部系统部署的网络。一旦被部署,就向所部署的学习网络722提供单 个输入720以生成输出724。在这种情况下,基于训练网络704,部署网络 722确定输入720是人脸724的图像。
图8示出了利用经训练的网络包来提供深度学习和/或其他机器学习产 品供应的示例性产品。如图8的示例中所示,提供输入810(例如,原始数 据)以便进行预处理820。例如,对原始输入数据810进行预处理820以检 查格式、完整性等。一旦已对数据810进行了预处理820,就创建830数据 的补丁。例如,创建830具有特定大小和格式的数据的补丁或部分或 “块”以供处理。然后将补丁馈送到训练网络840中进行处理。基于学习 的模式、节点和连接,训练网络840基于输入的补丁确定输出。组装850 输出(例如,组合和/或以其他方式分组在一起以生成可用输出等)。然后 将输出显示860和/或以其他方式输出给用户(例如,人类用户、临床系 统、成像模态、数据存储(例如,云存储、本地存储、边缘设备等) 等)。
如上所讨论,可将学习网络包装为供训练、部署和应用于多种系统之 用的设备。图9A至图9C示出了各种学习设备配置。例如,图9A示出了 一般学习设备900。示例性设备900包括输入定义910、学习网络模型920 和输出定义930。输入定义910可包括经由网络920转化为一个或多个输出 930的一个或多个输入。
图9B示出了示例性训练设备901。即,训练设备901是被配置为训练 学习网络设备的设备900的示例。在图9B的示例中,将多个训练输入911 提供给网络921以在网络921中开发连接并提供由输出评估器931评估的 输出。然后,输出评估器931将反馈提供到网络921中,以进一步开发 (例如,训练)网络921。可以将附加输入911提供给网络921,直到输出 评估器931确定网络921被训练(例如,输出已经根据特定阈值、误差幅 度等满足输入到输出的已知相关性)。
图9C示出了示例性部署设备903。一旦训练设备901已经学习到必要 水平,就可以部署训练设备901以供使用。例如,虽然训练设备901通过 处理多个输入来学习,但部署的设备903通过处理单个输入来确定输出。 如图9C的示例中所示,所部署的设备903包括输入定义913、经训练的网 络923和输出定义933。例如,一旦网络921已经过充分训练,就可由网络 921生成经训练的网络923。部署的设备903接收系统输入913并且经由网 络923处理输入913以生成输出933,然后例如已与部署的设备903相关联 的系统可使用该输出。
示例性图像分析和前列腺评估系统及方法
某些示例提供用于前列腺癌的计算机辅助诊断和分类的系统和方法。 例如,某些示例使用多模态多方案MR数据在前列腺扇区映射上定位前列 腺病灶,并且整合针对前列腺癌的计算机辅助诊断和分类系统的前列腺病 灶信息。
例如,在第一工作流中,图形对象(例如,ROI/长轴)沉积在一个或 多个所采集的图像中的病灶上。另外,椭圆沉积在前列腺扇区映射上,其 中自动选择映射下面的模式和一个或多个扇区。然后可根据PIRADS v2指 南对病灶进行评分。基于病灶映射和评分,可生成并输出报告和/或下一个 动作触发。
在另一个工作流程中,例如,执行MR图像采集,并且加载和显示所 得的一个或多个图像。获得(例如,从临床医生、患者、电子病历等获 得)患者的病史,并且确定患者的PSA水平。自动分割前列腺并计算其体 积(例如,使用基于深度学习的方法等)。图形对象(例如,ROI/长轴) 沉积在MR数据上,并且自动选择对应的一个或多个扇区(例如,使用所 分割前列腺的非刚性配准和前列腺扇区映射的三维(3D)模型等)。然后 可根据PIRADS v2指南对一个或多个病灶进行评分。基于区域分析和病灶 评分,可生成并输出报告和/或下一个动作触发。
在另一个工作流程中,例如,执行MR图像采集,并且加载和显示所 得的一个或多个图像。获得(例如,从临床医生、患者、电子病历等获 得)患者的病史,并且确定患者的PSA水平。自动分割前列腺并计算其体 积(例如,使用基于深度学习的方法等)。自动分割一个或多个病灶,然 后根据每一种可用MR成像技术(例如,使用所分割前列腺的非刚性配准 和前列腺扇区映射的3D模型以及基于深度学习的方法等)对该一个或多个 病灶进行定位并评分。基于病灶分割、分析和评分,可生成并输出报告和/ 或下一个动作触发。
在某些示例中,深度学习网络模型可处理图像数据以生成二进制掩膜 输出,以识别一个或多个图像中前列腺上的病灶。模型可获得一个或多个 图像切片、三维体积等(例如,已被预处理以归一化强度和/或分辨率 等),并且经由网络对图像数据进行分割以提供识别图像数据中病灶的二 进制掩膜。例如,可经由网络模型使用多模态多协议MR数据在前列腺扇 区映射上定位病灶。
因此,某些示例提供对3D重构图像及其与从MR扫描设备初始采集 的图像的关系的处理、查看、分析和通信。例如,由临床医生执行和/或使 用深度学习和/或其他人工智能自动执行的采集图像、重构图像、注释和测 量的组合为参考医师提供了可有助于诊断和治疗计划的临床相关信息。
图10示出了用于分析前列腺信息并生成关于可能的前列腺癌、恶性病 灶和/或其他前列腺问题的预测和/或其他分析的示例性方法和相关联的基础 结构。在框1002处,确定患者病史和PSA水平(参见例如图11的示例性 界面)。在框1004处,计算前列腺体积。例如,距离(例如,3个距离 等)沉积在图像上(例如,使用专用距离工具等),并且自动计算前列腺 体积和PSA密度(参见例如图12的示例性界面)。例如,前列腺体积可使 用经由用户界面绘制在图像中前列腺上的三个距离来自动计算,以标记图 像中前列腺的长度(d1)、宽度(d2)和高度(d3)。然后可将前列腺体 积计算为长度×宽度×高度×0.52=前列腺体积,其中0.52是缩放因子的示 例,缩放因子说明图像数据中的实际尺寸和表示之间的差异。然后例如, 可根据前列腺体积和其他因素计算PSA密度。
在框1006处,识别并评估一个或多个病灶。在多个具体实施中,可识 别并分析一个或多个病灶。例如,可在一个或多个MR图像上添加(例 如,标记)新的病灶(参见例如在图13的示例性界面中的1302处)。例 如,长轴距离和ADC感兴趣区域(ROI)可经由界面沉积在一个或多个图 像上。又如,使用可用的工具、算法、数字孪生等识别一个或多个病灶 (参见例如图14的示例性界面中的1402)。病灶位置确定1502的另一示 例在图15的示例性图形用户界面中示出。如图16的示例性界面所示,椭 圆沉积在界面1602中的轴向、矢状和冠状平面上以自动选择对应的扇区。 例如,一旦椭圆定位在前列腺扇区映射模式上,就自动选择椭圆下方的一 个或多个扇区。在图17中,例如,根据每种可用MR技术对病灶进行评 分,并且根据MR技术病灶评分自动计算全局评分。例如,病灶评分可基 于其尺寸(例如,长度、宽度、体积等)、位置等,并且评分可包括T1加 权脉冲序列评分、T2加权脉冲序列评分、扩散加权成像(DWI)评分、动 态对比度增强(DCE)MRI评分、总体评分等。
在框1008处,报告可被生成、保存、输出、传输等(参见例如图18 的示例性界面)。图19A至图19C示出了显示前列腺评估、评分、PI- RADS评估、ADC信息等的示例性报告。例如,可基于分析提供(例如, 传输到另一个程序、触发另一个过程、保存、显示和/或以其他方式输出) 患者病史(例如,包括PSA水平的识别趋势等)、前列腺体积、PSA水 平、PSA密度、病灶详细信息、指数病灶、意见、PI-RADS评估、结论 等,以驱动关于患者的进一步动作。
因此,轴向和矢状MR图像视图可用于训练集中以及用于开发和测试 深度学习网络(诸如网络300、400、500)的评估集中,以分析MR前列腺 图像数据并识别和分类图像中的一个或多个病灶。根据病灶信息,可确定 关于可能的一个或多个前列腺问题的结论、建议和/或其他评估。定性评 估、深度神经网络中的隐藏层处理以及对边缘、一个或多个边缘组合、对 象模型等的分析使得深度神经网络能够将MR图像数据与可能的前列腺病 灶和/或需要后续进一步验证、治疗等的其他缺陷相关联。例如,来自图像 分割和像素强度数据的卷积、去卷积、前向推断和后向学习可帮助驱动 MR图像信息与经由CAD确定可能的前列腺癌之间的相关性。
虽然结合图1至图19C示出了示例性实施方式,但结合图1至图19C 示出的元件、过程和/或设备可以任何其他方式组合、划分、重新布置、省 略、消除和/或实现。此外,本文所公开和描述的部件可由硬件、机器可读 指令、软件、固件、以及/或者硬件、机器可读指令、软件和/或固件的任何 组合来实现。因此,例如,本文所公开和描述的部件可由模拟和/或数字电 路、逻辑电路、可编程处理器、专用集成电路(ASIC)、可编程逻辑设备 (PLD)和/或现场可编程逻辑设备(FPLD)来实现。当读到本专利中的任一项 覆盖纯粹的软件和/或固件实现的装置或系统权利要求时,这些部件中的至 少一者在此明确地被定义为包括存储软件和/或固件的有形计算机可读存储 设备或存储盘,诸如存储器、数字通用盘(DVD)、压缩盘(CD)、蓝光盘 等。
代表用于实现本文所公开和描述的部件的示例性机器可读指令的流程 图结合至少图10示出。在示例中,机器可读指令包括由处理器(诸如下文 结合图20讨论的示例性处理器平台2000中所示的处理器2012)执行的程 序。程序可体现在有形计算机可读存储介质(诸如CD-ROM、软盘、硬盘 驱动器、数字多用盘(DVD)、蓝光盘或与处理器2012相关联的存储器) 上存储的机器可读指令中,但是整个程序和/或其部分可替代地由除了处理 器2012之外的设备执行以及/或者体现在固件或专用硬件中。进一步地,尽 管参考结合至少图10示出的流程图描述了示例性程序,但是可另选地使用 实现本文公开和描述的部件的许多其他方法。例如,可改变框的执行顺 序,并且/或者可改变、消除或组合所述的一些框。尽管至少图10的流程图 以示出的顺序描绘了示例性操作,但是这些操作不是穷举性的,并且不局限于示出的顺序。另外,本领域技术人员可在本公开的实质和范围内作出 各种变化和修改。例如,流程图中示出的框可按另选顺序执行或者可并行 执行。
如上所述,至少图10的示例性过程可使用存储在有形计算机可读存储 介质上的编码指令(例如,计算机和/或机器可读指令)来实现,所述有形 计算机可读存储介质为诸如硬盘驱动器、闪存存储器、只读存储器 (ROM)、光盘(CD)、数字通用光盘(DVD)、高速缓存、随机存取 存储器(RAM)和/或任何其他存储设备或存储盘,其中信息被存储任何持 续时间(例如,延长的时间段、永久、短暂、用于暂时缓冲和/或用于信息 的高速缓存)。如本文所用,术语有形计算机可读存储介质明确地被定义 为包括任何类型的计算机可读存储设备和/或存储盘,并且排除传播信号且 排除传输介质。如本文所用,“有形计算机可读存储介质”和“有形机器 可读存储介质”可互换使用。除此之外或另选地,至少图10和图21的示 例性过程可使用存储在非暂态计算机和/或机器可读介质上的编码指令(例 如,计算机和/或机器可读指令)来实现,该非暂态计算机和/或机器可读介 质为诸如硬盘驱动器、闪存存储器、只读存储器、压缩盘、数字通用盘、 高速缓存、随机存取存储器和/或任何其他存储设备或存储盘,其中信息被 存储任何持续时间(例如,延长时间段、永久、短暂、用于暂时缓冲和/或 用于信息的高速缓存)。如本文所用,术语非暂态计算机可读介质明确地 被定义为包括任何类型的计算机可读存储设备和/或存储盘,并且排除传播 信号并且排除传输介质。如本文所用,当短语“至少”用作权利要求前序 中的过渡性术语时,与术语“包含”是开放式的一样,其也是开放式的。 另外,与术语“包含”是开放式的一样,术语“包括”也是开放式的。
图20是示例性处理器平台2000的框图,该处理器平台被构造成执行 至少图10的指令以实现本文公开和描述的示例性部件。处理器平台2000 可以是例如服务器、个人计算机、移动设备(例如,手机、智能电话、平 板电脑诸如iPadTM)、个人数字助理(FDA)、互联网应用或任何其他类型 的计算设备。
所示示例的处理器平台2000包括处理器2012。所示示例的处理器 2012是硬件。例如,处理器2012可由来自任何所需产品系列或制造商的集 成电路、逻辑电路、微处理器或控制器来实现。
所示示例的处理器2012包括本地存储器2013(例如,高速缓存)。 图20的示例性处理器2012执行至少图10的指令,以实现图1至图19C和 图21至图23的系统和基础设施以及相关方法诸如图像采集模块、前列腺 检测器、前列腺评估器、病灶识别和评估器、结果生成器、病灶映射器 等。所示示例的处理器2012经由总线2018与包括易失性存储器2014和非易失性存储器2016的主存储器通信。易失性存储器2014可由同步动态随 机存取存储器(SDRAM)、动态随机存取存储器(DRAM)、RAMBUS 动态随机存取存储器(RDRAM)和/或任何其他类型的随机存取存储器设 备来实现。非易失性存储器2016可由闪存存储器和/或任何其他所需类型的 存储器设备来实现。由时钟控制器控制对主存储器2014、2016的访问。
所示示例的处理器平台2000还包括接口电路2020。接口电路2020可 由任何类型的接口标准(诸如以太网接口、通用串行总线(USB)和/或 PCI express接口)来实现。
在所示示例中,一个或多个输入设备2022连接到接口电路2020。输 入设备2022允许用户将数据和命令输入到处理器2012中。一个或多个输 入设备可由例如传感器、麦克风、相机(静物相机或摄像机)、键盘、按 钮、鼠标、触摸屏、触控板、轨迹球、isopoint和/或语音识别系统来实现。
一个或多个输出设备2024也连接到所示示例的接口电路2020。输出 设备2024可例如由显示设备(例如,发光二极管(LED)、有机发光二极 管(OLED)、液晶显示器、阴极射线管显示器(CRT)、触摸屏、触觉输 出设备和/或扬声器)来实现。因此,所示示例的接口电路2020通常包括图 形驱动器卡、图形驱动器芯片或图形驱动器处理器。
所示示例的接口电路2020还包括通信设备,诸如发射器、接收器、收 发器、调制解调器和/或网络接口卡,以促进经由网络2026(例如,以太网 连接、数字订户线(DSL)、电话线、同轴电缆、蜂窝电话系统等)与外 部机器(例如,任何种类的计算设备)交换数据。
所示示例的处理器平台2000还包括用于存储软件和/或数据的一个或 多个大容量存储设备2028。此类大容量存储设备2028的示例包括软盘驱动 器、硬盘驱动器、光盘驱动器、蓝光盘驱动器、RAID系统以及数字通用盘 (DVD)驱动器。
图20的编码指令2032可存储在大容量存储设备2028中、在易失性存 储器2014中、在非易失性存储器2016中以及/或者在可移动的有形计算机 可读存储介质(诸如CD或DVD)上。
用于利用扇区映射从前列腺的图像提供病灶的示例性技术
在一些示例中,用户(诸如临床医生等等)可指示或以其他方式将病 灶从前列腺的图像转置到扇区映射上。另外,在一些示例中,从前列腺的 图像中所识别的病灶可自动转置或映射到扇区映射,如下文相对于图21至 图23更详细地讨论。将病灶的表示从图像映射到扇区映射的技术优点可包 括生成具有病灶的表示的扇区映射,而无需附加的用户输入,诸如指示病 灶的边界的椭圆形等。在一些示例中,该技术优点还可包括通过在不等待用户输入的情况下产生和提供具有前列腺中的病灶的表示的扇区映射来减 少生成扇区映射的延迟。所生成的扇区映射还可通过将病灶直接从图像或 三维模型映射到扇区映射而无需作为用户输入所输入的近似值来包括病灶 的更准确表示。另外,与手动技术相比,生成的扇区映射可能更具再现 性,在手动技术中,用户分析前列腺的图像,然后用对应于图像中所识别 的病灶的位置和维度(诸如椭圆形)来注释扇区映射。
图21是用于提供具有病灶的表示的扇区映射的示例性方法的过程流程 图。在一些示例中,方法2100可用任何合适的设备(诸如图20的处理器 平台2000等等)来实现。
在框2102处,方法2100可包括检测图像中前列腺内的病灶。在一些 示例中,在前列腺的二维图像或前列腺的三维图像、体积或模型内检测病 灶。可从患者的图像、表示来自患者的成像数据的数字孪生等检测并映射 病灶。在一些示例中,可基于包括病灶的中心的坐标的用户输入来识别病 灶的轴向切片。在一些示例中,还可从用户输入检测、获得或以其他方式 采集病灶的直径。
在一些示例中,将前列腺掩模应用于前列腺的三维模型或从三维模型 获得的二维图像。前列腺的三维模型可以是包括前列腺和任何其他器官的 三维模型,或者前列腺的三维模型可作为将前列腺掩模应用于来自患者的 三维数据的产物而生成,其中该掩模排除表示来自前列腺外部的组织等的 任何数据。前列腺掩膜可以是指示二维图像或三维模型的每个像素是否位 于前列腺内的二进制值的二维集或三维体积。在一些示例中,前列腺掩模 可指示前列腺的任何数量的区,诸如中心区或周边区等等。例如,前列腺 掩模可通过为在特定区中包括的像素应用值一或为在特定区的边界之外的 像素应用值零来分离对应于前列腺的特定区的图像的像素。在一些示例 中,可将任何合适的掩模(诸如非二进制掩膜等等)应用于前列腺的图像 以识别病灶或感兴趣的区域。
在一些示例中,可使用上文相对于图10的框1006所述的技术在图像 中检测来自前列腺的病灶。例如,可使用机器学习技术、算法、数字孪生 等来识别长轴距离和感兴趣的ADC区域。
在框2104处,方法2100可包括生成病灶从图像到扇区映射的映射。 在一些示例中,病灶从图像到扇区映射的映射能够自动生成包括病灶的表 示的扇区映射,该病灶可由用户、机器学习技术等进行评分。例如,如果 病灶从图像或模型到扇区映射的映射自动生成,则可不实施针对病灶的一 个或多个椭圆形、圆形或任何其他合适的几何形状的用户输入的检测。
在一些示例中,生成病灶的映射可包括在框2106处识别病灶的深度区 域。例如,病灶可位于前列腺的任何数量的深度区域中或对应于该任何数 量的深度区域。在一些示例中,深度区域可包括顶点区域、中间区域和基 部区域等等。病灶可被识别为位于这些深度区域中的一个或多个深度区域 内。例如,可基于病灶的中心所位于的深度区域来识别病灶。针对病灶的 前列腺的深度区域的识别可包括确定病灶沿深度轴(诸如z轴)的值或位置或任何其他合适的坐标值,以及确定该值是否在前列腺的表示的前三分 之一、中间三分之一或后三分之一内。例如,前列腺的三维模型可沿z轴 或深度轴等分成三个区域(region/area)。在一些示例中,前列腺可分成任 何数量的深度区域。
在一些示例中,生成病灶的映射可包括在框2108处使用任何合适的技 术将病灶的表示(诸如质心等)的坐标从第一坐标系转换为第二坐标系。 例如,第一坐标系可包括笛卡尔坐标系,并且第二坐标系可为极坐标系等 等。在一些示例中,病灶的中心的x坐标和y坐标可被转换为极坐标R和 θ。当病灶的二维切片(由x值和y值表示)映射到扇区映射的深度区域 (诸如顶点区域、中间区域或基部区域等等)时,z值可不被转换为极坐 标。在一些示例中,病灶的沿z轴的任何数量的切片可单独地映射到扇区 映射。
将病灶的中心的x坐标和y坐标转换为极坐标可包括计算r值和θ值如 下:
Figure BDA0003241953790000281
θ=atan2(y,x) 公式(2)
在一些示例中,在框2110处,可基于病灶的图像的尺寸来归一化病灶 的极坐标R和直径D。这些尺寸可包括从图像的中心到图像的外边缘的距 离等等。在一些示例中,可基于前列腺的表示的图像的最大半径将极坐标 R归一化为介于零和一之间的值。在一些示例中,也可基于前列腺的最大 半径将病灶的表示的直径D归一化为介于零和一之间的值。在一些示例 中,极坐标R可基于R除以Rmax进行归一化,并且病灶D的直径值可基 于D除以Rmax进行归一化,如下文相对于公式3和公式4所示。直径值 D可用于计算扇区映射上的病灶的表示的大小,其中该表示可为圆形或椭 圆形等等。
在一些示例中,在框2112处,可使用以下公式3和公式4,基于扇区 映射的归一化半径和一个或多个维度对病灶的归一化极坐标R和D进行去 归一化。
Figure BDA0003241953790000291
Figure BDA0003241953790000292
在公式3和4中,Rmax表示来自二维切片或图像的前列腺的最大半 径,并且rmax表示扇区映射的最大半径。R值表示从公式1中的x值和y 值转换而来的极坐标R,并且D表示二维图像中的病灶的直径。在下文中 相对于图22更详细地讨论Rmax值和rmax值。
在一些示例中,对于每个θ,可计算不同的rmax值以表示病灶表示与 图像的不同角度。
在一些示例中,在框2114处,极坐标r、d和θ可转换为笛卡尔坐标 或任何其他合适的坐标。在一些示例中,可使用任何合适的技术将极坐标 转换为笛卡尔坐标。例如,可使用以下公式5和6来计算表示扇区映射上 的病灶的中心的x坐标和y坐标:
x=rcosθ 公式(5)
y=rsinθ 公式(6)
使用公式5和6计算的x值和y值可用于通过映射病灶的x中心和y 中心以及病灶的直径以表示扇区映射上的病灶的中心和边缘来可视化扇区 映射上的病灶。
在框2116处,方法2100可包括提供扇区映射,该扇区映射包括前列 腺内的病灶的映射的表示。在一些示例中,扇区映射上的病灶的映射的表 示(诸如具有病灶的中心的圆形以及其他形状)可被传输到任何合适的显 示设备或外部设备以供用户(诸如临床医生)查看和批准。病灶的映射的 表示可包括扇区映射中的病灶的中心的笛卡尔坐标和基于扇区映射的病灶 的去归一化半径。在一些示例中,显示设备电联接到识别病灶从图像到扇区映射的映射的设备,或者显示设备可联接到接收或获得扇区映射和病灶 到扇区映射的映射的表示的远程设备。
可基于包括扇区映射上的病灶的映射的表示的输出来对病灶进行评 分。在一些示例中,用户界面可包括到扇区的病灶映射和基于本文的技术 的测量结果。例如,扇区映射可提供从图像映射的病灶的分类,其中该分 类可提供前列腺健康的评估。在一些示例中,可基于上文相对于图1至图 19C所述的技术来自动生成病灶的评分。例如,可使用图像数据、ADC信 息、密度、分割和/或其他自动化图像数据分析来识别关于患者的前列腺的 任何数量的病灶。可围绕所识别的、可能的和/或大概的病灶来定义感兴趣 区域(ROI),以标记一个或多个图像中的一个或多个病灶。ROI中的病灶 可随后由系统分割(例如,沿着长轴等)、映射到扇区映射并评分(例 如,以确定病灶验证的可能性、恶性肿瘤/严重程度、大小等)。在一些示 例中,可使用深度学习、机器学习和/或其他人工智能来基于具有病灶的表示的扇区映射以及其他信息来对前列腺中/前列腺上的病灶进行评分。评分 可包括pi-rads评分等等。可生成可能的前列腺癌的判定、患者护理计划/治 疗的触发、给泌尿科医生和/或其他临床医生的报告等,其具有评分、病灶 详细信息、观察、意见、结论等。
图21的方法2100的过程流程图并非旨在指示方法2100的框2102- 2116的所有操作将被包含在每个示例中。另外,图21的方法2100的过程 流程图描述了执行操作的可能顺序。然而,应当理解,方法2100的操作可 以各种顺序或序列来实现。此外,在一些示例中,方法2100还可包含更少 或附加的操作。例如,可对多个采集中的病灶进行归一化,使得前列腺的 一个或多个病灶可自动映射到扇区映射,而无需用户注释。在一些示例 中,可使用多个区掩模来识别包括病灶的区。例如,如下文相对于图23更 详细地讨论,这些区可包括中心区、周边区或任何其他数量的区。
在一些示例中,该方法可包括使用机器学习技术和所提供的包括映射 的表示的扇区映射来生成评分。例如,可使用上述机器学习技术,基于映 射到扇区映射的病灶的表示作为输入来自动生成pi-rads评分。
图22示出了根据本文的示例的用于将病灶从图像映射到扇区映射的示 例图。在一些示例中,将病灶从图像映射到扇区映射可由设备(诸如图20 的处理器平台2000)和方法(诸如图21的方法2100)来实现。
在一些示例中,前列腺的二维图像2200或从前列腺的三维模型采集或 获得的二维数据集等等可映射到扇区映射2202。病灶的表示的从二维图像 2200到扇区映射2202的映射可使用上面的公式3和公式4以及任何附加公 式(诸如将x坐标和y坐标转换为极坐标的公式1、公式2、公式5和公式 6)来执行。
在一些示例中,Rmax2204表示从二维图像2200的中心开始的前列腺 的最大半径,并且rmax2206表示基于扇区映射2202的中心的最大半径。 R值2208和θ值2210表示从公式1中的x值和y值转换而来的极坐标。在 一些示例中,r2212表示由上面的公式3计算的用映射到扇区映射2202的 极坐标来表示的去归一化半径。
在一些示例中,扇区映射2202可包括任何合适数量的扇区或区。例 如,扇区映射2202可包括更少的扇区或附加的扇区。
图23示出了根据本文的示例的用于将病灶映射到前列腺的中心区或周 边区的示例性示意图。在一些示例中,将病灶从图像映射到扇区映射的区 可由设备(诸如图20的处理器平台2000)和方法(诸如图21的方法 2100)来实现。
图23的示意图包括前列腺的二维切片的图像2300和扇区映射2302。 在一些示例中,图像2300可以是从前列腺等等的三维模型采集或获得的二 维数据集。
在一些示例中,病灶可映射到前列腺的任何数量的区。例如,病灶可 映射到中心或中央区2304、周边区2306等。如果检测、提供或获得周边区 掩模,则可基于以下公式7、8、9和10来计算病灶的二维图像2300的病 灶中心。
Figure BDA0003241953790000321
Figure BDA0003241953790000322
Figure BDA0003241953790000323
Figure BDA0003241953790000324
如果病灶位于前列腺的中心区2304中,则可使用公式7-8,并且公式 9-10可确定病灶是否位于前列腺的周边区2306中,或它们的组合。公式7- 10中的变量Rp 2308可表示对于对应角度的中心区2304的最大半径,并且 R值2316可表示从图像2300中病灶的表示的中心到前列腺的中心的距离。 在一些示例中,变量Rpz 2310可表示对于从前列腺的中心开始的病灶的给 定角度或θ值的周边区2306的最大半径。在一些示例中,r 2320可表示扇 区映射2302中的病灶的位置,并且2312可表示对于给定角度或θ值的扇 区映射2302的中央区2304的最大半径。在一些示例中,变量rpz 2314可 表示对于给定角度的扇区映射2302的周边区2306的半径。
在一些示例中,R值2316和θ值2318表示使用公式1从图像2300中 病灶的表示的中心的x值和y值转换而来的极坐标。r 2320的值可表示映射 到扇区映射2302的病灶的去归一化半径。
在一些示例中,对病灶进行评分时,可使用病灶的表示在中心区 2304、周边区2306或它们的组合内的位置。例如,机器学习技术、用户等 可使用确定病灶是位于中心区2304内还是位于周边区2306内来确定病灶 的评分(诸如pi-rads评分)。在一些示例中,该评分可用作与患者讨论活 检和治疗选项的视觉辅助。将前列腺和相关联结构划分为多个扇区,使报 告标准化,并促进MR靶向活检和治疗、病理相关性和研究的精确定位。 在一些示例中,扇区映射2302可在根治性前列腺切除术或任何其他合适的 外科规程时提供外科解剖的路线图。
应当理解,前列腺的二维切片的图像2300和扇区映射2302是示例, 并且可在图像2300或扇区映射2302中识别或示出任何数量的不同扇区或 区。
根据前述内容,应当理解,已公开了以上所公开的方法、装置和制品 以使用多种深度学习和/或其他机器学习技术结合患者的成像数据来监测、 处理并改善成像和/或关联/包括处理器/计算设备的其他医疗保健系统的操 作,并且得出计算机辅助的前列腺诊断。某些示例提供自动化和/或引导的 工作流以及相关联的系统,利用人工智能网络和/或其他系统来确定患者病 史、前列腺体积、病灶识别和评估以及建议/报告。某些示例将病灶与前列 腺的扇区映射相关联并且自动分割前列腺和病灶。人工智能使得PIRADS 和/或其他评分能够在进一步诊断、治疗、报告、触发等中建立计算机辅助 诊断和/或随后的一个或多个动作。虽然MR读取时间可能很长且困难,但 是某些示例使MR图像分析自动化和/或帮助用户评估在一个或多个图像中 强调的相关信息。另外,自动分析可有助于减少不必要的前列腺活组织检 查的量,同时改善前列腺问题的早期检测、治疗和监测。
虽然本文已描述了某些示例性方法、装置和制品,但本专利的覆盖范 围不限于此。相反,本专利覆盖合理落入本专利的权利要求书的范围内的 所有方法、装置和制品。

Claims (12)

1.一种用于提供前列腺病症诊断的装置,所述装置包括:
存储器,所述存储器用于存储指令;和
处理器,所述处理器用于执行所述指令以:
从前列腺的图像检测病灶;
生成所述病灶从所述图像到扇区映射的映射,所述生成所述病灶的所述映射包括识别所述病灶的深度区域,其中所述深度区域指示所述病灶沿深度轴线的位置;以及
提供包括从所述图像映射到所述扇区映射的所述前列腺内的所述病灶的表示的所述扇区映射。
2.根据权利要求1所述的装置,其中所述扇区映射提供从所述图像映射的所述病灶的分类,所述分类提供前列腺健康的评估。
3.根据权利要求1所述的装置,其中所述深度区域使用所述前列腺的顶点区域、中间区域和基部区域来识别。
4.根据权利要求3所述的装置,其中所述生成所述映射包括计算相对于所述图像中的所述病灶的中心的一个或多个极坐标。
5.根据权利要求4所述的装置,其中所述生成所述映射包括基于所述图像中的所述病灶的所述中心来计算归一化半径。
6.根据权利要求5所述的装置,其中所述生成所述映射包括基于所述归一化半径和所述扇区映射的一个或多个维度来计算去归一化半径。
7.根据权利要求6所述的装置,其中所述生成所述映射包括计算笛卡尔坐标,所述笛卡尔坐标表示所述病灶和所述扇区映射内的所述病灶的直径。
8.根据权利要求7所述的装置,其中所述提供所述扇区映射包括将所述扇区映射和所述病灶到所述扇区映射的所述映射的所述表示传输到显示设备,其中所述病灶的所述映射的所述表示包括所述病灶的所述笛卡尔坐标和所述病灶的所述去归一化半径。
9.根据权利要求8所述的装置,其中所述显示设备电联接到所述装置,或者其中所述显示设备联接到远程设备,所述远程设备从所述装置接收所述扇区映射和所述病灶到所述扇区映射的所述映射的所述表示。
10.根据权利要求1所述的装置,其中所述图像包括三维体积。
11.根据权利要求1所述的装置,其中所述处理器用于通过使用数字孪生来生成所述病灶的所述映射,并且其中所述处理器用于使用机器学习技术和所提供的包括所述映射的所述表示的扇区映射来生成评分。
12.一种用于计算机辅助的前列腺病症诊断的方法,所述方法包括:
从前列腺的图像检测病灶;
生成所述病灶从所述图像到扇区映射的映射,所述生成所述病灶的所述映射包括识别所述病灶的深度区域,其中所述深度区域指示所述病灶沿深度轴线的位置;
提供包括从所述图像映射到所述扇区映射的所述前列腺内的所述病灶的表示的所述扇区映射;以及
显示具有所述前列腺内的所述病灶的所述表示的所述扇区映射。
CN202111023503.7A 2020-09-03 2021-09-01 针对前列腺癌的多模态计算机辅助诊断系统和方法 Pending CN114220534A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/011,778 US11893729B2 (en) 2017-11-22 2020-09-03 Multi-modal computer-aided diagnosis systems and methods for prostate cancer
US17/011,778 2020-09-03

Publications (1)

Publication Number Publication Date
CN114220534A true CN114220534A (zh) 2022-03-22

Family

ID=77666127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111023503.7A Pending CN114220534A (zh) 2020-09-03 2021-09-01 针对前列腺癌的多模态计算机辅助诊断系统和方法

Country Status (2)

Country Link
EP (1) EP3965117A1 (zh)
CN (1) CN114220534A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359045B (zh) * 2022-10-19 2023-03-17 之江实验室 基于多模态磁共振成像的图卷积神经网络疾病预测系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111344801B (zh) * 2017-11-22 2023-10-27 通用电气公司 针对前列腺癌的多模态计算机辅助诊断系统和方法

Also Published As

Publication number Publication date
EP3965117A1 (en) 2022-03-09

Similar Documents

Publication Publication Date Title
CN111344801B (zh) 针对前列腺癌的多模态计算机辅助诊断系统和方法
US10565477B2 (en) Deep learning medical systems and methods for image reconstruction and quality evaluation
US10438354B2 (en) Deep learning medical systems and methods for medical procedures
EP3545526B1 (en) Deep learning medical systems and methods for image acquisition
JP7187430B2 (ja) 人工知能の検出出力から疾患の進行を決定するシステムおよび方法
US11893729B2 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
CN111127389B (zh) 用于医疗保健的可扩展人工智能模型生成系统和方法
US11003988B2 (en) Hardware system design improvement using deep learning algorithms
US10984894B2 (en) Automated image quality control apparatus and methods
CN106529117A (zh) 用于治疗规划的生理驱动决策支持
CN110807755A (zh) 使用定位器图像进行平面选择
Gillmann et al. Uncertainty‐aware Visualization in Medical Imaging‐A Survey
Sarmento et al. Automatic neuroimage processing and analysis in stroke—A systematic review
CN111815643A (zh) 基于人工智能的copd评估
EP3965117A1 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
US20230274424A1 (en) Appartus and method for quantifying lesion in biometric image
US20240016439A1 (en) Generating functional brain mappings and accompanying reference information
KR20230094670A (ko) 인공 신경망을 이용한 이미지 데이터에 대한 분류 방법 및 이를 위한 장치
Ilyasova et al. Systems for Recognition and Intelligent Analysis of Biomedical Images
Mohapatra et al. Meta-Analysis of Transfer Learning for Segmentation of Brain Lesions
Manaf et al. Advancements in Medical Imaging and Diagnostics with Deep Learning Technologies
CN113327224A (zh) 自动视场(fov)界定的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination