CN109313698B - 同步的表面和内部肿瘤检测 - Google Patents

Abstract

一种用于成像的方法，包括使用第一成像模态获取目标的表面图像数据。基于表面图像数据生成目标的视觉表示。使用第二成像模态获取目标的内部图像数据。在获取内部图像数据期间，基于所获取的内部图像数据更新目标的视觉表示。

Description

同步的表面和内部肿瘤检测

交叉申请的相关引用

本申请作为PCT国际专利申请于2017年5月23日提交，并要求于2016年5月27日提交的美国临时专利申请No.62/342,713的优先权，该申请的公开内容通过引用整体并入本文。

背景技术

医学成像设备提供非侵入性方法以可视化患者的内部结构。这种非侵入性可视化方法可以有助于治疗患者的各种疾病。例如，患者体内癌症或肿瘤的早期检测对于治疗患者会是重要的，并且可以增加患者的存活概率。

超声成像(一种非侵入性医学成像技术)使用通常由压电换能器产生的声波来对患者体内的组织成像。超声探头聚焦声波，通常产生弧形声波，该声波传播到身体中并且部分地从患者体内的不同组织之间的层反射。反射的声波由换能器检测并转换成电信号，该电信号可由超声扫描仪处理以形成组织的超声图像。

获得患者乳房的超声图像所遵循的典型规程涉及将患者以仰卧姿势定位在桌子上，将凝胶或其它声学耦合剂涂到患者的乳房，并使超声换能器跨过患者的乳房。当换能器跨越乳房时，通常可以在超声系统的显示器上实时地查看超声图像。超声换能器可以是或者由成像技术人员手动操纵的手持式换能器，或者可以是自动扫描设备，诸如美国专利No.7,731,662中所描述的。虽然超声扫描在检测内部结构方面具有期望的灵敏度，但是手持式超声探头一般遭受较差的位置特异性。例如，这种方法的一个缺点在于乳房是非常有延展性的结构的事实；每当患者改变位置时，乳房的几何形状和结构就会移动和改变。因此，难以实现用超声探头准确彻底地扫描乳房。

发明内容

在一个方面，本技术涉及一种用于成像的方法，该方法包括：使用第一成像模态获取目标的表面图像数据；基于表面图像数据生成目标的视觉表示；使用第二成像模态获取目标的内部图像数据；并且在获取内部图像数据期间，基于所获取的内部图像数据的目标更新视觉表示。在实施例中，目标包括乳房。在另一个实施例中，第一成像模态是数字摄影、结构化光立体摄影和红外成像中的至少一种。在又一个实施例中，第二成像模态是超声成像。在又一个实施例中，该方法还包括基于视觉表示识别目标的表面上的感兴趣区域。

在以上方面的另一个实施例中，该方法还包括在视觉表示中显示感兴趣区域。在实施例中，该方法还包括：在获取内部图像数据期间，当目标被第二成像模态变形时，通过第一成像模态获取目标的更新后的表面图像数据；基于更新后的表面图像数据生成变形的目标的更新后的视觉表示；并且在获取内部图像数据期间显示更新后的视觉表示。

在另一方面，该技术涉及一种用于对患者的乳房成像的方法，该方法包括：获取乳房的表面的摄影图像；基于摄影图像，生成乳房的表面图；显示乳房的视觉表示；基于视觉表示识别乳房的表面上的感兴趣区域；显示乳房的视觉表示，具有指示识别出的感兴趣区域的指示符；用超声探头获取乳房的超声图像；并且在获取超声图像期间，至少部分地基于所获取的超声图像来更新视觉表示的显示。在实施例中，更新视觉表示的显示包括在视觉表示中显示由超声探头扫描的乳房的部分。在另一个实施例中，该方法还包括分析所获取的乳房的超声图像以识别乳房的附加感兴趣区域以供用超声探头扫描，并且其中更新视觉表示的显示包括在视觉表示中识别乳房的附加感兴趣区域。在又一个实施例中，该方法还包括生成关于超声探头的角度、超声探头的朝向、超声探头的位置和超声探头的扫描速度中的至少一个的反馈。在又一个实施例中，摄影图像是乳房的立体结构化光图像。

在以上方面的另一个实施例中，该方法还包括分析所获取的超声图像和摄影图像中的至少一个以确定异常乳房架构。在实施例中，该方法还包括基于超声图像生成三维模型，其中该三维模型包括指示异常乳房架构的位置的指示符。在另一个实施例中，该方法还包括分析所获取的超声图像和摄影图像中的至少一个，以生成乳房的癌症风险得分。在又一个实施例中，识别感兴趣区域是基于同侧皮肤纹理、对侧皮肤纹理、皮肤颜色、组织凹陷、乳头变化、乳头内陷、肿块和对侧乳房体积差异中的至少一个。在又一个实施例中，该方法还包括：在获取超声图像期间，当乳房被超声探头变形时，获取乳房的更新后的摄影图像；基于第二摄影图像生成变形的乳房的更新后的视觉表示；并且在获取超声图像期间显示变形的乳房的更新后的视觉表示。

在以上方面的另一个实施例中，视觉表示包括摄影图像和表面图中的至少一个。在实施例中，在获取超声图像期间乳房未被压缩。

在另一方面，该技术涉及一种用于对患者的乳房成像的系统，该系统包括：相机；超声探头；显示器；至少一个处理器；以及可操作地耦合到至少一个处理器的存储器，存储器存储指令，指令在由至少一个处理器执行时执行操作集，包括：基于由相机获取的摄影图像生成乳房的表面图；基于乳房的视觉表示识别乳房的表面上的感兴趣区域；在视觉表示上生成表面指示符，其中表面指示符指示识别出的感兴趣区域；将带有表面指示符的视觉表示发送到显示器；从超声探头接收乳房的超声图像；在获取超声图像期间，基于所获取的超声图像生成对视觉表示的显示的更新；并将更新发送到显示器。在实施例中，该系统还包括跟踪系统，该跟踪系统可操作地连接到超声探头并通信地连接到至少一个处理器。在另一个实施例中，更新包括视觉表示上的图形表示，该图形表示表示由超声探头扫描的乳房的一部分。在又一个实施例中，更新包括视觉表示上的图形表示，该图形表示表示要用超声探头扫描的乳房的另一个感兴趣区域。在又一个实施例中，相机是立体相机，并且摄影图像是乳房的立体结构化光图像。

在以上方面的另一个实施例中，操作集还包括分析所获取的超声图像和摄影图像中的至少一个以确定异常乳房架构。在实施例中，识别感兴趣区域是基于同侧皮肤纹理、对侧皮肤纹理、皮肤颜色、组织凹陷、乳头变化、乳头内陷、肿块和对侧乳房体积差异中的至少一个。在另一个实施例中，操作集还包括，基于表面图和所获取的超声图像中的一个或多个，生成关于超声探头的角度、超声探头的朝向、超声探头的位置和超声探头的扫描速度中的至少一个的反馈。在又一个实施例中，该系统还包括扬声器，并且其中操作集还包括：分析所获取的超声图像；基于对所获取的超声图像的分析，将音频信号发送到扬声器以提供听觉反馈。在又一个实施例中，操作集还包括：在获取超声图像期间，当乳房被超声探头变形时，获取乳房的更新后的摄影图像；基于第二摄影图像，生成变形的乳房的更新后的视觉表示；并且在获取超声图像期间将变形的乳房的更新后的视觉表示发送到显示器。

在另一方面，该技术涉及一种用于对患者的乳房成像的方法，该方法包括：使用相机获取乳房的摄影图像；显示乳房的视觉表示，其中视觉表示至少基于摄影图像；用超声探头扫描乳房；并且在扫描的同时，跟踪超声探头的位置并基于超声探头的被跟踪位置更新所显示的视觉表示。

在另一方面，该技术涉及一种用于对患者的乳房成像的方法，该方法包括：获取乳房的第一摄影图像；显示乳房的视觉表示，其中视觉表示至少基于第一摄影图像；用超声探头扫描乳房，其中扫描乳房导致乳房变形；并且在扫描乳房的同时：获取乳房的第二摄影图像，第二摄影图像描绘变形的乳房；并且显示乳房的第二视觉表示，其中第二视觉表示至少基于第二摄影图像。

提供本发明内容是为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。本发明内容不旨在识别要求保护的主题的关键特征或必要特征，也不旨在用于限制要求保护的主题的范围。

附图说明

图1A-1B描绘了用于利用表面成像模态和至少一种内部成像模态促进筛查的系统。

图2A-2B描绘了超声系统的部分实施例。

图3A-3C描绘了在获取内部图像数据期间所显示的乳房的视觉表示的示例。

图4A-4C描绘了在获取内部图像数据期间所显示的乳房的视觉表示的示例。

图5A-5B描绘了用于对目标成像的方法的示例。

图6图示了可以实现一个或多个本示例的合适操作环境的一个示例。

图7是网络的实施例，其中本文公开的各种系统和方法可以在其中操作。

具体实施方式

本技术涉及适于用第一成像模态和第二成像模态对目标成像的方法和系统。第一成像模态可以捕获目标的表面的图像数据，第二成像模态可以捕获目标的内部方面的图像数据。还可以在图像获取过程期间向技术人员提供反馈。在示例中，拍摄目标(诸如乳房)的摄影图像。然后可选地分析摄影图像以确定乳房的表面上潜在的高风险区域或感兴趣区域。从摄影图像中，还可以生成乳房的视觉表示并将其显示在显示屏上，以供技术人员(例如，医疗专业人员)查看。视觉表示还可以包括指示识别出的高风险区域或感兴趣区域的指示符。然后，医疗专业人员可以使用视觉表示作为利用第二成像模态(诸如但不限于超声成像)的指导。一般而言，第二成像模态包括从外部设备对乳房的内部方面的成像。与腔内成像相比，这种成像在本文中被称为内部成像，其中成像设备被插入组织中以对其成像。当医疗专业人员使用超声探头时，视觉表示的显示被更新以反映超声成像的进展。例如，可以突出显示已经由超声探头扫描的乳房部分。可替代地，可以使用可以用于表示乳房的一部分已经用第二成像模态成像的任何指标(例如，标记、颜色、图标等)。可替代地，可以在超声扫描期间获取乳房的更新后的照片，并且那些更新后的照片可以用于更新视觉表示以反映由超声探头引起的乳房的任何当前变形。这种系统能够提供关于内部成像处理的基本实时的信息，以提供更彻底和准确的内部成像。因而，即使对于未压缩或未固定的乳房，也可以实现超声成像的准确位置跟踪。

在标题为“System and Method for Fusing Three Dimensional Image Datafrom a Plurality of Different Imaging Systems for Use in Diagnostic Imaging”的美国专利公开No.2012/0150034中描述了其它多模态筛查系统，该申请涉及本申请并且该申请的全部通过引用并入本文。

图1A和1B描绘了用于利用表面成像模态和至少一种内部成像模态促进筛查的系统100。系统100包括摄影图像获取系统110、超声图像获取系统140、跟踪系统150、可选的导航系统130、显示系统160，以及可选的X射线图像获取系统170，它们都代表性地经由通信网络120连接。应当注意的是，虽然图1A将离散系统描绘为整个系统100中的功能块，但是那些离散系统中的某些可以集成到公共设备180中，如图1B中所示。例如，跟踪系统150、导航系统130和显示系统160可以包括在公共设备180中，而其余系统可以例如经由无线或有线通信与公共设备180通信。公共设备180可以是计算机、一个或多个离散计算机、获取工作站、技术人员工作站，或技术人员可以控制、操作等公共设备180和/或所连接的系统的任何其它设备。在示例中，设备180可以是具有显示系统160、用户界面、电源模块(以连接到建筑物、太阳能和/或电池电源)的便携式设备，并且可以包括用于附连摄影图像获取系统110、超声图像获取系统140和可选的X射线图像获取系统170的输入端。在另一个示例中，导航系统130和跟踪系统150可以集成到超声图像获取系统140中，或者作为独立模块提供，具有到显示器160、摄影图像获取系统110和超声图像获取系统140的单独通信链路。类似地，技术人员还将认识到的是，通信网络120可以是局域网、广域网、无线网络、有线网络、互联网、内联网或其它类似的通信网络。

摄影图像获取系统110获得乳房的表面的至少一个摄影图像。在一些实施例中，摄影图像是从数码相机捕获的乳房的基本数字照片，或者可以是从数码相机捕获的帧或图像。在其它实施例中，摄影图像是由立体数码相机拍摄的立体图像。在另外的实施例中，摄影图像是使用结构化光技术用立体数码相机捕获的立体图像。结构化光技术通过将光图案投射到乳房上并捕获具有投射光图案的乳房的立体照片来操作。在基于乳房的曲率和形状分析结构化光图案的改变时，确定乳房的表面的三维参数。如本文所使用的，摄影图像可以是目标的表面的任何图像。在一些实施例中，摄影图像可以附加地存储在诸如硬盘驱动器、CD-ROM、闪存驱动器或磁盘之类的存储介质上，以便稍后重建或回放。

摄影图像获取系统110还可以包括红外成像系统或热成像系统。通过数字红外成像的乳房热成像提供乳房的表面的温度分析。一般而言，具有异常高的代谢活性和血管循环的区域可以指示感兴趣区域。

从摄影图像和三维参数(如果可用的话)，可以由摄影图像获取系统110生成表面图。在一些实施例中，摄影图像获取系统110分析摄影图像和/或表面图，以识别感兴趣区域，其可以指示异常的乳房架构或组织(诸如肿瘤)。例如，可以从乳房的摄影图像和/或表面图识别的某些特征包括同侧皮肤纹理、对侧皮肤纹理、皮肤颜色、组织凹陷、乳头变化、乳头内陷、肿块和对侧乳房体积差异。这些特征中的每一个都可以指示乳房的表面下方的异常组织或乳房架构，以及本领域技术人员将辨别出的其它特征。还可以分析热成像数据以确定另外的感兴趣区域。一般而言，具有异常高的代谢活性和血管循环的区域指示癌性或癌前组织。可以通过图像分析、分割、分类、学习算法和其它技术来确定感兴趣区域。在一些实施例中，感兴趣区域可以由查看摄影图像的医疗专业人员手动识别。在这种实施例中，医疗专业人员可以通过用户界面来指示感兴趣区域标识符。

乳房的表面的视觉表示由摄影图像获取系统110生成并发送到显示系统160。视觉表示可以基于摄影图像、表面图和/或三维数据。例如，视觉表示可以是乳房的3D表面图或乳房的2D等高线图的表示。视觉表示还可以包括由摄影图像获取系统110或者系统100或公共设备180内的处理器或分析器确定的感兴趣区域的标记或指示符。通过用户界面，附加的数字界标、裁剪标记和基准点也可以突出显示或指示，以供在视觉表示中显示。还可以修改视觉表示以从照片中移除或掩蔽任何个人可识别出的图像数据(诸如患者的面部)。

在获取内部图像数据期间(诸如通过超声获取图像系统140)，摄影图像获取系统110可以继续获得乳房的更新后的摄影图像。在实施例中，通过视频记录相机连续收集更新后的摄影图像。在这种实施例中，从视频馈送中拍摄的静止图像可以用作摄影图像。在其它实施例中，间歇地收集更新后的摄影图像。当获得更新后的摄影图像时，生成乳房的表面的更新后的视觉表示。例如，如果超声探头导致乳房的凹陷或变形，那么乳房的更新后的视觉表示将反映该凹陷。因而，使用超声探头的技术人员将具有处于其当前形式的乳房的准确视图，以进一步确保乳房的更准确和彻底的超声成像。此外，超声图像的分析可以揭示要结合到视觉表示中的附加感兴趣区域。

超声图像获取系统140通常使用超声探头获得患者的组织的超声图像，该超声探头用于对超声探头的视场内的患者组织的一部分成像。超声成像系统140获得并显示超声探头的视场内患者解剖结构的超声图像，并且通常在患者被成像时实时地显示图像。在一些实施例中，超声图像可以附加地存储在诸如硬盘驱动器、CD-ROM、闪存驱动器或软盘之类的存储介质上，以便稍后重建或回放。

在实施例中，系统100可以包括可选的x射线图像获取系统170，它可以是当x射线管扫描围绕乳房的一部分的路径时捕获患者乳房的一组投影图像的断层合成获取系统。在其它示例中，x射线获取系统170可以是乳房X射线摄影系统或x射线计算机断层摄影(CT)系统。随后将该投影图像集合重建为三维体积，该三维体积可以被视为沿着任何平面的切片或平板。三维体积可以本地存储在x射线图像获取系统170上，或者在一些实施例中存储在图片存档通信系统(PACS)中。通常，X射线图像的图像格式是DICOM格式，但是，技术人员将理解可以使用其它图像格式。在其它示例中，可以使用其它内部成像模态来代替X射线图像获取系统或与X射线图像获取系统组合，诸如正电子发射断层扫描(PET)系统、核成像系统、磁共振成像(MRI)系统或其它类似的成像系统。

跟踪系统150与导航系统130通信，并在患者组织成像期间跟踪超声成像系统140的物理位置。在一些实施例中，跟踪系统150可以经由直接通信链路或无线通信链路直接连接到导航系统130。跟踪系统150跟踪连接到超声成像系统140的发射器的位置，并向导航系统130提供表示它们在跟踪器坐标空间中的坐标的数据。在一些实施例中，跟踪系统150可以是包括光学相机和光学发送器的光学跟踪系统，但是技术人员将理解的是，可以使用能够跟踪物体在空间中的位置的任何设备或系统。例如，技术人员将理解的是，在一些实施例中，可以使用射频(RF)跟踪系统，其包括RF接收器和RF发送器。

超声成像系统140被配置为通过使用跟踪系统150的校准处理与导航系统130一起使用。连接到超声成像系统140的超声探头的发送器可以将其位置发送到跟踪器坐标空间中的跟踪系统130，跟踪系统130进而将该信息提供到导航系统130。例如，发送器可以定位在超声成像系统140的探头上，使得跟踪系统150可以监视超声探头的位置和朝向并将这个信息提供给跟踪器坐标空间中的导航系统130。导航系统130可以使用这个被跟踪位置来确定超声探头相对于发送器的被跟踪位置的位置和朝向。

在一些实施例中，使用配置工具执行超声图像获取系统140的配置，其中其位置和朝向可以由跟踪系统150附加地跟踪。在配置期间，配置工具接触超声成像系统140的超声探头的换能器面并且跟踪系统150将表示配置工具在跟踪器坐标空间中的位置和朝向的信息发送到导航系统130。基于连接到超声探头的发射器的被跟踪位置，导航系统130可以确定可以用于确定超声探头的视场在跟踪器坐标空间中的位置和朝向的配置矩阵。在替代实施例中，具有多个品牌或型号的各种超声探头模型的配置数据的数据库可以用于在配置期间将视场配置预加载到导航系统130中。

一旦配置了超声成像系统140，就可以用超声成像系统140对患者的组织成像。在超声成像期间，跟踪系统150监视超声成像系统140的超声探头的位置和朝向，并且在跟踪器坐标空间中将这个信息提供给导航系统130。由于超声成像系统140已被配置为与导航系统130一起使用，因此导航系统130能够确定超声成像系统140的超声探头的视场的位置和朝向。

导航系统130可以被配置为将超声图像与超声探头的位置和朝向信息共同配准，其中乳房的视觉表示由乳房的摄影图像生成。在一些实施例中，导航系统130可以被配置为将超声探头的视场的位置和朝向从跟踪器坐标空间变换为视觉表示中的位置和朝向，这可以是与基于所获取的摄影图像的三维空间相关联的物理坐标。在一些示例中，摄影图像是从固定位置拍摄的，从而基于固定相机的位置提供要生成的坐标系。例如，当显示视觉表示时，可以在视觉表示上显示超声探头的位置和朝向。在一些实施例中，更新视觉表示以反映已由超声探头扫描或成像的乳房的部分。另外，所显示的视觉表示可以被定向为匹配超声探头的朝向和位置。

X射线图像获取系统170经由通信网络120将三维X射线图像体积发送到导航系统130，其中X射线图像可以被存储和查看。技术人员将理解的是，在一些实施例中，患者的x射线图像可以本地存储在x射线图像获取系统170上并且由导航系统130经由通信网络120远程访问，并且在其它实施例中可以存储在经由通信网络120与导航系统130通信的服务器上。在一些实施例中，x射线图像获取系统170容纳在与导航系统130相同的设备中。导航系统130显示由X射线成像系统获得的x射线图像，并且一旦被重建以在导航系统130上显示，X射线图像就可以被重新格式化并重新定位，以查看任何平面和任何切片位置或朝向的任何图像。在一些实施例中，导航系统130在同一屏幕上显示多个帧或窗口，从而示出x射线图像切片的替代位置或朝向。

技术人员将理解的是，由x射线成像系统170获得的x射线图像体积可以在任何时间点被发送到导航系统130，并且不一定在获得x射线图像体积之后立即发送，但是可以代替地在导航系统130请求时发送。在替代实施例中，x射线图像体积由便携式(transportable)介质设备(诸如闪存驱动器、CD-ROM、磁盘或其它此类便携式介质设备)发送到导航系统130。

在一些实施例中，导航系统130还访问超声图像，并且在这种实施例中，超声成像系统140还连接到通信网络120，使得超声图像可以被发送到导航系统130。在其它实施例中，导航系统130可以接收或者远程访问并复制超声图像，并且在替代实施例中，超声图像的副本可以存储在与导航系统130通信的服务器上并且由导航系统130远程访问。

导航系统130还可以被配置为将超声图像与x射线图像共同配准。在一些实施例中，导航系统130可以被配置为将超声探头的视场的位置和朝向从跟踪器坐标空间变换为X射线图像中的位置和朝向，例如，变换为DICOM坐标。这可以通过跟踪超声探头的位置和朝向并将跟踪器坐标空间中的这个位置信息发送到导航系统130并将这个位置信息与X射线坐标系相关联来实现。例如，在一些实施例中，用户可以选择X射线图像内的解剖平面，然后用户可以操纵被跟踪的超声探头的位置和朝向，以使超声探头的视场与所选择的解剖平面对准。一旦实现了对准，就可以捕获超声图像的相关联的跟踪器坐标空间坐标。可以使用本领域技术人员已知的技术根据被跟踪的超声视场朝向与所选择的解剖平面之间的相对旋转差异来确定X射线图像与跟踪器坐标空间之间的解剖轴(上-下(SI)、左-右(LR)和前-后(AP))的配准。

导航系统130的配置还可以包括基于摄影图像在x射线图像或视觉表示内结合界标或感兴趣区域。例如，可以结合由摄影图像获取系统110确定的感兴趣区域，或者可以使用允许用户选择解剖目标的界面来选择感兴趣区域。在一些实施例中，界标可以是内部组织界标(诸如静脉或动脉)，并且在其它实施例中，界标可以是外部界标(诸如基准皮肤标记或诸如乳头之类的外部界标)。然后可以将感兴趣的界标或区域结合到视觉表示中，使得技术人员可以用超声探头定位它们。X射线图像中目标的坐标、与视觉表示相关联的坐标以及跟踪器坐标空间中目标的坐标之间的相对差异用于确定用来对准坐标空间的平移参数。先前与基于固定相机的坐标一起获取的平面朝向信息可以与平移参数组合，以提供能够共同配准坐标空间的变换矩阵。

然后，导航系统130可以使用变换矩阵来重新格式化乳房表面的视觉表示和/或正被显示的x射线图像，使得正被显示的乳房的表面和/或组织的切片与超声成像系统140的超声探头的视场处于相同的平面并且在相同的朝向。然后可以并排显示乳房表面的匹配的超声和视觉表示。匹配的超声和X射线图像也可以并排显示，或者直接覆盖在单个图像查看框架中。在一些实施例中，导航系统130可以在显示系统160上的单独框架或位置中显示乳房的表面的附加x射线图像或视觉表示。例如，乳房的表面的视觉表示可以从与超声探头的视场相同的视角显示。在一些实施例中，可以附加地显示注释，从而表示例如由超声成像系统140成像的器械(诸如活检针、引导线、成像探头或其它类似设备)的位置。

在其它实施例中，由显示系统160显示的超声图像可以叠加在由显示系统显示的x射线图像的切片上，使得用户可以同时查看覆盖在同一显示器上的x射线和超声图像。在一些实施例中，导航系统130可以增强叠加的超声或X射线图像的某些方面，以增加结果所得的组合图像的质量。

可以用于在三维图像数据集与超声馈送之间导航以及对准坐标系以使得能够显示公共参考点的示例性方法和系统在下面以及在美国专利No.9,019,262中进一步详细描述，该专利的公开内容通过引用整体并入本文。

图2A-2B描绘了超声系统200的部分实施例。超声系统200包括具有多个附连的光学发送器250的超声探头204，如图2A中所示。光学发送器250由安装到固定表面上的光学相机212检测。在一些实施例中，用于摄影图像获取系统的数码相机(未示出)可以放置在与光学相机212基本相同的位置。光学相机212连接到通信网络，用于向跟踪器坐标空间中的导航系统130发送多个光学发送器的三维坐标数据。光学相机212通过跟踪超声发送器250来监视超声探头204的位置和朝向，并经由通信网络将这个数据发送到导航系统。在操作中，当技术人员将超声探头204朝着目标214(诸如乳房)指引时，声波束210从换能器206发射到目标中。在检查期间，跟踪超声探头204的位置和朝向，以便记录声波束的位置和角度，从而允许超声图像与那个位置和朝向的相关。

在所示的实施例中，超声探头204(例如，经由支撑结构208)接合到超声发送器250，超声发送器250在跟踪器坐标空间中由光学相机212跟踪。超声发送器250是由光学相机212跟踪的光学发送器，但是可以使用其它发送器-接收器系统。例如，在其它实施例中，RF发送器和接收器可以用于跟踪超声探头204在跟踪器坐标空间中的位置和朝向。此外，超声发送器250的其它朝向和位置可以用于提供可由光学相机212检测并发送到导航系统130的位置和朝向信息。超声发送器250可以可移除地连接到超声探头204，以便提供用任何形状的换能器206(诸如线性换能器、曲线换能器以及阵列和相控阵换能器)来配置任何超声探头的能力。不同类型的换能器可以产生不同类型的声波束210。

在附加的实施例中，超声图像馈送与表面图像和/或断层合成切片的共同配准促进在乳房内的不同平面和深度处捕获超声图像。可以重建各自从乳房内的不同深度获取的捕获的超声图像，以生成三维体积的超声数据。本技术可以用于将超声探头导航到基于表面图像数据使用断层合成获取的三维体积内的适当位置。一旦探头处于适当的表面位置，就可以通过改变超声信号的强度在变化的深度处获得一系列超声图像，由此生成用于对应的超声图像体积的信息。应当认识到的是，本技术不限于在检查期间在任何特定位置生成这种三维超声图像体积。

图2B还图示了超声换能器260的不同坐标平面(在特定位置)，以及3D断层合成成像几何形状270的坐标平面。跟踪系统使用由探头上的发送器提供的信息来实时地确定超声探头的朝向和位置，因此在任何时刻提供与超声馈送相关联的特定查看平面相关的信息。

经由超声图像馈送提供的实时信息可以以各种方式使用。可以执行超声探头的手动操纵，其中还在超声显示器(或工作站显示器的分配给超声图像的一部分)上提供超声图像馈送。当超声探头接近感兴趣区域时，可以向用户提供视觉或听觉提示，从而允许用户更仔细地查看该块和/或捕获代表性图像以供稍后查看。还可以基于超声扫描来提供其它类型的反馈。例如，可以基于超声探头的速度来提供听觉或视觉反馈。可以以超声探头的预定速度发出特定音调，并且随着超声探头的速度改变，音调可以改变音高。还可以提供关于超声探头的朝向或位置的听觉或视觉反馈，以帮助超声图像获取。反馈还可以指示探头的类型或要用于感兴趣区域的超声波束的特点。例如，反馈可以指示应当将18MHz超声探头用于特定感兴趣区域。

图3A-3C描绘了在获取内部图像数据期间(诸如用超声探头)乳房的所显示视觉表示的示例。图3A描绘了显示器300(例如，图1A-1B的显示系统160)，其示出了乳房的表面的两个视觉表示。第一视觉表示302A示出了乳房的表面的侧视图，第二视觉表示304A示出了乳房的表面的前视图。每个视觉表示都基于乳房的表面图。在每个视觉表示上，显示表面指示符306。表面指示符306指示基于摄影图像、三维数据、热成像数据和/或通过经由用户界面的手动识别确定的感兴趣区域。显示器300靠近执行超声成像的医疗专业人员放置，使得医疗专业人员可以看到该视觉表示并且理解感兴趣的区域位于何处。虽然未在图中示出，但是视觉表示可以与乳房的摄影图像重叠，以允许技术人员看到乳房上的自然界标(诸如痣或其它皮肤状况)，例如用作参考点。在一些实施例中，乳房的视觉表示还将显示腋窝组织或围绕乳房的身体的其它部分。

图3B描绘了在用超声探头获取内部图像数据期间的更新后的视觉表示302B、304B。在内部图像获取期间，超声探头可以更改乳房的形状，诸如通过造成凹陷308。更新后的视觉表示302B、304B反映乳房的当前形状，包括示出在检查期间的凹陷308或乳房的其它形状改变。因而，医疗专业人员可以看到更新并根据需要调整超声探头。

图3C描绘了在用超声探头获取内部图像数据期间的更新后的视觉表示302C、304C。在更新后的视觉表示302C、304C中，已经由超声探头扫描的扫描区域310在视觉表示302C、304C中被符号化。如图所示，扫描区域310在更新后的视觉表示302C、304C中由交叉阴影区域指示。扫描区域310还可以通过颜色改变、阴影或任何其它视觉指示符来指示，以示出乳房的哪些区域已被超声探头扫描。因而，在获取内部图像数据期间，医疗专业人员能够查看尚未扫描乳房的哪些部分。例如，在要扫描整个乳房的情况下，在完成超声扫描时，整个乳房将被扫描区域310的交叉影线覆盖。

虽然两个视觉表示302、304被描绘为在图3A-3C中显示，但是在一些实施例中，仅显示一个视觉表示。在这种实施例中，视觉表示可以虚拟地旋转，使得视觉表示来自与从超声探头发射的超声波束相同的视角。还可以记录视觉表示的虚拟移动并将其与获取的超声图像相关联，以便稍后回放和分析，使得医疗专业人员将能够更好地理解超声探头针对每个获取的超声图像的角度和位置。另外，收集的超声图像的实时视图也可以显示在显示器300中或单独的显示器中。

图4A-4C描绘了在获取内部图像数据期间(诸如用超声探头)乳房的所显示视觉表示的示例。图4A描绘了示出乳房的视觉表示402A的显示器400。视觉表示402A是从乳房的前视图看的乳房的等高线图。可以使用简化的等高线图可视表示402A而不是图3A-3C中所示的表面图，其中计算资源是有限的，或者超声扫描需要较少的信息。视觉表示402A包括指示感兴趣的点或区域的表面指示符406。视觉表示402A还可以包括为进行超声检查的医疗专业人员提供另外的参考标记的象限线412。在一些实施例中，乳房的等高线图视觉表示402A还将显示腋窝组织或围绕乳房的身体的其它部分。

图4B描绘了在用超声探头获取内部图像数据期间的更新后的视觉表示404B。在内部图像获取期间，超声探头可以更改乳房的形状，诸如通过造成凹陷408。更新后的视觉表示402B反映乳房的当前形状，包括示出在检查期间的凹陷408或乳房的其它形状改变。因而，医疗专业人员可以看到更新并根据需要调整超声探头。

图4C描绘了在用超声探头获取内部图像数据期间的另一个更新后的视觉表示404C。在更新后的视觉表示404C中，已经由超声探头扫描的扫描区域410被描绘为交叉阴影区域。扫描区域410还可以通过颜色改变、阴影或任何其它视觉指示符来指示，以示出乳房的哪些区域已被超声探头扫描。因而，在获取内部图像数据期间，医疗专业人员能够查看尚未扫描乳房的哪些部分。例如，在要扫描整个乳房的情况下，在完成超声扫描时，整个乳房将被扫描区域410的交叉影线覆盖。

图5A-5B描绘了用于对目标(诸如乳房)成像的方法500的示例。在操作502处，使用第一成像模态获取乳房的表面图像。如上面所讨论的，第一成像模态可以包括数字摄影、立体摄影、结构化光立体摄影和/或红外成像，或其任意组合。根据所获取的表面图像的分析，可以在操作504处可选地识别一个或多个感兴趣区域。例如，可以从乳房的摄影图像和/或表面图识别出的某些特征可以指示乳房的表面下方的异常组织或乳房架构，如上面所讨论的。可以通过图像分析、分割、分类、学习算法以及其它技术来确定感兴趣区域。在一些实施例中，感兴趣区域可以由医疗专业人员通过工作站中的用户界面查看表面图像数据来手动识别。

在操作506处，基于表面图像数据生成乳房的表面的视觉表示。视觉表示的生成还可以包括从表面图像数据生成表面图。生成的视觉表示还可以包括在操作504中确定的感兴趣区域的标记或指示符。医疗专业人员还可以利用另外的数字界标、裁剪标记和基准点，以通过工作站中的用户界面添加到视觉表示。一旦生成了视觉表示，就在操作508处将其显示在显示屏幕上，作为进行内部成像检查(诸如超声检查)的医疗专业人员的指导。

在操作510处，获取目标的内部图像数据。可以通过使用手动控制的超声探头来获取目标的内部图像数据。在获取内部图像数据期间，跟踪超声探头的位置、角度和其它特点，使得所获取的内部图像数据可以与乳房的表面的视觉表示的坐标共同配准或相关。在操作512处，可以提供关于内部成像处理的反馈。例如，根据超声探头的被跟踪的特点，可以提供听觉或视觉反馈，如上面所讨论的。

在操作514处，确定内部成像检查是否已经完成。例如，如果检查需要用超声探头扫描整个乳房，那么可以通过分析与乳房的表面的视觉表示相关的超声图像数据来确定是否实际上已经扫描了整个乳房。在其它示例中，可以通过确定医疗专业人员是否已经手动结束检查来做出确定，诸如通过按下用户界面中的END按钮。

如果内部成像尚未完成，那么方法500前进到操作518，在那里可以可选地分析内部图像数据，以确定应当由超声探头进一步检查的任何附加感兴趣区域。在操作520处，获取更新后的表面图像数据。可以以与操作502中相同的方式获取更新后的表面图像数据。还可以连续地收集更新后的表面图像数据。例如，用于捕获表面图像数据的相机可以记录视频，以提供连续的图像馈送。然后，在操作520处，基于更新后的表面图像数据和在操作518中识别出的附加感兴趣区域(如果有的话)，生成更新后的视觉表示。更新后的视觉表示指示目标的当前视图，从而反映目标中的任何实时凹陷、变形或其它形状改变。更新后的视觉表示还可以包括用于原始感兴趣区域的指示符以及用于附加感兴趣区域的指示符。另外，更新后的视觉表示还可以包括着色、阴影或其它标记，以指示已经由超声探头扫描的目标的部分。然后，在操作524处，在显示屏上显示更新后的视觉表示。在一些实施例中，还可以以匹配超声探头的视角的方式显示更新后的视觉表示。

在操作526处，获取目标的更新后的内部图像数据。可以以与操作510中相同的方式获取内部图像数据。可以在操作528处再次提供关于内部成像处理的反馈，类似于操作512。然后处理返回到操作514，在那里做出关于内部成像检查是否已经完成的另一个确定。如果检查尚未完成，那么该方法继续执行另一个循环。在实施例中，该方法连续获取更新后的表面图像数据，并在检查期间生成并显示更新后的视觉表示。还可以在检查期间连续提供反馈。

如果在操作514处检查完成，那么该方法前进到操作516，在那里打包并分析表面图像数据和内部图像数据。在一些实施例中，在检查期间获取的表面图像数据和内部图像数据的总体用于生成乳房的三维模型。通过在检查期间跟踪超声探头的位置并将那个位置与表面图像数据的坐标相关联，3D模型能够提供稳健且空间准确的体积超声图像。然后，3D模型可以由医生或其它专家查看，以确定癌症或其它疾病的潜在风险。在一些示例中，将学习算法或其它自动分析应用于3D模型，以确定潜在的癌症风险得分或进一步识别目标中的架构以进行医学评论(review)。由于分析模型中的处理要求，这种分析可以由服务器或其它云服务执行。在简化的应用中，可以基于表面图像数据和内部图像数据的分析来生成阳性输出或阴性输出。接收到阳性输出的患者将从进一步检查中被清除，而接收到阴性输出的患者将被推荐进行附加的测试。这种简化模型在复杂或放射性癌症筛查受限的区域特别有用。通过将本技术引入这些区域，可以针对一般不容易获得这种筛查的群体实现使用数字摄影和超声探头的有效癌症筛查。

在一些示例中，在检查期间分析内部图像数据并且标记是否存在指示异常结构的内部图像数据。然后，仅保存被标记的内部图像并将其结合到3D模型中，从而节省处理和存储器要求。

图6图示了可以在其中实现一个或多个本实施例的合适操作环境600的一个示例。这个操作环境可以直接结合到本文公开的成像系统中，或者可以结合到与本文描述的成像系统分离但用于控制其的计算机系统中。这仅仅是合适的操作环境的一个示例，并不旨在对使用范围或功能提出任何限制。可以适合使用的其它众所周知的计算系统、环境和/或配置包括但不限于成像系统、个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、基于微处理器的系统、可编程消费电子产品(诸如智能电话)、网络PC、小型计算机、大型计算机、平板电脑、包括任何上述系统或设备的分布式计算环境等。

在其最基本的配置中，操作环境600通常包括至少一个处理单元602以及存储器604。取决于计算设备的确切配置和类型，存储器604(除其它以外，尤其是存储执行本文公开的图像获取和处理方法的指令)可以是易失性的(诸如RAM)、非易失性的(诸如ROM、闪存等)，或两者的某种组合。这种最基本的配置在图6中由虚线606示出。另外，环境600还可以包括存储设备(可移动的，608，和/或不可移动的，610)，包括但不限于磁盘或光盘或带。类似地，环境600还可以具有(一个或多个)输入设备614(诸如触摸屏、键盘、鼠标、笔、语音输入等)，和/或(一个或多个)输出设备616(诸如显示器、扬声器、打印机等)。环境中还可以包括一个或多个通信连接612，诸如LAN、WAN、点对点、蓝牙、RF等。

操作环境600通常包括至少某种形式的计算机可读介质。计算机可读介质可以是可由处理单元602或包括操作环境的其它设备访问的任何可用介质。作为示例而非限制，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EEPROM、闪存或其它存储其技术、CD-ROM、数字通用盘(DVD)或其它光学存储装置、磁带盒、磁带、磁盘存储装置或其它磁存储设备、固态存储器，或者可以用于存储期望信息的任何其它有形介质。通信介质以调制数据信号(诸如载波)或其它传输机制来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息输送介质。术语“调制数据信号”意味着以对信号中的信息进行编码的方式设置或改变其一个或多个特点的信号。作为示例而非限制，通信介质包括有线介质(诸如有线网络或直接有线连接)，以及无线介质(诸如声学、RF、红外和其它无线介质)。上述的任意组合也应当包括在计算机可读介质的范围内。计算机可读设备是结合计算机存储介质的硬件设备。

操作环境600可以是使用到一个或多个远程计算机的逻辑连接在联网环境中操作的单个计算机。远程计算机可以是个人计算机、服务器、路由器、网络PC、对等设备或其它公共网络节点，并且通常包括上述的许多或所有元件以及未提及的其它元件。逻辑连接可以包括由可用通信介质支持的任何方法。这种网络环境在办公室、企业范围的计算机网络、内联网和互联网中是常见的。

在一些实施例中，本文描述的部件包括可由计算机系统600执行的这种模块或指令，这些模块或指令可以存储在计算机存储介质和其它有形介质上并在通信介质中发送。计算机存储介质包括以用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。上述的任意组合也应当包括在可读介质的范围内。在一些实施例中，计算机系统600是将数据存储在远程存储介质中以供计算机系统600使用的网络的一部分。

图7是本文公开的各种系统和方法可以在其中操作的网络700的实施例。在实施例中，客户端设备(诸如客户端设备702)可以经由网络708与一个或多个服务器(诸如服务器704和706)通信。在实施例中，客户端设备可以是独立设备，其可以是便携式或固定工作站(例如，图1B中描绘的工作站180)。客户端设备还可以包括或结合膝上型计算机、个人计算机、智能电话、PDA、上网本或任何其它类型的计算设备，诸如图6中的计算设备。在实施例中，服务器704和706可以也可以是任何类型的计算设备，诸如图6中所示的计算设备。网络708可以是能够促进客户端设备与一个或多个服务器704和706之间的通信的任何类型的网络。例如，表面图像数据和内部图像数据可以经由成像系统在本地获取，并将其传送到另一个(或多个)计算设备以供进一步处理，诸如图像获取工作站或基于云的服务。这种网络的示例包括但不限于LAN、WAN、蜂窝网络和/或互联网。

在实施例中，本文公开的各种系统和方法可以由一个或多个服务器设备执行。例如，在一个实施例中，可以采用单个服务器(诸如服务器704)来执行本文公开的系统和方法，诸如本文讨论的用于成像的方法。客户端设备702可以经由网络708与服务器704交互。在另外的实施例中，客户端设备702还可以执行本文公开的功能，诸如扫描和图像处理，然后可以将其提供给服务器704和/或706。

在替代实施例中，可以使用分布式计算网络或云网络来执行本文公开的方法和系统。在这种实施例中，本文公开的方法和系统可以由两个或更多个服务器(诸如服务器704和706)执行。虽然本文公开了特定的网络实施例，但是本领域技术人员将认识到的是，本文公开的系统和方法可以使用其它类型的网络和/或网络配置来执行。

本文描述的实施例可以使用软件、硬件或软件和硬件的组合来实现，以实现和执行本文公开的系统和方法。虽然贯穿本公开已经将具体设备阐述为执行具体功能，但是本领域技术人员将认识到的是，提供这些设备是出于说明性目的，并且可以采用其它设备来执行本文公开的功能而不脱离本公开的范围。

本公开参考附图描述了本技术的一些实施例，附图中仅示出了一些可能的实施例。但是，其它方面可以以许多不同的形式体现，并且不应当被解释为限于本文阐述的实施例。相反，提供这些实施例是为了使本公开彻底和完整，并且将可能的实施例的范围完全传达给本领域技术人员。

虽然本文描述了具体的实施例，但是本技术的范围不限于那些具体的实施例。本领域技术人员将认识到在本技术范围内的其它实施例或改进。因此，仅将具体结构、动作或介质公开为说明性实施例。除非本文另有说明，否则根据本技术的实施例还可以在组合中组合一般公开但未明确示例的那些元件或部件。本技术的范围由以下权利要求及其中的任何等同物限定。

Claims (20)

1.一种用于对患者的乳房成像的方法，该方法包括：

获取乳房的表面的摄影图像；

基于摄影图像，生成乳房的3D表面图；

显示乳房的视觉表示，其中视觉表示包括乳房的3D表面图或乳房的等高线图；

基于摄影图像或视觉表示中的至少一个识别乳房的表面上的感兴趣区域；

显示具有指示识别出的感兴趣区域的指示符的乳房的视觉表示；

用超声探头获取乳房的超声图像；以及

在获取超声图像期间：

至少部分地基于所获取的超声图像来更新视觉表示的显示；

在获取超声图像期间，当乳房被超声探头变形时，获取乳房的更新后的摄影图像；以及

显示乳房的更新后的视觉表示，其中更新后的视觉表示显示乳房的变形并且能够看到示出变形的更新。

2.如权利要求1所述的方法，其中更新视觉表示的显示包括在视觉表示中显示由超声探头扫描的乳房的部分。

3.如权利要求1或2所述的方法，还包括分析所获取的乳房的超声图像以识别乳房的附加感兴趣区域以供用超声探头扫描，并且其中更新视觉表示的显示包括在视觉表示中显示乳房的附加感兴趣区域的另一指示符。

4.如权利要求1或2所述的方法，还包括生成关于超声探头的角度、超声探头的朝向、超声探头的位置和超声探头的扫描速度中的至少一个的反馈。

5.如权利要求1或2所述的方法，其中摄影图像是乳房的立体结构化光图像。

6.如权利要求1或2所述的方法，还包括分析所获取的超声图像和摄影图像中的至少一个以确定异常乳房架构。

7.如权利要求6所述的方法，还包括基于超声图像生成三维模型，其中该三维模型包括指示异常乳房架构的位置的指示符。

8.如权利要求1或2所述的方法，还包括分析所获取的超声图像和摄影图像中的至少一个，以生成乳房的癌症风险得分。

9.如权利要求1或2所述的方法，其中识别感兴趣区域是基于同侧皮肤纹理、对侧皮肤纹理、皮肤颜色、组织凹陷、乳头变化、乳头内陷、肿块和对侧乳房体积差异中的至少一个。

10.如权利要求1-2中任一项所述的方法，其中视觉表示还包括摄影图像。

11.一种用于对患者乳房成像的系统，该系统包括：

相机；

超声探头；

显示器；

至少一个处理器；以及

存储器，可操作地耦合到所述至少一个处理器，存储器存储指令，指令在由所述至少一个处理器执行时执行操作集，包括：

基于由相机获取的摄影图像生成乳房的表面图；

基于乳房的视觉表示识别乳房的表面上的感兴趣区域；

在视觉表示上生成表面指示符，其中表面指示符指示识别出的感兴趣区域；

将带有表面指示符的视觉表示发送到显示器；

从超声探头接收乳房的超声图像；

在获取超声图像期间，基于所获取的超声图像生成对视觉表示的显示的更新；以及

将更新发送到显示器；

在获取超声图像期间，当乳房被超声探头变形时，获取乳房的更新后的摄影图像；以及

显示乳房的更新后的视觉表示，其中更新后的视觉表示显示乳房的变形，能够看到示出变形的更新，以及其中视觉表示包括乳房的3D表面图或乳房的等高线图。

12.如权利要求11所述的系统，还包括跟踪系统，该跟踪系统可操作地连接到超声探头并通信地连接到所述至少一个处理器。

13.如权利要求11-12中任一项所述的系统，其中更新包括视觉表示上的图形表示，该图形表示表示由超声探头扫描的乳房的一部分。

14.如权利要求11-12中任一项所述的系统，其中更新包括视觉表示上的图形表示，该图形表示表示要用超声探头扫描的乳房的另一个感兴趣区域。

15.如权利要求11-12中任一项所述的系统，其中相机是立体相机，并且摄影图像是乳房的立体结构化光图像。

16.如权利要求11-12中任一项所述的系统，其中操作集还包括分析所获取的超声图像和摄影图像中的至少一个以确定异常乳房架构。

17.如权利要求11-12中任一项所述的系统，其中识别感兴趣区域是基于同侧皮肤纹理、对侧皮肤纹理、皮肤颜色、组织凹陷、乳头变化、乳头内陷、肿块和对侧乳房体积差异中的至少一个。

18.如权利要求11-12中任一项所述的系统，其中操作集还包括，基于表面图和所获取的超声图像中的一个或多个，生成关于超声探头的角度、超声探头的朝向、超声探头的位置和超声探头的扫描速度中的至少一个的反馈。

19.如权利要求11-12中任一项所述的系统，还包括扬声器，并且其中操作集还包括：

分析所获取的超声图像；

基于对所获取的超声图像的分析，将音频信号发送到扬声器以提供听觉反馈。

20.一种用于对患者的乳房成像的方法，该方法包括：

使用相机获取乳房的摄影图像；

显示乳房的视觉表示，其中视觉表示至少基于摄影图像；

用超声探头扫描乳房；

在扫描的同时，跟踪超声探头的位置并基于超声探头的被跟踪位置更新所显示的视觉表示；

分析在扫描乳房期间获取的超声图像以识别附加的感兴趣的区域；以及

在超声图像的获取期间在视觉表示上显示用于附加感兴趣区域的指示符，

其中能够看到示出变形的更新，以及其中视觉表示包括乳房的3D表面图或乳房的等高线图。

Images