CN104271046A - 用于跟踪和引导传感器和仪器的方法和系统 - Google Patents

Abstract

公开了共享外壳超声变换器和机器视觉相机系统，用于记录变换器相对于诸如患者身体的对象在空间中的x、y、z位置以及俯仰、偏转和滚转。位置和方位与变换器扫描数据相关，并且将对象的相同区域的扫描进行比较，以减小超声赝象和斑点。该系统能够扩展到术中伽马探测器或者其他非接触式传感器探测器和医疗仪器。公开了计算机或者传感器探测器或者仪器的远程指导相对于保存的传感器探测器的位置和方位的方法。

Description

用于跟踪和引导传感器和仪器的方法和系统

相关专利申请的相互应用

本申请是2013年3月7日提交的第13/789,143号美国专利申请的继续并且要求其权益，该美国专利申请要求2012年9月11日提交的第61/699,750号美国临时专利申请和2012年3月7日提交的第61/607,676号美国临时专利申请的权益，在此，为了各种目的，通过引用合并这些美国专利申请。

关于在联邦政府资助的研究和开发中做出的发明的权利的声明

不适用

技术领域

本申请总的来说涉及用于外科手术和其他环境的位置和方位确定装置。具体地说，本申请涉及用于医疗仪器和传感器探测器的计算机视觉和测距跟踪系统。

背景技术

当前，手持传感器系统用于几种应用，范围从环境化学调查、生物和放射性环境到医学诊断调查、疾病特征和术中指导和成像。因为它们是手持的，所以能够利用操作员的手的几乎全部的出色的灵活性和适应性立即对它们进行定位和定向。

在某些情况下，用户可能希望准确地知道传感器系统如何指向和指向什么地方。然而，手持传感器的灵活性和适应性还使得它们难以跟踪。在空间上使传感器和仪器对准的现有技术的方法困难、繁琐、昂贵、也不切实际。在几个例子中，传感器系统装备有全球定位系统(GPS)天线、惯性导航单元(INU)、磁传感器或者光学标记。

不幸的是，GPS仅提供粗略的有限空间分辨率并且当卫星的GPS信号弱时，工作不可靠。INU系统随着时间偏移。磁传感器通常用于跟踪空间上体积小的、约0.1至1平方米(m³)的对象。在受控的实验室环境下，磁传感器能够提供在约0.2m³的体积内提供约1毫米(mm)的位置分辨率和在度范围内的定向精度。然而，当用于存在金属被测物的实际应用中，或者当相邻电子设备产生其他磁场时，0.2m³体积内的位置分辨率降低到几厘米。对于许多应用，包括采用多个电子仪器和金属物体的医学诊断和医疗干预，该位置分辨率都太粗了。附加到探测器上的光学标记要求对外部坐标测量机(CMM)相加系统具有直接和连续视线。通常，CMM相机系统笨重、昂贵并且对于采用手持系统或者希望采用手持系统的大多数应用不切实际。

第2009/0259123 A1号美国专利申请提出了一种CMM型系统，用于跟踪用于术中导航的乳腺癌前哨淋巴结活检的手持传感器和仪器。在此提出的系统利用外部红外线相机跟踪附加在手持探测器上或者手持仪器上的编码红外反射标记。该方法的一个缺点是需要在布置于手术台上方的外部相机与布置于探测器、仪器和样品上的所有标记之间存在连续视线。在手术过程中，外科医生的手、臂和头容易截断视线。

第2012/0253200 A1号美国专利申请利用以附加到现有成像探测器的托架结构的形式的放大装置以将结构光的图形投影到患者的皮肤或者器官上，以便于立体对象识别。

需要更好的廉价的并且更准确和精确地跟踪手持传感器和医疗仪器。

发明内容

公开了一种与机器视觉相机系统共享外壳的超声变换器。集成相机观看诸如患者身体的对象，并且确定超声变换器相对于对象的在空间中的x、y、z位置以及俯仰、偏转和滚转。将该时点的位置和方位与同一个时点的超声扫描一起保存在记录文件中作为“空间对准扫描”。将身体同一个区域的多个空间对准扫描进行比较，以减小超声赝象和斑点，并且能够改善组织类型和弹性特性。对用户示出组织的三维(3-D)模型。

对于具有许多曲面的对象，能够将基准标记固定到对象，或者作为分段柔性带重叠。该标记可以用采用二维编码，从而将它们互相识别开。

3-D模型能够用于远程医疗和立体定向。系统或者计算机的远程用户能够指导本地操作员或者机器人装置将医疗仪器移动到特定点上或者在患者身体内移动。诸如方向箭头或者虚拟空间渲染之类的图形指导元素能够用于指导本地操作员。

超声变换器之外的其他传感器探测器也可以用于空间对准扫描，诸如雷达、太赫兹辐射检测器、术中伽马射线探测器、辐射检测器、辐射剂量计和化学传感器。

本发明的某些实施例涉及一种空间对准设备，包括：刚性外壳组件；超声变换器，具有由外壳包裹的部分；相机，具有由外壳组件包裹的部分，并且与超声变换器刚性连接；以及至少一个处理器，与存储器和相机可操作地耦合，该存储器具有由至少一个处理器执行的指令，配置为利用由相机捕获的图像确定超声变换器相对于对象的空间位置和方位。

该存储器可以具有由至少一个处理器执行的指令，配置为使来自超声变换器的扫描数据与超声变换器的空间位置和方位相关联，从而产生并且保存空间对准扫描。该存储器可以具有由至少一个处理器执行的指令，配置为利用保存的空间对准扫描和另一个空间对准扫描，降低超声赝象或者斑点。该存储器可以具有由至少一个处理器执行的指令，配置为利用保存的空间对准扫描和另一个空间对准扫描，识别组织类型或者弹性。该存储器具有由至少一个处理器执行的指令，配置为利用保存的空间对准扫描和另一个空间对准扫描，构造组织相对于对象的三维(3-D)模型。该存储器具有由至少一个处理器执行的指令，配置为利用保存的第一扫描面的空间对准扫描和来自第二扫描面的第二空间对准扫描，呈现对象的三维(3-D)结构。从包括光学相机、红外相机、扫描激光相机、闪速激光相机、飞行时间相机和结构光相机的组中选择相机。

该设备还可以包括：第二相机，具有位于外壳内的部分，其中该存储器包括由至少一个处理器执行的指令，配置为利用相机捕获的图像，确定超声变换器相对于对象的空间位置和方位。一个相机可以是飞行时间相机，而另一相机是非飞行时间相机。惯性测量单元(IMU)由外壳支撑，其中该存储器包括由至少一个处理器执行的指令，配置为利用IMU的输出，确定超声变换器相对于对象的空间位置和方位。显示器与处理器可操作地相连，配置该显示器，以将由确定的空间位置和方位以及超声变换器的输出创建的或者细化的对象的三维(3-D)表示可视化。

外壳可以包括多个壳体。该存储器可以具有由至少一个处理器执行的指令，配置为解释交互元素的运动，从而执行处理。相机是具有显示器的头戴跟踪与可视化系统的一部分。

某些实施例涉及一种空间对准设备，包括：医疗仪器或者传感器探测器；相机，与医疗仪器或者传感器探测器或者与操作员身体的一部分刚性连接；至少一个处理器，与存储器和相机可操作地相联，该存储器具有由至少一个处理器执行的指令，配置为利用相机捕获的图像确定医疗仪器或者传感器探测器相对于对象的当前空间位置和方位；以及至少一个处理器，与存储器可操作地耦合，该存储器具有由至少一个处理器执行的指令，配置为从具有与医疗仪器或者传感器探测器的当前位置和方位对应的位置和方位的保存空间对准扫描，导出可视化数据，并且对用户显示该可视化数据。

用户可以远离医疗仪器或者传感器探测器，也可以在医疗仪器或者传感器探测器的本地。

某些实施例涉及一种空间对准设备，包括：医疗仪器或者非成像传感器探测器；相机，与医疗仪器或者非成像传感器探测器刚性连接或者与操作员身体的一部分连接；以及至少一个处理器，与存储器和相机可操作地耦合，该存储器具有由至少一个处理器执行的指令，配置为利用相机捕获的图像确定医疗仪器或者非成像传感器探测器相对于对象的当前空间位置和方位。

可以从包括雷达、太赫兹辐射检测器、术中伽马射线探测器、辐射检测器、辐射剂量计和化学传感器的组中选择传感器探测器。传感器探测器可以是术中伽马射线探测器，其中该存储器具有由至少一个处理器执行的指令，配置为存储来自伽马射线探测器的辐射计数数据，与伽马射线探测器的当前空间位置和方位。

该设备可以包括基准标记，配置该至少一个处理器，以利用对象上的基准标记的相机捕获的图像，确定医疗仪器或者传感器探测器相对于对象的空间位置和方位。基准标记可以包括二进制编码和/或者一个或者多个发光二极管(LED)。该设备可以包括：柔性带，具有至少一个基准标记，配置该至少一个处理器，以利用对象上的柔性带的至少一个基准标记的相机捕获的图像，确定医疗仪器或者传感器探测器相对于对象的空间位置和方位。在实施例中，该对象可以具有曲面，诸如人体的曲面，并且柔性带符合该曲面。至少一个基准标记中的每个都具有刚性衬底，该柔性带包括两个或者两个以上的互相可分段旋转的刚性衬底基准标记。至少一个基准标记可以包括多个基准标记，每个基准标记都具有互相不同的二进制编码。

某些实施例涉及一种用于指导医疗过程的方法。该方法包括：提供医疗仪器或者传感器探测器；提供相机，该相机刚性地附于医疗仪器或者传感器探测器，或者与用户身体的一部分连接；利用相机捕获的图像，计算医疗仪器或者传感器探测器相对于对象的当前位置和方位；以及利用计算出的当前位置和方位，对用户显示感兴趣项目的位置或者先前保存的传感器探测器相对于医疗仪器或者传感器探测器的位置和方位。

该显示可以包括图形指导元素，诸如方向箭头。该显示可以包括感兴趣项目或者先前保存的传感器探测器相对于对象的位置和方位的三维(3-D)呈现。该方法还可以包括：响应于显示，移动医疗仪器或者传感器探测器。对其显示感兴趣项目或者先前保存的位置和方位的用户可以远离对象或者在对象的本地。

某些实施例涉及一种空间对准设备，包括：非光学传感器探测器；以及夹子接头，该夹子接头适于将传感器探测器与便携式计算装置可拆卸地刚性配合，该便携式计算装置具有相机和存储器可操作地耦合的至少一个与处理器，该存储器具有由至少一个处理器执行的指令，配置为利用相机捕获的图像确定传感器探测器相对于对象的空间位置和方位。

该便携式计算装置可以包括智能电话。

某些实施例涉及一种用于传感器探测器的空间对准的方法。该方法包括：对感兴趣对象应用具有至少一个基准标记的柔性带；利用传感器探测器扫描对象；利用相机对柔性带的至少一个基准标记成像，以产生至少一个基准标记的一个或者多个图像，同时进行该扫描和成像：利用至少一个基准标记的一个或者多个图像，计算传感器探测器相对于对象的空间位置和方位；以及利用计算的空间位置和方位，将由传感器探测器检测到的对象特征相关。

该方法可以包括：使柔性带符合该曲面。该方法可以包括：解码基准标记的二进制编码，该相关使用该解码。该方法可以包括利用计算的空间位置和方位，呈现对象的三维(3-D)特征的图像。该方法可以包括：将智能电话可拆卸地配合到传感器探测器，该智能电话具有相机并且执行成像、计算和相关。

该方法可以包括使柔性带符合对象的曲面。该方法还可以包括将智能电话可拆卸地配合到传感器探测器，该智能电话具有相机并且执行成像、计算和相关。

某些实施例涉及一种空间对准设备，包括：仪器或者传感器探测器；基准元件，附于仪器或者传感器探测器；相机，机械地连接到用户身体的一部分，使该相机准直，以观看用户操纵仪器或者传感器探测器的区域；以及至少一个处理器，与存储器和相机可操作地耦合，该存储器具有由至少一个处理器执行的指令，配置为利用相机捕获的图像确定仪器或者超声变换器相对于对象的空间位置和方位。

参考说明书的其余部分，包括附图和权利要求书，所属技术领域内的技术人员将认识本发明的其他特征和优点。下面将参考附图详细描述本发明的其他特征和优点以及本发明的各种实施例的结构和操作。附图中，同样的参考编号表示相同或者功能相同的单元。

附图说明

图1示出根据实施例采用利用机械地与探测器对准的测距装置的医疗仪器或者传感器探测器的跟踪和空间对准。

图2是根据实施例采用利用机械地与探测器对准的通用跟踪与测距系统的数据处理步骤的流程图。

图3示出根据实施例对于采用各种光学方法的调查环境的探测器的跟踪和空间对准。

图4A示出根据实施例的典型基准对象。

图4B示出根据实施例的另一基准对象。

图5示出根据实施例的带状分段(piece-wise)刚性基准对象。

图6是根据实施例采用机械地与探测器对准的通用机械视觉系统的数据处理步骤的流程图。

图7示出根据实施例对于采用机械地与探测器对准的电磁测距系统的调查环境的探测器的跟踪和空间对准。

图8示出根据实施例对于采用机械地与探测器对准的超声测距系统的调查环境探测器的跟踪和空间对准。

图9示出根据实施例跟踪用于检测前哨淋巴结的已启动伽马射线探测器。

图10A示出根据实施例共享具有跟踪与空间对准相机和IMU的壳组件的超声探测器。

图10B示出根据实施例具有由机械地与探测器对准的机械视觉系统和IMU启动的跟踪和空间对准能力的的超声探测器刚性壳体组件。

图11A示出根据实施例具有由机械地与探测器对准的测距系统和IMU启动的跟踪和空间对准能力的超声探测器组件的侧视图。

图11B示出根据实施例具有由机械地与探测器对准的测距系统和IMU启动的跟踪和空间对准能力的超声探测器组件的后视图。

图11C示出根据实施例具有由机械地与探测器对准的测距系统和IMU启动的双相机跟踪和空间对准能力的超声探测器组件的后视图。

图12A示出根据实施例具有探测器跟踪能力的超声读出器。

图12A示出根据实施例具有探测器跟踪能力的另一超声读出器。

图13是根据实施例利用跟踪和空间对准能力的超声方法的示意图。

图14是根据实施例基于虚拟现实的远程医疗和指导系统的数据流的系统图。

图15示出根据实施例具有远程医疗、立体定位和专家系统指导能力的超声系统的图形用户界面(GUI)。

图16示出根据实施例的空间对准医疗调查，其中相机或者测距系统由操作员的手安装的跟踪与可视化(HMTV)系统支持。

图17A示出根据实施例附于智能电话的诸如剂量计、辐射探测器或者化学传感器的探测器的前视图。

图17B示出图17A所示探测器的后视图。

图17C示出图17A所示探测器的侧视图。

图18A示出根据实施例具有集成空间对准系统的手持探测器的前视图。

图18B示出图18A所示手持探测器的后视图。

图18C示出图18A所示手持探测器的侧视图。

图19示出根据实施例用于手持探测器空间对准与单束激光雷达(lidar)组合的计算机视觉相机的使用。

具体实施方式

在此描述意在使用对于调查对象和环境对象，对诸如手持探测器、传感器、扫描仪、成像器或者其他仪器的各种仪器提供定位和定向(或者空间对准)的这些方法的方法和系统。可以将仪器统称为“探测器”。

空间对准的目的可以是多方面的。一个好处是能够引入提供调查对象的三维(3D)模型的能力。这些3D模型可以包括诸如物理特性的多层信息以及探测器提供的其他特性。另一个好处是以与调查环境的关系确定探测器的位置和方位。通过这样做，能够确定探测器测量的量的三维分布。如果发现与给定应用更相关，则还能够确定一维(1D)或者二维(2D)分布。

在此描述的方法能够使非成像探测器或者具有有限维数的成像探测器提供调查对象的良好三维映射。从该方面受益的探测器的两个例子是：(1)用于医疗调查的超声扫描仪；和(2)用于放射性热点的定向搜索的伽马探测器。感测探测器的其他例子是诸如康普顿成像器或者基于准直仪的成像器的伽马射线成像相机、超声扫描仪或者成像器、热红外扫描仪或者成像器、光谱红外扫描仪或者成像器、探地雷达和化学传感器。

除了手术领域，本发明的方面能够产生影响的一个领域是环境调查。最常见的情况是，手持调查传感器的操作员应当规定以手动方式进行调查的位置。环境调查将从方便地以与调查对象或者相邻环境对象的关系提供系统的位置和方位并且保持调查位置的自动日志的方法受益。这种能力还考虑到调查特征的自动映射。从这种能力受益的应用的一个特定例子是测量结构内的放射性剂量或者辐射场。

本发明的方面能够产生影响的另一个领域是医疗调查和干预过程以及远程医疗。通常将“远程医疗”定义为利用远程通信和信息技术在远程提供临床保健。随着最近宽带通信和信息技术的进步，远程医疗领域日益受到关注，这是因为其能够降低保健成本，并且对偏远地区的公众或者运动能力降低的患者提供高质量的保健服务。

远程医疗的一个特殊成分是远程临床咨询和诊断。特别是，超声成像对于医疗点的临床评估是有吸引力的工具，因为可承受性、可用性和便利性。这些特征使得超声成像系统适合用于多个远程位置，而无需昂贵的基础设施支持。妨碍在医疗点良好使用和大规模采用超声成像的一个障碍是操作员的经验和训练不同。因为超声特别难以找到适当“窗口”来调查感兴趣的器官，并且因为有限的成像分辨率、存在赝象和斑点，所以超声探测器用户或者操作员应当经过非常专业的训练并且具有多方面的经验，从而正确定位探测器和解释图像，将良好解剖特征与赝象和斑点区分开。依赖于操作员的准确性是限制在资源有限的设置应用超声的一个因素。为了克服与位于医疗点的超声操作员的不同训练水平和不同经验水平相关的限制，现有的电话会议系统使远程专家通过对本地超声操作员提供口头指导支持调查过程。该过程可能繁琐，因为关于在6维空间(即，3个平移、3个旋转)内，以应当小于2-3毫米的平移分辨率和小于2度的旋转分辨率的精度，如何最佳定位超声探测器的口头通信指导有困难。有时为了捕获临床相关的图像面，需要该定位性能。程度不高地错失最相关图像面足以错失从诊断上说是重要的解剖特征。为了支持定位超声探测器的过程，先前的几种方法都包括在虚拟现实3-D模型中对本地操作员提供更多关于所调查区域的解剖的信息。该方法的目的是使本地操作员更多地根据情境意识到正调查的解剖结构。这些解决方案包括复杂的增强现实系统，并且它们仍没有提供使远程熟练用户对本地操作员有效指导最佳操作过程的方式。

在实施例中，公开了比现有技术更容易并且更廉价实现的不同方法和系统。此外，还提出了方法和系统，该方法和系统允许操作员从自动计算机指导系统、先前保存的协议、立体定位标记或者这些的组合接收指令、这样就不需要熟练操作员的帮助了。

在此讲述的“立体定位超声”与立体定位成像不同，特别是采用CT和MRI的立体定位成像用于指导活体解剖和其他手术过程。在其最宽泛的解释中，立体定位成像指成像系统以3-D方式识别、标识和记录感兴趣解剖特征的能力，使得跟踪医疗干预和调查能够使用这些3-D坐标精确指导医疗仪器或者用于预评估。根据实施例的立体定位超声仪器能够以3-D方式标识感兴趣特征，并且相对于解剖标志登记它们，使得跟踪调查能够容易地利用这些坐标重新评估各种医疗情况。

某些实施例的另一方面是利用位于另一个对象上的，或者头戴跟踪与可视化系统上的相机或者测距系统，对诸如外科医生或者内科医生的用户互相提供在视距内跟踪对象的能力。不需要使用单独的跟踪相机或者发光装置。

优点

在其他方面中，某些实施例采用测距系统的最新发展，诸如飞行时间相机、激光雷达系统、结构光系统、电磁发射机-接收机组件以及声纳系统，这对于环境的物理模型的构造并且考虑到对于所述物理模型的仪器和/或者传感器探测器的定位和跟踪是允许的。

在其他方面中，某些实施例采用计算机视觉算法的最新发展，结合位于仪器上、传感器探测器上、调查对象上或者该环境中的基准标记，利用简单并且廉价的视觉相机，该计算机视觉算法提供相对于调查对象或者环境仪器和/或者传感器的定位和跟踪，并且创建调查对象或者环境的物理模型。

因此，一个或者多个方面的几个优点是以方便和廉价的方式在该环境中对移动传感器和仪器提供定位和定向。一个或者多个方面的其他优点是提供传感器和仪器的空间跟踪和记录。一个或者多个方面的其他优点是提供以一维(1-D)、二维(2-D)或者三维(3-D)方式重构调查区所需的空间信息。一个或者多个方面的其他优点是提供对于远程用户将其关于相对于环境、调查对象或者其他仪器的仪器或者传感器的位置或者方位的选择传递到本地操作员、人或者机器人的形态。一个或者多个方面的其他优点是提供使用超声的立体定位调查的能力。

“立体定位超声”是标识由超声扫描仪识别的感兴趣特征，并且将它们对于解剖标志登记，使得跟踪调查能够利用它们的坐标重新估计或者处理各种医疗情况，或者本领域内以其它方式所知的情况的能力。一个或者多个方面的其他优点是对传感器和仪器的操作员提供指导。一个或者多个方面的其他优点是当操纵传感器和仪器时对本地和远程操作员提供直观可视化图形界面。

某些方面的另一优点是允许诸如内科医生或者外科医生的用户通过移动对象、他或者她的身体的一部分与计算机交互，而无需物理地接触人机界面，而且能够同时互相相对跟踪或者相对于用户跟踪仪器和传感器探测器的位置的方位，并且操纵医疗仪器或者传感器探测器。

通过研究随后的描述和附图，一个或者多个方面的这些以及其他优点显而易见。

附图及描述

图1示出能够可以向探测器提供的空间对准的第一形态。测距装置相机RS 102通过机械安装件103与探测器P 101机械地对准。可以将由与探测器101机械地对准的部件组成的整个组件称为“探测器组件”。

能够使用的测距装置相机的例子有：飞行时间相机、结构光相机或者激光雷达扫描仪。

计算单元104也与或者也可以不与探测器测距装置组件对准，计算单元104通过连接105从探测器接收数据或者电信号和将数据或者电信号发送到探测器，在需要这些数据或者信号的情况下，计算单元104通过连接106从测距相机102接收数据或者电信号和将数据或者电信号发送到测距相机102。连接105和106可以是无线的，也可以由物理线缆制成。计算机104接收处理来自探测器和测距相机的数据，并且使来自探测器和测距相机的数据同步，并执行另外的处理。

调查对象或者环境107和108位于图的左侧。测距相机102发出从对象漫反射的携带有关于到这些对象的距离的信息的信号。在该图中，信号发射机由109表示，点划线110表示发出的信号的例示，对象在信号接收机方向上的反射由线111表示，并且测距相机系统的信号接收传感器由112表示。

在“飞行时间(TOF)测距相机”中，发射信号是优选地由激光器或者发光二极管(LED)发出的、照射接收机112的部分或者整个视距的时间调制光或者脉冲光，并且信号接收机112是飞行时间相机。对于结构光测距相机的情况下，发出的光可以是红外光(IR)、可视或者紫外(UV)结构光或者调制光制式，并且信号接收机是IR、可视或者UV光相机。在这种情况下，能够优化源109与接收机112之间的空间距离(或者杠杆臂)，以对要求的距离范围提供最佳距离分辨率。利用立体算法能够实现对来自这些系统的数据进行处理以获得对象的3D模型。对于激光雷达扫描仪，发出的信号是脉冲激光光束，并且接收机是通过直接能量检测或者相敏测量能够测量飞行时间信息的光传感器。对于3D闪速激光雷达，发出的信号是照射整个视野(FOV)的脉冲激光光束，并且接收机是能够测量飞行时间信息的专用光感测阵列。计算单元104分析该范围数据，以确定与探测器101相关的坐标系113相对于与相邻环境或者调查对象相关的任意坐标系114的相对位移和旋转。

激光雷达测距相机或者其他飞行时间相机可以具有发射机和接收机的公共光学元件。

对于提高的测距性能，光源109可以由多个物理上分离的单元制成，并且信号接收机112可以由物理上分离的，但是在机械上互相对准的多个接收机制成。这种实现能够带来益处的例子就是采用结构光测距相机。将图案光的光源布置于两个或者两个以上的光相机之间保证该光源射出的图案将被至少一个相机看到。此外，利用多个这种相机的任意组合提供的立体信息，能够实现优越的测距精度。

对于提高的跟踪性能，基于测距相机的跟踪系统能够与诸如惯性测量单元(IMU)、计算机视觉系统或者超声或者电磁测距系统的其他跟踪系统组合。

合并各种测距系统和跟踪系统的另一个例子是当激光雷达系统与IMU系统联合用于空间对准时。操作员利用激光雷达扫描环境，并且IMU提供航位推算信息。合成这两个数据，能够获得对于相邻环境的探测器的空间对准。

图2示出如何利用测距数据提供探测器相对于调查对象和相邻环境的相对位置和方位，并且在探测器是传感器的情况下，如何利用其对探测器映射的特征建立更复杂的特征模型的示例。

将来自测距与跟踪相机102的数据(请参见图1)馈送到数据获取系统201。为了从测距数据获取跟踪信息，将先前存储的3D空间模型202用作基准。该模型表示对象在环境中的轮廓，并且在先前测量阶段，由计算机辅助设计(CAD)模型，或者在相同的调查环境下，由先前记录的范围扫描，创建该模型。如果不存在先前3D模型，可以认为处于空白状态。在每个时刻，利用使当前范围数据与预先存在的3D模型匹配的姿势估计模型203，将范围数据和跟踪数据与预先存在的3D空间模型202合并。因为当前范围数据仅与预先存在的3D模型部分地重叠，则应当重叠多大一部分扫描面的条件取决于应用。根据该原因，确定测距传感器相对于环境的3D模型的姿势。为了支持该过程，利用诸如IMU的其他跟踪传感器限制搜索最佳配合和最佳姿势。

该处理的结果是利用当前范围数据扩展预先存在的3-D模型。这是作为步骤204的一部分实现的。结果模型可以用作下一帧的预先存在的3-D模型202。与此同时，将来自传感器探测器101的数据(请参见图1)馈送到探测器数据获取与分析模块205中。在使探测器数据与跟踪(或者姿势估计)数据同步后，利用对象结构重构模块206建立探测器映射的特征的体积分布。

在步骤206，在每个时刻，探测器数据与机械视觉系统提供的探测器的空间位置和方位相关联，从而产生空间对准数据。这样使得该系统跟踪在空间上作为探测器的位置和方位的函数的探测器数据的振幅，允许调查区域甚或源项的空间分布的重构。

“源项”是探测器测量的幅值的源。例如，对于伽马射线探测器，源项是伽马射线源，最常见的伽马射线源是放射性跟踪器；对于超声变换器，源项是调查材料的声散射和反射特性。对于化学传感器，源项是感兴趣的化学元素或者分子的源。

如果采用辐射检测器或者辐射剂量计，上述“调查区域”可以是放射性剂量。如果采用化学传感器，则其是化学浓度，等等。

为了重构源项分布，可以采用解决不利问题的各种算法。这样，获得探测器映射的特征的较高维数的模型(2-D或者3-D)。还能够与3-D空间建模器204的输出、调查对象和/或者环境的3-D轮廓一起，利用关于探测器位置和方位的信息，以限制由探测器映射的区域的分布的解法，以用于对于该环境的调查区域的更好的可视化和空间对准。

可视化模块207可以用于将用户检验和分析的各种模块可视化。可视化模块还可以包括用户界面能力，该用户界面能力允许用户导航模型、改变可视化选项、改变系统设定以及获得关于场景的各种成分的附加信息。可视化模块的例子有：计算机屏幕、触摸屏、增强现实装置或者护目镜(goggles)、投影仪、头戴显示器。然后，能够保存整个或者部分后续模型和数据，以便在模块208中做检验或者做进一步处理。

图3示出提供探测器301相对于调查对象或者相邻环境的位置和方位的另一种方法。在这种情况下，主要利用无源光感测部件获得探测器跟踪信息和对象的3-D模型的轮廓。诸如高清晰度相机的光感测装置302通过机械连接303与探测器302机械地对准。将由与探测器301机械地对准的部件做出的整个组件称为“探测器组件”。

用于光采集的开口由304表示。与图1的实施例相同，计算单元305可以与也可以不与探测器测距相机组件机械地对准，计算单元305在该数据可用的情况下通过连接306接收来自探测器的数据和将数据发送到探测器，而通过连接307从光感测系统302接收数据和将数据发送到光感测系统302。连接306和307可以是无线的，也可以由物理线缆做出。

计算机305接收并且使来自探测器和测距相机的数据同步，并执行进一步处理。调查对象或者环境位于该图的左侧。具有界限明确的尺寸的基准对象310与调查对象机械地对准，从而提供与调查对象相关联的基准系统、提供与场景的比例、以及提供容易识别和跟踪的特征或者标记。

基准对象的各种例子示于图4和图5中。可以利用背景光照亮基准标记310，或者基准标记包括主动光源，诸如IR或者可见LED。连接到跟踪系统的光源可以用于照亮场景。

基准标记散射的或者发出的光由点划线箭头311表示(图3)。能够在计算机上利用透射n点算法处理光传感器302看到的基准的表观形状，以确定与探测器301相关联的坐标系312相对于与基准标记相关联的坐标系313的相对位移和旋转。由于基准标记与调查对象机械地对准，所以可以认为坐标系313附于调查对象。

此外，探测器组件可以包括光源314，从而更容易使基准对象310或者基准标记以及调查对象醒目。光输出开口315位于光源314上。所示的点划线箭头316所示的发光的例示落在对象309上，并且射向光传感器302的散射光子由点划线317表示。同样的射线落在系统视野内的所有对象上，包括落在整个或者部分基准对象310上。

当探测器系统在空间中移动时，在计算机305上能够实现由运动算法获得的结构，以构造调查对象或者相邻环境的轮廓的3-D模型。为了提高探测器跟踪性能，IMU 318可以与探测器组件机械地对准。

关于空间对准冗余度，基准对象310还可以包括其他空间对准要素，诸如图7中的709所示的电磁接收机，图8中的807所示的超声接收机。能够分别与图7所示的电磁发射机702和图8所示的超声发射机802一起使用这些接收机。

此外，光感测系统可以包括两个或者两个以上光感测装置的组件，诸如由具有重叠视野的至少两个相机制成的立体系统。采用光感测装置的组件的一个优点是增大视野。特别是，立体系统的另一个优点是，对于在计算机305上实现的下述3D建模器分析步骤(在图6的步骤604中)，从与能够以高精度得知其相对位置和方位的多个相机同时拍摄的帧匹配可以看出调查场景的比例。此外，在该布置中，构造调查对象的3D模型需要使系统不移动。

在该图中，仅示出两个光感测装置。第二光感测装置319以离开光感测装置302的精确相对位置和方位与探测器组件机械地对准。立体算法能够分析来自两个光感测装置的观测数据，以计算探测器相对于调查对象的位置和方位，并且提高确定调查对象和相邻环境的轮廓的3-D模型的精度。用于光采集的光感测装置319的开口由320表示。为了从同一个FOV获得更完整的信息或者增加整个仪器的FOV，能够采用两个以上的单元。

此外，能够将类似的计算机视觉相机系统安装在能够与探测器301同时使用的其他传感器和仪器上。能够合成来自所有这些单元的空间跟踪数据，以创建包括仪器和调查区域的通用空间模型。采用该设置的应用的例子是与其他外科仪器一起术中使用超声扫描仪。超声扫描仪和外科仪器能够分别与计算机视觉相机系统装配在一起，或者一些部件能够包括用作基准单元的单元。

光感测装置的例子有电荷耦合器件(CCD)或者互补金属氧化物半导体(CMOS)传感器。使用该方法的实施例可以包括对可见和/或者红外辐射敏感的相机。这样，光源可以发出可见光或者红外光。(各)相机还可以是光场相机，还称为全光相机、高光谱相机、或者压缩感测相机。

基准对象310的一个目的是帮助计算机视觉系统更好地确定整个场景的比例，以在场景中明确定位探测器，并且提供用于对象轮廓的3‐D建模的标记。能够将“基准对象”称为“参考对象”。作为基准对象的选择，可以将具有可清楚区别的特征的诸如标识之类的基准标记布置在环境中的各对象上。

分析来自光感测装置(或者相机)的数据流(或者视频流)，以识别视野中的基准对象。通过分析基准对象的外观，获得探测器相对于基准对象的位置和方位，并且由此获得探测器相对于调查对象的位置和方位。

图4A和4B示出根据实施例的基准对象。在图4A中，基准对象401是棒状平角弯，以衬比色图形喷涂该棒状平角弯。作为选择地，为了改善可视性，可以采用喷涂反射材料。在图4B中，基准对象包括框403，该框403支持4个球对象402。这些球对象可以是有源地发光的装置，诸如发光二极管(LED)，也可以是由有效漫反射IR或者视频辐射的材料制成的对象。

适合对大表面积提供基准标记的特定基准对象是分段刚性带。每个刚性件都具有与QR或者AR码类似的图形，但是为了姿势评估确定而优化每个刚性件。这种基准的例子示于图5中。在足够靠近要调查的区域的区域中，可以将基准对象的衬底带500置于调查对象(诸如医疗调查中的患者)上。该衬底可以由诸如橡胶的柔性材料，诸如硅树脂、聚氨酯和胶乳的弹性体，或者足以符合对象的外形的其他柔性材料制成。

朝向患者的背衬可以由粘性足以不使基准在患者的皮肤或者衣服上滑动的相同材料或者不同材料制成。该图示出字母I的形式的基准。其他布置也可以，诸如以L、T、V、U或者其他图形的形式，可以根据要调查的特定区域选择它们。

一个或者多个刚性件能够安装在该形式上。可以同时使用几个这种基准。该图中利用501、502、503和504表示这些刚性件。在这些件中的每个件上，图形能够示出区别特征，使得机械视觉系统获得环境的物理比例、获得姿势估计并且唯一地识别基准的类型以及整个基准中的件的位置。对于502件，示出这些特征中的一些特征。具有中心大方形的502的四个角中的黑方形构成的角505、506、507和508将对机械视觉分析提供最可靠的信息，以确定环境的比例和相机姿态。中部图形509包括唯一地识别角505、506、507和508以及基准类型、索引和整个基准中的图形的相对位置的不同二进制码。

图6示出当使用无源光感测装置时实现数据分析链的更详细例子。在实施例中，有两个主要数据流，当探测器可用时，一个来自探测器，另一个来自光感测装置(或者计算机视觉相机)。计算机视觉分析链对来自计算机视觉相机的数据进行分析。

在大多数实施中，必须调整图帧，以校正光学元件的失真，并且导致相机对空间中各位置的点产生响应。因此，可以利用图形调整601分析步骤利用预测量的校准矩阵来校正像素在帧中的位置。通过对位于视野中的不同角度和位置的公知3D对象或者2D平面拍摄各种图片，获得校准矩阵。在本技术领域内，校准和调整方法众所周知。

第二计算机视觉分析步骤602识别视野中的基准对象或者基准标记，并且在下面的姿势估计步骤603，利用其外观形状确定计算机视觉相机相对于基准对象的位置和方位。由于相机与探测器机械地对准，所以通过简单变换确定探测器的位置和方位。在不使用基准对象的情况下，调查对象或者环境中的各种特征能够用作参考点。

然而，当使用基准标记时，计算机视觉系统相对于调查对象的运动不是需要的，当未使用基准时，步骤603中的步骤可以要求计算机视觉相机或者各相机从各个角度观察调查对象。

3-D建模器(或者致密机械视觉)步骤604也可以用于确定对象参数，诸如正在调查的或者位于相邻环境中的对象的轮廓的3-D模型。利用致密机械视觉604算法可靠建立轮廓3-D模型还可以要求计算机视觉相机或者各相机从各个角度观察调查对象。随后，在相机运动时连续拍摄的帧的时间，跟踪视野中的各特征，并且如在步骤604，计算对象特征的整个三维位置。该处理采用计算机视觉算法，该计算机视觉算法由视频产生三维结构。

能够利用由运动算法获得的结构建立调查对象、环境或者患者的3-D轮廓。能够将该轮廓3-D模型集成到设置的公共虚拟3-D模型中。通过分析基准对象的外观形状，能够获得探测器在3-D模型中的对准，如从计算机装置上的计算机视觉相机看到的那样。

在计算机视觉技术领域内，将通过观察预定义的基准点估计相机姿态的问题称为透视n点问题(PnP)。

Ansar A,Daniilidis K,“Linear pose estimation from point or line”,PatternAnalysis and Machine Intelligence,IEEE Transactions on 2003:25:578-89公开了对于唯一解决方案要求四个点的线性解决方案，在此通过引用合并其。

最近，Lepetit V,Moreno-Noguer F,Fua P.“An Accurate O(n)Solution to thePnP Problem”,International Journal Computer Vision,2009；81:155-66说明了一种n>＝4的O(n)解决方案，在此通过引用合并其。

对于严格的三点解决方案，Xiao-Shan G,Xiao-Rong H,JianLiang T,Hang-Fei C.,“Complete solution classification for the perspective-three-pointproblem,”Pattern Analysis and Machine Intelligence,IEEE Transactions on.2003；25:930-43描述了另一种适合该应用的方法，在此通过引用合并其。

将计算机视觉系统和惯性测量单元用于探测器跟踪的本实施例消除了其他跟踪方法的缺点，诸如需要外部笨重的光跟踪器或者磁发射器，需要保持长视线，或者需要保持“清洁”磁环境。与由视频确定结构相关联的问题之一是确定对象的比例。为了解决该问题，能够利用公知形状和尺寸的基准对象或者标记确定正确比例，提供准确的对象尺寸。上面描述了并且在图4A-5中示出了基准对象的例子。还可以利用基准对象定义整个场景的参考系统。如果基准对象或者标记不可用，则利用立体计算机视觉系统、激光雷达系统、测距相机、惯性导航单元(INU)，或者这些的组合，能够确定正确比例，立体计算机视觉系统、激光雷达系统、测距相机、惯性导航单元(INU)，或者这些的组合中的每个都与探测器对准或者集成在探测器内。

当探测器可用时，读出并且调节来自探测器的数据(请参见步骤605)，以在3D对象结构重构分析步骤606中使用该数据。关于探测器位置的信息与来自探测器数据获取和分析步骤405的探测器数据相关联，从而产生空间对准数据。

能够利用该空间对准数据建立由探测器映射的特征的2-D或者3-D分布。这是在3D对象结构重构处理606中实现的。由此开始，步骤606、607和608分别与图2的步骤206、207和208的功能类似，并且在此对它们的描述也适用。

在另一工作模式下，不使用基准对象或者标记。在这种情况下，或者当基准对象或者标记未处于视野内时，能够跳过步骤602，并且来自步骤601的数据将直接到达步骤603。这种工作模式在使用基准对象或者标记不是始终可行的大面积监视和映射应用中更常用。在这种情况下，通过跟踪与后续图帧中的视野内的各种对象相关联的特征和显著部分，获得相机的3D位置和方位的估计。利用三角测量，能够计算到这些显著部分的距离，并且由此，确定传感器与这些显著部分的空间对准。与此同时，能够建立整个场景的3D模型。然而，如果在场景中没有指出场景的绝对比例的参考(或者基准)，确定的尺寸具有相对值。

在这种情况下，为获得绝对值的估计，能够将其他定位系统与诸如惯性测量单元(IMU)、基于激光的测距仪(LIDAR)或者这些的组合的计算机视觉系统组合。即使利用IMU航位推测的位置和方位的跟踪可能导致其使用过程中发生偏移，但是通过使来自航位推测的信息与基于计算机视觉的空间对准结合，能够改善定位。

在选择点的环境中，利用采用激光束(在此几束)的激光雷达系统能够获得到对象的绝对距离。通过识别相机帧中激光束击中对象的点，并且利用激光雷达系统提供的绝对距离值，能够推算场景的绝对比例。该图包括跟踪与空间对准系统使用诸如IMU、LIDAR或者其他系统的外部跟踪或者测距相机的实施。

如果同时使用诸如IMU或者测距相机的其他跟踪系统，在步骤609读出其相应数据流，并且将该数据流与步骤603的相机数据合并，以利用诸如Kalman滤波器的的多传感器滤波器，改善姿态估计性能。例如，在步骤609，能够将来自IMU的数据用于航位推测，或者来自LIDAR的范围数据用于激光测距。

在又一实施中，基准标记或者对象能够与探测器机械地对准，并且能够利用探测器外部的计算机视觉跟踪系统或者测距相机观察使用探测器的空间场。来自外部跟踪与测距相机的数据可以由计算机单元读出。为了提高性能，可以使用与探测器对准的诸如IMU的另一个跟踪系统。来自该跟踪系统的数据能够由对外部跟踪与测距相机进行读取的同一计算单元读出。

图7示出将电磁波用于测距的跟踪系统。电磁波的例子是电磁场。可以使用包括电磁场的电磁脉冲，在该电磁场中，有源电磁元件布置于结构内部，并且传感器探测器用作发出电磁场的有源元件。位于参考对象内的电磁传感器用作无源元件。这种工作模式的优点是能够非常靠近传感器布置由放大无源电磁传感器检测到的信号所需的放大电子元件，在传感器与放大器之间不需要长导线，降低了噪声拾取。

电磁传感器的例子有诸如线圈的磁传感器。由于磁传感器有方向性，所以如果互相正交的一组三个有源磁元件布置于探测器中并且发出磁脉冲，则互相正交的一组三个磁传感器足以提供3D的探测器相对于参考对象的位置和方位。

电磁发射机702通过机械安装件703与探测器701机械地对准。与图1和图3类似，计算单元704可以安装在也可以不安装在探测器测距装置组件上，在该数据可用的情况下，计算单元704可以通过连接705将数据发送到探测器和从探测器接收数据，并且通过连接706从电磁发射机702接收数据。连接705和706可以是无线的，也可以由物理线缆做出。

计算机704接收并且使发送到探测器701和电磁发射机702的信号和数据以及来自探测器701和电磁发射机702的信号和数据同步，并且执行进一步处理。调查对象或者环境由矩形框707和708抽象地表示。电磁接收机709设置于或者安装于需要进行探测器701的跟踪的调查对象或者仪器上。

通过分析发射机702发出的电磁信号的强度和/或相位，能够获得与发射机702相关联的坐标系710相对于与接收机709相关联的坐标系711的相对位置和方位，因此，获得探测器组件的相对位置。

将709收到的信号变换为通过线缆或者无线能够发送到诸如704的计算机的数据。能够用于该定位方法的“信号类型”是电磁信号。在本实施例中，发射机与探测器机械地对准。

作为选择地或者此外，单元709能够用作电磁发射器，并且单元702能够用作电磁发射机。在这种情况下，发射器709发出将由与探测器机械地对准的电磁传感器702检测的电磁场。

在另一实施中，为了更好地估计相对位置和方位，或者为了获得多个部件、对象或者传感器仪器的跟踪信息，可以采用多个信号接收元件。

图8示出采用超声发射机和接收机的组件的另一跟踪系统。该设置具有少量元件与图1、3或者7的实施例类似。在该实施例中，超声发射机802通过机械连接803与探测器801机械地对准。线804和805分别是从探测器801和发射机802到计算机806的数据连接。超声接收系统807是布置于对象808上互相机械地对准的多个单独接收机的组件。

在该图中，示出了3个这种接收机。环境808和809中的对象位于该图的左侧。与探测器相关联的坐标系是810，与接收机相关联的坐标系是811。发射机发出优选地高于人的听觉范围的频率的超声脉冲，但是足够低以保证通过空气传递。能够将收到信号转换为数据，并且通过无线或者利用线缆将该数据传送到计算机806。通过测量每个单独接收机的超声的飞行时间和强度，能够求得坐标系810相对于坐标系811的位置和方位。在计算机806上，或者在与接收系统807集成的处理器上能够执行该计算。

因此，所提出的使空间对准系统与各种传感器和仪器探测器合并的方法保证以在有效、廉价并且小型封装中高精度跟踪和记录所述探测器，几个优点中的另一个优点是提供在一维(1D)、二维(2D)或者三维(3D)中重构调查区域所需的空间信息。

本发明的某些方面能够显著影响的应用是利用伽马射线探测器检测哨位淋巴结。当前，在术中应用中，伽马射线探测器用于哨淋巴结活检。感兴趣的是，定位和摘除接收从恶性肿瘤的普通区域泄漏的淋巴的淋巴结(亦成为哨淋巴结)，因为这些是癌细胞能够传播的第一地点。

通常，在淋巴结检测应用中，将含有诸如Tc-99m的放射性示踪剂的溶液注入靠近肿瘤的组织内部，使得其流入哨淋巴结内。随后，通过在外科医生使伽马探测器围绕相关身体区域移动时，监视所述准直辐射检测器检测到的计数率，外科医生利用准直伽马射线检测器确定哨淋巴结的位置。当探测器围绕调查人体移动时，与伽马射线探测器空间对准的跟踪与空间对准系统能够对伽马射线探测器提供空间跟踪。这样使得外科医生获得注入的Tc-99m在患者体内的完全三维分布，并且使该分布空间对准患者的身体和/或者伽马探测器本身和/或者其他仪器。

图9示出精确并且可靠地确定淋巴结的位置的实施例的例子。由躯干形状900表示患者。伽马射线探测器由探测器头部901、把柄902和通过臂904连接到探测器把柄的跟踪系统903构成。伽马探测器组件能够由集成结构构成，或者利用诸如托架结构的安装机构905，能够将跟踪系统安装在伽马探测器把柄上。机械结构将保证伽马射线探测器头部901与跟踪系统903之间高度的机械对准。

伽马射线探测器头部901包括由准直仪包围的诸如半导体检测器或者闪烁体的伽马射线检测器，该准直仪使来自有限视野的伽马射线进入检测器。伽马射线检测器的视野由圆锥体906表示。诸如Tc-99m的伽马射线放射性示踪剂的分布由位于患者900的体内的斑块907表示。

来自伽马射线检测器的数字数据或者模拟信号流由读出与处理单元通过线缆908读出。该线缆可以含有也读出跟踪系统903的导线。作为选择，能够通过独立线缆909读出跟踪系统。在读出处理单元内，将使来自跟踪单元的与来自伽马射线检测器的数据同步。跟踪系统可以是上述跟踪形态中的任何一种。

在本实施例中，跟踪系统是包括3个主要元件的机械视觉系统：(1)光感测装置903，诸如摄像机，该光感测装置903以高机械对准精度装接到伽马探测器902的把柄；(2)有源或者无源基准对象或者各基准对象910、911、912、913，能够将基准对象安装或者置于患者900上，并且该基准对象含有相机903容易识别的有源或者无源特征(然而，有源特征可以是发光元件，无源特征可以是喷涂形式的)；以及(3)数据获取与处理模块，诸如计算机，该数据获取与处理模块读取视频流，并且将其与从伽马探测器获得的信息集成。

计算机视觉相机903的视野通常由开启角914表示。与903相同的空间对准系统能够与其他外科仪器机械地对准，以在空间中跟踪其相对于同一个基准对象910、911、912和913的位置。由读取数据并且对由903提供的跟踪信息进行分析的同一个计算机读取该空间对准系统。这样将在通用虚拟模型中实时定位感兴趣的元件，诸如所有相关仪器、伽马射线探测器、调查患者、指出哨淋巴结和潜在癌组织的放射性热点的图等。

作为选择，对于淋巴结检测应用，在图1、7和8中描述的测距系统能够与伽马射线探测器和其他仪器机械地对准，以提供淋巴结检测应用的伽马探测器跟踪。

本淋巴结检测方法关联几个好处：敏感性较好、定位较好、辐射剂量较低、处理较快以及手术过程较短。

本方法的另一重要应用是医学超声检查。在探测器头部在诸如人体的调查对象周围移动时，上述与超声扫描仪机械地对准的跟踪与空间对准系统能够提供超声探测器的空间跟踪。改善的超声调查尤其将从使用与置于调查体上或者安装于与其相邻的固定结构的基准对象一起使用的测距系统或者无源光感测系统受益。该空间跟踪将在计算机上运行算法，以使超声扫描仪产生的二维图像并入三维模型中。这样将廉价2D超声扫描仪有效转换为3D扫描仪。可以将该应用称为“徒手3D超声成像”。与本技术领域内公知的其他跟踪系统相比，采用与超声探测器机械地对准的跟踪系统的超声扫描仪的空间跟踪有多个其他优点。

·它采用廉价测距、IMU或者相机系统；它小型、容易运输，并且该组件的设置非常快。

·传输的定位和方位的精度不主要受到作为磁跟踪器的其他外部磁场的金属对象的存在的影响。

·为了性能最佳，需要保持从计算机视觉相机到基准对象的视线，或者从测距系统到调查对象和相邻对象的视线，但是与基于CMM的系统相比，该视线非常短，并且因此更容易保持。

·当到基准的视线或者到患者的视线被阻断时，通过观察其他相邻对象，利用姿态估计算法，仍能够确定位置和方位。此外，为了冗余，可以使用IMU、超声散斑去相关跟踪、超声测距系统和电磁测距系统。可以利用“合并”算法集成所有这些跟踪元件提供的信息。

这些和其他益处为与超声探测器机械地对准的空间对准系统提供徒手超声成像的明确优点。此外，通过使在各种角度和位置拍摄的多个3D扫描重叠，该实施还使具有3D转换器的超声扫描仪具有更大的有效视野。此外，通过使它们空间对准，还能够更好地使用2D图像。

该方法的另一个优点是，通过始终跟踪扫描的叠加并且从各种角度和各种位置观察同一个结构，能够识别并且校正超声特殊赝象，诸如混响、折射、重像、“彗星”等。

此外，该方法的另一个优点是，在术中使用超声导航医疗仪器时，用户或者手术医生将对超声模型更加自信，因为能够在空间上以非常小的赝象更好地界定器官和结构。外科医生能够在通用虚拟模型中实时跟随感兴趣的所有元件，诸如医疗仪器、超声扫描仪、调查体、器官的3D超声模型以及可能的其他术前模型。此外，在将2D超声图像并入3D超声模型中的过程中，能够采用图像分割算法，并且该图像分割算法能够对3D模型中的诸如器官、组织等的各种特征定界。还可以利用计算机专家系统识别与临床相关的异常现象和其他特定特征。

在其他方面中，本发明还描述了一种创建相邻环境的虚拟现实模型的廉价有效方式，该方式能够更好地用于在远程医疗应用期间的手术医生指导和反馈，和用于通过提供对临床过程期间使用的一个或者多个医疗仪器的公共参考空间的优越整体临床结果以及从一个或者多个传感器随时采集的数据。虚拟现实模型可以包括多个元件，其中包括：

·患者的轮廓3-D模型；

·患者的体内3-D模型，该体内3-D模型可以由器官3-D模型、先前获取的图像数据、当前感测数据组成；

·医疗仪器和传感器，它们在空间和时间上移动；

·来自传感器的数据；

·可以指导手术医生或者帮助手术医生执行优越、可靠的临床操作的其他要素，诸如虚拟探测器、呈现体积、指针、数值等；

·与前面的各方面相同，但是通过网络从远程用户或者计算机系统发送的要素。

该实施例的核心是使用附加到医疗仪器或者传感器中的任何一个上的测距相机和/或者无源相机，或者定位测距相机和/或者无源相机，以观察包括患者、医疗仪器和可能的本地临床医生的环境。利用超声成像应用举例说明该方法。

图10A-10B示出包括用于探测器跟踪而与探测器机械地对准的无源机械视觉相机和IMU的两个超声探测器外壳的例子。

图10A示出具有可拆卸相机壳体的超声探测器外壳组件。所示的超声成像探测器壳体1001通过包括超声变换器的超声探测器头部1003接触调查患者1002。超声变换器可以包括机械扫描传感器、传感器的相位阵或者它们的组合。与探测器机械地对准的是包括相机的相机壳体1004，该相机的透镜1005被定位在患者的大体方向上。在该实施例中，通过线缆1006实现与壳体1001内的超声探测器的通信，该线缆1006可以是通用串行总线(USB)线缆或者到达读出装置的其他类型的线缆。该读出装置可以是计算单元，诸如膝上型计算机、计算机、平板电脑或者智能电话，当探测器的壳体1001包括能够产生发送到传感器的束形成信号并且能够读出和调节从传感器收到的信号的电子元件时，该读出装置也可以是路由选择装置。另外，读出装置包括束形成和信号调节电子元件以及计算单元。

计算装置与相机之间的数据传输可以通过无线或者线缆1007实现，线缆1007可以是USB、或者最终将计算机视觉数据发送到也从超声探测器接收数据的计算单元的其他线缆。

可以将惯性测量单元(IMU)1008集成到探测器壳体1001中、集成到相机壳体1004中，也可以以任何其它方式与超声探测器机械地对准。在此，IMU示于超声探测器壳体的主体内。可以独立地、或者与相机结合、或者与超声散斑去相关分析结合使用IMU以在每个时刻确定超声探测器的位置和方位。例如，可以利用Kalman滤波器组合定位信息，以形成计算机视觉子系统和IMU。能够将基准元件置于患者身上或者置于与患者相邻的稳定体上，以给出虚拟现实模型的参考帧，并且当利用计算机视觉系统在3-D模型中使超声探测器对准时，对整个环境提供适当比例。基准元件可以由各种色彩或者阴影构成的图形层形成，能够包括反射体或者诸如发光二极管(LED)的有源发光元件。同样，基准元件可以是刚性的、柔性的或者分段刚性的。此外，可以将小型光投影仪、光源、LED或者激光集成到系统中，诸如集成到机械视觉相机子系统104的主体中，以使光投射到相机的视野上，从而更好地可视化。

在另一实施中，可以不使用基准对象，并且为了获得校准和比例信息，将相机视频流与IMU数据组合。原则上，通过分析视野内的固定视觉特征，能够确定探测器的位置，而无需使用基准对象。这种特征的例子是房屋边界和角落、家具和灯。计算机视觉算法能够分析这些突出区的明确位置，以确定相机的位置和方位，并且通过简单变换，确定探测器的位置和方位。

图10B示出具有集成到探测器外壳的主体内的机械视觉与跟踪子系统的超声变换器的实施例。超声成像探测器外壳1011通过超声探测器头部与调查患者1012接触。超声探测器内的超声变换器子系统的主体由虚线框1013图解示出。超声变换器子系统可以包括机械扫描传感器、传感器的相位阵或者这些的组合。

可以将用于信号发生、信号调节、数据处理和读出的电子元件布置于探测器外壳内。电路板1014容纳所有这些电子元件。该电路板可以连接到线缆1015，该线缆1015连接到计算单元或者可视化装置。作为选择，机载电子元件能够与其他计算单元或者可视化单元无线通信。将与机载电子元件1014相联的IMU抽象地示为虚线框1016。电路板1017容纳相机。该电路板能够与电路板1014电接触。相机的主体1018和透镜位于外壳1011内。位于超声探测器主体上的护目镜1019使光射入相机的透镜中。此外，用户能够利用探测器外壳上的按钮1020与系统的功能交互。例如，能够用于启动和停止系统、改变获取模式等。

在另一实施例中，测距系统能够用于确定患者的轮廓并且用于跟踪和使超声探测器在空间上相对于患者和其他仪器对准。

图11A-11C示出具有利用与超声探测器机械地对准的测距相机的跟踪能力的超声成像探测器的例子。在这些实施例中，使用如图1所示的测距相机。该图中的视图示出与调查患者1102接触的超声探测器壳体1101。

图11A示出探测器外壳的横向截面图。图11B示出具有一个测距相机的实施例的前视图。图11C示出具有两个相机的实施例的前视图。

除非另有说明，下面的描述适用于全部3个附图。超声变换器子系统1103位于探测器的主体内。超声变换器子系统1103连接到包括信号发生部件、信号调节部件、数据处理部件和读出部件的电子元件，并且该超声变换器子系统1103也布置于探测器壳体内。虚线框1104是该电子元件的抽象表示。1104和计算与可视化单元之间的数据传输能够无线地或者通过线缆1105实现。

将测距相机布置于相机壳体1106内，该相机壳体1106可以集成到超声探测器壳体1101内，也可以安装在其上。在这些实施例中，包括测距相机和跟踪元件的外壳滑入位于超声探测器壳体1101上的滑槽1107中，在该滑槽1107中，在高度机械对准的情况下，固定外壳。电路板1108容纳测距与跟踪部件。有几个部件安装在电路板1108上，包括：发出测距信号的模块1109、测距传感器1110和IMU 1111。探测器外壳上的护目镜1012允许测距信号(诸如IR光)进入测距相机1110的透镜。测距传感器的一般视野由角开度1113表示。

跟踪子系统电路板1108能够通过线缆1114或者无线地直接连接到读出电子元件或者计算单元。作为选择，电路板1108能够通过连接器组件连接到超声探测器壳体1101内的电子元件。线缆1116在跟踪子系统壳体内在电路板1108与连接器1115之间进行连接，而线缆1117在超声探测器壳体1101内在连接器1115与电路板1104之间或者在连接器1115与读出线缆1105之间直接进行连接。当跟踪子系统壳体1106滑入滑槽1107内时，能够在连接系统1115内进行电连接。此外，用户能够利用探测器壳体上的按钮1118与系统的功能交互。例如，能够用于开启和停止系统、改变获取模式等。

图11B示出显示单个测距传感器的整个组件的前视图。在飞行时间实施中，一个或者多个光源1109是飞行时间相机的一部分，而飞行时间相机的光感测部件位于窗口1112后。当采用结构光实施时，光源1109与光传感器之间的水平臂将增大，从而对于感兴趣的距离范围，获得适当的测距性能。

图11C示出显示位于窗口1112和1119后面的两个光传感器的整个组件的前视图。在飞行时间测距相机实施中，一个或者多个光源1109能够与位于窗口1112和1119后面的两个飞行时间光传感器组合。在结构光测距相机实施中，结构光源1109能够与位于结构光源任一侧上的窗口1112和1119后面的两个光传感器组合，以制造立体结构光相机。这种布置保证结构光源的视野与至少一个光传感器的视野重叠。

测距相机最优选地采用IR光，以使得光源1109就是IR光源，并且优化光传感器，以检测IR光。然而，可以采用光或者任何色彩。在组合了测距相机和非测距相机的混合实施中，测距组件能够由一个或者多个光源1109和位于窗口1112后面的测距传感器构成，并且窗口1119后面的传感器可以是非测距光传感器，诸如RGB(红绿蓝)或者黑白(B/W)CMOS或者CCD。在纯机械视觉相机实施中，在窗口1112和1119后面的传感器形成立体相机的情况下，能够将光源1109主要用于场景照明。在这种情况下，在计算单元上能够利用立体机械视觉算法分析来自两个传感器的数据，以产生对象轮廓的密度3-D模型，并且将超声探测器对于调查患者在空间上对准。

附图中举例示出的测距和探测器跟踪实施例能够结合诸如伽马探测器的其他探测器用于淋巴结检测，如上以及图9中所述。

图12示出上面举例说明的具有集成跟踪能力的超声探测器耦合到读出单元、数据处理和可视化单元的各种方式。

图12A示出将来自跟踪子系统和超声探测器的束更紧密集成的读出。超声探测器组件1201示有两个线缆，一个线缆1202主要用于超声控制和数据读出，而另一个线缆1203主要用于跟踪子系统控制和数据读出。该图中示出两个线缆，但是用单个线缆也能够承载全部信息。两个连接1202和1203连接到包括用于束形成、信号处理和数据采集的部件的电子模块1204。在模块1204内，能够使来自跟踪子系统和超声探测器的数据时间同步并且互相相关。数据连接1206主要在数据调节单元1204与计算单元1205之间传输跟踪子系统数据。同样，数据连接1207主要在数据调节单元1204与计算单元1205之间传输超声探测器扫描数据。数据连接1206和1207可以采用同一个线缆或者连接，也可以采用独立连接。单元1204和1205可以物理地分离，也可以集成到单个装置中。

在一些实施中，能够将全部或者部分电子元件1204集成到超声探测器外壳中。在这种情况下，连接1202和1203能够直接链接到计算单元1205。该计算单元的例子有：计算机、膝上型计算机、平板电脑、智能电话、或者其他客户处理单元。在一些实施中，计算单元本身能够集成到超声探测器组件1201的外壳中。

在计算单元1205内，利用算法和方法能够：准备用于可视化的超声数据；通过分析探测器跟踪信息来使超声探测器对于患者对准；建立患者的3-D模型；允许用户控制和操纵超声和跟踪数据；存储调查数据；检索先前存储的数据；提供与其他计算单元、互联网或者局域网、服务器等的连接。

图13和14示出在计算单元内能够实现的这种方法的例子。

诸如监视器、触摸屏、投影仪、头戴显示器、护目镜或者增强现实眼镜的可视化装置1206(请参见图12)能够用于使数据可视化和与数据交互。通过用于翻译操作员的手和手指运动的诸如结构光或者飞行时间测距系统的其他非接触装置的鼠标/键盘、触摸屏、操纵杆，探测器的操作员能够与系统交互。

图12B示出不使来自跟踪子系统和超声探测器的束紧密集成的读出。当对现有超声机实施探测器跟踪能力和相关方法时，该实施更适用。这种实施将允许现有超声系统装配具有跟踪能力的新超声探测器。

超声探测器组件1211示有两个线缆，一个线缆1212主要用于超声控制和数据读出，而另一个线缆1213主要用于跟踪子系统控制和数据读出。对于现有超声机，提供跟踪子系统的连接的能力通常有限。此外，最常见的情况是，将用于束形成、信号处理和数据采集的电子模块1214和用于进一步处理和可视化的计算单元1215集成到公共物理体中。

许多商用超声机提供超声扫描输出，诸如用于可视化和超声扫描的数据或者视频输出，并且在外部监视器上进行控制。该输出由通过连接1213也连接到跟踪子系统的第二计算单元1216读出。在单元1216的内部能够实施数据同步、数据处理、探测器对准、3-D模型信息、数据存储和检索、用户界面、与其他服务器或者计算机通信以及连接到网络的方法。最后，与1206相同，可视化装置1217能够用于可视化数据并且与数据交互。

利用本发明，我们引入了诸如远程指导超声调查、计算机指导超声调查、超声立体定向、徒手空间重合、组织特征化、组织弹性特征化以及增强徒手3-D超声的超声调查的新方法。在此引入的探测器跟踪技术和其他跟踪技术可以采用这些方法中的许多方法。

图13示出在计算装置中如何实施该方法的例子。支持所引入的方法的处理能够分布于三个主要模块中：跟踪与体积建模、超声处理、以及可视化和交互。如图举例示出，模块1301至1309是跟踪和体积建模块的一部分，模块1312至1317是超声处理块的一部分，以及1310、1311、1318、1319、1320是可视化和交互块的一部分。

能够使来自测距系统和/或者机械视觉系统1301的数据与来自诸如计算单元内的处理模块1303内的IMU的跟踪器1302的数据组合，以产生超声探测器跟踪信息。该组合的数据还可以用于在模块1304内建立患者的3-D轮廓。可以装载存储于本地存储装置上的或者来自网络1305的其他数据，以支持诸如专家指导、远程指导和超声立体定向的功能性。将该数据装载到网关模块1306中。

在模块1307中，可以将来自1303的探测器跟踪信息、来自1304的患者轮廓信息以及来自1306的其他存储信息合并，以建立虚拟现实(VR)模型。该模型可以包括：患者的轮廓、超声探测器对于该患者的模型、3-D或者截面器官模型、当前和先前存储超声和其他成像模型、其他医疗仪器、图形用户界面部件、到其他数据的链路以及其他线性分量、平面分量和体积分量和测量。通过网络能够发送VR模型，也可以在1308模型内在本地存储整个或者部分VR模型。能够将送到模块1308的数据与诸如1314的超声数据的其他数据相关联。在调查期间，通过对超声系统扫描的体积要素保持跟踪，能够建立表示已经调查的患者体内的体积和要求更多调查的患者体内的体积的3-D模型。该处理在模块1309内完成。然后，可以将VR模型或者其部分发送到呈现与可视化模块1310。同样，将表示调查的体积或者要求更多调查的体积的3-D模型发送到呈现与可视化模块1311。在单一模型中可以将这两个模型互相对准和重叠。

该图中的另一个分析块包括超声分析处理。来自超声探测器读出1312的超声数据流与探测器跟踪数据流同步并且相关联，以使得在模块1313内，将探测器跟踪信息附加到超声数据串。将获得的时间对准和位置对准的超声束称为“空间对准扫描”，可以将该超声束经网络发送，也可以在本地将其存储在存储装置1314上。将整个或者部分VR模型附加到保存在本地存储装置上的或者通过网络发送到另一个位置的超声数据。在模块1316内，分析超声数据，以产生诸如B扫描、弹性成像图、多普勒流或者其他组织特征化图的2-D扫描。在模块1317内，利用空间重合方法，能够分析空间对准超声扫描，从而不仅滤除超声斑点和赝象，而且提取关于组织的类型的更精确信息。这能够通过从不同超声变换器位置和角度分析覆盖该区域的多个空间对准扫描实现。在本说明书中，可以将该空间重合分析称为有限范围3-D徒手超声。

然后，在可视化和接口模块1318中，使1316发送的2-D扫描可视化。同样，模块1319能够使1317发送的空间重合模型或者组织类型模型可视化。在每个时刻，重复更新要可视化的空间重合模型，以包括来自最后空间对准扫描的数据。例如，在一个实施中，用户能够在可视化装置上观看对应于此时利用超声探测器扫描的截面的重合模型或者组织类型模型的截面。这样，通过在患者身上移动超声探测器，用户能够容易地导航空间重合模型或者组织类型模型。对用户提供控制，以对组织特征化图的可视化和处理设置进行调节。还能够将模块1318和1319可视化的图合成为公共可视化模块。

利用调查时采集的大多数空间对准超声扫描，能够产生完整3-D模型。可以将该3-D模型称为“徒手3-D超声成像”。该处理示于模块1315中。该数据可以来自本地存储装置、来自网络或者直接来自存储器。该处理可以脱机进行，但是如果计算资源可用，则也可实时进行。可以将输出模型保存在本地存储装置上，通过网络发送，或者发送到可视化模块1320或者更通用的VR可视化模块1310，优化该可视化模块1320，以可视化3-D模型，该3-D模型包括组织类型、弹性、流。

图14给出如何将上述方法中的一些方法集成到远程医疗和操作员指导系统中的实例。本地系统1401是在“本地”临床医生对患者进行治疗和评估的地方建立的系统。远程系统是在“专家”远程临床医生所在地建立的系统。通过通信网1403进行数据交换。例如，这可以是因特网网络、局域计算机网络或者无线网。计算机视觉系统1404可以提供诸如患者3-D轮廓的3-D模型以及探测器跟踪信息。

如果可用，则来自1404的跟踪信息与由惯性测量单元系统1405传送的跟踪信息组合。3-D虚拟建模器系统1406将来自1404和1405的信息合并到组合的3-D模型中。通过通信网1403将该模型发送到远程系统1402，在远程系统1402，该模型与由远程跟踪系统1407提供的跟踪信息组合。远程跟踪系统1407的核心目的是允许远程临床医生将他或她关于诸如超声成像探测器的医疗装置的操作的选择传递给本地临床医生。从1407流出的数据包括远程临床医生选择的探测器的位置和方位。

为了产生该数据流，远程用户应当以直观方式执行。与在“本地”位置建立相同，与IMU跟踪系统组合的机器视觉系统最有可能为最直观的方式。利用该实施，“远程”用户仅必须以与本地临床医生相同的方式在远程位置移动模拟医疗仪器。对于对远程用户的直接反馈，组合的3-D虚拟现实建模器和移动指导系统1408将包括远程用户提出的医疗仪器到通用3-D模型中的位置。通过网络，将1407传送的由远程用户提出的医疗仪器的位置经网络发送到要在组合的3-D虚拟现实建模器与移动指导系统1409中与3-D虚拟模型组合的本地系统，合成3-D虚拟现实建模器与移动指导系统1409基本上是远程系统1408的镜像。

然而，1408的目的是将什么关于她/他提出的医疗仪器相对于3-D模型的位置反馈到远程用户，1409的目的是产生本地操作员的信息，他或者她能够利用该本地操作员的信息指导如何操纵医疗仪器。本地操作员将利用可视化系统1411在本地使来自医疗仪器1410的数据流可视化。优选地，在同一个装置1411上使来自1409的组合的3-D模型可视化。远程用户将监视可视化系统1412，以检验医疗仪器1410获取的数据，并且对她或者他操纵作为远程跟踪系统1407的一部分的探测器模型提供反馈。可视化系统1411和1412可以是屏幕，也可以是操作员或者用户佩戴的增强现实系统。

远程跟踪系统能够采用与本地跟踪系统类似的跟踪系统，也可以以几种其他方式实施远程跟踪系统。例子有：操纵杆、计算机鼠标、键盘、测距装置或者其他人机界面。

对于医疗仪器是超声扫描仪的情况，可视化与图形用户界面屏幕的例子示于图15。可视化区域1501可以包括一个或者多个窗口和面板。在更通用的实施中，可视化区域将包括面板1502，该面板1502含有用于设定和控制超声系统、计算机视觉系统、IMU、可视化、数据处理模块等的按钮和链接。超声图像1503可以表示标准B超，也可以是更高级成像输出，诸如组织类型加权图像、流体流、组织运动、组织类型、组织弹性特性或者任何这些的组合。窗口1504示出该设置的3-D虚拟模型的3-D表示。其他窗口在窗口1505中示出计算机视觉或者测距相机的长度，窗口1506示出其他数据，诸如来自远程位置的视频图像，或者处理的超声数据，诸如：

·患者模型的3-D或者2-D截面，该患者模型能够包括由其他成像方式输入的模型，诸如计算机断层扫描(CT)、磁共振成像(MRI)、正电子发射断层成像(PET)或者单光子发射计算机断层扫描(SPECT)；

·2-D组织加权图像的3-D(组织特征和流体流)；

·3-D器官分段表示；

·异常检测结果；

·已经扫描的体积的体积呈现；

·要求再次扫描的体积的体积呈现；

·它们的组合的这些模型中的任何一个的任意截面。

包括患者的3-D模型的窗口1504还可以包括对窗口1506描述的任何一个要素以及2-D超声扫描。该窗口的目的是在探测器处于患者1507的最佳位置和方位上指导本地临床医生。计算机系统指出的本地分析结果提出该最佳位置和方位，或者如由远程用户推荐的。

在窗口1504中，示出相对于跟踪系统获得的患者1507的3-D模型定位的3-D模型超声探测器1508。图像指导单元1509表示探测器的推荐位置。该推荐可以由自动计算机系统或者由远程用户给出，如图3所示。为了指导本地操作员必须如何移动探测器1508，示出其他可视和数字单元，诸如弯曲箭头1510和方向箭头1511表示为了重叠虚拟探测器1509的位置，探测器必须进行的旋转和平移。关于探测器在与虚拟探测器重叠之前必须移动多少，这些单元的几何外观，诸如箭头1510和1511的长度和宽度，能够对本地操作员提供快速反馈。此外或者作为选择，能够使诸如全部三个方向中的每个方向上的角度的俯角(度)和距离测量值(毫米)的数值重叠，从而关于探测器在与虚拟探测器1509重叠之前必须移动，提供关于探测器的移动的本地操作员信息。无论示为数字还是几何形状，诸如箭头1510和1511，都可以利用色代码表示位移的三个空间方向中的每个空间方向和三个转角中的每个转角。

代替使用监视器进行可视化，能够采用增强现实系统，使得通过直接观看临床设置，本地操作员能够观察相关单元的叠层。能够重叠的单元的例子有：医疗仪器的模型，诸如虚拟探测器1509；数字和图形指示符，诸如方向箭头1510和1511；3-D解剖模型；超声图像和模型；等等。

远程指导功能的一个缺点是，仍需要有训练有素的专家进行调查。作为其替换就是使用对大量临床调查具有预载过程的本地计算机指导系统。能够使测距或者光感测系统测量的患者轮廓与一般人模型的轮廓匹配。这样使得计算机指导系统给出关于超声探测器相对于真实患者模型的位置和移动的精确指导。能够将实时观看的超声解剖标志以3-D与3-D模型中的标志匹配，从而更加精确对准，这样校正因为体态和位置的变化导致的器官运动和位移。本地用户，专家系统，或者之后由放射科医生给出超声图像解释。

在此描述的“立体定位超声”仪器能够允许用户以3-D标记感兴趣的特征，并且使它们相对于患者模型对准，使得跟踪调查能够容易地利用这些坐标重新估计医疗条件。可以对用户提供软件工具以在2-D超声扫描中标记特征。由于超声探测器位置将在空间上对准患者轮廓的3-D模型，所以在3-D患者模型中对准标记结构。此外，能够保持超声探测器相对于人体的位置，使得操作员在后面的移动中能够再现该位置。与上面解释的计算机指导超声功能类似，实时观看的超声解剖标志能够以3-D与以前在先前检验期间存储的超声标志或者其他3-D模型匹配，从而更精确对准，这样校正器官的移动和位移。利用用于体积分段和测量的工具量化地估计各种条件并且随时跟踪变化。

举例说明的超声系统的优点是，能够非常有效地用作“徒手”3-D超声系统。当操作员在患者的身体上移动探测器时，“徒手超声”采用标准2-D超声探测器。组合连续2-D超声图像，形成整个调查体积的3-D模型。由于保持全部2-D扫描的跟踪，产生整个3-D模型，所以最终调查结果实际上不取决于操作员获取相关超声截面和注意相关特征的技能。

上述跟踪系统能够以廉价有效可操作方式实现徒手3-D成像功能。利用该系统的徒手超声能力，能够获得各种3-D超声模型，诸如组织类型加权图像、流体流、组织移动、组织弹性特性。此外，通过提供关于患者位置和皮肤布局的变化的信息，患者布局的实时3-D建模有助于徒手超声成像处理。例如，因为诸如超声探测器对患者皮肤施加的力、无意识改变患者位置的随意性以及因为患者呼吸，可能发生这些变化。该能力有助于预测器官运动、改善3-D超声建模的质量。

提出了跟踪方法和系统，该跟踪方法和系统至少利用相机或者测距装置跟踪仪器、传感器探测器、用户的对象或者部位相对于彼此的运动，或者相对于至少一个相机或者测距装置的相对运动。以观看仪器、传感器探测器或者感兴趣对象所在的或者用户操作的一般区域的方式，定位至少一个相机或者测距装置。这样，能够将至少一个相机或者测距装置定位在安装件上或者与一般工作区相邻的物体上，也可以由人或者机器人用户拿着。至少一个相机或者测距装置的例子有：视频彩色相机、视频B/W相机、IR相机、全光相机、飞行时间相机、立体相机、结构光相机、立体结构光相机、超声跟踪器或者诸如磁跟踪器或者射频跟踪器之类的电磁跟踪器。

计算单元能够可操作地与存储器和至少一个相机或者测距装置耦合，存储器具有至少一个处理器执行的指令，配置为确定仪器、传感器探测器、用户的对象或者部位相对于彼此或者相对于相机的空间位置和方位。为了具有更好的跟踪能力，能够将基准标记或者基准对象安装在仪器、传感器探测器或者感兴趣对象上，以更好地确定其位置和方位。基准标记的例子有；反射对象、不同形状的对象、二进制黑和白或者具有不同编码的彩色编码标记。为了增大感兴趣对象、仪器或者传感器探测器的有效视野，能够将一个以上的基准元件安装或者附加在这些中的每个上。例如，立方体型单元可以在其每个面上包括标记，使得至少一个相机或者测距装置能够从任何角度看到至少一个标记。

在至少一个相机或者测距装置是超声跟踪器的情况下，采用与对象、仪器或者传感器探测器机械地对准的超声检测器。在至少一个相机或者测距装置是电磁跟踪器的情况下，采用与对象、仪器或者传感器探测器机械地对准的电磁传感器。

利用本发明在前面描述的方法，跟踪仪器、传感器探测器和调查对象相对于至少一个相机或者测距系统的位置和方位。然而，相关的主要是仪器、传感器探测器和调查对象之间的相关位置和方位。这是通过考虑每个元件相对于至少一个相机或者测距系统的位置和方位的变换实现的。

计算单元与存储器和至少一个相机或者测距装置操作地耦合，该存储器具有至少一个处理器执行的指令，配置为产生包括感兴趣对象、仪器或者传感器探测器的轮廓的设置的3-D模型。

至少一个处理器与存储器和至少一个相机或者测距装置操作地耦合，该存储器具有至少一个处理器执行的指令，配置为观看并且分析诸如用户身体部位或者其他对象的交互元素的运动，解释这些运动，以启动至少一个处理器内的处理。交互元素的例子可以是：手指、手臂、仪器、笔、操纵杆、指示笔。为了使得用户通过移动交互元素与计算机适当地交互，操作地耦合到至少一个处理器的显示器示出这些交互元素相对于与交互元素虚拟地位于同一个一般空间内的图形用户界面元素的位置。对用户提供标准计算机交互工具，诸如：点击、滚动、导航文件、模型或者图像、放大、缩小、类型等。显示器可以是计算机监视器、增强现实系统和头戴显示器。

在一个实施中，至少一个相机或者测距系统能够是头戴跟踪与可视化(HMTV)系统的一部分。该HMTV系统不仅可以包括跟踪与测距部件，而且可以包括允许用户看到感兴趣图像、VR模型、图形界面、增强现实模型、或者其他感兴趣的元素的显示器。在一个实施中，用户可以利用对象、或者他或者她的身体部位通过在至少一个相机或者测距系统的视野内移动它们与计算机交互。为了具有更好的跟踪能力，并且有可能与计算机更好地交互，HMTV还可以包括IMU。例如，借助于IMU、或者至少一个头戴相机或者测距装置或者这些的组合，用户可以利用头部姿势执行关于至少一个处理器的处理。

图16示出至少一个相机或者测距装置安装在HMTV系统上的实施的例子。为了清楚起见，该图中仅示出一个传感器探测器。诸如内科医生的用户1600利用诸如超声探测器的传感器探测器1602调查诸如患者的感兴趣对象1601。用户佩戴头戴跟踪与可视化系统(HMTV)1603，该头戴跟踪与可视化系统(HMTV)1603包括由两个光感测装置1604和1605以及发光器1606构成的相机系统，该相机系统可以是结构光相机、飞行时间相机、LIDAR感测相机或者闪速LIDAR相机的一部分。可以采用更多的相机。该相机系统可以包括飞行时间相机和非飞行时间相机、立体结构光系统、单相机结果光系统和视频相机或者任何其他组合。在该特定实施中，显示器1607是HMTV系统的一部分。作为选择，或者此外，能够使用外部显示器。显示器1607可以是半透明显示器、不透明显示器，也可以设计为仅覆盖用户视觉视野的一部分。显示器1607可以显示的图像的表示示于矩形1608内。

传感器探测器1602在表面上携带立方体形状的与其机械地对准的基准对象1609，示出该表面的不同的二进制基准标记。在该图中，只有两个标记1610和1611可见。该基准对象可以是与传感器探测器相同的壳体的一部分、可以是以与相机壳体1004或者1106相同的方式安装在传感器探测器壳体上的壳体的一部分、也可以利用传感器探测器壳体上的托架安装该基准对象。在另一实施中，基准对象和相机均机械地对准传感器探测器或者仪器。在另一实施中，诸如1004或者1106的相机壳体能够与基准对象1609互换。能够将具有不同二进制编码的分段刚性基准形式的另一基准对象1612布置于调查对象1601下面或者固定到该调查对象1601。用户1600能够将他或者她的手指1613用作交互元素，以与计算机(未示出)交互。在一种实施中，计算机能够由用户携带。在另一实施中，计算机能够部分地容纳于HMTV外壳中。在又一实施中，计算机能够布置于传感器探测器外壳1602中。

显示器示出的按钮B1、B2、B3、B4、B5表示通用图形用户界面，用户能够利用交互元素1613虚拟地接触该通用图形用户界面，以在计算机上执行处理。为了清楚起见，仅利用参考编号1614标示按钮B4。显示器1607还示出3-D虚拟模型1615或者设置的立体视图，该立体视图可以由HMTV 1603上的相机系统单独地产生，也可以与机械地对准仪器或者传感器探测器的其他相机或者测距系统组合产生，也可以安装在其他外部物体上产生。该窗口的目的也可以用于计算机和远程指导，如上所述。窗口1616示出成像传感器探测器传送的扫描，在这种情况下，该扫描为超声扫描。

此外，诸如IMU的另一跟踪系统能够机械地对准HMTV或者仪器和传感器探测器，以改善跟踪性能，并且用于补充用户与计算机的交互。

当传感器探测器是超声变换器时，上面解释的许多先前调查方式能够用于该实施中。因此，该实施能够用于远程和计算机指导、超声立体定向、徒手空间重合、徒手组织弹性、徒手3-D成像、组织特征以及其他应用，诸如利用超声、超声支持手术等的针指导。

当传感器是伽马射线探测器时，该实施将使得外科医生在显示器上直接可视化放射性示踪剂相对于身体轮廓的3-D分布。

当仪器或者传感器探测器是如下中的任何一个时：手持成像装置、外科仪器、腹腔镜仪器等时，立体定向、计算机和远程指导也有用。

可以发现本方法和实施有许多术中用途。这些例子是非限制性的，并且说明了实际上如何实施本发明公开的方法。

变型实施方式

本发明的方面具有显著优点的另一个领域是环境调查。可以利用附加到调查传感器的空间对准系统自动执行环境调查。空间对准系统便于提供与调查对象或者相邻环境对象相关的系统的位置和方位，始终自动记录调查地址。该能力还允许调查特征的自动映射。

从这种能力受益的一种应用的一个特定例子是测量结构中的放射性剂量或者辐射场。在该应用中，在传感器中，可以使用如下任何传感器：辐射剂量计、光谱检测器、辐射成像系统、光谱成像系统。同样，采用化学或者生物传感器，能够利用该能力映射化学场(chemical field)。

图17A-17C示出根据实施例附加到智能电话的比如剂量计、辐射检测器或者化学传感器的探测器。在此，便携式计算机或者智能电话1701能够用于计算机视觉处理、利用内置屏幕1702的数据可视化以及利用内置相机1706的视频图像捕获。如果可用，则可以将额外内置摄像机1707用于立体实施。通过臂1705和连接器主体1704，以良好机械对准性，将传感器探测器703夹在智能电话装置1701上。

探测器传感器1703的例子可以是辐射检测装置、辐射剂量计、辐射成像器、立体辐射成像器、化学传感器、生物化学传感器、红外传感器等。

能够利用智能电话或者等效的便携式计算机上的软件程序获取来自内置摄像机和传感器探测器的数据。此外，该程序含有所需计算机视觉算法，以提供传感器相对于调查环境或者定向的空间对准和跟踪。由此，能够获得调查环境的场图(field map)。例如，如果辐射剂量计用作传感器探测器，则获得辐射剂量场的图。根据应用的需要，该图可以是1D、2D甚或3D的。如果本地处理能力允许，该处理完全可以在本机上完成。如果本地处理能力不足以满足所有软件要求，则将原始数据或者部分分析的数据无线地或者通过导线发送到另一外部处理单元。

图18A-18C示出根据实施例具有集成空间对准系统的手持探测器。在此，专用手持装置含有：空间自对准系统主体1801；主体1802，包括传感器探测器和数据获取与处理单元(计算机)；以及手柄1804，可以包括电池、电压源或者其他传感器。可以集成屏幕1803，用于可视化和用户界面。空间自对准系统可以包括：一个或者多个相机1805和1806；激光束源1807；传感器1808，用于检测反射激光束。由1807和1808构成的激光束组件能够用于激光测距(激光雷达)，用于飞行时间测距，或者用于结构光测距，以获得关于场景的补充范围信息。

能够在处理单元上的手持装置的本机上实现数据获取和分析软件。同样，能够在本机上实现空间自对准算法。作为选择，能够无线地或者通过导线将数据发送到其他外部处理单元。如上所述，该系统还可以包括INU和GPS传感器。

图19示出实际上使用图7所示装置的方式的图解说明。在调查情况下，用户1901持有调查系统1902，诸如化学传感器或者辐射剂量计，该调查系统1902具有自对准能力(与图18所示的装置类似)，以扫描该场，从而还获取关于传感器在环境中的相对位置的信息。系统1902可以含有激光雷达测距系统，该激光雷达测距系统使激光束1903指向相邻对象。集成到系统1902中的(各)摄像机可以具有线1904表示的视野。可以利用计算机视觉算法识别视觉图形中的激光点，从而允许来自激光雷达的测距信息与计算机视觉相机看到的特征匹配。这样可以绝对缩放由计算机视觉系统传送的3D模型。

尽管利用例子根据特定实施例描述了本发明，但是应当明白，本发明并不局限于所公开的实施例。相反，意在包括所属技术领域内的技术人员显而易见的各种修改和类似布置。因此，应当更广泛解释所附权利要求书的范围，以包括所有这些修改和类似布置。

Claims (43)

1.一种空间对准设备，包括：

刚性外壳组件；

超声变换器，具有由外壳包裹的部分；

相机，具有由外壳组件包裹的部分，并且与超声变换器刚性连接；以及

至少一个处理器，与存储器和相机操作地耦合，该存储器具有由至少一个处理器执行的指令，配置为利用由相机捕获的图像确定超声变换器相对于对象的空间位置和方位。

2.根据权利要求1所述的设备，其中，所述存储器具有由至少一个处理器执行的指令，配置为将来自超声变换器的扫描数据与超声变换器的空间位置和方位相关联，从而产生并且保存空间对准扫描。

3.根据权利要求2所述的设备，其中，所述存储器具有由至少一个处理器执行的指令，配置为利用保存的空间对准扫描和另一空间对准扫描，减少超声赝象或者斑点。

4.根据权利要求2所述的设备，其中，所述存储器具有由至少一个处理器执行的指令，配置为利用保存的空间对准扫描和另一空间对准扫描，识别组织类型或者弹性特性。

5.根据权利要求4所述的设备，其中，所述存储器具有由至少一个处理器执行的指令，配置为利用保存的空间对准扫描和另一空间对准扫描，构造组织相对于对象的三维(3-D)模型。

6.根据权利要求2所述的设备，其中，所述存储器具有由至少一个处理器执行的指令，配置为利用保存的第一扫描面的空间对准扫描和来自第二扫描面的第二空间对准扫描，呈现对象的三维(3-D)结构。

7.根据权利要求1所述的设备，其中，所述相机从包括光学相机、红外相机、扫描激光相机、闪速激光相机、飞行时间相机和结构光相机的组中选择出。

8.根据权利要求1所述的设备，还包括：

第二相机，具有位于外壳内的部分，

其中，所述存储器包括由至少一个处理器执行的指令，配置为利用由相机捕获的图像，确定超声变换器相对于对象的空间位置和方位。

9.根据权利要求8所述的设备，其中，一个相机是飞行时间相机，并且另一相机是非飞行时间相机。

10.根据权利要求1所述的设备，还包括：

惯性测量单元(IMU)，由外壳支撑，

其中，所述存储器包括由至少一个处理器执行的指令，配置为利用来自IMU的输出，确定超声变换器相对于对象的空间位置和方位。

11.根据权利要求1所述的设备，还包括：

显示器，与处理器操作地相连，所述显示器配置为可视化由确定的空间位置和方位以及来自超声变换器的输出产生或者细化的对象的三维(3-D)表示。

12.根据权利要求1所述的设备，其中，所述外壳包括多个壳体。

13.根据权利要求1所述的设备，其中，所述存储器具有由至少一个处理器执行的指令，配置为解释交互元素的运动以执行处理。

14.根据权利要求1所述的设备，其中，所述相机是具有显示器的头戴跟踪与可视化系统的一部分。

15.一种空间对准设备，包括：

医疗仪器或者传感器探测器；

相机，与医疗仪器或者传感器探测器或者与操作员身体的一部分刚性连接；

至少一个处理器，与存储器和相机操作地耦合，所述存储器具有由至少一个处理器执行的指令，配置为利用由所述相机捕获的图像确定医疗仪器或者传感器探测器相对于对象的当前空间位置和方位；以及

至少一个处理器，与存储器操作地耦合，所述存储器具有由至少一个处理器执行的指令，配置为从具有与医疗仪器或者传感器探测器的当前位置和方位对应的位置和方位的保存的空间对准扫描导出可视化数据，并且向用户显示所述可视化数据。

16.根据权利要求15所述的设备，其中，所述用户远离医疗仪器或者传感器探测器。

17.根据权利要求15所述的设备，其中，所述保存的空间对准扫描包括对象中的感兴趣标记项。

18.一种空间对准设备，包括：

医疗仪器或者非成像传感器探测器；

相机，与医疗仪器或者非成像传感器探测器刚性连接或者与操作员身体的一部分连接；以及

至少一个处理器，与存储器和相机操作地耦合，所述存储器具有由至少一个处理器执行的指令，配置为利用由所述相机捕获的图像确定医疗仪器或者非成像传感器探测器相对于对象的当前空间位置和方位。

19.根据权利要求18所述的设备，其中，所述传感器探测器从包括雷达、太赫兹辐射检测器、术中伽马射线探测器、辐射检测器、辐射剂量计和化学传感器的组中选择出。

20.根据权利要求19所述的设备，其中，所述传感器探测器是术中伽马射线探测器，其中所述存储器具有由至少一个处理器执行的指令，配置为存储来自所述伽马射线探测器的辐射计数数据以及所述伽马射线探测器的当前空间位置和方位。

21.根据权利要求18所述的设备，还包括：

基准标记，所述至少一个处理器配置为利用对象上的基准标记的由所述相机捕获的图像，确定医疗仪器或者传感器探测器相对于对象的空间位置和方位。

22.根据权利要求21所述的设备，其中，所述基准标记包括二进制编码。

23.根据权利要求21所述的设备，其中，所述基准标记包括一个或者多个发光二极管(LED)。

24.根据权利要求21所述的设备，还包括：

柔性带，具有至少一个基准标记，所述至少一个处理器配置为利用对象上的柔性带的至少一个基准标记的由所述相机捕获的图像，确定医疗仪器或者传感器探测器相对于对象的空间位置和方位。

25.根据权利要求24所述的设备，其中，所述对象具有曲面，并且所述柔性带符合所述曲面。

26.根据权利要求25所述的设备，其中，所述对象包括人体。

27.根据权利要求24所述的设备，其中，所述至少一个基准标记中的每个都具有刚性衬底，所述柔性带包括相对于彼此可分段旋转的两个或者两个以上的刚性衬底基准标记。

28.根据权利要求24所述的设备，其中，所述至少一个基准标记包括多个基准标记，每个基准标记都具有彼此不同的二进制编码。

29.一种用于指导医疗过程的方法，所述方法包括：

提供医疗仪器或者传感器探测器；

提供相机，所述相机刚性地附于医疗仪器或者传感器探测器，或者与用户身体的一部分刚性连接；

利用由所述相机捕获的图像，计算医疗仪器或者传感器探测器相对于对象的当前位置和方位；以及

利用计算出的当前位置和方位，向用户显示感兴趣项目的位置或者先前保存的传感器探测器相对于医疗仪器或者传感器探测器的位置和方位。

30.根据权利要求29所述的方法，其中，所述显示包括图形指导元素。

31.根据权利要求30所述的方法，其中，所述图形指导元素包括方向箭头。

32.根据权利要求29所述的方法，其中，所述显示包括感兴趣项目或者先前保存的传感器探测器相对于对象的位置和方位的三维(3-D)呈现。

33.根据权利要求29所述的方法，还包括

响应于所述显示移动医疗仪器或者传感器探测器。

34.根据权利要求29所述的方法，其中，对其显示感兴趣项目或者先前保存的位置和方位的用户远离对象。

35.根据权利要求29所述的方法，其中，对其显示感兴趣项目或者先前保存的位置和方位的用户在对象的本地。

36.一种空间对准设备，包括：

非光学传感器探测器；以及

夹子接头，适于将便携式计算装置可拆卸和刚性地配合到传感器探测器，所述便携式计算装置具有相机和与存储器操作地耦合的至少一个处理器，所述存储器具有由至少一个处理器执行的指令，配置为利用由相机捕获的图像确定传感器探测器相对于对象的空间位置和方位。

37.根据权利要求36所述的设备，其中，所述便携式计算装置包括智能电话。

38.一种用于传感器探测器的空间对准的方法，所述方法包括：

向感兴趣对象应用具有至少一个基准标记的柔性带；

以传感器探测器扫描对象；

利用相机对柔性带的至少一个基准标记成像，以产生至少一个基准标记的一个或者多个图像，同时进行扫描和成像：

利用至少一个基准标记的一个或者多个图像，计算传感器探测器相对于对象的空间位置和方位；以及

利用计算出的空间位置和方位，使由传感器探测器检测到的对象的特征相关。

39.根据权利要求38所述的方法，其中，所述对象具有曲面，所述应用包括：

使柔性带符合所述曲面。

40.根据权利要求38所述的方法，还包括：

解码基准标记的二进制编码，所述相关使用所述解码。

41.根据权利要求38所述的方法，还包括：

利用计算出的空间位置和方位，呈现对象的三维(3-D)特征的图像。

42.根据权利要求38所述的方法，还包括：

将智能电话可拆卸地配合到传感器探测器，所述智能电话具有相机并且执行成像、计算和相关。

43.一种空间对准设备，包括：

仪器或者传感器探测器；

基准元件，附加到仪器或者传感器探测器；

相机，机械地连接到用户身体的一部分，将所述相机准直以观看用户操纵仪器或者传感器探测器的区域；以及

至少一个处理器，与存储器和相机操作地耦合，所述存储器具有由至少一个处理器执行的指令，配置为利用由所述相机捕获的图像确定仪器或者传感器探测器相对于对象的空间位置和方位。