CN114555000A - 用于音频信号布置和投射的系统和方法 - Google Patents

Abstract

本申请公开了用于将音频信号投射到远程操作外科手术系统的操作者以向操作者传送与音频信号相关联的空间取向的系统和方法。可以选择诸如方向和音量之类的音频信号的特性以给予远程操作者在本地位于患者旁边的印象。还可以修改音频信号的特性，以提供音频源在物理音频环境内的实际位置和音频源在虚拟音频环境内的模拟位置之间的空间转换。

Description

用于音频信号布置和投射的系统和方法

相关申请的交叉引用

本申请要求2019年8月20日提交的美国临时申请62/889,086的权益，该申请通过引用被整体并入本文。

技术领域

本公开涉及用于布置和/或投射音频信号的系统，并且更具体地涉及具有智能音频布置和/或投射的系统。

背景技术

微创医疗技术旨在减少在有创医疗程序期间受损的组织量，从而减少患者恢复时间、不适感和有害的副作用。这种微创技术可以穿过患者解剖结构中的自然孔口或穿过一个或多个外科手术切口来执行。通过这些自然孔口或切口，临床医生可以插入医疗工具以达到目标组织位置。微创医疗工具包括诸如治疗器械、诊断器械和外科手术器械之类的器械。微创医疗工具还可以包括成像器械，例如内窥镜器械。成像器械为用户提供患者解剖结构内的视场。一些微创医疗工具和成像器械可以是远程操作的或者是计算机辅助的。医疗远程操作系统的示例包括来自加利福尼亚州桑尼维尔的直观外科手术公司(IntuitiveSurgical,Inc.)的da

外科手术系统和da

S^TM外科手术系统。这些系统中的每一个都包括外科医生控制台、操纵器组合件、高性能三维(3-D)视觉系统，以及耦合到操纵器组合件的一个或多个医疗器械。

在医疗程序期间，远程操作系统的操作者与远程操作系统的患者附近的人之间可能发生交流。例如，操作者可能希望向患者附近的医疗人员发送指令和/或患者附近的医疗人员可能希望向操作者发送指令。因此，稳健的通信能力可以为远程操作系统带来更安全、更有效和整体更成功的临床结果。

因此，提供一种在外科手术程序期间提供改进的通信的系统将是有利的。

发明内容

本发明的实施例由随附于说明书的权利要求最好地概括。

在本发明的一个方面，一种音频系统包括一个或多个音频传感器、跟踪系统、音频再现系统和耦合到一个或多个音频传感器、跟踪系统和音频再现系统的音频布置控制器。该音频布置控制器可以被配置为执行包括以下各项的操作：在一个或多个音频传感器处接收音频信号，从跟踪系统接收与音频信号的源在物理音频环境中的实际位置相关联的跟踪数据，确定音频信号在虚拟音频环境中的模拟位置，以及经由音频再现系统再现音频信号。可以基于实际位置与模拟位置之间的关系来确定虚拟音频环境中再现的音频信号的至少一个特性(例如音量或方向)。

在一个实施例中，一个或多个音频传感器(例如麦克风)可以被配置为检测医疗系统的患者附近的音频信号。该音频信号可以对应于患者或患者附近的人员的口头交流。该音频信号可以替代地对应于医疗监测设备(例如心率监测器、血压监测器、血氧传感器等)的音频输出。此外，该音频信号可以对应于医疗系统的音频输出。

在一些实施例中，跟踪数据可以对应于由音频信号源佩戴的跟踪设备，或者它可以从音频信号导出。例如，音频传感器可用于基于在每个相应传感器处接收到的音频的音量，或基于音频到达每个音频传感器的时间差经由三角测量来确定源的位置。

在一些实施例中，音频信号的模拟位置可以表示源的实际位置。例如，如果源的实际位置在用作参考点的内窥镜的正左方5英尺处，则模拟位置可能在操作者的正左方5英尺处。在其他实施例中，音频信号的模拟位置可能不同于基于跟踪数据的实际位置。可以基于音频信号的一个或多个属性来确定模拟位置。例如，可以基于确定音频信号与紧急消息相关联或被传达给音频系统的收听者来确定模拟位置。可以至少部分地基于在音频中陈述的名称或关键字或在音频传感器处接收到的音频的音量来做出该确定。在一些情况下，可以使用人工神经网络来确定模拟位置。

音频再现系统可以包括立体声系统、环绕声系统或由音频系统的收听者佩戴的耳机。

音频系统还可以包括合成音频源。音频布置控制器可以进一步被配置用于从合成音频源接收合成音频信号，确定合成音频信号在虚拟音频环境中的第二模拟位置，以及经由音频再现系统发出具有基于虚拟音频环境中的第二模拟位置的特性的合成音频信号。合成音频信号可以对应于患者的生理过程的音频表示。这可以允许操作者在听觉上监测生理过程。

在另一方面，音频系统可以包括存储器和耦合到存储器的一个或多个处理器。一个或多个处理器可以被配置为从存储器读取指令并执行包括以下各项的操作：接收在医疗程序的患者附近检测到的音频信号，接收与音频信号的源相关联的跟踪信息，确定音频信号在虚拟音频环境中的模拟位置，以及经由音频再现系统将音频信号再现给远程收听者。音频再现系统可以基于远程收听者与虚拟音频环境中的模拟位置之间的空间关系为音频信号提供特性(例如，音量、音调、方向、回放速度等)。

在另一方面，一种方法可以包括接收在使用医疗系统执行的医疗程序期间在患者附近检测到的音频信号，接收与音频信号的源相关联的跟踪数据，确定音频信号在虚拟音频环境中的模拟位置，以及经由音频再现系统将音频信号再现给医疗系统的操作者。再现的音频信号的至少一个特性可以基于在虚拟音频环境中的模拟位置。

在又一方面，一种方法包括从医疗系统至少一个传感器的操作者接收音频信号，确定与音频信号相关联的目标，该目标位于与医疗系统相关联的患者附近，接收与目标相关联的跟踪数据，以及经由音频再现系统在患者附近再现音频信号。音频再现系统可以基于跟踪数据将再现的音频信号朝向目标聚焦。

在本公开的另一方面，一种音频系统包括至少一个扬声器、合成音频源和耦合到合成音频源的音频布置控制器。该音频布置控制器可以被配置为执行包括以下各项的操作：从合成音频源接收合成音频信号，接收与合成音频信号相关联的位置数据，基于位置数据确定合成音频信号在虚拟音频环境中的模拟位置，以及经由至少一个扬声器发出合成音频信号。可以基于位置信息来确定虚拟音频环境中所发出的音频信号的至少一个特性。

在一些实施例中，合成音频信号可以对应于患者的生理过程。该生理过程可以包括呼吸、心跳、血流或任何其他合适过程中的至少一种。在其他实施例中，合成音频信号可以对应于患者的解剖结构内的感兴趣区域。模拟位置可以对应于为操作者显示的视场与感兴趣区域的实际位置之间的空间关系。

在一些实施例中，音频系统还可以包括成像系统。感兴趣区域可以由成像系统检测。成像系统可以包括设置在患者的解剖结构内的相机。成像系统可以可替代地包括超声探头、CT扫描仪、X射线机器或MRI机器。跟踪系统可以配准视场与成像系统的参考点之间的空间关系。跟踪系统可以将位置数据提供给音频布置控制器。

在一些实施例中，至少一个扬声器可以是定向扬声器。至少一个特性可以包括从定向扬声器发出合成音频的方向的选择。至少一个扬声器还可以包括至少两个扬声器。至少一个特性可以包括至少两个扬声器中的发出合成音频的至少一个扬声器的选择。该选择可以基于与空间关系相关联的第一方向和与操作者和至少一个扬声器之间的第二空间关系相关联的第二方向。在一些实施例中，可能希望这些空间关系是相同或相似的。

感兴趣区域可以包括器械到达解剖结构内的期望位置、器械到达解剖结构内的不期望位置、异物的识别或出血中的至少一种。

应当理解，前述一般描述和以下详细描述本质上都是示例性和解释性的，并且旨在提供对本公开的理解而不限制本公开的范畴。就此而言，根据以下详细描述的本公开的附加方面、特征和优点对于本领域技术人员而言将是显而易见的。

附图说明

图1是根据本公开的一个实施例的远程操作医疗系统的简化图。

图2是根据一些实施例的具有智能音频信号布置的音频系统的简化图。

图3A是根据一些实施例的物理音频环境和虚拟音频环境之间的转换的简化图。

图3B是根据一些实施例在不同时间点处的图3A的物理音频环境和虚拟音频环境之间的转换的简化图。

图4是根据一些实施例的具有智能音频投射的音频系统的简化图。

图5是根据一些实施例的用于布置音频信号的方法的简化图。

图6是根据一些实施例的用于投射音频信号的方法的简化图。

图7是根据一些实施例的具有智能音频信号布置的音频系统的简化图。

图8是根据一些实施例的用于产生音频信号的方法的简化图。

具体实施方式

在以下描述中，阐述了描述与本公开一致的一些实施例的具体细节。为了提供对实施例的透彻理解，阐述了许多具体细节。然而，对本领域技术人员来说显而易见的是，可以在没有这些具体细节中的一些或全部细节的情况下实践一些实施例。本文所公开的具体实施例是说明性的而非限制性的。本领域技术人员可以认识到尽管在此没有具体描述但在本公开的范畴和精神内的其他元素。此外，为了避免不必要的重复，结合一个实施例示出和描述的一个或多个特征可以被并入到其他实施例中，除非另外具体描述或者如果一个或多个特征将使实施例不起作用。

在一些情况下，没有详细描述众所周知的方法、程序、部件和电路，以免不必要地混淆实施例的各个方面。

下面的实施例将根据它们在三维空间中的状态来描述各种器械和器械的部分。如本文所用，术语“定位”是指物体或物体的一部分在三维空间中的位置(例如，可以使用笛卡尔X、Y、Z坐标的变化(例如沿笛卡尔X轴、Y轴、Z轴)来描述的三个平移自由度)。如本文所用，术语“取向”是指物体或物体的一部分的旋转布置(三个旋转自由度——例如，可以使用滚转、俯仰和偏航来描述)。如本文所用，术语“姿态”是指物体或物体的一部分在至少一个平移自由度中的定位，以及该物体或该物体的该部分在至少一个旋转自由度中的取向。对于三维空间中的非对称刚体，可以用总共六个自由度来描述一个完整的姿态。

此外，尽管本文描述的一些示例涉及外科手术程序或工具或者医疗程序和医疗工具，但所公开的技术适用于非医疗程序和非医疗工具。例如，本文所述的工具、系统和方法可用于非医疗目的，包括工业用途、一般机器人用途以及感测或操纵非组织工件。其他示例应用涉及外观改进、人体或动物解剖结构成像、从人体或动物解剖结构搜集数据、设置或拆除系统，以及训练医疗或非医疗人员。附加示例应用包括对从人体或动物解剖结构取出的组织进行的程序(不返回人体或动物解剖结构)，以及对人或动物尸体执行程序的用途。此外，这些技术还可用于外科手术和非外科手术、医疗处理或诊断程序。

图1是根据一些实施例的远程操作医疗系统100的简化图。在一些实施例中，远程操作医疗系统100可适用于例如外科手术、诊断、治疗或活检程序。如图1所示，医疗系统100通常包括用于操作医疗器械104以对患者P执行各种程序的操纵器组件102。操纵器组件可以是远程操作的，或者可以包括用于医疗器械104的手动、机器人和/或远程操作控制的远程操作子组件和非远程操作子组件两者。操纵器组件102被安装到手术台T或手术台T附近。操作者输入系统(例如主控组件106)允许操作者O(例如，如图1中所示的外科医生、临床医生或医师)查看介入部位并控制操纵器组件102。

主控组件106可以位于操作者控制台处，该操作者控制台通常位于与手术台T相同的房间中，例如在患者P所在的外科手术台的一侧。然而，应当理解，操作者O可以位于与患者P不同的房间或完全不同的建筑物中。主控组件106通常包括用于控制操纵器组件102的一个或多个控制设备。控制设备可以包括任意数量的各种输入设备，例如，操纵杆、轨迹球、数据手套、扳机枪、手动操作控制器、语音辨别设备、身体运动或存在传感器等。为了向操作者O提供直接控制器械104的强烈感觉，可以为控制设备提供与相关联的医疗器械104相同的自由度。以这种方式，控制设备为操作者O提供远程呈现或控制设备与医疗器械104为一体的感知。

在一些实施例中，控制设备可以具有比相关联的医疗器械104更多或更少的自由度并且仍然为操作者O提供远程呈现。在一些实施例中，控制设备可以可选地是手动输入设备，该手动输入设备以六个自由度移动，并且还可以包括用于致动器械的可致动手柄(例如，用于闭合抓爪、向电极施加电势、递送药物治疗等)。

操纵器组件102支撑医疗器械104并且可以包括一个或多个非伺服受控连杆(例如，可被手动定位并锁定就位的一个或多个连杆，通常被称为设置结构)的运动学结构和远程操作操纵器。操纵器组件102或更具体地远程操作操纵器可以可选地包括多个致动器或马达，这些致动器或马达响应于来自控制系统(例如，控制系统112)的命令而驱动医疗器械104上的输入。致动器可以可选地包括驱动系统，这些驱动系统在耦合到医疗器械104时可以将医疗器械104推进到自然或外科手术创建的解剖孔口中。其他驱动系统可以在多个自由度上移动医疗器械104的远端，这些自由度可以包括三个线性运动度(例如，沿X、Y、Z笛卡尔轴线的线性运动)和三个旋转运动度(例如，绕X、Y、Z笛卡尔轴线的旋转)。此外，致动器可用于致动医疗器械104的关节式末端执行器，用于抓握活检设备等的钳口中的组织。致动器定位传感器(例如解析器、编码器、电位计和其他机构)可以向医疗系统100提供描述电机轴的旋转和取向的传感器数据。该定位传感器数据可用于确定由致动器操纵的对象的运动。

远程操作医疗系统100可以包括传感器系统108，传感器系统108具有一个或多个子系统，用于接收关于操纵器组件102的器械的信息。这样的子系统可以包括：定位/位置传感器系统(例如，电磁(EM)传感器系统)；形状传感器系统，用于确定沿可构成医疗器械104的柔性主体的远端和/或一个或多个节段的定位、取向、速度、速率、姿态和/或形状；和/或可视化系统，用于从医疗器械104的远端捕获图像。

远程操作医疗系统100还包括显示系统110，用于显示由传感器系统108的子系统生成的外科手术部位和医疗器械104的图像或表示。显示系统110和主控组件106可以被定向为以便操作者O可以通过远程呈现的感知来控制医疗器械104和主控组件106。

在一些实施例中，医疗器械104可具有可视化系统，该可视化系统可包括查看镜组件，该查看镜组件记录外科手术部位的并发或实时图像并通过医疗系统100的一个或多个显示器(例如显示系统110的一个或多个显示器)将图像提供给操作者或操作者O。并发图像可以是例如由定位在外科手术部位内的内窥镜捕获的二维或三维图像。在一些实施例中，可视化系统包括可以整体地或可移除地耦合到医疗器械104的内窥镜部件。然而在一些实施例中，附接到单独的操纵器组件的单独的内窥镜可以与医疗器械104一起使用以对外科手术部位成像。可视化系统可以被实施为硬件、固件、软件或其组合，该硬件、固件、软件或其组合与一个或多个计算机处理器交互或以其他方式由一个或多个计算机处理器执行，该一个或多个计算机处理器可以包括控制系统112的处理器。控制系统112的处理器可以执行对应于本文描述的方法和操作符的指令。

显示系统110还可以显示由可视化系统捕获的外科手术部位和医疗器械的图像。在一些示例中，远程操作医疗系统100可以配置医疗器械104和主控组件106的控件，使得医疗器械的相对定位类似于操作者O的眼睛和手的相对定位。以这种方式，操作者O可以用手控件来操纵医疗器械104，就好像在查看实质上真实存在的工作空间一样。真实存在意味着图像的呈现是模拟视点的真实透视图像，就好像操作者正在用手而不是通过远程操作医疗系统100物理地操纵医疗器械104一样。

在一些示例中，显示系统110可以呈现使用来自成像技术(例如，计算机断层扫描(CT)、磁共振成像(MRI)、荧光透视、热影像、超声、光学相干断层扫描(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像等)的图像数据在术前或术中记录的外科手术部位的图像。术前或术中图像数据可以被呈现为二维、三维或四维(包括例如基于时间或基于速率的信息)图像和/或作为来自根据术前或术中图像数据集创建的模型的图像。

在一些实施例中，通常出于图像引导的外科手术程序的目的，显示系统110可以显示在其中医疗器械104的实际位置与术前或并发图像/模型被配准(即动态参考)的虚拟导航图像。可以这样做以从医疗器械104的视点向操作者O呈现内部外科手术部位的虚拟图像。在一些示例中，该视点可以来自医疗器械104的尖端。医疗器械104的尖端的图像和/或其他图形或字母数字指示符可以被叠加在虚拟图像上以辅助操作者O控制医疗器械104。在一些示例中，医疗器械104可能在虚拟图像中不可见。

在一些实施例中，显示系统110可以显示在其中医疗器械104的实际位置与术前或并发图像被配准的虚拟导航图像，以从外部视点向操作者O呈现外科手术部位内的医疗器械104的虚拟图像。医疗器械104的一部分的图像或其他图形或字母数字指示符可以被叠加在虚拟图像上以辅助操作者O控制医疗器械104。如本文所述，可以将数据点的视觉表示渲染到显示系统110。例如，测量的数据点、移动的数据点、配准的数据点和本文描述的其他数据点可以以视觉表示显示在显示系统110上。数据点可以通过显示系统110上的多个点或光斑或者作为渲染模型(例如基于数据点集创建的网格或线模型)在用户界面中可视地表示。在一些示例中，可以根据数据点表示的数据来对数据点进行颜色编码。在一些实施例中，在已经实施每个处理操作以改变数据点之后，可以在显示系统110中刷新视觉表示。在一些实施例中，可以在显示器110中呈现虚拟导航图像，该虚拟导航图像从沿着或穿过对应的实际解剖通路插入的器械的角度描绘解剖通路的模型。

远程操作医疗系统100还可以包括控制系统112。控制系统112包括至少一个存储器和至少一个计算机处理器(未示出)，用于实现医疗器械104、主控组件106、传感器系统108和显示系统110之间的控制。控制系统112还包括用以实施根据本文公开的各方面描述的一些或全部方法的编程指令(例如，非暂时性机器可读介质存储这些指令)，包括用于向显示系统110提供信息的指令。虽然控制系统112在图1的简化示意图中被示出为单个块，但该系统可以包括两个或更多个数据处理电路，其中处理的一部分可选地在操纵器组件102上或邻近操纵器组件102执行，处理的另一部分在主控组件106处执行，等等。控制系统112的处理器可以执行指令，这些指令包含对应于本文公开的并且在下面更详细描述的过程的指令。可以采用多种集中式或分布式数据处理架构中的任何一种。类似地，编程指令可以被实施为多个独立的程序或子例程，或者它们可以被集成到本文描述的远程操作系统的多个其他方面中。在一个实施例中，控制系统112支持无线通信协议，例如，蓝牙、IrDA、HomeRF、IEEE802.11、DECT和无线遥测。

在一些实施例中，控制系统112可以接收来自医疗器械104的力和/或扭矩反馈。响应于该反馈，控制系统112可以将信号传输到主控组件106。在一些示例中，控制系统112可以传输指示操纵器组件102的一个或多个致动器移动医疗器械104的信号。医疗器械104可以经由患者P的身体中的开口延伸到患者P的身体内的内部外科手术部位。可以使用任何合适的常规和/或专用致动器。在一些示例中，一个或多个致动器可以与操纵器组件102分离或与操纵器组件102集成。在一些实施例中，一个或多个致动器和操纵器组件102被提供为邻近患者P和手术台T定位的远程操作推车的一部分。

控制系统112可以可选地进一步包括虚拟可视化系统，以在图像引导的外科手术程序期间控制医疗器械104时向操作者O提供导航辅助。使用虚拟可视化系统的虚拟导航可以基于对获取的解剖通路的术前或术中数据集的参考。虚拟可视化系统处理使用成像技术(例如，计算机断层扫描(CT)、磁共振成像(MRI)、荧光透视、热影像、超声、光学相干断层扫描(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像等)成像的外科手术部位的图像。可以与手动输入组合使用的软件被用于将记录的图像转换成部分或整个解剖器官或解剖区域的分段二维或三维复合表示。图像数据集与该复合表示相关联。复合表示和图像数据集描述了通路的各种位置和形状及其连通性。可以在临床程序期间在术前或术中记录用于生成复合表示的图像。在一些实施例中，虚拟可视化系统可以使用标准表示(即，不是患者特定的)或者标准表示和患者特定数据的混合体。复合表示和由复合表示生成的任何虚拟图像可以表示可变形解剖区域在一个或多个运动阶段期间(例如，在肺的吸气/呼气周期期间)的静态姿势。

在虚拟导航程序期间，传感器系统108可用于计算医疗器械104相对于患者P的解剖结构的大致位置。该位置可用于产生患者P的解剖结构的宏观(外部)跟踪图像和患者P的解剖结构的虚拟内部图像。该系统可以实施一个或多个电磁(EM)传感器、光纤传感器和/或其他传感器，以配准和显示医疗实施以及术前记录的外科手术图像，例如来自虚拟可视化系统的那些图像。例如，PCT公布WO 2016/191298(2016年12月1日公布)(公开了“Systemsand Methods of Registration for Image Guided Surgery”)公开了一种这样的系统，该公布通过引用被整体并入本文。远程操作医疗系统100还可以包括可选的操作和支持系统(未示出)，例如，照明系统、转向控制系统、冲洗系统和/或抽吸系统。在一些实施例中，远程操作医疗系统100可以包括多于一个操纵器组件和/或多于一个主控组件。操纵器组件的确切数量将取决于外科手术程序和手术室内的空间限制等其他因素。主控组件106可以被并置或者它们可以被定位在分离的位置。多个主控组件允许多于一个操作者以各种组合方式控制一个或多个操纵器组件。

通常，音频通信是用于在外科手术程序期间在患者P附近和操作者O之间传送信息的有用机制。因此，医疗系统(例如远程操作医疗系统100)可以检测来自患者P附近的音频信号并为操作者O再现音频信号。然而，在外科手术程序期间患者P附近可能存在多个音频源，在这种情况下，操作者O可能难以区分音频源和/或理解音频信号的情境。例如，当多个医疗人员位于患者P附近时，操作者O可能难以确定谁在讲话、讲话者正在与谁交谈等。同样，操作者O可能在视觉上沉浸在操作者控制台中，并且可能缺乏视觉提示来伴随通过控制台处的扬声器提供的音频信号。

因此，当为操作者O再现音频信号时，通常希望检测和传送各种音频源之间的空间关系。准确和/或逼真地重建空间关系(即，通过从直接对应于音频源的物理位置的定位来重新创建每个音频信号)是一种可能的途径，但进一步的增强是有可能的。例如，一旦确定了各种音频源的位置，则可以将每个音频源映射到模拟位置，该模拟位置可能匹配也可能不匹配音频源的物理位置。以这种方式，有可能人为地改变靠近收听者的高优先级音频信号(例如，紧急消息和/或直接发给操作者O的音频)的感知位置，并类似地将低优先级音频信号(例如，医疗人员的谈话)定位成更远离收听者。

图2是根据一些实施例的具有智能音频信号布置的音频系统200的简化图。在一些实施例中，音频系统200可以与医疗系统210(例如远程操作医疗系统100)相关联和/或被并入医疗系统210内。与这样的实施例一致，医疗系统210可以包括患者P、手术台T、操纵器组件211和一个或多个医疗器械212和/或与患者P、手术台T、操纵器组件211和一个或多个医疗器械212相关联，患者P、手术台T、操纵器组件211和一个或多个医疗器械212通常对应于图1中类似标记的特征。如图2中所描绘，患者P、手术台T、操纵器组件211和医疗器械212位于患者环境或患者参考系222内的患者附近。在说明性实施例中，患者环境222可以对应于手术室。在一些实施例中，当执行外科手术程序时，各种人员213a-n(例如，医师、外科医生、护士等)可以位于患者环境222内。

在一些实施例中，医疗系统210可以进一步包括操作者O、主控组件214和显示系统215和/或与操作者O、主控组件214和显示系统215相关联，操作者O、主控组件214和显示系统215通常对应于图1中类似标记的特征。医疗器械212之一可以具有可视化系统，该可视化系统可以包括查看镜组件(例如，内窥镜)，该查看镜组件记录外科手术视场的并发或实时图像并通过显示器215向操作者或操作者O提供视场的图像。显示器215上的视场的图像有助于操作者O对患者环境222的空间感识。

如图2所描绘，操作者O、主控组件214和显示系统215位于操作者环境或操作者参考系224中。在说明性实施例中，操作者环境224可以对应于与患者环境222物理分离的房间。然而，应当理解，操作者环境224和患者环境222可以位于相同房间中和/或可以彼此重叠。

在一些实施例中，音频系统200可以包括位于患者环境222中和/或附近的一个或多个音频传感器230。通常，音频传感器230检测从患者环境222发出和/或在患者环境222内可听到的各种音频信号。示例性音频信号包括人员213a-n之间的讲话、人员213a-n和患者P之间的讲话、与监测装备相关联的声音(例如，心率监测器的音频输出)、环境噪声等。在一些实施例中，音频传感器230在患者环境222内可以具有固定位置(例如，安装到墙壁、手术台T、操纵器组件211等上的麦克风)和/或动态位置(例如，夹在人员213a-n和/或患者P身上的麦克风)。

音频系统200还可以包括位于患者环境222中和/或附近的跟踪系统240。在一些实施例中，跟踪系统240可以确定患者环境222内的各种音频源的位置。例如，跟踪系统240可以收集与人员213a-n、患者P、监测装备和/或由音频传感器230拾取的音频的任何其他来源相关联的位置信息。在一些实施例中，跟踪系统240可以使用基于RFID的跟踪，其中使用RFID标签(和/或任何其他合适的跟踪设备)来跟踪人员213a-n。在一些实施例中，跟踪系统240可以包括一个或多个相机和/或图像处理器以使用图像处理技术来定位音频源。在一些实施例中，跟踪系统240可以执行音频信号处理以基于由音频传感器230检测到的音频信号来定位音频源(例如，使用基于由多个音频传感器230检测到的音频信号的到达时间或相对强度的三角测量技术)。

音频系统200可以进一步包括音频布置控制器250，音频布置控制器250从音频传感器230接收音频信号数据和/或从跟踪系统240接收跟踪数据。在一些实施例中，音频布置控制器250可以包括一个或多个处理器以处理接收到的音频信号和跟踪数据。根据一些实施例，音频布置控制器250可以基于跟踪数据将接收到的音频信号映射到虚拟音频环境中。通常，虚拟音频环境是提供给位于操作者环境224中的操作者的音频环境，在该操作者环境224中，发出音频信号的感知位置和/或方向性可以被安排成与操作者在患者环境222中的视场相对应。更具体地，音频布置控制器250可以基于各种音频源相对于收听者(例如，操作者)的实际和/或期望空间定位来将每个音频源布置在虚拟音频环境内的模拟位置处。

在一些实施例中，音频布置控制器250可以在患者环境222中的音频源的物理位置(如由跟踪数据所指示)与虚拟音频环境中的音频源的模拟位置之间执行直接映射。即，物理位置和模拟位置可以保持不变并且对应于相同的位置。然而，在一些实施例中，模拟位置可能不同于物理位置。在一些实施例中，音频布置控制器250可以基于音频信号的一个或多个属性来改变音频源在虚拟音频环境中的布置(与物理位置相比)。例如，音频布置控制器250可以确定人员213a-n之一正在以特定的紧迫性讲话(例如，基于讲话者的响度、音高、音调等)。因此，音频布置控制器250可以将扬声器布置在虚拟音频环境中靠近收听者的模拟位置处，以确保紧急消息得到适当的关注。

除了将音频源布置在虚拟音频环境中之外，音频布置控制器250可以设置和/或调整音频信号的其他属性。例如，音频布置控制器250可以基于跟踪数据和/或音频信号的其他属性来调整音频信号的频率和/或回放速度。在说明性实施例中，当跟踪数据指示音频源正在处于运动中时，音频布置控制器250可以调整对应的音频信号的频率以增强(和/或减少)由运动引起的多普勒效应。

在一些实施例中，音频布置控制器250可以从一个或多个合成音频源260接收合成音频信号。在一些实施例中，合成音频信号可能不对应于由音频传感器230拾取的实际音频信号，而可能是人工生成的。例如，合成音频信号对应于生理过程(例如，心跳、呼吸等)、警报、通知等的音频表示。

在一些实施例中，除了音频传感器230和/或合成音频源260之外，音频布置控制器250还可以从各种其他来源接收音频信号。例如，音频布置控制器250可以从远程人员(图2中未示出)接收口头通信，并且可以将远程人员布置在虚拟音频环境中。因此，音频布置控制器250可以组合来自多个来源和/或信道的音频信号并将它们映射到虚拟音频环境内的期望位置。

音频系统200还包括位于操作者环境224中和/或附近的音频再现系统270。音频再现系统270接收来自音频布置控制器250的输出信号并生成具有对应于虚拟音频环境的期望空间特性和/或定向特性的音频输出。在一些实施例中，音频再现系统270可以包括立体声系统、环绕声系统、耳机等。以这种方式，音频再现系统270可以向操作者O提供虚拟音频环境的每个音频信号从虚拟音频环境内的模拟位置出现的印象。

图3A是根据一些实施例的物理音频环境310(例如，患者环境222)和虚拟音频环境320之间的转换的简化图。在与图2一致的一些示例中，可以使用接收音频信号数据和跟踪数据的控制器(例如音频布置控制器250)来执行该转换。尽管物理音频环境310和虚拟音频环境320在图3中以二维表示，但应当理解，音频源的位置可以附加地或替代地以一维和/或三维表示。

如图3A中所描绘，物理音频环境310包括位于相对于中心位置315的不同定位处的三个音频源331-333。通常，中心位置315可以对应于任意点，但可以对应于限定位置(例如，手术室的中心、患者的位置、医疗器械的位置、建立操作者视场的成像系统的位置等)。音频源331-333实际上可以包括可能出现在外科手术场景中的任何音频源，例如医疗人员(例如，人员213a-n)之间的口头通信、患者监测设备、环境噪声等。

虚拟音频环境320包括对应于音频源331-333的三个音频源331’-333’。在一些实施例中，虚拟音频环境320可以包括不对应于音频源331-333中的任何一个的一个或多个合成音频源340。如先前参考图2所讨论的，合成音频源340可以对应于生理过程(例如，心跳、呼吸等)、警报等。显示系统(例如显示系统215)可用于向操作者传送大量统计数据、状态、配置等，使得显示器可能因大量信息而变得杂乱无章。这样的信息对于操作者来说可能难以处理，同时还要维持对器械的操纵的专注。就此而言，至少为了减少由显示系统215提供的过量分散注意力的信息，以听觉方式而不是视觉方式向操作者提供某些信息可能是有利的。合成音频源340可以提供这样的听觉信息。

音频源331’-333’和340被布置在相对于收听者位置325的模拟位置处。在一些实施例中，收听者位置325可以对应于操作者的视场的位置。由于收听者位置325可以被定位在虚拟音频环境320的中心处，因此位于收听者位置325处的收听者(例如，操作者O)将感知来自音频源331’-333’和340的音频信号起源于它们在虚拟音频环境320中的相应位置。

如图3A中所描绘，音频源331’-333’的位置可能匹配或可能不匹配物理音频环境310中的音频源331-333的位置。例如，音频源331’被布置在虚拟音频环境320中与在物理音频环境310中大致相同的位置。作为另一示例，音频源332’在虚拟音频环境320中比对应的音频源332在物理音频环境310中显著地更加居中，而音频源333’在虚拟音频环境320中比在物理音频环境310中离中心更远。这些虚拟布置可以例如通过增加来自音频源332的音频的音量、减少来自音频源332的信号中的噪声、改变来自音频源332的音频的音高、音速或其他音频特性、和/或减小其他音频源的音量来完成。在虚拟音频环境320中，人为地将音频源332’移动到靠近收听者可能有多种原因。例如，当音频源332可能对应于以异常紧迫性讲话的医疗团队的成员时。在另一示例中，医疗团队的成员可以陈述关键字和/或关键短语(例如，操作者的姓名)，表明他或她希望直接与操作者O交谈。因此，将音频源332’布置在靠近收听者的中心位置处可能有助于向操作者O传送团队成员正直接与操作者O交谈的印象。

此外，可能期望将音频源331-333的动态实际定位转化为音频源331’-333’的静态虚拟定位。换言之，人员或装备可能在外科手术操作期间围绕物理音频环境310移动(如处于第一时间点的图3A和处于不同时刻的图3B之间的差异所示)，但操作者O可能不知道他们的移动，因为操作者的注意力聚焦在显示系统上。为了基于虚拟音频环境320中的定向提示来维持对谁正在讲话的理解，虚拟音频环境320中的音频源331’-333’的虚拟位置可以保持静止，而相应的实际音频源331-333绕房间移动，如由它们在图3A和图3B之间改变的位置所示。也就是说，即使当音频源332(可能是例如护士)从中心位置315(例如，操纵器组件)的左侧移动到右侧时，来自音频源的声音也可以从共同的角度导向到操作者(设置在虚拟音频环境的中心位置325处)(例如仅来自操作者左侧的扬声器)，以创建音频源332静止于操作者的左侧的印象。这可以使得操作者能够区分来自该特定音频源332的音频反馈与其他音频源331和333的音频反馈。

可以利用多种技术通过模仿物理音频环境的性质和/或修改其某些性质来生成虚拟音频环境。例如，为了以使操作者具有他们位于物理音频环境中心的印象的方式模拟物理音频环境，可以在物理音频环境中检测各种声音(警报声、语音、工具等)的方向和音量并在虚拟音频环境中重新创建与在操作者的模拟位置处(例如，物理音频环境的中心)发生的那些声音类似的性质。通过以与在模拟位置发生的那些声音相似或相同的方式复刻各种声音的性质，操作者可以接收音频信息，就好像操作者实际出现在模拟位置处一样，从而创建操作者出现在该模拟位置处的印象(例如站在患者旁边或站在生成操作者视场的成像系统的位置处)。

另外，可以在虚拟音频环境内修改声音的性质，以给予操作者与在模拟位置处实际发生的那些不同的印象。也就是说，可以使用图2的跟踪系统240、音频布置控制器250和合成音频源260修改提供给操作者的声音以增强或补充真实世界的音频。用于修改虚拟音频环境中的声音的预期技术包括例如如上所述增加音量和/或改变一个或多个声音的方向。就此而言，例如，可以通过增加护士声音的音量将护士的虚拟位置带至靠近操作者，而在物理音频环境中，护士可能远离操作者而使得难以听到护士。相比之下，其他声音的音量可能会被降低，例如医学生或走廊中的其他观察者之间的交谈。就此而言，音频系统可以基于观察者在房间中的位置来确定他们不是操作中的活跃参与者，或者可以基于他们讲话的音量来确定他们的评论是不必要的。因此，音频系统可以从虚拟音频环境完全滤除他们的声音以避免分散操作者的注意力。作为另一预期技术，可以降低环境噪声(例如工具和装备(例如，呼吸机)运行)的音量。

用于修改虚拟音频环境中的声音的又一预期技术包括减少回声或混响。手术室通常以光滑的刚性表面(例如瓷砖地板和不锈钢台)为特征。这些表面可能反射声波，造成背景噪声，该背景噪声会分散操作者的注意力并可能干扰其他更重要的声音。因此，当为虚拟音频环境320生成音频信号时，音频系统200可以通过滤除与反射和混响相关联的重复波形来降低来自物理音频环境310的反射声波的音量或消除该反射声波。

另一预期技术包括改变讲话的内容。换言之，可以从在虚拟音频环境320中产生的音频省略由人员在物理音频环境310中陈述并被确定为不重要的某些短语或评论。例如，当医疗团队的成员做出发给另一团队成员而不是操作者的陈述(例如通过以团队成员的姓名开始陈述来指示)时，可能不会在虚拟音频环境320中生成那部分音频。相反，团队成员的陈述中由操作员的姓名引起的部分可以被发送到虚拟音频环境320。当然，可以利用这些预期技术和其他技术的各种组合来实现期望的虚拟音频环境320。

图4是根据一些实施例的具有智能音频投射的音频系统400的简化图。与音频系统200类似，音频系统400解决了改善患者P周边(vicinity)和操作者O之间的音频通信的需求。与其中操作者O是收听者的音频系统200相比，音频系统400被配置用于其中操作者O是讲话者的情景。尽管为了清楚起见将音频系统200和音频系统400描述为分离的系统，但应理解音频系统200和音频系统400可以被组合以提供患者P周边和操作者O之间的双向音频通信。

与音频系统200类似，音频系统400可以与医疗系统410(例如远程操作医疗系统100)相关联和/或被并入医疗系统410。与此类实施例一致，医疗系统410可以包括患者P、手术台T、操纵器组件411和医疗器械412和/或与它们相关联，患者P、手术台T、操纵器组件411和医疗器械412通常对应于图1中类似标记的特征。如图4中所描绘，患者P、手术台T、操纵器组件411和医疗器械412位于患者周边或环境422中。在说明性实施例中，患者环境422可以对应于手术室。在一些实施例中，当执行外科手术程序时，各种人员413a-n(例如，医师、外科医生、护士等)可以位于患者环境422内。

在一些实施例中，医疗系统410可以进一步包括操作者O、主控组件414和显示系统415和/或与它们相关联，操作者O、主控组件414和显示系统415通常对应于图1中类似标记的特征。如图4中所描绘，操作者O、主控组件414和显示系统415位于操作者环境424中。在说明性实施例中，操作者环境424可以对应于与患者环境422物理分离的房间。然而，应当理解，操作者环境424和患者环境422可以位于相同房间中和/或可以彼此重叠。

在一些实施例中，音频系统400可以包括位于操作者周边420中和/或其附近的音频传感器430。通常，音频传感器430被配置为检测来自操作者O的口头交流。例如，音频传感器430可以包括夹在操作者O身上、安装在和/或内置于主控组件414和/或显示系统415等中的麦克风。

在一些实施例中，操作者O可能希望向患者环境422中的一个或多个目标讲话。例如，操作者O可能希望向人员413a-n中特定的一个人讲话和/或可能希望向患者P讲话。因此，音频系统400可以包括目标识别器440，该目标识别器440识别操作者O希望进行交谈的一个或多个目标。在一些示例中，一个或多个目标可以由操作者O手动识别(例如，通过经由主控组件414来做出选择)。在一些示例中，可以基于操作者O说出的一个或多个关键字和/或关键短语(例如，通过说出目标的姓名)来识别一个或多个目标。在一些示例中，可以自动识别一个或多个目标(例如，通过基于讲话的内容和/或主题确定可能的目标)。在一些实施例中，一个或多个音频传感器430可用于基于操作者O投射口头音频的方向来确定目标。例如，在多个音频传感器430处检测到的音量可被用于基于人员413a-n在虚拟音频环境内的位置来识别目标。

音频系统400还可以包括位于患者环境422中和/或附近的跟踪系统450。在一些实施例中，跟踪系统450可以确定患者环境422内的潜在目标的位置。例如，跟踪系统450可以收集与人员413a-n和/或患者P相关联的位置信息。在一些实施例中，跟踪系统450可以使用基于RFID的跟踪，其中使用RFID标签(和/或任何其他合适的跟踪设备)来跟踪人员413a-n。在一些实施例中，跟踪系统450可以包括一个或多个相机和/或图像处理器以使用图像处理技术来定位潜在目标。

音频系统400还可以包括音频投射控制器460，该音频投射控制器460接收来自音频传感器430的音频信号数据、来自目标识别器440的目标数据和/或来自跟踪系统450的目标跟踪数据。在一些实施例中，音频投射控制器460可以包括一个或多个处理器以处理接收到的音频信号数据、目标数据和目标跟踪数据。根据一些实施例，音频投射控制器460可以基于目标数据和/或目标跟踪数据来确定音频信号的投射轮廓。特别地，投射轮廓可以识别音频信号的音量、频率和/或其他属性的空间变化，使得音频信号达到预期目标。

音频系统400还包括位于患者环境422中和/或附近的音频再现系统470。音频再现系统470接收来自音频投射控制器460的输出信号并再现具有对应于投射轮廓的期望空间特性和/或定向特性的音频输出。在一些实施例中，定向音频再现系统470可以包括定向扬声器系统、由人员413a-n佩戴的耳机、安排在患者环境422内不同位置处的一组扬声器等。以这种方式，音频再现系统470允许操作者O与患者环境222内的特定目标交谈，而不会对非目标产生听觉干扰。

图5是根据一些实施例的用于布置音频信号的方法500的简化图。根据与图2一致的一些实施例，方法500可以在医疗程序期间由音频系统的控制器(例如音频布置控制器250)执行。在一些实施例中，方法500可以允许在医疗程序中使用的医疗系统的操作者收听从医疗程序的患者的周边出现的音频信号。

在过程510处，接收在患者的周边检测到的音频信号。在一些实施例中，音频信号可以对应于来自医疗程序的患者的口头交流、来自患者周边的人员的口头交流、患者监测装备(例如，心率监测器)的音频输出、医疗系统的音频输出、环境噪声等。在一些实施例中，可以从布置在患者周边中和/或其附近(例如，与患者一起在手术室中)的麦克风(和/或其他合适的音频换能器)接收音频信号。

在过程520处，接收与音频信号源相关联的跟踪数据。如前所述，音频信号源可以对应于患者、位于患者周边的人员、患者监测装备、医疗系统等。在一些实施例中，跟踪数据可以识别这些源在患者周边中的相对和/或绝对位置。在一些实施例中，跟踪数据可以对应于基于患者周边中的人员佩戴的RFID标签(和/或任何其他合适的跟踪设备)的RFID跟踪数据。在一些示例中，可以从接收的音频信号导出该跟踪数据，例如，通过基于音频信号的强度对该源的位置进行三角测量。

在过程530处，确定音频信号在虚拟音频环境中的模拟位置。音频信号的模拟位置可以相对于虚拟音频环境中的收听者位置。在一些实施例中，模拟位置可以与由跟踪数据指示的音频信号的物理位置匹配。换言之，音频信号在患者环境222中的物理位置(如由跟踪数据所指示)与音频源在虚拟音频环境中的模拟位置之间发生直接映射。在一些实施例中，模拟位置可能不匹配由跟踪数据指示的音频信号的物理位置。换言之，针对音频信号在患者环境222中的物理位置执行跟踪数据的改变的映射。改变的映射创建了音频源在虚拟音频环境中的模拟位置，该模拟位置不同于患者环境222中音频信号的物理位置。在一些实施例中，音频源在虚拟音频环境中的模拟位置基于与收听者位置的空间关系。例如，可以基于音频信号的一个或多个属性(例如，音调、口头交流的内容、包括在口头交流中的关键字和/或关键短语等)来确定模拟位置。以这种方式，高优先级音频信号(例如，紧急消息、直接发给收听者的消息等)可以被人为地布置为靠近收听者，而低优先级音频信号(例如，环境噪声、不涉及收听者的对话等)可以被人为地布置为远离收听者。在一些示例中，可以使用机器学习技术来确定模拟位置。例如，可以开发和训练人工神经网络以基于跟踪数据、音频信号的属性和/或可能影响期望模拟位置的各种其他因素来预测音频信号的期望模拟位置。除了确定音频信号的模拟位置之外，还可以在过程530处选择音频信号的其他属性。例如，可以调整频率、回放速度和/或其他属性。更一般地，可以根据需要操纵音频信号的各种音频性质和/或空间性质，以在收听者身上创建期望的音频印象。

在过程540处，经由音频再现系统再现音频信号，以向收听者(例如，定位在患者周边之外的远程收听者，例如医疗系统的操作者)提供再现的音频信号从在过程530处确定的虚拟音频环境中的模拟位置处出现的印象。在一些实施例中，音频再现系统可以对应于立体声系统、环绕声系统、耳机和/或能够传送音频信号的空间特性的任何其他类型的音频再现系统。

图6是根据一些实施例的用于投射音频信号的方法600的简化图。根据与图4一致的一些实施例，方法600可以在医疗程序期间由音频系统的控制器(例如音频投射控制器460)执行。在一些实施例中，方法600可以允许在医疗程序中使用的医疗系统的操作者将音频信号传输到医疗程序的患者周边内的目标人员和/或位置。

在过程610处，从医疗系统的操作者处接收音频信号。在一些示例中，音频信号可以对应于经由位于操作者周边的和/或夹在操作者身上的麦克风接收的口头交流。在一些示例中，音频信号可以被合成和/或可以对应于响应于操作者经由输入接口做出的选择(例如，按下按钮以启动音频信号的回放)而接收到的预录音频。

在过程620处，确定与音频信号相关联的目标。通常，目标对应于位于患者周边的一个或多个实体。例如，目标可以包括患者、患者周边的人员等。在一些示例中，可以基于来自操作者的手动输入(例如，经由输入接口做出的选择)、音频信号的内容、包括在音频信号中的关键字和/或关键短语等来确定目标。

在过程630处，接收与目标相关联的跟踪数据。如前所述，音频信号的目标可以对应于患者、位于患者周边的人员等。在一些实施例中，跟踪数据可以识别目标在患者周边内的相对位置和/或绝对位置。在一些实施例中，跟踪数据可以对应于基于患者周边的人员佩戴的RFID标签(和/或任何其他合适的跟踪设备)的RFID跟踪数据。在一些示例中，可以根据在患者周边收集的传感器数据(例如，图像和/或音频传感器数据)导出该跟踪数据。

在过程640处，经由音频再现系统在患者周边再现音频信号。音频再现系统基于在过程630处接收的跟踪数据将再现的音频信号导向或聚焦在目标上。在一些实施例中，音频再现系统可以包括定向声音系统、分布在患者周边的多个扬声器和/或能够以本地化方式再现音频信号的任何其他音频再现系统。在一些实施例中，可以在目标位置处或附近以最大音量再现音频信号，而可以降低其他地方的音量以减轻噪声污染和/或在患者周边的非目标的干扰。

转到图7，其示出了音频系统700。成像系统790(其可以是补充成像系统)可以用于捕获患者解剖结构的内部部件的影像。例如，成像系统790可以是内窥镜、相机、超声探头、CT扫描仪、MRI机器和X射线机器，或任何其他合适的设备。在成像系统790捕获影像的同时，操作者O可能正经由位于操作者环境224中的主控组件714和显示系统715操作操纵器组件711(例如，操纵器组件102)并且更具体地操作一个或多个器械712(其可以包括例如成像器械，例如内窥镜或内窥镜/工具组合体)。成像系统790可以被配置为识别具有患者环境722内的患者P的解剖结构内的感兴趣的特征、状况或事件的区域。例如，过度出血、异物(例如，外科手术螺钉)的识别或器械与特定解剖特征的接近度可能是操作者需要注意的区域。然而，来自器械712的在显示系统715上呈现给操作者O的内窥镜视场可能不会记录或捕获感兴趣区域，因为事件或特征在内窥镜视场之外。因此，成像系统790可以是可操作的，以独立于操作者O检测感兴趣区域。器械视场791的位置和取向相对于器械系统视场792可以是已知的。例如，跟踪系统740可以确定、登记并跟踪器械712(并且更具体地在一些情况下为器械712的视场791)和成像系统790的视场792之间的空间关系。在一些实施例中，跟踪系统740可以类似于跟踪系统240。在一些实施例中，器械视场791相对于成像系统视场792的位置可以基于器械712和成像系统790之间的运动学关系是已知的。在辨别出感兴趣区域后，跟踪系统740可以确定器械712的视场791或视场791的起始点(例如成像器械的远端)与成像系统的视场792内的感兴趣区域的具体位置之间的空间关系。

基于感兴趣区域和视场791之间的空间关系，音频布置控制器750可以确定来自合成音频源760的合成音频信号的模拟位置。模拟位置可以表示视场791之外和相对于视场791的感兴趣区域(例如，患者出血、有风险的区域)。合成音频源760可以是警报生成器或被配置为响应于感兴趣区域的辨识而生成音频警报的其他部件/软件。在一些实施例中，合成音频源760可以是成像系统790、音频布置控制器750和/或跟踪系统740的一部分。音频布置控制器750可以使用合成音频信号的模拟位置来选择音频产生系统的一个或多个扬声器770a、770b，合成音频信号通过该音频产生系统发出。一个或多个扬声器的选择可以包括确定从一个或多个扬声器播放合成音频信号的音量。例如，虚拟音频环境(其可以对应于操作者环境724)中在操作者正左侧的模拟位置可能致使音频布置控制器750仅选择80dB的左扬声器770a，而在操作者正前方的模拟位置可能致使音频布置控制器750选择均为70dB的扬声器770a和770b两者。这两个方向之间的模拟位置可能导致左扬声器770a以75dB播放合成音频信号，而右扬声器770b以65dB播放合成音频信号。

在图7所示的实施例中，在成像系统790的视场792中检测到的感兴趣区域主要在器械712(例如内窥镜)的视场791的左边。因此，音频布置控制器750可以确定包含对操作者的警告的合成音频信号应该主要从左扬声器770a发出以警告或提高操作者对视场791的左侧正被操作者O在显示系统715上查看的感兴趣区域的感识。这可以提示操作者O操纵器械712以向左看并查看感兴趣的事件或特征。

应当理解，成像系统790可以不包括内窥镜，而是可以是CT扫描仪、超声探头等，其影像可以通过跟踪系统740相对于器械712被空间配准。此外，当操作者O操纵器械712的内窥镜以将视场791与成像系统790的视场792重叠时，显示系统715可以将来自成像系统790的解剖影像与器械712的相机视图叠加。

图8是根据一些实施例的用于产生音频信号的方法800的简化图。根据与图7一致的一些实施例，方法800可以在医疗程序期间由音频系统的控制器(例如音频布置控制器750)执行。在一些实施例中，方法800可以允许在医疗程序中使用的医疗系统的操作者体验虚拟音频环境，该虚拟音频环境包括提供操作者视场之外的感兴趣区域的定向指示的合成音频信号。

在过程810处，可以从合成音频源(例如合成音频源760)接收合成音频信号。可以在方法800期间的任何时间执行过程810，不一定在其他过程之前。在一些实施例中，合成音频源760可以是警报生成器或被配置为生成与感兴趣区域相关联的音频指示的其他部件/软件。

在过程820处，可以接收患者环境内的感兴趣区域的位置数据。在一些实施例中，感兴趣区域可以是患者解剖结构内的区域。在一些实施例中，感兴趣区域可以在患者体内在操作者的主要成像系统(例如内窥镜)的视场(例如，视场791)之外的区域中。在一些实施例中，感兴趣区域可以是通过图像处理或其他检测技术在补充成像系统的视场(例如，视场792)中可检测的。两个成像系统的视场可以被配准，使得操作者视野之外的感兴趣区域的位置数据的方向相对于操作者的视场是已知的。

在过程830处，基于位置数据在虚拟音频环境中确定合成音频信号的模拟位置。在一些实施例中，虚拟音频环境是提供给位于操作者环境724中的操作者的音频环境，在其中合成音频信号所起源的感知位置和/或方向性可以被安排为与患者环境722中的操作者的视场对应。

在过程840处，经由音频产生系统(例如扬声器770a、770b)在虚拟音频环境中的模拟位置处产生合成音频信号。在一些实施例中，虚拟音频环境是操作者O在操作者环境724中所经历的音频环境。

处理器(例如音频布置控制器250和/或音频投射控制器460的处理器)的一些示例可以包括非瞬态有形的机器可读介质，该非瞬态有形的机器可读介质包括可执行代码，当由一个或多个处理器(例如、音频布置控制器250和/或音频投射控制器460的处理器)运行该可执行代码时，可以致使一个或多个处理器执行方法500、600和/或800的过程。可以包括方法500和/或600的过程的一些常见形式的机器可读介质是例如软盘、柔性盘、硬盘、磁带、任何其他磁介质、CD-ROM、任何其他光学介质、穿孔卡片、纸带、具有孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储芯片或盒，和/或处理器或计算机适于读取的任何其他介质。

尽管已经示出和描述了一些说明性实施例，但是在前述公开中预期了广泛的修改、改变和替换，并且在一些情况下，可以采用这些实施例的一些特征而并不对应地使用其他特征。本领域普通技术人员将认识到许多变化、替代和修改。因此，本发明的范畴应仅由随附权利要求限制，并且以与本文公开的实施例的范畴一致的方式宽泛地解释权利要求是合适的。

Claims (36)

1.一种音频系统，包含：

一个或多个音频传感器；

跟踪系统；

音频再现系统；以及

音频布置控制器，其耦合到所述一个或多个音频传感器、所述跟踪系统和所述音频再现系统，其中所述音频布置控制器被配置为执行包含以下各项的操作：

在所述一个或多个音频传感器处接收音频信号；

从所述跟踪系统接收跟踪数据，所述跟踪数据与所述音频信号的源的物理音频环境中的实际位置相关联；

确定所述音频信号在虚拟音频环境中的模拟位置；以及

经由所述音频再现系统在所述虚拟音频环境中的所述模拟位置处再现所述音频信号。

2.根据权利要求1所述的音频系统，其中所述一个或多个音频传感器被配置为在患者环境中检测所述音频信号。

3.根据权利要求2所述的音频系统，其中所述音频信号对应于所述患者环境中的患者或人员的口头交流。

4.根据权利要求2所述的音频系统，其中所述音频信号对应于所述患者环境中的患者监测设备的音频输出。

5.根据权利要求2所述的音频系统，其中所述音频信号对应于所述患者环境中的医疗系统的音频输出。

6.根据权利要求1所述的音频系统，其中所述跟踪数据对应于附接到所述音频信号的所述源的跟踪设备。

7.根据权利要求1所述的音频系统，其中所述跟踪数据从所述音频信号导出。

8.根据权利要求1所述的音频系统，其中所述音频信号的所述模拟位置不同于基于所述跟踪数据的所述实际位置。

9.根据权利要求1所述的音频系统，其中所述模拟位置基于所述音频信号的一个或多个属性来确定。

10.根据权利要求1所述的音频系统，其中所述模拟位置基于确定所述音频信号与紧急消息相关联或被传达给所述音频系统的收听者而确定。

11.根据权利要求1所述的音频系统，其中所述模拟位置使用人工神经网络来确定。

12.根据权利要求1所述的音频系统，其中所述音频再现系统包括立体声系统、环绕声系统或由所述音频系统的收听者佩戴的耳机。

13.根据权利要求1所述的音频系统，还包含合成音频源，其中所述操作还包含：

从所述合成音频源接收合成音频信号；

确定所述合成音频信号在所述虚拟音频环境中的第二模拟位置；以及

经由所述音频再现系统发出具有基于所述虚拟音频环境中的所述第二模拟位置的特性的所述合成音频信号。

14.根据权利要求13所述的音频系统，其中所述合成音频信号对应于患者的生理过程的音频表示。

15.一种系统，包含：

存储器；以及

一个或多个处理器，其耦合到所述存储器，所述一个或多个处理器被配置为从所述存储器读取指令并执行包含以下各项的操作：

接收在患者环境中检测到的音频信号；

接收与所述音频信号的源在所述患者环境中的位置相关联的跟踪信息；

确定所述音频信号在虚拟音频环境中的模拟位置；以及

在操作者环境中经由音频再现系统再现所述音频信号，其中所述音频再现系统提供具有基于在所述虚拟音频环境中的收听者位置与所述模拟位置之间的空间关系的特性的所述音频信号。

16.根据权利要求15所述的系统，其中所述音频信号对应于所述患者环境中的人员的口头交流。

17.根据权利要求15所述的系统，其中所述音频信号对应于所述患者环境中的医疗设备的音频输出。

18.根据权利要求15所述的系统，其中从附接到所述音频信号的所述源的跟踪设备接收所述跟踪信息。

19.根据权利要求15所述的系统，其中确定所述音频信号在所述虚拟音频环境中的所述模拟位置包括从所述患者环境改变所述音频信号的所述源的所述位置。

20.根据权利要求15所述的系统，其中确定所述音频信号在所述虚拟音频环境中的所述模拟位置包括从所述患者环境匹配所述音频信号的所述源的所述位置。

21.一种方法，包含：

在使用医疗系统执行的医疗程序期间接收在患者环境中检测到的音频信号；

接收与所述音频信号的源相关联的跟踪数据；

确定所述音频信号在虚拟音频环境中的模拟位置；以及

在操作者环境中经由音频再现系统再现所述音频信号，其中所再现的音频信号的至少一个特性基于所述虚拟音频环境中的所述模拟位置。

22.根据权利要求21所述的方法，其中所述音频信号对应于所述患者环境中的人员的口头交流。

23.根据权利要求21所述的方法，其中所述音频信号对应于所述患者环境中的医疗设备的音频输出。

24.根据权利要求21所述的方法，其中从附接到所述音频信号的所述源的跟踪设备接收所述跟踪数据。

25.根据权利要求21所述的方法，其中确定所述音频信号在所述虚拟音频环境中的所述模拟位置包括从所述患者环境改变所述音频信号的所述源的所述位置。

26.根据权利要求21所述的方法，其中确定所述音频信号在所述虚拟音频环境中的所述模拟位置包括从所述患者环境匹配所述音频信号的所述源的所述位置。

27.一种方法，包含：

从医疗系统的操作者接收音频信号；

确定与所述音频信号相关联的目标，所述目标位于患者环境中；

接收与所述目标相关联的跟踪数据；以及

在所述患者环境中经由音频再现系统再现所述音频信号，其中所述音频再现系统基于所述跟踪数据朝向所述目标引导所再现的音频信号。

28.根据权利要求27所述的方法，其中所述音频信号对应于来自操作者环境中的操作者的口头交流。

29.根据权利要求27所述的方法，其中目标在所述患者环境中是可移动的，并且从附接到所述目标的跟踪设备接收所述跟踪数据。

30.一种音频系统，包含：

音频产生系统；

合成音频源；以及

音频布置控制器，其耦合到所述合成音频源，其中所述音频布置控制器被配置为执行包含以下各项的操作：

从所述合成音频源接收合成音频信号；

接收患者环境中的感兴趣区域的位置数据；

基于所述位置数据确定所述合成音频信号在虚拟音频环境中的模拟位置；以及

经由所述音频产生系统在所述虚拟音频环境中的所述模拟位置处产生所述合成音频信号。

31.根据权利要求30所述的音频系统，其中所述合成音频信号对应于所述感兴趣区域中的患者的生理过程。

32.根据权利要求31所述的音频系统，其中所述生理过程包括呼吸、心跳或血流中的至少一种。

33.根据权利要求30所述的音频系统，其中所述合成音频信号包括与在所述感兴趣区域中检测到的状况相关联的警报。

34.根据权利要求30所述的音频系统，其中所述感兴趣区域在所述患者环境中的患者解剖结构内，并且其中所述感兴趣区域在定位于所述患者解剖结构内的第一成像系统的视场之外。

35.根据权利要求34所述的音频系统，其中确定所述合成音频信号在所述虚拟音频环境中的所述模拟位置包括确定所述感兴趣区域的所述位置数据与所述第一成像系统的所述视场之间的空间关系。

36.根据权利要求34所述的音频系统，其中所述感兴趣区域在所述患者环境内的第二成像系统的视场中是可检测的。

Images