CN109069221A - 控制装置、控制方法、程序和声音输出系统 - Google Patents

Abstract

期望提供可以在手术期间保证手术参与者之间的语音通信的特征。提供了一种设置有声音输出控制单元的控制装置，该声音输出控制单元基于与手术相关的信息控制通过声音输出装置进行的声音输出。

Description

控制装置、控制方法、程序和声音输出系统

技术领域

本公开内容涉及控制装置、控制方法、程序和声音输出系统。

背景技术

近年来，各种技术已经公开作为用于促进手术的技术。例如，公开(例如，参考专利文献1)了其中设备提前与多个手术类型中的一个相关的技术，多个手术类型显示为手术类型的候选，并且当使用者从候选类型选择手术类型时，与所选择的手术类型相关的设备被呈现给使用者。利用该技术，可以掌握对用于所选择的手术类型的设备的了解。

现有技术文献

专利文献

专利文献1：JP H11-085876A号公报

发明内容

技术问题

在手术期间，在手术参与者之间执行语音通信是常见的。然而，可能存在干扰语音通信的因素。因此，期望提供能够在手术期间确保手术参与者之间更可靠的语音通信的技术。

问题的解决方案

根据本公开内容，提供了一种包括声音输出控制单元的控制装置，该声音输出控制单元基于与手术相关的信息控制通过声音输出装置进行的声音输出。

根据本公开内容，提供了一种控制方法，该控制方法包括通过处理器基于与手术相关的信息控制通过声音输出装置进行的声音输出。

根据本公开内容，提供了一种使计算机起到包括声音输出控制单元的控制装置的作用的程序，该声音输出控制单元基于与手术相关的信息控制通过声音输出装置进行的声音输出。

根据本公开内容，提供了一种声音输出系统，包括：声音输出装置，执行声音输出；以及控制装置，包括声音输出控制单元，该声音输出控制单元基于与手术相关的信息控制通过声音输出装置进行的声音输出。

本发明的优势效果

如上所述，根据本公开内容，提供了能够在手术期间确保手术参与者之间更可靠的语音通信的技术。应注意，上述效果不必是限制性的。利用或代替上述效果，可以实现本说明书中描述的任何一种效果或者可以从本说明书中理解的其他效果。

附图说明

[图1]是示意性地示出了根据本公开中公开的实施方式的手术室系统的总体配置的示图。

[图2]是示出了集中式操作面板上的操作屏幕显示的实例的示图。

[图3]是示出了根据本公开中公开的第一实施方式的声音输出控制单元的配置的实例的示图。

[图4]是从上看的手术室的状态的视图。

[图5]是示出了其中表示手术类型和手术室的信息与声源布置信息相关的相关性数据库的配置的实例的示图。

[图6]是示出了声源布置信息的配置的实例的示图。

[图7]是示出了麦克风布置数据库的配置的实例的示图。

[图8]是示出了声音输出装置数据库的配置的实例的示图。

[图9]是示出了根据本公开中公开的第一实施方式的声音输出控制单元的操作的实例的流程图。

[图10]是示出了根据本公开中的第二实施方式的声音输出控制单元和显示控制单元的配置的实例的示图。

[图11]是示出了语音识别结果的显示的实例的示图。

具体实施方式

在下文中，将参考附图详细描述本公开内容的优选实施方式。应注意，在本说明书和附图中，具有基本上相同的功能和结构的结构元件用相同的参考标号表示，并且省略这些结构元件的重复说明。

应注意，在本说明书和附图中，具有基本上相同的功能和结构的结构元件有时在相同的参考符号之后使用不同的字母彼此不同。然而，当不必特别区分具有基本上相同的功能和结构的结构元件时，仅附加相同的参考符号。

应注意，将按以下顺序执行描述：

0.系统配置实例

1.第一实施方式

1.1功能配置实例

1.2操作实例

1.3变形例

2.第二实施方式

2.1功能配置实例

2.2变形例

3.结论

<0.系统配置实例>

首先，将说明根据本公开内容中公开的实施方式的手术室系统的配置的实例。

图1是示意性地示出了根据本公开中公开的实施方式的手术室系统3000的总体配置的示图。参考图1，手术室系统3000由安装在手术室中的由视听控制器(AV控制器)3007和手术室控制装置(简称为“控制装置”)3009连接的一组装置进行配置，以便能够彼此合作。

各种装置可以安装在手术室中。例如，图1示出了用于内窥镜手术的各种类型的一组装置3001、设置在手术室的天花板上捕获外科医生的手的图像的天花板照相机3701、设置在手术室的天花板上捕获手术室的总体状态的图像的手术视野照相机3703、多个显示装置3003A至3003D、记录器3005、病床3503、照明3705、麦克风阵列(声音收集单元)3709、耳机3711和指向性扬声器3713。

在此，关于这些装置，这组装置3001属于随后描述的内窥镜手术系统，并且包括内窥镜和显示通过内窥镜捕获的图像的显示装置。属于内窥镜手术系统的每个装置还称为医疗装置。另一方面，显示装置3003A至3003D、记录器3005、病床3503、照明3705、麦克风阵列(声音收集单元)3709、耳机3711和指向性扬声器3713是设置在手术室中的例如与内窥镜手术系统分开的装置。这些不属于内窥镜手术系统的装置称为非医疗装置。视听控制器3007和/或手术室控制装置3009控制这些医疗装置和非医疗装置彼此协同操作。

视听控制器3007综合控制与医疗装置和非医疗装置中的图像显示相关的处理。更具体地，关于包括在手术室系统3000中的装置，该组装置3001、天花板照相机3701和手术视野照相机3703可以是具有发送在手术期间要显示的信息(在下文中，还称为显示信息)的功能的装置(在下文中，还称为发送源装置)。此外，显示装置3003A至3003D可以是显示信息输出至的装置(在下文中，还称为输出目标装置)。此外，记录器3005可以是对应于发送源装置和输出目标装置这两者的装置。连同控制发送源装置和输出目标装置的操作并且从发送源装置获取显示信息的视听控制器3007具有将显示信息发送至输出目标装置并且使得该信息被显示或记录的功能。应注意，显示信息是在手术期间捕获的各种图像、以及与手术相关的各种信息等(例如，患者的身体信息、以前的检查结果、手术类型、表示手术室的信息、表示外科医生的信息、表示手术参与者的信息等)。

更具体地，与通过内窥镜捕获的患者的体腔中的手术部位的图像的信息可以作为显示信息从该组装置3001发送至视听控制器3007。此外，与通过天花板照相机3701捕获的外科医生的手的图像相关的信息可以作为显示信息从天花板照相机3701发送。此外，与示出了通过手术视野照相机3703捕获的手术的总体状态的图像相关的信息可以作为显示信息从手术视野照相机3703发送。应注意，在具有成像功能的其他装置存在于手术系统3000中的情况下，视听控制器3007可从其他装置获取与通过其他装置捕获的图像相关的信息作为显示信息。

可替换地，例如，在过去捕获的这些图像的信息可通过视听控制器3007记录在记录器3005中。视听控制器3007能够从记录器3005获取过去捕获的图像信息作为显示信息。应注意，可以在记录器3005中提前记录与手术相关的各种信息。

视听控制器3007使得获取的显示信息(换言之，在手术期间捕获的图像以及与手术相关的各种信息)显示在作为输出目标装置的显示装置3003A至3003D中的至少任一个上。在图1中示出的实例中，显示装置3003A是位于从手术室的天花板悬挂的显示装置，显示装置3003B是位于手术室的墙壁表面上的显示装置，显示装置3003C是位于手术室内部的桌子上的显示装置，并且显示装置3003D是具有显示功能的移动装置(例如，平板PC(个人计算机))。

此外，尽管在图1中未示出，但是手术室系统3000可包括手术室外部的装置。例如，手术室外部的装置可以是连接至医院内部或外部构建的网络的服务器、医务人员使用的PC、安装在医院的会议室中的投影仪等。在这种外部装置位于医院外部的情况下，为了执行远程医疗，视听控制器3007能够使得显示信息经由电视会议系统等显示在另一个医院中的显示装置上。

手术室控制装置3009综合控制除了与非医疗装置上的图像显示相关的处理之外的处理。例如，手术室控制装置3009控制病床3503、天花板照相机3701、手术视野照相机3703、照明3705、麦克风阵列(声音收集单元)3709、耳机3711和指向性扬声器3713的驱动。

手术室系统3000设置有集中式操作面板3011，并且使用者经由集中式操作面板3011能够命令视听3007图像显示，或者能够命令手术室控制装置3009操作非医疗装置。集中式操作面板3011通过在显示装置的显示表面上提供触摸板进行配置。

图2是示出了集中式操作面板3011上的操作屏幕显示的实例的示图。图2示出了对应于两个显示装置作为输出目标装置设置在手术室系统3000中的情况的操作屏幕的实例。参考图2，操作屏幕3800设置有发送源选择区3810、预览区3820和控制区3830。

在发送源选择区3810中，包括在手术室系统3000中的发送源装置以及表示这些发送源装置具有的显示信息的略图屏幕相关并显示。使用者能够从在发送源选择区3810中显示的发送源装置的任一个中选择要显示在显示装置上的期望的显示信息。

在预览区3820中，预览是要显示在作为输出目标装置的两个显示装置(监控器1和监控器2)上的屏幕的显示。在图2中的实例中，四个图像被PinP显示在一个显示装置上。四个图像是对应于从发送源选择区3810中选择的发送源装置发送的显示信息的图像。关于四个图像，一个图像相对大的显示为主图像，并且剩余三个图像相对小的显示为子图像。使用者可以通过适当选择其中显示四个图像的区域交换主图像和子图像。此外，状况显示区3821可以设置在其中显示四个图像的区域的下部分中，并且与手术相关的状况(例如，手术的经过时间、患者的身体信息等)可适当地显示在该区域中。

控制区3830设置有：发送源操作区3831，其中显示用于执行发送源装置的操作的GUI(图形使用者界面)组件；以及输出目标操作区3833，其中显示用于执行输出目标装置的操作的GUI组件。在图2中示出的实例中，发送源操作区3831设置有用于执行具有成像功能的发送源装置的照相机的各种操作(摇摄、倾斜和缩放)的GUI组件。通过适当选择这些GUI组件，使用者能够控制发送源装置的照相机的操作。应注意，即使在图2中省略了，但是在发送源选择区3810中选择的发送源装置是记录器的情况下(换言之，在预览区3820中显示通过记录器过去记录的图像的情况下)，发送源选择区3831可以设置有用于执行图像的播放、停止、倒带、快进等的GUI组件。

此外，输出目标操作区3833设置有用于执行作为输出目标装置的显示装置上的显示器的各种操作(交换、翻转、色彩调整、对比度调整、2D显示和3D显示之间的切换)的GUI组件。通过适当选择这些GUI组件，使用者能够在显示装置上操作显示。

应注意，显示在集中式操作面板3011上的操作屏幕不限于图2中示出的实例，并且使用者经由集中式操作面板3011可以将操作输入至手术室系统3000中包括的每一个装置并且通过视听控制器3007和手术室控制装置3009进行控制。

以上已经说明了根据本公开内容中公开的实施方式的手术室系统3000的配置的实例。在此，在手术期间，在手术参与者之间执行语音通信是常见的。然而，可能存在干扰语音通信的因素。例如，在诸如手术参与者配置口罩等的情况下，口罩可变成干扰语音通信的因素。此外，通过手术中使用的装置生成的噪声可变成干扰语音通信的因素。

此外，还可以假设输出通过附着于手术参与者的麦克风收集的言语。然而，手术参与者(例如，外科医生、助手等)需要保持干净，并且难以清洁的麦克风必须保持干净，因此输出通过附着于手术参与者的麦克风收集的言语不是逼真的。因此，优选的是提供能够在手术期间保证手术参与者之间更可靠的语音通信的技术。应注意，在以下说明中，语音(语音或言语)和声音将彼此不同。

<1.第一实施方式>

将继续说明根据本公开内容的第一实施方式。

[1.1功能配置实例]

首先，将说明根据本公开中公开的这个第一实施方式的声音输出控制单元100A的配置的实例。图3是示出了根据本公开中公开的第一实施方式的声音输出控制单元100A的配置的实例的示图。声音输出控制单元100A可以包括在上述手术室控制装置3009中，或者可包括在与手术室控制装置3009不同的控制装置中。如图3所示，根据本公开中公开的第一实施方式的声音输出控制单元100A包括声源定位单元110、声源分离单元120和声源混合单元130。

应注意，在根据本公开的这个第一实施方式中，假设其中声音输出控制单元100A的功能通过算术运算装置执行从存储装置(例如，磁存储装置、半导体存储装置、和光存储装置、磁光存储装置等)读取的程序来实现的情况，然而，声音输出控制单元100A还可以通过专用硬件(专用电子电路)实现。

声音输出控制单元100A基于与手术相关的信息控制通过声音输出装置进行的声音输出。利用这种配置，可以在手术期间保证手术参与者之间更可靠的语音通信。在下文中，耳机3711和指向性扬声器3713将解释为声音输出装置的实例，然而，声音输出装置的形式不限于这些。然而，首先，各种类型的信息被假设为与手术相关的信息，将说明其中与手术相关的信息包括手术室中的声源位置信息的情况。此外，将假设其中声音输出控制单元100A基于通过麦克风(声音收集单元)3709收集的声音信息控制声音输出的情况。

图4是从上看的手术室R1的状态的视图。如图4所示，手术室R1中有病床3503，并且病人3505躺在病床3503上。此外，作为手术参与者的实例，有外科医生3501、麻醉师3502、助手3506、流动护士3509、手术助理护士3508和内窥镜医生3507。存在这些手术参与者将在手术期间发出声音(可变成声源)的可能性。应注意，手术参与者不局限于这些。

此外，在手术室R1中，存在作为装置的实例，内窥镜架3400、麻醉系统3602和能量装置3604。在手术期间存在这些装置还会发出声音(可变成声源)的可能性。应注意，装置不局限于这些。此外，在手术室R1中存在麦克风M1至M6。麦克风M1至M6可组成麦克风阵列(声音收集单元)3709。麦克风的数量不受具体限制。

此外，假设流动护士3509将在手术期间来回移动，然而，控制指向性扬声器3713与流动护士3509的移动匹配是困难的。因此，通过由流动护士3509佩戴的耳机3711执行至流动护士3509的声音输出。换言之，声音输出控制单元100A控制通过与流动护士3509相关联的耳机(声音输出装置)3711进行的声音输出。

另一方面，假设其他手术参与者在手术期间没有大量移动，因此通过使用指向性扬声器3713的指向性执行至其他手术参与者的声音输出。换言之，声音输出控制单元100A根据那些其他手术参与者(权利要求6)的位置控制声音输出。更具体地，声音输出控制单元100A控制通过指向性扬声器(声音输出装置)3713进行的声音输出，以致声音朝向其他手术参与者的位置输出。然而，哪个手术参与者佩戴耳机3711不受限制。

此外，手术室R1中存在以上描述的集中式操作面板3011，并且也存在显示装置3403。通过内窥镜捕获的患者的体腔内部的手术部位的图像被显示在显示装置3403上。外科医生3501在观看显示在显示装置3403上的手术部位的实时图像的同时使用各种器械在患者上执行手术。此外，手术室R1中存在器械台3606。各种器械放置在器械台3606上，并且手术助理护士3508执行从器械台3606拿走各种器械并且将它们交给外科医生3501等的工作。

返回至图3，将继续该说明。声音输出控制单元100A通过声源定位单元110基于预定数据确定声源位置。可以任何方式执行声源位置信息的确定。例如，可以根据手术类型、手术室和手术参与者(例如，外科医生)中的至少任一个判定声源位置。因此，声音输出控制单元100A通过声源定位单元110基于手术类型、手术室和手术参与者中的至少任一者确定声源位置信息。在下文中，将说明其中声源位置信息基于手术类型和手术室来确定的实例。

首先，声音输出控制单元100A通过声源定位单元110获取表示手术类型和手术室的信息。可以任何方式获取表示手术类型和手术室的信息。例如，在表示手术类型和手术室的信息被记录在记录器3005中的情况下，可以从记录器3005获取表示手术类型和手术室的信息。可替换地，表示手术类型和手术室的信息可经由集中式操作面板3011输入。声音输出控制单元100A通过声源定位单元110基于表示手术类型和手术室的信息确定声源位置信息。

图5是示出了其中表示手术类型和手术室的信息与声源布置信息相关的相关性数据库D10的配置的实例的示图。例如，使手术类型T1、手术室R1和声源布置信息N1相关的数据包括在相关性数据库D10中。可以适当更新相关性数据库D10的内容，以便适合使用相关性数据库D10的医院。应注意，相关性数据库D10可以记录在任何地方。例如，相关性数据库D10可以记录在记录器3005中。

图6是示出了声源布置信息N1的配置的实例的示图。如图6所示，声源布置信息N1包括声源名称(声源识别信息)和声源位置信息的多个组合。应注意，在图6中，例如，声源位置信息用二维坐标表示，然而，用于表示声源位置信息的形式不受限制，并且还可以用三维坐标表示。此外，声源布置信息N1可以记录在任何地方。例如，声源布置信息N1可以记录在记录器3005中。

例如，声音输出控制单元100A通过声源定位单元110获取与获取的表示手术类型和手术室的信息的组合匹配的相关的声源布置信息的组合。在此，假设其中相关的声源布置信息N1的组合与手术类型T1和手术室R1的组合匹配的情况。例如，在声源布置信息N1中包括声源“外科医生”的声源位置信息(X11，Y11)。

应注意，以此方式获得的声源位置信息不可正确表示实际的声源位置。因此，声源位置信息可通过预定手术参与者进行识别。例如，在声源位置信息显示在集中式操作面板3011上，并且确认显示的声源位置信息正确表示实际的声源位置的情况下，预定手术参与者可输入声源位置信息正确的事实。然后，在输入声源位置信息正确的事实之后，可执行后续操作。

图7是示出了麦克风布置数据库D20的配置的实例的示图。如图7所示，在麦克风布置数据库D20中包括使麦克风ID和麦克风位置相关的数据。应注意，在图7中，例如，麦克风位置由二维坐标表示，然而，用于表示麦克风位置的形式不受限制并且可由三维坐标表示。此外，麦克风布置数据库D20可记录在任何地方。例如，麦克风布置数据库D20可记录在记录器3005中。

图8是示出了声音输出装置数据库P1的配置的实例的示图。如图8所示，在声音输出装置数据库P1中包括使手术参与者和声音输出装置相关的数据。例如，声音输出装置“耳机”与手术参与者“流动护士”相关。应注意，声音输出装置数据库P1可记录在任何地方。例如，声音输出装置数据库P1可记录在记录器3005中。

返回至图3，将继续该说明。声音输出控制单元100A通过声源分离单元120基于麦克风M1至M6的位置(X21，Y21)至(X26，Y26)和声源位置信息(X11，Y11)至(X19，Y19)执行通过麦克风M1至M6收集的声音信息的声音分离。作为声音分离的结果，获得为每个声源分离的声音信息。

在声源分离中，进一步考虑手术参与者的属性(例如，性别、年龄等)。换言之，在声源分离中，可以进一步包括对应于手术参与者的属性的语音频率。在那种情况下，期望的是将改善声源分离的精确性。然后，声音输出控制单元100A通过声源混合单元130基于声音分离的结果控制声音输出。

例如，声音输出控制单元100A通过声源混合单元130基于声源分离的结果减少来自通过麦克风M1至M6收集的声音信息的噪声，然后基于噪声减少之后的声音信息控制声音输出。例如，存在装置(内窥镜架3400、麻醉系统3602和能量装置3604)将发出噪声的可能性。因此，声音输出控制单元100A通过声源混合单元130通过混合来自手术参与者(外科医生3501、麻醉师3502、助手3506、流动护士3509、手术助理护士3508和内窥镜医生3507)的声音信息减少噪声，并且基于噪声减少之后的声音信息控制声音输出。

应注意，如上所述，声音输出控制单元100A通过声源混合单元130控制通过与流动护士3509相关的耳机(声音输出装置)3711进行的声音输出。此外，声音输出控制单元100A通过声源混合单元130根据其他手术参与者的位置控制声音输出。更具体地，声音输出控制单元100A控制通过指向性扬声器3713进行的声音输出，使得声音朝向其他手术参与者的位置输出。

[1.2操作实例]

以上参考图1至图8说明了根据本公开中公开的第一实施方式的声音输出控制单元100A的配置的实例。将继续说明根据本公开中公开的第一实施方式的声音输出控制单元100A的操作的实例。

图9是示出了根据本公开中公开的第一实施方式的声音输出控制单元100A的操作的实例的流程图。如图9所示，首先，声音输出控制单元100A通过声源定位单元110获取表示手术类型和手术室的信息(S11)。然后，声源定位单元110基于获取的表示手术类型和手术室的信息确定声源位置(S12)。在集中式操作面板3011上显示所确定的声源位置信息。

在不确认显示的声源位置信息正确表示实际的声源位置的情况下(S13：否)，则操作继续移动至S11。另一方面，在确认显示的声源位置信息正确表示实际的声源位置的情况下(S13：是)，声音输出控制单元100A通过声源分离单元120获取通过麦克风M1至M6收集的声音信息(S14)。

接下来，声音输出控制单元100A通过声源分离单元120基于麦克风M1至M6的位置(X21，Y21)至(X26，Y26)和声源位置信息(X11，Y11)至(X19，Y19)执行通过麦克风M1至M6收集的声音信息的声音分离(S15)。声音输出控制单元100A通过声源混合单元130继续基于声源分离的结果减少来自通过麦克风M1至M6收集的声音信息的噪声，并且基于噪声减少之后的声音信息控制声音输出。因此，形成具有减少噪声的声场(S16)。

在表示手术类型和手术室的信息存在变化的情况下(S17：否)，声音输出控制单元100A继续移动操作至S11。另一方面，在表示手术类型和手术室的信息不存在变化的情况下(S17：是)，声音输出控制单元100A移动操作至S18。在没完成手术的情况下(S18：否)，声音输出控制单元100A移动操作至S14，然而，在完成手术的情况下(S18：是)，声音输出控制单元100A结束语音输出操作。

应注意，可以任何方式确定手术结束。例如，在执行显微镜手术或内窥镜手术的情况下，手术视野的成像结束可被认为是手术结束。可替换地，在术前规划中设置手术中要执行的流程的情况下，已经检测到要在手术中执行的所有流程时的时间点可被认为是手术结束，或者已经检测到要在手术中执行的最后一个流程时的时间点可被认为是手术结束。可替换地，预定时间量已经从这些时间点过去的间点可被认为是手术结束。

[1.3变形例]

各种变形可应用于根据本公开的第一实施方式。例如，在以上描述中，说明了确定声源位置信息的实例，然而，可以任何方式确定声源位置信息。例如，声音输出控制单元100A通过声源定位单元110可基于通过手术视野照相机(成像装置)3703捕获的图像确定声源位置信息。可以使用三维测量技术(SLAM：同步定位与地图构建)和识别技术用于确定声源位置。

此外，在手术参与者佩戴口罩的情况下，在一些情况下，手术参与者的面部识别可能是困难的。因此，在手术参与者佩戴名牌并且从图像识别该名牌的情况下，名牌的位置可确定为对应于该名牌的手术参与者的位置。此外，在标记附着于装置并且从图像识别标记的情况下，标记的位置可确定为标记附着的装置的位置。应注意，图像检测是不使用无线电波的被动感测，因此甚至在手术期间也安全执行。

此外，诸如手术参与者和装置的声源被认为发出一定量的热量。因此，声音输出控制单元100A通过声源定位单元110可以基于通过热像装置的检测结果确定声源位置信息。例如，在由热像装置检测到发出超过某个量的热量的位置的情况下，该位置可被确定为声源的位置。应注意，热量检测是不使用无线电波的被动感测，因此甚至在手术期间也安全执行。

此外，通过将发送器附加至诸如手术参与者和装置的声源，并且将接收器安装在手术室中，声音输出控制单元100A通过声源定位单元110可以基于通过从发送器发送的无线电信号的接收器接收的结果确定声源位置信息。例如，发送器的位置(换言之，声源的位置)可基于无线电信号到接收器的到达方向和无线电信号在接收器处的接收强度确定。

此外，声音输出控制单元100A通过声源定位单元110可有意使得声音从诸如手术参与者和装置的声源输出，基于通过麦克风M1至M6收集的声音信息确定声源位置信息。当这样做时，声源可通过使得不同声音从每个声源发出进行识别，或者可以提前设置从每个声源输出的声音的顺序，并且可基于收集的声音的顺序识别声源。

仅可以使用用于确定声源位置信息的这些方法，或者为了改善确定声源位置信息的精确性，可以结合使用用于确定声源位置信息的这些方法中的任一个。可替换地，声源位置信息不需要通过声源定位单元110来确定。例如，声源位置信息可经由集中式操作面板3011等手动输入。

此外，在以上描述中，说明了其中基于声源分离的结果，声音输出控制单元100A通过声源混合单元130减少来自通过麦克风M1至M6收集的声音信息的噪声，并且基于噪声减少之后的声音信息控制声音输出的实例。然而，基于声源分离的结果的处理不限于噪声减少。例如，基于声源分离的结果的处理可以是相对强调来自预定声源的声音信息的处理。

换言之，声音输出控制单元100A通过声源混合单元130可以基于通过麦克风M1至M6收集的声音的声音信息的声源分离的结果为基础相对强调来自预定声源的声音信息，并且基于强调之后的声音信息控制声音输出。相对强调来自预定声源的声音信息可以是增加来自预定声源的声音信息的音量，或者可以是降低来自预定声源的声音信息的音量(包括消除声音的音量)，或者可以是这两者。

预定声源可以是预定手术参与者或者可以是预定装置。例如，关于基于通过麦克风M1至M6收集的声音的声音信息，声音输出控制单元100A可相对强调来自预定手术参与者(例如，外科医生等)的声音信息，并且基于强调之后的声音信息控制声音输出。可以提前设置预定手术参与者。

此外，确定将相对强调来自哪个手术参与者的声音信息可根据将听取输出声音的手术参与者而不同。例如，在手术助理护士将听取输出声音的情况下，可相对强调来自外科医生和助手的声音信息。

可替换地，在根据一个手术参与者的视野检测出另一个手术参与者的情况(沿着一个手术参与者的视线方向检测出另一个手术参与者的情况)下，可在一个手术参与者将听取的输出声音中相对强调来自另一个手术参与者的声音信息。此外，为了在这种检测情况下促进两个手术参与者之间的言语交流，可强调这两个手术参与者的声音信息。

此外，关于基于通过麦克风M1至M6收集的声音的声音信息，声音输出控制单元100A可相对强调来自预定装置的声音信息并且基于强调之后的声音信息控制声音输出。预定装置可提前设置或者可根据手术阶段判定。例如，在执行白内障手术的情况下，通过超声抽吸装置移除混浊的晶状体。当晶状体通过超声抽吸装置被粉碎时，发出高音调并且外科医生在检查这个高音调的同时执行手术。

因此，在发出具有比预定阈值更高频率的声音的情况下，声音输出控制单元100A可相对强调基于通过麦克风M1至M6从超声抽吸装置收集的声音的声音信息的声音信息，并且基于强调之后的声音信息控制声音输出。另一方面，在发出具有比预定阈值更低频率的声音的情况下，声音输出控制单元100A可相对强调基于通过麦克风M1至M6从另一声源收集的声音的声音信息的声音信息，并且基于强调之后的声音信息控制声音输出，或者可不必强调声音信息。

此外，在以上描述中，说明了对通过麦克风M1至M6收集的声音信息执行声源分离的实例。然而，不用必须执行声源分离。例如，声音输出控制单元100A基于预定声源从麦克风M1至M6指定麦克风(例如，为预定声源指定最近的麦克风)，并且基于通过指定的麦克风收集的声音信息控制声音输出。

预定声源可以是预定手术参与者或者可以是预定装置。例如，声音输出控制单元100A可基于预定手术参与者指定麦克风(例如，指定离预定手术参与者最近的麦克风)，并且基于通过指定麦克风收集的声音信息，根据该手术参与者控制声音输出。可以提前设置预定手术参与者。

此外，确定指定哪个麦克风可根据将听取输出声音的手术参与者而不同。例如，在手术助理护士将听取输出声音的情况下，可基于外科医生和助手指定麦克风(可指定离外科医生最近的麦克风和离助手最近的麦克风)。

可替换地，在根据一个手术参与者的视线检测出另一个手术参与者的情况(沿着一个手术参与者的视线的方向检测出另一个手术参与者的情况)下，可基于该另一个手术参与者指定将收集由一个手术参与者听取的声音的麦克风(可指定离该另一个手术参与者最近的麦克风)。此外，为了在这种检测的情况下促进两个手术参与者之间的言语交流，可基于一个手术参与者指定收集将由另一个手术参与者听取的声音的麦克风(可指定离一个手术参与者最近的麦克风)。

以上说明根据本公开内容的第一实施方式。

<2.第二实施方式>

将继续说明根据本公开内容的第二实施方式。

[2.1功能配置实例]

首先，将说明根据本公开中公开的第二实施方式的声音输出控制单元100B和显示控制单元170的配置的实例。图10是示出了根据本公开中的第二实施方式的声音输出控制单元100B和显示控制单元170的配置的实例的示图。声音输出控制单元100B可包括在上述手术室控制装置3009中，或者可包括在与手术室控制装置3009不同的控制装置中。此外，显示控制单元170可包括在上述视听控制器3007中，或者可包括在与视听控制器3007不同的控制装置中(与其中包括声音输出控制单元100B的控制装置相同的控制装置或者不同的控制装置)。

如图10所示，在根据本公开中公开的这个第二实施方式的声音输出控制单元100B中，与根据本公开内容中公开的第一实施方式的声音输出控制单元100A的不同点在于，除了声源定位单元110、声源分离单元120和声源混合单元130之外，还包括语音识别单元140、手术信息检测单元150、以及词典160。在下文中，将主要说明语音识别单元140、手术信息检测单元150和词典160。

首先，因为装置变得更复杂，因此调用导航功能和注释功能、控制装置等中使用的参数等的必要性增加，并且装置的操作也变得更复杂。因此，增加对能够在不触摸装置的情况下通过语音命令能够操作装置的技术的需要。然而，在一些情况下，直接输入到装置中的声音可能包括除了语音命令之外的声音，并且在这种情况下，存在不可改善通过装置识别语音命令的精确性的可能性。因此，基于来自预定手术参与者的声音信息的语音识别结果可输出至装置。

换言之，声音输出控制单元100B通过语音识别单元140获取从声源分离单元120为每个声源分离的声音信息作为声源分离的结果，并且基于来自预定手术参与者的声音信息执行语音识别。然后，声音输出控制单元100B通过语音识别单元140控制向装置的基于来自预定手术参与者的声音信息的语音识别的输出。利用这种类型的配置，改善通过装置识别语音命令的精确性。

应注意，为了将语音识别结果输入至装置，直接输入至装置的声音可从命令识别的目标排除。只要个人能够将语音命令输入至装置，预定手术参与者可以是任一个，并且可以是外科医生，或者可以是麻醉师。此外，能够接收语音命令的装置不受具体限制，并且在上述实例中，该装置可以是内窥镜架3400，或者可以是麻醉系统3602，或者可以是能量装置3604。

此外，在预定信息在从某个手术参与者(在下文中，称为“第一手术参与者”)发出的言语中的情况下，存在该言语是为指定的手术参与者(在下文中，称为“第二手术参与者”)设计的言语的可能性。例如，在第二手术参与者的姓名包括在从第一手术参与者发出的言语中的情况下，存在该言语是为第二手术参与者设计的言语的可能性。如另一实例，在与第二手术参与者交流中使用的预定关键字包括在从第一手术参与者发出的言语中的情况下，存在该言语是为第二手术参与者设计的言语的可能性。

因此，在与第二手术参与者相关的预定信息包括在基于来自第一手术参与者的声音信息的语音识别结果中的情况下，声音输出控制单元100B可相对强调来自第一手术参与者的声音信息，并且基于强调之后的声音信息控制根据第二手术参与者进行的声音输出(可控制朝向第二手术参与者的声音输出)。此时，为了促进两个手术参与者之间的言语交流，可强调这两个手术参与者之间的声音信息。

此外，通过控制上述声音输出，来自手术参与者的声音信息变得易于听取，然而，还可以更可靠地掌握来自手术参与者的声音信息。例如，显示控制单元170可控制基于来自预定手术参与者的声音信息的语音识别结果的显示。语音识别结果可显示在任何地方。例如，语音识别结果可显示在集中式操作面板3011上。

图11是示出了语音识别结果的显示的实例的示图。如图11所示，语音识别结果可显示为包括过去的语音识别结果的历史记录T0。此外，如图11所示，除了过去的语音识别结果之外，执行语音识别时的时间(例如，如图11所示，利用当前时间作为参考，执行语音识别时的时间量)和发出言语的手术参与者可显示在历史记录T0中。

此外，在语音识别中大体上使用语音识别的词典160。测试数据和言语相关并记录在词典160中，并且通过将通过麦克风M1至M6收集的声音信息与记录在词典160中的言语进行比较，从词典160提取与通过麦克风M1至M6收集的声音信息匹配的言语相关的文本数据。

此时，在通过手术信息检测单元150检测出外科医生正在执行的流程或手术的进程的情况下，为了改善语音识别的精确性，声音输出控制单元100B通过语音识别单元140可基于通过外科医生正在执行的流程或手术的进程选择语音识别中使用的词典160。例如，在极有可能使用预定装置的流程的情况下，可选择具有可以通过该装置接收到的命令识别的高精确性的词典160。此外，在使用的手术器械根据手术的过程而不同的情况下，可选择具有在该进程期间使用的手术器械的识别的高精确性的词典160。

应注意，可以任何方式检测出通过外科医生执行的流程或手术的进程。例如，可基于通过设置在手术室的天花板上并且捕获外科医生的手的天花板照相机3701捕获的图像检测通过外科医生执行的流程或手术的进程。可替换地，可基于通过麦克风M1至M6收集的声音信息检测通过外科医生执行的流程或手术的进程。

[2.2变形例]

各种变形例可应用于根据本公开的这个第二实施方式。例如，在以上描述中，说明了对通过麦克风M1至M6收集的声音信息执行声源分离的实例。然而，不用必须执行声源分离。例如，声音输出控制单元100B可基于预定声源从麦克风M1至M6之中指定麦克风(例如，指定离声源最近的麦克风)，并且基于从指定的麦克风收集的声音信息控制向装置的语音识别结果的输出。

此外，在与第二手术参与者相关的预定信息包括在基于来自第一手术参与者的声音信息的语音识别结果中的情况下，声音输出控制单元100B可基于第一手术参与者指定麦克风(例如，指定离第一手术参与者最近的麦克风)，并且基于从指定的麦克风收集的声音信息控制至第二手术参与者的声音输出。此时，为了促进两个手术参与者之间的言语交流，可基于第二手术参与者指定收集通过第一手术参与者听取声音的麦克风(可指定离第二手术参与者最近的麦克风)。

此外，为了更肯定地掌握来自手术参与者的声音信息，显示控制单元170可控制基于通过声音输出控制单元100B指定的麦克风收集的声音信息的语音识别结果的显示。语音识别结果可显示在任何地方。例如，语音识别结果可显示在集中式操作面板3011上。

此外，与根据本公开内容的第一实施方式相似，在手术结束的情况下，可结束语音输出操作。在此，可以任何方式确定手术的结束。例如，在表示手术结束的文本数据(例如，诸如“手术已结束”等文本数据)包括在语音识别结果中的情况下，表示手术结束的文本数据的检查可被认为是手术结束。

以上已经说明了根据本公开内容的第二实施方式。

<3.结论>

如以上说明的，利用根据本公开内容的实施方式，提供的控制装置3009包括基于与手术相关的信息控制通过声音输出装置的声音输出的声音输出控制单元100A。利用这种配置，可以在手术期间保证手术参与者之间更可靠的语音通信。因为更易于手术参与者彼此通信，因此实现顺利手术，并且缩短手术时间。此外，减少由于手术参与者之间的指令的错误传达和指令的发送泄漏导致的错误。

此外，因为手术参与者不必互相大声互动，因此放置在手术参与者上的负担和压力减小。此外，因为手术参与者不必互相大声互动，因此也减少给予除了手术参与者(例如，患者等)之外的人的焦虑感和压力感。此外，通过利用非接触麦克风阵列收集手术参与者的言语，麦克风不需要附着于手术参与者，因此清洁管理变得更容易。

上面参考附图描述了本公开内容的优选实施方式，而本公开内容不限于上述实例。本领域技术人员可以在所附权利要求的范围内找到各种变更和修改，并且应当理解，这些变更和修改将自然地落入本公开内容的技术范围内。

进一步地，在本说明书中描述的效果仅是说明性或示例性的效果，而不是限制性的。即，利用或代替上述效果，根据本公开内容的技术可以从本说明书的描述中实现本领域技术人员清楚的其他效果。

此外，本技术还可被配置为如下。

(1)一种控制装置，包括：

声音输出控制单元，基于与手术相关的信息控制通过声音输出装置进行的声音输出。

(2)根据项(1)所述的控制装置，

其中，与手术相关的信息包括手术室的声源位置信息。

(3)根据项(2)所述的控制装置，

其中，声音输出控制单元基于预定数据确定声源位置信息。

(4)根据项(3)所述的控制装置，

其中，声音输出控制单元基于手术类型、手术室和手术参与者中的至少任一者确定声源位置信息。

(5)根据项(3)所述的控制装置，

其中，声音输出控制单元基于由成像装置捕获的图像、从发送器发送的无线信号的接收结果、通过热像装置得到的检测结果以及由声音收集单元收集的声音信息中的至少任一者确定声源位置信息。

(6)根据项(1)至(5)中任一项所述的控制装置，

其中，声音输出控制单元控制通过与手术参与者相关的声音输出装置进行的声音输出，或者控制根据手术参与者的位置进行的声音输出。

(7)根据项(1)至(6)中任一项所述的控制装置，

其中，声音输出控制单元基于通过声音收集单元收集的声音信息控制声音输出。

(8)根据项(7)所述的控制装置，

其中，声音收集单元包括多个麦克风；以及

声音输出控制单元基于通过多个麦克风收集的声音信息控制声音输出。

(9)根据项(8)所述的控制装置，

其中，声音输出控制单元以基于多个麦克风的位置和声源位置信息的声音信息的声源分离的结果为基础控制声音输出。

(10)根据项(9)所述的控制装置，

其中，声音输出控制单元以基于通过声音收集单元收集的声音的声音信息的声源分离的结果为基础减少来自声音信息的噪声，并且基于噪声减少之后的声音信息控制声音输出。

(11)根据项(9)或(10)所述的控制装置，

其中，声音输出控制单元以基于通过声音收集单元收集的声音的声音信息的声源分离的结果为基础相对强调来自预定声源的声音信息，并且基于强调之后的声音信息控制声音输出。

(12)根据项(11)所述的控制装置，

其中，声音输出控制单元相对强调在基于通过声音收集单元收集的声音的声音信息中的来自预定手术参与者的声音信息，并且基于强调之后的声音信息控制声音输出。

(13)根据项(11)所述的控制装置，

其中，声音输出控制单元相对强调基于通过声音收集单元收集的声音的声音信息中的来自预定装置的声音信息，并且基于强调之后的声音信息控制声音输出。

(14)根据项(9)至(13)中任一项所述的控制装置，

其中，声音输出控制单元控制对装置的基于来自预定手术参与者的声音信息的语音识别结果的输出。

(15)根据项(9)至(14)中任一项所述的控制装置，

其中，在与第二手术参与者相关的预定信息包括在基于来自第一手术参与者的声音信息的语音识别结果中的情况下，声音输出控制单元相对强调来自第一手术参与者的声音信息，并且基于强调之后的声音信息控制根据第二手术参与者进行的声音输出。

(16)根据项(9)至(15)中任一项所述的控制装置，包括：

显示控制单元，控制基于来自预定手术参与者的声音信息的语音识别结果的显示。

(17)根据项(13)至(16)中任一项所述的控制装置，

其中，声音输出控制单元基于由外科医生执行的流程或手术的进程选择要在语音识别中使用的词典。

(18)根据项(8)所述的控制装置，

其中，声音输出控制单元基于预定声源指定麦克风，并且基于通过指定的麦克风收集的声音信息控制声音输出。

(19)根据项(18)所述的控制装置，

其中，声音输出控制单元基于预定手术参与者指定麦克风，并且基于通过所指定的麦克风收集的声音信息控制根据手术参与者进行的声音输出。

(20)根据项(18)或(19)所述的控制装置，

其中，声音输出控制单元控制对装置的基于通过指定的麦克风收集的声音信息的语音识别结果的输出。

(21)根据项(18)至(20)中任一项所述的控制装置，

其中，在与第二手术参与者相关的预定信息包括在基于来自第一手术参与者的声音信息的语音识别结果中的情况下，声音输出控制单元基于第一手术参与者指定麦克风，并且基于通过所指定的麦克风收集的声音信息控制声音输出。

(22)根据项(18)或(21)所述的控制装置，包括：

显示控制单元，控制基于通过指定的麦克风收集的声音信息的语音识别结果的显示。

(23)一种控制方法，包括：

通过处理器基于与手术相关的信息控制通过声音输出装置进行的声音输出。

(24)一种使得计算机起到控制装置的作用的程序，该控制装置包括：

声音输出控制单元，基于与手术相关的信息控制通过声音输出装置进行的声音输出。

(25)一种声音输出系统，包括：

声音输出装置，执行声音输出；以及

控制装置，包括

声音输出控制单元，基于与手术相关的信息控制通过声音输出装置进行的声音输出。

符号说明

100A、100B 声音输出控制单元

110 声源定位单元

120 声源分离单元

130 声源混合单元

140 语音识别单元

150 手术信息检测单元

160 词典

170 显示控制单元

3000 手术室系统(声音输出系统)

3005 记录器

3007 视听控制器

3009 手术室控制装置(控制装置)

3400 内窥镜架(装置)

3602 麻醉系统(装置)

3604 能量装置(装置)

3701 天花板照相机

3703 手术视野照相机

3709 麦克风(声音收集单元)

3711 耳机(声音输出装置)

3713 指向性扬声器(声音输出装置)。

Claims (25)

1.一种控制装置，包括：

声音输出控制单元，基于与手术相关的信息控制通过声音输出装置进行的声音输出。

2.根据权利要求1所述的控制装置，

其中，所述与手术相关的信息包括手术室的声源位置信息。

3.根据权利要求2所述的控制装置，

其中，所述声音输出控制单元基于预定数据确定所述声源位置信息。

4.根据权利要求3所述的控制装置，

其中，所述声音输出控制单元基于手术类型、手术室和手术参与者中的至少任一者确定所述声源位置信息。

5.根据权利要求3所述的控制装置，

其中，所述声音输出控制单元基于通过成像装置捕获的图像、从发送器发送的无线信号的接收结果、通过热像装置得到的检测结果、以及通过声音收集单元收集的声音信息中的至少任一者确定所述声源位置信息。

6.根据权利要求1所述的控制装置，

其中，所述声音输出控制单元控制通过与手术参与者相关的声音输出装置进行的声音输出，或者控制根据手术参与者的位置进行的声音输出。

7.根据权利要求1所述的控制装置，

其中，所述声音输出控制单元基于通过声音收集单元收集的声音信息控制声音输出。

8.根据权利要求7所述的控制装置，

其中，所述声音收集单元包括多个麦克风；以及

所述声音输出控制单元基于通过所述多个麦克风收集的所述声音信息控制声音输出。

9.根据权利要求8所述的控制装置，

其中，所述声音输出控制单元以基于所述多个麦克风的位置和所述声源位置信息的所述声音信息的声源分离的结果为基础控制声音输出。

10.根据权利要求9所述的控制装置，

其中，所述声音输出控制单元以基于通过所述声音收集单元收集的声音的所述声音信息的声源分离的结果为基础减少来自所述声音信息的噪声，并且基于噪声减少之后的声音信息控制声音输出。

11.根据权利要求9所述的控制装置，

其中，所述声音输出控制单元以基于通过所述声音收集单元收集的声音的所述声音信息的声源分离的结果为基础相对强调来自预定声源的声音信息，并且基于强调之后的声音信息控制声音输出。

12.根据权利要求11所述的控制装置，

其中，所述声音输出控制单元相对强调基于通过所述声音收集单元收集的声音的声音信息中的来自预定手术参与者的声音信息，并且基于强调之后的声音信息控制声音输出。

13.根据权利要求11所述的控制装置，

其中，所述声音输出控制单元相对强调基于通过所述声音收集单元收集的声音的声音信息中的来自预定装置的声音信息，并且基于强调之后的声音信息控制声音输出。

14.根据权利要求9所述的控制装置，

其中，所述声音输出控制单元控制对装置的基于来自预定手术参与者的声音信息的语音识别结果的输出。

15.根据权利要求9所述的控制装置，

其中，在与第二手术参与者相关的预定信息包括在基于来自第一手术参与者的声音信息的语音识别结果中的情况下，所述声音输出控制单元相对强调来自所述第一手术参与者的声音信息，并且基于强调之后的声音信息控制根据所述第二手术参与者进行的声音输出。

16.根据权利要求9所述的控制装置，包括：

显示控制单元，控制基于来自预定手术参与者的声音信息的语音识别结果的显示。

17.根据权利要求13所述的控制装置，

其中，所述声音输出控制单元基于由外科医生执行的流程或手术的进程选择要在语音识别中使用的词典。

18.根据权利要求8所述的控制装置，

其中，所述声音输出控制单元基于预定声源指定麦克风，并且基于通过所指定的麦克风收集的声音信息控制声音输出。

19.根据权利要求18所述的控制装置，

其中，所述声音输出控制单元基于预定手术参与者指定麦克风，并且基于通过所指定的麦克风收集的声音信息控制根据所述手术参与者进行的声音输出。

20.根据权利要求18所述的控制装置，

其中，所述声音输出控制单元控制对装置的基于通过指定的麦克风收集的声音信息的语音识别结果的输出。

21.根据权利要求18所述的控制装置，

其中，在与第二手术参与者相关的预定信息包括在基于来自第一手术参与者的声音信息的语音识别结果中的情况下，所述声音输出控制单元基于所述第一手术参与者指定麦克风，并且基于通过所指定的麦克风收集的声音信息控制声音输出。

22.根据权利要求18所述的控制装置，包括：

显示控制单元，控制基于通过所指定的麦克风收集的声音信息的语音识别结果的显示。

23.一种控制方法，包括：

通过处理器基于与手术相关的信息控制通过声音输出装置进行的声音输出。

24.一种使得计算机起到控制装置的作用的程序，所述控制装置包括：

声音输出控制单元，基于与手术相关的信息控制通过声音输出装置进行的声音输出。

25.一种声音输出系统，包括：

声音输出装置，执行声音输出；以及

控制装置，包括

声音输出控制单元，基于与手术相关的信息控制通过所述声音输出装置进行的声音输出。