CN110771102A - 通信系统和控制设备 - Google Patents

Abstract

本技术涉及通信系统和控制设备，利用该通信系统和控制设备可以适当地确定执行流传输的网络的状态。发送设备11执行对接收设备12的流传输，并且控制设备13管理用于连接接收设备和发送设备的网络的状态，该网络包括第一通信线路和第二通信线路。第一通信线路的连接状态不如第二通信线路的连接状态稳定，并且控制设备基于从发送设备发送到接收设备的分组来管理网络的状态。本技术可以应用于通过UDP执行流传输的通信系统。

Description

通信系统和控制设备

技术领域

本技术涉及通信系统和控制设备，并且更具体地，涉及使得能够查明执行流传输的网络的状态的通信系统和控制设备。

背景技术

通常，存在使用无线通信路径的各种通信系统。

例如，专利文献1公开了如下系统，该系统通过使用多个不同的无线通信路径并且利用另一个无线通信路径补充一个无线通信路径中的带宽的不足来执行通信。

此外，近年来，通过无线通信实时分发所捕获的运动图像的许多视频分发系统已经投入实际使用。

引用列表

专利文献

专利文献1：日本专利申请特许公开第2008-113224号

发明内容

本发明要解决的问题

顺便提及，在使用包括诸如无线通信路径之类的不稳定通信路径的网络来执行流传输的情况下，需要知道网络处于什么状态。

鉴于这样的情况而做出了本技术，并且使得可以适当地查明执行流传输的网络的状态。

问题的解决方案

本技术的通信系统包括：接收设备；发送设备，所述发送设备执行对所述接收设备的流传输；以及控制设备，所述控制设备管理网络的状态，所述网络连接所述接收设备和所述发送设备，并且所述网络包括第一通信线路和第二通信线路，其中，与第二通信线路相比，第一通信线路在连接状态上不稳定，以及所述控制设备基于从所述发送设备发送到所述接收设备的分组来管理所述网络的状态。

本技术的控制设备包括控制部分，该控制部分管理网络的状态，该网络连接接收设备和执行对该接收设备的流传输的发送设备，并且该网络包括第一通信线路和第二通信线路，其中，与第二通信线路相比，第一通信线路在连接状态上不稳定，以及该控制部分基于从发送设备发送到接收设备的分组来管理网络的状态。

在本技术中，管理网络的状态，该网络连接接收设备和执行对该接收设备的流传输的发送设备，并且该网络包括第一通信线路和第二通信线路，而与第二通信线路相比，第一通信线路在连接状态上不稳定，基于从发送设备发送到接收设备的分组来管理网络的状态。

发明的效果

根据本技术，可以适当地查明执行流传输的网络的状态。

注意，本文中描述的效果不必受限制，并且可以适用本公开中描述的任何效果。

附图说明

图1是示出根据本实施例的通信系统的配置示例的图。

图2是示出控制器的配置示例的框图。

图3是示出第一实施例的通信系统的功能配置示例的框图。

图4是用于说明流传输状态的转变的图。

图5是用于说明接收设备的动作决定处理的流程图。

图6是示出第二实施例的通信系统的功能配置示例的框图。

图7是用于说明网络带宽估计处理的流程图。

图8是示出分组发送速率的示例的图。

图9是示出分组接收速率的示例的图。

图10是示出分组接收速率的示例的图。

图11是用于说明接收估计范围决定处理的流程图。

图12是用于说明接收估计范围决定处理的流程图。

图13是用于说明网络拥塞检测的具体示例的图。

图14是用于说明网络拥塞检测的具体示例的图。

图15是示出第二实施例的通信系统的另一功能配置示例的框图。

图16是示出与绑定兼容的通信系统的配置示例的图。

图17是示出图16中的通信系统的功能配置示例的框图。

图18是用于说明接收设备的动作决定处理的流程图。

图19是用于说明整个链路的流传输状态的决定的图。

图20是用于说明整个链路的流传输状态的决定的图。

图21是示意性地示出手术室系统的整体配置的图。

图22是示出集中式操作面板上的操作画面的显示示例的图。

图23是示出如何在应用手术室系统时进行手术的示例的图。

图24是示出图23中所示的摄像头和摄像机控制单元(CCU)的功能配置的示例的框图。

具体实施方式

下面将描述用于执行本公开的模式(在下文中被称为实施例)。注意，将按以下顺序给出描述。

1、通信系统的配置

2、第一实施例(基于流传输接收状态来查明网络状态)

3、第二实施例(基于带宽估计结果来查明网络状态)

4、与绑定兼容的通信系统的配置

5、应用示例

<1、通信系统的配置>

(通信系统的配置示例)

图1是示出根据本实施例的通信系统的配置示例的图。

在图1中的通信系统1中，由发送设备11通过用户数据报协议(UDP)执行流传输而将由发送设备11捕获的运动图像实时发送到接收设备12。

发送设备11例如被配置为诸如摄录机之类的成像设备，并且将由成像单元11a捕获的运动图像的数据(运动图像数据)实时发送到接收设备12。注意，发送设备11和成像设备可以彼此分开地配置。

例如，接收设备12被配置为设置在用于电视广播的广播站中的流传输接收器，并且接收从发送设备11发送的运动图像数据。由接收设备12接收的运动图像数据通过广播波来分发。

发送设备11和接收设备12经由包括第一通信线路和第二通信线路的网络来连接，第一通信线路包括无线通信线路，第二通信线路仅包括有线通信线路。

假定这里提到的第一通信线路是指经由基站20的在发送设备11与因特网30之间的通信线路，并且假定第二通信线路是指因特网30与接收设备12之间的通信线路。与第二通信线路相比，第一通信线路在连接状态上不稳定，并且具有较大的延迟或分组丢失。注意，例如，在发送设备11与基站20之间执行符合第三代(3G)或长期演进(LTE)方案的通信。

发送设备11可以通过执行流传输来发送通过捕获而获得的运动图像数据SD。通过执行服务质量(QoS)控制，在发送设备11与接收设备12之间执行流传输。

控制器13连接到因特网30。类似于接收设备12，控制器13例如设置在用于电视广播的广播站中。

控制器13是管理网络的状态的控制设备，该网络包括发送设备11与因特网30之间的通信线路(第一通信线路)以及因特网30与接收设备12之间的通信线路(第二通信线路)。例如，控制器13通过传输控制协议(TCP)连接来管理发送设备11与接收设备12之间的流传输的状态。具体地，控制器13建立与发送设备11的连接CN1，从而与发送设备11交换数据。此外，控制器13建立与接收设备12的连接CN2，从而与接收设备12交换数据。

注意，控制器13仅需要连接到构成通信系统1的网络，并且如图1中所示，控制器13可以单独地连接到因特网30，或者可以设置在云40上。此外，控制器13可以被配置为与接收设备12集成在一起，或者可以被配置为与发送设备11集成在一起。

此外，云40上的服务器41连接到因特网30。由接收设备12接收的运动图像数据可以由云40上的服务器41经由因特网30分发。

此外，由接收设备12接收的运动图像数据可以被保存在连接到接收设备12的存储装置42中，例如可以被保存在广播站中。

(控制器的配置示例)

图2是示出控制器13的配置示例的框图。

在图2中的控制器13中，中央处理器单元(CPU)61根据只读存储器(ROM)62中存储的程序或随机存取存储器(RAM)63中加载的程序来执行用于实现控制器13中包括的各种功能的处理。由CPU 61在执行各种处理时所需要的数据等也适当地存储在RAM 63中。

CPU 61、ROM 62和RAM 63经由总线64相互连接。此外，输入/输出接口65连接至该总线64。

输入单元66、输出单元67、存储单元68和通信单元69连接到输入/输出接口65。

输入单元66由键、按钮、触摸面板、麦克风等构成，而输出单元67由显示器、扬声器等构成。存储单元68由硬盘等构成，而通信单元69由执行有线通信的通信模块等构成。

此外，驱动器70根据需要连接到输入/输出接口65，并且适当地附连由半导体存储器等构成的可移除介质71。从可移除介质71读取的计算机程序根据需要安装在存储单元68中。

注意，除了发送设备11包括成像单元之外，发送设备11和接收设备12的配置基本上与图2中的控制器13的配置相似，因此将省略其描述。

<2、第一实施例>

如上所述，在通信系统1中，控制器13管理连接发送设备11和接收设备12的网络的状态。这里，将描述如下配置，在该配置中，控制器13基于接收设备12中的流传输接收状态来查明网络的状态。

(通信系统的功能配置示例)

图3是示出根据本实施例的通信系统1的功能配置示例的框图。

在图3中的通信系统1中，接收设备12通过由CPU(未示出)执行的预定程序来实现状态决定单元91。此外，控制器13通过由CPU 61执行的预定程序来实现控制部分101。

控制部分101管理连接发送设备11和接收设备12的网络的状态，并且包括状态掌握单元111和动作决定单元112。

接收设备12的状态决定单元91基于从发送设备11发送的分组来决定接收设备12中的通过UDP进行的流传输的接收状态。下面，接收设备12中的通过UDP进行的流传输的接收状态也被适当地称为接收设备12中的流传输状态。

控制器13的状态掌握单元111经由TCP连接来掌握接收设备12中的通过UDP进行的流传输的接收状态(流传输状态)，并且将所掌握的接收状态的内容通知给动作决定单元112。

动作决定单元112通过基于由状态掌握单元111掌握的接收设备12中的流传输状态查明网络状态来决定接收设备12的动作。接收设备12的动作指的是根据在特定时间的网络状态所需要的接收设备12的动作，例如当前正在执行的流传输的继续或停止。动作决定单元112经由TCP连接向接收设备12通知所决定的接收设备12的动作。

(流传输状态的转变和接收设备的动作决定处理)

这里，将参考图4描述由状态决定单元91指定的接收设备12中的流传输状态的转变。

图4示出指示流传输的继续(开始)的状态ST1(开始)和指示当前正在执行的流传输的停止的状态ST2(停止)作为流传输状态。

如图4中所示，当在流传输状态处于状态ST1的同时满足条件C1时，流状态转变为状态ST2。此外，当在流传输状态处于状态ST2的同时满足条件C2时，流传输状态转变为状态ST1。由接收设备12的状态决定单元91确定是否满足条件C1和C2。

例如，假定条件C1是这样的条件：在接收设备12中的来自发送设备11的实时传输协议(RTP)分组的接收间隔超过一定时间，或者在QoS控制之后的预定时间内的分组丢失数量超过一定数量。

此外，假定条件C2是这样的条件：在接收设备12中的来自发送设备11的RTP分组的接收间隔没有超过一定时间，并且在QoS控制之后的预定时间内的分组丢失数量等于或小于一定数量。

接下来，将参考图5中的流程图来描述接收设备12的动作决定处理。

在步骤S11中，控制部分101确定与发送设备11的连接CN1是否断开。

在步骤S11中确定连接CN1没有断开的情况下，控制部分101可以通过与发送设备11的连接CN1和与接收设备12的连接CN2来掌握流传输的状态，因此不执行任何操作；然后，处理结束。

另一方面，在步骤S11中确定连接CN1断开的情况下，处理进行到步骤S12。

在步骤S12中，状态掌握单元111经由TCP连接(CN2)来掌握由状态决定单元91决定的接收设备12中的流传输状态。这里，状态掌握单元111可以通过从接收设备12的状态决定单元91接收关于流传输状态的通知来掌握流传输状态，或者状态掌握单元111本身可以通过参考由接收设备12的状态决定单元91决定的流传输状态来掌握流传输状态。

在步骤S13中，状态掌握单元111确定接收设备12中的流传输状态是否在一定时间内保持在停止(STOP)状态(指示流传输的停止的状态ST2)。

在步骤S13中确定流传输状态没有在一定时间内保持在停止(STOP)状态的情况下，动作决定单元112不执行任何操作(保持正在执行流传输的状态)，并且该处理结束。

利用该过程，即使在经由不稳定的无线通信线路连接的发送设备11与控制器13之间的TCP连接由于某种原因而断开的情况下，也可以通过控制器13与接收设备12之间的TCP连接来查明通过UDP进行的流传输的接收状态没有问题，因此可以连续地执行流传输而不停止。

另一方面，在步骤S13中确定流传输状态在一定时间内保持在停止(STOP)状态的情况下，在步骤S14中，动作决定单元112决定停止流传输并且将该结果通知给接收设备12。在这种情况下，接收设备12根据来自动作决定单元112的通知，停止与流传输有关的应用。

注意，在流传输停止并且再次建立连接CN1之后网络状态变得更好的情况下，控制部分101可以指示发送设备11开始流传输。

根据以上处理，可以基于接收设备12中的流传输接收状态来适当地查明执行流传输的网络的状态；因此，即使在包括不稳定的通信路径的网络中，也可以根据网络的状态来提供稳定的流传输。

注意，在上述处理中，可以基于接收设备12中的RTP分组的接收间隔或者在QoS控制之后的预定时间内的分组丢失数量来决定流传输状态(流传输的停止或开始)。

<3、第二实施例>

在以上描述中，已经描述了基于接收设备12中的流传输接收状态来查明网络的状态的配置。这里，将描述控制器13基于网络带宽估计的结果来查明网络的状态的配置。

(通信系统的功能配置示例)

图6是示出根据本实施例的通信系统1的功能配置示例的框图。

在图6中的通信系统1中，接收设备12通过由CPU(未示出)执行的预定程序来实现带宽估计单元121和拥塞检测单元122。此外，控制器13通过由CPU 61执行的预定程序来实现控制部分131。

控制部分131管理连接发送设备11和接收设备12的网络的状态，并且包括参数设定单元141。

接收设备12的带宽估计单元121基于从发送设备11发送的分组来估计利用发送设备11执行流传输的网络的带宽。经由TCP连接将估计结果(网络的带宽)通知给控制器13。

拥塞检测单元122基于从发送设备11发送的分组来检测利用发送设备11执行流传输的网络中的拥塞。拥塞检测单元122的拥塞检测结果被带宽估计单元121用于带宽估计。

控制器13的参数设定单元141基于由接收设备12估计的网络带宽来设定与由发送设备11执行的流传输有关的参数。

(网络带宽估计处理)

接下来，将参考图7中的流程图来描述图6中的通信系统1中的网络带宽估计处理。在发送设备11开始流传输之前执行图7中的处理。

在步骤S31中，控制器13经由TCP连接指示发送设备11和接收设备12开始带宽估计。

如图8中所示，在步骤S32中，发送设备11根据来自控制器13的指令发送分组，同时每隔一定时间逐步增加发送速率。

图8示出由发送设备11发送的分组的发送速率的示例。在图8中的示例中，发送速率每隔时间T0逐步增加。注意，将时间T0假定为在发送设备11与接收设备12之间预设的时间。

返回到图7中的流程图，在步骤S33中，接收设备12的带宽估计单元121基于从发送设备11接收的分组的接收速率来估计网络的带宽。将所估计的网络的带宽通知给控制器13。

在步骤S34中，控制器13的参数设定单元141基于所估计的网络的带宽来设定与流传输有关的参数。例如，通过流传输发送的运动图像的分辨率、发送速率等被设定为参数。

然后，控制器13经由TCP连接指示发送设备11以所设定的参数开始流传输。

根据上述处理，可以基于网络带宽估计的结果来适当地查明执行流传输的网络的状态；因此，即使在包括不稳定的通信路径的网络中，也可以根据网络的状态来提供稳定的流传输。

(网络带宽估计的细节)

这里，将描述在图7中的步骤S33中执行的网络带宽估计的细节。

具体地，带宽估计单元121从开始接收所发送的分组起每隔预定逝去时间检查所接收的分组的接收速率，同时每隔一定时间逐步增加发送速率。然后，当接收速率的波动几乎稳定时，带宽估计单元121决定与接收速率相对应的带宽的范围(在下文中被称为接收估计范围)。

图9是示出接收设备12中的分组接收速率的示例的图。

在图9中，绘制并且示出在每个特定时间的接收速率。

首先，当从开始分组接收起经过了时间t1时，检查接收速率是否超过速率M1。如果接收速率没有超过速率M1，则将接收估计范围决定为R1。如在图9中的示例中那样，如果在经过了t1时接收速率超过速率M1，则在从开始分组接收起经过了时间t2时执行检查。

在从开始接收分组起经过了时间t2时，检查接收速率是否超过速率M2。如果接收速率没有超过速率M2，则将接收估计范围决定为R2。如在图9中的示例中那样，如果在经过了t2时接收速率超过速率M2，则在从开始分组接收起经过了时间t3时执行检查。

在从开始分组接收起经过了时间t3时，检查接收速率是否超过速率M3。如果接收速率没有超过速率M3，则将接收估计范围决定为R3。如在图9中的示例中那样，如果在经过了t3时接收速率超过速率M3，则将接收估计范围决定为R4。

图10是示出接收设备12中的分组接收速率的另一示例的图。

同样在图10中，类似于图9，绘制并且示出在每个特定时间的接收速率。

首先，在从开始分组接收起经过了时间t1时，检查接收速率是否超过速率M1。如果接收速率没有超过速率M1，则将接收估计范围决定为R1。在图10中的示例中，由于在经过了t1时接收速率没有超过速率M1，因此将接收估计范围决定为R1。

(接收估计范围决定处理)

图11是用于说明参考图9和图10描述的接收估计范围的决定处理的流程图。

在步骤S51中，接收设备12的带宽估计单元121确定从开始从发送设备11接收分组起是否经过了时间t3。

当确定从开始分组接收起尚未经过时间t3时，处理进行到步骤S52，并且带宽估计单元121确定从开始分组接收起是否经过了时间t2。

当确定从开始分组接收起尚未经过时间t2时，处理进行到步骤S53，并且带宽估计单元121确定从开始分组接收起是否经过了时间t1。

当确定从开始分组接收起尚未经过时间t1时，处理返回到步骤S51，并且重复步骤S51至S53中的处理。注意，如图9和图10中所示，假定t1＜t2＜t3成立。

当在重复步骤S51至S53中的处理的同时在步骤S53中确定从开始分组接收起经过了时间t1时，处理进行到步骤S54，并且带宽估计单元121确定接收速率是否小于速率M1。

当在步骤S54中确定接收速率小于速率M1时，处理进行到步骤S55，并且带宽估计单元121将接收估计范围决定为R1。

另一方面，当在步骤S54中确定接收速率大于速率M1时，处理再次返回到步骤S51，并且重复步骤S51至S53中的处理。

当在重复步骤S51至S53中的处理的同时在步骤S52中确定从开始分组接收起经过了时间t2时，处理进行到步骤S56，并且带宽估计单元121确定接收速率是否小于速率M2。

当在步骤S56中确定接收速率小于速率M2时，处理进行到步骤S57，并且带宽估计单元121将接收估计范围决定为R2。

另一方面，当在步骤S56中确定接收速率大于速率M2时，处理再次返回到步骤S51，并且重复步骤S51至S53中的处理。

当在重复步骤S51至S53中的处理的同时在步骤S51中确定从开始分组接收起经过了时间t3时，处理进行到步骤S58，并且带宽估计单元121确定接收速率是否小于速率M3。

当在步骤S58中确定接收速率小于速率M3时，处理进行到步骤S59，并且带宽估计单元121将接收估计范围决定为R3。

另一方面，当在步骤S58中确定接收速率大于速率M3时，处理进行到步骤S60，并且带宽估计单元121将接收估计范围决定为R4。

以这种方式，可以通过决定接收估计范围来估计网络的带宽。

(接收估计范围决定处理的另一示例)

在以上描述中，假定在每隔一定时间逐步增加发送速率的同时，基于所发送的分组的接收速率来决定接收估计范围。除了该技术之外，还可以基于接收设备12中的网络拥塞检测结果来决定接收估计范围。

图12是用于说明基于接收设备12中的网络拥塞检测结果的接收估计范围的决定处理的流程图。例如每隔预定时间周期性地执行图12中的处理。

在步骤S71中，带宽估计单元121基于从发送设备11发送的分组来确定拥塞检测单元122是否已经检测到网络拥塞。

具体地，拥塞检测单元122基于来自发送设备11的RTP分组的相对延迟量来检测网络拥塞。

例如，如图13中所示，假设发送设备11顺序地将RTP分组151、152和153发送到接收设备12。

首先，拥塞检测单元122计算当发送设备11发送RTP分组151时的发送时间t11与当发送设备12接收RTP分组151时的接收时间t12之间的差(相对延迟量)t12-t11。RTP分组151中包括发送时间t11。拥塞检测单元122根据相对延迟量t12-t11是否超过预定值来检测网络拥塞。

这里，假定相对延迟量t12-t11小于预定值，并且没有检测到网络拥塞。

接下来，拥塞检测单元122计算当发送设备11发送RTP分组152时的发送时间t21与当发送设备12接收RTP分组152时的接收时间t22之间的差(相对延迟量)t22-t21。RTP分组152中包括发送时间t21。拥塞检测单元122根据相对延迟量t22-t21是否超过预定值来检测网络拥塞。

这里，假定相对延迟量t22-t21小于预定值，并且没有检测到网络拥塞。

然后，拥塞检测单元122计算当发送设备11发送RTP分组153时的发送时间t31与当发送设备12接收RTP分组153时的接收时间t32之间的差(相对延迟量)t32-t31。RTP分组153中包括发送时间t31。拥塞检测单元122根据相对延迟量t32-t31是否超过预定值来检测网络拥塞。

这里，在相对延迟量t32-t31大于预定值的情况下，查明已经检测到网络拥塞。

以此方式，拥塞检测单元122检测网络拥塞。

随后，返回到图12中的流程图，重复步骤S71中的处理，直到确定拥塞检测单元122已经检测到网络拥塞为止。然后，当确定拥塞检测单元122已经检测到网络拥塞时，处理进行到步骤S72，并且带宽估计单元121将在检测到网络拥塞时的时间点的带宽范围决定为接收估计范围。

以此方式，也可以通过决定接收估计范围来估计网络的带宽。

(网络拥塞检测的另一示例)

在以上描述中，假定接收设备12检测网络拥塞；然而，发送设备11可以检测网络拥塞。

具体地，发送终端11可以向接收设备12发送实时传输控制协议(RTCP)分组，以基于来自接收设备12的反馈的存在或不存在来检测网络拥塞。

例如，如图14中所示，假定发送设备11顺序地将RTCP分组161和162发送到接收设备12。

首先，发送设备11计算从当发送RTCP分组161时的发送时间t41到当接收到来自接收设备12的反馈时的接收时间t42的时间t42-t41。发送设备11根据时间t42-t41是否长于预定时间来检测网络拥塞。

这里，假定时间t42-t41短于预定时间，并且没有检测到网络拥塞。

接下来，发送设备11计算从当发送RTCP分组162时的发送时间t43到当接收到来自接收设备12的反馈时的接收时间t50的时间t50-t43。发送设备11根据时间t50-t43是否长于预定时间来检测网络拥塞。

这里，在时间t50-t43长于预定时间的情况下，或者在未能接收到来自接收设备12的反馈的情况下，查明已经检测到网络拥塞。

以此方式，发送设备11也可以检测网络拥塞。

(通信系统的另一功能配置示例)

此外，在以上描述中，假定接收设备12具有基于接收到的分组的接收速率和网络拥塞检测结果来估计网络带宽的功能；然而，控制器13可以具有该功能。

在该情况下，如图15中所示，控制器13的控制部分151包括带宽估计单元121和参数设定单元141。图15中的带宽估计单元121基于从接收设备12通知的网络拥塞检测结果和接收速率来估计网络带宽。

同样在图15中的通信系统1中，可以实现与图6中的通信系统1中的作用和效果类似的作用和效果。

<4、与绑定兼容的通信系统的配置>

在以上描述中，已经描述了将本技术应用于从发送设备11经由一个基站20(一个无线通信线路)执行流传输的通信系统1的示例。然而，本技术不限于该示例，并且还可以应用于从发送设备11通过使用多个基站(无线通信线路)进行绑定来执行流传输的通信系统。

(通信系统的配置示例)

图16是示出根据本实施例的与绑定兼容的通信系统的配置示例的图。

同样在图16中的通信系统201中，由发送设备11通过UDP执行流传输而将由发送设备11捕获的运动图像实时发送到接收设备12。

此外，在通信系统201中，发送设备11和因特网30经由n个基站20-1至20-n(n个无线通信线路(链路1至n))(n≥2)连接。注意，在下文中，在一些情况下，经由链路1的整个通信路径也被称为链路1，并且经由链路2的整个通信路径也被称为链路2。

发送设备11通过使用n个无线通信线路进行绑定来执行流传输，从而能够将通过捕获而获得的运动图像数据分割成数据SD1至数据SDn以进行发送。

另外，控制器13经由n个无线通信线路与发送设备11建立连接CN1-1至CN1-n，从而能够与发送设备11交换数据。

可以将根据上述第一实施例和第二实施例的技术应用于图16中的通信系统201。

特别地，在将根据第一实施例的技术应用于通信系统201的情况下，在通信系统201中，控制器13基于接收设备12中的经由n个无线通信线路的流传输的接收状态来查明网络的状态。

(通信系统的功能配置示例)

图17是示出应用根据第一实施例的技术的图16中的通信系统201的功能配置示例的框图。

图17中的接收设备12包括分别对应于n个无线通信线路(链路1至n)的状态决定单元91-1至91-n。

状态决定单元91-1至91-n决定接收设备12中的各个链路1至n的流传输状态。

在这种情况下，控制器13的状态掌握单元111通过经由TCP连接(CN2)掌握接收设备12中的链路1至n中的每个单个链路的流传输状态来决定整个链路的流传输状态。

然后，动作决定单元112通过基于由状态掌握单元111决定的整个链路的流传输状态查明网络状态来决定接收设备12的动作。

(接收设备的动作决定处理)

接下来，将参考图18中的流程图来描述接收设备12的动作决定处理。

在步骤S91中，控制部分101确定与发送设备11的连接CN1-1至CN1-n是否断开。

在步骤S91中确定连接CN1-1至CN1-n中的任何一个没有断开的情况下，控制部分101可以通过与发送设备11的连接CN1-1至CN1-n和与接收设备12的连接CN2来掌握流传输状态，因此不执行任何操作；然后，该处理结束。

另一方面，在步骤S91中确定连接CN1-1至CN1-n中的任何一个断开的情况下，处理进行到步骤S92。

在步骤S92中，状态掌握单元111经由TCP连接(CN2)掌握由状态决定单元91-1至91-n决定的接收设备12中的各个链路1至n的流传输状态。

在步骤S93中，状态掌握单元111基于接收设备12中的各个链接1至n的流传输状态来决定整个链路的流传输状态。

在步骤S94中，状态掌握单元111确定整个链路的流传输状态是否在一定时间内保持在停止(STOP)状态。

在步骤S94中确定整个链路的流传输状态没有在一定时间内保持在停止(STOP)状态的情况下，动作决定单元112不执行任何操作(保持正在执行流传输的状态)，并且该处理结束。

另一方面，在步骤S94中确定整个链路的流传输状态在一定时间内保持在停止(STOP)状态的情况下，在步骤S95中，动作决定单元112决定停止流传输并且将该结果通知给接收设备12。在这种情况下，接收设备12根据来自动作决定单元112的通知，停止与流传输有关的应用。

这里，将参考图19描述在图18中的步骤S93中基于链路1至n的流传输状态中的每个决定整个链路的流传输状态的示例。

在图19中的示例中，经由链路1的流传输状态已被决定为开始(START)，经由链路2的流传输状态已被决定为停止(STOP)，经由链路3的流传输状态已被决定为开始(START)，...，并且经由链路n的流传输状态已被决定为开始(START)。

然后，在各个链路1至n的流传输状态当中开始(START)的实例的数目超过预定数目的情况下，如图19中所示，将整个链路的流传输状态决定为开始(START)。

此外，可以基于各个链路1至n的流传输状态以及各个链路1至n(n个无线通信线路)中的通信方案来决定整个链路的流传输状态。

图20示出基于各个链路1至n的流传输状态和各个链路1至n中的通信方案来决定整个链路的流传输状态的示例。

在图20中的示例中，各个链路1至n的流传输状态与图19中的流传输状态相似。此外，已经确定链路1中的通信方案是3G，链路2中的通信方案是3G，链路3中的通信方案是LTE，...，并且链路n中的通信方案是LTE。

然后，在各个链路1至n的流传输状态当中开始(START)的实例的数目超过预定数目并且在各个链接1至n中的通信方案当中能够进行高速通信的LTE的实例的数目超过另一预定数目的情况下，如图20中所示，将整个链路的流传输状态决定为开始(START)。

同样在以上处理中，可以基于接收设备12中的流传输接收状态来适当地查明执行流传输的网络的状态；因此，即使在包括不稳定的通信路径的网络中，也可以根据网络的状态来提供稳定的流传输。

在以上描述中，已经假定包括无线通信线路的第一通信线路连接发送设备11和因特网30，以及仅包括有线通信线路的第二通信线路连接因特网30和接收设备12。本技术不限于该配置；仅包括有线通信线路的第二通信线路可以连接发送设备11和因特网30，以及包括无线通信线路的第一通信线路可以连接因特网30和接收设备12。

<5、应用示例>

上面已经描述了将根据本公开的技术应用于执行电视广播的通信系统的示例；然而，该技术不限于该示例，而是可以应用于各种系统。例如，根据本公开的技术可以应用于手术室系统。

图21是示意性地示出可以应用根据本公开的技术的手术室系统5100的整体配置的图。参考图21，手术室系统5100被配置为使得安装在手术室中的一组设备彼此连接，从而能够经由视听控制器(AV控制器)5107和手术室控制设备5109进行协作。

手术室中可以安装各种设备。作为示例，图21示出用于通过内窥镜进行手术的各种类型的设备组5101、设置在手术室的天花板上以对手术外科医生的手周围的区域进行成像的天花板摄像机5187、设置在手术室的天花板上以对整个手术室中的事件进行成像的手术现场摄像机5189、多个显示设备5103A至5103D、记录器5105、病床5183和照明装置5191。

这里，在这些设备中，设备组5101属于稍后将要描述的内窥镜手术系统5113，并且包括内窥镜和显示由内窥镜捕获的图像的显示设备等。属于内窥镜手术系统5113的每个设备也被称为医疗器械。同时，显示设备5103A至5103D、记录器5105、病床5183和照明装置5191是例如位于与内窥镜手术系统5113分开的手术室中的设备。不属于内窥镜手术系统5113的这些设备中的每个也被称为非医疗器械。视听控制器5107和/或手术室控制设备5109相互协作地控制这些医疗器械和非医疗器械的动作。

视听控制器5107全面地控制与医疗器械和非医疗器械中的图像显示有关的处理。具体地，在手术室系统5100中包括的设备当中，设备组5101、天花板摄像机5187和手术现场摄像机5189可以是具有分发在手术期间显示的信息(在下文中也被称为显示信息)的功能的设备(以下也被称为分发源设备)。此外，显示设备5103A至5103D可以是向其输出显示信息的设备(在下文中也被称为输出目的地设备)。另外，记录器5105可以是满足分发源设备和输出目的地设备两者的设备。视听控制器5107控制分发源设备和输出目的地设备的动作，并且具有从分发源设备获取显示信息并且将所获取的显示信息发送到输出目的地设备以在输出目的地设备上显示或记录所获取的显示信息的功能。注意，显示信息包括在手术期间捕获的各种图像、关于手术的各种类型的信息(例如，患者的身体信息、关于过去的检查结果和手术过程的信息等)等。

具体地，可以将关于由内窥镜捕获的患者的体腔中的手术部位的图像的信息作为显示信息从设备组5101发送到视听控制器5107。此外，可以将关于由天花板摄像机5187捕获的手术外科医生的手周围区域的图像的信息作为显示信息从该天花板摄像机5187发送。另外，可以将关于由手术现场摄像机5189拍摄的指示整个手术室中的事件的图像的信息作为显示信息从该手术现场摄像机5189发送。注意，在手术室系统5100包含具有成像功能的另一设备的情况下，视听控制器5107也可以从另一设备获取关于由另一设备捕获的图像的信息作为显示信息。

替选地，例如，关于过去捕获的这些图像的信息被视听控制器5107记录在记录器5105中。视听控制器5107可以从记录器5105获取关于过去捕获的这些图像的信息作为显示信息。注意，关于手术的各种类型的信息也可以事先记录在记录器5105中。

视听控制器5107在作为输出目的地设备的显示设备5103A至5103D中的至少一个上显示所获取的显示信息(换言之，在手术期间捕获的图像或关于手术的各种类型的信息)。在示出的示例中，显示设备5103A是通过从手术室的天花板悬挂而安装的显示设备，显示设备5103B是安装在手术室的墙壁表面上的显示设备，显示设备5103C是安装在手术室中的桌子上的显示设备，以及显示设备5103D是具有显示功能的移动设备(例如，平板个人计算机(PC))。

此外，尽管在图21中省略了图示，但是手术室系统5100可以包括手术室外部的设备。手术室外部的设备可以是例如连接到在医院内部和外部构建的网络的服务器、由医务人员使用的PC、安装在医院的会议室中的投影仪等。在这样的外部设备位于医院外部的情况下，视听控制器5107还可以经由电视会议系统等在另一医院的显示设备上显示显示信息，以进行远程医疗。

手术室控制设备5109对非医疗器械中的除了与图像显示有关的处理以外的处理进行全面控制。例如，手术室控制设备5109控制病床5183、天花板摄像机5187、手术现场摄像机5189和照明装置5191的驱动。

在手术室系统5100中设置有集中式操作面板5111，并且用户可以经由该集中操作面板5111向视听控制器5107给出关于图像显示的指令，或者可以向手术室控制设备5109给出关于非医疗器械的动作的指令。集中式操作面板5111以在显示设备的显示表面上设置触摸面板的方式来构成。

图22是示出集中式操作面板5111上的操作画面的显示示例的图。作为示例，图22示出与在外科手术室系统5100中设置两个显示设备作为输出目的地设备的情况相对应的操作画面。参考图22，操作画面5193设置有分发源选择区域5195、预览区域5197和控制区域5201。

在分发源选择区域5195中，链接并且显示手术室系统5100中包括的分发源设备和表示由这些分发源设备保持的显示信息的缩略图画面。用户可以从在分发源选择区域5195中显示的任何一个分发源设备选择将要在显示设备上显示的显示信息。

在预览区域5197中，显示在作为输出目的地设备的两个显示设备(监视器1和监视器2)上的画面的预览被显示。在示出的示例中，四个图像被显示为在一个显示设备上的画中画(P-in-P)显示。这四个图像对应于从在分发源选择区域5195中选择的分发源设备分发的显示信息。在这四个图像当中，一个被显示为相对较大作为主图像，而其余三个图像被显示为相对较小作为子图像。用户可以通过适当选择四个图像被显示的区域来交换主图像与子图像。此外，在四个图像被显示的区域下方设置状态显示区域5199，并且可以在该区域中适当地显示与手术有关的状态(例如手术的经过时间、患者的身体信息等)。

控制区域5201设置有：分发源操作区域5203，在分发源操作区域5203中显示用于对分发源设备执行操作的图形用户界面(GUI)组件；以及输出目的地操作区域5205，在输出目的地操作区域5205中显示用于对输出目的地设备执行操作的GUI组件。在示出的示例中，用于对具有成像功能的分发源设备的摄像机执行各种操作(平移、倾斜和缩放)的GUI组件被设置在分发源操作区域5203中。通过适当地选择这些GUI组件，用户可以操作分发源设备的摄像机的动作。注意，尽管省略了图示，但是在分发源选择区域5195中选择的分发源设备是记录器的情况下(换句话说，在过去记录在记录器中的图像被显示在预览区域5197中的情况下)，可以在分发源操作区域5203中设置用于执行诸如该过去记录的图像的再现、再现停止、倒带和快进之类的操作的GUI组件。

此外，输出目的地操作区域5205设置有用于针对作为输出目的地设备的显示设备上的显示执行各种操作(交换、翻转、颜色调整、对比度调整、在二维(2D)显示和三维(3D)显示之间切换)的GUI组件。通过适当地选择这些GUI组件，用户可以对显示设备上的显示进行操作。

注意，在集中式操作面板5111上显示的操作画面不限于图22中所示的示例，并且可以允许用户经由集中式操作面板5111向包括在手术室系统5100中并且可以被视听控制器5107和手术室控制设备5109控制的每个设备输入操作。

图23是示出如何在应用上述手术室系统时进行手术的示例的图。天花板摄像机5187和手术现场摄像机5189设置在手术室的天花板上，并且可以捕获对病床5183上的患者5185的患部进行治疗的手术外科医生(外科医生)5181的手周围的区域以及整个手术室中的事件。天花板摄像机5187和手术现场摄像机5189可以设置有放大率调整功能、焦距调整功能、捕获方向调整功能等。照明装置5191设置在手术室的天花板上，并且至少照射手术外科医生5181的手周围的区域。照明装置5191可以能够适当地调整其照射光量、照射光的波长(颜色)、光照射方向等。

如图21中所示，内窥镜手术系统5113、病床5183、天花板摄像机5187、手术现场摄像机5189和照明装置5191相互连接以便能够经由视听控制器5107和手术室控制设备5109(图23中未示出)进行协作。集中式操作面板5111设置在手术室中，并且如上所述，用户可以经由该集中式操作面板5111适当地操作位于手术室中的这些设备。

在下文中，将详细描述内窥镜手术系统5113的配置。如图23中所示，内窥镜手术系统5113由内窥镜5115、其他手术工具5131、支撑内窥镜5115的支撑臂设备5141以及放置有用于通过内窥镜进行手术的各种设备的推车5151构成。

在内窥镜手术中，不是切割腹壁并且打开腹部，而是将被称为套管针5139a至5139d的多个圆柱形穿刺工具刺入到腹壁中。然后，将内窥镜5115的镜筒5117和其他手术工具5131通过套管针5139a至5139d插入到患者5185的体腔中。在示出的示例中，作为其他手术工具5131，将气腹管5133、能量治疗仪器5135和钳子5137插入到患者5185的体腔中。此外，能量治疗仪器5135是通过高频电流或超声振动执行组织的切开和剥离、血管的密封等的治疗仪器。然而，所示出的手术工具5131仅是示例，并且通常用于通过内窥镜进行的手术的各种手术工具(例如拇指镊子和牵开器)可被用作手术工具5131。

由内窥镜5115捕获的患者5185的体腔中的手术部位的图像被显示在显示设备5155上。手术外科医生5181例如在实时观看显示在显示设备5155上的手术部位的图像的同时，使用能量治疗仪器5135和钳子5137进行诸如切除患部之类的治疗。注意，尽管省略了图示，但是在手术期间，气腹管5133、能量治疗仪器5135和钳子5137由手术外科医生5181或助手等支撑。

(支撑臂设备)

支撑臂设备5141包括从基部5143延伸的臂部5145。在示出的示例中，臂部5145由关节部5147a、5147b和5147c以及连杆5149a和5149b构成，并且在臂控制设备5159的控制下被驱动。内窥镜5115由臂部5145支撑，从而控制内窥镜5115的位置和姿势。利用该配置，可以以稳定的方式实现内窥镜5115的位置的固定。

(内窥镜)

内窥镜5115由镜筒5117和与该镜筒5117的近端连接的摄像头5119构成，该镜筒的从远端起预定长度的区域被插入到患者5185的体腔中。在示出的示例中，示出了被配置为具有刚性镜筒5117的所谓的刚性内窥镜的内窥镜5115；然而，内窥镜5115可以被配置为具有柔性镜筒5117的所谓的柔性内窥镜。

在镜筒5117的远端设置有用于安装物镜的开口部。光源设备5157与内窥镜5115连接；由该光源设备5157产生的光通过在该镜筒内部延伸设置的光导被引导至镜筒5117的远端，并且经由物镜朝向患者5185的体腔中的待观察的对象照射。注意，内窥镜5115可以是前视内窥镜、斜视内窥镜或侧视内窥镜。

光学系统和成像元件设置在摄像头5119内部，并且通过该光学系统将来自待观察的对象的反射光(观察光)会聚在该成像元件上。成像元件对观察光进行光电转换，并且产生与观察光相对应的电信号，换言之，产生与观察图像相对应的图像信号。将该图像信号作为原始(RAW)数据发送到摄像机控制单元(CCU)5153。注意，摄像头5119配备有通过适当地驱动其光学系统来调整放大率和焦距的功能。

另外，例如，为了应对立体观看(3D显示)等，可以在摄像头5119中设置多个成像元件。在这种情况下，在镜筒5117内部设置多个中继光学系统，以便将观察光引导至多个成像元件中的每个。

(放置在推车中的各种设备)

CCU 5153由中央处理单元(CPU)、图形处理单元(GPU)等构成，并且全面地控制内窥镜5115和显示设备5155的动作。具体地，CCU 5153执行用于基于从摄像头5119接受的图像信号来显示图像的各种图像处理，诸如例如对该图像的显影处理(去马赛克处理)。CCU5153将已经对其执行了这些图像处理的图像信号提供给显示设备5155。此外，图21中所示的视听控制器5107连接到CCU 5153。CCU 5153还将对其执行了图像处理的图像信号提供给视听控制器5107。此外，CCU 5153将控制信号发送到摄像头5119，并且控制摄像头5119的驱动。该控制信号可以包括关于成像条件的信息，例如放大率和焦距。关于成像条件的该信息可以经由输入设备5161来输入或者可以经由上述集中式操作面板5111来输入。

显示设备5155在CCU 5153的控制下，基于由CCU 5153对其执行了图像处理的图像信号来显示图像。在内窥镜5115与诸如4K捕获(水平像素的数量3840×垂直像素的数量2160)或8K捕获(水平像素的数量7680×垂直像素的数量4320)之类的高分辨率捕获兼容和/或与3D显示兼容的情况下，例如，能够进行高分辨率显示和/或能够进行3D显示的显示设备可以用作显示设备5155，以便应对每种情况。在内窥镜5115与诸如4K或8K捕获之类的高分辨率捕获兼容的情况下，可以通过使用具有55英寸以上的尺寸的显示设备5155来获得更加身临其境的感觉。此外，可以根据实际用途设置具有不同分辨率和尺寸的多个显示设备5155。

光源设备5157例如由诸如发光二极管(LED)之类的光源构成，并且将当捕获手术部位时使用的照射光提供给内窥镜5115。

臂控制设备5159例如由诸如CPU之类的处理器构成，并且根据预定程序进行动作，以根据预定控制方式来控制支撑臂设备5141的臂部5145的驱动。

输入设备5161是与内窥镜手术系统5113的输入接口。用户可以经由输入设备5161向内窥镜手术系统5113输入各种类型的信息并且输入指令。例如，用户经由输入设备5161输入关于手术的各种类型的信息，诸如患者的身体信息和关于手术的手术过程的信息。此外，例如，用户经由输入设备5161输入驱动臂部5145的指令、改变内窥镜5115的成像条件(照射光的类型、放大率、焦距等)的指令、驱动能量治疗仪器5135的指令等。

输入设备5161的类型不受限制，并且输入设备5161可以是各种已知的输入设备。例如，可以将鼠标、键盘、触摸面板、开关、脚踏开关5171、操纵杆等用作输入设备5161。在将触摸面板用作输入设备5161的情况下，可以将触摸面板设置在显示设备5155的显示表面上。

替选地，输入设备5161例如是由用户穿戴的装置，诸如眼镜型可穿戴装置或头戴式显示器(HMD)，并且根据由这些装置检测到的用户的手势和视线进行各种输入。此外，输入设备5161包括能够检测用户的运动的摄像机，并且根据从由摄像机捕获的视频中检测到的用户的手势和视线进行各种输入。此外，输入设备5161包括能够拾取用户的语音的麦克风，并且经由麦克风通过声音进行各种输入。以此方式，通过将输入设备5161配置为能够以非接触方式输入各种类型的信息，特别地，允许属于清洁区域的用户(例如，手术外科医生5181)以非接触方式操作属于非清洁区域的仪器。另外，由于用户无需从握持的手术工具放开他/她的手就可以操作仪器，因此提高了用户的便利性。

治疗仪器控制设备5163控制能量治疗仪器5135的驱动，以进行组织的烧灼和切开、或血管的密封等。为了确保内窥镜5115的视野并且确保手术外科医生的工作空间的目的，气腹设备5165经由气腹管5133将气体输送到患者5185的体腔中以便使体腔膨胀。记录器5167是能够记录关于手术的各种类型的信息的设备。打印机5169是能够以诸如文本、图像或图形之类的各种格式来打印关于手术的各种类型的信息的设备。

在下文中，将更详细地描述内窥镜手术系统5113的特别特征配置。

(支撑臂设备)

支撑臂设备5141包括作为基座的基部5143和从基部5143延伸的臂部5145。在示出的示例中，臂部5145由多个关节部5147a、5147b和5147c以及通过关节部5147b耦接的多个连杆5149a和5149b构成；然而，在图23中，为了简单起见，以简化的方式示出了臂部5145的配置。实际上，可以适当地设定关节部5147a至5147c和连杆5149a和5149b的形状、数量和布置以及关节部5147a至5147c的旋转轴的方向等，使得臂部5145具有期望的自由度。例如，臂部5145可以被适当地配置为具有等于或大于六个自由度的自由度。这允许内窥镜5115在臂部5145的可移动范围内自由地移动，使得内窥镜5115的镜筒5117可以在期望的方向上插入到患者5185的体腔中。

在关节部5147a至5147c中设置有致动器，并且关节部5147a至5147c被配置为可通过这些致动器的驱动而绕预定旋转轴旋转。致动器的驱动由臂控制设备5159控制，从而控制关节部5147a至5147c中的每个的旋转角度，于是控制臂部5145的驱动。利用该配置，可以实现对内窥镜5115的位置和姿势的控制。此时，臂控制设备5159可以通过诸如力控制或位置控制之类的各种已知的控制方式来控制臂部5145的驱动。

例如，可以以这样的方式控制内窥镜5115的位置和姿势，使得手术外科医生5181经由输入设备5161(包括脚踏开关5171)适当地进行操作输入，进而臂控制设备5159根据操作输入来适当地控制臂部5145的驱动。利用该控制，在臂部5145的远端处的内窥镜5115可以从任意位置移动到另一任意位置，并且此后可以被固定地支撑在移动之后的该位置处。注意，可以通过所谓的主从方式来操作臂部5145。在这种情况下，用户可以经由安装在远离手术室的场所处的输入设备5161对臂部5145进行远程操作。

此外，在应用力控制的情况下，臂控制设备5159可以执行所谓的动力辅助控制，其中，响应于来自用户的外力来驱动各个关节部5147a至5147c的致动器，使得臂部5145与外力成比例地平滑地移动。利用该控制，当用户在直接接触臂部5145的同时移动臂部5145时，可以以相对较小的力来移动臂部5145。因此，可以以更简单的操作来更直观地移动内窥镜5115，并且可以提高用户的便利性。

这里，在通过内窥镜进行的一般手术中，内窥镜5115已经由被称为镜师(scopist)的外科医生支撑。与此相比，使用支撑臂设备5141使得可以在没有手动操作的情况下可靠地固定内窥镜5115的位置，从而可以稳定地获得手术部位的图像，并且可以顺利地进行手术。

注意，臂控制设备5159不一定设置在推车5151中。此外，臂控制设备5159不一定是一个设备。例如，臂控制设备5159可以设置在支撑臂设备5141的臂部5145的关节部5147a至5147c中的每个中，从而通过多个臂控制设备5159彼此协作来实现对臂部5145的驱动的控制。

(光源设备)

当捕获手术部位时，光源设备5157向内窥镜5115提供照射光。光源设备5157例如由LED、激光光源或由它们的组合构成的白色光源构成。此时，在白色光源由RGB激光光源的组合构成的情况下，可以以高精度控制每个颜色(每个波长)的输出强度和输出定时，并且因此可以在光源设备5157中调整捕获图像的白平衡。此外，在这种情况下，通过按照分时利用来自每个RGB激光源的激光束照射待观察的对象并且与照射定时同步地控制摄像头5119的成像元件的驱动，也可以按照分时来捕获与每个RGB相对应的图像。根据该方法，无需在成像元件中设置滤色器就可获得彩色图像。

另外，可以控制光源设备5157的驱动，使得对于每个预定时间跨度改变将要输出的光的强度。通过与光强度的改变的定时同步地控制摄像头5119的成像元件的驱动以按照分时获取图像并且合并这些图像，可以生成高动态范围的图像而没有所谓的遮挡阴影和过度曝光的高光。

此外，光源设备5157可以被配置为使得可以从光源设备5157提供与特殊光观察兼容的预定波长带的光。在特殊光观察中，例如，通过利用人体组织中的光吸收的波长依赖性，执行所谓的窄带光观察(窄带成像)，其中，通过照射与通常观察时的照射光(换言之，白光)相比的窄带光，以高对比度来捕获预定组织，例如在粘膜表面层处的血管。替选地，在特殊光观察中，可以执行荧光观察，该荧光观察用于通过辐射激发光而产生的荧光来获得图像。在荧光观察中，例如，可以执行利用激发光照射人体组织并且观察来自人体组织的荧光(自发荧光观察)的荧光观察，或者对人体组织局部地施用诸如吲哚菁绿(ICG)之类的试剂并且同时利用与试剂的荧光波长相对应的激发光照射人体组织以获得荧光图像的荧光观察。光源设备5157可以被配置为使得可以从光源设备5157提供与这样的特殊光观察兼容的窄带光和/或激发光。

(摄像头和CCU)

参考图24，将更详细地描述内窥镜5115的CCU 5153和摄像头5119的功能。图24是示出图23中所示的摄像头5119和CCU 5153的功能配置的示例的框图。

参考图24，摄像头5119具有透镜单元5121、成像单元5123、驱动单元5125、通信单元5127和摄像头控制部分5129作为其功能。此外，CCU 5153具有通信单元5173、图像处理单元5175和控制部分5177作为其功能。摄像头5119和CCU 5153经由传输电缆5179连接，从而能够双向通信。

首先，将描述摄像头5119的功能配置。透镜单元5121是设置在与镜筒5117的连接部分处的光学系统。从镜筒5117的远端获取的观察光被引导至摄像头5119，并且入射在透镜单元5121上。透镜单元5121通过组合包括变焦透镜和聚焦透镜的多个透镜而构成。调整透镜单元5121的光学特性，以便将观察光会聚在成像单元5123的成像元件的光接收表面上。此外，变焦透镜和聚焦透镜被配置为使得它们在光轴上的位置可以移动，以便调整捕获图像的放大倍率和焦点。

成像单元5123由成像元件构成并且布置在透镜单元5121的后段。已经通过透镜单元5121的观察光会聚在成像元件的光接收表面上，并且通过光电转换生成与观察图像相对应的图像信号。由成像单元5123生成的图像信号被提供给通信单元5127。

例如，能够捕获具有拜耳阵列的彩色图像的互补金属氧化物半导体(CMOS)型的图像传感器用作构成成像单元5123的成像元件。注意，例如，能够应对捕获4K以上的高分辨率图像的成像元件可用作成像元件。由于以高分辨率获得手术部位的图像，因此手术外科医生5181可以更详细地掌握手术部位的状态，并且可以使手术更顺利地进行。

此外，构成成像单元5123的成像元件被配置为使得构成成像单元5123的成像元件具有一对成像元件，用于分别获取与3D显示兼容的右眼和左眼的图像信号。由于执行了3D显示，手术外科医生5181可以更准确地掌握手术部位中的活体组织的深度。注意，在成像单元5123被配置为多板型的情况下，透镜单元5121也被设置为与各个成像元件相对应的多个系统。

此外，成像单元5123不一定设置在摄像头5119中。例如，成像单元5123可以紧接在物镜之后设置在镜筒5117内部。

驱动单元5125由致动器构成，并且在摄像头控制部分5129的控制下使透镜单元5121的变焦透镜和聚焦透镜沿着光轴移动预定距离。利用该移动，可以适当地调整由成像单元5123捕获的图像的放大率和焦点。

通信单元5127由用于向CCU 5153发送各种类型的信息和从CCU 5153接收各种类型的信息的通信设备构成。通信单元5127经由传输电缆将从成像单元5123获得的图像信号作为原始数据发送至CCU 5153。这时，为了以低延迟显示手术部位的捕获图像，优选通过光通信来发送图像信号。这是因为手术外科医生5181在利用捕获图像来观察患部的状态的同时执行手术，因此，为了更安全且可靠地进行手术，需要在手术期间尽可能实时地显示手术部位的运动图像。在执行光通信的情况下，在通信单元5127中提供将电信号转换成光信号的光电转换模块。图像信号被光电转换模块转换成光信号，然后经由传输电缆5179发送到CCU 5153。

此外，通信单元5127从CCU 5153接收用于控制摄像头5119的驱动的控制信号。例如，该控制信号可以包括关于成像条件的信息，诸如用来指定捕获图像的帧率的信息、用来指定成像时的曝光值的信息和/或用来指定捕获图像的放大率和焦点的信息。通信单元5127将接收到的控制信号提供给摄像头控制部分5129。注意，来自CCU 5153的控制信号也可以通过光通信来发送。在这种情况下，通信单元5127设置有将光信号转换为电信号的光电转换模块；控制信号被该光电转换模块转换为电信号，然后提供给摄像头控制部分5129。

注意，CCU 5153的控制部分5177基于所获取的图像信号自动地设定上述成像条件，诸如帧率、曝光值、放大率和焦点等。即，内窥镜5115配备有所谓的自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。

摄像头控制部分5129基于经由通信单元5127从CCU 5153接收的控制信号来控制摄像头5119的驱动。例如，摄像头控制部分5129基于用来指定捕获图像的帧率的信息和/或用来指定成像时的曝光的信息来控制成像单元5123的成像元件的驱动。此外，例如，摄像头控制部分5129基于用来指定捕获图像的放大率和焦点的信息，经由驱动单元5125适当地移动透镜单元5121的变焦透镜和聚焦透镜。摄像头控制部分5129还可以包括存储用于识别镜筒5117和摄像头5119的信息的功能。

注意，通过将诸如透镜单元5121和成像单元5123之类的组件布置在具有高气密性和防水性的气密结构中，使得摄像头5119能够对高压灭菌处理具有耐受力。

接下来，将描述CCU 5153的功能配置。通信单元5173由用于向摄像头5119发送各种类型的信息和从摄像头5119接收各种类型的信息的通信设备构成。通信单元5173经由传输电缆5179接收从摄像头5119发送的图像信号。此时，如上所述，可以通过光通信适当地发送图像信号。在这种情况下，在通信单元5173中提供将光信号转换成电信号的光电转换模块，以便与光通信兼容。通信单元5173将被转换为电信号的图像信号提供给图像处理单元5175。

此外，通信单元5173将用于控制摄像头5119的驱动的控制信号发送到摄像头5119。该控制信号也可以通过光通信来发送。

图像处理单元5175对图像信号执行各种图像处理，该图像信号是从摄像头5119发送的原始数据。这些图像处理的示例包括各种已知的信号处理，诸如显影处理、高图像质量处理(带增强处理、超分辨率处理、降噪(NR)处理、摄像机抖动校正处理等)和/或放大处理(电子变焦处理)。此外，图像处理单元5175对图像信号执行波感测处理，以执行AE、AF和AWB。

图像处理单元5175由诸如CPU和GPU之类的处理器构成，并且可以通过该处理器根据预定程序进行动作来执行上述图像处理和波感测处理。注意，在图像处理单元5175由多个GPU构成的情况下，图像处理单元5175适当地划分与图像信号相关联的信息，并且由多个GPU并行地执行图像处理。

控制部分5177执行与通过内窥镜5115进行的手术部位的成像以及通过该成像获得的捕获图像的显示有关的各种类型的控制。例如，控制部分5177生成用于控制摄像头5119的驱动的控制信号。这时，在用户输入了成像条件的情况下，控制部分5177基于用户的输入生成控制信号。替选地，在内窥镜5115中配备有AE功能、AF功能和AWB功能的情况下，控制部分5177根据由图像处理单元5175进行的波检测处理的结果适当地计算最佳曝光值、焦距和白平衡，并且生成控制信号。

此外，控制部分5177基于由图像处理单元5175对其进行了图像处理的图像信号，在显示设备5155上显示手术部位的图像。此时，控制部分5177使用各种图像识别技术来识别手术部位的图像中的各种对象。例如，控制部分5177检测手术部位的图像中包括的对象的边缘的形状、颜色等，由此能够识别诸如钳子之类的手术工具、特定的活体部分、出血、在使用能量治疗仪器5135时的雾气等。当在显示设备5155上显示手术部位的图像时，控制部分5177使用识别的结果来显示被叠加到手术部位的该图像上的各种类型的手术支持信息。由于手术支持信息被叠加显示并且呈现给手术外科医生5181，因此可以更安全且可靠地进行手术。

连接摄像头5119和CCU 5153的传输电缆5179是与电信号的通信兼容的电信号电缆、与光通信兼容的光纤或其复合电缆。

这里，在示出的示例中，使用传输电缆5179通过有线执行通信；然而，摄像头5119与CCU 5153之间的通信可以无线地执行。在无线地执行摄像头5119与CCU 5153之间的通信的情况下，不再需要将传输电缆5179放置在手术室中，从而可以解决医疗人员在手术室中的移动被传输电缆5179阻碍的情形。

到目前为止，已经描述了可以应用根据本公开的技术的手术室系统5100的示例。注意，作为示例，这里描述了应用手术室系统5100的医疗系统是内窥镜手术系统5113的情况；然而，手术室系统5100的配置不限于该示例。例如，代替内窥镜手术系统5113，手术室系统5100可以应用于检查用柔性内窥镜系统或显微镜手术系统。

在上述配置中，根据本公开的技术可以适当地应用于视听控制器5107。具体地，本技术的控制设备的配置可以应用于控制分发源设备和输出目的地设备的动作的视听控制器5107。通过将根据本公开的技术应用于视听控制器5107，可以根据网络的状态提供稳定的流传输；因此，特别是在实时进行的远程医疗中，可以提高诊断的精度。

此外，根据本技术的实施例不限于上述实施例，并且在不偏离本技术的范围的情况下可以进行各种修改。

此外，本技术还可以如下配置。

(1)一种通信系统，包括：

接收设备；

发送设备，所述发送设备执行对所述接收设备的流传输；以及

控制设备，所述控制设备管理网络的状态，所述网络连接所述接收设备和所述发送设备，并且所述网络包括第一通信线路和第二通信线路，其中

与第二通信线路相比，第一通信线路在连接状态上不稳定，以及

所述控制设备基于从所述发送设备发送到所述接收设备的分组来管理所述网络的状态。

(2)根据(1)所述的通信系统，其中

与第二通信线路相比，第一通信线路具有大的延迟或分组丢失。

(3)根据(2)所述的通信系统，其中

第一通信线路包括无线通信线路，以及

第二通信线路仅由有线通信线路构成。

(4)根据(3)所述的通信系统，其中

所述发送设备通过第一通信线路连接到所述网络，以及

所述接收设备通过第二通信线路连接到所述网络。

(5)根据(4)所述的通信系统，其中

所述发送设备通过用户数据报协议(UDP)执行对所述接收设备的流传输。

(6)根据(5)所述的通信系统，其中

所述控制设备包括：

状态掌握单元，所述状态掌握单元通过传输控制协议(TCP)连接来掌握所述接收设备中的流传输的接收状态；以及

决定单元，所述决定单元基于流传输的接收状态来决定停止流传输。

(7)根据(6)所述的通信系统，其中

所述决定单元基于所述接收设备中的分组接收间隔和预定时间内的分组丢失数量中的至少一个来决定停止流传输。

(8)根据(6)或(7)所述的通信系统，其中

所述发送设备通过使用多个第一通信线路进行绑定来执行流传输，

所述状态掌握单元经由所述接收设备中的所述多个第一通信线路中的每个来掌握流传输的接收状态，以及

所述决定单元基于流传输的每个接收状态来决定停止流传输。

(9)根据(8)所述的通信系统，其中

所述决定单元基于所述多个第一通信线路中的每个的通信方案和流传输的每个接收状态来决定停止流传输。

(10)根据(5)所述的通信系统，其中

所述接收设备包括带宽估计单元，所述带宽估计单元估计执行流传输的所述网络的带宽，以及

所述控制设备包括参数设定单元，所述参数设定单元基于所估计的所述网络的带宽来设定与由所述发送设备执行的流传输有关的参数。

(11)根据(10)所述的通信系统，其中

所述发送设备在每隔预定时间逐步增加发送速率的同时将分组发送到所述接收设备，以及

所述带宽估计单元基于从所述发送设备接收的分组的接收速率来估计所述网络的带宽。

(12)根据(10)或(11)所述的通信系统，其中

所述接收设备还包括拥塞检测单元，所述拥塞检测单元检测所述网络中的拥塞，以及

所述带宽估计单元基于所述网络中的拥塞的检测结果来估计所述网络的带宽。

(13)根据(12)所述的通信系统，其中

所述拥塞检测单元基于实时传输协议(RTP)分组的相对延迟量来检测所述网络中的拥塞。

(14)根据(1)至(13)中任一项所述的通信系统，其中

所述发送设备执行运动图像的流传输。

(15)根据(14)所述的通信系统，其中

所述发送设备被配置为成像设备，所述成像设备捕获运动图像并且实时发送所捕获的运动图像。

(16)一种控制设备，包括：

控制部分，所述控制部分管理网络的状态，所述网络连接接收设备和执行对所述接收设备的流传输的发送设备，并且所述网络包括第一通信线路和第二通信线路，其中

与第二通信线路相比，第一通信线路在连接状态上不稳定，以及

所述控制部分基于从所述发送设备发送到所述接收设备的分组来管理所述网络的状态。

附图标记列表

1 通信系统

11 发送设备

12 接收设备

13 控制设备

20、20-1、20-2 基站

30 因特网

91 状态决定单元

101 控制部分

111 状态掌握单元

112 动作决定单元

121 带宽估计单元

122 拥塞检测单元

131 控制部分

141 参数设定单元

151 控制部分

Claims (16)

1.一种通信系统，包括：

接收设备；

发送设备，所述发送设备执行对所述接收设备的流传输；以及

控制设备，所述控制设备管理网络的状态，所述网络连接所述接收设备和所述发送设备，并且所述网络包括第一通信线路和第二通信线路，其中

与第二通信线路相比，第一通信线路在连接状态上不稳定，以及

所述控制设备基于从所述发送设备发送到所述接收设备的分组来管理所述网络的状态。

2.根据权利要求1所述的通信系统，其中

与第二通信线路相比，第一通信线路具有大的延迟或分组丢失。

3.根据权利要求2所述的通信系统，其中

第一通信线路包括无线通信线路，以及

第二通信线路仅由有线通信线路构成。

4.根据权利要求3所述的通信系统，其中

所述发送设备通过第一通信线路连接到所述网络，以及

所述接收设备通过第二通信线路连接到所述网络。

5.根据权利要求4所述的通信系统，其中

所述发送设备通过用户数据报协议(UDP)执行对所述接收设备的流传输。

6.根据权利要求5所述的通信系统，其中

所述控制设备包括：

状态掌握单元，所述状态掌握单元通过传输控制协议(TCP)连接来掌握所述接收设备中的流传输的接收状态；以及

决定单元，所述决定单元基于流传输的接收状态来决定停止流传输。

7.根据权利要求6所述的通信系统，其中

所述决定单元基于所述接收设备中的分组接收间隔和预定时间内的分组丢失数量中的至少一个来决定停止流传输。

8.根据权利要求6所述的通信系统，其中

所述发送设备通过使用多个第一通信线路进行绑定来执行流传输，

所述状态掌握单元经由所述接收设备中的所述多个第一通信线路中的每个来掌握流传输的接收状态，以及

所述决定单元基于流传输的每个接收状态来决定停止流传输。

9.根据权利要求8所述的通信系统，其中

所述决定单元基于所述多个第一通信线路中的每个的通信方案和流传输的每个接收状态来决定停止流传输。

10.根据权利要求5所述的通信系统，其中

所述接收设备包括带宽估计单元，所述带宽估计单元估计执行流传输的所述网络的带宽，以及

所述控制设备包括参数设定单元，所述参数设定单元基于所估计的所述网络的带宽来设定与由所述发送设备执行的流传输有关的参数。

11.根据权利要求10所述的通信系统，其中

所述发送设备在每隔预定时间逐步增加发送速率的同时将分组发送到所述接收设备，以及

所述带宽估计单元基于从所述发送设备接收的分组的接收速率来估计所述网络的带宽。

12.根据权利要求10所述的通信系统，其中

所述接收设备还包括拥塞检测单元，所述拥塞检测单元检测所述网络中的拥塞，以及

所述带宽估计单元基于所述网络中的拥塞的检测结果来估计所述网络的带宽。

13.根据权利要求12所述的通信系统，其中

所述拥塞检测单元基于实时传输协议(RTP)分组的相对延迟量来检测所述网络中的拥塞。

14.根据权利要求1所述的通信系统，其中

所述发送设备执行运动图像的流传输。

15.根据权利要求14所述的通信系统，其中

所述发送设备被配置为成像设备，所述成像设备捕获运动图像并且实时发送所捕获的运动图像。

16.一种控制设备，包括：

控制部分，所述控制部分管理网络的状态，所述网络连接接收设备和执行对所述接收设备的流传输的发送设备，并且所述网络包括第一通信线路和第二通信线路，其中

与第二通信线路相比，第一通信线路在连接状态上不稳定，以及

所述控制部分基于从所述发送设备发送到所述接收设备的分组来管理所述网络的状态。

Images