CN110785972A - 通信系统和发送装置 - Google Patents

通信系统和发送装置 Download PDF

Info

Publication number
CN110785972A
CN110785972A CN201880041309.1A CN201880041309A CN110785972A CN 110785972 A CN110785972 A CN 110785972A CN 201880041309 A CN201880041309 A CN 201880041309A CN 110785972 A CN110785972 A CN 110785972A
Authority
CN
China
Prior art keywords
data
communication
qos
communication system
assignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880041309.1A
Other languages
English (en)
Other versions
CN110785972B (zh
Inventor
佐藤弘基
和久田兼作
松村智彰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110785972A publication Critical patent/CN110785972A/zh
Application granted granted Critical
Publication of CN110785972B publication Critical patent/CN110785972B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894—Packet rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H04W28/082—Load balancing or load distribution among bearers or channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H04L43/0829—Packet loss
    • H04L43/0835—One way packet loss
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H04L43/0864—Round trip delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/24—Multipath
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/302—Route determination based on requested QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/302—Route determination based on requested QoS
    • H04L45/306—Route determination based on the nature of the carried application
    • H04L45/3065—Route determination based on the nature of the carried application for real time traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/41—Flow control; Congestion control by acting on aggregated flows or links
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/14—Multichannel or multilink protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/0268—Traffic management, e.g. flow control or congestion control using specific QoS parameters for wireless networks, e.g. QoS class identifier [QCI] or guaranteed bit rate [GBR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H04W28/09—Management thereof
    • H04W28/0958—Management thereof based on metrics or performance parameters
    • H04W28/0967—Quality of Service [QoS] parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/12—Communication route or path selection, e.g. power-based or shortest path routing based on transmission quality or channel quality

Abstract

本特征涉及一种通信系统和发送装置，其使得能够使用多个无线通信线路进行高度可靠的流传输。在发送装置的QoS模块生成关于多个通信线路的QoS的信息，负载均衡器基于至少关于QoS的信息来指定数据到通信线路的指派，并且投射器基于来自QoS模块的指示将数据以分发的方式发送给所指派的通信线路。本特种可以应用于通过UDP执行流传输的通信系统。

Description

通信系统和发送装置
技术领域
本技术涉及通信系统和发送装置，并且更具体地涉及使得能够使用多个无线通信线路进行流传输的通信系统和发送装置。
背景技术
传统上，存在使用无线通信路径的各种通信系统。
例如，专利文献1公开了一种系统，该系统通过使用多个不同的无线通信路径并利用另一个无线通信路径补充一个无线通信路径的带宽不足来进行通信。
另外，近年来，许多通过无线通信来分发实时捕获的运动图像的视频分发系统已经投入实际使用。
引用列表
专利文献
专利文献1：日本专利特开2008-113224号公报
发明内容
本发明所要解决的问题
然而，专利文献1中公开的系统以电话声音通信为前提，并且专利文献1的配置无法总是应用于视频分发系统。
本技术鉴于这种情况而被做出，并且使得可以使用多个无线通信线路来执行高度可靠的流传输。
问题的解决方案
本技术的通信系统包括：发送装置，其经由多个通信线路来发送数据；以及接收装置，从发送装置接收数据，其中发送装置包括：服务质量(QoS)模块，生成关于所述多个通信线路的QoS的信息；负载均衡器，至少基于关于QoS的信息来指定数据到通信线路的指派；以及投射器(caster)，基于来自QoS模块的指令将数据分配并发送到所指派的通信线路。
本技术的发送装置包括：QoS模块，生成关于多个通信线路的QoS的信息；负载均衡器，至少基于关于QoS的信息来指定数据到通信线路的指派；以及投射器，基于来自QoS模块的指令将数据分配并发送给所指派的通信线路。
在本技术中，生成关于多个通信线路的QoS的信息，至少基于关于QoS的信息来指定数据到通信线路的指派，并且基于来自QoS模块的指令将数据分配并发送给所分配的通信线路。
发明的效果
根据本技术，可以使用多个无线通信线路来执行高度可靠的流传输。
注意，不一定限制本文描述的效果，并且可以应用本公开中描述的任何效果。
附图说明
图1是示出根据本实施例的通信系统的配置示例的图。
图2是示出发送装置的配置示例的框图。
图3是示出发送装置和接收装置的功能配置示例的框图。
图4是用于说明数据发送处理的流程图。
图5是用于说明链路的恢复确定的概要的图。
图6是用于说明链路恢复确定处理的流程图。
图7是用于说明数据重新发送处理的流程图。
图8是示出数据重新发送的示例的图。
图9是示出数据重新发送的示例的图。
图10是用于说明静止分组发送处理的流程图。
图11是用于说明在发送前导分组之后的分组发送的图。
图12是示出发送装置和接收装置的另一功能配置示例的框图。
图13是示意性地示出手术室系统的整体配置的图。
图14是示出集中操作面板上的操作屏幕的显示示例的图。
图15是示出在应用手术室系统的同时如何进行手术的示例的图。
图16是示出图15所示的相机头部和相机控制单元(CCU)的功能配置的示例的框图。
具体实施方式
下面将描述用于执行本公开的模式(在下文中，称为实施例)。注意，将按以下顺序给出描述。
1.通信系统的配置和工作
2.链路的恢复确定
3.数据的重新发送
4.缓冲器中固定分组的发送
5.变体
6.应用示例
<1.通信系统的配置和工作>
(通信系统的配置示例)
图1是示出根据本实施例的通信系统的配置示例的图。
在图1中的通信系统1中，通过发送装置11使用用户数据报协议(UDP)执行流传输而将发送装置11正在捕获的运动图像实时地发送到接收装置12。
发送装置11例如被配置为诸如摄录像机之类的成像装置，并且将成像单元11a所捕获的运动图像的数据(运动图像数据)实时地发送到接收装置12。注意，发送装置11和成像装置可被彼此分开地配置。
接收装置12例如被配置为设置在用于电视广播的广播站中的流传输接收器，并且接收从发送装置11发送的运动图像数据。通过广播波来分发由接收装置12接收的运动图像数据。
发送装置11和接收装置12经由包括第一通信线路和第二通信线路的网络而连接，第一通信线路包括无线通信线路，第二通信线路仅由有线通信线路构成。
假定这里提到的第一通信线路是指经由基站20-1和20-2的发送装置11与因特网30之间的通信线路，并且假定第二通信线路是指因特网30与接收装置12之间的通信线路。
发送装置11通过第一无线通信线路(链路1)连接到基站20-1，并且通过第二无线通信线路(链路2)连接到基站20-2。例如，在发送装置11与基站20-1之间以及在发送装置11与基站20-2之间进行符合第三代(3G)或长期演进(LTE)方案的通信。注意，在下文中，在某些情况下，通过链路1的整个通信路径也称为链路1，并且通过链路2的整个通信路径也称为链路2。
发送装置11通过使用链路1和链路2进行绑定来执行流传输，从而能够将通过捕获获得的运动图像数据划分为数据SD1和数据SD2以进行发送。尽管稍后将描述细节，但是通过执行服务质量(QoS)控制在发送装置11和接收装置12之间执行流传输。
控制器13连接到因特网30。类似于接收装置12，控制器13例如设置在用于电视广播的广播站中。
控制器13是管理包括发送装置11与因特网30之间的通信线路(第一通信线路)以及因特网30与接收装置12之间的通信线路(第二通信线路)的网络的状态的控制装置。例如，控制器13通过传输控制协议(TCP)连接来管理发送装置11与接收装置12之间的流传输的状态。
注意，仅需要建立与构成通信系统1的网络的连接，并且如图1所示，可以采用仅连接到因特网30或设置在云40上。另外，在控制器13中，控制器13可被配置为与接收装置12集成在一起，或者可被配置为与发送装置11集成在一起。
另外，云40上的服务器41连接到因特网30。可以由云40上的服务器41通过因特网30来分发由接收装置12接收的运动图像数据。
另外，由接收装置12接收的运动图像数据可被保存在例如广播站中的连接到接收装置12的存储装置42中。
(发送装置的配置示例)
图2是示出发送装置11的配置示例的框图。
在图2中的发送装置11中，中央处理器单元(CPU)61根据存储在只读存储器(ROM)62中的程序或加载在随机存取存储器(RAM)63中的程序来执行用于实现发送装置11中包括的各种功能的处理。CPU 61在执行各种处理时所需的数据等也适当地存储在RAM 63中。
CPU 61、ROM 62和RAM 63经由总线64相互连接。另外，输入/输出接口65连接到该总线64。
输入单元66、输出单元67、存储单元68、通信单元69和成像单元70连接到输入/输出接口65。
输入单元66由键、按钮、触摸面板、麦克风等构成，并且输出单元67由显示器、扬声器等构成。存储单元68由硬盘等构成，并且通信单元69由执行各种类型的无线通信的天线等构成。
成像单元70对应于图1中的成像单元11a，并且由互补金属氧化物半导体(CMOS)图像传感器等构成。
另外，驱动器71根据需要连接到输入/输出接口65，并且由半导体存储器等构成的可移除介质72被适当地附接。从可移除介质72中读取的计算机程序根据需要被安装在存储单元68中。
注意，除了不包括成像单元70之外，接收装置12和控制器13的配置基本上类似于图2中的发送装置11的配置，因此其描述将被省略。
(发送装置和接收装置的功能配置示例)
接下来，将参考图3描述发送装置11和接收装置12的功能配置示例。
发送装置11包括编码器81、负载均衡器82、QoS模块83和投射器84。
编码器81对由成像单元70获得的运动图像数据进行编码，并且以图片组(GOP)为单位生成数据，每个图片组包括I帧和P帧。注意，在本实施例中假定一个GOP包括I帧和P帧，但是一个GOP也可以包括I帧、P帧和B帧。
例如，基于稍后将描述的QoS信息，负载均衡器82将由编码器81生成的每个帧指派给链路1和链路2。
QoS模块83利用接收装置12实现QoS控制。
例如，QoS模块83基于来自接收装置12的关于链路1和2中的每个链路的反馈信息来生成关于链路1和2中的每个链路的QoS的QoS信息，并将该QoS信息通知给负载均衡器82。另外，QoS模块83指示投射器84发送由负载均衡器82指派给链路1或2的每个帧。
基于来自QoS模块83的指令，投射器84将每个单独的帧分配给所指派的链路1或2，并且以分组为单位将所分配的帧发送到接收装置12。注意，在通过UDP的流传输中，以任意顺序发送构成每个帧的分组。
同时，接收装置12包括通信单元91、QoS模块92和解码器93。
通信单元91接收经由链路1和2从发送装置11发送的分组，并将接收到的分组供应给QoS模块92。
QoS模块92利用发送装置11实现QoS控制。
例如，QoS模块92针对经由链路1和2从发送装置11发送的预定分组生成关于链路1和2中的每个链路的反馈信息，并使通信单元91发送所生成的反馈信息。
QoS模块92在其中具有帧缓冲器，并且根据帧的输出定时将以帧为单位的分组组输出到解码器93。
解码器93通过对从QoS模块92输出的每个帧进行解码来生成运动图像数据。
(发送装置的工作)
接下来，将参考图4中的流程图描述由发送装置11进行的发送处理。例如，当投射器84从接收装置12接收到关于链路1和2中的每个链路的反馈信息时，开始图4中的处理。
在步骤S11中，QoS模块83基于关于每个链路的反馈信息来生成每个链路的速率信息和链路信息作为QoS信息，并且将所生成的信息通知给负载均衡器82。
这里，速率信息是指示链路1和2中的每个链路的通信速率的信息，并且链路信息是指明相关链路是否可用的评估指标，该评估指标完全基于链路1和2中的每个链路的带宽、分组丢失率、往返传输时间等来定义。
在步骤S12中，基于I帧指派信息或来自QoS模块83的速率信息或链路信息中的至少一个，负载均衡器82使用通过自动速率控制(ARC)估计的速率作为基准将由编码器81生成的每个帧指派给链路1和2。
I帧指派信息是指示I帧和P帧中的具有更大数据量的I帧向每个链路的指派状态的信息。I帧指派信息还包括指示过去的I帧向每个链路的指派状态的信息。
根据I帧指派信息，可以防止具有更大数据量的I帧被不均匀地指派给一个链路。另外，根据速率信息和链路信息，可以根据每个链路的状态来指派帧。
注意，此时，QoS模块83指示投射器84发送由负载均衡器82指派给每个链路的每个帧。
然后，在步骤S13中，基于来自QoS模块83的指令，投射器84将每个单独的帧分配给所指派的链路1或2，并且以分组为单位将所分配的帧发送到接收装置12。
根据以上处理，由于由QoS模块83适当地执行了QoS控制，因此即使在通过UDP进行流传输的情况下，也可以通过使用多个无线通信线路进行绑定来执行高度可靠的流传输。
<2.链路的恢复确定>
在上述通信系统1中，存在多个链路之一在绑定期间变得不可用的情况。在这种情况下，需要停止将帧指派给不可用的链路。在下文中，将描述确定已经停止向其指派帧的链路的恢复的技术。
(链路的恢复确定的概要)
图5是用于说明已经停止向其指派帧的链路的恢复确定的概要的图。
图5示出了关于某个链路的有效带宽EB和在特定时间段期间发送的分组量的时间变化。
如图5所示，例如，在时间t1，当要发送的音频和视频分组的总量超过此时的有效带宽EB时，如图5中的虚线圆圈所示，造成分组丢失和网络拥塞并且无法正常进行流传输；结果，QoS模块83发现无法发送视频分组(帧)。
此后，QoS模块83停止将视频分组指派给某个链路，并且在时间t2开始音频分组的复用发送。在这里，重复执行音频分组的复用发送，使得每当执行发送时使要复用和发送的相同分组的数量增加。以这种方式，可以估计某个链路的带宽。
注意，在图5中的示例中，有效带宽EB从大约时间t2起开始上升。
然后，在时间t3，当要复用和发送的音频分组的总量(换言之，带宽估计结果)超过预设的阈值时，QoS模块83恢复向某个链路指派视频分组。此时，有效带宽EB足够大于音频和视频分组的总量，并且可以通过某个链路发送帧。
(链接恢复确定处理)
图6是用于说明链路恢复确定处理的流程图。QoS模块83针对每个链路执行图6中的处理。
在步骤S31中，QoS模块83判定是否可以将帧(分组)指派给作为要判定的对象的链路(以下称为对象链路)。
当判定可以指派帧时，重复步骤S31中的处理。然后，如果判定无法指派帧，则处理转到步骤S32，并且QoS模块83向负载均衡器82通知无法向对象链路指派帧。
利用该通知，负载均衡器82停止将帧指派给对象链路。
在步骤S33中，QoS模块83指定用于带宽估计的分组重复量。
在步骤S34中，QoS模块83指示投射器84利用指定的重复量来执行分组的复用发送。投射器84根据来自QoS模块83的指令对接收装置12进行分组的复用发送。针对来自发送装置11的分组，接收装置12将关于对象链路的反馈信息发送到发送装置11。
在步骤S35中，QoS模块83经由投射器84从接收装置12获取关于对象链路的反馈信息。
在步骤S36中，基于所获取的反馈信息，QoS模块83判定对象链路在该时间点的通信速率是否等于或高于预设的指定速率。换句话说，估计对象链路的带宽，并且判定估计的带宽是否超过预定带宽。
在判定对象链路在该时间点的通信速率不等于或高于预设的指定速率的情况下，处理返回到步骤S33，并且重复步骤S33至S35中的处理。此时，每当重复处理时，使分组重复量增加。
然后，在步骤S36中判定对象链路在该时间点的通信速率等于或高于预设的指定速率的情况下，处理转到步骤S37，并且QoS模块83决定恢复向对象链路指派帧。
此后，在步骤S38中，QoS模块83向负载均衡器82通知已经决定将恢复向对象链路指派帧。
利用该通知，使负载均衡器82再次开始向对象链路指派帧。
根据以上处理，即使在绑定期间停止对某个链路的帧指派的情况下，也可以在确保冗余的同时在适当定时恢复对某个链路的帧指派。
<3.数据的重新发送>
在通过UDP进行的流传输中，在由于通信线路等的瞬时中断而发生分组丢失的情况下，相关数据丢失。因此，根据本实施例的通信系统1通过重新发送数据来保证数据。
(数据重新发送处理)
将参考图7中的流程图描述通信系统1中的数据重新发送处理。
在步骤S51中，QoS模块83判定是否需要进行数据重新发送。稍后将描述需要进行数据重新发送的情况的示例。
在步骤S51中确定需要进行数据重新发送的情况下，处理转到步骤S52，并且投射器84重新发送被确定为需要重新发送的数据。
另一方面，在步骤S51中确定为不需要进行数据重新发送的情况下，投射器84什么也不做，并且处理结束。
在这里，将参考图8和图9描述需要进行数据重新发送的情况的示例。
图8示出了在链路1和2中的链路2中发生瞬时中断的情况的示例。
在这种情况下，基于在瞬时中断时来自接收装置12的关于链路2的反馈信息，QoS模块83指示投射器84通过切换链路来使用不同的线路(链路1)重新发送尚未在接收装置12中确认接收的分组P11。结果，可以减少分组丢失的影响。
图9示出了从接收装置12向发送装置11进行重新发送请求的情况的示例。
在这种情况下，基于来自接收装置12的重新发送请求，QoS模块83指示投射器84同时使用链路1和2来并行地重新发送请求重新发送的分组P21。结果，可以提高需要紧急性(urgency)的通信的可靠性。
<4.缓冲器中的静止分组的发送>
在通信系统1中，发送装置11被配置为将分组保留在投射器84的发送缓冲器中，并且然后将保留的分组发送到接收装置12。
(静止分组的发送处理)
在这里，参考图10中的流程图，将描述投射器84的发送缓冲器中的静止分组的发送处理。
在步骤S71中，QoS模块83判定是否将在接收装置12中的分组的使用时刻之前完成投射器84的发送缓冲器中的分组组通过所指派的链路的发送，具体而言，判定投射器84的发送缓冲器中的分组组是否包含将不会及时赶上接收装置12中的运动图像的再现时间的分组。注意，假定待判定的分组组构成运动图像数据的一个帧。
在步骤S71中确定不存在将不会及时赶上再现时间的分组的情况下，处理转到步骤S72，并且QoS模块83指示投射器84通过由负载均衡器82指派的链路来发送投射器84的发送缓冲器中的分组组。
另一方面，在步骤S71中确定存在将不会及时赶上再现时间的分组的情况下，处理转到步骤S73。
在步骤S73中，QoS模块83判定是否如果通过除所指派的链路以外的不同的链路来发送被确定为将不会及时赶上再现时间的分组，则该分组将是及时的。
在步骤S73中确定如果通过不同的链路来发送分组则该分组将是及时的情况下，处理转到步骤S74，并且QoS模块83指示投射器84通过该不同的链路来发送投射器84的发送缓冲器中的分组组。
另一方面，在步骤S73中确定即使通过不同的链路来发送该分组，该分组也将不会是及时的情况下，处理转到步骤S75。
在步骤S75中，QoS模块83判定是否已经发送了发送缓冲器中的分组组(换句话说，构成一个帧的分组组)的先头(leading)分组。
在步骤S75中确定已经发送了一个帧的先头分组的情况下，处理转到步骤S76，并且QoS模块83指示投射器84通过由负载均衡器82指派的链路来发送发送缓冲器中的分组组中的所有剩余分组。
例如，如图11所示，假定三个分组pkt1、pkt2和pkt3构成一个帧。在如图11中的箭头#1所指示已经将这三个分组中的先头分组pkt1从发送装置11发送到接收装置12的情况下，如图11中的箭头#2和#3所指示将剩余分组pkt2和pkt3立即从发送装置发送到接收装置12。
结果，在这种情况下，有可能所发送的分组未及时赶上接收装置12中的再现时间或发生分组丢失；然而，例如在所指派的链路的状态变得更好的情况下，也有可能正确地发送剩余的分组。
注意，在该示例中，假定在已经发送一个帧的先头分组的情况下立即发送所有剩余分组；然而，在已经发送从先头分组起的预定数量的分组的情况下，可以立即发送所有剩余分组。
另外，当发送缓冲器中的分组组的所有剩余分组都被发送时，发送缓冲器中的分组组的剩余分组可以基于其他链路的状态而被分配给由负载均衡器82指派的链路和另一链路。例如，对分组进行分配，使得发送缓冲器中的分组组的前半部分分组通过另一链路来发送，并且剩余的分组通过所指派的链路来发送。结果，与仅通过所指派的链路进行发送相比，可以减少发生传输延迟和分组丢失的可能性。
随后，返回到图10中的流程图，在步骤S75中确定尚未发送一个帧的先头分组的情况下，处理转到步骤S77，并且QoS模块83指示投射器84删除发送缓冲器中的分组组中的所有分组。
根据以上处理，根据链路的状态发送及时赶上接收装置12中的运动图像的再现时间的分组成为可能。
<5.变体>
在上述配置中，假定发送装置11使用两个通信线路(链路)进行流传输；然而，链路的数量不限于两个，并且如图12所示，可以采用任意数量n。
在这种情况下，发送装置11和接收装置12可以具备分别针对各个链路1至n的QoS模块83-1至83-n和QoS模块92-1至92-n。
<6.应用示例>
上面已经描述了将根据本公开的技术应用于执行电视广播的通信系统的示例；然而，本技术不限于该示例，而且可以应用于各种系统。例如，根据本公开的技术可以应用于手术室系统。
图13是示意性地示出根据本公开的技术所可以应用于的手术室系统5100的总体配置的图。参考图13，手术室系统5100被配置成使得安装在手术室中的一组装置彼此连接以能够经由视听控制器(AV控制器)5107和手术室控制装置5109进行协作。
在手术室中可以安装各种装置。图13作为示例示出了：用于内窥镜手术的各种类型的装置组5101，设置在手术室的天花板上以对工作的外科医生的手周围的区域进行成像的天花板相机5187，设置在手术室的天花板上以对整个手术室中的事件进行成像的手术视野相机5189，多个显示装置5103A至5103D，记录器5105，病床5183，以及照明装置5191。
在这里，在这些装置中，装置组5101属于稍后将描述的内窥镜手术系统5113，并且包括内窥镜和显示由该内窥镜捕获的图像的显示装置等。属于内窥镜手术系统5113的每个装置也称为医疗器械。同时，显示装置5103A至5103D、记录器5105、病床5183和照明装置5191是例如在手术室中位于与内窥镜手术系统5113分开的位置的装置。不属于内窥镜手术系统5113的这些装置中的每一个也称为非医疗器械。视听控制器5107和/或手术室控制装置5109彼此合作地控制这些医疗器械和非医疗器械的工作。
视听控制器5107全面控制医疗器械和非医疗器械中与图像显示有关的处理。具体而言，在手术室系统5100中包括的装置中，装置组5101、天花板相机5187和手术视野相机5189可以是具有分发要在手术期间显示的信息(在下文中也称为显示信息)的功能的装置(在下文中也称为分发源装置)。另外，显示装置5103A至5103D可以是显示信息所输出到的装置(在下文中也称为输出目的地装置)。此外，记录器5105可以是履行分发源装置和输出目的地装置两者的装置。视听控制器5107控制分发源装置和输出目的地装置的工作，并且具有从分发源装置获取显示信息并将所获取的显示信息发送到输出目的地装置以便在输出目的地装置上显示或记录所获取的显示信息的功能。注意，显示信息包括在手术期间捕获的各种图像，与手术有关的各种类型的信息(例如，患者的身体信息，关于过去的检查结果和外科手术过程的信息，等等)，等等。
具体而言，与由内窥镜捕获的患者的体腔中的手术部位的图像有关的信息可以作为显示信息而被从装置组5101发送到视听控制器5107。另外，与由天花板相机5187捕获的工作中的外科医生的手周围的区域的图像有关的信息可以作为显示信息而被从天花板相机5187发送。此外，与由手术视野相机5189捕获的指示整个手术室中的事件的图像有关的信息可以作为显示信息而被从手术视野相机5189发送。注意，在手术室系统5100包含具有成像功能的另一装置的情况下，视听控制器5107可以也从该另一装置获取与由该另一装置捕获的图像有关的信息作为显示信息。
或者，例如，由视听控制器5107将与过去捕获的这些图像有关的信息记录在记录器5105中。视听控制器5107可以从记录器5105获取与过去捕获的这些图像有关的信息作为显示信息。注意，也可以在记录器5105中预先记录与手术有关的各种类型的信息。
视听控制器5107在作为输出目的地装置的显示装置5103A至5103D中的至少一个上显示所获取的显示信息(换句话说，在手术期间捕获的图像或与手术有关的各种类型的信息)。在所示的示例中，显示装置5103A是通过被从手术室的天花板悬挂而被安装的显示装置，显示装置5103B是安装在手术室的墙面上的显示装置，显示装置5103C是安装在手术室中的桌子上的显示装置，并且显示装置5103D是具有显示功能的移动器械(例如，平板个人计算机(PC))。
另外，尽管在图13中省略了图示，但是手术室系统5100可包括手术室外部的装置。手术室外部的装置可以例如是连接到在医院内部和外部构建的网络的服务器，医务人员所使用的PC，安装在医院的会议室中的投影仪等。在这样的外部装置位于医院外部的情况下，视听控制器5107也可以经由电话会议系统等在另一医院的显示装置上显示显示信息以进行远程医疗。
手术室控制装置5109全面控制除与非医疗器械中的图像显示有关的处理之外的处理。例如，手术室控制装置5109控制病床5183、天花板相机5187、手术视野相机5189和照明装置5191的驱动。
在手术室系统5100中提供集中操作面板5111，并且用户可以经由该集中操作面板5111向视听控制器5107发出关于图像显示的指令或向手术室控制装置5109发出关于非医疗器械的工作的指令。以在显示装置的显示面上提供触摸面板的方式配置集中操作面板5111。
图14是示出集中操作面板5111上的操作屏幕的显示示例的图。作为示例，图14示出了与在手术室系统5100中提供两个显示装置作为输出目的地装置的情况相对应的操作屏幕。参考图14，操作屏幕5193具有分发源选择区域5195、预览区域5197和控制区域5201。
在分发源选择区域5195中，手术室系统5100中包括的分发源装置和表示这些分发源装置所保存的显示信息的缩略图屏幕被关联并显示。用户可以从在分发源选择区域5195中显示的分发源装置中的任何一个中选择要在显示装置上显示的显示信息。
在预览区域5197中，显示在作为输出目的地装置的两个显示装置(监视器1和监视器2)上显示的屏幕的预览。在所示的示例中，在一个显示装置上作为画中画(P-in-P)显示而显示四个图像。这四个图像对应于从在分发源选择区域5195中选择的分发源装置分发的显示信息。在这四个图像中，一个被相对大地显示作为主图像，并且剩余三个图像被相对小地显示作为子图像。用户可以通过适当地选择其中显示这四个图像的区域来将主图像与子图像互换。另外，在其中显示这四个图像的区域下方提供状态显示区域5199，并且可以在该区域中适当地显示与手术有关的状态(例如，手术的经过时间，患者的身体信息，等等)。
控制区域5201具有分发源操作区域5203和输出目的地操作区域5205，在分发源操作区域5203中显示用于执行分发源装置上的操作的图形用户界面(GUI)组件，在输出目的地操作区域5205中显示用于执行输出目的地装置上的操作的GUI组件。在所示的示例中，在分发源操作区域5203中提供用于在具有成像功能的分发源装置的相机上执行各种操作(平移、倾斜和变焦)的GUI组件。通过适当地选择这些GUI组件，用户可以操作分发源装置的相机的工作。注意，尽管省略了图示，但是在分发源选择区域5195中选择的分发源装置是记录器的情况下(换句话说，在预览区域5197中显示过去在记录器中记录的图像的情况下)，可以在分发源操作区域5203中提供用于执行诸如该过去记录的图像的再现、再现停止、倒回和快进之类的操作的GUI组件。
另外，输出目的地操作区域5205具有用于针对作为输出目的地装置的显示装置上的显示执行各种操作(交换，翻转，颜色调整，对比度调整，二维(2D)显示和三维(3D)显示之间的切换)的GUI组件。通过适当地选择这些GUI组件，用户可以操作显示装置上的显示。
注意，在集中操作面板5111上显示的操作屏幕不限于图14所示的示例，并且可以允许用户经由集中操作面板5111向包括在手术室系统5100中并可以由视听控制器5107和手术室控制装置5109控制的每个装置输入操作。
图15是示出在应用上述手术室系统的同时如何进行手术的示例的图。天花板相机5187和手术视野相机5189设置在手术室的天花板上，并且可以捕获正在对病床5183上的患者5185的患部进行治疗的工作中的外科医生(医生)5181的手周围的区域以及整个手术室中的事件。天花板相机5187和手术视野相机5189可以具有放大率调节功能、焦距调节功能、捕获方向调节功能等。照明装置5191设置在手术室的天花板上，并且至少照射工作中的外科医生5181的手周围的区域。照明装置5191可以能够适当地调节其照射光量、照射光的波长(颜色)、光照射方向等。
如图13所示，内窥镜手术系统5113、病床5183、天花板相机5187、手术视野相机5189和照明装置5191彼此连接以便能够经由视听控制器5107和手术室控制装置5109(未在图15中示出)进行协作。集中操作面板5111设置在手术室中，并且如上所述，用户可以经由该集中操作面板5111适当地操作位于手术室中的这些装置。
在下文中，将详细描述内窥镜手术系统5113的配置。如图15所示，内窥镜手术系统5113包括内窥镜5115、其他手术工具5131、支撑内窥镜5115的支撑臂装置5141和其中放置用于内窥镜手术的各种装置的手推车5151。
在内窥镜手术中，代替切开腹壁和打开腹腔，将称为套管针5139a至5139d的多个圆柱形穿刺工具刺入腹壁。然后，通过套管针5139a至5139d将内窥镜5115的镜筒5117和其他手术工具5131插入到患者5185的体腔中。在所示的示例中，作为其他手术工具5131，将气腹管5133、能量治疗器械5135和钳子5137插入到患者5185的体腔中。另外，能量治疗器械5135是通过高频电流或超声波振动来执行组织的切开和剥离、血管的密封等的治疗器械。然而，所示的手术工具5131仅仅是示例，并且通常用于内窥镜手术的各种手术工具(诸如按捏钳和牵开器之类)可以用作手术工具5131。
由内窥镜5115捕获的患者5185的体腔中的手术部位的图像被显示在显示装置5155上。工作中的外科医生5181在观看实时显示在显示装置5155上的手术部位的图像的同时使用能量治疗器械5135和钳子5137来进行诸如切除患部之类的治疗。注意，尽管省略了图示，但是在手术期间由工作中的外科医生5181或助手等支撑气腹管5133、能量治疗器械5135和钳子5137。
(支撑臂装置)
支撑臂装置5141包括从基础部分5143伸出的臂部分5145。在所示的示例中，臂部分5145由关节部分5147a、5147b和5147c以及连杆5149a和5149b构成，并且在臂控制装置5159的控制下被驱动。由臂部分5145支撑内窥镜5115，使得控制内窥镜5115的位置和姿势。利用该配置，可以以稳定的方式实现内窥镜5115的位置的固定。
(内窥镜)
内窥镜5115由镜筒5117(其从远端起的预定长度的区域被插入到患者5185的体腔中)以及连接到镜筒5117的近端的相机头部5119构成。在所示的示例中，示出了被配置为具有刚性镜筒5117的所谓的刚性内窥镜的内窥镜5115；然而，内窥镜5115可被配置为具有柔性镜筒5117的所谓的柔性内窥镜。
在镜筒5117的远端提供了开口部分，物镜安装到该开口部分中。光源装置5157连接到内窥镜5115；该光源装置5157所生成的光通过在镜筒5117内部延伸设置的光导而被引导到该镜筒的远端，并且经由物镜而被向患者5185的体腔中要观察的对象照射。注意，内窥镜5115可以是前视内窥镜、斜视内窥镜或侧视内窥镜。
光学系统和成像元件设置在相机头部5119内部，并且该光学系统将来自要观察的对象的反射光(观察光)会聚在该成像元件上。成像元件对观察光进行光电转换，并且生成对应于观察光的电信号，换句话说，对应于观察图像的图像信号。该图像信号作为原始数据而被发送到相机控制单元(CCU)5153。注意，相机头部5119配备有通过适当地驱动其光学系统来调节放大率和焦距的功能。
此外，例如，为了应对立体观看(3D显示)等，可在相机头部5119中设置多个成像元件。在这种情况下，多个中继光学系统设置在镜筒5117内部，以便将观察光引导到多个成像元件中的每一个。
(放置在手推车中的各种装置)
CCU 5153由中央处理单元(CPU)、图形处理单元(GPU)等构成，并且全面控制内窥镜5115和显示装置5155的工作。具体而言，CCU 5153基于从相机头部5119接受的图像信号执行用于显示图像的各种图像处理，诸如该图像上的显影处理(去马赛克处理)之类。CCU5153将已经对其执行这些图像处理的图像信号提供给显示装置5155。另外，图13所示的视听控制器5107连接到CCU 5153。CCU 5153还将已经对其执行图像处理的图像信号提供给视听控制器5107。此外，CCU 5153将控制信号发送到相机头部5119并控制相机头部5119的驱动。该控制信号可以包括与诸如放大率和焦距之类的成像条件有关的信息。与成像条件有关的该信息可以经由输入装置5161输入，或者可以经由上述集中操作面板5111输入。
在CCU 5153的控制下，显示装置5155基于已被CCU 5153执行图像处理的图像信号来显示图像。在内窥镜5115与诸如4K捕获(水平像素数3840×垂直像素数2160)或8K捕获(水平像素数7680×垂直像素数4320)之类的高分辨率捕获兼容并且/或者与3D显示兼容的情况下，能够进行高分辨率显示和/或能够进行3D显示的显示装置可以用作显示装置5155，以应对每种情况。在内窥镜5115与诸如4K或8K捕获之类的高分辨率捕获兼容的情况下，可以通过使用尺寸为55英寸或更大的显示装置5155来获得更加沉浸式的感觉。另外，可以根据实际用途提供具有不同的分辨率和尺寸的多个显示装置5155。
光源装置5157例如由诸如发光二极管(LED)之类的光源构成，并且将在捕获手术部位时使用的照射光供应给内窥镜5115。
臂控制装置5159例如包括诸如CPU之类的处理器，并且根据预定程序来工作以根据预定控制方案来控制支撑臂装置5141的臂部分5145的驱动。
输入装置5161是内窥镜手术系统5113的输入接口。用户可以经由输入装置5161向内窥镜手术系统5113输入各种类型的信息和输入指令。例如，用户经由输入装置5161输入与手术有关的各种类型的信息，诸如患者的身体信息和关于手术的手术过程的信息之类。另外，例如，用户经由输入装置5161来输入驱动臂部分5145的指令、改变内窥镜5115的成像条件(照射光的类型，放大率，焦距等)的指令、驱动能量治疗器械5135的指令等。
输入装置5161的类型不受限制，并且输入装置5161可以是各种已知的输入装置。例如，可以将鼠标、键盘、触摸面板、开关、脚踏开关5171、控制杆和/或类似物应用作为输入装置5161。在触摸面板用作输入装置5161的情况下，触摸面板可以设置在显示装置5155的显示面上。
或者，输入装置5161是由用户穿戴的设备(诸如眼镜型可穿戴设备或头戴式显示器(HMD))，并且根据由这些设备检测到的用户的手势和视线来进行各种输入。另外，输入装置5161包括能够检测用户的运动的相机，并且根据从由该相机捕获的视频检测到的用户的手势和视线来进行各种输入。另外，输入装置5161包括能够获得用户的语音的麦克风，并且经由该麦克风通过声音进行各种输入。以这种方式，通过将输入装置5161配置成能够以非接触方式输入各种类型的信息，尤其允许属于清洁区域的用户(例如，工作中的外科医生5181)以非接触方式操作属于不洁区域的器械。此外，由于用户可以在不从其手中释放持有的手术工具的情况下操作该器械，因此提高了用户的便利性。
治疗器械控制装置5163控制用于组织的烧灼和切开或血管的密封等的能量治疗器械5135的驱动。为了保证内窥镜5115的视野并保证工作中的外科医生的工作空间的目的，气腹装置5165经由气腹管5133将气体输送到患者5185的体腔中以给体腔充气。记录器5167是能够记录与手术有关的各种类型的信息的装置。打印机5169是能够以诸如文本、图像或图形之类的各种格式来打印与手术有关的各种类型的信息的装置。
在下文中，将更详细地描述内窥镜手术系统5113的尤其特征配置。
(支撑臂装置)
支撑臂装置5141包括作为基座的基础部分5143，以及从基础部分5143伸出的臂部分5145。在所示的示例中，臂部分5145由多个关节部分5147a、5147b和5147c以及通过关节部分5147b耦合的多个连杆5149a和5149b构成；然而，在图15中，为了简单起见，以简化的方式示出了臂部分5145的配置。实际上，可以适当地设置关节部分5147a至5147c以及连杆5149a和5149b的形状、数量和布置以及关节部分5147a至5147c的旋转轴的方向等，使得臂部分5145具有所需的自由度。例如，可以将臂部分5145适当地配置成具有等于或大于六个自由度的自由度。这允许内窥镜5115在臂部分5145的可移动范围内自由地移动，使得可以在期望的方向上将内窥镜5115的镜筒5117插入到患者5185的体腔中。
致动器设置在关节部分5147a至5147c中，并且关节部分5147a至5147c被配置为通过这些致动器的驱动可绕预定旋转轴旋转。臂控制装置5159控制致动器的驱动，使得控制关节部分5147a至5147c中的每一个的旋转角度并且于是控制臂部分5145的驱动。利用该配置，可以实现对内窥镜5115的位置和姿势的控制。此时，臂控制装置5159可以通过诸如力控制或位置控制之类的各种已知控制方案来控制臂部分5145的驱动。
例如，可以以如下方式控制内窥镜5115的位置和姿势：工作中的外科医生5181经由输入装置5161(包括脚踏开关5171)适当地进行操作输入，继而臂控制装置5159根据该操作输入适当地控制臂部分5145的驱动。利用该控制，可以将臂部分5145的远端处的内窥镜5115从任意位置移动到另一任意位置，并且此后可以在移动之后的该位置处固定地支撑内窥镜5115。注意，可以通过所谓的主从方案来操作臂部分5145。在这种情况下，用户可以经由安装在远离手术室的地方的输入装置5161远程地操作臂部分5145。
另外，在施加力控制的情况下，臂控制装置5159可以执行所谓的助力控制，其中响应于来自用户的外力而驱动各个关节部分5147a至5147c的致动器，使得臂部分5145与外力成比例地平滑移动。利用该控制，当用户在直接触摸臂部分5145的同时移动臂部分5145时，可以以相对轻的力移动臂部分5145。因此，用更简单的操作更直观地移动内窥镜5115成为可能，并且可以提高用户的便利性。
在这里，在通常的内窥镜手术中，已经由称为内窥镜医师(scopist)的医生支撑内窥镜5115。与此相比，使用支撑臂装置5141使得可以在没有人工操作的情况下可靠地固定内窥镜5115的位置，使得可以稳定地获得手术部位的图像并且可以平稳地进行手术。
注意，臂控制装置5159不一定设置在手推车5151中。另外，臂控制装置5159不一定是一个装置。例如，臂控制装置5159可以设置在支撑臂装置5141的臂部分5145的关节部分5147a至5147c中的每一个中，使得通过多个臂控制装置5159彼此协作来实现对臂部分5145的驱动的控制。
(光源装置)
光源装置5157在手术部位被捕获时向内窥镜5115供应照射光。光源装置5157包括例如LED、激光光源或由其组合构成的白色光源。此时，在白色光源由RGB激光光源的组合构成的情况下，可以以高精度控制每个颜色(每个波长)的输出强度和输出定时，并且因此可以在光源装置5157中调节捕获图像的白平衡。另外，在这种情况下，通过以分时(timesharing)方式用来自每个RGB激光光源的激光束照射要观察的对象并且与照射定时同步地控制对相机头部5119的成像元件的驱动，还可以以分时方式捕获与RGB中的每一个相对应的图像。根据该方法，可以在成像元件中未提供滤色器的情况下获得彩色图像。
此外，可以控制光源装置5157的驱动，使得针对每个预定时间跨度改变要输出的光的强度。通过与光强度变化的定时同步地控制相机头部5119的成像元件的驱动以分时地获取图像并合并这些图像，可以生成没有所谓的遮蔽的阴影和曝光过度的高光的高动态范围的图像。
另外，可以将光源装置5157配置成使得可以从光源装置5157供应与特殊光观察兼容的预定波段的光。在特殊光观察中，例如，通过利用身体组织中的光吸收的波长依赖性，进行所谓的窄带光观察(窄带成像)，其中，通过照射与普通观察时的照射光(换句话说，白色光)相比的窄带光，来以高对比度捕获诸如粘膜表面层处的血管之类的预定组织。或者，在特殊光观察中，可以执行用于通过因照射激发光而产生的荧光来获得图像的荧光观察。在荧光观察中，例如，可以执行其中用激发光来照射身体组织并观察来自身体组织的荧光的荧光观察(自体荧光观察)，或者其中将诸如吲哚菁绿(ICG)之类的试剂局部给到身体组织并且同时利用与该试剂的荧光波长相对应的激发光来照射身体组织以获得荧光图像的荧光观察。可以将光源装置5157配置成可以从光源装置5157供应与这样的特殊光观察兼容的窄带光和/或激发光。
(相机头部和CCU)
参考图16，将更详细地描述内窥镜5115的相机头部5119和CCU 5153的功能。图16是示出图15所示的相机头部5119和CCU 5153的功能配置的示例的框图。
参考图16，相机头部5119具有作为其功能的透镜单元5121、成像单元5123、驱动单元5125、通信单元5127和相机头部控制部件5129。另外，CCU 5153具有作为其功能的通信单元5173、图像处理单元5175和控制部件5177。相机头部5119和CCU 5153经由传输电缆5179连接以便能够双向地通信。
首先，将描述相机头部5119的功能配置。透镜单元5121是设置在与镜筒5117的连接部分处的光学系统。从镜筒5117的远端取入的观察光被引导到相机头部5119并入射在透镜单元5121上。通过组合包括变焦透镜和聚焦透镜在内的多个透镜来构成透镜单元5121。调节透镜单元5121的光学特性，以使观察光会聚在成像单元5123的成像元件的光接收面上。另外，将变焦透镜和聚焦透镜配置成使得它们在光轴上的位置可以移动，以便调节捕获图像的放大率和焦点。
成像单元5123由成像元件构成，并被布置在透镜单元5121的后一级。使已经通过透镜单元5121的观察光会聚在成像元件的光接收面上，并且通过光电转换来生成对应于观察图像的图像信号。由成像单元5123生成的图像信号被提供给通信单元5127。
例如，将能够捕获彩色图像的具有Bayer阵列的互补金属氧化物半导体(CMOS)类型的图像传感器用作构成成像单元5123的成像元件。注意，例如，能够应对4K或更多的高分辨率图像的捕获的成像元件可被用作成像元件。由于以高分辨率获得手术部位的图像，因此工作中的外科医生5181可以以更多细节掌握手术部位的情况并且可以更平稳地进行手术。
另外，将构成成像单元5123的成像元件配置成使得构成成像单元5123的成像元件具有一对用于分别获取与3D显示兼容的右眼和左眼的图像信号的成像元件。由于进行3D显示，因此工作中的外科医生5181可以更准确地掌握手术部位中的活体组织的深度。注意，在成像单元5123被配置为多板类型的情况下，透镜单元5121也被提供作为对应于各个成像元件的多个系统。
另外，成像单元5123不一定设置在相机头部5119中。例如，成像单元5123可以在镜筒5117内部紧接地设置在物镜的后方。
驱动单元5125由致动器构成，并且在相机头部控制部件5129的控制下沿着光轴将透镜单元5121的变焦透镜和聚焦透镜移动预定距离。利用该移动，可以适当地调节成像单元5123的捕获图像的放大率和焦点。
通信单元5127由用于向CCU 5153发送各种类型的信息和从CCU 5153接收各种类型的信息的通信装置构成。通信单元5127经由传输电缆5179将从成像单元5123获得的图像信号作为原始数据发送到CCU 5153。此时，为了以低延时显示手术部位的捕获图像，优选的是通过光学通信发送图像信号。这是因为工作中的外科医生5181在利用捕获图像观察患部的状态的同时进行手术，并且因此为了更加安全和可靠的手术，在手术期间需要尽可能实时地显示手术部位的运动图像。在进行光通信的情况下，在通信单元5127中设置将电信号转换为光信号的光电转换模块。由该光电转换模块将图像信号转换为光信号，并然后将其经由传输电缆5179发送到CCU 5153。
另外，通信单元5127从CCU 5153接收用于控制相机头部5119的驱动的控制信号。该控制信号可包括与成像条件有关的信息，例如，诸如指定捕获图像的帧率的信息、指定成像时的曝光值的信息和/或指定捕获图像的放大率和焦点的信息。通信单元5127将接收到的控制信号提供给相机头部控制部件5129。注意，也可以通过光通信发送来自CCU 5153的控制信号。在这种情况下，通信单元5127具有将光信号转换为电信号的光电转换模块；由该光电转换模块将控制信号转换为电信号，并然后将其提供给相机头部控制部件5129。
注意，CCU 5153的控制部件5177基于所获取的图像信号来自动设置诸如帧率、曝光值、放大率和焦点之类的上述成像条件。也就是说，在内窥镜5115中配备所谓的自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。
相机头部控制部件5129基于经由通信单元5127从CCU 5153接收的控制信号来控制相机头部5119的驱动。例如，相机头部控制部件5129基于指定捕获图像的帧率的信息和/或指定成像时的曝光的信息来控制成像单元5123的成像元件的驱动。另外，例如，相机头部控制部件5129基于指定捕获图像的放大率和焦点的信息来经由驱动单元5125适当地移动透镜单元5121的变焦透镜和聚焦透镜。相机头部控制部件5129还可包括存储用于标识镜筒5117和/或相机头部5119的信息的功能。
注意，通过将诸如透镜单元5121和成像单元5123之类的组件布置在具有高气密性和高防水性的密封结构中，使相机头部5119能够具有对高压灭菌器灭菌处理的抵抗力。
接下来，将描述CCU 5153的功能配置。通信单元5173由用于向相机头部5119发送各种类型的信息和从相机头部5119接收各种类型的信息的通信装置构成。通信单元5173经由传输电缆5179接收从相机头部5119发送的图像信号。此时，如上所述，可以通过光通信适当地发送图像信号。在这种情况下，在通信单元5173中设置将光信号转换为电信号的光电转换模块，以便与光通信兼容。通信单元5173将转换为电信号的图像信号提供给图像处理单元5175。
另外，通信单元5173向相机头部5119发送用于控制相机头部5119的驱动的控制信号。也可以通过光通信发送该控制信号。
图像处理单元5175对作为从相机头部5119发送的原始数据的图像信号执行各种图像处理。这些图像处理的示例包括各种已知的信号处理，诸如显影处理、高图像质量处理(带增强处理，超分辨率处理，降噪(NR)处理，相机抖动校正处理，和/或类似处理)和/或放大处理(电子变焦处理)。另外，图像处理单元5175对图像信号执行波传感处理以执行AE、AF和AWB。
图像处理单元5175包括诸如CPU和GPU之类的处理器，并且可以通过该处理器根据预定程序工作来执行上述的图像处理和波传感处理。注意，在图像处理单元5175包括多个GPU的情况下，图像处理单元5175适当地划分与图像信号相关联的信息，并通过这多个GPU并行地执行图像处理。
控制部件5177执行与内窥镜5115对手术部位的成像和通过该成像获得的捕获图像的显示有关的各种控制。例如，控制部件5177生成用于控制相机头部5119的驱动的控制信号。此时，在用户已经输入成像条件的情况下，控制部件5177基于用户的输入来生成控制信号。或者，在内窥镜5115中配备AE功能、AF功能和AWB功能的情况下，控制部件5177根据图像处理单元5175的波传感处理的结果来适当地计算最佳的曝光值、焦距和白平衡，并生成控制信号。
另外，基于已被图像处理单元5175执行图像处理的图像信号，控制部件5177在显示装置5155上显示手术部位的图像。此时，控制部件5177使用各种图像识别技术来识别手术部位的图像中的各种对象。例如，控制部件5177检测手术部位的图像中所包括的对象的边缘的形状、颜色等，从而能够识别诸如钳子之类的手术工具、特定活体部分、出血、使用能量治疗器械5135时的雾等。当在显示装置5155上显示手术部位的图像时，控制部件5177使用识别结果来显示叠加在手术部位的该图像上的各种类型的手术支持信息。由于手术支持信息被叠加显示并呈现给工作中的外科医生5181，因此可以更加安全和可靠地进行手术。
将相机头部5119和CCU 5153连接的传输电缆5179是与电信号的通信兼容的电信号电缆、与光通信兼容的光纤或其复合电缆。
在这里，在所示的示例中，使用传输电缆5179以有线方式执行通信；然而，可以无线地执行相机头部5119与CCU 5153之间的通信。在无线地执行相机头部5119与CCU 5153之间的通信的情况下，不再需要将传输电缆5179铺设在手术室中，使得可以解决手术室中的医务人员的运动被传输电缆5179阻碍的情况。
目前已经描述了根据本公开的技术所可以应用于的手术室系统5100的示例。注意，作为示例，这里已经描述了手术室系统5100所应用于的医疗系统是内窥镜手术系统5113的情况；然而，手术室系统5100的配置不限于该示例。例如，手术室系统5100可以应用于用于检查的柔性内窥镜系统或显微手术系统，而不是内窥镜手术系统5113。
在上述配置中，根据本公开的技术可以适当地应用于发出已经捕获的图像的装置和显示发出的图像的装置。具体而言，内窥镜5115的相机头部5119和CCU 5153、天花板相机5187和手术视野相机5189被应用作为发出已经捕获的图像的装置，并且集中操作面板5111、视听控制器5107和显示装置5103A至5103D可以被应用作为显示图像的装置。通过将根据本公开的技术应用于手术室系统5100，可以执行高度可靠的流传输；因此，特别是在实时进行的远程医疗中，可以提高诊断的精度。
另外，根据本技术的实施例不限于上述实施例，并且在不脱离本技术的范围的情况下可以进行各种修改。
另外，本技术还可以如下所述配置。
(1)一种通信系统，包括：
发送装置，经由多个通信线路来发送数据；和
接收装置，接收来自所述发送装置的所述数据，其中
所述发送装置包括：
服务质量QoS模块，生成关于所述多个通信线路的QoS的信息；
负载均衡器，至少基于关于QoS的所述信息来指定所述数据到通信线路的指派；和
投射器，基于来自所述QoS模块的指令将所述数据分配并发送到所指派的通信线路。
(2)根据(1)所述的通信系统，其中
关于QoS的所述信息包括指示每个通信线路的通信速率的信息。
(3)根据(1)所述的通信系统，其中
关于QoS的所述信息包括评估指标，所述评估指标指定每个通信线路是否可用。
(4)根据(1)至(3)中任一项所述的通信系统，其中
所述QoS模块基于关于QoS的所述信息来判定是否允许向每个通信线路指派所述数据。
(5)根据(4)所述的通信系统，其中
基于分组向通信线路中被判定为不允许指派所述数据的一个通信线路的复用发送的结果，所述QoS模块决定恢复向所述通信线路指派所述数据。
(6)根据(5)所述的通信系统，其中
所述QoS模块通过所述分组的复用发送来估计通信线路中被判定为不允许指派所述数据的一个通信线路的带宽，并且在通信线路中的所述通信线路的估计的带宽超过预定阈值的情况下，决定恢复向通信线路中的所述通信线路指派所述数据。
(7)根据(1)至(6)中任一项所述的通信系统，其中
在所述接收装置中的所述数据的使用时刻之前未完成经由第一通信线路的数据发送的情况下，所述QoS模块判定是否将在所述使用时刻之前完成经由第二通信线路的所述数据的发送。
(8)根据(7)所述的通信系统，其中
在判定将不会在所述使用时刻之前完成经由第二通信线路的数据发送并且构成所述数据的一个单位的分组组中的一部分分组的发送已经完成的情况下，所述QoS模块指示所述投射器经由第一通信线路发送所述分组组的所有剩余分组。
(9)根据(8)所述的通信系统，其中
在构成所述数据的一个单位的分组组中的部分分组的发送尚未完成的情况下，所述QoS模块指示所述投射器删除所述数据。
(10)根据(7)至(9)中任一项所述的通信系统，其中
在判定将在所述使用时刻之前完成经由第二通信线路的数据发送的情况下，所述QoS模块指示所述投射器经由第二通信线路发送所述数据。
(11)根据(1)至(10)中任一项所述的通信系统，其中
所述负载均衡器基于关于QoS的所述信息和指示所述数据到通信线路的指派状态的指派信息中的至少一个来指定所述数据到多个通信线路的指派。
(12)根据(11)所述的通信系统，其中
所述指派信息包括指示所述数据的具有比所述数据的其他条数据更大的数据量的一条数据到通信线路的指派状态的信息。
(13)根据(12)所述的通信系统，其中
所述指派信息包括指示比所述数据更旧的过去的数据到通信线路的指派状态的信息。
(14)根据(1)至(13)中任一项所述的通信系统，其中
所述QoS模块判定是否需要重新发送所述数据的至少一部分，并且
在判定需要重新发送的情况下，所述投射器重新发送所述数据的至少一部分。
(15)根据(14)所述的通信系统，其中
所述投射器通过切换通信线路来重新发送所述数据的至少一部分。
(16)根据(14)所述的通信系统，其中
所述投射器使用多个通信线路并行地重新发送所述数据的至少一部分。
(17)根据(1)至(16)中任一项所述的通信系统，其中
所述通信线路包括无线通信线路。
(18)根据(1)至(17)中任一项所述的通信系统，其中
所述数据包括运动图像数据。
(19)根据(1)至(18)中任一项所述的通信系统，其中
所述发送装置被配置为成像装置，所述成像装置捕获运动图像并实时发送所捕获的运动图像。
(20)一种发送装置，包括：
服务质量QoS模块，生成关于多个通信线路的QoS的信息；
负载均衡器，至少基于关于QoS的所述信息来指定数据到通信线路的指派；和
投射器，基于来自所述QoS模块的指令将所述数据分配并发送到所指派的通信线路。
标号列表
1 通信系统
11 发送装置
12 接收装置
13 控制装置
20-1、20-2 基站
30 因特网
81 编码器
82 负载均衡器
83 QoS模块
84 投射器
91 接收单元
92 QoS模块
93 解码器

Claims (20)

1.一种通信系统，包括：
发送装置，经由多个通信线路来发送数据；和
接收装置，接收来自所述发送装置的所述数据，其中
所述发送装置包括：
服务质量QoS模块，生成关于所述多个通信线路的QoS的信息；
负载均衡器，至少基于关于QoS的所述信息来指定所述数据到通信线路的指派；和
投射器，基于来自所述QoS模块的指令将所述数据分配并发送到所指派的通信线路。
2.根据权利要求1所述的通信系统，其中
关于QoS的所述信息包括指示每个通信线路的通信速率的信息。
3.根据权利要求1所述的通信系统，其中
关于QoS的所述信息包括评估指标，所述评估指标指定每个通信线路是否可用。
4.根据权利要求1所述的通信系统，其中
所述QoS模块基于关于QoS的所述信息来判定是否允许向每个通信线路指派所述数据。
5.根据权利要求4所述的通信系统，其中
基于分组向通信线路中被判定为不允许指派所述数据的一个通信线路的复用发送的结果，所述QoS模块决定恢复向所述通信线路指派所述数据。
6.根据权利要求5的通信系统，其中
所述QoS模块通过所述分组的复用发送来估计通信线路中被判定为不允许指派所述数据的一个通信线路的带宽，并且在通信线路中的所述通信线路的估计的带宽超过预定阈值的情况下，决定恢复向通信线路中的所述通信线路指派所述数据。
7.根据权利要求1所述的通信系统，其中
在所述接收装置中的所述数据的使用时刻之前未完成经由第一通信线路的数据发送的情况下，所述QoS模块判定是否将在所述使用时刻之前完成经由第二通信线路的所述数据的发送。
8.根据权利要求7所述的通信系统，其中
在判定将不会在所述使用时刻之前完成经由第二通信线路的数据发送并且构成所述数据的一个单位的分组组中的一部分分组的发送已经完成的情况下，所述QoS模块指示所述投射器经由第一通信线路发送所述分组组的所有剩余分组。
9.根据权利要求8的通信系统，其中
在构成所述数据的一个单位的分组组中的部分分组的发送尚未完成的情况下，所述QoS模块指示所述投射器删除所述数据。
10.根据权利要求7的通信系统，其中
在判定将在所述使用时刻之前完成经由第二通信线路的数据发送的情况下，所述QoS模块指示所述投射器经由第二通信线路发送所述数据。
11.根据权利要求1的通信系统，其中
所述负载均衡器基于关于QoS的所述信息和指示所述数据到通信线路的指派状态的指派信息中的至少一个来指定所述数据到多个通信线路的指派。
12.根据权利要求11所述的通信系统，其中
所述指派信息包括指示所述数据的具有比所述数据的其他条数据更大的数据量的一条数据到通信线路的指派状态的信息。
13.根据权利要求12所述的通信系统，其中
所述指派信息包括指示比所述数据更旧的过去的数据到通信线路的指派状态的信息。
14.根据权利要求1所述的通信系统，其中
所述QoS模块判定是否需要重新发送所述数据的至少一部分，并且
在判定需要重新发送的情况下，所述投射器重新发送所述数据的至少一部分。
15.根据权利要求14所述的通信系统，其中
所述投射器通过切换通信线路来重新发送所述数据的至少一部分。
16.根据权利要求14的通信系统，其中
所述投射器使用多个通信线路并行地重新发送所述数据的至少一部分。
17.根据权利要求1所述的通信系统，其中
所述通信线路包括无线通信线路。
18.根据权利要求1所述的通信系统，其中
所述数据包括运动图像数据。
19.根据权利要求18所述的通信系统，其中
所述发送装置被配置为成像装置，所述成像装置捕获运动图像并实时发送所捕获的运动图像。
20.一种发送装置，包括：
服务质量QoS模块，生成关于多个通信线路的QoS的信息；
负载均衡器，至少基于关于QoS的所述信息来指定数据到通信线路的指派；和
投射器，基于来自所述QoS模块的指令将所述数据分配并发送到所指派的通信线路。
CN201880041309.1A 2017-06-29 2018-06-15 通信系统和发送装置 Active CN110785972B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017127551 2017-06-29
JP2017-127551 2017-06-29
PCT/JP2018/022859 WO2019003954A1 (ja) 2017-06-29 2018-06-15 通信システムおよび送信装置

Publications (2)

Publication Number Publication Date
CN110785972A true CN110785972A (zh) 2020-02-11
CN110785972B CN110785972B (zh) 2024-03-19

Family

ID=64740677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880041309.1A Active CN110785972B (zh) 2017-06-29 2018-06-15 通信系统和发送装置

Country Status (5)

Country Link
US (2) US11146991B2 (zh)
EP (1) EP3648421A4 (zh)
JP (1) JP7081597B2 (zh)
CN (1) CN110785972B (zh)
WO (1) WO2019003954A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023113489A (ja) * 2022-02-03 2023-08-16 株式会社デンソー 通信装置、通信方法、及び通信プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070291774A1 (en) * 2006-06-16 2007-12-20 Nvidia Corporation System and method for communicating data utilizing multiple types of data connections
CN101554080A (zh) * 2006-12-01 2009-10-07 高通股份有限公司 用于无线通信系统的控制信号传输
CN102215320A (zh) * 2010-04-09 2011-10-12 索尼公司 发送设备、接收设备、控制方法和通信系统
EP3136742A1 (en) * 2015-08-28 2017-03-01 Imagination Technologies Limited Bandwidth management

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6016307A (en) * 1996-10-31 2000-01-18 Connect One, Inc. Multi-protocol telecommunications routing optimization
JP3540183B2 (ja) * 1999-01-21 2004-07-07 株式会社東芝 マルチリンク通信装置
US6631122B1 (en) * 1999-06-11 2003-10-07 Nortel Networks Limited Method and system for wireless QOS agent for all-IP network
GB2367447B (en) * 2000-09-27 2003-11-05 Airspan Networks Inc Transfer of data in a telecommunications system
JP3596609B2 (ja) * 2001-04-09 2004-12-02 日本電気株式会社 パケット中継方式
JP2003309594A (ja) 2002-04-16 2003-10-31 Hitachi Ltd 映像情報伝送システム
KR100494432B1 (ko) * 2002-12-26 2005-06-10 (주)씨앤에스 테크놀로지 비디오서버와 클라이언트간 패킷데이터 처리방법
EP1672841B1 (en) * 2004-12-16 2008-11-05 Canon Kabushiki Kaisha Communication apparatus and control method thereof
JP4884921B2 (ja) 2006-10-30 2012-02-29 京セラ株式会社 通信制御装置、無線通信装置、通信制御方法および無線通信方法
US20090086754A1 (en) * 2007-10-02 2009-04-02 Futurewei Technologies, Inc. Content Aware Connection Transport
US7839788B2 (en) 2008-05-19 2010-11-23 Lsi Corporation Systems and methods for load balancing storage system requests in a multi-path environment based on transfer speed of the multiple paths
US8817699B2 (en) * 2008-11-21 2014-08-26 At&T Intellectual Property I, L.P. Service continuity during local breakout in a femtocell
JP5007315B2 (ja) * 2009-04-03 2012-08-22 本田技研工業株式会社 車載のゲートウェイ装置
US8619587B2 (en) * 2010-01-05 2013-12-31 Futurewei Technologies, Inc. System and method to support enhanced equal cost multi-path and link aggregation group
US20110225312A1 (en) * 2010-03-10 2011-09-15 Thomson Licensing Unified cache and peer-to-peer method and apparatus for streaming media in wireless mesh networks
US8447875B2 (en) * 2010-03-10 2013-05-21 Thomson Licensing Unified cache and peer-to-peer method and apparatus for streaming media in wireless mesh networks
WO2012070045A2 (en) * 2010-11-24 2012-05-31 Elta Systems Ltd. Various traffic management methods for dynamic multi-hop backhauling cellular network and systems useful in conjunction therewith
US8863256B1 (en) * 2011-01-14 2014-10-14 Cisco Technology, Inc. System and method for enabling secure transactions using flexible identity management in a vehicular environment
US9288716B2 (en) * 2012-11-30 2016-03-15 At&T Mobility Ii Llc Resource management in a wireless communications network
US9538439B2 (en) 2013-05-10 2017-01-03 Qualcomm Incorporated Method and apparatus for estimating an achievable link throughput based on assistance information
JP6242089B2 (ja) 2013-06-11 2017-12-06 キヤノン株式会社 送信装置、送信方法及びプログラム
US9596622B2 (en) * 2014-01-31 2017-03-14 Cable Television Laboratories, Inc. Mesh networking of access points for load balancing
US9717035B2 (en) * 2014-04-24 2017-07-25 Hughes Network Systems, Llc Methods and system in supporting real time services with spectrum efficiency in a satellite network
WO2016023521A1 (en) * 2014-08-14 2016-02-18 Mediatek Inc. Multiple link communication
US9979667B2 (en) * 2014-09-30 2018-05-22 T-Mobile Usa, Inc. Home-based router with traffic prioritization
US9699800B2 (en) * 2014-10-23 2017-07-04 Intel IP Corporation Systems, methods, and appartatuses for bearer splitting in multi-radio HetNet
EP3213584B1 (en) * 2014-10-30 2020-02-26 Telefonaktiebolaget LM Ericsson (publ) Handling of backup path in a wireless communication system
US9763130B1 (en) * 2014-11-26 2017-09-12 Sprint Spectrum L.P. Systems and methods for managing congestion in a wireless communication network
US10700988B2 (en) * 2015-03-05 2020-06-30 Cisco Technology, Inc. System and method for dynamic bandwidth adjustments for cellular interfaces in a network environment
US10028167B2 (en) * 2015-03-08 2018-07-17 Alcatel-Lucent Usa Inc. Optimizing quality of service in a content distribution network using software defined networking
KR20180008489A (ko) * 2015-04-15 2018-01-24 노키아 솔루션스 앤드 네트웍스 오와이 소형 셀들의 백홀링을 위한 자동-구성 네트워크 개념들
WO2016202385A1 (en) * 2015-06-17 2016-12-22 Huawei Technologies Co., Ltd. Method and apparatus for handling data flow in wireless communication networks
US9913307B2 (en) * 2015-12-14 2018-03-06 Qualcomm Incorporated TDLS setup control from access point
US10021021B2 (en) * 2015-12-22 2018-07-10 T-Mobile Usa, Inc. Broadband fallback for router
US10383147B2 (en) * 2015-12-28 2019-08-13 Samsung Electronics Co., Ltd. Methods and apparatus for resource collision avoidance in vehicle to vehicle communication
US10142998B2 (en) * 2016-05-31 2018-11-27 Hughes Network Systems, Llc Gateway diversity operation in a satellite network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070291774A1 (en) * 2006-06-16 2007-12-20 Nvidia Corporation System and method for communicating data utilizing multiple types of data connections
CN101554080A (zh) * 2006-12-01 2009-10-07 高通股份有限公司 用于无线通信系统的控制信号传输
CN102215320A (zh) * 2010-04-09 2011-10-12 索尼公司 发送设备、接收设备、控制方法和通信系统
EP3136742A1 (en) * 2015-08-28 2017-03-01 Imagination Technologies Limited Bandwidth management

Also Published As

Publication number Publication date
JPWO2019003954A1 (ja) 2020-04-30
EP3648421A4 (en) 2020-09-09
US11671872B2 (en) 2023-06-06
US20220007233A1 (en) 2022-01-06
JP7081597B2 (ja) 2022-06-07
US20200162966A1 (en) 2020-05-21
WO2019003954A1 (ja) 2019-01-03
US11146991B2 (en) 2021-10-12
EP3648421A1 (en) 2020-05-06
CN110785972B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
US11323679B2 (en) Multi-camera system, camera, processing method of camera, confirmation apparatus, and processing method of confirmation apparatus
CN110168605B (zh) 用于动态范围压缩的视频信号处理装置、视频信号处理方法和计算机可读介质
US20220141385A1 (en) Imaging apparatus and switch
CN108353144B (zh) 多摄像机系统、摄像机、摄像机处理方法、确认设备和确认设备处理方法
CN109565565B (zh) 信息处理装置、信息处理方法和非暂态计算机可读介质
US11729519B2 (en) Video signal processing apparatus, video signal processing method, and image-capturing apparatus
JP7264051B2 (ja) 画像処理装置および画像処理方法
JP2019004978A (ja) 手術システムおよび手術用撮像装置
US11022859B2 (en) Light emission control apparatus, light emission control method, light emission apparatus, and imaging apparatus
US20220148128A1 (en) Image processing apparatus, image processing method, and program
US11671872B2 (en) Communication system and transmission apparatus
JP7136093B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
US11516127B2 (en) System controller, controlling an IP switch including plural SDN switches
CN110771102B (zh) 通信系统和控制设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant