CN109891875B - 图像传送设备、方法、系统和存储介质 - Google Patents

Abstract

本发明使得能够在输出并显示通过网络传输，从多个成像设备输入的运动图像的情况下实现运动图像之间的同步时，使用不具有利用时间码等的同步支持功能的廉价成像设备，从而降低系统成本。通过利用从拍摄运动图像的多个成像设备之中的特定成像设备输入的垂直同步信号作为基准，从输入自所述多个成像设备的运动图像数据中选择帧图像数据，选择的帧图像数据被整合成单一流，随后被送出。即使当所述多个成像设备异步拍摄运动图像时，也能够根据来自所述特定成像设备的垂直同步信号，从运动图像中选择成像定时差较小的帧图像。此外，由于多个图像被整合成单一流，随后被送出，因此和各个流所致的并行传输的情况不同，图像之间的同步不再困难。

Description

图像传送设备、方法、系统和存储介质

技术领域

本技术涉及传送从多个成像设备输入的运动图像数据的图像传送设备、图像传送方法、程序和运动图像生成系统。

背景技术

可以想到进行从多个成像设备输入的运动图像的全景合成，并输出和显示合成的全景。

下面的专利文献1公开一种在进行这样的全景合成显示的情况下，利用时间码实现各个运动图像之间的同步(帧匹配)的技术。

引文列表

专利文献

专利文献1：日本专利申请公开No.2002-209208

发明内容

本发明要解决的问题

然而，具有利用时间码、发生器锁定(GenLock)等的同步支持功能的成像设备通常昂贵。

此外，当进行上述全景合成显示时，可想到的构成是通过网络，把从多个成像设备输入的运动图像传输给显示侧；然而在此时，如果来自各个成像设备的运动图像都是在独立的流中传输的，那么各个运动图像的传输速度随通信流量而变化，从而难以实现各个运动图像之间的同步。

鉴于上述情况，提出了本技术，本技术的一个目的是使得能够在输出并显示通过网络传输，从多个成像设备输入的运动图像的情况下使各个运动图像同步时，使用不具有利用时间码等的同步支持功能的廉价成像设备，从而降低系统成本。

问题的解决方案

按照本技术的图像传送设备包括：帧选择单元，所述帧选择单元利用从拍摄运动图像的多个成像设备之中的特定成像设备输入的垂直同步信号作为基准，从输入自所述多个成像设备的运动图像数据中选择帧图像数据；和整合送出单元，所述整合送出单元把由所述帧选择单元选择的帧图像数据整合成单一流，并送出整合的单一流。

利用这种构成，即使在多个成像设备异步拍摄视频的情况下，也能够根据特定成像设备的垂直同步信号，从各个运动图像中选择成像定时差较小的帧图像。

此外，由于多个图像被整合成单一流并送出，因此各个图像之间的同步不会变得像在单独的流中并行传输的情况那样困难。

在上面所述的按照本技术的图像传送设备中，可取的是所述帧选择单元根据相对于基准帧图像数据的曝光开始定时差，从排除所述特定成像设备的成像设备之中的其他成像设备的运动图像数据中，选择帧图像数据之一，所述基准帧图像数据是从所述特定成像设备的运动图像数据中选择的帧图像数据之一。

这使得能够选择曝光开始定时接近于基准帧图像数据的曝光开始定时的帧图像数据，作为除特定成像设备外的成像设备的帧图像数据。

在上面所述的按照本技术的图像传送设备中，可取的是所述帧选择单元从帧时段与所述基准帧图像数据的帧时段交叠的所述其他成像设备的运动图像数据的两个帧图像数据之中，选择曝光开始定时更接近于所述基准帧图像数据的曝光开始定时的帧图像数据。

利用这种处理，选择成像定时最接近于基准成像设备的帧图像的成像定时的帧图像。

在上面所述的按照本技术的图像传送设备中，可取的是所述帧选择单元对于帧时段与所述基准帧图像数据的帧时段交叠的两个帧图像数据之中的一个帧图像数据，判定相对于所述基准帧图像数据的曝光开始定时差是否小于半帧时段，在曝光开始定时差小于半帧时段时，选择所述一个帧图像数据，而在曝光开始定时差不小于半帧时段时，选择另一个帧图像数据。

这样不需要对于待选择的两个帧图像数据之中的另一个帧图像数据，测量相对于基准帧图像的曝光开始定时差。

在上面所述的按照本技术的图像传送设备中，可取的是所述帧选择单元根据作为从所述特定成像设备的运动图像数据中选择的帧图像数据之一的基准帧图像数据的曝光结束定时，与除所述特定成像设备外的成像设备中的其他成像设备的运动图像数据的帧图像数据之一的曝光开始定时之间的定时差，从所述其他成像设备的运动图像数据中，选择帧图像数据之一。

这使得能够选择曝光开始定时接近基准帧图像数据的曝光结束定时的帧图像数据，作为其他成像设备的帧图像数据。

在上面所述的按照本技术的图像传送设备中，可取的是所述帧选择单元对于所述特定成像设备的运动图像数据的每一帧，进行所述选择。

利用这种构成，每帧地进行帧匹配处理。

在上面所述的按照本技术的图像传送设备中，可取的是所述帧选择单元按比所述特定成像设备的运动图像数据的一个帧时段长的时间间隔，进行所述选择。

利用这种构成，减少帧匹配处理的次数。

在上面所述的按照本技术的图像传送设备中，可取的是所述帧选择单元具有所述特定成像设备的切换功能。

这使得能够把不会导致由帧匹配处理引起的帧图像的跳过或重复的特定成像设备切换成多个成像设备中的任意成像设备。

在上面所述的按照本技术的图像传送设备中，可取的是所述帧选择单元根据操作输入信息，切换所述特定成像设备。

这使用户能够任意切换特定成像设备。

在上面所述的按照本技术的图像传送设备中，可取的是所述帧选择单元根据从每个成像设备输入的运动图像数据中的运动量，切换所述特定成像设备。

这使得能够把对被观察者注视的可能性高的被摄对象成像的成像设备自动切换成特定成像设备。

在上面所述的按照本技术的图像传送设备中，可取的是所述帧选择单元把所述特定成像设备的垂直同步信号作为基准垂直同步信号，输出给整合送出单元，并在切换所述特定成像设备时，切换要作为基准垂直同步信号输出的垂直同步信号，以致紧跟在利用作为切换源的成像设备的垂直同步信号的切换之后的垂直同步发生定时，不被混淆成由基准垂直同步信号表示的垂直同步发生定时。

如果允许上述混淆，那么存在在基准垂直同步信号中，在相对短时间内重复垂直同步发生定时的可能性。如果如上所述重复垂直同步发生定时，那么在诸如整合送出单元的整合处理之类的帧选择之后的后期处理中，可能导致误动作。

于是，通过避免引起上述混淆，可防止系统误动作的发生。

在上面所述的按照本技术的图像传送设备中，可取的是所述整合送出单元把由所述帧选择单元选择的帧图像数据，整合成1个图像数据以便送出。

这使得能够把例如全高清(HD)图像大小的4个帧图像数据整合成1 个4K图像大小的图像数据，以致使与特殊图像大小兼容的编解码器变得不必要。

在上面所述的按照本技术的图像传送设备中，可取的是所述整合送出单元沿时间轴方向整合由所述帧选择单元选择的帧图像数据，以便送出。

这可以使与特殊图像大小兼容的编解码器变得不必要。

在上面所述的按照本技术的图像传送设备中，可取的是所述整合送出单元把表示帧图像数据的每个整合单位的定界符的定界符信息，添加到作为单一流的流数据中。

如果不添加定界符信息，那么在1个流数据的接收侧，预料会通过例如图像分解等，进行判别构成1个整合单位的各个图像的处理；然而，这样的处理不再必要。

此外，按照本技术的图像传送方法是其中图像处理设备执行以下步骤的图像传送方法：利用从拍摄运动图像的多个成像设备之中的特定成像设备输入的垂直同步信号作为基准，从输入自所述多个成像设备的运动图像数据中选择帧图像数据的帧选择步骤；和把在所述帧选择步骤中选择的帧图像数据整合成单一流，并送出整合的单一流的整合送出步骤。

利用上面说明的按照本技术的图像传送方法，也可获得与上面说明的按照本技术的图像传送设备的作用类似的作用。

此外，按照本技术的程序是使信息处理设备执行作为上述图像传送方法执行的处理的程序。

通过这样的程序，实现上面说明的图像传送设备。

此外，按照本技术的运动图像生成系统包括：帧选择单元，所述帧选择单元利用从拍摄运动图像的多个成像设备之中的特定成像设备输入的垂直同步信号作为基准，从输入自所述多个成像设备的运动图像数据中选择帧图像数据；整合送出单元，所述整合送出单元把由所述帧选择单元选择的帧图像数据整合成单一流，并送出整合的单一流；和运动图像生成单元，所述运动图像生成单元生成作为帧图像地包括包含在由整合送出单元送出的单一流中的帧图像数据的运动图像数据。

利用这样的运动图像生成系统，也可获得与上面说明的按照本技术的图像传送设备的作用类似的作用。

本发明的效果

按照本技术，能够在输出并显示通过网络传输，从多个成像设备输入的运动图像的情况下使各个运动图像同步时，使用不具有利用时间码等的同步支持功能的廉价成像设备，从而降低系统成本。

注意，记载在这里的效果不一定是限定的，可以是记载在本公开中的任意效果。

附图说明

图1是说明作为按照本技术的一个实施例的合成视频生成系统的概况的方框图。

图2是全景合成的说明图。

图3是图解说明帧图像数据的整合的例子的示图。

图4是图解说明作为一个实施例的成像设备的内部构成的方框图。

图5是图解说明作为一个实施例的图像传送设备的内部构成的方框图。

图6是图解说明帧缓冲器的构成例子的示图。

图7是图解说明实现环形缓冲器控制的处理过程的流程图。

图8是图解说明作为一个实施例的合成视频生成设备的内部构成的方框图。

图9是示意表示来自成像设备的运动图像数据中的垂直同步信号与各个帧图像之间在时间轴上的关系的示图。

图10是帧选择单元的帧选择处理的说明图。

图11是说明基准成像设备的切换操作的例子的示图。

图12是例示切换源成像设备和切换目的地成像设备中的每一个中的垂直同步信号与基准垂直同步信号之间的关系的示图。

图13是图解说明实现作为一个实施例的帧匹配技术的处理过程的流程图。

图14是图解说明帧图像的普通读取技术的示图。

图15是说明按照实施例的帧图像的读取技术的示图。

图16是作为第一变形例的帧匹配技术的说明图。

图17是图解说明实现作为第一变形例的帧匹配技术的处理过程的流程图。

图18是作为第二变形例的图像整合技术的说明图。

图19是图解说明作为第二变形例的图像传送设备的内部构成的方框图。

图20是图解说明作为第二变形例的合成视频生成设备的内部构成的方框图。

图21是图解说明作为第三变形例的图像传送设备的内部构成的方框图。

图22是图解说明第四变形例中，作为前提的全景图像中的各个图像的布置例子的示图。

图23是在要沿纵向方向合并的各个运动图像数据之间进行的帧选择处理的概念图。

图24是图解说明利用16个成像设备，生成全景视频数据的例子的示图。

图25是图解说明手术室系统的总体构成的概况的示图。

图26是图解说明集中操作面板上的操作画面的显示例子的示图。

图27是图解说明在应用手术室系统时，如何进行手术的例子的示图。

图28是图解说明图27中例示的相机头和相机控制单元(CCU)的功能构成的例子的方框图。

图29是图解说明车辆控制系统的构成的概况的例子的方框图。

图30是图解说明车外信息检测部件和成像单元的安装位置的例子的说明图。

具体实施方式

下面参考附图，按照以下顺序说明实施例。

<1.系统概况>

<2.设备构成>

<3.作为实施例的帧匹配技术>

<4.处理过程>

<5.关于在合成视频生成时的图像读取处理>

<6.各种变形例>

[6-1.第一变形例]

[6-2.第二变形例]

[6-3.第三变形例]

[6-4.第四变形例]

[6-5.其他变形例]

<7.实施例的总结>

<8.应用例>

[8-1.第一应用例]

[8-2.第二应用例]

<9.程序>

<10.本技术>

<1.系统概况>

图1是图解说明作为按照本技术的一个实施例的运动图像生成系统 100的构成的概况的方框图。

如图1中图解所示，运动图像生成系统100包括作为运动图像生成拍摄的图像数据的多个成像设备2、从多个成像设备2输入拍摄的运动图像数据(下面简单地称为“运动图像数据”)的图像传送设备1、作为例如因特网、局域网(LAN)等形成的网络3、和能够通过网络3与图像传送设备1通信的合成视频生成设备4。

本例的运动图像生成系统100包括4个成像设备2-1、2-2、2-3和 2-4，作为成像设备2。

在本实施例的运动图像生成系统100中，图像传送设备1通过网络3，把从成像设备2-1、2-2、2-3和2-4输入的运动图像数据传送给合成视频生成设备4，合成视频生成设备4生成通过传送的各个运动图像数据的全景合成而获得的全景运动图像数据。

图2是全景合成的说明图。

图2中，通过分别附加相同的结尾数值，包含在成像设备2-1、2-2、 2-3和2-4的运动图像数据中的帧图像数据G被分别表示成帧图像数据 G-1、G-2、G-3和G-4。

在本例中，成像设备2沿水平方向排成一行；具体地，成像设备2-1 被布置在最左侧，随后向右侧依次排列成像设备2-2、2-3和2-4。注意，这里的左和右意味面向被摄对象的状态下的左和右。

在合成视频生成设备4的全景合成处理中，对用图2中的阴影部分表示的，在帧图像数据G-1和G-2，帧图像数据G-2和G-3，以及帧图像数据G-3和G-4之间产生的相应交叠部分进行拼接处理，将通过这些拼接处理耦接的整个图像的一部分剪切为全景图像数据P。

合成视频生成设备4对于运动图像数据的每一帧，生成这样的全景图像数据P，并生成作为帧图像地包含各个全景图像数据P的运动图像数据(下面称为“全景视频数据M”)。

注意，图2图解说明在成像设备2在上下方向的布置位置方面，造成偏移的情况的例子；不过，当然可以把成像设备2布置成以致它们在上下方向的位置对齐。这种情况下，可以使从拼接后的整个图像进行剪切变得不必要。

这里，在假定通过如上所述的网络3，传送运动图像数据的情况下，在独立的流中，分开地传送来自各个成像设备2的运动图像数据的情况下，各个流的传送速度随通信流量而变化。在本例中，由于假定使用不具有利用发生器锁定(GenLock)、时间码等的同步支持功能的成像设备作为各个成像设备2，因此在如上所述，各个流的传送速度变化的情况下，难以在生成全景视频时，实现帧同步。

于是，图像传送设备1把从各个成像设备2输入的运动图像数据整合成一个流，然后把整合的一个流传送给合成视频生成设备4。

具体地，在本例中，如图3中图解所示，从各个运动图像数据中选择的各个帧图像数据G-1、G-2、G-3和G-4被合并成一个图像数据，作为帧图像包含该合并的图像数据的运动图像数据被传送给合成视频生成设备4。这种情况下，如图3中图解所示，通过按田字形状排列4个帧图像，合并帧图像数据G。

这里，在本例中，来自各个成像设备2的运动图像数据的图像大小被假定为全高清(HD)大小(水平方向和垂直方向的有效像素的数量分别为1920和1080)。因而，如图3中图解所示，作为具有所谓的4K(4K2K) 图像大小的图像数据地形成合并到田字形状中的1个图像数据。即，在本例中，作为通过整合从各个成像设备2输入的运动图像数据而获得的1 个视频流数据地生成4K视频流数据，并传送给合成视频生成设备4。

通过这样生成并传送4K视频流数据，在图像传送设备1和合成视频生成设备4两侧，不需要具有与特殊图像大小兼容的编码器和解码器。

在本例的运动图像生成系统100中，合成视频生成设备4相继对如上所述，包含于在一个流中传送的运动图像数据中的来自各个成像设备2 的帧图像数据G(G-1～G-4)，进行如参考图2所述的全景合成处理，从而生成作为帧图像地包含通过上述全景合成处理相继获得的全景图像数据 P的全景运动图像数据。

注意，在如图3中所示，采用合并帧图像数据G-1～G-4，以整合成一个流的运动图像数据的技术的情况下，取决于从各个运动图像数据中，选择时间轴上的哪个帧图像数据G，作为要合并的图像，决定显示成全景视频数据M中的1个帧图像的图像的成像定时的组合。换句话说，所述选择显著影响全景视频数据M中的帧同步。

图像传送设备1利用如上所述的待合并的帧图像数据G的选择处理，实现全景视频数据M中的帧同步，这点稍后将在另一节中说明。

<2.设备构成>

下面，说明包含在运动图像生成系统100中的成像设备2、图像传送设备1和合成视频生成设备4的构成。

图4是图解说明成像设备2的内部构成的方框图。

成像设备2包括成像单元21、图像信号处理单元22、存储器23、显示单元24、显示控制部件25、通信接口(I/F)26、控制器27和总线28。成像单元21、图像信号处理单元22、存储器23、显示控制部件25、通信I/F(接口)26和控制器27通过总线28相互连接，以便能够进行数据通信。

成像单元21包括成像透镜、成像元件、对成像元件的累积电荷采样的采样电路(读取电路)和模-数(A/D)转换器，作为数字信号地获得拍摄的图像信号。

在本例中，电荷耦合器件(CCD)用于成像元件，可作为所谓的电子快门功能地改变曝光时间(从曝光开始定时到曝光结束定时的时间)。根据来自控制器27的指令，改变成像元件的曝光时间。

这里，成像单元21根据由定时生成电路(未图示)基于系统时钟生成的垂直同步信号和水平同步信号工作。在本例中，垂直同步信号导致的垂直同步发生周期，换句话说，运动图像数据的帧周期被假定为大约60 帧/秒(fps)。

图像信号处理单元22对作为数字信号由成像单元21获得的拍摄图像信号进行各种图像信号处理，还以预定数据格式生成运动图像数据。

存储器23例如是诸如动态随机存取存储器(DRAM)之类的存储设备，例如用作在由图像信号处理单元22生成运动图像数据时的帧存储器等。

显示单元24例如是诸如液晶显示器(LCD)或有机电致发光(EL)显示器之类的显示设备，在显示控制部件25的控制下，显示各种信息。例如，通过显示单元24，可以所谓的预览(through)图像的形式，实时显示由图像信号处理单元22生成的运动图像数据。

通信I/F 26是用于把运动图像数据发送给外部设备的通信接口，在本例中，采用高清多媒体接口(HDMI)的接口。

控制器27具有包括具有中央处理器(CPU)、只读存储器(ROM)、随机存取存储器(RAM)等的微计算机的构成，进行成像设备2的全面控制。例如，控制器27通过根据垂直同步信号生成的曝光定时控制信号，控制成像单元21中的成像元件的曝光定时。

此外，控制器27例如还控制通过通信I/F 26的运动图像数据的通信。

图5是图解说明图像传送设备1的内部构成的方框图。注意在图5 中，还一起例示了成像设备2-1～2-4。

作为通信I/F 11(它们是用于接收来自外部设备的运动图像数据的通信接口)，图像传送设备1包括对应于各个成像设备2的4个通信I/F，即，第一通信I/F 11-1、第二通信I/F 11-2、第三通信I/F 11-3和第四通信I/F 11-4。对应于成像设备2中的通信I/F 26地采用HDMI接口，作为各个通信I/F 11。

如图5中图解所示，来自成像设备2-1的运动图像数据由第一通信 I/F 11-1接收，来自成像设备2-2的运动图像数据由第二通信I/F 11-2 接收，来自成像设备2-3的运动图像数据由第三通信I/F 11-3接收，来自成像设备2-4的运动图像数据由第四通信I/F 11-4接收。

由第一通信I/F 11-1接收的运动图像数据的帧图像数据G(G-1)被缓存在第一帧缓冲器12-1中。类似地，由第二通信I/F 11-2接收的运动图像数据的帧图像数据G(G-2)被缓存在第二帧缓冲器12-2中，由第三通信I/F 11-3接收的运动图像数据的帧图像数据G(G-3)被缓存在第三帧缓冲器12-3中，由第四通信I/F 11-4接收的运动图像数据的帧图像数据G(G-4)被缓存在第四帧缓冲器12-4中。

此外，从运动图像数据提取的垂直同步信号从各个通信I/F 11输出，这些输出的垂直同步信号被输入帧选择单元19。

这里参考图6和7，说明利用帧缓冲器12的帧图像数据G的缓存。

各个帧缓冲器12是环形缓冲器，具有能够缓存帧图像数据G的多个缓冲区。在本例中，各个帧缓冲器12具有由缓冲区12a-12d构成的4个缓冲区，如图6中图解所示。

下面，用于识别各个缓冲区12a-12d的缓冲区编号(No.)被定义为缓冲区12a＝No.0，缓冲区12b＝No.1，缓冲区12c＝No.2，而缓冲区12d＝No.3，如图6中图解所示。

在本例中，帧选择单元19控制各个帧缓冲器12中的帧图像数据G 的写入和读取。

图7中的流程图图解说明为了实现对这样的环形缓冲器的写入，由帧选择单元19执行的处理。注意，帧选择单元19对于各个帧缓冲器12 (即，对于各个成像设备2)，同时进行图7中图解所示的处理。

首先，在步骤S1，帧选择单元19把缓冲区编号设定为“0”。响应在接下来的步骤S2中确认对应成像设备2中的垂直同步的发生，在步骤 S3，帧选择单元19把缓冲区编号加1(+1)。随后，响应进行上述递增处理，在步骤S4，帧选择单元19判定缓冲区编号是否超过最大值(在本例中为“3”，因为缓冲区的数量＝4)。如果缓冲区编号未超过最大值，那么处理返回步骤S2，响应对应成像设备2中的垂直同步的发生，缓冲区编号被加1。在缓冲区编号超过最大值的情况下，处理返回步骤S1，使缓冲区编号恢复为“0”。

如上所述，帧选择单元19按照响应垂直同步的发生，对于每个成像设备2顺序地更新的缓冲区编号，控制对各个帧缓冲器12的帧图像数据 G的写入，从而各个帧缓冲器12充当环形缓冲器。

图5中，根据从各个通信I/F 11输入的垂直同步信号，帧选择单元 19每个帧缓冲器12地选择将缓存在缓冲区之一中的帧图像数据G，并进行控制，以致选择的帧图像数据G从各个帧缓冲器12被读取到整合单元 13。

帧选择单元19在从成像设备2之中的特定成像设备2(后述基准成像设备)输入的运动图像数据的各个帧时段中，进行帧图像数据G的这种选择处理，其细节稍后在另一节中说明。

此外，根据从各个通信I/F 11输入的垂直同步信号，本例的帧选择单元19生成用作下面说明的整合单元13和编码单元14工作的基准的垂直同步信号(下面称为“基准垂直同步信号”)，这也将在后面在另一节中说明。

整合单元13把从各个帧缓冲器12读取的帧图像数据G整合成单一流。具体地，本例的整合单元13相继进行把相继从各个帧缓冲器12读取的帧图像数据(G-1～G-4)合并成如图3中图解所示的田字形状的处理。

编码单元14接受通过整合单元13的上述合并处理而相继获得的图像数据的输入，生成作为帧图像地包含这些图像数据的压缩运动图像数据。注意，例如，作为编码单元14的压缩格式，可以列举H.264格式、 H.265格式等。

由编码单元14获得的压缩运动图像数据被输出给网络I/F 15。

注意，由编码单元14获得的压缩运动图像数据包括作为帧图像通过整合来自各个成像设备2的帧图像数据G-1～G-4而获得的图像，从而按照上述含义，下面称为“整合视频数据U”。

网络I/F 15是用于进行通过网络3，与外部设备的数据通信的接口。网络I/F 15使得能够通过网络3，把由编码单元14获得的整合视频数据 U发送给合成视频生成设备4。

此外，本例的图像传送设备1包括显示单元16、显示控制部件17 和操作单元18。

显示控制部件17接受从各个通信I/F 11输出到各个对应帧缓冲器 12的各个运动图像数据的分支输入，并把基于输入的各个运动图像数据的运动图像显示在显示单元16上。

操作单元18包括供用户进行对于图像传送设备1的操作输入的操作器。操作单元18把基于用户的操作输入的操作输入信息，输出给帧选择单元19。

在本例中，操作单元18具有在显示单元16的显示屏幕上形成的触摸面板传感器。

注意，帧选择单元19根据来自操作单元18的操作输入信息进行的处理也将在后面在另一节中说明。

图8是图解说明合成视频生成设备4的内部构成的方框图。

合成视频生成设备4包括网络I/F 41、第一解码单元42、存储器43、拼接处理单元44、编码单元45、显示控制部件47、第二解码单元46、介质驱动器48、控制器49和总线50，总线50相互连接这些各个单元，以便能够进行数据通信。

网络I/F 41是用于进行通过网络3，与外部设备的数据通信的接口，能够通过网络3，接收由图像传送设备1的网络I/F 15送出的整合视频数据U。

第一解码单元42对整合视频数据U进行解码处理(扩展处理)。换句话说，对由图像传送设备1中的编码单元14以例如H.264格式或H.265 格式压缩的运动图像数据，进行解码处理。

存储器43例如是诸如DRAM之类的存储设备，用于临时保存各种数据。

拼接处理单元44进行用于生成全景图像数据P的拼接处理。

编码单元45生成作为帧图像地包含通过拼接处理单元44的拼接处理而生成的全景图像数据P的压缩运动图像数据，即，上面说明的全景视频数据M。

第二解码单元46是与编码单元45所致的视频压缩格式兼容的解码单元，对作为全景视频数据M的压缩运动图像数据进行解码处理。

显示控制部件47进行连接到合成视频生成设备4的显示设备60的显示控制。

介质驱动器48进行对于诸如磁盘、光盘、磁光盘、半导体存储器之类的各种记录介质的写入和读取。

控制器49具有包含例如具有CPU、ROM、RAM等的微计算机的构成，进行合成视频生成设备4的全面控制。

特别地，控制器49控制基于从图像传送设备1接收，并由第一解码单元42解码的运动图像数据的全景视频数据M的生成。具体地，控制器 49使拼接处理单元44对包含在由第一解码单元42解码的运动图像数据中的各个帧图像数据，换句话说，在本例中，通过如图3中图解所示，把帧图像数据G-1～G-4合并成田字形状而获得的各个帧图像数据，进行上面参考图2说明的拼接处理，从而相继生成全景图像数据P。在上述处理之后，控制器49使编码单元45生成作为帧图像地包含利用上述拼接处理相继获得的全景图像数据P的全景视频数据M。

此外，作为全景视频数据M的显示处理，控制器49使显示控制部件 47执行用于把基于如上所述生成的全景视频数据M的运动图像，显示在显示设备60上的显示控制。

利用该处理，通过由各个成像设备2拍摄的运动图像的全景合成而获得的全景运动图像被输出并显示在显示设备60上。

注意，在上面的说明中，列举了其中全景运动图像的显示装置在外部附接到合成视频生成设备4的例子；不过，合成视频生成设备4也可具有包含全景运动图像的显示装置的构成。

此外，控制器49可使介质驱动器48把由编码单元45生成的全景视频数据M记录在所需的记录介质中。

<3.作为实施例的帧匹配技术>

作为实施例的图像传送设备1选择将在整合单元13中合并的帧图像数据G，以实现全景视频数据M中的来自各个成像设备2的图像之间的帧同步。

图9示意表示来自各个成像设备2的运动图像数据中的垂直同步信号与各个帧图像之间在时间轴上的关系。

在开始全景运动图像的生成时，首先开始各个成像设备2的成像工作；然而，此时的成像开始定时未必彼此一致。此外，由于各个成像设备2之间的时钟误差等，在各个成像设备2中的垂直同步发生定时方面，产生时间差。

因此，帧选择单元19进行帧选择处理，以确保整合其成像定时彼此接近的帧图像数据G。

图10是帧选择单元19的帧选择处理的说明图。

首先，在图10的说明中，成像设备2之中的成像设备2-1被假定为在帧匹配中充当基准的基准成像设备。对于基准成像设备的运动图像数据，帧选择单元19选择各个帧图像。换句话说，对于基准成像设备的运动图像数据，不会导致由帧匹配引起的帧图像的跳过或重复。

响应被指定为基准成像设备的成像设备2-1中的垂直同步的发生，对于除基准成像设备外的各个成像设备2，帧选择单元19选择曝光开始定时最接近基准成像设备的此时的所选帧图像的曝光开始定时的帧图像。

曝光开始定时最接近基准成像设备的所选帧图像的曝光开始定时的帧图像是其帧时段与所选帧图像的帧时段交叠的两个帧图像(图10中，用粗矩形表示)之一。

于是，在这两个帧图像之中，选择曝光开始定时更接近基准成像设备的所选帧图像的曝光开始定时的帧图像。

这里，在图10的例子中，相对于基准成像设备的所选帧图像的曝光开始定时之差被表示成垂直同步发生定时之差；不过，也可根据除垂直同步信号以外的信号，得到曝光开始定时之差。例如，也可从各个成像设备2输入与表示曝光开始定时的垂直同步信号不同的信号，并根据该不同的信号，得到曝光开始定时之差。

本例的帧选择单元19对于基准成像设备的运动图像数据的每一帧，进行如上所述的帧图像选择处理。

利用这种方法，可以增强抑制运动图像之间的定时偏移的效果。

这里，本例的图像传送设备1具有切换基准成像设备的功能。

帧选择单元19例如根据来自图5中图解所示的操作单元18的操作输入信息，切换基准成像设备。

例如，如图11中图解所示，从各个成像设备2输入的运动图像被显示在显示单元16上，作为响应操作从显示的运动图像中选择的运动图像的输入源的成像设备2被设定为基准成像设备。例如，此时的运动图像的选择操作可以是利用设置在操作单元18中的触摸面板功能，触摸运动图像的显示区域的操作等。

利用这种基于操作输入的基准成像设备的切换，用户可把基准成像设备切换成任意成像设备。

当基准成像设备被切换时，输入到整合单元13和编码单元14的基准垂直同步信号应被切换成切换目的地成像设备2所致的垂直同步信号。

图12是例示切换源成像设备2和切换目的地成像设备2各自的垂直同步信号与基准垂直同步信号之间的关系的示图。

例如，假定在图12中用“F”指示的帧时段中的任意定时，基准成像设备的切换条件被满足(本例中，切换操作的输入)。

响应基准成像设备的切换条件的满足，本例的帧选择单元19立即把待作为基准垂直同步信号输出的垂直同步信号，从在那之前输出的切换源成像设备2所致的垂直同步信号切换成切换目的地成像设备2所致的垂直同步信号。

此时，基准成像设备的切换条件被满足的定时有时接近于在帧时段F 之后的帧时段的开始定时，换句话说，该后续帧时段的垂直同步发生定时。在这种情况下，如果在基准垂直同步信号的切换方面发生延迟，那么该后续帧时段的垂直同步发生定时意外地作为垂直同步发生定时，包含在基准垂直同步信号中。

如上所述，当作为由基准垂直同步信号表示的垂直同步发生定时，包含切换源成像设备2所致的垂直同步发生定时时，基准垂直同步信号存在切换源成像设备2所致的垂直同步发生定时与切换目的地成像设备2所致的垂直同步发生定时彼此接近的可能性，如图12中用“X”所示。

当在基准垂直同步信号中，彼此接近地产生垂直同步发生定时时，存在诱发整合单元13和编码单元14的误动作的可能性。

在本例中，如上所述，切换源成像设备2所致的垂直同步信号立即被切换成切换目的地成像设备2的垂直同步信号，从而可以正确地防止在基准垂直同步信号中，接近地产生垂直同步发生定时。

结果，能够正确地防止由于启动基准成像设备2的切换而引起的诱发系统误动作的现象的发生。

注意，正确地防止在基准垂直同步信号中，使垂直同步发生定时彼此接近的技术不限于上述技术。例如，也可采用响应基准成像设备的切换条件的满足，立即掩蔽切换源成像设备2所致的垂直同步信号的技术。利用这种技术，在从切换源到切换目的地的垂直同步信号的切换中，允许一定的时滞。

<4.处理过程>

下面参考图13的流程图，说明用于实现作为一个实施例的上述帧匹配技术的具体处理过程。

首先，在步骤S101，帧选择单元19判定基准成像设备的切换条件是否已满足。即，在本例中，判定是否作为对于操作单元18的操作，进行了切换基准成像设备的操作。

在基准成像设备的切换条件已满足的情况下，帧选择单元19在步骤 S102，切换基准成像设备，还在接下来的步骤S103，切换基准垂直同步信号。换句话说，待作为基准垂直同步信号输出的垂直同步信号从切换源成像设备2的垂直同步信号，被切换成切换目的地成像设备2的垂直同步信号。

响应进行步骤S103的切换，帧选择单元19进入步骤S104。

另一方面，当在步骤S101，判定基准成像设备的切换条件未被满足时，帧选择单元19通过步骤S102和S103，进入步骤S104。

在步骤S104，帧选择单元19等待基准成像设备中的垂直同步的发生，并响应垂直同步的发生，在步骤S105，把成像设备标识值n设定为“1”，然后进入步骤S106。这里，成像设备标识值n是用于识别除基准成像设备外的成像设备2的值，在本例中，假定最大值nMAX＝“3”。

在步骤S106，帧选择单元19得出从此时的基准成像设备中的垂直同步的发生，到第n个成像设备中的紧接在前的垂直同步的发生的时间差 Vd。

这里，对于除基准成像设备外的各个成像设备2，本例的帧选择单元 19测量从各个成像设备2的垂直同步发生定时，到在各个成像设备2的垂直同步发生定时之后最早到来的基准成像设备的垂直同步发生定时的时间长度(计时)。这种情况下，步骤S106的处理是从如上所述，对于每个成像设备2测量的时间长度之中，获取对于第n个成像设备2测量的时间长度，作为时间差Vd的处理。

在接下来的步骤S107，帧选择单元19判定时间差Vd是否小于半帧时段(本例中，1/120秒)。

如果时间差Vd小于半帧时段，那么帧选择单元19进入步骤S108，选择第n个成像设备的当前帧时段的帧图像。

当前帧时段意味把利用本次的步骤S104的处理检测的基准成像设备的垂直同步发生定时包含在其时段内的帧时段。

具体地，作为步骤S107的处理，帧选择单元19从第一帧缓冲器 12-1～第四帧缓冲器12-4之中的对应于第n个成像设备的帧缓冲器12 的缓冲区中，选择缓存在由在图7中图解所示的环形缓冲器处理中选择的缓冲区编号表示的缓冲区中的帧图像数据G。

另一方面，如果时间差Vd不小于半帧时段，那么帧选择单元19进入步骤S109，选择第n个成像设备的后续帧时段的帧图像。后续帧时段意味在上面所述的当前帧时段之后的帧时段。

具体地，帧选择单元19从第一帧缓冲器12-1～第四帧缓冲器12-4 之中的对应于第n个成像设备的帧缓冲器12的缓冲区中，选择缓存在由紧接于在图7的环形缓冲器处理中当前选择的缓冲区编号之后要选择的缓冲区编号表示的缓冲区中的帧图像数据G。

响应执行步骤S108或S109的处理，帧选择单元19进入步骤S110，判定成像设备标识值n是否等于或大于最大值nMAX。换句话说，判定是否对除基准成像设备外的所有成像设备2，执行了步骤S106之中及之后的各个处理。

如果成像设备标识值n不等于或大于最大值nMAX，那么在步骤S111，帧选择单元19把成像设备标识值n加1，随后返回步骤S106。

另一方面，如果成像设备标识值n等于或大于最大值nMAX，那么帧选择单元19返回步骤S101。利用该过程，对于基准成像设备的每一帧，进行用于各个运动图像的帧匹配的处理。

这里，参考步骤S106-S109的处理可以理解，在本例中，作为对于除基准成像设备外的各个成像设备的帧选择，对其帧时段与对于基准成像设备选择的帧图像(下面称为“基准帧图像”)的帧时段交叠的两个帧图像之中的一个帧图像，判定相对于基准帧图像的曝光开始定时差是否小于半帧时段；如果曝光开始定时差小于半帧时段，那么选择所述一个帧图像，而如果曝光开始定时差不小于半帧时段，则选择另一个帧图像。

这样不需要对于待选择的两个帧图像之中的另一个帧图像，测量相对于基准帧图像的曝光开始定时差。

因而，可以减轻处理负荷。

<5.关于合成视频生成时的图像读取处理>

如上所述，合成视频生成设备4接收从图像传送设备1送出的整合视频数据U，根据整合视频数据U的帧图像数据，换句话说，通过按田字形状，合并来自各个成像设备2的帧图像数据G-1～G-4而获得的图像数据，生成全景图像数据P。

此时，作为从整合视频数据U的帧图像数据，读取各个像素数据的技术，可以采用以下技术。

图14图解说明普通的读取技术。在普通的读取技术中，对帧图像数据进行光栅顺序读取(光栅扫描)。换句话说，从位于最上部的水平行到位于最下部的水平行，从左到右地顺序读取各个水平行。

与这种技术相对照，在本例中，如图15A中图解所示地读取各个像素数据。

换句话说，在其中按光栅顺序，排列帧图像数据G-1～G-4的整合视频数据U的帧图像数据中，当帧图像数据G-1和G-2被排列在的上段的区域被假定为上段区域Ru，帧图像数据G-3和G-4被排列在的下段的区域被假定为下段区域Rd时，从各个区域R的最上部到最下部，重复读取上段区域Ru中的一个水平行，之后读取下段区域Rd中的一个水平行的过程。

通过进行这样的读取，如图15B中图解所示，可以一次读取与合并为全景时的图像布局中的一个水平行相当的数据量。

作为图8中图解所示的从存储器43到拼接处理单元44的图像读取技术，实现上述读取技术。换句话说，存储器43用作整合视频数据U的帧存储器，对于临时保持在存储器43中的整合视频数据U的帧图像数据，拼接处理单元44利用上述读取技术，读取像素数据。

<6.各种变形例>

[6-1.第一变形例]

下面说明各种变形例。注意，在下面的说明中，对于与已说明的部分类似的部分，将赋予相同的附图标记和相同的步骤编号，其说明将被省略。

在上面的例子中，每帧地进行用于帧匹配的帧选择处理；不过，作为第一变形例，也可按大于1个帧时段的时间间隔，进行帧选择处理。

例如，如图16中图解所示，事先指定大于1个帧时段的一定时间，在进行帧选择处理之后过去指定的一定时间的条件下，执行后续的帧选择处理。

利用这种方法，帧匹配处理的次数减少，可以减轻处理负荷。

通常，各个成像设备2的垂直同步信号导致1个帧时段的偏移需要大约数十秒的时间。如果上述时间被假定为“X”，并且相对于基准成像设备的帧偏移容许量假定为半帧时段，那么上述一定时间可被设定为用“X/2”表示的时间。

注意，比1个帧时段长的任意时间(比如1秒等)可被设定为上述一定时间。

图17是图解说明实现作为上述第一变形例的帧选择的具体处理过程的流程图。

与前面的图13的不同之处在于增加了步骤S201-S204的处理。

具体地，响应在步骤S104，确认基准成像设备中的垂直同步的发生，这种情况下，在步骤S201，帧选择单元19开始计时，然后进入步骤S105。

此外，当在步骤S110，判定成像设备标识值n等于或大于最大值nMAX 时，这种情况下，帧选择单元19利用步骤S202和S203的处理，等待直到发生所述一定时间的过去，或者基准成像设备的切换条件的满足任意之一为止。

当在步骤S202，判定所述一定时间过去时，帧选择单元19在步骤 S204，重置时间计数，随后返回步骤S101。另一方面，当在步骤S203，判定基准成像设备的切换条件已满足时，帧选择单元19在步骤S205，重置时间计数，随后返回步骤S102。

利用这种过程，在从第一次执行起，过去一定时间之后，发生了基准成像设备中的垂直同步的条件下，反复执行步骤S106-S109的用于帧选择的处理。

[6-2.第二变形例]

在第二变形例中，来自各个成像设备2的帧图像数据G-1～G-4不被整合成1个图像数据，而是如图18中图解所示，按时间轴方向整合。

例如，当假定全景视频数据M的帧速率为60fps，并且和本例中一样，全景图像数据P使用4个图像时，生成240fps的运动图像数据，作为包含各个帧图像数据G-1、G-2、G-3以及G-4作为帧图像的运动图像数据。注意，在本例的情况下，上述运动图像数据的图像大小例如为全HD大小。

这种情况下，在整合侧的设备的构成中，如图19中图解所示的图像传送设备1A中一样，设置整合控制部件55，代替整合单元13，并设置编码单元14A，代替编码单元14。

编码单元14A生成全HD图像大小的高帧速率(本例中，240fps)的运动图像数据(压缩运动图像数据)，而不是4K图像大小的运动图像数据。

整合控制部件55进行控制，以致在由编码单元14A生成的运动图像数据中，帧图像数据G-1～G-4在轴间轴上按预定顺序排列。具体地，在本例中，控制从各个帧缓冲器12选择和输出的图像的顺序，以致帧图像数据G-1、G-2、G-3和G-4在时间轴上按该顺序排列，如图18中图解所示。

这里，按照来自整合控制部件55的指令，编码单元14A把表示由帧图像数据G-1～G-4构成的每个帧单位的定界符的信息，添加到要生成的运动图像数据中。换句话说，向作为单一流的流数据，添加表示帧图像数据G的每个整合单位的定界符的定界符信息Dv。

同时，在全景合成侧的设备的构成中，如图20中的合成视频生成设备4A图解所示，设置第一解码单元42A，代替第一解码单元42，并设置拼接处理单元44A，代替拼接处理单元44。

第一解码单元42A具有用于上面提及的高帧速率的运动图像数据的解码功能。

拼接处理单元44A根据由第一解码单元42A解码的运动图像数据，生成全景图像数据P。此时，根据包含在由第一解码单元42A解码的运动图像数据中的定界符信息Dv，拼接处理单元44A识别用于生成一个全景图像数据P的一组帧图像数据G(帧单位)。

此时，由于在由第一解码单元42A解码的运动图像数据中，帧图像数据G-1～G-4在时间轴上按预定顺序排列，因此拼接处理单元44A可以对各个精确的图像组合，进行拼接处理。具体地，对于利用定界符信息 Dv区别的每4个帧图像数据G，这种情况下，拼接处理单元44A分别对在时间轴上，位于第一位置的帧图像数据G(G-1)和位于第二位置的帧图像数据G(G-2)之间的部分，位于第二位置的帧图像数据G和位于第三位置的帧图像数据G(G-3)之间的部分，以及位于第三位置的帧图像数据G 和位于第四位置的帧图像数据G(G-4)之间的部分，进行拼接处理。

利用这种处理，能够利用图2中图解所示的精确图像排列，生成全景图像数据P。

注意，考虑其中例如通过网络3，实时传送运动图像数据的情况，待传送给合成视频生成设备4A侧的运动图像数据的帧速率也可被限制为例如120fps。这种情况下，给定全景视频数据M的帧速率为30fps。于是，在整合时，对来自各个成像设备2的运动图像数据进行帧间除。即，在本例中，从各个成像设备2按60帧/秒输入的帧图像数据G的一半被间除。

这里，全景视频数据M的帧速率不限于上面列举的速率。

[6-3.第三变形例]

第三变形例是与基准成像设备的切换关联的变形例。

基准成像设备的切换不限于上面说明的基于操作输入的切换，而是也可根据从各个成像设备2输入的运动图像数据的运动量来进行。

图21是图解说明作为第三变形例的图像传送设备1B的内部构成的方框图(还一起例示了各个成像设备2)。

在图像传送设备1B中，代替帧选择单元19，设置帧选择单元19A，此外，设置了检测从各个成像设备2输入的各个运动图像数据中的运动量的运动量检测部件56。

帧选择单元19A根据由运动量检测部件56检测的各个运动图像数据中的运动量，切换基准成像设备。具体地，例如，作为包含运动量最大的被摄对象的运动图像数据的输入源的成像设备2被切换成基准成像设备。

或者，也可把作为整个图像中的运动量的平均值最大的运动图像数据的输入源的成像设备2，切换成基准成像设备。此外，也可以想到把作为运动量等于或大于一定量的像场的总面积最大的运动图像数据的输入源的成像设备2，切换成基准成像设备。

通过如上所述基于运动量切换基准成像设备，对被观察者注视的可能性高的被摄对象成像的成像设备2可被自动切换成基准成像设备。因而，可以减轻用户的与基准成像设备的切换关联的操作负荷。

[6-4.第四变形例]

第四变形例是在沿纵向方向进行全景合成的情况下适宜的变形例。

图22是图解说明第四变形例中，作为前提的全景图像中的各个图像的布置例子的示图。

在这种情况下的全景图像数据P中，来自各个成像设备2的帧图像数据G-1～G-4被布置成田字形状。具体地，帧图像数据G-1被布置在左上位置处，帧图像数据G-2被布置在右上位置处，帧图像数据G-3被布置在左下位置处，而帧图像数据G-4被布置在右下位置处。

这里，在沿纵向方向的帧图像数据G的全景合成，比如图22中的帧图像数据G-1和G-3的合成，以及帧图像数据G-2和G-4的合成的情况下，当成像设备2的成像元件是采用卷帘快门方式的成像元件，比如互补金属氧化物半导体(CMOS)图像传感器等时，应加以注意。换句话说，这种情况下，如果参考曝光开始定时，选择要合并的各个帧图像数据G，那么存在各个图像不被平滑地接合的可能性。

图22中，在采用卷帘快门方式的情况下的各个帧图像数据G中的曝光顺序用实线箭头和虚线箭头示意表示，以白色圆圈为曝光开始定时，黑色圆圈为曝光结束定时；从图22可以看出，如果参考曝光开始定时，进行将沿纵向方向合并的各个图像之间的帧匹配，那么在这些图像之间的接合处，曝光开始定时的差异变大。当如上所述，在沿纵向方向排列的图像之间的接合处的曝光开始定时差变大时，特别地，在对运动较大的被摄对象成像的情况下，在上下图像之间，被摄对象的位置发生偏移，导致图像质量的降低。

因此，作为对于将沿纵向方向合并的各个运动图像数据的帧选择处理，作为上面和下面的运动图像数据之一的输入源的成像设备2被指定为基准成像设备，对于上面和下面的运动图像数据中的另一个运动图像数据，选择曝光开始定时最接近于基准成像设备的所选帧图像(基准帧图像)的曝光结束定时的帧图像。

图23是在要沿纵向方向合并的各个运动图像数据之间进行的帧选择处理的概念图。注意，图23例示在沿上下方向排列的成像设备2之中，置于上侧的成像设备2被指定为基准成像设备的情况。

在这种情况下的帧选择处理中，由于代替曝光开始定时，使用基准帧图像的曝光结束定时作为基准，因此用作帧选择时的基准的垂直同步发生定时不是基准帧图像的帧时段中的垂直同步发生定时，而是在基准帧图像的帧时段之后的帧时段中的垂直同步发生定时(参见“上侧图像”中的阴影帧图像和带有箭头的垂直同步发生定时之间的关系)。

对于从下侧成像设备2输入的运动图像数据，选择垂直同步发生定时最接近于用作基准的该垂直同步发生定时的帧图像数据G。

作为具体处理，在来自下侧成像设备2的运动图像数据中的每个垂直同步发生定时，这种情况下的帧选择单元19(或19A)测量从下侧成像设备2的垂直同步发生定时，到在下侧成像设备2的该垂直同步发生定时之后最早到来的基准成像设备的垂直同步发生定时的时间差Vd1。随后，判定时间差Vd1是否小于半帧时段。如果时间差Vd1小于半帧时段，那么选择当前帧时段中的帧图像数据G，即，其帧时段开始定时是被视为时间差Vd1的测量起点的垂直同步发生定时的帧图像数据G。此外，如果时间差Vd1不小于半帧时段，那么选择在当前帧时段之后的帧时段中的帧图像数据G。

注意，在上面的说明中，根据时间差Vd1，进行帧选择；不过，也可根据图23中的时间差Vd2，即，从基准帧图像的曝光结束定时到紧跟在基准帧图像的曝光结束定时之后的下侧成像设备2的垂直同步发生定时的时间差，进行帧选择。具体地，如果时间差Vd2不小于半帧时段，那么选择当前帧时段中的帧图像数据G，而如果时间差Vd2小于半帧时段，那么选择在当前帧时段之后的帧时段中的帧图像数据G。

注意，在上面的说明中，在基准帧图像之后的帧时段的垂直同步发生定时(帧时段开始定时)用作基准帧图像的曝光结束定时；不过，也可根据除垂直同步信号外的信号，得出曝光结束定时。例如，可以从各个成像设备2，输入表示曝光结束定时的与垂直同步信号不同的信号，以致根据该不同的信号，得出曝光结束定时。

这里，在图22的例子中，对于将沿横向方向合并的图像(G-1和G-2、以及G-3和G-4)，沿横向方向排列的成像设备2任意之一被指定为基准成像设备，以致可以参考曝光开始定时，进行对于来自另外的成像设备2 的运动图像数据的帧选择。具体地，选择曝光开始定时最接近于基准帧图像的曝光开始定时的帧图像即可。

此时，只需要把所有的成像设备2中的至少一个指定为基准成像设备。即，在图22的例子中，例如，作为帧图像数据G-1的输入源的成像设备2被唯一地指定为基准成像设备，按照以致选择曝光开始定时最接近于基准帧图像(即，帧图像数据G-1)的曝光开始定时的帧图像的方式，进行对于另外的成像设备2的帧选择。

注意，在沿纵向方向，三个或更多个帧图像的全景合成的情况下，对于在上下方向相邻的每组两个帧图像，可以利用与参考图23说明的技术相似的技术，进行帧选择。例如，在图22中，在帧图像数据G-3的下侧，存在要进一步合并的帧图像(称为帧图像α)的情况下，作为帧图像数据G-3的输入源的成像设备2被指定为基准成像设备，利用与参考图 23说明的技术相似的技术，进行对于从作为帧图像α的输入源的成像设备2输入的运动图像数据的帧选择。

[6-5.其他变形例]

在上面的说明中，列举了生成通过从4个成像设备2输入的运动图像数据的全景合成而获得的全景视频数据M的例子；不过，使用的成像设备2的数量，换句话说，要合并的图像的数量不限于“4”，只要求至少“2”个或者更多的图像。

图24图解说明利用16个成像设备2，生成全景视频数据M的例子。具体地，图24图解说明以其中16个图像沿纵向方向被排列成四行，横向方向的4个图像为一行的格式，生成全景视频数据M的例子。

这种情况下，在一个流中要送出的整合视频数据U的图像大小可以给定为所谓的8K(8K4K)图像大小，从而可以使用与8K图像大小兼容的通用编码单元和解码单元，作为设置在图像传送设备1(或1A或1B)中的编码单元，和设置在合成视频生成设备4(或4A)中的解码单元。

此外，在上面的说明中，列举了其中在图像传送设备1中，设置用于指令基准成像设备的切换的操作单元的例子(操作单元18)；不过，该操作单元也可设置在合成视频生成设备4侧。这种情况下，操作输入信息通过网络3，被传送给图像传送设备1侧。

利用这种构成，全景视频数据M的观察者可任意指令图像传送设备1 切换基准成像设备。

此外，在上面的说明中，作为实际应用，例示了进行从多个成像设备2输入的运动图像数据的全景合成，并向观察者呈现合成全景的情况；不过，全景合成不是必不可少的。例如，作为通过网络3，传送来自各个成像设备2的运动图像数据，并向观察者呈现传送的运动图像数据的情况，也可以想到各个运动图像数据被输出并显示在单独的屏幕上的情况。这种情况下，通过应用伴随按照本技术的帧选择处理的一个流运动图像数据的传送技术，可以抑制要呈现的各个运动图像之间的定时偏移。

即，本技术可以广泛并且适当地应用于通过网络，传送以同步再现为前提的各个运动图像数据，并向观察者呈现传送的运动图像数据的实际应用。

<7.实施例的总结>

如上所述，作为一个实施例的图像传送设备(1、1A或1B)包括：帧选择单元(19或19A)，所述帧选择单元利用从拍摄运动图像的多个成像设备(2)之中的特定成像设备(基准成像设备)输入的垂直同步信号作为基准，以从输入自所述多个成像设备的运动图像数据中选择帧图像数据；和整合送出单元(整合单元13和编码单元14，或者整合控制部件55和编码单元14A)，所述整合送出单元把由所述帧选择单元选择的帧图像数据整合成单一流，并送出整合的单一流。

利用这种构成，即使在多个成像设备异步拍摄视频的情况下，也能够根据特定成像设备的垂直同步信号，从各个运动图像中选择成像定时差较小的帧图像。

此外，由于多个图像被整合成单一流并送出，因此各个图像之间的同步不会变得像在单独的流中并行传输的情况那样困难。

因而，能够在输出并显示通过网络传输从多个成像设备输入的运动图像的情况下使各个运动图像同步时，使用不具有利用时间码等的同步支持功能的廉价成像设备，从而降低系统成本。

此外，在作为一个实施例的图像传送设备中，所述帧选择单元根据相对于基准帧图像数据的曝光开始定时差，从排除所述特定成像设备的成像设备之中的其他成像设备的运动图像数据中，选择帧图像数据之一，所述基准帧图像数据是从所述特定成像设备的运动图像数据中选择的帧图像数据之一。

这使得能够选择曝光开始定时接近于基准帧图像数据的曝光开始定时的帧图像数据，作为除特定成像设备外的成像设备的帧图像数据。

因而，可以实现各个运动图像之间的同步。

此外，在作为一个实施例的图像传送设备中，所述帧选择单元从帧时段与所述基准帧图像数据的帧时段交叠的所述其他成像设备的运动图像数据的两个帧图像数据之中，选择曝光开始定时更接近于所述基准帧图像数据的曝光开始定时的帧图像数据。

利用这种处理，选择成像定时最接近于基准成像设备的帧图像的成像定时的帧图像。

因而，可以实现各个运动图像之间的同步。

此外，在作为一个实施例的图像传送设备中，所述帧选择单元对于帧时段与所述基准帧图像数据的帧时段交叠的两个帧图像数据之中的一个帧图像数据，判定相对于所述基准帧图像数据的曝光开始定时差是否小于半帧时段，在曝光开始定时差小于半帧时段时，选择所述一个帧图像数据，而在曝光开始定时差不小于半帧时段时，选择另一个帧图像数据。

这样不需要对于待选择的两个帧图像数据之中的另一个帧图像数据，测量相对于基准帧图像的曝光开始定时差。

因而，可以实现处理负荷的减轻。

此外，在作为一个实施例的图像传送设备中，所述帧选择单元根据作为从所述特定成像设备的运动图像数据中选择的帧图像数据之一的基准帧图像数据的曝光结束定时，与除所述特定成像设备外的成像设备中的其他成像设备的运动图像数据的帧图像数据之一的曝光开始定时之间的定时差，从所述其他成像设备的运动图像数据中，选择帧图像数据之一

这使得能够选择曝光开始定时接近基准帧图像数据的曝光结束定时的帧图像数据，作为其他成像设备的帧图像数据。

因而，在利用卷帘快门方式拍摄的图像的纵向方向的全景合成的情况下，可以抑制在图像之间的接合处的曝光定时差，从而实现图像质量的改善。

此外，在作为一个实施例的图像传送设备中，所述帧选择单元对于所述特定成像设备的运动图像数据的每一帧，进行所述选择。

利用这种方法，每帧地进行帧匹配处理，可以增强抑制运动图像之间的定时偏移的效果。

此外，在作为一个实施例的图像传送设备中，所述帧选择单元按比所述特定成像设备的运动图像数据的一个帧时段长的时间间隔，进行所述选择。

利用这种方法，减少帧匹配处理的次数，从而可以实现处理负荷的减轻。

此外，在作为一个实施例的图像传送设备中，所述帧选择单元具有所述特定成像设备的切换功能。

这使得能够切换不会导致由帧匹配处理引起的帧图像的跳过或重复的特定成像设备。

如果特定成像设备的切换被禁止，例如，在对就运动量等而言，易于被观察者注视的被摄对象成像的成像设备未被指定为特定成像设备的情况下，更易于察觉帧图像的跳过或重复。换句话说，更易于察觉图像质量的降低。

通过如上所述，允许特定成像设备的切换，可以使由帧匹配处理引起的帧图像的跳过或重复难以察觉，从而可以抑制图像质量的降低。

此外，在作为一个实施例的图像传送设备中，所述帧选择单元根据操作输入信息，切换所述特定成像设备。

这使用户能够任意切换特定成像设备。

此外，在作为一个实施例的图像传送设备中，所述帧选择单元(19A) 根据从每个成像设备输入的运动图像数据中的运动量，切换所述特定成像设备。

这使得能够把对观察者易于注视的被摄对象成像的成像设备自动切换成特定成像设备。

因而，可以减轻用户的与基准成像设备的切换关联的操作负荷。

此外，在作为一个实施例的图像传送设备中，所述帧选择单元把所述特定成像设备的垂直同步信号作为基准垂直同步信号，输出给整合送出单元(整合单元13和编码单元14，或者整合控制部件55和编码单元 14A)，并在切换所述特定成像设备时，切换要作为基准垂直同步信号输出的垂直同步信号，以致紧跟在利用作为切换源的成像设备的垂直同步信号的切换之后的垂直同步发生定时，不被混淆成由基准垂直同步信号表示的垂直同步发生定时。

如果允许上述混淆，那么存在在基准垂直同步信号中，在相对短时间内重复垂直同步发生定时的可能性。如果如上所述重复垂直同步发生定时，那么在诸如整合送出单元的整合处理之类的帧选择之后的后期处理中，可能导致误动作。

于是，通过避免引起上述混淆，可防止系统误动作的发生。

此外，在作为一个实施例的图像传送设备中，所述整合送出单元把由所述帧选择单元选择的帧图像数据，整合成1个图像数据以便送出。

这使得能够把例如HD图像大小的4个帧图像数据整合成1个4K图像大小的图像数据，以致使与特殊图像大小兼容的编解码器变得不必要。

此外，在作为一个实施例的图像传送设备中，所述整合送出单元沿时间轴方向整合由所述帧选择单元选择的帧图像数据，以便送出。

这可以使与特殊图像大小兼容的编解码器变得不必要。

此外，在作为一个实施例的图像传送设备中，所述整合送出单元把表示帧图像数据的每个整合单位的定界符的定界符信息(Dv)，添加到作为单一流的流数据中。

如果不添加定界符信息，那么在1个流数据的接收侧，预料会通过例如图像分解等，进行判别构成1个整合单位的各个图像的处理。

这样的处理不再是必要的，从而可以减轻上述接收侧的处理负荷。

此外，作为一个实施例的运动图像生成系统(100)包括：帧选择单元，所述帧选择单元利用从拍摄运动图像的多个成像设备之中的特定成像设备输入的垂直同步信号作为基准，从输入自所述多个成像设备的运动图像数据中选择帧图像数据；整合送出单元，所述整合送出单元把由所述帧选择单元选择的帧图像数据整合成单一流，并送出整合的单一流；和运动图像生成单元(拼接处理单元44或44A和编码单元45)，所述运动图像生成单元生成作为帧图像地包括包含在由整合送出单元送出的单一流中的帧图像数据的运动图像数据。

利用这样的运动图像生成系统，也可获得和作为一个实施例的上述图像传送设备的效果类似的效果。

此外，在作为一个实施例的运动图像生成系统中，运动图像生成单元进行包含在单一流中的帧图像数据的全景合成，生成作为帧图像地包含通过全景合成而获得的合成图像的运动图像数据。

利用这种构成，能够在进行从通过网络传输，从多个成像设备输入的运动图像的全景合成，并输出和显示合成全景的情况下使各个运动图像同步时，使用不具有利用时间码等的同步支持功能的廉价成像设备，从而降低系统成本。

注意，记载在本说明中的效果仅仅作为例子，而不被解释为是有限的。也可存在另外的效果。

<8.应用例>

[8-1.第一应用例]

按照本公开的技术可应用于各种产品。例如，按照本公开的技术可应用于手术室系统。

图25图解说明按照本公开的技术可应用于的手术室系统5100的总体构成的概况。参见图25，手术室系统5100被构造成以致安装在手术室中的一组设备通过视听控制器(AV控制器)5107和手术室控制设备5109 相互连接，以便能够协同。

在手术室中可安装各种设备。例如，图25图解说明用于内窥镜手术的各种设备组5101、设置在手术室的天花板上，对外科医生的双手周围的区域成像的天花板相机5187、设置在手术室的天花板上，对整个手术室中的事件成像的术野相机5189、多个显示设备5103A-5103D、记录器 5105、病床5183和照明5191。

这里，在这些设备之中，设备组5101属于下面说明的内窥镜手术系统5113，包括内窥镜、和显示由内窥镜拍摄的图像的显示设备等。属于内窥镜手术系统5113的各个设备也被称为医疗器械。同时，显示设备 5103A-5103D、记录器5105、病床5183和照明5191是与内窥镜手术系统 5113分离地位于例如手术室中的设备。不属于内窥镜手术系统5113的各个这些设备也被称为非医疗器械。视听控制器5107和/或手术室控制设备5109相互协同地控制这些医疗器械和非医疗器械的操作。

视听控制器5107全面控制医疗器械和非医疗器械中的与图像显示相关的处理。具体地，在包含在手术室系统5100中的设备之中，设备组 5101、天花板相机5187和术野相机5189可以是具有分发要在手术期间显示的信息(下面也称为显示信息)的功能的设备(下面也被称为分发源设备)。此外，显示设备5103A-5103D可以是显示信息被输出给的设备(下面也称为输出目的地设备)。另外，记录器5105可以是实现分发源设备和输出目的地设备两者的设备。视听控制器5107控制分发源设备和输出目的地设备的工作，具有从分发源设备获取显示信息，和把获取的显示信息发送给输出目的地设备，以便在输出目的地设备上显示或记录获取的显示信息的功能。注意，显示信息包括在手术期间拍摄的各种图像、关于手术的各种信息(例如，患者的身体信息，与过去的检查结果和手术过程有关的信息等)，等等。

具体地，与由内窥镜拍摄的患者的体腔中的手术区的图像有关的信息，可作为显示信息从设备组5101发送给视听控制器5107。此外，从天花板相机5187，可作为显示信息地发送与由天花板相机5187拍摄的外科医生的双手周围的区域的图像有关的信息。另外，从术野相机5189，可作为显示信息地发送与由该术野相机5189拍摄的，指示整个手术室中的事件的图像有关的信息。注意，在手术室系统5100包含具有成像功能的其他设备的情况下，视听控制器5107还可作为显示信息地从所述其他设备，获取与由所述其他设备拍摄的图像有关的信息。

或者，例如，视听控制器5107把与过去拍摄的这些图像有关的信息记录在记录器5105中。视听控制器5107可从记录器5105，获取与过去拍摄的这些图像有关的信息，作为显示信息。注意，与手术相关的各种信息也可被预先记录在记录器5105中。

视听控制器5107在作为输出目的地设备的显示设备5103A-5103D至少之一上，显示获取的显示信息(换句话说，在手术期间拍摄的图像，或者与手术相关的各种信息)。在图解说明的例子中，显示设备5103A是从手术室的天花板悬挂地安装的显示设备，显示设备5103B是安装在手术室的墙面上的显示设备，显示设备5103C是安装在手术室中的桌子上的显示设备，显示设备5103D是具有显示功能的移动设备(例如，平板个人计算机(PC))。

此外，尽管例示在图25中被省略，不过，手术室系统5100可包括在手术室之外的设备。在手术室之外的设备例如可以是连接到在医院内外构建的网络的服务器、医务人员使用的PC、安装在医院的会议室中的投影仪等。在这类外部设备位于医院之外的情况下，视听控制器5107也可通过电视会议系统等，把显示信息显示在其他医院的显示设备上，以进行远程医疗。

手术室控制设备5109全面控制非医疗器械中的除与图像显示相关的处理之外的处理。例如，手术室控制设备5109控制病床5183、天花板相机5187、术野相机5189和照明5191的驱动。

在手术室系统5100中，设置集中操作面板5111，通过该集中操作面板5111，用户可以向视听控制器5107发出关于图像显示的指令，或者可以向手术室控制设备5109发出关于非医疗器械的操作的指令。集中操作面板5111是按照在显示设备的显示面上，设置触摸面板的方式构成的。

图26是图解说明集中操作面板5111上的操作画面的显示例子的示图。例如，图26图解说明与其中在手术室系统5100中，设置2个显示设备作为输出目的地设备的情况对应的操作画面。参见图26，操作画面 5193具备分发源选择区5195、预览区5197和控制区5201。

在分发源选择区5195中，关联地显示包含在手术室系统5100中的分发源设备，和表示由这些分发源设备保持的显示信息的缩略图画面。用户可从显示在分发源选择区5195中的任意一个分发源设备中，选择要显示在显示设备上的显示信息。

在预览区5197中，显示在作为输出目的地设备的2个显示设备(监视器1和监视器2)上显示的画面的预览。在图解所示的例子中，在1个显示设备上，作为画中画(P-in-P)显示地显示4个图像。这4个图像对应于从在分发源选择区5195中选择的分发源设备分发的显示信息。在这 4个图像中，1个图像是较大地显示的，作为主图像，剩余的3个图像是较小地显示的，作为子图像。通过适当地选择其中显示这4个图像的区域，用户可以交换主图像和子图像。此外，在其中显示这4个图像的区域下面，设置状态显示区5199，在该区域中，可以适当地显示与手术相关的状态(例如，手术的耗用时间、患者的身体信息等)。

控制区5201设置有分发源操作区5203和输出目的地操作区5205，在分发源操作区5203中，显示用于对分发源设备进行操作的图形用户界面(GUI)组件，在输出目的地操作区5205中，显示用于对输出目的地设备进行操作的GUI组件。在图解所示的例子中，在分发源操作区5203中，设置用于对具有成像功能的分发源设备的相机进行各种操作(平移、倾斜和变焦)的GUI组件。通过适当选择这些GUI组件，用户可操纵分发源设备的相机的操作。注意，尽管图示被省略，不过当在分发源选择区5195 中选择的分发源设备是记录器时(换句话说，当过去记录在记录器中的图像被显示在预览区5197中时)，在分发源操作区5203中，可以设置用于进行诸如该过去记录的图像的再现、再现停止、后退、快进之类操作的 GUI组件。

此外，输出目的地操作区5205设置有用于对作为输出目的地设备的显示设备上的显示，进行各种操作(交换、翻转、颜色调整、对比度调整和在二维(2D)显示与三维(3D)显示之间切换)的GUI组件。通过适当选择这些GUI组件，用户可操作显示设备上的显示。

注意，显示在集中操作面板5111上的操作画面不限于图26中图解所示的例子，通过集中操作面板5111，可允许用户输入对于包含在手术室系统5100中，可由视听控制器5107和手术室控制设备5109控制的各个设备的操作。

图27是图解说明在应用上述手术室系统时，如何进行手术的例子的示图。天花板相机5187和术野相机5189设置在手术室的天花板上，能够拍摄对病床5183上的患者5185的患处进行治疗的外科医生(医师)5181的双手周围的区域，和整个手术室中的事件。天花板相机5187 和术野相机5189可具备放大倍率调整功能、焦距调整功能、拍摄方向调整功能等。照明5191设置在手术室的天花板上，至少照射外科医生5181 的双手周围的区域。照明5191能够适当地调整其照射光量、照射光的波长(颜色)、光照射方向等。

如图25中图解所示，内窥镜手术系统5113、病床5183、天花板相机5187、术野相机5189和照明5191通过视听控制器5107和手术室控制设备5109(图27中未图示)相互连接，以便能够协同。集中操作面板 5111设置在手术室中，如上所述，通过该集中操作面板5111，用户可适当地操作位于手术室中的这些设备。

下面，详细说明内窥镜手术系统5113的构成。如图27中图解所示，内窥镜手术系统5113由内窥镜5115、其他手术工具5131、支持内窥镜 5115的支持臂设备5141、和推车5151构成，用于内窥镜手术的各种设备放置在推车5151上。

在内窥镜手术中，代替切开腹壁，从而打开腹部，称为套管针 5139a-5139d的多个圆柱形穿刺工具穿刺到腹壁中。随后，内窥镜5115 的镜筒5117和其他手术工具5131通过套管针5139a-5139d，被插入患者 5185的体腔中。在图解所示的例子中，作为其他手术工具5131，气腹管 5133、能量治疗器械5135和手术钳5137被插入患者5185的体腔中。此外，能量治疗器械5135是利用高频电流或超声波振动，进行组织的切开和剥离，血管的闭合等的治疗器械。不过，例示的手术工具5131仅仅是例子，作为手术工具5131，可以使用通常用于内窥镜手术的各种手术工具，比如按捏钳、牵开器等。

由内窥镜5115拍摄的患者5185的体腔中的手术区的图像被显示在显示设备5155上。在观看实时显示在显示设备5155上的手术区的图像的同时，外科医生5181利用能量治疗器械5135和手术钳5137，进行诸如切除患处之类的治疗。注意，尽管图示被省略，不过，气腹管5133、能量治疗器械5135和手术钳5137在手术期间，由外科医生5181或助手等支持。

(支持臂设备)

支持臂设备5141包括从基座部分5143伸出的臂部分5145。在图解所示的例子中，臂部分5145由关节部分5147a、5147b及5147c，和连杆 5149a及5149b构成，在臂控制设备5159的控制下被驱动。内窥镜5115 由臂部分5145支持，以致内窥镜5115的位置和姿态被控制。利用这种构成，能够稳定地固定内窥镜5115的位置。

(内窥镜)

内窥镜5115由镜筒5117，和连接到镜筒5117的近端的相机头5119 构成，镜筒5117的从远端起预定长度的区域被插入患者5185的体腔中。在图解所示的例子中，例示了被构造成具有刚性镜筒5117的所谓刚性内窥镜的内窥镜5115；不过，内窥镜5115也可被构造成具有柔性镜筒5117 的所谓柔性内窥镜。

在镜筒5117的远端处设置其中安装物镜的开口部分。光源设备5157 连接到内窥镜5115；由该光源设备5157产生的光由在该镜筒内部延伸的光导管引导到镜筒5117的远端，通过物镜射向患者5185的体腔中的待观察目标。注意，内窥镜5115可以是前视内窥镜、前斜视内窥镜或者侧视内窥镜。

在相机头5119的内部，设置光学系统和成像元件，来自观察目标的反射光(观察光)由该光学系统会聚到该成像元件上。观察光由成像元件光电转换，生成与观察光对应的电信号，换句话说，对应于观察图像的图像信号。该图像信号作为RAW数据被发送给相机控制单元(CCU)5153。注意，相机头5119具备通过适当驱动其光学系统，调整放大倍率和焦距的功能。

另外，例如，为了应付立体视觉(3D显示)等，可以在相机头5119 中，设置多个成像元件。这种情况下，在镜筒5117的内部，设置多个中继光学系统，以便把观察光导引到多个成像元件中的每一个。

(放置在推车中的各个设备)

CCU 5153由中央处理器(CPU)、图形处理器(GPU)等构成，全面控制内窥镜5115和显示设备5155的操作。具体地，CCU 5153对从相机头5119 接收的图像信号，进行用于显示基于该图像信号的图像各种图像处理，比如显影处理(去马赛克处理)等。CCU 5153把已对其进行这些图像处理的图像信号提供给显示设备5155。此外，图25中例示的视听控制器5107 连接到CCU 5153。CCU 5153也把已对其进行图像处理的图像信号提供给视听控制器5107。另外，CCU 5153向相机头5119发送控制信号，控制相机头5119的驱动。所述控制信号可包括与诸如放大倍率和焦距之类的成像条件相关的信息。所述与成像条件相关的信息可通过输入设备5161 输入，或者可通过上述集中操作面板5111输入。

显示设备5155在CCU 5153的控制下，显示基于CCU 5153已对其进行图像处理的图像信号的图像。在内窥镜5115兼容诸如4K拍摄(水平像素数3840×垂直像素数2160)、8K拍摄(水平像素数7680×垂直像素数 4320)之类的高分辨率拍摄，和/或兼容3D显示的情况下，可以使用能够进行高分辨率显示和/或能够进行3D显示的显示设备，作为显示设备5155，以应付各种情况。在内窥镜5115兼容诸如4K或8K拍摄之类的高分辨率拍摄的情况下，通过利用55英寸或更大的尺寸的显示设备5155，可以获得更加身临其境的感觉。此外，可取决于实际应用，设置具有不同分辨率和尺寸的多个显示设备5155。

光源设备5157例如由诸如发光二极管(LED)之类的光源构成，向内窥镜5115供给当拍摄手术区时使用的照射光。

臂控制设备5159例如由诸如CPU之类的处理器构成，按照预定程序工作，以按照预定控制方式，控制支持臂设备5141的臂部分5145的驱动。

输入设备5161是内窥镜手术系统5113的输入接口。通过输入设备5161，用户可向内窥镜手术系统5113，输入各种信息，和输入指令。例如，通过输入设备5161，用户输入与手术相关的各种信息，比如患者的身体信息，和关于手术的手术过程的信息。此外，例如，通过输入设备 5161，用户输入驱动臂部分5145的指令、改变内窥镜5115的成像条件(照射光的种类、放大倍率、焦距等)的指令、驱动能量治疗器械5135的指令等。

输入设备5161的类型不受限制，输入设备5161可以是各种已知的输入设备。例如，鼠标、键盘、触摸面板、开关、脚踏开关5171和/或控制杆等可以用作输入设备5161。在使用触摸面板作为输入设备5161 的情况下，触摸面板可被设置在显示设备5155的显示面上。

或者，输入设备5161是用户穿戴的设备，比如眼镜式可穿戴设备、头戴式显示器(HMD)等，按照由这些设备检测到的用户的手势和视线，进行各种输入。此外，输入设备5161包括能够检测用户的运动的相机，按照从由所述相机拍摄的运动图像中检测到的用户的手势和视线，进行各种输入。此外，输入设备5161包括能够拾取用户的语音的麦克风，通过麦克风，利用语音进行各种输入。这样，通过构成输入设备5161，以便能够不接触地输入各种信息，特别地，允许属于洁净区的用户(例如，外科医生5181)不接触地操作属于非洁净区的器械。另外，由于用户可以在不从手中放下持有的手术工具的情况下，操作所述器械，因此改善了用户的便利性。

治疗器械控制设备5163控制用于组织的烧灼和切开，或者血管的闭合等的能量治疗器械5135的驱动。为了确保内窥镜5115的视野，和确保外科医生的工作空间，气腹设备5165通过气腹管5133，将气体送入患者5185的体腔中，以使体腔膨胀。记录器5167是能够记录与手术相关的各种信息的设备。打印机5169是能够以各种形式，比如文本、图像或图形，打印与手术相关的各种信息的设备。

下面，更详细地说明内窥镜手术系统5113的特有构成。

(支持臂设备)

支持臂设备5141包括作为基座的基座部分5143，和从基座部分5143 伸出的臂部分5145。在图解所示的例子中，臂部分5145由多个关节部分 5147a、5147b及5147c，和通过关节部分5147b耦接的多个连杆5149a 及5149b构成；不过在图27中，为了简单起见，简化地例示了臂部分5145 的构成。实际上，关节部分5147a-5147c和连杆5149a及5149b的形状、数量和布置，以及关节部分5147a-5147c的旋转轴的方向等可被适当设定，以致臂部分5145具有期望的自由度。例如，可以适当地构成臂部分 5145，以便具有等于或大于6个自由度的自由度。这允许内窥镜5115在臂部分5145的可移动范围内自由移动，以致内窥镜5115的镜筒5117可沿期望的方向，插入患者5185的体腔中。

在关节部分5147a-5147c中设置致动器，关节部分5147a-5147c被构成为借助这些致动器的驱动，可绕预定旋转轴转动。致动器的驱动由臂控制设备5159控制，以致控制各个关节部分5147a-5147c的转动角度，从而控制臂部分5145的驱动。利用这种构成，能够实现内窥镜5115的位置和姿态的控制。此时，臂控制设备5159能够利用各种已知的控制方式，比如力控制或位置控制，控制臂部分5145的驱动。

例如可按照外科医生5181通过输入设备5161(包括脚踏开关5171)，适当地进行操作输入，从而臂控制设备5159按照所述操作输入，适当地控制臂部分5145的驱动的方式，控制内窥镜5115的位置和姿态。利用这种控制，可以使位于臂部分5145的远端处的内窥镜5115从任意位置移动到其他任意位置，之后可被固定地支持在移动后的位置处。注意，可利用所谓的主-从方式，操纵臂部分5145。这种情况下，用户可通过安装在离开手术室的地方的输入设备5161，远程操纵臂部分5145。

此外，在应用力控制的情况下，臂控制设备5159可进行所谓的助力控制，其中响应来自用户的外力，驱动各个关节部分5147a-5147c的致动器，以致臂部分5145与所述外力成比例地平滑移动。利用这种控制，当用户在直接接触臂部分5145，移动臂部分5145的时候，可以用相对轻的力移动臂部分5145。因而，能够利用更简单的操作，更直观地移动内窥镜5115，从而能够改善用户的便利性。

这里，在通常的内窥镜手术中，内窥镜5115由称为内镜医师(scopist) 的医生支持。与之相反，利用支持臂设备5141使得能够在无手动操作的情况下，可靠地固定内窥镜5115的位置，以致能够稳定地获得手术区的图像，从而能够平稳地进行手术。

注意，臂控制设备5159不一定设置在推车5151上。此外，臂控制设备5159不一定是一个设备。例如，臂控制设备5159可被设置在支持臂设备5141的臂部分5145的各个关节部分5147a-5147c中，以致臂部分5145的驱动控制由相互协同的多个臂控制设备5159实现。

(光源设备)

光源设备5157向内窥镜5115提供拍摄手术区时的照射光。光源设备5157由例如LED、激光光源或者由它们的组合构成的白光光源构成。此时，在白光光源由RGB激光光源的组合构成的情况下，可以高精度地控制每种颜色(每种波长)的输出强度和输出定时，从而在光源设备5157 中，可以调整拍摄的图像的白平衡。此外，这种情况下，通过分时地利用来自各个RGB激光光源的激光束，照射观察目标，并且与照射定时同步地控制相机头5119的成像元件的驱动，也可以分时地拍摄对应于RGB 每一个的图像。按照这种方法，在未在成像元件中设置滤色器的情况下，也可获得彩色图像。

另外，可以控制光源设备5157的驱动，以致每个预定时间跨度地改变待输出的光强。通过与光强的变化定时同步地控制相机头5119的成像元件的驱动，以分时地获取图像，并合成这些图像，可以生成没有曝光不足的过黑阴影和曝光过度的加亮区的高动态范围的图像。

此外，光源设备5157可被配置成以致可从光源设备5157供给与特殊光观察兼容的预定波段的光。在特殊光观察中，例如，通过利用身体组织的光吸收的波长相关性，进行其中通过照射与普通观察时的照射光 (换句话说，白光)相比的窄波段光，高对比度地拍摄诸如在黏膜表层的血管之类的预定组织的所谓窄带光观察(窄带成像)。或者，在特殊光观察中，可以进行利用通过照射激发光而产生的荧光，获得图像的荧光观察。在荧光观察中，例如，可以进行其中利用激发光照射身体组织，然后观察来自身体组织的荧光的荧光观察(自发荧光观察)，或者其中把诸如吲哚菁绿(ICG)之类的试剂局部注射到身体组织中，同时，用与所述试剂的荧光波长对应的激发光照射身体组织，以获得荧光图像的荧光观察。光源设备5157可被配置成以致可从光源设备5157供给与这类特殊光观察兼容的窄带光和/或激发光。

(相机头和CCU)

参考图28，更详细地说明内窥镜5115的相机头5119和CCU 5153 的功能。图28是说明图27中所示的相机头5119和CCU 5153的功能构成的例子的方框图。

参见图28，作为其功能，相机头5119具有透镜单元5121、成像单元5123、驱动单元5125、通信单元5127和相机头控制部件5129。此外，作为其功能，CCU 5153具有通信单元5173、图像处理单元5175和控制部件5177。相机头5119和CCU 5153通过传输缆线5179连接，以便能够双向通信。

首先，说明相机头5119的功能构成。透镜单元5121是设置在与镜筒5117的连接部分处的光学系统。从镜筒5117的远端接收的观察光被引导到相机头5119，入射到透镜单元5121上。透镜单元5121是通过组合多个透镜(包括变焦透镜和聚焦透镜)构成的。透镜单元5121的光学特性被调整，以便把观察光会聚在成像单元5123的成像元件的受光面上。此外，变焦透镜和聚焦透镜被配置成以致它们在光轴上的位置可移动，以便调整拍摄的图像的放大倍率和焦点。

成像单元5123由成像元件构成，被布置在透镜单元5121的下一级。通过透镜单元5121的观察光会聚在成像元件的受光面上，通过光电转换，生成与观察图像对应的图像信号。由成像单元5123生成的图像信号被提供给通信单元5127。

例如，作为构成成像单元5123的成像元件，使用具有Bayer阵列，能够拍摄彩色图像的互补金属氧化物半导体(CMOS)式的图像传感器。注意，例如，作为成像元件，可以使用能够应付4K或更高的高分辨率图像的拍摄的成像元件。由于高分辨率地获得手术区的图像，因此外科医生 5181可更详细地掌握手术区的情况，从而能够更平稳地进行手术。

此外，构成成像单元5123的成像元件被配置成以致构成成像单元 5123的成像元件具有用于分别获取与3D显示兼容的右眼和左眼用图像信号的一对成像元件。由于进行3D显示，外科医生5181能够更精确地把握手术区中的活体组织的深度。注意，在成像单元5123被构造成多板式成像单元的情况下，也可作为对应于各个成像元件的多个系统地设置透镜单元5121。

此外，成像单元5123不一定设置在相机头5119中。例如，成像单元5123可以紧接在物镜之后地设置镜筒5117内。

驱动单元5125由致动器构成，在相机头控制部件5129的控制下，沿着光轴把透镜单元5121的变焦透镜和聚焦透镜移动预定距离。利用这种移动，可适当调整由成像单元5123拍摄的图像的放大倍率和焦点。

通信单元5127由往来于CCU 5153，发送和接收各种信息的通信设备构成。通信单元5127通过传输缆线5179，把从成像单元5123获得的图像信号，作为RAW数据发送给CCU5153。此时，为了等待时间短地显示手术区的拍摄图像，优选利用光通信，发送图像信号。这是因为在手术期间，外科医生5181一边通过拍摄的图像，观察患处的状态，一边进行手术，从而为了手术更安全和更可靠，要求尽可能实时地显示手术区的运动图像。在进行光通信的情况下，在通信单元5127中，设置把电信号转换成光信号的光电转换模块。图像信号由光电转换模块转换成光信号，随后通过传输缆线5179，被发送给CCU 5153。

此外，通信单元5127从CCU 5153，接收用于控制相机头5119的驱动的控制信号。该控制信号可包括与成像条件相关的信息，比如指定拍摄的图像的帧速率的信息、指定成像时的曝光值的信息、和/或指定拍摄的图像的放大倍率和焦点的信息等。通信单元5127把接收的控制信号提供给相机头控制部件5129。注意，来自CCU 5153的控制信号也可利用光通信发送。这种情况下，通信单元5127设置有把光信号转换成电信号的光电转换模块；控制信号由该光电转换模块转换成电信号，随后被提供给相机头控制部件5129。

注意，诸如帧速率、曝光值、放大倍率和焦点之类的上述成像条件可由CCU 5153的控制部件5177根据获取的图像信号自动设定。即，内窥镜5115中具备所谓的自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。

相机头控制部件5129根据通过通信单元5127，从CCU 5153接收的控制信号，控制相机头5119的驱动。例如，相机头控制部件5129根据指定拍摄的图像的帧速率的信息，和/或指定成像时的曝光的信息，控制成像单元5123的成像元件的驱动。此外，例如，相机头控制部件5129 根据指定拍摄的图像的放大倍率和焦点的信息，通过驱动单元5125适当地移动透镜单元5121的变焦透镜和聚焦透镜。相机头控制部件5129还可包括保存用于识别镜筒5117和相机头5119的信息的功能。

注意，通过把诸如透镜单元5121和成像单元5123之类的组成部分，布置在气密性和防水性高的密封结构中，可使相机头5119具备对高压灭菌消毒处理的抵抗力。

下面，说明CCU 5153的功能构成。通信单元5173由用于往来于相机头5119，发送和接收各种信息的通信设备构成。通信单元5173接收通过传输缆线5179，从相机头5119发送的图像信号。此时，如上所述，可适当地利用光通信，发送图像信号。这种情况下，为了与光通信兼容，在通信单元5173中设置把光信号转换成电信号的光电转换模块。通信单元5173把转换成电信号的图像信号提供给图像处理单元5175。

此外，通信单元5173向相机头5119发送用于控制相机头5119的驱动的控制信号。该控制信号也可以利用光通信发送。

图像处理单元5175对从相机头5119发送的作为RAW数据的图像信号，进行各种图像处理。这些图像处理的例子包括各种已知的信号处理，比如显影处理、高图像质量处理(带宽增强处理、超分辨率处理、降噪(NR) 处理和/或相机抖动校正处理等)、和/或放大处理(电子变焦处理)等。此外，图像处理单元5175对图像信号进行检波处理，以便进行AE、AF和 AWB。

图像处理单元5175由诸如CPU和GPU之类的处理器构成，按照预定程序工作的所述处理器可以进行上述图像处理和检波处理。注意，在图像处理单元5175由多个GPU构成的情况下，图像处理单元5175适当地划分与图像信号关联的信息，利用所述多个GPU并行地进行图像处理。

控制部件5177进行与利用内窥镜5115的手术区的成像，和通过成像获得的拍摄图像的显示相关的各种控制。例如，控制部件5177生成用于控制相机头5119的驱动的控制信号。此时，在用户已输入成像条件的情况下，控制部件5177根据用户的输入，生成控制信号。或者，在内窥镜5115中具备AE功能、AF功能和AWB功能的情况下，控制部件5177 按照图像处理单元5175的检波处理的结果，适当计算最佳曝光值、焦距和白平衡，并生成控制信号。

此外，控制部件5177根据图像处理单元5175已对其进行图像处理的图像信号，把手术区的图像显示在显示设备5155上。此时，控制部件 5177利用各种图像识别技术，识别手术区的图像中的各种对象。例如，控制部件5177检测包含在手术区的图像中的对象的边缘的形状、颜色等，从而能够识别诸如手术钳之类的手术工具、特定的活体部位、出血、使用能量治疗器械5135时的薄雾等。当把手术区的图像显示在显示设备 5155上时，控制部件5177利用识别的结果，显示叠加在手术区的该图像上的各种手术支持信息。由于手术支持信息是叠加地显示和呈现给外科医生5181的，因此能够更安全和可靠地进行手术。

连接相机头5119和CCU 5153的传输缆线5179是与电信号的通信兼容的电信号缆线、与光通信兼容的光纤、或者它们的复合缆线。

这里，在图解说明的例子中，通过利用传输缆线5179，有线地进行通信；不过，也可无线地进行相机头5119和CCU 5153之间的通信。在无线地进行相机头5119和CCU 5153之间的通信的情况下，不再需要在手术室中铺设传输缆线5179，以致可以解决传输缆线5179妨碍手术室中的医务人员的移动的情况。

至此，说明了按照本公开的技术可应用于的手术室系统5100的例子。注意，作为例子，这里说明了其中手术室系统5100应用于的医疗系统是内窥镜手术系统5113的情况；不过，手术室系统5100的构成不限于该例子。例如，代替内窥镜手术系统5113，手术室系统5100可应用于检查用柔性内窥镜系统，或者显微手术系统。

在上面说明的组成部分中，按照本公开的技术可适当地应用于利用诸如术野相机5189、天花板相机5187之类的成像设备拍摄的图像。

例如，在上述手术室系统5100中，可以构思设置多个术野相机5189，由各个术野相机5189拍摄的图像用于手术室中的状况的分析(例如，手术室中的人员的移动等的分析)，或者患者的观察。更具体地，可以构思多个术野相机5189分别对手术室中的人员的移动、器械的布置等成像，根据通过合并或插值经成像获得的多个拍摄图像而得到的图像，分析手术室中的状况。

这种情况下，例如，本技术可以作为“多个成像设备”，应用于多个术野相机5189，作为例如“帧选择单元”和“整合送出单元”，应用于视听控制器5107。

此外，在上述手术室系统5100中，外科医生或医务人员身上的相机的拍摄图像可用于手术室中的状况的分析和患者的观察。这种情况下，本技术可以作为“多个成像设备”，应用于外科医生和医务人员身上的多个相机，作为例如“帧选择单元”和“整合送出单元”，应用于视听控制器5107。

此外，在上面的说明中，列举了合并由多个相机拍摄的多个拍摄图像的例子；不过，由单个相机在不同时刻拍摄的多个拍摄图像可被合并和用于医疗分析。例如，在数字病理成像(DPI)之类的病理图像分析中，利用单一相机，按照固定地布置对用于放置病理样本(例如，上面放置病理切片的载片)的工作台成像的单一相机，并移动工作台侧的方式，获得在不同时刻的多个拍摄图像，或者替换地，通过固定工作台侧，而移动相机侧，获得在不同时刻的多个拍摄图像；这种情况下，所述多个在不同时刻的拍摄图像可被合并，和用于病理图像分析。注意，在DPI中，如上所述通过用相机扫描病理切片而获得的多个图像被拼接，以获得俯视图像，可根据该俯视图像，进行病理图像分析。

[8-2.第二应用例]

按照本公开的技术可被实现成要装配在任意类型的移动体(比如汽车、电动汽车、混合动力电动汽车、摩托车、自行车、个人机动设备、飞机、无人机、轮船、机器人、建筑机械和农业机械(拖拉机))中的设备。

图29是图解说明车辆控制系统7000的构成例子的概况的方框图，车辆控制系统7000是按照本公开的技术可应用于的移动体控制系统的例子。车辆控制系统7000包括通过通信网络7010连接的多个电子控制单元。在图29中图解所示的例子中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500和综合控制单元7600。连接所述多个控制单元的通信网络7010可以是遵守诸如控制器局域网络(CAN)、局部互连网络(LIN)、局域网(LAN)、FlexRay(注册商标)之类的任意标准的车载通信网络。

各个控制单元包括按照各种程序进行计算处理的微计算机、保存由微计算机执行的程序，或者用于各种计算任务的参数等的存储单元，和驱动要被控制的各种设备的驱动电路。各个控制单元包括用于通过通信网络7010，与另外的控制单元通信的网络I/F，还包括用于通过有线通信或无线通信，与在车辆内外的设备或传感器等进行通信的通信I/F。图29中，作为综合控制单元7600的功能构成，例示了微计算机7610、通用通信I/F 7620、专用通信I/F 7630、定位单元7640、信标接收单元 7650、车内设备I/F 7660、声音和图像输出单元7670、车载网络I/F 7680 和存储单元7690。类似地，其他控制单元都包括微计算机、通信I/F、存储单元等。

驱动系统控制单元7100按照各种程序，控制与车辆的驱动系统相关的设备的操作。例如，驱动系统控制单元7100起诸如内燃机或驱动电机之类产生车辆的驱动力的驱动力产生设备、把驱动力传递给车轮的驱动力传递机构、调整车辆的转向角的转向机构、和诸如产生车辆的制动力的制动设备之类的控制设备的作用。驱动系统控制单元7100可具有作为诸如防抱死制动系统(ABS)或电子稳定控制(ESC)之类控制设备的功能。

车辆状态检测部件7110连接到驱动系统控制单元7100。例如，车辆状态检测部件7110包括检测车身的轴向旋转运动的角速度的陀螺传感器、检测车辆的加速度的加速度传感器，或者用于检测加速踏板的操作量、制动踏板的操作量、转向轮的转向角、发动机转速、车轮的转速等的传感器中的至少一个。驱动系统控制单元7100利用从车辆状态检测部件7110输入的信号，进行计算处理，控制内燃机、驱动电机、电动转向设备、制动设备等。

车身系统控制单元7200按照各种程序，控制安装在车身中的各种设备的操作。例如，车身系统控制单元7200起无钥匙进入系统、智能钥匙系统、电动车窗设备、或者诸如大灯、倒车灯、刹车灯、转向灯或雾灯之类的各种车灯的控制设备的作用。这种情况下，车身系统控制单元7200 可接受从代替钥匙的便携式设备分发的无线电波或者来自各种开关的信号的输入。车身系统控制单元7200接受上述无线电波或信号的输入，控制车辆的门锁设备、电动车窗设备、车灯等。

电池控制单元7300按照各种程序，控制作为驱动电机的电力供给源的蓄电池7310。例如，诸如电池温度、电池输出电压或电池的剩余电量之类的信息从包括蓄电池7310的电池设备被输入电池控制单元7300。电池控制单元7300利用这些信号进行运算处理，控制蓄电池7310的温度调整，或者包含在电池设备中的冷却设备等。

车外信息检测单元7400检测在具备车辆控制系统7000的车辆之外的信息。例如，成像单元7410或车外信息检测部件7420中的至少一个连接到车外信息检测单元7400。成像单元7410包括飞行时间(ToF)相机、立体相机、单目相机、红外相机和其他相机中的至少一个。车外信息检测部件7420例如包括检测当前天气或气象状态的环境传感器，或者检测在具备车辆控制系统7000的车辆周围的其他车辆、障碍物、行人等的周围信息检测传感器中的至少一个。

环境传感器例如可以是检测下雨的雨滴传感器、检测雾的雾传感器、检测日照度的日照传感器、或者检测降雪的雪传感器中的至少一个。周围信息检测传感器可以是超声波传感器、雷达设备、或者光检测和测距或激光成像检测和测距(LIDAR)设备中的至少一个。可以作为独立传感器或设备分别地，或者作为其中集成多个传感器或设备的设备地，设置上面说明的成像单元7410和车外信息检测部件7420。

这里，图30图解说明成像单元7410和车外信息检测部件7420的安装位置的例子。例如，成像单元7910、7912、7914、7916和7918被设置在车辆7900的前鼻、外后视镜、后保险杠、后门和车厢内的风挡的上部中的至少一个位置处。设置在前鼻处的成像单元7910和设置在车厢内的风挡的上部的成像单元7918主要获取车辆7900前方的图像。设置在外后视镜的成像单元7912和7914主要获取车辆7900的侧方的图像。设置在后保险杠或后门处的成像单元7916主要获取车辆7900后方的图像。设置在车厢内的风挡的上部的成像单元7918主要用于检测前车、行人、障碍物、交通信号灯、交通标志、车道等。

注意，图30图解说明各个成像单元7910、7912、7914和7916的拍摄范围的例子。成像范围a指示设置在前鼻处的成像单元7910的成像范围。成像范围b和c分别指示设置在外后视镜的成像单元7912和7914 的成像范围，成像范围d指示设置在后保险杠或后门处的成像单元7916 的成像范围。例如，通过交叠由成像单元7910、7912、7914和7916拍摄的图像数据，获得从上方看的车辆7900的俯视图像。

设置在车辆7900的前面、后面、侧面、角落和车厢内的风挡的上部的车外信息检测部件7920、7922、7924、7926、7928和7930例如可以是超声波传感器或者雷达设备。设置在车辆7900的前鼻、后保险杠或后门和车厢内的风挡的上部的车外信息检测部件7920、7926和7930例如可以是LIDAR设备。这些车外信息检测部件7920～7930主要用于检测前车、行人、障碍物等。

返回图29，继续进行说明。车外信息检测单元7400使成像单元7410 拍摄车外的图像，并接收拍摄的图像数据。此外，车外信息检测单元7400 从连接的车外信息检测部件7420接收检测信息。在车外信息检测部件 7420是超声波传感器、雷达设备或LIDAR设备的情况下，车外信息检测单元7400使车外信息检测部件7420分发超声波、电磁波等，并接收与已接收的反射波有关的信息。车外信息检测单元7400可根据接收的信息，进行对于人、汽车、障碍物、标志或者路面上的文字等的对象检测处理或距离检测处理。车外信息检测单元7400可根据接收的信息，进行识别降雨、雾、路面状况等的环境识别处理。车外信息检测单元7400可根据接收的信息，计算到车外的对象的距离。

此外，车外信息检测单元7400可根据接收的图像数据，进行识别人、汽车、障碍物、标志、路面上的文字等的图像识别处理或距离检测处理。车外信息检测单元7400可对接收的图像数据，进行诸如失真校正或配准 (registrat ion)之类的处理，还可合并由不同的成像单元7410拍摄的图像数据，从而生成俯视图像或全景图像。车外信息检测单元7400可利用由不同的成像单元7410拍摄的图像数据，进行视点转换处理。

车内信息检测单元7500检测车内的信息。例如，检测驾驶员的状态的驾驶员状态检测部件7510连接到车内信息检测单元7500。驾驶员状态检测部件7510可包括对驾驶员成像的相机、检测驾驶员的生物信息的生物特征传感器、收集车厢中的声音的麦克风等。生物特征传感器例如设置在座椅表面或方向盘等上，检测坐在座椅上的乘客或者握着方向盘的驾驶员的生物特征信息。车内信息检测单元7500可根据从驾驶员状态检测部件7510输入的检测信息，计算驾驶员的疲劳度或者专心度，或者可辨别驾驶员是否在打瞌睡。车内信息检测单元7500可对收集的声音信号，进行诸如噪声消除处理之类的处理。

综合控制单元7600按照各种程序，控制车辆控制系统7000的整个工作。输入单元7800连接到综合控制单元7600。输入单元7800是利用可由乘客操作，以便进行输入的设备实现的，比如触摸面板、按钮、麦克风、开关、控制杆等。综合控制单元7600可接受通过对由麦克风输入的声音，进行声音识别而获得的数据。输入单元7800例如可以是利用红外线或其他无线电波的遥控设备，或者与车辆控制系统7000的操作兼容的外部连接设备，比如移动电话机或个人数字助手(PDA)。输入单元7800 例如可以是相机，这种情况下，乘客可通过手势输入信息。或者，可以输入通过检测乘客穿戴的可穿戴式设备的运动而获得的数据。此外，输入单元7800例如可包括根据乘客等利用上述输入单元7800输入的信息，生成输入信号，并把生成的输入信号输出给综合控制单元7600的输入控制电路等。通过操作该输入单元7800，乘客等把各种数据输入车辆控制系统7000，或者关于处理操作，向车辆控制系统7000作出指示。

存储单元7690可包括保存由微计算机执行的各种程序的只读存储器 (ROM)，和保存各种参数、计算结果、传感器值等的随机存取存储器(RAM)。此外，存储单元7690可以由诸如硬盘驱动器(HDD)之类的磁存储设备、半导体存储设备、光存储设备、磁光存储设备等实现。

通用通信I/F 7620是起与存在于外部环境7750中的各种设备的通信的中介作用的通用通信I/F。可以依据诸如全球移动通信系统(GSM)(注册商标)、WiMAX(注册商标)、长期演进(LTE)(注册商标)或LTE-Advanced (LTE-A)之类的蜂窝通信协议，或者诸如无线LAN(也称为Wi-Fi(注册商标))或蓝牙(注册商标)之类的其他无线通信协议准备通用通信I/F7620。例如通过基站或接入点，通用通信I/F 7620可以连接到存在于外部网络(例如因特网、云网络、或者公司自己的网络)上的设备(例如应用服务器或控制服务器)。此外，通用通信I/F 7620可以利用例如对等(P2P) 技术，连接到在车辆附近的终端(例如驾驶员、行人或商店的终端、或者机器类型通信(MTC)终端)。

专用通信I/F 7630是支持为了用于车辆而定义的通信协议的通信 I/F。例如，可以依据诸如作为下层的IEEE 802.11p和上层的IEEE 1609 的组合的车辆环境中的无线接入(WAVE)或专用短程通信(DSRC)，或者蜂窝通信协议之类的标准协议，准备专用通信I/F7630。一般，专用通信I/F 7630实现车辆-一切事物间(V2X)通信，V2X通信是包括车辆-车辆间通信、车辆-基础设施间通信、车辆-家间通信、以及车辆-行人间通信中的一个或多个的概念。

例如，定位单元7640接收例如来自全球导航卫星系统(GNSS)卫星的 GNSS信号(例如来自全球定位系统(GPS)卫星的GPS信号)，以便进行定位，并生成包括车辆的纬度、经度和海拔高度的位置信息。注意，定位单元7640可通过与无线接入点交换信号，辨别当前位置，或者可从诸如移动电话机、个人手持电话系统(PHS)或智能电话机之类具有定位功能的终端，获取位置信息。

信标接收单元7650例如从安装在道路上的无线站等，接收无线电波或电磁波，并获取关于当前位置、交通拥堵、道路封闭或所需时间等的信息。注意，信标接收单元7650的功能可包含在上述专用通信I/F 7630 之中。

车内设备I/F 7660是在微计算机7610与车辆中的各种车内设备 7760之间的连接中，起中介作用的通信接口。车内设备I/F 7660可利用诸如无线LAN、蓝牙(注册商标)、近场通信(NFC)或无线USB(WUSB)之类的无线通信协议，建立无线连接。此外，车内设备I/F 7660可通过连接端子(未图示)(以及缆线，如果需要的话)，建立诸如通用串行总线(USB)、高清多媒体接口(HDMI)(注册商标)或移动高清链接(MHL)之类的有线连接。车内设备7760例如可包括乘客携带的移动设备或可穿戴式设备，或者带入或附着到车辆上的信息设备中的至少一个。另外，车内设备7760 可包括搜索到任意目的地的路线的导航设备。车内设备I/F7660与这些车内设备7760交换控制信号或数据信号。

车载网络I/F 7680是在微计算机7610与通信网络7010之间的通信中，起中介作用的接口。车载网络I/F 7680按照由通信网络7010支持的预定协议，发送和接收信号等。

综合控制单元7600的微计算机7610根据通过通用通信I/F 7620、专用通信I/F7630、定位单元7640、信标接收单元7650、车内设备I/F 7660和车载网络I/F 7680中的至少一个获取的信息，按照各种程序，控制车辆控制系统7000。例如，微计算机7610可根据获取的车辆内外的信息，计算驱动力产生设备、转向机构或制动设备的控制目标值，并向驱动系控制单元7100输出控制命令。例如，微计算机7610可进行协同控制，以便实现高级驾驶员辅助系统(ADAS)的功能，包括车辆防撞或冲击缓和、基于车辆间距离的跟随行驶、车辆定速行驶、车辆碰撞报警、车辆车道偏离报警等。此外，微计算机7610可根据获取的车辆周围的信息，控制驱动力产生设备、转向机构、制动设备等，以便为了例如车辆不依赖驾驶员的操作地自主行驶的自动驾驶的目的，进行协同控制。

根据通过通用通信I/F 7620、专用通信I/F 7630、定位单元7640、信标接收单元7650、车内设备I/F 7660和车载网络I/F 7680中的至少一个获取的信息，微计算机7610可生成车辆与周围的建筑物、诸如人之类的物体等之间的三维距离信息，以创建包括关于车辆的当前位置的周围信息的本地地图信息。此外，微计算机7610可通过根据获取的信息，预测诸如与车辆碰撞、行人等逼近、或者进入封闭的道路之类的危险，生成报警信号。报警信号例如可以是用于生成报警声音或者开启报警灯的信号。

声音和图像输出单元7670向能够可视或可听地把信息通知车辆的乘客或车辆的外部的输出设备，发送声音和/或图像的输出信号。在图29 的例子中，作为输出设备，例示了音频扬声器7710、显示单元7720和仪表板7730。例如，显示单元7720可包括车载显示器和抬头显示器中的至少一个。显示单元7720可具有增强现实(AR)显示功能。输出设备可以是除上述设备以外的设备，比如头戴式耳机、乘客穿戴的诸如眼镜式显示器之类的可穿戴式设备、投影仪或者灯。在输出设备是显示设备的情况下，显示设备以诸如文本、图像、表格或图形之类的各种形式，可视地显示通过微计算机7610进行的各种处理而获得的结果，或者从另外的控制单元接收的信息。此外，在输出设备是声音输出设备的情况下，声音输出设备把由再现的声音数据、声学数据等构成的音频信号转换成模拟信号，然后可听地输出转换后的模拟信号。

注意，在图29中图解所示的例子中，通过通信网络7010连接的至少两个控制单元可被统一为一个控制单元。或者，每个控制单元可由多个控制单元构成。此外，车辆控制系统7000可包括未图示的其他控制单元。此外，在上面的说明中，分配给控制单元之一的部分或全部功能可被给予另外的控制单元。即，只要信息是通过通信网络7010发送和接收的，预定的计算处理就可以由控制单元之一进行。类似地，连接到控制单元之一的传感器或设备可以连接到另外的控制单元，多个控制单元也可通过通信网络7010，相互发送和接收检测信息。

在上述组成部分之中，按照本公开的技术可以适当地应用于由诸如成像单元7910、7912、7914、7916之类的成像设备拍摄的图像。

例如，在上述车辆控制系统7000中，可以构思采用通过通用通信I/F 7620，把由拍摄车辆周围的图像的成像单元7910、7912、7914和7916 拍摄的图像，上传到诸如存在于外部环境7750中的云服务器之类的信息处理设备的构成。这种情况下，该信息处理设备可以利用上传的多个拍摄图像，来创建地图信息，或者生成街景功能(提供道路沿线的风景的全景照片的功能)用图像。例如，当在这种情况下，送出由成像单元7910、 7912、7914和7916拍摄的多个图像时，可以应用本技术。换句话说，本技术可以例如作为“多个成像设备”，应用于成像单元7910、7912、7914 和7916，以及例如作为“帧选择单元”和“整合送出单元”，应用于综合控制单元7600等。

此外，可以想到的利用车载相机的功能包括向对象车辆的驾驶员，呈现通过合并由装备在对象车辆中的相机(下面称为“对象车辆相机”) 拍摄的图像，和由安装在交叉点处的相机或者装备在与对象车辆不同的车辆中的相机(下面称为“其他车辆相机”)拍摄的图像而获得的图像，以使驾驶员的盲点(例如，被围墙环绕的交叉点等)可视化的功能；这种情况下，本技术也可作为“多个成像设备”，应用于上述对象车辆相机，和安装在交叉点处的相机或者其他车辆相机。

<9.程序>

在上面的说明中，列举了其中利用硬件，实现按照本技术的图像传送设备的操作的例子；不过，所述操作也可利用信息处理设备所致的软件处理来实现。

实现所述软件处理的程序是使信息处理设备实现以下功能的程序：利用从拍摄运动图像的多个成像设备之中的特定成像设备输入的垂直同步信号作为基准，从输入自所述多个成像设备的运动图像数据中选择帧图像数据的帧选择功能；和把利用所述帧选择功能选择的帧图像数据整合成单一流，并送出整合的单一流的整合送出功能。

这种程序可被预先保存在作为内置于诸如计算机设备之类的机器中的存储介质的HDD、具有CPU的微计算机中的ROM等中。或者，程序可被临时或永久保持(保存)在诸如半导体存储器、存储卡、光盘、磁光盘或磁盘之类的可拆卸存储介质中。此外，可作为所谓的套装软件地提供这样的可拆卸存储介质。

另外，这样的程序不仅可以从可拆卸存储介质，安装到个人计算机等中，而且可以通过诸如LAN或因特网之类的网络，从下载站点下载。

<10.本技术>

注意，也可如下所述构成本技术。

(1)一种图像传送设备，包括：

帧选择单元，所述帧选择单元利用从拍摄运动图像的多个成像设备之中的特定成像设备输入的垂直同步信号作为基准，从输入自所述多个成像设备的运动图像数据中选择帧图像数据；和

整合送出单元，所述整合送出单元把由所述帧选择单元选择的帧图像数据整合成单一流，并送出整合的单一流。

(2)按照上述(1)所述的图像传送设备，其中

所述帧选择单元根据相对于基准帧图像数据的曝光开始定时差，从排除所述特定成像设备的成像设备之中的其他成像设备的运动图像数据中，选择帧图像数据之一，所述基准帧图像数据是从所述特定成像设备的运动图像数据中选择的帧图像数据之一。

(3)按照上述(2)所述的图像传送设备，其中

所述帧选择单元从帧时段与所述基准帧图像数据的帧时段交叠的所述其他成像设备的运动图像数据的两个帧图像数据之中，选择曝光开始定时更接近于所述基准帧图像数据的曝光开始定时的帧图像数据。

(4)按照上述(3)所述的图像传送设备，其中

所述帧选择单元对于帧时段与所述基准帧图像数据的帧时段交叠的两个帧图像数据之中的一个帧图像数据，判定相对于所述基准帧图像数据的曝光开始定时差是否小于半帧时段，在曝光开始定时差小于半帧时段时，选择所述一个帧图像数据，而在曝光开始定时差不小于半帧时段时，选择另一个帧图像数据。

(5)按照上述(1)所述的图像传送设备，其中

所述帧选择单元根据作为从所述特定成像设备的运动图像数据中选择的帧图像数据之一的基准帧图像数据的曝光结束定时，与除所述特定成像设备外的成像设备中的其他成像设备的运动图像数据的帧图像数据之一的曝光开始定时之间的定时差，从所述其他成像设备的运动图像数据中，选择帧图像数据之一。

(6)按照上述(1)-(5)任意之一所述的图像传送设备，其中

所述帧选择单元对于所述特定成像设备的运动图像数据的每一帧，进行所述选择。

(7)按照上述(1)-(5)任意之一所述的图像传送设备，其中

所述帧选择单元按比所述特定成像设备的运动图像数据的一个帧时段长的时间间隔，进行所述选择。

(8)按照上述(1)-(7)任意之一所述的图像传送设备，其中

所述帧选择单元具有所述特定成像设备的切换功能。

(9)按照上述(8)所述的图像传送设备，其中

所述帧选择单元根据操作输入信息，切换所述特定成像设备。

(10)按照上述(8)所述的图像传送设备，其中

所述帧选择单元根据从每个成像设备输入的运动图像数据中的运动量，切换所述特定成像设备。

(11)按照上述(8)-(10)任意之一所述的图像传送设备，其中

所述帧选择单元：

把所述特定成像设备的垂直同步信号作为基准垂直同步信号，输出给整合送出单元；和

在切换所述特定成像设备时，切换要作为基准垂直同步信号输出的垂直同步信号，以致紧跟在利用作为切换源的成像设备的垂直同步信号的切换之后的垂直同步发生定时，不被混淆成由基准垂直同步信号表示的垂直同步发生定时。

(12)按照上述(1)-(11)任意之一所述的图像传送设备，其中

所述整合送出单元把由所述帧选择单元选择的帧图像数据，整合成1 个图像数据，以便送出。

(13)按照上述(1)-(11)任意之一所述的图像传送设备，其中

所述整合送出单元沿时间轴方向整合由所述帧选择单元选择的帧图像数据，以便送出。

(14)按照上述(13)所述的图像传送设备，其中

所述整合送出单元把表示帧图像数据的每个整合单位的定界符的定界符信息，添加到作为单一流的流数据中。

附图标记列表

1,1A,1B 图像传送设备

2-1～2-4 成像计算机

3 网络

4,4A 合成视频生成设备

11-1～11-4 第一通信I/F～第四通信I/F

12-1～12-4 第一帧缓冲器～第四帧缓冲器

12a～12d 缓冲区

13 整合单元

14,14A 编码单元

15 网络I/F

18 操作单元

19,19A 帧选择单元

41 网络I/F

42,42A 第一解码单元

43 存储器

44,44A 拼接处理单元

55 整合控制部件

56 运动量检测部件

100 运动图像生成系统

Claims (28)

1.一种图像传送设备，包括：

帧选择单元，所述帧选择单元利用从拍摄运动图像的多个成像设备之中的特定成像设备输入的垂直同步信号作为基准，以从输入自所述多个成像设备的运动图像数据中选择帧图像数据；和

整合送出单元，所述整合送出单元把由所述帧选择单元选择的帧图像数据整合成单一流，并送出整合的单一流，

其中，所述帧选择单元基于相对于基准帧图像数据的曝光开始定时差，从排除所述特定成像设备的成像设备之中的其他成像设备的运动图像数据中，选择帧图像数据，所述基准帧图像数据是从所述特定成像设备的运动图像数据中选择的帧图像数据。

2.按照权利要求1所述的图像传送设备，其中

所述帧选择单元从帧时段与所述基准帧图像数据的帧时段交叠的所述其他成像设备的运动图像数据中的两个帧图像数据之中，选择曝光开始定时更接近于所述基准帧图像数据的曝光开始定时的帧图像数据。

3.按照权利要求2所述的图像传送设备，其中

所述帧选择单元对于帧时段与所述基准帧图像数据的帧时段交叠的两个帧图像数据之中的一个帧图像数据，判定相对于所述基准帧图像数据的曝光开始定时差是否小于半帧时段，在曝光开始定时差小于半帧时段时，选择所述一个帧图像数据，而在曝光开始定时差不小于半帧时段时，选择另一个帧图像数据。

4.按照权利要求1所述的图像传送设备，其中

所述帧选择单元对于所述特定成像设备的运动图像数据的每一帧，进行所述选择。

5.按照权利要求1所述的图像传送设备，其中

所述帧选择单元按比所述特定成像设备的运动图像数据的一个帧时段长的时间间隔，进行所述选择。

6.按照权利要求1所述的图像传送设备，其中

所述帧选择单元具有所述特定成像设备的切换功能。

7.按照权利要求6所述的图像传送设备，其中

所述帧选择单元基于操作输入信息切换所述特定成像设备。

8.按照权利要求6所述的图像传送设备，其中

所述帧选择单元基于从每个成像设备输入的运动图像数据中的运动量，切换所述特定成像设备。

9.按照权利要求6所述的图像传送设备，其中

所述帧选择单元：

把所述特定成像设备的垂直同步信号作为基准垂直同步信号，输出给整合送出单元；以及

在切换所述特定成像设备时，切换要作为基准垂直同步信号输出的垂直同步信号，以致紧跟在通过作为切换源的成像设备的垂直同步信号的切换之后的垂直同步发生定时不被混淆成由基准垂直同步信号表示的垂直同步发生定时。

10.按照权利要求1所述的图像传送设备，其中

所述整合送出单元把由所述帧选择单元选择的帧图像数据整合成1个图像数据，以便送出。

11.按照权利要求1所述的图像传送设备，其中

所述整合送出单元沿时间轴方向整合由所述帧选择单元选择的帧图像数据，以便送出。

12.按照权利要求11所述的图像传送设备，其中

所述整合送出单元把表示帧图像数据的每个整合单位的定界符的定界符信息，添加到作为单一流的流数据中。

13.一种图像传送设备，包括：

帧选择单元，所述帧选择单元利用从拍摄运动图像的多个成像设备之中的特定成像设备输入的垂直同步信号作为基准，以从输入自所述多个成像设备的运动图像数据中选择帧图像数据；和

整合送出单元，所述整合送出单元把由所述帧选择单元选择的帧图像数据整合成单一流，并送出整合的单一流，

其中，所述帧选择单元基于作为从所述特定成像设备的运动图像数据中选择的帧图像数据的基准帧图像数据的曝光结束定时，与除所述特定成像设备外的成像设备中的其他成像设备的运动图像数据中的帧图像数据的曝光开始定时之间的定时差，从所述其他成像设备的运动图像数据中选择帧图像数据。

14.一种图像传送方法，包括：

由信息处理设备执行的帧选择步骤，所述帧选择步骤利用从拍摄运动图像的多个成像设备之中的特定成像设备输入的垂直同步信号作为基准，以从输入自所述多个成像设备的运动图像数据中选择帧图像数据的帧选择步骤；和

由所述信息处理设备执行的整合送出步骤，所述整合送出步骤把在所述帧选择步骤中选择的帧图像数据整合成单一流，并送出整合的单一流，

其中，所述帧选择步骤包括基于相对于基准帧图像数据的曝光开始定时差，从排除所述特定成像设备的成像设备之中的其他成像设备的运动图像数据中，选择帧图像数据，所述基准帧图像数据是从所述特定成像设备的运动图像数据中选择的帧图像数据。

15.按照权利要求14所述的方法，其中

所述帧选择步骤包括从帧时段与所述基准帧图像数据的帧时段交叠的所述其他成像设备的运动图像数据中的两个帧图像数据之中，选择曝光开始定时更接近于所述基准帧图像数据的曝光开始定时的帧图像数据。

16.按照权利要求15所述的方法，其中

所述帧选择步骤包括对于帧时段与所述基准帧图像数据的帧时段交叠的两个帧图像数据之中的一个帧图像数据，判定相对于所述基准帧图像数据的曝光开始定时差是否小于半帧时段，在曝光开始定时差小于半帧时段时，选择所述一个帧图像数据，而在曝光开始定时差不小于半帧时段时，选择另一个帧图像数据。

17.按照权利要求14所述的方法，其中

所述帧选择步骤包括对于所述特定成像设备的运动图像数据的每一帧，进行所述选择。

18.按照权利要求14所述的方法，其中

所述帧选择步骤包括按比所述特定成像设备的运动图像数据的一个帧时段长的时间间隔，进行所述选择。

19.按照权利要求14所述的方法，其中

所述帧选择步骤包括基于操作输入信息切换所述特定成像设备。

20.按照权利要求14所述的方法，其中

所述帧选择步骤包括基于从每个成像设备输入的运动图像数据中的运动量，切换所述特定成像设备。

21.按照权利要求14所述的方法，其中

所述帧选择步骤包括：

把所述特定成像设备的垂直同步信号作为基准垂直同步信号，输出给整合送出单元；以及

在切换所述特定成像设备时，切换要作为基准垂直同步信号输出的垂直同步信号，以致紧跟在通过作为切换源的成像设备的垂直同步信号的切换之后的垂直同步发生定时不被混淆成由基准垂直同步信号表示的垂直同步发生定时。

22.按照权利要求14所述的方法，其中

所述整合送出步骤包括把通过所述帧选择步骤选择的帧图像数据整合成1个图像数据，以便送出。

23.按照权利要求14所述的方法，其中

所述整合送出步骤包括沿时间轴方向整合通过所述帧选择步骤选择的帧图像数据，以便送出。

24.按照权利要求23所述的方法，其中

所述整合送出步骤包括把表示帧图像数据的每个整合单位的定界符的定界符信息，添加到作为单一流的流数据中。

25.一种图像传送方法，包括：

由信息处理设备执行的帧选择步骤，所述帧选择步骤利用从拍摄运动图像的多个成像设备之中的特定成像设备输入的垂直同步信号作为基准，以从输入自所述多个成像设备的运动图像数据中选择帧图像数据的帧选择步骤；和

由所述信息处理设备执行的整合送出步骤，所述整合送出步骤把在所述帧选择步骤中选择的帧图像数据整合成单一流，并送出整合的单一流，

其中，所述帧选择步骤包括基于作为从所述特定成像设备的运动图像数据中选择的帧图像数据的基准帧图像数据的曝光结束定时，与除所述特定成像设备外的成像设备中的其他成像设备的运动图像数据中的帧图像数据的曝光开始定时之间的定时差，从所述其他成像设备的运动图像数据中选择帧图像数据。

26.一种存储有程序的存储介质，所述程序使信息处理设备实现：

利用从拍摄运动图像的多个成像设备之中的特定成像设备输入的垂直同步信号作为基准，以从输入自所述多个成像设备的运动图像数据中选择帧图像数据的帧选择功能；和

把通过所述帧选择功能选择的帧图像数据整合成单一流，并送出整合的单一流的整合送出功能，

其中，所述帧选择功能基于相对于基准帧图像数据的曝光开始定时差，从排除所述特定成像设备的成像设备之中的其他成像设备的运动图像数据中，选择帧图像数据，所述基准帧图像数据是从所述特定成像设备的运动图像数据中选择的帧图像数据。

27.一种运动图像生成系统，包括：

帧选择单元，所述帧选择单元利用从拍摄运动图像的多个成像设备之中的特定成像设备输入的垂直同步信号作为基准，以从输入自所述多个成像设备的运动图像数据中选择帧图像数据；

整合送出单元，所述整合送出单元把由所述帧选择单元选择的帧图像数据整合成单一流，并送出整合的单一流；以及

运动图像生成单元，所述运动图像生成单元生成作为帧图像而包括包含在由整合送出单元送出的单一流中的帧图像数据的运动图像数据，

其中，所述帧选择单元基于相对于基准帧图像数据的曝光开始定时差，从排除所述特定成像设备的成像设备之中的其他成像设备的运动图像数据中，选择帧图像数据，所述基准帧图像数据是从所述特定成像设备的运动图像数据中选择的帧图像数据。

28.按照权利要求27所述的运动图像生成系统，其中

所述运动图像生成单元进行包含在所述单一流中的帧图像数据的全景合成，并生成作为帧图像而包含通过全景合成而获得的合成图像的运动图像数据。

Images