CN111919436A - 信息处理装置、信息处理方法以及程序 - Google Patents

Abstract

在本发明中，能够容易且准确地生成用作广播等中的精彩片段图像、重播图像等的剪辑图像。为此，信息处理装置执行将接收到的图像信号作为用于实时处理的图像信号发送给位外部分析引擎的第一处理。信息处理装置还执行接收已从分析引擎接收到的事件提取信息并且通过使用该事件提取信息来生成剪辑图像的设置信息的第二处理。

Description

信息处理装置、信息处理方法以及程序

技术领域

本技术涉及一种信息处理装置、信息处理方法以及程序，并且涉及从例如用作捕获的运动图像视频(moving image video)的图像信号生成剪辑图像(clip image)的技术领域。

背景技术

在一些情况下，例如从为了广播而捕获的运动图像视频中提取值得观看的场景，并且将该场景作为重播(replay)或精彩片段(highlight)来进行广播。

下述专利文献1描述了检测运动图像中的事件(event)的技术。

引文列表

专利文献

专利文献1：日本专利申请公开号2017-55175

发明内容

本发明要解决的问题

本技术的目的在于快速地分析已实时地捕获的图像(运动图像视频)并且使用该分析来执行处理。而且，本技术的目的在于提高处理中的精度或者减轻施加于用户的任务负担。

问题的解决方案

根据本技术的信息处理装置包括事件分析器，该事件分析器执行：第一处理，用于将接收到的图像信号转换为用于实时处理的图像信号，并且将该图像信号发送给位于外部的分析引擎；以及第二处理，用于接收已从所述分析引擎接收到的事件提取信息，并且通过使用该事件提取信息来生成剪辑图像的设置信息。

例如，信息处理装置对用作已由成像设备捕获的实时运动图像的图像信号执行必要的处理作为第一处理，并且将该图像信号发送给分析引擎。

分析引擎是AI引擎，从接收到的图像信号中提取适合于重播图像或精彩片段图像的事件发生时段，并且发送表示该事件发生时段的事件提取信息。

作为第二处理，信息处理装置基于来自分析引擎的事件提取信息来生成用作呈现事件的图像的剪辑图像的设置信息。

在上述根据本技术的信息处理装置中，可以想到，在所述第一处理中，所述事件分析器通过使用所述图像信号的信息量和用于向所述分析引擎进行发送的传输线路的频带信息来确定是否将对所述图像信号执行信息量减少处理。

这里，用作有线/无线通信线路的传输线路的能力(诸如每秒位数(bits persecond，bps)、通信容量或通信速度)被统称为“频带”。在一些情况下，用于实时处理的图像由于所谓的传输线路的频带和图像信号的信息量(即，帧速率和分辨率)而不能适当地通信。因此，确定将根据需要减少信息量。

在上述根据本技术的信息处理装置中，可以想到，在所述信息量减少处理中，所述事件分析器通过使用所述频带信息和与所述分析引擎的精度相关的信息来确定减少之后的信息量，所述精度对应于所述图像信号的信息量。

在一个方面，分析引擎的分析精度取决于图像信号的信息量(分辨率或帧速率)。换句话说，分析精度根据图像信号的信息量而改变。随着图像信号的信息量减少，分析精度也降低。因此，对于用作发送目的地的分析引擎而言，通过使用与和图像信号的信息量对应的分析精度相关的信息来确定减少的程度。

在上述根据本技术的信息处理装置中，可以想到，在所述第一处理中，所述事件分析器执行用于将接收到的图像信号编码为流媒体图像信号并且将该流媒体图像信号发送给所述分析引擎的处理。

例如，将用作实时运动图像的图像信号作为流媒体图像信号发送。

在上述根据本技术的信息处理装置中，可以想到，在所述第一处理中，所述事件分析器执行用于将接收到的图像信号划分为具有固定的或不固定的时间长度的图像时段、形成图像文件、并且将所述图像文件发送给分析引擎的处理。

例如，将用作实时运动图像的图像信号编码为各包括大约5到10秒的时段的场景的图像文件，并且将这些图像文件顺序地发送给分析引擎。

在上述根据本技术的信息处理装置中，可以想到，所述事件分析器生成前面和后面的图像文件包括重叠的部分场景的图像文件，所述前面和后面的图像文件是时间上连续的。

例如，在大约5到10秒的时段的图像文件中，使前面和后面的图像包括例如大约1秒的重叠场景。

在上述根据本技术的信息处理装置中，可以想到，在所述第二处理中，所述事件分析器生成通过更新已从所述分析引擎接收到的事件提取信息的入点(in-point)或出点(out-point)而获得的所述设置信息，所述事件提取信息包括所述入点和所述出点。

通过使用可以参考的信息来改变外部分析引擎已呈现的入点和出点。

在上述根据本技术的信息处理装置中，可以想到，在所述第二处理中，所述事件分析器通过使用从连接的图像系统中的装备获取的信息来生成所述设置信息。

例如，通过使用来自连接的图像系统中的装备的信息来改变包括分析引擎已呈现的入点和出点的事件提取信息。图像系统中的装备是构成例如用于实时广播的从成像到图像输出的系统的设备，示例包括一个或多个成像设备、记录设备(图像服务器)、图像发送控制设备(切换设备)等。

在上述根据本技术的信息处理装置中，可以想到，在所述第二处理中，在作为已从所述分析引擎接收到的事件提取信息存在将相同事件用作对象的多条事件提取信息的情况下，所述事件分析器通过使用该多条事件提取信息来生成与该相同事件相关的剪辑图像的设置信息。

例如，在已由多个成像设备对某个场景进行了成像的情况下，在一些情况下从分析引擎提供了与相同事件相关的多条事件提取信息。在这种情况下，通过使用将该相同事件用作对象的多条事件提取信息来生成设置信息。

在上述根据本技术的信息处理装置中，可以想到，在所述第二处理中，所述事件分析器通过使用从连接的图像系统外的装备获取的信息来生成所述设置信息。

图像系统外的装备是可以由信息处理装置通过任何手段获取信息的装备，例如，可以经由诸如互联网等网络获取信息的设备。设想的所获取的信息的示例是来自本示例中的图像系统外的各种装备的信息。

在上述根据本技术的信息处理装置中，可以想到，在所述第二处理中，所述事件分析器通过使用从图像系统中的装备或图像系统外的装备获取的信息来生成包括元数据控制信息的所述设置信息。

元数据控制信息例如是指示将各种类型的信息作为元数据添加到剪辑图像文件的信息、元数据内容等。

通过这样做，使得生成添加有各种类型的信息(诸如与体育广播中的运动员相关的信息、表示场景的类型的信息或者进展信息)的图像剪辑作为元数据。

在上述根据本技术的信息处理装置中，可以想到，在所述第二处理中，所述事件分析器生成包括与事件提取相关的评价值的所述设置信息。

例如，将事件提取的准确度(表示是否已适当地提取了有意义的事件的值)作为评价值添加到设置信息。

在上述根据本技术的信息处理装置中，可以想到，在作为已从所述分析引擎接收到的事件提取信息存在将相同事件用作对象的多条事件提取信息的情况下，所述事件分析器增大针对与该相同事件相关的剪辑图像的设置信息的评价值。

在已由多个成像设备对相同场景进行了成像并且该相同场景已作为多条事件提取信息而被获取的情况下，已由所述多个成像设备成像的重要的场景已作为事件而被提取的可能性高。因此，将评价值增大。

在上述根据本技术的信息处理装置，可以想到，所述事件分析器基于成像设备的操作信息来改变针对基于所述事件提取信息的设置信息的评价值，所述操作信息与所述事件提取信息所表示的场景相关。

例如，通过参考针对由事件提取信息指定的场景的成像设备的操作信息，可以确定是否已适当地执行了成像。因此，参考操作信息而改变评价值。

可以想到，上述根据本技术的信息处理装置还包括反馈接收处理单元，该反馈接收处理单元从连接的图像系统中的装备接收反馈信息，并且执行预定处理。

例如，将与构成图像系统的装备的各种操作相关的信息反馈给信息处理装置，并且将该信息反映在信息处理装置的预定处理中。

在上述根据本技术的信息处理装置，可以想到，所述反馈信息包括与已使用的剪辑图像相关的信息。

例如，反馈由操作者等选择(使用)的剪辑图像的选择信息(使用信息)，并且将其反映在预定处理中。

在上述根据本技术的信息处理装置中，可以想到，所述反馈接收处理单元对成像设备执行操作控制作为所述预定处理。

基于反馈信息来确定成像设备的更适当的操作，并且控制成像设备。

在根据本技术的信息处理方法中，信息处理装置执行：第一处理，用于将接收到的图像信号转换为用于实时处理的图像信号，并且将该图像信号发送给位于外部的分析引擎；以及第二处理，用于接收已从所述分析引擎接收到的事件提取信息，并且通过使用该事件提取信息来生成剪辑图像的设置信息。

通过这样做，提高了事件提取的效率和精度。

根据本技术的程序是使信息处理装置执行根据该信息处理方法的处理的程序。

通过这样做，可以容易地实现根据本技术的信息处理装置。

本发明的效果

根据本技术，可以提高与捕获运动图像视频一起在短时间内提取剪辑图像的任务中的效率，并且可以减轻为了生成适当的剪辑而施加于操作者的任务负担。

注意，这里描述的效果不一定是限制性的，并且可以表现本公开中描述的效果中的任何效果。

附图说明

图1是根据本技术的实施例的系统配置的框图。

图2是根据实施例的功能配置的框图。

图3是根据实施例的信息处理装置的配置的框图。

图4是根据实施例的系统操作的说明图。

图5是根据实施例的信息处理装置的输入/输出的说明图。

图6是用于根据实施例的信息处理装置的事件分析的图像发送处理的流程图。

图7是根据实施例的图像文件的发送中的部分重叠的说明图。

图8是用于生成根据实施例的信息处理装置的剪辑设置信息的处理的流程图。

图9是用于生成根据实施例的信息处理装置的剪辑设置信息的处理的流程图。

图10是根据实施例的剪辑呈现画面的说明图。

图11是例示说明内窥镜手术系统的示意性配置的示例的图。

图12是例示说明相机头和CCU的功能配置的示例的框图。

图13是例示说明车辆控制系统的示意性配置的示例的框图。

图14是例示说明车外信息检测器和成像单元的安装位置的示例的说明图。

具体实施方式

下面按以下次序描述实施例。

<1.系统配置>

<2.处理的概要>

<3.用于事件分析的图像发送>

<4.用于生成剪辑设置信息的处理>

<5.使用反馈信息的操作>

<6.内窥镜手术系统中的利用的示例>

<7.运动体中的利用的示例>

<8.总结和变型>

<1.系统配置>

参考图1来描述根据实施例的图像系统10及其外围配置。

注意，假设根据实施例的图像系统10是捕获可以在例如广播等中使用的图像的系统，并且是指图1中的信息处理装置1、记录设备2、成像设备3和图像发送控制设备4。

当然，这是个示例，并且可以在图像系统10中包括其他设备，或者可以省略上述设备中的一些设备。例如，可以使记录设备2和图像发送控制设备4一体化。此外，可以使信息处理装置1与记录设备2和图像发送控制设备4一体化。

假设一系列图像信号被传送给其以记录广播视频的装备及其直接控制装备是图像系统10中的多件装备。

而且，在本实施例的描述中，“图像”主要是指运动图像视频。当然，静止图像可以包括在内。

实时捕获的运动图像视频信号、已从运动图像视频裁出的剪辑图像、传送这些运动图像视频的状态下的信号等被称为“图像信号”。

成像设备3例如是捕获用于广播的图像的视频相机(video camera)。例如，为了转播运动竞赛等，使用多个成像设备3，并且在许多情况下，一边切换来自各个成像设备3的图像一边进行广播。

一个或多个成像设备3将捕获的图像信号输出到记录设备2。

记录设备2用作累积或发送由成像设备3中的每个成像设备捕获的图像信号的所谓的实时图像信号服务器设备。此外，还对图像信号执行信号处理或者诸如裁出编辑或剪辑图像生成的处理。

因此，记录设备2具有用作大容量存储设备、作为图像信号处理处理器的信号处理单元以及将信号传送给其他装备并与其他装备进行各种类型的信息的通信的控制器的配置等。

图像发送控制设备4是由操作者OP操作的切换器(switcher)终端。

图像发送控制设备4基于操作者OP执行的操作来选择已被成像设备3中的每个成像设备捕获并且已作为实时图像经由记录设备2传送的图像信号、或者已由记录设备2生成并且用作剪辑图像的图像信号，并且将该图像信号发送给未图示的后级。因此，图像发送控制设备4包括用作针对操作者OP(切换操作者)的显示功能或操作功能的接口、或者与其他装置进行图像信号或各种类型的信息的通信的功能。

注意，图像发送控制设备4可以作为用于广播的工作站与记录设备2一体化，或者可以与记录设备2共享部分设备。

在广播期间，操作图像发送控制设备4的操作者OP执行选择已捕获了要作为实时图像进行广播的图像的成像设备3的操作、或者插入剪辑图像CL的操作。剪辑图像CL例如是重播场景、精彩片段场景等。

在本实施例中，主要描述剪辑图像的生成。

信息处理装置1执行用于生成剪辑图像CL的处理。具体而言，实现剪辑图像的精确的且自动的生成。

剪辑图像CL是通过从由成像设备3获取的实时图像信号中提取事件并且裁出表示该事件的部分使得剪辑图像CL可以在广播中用作精彩片段场景或重播场景而获得的。

为了该目的，需要从已实时记录的图像信号中精确地提取特别值得观看的情形作为事件，并且指定所提取的事件的区间(图像信号的入点和出点)并将其裁出为剪辑图像。

这里描述的事件没有被特别限制，而是被定义为表示在捕获的图像中已发生了某种类型的现象的场景。示例包括特别值得观看的场景、对于诸如竞赛的广播对象而言重要的场景等。换句话说，在捕获的图像中，将作为剪辑图像CL的候选的现象或者该现象的场景范围称为事件。

通常，如上所述的事件的提取以及入点和出点的指定由剪辑生成的操作者视觉地手动执行。通常，这里描述的操作者是指不同于上述切换操作者OP的工作人员。

事件提取的操作者执行一边观看整个记录的视频一边手动地取出重要的场景的任务。因此，难以高效地执行该任务。

此外，已提出了用于通过执行图像分析来自动地取出事件的技术。然而，在图像分析中，使用某个时间长度的图像文件，并且难以在短事件内执行剪辑裁出，例如，以在广播期间裁出重播场景。

而且，即使在自动地执行了图像分析的情况下，如果依赖于分析引擎的提取结果，则不能提高裁出的精度。在一些情况下，不能提取重要的事件，或者提取了许多不必要的事件。

因此，在本实施例中，信息处理装置1实现用于自动地提取事件的处理，并且使裁出该事件的精度得到提高。

具体而言，信息处理装置1是已安装有可以用于制作体育广播等中的重播图像或稍后的精彩片段图像的应用软件的计算机装置(算术处理单元)，并且如图所示具有事件分析器1A和反馈接收处理单元1B的功能。稍后描述这些功能。

信息处理装置1获取记录设备2中累积的图像信号，或者将控制信号发送给记录设备2。

此外，信息处理装置1可以从图像发送控制设备4获取信息。

此外，信息处理装置1可以将信息发送给成像设备3。

注意，可以将图像发送控制设备4实现为作为用于广播的工作站已与记录设备2和图像发送控制设备4之一或这二者进行了一体化的设备，或者可以与记录设备2或图像发送控制设备4共享部分设备。

信息处理装置1可以例如经由传输线路80与例如用作外部人工智能(AI)引擎的分析引擎90(90A、90B…)或者系统外装备81通信。假设传输线路80具有各种形式，诸如互联网、局域网(LAN)、虚拟专用网络(VPN)、内联网、外联网、卫星通信网络、共用天线电视(CATV)通信网络、电话网络或者移动通信网络。

分析引擎90表示本示例中的图像系统10可以使用的外部AI引擎。多个分析引擎90被提供为可用的，并且分别被例示为分析引擎90A、90B…。以下，在提及这些分析引擎中的任何单个的分析引擎的情况下，或者在总体地提及这些分析引擎的情况下，使用术语“分析引擎90”。

系统外装备81是指可以经由传输线路80进行通信的各种类型的装备、信息处理装置、服务器等。具体而言，假设可以为信息处理装置1提供与要成像(广播)的对象相关的信息的装备。

参考图2来描述图1所示的各件装备的操作功能。

成像设备3将捕获的图像信号PS1供应给记录设备2。示例是用作体育等的现场视频(live video)的图像信号。

相机控制器31表示使用成像设备3中的微型计算机的控制器。相机控制器31控制由摄影师执行的操作，或者基于来自外部的控制信号CTR来控制成像设备3的成像操作。例如，相机控制器31基于控制信号CTR来控制焦点状态、变焦状态、成像方向(摇摄/俯仰)等。

记录设备2包括图像累积功能21、图像输出功能22、剪辑裁出功能23和元数据添加功能24。

图像累积功能21是暂时地或某种程度上长期地累积来自成像设备的图像信号PS1的功能。

图像输出功能22是将图像信号PS1供应给信息处理装置1的功能。

剪辑裁出功能23是基于来自信息处理装置1的设置信息CLD来裁出剪辑图像的功能。换句话说，剪辑裁出功能23执行根据设置信息CLD中包括的入点和出点从通过图像累积功能21累积的图像信号PS1之中进行裁出，并生成剪辑图像CL。

元数据添加功能24是获取来自信息处理装置1的设置信息CLD中包括的元数据控制信息并且基于此将元数据MT添加到剪辑图像CL的功能。通过这样做，生成已添加有信息处理装置1指定的元数据MT的剪辑图像CL。

图像发送控制设备4包括用户界面(UI)功能41和后级处理请求功能42。

UI功能41包括显示功能和操作功能。通过使用显示功能，将来自成像设备3中的每个成像设备的实时图像显示给操作者OP，或者将已被生成为能够作为广播视频插入的剪辑图像CL的列表或者再现图像显示给操作者OP。此外，通过使用操作功能，接收操作者OP已执行的切换功能、剪辑选择操作等。

后级处理请求功能42是对未图示的后级设备供给用于广播的图像信号(包括剪辑图像CL)并且进行基于操作者OP执行的操作的所需的处理请求的功能。例如，通过将表示使用没有改变的剪辑图像CL或以预定时间长度(时间标尺(time scale))使用剪辑图像CL的指示、与图像质量调整、图像效果等相关的指示或其他指示的编辑决策列表(editdecision list，EDL)数据发送给后级来进行所需的请求。

注意，图像发送控制设备4可以将与操作者OP所选择的剪辑图像CL相关的信息、与已使用的长度相关的信息、EDL数据等作为反馈信息FBD发送给信息处理装置1。

信息处理装置1包括事件分析器1A和反馈接收处理单元1B。

事件分析器1A接收用作已现场记录的视频的图像信号PS1作为主要输入，并且执行用于进行有效的剪辑生成的处理。该事件分析器1A执行作为第一处理功能11的处理以及作为第二处理功能12的处理。

第一处理功能11执行第一处理，该第一处理用于对接收到的图像信号PS1(也就是说，在该情况下是由成像设备3捕获的图像信号)执行需要的处理，并且将该图像信号作为用于实时处理的图像信号PS2发送给外部分析引擎90。

第二处理功能12接收从分析引擎90接收到的事件提取信息EV，并且执行第二处理，该第二处理用于通过使用该事件提取信息来生成剪辑图像的设置信息CLD。此外，第二处理功能12还执行用于通过使用来自系统外装备81的信息或来自图像系统10中的装备的信息来生成元数据控制信息并将其作为设置信息CLD的一部分发送给记录设备2的处理。元数据控制信息例如是指示将各种类型的信息作为元数据添加到剪辑图像文件的信息，或者表示元数据内容本身的信息等。

此外，第二处理功能12可以从图像系统10中的装备(诸如成像设备3)获取操作信息，并且可以将其反映在设置信息CLD的生成中。

反馈接收处理单元1B从图像系统10中的装备接收反馈信息FBD，并且执行预定处理。例如，从图像发送控制设备4接收诸如剪辑选择信息的反馈信息FBD。当然，可以接收来自成像设备3或记录设备2的信息作为反馈信息FBD。

然后，反馈单元1B将反馈信息FBD传送给事件分析器1A使得反馈信息FBD可以用于生成元数据控制信息(例如元数据内容)，或者例如生成控制信号CTR使得例如可以对成像设备3执行操作控制。

分析引擎90从信息处理装置1接收图像信号PS2，执行分析，并且提取事件。然后，将表示所提取的事件的事件提取信息EV返回给信息处理装置1。事件提取信息EV例如包括使用图像信号PS2中的时间戳(时：分：秒：帧)的入点和出点。

系统外装备81包括信息提供单元82的功能，并且可以响应于例如来自信息处理装置1的数据请求而将数据发送给信息处理装置1。例如，可以将用作由成像设备3成像的体育比赛的相关信息的数据、与运动员相关的数据、与比赛的进展相关的数据或其他数据提供给信息处理装置1。

在上述配置中，信息处理装置1、记录设备2和图像发送控制设备4可以作为硬件配置例如由如图3所示的计算机设备170实现。

在图3中，计算机设备170的中央处理单元(CPU)171根据存储在只读存储器(ROM)172中的程序或者从存储设备178加载到随机存取存储器(RAM)173中的程序来执行各种类型的处理。RAM 173中还适当地存储有CPU 171执行各种类型的处理所需的数据等。

CPU 171、ROM 172和RAM 173经由总线174相互连接。该总线174也连接到输入/输出接口175。

输入/输出接口175连接到包括键盘、鼠标等的输入单元176、包括显示器(包括液晶显示器(LCD)、有机电致发光(EL)面板等)、扬声器等的输出单元177、由硬盘等构成的存储设备178、以及由调制解调器等构成的通信单元179。

通信单元179执行经由被图示为传输线路80的诸如互联网的网络的通信处理，或者执行使用图像系统10中的有线/无线通信、总线通信等的通信。

输入/输出接口175还根据需要连接到驱动器180，适当地附连可移动介质181(诸如磁盘、光盘、磁光盘或半导体存储器)，并且从它们读取的计算机程序根据需要被安装在存储设备178中。

在用软件实现信息处理装置1的上述功能的情况下，构成该软件的程序是从网络或记录介质安装的。

该记录介质由可移动介质181构成，该可移动介质被分配以向用户递送程序，并且包括已记录有程序的磁盘、光盘、磁光盘、半导体存储器等。可替代地，该记录介质还由硬盘等构成，该硬盘在被预先合并到设备本体中的状态下被递送给用户，并且被包括在已记录有程序的ROM 172或存储设备178中。

在如上所述的计算机设备170是信息处理装置1的情况下，作为通信单元179的接收操作例如接收到图像信号PS1时或者接收到来自分析引擎90的事件提取信息EV时，CPU171基于程序来执行事件分析器1A的上述处理(第一处理和第二处理)。此外，CPU 171可以通过使用接收到的反馈信息FBD来基于程序执行反馈接收处理单元1B的上述处理。

<2.处理的概要>

参考图4来描述根据本实施例的处理的概要。该处理的概要主要描述从由成像设备3捕获的图像信号PS1生成剪辑图像CL的过程。

图4例示说明作为成像设备3、记录设备2、信息处理装置1、分析引擎90、系统外装备81、操作者OP、图像发送控制设备4和后级处理的各个单元的操作的流程。图中的垂直方向表示时间轴。

沿着时间轴将各个操作或处理描述为(ST1)至(ST15)。

(ST1)

成像设备3将通过成像获得的图像信号PS1发送给记录设备2。注意，在实践中，在成像设备3捕获用作现场运动图像的图像信号PS1的情况下，该图像信号PS1在广播期间被连续地发送给记录设备2。

记录设备2累积图像信号PS1。

此外，假设如图1所示使用多个成像设备3。在这种情况下，来自各个成像设备3的图像信号PS1中的每个图像信号被发送给记录设备2，并且被累积。

(ST2)

记录设备2几乎实时地将来自成像设备3的图像PS1发送给信息处理装置1。注意，在实践中，这也是连续地执行的。此外，来自多个成像设备3的图像信号PS1中的每个图像信号被几乎实时地发送给信息处理装置1。

(ST3)

信息处理装置1对接收到的图像信号PS1执行用于将接收到的图像信号PS1转换为用于实时处理的图像信号并且将该图像信号发送给外部分析引擎90的处理。为了保持实时性，信息处理装置1执行例如用于将图像信号PS1编码为用于发送的流媒体图像信号的处理，或者将图像信号PS1划分为预定的短时间单位的图像文件并执行编码的处理。通过执行这些处理，生成要发送给分析引擎90的图像信号PS2。

(ST4)

信息处理装置1将图像信号PS2发送给分析引擎90。

上述(ST1)至(ST4)在成像设备3正在执行成像的时段期间，例如在广播期间，被连续地执行。

(ST5)

分析引擎90对接收到的图像信号PS2进行分析，并且每当检测到事件，就将事件提取信息EV发送给信息处理装置1。

信息处理装置1接收事件提取信息EV。事件提取信息EV包括使用添加到图像信号PS2(PS1)的时间戳的入点和出点，因此，信息处理装置1可以识别用作要作为剪辑被裁出的候选的事件图像的区间。

(ST6)

信息处理装置1从系统外装备81请求系统外数据。请求诸如与正在成像的比赛相关的信息或者与运动员相关的信息这样的相关信息。

(ST7)

响应于该请求，从系统外装备81发送系统外数据。信息处理装置1对其进行接收，并且获取与广播内容相关的数据。

(ST8)

信息处理装置1从系统内装备(例如成像设备3)请求系统内数据。例如，从成像设备3请求与针对图像信号PS1的成像操作相关的信息。假设与成像操作相关的信息是表示例如焦点状态、变焦状态、成像方向、光圈值、信息量(分辨率或帧速率)等的信息。

(ST9)

响应于该请求，从系统内装备(成像设备3)发送系统内数据。信息处理装置1对其进行接收，并且获取与图像信号PS1相关的数据。

注意，信息处理装置1可以从图像发送控制设备4请求诸如与操作者OP执行的图像质量调整、图像效果等相关的操作信息或者亮度设置信息这样的信息，并且可以获取该信息。

注意，在该示例中，在上述(ST6)和(ST7)之后执行(ST8)和(ST9)，但是可以按相反的次序执行处理。

(ST10)

信息处理装置1执行生成用于生成剪辑图像CL的设置信息CLD的处理。例如，使用或校正用作事件提取信息EV的入点和出点，并且确定用于裁出剪辑图像CL的入点和出点。

此外，使用系统内数据，并且设置与事件提取相关的评价值。

此外，使用系统外数据，并且生成包括元数据内容的元数据控制信息。

(ST11)

处理信息装置1将生成的设置信息CLD发送给记录设备2，并且请求记录设备2裁出剪辑。在一些情况下，设置信息CLD包括元数据控制信息或评价值。

(ST12)

记录设备2基于设置信息CLD裁出剪辑图像CL。在一些情况下，记录设备2根据元数据控制信息将元数据MT添加到用作剪辑图像CL的文件。

然后，记录设备2向图像发送控制设备4提供用于更新显示的信息，使得在已添加新的剪辑图像CL的状态下对操作者OP进行呈现。

操作者OP可以确认已在UI画面(例如，像剪辑列表画面)上生成新的剪辑图像CL。评价值或元数据MT也被呈现给操作者OP。

(ST13)

操作者OP通过使用图像发送控制设备4中的UI功能41来检查剪辑图像，并且可以执行选择要广播的剪辑图像CL的操作或者其他操作。

(ST14)

图像发送控制设备4基于操作者OP的操作将对要在广播中使用的图像信号的指定给予后级设备，从记录设备2读取该图像信号，将该图像信号发送给后级设备，并且请求需要的处理。通过执行该处理，操作者OP所选择的剪辑图像CL的图像信号被供应给后级设备。

(ST15)

在操作者已选择剪辑的情况下，表示所选择的剪辑的选择剪辑信息从图像发送控制设备4发送给信息处理装置1。信息处理装置1可以使用选择剪辑信息例如用来分析操作者OP的剪辑选择的趋势。

以上已经描述了用于剪辑图像CL的自动生成以及由操作者OP执行的剪辑选择的一系列操作。

在本实施例中，从已现场记录的图像信号PS1自动地提取事件，并且裁出剪辑图像CL。随时将生成的剪辑图像CL呈现给操作者OP。例如，在广播期间将生成的剪辑图像CL的列表呈现给操作者OP。

操作者OP可以任意地选择剪辑图像CL，并且可以将该剪辑图像CL作为要在广播中使用的图像发送给后级。

在图像系统10中，如上所述，信息处理装置1主要执行用于自动地生成剪辑图像CL的处理。对信息处理装置1的输入和信息处理装置1的输出的各个示例进行描述。

图5以列表的形式例示说明主要在图4的操作的过程中输入到信息处理装置1或者从信息处理装置1输出的数据的示例。

首先，与剪辑生成相关的对信息处理装置1的输入的示例包括上述(ST2)中的用于分析的数据、上述(ST5)中的分析引擎的结果的数据、上述(ST9)中的来自系统内装备的数据、以及上述(ST7)中的来自系统外装备的数据。

用于分析的数据是相机视频，也就是说，图像信号PS1。用作来自一个相机的视频的图像信号PS1或者用作来自多个相机的视频的图像信号PS1被输入。注意，图像信号PS1包括已被成像设备3记录的声音信号(相机声音)。

该用于分析的数据以发送给分析引擎90的目的而被输入到信息处理装置1。

注意，来自多个成像设备3的图像信号PS1的输入用于例如以如果在多个相机中已发生相同事件则准确度提高这样的方式来评价事件。

作为分析引擎90的结果的数据，将事件提取信息EV输入到信息处理装置1。还关于一个相机的视频或多个相机中的每个相机的视频从分析引擎90发送该事件提取信息EV。事件提取信息EV由信息处理装置1作为剪辑裁出范围的候选来处理。

假设来自图像系统10中的其他装备的输入是来自成像设备3的相机数据。

这里描述的相机数据的示例包括光圈值、焦点值、成像方向、信息量(分辨率或帧速率)等。这些数据可以用于提高剪辑裁出的精度。换句话说，相机数据可以在分析引擎90中用于改善用作AI处理中的分析结果的事件提取信息EV。

假设来自系统外装备81的数据是遥测数据或比赛数据。

通过使用正在成像的比赛期间的各种类型的测量数据作为遥测数据，信息处理装置1可以生成元数据内容，并且可以以使元数据控制信息合并到剪辑图像CL中这样的方式生成元数据控制信息。

此外，从比赛数据(也就是说，与正在成像的比赛相关的数据)可知事件时间、得分、与主要运动员等相关的运动员信息等。这可以用于信息处理装置1生成元数据内容，或者可以用于提高剪辑提取的精度。

对信息处理装置1的输入的示例是如上述(ST15)中描述为选择剪辑信息的与剪辑选择相关的反馈信息FBD。

该反馈信息FBD的示例包括与根据操作者OP已执行的选择操作等发送给系统的后级的剪辑图像CL相关的信息、已使用的长度(与所谓的时间标尺相关的信息)、EDL数据等。

信息处理装置1可以使用与选择的剪辑图像CL相关的信息来提高分析的精度或者模仿操作者OP的习惯。例如，可以将与选择的剪辑图像CL相关的信息用于学习哪种类型的剪辑趋于被使用。

此外，信息处理装置1可以基于图像的角度或该图像中的运动员的大小来模仿操作者的习惯(确定要采用的剪辑图像的趋势)。

信息处理装置1可以通过使用与已使用的长度相关的信息或EDL数据来反馈对剪辑图像CL的设置信息CLD的编辑或修改。例如，如果已知以多少长度使用什么场景，则可以优化裁出时间。此外，还可以想到对相对于时间标尺怎样改变了再现速度等进行反馈。

与剪辑生成相关的来自信息处理装置1的输出的示例包括上述(ST11)中的用于使后级处理自动化的数据和用于帮助后级操作者的数据。换句话说，来自信息处理装置1的输出是用作设置信息CLD的输出。

设置信息CLD的示例是入点和出点。将它们作为与剪辑裁出位置的指定相关的信息发送给记录设备2。

设置信息CLD还可以包括EDL数据。可以想到的示例是用于模仿操作者的编辑的处理，如果设置了操作者的话。

设置信息CLD还可以包括用于使工作流程自动化的信息作为后级处理请求。例如，指定表示是否将形成档案(archive)的信息或者与档案目的地相关的信息。

用于帮助后级中的操作者OP的信息的示例是元数据控制信息。

关于要裁出的剪辑图像CL，信息处理装置1使设置信息CLD包括包含诸如剪辑名称、评价值、比赛数据或遥测数据这样的元数据内容的元数据控制信息。

这使得能够自动地给出容易理解的剪辑名称，或者使得能够针对每个事件收集多个剪辑图像CL，例如使得稍后可以容易地执行搜索。

通过添加运动员信息等作为元数据内容，可以提高使用人、统一编号等的剪辑图像的可搜索性。

信息处理装置1可以使设置信息CLD包括与持续时间(duration)的可变长度相关的信息作为用于帮助操作者OP的信息。示例是通过检测事件检测结果与在重播等中通常使用的剪辑长度之间的估计的差而获得的信息。

此外，信息处理装置1可以使设置信息CLD包括用于建议与其他角度的相机图像的组合的信息。示例是用于建议插入已捕获到的相同事件的其他角度的图像的信息。

此外，信息处理装置1可以使设置信息CLD包括用于建议改变再现速度的信息。示例是用于建议相对于剩余的时间标尺如何改变再现速度的信息。例如建议以每秒的准确度之中的大约最高的准确度改变再现速度。

这些信息使得能够减少后级中的操作者OP执行的操作。

此外，信息处理装置1可以使设置信息CLD包括表示推荐等级的信息。该信息用作对后级中的操作者的帮助的选择索引，这使得易于选择最佳的剪辑或场景。假设例如根据竞赛数据提取对象运动员并且推荐表示该运动员的相机图像。

来自信息处理装置1的输出的示例是用于控制图像系统10中的装备的信息，例如，用作针对成像设备3的控制信号CTR的相机控制数据。

可以想到例如根据剪辑选择结果来控制成像设备3的焦点状态、光圈、摇摄/俯仰等。此外，可以以学习摄影师的习惯(焦点、靠近运动员的程度等)并且模仿摄影师这样的方式来执行控制。

<3.用于事件分析的图像发送>

下面描述信息处理装置1执行的处理的具体示例。

图6例示说明信息处理装置1通过使用事件分析器1A的功能执行的第一处理的示例。换句话说，图6例示说明用于将从记录设备2接收到的图像信号PS1转换为用于实时处理的图像信号并且将该图像信号发送给外部分析引擎的处理。

在步骤S101中，信息处理装置1从记录设备2接收图像信号PS1。

在步骤S102中，信息处理装置1对图像信号PS1进行分析，并且计算信息量，即，帧速率或分辨率。注意，如果已从成像设备3或记录设备2提供与帧速率或分辨率相关的信息，则不需要对图像信号进行分析并且计算帧速率或分辨率。

在步骤S103中，信息处理装置1获取传输线路80的频带信息。在这种情况下，选择某个分析引擎90，并且发送图像信号PS2。获取针对该某个分析引擎90的传输线路80的频带信息。

注意，这里，用作有线/无线通信线路的传输线路的能力(诸如bps、通信能力或者通信速度)统称为“频带”。

在步骤S104中，信息处理装置1基于已在步骤S102中获得的信息量和已在步骤S103中获取的频带信息来确定是否可以以不损害实时性的速度发送图像信号PS2。

换句话说，可以根据图像信号PS1的信息量来获得通过对图像信号PS1进行编码而获得的图像信号PS2的信息量。因此，确定用于向用作发送目的地的分析引擎90进行发送的传输线路80的当前频带状况对于图像信号PS2的发送是否足够。

在已确定传输线路80的频带足够的情况下，处理进到步骤S107，并且信息处理装置1执行用于发送的编码处理，并且生成要发送的图像信号PS2。

例如，信息处理装置1执行用于作为流媒体图像信号发送的编码处理。可替代地，信息处理装置1执行用于将文件作为已划分为大约5秒到大约10秒的细小的多条视频文件来共享、或者用于在超文本传送协议(HTTP)或文件传送协议(FTP)传送中执行对分析引擎90的传送的编码处理。

通过这样做，以几乎实时的速度将图像信号PS2传送给分析引擎90，分析引擎90提取具有实时性的事件。

注意，在这些编码处理中，信息处理装置1将来自记录设备2的图像信号PS1接收为串行数字接口(SDI)信号，并且将图像信号PS1改变为使得分析引擎90能够接收的通用格式(诸如H.264)的文件。

然后，在步骤S108中，信息处理装置1将图像信号PS2经由传输线路80发送给分析引擎90。

相对地，在步骤S104中已确定频带对于不损害图像信号PS2的实时性的传送不足够的情况下，信息处理装置1在步骤S105中执行减少信息量的设置。换句话说，确定需要将信息量减少什么程度。

被提供为可用的分析引擎90A、90B…在分析方法或精度上是不同的。于是，在图像分析中，分析精度也根据输入图像的信息量(分辨率或帧速率)而改变。

因此，信息处理装置1针对要使用的每个分析引擎90，以表格信息等形式保持相对于图像数据的信息量的分析精度(在这种情况下是事件提取精度)。

然后，在步骤S105中，参考与这次要使用的分析引擎90(也就是说，发送目的地)相关的表格数据。然后，与当前传输线路80的频带进行比较，并且设置不损害实时性但即使减小了数据减少量也使分析精度得以保持或者大于或等于预定精度的数据减少量。

具体而言，在当前传输线路80的频带中设置可以认为是不损害实时性的最大信息量，并且检查该信息量的情况下的分析引擎90的分析精度。

如果分析精度大于或等于预定精度，则将该信息量确定为减少处理之后的信息量。

相对地，在当前传输线路80的频带中，在可以认为是不损害实时性的最大信息量使分析精度变得不足的情况下，可以想到各种示例。

例如，改变分析引擎90以使分析精度变高。

可替代地，允许低的分析精度并执行发送。然而，在下述设置信息CLD的生成中，执行用于减小评价值的处理。

可替代地，还可以想到，考虑分析精度和频带的实时性，并且某种程度上牺牲实时性而重视事件提取精度，使得略微增加信息量。

在已在步骤S105中设置了信息量(也就是说，减少处理之后的信息量)之后，信息处理装置1在步骤S106中执行信息量减少处理。换句话说，例如对图像信号PS1执行分辨率转换或帧疏剪(frame thinning-out)、或者这二者，使得获得已设置的信息量。

然后，执行步骤S107和S108的过程。

注意，在该示例中，在步骤S105中设置了要减少的信息量，但是可以执行用于将信息量减少固定的减少量的处理。

此外，不管频带状态如何，可以总是执行信息量减少处理。例如，还可以想到，通过以使分辨率约为1280×720这样的方式在不影响分析结果的范围内减小图像信号PS1的数据规模来缩短向分析引擎90的传送时间。

如上所述，作为第一处理，信息处理装置1将图像信号PS2发送给分析引擎90。

此时，在一些情况下，用于实时处理的图像由于传输线路80的频带和图像信号PS2的信息量(即，帧速率和分辨率)而不能适当地进行通信。因此，根据需要减少信息量。

注意，在步骤S107中的用于发送的编码处理中，期望的是如图7所示信息处理装置1执行改变成文件的改变。

在图7中，时间点t1到时间点t6被图示为发生某个事件的时段，并且这样的事件需要被分析引擎90准确地提取。

在已将文件划分为多段短时间的状态下发送该文件的情况下，分析引擎90侧在一些情况下不能准确地识别时间轴上的连接。因此，如图所示，使得用作图像信号PS2的图像文件包括用作从时间点t0到时间点t3的场景的图像文件VF1、用作从时间点t2到时间点t5的场景的图像文件VF2、以及用作从时间点t4到时间点t7的场景的图像文件VF3。

如上所述的图像文件VF1、VF2和VF3中的每个图像文件具有时间宽度TW，并且这些图像文件中的每个图像文件的前面或后面的部分设有与相邻时段的图像文件重叠的部分(时间点t2到t3或者时间点t4到t5)。

如上所述将图像文件形成为包括例如大约1秒的重叠部分，并且将该图像文件传送给分析引擎90。因此，覆盖多个图像文件的事件被准确地提取。

注意，以上已经描述了图像文件VF1、VF2…中的每个图像文件具有固定的时间宽度TW，但是图像文件VF1、VF2…中的每个图像文件可以具有包括可变的时间宽度而非固定的时间宽度的长度不固定的时间宽度。

<4.用于生成剪辑设置信息的处理>

接着，参考图8和图9来描述信息处理装置1通过使用事件分析器1A的功能而执行的第二处理的示例。换句话说，描述信息处理装置1通过使用从分析引擎90接收到的事件提取信息EV来生成用于生成剪辑图像CL的设置信息CLD的处理的示例。

在步骤S201中，信息处理装置1从分析引擎90接收事件提取信息EV。

信息处理装置1在成像设备3执行成像时(例如在广播期间)连续地执行上述图6的第一处理，分析引擎90几乎实时地接收并分析图像信号PS2。

此时，分析引擎90响应于事件的提取而生成事件提取信息EV，并且每当生成事件提取信息EV或者在已收集一些事件提取信息EV的定时，将事件提取信息EV发送给信息处理装置1。因此，步骤S201中的事件提取信息EV的接收被不规律地执行。

当接收到事件提取信息EV时，在步骤S202中，信息处理装置1关于用作处理对象的一条事件提取信息EV针对其他成像设备3已捕获的图像检查是否存在与所述一条事件提取信息EV的定时相同的定时的事件提取信息EV。

例如，将由多个成像设备3捕获的图像信号PS1中的每个图像信号转换为图像信号PS2，并且发送给分析引擎90。例如，在三个成像设备3已对足球的进球场景进行了成像的情况下，存在从由各个成像设备3捕获的图像信号PS2中的每个图像信号提取了相同时间带的场景作为事件的可能性。在步骤S202中，基于每条事件提取信息EV的时间信息(即，入点和出点)来检查是否如上所述相同对象的场景已作为事件被提取。

如果没有与相同事件相关的其他事件提取信息EV，则信息处理装置1从图9的步骤S203进到步骤S210。

在相同的重要场景已被多个成像设备3成像的情况和其他情况下，以及在存在相同时间带的多条事件提取信息EV的情况下，信息处理装置1从步骤S203进到步骤S204，并且根据其他对应的事件提取信息EV计算由其他计算设备3捕获的图像的成像范围。换句话说，获取针对已作为相同事件提取的其他事件提取信息EV的入点和出点。

然后，在步骤S205中，信息处理装置1检查用作处理对象的事件提取信息EV的范围(入点到出点)是否包括其他事件提取信息EV的范围(入点到出点)。

假设例如时:分:秒:帧的时间戳如下所述。

用作处理对象的事件提取信息EV的入点为00:05:31:10。

用作处理对象的事件提取信息EV的出点为00:06:29:03。

相反，在“示例1”中，如果：

另一条事件提取信息EV的入点为00:05:45:00；并且

该另一条事件提取信息EV的出点为00:06:18:15，

则该另一条事件提取信息EV的整个范围被包括在用作处理对象的事件提取信息EV的范围中。

因此，即使不改变用作处理对象的事件提取信息EV的入点和出点，另一成像设备的图像范围也被包括在内。

另一方面，在“示例2”中，如果：

另一条事件提取信息EV的入点为00:05:25:51；并且

该另一条事件提取信息EV的出点为00:06:18:15，

则该另一条事件提取信息EV的范围的入点附近不被包括在用作处理对象的事件提取信息EV的范围中。

此外，在“示例3”中，如果：

另一条事件提取信息EV的入点为00:05:45:00；并且

该另一条事件提取信息EV的出点为00:06:35:17，

则该另一条事件提取信息EV的范围的出点附近不被包括在用作处理对象的事件提取信息EV的范围中。

当然，在一些情况下，入点附近和出点附近这二者都不被包括在用作处理对象的事件提取信息EV中。

在这些情况下，信息处理装置1进到步骤S206，并且通过使用与其他成像设备3相关的事件提取信息EV的入点和出点来改变用作处理对象的事件提取信息EV的入点和出点。

换句话说，改变用作处理对象的事件提取信息EV的入点和出点之一或这二者，以包括其他事件提取信息EV的范围。例如，在上述“示例2”的情况下，执行用于将入点改变为00:05:25:51的处理，在“示例3”的情况下，执行用于将出点改变为00:06:35:17的处理。

在步骤S207中，信息处理装置1增大表示针对用作处理对象的事件提取信息EV的事件提取的准确度的得分。在该过程中，因为多个成像设备3所成像的场景已作为事件被提取，所以确定为重要的场景实际上已被分析引擎90以高准确度提取，并且增大得分。

在步骤S208中，信息处理装置1检查是否剩有其中相同时间带的相同事件已被提取并且尚未对其执行计算的事件提取信息EV。如果剩有事件提取信息EV，则信息处理装置1返回到步骤S204，并且通过使用剩余的其他事件提取信息EV来执行类似的处理。

在这种情况下，类似地，在步骤S205和S206中，检查或改变用作处理对象的事件提取信息EV的入点和出点，以包括该其他事件提取信息EV的范围。

此外，通过执行步骤S207的处理，得分被进一步增大。换句话说，因为更多的成像设备3已对相同事件进行了成像，所以确定为事件提取的准确度更高。

当信息处理装置1进到图9的步骤S210时，信息处理装置1从系统外装备81请求系统外数据，并且在步骤S211中从系统外装备81接收数据。

然后，在步骤S212中，信息处理装置1检查接收到的系统外数据中是否存在与用作处理对象的事件提取信息EV相对应的信息。

在存在该信息的情况下，信息处理装置1进到步骤S213，并且执行用于生成与对应的事件相对应的元数据控制信息的处理。

在步骤S214中，信息处理装置1从系统10中的装备(例如成像设备3)请求系统内数据。然后，在步骤S215中，信息处理装置1从用作请求目的地的装备接收系统10内部的数据。

例如，从已捕获作为用作当前处理对象的事件提取信息EV的源的图像的成像设备3获取成像时的相机数据。如果从成像到事件提取信息EV的接收充分地保证了实时性，则可以获取当前时间点的相机数据。

在步骤S216中，信息处理装置1基于获取的相机数据来确定捕获的图像是否处于适当的状态。例如，确定成像方向是否适当，焦点状态是否适当，图像的亮度是否适当等。

在捕获的图像未处于适当的状态下的情况下，处理进到步骤S217，并且得分被减小。在这种情况下，确定为已提取了不太适当的图像区间，并且评价为提取的准确度低。

在步骤S218中，信息处理装置1鉴于上述处理生成设置信息CLD。

通过使用用作处理对象的事件提取信息EV的入点和出点或者在步骤S206中已修改的入点和出点来设置用作裁出范围的入点和出点。在一些情况下，作为设置信息，包括图5中图示的EDL数据、与后级处理的选择相关的信息或者用于帮助操作者OP的信息。

此外，信息处理装置1使设置信息CLD还包括步骤S213中生成的元数据控制信息。此外，信息处理装置1使设置信息CLD还包括已在步骤S207或S217中设置的事件提取的准确度的得分值。

然后，信息处理装置1在步骤S219中将设置信息CLD发送给记录设备2，并且做出剪辑裁出请求。

响应于此，记录设备2裁出剪辑图像CL，添加元数据等。

如上所述，信息处理装置1基于从分析引擎90获取的事件提取信息EV来生成设置信息CLD，并且将裁出的入点和出点的指定给予记录设备2。

此外，还提供了元数据MT的内容、与得分相关的信息或者其他辅助数据。

在上述处理中，在接收到来自多个成像设备3的图像信号PS1作为输入情况下，信息处理装置1使用从由该多个成像设备3捕获的图像信号PS2提取事件的结果，并且更新准确度或该事件的开始时间和结束时间。

具体而言，当已在多个相机视频中对相同物体进行了成像时或者当该多个相机视频具有包含关系时，并且当已在类似的定时检测到相同事件时，改变相应的检测结果的准确度以使其增大(S207)。

关于成像的物体，可以通过使用成像设备3的朝向、变焦值或者焦点值来计算同一物体的成像(S202)。

此外，将事件的开始时间和结束时间设置为所有的相机的逻辑和(S206)。

此外，信息处理装置1接收与系统中的其他装备相关的信息(诸如在引擎执行的分析中使用的成像设备3的相机数据)作为输入，以提高事件提取的精度(S214和S215)。

然后，通过使用成像设备3的焦点值或朝向的数据，确定例如来自成像设备3的图像是否正确地对焦，并且对于在未对焦的视频中已检测到的事件等执行用于减小表示准确度的得分的处理(S217)。

注意，在来自分析引擎90的事件提取信息EV包括表示提取的事件的准确度的信息的情况下，也可以将该信息反映在得分中。

此外，信息处理装置1接收在事件中使用的其他设备的测量数据(遥测数据)或者作为系统外数据的互联网信息作为输入(S210和S211)。例如，与外部发布的事件的统计数据进行组合，并且将该统计数据作为附加信息(诸如比分或已取得该比分的运动员的姓名)登记在包括该统计数据的定时的事件数据中(S213)。

为了将元数据MT添加到剪辑图像CL，信息处理装置1生成包括与剪辑图像CL相关的事件名称、对象物体(诸如人或统一编号)、准确度等的元数据控制信息，使设置信息CLD包括该元数据控制信息，并且将这些信息供应给记录设备2。记录设备2将这些信息登记为剪辑图像CL的元数据MT。

通过这样做，后级中的操作者OP可以容易地搜索剪辑，并且可以减轻操作负担。

在记录设备2已基于设置信息CLD裁出剪辑图像CL的情况下，操作者OP可以检查当前在例如如图10所示的画面上生成的剪辑图像CL。

例如，在该剪辑列表画面70上，将复选框(check box)71、剪辑图像文件的文件编号72、缩略图73、各种类型的附加信息74、入点和出点75、成像时间信息76等显示为对应于每个剪辑图像CL。

此外，显示了用于通过馈送页面来检查大量剪辑的页面馈送按钮78、用于将选择的剪辑发送给后级设备的发送按钮77等。

对于剪辑图像CL中的每个剪辑图像，例如作为附加信息74，可以进行基于元数据MT的显示。将用于帮助操作者OP选择剪辑的信息(诸如场景的名称/类型、运动员的姓名、或者表示事件提取的准确度的得分)显示为附加信息74。

如上所述的剪辑列表画面70使得操作者能够选择任意的剪辑图像CL。当然，可以通过再现剪辑图像CL本身来实际检查内容。

操作者OP对要选择的剪辑图像CL执行在复选框71中勾选的操作，并且操作发送按钮77，因此将剪辑图像CL的数据文件发送给后级设备。

注意，为了进一步帮助操作者OP，信息处理装置1可以使设置信息CLD包括建议信息(推荐信息)。例如，包括基于来自其他成像设备3的图像的分析结果的其他相机角度的插入的建议。可替代地，包括根据反馈接收处理单元1B获取的EDL数据来识别在过去的编辑任务中执行的操作并且例如改变一部分的再现速度的建议或其他建议。通过显示这样的推荐信息例如作为附加信息74，可以使操作者OP的选择操作便利。这使得能够减轻施加于操作者OP的编辑操作负担。

<5.使用反馈信息的操作>

根据实施例的信息处理装置1还可以通过使用反馈接收处理单元1B的功能来执行使用反馈信息FBD的各种类型的处理。

如上所述，信息处理装置1获取操作者OP的剪辑选择信息、已使用的剪辑的长度等作为反馈信息FBD。

此外，信息处理装置1还获取表示操作者OP对于已使用的剪辑执行的操作的历史(诸如剪辑的入点和出点的改变或者其他成像设备3捕获的图像的插入)的EDL数据，作为反馈信息FBD。

下面描述使用这些条反馈信息FBD的各种类型的处理的示例。

信息处理装置1可以基于设置信息CLD来确定操作者OP是否已使用由记录设备2生成的剪辑图像CL作为重播图像或精彩片段图像，并且可以对设置信息生成处理提供反馈。

可以想到，根据已使用的剪辑图像CL确定期望的剪辑长度，并且对稍后时间的设置信息CLD的入点和出点进行校正。

此外，可以根据已使用的剪辑图像CL的相机角度、变焦状态等学习操作者OP对于期望的精彩片段图像的喜好，并且可以使这样的图像容易地形成到剪辑中。

例如，信息处理装置1预先基于反馈信息FBD来确定在广播中频繁使用的相机角度或变焦状态。然后，例如，在三个成像设备3已提取相同事件的情况下，以从由所述三个成像设备捕获的图像之中使具有到目前为止频繁使用的角度或变焦状态的图像变成主要图像这样的方式来生成设置信息CLD。通过这样做，可以自动地生成很可能使用的剪辑图像CL。

此外，信息处理装置1还可以通过除了已使用的剪辑的长度或EDL数据之外还获取与操作者OP相关的信息来执行模仿操作者OP的操作的自动裁出编辑。例如，通过收集用作个体操作者OP的操作历史的选择剪辑信息、EDL数据等，可以学习该操作者的喜好。因此，通过在设置信息CLD中反映学习结果，可以生成操作者喜欢的剪辑图像CL。可替代地，还可以生成模拟操作者OP的操作的剪辑图像CL。

此外，还可以为每个操作者提供推荐信息。

信息处理装置1针对每个个体操作者OP预先存储反馈信息FBD。然后，确定操作者对剪辑选择的喜好，并且添加用作元数据MT的附加信息或推荐信息。

还可以想到，例如参考系统外数据并且推荐类似的场景。

在已能够学习操作者OP的选择的趋势的情况下，可以基于与该趋势的匹配程度对生成的剪辑图像CL给予优先级次序，并且可以呈现给操作者OP。

信息处理装置1可以控制成像设备3的操作。

信息处理装置1基于反馈信息FBD来确定很可能被操作者OP选择的剪辑图像CL的趋势，诸如相机角度或变焦状态。以使用该相机角度或变焦状态这样的方式生成控制信号CTR，并且自动地控制成像设备3的操作。通过这样做，可以提高剪辑图像CL的质量/内容。

此外，还可以想到，信息处理装置1从分析引擎90获取表示例如检测到图像信号PS2的图像不清楚的某种类型的信息，生成针对成像设备3的控制信号CTR，并且控制成像设备3的焦点状态、亮度(曝光值)等。

当如上所述优化成像设备3的成像操作时，分析引擎90执行的分析的精度也提高，并且这导致事件提取精度的提高。

注意，信息处理装置1可以不将生成的设置信息CLD发送给记录设备2而仅将控制信号CTR发送给成像设备3，并且可以不生成剪辑图像CL而仅自动地控制成像设备3的操作。此外，被自动地控制的设备不限于成像设备3，并且如果分析图像信号PS1并且基于该图像信号PS1的事件提取信息EV执行控制，则任何设备都可以被自动地控制。示例包括汽车的自动驾驶控制等。

信息处理装置1可以将反馈信息FBD提供给分析引擎90。使分析引擎90基于反馈信息FBD来学习操作者OP的剪辑选择的趋势，并且提取与该趋势匹配的事件。

通过这样做，可以提高信息处理装置1接收到的事件提取信息EV的精度。

当然，信息处理装置1本身可以执行使用反馈信息FBD的学习处理，并且可以将结果反映在设置信息CLD的生成中。

例如，信息处理装置1学习在广播中很可能使用的事件、场景、相机角度、变焦状态等。例如，将事件划分为集群(cluster)，并且针对这些集群中的每个集群学习选择的趋势。然后，将该趋势反映在设置信息中。例如，将该趋势反映在入点和出点、元数据或推荐数据的设置中。

作为反馈，可以获取成像设备3的相机数据，诸如变焦或摇摄/俯仰。可以将使用相机数据的学习结果反映在设置信息CLD中，或者也可以设置对操作者OP的呈现的优先级次序。

此外，如果预先设置了摄影师的姓名等并操作了系统，并且信息处理装置1获取诸如变焦或摇摄/俯仰的相机数据，则可以关联与事件相对应的相机工作。然后，通过在事件发生时自动地控制成像设备3，可以实现模仿摄影师的相机工作。

<6.内窥镜手术系统中的利用的示例>

根据本公开的技术(本技术)可以用在各种产品中。例如，根据本公开的技术可以应用于内窥镜手术系统。

图11是例示说明可以应用根据本公开的技术(本技术)的内窥镜手术系统的示意性配置的示例的图。

图11例示说明手术操作者(外科医生)11131正在通过使用内窥镜手术系统11000来对患者床11133上的患者11132进行手术的状态。如图所示，内窥镜手术系统11000包括内窥镜11100、另一手术器械11110(诸如气腹管11111或者能量治疗工具(energy treatmenttool)11112)、支撑内窥镜11100的支撑臂设备11120、以及安装有用于内窥镜手术的各种设备的手推车11200。

内窥镜11100包括距末端预定长度的区域被插入到患者11132的体腔中的透镜镜筒(lens barrel)11101以及连接到透镜镜筒11101的基端的相机头11102。例示说明的示例表示被配置为包括刚性透镜镜筒11101的所谓的刚性镜的内窥镜11100，但是内窥镜11100可以被配置为包括软性透镜镜筒的所谓的软性镜。

在透镜镜筒11101的末端，设置了嵌入有物镜的开口。内窥镜11100连接到光源设备11203，光源设备11203生成的光由延伸到透镜镜筒的内部的光导引导到透镜镜筒11101的末端，并且经由物镜朝向患者11132的体腔中的观察对象而照射。注意，内窥镜11100可以是直视内窥镜，或者可以是斜视内窥镜或侧视内窥镜。

在相机头11102的内部，设置了光学系统和成像元件，并且来自观察对象的反射光(观察光)被光学系统会聚到成像元件中。由成像元件对观察光执行光电转换，并且生成与观察光相对应的电信号，也就是说，与观察图像相对应的图像信号。该图像信号被作为原始数据发送给相机控制单元(CCU)11201。

CCU 11201包括中央处理单元(CPU)、图形处理单元(GPU)等，并且整体地控制内窥镜11100和显示设备11202的操作。而且，CCU 11201从相机头11102接收图像信号，并且对该图像信号执行用于显示基于该图像信号的图像的各种类型的图像处理，诸如显影处理(去马赛克处理)。

在CCU 11201的控制下，显示设备11202显示基于已由CCU11202执行了图像处理的图像信号的图像。

光源设备11203包括诸如发光二极管(LED)的光源，并且向内窥镜11100供应对手术部位等进行成像时的辐照光。

输入设备11204是针对内窥镜手术系统11000的输入接口。用户可以经由输入设备11204将各种类型的信息或指示输入到内窥镜手术系统11000。例如，用户输入改变内窥镜11100的成像条件(辐照光的类型、放大倍率、焦距等)的指示等。

治疗工具控制设备11205控制用于组织的烧灼、切开、血管的封闭等的能量治疗工具11112的驱动。出于确保内窥镜11100的视场以及确保手术操作者的作业空间的目的，气腹设备11206经由气腹管11111将气体馈送到体腔中以扩大患者11132的体腔。记录仪11207是可以记录与手术相关的各种类型的信息的设备。打印机11208是可以以诸如文本、图像或图形的各种形式打印与手术相关的各种类型的信息的设备。

注意，向内窥镜11100供应对手术部位进行成像时的辐照光的光源设备11203可以包括例如包含LED、激光光源或者LED和激光光源的组合的白色光源。在白色光源包括RGB激光光源的组合的情况下，可以以高精度控制每个颜色(每个波长)的输出强度和输出定时，因此可以在光源设备11203中调整捕获的图像的白平衡。此外，在这种情况下，通过以时分方式利用来自RGB激光光源中的每个激光光源的激光束辐照观察对象，并且与辐照的定时同步地控制相机头11102的成像元件的驱动，可以以时分方式捕获与RGB中的每个相对应的图像。通过采用该方法，可以不在成像元件中设置滤色器而获得彩色图像。

此外，可以控制光源设备11203的驱动以在每个预定时段改变输出光的强度。通过与光的强度的改变的定时同步地控制相机头11102的成像元件的驱动、以时分方式获取图像并且组合图像，可以生成没有所谓的遮挡阴影(blocked-up shadow)和爆裂高光(blown-out highlight)的高动态范围的图像的。

此外，光源设备11203可以被配置为能够供应与特殊光观察相对应的预定频带中的光。在特殊光观察中，通过使用例如身体组织中的光的吸收的波长依赖性来照射比正常观察中的辐照光(即，白色光)的频带窄的频带中的光，执行以高对比度对预定组织(诸如粘膜表层的血管)进行成像的所谓的窄频带成像。可替代地，在特殊光观察中，可以执行通过使用由于用激发光辐照而生成的荧光来获得图像的荧光观察。在荧光观察中，例如，可以通过用激发光辐照身体组织来观察来自身体组织的荧光(自体荧光观察)，或者可以通过将吲哚菁绿(ICG)等的试剂注入到身体组织中并且利用与该试剂的荧光波长相对应的激发光辐照身体组织来获得荧光图像。光源设备11203可以被配置为能够供应与这样的特殊光观察相对应的窄频带光和/或激发光。

图12是例示说明图11所示的相机头11102和CCU 11201的功能配置的示例的框图。

相机头11102包括透镜单元11401、成像单元11402、驱动单元11403、通信单元11404以及相机头控制器11405。CCU 11201包括通信单元11411、图像处理单元11412以及控制器11413。相机头11102和CCU 11201通过传输线缆11400彼此可通信地连接。

透镜单元11401是设在与透镜镜筒11101的连接部分中的光学系统。已从透镜镜筒11101的末端摄入的观察光被引导到相机头11102，并且进入透镜单元11401。透镜单元11401包括包含变焦透镜和聚焦透镜的多个透镜的组合。

一个成像元件可以构成成像单元11402(所谓的单板式)，或者多个成像元件可以构成成像单元11402(所谓的多板式)。在以多板式配置成像单元11402的情况下，例如，通过使用各个成像元件生成分别对应于RGB的图像信号并且组合这些图像信号，从而获得彩色图像。可替代地，成像单元11402可以包括与三维(3D)显示相对应的分别获取用于右眼和左眼的图像信号的一对成像元件。通过进行3D显示，手术操作者11131可以更准确地掌握手术部分中的生物组织的深度。注意，在以多板式配置成像单元11402的情况下，还可以设置与相各个成像元件相对应的多个透镜单元11401。

此外，成像单元11402不总是需要设在相机头11102中。例如，成像单元11402可以在透镜镜筒11101内部设在物镜的正后方。

驱动单元11403包括致动器，并且在相机头控制器11405的控制下将透镜单元11401的变焦透镜和聚焦透镜沿着光轴移动预定长度。通过这样做，可以适当地调整由成像单元11402捕获的图像的倍率和焦点。

通信单元11404包括将各种类型的信息发送给CCU 11201或者从CCU 11201接收各种类型的信息的通信设备。通信单元11404将从成像单元11402获取的图像信号作为原始数据经由传输线缆11400发送给CCU 11201。

此外，通信单元11404从CCU 11201接收用于控制相机头11102的驱动的控制信号，并且将该控制信号供应给相机头控制器11405。控制信号包括与成像条件相关的信息，例如表示将指定所捕获的图像的帧速率的信息、表示将指定成像时的曝光值的信息、表示将指定所捕获的图像的放大倍率和焦点的信息和/或其他信息。

注意，诸如帧速率、曝光值、放大倍率或焦点的上述成像条件可以由用户适当地指定，或者可以基于由CCU 11201的控制器11413获取的图像信号来自动地设置。在后一种情况下，在内窥镜11100中安装有所谓的自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。

相机头控制器11405基于已经经由通信单元11404从CCU 11201接收到的控制信号来控制相机头11102的驱动。

通信单元11411包括将各种类型的信息发送给相机头11102或者从相机头11102接收各种类型的信息的通信设备。通信单元11411经由传输线缆11400接收已从相机头11102发送的图像信号。

此外，通信单元11411将用于控制相机头11102的驱动的控制信号发送给相机头11102。可以在电信、光学通信等中发送图像信号或控制信号。

图像处理单元11412对已从相机头11102发送并且用作原始数据的图像信号执行各种类型的图像处理。

控制器11413执行与通过使用内窥镜11100对手术部分等的成像以及在手术部位等的成像中获得的捕获图像的显示相关的各种类型的控制。例如，控制器11413生成用于控制相机头11102的驱动的控制信号。

此外，控制器11413基于已由图像处理单元11412执行了图像处理的图像信号来使显示设备11202显示表示手术部位等的捕获图像。此时，控制器11413可以通过使用各种类型的图像识别技术来识别捕获图像中的各种物体。例如，控制器11413可以通过检测捕获图像中包括的物体的边缘的形状、颜色等来识别诸如钳子的手术器械、特定的活体区域、出血、能量治疗工具11112的使用时的雾气等。当控制器11413使显示设备11202显示捕获图像时，控制器11413可以通过使用识别的结果来使得以将各种类型的手术辅助信息叠加到表示手术部位的图像上这样的方式进行显示。通过叠加显示手术辅助信息并且向手术操作者11131呈现手术辅助信息，可以减轻施加于手术操作者11131的负担，并且手术操作者11131可以可靠地推进手术。

连接相机头11102和CCU 11201的传输线缆11400是与电信号的通信相对应的电信号线缆、与光学通信相对应的光纤、或者电信号线缆和光纤的复合线缆。

这里，在图示的示例中，通过使用传输线缆11400有线地执行通信，但是可以无线地执行相机头11102和CCU 11201之间的通信。

以上已经描述了可以应用根据本公开的技术的内窥镜手术系统的示例。可以将根据本公开的技术应用于上述配置中的控制器11413。

当正在进行手术时，在一些情况下发生出血或穿孔。如果未注意到该状态而继续进行手术，则在一些情况下产生致命伤。因此，控制器11413将由实时执行成像的内窥镜11100获取的捕获图像作为用于实时处理的图像信号发送给分析引擎，分析引擎检测捕获图像中的颜色等以确定出血等作为事件，因此控制器11413接收该事件的事件提取信息，并且通过使用该事件提取信息将重播图像呈现给手术操作者11131。这使得手术操作者能够立即掌握情况并且可靠地推进手术。

注意，这里已描述了内窥镜手术系统作为示例，但是也可以将根据本公开的技术应用于例如显微镜手术系统等。

<7.移动体中的利用的示例>

此外，根据本公开的技术(本技术)可以作为例如安装在任何类型的移动体(诸如汽车、电动汽车、混合电动汽车、摩托车、自行车、个人移动装置(personal mobility)、飞机、无人机、船或者机器人)中的装置而实现。

图13是例示说明作为可以应用根据本公开的技术的移动体控制系统的一个示例的车辆控制系统的示意性配置示例的框图。

车辆控制系统12000包括经由通信网络12001连接的多个电子控制单元。在图13所示的示例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040以及综合控制单元12050。此外，作为综合控制单元12050的功能配置，图示了微型计算机12051、声音或图像输出单元12052和车载网络接口(I/F)12053。

驱动系统控制单元12010根据各种程序来控制与车辆的驱动系统相关的设备的操作。例如，驱动系统控制单元12010用作产生车辆的驱动力的驱动力产生设备(诸如内燃机或驱动电机)、将驱动力传送到车轮的驱动力传送机构、调整车辆的转向角度的转向机构、产生车辆的制动力的制动设备等的控制设备。

车身系统控制单元12020根据各种程序来控制车身中配备的各种设备的操作。例如，车身系统控制单元12020用作无钥匙进入系统、智能钥匙系统、电动窗设备或者各种灯(诸如前照灯、后照灯、制动灯、转弯信号灯或者雾灯)的控制设备。在这种情况下，可以将从代替钥匙的便携式机器发送的无线电波或者各种开关的信号输入到车身系统控制单元12020。车身系统控制单元12020接收这些无线电波或信号的输入，并且控制车辆的门锁设备、电动窗设备、灯等。

车外信息检测单元12030检测与安装有车辆控制系统12000的车辆的外部相关的信息。例如，车外信息检测单元12030连接到成像单元12031。车外信息检测单元12030使成像单元12031捕获车辆外部的图像，并且接收捕获图像。车外信息检测单元12030可以基于接收到的图像来对人、汽车、障碍物、交通标志、路面上的字符等执行物体检测处理或距离检测处理。

成像单元12031是接收光并且输出与该光的受光量相对应的电信号的光学传感器。成像单元12031可以将电信号作为图像输出，或者可以将电信号作为测距信息输出。此外，成像单元12031接收到的光可以是可见光，或者可以是诸如红外光的不可见光。

车内信息检测单元12040检测车内信息。车内信息检测单元12040连接到例如检测驾驶者的状态的驾驶者状态检测器12041。驾驶者状态检测器12041包括对例如驾驶者进行成像的相机，车内信息检测单元12040基于从驾驶者状态检测器12041输入的检测信息可以计算驾驶者的疲劳程度或专心程度，或者可以确定驾驶者是否正在打盹。

微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040获取的车内或车外信息来计算驱动力产生设备、转向机构或制动设备的控制目标值，并且可以将控制命令输出到驱动系统控制单元12010。例如，微型计算机12051可以执行旨在实现先进驾驶辅助系统(advanced driver assistance system，ADAS)的功能的协作控制，ADAS包括车辆碰撞避免或缓冲、基于车辆间距离的跟踪行进、车速保持行进、车辆碰撞警告、车辆车道偏离警告等。

此外，微型计算机12051可以基于已由车外信息检测单元12030或车内信息检测单元12040获取的与车辆的周边相关的信息来控制驱动力产生设备、转向机构、制动设备等，从而执行旨在不依赖于驾驶者的操作而自主行进的自动驾驶等的协作控制。

此外，微型计算机12051可以基于由车外信息检测单元12030获取的车外信息来将控制命令输出到车身系统控制单元12030。例如，微型计算机12051可以根据已由车外信息检测单元12030感测到的前方车辆或迎面车辆的位置来控制前照灯，并且可以执行旨在防眩光的协作控制，诸如将远光灯切换到近光灯。

声音或图像输出单元12052将声音或图像中的至少一个的输出信号发送给可以视觉地或听觉地向车辆的乘客或车辆的外部报告信息的输出设备。在图13的示例中，图示了音频扬声器12061、显示单元12062和仪表板12063作为输出设备。显示单元12062可以包括例如车载显示器或平视显示器中的至少一个。

图14是例示说明成像单元12031的安装位置的示例的图。

图14例示说明成像单元12101、12102、12103、12104和12105作为成像单元12031。

成像单元12101、12102、12103、12104和12105设在例如车辆12100的前鼻、侧视镜、后保险杠、后门、车舱中的挡风玻璃的上部等位置。前鼻中包括的成像单元12101和车舱中的挡风玻璃的上部中包括的成像单元12105主要获取车辆12100的前侧的图像。侧视镜中包括的成像单元12102和12103主要获取车辆12100的侧面的图像。后保险杠或后门中包括的成像单元12104主要获取车辆12100的后侧的图像。车舱中包括的挡风玻璃的上部中的成像单元12105主要用于检测前方车辆、行人、障碍物、交通灯、交通标志、交通车道等。

注意，图14例示说明成像单元12101至12104的成像范围的示例。成像范围12111表示前鼻中设置的成像单元12101的成像范围，成像范围12112和12113分别表示侧视镜中设置的成像单元12102和12103的成像范围，成像范围12114表示后保险杠或后门中设置的成像单元12104的成像范围。例如，通过彼此叠加已由成像单元12101至12104捕获的多条图像数据来获得从上方查看车辆12100的俯瞰图像。

成像单元12101至12104中的至少一个成像单元可以具有获取距离信息的功能。例如，成像单元12101至12104中的至少一个成像单元可以是包括多个成像元件的立体相机，或者可以是包括用于检测相位差的像素的成像元件。

例如，微型计算机12051可以基于从成像单元12101至12104获取的距离信息来获得距成像范围12111至12114中的每个三维物体的距离以及该距离的时间变化(相对于车辆12100的相对速度)，从而提取特别是在车辆12100的前进路线上最靠近的并且在与车辆12100的方向几乎相同的方向上以预定速度(例如0km/h以上)行进的三维物体作为前方车辆。而且，微型计算机12051可以在前方车辆的前面预先设置要确保的车辆间距离，并且可以执行自动制动控制(包括跟踪停止控制)、自动加速控制(包括跟踪启动控制)等。如上所述，可以执行旨在不依赖于驾驶者执行的操作而自主行进的自动驾驶等的协作控制。

例如，微型计算机12051可以基于从成像单元12101至12104获取的距离信息来将与三维物体相关的多条三维数据分类为摩托车、普通车辆、大型车辆、行人和诸如电线杆的其他三维物体，以提取多条三维数据，并且可以使用这些三维数据来自动地避开障碍物。例如，微型计算机12051对车辆12100周围的障碍物进行标识，以将障碍物划分为车辆12100的驾驶者可以视觉地识别的障碍物和难以视觉地识别的障碍物。然后，微型计算机12051确定表示与障碍物中的每个障碍物发生碰撞的风险程度的碰撞风险。在碰撞风险大于或等于设置值并且存在碰撞的可能性的情形下，微型计算机12051经由音频扬声器12061或显示单元12062向驾驶者输出警报，或者经由驾驶系统控制单元12010执行强制减速或避让转向，这使得能够实现用于碰撞避免的驾驶辅助。

成像单元12101至12104中的至少一个成像单元可以是检测红外线的红外相机。例如，微型计算机12051可以通过确定由成像单元12101至12104捕获的图像中是否存在行人来识别该行人。通过提取由用作例如红外相机的成像单元12101至12104捕获的图像中特征点的过程、以及对表示物体的轮廓的连续的特征点执行模式匹配处理并确定这些连续的特征点是否是行人的过程执行来这样的行人识别。当微型计算机12051确定由成像单元12101-12104捕获的图像中存在行人并识别该行人时，声音或图像输出单元12052以显示用于强调的矩形轮廓线以将其叠加到识别出的行人上这样的方式控制显示单元12062。此外，声音或图像输出单元12052可以使显示单元12062在期望的位置上显示表示行人的图标等。

以上已经描述了可以应用根据本公开的技术的车辆控制系统的示例。可以将根据本公开的技术应用于上述配置中的微型计算机12051。

为了执行旨在自动驾驶的控制，基于在实时成像中获取的信息来执行控制。微型计算机12051将从成像单元12101至12104获取的成像信息作为用于实时处理的图像信号发送给分析引擎，分析引擎对距成像范围12111至12114中的每个三维物体的距离或时间变化进行分析。分析引擎基于这些分析结果来确定与每个三维物体发生碰撞的风险作为事件，并且将该事件的事件提取信息发送给微型计算机12051。微型计算机12051使用该事件提取信息，并且在存在碰撞的可能性的情形下，经由音频扬声器12061或显示单元12062向驾驶者输出警报，或者经由驾驶系统控制单元12010执行强制减速或避让转向。这使得能够实现用于碰撞避免的驾驶辅助。此外，通过将与驾驶者已响应于驾驶辅助而执行了不同的操作的情况相关的信息或其他信息作为反馈信息累积在分析引擎或微型计算机12051中，确定使用事件提取信息的控制是否是正确的，并且每次改变事件提取或者使用该事件提取信息的分析算法。这使得能够提高驾驶辅助的精度。

<8.总结和变型>

根据上述本实施例，可以表现出以下效果。

根据本实施例的信息处理装置1包括执行第一处理和第二处理的事件分析器1A，第一处理用于将接收到的图像信号PS1转换为用于实时处理的图像信号PS2，并且将图像信号PS2发送给位于外部的分析引擎90，第二处理用于接收已从分析引擎90接收到的事件提取信息EV，并且通过使用该事件提取信息EV来生成剪辑图像CL的设置信息CLD。

通过由信息处理装置1执行上述第一处理和第二处理，可以自动地裁出用作重播图像或用于精彩片段的图像的剪辑图像，并且可以促进操作效率的提高、人力节省或者成本的降低。

例如，在体育广播等的情况下，为了针对已实时捕获的图像(运动图像视频)广播重播或精彩片段场景，在广播期间在短时间内提取该图像中的事件并且将其形成为剪辑。如果这是由操作者检查记录的运动图像并且对于重要场景确定要形成为剪辑的图像的范围(入点和出点)而执行的，则提取图像的任务并不简单，并且需要迅速性。因此，对工作人员施加了极大的任务负担。在实施例的情况下，可以表现出很大的效果，其中可以消除这样的取决于人力的任务，并且可以提取适当的剪辑。

此外，来自外部分析引擎90的事件提取信息EV没有不改变而用作用于裁出剪辑图像CL的设置信息CLD。换句话说，例如，修改了分析引擎90的事件提取结果。通过这样做，可以不依赖于分析引擎90的性能而提高裁出图像的精度。

在第一处理中，根据实施例的信息处理装置1(事件分析器1A)已通过使用图像信号PS1(PS2)的信息量和用于向分析引擎90进行发送的传输线路80的频带信息而确定了是否将对图像信号执行信息量减少处理(参见图6中的S102至S104)。

例如，存在由于由用作实时运动图像的图像信号的帧速率或分辨率规定的信息量和传输线路的频带的情况而损害实时性的可能性。在本实施例中，在图像信号的信息量的减少和用于向分析引擎进行发送的传输线路的频带信息之间进行比较，并且确定是否将需要对图像信号执行信息量减少处理(S106)。

在需要执行信息量减少处理的情况下，执行信息量减少处理，并且不管频带如何都可以保持实时性。

在频带足够的情况下，不执行信息量减少处理并且将具有高帧速率和高分辨率的图像信息PS2发送给分析引擎90就可以，并且未对信息处理装置1施加信息量减少处理的处理负荷。此外，在分析引擎90侧，获取具有大量信息的图像信息，并且可以以高精度执行事件分析。

在信息量减少处理中，根据实施例的信息处理装置1(事件分析器1A)已通过使用频带信息和与对应于图像信号PS1(PS2)的信息量的分析引擎90的精度相关的信息来确定减少之后的信息量(S105)。

在减少信息量的情况下，参考与相对于图像信号的信息量的分析引擎的精度相关的信息，考虑该信息和传输线路的频带信息来确定减少处理的程度，这使得能够进行在可以保持实时性的范围内引起最大信息量的减少处理。而且，在保持不干扰分析引擎中的分析的信息量的状态下，可以应对传输线路的频带状况。通过这样做，可以保持分析引擎中的信息的质量，作为结果，可以自动地设置高精度剪辑图像。

在实施例中，已描述了在第一处理中信息处理装置1(事件分析器1A)执行用于将从记录设备2接收到的图像信号PS1编码为流媒体图像信号并且将该流媒体图像信号发送给分析引擎90的处理的示例。

通过这样做，在使用根据流媒体图像信号执行事件提取的分析引擎90的情况下，可以不损害实时性而发送图像信号PS2。

在实施例中，已描述了在第一处理中信息处理装置1(事件分析器1A)执行用于将从记录设备2接收到的图像信号PS1划分为具有固定的或不固定的时间长度的图像时段、形成图像文件并且将这些图像文件发送给分析引擎的处理的示例。

例如，将用作实时运动图像的图像信号编码为各包括大约5到10秒的时段的场景的图像文件，并且将这些图像文件顺序地发送给分析引擎。

通过这样做，可以使用根据已形成为表示具有短时段的长度的图像的文件的图像信号来执行事件提取的分析引擎90，并且可以不损害实时性而提供图像信号PS2。

在这种情况下，已描述了信息处理装置1(事件分析器1A)以时间上连续的前面和后面的图像文件包括重叠的部分场景这样的方式生成图像文件的示例(参见图7)。

例如，在大约5到10秒的时段的图像文件中，使前面和后面的图像包括例如大约1秒的重叠场景。

在将每个短时段的图像形成为文件的情况下，很可能在图像分析时前面和后面的文件之间的连接变得不清楚。然而，通过如实施例所述使场景彼此部分重叠，分析引擎90可以容易且准确地识别覆盖多个图像文件的事件。

在实施例中，已描述了以下示例，其中在第二处理中，信息处理装置1(事件分析器1A)生成通过更新已从分析引擎90接收到的事件提取信息EV的入点或出点而获得的设置信息CLD，事件提取信息EV包括入点和出点(参见图8和图9)。

通过这样做，图像系统10可以不依赖于外部分析引擎90的性能而生成用于生成更适当的剪辑的设置信息CLD。换句话说，可以不依赖于分析引擎90而提高裁出图像的精度。

在实施例中，已描述了在第二处理中信息处理装置1(事件分析器1A)通过使用从连接的图像系统10中的装备获取的信息来生成设置信息CLD的示例(参见图9中的S214至S217)。

通过从图像系统10中的每个装备获取信息并且使用该信息，可以生成用于生成更适合于图像系统10的剪辑的设置信息CLD。换句话说，可以不依赖于分析引擎90的分析而生成包括适合于图像系统10的信息的设置信息CLD。

在实施例中，已描述了以下示例，其中在第二处理中，在作为已从分析引擎90接收到的事件提取信息EV存在使用相同事件作为对象的多条事件提取信息EV的情况下，信息处理装置1(事件分析器1A)通过使用该多条事件提取信息EV来生成与所述相同事件相关的剪辑图像的设置信息CLD(图8中的S202至S208)。

例如，在已由多个成像设备3对某个场景进行了成像的情况下，在一些情况下，从分析引擎90提供了与相同事件相关的多条事件提取信息EV。在这种情况下，通过使用将该事件用作对象的多条事件提取信息EV来生成设置信息CLD。

通过这样做，可以基于由多个成像设备3捕获的图像来生成具有更高精度的剪辑设置信息CLD。例如，可以检查多条事件提取信息的入点和出点，并且可以生成已将入点和出点设置为包括各个时段的设置信息。这使得能够提高剪辑裁出精度，例如使得可以生成表示构成事件的场景的无遗漏的剪辑图像CL。

在实施例中，已描述了在第二处理中信息处理装置1(事件分析器1A)通过使用从连接的图像系统外的装备81获取的信息来生成设置信息CLD的示例(参见图9中的S210至S218)。

通过从系统外装备81获取信息并且将该信息反映在设置信息CLD中，可以生成包括进一步丰富的信息的剪辑图像CL。

注意，通过使用来自系统外装备81的数据来更新由分析引擎90呈现的事件提取信息EV，从而可以生成更期望的设置信息CLD。例如，通过使用来自系统外装备81的数据来改变分析引擎90已呈现的入点和出点。

例如，通过从外部获取具有高可靠性的信息，准确地掌握事件的发生的时间，并且更新入点和出点。通过这样做，可以生成用于具有更高精度的剪辑图像CL的设置信息CLD。

在实施例中，已描述了在第二处理中信息处理装置1(事件分析器1A)通过使用从图像系统10中的装备或系统外装备81获取的信息来生成包括元数据控制信息的设置信息CLD的示例(图9中的S210至S213)。

例如，也可以添加与图像剪辑相对应的与足球广播中的运动员相关的信息、与诸如进球场景/开球场景或结束场景等的事件的类型相关的信息。

通过这样做，还可以提供操作者OP可以容易地处理的剪辑图像CL。此外，可以减轻施加于操作者OP的操作负担。

操作者OP由于基于元数据MT的信息的呈现而可以掌握每个剪辑图像CL的内容，并且在一些情况下，可以不花费时间和精力观看内容而选择剪辑。这导致操作者OP执行的操作的效率显著提高。

注意，元数据控制信息可以与用作设置信息CLD的入点和出点分开地发送。在任何情况下，设置信息CLD是用于由信息处理装置1发送给记录设备2以生成剪辑的信息的一般术语，并且不特别规定要传送的每条单独的信息具有什么数据格式或者是否将同时发送多条信息。类似地适用于接下来描述的评价值。

在实施例中，已描述了在第二处理中信息处理装置1(事件分析器1A)生成包括与事件提取相关的评价值(事件提取准确度得分)的设置信息CLD的示例。

如果针对已基于这样的设置信息CLD生成的剪辑图像CL呈现用作评价值的得分，则操作者OP还可以通过使用该得分作为参考来选择剪辑图像CL。因此，例如，可以容易地选择在广播中可以使用的可靠的剪辑图像。

在作为已从分析引擎90接收到的事件提取信息EV存在使用相同事件作为对象的多条事件提取信息EV的情况下，根据实施例的信息处理装置1(事件分析器1A)针对与该事件相关的剪辑图像的设置信息CLD已增大了评价值(事件提取准确度得分)(图8中的S207)。

在相同场景已被多个成像设备成像并且该相同场景已作为多条事件提取信息EV而获取的情况下，由多个成像设备3成像的重要场景已作为事件而提取的可能性高。因此，增大评价值。

通过这样做，表示已适当地执行了事件提取，也就是说，分析引擎90已提取了重要事件，并且可以添加适当的信息作为用于剪辑选择的指导。

此外，根据实施例的信息处理装置1(事件分析器1A)已基于与事件提取信息EV所表示的场景相关的成像设备3的操作信息(相机数据)改变了针对基于该事件提取信息的设置信息CLD的评价值(事件提取准确度得分)(图9中的S217)。

例如，通过参考针对由事件提取信息指定的场景的成像设备的操作信息，可以确定是否已经适当地执行了成像。因此，参考操作信息，并且改变评价值。

通过这样做，在用作提取的事件的场景的图像是具有未对焦状态的图像的情况下以及在其他情况下，例如可以减小评价值。当然，在操作状态适当的情况下，可以增大评价值。这样的评价值(事件提取准确度得分)是用于剪辑选择的适当的指导信息。

根据实施例的信息处理装置1包括反馈接收处理单元1B，该反馈接收处理单元从连接的图像系统10中的装备接收反馈信息FBD，并且执行预定处理。

信息处理装置1可以通过从图像系统10中的每个装备(诸如成像设备3、记录设备2或图像发送控制设备4)获取信息来执行用于生成适当的设置信息的学习等。

在实施例中，反馈信息FBD已包括了与已使用的剪辑图像CL相关的信息。

例如，反馈操作者OP选择(使用)的剪辑图像CL的选择信息(使用信息)，并且将其反映在预定处理中。

通过反馈图像发送控制设备4中的剪辑图像的选择信息，也就是说，与广播中使用的剪辑图像相关的信息，信息处理装置1可以学习什么剪辑很可能被选择，或者可以通过使用学习的结果来生成与选择的趋势匹配的设置信息CLD。通过这样做，可以生成更适合于使用的剪辑。

在实施例中，已描述了信息处理装置1(反馈接收处理单元1B)对成像设备3执行操作控制作为使用反馈信息FBD的预定处理的示例。

例如，通过基于适当的反馈信息FBD来控制诸如焦点、亮度或变焦这样的成像设备3的操作，可以使成像设备2以对事件提取有利这样的方式进行操作，并且可以提高事件检测精度。

此外，通过使对成像设备3执行的操作控制自动化，可以减少摄影师的数量，并且可以节省人力。

根据实施例的程序是使例如CPU、DSP或者包括CPU或DSP的设备执行已在上述实施例中描述的图6的第一处理以及图8和图9的第二处理的程序。

换句话说，根据实施例的程序是使信息处理装置1执行第一处理和第二处理的程序，第一处理用于将接收到的图像信号转换为用于实时处理的图像信号，并且将该图像信号发送给位于外部的分析引擎90，第二处理用于接收从分析引擎90接收到的事件提取信息EV，并且通过使用该事件提取信息EV来生成剪辑图像CL的设置信息CLD。可以用这样的程序来实现上述信息处理装置1。

这样的程序可以被预先记录在用作合并到诸如计算机设备的装备的记录介质的HDD、包括CPU的微型计算机中的ROM等中。

可替代地，这样的程序可以被暂时地或永久地存储(记录)在诸如柔性盘、紧凑盘只读存储器(CD-ROM)、磁光(MO)盘、数字多功能盘(DVD)、蓝光盘(注册商标))、磁盘、半导体存储器或者存储卡这样的可移动记录介质中。这样的可移动记录介质可以作为所谓的软件包(package software)而提供。

此外，这样的程序可以从可移动记录介质安装到个人计算机等中，或者可以经由诸如局域网(LAN)或互联网的网络从下载站点下载。

此外，这样的程序适合于提供范围广泛的根据实施例的信息处理装置1。通过将所述程序下载到例如个人计算机、便携式信息处理设备、图像编辑设备、广播装备、便携式电话、游戏装备、视频装备、个人数字助理(PDA)等中，可以使所述个人计算机等用作根据本公开的信息处理装置1。

注意，本文中描述的效果仅仅是说明性的而非限制性的，并且可以表现出其他效果。

注意，本技术还可以采用下面描述的配置。

(1)

一种信息处理装置，包括：

事件分析器，该事件分析器执行：

第一处理，用于将接收到的图像信号转换为用于实时处理的图像信号，并且将该图像信号发送给位于外部的分析引擎；以及

第二处理，用于接收已从所述分析引擎接收到的事件提取信息，并且通过使用该事件提取信息来生成剪辑图像的设置信息。

(2)

上述(1)中描述的信息处理装置，

其中，在所述第一处理中，所述事件分析器通过使用所述图像信号的信息量和用于向所述分析引擎进行发送的传输线路的频带信息来确定是否将对所述图像信号执行信息量减少处理。

(3)

上述(2)中描述的信息处理装置，

其中，在所述信息量减少处理中，所述事件分析器通过使用所述频带信息和与所述分析引擎的精度相关的信息来确定减少之后的信息量，所述精度对应于所述图像信号的信息量。

(4)

上述(1)至(3)中的任何一项中描述的信息处理装置，

其中，在所述第一处理中，所述事件分析器执行用于将接收到的图像信号编码为流媒体图像信号并且将该流媒体图像信号发送给所述分析引擎的处理。

(5)

上述(1)至(3)中的任何一项中描述的信息处理装置，

其中，在所述第一处理中，所述事件分析器执行用于将接收到的图像信号划分为具有固定的或不固定的时间长度的图像时段、形成图像文件、并且将该图像文件发送给所述分析引擎的处理。

(6)

上述(5)中描述的信息处理装置，

其中，所述事件分析器生成前面和后面的图像文件包括重叠的部分场景的图像文件，所述前面和后面的图像文件是时间上连续的。

(7)

上述(1)至(6)中的任何一项中描述的信息处理装置，

其中，在所述第二处理中，所述事件分析器生成通过更新已经从所述分析引擎接收到的事件提取信息的入点或出点而获得的所述设置信息，所述事件提取信息包括所述入点和所述出点。

(8)

上述(1)至(7)中的任何一项中描述的信息处理装置，

其中，在所述第二处理中，所述事件分析器通过使用从连接的图像系统中的装备获取的信息来生成所述设置信息。

(9)

上述(1)至(8)中的任何一项中描述的信息处理装置，

其中，在所述第二处理中，在作为已从所述分析引擎接收到的事件提取信息存在将相同事件用作对象的多条事件提取信息的情况下，所述事件分析器通过使用该多条事件提取信息来生成与该相同事件相关的剪辑图像的设置信息。

(10)

上述(1)至(9)中的任何一项中描述的信息处理装置，

其中，在所述第二处理中，所述事件分析器通过使用从连接的图像系统外的装备获取的信息来生成所述设置信息。

(11)

上述(1)至(10)中的任何一项中描述的信息处理装置，

其中，在所述第二处理中，所述事件分析器通过使用从图像系统中的装备或图像系统外的装备获取的信息来生成包括元数据控制信息的所述设置信息。

(12)

上述(1)至(11)中的任何一项中描述的信息处理装置，

其中，在所述第二处理中，所述事件分析器生成包括与事件提取相关的评价值的所述设置信息。

(13)

上述(12)中描述的信息处理装置，

其中，在作为已经从所述分析引擎接收到的事件提取信息存在将相同事件用作对象的多条事件提取信息的情况下，所述事件分析器增大针对与该相同事件相关的剪辑图像的设置信息的评价值。

(14)

上述(12)或(13)中描述的信息处理装置，

其中，所述事件分析器基于成像设备的操作信息来改变针对基于所述事件提取信息的设置信息的评价值，所述操作信息与所述事件提取信息所表示的场景相关。

(15)

上述(1)至(14)中的任何一项中描述的信息处理装置，还包括：

反馈接收处理单元，从连接的图像系统中的装备接收反馈信息，并且执行预定处理。

(16)

上述(15)中描述的信息处理装置，

其中，所述反馈信息包括与已使用的剪辑图像相关的信息。

(17)

上述(15)或(16)中描述的信息处理装置，

其中，所述反馈接收处理单元对成像设备执行操作控制作为所述预定处理。

(18)

一种由信息处理装置执行的信息处理方法，所述信息处理方法包括：

第一处理，用于将接收到的图像信号转换为用于实时处理的图像信号，并且将所述图像信号发送给位于外部的分析引擎；以及

第二处理，用于接收已从所述分析引擎接收到的事件提取信息，并且通过使用所述事件提取信息来生成剪辑图像的设置信息。

(19)

一种使信息处理装置执行以下处理的程序：

第一处理，用于将接收到的图像信号转换为用于实时处理的图像信号，并且将所述图像信号发送给位于外部的分析引擎；以及

第二处理，用于接收已从所述分析引擎接收到的事件提取信息，并且通过使用所述事件提取信息来生成剪辑图像的设置信息。

标号列表

1 信息处理装置

1A 事件分析器

1B 反馈接收处理单元

2 记录设备

3 成像设备

4 图像发送控制设备

10 图像系统

80 传输线路

8 系统外装备

90 分析引擎

Claims (19)

1.一种信息处理装置，包括

事件分析器，该事件分析器执行：

第一处理，用于将接收到的图像信号转换为用于实时处理的图像信号，并且将该图像信号发送给位于外部的分析引擎；以及

第二处理，用于接收已从所述分析引擎接收到的事件提取信息，并且通过使用该事件提取信息来生成剪辑图像的设置信息。

2.根据权利要求1所述的信息处理装置，

其中，在所述第一处理中，所述事件分析器通过使用所述图像信号的信息量和用于向所述分析引擎进行发送的传输线路的频带信息来确定是否将对所述图像信号执行信息量减少处理。

3.根据权利要求2所述的信息处理装置，

其中，在所述信息量减少处理中，所述事件分析器通过使用所述频带信息和与所述分析引擎的精度相关的信息来确定减少之后的信息量，所述精度对应于所述图像信号的信息量。

4.根据权利要求1所述的信息处理装置，

其中，在所述第一处理中，所述事件分析器执行用于将接收到的图像信号编码为流媒体图像信号并且将该流媒体图像信号发送给所述分析引擎的处理。

5.根据权利要求1所述的信息处理装置，

其中，在所述第一处理中，所述事件分析器执行用于将接收到的图像信号划分为具有固定的或不固定的时间长度的图像时段、形成图像文件、并且将该图像文件发送给所述分析引擎的处理。

6.根据权利要求5所述的信息处理装置，

其中，所述事件分析器生成前面和后面的图像文件包括重叠的部分场景的图像文件，所述前面和后面的图像文件是时间上连续的。

7.根据权利要求1所述的信息处理装置，

其中，在所述第二处理中，所述事件分析器生成通过更新已经从所述分析引擎接收到的事件提取信息的入点或出点而获得的所述设置信息，所述事件提取信息包括所述入点和所述出点。

8.根据权利要求1所述的信息处理装置，

其中，在所述第二处理中，所述事件分析器通过使用从连接的图像系统中的装备获取的信息来生成所述设置信息。

9.根据权利要求1所述的信息处理装置，

其中，在所述第二处理中，在作为已从所述分析引擎接收到的事件提取信息存在将相同事件用作对象的多条事件提取信息的情况下，所述事件分析器通过使用该多条事件提取信息来生成与该相同事件相关的剪辑图像的设置信息。

10.根据权利要求1所述的信息处理装置，

其中，在所述第二处理中，所述事件分析器通过使用从连接的图像系统外的装备获取的信息来生成所述设置信息。

11.根据权利要求1所述的信息处理装置，

其中，在所述第二处理中，所述事件分析器通过使用从图像系统中的装备或图像系统外的装备获取的信息来生成包括元数据控制信息的所述设置信息。

12.根据权利要求1所述的信息处理装置，

其中，在所述第二处理中，所述事件分析器生成包括与事件提取相关的评价值的所述设置信息。

13.根据权利要求12所述的信息处理装置，

其中，在作为已经从所述分析引擎接收到的事件提取信息存在将相同事件用作对象的多条事件提取信息的情况下，所述事件分析器增大针对与该相同事件相关的剪辑图像的设置信息的评价值。

14.根据权利要求12所述的信息处理装置，

其中，所述事件分析器基于成像设备的操作信息来改变针对基于所述事件提取信息的设置信息的评价值，所述操作信息与所述事件提取信息所表示的场景相关。

15.根据权利要求1所述的信息处理装置，还包括：

反馈接收处理单元，从连接的图像系统中的装备接收反馈信息，并且执行预定处理。

16.根据权利要求15所述的信息处理装置，

其中，所述反馈信息包括与已使用的剪辑图像相关的信息。

17.根据权利要求15所述的信息处理装置，

其中，所述反馈接收处理单元对成像设备执行操作控制作为所述预定处理。

18.一种由信息处理装置执行的信息处理方法，所述信息处理方法包括：

第一处理，用于将接收到的图像信号转换为用于实时处理的图像信号，并且将该图像信号发送给位于外部的分析引擎；以及

第二处理，用于接收已从所述分析引擎接收到的事件提取信息，并且通过使用该事件提取信息来生成剪辑图像的设置信息。

19.一种使信息处理装置执行以下处理的程序：

第一处理，用于将接收到的图像信号转换为用于实时处理的图像信号，并且将该图像信号发送给位于外部的分析引擎；以及

第二处理，用于接收已从所述分析引擎接收到的事件提取信息，并且通过使用该事件提取信息来生成剪辑图像的设置信息。

Images