CN110800313A - 信息处理设备和信息处理方法 - Google Patents

Abstract

本发明提供一种信息处理设备，该信息处理设备设置有设定处理单元，该设定处理单元用于基于由成像装置按时间序列捕获的捕获图像对于捕获图像中包括的对象设定元数据，其中，设定处理单元从捕获图像中检测到的预定事件起按与时间序列相反的反向时间序列处理捕获图像，并且对于捕获图像中包括的对象当中的与预定事件相关的对象设定元数据。

Description

信息处理设备和信息处理方法

技术领域

本公开涉及信息处理设备和信息处理方法。

背景技术

已经开发了用于分析由成像装置捕获的捕获图像并且检测事件的技术。作为用于检测事件的技术，例如，可以例示以下专利文献1中公开的技术。另外，已经开发了用于测量由成像装置捕获的捕获图像中包括的对象的数量的技术。作为用于测量上述捕获图像中包括的对象的数量的技术，例如，可以例示以下专利文献2中公开的技术。

引用列表

专利文献

专利文献1：日本专利申请特许公开第2006-285878号

专利文献2：日本专利申请特许公开第2016-110381号

发明内容

发明要解决的问题

例如，为了各种目的(诸如预防犯罪、体育比赛的分析等)，使用由成像装置捕获的捕获图像(运动图像或静态图像)。

例如，使用专利文献1中公开的技术的装置从捕获图像生成轮廓图像，跟踪轮廓图像中包括的轮廓作为跟踪区域，并且基于跟踪结果来检测和识别事件。

这里，例如，在根据得分决定胜利或失败的体育(诸如足球、橄榄球等)中，包括获得分数的人在内的多个人在一些情况下与诸如得分之类的事件相关。

然而，在如专利文献1中公开的技术中那样跟踪指示人、对象、风景等的轮廓并且检测事件的情况下，仅考虑直接与检测到的事件相关的人等。因此，即使使用与专利文献1中公开的技术有关的处理结果，也不一定可以确定事件的整体情况。

另外，例如，通过使用专利文献2中公开的技术，可以测量从捕获图像中识别的对象的数量。然而，在专利文献2中公开的技术中，没有考虑与从捕获图像中识别的对象的相关性。因此，即使使用与专利文献2中公开的技术有关的处理结果，也不一定可以确定事件的整体情况。

本公开提出了一种新颖且改进的信息处理设备和信息处理方法，该信息处理设备和信息处理方法能够辅助确定基于捕获图像检测到的预定事件。

问题的解决方案

根据本公开，提供了一种信息处理设备，包括：设定处理器，所述设定处理器被配置为基于由成像装置按时间序列捕获的捕获图像对于捕获图像中包括的对象设定元数据，其中，所述设定处理器从捕获图像中检测到预定事件起按与时间序列相反的反向时间序列处理捕获图像，并且对于捕获图像中包括的对象当中的与所述预定事件相关的对象设定元数据。

另外，根据本公开，提供了一种由信息处理设备执行的信息处理方法，所述方法包括：基于由成像装置按时间序列捕获的捕获图像对于捕获图像中包括的对象设定元数据的步骤，其中，在所述设定的步骤中，从捕获图像中检测到预定事件起按与时间序列相反的反向时间序列处理捕获图像，并且对于捕获图像中包括的对象当中的与所述预定事件相关的对象设定元数据。

发明的效果

根据本公开，可以辅助确定基于捕获图像检测到的预定事件。

注意，上述效果不一定是限制性的。与上述效果一起或代替上述效果，可以实现本说明书中描述的效果或可以从本说明书中掌握的其他效果中的任一个。

附图说明

图1是示出根据实施例的信息处理系统的配置的示例的说明图。

图2是示出与根据实施例的信息处理方法有关的设定处理的第一示例的说明性流程图。

图3是示出与根据实施例的信息处理方法有关的设定处理的第一示例的说明性流程图。

图4是示出与根据实施例的信息处理方法有关的设定处理的第一示例的结果的示例的说明图。

图5是示出与根据实施例的信息处理方法有关的设定处理的第一示例的结果的另一示例的说明图。

图6是示出与根据实施例的信息处理方法有关的设定处理的第二示例的说明性流程图。

图7是示出与根据实施例的信息处理方法有关的设定处理的第三示例的说明图。

图8是示出与根据实施例的信息处理方法有关的编辑处理的示例的说明图。

图9是示出与根据实施例的信息处理方法有关的显示处理的示例的说明图。

图10是示出与根据实施例的信息处理方法有关的显示处理的另一示例的说明图。

图11是示出根据本实施例的信息处理设备的配置的示例的框图。

图12是示出根据本实施例的信息处理设备的硬件配置的示例的说明图。

图13是示出图11中所示的设定处理器的配置的示例的框图。

具体实施方式

在下文中，将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，具有基本上相同的功能和配置的组件用相同的附图标记来表示，并且省略对这些结构元件的重复说明。

另外，在下文中，将按以下顺序进行描述。

1、根据实施例的信息处理系统和根据实施例的信息处理方法

2、根据实施例的程序

(根据实施例的信息处理系统和根据实施例的信息处理方法)

在下文中，将在描述根据实施例的信息处理系统的示例的同时描述根据实施例的信息处理方法。

[1]信息处理系统的配置

图1是示出根据实施例的信息处理系统1000的配置的示例的说明图。信息处理系统1000包括例如信息处理设备100、成像装置200、显示装置300和存储装置400。

信息处理设备100、成像装置200、显示装置300和存储装置400各自例如经由网络500以无线或有线方式连接。网络500的示例包括有线网络(诸如局域网(LAN)、广域网(WAN)等)、无线网络(诸如无线局域网(WLAN)等)以及使用通信协议(诸如传输控制协议/因特网协议(TCP/IP)等)的因特网。注意，在根据实施例的信息处理系统中，信息处理设备100、成像装置200、显示装置300和存储装置400中的一些或全部也可以在没有网络500的情况下直接彼此通信。

注意，根据实施例的信息处理系统不限于图1中所示的示例。

例如，成像装置200、显示装置300和存储装置400中的一些或全部可以是信息处理设备100中包括的装置。另外，根据实施例的信息处理系统可以不包括例如显示装置300和存储装置400之一或两者。

另外，在图1中示出了一个成像装置200，但是根据实施例的信息处理系统可以包括多个成像装置200。在根据实施例的信息处理系统包括多个成像装置200的情况下，多个成像装置200中的一些可以是信息处理设备100中包括的成像装置。

另外，在图1中示出了一个显示装置300，但是根据实施例的信息处理系统可以包括多个显示装置300。在根据实施例的信息处理系统包括多个显示装置300的情况下，多个显示装置300中的一些可以是信息处理设备100中包括的显示装置。

另外，在图1中示出了一个存储装置400，但是根据实施例的信息处理系统可以包括多个存储装置400。在根据实施例的信息处理系统包括多个存储装置400的情况下，多个存储装置400中的一些可以是信息处理设备100中包括的存储装置。

在下文中，将主要以图1中所示的信息处理系统1000为例来描述信息处理系统1000中包括的装置。

[1-1]成像装置200

成像装置200是信息处理系统1000中的成像单元，并且从成像处理装置100的角度来看，成像装置200对应于外部成像装置。成像装置200对例如适合于使用信息处理系统1000的目的的区域进行成像，例如“球场或运动场(分析体育比赛的目的的情况的示例)”、“用于提供犯罪预防措施的空间(犯罪预防的目的的情况的示例)”等。成像装置200的位置和姿势之一或两者可以是固定的或者可以变化。

成像装置200包括例如透镜/成像元件和信号处理电路。透镜/成像元件例如由光学系统的透镜和使用多个成像元件(例如互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD))的图像传感器构成。信号处理电路包括例如自动增益控制(AGC)电路和模数转换器(ADC)，并且将由成像元件生成的模拟信号转换为数字信号(图像数据)。此外，例如，信号处理电路执行与原始(RAW)显影有关的各种类型的处理。此外，信号处理电路可以执行各种类型的信号处理，例如白平衡校正处理、色调校正处理、伽马校正处理、YCbCr转换处理、边缘增强处理等。

注意，成像装置200的配置不限于上述示例，并且可以根据以下将描述的成像装置200的应用示例来实现配置。

例如，利用从成像装置200中包括的内部电源(诸如电池等)供应的电力、从连接的外部电源等供应的电力等来驱动成像装置200。

[1-2]显示装置300

显示装置300是信息处理系统1000中的显示单元，并且从信息处理设备100的角度来看，显示装置300对应于外部显示装置。例如，显示装置300显示各种图像，诸如在信息处理设备100中捕获的捕获图像(运动图像或多个静态图像：以下相同)、与显示屏幕上的用户界面(UI)有关的图像等。显示装置300中的显示例如由信息处理设备100来控制。

显示装置300的示例包括液晶显示器、有机电致发光(EL)显示器、阴极射线管(CRT)显示器等。

注意，显示装置300不限于上述示例。

例如，显示装置300可以是穿戴在人体上以供使用的任何可穿戴装置，诸如头戴式显示器、眼镜型装置等。另外，稍后将描述显示装置300的另一应用示例。

例如，利用从显示装置300中包括的内部电源(诸如电池等)供应的电力、从连接的外部电源等供应的电力等来驱动显示装置300。

[1-3]存储装置400

存储装置400是信息处理系统1000中的存储单元，并且从信息处理设备100的角度来看，存储装置400对应于外部存储装置。存储装置400存储例如各种类型的数据，诸如在信息处理设备100中捕获的捕获图像等。

存储装置400的示例包括磁记录介质(诸如硬盘等)、非易失性存储器(诸如闪速存储器等)等。另外，稍后将描述存储装置400的另一应用示例。

[1-4]信息处理设备100

信息处理设备100执行与根据实施例的信息处理方法有关的处理。

[1-4-1]与根据实施例的信息处理方法有关的处理的概要

首先，将描述与由信息处理设备100执行的根据实施例的信息处理方法有关的处理的概要。

例如，在信息处理系统1000用于分析诸如足球、橄榄球等体育比赛的目的的情况下，如上所述，多个人在一些情况下与获得分数的得分事件(事件的示例)相关。另外，例如，即使在信息处理系统1000用于犯罪预防的目的的情况下，多个人在一些情况下与诸如事故、犯罪等(事件的示例)事件相关。与诸如事故、犯罪等事件相关的多个人的示例包括事故中的加害方和受害者、或犯罪中的犯罪者、与犯罪者接触的人等。

如上所述，在如专利文献1中公开的技术中那样跟踪人等的轮廓并且检测事件的情况下，仅考虑直接与检测到的事件相关的人等。另外，在如专利文献2中公开的技术中那样测量从捕获图像中识别的对象的数量的情况下，没有考虑与从捕获图像中识别的对象的相关性。

因此，例如，即使使用诸如专利文献1中公开的技术、专利文献2中公开的技术之类的已知技术，也难以确定“事件的整体情况(诸如事件如何发生)”等。

作为一个示例，给出了从由设置在足球场中的相机(成像装置的示例)捕获的捕获图像中检测得分事件(事件的示例)的示例。在一个球员一直保持球并且得分的情况下，可以通过使用诸如专利文献1中公开的技术之类的已知技术来确定得分事件的整体情况。此外，在多个球员传球并且因此得分的情况下，如果每个球员与球相关，则可以通过使用已知技术来确定与球相关的球员的状况。然而，在多个球员传球并且因此得分的情况下，即使使用已知技术，也可能无法确定每个球员在接球之前如何移动。

另外，作为另一示例，给出了从由犯罪预防相机(成像装置的示例)捕获的捕获图像中检测犯罪事件(事件的示例)的示例。通过使用诸如专利文献1中公开的技术之类的已知技术，可以从捕获图像中寻找并且跟踪直接与犯罪事件相关的犯罪者。然而，即使使用已知技术，也可能无法跟踪例如与犯罪者接触的人的行为、即可能间接与犯罪事件相关的人的行为。

因此，信息处理设备100处理由成像装置200按时间序列捕获的捕获图像，并且对于捕获图像中包括的对象当中的与从捕获图像中检测到的预定事件相关的对象设定元数据。在下文中，基于捕获图像来设定元数据的处理在一些情况下被称为“设定处理”。

这里，根据实施例的由成像装置200按时间序列捕获的捕获图像是例如“作为成像装置200连续地对成像范围内的时间变化进行成像的结果而获得的捕获图像”或“作为成像装置200以预定间隔不连续地对成像范围内的时间变化进行成像的结果而获得的捕获图像”。预定间隔可以是恒定的时间间隔或者可以是不恒定的时间间隔。“作为成像装置200连续地对成像范围内的时间变化进行成像的结果而获得的捕获图像”对应于运动图像。另外，“作为成像装置200以预定间隔不连续地对成像范围内的时间变化进行成像的结果而获得的捕获图像”对应于具有不同捕获时间点的多个静态图像。

在下文中，与“与按时间序列捕获的捕获图像相对应的时间方向”相反的时间方向被称为“反向时间序列”。“与按时间序列捕获的捕获图像相对应的时间方向”对应于从过去到现在或未来的方向，而反向时间序列对应于从某个时间点到过去的方向。

捕获图像中包括的对象的示例包括“人或生物(诸如除人以外的动物等)”和非生物(诸如球、挡球网(backstop)等)之一或两者。注意，根据实施例的对象不限于上述示例。根据实施例的对象的示例包括可以使用从图像中检测对象的任何对象检测处理来检测的任何对象。

从捕获图像中检测对象的对象检测处理可以由信息处理设备100执行，或者可以由信息处理设备100的外部设备执行，诸如信息处理设备100的外部服务器等。在由外部设备执行对象检测处理的情况下，信息处理设备100使用外部设备中的对象检测处理的结果来执行与根据实施例的信息处理方法有关的处理。

从捕获图像中检测到的预定事件的示例包括可以响应于任何事件检测处理而从捕获图像中检测到的任何事件，诸如如上所述的得分事件、事故事件、犯罪事件等。当以在从捕获图像中检测足球中的得分事件的情况下的事件检测处理作为事件检测处理的示例时，例如通过以下方式来检测得分事件：预先设定球门在捕获图像中的位置，随后从捕获图像中跟踪球在比赛期间的位置，并且搜索球进入球门的场景。当以在从捕获图像中检测橄榄球中的得分事件的情况下的事件检测处理作为事件检测处理的示例时，例如通过以下方式来检测得分事件：预先设定球门在捕获图像中的位置，并且随后从捕获图像中搜索保持球的球员经过预设的球门线的场景。另外，事件检测处理可以是基于指示事件的发生的用户操作来检测诸如得分事件等任何事件的处理(与事件的手动检测有关的处理)。

从捕获图像中检测预定事件的事件检测处理可以由信息处理设备100执行，或者可以由信息处理设备100的外部设备执行，诸如信息处理设备100的外部服务器等。在事件检测处理由外部设备执行的情况下，信息处理设备100使用外部设备中的事件检测处理的结果来执行与根据实施例的信息处理方法有关的处理。

根据实施例的与预定事件相关的对象的示例包括“直接与预定事件相关的对象”或“直接与预定事件相关的对象和间接与预定事件相关的对象”。即，与预定事件相关的对象不仅可以包括直接与预定事件相关的对象，而且可以包括间接与预定事件相关的对象。

直接与预定事件相关的对象例如对应于“得分球员”(在预定事件是得分事件的情况下直接与预定事件相关的对象的示例)、“犯罪的犯罪者”(在预定事件是犯罪事件的情况下直接与预定事件相关的对象的示例)等。在下文中，直接与预定事件相关的对象在一些情况下被称为“第一对象”。

另外，间接与预定事件相关的对象例如对应于“将球传给得分球员的球员”(在预定事件是得分事件的情况下间接与预定事件相关的对象的示例)、“与犯罪的犯罪者接触的人”(在预定事件是犯罪事件的情况下间接与预定事件相关的对象的示例)等。在下文中，间接与预定事件相关的对象在一些情况下被称为“第二对象”。

接下来将描述与识别与预定事件相关的对象有关的处理的示例。

根据实施例的元数据是关于与预定事件相关的对象的数据。设定了元数据的对象指示与预定事件相关的对象。即，通过对于信息处理系统1000中的捕获图像中包括的对象设定元数据，在捕获图像中包括的对象当中识别与预定事件相关的对象。

根据实施例的元数据例如包括区分信息，该区分信息用于区分与预定事件相关的对象和对象在捕获图像中的位置。根据实施例的识别信息的示例包括每个对象的特定ID。特定ID可以是随机数，或者可以是包括对捕获图像进行捕获的成像装置200的特定值的值。另外，对象在捕获图像中的位置例如由设定的坐标系的坐标值来表示，诸如以捕获图像中的任意位置为原点的二维坐标等。在下文中，对象在捕获图像中的位置在一些情况下被简称为“对象的位置”。

注意，根据实施例的元数据可以包括关于与预定事件相关的对象的任何数据。在下文中，根据实施例的元数据在一些情况下被称为“标签”。

另外，在对于与预定事件相关的对象设定的元数据中，可以设置层级。元数据可以按层级被分类为例如“对于直接与预定事件相关的对象设定的元数据和对于间接与预定事件相关的对象设定的元数据”。另外，对于间接与预定事件相关的对象设定的元数据可以被进一步分类为多个层级。

例如，如下面将描述的，信息处理设备100响应于能够将与预定事件相关的对象与元数据相关联的任何处理来对于捕获图像中包括的对象设定元数据。注意，不言而喻，对于捕获图像中包括的对象设定元数据的处理不限于以下示例：

-将元数据嵌入在包括与预定事件相关的对象的捕获图像中的处理；和

-将与包括与预定事件相关的对象的捕获图像分离的元数据与捕获图像相关联地记录在记录介质中的处理。

更具体地，信息处理设备100从捕获图像中检测到的预定事件起按反向时间序列处理捕获图像。从预定事件起按反向时间序列处理捕获图像的处理是按照反向时间序列的顺序来处理与反向时间序列中的每个时间点相对应的捕获图像的处理。

然后，信息处理设备100对于与预定事件相关并且包括在与反向时间序列中的每个时间点相对应的捕获图像中的对象设定元数据。

如上所述，与预定事件相关的对象的示例包括“直接与预定事件相关的对象”或“直接与预定事件相关的对象和间接与预定事件相关的对象”。即，信息处理设备100不仅对于直接与预定事件相关的对象设定元数据，而且对于间接与预定事件相关的对象设定元数据。另外，如上所述，设定了元数据的对象指示与预定事件相关的对象。

因此，当信息处理设备100对于与预定事件相关的对象设定元数据时，不仅可以识别直接与预定事件相关的对象，而且可以识别间接与预定事件相关的对象。另外，通过不仅识别直接与预定事件相关的对象，而且识别间接与预定事件相关的对象，容易确定关于事件如何发生的事件的整体情况等。

因此，信息处理设备100可以通过执行如与根据实施例的信息处理方法有关的处理那样的设定处理来辅助确定基于捕获图像检测到的预定事件。

注意，与根据实施例的信息处理方法有关的处理不限于上述设定处理。

例如，信息处理设备100还可以执行“基于设定处理中对于与预定事件相关的对象的元数据的设定结果来编辑捕获图像的处理”。在下文中，基于元数据的设定结果来编辑捕获图像的处理在一些情况下被称为“编辑处理”。

另外，信息处理设备100还可以例如执行“进行控制以基于设定处理中对于与预定事件相关的对象的元数据的设定结果在显示屏幕上显示其中与预定事件相关的设定了元数据的对象被示出的图像的处理”。如以下将描述的，“其中与预定事件相关的设定了元数据的对象被示出的图像”可以是响应于编辑处理而被编辑的图像，或者可以是在编辑处理中未被编辑的图像。在其上显示“其中与预定事件相关的设定了元数据的对象被示出的图像”的显示屏幕的示例包括显示装置300的显示屏幕。在下文中，进行控制以在显示屏幕上显示“其中与预定事件相关的设定了元数据的对象被示出的图像”的处理在一些情况下被称为“显示处理”。

[1-4-2]与根据实施例的信息处理方法有关的处理

接下来，将更具体地描述与由信息处理设备100执行的根据实施例的信息处理方法有关的处理。

[1-4-2-1]与信息处理方法有关的处理的第一示例：设定处理的第一示例

信息处理设备100基于捕获图像对于捕获图像中包括的对象设定元数据。信息处理设备100按反向时间序列处理捕获图像，并且对于捕获图像中包括的对象当中的与预定事件相关的对象设定元数据。

由信息处理设备100按反向时间序列处理的捕获图像的示例包括“与在从检测到预定事件的时间点到满足反向时间序列中的预定条件的时间点的时间段期间的反向时间序列中的每个时间点相对应的捕获图像”。

与按反向时间序列处理的捕获图像有关的预定条件包括例如时间条件和与从捕获图像中检测到的对象有关的条件之一或两者。时间条件的示例包括“从检测到预定事件的时间点到预设时间段之前处理捕获图像”。信息处理设备100例如通过参考捕获图像的时间戳等确定是否满足时间条件。另外，与对象有关的条件的示例包括“检测在预设位置或区域处的对象的存在”或“捕获图像中不包括第一对象(直接与预定事件相关的对象)”。信息处理设备100例如通过对捕获图像执行任何对象检测处理来确定是否满足与对象有关的条件。注意，不言而喻，与按反向时间序列处理的捕获图像有关的预定条件不限于上述示例。

注意，由信息处理设备100按反向时间序列处理的捕获图像不限于上述示例。例如，可以由信息处理设备100按反向时间序列处理的捕获图像可以是“可以从检测到预定事件的时间点起按反向时间序列处理的并且与反向时间序列中的所有时间点相对应的捕获图像”。

例如，与由信息处理设备100按反向时间序列处理的捕获图像当中的最近处理的捕获图像相对应的时间点对应于预定事件的开始时间点。另外，例如，检测到预定事件的时间点对应于预定事件的结束时间点。

如上所述，信息处理设备100对于第一对象(直接与预定事件相关的对象)和第二对象(间接与预定事件相关的对象)中的每个设定元数据。信息处理设备100例如通过执行“以下将在(A)中描述的处理”或“以下将将在(A)中描述的处理和以下将在(B)中描述的处理”对第一对象和第二对象中的每个设定元数据。

(A)

如果从捕获图像中检测到预定事件，则信息处理设备100从检测到预定事件的捕获图像中识别第一对象(直接与预定事件相关的对象)。第一对象的示例包括在预定事件是足球的得分事件的情况下的“球”或在预定事件是犯罪事件的情况下的“作为犯罪者的人”等。可以对于每个事件设定所识别的第一对象，或者可以使用预定事件的检测结果来估计所识别的第一对象。

如果第一对象被识别，则信息处理设备100对于所识别的第一对象设定元数据。

另外，如果第一对象被识别，则信息处理设备100按反向时间序列处理捕获图像，并且识别第二对象(间接与预定事件相关的对象)。这里，可以将反向时间序列中的时间点当中的第二对象被识别的时间点定义为预定事件中的子事件发生的时间点。

如果第二对象被识别，则信息处理设备100对于所识别的第二对象设定元数据。

信息处理设备100例如通过按反向时间序列处理捕获图像并且确定直接与所识别的第一对象相关的对象来识别第二对象。

例如，信息处理设备100对反向时间序列中的每个时间点的捕获图像当中的检测到第一对象的捕获图像执行确定直接与第一对象相关的对象的处理。信息处理设备100例如通过对反向时间序列中的每个时间点的捕获图像执行任何对象检测处理来从反向时间序列中的每个时间点的捕获图像中检测第一对象。

另外，例如，信息处理设备100可以不对反向时间序列中的每个时间点的捕获图像当中的未检测到第一对象的捕获图像执行确定直接与第一对象相关的对象的处理。由于信息处理设备100不对未检测到第一对象的捕获图像执行确定直接与第一对象相关的对象的处理，因此减轻了信息处理设备100上的处理负荷。

例如，信息处理设备100将与第一对象的距离等于或小于预定阈值的对象或与第一对象的距离小于预定阈值的对象确定为直接与第一对象相关的对象。对象之间的距离例如用捕获图像中的一个对象的位置与捕获图像中的另一对象的位置之间的欧几里德距离来表示。注意，对象之间的距离不限于欧几里德距离，并且可以是通过任何距离计算方法计算的距离。与确定直接与第一对象相关的对象的处理有关的预定阈值可以是预设的固定值，或者可以是可以基于用户的操作等而改变的可变值。

注意，确定直接与第一对象相关的对象的处理不限于上述示例。例如，信息处理设备100可以响应于可以确定与第一对象的相关性的任何处理来确定直接与第一对象相关的对象。稍后将描述确定直接与第一对象相关的对象的处理的具体示例。在下文中，直接与第一对象相关的对象(直接与预定事件相关的对象)在一些情况下被称为“第三对象”。

如果确定了第三对象，则信息处理设备100将所确定的第三对象设定为第二对象(间接与预定事件相关的对象)。

图2是示出与根据实施例的信息处理方法有关的设定处理的第一示例的说明性流程图。图2示出信息处理设备100对于与预定事件相关的对象设定标签(元数据的示例)的示例。另外，图2示出由信息处理设备100处理的捕获图像是包括多个帧图像(静态图像)的运动图像的示例。

信息处理设备100检测事件并且对于跟踪目标对象设定标签(S100)。步骤S100的处理对应于对于第一对象设定标签的处理。在下文中，对于第一对象设定的标签(诸如在步骤S100中设定的标签)被称为“第一层级的标签1”或被简称为“标签1”。

如上所述，事件检测处理可以由信息处理设备100执行，或者可以由信息处理设备100的外部设备执行。在信息处理设备100执行事件检测处理的情况下，信息处理设备100使用所执行的事件检测处理的结果来执行步骤S100的处理。另外，在外部设备执行事件检测处理的情况下，信息处理设备100使用外部设备中的事件检测处理的结果来执行步骤S100的处理。

在步骤S100中设定了标签的跟踪目标对象的示例包括在预定事件是足球的得分事件的情况下的“球”或在预定事件是犯罪事件的情况下的“作为犯罪者的人”等。

如果在步骤S100中对于跟踪目标对象设定了标签，则信息处理设备100将前一帧图像设定为处理目标捕获图像(S102)。

信息处理设备100跟踪在步骤S100中设定了标签的对象(S104)。这里，根据实施例的对象的跟踪例如是从捕获图像中识别跟踪目标对象。信息处理设备100例如通过执行可以跟踪对象的任何处理(诸如“响应于任何对象检测处理从捕获图像中检测在步骤S100中设定了标签的对象”、“使用专利文献1中公开的方法”、“使用专利文献2中公开的方法”等)来跟踪在步骤S100中设定了标签的对象。另外，信息处理设备100可以跟踪响应于由用户指定将要被跟踪的对象的操作而指定的对象(这是手动跟踪的示例)。

信息处理设备100确定在跟踪目标对象附近是否存在其他对象(S106)。在步骤S106中确定的其他对象对应于直接与在步骤S100中设定了标签的对象相关的对象，即第三对象(直接与第一对象相关的对象)。另外，步骤S106的处理对应于检测子事件的发生的处理。

例如，在存在与在步骤S100中设定了标签的对象的距离等于或小于预定阈值的对象或者存在距离小于预定阈值的对象的情况下，信息处理设备100确定在跟踪目标对象附近是否存在其他对象。

在步骤S106中确定在跟踪目标对象附近不存在其他对象的情况下，信息处理设备100执行以下将描述的步骤S110的处理。

相反，在步骤S106中确定在跟踪目标对象附近存在其他对象的情况下，信息处理设备100对于其他对象设定标签(S108)。信息处理设备100对于在步骤S106中被确定为在跟踪目标对象附近的每个对象设定第二层级的标签1-m(其中m是等于或大于1的整数)。每当确定在跟踪目标对象附近的对象时，信息处理设备100就设定第二层级的不同标签，诸如第二层级的标签1-1、第二层级的标签1-2和第二层级的等。

在步骤S106中确定在跟踪目标对象附近不存在其他对象或者执行步骤S108的处理的情况下，信息处理设备100确定跟踪目标对象的跟踪是否结束(S110)。例如，在满足包括时间条件和与从捕获图像中检测到的对象有关的条件之一或两者的预定条件的情况下，信息处理设备100确定跟踪目标对象的跟踪结束。

在步骤S110中确定跟踪目标对象的跟踪没有结束的情况下，信息处理设备100重复从步骤S102起的处理。相反，在步骤S110中确定跟踪目标对象的跟踪结束的情况下，信息处理设备100结束图2中所示的处理。

信息处理设备100执行例如图2中所示的处理作为根据第一示例的设定处理。通过执行图2中所示的处理，对于第一对象和直接与第一对象有关的第三对象(第二对象的示例)中的每个设定标签。

注意，根据第一示例的设定处理的示例不限于图2中所示的示例。例如，信息处理设备100可以对于与预定事件相关的对象设定标签，并且记录设定了标签的对象的移动轨迹。设定了标签的对象的移动轨迹例如根据与每个捕获图像相对应的“由视场角、方位角、仰角、倾角、变焦倍率等指示的成像装置200的捕获状态”和“对象在捕获图像中的位置”来估计。注意，不言而喻，估计设定了标签的对象的移动轨迹的方法不限于上述示例。设定了标签的对象的移动轨迹的记录对应于对象的跟踪结果。

(B)

通过执行以上(A)的处理作为设定处理，对于第一对象和第三对象(第二对象的示例)中的每个设定元数据。注意，在设定处理中设定了元数据的第二对象(间接与预定事件相关的对象)不限于第三对象(直接与第一对象相关的对象)。

例如，信息处理设备100通过按反向时间序列处理捕获图像并且确定直接与所识别的第三对象相关的对象来识别第二对象。然后，信息处理设备100对于所识别的第二对象设定元数据。

例如，信息处理设备100对反向时间序列中的每个时间点的捕获图像当中的检测到第三对象的捕获图像执行确定直接与第三对象相关的对象的处理。信息处理设备100例如通过对反向时间序列中的每个时间点的捕获图像执行任何对象检测处理来从反向时间序列中的每个时间点的捕获图像中检测第三对象。

另外，例如，信息处理设备100可以不对反向时间序列中的每个时间点的捕获图像当中的未检测到第三对象的捕获图像执行确定直接与第三对象相关的对象的处理。由于信息处理设备100不对未检测到第三对象的捕获图像执行确定直接与第三对象相关的对象的处理，因此减轻了信息处理设备100上的处理负荷。

例如，信息处理设备100如在确定直接与第一对象相关的对象的处理中那样确定直接与第三对象相关的对象。在下文中，直接与第三对象相关的对象(直接与第一对象相关的对象)在一些情况下被称为“第四对象”。

如果第四对象被确定，则信息处理设备100将所确定的第四对象设定为第二对象(间接与预定事件相关的对象)。

此外，例如，信息处理设备100还可以将直接与通过按反向时间序列处理捕获图像而被识别为第二对象的对象相关的对象识别为第二对象(诸如“将直接与所识别的第四对象相关的对象识别为第二对象”等)。然后，信息处理设备100对于所识别的第二对象设定元数据。

图3是示出与根据实施例的信息处理方法有关的设定处理的第一示例的说明性流程图。图3中所示的处理例如是对通过按反向时间序列处理捕获图像而被识别为第二对象的对象(诸如在图2中所示的处理中设定了标签的对象)的处理的示例。在下文中，将例示信息处理设备100对在图2的步骤S108中设定了第二层级的标签1-m的每个对象执行图3中所示的每个处理的情况。

另外，如图2中所示，图3示出信息处理设备100对于与预定事件相关的对象设定标签(元数据的示例)的示例。另外，如图2中那样，图3示出由信息处理设备100处理的捕获图像是包括多个帧图像的运动图像的示例。

信息处理设备100选择跟踪目标对象(S200)。步骤S200的处理对应于选择子事件的处理。例如，信息处理设备100从在图2的步骤S108中设定了第二层级的标签1-m的对象中选择跟踪目标对象。注意，例如，信息处理设备100还可以选择被识别为第二对象的任何对象(例如第四对象等)作为跟踪目标对象。

信息处理设备100将前一帧图像设定为处理目标捕获图像(S202)。例如，在执行步骤S200的处理之后执行步骤S202的处理的情况下，例如，信息处理设备100将对于跟踪目标对象设定标签的时间点设定为标准，并且将与该时间点相对应的帧图像的前一帧图像设定为处理目标捕获图像。另外，例如，在执行将要在下面描述的步骤S210的处理之后执行步骤S202的处理的情况下，信息处理设备100例如将作为处理目标捕获图像的帧图像的前一帧图像设定为处理目标捕获图像。

例如，信息处理设备100如在图2的步骤S104中那样跟踪在步骤S200中选择的对象(S204)。

例如，信息处理设备100如在图2的步骤S106中那样确定在跟踪目标对象附近是否存在其他对象(S206)。在步骤S206中确定的其他对象对应于直接与在步骤S200中选择的对象相关的对象。

在步骤S206中确定在跟踪目标对象附近不存在其他对象的情况下，信息处理设备100执行将要在下面描述的步骤S210的处理。

相反，在步骤S206中确定在跟踪目标对象附近存在其他对象的情况下，信息处理设备100对于其他对象设定标签(S208)。示例之一是在步骤S200中选择的对象是设定了第二层级的标签1-m的对象的情况，信息处理设备100对于在步骤S206中被确定为在跟踪目标对象附近的每个对象设定第三层级的标签1-m-n(其中n是等于或大于1的整数)。每当确定在跟踪目标对象附近的对象时，信息处理设备100就设定第三层级的不同标签，诸如第三层级的标签1-m-1、第三层级的标签1-m-2和第三层级的等。

在步骤S206中确定在跟踪目标对象附近不存在其他对象或者执行步骤S208的处理的情况下，例如，信息处理设备100如图2的步骤S110中那样确定跟踪目标对象的跟踪是否结束(S210)。

在步骤S210中确定跟踪目标对象的跟踪没有结束的情况下，信息处理设备100重复从步骤S202起的处理。

相反，在步骤S210中确定跟踪目标对象的跟踪结束的情况下，信息处理设备100将处理目标图像返回到与跟踪开始时间点相对应的帧图像(S212)。作为步骤S212中的处理目标图像的帧图像的示例包括与对于跟踪目标对象设定标签的时间点相对应的帧图像。

信息处理设备100将下一帧图像(即，紧邻的下一帧图像)设定为处理目标捕获图像(S214)。例如，在例如在步骤S210的处理中确定跟踪目标对象的跟踪结束之后执行步骤S214的处理的情况下，信息处理设备100将对于跟踪目标对象设定标签的时间点设定为标准，并且将与该时间点相对应的帧图像的紧邻的下一帧图像设定为处理目标捕获图像。另外，例如，在执行将要在下面描述的步骤S222的处理之后执行步骤S214的处理的情况下，信息处理设备100例如将作为处理目标捕获图像的帧图像的紧接的下一帧图像设定为处理目标捕获图像。即，信息处理设备100在步骤S214之后按时间序列处理捕获图像。

例如，信息处理设备100如在图2的步骤S104中那样跟踪在步骤S200中选择的对象(S216)。

例如，信息处理设备100如在图2的步骤S106中那样确定在跟踪目标对象附近是否存在其他对象(S218)。在步骤S218中确定的其他对象对应于直接与在步骤S200中选择的对象相关的对象。

在步骤S218中确定在跟踪目标对象附近不存在其他对象的情况下，信息处理设备100执行以下将要描述的步骤S222的处理。

相反，在步骤S218中确定在跟踪目标对象附近存在其他对象的情况下，信息处理设备100如在步骤S208中那样对于其他对象设定标签(S220)。

在步骤S218中确定在跟踪目标对象附近不存在其他对象或者执行步骤S220的处理的情况下，信息处理设备100确定跟踪目标对象的跟踪是否结束(S222)。例如，在满足包括时间条件和与从捕获图像中检测到的对象有关的条件之一或两者的预定条件的情况下，信息处理设备100确定跟踪目标对象的跟踪结束。即，除了按时间序列处理的捕获图像之外，信息处理设备100如在图2的步骤S110中那样确定跟踪目标对象的跟踪是否结束。

在步骤S222中确定跟踪目标对象的跟踪没有结束的情况下，信息处理设备100重复从步骤S214起的处理。相反，在步骤S222中确定跟踪目标对象的跟踪结束的情况下，信息处理设备100结束图3中所示的处理。

除了图2中所示的处理之外，信息处理设备100还可以执行图3中所示的处理作为根据第一示例的设定处理。通过执行图3中所示的处理，对于被识别为第二对象的对象(诸如直接与第三对象相关的第四对象等)设定标签。

注意，根据第一示例的设定处理的示例不限于图2和图3中所示的示例。例如，如上所述，信息处理设备100可以对于与预定事件相关的对象设定标签，并且记录设定了标签的对象的移动轨迹。

信息处理设备100例如通过执行“以上在(A)中描述的处理”或“以上在(A)中描述的处理和以上在(B)中描述的处理”来对于与预定事件相关的对象设定元数据。

图4是示出与根据实施例的信息处理方法有关的设定处理的第一示例的结果的示例的说明图。图4将“以上在(A)中描述的处理和以上在(B)中描述的处理”的结果的示例示出为树结构。

例如，如图4中所示，通过布置对于每个对象设定的元数据和子事件发生的时间点，可以利用树结构来表示设定处理的结果，该树结构指示与设定了元数据的对象的相关性。

注意，根据第一示例的设定处理不限于“以上在(A)中描述的处理”或“以上在(A)中描述的处理和以上在(B)中描述的处理”。

例如，信息处理设备100可以通过进一步执行以下将要在(C)中描述的处理来建立与设定了元数据的对象的一致性。

(C)

信息处理设备100在与预定事件相关的设定了元数据的对象当中确定设定了不同元数据的同一对象。然后，信息处理设备100整合对于同一对象设定的不同元数据。

根据实施例的元数据的整合是指“重新设定元数据，使得对于被确定为同一对象并且设定了不同元数据的对象设定相同元数据”。例如，在元数据中设置层级的情况下，信息处理设备100通过用浅层级的标签替换深层级的标签来整合元数据。作为具体示例，在设定了第一层级的标签1的对象和设定了第三层级的标签1-1-1的对象被确定为同一对象的情况下，信息处理设备100用第一层级的标签1替换第三层级的标签1-1-1。

确定同一对象的方法的示例包括如以下将要描述的确定具有相同轨迹的对象的方法。

例如，在从预定事件的开始时间点到预定事件的结束时间点的捕获图像中存在t个帧的帧图像的情况下，设定了元数据的每个对象最多具有对象在捕获图像中的t个位置。这里，每个对象最多具有t个位置的原因是：设定了元数据的所有对象不一定都包括在t个帧的所有帧图像中。

如上所述，利用所设定的坐标系的坐标值(诸如以捕获图像中的任意位置为原点的二维坐标等)来表示对象在捕获图像中的位置。另外，对于设定了未包括在帧图像中的元数据的对象，例如，设定帧图像外部的坐标值，诸如(x，y)＝(-1，-1)等。

在下文中，将在给定其中设定了第一层级的标签1的对象和设定了第三层级的标签1-1-1的对象是同一对象的示例的情况下描述确定同一对象的方法的示例。

设定了第一层级的标签1的对象的坐标值被假定为(x₁(k)，y₁(k))，并且设定了第三层级的标签1-1-1的对象的坐标值被假定为(x_1-1-1(k)，y_1-1-1(k))。这里，k指示帧号。另外，x指示x坐标，并且y指示y坐标。

信息处理设备100执行例如以下表达式1中表示的计算，并且获得前述两个对象之间的位置的误差err。

[数学式1]

(表达式1)

这里，以上表达式1中表示的sgn(x)是符号函数，该符号函数在x＜0的情况下为-1，在x＝0的情况下为0，并且在x＞1的情况下为1。另外，如上所述，例如，对于未包括在帧图像中的对象设定帧图像外部的坐标值，诸如(x，y)＝(-1，-1)等。因此，在帧图像中包括对象的情况下，符号函数sgn(x+1)指示1。相反，在帧图像中不包括对象的情况下，符号函数sgn(x+1)指示0。

即，通过前述表达式1获得的误差err是通过将“在相互比较的两个对象的位置都在帧图像中的情况下的坐标差的绝对值之和”除以“相互比较的两个对象的位置都在帧图像中的帧图像的总数”而获得的值。

注意，在以上表达式1中，利用差的绝对值之和来计算误差err，但是计算误差err的方法不限于以上表达式1。例如，信息处理设备100可以根据差的平方和、归一化相关性等计算误差err。

设定了不同元数据的同一对象应该在捕获图像中具有相同的轨迹。因此，信息处理设备100通过将误差err与设定的阈值进行比较来确定设定了不同元数据的同一对象。例如，在误差err等于或小于设定的阈值或误差err小于设定的阈值的情况下，信息处理设备100确定对象是设定了不同元数据的同一对象。

与设定了不同元数据的同一对象的确定有关的阈值可以是预设的固定值，或者可以是可以响应于根据实施例的信息处理设备的用户的操作等而改变的变化值。

图5是示出与根据实施例的信息处理方法有关的设定处理的第一示例的结果的另一示例的说明图。图5示出关于通过执行以图4的树结构指示的“以上(A)中描述的处理和以上(B)中描述的处理”而获得的结果，通过以树结构进一步执行以上(C)中描述的处理而获得的结果的示例。

例如，如果比较图4和图5，可以理解，通过进一步执行以上(C)中描述的处理来利用第一层级的标签1替换图4中所示的第三层级的标签1-1-1。

因此，通过进一步执行以上(C)中描述的处理，可以更准确地获得与设定了元数据的对象的相关性。

[1-4-2-2]根据信息处理方法的处理的第二示例：设定处理的第二示例

在与前述第一示例有关的设定处理中，预定事件的结束时间点已经被设定为检测到预定事件的时间点，并且已经对于与预定事件相关的对象设定了元数据。

然而，预定事件的结束时间点不限于检测到预定事件的时间点。例如，信息处理设备100可以对于与检测到预定事件之后的时间点相对应的捕获图像中包括的对象设定元数据。如上所述，通过设定元数据，可以进行控制以更容易地确定与预定事件相关的人(例如在诸如足球之类的体育中的在得分之后的运动员、实施事故或犯罪的人等)在预定事件被检测到之后如何采取某种行为。

因此，除了与前述第一示例有关的设定处理之外，信息处理设备100还通过进一步从预定事件起按时间序列处理捕获图像来对于与预定事件相关的对象设定元数据。即，信息处理设备100通过从预定事件起按反向时间序列处理捕获图像并且从预定事件起按时间序列处理捕获图像来对于与预定事件相关的对象设定元数据。

由信息处理设备100按时间序列处理的捕获图像的示例包括“与在从检测到预定事件的时间点到满足时间序列中的预定条件的时间点的时间段期间的时间序列中的每个时间点相对应的捕获图像”。

与按时间序列处理的捕获图像有关的预定条件包括例如时间条件和与从捕获图像中检测到的对象有关的条件之一或两者。时间条件的示例包括“从检测到预定事件的时间点到预设时间段之后处理捕获图像”。例如，如在确定与按反向时间序列处理的捕获图像有关的时间条件中那样，信息处理设备100通过参考捕获图像的时间戳等确定是否满足前述时间条件。另外，与对象有关的条件类似于例如与按反向时间序列处理的捕获图像相关的对象有关的条件。信息处理设备100例如与在确定与按反向时间序列处理的捕获图像相关的对象有关的条件中那样确定是否满足与对象有关的条件。注意，不言而喻，与按时间序列处理的捕获图像有关的预定条件不限于上述示例。

注意，按时间序列处理的捕获图像不限于上述示例。例如，可以由信息处理设备100按时间序列处理的捕获图像可以是“可以从检测到预定事件的时间点起按时间序列处理的并且与时间序列中的所有时间点相对应的捕获图像”。

例如，与由信息处理设备100按反向时间序列处理的捕获图像当中的最近处理的捕获图像相对应的时间点对应于预定事件的开始时间点。另外，例如，与由信息处理设备100按时间序列处理的捕获图像当中的最近处理的捕获图像相对应的时间点对应于预定事件的结束时间点。

除了处理目标捕获图像的范围不同之外，根据第二示例的设定处理中的与元数据的设定有关的处理类似于根据前述第一示例的设定处理。

图6是示出与根据实施例的信息处理方法有关的设定处理的第二示例的说明性流程图。图6示出信息处理设备100对于与预定事件相关的对象设定标签(元数据的示例)的示例。另外，图6示出由信息处理设备100处理的捕获图像是包括多个帧图像的运动图像的示例。

信息处理设备100如在图2中所示的步骤S100中那样检测事件并且对于跟踪目标对象设定标签(S300)。步骤S300的处理对应于对于第一对象设定标签的处理。

如果在步骤S300中对于跟踪目标对象设定标签，则信息处理设备100将前一帧图像设定为处理目标捕获图像(S302)。

例如，信息处理设备100如在图2的步骤S104中那样跟踪在步骤S300中设定了标签的对象(S304)。

信息处理设备100如在图2中所示的步骤S106中那样确定在跟踪目标对象附近是否存在其他对象(S306)。在步骤S306中确定的其他对象对应于第三对象(直接与第一对象相关的对象)。

在步骤S306中确定在跟踪目标对象附近不存在其他对象的情况下，信息处理设备100执行以下将要描述的步骤S310的处理。

相反，在步骤S306中确定在跟踪目标对象附近存在其他对象的情况下，信息处理设备100如在图2中所示的步骤S108中那样对于其他对象设定标签(S308)。

在步骤S306中确定在跟踪目标对象附近不存在其他对象或者执行步骤S308的处理的情况下，信息处理设备100如在图2的S110中那样确定跟踪目标对象的跟踪是否结束(S310)。

在步骤S310中确定跟踪目标对象的跟踪没有结束的情况下，信息处理设备100重复从步骤S302起的处理。

相反，在步骤S310中确定跟踪目标对象的跟踪结束的情况下，信息处理设备100将处理目标图像返回到与跟踪开始时间点相对应的帧图像(S312)。作为步骤S312中的处理目标图像的帧图像的示例包括与检测到事件的时间点相对应的帧图像。

信息处理设备100将下一帧图像(即，紧接的下一帧图像)设定为处理目标捕获图像(S314)。例如，在例如在步骤S310的处理中确定跟踪目标对象的跟踪结束之后执行步骤S314的处理的情况下，信息处理设备100例如将与检测到事件的时间点相对应的帧图像的紧接的下一帧图像设定为处理目标捕获图像。另外，例如，在执行了以下将要描述的步骤S322的处理之后执行步骤S314的处理的情况下，信息处理设备100例如将作为处理目标捕获图像的帧图像的紧接的下一帧图像设定为处理目标捕获图像。即，信息处理设备100在步骤S314之后按时间序列处理捕获图像。

例如，信息处理设备100如在图2的步骤S104中那样跟踪在步骤S300中选择的对象(S316)。

例如，信息处理设备100如在图2的步骤S106中那样确定在跟踪目标对象附近是否存在其他对象(S318)。在步骤S318中确定的其他对象对应于第三对象(直接与第一对象相关的对象)。

在步骤S318中确定在跟踪目标对象附近不存在其他对象的情况下，信息处理设备100执行以下将描述的步骤S322的处理。

相反，在步骤S318中确定在跟踪目标对象附近存在其他对象的情况下，信息处理设备100如在步骤S308中那样对于其他对象设定标签(S320)。

在步骤S318中确定在跟踪目标对象附近不存在其他对象或者执行步骤S320的处理的情况下，例如，信息处理设备100如在图3的步骤S222中那样确定跟踪目标对象的跟踪是否结束(S322)。

在步骤S322中确定跟踪目标对象的跟踪没有结束的情况下，信息处理设备100重复从步骤S314起的处理。相反，在步骤S322中确定跟踪目标对象的跟踪结束的情况下，信息处理设备100结束图6中所示的处理。

例如，信息处理设备100执行图6中所示的处理作为根据第二示例的设定处理。通过执行图6中所示的处理，对于第一对象和直接与第一对象有关的第三对象(第二对象的示例)中的每个设定标签。

注意，根据第二示例的设定处理的示例不限于图6中所示的示例。

例如，信息处理设备100可以进一步执行图3中所示的处理。

另外，例如，信息处理设备100可以对于与预定事件相关的对象设定标签，并且记录设定了标签的对象的移动轨迹。

[1-4-2-3]根据信息处理方法的处理的第三示例：设定处理的第三示例

在根据前述第一示例的设定处理和根据前述第二示例的设定处理中，已经对由一个成像装置200按时间序列捕获的捕获图像中包括的对象执行了设定元数据的处理。然而，如上所述，根据实施例的信息处理系统可以包括多个成像装置200。

因此，将描述“基于由多个成像装置200捕获的捕获图像对于与预定事件相关的对象设定元数据的处理”作为设定处理的第三示例。

图7是示出与根据实施例的信息处理方法有关的设定处理的第三示例的说明图。图7的A示出两个成像装置200A和200B中的每个对足球场进行成像的示例。图7的B示出成像装置200A对球员O(对象的示例)进行成像的捕获图像的示例。另外，图7的C示出成像装置200B对球员O进行成像的捕获图像的示例。

在下文中，将参考图7适当地描述设定处理的第三示例。

信息处理设备100处理每个成像装置200的捕获图像，并且针对每个成像装置200对于与预定事件相关的对象设定元数据。例如，信息处理设备100通过对由多个成像装置200中的每个成像装置捕获的捕获图像执行根据前述第一示例的设定处理或根据前述第二示例的设定处理来设定元数据。

另外，信息处理设备100可以针对每个成像装置200将与预定事件相关的设定了元数据的对象相关联。

在将基于由多个成像装置200中的每个成像装置捕获的捕获图像而设定的元数据相关联的情况下，例如，信息处理设备100使用根据前述第一示例的设定处理中的评估函数(诸如以上表达式1)来关联元数据。

这里，与根据前述第一示例的设定处理中的元数据的关联不同，根据第三示例的设定处理中的元数据的关联是基于由不同成像装置200捕获的捕获图像而设定的元数据的关联。

因此，例如，信息处理设备100将由多个成像装置200中的每个成像装置捕获的捕获图像中的对象的位置进行坐标变换为公共坐标系的坐标。然后，信息处理设备100使用坐标变换之后的对象的位置，通过如以上表达式1中的评估函数来关联元数据。

可以例如基于成像装置200在每个时间点的成像状态来执行由多个成像装置200中的每个成像装置捕获的捕获图像中的对象的位置的坐标变换。除了例如相对于成像目标(例如视场角、运动场等)的成像角(例如，方位角、仰角或倾角)之外，还表示成像装置200在每个时间点的成像状态。例如，如果已知成像装置200在每个时间点的视场角和相对于成像目标的成像角，则如果从正上方或对角线上方查看成像目标(诸如运动场等)，可以将对象的位置变换为平面图上的坐标。注意，捕获图像中的对象的位置的坐标变换的示例不限于上述示例。信息处理设备100可以响应于能够执行到公共坐标系的坐标的坐标变换的任何处理来变换捕获图像中的对象的位置。

例如，如果关联了根据第三示例的设定处理中的元数据，则信息处理设备100针对每个设定的元数据记录与对于关联的其他对象设定的元数据的相关性。

例如，信息处理设备100将与相关联的其他元数据的相关性记录在每个设定的元数据的表(或数据库)中。作为具体示例，在成像装置200A中设定了第二层级的标签A-1的对象和成像装置200B中设定了第二层级的标签B-1的对象被确定为同一对象的情况下，信息处理设备100将标签B-1记录在与标签A-1相对应的表中，并且将标签A-1记录在与标签B-1相对应的表中。

例如，如上所述，通过“针对每个设定的元数据记录与对于关联的其他对象设定的元数据的相关性”，可以更容易地提取多个成像装置200之间的元数据的相关性。

注意，例如，信息处理设备100可以在根据前述第一示例的设定处理中响应于以上(C)中描述的处理来整合相关联的元数据。

[1-4-2-4]根据信息处理方法的处理的第四示例：设定处理的第四示例

“基于由多个成像装置200捕获的捕获图像对于与预定事件相关的对象设定元数据的处理”不限于根据前述第三示例的设定处理。

在根据前述第三示例的设定处理中，由每个成像装置200捕获的捕获图像中的对象的位置的坐标已经被变换为公共坐标系的坐标。这里，如果理解了每个成像装置200中用于坐标变换的变换表达式，则可以执行从公共坐标系的坐标到与由每个成像装置200捕获的捕获图像中的对象的位置相对应的坐标系的坐标的坐标变换。在下文中，如上所述，“所执行的从公共坐标系的坐标到与由成像装置200捕获的捕获图像中的对象的位置相对应的坐标系的坐标的坐标变换”在一些情况下被称为“反向坐标变换”。

因此，信息处理设备100首先基于由多个成像装置200中的一些成像装置200捕获的捕获图像，对于与预定事件相关的对象设定元数据。一些成像装置200可以是一个成像装置200，或者可以是两个或更多个成像装置200。信息处理设备100通过执行根据前述第一示例的设定处理或根据前述第二示例的设定处理来设定元数据。

随后，信息处理设备100基于根据由上述一些成像装置200捕获的捕获图像的元数据的设定结果和由多个成像装置200中的剩余成像装置200捕获的捕获图像，对于与预定事件相关的对象设定元数据。

更具体地，例如，信息处理设备100如在根据前述第三示例的设定处理中那样，基于由上述一些成像装置200捕获的捕获图像，执行从设定了元数据的对象的位置的坐标到公共坐标系的坐标的坐标变换。信息处理设备100执行从“已响应于坐标变换通过使用剩余成像装置200中用于坐标变换的变换表达式而变换为公共坐标系的坐标的对象的位置的坐标”到“与由剩余成像装置200捕获的捕获图像中的对象的位置相对应的坐标系的坐标”的反向坐标变换。

这里，上述一些成像装置200和剩余成像装置200是不同的成像装置200。即，认为在上述一些成像装置200与剩余成像装置200之间在每个时间点的成像状态上存在相当大的差异。因此，与通过执行反向坐标变换获得的结果相对应的对象的位置可能不一定总是在由剩余成像装置200捕获的捕获图像中。

在作为通过执行反向坐标变换获得的结果的对象的位置在由剩余成像装置200捕获的捕获图像中的情况下，信息处理设备100对于与对应于通过执行反向坐标变换获得的结果并且被包括在捕获图像中的对象的位置相对应的对象设定元数据。

在根据第四示例的设定处理中，响应于根据前述第一示例的设定处理或根据前述第二示例的设定处理，仅在由上述一些成像装置200捕获的捕获图像中设定元数据。另外，与“与反向坐标变换有关的处理”有关的处理负荷低于根据前述第一示例的设定处理和根据前述第二示例的设定处理中的每个的处理负荷。

因此，在执行根据第四示例的设定处理的情况下，与执行根据第三示例的设定处理的情况相比，可以进一步减轻与设定处理有关的处理负荷。

例如，信息处理设备100通过执行根据前述第一示例的设定处理至根据前述第四示例的设定处理当中的任何处理来对于与预定事件相关的对象设定元数据。

在下文中，作为根据信息处理方法的处理的另一示例，将描述使用设定处理中的关于与预定事件相关的对象的元数据的设定结果的处理。

[1-4-2-5]根据信息处理方法的处理的第五示例：编辑处理的示例

信息处理设备100基于设定处理中的关于与预定事件相关的对象的元数据的设定结果来编辑捕获图像。

例如，如图4和图5中所示，通过响应于设定处理来设定元数据，可以获得与设定了元数据的对象的相关性、即与预定事件相关的对象的相关性。因此，通过基于设定处理中的元数据的设定结果来编辑捕获图像，可以使用与预定事件相关的对象的相关性来编辑捕获图像。

另外，信息处理设备100可以在显示装置300的显示屏幕上显示编辑图像，或者可以将编辑图像记录在存储装置400中。此外，信息处理设备100可以将编辑图像发送到外部设备，诸如服务器等。

例如，在如图7中所示的示例中那样由成像装置200对足球场进行成像的情况下，在许多情况下，以可以观看整个运动场的视场角对足球场进行成像。在以可以观看整个运动场的视场角对足球场进行成像的情况下，具有可以对包括多个球员的整个比赛进行成像的优点。然而，具有与球或比赛相关的球员变小的缺点。

例如，成像装置200中的光学变焦可以实现对与球或比赛相关的球员进行较大成像。这里，光学变焦是通过操作光学系统中包括的变焦透镜并且改变变焦透镜的焦距来改变变焦倍率的变焦方案。

然而，在使用光学变焦的情况下，仅可以对与球或比赛相关的球员进行成像。

因此，信息处理设备100响应于图像处理来编辑捕获图像，该图像处理包括对于捕获图像的电子变焦和基于捕获图像的多个图像的组合之一或两者。

电子变焦是通过在不移动光学系统中包括的透镜的情况下对图像执行图像处理来改变变焦倍率的变焦方案。在进行电子变焦的情况下，图像的部分区域被剪切，并且对剪切区域适当地执行诸如内插处理等各种处理，然后扩大该区域的图像。

基于捕获图像的多个图像的示例包括从由一个成像装置200捕获的捕获图像剪切的多个图像(例如，从同一帧图像剪切的多个图像或从不同帧图像剪切的多个图像)。另外，基于捕获图像的多个图像可以是由多个成像装置200捕获的多个捕获图像(也可以包括从捕获图像剪切的图像)。

多个图像的组合的示例包括能够组合多个图像的任何图像处理，诸如阿尔法合成、多个图像的重叠、多个图像的粘贴、图像的剪切和粘贴等。另外，多个图像的组合例如可以包括如果在显示屏幕上显示图像则以同时显示多个图像的格式进行的图像处理，诸如实现画中画的组合处理等。

图8是示出与根据实施例的信息处理方法有关的编辑处理的示例的说明图。图8的A至图8的D中的每个对应于在由成像装置200对足球场进行成像的情况下的编辑处理的结果。

例如，在一个球员持续保持球的时间段等于或大于所设定的长度的情况下，信息处理设备100响应于电子变焦来扩大球员，如图8的A中所示。

另外，在发生诸如由另一球员接近保持球的球员、由保持球的球员将球传给另一球员等子事件的情况下，信息处理设备100扩大电子变焦中的剪切范围，使得与子事件相关的球员被包括在编辑之后的图像中，如图8的B中所示。参考所设定的元数据，信息处理设备100在比子事件发生的时间点更早的时间点扩大电子变焦中的剪切范围。另外，参考所设定的元数据，信息处理设备100可以在比子事件发生的时间点更晚的时间点，从球员或球的位置起设定电子变焦的剪切范围。

如上所述，通过使用所设定的元数据执行电子变焦，可以编辑捕获图像，使得捕获图像不仅包括与比赛相关的球员，而且包括与不久的将来的比赛相关的球员。

在执行编辑处理的情况下，可以将预先设定的固定时间段例示为从发生子事件的时间点起回溯的时间段。另外，从发生子事件的时间点起回溯的时间段可以是可变的时间段，诸如直到满足与子事件相关的对象有关的条件等。与子事件相关的对象有关的条件的示例包括与子事件相关的对象之间的距离有关的条件，诸如直到与子事件相关的球员到球的一定距离等。另外，与子事件相关的对象有关的条件可以是组合多个条件(诸如“满足直到预先设定的固定时间段逝去、直到与子事件相关的对象之间的距离有关的条件等”)的条件。

在诸如足球等体育中，在一些情况下，由于长传等原因，球的位置会急剧地突然改变。如果在前述情况下执行电子变焦，则电子变焦的剪切范围会扩大，并且球或球员会变小。

因此，例如，信息处理设备100通过组合多个图像来编辑捕获图像，如图8的C或图8的D中所示。例如，信息处理设备100分别剪切与当前比赛相关的球员的图像和与不久的将来的比赛相关的球员的图像，执行电子变焦，并且组合多个图像。另外，信息处理设备100还可以组合通过对整个运动场进行成像而获得的图像和以电子变焦剪切的图像。组合的图像可以是两个图像(如图8的C中所示)，或者可以是三个或更多个图像(如图8的D中所示)。

注意，如上所述，基于捕获图像的多个图像可以包括由多个成像装置200捕获的捕获图像。例如，在由多个成像装置200对体育进行成像的情况下，除了在一些情况下对整个运动场进行成像的成像装置200以外，还存在在一些情况下通过光学变焦对与比赛相关的球员进行扩大和成像的成像装置200。因此，在基于由多个成像装置200捕获的捕获图像来组合图像的情况下，可以根据比赛的情况来使用通过光学变焦扩大的捕获图像。

[1-4-2-6]根据信息处理方法的处理的第六示例：显示处理的示例

信息处理设备100进行控制以基于关于与预定事件相关的对象的元数据的设定结果，在显示屏幕上显示其中与预定事件相关的设定了元数据的对象被示出的图像。例如，信息处理设备100通过向显示装置300发送包括显示命令的控制信号和指示被控制而显示的图像的信号来进行控制，以在显示装置300的显示屏幕上显示其中与预定事件相关的设定了元数据的对象被示出的图像。

其中与预定事件相关的设定了元数据的对象被示出的图像的示例包括“其中设定了元数据的对象被示出的捕获图像”和“其中响应于编辑处理而被编辑并且设定了元数据的对象被示出的图像”。

图9是示出与根据实施例的信息处理方法有关的显示处理的示例的说明图。图9的A至图9的D中的每个对应于在由成像装置200对足球场进行成像的情况下响应于显示处理而在显示屏幕上显示的图像。图9的A至图9的C中的每个示出“指示设定了元数据的对象的捕获图像”的示例，而图9的D示出“其中响应于编辑处理而被编辑并且设定了元数据的对象被示出的图像”的示例。

例如，如下阐明设定了元数据的对象。注意，不言而喻，指示设定了元数据的对象的方法不限于以下示例。

-与元数据相对应的显示对象的线型被控制为显示在与设定了元数据的对象相对应的位置处(图9的A至图9的D)。

-与元数据相对应的颜色的显示对象被控制为显示在与设定了元数据的对象相对应的位置处。

-与元数据相对应的形式的显示对象被控制为显示在与设定了元数据的对象相对应的位置处。

-与元数据相对应的线粗的显示对象被控制为显示在与设定了元数据的对象相对应的位置处。

-设定了元数据的对象指示未来移动方向的显示对象被控制为显示在与设定了元数据的对象相对应的位置处(图9的B)。

-指示直到发生事件或子事件的时间的显示对象被控制为显示在与设定了元数据的对象相对应的位置处(图9的C)。

-前述显示中的两个或更多个的组合。

例如，信息处理设备100进行控制以总是显示其中与预定事件相关的设定了元数据的对象被示出的图像，如图9中所示。

另外，例如，信息处理设备100可以切换如图9中所示的其中与预定事件相关的设定了元数据的对象被示出的图像是否被控制为显示在显示屏幕上。

例如，信息处理设备100基于存储在诸如存储单元(将在下面描述)等记录介质中的显示设定信息来切换其中与预定事件相关的设定了元数据的对象被示出的图像是否被控制为显示在显示屏幕上。

显示设定信息的示例包括标志，该标志指示其中与预定事件相关的设定了元数据的对象被示出的图像是否被控制为显示在显示屏幕上。另外，显示设定信息可以是任何类型的数据，在该数据中，定义其中与预定事件相关的设定了元数据的对象被示出的图像是否被控制为显示在显示屏幕上以及用于指示设定了元数据的对象的方法。由显示设定信息指示的内容可以基于例如用户操作来改变。

参考显示设定信息，信息处理设备100可以改变显示与预定事件相关的设定了元数据的对象的方法(还包括未指示设定了元数据)。另外，在基于用户操作改变由显示设定信息指示的内容的情况下，用户可以选择显示与预定事件相关的设定了元数据的对象的方法。

注意，响应于显示处理而显示在显示屏幕上的图像不限于如图9中所示的示例中的基于通过对体育进行成像而获得的捕获图像的图像。

图10是示出与根据实施例的信息处理方法有关的显示处理的另一示例的说明图。图10示出响应于显示处理在显示屏幕上显示基于由用作监视摄像机的成像装置200捕获的捕获图像的图像的情况的示例。

在信息处理系统1000包括用作监视摄像机的成像装置200的情况下，可以将人对限制区域的侵入例示为预定事件的示例。信息处理设备100将人侵入限制区域的时间点设定为检测到预定事件的时间点，并且根据设定处理对于与预定事件相关的对象设定元数据。信息处理设备100根据例如根据前述第一示例的设定处理或根据前述第二示例的设定处理，对于与预定事件相关的对象设置元数据。

对于与预定事件相关的对象设定元数据的示例如下：

-对于进入限制区域的人设定标签(对于第一对象设定元数据的示例)；

-对于与进入限制区域的人接近的另一人设定标签(对于第二对象设定元数据的示例)；

-对于由进入限制区域的人留下的负荷设定标签(对于第二对象设定元数据的示例)；和

-对于由进入限制区域的人携带的负荷设定标签(对于第二对象设定元数据的示例)。

在信息处理系统1000包括用作监视摄像机的多个成像装置200的情况下，信息处理设备100对于由每个成像装置200捕获的每个捕获图像设定元数据。此外，信息处理设备100对由每个成像装置200捕获的每个捕获图像执行任何对象检测处理。然后，信息处理设备100使用对象检测的结果来整合对于同一对象设定了相同元数据的元数据。

信息处理设备100进行控制以使用如上所述地设定的元数据在显示屏幕上显示其中设定了元数据的对象被示出的图像。

在预定事件是人对限制区域的侵入的情况下，被信息处理设备100控制为显示在显示屏幕上的图像的示例如下。注意，不言而喻，在预定事件是人对限制区域的侵入的情况下显示在显示屏幕上的图像的示例不限于以下示例：

-设定了元数据的对象被显示在地图上的图像，该地图指示布置了成像装置200的区域(能够俯瞰发生预定事件的整个地方的表达的示例)；

-在地图上按时间序列同时显示设定了元数据的对象的图像；

-利用箭头等显示设定了元数据的对象的行进方向的图像；

-显示直到发生事件或子事件的时间的图像；和

-前述图像中的两个或更多个的组合。

[1-4-3]信息处理设备100的配置的示例

接下来将描述可以执行与根据本实施例的信息处理方法相关联的上述处理的信息处理设备100的配置的示例。

图11是示出根据本实施例的信息处理设备100的配置的示例的框图。信息处理设备100包括例如通信单元102和控制单元104。

此外，信息处理设备100可以包括例如只读存储器(ROM，未示出)、随机存取存储器(RAM，未示出)、存储单元(未示出)、可以由信息处理设备100的用户操作的操作单元(未示出)、在显示屏幕上显示各种画面的显示单元(未示出)等。信息处理设备100例如使用作为数据传输路径的总线来连接上述各个组件。

ROM(未示出)存储控制数据，诸如将要由控制单元104使用的程序和操作参数。RAM(未示出)临时存储将要由控制单元104执行的程序等。

作为在信息处理设备100处设置的存储装置的存储单元(未示出)例如存储各种类型的数据，诸如与根据本实施例的信息处理方法相关联的数据或各种类型的应用。这里，存储单元(未示出)的示例可以包括例如磁记录介质(诸如硬盘)、非易失性存储器(诸如闪速存储器)等。此外，存储单元(未示出)可以从信息处理设备100拆卸。

操作单元(未示出)的示例可以包括稍后将描述的操作输入装置。此外，显示单元(未示出)的示例可以包括稍后将描述的显示装置。

[信息处理设备100的硬件配置示例]

图12是示出根据本实施例的信息处理设备100的硬件配置的示例的说明图。信息处理设备100包括例如MPU 150、ROM 152、RAM 154、记录介质156、输入/输出接口158、操作输入装置160、显示装置162和通信接口164。此外，信息处理设备100例如使用作为数据传输路径的总线166来连接各个组件。另外，例如，利用从信息处理设备100中包括的内部电源(诸如电池等)供应的电力、从连接的外部电源等供应的电力等来驱动信息处理设备100。

MPU 150包括例如一个或两个或更多个处理器，包括诸如微处理单元(MPU)之类的算术电路、各种类型的处理电路等，并且用作控制信息处理设备100的整体的控制单元104。另外，MPU 150例如在信息处理设备100中具有以下将要描述的设定处理器110、编辑处理器112和显示处理器114的作用。注意，设定处理器110，编辑处理器112和显示处理器114中的一些或全部可以由专用(或通用)电路(例如，与MPU 150分离的处理器等)构成。

ROM 152存储将由MPU 150使用的诸如程序和操作参数之类的控制数据。例如，RAM154临时存储将由MPU 150执行的程序等。

记录介质156用作存储单元(未示出)，并且例如存储各种类型的数据，诸如与根据本实施例的信息处理方法相关联的数据或各种类型的应用。这里，记录介质156的示例可以包括例如磁记录介质(诸如硬盘)和非易失性存储器(诸如闪速存储器)。此外，记录介质156可以从信息处理设备100拆卸。

输入/输出接口158例如连接操作输入装置160和显示装置162。操作输入装置160用作操作单元(未示出)，并且显示装置162用作显示单元(未示出)。这里，输入/输出接口158的示例可以包括例如通用串行总线(USB)端子、数字视觉接口(DVI)端子、高清多媒体接口(HDMI)(注册商标)端子、各种类型的处理电路等。

此外，操作输入装置160例如设置在信息处理设备100上，并且连接到信息处理设备100内部的输入/输出接口158。操作输入装置160的示例可以包括例如按钮、方向键、旋转选择器(诸如轻推拨盘(jog dial))或其组合等。

另外，例如，显示装置162设置在信息处理设备100上，并且连接到信息处理装置100内部的输入/输出接口158。显示装置162的示例可以包括例如液晶显示器和有机EL显示器。

注意，不言而喻，输入/输出接口158可以连接到诸如外部操作输入装置(诸如，例如键盘和鼠标)之类的外部装置和信息处理设备100的外部显示装置。另外，显示装置162还可以是诸如例如触摸面板之类的可以执行显示并且允许用户操作的装置。

通信接口164是设置在信息处理设备100中的通信装置，并且用作通信单元102，该通信单元102经由网络500(或直接)以无线或有线方式与诸如成像装置200、显示装置300、存储装置400、服务器(未示出)等外部设备进行通信。这里，通信接口164的示例包括通信天线和射频(RF)电路(用于无线通信)、IEEE 802.15.1端口和发送/接收电路(用于无线通信)、IEEE 802.11端口和发送/接收电路(用于无线通信)、LAN端子和发送/接收电路(用于有线通信)等。另外，通信接口164可以具有与网络500相对应的任意配置。

信息处理设备100根据例如图12中所示的配置来执行与根据本实施例的信息处理方法相关联的处理。注意，根据本实施例的信息处理设备100的硬件配置不限于图12中所示的配置。

例如，在信息处理设备100经由连接的外部通信装置与外部设备等进行通信的情况下，信息处理设备100不必包括通信接口164。此外，通信接口164可以具有能够使用多个通信方案与一个或两个或更多个外部设备等进行通信的配置。

另外，信息处理设备100还可包括例如用作信息处理系统1000中的成像装置200的成像装置。在信息处理设备100包括成像装置的情况下，成像装置用作通过成像来生成捕获图像(运动图像或静态图像)的成像单元(未示出)。

另外，信息处理设备100可以采用例如其中不包括记录介质156、操作输入装置160和显示装置162中的一些或全部的配置。

另外，信息处理设备100可以采用例如根据以下将描述的信息处理设备100的应用示例的配置。

另外，例如，可以通过一个集成电路(IC)或两个或更多个IC来实现图12中所示的配置(或根据修改示例的配置)中的一部分或全部。

再次参考图11，将描述信息处理设备100的配置的示例。通信单元102是在信息处理设备100处设置的通信装置，通信单元102经由网络500(或直接)以无线或有线方式与诸如成像装置200、显示装置300或存储装置400之类的外部设备进行通信。此外，通信单元102的通信例如由控制单元104来控制。

这里，尽管通信单元102的示例可以包括例如通信天线和RF电路、LAN端子和发送/接收电路等，但是通信单元102的配置不限于上述示例。例如，通信单元102可以采用支持诸如USB端子和发送/接收电路之类的能够进行通信的任意标准的配置、以及能够经由网络500与外部设备进行通信的任意配置。另外，通信单元102可以具有能够使用多个通信方案与一个或两个或更多个外部设备等进行通信的配置。

控制单元104包括例如MPU等，并且具有控制整个信息处理设备100的作用。此外，控制单元104包括例如设定处理器110、编辑处理器112和显示处理器114，并且在执行与根据实施例的信息处理方法有关的处理中具有主导作用。

设定处理器110在执行前述设定处理中具有主导作用，并且基于由成像装置200捕获的捕获图像对于捕获图像中包括的对象设定元数据。设定处理器110通过执行例如根据以上[1-4-2-1]中描述的第一示例的设定处理、根据以上[1-4-2-2]中描述的第二示例的设定处理、根据以上[1-4-2-3]中描述的第三示例的设定处理以及根据以上[1-4-2-4]中描述的第四示例的设定处理中的任一个来设定元数据。

图13是示出图11中所示的设定处理器110的配置的示例的框图。图13示出在设定了具有层级的元数据的情况下的设定处理器110的配置的示例。图13示出设定了具有被称为第一层级的元数据至第三层级的元数据的三个层级的元数据的示例，但是在设定了具有层级的元数据的情况下的层级的数量不限于三个。

设定处理器110包括例如事件检测器120、跟踪目标确定器122A、122B和122C、跟踪处理器124A、124B和124C、记录器126A、126B和126C、元数据授予者128B和128C以及元数据调整器130。跟踪目标确定器122A、跟踪处理器124A和记录器126A执行例如图2中所示的处理以设定第一层级的元数据。另外，跟踪目标确定器122B、跟踪处理器124B、记录器126B和元数据授予器128B执行例如图3中所示的处理以设定第二层级的元数据。另外，跟踪目标确定器122C、跟踪处理器124C、记录器126C和元数据授予器128C执行例如图3中所示的处理以设定第三层级的元数据。

事件检测器120检测预定事件。

如果事件检测器120检测到预定事件，则跟踪目标确定器122A确定跟踪目标对象。由跟踪目标确定器122A确定的跟踪目标是第一对象(直接与预定事件相关的对象)。

如果跟踪目标确定器122A确定了跟踪目标对象，则记录器126A将所设定的元数据和对象的位置记录在诸如存储单元(未示出)等记录介质中。

跟踪处理器124A跟踪由跟踪目标确定器122A确定的跟踪目标对象，并且记录器126A将跟踪处理器124A中的跟踪结果记录在记录介质中。

另外，跟踪处理器124A确定在跟踪目标对象附近是否存在其他对象。在确定存在其他对象的情况下，跟踪处理器124A将确定结果传递给元数据授予器128B。

元数据授予器128B基于从跟踪处理器124A传递的确定结果来设定第二层级的元数据。如果设定了第二层级的元数据，则记录器126B将所设定的元数据和对象的位置记录在记录介质中。

在确定由跟踪目标确定器122A确定的跟踪目标对象的跟踪结束的情况下，跟踪处理器124A将跟踪的结束传递给跟踪处理器124B。

被传递了跟踪的结束的跟踪处理器124B使用记录器126B的记录结果来确定跟踪目标。由跟踪目标确定器122B确定的跟踪目标是第三对象(直接与第一对象相关的对象)。

跟踪处理器124B跟踪由跟踪目标确定器122B确定的跟踪目标对象，并且记录器126B将跟踪处理器124B中的跟踪结果记录在记录介质中。

另外，跟踪处理器124B确定在跟踪目标对象附近是否存在其他对象。在确定存在其他对象的情况下，跟踪处理器124B将确定结果传递给元数据授予器128C。

元数据授予器128C基于从跟踪处理器124B传递的确定结果来设定第三层级的元数据。如果设定了第三层级的元数据，则记录器126C将设定的元数据和对象的位置记录在记录介质中。

在确定由跟踪目标确定器122B确定的跟踪目标对象的跟踪结束的情况下，跟踪处理器124B将跟踪的结束传递给跟踪处理器124C。

被传递了跟踪的结束的跟踪处理器124C使用记录器126C的记录结果来确定跟踪目标。由跟踪目标确定器122C确定的跟踪目标是第四对象(直接与第三对象相关的对象)。

跟踪处理器124C跟踪由跟踪目标确定器122C确定的跟踪目标对象，并且记录器126C将跟踪处理器124C中的跟踪结果记录在记录介质中。

在确定由跟踪目标确定器122C确定的跟踪目标对象的跟踪结束的情况下，跟踪处理器124C将跟踪的结束传递给元数据调整器130。

元数据调整器130例如通过执行以上(C)中描述的处理来整合对于同一对象设定的不同元数据。

设定处理器110例如通过根据图13中所示的配置执行图2或图3中所示的处理来设定具有层级的元数据。

注意，设定处理器110的配置不限于图13中所示的示例。

例如，图13示出其中设定元数据直到将元数据设定为多达预设层级的示例。然而，设定处理器110可以将元数据设定为多达不可以新设定元数据的层级。即，设定处理器110可以动态地改变层级的数量。

另外，如上所述，设定处理器110还可以设定没有层级的元数据。

将再次参考图11来描述信息处理设备100的配置的示例。编辑处理器112在执行编辑处理中具有主导作用，并且基于设定处理器110中的元数据的设定结果来编辑捕获图像。编辑处理器112例如通过执行以上[1-4-2-5]中描述的编辑处理来编辑捕获图像。

显示处理器114在执行显示处理中具有主导作用，并且进行控制以基于设定处理器110中的元数据的设定结果，在显示屏幕上显示其中与预定事件相关的设定了元数据的对象被示出的图像。显示处理器114例如通过执行以上[1-4-2-6]中描述的显示处理来进行控制以在显示屏幕上显示其中与预定事件相关的设定了元数据的对象被示出的图像。

控制单元104包括例如设定处理器110、编辑处理器112和显示处理器114，并且在执行与根据实施例的信息处理方法有关的处理中具有主导作用。

注意，控制单元104的配置不限于图11中所示的示例。

例如，控制单元104可以不包括编辑处理器112和显示处理器114之一或两者。即使在控制单元104不包括编辑处理器112和显示处理器114之一或两者的情况下，控制单元104也可以响应于设定处理来设定元数据。因此，即使在控制单元104不包括编辑处理器112和显示处理器114之一或两者的配置中，信息处理设备100也可以辅助确定基于捕获图像检测到的预定事件。

另外，例如，控制单元104可以具有根据对与根据实施例的信息处理方法有关的处理进行划分的方法的配置。

信息处理设备100根据例如图11中所示的配置来执行根据实施例的信息处理方法的处理(例如，设定处理、编辑处理和显示处理)。因此，例如，信息处理设备100可以根据图11中所示的配置来辅助确定基于捕获图像检测到的预定事件。

此外，信息处理设备100可以提供由根据例如图11中所示的配置执行的与如上所述的根据本实施例的信息处理方法相关联的处理所提供的效果。

注意，根据本实施例的信息处理设备的配置不限于图11中所示的配置。

例如，根据实施例的信息处理设备可以与控制单元104分别地包括图11中所示的设定处理器110、编辑处理器112和显示处理器114中的一些或全部(例如，通过不同的处理电路来实现编辑处理器112和显示处理器114中的一些或全部)。

另外，如上所述，根据实施例的信息处理设备可以不包括编辑处理器112和显示处理器114之一或两者。

另外，如上所述，用于实现与根据实施例的信息处理方法有关的处理的配置不限于图11中所示的配置，以及可以采用根据对与根据实施例的信息处理方法有关的处理进行划分的方法的配置。

此外，例如，在经由具有与通信单元102的功能和配置相类似的功能和配置的外部通信装置与外部设备进行通信的情况下，根据本实施例的信息处理设备不必包括通信单元102。

[2]根据实施例的信息处理系统中包括的每个设备的应用示例

上面已经将信息处理设备描述为根据实施例的信息处理系统的组件，但是实施例不限于此。例如，实施例可以应用于能够执行与根据实施例的信息处理方法有关的处理的各种设备，例如“诸如个人计算机(PC)、服务器等计算机”、“平板设备”、“游戏设备”和“诸如数码静态相机、数码摄像机等相机”。另外，实施例还可以应用于例如可以嵌入在前述设备中的处理IC。

另外，根据实施例的信息处理设备可以在例如连接到诸如云计算等网络(或设备之间的通信)的假设下应用于处理系统。执行与根据实施例的信息处理方法有关的处理的处理系统的示例包括“这样的系统，其中处理系统中包括的一个设备执行与根据实施例的信息处理方法有关的处理中的一些，而处理系统中包括的另一设备执行除了与根据实施例的信息处理方法有关的处理中的一些以外的处理”等。

另外，已经将成像装置描述为根据实施例的信息处理系统的组件，但是实施例不限于此。在实施例中，例如，可以例示具有成像功能的任何设备，例如“诸如数码静态相机、数码摄像机等相机”、“能够进行成像的诸如智能电话、蜂窝电话等通信设备”、“能够进行成像的平板设备”或“能够进行成像的游戏设备”。另外，如上所述，在根据实施例的信息处理系统中，根据实施例的信息处理设备可以具有成像装置的作用。

另外，已经将显示装置描述为根据实施例的信息处理系统的组件，但是实施例不限于此。在实施例中，例如，可以例示具有显示图像的功能的任何设备，例如“电视接收机等”、“诸如头戴式显示器、眼镜型设备等可穿戴设备”、“能够执行显示的诸如PC等计算机”、“能够执行显示的平板设备”、“能够执行显示的诸如数码静态相机、数码摄像机等相机”、“能够执行显示的诸如智能电话、蜂窝电话等通信设备”或“能够执行显示的游戏设备”。

另外，已经将存储装置描述为根据实施例的信息处理系统的组件，但是实施例不限于此。在实施例中，例如，可以例示具有在记录介质中存储数据的功能的任何设备，例如“能够存储数据的诸如PC等计算机”、“能够存储数据的平板设备”、“能够存储数据的诸如数码静态相机、数码摄像机等相机”、“能够存储数据的诸如智能电话、蜂窝电话等通信设备”或“能够存储数据的游戏设备”。

(根据实施例的程序)

由计算机系统中的处理器等执行使计算机系统进行控制以用作根据实施例的信息处理设备的程序(例如，能够执行与根据实施例的信息处理方法有关的处理的程序，例如“设定处理”、“将设定处理与编辑处理和显示处理之一或两者相结合的处理”等)，因此可以辅助确定基于捕获图像检测到的预定事件。这里，可以将单个计算机或多个计算机例示为根据实施例的计算机系统。根据实施例的计算机系统执行与根据实施例的信息处理方法有关的一系列处理。

此外，当由计算机系统中的处理器等执行使计算机系统用作根据本实施例的信息处理设备的程序时，可以提供通过如上所述的与根据本实施例的信息处理方法有关的处理所提供的效果。

上面已经参考附图描述了本公开的优选实施例，而本公开不限于以上示例。本领域技术人员可以在所附权利要求书的范围内发现各种变更和修改，并且应当理解，它们将当然落入本公开的技术范围内。

例如，上面已经说明了提供使计算机系统用作根据本实施例的信息处理设备的程序(计算机程序)，但是本实施例可以进一步提供一起存储有上述程序的记录介质。

上述配置表示本实施例的示例，并且当然属于本公开的技术范围。

注意，上述效果不一定是限制性的。即，与上述效果一起或代替上述效果，可以实现本说明书中描述的效果或可以从本说明书中掌握的其他效果中的任何一个。

另外，本公开的技术范围也可以如下配置。

(1)一种信息处理设备，包括：设定处理器，所述设定处理器被配置为基于由成像装置按时间序列捕获的捕获图像对于捕获图像中包括的对象设定元数据，

其中，所述设定处理器从捕获图像中检测到预定事件起按与时间序列相反的反向时间序列处理捕获图像，并且对于捕获图像中包括的对象当中的与所述预定事件相关的对象设定元数据。

(2)根据(1)所述的信息处理设备，其中，所述设定处理器对于直接与所述预定事件相关的第一对象和间接与所述预定事件相关的第二对象中的每个设定元数据。

(3)根据(2)所述的信息处理设备，

其中，所述设定处理器从检测到所述预定事件的捕获图像中识别第一对象，

通过按反向时间序列处理捕获图像来确定与所识别的第一对象相关的对象，以及

将所确定的与第一对象相关的对象设定为第二对象。

(4)根据(3)所述的信息处理设备，其中，所述设定处理器：

对于与反向时间序列中的每个时间点相对应的每个捕获图像检测第一对象，

从检测到第一对象的捕获图像中确定直接与第一对象相关的第三对象，

将所确定的第三对象设定为第二对象。

(5)根据(4)所述的信息处理设备，其中，所述设定处理器将与第一对象的距离等于或小于预定阈值的对象或与第一对象的距离小于所述预定阈值的对象确定为第三对象。

(6)根据(4)或(5)所述的信息处理设备，其中，所述设定处理器：

进一步从包括所确定的第三对象的捕获图像中确定直接与第三对象相关的第四对象，以及

将所确定的第四对象设定为第二对象。

(7)根据(1)至(6)中任一项所述的信息处理设备，其中，所述设定处理器处理在从检测到所述预定事件的时间点到满足所述反向时间序列中的预定条件的时间点的时间段内的与所述反向时间序列中的每个时间点相对应的捕获图像。

(8)根据(7)所述的信息处理设备，其中，所述预定条件包括时间条件和与从捕获图像中检测到的对象有关的条件之一或两者。

(9)根据(1)至(8)中任一项所述的信息处理设备，其中，所述设定处理器进一步从所述预定事件起按时间序列处理捕获图像，并且对于与所述预定事件相关的对象设定所述元数据。

(10)根据(1)至(9)中任一项所述的信息处理设备，其中，所述设定处理器：

从与所述预定事件相关的设定了元数据的对象当中确定设定了不同元数据的同一对象，以及

整合对于同一对象设定的不同元数据。

(11)根据(1)至(10)中任一项所述的信息处理设备，其中，所述设定处理器基于由多个成像装置捕获的捕获图像对于与所述预定事件相关的对象设定元数据。

(12)根据(11)所述的信息处理设备，其中，所述设定处理器处理每个成像装置的捕获图像，并且针对每个成像装置对于与所述预定事件相关的对象设定元数据。

(13)根据(12)所述的信息处理设备，其中，所述设定处理器将与所述预定事件相关的针对每个成像装置设定了元数据的对象相关联。

(14)根据(13)所述的信息处理设备，其中，所述设定处理器针对每个设定的元数据记录与对于相关联的其他对象设定的元数据的相关性。

(15)根据(11)所述的信息处理设备，其中，所述设定处理器：

基于由所述多个成像装置中的一些成像装置捕获的捕获图像，对于由所述一些成像装置捕获的捕获图像中包括的对象当中的与所述预定事件相关的对象设定元数据，以及

在基于由所述一些成像装置捕获的捕获图像的元数据的设定结果和由所述多个成像装置中的剩余成像装置捕获的捕获图像的基础上，对于由所述剩余成像装置捕获的捕获图像中包括的对象当中的与所述预定事件相关的对象设定元数据。

(16)根据(1)至(15)中任一项所述的信息处理设备，还包括：编辑处理器，所述编辑处理器被配置为基于对于与所述预定事件相关的对象的元数据的设定结果来编辑捕获图像。

(17)根据(16)所述的信息处理设备，其中，所述编辑处理器响应于如下图像处理来编辑捕获图像，所述图像处理包括对捕获图像的电子变焦和基于捕获图像的多个图像的组合之一或两者。

(18)根据(1)至(17)中任一项所述的信息处理设备，还包括：显示处理器，所述显示处理器被配置为基于对于与所述预定事件相关的对象的元数据的设定结果在显示屏幕上显示其中与所述预定事件相关的设定了元数据的对象被示出的图像。

(19)根据(18)所述的信息处理设备，其中，所述显示处理器基于显示设定信息来改变显示与所述预定事件相关的设定了元数据的对象的方式。

(20)一种由信息处理设备执行的信息处理方法，所述方法包括：

基于由成像装置按时间序列捕获的捕获图像对于捕获图像中包括的对象设定元数据的步骤，

其中，在所述设定的步骤中，从捕获图像中检测到预定事件起按与时间序列相反的反向时间序列处理捕获图像，并且对于捕获图像中包括的对象当中的与所述预定事件相关的对象设定元数据。

附图标记

100 信息处理设备

102 通信单元

104 控制单元

110 设定处理器

112 编辑处理器

114 显示处理器

120 事件检测器

122A、122B、122C 跟踪目标确定器

124A、124B、124C 跟踪处理器

126A、126B、126C 记录器

128B、128C 元数据授予器

130 元数据调整器

162、300 显示装置

200、200A、200B 成像装置

500 网络

1000 信息处理系统

Claims (20)

1.一种信息处理设备，包括：设定处理器，所述设定处理器被配置为基于由成像装置按时间序列捕获的捕获图像对于捕获图像中包括的对象设定元数据，

其中，所述设定处理器从捕获图像中检测到预定事件起按与时间序列相反的反向时间序列处理捕获图像，并且对于捕获图像中包括的对象当中的与所述预定事件相关的对象设定元数据。

2.根据权利要求1所述的信息处理设备，其中，所述设定处理器对于直接与所述预定事件相关的第一对象和间接与所述预定事件相关的第二对象中的每个设定元数据。

3.根据权利要求2所述的信息处理设备，

其中，所述设定处理器从检测到所述预定事件的捕获图像中识别第一对象，

通过按反向时间序列处理捕获图像来确定与所识别的第一对象相关的对象，以及

将所确定的与第一对象相关的对象设定为第二对象。

4.根据权利要求3所述的信息处理设备，其中，所述设定处理器：

对于与反向时间序列中的每个时间点相对应的每个捕获图像检测第一对象，

从检测到第一对象的捕获图像中确定直接与第一对象相关的第三对象，

将所确定的第三对象设定为第二对象。

5.根据权利要求4所述的信息处理设备，其中，所述设定处理器将与第一对象的距离等于或小于预定阈值的对象或与第一对象的距离小于所述预定阈值的对象确定为第三对象。

6.根据权利要求4所述的信息处理设备，其中，所述设定处理器：

进一步从包括所确定的第三对象的捕获图像中确定直接与第三对象相关的第四对象，以及

将所确定的第四对象设定为第二对象。

7.根据权利要求1所述的信息处理设备，其中，所述设定处理器处理在从检测到所述预定事件的时间点到满足所述反向时间序列中的预定条件的时间点的时间段内的与所述反向时间序列中的每个时间点相对应的捕获图像。

8.根据权利要求7所述的信息处理设备，其中，所述预定条件包括时间条件和与从捕获图像中检测到的对象有关的条件之一或两者。

9.根据权利要求1所述的信息处理设备，其中，所述设定处理器进一步从所述预定事件起按时间序列处理捕获图像，并且对于与所述预定事件相关的对象设定所述元数据。

10.根据权利要求1所述的信息处理设备，其中，所述设定处理器：

从与所述预定事件相关的设定了元数据的对象当中确定设定了不同元数据的同一对象，以及

整合对于同一对象设定的不同元数据。

11.根据权利要求1所述的信息处理设备，其中，所述设定处理器基于由多个成像装置捕获的捕获图像对于与所述预定事件相关的对象设定元数据。

12.根据权利要求11所述的信息处理设备，其中，所述设定处理器处理每个成像装置的捕获图像，并且针对每个成像装置对于与所述预定事件相关的对象设定元数据。

13.根据权利要求12所述的信息处理设备，其中，所述设定处理器将与所述预定事件相关的针对每个成像装置设定了元数据的对象相关联。

14.根据权利要求13所述的信息处理设备，其中，所述设定处理器针对每个设定的元数据记录与对于相关联的其他对象设定的元数据的相关性。

15.根据权利要求11所述的信息处理设备，其中，所述设定处理器：

基于由所述多个成像装置中的一些成像装置捕获的捕获图像，对于由所述一些成像装置捕获的捕获图像中包括的对象当中的与所述预定事件相关的对象设定元数据，以及

在基于由所述一些成像装置捕获的捕获图像的元数据的设定结果和由所述多个成像装置中的剩余成像装置捕获的捕获图像的基础上，对于由所述剩余成像装置捕获的捕获图像中包括的对象当中的与所述预定事件相关的对象设定元数据。

16.根据权利要求1所述的信息处理设备，还包括：编辑处理器，所述编辑处理器被配置为基于对于与所述预定事件相关的对象的元数据的设定结果来编辑捕获图像。

17.根据权利要求16所述的信息处理设备，其中，所述编辑处理器响应于如下图像处理来编辑捕获图像，所述图像处理包括对捕获图像的电子变焦和基于捕获图像的多个图像的组合之一或两者。

18.根据权利要求1所述的信息处理设备，还包括：显示处理器，所述显示处理器被配置为基于对于与所述预定事件相关的对象的元数据的设定结果在显示屏幕上显示其中与所述预定事件相关的设定了元数据的对象被示出的图像。

19.根据权利要求18所述的信息处理设备，其中，所述显示处理器基于显示设定信息来改变显示与所述预定事件相关的设定了元数据的对象的方式。

20.一种由信息处理设备执行的信息处理方法，所述方法包括：

基于由成像装置按时间序列捕获的捕获图像对于捕获图像中包括的对象设定元数据的步骤，

其中，在所述设定的步骤中，从捕获图像中检测到预定事件起按与时间序列相反的反向时间序列处理捕获图像，并且对于捕获图像中包括的对象当中的与所述预定事件相关的对象设定元数据。

Images