CN104063708A - 信息处理设备、记录介质和信息处理系统 - Google Patents

Abstract

提供了一种信息处理设备、记录介质和信息处理系统，该信息处理系统获取主体的捕获图像数据并且基于传感器时间信息将图像数据的多个时间点与事件信息的多个时间点相关联，该事件信息是基于传感器设备以时间序列获取的传感器信息而获取的并且指示传感器设备的操作的发生。

Description

信息处理设备、记录介质和信息处理系统

对相关申请的交叉引用

该申请要求2013年3月22日提交的日本优先权专利申请JP2013-060061的权益，其全部内容通过引用合并于此。

技术领域

本公开涉及一种信息处理设备、记录介质和信息处理系统。

背景技术

如果人希望改进体育运动技能，则重要的是对他的/她的表演客观地进行分析并且在做体育运动时具有自我提升意识。在一种广泛传播的自我提升的方式的示例中，以静止或运动图像来记录表演，并且在表演之后观看静止或运动图像，使得弄清待改进的点等。这样的静止或运动图像由除成像设备的用户之外的人拍摄，但是通常由用户自身拍摄，这样的拍摄称为所谓的自拍。

在这样的情况下，例如，如果可以从静止或运动图像的内容提取拍摄了特定用户或用户的特定表演的部分，则可以在短时间中回顾表演从而弄清用于改进的点。换言之，如果可以从内容自动检测用户期望的场景，则增强了内容搜索效率。因此，可以有效地将内容用于改进表演。

在诸如专业体育运动转播的商业内容中已提出了在内容中自动检测用户期望的场景的技术。例如，JP2011-223287A描述了通过基于内容图像或音频特征量进行学习而自动检测用户感兴趣的场景（突出场景）的技术。

发明内容

然而，不容易将如JP2011-223287A中描述的技术应用于用户为了改进他的/她的体育运动技能提升而拍摄的内容。根据上述技术，例如，当内容是足球比赛时，基于通过提取示出场地的线或球的轨迹的图像的特征量或者表示口哨或欢呼的音频的特征量而执行的学习来检测突出场景。然而，用户拍摄的内容呈现了各种表演场地，并且通常没有口哨和欢呼。此外，内容还包括明显不必要的场景，诸如由收集已飞出球场的球而导致的表演的中断。因此，以与商业内容相同的方式学习特征量是困难的，并且是无效率的。

为此，需要这样一种技术，其用于通过使用与上述技术不同的技术而在例如用户为了改进他的/她的体育运动技能而拍摄的内容中以高精度检测用户的期望场景。鉴于上述情形，期望提供新颖且改进的、并且可以提取与用户的体育运动表演状态相对应的场景的信息处理设备、记录介质和信息处理系统。

根据本公开的实施例，提供了一种信息处理系统，其获取主体的捕获图像数据，并且将图像数据的多个时间点与基于传感器时间信息的事件信息的多个时间点相关联，该事件信息是基于由传感器设备以时间序列获取的传感器信息而获取的，并且指示传感器设备的操作的发生。

根据上述本公开的实施例，可以以较高精度提取与用户的体育运动表演状态相对应的场景。

附图说明

图1是示出根据本公开的第一实施例的信息处理系统的概况的图；

图2是用于说明在根据本公开的第一实施例的信息处理系统中可能发生的时间固定值偏差的示例的图；

图3是用于说明在发生如图2的示例中的固定值偏差的状态下表演事件与表演图像之间的时间标记偏差的图；

图4是用于说明在根据本公开的第一实施例的信息处理系统中可能发生的时间线性偏差的示例的图；

图5是用于说明本公开的第一实施例中的调整时间偏差的方法的图；

图6是示出根据本公开的第一实施例的传感器设备和成像设备的示意功能配置的框图；

图7是用于说明由本公开的第一实施例中的传感器设备指示时间的示例的图；

图8是用于说明本公开的第一实施例中的传感器设备获取时间的示例的图；

图9是示出本公开的第一实施例中的在图像捕获时的处理的示例的流程图；

图10是示出本公开的第一实施例中的在图像捕获之后的处理的示例的流程图；

图11是示出根据本公开的第二实施例的传感器设备和成像设备的示意功能配置的框图；

图12是示出本公开的第二实施例中的图像捕获时的处理的示例的流程图；

图13是示出本公开的第二实施例中的图像捕获之后的处理的示例的流程图；

图14是示出根据本公开的第三实施例的传感器设备和成像设备的示意功能配置的框图；

图15是示出本公开的第三实施例中的图像捕获之后的处理的示例的流程图；

图16是用于说明本公开的第三实施例中的时间序列调整处理的图；

图17是示出根据本公开的第三实施例的计算时间序列调整参数的处理的示例的流程图；

图18是示出根据本公开的第四实施例的信息处理系统的概况的图；

图19是示出根据本公开的实施例的传感器设备的硬件配置的示例的图；以及

图20是示出根据本公开的实施例的信息处理设备的硬件配置的示例的图。

具体实施方式

下文中，将参照附图详细描述本公开的优选实施例。注意，在该说明书和附图中，具有基本上相同的功能和结构的结构元件以相同的附图标记来表示，并且省略这些结构元件的重复说明。

将按以下顺序给出描述。

1.第一实施例

1-1.系统配置

1-2.时间偏差

1-3.装置配置

1-4.时间序列调整处理

2.第二实施例

2-1.功能配置

2-2.时间序列调整处理

3.第三实施例

3-1.功能配置

3-2.时间序列调整处理

3-3.时间序列调整处理

4.第四实施例

5.硬件配置

6.补充说明

（1.第一实施例）

（1-1.系统配置）

首先，将参照图1描述根据本公开的第一实施例的信息处理系统的配置。

图1是示出根据本公开的第一实施例的信息处理系统的概况的图。参照图1，信息处理系统10包括传感器设备100和成像设备200。

（传感器设备）

传感器设备100由做体育运动的用户佩戴或者附接到由用户使用的体育运动装备。当由用户佩戴时，可将传感器设备100的形状设为例如如图中所示的手镯一样以直接附接到用户的身体。当附接到体育运动装备（在网球的情况下，诸如球拍、网球服、鞋子或腕带）时，传感器设备100可围绕装备的轴部等缠绕、缝在布上或附接到布、或者预先构建在装备中。

这里，传感器设备100获取用于指示做体育运动的用户的行为的传感器信息。由传感器信息指示的用户的行为可以是例如用户或装备的物理运动（诸如位置、速度或加速度）。为了获取这样的传感器信息，例如，传感器设备100包括至少一个传感器。传感器检测例如加速度、角速度、振动、温度、时间或位置（诸如由经度和纬度表示的地面上的位置或者相对于球场等的位置）。传感器设备100例如累积如此获取的传感器信息。当用户例如在表演结束之后连接传感器设备100和成像设备200时，所累积的传感器信息可以被传送到成像设备200。

（成像设备）

成像设备200捕获体育运动的表演图像。表演图像可以是至少部分地包括做体育运动的用户以及附接到用户或用户的装备的传感器设备100的运动图像。成像设备200放置在例如用户做体育运动的球场附近，并且捕获表演图像。所捕获的表演图像的数据至少暂时存储在成像设备200中。此后，例如，当用户在表演结束之后连接传感器设备100和成像设备200时，成像设备200可以接收在表演图像被拍摄的同时由接收传感器设备100获取的传感器信息。

这里，基于所接收的传感器信息，成像设备200检测用户所做的体育运动中的表演事件的发生并且生成与该表演事件对应的表演事件信息。例如，成像设备200基于表演事件信息从表演图像提取场景，并且生成摘要图像。这使得能够生成仅包括例如由用户指定的表演事件的场景的摘要图像。另外，例如，成像设备200基于表演事件信息设置附加信息，诸如表演图像中的章节信息。这有利于例如在用户观看表演图像时搜索期望表演事件的场景。

注意，成像设备200可将表演图像上载到图中未示出的服务器，其中表演图像例如包括摘要图像和设置在表演图像中的附加信息。替选地，可采用以下配置。具体地，成像设备200将捕获的表演图像上载到服务器，并且传感器设备100也将传感器信息上载到服务器。如上所述，服务器执行表演事件的发生的检测、基于表演事件信息的摘要图像的生成以及附加信息的设置。

（1-2.时间偏差）

接下来，将参照图2至图5描述在本公开的第一实施例中发生的时间偏差。

（固定值偏差）

图2是用于说明在根据本公开的第一实施例的信息处理系统的示例中可能发生的时间固定值偏差的图。图2示出了基准时间T⁰、传感器设备100中的时间T¹和成像设备200中的时间T²。基准时间T⁰是用作现实世界中的基准的时间（诸如标准时间）。时间T¹是由构建在传感器设备100中的时钟定义的时间。时间T²是由构建在成像设备200中的时钟定义的时间。

如图所示，在基准时间T⁰、时间T¹和时间T²之间存在恒定偏差。例如，当基准时间T⁰在t⁰ ₀=12:00:00时，时间T¹在基准时间T⁰之后五秒的t¹ ₀=12:00:05并且时间T²在基准时间T⁰之前五秒的t² ₀=11:59:05。例如在对传感器设备100和成像设备200中的每个执行初始时间设置时发生该偏差。除了受稍后要描述的线性偏差影响以外，每个偏差的量保持恒定，直到时间被重置为止（在图中所示的示例中，时间T¹快五秒，并时间T²慢五秒）。这样的时间偏差在该说明书中也被称为固定值偏差。

该固定值偏差可以引起传感器设备100获取的传感器信息的时间标记与成像设备200捕获的表演图像的时间标记之间的偏差。在图2的示例中，当基准时间T⁰在t⁰ ₁=12:10:00时，成像设备200开始捕获表演图像。此时，传感器设备100中的时间T¹在t¹ ₁=12:10:05，并且成像设备200中的时间T²在t² ₁=12:09:55。因此，在正捕获表演图像的同时，传感器设备100中的时间T¹与成像设备200中的时间T²之间保持十秒的偏差。

图3是用于说明在发生如图2的示例中的固定值偏差的状态下在表演事件与表演图像之间的时间标记偏差的图。图3示出了以下情况下的传感器设备100与成像设备200之间的时间标记偏差。在捕获到表演图像之后，成像设备200基于从传感器设备100接收的传感器信息而生成表演事件信息，并且将该表演事件信息与表演图像相关联。

由于基于传感器设备100获取的传感器信息来生成表演事件信息，因此在表演事件信息指示的表演事件发生时的时间标记是基于传感器设备100中的时间T¹的时间标记。另一方面，表演图像是由成像设备200捕获的，因此表演图像的时间标记是基于成像设备200中的时间T²的时间标记。这里，如上所述，在正捕获表演图像的同时，在时间T¹与时间T²之间保持十秒的偏差。

然而，当将表演事件信息与表演图像相关联时，用于识别表演图像的哪个部分与表演事件信息所指示的表演事件相对应的唯一方式是基于它们各自的时间标记在表演事件信息与表演图像之间执行匹配。这里，例如，假设表演事件在与时间T¹中的12:17:05和时间T²中的12:16:55相对应的时间（基准时间T⁰中的12:17:00）发生的情况，如图3所示。出于以上原因，尽管在表演图像中的时间标记12:16:55（P1）处得到表演事件，但是表演事件信息指示表演事件在时间标记12:17:05（P2）处发生。因此，例如，当通过基于表演事件信息而从表演图像中提取场景来生成摘要图像时，在表演事件的实际发生之后十秒的场景被提取为表演事件的场景。该延迟在图中以参考字母D来表示。

这里，例如，在通过利用摘要图像或章节信息进行搜索等来提取表演图像的场景并且然后将该场景再现的情况下，用户在没有不自然感觉的情况下可以接受的时间偏差不会这样大，并且例如上至大约0.1秒。另外，一些类型的表演事件通常具有大约数秒的短持续时间。因此，例如，如在上述示例中相当于不小于十秒的偏差的发生不仅使得用户感到不自然，而且还可能导致表演事件的场景的无用再现。

因此，在本实施例中，传感器设备100中的时间T¹以如稍后要描述的特定形式记录在表演图像中。当传感器信息稍后被传送到成像设备200时，在由成像设备200基于传感器信息生成的表演事件信息的时间序列与表演图像的时间序列之间进行调整。从而可以将表演事件信息指示的表演事件发生的定时与在表演图像中得到表演事件的定时同步。

（线性偏差）

图4是用于说明在根据本公开的第一实施例的信息处理系统中可能发生的时间线性偏差的示例的图。与上述图2一样，图4示出了基准时间T⁰、传感器设备100中的时间T¹和成像设备200中的时间T²。

在图中所示的示例中，基准时间T⁰、时间T¹和时间T²在基准时间T⁰处于t⁰ ₀=12:00:00时的时间点相互同步，即，在时间t¹ ₀=12:00:00且在时间t² ₀=12:00:00相互同步。然而，随着时间过去，在这些时间之间发生偏差。更具体地，在基准时间T⁰在t⁰ ₁=13:00:00的时间点，时间T¹在t¹ ₁=12:59:59并且比基准时间T⁰慢一秒。另外，在同一时间点，时间T²在t² ₁=13:00:01并且比基准时间T⁰快一秒。这样的偏差是例如由用于在传感器设备100和成像设备200的每个中构建的时钟的晶体振荡器的振荡频率误差而引起的。当电压被施加到晶体振荡器时，晶体振荡器以大致恒定的振荡频率振荡。然而，由于晶体的个体差别、周围温度等，振荡频率具有例如关于原始指定的振荡频率上至大约150ppm（百万分率）的误差。

这样的误差可以使得由使用晶体谐振器的时钟定义的时间偏离标准时间高达大约每小时一秒。在图4的示例中，想到了如图中所示的这样的偏差出于以下原因而发生：用于定义时间T¹的传感器设备100的时钟的晶体振荡器的振荡频率略慢于原始定义的振荡频率；以及用于定义时间T²的成像设备200的时钟的晶体振荡器的振荡频率略高于原始定义的振荡频率。每个晶体振荡器的振荡频率是暂时恒定的。因此，除非周围温度大大改变，否则时间T¹与时间T²之间的偏差量随时间过去而增加。这样的时间偏差在本说明书中也称为线性偏差。

（偏差调整方法）

图5是用于说明本公开的第一实施例中的用于调整时间偏差的方法的图。如至此所描述的，在根据本实施例的信息处理系统10中所包括的传感器设备100中的时间T¹与成像设备200中的时间T²之间可能发生两种类型的时间偏差，即固定值偏差和线性偏差。图5示出了由固定值偏差和线性偏差的组合引起的时间偏差的模型。注意，在图中所示的模型中，x轴表示传感器设备100中的时间，而y轴表示成像设备200中的时间。传感器设备100中的时间x与成像设备200中的时间y之间的关系被表示为y=ax+b。

这里，“a”表示时间x与时间y之间的线性偏差。如在上述图4的示例中那样，在由于成像设备200中的时间y比传感器设备100中的时间x过得快而发生线性偏差的情况下，时间x具有比时间y高的每小时改变率，因此关系a>1成立。相反，如在图5的示例中那样，在由于成像设备200中的时间y比传感器设备100中的时间x过得慢而发生线性偏差的情况下，时间x具有比时间y低的每小时改变率，因此关系a<1成立。在时间x与时间y之间没有发生线性偏差的情况下，关系a=1成立。

相较之下，“b”表示时间x与时间y之间的固定值偏差。如在图2的示例中那样，在成像设备200中的时间y比传感器设备100中的时间x过得慢的情况下，关系b<0成立。这是由于当时间x到达特定时间（在图5的示例中，x=0）时，时间y尚未到达该特定时间。相反，如在图5的示例中那样，在成像设备200中的时间y比传感器设备100中的时间x过得快的情况下，关系b>0成立。这是由于当时间x到达特定时间时，时间y到达该特定时间之后的时间点。在时间x与时间y之间没有发生固定值偏差的情况下，关系b=0成立。

因此，如果指定了a和b的值，则在将如图5所示的固定值偏差和线性偏差纳入考虑的情况下，下述时间标记组X¹可以被转换为下述时间标记组Y¹²：时间标记组X¹是基于传感器设备100中的时间x而提供的表演事件信息的集合{x¹ ₀,x¹ ₁,…,x¹ _n}的元素，而时间标记组Y¹²是基于成像设备200中的时间y而提供的表演图像的集合{y¹² ₀,y¹² ₁,…,y¹² _n}的元素。

在本实施例中，将以特定形式记录的传感器设备100中的时间x记录在表演图像中，将时间x与成像设备200中的时间y（即，在记录时间x时的时间点处表演图像的时间标记）进行比较，从而指定上述a和b的值。当传感器信息稍后被传送到成像设备200时，这实现了将表演事件信息的时间标记组转换为成像设备200中的表演图像的时间标记组。注意，稍后将详细描述将时间x记录在表演图像中的处理以及指定a和b的值的处理。

（1-3.装置配置）

接下来，将参照图6描述包括在根据本公开的第一实施例的信息处理系统中的设备的功能配置。

图6是示出根据本公开的第一实施例的传感器设备和成像设备的示意功能配置的框图。在下文中，将参照图6描述每个设备的功能配置。注意，稍后将描述用于实现功能的硬件配置。

（传感器设备）

传感器设备100包括传感器101、预处理单元103、存储单元105、时钟107和驱动器109。在稍后要描述的变型例中，传感器设备100还可包括分析单元111。

传感器101检测例如加速度、角速度、振动、温度、时间或位置。更具体地，传感器101可包括例如加速度传感器、角速度传感器、振动传感器、温度传感器、压力传感器（包括按压开关）或GPS（全球定位系统）接收器。

预处理单元103执行由传感器101检测的数据的预处理。预处理可以是例如对所检测的数据进行放大或者滤除具有等于或低于阈值的值的数据。注意，取决于传感器101的类型，数据可被提供到存储单元105而不必通过预处理单元103。

存储单元105暂时将由传感器101检测的且由预处理单元103根据需要而处理的数据作为传感器信息存储在其中。此时，传感器信息与由时钟107提供的时间标记一起存储。

这里，存储在存储单元105中的传感器信息稍后通过图中未示出的通信单元被传送到成像设备200。在本实施例中，传感器信息不是在生成时由传感器设备100实时地传送到成像设备200，而是稍后传送。这适用于例如传感器设备100不包括用于无线通信的通信装置以使得装置较小或较轻或者以减小功耗的情况，或者传感器设备100包括通信装置但是不在获取传感器信息的同时频繁执行通信的情况。

时钟107定义传感器设备100中使用的时间。时钟107基于例如初始设置的时间和晶体谐振器的振荡频率而定义时间。如上所述，由初始时间设置而导致的偏差可引起在基准时间或诸如成像设备200的其它设备中的时间与时钟107定义的传感器设备100中的时间之间的固定值偏差。另外，晶体谐振器的振荡频率的误差可引起线性偏差。

驱动器109驱动被配置成通过使用光或声音而指示传感器设备100中的时间的输出装置，该输出装置包括诸如LED（发光二极管）的灯、诸如LCD（液晶显示器）的显示器、扬声器等。例如，当时钟107到达预定时间时，驱动器109驱动输出装置来使用预定用于指示时间的模式。例如，驱动器109以预定颜色或图案来点亮灯，在显示器上显示指示时间的字符或代码，或者使得扬声器以预定振荡频率或以预定振荡模式来发出声音。

（成像设备）

成像设备200包括成像单元201、存储单元203、时钟205和分析单元207。成像设备200还可包括输出单元209。

成像单元201包括用于捕获图像的成像装置和透镜、其驱动电路等。成像单元201捕获做体育运动的用户的图像，其中该用户具有用户佩戴的传感器设备100或具有传感器设备100所附接的装备。该图像是上述表演图像。因此，表演图像不仅示出了作为主体的用户而且还示出了用户直接或间接佩戴的传感器设备100。

存储单元203将成像单元201捕获的表演图像的数据暂时或持续存储在其中。此时，表演图像的数据与由时钟205提供的时间标记一起存储。当稍后通过未示出的通信单元从传感器设备100接收到传感器信息时，表演图像的数据可以被提供到用于识别与表演事件对应的场景的分析单元207。存储单元203还可将在分析单元207的分析结果被反映在其上的情况下所生成的摘要图像存储在其中，或者再次存储包括附加信息的表演图像（诸如章节图像）。

时钟205定义在成像设备200中使用的时间。时钟205基于例如初始设置的时间和晶体谐振器的振荡频率而定义时间。如上所述，由初始时间设置而导致的偏差可引起在基准时间或诸如传感器设备100的其它设备中的时间与由时钟205定义的成像设备200中的时间之间的固定值偏差。另外，晶体谐振器的振荡频率的误差可引起线性偏差。

在捕获到表演图像之后，分析单元207对通过未示出的通信单元从传感器设备100接收的传感器信息进行分析，从而检测作为成像单元201的主体的用户所做的体育运动中的表演事件的发生，并且生成与该表演事件对应的表演事件信息。此外，基于用于指示在捕获表演图像时的至少一个时间点处的传感器设备100中的时间的信息，分析单元207在表演事件信息的时间序列与表演图像的时间序列之间进行调整，从而精确地识别与表演事件信息所标识的表演事件相对应的表演图像中的场景。分析单元207可基于分析结果从表演图像提取一个或多个场景，以生成仅包括所指定的表演事件的一个或多个场景的摘要图像。分析单元207还可基于分析结果，在表演图像中设置与表演事件对应的附加信息（诸如章节信息）。替选地，分析单元207也可将分析结果作为与表演图像分开的数据存储在存储单元203中。

这里，表演事件被定义为体育运动的表演中具有特定含义的动作的单位。例如，在网球的情况下，可以定义诸如“挥动”、“跳跃”、“击球”和“在球场内移动”的表演事件。分析单元207通过使用机器学习或模式识别来分析传感器信息，从而检测预先定义的表演事件的发生。此外，分析单元207例如通过根据需要进一步参考传感器信息而生成表演事件信息，同时将关于检测到其发生的表演事件的详细信息添加到该表演事件信息。表演事件信息可以包括例如作为表演事件的开始时间和结束时间的时间标记信息。

表1在以下示出了表演事件的定义的示例。表演事件可以以按体育运动或按类型以这种方式来定义。同一类型的表演事件可被更具体地分类。注意，这里示出的表演事件是示例，并且可以定义其它各种体育运动中的各种类型的表演事件。

[表1]

表1：表演事件示例

如上所述，表演事件信息的时间标记基于根据传感器设备100的时钟107而提供的传感器信息的时间标记，因此可能与表演图像的时间标记具有偏差。因此，分析单元207执行稍后要描述的用于时间标记调整的处理。

输出单元209输出存储在存储单元203中的表演图像等的数据。输出单元209可包括被配置成显示图像的显示器、被配置成输出音频的扬声器等，并且可再现表演图像、基于表演图像而生成的摘要图像等。替选地，输出单元209可包括网络上的服务器或者被配置成与用户拥有的其它装置通信的通信装置，并且可将表演图像、摘要图像等传送到服务器或其它装置。

（变型例）

在本实施例的变型例中，传感器设备100可包括分析单元111，并且分析单元111可执行在上述示例中由成像设备200的分析单元207执行的表演事件信息生成处理。在该情况下，存储单元105将表演事件信息取代传感器信息而存储在其中或者将表演事件信息与传感器信息一起存储在其中，并且表演事件信息稍后通过未示出的通信单元被传送到成像设备200。另外，在该情况下，当基于传感器信息检测到表演事件的发生时，分析单元111可向时钟107或驱动器109通知表演事件的发生。该通知使得驱动器109能够使输出装置在检测到表演事件的发生的定时处指示传感器设备100中的时间。这样的配置例如在下述情况下是有用的：表演图像具有如此短的图像捕获持续时间，以至于图像捕获持续时间可能不包括驱动器109用于使该时间被指示的预定时间。替选地，驱动器109可使得输出装置在检测到用户使用单独设置的操纵单元进行的指令操纵（诸如接通传感器设备100、按压设置在传感器设备100上的按钮等）或者检测到不寻常表演事件（诸如重复旋转传感器设备100所附接的装备、轻击装备预定次数等）的定时处指示传感器设备100中的时间。

（1-4.时间序列调整处理）

接下来，将参照图7至图10描述本公开的第一实施例中的时间序列调整处理。

（指示传感器设备中的时间）

图7是用于说明本公开的第一实施例中的由传感器设备指示时间的示例的图。如图7所示，当成像设备200捕获到做体育运动的用户的图像时，该图像（表演图像）不仅包括作为主体的用户而且包括用户直接或间接佩戴的传感器设备100。这里，如上所述，驱动器109驱动输出装置，从而传感器设备100通过使用光、声音等指示传感器设备100中的时间。在图中所示的示例中，传感器设备100通过灯的光而指示时间，因而所捕获的表演图像1000包括指示基于传感器设备100的时间的图像1100。

如上所述，传感器设备100例如通过以预定图案点亮灯而指示时间。在该情况下，图案持续预定时间段，由此在该图案持续时图像1100可以不是被识别为运动图像中的单帧图像而是被识别为一系列帧图像。替选地，当传感器设备100通过使用灯的颜色或者显示在显示器上的字符或图案来指示时间时，图像1100可以是单帧图像。当传感器设备100通过使用音频来指示时间时，不是图像1100而是运动图像的预定部分中的音频数据可以被识别为用于指示传感器设备100中的时间的信息。

图8是用于说明在本公开的第一实施例中传感器设备获取时间的示例的图。图8中的示例示出了在成像设备200中，表演图像的捕获在当时间T²处于t² ₀=13:00:00时的时间点开始，并且表演图像的捕获在时间点t² ₃=14:00:00终止。因此，表演图像的时间标记在13:00:00开始并且在14:00:00结束。同时，传感器设备100通过使用各个图像（通过点亮灯、通过使用显示器上的指示符等）或音频（预定频率、预定模式等的声音）而指示时间，并且图像或音频在时间标记（时间T²）的t² ₁=13:09:55和t² ₂=13:49:53处被记录在表演图像中。

成像设备200的分析单元207基于与例如预定的模式、代码或频率的对应关系而对图像或音频进行分析。因此，发现在t² ₁=13:09:55记录的图像或音频指示传感器设备100中的时间t¹ ₁=13:10:00，并且在t² ₂=13:49:53记录的图像或音频类似地指示传感器设备100中的时间t¹ ₂=13:50:00。基于该信息，分析单元207可以计算用于进行传感器信息的时间序列与表演图像的时间序列之间的调整的参数（下文中也称为时间序列调整参数），这些参数是例如图5中的上述模型中的a和b的值。a和b的值可以通过求解经由将x和y的值代入等式y=ax+b中而获得的、具有两个未知数a和b的线性方程来计算。

例如，在图8的示例中，a和b的计算得到a=0.99并且b=-5，其中针对t¹ ₁=13:10:00设置时间0（秒），并且其它时间通过基于与时间t² ₁（t² ₁=-5,t¹ ₂=2400,以及t² ₂=2953）的差使用秒数来表示（简单起见这里的数字被截取为两个小数位，但是实际上可以计算为更多小数位）。根据该结果，发现：在时间点t¹ ₁=13:10:00，成像设备200中的时间T²具有与传感器设备100中的时间T¹的负五秒的固定值偏差；在时间T²中过去了0.99秒而在时间T¹中过去了一秒；因此等同于其之间的差的线性偏差增加（即，时间T²渐渐滞后于时间T¹）。

成像设备200的分析单元207可以基于如此算出的参数在传感器信息的时间序列与表演图像的时间序列之间进行调整。这里，应指出，当计算参数时不一定需要参考如图2所示的基准时间T⁰。在本实施例中，在传感器信息的时间序列与表演图像的时间序列之间进行相对调整即可，因此不一定必需提供用于指示哪个基准时间与传感器信息中的时间或表演图像的时间标记相对应的信息。

（处理流程）

图9是示出本公开的第一实施例中的图像捕获时的处理的示例的流程图。在图9的示例中，成像设备200的成像单元201首先开始捕获表演图像（步骤S101）。所捕获的图像与基于由成像设备200的时钟205定义的时间的时间标记一起累积在存储单元203中。

在本实施例中，成像设备200在开始捕获表演图像的时间点没有向传感器设备100传送通知。然而，在另一实施例中，可与步骤S101一起执行通知步骤。在通知步骤中，成像设备200例如通过无线通信向传感器设备100通知表演图像捕获的开始。在该情况下，传感器设备100可以仅在成像设备200正捕获表演图像时，执行要在稍后要描述的步骤S103中执行的指示时间的预定操作。因此，可以防止在没有正捕获表演图像时执行的不必要操作，从而例如减小传感器设备100中的功耗。

接下来，在正捕获表演图像时，传感器设备100执行用于指示由传感器设备100的时钟107定义的时间的预定操作（步骤S103）。如上所述，该操作可以是例如以预定颜色或预定图案点亮灯，在显示器上显示预定字符或代码，或者使得扬声器以预定振荡频率或以预定振荡模式发出声音。

此时，成像设备200正捕获由传感器设备100执行的预定操作以及作为主体的用户的图像（步骤S105）。注意，这里所述的图像捕获包括不仅记录图像而且记录音频。在该步骤中，传感器设备100执行的预定操作被记录为表演图像中的图像或音频，该预定操作指示由传感器设备100的时钟107定义的时间。

在重复了上述步骤S103和S105预定次数（N次;N=1、2、3、…）之后，成像设备200终止表演图像捕获（步骤S107）。注意，N在上述图8的示例中是2，但是可以是1或者3或更大。

同时，例如，当使用图5中的上述模型时，N=1导致通过将x和y的值代入等式y=ax+b中而获得的一个方程，使得不能计算a和b两者的值。然而，例如，在表演图像具有短持续时间、由于表演事件的性质而允许轻微的时间偏差的情况下或者类似情况下，可以认为不存在线性偏差（a=1）。在这样的情况下，N=1并且仅计算固定值偏差（b的值）也可以以足够的精度识别表演图像中的表演事件的场景。

另一方面，例如，当类似地使用图5中的上述模型时，N≥3导致数量大于未知数（a和b）的数量的所得方程。在这样的情况下，当使得所有方程联立时，一般不能获得解。然而，例如，可采用以下方法。具体地，基于值（x和y）的组合而针对每两个相邻点生成具有两个未知数的线性方程。然后，基于作为方程的解获得的a和b的值而确定要应用于上述两点之间的相应区间的固定值偏差和线性偏差的值。另外，各区间的如此获得的时间偏差的值可基于预定数量的区间而进行平均，并且可使用平均值。如上所述，线性偏差的幅值还随传感器设备100的周围温度而变化。因此，例如，当表演图像持续长时间时，或者当表演图像是在外部捕获的且因此显著受到阳光的变化的影响时，计算表演图像的每个区间的线性偏差的值可以整体增强时间序列调整的精度。

执行上述步骤S103和S105的次数可彼此不同。更具体地，执行步骤S105的次数可比执行步骤S103的次数小。这意味着传感器设备100执行的操作的一部分没有记录在成像设备200捕获的表演图像中。

传感器设备100由做体育运动的用户直接或间接佩戴，因此可能例如取决于用户的动作而在从成像设备200来看时被隐藏在用户的身体或者装备之后。在这样的情况下，例如，传感器设备100的从灯发出的光或者显示器的指示符没有记录在表演图像中。另外，如果当从灯发出光或者指示符显示在传感器设备100的显示器上时用户有力地移动时，则图像中可能会出现模糊。因此，可能没有清楚地记录来自灯的光发射或者显示器上的指示符。

此外，用户可能不一定单独做体育运动，并且可能取决于体育运动的表演而生成声音。因此，例如，用户与其他用户之间的对话（或者用户的独白）或者在表演中生成的诸如击球声音或脚步声的噪声可能会妨碍从传感器设备100的扬声器输出的音频的清楚记录。

在该情况下，例如，尽管步骤S103执行了五次，但是由于传感器设备100隐藏在用户的身体或装备之后、用户有力地移动或者在音频中生成了噪声，因此表演图像中的传感器设备100的预定操作的记录也可能失败两次。因此，步骤S105可能仅执行三次。甚至在该情况下，如果结果是执行步骤S105至少一次，则也可以执行时间序列调整。

例如，可考虑上述情形来设置传感器设备100执行步骤S103的频率。例如，假设下述情况：表演图像平均具有30分钟的持续时间，时间序列调整处理所必需的执行步骤S105的次数至少是2，并且成像设备200以50%的概率记录传感器设备100的预定操作。在该情况下，传感器设备100可以被设置为每三分钟执行步骤S103中的预定操作。这意味着在30分钟内执行步骤S103中的操作十次，但是在表演图像中记录预定操作两次或更多次（即，执行步骤S105两次或更多次）的概率是大约99%。

注意，当在上述示例中执行步骤S105多于两次时，可通过在记录在表演图像中的传感器设备100的操作当中提取仅两个操作（诸如开始和结束时的操作）来确定固定值偏差和线性偏差的值。替选地，如上所述，可针对每个区间确定固定值偏差和线性偏差的值或者通过对各区间的计算结果进行平均来确定固定值偏差和线性偏差的值。

图10是示出本公开的第一实施例中的图像捕获之后的处理的示例的流程图。在图10的示例中，成像设备200首先获取表演事件信息（步骤S201）。这里，表演事件信息可以是由成像设备200的分析单元207基于在捕获表演图像之后从传感器设备100接收的传感器信息而生成的信息。替选地，表演事件信息可由传感器设备100基于传感器信息而生成并且在捕获到表演图像之后从传感器设备100传送到成像设备200。

注意，在本实施例中，直到稍后要描述的步骤S209之前并没有参考表演事件信息本身，因此可在稍后的定时执行步骤S201。注意，图中所示的示例假设例如在捕获到一个或多个表演图像之后用户连接传感器设备100和成像设备200、分析单元207基于从传感器设备100传送到成像设备200的传感器信息生成表演事件信息（步骤S201）以及该生成触发在步骤S203中和在步骤S203之后的处理的执行的情况。在另一示例中，可以在步骤S203与步骤S207之间的任意定时处或者在与步骤S203至S207的部分或全部并行的定时处设置执行步骤S201的定时。

接下来，成像设备200的分析单元207分析由成像单元201捕获的并且累积在存储单元203中的每个表演图像（步骤S203）。分析在这里可以是例如对表演图像的图像或音频的分析。例如，分析单元207对针对指示传感器设备100的预定操作的图像或音频而预先提供的模式来执行匹配，从而提取记录在表演图像中的传感器设备100的一个或多个预定操作。注意，当在步骤S203中没有检测到传感器设备100的任何预定操作时，成像设备200可认为无法执行时间序列调整，因此可通过跳过随后步骤而终止处理。成像设备200可通过输出单元209等向用户显示错误消息。

接下来，分析单元207将在步骤S203中提取的传感器设备100的每个预定操作转换为时间信息（步骤S205）。例如，基于预先提供的、指示传感器设备100的预定操作的图像或音频的模式以及基于用于定义预定操作所指示的时间的信息，分析单元207将所提取的传感器设备100的预定操作转换为时间信息。注意，此时，还可以识别在执行传感器设备100的预定操作时的表演图像的时间标记（时间）。

重复上述步骤S205预定次数（M次；M=1、2、3、…）。次数M可以是例如在步骤S203中从表演图像提取的传感器设备100的操作的次数。在该情况下，在步骤S203中提取的所有操作被转换为时间信息。这里，例如，如果M是3或更大，可以针对每个区间或者通过对各区间的计算结果求平均而在稍后要描述的步骤S207中计算时间序列调整参数。

替选地，次数M可以是例如考虑到随后步骤S207中的处理的效率而预先设置的预定数量。在该情况下，在步骤S203中提取的操作的仅一部分可以被转换为时间信息。注意，在步骤S203中提取操作的次数下降到次数M以下的情况下（诸如尽管设置了M=2，但是在步骤S203中提取操作的次数仅为1的情况），成像设备200可认为不可执行时间序列调整，因此可通过跳过随后的步骤而在该时间点终止处理。替选地，成像设备200可取决于次数而将随后步骤中的处理改为不同于普通处理，然后可执行该处理（例如，当在步骤S203中仅提取操作一次时，成像设备200认为不存在线性偏差）。

接下来，分析单元207基于在步骤S205中识别的成像设备200中的时间和传感器设备100中的时间的组合而计算时间序列调整参数（步骤S207）。如上所述，时间序列调整参数是用于在传感器信息的时间序列与表演图像的时间序列之间进行调整的参数。当使用图5中的上述模型时，a和b的值可适用于这些参数。分析单元207例如通过求解经由将传感器设备100中的时间和成像设备200中的时间的组合代入从时间序列偏差模型（不限于图5中的示例）得到的关系方程而获得的方程来计算时间序列调整参数。如果给出了传感器设备100中的时间和成像设备200中的时间的三种或更多种组合，则可针对每个区间或者通过对各区间的计算结果求平均而计算时间序列调整参数。

接下来，通过使用在步骤S207中算出的时间序列调整参数，分析单元207对由表演事件信息的时间标记指示的传感器设备100中的时间进行转换，以与在表演图像的时间标记中所使用的成像设备200中的时间进行同步，并且将表演图像中的与所转换的时间相对应的场景识别为表演事件的场景（步骤S209）。这里，例如，所转换的时间之前或之后的时间可被设置为使得表演事件的场景可以根据表演事件的类型而持续一定时段。替选地，使用包括在表演事件信息中的表演事件的开始的时间标记来转换的时间以及使用结束的时间标记来转换的时间可分别被设置为表演事件的场景的开始点和结束点。

尽管图中没有示出在上述处理中识别表演图像中的表演事件的场景之后的处理，但是可以进行以下处理等作为识别之后的处理。例如，如已作为分析单元207的功能而描述的那样，生成包括被指定的表演事件的场景的摘要图像；在表演图像中设置附加信息（诸如对应于表演事件的章节信息）；以及将表演事件的场景的定义记录为与表演图像分开的数据。

至此已描述了本公开的第一实施例。在本实施例中，在表演事件信息（传感器信息）的时间序列与表演图像的时间序列之间进行调整，从而可以精确地识别包括在表演图像中的表演事件的场景。因此，例如，在通过利用摘要图像或章节信息进行搜索等而提取表演图像的场景然后对其进行再现的情况下，这使得用户的不自然感或大大偏离表演事件的实际场景的场景的再现减少了。

另外，在该实施例中，为了进行时间序列之间的上述调整，传感器设备和成像设备不需要在正捕获表演图像时实时地彼此通信。由于传感器设备中的时间的信息被记录作为表演图像中的图像或音频，因此成像设备可以在不与传感器设备通信的情况下计算用于进行时间序列之间的调整的参数。另外，在本实施例中的时间序列调整中，不必指定基准时间与各个设备中的时间之间的关系，因此设备不必执行获取基准时间的通信。因此，例如，可以通过简化每个设备的通信装置的配置而使得设备更小或更轻，以通过减小通信装置执行通信的次数等而减小功耗。

（2.第二实施例）

接下来，将参照图11至图13描述本公开的第二实施例。本实施例与上述第一实施例的不同之处在于，传感器设备和成像设备在正捕获表演图像时执行与彼此的通信，使得传感器设备中的时间通过通信被传送到成像设备。注意，由于除此点之外的本实施例中的配置可以与第一实施例的配置相同，因此省略了详细描述。

（2-1.功能配置）

图11是示出根据本公开的第二实施例的传感器设备和成像设备的示意功能配置的框图。在下文中，将参照图11描述每个设备的功能配置。注意，稍后将描述用于实现这些功能的硬件配置。具有与第一实施例中相同的功能配置的结构元件以相同的附图标记来表示，并且省略这些结构元件的重复说明。

（传感器设备）

传感器设备100-2包括传感器101、预处理单元103、存储单元105、时钟107和通信单元113。传感器设备100-2还可包括稍后要描述的变型例中的分析单元111。

通信单元113包括被配置成例如通过无线通信将传感器设备100-2中的时间信息传送到成像设备200-2的通信装置。例如，当时钟107达到特定时间时，通信单元113将用于指示时间的时间信息传送到成像设备200-2的通信单元211。通信单元113还可执行与通信单元211的双向通信，并且响应于从通信单元211接收的查询而传送时间信息。注意，通信单元113可以是与被配置成将存储在存储单元105中的传感器信息传送到成像设备200-2的通信单元相同的单元或不同的单元。

（成像设备）

成像设备200-2包括成像单元201、存储单元203、时钟205、分析单元207和通信单元211。成像设备200-2还可包括输出单元209。

通信单元211包括通信装置，该通信装置被配置成例如通过无线通信来接收从传感器设备100-2传送的传感器设备100-2中的时间信息。由通信单元211从传感器设备100-2的通信单元113接收的时间信息作为要与成像单元201此时捕获的表演图像的数据相关联的元数据而存储在存储单元203中。通信单元211可执行与通信单元113的双向通信，以例如在成像单元201开始和终止捕获表演图像时或者在成像单元201正捕获表演图像时以预定间隔将对时间信息的查询传送到通信单元113。注意，通信单元211可以是与被配置成从传感器设备100-2接收要提供到分析单元207的传感器信息的通信单元相同的单元或不同的单元。

（变型例）

在本实施例的变型例中，传感器设备100-2可包括分析单元111，并且分析单元111可执行在上述示例中由成像设备200-2的分析单元207执行的表演事件信息生成处理。在该情况下，存储单元105将表演事件信息取代传感器信息而存储在其中或者将表演事件信息与传感器信息一起存储在其中，并且表演事件信息稍后通过通信单元传送到成像单元200-2。另外，在该情况下，当基于传感器信息检测到表演事件的发生时，分析单元111可向时钟107或通信单元113通知表演事件的发生。该通知使得通信单元113能够在检测到表演事件的定时将用于指示传感器设备100-2中的时间的时间信息传送到成像设备200-2。例如，在表演图像具有如此短的图像捕获持续时间以至于图像捕获持续时间可能不包括通信单元113用于传送时间信息的预定时间、但是期望该时间信息在适当定时被传送而不取决于来自成像设备200-2的查询的情况下，这样的配置是有用的。

（2-2.时间序列调整处理）

图12是示出本公开的第二实施例中的图像捕获时的处理的示例的流程图。在图12的实施例中，成像设备200-2的成像单元201首先开始捕获表演图像（步骤S301）。所捕获的表演图像与基于由成像设备200-2的时钟205定义的时间的时间标记一起累积在存储单元203中。

接下来，在正捕获表演图像时，成像设备200-2将针对传感器设备100-2中的时间（下文中也称为传感器时间）的查询传送到传感器设备100-2（步骤S303）。接收到该查询的传感器设备100-2将用于指示由传感器设备100-2的时钟107定义的传感器时间的时间信息作为回复传送到成像设备200-2（步骤S305）。接收到时间信息的成像设备200-2记录由时间信息指示的传感器时间作为表演图像的元数据（步骤S307）。

在重复上述步骤S303至S307预定次数（N次；N=1、2、3、…）之后，成像设备200-3终止捕获表演图像（步骤S309）。注意，次数N和可执行的时间序列调整处理具有与上述第一实施例中相同的关系。

然而，在本实施例中，通过诸如无线通信的通信而执行传感器设备100-2与成像设备200-2之间的时间信息传递。因此，甚至在当从成像设备200-2来看时传感器设备100-2被隐藏在用户的身体或装备之后、用户有力地移动、或者在音频中生成噪声的情况下，时间信息到成像设备200-2的传送也很少失败。因此，执行步骤S303至S307的次数通常是恒定的。因此，次数N可被设置为与时间序列调整处理所需的时间信息的条数接近的次数。

另外，在图中所示的示例中，由来自成像设备200-2的查询来触发时间信息传递，因此可以由成像设备200-2确定用于执行传递的定时或次数N。在另一示例中，不需要执行步骤S303，并且取代步骤S305，即使在分析单元111存在的情况下，传感器设备100-2也可例如以预定间隔或者在检测到表演的发生的定时自发地执行将时间信息传送到成像设备200-2的步骤。在该情况下，如在第一实施例中那样，可执行由成像设备200-2向传感器设备100-2通知表演图像捕获的开始的步骤。

图13是示出本公开的第二实施例中的在图像捕获之后的处理的示例的流程图。在图13的示例中，成像设备200-2首先获取表演事件信息（步骤S401）。注意，同样在该实施例中，直到稍后要描述的步骤S409之前不参考表演事件信息本身，因此可在稍后的定时执行步骤S401。注意，图中所示的示例假设下述情况：例如在捕获一个或多个表演图像之后用户连接传感器设备100-2和成像设备200-2、分析单元207基于从传感器设备100-2传送到成像设备200-2的传感器信息而生成表演事件信息（步骤S401）、以及该生成触发在步骤S403中和步骤S403之后的处理的执行。在另一示例中，执行步骤S401的定时可以设置在步骤S403与S407之间的任意定时处或者与步骤S403至S407的部分或全部并行的定时处。

接下来，成像设备200-2的分析单元207读取由成像单元201捕获的并且累积在存储单元203中的每个表演图像的元数据（步骤S403）。如上所述，表演图像的元数据包括在正捕获表演图像时从传感器设备100-2传送到成像设备200-2的用于指示传感器时间的时间信息。注意，当在步骤S403中表演图像的元数据不包括时间信息时，成像设备200-2可认为不能执行时间序列调整从而可通过跳过随后的步骤而终止处理。成像设备200-2可通过输出单元209等向用户显示错误消息。

接下来，根据在步骤S403中读取的表演图像的元数据中包括的时间信息，分析单元207获取传送时间信息时的传感器时间（步骤S405）。注意，分析单元207还在对时间信息的元数据进行关联时识别表演图像的时间标记（时间）。这里，在传感器设备100-2与成像设备200-2之间的通信延迟已知并且太大而无法忽略的情况下，可利用与该延迟相当的量将传感器时间或表演图像的时间标记（时间）校正为该传感器时间或时间标记之前或之后的时间。

重复上述步骤S405预定次数（M次；M=1、2、3、…）。次数M可以是例如在步骤S403中读取的表演图像的元数据中包括的时间信息的条数。在该情况下，元数据中包括的各条时间信息全部用于计算时间序列调整参数。这里，例如，如果M是3或更大，则可以针对每个区间或者通过对各区间的计算结果求平均而在稍后要描述的步骤S407中计算时间序列调整参数。

替选地，次数M可以是例如考虑到随后步骤S407中的处理的效率而预先设置的预定数量。在该情况下，在步骤S403中读取的表演图像的元数据中包括的时间信息的仅一部分可以用于计算时间序列调整参数。注意，在元数据中包括的时间信息的条数下降到次数M以下的情况（诸如尽管设置了M=2，但是元数据仅包括一条时间信息的情况）下，成像设备200-2可认为不能执行时间序列调整，因此可通过跳过随后步骤而在该时间点终止处理。替选地，成像设备200-2可取决于次数而将随后步骤中的处理改变为不同于通常处理，然后可执行该处理（例如，当元数据仅包括一条信息时，成像设备200-2认为不存在线性偏差）。

接下来，分析单元207基于在步骤S405中获取的传感器时间和成像设备200-2中的时间的组合而计算时间序列调整参数（步骤S407）。如果给出了传感器时间和成像设备200-2中的时间的三个或更多个组合，则可针对每个区间或者通过对各区间的计算结果求平均而计算时间序列调整参数。

接下来，通过使用在步骤S407中算出的时间序列调整参数，分析单元207对由表演事件信息的时间标记指示的传感器设备100-2中的时间进行转换，以与表演图像的时间标记中所使用的成像设备200-2中的时间同步，并且将表演图像中的与所转换的时间相对应的场景识别为表演事件的场景（步骤S409）。

尽管图中没有示出在上述处理中识别表演图像中的表演事件的场景之后的处理，但是可以执行以下处理等作为识别之后的处理。例如，如已作为分析单元207的功能而描述的那样，生成包括被指定的表演事件的场景的摘要图像；在表演图像中设置附加信息（诸如与表演事件对应的章节信息）；以及将表演事件的场景的定义记录为与表演图像分开的数据。

至此已描述了本公开的第二实施例。另外在本实施例中，如在第一实施例中一样，在表演事件信息（传感器信息）的时间序列与表演图像的时间序列之间进行调整，从而可以精确地识别表演图像中包括的表演事件的场景。

另外，在本实施例中，为了在时间序列之间进行上述调整，通过诸如无线通信的通信将传感器设备中的时间传送到成像设备。因此，甚至在传感器设备隐藏在用户的身体或装备之后、用户有力地移动、或者在音频中生成噪声的情况下，也可以传送传感器设备中的时间而不受这些的影响。尽管每个设备具有用于在表演图像捕获期间执行通信的通信装置并且消耗用于执行通信的功率，但是可以以例如以下方式使得功耗最小化。成像设备与表演图像捕获的开始和终止同步地传送对时间信息的查询，并且传感器设备仅在接收到查询时传送时间信息。

（3.第三实施例）

接下来，将参照图14至图17描述本公开的第三实施例。本实施例与上述第一和第二实施例的不同之处在于，即使传感器设备没有执行除在表演图像捕获期间获取传感器信息的操作之外的其它操作（传感器设备可执行其它操作），也基于成像设备执行的图像分析而识别传感器设备检测到表演事件的发生的定时。注意，由于除该点之外的本实施例中的配置可以与第一或第二实施例的配置相同，因此省略了详细描述。

（3-1.功能配置）

图14是示出根据本公开的第三实施例的传感器设备和成像设备的示意功能配置的框图。在下文中，将参照图14描述每个设备的功能配置。注意，稍后将描述用于实现这些功能的硬件配置。具有与第一或第二实施例中相同的功能配置的结构元件以相同的附图标记来表示，并且省略这些结构元件的重复说明。

（传感器设备）

传感器设备100-3包括传感器101、预处理单元103、存储单元105和时钟107。在稍后要描述的变型例中，传感器设备100-3还可包括分析单元111和驱动器109。

上述传感器设备100-3的功能配置可以与第一或第二实施例中所述的相同。然而，根据本实施例的传感器设备100-3与根据第一实施例的传感器设备100-1或根据第二实施例的传感器设备100-2的不同之处在于，不必设置诸如驱动器109或通信单元113的、用于在表演图像捕获期间通过预定操作或通信来将传感器设备100-3中的时间传送到成像设备200-3的装置。

（成像设备）

成像设备200-3包括成像单元201、存储单元203、时钟205和分析单元207。成像设备200-3还可包括输出单元209。

成像设备200-3的功能配置也可以与第一或第二实施例中所述的相同。然而，在根据本实施例的成像设备200-3中，分析单元207执行的分析的内容可以与第一和第二实施例中的分析的内容不同。更具体地，在本实施例中，用于指示表演图像捕获期间的传感器设备100-3中的时间的信息不一定记录在表演图像中或者不是通过通信从传感器设备100-3提供的。因此，分析单元207分析表演图像，以检测表演事件的发生的定时。然后，分析单元207将在所检测的定时处的表演图像的时间标记和与通过对传感器信息进行分析而获取的表演事件信息所指示的表演事件相对应的时间标记（该时间标记基于传感器设备100-3中的时间）进行比较，从而在表演事件信息的时间序列与表演图像的时间序列之间进行调整。注意，稍后将描述时间序列调整处理的细节。

（变型例）

在本实施例的第一变型例中，传感器设备100-3可具有分析单元111，并且分析单元111可执行在上述示例中由成像设备200-3的分析单元207执行的表演事件信息生成处理。在该情况下，存储单元105将表演事件信息取代传感器信息而存储在其中或者将表演事件信息与传感器信息一起存储在其中，并且稍后通过通信单元将表演事件信息传送到成像设备200-3。

在第二变型例中，当在上述情况下基于传感器信息检测到表演事件的发生时，分析单元111可向驱动器109通知表演事件的发生。该通知使驱动器109能够在检测到表演事件的发生的定时处，使得输出装置例如通过使用声音或光而指示表演事件的发生或正发生的表演事件的类型。替选地，在检测到用户使用单独设置的操纵单元的指令操纵（诸如接通传感器设备100-3、按压设置在传感器设备100-3上设置的按钮等）的发生或者检测到不寻常表演事件（诸如重复地旋转传感器设备100-3所附接的装备、轻击装备预定次数等）的发生的定时处，驱动器109可使得输出装置指示操纵或表演事件的发生。

上述第二变型例与第一实施例的变型例之间的差别在于以下点。在第二变型例中，输出装置指示关于正发生的表演事件本身的信息。相比之下，在第一实施例的变型例中，输出装置在表演事件发生时指示传感器设备中的时间。在本实施例中，取代基于传感器设备100-3中的时间，成像设备200-3的分析单元207基于表演事件发生的定时来在表演事件信息的时间序列与表演图像的时间序列之间进行调整，因此产生了上述差别。

（3-2.时间序列调整处理）

图15是示出本公开的第三实施例中的图像捕获之后的处理的示例的流程图。在图15的示例中，成像设备200-3的分析单元207首先获取表演图像和传感器信息（步骤S501）。这里，表演图像可以被获取作为由成像设备200-3的成像单元201捕获的图像数据并且存储在存储单元203中。可以在表演图像捕获之后通过通信单元从传感器设备100-3接收传感器信息。

接下来，分析单元207通过对表演图像进行分析而提取表演事件（步骤S503），并且通过分析传感器信息而获取表演事件信息（步骤S505）。这里执行该处理以通过使用基于表演图像的第一分析处理和基于传感器信息的第二分析处理两者来检测表演图像捕获期间的表演事件的发生。注意，当传感器设备100-3在上述变型例中生成表演事件信息时，可以在步骤S501中获取表演事件信息而取代获取上述传感器信息。替选地，可以取代步骤S505而执行从传感器设备100-3获取表演事件信息的步骤。

在上述处理中准备了通过对表演图像进行分析而提取的关于表演事件的信息以及基于传感器信息生成的表演事件信息之后，分析单元207计算时间序列调整参数（步骤S507）。由于如上所述在本实施例中基于表演事件发生的定时而执行时间序列调整，因此如稍后要描述的，计算时间序列调整参数的处理可以与第一和第二实施例中不同。

接下来，通过使用在步骤S507中算出的时间序列调整参数，分析单元207对由表演事件信息的时间标记指示的传感器设备100-3中的时间进行转换，以与在表演图像的时间标记中所使用的成像设备200-3中的时间同步，并且将表演图像中的与所转换的时间对应的场景识别为表演事件的场景（步骤S509）。

尽管图中没有示出在上述处理中识别表演图像中的表演事件的场景之后的处理，但是以下处理等可以被执行作为识别之后的处理。例如，如已作为分析单元207的功能而描述的那样，生成包括所指定的表演事件的场景的摘要图像；在表演图像中设置附加信息（诸如与表演事件对应的章节信息）；以及将表演事件的场景的定义记录为与表演图像分开的数据。

（3-3.时间序列调整处理）

图16是用于说明本公开的第三实施例中的时间序列调整处理的图。图16示出了通过对表演图像进行分析而提取的表演时间组X²和由基于传感器信息而生成的表演事件信息所指示的表演事件组X¹。由于如上所述可能在传感器设备100-3中的时间与成像设备200-3中的时间之间发生偏差，因此在该图的示例中在表演事件组X¹与表演事件组X²之间存在时间序列偏差。

为了对该偏差进行调整，在本实施例中生成表演事件组Y¹²。在表演事件组Y¹²中，通过对表演事件组X¹进行偏移以及改变表演事件组X¹的时间序列的长度来对时间序列进行调整。重复对表演事件组Y¹²进行更新，以获得表演事件组Y¹²与通过对表演图像进行分析而提取的表演事件组X²之间的更高相关值。更新导致最优表演事件组Y¹²，在该最优表演事件组Y¹²中与表演事件组X²的时间序列偏差被调整了。

在图中所示的示例中，以比基于传感器信息分析的表演事件的提取低的精度来执行基于表演图像分析的表演事件的提取，表演事件组X¹中包括的一些表演事件没有包括在表演事件组X²中。换言之，在基于表演图像分析的检测中，基于传感器信息的一些表演事件的检测失败了。另外，由于检测方法差别，通过分析表演图像而检测到的表演事件的发生的定时和由表演事件信息指示的表演事件的发生的定时可具有与时间序列偏差不同的偏差。

因此，甚至以最优方式执行的对表演事件组Y¹²进行偏移以及改变表演事件组Y¹²的长度也不一定导致取值为1的与表演事件组X²的相关。在图中所示的示例中，尚待调整的表演事件组X¹与表演事件组X²之间的相关值是0.3，与首先生成的表演事件组Y¹²的相关的值是0.5，并且与然后更新的表演事件组Y¹²的相关值是0.85。基于相关值0.85，认为表演事件组Y¹²已经被优化了。注意，为了简单起见而在该图的示例中仅示出了一个表演事件组Y¹²，但是表演事件组Y¹²的更新实际上可以重复更多次数。

在上述本实施例的第二变型例中，当驱动器109使得输出装置例如通过使用声音或光而指示关于表演事件的发生的信息时，仅需要取代分析用户的移动而分析声音或光，以基于表演图像提取表演事件。因此，不仅可以增强基于表演图像对表演事件进行分析的精度，而且还减小了分析的处理负荷。然而，同样在该情况下，当从成像单元201来看时，诸如灯、显示器等的输出装置可被隐藏。因此，不一定可以基于表演图像提取表演事件信息中包括的所有表演事件。

图17是示出本公开的第三实施例中的计算时间序列调整参数的处理的示例的流程图。在图17的示例中，通过使用图5中的上述模型来搜索y=ax+b（x是传感器设备100-3中的时间，并且y是成像设备200-3中的时间）中的参数a和b的最优值。

在图中所示的示例中，针对上述参数a和b中的每个执行循环处理（步骤S601和S603）。在循环中设置最小值（a_min和b_min）、最大值（a_max和b_max）以及用于尝试的步长（a_step和b_step）。这些值可以基于可采用的最大/最小线性偏差/固定值偏差的程度、从处理负荷观点来看的合理尝试次数等来设置。例如，在针对b的循环处理（步骤S603）的情况下，当可采用的固定值偏差的最大程度是大约十分钟时，可以设置最小值b_min=负十分钟以及最大值b_max=正十分钟。替选地，例如，如果大约1200次对于执行针对b的循环处理是合理的，则可以设置步长b_step=一秒。在针对a的循环处理（步骤S601）的情况下，例如可基于由于晶体振荡器的振荡频率的上至150ppm的误差而导致的线性偏差的发生，类似地设置最小值a_min、最大值a_max和步长a_step。

在循环中的处理中，首先通过使用当前设置的a和b的参数值而根据表演事件组X¹（由表演事件信息指示的表演事件组）生成表演事件组Y¹²（步骤S605）。这里，在表演事件组Y¹²中，以y¹²=ax¹+b对表演事件组X¹中包括的每个表演事件的时间标记x¹进行转换。

接下来，计算在步骤S605中生成的Y¹²与表演事件组X²（通过分析表演图像而提取的表演事件组）之间的相关值（步骤S607）。注意，稍后将描述用于计算相关值的方法的示例。

当在循环中的先前处理中算出的最小相关值被更新为在此算出的相关值时（步骤S609中为是），对暂时存储的a和b的参数值进行更新。另一方面，算出的相关值等于或低于在循环的先前处理中算出的相关值（步骤S609中为否），不对所存储的参数a和b进行更新，并且处理移到循环中的接下来的处理。注意，在循环中的初始处理中，存储初始设置的参数值a和b而不进行改变。

以上述方式，作为以预定步长从预定最小值到预定最大值针对参数a和b执行循环处理的结果，获得了作为a和b的最优参数值的a和b的参数值。

（计算相关值）

如上所述，表演事件组Y¹²可能不包括表演事件组X²中包括的一些表演事件。换言之，Y¹²={y¹² ₁,y¹² ₂,…,y¹² _m}和X²={x² ₁,x² ₂,…,x² _n}可导致m≠n。因此，即使从开始顺序地在Y¹²和X²之间对作为Y¹²和X²的元素的表演事件的时间标记进行比较，也可能没有获得例如如图16的示例中所预期的相关值作为计算结果。

因此，在一个示例中，可通过将表演事件组Y¹²和表演事件组X²转换为经由将表演图像的拍摄持续时间（可以将线性偏差的最大值纳入考虑）除以时间标记的最小分辨率而获得的微时间阵列来计算相关值。在该情况下，每个微时间阵列包括数量为N的微时间（表演图像的拍摄持续时间/时间标记的最小分辨率）作为元素。例如，在表演图像的拍摄持续时间是15分钟（在最大线性偏差的情况下为15分钟+0.3秒）以及时间标记的最小分辨率是0.1秒的情况下，每个微时间阵列包括9003个微时间作为元素。

在如此生成的微时间阵列中，可以基于对应于表演事件的时间标记的微时间（例如，可以被设置为1）与不同的微时间（例如，可以被设置为0）之间的布置相关而计算相关率。注意，用于计算相关值的方法不限于该示例，并且可以使用各种已知方法。

至此已描述了本公开的第三实施例。另外，在该实施例中，如在第一实施例中一样，在表演事件信息（传感器信息）的时间序列与表演图像的时间序列之间进行调整，从而可以精确地识别表演图像中包括的表演事件的场景。可能不能以如上所述的足够精度来执行基于表演图像的分析。因此，通过使用经历了时间序列调整的表演事件信息，可以精确地识别表演图像中包括的表演事件的场景。

另外，在本实施例中，基于成像设备执行的表演图像的分析而检测表演事件的发生。因此，即使传感器设备没有在表演图像正被捕获时执行用于指示时间的预定操作，或者即使不通过通信将时间传送到成像设备，也可以执行上述时间序列调整。因此，可以使得传感器设备的装置配置或功耗最小化。

（4.第四实施例）

接下来，将参照图18描述本公开的第四实施例。参照图18，信息处理系统20包括成像设备100-4和成像设备200-4。本实施例与上述第一至第三实施例的不同之处在于，用作传感器设备的设备（成像设备100-4）不获取传感器信息而是如成像设备200-4一样捕获表演图像，使得通过分析所捕获的表演图像而生成表演事件信息。注意，由于除该点之外的本实施例中的配置可以与第一至第三实施例中的每个的配置相同，因此省略了详细描述。

如上述其它实施例中的成像设备一样，成像设备100-4具有包括成像单元、存储单元、时钟等的功能配置，并且例如在成像设备200-4的视角内捕获体育运动的表演图像。每个所捕获的表演图像的数据暂时存储在成像设备100-4中，此后可以例如在表演结束之后用户连接成像设备100-4和成像设备200-4时被传送到成像设备200-4。成像设备100-4还可包括分析单元，并且通过对所捕获的表演图像进行分析而生成表演事件信息。表演事件信息可以与表演图像一起被传送到成像设备200-4。

如上述其它实施例中的成像设备一样，成像设备200-4具有包括成像单元、存储单元、时钟、以及分析单元的功能配置，并且捕获体育运动的表演图像的图像。每个所捕获的表演图像的数据至少暂时存储在成像设备200-4中。成像设备200-4例如在表演结束之后从成像设备100-4接收以不同视角捕获的表演图像。成像设备200-4还可从成像设备100-4接收通过对成像设备100-4捕获的表演图像进行分析而生成的表演事件信息。

成像设备200-4通过对成像设备200-4本身捕获的表演图像（第一表演图像）进行分析而生成表演事件信息（第一表演事件信息），并且在第一表演事件信息与通过对成像设备100-4捕获的表演图像（第二表演图像）进行分析（分析可由成像设备200-4或成像设备100-4执行）而生成的表演事件信息（第二表演事件信息）之间进行表演事件发生定时的比较。例如，可以通过与上述第三实施例中相同的比较处理来计算用于在第一表演图像的时间序列与第二表演事件信息的时间序列之间进行调整的参数。

这里，根据基于成像设备100-4中的时间的第二表演图像的时间标记来设置第二表演事件信息。因此，还可以通过使用用于在第一表演事件信息的时间序列与第二表演时间信息的时间序列之间进行调整的参数而在第一和第二表演图像的时间标记之间进行调整。为此，例如时间序列调整参数的应用使得能够将第一表演图像和第二表演图像同步，因此使得能够对通过以不同视角捕获同一表演而获得的多个表演图像进行同时再现。

至此已描述了本公开的第四实施例。在本实施例中，应用在表演事件信息的时间序列与表演图像的时间序列之间进行调整的处理使得能够彼此同步地对多个表演图像进行同步再现。多个图像的同步再现一般例如以多个成像设备参考共同的主时间的方式来执行。然而，根据本实施例，甚至当在诸如通信环境的一些情形下难以参考共同的主时间时，也可以基于表演事件发生定时而在表演图像的时间序列之间进行调整。

（5.硬件配置）

接下来，将参照图19和图20描述用于实现传感器设备和信息处理设备（上述示例中的成像设备）的硬件配置的示例。

（传感器设备）

图19是示出根据本公开的实施例的传感器设备的硬件配置的示例的图。传感器设备800可以实现根据本公开的实施例的传感器设备（诸如以上描述的传感器设备100至100-3和成像设备100-4）。

传感器设备800可以包括CPU（中央处理单元）801、ROM（只读存储器）802、RAM（随机存取存储器）803、传感器804、用户接口805、外部存储装置806、通信装置807和输出装置808。这些部件例如通过总线809相互连接。

CPU801、ROM802和RAM803读取并执行存储在例如外部存储装置806中的程序指令，从而实现作为软件的各种功能。在本公开的实施例中，CPU801、ROM802和RAM803可以实现例如传感器设备800的总体控制和上述示例中的预处理单元103的功能。

传感器804对应于每个上述实施例的功能配置中的传感器101。注意，传感器804可以包括例如加速度传感器、角速度传感器、振动传感器、温度传感器、压力传感器（包括按压开关）或者GPS（全球定位系统）接收器。替选地，例如，成像设备100-4可取代设置传感器804而设置成像单元。

用户接口805是被配置成接收传感器设备800的用户操纵的输入装置（诸如按钮或触摸面板）。用户操纵可以是例如用于开始或终止来自传感器设备的传感器信息的传送的指令。

外部存储装置806将关于传感器设备800的各种信息存储在其中。外部存储装置806可例如将作为软件的用于实现CPU801、ROM802和RAM803的功能的程序指令存储在其中，或者可作为缓存将传感器804获取的数据暂时存储在其中。考虑到将传感器设备800佩戴在用户本身或体育运动装备上，期望使用诸如半导体存储器的抗冲击装置作为外部存储装置806。

通信装置807对应于每个上述实施例的功能配置中的通信单元（包括未示出的通信单元）。通信装置807通过使用各种有线或无线通信方法中的一种适当方法而与稍后要描述的信息处理设备900通信。另外，通信装置807可直接通过装置间通信或通过诸如因特网的网络而与信息处理设备900通信。

输出装置808由能够输出作为光、音频或图像的信息的装置构成。例如，如在上述实施例中，输出装置808可以输出用于对传感器设备800中的时间或表演事件的检测进行通知的信息，或者可以以视觉方式或听觉方式将通知输出到用户。输出装置808包括例如诸如LED的灯、诸如LCD的显示器、扬声器或将振动提供给用户本身或装备的振动器。

（信息处理设备）

图20是示出根据本公开的实施例的信息处理设备的硬件配置的示例的图。信息处理设备900可以实现根据本公开的实施例的信息处理设备，诸如上述成像设备200至200-4。如上所述，信息处理设备还可被实现为网络上的服务器，该服务器具有与上述成像设备的分析单元207相同的功能。

信息处理设备900可以包括CPU901、ROM902、RAM903、用户接口905、外部存储装置906、通信装置907和输出装置908。这些部件例如通过总线909相互连接。例如，当信息处理设备900被实现为如在上述示例中的成像设备时，信息处理设备900还可包括成像单元。

CPU901、ROM902和RAM903读取并执行存储在例如外部存储装置906中的程序指令，从而实现作为软件的各种功能。在本公开的实施例中，CPU901、ROM902和RAM903可以实现例如信息处理设备900的总体控制和上述示例中的分析单元207的功能等。

用户接口905是被配置成接收信息处理设备900的用户操纵的输入装置（诸如按钮或触摸面板）。

外部存储装置906将关于信息处理设备900的各种信息存储在其中。外部存储装置906可将例如作为软件的用于实现CPU901、ROM902和RAM903的功能的程序指令存储在其中，或者可作为缓存暂时存储通信装置907接收的传感器信息。外部存储装置906还可累积表演事件信息和传感器信息的日志。

输出装置908由能够以视觉方式或听觉方式向用户通知信息的装置构成。输出装置908可以是例如诸如LCD的显示装置或者诸如扬声器或耳机的音频输出装置。输出装置908输出作为文本或视频（诸如图像）或者音频（诸如话音或声音）的信息处理设备900的处理结果。当信息处理设备900是用户使用的终端装置时，输出装置908可输出例如表演图像和基于表演图像生成的摘要图像。

（6.补充说明）

至此已在以上实施例中描述了包括传感器设备和信息处理设备（成像设备）的信息处理系统。以上实施例还包括例如：实现信息处理设备（包括被实现为多个装置的功能集合的装置）的至少一部分功能的网络上的服务器；用于使得计算机实现这些装置的功能的程序；以及其中记录有程序的记录介质。

另外，以上实施例均描述了信息处理设备（成像设备）在表演图像的时间序列与表演事件信息的时间序列之间自动进行调整的示例，但是这些实施例不限于该示例。在另一实施例中，例如，可将在用户的特定操纵或表演事件的发生的时间点处的表演图像呈现给用户，并且用户可以能够选择是否将表演图像中的时间点与包括在表演事件信息中的用户操纵的时间点或表演事件的时间点相关联（即，这些时间点用作用于时间序列调整的参考点）。另外，在该情况下，可以说信息处理设备执行时间序列调整处理（包括获取用户的确认的步骤）。

本领域技术人员应理解，可取决于设计要求和其它因素进行各种修改、组合、子组合和变更，只要这些修改、组合、子组合和变更在所附权利要求或其等同的范围内即可。

另外，本技术还可如下进行配置。

（1）一种信息处理系统，包括：

电路，被配置成：

获取主体的捕获图像数据；以及

基于传感器时间信息将所述图像数据的多个时间点与事件信息的多个时间点相关联，所述事件信息是基于由传感器设备以时间序列获取的传感器信息而获取的并且指示所述传感器设备的操作的发生。

（2）根据（1）所述的信息处理系统，其中，

所述电路被配置成基于在所述图像数据中检测到的所述传感器设备的预定操作来获取所述传感器时间信息。

（3）根据（2）所述的信息处理系统，其中，

所述预定操作与由所述传感器设备的时钟定义的时间一致。

（4）根据（2）或（3）所述的信息处理系统，

其中，所述预定操作指示所述传感器设备检测到事件的发生。

（5）根据（1）至（4）中任一项所述的信息处理系统，其中，

所述电路被配置成基于在正捕获所述图像数据时从所述传感器设备接收的信息而获取所述传感器时间信息。

（6）根据（5）所述的信息处理系统，其中，

从所述传感器设备接收的信息是与所述图像数据相关联的元数据。

（7）根据（1）至（6）中任一项所述的信息处理系统，其中，

所述电路被配置成基于至少一个时间点的所述传感器时间信息，调整所述图像数据的所述多个时间点与所述事件信息的所述多个时间点之间的固定值偏差。

（8）根据（1）至（7）中任一项所述的信息处理系统，其中，

所述电路被配置成基于至少两个时间点的所述传感器时间信息，调整所述图像数据的所述多个时间点与所述事件信息的所述多个时间点之间的线性偏差。

（9）根据（1）至（8）中任一项所述的信息处理系统，其中，

所述电路被配置成通过将在所述图像数据中检测到的第一事件组的发生时间与由所述事件信息定义的第二事件组的发生时间进行比较，将所述图像数据的所述多个时间点与所述事件信息的所述多个时间点相关联。

（10）根据（9）所述的信息处理系统，其中，

所述电路被配置成设置用于修改所述事件信息的所述多个时间点的参数，以获得所述第一事件组的发生时间与所述第二事件组的发生时间之间的最高相关。

（11）根据（10）所述的信息处理系统，其中，

所述电路被配置成通过下述方式中的至少一个来设置用于修改所述事件信息的所述多个时间点的参数：对所述事件信息的所述多个时间点进行偏移，以及对所述事件信息的所述多个时间点的长度进行改变。

（12）根据（1）至（11）中任一项所述的信息处理系统，其中，

所述传感器时间信息指示在正捕获所述图像数据时的时间点的所述传感器设备中的时间。

（13）根据（1）至（12）中任一项所述的信息处理系统，其中，所述信息处理系统包括：

所述传感器设备，被配置成以时间序列获取所述传感器信息并且执行与时间一致的预定操作；以及

成像设备，包括所述电路。

（14）根据（1）至（13）中任一项所述的信息处理系统，还包括：

服务器，包括被配置成进行将所述图像数据的所述多个时间点与所述事件信息的所述多个时间点相关联的电路。

（15）一种记录有程序的非暂态计算机可读记录介质，所述程序使得计算机：

获取主体的捕获图像数据；以及

基于传感器时间信息将所述图像数据的多个时间点与事件信息的多个时间点相关联，所述事件信息是基于由传感器设备以时间序列获取的传感器信息而获取的并且指示所述主体的动作中的事件的发生。

（16）一种信息处理系统，包括：

电路，被配置成：

获取主体的第一图像数据和所述主体的第二图像数据；以及

通过将在所述第一图像数据中检测到的第一事件组的发生时间与在所述第二图像数据中检测到的第二事件组的发生时间进行比较，将所述第一图像数据的多个时间点与所述第二图像数据的多个时间点相关联。

（17）根据（16）所述的信息处理系统，还包括：

第一图像捕获设备，被配置成捕获所述主体的所述第一图像数据。

（18）根据（16）或（17）所述的信息处理系统，还包括：

第二图像捕获设备，被配置成捕获所述第二图像数据。

（19）根据（16）至（18）中任一项所述的信息处理系统，还包括：

服务器，包括被配置成进行将所述第一图像数据的所述多个时间点与所述第二图像数据的所述多个时间点相关联的电路。

（20）一种信息处理设备，包括：

图像获取单元，被配置成获取主体的捕获图像；以及

调整控制单元，被配置成基于传感器时间信息在所述图像的时间序列与事件信息的时间序列之间进行调整，所述事件信息是通过对由附接到所述主体的传感器设备以时间序列获取的传感器信息进行分析而获取的，所述事件信息指示所述主体的动作中的事件的发生，所述传感器时间信息指示在正捕获所述图像时的至少一个时间点的所述传感器设备中的时间。

（21）根据（20）所述的信息处理设备，

其中，所述调整控制单元基于由所述传感器设备执行的并且通过对所述图像进行分析而检测到的预定操作而获取所述传感器时间信息。

（22）根据（21）所述的信息处理设备，

其中，所述预定操作指示由所述传感器设备的时钟定义的时间。

（23）根据（21）所述的信息处理设备，

其中，所述预定操作指示在所述传感器设备中检测到所述事件的发生。

（24）根据（23）所述的信息处理设备，

其中，所述调整控制单元基于在正捕获所述图像时从所述传感器设备接收的信息而获取所述传感器时间信息。

（25）根据（24）所述的信息处理设备，

其中，从所述传感器设备接收的信息被记录作为所述图像的元数据。

（26）根据（20）至（25）中任一项所述的信息处理设备，

其中，所述调整控制单元基于至少一个时间点的所述传感器时间信息而调整所述图像的时间序列与所述事件信息的时间序列之间的固定值偏差。

（27）根据（20）至（26）中任一项所述的信息处理设备，

其中，所述调整控制单元基于至少两个时间点的所述传感器时间信息而调整所述图像的时间序列与所述事件信息的时间序列之间的线性偏差。

（28）根据（20）所述的信息处理设备，

其中，所述调整控制单元通过将经由对所述图像进行分析而检测到的第一事件组的发生时间与由所述事件信息定义的第二事件组的发生时间进行比较，在所述图像的时间序列与所述事件信息的时间序列之间进行调整。

（29）根据（28）所述的信息处理设备，

其中，所述调整控制单元设置用于偏移所述事件信息的时间序列以及改变所述事件信息的时间序列的长度以获得所述第一事件组的发生时间与所述第二事件组的发生时间之间的最高相关的参数。

（30）一种记录有程序的非暂态计算机可读记录介质，所述程序使得计算机实现：

获取主体的捕获图像的功能；以及

基于传感器时间信息在所述图像的时间序列与事件信息的时间序列之间进行调整的功能，所述事件信息是通过对由附接到所述主体的传感器设备以时间序列获取的传感器信息进行分析而获取的，所述事件信息指示所述主体的动作中的事件的发生，所述传感器时间信息指示在正捕获所述图像时的至少一个时间点的所述传感器设备中的时间。

（31）一种信息处理系统，包括：

传感器设备，附接到主体并且被配置成以时间序列获取传感器信息并执行用于指示时间的预定操作；以及

成像设备，包括：

图像获取单元，被配置成获取主体的捕获图像，以及

调整控制单元，被配置成基于传感器时间信息在所述图像的时间序列与事件信息的时间序列之间进行调整，所述事件信息是通过对传感器信息进行分析而获取的，所述事件信息指示所述主体的动作中的事件的发生，所述传感器时间信息是基于在正捕获所述图像时的至少一个时间点执行的预定操作而获取的。

（32）一种信息处理设备，包括：

图像获取单元，被配置成获取主体的捕获图像；以及

调整控制单元，被配置成在所述图像的时间序列与所述主体的其它捕获图像的时间序列之间进行调整，

其中，所述调整控制单元通过将经由对所述图像进行分析而检测到的第一事件组的发生时间与经由对所述其它图像进行分析而检测到的第二事件组的发生时间进行比较，在所述图像的时间序列与所述其它图像的时间序列之间进行调整。

Claims (19)

1.一种信息处理系统，包括：

电路，被配置成：

获取主体的捕获图像数据；以及

基于传感器时间信息将所述图像数据的多个时间点与事件信息的多个时间点相关联，所述事件信息是基于由传感器设备以时间序列获取的传感器信息而获取的并且指示所述传感器设备的操作的发生。

2.根据权利要求1所述的信息处理系统，其中，

所述电路被配置成基于在所述图像数据中检测到的所述传感器设备的预定操作来获取所述传感器时间信息。

3.根据权利要求2所述的信息处理系统，其中，

所述预定操作与由所述传感器设备的时钟定义的时间一致。

4.根据权利要求2所述的信息处理系统，

其中，所述预定操作指示所述传感器设备检测到事件的发生。

5.根据权利要求1所述的信息处理系统，其中，

所述电路被配置成基于在正捕获所述图像数据时从所述传感器设备接收的信息而获取所述传感器时间信息。

6.根据权利要求5所述的信息处理系统，其中，

从所述传感器设备接收的信息是与所述图像数据相关联的元数据。

7.根据权利要求1所述的信息处理系统，其中，

所述电路被配置成基于至少一个时间点的所述传感器时间信息，调整所述图像数据的所述多个时间点与所述事件信息的所述多个时间点之间的固定值偏差。

8.根据权利要求1所述的信息处理系统，其中，

所述电路被配置成基于至少两个时间点的所述传感器时间信息，调整所述图像数据的所述多个时间点与所述事件信息的所述多个时间点之间的线性偏差。

9.根据权利要求1所述的信息处理系统，其中，

所述电路被配置成通过将在所述图像数据中检测到的第一事件组的发生时间与由所述事件信息定义的第二事件组的发生时间进行比较，将所述图像数据的所述多个时间点与所述事件信息的所述多个时间点相关联。

10.根据权利要求9所述的信息处理系统，其中，

所述电路被配置成设置用于修改所述事件信息的所述多个时间点的参数，以获得所述第一事件组的发生时间与所述第二事件组的发生时间之间的最高相关。

11.根据权利要求10所述的信息处理系统，其中，

所述电路被配置成通过下述方式中的至少一个来设置用于修改所述事件信息的所述多个时间点的参数：对所述事件信息的所述多个时间点进行偏移，以及对所述事件信息的所述多个时间点的长度进行改变。

12.根据权利要求1所述的信息处理系统，其中，

所述传感器时间信息指示在正捕获所述图像数据时的时间点的所述传感器设备中的时间。

13.根据权利要求1所述的信息处理系统，其中，所述信息处理系统包括：

所述传感器设备，被配置成以时间序列获取所述传感器信息并且执行与时间一致的预定操作；以及

成像设备，包括所述电路。

14.根据权利要求1所述的信息处理系统，还包括：

服务器，包括被配置成进行将所述图像数据的所述多个时间点与所述事件信息的所述多个时间点相关联的电路。

15.一种记录有程序的非暂态计算机可读记录介质，所述程序使得计算机：

获取主体的捕获图像数据；以及

基于传感器时间信息将所述图像数据的多个时间点与事件信息的多个时间点相关联，所述事件信息是基于由传感器设备以时间序列获取的传感器信息而获取的并且指示所述主体的动作中的事件的发生。

16.一种信息处理系统，包括：

电路，被配置成：

获取主体的第一图像数据和所述主体的第二图像数据；以及

通过将在所述第一图像数据中检测到的第一事件组的发生时间与在所述第二图像数据中检测到的第二事件组的发生时间进行比较，将所述第一图像数据的多个时间点与所述第二图像数据的多个时间点相关联。

17.根据权利要求16所述的信息处理系统，还包括：

第一图像捕获设备，被配置成捕获所述主体的所述第一图像数据。

18.根据权利要求17所述的信息处理系统，还包括：

第二图像捕获设备，被配置成捕获所述第二图像数据。

19.根据权利要求16所述的信息处理系统，还包括：

服务器，包括被配置成进行将所述第一图像数据的所述多个时间点与所述第二图像数据的所述多个时间点相关联的电路。