CN109155841A - 选手状态确定方法和选手状态确定装置 - Google Patents

Abstract

为了高精度地确定游泳池中存在的选手的状态，本公开的选手状态确定装置或选手状态确定方法的处理器参照对通过拍摄游泳池中存在的选手得到的影像进行检测选手的处理而获得的结果，基于存在于游泳池的端侧的区域之后的选手的检测的结果，将选手的行进方向(500)确定为与到目前为止的行进方向不同的方向。由此，能够更加准确地确定选手的行进方向，因此能够高精度地确定游泳池中存在的选手的状态。

Description

选手状态确定方法和选手状态确定装置

技术领域

本公开涉及一种选手状态确定方法和装置。

背景技术

以往以来，已知一种在影像中追踪移动体的移动体追踪装置。例如，在专利文献1所记载的技术中，基于过去的帧图像中的移动体的位置信息来求出此次的帧图像中的移动体的预测位置。而且，从此次的帧图像中的图像数据中提取具有移动体所特有的规定的特征的候选物体，将提取出的候选物体中的离预测位置最近的候选物体分配为移动体。

专利文献1：日本特开2004-46647号公报

发明内容

本公开涉及一种高精度地确定游泳池中存在的选手的状态的方法和装置。

本公开的选手状态确定方法和选手状态确定装置参照对影像进行检测选手的处理得到的结果，基于存在于游泳池的端侧的区域之后的选手的检测的结果，将选手的行进方向确定为与到目前为止的行进方向不同的方向。

本公开的选手状态确定方法和选手状态确定装置对高精度地确定游泳池中存在的选手的状态是有效的。

附图说明

图1是表示实施方式1中的选手状态确定装置的使用的情形的图。

图2是表示实施方式1中的拍摄游泳池中的游泳比赛图像得到的影像的例子的图。

图3是表示实施方式1中的选手状态确定装置的结构的图。

图4是说明实施方式1中的选手状态确定装置的基本动作的流程图。

图5是表示在实施方式1中在影像中叠加有行进方向的例子的图。

图6是表示在实施方式1中在影像中叠加有检测结果的例子的图。

图7是说明选手位置修正处理的流程图。

图8是说明检测结果有效化处理的流程图。

图9是说明检测结果无效化处理的流程图。

图10是表示选手位置靠近游泳池端处的例子的图。

图11是说明折回探测处理的流程图。

图12是表示实施方式1中进行折回探测时的显示部的情形的图。

具体实施方式

下面，适当参照附图来详细地说明实施方式。但是，有时省略多余的详细说明。例如，有时对已经熟知的事项的详细说明或实质上相同的结构省略重复的说明。这是为了避免下面的说明变得不必要地冗长，使本领域技术人员易于理解。

此外，发明人提供附图和下面的说明以使本领域技术人员充分地理解本公开，而并非意在通过这些内容来限定权利要求书中记载的主题。

(实施方式1)

下面，使用图1～图12来说明实施方式1。

[1-1.结构]

图1是表示实施方式1中的选手状态确定装置的使用的情形的图。

选手状态确定装置100是在通用计算机中安装选手状态确定程序而得到的装置。选手状态确定装置100与摄像装置200以能够通信的方式连接。选手状态确定装置100既可以是专用的嵌入式设备，也可以是以硬件方式构成。典型地，选手状态确定装置100是用于通过编辑影像来生成最终的影像内容的装置。由此，假定选手状态确定装置100的用户是负责影像的编辑作业的作业人员。

摄像装置200是摄像机。摄像装置200如图1所示那样以俯视方式拍摄游泳池300。摄像装置200拍摄到的视频或图像被发送到选手状态确定装置100。

游泳池300具有多个泳道。在游泳池300中拉设有多条水道绳302。此外，在图1中仅对最上部的水道绳标注了附图标记，但图1中的虚线状的线表示水道绳。水道绳302是将泳道隔开的标记。泳道是水道绳302与相邻的水道绳之间的区域。

图2是表示实施方式1中的拍摄游泳池中的游泳比赛图像得到的影像的例子的图。如图1所示，在实施方式1中，摄像装置200以俯视方式拍摄游泳池300。因此，如图2所示，摄像装置200拍摄得到的图像成为游泳池300看起来从深远侧向近前侧扩展的图像。在本实施方式中，作为处理对象的影像是拍摄游泳池中的游泳比赛得到的影像。选手310正在游泳池中游泳。

图3是表示实施方式1中的选手状态确定装置的结构的图。选手状态确定装置100具有处理器101、存储部102、通信部103、输入部104、显示部105以及总线106。

处理器101通过进行运算来控制选手状态确定装置的其它构成要素。

存储部102暂时或永久地存储信息。存储部102相当于选手状态确定装置的ROM(Read Only Memory：只读存储器)、RAM(Random Access Memory：随机存取存储器)等。选手状态确定装置100也可以根据用途、访问速度的必要性而具备多个存储部102。能够通过应用HDD(Hard Disk Drive：硬盘驱动器)、SDRAM(Synchronus Dynamic Random AccessMemory：同步动态随机存取存储器)、SSD(Solid State Drive：固态驱动器)等来构成存储部102。

通信部103是用于将选手状态确定装置100与摄像装置200连接的接口。通信部103既可以是有线连接接口，也可以是无线连接接口。通信部103用于将由摄像装置200拍摄得到的视频或图像发送到选手状态确定装置100。由此，在使用存储介质将视频或图像从摄像装置200向选手状态确定装置100移动的情况下，通信部103不是必须的结构。

输入部104从外部接收信号。输入部104相当于选手状态确定装置100的输入装置、输入接口等。能够通过应用鼠标、键盘等输入装置、通信端口、无线通信设备等输入接口来构成输入部104。

显示部105向外部显示信息。能够通过应用液晶显示器等来构成显示部105。

总线106是用于将构成选手状态确定装置100的各要素连接的路径。也能够通过将总线106整合到处理器101中来在处理器101的内部构成总线106。总线106既可以将各要素以有线方式连接，也可以将各要素以无线方式连接。

以上叙述的选手状态确定装置100的结构是一例。因而，也可以通过对以上叙述的结构追加其它构成要素来构成选手状态确定装置100。另外，也可以通过根据需要从以上叙述的结构中删除构成要素的一部分来构成选手状态确定装置100。另外，也可以通过将以上叙述的构成要素互相整合来构成选手状态确定装置100。另外，也可以将以上叙述的构成要素分离成以上的构成要素来构成选手状态确定装置100。

[1-2.动作]

对以上叙述的选手状态确定装置100的动作进行说明。此外，选手状态确定装置100主要通过使处理器101与选手状态确定装置100的各要素相互协作地执行程序来进行动作。

[1-2-1.基本动作]

图4是说明实施方式1中的选手状态确定装置的基本动作的流程图。

在步骤S400中，选手状态确定装置100经由通信部103从摄像装置200接收影像。

处理器101在步骤S400中接收到的视频内的区域中定义出现泳道的区域在何处。关于选手状态确定装置100定义出现泳道的区域的方法，考虑各种方法。例如可以是，选手状态确定装置100的使用者经由输入部104来指定影像内的规定的范围，处理器101将所指定的该范围定义为泳道。另外，也可以是，在影像内检测水道绳302，处理器101将检测到的该水道绳302之间的区域定义为泳道。既可以定义多个泳道，也可以仅定义一个泳道。关于之后的处理，按每条泳道(以及泳道内的选手)来独立地进行处理，除非特别地提及。

当泳道区域的定义完成时，处理器101使影像再生并显示于显示部105。既可以在使影像再生的状态下进行之后的处理，也可以在影像停止的状态下进行之后的处理。处理器101将在之后的处理中接收的输入识别为针对正在显示部105中再生的影像的一帧(图像)的输入。

在步骤S402中，处理器101将选手的行进方向以叠加于影像中的各个泳道区域的形式显示于显示部105。将在步骤S402中显示的行进方向称为初始方向。

图5是表示实施方式1中在影像中叠加有行进方向的例子的图。在图5中用向上的三角形来表现行进方向500。在影像中，以与在图5的中央沿纵向延伸的三条泳道对应的形式叠加有三个行进方向500。在图5中，行进方向500所指示的方向是向上。在本实施方式中，以选手在紧接出发后游向的方向是从近前侧朝向深远侧的方向为前提。由此，初始方向为向上。

在步骤S404中，处理器101判定是否从选手状态确定装置100的用户接收到行进方向的变更指示。根据游泳比赛的种类，选手在紧接出发后游向的方向有时是从深远方向朝向近前侧。在这种情况下，用户经由输入部104输入变更行进方向的意思。

在步骤S406(步骤S404：“是”)中，处理器101基于从选手状态确定装置100的用户接收到的变更指示来变更行进方向。游泳比赛中的选手的行进方向原则上是两个方向(正方向和反方向)。由此，在本实施方式中，当接收到变更指示时，处理器101使行进方向反转。当处理器101判定行进方向时，也反映到显示部105中。此外，在步骤S404中进行的变更指示是针对初始方向的变更指示，因此认为并不是针对个别泳道变更行进方向的指示，而是针对所有泳道变更行进方向的指示。由此，步骤S404中的方向变更输入作为以所有泳道为对象的变更输入，通过按下输入部104的快捷键等简单的输入来进行步骤S404中的方向变更输入。

在步骤S408中，处理器101判定是否从选手状态确定装置100的用户接收到追踪开始的指示。选手状态确定装置100的用户一边观看再生中的影像一边在规定的定时使用输入部104输入追踪指示。在本实施方式中，假定规定的定时为游泳比赛开始的定时。当输入追踪指示时，如后述那样开始进行从影像中检测选手的处理。如果从游泳比赛开始的定时之前就检测选手，则使处理器101的负荷变高，另外，在检测选手的处理中获得的数据包括非比赛期间的数据，因此数据的有用性有可能降低。此外，在步骤S408中处理器101没有接收到追踪开始的指示的情况下(步骤S408：“否”)，处理向步骤S404循环。

在步骤S410(步骤S408：“是”)中，处理器101对影像进行检测选手的处理。通过确定影像中的选手的坐标(＝选手位置)来进行选手的检测。

在本实施方式中，处理器101检测背景图像(通过预先拍摄无人的游泳池得到的)与当前正在显示的图像的差(＝背景差)大的区域的中心坐标来作为选手位置。此外，为了检测选手，并非必须使用背景差，也可以检测帧间差(前面的图像与后面的图像的差)大的区域的中心坐标来作为选手位置。另外，也可以使用正在显示的图像的色调成分来提取前景像素，检测前景像素连接成大的区域所形成的区域(前景区域)的中心坐标来作为选手位置。

在本实施方式中，为了提高检测的精度，限定进行选手的检测的区域。将该区域称为检测对象区域。在本实施方式中，检测对象区域设为前面的图像中的占据选手位置的周围的区域。优选的是，期望将检测对象区域的形状设为与前面的图像中的选手位置相比偏向行进方向的形状。在本实施方式中，按每条泳道进行选手的检测。由此，按每条泳道设定检测对象区域。检测对象区域的初始值设为距离出发地点(在现实的游泳池中为)5m～10m附近的部位。这是由于，在紧接出发后的区域选手深深地潜入(潜水)，因此大多难以进行选手的检测。

即使对影像进行检测选手的处理，也不一定能够检测到选手。例如在无法顺利提取背景差、帧间差、前景区域等的情况下，检测不到选手。在如上所述那样选手深深地潜入的情况下，大多无法顺利地提取背景差、帧间差、前景区域等。因此，根据需要进行后述的检测结果无效化处理、选手位置修正处理即可。

在步骤S412中，处理器101将检测结果叠加到影像中的选手位置来进行显示。

图6是表示实施方式1中在影像中叠加有检测结果的例子的图。如图6所示，按每条泳道将检测结果600以与选手的位置大致一致的方式显示。在本实施方式中，检测结果600是以选手位置为中心的圆。此外，也可以不基于通过步骤S410得到的选手位置本身来显示检测结果600。也就是说，也可以基于根据在此之前的选手位置等的历史记录等校正选手位置后的选手位置来显示检测结果600。另外，为了便于影像编辑，也可以将基于通过步骤S410得到的选手位置本身的检测结果和基于校正选手位置后的选手位置的检测结果同时显示。

在步骤S414中，处理器101进行检测对象区域的更新。

在步骤S416中，处理器101判定是否从选手状态确定装置100的用户接收到处理结束的指示。选手状态确定装置100的用户当确认影像中的比赛结束时，经由输入部104输入处理结束的指示。当接收到处理结束的指示(步骤S416：“是”)时，选手状态确定装置的处理结束。

在没有接收到处理结束的指示输入(步骤S416：“否”)的期间，处理向S410循环。将处理存在于该步骤S410～步骤S416的循环内的状态设为选手检测处理状态。

之后，说明选手状态确定装置100基于在选手检测处理状态下来自选手状态确定装置100的用户的指示进行的处理。此外，不一定需要在实际正在进行选手检测期间并行地进行之后的处理。处理器101也能够一边参照在一系列的影像中进行的选手检测结束后作为结果得到的列表(选手位置的列表)一边进行之后的处理。

[1-2-2.选手位置修正处理]

图7是说明选手位置修正处理的流程图。

在步骤S700中，处理器101判定是否从选手状态确定装置100的用户接收到修正选手位置的指示。

在步骤S410中的选手检测的结果错误的情况下，选手状态确定装置100的用户在影像中点击选手真实存在的部位。处理器101接收该点击来作为修正选手位置的指示。此处的输入并不限定于点击操作，只要是能够确定影像中的坐标的输入即可，也可以通过触摸面板、键盘来进行输入。

在步骤S702(步骤S700：“是”)中，处理器101利用作为修正选手位置的指示而接收到的点击的在影像中的坐标，来更新在步骤S410中得到的选手位置。当更新选手位置时，处理返回到步骤S412。

[1-2-3.检测结果有效化处理]

图8是说明检测结果有效化处理的流程图。

在步骤S800中，处理器101判定是否从选手状态确定装置100的用户接收到检测结果的有效化指示。

选手状态确定装置100的用户在使用选手状态确定装置100编辑影像时确认的影像与通过编辑而最终获得的影像内容的影像不同。在影像内容的影像中，在影像中的选手的附近叠加有示出表示选手的姓名、国籍、游泳速度等选手的属性等的信息(＝与选手有关的信息)的CG等。另一方面，在此之前叙述的行进方向、检测结果是为了供用户确认选手状态确定装置100的处理内容而显示的内容，因此有时不会显示在影像内容中。

为了制作影像内容，用户通过使用选手状态确定装置100来获得选手的位置、行进方向、基于位置的速度等信息(选手状态)。通过将该选手状态传递到CG合成程序，能够基于该选手状态对影像合成CG。通过对影像合成CG来生成影像内容。例如在CG合成程序中，针对以选手位置为基准存在于与行进方向相反方向的区域合成CG，由此制作CG追随在选手的后面的影像内容。

检测结果有效化处理是将选手状态确定装置100的检测结果设定为有效的处理。表示检测结果有效还是无效的信息是向CG合成程序传递的信息的一种。关于CG合成程序，基于检测结果的有效/无效来进行决定对具有该检测结果的图像(1)合成/不合成CG或者(2)变更CG的状态(颜色、形状、文字等)等处理，由此切换CG的显示状态。

在本实施方式中，既存在选手状态确定装置100自主地切换检测结果的有效/无效的情况，也存在基于用户的指示来切换检测结果的有效/无效的情况。

在本实施方式中，在选手检测处理状态下，用户能够经由输入部104随时指示检测结果的有效/无效。

在步骤S802(步骤S800：“是”)中，处理器101变更显示部105中的检测结果的显示方法。对于变更检测结果的显示方法，例如能够列举变更检测结果600的颜色等方法。通过这样，对于选手状态确定装置100的用户来说易于明确检测结果当前是否有效，对于用户来说易于设想最终的影像内容的结果。

在本实施方式中，在选手处于出发台的期间，由于透视关系，有可能以选手宛如处于距离出发台5m的深远侧的方式误探测选手位置。因此，在本实施方式中，处理器101默认地使检测结果无效。而且，在本实施方式中假定以下情况：在用户确认在游泳比赛开始后选手游动了5m左右之后，用户输入检测结果的有效化指示。

此外，处理器101也能够自动地进行检测结果有效化处理。作为使检测结果有效化处理自动化的方法，考虑以下方法：根据(1)在与游泳池的出发台侧端相距5m附近以内(预先在影像内设定区域)并且(2)在规定的尺寸以上(为了去除噪声)且在(3)第二规定的尺寸以下(用于与出发台上的选手进行区分)存在背景差，处理器101将检测结果切换为有效。此外，为了减少基于影像噪声的误探测，作为条件也可以追加上述(1)(2)(3)的条件在多个图像中成立这样的条件。

当检测结果被切换为有效时，处理返回到步骤S412。

[1-2-4.检测结果无效化处理]

图9是说明检测结果无效化处理的流程图。

如上所述，在选手深深地潜入的情况下，在步骤S410中叙述过的选手检测中有可能进行误检测。在此，在游泳比赛中选手为了在游泳池的端处(图2等中的游泳池的上侧端处和下侧端处)进行折回而深深地潜入。另外，在游泳池的端处设置有触摸面板，根据触摸面板的数据能够获取选手到达泳道端处的定时等，因此从影像中获取位置的需求也低。

由此，在本实施方式中，为了使选手处于游泳池的端处的情况下检测结果无效，处理器101进行图9所示的处理。

在步骤S900中，处理器101进行选手位置是否存在于游泳池端处的判定。图10是表示选手位置靠近游泳池端处的例子的图。如图10所示，用户预先经由输入部104在影像中指定了游泳池端处的区域1000。如图10所示，当检测结果600的中心(≈选手位置)存在于游泳池端处的区域1000时，处理器101判定为选手位置存在于游泳池端处。

在步骤S902(步骤S900：“是”)中，处理器101判定选手位置是否不详。选手位置不详是指没有检测到选手位置或者选手位置与以前的选手位置处于规定的范围内的情况。此外，当进行本步骤的处理时，能够重新确认选手位置连续地存在于端处的情况，因此在步骤S900中，即使在将水花、裁判等误检测为选手的情况下，也能够在本步骤中校正步骤S900的结果。结果是，存在以下优点：通过进行本步骤，在步骤S900中判定出的结果的可靠性提高。但是，本步骤的处理并非是要使检测结果无效化所必须的处理。

在步骤S904(步骤S902：“是”)中，处理器101将检测结果切换为无效。在本实施方式中，假定在如上述那样出发后将检测结果从有效切换为无效之后，选手进入游泳池的端处。

在步骤S906中，处理器101变更显示部105的检测结果的显示方法。对于变更检测结果的显示方法，例如能够列举变更检测结果600的颜色等方法。通过这样，对于选手状态确定装置100的用户来说易于明确检测结果当前是否无效，对于用户来说易于设想最终的影像内容的结果。

在步骤S908中，处理器101将处理的内部状态设为折回判定状态。折回判定状态是指进行后述的折回探测处理的状态。此外，折回探测状态也是选手检测处理状态。

当检测结果被切换为无效时，处理返回到步骤S412。

[1-2-4-1.折回探测处理]

图11是说明折回探测处理的流程图。

说明在步骤S908中成为折回判定状态时的处理。此外，由于折回检测状态也是选手检测处理状态，因此即使是折回判定状态，也将步骤S410～步骤S416的循环处理、其它处理与折回探测处理并行地进行。

在步骤S1100中，处理器101判定是否探测到折回。处理器101基于选手检测的结果来探测折回。能够考虑多个基于选手检测的结果来探测折回的方法。在本实施方式中，在从选手检测位置成为折回检测状态起的规定的期间(＝规定的帧图像)内检测到选手的次数为阈值以下的情况下，检测到折回。在折回期间难以探测选手位置，另一方面，折回所需的通常的期间是已知的，因此能够通过使用这样的判定基准来适当地探测折回。

作为其它的折回检测方法，例如能够考虑针对选手检测的结果设置可靠度指标的方法。即，在从选手检测位置成为折回检测状态起的规定的期间(＝规定的帧图像)内该可靠度指标低于规定的值的次数为规定的次数以上的情况下，认为检测到折回。

另外，作为其它的折回检测方法，例如能够考虑在无法进行选手检测的情况下将选手位置设为与前帧相同的位置。即，在从成为折回检测状态起的规定的期间(＝规定的帧图像)内、选手位置相对于上次成为折回检测状态的场所存在于规定的范围内的次数为规定的次数以上的情况下，认为检测到折回。

在步骤S1102中，处理器101变更在探测到折回的泳道中的行进方向。

在步骤S1104中，处理器101判定在游泳池端处的区域1000以外的区域内是否探测到选手位置。如上所述，在步骤S904中，由于合成CG的需求少，因此暂时将检测结果切换为无效。另一方面，在选手从游泳池端处的区域出来的情况下，需要再次合成CG。由此，在步骤S1104中，处理器101判定在游泳池端处的区域1000以外的区域是否探测到选手位置。

在步骤S1106(步骤S1104：“是”)中，处理器101将检测结果切换为有效。

在步骤S1108中，处理器101与步骤S802中同样地变更显示方法。

图12是表示实施方式1中的折回探测时的显示部的情形的图。

如图12所示，关于左端的选手，由处理器101探测到折回，因此行进方向500的朝向变更为向下。此外，也可以如图12所示那样使行进方向500与朝向相应地变更颜色。另外，关于左端的选手，将检测结果设定为无效，因此检测结果600的颜色与图10等的颜色不同。

如图12所示，关于中央的选手，由处理器101探测到折回且在游泳池端处的区域1000以外的区域探测到选手位置，因此行进方向500的朝向为向下且检测结果600的颜色与图10等的颜色相同。

如图12所示，关于右端的选手，处理器101没有探测到折回(是折回判定状态)，因此没有变更行进方向500的朝向。另外，左端的选手的检测结果被设定为无效，因此检测结果600的颜色与图10等的颜色不同。

当探测到折回且将检测结果切换为有效时，处理返回到步骤S412。此外，折回判定状态结束。

此外，如以上所述的那样，选手状态确定装置100探测折回并变更行进方向，但为了防备折回的探测失败的情况，处理器101也可以进行如下处理：基于选手检测处理状态下的用户的输入来变更行进方向。该输入例如具有以下优点：通过使用作为输入部104的鼠标对影像上的泳道进行右点击来确定泳道，能够在使处理器101识别要变更行进方向的泳道时立即将用户的识别结果反映到行进方向上。

[1-3.效果等]

如上所述，在本实施方式中，选手状态确定装置100的处理器101参照对影像进行检测选手的处理得到的结果，基于存在于游泳池的端侧的区域之后的选手的检测的结果，将选手的行进方向确定为与到目前为止的行进方向不同的方向。

由此，能够如上述那样高精度地确定游泳池中存在的选手的状态。

另外，在本实施方式中，在选手存在于游泳池的端侧的区域之后的规定的期间内能够检测到选手的次数为阈值以下的情况下，处理器101将选手的行进方向确定为与到目前为止的行进方向不同的方向。由此，能够如上述那样更高精度地确定游泳池中存在的选手的状态。

另外，在本实施方式中，在选手存在于游泳池的端侧的区域之后、相对于成为检测不到选手的状态的游泳池中的场所接近了规定的距离以上的场所能够检测到选手的情况下，处理器101将选手的行进方向确定为与到目前为止的行进方向不同的方向。由此，计算模式的精度提高，因此能够更高精度地确定图像中存在的泳道的区域。由此，能够如上述那样更高精度地确定游泳池中存在的选手的状态。

另外，在本实施方式中，处理器101生成对影像合成与选手有关的信息时的用于切换信息的显示状态的显示控制信息(在本实施方式中为检测结果的有效/无效)，在选手存在于游泳池的端侧的区域的情况下，将显示控制信息确定为表示不显示信息的意思的信息。由此，能够提高使用选手状态制作影像内容时的效率。

另外，在本实施方式中，处理器101生成对影像合成与所述选手有关的信息时的用于切换信息的显示状态的显示控制信息，在将选手的行进方向确定为与到目前为止的行进方向不同的方向之后、在影像中的游泳池的端侧的区域外检测到选手的情况下，将显示控制信息确定为表示显示信息的意思的信息。由此，也能够提高使用选手状态制作影像内容时的效率。

如以上那样，作为本公开的技术的例示，说明了实施方式。因此，提供了附图和详细的说明。

因而，在附图和详细的说明所记载的构成要素中，不仅包括解决问题所必需的构成要素，为了例示上述技术，也可能包括对于解决问题来说并非必须的构成要素。因此，不应基于在附图和详细的说明中记载了这些非必须的构成要素的情况而直接认定为这些非必须的构成要素是必须的。

另外，上述的实施方式用于例示本公开的技术，因此能够在权利要求书或者其等效的范围内进行各种变更、替换、附加、省略等。

同样地，本公开的技术并不限定于此，也能够应用于进行变更、替换、附加、省略等所得到的实施方式。另外，也能够将在上述的实施方式1中说明的各构成要素进行组合来设为新的实施方式。

因此，下面例示其它实施方式。

在实施方式1中，在步骤S410中对影像进行了检测选手的处理。作为其它的实施方式，也可以通过对步骤S410的处理附加下面的处理来提高检测的精度。

即，在S410中，也可以附加以下处理：在通过按每条泳道将检测无效区域的坐标记录到存储部102中来预先进行定义的基础上，在该检测无效区域内检测到选手的情况下，将该检测结果设为无效。在将检测结果设为无效的情况下，基于在此之前检测到选手的位置的历史记录来定义选手位置即可。作为基于检测到选手的位置的历史记录来定义选手位置的处理的一例，列举假定选手进行了匀速直线运动来定义选手位置的处理。

在存在错误地检测选手的倾向的区域的情况下，上述的处理是有效的。根据摄像机的特性、泳道的特性、比赛场的特性有可能产生存在错误地检测选手的倾向的区域。如果这样，则能够在将误检测设为无效的基础上将存在选手的可能性高的位置定义为选手位置，因此能够提高选手检测的精度。

另外，在实施方式1中，游泳池端处的区域1000是固定的区域，但也可以将该区域替换为尺寸根据选手的行进方向而变化的区域。

即，将游泳池的端处存在于选手的行进方向的前方的情况下的游泳池端处的区域1000定义为比游泳池的端处存在于选手的行进方向的后方的情况下的游泳池端处的区域1000短(越去向游泳池的端处越窄)。具体地说，游泳池端处的区域1000是由用户指定的，因此处理器101将所指定的该区域的尺寸作为基准来计算区域的深度方向以使满足上述条件即可。

由于能够使将选手的检测结果设为有效的期间延长，因此上述的处理是有效的。定义游泳池端处的区域1000的意义之一在于避免在选手进行了潜水的情况下进行误检测。但是，游泳池的端处存在于选手的行进方向的情况下的选手潜水的区间比在游泳池的端处存在于与选手的行进方向的相反方向的情况下的选手潜水的区间短。在游泳池的端处存在于与选手的行进方向的相反方向的情况下(选手折回之后)，选手进行潜水，与此相对地，在游泳池的端处存在于选手的行进方向的情况下，不存在选手进行潜水的情况。由此，通过如上述那样使游泳池端处的区域1000的尺寸根据选手的行进方向而变化，能够使将选手的检测结果设为有效的期间延长。若能够使将选手的检测结果设为有效的期间延长，则能够使能够合成CG的期间也延长。

另外，除了在实施方式1中说明的处理以外，也可以附加计算选手的名次的处理。

作为计算选手的名次的方法的一例，能够列举根据选手位置和该选手的折回次数进行计算的方法。可认为，只有选手位置在折回前和折回后存在于相同的位置。因此，能够通过考虑折回次数来计算准确的名次。

在此，在通过CG等显示选手的名次的情况下，视觉识别CG等的人有时对选手的名次的频繁变化感到厌烦。在这种情况下，以对过去的几秒间的名次进行合计并将合计值最低的选手设为第一名、将合计值第二低的选手设为第二名、……的方式来根据过去的名次的历史记录来计算选手的名次即可。

此外，存在所计算出的选手的名次为相同名次的情况。在不期望计算出多个选手处于相同名次这样的结果的情况下，按照以下的优先级来校正所计算出的名次即可。作为优先级的例子，可考虑(1)如果存在每单位时间的移动量(速度)比较高的选手，则将该选手设为靠前的名次；(2)将存在于中央的泳道的选手设为靠前的名次等。优选的是，首先按照(1)的优先级校正名次，在此基础上，如果存在相同名次的选手，则按照(2)的优先级校正名次即可。根据(1)的基准可预想到，即使瞬间看来选手存在于相同的位置，也会在之后立即发生名次的变动，因此即使校正名次也鲜有问题发生。根据(2)的基准，一般认为在游泳比赛中存在于中央的泳道的选手的能力高，因此即使校正名次也鲜有问题发生。

另外，在实施方式1中，对被直接拍进影像中的形状的比赛场(游泳池)进行了处理，但也可以在附加校正该比赛场的形状的处理的基础上进行实施方式1中的处理。

即，也可以是，用户指定被拍进影像中的比赛场的上下左右四角，处理器101基于该四角的坐标来对影像的坐标系进行梯形校正，由此将比赛场的形状变换为任意的矩形(例如足够大的长方形)。

如果这样，则能够进一步提高选手检测的精度。例如，根据设置于比赛场的摄像机的角度，存在由于透视效果导致泳道的深处侧过小的情况，存在实施方式1中的处理的精度降低的情况。另外，在拍摄到的比赛场是横向的情况下，为了直接(不变更程序的内容地)进行实施方式1的处理，需要变换为纵向的比赛场。通过进行上述的对影像的坐标系进行梯形校正的处理，使得拍摄到的比赛场的形状标准化，因此能够稳定地进行实施方式1的处理。

另外，也可以是，在进行了对上述的对影像的坐标系进行梯形校正的处理的情况下，与直接拍摄到的影像一起显示梯形校正后的比赛场影像，在梯形校正后的比赛场影像上进行上述的选手位置修正处理。在拍摄到的比赛场是横向的情况下，在直接拍摄到的影像中，位于远离摄像机的位置的泳道在图像上小，因此在选手位置修正处理中难以确认以及点击影像中的真正存在选手的部位。在上述的梯形校正后的比赛场影像上，使拍摄到的比赛场的形状标准化，因此能够高精度地进行真正存在选手的部位的确认以及点击。

产业上的可利用性

本公开能够应用于确定影像中的选手的状态的方法或装置。例如能够应用于用于处理运动影像等的分析的计算机。

附图标记说明

100：选手状态确定装置；101：处理器；102：存储部；103：通信部；104：输入部；105：显示部；106：总线；200：摄像装置；300：游泳池；302：水道绳；310：选手；500：行进方向；600：检测结果；1000：区域。

Claims (8)

1.一种选手状态确定方法，是由处理器确定在拍摄游泳池中的游泳比赛得到的影像中存在的选手的状态的方法，

所述处理器参照对所述影像进行检测所述选手的处理得到的结果，基于所述选手存在于所述游泳池的端侧的区域之后的所述选手的检测的结果，将所述选手的行进方向确定为与到目前为止的行进方向不同的方向。

2.根据权利要求1所述的选手状态确定方法，其特征在于，

在所述选手存在于所述游泳池的端侧的区域之后在规定的期间内检测到所述选手的次数为阈值以下的情况下，将所述选手的行进方向确定为与到目前为止的行进方向不同的方向。

3.根据权利要求1所述的选手状态确定方法，其特征在于，

所述处理器生成在针对所述影像合成与所述选手有关的信息时用于切换所述信息的显示状态的显示控制信息，

在所述选手存在于所述游泳池的端侧的区域的情况下，将所述显示控制信息确定为表示不显示所述信息的意思的信息。

4.根据权利要求1所述的选手状态确定方法，其特征在于，

所述处理器生成在针对所述影像合成与所述选手有关的信息时用于切换所述信息的显示状态的显示控制信息，

在将所述选手的行进方向确定为与到目前为止的行进方向不同的方向之后从所述影像中在所述游泳池的端侧的区域之外检测到所述选手的情况下，将所述显示控制信息确定为表示显示所述信息的意思的信息。

5.一种选手状态确定装置，由处理器确定在拍摄游泳池中的游泳比赛得到的影像中存在的选手的状态，

所述处理器参照对所述影像进行检测所述选手的处理得到的结果，基于在所述选手存在于所述游泳池的端侧的区域之后的所述选手的检测的结果，将所述选手的行进方向确定为与到目前为止的行进方向不同的方向。

6.根据权利要求5所述的选手状态确定装置，其特征在于，

在所述选手存在于所述游泳池的端侧的区域之后在规定的期间内检测到所述选手的次数为阈值以下的情况下，将所述选手的行进方向确定为与到目前为止的行进方向不同的方向。

7.根据权利要求5所述的选手状态确定装置，其特征在于，

所述处理器生成在针对所述影像合成与所述选手有关的信息时用于切换所述信息的显示状态的显示控制信息，

在所述选手存在于所述游泳池的端侧的区域的情况下，将所述显示控制信息确定为表示不显示所述信息的意思的信息。

8.根据权利要求5所述的选手状态确定装置，其特征在于，

所述处理器生成在针对所述影像合成与所述选手有关的信息时用于切换所述信息的显示状态的显示控制信息，

在将所述选手的行进方向确定为与到目前为止的行进方向不同的方向之后从所述影像中在所述游泳池的端侧的区域外检测到所述选手的情况下，将所述显示控制信息确定为表示显示所述信息的意思的信息。