CN117716388A - 用于感测移动的球的影像分析方法及利用其的传感装置 - Google Patents

Abstract

本发明提供如下用于感测移动的球的影像分析方法及利用其的传感装置，即，在用于感测利用球的运动中移动的球的影像的分析中，并非对影像整体进行分析，而是设定作为部分区域的分析对象区域并在该设定的分析对象区域内检测球，并计算关于球的移动的物理量，其中，通过在当前分析中的影像上以检测到的球的位置为基准以包括将在下一个要分析的影像上球会出现的位置的方式设定分析对象区域的方式，针对获取的每个影像将之前设定的分析对象区域适用于当前的影像来进行影像分析，从而旨在显著提高影像处理的速度。

Description

用于感测移动的球的影像分析方法及利用其的传感装置

技术领域

本发明涉及一种在利用球的运动领域中利用摄像头感测被选手击打而移动的球的传感装置及利用于其的摄像头影像的分析方法。

背景技术

近来，针对如高尔夫和棒球等直接在现场享受会相当受限的运动的虚拟模拟系统已出现并广泛普及。

进一步地，还出现了对诸如网球、壁球、羽毛球等两个选手隔着网接发球的形式的隔网运动的虚拟运动模拟系统，从而使得用户能够在大众文化空间中轻松享受多样的运动的趋势正在形成。

在这种虚拟运动模拟中，基本上是选手击打球而进行比赛，为了进行对选手击打的球的影像上的模拟，需要能够有效地感测运动的球的传感装置。

过去，利用红外线传感器或激光感应器等光传感方式的情况较多，在这种情况下，需要在选手的打球空间中设置具备照射光并接收光的多个光传感器的结构物，这限制了选手的打球，且在实现具有现实感的打球方面存在局限性，并且在打球过程中破损传感器的结构物的结构物的情况频繁发生，更重要的是，存在着感测的准确度非常低的问题。

由于这种光传感方式的局限性和问题，近来，获取运动的球的摄像头影像并通过该获取的影像的分析来计算运动的球的感测信息的图像传感方式的传感装置被广泛利用。

这样的图像传感方式通过分析影像来获得感测信息，因此具有可以获得非常准确的感测信息的优点，由于需要对每秒数十至数百帧的影像逐个进行影像处理，因此存在需要配备具有相当高的数据处理能力的摄像头装置和数据处理装置的问题。

作为于此相关的现有技术，已公开韩国公开专利公报第10-2018-0054279号、韩国公开专利公报第10-2019-0085152号、美国授权专利公报US 7,497,780、美国授权专利公报US 7,324,663等现有技术文献。

上述现有技术都共通地公开了一种在包括由摄像头拍摄的球的影像中将球所在的周边区域指定为感兴趣区域(Region Of Interest)，并以该兴趣区域为主分析影像的方法。

然而，在如上所述的现有技术中，为了设定感兴趣区域，预测球移动的位置并以该预测到的位置为基准指定周边的预定区域，存在着为了设定感兴趣区域而需要经过复杂的过程的问题的问题，如为了预测球移动的位置而需要计算关于在此之前的球的移动的物理量，并且为了利用该计算出的物理量来预测球移动的位置而还要进行另一种复杂的运算等。

然而，即使经过如此复杂的过程设定感兴趣区域，当用于对球的移动位置进行预测的运算不充分或预测有误时，也还会发生无法在感兴趣区域上检测到球的问题。

现有技术文献

韩国公开专利公报第10-2018-0054279号

韩国公开专利公报第10-2019-0085152号

美国授权专利公报US 7,497,780

美国授权专利公报US 7,324,663

发明内容

技术问题

本发明提供如下用于感测移动的球的影像分析方法及利用其的传感装置，即，在用于感测利用球的运动中移动的球的影像的分析中，并非对影像整体进行分析，而是设定作为部分区域的分析对象区域并在该设定的分析对象区域内检测球，并计算关于球的移动的物理量，其中，通过在当前分析中的影像上以检测到的球的位置为基准，以包括在下一个要分析的影像上球会出现的位置的方式设定分析对象区域的方式，针对获取的每个影像将之前设定的分析对象区域适用于当前的影像来进行影像分析，从而旨在显著提高影像处理的速度。

技术方案

本发明的一实施例的用于感测移动的球的影像分析方法包括：以朝向球移动的空间的摄像头的视角获取影像的步骤；从获取的所述影像中检测球的位置的步骤；以检测到的所述球的位置为基准，以包括将在下一影像上球会出现的位置的方式设定分析对象区域的步骤；以及在利用于所述分析对象区域的设定的影像的下一影像上，在所设定的所述分析对象区域内检测球的位置的步骤。

此外，优选地，所述方法的特征在于，还包括：以在所设定的所述分析对象区域内检测到的球的位置为基准，以包括将在下一影像上的球会出现位置的方式设定新的分析对象区域的步骤；以及在其下一影像上，在所述新的分析对象区域内检测球的位置的步骤，从而通过以在当前影像的分析对象区域内检测到的球的位置为基准重新设定下一影像的分析对象区域的方式，针对获取的每个影像仅在所设定的分析对象区域内进行用于感测所述球的影像分析。

此外，优选地，所述方法的特征在于，以包括将在所述下一影像上球会出现的位置的方式设定分析对象区域的步骤包括：从检测到的所述球的位置，作为球能够移动的极限物理量，利用预先设定的信息计算球能够移动的范围的三维区域的步骤；以及将包括所述球能够移动的范围的三维区域被投影到所述摄像头所观察的面的部分的区域设定为所述分析对象区域的步骤。

此外，优选地，所述方法的特征在于，由相互联动的立体式的多个摄像头中的每一个获取影像，并且以包括将在所述下一影像上球会出现的位置的方式设定分析对象区域的步骤包括：从检测到的所述球的位置，作为球能够移动的极限物理量，利用预先设定的信息计算球能够移动的范围的三维区域的步骤；以及将所述球能够移动的范围的三维区域分别被投影到所述多个摄像头中的每一个所观察的面的部分的每个区域设定为每个所述摄像头的影像的分析对象区域的步骤。

此外，优选地，所述方法的特征在于，在获取的每个影像反映关于移动的球与所述摄像头的相对的位置关系的变化的信息以计算所述球能够移动的范围的三维区域，并从计算出的所述三维区域计算并设定所述分析对象区域。

此外，优选地，所述方法的特征在于，预先计算移动的球与所述摄像头的相对的位置关系的变化，并预先设定在任何位置都包括当前的球位置和下一影像中的球位置的大小的规定的三维区域，并对获取的每个影像以球位置为基准从所述规定的三维区域计算并设定所述分析对象区域。

此外，优选地，所述方法的特征在于，为每个种类的击打球的高尔夫球杆预先设定所述球能够移动的极限物理量，并且在计算所述球能够移动的范围的三维区域的步骤中，识别用户击打球的高尔夫球杆的种类，并适用对应于该识别出的高尔夫球杆的种类的极限物理量来计算所述球可移动的范围的三维区域。

另一方面，本发明的一实施例提供一种传感装置，其通过对被击打而移动的球的影像分析来感测球，所述传感装置包括：摄像头装置，其以朝向球移动的空间的视角获取影像；以及传感处理装置，其从获取的所述影像中检测球的位置，并以检测到的所述球的位置为基准，以包括将在下一影像上球会出现的位置的方式设定分析对象区域，并且以在利用于所述分析对象区域的设定的影像的下一影像上，在所设定的所述分析对象区域内检测球的位置的方式，仅在对获取的每个所述影像设定的分析对象区域内进行用于感测所述球的影像分析。

此外，优选地，所述传感装置的特征在于，所述传感处理装置被构成为，从检测到的所述球的位置，作为球能够移动的极限物理量，利用预先设定的信息计算球能够移动的范围的三维区域，并且将包括所述球能够移动的范围的三维区域被投影到所述摄像头装置所观察的面的部分的区域设定为所述分析对象区域。

此外，优选地，所述传感装置的特征在于，所述传感处理装置被构成为，在获取的每个影像反映关于移动的球与所述摄像头的相对的位置关系的变化的信息以计算所述球能够移动的范围的三维区域，由此为球的每个位置重新计算并设定所述分析对象区域。

此外，优选地，所述传感装置的特征在于，所述传感处理装置被构成为，预先计算移动的球与所述摄像头的相对的位置关系的变化，以将在所述摄像头的视角内的任意位置都能够使用的大小的区域预先设定为所述分析对象区域，从而对成为分析的对象的影像统一适用预先设定的所述分析对象区域。

发明的效果

本发明的用于感测移动的球的影像分析方法及利用其的传感装置具有如下效果，即，在用于感测利用球的运动中移动的球的影像的分析中，并非对影像整体进行分析，而是设定作为部分区域的分析对象区域并在该设定的分析对象区域内检测球，并计算关于球的移动的物理量，其中，通过在当前分析中的影像上以检测到的球的位置为基准以包括将在下一个要分析的影像上球会出现的位置的方式设定分析对象区域的方式，针对获取的每个影像将之前设定的分析对象区域适用于当前的影像来进行影像分析，从而能够显著提高影像处理的速度。

附图说明

图1是示出本发明的一实施例的移动的球的感测装置的配置的框图。

图2是示出本发明的一实施例的传感装置的感测方法的流程图。

图3是在图2所示的流程图中更具体地示出本发明的一实施例的影像分析方法的流程图。

图4是示出根据本发明的一实施例的用于感测移动的球的影像分析方法以球位置为基准利用球可移动的极限物理量导出球可移动的范围的三维区域并且将其投影到各摄像头所观察的面来计算分析对象区域的图。

图5和图6是用于说明通过本发明的一实施例的影像分析方法利用分析对象区域检测球的过程的示例的图。

图7是用于说明球移动时球与摄像头的距离关系的变化的图。

具体实施方式

将参照附图对关于本发明的用于感测移动的球的影像分析方法及利用其的传感装置的具体的内容进行详细描述。

首先，参照图1对有关本发明的一实施例的移动的球感测装置的配置进行描述。图1是示出本发明的一实施例的移动的球的感测装置的配置的框图。

在本发明的传感装置和利用于其的影像分析方法中，无论是单个摄像头还是通过联动多个摄像头以立体方式配置的摄像头装置，都会分析由摄像头对球的移动进行拍摄的影像以计算实际空间上的球的位置坐标信息，基于此，能够计算关于球的移动的多种物理量，例如球的速度、球的方向角、球的旋转等信息，并且在利用球的运动，例如高尔夫、棒球、网球、壁球、保龄球等中均可适用。

在本说明书中，虽然将如上所述的利用球的各种运动中的利用于高尔夫领域的传感装置为一例进行描述，显而易见地，适用于其的技术内容也同样可以适用于其他运动。

图1以框图示出在所谓的屏幕高尔夫中当用户在击球区将球GB放在高尔夫球垫GM上并用高尔夫球杆GC击打球GB时对其进行感测的传感装置的配置。

如图1所示，本发明的一实施例的用于感测球的传感装置可以是通过对随着用户用高尔夫球杆GC击打球GB而移动的球进行拍摄并对该拍摄到的影像进行分析来计算在空间上移动的球的三维坐标信息并且基于该三维坐标信息计算球的初始速度、方向角、高度角等关于运动特性的信息的装置。

所述传感装置可以应用于对应于用户的高尔夫挥杆的球的打球分析或利用基于虚拟现实的模拟的虚拟高尔夫等多样的领域。

如图1所示，这样的本发明的一实施例的传感装置可以包括摄像头装置100、以及感测处理部200。

所述摄像头装置100被配置为以观察移动的高尔夫球的视角连续获取图像，为了计算移动的高尔夫球在三维空间上的位置信息，优选地。所述摄像头装置100以彼此不同的视角对相同的对象分别获取影像的多个摄像头，例如，如图1所示，第一摄像头110和第二摄像头120彼此同步而以立体方式配置。

通过如上所述以多个摄像头110、120彼此同步的立体方式配置传感装置的摄像头装置，可以将针对相同的客体球通过第一摄像头110获取的影像和通过第二摄像头120获取的影像中的每一个提取的该高尔夫球的二维信息转换为三维信息。

如图1所示，所述感测处理部200可以包括：影像接收部210，其从多个摄像头110、120中的每一个收集影像；影像处理部220，其对所述影像接收部210收集的影像执行必要的影像处理以从影像中检测球；以及运算部230，其负责由从各影像中检测到的球的二维位置信息计算三维位置信等用于感测的各种运算。

如上所述的本发明的一实施例的传感装置的感测处理部200从通过每个所述摄像头110、120收集的影像中的每一个检测运动的球并计算该球的位置信息并传输至客户端300，使得所述客户端300可以执行利用接收到的所述球的位置信息来计算新的信息或计算分析信息等的客户端300固有的功能。

例如，当客户端300被实现为利用于屏幕高尔夫系统的模拟器时，可以从感测处理部200接收高尔夫球和高尔夫球杆的位置信息，并利用其在虚拟的高尔夫球场上实现虚拟的高尔夫球飞行的轨迹的模拟影像。

此外，当将所述客户端300实现为高尔夫挥杆分析装置时，可以实现为从感测处理部200接收高尔夫球和高尔夫球杆的位置信息并利用其提供对用户的高尔夫挥杆的分析信息、挥杆的问题诊断以及用于解决其的经验信息等。

所述影像处理部220可以被配置为为了提取对由所述摄像头110、120连续获取的影像中的每一个的基准图像的差分运算图像而执行影像处理，所述运算部230可以被配置为从由所述影像处理部处理的影像中计算运动的球的位置信息。

作为从获取的图像中提取运动的球的方法，除了如上所述的利用差分运算图像的方法外，还可以利用预先准备好球的模板图像，并从每一个所获取的影像中通过与所述球的模板图像的相似度来提取对应于高尔夫球的部分的方法。

另一方面，如上所述的本发明的一实施例的传感装置的摄像头装置100可以被配置为以朝向球移动的空间的视角获取影像，感测处理部200可以被配置为从获取的所述影像中检测球的位置，并以检测到的所述球的位置为基准，以包括将在下一影像上球会出现的位置的方式设定分析对象区域，并且以在利用于所述分析对象区域的设定的影像的下一影像上，在所设定的所述分析对象区域内检测球的位置的方式，仅在对获取的每个所述影像设定的分析对象区域内进行用于感测球的影像分析。

如上所述，感测处理部200在分析由摄像头装置获取的影像时，并非对获取的影像整体进行分析，而是仅分析对应于整体影像的部分区域的分析对象区域来计算球的位置信息，因此可以显著提高数据处理速度。

另一方面，将参照图2和图3对本发明的一实施例的用于感测移动的球的影像分析方法进行描述。

图2是示出本发明的一实施例的传感装置的感测方法的流程图，图3是在图2所示的流程图中更具体地示出本发明的一实施例的影像分析方法的流程图。

如图2所示，随着传感装置工作，摄像头装置以朝向球移动的空间的视角获取影像(S100)。

感测处理部可以分析获取的所述影像上的特定区域(S110)，以检测球的位置(S120)。

例如，在高尔夫的情况下，由于高尔夫球总是在与高尔夫球垫相同的既定的位置进行击打，倘若预先设定好高尔夫球垫的位置信息，则在获取到包括该高尔夫球垫的影像时可以在该影像上确定高尔夫球垫的位置，并且，通过调查包括该确定的高尔夫球垫的位置的区域，可以轻松地检测初始的球位置。棒球等其他运动也可以用同样的方法轻松检测球的初始位置。

另一方面，随着检测球的位置，传感装置会处于对球的感测准备状态(S130)，通过持续获取的影像感测球所置于的位置，可以感测球是否被击打而移动。

经对球的感测，若发生了球的移动(S140)，即球被击打而开始移动，则感测处理部可以确定上述球移动的发生时间点，并以该时间点为基准收集之前获取的影像和之后获取的影像作为分析对象的影像(S150)。

例如，可以从球移动的发生时间点之前和之后的影像中分析高尔夫球杆如何移动，并且从球移动的发生时间点和其之后的影像中分析球如何移动。

另一方面，感测处理部可以对如上述收集的各影像设定分析对象区域，并在各影像的分析对象区域内检测球位置，并且计算该检测的球的位置坐标信息(S200)。

所述感测处理部可以利用如上述计算出的球的位置坐标信息计算关于移动的球的各种物理量(S310)，并将其传递至客户端，使得客户端可以实现其固有的功能(S320)。

这里，本发明的一实施例的传感装置并非对在所述步骤S200中收集到的影像中的每一个分析整体影像，而是分析作为其部分区域的分析对象区域，以便能够执行快速的影像处理，对此的具体过程见图3所示。

如图3所示，感测处理部可以在前文中在步骤S120中检测到的球的位置利用关于球的极限物理量，即球可移动的极限的信息来计算“球可移动的范围的三维区域”(S210)。

如上述计算出的“球可移动的范围的三维区域”被投影(projection)到各摄像头所朝向的面，并且，在各摄像头中，可以将包括所述投影的部分的二维区域设定为下一影像(即、在当前分析中的影像的分析之后下一个要分析的影像)的分析对象区域(S220)。

感测处理部可以获取在上述过程中分析的影像的下一影像，并在该影像上的先前设定的分析对象区域内搜索是否有球(S230)。即，并非搜索影像整体，而是仅在先前设定的分析对象区域内搜索球，因此可以显著提高数据的处理速度。

当在分析对象区域内检测到球时(S240)，感测处理部可以计算该检测到的球的位置坐标信息(S250)。即，可以利用经摄像头在每个影像中分析每个分析对象区域所检测到的球的位置坐标(二维坐标)转换为实际空间(三维空间)上的位置坐标信息来进行计算。

在通过这种方式重复步骤S210至步骤S250的过程，直到感测结束(S260)的同时，可以将之前的影像的分析时以球位置为基准计算并设定的分析对象区域适用于当前的影像分析，以便可以在当前的影像中仅分析之前设定的分析对象区域来计算球的位置坐标信息，从而可以显著提高数据的处理速度。

经在分析对象区域内搜索球，当未检测到球时(S240)，可以调整“球可移动的范围的三维区域”的范围(S270)来重新进行计算，并基于此重新计算并设定分析对象区域。

如此，在本发明中，在分析关于球的移动的影像时，将之前影像的分析时以球位置为基准，利用球可移动的极限物理量导出的“球可移动的范围的三维区域”投影到二维区域，并将基于此设定的分析对象区域适用于当前的分析影像中，并在当前的分析影像中仅分析之前设定的分析对象区域即可，由此提高处理速度。

将参照图4至图7对关于如上所述的“分析对象区域”的计算及设定的更为具体的内容进行描述。

图4是示出根据本发明的一实施例的用于感测移动的球的影像分析方法以球的位置为基准利用球可移动的极限物理量导出球可移动的范围的三维区域并且将其投影到各摄像头所观察的面来计算分析对象区域的图。

如图4所示，可以以在当前影像中分析出的球GB的位置Po，即三维空间上的位置为基准利用球可移动的极限物理量来导出球可移动的范围的三维区域RD。

上述“球可移动的范围的三维区域RD”是计算为将从当前影像上的球位置到下一影像上的球位置都包括在内的范围的三维区域的区域。

这样的三维区域可以利用球的极限物理量来计算，例如可以利用人类能够实现的运动用球的最大速度和摄像头的拍摄速度来计算上述极限物理量。

例如，在高尔夫的情况下，吉尼斯世界纪录中记录的人类能够实现的最大球速为97m/s，将其设为100m/s，并且采用摄像头的拍摄速度为1秒钟拍摄500张的图像传感器的情况下，摄像头影像的一帧之间球可移动的距离为0.2m。以上一影像上的球位置为基准，下一影像上的球必然存在于半径0.2m的球体内。

以如上所述的球位置为基准的球体可以通过反映利用传感装置的运动的特性来有效地进行限制。

例如，在高尔夫的情况下，由于球飞行的方向是恒定的，因此可以排除所述球体的后半球部分，并且，在高尔夫的的情况下，由于击球使球以预定的发射角向上上升，因此无需考虑球体赤道的下侧，因而这部分也可以排除掉(当然，在如开球那样球可以在发球台(Tee)上方略微向下行进的情况下，可以包括到对应于上述球体的赤道下方的预定角度范围的部分)。

通过这种方式以如上所述的球位置为基准的球体明确限制为下一影像上的球必然会存在的区域，从而可以被导出为上述“球可移动的范围的三维区域RD”，图4所示的RD所指的部分即为上述“球可移动的范围的三维区域”的一例。图4所示的球可移动的范围的三维区域RD示出以球的位置Po为基准计算为对应于球体的约1/4的三维区域的示例。

当这样在空间上计算出“球可移动的范围的三维区域RD”时，可以将该三维区域RD分别投影(projection)各摄像头110、120所观察的面A1、A2上以分别计算二维的投影部分pr1、pr2。

可以将包括上述二维的投影部分pr1、pr2的二维区域如图4所示设定为对各摄像头的分析对象区域Ra1、Ra2，并且，在分析下一影像时，适用所述分析对象区域Ra1、Ra2在该区域内搜索即可检测球。

参照图5和图6对进以如上所述的方式利用分析对象区域检测球的过程的示例进行描述。

图5的(a)至(d)是示出作为本发明的一实施例的传感装置的感测处理部要分析的影像获取包括fr1至fr4的图像并分别分析这些影像的过程的图，图6是用于对在图5所示的分析过程中用于设定分析对象区域的球可移动的三维区域的计算进行说明的图。图5的(a)至(d)示出由多个摄像头中的一个摄像头获取的影像。

图5的(a)是由感测处理部处理的影像，是在球被置于高尔夫球垫上的状态下由摄像头获取的影像fr1，起初可以为了影像中的球而搜索特定感兴趣区域。

即，在高尔夫中，由于球总是从高尔夫球垫上出发，因此预先存储高尔夫球垫的位置坐标，当获取到影像时，可以在通过影像中基于预先存储的高尔夫球垫的位置的感兴趣区域内搜索球来检测球。

如图5的(a)所示，由于对应于高尔夫球垫的部分gm是预先知道该位置信息的部分，因而可以以此为基础设定预定大小的感兴趣区域Rm，并在该感兴趣区域Rm中找出球b1。

这样找出的影像上的球b1可以被计算为三维空间中的坐标信息，并且如图6所示存在于三维空间上。即，在图5的(a)找出的影像上的球b1如图6所示对应于三维空间上的球B1。

在图6所示的三维空间中，可以通过适用如前文中所述及的球可移动的极限物理量来计算以B1球位置为基准的球可移动的范围的三维区域RD1，并将该三维区域RD1投影到各摄像头110、120所观察的面来计算如图5的(a)所示的分析对象区域R1。

图5的(a)所示的R1区域是基于以B1球位置为基准的球可移动的范围的三维区域RD1的投影的部分来计算的，并且可以被设定为下一影像的分析对象区域。

图5的(b)示出上述fr1影像的下一影像fr2，通过适用先前设定的分析对象区域R1，感测处理部在分析fr2影像时可以通过搜索分析对象区域R1区域的内部来检测球b2，该分析对象区域R1以外的其余区域是未进行影像处理或数据处理的区域NR。

这里，pb1是在先前的影像fr1中检测到的球的位置，若在fr1影像中计算出分析对象区域R1，则成为基准的球的位置pb1和会在下一影像中检测到的球的位置都会存在于分析对象区域内。

感测处理部可以如图5的(b)所示通过搜索fr2影像上的分析对象区域R1的内部来检测球b2，该检测到的球b2的位置坐标对应于图6所示的三维空间上的B2球的位置。

由图6可知，B2球位置在先前的球可移动的范围的三维区域RD1的范围内部，以同样的方式，可以以B2球位置为基准计算球可移动的范围的三维区域RD2。

可以通过将上述球可移动的范围的三维区域RD2投影到各摄像头110、120所观察的面来计算如图5的(b)所示的分析对象区域R2。

图5的(b)所示的R2区域是基于以B2球位置为基准的球可移动的范围的三维区域RD2的投影的部分来计算的，并且可以被设定为下一影像的分析对象区域。

图5的(c)示出fr2影像的下一影像fr3，通过适用先前设定的分析对象区域R2，感测处理部在分析fr3影像时可以通过搜索分析对象区域R2区域的内部来检测球b3，该分析对象区域R2以外的其余区域是未进行影像处理或数据处理的区域NR。

这里，pb2是在先前的影像fr2中检测到的球的位置，若在fr2影像中计算分析对象区域R2，则成为基准的球的位置pb2和会在下一影像中检测到的球的位置都都会存在于分析对象区域内。

感测处理部可以如图5的(c)所示通过搜索fr3影像上的分析对象区域R2的内部来检测球b3，并且该检测到的球b3的位置坐标对应于图6所示的三维空间上的B3球的位置。

由图6可知，B3球位置在先前的球可移动的范围的三维区域RD2的范围内部，以同样的方式，可以以B3球位置为基准计算球可移动的范围的三维区域RD3。

可以通过将上述球可移动的范围的三维区域RD3投影到各摄像头110、120所观察的面来计算如图5的(c)所示的分析对象区域R3。

图5的(c)所示的R3区域是基于以B3球位置为基准的球可移动的范围的三维区域RD3的投影的部分来计算的，并且可以被设定为下一影像的分析对象区域。

图5的(d)示出上述fr3影像的下一影像fr4，通过适用先前设定的分析对象区域R3，感测处理部在分析fr4影像时可以通过搜索分析对象区域R3区域的内部来检测球b4，该分析对象区域R3以外的其余区域是未进行影像处理或数据处理的区域NR。

这里，pb3是在先前的影像fr3中检测到的球的位置，若在fr3影像中计算分析对象区域R3，则成为基准的球的位置pb3和会在下一影像中检测到的球的位置都会存在于分析对象区域内。

感测处理部可以如图5的(d)所示通过搜索fr4影像上的分析对象区域R3的内部来检测球b4，该检测到的球b4的位置坐标也同样可以被计算为三维空间上的球位置坐标。

通过这种方式，可以利用在之前影像中设定的分析对象区域在各摄像头的影像中检测b2、b3、b4等的球位置，并利用其快速计算三维空间上的球的位置的位置坐标信息。

这里，如上所述的分析对象区域既可以是为每个影像在新的条件下重新计算并设定的(灵活适用)，也可以是对被所分析的所有影像适用规定大小的分析对象区域(统一适用)。

在上述“灵活适用”的情况下，可以通过反映实际空间上的球移动时的球与摄像头之间的距离关系来为每个影像重新设定分析对象区域来进行适用。

图7是用于说明球移动时的与摄像头110的距离关系的图，如图7所示，当球从B1位置移动到B8位置时，与检测球的摄像头110的距离会继续变化。

如图7所示，B1位置至B8位置中的每一个上的与摄像头110的距离分别为d1至d8，可知该d1至d8中的每一个距离会彼此不同。

随着摄像头与球之间的距离越来越近，摄像头获取的影像上的球的大小显示得越来越大，且1帧之间的球与球之间的距离显示得越来越远；随着摄像头与球之间的距离越来越远，摄像头获取的影像上的球的大小显示得越来越小，且1帧之间的球与球之间的距离显示得越来越近。

因此，即使对每个影像适用相同的“球移动的极限物理量”，考虑球移动时的摄像头与球之间的距离关系，对于每个影像，分析对象区域的大小必然会不同。

从而，本发明的一实施例的传感装置的感测处理部可以为获取的每个影像反映关于移动的球与摄像头的相对的位置关系的变化的信息来计算球可移动的范围的三维区域，并通过从该计算的三维区域计算并设定分析对象区域来对每个影像适用不同大小的分析对象区域。

另一方面，在上述“统一适用”的情况下，预先计算出实际空间上的球移动时球与摄像头之间的距离变化，并相应地预先定义无论球在哪个位置都能够统一适用的规定大小的分析对象区域，并将统一地适用于每个影像。

此时，通过将针对每个影像检测到的球的位置置于统一适用分析对象区域上相对相同的位置，并对每个影像适用分析对象区域，可以如图5所示始终能能够在分析对象区域内检测到球。

即，本发明的一实施例的传感装置的感测处理部可以预先计算移动的球与所述摄像头的相对的位置关系的变化，并预先设定在任意位置都使当前的球位置和下一影像中的球位置都能包括在内(意指并非三维区域中包括当前的“球”和下一影像中的“球”，而是具有可以使当前的“球的位置”和下一影像中的“球的位置”都能包括在内的大小或形状的三维区域)的大小的规定的三维区域，并对获取的每个影像以球位置为基准从如上所述的规定的三维区域中计算并设定分析对象区域。

另一方面，如前所述，分析对象区域是从之前的影像的球位置为基准的球可移动的范围的三维区域中计算的，并且其是以球可移动的极限物理量为基础来计算的，此时，每个种类的运动的限物理量可以不同。

例如，在高尔夫中的用高尔夫球杆击打的高尔夫球的最大速度与在棒球中的棒球的最大速度不同，并且在网球中的球的最大速度也不同。即，对于每种运动人类所能实现的球的最大速度都不同，因此上述球的极限物理量也可以针对每个种类的运动来定义并进行使用。

此外，在高尔夫中，同样地，由于每个种类的高尔夫球杆所能实现的球的最大速度不同，因此可以为每个高尔夫球杆不同地定义如上所述的球的极限物理量来计算球可移动的范围的三维区域和分析对象区域。

即，可以通过对击打球的每个种类的高尔夫球杆预先设定球可移动的极限物理量，由传感装置识别用户击打球的高尔夫球杆的种类并适用对应于该识别到的高尔夫球杆的种类的极限物理量来计算如上所述的球可移动的范围的三维区域，并相应地计算分析对象区域对每个高尔夫球杆不同地适用成为分析对象区域的基础的极限物理量。

此外，由于每个种类的高尔夫球杆的所击打的球的发射角的范围不同，因此可以为每个种类的高尔夫球杆不同地选定发射角范围，并反映在对应于所述高尔夫球杆的极限物理量的定义中来计算三维区域和分析对象区域。

置于有关每个高尔夫球杆的球发射角的数据，既可以基于普遍已知的每个高尔夫球杆的发射角来任意设定，也可以从用户通过虚拟高尔夫模拟装置或高尔夫练习装置或高尔夫分析装置等进行的击球的数据的累计记录数据中选定每个高尔夫球杆的最大发射角范围，或者计算每个高尔夫球杆的平均发射角范围，并利用于上述极限物理量的计算中。

如上所述，根据本发明的用于感测移动的球的影像分析方法及利用其的传感装置，在用于感测利用球的运动中移动的球的影像的分析中，并非对影像整体进行分析，而是设定作为部分区域的分析对象区域并在该设定的分析对象区域内检测球，并计算关于球的移动的物理量，其中，通过在当前分析中的影像上以检测到的球的位置为基准以包括球会出现在下一个要分析的影像上的位置的方式设定分析对象区域的方式，针对获取的每个影像将之前设定的分析对象区域适用于当前的影像来进行影像分析，从而可以显著提高影像处理的速度。

产业上的利用可能性

本发明的用于感测移动的球的影像分析方法及利用其的传感装置可以利用于例如高尔夫等利用球进行的球类运动相关的产业领域和基于虚拟的高尔夫模拟进行高尔夫竞技的所谓的屏幕高尔夫等用户在虚拟的环境练习或享受球类运动的的虚拟模拟系统等产业领域。

Claims (11)

1.一种用于感测球的影像分析方法，其特征在于，包括：

以朝向球移动的空间的摄像头的视角获取影像的步骤；

从获取的所述影像中检测球的位置的步骤；

以检测到的所述球的位置为基准，以包括将在下一影像上球会出现的位置的方式设定分析对象区域的步骤；以及

在利用于所述分析对象区域的设定的影像的下一影像上，在所设定的所述分析对象区域内检测球的位置的步骤。

2.根据权利要求1所述的用于感测球的影像分析方法，其特征在于，还包括：

以在所设定的所述分析对象区域内检测到的球的位置为基准，以包括将在下一影像上球会出现的位置的方式设定新的分析对象区域的步骤；以及

在其下一影像上，在所述新的分析对象区域内检测球的位置的步骤，

从而通过以在当前影像的分析对象区域内检测到的球的位置为基准重新设定下一影像的分析对象区域的方式，针对获取的每个影像仅在所设定的分析对象区域内进行用于感测所述球的影像分析。

3.根据权利要求1所述的用于感测球的影像分析方法，其特征在于，

以包括将在所述下一影像上球会出现的位置的方式设定分析对象区域的步骤包括：

从检测到的所述球的位置，作为球能够移动的极限物理量，利用预先设定的信息计算球能够移动的范围的三维区域的步骤；以及

将包括所述球能够移动的范围的三维区域被投影到所述摄像头所观察的面的部分的区域设定为所述分析对象区域的步骤。

4.根据权利要求1所述的用于感测球的影像分析方法，其特征在于，

由相互联动的立体式的多个摄像头中的每一个获取影像，并且

以包括将在所述下一影像上球会出现的位置的方式设定分析对象区域的步骤包括：

从检测到的所述球的位置，作为球能够移动的极限物理量，利用预先设定的信息计算球能够移动的范围的三维区域的步骤；以及

将所述球能够移动的范围的三维区域分别被投影到所述多个摄像头中的每一个所观察的面的部分的每个区域设定为每个所述摄像头的影像的分析对象区域的步骤。

5.根据权利要求3或4所述的用于感测球的影像分析方法，其特征在于，

在获取的每个影像反映关于移动的球与所述摄像头的相对的位置关系的变化的信息以计算所述球能够移动的范围的三维区域，并从计算出的所述三维区域计算并设定所述分析对象区域。

6.根据权利要求3或4所述的用于感测球的影像分析方法，其特征在于，

预先计算移动的球与所述摄像头的相对的位置关系的变化，并预先设定在任何位置都包括当前的球位置和下一影像中的球位置的大小的规定的三维区域，并对获取的每个影像以球位置为基准从所述规定的三维区域计算并设定所述分析对象区域。

7.根据权利要求3或4所述的用于感测球的影像分析方法，其特征在于，

为每个种类的击打球的高尔夫球杆预先设定所述球能够移动的极限物理量，并且

在计算所述球能够移动的范围的三维区域的步骤中，识别用户击打球的高尔夫球杆的种类，并适用对应于该识别出的高尔夫球杆的种类的极限物理量来计算所述球能够移动的范围的三维区域。

8.一种传感装置，其通过对被击打而移动的球的影像分析来感测球，所述传感装置的特征在于，包括：

摄像头装置，其以朝向球移动的空间的视角获取影像；以及

传感处理装置，其从获取的所述影像中检测球的位置，并以检测到的所述球的位置为基准，以包括将在下一影像上球会出现的位置的方式设定分析对象区域，并且以在利用于所述分析对象区域的设定的影像的下一影像上，在所设定的所述分析对象区域内检测球的位置的方式，仅在对获取的每个所述影像设定的分析对象区域内进行用于感测所述球的影像分析。

9.根据权利要求8所述的传感装置，其特征在于，

所述传感处理装置被构成为，从检测到的所述球的位置，作为球能够移动的极限物理量，利用预先设定的信息计算球能够移动的范围的三维区域，并且将包括所述球能够移动的范围的三维区域被投影到所述摄像头装置所观察的面的部分的区域设定为所述分析对象区域。

10.根据权利要求9所述的传感装置，其特征在于，

所述传感处理装置被构成为，在获取的每个影像反映关于移动的球与所述摄像头的相对的位置关系的变化的信息以计算所述球能够移动的范围的三维区域，由此为球的每个位置重新计算并设定所述分析对象区域。

11.根据权利要求9所述的传感装置，其特征在于，

所述传感处理装置被配置为，预先计算移动的球与所述摄像头的相对的位置关系的变化，以将在所述摄像头的视角内的任意位置都能够使用的大小的区域预先设定为所述分析对象区域，从而对成为分析的对象的影像统一适用预先设定的所述分析对象区域。