CN108697922A - 用于棒球练习装置的传感装置及传感方法、利用其的棒球练习装置及其控制方法 - Google Patents

Abstract

本发明提供一种用于棒球练习装置的传感装置及传感方法、利用其的棒球练习装置及其控制方法，在用于使使用者进行棒球练习或棒球比赛的棒球练习装置中，取得投出的球或打击的球的运动相关图像，对该取得的图像进行分析，准确且迅速算出球进行何种运动的运动模型，相当准确且迅速地算出投出的球或打击的球的运动参数等用于进行棒球练习或棒球比赛的各种信息。

Description

用于棒球练习装置的传感装置及传感方法、利用其的棒球练 习装置及其控制方法

技术领域

本发明涉及一种棒球练习装置及用于该棒球练习装置的传感装置、传感方法、所述棒球练习装置的控制方法，所述棒球练习装置为使用者用球棒打击发球装置发射的球的方式的棒球练习装置或所谓屏幕棒球系统，所述屏幕棒球系统是使用者在预定大小的室内空间用球棒打击由发球装置发射的球，传感装置对此进行传感，实现基于该传感结果的模拟影像。

背景技术

近年来，随着棒球人口的增加而出现了所谓屏幕棒球系统，以便克服难以在宽阔的棒球赛场进行实际棒球赛的局限，而在窄狭的室内空间也能够感受棒球比赛的现场感并虚拟进行棒球赛。

通常，屏幕棒球系统在室内设置可供使用者在预定大小的空间挥棒的打击区和可以显示虚拟的棒球场的屏幕，如果在该屏幕后面安装的发球机向打击区侧投球，则在打击区做好击球准备的使用者打击从发球机投出的球，此时，传感装置对投出的球及被使用者打击的球的移动进行传感，基于该传感结果，判断是好球还是坏球，并在所述屏幕上实现被打击的球的轨迹的模拟影像。

与所述的传感装置相关联，在以往的屏幕棒球系统等中，在投球的球或打击的球经过的路口，安装多个由多个发光传感器及受光传感器构成的光传感装置，当球经过该光传感装置时，接收从发光传感器照射而被球反射的光，从而多个光传感装置分别获得球的坐标信息，基于此，算出关于投出的球或打击的球的球速、方向等参数。

而且，在使用者持球棒进行打击的情况下，利用另外的传感装置，感知使用者的挥棒与否或打击与否。

在韩国专利申请第10-2015-0041844号、韩国专利申请第10-2015-0041861号、韩国专利申请第10-2014-0054105号、美国注册专利第5443260号、日本注册专利第4743763号等多项现有技术文献中，对所述的技术内容进行了公开。

当利用如上所述的基于光传感器的传感装置时，需要利用相当多的发光传感器及受光传感器，因而不仅传感装置的费用相当高，而且，传感装置的破坏及误操作等的可能性高，维护及维修相当困难，尽管如此，在对于球运动的准确解析方面却有局限，因而存在对于球运动的模拟准确度很低的问题。

发明内容

技术课题

本发明提供一种基于图像传感的传感装置及传感方法、利用该传感装置及传感方法的棒球练习装置及其控制方法，在用于使使用者进行棒球练习或棒球比赛的棒球练习装置中，取得投出的球或打击的球的运动相关图像，对该取得的图像进行分析，准确且迅速算出球进行何种运动的运动模型，相当准确且迅速地算出投出的球或打击的球的运动参数等用于进行棒球练习或棒球比赛的各种信息。

另外，旨在提供一种基于图像传感的传感装置及传感方法、利用该传感装置及传感方法的棒球练习装置及其控制方法，并非分别独立地配备用于对投出的球或打击的球的运动进行分析的传感装置、用于判别使用者是否挥棒的传感装置、用于判断坏球/好球与否的传感装置等多样的传感装置，而是利用一个传感装置便能够执行对投出的球或打击的球的运动进行分析、使用者挥棒与否及打击与否判别、坏球/好球与否判别等多样的分析。

解决课题的方案

本发明一个实施例的传感装置，用于使使用者能够以虚拟棒球影像为基础进行棒球练习或棒球比赛的棒球练习装置，该传感装置包括：摄像单元，其持续拍摄运动的球的图像；以及传感处理单元，其收集由所述摄像单元拍摄的图像，对所收集的各图像进行分析而提取出球，计算球的三维空间上的坐标，利用计算出的坐标数据，确定球运动模型，并利用所述确定的球运动模型，算出用于进行所述棒球练习或棒球比赛的信息。

另一方面，本发明一个实施例的传感装置的传感方法，该传感装置用于使使用者能够以虚拟棒球影像为基础进行棒球练习或棒球比赛的棒球练习装置，该传感方法包括：持续拍摄并收集运动的球的图像的步骤；对收集的各图像进行分析而提取出球，计算球的三维空间上的坐标，提取球的坐标数据的步骤；利用所述提取的坐标数据，确定球运动模型的步骤；以及利用所述确定的球运动模型，算出用于进行所述棒球练习或棒球比赛的信息的步骤。

另一方面，本发明一个实施例的棒球练习装置，用于使使用者能够以虚拟棒球影像为基础进行棒球练习或棒球比赛，该棒球练习装置包括：发球装置，其向使用者进行击球的打击区域发出球；传感装置，其持续拍摄并收集运动的球的图像，分析所述收集的各图像而提取出球，计算球的三维空间上的坐标，利用计算出的坐标数据，确定球运动模型，并算出利用了所述确定的球运动模型的信息；以及控制装置，其接收由所述传感装置算出的信息，基于所述接收的信息，实现用于进行所述棒球练习或棒球比赛的影像。

另一方面，本发明一个实施例的棒球练习装置的控制方法，该棒球练习装置用于使使用者能够以虚拟棒球影像为基础进行棒球练习或棒球比赛，该控制方法，包括：通过用于实现所述棒球练习或棒球比赛的影像的控制装置，来实现虚拟投手投球的影像的步骤；控制成发球装置与所述虚拟投手的投球影像同步地向打击区侧投出球的步骤；通过传感装置持续拍摄、收集及分析由所述发球装置投出并运动的球的图像，在各图像上提取出所述运动的球的三维空间上的坐标数据，利用所述提取出的坐标数据确定球运动模型，并算出利用所述确定的球运动模型的信息的步骤；以及所述控制装置接收由所述传感装置算出的信息，基于所述接收的信息，实现用于进行所述棒球练习或棒球比赛的影像的步骤。

发明效果

本发明的用于棒球练习装置的传感装置及传感方法、利用其的棒球练习装置及其控制方法具有如下效果：取得投出的球或打击的球的运动相关图像，对该取得的图像进行分析，准确且迅速算出球进行何种运动的运动模型，相当准确且迅速地算出投出的球或打击的球的运动参数等用于进行棒球练习或棒球比赛的各种信息。

另外具有如下效果：并非分别独立地配备用于对投出的球或打击的球的运动进行分析的传感装置、用于判别使用者是否挥棒的传感装置、用于判断坏球/好球与否的传感装置等多样的传感装置，而是利用一个传感装置便能够执行对投出的球或打击的球的运动进行分析、使用者挥棒与否及打击与否判别、坏球/好球与否判别等多样的分析。

附图说明

图1表示本发明一个实施例的棒球练习装置的虚拟棒球模拟系统，即实现所谓屏幕棒球系统的示例。

图2是表示图1所示的棒球练习装置的结构的框图。

图3及图4是表示具有图2所示的结构的棒球练习装置的传感装置的传感方法和基于控制装置的发球控制方法的流程图。

图5是本发明一个实施例的假定传感装置的摄像单元中的一个摄像头正在拍摄的影像而显示的图，用于说明一次全部显示在多帧图像上出现的球图像，传感装置检测球并确定球运动模型的进程。

图6是用于说明本发明一个实施例的传感装置考虑被投出的球碰到墙壁、顶棚等情况而确定球运动模型的图。

图7是本发明一个实施例的假定传感装置的摄像单元中的一个摄像头正在拍摄的影像而显示的图，用于说明一次全部显示在多帧图像上出现的被投出的球及被打击的球的图像，传感装置检测球并确定球运动模型的进程。

图8是本发明一个实施例的在通过传感装置拍摄、收集的图像中进一步放大显示打击区部分。

具体实施方式

参照附图，说明本发明的用于棒球练习装置的传感装置及传感方法、利用该传感装置及传感方法的棒球练习装置及其控制方法的更具体内容。

将本发明的“棒球练习装置”定义为包含棒球练习系统以及虚拟棒球模拟系统等，所述棒球练习系统是发球机发球，使用者在打击区打击该被投出球，从而单纯进行打击练习的系统；所述虚拟棒球模拟系统是在室内设置使用者可以在预定大小的空间进行击球的打击区域和显示虚拟棒球场的屏幕，如果发球机向打击区域侧发球，则在打击区域准备击球的使用者打击从发球机投出的球，传感装置传感投出的球及被使用者打击的球的移动，基于该传感结果，在屏幕上显示有关被打击的球的轨迹的模拟影像。以下，对本发明进行具体说明。

首先，参照图1及图2，就本发明一个实施例的棒球练习装置进行说明。图1是表示作为本发明一个实施例的棒球练习装置而实现棒球练习装置，即实现所谓屏幕棒球系统的示例，图2是表示图1所示的棒球练习装置的结构的框图。

如图1所示，本发明一个实施例的棒球练习装置如普通的屏幕棒球系统一样，在由侧壁11和后壁12等形成的空间内配备打击区域30和屏幕部20，在所述打击区域30的打击区(31或32，其中，附图标记31代表右打击区，附图标记32代表左打击区。下面把所述右打击区及左打击区统称为“打击区”，所述“打击区”定义为包括右打击区及左打击区中至少一个)，使用者可以持球棒进行击球。

在所述屏幕部20与后壁12之间的空间部SP具备控制装置SM，所述控制装置SM用于将投影于所述屏幕部20上的棒球模拟影像的相关信息处理(控制装置300处理的影像通过影像输出部420投影于屏幕部20)，安装有能够向打击区域30侧投出球1的发球装置100，在所述屏幕部20上的与所述发球装置100的发射球的部分对应的位置形成有使球1通过的投出孔22。

而且，如图1所示，所述发球装置100在其前面侧可以具备用于使所述屏幕部20上的投出孔22进行开闭的孔开闭部23。

如果考查本发明一个实施例的棒球练习装置的控制系统，如图1及图2所示，包括控制装置300、发球装置100、传感装置200等。

如图2所示，所述发球装置100可以包括球供给部110、投球驱动部120及投球控制部130。

所述球供给部110是在保管多个球的保管箱中一个一个地移送球并供给到投球驱动部120的构成要素，即向用于投球的位置供给球的构成要素。

所述投球驱动部120作为发射由所述球供给部110供给的球的构成要素，可以通过如下方式实现：使一个轮旋转，在与引导板之间，利用所述轮的旋转力来发射球的方式(例如，日本公开专利公报第2014-217468号等)；使两个以上的轮旋转，使球位于这些轮之间，利用所述轮的旋转力来发射球的方式(例如，韩国公开专利公报第2014-0100685号、韩国注册专利第0411754号、韩国注册实用新型第0269859号等)；使把持球的臂旋转而投掷球的方式(例如，韩国注册专利第0919371号等)等。

上述的球供给部110及投球驱动部120自身的具体结构已经被多个现有技术文献公开，因而省略对其结构的具体说明。

另一方面，所述传感装置200以分析所拍摄的图像并对图像上的客体进行传感的方式，取得并分析包括打击区域30的预定拍摄范围的图像，算出从发球装置100投出的球的球运动信息，算出使用者是否打击所述投出的球的信息、被使用者打击的球的球运动信息，算出使用者是否空挥棒的信息、当使用者未挥棒时投出的球的好坏球数信息等。

如图2所示，所述传感装置200包括摄像单元210、传感处理单元220，所述摄像单元210连续取得包括打击区域30的预定拍摄范围的图像，所述传感处理单元220从所述摄像单元210接收图像，执行与预先设定事项对应的图像分析等，算出利用所述棒球练习装置的棒球练习或棒球比赛所需的信息。

优选地，所述传感装置200的摄像单元210包括第一摄像头211及第二摄像头212并以立体方式(Stereoscopic)构成，以便能够在不同的位置分别拍摄相同的拍摄范围，算出拍摄的图像上的对象的三维位置信息，由此所述传感处理单元220可以通过对所述摄像单元210拍摄的图像的分析，获得球的三维坐标数据。

并且，所述传感处理单元220分别从所述摄像单元210的第一摄像头211及第二摄像头212接收并收集所拍摄的图像，分析该收集的各个图像并找到球，提取各球的三维坐标数据，利用该提取的三维坐标数据，确定被投出而运动的球或被打击而运动的球的球运动模型，确定球的运动模型后，利用该运动模型算出利用所述棒球练习装置的棒球练习或棒球比赛所需的各种信息。

在此，球的运动模型以与被投出或被打击而运动的球在三维空间上的轨迹相关的运动方程式来表现，如图1所示，将基于本发明的棒球练习装置而进行棒球练习或棒球比赛的空间定义为x轴、y轴及z轴的三维坐标系，根据该定义的坐标系，确定所述球的运动模型。

即，所述球的运动模型可以以x轴方向的运动方程式、y轴方向的运动方程式及z轴方向的运动方程式定义。与此相关的具体内容将在后面记述。

另一方面，所述传感装置200算出所述球运动信息，将其传送给控制装置300，所述控制装置300基于所接收的球运动信息，实现针对球运动的模拟影像，并通过影像输出部420投影于屏幕部20上。

另一方面，所述控制装置300如图2所示，包括数据存储部320、影像处理部330及控制部310。

所述数据存储部320是存储用于处理在棒球练习装置形成的棒球模拟影像等数据的部件。所述数据存储部320也可以起临时存储从服务器(未图示)传送的数据的存储部的作用。

所述影像处理部330为了生成虚拟棒球场的影像、球员和裁判及观众等影像等背景影像、虚拟投手投球的影像、使用者投出的球的轨迹的模拟影像等各种棒球模拟影像，根据预先设定的程序对影像数据进行处理，将处理后的影像传送给影像输出部420，所述影像输出部420执行把接收的所传送影像投影于屏幕部20等上的影像输出，以便使用者能够观看。

所述控制部310控制本发明的棒球练习装置的各构成要素，基于从所述传感装置200传送的各种信息，执行针对被打击的球的轨迹的模拟等用于实现棒球模拟影像的各种运算。

所述控制部310决定基于所述孔开闭部23的开放或封闭投出孔22的时间点、发球装置100的投球准备、投出准备好的球(发射球)等时间点，向所述投球控制部130发送请求执行相应动作的控制信号。

所述孔开闭部23默认控制为处于封闭屏幕部20的投出孔22的状态，当所述孔开闭部23处于封闭投出孔的状态时，投影到屏幕部的影像可以在投出孔部分无省略地自然显示。

所述控制部310可以在关于棒球练习或棒球比赛的影像上，与虚拟投手投球的影像同步，控制所述发球装置100的驱动，以使发球装置100能够向打击区侧投出球。

例如，感知影像上的虚拟投手投球的动作及投出的球的移动状态，发球装置100对应于虚拟投手的动作或投出的球的状态，把准备好的球发射到打击区侧，使在打击区准备击球的使用者具有影像上的虚拟投手投出的球如同实际飞来一样的感觉。

另一方面，参照图3及图4所示流程图，就本发明一个实施例的用于棒球练习装置的传感装置的传感方法及棒球练习装置的控制方法进行说明。

在图3及图4所示的流程图中示出了具有图2所示结构的棒球练习装置中的传感装置的传感方法和基于控制装置的控制方法。在图3所示的流程图中，以A标识的步骤连接到图4所示的A。

如图3所示，本发明一个实施例的棒球练习装置启动，传感装置的摄像单元持续取得该拍摄范围的图像，通过传感处理单元收集该取得的图像(S100)。

传感处理单元在收集了预先设定的个数的图像时，对该收集的各个图像进行分析，在各图像上检测出球(S110)。在此，检测出的球既可以是实际正在运动的球，也可以是置于比赛空间地面的球，还可能包括其它噪声。

因此，更准确地说，在所述S110步骤中检测出的是候选球。

在所述各图像上，候选球可以通过多个步骤的球检测进程而检测出。

首先，传感处理单元把摄像单元在球运动之前预先拍摄好的图像存储为参考图像。当然，实际球被投出后或被打击后，如果根据触发进程而发生触发，则可以把此时的图像存储为所述的参考图像。

其中，触发是在图像中设定好预先确定的区域，在该预先设定的区域内检测到球时发生触发，传感处理单元以所述触发时间点为基准，对在此之前及之后的预先设定的个数的图像进行分析，进行所述的球检测等进程。

针对在开始进行投球的同时拍摄的各个图像，如果根据差值算法(ImageDifferencing)而求出与所述参考图像的差值影像，则在该差值影像中，剩下包括运动的球的移动的对象。

对于该差值影像，预先设定针对影像上像素的像素值(亮度值)的阈值(Threshold)，以该预先设定的阈值为基准，对所述差值影像进行二值化处理(将超过阈值的像素值的像素显示为白色，将不超过阈值的像素显示为黑色，而进行二值化)。

对于实际的球(棒球)而言，受照明的影响，图像上的像素值较大，即亮度值较大，因而如果执行二值化，则移动的球大部分显示为白色，其余部分显示为黑色，因此在图像上可以容易地检测出移动的球。

传感处理单元提取在所述的二值化的影像中显示为白色部分的轮廓(Contour)，针对提取的各个轮廓，对纵横比(Aspect Ratio)、轮廓大小、轮廓内部的亮度等预先设定的条件进行分析(传感处理单元预先设定针对球的纵横比范围、大小范围、内部亮度范围等)，例如，当提取的轮廓长而纵横比超出预先设定的范围时，当提取的轮廓大小超出预先设定的大小范围或过小时，以去除相应的部分的方式，在提取的轮廓中，把有效的部分选定为候选球(即使如上所述选定为候选球，其中也可能包括置于地面的球或其它噪声)。

另一方面，传感处理单元算出以如上所述的方式在各图像上检测出的球，即各个候选球的三维坐标(S120)。

所述三维坐标的算出可以利用从第一摄像头和第二摄像头针对相同对象取得的各个影像中获得的坐标信息来实现，利用立体方式的摄像头系统取得对象的三维坐标是公知的技术，因而省略对此的说明。

另一方面，传感处理单元利用如上所述算出的球的坐标数据，确定从发球装置向打击区移动的球(从发球装置发射的球)的球运动模型(S130)。

对于所述的球运动模型，可以利用所述的球三维坐标数据，在图1所示的x轴、y轴及z轴的空间坐标系中，求出各轴方向的运动方程式来确定，当本发明一个实施例的棒球练习装置在限定的空间(例如，如图1所示，由侧壁11和后壁12等形成的空间)内实现的情况下，优选考虑到被投出的球或被打击的球碰撞墙壁、顶棚等的情况，建立并确定所述的球运动模型

在此，参照图5及图6，具体说明如上所述的用于确定球运动模型的S110、S120及S130步骤。

图5是表示假定传感装置的摄像单元中的一个摄像头正在拍摄的影像而显示的图，用于说明一次全部显示在多帧图像上出现的球图像b1～b9，本发明一个实施例的传感装置从图像中检测出球并确定球运动模型的进程。

而且，图6是用于说明考虑到被投出的球或被打击的球碰撞墙壁、顶棚等的情况而确定所述球运动模型的图。

其中，空间坐标系与图1所示的x轴、y轴及z轴的坐标系相同。

如图5所示，在通过传感装置的摄像单元拍摄、收集的图像中，包括显示持球棒BT在打击区31进行打击准备的使用者10和本垒板33的部分，不仅显示被投出而向打击区侧移动的球b1～b9，还显示地面上放置的球及与其它噪声相应的部分n1～n8。

在此，传感装置的传感处理单元为了建立球的运动模型，分别预先设定球运动的x轴方向的函数、y轴方向的函数及z轴方向的函数，把图5所示的球b1～b9的三维坐标数据应用于所述的各函数，确定球运动的各轴方向的运动方程式，建立球运动模型。

可是，在如图5所示进行分析的图像上，不仅包含球b1～b9，还会包含各种噪音n1～n8，假定他们全部是在所述S110步骤中检测出的候选球。

在所述S120步骤中，算出所述的各个候选球b1～b9、n1～n8的三维坐标数据。此时，可知所述的各候选球的三维坐标数据和时间值(例如，当有在第n帧的图像中出现的候选球时，可以把相应候选球的帧号或时间戳值存储为所述的时间值)。

另一方面，为了检测出所述候选球中有效的球的坐标数据，首先，在运动的球碰撞墙壁或顶棚等的情况下，需要去除该碰撞之后的球的坐标数据。

在图6中，显示了向b1→b2→b3→b4运动的球碰撞如墙壁或顶棚那样的障碍物LM后向r1→r2飞出的情况。

在图6所示的示例中，原来要求出的运动模型是向b1→b2→b3→b4→v1→v2运动的球的运动模型MDa，因而r1及r2应去除。

为了去除这种球碰撞后的数据，可以在所述的候选球中任意选择2个或其以上(预先设定的个数)的球候选，把该选择的各个候选球的坐标数据应用于所述各轴方向的函数，建立各轴方向的运动方程式，建立任意的运动模型。

在建立球运动模型时，需要算出运动模型的初始时间值，所述初始时间值作为球运动模型所包含的数据中开始运动时的时间值，如果传感装置的摄像单元的视角范围在图1中包括至屏幕，则把所述初始时间值设为球投出时的时间值，而成为已知的值。

在传感装置的摄像单元的视角范围不包括屏幕部的情况下，不能把所述初始时间值设为球投出时的时间值，此时，在传感装置的摄像单元拍摄的图像中，也可以把移动的客体，即球最初出现时的时间值设为所述初始时间值，在检测出的候选球中，以图1所示x-y-z坐标系为基准，把y轴方向的坐标值最大的候选球在图像中出现时的时间值设为所述初始时间值。

如上所述算出球运动的初始时间值后，可以将其代入所述任意运动模型，来确定球运动的起点坐标值。

另外，如上所述，可以把检测出的候选球中y轴方向的坐标值最大的候选球的坐标值设为所述球运动的起点坐标值，在y轴方向的坐标值最大的候选球为多个的情况下，以该时间值为初始时间值，应用于后述运动模型，来求出球运动的起点坐标值。

因此，在图6中，如果选择r1和r2并如上所述建立任意的运动模型MDb，则可以在该任意的运动模型MDb中代入所述的初始时间值来确定球运动的起点的坐标值。在图6中，任意的运动模型MDb的球运动的起点坐标为ro1。

但是，如图6所示，ro1存在于墙壁或顶棚等障碍物LM的外部，即，球运动的起点坐标存在于棒球练习装置的比赛空间的外部，因此所述任意运动模型MDb中包含的坐标数据不是有效数据，因而全部去除。

以这种方式，把坐标数据任意应用于各轴方向函数，对建立的运动模型的基于初始时间值的球初始坐标值进行确认，从而，无效的数据均可被去除(可以针对全部数据或针对一部分数据，选择任意预先设定的个数的数据，建立运动模型，来去除无效的数据)。

其中，“运动模型中包含的坐标数据”被定义为不仅包括该坐标值存在于建立的运动模型上的情况，而且包括坐标值虽然不存在于运动模型上，但却在一定水平上与之接近的坐标数据。其中，“一定水平上接近”是指通过多次实验等预先设定误差范围，数据存在于该预先设定的误差范围内的情况。

下面，“运动模型包含的坐标数据”均表示如上所述针对该运动模型预先设定的误差范围内的坐标数据。

另一方面，当图5所示的噪声n1～n8包括地面上放置的球时，如果选择地面上放置的球的坐标数据，如上所述建立任意的运动模型，来确认初始坐标值，则也存在于棒球练习装置的比赛空间外部，因此可以去除根据相应噪声的坐标数据而任意建立的运动模型中包含的所有坐标数据。

如上所述，通过建立任意运动模型及确认初始坐标值的相关进程，可以去除无效的数据，可以从如此去除数据后的剩下的数据中，确定最终的球的运动模型。

即使如上所述通过建立任意运动模型及确认初始坐标值的相关进程来去除无效数据后，也有可能会剩下一些噪声。

在这种情况下，为了确定准确的球运动模型，如RANSAC算法所示，可以以分布数据中构成主流的数据(Inlier)为基础，建立球运动模型，以排除所有不是Inlier的其余数据(Outlier)的方式，来确定最终的球运动模型。

即，如图5所示，以b1→b2→b3→b4→b5→b6→b7→b8→b9连接的运动模型MD1可以确定为被投出的球的球运动模型。当然，虽然实际上受一部分噪声等的影响，也可能无法算出像所述MD1那样的准确的运动模型，但利用所述方法求出运动模型时，可以确定几乎可以忽略误差范围的高准确性的运动模型。

对于球运动模型的确定，例如可以与几种假定一起按如下方式定义各轴方向函数。

<y轴方向的函数>

可以将运动的球相对于时间的y轴方向运动假定为匀速运动，因而可以表现为如下的关于时间的一次函数。

y＝a_y*t+b_y

其中，t代表时间值，y代表y方向坐标值，a_y代表相对于时间的y方向坐标的增加量(函数的斜率)，b_y代表t为0时的y方向坐标值(截面)。

<x轴方向的函数>

可以将运动的球相对于时间的x轴方向运动假定为匀速运动，因而可以表现为如下的关于时间的一次函数。

x＝a_x*t+b_x

其中，t代表时间值，x代表x方向坐标值，a_x代表相对于时间的x方向坐标的增加量(函数的斜率)，b_x代表t为0时的x方向坐标值(截面)。

<z轴方向的函数>

可以将运动的球相对于时间的z轴方向运动假定为重力始终作用的匀加速运动，因而可以表现为如下的关于时间的二次函数。

z＝a_z*t+b_z-0.5*g*t²

其中，g代表重力加速度，t代表时间值，z代表z方向坐标值，a_z代表t为0时的z方向速度，b_z代表t为0时的z方向坐标值(截面)。

另一方面，本发明一个实施例的传感装置在以如上所述的方式最终决定的球运动模型中包含的数据个数非常少时(这可以预先设定数据的个数)，可以判断为基于无效数据的运动模型，全部判断为噪音。

如果最终决定的球运动模型被判断为噪声，则棒球练习装置可以向使用者告知相应投球是错误，重新进行比赛。

另一方面，再回到图3，可以以与通过所述图5及图6说明的方式相同的方式进行S110、S120及S130步骤，确定投出的球的运动模型。

传感处理单元利用如上所述确定的球运动模型，算出投出的球到达本垒板时的时间值(S140)。

在所述S130步骤中确定的球运动模型可以在投出的球到达本垒板之前被确定，在这种情况下，可以根据所述确定的球运动模型，算出所述本垒板到达时间值。

例如，可以根据下式算出所述本垒板到达时间值。

t_h＝(y_h-b_y)/a_y

其中，t_h表示投出的球到达本垒板的时间值，y_h表示本垒板的y轴方向坐标值，a_y表示所述y轴方向函数中相对于时间的y方向坐标增加量(函数的斜率)，b_y表示y轴方向函数中当t为0时的y方向坐标值(截面)。

传感处理单元预先设定好本垒板的y轴方向坐标值(本垒板是固定的，因而本垒板的位置信息可预先获得)，可以利用球运动模型，计算球到达所述本垒板的y轴方向坐标值的时间值。

所述投出的球到达本垒板的时间值在稍后实现对球的打击时，在确定被打击的球的运动模型时被使用。

另一方面，传感处理单元对收集的图像进行分析，在检测出的全部球坐标数据中，删除全部以与通过图5及图6说明内容相同的方式决定的球运动模型(从投球装置向打击区移动的球的球运动模型)所包含的坐标数据(S150)。

对此，参照图7进行说明。图7是表示假定传感装置的摄像单元中的一个摄像头正在拍摄的影像而显示的图，用于说明一次全部显示在多帧图像上出现的球图像b1～b9、h1～h9，通过本发明一个实施例的传感装置从图像检测出球并确定球运动模型的进程。

在图7中示出了使用者10挥动球棒BT而进行击球的情形。即，在图7中，标识h1～h9为被打击并运动的球。

如果通过图7所示示例说明所述S150步骤，如图7所示，在检测出的球的全体数据b1～b9、h1～h9中，去除全部投出的球的球运动模型中所包含的数据b1～b9，如果存在剩下的数据，则为被使用者10打击的球，如果没有剩下的数据，则为使用者未打击球。

其中，当使用者未打击，但删除了全部投出的球的球运动模型中所包含的数据时，也会有一部分数据剩下的情形，因此，可以预先设定成为判断使用者是否进行了打击的基准的剩下数据的个数，如果所述剩下的数据为预先设定的个数以上，则所述传感处理单元判断为使用者打击了球，如果剩下数据少于预先设定的个数或没有，则判断为使用者未打击球。

因此，在图3的S150步骤中，传感处理单元在全体球坐标数据中删除了全部球运动模型中所包含的坐标数据时，判断为不存在剩下的坐标数据(S200)，在存在剩下的数据的情况下，判断为使用者打击了球，进行S210步骤的进程。

即，传感处理单元以所述球到达本垒板时的时间值为初始时间值，利用打击后的球的三维坐标数据，确定球运动模型(被打击的球的球运动模型)(S210)。

确定所述被打击的球的球运动模型，可以与通过所述图5及图6说明的“确定投出的球的球运动模型”的进程相同地处理。不过，此时的初始时间值可以利用前面计算的“球到达本垒板时的时间值”。

因此，如图7所示，当以球到达本垒板时的时间值为初始时间值时，球的坐标数据成为h1的坐标数据，检测从h1至h9的球的坐标数据(球的坐标数据的检测进程也可以以与通过图5及图6说明内容相同的方式处理。即，考虑到球碰撞墙壁或顶棚的情形，适当地去除噪音，可以最终获得有效的球的坐标数据)，把该检测出的球h1～h9的坐标数据应用于所述各轴方向的函数，来确定所述被打击并运动的球的运动模型MD2。

重新回到图3，如上所述确定被打击并运动的球的运动模型后，传感处理单元根据所确定的运动模型，算出关被打击的球的运动参数(例如，运动的球的速度、方向角、高度角等)，传递给控制装置(S220)。

控制装置根据如上所述从传感装置接收的球的运动参数，实现被打击的球的轨迹的模拟影像(S230)，在模拟影像上判断击球属于本垒打、安打、界外及出局(内场/外场腾空球出局或因地滚球等而出局的情形等)中哪一种，从而利用本发明一个实施例的棒球练习装置进行棒球练习或棒球比赛(S240)。

另一方面，在所述S200步骤中，当从全体球坐标数据去除被投出的球的球运动模型中所包含的坐标数据时，在不存在剩余坐标数据的情况下，进入图4所示的流程图，传感处理单元在收集的图像中，以本垒板的位置为基准，提取预先设定大小的挥棒识别检测区域(S310)。

然后，传感处理单元在该提取的挥棒识别检测区域检测使用者所持的球棒(S320)。

传感处理单元在所述挥棒识别检测区域检测球棒，判断该球棒是否移动，从而能够判断使用者是否进行了挥棒(S400)。

如果在所述挥棒识别检测区域检测到球棒，检测的该球棒移动，则传感处理单元判断为使用者进行挥棒，即进行空挥棒，将该信息传递给控制装置(S410)。

如果在所述挥棒识别检测区域未检测到球棒，或检测到的球棒没有移动，或未移动预先设定的范围以上，则传感处理单元判断为使用者未进行挥棒，判断通过本垒板的球为坏球还是好球(S500～S530)。

参照图8对此进行拓展说明。

图8表示在由传感装置而拍摄并收集的图像中，进一步放大显示了打击区。

如图8所示，如果使用者10在打击区31挥动球棒BT，则只能通过本垒板33。

因此，传感处理单元如图8所示，可以以本垒板33为基准，按预先设定大小设置挥棒识别检测区域RS，将设置的该挥棒识别检测区域RS分离，算出在该区域RS内是否检测到球棒BT、检测的球棒BT是否移动、检测的球棒BT的位置及角度信息。

在挥棒识别检测区域RS内检测球棒BT的方法是，通过以前预先从图像提取并存储的参考图像(挥棒识别检测区域的图像)和现在挥棒识别检测区域的图像的差值影像，检测出移动的客体，进行图像的二值化，检测移动客体的轮廓，算出该检测出的轮廓的纵横比，当出现预先设定值以上的大纵横比时，可以把检测到的该轮廓检测为球棒。

在连续的图像的挥棒识别检测区域中，可以提取各个检测的球棒位置和球棒角度，判断使用者是否进行了挥棒，如果在挥棒识别检测区域RS未检测到球棒，或如图8所示，球棒为bt1状态，构成a1角度，则可以判断为未挥棒，如图8所示，如果球棒为bt2状态、构成a2角度，则可以判断为进行了挥棒。

如上所述可以视为进行了挥棒的球棒位置(或状态)及球棒角度的范围可以预先设定。

例如，在图8中，如bt1一样，如果检测到球棒位置在挥棒识别检测区域RS的后侧，且球棒与平行于y轴的线构成的角度大于90°，则可以判断为未挥棒，在图8中，如bt2一样，如果检测到球棒位置在挥棒识别检测区域RS的前侧，且与平行于y轴的线构成的角度小于90°，则可以判断为进行了挥棒。

其中，就挥棒识别检测区域RS的前侧和后侧而言，例如，可以把挥棒识别检测区域RS沿x轴方向分成两半，把图上左侧预先设定为后侧，把图上右侧预先设定为前侧，同时以本垒板33为基准，沿x轴方向分成两半，把左侧和右侧分别区分并预先设定为所述的后侧和前侧。

另一方面，除了如上所述调查挥棒识别检测区域RS并利用纵横比检测球棒的方法之外，其它方法也可以在挥棒识别检测区域RS内检测球棒，在实际球棒上附着标记(Marker)，在挥棒识别检测区域RS检测所述标记，从而可以获得球棒的移动、球棒位置、球棒角度等信息。

例如，如图8所示，在挥棒识别检测区(RS检测出附着于实际球棒的第一标记bn1及第二标记bn2，通过该检测出的第一标记bn1及第二标记bn2的移动，检测出球棒的移动，利用所述检测出的第一标记bn1及第二标记bn2的位置，检测球棒的位置，算出经过所述检测出的第一标记bn1及第二标记bn2的中心的线与平行于y轴方向的线构成的角度，可以获得球棒的角度信息。

而且，即使不是多个标记，而是附着一个标记的情形，当然也可以获得所述球棒的移动、位置、角度信息。

另外，为了判断使用者是否挥棒，利用如上所述在挥棒识别检测区域RS内检测出的客体的纵横比来检测球棒，但在球棒检测失败的情况下，也可以第二次利用通过所述标记的检测而检测球棒的方法。

重新回到图4，以与所述图8中说明方式相同的方式，能够调查挥棒识别检测区域而检测出球棒，来判断使用者是否进行了挥棒，如果判断为使用者进行了挥棒，则进行S410步骤及S420步骤，如果调查挥棒识别检测区域而未检测到球棒，或根据检测出的球棒的位置及角度信息而判断为使用者未挥棒时，进行S500步骤至S530步骤的进程。

即，传感处理单元提取通过本垒板的球的三维坐标数据(S500)，调查该提取的球(检测为通过本垒板的球)的三维坐标是否在预先设定的位置和大小的好球区内(S510)。

所述好球区既可以设置为通常棒球比赛规定所确定的大小，也可以任意设置。

所述好球区可以以图1所示x-y-z坐标系为基准，作为与z-x平面平行的平面，其大小如上所述预先设定，所述好球区的z-x平面上的位置信息可以根据所述预先设定的大小而预先确定。

不过，对于所述好球区的y轴上的位置，与固定相比，设置于在本垒板33上首次检测到的球的位置，在相应位置判断所述本垒板上首次检测到的球是否包含于所述好球区的内部，从而判断是坏球还是好球。

如果通过所述本垒板的球的三维坐标在所述好球区内，则控制装置在好坏球数中追加好球记录(S520)，如果通过所述本垒板的球的三维坐标在超出所述好球区的位置，则控制装置在好坏球数中追加坏球记录(S530)。

如上所述，本发明的棒球练习装置及用于该棒球练习装置的传感装置如有如下优点：取得投球或打击的球的运动相关图像，对该取得的图像进行分析，从而准确且迅速地算出球进行何种运动的运动模型，相当准确且迅速地算出投球或击球的球的运动参数等用于进行棒球练习或棒球比赛的各种信息，另外，利用一个传感装置便能够执行对被投球或打击的球的运动进行分析、使用者挥棒与否及打击与否判别、坏球/好球的判别等各种分析。

产生上的利用可能性

本发明的用于棒球练习装置的传感装置及传感方法、利用其的棒球练习装置及其控制方法，在预定大小的室内空间使用者用球棒打击由发球装置发射的球，传感装置对此进行传感而通过前方的屏幕实现模拟影像，从而能够实现使用者的棒球练习或虚拟的棒球比赛。

Claims (19)

1.一种传感装置，用于使使用者能够以虚拟棒球影像为基础进行棒球练习或棒球比赛的棒球练习装置，该传感装置包括：

摄像单元，其持续拍摄运动的球的图像；以及

传感处理单元，其收集由所述摄像单元拍摄的图像，对所收集的各图像进行分析而提取出球，计算球的三维空间上的坐标，利用计算出的坐标数据，确定球运动模型，并利用所述确定的球运动模型，算出用于进行所述棒球练习或棒球比赛的信息。

2.根据权利要求1所述的传感装置，其特征在于，

所述传感处理单元构成为，利用所述球运动模型，判断所述使用者是否打击了投出的球，当所述使用者打击了所述投出的球时，利用打击后的球的三维空间上的坐标数据，提取出球运动模型，利用针对所述打击的球提取出的球运动模型，算出球的运动参数。

3.根据权利要求1所述的传感装置，其特征在于，

所述传感处理单元利用所述球运动模型，判断所述使用者是否打击了投出的球，当所述使用者未打击所述投出的球时，对所述收集的图像进行分析而检测出球棒，判断所述使用者是否进行挥棒，当判断为所述使用者进行了挥棒时，将该结果传递给所述棒球练习装置，在计分板上追加好球记录。

4.根据权利要求1所述的传感装置，其特征在于，

所述传感处理单元构成为，利用所述球运动模型，判断所述使用者是否打击了投出的球，当所述使用者未打击所述投出的球时，对所述收集的图像进行分析而检测出球棒，判断所述使用者是否进行了挥棒，当判断为所述使用者未进行挥棒时，利用本垒板上的球的三维空间上的坐标数据，判断是坏球还是好球。

5.一种传感装置的传感方法，该传感装置用于使使用者能够以虚拟棒球影像为基础进行棒球练习或棒球比赛的棒球练习装置，该传感方法的特征在于，包括：

持续拍摄并收集运动的球的图像的步骤；

对收集的各图像进行分析而提取出球，计算球的三维空间上的坐标，提取球的坐标数据的步骤；

利用所述提取的坐标数据，确定球运动模型的步骤；以及

利用所述确定的球运动模型，算出用于进行所述棒球练习或棒球比赛的信息的步骤。

6.根据权利要求5所述的传感装置的传感方法，其特征在于，

提取所述球的坐标数据的步骤包括：

通过所述图像分析，提取出候选球的步骤；以及

所述运动的球碰撞墙壁或顶棚时，去除针对碰撞之后的球检测到的候选球的步骤。

7.根据权利要求5所述的传感装置的传感方法，其特征在于，

提取所述球的坐标数据的步骤包括：

通过所述图像分析，提取出候选球的步骤；

在各个所述候选球的坐标数据中，任意选择预先设定个数的数据，建立任意运动模型的步骤；以及

当基于所述建立的任意运动模型的球的初始坐标数据超出预先设定的范围时，去除该运动模型中所包含的坐标数据的步骤。

8.根据权利要求5所述的传感装置的传感方法，其特征在于，

决定所述球运动模型的步骤包括：

利用球的初始时间值或初期坐标数据，决定被投出并向打击区移动的球的运动模型的步骤，

算出所述用于进行棒球练习或棒球比赛的信息的步骤包括：

把所述决定的运动模型中所包含的球的坐标数据从所有球的坐标数据中去除后剩下的数据为预先设定的个数以上时，判断为所述使用者打击了所述投出的球，当剩下的数据小于预先设定的个数或没有时，判断为所述使用者未打击的步骤。

9.根据权利要求5所述的传感装置的传感方法，其特征在于，

决定所述球运动模型的步骤包括：

计算投出的球到达本垒板的时间值的步骤，

算出所述用于进行棒球练习或棒球比赛的信息的步骤包括：

以所述球到达本垒板的时间值为初始时间值，以所述初始时间值时的球的坐标数据为球的初始坐标数据，来确定移动的球的运动模型的步骤；以及

基于所述确定的运动模型，算出球的运动参数的步骤。

10.根据权利要求5所述的传感装置的传感方法，其特征在于，

算出所述用于进行棒球练习或棒球比赛的信息的步骤包括：

利用所述确定的球运动模型，判断所述使用者是否打击了投出的球的步骤；

当所述使用者打击了所述投出的球时，利用打击后的球的三维空间上的坐标数据，提取球运动模型的步骤；以及

利用针对所述打击的球提取的球运动模型，算出球的运动参数的步骤。

11.根据权利要求5所述的传感装置的传感方法，其特征在于，

算出所述用于进行棒球练习或棒球比赛的信息的步骤包括：

利用所述确定的球运动模型，判断所述使用者是否打击了投出的球的步骤；

当所述使用者未打击所述投出的球时，对所述收集的图像进行分析而检测出球棒，判断所述使用者是否进行了挥棒的步骤；以及

当所述使用者未进行挥棒时，确认本垒板上的球的三维空间上的坐标是否在预先设定的好球区内部，来判断是坏球还是好球的步骤。

12.一种棒球练习装置，用于使使用者能够以虚拟棒球影像为基础进行棒球练习或棒球比赛，该棒球练习装置的特征在于，包括：

发球装置，其向使用者进行击球的打击区域发出球；

传感装置，其持续拍摄并收集运动的球的图像，分析所述收集的各图像而提取出球，计算球的三维空间上的坐标，利用计算出的坐标数据，确定球运动模型，并算出利用了所述确定的球运动模型的信息；以及

控制装置，其接收由所述传感装置算出的信息，基于所述接收的信息，实现用于进行所述棒球练习或棒球比赛的影像。

13.根据权利要求12所述的棒球练习装置，其特征在于，

所述传感装置构成为，利用所述球运动模型，判断所述使用者是否打击了投出的球，当所述使用者打击了所述投出的球时，利用打击后的球的三维空间上的坐标数据，提取出球运动模型，利用针对所述打击的球提取出的球运动模型，算出球的运动参数并传递给所述控制装置，

所述控制装置构成为，基于所述接收的球的运动参数，实现被打击的球的轨迹的模拟影像，在所述模拟影像上判断击球为本垒打、安打、界外及出局中的哪一种，而进行所述棒球练习或棒球比赛。

14.根据权利要求12所述的棒球练习装置，其特征在于，

所述传感装置构成为，利用所述球运动模型，判断所述使用者是否打击了投出的球，当所述使用者未打击所述投出的球时，对所述收集的图像进行分析而检测出球棒，判断所述使用者是否进行了挥棒，当判断为所述使用者进行了挥棒时，将该结果传递给所述控制装置，

所述控制装置构成为，基于所述接收的信息，在所述使用者的计分板上追加好球记录，而进行所述棒球练习或棒球比赛。

15.根据权利要求12所述的棒球练习装置，其特征在于，

所述传感装置构成为，利用所述球运动模型，判断所述使用者是否打击了投出的球，当所述使用者未打击所述投出的球时，对所述收集的图像进行分析而检测出球棒，判断所述使用者是否进行了挥棒，当判断为所述使用者未进行挥棒时，提取本垒板上的球的三维空间上的坐标数据，把在预先设定的好球区是否包含所述提取的球的坐标的判断结果传递给所述控制装置，

所述控制装置构成为，基于所述接收的信息，在所述提取的本垒板上的球的坐标包含于所述好球区的情况下，在所述使用者的计分板上追加好球记录，在所述提取的本垒板上的球的坐标不包含于所述好球区的情况下，在所述使用者的计分板上追加坏球记录，而进行所述棒球练习或棒球比赛。

16.一种棒球练习装置的控制方法，该棒球练习装置用于使使用者能够以虚拟棒球影像为基础进行棒球练习或棒球比赛，该控制方法的特征在于，包括：

通过用于实现所述棒球练习或棒球比赛的影像的控制装置，来实现虚拟投手投球的影像的步骤；

控制成发球装置与所述虚拟投手的投球影像同步地向打击区侧投出球的步骤；

通过传感装置持续拍摄、收集及分析由所述发球装置投出并运动的球的图像，在各图像上提取出所述运动的球的三维空间上的坐标数据，利用所述提取出的坐标数据确定球运动模型，并算出利用所述确定的球运动模型的信息的步骤；以及

所述控制装置接收由所述传感装置算出的信息，基于所述接收的信息，实现用于进行所述棒球练习或棒球比赛的影像的步骤。

17.根据权利要求16所述的棒球练习装置的控制方法，其特征在于，

算出利用所述确定的球运动模型的信息的步骤包括：

利用所述确定的球运动模型，判断从所述打击区侧向所述发球装置侧运动的球的坐标数据是否存在预先设定的个数以上，判断所述使用者是否打击了所述投出的球的步骤；

当所述使用者打击了球时，以本垒板上的球的坐标数据为球的初始坐标数据，来确定移动的球的运动模型的步骤；以及

基于所述确定的运动模型，算出球的运动参数的步骤，

实现所述用于进行棒球练习或棒球比赛的影像的步骤包括：

基于所述算出的球的运动参数，实现针对被打击的球的轨迹的模拟影像的步骤；以及

在所述模拟影像上判断击球为本垒打、安打、界外及出局中的哪一种，而进行所述棒球练习或棒球比赛的步骤。

18.根据权利要求16所述的棒球练习装置的控制方法，其特征在于，

算出利用所述确定的球运动模型的信息的步骤包括：

利用所述确定的球运动模型，判断从所述打击区侧向所述发球装置侧运动的球的坐标数据是否存在预先设定的个数以上，判断所述使用者是否打击了所述投出的球的步骤；以及

所述使用者未打击球时，对所述收集的图像进行分析而检测出球棒，判断所述使用者是否进行了挥棒的步骤，

实现所述用于进行棒球练习或棒球比赛的影像的步骤包括：

实现所述使用者的空挥棒的影像的步骤；以及

在所述使用者的计分板上追加好球记录，而进行所述棒球练习或棒球比赛的步骤。

19.根据权利要求16所述的棒球练习装置的控制方法，其特征在于，

算出利用所述确定的球运动模型的信息的步骤包括：

利用所述确定的球运动模型，判断从所述打击区侧向所述发球装置侧运动的球的坐标数据是否存在预先设定的个数以上，判断所述使用者是否打击了所述投出的球的步骤；以及

所述使用者未打击球时，对所述收集的图像进行分析而检测出球棒，判断所述使用者是否进行了挥棒的步骤，

实现所述用于进行棒球练习或棒球比赛的影像的步骤包括：

提取本垒板上的球的三维空间上的坐标数据的步骤；

判断在预先设定的好球区是否包含所述提取的球的坐标的步骤；以及

在所述提取的球的坐标包含于所述好球区的情况下，在所述使用者的计分板上追加好球记录，在所述提取的球的坐标未包含于所述好球区的情况下，在所述使用者的计分板上追加坏球记录，而进行所述棒球练习或棒球比赛的步骤。