CN112184808A - 一种高尔夫球置顶式检测方法、系统及存储介质 - Google Patents

一种高尔夫球置顶式检测方法、系统及存储介质 Download PDF

Info

Publication number
CN112184808A
CN112184808A CN202011000469.7A CN202011000469A CN112184808A CN 112184808 A CN112184808 A CN 112184808A CN 202011000469 A CN202011000469 A CN 202011000469A CN 112184808 A CN112184808 A CN 112184808A
Authority
CN
China
Prior art keywords
golf ball
picture
positioning
golf
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011000469.7A
Other languages
English (en)
Inventor
王继军
王清华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Greenjoy Technology Co Ltd
Original Assignee
Shenzhen Greenjoy Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Greenjoy Technology Co Ltd filed Critical Shenzhen Greenjoy Technology Co Ltd
Priority to CN202011000469.7A priority Critical patent/CN112184808A/zh
Priority to PCT/CN2020/131287 priority patent/WO2022062152A1/zh
Priority to EP20923690.0A priority patent/EP4009275A4/en
Priority to CA3131590A priority patent/CA3131590C/en
Priority to JP2021556388A priority patent/JP7214007B2/ja
Priority to KR1020217030579A priority patent/KR102610900B1/ko
Priority to AU2020449440A priority patent/AU2020449440B2/en
Publication of CN112184808A publication Critical patent/CN112184808A/zh
Priority to US17/492,691 priority patent/US20220088455A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30224—Ball; Puck
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种高尔夫球置顶式检测方法、系统及存储介质，所述方法包括下述步骤：摄像头的标定：将摄像头的图像坐标系转换成世界坐标系；高尔夫球的定位：对发球后摄像头采集的第一帧图片的整张图片采用全局定位获取高尔夫球的坐标数据；对发球后摄像头采集的后续帧图片先预测高尔夫球的落点范围并以该落点范围获得该帧图片的局部图片，后对该局部图片采用全局定位获取高尔夫球的坐标数据；参数计算；高尔夫球的转速检测：对定位所用图片中的高尔夫球上的标记采用基于梯度的动态分割法进行提取，通过所述提取的标记在图片中的角度变化获取转速。本发明提升高尔夫系统在进行定位处理时的反应速度，提升用户的使用体验。

Description

一种高尔夫球置顶式检测方法、系统及存储介质
技术领域
本发明涉及高尔夫模拟技术领域，尤其涉及一种高尔夫球置顶式检测方法、系统及存储介质。
背景技术
高尔夫系统包括击球区，传感器，计算单元和显示屏幕。高尔夫系统可以用在室内高尔夫或者室外高尔夫运动项目。
使用者在击球区击打高尔夫球，传感器采集高尔夫球的击打信息及运动信息，计算单元根据这些信息来模拟高尔夫球的运动轨迹并在显示屏幕上进行显示。传感器可以是图像传感器或者光感应传感器等。当使用图像传感器时，需要对图像信息进行分析处理以得到高尔夫球的运动变化信息以模拟其运动轨迹。
然而，目前的高尔夫系统在对图像传感器采集的图片进行处理时，是对每一帧图片的整体，即对每帧图片的整张图片内的要素特征都进行处理，然后进行像素点定位的方式来获取高尔夫球的坐标信息，即目前的定位方式为整体定位的方式。因为每一帧图片都有大面积的内容需要进行重复处理，占用系统资源，故这种整体定位的方式使得高尔夫系统在进行定位处理时反应速度慢，影响系统的效率，影响使用体验。
因此，现有技术还有待发展。
发明内容
鉴于上述现有技术的不足之处，本发明的目的在于提供一种高尔夫球置顶式检测方法、系统及存储介质，旨在提升高尔夫系统在进行定位处理时的反应速度，提升用户的使用体验。
为实现上述目的，本发明采取了以下技术方案：
第一方面，本发明提出了一种高尔夫球置顶式检测方法，应用于顶面配置有摄像头的高尔夫系统对高尔夫球进行检测，所述高尔夫球上设置有标记，其中，包括下述步骤：
S10，摄像头的标定：将摄像头的图像坐标系转换成世界坐标系；
S20，高尔夫球的定位：对发球后摄像头采集的第一帧图片的整张图片采用全局定位获取高尔夫球的坐标数据；
对发球后摄像头采集的后续帧图片先预测高尔夫球的落点范围并以该落点范围获得该帧图片的局部图片，后对该局部图片采用全局定位获取高尔夫球的坐标数据；
S30，参数计算：将定位得到高尔夫球的坐标数据代入世界坐标系计算高尔夫球的运动参数；
S40，高尔夫球的转速检测：对定位所用图片中的高尔夫球上的标记采用基于梯度的动态分割法进行提取，通过所述提取的标记在图片中的角度变化获取转速。
第二方面，本发明提出了一种高尔夫模拟系统，其中，所述系统包括存储器、处理器及存储在所述存储器中并被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时，实现前述的方法。
第三方面，本发明提出了一种计算机可读存储介质，其中，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现前述的方法。
本发明的高尔夫球置顶式检测方法，在对高尔夫球进行定位时，发球后的第一帧图片采用整体定位的方式获取高尔夫球在第一帧图片中的坐标数据，后续定位采用预测落点范围及局部定位的方式获取高尔夫球的坐标数据。即采用全局定位及局部定位相结合的方式，使得在对图片中高尔夫球进行定位处理时，无需对每张图片的整张图片都进行处理来进行整体定位，大大提高了高尔夫系统在定位处理时的反应速度，提升高尔夫系统的效率及用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明高尔夫球置顶式检测方法第一实施例的流程示意图；
图2为本发明图像坐标系与世界坐标系转换过程示意图；
图3为本发明高尔夫球运动参数计算示意图；
图4为本发明高尔夫球全局定位第一实施例的流程示意图；
图5为本发明全局定位中缩放及插值处理前后对比示意图；
图6为本发明目标轮廓面积，高宽比筛选过程第一示意图；
图7为本发明目标轮廓面积，高宽比筛选过程第二示意图；
图8为本发明目标轮廓采用滑窗统计筛选第一示意图；
图9为本发明目标轮廓采用滑窗统计筛选第二示意图；
图10为本发明目标筛选后图片中的球轮廓变换修正过程示意图；
图11为本发明高尔夫球局部定位第一实施例的流程示意图；
图12为本发明高尔夫球局部定位中多帧图片落点范围预测示意图；
图13为本发明高尔夫球获取转速第一实施例的流程示意图；
图13为本发明高尔夫球获取转速第一实施例的流程示意图；
图14为本发明高尔夫球转速检测中模拟及调整光照分布示意图；
图15为本发明高尔夫球转速检测中得到mark图的过程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出一种高尔夫球置顶式检测方法，应用于顶面配置有摄像头的高尔夫系统对高尔夫球的运动状态进行检测，所述高尔夫球上设置有标记(mark)。
顶面配置有摄像头的高尔夫系统，其采集的图片为顶面向下的视角，背景光源较为稳定,人体也几乎和高尔夫球不重合,适用于以下方法对高尔夫球的运动进行检测来提高系统的反应速度。
如图1所示，为本发明高尔夫球置顶式检测方法的流程，包括下述步骤：
S10，摄像头的标定：将摄像头的图像坐标系转换成世界坐标系。
在进行图像处理的过程中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定(或摄像头标定)。相机的标定就是将真实的图像的数学意义转化到可计算可操作的数字化的实现过程。
摄像头的标定能影响后续计算精度，避免误差在算法中逐渐累积增大。它是实现有效计算目标物的关键。
本发明在标定过程中，采用高低不同,分布均匀的固定数目固定位置的标定块,标定块分布基于实验为效率最高设计，由于摆放后标定块包含高度信息因此只需标定一次。
本发明的摄像头可以采用单目摄像头或者双目摄像头，采用双目摄像头时，对每一摄像头进行单独标定。
如图2所示，本发明图像坐标系转换成世界坐标系的过程为先将图像坐标系转换为像平面坐标系，然后将像平面坐标系转换为摄像机坐标系，再将摄像机坐标系转换为世界坐标系。
优选地，本发明所述摄像头的图像坐标系转换成世界坐标系采用下述转换公式：
Figure BDA0002694118970000051
其中，M1为摄像头的内参矩阵，M2为摄像头的外参矩阵，M1×M2＝M，M为映射矩阵。
当本发明的摄像头为双目摄像头时，对双目摄像头各自标定得到映射矩阵M，将双目摄像头的坐标和矩阵代入联立求出世界坐标。
S20，高尔夫球的定位：对发球后摄像头采集的第一帧图片的整张图片采用全局定位获取高尔夫球的坐标数据；对发球后摄像头采集的后续帧图片先预测高尔夫球的落点范围并以该落点范围获得该帧图片的局部图片，后对该局部图片采用全局定位获取高尔夫球的坐标数据。
即高尔夫球的定位过程中，对发球后的第一帧图片的定位采用整体定位，后续定位采用预测落点范围进行局部定位。现有技术中需要对每帧图片都进行整体图片定位以获取每帧图片中的高尔夫球的坐标数据，整体定位中需要对整张图片中的所有区域都进行特征处理，如目标进行识别，对轮廓边缘清晰化处理，轮廓的完整性修正，获取球的中心，计算球中心的坐标等，其对图片的处理面积大，像素点多，处理速度慢。
本发明只需要在发球后第一次定位时对第一帧图片进行一次整体定位，后续定位时去除掉图片中的大部分区域，保留落点范围内的局部区域图片，只对保留的局部图片进行定位，这样无需对每一帧图片都实施整体定位的流程，因为局部图片相对于原来的整张图小得多，这样可以大大提高高尔夫系统在定位过程中的处理速度，同时，因为缩小了原图片的处理的范围,只对局部区域内进行定位处理，可以有效排除干扰，提高处理效率和准确度。
优选地，本发明在步骤S20高尔夫球的定位之前还包括定位的触发，具体为：
在发球前先获取高尔夫球的发球位置坐标，获取高尔夫球的发球位置坐标后实时监测高尔夫球发球位置处的像素变化值,当该位置像素变化值之超过阈值则触发定位进行发球后图片中的高尔夫球定位。
定位触发的判断可以避免对发球前的每一帧图片都进行定位处理而减少系统的图片处理量，提高系统的反应处理速度。
在发球前，摄像头先采集图片，并从图片中进行初步定位获取高尔夫球在发球位置的坐标。在得到高尔夫球发球位置的坐标后，本发明在发球前不再对高尔夫球的坐标位置的变化进行监测，而是改为对高尔夫球发球位置处的像素变化值进行实时监测，因为高尔夫球的坐标位置的变化监测需要对整张图进行全局定位，而像素监测只需对高尔夫球发球位置处的局部图片进行处理，减少了图片的处理面积和内容。这样在发球前由坐标定位改为像素监测可以提高高尔夫系统的反应速度。
S30，参数计算：将定位得到高尔夫球的坐标数据代入世界坐标系计算高尔夫球的运动参数。
如图3所示，利用步骤S20定位得到的坐标转换为世界坐标即可计算运动参数，包括球速,侧飞角,起飞角等参数，θ是侧飞角，γ是起飞角，V是空间球速。
S40，高尔夫球的转速检测：对定位所用图片中的高尔夫球上的标记采用基于梯度的动态分割法进行提取，通过所述提取的标记在图片中的角度变化获取转速。
本发明在高尔夫球上预先设置有标记(mark)，这样可以根据图片中标记(mark)的角度变化来计算转速。
由于前景亮度分布不均以及每帧亮度变化较大,在较低分辨率下的图片中提取高尔夫球上的mark具有相当的难度，不适用于灰度值分割。而本发明的基于梯度的动态分割法则能在较低分辨率下的图片中准确地提取高尔夫球上的mark，而保证后续的旋转检测。
利用步骤S30的参数计算将定位得到的坐标转换为世界坐标后即可计算球速,侧飞角,起飞角等参数，再结合步骤S40获得高尔夫球的转速，即可模拟计算出在击球后高尔夫球的完整运动轨迹，以及轨迹上高尔夫球的旋转状态。本发明的检测和模拟一般分开进行，模拟一般由客户端完成。
具体地，如图4所示，本发明采用全局定位获取高尔夫球的坐标数据，具体包括下述步骤：
S2011，获取待定位的图片，对所述图片做缩放及插值处理。
待定位图片在发球后的第一帧图片中为该帧图的整张图片，而在后续帧图片中则为局部图片。
由于摄像头采集的图片中包含大量无用信息,如果全部处理则影响系统的速度，故先对图片进行缩放及插值处理，去除原图中大量的无用信息并还原为原图大小，去掉大量无用信息后减少了系统的运算量而提高速度。同时，该步骤还能消除较小的干扰比如高尔夫球杆的杆头反光。
如图5所示，左边为原图，其有大量无用信息并由杆头发光，对该图进行进行缩放及插值处理后得到图5右边的图，此时，图中的大量无用信息被去除，同时杆头反光也被去除。
S2012，将缩放及插值处理后图片中的高亮区域设为ROI，并映射回原图，得到具有所有候选目标的图片，采用最大类间方差法二值化所述候选目标的图片得到清晰的目标轮廓。
该步骤用于在图片中将所述目标物的轮廓清晰化。本发明实施例中采用最大类间方差法(OTSU)将图片中所有候选目标二值化而得到清晰的轮廓，以便后续的筛选。如图6中A所示，即为最大类间方差法二值化后具有清晰的目标轮廓的图片。
S2013，对该目标轮廓进行面积，高宽比，滑窗统计筛选后去掉非高尔夫球的目标，保留高尔夫球目标得到高尔夫球目标图片。
该步骤用于去除图片中存在的非高尔夫球目标的杂物，如去掉图片中的球杆等形状。
如图6至图7所示，图6中A为经过最大类间方差法二值化处理后的图片，该图片中存在杂物，然后依次经过面积，高宽比筛选后得到图7中的D图片，对比A图片，此时非高尔夫球目标已经在D图片中被去除。
进一步地，在将目标进行面积，高宽比筛选后再进行滑窗统计筛选得到高尔夫球的轮廓。滑窗统计筛选轮廓能提高球轮廓筛选的准确度，避免将某些图片中不规则的高尔夫球轮廓去掉而导致筛选过度而漏掉球轮廓。
如图8所示，AB为图片中前景轮廓的两点,以该两点连线为宽绘制一个矩形,通过调整AB两点间距控制矩形宽,通过经验值调整矩形高,当轮廓点AB的中点位于矩形内且与前景轮廓的质心符合经验值时则认为AB间轮廓符合圆轮廓。如图9所示，该轮廓虽然不规则，但是如果符合图8中的滑窗统计筛选条件，则可认为图9中目标轮廓为高尔夫球圆轮廓而有效防止过杀。
S2014，对筛选得到的高尔夫球目标图片中的高尔夫球轮廓用Hough变换修正,得到完整的高尔夫球轮廓。
由于阴影等因素影响，高尔夫球目标图片中的高尔夫球的轮廓并不是一个完整的圆形，如图10中的左边部分所示，这样就没法在图片中定位出高尔夫球的中心。故需要对目标图片中的球轮廓变换修正。本发明实施例采用Hough变换修正得到高尔夫球的完整圆形轮廓，如图10右边部分所示为修正后的完整球轮廓的图片。
S2015，依据所述完整的高尔夫球轮廓获取图片中高尔夫球的球中心坐标。
完整的高尔夫球轮廓图片能够准确地定位出球的中心，然后通过像素点坐标来得到高尔夫球的球中心坐标。
具体地，如图11所示，本发明所述对发球后摄像头采集的后续帧图片先预测高尔夫球的落点范围并以该落点范围获得该帧图片的局部图片，后对该局部图片采用全局定位获取高尔夫球的坐标数据，具体包括下述步骤：
S2021，根据发球后第一帧图片中的球中心坐标，高尔夫球到达显示屏幕边缘的经验轨迹，以及球速世界记录预测第二帧图片中高尔夫球的落点范围。
高尔夫球到达显示屏幕边缘的轨迹数量是有限的，将这有限个轨迹取出，结合球速世界记录，可以得到落点范围的长宽边界，然后再结合第一帧图片中的球中心坐标，可以预测得到高尔夫球在第二帧图片中的落点范围。
S2022，依据所述预测的第二帧图片中高尔夫球的落点范围对第二帧图片进行裁剪缩小获得该帧图片的局部图片，该局部图片为所述落点范围内包含有高尔夫球轮廓的图片，直接将该局部图片作为第二次定位图片。
当第二帧图片中的落点范围预测完成后，开始用该落点范围对第二帧图片进行裁剪缩小处理，以获得缩小处理范围后的局部图片，现有技术是对第一帧图片后的每帧都要进行整张图片的图像，而本发明是只对该帧图片落点范围内的局部区域进行处理，这样，减少了每张图片的处理量，提高高尔夫系统定位过程中的处理速度。
本发明实施例对第二帧图片进行裁剪缩小后获得该帧图片的局部图片，因为高尔夫球的轨迹一定会在该落点范围内，故该局部图片内一定有高尔夫球的轮廓。如图12所示，高尔夫球的轮廓在每次预制中均位于该帧图片中的预测落点范围内。
S2023，将第二次定位图片中的落点范围设置为ROI，对ROI同样使用全局定位获取该局部图片中高尔夫球的球中心坐标。
进一步地，裁剪缩小得到的局部图片不再是原图的整体定位，而是以落点范围设置为ROI(region of interest，感兴趣区域)，然后以ROI为定位区域再使用如步骤S2011-S2015的全局定位的方法获取高尔夫球的球中心坐标，即采用ROI的图片区域进行定位，其相对于整张图片的整体定位而言是很小的一部分图片区域来进行局部定位，这样能快速获取该局部图片中高尔夫球的球中心坐标。相对于整体定位中需要进行整张图片中所有区域的处理，局部定位大大提升了高尔夫系统定位处理过程中的处理速度、反应速度。
S2024，使用前两次定位所得的球中心坐标预测第三帧图片中高尔夫球的落点范围，并依据该落点范围裁剪缩小第三帧图片获得第三次定位图片，将第三次定位图片中的落点范围设置为ROI，对ROI进行全局定位得到该局部图片中高尔夫球的球中心坐标，依次类推。如图12中所示，依次进行各次定位落点范围的预测，裁剪缩小及局部图片定位，可快速获得后续次定位过程的球中心坐标。
本发明实施例通过预测来直接定位落点范围，并进一步通过图片裁剪缩小来获得局部图片而进行定位，缩小了图片处理区域，减少了定位时图片内特征的处理量，使得系统的处理速度大为提升，提升了用户是使用体验，避免了系统的延迟，卡滞等不良体验。
具体地，如图13所示，本发明对定位所用图片中的高尔夫球上的标记采用基于梯度的动态分割法进行提取，通过所述提取的标记在图片中的角度变化获取转速，具体包括下述步骤：
S401，以摄像头发出的红外平行光为基础模拟球面的光照分布得到模拟光照分布图，将后续定位所得图片中的球表面光照分布加入该模拟光照分布图进行光照分布调整得到调整光照分布图。
如图15中左边的图所示，本发明在高尔夫球上预先设置有标记(mark)，这样可以根据图片中标记(mark)得到标记图。
如图14中左边所示，先对球表面的光照进行模拟分布，该模拟分布适用范围较广，但是其分布效果较差，故将后续定位得到球表面光照分布加入后进行调整得到右边的调整光照分布图，可达到该环境下最佳光照分布效果。
S402，将定位所得的原图与该调整光照分布图做差得到热能图以排除亮度变化造成的影响，在所述热能图上求取x、y轴方向上的梯度并叠加得到局部变化最明显的标记图。
前景亮度分布不均，同时每帧图片的亮度变化较大,得到图片的分辨率较低，此时如果采用灰度值分割难以清晰准确地获得高尔夫球上的标记(mark)。本发明采用了基于梯度的动态分割法：
如图15中所示，先将左边的原图与调整光照分布图做差后得到中间的热能图，该热能图排除了亮度变化造成的影响。然后在该热能图上求取x、y轴方向上的梯度并叠加，即得到了右边的局部变化最明显的标记图。
S403，对所述标记图采用向量奇异值分解方式提取标记的角度特征，对比预先建立的角度样本特征库，获取该角度特征在角度样本特征库中匹配的三维坐标信息。
用奇异值分解(SVD)，提取标记图中标记(mark)的角度特征。角度样本特征库存储高尔夫球上标记(mark)的各种角度，及各种角度对应的三维坐标信息。提取出高尔夫球上标记(mark)在图片中的角度特征后，与角度样本特征库进行匹配得到对应的三维坐标信息。
本发明实施例的奇异值分解(SVD)方式提取标记的角度特征是对高尔夫球上标记(mark)固定的情形。在其他实施例中，当高尔夫球上标记(mark)不固定时，可以采用寻找标记(mark)的质心做目标点,根据目标点的球面对应的三维坐标计算转速。
S404，以连续两帧图片中的标记所获得的三维坐标信息计算高尔夫球的转速。
得到高尔夫球的转速后，结合定位得到的坐标信息，可以模拟出以高尔夫球在轨迹各点的旋转状态，提高系统模拟的真实感。
本发明实施例提出的高尔夫球置顶式检测方法，在对高尔夫球进行定位时，发球后的第一帧图片采用整体定位的方式获取高尔夫球在第一帧图片中的坐标数据，后续定位采用预测落点范围及局部定位的方式获取高尔夫球的坐标数据。本发明采用全局定位及局部定位相结合的方式，使得在对图片中高尔夫球进行定位处理时，无需对每张图片的整张图片都进行处理来进行整体定位，大大提高了高尔夫系统在定位过程中的处理速度，提升高尔夫系统的效率及用户体验。
本发明还提出一种高尔夫模拟系统，所述系统包括存储器、处理器及存储在所述存储器中并被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时，实现上述的方法。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述异步消息处理终端设备中的执行过程。
所述主控模块可包括但不仅限于处理器、存储器。本领域技术人员可以理解，上述部件仅仅是基于系统的示例，并不构成对主控模块的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如主控模块还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述设备的控制中心，利用各种接口和线路连接整个主控模块的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明还提出一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现上述的方法。
本发明的高尔夫球置顶式检测方法集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。本发明计算机可读存储介质具体实施方式与上述用于高尔夫球置顶式检测方法各实施例基本相同，在此不再赘述。
需说明的是，以上所描述的实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅为清楚地说明本发明所作的举例，并非因此限制本发明的专利范围，这里无法对所有的实施方式予以穷举，凡是在本发明的构思下，利用本发明技术方案中的内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (8)

1.一种高尔夫球置顶式检测方法，应用于顶面配置有摄像头的高尔夫系统对高尔夫球进行检测，所述高尔夫球上设置有标记，其特征在于，包括下述步骤：
S10，摄像头的标定：将摄像头的图像坐标系转换成世界坐标系；
S20，高尔夫球的定位：对发球后摄像头采集的第一帧图片的整张图片采用全局定位获取高尔夫球的坐标数据；
对发球后摄像头采集的后续帧图片先预测高尔夫球的落点范围并以该落点范围获得该帧图片的局部图片，后对该局部图片采用全局定位获取高尔夫球的坐标数据；
S30，参数计算：将定位得到高尔夫球的坐标数据代入世界坐标系计算高尔夫球的运动参数；
S40，高尔夫球的转速检测：对定位所用图片中的高尔夫球上的标记采用基于梯度的动态分割法进行提取，通过所述提取的标记在图片中的角度变化获取转速。
2.根据权利要求1所述的方法，其特征在于，所述摄像头的图像坐标系转换成世界坐标系采用下述转换公式：
Figure FDA0002694118960000011
其中，M1为摄像头的内参矩阵，M2为摄像头的外参矩阵，M1×M2＝M，M为映射矩阵。
3.根据权利要求1所的方述法，其特征在于，在步骤S20高尔夫球的定位之前还包括定位的触发，具体为：
在发球前先获取高尔夫球的发球位置坐标，获取高尔夫球的发球位置坐标后实时监测高尔夫球发球位置处的像素变化值,当该位置像素变化值之超过阈值则触发定位进行发球后图片中的高尔夫球定位。
4.根据权利要求1所述的方法，其特征在于，所述采用全局定位获取高尔夫球的坐标数据，具体包括下述步骤：
S2011，获取待定位的图片，对所述图片做缩放及插值处理；
S2012，将缩放及插值处理后图片中的高亮区域设为ROI，并映射回原图，得到具有所有候选目标的图片，采用最大类间方差法二值化所述候选目标的图片得到清晰的目标轮廓；
S2013，对该目标轮廓进行面积，高宽比，滑窗统计筛选后去掉非高尔夫球的目标，保留高尔夫球目标得到高尔夫球目标图片；
S2014，对筛选得到的高尔夫球目标图片中的高尔夫球轮廓用Hough变换修正,得到完整的高尔夫球轮廓；
S2015，依据所述完整的高尔夫球轮廓获取图片中高尔夫球的球中心坐标。
5.根据权利要求4所述的方法，其特征在于，所述对发球后摄像头采集的后续帧图片先预测高尔夫球的落点范围并以该落点范围获得该帧图片的局部图片，后对该局部图片采用全局定位获取高尔夫球的坐标数据，具体包括下述步骤：
S2021，根据发球后第一帧图片中的球中心坐标，高尔夫球到达显示屏幕边缘的经验轨迹，以及球速世界记录预测第二帧图片中高尔夫球的落点范围；
S2022，依据所述预测的第二帧图片中高尔夫球的落点范围对第二帧图片进行裁剪缩小获得该帧图片的局部图片，该局部图片为所述落点范围内包含有高尔夫球轮廓的图片，直接将该局部图片作为第二次定位图片；
S2023，将第二次定位图片中的落点范围设置为ROI，对ROI同样使用全局定位获取该局部图片中高尔夫球的球中心坐标；
S2024，使用前两次定位所得的球中心坐标预测第三帧图片中高尔夫球的落点范围，并依据该落点范围裁剪缩小第三帧图片获得第三次定位图片，将第三次定位图片中的落点范围设置为ROI，对ROI进行全局定位得到该局部图片中高尔夫球的球中心坐标，依次类推。
6.根据权利要求1所述的方法，其特征在于，对定位所用图片中的高尔夫球上的标记采用基于梯度的动态分割法进行提取，通过所述提取的标记在图片中的角度变化获取转速，具体包括下述步骤：
S401，以摄像头发出的红外平行光为基础模拟球面的光照分布得到模拟光照分布图，将后续定位所得图片中的球表面光照分布加入该模拟光照分布图进行光照分布调整得到调整光照分布图；
S402，将定位所得的原图与该调整光照分布图做差得到热能图以排除亮度变化造成的影响，在所述热能图上求取x、y轴方向上的梯度并叠加得到局部变化最明显的标记图；
S403，对所述标记图采用向量奇异值分解方式提取标记的角度特征，对比预先建立的角度样本特征库，获取该角度特征在角度样本特征库中匹配的三维坐标信息；
S404，以连续两帧图片中的标记所获得的三维坐标信息计算高尔夫球的转速。
7.一种高尔夫模拟系统，其特征在于，所述系统包括存储器、处理器及存储在所述存储器中并被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-6中任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现如权利要求1-6任一项所述的方法。
CN202011000469.7A 2020-09-22 2020-09-22 一种高尔夫球置顶式检测方法、系统及存储介质 Pending CN112184808A (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN202011000469.7A CN112184808A (zh) 2020-09-22 2020-09-22 一种高尔夫球置顶式检测方法、系统及存储介质
PCT/CN2020/131287 WO2022062152A1 (zh) 2020-09-22 2020-11-25 一种高尔夫球置顶式检测方法、系统及存储介质
EP20923690.0A EP4009275A4 (en) 2020-09-22 2020-11-25 TOP VIEW GOLF BALL DETECTION METHOD AND SYSTEM AND STORAGE HOLDER
CA3131590A CA3131590C (en) 2020-09-22 2020-11-25 Golf ball set-top detection method, system and storage medium
JP2021556388A JP7214007B2 (ja) 2020-09-22 2020-11-25 ゴルフボールオントップ式検出方法、システム及び記憶媒体
KR1020217030579A KR102610900B1 (ko) 2020-09-22 2020-11-25 골프공 오버헤드 검출방법, 시스템 및 저장매체
AU2020449440A AU2020449440B2 (en) 2020-09-22 2020-11-25 Overlooking-type golf ball detection method, system and storage medium
US17/492,691 US20220088455A1 (en) 2020-09-22 2021-10-04 Golf ball set-top detection method, system and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011000469.7A CN112184808A (zh) 2020-09-22 2020-09-22 一种高尔夫球置顶式检测方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN112184808A true CN112184808A (zh) 2021-01-05

Family

ID=73956709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011000469.7A Pending CN112184808A (zh) 2020-09-22 2020-09-22 一种高尔夫球置顶式检测方法、系统及存储介质

Country Status (2)

Country Link
CN (1) CN112184808A (zh)
WO (1) WO2022062152A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113274733A (zh) * 2021-07-12 2021-08-20 上海小白球体育文化发展有限公司 一种高尔夫球置顶式检测方法、系统及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617614A (zh) * 2013-11-26 2014-03-05 新奥特（北京）视频技术有限公司 一种在视频图像中确定乒乓球落点数据的方法及系统
CN104504694A (zh) * 2014-12-16 2015-04-08 成都体育学院 一种获取运动球体三维信息的方法
US20150356748A1 (en) * 2013-01-08 2015-12-10 Golfzon Co., Ltd. Method and apparatus for sensing moving ball
CN106780620A (zh) * 2016-11-28 2017-05-31 长安大学 一种乒乓球运动轨迹识别定位与跟踪系统及方法
CN108596942A (zh) * 2018-03-21 2018-09-28 黄启萌 一种利用单摄像机精准判断球类落点的系统和方法
CN110298864A (zh) * 2018-03-23 2019-10-01 深圳市衡泰信科技有限公司 一种高尔夫推杆设备的视觉感测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150356748A1 (en) * 2013-01-08 2015-12-10 Golfzon Co., Ltd. Method and apparatus for sensing moving ball
CN103617614A (zh) * 2013-11-26 2014-03-05 新奥特（北京）视频技术有限公司 一种在视频图像中确定乒乓球落点数据的方法及系统
CN104504694A (zh) * 2014-12-16 2015-04-08 成都体育学院 一种获取运动球体三维信息的方法
CN106780620A (zh) * 2016-11-28 2017-05-31 长安大学 一种乒乓球运动轨迹识别定位与跟踪系统及方法
CN108596942A (zh) * 2018-03-21 2018-09-28 黄启萌 一种利用单摄像机精准判断球类落点的系统和方法
CN110298864A (zh) * 2018-03-23 2019-10-01 深圳市衡泰信科技有限公司 一种高尔夫推杆设备的视觉感测方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113274733A (zh) * 2021-07-12 2021-08-20 上海小白球体育文化发展有限公司 一种高尔夫球置顶式检测方法、系统及存储介质

Also Published As

Publication number Publication date
WO2022062152A1 (zh) 2022-03-31

Similar Documents

Publication Publication Date Title
CN107766855B (zh) 基于机器视觉的棋子定位方法、系统、存储介质及机器人
CN111539273A (zh) 一种交通视频背景建模方法及系统
CN111833237B (zh) 基于卷积神经网络和局部单应性变换的图像配准方法
CN108369473A (zh) 影响增强现实的虚拟对象的方法
KR101733116B1 (ko) 고속 스테레오 카메라를 이용한 구형 물체의 비행 정보 측정 시스템 및 방법
CN109934847A (zh) 弱纹理三维物体姿态估计的方法和装置
CN107368790B (zh) 行人检测方法、系统、计算机可读存储介质及电子设备
US20220088455A1 (en) Golf ball set-top detection method, system and storage medium
CN110287907A (zh) 一种对象检测方法和装置
CN113902812A (zh) 一种基于多标定板的激光雷达与相机外参自动标定方法
CN112184807B (zh) 一种高尔夫球落地式检测方法、系统及存储介质
CN112184808A (zh) 一种高尔夫球置顶式检测方法、系统及存储介质
CN105139432B (zh) 基于高斯模型的红外弱小目标图像仿真方法
CN109876417B (zh) 基于计算机视觉检测技术的羽毛球发球助理裁判系统
KR102603819B1 (ko) 골프공 착지형 검출방법, 시스템 및 저장매체
Kim et al. Smart vision system for soccer training
CN108694348A (zh) 一种基于自然特征的跟踪注册方法及装置
CN113920196A (zh) 视觉定位方法、装置及计算机设备
CN112287901A (zh) 目标物检测的方法、装置、电子设备及存储介质
CN116433767B (zh) 目标对象检测方法、装置、电子设备以及存储介质
KR102585261B1 (ko) 3차원 보정객체의 단일 영상을 활용하여 적응형 영상 증강 방법 기반의 최적화된 다중 카메라 보정 시스템
CN117315155A (zh) 用于虚拟试衣场景转换的提示方法及系统、设备及介质
CN117036483A (zh) 一种高尔夫球三维定位方法及装置
CN117422771A (zh) 一种相机与激光雷达传感器设备的外参标定方法及系统
CN114972522A (zh) 图像传感器的位姿标定方法、装置、存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination